CN112166392A - 用于移动机器人的视觉系统 - Google Patents

用于移动机器人的视觉系统 Download PDF

Info

Publication number
CN112166392A
CN112166392A CN201980035349.XA CN201980035349A CN112166392A CN 112166392 A CN112166392 A CN 112166392A CN 201980035349 A CN201980035349 A CN 201980035349A CN 112166392 A CN112166392 A CN 112166392A
Authority
CN
China
Prior art keywords
vision system
lens module
robot
light
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980035349.XA
Other languages
English (en)
Inventor
M.洛佩兹埃斯特维兹
H.法里德加塞姆尼亚
M.赞蒂
D.理查兹
D.怀亚特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dyson Technology Ltd
Original Assignee
Dyson Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dyson Technology Ltd filed Critical Dyson Technology Ltd
Publication of CN112166392A publication Critical patent/CN112166392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0054—Cooling means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

一种用于移动机器人的视觉系统，该视觉系统包括：透镜模块；照明系统，其包括多个光源；和透镜模块保持器。透镜模块保持器被放置为围绕透镜模块，且包括反射表面，其用于将从照明系统发射的光反射离开透镜模块。

Description

用于移动机器人的视觉系统
技术领域
本发明涉及一种用于移动机器人的视觉系统。
背景技术
诸如真空吸尘器机器人的移动机器人越来越多地采用视觉系统来帮助它们导航和了解它们的环境。使用视觉系统具有很多好处，例如允许机器人更好地了解其所在的环境，且允许有组织的行进路径。但是，使用视觉系统的一个缺点是它们在弱光条件下不能很好地执行。结果，使用视觉系统的移动机器人经常需要照明系统或前灯，以提高由视觉系统捕获的图像的质量。
GB2529846描述了一种具有照明系统的机器人的示例。在此示例中，移动机器人包括位于机器人侧面的手柄内的灯。
由于用于移动机器人的视觉系统的很多好处，因此一直在寻求针对移动机器人应用的视觉系统以及照明系统的改进。
发明内容
本发明的第一方面提供了一种用于移动机器人的视觉系统，该视觉系统包括：透镜模块；照明系统，其包括多个光源；和透镜模块保持器。透镜模块保持器围绕透镜模块定位，并包括反射表面，以将从照明系统发射的光反射离开透镜模块。
结果，透镜保持器作用于将来自照明的光引导离开透镜模块，且因此由照明系统提供的照明不能直接进入透镜模块，而照明系统提供的照明直接进入透镜模块可能损害视觉系统的正常工作。
视觉系统还可包括用于将视觉系统安装到移动机器人的视觉系统安装件，该视觉系统安装件可包括多个孔，该多个光源突出穿过该多个孔。
视觉系统安装件可包括散热器，以从该多个光源吸走热量。这可有助于通过减少光源过热的风险来延长光源的寿命，且还阻止来自光源的热量潜在地损坏透镜模块。
该多个光源可围绕透镜模块布置成环形。这是一种特别节省空间的布置，有助于减小视觉系统的尺寸。
透镜模块可突出到透镜模块保持器上方，且该多个光源中的每一个可位于透镜保持器模块的反射表面下方。结果，透镜模块不受透镜模块保持器的限制而获得了最佳视场，且为多个光源提供了一定程度的保护，以防止透镜保持器模块损坏光源。
反射表面可为半抛物面环形镜。
翅片可设置在该多个光源的每一个之间。这些翅片作用于分割由该多个光源产生的光，且由此使光更具方向性。每个翅片可设置在先前所述的视觉系统安装件上。
视觉系统还可包括透光盖，且该透光盖覆盖照明系统且限定孔口，该透镜模块的顶部突出穿过该孔口。结果，透光盖在不遮盖或遮挡由照明系统产生的照明的情况下保护照明系统。
透镜模块保持器可突出到移动机器人的体部的上表面上方。结果，透镜模块不受机器人体部的限制获得了最佳视场。另外，从反射面反射的光可被发射到机器人的体部的上表面上方。
该多个光源的每一个可位于移动机器人的体部的上表面的下方。这为光源提供了强大的保护，使其免受损坏。
透镜模块可包括用于将光聚焦到图像传感器上的多个透镜。
存在八个光源，且每个光源为可独立控制的。八个光源允许对照明进行高水平的方向控制，而控制不会太复杂。
本发明的第二方面提供了一种移动机器人，其包括上述视觉系统。
附图说明
为了更容易地理解本发明,现在将要参考下面的附图通过示例描述本发明的实施例，其中：
图1示出了移动机器人；
图2示出了图1中的移动机器人的视觉系统的分解图；
图3示出了穿过包括图2的视觉系统的图1中的移动机器人的一部分的截面图；
图4示出了穿过用于视觉系统的透镜模块的截面图；
图5示出了穿过图2和3中的视觉系统的一部分的截面图；
图6示出了来自图2和3中的视觉系统的视觉系统安装件；
图7A是由图2和图3的视觉系统捕获的球形图像的表示，图7B是图7A中的图像被打开后的表示；
图8示出了PCB上的传感器安装件；
图9示出了图8中的传感器安装件的下侧视图；
图10显示了穿过图9中的传感器安装件的截面图；
图11示出了移动机器人的示意图；
图12是示出了用于移动机器人的照明算法的输入和输出的流程图；
图13是示出了图12中的照明算法中的步骤的流程图；以及
图14是示出了图13中的照明算法的一部分中的替代步骤的流程图。
具体实施方式
图1示出了机器人真空吸尘器1，其包括主体2和分离装置4。主体2包括呈连续槽轨道形式的牵引单元5，以及清洁器头6，清洁器头容纳刷棒，脏空气流通过该清洁器头被吸入机器人真空吸尘器1且进入分离装置4。一旦空气在分离装置4中已被清除了脏物，空气便从分离装置21中流出，且穿过容纳产生气流的电机和风扇的主体2。然后，空气通过出风口从机器人1排出。视觉系统8从移动机器人1的主体2的顶表面3突出。该视觉系统8包括相机12和照明系统14。相机12是全方位相机，能够捕获机器人1周围的环境的360°视图。相机12可为例如鱼眼透镜相机或全景环形透镜(PAL)相机。
机器人1包括体现在机器人1的软件和电子设备中的控制系统，该控制系统能够使用同时定位和绘图(SLAM)技术来处理由视觉系统8捕获的图像，且允许机器人1理解、了解和自主导航本地环境。该控制系统还使用从设置在机器人1上的多个其他传感器(比如碰撞传感器)收集的信息，且还包括多个位置传感器，比如位置敏感设备(PSD)和/或飞行时间(ToF)传感器。PSD和/或ToF传感器被容纳在位于分离装置4侧面的传感器盒10内。传感器盒被提供具有透明盖，PSD和ToF传感器能够通过透明盖发射和接收光(比如红外线(IR))。传感器盒10容纳传感器阵列，其沿不同方向被引导，使得不仅可以在机器人的前方而且可以朝向侧面检测障碍物。向下面向的传感器还可检测地板表面中的下降，通常称为悬崖传感器，以使机器人能够在离开楼梯之类的下降之前停止和/或调整其行进方向。尽管一些机器人使用可移动的缓冲器部分作为物理接触传感器，但是这个机器人1具有碰撞传感器，其检测分离的底盘与主体2的体部之间的相对运动以记录与障碍物的物理接触。
图2示出了移动机器人的视觉系统8的分解图。视觉系统8的各个部分已经沿着标记为X的虚轴沿轴向方向彼此分离。视觉系统8包括形成摄相机12和照明系统14两者的多个部件，包括透镜模块20、透镜模块保持器22、视觉系统安装件24、其上设置有图像传感器31的印刷电路板(PCB)30、传感器安装件32、其上设置有多个光源(发光二极管(LED)27形式)的第二PCB28和透光盖34。透镜模块20是鱼眼透镜模块，且其通过传感器安装件32被安装到图像传感器31。传感器安装件32通过螺钉33在图像传感器31上方安装到PCB 30。传感器安装件32是机械部件，其被安装在图像传感器31和透镜模块20之间，其目的是对准透镜模块20和图像传感器31。图像传感器31可以是相机中通常使用的任何传感器中的一个，例如图像传感器31可为电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。传感器安装到传感器安装件32的替代实施例稍后关于图8、9和10被描述。
八个LED 27以环形布置在PCB 28上。PCB 28限定了孔，透镜模块20可延伸穿过该孔，以使LED 27绕透镜模块20布置成环形。当然，应理解为，LED的数量可不同，且这个视觉系统可包括两个或更多个LED 27，这取决于视觉系统的照明要求。LED产生电磁光谱的可见部分中的光，但是在替代实施例中，LED可产生光谱的其他区域中的光，例如红外或近红外光。
视觉系统安装件24用于将被组装的视觉系统8安装到移动机器人1。视觉系统安装件24包括八个孔26，八个LED 27可突出穿过该八个孔。应理解为，孔26的数量可以不同以匹配LED 26的数量。视觉系统安装件24还包括多个翅片25，并定位成翅片25位于每对相邻的孔26之间。这些翅片25作用于分割由LED 27产生的光，从而使光更具方向性。视觉系统安装件24由金属(比如镁)形成，且用作散热器以将热量从LED 27吸走。这有助于通过减小LED27过热的风险来延长LED 27的寿命，且还阻止来自LED 27的热量损坏透镜模块20。为了提高视觉系统安装件24作为散热器的效率，散热器29通过散热器安装件24a固定到视觉系统安装件24。
透镜模块保持器22绕透镜模块20装配，且作用于将透镜模块20安装到视觉系统安装件24。反射表面23被设置在凸缘的下方，该凸缘从透镜模块保持器22的外侧径向向外突出。该反射表面23形成半抛物面环形镜，该半抛物面环形镜作用于向外反射从LED 27发出的光，这将在下面更详细地描述。
透光盖34限定孔口35，透镜模块保持器22和透镜模块20的顶部可突出穿过该孔口35。透光盖34因此覆盖且保护视觉系统8的照明系统14部分，但是使相机12暴露以捕获尽可能高质量的图像。
图3示出了穿过视觉系统8和移动机器人的一部分的截面图。视觉系统8部分地突出到移动机器人1的顶表面3上方。图像传感器31定位在机器人的顶表面3下方，且透镜模块从图像传感器31的顶表面延伸到视觉系统8的最顶部。穿过鱼眼透镜模块的示例的截面被示出在图4中。多个透镜42、44、46、48被保持在透镜模块体部40内。在图3中可看出，LED 27定位在移动机器人的顶表面3下方，这有助于保护LED和PCB免于损坏。然而，从LED 27发出的光通过透光盖35被向上和向外引导，以照亮移动机器人周围的环境，如标记为Y的区域所示。
图5示出了透镜模块保持器22上的反射表面23如何是半环形抛物面反射镜，其作用于将来自LED 27的光沿远离透镜模块的方向引导。结果，来自LED 27的光不能直接传播到透镜模块中，否则会过度的亮度有效地使视觉系统失明。反射表面23设置在从透镜模块保持器22的外侧径向向外突出的凸缘的下方，且该凸缘径向向外延伸超过LED 27，以使没有来自LED 27的光能够直线向上传播。如果来自LED 27的光能够直接向上传播，则将导致亮点(其中照明集中在移动机器人上方的天花板上)，这会再次以过度的亮度有效地使视觉系统失明。替代地，示例性照明射线U、V和W示出了反射表面23如何将光径向向外反射入移动机器人1周围的环境中。
而且，如图3中所示，由于反射表面23稍微延伸到移动机器人的顶表面3上方，所以来自LED 27的光能够沿与机器人1的顶表面3平行的水平方向延伸。结果，照明系统甚至能够照亮移动机器人侧面的区域。
图6示出了视觉系统安装件24的俯视图，LED 27突出穿过每个孔26。每个LED产生作用于照亮特定照明区域A-H的光。例如，LED 27A照亮照明区域A，LED 27B照亮标记为B的照明区域，依此类推。这种分割效果通过翅片25被强调。翅片25的顶部成形为使得当视觉系统8被组装时，翅片的顶部遵循反射表面的弯曲形状，因此，这减少了从它的照明区域的外侧的任何特定LED的任何光泄漏。每个LED 27A-H是可单独控制的，因此照明只在必要时可被提供在环境的各个部分。这有助于最小化浪费的功率，从而延长产品的电池寿命。延长电池寿命允许移动机器人具有更多的运行时间，且在需要返回充电站进行充电之前覆盖更多的地面区域。照明区域A-H一起总计为完整的可照明区域，该完整的可照明区域绕移动机器人1延伸了整个360°。
在一些实施例中，LED可以分组在一起以简化控制。例如，LED 27A和27B可为第一组，27C和27D为第二组，27E和27F为第三组，然后27G和27H为第四组。这些组然后可独立控制。与八分体照明控制(所有八个LED27都是可单独控制的)相比，这给机器人提供了四分体照明控制。应理解，其他分组和LED组的数量可根据视觉系统和移动机器人的要求来选择。
图7A示出了由视觉系统8捕获的球形图像70的表示。图像70可被分成与LED照明区域A-H对应的多个区段72。在处理过程中，球形图像70如箭头Q和R所示被分开和展开，获得示出绕移动机器人1整个360°的展开的矩形图像74。球形图像70中的区段72于是对应于矩形图像74中的区段76。当机器人1正在操作时，照明系统14可用于照亮由相机捕获的与标记为A-H的区段对应的环境的任何区域。例如，如果机器人前方的区域较暗，比如当机器人从光线充足的房间进入较暗的房间时，则向前面向的区段A和B在图像70和74中将显得更暗。因此，机器人的控制系统可增加给LED 27A和27B的功率，以使它们在A和B区段提供更多的照明，且机器人能够继续工作。关于照明系统的控制的更多细节将在下面关于图11-14描述。
图8示出了传感器安装件82的替代实施例，该传感器安装件被安装至PCB 80上的图像传感器。先前关于图2描述的传感器安装件32通过螺钉33被安装到图像传感器31和PCB30。螺钉有助于维持图像传感器31和传感器安装件32且由此的透镜模块处于良好对准。然而，在图8的替代实施例中，没有螺钉用于将传感器安装件82安装到图像传感器。这样，替代实施例的传感器安装件82可被称为被动对准传感器安装件82。被动对准传感器安装件82被提供具有可与透镜或透镜模块接合的接合部分83。在这个实施例中，接合部分83被提供具有螺纹，该螺纹与透镜或透镜模块上的类似螺纹互补，以使透镜或透镜模块可被拧到被动对准传感器安装件82上。
被动对准传感器安装件82是被安装在图像传感器与透镜或透镜模块之间的机械部件。与先前描述的传感器安装件32一样，被动对准传感器安装件82的目的是对准透镜或透镜模块与图像传感器，但是在这种情况下，被动对准传感器安装件82必须仅通过机械器件且没有外部输入(例如通过螺钉)而在图像传感器上产生居中的聚焦图像。传感器安装件82还必须允许聚焦所需的相对运动。
图9示出了被动对准传感器安装件82的下侧视图，且图10示出了沿图9所示的线P-P穿过被动对准传感器安装件的截面图。由于作用在图像传感器的侧面上的第一可变形塑料元件84，x-轴对准被实现。这产生了由箭头M表示的力，该力将图像传感器压靠在第一垂直基准面86上，第一垂直基准面结合在被动对准传感器安装件82的体部中。同样地，由于作用在图像传感器的另一侧面上的第二可变形塑料元件88，y-轴对准被实现。这产生了由箭头N表示的力，该力将图像传感器压靠在第二垂直基准面89上，第二垂直基准面也结合在被动对准传感器安装件82的体部中。通过将图像传感器压靠在两个垂直基准面86、89上，将传感器轴线与被动传感器对准安装件82的轴线对准。
关于Z轴，被动对准传感器安装件82位于图像传感器封装玻璃的顶部，该图像传感器封装玻璃形成了图像传感器的顶层，将其用作第三基准面且允许将透镜的光轴与玻璃的法向矢量对准，其对应于透镜的“俯仰(pitch)”和“偏航(yaw)”轴线。“滚动(roll)”轴线可自由旋转以进行聚焦。这组反作用(reaction)产生了公差最小化到透镜、传感器安装件和图像传感器封装的制造公差的对准。
如前所述，被动对准传感器安装件82允许仅通过被动机械器件沿x和y轴两者且还沿俯仰和滚动方向将透镜和图像传感器对准。被动对准传感器安装件82的另一个好处是，由于第一和第二可变形塑料元件的弹性特性，被动对准传感器安装件可附接到图像传感器且可从图像传感器拆卸，而不会对任何部件造成任何损坏。
图11示出了移动机器人1的实施例的示意图。照明控制算法在移动机器人1的控制系统90中被执行。控制系统90包括处理器91、图像处理单元92和导航单元93。控制系统可包括图11中未示出的用于控制移动机器人1的其他系统的其他单元，例如，控制系统还可包括任务控制单元，以控制由移动机器人执行的任务，比如真空清洁操作。
该视觉系统8包括相机12和照明系统14。如已经描述的，相机12能够捕获移动机器人1周围的区域的图像。例如，相机12是用于捕获天花板的图像的向上定向的相机、用于捕获在机器人1的向前行进方向上的图像的向前面向的相机、捕获机器人1周围区域的360°视场的全景环形透镜(PAL)相机，或鱼眼透镜相机(其也能够捕获机器人1周围区域的360°视场)。
当机器人1位于光线不足的环境中或由相机12捕获的图像对比度差时，照明系统14能够改善由相机12捕获的图像的质量。示出的照明系统14包括与先前附图中所示的LED相对应的多个LED 27A-H。LED 27A-H中的每一个具有相应的LED驱动器94A-H，该驱动器用于驱动功率到LED。LED27A-H发射相机的传感器能够检测到的任何带宽的光，以便提高由相机12捕获的图像的质量。例如，LED发出的光可在电磁光谱的可见、近红外(NIR)或红外(IR)部分内。已经发现可见光特别有利，特别是因为机器人拥有者能够更容易地确定照明系统正确且有效地起作用。
控制系统90还负责控制移动机器人1在其环境内的运动。由视觉系统8收集的图像和其他数据被馈送到控制系统8的导航单元93中。例如，导航单元93是同时定位和绘图(SLAM)单元。SLAM单元可用于分析图像，以找到图像中所示的机器人1周围区域内的地标特征。地标特征是可在图像内容易检测到的高对比度特征，例如桌子的边缘或相框的角部。图像的部分或全部分析可由图像处理单元92执行。然后，地标特征可被导航单元93使用来三角测量且确定机器人在环境中的位置或姿态。导航单元93可使用来自图像的信息和从移动机器人1中的其他传感器捕获的数据来创建环境的地图，机器人1使用该地图来了解和导航该环境。
指令从控制系统8发送到驱动系统98，其导致机器人1运动。驱动系统98在图1中示出为包括左手侧(LHS)牵引单元99A和右手侧(RHS)牵引单元99B。每个牵引单元99A，99B可被独立地控制，以使机器人1可被操纵。例如，如果RHS牵引单元99B沿向前方向驱动得比LHS牵引单元99A快，那么机器人将在向前移动时向左转向，或如另一示例，如果LHS和RHS牵引单元99A，99B以相同的速度但以相反的方向被驱动，则机器人1将原地转动。
移动机器人1还包括传感器系统95，该传感器系统向机器人1提供关于周围环境以及该环境内机器人的姿态的信息。该传感器系统95包括碰撞传感器96和陀螺仪系统97。陀螺仪系统97包括惯性测量单元(IMU)97A和里程表97B。里程表97B从驱动系统98接收数据，以提供牵引单元行进距离的指示(举例来说，通过使用车轮的旋转次数)。碰撞传感器96使机器人1知道何时与障碍物进行了物理接触。响应来自碰撞传感器96的信号，机器人可例如停止和/或调整其位置和轨迹。这防止机器人1对其自身或与其接触的障碍物造成任何损坏。传感器系统95可包括在图11中未示出的其他传感器，例如一个或多个接近传感器，比如PSD和/或ToF传感器。接近传感器能够给出靠近机器人1的任何障碍物的指示。这允许机器人1避开障碍物而不与它们接触。
现在描述如何控制照明系统的细节。
图12是流程图，示出了用于控制移动机器人1上的照明系统14的算法100的输入和输出。该照明算法具有三个输入(其用来提供LED控制值108)：曝光时间102、来自相机12的图像104和有关机器人旋转的信息106。图12示出了单个LED控制值108作为照明算法100的输出，但是应理解，如果控制多个LED需要，则可以生成一个以上的LED控制值108。
照明算法100控制照明系统14以提供平衡光，这使得导航单元93能够在暗区域中可靠地执行。算法100分析相机12捕获的每个单帧，且评估采用来自照明系统14的增强照明的需求。算法执行的频率与由相机12捕获的帧的频率相同。
曝光时间102被计算且被传递给照明算法。仅当计算出的曝光时间102超过某个阈值时，照明系统才被激活。这意味着在正常照明条件下，照明系统通常保持关闭，以防止不必要的功率浪费，否则会减少机器人的运行时间。曝光时间102通过曝光控制算法计算，其细节不在本发明的范围内。然而，应理解，有许多众所周知的方法可计算曝光时间，比如用于计算曝光值的测量算法，因此对于本文档而言，没有必要详细说明采用的确切方法。
如果机器人1旋转，则关于机器人旋转106的信息由算法100使用以使光偏移。这个信息从陀螺仪系统97获得。在不使用有关机器人旋转的信息的情况下，该算法将能够相应地调整照明，但是该算法需要花费时间来评估新图像帧且进行必要的调整。在该调整时间期间，图像会出现饱和或非常暗的像素，且会对机器人的导航产生负面影响。然而，通过使用关于机器人的旋转的信息，该算法能够在与机器人的旋转相反的方向上偏移光，以更快地将照明维持在机器人1周围环境的必要区域中。
图13示出了算法100执行期间采取的步骤的流程图。该算法在110处开始，且在112处第一动作是从相机12获得新的帧102且将其划分为区段。帧102是被展开的矩形图像，比如图7B中所示的，其由图像处理单元92展开。该区段对应于先前关于图6、7A和7B讨论的区段和照明区域A-H。
在步骤114中，如果对于比预定时间周期TX长的时间，计算出的曝光时间TEXP 102小于阈值曝光时间TTHRESH，则确定不需要照明系统，且在步骤115中减小LED功率LP。LP的减小将导致在分析每个帧时LED随时间变暗为零，而TEXP保持小于TTHRESH。这个已被选择以给出平滑且渐变的效果的照明变化。然而，替代方法是立即关闭到LED的电源。
如果对于比预定时间周期TX长的时间，计算出的曝光时间TEXP 102不小于阈值曝光时间TTHRESH(即，它大于阈值)，则确定照明系统是必要的，且该算法继续进行到步骤116，在该步骤中，将下一个区段A-H选择为下一个步骤的关注区域。
已经发现150毫秒(0.15秒)的阈值曝光时间TTHRESH和3秒的预定时间周期TX提供了最佳的平衡。然而，50-300毫秒(0.05到0.3秒)范围内的TTHRESH可被选择，且1-5秒范围内的TX可被选择。如果机器人的要求需要，这些范围外的用于TTHRESH和TX的其他值可被选择。
然后在步骤118中计算所选区段的平均亮度。平均亮度使用区段中像素强度的中数平均值计算。
用于每个区段的平均强度或亮度使用以下公式1计算，其中sw是区段宽度，sh是区段高度。例如，在具有八个区段的1024×128图像中，sw＝128且sh＝128，或在不同的实施例中，在具有四个区段的1024×128图像中，sw＝256且sh＝128。该公式计算所有像素的强度总和，然后将其除以该区段中像素的总数。
Figure BDA0002798333630000111
然后，在公式1中计算的平均强度使用下面的公式2归类为平均亮度。两个预定参数a和b用于确定图像的亮度。如果区段的平均强度在a和b之间，那么那个区段的亮度被视为正常。如果区段的平均强度在b以上，那个区段被认为是明亮的。最后，如果区段的平均强度小于a，那个区段被认为是暗的。
Figure BDA0002798333630000112
在步骤120中，如果所选区段的归类的平均亮度为“正常”，则算法直接进行到步骤122，在步骤122中进行检查以确定在帧中是否还有剩余区段要处理。如果仍然有剩余区段，则算法返回到步骤116，且选择帧中的下一个区段作为关注区域，且重复亮度计算和归类步骤。
替代地，如果在步骤120中所选区段的归类的平均亮度为“暗”，则算法改为进行到步骤121A，在步骤121A中，用于照亮该区段的LED的LED功率LP被增加。这是通过向该LED 27的LED驱动器94发送增加的LP值来实施的。然后，该算法进行到如前所述的步骤122。
替代地，如果在步骤120中所选区段的归类的平均亮度为“明亮”，则算法改为进行到步骤121B，在步骤121B中，用于照亮该区段的LED的LED功率LP被减少。这是通过向该LED27的LED驱动器94发送减小的LP值来实施的。然后，该算法进行到如前所述的步骤122。
一旦处理完帧中的所有区段，在步骤122处算法于是进行到步骤124，该步骤使用从陀螺仪系统97获得的机器人旋转信息106确定机器人1是否已经旋转。如果机器人尚未旋转，则算法返回到步骤112，从相机获得新的帧104且重复该过程。然而，如果机器人已经旋转，则算法进入步骤126，且在与机器人旋转相反的方向上使LED功率(LP)值偏移与检测到的机器人旋转角度相适应的区段数。例如，如果有八个LED区段，则在与旋转方向相反的每45°旋转，该算法使关联的LP值偏移1个区段。替代地，如果有四个LED片段，则在与旋转方向相反的每90°旋转，该算法使关联的LP值偏移1个区段。
例如，取图7A和7B中所示的图像区段以及图6中的相应LED 27A-H，下表1的第一行示出了在第一机器人姿态，用于每个LED A-H的LP值。在这种姿态下，机器人1前方有暗区域，因此被引导朝向机器人1的前面的LED 27A和27B被充分照亮，且被引导朝向机器人的前面的右周缘和左周缘的LED 27H和27C被稍微照亮。然后，表1的第二行示出了在第二机器人姿态，用于每个LED A-H的LP值，其中机器人已沿顺时针方向旋转了90°，而所有其他因素保持不变。在顺时针旋转90°之后，被引导朝向机器人的左手侧的LED 27C和27D现在面向暗区域，且因此由于算法将LP值逆时针偏移了两个区段而被照亮。
LED 27A 27B 27C 27D 27E 27F 27G 27H
姿态1 0.3 0.3 0.1 0 0 0 0 0.1
姿态2 0 0.1 0.3 0.3 0.1 0 0 0
表1
当然，如果机器人旋转得足够慢，则算法无需偏移光，因为照明可通过亮度计算被充分调整。这样，仅当旋转速度比预定阈值快时才考虑旋转。
一旦在步骤126中通过算法使LP值偏移了所需量，则算法返回到步骤112，从相机获得新的帧104且重复该过程。
使用图13中的流程图中列出的步骤的算法可导致照明系统生成的光的一些轻微“振荡”。当照明系统产生的照明快速变化时，振荡可发生。例如，当从明亮环境进入暗区域时，照明的快速增加可导致图像显得太亮。为了解决这个问题，该算法将降低照明，这进而将导致图像显得太暗等等。为了防止这种振荡效应，在照明水下变化之前稍有延迟，以确保检测到的环境光变化是持续且连续的。另外，照明过渡应稍微减慢且平滑。然而，有必要使机器人对环境光的变化做出足够快的反应，以使其导航系统能够不受阻碍地继续运行。
图14示出了图13的照明算法中的一部分的替代步骤的流程图，其解决振荡问题。步骤118和120与图13中的相同，但是随后的步骤不同。将光增加请求(LIR)和光减少请求(LDR)引入此方法。
在步骤120中在将平均亮度归类为“正常”的情况下，算法进行到步骤130，其中将LIR和LDR的值重置为零，且LED功率(LP)保持不变。然后，以与图13中所示算法相同的方式，对每个图像区段重复该算法。在图14中将其表示为步骤160以简化该附图。
在步骤120中将平均亮度归类为“暗”的情况下，算法进行到步骤140，在步骤140中，用于当前选择的区段的LIR值被增加。在此示例中，LIR值增加了1。然后，在步骤142中，如果条件满足亮度为“暗”且当前LIR值高于预定阈值thrLIR，则用于该区段的LED功率LP被增加(LP＝LP+1)且LIR值重置为零(LIR＝0)。于是，该算法在步骤160中针对每个图像区段重复。
在步骤120中将平均亮度归类为“明亮”的情况下，算法进行到步骤150，在步骤150中，用于当前选择的区段的LDR值被增加。在此示例中，LDR值增加了1。然后，在步骤152中，如果条件满足亮度为“明亮”且当前LDR值高于预定阈值thrLDR，则用于该区段的LED功率LP被减少(LP＝LP-1)且LDR值重置为零(LIR＝0)。于是，该算法在步骤160中针对每个图像区段重复。
一旦已经处理了当前帧或图像的所有区段，则算法前进至步骤162，在该步骤中，以与关于图13中的步骤124和126所描述的相同的方式，针对机器人的任何旋转来调整LP值。一旦已经针对机器人旋转调整了LP值，则算法行进到步骤164，在该步骤中将所有LP值发送到每个相应的LED驱动器。然后，算法再次返回到算法的步骤112，且获取新的帧。
因此，总而言之，下面的公式3示出了如何理解图像中的亮度。如果图像较暗，则LIR将被递增。如果亮度正常，则两个光请求LIR和LDR都将被重置。如果图像明亮，则LDR将被递增。
Figure BDA0002798333630000131
通过具有光变化请求，光水平中的变化之间的过渡将为平滑的。另外，在照明变化发生之前，对于LIR和LDR值超过阈值的需求会导致应用该变化的延迟。通过在算法中使用此方法，光线将不会振荡。
此方法的另一个好处是，可以通过改变对于增加/减少请求数量的阈值thrLIR和thrLDR轻松调整照明变化的速率。较高的阈值将降低变化的速率，而较低的阈值将增加变化的速率。
值得注意的是，在上述算法中，LED功率的变化被描述为+1或-1。这对应于光变化中的阶梯(step)。光变化中的阶梯可被定义为可应用于LED驱动器的最小变化量。将容易理解，这取决于LED驱动器和电特性。例如，如果LED灯在0％-100％的范围内，则阶梯可被定义为1％的变化。阶梯变化可根据机器人的要求或用户的需求来不同地定义。光水平阶梯是所需的光输出和过渡平滑度之间的平衡。光阶梯应足够小，以便用户不会注意到光的变化，但也应足够快，以使照明可在可接受的时间内达到最大光水平以进行图像处理。
替代地，代替LED功率的增量变化，如果要计算LP的较大变化，则可将其以离散级别发送到LED驱动器，以给用户带来平稳增加的印象。
尽管特殊实施例已被描述，应理解包括上述那些的各种修改可在不脱离由权利要求限定的本发明的范围的情况下被做出。

Claims (15)

1.一种用于移动机器人的视觉系统，所述视觉系统包括：
透镜模块；
照明系统，其包括多个光源；以及
透镜模块保持器；
其中，透镜模块保持器围绕透镜模块定位，并包括反射表面，以将从照明系统发射的光反射离开透镜模块。
2.根据权利要求1所述的视觉系统，还包括用于将所述视觉系统安装到移动机器人的视觉系统安装件，所述视觉系统安装件包括多个孔，所述多个光源突出穿过所述孔。
3.根据权利要求2所述的视觉系统，其中，所述视觉系统安装件包括散热器，以从所述多个光源吸走热量。
4.根据上述权利要求中任一项所述的视觉系统，其中，所述多个光源围绕所述透镜模块布置成环形。
5.根据上述权利要求中任一项所述的视觉系统，其中，所述透镜模块突出到所述透镜模块保持器上方，且所述多个光源中的每一个位于所述透镜保持器模块的反射表面下方。
6.根据上述权利要求中任一项所述的视觉系统，其中，所述反射表面是半抛物面环形镜。
7.根据上述权利要求中任一项所述的视觉系统，其中，翅片设置在所述多个光源中的每一个之间。
8.根据权利要求7所述的视觉系统，其中，每个翅片设置在权利要求2的视觉系统安装件上。
9.根据上述权利要求中任一项所述的视觉系统，还包括透光盖。
10.根据权利要求9所述的视觉系统，其中，所述透光盖覆盖所述照明系统且限定孔口，所述透镜模块的顶部突出穿过所述孔口。
11.根据上述权利要求中任一项所述的视觉系统，其中，所述透镜模块保持器突出到所述移动机器人的体部的上表面上方。
12.根据上述权利要求中任一项所述的视觉系统，其中，所述多个光源中的每一个位于所述移动机器人的体部的上表面下方。
13.根据上述权利要求中任一项所述的视觉系统，其中，所述透镜模块包括用于将光聚焦到图像传感器上的多个透镜。
14.根据上述权利要求中任一项所述的视觉系统，其中，存在八个光源，且每个光源是可独立控制的。
15.一种移动机器人，包括根据上述权利要求中任一项所述的视觉系统。
CN201980035349.XA 2018-06-05 2019-05-08 用于移动机器人的视觉系统 Pending CN112166392A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1809178.5A GB2574417B (en) 2018-06-05 2018-06-05 A vision system for a mobile robot
GB1809178.5 2018-06-05
PCT/GB2019/051263 WO2019234383A1 (en) 2018-06-05 2019-05-08 A vision system for a mobile robot

Publications (1)

Publication Number Publication Date
CN112166392A true CN112166392A (zh) 2021-01-01

Family

ID=62975465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035349.XA Pending CN112166392A (zh) 2018-06-05 2019-05-08 用于移动机器人的视觉系统

Country Status (7)

Country Link
US (1) US20210228047A1 (zh)
JP (1) JP7128908B2 (zh)
KR (1) KR102445785B1 (zh)
CN (1) CN112166392A (zh)
GB (1) GB2574417B (zh)
TW (1) TW202004246A (zh)
WO (1) WO2019234383A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111993394B (zh) * 2020-09-08 2022-03-18 中南大学 一种被动柔顺装置
GB2605748B (en) * 2021-01-22 2023-07-12 Dyson Technology Ltd A collision detection system for a mobile robot
WO2023246994A1 (en) * 2022-06-20 2023-12-28 Universal Robots A/S Robot element with illiuminating ring

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041333A1 (en) * 2004-05-17 2006-02-23 Takashi Anezaki Robot
EP2631730A1 (en) * 2012-02-24 2013-08-28 Samsung Electronics Co., Ltd Sensor assembly and robot cleaner having the same
US20130331990A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Obstacle sensing module and cleaning robot including the same cross-reference to related application
US20150120056A1 (en) * 2013-10-31 2015-04-30 Lg Electronics Inc. Mobile robot
US20160059770A1 (en) * 2014-09-03 2016-03-03 Dyson Technology Limited Mobile robot
CN206223332U (zh) * 2016-12-08 2017-06-06 广州零号软件科技有限公司 一种基于机器人视觉的触觉测量传感器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3494075B2 (ja) * 1999-05-25 2004-02-03 三菱電機株式会社 移動体の自己位置標定装置
US7270274B2 (en) * 1999-10-04 2007-09-18 Hand Held Products, Inc. Imaging module comprising support post for optical reader
US6870949B2 (en) * 2003-02-26 2005-03-22 Electro Scientific Industries Coaxial narrow angle dark field lighting
DE10344762B4 (de) * 2003-09-26 2006-06-29 Siemens Ag Optisches Modul mit auf der sensitiven Fläche abgestützter Linseneinheit und optisches System
US7896805B2 (en) * 2005-11-23 2011-03-01 Given Imaging Ltd. In-vivo imaging device and optical system thereof
US9320417B2 (en) * 2005-12-29 2016-04-26 Given Imaging Ltd. In-vivo optical imaging device with backscatter blocking
KR100860874B1 (ko) * 2006-03-08 2008-09-29 엠텍비젼 주식회사 카메라 모듈
KR101555894B1 (ko) * 2007-05-04 2015-09-30 코닌클리케 필립스 엔.브이. 열 관리를 위한 ｌｅｄ 기반 설비들 및 관련 방법들
JP2009244384A (ja) * 2008-03-28 2009-10-22 Fujinon Corp レンズ組立体および撮像装置
US9307128B2 (en) * 2012-06-26 2016-04-05 Alex Ning Lens mount
JP2015076872A (ja) * 2013-10-09 2015-04-20 スリーイーサイエンス株式会社 監視カメラ付き照明装置
US9609195B2 (en) * 2014-05-07 2017-03-28 Gopro, Inc. Integrated image sensor and lens assembly
CN203968223U (zh) * 2014-07-11 2014-11-26 杭州海康威视数字技术股份有限公司 一种具有红外灯的鱼眼摄像机
GB2529846B (en) 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
US9744670B2 (en) * 2014-11-26 2017-08-29 Irobot Corporation Systems and methods for use of optical odometry sensors in a mobile robot
KR102335186B1 (ko) * 2014-12-24 2021-12-03 삼성전자주식회사 렌즈 조립체, 이를 이용한 장애물 감지유닛, 및 이를 구비한 이동로봇
US11096557B2 (en) * 2016-03-14 2021-08-24 Eyelum Ltd. Endoscopy system having a miniature closed head
US10212318B2 (en) * 2016-05-11 2019-02-19 Canon Kabushiki Kaisha Image pickup apparatus such as network camera, and image monitoring system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041333A1 (en) * 2004-05-17 2006-02-23 Takashi Anezaki Robot
EP2631730A1 (en) * 2012-02-24 2013-08-28 Samsung Electronics Co., Ltd Sensor assembly and robot cleaner having the same
US20130331990A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Obstacle sensing module and cleaning robot including the same cross-reference to related application
US20150120056A1 (en) * 2013-10-31 2015-04-30 Lg Electronics Inc. Mobile robot
US20160059770A1 (en) * 2014-09-03 2016-03-03 Dyson Technology Limited Mobile robot
CN206223332U (zh) * 2016-12-08 2017-06-06 广州零号软件科技有限公司 一种基于机器人视觉的触觉测量传感器

Also Published As

Publication number Publication date
GB201809178D0 (en) 2018-07-25
WO2019234383A1 (en) 2019-12-12
GB2574417A (en) 2019-12-11
US20210228047A1 (en) 2021-07-29
KR102445785B1 (ko) 2022-09-21
GB2574417B (en) 2021-03-03
JP2021526266A (ja) 2021-09-30
JP7128908B2 (ja) 2022-08-31
KR20210005928A (ko) 2021-01-15
TW202004246A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
CN112203807B (zh) 移动机器人和控制移动机器人照明系统的方法
KR102153115B1 (ko) 이동 로봇
JP6103319B2 (ja) 移動式ロボット
JP6591544B2 (ja) 移動式ロボット
CN112166392A (zh) 用于移动机器人的视觉系统
EP2631122B1 (en) Headlamp control system
US11897385B2 (en) Headlamp encapsulated with camera and artificial intelligence processor to adjust illumination
CN116648639A (zh) 环绕视图成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination