CN112041126A - 用于自主机器人导航的感测认证装置、系统和方法 - Google Patents
用于自主机器人导航的感测认证装置、系统和方法 Download PDFInfo
- Publication number
- CN112041126A CN112041126A CN201980028791.XA CN201980028791A CN112041126A CN 112041126 A CN112041126 A CN 112041126A CN 201980028791 A CN201980028791 A CN 201980028791A CN 112041126 A CN112041126 A CN 112041126A
- Authority
- CN
- China
- Prior art keywords
- light source
- camera
- sensing camera
- robot
- fov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000009257 reactivity Effects 0.000 claims abstract description 4
- 230000015654 memory Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000004313 glare Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005007 materials handling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
Abstract
一种用于认证至少部分地导航自主移动机器人的传感器的装置、系统和方法。该装置可以包括至少一个机器人主体;至少一个光源,其驻留在所述机器人主体上接近所述感测相机,使得所述至少一个光源能够至少部分地照射所述感测相机的视场(FoV),其中所述至少一个光源具有与所述感测相机基本上匹配的特性;以及至少一个处理系统,其提供至少部分导航。所述至少一个处理系统可以执行以下步骤:在预定时间致动所述至少一个光源并持续预定持续时间;监测来自所述感测相机的数据以确认所述致动;基于所述监测,计算所述感测相机的延迟、吞吐量和反应度中的至少一者;以及基于所述计算,至少部分地进行导航。
Description
相关申请的交叉引用
本申请要求享有2018年3月29日提交的名为“用于自主机器人导航的感测认证装置、系统和方法(APPARATUS,SYSTEM,AND METHOD CERTIFYING SENSING FOR AUTONOMOUSROBOT NAVIGATION)”的美国临时申请62/649,925的优先权的权益,其全部内容如被阐述的一样通过引用结合于此。
背景技术
技术领域
本公开一般涉及机器人技术,并且更具体地涉及用于自主机器人导航的感测认证装置、系统和方法。
背景技术
小型相机的使用在现代社会中已经变得无处不在。随着技术的不断进步,自本世纪初所谓的“网络摄像机”出现以来,相机技术和图像处理已得到了极大的改进。因此,相机技术在许多领域中非常普遍,并且由于大量原因而被使用,作为非限制性示例,包括用于社交用途的网络摄像机、用于安全监控的自动化相机、以及诸如汽车倒车相机的安全相机。
当然,可以基于诸如所需性能和成本的多种因素中的任何因素来选择相机的类型和能力。因此,通常选择便宜的典型社交媒体摄像机(即,网络摄像机),因此不能提供高水平的性能。因此,这样的相机经常“故障”-即,由于延迟、性能缺乏、中断优先级、吞吐量不足、连通性不足、最低限度的处理能力、过度缓冲等,相机可能挂起、误读、模糊、变黑、经历静态或以其他方式在短暂或非短暂时间段内出现故障。但是,在使用这种相机的过程中,通常即使在最显著的故障的情况下也不会发生超出用户烦恼的伤害。也就是说,即使在严重的故障时,最坏的情况也只需要用户“挂断”相机并“回叫”相机连接另一端的参与者。
这与其它可能的相机使用形成鲜明对比。例如,在汽车倒车相机的使用期间的故障可能具有灾难性的后果,诸如发生重大伤害或死亡。事实上,交通运输部和美国国家公路交通安全管理局估计,使用车载倒车相机已经使数千人免于受伤或死亡,而没有考虑财产损失的相当大的节省。但是,由于这种相机需要高水平的性能,并且需要这种相机被安全认证以具有一致和足够的性能,车载倒车相机通常花费$2,000美元或更多。
最近越来越多的自主机器人在许多场合(包括零售、库存管理、安全和巡逻、运输援助以及危险物品处理)被设置使用,通常采用一个或多个相机(例如上述讨论的那些相机),以监测导航区域、确保安全操作、规划经过的路径、避免碰撞和财产损失等。然而,在许多前述和其它情况下,其中相机用于自主移动机器人引导,操作环境的相对丰富的图片必须实时地从相机数据中显现,以允许机器人的适当操作。因此,通常的情况是,在前述和其它类似的情境下,必须采用安全认证的相机和相机系统。
不幸的是,如上所述,使用认证的安全相机系统的需要显著增加了这种机器人的费用,这可能使得在许多情况下使用自主移动机器人是不可行的。此外,对经认证的安全相机的需要增加了数据处理的必要速度和处理量,以及分配给相机系统和处理系统的物理量,并且这些问题中的每一个还进一步增加了自主移动机器人的成本,从而限制了可以使用这样的机器人的情境。
发明内容
本公开是并且包括用于认证至少部分地导航自主移动机器人的传感器的至少一种装置、系统和方法。该装置可以包括至少一个机器人主体;至少一个光源,其驻留在所述机器人主体上接近所述感测相机,使得所述至少一个光源能够至少部分地照射所述感测相机的视场(FoV),其中所述至少一个光源具有与所述感测相机基本上匹配的特性;以及至少一个处理系统,其提供至少部分导航。
至少一个处理系统可以包括用于执行存储在至少一个计算存储器中的非暂时性计算代码的处理器,其中由该处理器执行的计算代码包括以下步骤:在预定时间致动所述至少一个光源并持续预定持续时间;监测来自所述感测相机的数据以确认所述致动;基于所述监测,计算所述感测相机的延迟、吞吐量和反应度中的至少一者;以及基于所述计算,至少部分地进行导航。
附图说明
本公开通过示例的方式而非限制的方式在附图中示出,其中,相同的附图标记指示类似的元件,并且其中:
图1示出了示例性认证系统;
图2示出了示例性认证系统;
图3图示了示例性相机炫目系统;
图4示出了示例性电路示意图;
图5A和5B示出了示例性电路的示意图和印刷布局;
图6示出了示例性柔性光源连接器;
图7示出了示例性的时序和数据图;
图8示出了示例性图像数据;
图9示出了示例性图像数据;
图10示出了示例性图像数据;以及
图11是示出示例性处理系统的示意图。
具体实施方式
本文提供的附图和描述可能已经被简化以说明与清楚理解本文描述的装置、系统和方法相关的方面,同时为了清楚起见,消除了可以在典型的类似装置、系统和方法中发现的其它方面。本领域的普通技术人员可以认识到,其它元件和/或操作对于实现本文所述的设备、系统和方法可能是期望的和/或必要的。但是因为这样的元件和操作在本领域中是公知的,并且因为它们不会促进对本公开的更好理解,所以在此可能不提供对这样的元件和操作的讨论。然而,本公开被认为内在地包括本领域普通技术人员将已知的对所描述的方面的所有这样的元件、变化和修改。
本文所使用的术语仅用于描述特定实例实施例的目的,且不希望为限制性的。例如,如本文所用,单数形式“一”、“一个”和“该”也可旨在包括复数形式,除非上下文另外清楚地指明。术语“包括”、“包含”、“含有”和“具有”是包含性的,因此指定了所述特征、整数、步骤、操作、元件和/或组件的存在,但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。除非明确地确定为执行顺序,否则这里描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行。还应当理解,可以采用附加的或替代的步骤。
当元件或层被称为在另一元件或层“上”、“接合到”、“连接到”或“耦接到”另一元件或层时,其可以直接在另一元件或层上、直接接合到、直接连接到或直接耦接到另一元件或层,或者可以存在中间元件或层。相反,当元件被称为“直接在另一元件或层上”、“直接接合到”、“直接连接到”或“直接耦接到”另一元件或层时,可以不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式解释(例如,“之间”对“直接之间”、“相邻”对“直接相邻”等)。如本文所使用的,术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
尽管术语第一、第二、第三等可以在这里用于描述各种元件、部件、区域、层和/或部分,但是这些元件、部件、区域、层和/或部分不应当受这些术语限制。这些术语仅用于将一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分区分开。也就是说,除非上下文清楚地指出,否则诸如“第一”、“第二”和其它数字术语的术语在本文使用时不暗示顺序或次序。因此,在不脱离示例性实施例的教导的情况下,下面讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。
本文公开了处理器实现的模块、系统和使用方法,其可以提供对多种类型的数字内容的访问和转换,所述多种类型的数字内容包括但不限于视频、图像、文本、音频、元数据、算法、交互和文档内容,并且其跟踪、递送、操纵、转换和报告所访问的内容。这些模块、系统和方法的所述实施例旨在是示例性的而非限制性的。因此,可以设想,本文所述的系统和方法可以被修改并且可以被扩展以提供对所述的示例性模块、系统和方法的增强和/或添加。因此,本公开旨在包括所有这样的扩展。
此外,将理解,如本文所使用的术语“引擎”、“应用程序”或“模块”不将功能性限于特定物理模块,而是可包含对系统的至少一部分具有变换效应的任何数目的有形地体现的软件和/或硬件组件。通常,根据一个实施例的计算机程序产品包括有形计算机可用介质(例如,标准RAM、光盘、USB致动器等),其具有在其中实现的计算机可读程序代码,其中计算机可读程序代码适于由处理器(其可以与操作系统结合工作)执行以实现如下所述的一个或多个功能和方法。在这点上,程序代码可以以任何期望的语言实现,并且可以实现为机器代码、汇编代码、字节代码、可翻译的源代码等(例如,经由C、C++、C#、Java、Actionscript、Objective-C、Javascript、CSS、XML等)。
如上所述,在经认证的安全相机和便宜得多的深度相机的性能之间存在显著的差距。该性能差距包括未认证的深度相机的操作和数据流中的“故障”的可能性,诸如可能由延迟、性能缺乏、中断优先级、吞吐量不足、连通性不足、最低限度的处理能力、过度缓冲等引起的故障。
不管未认证的深度相机中的故障的原因如何,在需要高安全水平的某些应用中使用这样的相机要求已认证和未认证的相机之间的性能差距被消除,这需要可靠的和实时的数据流,诸如自主移动机器人的导航。不必说,消除这个差距的最简单的设计选择是将认证的相机替换到设计中,而不是未认证的相机;然而,这种替换可能使放置相机的整个设备的成本增加数千美元。此外,在诸如移动机器人的某些情境中使用认证的相机可能导致设备中的成本大量增加,诸如由于增加的数据流以及随之而来的对提高的处理能力的需要,由于对设备上的物理空间的增加的需要,等等。
然而,为了在安全关键系统中使用未认证的复杂传感器,将需要执行诊断,所述诊断测量系统的各个方面并且确保以类似于认证系统的方式操作,以便认证未认证的传感器系统。因此,为了在安全关键系统中使用这种未认证的传感器,必须提供足够的诊断能力以便证明足够的风险降低。
例如,使用未认证的相机来导航自主移动机器人,并且特别是执行障碍物躲避、悬崖检测等功能的关键方面是最近获取了用于导航的传感器数据。由于传感器相机未被认证,因此量化该延迟的界限可能很困难。然而,与使用安全认证的相机的实施例相比,为了能够在这种使用情境中使用未认证的相机,在量化相机提供这种自主导航的适合性方面的差距必须缩小。
实施例缩小了上述差距,以使得能够使用未认证的相机系统,诸如自主移动机器人。通过提供非认证相机和以类似于认证相机系统的方式工作的处理系统来缩小该差距。未认证相机系统可以是例如简单的深度感测相机。
更具体地,本公开提供了通过将诸如LED等简单光源照光和/或反射到深度相机的视场中来直接改变深度图像的机制。深度相机图像数据的这一改变可根据安全认证协议来发起,并且结果可由发起该协议的同一处理平台来评估,即使图像数据的数据路径流经一个或多个未认证的处理平台。
也就是说,实施例可以提供实时安全协议校准,诸如可以以预定间隔执行,以便评估相机功能并且确保在经认证的相机处或附近的操作。更具体地,可以将所公开的未认证相机的炫目的图像数据的延迟测量与安全认证系统中的可接受的计时进行比较。
校准系统可包括自动或手动致动器,该致动器致动对相机的深度图像的改变,该改变可由与相机相关联的处理系统检测到。然后,处理系统可以确保相机的操作是可接受的,以满足可应用的安全需要,即,相机不会有过多的延迟,具有足够的吞吐量,提供未降级的数据等。
图1示出了根据一些实施例的系统10。如图所示,诸如红外(IR)LED或白色或彩色LED源之类的光源12物理地设置在诸如自主移动机器人之类的设备14上。作为非限制性示例,合适的IR LED可以是由Vishay提供的VSMG10850。该IR LED工作在850nm,并且是GaAlA侧发光二极管。
光源12可以被定位成能够照射基本上邻近的相机16(诸如深度相机)的视场(FoV)20,该相机具有基本上与光源12匹配的特性,该光源还可以物理地驻留在设备14上,诸如在移动机器人上。不用说,在一些实施例中,照射源12可以经受初步对准过程。
在典型的情况下,深度相机16的FoV 20可以是地板22上的机器人14在其上行进的区域。例如,可以提供该FoV 20以便移动机器人14可以在自主导航期间避开障碍物26,包括活体障碍物和其他动态障碍物。该自主导航和障碍物躲避由一个或多个处理系统120控制,在一些实施例中,该处理系统也可以在也承载光源12和至少一个深度相机16的设备14上。应当注意,在一些实施例中,FoV 20还可以包括机器人14的主体本身。
该处理系统20还可以控制致动照射源12的致动器32,并且可以监测深度相机16的数据流34以响应于源12的致动。作为非限制性示例,处理系统120可以具有作为非暂时性代码存储在与其相关联的计算存储器中的一个或多个校准算法/应用490,作为非限制性示例,诸如可以取决于深度相机类型、照射类型、与深度相机16所关联的机器人14相关联的使用情境、和/或与深度相机16相关联的机器人14的使用环境。
存储的校准算法490可以包括频率、功率和/或手动超控,致动器32根据该频率、功率和/或手动超控被致动以便驱动光源12。一旦源12照射深度相机16的FoV 20的至少一部分,则所生成的深度相机数据34可以由处理系统120监测以根据在(一个或多个)算法490中指示的任何适用准则来确认操作的适当性。例如,在移动机器人14在有人的情况下操作的任何实施例中,障碍物分析中的最小延迟可能是必要的,并且因此,对于在这种环境中的这种机器人12,处理系统120可以致动照射12,然后读取观察照射区域的深度相机(34)的FoV的时间戳像素。如果深度相机16示出了适当的像素数据34表明根据算法490以等于或小于可接受延迟来查看照射能量,则处理系统120可以允许与相机相关联的机器人的继续操作,诸如通过向也与处理系统120通信和/或由其执行的一个或多个管控软件程序指示。相反,如果适当的像素没有适当地“看到”照射能量,和/或如果像素仅在不可接受的长延迟之后才证明存在照射能量,则处理系统120可以指示停止机器人14的进一步操作,和/或可以使得发送用于维修的警报,作为示例。
因此,在各实施例中,从光源12的致动到深度相机的图像数据34中的可检测改变的时间测量可以是由(一个或多个)算法490评估的若干不同关键参数之一。其它参数可以包括例如图像中或其像素中的可检测改变的程度;一些像素相对于其它像素的比较性改变;相机感测一个相机FoV中的照射的能力与感测另一个相机FoV中的照射的能力相比;等等。
从照射源12的致动到深度相机的图像数据34中的可检测改变的时间测量提供了相机的感测能力中的真实延迟的绝对值的界限。真实延迟是认证系统中的关键安全参数,因此是移动机器人实施例中的关键参数。这部分是因为深度传感器16可以用于障碍物躲避、斜坡检测和/或洞或悬崖检测,并且必须考虑实际延迟界限以确定机器人14部分地由相机16导航对前述问题中的任何一个的最坏情况反应时间。此外,由于深度传感器16被假定为不是安全认证的,因此有必要经由前述方法证明延迟界限是正确的并且系统10可以符合与认证的相机相同的延迟要求。值得注意的是,在测量延迟之后,所公开的实施例可以通过重复地监测由所公开的安全校准处理系统120接收的适当深度图像之间的时间来维持延迟界限。
尽管图1的图示是关于IR或LED光源12提供的,但是激励源以及附加地深度传感器16可以与在图1的前述讨论中明确引用的那些不同;尽管优选的是,传感器16和激励源12是成对的,使得传感器可以被适当地校准和测试。例如,在结构化光相机16的情况下,明亮光源12可被照射在传感器的FoV 20内的地板22上,或机器人14的表面。在这样的示例性实施例中,结构化光传感器16的“眩目”导致深度图像数据34从传感器16“缺失”。
在另一示例中,光源12可被放置成高度靠近诸如结构化光相机等相机16的镜头,连同反射器一起反射来自光源12的足够的光以“炫目”形成深度图像数据34的诸如环形等形状。这样的解决方案也可以应用于立体深度相机系统,诸如通过将环形应用于两个立体相机之一。在这种校准中,因为在第二相机中没有出现环形的对应,所以在所产生的图像中出现大的缺失,从而指示光源已经被立体感测。
图2示出了具有两个深度感测相机104、106和两个照射源108、110的机器人上部102的实施例。在所示的实施例中,作为非限制性示例,照射源108、110可以是侧发光LED源。
在图示中,照射源108,110可以悬挂在侧臂116和/或柔性电缆电路122上,并且可以至少部分地通过柔性印刷电缆电路122与处理系统120和致动器130通信连接,尽管在不背离本公开的情况下可以提供其他配置。柔性印刷电缆电路122可以如图所示安装到相机外壳134上和/或安装在其内,尽管根据本文的讨论,其他配置对于本领域技术人员而言可能是显而易见的。使用柔性电缆电路122可以消除对照射源108、110的任何附加校准的需要,并且与感测相机104、106的邻近限制了为了执行算法490而需要的来自光源108、110的照射程度。
图3示出了安装在相机外壳304内的深度相机302的实施例。在该图示中,提供了侧面安装的LED照射源306,至少部分地使用柔性电路310,其邻近或在摄像机外壳304上。
图3的实施例中还示出了提供反射表面310、312以确保光源306作用于相邻深度相机302的FoV。在图示中,提供了两个反射表面310、312,例如白色表面和银色表面,以将反射能量反射地聚焦到相机FoV,尽管可以理解,根据实施例可以采用其它数量、类型、布置和/或颜色的反射表面。
图4是用于图1-3所示实施例中的LED照射源的示例性控制电路500的电路示意图。在该示例中,用于照射FoV的LED可通过从控制电路500中的电阻502-508中选择的数量来选择。
图5A和5B示出了本文所讨论的柔性印刷电缆电路600的各方面。更具体地说,图5A示出了示例性柔性电缆电路的电路示意图600a。图5B示出了用于图5A的柔性电缆电路600a的印刷的示例性印刷布局600b。图6示出了适于与例如上文参照图2-4所述的IR源一起使用的示例性柔性电缆700。
图7提供了说明一些实施例的时序和数据图。在图的下部示出了用于相机的FoV的正常图像数据702,以及当致动了炫目LED704时,对于FoV获得的适当数据应当如何呈现给照相机。
在图示中,“炫目”LED在时间tA被致动,并且在时间tB被暂停。将注意的是,正常图像数据包括从时间t0到时间t1的来自相机的数据流;炫目图像数据包括从时间t1到t2的数据流;并且正常图像数据再次包括从时间t2开始的数据流。因此,从tA到t1的时间是相机及其处理系统的延迟,并且正是该延迟可以与可接受的预定阈值进行比较。
此外,如果相机及其处理系统正常操作,则时间t1至t2应当至少基本上等于时间tA至tB。如果这些时间窗基本上不相等,例如超过预定阈值,则这可以是相机及其处理系统的吞吐量不足、反应度或延迟的证明。
图8-10提供了在所公开的实施例中在校准之前和期间由相机产生的数据的图示。更具体地说,图8示出了来自移动机器人的上部的FoV的所谓的“RGB”(红-绿-蓝)相机输出数据802。图9示出了相同的FoV,但是替代地示出了来自深度感测相机的输出数据902。图10示出了图9的深度相机的相同FoV,但是在图10中,数据1002指示FoV已经被“眩目”IR LED照射。
如从图9和10中显而易见的,示例性深度相机实际上已经感测到从IR LED提供的炫目照射。然而,并且如上所述,给定图9和10的深度相机所附着到的机器人的能力,校准查询的附加方面需要评估炫目照射的感测是否在合适的时间范围内发生。如果在FoV中的IRLED源的感测发生在给定预定阈值的可接受的时间范围内,其中处理系统会将感测时间与该预定阈值进行比较,则机器人的正常操作可以继续。然而,作为非限制性示例,如果在感测明显之前超过阈值时间帧,则机器人的操作可以由处理系统停止,并且发送警报。
图11通过非限制性示例的方式描绘了用于与实施例相关联使用的示例性计算机处理系统120。处理系统120能够执行软件,例如操作系统(OS)和一个或多个计算算法/应用程序490,例如在全文中讨论的那些。示例性处理系统120的操作主要由贯穿全文讨论的计算机可读指令/代码来控制,诸如存储在诸如硬盘驱动器(HDD)415等计算机可读存储介质、诸如CD或DVD等光盘(未示出)、诸如USB“拇指驱动器”等固态驱动器(未示出)等中的指令。这些指令可以在中央处理器(CPU)410内执行,以使系统120执行所公开的操作、比较和计算。在许多已知的计算机服务器、工作站、个人计算机等中,CPU 410在称为处理器的集成电路中实现。
应当理解,尽管示例性处理系统120被示为包括单个CPU 410,但是这样的描述仅仅是说明性的,因为处理系统120可以包括多个CPU 410。另外,如上所述系统120可以通过通信网络470或一些其它数据通信装置480来利用远程CPU(未示出)的资源。
在操作中,CPU 410从计算机可读存储介质如HDD 415中取出、解码和执行指令。这样的指令可以包括在诸如操作系统(OS)、可执行程序/应用490等的软件中。诸如计算机指令和其它计算机可读数据的信息经由系统的主数据传输路径在系统120的组件之间传输。主数据传输路径可以使用系统总线架构405,尽管可以使用其他计算机架构(未示出),诸如使用串行器和解串行器以及纵横开关以通过串行通信路径在设备之间传送数据的架构。系统总线405可以包括用于发送数据的数据线、用于发送地址的地址线、以及用于发送中断和用于操作系统总线的控制线。一些总线提供总线仲裁,该总线仲裁通过扩展卡、控制器和CPU 410来调节对总线的访问。
作为示例,耦合到系统总线405的存储器设备可包括随机存取存储器(RAM)425和/或只读存储器(ROM)430。这种存储器包括允许存储和检索信息的电路。ROM 430通常包含不能被修改的存储数据。存储在RAM 425中的数据可以由CPU 410或其他硬件设备读取或改变。对RAM 425和/或ROM430的访问可以由存储控制器420控制。存储控制器420可提供地址转换功能,其在执行指令时将虚拟地址转换成物理地址。
另外,处理系统120可以包含外围通信控制器和总线435,其负责将指令从CPU 410传送到外围设备和/或从外围设备接收数据,所述外围设备诸如外围设备440、445和450,其可以包括打印机、键盘和/或本文通篇讨论的元件。外围总线的一个例子是相关领域中公知的外围部件互连(PCI)总线。
由显示控制器455控制的显示器460可以用于响应于上述计算程序/应用490的操作,显示由处理系统120生成或应其请求而生成的视觉输出和/或呈现数据。这样的视觉输出可以包括例如文本、图形、动画图形和/或视频。显示器460可以用基于CRT的视频显示器、基于LCD或LED的显示器、基于气体等离子体的平板显示器、触摸面板显示器等来实现。显示控制器455包括产生发送到显示器460的视频信号所需的电子组件。
此外,处理系统120可以包含网络适配器465,其可以用于将系统120耦接到外部通信网络470,其可以包括或提供对因特网、内联网、外联网等的访问。通信网络470可以利用电子地通信和传送软件和信息的方式来为处理系统120提供访问。另外,通信网络470可以提供分布式处理,其涉及若干计算机以及在执行任务时的工作负载或协作工作的共享,如上所述。网络适配器465可以使用任何可用的有线或无线技术与网络470进行通信。作为非限制性示例,这样的技术可以包括蜂窝、Wi-Fi、蓝牙、红外等。
在上述详细描述中,可以看出,为了本公开的清楚和简洁,各种特征被组合在单个实施例中。本公开的这种方法不应被解释为反映实施例需要比本文明确叙述的更多的特征的意图。相反,本公开将涵盖本领域技术人员根据本公开将理解的对所公开的实施例的所有变化和修改。
Claims (24)
1.一种用于至少部分地导航自主移动机器人的感测相机的认证系统,包括:
机器人主体;
至少一个光源,其驻留在所述机器人主体上接近所述感测相机,使得所述至少一个光源能够至少部分地照射所述感测相机的视场(FoV),其中所述至少一个光源具有与所述感测相机基本上匹配的特性;
至少一个处理系统,其提供所述至少部分导航,其中所述至少一个处理系统包括用于执行存储在至少一个计算存储器中的非暂时性计算代码的处理器,并且其中由所述处理器执行所述计算代码包括以下步骤:
在预定时间致动所述至少一个光源并持续预定持续时间;
监测来自所述感测相机的数据以确认所述致动;
基于所述监测,计算所述感测相机的延迟、吞吐量和反应度中的至少一者;
基于所述计算,至少部分地进行导航。
2.根据权利要求1所述的系统,其中所述计算还包括以下中的至少一者:
比较所述数据中的一些像素相对于其他像素的改变;以及
将所述感测相机的所述数据与第二传感器的第二数据进行比较。
3.根据权利要求1所述的系统,其中至少所述致动、监测和计算取决于所述感测相机的类型、所述光源类型的类型、所述光源与所述感测相机之间的距离、所述机器人的使用情境和所述机器人的使用环境中的至少一者而变化。
4.根据权利要求1所述的系统,其中所述致动包括对所述光源的频率、功率或手动超控的选择。
5.根据权利要求1所述的系统,还包括基于所述监测来确认所述感测相机的正确操作。
6.根据权利要求5所述的系统,其中,所述正确操作包括所述延迟的最小化。
7.根据权利要求1所述的系统,其中,所述监测包括读取所述感测相机的所述FoV的带时间戳的像素。
8.根据权利要求6所述的系统,其中,如果所述延迟被最小化,则所述导航包括允许所述机器人的继续操作。
9.根据权利要求6所述的系统,其中,如果所述延迟未被充分地最小化,则所述导航包括所述机器人的操作的停止。
10.根据权利要求9所述的系统,其中所述导航还包括发送维修警报。
11.根据权利要求1所述的系统,其中所述光源包括从由红外(IR)LED、白色LED、彩色LED和非常亮的光源组成的组中选择的一个光源。
12.根据权利要求11所述的系统,其中所述光源是在850nm下操作的IR LED,由GaAlA组成,并且是侧面发光的。
13.根据权利要求1所述的系统,其中所述感测相机包括深度相机。
14.根据权利要求13所述的系统,其中所述深度相机包括3D深度相机。
15.根据权利要求1所述的系统,其中所述光源被初步对准。
16.根据权利要求1所述的系统,其中所述感测相机的所述FoV至少包括在地板上的所述机器人在其上行进的区域和所述机器人主体。
17.根据权利要求1所述的系统,其中所述导航包括避开由所述监测所揭示的障碍物。
18.根据权利要求17所述的系统,其中所述障碍物包括动态障碍物。
19.根据权利要求1所述的系统,其中所述感测相机是结构化光相机。
20.根据权利要求1所述的系统,其中所述光源还包括多个反射器以将光引导到所述FoV中。
21.根据权利要求1所述的系统,其中所述处理系统完全在所述机器人主体内。
22.根据权利要求1所述的系统,其中所述光源包括侧发光LED源。
23.根据权利要求1所述的系统,其中所述光源包括柔性印刷电路。
24.根据权利要求23所述的系统,其中所述光源能够基于所述柔性印刷电路上的电阻数量而被至少部分地选择。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862649925P | 2018-03-29 | 2018-03-29 | |
US62/649,925 | 2018-03-29 | ||
PCT/US2019/024845 WO2019191592A1 (en) | 2018-03-29 | 2019-03-29 | Apparatus, system, and method of certifying sensing for autonomous robot navigation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112041126A true CN112041126A (zh) | 2020-12-04 |
CN112041126B CN112041126B (zh) | 2023-06-13 |
Family
ID=68060807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980028791.XA Active CN112041126B (zh) | 2018-03-29 | 2019-03-29 | 用于自主机器人导航的感测认证装置、系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11780090B2 (zh) |
EP (1) | EP3774200B1 (zh) |
CN (1) | CN112041126B (zh) |
WO (1) | WO2019191592A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117140539A (zh) * | 2023-11-01 | 2023-12-01 | 成都交大光芒科技股份有限公司 | 基于空间坐标变换矩阵的机器人三维协同巡检方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021185805A2 (en) | 2020-03-18 | 2021-09-23 | Teknologisk Institut | A relocatable robotic system for production facilities |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009091536A1 (en) * | 2008-01-15 | 2009-07-23 | Roy Sandberg | Low latency navigation for visual mapping for a telepresence robot |
US20120182392A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
US20140085459A1 (en) * | 2012-09-25 | 2014-03-27 | The Boeing Company | Latency Measurement System And Method |
US20150253777A1 (en) * | 2014-02-10 | 2015-09-10 | Savioke Inc. | Sensor configurations and methods for mobile robot |
CN105378506A (zh) * | 2013-06-14 | 2016-03-02 | 微软技术许可有限责任公司 | 移动成像平台校准 |
CN107003120A (zh) * | 2014-12-09 | 2017-08-01 | 巴斯夫欧洲公司 | 光学检测器 |
CN107079120A (zh) * | 2014-10-23 | 2017-08-18 | 德克萨斯仪器股份有限公司 | 在数字成像系统中的故障检测和检测故障的方法 |
CN107407727A (zh) * | 2015-03-27 | 2017-11-28 | 伟摩有限责任公司 | 用于光检测与测距光学对准的方法与系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002511B1 (en) * | 2005-10-21 | 2015-04-07 | Irobot Corporation | Methods and systems for obstacle detection using structured light |
JP6562197B2 (ja) * | 2014-06-20 | 2019-08-21 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理システム |
GB2529848B (en) * | 2014-09-03 | 2018-12-19 | Dyson Technology Ltd | A mobile robot |
MX2019015201A (es) * | 2017-06-15 | 2020-08-13 | Lutron Tech Co Llc | Comunicación y control de los sistemas de control de carga. |
US10404565B2 (en) * | 2017-12-13 | 2019-09-03 | Ford Global Technologies, Llc | Simulation latency indication |
US20190243376A1 (en) * | 2018-02-05 | 2019-08-08 | Qualcomm Incorporated | Actively Complementing Exposure Settings for Autonomous Navigation |
US11272189B2 (en) * | 2018-02-20 | 2022-03-08 | Netgear, Inc. | Adaptive encoding in security camera applications |
US11576127B2 (en) * | 2018-02-20 | 2023-02-07 | Netgear, Inc. | Mesh-based home security system |
US10805613B2 (en) * | 2018-02-20 | 2020-10-13 | Netgear, Inc. | Systems and methods for optimization and testing of wireless devices |
US20190261243A1 (en) * | 2018-02-20 | 2019-08-22 | Netgear, Inc. | Video-based channel selection in a wireless network-connected camera system |
US11006128B2 (en) * | 2018-02-20 | 2021-05-11 | Arlo Technologies, Inc. | Camera communication channel selection |
CN112640447B (zh) * | 2018-08-30 | 2022-04-29 | 韦奥机器人股份有限公司 | 深度感测计算机视觉系统 |
US11563929B2 (en) * | 2019-06-24 | 2023-01-24 | Align Technology, Inc. | Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors |
WO2021231996A1 (en) * | 2020-05-15 | 2021-11-18 | Brain Corporation | Systems and methods for detecting glass and specular surfaces for robots |
US20230071953A1 (en) * | 2021-08-31 | 2023-03-09 | Brain Corporation | Systems, and methods for real time calibration of multiple range sensors on a robot |
-
2019
- 2019-03-29 WO PCT/US2019/024845 patent/WO2019191592A1/en active Application Filing
- 2019-03-29 EP EP19774551.6A patent/EP3774200B1/en active Active
- 2019-03-29 CN CN201980028791.XA patent/CN112041126B/zh active Active
- 2019-03-29 US US17/043,607 patent/US11780090B2/en active Active
-
2023
- 2023-10-09 US US18/482,966 patent/US20240033924A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009091536A1 (en) * | 2008-01-15 | 2009-07-23 | Roy Sandberg | Low latency navigation for visual mapping for a telepresence robot |
US20120182392A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
US20140085459A1 (en) * | 2012-09-25 | 2014-03-27 | The Boeing Company | Latency Measurement System And Method |
CN105378506A (zh) * | 2013-06-14 | 2016-03-02 | 微软技术许可有限责任公司 | 移动成像平台校准 |
US20150253777A1 (en) * | 2014-02-10 | 2015-09-10 | Savioke Inc. | Sensor configurations and methods for mobile robot |
CN107079120A (zh) * | 2014-10-23 | 2017-08-18 | 德克萨斯仪器股份有限公司 | 在数字成像系统中的故障检测和检测故障的方法 |
CN107003120A (zh) * | 2014-12-09 | 2017-08-01 | 巴斯夫欧洲公司 | 光学检测器 |
CN107407727A (zh) * | 2015-03-27 | 2017-11-28 | 伟摩有限责任公司 | 用于光检测与测距光学对准的方法与系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117140539A (zh) * | 2023-11-01 | 2023-12-01 | 成都交大光芒科技股份有限公司 | 基于空间坐标变换矩阵的机器人三维协同巡检方法 |
CN117140539B (zh) * | 2023-11-01 | 2024-01-23 | 成都交大光芒科技股份有限公司 | 基于空间坐标变换矩阵的机器人三维协同巡检方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112041126B (zh) | 2023-06-13 |
EP3774200A4 (en) | 2022-01-05 |
US11780090B2 (en) | 2023-10-10 |
US20210016444A1 (en) | 2021-01-21 |
US20240033924A1 (en) | 2024-02-01 |
WO2019191592A1 (en) | 2019-10-03 |
EP3774200A1 (en) | 2021-02-17 |
EP3774200B1 (en) | 2022-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240033924A1 (en) | Apparatus, system, and method of certifying sensing for autonomous robot navigation | |
US9400554B2 (en) | Information display system including transmission type HMD, non-transitory computer-readable storage medium and display control method | |
KR102463712B1 (ko) | 가상 터치 인식 장치 및 그의 인식 오류 보정 방법 | |
US10477155B2 (en) | Driving assistance method, driving assistance device, and recording medium recording program using same | |
CN101627355B (zh) | 投影系统 | |
KR20150082843A (ko) | 헤드 마운티드 디스플레이 및 그 제어 방법 | |
US10002300B2 (en) | Apparatus and method for monitoring driver's concentrativeness using eye tracing | |
JP6370358B2 (ja) | 透明な電子ディスプレイ上の表示適合 | |
JP2015055999A (ja) | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム | |
US10992909B2 (en) | Video recording device and head mounted display | |
US20160105645A1 (en) | Identification device, method, and computer program product | |
CN111077671A (zh) | 设备控制方法、装置、显示设备及存储介质 | |
US20230410699A1 (en) | Structured display shutdown for video pass-through electronic devices | |
CN112384338A (zh) | 用于自主机器人导航的对接的装置、系统和方法 | |
US20180329483A1 (en) | Three-dimensional positioning system and method thereof | |
US20210109600A1 (en) | Methods and apparatuses for controlling a system via a sensor | |
US10726728B2 (en) | System and method for controlling movable body | |
US20220365741A1 (en) | Information terminal system, method, and storage medium | |
US11455744B2 (en) | Systems and methods for determining a viewing direction of a user | |
JP7027127B2 (ja) | 携帯型装置、制御方法及びプログラム | |
CN111845758A (zh) | 疲劳驾驶管理装置、包括该装置的系统及其方法 | |
CN112105485A (zh) | 为移动机器人提供危险检测和控制的装置、系统和方法 | |
CN115209049B (zh) | 一种远程控制方法及装置 | |
CN218848735U (zh) | 图像显示设备、智能平板、笔记本电脑及显示器 | |
CN113795448B (zh) | 用于使备件可视化的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |