CN113767421A - 用于监控机器人的环境的方法和设备 - Google Patents

用于监控机器人的环境的方法和设备 Download PDF

Info

Publication number
CN113767421A
CN113767421A CN202080030497.5A CN202080030497A CN113767421A CN 113767421 A CN113767421 A CN 113767421A CN 202080030497 A CN202080030497 A CN 202080030497A CN 113767421 A CN113767421 A CN 113767421A
Authority
CN
China
Prior art keywords
image
robot
images
depth
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080030497.5A
Other languages
English (en)
Inventor
阿兰·库特维尔
阿德里安·凯撒
荷西·阿朗索·伊瓦内斯·塞佩达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fogale Nanotech SA
Original Assignee
Fogale Nanotech SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fogale Nanotech SA filed Critical Fogale Nanotech SA
Publication of CN113767421A publication Critical patent/CN113767421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种用于监控机器人的环境的方法(200)，所述方法具有包括以下步骤的检测阶段(220)的至少一次迭代：‑在测量时刻，通过所述至少一个3D摄像机，获取(222)所述环境的称作测量图像的深度图像，‑校准(228)所述参考图像和测量图像，和‑通过比较所述参考图像和测量图像，检测(230)关于所述机器人的环境中的物体的变化。本发明还涉及一种实施这种方法的设备和配备有这种设备的机器人。

Description

用于监控机器人的环境的方法和设备
技术领域
本发明涉及一种用于监控机器人的环境的方法，其目的在于检测位于环境中的物体。本发明还涉及一种实施这样的方法的监控设备和一种配备有监控设备的机器人。
非限制性地，本发明的领域是机器人领域，尤其是工业机器人领域，或例如医疗或家用的服务机器人或者还有也称作“cobots”的协作机器人的领域。
背景技术
在人类/物体可能在其中移动的非封闭环境中使用例如机械臂之类的机器人要求使用用于检测所述物体/人类的功能，以防止碰撞。
已知为机器人配备检测与机器人接触或紧邻机器人的物体的传感器。这些解决方案具有不使得能够检测远的物体以预测碰撞的缺陷，这使得必须限制机器人运动速度以将任何撞击的力限制在可接受的阈值以下。
还已知使用安装在机器人的环境中的2D或3D传感器以能够监控围绕该机器人的预定区域，目的在于检测物体和预测碰撞。该解决方案要求在工作环境中干预以确定传感器的位置和安装这些传感器，这是耗时、复杂且成本高昂的操作。此外，如果环境改变，或机器人移动，需要重复该干预。最后，根据机器人的运动，区域可能被遮挡，这要求使用多个传感器，有时候配置复杂。
本发明的一个目的在于克服上述缺陷。
本发明的另一目的在于提出一种更加成本有效、安装和使用更不复杂和更不耗时并同时提供远物体检测以预测碰撞的用于监控机器人的环境的方法和设备。
本发明的另一目的在于提出使得能够快速实施和容易适应机器人的环境中的变化的这样的设备和这样的方法。
本发明的另一目的在于提出使得能够以足以能够用作防碰撞安全设备的检测可靠性来进行机器人附近的物体的检测的这样的设备和这样的方法。
本发明的另一目的在于提出使得能够根据在机器人的环境中的运动适应该机器人的路径的这样的设备和这样的方法。
本发明的另一目的在于提出使得能够检测距离机器人远距离的障碍物以使得机器人能够在高速下运动的这样的设备和这样的方法。
发明内容
这些目的中的至少一个是通过一种用于监控机器人的环境的方法来实现，该方法包括：
-通过所述机器人承载的至少一个3D摄像机，获得所述机器人的环境的称作参考图像的深度图像的阶段；和
-包括以下步骤的检测阶段的至少一次迭代：
-使用所述至少一个3D摄像机，在测量时刻获取所述环境的称作测量图像的深度图像，
-校准所述参考图像和测量图像，和
-通过比较所述参考图像和测量图像，检测关于所述机器人的环境中的物体的变化。
根据本发明的方法提出基于通过机器人本身承载的3D摄像机获得的深度图像，进行对机器人的环境的监控，而不是通过安装在机器人的环境中的3D摄像机。由此，当机器人的环境改变时，或当机器人移动时，无需干预以重新确定或更改3D摄像机的位置。根据本发明的方法由此安装和使用起来更不复杂、更成本有效，且更不耗时。
此外，根据本发明的方法提出使用具有比例如电容式传感器的靠近传感器或接触传感器更大的范围的3D摄像机进行对机器人的环境的监控。由此，如果检测到物体，根据本发明的方法使得能够预测碰撞，而无需限制机器人的移动速度。
“环境中的物体”或“物体”指可位于机器人的环境中的有生命或无生命的任何固定或可移动物体。例如，这可以涉及位于机器人的环境中的例如操作员或人、传送机、工作台或工作区域、推车等的物体。
“机器人”指呈它的任何形式的机器人，例如机器人化系统、可移动机器人，例如配备有手臂或操作手系统的手推车的轮子或轨道上的车辆，或类人机器人、女性人形机器人或人形机器人，可选地配备有移动部件，例如四肢、机械臂等。特别地，当机器人能够移动或包括移动部件时，该机器人能够是可移动的。
在本发明的范围中，“校准”两个深度图像指确定两个图像的相对位置，或所述图像在共同参考框架中的定位。共同参考框架可以是两个图像中的一个图像的参考框架，或所成像的场景的参考框架。
深度图像可以是以点云或像素矩阵的形式获得的图像，其对于每个像素具有距离或深度信息项。当然，点数据也可以包括其它信息项，例如灰度和/或彩色光强度信息项。
通常，每个图像由数字数据表示，例如对于属于点云的每个点的数据。每个图像的处理通过处理表示所述图像的数据来执行。
“3D摄像机”指能够产生深度图像的任何传感器。这样的传感器可以是例如飞行时间摄像机和/或立体摄像机，和/或基于结构光投影的摄像机，其根据多个点或像素上的视场产生其环境的图像，每个像素具有距离信息项。
3D摄像机也可以包括设置为使得根据视场获取点云的固定或配置有扫描设备的例如光学或声学的一个或更多个距离传感器。
视场可以定义为由3D摄像机成像的区域、角度扇区或实际场景的一部分。
根据非限制性实施例，关于物体的变化可以是所述物体在机器人的环境中的出现，之前存在于机器人的环境中的物体消失，之前存在于机器人的环境中的物体的大小或位置的改变等。
根据第一实施例，参考图像可以对应于由所述至少一个3D摄像机在获取时刻获取的单个深度图像。
在该情况中，看起来重要之处在于使用具有尽可能宽的视场的3D摄像机，目的在于捕获尽可能完整的机器人的环境的深度图像。实际上，参考图像越大，所监控的机器人附近的环境就越大。
根据绝无限制性的第二实施例，参考图像可以由多个深度图像构造。
在该情况中，获得参考图像的阶段可以包括以下步骤：
-在不同的获取时刻并对于所述至少一个3D摄像机的不同位置，依次获取至少两个深度图像；和
-由依次的所述深度图像构造参考图像。
换句话说，参考图像通过组合或连接或融合在不同时刻拍摄的多个深度图像来构造。
首先，在两个获取时刻通过所述至少一个3D摄像机成像的场是不同的，这是因为所述至少一个3D摄像机的位置和/或取向在这两个获取时刻之间改变。由此，可构造更大的参考图像。甚至可通过进行根据需要尽可能多的获取，构造机器人的整个环境的参考图像。
根据一个实施例，至少一个3D摄像机可以在机器人上是可移动的。由此，可以改变所述3D摄像机的视场，而无需移动机器人。
替代地或附加地，至少一个3D摄像机能够固定在机器人上。在该情况中，能够通过移动其上固定有3D摄像机的机器人或机器人的一部分来改变所述3D摄像机的视场。承载3D摄像机的机器人或机器人的一部分能够遵循预定路径来移动，这使得能够在多个获取中成像机器人的整个或至少一大部分的环境。
根据一个实施例，当依次的深度图像包括重叠区域时，则参考图像的构造可通过以下来进行：
-例如通过相互比较依次的所述参考图像，检测所述重叠区域；和
-例如通过连接所述深度图像，根据所述重叠区域，相互组合依次的图像。
该组合可尤其通过在重叠区域中的图像之间实施相关搜索或误差函数最小化的已知的方法来实现。
替代地或附加地，参考图像的构造可根据所述至少一个3D摄像机在每个获取时刻的配置来进行。
该技术使得即使当依次的深度图像不包含重叠区域时，能够构造参考图像。
3D摄像机的配置包括其在空间、例如与机器人在其中移动的环境或场景相关联的坐标系或参考框架中的位置和/或取向。3D摄像机的该配置的知识使得能够定位其在场景坐标系中的视场。
根据一个实施例，所述至少一个3D摄像机在获取时刻的位置可根据所述机器人在所述获取时刻的几何构造来确定。
机器人的几何形状使得能够确定固定到机器人的3D摄像机在与场景相关联的坐标系中的配置，尤其是其位置和其取向。
在包括至少一个转动可移动段的机械臂的具体情况中，机器人的几何构造由每个段的维度和每个段的角度位置提供，该角度位置由移动所述段的发动机或关节提供。通过考虑段的长度和角度位置的这些信息项，可以确定固定到机器人的每个3D摄像机的准确位置和/或取向。
根据一个实施例，机器人可配备有单个3D摄像机。
在该情况中，在一时刻的每个深度图像对应于由所述3D摄像机拍摄的深度图像。
根据另一实施例，机器人可配备有多个3D摄像机，它们尤其是具有不同的视场。
在该实施例中，绝无限制性地，在一获取时刻的每个深度图像可以是由每个在所述给定时刻由3D摄像机获取的多个深度图像构造的复合深度图像。
在该情况中，在获取时刻获取深度图像的步骤可以包括以下操作：
-在所述获取时刻，使用所述3D摄像机中的至少两个，获取单独深度图像；和
-由所述单独深度图像构造复合深度图像。
由此，在每个获取时刻，可以获得与连接(一体的)或非连接的更大的视场相对应的复合深度图像。因此，与使用单个摄像机的实施例相比较，每个复合深度图像表示根据更大的视场的实际场景。这使得能够进行对机器人的环境的更大的部分或甚至整个的监控。
根据一个实施例，当单独深度图像包括重叠区域时，则由所述单独深度图像构造复合深度图像可通过以下进行：
-例如通过相互比较所述单独深度图像，检测所述重叠区域；和
-例如通过连接或融合所述单独深度图像，根据所述重叠区域，相互组合所述单独深度图像。
该组合可尤其通过在重叠区域中的图像之间实施相关搜索或误差函数最小化的已知的方法来实现。
替代地或附加地，由单独深度图像构造复合深度图像可根据3D摄像机相对于彼此的相对配置来进行。
该技术使得能够构造复合深度图像，即使当3D摄像机的视场不包含重叠区域时，以使得3D摄像机在给定时刻获取的单独深度图像不包含重叠区域。
3D摄像机的相对于另一3D摄像机的相对配置可以包括其相对于该另一3D摄像机的分别的相对位置或相对取向的相对位置和/或相对取向。
当机器人配备有具有不同视场的一个或更多个3D摄像机时，检测阶段可对于至少一个3D摄像机单独地进行，将所述3D摄像机在测量时刻拍摄的单独深度图像采取为测量图像。
在该情况下，3D摄像机的单独深度图像与参考图像校准，然后与参考图像比较，目的在于在测量图像中识别关于单独深度图像中的物体的变化。
特别地，如有必要，检测阶段可对于每个3D摄像机的每个单独深度图像进行。
检测阶段则可对于每个3D摄像机同时或依次地进行。
根据另一实施例，当机器人配备有具有不同视场的多个3D摄像机时，测量时刻的测量图像可以是由在所述测量时刻由多个3D摄像机获取的多个单独深度图像构造的复合深度图像。
在该情况中，在测量时刻获取测量图像的步骤可以包括以下操作：
-使用多个3D摄像机，在测量时刻获取单独深度图像；和
-由所述单独深度图像构造复合测量图像。
由此，在每个测量时刻，可获得与更大的视场相对应的复合测量图像。因此，与使用单个3D摄像机的实施例相比，每个复合材料图像表示根据更大的视场的机器人的环境。这使得能够进行对机器人的环境的更大的部分或甚至整个的监控。
根据一个实施例，当单独深度图像包括重叠区域时，则由所述单独深度图像构造复合测量图像可通过以下进行：
-例如通过相互比较所述单独深度图像，检测所述重叠区域；和
-例如通过连接或融合所述单独深度图像，根据所述重叠区域，相互组合所述单独深度图像。
替代地或附加地，能够根据3D摄像机相对于彼此的相对配置来进行由单独深度图像构造复合材料图像。
该技术使得可以构造复合测量图像，即使是当3D摄像机的视场不包含重叠区域时，以使得3D摄像机在测量时刻获取的单独深度图像不包含重叠区域。
3D摄像机的相对于另一3D摄像机的相对配置能够包括其相对于该另一3D摄像机的分别的相对位置或相对取向的相对位置和/或相对取向。
根据一个有利特征，检测关于物体的变化可通过使用来自测量图像的距离信息项来进行。
特别地，该检测可通过检测测量图像的至少一个区域中测得的距离不同于参考图像的一个或更多个对应区域中的距离来实现。
当然，检测关于物体的变化也可通过单独或组合地使用其它可用信息项(例如：强度、灰度和/或颜色)来进行。
而且，物体的类型或至少其形状也可被确定，尤其是由距离测量。
当然，物体的移动或退出也可用相同的方式，通过比较测量和参考图像来检测。
根据一个有利特征，当在测量图像中检测到关于物体的变化时，检测阶段还可以包括通过分析所述测量图像，确定相对于所述物体的距离。
因此，当在测量图像的区域中识别物体时(通过检测距离差别或其它标准)，将物体的相对距离确定为例如属于所述物体的最接近的点在测量图像中的距离。替代地，物体的相对距离可以对应于属于所述物体的点在测量图像中的平均距离。
根据另一特别有利的特征，根据本发明的方法可以包括如果在测量图像中检测到关于物体的变化，触发所述机器人的指令的步骤。
这样的触发也可取决于物体的特征：物体的相对距离，物体的类型，物体的大小等。
指令的示例可以包括：
-紧急停止，尤其是如果正在靠近的物体识别为操作员；
-改变速度或减速；
-改变路径，例如通过生成旁通路径；
-触发特定任务或参数化任务，例如如果检测到带有待操作的物体的手推车。
还可在参考图像中限定如果例如在这些区域中检测到物体时将对该物体进行特定处理的区域：
-近/远区域；
-操作员导致减速的区域/机器人停止的排除区域；
-与实施任务相关联的区域(传送机的期望位置等)。
例如，机器人的指令可以仅当物体的相对距离低于或等于预定距离的阈值时才被触发。
此外，指令类型可以是物体的相对距离的函数。例如，当物体的相对距离：
-低于或等于第一阈值时，机器人的第一指令可以被触发，例如机器人减速；
-低于或等于第二阈值时，机器人的第二指令可以被触发，例如改变其移动路径；和
-低于或等于第三阈值时，机器人的第三指令可以被触发，例如机器人紧急停止。
通常，在本申请中，每个深度图像以点云的形式获取。换句话说，当3D摄像机拍摄图像时，它提供表示深度图像的点云。点云的每个点由在获取图像的时刻与3D摄像机相关联的参考框架中的所述点的坐标或距离数据和立体角项表示。
根据本发明的实施例，应用于深度图像的不同操作可直接在构成所述深度图像的点云上实施。例如，可通过将点云图像融合在一起来获得参考图像。类似地，可通过将表示第一深度图像的点云与表示第二深度图像的点云比较或校准来进行第一深度图像相对于第二深度图像的比较或校准。然而，该实施例要求随着每个点云中的点数量的增大的不可忽视的资源和计算时间。
根据本发明的其它实施例，表示深度图像的点云可事先处理或分段以由其得出简单几何形状(例如平面)集合，以减小待处理信息量。该事先处理可使用已知技术来进行，例如通过使用RANSAC类型的算法。该事先处理则提供通过指示由此检测的几何形状类型、它们的维度、它们的位置和它们的取向的数据集来表示或建模的图像。则可对事先处理提供的数据集，而不是对表示深度图像的初始点云，应用应用于深度图像的功能，例如校准和可选地比较或检测变化。该事先处理可在实施根据本发明的方法期间的任何时间应用，例如：
-直接应用于由3D摄像机获取的每个深度图像：在该情况中，所述方法没有步骤应用于点云；
-应用于在获取时刻，对于所有3D摄像机，获取的每个复合深度图像：在该情况中，复合深度图像通过处理表示单独深度图像的点云来获得；
-应用于参考图像或用于构造参考图像的图像；
-应用于测量图像。
由此，根据实施例，校准参考深度图像和测量深度图像可通过分析点云图像来进行。
它可尤其通过点云之间的距离的相似性或相关性或最小化的搜索，或更一般性地使用所有当前已知技术来进行。
在该情况中，用于检测变化的比较步骤也可在点云上进行。
根据其它实施例，校准参考深度图像和测量深度图像可通过分析以几何形状的形式事先建模的图像来进行。
这些几何形状可尤其包括平面。
尤其可通过几何形状之间的距离的类似性或关联性或最小化的搜索，或更一般性地使用所有目前已知的技术来进行图像校准。
在该情况中，用于检测变化的比较步骤也可在以下之间进行：
-在参考图像与以几何形状的形式事先建模的测量图像之间；或
-在以几何形状的形式事先建模的参考图像与点云形式的测量图像之间。
参考深度图像和测量深度图像的校准也可用包括以下步骤的用于校准实际场景的两个深度图像的方法来进行：
-对于所述深度图像中的每个：
-在所述深度图像中检测多个几何形状，和
-确定所述多个几何形状中的至少两个几何形状之间的至少一个几何关系；
-通过将对于图像中的一个图像检测的几何关系与对于所述图像中的另一个图像检测的几何关系比较，识别所述两个图像共同的几何形状；
-根据所述共同几何形状，计算所述图像之间的几何变换；和
-根据所述几何变换，相对于所述图像中的另一个图像，校准所述图像中的一个图像。
几何变换可以尤其是线性或刚性变换。它可尤其以表征例如平移和/或转动的位移矩阵的形式来确定。
由此，根据本发明的校准方法提出通过使用在每个深度图像中识别的几何形状之间的几何关系，而不是通过使用存在于场景中的物体，相对于彼此校准或定位同一实际场景的两个深度图像。
在每个图像中识别几何形状和这些形状之间的几何关系要求比在每个图像中识别场景中的实际物体更少的计算资源和更短的计算时间。
此外，与相互比较场景中的实际物体相比，相互比较几何关系更简单且更快速。实际上，几何形状和它们的关系由比表示场景的实际物体的数据量更少得多的量的待处理数据表示。
几何形状可以是能够通过方程或方程系统来描述或建模的几何元素，例如：平面、线、柱体、立方体等。
根据实施例，本发明的校准方法可以包括检测所有都是相同类型(例如仅平面)的几何形状。
根据其它实施例，本发明的校准方法可以包括检测有限集合(例如平面和立方体)中的不同类型的几何形状。
有利地，所使用的几何关系通过所寻求的几何变换可以是不变的。
由此，例如，通过转动或平移类型的几何变换，角度和距离不变。
对于每个图像，检测步骤可以包括检测所有都相对于场景中的预定参考方向具有相似取向或同一取向的几何形状的至少一个组。
当几何形状所有都根据相对于参考方向在预定角度容差范围内(例如+/-5度或+/-10度)按照具体角度取向时，所述几何形状可视为具有相对于该参考方向的相似取向或同一取向。该具体角度可以是例如0度(平行取向)或90度(垂直取向)。众所周知的是，组的几何形状可以还具有不相互平行的取向。
检测几何形状的组可以包括在该组中识别或分类在深度图像中事先检测的几何形状集合中的几何形状，或在深度图像中检测这些具体几何形状。
在形状是线的情况中，形状的取向可以对应于所述线相对于参考方向的取向。在形状是二维平面的情况中，形状的取向可以对应于所述平面或其法线矢量相对于参考方向的取向。最后，当形状是三维形状(例如柱体或立方体)时，其取向可由其主要或延伸方向或对称轴线提供。
几何形状和其取向可通过已知技术确定。
通常，点云以对应于预定类型的一个或更多个几何形状或能够由预定类型的一个或更多个几何形状建模或近似的区域或集合的形式分段或分组。然后，通过例如最小二乘法的误差最小化方法，通过优化例如几何方程的参数以最小化相对于点云的差别，计算这些几何形状的描述参数。则可例如由描述它们的方程的参数，得出几何形状的取向。
优选地，对于每个图像，检测步骤可以包括检测：
-所有都具有相对于参考方向的第一取向、尤其是平行于参考方向的取向的几何形状的第一组；和
-所有都具有相对于参考方向的不同于第一取向、尤其是正交于所述第一取向的同一第二取向的几何形状的至少一个第二组。
由此，根据本发明的方法使得能够获得具有相对于参考方向不同、尤其是垂直的取向的形状的两个组。在属于同一组的形状之间确定几何关系。
在一个组的形状之间寻求的几何关系可以与在另一个组的形状之间寻求的几何关系相同或不同。例如，对于组中的一个，在形状之间寻求的几何关系可以是距离关系，而对于组中的另一个，在形状之间寻求的几何关系可以是角度关系。
在一个特别优选的实施例中，参考方向可以是重力矢量在场景中的方向。
重力矢量的方向可以对应于重力的取向。
在该实施例中，检测步骤可以包括检测在场景中具有水平取向的几何形状的组，例如对应于场景中的实际水平物体的形状。这样的水平几何形状可以对应于地板、天花板、桌子等。
根据一个有利但绝无限制性的特征，两个水平几何形状之间的几何关系可以包括或是所述两个形状之间在重力矢量的方向上的距离。
换句话说，在两个水平形状之间寻求的距离是在竖直方向上分隔所述形状的距离。
仍是在参考方向是场景中的重力矢量的方向的实施例中，检测步骤可以包括检测在场景中具有竖直取向的几何形状的组。
这样的竖直几何形状可以对应于场景中的竖直物体，例如墙、门、窗户、家具等。
根据一个有利但绝无限制性的特征，两个竖直几何形状之间的几何关系可以包括所述两个几何形状之间的至少一个角度。
特别地，两个竖直形状之间的几何关系可以包括所述形状之间在水平平面中的角度。
根据一个优选但绝无限制性的实施例，检测步骤可进行关于重力矢量的对以下的检测：
-水平几何形状的第一组，和
-竖直几何形状的第二组。
在该实施例中，确定步骤确定：
-在水平平面中测量的在竖直几何形状之间的一个或更多个角度；和
-在竖直方向中测量的在水平几何形状之间的一个或更多个距离。
参考方向可由参考矢量来表示，该参考矢量可以是事先确定的指示实际场景中的方向的任何矢量。
在一个具体情况中，参考方向可以是场景中的重力矢量的方向，或换句话说，参考矢量可以是重力矢量。该示例则可在每个图像中用于确定所述图像的形状是否具有特定取向，例如竖直取向或水平取向。
根据一个实施例，可通过传感器，对于每个图像检测和报告参考矢量、尤其是重力矢量。这样的传感器可以是例如加速度计。
根据另一实施例，在每个图像中，可以通过分析所述图像，确定参考矢量、尤其是重力矢量。
例如，在参考矢量是重力矢量的情况中，则在室内场景的情况下，每个图像可以被分析以检测对应于地板或天花板的平面：重力矢量则对应于垂直于该平面的矢量。通常，地板或天花板是深度图像中的最大的平面。
根据另一实施例，当深度图像包括轮廓分量时，则颜色分量可用于检测预定平面，并且该平面可用于获得参考矢量，尤其是重力矢量。
有利地，确定几何关系的步骤可以包括，对于每个几何形状，确定所述几何形状与其它几何形状中的每个之间的几何关系，以使得对于使用几何形状对的每个组合，确定几何关系。
当检测步骤包括检测几何形状的一个或更多个组时，确定几何关系的步骤可以包括，对于一个组的每个几何形状，确定所述几何形状与所述组的其它几何形状中的每个之间的几何关系，以使得对于使用所述组的几何形状的对的每个组合，确定几何关系。
由此，对于包括“n”个几何形状的组，获得
Figure BDA0003315104080000141
对的几何形状和由此相同数量的几何关系。
至少一个几何形状可以是线、平面或三维几何形状。
特别地，如有必要，同一组的、更一般地所有组的所有几何形状可以是相同类型的。
在一个特别优选的实施例中，所有几何形状可以是平面。
在该情况中，在每个图像中，检测步骤可通过平面进行对在所述图像中出现的实际场景的表面的近似。由此，具有多个面的物体由多个平面来近似，而无需检测整个物体。
此外，在平面之间确定几何关系更简单。
在每个图像中，平面的检测可以简单地使用已知算法、例如RANSAC算法来进行。
根据一个实施例，检测深度图像中的平面可以使用以下步骤来进行：
-对于深度图像或作为点云的图像的每个点，通过使用例如深度梯度，计算云的每个点的法线(N)。深度梯度在实践中对于每个点通过从上点的深度减去下点的深度(竖直梯度)和从右点的深度减去左点的深度(水平梯度)来获得。点处的法线则通过竖直梯度矢量和水平梯度矢量的矢量积来提供。
-通过使用点云中的点的法线来计算点云中的平面的步骤的至少一次迭代。该步骤包括以下操作：
-从点云中任意取3个点，
-计算穿过这3个点的平面的参数，然后
-根据例如低于阈值的距离或接近法线的标准，计算属于该平面的点P的数量。
如果已经识别最小数量的点属于平面，可视该平面为识别的。属于平面的点从集合P中去除，以免被用于识别之后的平面。以上计算平面的步骤可重复根据期望尽可能多的次数。
平面的描述参数则可由识别为属于该平面的点，通过计算例如该平面在最小二乘意义上的方程的参数来确定。
检测平面的步骤由此提供识别的平面的清单，其具有它们的描述参数和属于它们的点集合。
可在单个组中处理平面集合。
替代地，在检测的所有平面中，竖直平面可以重新集合在第一组中，水平平面可以重新集合在第二组中。几何关系则可以在同一个组的平面之间如上所述地确定。
根据一个实施例，几何变换的计算可以包括计算由以下构造的变换矩阵：
-至少一个几何形状在所述图像中的一个图像中的位置与所述至少一个几何形状在所述图像中的另一个图像中的位置之间至少在给定方向上的差别；和
-在所述图像中的一个图像中的与至少一个几何形状相关联的至少一个正交坐标系与在所述图像中的另一个图像中的与所述至少一个几何形状相关联的所述至少一个正交坐标系之间的取向差别。
根据其中所有几何形状是平面(尤其是水平平面组和竖直平面组)的实施例，几何变换的计算可以包括计算可以由以下构造的变换矩阵：
-水平平面在所述图像中的一个图像中的位置与所述平面中在所述图像中的另一个图像中的位置之间在竖直方向上的距离；
-不相互平行或正交的两个竖直平面在所述图像中的一个图像中的分别的位置与所述平面在所述图像的另一个图像中的分别的位置之间在水平方向上的两个距离；和
-在所述图像中的一个图像中的与竖直平面相关联的正交坐标系与在所述图像中的另一个图像中的与所述竖直平面相关联的正交坐标系之间的取向差别。
水平方向上的距离也可以由不相互平行或正交的两个竖直平面的直相交线在两个图像中的分别的位置来确定。
由此获得的变换矩阵是完整的，并使得能够完全彼此校准两个深度图像。
根据本发明的另一方面，提出一种用于监控机器人的环境的设备，该设备包括：
-至少一个3D摄像机，和
-至少一个计算装置；
所述设备构造为实施根据本发明的用于监控机器人的环境的方法的所有步骤。
计算装置可以是计算器、处理器、微控制器、电子芯片或任何电子组件。
根据本发明的又一另一方面，提出了配置有根据的本发明的监控设备的机器人。
根据本发明的机器人可以是呈现其任何形式的机器人，例如机器人化系统、可移动机器人，例如配备有手臂或操作手系统的手推车的轮子或轨道上的车辆，或类人机器人、女性人形机器人或人形机器人，可选地配备有移动部件，例如四肢、机械臂等。特别地，当机器人能够移动或包括移动部件时，该机器人能够是可移动的。
特别地，根据本发明的机器人可以包括：
-至少一个可移动段，和
-围绕可移动段中的一个分布的多个3D摄像机。
附图说明
在检查绝无限制性的示例的详细说明和附图时，其它优点和特征将变得显而易见，在附图中：
-图1a和1b是根据本发明的机器人的一个非限制性实施例的图示；
-图2是根据本发明的方法的一个非限制性实施例的图示；
-图3是能够在本发明中实施的用于校准深度图像的方法的一个实施例的图示，和
-图4是图3中的方法的一个非限制性且非常简化的应用示例。
容易理解的是，将在下文中说明的实施例绝无限制性。尤其可考虑本发明的仅包括下文所述的特征的一个选集的变型，该选集与其它所述特征隔离，如果该特征选集足以赋予技术优点或相对于现有技术区分本发明。该选集包括至少一个优选地功能性的特征，该特征没有结构性细节，仅具有结构性细节的一部分，如果仅该部分就足以赋予技术优点或相对于现有技术区分本发明。
特别地，所述的所有变型和所有实施例可相互组合，如果从技术角度不反对该组合。
在附图中，数个附图共同的元件保持相同的附图标记。
具体实施方式
图1a和1b是根据本发明的机器人的一个非限制性实施例的图示。
图1a是机器人的侧视图的图示，图1b是机器人的远端段的正视图的图示。
图1中的机器人100是包括多个段102至108的机械臂：段102是机器人100的基部段，段108是机器人的远端段。段104、106和108借助于关节110至114和这些关节110至114处的发动机(未示出)转动可移动。
如图1a所示，远端段108可以配备有工具，例如抓手116。
基部段可以固定在地板118上。替代地，基部段可配备有使得机器人能够移动的装置，例如至少一个轮子或轨道。
根据本发明，机器人装载至少一个3D摄像机。
在图1a和1b的示例中，机器人100配备有多个、具体为八个3D摄像机120。
每个3D摄像机120可以是例如飞行时间摄像机。
3D摄像机120围绕机器人的段、尤其是围绕远端段108设置。
摄像机120更具体地根据恒定角间距分布。
根据相对于远端段108径向的视场122，每个3D摄像机120使得能够产生由机器人100的环境构成的实际场景的一部分的深度图像。一个3D摄像机120的视场122不同于另一3D摄像机的视场122。
根据一个实施例，相邻的两个3D摄像机的视场122在一定距离以外包含重叠区域。当然，相邻的两个3D摄像机的视场122可以不包含重叠区域。
如图1b所示，3D摄像机120的视场122的集合覆盖围绕远端段108的完整环绕视图。明显地，对于机械臂100的一个位置，仅检测到环境的局部视图。相反，当机械臂移动时，场景的其它部分会被3D摄像机看到和检测到。
当然，在其它实施例中，机器人100可以包括以不同的方式设置在段上和/或设置在不同的段上的3D摄像机。在其它配置示例中，3D摄像机可设置为使得它们的组合的总视场使得能够至少对于机器人100的一个位置，完整地捕获围绕机器人的实际场景。
而且，机械臂100配备有可以是计算机、计算器、处理器或类似设备的处理单元124。处理单元124以有线或无线的方式连接到摄像机120中的每个。所述处理单元从每个3D摄像机接收由所述3D摄像机获取的每个深度图像以处理所述图像。处理单元124包括计算机指令以实施根据本发明的方法。
在所示示例中，处理单元124被示出为单独的模块。当然，处理单元124可以与其它模块或机械臂100的计算器组合或集成在其中。
图2是根据本发明的用于监控机器人的环境的方法的一个非限制性实施例的图示。
图2所示的方法200可以尤其由图1a和1b中的机器人100来实施。
方法200包括获得机器人的不存在操作员或不期望的物体的环境的深度图像的阶段202。机器人的环境的该图像将被用作参考图像，以检测关于机器人的环境中的物体的任何变化。
阶段202包括对于机械臂的给定配置，在获取时刻，获得深度图像的步骤204。当机器人配备有单一3D摄像机时，深度图像对应于由所述单一3D摄像机提供的图像。
当机器人配备有多个3D摄像机时，例如图1a和1b中的机器人100，则由在所述获取时刻由所述3D摄像机拍摄的单独深度图像构造复合深度图像。在该情况中，步骤204包括以下步骤：
-在所述获取时刻进行的步骤206期间，每个3D摄像机拍摄单独深度图像；和
-在步骤208期间，组合单独深度图像，以对于所有3D摄像机，获得复合深度图像。
可以根据不同技术进行单独深度图像的组合，以在获取时刻获得单个复合深度图像。
根据第一技术，当单独深度图像包括重叠区域时，即当3D摄像机的视场包括重叠区域时，则可通过检测这些重叠区域，并通过使用这些重叠区域来连接单独深度图像，进行单独深度图像的组合，目的在于获得复合深度图像。
根据可以单独或与第一技术组合地使用的第二技术，可以通过使用3D摄像机的相对配置，进行单独深度图像的组合。实际上，每个3D摄像机的位置和取向是已知的，当然，前提是它以已知的方式布置在机器人上。因此，通过使用3D摄像机相对于彼此的相对位置和相对取向，可以相对于彼此定位由这些3D摄像机拍摄的单独深度图像。具体地说，对于由3D摄像机拍摄的每个单独深度图像，3D摄像机的位置对应于所述单独深度图像的中心或原点，并且每个3D摄像机的取向对应于单独深度图像拍摄的方向。通过使用这两个信息项，可以相对于彼此定位单独深度图像，以在获取时刻，对于所有3D摄像机，获得单个复合深度图像。
在不同获取时刻，可以依次地根据期望尽可能多地重复步骤204，每个获取时刻对应于机器人的不同配置。由此，对于机器人的每个配置，获得复合深度图像。
特别地，可以在机器人连续或非连续地遵循预定路径移动的同时，依次重复步骤204，目的在于大幅度地、尤其是全部地成像机器人的环境。步骤204的每次重复使得能够获得复合深度图像。
在步骤210期间，由对于机器人的不同配置，依次获得的不同的复合深度图像，来构造参考图像。可以根据不同技术进行由在不同的获取时刻依次获取的多个复合深度图像构造参考图像。
根据第一技术，可以获取依次的复合深度图像，同时确保它们包括重叠区域。在该情况中，可以通过检测复合深度图像之间的重叠区域并使用这些重叠区域来相互连接依次的复合深度图像，进行参考图像的构造。
根据可单独或与第一技术组合地使用的第二技术，对于每个深度图像，可以通过使用机器人的几何构造，进行由依次的复合深度图像构造参考图像。在机械臂的情况下，机器人的几何构造由以下提供：
-机器人的不同可移动段的维度：这些维度是已知的；和
-可移动段的相对取向：这些取向可由关节或由布置在关节中的发动机已知。
由此，通过对机器人在获取时刻的几何构造的知识，可以在与环境相关联的坐标系中定位对于该获取时刻获得的深度图像。
由此获得的参考图像在步骤212期间存储。该参考图像由此由获取和融合的深度图像的集合构成，以构成表示机器人的环境的全部或部分的图像。
在所述示例中，由多个单独深度图像构造复合深度图像的步骤208在获取所述单独深度图像之后立即进行。替代地，该步骤208可以正好在构造参考图像的步骤210之前进行。根据又一另一替代方案，步骤208和210可以在单一步骤中同时进行，考虑到对于依次的获取时刻中的每个获取的所有单独深度图像。
方法200可以包括当机器人正在运作时进行的检测阶段220的至少一次迭代。进行该检测阶段220以在测量时刻检测关于位于机器人的环境中的物体的变化。
检测阶段220包括在测量时刻获取称为测量图像的深度图像的步骤222。该测量图像然后将与在步骤212中存储的参考图像比较，以检测关于位于机器人的环境中的物体的变化。
在测量时刻获取的测量图像可以是由3D摄像机获取的单独深度图像。在该情况中，检测阶段可以对于在所述测量时刻由每个3D摄像机获取的每个单独深度图像单独地进行。
替代地，在测量时刻获取的测量图像可以是由在所述测量时刻由所有3D摄像机获取的单独深度图像构造的复合测量图像。在该情况中，步骤222包括使用每个3D摄像机获取单独深度图像的步骤224。然后，在步骤226中，例如通过使用上文参照步骤208所述的技术中的一个，由所有3D摄像机获取的单独深度图像构造复合测量图像。
在步骤228期间，测量图像或复合材料图像与参考图像校准。该校准操作的目的在于在参考图像的坐标系或参考框架中定位测量图像。
参考图像和测量图像的校准可以使用已知技术来进行，例如通过相似性搜索、或相关性、或最小化距离的校准技术。
参考图像和测量图像的校准也可以使用视图校准方法来进行，其一个非限制性实施例在下文中参照图3和4说明。
一旦(复合)测量图像与参考图像校准，在步骤230期间，所校准的图像相互比较，以检测关于复合材料图像中的物体的变化。
在所说明的实施例中，由距离测量进行图像的比较。它可以包括例如检测测量图像的具有与参考图像的对应区域中的不同的距离或位置的区域。该不同可能是由于例如物体或操作员出现、消失或移动造成的。
如上所述，该比较可以在呈点云形式的图像之间进行。
当参考图像由几何元素建模时，该比较可以用呈点云形式的测量图像或用也由几何元素建模的测量图像来进行。
比较方法的选择可以取决于所寻求的物体或元素。
例如，在机器人的环境由具有墙和家具元素(传送机、架子或橱柜等)的房间构成并且在寻求检测具有不确定形状的物体(操作员等)的情况中，以下可以是有利的：
-用几何元素、尤其是平面，建模参考图像；
-用几何元素、尤其是平面，建模测量图像，用于校准操作；和
-使用呈点云形式的测量图像以检测关于物体的变化。
由此，校准可以以准确且在计算能力方面经济的方式实现，并且比较操作使得能够提取对应于不同物体的测量点，而没有关于它们形状的假设。由此可以分析这些物体，例如目的在于识别它们。
当在参考图像与复合测量图像之间没有观察到显著差别时，则检测阶段220的该迭代终止。可在任何时间进行检测阶段220的新的迭代。
当在参考图像与复合测量图像之间检测到关于物体的显著差别时，分析该差别以决定任何措施是否是必要的。在该情况中，在步骤234期间，触发机器人的指令。
例如，如果物体出现，检测阶段还可以包括计算所述物体的相对距离的步骤232。所述物体的该相对距离在(复合)测量图像中提供，这是因为该(复合)测量图像包括对于所述图像的每个像素的距离信息项。
当在步骤232中确定的距离低于预定阈值时，则在步骤234期间触发机器人的指令。指令的示例可以包括：
-紧急停止，尤其是如果正在靠近的物体识别为操作员；
-速度的改变或减速；
-改变路径，例如通过生成旁通路径；
-触发特定任务或任务的参数化，例如如果检测到具有待操作物体的手推车。
还可以在参考场景中确定如果例如在这些区域中检测到元素则将物体经受特定处理的区域。以下是例如要确定的：
-近区域和/或远区域；
-操作导致减速的安全区域，或停止机器人的排斥区域；
-与实施任务相关联的区域(传送机的期望位置等)。
参照图3和4，现在将说明用于校准深度图像的方法的一个实施例，该实施例能够在本发明中、尤其是在步骤228期间实施。
图3是根据本发明的用于校准深度图像的方法的使用平面作为几何形状的一个非限制性实施例的图示。
图3所示的方法300使得能够在共同参考框架中相互校准或相互定位一个场景的第一深度图像(例如参考图像)和相同场景的第二深度图像(例如测量图像)，该共同参考框架可以是两个图像中的一个图像的参考框架或与所述场景相关联的参考框架。
方法300包括阶段处理第一深度图像的阶段3021。
处理阶段3021包括在第一图像中检测平面的步骤3041。该步骤3041可使用已知技术进行，例如使用RANSAC算法的技术。根据绝非限制性的一个实施例，考虑第一深度图像由记为P1的点云表示时，检测平面的步骤3041可如下地进行。第一步骤使用例如深度梯度来计算点云P的每个点的法线(N)：这在实践中对于每个点通过从上点的深度减去下点的深度(竖直梯度)和从右点的深度减去左点的深度(水平梯度)来实现。点的法线则由两个梯度矢量的矢量积提供。然后，第二步骤使用点的法线来计算点云中的平面。该步骤在于；
-从点云P1中任意取3个点，
-计算通过这3个点的平面的参数，然后
-根据例如低于阈值的距离或接近法线的标准，计算P1的属于该平面的点的数量。
检测平面的步骤3041可重复预定次数。如果已经识别最小数量的点属于平面，则可将平面视为是识别的。属于平面的点从点的集合P1中去除，以免被用于识别之后的平面。
检测平面的步骤3041提供识别的平面的清单，其带有它们的描述参数和P的属于它们的点的集合。
要指出的是，对于检测平面的步骤描述的该方法也适用于如上所述的以几何元素的形式建模深度图像。
然后，可选的步骤3061使得能够在第一图像中检测重力矢量。该重力矢量对应于在拍摄该图像的3D摄像机的坐标系中表达的具有与重力相同的方向的矢量。为了获得该矢量，寻求尽可能延展的近似水平平面。将该平面视为完美地正交于重力。该平面的法线提供重力矢量。替代地，重力矢量可以由在拍摄第一深度图像的时刻检测所述重力矢量的传感器(例如加速度计或测斜仪)报告。
然后，步骤3081使得能够从在步骤3041中识别的所有平面中选择水平平面的第一组。将具有平行于重力矢量(或在角度容差内大致平行，例如+/-10度)的法线的每个平面视为水平的。步骤3081由此提供水平平面的第一组。
在步骤3101期间，对于第一组的每个水平平面，检测该水平平面与属于第一组的其它水平平面中的每个之间的几何关系。特别地，在所说明的实施例中，所使用的两个水平平面之间的几何关系是这些平面之间在重力矢量的方向上、即在竖直方向上的距离。存储在步骤3101中识别的几何关系。
步骤3121使得能够从在步骤3041中识别的所有平面中选择竖直平面的第二组。将具有垂直于重力矢量(或在角度容差内大致垂直，例如+/-10度)的法线的每个平面视为竖直的。步骤3121由此提供竖直平面的第二组。
在步骤3141期间，对于第二组的每个竖直平面，检测该竖直平面与属于第二组的其它竖直平面中的每个之间的几何关系。特别地，在所说明的实施例中，所使用的两个竖直平面之间的几何关系是这些平面之间的相对角度。存储在步骤3141中识别的几何关系。
与处理阶段3021同时或在处理阶段3021之后，对第二深度图像施加处理阶段3022。该处理阶段3022与处理阶段3021相同，并包括分别与步骤3041至3141相同的步骤3042至3142。
在步骤316期间，将在步骤3101中对于第一图像识别的水平平面之间的每个几何关系与在步骤3102中对于第二图像识别的水平平面之间的几何关系比较。当两个几何关系对应时，则这指示这些几何关系涉及两个图像中的相同的水平平面。由此，识别两个图像共同的水平平面。
在步骤318期间，将在步骤3141中对于第一图像识别的竖直平面之间的每个几何关系与在步骤3142中对于第二图像识别的竖直平面之间的每个几何关系比较。当两个几何关系对应时，则这指示这些几何关系涉及两个图像中的相同竖直平面。由此，识别两个图像共同的竖直平面。
在这些步骤结束时，获得两个图像的分别的竖直和水平平面的映射。
根据本发明的方法还可以包括验证两个图像的平面的映射的附加步骤。由此尤其可验证：
-平面的法线矢量和与平面的原点的距离是否相似；
-平面的由它们的凸包络表示的范围是否重叠；
-形成在第一图像中识别的平面的凸包络的点是否接近在第二图像中识别的平面的表面；
-例如由两个平面的分别的颜色的直方图获得的它们的颜色分布或它们的外观是否相似。
可以例如通过计算平面的两两的比较启发式，如有比较通过施加几何变换(例如如下所述的)以在第一图像中的坐标系中标定第二图像的平面并由此使得它们可比较，来实现这些附加验证步骤。
在步骤320期间，通过考虑在图像中的每个中识别的共同平面的位置和取向，计算呈齐次位移矩阵形式的几何变换。该矩阵使得能够例如在第一图像的坐标系中标定第二图像的平面。它由此使得能够确定之前使得能够获取图像中的每个的3D摄像机或传感器在场景中的位移或位置差别。
在所说明的实施例中，使用共同的竖直平面，确定图像中的一个图像相对于图像中的另一个图像的转动。实际上，与正交于重力的竖直平面法线矢量相关联的重力矢量提供正交基。在两个视图中彼此对应的两个正交基直接提供传感器在每个轴上的转动角度。由此对于每个对应平面计算在三个轴上的转动角度并取平均值。然后，通过映射两个正交竖直平面之间的两条直相交线，计算水平平移矢量。在该阶段，还可通过确定与两个平面相关联的二次误差矩阵以获得最小化该矩阵的矢量，获得竖直平移。
此外，共同水平平面使得能够计算竖直平移。通过计算每个平面在两个图像中与原点的距离的差别，可找到按照水平平面的法线取向的平移矢量。
在步骤320中确定的位移矩阵则可在步骤322期间应用于图像中的一个图像以将其与图像中的另一个图像校准。
两个图像然后在同一坐标系中、或换句话说两者都布置在同一坐标系中地相互校准。
然后可独立于彼此地使用由此校准的图像。
它们还可根据已知技术相互融合或融合在更大的3D图示中。该融合可以尤其在点云之间或在识别的几何形状之间进行。
图4是根据本发明的用于校准深度图像、尤其是图3的方法300的一个非常简化的应用实例的图示。
图4示出同一场景的根据不同的两个视场的两个深度图像402和404(例如参考图像和测量图像)。坐标系(X，Y，Z)是与图像402的视场或与相关联的传感器相关联的坐标系。它因此不同于与图像404的视场相关联的坐标系。
处理图像402和404中的每个以在每个图像中检测竖直平面和水平平面。对于图像402获得的结果由平面库图像406提供，对于图像404获得的结果由平面库图像408提供。由此，对于每个图像，识别水平平面和竖直平面。还指示了每个平面的法线矢量。
在第一图像402中，在步骤3081中检测的水平平面是如下的：
-水平平面h1，它的：
ο法线矢量h1是矢量Nh1＝(0,1,0)
ο重心是点Ch1＝(1,-1,2)
-水平平面h2，它的：
ο法线矢量是矢量Nh2＝(0,-1,0)
ο重心是点Ch2＝(-2,2,1)。
坐标单位可以例如是米。
在步骤3101中检测的这两个水平平面之间的距离关系通过点Ch1和Ch2(或与坐标系原点的对应矢量)在法线矢量中的一个、例如Nh1上的投影提供。它由以下关系式给出：
distance(Ch1,Ch2)＝abs(Nh1.Ch1-Nh1.Ch2)＝3。
其中，“abs”是绝对值，“.”是标量积。
仍在第一图像402中，在步骤3121中检测的竖直平面是如下的：
-水平平面v1，它的：
ο法线矢量是矢量Nv1＝(1,0,0)
ο定义为属于平面v1的所有3D点的位置的平均值的重心是点Cv1＝(-2,1,1)
-水平平面v2，它的：
ο法线矢量是矢量Nv2＝(0,0,-1)
ο重心是点Cv2＝(1,1,3)。
在步骤3141中检测的这两个竖直平面之间的角度关系通过以下关系式给出：angle(Nv1,Nv2)＝90°。
在第二图像404中，在步骤3082中检测的水平平面是如下的：
-水平平面h’1，它的：
ο法线矢量h1是矢量Nh’1＝(-0.150,0.985,0.087)
ο重心是点Ch’1＝(2.203,-0.311,1.203)
-水平平面h’2，它的：
ο法线矢量是矢量Nh’2＝(0.150,-0.985,-0.087)
ο重心是点Ch’2＝(-1.306,2.122,2.074)。
在步骤3102中检测并如上计算的这两个水平平面之间的距离关系由以下关系式给出：
distance(Ch’1,Ch’2)＝abs(Nh’1.Ch’1-Nh’1.Ch’2)＝3。
仍在第二图像404中，在步骤3122中检测的竖直平面是如下的：
-水平平面v’1，它的：
ο法线矢量是矢量Nv’1＝(0.853,0.174,-0.492)
ο重心是点Cv’1＝(-1.156,1.137,1.988)
-水平平面v’2，它的：
ο法线矢量是矢量Nv’2＝(-0.5,0,-0.866)
ο重心是点Cv’2＝(2.402,1.658,2.242)。
在步骤3142中检测的这两个竖直平面之间的角度关系通过以下关系式给出：angle(Nv’1,Nv’2)＝90°。
通过比较角度关系angle(Nv1,Nv2)和angle(Nv’1,Nv’2)，检测到等式：
angle(Nv1,Nv2)＝angle(Nv’1,Nv’2)。
这使得能够确认第一图像402中的竖直平面(v1,v2)的确是第二图像404中的竖直平面(v’1,v’2)。
而且，通过比较关系distance(Ch1,Ch2)和distance(Ch’1,Ch’2)，检测到等式：
distance(Ch1,Ch2)＝distance(Ch’1,Ch’2)。
这使得能够确认第一图像402中的水平平面(h1,h2)的确是第二图像404中的竖直平面(h’1,h’2)。
通过使用两个图像402和404共同的竖直平面和水平平面的特征，计算齐次位移矩阵。在给出的示例中，齐次位移矩阵(R,T)是如下的：
-转动R＝(0°,30°,10°)，
-平移T＝(0.20,0.50,0.05)。
要指出的是，在限定平面和R和T矢量的不同参数之间存在关系。例如：Nv’1＝R xNv1和Cv’1＝R x Cv1+T。
使用竖直平面v1、v2、v’1、v’2和重力矢量来计算转动R。
使用水平平面v1、v2、v’1和v’2来计算T的水平平移分量(在x和z上)。
使用水平平面h1、h2、h’1和h’2来计算T的竖直平移分量(y)。
将由此计算的变换T施加到第二图像404以将该图像404表达在第一图像402的坐标系(X,Y,Z)中。
当然，本发明不限于以上描述的示例，可以在不超出本发明的范围的情况下对这些示例做出许多改变。
在所述示例中，机器人包括多个3D摄像机。当然，3D摄像机的数量是非限制性的，机器人可以包括一个或更多个摄像机。当机器人包括单个摄像机时，不进行构造复合深度图像的步骤208和226。

Claims (17)

1.一种用于监控机器人(100)的环境的方法(200)，其包括：
-通过由所述机器人(100)承载的至少一个3D摄像机(120)，获得所述机器人(100)的环境的称作参考图像的深度图像的阶段(202)；和
-包括以下步骤的检测阶段(220)的至少一次迭代：
-在测量时刻，通过所述至少一个3D摄像机(120)，获取(222)所述环境的称作测量图像的深度图像，
-校准(228)所述参考图像和测量图像，和
-通过比较所述参考图像和测量图像，检测(230)关于所述机器人(100)的环境中的物体的变化。
2.根据权利要求1所述的方法(200)，其特征在于，获得所述参考图像的阶段(202)包括以下步骤：
-在不同的获取时刻并对于所述至少一个3D摄像机(120)的不同位置，依次获取(204)至少两个深度图像；和
-由依次的所述深度图像构造(210)所述参考图像。
3.根据权利要求2所述的方法(200)，其特征在于，所述参考图像的构造根据在每个获取时刻的所述至少一个3D摄像机(120)的配置来进行。
4.根据权利要求3所述的方法(200)，其特征在于，所述至少一个3D摄像机(120)在获取时刻的位置根据所述机器人(100)在所述获取时刻的几何配置确定。
5.根据上述权利要求中任一项所述的方法(200)，其特征在于，当所述机器人(100)配备有具有不同视场(122)的多个3D摄像机(120)时，在获取时刻获取深度图像的步骤(204)包括：
-在所述获取时刻，使用所述3D摄像机(120)中的至少两个，获取(206)单独深度图像；和
-由所述单独深度图像，构造(208)复合深度图像。
6.根据权利要求5所述的方法(200)，其特征在于，由所述单独深度图像构造所述复合深度图像根据所述3D摄像机(120)相对于彼此的相对配置来进行。
7.根据上述权利要求中任一项所述的方法(200)，其特征在于，通过采用由所述3D摄像机(120)在测量时刻拍摄的单独深度图像作为测量图像，对于至少一个3D摄像机，单独地进行所述检测阶段(220)。
8.根据权利要求1至6中任一项所述的方法(200)，其特征在于，当所述机器人(100)配备有具有不同视场(122)的多个3D摄像机(120)时，获取测量图像的步骤(222)包括以下操作：
-在所述测量时刻，使用多个3D摄像机(120)，获取(224)单独深度图像；和
-由所述单独深度图像构造(226)复合测量图像。
9.根据权利要求8所述的方法(200)，其特征在于，所述复合测量图像的构造根据所述3D摄像机(120)相对于彼此的相对位置来进行。
10.根据上述权利要求中任一项所述的方法(200)，其特征在于，关于所述机器人(100)的环境中的物体的变化的检测(230)通过使用来自所述测量图像的距离信息项来进行。
11.根据上述权利要求中任一项所述的方法(200)，其特征在于，所述方法包括如果在所述测量图像中检测到关于物体的变化，则触发所述机器人(100)的指令的步骤(234)。
12.根据上述权利要求中任一项所述的方法(200)，其特征在于，所述参考深度图像和测量深度图像的校准通过分析点云图像来进行。
13.根据权利要求1至11中任一项所述的方法(200)，其特征在于，所述参考深度图像和测量深度图像的校准通过分析事先以几何形状的形式建模的图像来进行。
14.根据权利要求13所述的方法(200)，其特征在于，所述参考深度图像和测量深度图像的校准包括以下步骤：
-对于所述图像中的每个：
-检测(3081、3121、3082、3122)所述图像(402、404)中的多个几何形状，和
-确定(3101、3102、3141、3142)所述多个几何形状中的至少两个几何形状之间的至少一个几何关系；
-通过比较对于所述图像中一个图像(402)检测的几何关系和对于所述图像中另一个图像(404)检测的几何关系，识别(316、318)所述两个图像(402、404)共同的几何形状；
-根据所述共同的几何形状，计算(320)所述图像(402、404)之间的几何变换；和
-根据所述几何变换，相对于所述图像中的另一个图像(302)，校准(322)所述图像中的一个图像(304)。
15.一种用于监控机器人的环境的设备，其包括：
-至少一个3D摄像机(120)，和
-至少一个计算装置(124)；
所述设备构造为实施根据上述权利要求中任一项所述的用于监控机器人的环境的方法(200)的所有步骤。
16.一种机器人(100)，其配备有根据权利要求15所述的监控设备。
17.根据权利要求16所述的机器人(100)，其特征在于，所述机器人包括：
-至少一个可移动段(104-108)，
-围绕所述可移动段中的一个分布的多个3D摄像机(120)。
CN202080030497.5A 2019-02-22 2020-02-10 用于监控机器人的环境的方法和设备 Pending CN113767421A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FRFR1901828 2019-02-22
FR1901828A FR3093215B1 (fr) 2019-02-22 2019-02-22 Procédé et dispositif de surveillance de l’environnement d’un robot
PCT/EP2020/053273 WO2020169380A1 (fr) 2019-02-22 2020-02-10 Procede et dispositif de surveillance de l'environnement d'un robot

Publications (1)

Publication Number Publication Date
CN113767421A true CN113767421A (zh) 2021-12-07

Family

ID=66867531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030497.5A Pending CN113767421A (zh) 2019-02-22 2020-02-10 用于监控机器人的环境的方法和设备

Country Status (5)

Country Link
US (1) US20220130147A1 (zh)
EP (1) EP3928292A1 (zh)
CN (1) CN113767421A (zh)
FR (1) FR3093215B1 (zh)
WO (1) WO2020169380A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049563B (zh) * 2022-01-12 2022-05-03 国网瑞嘉(天津)智能机器人有限公司 带电作业环境的评估方法、作业环境评估系统及电子设备
CN114782438B (zh) * 2022-06-20 2022-09-16 深圳市信润富联数字科技有限公司 物体点云修正方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742657B2 (en) * 2005-10-18 2010-06-22 Korea Electronics Technology Institute Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
US9177224B1 (en) * 2013-03-14 2015-11-03 Amazon Technologies, Inc. Object recognition and tracking
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
WO2016141984A1 (en) * 2015-03-11 2016-09-15 Huawei Technologies Co., Ltd. Image processing device and method for geometric calibration of images
EP3086283A1 (en) * 2015-04-21 2016-10-26 Hexagon Technology Center GmbH Providing a point cloud using a surveying instrument and a camera device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724385B2 (en) * 2000-03-08 2004-04-20 Sony Computer Entertainment Inc. Method of replaying game, recording medium, program, and entertainment system
US20010023201A1 (en) * 2000-03-08 2001-09-20 Susumu Takatsuka Method of replaying game, recording medium, program, and entertainment system
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
KR20080066408A (ko) * 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
FR2984057B1 (fr) * 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9299013B1 (en) * 2014-03-27 2016-03-29 Amazon Technologies, Inc. Visual task feedback for workstations in materials handling facilities
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160048966A1 (en) * 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Learning the distance between cameras for articulated vehicles
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US10458990B1 (en) * 2015-03-06 2019-10-29 Scanit Technologies, Inc. Spore state discrimination
WO2019089432A1 (en) * 2017-10-30 2019-05-09 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
JP6936974B2 (ja) * 2017-12-19 2021-09-22 オムロン株式会社 位置姿勢推定装置、位置姿勢推定方法及びプログラム
IL311004A (en) * 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
CN114746717A (zh) * 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
CN115426971A (zh) * 2020-04-24 2022-12-02 史密夫和内修有限公司 具有内置结构化光模块的光学跟踪装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742657B2 (en) * 2005-10-18 2010-06-22 Korea Electronics Technology Institute Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
US9177224B1 (en) * 2013-03-14 2015-11-03 Amazon Technologies, Inc. Object recognition and tracking
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
WO2016141984A1 (en) * 2015-03-11 2016-09-15 Huawei Technologies Co., Ltd. Image processing device and method for geometric calibration of images
EP3086283A1 (en) * 2015-04-21 2016-10-26 Hexagon Technology Center GmbH Providing a point cloud using a surveying instrument and a camera device
US20160314593A1 (en) * 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device

Also Published As

Publication number Publication date
WO2020169380A1 (fr) 2020-08-27
EP3928292A1 (fr) 2021-12-29
FR3093215A1 (fr) 2020-08-28
US20220130147A1 (en) 2022-04-28
FR3093215B1 (fr) 2021-08-27

Similar Documents

Publication Publication Date Title
EP2543483B1 (en) Information processing apparatus and information processing method
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
WO2011105522A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
Ruan et al. Calibration of 3D sensors using a spherical target
JP2008304268A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
EP3229208B1 (en) Camera pose estimation
Lagisetty et al. Object detection and obstacle avoidance for mobile robot using stereo camera
Borsu et al. Automated surface deformations detection and marking on automotive body panels
Huang et al. Mobile robot localization using ceiling landmarks and images captured from an rgb-d camera
CN113767421A (zh) 用于监控机器人的环境的方法和设备
Huang et al. Sensor-aided teleoperated grasping of transparent objects
Fan et al. A shape-based stereo matching algorithm for binocular vision
CN109579698B (zh) 一种智能货物检测系统及其检测方法
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Dao et al. Visual navigation for indoor mobile robots using a single camera
KR101093793B1 (ko) 가상 평면 정보를 사용한 3차원 자세 정보 획득 방법
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
Fischer et al. Surveillance of robots using multiple colour or depth cameras with distributed processing
Amplianitis et al. Calibration of a multiple stereo and rgb-d camera system for 3d human tracking
Barrois et al. Spatio-temporal 3d pose estimation of objects in stereo images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211207

WD01 Invention patent application deemed withdrawn after publication