CN107851181A - 用于控制机器人和/或自主无人驾驶运输系统的方法 - Google Patents

用于控制机器人和/或自主无人驾驶运输系统的方法 Download PDF

Info

Publication number
CN107851181A
CN107851181A CN201680040872.8A CN201680040872A CN107851181A CN 107851181 A CN107851181 A CN 107851181A CN 201680040872 A CN201680040872 A CN 201680040872A CN 107851181 A CN107851181 A CN 107851181A
Authority
CN
China
Prior art keywords
point
feature
posture
model
transportation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680040872.8A
Other languages
English (en)
Other versions
CN107851181B (zh
Inventor
D·约霍
D·迈耶-德利乌斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Publication of CN107851181A publication Critical patent/CN107851181A/zh
Application granted granted Critical
Publication of CN107851181B publication Critical patent/CN107851181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于控制机器人和/或自主无人驾驶运输系统的方法，该方法以基于传感器的对象识别为基础。在此，基于待识别对象的2D表面轮廓生成2D表面轮廓的点对特征。借助于距离传感器来检测环境的点云，并且推测出每个点的表面法线，并且相应地生成环境的点对特征。在投票方法中，将环境特征与模型特征进行比较，以便高效地生成姿态假设，然后在接下来的步骤中对姿态假设进行优化和一致性检查，以便最终作为探测被接受或拒绝。

Description

用于控制机器人和/或自主无人驾驶运输系统的方法
技术领域
本发明涉及一种用于控制机器人和/或自主无人驾驶运输系统的方法以及一种相应的运输系统。
背景技术
根据现有技术已知各种借助于传感器来识别对象的装置和方法。这种基于传感器的对象识别可以应用于各种用途。例如，在批量生产过程中可以自动地检查所制造的零件的某些特征，以探测偏差或缺陷。基于传感器的对象识别对于诸如工业机器人之类的操纵器而言也是有用的，例如能够借助于操纵器自动地抓取或处理对象。在对自主无人驾驶运输系统的控制中，安全的、基于传感器的对象识别也是重要的。在这里，这种对象识别例如可以用于在物流场景中查找要运输的货物，或者能够有针对性地和自主地操控对象。
由专利文献DE102014211948已知一种光学检查系统，通过该系统可以检查所制造的对象(例如构件)的偏差和缺陷。例如，将相机用于对象识别，其负责提供待识别对象的三维点云。这种点云是体积对象(Volumenobjekts)表面上的一组三维的点，并且例如也可以由CAD体积模型导出。为了能够识别环境中的对象，将相机所提供的三维点云与之前已知的点云模板进行比较，以便能够识别例如事先存储的对象。
由Bertram Drost等人发表的文献“全球模型，本地匹配：3D对象识别的有效性和鲁棒性(Model Globally,Match Locally:Efficient and Robust 3D ObjectRecognition)”同样已知一种基于传感器地识别三维对象的方法。在该现有的方法中，同样生成三维点云，并且点云表面上的每两个点联合成点对特征(Punktpaar-Features)。这些点对特征由所选出的两个点的某些几何参数形成，例如，这两个所选出的点之间的距离，和法线与这两点之间的距离线的角度。但是这种方法是相对昂贵的，因为其除此之外还以三维图像处理为先决条件，并且必须考虑大量的点对特征。另外，关于是否接受或拒绝探测假设(Detektionshypothese)的最终判断仅仅是基于一种投票和聚类方法，这对于本发明的应用场景来说被认为是不够稳健的。
发明内容
因此，本发明的目的在于提出一种更好的用于控制机器人和/或自主无人驾驶运输系统的方法，利用该方法能够以尽可能少的费用更安全和更容易地识别对象，以便能够实现合适的操控。本发明还提出了一种用于判断是否接受或拒绝探测假设的新方法。该方法在考虑到测量过程的物理和几何特性的情况下检查探测假设是否与所获取的测量数据一致。此外，这里所给出的投票方法不同于Drost等人在上述出版物中提出的方法。
本发明的目的通过一种根据权利要求1所述的用于控制机器人和/或自主式无人驾驶运输系统的方法以及一种根据权利要求16所述的相应的运输系统来实现。
上述目的特别是通过一种用于控制机器人和/或自主无人驾驶运输系统的方法来实现，通过这种方法能够更好地进行基于传感器的对象识别。在第一步骤中，以2D表面轮廓的形式提供待识别对象的对象模型。这可以优选通过手动或自动处理待识别对象的CAD模型来完成。例如，对象模型可以是具有限定的内部和外部的几何图元(Primitiven)(例如圆形、多边形等)的集合。因此，对象模型有利地相应于将待识别对象缩小到一代表，该代表例如能够被随后待使用的传感器识别。例如，这在水平地安装有2D激光扫描仪的情况下可以是对象在激光扫描仪的高度上的水平截面。另外优选地，针对对象的对象模型提供任意限定的对象参考姿态，该对象参考姿态例如可以但并非必须相应于在CAD模型中所使用的方位为0的坐标原点。
呈2D表面轮廓形式的对象模型可以例如存储在数据库中，该数据库例如能够被远程设置，或者与远程设置的数据库同步，因此该数据库能够向很多用户或应用程序提供数据。例如，如果该方法与自主无人驾驶运输系统结合使用，则运输系统或运输系统的控制装置例如能够无线地访问例如位于计算中心的数据库并查询所需要的数据。通过这种方式，可以使多个运输系统访问相同的数据，这大大简化了例如所用数据的更新。
例如，通过在对象模型的二维表面轮廓(或二维轮廓)上以可配置的、有规律的间隔来放置点(模型点)的方式，基于对象模型来创建模型点云。这些点中的每一个都与一表面法线相关联，该表面法线相应于在该位置处的2D表面轮廓的表面法线。模型点云相应于这样创建的定向点的集合。
在下一个步骤中，基于模型点云(即，基于2D表面轮廓)形成点对特征。为此需要例如考虑模型点的所有可能的点对的子集。这个子集例如可以随机地或系统地被选择。为这个子集的每一个点对形成一个点对特征f＝(d12，α1，α2)。在此，点对特征至少基于点对的点P1和P2之间的距离d12和每个点的表面法线相对于两个点之间的距离线的两个角度α1和α2。因此，根据待识别对象的复杂性而定，例如可以形成2D表面轮廓的数千个或数万个点对特征。
此外，在点对特征的基础上优选如下地对应(zugeordnet)特征姿态：限定一个点M，其例如位于点对的点之间的连线的中间。此外，在M与该点对中的一个点之间限定一方向矢量。该特征姿态的位置分量为该点M，该特征姿态的方向分量为该方向矢量的方向。此外，针对每个点对特征还限定了待识别对象相对于特征姿态的相对的对象姿态(即，对象参考姿态)。通过这种方式将待识别对象的2D表面轮廓的点对特征(在本文中也被称为“模型特征”)与相对的对象姿态关联起来。
可选地，模型特征(包括相对的对象姿态)也可以被预先计算，并如同2D表面轮廓一样存储在数据库中，该数据库例如可以被远程设置或者可以与远程设置的数据库同步。
在下一步骤中，借助于距离传感器检测环境的至少一个2D点云(环境点云)，并形成相应的所检测到的环境的2D点云的点对特征，即，这种点对特征类似于模型特征地被形成。类似于点对特征，为每个点估计一表面法线。因此，环境点云例如由被定向的点的集合组成。原则上，距离传感器优选为激光扫描仪，并且最优选为2D激光扫描仪。将由此形成的环境的2D点云的点对特征与2D表面轮廓的点对特征(模型特征)进行比较，并确定相似的点对特征。然后，在被确定为相似的点对特征的基础上，优选根据投票法确定是否已经识别出了待识别的对象，并相应地操控机器人和/或自主无人驾驶运输系统以便例如抓住或驶向所识别的对象。
比较点对特征的这一步骤优选地包括：基于被确定为相似的点对特征，确定待识别对象的姿态假设(Posenhypothesen)。例如，基于环境点云或者说基于在环境点云基础上所形成的点对特征，在投票法的过程中生成关于待识别对象的姿态的假设(所谓的姿态假设)。
投票法可以优选如下地进行：在第一步骤中产生或确定环境的2D点云的点对特征，这些点对特征全部恰好以一个点(基准点)为出发点。为此，例如，选出环境点云的一个子集，并且该子集的每个点都作为基准点参与到投票法中，以便生成姿态假设。各个基准点在此优选与环境点云的其它的点配对，并以与用于比较的模型点云的点对特征相同的方式为每个这样的点对计算点对特征。在下文中这些点对特征也被称为环境特征。但是，与模型特征相反，该环境特征与相对的对象姿态无关，因为确定对象姿态恰恰是投票方法的目标。为此，为每个以投票方法生成的环境特征搜索类似的模型特征，并为每个所找到的类似的模型特征确定一变换关系，其能够将模型特征的特征姿态映射到环境特征的特征姿态上。通过相应的变换，与模型特征相关的相对的对象姿态被转换到该场景中，从而生成临时的姿态假设。
然后，优选将所述姿态假设记入到投票网格中。该投票网格又是将姿态假设空间分割成离散的单元格，在此，所述单元格包含有落入其中的(临时的)姿态假设。优选地，通过散列表(Hashtabelle)有效地实现投票网格，其中，密匙相应于三维的单元格索引，而该单元格索引又相应于姿态假设的离散化。如果所有的临时姿态假设(这些临时姿态假设都优选在该步骤中基于相同的基准点)都被记入到投票网格中，则从投票网格中选出至少一个临时姿态假设，并将其限定为由投票法产生的姿态假设。优选地，为此只考虑具有最多姿态假设的单元格，并优选从该单元格所包含的姿态中随机地选出一个姿态。投票网格的其他姿态假设被拒绝并不予考虑。然后删除投票网格。
这种借助于投票网格的投票方法优选独立地重复用于多个基准点，从而能够确定多个由此产生的或可能的姿态假设。但是，这样所找出的所产生的姿态假设的数量明显少于所有曾经被记入投票网格中的临时姿态假设的数量。由于如此选择所产生的或者可能的姿态假设是在投票方法期间通过形成共识产生的(例如分别从具有大部分姿态的投票-网格单元格中选出)，因此它们是可能的假设，在此意义上，实际的对象姿态比随机选择的临时姿态假设更有可能接近于所得到的(可能的)姿态假设。通过减少姿态假设的数量，能够加速后续的处理步骤，通过这些处理步骤使所得到的姿态假设被优选地进一步优化并经受一致性检查。
在有利的后续的优化步骤中，改变从相应的投票方法中所得到的姿态假设，其目标在于还进一步提高姿态估计的准确度。优选地，这通过迭代最近点方法(ICP)来实现，其中，在该方法的每个子步骤中，将环境点云的点与被变换到场景中的模型点云的点的各个距离最近的点关联起来。在此，优选仅在点的距离不超过给定边界值以及点的表面法线之间的角度差不超过给定边界值的情况下，才进行点的关联。基于被这样关联的点，通过奇异值分解可以有效地找到新的姿态假设，其使得各个关联点的点距离的平方的和最小。由此确定的新的姿态假设就是ICP法的下一次迭代的起点，这样的迭代被执行至收敛或者达到用于姿态假设的迭代步骤的给定最大数。
在确定待识别对象是否被正确识别的过程中，优选对所得到的和可能被优化的姿态假设进行一致性检查，以便识别出错误的假设作为这种姿态假设并剔除。这种一致性检查可以基于不同的单一标准，这些单一标准可以被单独地或者也累积地被使用。接下来以此为出发点：对象模型被变换成各个正好要检查的姿态假设的姿态，并将环境点云的点与经过变换的2D表面轮廓或相应的模型点云的点关联起来。但是在此，只有如果点距离和点的表面法线的角度差不超过相应的边界值，环境点才关联最近的2D表面轮廓的模型点。
第一个标准是以对象的自由空间模型为基础，该自由空间模型被解释为一区域，在该区域的内部除了所述对象本身之外没有其他的对象。例如，一张桌子的对象模型由四个圆圈组成，这些圆圈模型化了在距离传感器的高度上穿过桌腿的水平截面，并且该自由空间模型可以是一个包括这四个圆圈的矩形。如果试图识别这个四腿桌子并且其在一个姿态上被错误地估测(实际竖立在那里的是一个具有六条腿的类似的桌子)，因此多出来的那两条腿会导致测量(这两条腿一方面位于四腿桌子的自由空间模型内部，这两条腿但另一方面不能与四腿桌子的模型点关联起来)。因此，第一个标准是以环境点云的点的数量的边界值为基础的，这些点位于对象的自由空间模型的内部，并且这些点不能与模型点相关联。换句话说，如果姿态假设是正确的，则传感器就会在不允许有点存在的位置上检测到点。如果给定的姿态假设的该边界值被超出，则该姿态假设被拒绝。
另一个标准是以传感器的自由空间模型为基础，该自由空间模型被解释为一区域，在该区域的内部没有障碍物被测量。例如，这在2D激光扫描仪的情况下可以是由激光传感器的位置和激光束的端点组成的多边形。例如，如果试图识别一个六腿桌子，其在对象模型中是由六个圆圈组成，并且其在一个位置上被错误地估测(实际竖立在那里的是一个只有四条腿的类似的桌子)，则该六腿桌子的两个腿的模型点位于传感器的自由空间模型中(只要该区域没有由于对象的自遮盖而保持隐藏传感器)。即，在传感器什么也没有检测到的地方存在模型点。因此，该另一个标准是以模型点云的点的数量的边界值为基础的，这些点位于传感器的自由空间模型的内部。如果超过该边界值，则姿态假设被拒绝。
另外一个标准同样是基于传感器的自由空间模型，但是需要考虑模型点在传感器的自由空间模型中的最大穿透深度(位于自由空间模型内部的点到自由空间模型轮廓的距离)。如果这个距离超过了给定的边界值，则姿态假设被拒绝。
另一个标准是基于待识别对象的2D表面轮廓的点(模型点)的数量与实际检测到的环境的2D点云的点(观察到的模型点)的比例，待识别对象的2D表面轮廓的点实际上必须由距离传感器来检测(期望的模型点)。由于姿态假设详细说明了对象模型相对于传感器的姿态的位置(例如基于CAD模型和模型点云)，并且另一方面可以假定：传感器的具有足够精度的可视区域是已知的，因此能够在几何学上容易地计算出所期望的模型点。亦即，期望的模型点只包括从这个视角(Perspektive)理论上可见的模型点，这例如排除位于模型背后的点，其如同来自由于自遮挡而不可见的区域中的点一样。为了确定所观察到的模型点，现在将期望的模型点与环境点云的点相关联(而不是如之前那样正好相反将环境点关联模型点)，其中，又观察最大的点距离和角度差。然后，如果一期望的模型点能够与一环境点云的点相关联，则该期望的模型点恰好就是一观察到的模型点。如果所有的期望模型点都被观察到，则观察到的模型点的数量与期望模型点的数量的比例为一，并且该对象例如被其他的对象遮盖得越多，或者实际观察到的对象与期望的对象模型在该姿态下的偏差越大，则该比例渐变为零。因此，该另一标准为该比例限定了边界值，并且如果超过该边界值，则姿态假设被拒绝。
另一个标准是以所观察到的对象模型的区域的数量为基础。为此，由用户将对象模型分成不同的区域，或者对象模型的每个几何图元(例如，圆、多边形等)被暗示理解为自己的区域。在从对象模型中创建模型点云的过程中，对于每个模型点都要注明其从哪个区域生成。只要至少有一个与一个区域绑定的模型点是观察到的模型点，也就是如果所检测到的2D点云的一个点可以对应于该区域，则该区域被认为观察到。该标准限定了用于已观察区域的数量的边界值，并且如果该边界值被超过则姿态假设被拒绝。
如果姿态假设没有被拒绝，就认为对象在该位置上被探测。然后，被接受的姿态假设拒绝相似的姿态假设，这些相似的姿态假设位于环绕被接受的姿态假设的平移和旋转的公差范围内。然后不必对这些被拒绝的姿态假设做进一步的处理，这加快了后续的处理步骤。
如果对象没有被识别(例如因为其在场景中实际不存在)，则该探测方法不送回任何姿态；如果该对象在场景中是多重存在的，则该方法能够送回多个姿态。另外，如果对象具有对称性，则同一物理对象可在多个姿态下被探测。例如，以90°旋转对称的对象在四个不同的姿态下被发现，这四个不同的姿态在理想情况下具有相同的位置分量但不同的方向分量。
优选地，在识别对象之后，或者说在确定姿态假设正确之后，使用SMC过滤器追踪对象，以便即使在两个元件彼此相对运动期间也能够提高对传感器和对象的相对布局的确认的精度。SMC过滤器也被公知为颗粒过滤器，并且允许准确地和连续更新地确定对象的位置和速度。该方法的细节例如请参见专业书“概率机器人(Probabilistic Robotics)”，麻省理工学院出版社，2005年。
本发明还涉及一种自主无人驾驶运输系统，其包括对象识别系统，该对象识别系统包括至少一个距离传感器和控制装置，该控制装置被设计用于执行上述的方法。由控制装置执行的步骤特别是包括：从数据库中检索待识别对象的至少一个2D表面轮廓的点对特征，其中，所述点对特征至少是以点对中的两个点之间的距离和每个点的法线(表面法线或曲线法线)相对于两个点之间的距离线的两个角度为基础。在此，数据库可以集成在控制装置中，但是数据库也可以是控制装置可以访问的外部数据库。事实上，具有CAD模型的2D表面轮廓的数据库甚至最好是中央数据库或者与可由多个系统使用的中央数据库同步。这易于更新或添加CAD模型的数据。
该控制装置还被设计为，借助于距离传感器检测环境的至少一个2D点云，并且形成环境的被检测的2D点云的相应的点对特征。进一步将控制装置设计为，将2D表面轮廓的点对特征与环境的2D点云的点对特征进行比较并确定相似的点对特征。这样的比较也可以例如在单独的计算机上执行，控制装置访问该计算机。此外，还将控制装置设计为，能够确定类似的模型点对特征并基于这些模型点对特征优选以投票法来确定姿态假设。这可以然后优选在另外的步骤中被优化，并且在进行一致性检查之后或者作为探测被接受，或者被拒绝。
由控制装置在此执行的这些方法步骤基本上相应于前述的方法步骤，因此不再重新进行详细说明。
附图说明
下面参照附图对本发明做示例性说明，其中：
图1以示意性的侧视图示出了可以执行根据本发明的方法的自主无人驾驶运输系统；
图2是图1的布局的俯视图；
图3示例性示出了基于2D表面轮廓确定点对特征；
图4示出了所生成的CAD模型的2D表面轮廓的点对特征的形成；
图5示出了所检测到的2D表面轮廓的相应的点对特征的形成；
图6示意性示出了基于对象的自由空间模型进行一致性检查的操作方法；
图7示意性示出了基于传感器的自由空间模型进行一致性检查的操作方法；
图8示意性示出了基于传感器的自由空间模型和模型点的穿透深度进行一致性检查的操作方法；
图9示意性示出了基于对期望的和实际观察到的模型点的比较来进行一致性检查的操作方法；
图10示意性示出了基于观察到的对象模型的区域进行一致性检查的操作方法。
具体实施方式
图1以示意性的侧视图示出了一种自主无人驾驶运输系统10，其具有呈2D激光扫描仪20形式的距离传感器，该距离传感器与控制装置15连接。控制装置15位于运输系统10的车身12上，该运输系统可以通过车轮13运动。桌子30位于运输系统10的环境中，其具有多个桌腿31、32、33、34。运输系统10例如应该行进到相对于桌子30的某个位置。为此，运输系统10需要信息，这些信息能够使运输系统10实现相对于桌子30的自主取向。可以利用根据本发明的方法来提供这些信息。
在图2中示出了图1的布局的俯视图。为清楚起见，桌子的桌面30没有示出，但是可以看到四条桌腿31、32、33和34。运输系统10的2D激光扫描仪20发出扇形的激光束21，这些激光束在图2中以虚线箭头21标示。当激光束21碰到对象、例如桌子的桌腿时，光束被反射并因此使得2D激光扫描仪20或者说所配属的控制装置15能够生成环境的二维图像，即，环境的二维点云。这将在后面参考图4和图5进行更详细的说明。
下面参照图3对2D表面轮廓K的点对特征的形成进行示例性说明。2D表面轮廓K相应于两维曲线，并且可以例如通过二维截面穿过三维CAD模型的方式从该三维CAD模型来产生该2D表面轮廓。现在，从这个2D表面轮廓中选择两个任意点P1和P2，并绘出这两个点的法线n1和n2。另外，还要确定这两个点P1和P2之间的距离和距离线d12。然后，利用这些数据能够确定点P1和P2的法线n1、n2相对于距离线d12的两个角度α1和α2。点对P1、P2的这些值一起组成点对特征，即，f＝(d12，α1，α2)。优选地，还通过限定一个点M来限定一个特征姿态，该点例如位于点对的点之间的连线d12的中间。此外，在M和点对的一个点之间限定一个方向矢量，例如在图3和图4中由从M出发的实线箭头示出。由此，该特征姿态的位置分量为点M，方位分量为所述方向矢量的方向。这使得能够实现各个点对特征与待识别对象的对象姿态的一一对应。如图3所示，即为所确定的或所限定的点对特征限定或者分配相对于特征姿态的待识别对象的对象姿态(对象参考姿态)。对此而言，在该二维空间中点M相对于对象姿态的位置的x距离和y距离以及特征姿态和对象姿态的两个方向矢量之间的角度就足够了。通过这种方式将待识别对象的2D表面轮廓的每个点对特征与相应的相对的对象姿态关联起来。
对于在2D轮廓K上存在多个点对的情况，例如有几百个或几千个点对，可以重复此过程。通过这样的方式，形成该2D表面轮廓K的许多点对特征，这些点对特征最终代表了表面轮廓K的二维形状。此外，每个点对特征均对应相应的对象姿态。例如，如果2D表面轮廓的轮廓K相应于穿过三维CAD模型的一个截面，则被这样确定的点对特征将形成对待识别对象的数学描述，该数学描述可以被存储在数据库中。
在借助例如2D激光扫描仪20来检测环境的2D点云时，检测到环境的许多个点，这取决于在距离传感器的作用半径内存在多少反射面。对于这些所检测到的环境的2D点云，同样地也就是说类似于待识别对象的点对特征地形成相应的点对特征，然后可以将这些相应的点对特征与存储在数据库中的待识别对象的点对特征进行比较。
在图4中，虚线矩形31′、32′、33′、34′应从桌子30的CAD模型中生成，在此，桌子30的CAD模型在2D激光扫描仪20的扫描平面的高度上被切分成两个维度。为此，例如从CAD数据生成呈2D表面轮廓形式的待识别对象的对象模型，然后在该2D表面轮廓上以可配置的距离放置点。通过与图2的比较表明：虚线轮廓31′至34′与桌腿31至34的轮廓相符。这些点最终使得能够实现与实际的传感器数据的比较。
在此，正如图4所示和前面参照图3所说明的那样，基于桌腿的2D表面轮廓形成轮廓31′至34′的多个点对特征。为所述对中的所有点确定表面法线n1、n2以及还确定各个点对的两个点P1和P2之间的距离d12。然后，确定各个点的表面法线相对于两个点P1和P2之间的连接线d12的角度和确定具有对应的方向矢量的点M。在该实施例中，点对特征因此至少由三个值组成，其中包括：点P1和P2之间的距离(d12)以及每个点的表面法线相对于这些点之间的连接线的角度α1和α2。此外，借助于点M和方向矢量将2D表面轮廓的每个点对特征与对应的相对的对象姿态关联起来。这样获得的数据被存储。
在图5中示意性示出了怎样通过2D激光扫描仪20以2D点云的形式来检测桌子30的真实的桌腿31至34的2D表面轮廓。本领域技术人员在此清楚地知道：图5中的视图是一种简化的表示，因为在现实中2D激光扫描仪20还检测环境的许多其他的表面轮廓，例如，车间的墙壁或者不是桌子30的组成部分的其它对象。所检测到的2D点云31″、32″、33″和34″与从CAD模型导出的2D表面轮廓或模型点云31′至34′是不同的，因为2D激光扫描仪的可视范围是有限的并且例如不能检测桌腿31至34的背面。尽管如此，所检测到的2D点云31″至34″仍然与根据CAD模型确定的2D表面轮廓或模型点云31′至34′有着充分的相似度。这使得能够最终确定，待识别的对象、即桌子30是否已经被识别。根据所检测到的2D点云31″至34″形成相应的点对特征(为了使形成所述点对特征所需要的值与图4的值区分开来，这些值在图5中以i和j来标示)。通过这种方式能够获得所检测到的2D点云的多个点对特征。
在接下来的步骤中，将模型的点对特征与所检测到的2D点云的点对特征进行比较，以确定相似的点对特征。由于2D激光扫描仪20在实践中所检测的轮廓还比在图5中示出的轮廓更多，因此所检测到的环境的2D点云的点对特征包含有大量的严重偏离模型的点对特征的点对特征，因为例如距离dij比CAD模型的最大距离d12大许多倍。
在确定相似的点对特征时，在本实施例中也可以利用：距离d12总是必须位于某些特定区域中。因为，一个对中的两个点P1、P2或者位于同一轮廓上(例如两个点都在轮廓31′上)，或者位于不同的轮廓上或轮廓中。如果它们位于不同的轮廓中，则距离d12必须：或者(1)与两个轮廓31′和32′的距离大致相符，或者(2)与轮廓31′和33′的距离大致相符，或者(3)与轮廓31′和34′的距离大致相符。因此在该示出的实施例中，模型的2D表面轮廓的所有点对特征的距离d12都必须位于四个可精确限定的区域的一个中。所检测到的环境的2D点云的点对特征中的距离dij远离这四个区域的那些点对特征可以立即被归类为不相似的点对特征。
图6至图10示意性示出了一致性检查过程中的操作方法，即，在例如基于上述方法已确定了所得出的(可能的)姿态假设之后。这种一致性检查的目的是为了能够更加安全、可靠地确定待识别的对象是否已经被正确地识别。在这种一致性检查中，对之前确定的姿态假设进行测试，以便能够识别出错误的假设并剔除。这种在下面被详细说明的一致性检查可在此分别单独地使用，或也可以组合地使用。接下来以此为出发点：对象模型被变换成各个正好要被检查的姿态假设的姿态(或反过来)，并且环境点云的点已经与经过变换的2D表面轮廓或者相应的模型点云的点相关联。
图6示意性示出了根据对象的自由空间模型进行一致性检查的操作方法。在所示出的情况中，基于所检测到的激光点61″、62″、63″、64″，估测(假设)在某个位置上有一个四条腿的桌子。模型点云61′、62′、63′、64′如同图4所示的实施例那样例如由桌子的CAD模型生成。如果实际上位于该位置的是一个六条腿的桌子，则在附图标记66″所示的位置上有更多的点被检测到。所估测的4腿桌子的对象模型包括桌腿的四个模型点云61′、62′、63′、64′，而对象的自由空间模型在所示实施例中是一个矩形65，其包围四个模型点云61′、62′、63′、64′。在该自由空间模型65的内部不允许其他的点被传感器20检测，或者说为环境云的点的数量限定了一个边界值，这些点位于自由空间模型65内部但可归属于四个模型点云61′、62′、63′、64′中的一个。因此，附加地所检测的点云66″是在自由空间模型65中的一个实际上不允许检测到点的位置上检测到的。因此，在由传感器20扫描的位置上存在具有四条腿的桌子的这种姿态假设被作为错误的而被拒绝。
图7示意性示出了基于传感器的自由空间模型进行一致性检查的操作方法。在这种情况下，估测出在一个位置上有六条腿的桌子(姿态假设)，但实际上在该位置上的是具有四条腿的桌子。也就是说，该姿态假设是错误的。传感器的自由空间区域77是在其中没有检测/测量到环境点的区域。六个模型点云71′、72′、73′、74′、75′、76′又是例如由6腿桌子的CAD模型生成。即，基于检测到的激光点71″、72″、75″、76″，来估测在某个位置上有六条腿的桌子；但是位于传感器的自由空间模型77中的是模型点云73′和74′，它们不能与激光点相关联。也就是说，在传感器什么也没有检测到的那些位置存在模型点或模型点云。如果这些模型点的数量超过一定的边界值，则该姿态假设被拒绝。
图8示意性示出了基于传感器的自由空间模型和模型点的穿透深度进行一致性检查的过程。在所示的情况下，估测在一地点上有四腿桌子，该地点偏离了实际存在的四腿桌子的实际位置或姿态。该实际位置在图8中由所检测到的点云81″、82″、83″、84″示出。但是，待检查的姿态假设估测的是位于在图8中由模型点云81′、82′、83′和84′示出的位置上的桌子。类似于图7实施例中的操作方法，在这里也要考虑为位于传感器的自由空间模型88内部的模型点限定边界值。但是在此起决定作用的是自由空间模型88内部的各个模型点之间的距离87和自由空间模型88的边界。如果距离87超过特定的边界值，则该姿态假设被拒绝。但是，如果模型点位于例如接近自由空间模型88的边界，则该姿态假设也许可被认为是准确的。
图9示意性示出了根据期望的和实际观察到的模型点的比较来进行一致性检查的操作方法。这种操作方法基于：实际上必须由距离传感器检测的待识别对象的2D表面轮廓的点(期望的模型点)的数量与实际检测到的环境的2D点云的点(观察到的模型点)的数量的比例。在所示出的实施例中，估测在一个位置上有六腿桌子(姿态假设)，实际在该位置上确实存在六腿桌子。即，该姿态假设是正确的。但是，该桌子的两条腿被障碍物90遮挡。根据几何计算可确定模型点91a′、92a′、93a′、94a′、95a′和96a′，在此并不期望传感器20可以检测到它们，因为它们例如从传感器20看去位于桌腿的背面(例如91a′、92a′、93a′、95a′和96a′)，或者因为它们被另一个桌腿遮挡(例如94a′)。另外，还确定有多个模型点91′、92′、93′、95′和96′，这些模型点实际上必须由传感器检测。在93″、95″和96″处，传感器在被期望存在点的那些位置上实际上也检测到了点。但是在位置91′和92′处，由于障碍物90的存在，传感器没有检测到任何点，尽管被期望存在点。然后，例如基于所期望的和实际观察到的模型点93″、95″和96″与所期望的点的总数的比例，进行一致性检查。
图10示意性示出了基于观察到的对象模型的区域进行一致性检查的操作方法。在所示出的实施例中，再一次估测在一个位置上存在六腿桌子(姿态假设)，在该位置上实际上确实存在六腿桌子。即，该姿态假设是正确的。但是有两个桌腿被障碍物100遮挡，使得传感器20不能检测到它们，还有一条桌腿由于被另一个桌腿遮挡也不能被检测到。由此，只能在位置103″、105″和106″上检测到点。在所示的示例中，用户将对象模型分成六个矩形区域101、102、103、104、105和106，并且对象模型的每个这样的矩形都被看作是单独的区域。在从对象模型创建模型点云的过程中，针对每个模型点来估测其从哪一个区域生成。只要至少一个与一区域关联的模型点是被观察到的模型点，也就是如果所检测到的2D点云的一个点可以对应于该区域，就认为该区域被观察到。在图10的实施例中，区域103、105和106已经通过点云103″、105″和106″被检测到，而区域101、102和104则未被检测到。例如，如果被观察到的区域的数量超过特定的边界值，则该姿态假设可以被拒绝。
附图标记列表
10 自主无人驾驶运输系统
12 车身
13 车轮
15 控制装置
20 距离传感器/激光扫描仪
21 激光束
30 桌子
31，32，33，34 桌腿
31′，32′，33′，34′ 源于CAD模型的2D表面轮廓或点云
31″，32″，33″，34" 传感器检测的2D点云
61′，62′，63′，64′ 源于CAD模型的2D表面轮廓或点云
61″，62″，63″，64"，66″ 传感器检测的2D点云
65 对象的自由空间模型
71′，72′，73′，74′，75′，76′ 源于CAD模型的2D表面轮廓或点云
71″，72″，75″，76″ 传感器检测的桌腿的2D点云
77 传感器的自由空间模型
81′，82′，83′，84′ 桌腿的源于CAD模型的2D表面轮廓或点云
81″，82″，83″，84″ 传感器检测的2D点云
88 传感器的自由空间模型
87 自由空间模型的边界和模型点的距离
91′，92′，93′，95′，96′ 期望传感器能够检测到的模型点
91a′，92a′，93a′...96a′ 不期望传感器能够检测到的模型点
93″，95″，96″ 所期望的和所检测到的模型点
90，100 障碍物
101，102，103...106 对象模型的区域
103″，105″，106" 传感器检测的2D点云。

Claims (17)

1.一种用于控制机器人和/或自主无人驾驶运输系统(10)的方法，该方法包括以下步骤：
-以2D表面轮廓的形式提供待识别对象的对象模型；
-基于所述2D表面轮廓形成点对特征，其中，所述点对特征至少基于一个点对的两个点(P1，P2)之间的距离(d12)和每个所述点(P1，P2)的法线(n1，n2)相对于所述两个点(P1，P2)之间的距离线的两个角度(α1，α2)；
-借助于距离传感器(20)检测环境的至少一个2D点云，并形成所检测到的环境的2D点云的相应的点对特征；
-将所述2D表面轮廓的点对特征与所述环境的2D点云的点对特征进行比较，并确定相似的点对特征；和
-基于被确定为相似的点对特征：确定所述待识别对象(31，32，33，34)是否已经被识别，并且
-操控所述机器人和/或自主无人驾驶运输系统(10)。
2.根据权利要求1所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，所述2D表面轮廓的点对特征分别对应一个特征姿态，该特征姿态将各个点对特征与所述待识别对象的相对的姿态相关联。
3.根据权利要求1或2所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，比较所述点对特征的步骤还包括：根据被确定为相似的点对特征，确定所述待识别对象的姿态假设。
4.根据权利要求3所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，确定姿态假设包括：将所述2D表面轮廓的点对特征的特征姿态变换为所述环境的2D点云的点对特征的特征姿态。
5.根据权利要求3或4所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，还包括以下步骤：将所述姿态假设记入到投票网格中，所述投票网格优选被实现为散列表；并且选出至少一个姿态假设。
6.根据权利要求5所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，所述至少一个姿态假设是从具有最多数量的所记入的姿态假设的网格单元中选出的。
7.根据权利要求6所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，基于所选出的姿态假设来确定是否已识别出所述待识别对象，并且同一投票网格中的其他姿态假设不予考虑。
8.根据权利要求5至7中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，被记入所述投票网格中的姿态假设以所述环境的2D点云的全部从正好一个点出发的点对特征为基础。
9.根据权利要求8所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，还包括以下步骤：确定姿态假设，所述姿态假设基于所述环境的2D点云的从另一个点出发的点对特征；并重复投票方法。
10.根据前面权利要求中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，比较所述点对特征的步骤还包括：根据被确定为相似的点对特征来确定所述待识别对象的姿态假设，并且使用迭代最近点(IPC)算法对所确定的姿态假设进行优化。
11.根据前面权利要求中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，通过在所述点对的两个点之间的连接线(d12)上限定一个点(M)以及限定一个从所述点(M)出发的方向矢量(R)并且将所述方向矢量与所述待识别对象的相对的姿态相关联的方式，将所述2D表面轮廓的点对特征分别对应于一个特征姿态。
12.根据前面权利要求中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，所述距离传感器(20)是激光扫描仪(20)，优选为2D激光扫描仪。
13.根据前面权利要求中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，根据被确定为相似的点对特征来确定所述待识别对象的姿态假设，并且确定所述待识别对象(31，32，33，34)是否被识别的步骤包括对所述姿态假设的一致性检查。
14.根据权利要求13所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，所述一致性检查包括一个或多个以下步骤：
-将所述对象模型变换为特定的姿态假设，并且将所述环境的点云的点与所述2D表面轮廓的点相关联，然后：
-确定所述环境的经变换的2D点云(61″，62″，66″，63″，64″)的点(66″)的数量，这些点位于所述对象的自由空间模型(65)的内部并且不能与模型点相关联；和/或
-确定所述2D表面轮廓的点(73′，74′)的数量，这些点位于所述传感器的自由空间模型(77)的内部；和/或
-对于位于所述传感器的自由空间模型(88)的内部的所述2D表面轮廓的点(82″)，确定从所述2D表面轮廓的点(82″)到所述传感器的自由空间模型(88)的边界的距离(87)；和/或
-确定所述待识别对象的本来必须被所述距离传感器检测到的2D表面轮廓的点的数量与实际被检测到的所述环境的2D点云的点的数量的比例；和/或
-将所述对象模型分成不同的区域，并且注明每个模型点从哪一个区域产生，并且确定所述对象模型的所检测到的区域的数量。
15.根据前面权利要求中任一项所述的用于控制机器人和/或自主无人驾驶运输系统(10)的方法，其中，在识别出对象或者说确定姿态假设为正确之后，使用SMC过滤器追踪所识别出的对象。
16.一种自主无人驾驶运输系统(10)，包括对象识别系统，该对象识别系统包括至少一个距离传感器(20)和控制装置(15)，所述控制装置被设置用于执行以下步骤：
-从数据库中检索待识别对象的至少一个2D表面轮廓的点对特征，其中，所述点对特征至少基于一个点对的两个点(P1，P2)之间的距离(d12)和每个所述点(P1，P2)的法线(n1，n2)相对于这两个点之间的距离线的两个角度(α1，α2)；
-借助于所述距离传感器(20)检测环境的至少一个2D点云，并且形成所检测到的环境的2D点云的相应的点对特征；
-将所述2D表面轮廓的点对特征与所述环境的2D点云的点对特征进行比较，并且确定相似的点对特征；和
-基于所确定的相似的点对特征：确定所述待识别对象是否已经被识别，并且
-操控所述自主无人驾驶运输系统(10)。
17.根据权利要求16所述的自主无人驾驶运输系统(10)，其中，所述控制装置(15)还被设计用于执行根据权利要求2至14中任一项所述的方法步骤。
CN201680040872.8A 2015-07-10 2016-07-08 用于控制机器人和/或自主无人驾驶运输系统的方法 Active CN107851181B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015212932.2 2015-07-10
DE102015212932.2A DE102015212932A1 (de) 2015-07-10 2015-07-10 Verfahren zum Steuern eines Roboters und/oder eines autonomen fahrerlosen Transportsystems
PCT/EP2016/001174 WO2017008895A1 (de) 2015-07-10 2016-07-08 Verfahren zum steuern eines roboters und/oder eines autonomen fahrerlosen transportsystems

Publications (2)

Publication Number Publication Date
CN107851181A true CN107851181A (zh) 2018-03-27
CN107851181B CN107851181B (zh) 2021-11-30

Family

ID=56551359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680040872.8A Active CN107851181B (zh) 2015-07-10 2016-07-08 用于控制机器人和/或自主无人驾驶运输系统的方法

Country Status (6)

Country Link
US (1) US10809739B2 (zh)
EP (1) EP3320483B1 (zh)
KR (1) KR102576304B1 (zh)
CN (1) CN107851181B (zh)
DE (1) DE102015212932A1 (zh)
WO (1) WO2017008895A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711189A (zh) * 2019-10-24 2021-04-27 西克股份公司 可移动机器
CN113253737A (zh) * 2021-06-21 2021-08-13 浙江华睿科技有限公司 货架检测方法及装置、电子设备、存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018220322A1 (de) 2018-11-27 2020-05-28 Kuka Deutschland Gmbh Elektrische Ladekontaktvorrichtung, Ladestation und autonomes Fahrzeug
DE202018006618U1 (de) 2018-11-27 2021-07-14 Kuka Deutschland Gmbh Elektrische Ladekontaktvorrichtung, Ladestation und autonomes Fahrzeug
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
IT201900000995A1 (it) * 2019-01-23 2020-07-23 Nuovo Pignone Tecnologie Srl Apparecchiatura robotica industriale con generazione di percorso di lavorazione migliorata e metodo per azionare un' apparecchiatura robotica industriale secondo un percorso di lavorazione migliorato
DE102019130204B4 (de) * 2019-11-08 2024-02-08 Automotive Research & Testing Center Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
US11354913B1 (en) 2019-11-27 2022-06-07 Woven Planet North America, Inc. Systems and methods for improving vehicle predictions using point representations of scene
CN111930116B (zh) * 2020-07-24 2022-10-14 哈尔滨工程大学 一种基于栅格法的大规模uuv集群编队队形形成方法
CN117608199B (zh) * 2024-01-16 2024-04-12 湖南大学 一种预瞄机制下网络化多机器人数据驱动编队控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583298A (en) * 1984-03-07 1986-04-22 Hewlett-Packard Company Auto calibration method suitable for use in electron beam lithography
US6049621A (en) * 1997-08-22 2000-04-11 International Business Machines Corporation Determining a point correspondence between two points in two respective (fingerprint) images
US20060013452A1 (en) * 2002-11-05 2006-01-19 Gerald Eckert Method, device and computer program for detecting point correspondences in sets of points
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
US20120106829A1 (en) * 2010-11-03 2012-05-03 Tae-Kyeong Lee Robot cleaner and controlling method of the same
CN104040590A (zh) * 2011-12-19 2014-09-10 三菱电机株式会社 用于估计物体的姿态的方法
US20150010202A1 (en) * 2013-07-03 2015-01-08 Mitsubishi Electric Research Laboratories, Inc. Method for Determining Object Poses Using Weighted Features

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443297B2 (en) * 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
US9157757B1 (en) * 2014-09-03 2015-10-13 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583298A (en) * 1984-03-07 1986-04-22 Hewlett-Packard Company Auto calibration method suitable for use in electron beam lithography
US6049621A (en) * 1997-08-22 2000-04-11 International Business Machines Corporation Determining a point correspondence between two points in two respective (fingerprint) images
US20060013452A1 (en) * 2002-11-05 2006-01-19 Gerald Eckert Method, device and computer program for detecting point correspondences in sets of points
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
US20120106829A1 (en) * 2010-11-03 2012-05-03 Tae-Kyeong Lee Robot cleaner and controlling method of the same
CN104040590A (zh) * 2011-12-19 2014-09-10 三菱电机株式会社 用于估计物体的姿态的方法
US20150010202A1 (en) * 2013-07-03 2015-01-08 Mitsubishi Electric Research Laboratories, Inc. Method for Determining Object Poses Using Weighted Features

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MODEL GLOBALLY, MATCH LOCALLY: EFFICIENT AND ROBUST 3D OBJECT RE: ""Model Globally, Match Locally: Efficient and Robust 3D Object Recognition"", 《2010 IEEE CONF COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711189A (zh) * 2019-10-24 2021-04-27 西克股份公司 可移动机器
CN112711189B (zh) * 2019-10-24 2022-12-09 西克股份公司 可移动机器
CN113253737A (zh) * 2021-06-21 2021-08-13 浙江华睿科技有限公司 货架检测方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP3320483A1 (de) 2018-05-16
US20180203460A1 (en) 2018-07-19
KR102576304B1 (ko) 2023-09-07
WO2017008895A1 (de) 2017-01-19
DE102015212932A1 (de) 2017-01-12
CN107851181B (zh) 2021-11-30
US10809739B2 (en) 2020-10-20
KR20180030572A (ko) 2018-03-23
EP3320483B1 (de) 2021-09-15

Similar Documents

Publication Publication Date Title
CN107851181A (zh) 用于控制机器人和/或自主无人驾驶运输系统的方法
Guo et al. Geometric quality inspection of prefabricated MEP modules with 3D laser scanning
JP5863440B2 (ja) 情報処理装置および方法
CN106777680A (zh) 一种既有桥梁快速bim建模系统及方法
US20130271461A1 (en) Systems and methods for obtaining parameters for a three dimensional model from reflectance data
EP3635687B1 (en) System and methods for 3d model evaluation
Khoshelham Automated localization of a laser scanner in indoor environments using planar objects
CN110268224A (zh) 用于无人机实时位置跟踪的系统和方法
JPH08136220A (ja) 物品の位置検出方法およびその装置
Reinbacher et al. Pose estimation of known objects by efficient silhouette matching
Li et al. Registration‐free point cloud generation technique using rotating mirrors
Moritani et al. Cylinder-based simultaneous registration and model fitting of laser-scanned point clouds for accurate as-built modeling of piping system
Pavan et al. A global closed-form refinement for consistent TLS data registration
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
González-Banos et al. Robot navigation for automatic model construction using safe regions
Hayat et al. Vision based identification and force control of industrial robots
JP4793109B2 (ja) 物体検出法およびロボット
Parra et al. A novel method to estimate the position of a mobile robot in underfloor environments using RGB-D point clouds
Markiewicz et al. The evaluation of hand-crafted and learned-based features in Terrestrial Laser Scanning-Structure-from-Motion (TLS-SfM) indoor point cloud registration: the case study of cultural heritage objects and public interiors
Liu et al. A novel approach to automatic registration of point clouds
Yan et al. Mobile robot 3D map building and path planning based on multi–sensor data fusion
Ponomarev et al. Automatic structural matching of 3D image data
Seo et al. An Efficient Erection Simulation Methodology for the Modular Construction of Offshore Platform Based on Points Cloud Data
US10438413B2 (en) Hybrid 2D/3D data in a virtual environment
US20220405434A1 (en) System and methods for 3d model evaluation using triangle mesh hashing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant