CN115338874B - 基于激光雷达的机器人实时控制方法 - Google Patents

基于激光雷达的机器人实时控制方法 Download PDF

Info

Publication number
CN115338874B
CN115338874B CN202211276331.9A CN202211276331A CN115338874B CN 115338874 B CN115338874 B CN 115338874B CN 202211276331 A CN202211276331 A CN 202211276331A CN 115338874 B CN115338874 B CN 115338874B
Authority
CN
China
Prior art keywords
point
abnormal
point cloud
acquiring
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211276331.9A
Other languages
English (en)
Other versions
CN115338874A (zh
Inventor
陈建林
郑鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efdi Shenyang Automation Technology Co ltd
Original Assignee
Efdi Shenyang Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Efdi Shenyang Automation Technology Co ltd filed Critical Efdi Shenyang Automation Technology Co ltd
Priority to CN202211276331.9A priority Critical patent/CN115338874B/zh
Publication of CN115338874A publication Critical patent/CN115338874A/zh
Application granted granted Critical
Publication of CN115338874B publication Critical patent/CN115338874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/08Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Robotics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及机械手控制技术领域,具体涉及一种基于激光雷达的机器人实时控制方法,该方法接收点云数据和CAD三维图,获取更新点云数据;将更新点云数据分组,并在每个组内获取每个点的局部离群因子;筛选异常点;将异常点对应的相邻的两个组记为异常组,对于每个异常点,计算对应的两个异常组的映射值和映射参考值的差值作为映射差异,进而获取该异常点的分布特征值;剩余点的分布特征值为预设值;根据局部离群因子和分布特征值获取每个点的偏移概率;基于偏移概率结合RANSAC算法获取每个组对应的点云平面;以优选度最高的点云平面作为抓取平面,发送抓取指令以使机械手抓取待抓取零件。本发明能够提高机械手的抓取精准度和实时性。

Description

基于激光雷达的机器人实时控制方法
技术领域
本发明涉及机械手控制技术领域,具体涉及一种基于激光雷达的机器人实时控制方法。
背景技术
随着机器人技术的发展,利用视觉感知控制机器人的机械手抓取零件已经比较普遍,随着技术的发展,基于二维图像进行机械手的控制已经不能满足机械手的准确度要求,于是出现了三维点云数据与机械手控制相结合的控制方法。
但是对于一些非常规形状特征的零件,其摆放姿态无法确定,并且可能存在零件特征被部分遮挡,此时通过激光雷达无法获取精确的结果,进而造成了在点云数据下机器人机械手的抓取不精准的问题,无法满足现代工厂对零件的精准抓取。
发明内容
为了解决上述技术问题,本发明提供一种基于激光雷达的机器人实时控制方法,所采用的技术方案具体如下:
本发明一个实施例提供了一种基于激光雷达的机器人实时控制方法,该方法包括以下步骤:
接收待抓取零件的点云数据和对应标准零件的CAD三维图,在CAD三维图中获取标准零件的标准特征边,在点云数据中获取待抓取零件的目标特征边;特征边为对应零件的边缘;
根据目标特征边与标准特征边的匹配结果移动所述点云数据得到更新点云数据,所述更新点云数据与CAD三维图方向相同;
基于更新点云数据中每两个点之间的距离将所述更新点云数据分组,并在每个组内获取每个点的局部离群因子;对于相邻的两个组,分别计算组中每个点到两个组中心的距离并求差值,当所述差值小于预设的距离阈值时,对应的点为异常点;
将异常点对应的相邻的两个组记为异常组,去除异常组中的异常点,根据剩余点之间的距离获取该异常组的映射参考值;在该异常组中任意添加一个异常点,再获取对应的映射参考值作为映射值,对于每个异常点,计算对应的两个异常组的映射值和映射参考值的差值作为映射差异,进而获取该异常点的分布特征值;所述剩余点的分布特征值为预设值;
根据所述局部离群因子和所述分布特征值获取每个点的偏移概率;基于所述偏移概率结合RANSAC算法获取每个组对应的点云平面;以优选度最高的点云平面作为抓取平面,发送抓取指令以使机械手抓取所述待抓取零件。
优选的,所述匹配结果的获取方法为:
根据每两条相邻的目标特征边的方向向量获取方向参数;获取CAD三维图的标准方向参数;根据方向参数和标准方向参数的比例关系将点云数据和CAD三维图进行匹配得到所述匹配结果。
优选的,所述方向参数的获取方法为:
获取每条目标特征边的方向向量以及对应的模长,对于每两条相邻的目标特征边的方向向量,令两个方向向量中对应元素相乘再求和得到的结果作为分子,计算两条相邻的目标特征边的模长的和作为分母,以分子和分母的比值作为所述方向参数。
优选的,所述将点云数据和CAD三维图进行匹配得到所述匹配结果的过程包括:
对于每个方向参数,计算该方向参数与每个标准方向参数的比例,在所有方向参数对应的比例中,选取数值差异最小的一组比例作为匹配比例,所述匹配比例所对应的目标特征边与标准特征边为一对匹配边,所有匹配边组成所述匹配结果。
优选的,所述更新点云数据的获取方法为:
基于相互匹配的目标特征边和标准特征边的差异获取待抓取零件的旋转角度和平移距离;基于所述旋转角度和平移距离对所述点云数据进行旋转和平移,成为与所述CAD三维图方向相同的所述更新点云数据。
优选的,所述映射参考值的获取方法为:
对于异常组中的每个剩余点,获取该剩余点在该异常组中与其他剩余点之间的最短距离,所有最短距离的平均值即为所述映射参考值。
优选的,所述分布特征值的获取方法为:
将异常点所在的异常组的映射差异记为
Figure 100002_DEST_PATH_IMAGE001
,将异常点对应的相邻的异常组的映射差异记为
Figure 238369DEST_PATH_IMAGE002
,当
Figure 100002_DEST_PATH_IMAGE003
时,该异常点的分布特征值为所述预设值;当
Figure 885383DEST_PATH_IMAGE004
时,该异常点的分布特征值为0.01;当
Figure 100002_DEST_PATH_IMAGE005
时,该异常点的分布特征值为0.5;所述预设值为1。
优选的,所述偏移概率的获取方法为:
计算每个点对应的局部离群因子和分布特征值的比值,选取最大比值和最小比值,以每个比值与最小比值的差作为分子,以最大比值和最小比值的差作为分母,得到的分子和分母的比值为所述偏移概率。
优选的,所述基于所述偏移概率结合RANSAC算法获取每个组对应的点云平面,包括:
在每个组中选取预设数量的点拟合为一个初始平面,利用预设的距离拟合阈值和所述偏移概率获取每个点的自适应距离阈值,当每个点与所述初始平面之间的距离小于对应的自适应距离阈值时,该点为所述初始平面的内点,初始平面以及对应的所有内点组成对应组的所述点云平面。
优选的,所述优选度的获取方法为:
通过模拟器进行模拟获取机械手到达点云平面的调整次数;基于点云平面的质心和机械手的质心之间的连线获取机械手的行进距离;计算所述调整次数和所述行进距离的乘积,获取点云平面的面积,以面积和所述乘积的相反数的比值作为所述优选度。
本发明实施例至少具有如下有益效果:
根据目标特征边与标准特征边的匹配结果对点云数据进行移动,使待抓取零件的点云数据与CAD三维图方向相同,待抓取零件的摆放姿态可能比较随机,先将点云数据转换至与标准零件的CAD三维图同方向,方便后续分析;然后将更新点云数据分组,获取每组内的每个点的局部离群因子,局部离群因子代表了该点在所在组中的离散程度,离散程度越大说明该点越偏离所在的组,可能并不属于当前所在的组;通过计算组中每个点到两个组中心的距离并求差值,来筛选异常点,选取的异常点可能属于相邻的另一个组,因此通过计算每个组包含异常点与不包含异常点下的映射差异获取异常点的分布特征值,分布特征值代表了异常点属于当前所在组以及相邻组的分布情况;根据局部离群因子和分布特征值共同获取异常点的偏移概率,偏移概率越大,该异常点越有可能属于相邻组;基于偏移概率结合RANSAC算法获取每个组对应的点云平面,将偏移概率与RANSAC算法,考虑到同一组内可能存在其他组的点,使得同属一个组的点拟合的平面更加准确;然后选取优选度最高的点云平面作为抓取平面,控制机械手抓取待抓取零件,能够提高机械手的抓取精准度和实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于激光雷达的机器人实时控制方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于激光雷达的机器人实时控制方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于激光雷达的机器人实时控制方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于激光雷达的机器人实时控制方法的步骤流程图,该方法包括以下步骤:
在本发明中通过机器人端进行信息接收、数据处理和指令输出,机器人端为控制机器人的执行系统如机械手的远程服务器端,通过本发明的方法获取机械手的调整参数,基于调整参数生成机械手的控制指令,发送至机械手,机械手依据接收的指令执行抓取任务。其中机器人端可以搭载于机械手上,也可以与机械手分离,即机器人端未搭载于机械手上,通过输出控制指令实现机器人端和机械手之间的交互。
步骤S001,接收待抓取零件的点云数据和对应标准零件的CAD三维图,在CAD三维图中获取标准零件的标准特征边,在点云数据中获取待抓取零件的目标特征边;特征边为对应零件的边缘。
具体的步骤包括:
获取待抓取零件的类型、零件号,待抓取零件通过水平方向的传送带传送,激光雷达固定在传送带一侧,扫描方向与传送带方向垂直,用于获取传送带上待抓取零件的点云数据,扫描高度与待抓取零件的高度相匹配,机械手固定在传送带上方用于抓取待抓取零件。通过激光雷达获取待抓取零件的点云数据,获取与待抓取零件同类型的标准零件的CAD三维图,将待抓取零件的类型、零件号、点云数据和对应标准零件的CAD三维图发送至机器人端,机器人端接收上述信息之后,通过Angle Criterion算法获取点云数据的目标特征边,Angle Criterion算法为估计点云边界的一种经典算法,为现有技术,在本发明实施例中不再详细描述具体过程。
CAD三维图是由标准零件的边缘线构成,通过人工标注的方式进行标准特征边的标注。
目标特征边为待抓取零件的点云数据的边缘,标准特征边为CAD三维图标注的边缘。
步骤S002,根据目标特征边与标准特征边的匹配结果移动点云数据得到更新点云数据,更新点云数据与CAD三维图方向相同。
具体的步骤包括:
根据每两条相邻的目标特征边的方向向量获取方向参数;获取CAD三维图的标准方向参数;根据方向参数和标准方向参数的比例关系将点云数据和CAD三维图进行匹配得到匹配结果。
目标特征边和标准特征边是一一对应的,因此通过计算上述两者之间的方向参数进行匹配。
获取每条目标特征边的方向向量以及对应的模长,对于每两条相邻的目标特征边的方向向量,令两个方向向量中对应元素相乘再求和得到的结果作为分子,计算两条相邻的目标特征边的模长的和作为分母,以分子和分母的比值作为方向参数。
由于CAD三维图和点云数据拥有各自的坐标系,因此将点云数据转换到CAD三维图的坐标系中以使坐标系统一。记待抓取零件的点云数据的第
Figure 9590DEST_PATH_IMAGE006
条目标特征边
Figure DEST_PATH_IMAGE007
的方向向量为
Figure 767461DEST_PATH_IMAGE008
,则点云数据中第
Figure 228267DEST_PATH_IMAGE006
条目标特征边
Figure 233132DEST_PATH_IMAGE007
和相邻的第
Figure DEST_PATH_IMAGE009
条目标特征边
Figure 218537DEST_PATH_IMAGE010
之间的方向参数
Figure DEST_PATH_IMAGE011
为:
Figure DEST_PATH_IMAGE013
其中,
Figure 78302DEST_PATH_IMAGE014
表示点云数据中的第
Figure 98342DEST_PATH_IMAGE006
条目标特征边的方向向量的坐标;
Figure DEST_PATH_IMAGE015
表示点云数据中的第
Figure 382430DEST_PATH_IMAGE009
条目标特征边的方向向量的坐标;
Figure 104399DEST_PATH_IMAGE016
表示第
Figure 141756DEST_PATH_IMAGE006
条目标特征边的方向向量的模长;
Figure DEST_PATH_IMAGE017
表示第
Figure 580084DEST_PATH_IMAGE009
条目标特征边的方向向量的模长。
计算点云数据中每两条相邻目标特征边之间的方向参数,然后以同样的方法计算CAD三维图中的标准方向参数。
由于待抓取零件的摆放姿态不同,即点云数据的目标特征边与CAD三维图的标准特征边无法对应,但是待抓取零件的点云数据的目标特征边与CAD三维图的标准特征边本身存在一一对应的关系,由于点云数据与CAD三维图的大小不一定相同,因此计算两个方向参数的比例,当存在多个比例一致时,说明点云数据和CAD三维图相互匹配,则通过计算点云数据的每个目标特征边,分别与CAD三维图的每个标准特征边之间的方向参数的比例进行匹配。
匹配过程为:对于每个方向参数,计算该方向参数与每个标准方向参数的比例,在所有方向参数对应的比例中,选取数值差异最小的一组比例作为匹配比例,匹配比例所对应的目标特征边与标准特征边为一对匹配边,所有匹配边组成匹配结果。
例如,共有N个方向参数和N个标准方向参数,计算每个方向参数与N个标准方向参数的比例,每个方向参数均对应N个比例,在每个方向参数对应的N个比例中选取一个比例进行比较,选取N个方向参数对应的比例差异最小的一组比例,此时每个比例对应的目标特征边与标准特征边为一对匹配边,所有匹配边组成匹配结果。
在N个方向参数和N个标准方向参数中仅存在一种匹配结果,即仅存在一组相似比例,在这组相似比例中,点云数据的目标特征边和CAD三维图的标准特征边的比例基本相同。
通过上述匹配过程获取待抓取零件的点云数据目标特征边和CAD三维图的标准特征边的匹配成功的匹配边。计算匹配边中两个特征边之间的余弦相似度获取两个特征边之间的角度作为点云数据的旋转角度;计算匹配边中两个特征边之间的欧式距离作为点云数据的平移距离。
基于相互匹配的目标特征边和标准特征边的差异获取待抓取零件的旋转角度和平移距离;基于旋转角度和平移距离对点云数据进行旋转和平移,成为与CAD三维图方向相同的更新点云数据。
步骤S003,基于更新点云数据中每两个点之间的距离将更新点云数据分组,并在每个组内获取每个点的局部离群因子;对于相邻的两个组,分别计算组中每个点到两个组中心的距离并求差值,当差值小于预设的距离阈值时,对应的点为异常点。
具体的步骤包括:
为了更好地拟合点云平面,先根据聚类算法,将更新点云数据分为多个组。在本发明实施例中的聚类算法采用K-means聚类算法,其中聚类的组数K根据待抓取零件的面的数量确定,即待抓取零件共有K个面,聚类时预设的组数即为K,聚类时以更新点云数据中每两个点之间的欧式距离作为聚类距离,最终得到K个组。
然后计算每个组中每个点的局部离群因子,局部离群因子代表了每个点在所在的组中的离散程度,局部离群因子越大,说明该点越有可能不属于当前所在的组,即有可能属于另一个组。局部离群因子通过LOF算法计算得到,LOF算法为现有技术,本实施例中不再描述具体的计算方法,在本发明实施例中LOF算法中的第k邻域的k值为5。
由于每个组中可能存在部分点属于另一个组,即该点对于当前所属组确定的拟合平面是异常的数据。因此对于两个相邻组中的点,计算每个点至两个组中心之间的欧式距离:记第
Figure 598856DEST_PATH_IMAGE018
个组中第
Figure DEST_PATH_IMAGE019
个点与第
Figure 886749DEST_PATH_IMAGE018
个组的中心点
Figure 977064DEST_PATH_IMAGE020
的欧式距离为
Figure DEST_PATH_IMAGE021
,第
Figure 266969DEST_PATH_IMAGE019
个点与第
Figure 66429DEST_PATH_IMAGE022
个组的中心点
Figure DEST_PATH_IMAGE023
的欧式距离为
Figure 354802DEST_PATH_IMAGE024
。则计算两个欧式距离的差值
Figure DEST_PATH_IMAGE025
,设置距离阈值
Figure 530699DEST_PATH_IMAGE026
,若两个欧式距离之间的差值
Figure DEST_PATH_IMAGE027
小于该距离阈值
Figure 206269DEST_PATH_IMAGE028
,则表明第
Figure 301264DEST_PATH_IMAGE018
个组中第
Figure 750700DEST_PATH_IMAGE019
个点为异常点。类似此操作,可以得到所有组中的异常点。
异常点离两个组的中心的距离比较接近,有可能并不属于当前的所属组,而是属于所属组的相邻组。
步骤S004,将异常点对应的相邻的两个组记为异常组,去除异常组中的异常点,根据剩余点之间的距离获取该异常组的映射参考值;在该异常组中任意添加一个异常点,再获取对应的映射参考值作为映射值,对于每个异常点,计算对应的两个异常组的映射值和映射参考值的差值作为映射差异,进而获取该异常点的分布特征值;剩余点的分布特征值为预设值。
具体的步骤包括:
由于异常点可能属于对应的两个相邻组中的任意一个组,因此将异常点对应的两个相邻组均记为异常组,通过计算异常组的映射差异来获取异常点的分布特征值来表征异常点的分布情况。
首先去除异常组中的所有异常点,对于异常组中的每个剩余点,获取该剩余点在该异常组中与其他剩余点之间的最短距离,所有最短距离的平均值即为映射参考值。
通过计算每个剩余点与其他剩余点之间的距离获取其中的最短距离,即每个剩余点均对应一个最短距离,再计算所有剩余点对应的最短距离的平均值作为对应异常组的映射参考值。
然后在该异常组中任意添加一个异常点,再获取对应的映射参考值作为映射值。即添加任意一个异常点,按照计算映射参考值同样的方法,计算所有剩余点和添加的异常点对应的最短距离的平均值作为添加该异常点时的映射值,则每个异常点在每个异常组中均对应一个映射值。
对于每个异常点,对应了两个异常组,且在这两个异常组中均存在相应的映射值,分别计算这两个组中的映射值和映射参考值的差值作为映射差异。将异常点所在的异常组的映射差异记为
Figure 825228DEST_PATH_IMAGE001
,将异常点对应的相邻的异常组的映射差异记为
Figure 778141DEST_PATH_IMAGE002
,当
Figure 388245DEST_PATH_IMAGE003
时,该异常点更有可能属于当前所在的异常组,此时的分布特征值为预设值;当
Figure 59398DEST_PATH_IMAGE004
时,该异常点更有可能属于对应的相邻的异常组,此时的分布特征值为0.01;当
Figure 967311DEST_PATH_IMAGE005
时,该异常点属于两个异常组的概率相同,此时的分布特征值为0.5;预设值为1。
所有剩余点均为正常点,即均属于当前所在的组,因此所有剩余点的分布特征值均为预设值1。分布特征值越大,对应的点越有可能属于当前所在的组。
步骤S005,根据局部离群因子和分布特征值获取每个点的偏移概率;基于偏移概率结合RANSAC算法获取每个组对应的点云平面;以优选度最高的点云平面作为抓取平面,发送抓取指令以使机械手抓取待抓取零件。
具体的步骤包括:
计算每个点对应的局部离群因子和分布特征值的比值,选取最大比值和最小比值,以每个比值与最小比值的差作为分子,以最大比值和最小比值的差作为分母,得到的分子和分母的比值为偏移概率。
局部离群因子越大,对应的点越偏离当前所在的组;分布特征值越大,越可能属于当前所在的组,因此基于每个点对应的局部离群因子和分布特征值获取对应的偏移概率。以第l组中第w个点为例,计算该点的偏移概率
Figure DEST_PATH_IMAGE029
Figure DEST_PATH_IMAGE031
其中,
Figure 167873DEST_PATH_IMAGE032
表示第l组中第w个点的局部离群因子和分布特征值的比值,
Figure DEST_PATH_IMAGE033
表示第l组中第w个点的局部离群因子,
Figure 244151DEST_PATH_IMAGE034
表示第l组中第w个点的分布特征值;
Figure DEST_PATH_IMAGE035
表示最大比值,
Figure 215649DEST_PATH_IMAGE036
表示最小比值。
在每个组中选取预设数量的点拟合为一个初始平面,利用预设的距离拟合阈值和偏移概率获取每个点的自适应距离阈值,当每个点与初始平面之间的距离小于对应的自适应距离阈值时,该点为初始平面的内点,初始平面以及对应的所有内点组成对应组的点云平面。
传统的RANSAC算法的具体过程为:随机采样预设数量的点拟合模型,然后计算其他点到拟合模型的距离,当该距离小于一定阈值时,当作内点,并统计内点数量,重复多次,选择内点数最多的模型,再利用所有内点重新估计模型。其中的阈值为设定的固定值,对所有点来说均相同,本发明实施例结合偏移概率获取每个点的自适应距离阈值进行RANSAC算法的模型估计。
在本发明实施例中预设数量为20,首先在每个组中选取20个点拟合为一个初始平面,然后预设距离拟合阈值T=5,在RANSAC拟合过程中,对于偏移概率大的点,对距离拟合阈值T进行校正,其中对于第
Figure 786308DEST_PATH_IMAGE018
个组中第
Figure DEST_PATH_IMAGE037
个点校正后的自适应距离阈值
Figure 28326DEST_PATH_IMAGE038
,根据所有点的自适应距离阈值进行RANSAC算法计算。当每个点与初始平面之间的距离小于对应的自适应距离阈值时,该点为初始平面的内点,初始平面以及对应的所有内点组成对应组的点云平面。每组均对应一个点云平面。
在机械手抓取过程中,移动旋转的次数较小,并且在抓取过程中对应的抓取面较大,能够实现更好的抓取。因此基于机械手到达点云平面的调整次数、行进距离和点云平面的面积筛选最优平面作为抓取平面。
通过模拟器进行模拟获取机械手到达点云平面的调整次数;基于点云平面的质心和机械手的质心之间的连线获取机械手的行进距离;计算调整次数和行进距离的乘积,获取点云平面的面积,以面积和乘积的相反数的比值作为优选度。
为了精准调节机器人的机械手的旋转角度,以机器人的机械手的中心为坐标原点,以激光雷达的扫描方向为x轴方向,以传送带的传送方向为y轴方向,以机械手正上方竖直方向为z轴方向构建三维坐标系。
计算点云平面的质心以及机械手的质心的连线,将该连线分别投影至x轴、y轴和z轴坐标轴上,三个轴投影后的距离即为对应方向的行进距离
Figure DEST_PATH_IMAGE039
Figure 776971DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
通过每个点云平面与
Figure 734300DEST_PATH_IMAGE042
轴和
Figure DEST_PATH_IMAGE043
轴构成的平面的夹角获取对应点云平面的法向量的方向的角度
Figure 859382DEST_PATH_IMAGE044
,由于机械手的起始位置在零件的正上方,因此通过每个点云平面的法向量的方向的角度以及机械手的行进方向即可确定自由度位姿调整的次数
Figure DEST_PATH_IMAGE045
。具体的:通过模拟器根据当前机械手的行进方向与每个点云平面法向量的角度之间获取自由度位姿调整的次数,即对于机械手的不同的行进方向,以及不同点云平面的不同角度,将机械手所在位置、机械手行进方向、不同点云平面的不同法向量角度,输入至模拟器中进行训练模拟,从而输出不同点云平面的法向量的角度下,对应的机械手调整位姿的调整次数
Figure 881872DEST_PATH_IMAGE045
点云平面的大小根据凸包检测获取,其凸包的大小
Figure 253947DEST_PATH_IMAGE046
对应抓取该点云平面时机械手的张开大小。
然后计算每个点云平面抓取的优选度,以第
Figure DEST_PATH_IMAGE047
个点云平面为例,计算优选度
Figure 934459DEST_PATH_IMAGE048
,其中,
Figure DEST_PATH_IMAGE049
表示第
Figure 361767DEST_PATH_IMAGE047
个点云平面的面积;
Figure 14596DEST_PATH_IMAGE050
表示第
Figure 557573DEST_PATH_IMAGE047
个点云平面的行进距离的总和,即
Figure DEST_PATH_IMAGE051
Figure 226845DEST_PATH_IMAGE052
表示机械手对于第
Figure 896992DEST_PATH_IMAGE047
个点云平面的调整次数。
机械手抓取过程中,对应的行进距离的总和越小,机械手位姿的调整次数越少,点云平面的面积越大,越容易抓取,对应的该平面的优选度就越大。
以优选度最高的点云平面作为抓取平面,机器人端发送抓取指令以使机械手执行抓取行为,从抓取平面抓取待抓取零件。需要说明的是,每次抓取行为完成后,机械手会初始化进行复位。
综上所述,本发明实施例接收待抓取零件的点云数据和对应标准零件的CAD三维图,在CAD三维图中获取标准零件的标准特征边,在点云数据中获取待抓取零件的目标特征边;特征边为对应零件的边缘;根据目标特征边与标准特征边的匹配结果移动点云数据得到更新点云数据,更新点云数据与CAD三维图方向相同;基于更新点云数据中每两个点之间的距离将更新点云数据分组,并在每个组内获取每个点的局部离群因子;对于相邻的两个组,分别计算组中每个点到两个组中心的距离并求差值,当差值小于预设的距离阈值时,对应的点为异常点;将异常点对应的相邻的两个组记为异常组,去除异常组中的异常点,根据剩余点之间的距离获取该异常组的映射参考值;在该异常组中任意添加一个异常点,再获取对应的映射参考值作为映射值,对于每个异常点,计算对应的两个异常组的映射值和映射参考值的差值作为映射差异,进而获取该异常点的分布特征值;剩余点的分布特征值为预设值;根据局部离群因子和分布特征值获取每个点的偏移概率;基于偏移概率结合RANSAC算法获取每个组对应的点云平面;以优选度最高的点云平面作为抓取平面,发送抓取指令以使机械手抓取待抓取零件。本发明实施例能够提高机械手的抓取精准度和实时性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (7)

1.基于激光雷达的机器人实时控制方法,其特征在于,该方法包括以下步骤:
接收待抓取零件的点云数据和对应标准零件的CAD三维图,在CAD三维图中获取标准零件的标准特征边,在点云数据中获取待抓取零件的目标特征边;特征边为对应零件的边缘;
根据目标特征边与标准特征边的匹配结果移动所述点云数据得到更新点云数据,所述更新点云数据与CAD三维图方向相同;
基于更新点云数据中每两个点之间的距离将所述更新点云数据分组,并在每个组内获取每个点的局部离群因子;对于相邻的两个组,分别计算组中每个点到两个组中心的距离并求差值,当所述差值小于预设的距离阈值时,对应的点为异常点;
将异常点对应的相邻的两个组记为异常组,去除异常组中的异常点,根据剩余点之间的距离获取该异常组的映射参考值;在该异常组中任意添加一个异常点,再获取对应的映射参考值作为映射值,对于每个异常点,计算对应的两个异常组的映射值和映射参考值的差值作为映射差异,进而获取该异常点的分布特征值;所述剩余点的分布特征值为预设值;
根据所述局部离群因子和所述分布特征值获取每个点的偏移概率;基于所述偏移概率结合RANSAC算法获取每个组对应的点云平面;以优选度最高的点云平面作为抓取平面,发送抓取指令以使机械手抓取所述待抓取零件;
所述映射参考值的获取方法为:
对于异常组中的每个剩余点,获取该剩余点在该异常组中与其他剩余点之间的最短距离,所有最短距离的平均值即为所述映射参考值;
所述分布特征值的获取方法为:
将异常点所在的异常组的映射差异记为
Figure DEST_PATH_IMAGE001
,将异常点对应的相邻的异常组的映射差异记为
Figure 452694DEST_PATH_IMAGE002
,当
Figure DEST_PATH_IMAGE003
时,该异常点的分布特征值为所述预设值;当
Figure 87944DEST_PATH_IMAGE004
时,该异常点的分布特征值为0.01;当
Figure DEST_PATH_IMAGE005
时,该异常点的分布特征值为0.5;所述预设值为1;
所述偏移概率的获取方法为:
计算每个点对应的局部离群因子和分布特征值的比值,选取最大比值和最小比值,以每个比值与最小比值的差作为分子,以最大比值和最小比值的差作为分母,得到的分子和分母的比值为所述偏移概率。
2.根据权利要求1所述的基于激光雷达的机器人实时控制方法,其特征在于,所述匹配结果的获取方法为:
根据每两条相邻的目标特征边的方向向量获取方向参数;获取CAD三维图的标准方向参数;根据方向参数和标准方向参数的比例关系将点云数据和CAD三维图进行匹配得到所述匹配结果。
3.根据权利要求2所述的基于激光雷达的机器人实时控制方法,其特征在于,所述方向参数的获取方法为:
获取每条目标特征边的方向向量以及对应的模长,对于每两条相邻的目标特征边的方向向量,令两个方向向量中对应元素相乘再求和得到的结果作为分子,计算两条相邻的目标特征边的模长的和作为分母,以分子和分母的比值作为所述方向参数。
4.根据权利要求2所述的基于激光雷达的机器人实时控制方法,其特征在于,所述将点云数据和CAD三维图进行匹配得到所述匹配结果的过程包括:
对于每个方向参数,计算该方向参数与每个标准方向参数的比例,在所有方向参数对应的比例中,选取数值差异最小的一组比例作为匹配比例,所述匹配比例所对应的目标特征边与标准特征边为一对匹配边,所有匹配边组成所述匹配结果。
5.根据权利要求4所述的基于激光雷达的机器人实时控制方法,其特征在于,所述更新点云数据的获取方法为:
基于相互匹配的目标特征边和标准特征边的差异获取待抓取零件的旋转角度和平移距离;基于所述旋转角度和平移距离对所述点云数据进行旋转和平移,成为与所述CAD三维图方向相同的所述更新点云数据。
6.根据权利要求1所述的基于激光雷达的机器人实时控制方法,其特征在于,所述基于所述偏移概率结合RANSAC算法获取每个组对应的点云平面,包括:
在每个组中选取预设数量的点拟合为一个初始平面,利用预设的距离拟合阈值和所述偏移概率获取每个点的自适应距离阈值,当每个点与所述初始平面之间的距离小于对应的自适应距离阈值时,该点为所述初始平面的内点,初始平面以及对应的所有内点组成对应组的所述点云平面。
7.根据权利要求1所述的基于激光雷达的机器人实时控制方法,其特征在于,所述优选度的获取方法为:
通过模拟器进行模拟获取机械手到达点云平面的调整次数;基于点云平面的质心和机械手的质心之间的连线获取机械手的行进距离;计算所述调整次数和所述行进距离的乘积,获取点云平面的面积,以面积和所述乘积的相反数的比值作为所述优选度。
CN202211276331.9A 2022-10-19 2022-10-19 基于激光雷达的机器人实时控制方法 Active CN115338874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276331.9A CN115338874B (zh) 2022-10-19 2022-10-19 基于激光雷达的机器人实时控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276331.9A CN115338874B (zh) 2022-10-19 2022-10-19 基于激光雷达的机器人实时控制方法

Publications (2)

Publication Number Publication Date
CN115338874A CN115338874A (zh) 2022-11-15
CN115338874B true CN115338874B (zh) 2023-01-03

Family

ID=83957094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276331.9A Active CN115338874B (zh) 2022-10-19 2022-10-19 基于激光雷达的机器人实时控制方法

Country Status (1)

Country Link
CN (1) CN115338874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228603B (zh) * 2023-05-08 2023-08-01 山东杨嘉汽车制造有限公司 一种挂车周围障碍物的报警系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN106091923A (zh) * 2016-05-30 2016-11-09 武汉理工大学 基于三维激光扫描技术的工业螺栓圆孔的中心点快速测定方法
CN109712174A (zh) * 2018-12-25 2019-05-03 湖南大学 一种复杂异形曲面机器人三维测量的点云误配准滤除方法及系统
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统
CN113450269A (zh) * 2021-05-24 2021-09-28 南京航空航天大学 一种基于3d视觉的点云关键点提取方法
CN114581464A (zh) * 2022-03-07 2022-06-03 广州极飞科技股份有限公司 边界检测方法、装置、电子设备及计算机可读存储介质
CN114706087A (zh) * 2022-04-04 2022-07-05 中国人民解放军国防科技大学 一种三维成像声呐点云的水下地形匹配定位方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
US11042146B2 (en) * 2017-11-17 2021-06-22 Kodak Alaris Inc. Automated 360-degree dense point object inspection
CN113032731B (zh) * 2021-03-19 2022-09-16 交通运输部东海航海保障中心厦门航标处 一种灯浮标偏移概率密度计算方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN106091923A (zh) * 2016-05-30 2016-11-09 武汉理工大学 基于三维激光扫描技术的工业螺栓圆孔的中心点快速测定方法
CN109712174A (zh) * 2018-12-25 2019-05-03 湖南大学 一种复杂异形曲面机器人三维测量的点云误配准滤除方法及系统
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统
CN113450269A (zh) * 2021-05-24 2021-09-28 南京航空航天大学 一种基于3d视觉的点云关键点提取方法
CN114581464A (zh) * 2022-03-07 2022-06-03 广州极飞科技股份有限公司 边界检测方法、装置、电子设备及计算机可读存储介质
CN114706087A (zh) * 2022-04-04 2022-07-05 中国人民解放军国防科技大学 一种三维成像声呐点云的水下地形匹配定位方法及系统

Also Published As

Publication number Publication date
CN115338874A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN110648361B (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
Karaoguz et al. Object detection approach for robot grasp detection
TWI776113B (zh) 物體位姿估計方法及裝置、電腦可讀儲存介質
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
JP5787642B2 (ja) 対象物保持装置、対象物保持装置の制御方法、およびプログラム
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
CN115338874B (zh) 基于激光雷达的机器人实时控制方法
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
Zhi et al. Simultaneous hand-eye calibration and reconstruction
WO2020195416A1 (en) Detection, tracking and 3d modeling of objects with sparse rgb-d slam and interactive perception
Suzuki et al. Online self-supervised learning for object picking: detecting optimum grasping position using a metric learning approach
CN110463376A (zh) 一种插机方法及插机设备
US11964400B2 (en) Device and method for controlling a robot to pick up an object in various positions
CN110992372A (zh) 物品抓取方法、装置、存储介质及电子装置
CN116188540A (zh) 一种基于点云信息的目标识别和位姿估计方法
Schaub et al. 6-DOF grasp detection for unknown objects using surface reconstruction
CN115953465A (zh) 基于模块化机器人实训平台的三维视觉随机抓取处理方法
Adrian et al. DFBVS: Deep feature-based visual servo
CN115205371A (zh) 用于根据对象的摄像机图像定位对象的部位的设备和方法
CN112589795B (zh) 一种基于不确定性多帧融合的真空吸盘机械臂抓取方法
Lin et al. 3D Pose estimation using genetic-based iterative closest point algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant