CN111402411A - 一种基于线结构光的散乱物识别抓取方法 - Google Patents

一种基于线结构光的散乱物识别抓取方法 Download PDF

Info

Publication number
CN111402411A
CN111402411A CN202010280934.0A CN202010280934A CN111402411A CN 111402411 A CN111402411 A CN 111402411A CN 202010280934 A CN202010280934 A CN 202010280934A CN 111402411 A CN111402411 A CN 111402411A
Authority
CN
China
Prior art keywords
scattered
industrial camera
dimensional
calibration
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010280934.0A
Other languages
English (en)
Inventor
贵刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010280934.0A priority Critical patent/CN111402411A/zh
Publication of CN111402411A publication Critical patent/CN111402411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及智能制造领域，提供了一种基于线结构光的散乱物识别抓取方法，包括：步骤S1根据所述散乱物位置安装线结构光系统，利用所述线结构光系统获取所述散乱物带激光的图像；步骤S2对工业相机进行迭代标定；步骤S3进行线结构光光刀平面标定；步骤S4重建散乱物的三维点云，利用三角测量原理，在立体视觉模型下重建散乱物三维；步骤S5实时重建完整散乱物三维点云，进行背景滤除，再执行基于表面的三维匹配，检测最优匹配散乱物的坐标位置，并输出坐标和位姿，利用手眼标定算法转换姿态坐标，并规划机械臂的抓取路径，根据所述抓取路径驱动机械臂运动。本发明方法鲁棒性较强、处理速度较快、精度较高、操作很方便、可应用范围广。

Description

一种基于线结构光的散乱物识别抓取方法
技术领域
本发明涉及智能制造领域，具体涉及一种基于线结构光的散乱物识别抓取方法。
背景技术
随着工业智能制造不断发展，机械臂识别抓取应用越来越广，其中对于散乱物的抓取场景识别抓取的需求不断增加。散乱物的识别抓取需要视觉与机械臂结合，目前通过视觉与机械臂结合进行散乱物识别抓取的方案包括面结构光、线结构光、多目视觉、双目视觉、RGBD相机、TOF相机结合机械臂的方案。
如何提供高效的通过视觉与机械臂结合进行散乱物识别抓取的方案，是亟待解决的问题。
发明内容
针对上述问题，本发明提供一种基于线结构光的散乱物识别抓取方法。
本发明的目的采用以下技术方案来实现：
本发明提供了一种基于线结构光的散乱物识别抓取方法，包括以下步骤：
步骤S1将散乱物放置于移动平台，根据所述散乱物位置安装线结构光系统，设置所述线结构光系统的各相关设备的参数，所述相关设备包括线结构光发射器和工业相机，利用所述线结构光系统获取所述散乱物带激光的图像；
步骤S2对工业相机进行迭代标定，获得初始标定的内外参数，将获取的所述图像转换到平行视图数据，得到图像点与新三维空间点的对应性关系，利用对应性数据重复进行标定，直到标定精度不再提高；
步骤S3进行线结构光光刀平面标定，先提取线结构光发射器的激光线中心坐标，再计算中心坐标在标定板的位置，然后根据多个姿态下的中心坐标拟合三维点平面，构建出线结构光光刀平面数据；
步骤S4重建散乱物的三维点云，通过工业相机和线结构光光刀平面的标定参数，利用三角测量原理，在立体视觉模型下重建散乱物三维；
步骤S5实时重建完整散乱物三维点云，进行背景滤除，再执行基于表面的三维匹配，检测最优匹配散乱物的坐标位置，并输出坐标和位姿，利用手眼标定算法转换姿态坐标，并规划机械臂的抓取路径，根据所述抓取路径驱动机械臂运动。
在一种能够实现的方式中，所述步骤S1具体包括：
步骤S1.1根据所述散乱物位置确定线结构光系统配置参数，所述配置参数包括所述线结构光发射器的安装距离角度以及安装方式、所述工业相机的安装距离角度以及安装方式、测量所述散乱物的尺寸的测量精度以及测量时间；
步骤S1.2将所述工业相机安装于所述散乱物的正上方，其中所述线结构光发射器与所述工业相机位于同一水平线，且所述线结构光发射器倾斜朝向散乱物里面，从而当所述散乱物随着所述移动平台移动时，所述工业相机能获取带着所述线结构光发射器发射的线激光的散乱物图像；
步骤S1.3设置线结构光发射器和工业相机的参数，所述参数包括工业相机的分辨率、帧率、曝光的方式和像元的尺寸，工业相机的镜头的焦距、景深、光圈和接口方式，以及线结构光发射器的输出光功率、强度噪声、激励阈值、温度特性和谱线宽度；
步骤S1.4驱动所述移动平台往复移动，从而带动线结构光发射器的激光线打在移动的散乱物上，通过工业相机实时获取散乱物从头到尾带有激光线的图像。
在一种能够实现的方式中，所述步骤S2具体包括：
步骤S2.1设置圆环标定板参数，所述的圆环标定板参数包括黑色圆点直径、圆点中心间距、行点数、列点数、内边框长度以及外边框长度的数值；
步骤S2.2初始化工业相机的内参数，所述内参数包括焦距、标定板厚度、像元宽、像元高、图像中心行列坐标以及图像宽高的数值；
步骤S2.3进行工业相机标定并优化所述工业相机的内参数和外参数，首先计算工业相机初始内参数以及外参数的数值，再通过相机畸变系数来进行矫正拍摄标定板图片，来重新计算出像点坐标数值，再利用最大似然估计方法、Levenber-Marquarat算法进行最小化处理来优化工业相机的内参数和外参数；
步骤S2.4矫正投影畸变和镜头畸变参数，根据工业相机初始内参数以及外参数值，将拍摄图像转换到平行视图，使平行视图的圆环中心坐标投影到三维平面坐标，再投影到原始图像坐标，获得点坐标相互之间的对应性数据；
步骤S2.5利用对应性数据重复进行标定，直至迭代标定收敛。
在一种能够实现的方式中，所述步骤S3具体包括：
步骤S3.1提取线结构光发射器的激光线中心坐标，计算坐标位置的准确性；
步骤S3.2计算激光条对应在标定板的三维位置；
步骤S3.3计算光刀平面方程拟合；
步骤S3.4，构建线结构光光刀平面。
在一种能够实现的方式中，所述步骤S4具体包括：
步骤S4.1创建三维姿态；
步骤S4.2根据工业相机和线结构光光刀平面的标定参数建立工业相机和线结构光发射器的立体模型；
步骤S4.3设置立体模型的参数；
步骤S4.4利用三角测量原理，从校准工业相机和校准线结构光发射器的参数设置中重建散乱物点云。
在一种能够实现的方式中，所述步骤S5具体包括：
步骤S5.1实时重建完整散乱物三维点云；
步骤S5.2创建表面匹配模型；
步骤S5.3滤除干扰背景，只重建散乱物的三维数据；
步骤S5.4执行三维匹配，进行搜索散乱物，在三维场景中找到表面模型的最佳匹配数据；
步骤S5.5输出匹配散乱物的姿态坐标，输出找到最优匹配散乱物的坐标并显示在重建表面；
步骤S5.6转换匹配散乱物姿态数据，根据姿态数据规划机械臂的抓取路径。
本发明的有益效果为：本发明由线结构光发射器、工业相机构成线结构光系统，利用线结构光实时三维重建散乱物点云，进行迭代工业相机和线结构光光刀平面的标定后，在立体视觉模型下重建散乱物场景三维，通过滤除背景，进行基于表面的三维匹配散乱物，得到最优匹配散乱物的姿态，再进行定位识别，并规划机械臂的抓取路径，实时带动机械臂进行散乱物识别抓取操作。本发明方法鲁棒性较强、处理速度较快、精度较高、操作很方便；本发明可应用范围广，应用领域包括散乱物抓取、无人拆垛、上下料、工件分拣、组装装配、高速分拣、体积动态测量、三维缺陷检测等领域。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明一个示例性实施例的一种基于线结构光的散乱物识别抓取方法的流程示意图；
图2是本发明一个示例性实施例的线结构光系统测量原理示意图；
图3是本发明一个示例性实施例的三维重建散乱物的场景点云示意图；
图4是本发明一个示例性实施例的最优匹配散乱物的坐标并显示在重建表面的示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1至图4，本实施例提供的一种基于线结构光的散乱物识别抓取方法，包括以下步骤：
步骤S1将散乱物放置于移动平台，根据所述散乱物位置安装线结构光系统，设置所述线结构光系统的各相关设备的参数，所述相关设备包括线结构光发射器和工业相机，利用所述线结构光系统获取所述散乱物带激光的图像。
在一种能够实现的方式中，所述步骤S1具体包括：
步骤S1.1根据所述散乱物位置确定线结构光系统配置参数，所述配置参数包括所述线结构光发射器的安装距离角度以及安装方式、所述工业相机的安装距离角度以及安装方式、测量所述散乱物的尺寸的测量精度以及测量时间；
步骤S1.2将所述工业相机安装于所述散乱物的正上方，其中所述线结构光发射器与所述工业相机位于同一水平线，且所述线结构光发射器倾斜朝向散乱物里面，从而当所述散乱物随着所述移动平台移动时，所述工业相机能获取带着所述线结构光发射器发射的线激光的散乱物图像；
步骤S1.3设置线结构光发射器和工业相机的参数，所述参数包括工业相机的分辨率、帧率、曝光的方式和像元的尺寸，工业相机的镜头的焦距、景深、光圈和接口方式，以及线结构光发射器的输出光功率、强度噪声、激励阈值、温度特性和谱线宽度；
步骤S1.4驱动所述移动平台往复移动，从而带动线结构光发射器的激光线打在移动的散乱物上，通过工业相机实时获取散乱物从头到尾带有激光线的图像。
步骤S2对工业相机进行迭代标定，获得初始标定的内外参数，将获取的所述图像转换到平行视图数据，得到图像点与新三维空间点的对应性关系，利用对应性数据重复进行标定，直到标定精度不再提高。
在一种能够实现的方式中，所述步骤S2具体包括：
步骤S2.1设置圆环标定板参数，所述的圆环标定板参数包括黑色圆点直径、圆点中心间距、行点数、列点数、内边框长度以及外边框长度的数值；
步骤S2.2初始化工业相机的内参数，所述内参数包括焦距、标定板厚度、像元宽、像元高、图像中心行列坐标以及图像宽高的数值；
步骤S2.3进行工业相机标定并优化所述工业相机的内参数和外参数，首先计算工业相机初始内参数以及外参数的数值，再通过相机畸变系数来进行矫正拍摄标定板图片，来重新计算出像点坐标数值，再利用最大似然估计方法、Levenber-Marquarat算法进行最小化处理来优化工业相机的内参数和外参数；
步骤S2.4矫正投影畸变和镜头畸变参数，，来提高标定板圆环中心点的检测精度，根据工业相机初始内参数以及外参数值，将拍摄图像转换到平行视图，使平行视图的圆环中心坐标投影到三维平面坐标，再投影到原始图像坐标，获得点坐标相互之间的对应性数据；
步骤S2.5利用对应性数据重复进行标定，直至迭代标定收敛。
其中，判断迭代标定是否收敛是根据方向投射误差数据是否减小或者迭代步数是否达到最大来进行处理，其中标定精度是标定参数的三倍估计标准差。
步骤S3进行线结构光光刀平面标定，先提取线结构光发射器的激光线中心坐标，再计算中心坐标在标定板的位置，然后根据多个姿态下的中心坐标拟合三维点平面，构建出线结构光光刀平面数据。
在一种能够实现的方式中，所述步骤S3具体包括：
步骤S3.1提取线结构光发射器的激光线中心坐标，计算坐标位置的准确性。
其中，当线结构光发射器发射线激光到散乱物表面，由于激光线具有宽度特性，并且根据线结构光的光强特性符合高斯分布特征，通过使用灰度重心方法把激光线每个横向截面内的像素点的灰度分布质心作为该截面的激光线中心点，来计算出激光线位置准确性。
步骤S3.2计算激光条对应在标定板的三维位置。
根据迭代工业相机标定的内参数、外参数、畸变参数、激光线中心图像数据，来计算在平面标定板坐标系下的三维坐标。首先矫正透镜畸变参数数值包括径向畸变和切向畸变，其中矫正是一个反复迭代处理过程，对拍摄图像进行数据变换来抵消径向和切向镜头畸变。根据摄像机针孔成像模型，散乱物激光线在标定板坐标系下z轴坐标为0，其中激光线图像坐标位[u v 1]T，ri表示旋转矩阵R的第i列向量，利用如下公式得到激光线在平面标定板坐标系的三维坐标。
Figure BDA0002446546660000051
步骤S3.3计算光刀平面方程拟合。
具体地，将平面标定板坐标系的坐标点乘以工业相机外参数，来转换到工业相机坐标系下。再利用所有线结构光标定姿态下的三维线结构光的光刀特征点，通过最小二乘法来拟合出光刀平面方程数据。
步骤S3.4，构建线结构光光刀平面。
具体地，将线结构光光刀平面建模为一维摄像机，光心在光刀平面上，光轴在光刀平面上，x轴垂直线结构光光刀平面，内参为单位矩阵数据。通过选取摄像机坐标系下的三点坐标(0，0，0)、(0，1，0)、(0，0，1)，将这三坐标投射到线结构光光刀平面上，用投影的点建立虚拟摄像机坐标系。其中点投射到光刀平面上，根据直线与平面求交点，则直线方向向量等于平面法线方向向量。
根据线结构光投射到线结构光光刀平面上的三点，建立一维摄像机坐标系过程为：先将第一点到第二点方向进行直线拟合，获得Z轴单位向量。用点乘判断法线方向是否为从第一点到第二点的方向。再求经过第三点，且垂直于Z轴的单位向量，获得Y轴单位向量。最后根据叉乘右手规则，用Y叉乘Z得X轴单位向量。
步骤S4重建散乱物的三维点云，通过工业相机和线结构光光刀平面的标定参数，利用三角测量原理，在立体视觉模型下重建散乱物三维。
在一种能够实现的方式中，所述步骤S4具体包括：
步骤S4.1创建三维姿态。其中三维姿态描述成一个刚性三维转换，由沿着X、Y、Z轴平移，旋转X、Y、Z轴的6个参数组成。
步骤S4.2根据工业相机和线结构光光刀平面的标定参数建立工业相机和线结构光发射器的立体模型。具体地，使用迭代相机和线结构光光刀平面标定参数值分别建立多项式模型，并设置参数。为标定的相机创建摄像机模型，在模型中定义相机的类型、参数、相对姿态。为标定的线结构光发射器创建线结构光模型，在模型中定义线结构光的类型、参数、相对姿态。
步骤S4.3设置立体模型的参数，其中参数包括：工业相机标定内参数、外参数、径向畸变、切向畸变数值、激光线的中心位置，线结构光发射器的光强参数、系统参数，设置重建二次抽样、迭代次数参数。
步骤S4.4利用三角测量原理，从校准工业相机和校准线结构光发射器的参数设置中重建散乱物点云。线结构光系统测量原理示意图如图2所示，发射在散乱物表面形成激光线条，点P是激光线截面的一个中心点坐标，OcXcYcZc表示摄像机坐标系，P'点是点P在图像平面上的成像点坐标。通过小孔成像原理计算摄像机光心坐标Oc与图像平面的成像点坐标P'的连线一定通过待测点坐标P，通过求OcP'与线结构光光刀平面的交点即可得坐标P。
步骤S5实时重建完整散乱物三维点云，进行背景滤除，再执行基于表面的三维匹配，检测最优匹配散乱物的坐标位置，并输出坐标和位姿，利用手眼标定算法转换姿态坐标，并规划机械臂的抓取路径，根据所述抓取路径驱动机械臂运动。
在一种能够实现的方式中，所述步骤S5具体包括：
步骤S5.1实时重建完整散乱物三维点云。其中，线结构光发射器、移动平台、工业相机同步实时工作，移动平台带着散乱物匀速的一侧运动，工控机实时读入带有线结构光的散乱物图像数据，根据步骤S4.4公式可以实时重建出完整的散乱物三维点云数据。
步骤S5.2创建表面匹配模型，为散乱物对象模型创建基于表面的匹配模型，表面模型的创建散乱物的三维模型包含点、法线、三角形网格，其中包括之间的投影关系和采样距离。
步骤S5.3滤除干扰背景，只重建散乱物的三维数据。具体地，首先把散乱物移走，重新进行步骤S5.2进行重建三维场景，该场景中只有工作场景图像。通过将含有散乱物和不含有散乱物场景的三维数据点云相减，可以将场景中散乱物的背景滤除，只重建散乱物场景的三维点云数据如图3所示。
步骤S5.4执行三维匹配，进行搜索散乱物，在三维场景中找到表面模型的最佳匹配数据。具体地，输入创建的表面匹配模型和重建三维场景点云数据，其中参数包括相对于表面模型直径的现场采样距离，其中数值越小导致采样点越多，从而使匹配更稳定但更慢；设置关键点采样点分数，数值越大意味着从场景中需要选择更多的关键点，从而导致匹配速度较慢但更稳定；筛选分数值，用于筛选结果阈值分割线，只有得分超过值的匹配才会输出；设置输出匹配上零件的上限值。
步骤S5.5输出匹配散乱物的姿态坐标，输出找到最优匹配散乱物的坐标并显示在重建表面。具体地，将匹配散乱物的重心坐标转化为在工业相机坐标系中的位姿，通过刚体变换将为三维数据模型投射到图像坐标中，输出散乱物的坐标，输出找到最优匹配散乱物的坐标并显示在重建表面，如图4所示。
步骤S5.6转换匹配散乱物姿态数据，根据姿态数据规划机械臂的抓取路径。具体地，输出匹配散乱物的六自由度姿态数据后，利用手眼标定算法获得机械臂基座坐标系和线结构光系统坐标系之间的位姿转换关系,通过姿态变换关系来计算出散乱物在机械臂基座下的位姿数据，并规划机械臂的抓取路径，给机械臂实时抓取操作。
本发明上述实施例由线结构光发射器、工业相机构成线结构光系统，利用线结构光实时三维重建散乱物点云，进行迭代工业相机和线结构光光刀平面的标定后，在立体视觉模型下重建散乱物场景三维，通过滤除背景，进行基于表面的三维匹配散乱物，得到最优匹配散乱物的姿态，再进行定位识别，并规划机械臂的抓取路径，实时带动机械臂进行散乱物识别抓取操作。本发明方法鲁棒性较强、处理速度较快、精度较高、操作很方便；本发明可应用范围广，应用领域包括散乱物抓取、无人拆垛、上下料、工件分拣、组装装配、高速分拣、体积动态测量、三维缺陷检测等领域。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于线结构光的散乱物识别抓取方法，其特征是，包括以下步骤：
步骤S1将散乱物放置于移动平台，根据所述散乱物位置安装线结构光系统，设置所述线结构光系统的各相关设备的参数，所述相关设备包括线结构光发射器和工业相机，利用所述线结构光系统获取所述散乱物带激光的图像；
步骤S2对工业相机进行迭代标定，获得初始标定的内外参数，将获取的所述图像转换到平行视图数据，得到图像点与新三维空间点的对应性关系，利用对应性数据重复进行标定，直到标定精度不再提高；
步骤S3进行线结构光光刀平面标定，先提取线结构光发射器的激光线中心坐标，再计算中心坐标在标定板的位置，然后根据多个姿态下的中心坐标拟合三维点平面，构建出线结构光光刀平面数据；
步骤S4重建散乱物的三维点云，通过工业相机和线结构光光刀平面的标定参数，利用三角测量原理，在立体视觉模型下重建散乱物三维；
步骤S5实时重建完整散乱物三维点云，进行背景滤除，再执行基于表面的三维匹配，检测最优匹配散乱物的坐标位置，并输出坐标和位姿，利用手眼标定算法转换姿态坐标，并规划机械臂的抓取路径，根据所述抓取路径驱动机械臂运动。
2.根据权利要求1所述的一种基于线结构光的散乱物识别抓取方法，其特征是，所述步骤S1具体包括：
步骤S1.1根据所述散乱物位置确定线结构光系统配置参数；
步骤S1.2将所述工业相机安装于所述散乱物的正上方，其中所述线结构光发射器与所述工业相机位于同一水平线，且所述线结构光发射器倾斜朝向散乱物里面，从而当所述散乱物随着所述移动平台移动时，所述工业相机能获取带着所述线结构光发射器发射的线激光的散乱物图像；
步骤S1.3设置线结构光发射器和工业相机的参数；
步骤S1.4驱动所述移动平台往复移动，从而带动线结构光发射器的激光线打在移动的散乱物上，通过工业相机实时获取散乱物从头到尾带有激光线的图像。
3.根据权利要求1所述的一种基于线结构光的散乱物识别抓取方法，其特征是，所述步骤S2具体包括：
步骤S2.1设置圆环标定板参数；
步骤S2.2初始化工业相机的内参数；
步骤S2.3进行工业相机标定并优化所述工业相机的内参数和外参数，首先计算工业相机初始内参数以及外参数的数值，再通过相机畸变系数来进行矫正拍摄标定板图片，来重新计算出像点坐标数值，再利用最大似然估计方法、Levenber-Marquarat算法进行最小化处理来优化工业相机的内参数和外参数；
步骤S2.4矫正投影畸变和镜头畸变参数，根据工业相机初始内参数以及外参数值，将拍摄图像转换到平行视图，使平行视图的圆环中心坐标投影到三维平面坐标，再投影到原始图像坐标，获得点坐标相互之间的对应性数据；
步骤S2.5利用对应性数据重复进行标定，直至迭代标定收敛。
4.根据权利要求1所述的一种基于线结构光的散乱物识别抓取方法，其特征是，所述步骤S3具体包括：
步骤S3.1提取线结构光发射器的激光线中心坐标，计算坐标位置的准确性；
步骤S3.2计算激光条对应在标定板的三维位置；
步骤S3.3计算光刀平面方程拟合；
步骤S3.4，构建线结构光光刀平面。
5.根据权利要求1所述的一种基于线结构光的散乱物识别抓取方法，其特征是，所述步骤S4具体包括：
步骤S4.1创建三维姿态；
步骤S4.2根据工业相机和线结构光光刀平面的标定参数建立工业相机和线结构光发射器的立体模型；
步骤S4.3设置立体模型的参数；
步骤S4.4利用三角测量原理，从校准工业相机和校准线结构光发射器的参数设置中重建散乱物点云。
6.根据权利要求1-5任一项所述的一种基于线结构光的散乱物识别抓取方法，其特征是，所述步骤S5具体包括：
步骤S5.1实时重建完整散乱物三维点云；
步骤S5.2创建表面匹配模型；
步骤S5.3滤除干扰背景，只重建散乱物的三维数据；
步骤S5.4执行三维匹配，进行搜索散乱物，在三维场景中找到表面模型的最佳匹配数据；
步骤S5.5输出匹配散乱物的姿态坐标，输出找到最优匹配散乱物的坐标并显示在重建表面；
步骤S5.6转换匹配散乱物姿态数据，根据姿态数据规划机械臂的抓取路径。
CN202010280934.0A 2020-04-10 2020-04-10 一种基于线结构光的散乱物识别抓取方法 Pending CN111402411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010280934.0A CN111402411A (zh) 2020-04-10 2020-04-10 一种基于线结构光的散乱物识别抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010280934.0A CN111402411A (zh) 2020-04-10 2020-04-10 一种基于线结构光的散乱物识别抓取方法

Publications (1)

Publication Number Publication Date
CN111402411A true CN111402411A (zh) 2020-07-10

Family

ID=71433246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010280934.0A Pending CN111402411A (zh) 2020-04-10 2020-04-10 一种基于线结构光的散乱物识别抓取方法

Country Status (1)

Country Link
CN (1) CN111402411A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070818A (zh) * 2020-11-10 2020-12-11 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN113080155A (zh) * 2021-05-20 2021-07-09 西南大学 蚕蛹蛹体拾取装置及方法
CN113418927A (zh) * 2021-06-08 2021-09-21 长春汽车工业高等专科学校 基于线结构光的汽车模具视觉检测系统及检测方法
CN113513987A (zh) * 2021-07-10 2021-10-19 深慧视(深圳)科技有限公司 一种3d点云坐标生成装置
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113762427A (zh) * 2021-11-10 2021-12-07 聚时科技(江苏)有限公司 一种工业自动化检测场景中的上料异常检测方法
CN114347015A (zh) * 2021-12-09 2022-04-15 华南理工大学 一种机器人抓取控制方法、系统、装置及介质
CN115325935A (zh) * 2022-08-30 2022-11-11 扬州威视智能科技有限公司 一种基于3d视觉位姿检测的刷头上料方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106813570A (zh) * 2015-11-30 2017-06-09 中国科学院沈阳自动化研究所 基于线结构光扫描的长圆柱形物体三维识别与定位方法
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN107053173A (zh) * 2016-12-29 2017-08-18 芜湖哈特机器人产业技术研究院有限公司 机器人抓取系统及抓取工件的方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106813570A (zh) * 2015-11-30 2017-06-09 中国科学院沈阳自动化研究所 基于线结构光扫描的长圆柱形物体三维识别与定位方法
CN107053173A (zh) * 2016-12-29 2017-08-18 芜湖哈特机器人产业技术研究院有限公司 机器人抓取系统及抓取工件的方法
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONG-KYU OH等: "Development of Structured Light Based Bin–Picking System Using Primitive Models", 《SPRINGER》 *
张旭等: "平顶线结构光的中心检测算法及光刀平面标定", 《光子学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070818A (zh) * 2020-11-10 2020-12-11 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN112070818B (zh) * 2020-11-10 2021-02-05 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN113080155A (zh) * 2021-05-20 2021-07-09 西南大学 蚕蛹蛹体拾取装置及方法
CN113418927A (zh) * 2021-06-08 2021-09-21 长春汽车工业高等专科学校 基于线结构光的汽车模具视觉检测系统及检测方法
CN113513987A (zh) * 2021-07-10 2021-10-19 深慧视(深圳)科技有限公司 一种3d点云坐标生成装置
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113593049B (zh) * 2021-07-27 2023-08-04 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113762427A (zh) * 2021-11-10 2021-12-07 聚时科技(江苏)有限公司 一种工业自动化检测场景中的上料异常检测方法
CN114347015A (zh) * 2021-12-09 2022-04-15 华南理工大学 一种机器人抓取控制方法、系统、装置及介质
CN114347015B (zh) * 2021-12-09 2024-04-02 华南理工大学 一种机器人抓取控制方法、系统、装置及介质
CN115325935A (zh) * 2022-08-30 2022-11-11 扬州威视智能科技有限公司 一种基于3d视觉位姿检测的刷头上料方法及系统

Similar Documents

Publication Publication Date Title
CN111402411A (zh) 一种基于线结构光的散乱物识别抓取方法
CN112797915B (zh) 一种线结构光测量系统的标定方法、标定装置、以及系统
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
JP5839929B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN104331896B (zh) 一种基于深度信息的系统标定方法
JP5393318B2 (ja) 位置姿勢計測方法及び装置
EP2788717B1 (en) Position and orientation determination in 6-dof
CN109410256A (zh) 基于互信息的点云与影像自动高精度配准方法
CN113137920B (zh) 一种水下测量的设备与水下测量方法
Luna et al. Calibration of line-scan cameras
McIvor Calibration of a laser stripe profiler
JP2003130621A (ja) ３次元形状計測方法およびその装置
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110415363A (zh) 一种基于三目视觉的散乱物识别定位方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
JP7353757B2 (ja) アーチファクトを測定するための方法
CN112070844A (zh) 结构光系统的校准方法及装置、校准工具图、设备及介质
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
Koyuncu et al. Development of an optical 3D scanner based on structured light
CN102542563A (zh) 一种移动机器人前向单目视觉的建模方法
Huang et al. Line laser based researches on a three-dimensional measuring system
CN113432558A (zh) 一种基于激光的不规则物体表面积的测量装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710

RJ01 Rejection of invention patent application after publication