CN114029946A - 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 - Google Patents
一种基于3d光栅引导机器人定位抓取的方法、装置及设备 Download PDFInfo
- Publication number
- CN114029946A CN114029946A CN202111199573.8A CN202111199573A CN114029946A CN 114029946 A CN114029946 A CN 114029946A CN 202111199573 A CN202111199573 A CN 202111199573A CN 114029946 A CN114029946 A CN 114029946A
- Authority
- CN
- China
- Prior art keywords
- robot
- point cloud
- binocular camera
- cloud information
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001914 filtration Methods 0.000 claims abstract description 39
- 230000002146 bilateral effect Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Abstract
本发明涉及一种基于3D光栅引导机器人定位抓取的方法、装置及设备，其方法包括将光栅扫描仪嵌入到双目相机之间；对双目相机进行标定；使双目相机与机器人进行手眼标定；使双目相机与机器人通信；使双目相机对待抓取物体进行拍摄，获得包括三维坐标的点云信息；采用双边滤波对点云信息进行平滑滤波，同时保留边界信息；基于滤波的点云信息进行三维物体识别，获得待抓取物体在机器人坐标系里的坐标；通过坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；使机器人根据机器人抓取位姿信息进行定位抓取。解决了现有技术引导机器人定位抓取时不能准确定位抓取物体问题。本发明具有准确定位抓取物体的效果。
Description
技术领域
本发明涉及工业自动化技术领域，尤其是涉及一种基于3D光栅引导机器人定位抓取的方法、装置及设备。
背景技术
随着科技与计算机工业的进步，自动化机械在制造业中得到了广泛应用。特别地，二维视觉技术通过摄像机拍摄一张平面照片，然后通过图像分析或比较来识别物体，以看到物体上的一个平面特征，进而用于缺失或呈现检测、离散目标分析模式对齐、条形码检查和光学字符验证、各种基于边缘检测的二维几何分析、以及引导机器人定位抓取等等，是自动化机器不可或缺的组成部分。
目前，由于二维视觉技术无法获得物体的空间坐标信息，因此不支持与形状有关的测量，如物体的平整度、表面角度、体积或区分同一颜色物体的特征，或具有接触面的物体位置之间的测量等等。再者，二维视觉技术测量物体的对比度，使得测量精度依赖于光照、颜色、灰度的变化，并且易受不同光照条件的影响。
针对上述中的相关技术，发明人认为存在有现有的二维视觉技术测量精度低，引导机器人定位抓取时不能准确定位抓取物体，在工业上难以应用推广的缺陷。
发明内容
为了准确定位抓取物体，本发明提供了一种基于3D光栅引导机器人定位抓取的方法、装置及设备。
第一方面，本发明提供一种基于3D光栅引导机器人定位抓取的方法，具有准确定位抓取物体的特点。
本发明是通过以下技术方案得以实现的：
一种基于3D光栅引导机器人定位抓取的方法，包括以下步骤：
将光栅扫描仪嵌入到双目相机之间，使所述光栅扫描仪为所述双目相机提供光源；
对所述双目相机进行标定，直至所述双目相机正确获取待抓取物体和双目相机之间的目标深度值；
使所述双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
使嵌入所述光栅扫描仪的标定后的所述双目相机与机器人通信；
使所述双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
采用双边滤波对所述点云信息进行平滑滤波，同时保留边界信息；
基于滤波的所述点云信息进行三维物体识别，将所述双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，所述坐标包括待抓取物体的X、Y、Z三维坐标；
通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
使机器人根据机器人抓取位姿信息进行定位抓取。
本发明在一较佳示例中可以进一步配置为：所述获得包括三维坐标的点云信息的步骤后，还包括以下步骤：
基于不同的曝光时间的低动态范围图像，选取每个曝光时间相对应的预设的低动态范围图像，合成高动态范围图像，优化所述点云信息。
本发明在一较佳示例中可以进一步配置为：所述采用双边滤波对所述点云信息进行平滑滤波的步骤包括：
预设中心点，通过各个点云信息到中心点的空间临近度，计算各个点云信息到中心点的空间临近度的权值；
基于各个点云信息的像素值相似度，计算各个点云信息的像素值相似度的权值；
基于各个点云信息到中心点的空间临近度的权值和像素值相似度的权值进行乘积，再与图像矩阵作卷积运算。
本发明在一较佳示例中可以进一步配置为：所述通过X、Y、Z三维坐标，计算机器人抓取位姿信息的步骤包括：
根据手眼标定得出的公式进行求逆解，获得机器人坐标中待抓取物体的坐标；
基于奇异值分解方法或最小二乘方法，求解位姿信息中的旋转矩阵与平移矩阵；
参照旋转矩阵与平移矩阵，估算抓取位姿，作为机器人抓取位姿信息。
本发明在一较佳示例中可以进一步配置为：所述基于滤波的所述点云信息进行三维物体识别前，还包括以下步骤：
基于高斯分布，计算每个点云信息与其它所有邻居点云的平均距离；
将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息。
本发明在一较佳示例中可以进一步配置为：所述使所述双目相机与机器人进行手眼标定的步骤包括：
采用手眼分离的方式，使所述双目相机和机器人的末端固定在一起，或，使所述双目相机固定在机器人外面的底座上，使双目相机的坐标系与机器人的坐标系连通。
通过采用上述技术方案，将光栅扫描仪嵌入到双目相机之间，使得双目相机的两个镜头之间有一个光栅光源，使光栅扫描仪为双目相机提供光源，使得双目相机拍摄的照片质量更好；对双目相机进行标定，获取双目相机的测量结果，并基于测量结果计算目标深度值，以从二维图像中获取三维信息，并得到待抓取物体和双目相机之间的深度，进而利于确定待抓取物体的空间位置；使双目相机与机器人进行手眼标定，以使得双目相机拍摄的图像坐标系与机器人的坐标系连通，进而获取机器人坐标系和双目相机坐标系之间的关系，将双目相机的视觉识别技术的结果转移到机器人坐标系下；再使双目相机与机器人通信，同时，使双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息，以获取待抓取物体的三维信息；采用双边滤波对点云信息进行平滑滤波，且保留边界信息，以考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存，使得待抓取物体的三维信息更准确完整；基于滤波的点云信息进行三维物体识别，将双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，且获得待抓取物体的X、Y、Z三维坐标，通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人，使机器人根据机器人抓取位姿信息进行定位抓取；进而基于3D光栅引导机器人定位抓取的方法能够精确获得机器人所要抓取目标的三维坐标和抓取位姿，测量精度较高，能引导机器人准确定位抓取物体，突破了CCD(charge coupled device，电荷耦合器件)相机二维平面的局限，是工业应用上的一次大胆尝试，利于在工业上应用推广。
进一步地，基于低动态范围图像合成高动态范围图像，优化采集的点云信息的图像画质，从而优化采集的点云信息的质量，进而利于更准确地获取待抓取物体的三维信息。
进一步地，采用双边滤波对所述点云信息进行平滑滤波，使各个点云信息到中心点的空间临近度的权值和像素值相似度的权值进行乘积，再与图像矩阵作卷积计算，以实现将二维高斯正态分布放在图像矩阵上做卷积运算的目的，优化采集的点云信息的质量，从而达到保边去噪的效果。
进一步地，对于每个点云，计算从它到其所有邻居点云的平均距离，并通过假设所得到的分布是具有平均值和标准偏差的高斯分布，因此，其平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云可以被认为是离群点云，可从数据集中去除，以去除离群点云，有利于更准确地获取待抓取物体的三维信息。
第二方面，本发明提供一种基于3D光栅引导机器人定位抓取的装置，具有准确定位抓取物体的特点。
本发明是通过以下技术方案得以实现的：
一种基于3D光栅引导机器人定位抓取的装置，包括：
光源模块，用于将光栅扫描仪嵌入到双目相机之间，使所述光栅扫描仪为所述双目相机提供光源；
相机标定模块，用于对所述双目相机进行标定，直至所述双目相机正确获取待抓取物体和双目相机之间的目标深度值；
手眼标定模块，用于使所述双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
通信模块，用于使嵌入所述光栅扫描仪的标定后的所述双目相机与机器人通信；
点云信息模块，用于使所述双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
处理模块，用于采用双边滤波对所述点云信息进行平滑滤波，同时保留边界信息；
识别模块，用于基于滤波的所述点云信息进行三维物体识别，将所述双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，所述坐标包括待抓取物体的X、Y、Z三维坐标；
位姿模块，用于通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
抓取模块，用于使机器人根据机器人抓取位姿信息进行定位抓取。
本发明在一较佳示例中可以进一步配置为：还包括：
优化模块，用于基于不同的曝光时间的低动态范围图像，选取每个曝光时间相对应的预设的低动态范围图像，合成高动态范围图像，优化所述点云信息。
本发明在一较佳示例中可以进一步配置为：还包括：
筛选模块，用于基于高斯分布，计算每个点云信息与其它所有邻居点云的平均距离，将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息。
第三方面，本发明提供一种计算机设备，具有准确定位抓取物体的特点。
本发明是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于3D光栅引导机器人定位抓取的方法的步骤。
综上所述，本发明包括以下至少一种有益技术效果：
1、一种基于3D光栅引导机器人定位抓取的方法能够精确获得机器人所要抓取目标的三维坐标和抓取位姿，测量精度较高，能引导机器人准确定位抓取物体，利于在工业上应用推广；
2、优化采集的点云信息的图像画质，利于更准确地获取待抓取物体的三维信息；
3、采用双边滤波对点云信息进行平滑滤波，实现将二维高斯正态分布放在图像矩阵上做卷积运算的目的，优化采集的点云信息的质量，从而达到保边去噪的效果；
4、从数据集中去除离群点云，优化3D模型质量，有利于更准确地获取待抓取物体的三维信息。
附图说明
图1是本发明其中一实施例一种基于3D光栅引导机器人定位抓取的方法的流程示意图。
图2是采用双边滤波对点云信息进行平滑滤波的步骤流程示意图。
图3是计算机器人抓取位姿信息的步骤流程示意图。
图4是本发明其中一实施例一种基于3D光栅引导机器人定位抓取的装置的结构框图。
具体实施方式
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本发明实施例作进一步详细描述。
参照图1，本发明实施例提供一种基于3D光栅引导机器人定位抓取的方法，所述方法的主要步骤描述如下。
S1:将光栅扫描仪嵌入到双目相机之间，使光栅扫描仪为双目相机提供光源；
S2:对双目相机进行标定，直至双目相机正确获取待抓取物体和双目相机之间的目标深度值；
S3:使双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
S4:使嵌入光栅扫描仪的标定后的双目相机与机器人通信；
S5:使双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
S7:采用双边滤波对点云信息进行平滑滤波，同时保留边界信息；
S9:基于滤波的点云信息进行三维物体识别，将双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，坐标包括待抓取物体的X、Y、Z三维坐标；
S10:通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
S11:使机器人根据机器人抓取位姿信息进行定位抓取。
具体地，S1:将光栅扫描仪嵌入到双目相机之间，进而双目相机的两个镜头之间有一个光栅光源，使光栅扫描仪以频段扫描的方式给为双目相机提供光源，本实施例中可以为通过正弦波扫描形式，以使得双目相机拍摄的照片质量更好。
进一步地，S2:对双目相机进行标定的步骤具体包括:基于标定板标定法，通过拍摄一组标定板照片，预设角点，检测标定板的角点坐标，并利用张正友标定算法标定相机的内外参数，得到双目相机的内外参数，即双目相机的测量结果。其中，相机内参数是与相机自身特性相关的参数，比如相机的焦距f、像素大小、左右相机基线b等，相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。
相机标定就是已知标定控制点的世界坐标和像素坐标，获取对应的映射关系，再由点的像素坐标去反推世界坐标，以进行后续测量等其他后续操作。
张正友标定算法，基于单平面棋盘格的相机标定方法，该方法使用简单实用性强，不需要额外的器材，一张打印的棋盘格即可；标定简单，相机和标定板可以任意放置；标定的精度高。
再根据测量结果对原始图像进行校正，使得校正后的两张图像位于同一平面且互相平行。
对校正后的两张图像进行像素点匹配，获得匹配结果，直至双目相机正确获取待抓取物体和双目相机之间的目标深度值。
根据匹配结果计算每个像素的深度，测算拍摄的图像中各个像素点的深度值，获得深度图，使图像转换为深度图。
基于双目相机产生的图像中各个像素点的深度值，即视差，根据公式z＝f*b/d，其中，f为相机焦距，b为左右相机基线，d为视差，计算工件和双目相机之间的目标深度值z，以从二维图像中获取三维信息，并得到待抓取物体和双目相机之间的深度，进而确定待抓取物体的空间位置。
S3:使双目相机与机器人进行手眼标定的步骤包括：
采用手眼分离的方式，使双目相机和机器人的末端固定在一起，称之为“眼在手”，或，使双目相机固定在机器人外面的底座上，称之为“眼在外”。
具体地，手眼标定一般采用设置N个特征点，分别获取双目相机坐标系和机器人坐标系中的坐标数据，并将两组数据进行求解，得出旋转矩阵R和转移矩阵T，假设机器人坐标数据矩阵为A,双目相机坐标数据矩阵为B，得到双目相机坐标系与机器人坐标系的转化矩阵公式：B＝RA+T。
机器人视觉应用中，手眼标定是一个非常基础且关键的问题。手眼标定的目的是使双目相机的坐标系与机器人的坐标系连通，获取机器人坐标系和相机坐标系的关系，以将双目相机的视觉识别的结果转移到机器人坐标系下。
S4:使嵌入光栅扫描仪的标定后的双目相机与机器人通信。具体地，借助Socket调用接口作为通信信道，通过TCP/IP网络协议发送数据，进行数据传输。
S5:使双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，基于图像获得包括三维坐标的点云信息，进而得到待抓取物体表面特性的海量点集合。
参照图2，S7:采用双边滤波对点云信息进行平滑滤波的步骤包括，
S71:预设中心点，通过各个点云信息到中心点的空间临近度，计算各个点云信息到中心点的空间临近度的权值；
S72:基于各个点云信息的像素值相似度，计算各个点云信息的像素值相似度的权值；
S73:基于各个点云信息到中心点的空间临近度的权值和像素值相似度的权值进行乘积，再与图像矩阵作卷积运算。
双边滤波是非线性滤波中的一种，结合图像的空间邻近度与像素值相似度，采用了两个高斯滤波的结合，一个高斯滤波负责计算空间邻近度的权值，也就是常用的高斯滤波器原理；而另一个高斯滤波负责计算像素值相似度的权值。在滤波时，双边滤波同时考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存。
其中，S71:预设中心点，对图像中一个像素点，设定一个预设大小的方形邻域，假设定该邻域的原点(0,0)为中心点，像素点的坐标为(x,y)。
基于图像上的每一个像素点的值是由其本身和邻域内其他像素点的值经过加权平均后得到的，通过预设的图像矩阵，扫描图像中的每一个像素点。图像矩阵是一个大小固定、由数值参数组成的数学矩阵，矩阵中的数据为权值。离中心点越近，权重越大。使中心点与方形邻域内的其他像素值进行加权平均后，得到该像素点的值，即该像素点到中心点的空间临近度，依此计算各个点云信息到中心点的空间临近度。
计算各个点云信息到中心点的空间临近度的权值，即加权平均数。
S72:计算各个点云信息的像素值相似度，使该像素点到方形邻域内的其他像素点的像素值的差值的绝对值的平方作为该像素点的像素值相似度，依此计算各个点云信息的像素值相似度。
使各个点云信息的像素值相似度进行加权平均，计算各个点云信息的像素值相似度的权值。
S73:基于各个点云信息的权值和像素值相似度的权值进行乘积，获得优化后的权值，使优化后的权值与预设的图像矩阵进行卷积运算，实现将二维高斯正态分布放在图像矩阵上做卷积运算，从而达到保边去噪的效果。
进而采用双边滤波对点云信息进行平滑滤波，同时保留边界信息，以考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存，使得待抓取物体的三维信息更准确完整。
S9:基于滤波的点云信息进行三维物体识别，将双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，坐标包括待抓取物体的X、Y、Z三维坐标。本实施例中，基于3DHough、GrabCut算法对待抓取物体进行三维识别。先由GrabCut算法将工件目标与背景进行图像切割，分割速度快，效果好；通过3DHough算法，将经典的将霍夫投票思想用于三维场景目标识别，票数最高视为目标物体质心在场景中的位置，以得出准确的目标位置。
参照图3，S10:通过X、Y、Z三维坐标，计算机器人抓取位姿信息的步骤包括，
S101:根据手眼标定得出的公式进行求逆解，获得机器人坐标中待抓取物体的坐标；
S102:基于奇异值分解方法或最小二乘方法，求解位姿信息中的旋转矩阵与平移矩阵；
S103:参照旋转矩阵与平移矩阵，估算抓取位姿，作为机器人抓取位姿信息。
S11:使机器人根据机器人抓取位姿信息进行定位抓取。
进而一种基于3D光栅引导机器人定位抓取的方法能够精确获得机器人所要抓取目标的三维坐标和抓取位姿，测量精度较高，能引导机器人准确定位抓取物体，突破了CCD(charge coupled device，电荷耦合器件)相机二维平面的局限，是工业应用上的一次大胆尝试，利于在工业上应用推广。
进一步地，S5:获得包括三维坐标的点云信息的步骤后，还包括以下步骤，
S6:基于不同的曝光时间的低动态范围(Low-Dynamic Range，LDR)图像，选取每个曝光时间相对应的预设的LDR图像，合成高动态范围(High-Dynamic Range，HDR)图像，以利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，优化采集的点云信息的图像画质，从而优化采集的点云信息的质量，进而利于更准确地获取待抓取物体的三维信息。
进一步地，S9:基于滤波的点云信息进行三维物体识别前，还包括以下步骤，
S8:基于高斯分布，计算每个点云信息与其它所有邻居点云的平均距离，将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息。
具体地，基于高斯分布的函数，由全局距离平均值和标准偏差来确定该函数边界，将点云信息代入该函数后，将真实值大于计算值的点云信息去除，以去除离群的点云信息，有利于更准确地获取待抓取物体的三维信息。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参照图4，本发明实施例还提供一种基于3D光栅引导机器人定位抓取的装置，该一种基于3D光栅引导机器人定位抓取的装置与上述实施例中一种基于3D光栅引导机器人定位抓取的方法一一对应。该一种基于3D光栅引导机器人定位抓取的装置包括，
光源模块，用于将光栅扫描仪嵌入到双目相机之间，使光栅扫描仪为双目相机提供光源；
相机标定模块，用于对双目相机进行标定，直至双目相机正确获取待抓取物体和双目相机之间的目标深度值；
手眼标定模块，用于使双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
通信模块，用于使嵌入光栅扫描仪的标定后的双目相机与机器人通信；
点云信息模块，用于使双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
优化模块，用于基于不同的曝光时间的低动态范围图像，选取每个曝光时间相对应的预设的低动态范围图像，合成高动态范围图像，优化所述点云信息；
处理模块，用于采用双边滤波对点云信息进行平滑滤波，同时保留边界信息；
筛选模块，用于基于高斯分布，计算已滤波的每个点云信息与其它所有邻居点云的平均距离，将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息；
识别模块，用于基于去除离群点云信息的点云信息进行三维物体识别，将双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，坐标包括待抓取物体的X、Y、Z三维坐标；
位姿模块，用于通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
抓取模块，用于使机器人根据机器人抓取位姿信息进行定位抓取。
关于一种基于3D光栅引导机器人定位抓取的装置的具体限定可以参见上文中对于一种基于3D光栅引导机器人定位抓取的方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于3D光栅引导机器人定位抓取的方法，执行时实现以下步骤：
S1:将光栅扫描仪嵌入到双目相机之间，使光栅扫描仪为双目相机提供光源；
S2:对双目相机进行标定，直至双目相机正确获取待抓取物体和双目相机之间的目标深度值；
S3:使双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
S4:使嵌入光栅扫描仪的标定后的双目相机与机器人通信；
S5:使双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
S7:采用双边滤波对点云信息进行平滑滤波，同时保留边界信息；
S9:基于滤波的点云信息进行三维物体识别，将双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，坐标包括待抓取物体的X、Y、Z三维坐标；
S10:通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
S11:使机器人根据机器人抓取位姿信息进行定位抓取。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
Claims (10)
1.一种基于3D光栅引导机器人定位抓取的方法，其特征在于，包括以下步骤：
将光栅扫描仪嵌入到双目相机之间，使所述光栅扫描仪为所述双目相机提供光源；
对所述双目相机进行标定，直至所述双目相机正确获取待抓取物体和双目相机之间的目标深度值；
使所述双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
使嵌入所述光栅扫描仪的标定后的所述双目相机与机器人通信；
使所述双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
采用双边滤波对所述点云信息进行平滑滤波，同时保留边界信息；
基于滤波的所述点云信息进行三维物体识别，将所述双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，所述坐标包括待抓取物体的X、Y、Z三维坐标；
通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
使机器人根据机器人抓取位姿信息进行定位抓取。
2.根据权利要求1所述的基于3D光栅引导机器人定位抓取的方法，其特征在于，所述获得包括三维坐标的点云信息的步骤后，还包括以下步骤：
基于不同的曝光时间的低动态范围图像，选取每个曝光时间相对应的预设的低动态范围图像，合成高动态范围图像，优化所述点云信息。
3.根据权利要求1所述的基于3D光栅引导机器人定位抓取的方法，其特征在于，所述采用双边滤波对所述点云信息进行平滑滤波的步骤包括：
预设中心点，通过各个点云信息到中心点的空间临近度，计算各个点云信息到中心点的空间临近度的权值；
基于各个点云信息的像素值相似度，计算各个点云信息的像素值相似度的权值；
基于各个点云信息到中心点的空间临近度的权值和像素值相似度的权值进行乘积，再与图像矩阵作卷积运算。
4.根据权利要求1所述的基于3D光栅引导机器人定位抓取的方法，其特征在于，所述通过X、Y、Z三维坐标，计算机器人抓取位姿信息的步骤包括：
根据手眼标定得出的公式进行求逆解，获得机器人坐标中待抓取物体的坐标；
基于奇异值分解方法或最小二乘方法，求解位姿信息中的旋转矩阵与平移矩阵；
参照旋转矩阵与平移矩阵，估算抓取位姿，作为机器人抓取位姿信息。
5.根据权利要求1-4任意一项所述的基于3D光栅引导机器人定位抓取的方法，其特征在于，所述基于滤波的所述点云信息进行三维物体识别前，还包括以下步骤：
基于高斯分布，计算每个点云信息与其它所有邻居点云的平均距离；
将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息。
6.根据权利要求1-4任意一项所述的基于3D光栅引导机器人定位抓取的方法，其特征在于，使所述双目相机与机器人进行手眼标定的步骤包括：
采用手眼分离的方式，使所述双目相机和机器人的末端固定在一起，或，使所述双目相机固定在机器人外面的底座上，使双目相机的坐标系与机器人的坐标系连通。
7.一种基于3D光栅引导机器人定位抓取的装置，其特征在于，包括：
光源模块，用于将光栅扫描仪嵌入到双目相机之间，使所述光栅扫描仪为所述双目相机提供光源；
相机标定模块，用于对所述双目相机进行标定，直至所述双目相机正确获取待抓取物体和双目相机之间的目标深度值；
手眼标定模块，用于使所述双目相机与机器人进行手眼标定，获取机器人坐标系和双目相机坐标系之间的关系；
通信模块，用于使嵌入所述光栅扫描仪的标定后的所述双目相机与机器人通信；
点云信息模块，用于使所述双目相机对待抓取物体进行拍摄，采集待抓取物体的图象，并获得包括三维坐标的点云信息；
处理模块，用于采用双边滤波对所述点云信息进行平滑滤波，同时保留边界信息；
识别模块，用于基于滤波的所述点云信息进行三维物体识别，将所述双目相机识别的待抓取物体的坐标转化到机器人的坐标系里，获得待抓取物体在机器人坐标系里的坐标，所述坐标包括待抓取物体的X、Y、Z三维坐标；
位姿模块，用于通过X、Y、Z三维坐标，计算机器人抓取位姿信息，并将机器人抓取位姿信息返回给机器人；
抓取模块，用于使机器人根据机器人抓取位姿信息进行定位抓取。
8.根据权利要求7所述的基于3D光栅引导机器人定位抓取的装置，其特征在于，还包括：
优化模块，用于基于不同的曝光时间的低动态范围图像，选取每个曝光时间相对应的预设的低动态范围图像，合成高动态范围图像，优化所述点云信息。
9.根据权利要求7所述的基于3D光栅引导机器人定位抓取的装置，其特征在于，还包括：
筛选模块，用于基于高斯分布，计算每个点云信息与其它所有邻居点云的平均距离，将平均距离在由全局距离平均值和标准偏差定义的阈值之外的所有点云信息从数据集中去除，去除离群的点云信息。
10.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6任意一项所述的基于3D光栅引导机器人定位抓取的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111199573.8A CN114029946A (zh) | 2021-10-14 | 2021-10-14 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
| PCT/CN2022/099913 WO2023060926A1 (zh) | 2021-10-14 | 2022-06-20 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111199573.8A CN114029946A (zh) | 2021-10-14 | 2021-10-14 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114029946A true CN114029946A (zh) | 2022-02-11 |
Family
ID=80134926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111199573.8A Pending CN114029946A (zh) | 2021-10-14 | 2021-10-14 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114029946A (zh) |
| WO (1) | WO2023060926A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114986521A (zh) * | 2022-08-01 | 2022-09-02 | 深圳市信润富联数字科技有限公司 | 物体抓取方法、装置、电子设备及可读存储介质 |
| CN115070779A (zh) * | 2022-08-22 | 2022-09-20 | 菲特（天津）检测技术有限公司 | 机器人抓取控制方法、系统及电子设备 |
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116330306B (zh) * | 2023-05-31 | 2023-08-15 | 之江实验室 | 一种物体的抓取方法、装置、存储介质及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102445164A (zh) * | 2011-10-12 | 2012-05-09 | 北京航空航天大学 | 一种大型构件表面三维形貌视觉测量方法及系统 |
| CN103067671A (zh) * | 2012-12-31 | 2013-04-24 | 华为技术有限公司 | 一种显示图像的方法及装置 |
| CN103175485A (zh) * | 2013-02-20 | 2013-06-26 | 天津工业大学 | 一种飞机涡轮发动机叶片修复机器人的视觉标定方法 |
| CN103986875A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、方法、终端及视频获取方法 |
| CN104251670A (zh) * | 2014-08-28 | 2014-12-31 | 合肥斯科尔智能科技有限公司 | 一种多目光栅三维扫描仪 |
| CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
| CN108656107A (zh) * | 2018-04-04 | 2018-10-16 | 北京航空航天大学 | 一种基于图像处理的机械臂抓取系统及方法 |
| CN113330915A (zh) * | 2021-05-26 | 2021-09-03 | 华南农业大学 | 双目视觉识别的自适应棉花收获方法及智能机械收获装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10076842B2 (en) * | 2016-09-28 | 2018-09-18 | Cognex Corporation | Simultaneous kinematic and hand-eye calibration |
| CN109249392B (zh) * | 2018-08-31 | 2021-03-23 | 先临三维科技股份有限公司 | 工件抓取系统的校准方法、标定件、装置、设备和介质 |
| CN109255813B (zh) * | 2018-09-06 | 2021-03-26 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及系统 |
| CN111476841B (zh) * | 2020-03-04 | 2020-12-29 | 哈尔滨工业大学 | 一种基于点云和图像的识别定位方法及系统 |
| CN112476434B (zh) * | 2020-11-24 | 2021-12-28 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及系统 |
| CN114029946A (zh) * | 2021-10-14 | 2022-02-11 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
-
2021
- 2021-10-14 CN CN202111199573.8A patent/CN114029946A/zh active Pending
-
2022
- 2022-06-20 WO PCT/CN2022/099913 patent/WO2023060926A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102445164A (zh) * | 2011-10-12 | 2012-05-09 | 北京航空航天大学 | 一种大型构件表面三维形貌视觉测量方法及系统 |
| CN103067671A (zh) * | 2012-12-31 | 2013-04-24 | 华为技术有限公司 | 一种显示图像的方法及装置 |
| CN103175485A (zh) * | 2013-02-20 | 2013-06-26 | 天津工业大学 | 一种飞机涡轮发动机叶片修复机器人的视觉标定方法 |
| CN103986875A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、方法、终端及视频获取方法 |
| CN104251670A (zh) * | 2014-08-28 | 2014-12-31 | 合肥斯科尔智能科技有限公司 | 一种多目光栅三维扫描仪 |
| CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
| CN108656107A (zh) * | 2018-04-04 | 2018-10-16 | 北京航空航天大学 | 一种基于图像处理的机械臂抓取系统及方法 |
| CN113330915A (zh) * | 2021-05-26 | 2021-09-03 | 华南农业大学 | 双目视觉识别的自适应棉花收获方法及智能机械收获装置 |
Non-Patent Citations (2)
| Title |
|---|
| 廖广军: "《公安数字影像处理与分析》", 31 March 2017, 广州：华南理工大学出版社 * |
| 牛草源: "基于双目相机的物体识别与点云抓取点估计研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
| CN114986521A (zh) * | 2022-08-01 | 2022-09-02 | 深圳市信润富联数字科技有限公司 | 物体抓取方法、装置、电子设备及可读存储介质 |
| CN115070779A (zh) * | 2022-08-22 | 2022-09-20 | 菲特（天津）检测技术有限公司 | 机器人抓取控制方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023060926A1 (zh) | 2023-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
| US10899014B2 (en) | Multiple lens-based smart mechanical arm and positioning and assembly method thereof | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| CN112967339B (zh) | 一种车辆位姿的确定方法、车辆控制方法及装置、车辆 | |
| CN112233181A (zh) | 6d位姿识别的方法、装置及计算机存储介质 | |
| CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| CN111738320B (zh) | 基于模板匹配的遮挡工件识别方法 | |
| Tran et al. | Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN116958146B (zh) | 3d点云的采集方法及装置、电子装置 | |
| CN113129383A (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN113221953B (zh) | 基于实例分割和双目深度估计的目标姿态识别系统与方法 | |
| Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
| Chen et al. | Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision | |
| CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
| CN115830018B (zh) | 基于深度学习与双目视觉的碳素块检测方法及系统 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN114782529A (zh) | 一种面向带电作业机器人的抓线点高精度定位方法、系统及存储介质 | |
| CN114049304A (zh) | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 | |
| CN112102419B (zh) | 双光成像设备标定方法及系统、图像配准方法 | |
| CN112785647A (zh) | 一种三目立体图像检测方法和系统 | |
| CN114022342A (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |