CN110298885B - 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用 - Google Patents

一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用 Download PDF

Info

Publication number
CN110298885B
CN110298885B CN201910524962.XA CN201910524962A CN110298885B CN 110298885 B CN110298885 B CN 110298885B CN 201910524962 A CN201910524962 A CN 201910524962A CN 110298885 B CN110298885 B CN 110298885B
Authority
CN
China
Prior art keywords
smooth spheroid
clamping
target
smooth
clamping finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524962.XA
Other languages
English (en)
Other versions
CN110298885A (zh
Inventor
唐昀超
邹湘军
黄钊丰
吕家豪
黄矿裕
黄德意
陈明猷
姚明辉
张玉泉
李锦昭
何嘉楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Zhongkai University of Agriculture and Engineering
Original Assignee
South China Agricultural University
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University, Zhongkai University of Agriculture and Engineering filed Critical South China Agricultural University
Priority to CN201910524962.XA priority Critical patent/CN110298885B/zh
Publication of CN110298885A publication Critical patent/CN110298885A/zh
Application granted granted Critical
Publication of CN110298885B publication Critical patent/CN110298885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用。该方法通过相机标定、单目校正、双目校正、分割非光滑类球体目标与背景、双目测距，计算拟合出非光滑类球体目标三维位姿。该装置包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用上述立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持。本发明的立体视觉识别方法精度高，定位夹持检测装置，夹持稳定，具有容错功能，适用于复杂环境下目标的定位夹持。

Description

一种非光滑类球体目标的立体视觉识别方法和定位夹持检测 装置及其应用
技术领域
本发明涉及检测技术领域，特别涉及一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用。
背景技术
目前，在工程中非光滑、不规则的类似球体等复杂物体，主要是人工依靠目测进行分类、定位和分拣。但是，人工分类不精确，定位不准确，分拣劳动强度大，有时非光滑类球体如菠萝果实表面的刺还会伤害人的皮肤。视觉机器人可以代替人工作业，立体视觉具有检测三维目标的优势，但视觉定位和机构夹持仍存在难题。当目标为生物柔性体时，机构夹持柔性体可能会导致柔性体受力变形；当目标为不规则形状的果实时，机构需要区分果实的顶部和底部来进行定位，由于不规则形状目标的视觉定位与三维重构比较困难，导致机构对不规则形状目标的夹持难以精准。因此，用视觉检测这种非光滑、近似球体形状目标的分类、定位与三维重构，要寻求和创新特定的计算方法；进而将视觉检测的结果发送给夹持机构控制器，使得夹持机构能够准确夹持这类非光滑类球体目标，并正确放置到加工线上以实现去皮去芯的后续加工，这均需要开展创新的研究。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种自动识别分类、定位准确、检测精度高、成本低的非光滑类球体目标的立体视觉识别方法。
本发明的另一目的在于提供一种非光滑类球体目标的定位夹持检测装置及其应用。
本发明的目的通过下述技术方案实现：
一种非光滑类球体目标的立体视觉识别方法，包括下述步骤：
(1)相机标定：通过相机标定来获取用于校正拍摄图像畸变的相机内部参数矩阵和畸变参数矩阵；同时进行立体视觉的标定，得到两个相机之间的位置关系和用于双目校正的重投影矩阵；
(2)获取非光滑类球体目标的图像并进行单目校正：通过相机捕获非光滑类球体目标的数字图像，然后根据相机内部参数矩阵和畸变参数矩阵对数字图像进行畸变校正，得到单目校正后的无畸变数字图像；
(3)双目校正：根据步骤(1)中获得的重投影矩阵和左右两个相机的无畸变数字图像，计算出左右两个相机之间的旋转矩阵和平移矩阵，再采用旋转矩阵和平移矩阵对左右两个相机的无畸变数字图像进行双目校正，使得两个图像位于同一水平线上，得到双目校正后的左右图像；
(4)分割非光滑类球体目标与背景：运用Faster R-CNN算法，在双目校正后的左右图像中将非光滑类球体目标与背景分割，并用一层黑色掩膜覆盖背景，得到只保留非光滑类球体目标的图像；
(5)双目测距：利用步骤(3)中双目校正后的左右图像以及SGBM立体匹配算法生成视差图；然后根据视差图和步骤(4)中获得的只保留非光滑类球体目标的图像，计算出非光滑类球体目标表面的三维点云，其中三维点云坐标系的原点为左相机的光心位置；
(6)计算三维位姿：利用步骤(5)中获得的非光滑类球体目标表面的三维点云和RANSAC算法拟合出一个圆柱体的三维点云模型，拟合出的圆柱体的中心点就是非光滑类球体目标的中心点，圆柱体的中心点对应的三维空间坐标就是该非光滑类球体目标的中心点的三维空间坐标；根据拟合出的圆柱体的轴线，可求出轴线与X轴的夹角α、Y轴的夹角β、Z轴的夹角θ，得到的α、β、θ即非光滑类球体目标相对于左相机的光心位置的三维位姿。
步骤(4)中，先对非光滑类球体目标样本进行大量采样，获得用于深度学习训练的样本素材；然后利用在Ubuntu系统下TensorFlow框架的Faster R-CNN对样本素材进行训练，得到结果曲线收敛的TF-Faster R-CNN模型；接着利用opencv3.4.3库中的dnn模块调用训练好的TF-Faster R-CNN模型，调用模型后即可实现基于C++的Faster R-CNN算法，并在双目校正后的左右图像中将非光滑类球体目标从背景中分割出来。
步骤(5)中，SGBM(semi-global block matching)立体匹配算法，是一种用于计算双目视觉中视差的半全局匹配算法。SGBM的思路是：通过选取每个像素点的视差，组成一个视差图，设置一个和视差图相关的全局能量函数，使这个能量函数最小化，以达到求解每个像素最优视差的目的。能量函数形式如下：
Figure GDA0004065114480000021
其中，D指视差图，E(D)是该视差图对应的能量函数；p、q代表图像中的某个像素；Np指像素p的相邻像素点(一般认为8连通)；C(p,Dp)指当前像素点视差为Dp时，该像素点的cost；P1是一个惩罚系数，它适用于像素p相邻像素中视差值与p的视差值相差1的那些像素；P2是一个惩罚系数，它适用于像素p相邻像素中视差值与p的视差值相差大于1的那些像素；如果函数中的参数为真，I[.]函数返回1，否则返回0。
步骤(6)中，RANSAC算法输入是一组非光滑类球体目标的表面点云数据(往往含有较大的噪声或无效点)、一个用于解释观测数据的参数化模型以及预设的参数，预设的参数包括最大迭代次数、初始局内点占总集比例、误差阈值；RANSAC算法通过反复选择表面点云数据中的一组随机子集来达成目标；被选取的子集被假设为局内点，并用下述方法进行验证：
(1)先估计一个适用于所有局内点的模型，即模型所有未知的参数可以从局内点计算得出；
(2)用步骤(1)的模型去测试其他非局内点的数据；若某个数据在误差阈值范围内适用于步骤(1)的模型，则将该数据归类为局内点；
(3)如果步骤(2)中有足够多的数据被归类为局内点，则估计的模型就足够合理；
(4)再使用最小二乘法，用所有局内点去重新估计模型；
(5)最后，通过局内点与模型的错误率来评估模型；
(6)步骤(1)到步骤(5)的过程被重复执行10000-15000次，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用；最后保留准确度最高的模型。
更为具体的，本发明输入的参数化模型为圆柱面模型，模型具体描述如图4所示。圆柱面方程可以表示为：
Figure GDA0004065114480000031
其中，(x0,y0,z0)为圆柱轴线L上一点，(l,m,n)为圆柱轴线L方向向量，r为圆柱的半径，这七个参数可以确定一个圆柱面方程。
一种非光滑类球体目标的定位夹持检测装置，包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用上述立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持。
所述视觉检测机构，包括双目视觉系统13、相机平行支架14；双目视觉系统13安装在相机平行支架14上，相机平行支架14安装在非光滑类球体目标的传输带12的上方。
双目视觉系统13包括两个摄像机。
所述夹持机构，包括气缸1、底板2、铜柱3、仿生蟹钳定导向夹指4、仿生蟹钳动导向夹指5、连接板6、固定板7、角码8、力传感器9；气缸1安装在底板2上；气缸1的活塞杆与连接板6相连，用于驱动仿生蟹钳动导向夹指5；仿生蟹钳定导向夹指4和仿生蟹钳动导向夹指5分别通过铜柱3固定在底板2上；力传感器9安装在仿生蟹钳动导向夹指5的中部凸点上；固定板7通过角码8固定在底板2上。
所述仿生蟹钳定导向夹指4和仿生蟹钳动导向夹指5构成的夹指，其结构分为前中后三个部分。夹指的前部为V型结构，该结构具有自动定心和容错的功能：一方面，当夹指合拢时，V型结构的角度为110-130度，模仿蟹钳张开的形状，可以自动定心，即夹指会自动地将其中心线与非光滑类球体目标的中心共线；另一方面，当视觉检测机构识别获得非光滑类球体目标的定位信息后，非光滑类球体目标可能会受到传送过程中的震动等环境因素的干扰而发生位置变化，使得视觉检测机构获得的非光滑类球体目标的三维空间坐标与其实际的三维位姿存在误差，在V型结构的导向下，夹持机构在夹持非光滑类球体目标的过程中会自动修正夹指与非光滑类球体目标的相对位置，使非光滑类球体目标的中心与夹指张开的中心线对齐，即该V型结构具有容错功能。
所述V型结构的容错功能的操作步骤为：先使夹指张开至目标直径的一半，然后使气缸卸载，夹指向非光滑类球体目标靠近，由于目标为类球体，从而迫使V型结构的夹指前部继续张开，直至将非光滑类球体目标完全夹持。
夹指的前部尖端为内倒钩，内倒钩的侧面与前部V型结构的内侧基本平行，该结构可以防止非光滑类球体目标滑出。当夹指伸向非光滑类球体目标时，内倒钩不阻碍夹指前进，前部依然起导向定心作用；当夹指夹起非光滑类球体目标时，内倒钩可防止非光滑类球体目标掉出。
夹指的中部为非光滑类球体目标的截面形状，使得夹持过程中夹指与非光滑类球体目标有更多的接触点，提高夹持的稳定性；夹指的中部内侧有模仿蟹钳内侧的防滑凸点，防滑凸点的高度与非光滑类球体目标的表面凹坑相适应，用于在夹持过程中增加摩擦力，使非光滑类球体目标不会在夹持过程中掉落。夹指的中部安装有力传感器，用于控制夹指的夹紧力，当夹紧力大于一定值(以非光滑类球体目标承受损伤的最大压力为标准，但该值一定小于非光滑类球体目标承受损伤的最大压力)时，力传感器返回信号使夹紧力不再增加，从而不损伤非光滑类球体目标。
夹指的后部用于与其他零部件连接。
用于输送非光滑类球体目标的传输带12的侧面设置有六轴机械臂11，夹持机构通过固定板7与六轴机械臂11连接。
所述非光滑类球体目标的定位夹持检测装置的应用，包括下述步骤：
(1)将双目视觉系统13安装在相机平行支架14上，相机平行支架14安装在非光滑类球体目标的传输带12的上方，使两个摄像机正对传输带12，且与检测平面保持一定的距离；
(2)将夹持机构安装在位于传输带12旁边的六轴机械臂11上，使夹持机构可以夹到传输带12上的非光滑类球体目标；
(3)采用所述的非光滑类球体目标的立体视觉识别方法，双目视觉系统13实时拍摄传输带12上的非光滑类球体目标，并实时传送到工控机10，由工控机10进行图像处理，在线进行图像的单目校正、双目校正、分割非光滑类球体目标与背景、双目测距、计算三维位姿，获得非光滑类球体目标的中心点和三维位姿；
(4)工控机10将获得的非光滑类球体目标的中心点和三维位姿信息传输到夹持机构；然后由六轴机械臂11携带夹持机构运动至非光滑类球体目标的上方，夹持机构的气缸1动作，使仿生蟹钳动导向夹指5张开，仿生蟹钳定导向夹指4和仿生蟹钳动导向夹指5构成的夹指夹持非光滑类球体目标后，仿生蟹钳动导向夹指5夹紧，通过仿生蟹钳动导向夹指5上的力传感器9控制夹紧力，当夹紧力到达一定值时，夹紧力不再增加；夹指夹起非光滑类球体目标，将其送离传输带12。
本发明与现有技术相比具有如下优点和效果：
(1)本发明的立体视觉识别方法精度高，通过双目视觉系统、人机交互、噪声去除、三维重构等，实时计算非光滑类球体目标的三维坐标与姿态。
(2)本发明的定位夹持检测装置，安装方便，动作迅速，成本低，结构简单轻便。
(3)本发明的定位夹持检测装置，夹持稳定，具有容错功能，适用于复杂环境下目标的定位夹持；本发明还可以用于水果采摘机器人、其它机器人作业。
附图说明
图1为本发明的夹持机构的结构示意图。
图2为本发明在传输带上的工作示意图。
图3为实施例的立体视觉识别方法的流程图。
图4为输入的参数化模型。
1、气缸；2、底板；3、铜柱；4、仿生蟹钳定导向夹指；5、仿生蟹钳动导向夹指；6、连接板；7、固定板；8、角码；9、力传感器；10、工控机；11、六轴机械臂；12、传输带；13、双目视觉系统；14、相机平行支架。
具体实施方式
下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例
一种非光滑类球体目标的定位夹持检测装置，包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用上述立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持。所述夹持机构，如图1所示，包括气缸1、底板2、铜柱3、仿生蟹钳定导向夹指4、仿生蟹钳动导向夹指5、连接板6、固定板7、角码8、力传感器9；气缸1安装在底板2上；气缸1的活塞杆与连接板6相连，用于驱动仿生蟹钳动导向夹指5；仿生蟹钳定导向夹指4和仿生蟹钳动导向夹指5分别通过铜柱3固定在底板2上；力传感器9安装在仿生蟹钳动导向夹指5的中部凸点上；固定板7通过角码8固定在底板2上。
本实施例检测的非光滑类球体目标为菠萝。在检测时，如图2所示，将双目视觉系统13安装在相机平行支架14上，相机平行支架14安装在菠萝传输带12的上方，使两个摄像机正对传输带12，且与检测平面保持一定的距离；将夹持机构安装在位于传输带12旁边的六轴机械臂11上，使夹持机构可以夹到传输带12上的菠萝。双目视觉系统13将检测信息返回工控机10，再控制六轴机械臂与夹持机构执行夹持菠萝的动作。
如图3所示，双目视觉系统检测菠萝的三维空间坐标和姿态的步骤如下：
(1)打开相机，将双目摄像机组水平放置对准菠萝；
(2)通过摄像机捕获菠萝的数字图像，然后根据提前获得的摄像机的标定结果对数字图像进行畸变校正，得到校正后无畸变的菠萝图像；
(3)将左右两个摄像机获得的无畸变图像进行双目校正，使左右两幅图像位于同一水平线上；
(4)利用openCV库内自带的dnn接口，调用事先训练好的TF-Faster R-CNN模型对双目校正后的左右图像进行菠萝与背景的分割，只保留菠萝主体的图像，背景用一层黑色掩膜覆盖；
(5)利用步骤4中的左右两菠萝主体图像以及SGBM立体匹配算法生成视差图，然后再根据视差图计算出菠萝表面的三维点云；
(6)利用步骤5中获得的三维点云和RANSAC算法拟合出一个圆柱面模型；菠萝表面中心点的对应三维空间坐标为(x,y,z)，则菠萝类球体中心点三维空间坐标为(x,y,z+r)，其中r为拟合圆柱面模型的半径；根据拟合出的圆柱面的轴线可求出轴线与X轴(以左相机光心位置为原点的三维空间坐标系)的夹角α，Y轴的夹角β，Z轴的夹角θ。α,β,θ即非光滑类球体相对于左相机光心位置的三维位姿。
通过双目视觉系统检测到菠萝的三维空间坐标和姿态后，先使夹持机构开口的空心线对准菠萝的中心，仿生蟹钳动导向夹指张开，气缸卸载，夹指向目标靠近，因目标为类球体而迫使V型结构的夹指前部继续张开，夹持传输带上的菠萝，并在夹指前部仿生蟹钳结构的导向和防掉作用下自动定心、容错，直至将目标完全夹持。当两夹指夹持菠萝后，气缸动作使动夹指夹紧，并根据夹指中部的力传感器返回夹紧力信息控制夹紧力，最后夹持菠萝并将其运离传送带。
以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种非光滑类球体目标的定位夹持检测装置，其特征在于：所述非光滑类球体目标为菠萝；所述定位夹持检测装置包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持；所述夹持机构，包括气缸、底板、铜柱、仿生蟹钳定导向夹指、仿生蟹钳动导向夹指、连接板、固定板、角码、力传感器；气缸安装在底板上；气缸的活塞杆与连接板相连，用于驱动仿生蟹钳动导向夹指；仿生蟹钳定导向夹指和仿生蟹钳动导向夹指分别通过铜柱固定在底板上；力传感器安装在仿生蟹钳动导向夹指的中部凸点上；固定板通过角码固定在底板上；所述仿生蟹钳定导向夹指和仿生蟹钳动导向夹指构成的夹指，其结构分为前中后三个部分；夹指的前部为V型结构，当夹指合拢时，V型结构的角度为110～130度，该结构具有自动定心和容错的功能；夹指的前部尖端为内倒钩，内倒钩的侧面与前部V型结构的内侧基本平行，该结构可以防止非光滑类球体目标滑出；夹指的中部为非光滑类球体目标的截面形状，使得夹持过程中夹指与非光滑类球体目标有更多的接触点；夹指的中部内侧有模仿蟹钳内侧的防滑凸点，防滑凸点的高度与非光滑类球体目标的表面凹坑相适应，用于在夹持过程中增加摩擦力；夹指的中部安装有力传感器，用于控制夹指的夹紧力；
所述立体视觉识别方法，包括下述步骤：
(1)相机标定：通过相机标定来获取用于校正拍摄图像畸变的相机内部参数矩阵和畸变参数矩阵；同时进行立体视觉的标定，得到两个相机之间的位置关系和用于双目校正的重投影矩阵；
(2)获取非光滑类球体目标的图像并进行单目校正：通过相机捕获非光滑类球体目标的数字图像，然后根据相机内部参数矩阵和畸变参数矩阵对数字图像进行畸变校正，得到单目校正后的无畸变数字图像；
(3)双目校正：根据步骤(1)中获得的重投影矩阵和左右两个相机的无畸变数字图像，计算出左右两个相机之间的旋转矩阵和平移矩阵，再采用旋转矩阵和平移矩阵对左右两个相机的无畸变数字图像进行双目校正，使得两个图像位于同一水平线上，得到双目校正后的左右图像；
(4)分割非光滑类球体目标与背景：先对非光滑类球体目标样本进行大量采样，获得用于深度学习训练的样本素材；然后利用在Ubuntu系统下TensorFlow框架的Faster R-CNN对样本素材进行训练，得到结果曲线收敛的TF-Faster R-CNN模型；接着利用opencv3.4.3库中的dnn模块调用训练好的TF-Faster R-CNN模型，调用模型后即可实现基于C++的FasterR-CNN算法，在双目校正后的左右图像中将非光滑类球体目标与背景分割，并用一层黑色掩膜覆盖背景，得到只保留非光滑类球体目标的图像；
(5)双目测距：利用步骤(3)中双目校正后的左右图像以及SGBM立体匹配算法生成视差图；然后根据视差图和步骤(4)中获得的只保留非光滑类球体目标的图像，计算出非光滑类球体目标表面的三维点云，其中三维点云坐标系的原点为左相机的光心位置；
(6)计算三维位姿：利用步骤(5)中获得的非光滑类球体目标表面的三维点云和RANSAC算法拟合出一个圆柱体的三维点云模型，拟合出的圆柱体的中心点就是非光滑类球体目标的中心点，圆柱体的中心点对应的三维空间坐标就是该非光滑类球体目标的中心点的三维空间坐标；根据拟合出的圆柱体的轴线，可求出轴线与X轴的夹角α、Y轴的夹角β、Z轴的夹角θ，得到的α、β、θ即非光滑类球体目标相对于左相机的光心位置的三维位姿；
其中，RANSAC算法输入是一组非光滑类球体目标的表面点云数据、一个用于解释观测数据的参数化模型以及预设的参数，预设的参数包括最大迭代次数、初始局内点占总集比例、误差阈值；所述参数化模型为圆柱面模型，圆柱面方程可以表示为：
Figure FDA0004187705380000021
其中，(x0,y0,z0)为圆柱轴线L上一点，(l,m,n)为圆柱轴线L方向向量，r为圆柱的半径，这七个参数可以确定一个圆柱面方程。
2.根据权利要求1所述的非光滑类球体目标的定位夹持检测装置，其特征在于：所述视觉检测机构，包括双目视觉系统、相机平行支架；双目视觉系统安装在相机平行支架上，相机平行支架安装在非光滑类球体目标的传输带的上方。
3.根据权利要求1所述的非光滑类球体目标的定位夹持检测装置，其特征在于：用于输送非光滑类球体目标的传输带的侧面设置有六轴机械臂，夹持机构通过固定板与六轴机械臂连接。
4.一种权利要求1～3中任一项所述的非光滑类球体目标的定位夹持检测装置的应用，其特征在于包括下述步骤：
(1)将双目视觉系统安装在相机平行支架上，相机平行支架安装在非光滑类球体目标的传输带的上方，使两个摄像机正对传输带，且与检测平面保持一定的距离；
(2)将夹持机构安装在位于传输带旁边的六轴机械臂上，使夹持机构可以夹到传输带上的非光滑类球体目标；
(3)采用非光滑类球体目标的立体视觉识别方法，双目视觉系统实时拍摄传输带上的非光滑类球体目标，并实时传送到工控机，由工控机进行图像处理，在线进行图像的单目校正、双目校正、分割非光滑类球体目标与背景、双目测距、计算三维位姿，获得非光滑类球体目标的中心点和三维位姿；
(4)工控机将获得的非光滑类球体目标的中心点和三维位姿信息传输到夹持机构；然后由六轴机械臂携带夹持机构运动至非光滑类球体目标的上方，夹持机构的气缸动作，使仿生蟹钳动导向夹指张开，仿生蟹钳定导向夹指和仿生蟹钳动导向夹指构成的夹指夹持非光滑类球体目标后，仿生蟹钳动导向夹指夹紧，通过仿生蟹钳动导向夹指上的力传感器控制夹紧力；然后夹指夹起非光滑类球体目标，将其送离传输带。
CN201910524962.XA 2019-06-18 2019-06-18 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用 Active CN110298885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524962.XA CN110298885B (zh) 2019-06-18 2019-06-18 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524962.XA CN110298885B (zh) 2019-06-18 2019-06-18 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用

Publications (2)

Publication Number Publication Date
CN110298885A CN110298885A (zh) 2019-10-01
CN110298885B true CN110298885B (zh) 2023-06-27

Family

ID=68028161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524962.XA Active CN110298885B (zh) 2019-06-18 2019-06-18 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用

Country Status (1)

Country Link
CN (1) CN110298885B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062988B (zh) * 2019-11-29 2024-02-13 佛山科学技术学院 一种基于局部点云的葡萄位姿估计方法
CN113305808A (zh) * 2021-05-20 2021-08-27 深圳创达通讯科技有限公司 基于立体视觉识别传感器的定位夹持检测装置及方法
CN114347044B (zh) * 2022-03-17 2022-06-17 季华实验室 辣椒采摘方法、装置、电子设备及存储介质
CN114782554A (zh) * 2022-05-18 2022-07-22 西安中科光电精密工程有限公司 基于球形合作目标的立体相机位姿标定方法及系统
CN114946395B (zh) * 2022-06-01 2023-04-14 华南农业大学 一种用于管道水培叶菜采收的定心避让抓取装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN109389032A (zh) * 2018-08-27 2019-02-26 北京三快在线科技有限公司 图片真实性的确定方法、装置、电子设备及可读存储介质
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN108353622B (zh) * 2018-03-15 2023-10-03 广东工业大学 一种全自动菠萝采摘方法
CN108491892A (zh) * 2018-04-05 2018-09-04 聊城大学 基于机器视觉的水果分拣系统
CN108834576B (zh) * 2018-06-07 2021-03-26 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543493A (zh) * 2017-09-22 2019-03-29 杭州海康威视数字技术股份有限公司 一种车道线的检测方法、装置及电子设备
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN109389032A (zh) * 2018-08-27 2019-02-26 北京三快在线科技有限公司 图片真实性的确定方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN110298885A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298885B (zh) 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
US7283661B2 (en) Image processing apparatus
EP3742347A1 (en) Deep machine learning methods and apparatus for robotic grasping
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN110672007A (zh) 一种基于机器视觉的工件表面质量检测方法及系统
Nourani-Vatani et al. A study of feature extraction algorithms for optical flow tracking
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN113251926B (zh) 一种不规则物体的尺寸测量方法及测量装置
CN111784655A (zh) 一种水下机器人回收定位方法
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN113689509A (zh) 基于双目视觉的无序抓取方法、系统及存储介质
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN111551559A (zh) 一种基于多目视觉系统的lcd液晶屏缺陷检测方法
CN105023018A (zh) 一种喷码检测方法及系统
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN108555902B (zh) 一种机器人分拣物品的方法、装置及机器人
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114037595A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN111389750B (zh) 一种视觉测量系统及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant