CN114742789B - 一种基于面结构光的通用零件拾取方法、系统及电子设备 - Google Patents

一种基于面结构光的通用零件拾取方法、系统及电子设备 Download PDF

Info

Publication number
CN114742789B
CN114742789B CN202210347693.6A CN202210347693A CN114742789B CN 114742789 B CN114742789 B CN 114742789B CN 202210347693 A CN202210347693 A CN 202210347693A CN 114742789 B CN114742789 B CN 114742789B
Authority
CN
China
Prior art keywords
picked
matched
dimensional
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210347693.6A
Other languages
English (en)
Other versions
CN114742789A (zh
Inventor
于泽华
高兴宇
刘晓珂
王小庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
National Space Science Center of CAS
Original Assignee
Guilin University of Electronic Technology
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology, National Space Science Center of CAS filed Critical Guilin University of Electronic Technology
Priority to CN202210347693.6A priority Critical patent/CN114742789B/zh
Publication of CN114742789A publication Critical patent/CN114742789A/zh
Application granted granted Critical
Publication of CN114742789B publication Critical patent/CN114742789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于面结构光的通用零件拾取方法，包括：获取所述待匹配零件表面的结构光二维图像；对所述结构光二维图像进行二值化处理得到二值图像；对二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将待匹配零件的标签信息存储于预设数据库中；对所述二值图像进行三维重建，得到三维点云；对三维点云进行三维模式匹配，对待匹配零件的位姿信息进行分类识别形成样本库并根据样本库判断待拾取零件的位姿信息；获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。本发明在进行拾取前不需要对零件进行人工分拣，通过样本库对比就能实现不同零件的识别，生产效率高。

Description

一种基于面结构光的通用零件拾取方法、系统及电子设备
技术领域
本发明属于工业自动化领域，具体涉及一种基于面结构光的通用零件拾取方法、系统及电子设备。
背景技术
工业生产随着机器人的参与，生产的效率得到了极大地提高。在最近的十年里，逐渐成为衡量一个国家制造业水平的重要标志。欧美发达国家希望在技术、产业方面继续领先优势，抢占制造业高端。智能装备将是未来制造业发展的主要方向。
目前的工业生产中，尚有大量的人工分拣零件现象存在。人工分拣零件的局限性在于效率低，同时需要很多的人力，增加产品的生产成本。解决这个问题的方法就是利用智能机器人，结合视觉系统取代人工分拣，使其能够自动抓取。将机器视觉和工业机器人结合，通过相机采集的图像信息，使用计算机进行图像处理，获取零件位姿信息。可以实现对工业机器人的引导，增加工业机器人的抗干扰能力和灵活性。
但是，目前的机器人拾取都是针对某一类形状大小都相同的零件，对工业机器人进行编程。在对不同大小的零件进行拾取时，依然需要重新编程对机器人进行设定，这导致机器人通用性较差，只能进行单一零件的拾取，也就是说，在进行拾取前需要对零件进行人工分拣，因此现有技术的应用场景和应用范围受限，生产效率较低。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于面结构光的通用零件拾取方法、系统及电子设备。本发明要解决的技术问题通过以下技术方案实现：
一种基于面结构光的通用零件拾取方法，包括：
向若干不同的待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
对所述结构光二维图像进行二值化处理得到二值图像；
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，包括：
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：
定义一个3×3的掩膜，分别计算领域像素值g1，g1，g2，…，g8和gc的差值，如果该差值大于或等于0，则gω(ω＝1，2，…，8)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的像素数据；
对每个像素得到的特征像素求其统计直方图，得到像素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性；
假设给定的训练样本表示为D＝{(x1，y1)，(x2，y2)…(xm，ym)}，yi∈ {-1，l}，yi用来表示两个不同的类别以找到一个分类器将训练样本分为两个不同的类别，即对于训练样本D在样本空间中找到一个超平面用来划分不同的类别，对于样本空间，划分超平面方程表示为：
wTx+b＝0
其中，，法向量w表示超平面的方向，b为位移项，表示超平面到原点之间的距离，对于样本空间中的任意一点x，其到该超平面(w，b)的距离可以表示为：
Figure BDA0003577555880000031
当超平面能够实现正确分类的效果时，则有：
Figure BDA0003577555880000032
两个不同类的支持向量到超平面的距离之和为：
Figure BDA0003577555880000033
寻找参数w和b，使||w||-1最大，利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，得到对应的拉格朗日函数：
Figure BDA0003577555880000041
得到原问题的对偶问题：
Figure BDA0003577555880000042
Figure BDA0003577555880000043
求出α后，再求出w和b即可获得机器学习模型：
Figure BDA0003577555880000044
在一个具体实施方式中，对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点之后，还包括：
判断所述三维点云的特征点的缺失比例高于预设比例阈值时，对所述三维点云按照补偿公式进行特征点补偿，所述补偿公式为：
Figure BDA0003577555880000045
其中，GIoUloss表示边界框回归的损失函数，
Figure BDA0003577555880000046
和
Figure BDA0003577555880000047
表示置信度预测损失函数，
Figure BDA0003577555880000048
表示类别预测损失函数。
在一个具体实施方式中，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：
统计每一个点(a3，1)领域共计(a3-a+2)个体素以内的点云数量，将该数据作为该点的新数据；
定义一个3×3×3的掩膜，分别计算领域体素值g1，g1，g2，…，g26和gc的差值，如果该差值大于或等于0，则gω(ω＝1，2，…，26)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的点云数据；
对每个点云得到的特征体素求其统计直方图，得到体素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过K近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
在一个具体实施方式中，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：
判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；
根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；
根据待拾取零件的重心信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：
获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；
根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，所述旋转矩阵为：
Figure BDA0003577555880000061
所述平移矩阵为：
Figure BDA0003577555880000062
其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，X、Y、Z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。
本发明同时提供一种基于面结构光的通用零件拾取系统，包括：
图像拍摄模块，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
二值化模块，用于对所述结构光二维图像进行二值化处理得到二值图像；
机器学习模块，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
三维重建模块，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
位姿处理模块，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
拾取模块，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
本发明同时提供一种电子设备，包括处理器、图形处理单元、通信接口、存储器和通信总线，其中，处理器，图形处理单元，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述基于面结构光的通用零件拾取方法的步骤。
本发明的有益效果：
1、本发明的基于面结构光的通用零件拾取方法将投影在零件上的光栅条纹和零件的图像处理后进行三维重建，在得到待拾取零件的位姿信息后判断待拾取零件与样本库和预设数据库中数据匹配关系，匹配无误后根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，本发明的方法能够对零件进行分类拾取，不仅能处理单一零件的拾取，还能处理不同零件的拾取，相比于现有技术通用性更强，在进行拾取前不需要对零件进行人工分拣，通过样本库对比就能实现不同零件的识别，生产效率高。
2、本发明的基于面结构光的通用零件拾取方法在而二值化之前对结构光二维图像进行增强处理，能够使得二值化时获得更好的边缘性，避免了二值化过程中前景和背景分割不准确导致的分类误差。
3、本发明的基于面结构光的通用零件拾取方法的二值化阈值对类间方差进行优化，通过解析函数的最优解得到二值化阈值使得阈值的准确度更高。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于面结构光的通用零件拾取方法流程示意图；
图2是本发明实施例提供的高斯高通滤波器增强图像过程示意图；
图3是本发明实施提供的三维重建过程示意图；
图4是本发明实施提供的点云特征提取过程的掩膜；
图5是本发明实施提供的点云特征提取过程的掩膜的展开图；
图6是本发明实施例提供的一种基于面结构光的通用零件拾取系统模块框图；
图7是本发明实施例提供的一种电子设备示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于面结构光的通用零件拾取方法流程示意图，包括：
S1、向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
在进行识别之前，需要建立相应的标准数据库，也就是通过对待匹配零件进行匹配后得到用于识别的标准数据库，待匹配零件可以为不同大小的零件，以及每个零件的不同角度以及不同重心状态，从而能够得到较为完整的数据。预设编码规则根据光栅条纹形状进行确定，具体的，光栅条纹通过投影仪等投影设备投射到零件表面，所述光栅条纹图像受到待测工件表面高低的调制产生变形，从而通过相机获得含有待测工件表面深度特征的条纹投影图，由于零件的大小不同，因此在进行投射时，光栅条纹宽度也需要进行调整，从而使变形量能够较清晰的反应，从而获取到精确的结构光二维图像。
S2、对所述结构光二维图像进行二值化处理得到二值图像；
二值化处理的核心在于二值化阈值的设定，本实施例通过如下方式进行设定：
S21、将所述结构光二维图像分为前景像素和背景像素；
S22、根据前景像素点数占比、前景像素点平均灰度值、后景像素点数占比、后景像素点平均灰度值以及结构光二维图像的总平均灰度值得到类间方差；
S23、将所述类间方差取值最大时的阈值T作为二值化阈值，从而对所述结构光二维图像进行二值化处理得到二值图像。
具体的，预设比例根据实际情况中，零件的最大尺寸和最小尺寸而定，例如，不同规格的零件有若干种，由于零件的大小不同，进行投射后，由于光线散射会使得，即使零件结构相同，也存在二维结构光图像存在差异，在处理时如果不考虑零件的关联性，这会导致不同规格的零件不能得到相关联的三维点云，从而造成处理误差。因此，对于同一类不同规格的零件，本实施例在处理时首先取最大规格零件进行阈值计算，其次去最小规格零件进行阈值计算，将两次阈值的平均值直接作为该同一类所有的阈值，统一进行处理。
其中，类间方差为δ2＝ω0(μ-μ0)2+ω1(μ-μ1)2＝ω0ω1(μ0-μ1)2；
前景像素点占比
Figure BDA0003577555880000101
背景像素点占比
Figure BDA0003577555880000102
图像的大小为 M×N，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1。前景像素点平均灰度值为μ0，背景像素点平均灰度值为μ1，总平均灰度为μ＝ω0μ0+ω1μ1。
优选的，请参见图2，在步骤S2之前，还可以包括对所述结构光二维图像进行增强的步骤：
S1a、将所述结构光二维图像进行二维离散傅里叶变换；
S1b、使用高斯高通滤波器对经过二维离散傅里叶变换的图像进行处理；
S1c、将高斯高通滤波器处理的图像和经过二维离散傅里叶变换的图像进行叠加得到增强的结构光二维图像；
其中，
二维离散傅里叶变换为：
Figure BDA0003577555880000103
高斯高通滤波器为：
Figure BDA0003577555880000104
G(u，v)＝Hhp(u，v)F(u，v)；
(u，v)空间上的逆变换g(x，y)为：
Figure BDA0003577555880000105
增强的结构光二维图像为：I(x，y)＝αf(x，y)+βg(x，y)。
其中，M、N表示横纵方向像素点个数，f(x，y)表示结构光二维图像； g(x，y)表示经过高斯高通滤波器处理的图像，α和β表示叠加系数系数，其中α+β＝1。
需要说明的是，图像边缘和其他地方的急剧变化会影响二值化的准确度，申请人发现该急剧变化与高频分量有关，通过在频域处理高通滤波器可以使图像锐化，高斯高通滤波器得到的结果比前两种更平滑，即使是小的物体和细条，高斯滤波后也较为清晰。
S3、对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：：
定义一个3×3的掩膜，分别计算领域像素值g1，g1，g2，…，g8和gc的差值，如果该差值大于或等于0，则gω(ω＝1，2，…，8)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的像素数据；
对每个点云得到的特征像素求其统计直方图，得到像素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过K近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
具体分类公式为：
Figure BDA0003577555880000111
其中，S和M分别表示测试样本的特征向量和匹配样本的特征向量。
假设给定的训练样本表示为D＝{(x1，y1)，(x2，y2)…(xm，ym)}，yi∈{-1，l}，yi用来表示两个不同的类别，其主要目的是找到一个分类器将训练样本分为两个不同的类别。即对于训练样本D在样本空间中找到一个超平面用来划分不同的类别。对于样本空间，划分超平面可用下面方程
wTx+b＝0
其中，法向量w用来表示超平面的方向，b为位移项用来表示超平面到原点之间的距离，所以该超平面可以由w和b来确定，如果将其标记为(w，b)，则对于样本空间中的任意一点x，其到该超平面(w，b)的距离可以表示为：
Figure BDA0003577555880000121
假设超平面能够实现正确分类的效果，则有：
Figure BDA0003577555880000122
两个不同类的支持向量到超平面的距离之和为：
Figure BDA0003577555880000123
寻找参数w和b，使||w||-1最大，相当于最小化||w||2。利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，可以得到上式的拉格朗日函数：
Figure BDA0003577555880000124
得到原问题的对偶问题：
Figure BDA0003577555880000125
Figure BDA0003577555880000126
求出α后，再求出w和b即可获得模型：
Figure BDA0003577555880000131
得到模型后，建立相应的零件数据库。
采用本实施例的上述模型，能够准确的识别零件种类信息、大小信息等参数，从而确保零件数据库的完整性。
S4、对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
请参见图3，三维重建首先需要进行前期的相机与投影仪之间的标定其特征在于采用了棋盘标定的方法：
准备一张黑白相间的棋盘格图片作为标定图片。之后，对标定图片在不同位置、不同角度、不同姿态下拍摄，最少需要3张，以10-20张为宜。标定板需要是黑白相间的矩形构成的棋盘图，制作精度要求较高。其次对每一张标定的图片，提取所有的角点信息。最后根据角点信息计算得到相机的内部参数矩阵A、外部参数矩阵[R T]和相机距离物体的距离。
图像像素坐标系与世界坐标系的关系：
Figure BDA0003577555880000132
令Zw＝0
Figure BDA0003577555880000141
简化得
Figure BDA0003577555880000142
称矩阵
Figure BDA0003577555880000143
为单应性矩阵，求解H即可得到相机的内部参数矩阵A、外部参数矩阵[R T] 和相机距离物体的距离。
利用相机外参计算相机坐标系中某位姿下标定板的平面方程，根据相机图像提取的角点像素坐标(进行畸变矫正后的位置)与相机光心的连线确定光线的空间射线表达式，射线与标定板平面的交点即为投影像素点对应的空间三维点。
为了确定投影仪标定板平面方程，相机先拍摄仅贴有“棋盘格图案”的标定板图像，使用棋盘标定法进行相机标定，则“棋盘格图案”中的角点确定当前位姿下的标定板与相机之间的变换矩阵。根据投影棋盘格角点的像素坐标与世界坐标的对应联系，对投影仪进行标定。
本实施例的三维重建方法采用格雷码三维重建方法，即在一组数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷码。它在相邻位间转换时，只有一位产生变化。它大大地减少了由一个状态到下一个状态时逻辑的混淆。格雷码仅改变一位，这样与其它编码同时改变两位或多位的情况相比更为可靠，即可减少出错的可能性。
通过对面结构光的图案进行编码图案的设计，使得投影图案的每个像素均可采用唯一的格雷码值进行对应。
相机与三维空间中的点之间的关系有
Figure BDA0003577555880000151
其中Zc是相机与零件之间的距离，Ac是相机内部参数，(uc，vc)是图像中的像素坐标，(Xc，Yc，Zc)是相机坐标系下的待测点的点PIc坐标。
投影仪可认为是相机的逆过程，因此有
Figure BDA0003577555880000152
其中Zp是相机与零件之间的距离，Ap是相机内部参数，(up，vp)是图像中的像素坐标，(Xp，Yp，Zp)是投影仪坐标系下的待测点的点PIp坐标。
设Oc和Op分别为相机光心和投影仪光心，则Oc，Op，PIc，PIp的坐标在世界坐标系下为
Oc：
Figure BDA0003577555880000153
OP：
Figure BDA0003577555880000161
PIc：
Figure BDA0003577555880000162
PIp：
Figure BDA0003577555880000163
其中Rc，tc是相机坐标系外部参数，Rp，tp是投影仪外部参数。
理论情况下，相机光线和投影仪光线的空间交点即为待测点，但由于误差的原因，相机光线和投影光线可能是异面直线，需求出PIc和PIp的中点，认为是待测点。
由于拍摄以及重建误差，得到的三维点云的特征点可能存在部分特征点缺失，从而无法完整的进行后续识别步骤，因此还需要对缺失的特征点进行补偿，具体的，是否需要进行补偿根据所述三维点云的特征点的缺失比例进行判断，如果高于预设比例阈值时，则表明缺失较大，则进行补偿，例如当缺失比例大于2％时对所述三维点云按照补偿公式进行特征点补偿，如果缺失比例小于2％，则认为三维点云的特征点是完整的，所述补偿公式为：
Figure BDA0003577555880000164
其中，GIoUloss表示边界框回归的损失函数，
Figure BDA0003577555880000165
和
Figure BDA0003577555880000166
表示置信度预测损失函数，
Figure BDA0003577555880000171
表示类别预测损失函数。
需要说明的是，对于进行缺失点补偿的零件进行标记，将该零件的置信度设置为90％，也就是说，在判断待拾取零件与样本库和预设数据库中数据匹配时，匹配程度达到90％可认为是匹配成功。
具体的，目标检测任务的损失函数一般由边界框回归损失和分类损失两部分构成。边界框回归损失中最常用的计算指标是交并比(IoU)，计算方法如下：
Figure BDA0003577555880000172
本实施例算法采用的是GIoU作为边界框回归的损失函数：
Figure BDA0003577555880000173
GIoUloss＝1-GIoU。
S5、对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
在一个具体实施方式中，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：
统计每一个点(a3，1)领域共计(a3-a+2)个体素以内的点云数量，将该数据作为该点的新数据；
请参见图4和图5，定义一个3×3×3的掩膜，分别计算领域体素值g1， g1，g2，…，g26和gc的差值，如果该差值大于或等于0，则gω(ω＝1，2，…，26) 位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的点云数据；
对每个点云得到的特征体素求其统计直方图，得到体素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过K近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
具体分类公式为：
Figure BDA0003577555880000181
其中，S和M分别表示测试样本的特征向量和匹配样本的特征向量。
S6、响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：
判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；
根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；
根据待拾取零件的重心信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：
获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；
根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。
在一个具体实施方式中，所述旋转矩阵为：
Figure BDA0003577555880000191
所述平移矩阵为：
Figure BDA0003577555880000192
其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，X、Y、Z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。
本发明同时提供一种基于面结构光的通用零件拾取系统，请参见图6，包括：
图像拍摄模块61，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
二值化模块62，用于对所述结构光二维图像进行二值化处理得到二值图像；
机器学习模块63，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
三维重建模块64，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
位姿处理模块65，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
拾取模块66，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置。
本发明同时提供一种电子设备，请参见图7，包括处理器71、通信接口 72、存储器73和通信总线74，其中，处理器71，通信接口72，存储器73通过通信总线74完成相互间的通信；
存储器73，用于存放计算机程序；
处理器71，用于执行存储器73上所存放的程序时，实现上述基于面结构光的通用零件拾取方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于面结构光的通用零件拾取方法，其特征在于，包括：
向若干不同的待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
对所述结构光二维图像进行二值化处理得到二值图像；
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置；
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：
定义一个3×3的掩膜，分别计算领域像素值g1，g1，g2，…，g8和gc的差值，如果该差值大于或等于0，则gω(ω＝1,2,…，8)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的像素数据；
对每个像素得到的特征像素求其统计直方图，得到像素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性；
假设给定的训练样本表示为D＝{(x1,y1),(x2,y2)…(xm,ym)}，yi∈{-1,l}，yi用来表示两个不同的类别以找到一个分类器将训练样本分为两个不同的类别，即对于训练样本D在样本空间中找到一个超平面用来划分不同的类别，对于样本空间，划分超平面方程表示为：
wTx+b＝0
其中，法向量w表示超平面的方向，b为位移项，表示超平面到原点之间的距离，对于样本空间中的任意一点x，其到该超平面(w,b)的距离可以表示为：
Figure FDA0003877664160000021
当超平面能够实现正确分类的效果时，则有：
Figure FDA0003877664160000022
两个不同类的支持向量到超平面的距离之和为：
Figure FDA0003877664160000023
寻找参数w和b，使||w||-1最大，利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，得到对应的拉格朗日函数：
Figure FDA0003877664160000024
得到原问题的对偶问题：
Figure FDA0003877664160000025
Figure FDA0003877664160000026
求出α后，再求出w和b即可获得机器学习模型：
Figure FDA0003877664160000031
2.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，对所述结构光二维图像进行二值化处理得到二值图像的步骤之前，还包括：
将所述结构光二维图像进行二维离散傅里叶变换；
使用高斯高通滤波器对经过二维离散傅里叶变换的图像进行处理；
将高斯高通滤波器处理的图像和经过二维离散傅里叶变换的图像进行叠加得到增强的结构光二维图像；
其中，
二维离散傅里叶变换为：
Figure FDA0003877664160000032
高斯高通滤波器为：
Figure FDA0003877664160000033
G(u,v)＝Hhp(u,v)F(u,v)；
(u,v)空间上的逆变换g(x,y)为：
Figure FDA0003877664160000034
增强的结构光二维图像为：I(x,y)＝αf(x,y)+βg(x,y)；
其中，M、N表示横纵方向像素点个数，f(x,y)表示结构光二维图像；g(x,y)表示经过高斯高通滤波器处理的图像，α和β表示叠加系数系数，其中α+β＝1。
3.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点之后，还包括：
判断所述三维点云的特征点的缺失比例高于预设比例阈值时，对所述三维点云按照补偿公式进行特征点补偿，所述补偿公式为：
Figure FDA0003877664160000041
其中，CIoUloss表示边界框回归的损失函数，
Figure FDA0003877664160000042
Figure FDA0003877664160000043
和
Figure FDA0003877664160000044
表示置信度预测损失函数，
Figure FDA0003877664160000045
表示类别预测损失函数。
4.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，根据所述三维点云的特征点对待匹配零件的位姿信息进行分类识别形成样本库，包括：
统计每一个点(a3,1)领域共计(a3-a+2)个体素以内的点云数量，将该点云数量作为该点的新数据；
定义一个3×3×3的掩膜，分别计算领域体素值g1，g1，g2，…，g26和gc的差值，如果该差值大于或等于0，则gω(ω＝1,2,…，26)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的点云数据；
对每个点云得到的特征体素求其统计直方图，得到体素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性，并通过K近邻分类器对测试样本贴上与其最相似匹配样本的标签完成分类。
5.根据权利要求1所述的基于面结构光的通用零件拾取方法，其特征在于，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置，包括：
判断待拾取零件的三维点云与样本库匹配时，对比该待拾取零件的特征点与预设数据库中的特征点以得到待拾取零件的旋转矩阵；
根据预设数据库中的特征点与目标的特征点之间的旋转矩阵得到拾取零件的特征点与目标的特征点的旋转矩阵；
根据待拾取零件的重心信息将待拾取零件拾取至相应位置。
6.根据权利要求5所述的基于面结构光的通用零件拾取方法，其特征在于，根据待拾取零件的重心信息将待拾取零件拾取至相应位置还包括：
获取相机坐标系和机械手坐标系的角度差和距离差得到旋转矩阵和平移矩阵，以计算待拾取零件的拾取位置相对于机械手的坐标；
根据待拾取零件的拾取位置相对于机械手的坐标以及待拾取零件的重心信息将待拾取零件拾取至相应位置。
7.根据权利要求6所述的基于面结构光的通用零件拾取方法，其特征在于，所述旋转矩阵为：
Figure FDA0003877664160000051
所述平移矩阵为：
Figure FDA0003877664160000052
其中，其中α、β、γ分别为三个维度上机械手坐标系与相机坐标系之间相差的角度，X、Y、Z分别为三个维度上机械手坐标系与相机坐标系之间相差的距离。
8.一种基于面结构光的通用零件拾取系统，其特征在于，包括：
图像拍摄模块，用于向待匹配零件投射经过预设编码规则编码的面结构光，基于该投射获取所述待匹配零件表面的结构光二维图像；
二值化模块，用于对所述结构光二维图像进行二值化处理得到二值图像；
机器学习模块，用于对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，并将所述待匹配零件的标签信息存储于预设数据库中，其中，所述标签信息包括待匹配零件的种类信息、大小信息；
三维重建模块，用于对所述二值图像进行三维重建，以使所述待匹配零件的二维信息转化为三维信息得到三维点云的特征点；
位姿处理模块，用于对所述三维点云进行三维模式匹配以对待匹配零件的位姿信息进行分类识别形成样本库并根据所述样本库判断待拾取零件的位姿信息，并将所述位姿信息存储于预设数据库中，其中，所述位姿信息包括待匹配零件的旋转信息和重心信息；
拾取模块，用于响应于接收到待拾取零件，通过机器学习获得待拾取零件的标签信息，之后通过三维模式匹配获得待拾取零件的位姿信息，并与预设数据库中的数据进行匹配，当判断待拾取零件与样本库和预设数据库中数据匹配时，根据该待拾取零件的位姿信息将待拾取零件拾取至相应位置；
对所述二值图像进行机器学习匹配，确定待匹配零件的零件种类，具体为：对所述二值图像建立机器学习模型进行图像识别以确定待匹配零件的零件种类，其中，机器学习模型建立方法包括：
定义一个3×3的掩膜，分别计算领域像素值g1，g1，g2，…，g8和gc的差值，如果该差值大于或等于0，则gω(ω＝1,2,…，8)位置处的二进制赋予2ω的权重，得到gc处的特征值，其中gc代表中心的像素数据；
对每个像素得到的特征像素求其统计直方图，得到像素特征向量；
利用卡方统计的方法来计算测试样本和匹配样本图像特征向量之间的相似性；
假设给定的训练样本表示为D＝{(x1,y1),(x2,y2)…(xm,ym)}，yi∈{-1,l}，yi用来表示两个不同的类别以找到一个分类器将训练样本分为两个不同的类别，即对于训练样本D在样本空间中找到一个超平面用来划分不同的类别，对于样本空间，划分超平面方程表示为：
wTx+b＝0
其中，法向量w表示超平面的方向，b为位移项，表示超平面到原点之间的距离，对于样本空间中的任意一点x，其到该超平面(w,b)的距离可以表示为：
Figure FDA0003877664160000071
当超平面能够实现正确分类的效果时，则有：
Figure FDA0003877664160000072
两个不同类的支持向量到超平面的距离之和为：
Figure FDA0003877664160000073
寻找参数w和b，使||w||-1最大，利用拉格朗日乘子法给每个约束条件添加拉格朗日乘子αi≥0，得到对应的拉格朗日函数：
Figure FDA0003877664160000074
得到原问题的对偶问题：
Figure FDA0003877664160000075
Figure FDA0003877664160000076
求出α后，再求出w和b即可获得机器学习模型：
Figure FDA0003877664160000077
9.一种电子设备，其特征在于，包括处理器、图形处理单元、通信接口、存储器和通信总线，其中，处理器，图形处理单元，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
CN202210347693.6A 2022-04-01 2022-04-01 一种基于面结构光的通用零件拾取方法、系统及电子设备 Active CN114742789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210347693.6A CN114742789B (zh) 2022-04-01 2022-04-01 一种基于面结构光的通用零件拾取方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210347693.6A CN114742789B (zh) 2022-04-01 2022-04-01 一种基于面结构光的通用零件拾取方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN114742789A CN114742789A (zh) 2022-07-12
CN114742789B true CN114742789B (zh) 2023-04-07

Family

ID=82280343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210347693.6A Active CN114742789B (zh) 2022-04-01 2022-04-01 一种基于面结构光的通用零件拾取方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114742789B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115837363B (zh) * 2023-02-20 2023-05-09 成都河狸智能科技有限责任公司 一种共享单车分拣系统及方法
CN117104831A (zh) * 2023-09-01 2023-11-24 中信戴卡股份有限公司 转向节工件的机器人3d识别及加工方法与系统
CN118181304B (zh) * 2024-05-13 2024-08-09 浙江正雅齿科股份有限公司 壳状矫治器的拾取方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743749A (zh) * 2014-01-03 2014-04-23 苏州吉视电子科技有限公司 片状零件表面质量检测装置和方法
CN106053479A (zh) * 2016-07-21 2016-10-26 湘潭大学 一种基于图像处理的工件外观缺陷的视觉检测系统
CN110595392A (zh) * 2019-09-26 2019-12-20 桂林电子科技大学 一种十字线结构光双目视觉扫描系统及方法
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268602A (zh) * 2014-10-14 2015-01-07 大连理工大学 一种基于二进制特征匹配的遮挡工件识别方法及装置
CN105180904B (zh) * 2015-09-21 2017-12-26 大连理工大学 基于编码结构光的高速运动目标位姿测量方法
CN106645185A (zh) * 2016-11-02 2017-05-10 桂林电子科技大学 一种智能检测工业零件表面质量的方法及装置
CN106737664B (zh) * 2016-11-25 2020-02-14 中国科学院自动化研究所 分拣多类工件的Delta机器人控制方法及系统
CN107362987A (zh) * 2017-06-07 2017-11-21 武汉科技大学 一种基于视觉的机器人分拣方法及系统
CN108555908B (zh) * 2018-04-12 2020-07-28 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线
CN110553600B (zh) * 2019-08-14 2021-05-14 华南理工大学 一种用于工件检测的结构光传感器仿真激光线的生成方法
CN113192054B (zh) * 2021-05-20 2023-04-28 清华大学天津高端装备研究院 基于2-3d视觉融合的繁杂零件检测与定位的方法及系统
CN113895953A (zh) * 2021-08-30 2022-01-07 南京流枫科技有限公司 用于异形工件的拾取装置及其拾取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743749A (zh) * 2014-01-03 2014-04-23 苏州吉视电子科技有限公司 片状零件表面质量检测装置和方法
CN106053479A (zh) * 2016-07-21 2016-10-26 湘潭大学 一种基于图像处理的工件外观缺陷的视觉检测系统
CN110595392A (zh) * 2019-09-26 2019-12-20 桂林电子科技大学 一种十字线结构光双目视觉扫描系统及方法
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统

Also Published As

Publication number Publication date
CN114742789A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114742789B (zh) 一种基于面结构光的通用零件拾取方法、系统及电子设备
CN107909613B (zh) 一种基于顶点的矩形引脚元件定位方法
CN113592886B (zh) 建筑图纸的审图方法、装置、电子设备及介质
CN110751620B (zh) 估算体积和重量的方法、电子设备及计算机可读存储介质
CN112164115A (zh) 物体位姿识别的方法、装置及计算机存储介质
CN112686950A (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
US12039747B1 (en) Polarity discrimination detection method and apparatus for multiple stacked electronic components and device
CN111832634A (zh) 异物检测方法、系统、终端设备及存储介质
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN111753858B (zh) 一种点云匹配方法、装置和重定位系统
CN113840135B (zh) 色偏检测方法、装置、设备及存储介质
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
CN114359172A (zh) 一种库存或陈列场景下的条烟多面检测识别方法及系统
WO2022222160A1 (en) Method and apparatus for identifying planes of objects in 3d scenes
CN117522860A (zh) 工件孔洞检测方法、装置及电子设备
CN114267032A (zh) 一种集装箱定位识别方法、装置、设备及存储介质
CN113469302A (zh) 一种视频图像的多圆形目标识别方法和系统
CN113538291A (zh) 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN114049380B (zh) 目标物体定位追踪方法、装置、计算机设备和存储介质
CN113658272B (zh) 车载摄像头标定方法、装置、设备及存储介质
CN114897987A (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN114744721A (zh) 一种机器人的充电控制方法、终端设备及存储介质
CN115922738B (zh) 堆叠场景下的电子元器件抓取方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 541010 No.1 Jinji Road, Qixing District, Guilin City, Guangxi Zhuang Autonomous Region

Applicant after: GUILIN University OF ELECTRONIC TECHNOLOGY

Applicant after: NATIONAL SPACE SCIENCE CENTER, CAS

Address before: 100190 No. two south of Zhongguancun, Haidian District, Beijing 1

Applicant before: NATIONAL SPACE SCIENCE CENTER, CAS

Applicant before: GUILIN University OF ELECTRONIC TECHNOLOGY

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant