CN111428731B - 基于机器视觉的多类目标识别定位方法、装置和设备 - Google Patents
基于机器视觉的多类目标识别定位方法、装置和设备 Download PDFInfo
- Publication number
- CN111428731B CN111428731B CN202010108435.3A CN202010108435A CN111428731B CN 111428731 B CN111428731 B CN 111428731B CN 202010108435 A CN202010108435 A CN 202010108435A CN 111428731 B CN111428731 B CN 111428731B
- Authority
- CN
- China
- Prior art keywords
- target
- grabbing
- ellipse fitting
- image
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000003708 edge detection Methods 0.000 claims abstract description 26
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000009776 industrial production Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于机器视觉的多类目标识别定位方法，应用于机器人控制技术领域，用于解决现有机器人抓取控制的抓取准确率和效率较低的问题。本申请提供的方法包括：获取目标区域内零部件目标的目标图像；对目标图像进行特征提取和特征融合，得到目标融合特征；将目标融合特征输入预先训练好的分类模型中，得到目标图像中各个零部件目标的分类结果；对目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；对候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到各个抓取分数；根据预设的决策规则和各个抓取分数，确定最优抓取目标；通过目标图像计算出最优抓取目标的坐标位置信息。
Description
本申请以2019年04月14日提交的申请号为201910273197.9，名称为“一种基于机器视觉的多类目标识别定位方法”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及机器人控制技术领域，尤其涉及基于机器视觉的多类目标识别定位方法、装置和设备。
背景技术
随着工业生产对生产线柔性和自动化程度的要求不断提高，单纯的工业机器人已很难满足一些场景的需求，所以基于机器视觉的工业机器人越来越受到更多关注。抓取是工业生产中的一个常见动作，也是工业机器人必备的基本动作。在抓取任务中，自主抓取受到许多研究者的青睐。自主抓取是指机器人可以直观地感知潜在目标的能力，并且可以通过自动定位目标，实现正确抓取。自主抓取的难点在于机器人缺乏对复杂环境感知信息的充分理解，这无疑将使机器人无法准确定位抓取目标的位置。因此，可以利用视觉信息帮助机器人进行目标的识别和定位。
在机器人抓取控制中，大多数现有技术都只专注于处理固定放置的物体，且抓取目标种类单一，在确定抓取目标后，只需要考虑如何抓取，并没有实现真正意义上的分类识别。然而在工业制造领域如积木机器人生产线上的小型零部件材料的分拣，则对机械臂的智能性和灵活度要求更高，一堆待抓取小型零件周围往往混乱堆叠着许多其他干扰目标，并且有的零件只是形状大小相同，而颜色不同。因此，现有技术在工业生产线上面对无序摆放、相互堆叠的小微型零部件时，还无法实现真正意义上的分拣，且其抓取准确率和抓取效率均较低。
发明内容
本申请实施例提供一种基于机器视觉的多类目标识别定位方法、装置、计算机设备及存储介质，以解决现有机器人抓取控制的抓取准确率和效率较低的问题。
一种基于机器视觉的多类目标识别定位方法，包括：
获取目标区域内零部件目标的目标图像；
对所述目标图像进行特征提取和特征融合，得到目标融合特征；
将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
通过所述目标图像计算出所述最优抓取目标的坐标位置信息。
一种基于机器视觉的多类目标识别定位装置，包括：
目标图像获取模块，用于获取目标区域内零部件目标的目标图像；
特征融合模块，用于对所述目标图像进行特征提取和特征融合，得到目标融合特征；
目标分类模块，用于将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
目标拟合模块，用于对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
抓取评分模块，用于对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
最优目标确定模块，用于根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
目标位置计算模块，用于通过所述目标图像计算出所述最优抓取目标的坐标位置信息。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于机器视觉的多类目标识别定位方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于机器视觉的多类目标识别定位方法的步骤。
上述基于机器视觉的多类目标识别定位方法、装置、计算机设备及存储介质，首先，获取目标区域内零部件目标的目标图像；然后，对所述目标图像进行特征提取和特征融合，得到目标融合特征；接着，将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；再之，对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；次之，根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；最后，通过所述目标图像计算出所述最优抓取目标的坐标位置信息。可见，本申请能够基于机器视觉完成对抓取目标的分类识别和精准定位，并通过预设评分机制确定最优抓取目标及其位置信息，可以消除外部物理特征如倾斜程度、表面覆盖程度以及位置对零部件抓取造成的影响，提高了机械臂的抓取准确率和抓取效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中基于机器视觉的多类目标识别定位方法的一流程图；
图2是本申请一实施例中基于机器视觉的多类目标识别定位方法步骤102在一个应用场景下的流程示意图；
图3是本申请一实施例中基于机器视觉的多类目标识别定位方法步骤104在一个应用场景下的流程示意图；
图4是本申请一实施例中基于机器视觉的多类目标识别定位方法步骤105在一个应用场景下的流程示意图；
图5是本申请一实施例中基于机器视觉的多类目标识别定位装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的基于机器视觉的多类目标识别定位方法，可应用在机械臂上的视觉处理器中，该视觉处理器用于接收安装在机械臂上的视觉传感器采集的图像，分析图像进行零部件目标的分类识别和定位，确定最优抓取目标及其坐标位置，以提供给机械臂的控制终端完成目标抓取。其中，该控制终端为可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。
在一实施例中，如图1所示，提供一种基于机器视觉的多类目标识别定位方法，以该方法应用在机械臂上的视觉处理器为例进行说明，包括如下步骤：
101、获取目标区域内零部件目标的目标图像；
本实施例中，在工业生产中抓取零部件目标时，主控终端可以控制机械臂移动至工作区域(即目标区域)，通过机械臂上的视觉传感器采集目标区域上的图像，得到区域内零部件目标的目标图像。这些采集到的目标图像可以提供给机械臂上的视觉处理器，从而该视觉处理器可以获取到目标区域内零部件目标的目标图像。
102、对所述目标图像进行特征提取和特征融合，得到目标融合特征；
在得到该目标图像后，为便于后续步骤对图像的处理，需要先对该目标图像进行特征提取，然后将提取后的特征融合，得到该目标图像对应的目标融合特征。
具体地，如图2所示，步骤102可以包括：
201、对所述目标图像进行SIFT特征提取，得到所述目标图像的SIFT特征；
202、基于RGB颜色空间对所述目标图像进行颜色直方图特征提取，得到所述目标图像的RGB颜色特征；
203、采用串行特征组合方式将所述SIFT特征和RGB颜色特征进行融合，得到目标融合特征。
对于步骤201，具体的，SIFT特征提取需首先在目标图像的尺度空间进行极值检测，对检测到的极值点进行关键点定位，通过利用目标图像的局部特征进行关键点的梯度计算，并使用直方图统计其对应邻域内像素的梯度和方向，提取关键点邻域的梯度信息作为该关键点的特征向量，进而获取目标图像的SIFT特征。SIFT特征在区分不同形状零部件方面具有良好的优势，此外，SIFT特征的扩展性也使得它能够与RGB直方图特征进行特征组合。
对于步骤202，另一方面，可以基于RGB颜色空间进行目标图像的颜色直方图特征提取，从而得到所述目标图像的RGB颜色特征。
对于步骤203，在进行特征融合时，可以采用串行特征组合方式将所述SIFT特征和RGB颜色特征进行融合，得到目标融合特征。进一步的，为了使融合后的特征能够兼顾SIFT特征和RGB颜色特征，本实施例中，具体可以采用1:1的权重来融合两者，这种方式可以极大地消除实验样品中大量形状相同、颜色不同的零部件对分类模型分类识别结果的影响。
优选的，在一个具体应用场景中，提取了192维SIFT特征和192维RGB直方图颜色特征(包括64维R通道特征和64维G通道特征和64维B通道特征)，然后将合并后的特征矩阵发送给分类模型。
103、将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
具体地，本实施例中可以预先训练好分类模型，然后将该分类模型提供给该视觉处理器使用。其中，该分类模型具体可以为支持向量机(Support Vector Machine,SVM)。在训练SVM时，首先可以通过对训练样本的特征数据和目标种类标签作为输入进行SVM模型的训练，得到SVM分类器模型，然后在测试阶段，调用该SVM分类器模型来对新图像进行类别预测，根据预测结果给出该图像中零部件的类别编号，测试通过后，即可确定该SVM分类器模型为预先训练好的分类模型。
视觉处理器在获取到该目标融合特征后，可以将所述目标融合特征输入预先训练好的分类模型中，从而得到该分类模型输出的所述目标图像中各个零部件目标的分类结果。
104、对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
本实施例中，考虑到很多零部件目标是堆叠在一起的，为了更好地识别和定位可抓取目标，还需要对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，并确定候选抓取目标区域以及椭圆拟合目标。
具体地，如图3所示，所述步骤104可以包括：
301、对所述目标图像进行预处理；
302、对预处理后的目标图像中分类后的各个零部件目标进行边缘检测，提取得到二值轮廓图像；
303、将所述二值轮廓图像进行形态学膨胀，并利用边缘检测对膨胀后的图像进行二次轮廓提取；
304、对二次轮廓提取得到的图像进行滤波，确定候选抓取目标区域；
305、对所述候选抓取目标区域内的零部件目标的轮廓进行椭圆拟合，得到椭圆拟合目标。
对于步骤301，首先，视觉处理器需先对目标图像进行预处理，包括图像锐化和灰度化。
图像锐化采用高通滤波使高频分量平滑通过，并且可以适当地抑制中低频分量，该操作也具有放大图像轮廓特征的同时排除光线影响的效果。
为了降低提取零部件尺寸和轮廓的难度，将目标图像进行灰度化处理，即：将RGB通道图像转换为灰度图像。
对于步骤302，视觉处理器可以利用高斯滤波对所述预处理后的目标图像进行平滑处理，得到平滑图像；然后，利用Canny算子模板获得所述平滑图像的梯度幅度和梯度方向；接着，采用非最大值抑制算法(Non-Maximum Supression,NMS)对所述平滑图像进行优化处理，得到优化后图像；最后，采用双阈值法结合所述梯度幅度和梯度方向对所述优化后图像进行边缘检测，提取得到二值轮廓图像。
优选地，本实施例中的Canny算子模板具体地可以为Canny算子2×2模板。
对于步骤303，可以将canny边缘检测提取得到的二值轮廓图像，进行形态学膨胀，图像形态学膨胀的目的是在有效消除图像噪声的同时，实现放大图像目标轮廓和尺度特征的作用。随后利用边缘检测对形态学膨胀后的图像进行二次轮廓提取，得到覆盖面积更大的目标轮廓。
对于步骤304，将边缘检测得到的目标轮廓进行滤波和去噪，确定候选抓取目标区域。
对于步骤305，在确定候选抓取目标区域之后，可以对所述候选抓取目标区域内的零部件目标的轮廓进行椭圆拟合，得到椭圆拟合目标。优选的，本实施例中可以采用最小二乘椭圆拟合的方法对目标轮廓进行椭圆拟合。
105、对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
可以理解的是，经过椭圆拟合之后，往往能够找到多个可抓取的零部件目标，然而，它们倾斜状态和可抓面积各不相同，因此，对于每个可抓轮廓，依据机械臂上抓取装置的机械结构以及可抓轮廓的物理特征来预估其每次抓取成功的概率则尤为重要。
对于每一类零部件，其可抓指数与零部件状态存在如下准则：
1.零部件倾斜程度越小，则其可抓指数越大；
2.零部件表面被遮挡面积越小，则其可抓指数越大；
3.零部件位置离区域中心越近，则其可抓指数越大。
基于如上准则，本实施例中，视觉处理器可以对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数，以便后续步骤依据这些抓取分数来决策出最优抓取目标。
具体地，如图4所示，步骤105可以包括：
401、针对每个椭圆拟合目标，选取所述椭圆拟合目标的面积、长度和宽度作为三组实际特征值；
402、将所述椭圆拟合目标的三组期望特征值与三组实际特征值作差，得到三组偏差值，三组期望特征值是指在针对不同分类的椭圆拟合目标，预先设定的、经椭圆拟合后的面积、长度和宽度的期望值；
403、当所述三组偏差值满足预设偏差条件时，采用第一公式计算所述椭圆拟合目标的三组评分值，所述三组评分值是指面积对应的评分值、长度对应的评分值和宽度对应的评分值；
404、当所述述三组偏差值不满足预设偏差条件时，采用第二公式计算所述椭圆拟合目标的所述三组评分值；
405、根据所述三组评分值和所述三组评分值各组对应的预设权值系数，计算得到所述椭圆拟合目标的抓取分数。
对于上述步骤401-405，为便于理解，下面以一具体应用场景进行详细描述。
具体地，选择椭圆拟合目标的面积rarea、长度rlength和宽度rwidth作为三组特征值，对于每一类目标，预先设定好经椭圆拟合之后的期望特征值面积Earea，长度Elength和宽度Ewidth。
针对每一类目标，将三组期望特征值Earea、Elength、Ewidth分别与实际提取到的特征值rarea、rlength、rwidth作差，得到三组偏差值xarea、xlength、xwidth。
xi＝|ri-Ei|
其中，i＝area、length或width，分别表示面积、长度和宽度对应的组别。
设定barea、blength、bwidth为椭圆拟合目标的面积、长度、宽度所允许的偏差值，当x满足xarea<barea、xlength<blength且xwidth<bwidth时，采用第一公式计算所述椭圆拟合目标的三组评分值。该第一公式为：
否则，采用第二公式计算所述椭圆拟合目标的所述三组评分值，该第二公式为：
其中，bi为第i组期望特征值，xi为第i组偏差值，Si为第i组特征的评分值，Sbest为评分值中的最高分，Sgood为预设容易抓取目标的期望得分，Sbad为呈现倾斜姿态或者表面被遮挡的目标的预设期望得分，C1和C2为归一化因子。
得到三组特征值各自的评分Si后，进行加权计算即可得到候选椭圆拟合目标的抓取分数S，设warea、wlength、wwidth分别为Sarea、Slength、Swidth的权值系数，则有：
S＝∑iSi*wi
一般情况下，椭圆拟合目标与待抓取目标一一对应，通过对候选抓取目标区域内的所有椭圆拟合目标进行评分，并根据决策规则确定最优抓取目标，计算其坐标位置信息，反馈给机械臂控制终端进行下一步操作。
优选的，在一个具体应用场景中，利用线性和指数分段函数对所有椭圆拟合目标进行评分，运用该策略可筛选出最优的椭圆拟合目标，其中Sbest取100分，Sgood取90。
优选的，本实施例中抓取评分机制根据目标轮廓的物理特征来预估候选抓取目标区域内椭圆拟合目标的可抓取指数。
优选的，本实施例中目标轮廓的物理特征包括目标的倾斜程度、表面被遮挡面积和所在位置，在某具体应用场景中，被遮挡或具有较大倾斜面的零部件评分均在40～70分之间，而呈现较为完整的几个零部件评分都在90分以上。
106、根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
可以理解的是，面对大量的零部件目标，确定可抓取成功率较高的目标进行优先抓取可有效提高机械臂的抓取效率。因此，在步骤105得到各个椭圆拟合目标各自对应的抓取分数之后，可以据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标。
具体地，步骤106可以为：若所述各个椭圆拟合目标中排行前N名的抓取分数均大于预设分数阈值，则从所述各个椭圆拟合目标中选取距离所述候选抓取目标区域的中心点最近的一个椭圆拟合目标，作为所述最优抓取目标，N大于或等于2；若所述各个椭圆拟合目标中排行前N名的抓取分数不均大于预设分数阈值，则将抓取分数最高的椭圆拟合目标确定为最优抓取目标。比如，若椭圆拟合目标评分的前三名分数均大于90分，则选择距离候选抓取目标区域的像素中心点最近的零部件目标进行抓取，否则，则选择得分最高的零部件目标进行抓取。
107、通过所述目标图像计算出所述最优抓取目标的坐标位置信息。
可以理解的是，在确定出最优抓取目标之后，可以通过所述目标图像计算出所述最优抓取目标的坐标位置信息。
具体地，可以先将所述最优抓取目标在所述目标图像中的像素位置信息转换为空间二维坐标。该方法还包括：通过测距传感器测量抓取设备距离所述最优抓取目标的垂直距离；然后，结合所述空间二维坐标和所述垂直距离确定所述最优抓取目标的空间三维坐标，以提供给所述抓取设备根据所述空间三维坐标抓取所述最优抓取目标。也即，视觉处理器采用该目标图像的图像信息，将最优抓取目标的像素位置信息转换为实际空间二维坐标(x,y)，该机械臂上还装配有测距传感器，通过该测距传感器测量机械臂距最优抓取目标的垂直距离z，从而，根据二维坐标(x,y)和垂直距离z可以得到该最优抓取目标的空间三维坐标(x,y,z)，视觉处理器将该空间三维坐标(x,y,z)发送给主控终端，主控终端控制机械臂移动末端执行组件至相应位置，进行目标抓取。
本申请实施例中，首先，获取目标区域内零部件目标的目标图像；然后，对所述目标图像进行特征提取和特征融合，得到目标融合特征；接着，将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；再之，对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；次之，根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；最后，通过所述目标图像计算出所述最优抓取目标的坐标位置信息。可见，本申请能够基于机器视觉完成对抓取目标的分类识别和精准定位，并通过预设评分机制确定最优抓取目标及其位置信息，可以消除外部物理特征如倾斜程度、表面覆盖程度以及位置对零部件抓取造成的影响，提高了机械臂的抓取准确率和抓取效率。
另外，由上述内容可知，本申请的基于机器视觉的多类目标识别定位方法，通过提取零部件目标更多的轮廓细节，在多种目标物混乱堆叠以及非定常光线等复杂环境下，可以有效排除干扰因素，能够对小微型零部件目标自动进行分类识别、确定最优抓取目标及其位置信息，并且上述过程也减少了数据处理的复杂度和计算量，可以降低计算成本，也能进一步提高工业机器人的可扩展性和功能优势，有助于减少人力成本，实现工业自动化生产。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于机器视觉的多类目标识别定位装置，该基于机器视觉的多类目标识别定位装置与上述实施例中基于机器视觉的多类目标识别定位方法一一对应。如图5所示，该基于机器视觉的多类目标识别定位装置包括目标图像获取模块501、特征融合模块502、目标分类模块503、目标拟合模块504、抓取评分模块505、最优目标确定模块506和目标位置计算模块507。各功能模块详细说明如下：
目标图像获取模块501，用于获取目标区域内零部件目标的目标图像；
特征融合模块502，用于对所述目标图像进行特征提取和特征融合，得到目标融合特征；
目标分类模块503，用于将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
目标拟合模块504，用于对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
抓取评分模块505，用于对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
最优目标确定模块506，用于根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
目标位置计算模块507，用于通过所述目标图像计算出所述最优抓取目标的坐标位置信息。
进一步地，所述特征融合模块可以包括：
SIFT特征提取单元，用于对所述目标图像进行SIFT特征提取，得到所述目标图像的SIFT特征；
RGB特征提取单元，用于基于RGB颜色空间对所述目标图像进行颜色直方图特征提取，得到所述目标图像的RGB颜色特征；
串行特征融合单元，用于采用串行特征组合方式将所述SIFT特征和RGB颜色特征进行融合，得到目标融合特征。
进一步地，所述目标拟合模块可以包括：
图像预处理单元，用于对所述目标图像进行预处理；
边缘检测单元，用于对预处理后的目标图像中分类后的各个零部件目标进行边缘检测，提取得到二值轮廓图像；
轮廓提取单元，用于将所述二值轮廓图像进行形态学膨胀，并利用边缘检测对膨胀后的图像进行二次轮廓提取；
区域确定单元，用于对二次轮廓提取得到的图像进行滤波，确定候选抓取目标区域；
椭圆拟合单元，用于对所述候选抓取目标区域内的零部件目标的轮廓进行椭圆拟合，得到椭圆拟合目标。
进一步地，所述边缘检测单元可以包括：
平滑处理子单元，用于利用高斯滤波对所述预处理后的目标图像进行平滑处理，得到平滑图像；
梯度计算子单元，用于利用Canny算子模板获得所述平滑图像的梯度幅度和梯度方向；
优化子单元，用于采用非最大值抑制算法对所述平滑图像进行优化处理，得到优化后图像；
检测子单元，用于采用双阈值法结合所述梯度幅度和梯度方向对所述优化后图像进行边缘检测，提取得到二值轮廓图像。
进一步地，所述抓取评分模块可以包括：
特征选取单元，用于针对每个椭圆拟合目标，选取所述椭圆拟合目标的面积、长度和宽度作为三组实际特征值；
特征偏差单元，用于将所述椭圆拟合目标的三组期望特征值与三组实际特征值作差，得到三组偏差值，三组期望特征值是指在针对不同分类的椭圆拟合目标，预先设定的、经椭圆拟合后的面积、长度和宽度的期望值；
第一计算单元，用于当所述三组偏差值满足预设偏差条件时，采用第一公式计算所述椭圆拟合目标的三组评分值，所述三组评分值是指面积对应的评分值、长度对应的评分值和宽度对应的评分值；
第二计算单元，用于当所述述三组偏差值不满足预设偏差条件时，采用第二公式计算所述椭圆拟合目标的所述三组评分值；
第三计算单元，用于根据所述三组评分值和所述三组评分值各组对应的预设权值系数，计算得到所述椭圆拟合目标的抓取分数；
所述第一公式为：
所述第二公式为：
其中，i＝area、length或width，分别表示面积、长度和宽度对应的组别；bi为第i组期望特征值，xi为第i组偏差值，Si为第i组特征的评分值，Sbest为评分值中的最高分，Sgood为预设容易抓取目标的期望得分，Sbad为呈现倾斜姿态或者表面被遮挡的目标的预设期望得分，C1和C2为归一化因子。
进一步地，所述最优目标确定模块可以包括：
第一目标确定单元，用于若所述各个椭圆拟合目标中排行前N名的抓取分数均大于预设分数阈值，则从所述各个椭圆拟合目标中选取距离所述候选抓取目标区域的中心点最近的一个椭圆拟合目标，作为所述最优抓取目标，N大于或等于2；
第二目标确定单元，用于若所述各个椭圆拟合目标中排行前N名的抓取分数不均大于预设分数阈值，则将抓取分数最高的椭圆拟合目标确定为最优抓取目标。
进一步地，所述目标位置计算模块可以包括：
坐标转换单元，用于将所述最优抓取目标在所述目标图像中的像素位置信息转换为空间二维坐标；
所述基于机器视觉的多类目标识别定位装置还可以包括：
垂直距离测量模块，用于通过测距传感器测量抓取设备距离所述最优抓取目标的垂直距离；
三维坐标确定模块，用于结合所述空间二维坐标和所述垂直距离确定所述最优抓取目标的空间三维坐标，以提供给所述抓取设备根据所述空间三维坐标抓取所述最优抓取目标。
关于基于机器视觉的多类目标识别定位装置的具体限定可以参见上文中对于基于机器视觉的多类目标识别定位方法的限定，在此不再赘述。上述基于机器视觉的多类目标识别定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于机器视觉的多类目标识别定位方法的步骤，例如图1所示的步骤101至步骤107。或者，处理器执行计算机程序时实现上述实施例中基于机器视觉的多类目标识别定位装置的各模块/单元的功能，例如图5所示模块501至模块507的功能。具体地，该计算机设备可以为机械臂的主控终端。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于机器视觉的多类目标识别定位方法的步骤，例如图1所示的步骤101至步骤107。或者，计算机程序被处理器执行时实现上述实施例中基于机器视觉的多类目标识别定位装置的各模块/单元的功能，例如图5所示模块501至模块507的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于机器视觉的多类目标识别定位方法，其特征在于，包括：
获取目标区域内零部件目标的目标图像；
对所述目标图像进行特征提取和特征融合，得到目标融合特征；
将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
通过所述目标图像计算出所述最优抓取目标的坐标位置信息；
所述对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数包括：
针对每个椭圆拟合目标，选取所述椭圆拟合目标的面积、长度和宽度作为三组实际特征值；
将所述椭圆拟合目标的三组期望特征值与三组实际特征值作差，得到三组偏差值，三组期望特征值是指在针对不同分类的椭圆拟合目标，预先设定的、经椭圆拟合后的面积、长度和宽度的期望值；
当所述三组偏差值满足预设偏差条件时，采用第一公式计算所述椭圆拟合目标的三组评分值，所述三组评分值是指面积对应的评分值、长度对应的评分值和宽度对应的评分值；
当所述三组偏差值不满足预设偏差条件时，采用第二公式计算所述椭圆拟合目标的所述三组评分值；
根据所述三组评分值和所述三组评分值各组对应的预设权值系数，计算得到所述椭圆拟合目标的抓取分数；
所述第一公式为：
所述第二公式为：
其中，i＝area、length或width，分别表示面积、长度和宽度对应的组别；bi为第i组期望特征值，xi为第i组偏差值，Si为第i组特征的评分值，Sbest为评分值中的最高分，Sgood为预设容易抓取目标的期望得分，Sbad为呈现倾斜姿态或者表面被遮挡的目标的预设期望得分，C1和C2为归一化因子。
2.根据权利要求1所述的基于机器视觉的多类目标识别定位方法，其特征在于，所述对所述目标图像进行特征提取和特征融合，得到目标融合特征包括：
对所述目标图像进行SIFT特征提取，得到所述目标图像的SIFT特征；
基于RGB颜色空间对所述目标图像进行颜色直方图特征提取，得到所述目标图像的RGB颜色特征；
采用串行特征组合方式将所述SIFT特征和RGB颜色特征进行融合，得到目标融合特征。
3.根据权利要求1所述的基于机器视觉的多类目标识别定位方法，其特征在于，所述对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标包括：
对所述目标图像进行预处理；
对预处理后的目标图像中分类后的各个零部件目标进行边缘检测，提取得到二值轮廓图像；
将所述二值轮廓图像进行形态学膨胀，并利用边缘检测对膨胀后的图像进行二次轮廓提取；
对二次轮廓提取得到的图像进行滤波，确定候选抓取目标区域；
对所述候选抓取目标区域内的零部件目标的轮廓进行椭圆拟合，得到椭圆拟合目标。
4.根据权利要求3所述的基于机器视觉的多类目标识别定位方法，其特征在于，所述对预处理后的目标图像中分类后的各个零部件目标进行边缘检测，提取得到二值轮廓图像包括：
利用高斯滤波对所述预处理后的目标图像进行平滑处理，得到平滑图像；
利用Canny算子模板获得所述平滑图像的梯度幅度和梯度方向；
采用非最大值抑制算法对所述平滑图像进行优化处理，得到优化后图像；
采用双阈值法结合所述梯度幅度和梯度方向对所述优化后图像进行边缘检测，提取得到二值轮廓图像。
5.根据权利要求1所述的基于机器视觉的多类目标识别定位方法，其特征在于，所述根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标包括：
若所述各个椭圆拟合目标中排行前N名的抓取分数均大于预设分数阈值，则从所述各个椭圆拟合目标中选取距离所述候选抓取目标区域的中心点最近的一个椭圆拟合目标，作为所述最优抓取目标，N大于或等于2；
若所述各个椭圆拟合目标中排行前N名的抓取分数不均大于预设分数阈值，则将抓取分数最高的椭圆拟合目标确定为最优抓取目标。
6.根据权利要求1至5中任一项所述的基于机器视觉的多类目标识别定位方法，其特征在于，所述通过所述目标图像计算出所述最优抓取目标的坐标位置信息包括：
将所述最优抓取目标在所述目标图像中的像素位置信息转换为空间二维坐标；
所述基于机器视觉的多类目标识别定位方法还包括：
通过测距传感器测量抓取设备距离所述最优抓取目标的垂直距离；
结合所述空间二维坐标和所述垂直距离确定所述最优抓取目标的空间三维坐标，以提供给所述抓取设备根据所述空间三维坐标抓取所述最优抓取目标。
7.一种基于机器视觉的多类目标识别定位装置，其特征在于，包括：
目标图像获取模块，用于获取目标区域内零部件目标的目标图像；
特征融合模块，用于对所述目标图像进行特征提取和特征融合，得到目标融合特征；
目标分类模块，用于将所述目标融合特征输入预先训练好的分类模型中，得到所述目标图像中各个零部件目标的分类结果；
目标拟合模块，用于对所述目标图像中分类后的各个零部件目标进行边缘检测和椭圆拟合，确定候选抓取目标区域以及椭圆拟合目标；
抓取评分模块，用于对所述候选抓取目标区域中的各个椭圆拟合目标进行抓取评分，得到所述各个椭圆拟合目标各自对应的抓取分数；
最优目标确定模块，用于根据预设的决策规则和所述各个椭圆拟合目标各自对应的抓取分数，确定所述各个椭圆拟合目标中的最优抓取目标；
目标位置计算模块，用于通过所述目标图像计算出所述最优抓取目标的坐标位置信息；
所述抓取评分模块包括：
特征选取单元，用于针对每个椭圆拟合目标，选取所述椭圆拟合目标的面积、长度和宽度作为三组实际特征值；
特征偏差单元，用于将所述椭圆拟合目标的三组期望特征值与三组实际特征值作差，得到三组偏差值，三组期望特征值是指在针对不同分类的椭圆拟合目标，预先设定的、经椭圆拟合后的面积、长度和宽度的期望值；
第一计算单元，用于当所述三组偏差值满足预设偏差条件时，采用第一公式计算所述椭圆拟合目标的三组评分值，所述三组评分值是指面积对应的评分值、长度对应的评分值和宽度对应的评分值；
第二计算单元，用于当所述三组偏差值不满足预设偏差条件时，采用第二公式计算所述椭圆拟合目标的所述三组评分值；
第三计算单元，用于根据所述三组评分值和所述三组评分值各组对应的预设权值系数，计算得到所述椭圆拟合目标的抓取分数；
所述第一公式为：
所述第二公式为：
其中，i＝area、length或width，分别表示面积、长度和宽度对应的组别；bi为第i组期望特征值，xi为第i组偏差值，Si为第i组特征的评分值，Sbest为评分值中的最高分，Sgood为预设容易抓取目标的期望得分，Sbad为呈现倾斜姿态或者表面被遮挡的目标的预设期望得分，C1和C2为归一化因子。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述基于机器视觉的多类目标识别定位方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述基于机器视觉的多类目标识别定位方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910273197 | 2019-04-04 | ||
| CN2019102731979 | 2019-04-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428731A CN111428731A (zh) | 2020-07-17 |
| CN111428731B true CN111428731B (zh) | 2023-09-26 |
Family
ID=71547030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010108435.3A Active CN111428731B (zh) | 2019-04-04 | 2020-02-21 | 基于机器视觉的多类目标识别定位方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428731B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI772909B (zh) * | 2020-08-06 | 2022-08-01 | 財團法人工業技術研究院 | 標註方法、應用其之裝置、系統、方法及電腦程式產品 |
| CN114092632A (zh) * | 2020-08-06 | 2022-02-25 | 财团法人工业技术研究院 | 标注方法、应用其的装置、系统、方法及计算机程序产品 |
| CN112070837A (zh) * | 2020-08-31 | 2020-12-11 | 浙江省机电设计研究院有限公司 | 一种基于视觉分析的零部件定位及抓取方法、系统 |
| CN112347887B (zh) * | 2020-10-28 | 2023-11-24 | 深圳市优必选科技股份有限公司 | 一种物体检测方法、物体检测装置及电子设备 |
| CN112529928A (zh) * | 2020-12-28 | 2021-03-19 | 晟通科技集团有限公司 | 零件组装检测方法、计算机设备及存储介质 |
| CN113877827B (zh) * | 2021-09-14 | 2023-06-16 | 深圳玩智商科技有限公司 | 物流件抓取方法、抓取设备及存储介质 |
| CN114623783A (zh) * | 2022-03-03 | 2022-06-14 | 北京好运达智创科技有限公司 | 梁体预埋件检验系统及方法 |
| CN115364494B (zh) * | 2022-07-26 | 2024-02-23 | 福州市鹭羽智能科技有限公司 | 一种基于图样的积木自动堆放装置及方法 |
| CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137893A (en) * | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
| JP2007164517A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 |
| CN103020626A (zh) * | 2011-09-28 | 2013-04-03 | 深圳市蓝韵实业有限公司 | 在图像中检测椭圆型目标的方法及系统 |
| CN205183185U (zh) * | 2015-11-24 | 2016-04-27 | 重庆市灵龙自动化设备有限公司 | 手机马达自动识别抓取装置 |
| CN106780605A (zh) * | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
| CN106824816A (zh) * | 2016-12-20 | 2017-06-13 | 浙江工业大学 | 一种基于机器视觉的pe瓶检测与分拣方法 |
| CN107292868A (zh) * | 2017-05-31 | 2017-10-24 | 瑞达昇科技(大连)有限公司 | 一种视盘定位方法及装置 |
| CN107748890A (zh) * | 2017-09-11 | 2018-03-02 | 汕头大学 | 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 |
| CN108022232A (zh) * | 2016-11-01 | 2018-05-11 | 中国科学院沈阳自动化研究所 | 一种飞行器表面铆钉检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9934578B2 (en) * | 2016-08-15 | 2018-04-03 | Macau University Of Science And Technology | Method for edge detection |
-
2020
- 2020-02-21 CN CN202010108435.3A patent/CN111428731B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137893A (en) * | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
| JP2007164517A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 |
| CN103020626A (zh) * | 2011-09-28 | 2013-04-03 | 深圳市蓝韵实业有限公司 | 在图像中检测椭圆型目标的方法及系统 |
| CN205183185U (zh) * | 2015-11-24 | 2016-04-27 | 重庆市灵龙自动化设备有限公司 | 手机马达自动识别抓取装置 |
| CN108022232A (zh) * | 2016-11-01 | 2018-05-11 | 中国科学院沈阳自动化研究所 | 一种飞行器表面铆钉检测方法 |
| CN106780605A (zh) * | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
| CN106824816A (zh) * | 2016-12-20 | 2017-06-13 | 浙江工业大学 | 一种基于机器视觉的pe瓶检测与分拣方法 |
| CN107292868A (zh) * | 2017-05-31 | 2017-10-24 | 瑞达昇科技(大连)有限公司 | 一种视盘定位方法及装置 |
| CN107748890A (zh) * | 2017-09-11 | 2018-03-02 | 汕头大学 | 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李胜利."基于双目立体视觉的工件识别与定位技术研究".《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第2期),第1-60页. * |
| 桑孟雷."基于机器视觉的圆形工件位姿估计".《中国优秀硕士学位论文全文数据库信息科技辑》.2018,(第6期),第1-50页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428731A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428731B (zh) | 基于机器视觉的多类目标识别定位方法、装置和设备 | |
| CN110349147B (zh) | 模型的训练方法、眼底黄斑区病变识别方法、装置及设备 | |
| EP3813661A1 (en) | Human pose analysis system and method | |
| JP2021517330A (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
| US8090151B2 (en) | Face feature point detection apparatus and method of the same | |
| CN103971102A (zh) | 基于手指轮廓和决策树的静态手势识别方法 | |
| CN106446862A (zh) | 一种人脸检测方法及系统 | |
| KR102649930B1 (ko) | 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법 | |
| CN114359998B (zh) | 一种人脸口罩佩戴状态下的识别方法 | |
| CN103996052A (zh) | 基于三维点云的三维人脸性别分类装置及方法 | |
| CN111178252A (zh) | 多特征融合的身份识别方法 | |
| CN110555417A (zh) | 一种基于深度学习的视频图像识别系统及方法 | |
| Ibragimovich et al. | Optimization of identification of micro-objects based on the use of characteristics of images and properties of models | |
| Amosov et al. | Human localization in the video stream using the algorithm based on growing neural gas and fuzzy inference | |
| Pradhan et al. | A hand gesture recognition using feature extraction | |
| CN107368847B (zh) | 一种作物叶部病害识别方法及系统 | |
| CN107729863B (zh) | 人体指静脉识别方法 | |
| Marzan et al. | Towards tobacco leaf detection using Haar cascade classifier and image processing techniques | |
| CN112101293A (zh) | 人脸表情的识别方法、装置、设备及存储介质 | |
| CN104899544A (zh) | 图像处理装置和图像处理方法 | |
| CN111553217A (zh) | 一种驾驶员打电话监测方法与系统 | |
| CN109299743A (zh) | 手势识别方法及装置、终端 | |
| CN113524172B (zh) | 机器人及其物品抓取方法、计算机可读存储介质 | |
| Vijayarani et al. | Facial feature extraction based on FPD and GLCM algorithms | |
| Yang et al. | Target position and posture recognition based on RGB-D images for autonomous grasping robot arm manipulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |