CN112465825A - 一种基于图像处理的零件的空间位置信息的获取方法 - Google Patents

一种基于图像处理的零件的空间位置信息的获取方法 Download PDF

Info

Publication number
CN112465825A
CN112465825A CN202110141593.3A CN202110141593A CN112465825A CN 112465825 A CN112465825 A CN 112465825A CN 202110141593 A CN202110141593 A CN 202110141593A CN 112465825 A CN112465825 A CN 112465825A
Authority
CN
China
Prior art keywords
acquiring
information
image
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110141593.3A
Other languages
English (en)
Inventor
雷可
杨俊杰
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Jiangsu Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202110141593.3A priority Critical patent/CN112465825A/zh
Publication of CN112465825A publication Critical patent/CN112465825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习技术领域，公开了一种基于图像处理的零件的空间位置信息的获取方法，包括优化模型训练和三维点云信息匹配，具体来说是通过采集图像、目标零件标定，最后将标定好的数据导入深度神经网络训练损失函数，最终得到的优化模型，获取目标零件的掩膜信息后，通过图像获取装置获取目标图像的三维点云信息，最后通过x,y坐标信息的匹配，获取模型预测得到的零件位置的三维信息，相比于常规的算法，能够实现快速精准获取复杂环境下零件空间信息，且鲁棒性强。

Description

一种基于图像处理的零件的空间位置信息的获取方法
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于图像处理的零件的空间位置信息的获取方法。
背景技术
随着近几年深度学习的蓬勃发展，越来越多的深度学习算法被应用到各行各业中。其中深度学习算法中的实例分割对于工业中的应用具有重要的研究和应用价值。
工业流水线上常常需要对当前零件的空间位置信息进行判断，在获取这些信息后才可以后续使用机械臂对零件进行夹取，从而实现工厂自动化作业。目前实现对生产线上的零件的空间位置信息采集主要是通过传统计算机视觉算法进行获取，传统算法的问题存在以下几个问题：1、对于环境，打光的要求较高，对于复杂环境的鲁棒性较差；2、需要针对不同形态的零件重新设计新的算法流程，整个算法的泛化性不好；3、整体算法的检测速度和检测精度并不高，整体下来会造成生产效率的较低和生产成本的增加。
发明内容
（一）要解决的技术问题
本发明实施例提供一种基于图像处理的零件的空间位置信息的获取方法，用以解决现有的生产线上的零件的空间位置信息采集算法存在的鲁棒性差、检测效率低和检测精度差的缺陷。
（二）发明内容
本发明实施例提供一种基于图像处理的零件的空间位置信息的获取方法，包括优化模型训练和三维点云信息匹配，具体包括以下步骤：
步骤一：采集图像，采集特定应用场景下目标零件的二维样本图像；
步骤二：目标零件标定，人工标注好每个目标零件的位置和掩模信息；
步骤三：损失函数训练，将标定好的数据导入深度神经网络进行训练，最终得到一个能对目标零件在二维样本图像上的位置和掩模信息进行预测的优化模型，其中，所述损失函数为：
Figure 24164DEST_PATH_IMAGE001
，
其中，
Figure 47484DEST_PATH_IMAGE002
表示零件种类标签与预测标签之间的差距，
Figure 492372DEST_PATH_IMAGE003
表示零件实际位置与预测位置之间的差距，
Figure 360970DEST_PATH_IMAGE004
表示零件实际掩模与预测掩模之间的差距；
步骤四：获取目标零件的掩膜信息，通过步骤三得到的优化模型预测(xi,yi)像素点位置处灰度值为1的像素点的集合；
步骤五：获取三维点云信息，通过图像获取装置获取目标图像的三维点云信息
Figure 473283DEST_PATH_IMAGE005
；
步骤六：坐标匹配，通过x,y坐标信息的匹配，获取模型预测得到的零件位置的三维信息(xi,yi,zi)。
优选的，步骤一中采集的二维样本图像需要包括所述目标零件在不同光照、不同距离和不同角度下的二维图像。
优选的，在对损失函数进行训练之前还需要对标定后的目标零件的二维图像进行增强处理。
优选的，对标定后的目标零件的二维图像进行增强处理包括翻转、旋转、缩放比例、裁剪、移位和高斯噪声中的一种或多种的组合。
优选的，增强处理为离线增强，增强因子为2或者3。
（三）有益效果
本发明实施例提供的一种基于图像处理的零件的空间位置信息的获取方法，包括优化模型训练和三维点云信息匹配，具体来说是通过采集图像、目标零件标定，最后将标定好的数据导入深度神经网络训练损失函数，最终得到的优化模型，获取目标零件的掩膜信息后，通过图像获取装置获取目标图像的三维点云信息，最后通过x,y坐标信息的匹配，获取模型预测得到的零件位置的三维信息，根据该三维信息可以实现在流水线上对该零件的各项加工作业。相比于常规的算法，能够实现快速精准获取复杂环境下零件空间信息，且鲁棒性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的优化模型训练的流程图；
图2是本发明实施例中的三维点云信息匹配的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”“第三”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明实施例中的具体含义。
本实施例提供的一种基于图像处理的零件的空间位置信息的获取方法，包括如图1所示的优化模型训练和如图2所示的三维点云信息匹配，包括针对这种场景，基于深度学习中的实例分割的基础上，获取复杂工况下，生产线上的零件的位置及其掩模图像，后续匹配空间上的三维点云信息，获取对应掩模位置处的深度信息。具体的训练过程如下：
（1）采集当前应用场景的不同姿态的对应零件图像，这里需要拍摄在不同光照、距离下的图；尽量保证样本数据在不同条件下比较均衡；
（2）针对零件的外观，人为标注好每个零件的位置和掩模信息，即判断图像上像素点(xi,yi)属于零件部分，将其标记为1,其余像素点属于背景部分，将其标记为0；
（3)使用标注的数据进行训练，在进入网络之前进行数据的增强，增加整个模型的泛化性；
（4）这里训练的loss函数如下：
Figure 637810DEST_PATH_IMAGE006
其中，
Figure 960207DEST_PATH_IMAGE007
表示零件种类标签与预测标签之间的差距，
Figure 242284DEST_PATH_IMAGE003
表示零件实际位置与预测位置之间的差距，
Figure 333737DEST_PATH_IMAGE004
表示零件实际掩模与预测掩模之间的差距；
(5)通过大量的训练过程，收敛模型中的参数，使得损失越来越小，即模型预测出的结果和实际的标签结果越来越小，最终得到一个能对流水线上的零件在图像上的位置和掩模信息预测比较好的模型；
在得到一个能预测相对准确的模型后，后续使用三维点云信息对模型预测出的掩模图像进行匹配处理，包括以下步骤：
(1)获取预测得到的零件的掩膜信息,即模型预测(xi,yi)像素点位置处灰度值为1的像素点的集合；
(2)通过3D相机获取当前流水线环境图像的三维点云信息；
(3)通过x,y坐标信息的匹配，获取模型预测得到的零件位置的三维信息(xi,yi,zi)；
(4)在得到检测零件的空间信息后，可以进行零件夹取等后续动作；
一般而言，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多，对此需要在对损失函数进行训练之前，对标定后的目标零件的二维图像进行增强处理，其好处在于：加训练的数据量，提高模型的泛化能力；增加噪声数据，提升模型的鲁棒性，对标定后的目标零件的二维图像进行增强处理包括翻转、旋转、缩放比例、裁剪、移位和高斯噪声中的一种或多种的组合。
优选的，增强处理为离线增强，增强因子为2或者3。
相比于现有的算法，本发明的基于图像处理的零件的空间位置信息的获取方法具有以下优点：第一，在本发明中使用深度学习中的实例分割模型对于零件的位置信息和其掩模信息进行提取，该方法能快速准确的提取到对应信息，且能较好适应环境比较复杂的应用场景。
第二．在本发明中使用三维点云信息对于实例分割模型预测得到的掩模图像进行匹配处理，最终获取得到当前零件的空间位置信息，从而可以进行后续的机械臂夹取等动作，将其运用于实际的工业生产之中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于图像处理的零件的空间位置信息的获取方法，包括优化模型训练和三维点云信息匹配，其特征在于，具体包括以下步骤：
步骤一：采集图像，采集特定应用场景下目标零件的二维样本图像；
步骤二：目标零件标定，人工标注好每个目标零件的位置和掩模信息；
步骤三：损失函数训练，将标定好的数据导入深度神经网络进行训练，最终得到一个能对目标零件在二维样本图像上的位置和掩模信息进行预测的优化模型，其中，所述损失函数为：
Figure 856640DEST_PATH_IMAGE001
，
其中，其中
Figure 242622DEST_PATH_IMAGE002
表示零件种类标签与预测标签之间的差距，
Figure 363637DEST_PATH_IMAGE003
表示零件实际位置与预测位置之间的差距，
Figure 227688DEST_PATH_IMAGE005
表示零件实际掩模与预测掩模之间的差距；
步骤四：获取目标零件的掩膜信息，通过步骤三得到的优化模型预测(xi,yi)像素点位置处灰度值为1的像素点的集合；
步骤五：获取三维点云信息，通过图像获取装置获取目标图像的三维点云信息
Figure 635536DEST_PATH_IMAGE006
；
步骤六：坐标匹配，通过x,y坐标信息的匹配，获取模型预测得到的零件位置的三维信息(xi,yi,zi)。
2.根据权利要求1所述的一种基于图像处理的零件的空间位置信息的获取方法，其特征在于，所述步骤一中采集的二维样本图像需要包括所述目标零件在不同光照、不同距离和不同角度下的二维图像。
3.根据权利要求1所述的一种基于图像处理的零件的空间位置信息的获取方法，其特征在于，在对损失函数进行训练之前还需要对标定后的目标零件的二维图像进行增强处理。
4.根据权利要求3所述的一种基于图像处理的零件的空间位置信息的获取方法，其特征在于，所述对标定后的目标零件的二维图像进行增强处理包括翻转、旋转、缩放比例、裁剪、移位和高斯噪声中的一种或多种的组合。
5.根据权利要求3所述的一种基于图像处理的零件的空间位置信息的获取方法，其特征在于，所述增强处理为离线增强，增强因子为2或者3。
CN202110141593.3A 2021-02-02 2021-02-02 一种基于图像处理的零件的空间位置信息的获取方法 Pending CN112465825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110141593.3A CN112465825A (zh) 2021-02-02 2021-02-02 一种基于图像处理的零件的空间位置信息的获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141593.3A CN112465825A (zh) 2021-02-02 2021-02-02 一种基于图像处理的零件的空间位置信息的获取方法

Publications (1)

Publication Number Publication Date
CN112465825A true CN112465825A (zh) 2021-03-09

Family

ID=74802409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141593.3A Pending CN112465825A (zh) 2021-02-02 2021-02-02 一种基于图像处理的零件的空间位置信息的获取方法

Country Status (1)

Country Link
CN (1) CN112465825A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN110238840A (zh) * 2019-04-24 2019-09-17 中山大学 一种基于视觉的机械臂自主抓取方法
CN111428374A (zh) * 2020-03-30 2020-07-17 苏州惟信易量智能科技有限公司 零件缺陷检测方法、装置、设备及存储介质
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN110238840A (zh) * 2019-04-24 2019-09-17 中山大学 一种基于视觉的机械臂自主抓取方法
CN111428374A (zh) * 2020-03-30 2020-07-17 苏州惟信易量智能科技有限公司 零件缺陷检测方法、装置、设备及存储介质
CN111791239A (zh) * 2020-08-19 2020-10-20 苏州国岭技研智能科技有限公司 一种结合三维视觉识别可实现精确抓取的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑健红: "面向机器人精确拾取的散乱金属零件识别与定位方法研究", 《中国优秀硕士学位论文全文数据库》 *

Similar Documents

Publication Publication Date Title
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN107228860B (zh) 一种基于图像旋转周期特性的齿轮缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN108827969B (zh) 金属零件表面缺陷检测与识别方法及装置
CN106404793B (zh) 基于视觉的轴承密封件缺陷检测方法
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111932501A (zh) 一种基于语义分割的密封圈表面缺陷检测方法
CN107452030B (zh) 基于轮廓检测和特征匹配的图像配准方法
CN112330628A (zh) 一种金属工件表面缺陷图像检测方法
CN112767369A (zh) 小五金的缺陷识别检测方法、装置及计算机可读存储介质
CN112818989B (zh) 一种基于梯度幅值随机采样的图像匹配方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN111311618A (zh) 一种基于高精度几何基元提取的圆弧工件匹配与定位方法
CN111161213A (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN113516619A (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN112464744A (zh) 一种鱼姿态识别方法
CN112819935A (zh) 基于双目立体视觉实现工件三维重建的方法
CN112465825A (zh) 一种基于图像处理的零件的空间位置信息的获取方法
CN107122783B (zh) 一种基于角点检测的装配连接件快速识别方法
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN111105418A (zh) 一种针对图像中矩形目标的高精度图像分割方法
CN114862755A (zh) 一种基于小样本学习的表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication