CN108898590B - 一种应用于产品外形视觉检测的自身特征提取方法 - Google Patents

一种应用于产品外形视觉检测的自身特征提取方法 Download PDF

Info

Publication number
CN108898590B
CN108898590B CN201810651633.7A CN201810651633A CN108898590B CN 108898590 B CN108898590 B CN 108898590B CN 201810651633 A CN201810651633 A CN 201810651633A CN 108898590 B CN108898590 B CN 108898590B
Authority
CN
China
Prior art keywords
product
theoretical
camera
points
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810651633.7A
Other languages
English (en)
Other versions
CN108898590A (zh
Inventor
沈洪垚
孙伟俊
徐月同
傅建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810651633.7A priority Critical patent/CN108898590B/zh
Publication of CN108898590A publication Critical patent/CN108898590A/zh
Application granted granted Critical
Publication of CN108898590B publication Critical patent/CN108898590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种应用于产品外形视觉检测的自身特征提取方法，其特征在于，包括以下步骤：步骤一：将产品的理论模型指定层高切片，得到理论模型的切片信息；步骤二：开始加工产品，获取当前加工点坐标信息，并根据该点信息对应提取理论模型已加工部分的切片信息；步骤三：将实际视觉检测中相机的位置和姿态统一到理论模型的坐标系中；步骤四：对已加工部分的切片信息进行理论成像投影；步骤五：将模型对应的理论成像投影特征与实际拍摄图片应用图片处理技术提取的特征进行对比，评判产品是否合格；本发明方法普适性高，检测效率高且成本低，可以满足大批量产品的检测要求，也可以实现定制化产品的任意检测。

Description

一种应用于产品外形视觉检测的自身特征提取方法
技术领域
本发明涉及产品检测技术领域，尤其是涉及一种应用于产品外形视觉检测的自身特征提取方法。
背景技术
目前，随着工业4.0的提出和实施，制造业智能化、自动化已成为工业发展的主流趋势，对产品外形表面精度质量的要求也不断提高，产品检测亦成为支撑智能生产的关键技术之一。国内外针对产品外形的检测在理论和应用上做了一系列的研究，通常分为接触式检测与非接触式检测。接触式检测通常采用触头等设备通过与物体表面接触获取外形表面信息，而非接触式检测主要通过激光、结构光等方式对物体表面轮廓进行扫描、拍摄获取外形表面信息，并对获取信息进行分析处理得出最终的产品外形检测结果。对于接触式检测，其检测效率无法实现对产品的批量快速检测，产品外形检测技术以非接触式检测(例如机器视觉)为主。
例如公开号为CN 106780445A的专利文献公开了一种基于3D成像技术的LCM组件外形缺陷检测方法，使用3D激光传感器获取LCM组件的原始高度图像，此图像中包括表示环境背景的背景区域、表示覆盖外围电路部分的Cover区域和表示屏幕部分的屏幕区域；根据3D激光传感器与LCM组件的位置关系将原始高度图像转换成表示LCM组件真实高度值的第一高度图像，利用背景区域与Cover区域和屏幕区域的高度值的范围差别过滤掉背景区域，得到第二高度图像；根据第二高度图像中Cover区域和屏幕区域的高度值来判断LCM组件外形是否存在缺陷。
但是现有产品外形的非接触式检测技术主要应用于批量产品的检测，但是随着产品个性化、定制化技术(例如3D打印)需求的不断增加，不同产品的外形检测对应不同的检测方法，因此，这不可避免地增加了检测的难度和复杂性，也对检测技术的普适性提出了更高要求。
发明内容
本发明提供了一种应用于产品外形视觉检测的自身特征提取方法，针对不同检测对象，可以通过对模型的理论分析，提取模型自身特征，形成理论投影图片，再与实际加工中的模型视觉检测图片进行对比，得出产品是否合格的方法。
一种应用于产品外形视觉检测的自身特征提取方法，包括以下步骤：
步骤一：将产品的理论模型指定层高切片，得到理论模型的切片信息；
步骤二：开始加工产品，获取当前加工点坐标信息，并根据该点信息对应提取理论模型已加工部分的切片信息；
步骤三：将实际视觉检测中相机的位置和姿态统一到理论模型的坐标系中；
步骤四：以步骤三统一坐标系后的相机坐标与姿态信息为基础，对已加工部分的切片信息进行理论成像投影；理论成像投影可以根据工业相机成像原理进行。
步骤五：将步骤四得到的模型对应的理论成像投影的特征与实际拍摄图片应用图片处理技术后提取的特征进行对比，评判产品是否合格。对实际拍摄图片应用图像处理技术，具体有直方图均衡、局部二值化、滤波、图像形态学处理等提取当前图片的特征(包括模型自身特征和打印缺陷特征)。
本发明的针对不同的检测对象，通过提取当前加工点以及投影视角对应的模型特征点，根据相机成像原理形成模型的理论投影图片，通过图像处理的方法，对比理论图片和实际图片，得出模型加工是否合格的检测依据。
采用视觉检测相机进行实际拍摄图片。
为了提高检测的准确性，优选的，步骤四中，以步骤三统一坐标系后的相机坐标与姿态信息为基础，对已加工部分的切片信息进行理论成像投影的具体过程如下：
步骤①，模型旋转，将坐标系的x轴旋转至相机中心轴线；相机中心轴线即投影方向。
步骤②，提取可视化数据点，根据相机拍摄原理，沿当前相机中心轴线，将相机可视部分数据点保留，不可视部分数据点删除；
步骤③，提取特征点；特征点是表征模型基本的形状，模型切片后，会产生大量的数据点，因此应在步骤②提取的可视化点数据点中，提取特征点；
步骤④，将提取的特征点进行投影变换到理论相机图片中得到理论成像图。
根据工业相机成像原理，将提取的特征点通过以下方程投影变换到相机图片(相机感光片尺寸V×H)上得到理论成像图。其中，(x0,y0,z0)为相机镜头中心坐标、M为当前物镜距WD下的光学倍率、(x,y,z)为特征点坐标，(x',y')为特征点投影后在相机感光片上的坐标(z轴与相机拍摄方向平行)。
Figure BDA0001704987290000031
特征点包括临界点和转折点等，优选的，步骤③中，特征点定义为：
(1)对于已提取的可视化点，第一层和最后一层的数据点，即上下临界点；
(2)对于所有切片层，可视化点中所有轮廓的y向极值点，即左右临界点；
(3)对于同一层中同一轮廓，当该数据点前后两点都存在，且与前后点连线后的夹角小于阈值。
为了提高检测的准确性，优选的，第(3)类中，阈值为100°～150°。
为了提高检测的准确性，优选的，步骤一种，先将产品的理论模型转换成stl三角面片格式。
本发明适用于各种产品的检测，为了提高检测的有效性和准确性，优选的，步骤二中，加工产品采用3D打印。例如3D打印的模型切片一共100层，实际打印位于50层，则自底向上提取0～50层信息，该提取信息即由一系列数据点组成，模型切片后，每一层信息多个不相交的轮廓组成，轮廓由首尾相连的数据点组成。
本发明的有益效果：
本发明的应用于产品外形视觉检测的自身特征提取方法，可应用于任意模型的产品外形视觉检测，普适性高，而且通过图片自动化传输方式结合图像处理技术对目标图片与理论图片进行对比检测，检测效率高且成本低，可以满足大批量产品的检测要求，也可以实现定制化产品的任意检测。
附图说明
图1是本发明的应用于产品外形视觉检测的自身特征提取方法的流程线框图。
图2是本发明的应用于产品外形视觉检测的自身特征提取方法的原理示意图。
图3是工业相机的成像原理示意图。
具体实施方式
如图1～3所示，本实施例的应用于产品外形视觉检测的自身特征提取方法，包括以下步骤：
步骤一：将产品模型转换成stl三角面片格式，并指定层高切片；
步骤二：通过传感实时获取当前加工点坐标信息，并根据该点信息对应提取理论模型已加工部分的切片信息(例如3D打印，模型切片一共100层，实际打印位于50层，则自底向上提取0～50层信息)，该提取信息即由一系列数据点组成(模型切片后，每一层信息多个不相交的轮廓组成，轮廓由首尾相连的数据点组成)；
步骤三：将实际视觉检测中相机的位置和姿态，统一到理论模型坐标系；
步骤四：以统一坐标系后的相机坐标与姿态信息为基础，根据工业相机成像原理，对已加工部分的数据点进行理论成像投影，具体步骤如下：
步骤1，模型旋转，将坐标系的x轴旋转至相机中心轴线(即投影方向)；
步骤2，提取可视化数据点，根据相机拍摄原理，沿当前相机投影方向，将相机可视部分数据点保留，不可视部分数据点删除；
步骤3，提取特征点(特征点是表征模型基本的形状)，模型切片后，会产生大量的数据点，因此应在步骤2提取的可视化点数据点中，提取特征点(临界点，转折点等)，以下定义为特征点：
(1)对于已提取的可视化点，第一层和最后一层的数据点，即上下临界点，图2中的标号为③的数据点；
(2)对于所有切片层，可视化点中所有轮廓的y向极值点，即左右临界点，图2中的标号为①的数据点；
(3)对于同一层中同一轮廓，当该数据点前后两点都存在，且与前后点连线后的夹角小于一定阈值，实验中为120°，即转折点，图2中的标号为②的数据点；
步骤4，将提取的特征点，根据工业相机成像原理，进行投影变换到理论相机图片中；
步骤五：应用图像处理技术，将模型对应的理论成像特征，与实际视觉检测相机拍摄图片提取的特征进行对比分析，评判产品是否合格。

Claims (5)

1.一种应用于产品外形视觉检测的自身特征提取方法，其特征在于，包括以下步骤：
步骤一：将产品的理论模型指定层高切片，得到理论模型的切片信息；
步骤二：开始加工产品，获取当前加工点坐标信息，并根据该点信息对应提取理论模型已加工部分的切片信息；
步骤三：将实际视觉检测中相机的位置和姿态统一到理论模型的坐标系中；
步骤四：以步骤三统一坐标系后的相机坐标与姿态信息为基础，对已加工部分的切片信息进行理论成像投影，具体过程如下：
步骤①，模型旋转，将坐标系的x轴旋转至相机中心轴线；
步骤②，提取可视化数据点，根据相机拍摄原理，沿当前相机中心轴线，将相机可视部分数据点保留，不可视部分数据点删除；
步骤③，提取特征点；
步骤④，将提取的特征点进行投影变换到理论相机图片中得到理论成像图；
步骤五：将步骤四得到的模型对应的理论成像投影的特征与实际拍摄图片应用图片处理技术后提取的特征进行对比，评判产品是否合格。
2.如权利要求1所述的应用于产品外形视觉检测的自身特征提取方法，其特征在于，步骤③中，特征点定义为：
第(1)类：对于已提取的可视化点，第一层和最后一层的数据点；
第(2)类：对于所有切片层，可视化点中所有轮廓的y向极值点；
第(3)类：对于同一层中同一轮廓，当该数据点前后两点都存在，且与前后点连线后的夹角小于阈值。
3.如权利要求2所述的应用于产品外形视觉检测的自身特征提取方法，其特征在于，第(3)类中，阈值为100°～150°。
4.如权利要求1所述的应用于产品外形视觉检测的自身特征提取方法，其特征在于，步骤一种，先将产品的理论模型转换成stl三角面片格式。
5.如权利要求1所述的应用于产品外形视觉检测的自身特征提取方法，其特征在于，步骤二中，加工产品采用3D打印。
CN201810651633.7A 2018-06-22 2018-06-22 一种应用于产品外形视觉检测的自身特征提取方法 Active CN108898590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810651633.7A CN108898590B (zh) 2018-06-22 2018-06-22 一种应用于产品外形视觉检测的自身特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810651633.7A CN108898590B (zh) 2018-06-22 2018-06-22 一种应用于产品外形视觉检测的自身特征提取方法

Publications (2)

Publication Number Publication Date
CN108898590A CN108898590A (zh) 2018-11-27
CN108898590B true CN108898590B (zh) 2022-03-29

Family

ID=64345658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810651633.7A Active CN108898590B (zh) 2018-06-22 2018-06-22 一种应用于产品外形视觉检测的自身特征提取方法

Country Status (1)

Country Link
CN (1) CN108898590B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101865682A (zh) * 2010-06-02 2010-10-20 杭州方正速能科技有限公司 多层印制线路板层间错位检测方法
CN105598450A (zh) * 2016-02-02 2016-05-25 陕西天元智能再制造股份有限公司 一种零部件损伤的激光立体仿形修复方法
CN106296797A (zh) * 2015-06-10 2017-01-04 西安蒜泥电子科技有限责任公司 一种三维扫描仪特征点建模数据处理方法
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN106919921A (zh) * 2017-03-06 2017-07-04 重庆邮电大学 结合子空间学习与张量神经网络的步态识别方法及系统
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528386B2 (ja) * 2014-11-04 2019-06-12 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9767555B2 (en) * 2015-01-05 2017-09-19 Case Western Reserve University Disease characterization from fused pathology and radiology data
US10048765B2 (en) * 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101865682A (zh) * 2010-06-02 2010-10-20 杭州方正速能科技有限公司 多层印制线路板层间错位检测方法
CN106296797A (zh) * 2015-06-10 2017-01-04 西安蒜泥电子科技有限责任公司 一种三维扫描仪特征点建模数据处理方法
CN105598450A (zh) * 2016-02-02 2016-05-25 陕西天元智能再制造股份有限公司 一种零部件损伤的激光立体仿形修复方法
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN106919921A (zh) * 2017-03-06 2017-07-04 重庆邮电大学 结合子空间学习与张量神经网络的步态识别方法及系统
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Diagnosis of the Abnormality Extracted MRI Slice Images of a GUI Based Intelligent Diagnostic Imaging System;Jose Alex Mathew等;《 2011 International Conference on Process Automation, Control and Computing》;20110722;第1-6页 *
现代光学成像技术在食品品质快速检测中的应用;孙大文等;《华南理工大学学报(自然科学版)》;20121015;第59-68页 *

Also Published As

Publication number Publication date
CN108898590A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
CN114140679B (zh) 一种缺陷融合方法、装置、识别系统及存储介质
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN107705293A (zh) 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
CN110779928B (zh) 缺陷检测装置及方法
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN109724994A (zh) 基于aoi技术的fpc金手指表面缺陷检测系统及方法
He et al. A critical review for machining positioning based on computer vision
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
CN114136975A (zh) 一种微波裸芯片表面缺陷智能检测系统和方法
CN112304957A (zh) 一种基于机器视觉的外观缺陷智能检测方法及系统
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN116777877A (zh) 电路板缺陷检测方法、装置、计算机设备及存储介质
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN108898590B (zh) 一种应用于产品外形视觉检测的自身特征提取方法
CN115546153A (zh) 一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法
CN113970560B (zh) 一种基于多传感融合的缺陷三维检测方法
CN113592962B (zh) 基于机器视觉的批量硅片标识识别方法
CN115393290A (zh) 边缘缺陷检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant