CN114998408B - 基于激光测量的冲床线ccd视觉检测系统 - Google Patents

基于激光测量的冲床线ccd视觉检测系统 Download PDF

Info

Publication number
CN114998408B
CN114998408B CN202210446463.5A CN202210446463A CN114998408B CN 114998408 B CN114998408 B CN 114998408B CN 202210446463 A CN202210446463 A CN 202210446463A CN 114998408 B CN114998408 B CN 114998408B
Authority
CN
China
Prior art keywords
depth
comprehensive
image
line
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210446463.5A
Other languages
English (en)
Other versions
CN114998408A (zh
Inventor
赵磊
沈荣华
迮恒华
汤继文
王瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Yizhu Intelligent Technology Co ltd
Original Assignee
Ningbo Yizhu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Yizhu Intelligent Technology Co ltd filed Critical Ningbo Yizhu Intelligent Technology Co ltd
Priority to CN202210446463.5A priority Critical patent/CN114998408B/zh
Publication of CN114998408A publication Critical patent/CN114998408A/zh
Application granted granted Critical
Publication of CN114998408B publication Critical patent/CN114998408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及光学测量技术领域,具体涉及基于激光测量的冲床线ccd视觉检测系统,该系统包括:数据采集模块、三维点云数据处理模块、数据匹配模块以及异常检测模块。通过数据采集模块采集冲床表面的三维点云数据和二维图像;通过三维点云数据处理模块获取每个视角下的相对深度图像;通过数据匹配模块获取综合深度图像,将综合行向量与灰度行向量进行对应比例的行向量匹配,通过匹配结果对综合深度图像进行修正并与二维图像重新匹配;通过异常检测模块评估冲床表面的异常情况,异常情况包括粗糙和不规则。本发明能够省去坐标系标定实现三维数据和二维数据的融合,完成冲床表面的粗糙和不规则的异常测量,降低了人工失误所带来的生产风险成本。

Description

基于激光测量的冲床线ccd视觉检测系统
技术领域
本发明涉及光学测量技术领域,具体涉及基于激光测量的冲床线ccd视觉检测系统。
背景技术
在冲压成像过程中,需要对冲压器械进行表面缺陷检测,防止造成冲压产品不合格。由于冲床线生产工艺要求,通过单一相机难以得到冲压器械表面粗糙度和不规则性的准确检测结果。现可以通过激光雷达测量进行深度信息采集,但是由于激光雷达测量所采集三维点云数据,只具有深度信息,并且由于冲压机械为金属表面,容易发生镜面反射,所得冲压器械表面信息不完整或者不准确,使检测结果误差较大。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于激光测量的冲床线ccd视觉检测系统,所采用的技术方案具体如下:
本发明一个实施例提供了一种基于激光测量的冲床线ccd视觉检测系统,该系统包括以下模块:
数据采集模块,用于通过多个不同视角的激光雷达采集冲床表面的三维点云数据,通过ccd相机采集二维图像;所述三维点云数据包含深度信息;
三维点云数据处理模块,用于通过获取每个视角下的所有三维点云数据的主成分方向得到对应的俯视平面,选取深度值最大的俯视平面作为参考平面,得到每个视角下的深度图像;获取所有深度图像的共有像素点,根据共有像素点的深度值将所有参考平面调整至同一深度,得到多张相对深度图像;
数据匹配模块,用于获取所述相对深度图像中每一行的深度行向量,通过将所有相对深度图像的对应行的深度行向量进行融合得到每一行的综合行向量,组成综合深度图像;获取所述二维图像中每一行的灰度行向量,将所述综合行向量与灰度行向量进行对应比例的行向量匹配,通过匹配结果对所述综合深度图像进行修正,得到修正后的综合深度图像,并与所述二维图像重新进行对应比例的行向量匹配;
异常检测模块,用于在行向量匹配后,获取所述二维图像中每个像素点对应的深度值,通过计算深度值的差异情况评估冲床表面的异常情况,所述异常情况包括粗糙和不规则。
优选的,所述三维点云数据处理模块,包括:
俯视平面获取单元,用于利用主成分分析法提取每个视角下的所有三维点云数据的三个主成分方向,选取前两个特征值最大的主成分方向分别作为第一主成分方向和第二主成分方向,由第一主成分方向和第二主成分方向构建的平面作为对应视角下的俯视平面。
优选的,所述三维点云数据处理模块,包括:
深度图像获取单元,用于对于每个视角,在不同深度的俯视平面中,选取深度值最大的俯视平面作为所述参考平面,获取每个三维点云数据与所述参考平面的距离作为对应的深度,以深度作为对应三维点云数据在参考平面上形成的像素点的像素值,组成对应视角下的所述深度图像。
优选的,所述三维点云数据处理模块,包括:
共有像素点获取单元,用于对所述深度图像进行阈值分割,获取对应的二值图像,对所有二值图像进行取与运算,得到所述共有像素点。
优选的,所述三维点云数据处理模块,包括:
相对深度图像获取单元,用于选取任意一张所述深度图像作为参考图像,获取其他每张深度图像与参考图像中的共有像素点的像素值之间的差值,以所有差值的平均值作为对应的其他每张深度图像的调整值,按照调整值对其他每张深度图像进行调整,使所有参考平面调整至同一深度,调整后的深度图像作为所述相对深度图像。
优选的,所述数据匹配模块,包括:
综合行向量获取单元,用于获取每张相对深度图像中每一行像素点的深度组成所述深度行向量,计算每个点的深度与该点所在深度行向量的平均深度值之间的差值绝对值,对所有相对深度图像的同一行像素点的所有差值绝对值进行二分类,以平均差值绝对值更高的类别作为高均值类别,以平均差值绝对值更低的类别作为低均值类别;当像素点属于高均值类别时,选取所有相对深度图像的同一位置中差值绝对值最大的点对应的深度作为该点的综合深度;当像素点属于低均值类别时,随机选取所有相对深度图像的同一位置的深度作为该点的综合深度,同一行的所有综合深度组成所述综合行向量。
优选的,所述数据匹配模块,包括:
修正单元,用于计算每个综合行向量对应的行数在所述综合深度图像中的比例,计算每个灰度行向量对应的行数在所述二维图像中的比例,将每个综合行向量与比例最相近的灰度行向量进行相似度计算,当相似度小于相似阈值时,修正综合行向量进行二分类时的距离权值,直至相似度最高,所有修正后的综合行向量组成修正后的综合深度图像。
本发明实施例至少具有如下有益效果:
通过对多个视角下的三维点云数据进行同一平面调整,再相互融合得到综合深度图像,然后将综合深度图像和二维灰度图像同比例进行行匹配,得到每个像素点的深度值,完成表面粗糙和不规则的异常检测。本发明能够省去坐标系标定实现三维数据和二维数据的融合,完成冲床表面的粗糙和不规则的异常测量,降低了人工失误所带来的生产风险成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的基于激光测量的冲床线ccd视觉检测系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于激光测量的冲床线ccd视觉检测系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于激光测量的冲床线ccd视觉检测系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于激光测量的冲床线ccd视觉检测系统的系统框图,该系统包括以下模块:
数据采集模块100、三维点云数据处理模块200、数据匹配模块300以及异常检测模块400。
数据采集模块100用于通过多个不同视角的激光雷达采集冲床表面的三维点云数据,通过ccd相机采集二维图像;三维点云数据包含深度信息。
具体的,数据采集模块100包括三维点云数据采集单元110和二维图像采集单元120。
三维点云数据采集单元110用于通过多个不同视角的激光雷达采集冲床表面的三维点云数据。
由于冲床表面有金属面,会可能发生镜面反射,单一激光雷达测量设备采集信息时,可能会导致信息缺失或者不明显,因此本发明实施例选用多个激光雷达测量进行冲床表面的三维点云数据采集,能够得到更加全面准确的冲床表面信息。
在待测量冲床四个角的上方安装激光雷达测量设备,设备斜俯视对冲床表面发射激光,根据发射激光和反射激光的时间获取每个点的深度信息,得到不同视角下的冲床表面的三维点云数据。
本发明实施例中4个激光雷达测量设备均为斜俯视45度的视角,对于激光雷达测量设备的安装数量,可以根据具体实施场景进行调整。
获取每个视角下的三维点云数据,每个点云数据是一个三维的坐标,表示每个点的位置信息,包含了深度信息。
二维图像采集单元120,用于通过ccd相机采集二维图像。
本实施例中ccd相机为冲床线视觉检测设备中的ccd相机,冲床线视觉检测设备为现有设备,例如申请号为202021183156.5的实用新型专利中公开的一种汽车冲床线CCD视觉检测系统,该系统即为冲床线视觉检测设备。
作为另一种实施方式,ccd相机可以单独存在,不需要设置在冲床线视觉检测设备中,则本系统的实现无需依据该冲床线视觉检测设备。
通过ccd相机拍摄成像,得到冲床表面的图像数据,将图像数据进行灰度化,得到灰度图像。
三维点云数据处理模块200,用于通过获取每个视角下的所有三维点云数据的主成分方向得到对应的俯视平面,选取深度值最大的俯视平面作为参考平面,得到每个视角下的深度图像;获取所有深度图像的共有像素点,根据共有像素点的深度值将所有参考平面调整至同一深度,得到多张相对深度图像。
具体的,三维点云数据处理模块200包括以下单元:
俯视平面获取单元210、深度图像获取单元220、共有像素点获取单元230以及相对深度图像获取单元240。
俯视平面获取单元210,用于利用主成分分析法提取每个视角下的所有三维点云数据的三个主成分方向,选取前两个特征值最大的主成分方向分别作为第一主成分方向和第二主成分方向,由第一主成分方向和第二主成分方向构建的平面作为对应视角下的俯视平面。
对于每个视角下的所有三维点云数据,利用主成分分析法(PCA算法),获取主成分方向,由于每个点云数据为一个三维数据,所以共得到3个主成分方向。
选取前两个特征值最大的主成分方向,作为第一主成分方向和第二主成分方向,通过第一主成分方向和第二主成分方向,构建出一个平面,由于在三维点云数据在第一主成分方向上方法分布最为离散,在第二主成分方向上方法离散分布相对于第一主成分方向较弱,但是相对于另外一个主成分方向的离散性较强,所以第一主成分方向和第二主成分方向构建出的平面,作为当前视角下的俯视平面。
由于三维点云数据是车床线表面的,深度方向上只表示车床线表面的凹凸现象,因此,深度方向上的主成分方向特征值一定是最小的,所以第一主成分方向和第二主成分方向构建出的平面,是俯视角度下的平面。
深度图像获取单元220,用于对于每个视角,在不同深度的俯视平面中,选取深度值最大的俯视平面作为参考平面,获取每个三维点云数据与参考平面的距离作为对应的深度,以深度作为对应三维点云数据在参考平面上形成的像素点的像素值,组成对应视角下的深度图像。
对于每个视角来说,俯视平面有多个,每个深度上都有一个俯视平面,需要选取一个俯视平面作为基准。选取深度值最大的俯视平面作为参考平面,其他深度相对于参考平面的深度均为正值,计算每个三维点云数据的三维坐标与参考平面之间的距离值作为对应的深度,以深度作为对应三维点云数据在参考平面上形成的像素点的像素值,组成对应视角下的深度图像。
在另一个实施例中,还可以选取深度值最小的俯视平面作为参考平面,同样可以避免出现负值问题。
共有像素点获取单元230,用于对深度图像进行阈值分割,获取对应的二值图像,对所有二值图像进行取与运算,得到共有像素点。
对每张深度图像进行阈值分割,将小于阈值的像素点对应深度值置为0,大于阈值的像素点对应深度值置为1,得到对应深度图像的二值图像,通过对所有二值图像进行取与运算,得到所有深度图像共有的一些像素点,即为共有像素点。
作为一个示例,本发明实施例中阈值分割的阈值为1,阈值可以根据具体实施场景进行调整,如果共有像素点的像素值过低,则可降低阈值。
相对深度图像获取单元240,用于选取任意一张深度图像作为参考图像,获取每张其他深度图像与参考图像中的共有像素点的像素值之间的差值,以所有差值的平均值作为对应的其他深度图像的调整值,按照调整值对其他深度图像进行调整,使所有参考平面调整至同一深度,调整后的深度图像作为相对深度图像。
获取共有像素点在不同深度图像上的深度值,任意选取一张深度图像为参考图像,计算每张其他深度图像上的共有像素点的深度值与参考图像上对应共有像素点的深度值之间差值,对于每张其他深度图像以差值的平均值作为调整值,将每张其他深度图像的所有像素点加上调整值,得到调整后的深度图像,作为相对深度图像。
需要说明的是,参考图像的调整值为0,得到的相对深度图像为参考图像本身。所有相对深度图像具有统一参考平面。
进一步的,如果在计算每张其他深度图像与参考图像中的共有像素点的像素值之间的差值时,出现负值,则将出现负值的其他深度图像作为新的参考图像。
数据匹配模块300,用于获取相对深度图像中每一行的深度行向量,通过将所有相对深度图像的对应行的深度行向量进行融合得到每一行的综合行向量,组成综合深度图像;获取二维图像中每一行的灰度行向量,将综合行向量与灰度行向量进行对应比例的行向量匹配,通过匹配结果对综合深度图像进行修正,得到修正后的综合深度图像,并与二维图像重新进行对应比例的行向量匹配。
具体的,数据匹配模块300包括以下单元:
综合行向量获取单元310、修正单元320以及重新匹配单元330。
综合行向量获取单元310,用于获取每张相对深度图像中每一行像素点的深度组成深度行向量,计算每个点的深度与该点所在深度行向量的平均深度值之间的差值绝对值,对所有相对深度图像的同一行像素点的所有差值绝对值进行二分类,以平均差值绝对值更高的类别作为高均值类别,以平均差值绝对值更低的类别作为低均值类别;当像素点属于高均值类别时,选取所有相对深度图像的同一位置中差值绝对值最大的点对应的深度作为该点的综合深度;当像素点属于低均值类别时,随机选取所有相对深度图像的同一位置的深度作为该点的综合深度,同一行的所有综合深度组成综合行向量。
由于激光雷达测量在采集图像时,冲床金属面发生镜面反射,导致同一区域的表面点云数据,信息疏密程度不一致,从而使得采用单一相对深度图像的每行数据与灰度图每行数据进行匹配时,效果不好。
因此首先获取所有相对深度图像每行的综合行向量,获取每张相对深度图像中每一行像素点的深度组成深度行向量,第i张相对深度图像中第m行组成的深度行向量记为Vim,对于第m行,共有I张相对深度图像的I个深度行向量,其中本发明实施例中I=4。
以第m行为例,计算每张深度图像第m行每个点的深度值与对应的深度行向量中所有元素的平均深度值之间的差值绝对值,然后对第m行所有差值绝对值采用k-means,k=2聚类算法,进行二分类,计算每类数据中差值绝对值的平均值,以平均差值绝对值更高的类别作为高均值类别,以平均差值绝对值更低的类别作为低均值类别,高均值类别更可能是粗糙或者不规则的区域。当像素点属于高均值类别时,选取所有相对深度图像的同一位置中差值绝对值最大的点对应的深度作为该点的综合深度;当像素点属于低均值类别时,随机选取所有相对深度图像的同一位置的深度作为该点的综合深度,同一行的所有综合深度组成综合行向量Sm
其中,在k-means进行第一次二分类时,不同点到各聚类中心点的距离值的权值默认为1,后续通过调整权值,得到不同聚类中心所属区域的范围。
所有综合行向量Sm的元素组成综合深度图像,综合深度图像是所有相对深度图像相互融合叠加的结果。
修正单元320,用于计算每个综合行向量对应的行数在综合深度图像中的比例,计算每个灰度行向量对应的行数在二维图像中的比例,将每个综合行向量与比例最相近的灰度行向量进行相似度计算,当相似度小于相似阈值时,修正综合行向量进行二分类时的距离权值,直至相似度最高,所有修正后的综合行向量组成修正后的综合深度图像。
由于激光雷达和相机成像方式不同,激光雷达是扫描成像,相机成像是感光成像,导致分辨率并不一致,因而得到的深度图像和灰度图像的大小不同。
如果采用km算法直接匹配,由于分辨率不一致,即二分图两边数据集合数量不一致,常规方法是进行补零操作,但是深度图像和灰度图像都是冲床表面的图像,应当为相似关系,而不是平移关系,所以直接补零并不适合当前的匹配。
而在深度图像和灰度图像中,虽然分辨率不一致,但是在比例相似的位置,其特征表现近似一致,匹配概率更大。因此通过对应比例的行向量匹配,将图像相互对应,并计算两个行向量之间的相似度,判断图像是否对应。
计算第m个综合行向量Sn对应的行数在综合深度图像中的第一比例
Figure BDA0003617100740000061
其中,m表示第m个综合行向量对应的第m行,M表示综合深度图像的总行数。
获取灰度图像中每一行像素点的灰度值组成灰度行向量,计算第n个灰度行向量Wn对应的行数在二维图像中的第二比例
Figure BDA0003617100740000062
其中n表示第n个灰度行向量对应的第n行,N表示灰度图像的总行数。
以第一比例p1和第二比例p2之间的差值作为比例关系的近似距离Y,Y越小,表示Sn与Wn的位置关系越近似,对于每个综合行向量,选取与之近似距离Y最小的灰度行向量进行相似度计算,本发明实施例中的相似度计算采用余弦距离作为相似度X。
由于在k-means进二分类时,每个点到各聚类中心点的距离权值不同,会得到不同的综合行向量Sm,进而得到不同的相似度。
在进行k-means二分类时,如果不同点到各聚类中心点的距离权值选择过小,导致不平整区域范围过小,相似度X下降;如果不同点到各聚类中心点的距离权值选择过大,则会导致将部分平整区域划分到不平整区域分布,也会导致相似度X下降。
获取所有综合行向量对应的相似度的平均值,以平均值的a倍作为相似阈值,当相似度小于相似阈值时,距离权值可能不合理,修正综合行向量进行二分类时的距离权值,直至相似度最高。
其中,a为超参数,作为一个示例,本发明实施例中a的取值为0.8。
修正的过程为:
当相似度小于相似阈值时,对于每一行像素值,获取高均值类别中每个点属于低均值类别中最近点之间的距离,获取最小距离所对应的点为高均值类别中的边缘点,同时也是低均值类别中的边缘点,因为边缘点往往是在两类中都有可能的点,如果距离权值设置不合适,则会导致最终匹配效果不佳,所以对边缘点在聚类时的距离权值进行调整。
先对边缘点距离权值每次加0.1进行调整,调整后得到新的综合行向量,重新计算综合行向量与对应的比例最近的灰度行向量之间的相似度,如果相似度相比之前升高,则不断升高距离权值直至对应的相似度最大,即再增加距离权值时,相似度下降。
如果对边缘点距离权值第一次进行加0.1调整后,重新计算的相似度与之前相比下降,则不断降低距离权值直至对应的相似度最大,即再增加距离权值时,相似度下降。
进一步的,当调整边缘点的距离权值之后,重新计算得到的新的综合行向量与对应的比例最近的灰度行向量之间的相似度,依然小于相似阈值,此时对边缘点的范围进行扩张,调整更多的点,来实现综合深度图像和灰度图像的匹配。
获取边缘点的扩张范围:
Figure BDA0003617100740000071
其中,E表示扩张范围值,需要取整,A表示调整系数。
调整系数根据具体实施场景进行赋值,本发明实施例中A=5。
边缘点进行扩张后,得到E个边缘点,将E个边缘点进行上述距离权值的调整,直至相似度大于等于相似阈值。
所有修正后的综合行向量组成修正后的综合深度图像。
重新匹配单元330,用于将修正后的深度图像与灰度图像重新进行对应比例的行向量匹配。
异常检测模块400,用于在行向量匹配后,获取二维图像中每个像素点对应的深度值,通过计算深度值的差异情况评估冲床表面的异常情况,异常情况包括粗糙和不规则。
具体的,异常检测模块400包括匹配结果获取单元410和异常检测单元420。
匹配结果获取单元410,用于在修正后的深度图像与灰度图像重新匹配后,获取二维图像中每个像素点对应的深度值。
异常检测单元420,用于通过计算深度值的差异情况评估冲床表面的异常情况。
计算所有深度值的方差,作为冲床表面的异常程度,异常程度越大,冲床表面的深度值差异越大,表面越粗糙或者不规则;异常程度越小,冲床表面的深度值差异越小,表面越平整光滑。
综上所述,本发明实施例包括以下模块:
数据采集模块100、三维点云数据处理模块200、数据匹配模块300以及异常检测模块400。
具体的,通过数据采集模块通过多个不同视角的激光雷达采集冲床表面的三维点云数据,通过ccd相机采集二维图像;三维点云数据包含深度信息;通过三维点云数据处理模块通过获取每个视角下的所有三维点云数据的主成分方向得到对应的俯视平面,选取深度值最大的俯视平面作为参考平面,得到每个视角下的深度图像;获取所有深度图像的共有像素点,根据共有像素点的深度值将所有参考平面调整至同一深度,得到多张相对深度图像;通过数据匹配模块获取相对深度图像中每一行的深度行向量,通过将所有相对深度图像的对应行的深度行向量进行融合得到每一行的综合行向量,组成综合深度图像;获取二维图像中每一行的灰度行向量,将综合行向量与灰度行向量进行对应比例的行向量匹配,通过匹配结果对综合深度图像进行修正,得到修正后的综合深度图像,并与二维图像重新进行对应比例的行向量匹配;通过异常检测模块在行向量匹配后,获取二维图像中每个像素点对应的深度值,通过计算深度值的差异情况评估冲床表面的异常情况,异常情况包括粗糙和不规则。本发明实施例能够省去坐标系标定实现三维数据和二维数据的融合,完成冲床表面的粗糙和不规则的异常测量,降低了人工失误所带来的生产风险成本。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (7)

1.基于激光测量的冲床线ccd视觉检测系统,其特征在于,该系统包括以下模块:
数据采集模块,用于通过多个不同视角的激光雷达采集冲床表面的三维点云数据,通过ccd相机采集二维图像;所述三维点云数据包含深度信息;
三维点云数据处理模块,用于通过获取每个视角下的所有三维点云数据的主成分方向得到对应的俯视平面,选取深度值最大的俯视平面作为参考平面,得到每个视角下的深度图像;获取所有深度图像的共有像素点,根据共有像素点的深度值将所有参考平面调整至同一深度,得到多张相对深度图像;
数据匹配模块,用于获取所述相对深度图像中每一行的深度行向量,通过将所有相对深度图像的对应行的深度行向量进行融合得到每一行的综合行向量,组成综合深度图像;获取所述二维图像中每一行的灰度行向量,将所述综合行向量与灰度行向量进行对应比例的行向量匹配,通过匹配结果对所述综合深度图像进行修正,得到修正后的综合深度图像,并与所述二维图像重新进行对应比例的行向量匹配;
异常检测模块,用于在行向量匹配后,获取所述二维图像中每个像素点对应的深度值,通过计算深度值的差异情况评估冲床表面的异常情况,所述异常情况包括粗糙和不规则。
2.根据权利要求1所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述三维点云数据处理模块,包括:
俯视平面获取单元,用于利用主成分分析法提取每个视角下的所有三维点云数据的三个主成分方向,选取前两个特征值最大的主成分方向分别作为第一主成分方向和第二主成分方向,由第一主成分方向和第二主成分方向构建的平面作为对应视角下的俯视平面。
3.根据权利要求1所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述三维点云数据处理模块,包括:
深度图像获取单元,用于对于每个视角,在不同深度的俯视平面中,选取深度值最大的俯视平面作为所述参考平面,获取每个三维点云数据与所述参考平面的距离作为对应的深度,以深度作为对应三维点云数据在参考平面上形成的像素点的像素值,组成对应视角下的所述深度图像。
4.根据权利要求1所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述三维点云数据处理模块,包括:
共有像素点获取单元,用于对所述深度图像进行阈值分割,获取对应的二值图像,对所有二值图像进行取与运算,得到所述共有像素点。
5.根据权利要求1所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述三维点云数据处理模块,包括:
相对深度图像获取单元,用于选取任意一张所述深度图像作为参考图像,获取其他每张深度图像与参考图像中的共有像素点的像素值之间的差值,以所有差值的平均值作为对应的其他每张深度图像的调整值,按照调整值对其他每张深度图像进行调整,使所有参考平面调整至同一深度,调整后的深度图像作为所述相对深度图像。
6.根据权利要求1所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述数据匹配模块,包括:
综合行向量获取单元,用于获取每张相对深度图像中每一行像素点的深度组成所述深度行向量,计算每个点的深度与该点所在深度行向量的平均深度值之间的差值绝对值,对所有相对深度图像的同一行像素点的所有差值绝对值进行二分类,以平均差值绝对值更高的类别作为高均值类别,以平均差值绝对值更低的类别作为低均值类别;当像素点属于高均值类别时,选取所有相对深度图像的同一位置中差值绝对值最大的点对应的深度作为该点的综合深度;当像素点属于低均值类别时,随机选取所有相对深度图像的同一位置的深度作为该点的综合深度,同一行的所有综合深度组成所述综合行向量。
7.根据权利要求6所述的基于激光测量的冲床线ccd视觉检测系统,其特征在于,所述数据匹配模块,包括:
修正单元,用于计算每个综合行向量对应的行数在所述综合深度图像中的比例,计算每个灰度行向量对应的行数在所述二维图像中的比例,将每个综合行向量与比例最相近的灰度行向量进行相似度计算,当相似度小于相似阈值时,修正综合行向量进行二分类时的距离权值,直至相似度最高,所有修正后的综合行向量组成修正后的综合深度图像。
CN202210446463.5A 2022-04-26 2022-04-26 基于激光测量的冲床线ccd视觉检测系统 Active CN114998408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446463.5A CN114998408B (zh) 2022-04-26 2022-04-26 基于激光测量的冲床线ccd视觉检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446463.5A CN114998408B (zh) 2022-04-26 2022-04-26 基于激光测量的冲床线ccd视觉检测系统

Publications (2)

Publication Number Publication Date
CN114998408A CN114998408A (zh) 2022-09-02
CN114998408B true CN114998408B (zh) 2023-06-06

Family

ID=83025005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446463.5A Active CN114998408B (zh) 2022-04-26 2022-04-26 基于激光测量的冲床线ccd视觉检测系统

Country Status (1)

Country Link
CN (1) CN114998408B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974933B (zh) * 2024-03-28 2024-06-11 岐山县华强工贸有限责任公司 用于盘式制动器卡钳的3d打印模具快速扫描方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
EP2833293A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106940884A (zh) * 2015-12-15 2017-07-11 北京康拓红外技术股份有限公司 一种包含深度信息的动车组运行故障图像检测系统及方法
CN109815833A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN111161338A (zh) * 2019-12-26 2020-05-15 浙江大学 一种基于二维图像灰度进行深度预测的点云密度提升方法
CN111256628A (zh) * 2020-01-21 2020-06-09 浙江清华柔性电子技术研究院 墙面平整度检测方法、装置、计算机设备和存储介质
CN112686961A (zh) * 2020-12-31 2021-04-20 杭州海康机器人技术有限公司 一种深度相机标定参数的修正方法、装置
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
DE102017215334A1 (de) * 2016-09-21 2018-03-22 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren, Computerprogrammprodukt und Messsystem zum Betrieb mindestens eines Triangulations-Laserscanners zur Identifizierung von Oberflächeneigenschaften eines zu vermessenden Werkstücks
US10907954B2 (en) * 2018-09-28 2021-02-02 Hand Held Products, Inc. Methods and systems for measuring dimensions of a 2-D object

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833293A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN106940884A (zh) * 2015-12-15 2017-07-11 北京康拓红外技术股份有限公司 一种包含深度信息的动车组运行故障图像检测系统及方法
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN109815833A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN111161338A (zh) * 2019-12-26 2020-05-15 浙江大学 一种基于二维图像灰度进行深度预测的点云密度提升方法
CN111256628A (zh) * 2020-01-21 2020-06-09 浙江清华柔性电子技术研究院 墙面平整度检测方法、装置、计算机设备和存储介质
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium
CN112686961A (zh) * 2020-12-31 2021-04-20 杭州海康机器人技术有限公司 一种深度相机标定参数的修正方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Point cloud matching based on 3D self-similarity;Jing huang et al.;《2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops》;20120716;41-48 *
基于深度图像的三维重建配准算法研究;宋晓卿;《中国优秀硕士学位论文全文数据库信息科技辑》;20111015(第10期);全文 *

Also Published As

Publication number Publication date
CN114998408A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
WO2019144469A1 (zh) 一种图像质量分类方法、系统及终端设备
CN111223133B (zh) 一种异源图像的配准方法
JP6884517B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8452078B2 (en) System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111723721A (zh) 基于rgb-d的三维目标检测方法、系统及装置
CN105931257B (zh) 基于纹理特征和结构相似度的sar图像质量评估方法
CN112116576A (zh) 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN114998408B (zh) 基于激光测量的冲床线ccd视觉检测系统
CN116071363B (zh) 一种自动化型钢智能生产监测系统
CN116433672B (zh) 基于图像处理的硅片表面质量检测方法
CN111368573A (zh) 一种基于几何特征约束的定位方法
CN113781424A (zh) 一种表面缺陷检测方法、装置及设备
CN113313047A (zh) 一种基于车道结构先验的车道线检测方法及系统
CN103353941A (zh) 基于视角分类的自然标志物注册方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN116543247A (zh) 基于光度立体表面重建的数据集制作方法及验证系统
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN115816834B (zh) 用于打印机打印质量实时监测的方法及系统
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN112837252A (zh) 一种侧扫声呐条带图像公共覆盖区图像融合方法及系统
CN109084721B (zh) 用于确定半导体器件中的目标结构的形貌参数的方法和设备
CN114862816A (zh) 毛刺检测方法、系统和计算机可读存储介质
CN113012121A (zh) 裸片扫描结果的处理方法、装置、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221222

Address after: 315101 Yuanjia Industrial Zone, Qiuyi Village, Qiu'ai Town, Yinzhou District, Ningbo City, Zhejiang Province

Applicant after: Ningbo Yizhu Intelligent Technology Co.,Ltd.

Address before: Junhe International Mansion, Jianqian Road, Economic and Technological Development Zone, Yangzhou City, Jiangsu Province, 225000

Applicant before: JIANGSU WIN-WIN METAL FORMING MACHINE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant