CN112419429B - 一种基于多视角的大型工件表面缺陷检测标定方法 - Google Patents
一种基于多视角的大型工件表面缺陷检测标定方法 Download PDFInfo
- Publication number
- CN112419429B CN112419429B CN202110094512.9A CN202110094512A CN112419429B CN 112419429 B CN112419429 B CN 112419429B CN 202110094512 A CN202110094512 A CN 202110094512A CN 112419429 B CN112419429 B CN 112419429B
- Authority
- CN
- China
- Prior art keywords
- camera
- sift feature
- feature points
- dimensional
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000007547 defect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于多视角的大型工件表面缺陷检测标定方法,涉及设计图像处理技术领域。本发明首先对大型工件进行三维建模,确定其表面各个点的相对位置关系,利用相机生成正下方的俯视图像,对俯视图进行SIFT特征点提取,构建SIFT特征点和位置关系的离线库;然后建立在线相机与对应相机图像的SIFT特征点在线库;接着利用三维模型建立的离线库与相机二维图像建立的在线库进行匹配,定位匹配特征点的三维坐标;最后对相机外参进行标定。本发明提供的一种基于多视角的大型工件表面缺陷检测标定方法,有效的提高多视角下大型工件表面缺陷检测定位能力,为工业自动化提供更好的依据。
Description
技术领域
本发明涉及设计图像处理技术领域,尤其涉及一种基于多视角的大型工件表面缺陷检测标定方法。
背景技术
机器视觉技术已经代替人眼深入到了社会的方方面面,彻底改变了人们的生活环境。机器视觉检测综合了机器视觉和自动化技术,广泛应用于制造行业的产品缺陷检测,例如产品的装配过程检测与定位、产品的包装检测、产品的外观质量检测、物流行业的货物分栋或水果分栋等,机器视觉能够代替人工快速、准确地完成各项工作。
机器视觉是用机器代替人眼,将被拍摄结果转换成图像信号传给图像处理系统,并做出判断和测量,一般采用单一的图像扫描的方式或者移动机器人扫描的方式对大型工件表面进行缺陷进行检测,该方法效率较低,且运动过程中不好标定,基于多视角的大型工件表面缺陷检测需要复杂的标定问题。发明专利CN201910341446.3公开了一种摄影测量后处理辅助尺度恢复及定向的标定装置,其提出了一种立体标定板,该标定板不易把所有的多视角相机都拍摄在里面。
发明内容
本发明的目的在于提供了一种基于多视角的大型工件表面缺陷检测标定方法,有效的提高多视角下大型工件表面缺陷检测定位能力,为工业自动化提供更好的依据。
为了解决上述技术问题,本发明提供了一种基于多视角的大型工件表面缺陷检测标定方法,采用多个相机固定在大型工件的正上方或者两侧,且大型工件的三维模型已知,其具体包括以下步骤:
(1)构建三维模型SIFT特征点的离线库,首先对大型工件进行三维建模,确定大型工件各个点的相对位置关系,然后利用相机生成正下方的俯视图像,对俯视图像进行SIFT特征点的提取,从而构建SIFT特征点和三维模型中大型工件各个点的相对位置关系的离线库;
(2)构建多相机图像的在线SIFT特征点库,即在线标点中,每个相机获取当前目标的二维图像,提取SIFT特征点,建立在线相机与对应相机图像的SIFT特征点在线库;
(3)利用三维模型SIFT特征点的离线库与多相机二维图像的在线SIFT特征点库进行匹配,对匹配的特征点在三维模型中进行定位,定位匹配特征点的三维坐标;
(4)利用已经定位匹配特征点的三维坐标,根据相机内参数,和二维图像对应的坐标对相机外参数进行标定。
进一步的,所述构建三维模型SIFT特征点的离线库的具体步骤为:
S3.根据多视角相机的大概位置划分为个区域,把对应区域的SIFT特征点的三维坐标和该SIFT特征点的SIFT特征向量放入该区域,即构建了三维模型SIFT特征点的离线库;其中,为第个区域,,为该区域图像的第个SIFT特征点。
进一步的,所述构建多相机图像的在线SIFT特征点库的具体步骤为:
P1.采集每个相机的二维图像,获取该二维图像的SIFT特征点以及对应的特征值;
P2.根据上述SIFT特征点以及对应的特征值生成对应相机内参数矩阵,该二维图像的任意SIFT特征点图像坐标,以及对应的特征值向量的在线SIFT特征点库;其中,代表第个相机,代表二维图像中第个SIFT特征点。
进一步的,所述利用三维模型SIFT特征点的离线库与多相机二维图像的在线SIFT特征点库进行匹配,即所述特征向量与特征向量进行匹配,当特征点匹配阈值大于时,即确定该点为匹配点,构建匹配点的离线库中的三维坐标和在线库的二维坐标,其中和分别为匹配的目标三维点和目标的图像中的二维点。
进一步的,所述相机外参数进行标定后,以获取相机外参数矩阵,所述相机外参数矩阵为相对于大型工件的坐标系;根据第相机获取的大型工件的原点坐标,以及该相机相对坐标系的旋转矩阵和平移矩阵,该相机相对坐标系转换为以该相机为原点的相机坐标系。
本发明提供的基于多视角的大型工件表面缺陷检测标定方法可应用于大型机床的裂纹检测、表面腐蚀的缺陷检测、多视角飞机蒙皮缺陷检测等方面。
本发明取得了以下有益效果:本发明的一种基于多视角的大型工件表面缺陷检测标定方法,主要是针对多视角的大型工件表面缺陷检测标定复杂,利用二、三维标定板对结构工艺要求较高的特征,开展在线的基于多视角的大型工件表面缺陷检测标定,为实现非接触、无破坏的精确测量,实现精确化维护管理提供一种新的标定方法。
附图说明
图1是本发明的基于多视角的大型工件表面缺陷检测标定方法流程图;
图2是本发明的SIFT特征检测流程图;
图3是本发明的一实施例的飞机表面SIFT特征点示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细地描述。本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本发明主要是针对多视角的大型工件表面缺陷检测标定复杂,利用二、三维标定板对结构工艺要求较高的特点,本文开展在线的基于多视角的大型工件表面缺陷检测标定,为实现非接触、无破坏的精确测量,实现精确化维护管理提供一种新的标定方法。
本发明提供的基于多视角的大型工件表面缺陷检测标定方法,是在大型工件的三维模型已知的情况下,采用多个相机固定在大型工件的正上方或者两侧对大型工件表面缺陷检测进行标定的方法。本发明的在线标定方法可应用于大型机床的裂纹检测、表面腐蚀的缺陷检测、多视角飞机蒙皮缺陷检测等方面。
如图1所示,本发明提供的基于多视角的大型工件表面缺陷检测标定方法,其包括以下步骤:
(1)构建三维模型SIFT特征点的离线库,首先对大型工件进行三维建模,确定大型工件各个点的相对位置关系,然后利用相机生成正下方的俯视图像,对俯视图像进行尺度不变特征(SIFT)特征点的提取,从而构建SIFT特征点和三维模型中大型工件各个点的相对位置关系的离线库。构建该三维模型SIFT特征点的离线库的具体步骤为:
(2)构建多相机图像的在线SIFT特征点库,即在线标点中,每个相机获取当前目标的二维图像,提取SIFT特征点,建立在线相机与对应相机图像的SIFT特征点在线库。构建该多相机图像的在线SIFT特征点库的具体步骤为:
P1.采集每个相机的二维图像,获取该二维图像的SIFT特征点以及对应的特征值。
(3)利用三维模型SIFT特征点的离线库与多相机二维图像的在线SIFT特征点库进行匹配,即特征向量与特征向量进行匹配。当特征点匹配(采用欧氏距离对SIFT特征向量进行匹配)阈值大于时,即确定该点为匹配点,对匹配的特征点在三维模型中进行定位,定位匹配特征点的三维坐标,构建匹配点的离线库中的三维坐标和在线库的二维坐标。
(4)利用已经定位匹配特征点的三维坐标,根据相机内参数,和二维图像对应的坐标对相机外参数进行标定,求出外参旋转矩阵和平移向量。其中和为相邻像素间的距离,和为图像中心点的位置,为焦距,这些为相机内参数,相机内参数一般固定,利用标定板会事先标定;
上述相机外参数进行标定后,获得相机外参数矩阵。该相机外参数矩阵为相对于大型工件的坐标系。根据第相机获取的大型工件的原点坐标,以及该相机相对坐标系的旋转矩阵和平移矩阵,该相机相对坐标系转换为以该相机为原点的相机坐标系。
SIFT为尺度不变特征点,具有较好的旋转、缩放、倾斜变化的不变特征,因此较多的用于特征点的匹配中。如图2所示,为SIFT特征检测原理图,该SIFT特征检测的原理为:输入图像,图像通过上采样或者下采样生成图像金字塔,其中对图像金字塔进行高斯卷积,生成高斯差分金字塔(DOG金字塔),尺度空间构建,然后对空间极值点检测、特征点方向检测,生成稳定关键点的精确定位,最后时生成特征描述子,即SIFT特征点。因此本文采用SIFT的特征点作为本文的特征点匹配。
下面结合具体实施例来确定大型工件表面的SIFT特征点,如图3所示。
101区域与104的各个区域可能重叠,且观察的角度也不一样,对于单个相机采用101单个区域的SIFT特征点与104的各个区域的特征点进行逐一匹配,当特征点集合匹配阈值大于时,即确定为该区域,然后利用已经定位匹配特征点的三维坐标,根据相机内参数和二维图像对应的坐标对相机外参数进行标定。由于存在一对多的匹配,可以采用GPU的计算加速以提高匹配效率。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (5)
1.一种在线的基于多视角的大型工件表面缺陷检测标定方法,其特征在于,具体包括以下步骤:
(1)构建三维模型SIFT特征点的离线库,首先对大型工件进行三维建模,确定大型工件各个点的相对位置关系,然后利用相机生成正下方的俯视图像,对俯视图像进行SIFT特征点的提取,从而构建SIFT特征点和三维模型中大型工件各个点的相对位置关系的离线库;
(2)构建多相机图像的在线SIFT特征点库,即在线标点中,每个相机获取当前目标的二维图像,提取SIFT特征点,建立在线相机与对应相机图像的SIFT特征点在线库;
(3)利用三维模型SIFT特征点的离线库与多相机二维图像的在线SIFT特征点库进行匹配,特征点匹配采用余弦相似性度量方法,对匹配的特征点在三维模型中进行定位,定位匹配特征点的三维坐标;
(4)利用已经定位匹配特征点的三维坐标,根据相机内参数,和二维图像对应的坐标对相机外参数进行标定;
步骤(1)所述构建三维模型SIFT特征点的离线库的具体步骤为:
S1.在大型工件三维模型已知的情况下,以三维模型的一点为原点,建立以该原点为中心的坐标系TG,大型工件表面上的点坐标为(x g ,yg ,zg);
S2.采用多视角相机拍摄正下方大型工件的俯视图像,对俯视图像进行SIFT特征点提取,提取的SIFT特征点对应的工件表面上的坐标为(x gi , y gi , z gi );
S3.根据多视角相机的大概位置划分为M个区域,把对应区域的SIFT特征点的三维坐标(x kh ,y kh ,z kh )和该SIFT特征点的SIFT特征向量β kh放入该区域,即构建了三维模型SIFT特征点的离线库;其中, k为第k个区域,h为该区域图像的第h个SIFT特征点;
步骤(2)中所述构建多相机图像的在线SIFT特征点库的具体步骤为:
P1.采集每个相机的二维图像,获取该二维图像的SIFT特征点以及对应的特征值;
P2.根据上述SIFT特征点以及对应的特征值生成对应相机内参数矩阵K i ,该二维图像的任意SIFT特征点图像坐标(u ij' ,v ij' ),以及对应的特征值向量α ij的在线SIFT特征点库;其中,i代表第i个相机, j代表二维图像中第j个SIFT特征点。
2.根据权利要求1所述的在线的多视角的大型工件表面缺陷检测标定方法,其特征在于,所述利用三维模型SIFT特征点的离线库与多相机二维图像的在线SIFT特征点库进行匹配,即所述特征向量β kh与特征向量α ij进行匹配,当特征点匹配阈值大于时,即确定该点为匹配点,构建匹配点的离线库中的三维坐标 (x kh' ,y kh' ,z kh' )和在线库的二维坐标(u ij' ,v ij' ),其中h'和j'分别为匹配的目标三维点和目标的图像中的二维点。
3.根据权利要求2所述的在线的多视角的大型工件表面缺陷检测标定方法,其特征在于,所述相机外参数的标定依据为:根据相机内参数K i ,并利用已经定位匹配特征点的三维坐标 (x kh' ,y kh' ,z kh' )和二维图像对应点的坐标(u ij' ,v ij' )进行标定的。
4.根据权利要求3所述的在线的多视角的大型工件表面缺陷检测标定方法,其特征在于,所述相机外参数进行标定后,以获取相机外参数矩阵,所述相机外参数矩阵为相对于大型工件的坐标系T G ;根据第i'相机获取的大型工件的原点坐标,以及该相机相对坐标系T G 的旋转矩阵R i' 和平移矩阵T i' ,该相机相对坐标系T G 通过所述旋转矩阵R i' 旋转和所述平移矩阵T i' 平移后,转换为以该i'相机为原点的相机坐标系T O ,i'相机为与i相机不同的相机。
5.根据权利要求1所述的在线的多视角的大型工件表面缺陷检测标定方法,其特征在于,所述在线的多视角的大型工件表面缺陷检测标定方法可应用于大型机床的裂纹检测、表面腐蚀的缺陷检测、多视角飞机蒙皮缺陷检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110094512.9A CN112419429B (zh) | 2021-01-25 | 2021-01-25 | 一种基于多视角的大型工件表面缺陷检测标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110094512.9A CN112419429B (zh) | 2021-01-25 | 2021-01-25 | 一种基于多视角的大型工件表面缺陷检测标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419429A CN112419429A (zh) | 2021-02-26 |
CN112419429B true CN112419429B (zh) | 2021-08-10 |
Family
ID=74782618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110094512.9A Active CN112419429B (zh) | 2021-01-25 | 2021-01-25 | 一种基于多视角的大型工件表面缺陷检测标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419429B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113237888B (zh) * | 2021-05-21 | 2022-06-14 | 哈尔滨工业大学 | 大口径光学元件损伤点在线与离线暗场图像匹配方法 |
CN113313770A (zh) * | 2021-06-29 | 2021-08-27 | 智道网联科技(北京)有限公司 | 行车记录仪的标定方法及其装置 |
CN113240674B (zh) * | 2021-07-09 | 2021-09-24 | 深圳市艾视铂智能技术有限公司 | 基于三维点云和二维图像融合的共面度检测方法 |
US20230186563A1 (en) * | 2021-12-10 | 2023-06-15 | The Boeing Company | Three-dimensional inspection twin for remote visual inspection of a vehicle |
CN114549660B (zh) * | 2022-02-23 | 2022-10-21 | 北京大学 | 基于圆柱形自识别标记物的多相机标定方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282913B2 (en) * | 2017-07-24 | 2019-05-07 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
-
2021
- 2021-01-25 CN CN202110094512.9A patent/CN112419429B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282913B2 (en) * | 2017-07-24 | 2019-05-07 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112419429A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112419429B (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
CN111007073B (zh) | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 | |
CN111080627B (zh) | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 | |
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
CN101839692B (zh) | 单相机测量物体三维位置与姿态的方法 | |
Li et al. | Developing a low-cost 3D plant morphological traits characterization system | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
JP6899189B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
Zhang et al. | Stud pose detection based on photometric stereo and lightweight YOLOv4 | |
CN104930985A (zh) | 基于时空约束的双目视觉三维形貌测量方法 | |
Jiang et al. | Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping | |
KR102634535B1 (ko) | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 | |
CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
CN112734844B (zh) | 一种基于正八面体的单目6d位姿估计方法 | |
CN113920081A (zh) | 一种刀具磨损度检测方法 | |
CN112067233A (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN113267452A (zh) | 一种基于机器视觉的发动机缸体表面缺陷检测方法及系统 | |
CN110415363A (zh) | 一种基于三目视觉的散乱物识别定位方法 | |
CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |