CN115345775B - 一种面向椭圆状管件外形检测的图像展开方法及装置 - Google Patents
一种面向椭圆状管件外形检测的图像展开方法及装置 Download PDFInfo
- Publication number
- CN115345775B CN115345775B CN202211270258.4A CN202211270258A CN115345775B CN 115345775 B CN115345775 B CN 115345775B CN 202211270258 A CN202211270258 A CN 202211270258A CN 115345775 B CN115345775 B CN 115345775B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- ellipse
- point
- pipe fitting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000009795 derivation Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 241000287196 Asthenes Species 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 30
- 230000007547 defect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向椭圆状管件外形检测的图像展开方法及装置,所述方法包括:在椭圆状管件的周围安装多个相机,采集椭圆状管件的图像,包含二维灰度数据和三维深度数据;建立各坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,进而得到展开后椭圆状管件的世界坐标与像素坐标的转换关系;采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度。
Description
技术领域
本发明涉及检测技术领域,特别涉及一种面向椭圆状管件外形检测的图像展开方法及装置。
背景技术
椭圆状管件是常见的工业产品,包括横截面为椭圆状的钢管、PVC管等,其生产数量大、适用范围广、作用时间长,而产品质量优劣情况直接决定了产品应用的可靠性和耐用性,因而对其质量方面的检测,尤其是表面及内部缺陷方面的检测,一直受到行业的广泛关注。与圆形管件相似,椭圆状管件的缺陷主要有裂纹、划痕和凹坑等,这些缺陷可能引起椭圆状管件的爆裂及次生问题。为了检测管件中的缺陷,行业通常采用超声检测、表面缺陷检测、人工肉眼检测等方式,其中人工检测的方式通常受限于现场环境和人为因素波动,检测难度大且易出现漏报现象,超声检测装置与表面缺陷检测系统作为一种自动化程度比较高的非接触式测量方式,对管身外形与直度要求较高,一般应用于圆形管件。因此,如何寻找一种提高椭圆状管件外形检测效率的方法,助力后续的椭圆状管件自动化缺陷检测系统的检出和识别,就成了行业当前亟需解决的问题。
专利CN109444144 A提供了一种针对缸孔孔壁的缺陷检测方法,其中包括圆的展开过程,即将圆形物体展开为平面内的矩形,截取固定高度的矩形图像来进行缸孔孔壁的缺陷检测,提高了暗场打光下缸孔孔壁外形缺陷检测的准确性。专利CN106856003A提供了一种轴类工件侧表面缺陷检测图像的展开校正方法,该校正方法根据侧表面空间点、图像坐标位置和距相机最近轴母线为基准展开的平面空间点三者关系联立推导,建立轴侧表面与展开平面图像间的仿射变换关系,结合该仿射变换关系及插值法完成像素复制,实现检测图像的展开校正,可真实还原轴外形缺陷的实际检测情况,提高了后期图像处理检测精度。专利CN112767249 A提供了一种表面缺陷检测的图像展开拼接方法及系统,建立了小型管件图像展开模型,包括管件展开前后世界坐标系与像素坐标系之间的转换关系,提高了小型管件外形检测的自动化程度及表面缺陷检测的准确度。
以上文献针对圆形对象进行了空间上的展开,利用展开后的外形数据提高目标的缺陷检测或校正效果,但其都是面向圆形物体展开的分析,针对椭圆状管件进行的展开研究较为少见。相对圆形而言,椭圆有长轴和短轴之分,不仅涉及更为复杂的长轴旋转角等姿态,而且现实中采集的椭圆状物体外轮廓的样本点不一定完全分布在椭圆上,这在一定程度上加大了椭圆展开工作的难度。
发明内容
针对上述问题,本发明的目的在于提供一种面向椭圆状管件外形检测的图像展开方法及装置,对于不同形状大小及旋转姿态的椭圆状管件,通过多个坐标系进行建模,构建椭圆状管件展开前世界坐标与图像像素坐标的转换关系,以及椭圆状管件展开后世界坐标与展开前世界坐标的转换关系,进而构建椭圆状管件展开后世界坐标与图像像素坐标的转换关系,将椭圆状管件的图像根据空间位置转换关系进行展开,并对展开后的图像进行双三次插值,得到椭圆状管件最终的展开图像,从而提高椭圆状管件的外形检测效率和自动化程度。
为解决上述技术问题,本发明的实施例提供如下方案:
一方面,提供一种面向椭圆状管件外形检测的图像展开方法,包括以下步骤:
S1,在椭圆状管件的周围安装多个相机,用于采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据;
S2,建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;
其中,世界坐标系用于展示椭圆状管件的实际位置分布,相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系用于展示相机透视关系下的成像过程;像素坐标系用于展示椭圆状管件最终在图像上的成像结果;
S3,根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;
S4,推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像;
S5,采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
优选地,所述步骤S1中,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为线阵相机,三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
优选地,所述步骤S2中,世界坐标系和相机坐标系涉及三维空间的位置关系,像素物理坐标系和像素坐标系涉及二维平面的位置关系。
优选地,所述步骤S3中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线。
优选地,所述步骤S4中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合步骤S3的结果,得到展开后椭圆状管件的图像。
一方面,提供一种面向椭圆状管件外形检测的图像展开装置,包括:
采集模块,用于在椭圆状管件的周围安装多个相机,采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据;
建模模块,用于建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;
其中,世界坐标系用于展示椭圆状管件的实际位置分布,相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系用于展示相机透视关系下的成像过程;像素坐标系用于展示椭圆状管件最终在图像上的成像结果;
展开模块,用于根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;
推导模块,用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像;
插值模块,用于采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
优选地,所述采集模块中,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为线阵相机,三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
优选地,所述建模模块中,世界坐标系和相机坐标系涉及三维空间的位置关系,像素物理坐标系和像素坐标系涉及二维平面的位置关系。
优选地,所述展开模块中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线。
优选地,所述推导模块中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合所述展开模块的结果,得到展开后椭圆状管件的图像。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明实施例中,利用相机采集椭圆状管件的图像,通过建立世界坐标系、相机坐标系、像素物理坐标系及像素坐标系,将椭圆状管件的图像根据空间位置转换关系进行展开,并对展开后的图像进行双三次插值,得到椭圆状管件最终的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度,为后续利用椭圆状管件外形数据进行缺陷检出及识别工作打好基础。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向椭圆状管件外形检测的图像展开方法的流程图;
图2是本发明实施例提供的相机布置示意图;
图3是本发明实施例提供的各坐标系示意图;
图4是本发明实施例提供的真实样本点对应到椭圆位置示意图;
图5是本发明实施例提供的离心角与“圆心角”对应关系示意图;
图9是本发明实施例提供的展开后的点在Z轴方向与相机的距离示意图;
图10是本发明实施例提供的双三次插值中的16个相近点像素示意图;
图11是本发明实施例提供的某帧椭圆展开效果图;
图12是本发明实施例提供的整体三维展开效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例首先提供了一种面向椭圆状管件外形检测的图像展开方法,如图1所示,所述方法包括以下步骤:
S1,在椭圆状管件的周围安装多个相机,用于采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据。
作为本发明的一种实施方式,如图2所示,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为能够采集二维灰度数据和三维深度数据的设备,例如线阵相机。三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集,其中,二维灰度数据是椭圆状管件展开的初始图像,三维深度数据为展开过程中必要的支撑数据。
S2,建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系。
如图3所示,世界坐标系OXYZ用于展示椭圆状管件的实际位置分布,相机坐标系OcXcYcZc用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系OiXiYi用于展示相机透视关系下的成像过程;像素坐标系OuvUV用于展示椭圆状管件最终在图像上的成像结果。
其中,世界坐标系和相机坐标系涉及三维空间的位置关系,像素物理坐标系和像素坐标系涉及二维平面的位置关系。
S3,根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标。
其中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线。
具体地,在本发明实施例中需要运用椭圆拟合等方法获得椭圆的几何方程,在此基础上,在世界坐标系OXYZ中将椭圆点集展开在一个平面附近,本发明实施例的展开基点是椭圆与经过其中心的横线负方向的交点,展开方向是平行于Y轴的竖直方向,即展开平面为经过该基点的竖直平面。
实际的椭圆样本点通常分布在椭圆方程附近,需要计算椭圆样本点A对应到椭圆
上的理论位置。在本发明实施例中,对于几何参数为[a, b]的椭圆,其中a、b为椭圆的长轴
半径和短轴半径,任意不在椭圆上的样本点,包括样本点的横坐标不为0、横坐标为0而纵坐
标不为0、以及横纵坐标均为0这三类样本点,分别对应于图4中A、B、C三种情况。记实际样本
点与其对应于椭圆上的理论点P之间的距离为,表征实际样本点相对椭圆方程的波动
程度,三种情况计算的方法见表1。
表1
如图5所示,,对于椭圆上一点M,为了计算弧长,需要计算点M对应的离心角即,其中点A为过M点的竖线与椭圆外接圆的交点,其与横轴交于点B,Q点为椭圆长半轴端
点位置,则该离心角与“圆心角”的转换关系为,则可得弧长:
(1) 确定N点坐标N (ZN, 0),即椭圆与Z轴负向的交点。
(4) 椭圆上的点P(Z, Y)展开后点的Z坐标。若椭圆上的点P(Z, Y)
中,则其对应展开后Y坐标为;若椭圆上的点P(Z, Y)中,则其对应展
开后Y坐标为;若椭圆上的点P(Z, Y)中,则其对应展开后Y坐标为。
(1) 确定N点坐标N (ZN, 0),即椭圆与Z轴负向的交点。
(4) 椭圆上的点P(Z, Y)展开后点的Z坐标。若Y≥0,则其对应展开
后Y坐标为;若椭圆上的点P(Z, Y)中YL≤Y<0,则其对应展开后Y坐标为;若椭圆上的点P(Z, Y)中Y<YL,则其对应展开后Y坐标为。
经过以上对六种不同形态的椭圆进行展开,可得世界坐标系OXYZ下展开前与展开
后的坐标转换关系。首先,由于二者在X轴方向上的位置相同,所以x'k = xk。记以上根据椭
圆位置信息来计算展开后坐标的非线性的处理过程为则可得椭圆展开前位置Pk(x,y,
z)和展开后位置p'k(x'k, y'k, z'k)的转换关系为:
S4,推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像。
本步骤中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合步骤S3的结果,得到展开后椭圆状管件的图像。
具体地,根据图3所示坐标系位置关系,推导椭圆状管件在各坐标系下的转换关系,包括以下步骤:
(1) 世界坐标系OXYZ转换为相机坐标系OcXcYcZc的关系:
写成其次表达式:
(2) 相机坐标系OcXcYcZc转换为像素物理坐标系OiXiYi:
根据相似三角形,有:
故转换关系为:
其中,f为相机焦距。
(3) 像素物理坐标系OiXiYi转换为像素坐标系(图像)OuvUV:
设单位像素为矩形,其长度为dx mm/pix, 宽度为dy mm/pix,像素物理坐标系的原点Oi 在像素坐标系中的坐标设为(u0,v0),这里U轴对应于Yc轴,V轴对应于Xc轴,有:
故转换关系为:
综合以上3个步骤,可得椭圆状管件世界坐标系OXYZ转换到像素坐标系(图像)OuvUV的关系为:
故对应到椭圆状管件上的点Pk 展开后的点P'k 转换到像素坐标系(图像)的关系为:
S5,采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
具体地,在本发明实施例中,椭圆展开后的总弧长一般会略长于椭圆的长轴或短轴,在像平面中可利用展开后的相邻的16个像素点之间进行双三次插值,以保证椭圆展开后图像的清晰度。设展开前图像大小为M*N,缩放比例为K,即理论上缩放后的图像大小为(M×K) * (N×K),但像素单位一般取整数,所以真实缩放后图像的尺寸为M*K和N*K各自的整数部分。对于展开后图像上的像素点B(x, y),首先需要找到其对应到展开前图像上的位置T(X, Y),即X = x/K, Y=y/K,然后根据原图上的点(X,Y)及其最近的16个像素点进行加权求和计算。双三次插值所使用的权重函数BiCubic可由下式表示:
如图10所示,对于原图上的点P(X,Y),其最近的相关点是指16个在欧式距离上最相近的像素点,对于这16个像素点,每个像素点对目标像素点T的贡献权重为横纵两个方向权值的乘积W(u)*W(v),其中W(u)是指点T与这16个点之一的横向距离经BiCubic函数作用后的结果,其中W(v)是指其纵向距离经BiCubic函数作用后的结果。
展开后的图像B(x, y)的像素值由T点的16个相近点像素值经上述的加权求和得到,即:
其中表示这16个相近点各自的像素值,和分别表示相近点对应的横向
距离权重与纵向距离权重。需要注意,对于处于原图像中边缘的两个像素点的范围内,其展
开后的图像中对应的像素值可以设置为,从而接近原图像的信息。
在更具体的实施例中,所述图像展开方法应用在某钢管生产线上的椭圆状钢管,其中某帧椭圆展开效果和整体三维展开效果分别如图11和图12所示。
相应地,本发明的实施例还提供了一种面向椭圆状管件外形检测的图像展开装置,所述装置包括:
采集模块,用于在椭圆状管件的周围安装多个相机,采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据;
建模模块,用于建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;
其中,世界坐标系用于展示椭圆状管件的实际位置分布,相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系用于展示相机透视关系下的成像过程;像素坐标系用于展示椭圆状管件最终在图像上的成像结果;
展开模块,用于根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;
推导模块,用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像;
插值模块,用于采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
进一步地,所述采集模块中,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为线阵相机,三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
进一步地,所述建模模块中,世界坐标系和相机坐标系涉及三维空间的位置关系,像素物理坐标系和像素坐标系涉及二维平面的位置关系。
进一步地,所述展开模块中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线。
进一步地,所述推导模块中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合所述展开模块的结果,得到展开后椭圆状管件的图像。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例提供的面向椭圆状管件外形检测的图像展开方法及装置,利用相机采集椭圆状管件的图像,通过建立世界坐标系、相机坐标系、像素物理坐标系及像素坐标系,将椭圆状管件的图像根据空间位置转换关系进行展开,并对展开后的图像进行双三次插值,得到椭圆状管件最终的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度,为后续利用椭圆状管件外形数据进行缺陷检出及识别工作打好基础。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性,但未必每个实施例都包括该特定特征、结构或特性。另外,在结合实施例描述特定特征、结构或特性时,结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
通常,可以至少部分从上下文中的使用来理解术语。例如,至少部分取决于上下文,本文中使用的术语“一个或多个”可以用于描述单数意义的任何特征、结构或特性,或者可以用于描述复数意义的特征、结构或特性的组合。另外,术语“基于”可以被理解为不一定旨在传达一组排他性的因素,而是可以替代地,至少部分地取决于上下文,允许存在不一定明确描述的其他因素。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读取存储介质中,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种面向椭圆状管件外形检测的图像展开方法,其特征在于,包括以下步骤:
S1,在椭圆状管件的周围安装多个相机,用于采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据;
所述步骤S1中,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为线阵相机,三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集;其中,二维灰度数据是椭圆状管件展开的初始图像,三维深度数据为展开过程中的支撑数据;
S2,建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;
其中,世界坐标系OXYZ用于展示椭圆状管件的实际位置分布,相机坐标系OcXcYcZc用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系OiXiYi用于展示相机透视关系下的成像过程;像素坐标系OuvUV用于展示椭圆状管件最终在图像上的成像结果;
所述步骤S2中,世界坐标系OXYZ和相机坐标系OcXcYcZc涉及三维空间的位置关系,像素物理坐标系OiXiYi和像素坐标系OuvUV涉及二维平面的位置关系;
S3,根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;
所述步骤S3中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线;
具体地,在世界坐标系OXYZ中将椭圆点集展开在一个平面附近,这里的展开基点是椭圆与经过其中心的横线负方向的交点,展开方向是平行于Y轴的竖直方向,即展开平面为经过该基点的竖直平面;
实际的椭圆样本点位置分布在椭圆方程附近,需要计算椭圆样本点A对应到椭圆上的理论位置;对于几何参数为[a, b]的椭圆,其中a、b为椭圆的长轴半径和短轴半径,任意不在椭圆上的样本点,包括样本点的横坐标不为0、横坐标为0而纵坐标不为0、以及横纵坐标均为0这三类样本点,分别记为A、B、C三种情况;记实际样本点与其对应于椭圆上的理论点P之间的距离为,表征实际样本点相对椭圆方程的波动程度,三种情况计算的方法见表1:
表1
经过对六种不同形态的椭圆进行展开,可得世界坐标系OXYZ下展开前与展开后的坐标转换关系;首先,由于二者在X轴方向上的位置相同,所以x'k = x;记根据椭圆位置信息来计算展开后坐标的非线性的处理过程为,则可得椭圆展开前位置Pk(x,y,z)和展开后位置p'k(x'k, y'k, z'k)的转换关系为;
S4,推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像;
所述步骤S4中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合步骤S3的结果,得到展开后椭圆状管件的图像;
具体地,椭圆状管件在各坐标系下的转换关系,包括以下步骤:
(1) 世界坐标系OXYZ转换为相机坐标系OcXcYcZc的关系:
写成其次表达式:
(2) 相机坐标系OcXcYcZc转换为像素物理坐标系OiXiYi:
根据相似三角形,有:
故转换关系为:
其中,f为相机焦距;
(3) 像素物理坐标系OiXiYi转换为像素坐标系OuvUV:
设单位像素为矩形,其长度为dx mm/pix, 宽度为dy mm/pix,像素物理坐标系的原点Oi 在像素坐标系中的坐标设为(u0,v0),这里U轴对应于Yc轴,V轴对应于Xc轴,有:
故转换关系为:
综合以上3个步骤,可得椭圆状管件世界坐标系OXYZ转换到像素坐标系OuvUV的关系为:
故对应到椭圆状管件上的点Pk展开后的点P'k转换到像素坐标系的关系为:
S5,采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
2.一种面向椭圆状管件外形检测的图像展开装置,其特征在于,包括:
采集模块,用于在椭圆状管件的周围安装多个相机,采集椭圆状管件的图像,所述图像包含二维灰度数据和三维深度数据;
所述采集模块中,在椭圆状管件的周围安装三台互呈120°角的相机,所述相机为线阵相机,三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集;其中,二维灰度数据是椭圆状管件展开的初始图像,三维深度数据为展开过程中的支撑数据;
建模模块,用于建立图像展开过程中所需的各个坐标系,包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系;
其中,世界坐标系OXYZ用于展示椭圆状管件的实际位置分布,相机坐标系OcXcYcZc用于展示椭圆状管件在相机采集过程中的透视关系;像素物理坐标系OiXiYi用于展示相机透视关系下的成像过程;像素坐标系OuvUV用于展示椭圆状管件最终在图像上的成像结果;
所述建模模块中,世界坐标系OXYZ和相机坐标系OcXcYcZc涉及三维空间的位置关系,像素物理坐标系OiXiYi和像素坐标系OuvUV涉及二维平面的位置关系;
展开模块,用于根据椭圆几何方程及椭圆弧长与离心角的关系,在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开,得到展开后的世界坐标;
所述展开模块中,所述基准线为:以世界坐标系的横轴为穿过椭圆中心的水平线,所述水平线与椭圆会产生左交点,穿过所述左交点的竖直线设定为基准线;
具体地,在世界坐标系OXYZ中将椭圆点集展开在一个平面附近,这里的展开基点是椭圆与经过其中心的横线负方向的交点,展开方向是平行于Y轴的竖直方向,即展开平面为经过该基点的竖直平面;
实际的椭圆样本点通常分布在椭圆方程附近,需要计算椭圆样本点A对应到椭圆上的理论位置;对于几何参数为[a, b]的椭圆,其中a、b为椭圆的长轴半径和短轴半径,任意不在椭圆上的样本点,包括样本点的横坐标不为0、横坐标为0而纵坐标不为0、以及横纵坐标均为0这三类样本点,分别记为A、B、C三种情况;记实际样本点与其对应于椭圆上的理论点P之间的距离为,表征实际样本点相对椭圆方程的波动程度,三种情况计算的方法见表1:
表1
经过对六种不同形态的椭圆进行展开,可得世界坐标系OXYZ下展开前与展开后的坐标转换关系;首先,由于二者在X轴方向上的位置相同,所以x'k = x;记根据椭圆位置信息来计算展开后坐标的非线性的处理过程为,则可得椭圆展开前位置Pk(x,y,z)和展开后位置p'k(x'k, y'k, z'k)的转换关系为;
推导模块,用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系,根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系,进而得到展开后椭圆状管件的图像;
所述推导模块中,基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系,再结合所述展开模块的结果,得到展开后椭圆状管件的图像;
具体地,椭圆状管件在各坐标系下的转换关系,包括以下步骤:
(1) 世界坐标系OXYZ转换为相机坐标系OcXcYcZc的关系:
写成其次表达式:
(2) 相机坐标系OcXcYcZc转换为像素物理坐标系OiXiYi:
根据相似三角形,有:
故转换关系为:
其中,f为相机焦距;
(3) 像素物理坐标系OiXiYi转换为像素坐标系OuvUV:
设单位像素为矩形,其长度为dx mm/pix, 宽度为dy mm/pix,像素物理坐标系的原点Oi 在像素坐标系中的坐标设为(u0,v0),这里U轴对应于Yc轴,V轴对应于Xc轴,有:
故转换关系为:
综合以上3个步骤,可得椭圆状管件世界坐标系OXYZ转换到像素坐标系OuvUV的关系为:
故对应到椭圆状管件上的点Pk展开后的点P'k转换到像素坐标系的关系为:
插值模块,用于采用双三次插值的方法,对展开后椭圆状管件的图像进行补全,得到补全后椭圆状管件的展开图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211270258.4A CN115345775B (zh) | 2022-10-18 | 2022-10-18 | 一种面向椭圆状管件外形检测的图像展开方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211270258.4A CN115345775B (zh) | 2022-10-18 | 2022-10-18 | 一种面向椭圆状管件外形检测的图像展开方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115345775A CN115345775A (zh) | 2022-11-15 |
CN115345775B true CN115345775B (zh) | 2023-02-28 |
Family
ID=83957124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211270258.4A Active CN115345775B (zh) | 2022-10-18 | 2022-10-18 | 一种面向椭圆状管件外形检测的图像展开方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115345775B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009259036A (ja) * | 2008-04-17 | 2009-11-05 | Sharp Corp | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム |
US9170210B2 (en) * | 2011-06-06 | 2015-10-27 | Federal-Mogul Corporation | Technique for cylindrical part inner surface inspection |
CN105931219B (zh) * | 2016-04-13 | 2018-07-20 | 山东正元地球物理信息技术有限公司 | 一种基于钻孔电视图像计算钻孔深度的方法 |
CN106856003B (zh) * | 2016-12-31 | 2019-06-25 | 南京理工大学 | 轴类工件侧表面缺陷检测图像的展开校正方法 |
CN109859276A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种鱼眼镜头内部参数自标定方法 |
CN112767249B (zh) * | 2021-01-13 | 2023-04-07 | 广东省特种设备检测研究院珠海检测院 | 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统 |
CN113819890B (zh) * | 2021-06-04 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 测距方法、装置、电子设备及存储介质 |
CN114240769A (zh) * | 2021-11-18 | 2022-03-25 | 华为技术有限公司 | 一种图像处理方法以及装置 |
-
2022
- 2022-10-18 CN CN202211270258.4A patent/CN115345775B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115345775A (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106856003B (zh) | 轴类工件侧表面缺陷检测图像的展开校正方法 | |
JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
CN109099852A (zh) | 一种测量风力机叶片相对变形的结构故障检测方法及系统 | |
CN110246161B (zh) | 一种360度全景图像无缝拼接的方法 | |
CN112258521B (zh) | 基于单张椭圆成像射线照片的管道焊缝三维重建方法 | |
CN112734921B (zh) | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 | |
WO2021014807A1 (ja) | 情報処理装置及び情報処理方法及びプログラム | |
CN109493426B (zh) | 一种基于单目成像的高炉料面三维重构方法及系统 | |
CN113379668B (zh) | 光伏板拼接方法及装置、电子设备及存储介质 | |
CN101377405A (zh) | 一种空间圆姿态参数和几何参数的视觉测量方法 | |
CN115201883A (zh) | 一种运动目标视频定位测速系统及方法 | |
CN115345775B (zh) | 一种面向椭圆状管件外形检测的图像展开方法及装置 | |
CN112767249B (zh) | 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统 | |
CN110874820B (zh) | 一种物料仿真形变数据获取方法及装置 | |
CN115239801B (zh) | 一种对象定位方法及装置 | |
Wu et al. | An accurate novel circular hole inspection method for sheet metal parts using edge-guided robust multi-view stereo | |
CN110111249B (zh) | 一种隧道内壁拼图影像的获取和生成方法及系统 | |
CN115546016B (zh) | Pcb的2d和3d图像的采集和处理方法及相关装置 | |
CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
CN115147764A (zh) | 一种基于多目视觉的管模螺栓识别定位方法 | |
CN111914856B (zh) | 板材余料的排样方法、装置、系统、电子设备及存储介质 | |
Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
CN106023127B (zh) | 一种基于多帧的鱼眼视频校正方法 | |
CN118196181B (zh) | 基于图像处理的预制构件表面蜂窝麻面面积检测方法 | |
CN112037178B (zh) | 一种基于多目相机的柱体二维图像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |