CN115345775A - 一种面向椭圆状管件外形检测的图像展开方法及装置 - Google Patents

一种面向椭圆状管件外形检测的图像展开方法及装置 Download PDF

Info

Publication number
CN115345775A
CN115345775A CN202211270258.4A CN202211270258A CN115345775A CN 115345775 A CN115345775 A CN 115345775A CN 202211270258 A CN202211270258 A CN 202211270258A CN 115345775 A CN115345775 A CN 115345775A
Authority
CN
China
Prior art keywords
coordinate system
pipe fitting
image
unfolding
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211270258.4A
Other languages
English (en)
Other versions
CN115345775B (zh
Inventor
张勇军
熊华德
杨朝霖
郭强
肖雄
张飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202211270258.4A priority Critical patent/CN115345775B/zh
Publication of CN115345775A publication Critical patent/CN115345775A/zh
Application granted granted Critical
Publication of CN115345775B publication Critical patent/CN115345775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向椭圆状管件外形检测的图像展开方法及装置，所述方法包括：在椭圆状管件的周围安装多个相机，采集椭圆状管件的图像，包含二维灰度数据和三维深度数据；建立各坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，进而得到展开后椭圆状管件的世界坐标与像素坐标的转换关系；采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度。

Description

一种面向椭圆状管件外形检测的图像展开方法及装置
技术领域
本发明涉及检测技术领域，特别涉及一种面向椭圆状管件外形检测的图像展开方法及装置。
背景技术
椭圆状管件是常见的工业产品，包括横截面为椭圆状的钢管、PVC管等，其生产数量大、适用范围广、作用时间长，而产品质量优劣情况直接决定了产品应用的可靠性和耐用性，因而对其质量方面的检测，尤其是表面及内部缺陷方面的检测，一直受到行业的广泛关注。与圆形管件相似，椭圆状管件的缺陷主要有裂纹、划痕和凹坑等，这些缺陷可能引起椭圆状管件的爆裂及次生问题。为了检测管件中的缺陷，行业通常采用超声检测、表面缺陷检测、人工肉眼检测等方式，其中人工检测的方式通常受限于现场环境和人为因素波动，检测难度大且易出现漏报现象，超声检测装置与表面缺陷检测系统作为一种自动化程度比较高的非接触式测量方式，对管身外形与直度要求较高，一般应用于圆形管件。因此，如何寻找一种提高椭圆状管件外形检测效率的方法，助力后续的椭圆状管件自动化缺陷检测系统的检出和识别，就成了行业当前亟需解决的问题。
专利CN109444144 A提供了一种针对缸孔孔壁的缺陷检测方法，其中包括圆的展开过程，即将圆形物体展开为平面内的矩形，截取固定高度的矩形图像来进行缸孔孔壁的缺陷检测，提高了暗场打光下缸孔孔壁外形缺陷检测的准确性。专利CN106856003A提供了一种轴类工件侧表面缺陷检测图像的展开校正方法，该校正方法根据侧表面空间点、图像坐标位置和距相机最近轴母线为基准展开的平面空间点三者关系联立推导，建立轴侧表面与展开平面图像间的仿射变换关系，结合该仿射变换关系及插值法完成像素复制，实现检测图像的展开校正，可真实还原轴外形缺陷的实际检测情况，提高了后期图像处理检测精度。专利CN112767249 A提供了一种表面缺陷检测的图像展开拼接方法及系统，建立了小型管件图像展开模型，包括管件展开前后世界坐标系与像素坐标系之间的转换关系，提高了小型管件外形检测的自动化程度及表面缺陷检测的准确度。
以上文献针对圆形对象进行了空间上的展开，利用展开后的外形数据提高目标的缺陷检测或校正效果，但其都是面向圆形物体展开的分析，针对椭圆状管件进行的展开研究较为少见。相对圆形而言，椭圆有长轴和短轴之分，不仅涉及更为复杂的长轴旋转角等姿态，而且现实中椭圆状物体的外形样本不一定完全分布在椭圆上，这在一定程度上加大了椭圆展开工作的难度。
发明内容
针对上述问题，本发明的目的在于提供一种面向椭圆状管件外形检测的图像展开方法及装置，对于不同形状大小及旋转姿态的椭圆状管件，通过多个坐标系进行建模，构建椭圆状管件展开前世界坐标与图像像素坐标的转换关系，以及椭圆状管件展开后世界坐标与展开前世界坐标的转换关系，进而构建椭圆状管件展开后世界坐标与图像像素坐标的转换关系，将椭圆状管件的图像根据空间位置转换关系进行展开，并对展开后的图像进行双三次插值，得到椭圆状管件最终的展开图像，从而提高椭圆状管件的外形检测效率和自动化程度。
为解决上述技术问题，本发明的实施例提供如下方案：
一方面，提供一种面向椭圆状管件外形检测的图像展开方法，包括以下步骤：
S1，在椭圆状管件的周围安装多个相机，用于采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据；
S2，建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；
其中，世界坐标系用于展示椭圆状管件的实际位置分布，相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系用于展示相机透视关系下的成像过程；像素坐标系用于展示椭圆状管件最终在图像上的成像结果；
S3，根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；
S4，推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像；
S5，采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
优选地，所述步骤S1中，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为线阵相机，三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
优选地，所述步骤S2中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
优选地，所述步骤S3中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
优选地，所述步骤S4中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合步骤S3的结果，得到展开后椭圆状管件的图像。
一方面，提供一种面向椭圆状管件外形检测的图像展开装置，包括：
采集模块，用于在椭圆状管件的周围安装多个相机，采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据；
建模模块，用于建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；
其中，世界坐标系用于展示椭圆状管件的实际位置分布，相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系用于展示相机透视关系下的成像过程；像素坐标系用于展示椭圆状管件最终在图像上的成像结果；
展开模块，用于根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；
推导模块，用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像；
插值模块，用于采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
优选地，所述采集模块中，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为线阵相机，三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
优选地，所述建模模块中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
优选地，所述展开模块中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
优选地，所述推导模块中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合所述展开模块的结果，得到展开后椭圆状管件的图像。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，利用相机采集椭圆状管件的图像，通过建立世界坐标系、相机坐标系、像素物理坐标系及像素坐标系，将椭圆状管件的图像根据空间位置转换关系进行展开，并对展开后的图像进行双三次插值，得到椭圆状管件最终的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度，为后续利用椭圆状管件外形数据进行缺陷检出及识别工作打好基础。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向椭圆状管件外形检测的图像展开方法的流程图；
图2是本发明实施例提供的相机布置示意图；
图3是本发明实施例提供的各坐标系示意图；
图4是本发明实施例提供的真实样本点对应到椭圆位置示意图；
图5是本发明实施例提供的离心角与“圆心角”对应关系示意图；
图6是本发明实施例提供的
Figure 535107DEST_PATH_IMAGE001
为0°情况下（椭圆中心有/无偏移）示意图；
图7是本发明实施例提供的
Figure 576881DEST_PATH_IMAGE001
小于0°情况下（椭圆中心有/无偏移）示意图；
图8是本发明实施例提供的
Figure 451558DEST_PATH_IMAGE001
大于0°情况下（椭圆中心有/无偏移）示意图；
图9是本发明实施例提供的展开后的点在Z轴方向与相机的距离示意图；
图10是本发明实施例提供的双三次插值中的16个相近点像素示意图；
图11是本发明实施例提供的某帧椭圆展开效果图；
图12是本发明实施例提供的整体三维展开效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例首先提供了一种面向椭圆状管件外形检测的图像展开方法，如图1所示，所述方法包括以下步骤：
S1，在椭圆状管件的周围安装多个相机，用于采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据。
作为本发明的一种实施方式，如图2所示，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为能够采集二维灰度数据和三维深度数据的设备，例如线阵相机。三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集，其中，二维灰度数据是椭圆状管件展开的初始图像，三维深度数据为展开过程中必要的支撑数据。
S2，建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系。
如图3所示，世界坐标系OXYZ用于展示椭圆状管件的实际位置分布，相机坐标系OcXcYcZc用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系OiXiYi用于展示相机透视关系下的成像过程；像素坐标系OuvUV用于展示椭圆状管件最终在图像上的成像结果。
其中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
S3，根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标。
其中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
具体地，在本发明实施例中需要运用椭圆拟合等方法获得椭圆的几何方程，在此基础上，在世界坐标系OXYZ中将椭圆点集展开在一个平面附近，本发明实施例的展开基点是椭圆与经过其中心的横线负方向的交点，展开方向是平行于Y轴的竖直方向，即展开平面为经过该基点的竖直平面。
实际的椭圆样本点位置通常分布在椭圆方程附近，需要计算椭圆样本点A对应到 椭圆上的理论位置。在本发明实施例中，对于几何参数为[a, b]的椭圆，其中a、b为椭圆的 长轴半径和短轴半径，任意不在椭圆上的样本点，包括样本点的横坐标不为0、横坐标为0而 纵坐标不为0、以及横纵坐标均为0这三类样本点，分别对应于图4中A、B、C三种情况。记实际 样本点与其对应于椭圆上的理论点P之间的距离为
Figure 50030DEST_PATH_IMAGE002
，表征实际样本点相对椭圆方 程的波动程度，三种情况计算
Figure 129981DEST_PATH_IMAGE002
的方法见表1。
表1
Figure 404974DEST_PATH_IMAGE003
根据文献《椭圆弧长的级数表达式及其近似计算》提出的一种计算椭圆弧长的方 法，可得椭圆上任意一点与椭圆长轴端点之间弧长，即先计算得到整个椭圆的周长
Figure 812953DEST_PATH_IMAGE004
，其中
Figure 543011DEST_PATH_IMAGE005
。
如图5所示，，对于椭圆上一点M，为了计算弧长，需要计算点M对应的离心角
Figure 572409DEST_PATH_IMAGE006
即
Figure 487145DEST_PATH_IMAGE007
，其中点A为过M点的竖线与椭圆外接圆的交点，其与横轴交于点B，Q点为椭圆长半轴 端点位置，则该离心角与“圆心角”
Figure 179157DEST_PATH_IMAGE008
的转换关系为
Figure 604584DEST_PATH_IMAGE009
，则可得 弧长：
Figure 659128DEST_PATH_IMAGE010
在本实施例中，需要针对
Figure 292235DEST_PATH_IMAGE011
、
Figure 189653DEST_PATH_IMAGE012
、
Figure 730355DEST_PATH_IMAGE013
及有无椭圆中心偏移共六种情况下， 对世界坐标系中的椭圆进行展开。在世界坐标系OXYZ的展开过程仅涉及OYZ平面，以下在 OYZ平面对上述六种情况分别阐述展开过程：
1.
Figure 780351DEST_PATH_IMAGE006
为0°，椭圆中心有/无偏移的情况参见图6。
1.1
Figure 646676DEST_PATH_IMAGE006
为0°，中心在原点；
(1) 确定N点坐标
Figure 52294DEST_PATH_IMAGE014
，即椭圆与Z轴负向的交点。
(2) 在N点处竖直展开，即展开后的点的Z坐标为
Figure 68792DEST_PATH_IMAGE015
。
(3) 若椭圆上的点P(Z, Y)中Y≥0，则其对应展开后Y坐标为
Figure 160244DEST_PATH_IMAGE016
；若椭圆上的 点P(Z, Y)中Y<0，则其对应展开后Y坐标为
Figure 885886DEST_PATH_IMAGE017
。
1.2
Figure 774208DEST_PATH_IMAGE006
为0°，中心偏移为(PZ, PY)；
先将椭圆的中心平移到原点处，参照1.1的步骤计算展开后点的Z坐标和Y坐标，然 后让展开后的坐标进行偏移即可：
Figure 187871DEST_PATH_IMAGE018
，
Figure 930568DEST_PATH_IMAGE019
。
2.
Figure DEST_PATH_IMAGE021A
，椭圆中心有/无偏移的情况参见图7。
2.1
Figure DEST_PATH_IMAGE022A
，中心在原点；
(1) 确定N点坐标N (ZN, 0)，即椭圆与Z轴负向的交点。
(2) 计算L点坐标L(ZL，YL)，即标准椭圆最左边的端点绕原点顺时针旋转
Figure DEST_PATH_IMAGE024A
后的 位置。
(3) 计算
Figure 502145DEST_PATH_IMAGE025
对应的弧长
Figure 143342DEST_PATH_IMAGE026
。
(4) 椭圆上的点P(Z, Y)展开后点的Z坐标
Figure 829538DEST_PATH_IMAGE027
。若椭圆上的点P(Z, Y)中
Figure 754638DEST_PATH_IMAGE028
，则其对应展开后Y坐标为
Figure 274612DEST_PATH_IMAGE029
；若椭圆上的点P(Z, Y)中
Figure 465422DEST_PATH_IMAGE030
，则 其对应展开后Y坐标为
Figure 846987DEST_PATH_IMAGE031
；若椭圆上的点P(Z, Y)中
Figure 111746DEST_PATH_IMAGE032
，则其对应展开后Y坐 标为
Figure 927255DEST_PATH_IMAGE033
。
2.2
Figure DEST_PATH_IMAGE021AA
，中心偏移为(PZ, PY)；
先将椭圆的中心平移到原点处，参照2.1的步骤计算展开后点的Z坐标和Y坐标，然 后让展开后的坐标进行偏移即可：
Figure 667678DEST_PATH_IMAGE034
，
Figure 661391DEST_PATH_IMAGE035
。
3.
Figure DEST_PATH_IMAGE037A
，椭圆中心有/无偏移的情况参见图8。
3.1
Figure DEST_PATH_IMAGE037AA
，中心在原点；
(1) 确定N点坐标N (ZN, 0)，即椭圆与Z轴负向的交点。
(2) 计算L点坐标L(ZL，YL)，即标准椭圆最左边的端点绕原点逆时针旋转
Figure DEST_PATH_IMAGE024AA
后的 位置。
(3) 计算
Figure 593706DEST_PATH_IMAGE038
对应的弧长
Figure 48958DEST_PATH_IMAGE039
。
(4) 椭圆上的点P(Z, Y)展开后点的Z坐标
Figure 152043DEST_PATH_IMAGE040
。若Y≥0，则其对应展 开后Y坐标为
Figure 373946DEST_PATH_IMAGE033
；若椭圆上的点P(Z, Y)中YL≤Y<0，则其对应展开后Y坐标为
Figure 206773DEST_PATH_IMAGE029
；若椭圆上的点P(Z, Y)中Y<YL，则其对应展开后Y坐标为
Figure 708292DEST_PATH_IMAGE041
。
3.2
Figure DEST_PATH_IMAGE037AAA
，中心偏移为(PZ, PY)；
先将椭圆的中心平移到原点处，参照3.1的步骤计算展开后点的Z坐标和Y坐标，然 后让展开后的坐标进行偏移即可：
Figure 987089DEST_PATH_IMAGE042
。
经过以上对六种不同形态的椭圆进行展开，可得世界坐标系OXYZ下展开前与展开 后的坐标转换关系。首先，由于二者在X轴方向上的位置相同，所以x'k = xk。记以上根据椭 圆位置信息来计算展开后坐标的非线性的处理过程为
Figure 888049DEST_PATH_IMAGE043
则可得椭圆展开前位置Pk(x, y,z)和展开后位置p'k（x'k, y'k, z'k）的转换关系为：
Figure 434437DEST_PATH_IMAGE044
S4，推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像。
本步骤中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合步骤S3的结果，得到展开后椭圆状管件的图像。
具体地，根据图3所示坐标系位置关系，推导椭圆状管件在各坐标系下的转换关系，包括以下步骤：
(1) 世界坐标系OXYZ转换为相机坐标系OcXcYcZc的关系：
Figure 762650DEST_PATH_IMAGE045
写成其次表达式：
Figure 512431DEST_PATH_IMAGE046
其中
Figure 217082DEST_PATH_IMAGE047
，R为两个坐标系转换时的旋转矩阵，T为位 移矢量，
Figure 168376DEST_PATH_IMAGE048
表示
Figure 74015DEST_PATH_IMAGE049
。
(2) 相机坐标系OcXcYcZc转换为像素物理坐标系OiXiYi：
根据相似三角形，有：
Figure 622677DEST_PATH_IMAGE050
故转换关系为：
Figure 475227DEST_PATH_IMAGE051
其中，f为相机焦距。
(3) 像素物理坐标系OiXiYi转换为像素坐标系（图像）OuvUV：
设单位像素为矩形，其长度为dx mm/pix, 宽度为dy mm/pix，像素物理坐标系的原点Oi 在像素坐标系中的坐标设为（u0,v0）,这里U轴对应于Yc轴，V轴对应于Xc轴，有：
Figure 871573DEST_PATH_IMAGE052
故转换关系为：
Figure 167687DEST_PATH_IMAGE053
综合以上3个步骤，可得椭圆状管件世界坐标系OXYZ转换到像素坐标系（图像）OuvUV的关系为：
Figure 954378DEST_PATH_IMAGE054
故对应到椭圆状管件上的点Pk 展开后的点P'k 转换到像素坐标系（图像）的关系为：
Figure 469673DEST_PATH_IMAGE055
以上
Figure 907476DEST_PATH_IMAGE056
表示点
Figure 623759DEST_PATH_IMAGE057
展开后的点
Figure 225642DEST_PATH_IMAGE058
在Z轴方向与相机的距离，如图9所示。记相机中 心Oc到O点的距离为d，可得：
Figure 159008DEST_PATH_IMAGE059
，其中
Figure 529946DEST_PATH_IMAGE060
是指展开后的点
Figure 213868DEST_PATH_IMAGE058
的Z坐标，故上面公 式可写成：
Figure 162102DEST_PATH_IMAGE061
S5，采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
具体地，在本发明实施例中，椭圆展开后的总弧长一般会略长于椭圆的长轴或短轴，在像平面中可利用展开后的相邻的16个像素点之间进行双三次插值，以保证椭圆展开后图像的清晰度。设展开前图像大小为M*N，缩放比例为K，即理论上缩放后的图像大小为(M×K) * (N×K)，但像素单位一般取整数，所以真实缩放后图像的尺寸为M*K和N*K各自的整数部分。对于展开后图像上的像素点B(x, y)，首先需要找到其对应到展开前图像上的位置T(X, Y)，即X = x/K， Y=y/K，然后根据原图上的点(X,Y)及其最近的16个像素点进行加权求和计算。双三次插值所使用的权重函数BiCubic可由下式表示：
Figure 550358DEST_PATH_IMAGE062
如图10所示，对于原图上的点P(X,Y)，其最近的相关点是指16个在欧式距离上最相近的像素点，对于这16个像素点，每个像素点对目标像素点T的贡献权重为横纵两个方向权值的乘积W(u)*W(v)，其中W(u)是指点T与这16个点之一的横向距离经BiCubic函数作用后的结果，其中W(v)是指其纵向距离经BiCubic函数作用后的结果。
展开后的图像B(x, y)的像素值由T点的16个相近点像素值经上述的加权求和得到，即：
Figure 385590DEST_PATH_IMAGE063
其中
Figure 568309DEST_PATH_IMAGE064
表示这16个相近点各自的像素值，
Figure 567621DEST_PATH_IMAGE065
和
Figure 103775DEST_PATH_IMAGE066
分别表示相近点对应的横 向距离权重与纵向距离权重。需要注意，对于处于原图像中边缘的两个像素点的范围内，其 展开后的图像中对应的像素值可以设置为
Figure 105098DEST_PATH_IMAGE067
,从而接近原图像的信息。
在更具体的实施例中，所述图像展开方法应用在某钢管生产线上的椭圆状钢管，其中某帧椭圆展开效果和整体三维展开效果分别如图11和图12所示。
相应地，本发明的实施例还提供了一种面向椭圆状管件外形检测的图像展开装置，所述装置包括：
采集模块，用于在椭圆状管件的周围安装多个相机，采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据；
建模模块，用于建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；
其中，世界坐标系用于展示椭圆状管件的实际位置分布，相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系用于展示相机透视关系下的成像过程；像素坐标系用于展示椭圆状管件最终在图像上的成像结果；
展开模块，用于根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；
推导模块，用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像；
插值模块，用于采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
进一步地，所述采集模块中，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为线阵相机，三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
进一步地，所述建模模块中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
进一步地，所述展开模块中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
进一步地，所述推导模块中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合所述展开模块的结果，得到展开后椭圆状管件的图像。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例提供的面向椭圆状管件外形检测的图像展开方法及装置，利用相机采集椭圆状管件的图像，通过建立世界坐标系、相机坐标系、像素物理坐标系及像素坐标系，将椭圆状管件的图像根据空间位置转换关系进行展开，并对展开后的图像进行双三次插值，得到椭圆状管件最终的展开图像。本发明能够提高椭圆状管件的外形检测效率和自动化程度，为后续利用椭圆状管件外形数据进行缺陷检出及识别工作打好基础。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性，但未必每个实施例都包括该特定特征、结构或特性。另外，在结合实施例描述特定特征、结构或特性时，结合其它实施例（无论是否明确描述）实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
通常，可以至少部分从上下文中的使用来理解术语。例如，至少部分取决于上下文，本文中使用的术语“一个或多个”可以用于描述单数意义的任何特征、结构或特性，或者可以用于描述复数意义的特征、结构或特性的组合。另外，术语“基于”可以被理解为不一定旨在传达一组排他性的因素，而是可以替代地，至少部分地取决于上下文，允许存在不一定明确描述的其他因素。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向椭圆状管件外形检测的图像展开方法，其特征在于，包括以下步骤：
S1，在椭圆状管件的周围安装多个相机，用于采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据；
S2，建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；
其中，世界坐标系用于展示椭圆状管件的实际位置分布，相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系用于展示相机透视关系下的成像过程；像素坐标系用于展示椭圆状管件最终在图像上的成像结果；
S3，根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；
S4，推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像；
S5，采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
2.根据权利要求1所述的面向椭圆状管件外形检测的图像展开方法，其特征在于，所述步骤S1中，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为线阵相机，三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
3.根据权利要求1所述的面向椭圆状管件外形检测的图像展开方法，其特征在于，所述步骤S2中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
4.根据权利要求1所述的面向椭圆状管件外形检测的图像展开方法，其特征在于，所述步骤S3中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
5.根据权利要求1所述的面向椭圆状管件外形检测的图像展开方法，其特征在于，所述步骤S4中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合步骤S3的结果，得到展开后椭圆状管件的图像。
6.一种面向椭圆状管件外形检测的图像展开装置，其特征在于，包括：
采集模块，用于在椭圆状管件的周围安装多个相机，采集椭圆状管件的图像，所述图像包含二维灰度数据和三维深度数据；
建模模块，用于建立图像展开过程中所需的各个坐标系，包括世界坐标系、相机坐标系、像素物理坐标系及像素坐标系；
其中，世界坐标系用于展示椭圆状管件的实际位置分布，相机坐标系用于展示椭圆状管件在相机采集过程中的透视关系；像素物理坐标系用于展示相机透视关系下的成像过程；像素坐标系用于展示椭圆状管件最终在图像上的成像结果；
展开模块，用于根据椭圆几何方程及椭圆弧长与离心角的关系，在世界坐标系里对采集的每帧图像中的椭圆沿设定的基准线进行展开，得到展开后的世界坐标；
推导模块，用于推导展开前椭圆状管件的世界坐标与像素坐标的对应关系，根据所述对应关系得到展开后椭圆状管件的世界坐标与像素坐标的转换关系，进而得到展开后椭圆状管件的图像；
插值模块，用于采用双三次插值的方法，对展开后椭圆状管件的图像进行补全，得到补全后椭圆状管件的展开图像。
7.根据权利要求6所述的面向椭圆状管件外形检测的图像展开装置，其特征在于，所述采集模块中，在椭圆状管件的周围安装三台互呈120°角的相机，所述相机为线阵相机，三台相机在同一平面互呈120°角对椭圆状管件进行二维灰度数据和三维深度数据的同步采集。
8.根据权利要求6所述的面向椭圆状管件外形检测的图像展开装置，其特征在于，所述建模模块中，世界坐标系和相机坐标系涉及三维空间的位置关系，像素物理坐标系和像素坐标系涉及二维平面的位置关系。
9.根据权利要求6所述的面向椭圆状管件外形检测的图像展开装置，其特征在于，所述展开模块中，所述基准线为：以世界坐标系的横轴为穿过椭圆中心的水平线，所述水平线与椭圆会产生左交点，穿过所述左交点的竖直线设定为基准线。
10.根据权利要求6所述的面向椭圆状管件外形检测的图像展开装置，其特征在于，所述推导模块中，基于成像原理推导展开前椭圆状管件世界坐标与像素坐标的对应关系，再结合所述展开模块的结果，得到展开后椭圆状管件的图像。
CN202211270258.4A 2022-10-18 2022-10-18 一种面向椭圆状管件外形检测的图像展开方法及装置 Active CN115345775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270258.4A CN115345775B (zh) 2022-10-18 2022-10-18 一种面向椭圆状管件外形检测的图像展开方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270258.4A CN115345775B (zh) 2022-10-18 2022-10-18 一种面向椭圆状管件外形检测的图像展开方法及装置

Publications (2)

Publication Number Publication Date
CN115345775A true CN115345775A (zh) 2022-11-15
CN115345775B CN115345775B (zh) 2023-02-28

Family

ID=83957124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270258.4A Active CN115345775B (zh) 2022-10-18 2022-10-18 一种面向椭圆状管件外形检测的图像展开方法及装置

Country Status (1)

Country Link
CN (1) CN115345775B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259036A (ja) * 2008-04-17 2009-11-05 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
US20120307040A1 (en) * 2011-06-06 2012-12-06 Salil Shukla Technique for cylindrical part inner surface inspection
CN105931219A (zh) * 2016-04-13 2016-09-07 山东正元地球物理信息技术有限公司 一种基于钻孔电视图像计算钻孔深度的方法
CN106856003A (zh) * 2016-12-31 2017-06-16 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法
CN109859276A (zh) * 2019-01-21 2019-06-07 桂林电子科技大学 一种鱼眼镜头内部参数自标定方法
CN112767249A (zh) * 2021-01-13 2021-05-07 广东省特种设备检测研究院珠海检测院 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统
CN113819890A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 测距方法、装置、电子设备及存储介质
CN114240769A (zh) * 2021-11-18 2022-03-25 华为技术有限公司 一种图像处理方法以及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259036A (ja) * 2008-04-17 2009-11-05 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
US20120307040A1 (en) * 2011-06-06 2012-12-06 Salil Shukla Technique for cylindrical part inner surface inspection
CN105931219A (zh) * 2016-04-13 2016-09-07 山东正元地球物理信息技术有限公司 一种基于钻孔电视图像计算钻孔深度的方法
CN106856003A (zh) * 2016-12-31 2017-06-16 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法
CN109859276A (zh) * 2019-01-21 2019-06-07 桂林电子科技大学 一种鱼眼镜头内部参数自标定方法
CN112767249A (zh) * 2021-01-13 2021-05-07 广东省特种设备检测研究院珠海检测院 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统
CN113819890A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 测距方法、装置、电子设备及存储介质
CN114240769A (zh) * 2021-11-18 2022-03-25 华为技术有限公司 一种图像处理方法以及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林洪彬 等: "大型回转类锻件的三维重建方法", 《光学学报》 *
王正成 等: "轴表面荧光磁粉检测缺陷图像的快速展开拼接", 《无损检测》 *
葛辉 等: "钣金件的分类及其展开图的参数化绘制", 《机械与电子》 *

Also Published As

Publication number Publication date
CN115345775B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
CN106856003B (zh) 轴类工件侧表面缺陷检测图像的展开校正方法
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
JP2005308553A (ja) 三次元画像計測装置及び方法
CN110246161B (zh) 一种360度全景图像无缝拼接的方法
JP7188201B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112258521B (zh) 基于单张椭圆成像射线照片的管道焊缝三维重建方法
CN109493426B (zh) 一种基于单目成像的高炉料面三维重构方法及系统
CN114648458A (zh) 鱼眼图像矫正方法、装置、电子设备及存储介质
JP2021018676A (ja) 情報処理装置及び情報処理方法及びプログラム
CN115345775B (zh) 一种面向椭圆状管件外形检测的图像展开方法及装置
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
CN110111249B (zh) 一种隧道内壁拼图影像的获取和生成方法及系统
CN115239801B (zh) 一种对象定位方法及装置
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
CN110555385A (zh) 一种基于变步长曲率滤波的焊缝特征点求取方法
CN115147764A (zh) 一种基于多目视觉的管模螺栓识别定位方法
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
CN110874820B (zh) 一种物料仿真形变数据获取方法及装置
CN111914857B (zh) 板材余料的排样方法、装置、系统、电子设备及存储介质
Wong et al. A study of different unwarping methods for omnidirectional imaging
JP2023538706A (ja) 歪み測定を行うための融合ベースのデジタル画像相関フレームワーク
CN112116524A (zh) 一种街景图像立面纹理的纠正方法及装置
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
CN109308706B (zh) 一种通过图像处理得到三维曲面面积的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant