CN112767249B - 一种面向小型管件表面缺陷检测的图像展开拼接方法及系统 - Google Patents

Abstract

本发明公开了一种面向小型管件表面缺陷检测的图像展开拼接方法及系统，包括：在小型管件的前方、后方、左方、右方分别安装检测相机，用于采集小型管件侧面图片；建立小型管件图像展开模型，描述图像展开前与图像展开后坐标关系；均分小型管件圆柱体横截面圆心角并计算圆心角对应的弧长，进而计算得到小型管件表面沿母线展开前与展开后像素坐标；分别求得小型管件展开前世界坐标‑像素坐标间转换关系、展开后世界坐标‑像素坐标间转换关系，从而求得小型管件展开前像素坐标‑展开后像素坐标转换关系；采用相邻点双线性插值对展开后小型管件表面图像进行补全，使用展开后的小型管件表面图像进行图像拼接。

Description

一种面向小型管件表面缺陷检测的图像展开拼接方法及系统

技术领域

本发明涉及无损检测技术领域，尤其涉及一种基于机器视觉图像处理的小型管件表面缺陷检测图像的展开拼接方法及系统。

背景技术

小型管件是当前工业生产中常见的运输元件，由于其适用范围广、生产数量大、使用高频高，其质量品质问题也引起工业界广泛关注。小型管件的表面缺陷主要有裂纹、气孔、分层等，这些缺陷可能导致管件传输介质的泄漏、爆炸等安全事故。为有效检测小型管件的表面缺陷，工业生产上通常采用荧光渗透检测法。但由于该方法需要人工识别渗透处理后的显像缺陷，无损检测技术工人需要手动翻转小型管件，从而能完整检查小型管件侧壁全表面，还需借助软尺等工具测量缺陷长度。因此，如何用机器视觉的方式完整呈现管件测表面图像，从而方便做后续图像处理，的减少人工成本，提高小型管件表面缺陷检测效率就成了亟待解决的问题。

面向小型管件表面缺陷检测的图像展开与拼接系统，主要包含图像采集装置、管件表面展开与拼接方法。图像采集系统如专利申请号：CN111678865A等，使用导向机构搭配三台不同角度的相机，实现产品外观在线质量检测。管件表面展开与拼接方法如专利CN106504196A、CN111260539A等，采用球面展开模型、特征匹配拼接方法实现对曲面成像表面的展开与拼接。

上述具体专利对比文件为：

1)、“基于深度自学习的外观在线质量检测系统的图像采集装置”，专利号CN111678865A。该发明涉及一种基于深度自学习的外观在线质量检测系统的图像采集装置，包括拱形的光源罩，光源罩的底部空间为烟包外观拍摄区域，烟包外观拍摄区域的一侧为烟包进口，另一侧为烟包出口，烟包进口处设有烟包进入导向机构，烟包出口处设有烟包出去导向机构，烟包进口处设有第一相机，烟包出口处设有第二相机，光源罩的侧面设有第三相机。本装置的光源设置以及相机的布局角度，有效解决反光问题。主光源入口导向、烟包进入导向机构，烟包出去导向机构，均提高了烟包通过检测区域的稳定性，提高了监测正确率。本装置结构一体化便于安装及维护，整体结构通用性强，适用各种规格传输跑道。检测准曲率高，设备稳定性佳。本发明的管件拍摄装置与上述不同，为完整拍摄管件侧面缺陷检测图片，四台相机需均匀分布在管件周围四个不同方位。为实现管件侧表面展开、拼接，还需保证相机与管件表面距离相等，且处于同一水平面上

2)、“一种基于空间球面的全景视频拼接方法及设备”，专利号CN106504196A。该专利提供了一种基于空间球面的全景视频拼接方法及设备。该专利通过将视频中的一帧图像映射到空间球面，以获得对应的空间球面图像，再确定出一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，得到特征点对在空间球面的位置。根据该位置关系，对每一帧进行位置配准，避免了将平面图像展开为平面经纬图时引入的畸变，使得配准结果更加准确。最后将每一幅配准后的空间球面图像展开为对应的平面经纬图，对每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。本发明的小型管件展开与拼接方式与上述发明不同。本发明是通过建立小型管件展开模型，细分按相机光轴相交形成的圆心角得到特征点，进而推导展开前后特征点像素坐标与世界坐标之间关系，进而得到管件侧面展开图。

3)、“鱼眼图目标识别方法及其系统”，专利号CN111260539A。该专利公开了一种鱼眼图目标识别方法，包括：通过等距柱状投影方法获得待目标识别的鱼眼图的等距柱面展开图以及该等距柱面展开图上任意一个点的坐标与所述鱼眼图上对应点的坐标之间的转换关系；通过预训练的用于识别所述目标的识别模型对所述等距柱面展开图进行识别，得到所述目标在等距柱面展开图上的识别框坐标；通过上述转换关系将所述识别框坐标转换为所述鱼眼图上的识别框坐标。本发明与上述发明不同，本发明采用普通相机拍摄得到小型管件侧表面成像图，建立的小型管件展开模型并不是按照等距柱面进行展开，展开方式与拍摄方式均显然与上述发明明显不同。

发明内容

为解决上述技术问题，本发明的目的是提供一种面向小型管件表面缺陷检测的图像展开拼接方法及系统。

本发明的目的通过以下的技术方案来实现：

一种面向小型管件表面缺陷检测的图像展开拼接方法，包括：

A在小型管件的前方、后方、左方、右方分别安装检测相机，用于采集小型管件侧面图片；

B建立小型管件图像展开模型，描述图像展开前与图像展开后坐标关系；

C均分小型管件圆柱体横截面圆心角并计算圆心角对应的弧长，进而计算得到小型管件表面沿母线展开前与展开后像素坐标；

D分别求得小型管件展开前世界坐标-像素坐标间转换关系、展开后世界坐标-像素坐标间转换关系，从而求得小型管件展开前像素坐标-展开后像素坐标转换关系；

E采用相邻点双线性插值对展开后小型管件表面图像进行补全，使用展开后的小型管件表面图像进行图像拼接。

一种面向小型管件表面缺陷检测的图像展开拼接系统，包括：

摄像头固定支架、摄像头、上位机；

所述摄像头固定支架，用于安装、固定摄像头，能够进行微调；

所述摄像头，用于拍摄管件外表面图像，并上传至上位机；

所述上位机，用于处理管件表面图像，进行管件表面图片的展开和拼接。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

通过工业相机和上位机，可以同时采集小型管件前方、后方、左方、右方多角度图片，并在上位机汇总图片信息；摄像头固定支架，实现对摄像头的安装固定，并能够进行微调；均分小型管件圆柱体横截面圆心角并计算圆心角对应弧长，从而计算得到小型管件表面沿母线展开前后像素坐标，结合小型管件侧表面展开前、后世界坐标与像素坐标间转换关系，可求得小型管件侧表面展开前像素坐标与展开后像素坐标转换关系，进而在插值的辅助下得到小型管件侧表面展开图片，代替人工翻动检查管件表面；使用展开后的小型管件表面图像进行图像拼接，能够整合多台相机的小型管件侧表面信息，从而得到小型管件侧表面完整图像，避免了人工多角度、多次、反复检查小型管件侧表面，提高了小型管件表面缺陷的检测效率。该方法具有自动化程度高、速度快、劳动成本低和对准精度高的特点，具有实际意义和推广价值。

附图说明

图1是面向小型管件表面缺陷检测的图像展开拼接方法流程图；

图2是小型管件图像展开模型俯视图；

图3是小型管件图像展开模型立体图；

图4是小型管件表面缺陷图像采集装置示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，面向小型管件表面缺陷检测的图像展开拼接方法流程图，包括：

步骤10在小型管件的前方、后方、左方、右方分别安装检测相机，用于采集小型管件侧面图片；

步骤20建立小型管件图像展开模型，描述图像展开前与图像展开后坐标关系；

步骤30均分小型管件圆柱体横截面圆心角并计算圆心角对应的弧长，进而计算得到小型管件表面沿母线展开前与展开后像素坐标；

步骤40分别求得小型管件展开前世界坐标-像素坐标间转换关系、展开后世界坐标-像素坐标间转换关系，从而求得小型管件展开前像素坐标-展开后像素坐标转换关系；

步骤50采用相邻点双线性插值对展开后小型管件表面图像进行补全，使用展开后的小型管件表面图像进行图像拼接。

上述步骤10具体包括：

在小型管件前方、后方、左方、右方对称安装的检测相机用于采集图像，且四台相机光轴处于同一水平面内，两两垂直；每台相机像平面与小型管件表面距离为d_camera，且拍摄时需保证小型管件表面处于相机视场中心(如图4为小型管件表面缺陷图像采集装置图)。

上述步骤20具体包括：

如图2和图3所示，建立小型管件图像展开模型，其中设小型管件半径为r，相机焦距f，相机光轴为OO₁，光轴与管件表面相交于光轴上点O′，相机感光元件位于光轴上点O_F；在小型管件内部，相机光轴相交形成的直角圆心角为π/2，若等份其为n份，设光轴和等分线组成的圆心角依次为θ₁、θ₂、θ₃…θ_k…θ_n，其对应弧长依次为l₁、l₂、l₃…l_k…l_n，等分线与管件表面的交点依次为P₁、P₂、P₃…P_k…P_n，设该点在像平面β上的成像点为Q₁、Q₂、Q₃…Q_k…Q_n；

若管件表面沿过O′的母线展开，形成铅垂面α，设P₁、P₂、P₃…P_k…P_n在α上对应点分别为P₁′、P₂′、P₃′…P_k′…P_n′，设该点在像平面β上的成像点依次为Q₁′、Q₂′、Q₃′…Q_k′…Q_n′。

上述步骤30具体包括：

设该小型管件侧表面沿母线展开后点P₁′、P₂′、P₃′…P_k′…P_n′与相机光轴上点O′距离依次为O′P₁′、O′P₂′、O′P₃′…O′P_k′…O′P_n′：

以P_k为例，设其世界坐标为(x_k，y_k，z_k)，计算P′_k世界坐标为(x′_k，y′_k，z′_k)：

设P_k世界坐标(x_k，y_k，z_k)与P′_k世界坐标为(x′_k，y′_k，z′_k)之间转换矩阵为M，用M来表示(x_k，y_k，z_k)与(x′_k，y′_k，z′_k)的关系如下：

上述步骤40具体包括：

拍摄展开前小型管件表面时，设相机像元尺寸长为dx，宽为dy，成像原点为(u₀，v₀)，相机所在位置的旋转矩阵为R，平移向量为t；对于展开前的小型管件表面，设世界坐标系到图像坐标系的尺度因子为s；

计算小型管件展开前世界坐标-像素坐标间转换关系，即计算P_k坐标(x_k，y_k，z_k)与Q_k坐标(u_k，v_k)的关系：

设点P_k坐标(x_k，y_k，z_k)与其成像点Q_k坐标(u_k，v_k)之间的转换矩阵为H，可进一步表示出Q_k坐标(u_k，v_k)：

拍摄展开后的小型管件表面时，设世界坐标系到图像坐标系的尺度因子为s′。计算展开后世界坐标-像素坐标间转换关系，即计算P′_k坐标(x′_k，y′_k，z′_k)与Q′_k坐标(u′_k，v′_k)的关系：

设点P′_k坐标(x′_k，y′_k，z′_k)与其成像点Q′_k坐标(u′_k，v′_k)之间的转换矩阵为H′，可进一步表示出Q′_k坐标(u′_k，v′_k)：

结合式子(3)、(5)、(7)，可以求得小型管件展开前像素坐标-展开后像素坐标转换关系，即可以用Q_k坐标(u_k，v_k)表示Q′_k坐标(u′_k，v′_k)：

上述步骤40具体包括：

在像平面中，在展开后相邻四个像素点之间进行双线性插值，补全小型管件表面展开图；计算(u_k，v_k)、(u_k，v_k+1)、(u_k+1，v_k)、(u_k+1，v_k+1)在U方向上插值得到V方向两点(u_bi，v_biu1)和(u_bi，v_biu2)：

计算V方向插值结果，即为区域插值结果(u_bi，v_bi)：

设前方、后方、左方、右方相机拍摄图片经过展开处理和插值补全后图片分别为I_F、I_B、I_L、I_R，计算小型管件表面完整图片I：

I＝[I_F I_R I_B I_L]               (13)

面向小型管件表面缺陷检测的图像展开拼接系统，该系统包括摄像头固定支架、摄像头、上位机；所述：摄像头固定支架，用于安装、固定摄像头，能够进行微调；摄像头，用于拍摄管件外表面图像，并上传至上位机；上位机，用于处理管件表面图像，进行管件表面图片的展开和拼接。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种面向小型管件表面缺陷检测的图像展开拼接方法，其特征在于，所述方法包括：

A在小型管件的前方、后方、左方、右方分别安装检测相机，用于采集小型管件侧面图片；

B建立小型管件图像展开模型，描述图像展开前与图像展开后坐标关系；

C均分小型管件圆柱体横截面圆心角并计算圆心角对应的弧长，进而计算得到小型管件表面沿母线展开前与展开后世界坐标；

D分别求得小型管件展开前世界坐标-像素坐标间转换关系、展开后世界坐标-像素坐标间转换关系，从而求得小型管件展开前像素坐标-展开后像素坐标转换关系；

E采用相邻点双线性插值对展开后小型管件表面图像进行补全，使用展开后的小型管件表面图像进行图像拼接；

在小型管件内部，相机光轴相交形成的直角圆心角为π/2，若等份其为n份，设光轴和等分线组成的圆心角依次为θ₁、θ₂、θ₃…θ_k…θ_n，其对应弧长依次为l₁、l₂、l₃…l_k…l_n，等分线与管件表面的交点依次为P₁、P₂、P₃…P_k…P_n；

设该小型管件侧表面沿母线展开后点P₁′、P₂′、P₃′…P_k′…P_n′与相机光轴上点O′距离依次为O′P₁′、O′P₂′、O′P₃′…O′P_k′…O′P_n′：

所述O′为光轴与管件表面相交于光轴上点；

以P_k为例，设其世界坐标为(x_k,y_k,z_k)，计算P_k′世界坐标为(x_k′,y_k′,z_k′)：

其中，r为小型管件半径，若管件表面沿过O′的母线展开，形成铅垂面α，P₁、P₂、P₃…P_k…P_n在α上对应点分别为P₁′、P₂′、P₃′…P_k′…P_n′，设该点在像平面β上的成像点依次为Q₁′、Q₂′、Q₃′…Q_k′…Q_n′；

设P_k世界坐标(x_k,y_k,z_k)与P_k′世界坐标为(x_k′,y_k′,z_k′)之间转换矩阵为M，用M来表示(x_k,y_k,z_k)与(x_k′,y_k′,z_k′)的关系如下：

2.如权利要求1所述的面向小型管件表面缺陷检测的图像展开拼接方法，其特征在于，所述步骤A中小型管件前方、后方、左方、右方安装的检测相机用于采集图像，且四台相机光轴处于同一水平面内，并两两垂直；每台相机像平面与小型管件表面距离为d_camera，且拍摄时保证小型管件表面处于相机视场中心。

3.如权利要求1所述的面向小型管件表面缺陷检测的图像展开拼接方法，其特征在于，所述步骤B中：

建立小型管件图像展开模型，相机焦距f，相机光轴为OO₁，光轴与管件表面相交于光轴上点O′,相机感光元件位于光轴上点O_F；等分线与管件表面的交点P₁、P₂、P₃…P_k…P_n在像平面β上的成像点为Q₁、Q₂、Q₃…Q_k…Q_n。

4.如权利要求3所述的面向小型管件表面缺陷检测的图像展开拼接方法，其特征在于，所述步骤D具体包括：

拍摄展开前小型管件表面时，设相机像元尺寸长为dx，宽为dy，成像原点为(u₀,v₀)，相机所在位置的旋转矩阵为R，平移向量为t；对于展开前的小型管件表面，设世界坐标系到图像坐标系的尺度因子为s；

计算小型管件展开前世界坐标-像素坐标间转换关系，即计算P_k坐标(x_k,y_k,z_k)与Q_k坐标(u_k,v_k)的关系：

设点P_k坐标(x_k,y_k,z_k)与其成像点Q_k坐标(u_k,v_k)之间的转换矩阵为H，可进一步表示出Q_k坐标(u_k,v_k)：

拍摄展开后的小型管件表面时，设世界坐标系到图像坐标系的尺度因子为s′；计算展开后世界坐标-像素坐标间转换关系，即计算P_k′坐标(x_k′,y_k′,z_k′)与Q_k′坐标(u′_k,v′_k)的关系：

设点P_k′坐标(x_k′,y_k′,z_k′)与其成像点Q_k′坐标(u′_k,v′_k)之间的转换矩阵为H′，可进一步表示出Q_k′坐标(u′_k,v′_k)：

结合式子(3)、(5)、(7)，可以求得小型管件展开前像素坐标-展开后像素坐标转换关系，即可以用Q_k坐标(u_k,v_k)表示Q_k′坐标(u′_k,v′_k)：

5.如权利要求4所述的面向小型管件表面缺陷检测的图像展开拼接方法，其特征在于，所述步骤E具体包括：

在像平面中，在展开后相邻四个像素点之间进行双线性插值，补全小型管件表面展开图；计算(u_k,v_k)、(u_k,v_k+1)、(u_k+1,v_k)、(u_k+1,v_k+1)在U方向上插值得到V方向两点(u_bi,v_biu1)和(u_bi,v_biu2)：

计算V方向插值结果，即为区域插值结果(u_bi,v_bi)：

设前方、后方、左方、右方相机拍摄图片经过展开处理和插值补全后图片分别为I_F、I_B、I_L、I_R，计算小型管件表面完整图片I:

I＝[I_F I_R I_B I_L] (13)。

Images