CN110097516B - 内孔壁面图像畸变纠正方法、系统及介质 - Google Patents

内孔壁面图像畸变纠正方法、系统及介质 Download PDF

Info

Publication number
CN110097516B
CN110097516B CN201910339671.3A CN201910339671A CN110097516B CN 110097516 B CN110097516 B CN 110097516B CN 201910339671 A CN201910339671 A CN 201910339671A CN 110097516 B CN110097516 B CN 110097516B
Authority
CN
China
Prior art keywords
image
inner hole
wall surface
real
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910339671.3A
Other languages
English (en)
Other versions
CN110097516A (zh
Inventor
敖云轲
万禹
朱烨添
裴景玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910339671.3A priority Critical patent/CN110097516B/zh
Publication of CN110097516A publication Critical patent/CN110097516A/zh
Application granted granted Critical
Publication of CN110097516B publication Critical patent/CN110097516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种内孔壁面图像畸变纠正方法、系统及介质,包括:图像及参数获取步骤:获取原始畸变图像和内孔拍摄过程的几何参数;转换关系获取步骤:标定摄像机,获取图像像素和真实尺寸的转换关系;畸变图像纠正步骤:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像。本发明能够自动完成工业内窥镜拍摄的内孔壁面图像畸变的矫正,有助于基于机器视觉的缺陷检测系统的进一步开发。

Description

内孔壁面图像畸变纠正方法、系统及介质
技术领域
本发明涉及机器视觉缺陷检测技术领域,具体地,涉及内孔壁面图像畸变纠正方法、系统及介质。
背景技术
基于工业内窥镜的机器视觉缺陷检测技术是一种自动化检测技术。在实际检测过程中,通过机械装置将内窥镜伸入待检测内孔后,系统能够自动拍摄一系列内孔图像并通过图像处理与识别算法得到内孔表面的缺陷个数和尺寸。这种自动检测技术可以代替传统的肉眼检测手段,有助于提高产品质量检测精度,降低工人的劳动强度,因此得到了广泛的研究和实践。然而,目前的内孔缺陷检测技术大多采用沿内孔轴向的拍摄视角,导致内孔壁面的缺陷形状畸变程度较高,信息损失较多,导致图像纠畸后缺陷的形状和尺寸误差较大。一种解决方案是采用垂直于内孔轴线的侧向拍摄视角,尽管拍摄效率较低,但是信息损失较小,检测精度更高。而侧向拍摄所得图像由于拍摄对象为柱面,也存在一定的形状畸变,会影响到最终的缺陷识别和检测结果。
专利文献CN106709885A(申请号:201611233020.9)公开了一种亚像素级畸变校正方法及装置。该装置与方法采用工控机控制显示器(4)上的显示点从某一已知点开始点亮,并控制相机(1)进行图像提取和处理;采用本发明可以有效的提高畸变标定的精度,达到亚像素级的畸变纠正效果,大幅改善边缘的标定效果,使视觉类产品可以应用到更精确的场合。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种内孔壁面图像畸变纠正方法、系统及介质。
根据本发明提供的一种内孔壁面图像畸变纠正方法,包括:
图像及参数获取步骤:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取步骤:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正步骤:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立步骤:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立步骤:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取步骤:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
具体地,所述图像及参数获取步骤:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取步骤:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure BDA0002040301900000021
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
具体地,所述第一对应关系建立步骤:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure BDA0002040301900000022
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure BDA0002040301900000031
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure BDA0002040301900000032
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
具体地,所述第二对应关系建立步骤:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X’OY’;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X’为弧
Figure BDA0002040301900000033
的长度,等于
Figure BDA0002040301900000034
即:
Figure BDA0002040301900000035
根据Y’与V的线性关系得到Y′:
Y′=V-V′
具体地,所述真实图像获取步骤:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
根据本发明提供的一种内孔壁面图像畸变纠正系统,包括:
图像及参数获取模块:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取模块:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正模块:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立模块:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立模块:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取模块:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
具体地,所述图像及参数获取模块:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取模块:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure BDA0002040301900000041
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
具体地,所述第一对应关系建立模块:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure BDA0002040301900000042
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure BDA0002040301900000043
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure BDA0002040301900000051
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
具体地,所述第二对应关系建立模块:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X’OY’;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X’为弧
Figure BDA0002040301900000052
的长度,等于
Figure BDA0002040301900000053
即:
Figure BDA0002040301900000054
根据Y’与V的线性关系得到Y′:
Y′=V-V′
所述真实图像获取模块:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述中任一项所述的内孔壁面图像畸变纠正方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
1、本发明能够自动完成工业内窥镜拍摄的内孔壁面图像畸变的矫正,有助于基于机器视觉的缺陷检测系统的进一步开发;
2、本发明能够完成侧向拍摄的内孔壁面图像畸变的矫正,有助于辅助其它基于侧向拍摄原理的内孔壁面图像处理及检测技术的开发。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明提供的优选例的基于工业内窥镜拍摄的内孔壁面图像畸变纠正算法的流程示意图;
图2是本发明提供的优选例的拍摄内孔壁面示意图。
图3是本发明提供的优选例的柱面投影模型示意图。
图4是本发明提供的优选例的柱面投影模型内孔轴向视图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种内孔壁面图像畸变纠正方法,包括:
图像及参数获取步骤:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取步骤:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正步骤:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立步骤:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立步骤:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取步骤:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
具体地,所述图像及参数获取步骤:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取步骤:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure BDA0002040301900000061
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
具体地,所述第一对应关系建立步骤:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure BDA0002040301900000071
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure BDA0002040301900000072
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure BDA0002040301900000073
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
具体地,所述第二对应关系建立步骤:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X’OY’;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X’为弧
Figure BDA0002040301900000081
的长度,等于
Figure BDA0002040301900000082
即:
Figure BDA0002040301900000083
根据Y’与V的线性关系得到Y′:
Y′=V-V′
具体地,所述真实图像获取步骤:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
本发明提供的内孔壁面图像畸变纠正系统,可以通过本发明给的内孔壁面图像畸变纠正方法的步骤流程实现。本领域技术人员可以将所述内孔壁面图像畸变纠正方法,理解为所述内孔壁面图像畸变纠正系统的一个优选例。
根据本发明提供的一种内孔壁面图像畸变纠正系统,包括:
图像及参数获取模块:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取模块:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正模块:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立模块:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立模块:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取模块:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
具体地,所述图像及参数获取模块:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取模块:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure BDA0002040301900000084
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
具体地,所述第一对应关系建立模块:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure BDA0002040301900000091
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure BDA0002040301900000092
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure BDA0002040301900000093
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
具体地,所述第二对应关系建立模块:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X’OY’;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X’为弧
Figure BDA0002040301900000101
的长度,等于
Figure BDA0002040301900000102
即:
Figure BDA0002040301900000103
根据Y’与V的线性关系得到Y′:
Y′=V-V′
所述真实图像获取模块:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述中任一项所述的内孔壁面图像畸变纠正方法的步骤。
下面通过优选例,对本发明进行更为具体地说明。
优选例1:
下面结合附图和具体实施例对本发明做进一步详细描述,但不作为对本发明的限定。
图1为本发明实施例的基于工业内窥镜拍摄的内孔壁面图像畸变纠正算法的流程示意图,具体步骤包括:
步骤S1,
获取原始畸变图像和内孔拍摄过程的几何参数。
拍摄过程示意图,如图2所示,通过测量得到拍摄距离f和柱面半径r。
步骤S2,
标定摄像机,获取图像像素和真实尺寸的转换关系。
例如标定时拍摄距离为f0,标定图像每毫米像素数s0,则根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数
Figure BDA0002040301900000104
步骤S3,
标定摄像头畸变参数,通过MATLAB工具箱对原始畸变图像进行桶形畸变纠正,获取镜头畸变纠正后的畸变图像。
利用棋盘格图像标定法,根据多项式拟合得到桶形畸变系数,该步骤由MATLAB相机标定工具箱自动完成,再根据桶形畸变系数对原始畸变图像完成镜头畸变纠正。
步骤S4,
根据拍摄过程的几何参数,摄像机标定结果以及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与畸变图像像素点坐标之间的对应关系。
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正后图像上的像素为单位的拍摄距离
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
R表示以畸变纠正后图像上的像素为单位的内孔壁面半径
像素柱面投影模型示意图如图3所示,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure BDA0002040301900000111
畸变图像宽高分别为wid、hei,根据OAA′三点共线有:
Figure BDA0002040301900000112
t表示投影点
由于点A′在柱面上,得到方程:
(R-F-W)2+U2=R2
联立上述四个方程求解得到参数
Figure BDA0002040301900000113
进一步带入前三个方程组得到(U,V,W)。
步骤S5,
沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的对应关系。
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X’OY’,内孔轴向视图如图4所示。设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),得到X’为弧
Figure BDA0002040301900000114
的长度,等于
Figure BDA0002040301900000115
即:
Figure BDA0002040301900000116
根据Y’与V的线性关系得到Y′:
Y′=V-V′
其中,
步骤S6,
根据畸变图像的像素点坐标,依据已建立的对应关系,矫正图像的几何畸变,得到真实图像。
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,即得到真实图像。
当然,以上所述是本发明的优选实施方式。为方便说明起见,使用了步骤S1、S2等序号,但是应该认识到的是,这些步骤本身还可以包括其他过程,这些步骤之间还可以有其他步骤,这也在本发明的保护范围之内。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也是非本发明的保护范围。
优选例2:
本发明实例所要解决的技术问题在于,提供一种基于工业内窥镜拍摄的内孔壁面图像畸变纠正算法,通过柱面投影模型完成图像畸变的矫正,还原内孔壁面上的缺陷形状。
为解决上述技术问题,本发明实例提供了一种基于工业内窥镜拍摄的内孔壁面图像畸变纠正算法,包括:
获取原始畸变图像和内孔拍摄过程的几何参数;
标定摄像机,获取图像像素和真实尺寸的转换关系;
获取镜头畸变纠正后的畸变图像;
构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与畸变图像像素点坐标之间的对应关系;
沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的对应关系;
根据畸变图像的像素点坐标,依据已建立的对应关系,矫正图像的几何畸变,得到真实图像。
利用本发明的方法,可以通过已有的几何参数和柱面投影模型完成图像畸变的纠正,还原内孔壁面上的缺陷形状,以便于后续的识别和尺寸计算。
优选例3:
一种基于工业内窥镜拍摄的内孔壁面图像畸变纠正算法,其特征在于,包括:
步骤S1,获取原始畸变图像和内孔拍摄过程的几何参数;
步骤S2,标定摄像机,获取图像像素和真实尺寸的转换关系;
步骤S3,获取镜头畸变纠正后的畸变图像;
步骤S4,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与畸变图像像素点坐标之间的对应关系;
步骤S5,沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的对应关系;
步骤S6,根据畸变图像的像素点坐标,依据已建立的对应关系,矫正图像的几何畸变,得到真实图像。
在步骤S1中,获取的拍摄过程中的几何参数由拍摄距离和内孔半径组成。
在步骤S2中,通过已有的标定结果和标定几何参数,通过利用针孔成像模型的等比例关系得到畸变图像中图像像素和真实尺寸的转换关系。
在步骤S4中,用像素尺寸代替真实尺寸建立几何模型。
在步骤S4中,允许摄像机不位于内孔轴线上,但需要保证拍摄方向垂直于内孔中轴线,并且所在直线与内孔中轴线相交。
在步骤S4中,利用针孔成像模型求解内孔壁面上一点摄像机坐标系坐标与畸变图像像素点坐标之间的对应关系。
在步骤S5中,将摄像机坐标系中的内孔壁面展开图像作为真实图像。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种内孔壁面图像畸变纠正方法,其特征在于,包括:
图像及参数获取步骤:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取步骤:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正步骤:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立步骤:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立步骤:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取步骤:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
2.根据权利要求1所述的内孔壁面图像畸变纠正方法,其特征在于,所述图像及参数获取步骤:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取步骤:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure FDA0002800517480000011
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
3.根据权利要求2所述的内孔壁面图像畸变纠正方法,其特征在于,所述第一对应关系建立步骤:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure FDA0002800517480000021
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure FDA0002800517480000022
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure FDA0002800517480000023
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
4.根据权利要求3所述的内孔壁面图像畸变纠正方法,其特征在于,所述第二对应关系建立步骤:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X′OY′;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X′为弧
Figure FDA0002800517480000024
的长度,等于
Figure FDA0002800517480000025
即:
Figure FDA0002800517480000026
根据Y′与V的线性关系得到Y′:
Y′=V-V′。
5.根据权利要求4所述的内孔壁面图像畸变纠正方法,其特征在于,所述真实图像获取步骤:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
6.一种内孔壁面图像畸变纠正系统,其特征在于,包括:
图像及参数获取模块:获取原始畸变图像和内孔拍摄过程的几何参数;
转换关系获取模块:标定摄像机,获取图像像素和真实尺寸的转换关系;
畸变图像纠正模块:根据获得的原始畸变图像、内孔拍摄过程的几何参数及图像像素和真实尺寸的转换关系,获取镜头畸变纠正后的畸变图像;
第一对应关系建立模块:根据获得的内孔拍摄过程的几何参数、图像像素和真实尺寸的转换关系及镜头畸变纠正后的畸变图像,构建柱面投影模型,建立内孔壁面上一点摄像机坐标系坐标与镜头畸变纠正后的畸变图像像素点坐标之间的第一对应关系;
第二对应关系建立模块:沿内孔壁面建立真实图像坐标系,得到真实图像像素点坐标与内孔壁面上一点摄像机坐标系坐标之间的第二对应关系;
真实图像获取模块:根据畸变图像的像素点坐标,依据已建立的第一对应关系及第二对应关系,矫正图像的几何畸变,得到真实图像。
7.根据权利要求6所述的内孔壁面图像畸变纠正系统,其特征在于,所述图像及参数获取模块:
所述几何参数包括:通过测量得到拍摄距离f和柱面半径r;
所述转换关系获取模块:
根据针孔成像模型的等比例关系可得拍摄距离f下拍摄的图像每毫米像素数:
Figure FDA0002800517480000031
其中,
s表示拍摄距离f下拍摄的图像每毫米像素数;
f0表示标定时的拍摄距离;
s0表示标定图像每毫米像素数。
8.根据权利要求7所述的内孔壁面图像畸变纠正系统,其特征在于,所述第一对应关系建立模块:
将真实拍摄距离和内孔半径转化为像素距离:
F=fs,R=rs
其中,
F表示以畸变纠正前图像上的像素为单位的拍摄距离;
R表示以畸变纠正前图像上的像素为单位的内孔柱面半径;
f表示拍摄距离;
s表示拍摄距离f下拍摄的图像每毫米像素数;
r表示柱面半径;
构建像素柱面投影模型,对畸变图像坐标系X1O1Y1上任一像素点A(X,Y),该点对应内孔壁面上一点A′在摄像机坐标系OXYZ中坐标为(U,V,W),设
Figure FDA0002800517480000041
畸变图像宽和高分别为wid、hei,根据OAA′三点共线,获得如下坐标(U,V,W)的计算公式:
Figure FDA0002800517480000042
其中,
t表示距离比,即摄像头到壁面上一点的距离和到对应畸变图像像素点距离之比;
由于点A′在柱面上,获得如下方程:
(R-F-W)2+U2=R2
求解得到距离比
Figure FDA0002800517480000043
根据获得的距离比t,代入坐标(U,V,W)的计算公式,求解获得坐标(U,V,W)。
9.根据权利要求8所述的内孔壁面图像畸变纠正系统,其特征在于,所述第二对应关系建立模块:
将内孔壁面的展开图作为真实图像,真实图像坐标系为沿内孔壁面建立的曲面坐标系X′OY′;
设真实图像坐标系中内孔壁面上A′坐标为(X′,Y′),在柱面投影模型的OY轴向视图中,A′与A′在OXZ平面的投影A″重合,O′为轴向视图中柱面图案的顶点在OXZ平面的投影,O′在OXYZ坐标系中的坐标为(U′,V′,W′),M为轴向视图中柱面图案的中心在OXZ平面的投影,则X′为弧
Figure FDA0002800517480000044
的长度,等于
Figure FDA0002800517480000045
即:
Figure FDA0002800517480000046
根据Y′与V的线性关系得到Y′:
Y′=V-V′
所述真实图像获取模块:
创建一张空白图像,对新图像上计算得到的每一像素点(X′,Y′)赋予畸变图像(X,Y)处的像素值,得到真实图像。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的内孔壁面图像畸变纠正方法的步骤。
CN201910339671.3A 2019-04-25 2019-04-25 内孔壁面图像畸变纠正方法、系统及介质 Active CN110097516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910339671.3A CN110097516B (zh) 2019-04-25 2019-04-25 内孔壁面图像畸变纠正方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910339671.3A CN110097516B (zh) 2019-04-25 2019-04-25 内孔壁面图像畸变纠正方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110097516A CN110097516A (zh) 2019-08-06
CN110097516B true CN110097516B (zh) 2021-02-12

Family

ID=67445827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910339671.3A Active CN110097516B (zh) 2019-04-25 2019-04-25 内孔壁面图像畸变纠正方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110097516B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541861B (zh) * 2019-09-23 2024-05-24 华为技术有限公司 图像处理方法、装置、设备及计算机存储介质
CN113724141B (zh) * 2020-05-26 2023-09-05 杭州海康威视数字技术股份有限公司 一种图像校正方法、装置及电子设备
CN113240726B (zh) * 2021-05-20 2022-10-14 南开大学 一种内窥镜下光学目标尺寸实时测量方法
CN115585736B (zh) * 2021-06-22 2023-11-28 清华大学 基于双目视觉的内螺纹牙型几何参数测量方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103948361A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 无标志点的内窥镜定位跟踪方法和系统
CN103955895A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于曲面投影模型的内窥镜畸变自动校正方法
CN109269430A (zh) * 2018-08-12 2019-01-25 浙江农林大学 基于深度提取模型的多株立木胸径被动测量方法
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103948361A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 无标志点的内窥镜定位跟踪方法和系统
CN103955895A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于曲面投影模型的内窥镜畸变自动校正方法
CN109269430A (zh) * 2018-08-12 2019-01-25 浙江农林大学 基于深度提取模型的多株立木胸径被动测量方法
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
geometric distortion correction for structured-light images of deep-hole inner-surface;ding chao et al;《optics and precision engineering》;20181031;第26卷(第10期);第2555-2564页 *
医用电子内窥镜图像畸变校正方法的研究;宋璐 等;《计算机与数字工程》;20161231;第44卷(第12期);第2480-2483页 *
磁场对电火花放电通道的影响研究;朱烨添 等;《电加工与模具》;20171231;第26-31页 *

Also Published As

Publication number Publication date
CN110097516A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097516B (zh) 内孔壁面图像畸变纠正方法、系统及介质
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
CN105716527B (zh) 激光焊缝跟踪传感器标定方法
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN104657982A (zh) 一种投影仪标定方法
CN109827502A (zh) 一种标定点图像补偿的线结构光视觉传感器高精度标定方法
US11403745B2 (en) Method, apparatus and measurement device for measuring distortion parameters of a display device, and computer-readable medium
CN111131801B (zh) 投影仪校正系统、方法及投影仪
JP2005017286A (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
CN114612447A (zh) 一种基于数据标定的图像处理方法及装置、图像处理设备
CN114383505A (zh) 一种用于短轴类零件尺寸的自动检测装置
CN104807405A (zh) 一种基于光线角度标定的三维坐标测量方法
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
CN104167001A (zh) 基于正交补偿的大视场摄像机标定方法
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN115205129A (zh) 基于结构光的深度相机及使用方法
CN112907677B (zh) 一种单帧图像的相机标定方法、装置及存储介质
CN110849285A (zh) 基于单目相机的焊点深度测量方法、系统及介质
CN105303556B (zh) 基于直线特征的摄像机非线性畸变参数求解方法
CN113134663A (zh) 一种激光成像的二值图像预处理的焊缝跟踪方法
CN105023242B (zh) 镜头失真校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant