CN109461126B - 一种图像畸变校正方法及系统 - Google Patents

Abstract

本发明公开了一种图像畸变校正方法及系统，该方法包括如下步骤：获取相机拍摄的图像；对图像进行边界填充；对相机进行标定；在0至1之间设置多个校正系数，根据校正系数生成多个相机校正内参；根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵，根据畸变坐标映射矩阵进行校正；对校正后图像进行仿射变换。本发明的校正方法快速高效，能够实时针对医用内镜图片进行畸变校正，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。本发明针对不同人的视觉差异，引入校正系数，达到不同的校正效果，以供医生选择。

Description

一种图像畸变校正方法及系统

技术领域

本发明涉及图像处理技术领域，特别适用于内窥镜技术领域，具体涉及一种内窥镜图像畸变校正方法及系统。

背景技术

在医用内窥镜应用中，由于人体体腔比较小，医用内窥镜的硬件设备做的都很小。人体体腔一般都是管状结构，内窥镜需要使用大视场角镜头来成像，大视场角短焦距镜头成像后图片一般存在一定的畸变失真，这是由于横向放大率随像高或视场产生变化产生畸变，一般有枕形畸变、桶形畸变等。图像畸变对医生读片有一定的影响，对医用内镜图像进行实时畸变校正，可以有效改善内窥镜图片畸变失真，真实还原人体体腔内部真实状况，有利于提高医生读片的快速准确性。

目前常用的畸变矫正方法有球面投影法和经度坐标法，球面投影法需要预先知道鱼眼图像的光学中心和变换球面的半径。在球面成像投影模型下，利用空间直线的球面透视投影为大圆这一约束来进行校正。将所有图像点都映射到球面上，而这些球面点必须满足球面投影约束。在场景直线的鱼眼投影曲线上选取采样点，但往往不能保证所有采样点都严格位于曲线上。因此，将这些采样点通过变形校正模型映射为球面点后，需要对这些点进行大圆拟合。

经度坐标法就是把鱼眼图像中像素的横坐标变换到原来的位置，而纵坐标不变，通过这样的变换会把圆形的鱼眼区域变换成正方形，首先对畸变图像求取中心点，和半径，并进行标准圆转换，鱼眼图像中扭曲的场景可以用地球仪上的经度线来表示，即每一条经度上的不同像素在扭曲校正过的图像中具有相同的列坐标值，例如CN105827899A中公开的修正镜头畸变的方法和装置，将镜头的视场角设置为预置角度，将镜头的畸变类型由枕形畸变或桶形畸变修正为线性畸变，降低大的视场角而导致的镜头畸变效应对成像品质的影响，但是该方法同一经度上的像素点在场景中具有相同的横坐标，经度越大的地方，其扭曲程度越大。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种图像畸变校正方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图像畸变校正方法，其包括如下步骤：

S1，获取相机拍摄的图像，所述图像为矩形或正方形；

S2，对步骤S1获取的图像进行边界填充；

S3，对相机进行标定，获得相机外参和相机内参；

S4，在0至1之间设置多个校正系数，根据所述校正系数生成多个相机校正内参；

S5，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正；

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参；

具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标；

S6，对所述校正后图像进行仿射变换，选取矩形图像中的尽量大的椭圆形或圆形，将椭圆形或圆形以外的4个角落区域的图像内容仿射到中间椭圆形或圆形区域内。

本发明的校正方法快速高效，能够实时针对医用内镜图片进行畸变校正，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。本发明针对不同人的视觉差异，引入校正系数，达到不同的校正效果，以供医生选择。

在本发明的一种优选实施方式中，所述步骤S4中，在0至1之间设置多个校正系数，根据所述校正系数生成多个相机校正内参为：

设置校正系数σ，计算K'＝σ*K

其中K'为校正后的相机内参。

本发明针对不同人的视觉差异，引入校正系数，达到不同的校正效果，以供医生选择。

在本发明的另一种优选实施方式中，所述步骤S5中对图像进行校正的公式如下：dst(x_i,y_i)＝src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))＝(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)

+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正。

校正后的图像对于弯曲很严重的部分有明显的改善，同时本发明将校正系数提前计算出来，这样在程序执行的时候，可以直接调用，免去重复计算而导致的消耗，本发明算法简单计算公式少，能够达到实时处理，方便阅片。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像畸变校正系统，其包括相机、控制器及图像显示装置，所述相机拍摄待校正图像并传输给控制器，所述控制器根据本发明所述的图像畸变校正方法对图像进行校正并传输给图像显示装置进行显示。

本发明的校正系统快速高效，能够实时针对医用内镜图片进行畸变校正，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。

本发明提出将图像的角落图像通过仿射变换到图像中间区域，增加了图像的场景内容。根据医生的视觉习惯不同，加入校正系数，可以自由选择不同的校正程度。对图像外维进行填充，弥补一些因为校正二损失的图像信息，这样校正后的图像提高了图像分辨率，增加图像清晰度，更有利于观察阅片。本发明算法执行效率高，计算速度快，达到时候的效果，可以应用于大部分系统环境中。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中图像畸变校正方法的流程图；

图2是本发明一种优选实施方式中图像校正示意图，其中(a)为校正前的图像；(b)为校正后填充前的图像；

图3是本发明一种优选实施方式中仿射变换示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明快速有效、能够实时针对医用内镜图片进行畸变校正的算法，校正后的图片更符合人眼视图习惯，有助于医生阅片和对异常病变部位进一部的观察，提高医生诊断的准确性。

本发明适用于任意的内镜系统，优选为胶囊内镜。

本发明提供了一种图像畸变校正方法，如图1所示，其包括如下步骤：

S1，获取相机拍摄的图像，所述图像为矩形或正方形；具体可采用有线或无线传输的方式将内镜的图像传输给控制器。

S2，对步骤S1获取的图像进行边界填充。

S3，对相机进行标定，获得相机外参和相机内参；

S4，在0至1之间设置多个校正系数，根据所述校正系数生成多个相机校正内参；

S5，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正；

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参。

具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标；

S6，对所述校正后图像进行仿射变换，选取矩形图像中的尽量大的椭圆形或圆形，将椭圆形或圆形以外的4个角落区域的图像内容仿射到中间椭圆形或圆形区域内。

在本实施方式中，如图2所示，为了减少损失的有效像素，我们对原始图像进行边界填充。在桶形畸变中，远离图像中心的地方成像放大率小，所以越远离图像中心位置，畸变程度越明显。当进行畸变校正后(具体畸变校正可采用现有方法)，原本挤在一起的像素点会被校正到原来的位置，就会向图片的四周进行像素拉伸，所以图像四周会出现模糊，并且校正后留下一些没有图像内容的黑色凹陷区域，校正后进行填充，步骤S2中进行边界填充的方法为：

其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h。

在本实施方式中，所述步骤S3中对相机进行标定的方法为：

选取至少三幅及以上的不同位置的标定图像并划分为棋盘格，根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系，计算出内镜相机所有的内、外参数，具体为：

设三维世界坐标的点为P＝[X,Y,Z,1]^T，二维摄像机坐标为m＝[u,v,1]^T，摄像机棋盘格平面到图像平面的单应性关系为：

s·m＝K[R,T]X

其中s为尺度因子，K为摄像机内参数，R为旋转矩阵，T为平移向量，H为映射矩阵，将世界坐标系构造在棋盘格平面上，令棋盘格平面为Z＝0的平面，可得：

H＝[h1,h2,h3]＝λK[r1，r2，t]

其中，h1,h2,h3分别为映射矩阵H的三个列向量，λ为尺度因子s的倒数，r1，r2为旋转矩阵R的任意两个列向量，t为r1，r2所对应图像的平移向量；

利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K。

在本实施方式中，因为不同人存在视觉差异，对校正后的结果可能有不同的评价，所述步骤S4中，在0至1之间设置q个校正系数，q为正整数，根据所述校正系数生成多个相机校正内参为：

设置校正系数σ，计算K'＝σ*K，

其中K'为校正后的相机内参。为了提高算法的实际处理效果，可以将σ的取值设置为0.1、0.2…0.9、1，同时求出对应的K₁'、K'₂…K'₉、K₁'₀。

在本实施方式中，所述步骤S5中对图像进行灰度校正的公式如下：dst(x_i,y_i)＝src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))＝(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)

+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正。校正后的图像对于弯曲很严重的部分有明显的改善，同时本发明将校正系数提前计算出来，这样在程序执行的时候，可以直接调用，免去重复计算而导致的消耗，本发明算法简单计算公式少，能够达到实时处理，方便阅片。

在本实施方式中，如图3所示，所述步骤S6中进行仿射变换的方法为：

S61，求取仿射变换参数，仿射变换公式为：

其中，(x,y)为仿射变换前的坐标，(m,n)为仿射变换后的坐标，a₁,b₁,c₁，

a₂,b₂,c₂为常量参数，上式对应的齐次坐标矩阵表示形式为：

S62，选取图像中不在同一条直线上的6个点，分别两两对应，求取a₁、b₁、c₁、a₂、b₂、c₂，对图像其它点进行仿射变换。

选取原始矩形图像与拟变换后椭圆形、圆形的边界重合处的至少两对对应点，以及矩形顶角与其对应点计算仿射变换参数。

首先对原始图像进行平均4等分分割，如图3。点S1、S2、S3为原始图像上的点，点D1、D2、D3为仿射变换后对应的点，其中S2和D2、S3和D3是互相重复的。根据这6个点的具体坐标值，按最小二乘法原理求出a₁、b₁、c₁、a₂、b₂、c₂6个参数，然后进行图像仿的射变换。

本发明还提供了一种图像畸变校正系统，其包括相机、控制器及图像显示装置，所述相机拍摄待校正图像并传输给控制器，所述控制器根据本发明的图像畸变校正方法对图像进行校正并传输给图像显示装置进行显示。

本发明将图像的角落图像通过仿射变换到图像中间区域，增加了图像的场景内容。根据医生的视觉习惯不同，加入校正系数K，可以自由选择不同的校正程度。对图像外维进行填充，弥补一些因为校正二损失的图像信息，这样校正后的图像提高了图像分辨率，增加图像清晰度，更有利于观察阅片。本发明算法执行效率高，计算速度快，达到时候的效果，可以应用于大部分系统环境中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种图像畸变校正方法，其特征在于，包括如下步骤：

S1，获取相机拍摄的图像，所述图像为矩形或正方形；

S2，对步骤S1获取的图像进行边界填充；

S3，对相机进行标定，获得相机外参和相机内参；

S4，在0至1之间设置多个校正系数，根据所述校正系数生成多个相机校正内参；

S5，根据相机外参和不同校正系数下的相机校正内参，求出边界填充后图像对应原图的每个像素的非线性畸变坐标映射矩阵M_P1,M_P2…M_P9,M_P10，……，M_pq,根据所述畸变坐标映射矩阵进行校正；

其中，所述q为校正系数的个数，也即坐标映射矩阵的个数，i为正数且1≤i≤q，size为校正图像的大小，H为映射矩阵，K'_i为对应第i个校正系数的校正后的相机内参；

畸变坐标映射矩阵求取方法具体为：将填充后图像中的每一个像素点坐标转换到摄像机坐标系,并归一化得到Z＝1平面下的三维坐标(x',y',1)，其中T为平移向量，

求出平面模型下像素点对应鱼眼半球模型下的极坐标，利用求出的极坐标值将三维坐标点重投影到二维图像平面得到(m_x,m_y)即为目标图像对应的像素点坐标，

M_pi＝M(x_i,y_i)＝(m_xi,m_yi)，

其中f_x，f_y为焦距，c_x，c_y为图像的中心点坐标；

S6，对所述校正后图像进行仿射变换，选取矩形图像中的尽量大的椭圆形或圆形，将椭圆形或圆形以外的角落区域的图像内容仿射到中间椭圆形或圆形区域内。

2.根据权利要求1所述的图像畸变校正方法，其特征在于，所述步骤S2中进行边界填充的方法为：

其中，d(x,y)是填充后的图像，f(x,y)为原图像，w为原图像的宽度，h为原图像的高度，Δx是x方向上填充的宽度，Δy是y方向上填充的高度，填充后的图像宽高变为Δx+w，Δy+h。

3.根据权利要求1所述的图像畸变校正方法，其特征在于，所述步骤S3中对相机进行标定的方法为：

选取至少三幅及以上的不同位置的标定图像并划分为棋盘格，根据图像坐标系、摄像机坐标系和世界坐标系之间的非线性映射关系，计算出内镜相机所有的内、外参数，具体为：

设三维世界坐标的点为P＝[X,Y,Z,1]^T，二维摄像机坐标为m＝[u,v,1]^T，摄像机棋盘格平面到图像平面的单应性关系为：

s·m＝K[R,T]X

其中s为尺度因子，K为摄像机内参数，R为旋转矩阵，T为平移向量，H为映射矩阵，将世界坐标系构造在棋盘格平面上，令棋盘格平面为Z＝0的平面，可得：

H=[h1,h2,h3]=λK[r1，r2，t]

其中，h1,h2,h3分别为映射矩阵H的三个列向量，λ为尺度因子s的倒数，r1，r2为旋转矩阵R的任意两个列向量，t为r1，r2所对应图像的平移向量；

利用三幅包含棋盘格的图像计算得到相机的内参数矩阵K。

4.根据权利要求1所述的图像畸变校正方法，其特征在于，所述步骤S4中，在0至1之间设置多个校正系数，根据所述校正系数生成多个相机校正内参为：

设置校正系数σ，计算K'=σ*K

其中K'为校正后的相机内参。

5.根据权利要求1所述的图像畸变校正方法，其特征在于，所述步骤S5中对图像进行校正的公式如下：dst(x_i,y_i)=src(d(M(x_i,y_i)))，

其中：dst(x_i,y_i)是目标图像，即重映射的结果；src(d(M(x_i,y_i)))是源图像；

利用得到的畸变坐标映射矩阵进行灰度校正，使用双线性差值算法求解校正后的图像像素值，具体的算法公式如下：

d(M(x_i,y_i))=(1-Δx)(1-Δy)M(x_i,y_i)+Δy(1-Δx)M(x_i,y_i+1)+Δx(1-Δy)M(x_i+1,y_i)+ΔxΔyM(x_i+1,y_i+1)

式中Δx和Δy分别是校正后图像映射到原图中的x和y方向上的小数部分，通过双线性插值方法完成图像最后的图像校正。

6.根据权利要求1所述的图像畸变校正方法，其特征在于，所述步骤S6中进行仿射变换的方法为：

S61，求取仿射变换参数，仿射变换公式为：

其中，(x,y)为仿射变换前的坐标，(m,n)为仿射变换后的坐标，a₁,b₁,c₁，a₂,b₂,c₂为常量参数，上式对应的齐次坐标矩阵表示形式为：

S62，选取图像中不在同一条直线上的6个点，分别两两对应，求取a₁、b₁、c₁、a₂、b₂、c₂，对图像其它点进行仿射变换。

7.根据权利要求6所述的图像畸变校正方法，其特征在于，选取原始矩形图像与拟变换后椭圆形、圆形的边界重合处的至少两对对应点，以及矩形顶角与其对应点计算仿射变换参数。

8.一种图像畸变校正系统，其特征在于，包括相机、控制器及图像显示装置，所述相机拍摄待校正图像并传输给控制器，所述控制器根据权利要求1所述的图像畸变校正方法对图像进行校正并传输给图像显示装置进行显示。

Images