CN101572828A - 基于gpu的相机/摄像机实时畸变校正方法 - Google Patents

Abstract

本方法公开了一种相机、摄像机等成像系统实时畸变校正的方法，此方法采用数字图像处理技术，在基于平面网格模型的校正算法中，利用最小二乘法求解包含2个径向畸变系数、2个离心畸变系数和2个薄棱镜畸变系数的非线性方程组，得到空间变换方程；对成像系统拍摄的图像的像素点进行同步空间变换，得到畸变校正后的图像。此方法解决了光学畸变难题，提高校正精度至亚像素级；通过采用具有并行处理能力的GPU技术，提高处理速度40倍以上，实现了1920*1080高清图像的实时畸变校正(30帧/秒以上)，降低镜头光学设计加工成本20％～70％。

Description

基于GPU的相机/摄像机实时畸变校正方法

技术领域

本方法涉及一种基于可编程GPU的相机/摄像机实时畸变校正方法，广泛适用于减小数码相机、高清摄像机、医用内窥镜等使用短焦距广角镜头拍摄大视场景物时产生的光学畸变情况，保证图像的真实性和准确性；同时，本方法可实现畸变图像的实时校正，可用于视频流、医疗诊断等实时在线的处理场合。

背景技术

视频信息处理系统正在工业、交通、医疗、军事、文化娱乐等领域得到广泛的应用，为了获取大范围的景物视频信息，不得不使用短焦距摄像机镜头来拍摄大视场景物。如医用内窥镜为了在有限的孔径内获得更多的观察范围，一般采用视场角为120°的广角成像系统。而广角镜头的使用必然存在明显的光学畸变，畸变的存在使得医生无法正确判断病变部位，又无法利用其进行高精度的测量，因此，畸变校正方法至关重要。然而，利用光学方法校正畸变，往往会产生一个复杂的光学系统，这不但使设计难度加大，而且给制造工艺也带来一定的难度，提高了光学系统的制造成本。方便可行的校正方法之一是使用数字图像处理技术，对光学系统进行畸变校正，从而改善图像的畸变失真，使结果满足正确诊断和正确测量的要求。

发明内容

本方法的目的是为了校正相机、摄像机等成像系统在光学镜头加工过程中产生的光学畸变，改善图像的畸变失真，提高景物成像信息的准确性。

本方法提供一种相机/摄像机实时畸变校正方法，采用数字图像处理技术，在基于平面网格模型的校正算法中，利用最小二乘法求解包含2个径向畸变系数、2个离心畸变系数和2个薄棱镜畸变系数的非线性方程组，得到空间变换方程；对成像系统拍摄的图像的像素点进行同步空间变换，得到畸变校正后的图像。此方法解决了光学畸变难题，提高校正精度至亚像素级；通过采用具有并行处理能力的GPU技术，提高处理速度40倍以上，实现了1920*1080高清图像的实时畸变校正(30帧/秒以上)，降低镜头光学设计加工成本20％～70％。

本方法的条件和步骤如下：

1.所需设备：待校正的成像系统(1)，含GPU(3)的普通PC机(2)，标定模版(4)；其中成像系统(1)可以是相机或摄像机等；标定模版(4)为自制的黑白格纸板。

2.实现步骤：

本方法(010)部分，得到实际坐标和理想坐标之间的空间变换方程，具体步骤如下：

步骤C011：开始，成像系统(1)拍摄标定模版(4)包含的标准网格(5)，得到变形网格(6)；普通PC机(2)读取变形网格(6)；

步骤G012：GPU(3)对变形网格(6)进行预处理，使用色彩系统变换法将所提取的RGB图像转换为灰度图像；使用自适应滤波器对图像随机噪声进行复原；将图像进行反色处理，并选定灰度值对图像进行阈值化处理，得到预处理后的图像(7)；

步骤G013：GPU(3)提取预处理后的图像(7)中每个网格点的发生畸变后的实际坐标Point[i](X_real，Y_real)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤C014：在普通PC机(2)上，采用畸变标定算法，计算预处理后的图像(7)中每个网格点的发生畸变前的理想坐标Point[i](X_idea，Y_idea)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤G015：GPU(3)在预处理后的图像(7)中随机选取N(N≥3)个网格点rand(Point[i])，其中i＝1，2，…，N；根据光学镜头成像原理，得到以2个径向畸变系数、2个离心畸变系数和2个薄棱镜畸变系数为未知数的2*N阶非线性方程组；利用最小二乘法，从N对实际坐标和理想坐标计算出上述6个畸变系数，得到实际坐标和理想坐标之间的空间变换方程。

本方法(020)部分，对畸变图像进行实时校正，具体步骤如下：

步骤C021：在普通PC机(2)上，输入成像系统(1)拍摄的畸变图像(8)，提取畸变图像(8)的像素点坐标；

步骤G022：GPU(3)对畸变图像(8)中的每一个像素点，利用空间变换方程同步进行空间变换，得到变换后的像素点坐标；

步骤G023：GPU(3)对变换后的像素点坐标进行三线性插值，根据每一个变换后的像素点周围的16个像素点的颜色值，插值计算得到此像素点的颜色值；

步骤C024：普通PC机(2)输出已完成畸变校正的结果图像(9)。

有益效果：

本方法的目的是提供一种能够减小现有的相机、摄像机等成像系统光学畸变，改善成像质量的方法。其优点在于采用数字图像处理技术，方法灵活，易于实现，成本较低；同时使用可编程GPU使得处理速度成级数提高，实现了1920*1080高清图像流的实时在线校正。此方法简单通用，对于任意相机或摄像机，任意分辨率的图像都可使用。

附图说明

图1为成像系统畸变校正设备构成图，

图2为原始标定图像，

图3为本方法的校正流程图，

图4为校正结果对比图。

具体实施方式

由图3所示的基于网格标定的校正技术处理流程分为两部分。畸变标定(010)：首先，对变形网格图像进行预处理操作，如平滑，反色，阈值变换等，在变形网格图像中提取N个特征点的实际坐标(X_real[i]，Y_real[i])，(其中：i＝1，2，...，N)；其次，计算特征点的理想坐标(X_idea[i]，Y_idea[i])；获得坐标对之后，通过匹配N个特征点的实际坐标和理想坐标，得到畸变系数P，从而建立空间坐标变换方程 $\left\{\begin{array}{c}{X}_{\mathrm{idea}}\left[i\right]=\left(X_{\mathrm{real}}\right[i],\stackrel{\‾}{P})\\ Y_{\mathrm{idea}}\left[i\right]=\left(Y_{\mathrm{real}}\right[i],\stackrel{\‾}{P})\end{array}\right..$ 畸变校正(020)：对于输入图像中的每一个点Point(X_real，Y_real)，通过畸变标定得到的变换方程计算获取该点的理想坐标Point(X_idea，Y_idea)；由于空间变换后该点坐标可能会落到非整数坐标上，因此，需要对畸变图像进行像素插值

从而得到理想的输出图像。

图2所示为原始标定图像，(5)为标准网格板图像，(6)为使用摄像机拍摄标准网格所成图像。

本方法(010)部分，得到实际坐标和理想坐标之间的空间变换方程，具体步骤如下：

步骤C011：开始，成像系统(1)拍摄标定模版(4)包含的标准网格(5)，得到变形网格(6)；普通PC机(2)读取变形网格(6)；

步骤G012：GPU(3)对变形网格(6)进行预处理，使用色彩系统变换法将所提取的RGB图像转换为灰度图像；使用自适应滤波器对图像随机噪声进行复原；将图像进行反色处理，并选定灰度值对图像进行阈值化处理，得到预处理后的图像(7)；

步骤G013：GPU(3)提取预处理后的图像(7)中每个网格点的发生畸变后的实际坐标Point[i](X_real，Y_real)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤C014：在普通PC机(2)上，采用畸变标定算法，计算预处理后的图像(7)中每个网格点的发生畸变前的理想坐标Point[i](X_idea，Y_idea)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤G015：GPU(3)在预处理后的图像(7)中随机选取N(N≥3)个网格点rand(Point[i])，其中i＝1，2，…，N；根据光学镜头成像原理，得到以2个径向畸变系数、2个离心畸变系数和2个薄棱镜畸变系数为未知数的2*N阶非线性方程组；利用最小二乘法，从N对实际坐标和理想坐标计算出上述6个畸变系数，得到实际坐标和理想坐标之间的空间变换方程。

本方法(020)部分，对畸变图像进行实时校正，具体步骤如下：

步骤C021：在普通PC机(2)上，输入成像系统(1)拍摄的畸变图像(8)，提取畸变图像(8)的像素点坐标；

步骤G022：GPU(3)对畸变图像(8)中的每一个像素点，利用空间变换方程同步进行空间变换，得到变换后的像素点坐标；

步骤G023：GPU(3)对变换后的像素点坐标进行三线性插值，根据每一个变换后的像素点周围的16个像素点的颜色值，插值计算得到此像素点的颜色值；

步骤C024：普通PC机(2)输出已完成畸变校正的结果图像(9)。

本方法中，GPU(3)实现部分使用CUDA完成，将函数写在CUDA的kernel文件中，根据文件大小定义grid，block，thread的尺寸，并行实现各步，提高处理速度。普通PC机(2)部分可直接写入cpp文件中，通过extern“c”的形式调用。

图4为使用本方法进行畸变校正的处理结果。

Claims (1)

1.一种基于可编程GPU的相机/摄像机实时畸变校正方法，其特征在于，其条件和步骤如下：

所需设备：待校正的成像系统(1)，含GPU(3)的普通PC机(2)，标定模版(4)；其中成像系统(1)可以是相机或摄像机等；标定模版(4)为自制的黑白格纸板。

实现步骤：

本方法(010)部分，得到实际坐标和理想坐标之间的空间变换方程，具体步骤如下：

步骤C011：开始，成像系统(1)拍摄标定模版(4)包含的标准网格(5)，得到变形网格(6)；普通PC机(2)读取变形网格(6)；

步骤G012：GPU(3)对变形网格(6)进行预处理，使用色彩系统变换法将所提取的RGB图像转换为灰度图像；使用自适应滤波器对图像随机噪声进行复原；将图像进行反色处理，并选定灰度值对图像进行阈值化处理，得到预处理后的图像(7)；

步骤G013：GPU(3)提取预处理后的图像(7)中每个网格点的发生畸变后的实际坐标Point[i](X_real，Y_real)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤C014：在普通PC机(2)上，采用畸变标定算法，计算预处理后的图像(7)中每个网格点的发生畸变前的理想坐标Point[i](X_idea，Y_idea)，其中i＝1，2，…，m，这里m表示网格点个数；

步骤G015：GPU(3)在预处理后的图像(7)中随机选取N(N≥3)个网格点rand(Point[i])，其中i＝1，2，…，N；根据光学镜头成像原理，得到以2个径向畸变系数、2个离心畸变系数和2个薄棱镜畸变系数为未知数的2*N阶非线性方程组；利用最小二乘法，从N对实际坐标和理想坐标计算出上述6个畸变系数，得到实际坐标和理想坐标之间的空间变换方程。

本方法(020)部分，对畸变图像进行实时校正，具体步骤如下：

步骤C021：在普通PC机(2)上，输入成像系统(1)拍摄的畸变图像(8)，提取畸变图像(8)的像素点坐标；

步骤G022：GPU(3)对畸变图像(8)中的每一个像素点，利用空间变换方程同步进行空间变换，得到变换后的像素点坐标；

步骤G023：GPU(3)对变换后的像素点坐标进行三线性插值，根据每一个变换后的像素点周围的16个像素点的颜色值，插值计算得到此像素点的颜色值；

步骤C024：普通PC机(2)输出已完成畸变校正的结果图像(9)。

利用本方法提高图像处理速度40倍以上，实现了1920*1080高清图像的实时(30帧/秒以上)、高精度(亚像素级)畸变校正；降低镜头光学设计加工成本20％～70％。

Images