CN102236790B - 一种图像处理方法和设备 - Google Patents
一种图像处理方法和设备 Download PDFInfo
- Publication number
- CN102236790B CN102236790B CN 201110133735 CN201110133735A CN102236790B CN 102236790 B CN102236790 B CN 102236790B CN 201110133735 CN201110133735 CN 201110133735 CN 201110133735 A CN201110133735 A CN 201110133735A CN 102236790 B CN102236790 B CN 102236790B
- Authority
- CN
- China
- Prior art keywords
- original image
- distortion curve
- test pattern
- rectification
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种图像处理方法和设备，该方法包括：获取镜头的反畸变曲线；利用所述反畸变曲线计算原始图像中各点的矫正参数；当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像。本发明中，提高了性能，且满足实时性要求。
Description
技术领域
本发明涉及通信技术领域，特别是涉及一种图像处理方法和设备。
背景技术
当前数字视频监控的应用领域越来越广泛，往往需要对较宽广的空间进行全面监控，如果使用多台摄像机多角度的实施监控，则由于各台摄像机之间观察范围和方向不具有连贯性，对整体情况很难把握；如果使用广角镜头(如180°的鱼眼镜头)，可提供大视角、宽视野的环景图像，但由于广角镜头拍摄的图像变形厉害，对细节处难以辨识和分析，影响了用户的视觉感受。
为了解决上述广角镜头拍摄图像变形的问题，可采用桶形失真矫正算法，桶形失真矫正是通过前端或后端的软件对实时图像进行处理，通过桶形失真矫正算法，可还原画面的真实感觉，并保证图像质量。
现有技术中，为了实现桶形失真矫正，可采用基于球面模型的等距投影原理的鱼眼图像的复原与矫正。但是这种方式下，需要建立鱼眼图像的等距投影原理的球面成像模型，计算量大，复杂程度高，无法应用于实时图像中。
为了实现桶形失真矫正，还可拍摄多张鱼眼图像，利用相邻图像重叠区域间的特征点对，建立立方体空间模型，并利用计算出的参数，对原鱼眼图像重采样生成重置图像。但是这种方式下，需要人工进行特征点匹配，不方便实际应用，而且很难保证精度。
发明内容
本发明提供一种图像处理方法和设备，以对失真的原始图像进行矫正。
为了达到上述目的，本发明提供一种图像处理方法，该方法包括以下步骤：
获取镜头的反畸变曲线；
利用所述反畸变曲线计算原始图像中各点的矫正参数；
当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像。
所述获取镜头的反畸变曲线，具体包括：
通过所述镜头获得指定位置物体的原始测试图像，并确定所述指定位置物体的矫正测试图像；
获得所述指定位置物体的N个点在实际中的位置objH[N]、以及所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]；
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线。
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线，具体包括：
根据公式：
g(y)＝a1’×yn+a2’×yn-1...an’×y+1
获取所述反畸变曲线；其中，y表示由objH[N]确定的所述矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在所述原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
所述获取镜头的反畸变曲线，还包括：
确定镜头的畸变程度P；
利用已知的反畸变曲线以及所述镜头的畸变程度P获取所述镜头的反畸变曲线。
所述原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像；
利用所述反畸变曲线计算原始图像中各点的矫正参数，包括：
利用所述反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数。
各点的矫正参数包括各点在原始图像的参考像素坐标以及对应的插值权重，所述反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系；
利用所述反畸变曲线计算第一象限的原始图像中各点的矫正参数的过程，包括：
当需要获取所述矫正测试图像中的像素点(x，y)的矫正参数时，利用所述反畸变曲线确定所述像素点(x，y)在所述原始测试图像的参考像素坐标为(x’，y’)；
获得(x’，y’)周围四个点中各点所对应的插值权重，并确定所述(x’，y’)以及对应的插值权重为所述像素点(x，y)的矫正参数。
利用所述矫正参数对所述原始图像进行矫正，具体包括：
通过所述原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定所述原始图像中矫正到像素点(x，y)的像素点，并将该确定的像素点矫正到像素点(x，y)。
原始图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
所述方法还包括：根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，2W和2H分别为所述原始图像的宽和高；
根据所述矫正图像的分辨率申请输出内存空间，并将所述矫正图像存储到所述内存空间。
根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，具体包括：
通过所述镜头获得指定位置物体的原始测试图像，确定所述指定位置物体的矫正测试图像，并获得所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]、以及所述指定位置物体的N个点在实际中的位置objH[N]；
根据公式：
f(x)＝a1×xn+a2×xn-1...an×x+1
确定畸变曲线；其中，x表示由pixH[N]确定的所述原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在所述矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线；
利用所述畸变曲线的f(x)函数，确定所述矫正图像的分辨率为2f(W)×2f(H)。
一种图像处理设备，该设备包括：
获取模块，用于获取镜头的反畸变曲线；
计算模块，用于利用所述反畸变曲线计算原始图像中各点的矫正参数；
矫正模块，用于当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像。
所述获取模块，具体用于通过所述镜头获得指定位置物体的原始测试图像，并确定所述指定位置物体的矫正测试图像；
获得所述指定位置物体的N个点在实际中的位置objH[N]、以及所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]；
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线。
所述获取模块，进一步用于根据公式：
g(y)＝a1’×yn+a2’×yn-1...an’×y+1
获取所述反畸变曲线；其中，y表示由objH[N]确定的所述矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在所述原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
所述获取模块，还用于确定镜头的畸变程度P；并利用已知的反畸变曲线以及所述镜头的畸变程度P获取所述镜头的反畸变曲线。
所述原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像；
所述计算模块，具体用于利用所述反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数。
各点的矫正参数包括各点在原始图像的参考像素坐标以及对应的插值权重，所述反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系；
所述计算模块，进一步用于计算第一象限的原始图像中各点的矫正参数；
当需要获取所述矫正测试图像中的像素点(x，y)的矫正参数时，利用所述反畸变曲线确定所述像素点(x，y)在所述原始测试图像的参考像素坐标为(x’，y’)；
获得(x’，y’)周围四个点中各点所对应的插值权重，并确定所述(x’，y’)以及对应的插值权重为所述像素点(x，y)的矫正参数。
所述矫正模块，具体用于通过所述原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定所述原始图像中矫正到像素点(x，y)的像素点，并将该确定的像素点矫正到像素点(x，y)。
原始图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
还包括：处理模块，用于根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，2W和2H分别为所述原始图像的宽和高；
根据所述矫正图像的分辨率申请输出内存空间，并将所述矫正图像存储到所述内存空间。
所述处理模块，具体用于通过所述镜头获得指定位置物体的原始测试图像，确定所述指定位置物体的矫正测试图像，并获得所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]、以及所述指定位置物体的N个点在实际中的位置objH[N]；
根据公式：
f(x)＝a1×xn+a2×xn-1...an×x+1
确定畸变曲线；其中，x表示由pixH[N]确定的所述原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在所述矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线；
利用所述畸变曲线的f(x)函数，确定所述矫正图像的分辨率为2f(W)×2f(H)。
与现有技术相比，本发明至少具有以下优点：
通过对失真的原始图像进行失真矫正，还原原始图像的真实情况，解决使用广角镜头引起的图像画面发生畸变失真导致细节无法辨认和分析的缺陷，从而提高了性能，且满足实时性要求。
附图说明
图1是本发明中提供的桶形失真原理示意图；
图2是本发明中提供的将标有标准方格的纸张放置于镜头前的示意图；
图3是本发明中提供的通过使用镜头获得指定位置物体的原始测试图像的示意图；
图4是本发明中提供的畸变曲线的示意图；
图5是本发明中提供的反畸变曲线的示意图；
图6是本发明提供的一种利用获取的矫正参数对原始图像进行失真矫正，得到矫正图像的流程示意图；
图7是本发明提出的一种图像处理设备结构图。
具体实施方式
现有技术中，针对使用广角镜头导致的图像失真现象，需要进行桶形失真矫正，但是由于其计算复杂，计算量大，往往无法应用于实时图像中。针对上述问题，本发明提出一种图像处理方法和设备，应用在视频监控系统中对失真图像进行还原处理，该方法可应用于编码前处理或编码后处理的桶形失真矫正过程，对失真的原始图像进行矫正，从而提高了性能，且满足实时性要求。
由于光学系统对物面上不同高度的物体垂轴放大率不同，导致镜头采集到的光线经过折射后落到感应设备上的位置并不成线性比例，镜头边缘的画面容易变得弯曲而失真。基于以上原理，桶形失真矫正的目的是通过一定算法将原始图像各像素点的位置进行重排，依据镜头的畸变程度，对图像的不同位置进行非线性的拉伸，使图像中畸变的部分恢复到真实的状况。
如上所述，本发明中，可通过获取镜头的畸变程度和规律，拟合出镜头的畸变曲线和反畸变曲线，并以该畸变曲线和反畸变曲线为依据，对原始图像中的不同像素点进行非线性拉伸和插值，获得矫正后的图像。在获得矫正图像的过程中，该图像处理方法需要执行以下过程：(1)获取镜头的畸变曲线和反畸变曲线；(2)利用获取的反畸变曲线计算原始图像中各点的矫正参数；(3)利用获取的矫正参数对原始图像进行失真矫正，得到矫正图像。
为了清楚的阐述本发明提供的技术方案，首先明确以下概念：(1)原始图像，即通过镜头(如广角镜头等)获得的图像，该图像为失真图像，本发明中需要对该原始图像进行失真矫正；(2)矫正图像，即通过本发明算法对原始图像进行失真矫正后的图像；(3)原始测试图像，即通过镜头获得的指定位置物体的图像，该图像的相关细节可以获知；(4)矫正测试图像，即对原始测试图像进行失真矫正后的图像，由于是指定位置物体的测试图像，该矫正测试图像的相关细节可以获知。
上述获取镜头的畸变曲线和反畸变曲线的过程、计算图像中各点的矫正参数的过程均为基于原始测试图像和矫正测试图像进行的；而获得矫正参数后，利用矫正参数进行失真矫正的过程是基于原始图像和矫正图像的。
第一，获取镜头的畸变曲线和反畸变曲线的过程。
如图1所示，假设镜头没有出现畸变现象，则光线应线性的落在感应设备上(图1中的虚线部分)，而实际情况中由于镜头各点的折色率不同，光线将非线性的落在感应设备上(图1中的实线部分)，因此，根据图像中所呈现的各点在实际情况中的位置即可以拟合出该镜头的畸变曲线和反畸变曲线。
如图2所示，将一张标有标准方格的纸张放置于镜头前，将方格的中心和镜头的中心对齐，尽量使方格充满整个镜头；如图3所示，为通过使用该镜头获得指定位置物体的原始测试图像，保存该原始测试图像以用于获取畸变曲线和反畸变曲线。
具体的，针对指定位置物体，可通过镜头获得指定位置物体的原始测试图像(基于图3所示的使用镜头获得的指定位置物体的原始测试图像，可获知该指定位置物体在原始测试图像中各点的坐标)，并确定该指定位置物体的矫正测试图像(由于是指定位置物体，则可获知该指定位置物体在实际中的位置，并获知该指定位置物体在实际中各点的坐标)。
进一步的，基于指定位置物体在原始测试图像中各点的坐标、指定位置物体在实际中(即矫正测试图像)各点的坐标，可获得指定位置物体的N个点在原始测试图像中的位置pixH[N]，并获得指定位置物体的N个点在实际中的位置objH[N]。
由于镜头获得指定位置物体的图像的对称性，针对图像的四个象限，只要获知一个象限的相关信息，即可推导出另外三个象限的相关信息，以针对第一象限(即平面直角坐标系中右上角的象限，第一象限中的点的横坐标大于0，纵坐标大于0)的处理为例进行说明。可选取第一象限中从镜头中心到边缘横轴上的N个点，并获得N个点在实际中的位置、以及在原始测试图像中的位置，以数组pixH[N]表示N个点在原始测试图像中的位置，以数组objH[N]表示N个点在实际中的位置。
本发明中，通过objH[N]以及pixH[N]可获取镜头的反畸变曲线，且通过pixH[N]以及objH[N]可获取镜头的畸变曲线。
(1)如图4所示，以函数f(x)代表畸变曲线，则畸变曲线的计算公式如公式(1)所示。
f(x)＝a1×xn+a2×xn-1...an×x+1 公式(1)
其中，x表示由pixH[N]确定的原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线。
(2)如图5所示，以函数g(y)代表反畸变曲线，则反畸变曲线的计算公式如公式(2)所示。
g(y)＝a1’×yn+a2’×yn-1...an’×y+1 公式(2)
其中，y表示由objH[N]确定的矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
实际应用中，由于镜头各点的折色率是以中心对称的方式分布的，因此利用第一象限的畸变曲线和反畸变曲线可推导出其余三个象限的畸变曲线和反畸变曲线，从而提高计算效率，推导其余三个象限的畸变曲线和反畸变曲线的过程在此不再赘述。
同样的，也可以首先获得第二象限(或第三象限、第四象限)的畸变曲线和反畸变曲线，该获得方式与第一象限的获得方式类似；本发明中，可采用上述第一象限的畸变曲线和反畸变曲线的获得方式获得任意一个或多个象限的畸变曲线和反畸变曲线，并推导出其他象限的畸变曲线和反畸变曲线，在此不再赘述。
第二，利用获取的反畸变曲线计算原始图像中各点的矫正参数的过程。其中，每个点的矫正参数包括该点在原始图像的参考像素坐标以及对应的插值权重。
本发明中，原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像，可利用反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数；以利用反畸变曲线计算第一象限的原始图像中各点的矫正参数的过程为例进行说明。
由于反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系；因此当需要获取矫正测试图像中的像素点(x，y)的矫正参数时，可直接利用反畸变曲线确定像素点(x，y)在原始测试图像的参考像素坐标为(x’，y’)；并获得(x’，y’)周围四个点中每个点所对应的插值权重；之后可确定(x’，y’)以及对应的插值权重为像素点(x，y)的矫正参数。原始测试图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
具体的，矫正参数包括该点在原始测试图像的参考像素坐标和相应插值权重，矫正测试图像中每个像素的参考坐标即该点像素在原始测试图像中对应的参考像素的坐标值，而且该值可以根据反畸变曲线g(y)函数计算得到。
假设需要获取像素点(x，y)的矫正参数，x表示第一象限的横轴，y表示第一象限的纵轴，则利用反畸变曲线g(y)获知
则(x’，y’)即表示该像素点(x，y)在原始测试图像中的参考坐标。
进一步的，由于(x’，y’)的坐标值往往不是整数，因此像素点的值不应根据原始测试图像的某个像素值获得，而是通过插值的方式获取，以尽量减少锯齿效应，因此需要获取相应的插值权重。
本发明中，可使用双线性插值的方式，将2×2参考像素分别乘以各自的插值权重，其累加结果即是该点的像素值。如第一象限的图像像素点(x，y)的值可通过(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)的值乘以相应的插值权重(即权重系数)得到；每个像素点的权重系数可根据(x’-x’向下取整)和(y’-y’向下取整)的差值计算所得，该权重系数的获得方式与现有的双线性插值的获得方式类似，在此不再赘述。
因此，在获取(x’，y’)所对应的插值权重的过程中，需要分别获取(x’向下取整，y’向下取整)对应的插值权重、(x’向下取整+1，y’向下取整)对应的插值权重、(x’向下取整，y’向下取整+1)对应的插值权重、(x’向下取整+1，y’向下取整+1)对应的插值权重。
本发明中，根据中心对称原理，可通过第一象限的矫正参数计算出其余三个象限的矫正参数，因此只需得到f(W)×f(H)个像素的矫正参数，其他象限的矫正参数可根据中心对称原则获得。例如，假设第一象限的像素点(x，y)的参考坐标为(x’，y’)、权重系数为(xp，yp)，则第二象限对应的像素点坐标可根据矫正图像的规格计算得出(2f(W)-x-1，y)，其参考坐标可根据原始图像的规格计算得出(2W-x’-1，y’)，权重系数(1-xp，yp)；其余两个象限的对应像素点也可以依此规律求得，在此不再赘述。
需要注意的是，在实际应用中，不同镜头的畸变程度是不一样的，如果每次更换镜头均需要重新计算矫正参数，则其工程应用性将大大折扣。本发明中，利用已获取的镜头的畸变曲线和反畸变曲线，可通过畸变程度，计算出不同镜头的矫正参数；即通过确定镜头的畸变程度P，可利用已知的畸变曲线和反畸变曲线以及镜头的畸变程度P，获取该镜头的畸变曲线和反畸变曲线，继而获取该镜头的矫正参数。
具体的，不同镜头的畸变程度为P(P＞0)，实际应用中可确定P值的大小，如P值为0.75、0.8、0.9、1.0、1.05、1.2等，基于上述计算出的畸变曲线f(x)和反畸变曲线g(y)，以及镜头最接近的畸变程度，则可根据不同的畸变程度调整f(x)和g(y)，如公式(3)所示的调整情况。
fn(x)＝P×f(x)，gn(y)＝P×g(y) 公式(3)
例如，当获得畸变曲线f(x)和反畸变曲线g(y)后，某镜头最接近的畸变程度为0.9，则其对应的畸变曲线f(x’)＝0.9×f(x)，反畸变曲线g(y’)＝0.9×g(y)，之后根据反畸变曲线g(y’)可获得相应的矫正参数。
第三，利用获取的矫正参数对原始图像进行失真矫正，得到矫正图像的过程，如图6所示，该过程包括以下步骤：
步骤601，获得原始图像。在视频监控领域中，可通过广角镜头得到原始图像，以针对一帧原始图像的处理为例进行说明。
需要注意的是，在通过镜头获得原始图像之前，已经采用上述的流程获取到镜头的畸变曲线和反畸变曲线、以及利用获取的反畸变曲线计算图像中各点的矫正参数，在获得原始图像后，可利用该畸变曲线、矫正参数等信息进行相关处理。
步骤602，根据原始图像的分辨率2Wx2H确定矫正图像的分辨率为2f(W)×2f(H)，其中，2W和2H分别为原始图像的宽和高。
具体的，假设原始图像分辨率为2W×2H(每个象限的图像的宽和高分别为W和H，2W和2H分别为原始图像的宽和高)，利用畸变曲线的f(x)函数，可以得到矫正图像的分辨率为2f(W)×2f(H)。
步骤603，根据矫正图像的分辨率2f(W)×2f(H)申请输出内存空间(该内存空间用于存储矫正图像)。
步骤604，利用矫正参数对原始图像进行矫正，得到矫正图像，并将矫正图像存储到申请的内存空间。
具体的，可通过双线性插值的方式对原始图像进行矫正，即通过原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定原始图像中矫正到像素点(x，y)的像素点，并将确定的像素点矫正到像素点(x，y)，之后将计算结果保存到内存空间的相应位置。
例如，(x，y)为(2，1)，矫正参数：(x’，y’)为(1.5，0.5)、插值权重为(x’向下取整，y’向下取整)对应0.5、(x’向下取整+1，y’向下取整)对应0.5、(x’向下取整，y’向下取整+1)对应0.5、(x’向下取整+1，y’向下取整+1)对应0.5。则从原始图像中获取(1，0)、(2，0)、(1，1)、(2，1)等4个像素点的值，通过4个像素点的值乘以相应的插值权重即可得到原始图像中矫正到像素点(2，1)的像素点。
本发明中，可通过第一象限的矫正参数对原始图像的第一象限的所有像素点进行矫正，并输出矫正图像；之后，通过第二象限的矫正参数对原始图像的第二象限的所有像素点进行矫正，并输出矫正图像；以此类推。
需要注意的是，在视频监控系统中，编码前或解码后的图像数据均为YUV信号，其中Y为亮度(Luma)分量，代表明亮度，U和V为色度(Chroma)分量，代表色彩，因此对失真图像的矫正是通过对这三个分量数据的处理来实现的，像素点的UV值则根据原始图像的YUV格式做不同比例的处理。
基于与上述方法同样的发明构思，本发明还提出了一种图像处理设备，如图7所示，该设备包括：
获取模块11，用于获取镜头的反畸变曲线；
计算模块12，用于利用所述反畸变曲线计算原始图像中各点的矫正参数；
矫正模块13，用于当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像。
所述获取模块11，具体用于通过所述镜头获得指定位置物体的原始测试图像，并确定所述指定位置物体的矫正测试图像；
获得所述指定位置物体的N个点在实际中的位置objH[N]、以及所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]；
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线。
所述获取模块11，进一步用于根据公式：
g(y)＝a1’×yn+a2’×yn-1...an’×y+1
获取所述反畸变曲线；其中，y表示由objH[N]确定的所述矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在所述原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
所述获取模块11，还用于确定镜头的畸变程度P；并利用已知的反畸变曲线以及所述镜头的畸变程度P获取所述镜头的反畸变曲线。
所述原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像；
所述计算模块12，具体用于利用所述反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数。
各点的矫正参数包括各点在原始图像的参考像素坐标以及对应的插值权重，所述反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系；
所述计算模块12，进一步用于计算第一象限的原始图像中各点的矫正参数；
当需要获取所述矫正测试图像中的像素点(x，y)的矫正参数时，利用所述反畸变曲线确定所述像素点(x，y)在所述原始测试图像的参考像素坐标为(x’，y’)；
获得(x’，y’)周围四个点中各点所对应的插值权重，并确定所述(x’，y’)以及对应的插值权重为所述像素点(x，y)的矫正参数。
所述矫正模块13，具体用于通过所述原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定所述原始图像中矫正到像素点(x，y)的像素点，并将该确定的像素点矫正到像素点(x，y)。
原始图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
还包括：处理模块14，用于根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，2W和2H分别为所述原始图像的宽和高；
根据所述矫正图像的分辨率申请输出内存空间，并将所述矫正图像存储到所述内存空间。
所述处理模块14，具体用于通过所述镜头获得指定位置物体的原始测试图像，确定所述指定位置物体的矫正测试图像，并获得所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]、以及所述指定位置物体的N个点在实际中的位置objH[N]；
根据公式：
f(x)＝a1×xn+a2×xn-1...an×x+1
确定畸变曲线；其中，x表示由pixH[N]确定的所述原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在所述矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线；
利用所述畸变曲线的f(x)函数，确定所述矫正图像的分辨率为2f(W)×2f(H)。
其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (16)
1.一种图像处理方法，其特征在于，该方法包括以下步骤：
获取镜头的反畸变曲线；
利用所述反畸变曲线计算原始图像中各点的矫正参数；
当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像，其中，所述原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像；
其中，所述利用反畸变曲线计算原始图像中各点的矫正参数具体包括：
利用所述反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数，其中，当需要获取所述矫正测试图像中的像素点(x，y)的矫正参数时，利用所述反畸变曲线确定所述像素点(x，y)在所述原始测试图像的参考像素坐标为(x’，y’)，获得(x’，y’)周围四个点中各点所对应的插值权重，并确定所述(x’，y’)以及对应的插值权重为所述像素点(x，y)的矫正参数，所述反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系。
2.如权利要求1所述的方法，其特征在于，所述获取镜头的反畸变曲线，具体包括：
通过所述镜头获得指定位置物体的原始测试图像，并确定所述指定位置物体的矫正测试图像；
获得所述指定位置物体的N个点在实际中的位置objH[N]、以及所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]；
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线。
3.如权利要求2所述的方法，其特征在于，通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线，具体包括：
根据公式：
g(y)＝a1’×yn+a2’×yn-1...an’×y+1
获取所述反畸变曲线；其中，y表示由objH[N]确定的所述矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在所述原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
4.如权利要求1所述的方法，其特征在于，所述获取镜头的反畸变曲线，还包括：
确定镜头的畸变程度P；
利用已知的反畸变曲线以及所述镜头的畸变程度P获取所述镜头的反畸变曲线。
5.如权利要求1所述的方法，其特征在于，利用所述矫正参数对所述原始图像进行矫正，具体包括：
通过所述原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定所述原始图像中矫正到像素点(x，y)的像素点，并将该确定的像素点矫正到像素点(x，y)。
6.如权利要求5所述的方法，其特征在于，原始图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，2W和2H分别为所述原始图像的宽和高；
根据所述矫正图像的分辨率申请输出内存空间，并将所述矫正图像存储到所述内存空间。
8.如权利要求7所述的方法，其特征在于，根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，具体包括：
通过所述镜头获得指定位置物体的原始测试图像，确定所述指定位置物体的矫正测试图像，并获得所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]、以及所述指定位置物体的N个点在实际中的位置objH[N]；
根据公式：
f(x)＝a1×xn+a2×xn-1...an×x+1
确定畸变曲线；其中，x表示由pixH[N]确定的所述原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在所述矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线；
利用所述畸变曲线的f(x)函数，确定所述矫正图像的分辨率为2f(W)×2f(H)。
9.一种图像处理设备，其特征在于，该设备包括：
获取模块，用于获取镜头的反畸变曲线；
计算模块，用于利用所述反畸变曲线计算原始图像中各点的矫正参数；
矫正模块，用于当通过所述镜头获得原始图像后，利用所述矫正参数对所述原始图像进行矫正，得到矫正图像；
其中，所述原始图像包括第一象限的原始图像、第二象限的原始图像、第三象限的原始图像、第四象限的原始图像；
所述计算模块，具体用于利用所述反畸变曲线计算任一象限的原始图像中各点的矫正参数，并利用该象限的矫正参数计算其他三个象限的原始图像中各点的矫正参数，当需要获取所述矫正测试图像中的像素点(x，y)的矫正参数时，利用所述反畸变曲线确定所述像素点(x，y)在所述原始测试图像的参考像素坐标为(x’，y’)，获得(x’，y’)周围四个点中各点所对应的插值权重，并确定所述(x’，y’)以及对应的插值权重为所述像素点(x，y)的矫正参数，所述反畸变曲线包括矫正测试图像像素点的坐标y、以及y在原始测试图像中的对应坐标的对应关系。
10.如权利要求9所述的设备，其特征在于，
所述获取模块，具体用于通过所述镜头获得指定位置物体的原始测试图像，并确定所述指定位置物体的矫正测试图像；
获得所述指定位置物体的N个点在实际中的位置objH[N]、以及所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]；
通过所述objH[N]以及所述pixH[N]获取所述镜头的反畸变曲线。
11.如权利要求10所述的设备，其特征在于，
所述获取模块，进一步用于根据公式：
g(y)＝a1’×yn+a2’×yn-1...an’×y+1
获取所述反畸变曲线；其中，y表示由objH[N]确定的所述矫正测试图像像素点的坐标，g(y)表示由pixH[N]确定的y在所述原始测试图像中的对应坐标，a’值由objH[N]和pixH[N]确定，且函数g(y)代表反畸变曲线。
12.如权利要求9所述的设备，其特征在于，
所述获取模块，还用于确定镜头的畸变程度P；并利用已知的反畸变曲线以及所述镜头的畸变程度P获取所述镜头的反畸变曲线。
13.如权利要求9所述的设备，其特征在于，
所述矫正模块，具体用于通过所述原始图像中(x’，y’)周围四个点以及各点所对应的插值权重确定所述原始图像中矫正到像素点(x，y)的像素点，并将该确定的像素点矫正到像素点(x，y)。
14.如权利要求13所述的设备，其特征在于，原始图像中(x’，y’)周围四个点为(x’向下取整，y’向下取整)、(x’向下取整+1，y’向下取整)、(x’向下取整，y’向下取整+1)、(x’向下取整+1，y’向下取整+1)。
15.如权利要求9所述的设备，其特征在于，还包括：
处理模块，用于根据所述原始图像的分辨率2W×2H确定所述矫正图像的分辨率，2W和2H分别为所述原始图像的宽和高；
根据所述矫正图像的分辨率申请输出内存空间，并将所述矫正图像存储到所述内存空间。
16.如权利要求15所述的设备，其特征在于，
所述处理模块，具体用于通过所述镜头获得指定位置物体的原始测试图像，确定所述指定位置物体的矫正测试图像，并获得所述指定位置物体的N个点在所述原始测试图像中的位置pixH[N]、以及所述指定位置物体的N个点在实际中的位置objH[N]；
根据公式：
f(x)＝a1×xn+a2×xn-1...an×x+1
确定畸变曲线；其中，x表示由pixH[N]确定的所述原始测试图像像素点的坐标，f(x)表示由objH[N]确定的x在所述矫正测试图像中的对应坐标，a值由objH[N]和pixH[N]确定，且函数f(x)代表畸变曲线；
利用所述畸变曲线的f(x)函数，确定所述矫正图像的分辨率为2f(W)×2f(H)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110133735 CN102236790B (zh) | 2011-05-23 | 2011-05-23 | 一种图像处理方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110133735 CN102236790B (zh) | 2011-05-23 | 2011-05-23 | 一种图像处理方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102236790A CN102236790A (zh) | 2011-11-09 |
| CN102236790B true CN102236790B (zh) | 2013-06-05 |
Family
ID=44887428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110133735 Active CN102236790B (zh) | 2011-05-23 | 2011-05-23 | 一种图像处理方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102236790B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10075634B2 (en) | 2012-12-26 | 2018-09-11 | Harman International Industries, Incorporated | Method and system for generating a surround view |
| CN103268597B (zh) * | 2013-06-04 | 2015-12-02 | 东南大学 | 一种图像畸变的校正方法 |
| CN106817512A (zh) * | 2016-12-22 | 2017-06-09 | 济南中维世纪科技有限公司 | 一种基于贝塞尔曲线的摄像机镜头阴影矫正方法 |
| CN106934763B (zh) * | 2017-04-17 | 2023-08-22 | 北京灵起科技有限公司 | 全景摄像机、行车记录仪、图像处理方法和装置 |
| CN107220925B (zh) * | 2017-05-05 | 2018-10-30 | 珠海全志科技股份有限公司 | 一种实时虚拟现实加速方法及装置 |
| CN108267857B (zh) * | 2017-12-29 | 2021-01-12 | 杭州联络互动信息科技股份有限公司 | 一种畸变校正实时可视调试的方法、装置及系统 |
| CN111950328A (zh) * | 2019-05-15 | 2020-11-17 | 阿里巴巴集团控股有限公司 | 确定图片中目标物类别的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1553410A (zh) * | 2003-12-18 | 2004-12-08 | 沈阳东软数字医疗系统股份有限公司 | 医学图像枕形失真的校正方法 |
| CN101532828A (zh) * | 2008-12-15 | 2009-09-16 | 北京科创融鑫科技有限公司 | 基于fpga的残币面积检测系统与桶形失真校正方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7561306B2 (en) * | 2006-04-19 | 2009-07-14 | Nethra Imaging Inc. | One-dimensional lens shading correction |
-
2011
- 2011-05-23 CN CN 201110133735 patent/CN102236790B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1553410A (zh) * | 2003-12-18 | 2004-12-08 | 沈阳东软数字医疗系统股份有限公司 | 医学图像枕形失真的校正方法 |
| CN101532828A (zh) * | 2008-12-15 | 2009-09-16 | 北京科创融鑫科技有限公司 | 基于fpga的残币面积检测系统与桶形失真校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102236790A (zh) | 2011-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102236790B (zh) | 一种图像处理方法和设备 | |
| EP3200148B1 (en) | Image processing method and device | |
| US10291844B2 (en) | Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus | |
| US10165263B2 (en) | Point spread function estimation of optics blur | |
| CN110717942A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107240082B (zh) | 一种拼接线优化方法及设备 | |
| JP2015060012A (ja) | 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム | |
| CN106447602A (zh) | 一种图像拼接方法及装置 | |
| CN110533618B (zh) | 一种镜头畸变矫正的方法和照相装置 | |
| CN114697623B (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| CN110136083A (zh) | 一种结合交互式的底图更新方法及装置 | |
| CN107871329A (zh) | 一种相机光学中心的快速标定方法及装置 | |
| CN103067671A (zh) | 一种显示图像的方法及装置 | |
| US8600157B2 (en) | Method, system and computer program product for object color correction | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| CN109087253A (zh) | 一种图像校正方法及装置 | |
| CN107645634A (zh) | 一种无畸变广角网络摄像机及安防监控系统 | |
| CN109785390B (zh) | 一种用于图像矫正的方法和装置 | |
| CN111340722B (zh) | 图像处理方法、处理装置、终端设备及可读存储介质 | |
| CN107154027B (zh) | 一种畸变图像复原的补偿方法及装置 | |
| CN109308690B (zh) | 一种图像亮度均衡方法及终端 | |
| CN110536066B (zh) | 一种全景相机拍摄方法、装置、电子设备及存储介质 | |
| CN111383184B (zh) | 图像的处理方法及装置 | |
| CN111161204B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN112150355B (zh) | 一种图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Patentee after: NEW H3C TECHNOLOGIES Co.,Ltd. Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base Patentee before: HANGZHOU H3C TECHNOLOGIES Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230607 Address after: 310052 11th Floor, 466 Changhe Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: H3C INFORMATION TECHNOLOGY Co.,Ltd. Address before: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466 Patentee before: NEW H3C TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |