CN108335273A - 大广角鱼眼全景镜头相机的畸变的实时消除方法 - Google Patents

Abstract

本发明提出了一种大广角鱼眼全景镜头相机的畸变的实时消除方法，包括：对相机进行标定，获取相机的内部参数、外部参数和畸变系数，接收所述相机拍摄的图像，作为待处理图像；利用去畸变函数对所述待处理图像进行去畸变处理；对RGB888和YUV422格式的待处理图像进行去畸变处理，处理Y分量；对YUV420，I420格式的待处理图像进行去畸变处理，处理UV分量；缩放处理；对缩放处理后的图像进行边界处理；采用多线程对边界处理后的图像进行插值处理；制作映射表；对制作的映射表采用多线程并插值处理。本发明解决视频的实时去畸变，同时支持大广角，鱼眼，全景等多种不同镜头的去畸变处理。

Description

大广角鱼眼全景镜头相机的畸变的实时消除方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种大广角鱼眼全景镜头相机的畸变的实时消除方法。

背景技术

执法记录仪作为记录执法过程的工具，被广泛应用于民警，城管的执法工作中，为了保证采集到尽可能多的内容，执法记录仪都会使用尽可能大的FOV视场角，对角线视场角要求必须要大于120度。视场角过大带来最大的问题就是会产生枕形畸变，导致图像变形。如果能在保证视场角的情况下，实时消除图像畸变就变得非常有价值。

畸变产生的原因：畸变属于成像的几何失真,它是由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形现象,这种变形的程度从画面中心至画面边缘依次递增。焦距越小，视场角就越大，畸变也就越严重。

去畸变算法是逐像素进行运算的，且有大量的浮点运算，运算量大，在1080p分辨率下很难达到实时。

如果使用DSP或FPGA做硬件加速，又会增加硬件成本，且FPGA体积过大，无法适用于小型终端设备。而使用软件去畸变，优点是易于集成，无额外硬件成本，唯一的开销就是会给处理器带来额外开销。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种大广角鱼眼全景镜头相机的畸变的实时消除方法。

为了实现上述目的，本发明一方面的实施例提供一种大广角鱼眼全景镜头相机的畸变的实时消除方法，包括如下步骤：

步骤S1，对相机进行标定，获取所述相机的额内部参数、外部参数和畸变系数，接收所述相机拍摄的图像，作为待处理图像；

步骤S2，利用去畸变函数对所述待处理图像进行去畸变处理；

步骤S3，对RGB888和YUV422格式的待处理图像进行去畸变处理，处理Y分量，与处理8bitY分量的方式一致，其中，(ix,iy)是源图像经过算法处理后的映射，表示为ptr＝src+iy*srcstep+ix；

步骤S4，对YUV420，I420格式的待处理图像进行去畸变处理，处理UV分量，一个UV分量对应上下两行相同位置的两个8bit的Y分量，表示为

ptr_uv＝src+h*dststep+iy/2*srcstep+ix/2*2；

其中，src表示去畸变之前点的位置；ptr表示去畸变后点的位置；h表示照片的高度，此处为1080；srcstep表示每一行的步长，此处为1920；dststep表示每一列的步长，此处为1；h*dststep表示从Y分量移动到切换到uv分量；ix/2*2用于防止UV的高低位反转出现反色；

步骤S5，对步骤S3和步骤S4中得到的去畸变处理后的图像进行缩放处理；

步骤S6，对缩放处理后的图像进行边界处理，以保证输出图形为矩形图像；

步骤S7，采用多线程对边界处理后的图像进行插值处理；

步骤S8，计算畸变的系数、焦距和中心位置在每一帧图像上的映射关系，制作映射表，通过查表的方式，用空间换时间，直接重新对每个像素的位置进行映射；

步骤S9，对制作的映射表采用多线程并插值处理；

步骤S10，等待各个线程处理完成后，抛出图像，继续处理下一帧到来的图像。开始新一轮的循环，直到用户手动结束。

进一步，在所述步骤S1中，将待处理图像的地址和尺寸传入步骤S2的去畸变函数进行处理。

进一步，在所述步骤S2中，对不同格式的待处理图像采用相应的去畸变处理方法：

(1)RGB888格式三个通道的颜色分量结构相同，每一个颜色分量的像素均为8bit，使用处理8bit的处理函数；

(2)YUV422格式图像中，一个8bit的UV分量对应一个8bit的Y分量，使用处理8bit的处理函数；

(3)YUV420格式图像中，一个8bit的UV分量对应上下两行相同位置的两个8bit的Y分量，Y分量的处理使用处理8bit的处理函数，UV分量使用YUV420格式UV分量的处理函数。

进一步，在步骤S5中，对去畸变后的图像进行缩放处理，包括如下步骤：

第一象限范围：(u<960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第二象限范围：(u>＝960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第三象限范围：(u<960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540+(int)((v-540)*缩放系数)

第四象限范围：(u>＝960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540+(int)((v-540)*缩放系数))。

进一步，在所述步骤S6中，对所述缩放处理后的图像进行边界处理，包括如下步骤：将缩放后图像中的多余黑边裁掉，

v>540-(int)(540/缩放系数)-2

&&v<540+(int)(540/缩放系数)

&&u>960-(int)(960/缩放系数)-1

&&u<960+(int)(960/缩放系数)+7。

进一步，在所述步骤S7中，采用最临近插值或二阶级线形插值方式。

进一步，在所述步骤S8中，制作映射表过程如下：

设图像左上角为(0,0)点，(ix,iy)是存在畸变的原图的坐标，(u,v)是做完去畸变后的坐标；乘以float型的缩放系数后得到(u0,v0)坐标系；(u0，v0)是缩放并裁剪后无畸变的新坐标系的坐标，映射表即为找到(u,v)坐标系列上的一点(ix,iy)映射到(u0,v0)坐标系上的映射关系的集合。

根据本发明实施例的大广角鱼眼全景镜头相机的畸变的实时消除方法，解决视频的实时去畸变，对角线视场角达到120度以上，1080p分辨率单帧处理时间达到20ms以内，同时支持大广角，鱼眼，全景等多种不同镜头的去畸变处理。因为是对逐个像素做映射，理论上最优情况下，可以完美的达到100％去畸变的程度。本发明在不增加任何硬件的情况下，通过软件对RGB，yuv420等格式的图像进行去畸变，缩放，裁剪，插值，裁剪处理等一系列处理，并且保证在1080p分辨率下达到30fps，对角线视场角大于120度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的大广角鱼眼全景镜头相机的畸变的实时消除方法的流程框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的大广角鱼眼全景镜头相机的畸变的实时消除方法，包括如下步骤：

步骤S1，对相机进行标定，获取相机的额内部参数、外部参数和畸变系数，接收相机拍摄的图像，作为待处理图像。

具体的，选取黄金模组,对相机进行标定，获取相机的额内部参数、外部参数和畸变系数.通过内存映射方式，获取待处理的图像，将待处理图像的地址和尺寸传入步骤S2的去畸变函数进行处理。

步骤S2，利用去畸变函数对待处理图像进行去畸变处理。

在本步骤中，对不同的格式做兼容，支持RGB888,YUV422,YUV420等常用格式的图像输入。处理不同格式的图像：YUV420的Y分量与UV分量，分别对其进行去畸变处理(RGB，YUV422,YUV420)。对不同视场角的图像使用不同的算法进行处理,对角线视场角小于180度的大广角镜头使用一套算法，鱼眼和全景镜头使用另外一套算法；其他流程完全相同，很好的做到软件的复用性。对角线视场角<180度的大广角镜头使用张正有的两步法去畸变方法。鱼眼，全景镜头使用OCamCalib方法进行去畸变。本发明不对具体的去畸变方法做探讨，仅讨论在工程上的应用，如何使去畸变处理时间达到实时。

在步骤S2中，输入图像的格式一般为RGB888或者YUV格式。其中，YUV包括YUV422，YUV420等格式。

对不同格式的待处理图像采用相应的去畸变处理方法：

(1)RGB888格式三个通道的颜色分量结构相同，每一个颜色分量的像素均为8bit，使用处理8bit的处理函数。

(2)YUV422格式图像中，一个8bit的UV分量对应一个8bit的Y分量，使用处理8bit的处理函数即可。

(3)YUV420格式图像中，一个8bit的UV分量对应上下两行相同位置的两个8bit的Y分量，Y分量的处理使用处理8bit的处理函数，UV分量使用YUV420格式UV分量的处理函数。

(ix,iy)是源图像经过算法处理后的映射，(u,v)是做完去畸变处理后的坐标系，(u0,v0)是做完缩放后的坐标系。后面的处理需要用到。

步骤S3，对RGB888和YUV422格式的待处理图像进行去畸变处理，处理Y分量，与处理8bitY分量的方式一致，其中，(ix,iy)是源图像经过算法处理后的映射，表示为ptr＝src+iy*srcstep+ix。

步骤S4，对YUV420，I420等格式的待处理图像进行去畸变处理，处理UV分量，一个UV分量对应上下两行相同位置的两个8bit的Y分量，表示为

ptr_uv＝src+h*dststep+iy/2*srcstep+ix/2*2；

其中，src表示去畸变之前点的位置；ptr表示去畸变后点的位置；h表示照片的高度，此处为1080；srcstep表示每一行的步长，此处为1920；dststep表示每一列的步长，此处为1；h*dststep表示从Y分量移动到切换到uv分量；ix/2*2用于防止UV的高低位反转出现反色。

步骤S5，对步骤S3和步骤S4中得到的去畸变处理后的图像进行缩放处理。

因为相机做完去畸变后恢复到正常后，四个边向内塌陷，会变成一个带有黑边的枕形形状。需要要注意的是，四个像限的缩放公式是不同的。

在步骤S5中，对去畸变后的图像进行缩放处理，包括如下步骤：

第一象限范围：(u<960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第二象限范围：(u>＝960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第三象限范围：(u<960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540+(int)((v-540)*缩放系数)

第四象限范围：(u>＝960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540+(int)((v-540)*缩放系数))。

步骤S6，对缩放处理后的图像进行边界处理，以保证输出图形为矩形图像。

缩放完后，要做一个裁剪操作，要在保证视场角尽可能大的情况下，将多余的黑边裁掉，保证输出图像是一个矩形。在步骤S6中，对缩放处理后的图像进行边界处理，包括如下步骤：将缩放后图像中的多余黑边裁掉，

v>540-(int)(540/缩放系数)-2

&&v<540+(int)(540/缩放系数)

&&u>960-(int)(960/缩放系数)-1

&&u<960+(int)(960/缩放系数)+7。

步骤S7，采用多线程对边界处理后的图像进行插值处理。

通过将一帧图像分为多个部分，使用多线程对单帧图像的各个部分进行处理，缩短处理时间。

在本发明的一个实施例中，使用多线程进行加速。RGB可以是3N个线程，YUV422可以是2N个线程，YUV420可以是3N个线程。

在步骤S7中，采用最临近插值或二阶级线形插值方式。这样做的话已经可以完成视频的去畸变，但因为要做大量的运算，每一帧需要处理200-300ms，远远达不到实时，这时候，就需要通过制作映射表，用空间换时间，达到缩短处理时间的目的。

步骤S8，计算畸变的系数、焦距和中心位置在每一帧图像上的映射关系，制作映射表，通过查表的方式，用空间换时间，直接重新对每个像素的位置进行映射。

制作映射表的目的：畸变的系数，焦距，中心位置，这个映射关系在每一帧图像上都是相同的，所以可以提前把这种映射关系计算出来并保存，在每一帧图像到来时查找保存的映射表即可，可以大大减少运算时间。

在步骤S8中，制作映射表过程如下：

设图像左上角为(0,0)点，(ix,iy)是存在畸变的原图的坐标，(u,v)是做完去畸变后的坐标；乘以float型的缩放系数后得到(u0,v0)坐标系；(u0，v0)是缩放并裁剪后无畸变的新坐标系的坐标，映射表即为找到(u,v)坐标系列上的一点(ix,iy)映射到(u0,v0)坐标系上的映射关系的集合。

Y分量映射表的样例如下：

UV分量映射表的样例如下：

新坐标系的第0行第0列的第一个点(u0＝0,v0＝0)对应的是原图第76行，第147列的那一个像素。

最左侧的结果为iy*1920+ix＝146067,将表中第一项的值设置为146067，即可在差表时值掉映射到之前的像素的位置。

步骤S9，对制作的映射表采用多线程并插值处理。

具体的，使用多线程进行加速。RGB可以是3N个线程，YUV422可以是2N个线程，YUV420可以是3N个线程。映射表也可以分为对应的xN份，每个线程使用一份映射表。

本步骤中，采用最临近插值或者二阶线性插值进行插值。两种插值算法二选一，用来恢复图像的平滑性。

1、最临近插值

优点：不需要额外做一次插值运算。直接在建立映射表时加一个四舍五入的floor操作即可。

缺点：边缘处会有锯齿。

2、二阶线性插值

优点：没有锯齿，效果更好。

缺点：在查表后还要额外做一次运算，会延长图像处理时间。

步骤S10，等待各个线程处理完成后，抛出图像，继续处理下一帧到来的图像。开始新一轮的循环，直到用户手动结束。

根据本发明实施例的大广角鱼眼全景镜头相机的畸变的实时消除方法，解决视频的实时去畸变，对角线视场角达到120度以上，1080p分辨率单帧处理时间达到20ms以内，同时支持大广角，鱼眼，全景等多种不同镜头的去畸变处理。因为是对逐个像素做映射，理论上最优情况下，可以完美的达到100％去畸变的程度。本发明在不增加任何硬件的情况下，通过软件对RGB，yuv420等格式的图像进行去畸变，缩放，裁剪，插值，裁剪处理等一系列处理，并且保证在1080p分辨率下达到30fps，对角线视场角大于120度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，包括如下步骤：

步骤S1，对相机进行标定，获取所述相机的额内部参数、外部参数和畸变系数，接收所述相机拍摄的图像，作为待处理图像；

步骤S2，利用去畸变函数对所述待处理图像进行去畸变处理；

步骤S3，对RGB888和YUV422格式的待处理图像进行去畸变处理，处理Y分量，与处理8bitY分量的方式一致，其中，(ix,iy)是源图像经过算法处理后的映射，表示为ptr＝src+iy*srcstep+ix；

步骤S4，对YUV420，I420格式的待处理图像进行去畸变处理，处理UV分量，一个UV分量对应上下两行相同位置的两个8bit的Y分量，表示为

ptr_uv＝src+h*dststep+iy/2*srcstep+ix/2*2；

其中，src表示去畸变之前点的位置；ptr表示去畸变后点的位置；h表示照片的高度；srcstep表示每一行的步长；dststep表示每一列的步长；h*dststep表示从Y分量移动到切换到uv分量；ix/2*2用于防止UV的高低位反转出现反色；

步骤S5，对步骤S3和步骤S4中得到的去畸变处理后的图像进行缩放处理；

步骤S6，对缩放处理后的图像进行边界处理，以保证输出图形为矩形图像；

步骤S7，采用多线程对边界处理后的图像进行插值处理；

步骤S8，计算畸变的系数、焦距和中心位置在每一帧图像上的映射关系，制作映射表，通过查表的方式，用空间换时间，直接重新对每个像素的位置进行映射；

步骤S9，对制作的映射表采用多线程并插值处理；

步骤S10，等待各个线程处理完成后，抛出图像，继续处理下一帧到来的图像。开始新一轮的循环，直到用户手动结束。

2.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在所述步骤S1中，将待处理图像的地址和尺寸传入步骤S2的去畸变函数进行处理。

3.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在所述步骤S2中，对不同格式的待处理图像采用相应的去畸变处理方法：

(1)RGB888格式三个通道的颜色分量结构相同，每一个颜色分量的像素均为8bit，使用处理8bit的处理函数；

(2)YUV422格式图像中，一个8bit的UV分量对应一个8bit的Y分量，使用处理8bit的处理函数；

(3)YUV420格式图像中，一个8bit的UV分量对应上下两行相同位置的两个8bit的Y分量，Y分量的处理使用处理8bit的处理函数，UV分量使用YUV420格式UV分量的处理函数。

4.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在步骤S5中，对去畸变后的图像进行缩放处理，包括如下步骤：

第一象限范围：(u<960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第二象限范围：(u>＝960&&v<540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540-(int)((540-v)*缩放系数))

第三象限范围：(u<960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960-(960-u)*缩放系数),v0＝(540+(int)((v-540)*缩放系数)

第四象限范围：(u>＝960&&v>＝540):

(u,v)->(u0,v0)的关系为:

u0＝(int)(960+(u-960)*缩放系数),v0＝(540+(int)((v-540)*缩放系数))。

5.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在所述步骤S6中，对所述缩放处理后的图像进行边界处理，包括如下步骤：将缩放后图像中的多余黑边裁掉，

v>540-(int)(540/缩放系数)-2

&&v<540+(int)(540/缩放系数)

&&u>960-(int)(960/缩放系数)-1

&&u<960+(int)(960/缩放系数)+7。

6.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在所述步骤S7中，采用最临近插值或二阶级线形插值方式。

7.如权利要求1所述的大广角鱼眼全景镜头相机的畸变的实时消除方法，其特征在于，在所述步骤S8中，制作映射表过程如下：

设图像左上角为(0,0)点，(ix,iy)是存在畸变的原图的坐标，(u,v)是做完去畸变后的坐标；乘以float型的缩放系数后得到(u0,v0)坐标系；(u0，v0)是缩放并裁剪后无畸变的新坐标系的坐标，映射表即为找到(u,v)坐标系列上的一点(ix,iy)映射到(u0,v0)坐标系上的映射关系的集合。