CN104732542B - 基于多摄像头自标定的全景车辆安全系统的图像处理方法 - Google Patents

Abstract

本发明公开了一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，包括自动识别、自动矫正、自动转化视角和自动转化拼接图像。对采集的图像进行标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息。建立畸变模型，迭代畸变参数，得到畸变矫正图。对畸变矫正图进行仿射变换，得到转换视角后的图像。对多个摄像头采集的图像并采用编码点标记，对多个摄像头采集的图像进行拼接整合。本发明相比现有技术具有以下优点：本发明的一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，支持任意多摄像头的拼接，且拼接方便快捷，用户只需要输入摄像头数目，配合使用标定布，全自动拼接全景图像。

Description

基于多摄像头自标定的全景车辆安全系统的图像处理方法

技术领域

本发明涉及汽车电子技术领域，尤其涉及的是一种基于多摄像头自标定的全景车辆安全系统的图像处理方法。

背景技术

随着电子信息产业的发展和技术进步，能够获取、记录视频信息的设备日益普及，但与人眼的视场范围相比，普通摄像机的视场要小得多，如何有效的利用计算机扩大摄像机拍摄图像和视频的视场范围，引起了研究者的广泛注意。图像拼接技术可以解决由于摄像机等成像仪器的视角和大小的限制。所谓图像拼接是通过对齐一系列空间重叠的图像，构造一个无缝的、高清晰的宽视角图像或者360度视角的全景技术。目前传统的图像拼接方式是图像配准和图像融合，但是其图像拼接的过程中会极易出现图像的光强度不连续或者运动物体的重复性，难以形成完整的无缝大视场图像。

专利申请文件CN201210042180中采用张正友方法进行各个摄像头的畸变矫正，此方法需标定的参数较多，对于一般的处理器迭代计算任务耗时过久。故本专利采用较简单有效的畸变模型。且其仿射变换中，需要代入摄像头安装时的俯仰角，高度等信息，过程繁琐。

专利申请文件CN201310276688只提出了一种新的拼接方法未做出一个用户体验系统，其使用的黑白网格拼接法与本专利不同。且接缝处采用权重拼接的方法，此方法在图像拼接本身就不准确的情况下，无法做到无缝拼接，只是弱化缝隙，不能做到无盲区。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种基于多摄像头自标定的全景车辆安全系统的图像处理方法。

本发明是通过以下技术方案实现的：基于多摄像头自标定的全景车辆安全系统的图像处理方法，其特征在于：

S1、在车辆的四周安装至少四个视场角不小于185度的185度广角鱼眼摄像头，采集车辆四周的图像；

S2、自动识别：自动连接步骤S1中的一个摄像头采集图像，并对采集的图像进行标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息；

S3、自动矫正：对步骤S2边缘检测后的图像进行畸变矫正，根据采集图像中的角点位置，迭代畸变参数，完成鱼眼镜头图像的校正，得到畸变矫正图；

S4、自动转化视角：对畸变矫正图进行仿射变换，根据实际中编码点相隔位置以及图像中编码点位置像素位置，确定仿射变换矩阵，通过仿射变换矩阵转换原图像，得到转换视角后的图像；

S5、判断是否采集所有摄像头拍摄图像，若是，进入步骤S6；若否，返回步骤S2；

S6、自动转化拼接图像：对多个摄像头采集的图像经步骤S2-S4变换处理后，确定图像的关键点，并采用编码点标记，将转换视角后的图像中的编码点与程序预存编码点顺序对比，对多个摄像头采集的图像进行拼接整合。

作为上述方案的进一步优化，所述步骤S2具体为：

S21、对图像进行灰度化处理并进行高斯滤波，把彩色图像变为灰度图像并过滤噪音，取3*3像素的滤波模板；

S22、对步骤S31高斯滤波处理后的图像，进行局部非极大值抑制，取3*3像素窗口进行抑制运算；

S23、对步骤S32非极大值抑制运算处理后的图像，采用双阀值算法检测和连接边缘，设置阀值为th1、th2，且th1＝t*th2，t的取值范围在0.2-0.6之间，设梯度值小于th1的像素的灰度值为0，得到图像A,在把梯度值小于th2的像素的灰度值为0，得到图像B，以图像B为基础，以图像A为补充连接图像边缘。

作为上述方案的进一步优化，所述步骤S3具体为：

S31、以图像左上定点为原点的图像坐标系，确定新观测视角的每一点的像素点坐标(u_s,v_s)与原图像中每一点的像素点坐标(u_d,v_d) 的对应关系为： 其中，图像畸变中心坐标为常数 (Uc，Vc)，k为畸变系数；

S32、结合步骤S2的标定布识别，自动识别到的标定布边缘由i 条直线组成，每条直线上取j个像素点，来进行计算，利用识别的标定布的直线约束关系得到第i条直线方程：

其中，为矫正后的图像上第i条直线上第j个角点坐标，b_i、c_i为常数；

S33、把(1)、(2)式代入(3)，并化简得：

取目标函数：

作为上述方案的进一步优化，所述步骤S3得到的目标函数使用 L-M法迭代之，当F(x)最小时，得到了最优解，具体步骤为：

(41)初始化：k＝0,v＝2,x＝x₀,A＝J(x)^TJ(x),g＝J(x)^Tf(x),μ＝max{a_ii}，其中，v，μ为迭代参数，

J(x)为f(x)的雅克比行列式，a_ii为J(x)矩阵的对角线元素，迭代初始值

x₀＝[b₁₀ c₁₀ b₂₀ c₂₀.....b_n0 c_n0 u_c v_c k]^T；

(42)迭代循环：e＝e+1，其中，e为迭代次数；

(43)判断当前迭代次数是否满足：e＜e_max，其中，e_max为最大迭代次数，若e＜e_max，导出最优解；若当前迭代次数不满足e＜e_max，进入步骤(44)，

(44)令(A+μI)h_lm＝-g，得到h_lm，其中I为单位矩阵，||h_lm||_∞、||g||_∞表示h_lm、g的行和范数，且其中g＝F'(x)＝J(x)^Tf(x)；

(44)判断是否满足||h_lm||_∞≤ε₂(||x||+ε₂)，若满足，进入步骤(47)；若不满足，进入步骤(45)；

(45)令x_new＝x+h_lm,ρ＝(F(x)-F(x_new))/(L(0)-L(h_lm))，判断ρ是否满足ρ＞0，若满足，迭代循环：μ＝μ*v,v＝2*v，并返回步骤(42)；若不满足，进入步骤(46)；

(46)令x＝x_new,A＝J(x)^TJ(x),g＝J(x)^Tf(x)，判断是否满足||g||_∞≤ε₁，若满足进入步骤(47)，若不满足，迭代循环：并返回步骤(42)

(47)迭代结束，得最优解。

本发明相比现有技术具有以下优点：本发明的一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，基于一种可拓展的多个摄像头的全自动拼接算法，保证无盲区的最小摄像头数目以上，支持任意多摄像头的拼接。且拼接方便快捷，用户只需要输入摄像头数目，配合使用标定布，即可由系统全自动拼接全景图像。

附图说明

图1是本发明的基于多摄像头自标定的全景车辆安全系统的图像处理方法的流程图。

图2是本发明的基于多摄像头自标定的全景车辆安全系统的图像处理方法的畸变模型的算法流程图。

图3是本发明的优选实施例的摄像头采集图像范围示意图。

图4是本发明采用的编码点图案示意图。

图5-1和图5-2为本发明采用的canny边缘检测方法检测的实施例的效果图。

图6-1和图6-2为采用本发明方法的L-M法的实施例的矫正效果图。

图7-1和图7-2为采用本发明方法的仿射变换的实施例的效果图。

图8为本发明的优选实施例的四轮汽车的编码点摆放位置的示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

参见图1为本发明的基于多摄像头自标定的全景车辆安全系统的图像处理方法的流程图，基于多摄像头自标定的全景车辆安全系统的图像处理方法，具体包括如下步骤：

S1、在车辆的四周安装至少四个185度广角鱼眼摄像头，采集车辆四周的图像；

S2、自动识别：自动连接步骤S1中的一个摄像头采集图像，并对采集的图像进行标定布识别，，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息；

S3、自动矫正：对步骤S2边缘检测后的图像进行畸变矫正，根据采集图像中的角点位置，迭代畸变参数，完成鱼眼镜头图像的校正，得到畸变矫正图；

S4、自动转化视角：对畸变矫正图进行仿射变换，根据实际中编码点相隔位置以及图像中编码点位置像素位置，确定仿射变换矩阵，通过仿射变换矩阵转换原图像，得到转换视角后的图像；

S5、判断是否采集所有摄像头拍摄图像，若是，进入步骤S6；若否，返回步骤S2；

S6、自动转化拼接图像：对多个摄像头采集的图像经步骤S2-S4变换处理后，确定图像的关键点，并采用编码点标记，将转换视角后的图像中的编码点与程序预存编码点顺序对比，对多个摄像头采集的图像进行拼接整合。

参见图3，为本发明的优选实施例的摄像头采集图像范围示意图。本实施例中以四轮汽车的前后左右分别配置四个185度广角鱼眼摄像头，采集车辆四周的图像。在车身前后左右安装四个185度广角鱼眼摄像头，同时采集车辆四周的影像，摄像头需选择合适的角度，左右视野范围在4米以外，前后视野范围能看到地平线。因采用180度广角鱼眼镜头，从根本上杜绝了此系统的盲区，使驾驶员能够实时完全掌握车身周边路况。

其中，自动识别具体包括如下步骤

S21、对图像进行灰度化处理并进行高斯滤波，把彩色图像变为灰度图像并过滤噪音，取3*3像素的滤波模板；

S22、对步骤S31高斯滤波处理后的图像，进行局部非极大值抑制，取3*3像素窗口进行抑制运算；

S23、对步骤S32非极大值抑制运算处理后的图像，采用双阀值算法检测和连接边缘，设置阀值为th1、th2，且th1＝t*th2，t的取值范围在0.2-0.6之间设梯度值小于th1的像素的灰度值为0，得到图像A,在把梯度值小于th2的像素的灰度值为0，得到图像B，以图像B为基础，以图像A为补充连接图像边缘。

链接图像边缘的具体步骤如下：对图像B进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)。考察图像A 中与图像B 中q(x,y)点位置对应的点s(x,y)的8邻近区域。如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像B中，作为r(x,y)点。从 r(x,y)开始，重复第一步，直到我们在图像A和图像B中都无法继续为止。当完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问。回到第一步，寻找下一条轮廓线。重复第一步、

第二步、第三步，直到图像B中找不到新轮廓线为止。根据本发明的发明处理方法自动识别，对采集的图像进行标定布识别，利用 canny算子，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息，标识前后效果图分别参见图5-1和图5-2。

其中，自动矫正的具体步骤为：

S31、以图像左上定点为原点的图像坐标系，确定新观测视角的每一点的像素点坐标(u_s,v_s)与原图像中每一点的像素点坐标(u_d,v_d) 的对应关系为： 其中，图像畸变中心坐标为常数 (u_c，v_c)，k为畸变系数；

S32、结合步骤S2的标定布识别，自动识别到的标定布边缘由i 条直线组成，每条直线上取j个像素点，来进行计算，利用识别的标定布的直线约束关系得到第i条直线方程：

其中，为矫正后的图像上第i条直线上第j个角点坐标，b_i、c_i为常数；

S33、把(1)、(2)式代入(3)，并化简得：

取目标函数：

每条直线的未知数为2个，另有未知数u_c，v_c，k，则未知数为 2*n+3。则可列方程为m*n个。

当2*n+3<m*n时，为超静定问题，方程组有一个最优解。而当m>4， n>2时2*n+3<m*n满足

对上述畸变模型使用L-M法迭代之，当F(x)最小时，得到了最优解，参见图2，图2为本发明的基于多摄像头自标定的全景车辆安全系统的图像处理方法的畸变模型的算法流程图。L-M法迭算法的具体步骤为：

(41)初始化：k＝0,v＝2,x＝x₀,A＝J(x)^TJ(x),g＝J(x)^Tf(x),μ＝max{a_ii}，其中，v，μ为迭代参数，

为f(x)的雅克比行列式，a_ii为J(x)矩阵的对角线元素，迭代初始值

x₀＝[b₁₀ c₁₀ b₂₀ c₂₀.....b_n0 c_n0 u_c v_c k]^T；

(42)迭代循环：e＝e+1，其中，e为迭代次数；

(43)判断当前迭代次数是否满足：e＜e_max，其中，e_max为最大迭代次数，若e＜e_max，导出最优解；若当前迭代次数不满足e＜e_max，进入步骤(44)，

(44)令(A+μI)h_lm＝-g，得到h_lm，其中I为单位矩阵，||h_lm||_∞、||g||_∞表示h_lm、g的行和范数，且其中g＝F'(x)＝J(x)^Tf(x)；

(44)判断是否满足||h_lm||_∞≤ε₂(||x||+ε₂)，若满足，进入步骤(47)；若不满足，进入步骤(45)；

(45)令x_new＝x+h_lm,ρ＝(F(x)-F(x_new))/(L(0)-L(h_lm))，判断ρ是否满足ρ＞0，若满足，迭代循环：μ＝μ*v,v＝2*v，并返回步骤(42)；若不满足，进入步骤(46)；

(46)令x＝x_new,A＝J(x)^TJ(x),g＝J(x)^Tf(x)，判断是否满足||g||_∞≤ε₁，若满足进入步骤(47)，若不满足，迭代循环：并返回步骤(42)

(47)迭代结束，得最优解。按上流程迭代，直到满足终止迭代条件。使用本发明的方法的实施例的矫正前后效果图分别参见图6-1和图 6-2。

自动转化视角步骤中，本实施例根据原图像中的4个像素点及转变后对应的4个点在目标图中的像素坐标，可确定仿射变换的矩阵。通过此矩阵转换原图像，得到转换视角后的图像。转换矩阵 A：

其中，x[1]，x[2]，x[3]，x[4]为矫正后摄像头图片的像素坐标系中的4个点的x坐标，y[1]，y[2]，y[3]，y[4]为矫正后摄像头图片的像素坐标系中的4个点的y坐标。X[1]，X[2]，X[3]，X[4]为拼接目标图片的像素坐标系中的4个点的x坐标，Y[1]，Y[2]，Y[3]，Y[4]为拼接目标图片的像素坐标系中的4个点的y坐标。其中，X，Y像素值需根据显示图像大小自己设定。

根据4标记点位置得到此矩阵后，将原图像转换为拼接图像。

定义：

B＝[[X[1] Y[1] X[2] Y[2] X[3] Y[3] X[4] Y[4]]^T

fa＝inv[A]*B；

其中，(x，y)为原矫正图像坐标系中的坐标，(X，Y)为拼接图像坐标系中的坐标。Inv[A]为矩阵A的逆矩阵。根据该方法的实施例的变换视角前后效果图分别参见图7-1和图7-2。

自动转化拼接图像步骤中，根据相邻两个摄像头视野中的共同点来进行拼接。确定图像范围的关键点采用编码点进行标记。图像采集后摄像头会自动识别编码点信息，进行多个摄像头的拼接匹配。本实施例根据图4的编码规则编码。

图8为本发明的优选实施例的四轮汽车的编码点摆放位置的示意图。本实施例的只需在标定布对应位置贴上相应编码点，系统可自动完成编码点识别拼接工作。本发明方法可支持任意摄像头的扩展。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于多摄像头自标定的全景车辆安全系统的图像处理方法，其特征在于：

S1、在车辆的四周安装至少四个视场角不小于185度的广角鱼眼摄像头，采集车辆四周的图像；

S2、自动识别：自动连接步骤S1中的一个摄像头采集图像，并对采集的图像进行标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息；

S3、自动矫正：对步骤S2边缘检测后的图像进行畸变矫正，根据采集图像中的角点位置，建立畸变模型，迭代畸变参数，完成鱼眼镜头图像的校正，得到畸变矫正图；

S4、自动转化视角：对畸变矫正图进行仿射变换，根据实际中编码点相隔位置以及图像中编码点位置像素位置，确定仿射变换矩阵，通过仿射变换矩阵转换原图像，得到转换视角后的图像；

S5、判断是否采集所有摄像头拍摄图像，若是，进入步骤S6；若否，返回步骤S2；

S6、自动转化拼接图像：对多个摄像头采集的图像经步骤S2-S4变换处理后，确定图像的关键点，并采用编码点标记，将转换视角后的图像中的编码点与程序预存编码点顺序对比，对多个摄像头采集的图像进行拼接整合；

所述步骤S2具体为：

S21、对图像进行灰度化处理并进行高斯滤波，把彩色图像变为灰度图像并过滤噪音，取3*3像素的滤波模板；

S22、对步骤S21高斯滤波处理后的图像，进行局部非极大值抑制，取3*3像素窗口进行抑制运算；

S23、对步骤S22非极大值抑制运算处理后的图像，采用双阀值算法检测和连接边缘，设置阀值为th1、th2，且th1＝0.4th2，设梯度值小于th1的像素的灰度值为0，得到图像A,在把梯度值小于th2的像素的灰度值为0，得到图像B，以图像B为基础，以图像A为补充连接图像边缘；

所述步骤S3具体为：

S31、以图像左上定点为原点的图像坐标系，确定新观测视角的每一点的像素点坐标(u_s,v_s)与原图像中每一点的像素点坐标(u_d,v_d)的对应关系为：

其中，图像畸变中心坐标为常数(u_c，v_c)，k为畸变系数；

S32、结合步骤S2的标定布识别，自动识别到的标定布边缘由i条直线组成，每条直线上取j个像素点，来进行计算，利用识别的标定布的直线约束关系得到第i条直线方程：

其中，为矫正后的图像上第i条直线上第j个角点坐标，b_i、c_i为常数；

S33、把(1)、(2)式代入(3)，并化简得：

取目标函数：

2.根据权利要求1所述的基于多摄像头自标定的全景车辆安全系统的图像处理方法，其特征在于：所述步骤S3得到的目标函数使用L-M法迭代之，当F(x)最小时，得到了最优解，具体步骤为：

(41)初始化：k＝0,v＝2,x＝x₀,A＝J(x)^TJ(x),g＝J(x)^Tf(x),μ＝max{a_ii}，其中，v，μ为迭代参数，

为f(x)的雅克比行列式，a_ii为J(x)矩阵的对角线元素，迭代初始值

x₀＝[b₁₀ c₁₀ b₂₀ c₂₀ ..... b_n0 c_n0 u_c v_c k]^T；

(42)迭代循环：e＝e+1，其中，e为迭代次数；

(43)判断当前迭代次数是否满足：e<e_max，其中，e_max为最大迭代次数，若e<e_max，导出最优解；若当前迭代次数不满足e<e_max，进入步骤(44)，

(44)令(A+μI)h_lm＝-g，得到h_lm，其中I为单位矩阵，||h_lm||_∞、||g||_∞表示h_lm、g的行和范数，且其中g＝F'(x)＝J(x)^Tf(x)；

(44)判断是否满足||h_lm||_∞≤ε₂(||x||+ε₂)，若满足，进入步骤(47)；若不满足，进入步骤(45)；

(45)令x_new＝x+h_lm,ρ＝(F(x)-F(x_new))/(L(0)-L(h_lm))，判断ρ是否满足ρ>0，若满足，迭代循环：μ＝μ*v,v＝2*v，并返回步骤(42)；若不满足，进入步骤(46)；

(46)令x＝x_new,A＝J(x)^TJ(x),g＝J(x)^Tf(x)，判断是否满足||g||_∞≤ε₁，若满足进入步骤(47)，若不满足，迭代循环：并返回步骤(42)

(47)迭代结束，得最优解。