CN106204416A - 全景泊车辅助系统及其广角图像调试方法和装置 - Google Patents

Abstract

提供全景泊车辅助系统的广角图像调试方法及装置，包括：获取调试模板特征点的世界坐标；获取广角摄像头采集的调试模板特征点的图像数据，图像数据至少包括调试模板特征点在采集图像中的理论坐标值；根据获取的调试模板特征点的图像数据建立特征点的图像观测值与内、外参数集之间的观测模型；计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。由于采用了内、外参数集建立特征点观测模型，在优化迭代时，可以同时对内、外参数进行优化，从而避免了在调试过程中，因内参输入错误而导致的调试错误。

Description

全景泊车辅助系统及其广角图像调试方法和装置

技术领域

本发明涉及视频图像处理领域，具体涉及一种全景泊车辅助系统及其广角图像调试方法和装置。

背景技术

全景泊车辅助系统，又称360度全景辅助系统，主要采用安装在车身前后左右四个方向的超广角摄像头进行图像采集，并通过对摄像头采集的图像去畸变及拼接后，展现出效果上相当于从车顶俯视车身周边的全景图。

全景图的拼接需要两个参数：摄像头的内参和外参。内参反映的是摄像头本身的特性，通过内参的调整能够去除摄像头本身的畸变，其主要包括焦距，中心点，以及畸变参数(包括k₁、k₂、k₃、k₄等，通常用于对图像进行建模)；外参反映的是摄像头在汽车所处三维世界坐标的位置关系，通过摄像头外参，能够将四个摄像头中的图片，拼接成一个完整的360度全景图，其主要包括平移向量和旋转向量

当前市面上针车载鱼眼摄像头的标定主流的有两步法和一步法。两步法标定过程分两步，分别为内参标定和外参标定，其中内参标定主要在出厂前完成，而外参标定一般在现场装车后进行。两步法的缺点是，需要对摄像头进行工厂定参，并对摄像头编号管理和标定，标定完成后需要对参数进行管理以及拷贝或传输，现场安装时需要根据摄像头编号导入参数。此方法成本高，效率低，且容易出错。

一步法主要是安装后，通过铺设特定的调试布，实现内外参的一次调试。而当前一步调试由于采用的模板过于简单，需要使用键盘和屏幕交互，并由现场调试人员完成特征点的标定，耗时较长，不利于自动化批量生产。

发明内容

本申请提供一种全景泊车辅助系统及其广角图像调试方法和装置，以实现同时优化调试广角图像内、外参数集。

根据第一方面，一种实施例中提供一种全景泊车辅助系统的广角图像调试方法，包括：

世界坐标获取步骤，获取调试模板特征点的世界坐标；采集数据获取步骤，获取广角采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立步骤，根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

根据第二方面，一种实施例中提供一种全景泊车辅助系统的广角图像调试装置，包括：

世界坐标获取模块，用于获取调试模板特征点的世界坐标；采集数据获取模块，用于获取广角采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立模块，用于根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化模块，用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

根据第三方面，一种实施例中提供一种全景泊车辅助系统，包括：上述广角图像调试装置。

依据上述实施例的全景泊车辅助系统的广角图像调试方法，由于采用了内、外参数集建立特征点观测模型，在优化迭代时，可以同时对内、外参数进行优化，从而避免了在调试过程中，因内参输入错误而导致的调试错误。

附图说明

图1为本实施例全景泊车辅助系统示意图；

图2为本实施例公开的一种广角图像调试装置示意图；

图3为一种实施例的一种观测模型建立模块示意图；

图4为一种实施例的一种迭代优化模块示意图；

图5为本实施例公开的一种广角图像调试方法流程图；

图6为本实施例广角摄像头采集的调试模板示意图；

图7为广角摄像头采集图像畸变原理图；

图8为本实施例公开的一种迭代优化流程图；

图9为本实施例迭代优化后的效果示意图。

具体实施方式

请参考图1，为一种全景泊车辅助系统示意图，由于全景泊车辅助系统采用的是广角摄像头，其采集的图像会发生畸变，因此需要对广角摄像头采集的图像数据进行调试，得到校正参数，以实现畸变图像的校正。在对全景泊车辅助系统进行调试过程中，通常会在铺设调试模板，例如图1所示的在车身四周摄像头正下方铺设调试模板A(5x7棋盘格)，在摄像头公共区域铺设调试模板B(3x3棋盘格)，而后由摄像头采集调试模板(包括A和B)的图像数据，调试系统将调试模板的世界坐标映射到调试模板的采集图像中得到调试模板的观测值；采集调试模板的图像数据，得到特征点的实际坐标(即理论坐标值)，根据调试模板的观测值与实际的理论坐标值进行比对来对调试校正参数进行优化。

请参考图2，为本实施例公开的一种全景泊车辅助系统的广角图像调试装置，包括：世界坐标获取模块1、采集数据获取模块2、观测模型建立模块3和迭代优化模块4，其中，世界坐标获取模块1用于获取调试模板特征点的世界坐标；采集数据获取模块2用于获取广角摄像头采集的调试模板特征点的图像数据，其中，图像数据至少包括调试模板特征点在采集图像中的理论坐标值；观测模型建立模块3用于根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；迭代优化模块4用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

在具体实施例中，请参考图3，观测模型建立模块3包括：初始化单元31和建立单元32，其中，初始化单元31用于将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参；建立单元32根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。

在具体实施例中，迭代优化模块4包括：迭代增量计算单元41和观测模型更新单元42，其中，迭代增量计算单元41用于根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；观测模型更新单元42用于将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型。在一种实施例中，迭代增量计算单元41用于根据如下公式计算迭代增量：Δx_i＝(J^TJ)^-1J^Tε_i，其中，Δx_i为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，ε_i为当前次特征点的图像观测值与理论坐标值之间的误差；在另一种实施例中，迭代增量计算单元41用于根据如下公式计算迭代增量：Δx_i＝(J^TJ+μI)^-1J^Tε_i，其中，Δx_i为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，ε_i为当前次特征点的图像观测值与理论坐标值之间的误差。

基于上述实施例公开的全景泊车辅助系统的广角图像调试装置，本实施例还公开了一种全景泊车辅助系统的广角图像调试方法，请参考图5，为本实施例全景泊车辅助系统的广角图像调试方法流程图，具体方法包括如下步骤：

步骤100、世界坐标获取。获取调试模板特征点的世界坐标。请参考图1，在对全景泊车辅助系统进行调试过程中，需要在车身四周摄像头正下方铺设调试模板A(5x7棋盘格)，在摄像头公共区域铺设调试模板B(3x3棋盘格)，并获取调试模板特征点的世界坐标。一般而言，调试模板为黑白间隔的棋盘格，本实施例中，将黑格(当然也可以是黑格的角点)作为调试模板的特征点。在其它实施例中，也可以是白格或者白格的角点。

步骤200、采集数据获取。获取广角摄像头采集的调试模板特征点的图像数据，其中，图像数据至少包括调试模板特征点在采集图像中的理论坐标值。请参考图6，为本实施例广角摄像头采集的调试模板示意图，由图6可知，由于摄像头采用的是广角摄像头，因此，采集到的图像会发生畸变。

步骤300、观测模型建立。根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型。在本实施例中，在步骤100获取到调试模板特征点的世界坐标后，根据广角摄像头的内、外参数集来建立观测模型，其中，内参为摄像头自身所引起畸变的参数，例如：焦距包括横向焦距F_x和纵向焦距F_y；中心点包括横向中心点C_x和纵向中心点C_y；以及用于建模的畸变参数等。外参为世界平面坐标系映射到摄像头采集图像平面坐标系的所需要进行的坐标转换参数，转换过程通常包括坐标系的平移和旋转，因此，外参包括如齐次坐标坐标系之间的平移向量和旋转向量

在具体实施例中，可以将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参，如平移向量和旋转向量请参考图7，调试模板特征点P_a在经透镜折射至采集平面后，会发生位置的变更，在采集平面上如P′_c所示，调试模板特征点P_a经透镜折射至采集图像中的理论位置如P′_c所示，该P′_c的坐标值为特征点P_a经透镜折射至采集图像中的理论坐标值；P_c为观测模型所输出的特征点，即P_c由世界坐标特征点P_a通过观测模型映射到采集图像平面坐标所得到的，在本实施例中，P_c的坐标值为特征点P_a图像观测值；为了将调试模板特征点P_a映射至采集平面的理论位置P′_c，需要对世界坐标中调试模板特征点P_a进行相应的平移和旋转，由此可以得到各特征点平移和旋转所采用的平移向量和旋转向量

根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。预设内参可以根据广角摄像头所采用的具体透镜类型或者经验确定，请参考图7，调试模板特征点P_a在经透镜折射至采集平面点P_c后，例如可以根据折射角θ_d与入射角θ之间的关系建立观测模型来得到畸变参数一种实施例中，可以采用如下公式来确定畸变参数

θ_d＝θ*(1+k₁*θ²+k₂*θ⁴+k₃*θ⁶+k₄*θ⁸)

其中，其中入射角θ＝arctan(r/d)，r为调试模板特征点P_a到中心点的水平距离，d为世界平面到透镜所在平面的距离，k₁、k₂、k₃和k₄为畸变参数在具体实施例中，畸变参数可以根据需要进行增减参数的个数。在一种实施例中，透镜的内参焦距和中心点可以通过系统预设。

在获得内、外参数集之后，便可以建立各特征点的图像观测模型f_i(x)，其中，f_i(x)为第i个特征点的观测值，x为内、外参数集，包括：畸变参数如k₁、k₂、k₃和k₄；横向焦距F_x和纵向焦距F_y；横向中心点C_x和纵向中心点C_y；以及平移向量和旋转向量

步骤400、迭代优化。计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。在经步骤300建立图像观测模型f_i(x)后，根据图像观测模型f_i(x)可以得到第i个特征点映射到采集平面的观测值，将该观测值与该特征点在采集平面的理论坐标值作差，可以得到该特征点的观测误差其中，为第i个特征点第j次观测误差。判断是否小于预设的阈值，当小于预设阈值时，则可输出当前次观测的内、外参数集x^j，其中，x^j为第j次观测时的内、外参数集；当大于预设阈值时，则说明观测的误差较大，需要对内、外参数集x进行迭代优化，直到小于预设阈值，输出对应的内、外参数集x^j，即为优化后的内、外参数集。

在具体实施例中，可以使用高斯-牛顿迭代法，迭代优化内、外参数集x^j，求得所有内、外参数，具体地，请参考图8，迭代优化过程可以包括：

步骤410、迭代增量计算。根据当前次特征点的图像观测值与该特征点理论坐标值y′_c之间的误差得到当前次内、外参的迭代增量。

请参考图7，如特征点P_a在映射至采集平面时，其采集平面的理论坐标为y'_c，于是可以得到该特征点当前次(第j次)观测误差各特征点当前次观测误差集合构成了当前次各特征点的观测误差集合ε^j。

而后，再使用SVD分解和伪逆矩阵的求解法，得出所有内外参数当前次的高斯-牛顿法迭代增量Δx^j。可以首先求得当前次观测模型对内、外参集的雅可比导数矩阵J，具体地，可以采用如下公式求取雅可比导数矩阵J：

$J=\left[\begin{array}{c}\frac{{\∂f}_1}{{\∂x}_1}\·\·\·\·\·\·\·\frac{{\∂f}_1}{{\∂x}_m}\\ ......\\ \frac{{\∂f}_n}{{\∂x}_1}\·\·\·\·\·\·\frac{{\∂f}_n}{{\∂x}_m}\end{array}\right]---\left(1\right)$

其中，x₁……x_m为内、外参集中的各个参数，f₁……f_n分别为第1至n个特征点的观测模型。

在利用(1)求得雅可比导数矩阵J后，可采用如下公式计算高斯-牛顿法迭代增量Δx^j：

Δx^j＝(J^TJ)^-1J^Tε^j (2)

其中，J为雅可比导数矩阵J的转置矩阵，Δx^j为各内、外参集中各参数第j次迭代后的高斯-牛顿法迭代增量集合。

需要说明的是，在优选的实施例中，为了避免在迭代过程中，内、外参数收敛太快出现病态矩阵，可以在高斯-牛顿下降因子上加入阻尼系数，一种方法为Levenberg-Marquardt法，简称LM法，具体为，在高斯牛顿增量公式(2)上增加阻尼因子μ，得到新的增量公式：Δx^j＝(J^TJ+μI)^-1J^Tε^j，其中，Δx^j为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，ε^j为当前次特征点的图像观测值与理论坐标值之间的误差，j为迭代次数。

步骤420、观测模型更新。将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型。将公式(2)求得的高斯-牛顿法迭代增量Δx^j与第j次内、外参集x^j相加，即可得到下一次迭代的输入内、外参集x^j+1，于是完成了观测模型f^j+1(x)的更新。

步骤430、计算下一次特征点误差。根据更新后的观测模型计算下一次(第j+1次)特征点的图像观测值与理论坐标值之间的观测误差ε^j+1，具体的计算方式可参见步骤410，在此不再赘述。并判断观测误差ε^j+1是否小于预设阈值c。

如果判断结果为观测误差ε^j+1小于预设阈值c，则说明当前的精度达到要求，于是可以输出步骤420求得的内、外参集x^j+1，该参数集即为优化后的内、外参数集；

如果判断结果为观测误差ε^j+1大于预设阈值c，则说明当前的精度未达到要求，需要返回步骤410进行再次的迭代优化误差。

请参考图9，为本实施例迭代优化后的效果示意图，图9表明，依据上述实施例提供的调试方法，能够有效地去除广角摄像头采集图像所带来的畸变，并且也能够同时调试内、外参数。

本实施例的调试方法，通过在摄像头照射公共区域放置调试模板，并获取调试模板的特征点，而后得到观测模型，可以免除厂家对摄像头参数的管理，简化调试人员的人机交互，适应性强，现场调试简单，并使得360全景完美拼接。此外，采用误差分析和迭代优化算法，易于自动化检测，能够快速收敛并终止迭代，获得精确的内、外参数。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种全景泊车辅助系统的广角图像调试方法，其特征在于，包括：

世界坐标获取步骤，获取调试模板特征点的世界坐标；

采集数据获取步骤，获取广角摄像头采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；

观测模型建立步骤，根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；

迭代优化步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

2.如权利要求1所述的广角图像调试方法,其特征在于，所述观测模型建立步骤包括：

将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参；

根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。

3.如权利要求1所述的广角图像调试方法,其特征在于，所述迭代优化步骤包括：

迭代增量计算步骤，根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；

观测模型更新步骤，将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型；

根据更新后的观测模型计算下一次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

4.如权利要求3所述的广角图像调试方法,其特征在于，所述迭代增量计算步骤采用如下公式计算：Δx^j＝(J^TJ)^-1J^Tε^j，其中，Δx^j为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，ε^j为当前次特征点的图像观测值与理论坐标值之间的误差，j为迭代次数。

5.如权利要求3所述的广角图像调试方法,其特征在于，所述迭代增量计算步骤采用如下公式计算：Δx^j＝(J^TJ+μ^I)^-1J^Tε^j，其中，Δx^j为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，ε^j为当前次特征点的图像观测值与理论坐标值之间的误差，j为迭代次数。

6.一种全景泊车辅助系统的广角图像调试装置，其特征在于，包括：

世界坐标获取模块，用于获取调试模板特征点的世界坐标；

采集数据获取模块，用于获取广角摄像头采集的调试模板特征点的图像数据，所述图像数据至少包括调试模板特征点在采集图像中的理论坐标值；

观测模型建立模块，用于根据获取的调试模板特征点的世界坐标建立特征点的图像观测值与内、外参数集之间的观测模型；

迭代优化模块，用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

7.如权利要求6所述的广角图像调试装置，其特征在于，所述观测模型建立模块包括：

初始化单元，用于将获取的调试模板特征点的图像数据与调试模板特征点的世界坐标进行映射得到初始化外参；

建立单元，根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。

8.如权利要求6所述的广角图像调试装置，其特征在于，所述迭代优化模块包括：

迭代增量计算单元，用于根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；

观测模型更新单元，用于将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型。

9.如权利要求8所述的广角图像调试装置，其特征在于，

所述迭代增量计算单元用于根据如下公式计算迭代增量：Δx_i＝(J^TJ)^-1J^Tε_i，其中，Δx_i为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，ε_i为当前次特征点的图像观测值与理论坐标值之间的误差；或者，

所述迭代增量计算单元用于根据如下公式计算迭代增量：Δx_i＝(J^TJ+μI)^-1J^Tε_i，其中，Δx_i为当前次内、外参的迭代增量，J为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，I为单位对角阵，ε_i为当前次特征点的图像观测值与理论坐标值之间的误差。

10.一种全景泊车辅助系统，其特征在于，包括：如权利要求6-9任意一项所述的广角图像调试装置。