CN102521817A - 一种用于全景泊车系统的图像融合方法 - Google Patents

Abstract

本发明公开了一种用于全景泊车辅助系统的图像融合方法，是一种应用于汽车电子领域和汽车安全辅助驾驶领域的图像处理方法。该方法包括以下步骤：获取像素点在重叠区中的坐标、计算像素点与重叠区边界线的夹角、计算两图像在像素点的alpha通道值、融合重叠区图像。本发明提出的图像处理方法能够将重叠区的鸟瞰图融合为一体，解决重叠采样区域中存在明显拼接痕迹的问题，使得重叠区域内部图像过渡自然、平滑，从而提升全景泊车系统的用户体验。本发明所提出的图像融合方法，使用符合实际问题变化规律的数学模型，而且计算量很小，处理速度快，可扩展性强，便于大面积推广和应用。

Description

一种用于全景泊车系统的图像融合方法

技术领域

本发明涉及汽车电子领域和机器视觉领域，尤其涉及汽车安全辅助驾驶领域的图像处理方法。

背景技术

近年来，随着汽车产业的迅速发展和人民生活水平的不断提高，我国的汽车数量正在迅猛增长，同时汽车驾驶人员中非职业汽车驾驶人员所占的比例也大量增加。在街道、车库和停车场等拥挤狭小的地方倒车时，由于常规的光学后视镜存在盲区，很容易发生刮碰。

为了解决倒车视角盲区问题，一种简单的倒车后视系统诞生了。通过安装在车身尾部的一个摄像头，驾驶员可以在驾驶室内看到车身后方的一小片区域的图像，从而避免因倒车过度而导致尾部碰撞。但是，这种简单的倒车后视系统的可视区域较小，驾驶员仍需自己观察左右两侧的情况，以免与两侧的车辆刮擦。

为了更加直观地向驾驶员展现车辆周围的状况，全景泊车系统应运而生。在全景泊车系统中，我们通过安装在车身前后左右的摄像头对周围路面情况进行拍摄，然后利用一整套图像处理技术将拍摄到的多幅图像合成为一个完整的俯视画面显示在液晶屏上。这样，汽车驾驶员只要在车内就能完整的看到整个车身前后左右各个区域，完全没有任何的死角和盲区。这种汽车驾驶辅助系统可以为泊车过程和行车安全带来极大方便。

尽管全景泊车技术正在飞速发展，但目前仍有很多不足之处。例如，目前大部分全景泊车系统的全景图像只是简单地对各个方向的鸟瞰图进行图像拼接，即把采集到的图像进行简单校正和变换后进行位置匹配，然后直接拼接为一幅图像。这样，在车身的四个角落，即各个摄像头之间的重叠采样区域，会有明显的拼接缝隙，全景图像的整体感不够，用户体验较差。

专利申请号201110070860.9提出了一种车辆辅助系统中的图像处理方法以及子系统，但是在其图像融合方法中，仅通过像素点与两边界线的距离之比来估计融合权重。这种数学模型过于简单，不能反映实际问题的变化规律，导致重叠区内部过渡不够均匀，仍会在重叠区内部靠近边界线的位置产生两条模糊的拼接痕迹。

而在本发明所提出的图像融合方法中，使用通过原点与像素点的线段与边界线的夹角作为自变量，并且融合权重值随夹角值线性变化。这种角坐标系数学模型符合实际问题的变化规律，保证了重叠区内部的绝对均匀过渡，从而确保重叠区内部无任何拼接痕迹，有效地提升全景泊车系统的用户体验。

发明内容

本发明公开了一种全景泊车辅助系统中的全景图像融合方法，其目标在于对全景泊车辅助系统中摄像头的重叠采样区域进行自然融合，避免出现拼接痕迹，从而提升全景泊车系统的用户体验。

为了实现上述效果，需要依次进行一整套图像处理方法，并且所述的图像处理方法依赖于全景泊车系统的具体实现。图1所示为本发明一种用于全景泊车系统的图像融合方法的图像处理流程图，包括以下步骤：

步骤101、生成鸟瞰图。

需要融合的图像来自于安装于车身四周的各个广角摄像头，广角摄像头的采样结果经过视频解码器解码后传输至DSP主处理器。

DSP处理器获取到摄像头采样图像以后，首先要对图像进行畸变校正和透视变换，生成一幅鸟瞰图，其具体步骤如下：

根据摄像头的内部参数和畸变模型，得到畸变点与理想点的映射关系，从而将每个摄像头的输入图像进行畸变校正。在进行畸变校正时，需要使用双线性插值法进行插值处理，保证畸变校正输出图像中无锯齿等，避免影响图像质量；

根据透视变换原理以及一些标定的控制点坐标，将每个摄像头畸变校正后的图像进行角度透视变换，生成俯视图像，即鸟瞰图。

全景泊车系统中使用的是广角摄像头，其可视区域非常大。但通常对于全景泊车系统来讲，可视区域达到车身周围地面较清晰的数米左右即可。因此，需要裁剪上述步骤中生成的鸟瞰图，只保留车身周围较清晰的图像内容。

步骤102、获取像素点在重叠区中的坐标。

得到鸟瞰图之后，即可根据重叠区中一些标定的控制点在两幅图像中的坐标对应关系来匹配两幅图像的相对位置。通常情况下，两幅鸟瞰图的重叠部分为一个矩形，在确定了两幅鸟瞰图的相对位置以后，即可确定重叠矩形区域的宽度W和高度H。

重叠区的位置示意图如图2所示，其中CP1、CP2为重叠区中的控制点。将摄像头A对应的鸟瞰图记为水平鸟瞰图像B1，摄像头B对应的鸟瞰图记为垂直鸟瞰图像B2，并记重叠矩形区域最靠近车身的顶点为原点O；

获取所述重叠矩形区域的边界线，将水平方向源图像内部的边界线记为垂直边界线L1，将垂直方向源图像内部的边界线记为水平边界线L2；

计算所述像素点到垂直边界线L1的距离，记为所述像素点P的水平坐标x；

计算所述像素点到水平边界线L2的距离，记为所述像素点P的垂直坐标y；

步骤103、计算像素点与重叠区边界线的夹角。

获取了所述像素点P在重叠矩形区域的坐标之后，即可根据如图3所示的坐标系计算经过像素点P和原点O的线段与水平边界线L2的夹角，从而将XY坐标系转换为角坐标系：

首先对所述像素点P的坐标进行归一化处理：

归一化水平坐标＝像素点水平坐标/重叠区宽度；

归一化垂直坐标＝像素点垂直坐标/重叠区高度；

经过归一化处理后，重叠区域变为了长宽均为1的正方形。此时根据所述像素点的归一化坐标计算其与重叠区水平边界线夹角的正切值：

夹角正切值＝归一化垂直坐标/归一化水平坐标。

最后根据所述夹角的正切值计算夹角值：

夹角值＝arctan(夹角的正切值)；

记所述像素点P与水平边界线L2的夹角为θ。

以上所述获取经过像素点P和原点O的线段与水平边界线L2的夹角的过程，可以用以下计算式来表示：

$\mathrm{\θ}=\arctan \left(\frac{y/H}{x/W}\right)$

在所述计算式中：

x和y分别为像素点P的水平坐标和垂直坐标；

W和H分别为矩形重叠区的宽度和高度；

θ则为归一化之后的重叠区中，线段OP与水平边界线L2的夹角。

步骤104、计算两图像在像素点的alpha通道值。

获取所述像素点与水平边界线的夹角之后，即可根据权重线性变化规则计算水平图像和垂直图像在所述像素点的融合权重。在本发明所提出的方法中，基本思想是将两幅图像看做透明图像的两个图层，每一透明图层除了具备RGB三个通道以外，还具备一个透明度通道，即alpha通道，这种颜色格式称为ARGB格式。Alpha通道的意义在于表明两个图层在某个像素点的图层合成权重，这与本发明所述的融合权重相同，因此本发明中的融合权重值可记为alpha通道值。

由于重叠区域为一矩形，重叠区的两条边界线L1和L2的夹角为90度，即π/2弧度，而水平鸟瞰图B1的alpha值要在夹角从0到π/2弧度的过渡过程中线性地从1下降至0，这种角度-alpha值的线性变化关系如图4所示。因此可以通过下式计算水平鸟瞰图B1的alpha通道值：

水平图像B1的alpha＝夹角值/(π/2)。

在所述重叠区图像融合的过程中，有且仅有两个图层，而两个图层所占的权重之和应该为1，因此可以通过下式获取垂直图像B2的alpha通道值：

垂直图像B2的alpha＝1-水平图像B1的alpha。

记水平图像B1在所述像素点的alpha通道值为α₁；

记垂直图像B2在所述像素点的alpha通道值为α₂。

上式也可以进行扩展，例如可以指定水平图像和垂直图像在重叠区域所占的比重，水平图像比重为R1，垂直图像比重为R2，则以上所述计算式可以扩展为：

水平图像B1的alpha＝arctan(夹角的正切值*R2/R1)/(π/2)；

垂直图像B2的alpha＝1-水平图像B1的alpha；

通过这种加权叠加方法，可以调节重叠区中每幅图像所占的比重，其意义在于：

由于安装角度等因素的影响，两个摄像头对重叠区域的采样图像的清晰度可能有较大差异，这时可以根据上述公式增加较清晰的摄像头的比重，减小较模糊的摄像头的比重，从而保证融合后的图像仍然具有较好的清晰度。

另外，在一些硬件资源紧张的全景泊车系统中，为了减小图像融合方法的计算量，可以适当减小融合区域的面积，如图5所示，此时融合区域是重叠区域的一个子集。在这种情况下，虽然融合区域不再是中心夹角为π/2的矩形，但仍可采用本发明所提出的方法进行图像融合。此时的融合步骤如下：

对重叠矩形区域的宽度和高度进行归一化处理；

获取像素点P到融合区边界线L2的距离以及线段OP的长度；

获取线段OP与融合区边界线L2的夹角的正弦值；

获取线段OP与融合区边界线L2的夹角，记为θ；

获取融合区域的中心夹角，记为ψ；

根据下式计算融合区两幅图像的alpha通道值：

图像B1的alpha＝θ/ψ；

图像B2的alpha＝1-图像B1的alpha；

由于大型货车、客车以及工程车等车身较长，如果只安装四个摄像头，则远处的图像会很模糊，因此往往需要使用具有八个摄像头的全景泊车系统。在所述的八个摄像头的全景泊车系统中，融合区域通常不是中心夹角为π/2的矩形，而是三角形，则此时仍可根据上面的方法来进行图像融合。

步骤105、融合重叠区图像。

无论融合区域的形状如何，均可通过上面所述的方法计算得到两幅图像在一个像素点的alpha通道值。在此之后，即可不断重复此步骤，计算重叠区每一个像素点的alpha通道值，并存储于一个与重叠区相对应的矩阵的恰当位置，记所述矩阵为alpha矩阵。

计算得到每幅图像在重叠区域的alpha矩阵之后，则可根据图像处理基础教程中的透明图像理论将两幅全景鸟瞰图合为一体，所采用的计算式为：

I(x，y)＝I₁(x，y)*α₁(x，y)+I₂(x，y)*α₂(x，y)

其中，α₁为图像B1的alpha通道值，α₂为B2的alpha通道值，I(x，y)即为融合后(x，y)处像素的颜色值。

当融合区域为矩形区域时，融合效果如图6所示。其中颜色越浅表示融合结果中摄像头A所占成分越重；颜色越深则表示融合结果中摄像头B所占成分越重。在图6中，随着夹角的增长，摄像头A所占成分均匀增加，从而保证融合结果中无任何拼接痕迹。

由于实际的全景泊车系统中多为左右对称的全景图，因此针对某一重叠区域计算得到的alpha矩阵也可以缓存并应用于与之左右对称的重叠区域的图像融合方法之中，这样可以减小计算量。

全景泊车系统的多个摄像头的全部重叠区域均完成图像融合处理后，即可形成完整的全景鸟瞰图，继而经DSP处理器输出，显示在车载液晶屏等装置之上。驾驶员只需观察车载液晶屏所显示的全景鸟瞰图，并正确地操控车辆，即可保证泊车安全。

通过本发明所提出的图像处理方法，尤其是图像融合方法，可以保证全景图像的重叠区域内部图像过渡自然、平滑，从而提升全景泊车系统的用户体验。

附图说明

图1为本发明图像融合方法流程图；

图2为两采样图像的重叠区域位置示意图；

图3为重叠区内像素点的坐标示意图；

图4为夹角-alpha的线性变化关系图；

图5为非矩形融合区位置示意图；

图6为两幅鸟瞰图的重叠区融合效果示意图；

图7为具有四个摄像头的实施例中，摄像头的采样区域分布图；

图8为四幅鸟瞰图的重叠区域示意图；

图9为具有四个摄像头的实施例的最终融合效果示意图。

具体实施方式

以下所述仅为本发明的一个较佳实施例，并不因此而限定本发明的保护范围。

图像融合的具体实施方式依赖于全景泊车系统，下面结合具有四个摄像头的全景泊车系统实例对图像融合方法进行说明。

图7所示为具有四个摄像头的全景泊车系统，四个180°广角摄像头110、120、130、140分别安装于前车标、后车厢把手以及两侧后视镜的下方，其采样区域分别为110a、120a、130a和140a。

摄像头的采样图像经过视频解码芯片解码后传入DSP，并根据镜头畸变模型进行畸变校正，然后根据控制点坐标进行透视变换，得到四幅鸟瞰图。

四个摄像头均为广角摄像头，可以观察到的区域非常大。但通常对于全景泊车系统来讲，可视区域达到车身周围地面2m左右即可。因此，需要裁剪上述步骤中生成的鸟瞰图，只保留车身周围2m的图像内容。裁剪后的图像区域分别对应图8中的A1～A4四个区域，其中：

A1与A2在矩形区域A12内部重叠；

A2与A3在矩形区域A23内部重叠；

A3与A4在矩形区域A34内部重叠；

A4与A1在矩形区域A41内部重叠。

由于仅保留了车身周围2m范围内的图像内容，A12、A23、A34、A41四个重叠区域均为2m*2m大小的正方形。

首先使用本发明提出的图像融合方法完成A12区域的图像融合：

根据重叠区内控制点的坐标获取两图像的相对位置，从而获取重叠区域A12的宽度W与高度H；

针对重叠区域A12内部的每一个像素，对其坐标进行归一化，进而计算经过所述像素点与原点的线段与水平边界线的夹角；

针对重叠区域A12内部的每一个像素，根据融合权重随夹角线性变化的规则，计算图像A1与图像A2的alpha通道值；

重复上述两个步骤，获取重叠区域内A1和A2的alpha矩阵；

根据计算得到的alpha矩阵，利用透明图像理论进行图层合并，即图像融合。

然后继续使用本发明提出的图像融合方法完成A23区域的图像融合：

根据重叠区内控制点的坐标获取两图像的相对位置，从而获取重叠区域A23的宽度W与高度H；

针对重叠区域A23内部的每一个像素，对其坐标进行归一化，进而计算经过所述像素点与原点的线段与水平边界线的夹角；

针对重叠区域A23内部的每一个像素，根据融合权重随夹角线性变化的规则，计算图像A2与图像A3的alpha通道值；

重复上述步骤，获取重叠区域内A2和A3的alpha矩阵；

根据计算得到的alpha矩阵进行图层合并，即图像融合。

在此实施例中，左右两侧具有对称性，因此针对重叠区域A12计算得到的alpha矩阵也可以缓存并应用于与之左右对称的重叠区域A41的图像拼接方法之中，只是其alpha矩阵需要进行水平镜像处理。同理，区域A23与A34左右对称，其alpha矩阵也是简单的水平镜像关系。这样，区域A41和A34的图像融合方法可以省略前几个步骤，直接进行最后的图层合并运算。

四个重叠区域全部拼接融合完毕之后，最终得到一幅完整的360°全景鸟瞰图，如图9所示。其中重叠区颜色越深的部分表示垂直方向图像所占成分越大；颜色越浅则表示水平方向图像所占成分越大。

全景泊车系统的多个摄像头的全部重叠区域均完成图像融合处理后，即可形成完整的全景鸟瞰图。全景鸟瞰图经过适当的放缩，即可在车载液晶屏上显示出来，通过判断左转、右转、倒车等车辆控制信号，全景泊车系统可以实现与原有车载电子系统的无冲突协调工作。这样，在驾驶员开始泊车时，车载液晶屏会自动切换至全景泊车系统的鸟瞰图界面。而驾驶员只需观察车载液晶屏所显示的全景鸟瞰图，并正确地操控车辆，即可保证泊车安全。

通过本发明实施例所提出的图像处理方法，可以保证全景图像的重叠区域内部图像过渡自然、平滑，从而提升全景泊车系统的用户体验。

尽管本发明中未罗列更多的具体实施方式，但是对于本领域内普通技术人员均可理解，任何对本发明各个技术特征进行简单的替换以实现相同技术效果的行为，均应视为不超脱本发明的创新精神的。

Claims (3)

1.一种用于全景泊车系统的图像融合方法，其特征在于：

获取两摄像头重叠采样的矩形区域的位置，记所述矩形最靠近车身的顶点为原点；

将重叠区像素点的坐标转换为经过所述像素点和原点的线段与重叠矩形区域边界线的夹角；

根据所述夹角的值计算互相重叠的两幅图像在所述像素点的alpha通道的值；

利用图像处理基础教程中的透明图像理论，根据每幅图像的alpha通道将两图层合并。

2.如权利要求1所述的一种用于全景泊车系统的图像融合方法，其特征在于，所述获取经过像素点和原点的线段与重叠区边界线的夹角的步骤包括：

(1)获取重叠矩形区域的位置、长度和宽度：

计算所述像素点到垂直边界线的距离，记为所述像素点的水平坐标；

计算所述像素点到水平边界线的距离，记为所述像素点的垂直坐标；

(2)对所述像素点的坐标进行归一化处理：

归一化水平坐标＝像素点水平坐标/重叠区宽度；

归一化垂直坐标＝像素点垂直坐标/重叠区高度；

(3)根据所述像素点的归一化坐标计算其与重叠区水平边界线夹角的正切值：

夹角正切值＝归一化垂直坐标/归一化水平坐标；

(4)根据所述夹角的正切值计算夹角值：

夹角值＝arctan(夹角的正切值)。

3.如权利要求1所述的一种用于全景泊车系统的图像融合方法，其特征在于，所述根据夹角的值计算互相重叠的两幅图像在像素点的alpha通道值的方法为：

水平图像的alpha通道值＝夹角值/(π/2)；

垂直图像的alpha通道值＝1-水平图像的alpha通道值。

Images