CN102642501A - 车辆辅助系统中的图像处理方法及相应系统 - Google Patents

Abstract

一种车辆辅助系统中的图像处理方法以及采用该图像处理方法的车辆辅助系统和全景泊车辅助系统，通过计算两幅源图像在重叠区域中的亮度差值，并依据亮度差值对源图像之一进行整体亮度修正，基于亮度修正后的源图像进行重叠区域的融合处理，使得融合后的图像更自然。

Description

车辆辅助系统中的图像处理方法及相应系统

技术领域

本申请涉及车辆辅助系统领域，尤其涉及车辆辅助系统中的图像处理方法。

背景技术

汽车上使用的全景泊车辅助系统，一般采用多个广角摄像头，分别固定在车身周围，这些摄像头采集车身周围的图像，然后由系统对各个摄像头采集到的图像进行处理，拼接成一幅车身周围的鸟瞰图。

在非均匀的光照条件下，由于不同摄像头分别采集图像，虽然在图像拼接时可以对重叠区域进行融合处理，但图像的其他部分仍是各个摄像头分别采集的内容。

发明内容

本申请一方面提供一种车辆辅助系统中的图像处理方法，包括：获取第一源图像P1和第二源图像P2，P1和P2分别由固定在车身周围的第一、二图像采集装置采集；计算第一设定区域中，P1的像素的平均亮度值L1与P2的像素的平均亮度值L21的差值ΔL1，ΔL1＝L1-L21，第一设定区域位于P1与P2的重叠区域中；对P2进行亮度修正，将ΔL1乘以第一加权系数w1后与P2的像素的亮度值叠加，0≤w1≤1，且被修正的像素与第一参考点或线越靠近，相应的w1越接近1，第一参考点或线位于P1与P2的重叠区域；对P1与亮度修正后的P2位于重叠区域中的像素进行融合处理。

本申请另一方面还提供采用上述图像处理方法的车辆辅助系统和全景泊车辅助系统。

本申请提出的图像处理方法，通过计算两幅源图像在重叠区域中的亮度差值，并依据亮度差值对源图像之一进行整体亮度修正，基于亮度修正后的源图像进行重叠区域的融合处理，使得融合后的图像更自然。

以下结合附图，对本申请的具体示例进行详细说明。

附图说明

图1是本申请中的图像处理方法的一种实施方式的流程示意图；

图2是源图像之间的重叠关系示意图；

图3是本申请中的车辆辅助系统的一种实施方式的结构示意图；

图4是本申请中的全景泊车辅助系统的一种实施方式的结构示意图。

具体实施方式

实施例1

本申请车辆辅助系统中的图像处理方法的一种实施方式如图1所示，包括：

步骤101，获取各个源图像，例如第一源图像P1、第二源图像P2和第三源图像P3，参考图2。

在本实施方式中，P1、P2和P3基本呈矩形，P1与P2的重叠区域P21以及P3与P2的重叠区域P23分别位于P2的两端。在其他实施方式中，各个源图像也可以是矩形以外的其他形状，例如具有曲线形的轮廓等，P1、P3与P2的重叠区域也可以在P2的其他部位，只要这两个重叠区域相互分离即可。

可以通过各种方式来确定源图像之间的重叠区域，例如通过图像拼接算法来确定。考虑到各个图像采集装置彼此之间的位置关系相对固定，也可根据他们之间的位置关系预先确定源图像之间的重叠区域。本实施方式不限定确定源图像之间的重叠区域的方式。

在本实施方式中，P1和P3分别由固定在车身前、后的第一、三图像采集装置采集，P2由固定在车身左或右侧的第二图像采集装置采集，这是由于采集自车身左右两侧的源图像通常更容易出现亮度不均匀的情况，因此选择采集自车身左或右侧的图像作为后续执行亮度修正操作的对象，即P2。当然，在其他实施方式中，也可以根据实际需要将采集源图像的各个图像采集装置固定在车身周围的其他位置，并按照实际情况选择某个源图像作为后续执行亮度修正操作的对象。

步骤102，计算第一设定区域中，P1的像素的平均亮度值L1与P2的像素的平均亮度值L21的差值ΔL1，ΔL1＝L1-L21，以及，计算第二设定区域中，P3的像素的平均亮度值L3与P2的像素的平均亮度值L23的差值ΔL2，ΔL2＝L3-L23。

在本实施方式中，第一设定区域为P1与P2的重叠区域P21中与第一边界线和第二边界线距离相等的位置，即O21-O12，在图2中以虚线表示，第一边界线为P21位于P1内部的边界线，即O21-J21，第二边界线为P21位于P2内部的边界线，即O21-J12。这种第一设定区域的选择方式使得计算出来的亮度差值在一般情况下，能够较好的反应出P2与P1的亮度差异情况。在其他实施方式中，也可以选择位于P21中部的位置作为第一设定区域，或者选择与O21-O12略有偏差的位置作为第一设定区域，只要第一设定区域位于P21中即可。

在本实施方式中，第二设定区域为P3与P2的重叠区域P23中与第三边界线和第四边界线距离相等的位置，即O23-O32，在图2中以虚线表示，第三边界线为P23位于P3内部的边界线，即O23-J23，第四边界线为P23位于P2内部的边界线，即O23-J32。与第一设定区域的选择方式类似，在其他实施方式中，也可以选择P23中的其他位置作为第二设定区域。

本申请中涉及像素的亮度值以及像素值，像素值是指像素所携带的图像信息的数字化表示，亮度值则是图像信息中亮度信息的数字化表示，对于单色图像而言，像素值即为亮度值(或称灰度值)，对于彩色图像而言，像素值还包括与色彩相关的信息，基于源图像的像素值的不同表示方式，亮度值可以直接获取(例如采用YUV方式来表示像素值，则Y分量即为亮度值)或者需要通过色彩空间的变换来获取(例如采用RGB方式来表示像素值，则需要转换为YUV方式以获得亮度值)。本实施方式不限定亮度值的获得方式。

步骤103，使用ΔL1和ΔL2的加权值对P2进行亮度修正，即将ΔL1乘以第一加权系数w1后与P2的像素的亮度值叠加，以及将ΔL2乘以第二加权系数w2后与P2的像素的亮度值叠加，0≤w1≤1，0≤w2≤1，用算式可表示为：

Ym(x)＝Y(x)+ΔL1×w1+ΔL2×w2

其中x表示像素的位置，Y(x)表示像素修正前的亮度值，Ym(x)表示像素亮度修正后的亮度值。在本实施方式中，由于两个重叠区域P21和P23位于P2的两端，因此可以近似的认为ΔL1和ΔL2表示P2两端需要进行亮度修正的程度，从而可以通过简单的线性插值对P2进行整体亮度修正，即，w1＝D2/(D2+D1)，w2＝D1/(D1+D2)，D1和D2分别为被修正的像素与第一参考线和第二参考线的距离，第一参考线为P2与P1重叠的一端的边界，即O12-J21，第二参考线为P2与P3重叠的一端的边界，即O32-J23。这种确定加权系数的方法在保证良好的图像过渡效果的同时，也有较低的计算复杂度，因为一方面采用线性插值，计算简单，另一方面，以P2的边界作为计算距离的参考线，使得对距离的计算简化为计算被修正的像素的纵坐标(或横坐标，根据具体使用的坐标系的定义确定)与边界线相应坐标的差值。在其他实施方式中，用来计算距离的参照对象也可以是除边界以外的其他线，或者也可以是点，只要第一参考点或线位于P21，第二参考点或线位于P23即可，例如，可以选择之前用来计算亮度差值的O21-O12和O23-O32分别作为第一、二参考线。在其他实施方式中，加权系数与距离的关系也可以是非线性的，只要被修正的像素与第一参考点或线越靠近，相应的w1越接近1，被修正的像素与第二参考点或线越靠近，相应的w2越接近1，即可。

在其他实施方式中，也可以只使用一个亮度差值对P2进行亮度修正，例如仅将ΔL1乘以w1后与P2的像素的亮度值叠加，这种情况下，视为忽略其他重叠区域所反映的P2的亮度差异情况。

步骤104，进行图像融合处理，即将亮度修正后的P2位于重叠区域的像素与其他源图像位于相应重叠区域的像素融合。例如，在P21中对P1的像素以及亮度修正后的P2的像素进行融合处理，在P23中对P3的像素以及亮度修正后的P2的像素进行融合处理等。

融合计算可采用各种已有的方法，例如淡入淡出，本实施方式不限定融合计算的具体方式。

采用本实施方式的图像处理方法，即可获得由源图像P1、P2、P3、P4合成的全景图像，其中P2、P4进行了亮度修正，合成后的全景图像具有良好的整体性。有关P4的处理过程可完全参照对P2的处理进行，在参阅图2时，只要将上述过程中涉及的图2中的标号中的“2”替换为“4”即可。

实施例2

本申请车辆辅助系统中的图像处理方法的另一种实施方式与实施例一相比，提供优选的进行图像融合处理的方法。本实施方式中对源图像进行亮度修正的过程与实施例一中步骤101～103相同，不再赘述。下面以P21中的融合为例对本实施方式中的图像融合处理进行说明，其他重叠区域中的融合可参照执行。

本实施方式中，

P21(x)＝P1(x)×w3+P2(x)×w4，w3＝d2/(d2+d1)，w4＝d1/(d1+d2)

其中，x表示像素的位置，P21(x)为该位置融合处理后的像素值，P1(x)为P1在该位置的像素值，P2(x)为亮度修正后的P2在该位置的像素值，d1和d2分别为需要进行融合处理的位置与第一边界线O21-J21和第二边界线O21-J12的距离。

本实施方式中，按照像素的位置与设定边界的距离对像素值进行加权叠加，使得融合后的图像过渡自然。在其他实施方式中，融合处理所使用的加权系数也可以采用其他方式确定，只要0≤w3≤1，0≤w4≤1，且进行融合的位置与第一边界线越靠近，相应的w3越接近1而w4越接近0，进行融合的位置与第二边界线越靠近，相应的w3越接近0而w4越接近1，即可。

实施例3

本申请车辆辅助系统的一种实施方式可参考图3，包括4个图像采集装置301-304，以及与各个图像采集装置信号连接的图像处理子系统305。

图像采集装置301、303、302、304，分别用于固定在车身前、后、左、右，将采集到的源图像传输给图像处理子系统305，所采集到的源图像之间的关系基本如图2所示，图像采集装置与其采集的源图像按照标号的最后一个数字进行对应。

图像处理子系统305，按照实施例1所描述的图像处理方法对源图像进行处理，其中，对P2和P4(即来自固定在车身左、右的图像采集装置的源图像)进行亮度修正。在其他实施方式中，图像处理子系统也可以按照实施例2所描述的图像处理方法对源图像进行处理，能够在重叠区域获得更好的过渡效果。

当然，在其他实施方式中，图像采集装置的数量和固定位置也可以与本实施方式不同，图像处理子系统在按照实施例1描述的图像处理方法进行处理时，将需要进行亮度修正的源图像视为P2，将与P2具有重叠区域的源图像视为P1和P3即可(也可以仅有P1)。

实施例4

本申请全景泊车辅助系统的一种实施方式可参考图4，包括显示装置401以及与显示装置401信号连接的车辆辅助系统402，车辆辅助系统402采用实施例3所描述的结构，显示装置401用于显示车辆辅助系统402融合处理后的图像。

在其他实施方式中，车辆辅助系统也可以采用具有更多或更少图像采集装置的结构。

以上应用具体个例对本发明的原理及实施方式进行了阐述，应该理解，以上实施方式只是用于帮助理解本发明，而不应理解为对本发明的限制。对于本领域的一般技术人员，依据本发明的思想，可以对上述具体实施方式进行变化。

Claims (10)

1.一种车辆辅助系统中的图像处理方法，其特征在于，包括：

获取第一源图像P1和第二源图像P2，P1和P2分别由固定在车身周围的第一、二图像采集装置采集；

计算第一设定区域中，P1的像素的平均亮度值L1与P2的像素的平均亮度值L21的差值ΔL1，ΔL1＝L1-L21，第一设定区域位于P1与P2的重叠区域中；

对P2进行亮度修正，将ΔL1乘以第一加权系数w1后与P2的像素的亮度值叠加，0≤w1≤1，且被修正的像素与第一参考点或线越靠近，相应的w1越接近1，第一参考点或线位于P1与P2的重叠区域；

对P1与亮度修正后的P2位于重叠区域中的像素进行融合处理。

2.如权利要求1所述的方法，其特征在于，还包括：

获取第三源图像P3，P3由固定在车身周围的第三图像采集装置采集；

计算第二设定区域中，P3的像素的平均亮度值L3与P2的像素的平均亮度值L23的差值ΔL2，ΔL2＝L3-L23，第二设定区域位于P3与P2的重叠区域中；

在所述对P2进行亮度修正的步骤中，还将ΔL2乘以第二加权系数w2后与P2的像素的亮度值叠加，0≤w2≤1，且被修正的像素与第二参考点或线越靠近，相应的w2越接近1，第二参考点或线位于P3与P2的重叠区域。

3.如权利要求2所述的方法，其特征在于：P2呈矩形，P1与P2的重叠区域以及P3与P2的重叠区域分别位于P2的两端，w1＝D2/(D2+D1)，w2＝D1/(D1+D2)，D1和D2分别为被修正的像素与第一参考线和第二参考线的距离，第一参考线为P2与P1重叠的一端的边界，第二参考线为P2与P3重叠的一端的边界。

4.如权利要求3所述的方法，其特征在于：第一、三图像采集装置分别固定在车身前、后，第二图像采集装置固定在车身左或右侧。

5.如权利要求1所述的方法，其特征在于：第一设定区域包括P1与P2的重叠区域中与第一边界线和第二边界线距离相等的位置，或者包括位于P1与P2的重叠区域中部的位置，第一边界线为P1与P2的重叠区域位于P1内部的边界线，第二边界线为P1与P2的重叠区域位于P2内部的边界线。

6.如权利要求1～5任意一项所述的方法，其特征在于，所述对P1与亮度修正后的P2位于重叠区域中的像素进行融合处理的步骤具体采用：

P21(x)＝P1(x)×w3+P2(x)×w4，其中，x表示像素的位置，P21(x)为该位置融合处理后的像素值，P1(x)为P1在该位置的像素值，P2(x)为亮度修正后的P2在该位置的像素值，0≤w3≤1，0≤w4≤1，且该位置与第一边界线越靠近，相应的w3越接近1而w4越接近0，该位置与第二边界线越靠近，相应的w3越接近0而w4越接近1，第一边界线为P1与P2的重叠区域位于P1内部的边界线，第二边界线为P1与P2的重叠区域位于P2内部的边界线。

7.如权利要求6所述的方法，其特征在于：w3＝d2/(d2+d1)，w4＝d1/(d1+d2)，d1和d2分别为需要进行融合处理的位置与第一边界线和第二边界线的距离。

8.一种车辆辅助系统，包括复数个图像采集装置和与各个图像采集装置信号连接的图像处理子系统，所述图像采集装置用于固定在车身周围，将采集到的源图像传输给所述图像处理子系统，其特征在于：所述图像处理子系统采用如权利要求1～7任意一项所述的方法对采集到的源图像进行处理。

9.如权利要求8所述的系统，其特征在于：所述图像采集装置为4个，分别固定在车身前、后、左、右，所述图像处理子系统对来自固定在车身左、右的图像采集装置的源图像进行亮度修正。

10.一种全景泊车辅助系统，包括显示装置和与所述显示装置信号连接的车辆辅助系统，所述显示装置用于显示所述车辆辅助系统融合处理后的图像，其特征在于：所述车辆辅助系统采用如权利要求8或9所述的结构。

Images