CN105354796A - 用于行车辅助的图像处理方法及系统 - Google Patents

Abstract

公开了一种用于行车辅助的图像处理方法和系统，该方法包括：对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀；对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变；对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像；以及对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像。

Description

用于行车辅助的图像处理方法及系统

技术领域

本公开涉及汽车电子领域，更具体地，涉及一种用于行车辅助的图像处理方法及系统。

背景技术

随着城市汽车数量的不断增加，日渐复杂的驾驶环境给驾驶员带来越来越多的不便。例如，驾驶员在泊车时，受到视野和车位狭小等客观条件的限制，极易发生擦碰事故，带来不必要的损失。

现有的各种行车辅助方案中，全景可视化辅助方案正在不断的发展中，其能够提供车身周围实时的全景俯视图像。这种全景俯视图像一定程度上减少了车身周围的视野盲区，给驾驶员行车提供了辅助。

然而发明人发现，现有的全景俯视图像通常相对于人眼观察的车身周围的实际图像存在失真，这种失真使得驾驶员无法可靠地依据全景图像来完成驾驶行为。

因此，有必要开发一种能够降低全景图像失真度的图像处理方法及系统用于行车辅助，从而能够保证行车安全。

公开于本公开背景技术部分的信息仅仅旨在加深对本公开的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本公开提供了一种图像处理方法及系统，其能够有效地降低全景图像的失真度，从而可靠地进行行车辅助。

一方面，提出了一种用于行车辅助的图像处理方法，该方法包括：对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀；对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变；对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像；以及对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像。

在一个示例中，所述亮度调节可包括：利用Gamma变换对所采集的车身周围的多个视频图像的每一图像帧进行亮度调节。

在一个示例中，所述畸变校正可包括：确定采集所述多个视频图像的图像采集装置的畸变参数，通过所述畸变参数获得畸变参数校正表，利用所述畸变参数校正表来获得畸变校正后的多个视频图像。

在一个示例中，可通过如下投影变换公式，将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置(x,y)投影为俯视投影的视频图像中的对应点坐标位置(u,v)，从而实现投影变换：

$\left\{\begin{array}{c}x=A*u+B*v+C*u*v+D\\ y=E*u+F*v+G*u*v+H\end{array}\right.$

其中，A、B、C、D、E、F、G、H为变换参数。

在一个示例中，可通过如下方式确定变换参数A、B、C、D、E、F、G、H：采集车身附近的标定参考物的图像；提取标定参考物上的角点位置的坐标；基于所述角点位置的坐标，以及相应的俯视投影的图像中与所述角点位置相对应的投影点的位置信息，得到参数A、B、C、D、E、F、G、H。

在一个示例中，标定参考物可为棋盘格标定布，角点可为棋盘格标定布上棋盘格的交叉点。

在一个示例中，该方法还可包括对多个视频图像分别做纵向校正处理，获得校正后的单视角视频图像。

在一个实例中，所述纵向校正可包括：将视频图像中的像素点的横坐标还原到实际的位置，纵坐标保持不变。

在一个示例中，所述纵向校正包括：

基于以下公式进行纵向校正：

$\left\{\begin{array}{c}t=|U-x_0|/x_0\\ x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}+{\mathrm{te}}^t\\ y=V\end{array}\right.$

其中(x,y)为校正前像素点的横纵坐标，(U,V)为校正后对应像素点的横纵坐标，(x₀,y₀)为视频图像的中心坐标，R为获取所述多个视频图像的图像采集设备的成像半径。

在一个示例中，该方法还可包括：在所采集到的多个视频图像中，选定对应于车头和/或车尾两侧拐角处的指定拐角区域，利用正向投影变换将所述指定拐角区域映射到目标区域，从而获得拐角区域视图，其中所述正向投影变换将所述指定拐角区域中立面参考物的立面上的四边形顶点映射到目标区域的四边形顶点上。

另一方面，提出了一种用于行车辅助的图像处理系统，包括：图像采集装置，布置在车身周围以采集车身周围的多个视频图像；处理装置，被配置为执行根据权利要求1-9中任意一项所述的用于行车辅助的图像处理方法的操作，以生成全景视频图像、单视角视频图像和拐角区域视图中的一种或多种；显示装置，接收并显示所生成的全景视频图像、单视角视频图像和拐角区域视图中的一种或多种。

在一个示例中，图像采集装置可以为广角摄像头。

在一个示例中，所述图像采集装置的个数可为4个。

在一个示例中，所述图像采集装置的个数可为6个以上。

又一方面，提出了一种用于行车辅助的图像处理装置，该装置包括：用于对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀的部件；用于对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变的部件；用于对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像的部件；以及用于对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像的部件。

在一个示例中，所述亮度调节可包括：利用Gamma变换对所采集的车身周围的多个视频图像的每一图像帧进行亮度调节。

在一个示例中，所述畸变校正可包括：确定采集所述多个视频图像的图像采集装置的畸变参数，通过所述畸变参数获得畸变参数校正表，利用所述畸变参数校正表来获得畸变校正后的多个视频图像。

在一个示例中，可通过如下投影变换公式，将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置(x,y)投影为俯视投影的视频图像中的对应点坐标位置(u,v)，从而实现投影变换：

$\left\{\begin{array}{c}x=A*u+B*v+C*u*v+D\\ y=E*u+F*v+G*u*v+H\end{array}\right.$

其中，A、B、C、D、E、F、G、H为变换参数。

在一个示例中，通过如下方式确定变换参数A、B、C、D、E、F、G、H：采集车身附近的标定参考物的图像；提取标定参考物上的角点位置的坐标；基于所述角点位置的坐标，以及相应的俯视投影的图像中与所述角点位置相对应的投影点的位置信息，得到参数A、B、C、D、E、F、G、H。

在一个示例中，标定参考物可为棋盘格标定布，角点可为棋盘格标定布上棋盘格的交叉点。

在一个示例中，该装置还可包括用于对多个视频图像分别做纵向校正处理，获得校正后的单视角视频图像的部件。

在一个示例中，所述纵向校正可包括：将视频图像中的像素点的横坐标还原到实际的位置，纵坐标保持不变。

在一个示例中，所述纵向校正可包括：

基于以下公式进行纵向校正：

$\left\{\begin{array}{c}t=|U-x_0|/x_0\\ x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}+{\mathrm{te}}^t\\ y=V\end{array}\right.$

其中(x,y)为校正前像素点的横纵坐标，(U,V)为校正后对应像素点的横纵坐标，(x₀,y₀)为视频图像的中心坐标，R为获取所述多个视频图像的图像采集设备的成像半径。

在一个示例中，该装置还可包括：用于在所采集到的多个视频图像中，选定对应于车头和/或车尾两侧拐角处的指定拐角区域，利用正向投影变换将所述指定拐角区域映射到目标区域，从而获得拐角区域视图的部件，其中所述正向投影变换将所述指定拐角区域中立面参考物的立面上的四边形顶点映射到目标区域的四边形顶点上。

本公开的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方案中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方案中进行详细陈述，这些附图和具体实施方案共同用于解释本公开的特定原理。

附图说明

通过结合附图对本公开的示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开的示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的一个实施例的用于行车辅助的图像处理方法的流程图。

图2示出了根据本公开的一个实施例的标定参考物的摆放方式示意图

图3示出了根据一个示例的图像拼接处理的示意图。

图4示出了根据一个示例的纵向畸变校正原理的示意图。

图5a和图5b分别示出了原始单视角视频图像和根据一个示例进行纵向校正后的单视角视频图像。

图6a-图6c分别示出了原始视频图像和根据一个示例进行正向投影变换后的拐角区域视图。

图7示出了根据本公开的实施例的一种用于行车辅助的图像处理系统的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

实施例1

图1示出了根据本公开的一个实施例的用于行车辅助的图像处理方法的流程图。如图1所示，在该实施例中，该方法包括：步骤101，对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀；步骤102，对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变；步骤103，对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像；以及步骤104，对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像。

该实施例通过对车身周围的多个视频图像进行亮度调节、畸变校正、投影变换等，获得车身周围的更接近实际的多视角全景视频图像(也简称为全景图像)，降低了失真度，从而能够保证各种行车环境下的行车安全。

亮度调节

通常情况下，作为生成全景图像的原始图像的多个视频图像来自设置位置不同的摄像头，这些摄像头在不同的光照条件下获得的原始图像在亮度上会有差异，使得所生成的全景图像有着明显的亮度变化，整体亮度不够均匀平滑，这是造成显示失真的原因之一。本实施例通过对所采集的车身周围的多个视频图像进行亮度调节，以使得多个视频图像之间亮度均匀，能够解决整体亮度不够均匀平滑的问题，降低所生成全景图像的失真度，使全景图像看起来更加自然柔和。

以下给出一个基于Gamma变换的亮度调节方案的具体示例。本领域技术人员应理解，该示例是说明性而非限制性的，对多个视频图像进行亮度调节以使其之间亮度均匀的方式并不限于此，本领域技术人员根据实际需要也可采用其他方式进行亮度调节。

在该示例中，利用Gamma变换对所采集的车身周围的多个视频图像的每一图像帧进行亮度调节，从而实现对所采集的车身周围的多个视频图像进行亮度调节。

这一调节过程可以通过如下方式来实现：在每个采样时刻，获得多个视频图像中每一个视频图像的图像帧；获得每个图像帧的亮度平均值Y_i，其中i代表视频图像的编号，i＝1……Q，Q是多个视频图像的总数，也就是说Y_i代表编号为i的视频图像在该采样时刻所对应的图像帧的亮度平均值；根据Y_i获得多个视频图像在该采样时刻的各图像帧的亮度平均值Y，也就是说Y是Y_i的平均值(i＝1……Q)。可以设定Gamma系数γ＝Y_i/Y，然后可以利用Gamma变换对该采样时刻多个视频图像中每一个视频图像的图像帧进行亮度调节，从而获得该采样时刻亮度调节后的多个视频图像的图像帧。针对连续的采样时刻重复以上处理，即可得到亮度调节后的多个视频图像。

Gamma变换的公式可表示如下：

Value＝(val/255+c)^γ*255(1)

在公式(1)中，val为当前像素点的亮度值，c为补偿系数，其可根据实际需要来设定，Value为当前像素点经Gamma变换后的亮度值。

在一个示例中，车身周围的多个视频图像可以通过在车身周围(例如车身的前、后、左、右四个方向)分别安装的图像采集装置(例如，广角摄像头)进行采集。

畸变校正

所采集的多个视频图像通常存在畸变，本实施通过畸变校正降低或消除各视频图像的成像畸变，从而降低所产生的全景图像的失真度。

本领域技术人员可根据需要，例如视频图像的畸变特性等，来选择适当的方式进行畸变校正。例如，可确定采集多个视频图像的图像采集装置的畸变参数，畸变参数可以包括图像采集装置的成像畸变曲率参数(s₁,s₂)，成像的中心点(x₀,y₀)，以及成像半径R等等。通过上述畸变参数，可以根据本领域技术人员已知的方式获得畸变参数校正表C＝f(s₁,s₂,R)，进而利用畸变参数校正表以获得畸变校正后的多个视频图像。

投影变换

为得到俯视视角的全景视频图像，可以对畸变校正后的多个视频图像分别进行投影变换，获得多个俯视投影的视频图像。

在一个示例中，可以通过将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置投影为俯视投影的视频图像中的对应点的坐标位置，来实现投影变换。特征点可由本领域技术人员根据需要来设定，并且可以根据本领域技术人员已知的手段自动识别。在一个示例中，特征点可包括图像的角点，其中角点一般指图像中某方面特征或属性突出的点，例如可以是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点等，诸如两条线的交叉点、多边形顶点等等。举例来说，可以以畸变校正后的视频图像中指定四边形的顶点作为特征点，通过任意四边形的变形法，将该四边形投影到俯视投影的视频图像中对应的区域内，从而实现上述投影变换。

作为一个例子，可通过如下投影变换公式，将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置(x,y)投影为俯视投影的视频图像中的对应点的坐标位置(u,v)，从而实现投影变换：

$\left\{\begin{array}{c}x=A*u+B*v+C*u*v+D\\ y=E*u+F*v+G*u*v+H\end{array}\right.---\left(2\right)$

其中，公式(2)中的A-H为变换参数，可以由本领域技术人员根据需要采用任意适当方式进行设定。以下给出一种设定变换参数A-H的具体示例。

在该示例中，可通过采集车身附近的标定参考物的图像、提取标定参考物上的角点位置的坐标、基于角点位置的坐标以及相应的俯视投影的图像中与角点位置相对应的投影点的位置信息，来得到参数A、B、C、D、E、F、G、H。

例如，可以在车身附近(例如前、后、左、右四个方向)的地面上分别铺放标定参考物，该标定参考物可具有棋盘格花纹，例如是棋盘格标定布。图2示出了根据本公开的一个实施例的标定参考物的摆放方式示意图。图2以棋盘格标定布作为示例性的标定参考物，其中，棋盘格标定布P1和P2距离车头和车尾10cm，标定布P3和P4距离车身左右两边10cm，P3和P4距离P1的距离长度为150cm。每块标定布中，黑白格子的实际长度为20cm，最外面的棋盘格到标定布的边缘距离为10cm。在每块标定布中，共有7X5＝35个格子，即横向有7个格子，纵向有5个格子，标定布的长度和宽度分别为160cm和120cm。本领域技术人员应理解，以上以及本公开中的所有具体数据仅为了便于理解本发明，而非将本发明限制于此。

可以采集标定参考物的图像。在一个示例中，可对采集到的标定参考物的图像进行适当的预处理，例如将采集的图像从彩色图像转换为灰度图像，对灰度图像进行图像去噪处理，并将去噪处理后的图像转换为二值图像。然后，可采用例如Shi-Tomasi算法对二值图像进行处理，提取棋盘格标定布上的角点位置的坐标。举例来说，角点可以是标定布上棋盘格的交叉点。

基于角点位置的坐标，以及相应的俯视投影的图像中与角点位置相对应的投影点位置信息，可以得到参数A-H，具体过程如下：

假设在任意源视频图像(例如本示例中的标定参考物的图像)中存在4个点，它们在对应的俯视投影的视频图像中对应也存在4个点，这4个点例如是源视频图像中指定的源四边形M的四个顶点，其坐标可分别为：(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，则俯视投影的视频图像中相对应的目的四边形N的四个顶点坐标可以为：(u₁,v₁)，(u₂,v₂)，(u₃,v₃)，(u₄,v₄)；从四边形M中的点(x,y)到四边形N中的点(u,v)的变换公式可以表示为上述公式(2)：

将四边形M、N的四个顶点坐标带入上式(2)中可以得到8元线性方程组(3)：

$\left\{\begin{array}{c}A*u_1+B*v_1+C*u_1*v_1+D=x_1\\ E*u_1+F*v_1+G*u_1*v_1+H=y_1\\ A*u_2+B*v_2+C*u_2*v_2+D=x_2\\ E*u_2+F*v_2+G*u_2*v_2+H=y_2\\ A*u_3+B*v_3+C*u_3*v_3+D=x_3\\ E*u_3+F*v_3+G*u_3*v_3+H=y_3\\ A*u_4+B*v_4+C*u_4*v_4+D=x_4\\ E*u_4+F*v_4+G*u_4*v_4+H=y_4\end{array}\right.---\left(3\right)$

在已知(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)和(u₁,v₁)，(u₂,v₂)，(u₃,v₃)，(u₄,v₄)的情况下，可解出方程组(3)中的8个参数A-H(例如可通过该方程组(3)的增广矩阵使用高斯消元法求解)。

在得到了8个参数A-H后，即可根据投影变换的公式(2)，进行畸变校正后的多个视频图像到多个俯视投影的视频图像的投影变换。

图像拼接

在一个示例中，可以对多个俯视投影的视频图像进行图像拼接，获得全景视频图像。

本领域技术人员可以根据需要，采用适当的图像拼接方式进行图像拼接。以下给出一个具体示例，其通过加权平滑算法处理俯视投影的视频图像的相邻区域的拼接缝，以实现图像拼接。这种处理方式的主要思想是拼接后图像的重叠区域中像素点的灰度值P，由相邻两幅图像中对应点的灰度值P_L和P_R加权平均得到，即P＝k×P_L+(1-k)×P_R，其中k是权重因子。

在一个示例中，在图像拼接的过程中，可以采用双线性插值算法，以提高全景图像的清晰度。此外，还可以对视频图像的相邻区域的拼接缝进行图像融合，以达到无缝拼接的效果。

图3示出了根据一个示例的图像拼接处理的示意图。图3中的L和R表示图像P1与图像P3融合区域的左右边界线，α表示拼接线的夹角。

通常情况下0≤k≤1，即在重叠区域中，沿图像P1向图像P3的方向，k由1渐变为0，从而实现重叠区域的平滑拼接。可令k＝d₁/(d₁+d₂)，其d₁，d₂分别表示重叠区域中的点到重叠区域左边界和右边界的距离。可使用公式P＝(d₂/(d₁+d₂))×P_L+(d₁/(d₁+d₂))×P_R进行拼接线处理。

图像首次自动拼接融合后，每个图像采集装置的拼接数据都可以保存为一张查找表。每张查找表的数据可以包含源图像的坐标信息，拼接图像的坐标信息，以及各像素融合的百分比。可利用每个图像采集装置的查找表生成最后的全景视频图像。

本实施例的方法还可进一步包括生成单视角视频图像的步骤。

车载摄像头采集的图像通常会有四个黑角区域，且有严重的畸变，对于广角摄像头尤其如此。在输出显示单视图时，四个黑角区域也占据了显示设备的可视空间，直观感受很不美观。鉴于此，本公开实施例的图像处理方法还可包括对多个视频图像分别做纵向校正处理，获得校正后的单视角视频图像，使得校正后的图像既消除了四个黑角区域，又对纵向曲线做了畸变校正，同时保留了图像有效区域的全部信息。

图4示出了根据一个示例的纵向畸变校正原理的示意图。如图4所示，根据视频采集装置的成像原理，可将图像的扭曲变形用球面的经纬线近似，例如变形后图像中的一条经线可对应于校正后图像中的一条直线。根据这种情况，纵向校正可包括将图像中的像素点的横坐标还原到实际的位置，而纵坐标保持不变，也就是把扭曲的图像映射为正常的四方形状图像，即通过映射来降低图像的畸变程度。

图像中每一条经度上的不同像素点在经过校正后的图像中具有相同的列坐标值，在没有畸变的图像中具有相同的横坐标。经度越大的经线，它的畸变程度越大。根据图像中的比例关系，可以设图像中同一经度上的两个点k(x,y)和点h(x_h,y_h)，求k点在校正图上的对应像素点k₁(U,V)。由于k点和h点在同一经度上，所以其校正点的横坐标相等。根据图像中的比例关系，校正映射公式(4)可表示为：

$\left\{\begin{array}{c}{x}_h=U\\ \frac{x-x_0}{\sqrt{R^2-y^2}}=\frac{x_h-x_0}{R}\\ y-y_0=V-y_0\end{array}\right.---\left(4\right)$

得出：

$\left\{\begin{array}{c}x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}\\ y=V\end{array}\right.---\left(5\right)$

其中，(x₀,y₀)为图像的中心坐标，R为镜头的成像半径。可利用公式(5)进行纵向校正。

由公式(5)可以看出，如果图像中同一经度上的y确定，则横坐标x以U为变量做线性变换，即公式(5)是对同一纬度的像素按同一比例校正。然而事实上，图像(尤其是广角图像)的畸变往往不是均匀的，其畸变规律通常为从中心往边缘畸变越来越大。针对这一点，本公开实施例提出一种修正的经度法校正方法，其校正公式为：

$\left\{\begin{array}{c}t=|U-x_0|/x_0\\ x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}+{\mathrm{te}}^t\\ y=V\end{array}\right.---\left(6\right)$

从公式(6)可知，当U从0到x₀逐渐变大时，x增大的速度递减，当U从x₀逐渐变大时，x增大的速度递增。也即x从中心往边缘处变化的趋势越来越大，这解决了图像(尤其是广角图像)在中心校正过度而边缘校正不足的问题。

图5a和图5b分别示出了原始单视角视频图像和根据一个示例进行纵向校正后的单视角视频图像。如图5a和图5b所示，按照上述公式(6)进行纵向校正映射得到的校正后的单视角视频图像即消除了四个黑角区域，又对纵向曲线做了畸变校正，同时保留了图像有效区域的全部信息。

本实施例的方法还可进一步包括获得拐角区域视图的步骤。

全景图像对于有立体感的物体，通常会有很大的失真变形，并且其可视范围也受到限制。例如，当驾驶人驶出一个街道路口进行拐弯操作时，驾驶人可能在全景图上看不到路口两侧的路况，其实际已成为驾驶人的视觉盲区。鉴于此，本公开实施例的图像处理方法还可包括对对拐角区域图像进行正向投影变换，获得拐角区域视图，从而使得驾驶人看到路口两侧的实际路况，使驾驶人拐弯行车更安全，达到车头车尾真正意义上的无死角。

在一个示例中，可通过如下方式获得拐角区域视图：在所采集到的多个视频图像中，选定对应于车头和/或车尾两侧拐角处的指定拐角区域，利用投影变换，将指定拐角区域映射到目标区域，从而获得拐角区域视图。此处公开中的投影变换方式可与实施例1中获得俯视投影的投影变换方法基本相同，都是将指定区域中的四边形顶点映射到目标区域的四边形顶点上。唯一不同的是，这里选取的是立面参考物的立面上的四边形顶点(例如可以是墙面，柜子等立面物体的某一个立面上的四边形的顶点)，而不是地面参考物的四边形顶点。立面投影的结果使得拐角区域的视图以正向的形式显示在目标区域中，图像显示更美观。

图6a-图6c分别示出了原始视频图像和根据一个示例进行正向投影变换后的拐角区域视图。如图6a所示，在包含车头两侧拐角区域的原始视频图像 中，具有立体感的物体会有很大的失真变形，并且可视范围也受到限制。因此，可以选定车头两边拐角处的指定拐角区域，利用正向投影变换进行处理，将指定拐角区域的视频图像映射到目标区域，从而可以获得变换后的拐角区域视图，如图6b和6c所示，在变换后的拐角区域视图中，驾驶人能够看到路口两侧的实际路况，且其中有立体感的物体失真度更低。

利用该实施例的方法，在行车辅助系统中可进行全景视频图像、单视角视频图像以及拐角区域视图中一个或多个的显示，以更有效地辅助驾驶人行驶。

实施例2

图7示出了根据本公开的实施例的一种用于行车辅助的图像处理系统的结构图，包括：图像采集装置701，布置在车身周围以采集车身周围的多个视频图像；702处理装置，被配置为执行根据以上实施例1所述的用于行车辅助的图像处理方法的操作，以生成全景视频图像、单视角视频图像和拐角区域视图中的一种或多种；显示装置703，接收并显示所生成的全景视频图像、单视角视频图像和拐角区域视图中的一种或多种。

在一个示例中，图像采集装置可以为广角摄像头。

在一个示例中，图像采集装置的个数可以为4个，例如可分别设置在车身的前方、后方、左方和右方。然而，本领域技术人员应理解，图像采集装置的个数也可根据需要设置为其他任意数量，图像采集装置与车身的位置关系也可以根据需要以任意其他方式进行设置。例如，图像采集装置的个数可为6个以上，举例来说，对于大型的工程设备等车身较长的车辆，如果只在车身的侧方装一个摄像头，其视角范围可能不能覆盖车身侧面的整个区域。在这种情况下，可在车身的左右两侧按照长度比例关系各设置两个摄像头，共设置6个摄像头。对于车身更长的情况，例如多节的拖挂车辆，可在车身侧面设置更多摄像头，从而车身周围总共可设置8个或更多个摄像头。

在一个示例中，处理装置可以为可配置以执行特定操作的任意通用或专用处理器，例如CPU、单片机、专用处理电路系统等。

实施例3

本公开的实施例还提出了一种用于行车辅助的图像处理装置，该装置包括：用于对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀的部件；用于对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变的部件；用于对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像的部件；以及用于对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像的部件。

在一个示例中，亮度调节可包括：利用Gamma变换对所采集的车身周围的多个视频图像的每一图像帧进行亮度调节。

在一个示例中，畸变校正可包括：确定采集所述多个视频图像的图像采集装置的畸变参数，通过所述畸变参数获得畸变参数校正表，利用所述畸变参数校正表来获得畸变校正后的多个视频图像。

在一个示例中，可以通过如下投影变换公式，将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置(x,y)投影为俯视投影的视频图像中的对应点坐标位置(u,v)，从而实现投影变换：

$\left\{\begin{array}{c}x=A*u+B*v+C*u*v+D\\ y=E*u+F*v+G*u*v+H\end{array}\right.$

其中，A、B、C、D、E、F、G、H为变换参数。

在一个示例中，可以通过如下方式确定变换参数A、B、C、D、E、F、G、H：采集车身附近的标定参考物的图像；提取标定参考物上的角点位置的坐标；基于所述角点位置的坐标，以及相应的俯视投影的图像中与所述角点位置相对应的投影点的位置信息，得到参数A、B、C、D、E、F、G、H。

在一个示例中，标定参考物可为棋盘格标定布，角点可为棋盘格标定布上棋盘格的交叉点。

在一个示例中，用于行车辅助的图像处理装置还可以包括对多个视频图像分别做纵向校正处理，获得校正后的单视角视频图像的部件。

在一个示例中，纵向校正可包括：将视频图像中的像素点的横坐标还原到实际的位置，纵坐标保持不变。

在一个示例中，纵向校正可包括：基于以下公式进行纵向校正：

$\left\{\begin{array}{c}t=|U-x_0|/x_0\\ x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}+{\mathrm{te}}^t\\ y=V\end{array}\right.$

其中(x,y)为校正前像素点的横纵坐标，(U,V)为校正后对应像素点的横纵坐标，(x₀,y₀)为视频图像的中心坐标，R为获取所述多个视频图像的图像采集设备的成像半径。

在一个示例中，用于行车辅助的图像处理装置还可以包括：用于在所采集到的多个视频图像中，选定对应于车头和/或车尾两侧拐角处的指定拐角区域，利用正向投影变换将所述指定拐角区域映射到目标区域，从而获得拐角区域视图的部件，其中所述正向投影变换将所述指定拐角区域中立面参考物的立面上的四边形顶点映射到目标区域的四边形顶点上。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于行车辅助的图像处理方法，该方法包括：

对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀；

对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变；

对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像；以及

对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像。

2.根据权利要求1所述的用于行车辅助的图像处理方法，其中，所述亮度调节包括：利用Gamma变换对所采集的车身周围的多个视频图像的每一图像帧进行亮度调节。

3.根据权利要求1所述的用于行车辅助的图像处理方法，其中，所述畸变校正包括：确定采集所述多个视频图像的图像采集装置的畸变参数，通过所述畸变参数获得畸变参数校正表，利用所述畸变参数校正表来获得畸变校正后的多个视频图像。

4.根据权利要求1所述的用于行车辅助的图像处理方法，其中，通过如下投影变换公式，将畸变校正后的多个视频图像的每一个视频图像中的特征点的坐标位置(x,y)投影为俯视投影的视频图像中的对应点坐标位置(u,v)，从而实现投影变换：

$\left\{\begin{array}{c}x=A*u+B*v+C*u*v+D\\ y=E*u+F*v+G*u*v+H\end{array}\right.$

其中，A、B、C、D、E、F、G、H为变换参数。

5.根据权利要求4所述的用于行车辅助的图像处理方法，其中，通过如下方式确定变换参数A、B、C、D、E、F、G、H：

采集车身附近的标定参考物的图像；

提取标定参考物上的角点位置的坐标；

基于所述角点位置的坐标，以及相应的俯视投影的图像中与所述角点位置相对应的投影点的位置信息，得到参数A、B、C、D、E、F、G、H。

6.根据权利要求1所述的用于行车辅助的图像处理方法，还包括对多个视频图像分别做纵向校正处理，获得校正后的单视角视频图像。

7.根据权利要求6所述的用于行车辅助的图像处理方法，其中，所述纵向校正包括：将视频图像中的像素点的横坐标还原到实际的位置，纵坐标保持不变。

8.根据权利要求7所述的用于行车辅助的图像处理方法，其中，所述纵向校正包括：

基于以下公式进行纵向校正：

$\left\{\begin{array}{c}t=\left|U-x_0\right|/x_0\\ x=x_0+\frac{U-x_0}{R}\×\sqrt{R^2-y^2}+{\mathrm{te}}^t\\ y=V\end{array}\right.$

其中(x,y)为校正前像素点的横纵坐标，(U,V)为校正后对应像素点的横纵坐标，(x₀,y₀)为视频图像的中心坐标，R为获取所述多个视频图像的图像采集设备的成像半径。

9.根据权利要求1所述的用于行车辅助的图像处理方法，还包括：在所采集到的多个视频图像中，选定对应于车头和/或车尾两侧拐角处的指定拐角区域，利用正向投影变换将所述指定拐角区域映射到目标区域，从而获得拐角区域视图，其中所述正向投影变换将所述指定拐角区域中立面参考物的立面上的四边形顶点映射到目标区域的四边形顶点上。

10.一种用于行车辅助的图像处理系统，包括：

图像采集装置，布置在车身周围以采集车身周围的多个视频图像；

处理装置，被配置为执行根据权利要求1-9中任意一项所述的用于行车辅助的图像处理方法的操作，以生成全景视频图像、单视角视频图像和拐角区域视图中的一种或多种；

显示装置，接收并显示所生成的全景视频图像、单视角视频图像和拐角区域视图中的一种或多种。