CN113689368B - 一种应用于车载环视图像的光照一致性自动调整方法 - Google Patents

Abstract

本发明提供一种应用于车载环视图像的光照一致性自动调整方法，通过多个相机拍摄的图像，找出所拍摄图像中相邻图像的公共区域，获取相邻图像的公共区域中像素点的参数，根据相邻图像的公共区域像素点的参数，同步建立多个相邻区域对应通道的目标函数并求解目标函数的最小值，获得最小值条件下相应图像对应通道的调整系数，通过调整系数对图像区域的进行调整。通过本发明的提供光照一致性调整方法，使用全局优化过程来计算调整系数，以调整整个图像的颜色和亮度，以避免出现累积误差。

Description

一种应用于车载环视图像的光照一致性自动调整方法

技术领域

本发明涉及汽车领域，尤其涉及一种车载环视图像融合的光照一致性自动调整方法。

背景技术

车载3D环视系统利用安装在车辆四周的广角摄像头重构车辆以及周围场景，生成车载环视全景图像。驾驶员可以通过观察全景图像安全泊车、避开障碍物和消除视觉盲区，达到安全行车的目的。由于不同相机安装在车辆的不同部位，其高度和安装角度都有所不同，所以在实际场景获得的光照参数也是不一样的，从而导致每个相机的成像亮度，颜色等信息都有所差别。随着针对每个输入图像重新计算诸如曝光和白平衡之类的图像参数，场景不同部分的照度变化导致相邻图像中的不同曝光水平，场景不同部分中的不同颜色的对象影响白平衡设置，导致相同的对象在相邻图像中显得更亮或更暗，甚至具有不同的表观颜色。如果没有其他颜色和亮度处理，则可能会在融合后的景图像中创建图像重叠区域中的伪像，并且假设相同对象具有相同颜色值的图像拼接阶段可能会失败。而人眼在观看实物的时候往往需要在同一个光照参数下才会获得很好的体验。在汽车3D环视系统为了使多路相机最后生成的统一画面有比较好的成像体验，需要对多路相机进行光照一致性自动调整。

为了对多个相机拍摄的图像融合进行调整，专利一CN110443771A公开了一种车载环视相机系统中环视图亮度与颜色一致性调整方法，其相邻相机的重合区域的颜色调整对于每个通道通过求公共区域的像素的强度均值，然后调整相邻相机对应地面的鸟瞰图的共视区域像素强度均值误差最小化为目标求解出调整系统，这种方法存在较大的缺陷。在车载环视场景中，其与一般的拍照场景不同，多个相机分别处于车身前后左右，其所处环境差别较大，在无遮挡或者阴影区域时，使用这种简单的均值计算方法可以获得较好的效果，但是大多数情况车身四周环境存在较大差异，每个摄像头所处的环境不同，造成像素强度值相差较大，采用如专利一的均值方法对车载环视图片合成效果较差，图像的色差较为明显，而且颜色容易饱和。现有技术中为了确保环视显示画面的流畅，采用低分辨率的相机，成像质量占据较好的存储空间，一方面可以减少传输带宽的负荷，另一面，降低车载中控在进行拼接所需要的计算时间，但这样以牺牲画质为代价，影响体验。目前随着用户对成像质量的提高，相机采用高清相机，其成像质量具有占据较大的存储空间，其实时拍摄车身周围的图片，然后传输到车载中控进行计算后完成环视拼接。高清图像占据较大存储空间的图像会使得传输变得缓慢，再加上车载中控进行图片拼接会占据大量的时间，使得图像的成像出现卡顿延时。

发明内容

为了解决现有技术中存在的技术缺陷，本发明提供了一种应用于车载环视图像的光照一致性自动调整方法，包括：

步骤S1，获取多个相机拍摄的图像；

步骤S2，获取所拍摄图像中相邻图像的公共区域；

步骤S3，获取相邻图像的公共区域中像素点的参数，根据相邻图像的公共区域像素点的参数，同步建立多个相邻区域对应通道的目标函数并求解目标函数的最小值，获得最小值条件下相应图像对应通道的调整系数；

步骤S4，通过调整系数对相邻图像区域的公共区域进行调整。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，步骤S4中，还包括利用调整系数对图像的非公共区域进行调整。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，分别计算对相邻公共区域调整前后变化的参数，然后针对同一图像，判断非公共区域图像的亮度均值与公共区域的亮度均值之差是否大于预设阈值，或判断非公共区域图像的亮度方差与公共区域的方差之差是否大于预设阈值，若大于预设阈值，则利用调整系数对图像的非公共区域进行校正。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，所述相机采用车载以太网相机，相机的通信方式基于车载以太网进行通信，多个相机同步曝光，车载以太网相机中包括车载以太网PHY芯片、MAC芯片和非易失性存储器；所述调整系数存储于非易性存储器中。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，所述像素点中的参数包括RGB或YCbCr，RGB与YCbCr能够相互转化。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，所述步骤S1具体包括：获取物体的三维坐标与相机拍摄的物体的图像的二维坐标对应关系：

其中，(u，v)表示图像的二维坐标、f_u和f_v分别表示相机在图像的横轴和纵轴上的基于像素的焦距、(C_x，C_y)表示图像的中心点坐标、R和T分别表示旋转和平移向量、(X，Y，Z)表示物体在世界坐标系下的三维坐标，其中， Height和Width分别表示成像平面内图像的高度和宽度；d_x，d_y分别表示相机在横轴和纵轴的像元尺寸。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，所述步骤S3具体包括：像素点的参数包括Y、Cb、Cr参数，相机数量包括至少二个相机，安装于车身的四周；

设相邻图像公共区域像素的参数包括Y，Cb，Cr三个通道，通过调整系数对像素的Y，Cb，Cr通道进行调整。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，相机数量包括四个，安装于车身四周的前、后、左、右，四个相机拍摄相邻图像的公共区域对应通道的目标函数为：

F＝(k_1jσ_fj-k_2jσ_lj)²+(k_2jσ_lj-k_3jσ_tj)²+(k_t3jσ_tj-k_4jσ_rj)²+(k_1jσ_rj-k_4jσ_fj)²，j∈(Y，Cb，Cr)

式中，f，l，t，r分别表示安装于车身位置的前，左，后，右相机，k_1j，k_2j，k_3j，k_4j分别为对应相机拍摄图像的调整系数，j∈(Y，Cb，Cr)；σ_lj，σ_fj，σ_tj，σ_rj分别表示对应相机拍摄相邻图片的公共区域像素的方差。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，在目标函数中，以调整系数k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)为自变量，对目标函数求偏导，并设相应的偏导数等于0，获取方程组：

通过求解上式方程组，获得调整系数k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，通过调整系数来分别调整Y，Cb，Cr的值，即：

Y_i′＝k_iYY_i

C_bi＝k_iCbC_bi

C_ri′＝k_iCrC_ri

上式中，k_iY，k_iCb，k_iCr分别表示第i个相机对应的Y通道、Cb通道，Cr通道的调整系数；Y_i，C_bi，C_ri分别表示第i个相机调整前对应的Y通道、Cb通道，Cr通道的数值；Y′_i，C′_bi，C′_ri分别表示第i个相机调整后对应的Y通道、Cb通道，Cr通道的数值。

一种应用于车载环视图像的光照一致性自动调整方法，进一步地，获取Y道通，Cb通道，Cr通道的调整系数，然后利用调整系数将Y，C_b，C_r转化为最终调整后图像像素的RGB值，转化方程式包括：

R_i，G_i，B_i分别表示第i个相机所拍摄的图像经过调整后的图像像素对应的数值；Y_i，C_bi，C_ri表示对第i个相机拍摄的图片调整前图像像素对应的数值；k_iY，k_iCb，k_iCr分别表示第i个相机对应的Y通道、Cb通道，Cr通道的调整系数，

有益效果：

1.本发明提供的技术方案中，能够对相邻图片的色彩和亮度进行调节，使其能够拼接成高质量的车载环视图像，通过使用全局优化过程来计算调整系数，以调整张图像的颜色和亮度，以避免出现累积误差。

2.本发明的图像调整系数并非实时调整，而是在预设的周期T内仅计算一次获得调整系数，在预设的周期T内都采用相同的调整系数，兼顾实时性和对光照一致性的要求，避免频繁的计算给车载主机增加负荷以及画面的抖动、卡顿。

3.本发明的图像调整并非相邻相机公共区域的调整，而是车载环视采用的多个相机的一致性调整，避免传统的调整仅考虑相邻相机的公共区域从而造成的色差。

4.本发明通过将图像从RGB转化到YCbCr进行传输，使得图像的传输过程中占据较小的带宽，在进行调整后再将YCbCr转化为RGB，进一步确保实时画面的连续性。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1为本发明一实施例中3D环视系统中场景的三维基础模型。

图2为本发明一实施例中车载环视系统采用的四个相机安装于车身四周的俯视示意图。

图3为本发明一实施例中车载环视相机拍摄图片的一致性调整流程示意图。

具体实施方式

为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。

本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。

本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合

应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。

车载环视图像融合的光照一致性自动调整方法，具体参见图2，包括：

步骤S1，获取多个相机拍摄的图像；

步骤S2，获取所拍摄图像中相邻图像的公共区域；

步骤S3，获取相邻相机的公共区域中像素点的参数，根据相邻像素点的参数，同步建立多个相邻区域对应通道的目标函数并求解目标函数的最小值，获得最小值条件下相应图像对应通道的调整系数；

步骤S4，通过调整系数对相应的图像区域进行调整，完成环视拼接；

像素点中的参数包括RGB或Y、Cb、Cr。

具体地，图中的像素点参数也即图像的表征参数，其颜色可以用不同方式来进行表征，如用RGB来表示或YCrCb或HSV或YUV，在多个相机的图片融合阶段，可以采用RGB对图片进行颜色调节。但是在车载环视的场景中，图片的运算都是在车内ECU运行，而车内ECU的存储容量有限，需要优先分配给车内主要控制部件进行数据存储。为了降低系统的存储负荷，将图片的颜色RGB存储可以转化为YCrCb,其中Y表示亮度，Cr表示红色色度分量，Cb蓝色色度分量，其优点是只需要占据极少的频宽，而RGB要求三个独立的视频信号同时传输，因此通过将RGB调节转化YCrCb,在图片传输只需要占据极少的带宽，提高处理速度和实时性。

YCbCr与RGB之间的转化关系：

Y＝0.257*R+0.564*G+0.098*B+16

Cb＝-0.148*R-0.291*G+0.439*B+128

Cr＝0.439*R-0.368*G-0.071*B+128

写成矩阵表达式为：

设矩阵

则上式可以写成：

在步骤S1中，获取多个相机拍摄的图像，具体地，由于图像的颜色是基于相机拍摄形成的二维图像，但是拍摄的物体是三维图像，因此，需要获取物体的三维坐标与相机拍摄图像的二维坐标对应关系：

具体地，在3D环视系统中场景的三维显示过程是在特定的三维基础模型上完成的，首先在需要建立一个三维空间模型，模型由特定个数的三维坐标点组成，这些坐标点又组成一定数量的三角面。由于车辆安装的摄像头视场角度限制，所以在绘制三维模型的时候，采用的是绘制一个半球装模型，参见图1。在绘制球面模型的过程可以使用球坐标或者极坐标来建立球面的方程，我们采用球坐标的参数来建立方程，这样可以根据实际需求来修改半球的参数，包括球半径、方向、位置，角度等。

在建立球面坐标的时候引入参数u，v来作为球面上控制经纬位置的参数，使用u，v的表达式分别构建球面上的三维坐标(x，y，z)，得到f(x，y，z)＝g(u，v)，v表示球面坐标三维点与原点之间的连续与Z轴的夹角，u表示球面三维点与原定的连续在X-0-Y平面上的投影与X轴正方向的夹角。利用平移矩阵和半径参数以及旋转矩阵建立球面方程如下：

根据公式(1)建立一个半球面的三维坐标，在3D环视系统使用的是4路车载以太网相机，在做光照一致性自动调整之前需要将根据公式(2)创建的球面三维坐标变换到图像二维坐标上，根据针孔相机模型的成像原理，在理想的情况下拍摄到的图像点与镜头中心和物体三维点具有三点共线性，根据这个特性，可以使用齐次坐标矩阵将它们直接的关系表示出来，如下所示：

其中，(u，v)表示图像的二维坐标、f_u和f_v分别表示相机在图像的横轴和纵轴上的基于像素的焦距、(C_x，C_y)表示图像的中心点坐标、R和T分别表示相机坐标到世界坐标的转换关系，即两个坐标系的旋转和平移向量、(X，Y，Z)表示物体在世界坐标系下的三维坐标，即前面设置的虚拟三维坐标平面，这里设置Z＝0。其中，Height和Width分别表示成像平面内图像的高度和宽度；d_x，d_y分别表示相机在横轴和纵轴的像元尺寸。根据公式最终完成的三维点到图像点的转换。

在步骤S3中，其主要目的是获取相机的图像调整系数对图片颜色进行调节，消除相机由于安装的位置和角度、场景的光照强度不一致，传感器噪声，快门速度和曝光时间的差异，从而导致颜色亮度差异。现有技术中，仅是采取均值最小化来进行调节，这种调节在车载环视场景其准确度较低，因为车载环视场景中，摄像头安装的位置相距较大，其拍摄图像的成像质量受到当前环境影响，导致某些局部像素区域存在较大差异，通过均值调整，相当于对参数大的区域和参数小的区域都采用了一样的调整系数，导致合成的图片色差较大。

为了消除该技术缺陷，步骤S3具体包括：

由于采用4个相机，相机成像后的图像颜色亮度的差异会影响人眼的视觉效果，使得拼接之后的图像仍然体现不出整体的效果，因此需要对4个相机的颜色和亮度进行自动调整才能满足人眼观看的要求，达到光照一致性。

在建立完3D基础模型之后可以根据模型的区域来确定左右前后的公共区域，利用公共区域的光照特征来完成自动调整。通过公式(3)将三维模型的三维点投影到图像点上，由于采用的是基于车载以太网的摄像头，可以实时的采集到带颜色的彩色图像，根据彩色图像的RGB信息来反应最终的拼接效果。要想获得比较好的视觉效果，就必须是4个相机在光照和颜色上都能达到统一，并且可以根据场景的不同来进行自动调整，由于车载以太网相机在传输过程更加稳定可靠，延迟时间短，而且可以保存一定的参数值。

根据3D环视的特征，将最终的三维模型投影到平面上形成如图3所示的场景，在前后左右相机中一共有4个公共区域记为M1，M2，M3，M4，并且设需要计算的四个相机的参数为k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)。

设公共区域的图像的参数Y，Cb，Cr值为三个通道，实现的过程是对3个通道的像素分别调整，设某个通道的均方差为

其中f(u，v)为图像坐标u，v对应的像素值，是公共区域内的像素均值，对4路以太网相机进行同步调整，即对4个公共区域有个目标函数：

F＝(k_1jσ_fj-k_2jσ_lj)²+(k_2jσ_lj-k_3jσ_tj)²+(k_t3jσ_tj-k_4jσ_rj)²+(k_1jσ_rj-k_4jσf_j)²，j∈(Y，Cb，Cr) (5)

其中f，l，t，r分别表示前，左，后，右。k_1j，k_2j，k_3j，k_4j分别为对应相机拍摄图像的调整系数，j∈(Y，Cb，Cr)；

σ_lj，σ_fj，σ_tj，σ_rj，分别为对应相机相邻公共区域像素的方差；

通过将车身上的采用的相机同时建立目标函数，使得多个相机的颜色系统相互关联，避免单一调整相邻相机颜色忽略其它相机对其造成的色差影响。

根据公式5，分别对k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)求偏导，即：

对公式(6)的偏导都等于0，获取新的表达式为：

方程式(7)式可以简化为AX＝0的方程式，使用SVD分解的方法可以计算出k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)的值。在实际计算的过程中是对三通道的图像数据Y，Cb，Cr分别根据公式(7)计算4个调整系数，并将最终的调整系数来分别调整Y，Cb，Cr的值，即：

Y_i′＝k_iYY_i

C_bi′＝k_iCbC_bi

C_ri′＝k_iCrC_ri，i∈(f，l，t，r)

改写成矩阵的形式：

通过公式(1)，将Y，Cb，Cr转成直接转化为RGB，

即：

i∈(f，l，t，r)，Y_i，C_bi，C_ri表示对第i个相机拍摄的图片中与其具有公共相邻区域的像素参数值；

R_i，G_i，B_i分别表示第i个相机所拍摄的图像经过调整后的图像像素对应的数值；Y_i，C_bi，C_ri表示对第i个相机拍摄的图片调整前图像像素对应的数值；k_iY，k_iCb，k_iCr分别表示第i个相机对应的Y通道、Cb通道，Cr通道的调整系数，

根据公式(9)可以对4路相机进行实时的光照一致性调整，鉴于实际过程中为了保证总体环视的帧率，若每次拼接都进行调整，其在调整过程中需要计算机实时计算出参数进行调整后才能进行图像拼接。但由于相机在车载环视过程中实时都在拍摄图片(每秒拍摄30张)，多个拍摄相机的图像同时传输到车载中控进行计算将消耗大量的带宽和计算资源，而车载环视成像要求实时性，实时调节将会导致画面出现卡顿、增加系统较大的负荷。若要保证连续性，需要压缩图像牺牲图相质量，这样会导致图片颜色调整存在的意义不大。因此为了确保高清画质以及画面的连续性，在调整的过程可以选择性的进行调整，即每隔一定的时间间隔T来进行调整，首先将计算好的调整系数保存在以太网相机的flash闪存当中，在时间间隔T之内对4个相机的每个相机使用同一次计算出的调整参数来进行调整，当时间大于T之后再使用公式(7)和公式(9)来重新计算下一次参数，这样在时间间隔T内只需要计算一次，即满足了帧率要求也满足了对光照一致性的要求。

在车载环视拼接的过程中，多个相机的目标函数建立以及目标函数的求解获取调整系数的步骤每隔预设的周期T内进行一次计算，在周内T的多个相机拍摄的图片调整采用相同的调整系数，兼顾实时性要求和对光照一致性的要求，避免频繁的计算给车载主机增加负荷。

本实施中的3D环视系统采用车载以太网高清摄像头(720p/100万像素)，其每秒能够拍摄30张照片，车载以太网高清摄像头采用车载以太网技术，产品主要包括镜头、感光芯片、图像处理芯片、车载以太网PHY芯片、MAC芯片、视频编码芯片、电源管理芯片、汽车级连接器和金属结构件。车载以太网摄像头具有一个可以擦写的非易失性存储器，如flash，在做光照一致性的时候可以将计算的参数保存到flash当中，这样在兼顾效率的情况下可以不需要实时的去计算参数保证的最终的帧率。

由于上述调整仅是针对相邻相机的公共区域进行调整，在车身周围局部环境光照差异大，如路边的树、不规则形状的房屋、车周围的物体等都有可能对车身周围的光照环境产生较大差异，使得即便调整后，公共区域颜色是均衡了，但是非公共区域差别较大，为了缩小这种差异，使车载环视图像融合的效果更好，需要对非公共区域也要进行调整，具体地：

分别计算对相邻公共区域调整前后变化的数值，然后针对同一图像，判断非公共区域图像的亮度Y的均值与公共区域的均值之差是否大于预设阈值，或判断非公共区域图像的亮度方差与公共区域的图像亮度方差的差是否大于预设阈值，若大于预设阈值，则利用调整系数对图像进行整体调整；

具体地为了更好描述定义图像整体调整函数为Gi，其中i,i∈(f,l,t,r)

其中G_f表示前相机的调整函数，当存在非公共区域的亮度均值与公共区域的亮度均值之间的差值或非公共区域的亮度方差与公共区域的方差之间的亮度差值大于预设的阈值时，G_f＝1，其余情况为0。当G_f等于1时，则对图片颜色进行整体调整，否则不进行调整。其中，分别表示前相机拍摄的图片对应的非公共区域的均值，公共区域M1的均值，公共区域M2的均值，ε_f1表示预设的阈值；分别表示前相机拍摄的图片对应的非公共区域的方差，公共区域M1的方差，公共区域M2的方差，ε_f2表示预设的阈值

同理，对于右相机有：

其中G_r表示右相机的调整函数，当存在非公共区域的亮度均值与公共区域的亮度均值之间的差值或非公共区域的亮度方差与公共区域的方差之间的亮度差值大于预设的阈值时，G_r＝1，其余情况为0。当G_r等于1时，则对图片颜色进行整体调整，否则不进行调整。其中，分别表示右相机拍摄的图片对应的非公共区域的均值，公共区域M2的均值，公共区域M4的均值，ε_f3表示预设的阈值；分别表示右相机拍摄的图片对应的非公共区域的方差，公共区域M2的方差，公共区域M4的方差，ε_f4表示预设的阈值；

同理，对于后相机有：

其中G_t表示后相机的调整函数，当存在非公共区域的亮度均值与公共区域的亮度均值之间的差值或非公共区域的亮度方差与公共区域的方差之间的亮度差值大于预设的阈值时，G_t＝1，其余情况为0。当G_t等于1时，则对图像颜色进行整体调整，否则不进行调整。其中，分别表示后相机拍摄的图像对应的非公共区域的均值，公共区域M3的均值，公共区域M4的均值，ε_f5表示预设的阈值；分别表示后相机拍摄的图片对应的非公共区域的方差，公共区域M3的方差，公共区域M4的方差，ε_f6表示预设的阈值；

同理，对于左相机有：

其中G_l表示左相机的调整函数，当存在非公共区域的亮度均值与公共区域的亮度均值之间的差值或非公共区域的亮度方差与公共区域的方差之间的亮度差值大于预设的阈值时，G_l＝1，其余情况为0。当G_l等于1时，则对图片颜色进行整体调整，否则不进行调整。其中，分别表示左相机拍摄的图片对应的非公共区域的均值，公共区域M1的均值，公共区域M3的均值，ε_f7表示预设的阈值；分别表示左相机拍摄的图片对应的非公共区域的方差，公共区域M1的方差，公共区域M3的方差，ε_f8表示预设的阈值。

具体地，可以根据当前车身周围的环境选择是否整体调整图像还是仅调整公共区域的图像，使图像效果达到最佳；

为了减少ECU的处理负荷，首先进行公共区域的图像进行调整，然后在求解阈值函数，根据阈值函数的数值在决定是否对整张图片进行调整，最后进行环视拼接以及图像融合。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，包括：

步骤S1，获取多个相机拍摄的图像；

步骤S2，获取所拍摄图像中相邻图像的公共区域；

步骤S3，获取相邻图像的公共区域中像素点的参数，根据相邻图像的公共区域像素点的参数，同步建立多个相邻区域对应通道的目标函数并求解目标函数的最小值，获得最小值条件下相应图像对应通道的调整系数；

步骤S4，通过调整系数对相邻图像区域的公共区域进行调整；

相机数量包括四个，安装于车身四周的前、后、左、右，四个相机拍摄相邻图像的公共区域对应通道的目标函数为：

F＝(k_1jσ_fj-k_2jσ_lj)²+(k_2jσ_lj-k_3jσ_tj)²+(k_t3jσ_tj-k_4jσ_rj)²+(k_1jσ_tj-k_4jσ_fj)²，j∈(Y，Cb，Cr)

式中，f，l，t，r分别表示安装于车身位置的前，左，后，右相机，k_1j，k_2j，k_3j，k_4j分别为对应相机拍摄图像的调整系数，j∈(Y，Cb，Cr)；σ_lj，σ_fj，σ_tj，σ_tj分别表示对应相机拍摄相邻图片的公共区域像素的方差。

2.如权利要求1所述一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，步骤S4中，还包括利用调整系数对图像的非公共区域进行调整。

3.如权利要求1所述一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，分别计算对相邻公共区域调整前后变化的参数，然后针对同一图像，判断非公共区域图像的亮度均值与公共区域的亮度均值之差是否大于预设阈值，或判断公共区域图像的亮度方差与公共区域的方差之差是否大于预设阈值，若大于预设阈值，则利用调整系数对图像的非公共区域进行校正。

4.如权利要求1所述一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，所述相机采用车载以太网相机，相机的通信方式基于车载以太网进行通信，多个相机同步曝光，车载以太网相机中包括车载以太网PHY芯片、MAC芯片和非易失性存储器；所述调整系数存储于非易性存储器中。

5.如权利要求1所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，所述像素点中的参数包括RGB或YCbCr，RGB与YCbCr能够相互转化。

6.如权利要求1所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，所述步骤S1具体包括：获取物体的三维坐标与相机拍摄的物体的图像的二维坐标对应关系：

其中，(u，v)表示图像的二维坐标、f_u和f_v分别表示相机在图像的横轴和纵轴上的基于像素的焦距、(C_x，C_y)表示图像的中心点坐标、R和T分别表示旋转和平移向量、(X，Y，Z)表示物体在世界坐标系下的三维坐标，其中， Height和Width分别表示成像平面内图像的高度和宽度；d_x，d_y分别表示相机在横轴和纵轴的像元尺寸。

7.如权利要求1所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，所述步骤S3具体包括：像素点的参数包括Y、Cb、Cr参数，相机数量包括至少二个相机，安装于车身的四周；

设相邻图像公共区域像素的参数包括Y，Cb，Cr三个通道，通过调整系数对像素的Y，Cb，Cr通道进行调整。

8.如权利要求1所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，在目标函数中，以调整系数k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)为自变量，对目标函数求偏导，并设相应的偏导数等于0，获取方程组：

通过求解上式方程组，获得调整系数k_1j，k_2j，k_3j，k_4j，j∈(Y，Cb，Cr)。

9.如权利要求8所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，通过调整系数来分别调整Y，Cb，Cr的值，即：

Y_i′＝k_iYY_i

上式中，k_iY，k_iCb，k_iCr分别表示第i个相机对应的Y通道、Cb通道，Cr通道的调整系数；Y_I，分别表示第i个相机调整前对应的Y通道、Cb通道，Xr通道的数值；Y′_i，分别表示第i个相机调整后对应的Y通道、Cb通道，Cr通道的数值。

10.如权利要求8所述的一种应用于车载环视图像的光照一致性自动调整方法，其特征在于，获取Y道通，Cb通道，Cr通道的调整系数，然后利用调整系数将Y，C_b，C_r转化为最终调整后图像像素的RGB值，转化方程式包括：

R_I，G_I，B_I分别表示第i个相机所拍摄的图像经过调整后的图像像素对应的数值；Y_i，表示对第i个相机拍摄的图片调整前图像像素对应的数值；k_iY，k_iCb，k_iCr分别表示第i个相机对应的Y通道、Cb通道，Cr通道的调整系数，