CN108833874A - 一种用于行车记录仪的全景图像色彩校正方法 - Google Patents

Abstract

本发明公开了一种用于行车记录仪的全景图像色彩校正方法，包括以下步骤：获得预设帧数的拼接图像，根据各帧拼接图像获得模板图像；将模板图像与待校正拼接图像重叠获得一个重叠区域；将获得的重叠区域和模板图像进行Cr和Cd相关度判定，得出是否需要校正重叠区域的Cr和Cd值，直至完成待校正拼接图像所有区域的色彩校正。本发明的用于行车记录仪的全景图像色彩校正方法，可对拼接后的图像进行色域差异调整，可使拼接的图像在色彩上趋于一致，有利于拼接的图像在行车记录仪中的后续应用。

Description

一种用于行车记录仪的全景图像色彩校正方法

技术领域

本发明属于图像拼接色彩校正技术领域，特别涉及一种用于行车记录仪的全景图像色彩校正方法。

背景技术

图像采集设备及照片共享日益普及，通过单反相机和智能手机等设备可轻松采集图像，从社交网络或公共数据平台可轻松下载大量图像数据，大量可用的图像数据使得一些视觉应用成为可能，例如图像渲染和虚拟导航等。然而在很多情况下，由于大气照明、曝光时间及相机响应等因素的不同，相同场景的图像会显示明显的色调不一致，这种光度差异会影响基于渲染任务的多个图像的视觉效果，比如在行车记录仪中的应用。

目前，在行车记录仪的全景图像拼接领域中，通常采用一个相机的2-6个镜头来采集图像，或者采用多个相机采集图像，或者采用一个相机多次拍摄的方式来获取图像，随后将采集获取的一系列图像进行拼接。但是，由于场景亮度存在差异，镜头存在色差以及曝光不同等，采集的图片的色彩无法保证相同，使用这样的图像拼接后得到的高分辨率图像会存在较明显的色差，不利于行车记录仪的使用。

发明内容

本发明的目的在于提供一种用于行车记录仪的全景图像色彩校正方法，以解决上述存在的技术问题。本发明的用于行车记录仪的全景图像色彩校正方法，可对拼接后的图像进行色域差异调整，可使拼接的图像在色彩上趋于一致，有利于拼接的图像在行车记录仪中的后续应用。

为达到上述目的，本发明采用以下技术方案：

一种用于行车记录仪的全景图像色彩校正方法，包括以下步骤：

步骤1，获得预设帧数的拼接图像，获取各帧拼接图像在YCrCd通道下的Cr和Cd信息，将各帧拼接图像上对应位置的像素点的Cr和Cd色彩值的求均值，所得均值作为相应像素点的色彩值，获得模板图像；

步骤2，将模板图像与待校正拼接图像重叠获得一个重叠区域；

步骤3，将获得的重叠区域和模板图像进行Cr和Cd相关度判定，得出是否需要校正重叠区域的Cr和Cd值，无需校正则跳转至步骤4，需要校正则跳转至步骤5，直至完成待校正拼接图像所有区域的色彩校正；

步骤4，在待校正拼接图像上移动模板图像，更换待校正拼接图像与模板图像的重叠区域，跳转至步骤3；

步骤5，根据相关度判定获取修正系数λ，按照修正公式进行待校正拼接图像的校正，修正公式为：

G为待校正拼接图像的修正后的像素点色彩值，λ为修正系数，G_N为待校正拼接图像的修正前的像素点色彩值，为待校正拼接图像的修正前的色彩均值，为模板图像的色彩均值，跳转至步骤4。

进一步的，步骤3中，Cr和Cd相关度判定的方法为：

a.获取模板图像和待校正图像与模板图像的重叠区域的像素点Cr，Cd的值，计算得到模板图像以及重叠区域的像素点色彩值的均值和方差；

b.利用协方差和相关度判定函数计算模板图像和重叠区域的相关程度；

相关度判定函数的关系式为：

其中，是相关度判据，D[M_c]为模板图像M的色彩方差，D[N_c]为重叠区域N的色彩方差；cos(M_c,N_c)为模板图像与待校正拼接图像的协方差；

c.将获得的相关度判据与预设的阈值对比，判定此重叠区域是否需要色彩校正。

进一步的，步骤3中，Cr和Cd相关度判定的方法为：

计算模板图像与待校正拼接图像的协方差，协方差方程为：

cos(M_c,N_c)＝E[(M_c-E[M_c])(N_c-E[N_c])]

其中，M_c为模板图像的像素点色彩值，N_c为待校正拼接图像与模板图像的重叠区域的像素点色彩值。

模板图像与重叠区域的相关度判定原则为：

其中，是相关度判据，D[M_c]为模板图像M的色彩方差，D[N_c]为重叠区域N的色彩方差；cos(M_c,N_c)为模板图像与待校正拼接图像的协方差；根据相关度判据判定是否需要校正。

进一步的，其中，λ是修正系数，x，y为修正系数取值，λ为x时，以x值为校正系数进行校正，λ为y时，无需校正。

进一步的，步骤5中，修正系数λ的计算公式:

其中，在[0.8,1.0]之间，不进行校正；在[0.5,0.8]之间，修正系数取值0.6；在[0,0.5]之间，修正系数取值1.2。

进一步的，步骤1中，模板图像的获取方法具体包括：获取采集的各帧图像在YCrCd通道下的Cr、Cd信息，忽略亮度信息，每隔4*4的像素点取Cr和Cd色彩值的均值作为单一像素点色彩值，通过减少像素点数量获取压缩后的图像，此时获得初步模板图像；在初步模板图像中截取方块形模板图像，获得最终的模板图像。

进一步的，步骤4中，更换待校正拼接图像与模板图像的重叠区域具体包括：对一重叠区域进行修正之后，移动模板图像到待校正拼接图像的下一比对区域，每次移动保留与重叠区域的重合区。

进一步的，移动模板图像到待校正拼接图像的下一比对区域的具体方法为先从左向右，再从上到下。

进一步的，每次移动保留模板图像4％的区域作为重合区。

与现有技术相比，本发明具有以下有益效果：

本发明的用于行车记录仪的全景图像色彩校正方法，通过对多帧图像提取色彩信息并进行统计和处理，可获得整体图像的色彩显示趋向，获得校正用的模板图像；以模板图像与待校正拼接图像的重叠区域为对比单位，通过模板图像与待校正拼接图像的每个重叠区进行色彩对比和校正，可消除模板图像与重叠区域之间的色彩差异，能够使拼接图像的整体色彩趋于一致，避免拼接图像出现明显的色差痕迹，便于拼接图像在行车记录仪中的应用。在校正之前增加判定步骤，可增加色彩校正的效率。

进一步的，每次移动保留重叠区域一定的区域作为重合区，可防止出现明显的色彩不一致性条状区域，可进一步保证高色彩校正具有较好的效果。

附图说明

下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明的一种用于行车记录仪的全景图像色彩校正方法的流程示意框图；

图2是本发明的一种用于行车记录仪的全景图像色彩校正方法基于的行车记录仪结构示意图；

图3是行车记录仪采集图像的示意图；

图4是分区校正中模板图像移动示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

参考图1，本发明的一种用于行车记录仪的全景图像色彩校正方法，包括以下步骤：

步骤1，获得预设帧数的拼接图像，获取各帧拼接图像在YCrCd通道下的Cr和Cd信息，将各帧拼接图像上对应位置的像素点的Cr和Cd色彩值的求均值，所得均值作为相应像素点的色彩值，获得模板图像。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。

步骤1中的模板图像的获取方法具体包括：获取采集的各帧图像在YCrCd通道下的Cr、Cd信息，忽略亮度信息，每隔4*4的像素点取Cr和Cd色彩值的均值作为单一像素点色彩值，通过减少像素点数量获取压缩后的图像，此时获得初步模板图像；在初步模板图像中截取方块形模板图像，获得最终的模板图像。

步骤2，将模板图像与待校正拼接图像重叠获得一个重叠区域。

步骤3，将获得的重叠区域和模板图像进行Cr和Cd相关度判定，得出是否需要校正重叠区域的Cr和Cd值，无需校正则跳转至步骤4，需要校正则跳转至步骤5，直至完成待校正拼接图像所有区域的色彩校正。

步骤3中，Cr和Cd相关度判定的方法为：a.获取模板图像和待校正图像与模板图像的重叠区域的像素点Cr，Cd的值，计算得到模板图像以及重叠区域的像素点色彩值的均值和方差；b.利用协方差和相关度判定函数计算模板图像和重叠区域的相关程度。

计算模板图像与待校正拼接图像的协方差，协方差方程为：

cos(M_c,N_c)＝E[(M_c-E[M_c])(N_c-E[N_c])]

其中，M_c为模板图像的像素点色彩值，N_c为待校正拼接图像与模板图像的重叠区域的像素点色彩值。

相关度判定函数的关系式为：

其中，是相关度判据，D[M_c]为模板图像M的色彩方差，D[N_c]为重叠区域N的色彩方差；cos(M_c,N_c)为模板图像与待校正拼接图像的协方差；

c.将获得的相关度判据与预设的阈值对比，判定此重叠区域是否需要色彩校正。

修正公式为：其中，λ是修正系数，x，y为修正系数取值，λ为x时，以x值为校正系数进行校正，λ为y时，无需校正。

具体为，修正系数λ的计算公式:

其中，在[0.8,1.0]之间，不进行校正；在[0.5,0.8]之间，修正系数取值0.6；在[0,0.5]之间，修正系数取值1.2。

步骤4，在待校正拼接图像上移动模板图像，更换待校正拼接图像与模板图像的重叠区域，跳转至步骤3。

参考图4，步骤4中，更换待校正拼接图像与模板图像的重叠区域具体包括：对一重叠区域进行修正之后，移动模板图像到待校正拼接图像的下一比对区域，每次移动保留与重叠区域的重合区。移动模板图像到待校正拼接图像的下一比对区域的具体方法为先从左向右，再从上到下。每次移动保留模板图像4％的区域作为重合区。

步骤5，根据相关度判定获取修正系数λ，按照修正公式进行待校正拼接图像的校正，修正公式为：

G为待校正拼接图像的修正后的像素点色彩值，λ为修正系数，G_N为待校正拼接图像的修正前的像素点色彩值，为待校正拼接图像的修正前的色彩均值，为模板图像的色彩均值，跳转至步骤4。

实施例1

本发明的全景图像色彩校正方法应用在双目行车记录仪上，可解决现有技术对图像进行拼接后存在图像整体色域差异的技术问题，保证图像拼接后，最终图像能够在色彩一致性上不会产生明显的差异，便于后续使用。

参见图2，汽车行驶时，行车记录仪工作通过相机采集图像，并记录与存储设备中，在本实施例中，该行车记录仪相机包括两个摄像头，在拍摄全景图像时，双目摄像头可以采集不同角度位置的图像，并在双目相机内部将不同角度位置的多幅图传递给微处理器的拼接模块进行拼接处理，而后通过微处理器内部的色彩校正模块进行色彩校正处理，最后生成色彩一致性全景图像，存储于存储器。

行车记录仪的双目摄像头的安装位置参见图3，在本实施例中，双目摄像头安装在汽车A、D柱上，拍摄前方视景，摄像头采用90°的广角摄像头，且保持同一水平高度，并且保证双目摄像头拍摄范围有一定的交叉区域。摄像头采集的图像通过串口传输到微处理器的图像拼接模块，按拼接缝将图像拼接成全景图像，然后将图像传送到色彩校正模块，进行色彩校正，最后存储于存储器中。

参见图1，本实施例的色彩校正方法如下：

步骤1，获得多帧拼接图像，提取方块形模板图像M,模板大小n*n。

本实施例的色彩校正方法采用双目摄像头，色彩校正模块获得多帧图像，多帧图像是由双目摄像头采集的图像全景拼接所得的连续帧图像。色彩校正模块从多帧图像中提取方块形模板图像M。

模板图像M的提取方法为：获取采集的多帧图像在YCrCd通道下的Cr、Cd信息，忽略亮度信息，每隔4*4的像素点取Cr、Cd色彩的均值作为单一像素点色彩值，通过减少像素点数量获取压缩后的图像，此时获得初步模板图像。

参见图4，图4为模板分区校正示意图。通常我们需要的摄像头采集的像素点数已知，根据全景图像的像素值和实际需要，截取满足使用要求的模板图像n*n(n为像素点数)，获得所需方块形模板图像M。

本发明一种具体实施例：采集的全景图像分辨率为1780*720，裁剪时需要满足模板移动时保留4％的重合区域，满足先左后右、先上后下的模板移动保留4％重合区域，上下模板同样保留4％的重合区域，所述所需的模板分辨率为368*368，因此裁剪图像模板为368*368。

步骤2，模板图像M和待校正图像的重叠区域N在Cr、Cd双通道中进行相关度判定，判定是否需要校正Cr、Cd值。

步骤1获得的模板图像M与待校正图像的重叠区域N进行匹配，通过模板图像和待校正图像的重叠区域N的相关度判定，判定重叠区域是否需要色彩校正。

在本实施例中，待校正的图像来自拼接后的全景图像，重叠区域为模板图像覆盖的待校正拼接图像的区域，待校正拼接图像分为若干个重叠区域，对判定的需要校正的重叠区域进行校正。

色彩校正的原理是比对图像模板与重叠区域图像的整体像素点的Cr、Cd值，如果判定需要校正，则按照校正方程进行色彩校正；如果判定不需要校正，则移动图像模板M到待校正拼接图像的下一区域，形成新的重叠区域，新的重叠区域对进行相关度判定，循环至全部判定并校正完成。

在本实施例中，所进行的相关度判定的过程为：

a.获取模板图像M和待校正图像与模板图像重叠区域N的像素点Cr，Cd的值，计算得到两图像像素点色彩值的均值和方差；

b.利用协方差方程和相关度判定函数计算两者的匹配程度；

c.根据相关性判定函数值比对设定的阈值判定是否需要色彩校正。

相关度判定的具体计算公式为：

首先，计算像素点色彩值的均值和方差：

模板图像M色彩均值：

待拼接重叠区域N色彩均值：

模板图像M色彩方差：

待拼接重叠区域N色彩方差：

上面的四个计算公式中，Mc为模板图像M的所有像素点的色彩值的统计值，Nc为待校正重叠区N的所有像素点的色彩值的统计值，C_M、C_N分别为图像M、N像素点的Cr或Cd值。

计算像素点的Cr、Cd色彩值的均值和方差均采用上述方程。

计算模板图像M和重叠区域N的协方差和进行相关度判定：

模板图像M和重叠区域N的协方差公式：

Cos(M_c,N_c)＝E[(M_c-E[M_c])(N_c-E[N_c])]；

相关度判据：

此方程的计算基于概率统计学原理，将像素点的值作为统计值，将模板图像M和重叠图像N进行相似程度判定，判定是将Cr、Cd通道分别判定进行的。

在本具体实施例中，通过计算两幅图像的相关度，根据判定结果，依据设定的阈值进而判定图像是否需要校正以及修正系数的参数值，此修正系数用于修正颜色差异较大的重叠区域。

最后，根据阈值校正的修正系数：

修正系数:

在本实施例中，如果判定区间在[0.8,1.0]之间，则不进行色彩校正；如果判定区间在[0.5,0.8]之间，修正系数取值0.6；如果判定区间在[0,0.5]之间，则修正系数取值1.2。

步骤3，当判断为不需要Cr或Cd色彩值的校正时，则进行下一区域的比对，重新计算相关度和判断是否需要色彩校正，直到完成所有区域的色彩校正工作。

在本实施例中，依据步骤2所得修正系数λ，使用修正公式对目标图像进行图像修正。

图像修正公式为：

式中，G为重叠图像N的修正后的像素点色彩值，G_N为重叠图像N的修正前的像素点色彩值，为重叠图像N的修正前的图像色彩均值，为模板图像的色彩均值。

通过本实施例的图像修正公式，对待校正像素点的色彩值进行修正之后可获得与模板图像色彩一致性的拼接图像。

在本实施例中，对一重叠区域进行色彩修正之后，移动模板图像到待校正拼接图像的下一比对区域形成新的重叠区域的方式为先从左向右，再从上到下，每次移动保留模板图像4％的区域作为重合区域，保留4％的区域作用为防止出现明显的色彩不一致性条状区域。重叠区域的移动方式参见图4。

最后将获得的图像存储于存储设备中，以备后续使用。本实施例的存储设备可以是sd卡、光盘、硬盘等。

在本说明书的描述中，使用以上步骤实现双目行车记录仪色彩校正工作，参考术语“在本实施例”的描述意指结合实例描述的具体方法、结构或者特点包含在本发明的实施例中，但不限于本实施例。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关领域，均视为包含在本发明的专利保护范围内。

Claims (9)

1.一种用于行车记录仪的全景图像色彩校正方法，其特征在于，包括以下步骤：

步骤1，获得预设帧数的拼接图像，获取各帧拼接图像在YCrCd通道下的Cr和Cd信息，将各帧拼接图像上对应位置的像素点的Cr和Cd色彩值的求均值，所得均值作为相应像素点的色彩值，获得模板图像；

步骤2，将模板图像与待校正拼接图像重叠获得一个重叠区域；

步骤3，将获得的重叠区域和模板图像进行Cr和Cd相关度判定，得出是否需要校正重叠区域的Cr和Cd值，无需校正则跳转至步骤4，需要校正则跳转至步骤5，直至完成待校正拼接图像所有区域的色彩校正；

步骤4，在待校正拼接图像上移动模板图像，更换待校正拼接图像与模板图像的重叠区域，跳转至步骤3；

步骤5，根据相关度判定获取修正系数λ，按照修正公式进行待校正拼接图像的校正，修正公式为：

G为待校正拼接图像的修正后的像素点色彩值，λ为修正系数，G_N为待校正拼接图像的修正前的像素点色彩值，为待校正拼接图像的修正前的色彩均值，为模板图像的色彩均值，跳转至步骤4。

2.根据权利要求1所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，步骤3中，Cr和Cd相关度判定的方法为：

a.获取模板图像和待校正图像与模板图像的重叠区域的像素点Cr，Cd的值，计算得到模板图像以及重叠区域的像素点色彩值的均值和方差；

b.利用协方差和相关度判定函数计算模板图像和重叠区域的相关程度；

相关度判定函数的关系式为：

其中，是相关度判据，D[M_c]为模板图像M的色彩方差，D[N_c]为重叠区域N的色彩方差；cos(M_c,N_c)为模板图像与待校正拼接图像的协方差；

c.将获得的相关度判据与预设的阈值对比，判定是否需要色彩校正。

3.根据权利要求1所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，步骤3中，Cr和Cd相关度判定的方法为：

计算模板图像与待校正拼接图像的协方差，协方差方程为：

cos(M_c,N_c)＝E[(M_c-E[M_c])(N_c-E[N_c])]

其中，M_c为模板图像的像素点色彩值，N_c为待校正拼接图像与模板图像的重叠区域的像素点色彩值；

模板图像与重叠区域的相关度判定原则为：

其中，是相关度判据，D[M_c]为模板图像M的色彩方差，D[N_c]为重叠区域N的色彩方差；cos(M_c,N_c)为模板图像与待校正拼接图像的协方差；根据相关度判据判定是否需要校正。

4.根据权利要求2或3所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，

其中，λ是修正系数，x，y为修正系数取值，λ为x时，以x值为校正系数进行校正，λ为y时，无需校正。

5.根据权利要求2或3所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，步骤5中，修正系数λ的计算公式:

其中，在[0.8,1.0]之间，不进行校正；在[0.5,0.8]之间，修正系数取值0.6；在[0,0.5]之间，修正系数取值1.2。

6.根据权利要求1所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，步骤1中，模板图像的获取方法具体包括：获取采集的各帧图像在YCrCd通道下的Cr、Cd信息，忽略亮度信息，每隔4*4的像素点取Cr和Cd色彩值的均值作为单一像素点色彩值，通过减少像素点数量获取压缩后的图像，此时获得初步模板图像；

在初步模板图像中截取方块形图像，方块形图像即为最终的模板图像。

7.根据权利要求1所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，步骤4中，在待校正拼接图像上移动模板图像，更换待校正拼接图像与模板图像的重叠区域具体包括：对一重叠区域进行修正之后，移动模板图像到待校正拼接图像的下一比对区域，每次移动保留与重叠区域的重合区。

8.根据权利要求7所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，移动模板图像到待校正拼接图像的下一比对区域的具体方法为先从左向右，再从上到下。

9.根据权利要求7或8所述的一种用于行车记录仪的全景图像色彩校正方法，其特征在于，每次移动保留模板图像4％的区域作为重合区。