CN114040179A - 一种图像的处理方法及装置 - Google Patents

Abstract

一种图像的处理方法及装置，用以解决图像拼接显示过程中出现的拼接图像质量不高的问题。本申请中提供的方法包括：获取待拼接为当前帧图像的第一图像和第二图像，确定所述第一图像与所述第二图像重叠区域的第一白平衡值以及第二白平衡值；根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值，并对所述第一图像的像素值进行调整，之后将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

Description

一种图像的处理方法及装置

技术领域

本申请涉及图像处理领域，特别涉及一种图像的处理方法及装置。

背景技术

随着计算机和图像处理技术的发展，尤其是图像拼接技术的进步，为得到宽视角图像提供了很好的解决方案，因此被广泛应用于各个领域。在拼接相机中，由于硬件感光器件(传感器(sensor)、镜头等)、光照条件等的差异，导致呈现出来的图像存在一定的色彩差异。由于各个图像的色彩差异较大，导致图像拼接后，拼接效果较差。目前采用的处理方法是在每台感光器件出厂时增加一道色彩校正的工序，从而降低不同感光器件采集图像色彩的差异性，但是会增加感光器件生产过程中的成本。

发明内容

本申请实施例提供了一种图像的处理方法及装置，用以解决图像拼接显示过程中出现的拼接图像质量不高的问题。

第一方面，本申请实施例提供了一种图像的处理方法，包括：获取待拼接为当前帧图像的第一图像和第二图像，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠；确定所述第一图像上与所述第二图像重叠的第一区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的第二区域的第二白平衡值；根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，所述当前帧图像的第一补偿因子用于所述当前帧图像中的第二图像对于第一图像的白平衡补偿；基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值；根据所述第三白平衡值对所述第一像的像素值进行调整；将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

基于上述方案，在进行图像的拼接处理时，根据当前帧的第一图像的白平衡值与第二图像的白平衡值计算第一补偿因子，以根据第二图像对第一图像进行白平衡补偿，以达到校正偏差的效果。基于前一帧图像的第二补偿因子与调整对第一补偿因子调整得到第三补偿因子，根据第三补偿因子对第一图像的白平衡进行调整，该方案可实时调整补偿因子，达到实时校正偏差的目的，适用于多种场景，且补偿效果较好。

在一些实施例中，基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子，包括：对所述第一补偿因子以及所述当前帧图像的前一帧图像的第二补偿因子进行加权求和获得所述第三补偿因子。

基于上述方案，通过对第一补偿因子与第二补偿因子加权求和获得第三补偿因子，在拼接图像获取运动场景时，具有适应性好、误差小的优点。

在一些实施例中，所述第三补偿因子满足如下公式所示的条件：

α′(n)＝λ·α(n)+(1-λ)·α(n-1)；

其中，α′(n)为所述第三补偿因子，α(n)为所述第一补偿因子，α(n-1)为所述第二补偿因子，λ为所述第一补偿因子的权重，1-λ表示所述第二补偿因子的权重。

在一些实施例中，所述第一补偿因子的参考权重通过如下方式确定：将所述第一区域和第三区域分别划分为K个N×N图像块；所述第三区域为用于拼接为前一帧图像的两个图像中其中一个图像上的重叠区域；确定所述第一区域包括的K个图像块与所述第三区域包括的K个图像块中相似块的数量；将相似块的数量与所述K的百分比作为所述第一区域与所述第三区域的相似度；根据所述相似度确定所述第一补偿因子的权重和所述第二补偿因子的权重。

在一些实施例中，所述第一补偿因子的权重满足如下公式所示的条件：

其中，λ为所述第一补偿因子的权重，γ表示所述相似度。

基于上述方案，当当前帧图像与前一帧图像的相似度越低时，当前帧的第一补偿因子的权重越小，前一帧图像的第二补偿因子的权重就越大，说明画面中出现了运动物体，那么在进行图像的拼接时，前一帧图像的第二补偿因子对当前帧的图像的影响较大，有利于提高补偿的效果，降低补偿误差。

在一些实施例中，确定所述第一图像上与所述第二图像重叠的区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的区域的第二白平衡值，包括：确定所述第一区域的三个颜色分量分别对应的平均值，以及确定所述第二区域的三个颜色分量分别对应的平均值；以所述第一区域中的第一颜色分量的平均值为基准，确定所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；其中，所述第一白平衡值包括所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；以所述第二区域中的第一颜色分量的平均值为基准，确定所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值；其中，所述第二白平衡值包括所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值。

在一些实施例中，根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，包括：将所述第一白平衡值中的第二颜色分量的白平衡值与所述第二白平衡值中的第二颜色分量的白平衡值比值，确定为所述当前帧图像的第二颜色分量的第一补偿因子；将所述第一白平衡值中的第三颜色分量的白平衡值与所述第二白平衡值中的第三颜色分量的白平衡值比值，确定为所述当前帧图像的第三颜色分量的第一补偿因子。

基于上述方案，根据第一区域与第二区域的颜色分量的平均值计算第一区域与第二区域的白平衡值，然后再根据第一白平衡值与第二白平衡值计算第一补偿因子，根据第一补偿因子对第一图像进行调整，提高了拼接图像的拼接效果。

第二方面，本申请实施例提供了一种图像的处理装置，包括获取模块与处理模块；其中，

所述获取模块，用于获取待拼接为当前帧图像的第一图像和第二图像，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠；

所述处理模块，用于确定所述第一图像上与所述第二图像重叠的第一区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的第二区域的第二白平衡值；根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，所述当前帧图像的第一补偿因子用于所述当前帧图像中的第二图像对于第一图像的白平衡补偿；基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值；根据所述第三白平衡值对所述第一图像的像素值进行调整；将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

在一些实施例中，所述处理模块，在基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子时，具体用于：

对所述第一补偿因子以及所述当前帧图像的前一帧图像的第二补偿因子进行加权求和获得所述第三补偿因子。

在一些实施例中，所述第三补偿因子满足如下公式所示的条件：

α′(n)＝λ·α(n)+(1-λ)·α(n-1)；

其中，α′(n)为所述第三补偿因子，α(n)为所述第一补偿因子，α(n-1)为所述第二补偿因子，λ为所述第一补偿因子的权重，1-λ表示所述第二补偿因子的权重。

在一些实施例中，所述处理模块，还用于：将所述第一区域和第三区域分别划分为K个N×N图像块；所述第三区域为用于拼接为前一帧图像的两个图像中其中一个图像上的重叠区域；确定所述第一区域包括的K个图像块与所述第三区域包括的K个图像块中相似块的数量；将相似块的数量与所述K的百分比作为所述第一区域与所述第三区域的相似度；根据所述相似度确定所述第一补偿因子的权重和所述第二补偿因子的权重。

在一些实施例中，所述第一补偿因子的权重满足如下公式所示的条件：

其中，λ为所述第一补偿因子的权重，γ表示所述相似度。

在一些实施例中，所述处理模块，在确定所述第一图像上与所述第二图像重叠的区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的区域的第二白平衡值时，具体用于：

确定所述第一区域的三个颜色分量分别对应的平均值，以及确定所述第二区域的三个颜色分量分别对应的平均值；

以所述第一区域中的第一颜色分量的平均值为基准，确定所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

其中，所述第一白平衡值包括所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

以所述第二区域中的第一颜色分量的平均值为基准，确定所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值；

其中，所述第二白平衡值包括所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值。

在一些实施例中，所述处理模块，在根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子时，具体用于：

将所述第一白平衡值中的第二颜色分量的白平衡值与所述第二白平衡值中的第二颜色分量的白平衡值比值，确定为所述当前帧图像的第二颜色分量的第一补偿因子；

将所述第一白平衡值中的第三颜色分量的白平衡值与所述第二白平衡值中的第三颜色分量的白平衡值比值，确定为所述当前帧图像的第三颜色分量的第一补偿因子。

第三方面，本申请实施例提供了一种图像的处理装置，包括存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行第一方面所述的图像的处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的图像的处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被计算机执行时，实现上述第一方面中任意可能的实现方式中的方法。

另外，第二方面至第五方面中的任一种实现方式所带来的技术效果可参见第一方面不同的实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理系统的方框示意图；

图2为本申请实施例提供的一种图像的处理方法的流程示意图；

图3为本申请实施例提供的一种第一图像与第二图像重叠的示意图；

图4A为本申请实施例提供的未进行白平衡调节拼接成的拼接图像；

图4B为本申请实施例提供的一种对图像进行白平衡调节后的拼接图像；

图5为本申请实施例提供的一种图像的处理装置的示意图；

图6为本申请实施例提供的另一种图像的处理装置的示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供的方案可以应用于图像处理系统。该图像处理系统包括至少两个摄像头以及至少一个处理器。一些场景中，该至少两个摄像头与至少一个处理器可以部署在一个设备上，如拼接相机。另一些场景中，该摄像头可以采用网络摄像头，该至少一个处理器可以部署在一个服务器中或者部署于服务器集群中。其中，不同的摄像头以一定的角度部署，使相邻的两个摄像头采集的场景存在重叠。该服务器用于对至少两个摄像头采集的图像进行拼接处理。

参照图1所示，是本申请实施例提供的图像处理系统100的一种方框示意图。图1中以两个摄像头为例。该图像处理系统100包括处理器110、第一摄像头120、第二摄像头130。处理器110分别与第一摄像头120和第二摄像头130直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

处理器110，例如可以是处理器、微处理器、控制器等控制组件，例如可以是通用中央处理器(central processing unit，CPU)，系统级芯片(System on a Chip，SoC)，通用处理器，数字信号处理(digital signal processing，DSP)，专用集成电路(applicationspecific integrated circuits，ASIC)，现场可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

第一摄像头120与第二摄像头130，也可以叫做感光元件，它是一种用来接收通过镜头的光线，并且将这些光信号转换成为电信号的装置。第一摄像头120与第二摄像头130可以采用电荷耦合器件(Charge-Coupled Device，CCD)传感器或者互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器等感光元件。本申请实施例中第一摄像头120与第二摄像头130也可以称为彩色摄像头。

其中，第一摄像头120用于在处理器110的控制下进行图像采集。第二摄像头130也用于在处理器110的控制下进行图像采集。处理器110用于对第一摄像头120以及第二摄像头130进行控制，并对第一摄像头120及第二摄像头130采集的图像进行处理，比如，执行本申请实施例提供的图像处理方法。一些实施例中，图像处理系统100中还可以包括存储器140，存储器140用于存储数据或者程序。处理器110可以通过读/写存储器中存储的数据或程序，并执行相应地功能。其中，存储器140用于存储程序或者数据。该存储器140可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammable Read-Only Memory，EEPROM)等。

一些实施例中，图像处理系统100还可以包括通信组件，图1中未示出。比如，通信组件可用于建立拼接相机与其它设备之间的通信连接，用于获取拼接后的图像数据并显示在其它设备上。再比如，通信组件可以用于通过网络建立网络摄像头与服务器之间的通信连接，并通过该网络获取网络摄像头采集的图像数据。

应当理解的是，图1所示的结构仅为图像处理系统100的结构示意图，该图像处理系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

下面结合附图对本申请实施例提供的方案进行描述。

本实施例提供了一种图像的处理方法，图2示例性的示出了一种图像的处理方法的流程，该方法可以通过图像处理系统100实现，或者由图像处理系统中的处理器110来实现。以方法由图像处理系统中的处理器110为例进行说明，为了便于描述，后续不再对图像处理系统的各个组件的标识进行示例。

210，处理器获取第一摄像头采集的第一图像以及第二摄像头采集的第二图像。第一图像和第二图像为待拼接为当前帧图像两个图像。

其中，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠。比如，在监控场景中，第一摄像头可以通过一个方向采集某一场景(比如路口)的视频流，第二摄像头可以通过另一个方向采集该路口的视频流。视频流是多个连续的视频帧构成的。一个视频帧对应一个图像。第一摄像头和第二摄像头在同一时间段采集的视频帧的图像可以作为待拼接的两个图像。

示例性地，采用第一摄像头在第一时间段采集第一图像，第二摄像头在第一时间段采集第二图像时，第一图像与第二图像中存在重叠区域，参见图3。

为了便于区分，将第一图像上与第二图像重叠的区域称为第一区域，将第二图像上与第一图像重叠的区域称为第二区域。

一些实施例中，可以通过第一摄像头与第二摄像头的视场角以及第一摄像头与第二摄像头光轴的夹角来确定两个图像的重叠区域。另一些实施例中，可以通过针对两个图像进行像素匹配的方式来确定两个图像的重叠区域。

220，处理器确定第一图像上与第二图像重叠的第一区域的第一白平衡值，以及第二图像上与第一图像重叠的第二区域的第二白平衡值。

第一图像和第二图像每个像素通过三个颜色分量来表示。作为一种举例，第一白平衡值和第二白平衡值均可以包括三个颜色分量的白平衡值。作为一种举例，可以以某一颜色分量为基准确定另外两个颜色分量的白平衡值。

230，根据第一白平衡值和第二白平衡值确定当前帧图像的第一补偿因子。

一些实施例中，为了降低第一图像与第二图像之间的色彩差异性，可以以一个图像的色彩为基准，调整另一个图像的色彩。比如可以以第一图像为基准对第二图像的色彩进行调整，或者以第二图像为基准对第一图像的色彩进行调整。

在确定第一补偿因子时，可以在获取第一白平衡值与第二白平衡值后，以其中的一个白平衡值为基准，计算另一个白平衡值相对于该一个白平衡值的补偿因子，作为当前帧的第一补偿因子。后续对具体确定方式进行详细描述，此处不再赘述。

一些实施例中，第一图像和第二图像每个像素通过三个颜色分量来表示，第一补偿因子可以包括三个颜色分量分别对应的补偿因子。

240，处理器基于当前帧图像的前一帧图像的第二补偿因子对第一补偿因子进行调整得到第三补偿因子。

一些实施例中，在使用第一补偿因子对图像进行白平衡值调整之前，通过获得的第二补偿因子对第一补偿因子进行调整，得到最终用于调整图像白平衡值的第三补偿因子。获取当前帧图像的前一帧图像的第二补偿因子的方法与获取第一补偿因子的方法相同，此处不再赘述。

250，处理器根据第三补偿因子调整当前帧图像的第一白平衡值得到第三白平衡值。

260，处理器根据第三白平衡值对第一图像的像素值进行调整。

270，处理器将调整后的第一图像与第二图像拼接获得所述当前帧图像。

本申请实施例提供的方案，通过在拼接前基于一个图像的白平衡值对另一个图像的白平衡值进行调整，以提高两个图像的色彩一致性，使待拼接的两幅图像能够更好的融合，获得的当前帧图像的拼接效果更好。

在一些实施例中，在计算两个图像的重叠区域的白平衡值时，可以以其中的一个颜色通道为基准，确定另外两个颜色通道的白平衡值。以上述第一图像和第二图像为例，第一图像上的重叠区域称为第一区域，第二图像上的重叠区域称为第二区域。

示例性地，将三个颜色分量称为第一颜色分量、第二颜色分量以及第三颜色分量。

在一些实施例中，在分别计算两个图像的重叠区域白平衡值之前，可以根据第一图像与第二图像的重叠区域的颜色分量值，确定第一区域与第二区域的三个颜色分量分别对应的平均值。

作为一种举例，处理器可以将第一图像与第二图像的重叠区域分成多个M×M的图像块，并计算第一区域中每个图像块的三个颜色分量分别对应的平均值以及第二区域中每个图像块的三个颜色分量分别对应的平均值。将第一区域包括的图像块的同一颜色分量的平均值之和与第一区域包括的图像块的总数的比值，确定为第一区域中三个颜色分量分别对应的平均值。将第二区域包括的图像块的同一颜色分量的平均值之和与第二区域包括的图像块的总数的比值，确定为第二区域中三个颜色分量分别对应的平均值。

然后以第一区域的第一颜色分量的平均值为基准，计算第一区域的第一白平衡值，所述第一白平衡值包括第一颜色分量之外的第二颜色分量与第三颜色分量的白平衡值。

同样的，再以第二区域中的第一颜色分量为基准，计算第二区域的第二白平衡值，所述第二白平衡值包括第一颜色分量之外的第二颜色分量与第三颜色分量的白平衡值。

比如，图像的颜色分量包括红颜色分量、绿颜色分量以及蓝颜色分量。以第一颜色分量为绿颜色分量，第二颜色分量为红颜色分量，第三颜色分量为蓝颜色分量为例，第一区域的三个颜色分量的平均值分别用

表示。

示例性地，在确定第一区域的第一白平衡值时，通过如下公式实现以第一区域中的绿颜色分量的平均值为基准，确定第一区域的红颜色分量与蓝颜色分量的白平衡值：

其中，R_gain1为所述第一图像的红颜色分量的白平衡值，B_gain1为所述第一图像的蓝颜色分量的白平衡值。

再比如，第二区域的三个颜色分量的平均值分别用

表示。在确定第二区域的第二白平衡值时，通过如下公式实现以第二区域中的绿颜色分量的平均值为基准，确定第二区域的红颜色分量与蓝颜色分量的白平衡值：

其中，R_gain2为所述第二图像的红颜色分量的白平衡值，B_gain2为所述第二图像的蓝颜色分量的白平衡值。

在一种可能的实现方式中，在确定第一区域的第一白平衡值与第二区域的第二白平衡值之后，可以以第二白平衡值为基准，获取当前帧图像的第一白平衡值相对于第二白平衡值的第一补偿因子。

一种可能的示例中，将第一白平衡值中的第二颜色分量的白平衡值和第二白平衡值中的第二颜色分量的白平衡值的比值，确定为当前帧图像的第二颜色分量的第一补偿因子；将第一白平衡值中的第三颜色分量的白平衡值和第二白平衡值中的第三颜色分量的白平衡值的比值，确定为当前帧图像的第三颜色分量的第一补偿因子。示例性地，可以以红颜色分量为第二颜色分量，以蓝颜色分量为第三颜色分量，则红颜色分量与蓝颜色分量的第一补偿因子为：

α_R＝R_gain1/R_gain2；

α_B＝B_gain1/B_gain2；

其中，α_R为当前帧图像的红颜色分量的第一补偿因子，α_B为当前帧图像的蓝颜色分量的第一补偿因子。

在另一些实施例中，相机采集的场景是复杂多变的，当运动物体经过第一图像与第二图像的重叠区域所在的场景时，会对第一补偿因子产生影响，造成画面的突变。基于此，本申请在对当前帧图像进行色彩调整(即白平衡调整)之前，可以考虑前一帧图像的第二补偿因子对于当前帧图像的补偿因子的影响。通过第二补偿因子对第一补偿因子进行修正，减少运动物体造成的误差。比如，在使用第一补偿因子对第一图像进行色彩调整之前，还可以通过前一帧图像的第二补偿因子对当前帧图像的第一补偿因子进行调整，将调整后得到的第三补偿因子用于当前帧图像的白平衡补偿。示例性地，可以通过对第一补偿因子与第二补偿因子进行加权求和获得第三补偿因子。

一些实施例中，对第一补偿因子与第二补偿因子进行加权求和所采用的权重可以根据当前帧图像与前一帧图像的图像块的相似度进行调整，该相似度可以根据对图像块进行梯度直方图匹配获得。当然也可以采用其它的相似度的确定方式。如下以梯度直方图匹配的方式为例描述确定当前帧图像与前一帧图像的图像块的相似度的方式：

A1，计算第一图像的第一区域与第三图像上的第三区域分别包括的图像块的梯度直方图。

在针对用于拼接为当前帧图像的第一图像和第二图像融合之前，以第二图像为基准对第一图像的白平衡值进行调整。用于拼接为前一帧图像的两个图像分别为第三图像和第四图像。前一帧图像拼接之前，以第四图像为基准对第三图像的白平衡值进行调整。当前帧图像的其中一个图像的重叠区域与前一帧图像的其中一个图像的重叠区域进行匹配，来确定相似度。本申请实施例中以第一图像和第三图像进行相似度匹配为例。本申请实施例中为了便于描述，将第三图像上的重叠区域称为第三区域。

比如，可以将第一区域与第三区域分别划分为K个N×N的图像块，利用梯度模板，计算第一区域与第三区域的每个图像块的像素点的水平方向与垂直方向的梯度。

具体地，以红颜色分量为例，红颜色分量的梯度强度与梯度方向为：

θ_r(x,y)＝arctan(G_h,r(x,y)/G_v,r(x,y))；

其中，G_r(x,y)为梯度强度，θ_r(x,y)为梯度方向，G_h,r(x,y)为像素点的红颜色分量的水平方向的梯度，G_v,r(x,y)为像素点的红颜色分量的垂直方向的梯度。

根据上式中的梯度强度与梯度方向计算每个图像块的梯度方向直方图。

A2，根据第一区域与第三区域分别包括的图像块的梯度直方图，计算当前帧图像的重叠区域与前一帧图像的重叠区域的相似度。

一种可能的实现方式中，利用欧式公式对第一区域包括的图像块与第三区域的图像块进行直方图匹配，当第一区域包括的第i个图像块与第三区域包括的第i个图像块的梯度方向直方图的匹配值达到指定阈值时，确定该第一区域包括的第i个图像块与第三区域包括的第i个图像块相似。将重叠区域中相似图像块(简称相似块)的个数与第一区域包括的图像块(或者第三区域包括的图像块)总数的比值作为第一区域与第三区域的相似度，则该相似度满足：

γ＝K₁/K；

其中，K₁为相似图像块的个数，K为第一区域包括的图像块的总数。

在一些实施例中，可以根据重叠区域的相似度对权重进行调整，当前帧图像的第一补偿因子的权重为：

其中，λ为第一补偿因子的权重，γ为第一区域与第三区域的相似度。

进一步的，根据相似度确定第一补偿因子的权重与第二补偿因子的权重，根据第一补偿因子的权重与第二补偿因子的权重对第一补偿因子与第二补偿因子进行加权求和获得第三补偿因子。

在一些实施例中，第三补偿因子包括两个颜色分量的补偿因子，作为一种举例，以红颜色通道作为第二颜色通道，以蓝颜色通道作为第三颜色通道，则第三补偿因子包括的红颜色通道与蓝颜色通道的补偿因子为：

α′_R(n)＝λ·α_R(n)+(1-λ)·α_R(n-1)；

α′_B(n)＝λ·α_B(n)+(1-λ)·α_B(n-1)；

其中，α′_R(n)为红颜色分量的第三补偿因子，α_R(n)为红颜色分量的第一补偿因子，α_R(n-1)为红颜色分量的第二补偿因子，α′_B(n)为蓝颜色分量的第三补偿因子，α_B(n)为蓝颜色分量的第一补偿因子，α_B(n-1)为蓝颜色分量的第二补偿因子，λ为第一补偿因子的权重，1-λ为第二补偿因子的权重。

在一些实施例中，确定第三补偿因子后，还需要根据第三补偿因子对当前帧图像的白平衡值进行调整并确定当前帧图像的第三白平衡值。示例性地，通过第三补偿因子对当前帧图像中的第一图像的第一白平衡值进行调整并确定当前帧图像的第三白平衡值。第三白平衡值包括第二颜色分量的白平衡值与第三颜色分量的白平衡值。作为一种举例，以红颜色分量为第二颜色分量，以蓝颜色分量为第三颜色分量为例，通过第三补偿因子确定第三白平衡值为：

R′_gain(n)＝R_gain(n)·α′_R(n)；

B′_gain(n)＝B_gain(n)·α′_B(n)；

其中，R′_gain(n)为第一图像中红颜色分量的第三白平衡值，B′_gain(n)为第一图像中蓝颜色分量的第三白平衡值。R_gain(n)为第一图像的红颜色分量的白平衡值，B_gain(n)为第一图像的蓝颜色分量的白平衡值。

在一些实施例中，在确定第三白平衡之后，根据第三白平衡值中的红颜色分量的白平衡值与蓝颜色分量的白平衡值对第一图像中的像素值进行调整，调整后的第一图像的红蓝颜色分量为：

R′＝R×R′_gain(n)；

B′＝B×B′_gain(n)；

其中，R′为调整后的第一图像的红颜色分量，B′为调整后的第一图像的蓝颜色分量，R为第一摄像头获取的第一图像像素值中的红颜色分量，B为第一摄像头获取的第一图像像素值中的蓝颜色分量。

作为一种举例，结合图4A与图4B对本申请实施例的效果进行描述。图4A为当前帧的两个图像未进行白平衡调节拼接成的拼接图像，图4B为使用本申请实施例提供的方法对图像进行白平衡调节后的拼接图像。

基于相同的技术构思，图5示例性的示出了本申请实施例提供的一种图像的处理装置500，该装置可以执行图3所示的图像处理方法的流程。

参见图5所示，该装置具体包括：

获取模块501和处理模块502。

所述获取模块501，用于获取待拼接为当前帧图像的多个图像，所述获取模块包括至少两个摄像头。示例性地，以所述获取模块501包括两个摄像头为例，所述获取模块501用于获取待拼接为当前帧图像第一图像和第二图像，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠。

所述处理模块502，用于确定所述第一图像上与所述第二图像重叠的第一区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的第二区域的第二白平衡值；根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，所述当前帧图像的第一补偿因子用于所述当前帧图像中的第二图像对于第一图像的白平衡补偿；基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值；根据所述第三白平衡值对所述第一图像的像素值进行调整；将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

在一些实施例中，所述处理模块502，在基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子时，具体用于：

对所述第一补偿因子以及所述当前帧图像的前一帧图像的第二补偿因子进行加权求和获得所述第三补偿因子。

在一些实施例中，所述处理模块502，还用于：

将所述第一区域和第三区域分别划分为K个N×N图像块；所述第三区域为用于拼接为前一帧图像的两个图像中其中一个图像上的重叠区域；

确定所述第一区域包括的K个图像块与所述第三区域包括的K个图像块中相似块的数量；

将相似块的数量与所述K的百分比作为所述第一区域与所述第三区域的相似度；

根据所述相似度确定所述第一补偿因子的权重和所述第二补偿因子的权重。

在另一些实施例中，所述处理模块502，在确定所述第一图像上与所述第二图像重叠的区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的区域的第二白平衡值时，具体用于：

确定所述第一区域的三个颜色分量分别对应的平均值，以及确定所述第二区域的三个颜色分量分别对应的平均值；

以所述第一区域中的第一颜色分量的平均值为基准，确定所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

其中，所述第一白平衡值包括所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

以所述第二区域中的第一颜色分量的平均值为基准，确定所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值；

其中，所述第二白平衡值包括所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值。

在又一些实施例中，所述处理模块502，在根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子时，具体用于：

将所述第一白平衡值中的第二颜色分量的白平衡值与所述第二白平衡值中的第二颜色分量的白平衡值比值，确定为所述当前帧图像的第二颜色分量的第一补偿因子；

将所述第一白平衡值中的第三颜色分量的白平衡值与所述第二白平衡值中的第三颜色分量的白平衡值比值，确定为所述当前帧图像的第三颜色分量的第一补偿因子。

基于相同的技术构思，本申请实施例还提供了一种图像的处理装置600，如图6所示，包括：

存储器601，用于存储程序指令；

处理器602，用于调用存储器中存储的程序指令，按照获得的程序执行上述图像的处理方法。

在本申请实施例中，处理器602可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器601作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器601可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器601还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像的处理方法，其特征在于，包括：

获取待拼接为当前帧图像的第一图像和第二图像，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠；

确定所述第一图像上与所述第二图像重叠的第一区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的第二区域的第二白平衡值；

根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，所述当前帧图像的第一补偿因子用于所述当前帧图像中的第二图像对于第一图像的白平衡补偿；

基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；

根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值；

根据所述第三白平衡值对所述第一图像的像素值进行调整；

将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

2.如权利要求1所述的方法，其特征在于，所述基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子，包括：

对所述第一补偿因子以及所述当前帧图像的前一帧图像的第二补偿因子进行加权求和获得所述第三补偿因子。

3.如权利要求2所述的方法，其特征在于，所述第三补偿因子满足如下公式所示的条件：

α′(n)＝λ·α(n)+(1-λ)·α(n-1)；

其中，α′(n)为所述第三补偿因子，α(n)为所述第一补偿因子，α(n-1)为所述第二补偿因子，λ为所述第一补偿因子的权重，1-λ表示所述第二补偿因子的权重。

4.如权利要求2或3所述的方法，其特征在于，所述第一补偿因子的权重通过如下方式确定：

将所述第一区域和第三区域分别划分为K个N×N图像块；所述第三区域为用于拼接为前一帧图像的两个图像中其中一个图像上的重叠区域；

确定所述第一区域包括的K个图像块与所述第三区域包括的K个图像块中相似块的数量；

将相似块的数量与所述K的百分比作为所述第一区域与所述第三区域的相似度；

根据所述相似度确定所述第一补偿因子的权重和所述第二补偿因子的权重。

5.如权利要求4所述的方法，其特征在于，所述第一补偿因子的权重满足如下公式所示的条件：

其中，λ为所述第一补偿因子的权重，γ表示所述相似度。

6.如权利要求1-3、5任一项所述的方法，其特征在于，所述确定所述第一图像上与所述第二图像重叠的区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的区域的第二白平衡值，包括：

确定所述第一区域的三个颜色分量分别对应的平均值，以及确定所述第二区域的三个颜色分量分别对应的平均值；

以所述第一区域中的第一颜色分量的平均值为基准，确定所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

其中，所述第一白平衡值包括所述第一区域的第二颜色分量的白平衡值和所述第一区域的第三颜色分量的白平衡值；

以所述第二区域中的第一颜色分量的平均值为基准，确定所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值；

其中，所述第二白平衡值包括所述第二区域的第二颜色分量的白平衡值和所述第二区域的第三颜色分量的白平衡值。

7.如权利要求6所述的方法，其特征在于，所述根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，包括：

将所述第二白平衡值中的第一颜色分量的白平衡值与所述第二白平衡值中的第二颜色分量的白平衡值比值，确定为所述当前帧图像的第二颜色分量的第一补偿因子；

将所述第一白平衡值中的第三颜色分量的白平衡值与所述第二白平衡值中的第三颜色分量的白平衡值比值，确定为所述当前帧图像的第三颜色分量的第一补偿因子。

8.一种图像的处理装置，其特征在于，包括处理模块与获取模块；

所述获取模块，用于获取待拼接为当前帧图像的第一图像和第二图像，所述第一图像和所述第二图像是通过第一摄像头和第二摄像头采集的，所述第一摄像头与所述第二摄像头采集的场景存在重叠；

所述处理模块，用于确定所述第一图像上与所述第二图像重叠的第一区域的第一白平衡值，以及所述第二图像上与所述第一图像重叠的第二区域的第二白平衡值；根据所述第一白平衡值和所述第二白平衡值确定所述当前帧图像的第一补偿因子，所述当前帧图像的第一补偿因子用于所述当前帧图像中的第二图像对于第一图像的白平衡补偿；基于所述当前帧图像的前一帧图像的第二补偿因子对所述第一补偿因子进行调整得到第三补偿因子；根据所述第三补偿因子调整所述第一图像的第一白平衡值得到第三白平衡值；根据所述第三白平衡值对所述第一图像的像素值进行调整；将调整后的所述第一图像与所述第二图像拼接获得所述当前帧图像。

9.一种图像的处理装置，其特征在于，包括：

存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1～7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1～7中任一项所述的方法。

Images