CN114723637A - 一种色差调整方法及系统 - Google Patents

Abstract

本发明提供了一种色差调整方法及系统，以及一种计算机可读存储介质。所述色差调整方法包括以下步骤：获取多路待拼接的原始图像，并确定各相邻原始图像之间的重叠区域；确定各所述原始图像在对应的重叠区域中的视觉特征值；根据本轮迭代的色差调整系数以及所述视觉特征值，确定各所述原始图像关于对应的重叠区域的色差调整值；根据各所述重叠区域对应的多个原始图像的色差调整值的差值，确定拼接图像在本轮迭代的整体误差值，并分别确定各所述原始图像关于对应的重叠区域的梯度调整系数，以更新所述色差调整系数；以及根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差。

Description

一种色差调整方法及系统

技术领域

本发明涉及图像处理技术，尤其涉及一种色差调整方法、一种色差调整系统，以及一种计算机可读存储介质。

背景技术

图像拼接融合技术目前被广泛应用于超高清画面显示、多摄像头的超高清画面拍摄、无人机航拍等多种技术领域，具有极大的发展前景。现有的图像拼接融合技术主要着眼于相邻图像之间的色差调整，能够对相邻图像的亮度、色度等参数进行调节，从而提升用户的局部视觉体验。然而，在上述图像拼接融合技术的实际应用中，一旦涉及三路以上原始图像的拼接处理需求，就容易在不相邻的多路原始图像之间出现明显的全局色差，从而影响用户对整个拼接图像的视觉体验。

为了克服现有技术存在的上述缺陷，本领域亟需一种色差调整技术，通过对多路原始图像进行全局色差调整，改善拼接图像中各不相邻区域之间的色差，从而提升拼接图像的整体视觉体验。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

为了克服现有技术存在的上述缺陷，本发明提供了一种色差调整方法、一种色差调整系统，以及一种计算机可读存储介质，能够通过对多路原始图像进行全局色差调整，改善拼接图像中各不相邻区域之间的色差，从而提升拼接图像的整体视觉体验。

具体来说，根据本发明的第一方面提供的上述色差调整方法包括以下步骤：获取多路待拼接的原始图像，并确定各相邻原始图像之间的重叠区域；确定各所述原始图像在对应的重叠区域中的视觉特征值；根据本轮迭代的色差调整系数以及所述视觉特征值，确定各所述原始图像关于对应的重叠区域的色差调整值；根据各所述重叠区域对应的多个原始图像的色差调整值的差值，确定拼接图像在本轮迭代的整体误差值；根据各所述重叠区域对应的多个原始图像的色差调整值的差值，分别确定各所述原始图像关于对应的重叠区域的梯度调整系数，以更新所述色差调整系数；以及根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差。

进一步地，在本发明的一些实施例中，所述视觉特征值包括亮度均值、色度均值、色彩饱和度均值中的至少一者。所述确定各所述原始图像在对应的重叠区域中的视觉特征值的步骤包括：获取所述原始图像在对应的重叠区域中的像素值矩阵；以及对所述像素值矩阵中的各像素点的亮度、色度和/或色彩饱和度分量做累加，再除以所述像素值矩阵中的像素点数量，以确定所述原始图像在所述重叠区域中的亮度均值、色度均值和/或色彩饱和度均值。

进一步地，在本发明的一些实施例中，所述色差调整值包括经过色差调整后的归一化像素值。所述根据本轮迭代的色差调整系数以及所述视觉特征值，确定各所述原始图像关于对应的重叠区域的色差调整值的步骤包括：根据本轮迭代的色差调整系数，对所述视觉特征值进行色差调整；以及对经过所述色差调整的视觉特征值做归一化处理，以确定所述原始图像关于对应的重叠区域的归一化像素值。

进一步地，在本发明的一些实施例中，所述根据各所述重叠区域对应的多个原始图像的色差调整值的差值，确定拼接图像在本轮迭代的整体误差值的步骤包括：分别计算各所述重叠区域对应的多个原始图像的色差调整值的差值；分别计算各所述重叠区域对应的差值的平方值；以及对各所述重叠区域对应的差值的平方值进行累加，以确定所述拼接图像在本轮迭代的整体误差值。

进一步地，在本发明的一些实施例中，所述根据各所述重叠区域对应的多个原始图像的色差调整值的差值，分别确定各所述原始图像关于对应的重叠区域的梯度调整系数的步骤包括：根据预设步长、各所述重叠区域对应的差值，以及各所述原始图像在对应的重叠区域中的视觉特征值，分别计算各所述原始图像关于对应的重叠区域的梯度调整系数。

进一步地，在本发明的一些实施例中，所述更新所述色差调整系数的步骤包括：对各所述原始图像关于对应的重叠区域的梯度调整系数进行累加，以确定各所述原始图像对应的系数误差；分别计算各所述原始图像对应的系数误差与所述整体误差值的乘积；以及对各所述原始图像对应的乘积进行累减，以确定下一轮迭代的色差调整系数。

进一步地，在本发明的一些实施例中，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤包括：根据所述下一轮迭代的色差调整系数以及所述视觉特征值，重新确定各所述原始图像关于对应的重叠区域的色差调整值；以及根据重新确定的色差调整值，重新确定所述拼接图像在所述下一轮迭代的整体误差值，并依此循环，直到所述整体误差值不再下降。

进一步地，在本发明的一些实施例中，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤还包括：响应于所述整体误差值不再下降，根据最后更新的色差调整系数调整所述多路待拼接的原始图像。

进一步地，在本发明的一些实施例中，所述响应于所述整体误差值不再下降，根据最后更新的色差调整系数调整所述多路待拼接的原始图像的步骤包括：分别记录多轮迭代所更新的色差调整系数；以及响应于所述整体误差值不再下降，根据最后更新的多轮色差调整系数的均值调整所述多路待拼接的原始图像。

进一步地，在本发明的一些实施例中，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤还包括：判断本轮的迭代次数是否达到预先标定的次数阈值；以及响应于本轮的迭代次数达到所述次数阈值的判断结果，判定所述整体误差值不再下降。

进一步地，在本发明的一些实施例中，在根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差之后，所述色差调整方法还包括以下步骤：根据各所述原始图像的拼接位置，对各路经过全局色差调整的图像进行拼接显示，以显示经过所述全局色差调整的拼接图像。

此外，根据本发明的第二方面提供的上述色差调整系统包括存储器以及处理器。所述处理器连接所述存储器，并被配置用于实施本发明的第一方面提供的上述色差调整方法。

此外，根据本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，实施本发明的第一方面提供的上述色差调整方法。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了根据本发明的一些实施例提供的色差调整系统的架构示意图。

图2示出了根据本发明的一些实施例提供的色差调整方法的流程示意图。

图3示出了根据本发明的一些实施例提供的重叠区域的示意图。

图4示出了根据本发明的一些实施例提供的确定视觉特征值的示意图。

图5示出了根据本发明的一些实施例提供的色差调整系数计算模块的工作流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

如上所述，现有的图像拼接融合技术主要着眼于相邻图像之间的色差调整，能够对相邻图像的亮度、色度等参数进行调节，从而提升用户的局部视觉体验。然而，在上述图像拼接融合技术的实际应用中，一旦涉及三路以上原始图像的拼接处理需求，就容易在不相邻的多路原始图像之间出现明显的全局色差，从而影响用户对整个拼接图像的视觉体验。

为了克服现有技术存在的上述缺陷，本发明提供了一种色差调整方法、一种色差调整系统，以及一种计算机可读存储介质，能够通过对多路原始图像进行全局色差调整，改善拼接图像中各不相邻区域之间的色差，从而提升拼接图像的整体视觉体验。

在一些非限制性的实施例中，本发明的第一方面提供的上述色差调整方法，可以由本发明的第二方面提供的上述色差调整系统来实施。具体来说，该色差调整系统中可以配置有存储器以及处理器。该存储器包括但不限于本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理器连接该存储器，并被配置用于执行该存储器上存储的计算机指令，以实施本发明的第一方面提供的上述色差调整方法。

进一步地，请参考图1。图1示出了根据本发明的一些实施例提供的色差调整系统的架构示意图。

如图1所示，在一些实施例中，本发明提供的上述色差调整系统10中可以进一步配置有重叠区域的视觉特征计算模块110～113、色差调整系数计算模块121～123，以及色差调整模块130～133。这些模块可以通过软件程序和/或硬件设备的形式，集中或分散地配置于上述色差调整系统，并相互配合地实施本发明的第一方面提供的上述色差调整方法。

以下将结合一些色差调整方法的实施例来描述上述色差调整系统10的工作原理。本领域的技术人员可以理解，这些色差调整方法只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制该色差调整系统10的全部功能或全部工作方式。同样地，该色差调整系统10也只是本发明提供的一种非限制性的实施方式，不对这些色差调整方法中各步骤的执行主体构成限制。

请结合参考图1及图2，图2示出了根据本发明的一些实施例提供的色差调整方法的流程示意图。

如图1及图2所示，在色差调整的过程中，视觉特征计算模块110～113可以首先从各对应的数据源(例如：4k摄像头)获取多路待拼接的原始图像，并根据各原始图像的拼接位置，确定各相邻原始图像之间的重叠区域。之后，视觉特征计算模块110～113可以分别确定各原始图像在对应的重叠区域中的视觉特征值，并将其输出到后端的色差调整系数计算模块121～123。

在一些实施例中，上述原始图像可以选用四路16比特(bit)位宽BT1120格式输入的4K30P视频，用以进行8K超高清视频的拼接显示。这些原始图像中各像素点的视觉特性可以经由YUV参数中的一者或多者来表征，其中，Y指示对应像素点的亮度，U指示对应像素点的色度，V指示对应像素点的色彩饱和度。

具体请参考图3，图3示出了根据本发明的一些实施例提供的重叠区域的示意图。如图3所示，在多路原始图像的拼接显示应用中，每路原始图像最多可能存在上(U)、下(D)、左(L)、右(R)四个重叠区域。当拍摄各路原始图像的摄像头的位置固定后，各路原始图像与其相邻原始图像之间的重叠区域也随即固定下来。

在确定各相邻原始图像之间的重叠区域时，视觉特征计算模块110～113可以首先从输入的各路数据中，提取出原始图像数据matrix[j]、行计数器读数y，以及每行的像素计数器读数x，并根据该坐标(x,y)确定各原始图像在拼接图像中占据的位置。之后，视觉特征计算模块110～113可以经由软件程序计算出各相邻原始图像之间坐标范围的重叠区间，并根据该重叠区间确定各相邻原始图像之间的重叠区域。进一步地，视觉特征计算模块110～113可以选用重叠区域左上角的坐标来表征重叠区域的位置，并选用矩形框的长宽(dx,dy)来表征重叠区域的大小。

本领域的技术人员可以理解，上述经由视觉特征计算模块110～113来确定重叠区域的方案，只是本发明提供的一种非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一种便于公众实施的具体方案，而非用于限制本发明的保护范围。

进一步地，在另一些实施例中，本发明提供的上述色差调整系统10还可以优选地配置有寄存器模块。该寄存器模块通信连接外部的个人计算机(Personal Computer，PC)，能够从外部PC获取指示各路原始图像位置的坐标数据，以供色差调整系统10根据获取的坐标数据来确定各相邻原始图像之间的重叠区域的坐标。

可选地，在另一些实施例中，本发明提供的上述色差调整系统10还可以经由该寄存器模块，直接从外部PC获取各相邻原始图像之间的重叠区域的坐标，以确定各相邻原始图像之间的重叠区域。

请进一步参考图4，图4示出了根据本发明的一些实施例提供的确定视觉特征值的示意图。如图4所示，对于相邻的第j路原始图像及第k路原始图像，第j路原始图像的右侧区域R_j与第k路原始图像的左侧区域L_k重叠。此时，第j路原始图像与第k路原始图像的重叠区域R_j的位置可以被表征为(x_j,y_j)，其大小可以被表征为(dx_j,dy_j)，而其中的原始图像数据可以被表示为matrix[j][k]。第k路原始图像与第j路原始图像的重叠区域L_k的位置可以被表征为(x_k,y_k)，其大小可以被表征为(dx_k,dy_k)，而其中的原始图像数据可以被表示为matrix[k][j]。这两个重叠区域R_j与L_k具有相同的位置和大小，但其对应的原始图像数据matrix[j][k]与matrix[k][j]之间可能受拍摄角度、拍摄光线等环境因素的影响，而具有不同的视觉特性。

进一步地，在一些实施例中，对于各原始图像中未重叠的部分，视觉特征计算模块110～113可以优选地将其位置与大小都表征为(0,0)，以降低色差调整系统10的数据处理负荷，并提升色差调整系统10的处理速度和处理效率。

之后，如图1所示，在确定各原始图像在对应的重叠区域中的视觉特征值的过程中，视觉特征计算模块110可以分别获取第0路原始图像(即j＝0)在对应的一个或多个重叠区域中的像素值矩阵matrix[0][k]，并分别对这些像素值矩阵中的各像素点的亮度(Y值)、色度(U值)和/或色彩饱和度(V值)分量做累加，再分别除以各像素值矩阵中的像素点数量，以确定该第0路原始图像在各重叠区域中的亮度均值、色度均值和/或色彩饱和度均值。

类似地，对于其他各路待拼接的原始图像，视觉特征计算模块111～113也可以分别获取对应的第j∈{1,2,3}路原始图像在对应的一个或多个重叠区域中的像素值矩阵matrix[j][k]，并分别对这些像素值矩阵中的各像素点的亮度(Y值)、色度(U值)和/或色彩饱和度(V值)分量做累加，再分别除以各像素值矩阵中的像素点数量，以确定各路原始图像在各重叠区域中的亮度均值、色度均值和/或色彩饱和度均值。

如图2所示，在确定各路原始图像在各重叠区域中的亮度均值、色度均值和/或色彩饱和度均值之后，视觉特征计算模块110～113可以将各路原始图像在各重叠区域中的亮度均值、色度均值和/或色彩饱和度均值，分别输入后端对应的色差调整系数计算模块121～123，以确定用于进行全局色差调整的色差调整系数beta[q]及alpha[q]。

具体请参考图5，图5示出了根据本发明的一些实施例提供的色差调整系数计算模块的工作流程示意图。如图5所示，以色差调整系数计算模块(Y)121为例，在确定色差调整系数beta[q]及alpha[q]的过程中，色差调整系数计算模块121可以首先获取各路原始图像j在对应的一个或多个重叠区域中的像素值矩阵matrix[j][k]的Y分量均值，经由上述寄存器模块获取修正步长lr、循环次数loop_num等设置参数，并对色差调整系数beta[q]及alpha[q]进行初始化。优选地，当原始图像j与原始图像k之间不相邻，即原始图像j与原始图像k之间无重叠区域，对应的matrix[j][k]可以置0，以降低色差调整系统10的数据处理负荷，并提升色差调整系统10的处理速度和处理效率。

之后，在首轮循环迭代(即i＝0，i<loop_num)中，色差调整系数计算模块121可以先对偏置系数grad_beta[j][k]、grad_alpha[j][k]等梯度调整系数，以及本轮迭代的整体误差值cur_loss进行初始化，再比较各原始图像之间的各重叠区域，以计算本轮迭代的整体误差值cur_loss，以及下一轮迭代的色差调整系数beta[q]及alpha[q]。

具体来说，色差调整系数计算模块121可以根据本轮迭代的色差调整系数beta[q]及alpha[q]对视觉特征值进行色差调整，并经由除数(例如：256)对经过色差调整的视觉特征值做归一化处理，以确定各原始图像关于对应的重叠区域的归一化像素值adjust_l及adjust_r。此处，adjust_l和adjust_r分别为相邻的原始图像j和原始图像k关于同一重叠区域[j][k]的归一化像素值，归一化处理的除数用于统一各色差调整值的计量单位和计量范围。

在确定各原始图像关于对应的重叠区域的色差调整值之后，色差调整系数计算模块121可以分别计算各重叠区域[j][k]对应的多个原始图像j、k的色差调整值的差值(adjust_l-adjust_r)，并分别计算各重叠区域[j][k]对应的差值平方值。之后，色差调整系数计算模块121可以在原始图像的路数范围内(即j<picnum,k<picnum)，对路数序号j、k进行遍历循环，累加各重叠区域[j][k]对应的差值的平方值，以确定拼接图像在本轮迭代的整体误差值cur_loss(0)。

此外，色差调整系数计算模块121还可以根据预设步长lr与各重叠区域对应的差值(adjust_l-adjust_r)的乘积，计算各原始图像j关于对应的重叠区域[j][k]的梯度调整系数grad_beta[j][k]，并根据预设步长lr、各重叠区域对应的差值(adjust_l-adjust_r)以及各原始图像j在对应的重叠区域[j][k]中的视觉特征值matrix[j][k]的乘积，计算各原始图像j关于对应的重叠区域[j][k]的梯度调整系数grad_alpha[j][k]。

如图5所示，在确定原始图像j所对应的各重叠区域[j][k]的梯度调整系数grad_beta[j][k]和grad_alpha[j][k]之后，色差调整系数计算模块121可以在原始图像的路数范围内(即m<picnum,n<picnum)，对路数序号m、n进行遍历循环，累加各原始图像m关于对应的重叠区域[m][n]的梯度调整系数grad_beta[m][n]，以确定各原始图像m对应的系数误差grad_beta_rowsum[m]，并累加各原始图像m关于对应的重叠区域[m][n]的梯度调整系数grad_alpha[m][n]，以确定各原始图像m对应的系数误差grad_alpha_rowsum[m]。此处，grad_beta_rowsum[m]为偏执系数beta的累加梯度，grad_alpha_rowsum[m]为斜率系数alpha的累加梯度。

之后，色差调整系数计算模块121可以分别计算各原始图像对应的系数误差grad_beta_rowsum[m]、grad_alpha_rowsum[m]与本轮迭代的整体误差值cur_loss的乘积，并在原始图像的路数范围内(即q<picnum)对路数序号q进行遍历循环，累减各原始图像q对应的乘积，以确定下一轮迭代的色差调整系数beta(q)及alpha(q)。此处，beta(q)为全局色差调整的偏执系数，alpha(q)为全局色差调整的斜率系数。

再之后，色差调整系数计算模块121可以根据输出的色差调整系数beta(q)及alpha(q)更新首轮初始化的色差调整系数，并根据该更新的色差调整系数beta(q)及alpha(q)进行第二轮循环迭代(即i＝1，i<loop_num)，如上所述地结合各重叠区域[j][k]视觉特征值matrix[j][k]来重新确定各原始图像j关于对应的重叠区域[j][k]的色差调整值adjust_l和/或adjust_r。之后，色差调整系数计算模块121还可以如上所述地根据重新确定的色差调整值adjust_l和/或adjust_r，重新确定拼接图像在第二轮迭代的整体误差值cur_loss(1)，并依此循环，直到整体误差值cur_loss(i)稳定在某一较小值，且不再下降。

如图1所示，响应于整体误差值cur_loss(i)稳定在某一较小值，且不再下降，色差调整系数计算模块121可以判定色差调整系数beta(q)及alpha(q)已经达到全局最优。此时，色差调整系数计算模块121可以停止轮次i的循环迭代，并将最后更新的色差调整系数beta(i)及alpha(i)输入各路数据的色差调整模块130～133，从而由各色差调整模块130～133根据该最后更新的色差调整系数beta(i)及alpha(i)分别调整各路待拼接的原始图像，即

调整后视频＝原始视频*alpha+beta

以实现整幅拼接图像的全局色差调整。

进一步地，在一些实施例中，上述整体误差值cur_loss的循环迭代轮次loop_num可以经由预先标定来确定。在整体误差值cur_loss的循环迭代过程中，色差调整系数计算模块121可以逐轮判断本轮的迭代次数i是否达到预先标定的次数阈值loop_num。响应于本轮的迭代次数达到次数阈值(即i≥loop_num)的判断结果，色差调整系数计算模块121即可判定整体误差值cur_loss不再下降，并输出最后更新的色差调整系数beta(i)及alpha(i)，以供各色差调整模块130～133进行全局色差调整。

更进一步地，在一些实施例中，色差调整系数在默认循环10万次的情况下会约2秒更新一次。如此，在图像轻微扰动的情况下，调整系数可能会存在突变，从而导致视频发生肉眼可见的闪烁。为了屏蔽这些扰动，色差调整系数计算模块121可以分别记录多轮迭代所更新的色差调整系数。之后，响应于整体误差值不再下降的判断结果，色差调整系数计算模块121可以根据最后更新的多轮色差调整系数的均值

及

(例如，16秒内计算确定的色差调整系数的均值)，确定输出的色差调整系数，并根据该输出的色差调整系数来进行各路待拼接的原始图像的全局色差调整。

更进一步地，在一些实施例中，色差调整模块130～133可以分别获取各色差调整系数计算模块121～123反馈的色差调整系数，从而根据色差调整系数计算模块121反馈的色差调整系数进行各路原始图像的亮度(Y分量)调节，根据色差调整系数计算模块122反馈的色差调整系数进行各路原始图像的色度(U分量)调节，并根据色差调整系数计算模块123反馈的色差调整系数进行各路原始图像的色彩饱和度(V分量)调节，以实现各路待拼接的原始图像的全局色差调整。如此，本发明即可基于亮度、色度及色彩饱和度，进行全方位的全局色差调整，以进一步提升拼接图像的整体视觉体验。

此外，在一些实施例中，图5所示的工作流程可以经由Xilinx Vivado HLS工具转换成RTL程序，以生成梯度下降计算模块。该梯度下降计算模块可以被配置于任意色差调整系统，以实现色差调整系数计算的功效。

此外，在一些实施例中，本发明提供的上述色差调整系统10中还可以优选地配置有视频拼接融合模块。各色差调整模块130～133可以将经过全局色差调整的局部图像分别发送到该视频拼接融合模块，从而由该视频拼接融合模块根据各原始图像的拼接位置，对各路经过全局色差调整的局部图像进行拼接显示，以显示经过全局色差调整的拼接图像。

本领域的技术人员可以理解，上述采用四路原始图像进行拼接显示，且原始图像j与原始图像k左右相邻的实施例，只是本发明提供一种非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一种便于公众实施的具体方案，而非用于限制本发明的保护范围。

可选地，在另一些实施例中，本发明还可以应用于2*4路，3*3路等任意形式的拼接显示，以得到对应分辨率的拼接图像。例如，本发明曾应用在了上海复瞰科技有限公司2020年研发成功的MF065拼接融合服务器项目中。该应用将外部一字排开的六路4K30P相机原始数据输入色差调整FPGA板卡中进行色差调整，将色差调整后的图像数据发送到后端FPGA拼接融合板卡进行拼接融合，再将拼接后8K2K画面通过两个HDMI端口输出。经过长时间测试，本发明可以显著降低全局色差，并输出清晰无闪烁的超高清画质。

可选地，在另一些实施例中，对于原始图像j与原始图像k上下相邻的重叠方式，各原始图像关于对应的重叠区域的归一化像素值也可以被对应地表示为adjust_u及adjust_d。此外，本领域的技术人员还可以基于本发明提供的上述构思，采用各种其他的变形，在此不再一一赘述。

综上，本发明提供的上述色差调整方法、色差调整系统10以及计算机可读存储介质，能够通过整体误差函数cur_loss来表征各路图像(尤其是不相邻图像)之间的色度差异，并通过对整体误差函数cur_loss进行梯度下降来实现整个拼接图像的全局色差调整，从而提升拼接图像的整体视觉体验。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将可理解，信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如，以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

尽管上述的实施例所述的色差调整系统10可以通过软件与硬件的组合来实现的。但是可以理解，该色差调整系统10也可单独在软件或硬件中加以实施。对于硬件实施而言，该色差调整系统10可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行上述功能的其它电子装置或上述装置的选择组合来加以实施。对软件实施而言，该色差调整系统10可通过在通用芯片上运行的诸如程序模块(procedures)和函数模块(functions)等独立的软件模块来加以实施，其中每一个模块执行一个或多个本文中描述的功能和操作。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (13)

1.一种色差调整方法，其特征在于，包括以下步骤：

获取多路待拼接的原始图像，并确定各相邻原始图像之间的重叠区域；

确定各所述原始图像在对应的重叠区域中的视觉特征值；

根据本轮迭代的色差调整系数以及所述视觉特征值，确定各所述原始图像关于对应的重叠区域的色差调整值；

根据各所述重叠区域对应的多个原始图像的色差调整值的差值，确定拼接图像在本轮迭代的整体误差值；

根据各所述重叠区域对应的多个原始图像的色差调整值的差值，分别确定各所述原始图像关于对应的重叠区域的梯度调整系数，以更新所述色差调整系数；以及

根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差。

2.如权利要求1所述的色差调整方法，其特征在于，所述视觉特征值包括亮度均值、色度均值、色彩饱和度均值中的至少一者，所述确定各所述原始图像在对应的重叠区域中的视觉特征值的步骤包括：

获取所述原始图像在对应的重叠区域中的像素值矩阵；以及

对所述像素值矩阵中的各像素点的亮度、色度和/或色彩饱和度分量做累加，再除以所述像素值矩阵中的像素点数量，以确定所述原始图像在所述重叠区域中的亮度均值、色度均值和/或色彩饱和度均值。

3.如权利要求1所述的色差调整方法，其特征在于，所述色差调整值包括经过色差调整后的归一化像素值，所述根据本轮迭代的色差调整系数以及所述视觉特征值，确定各所述原始图像关于对应的重叠区域的色差调整值的步骤包括：

根据本轮迭代的色差调整系数，对所述视觉特征值进行色差调整；以及

对经过所述色差调整的视觉特征值做归一化处理，以确定所述原始图像关于对应的重叠区域的归一化像素值。

4.如权利要求1所述的色差调整方法，其特征在于，所述根据各所述重叠区域对应的多个原始图像的色差调整值的差值，确定拼接图像在本轮迭代的整体误差值的步骤包括：

分别计算各所述重叠区域对应的多个原始图像的色差调整值的差值；

分别计算各所述重叠区域对应的差值的平方值；以及

对各所述重叠区域对应的差值的平方值进行累加，以确定所述拼接图像在本轮迭代的整体误差值。

5.如权利要求4所述的色差调整方法，其特征在于，所述根据各所述重叠区域对应的多个原始图像的色差调整值的差值，分别确定各所述原始图像关于对应的重叠区域的梯度调整系数的步骤包括：

根据预设步长、各所述重叠区域对应的差值，以及各所述原始图像在对应的重叠区域中的视觉特征值，分别计算各所述原始图像关于对应的重叠区域的梯度调整系数。

6.如权利要求5所述的色差调整方法，其特征在于，所述更新所述色差调整系数的步骤包括：

对各所述原始图像关于对应的重叠区域的梯度调整系数进行累加，以确定各所述原始图像对应的系数误差；

分别计算各所述原始图像对应的系数误差与所述整体误差值的乘积；以及

对各所述原始图像对应的乘积进行累减，以确定下一轮迭代的色差调整系数。

7.如权利要求6所述的色差调整方法，其特征在于，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤包括：

根据所述下一轮迭代的色差调整系数以及所述视觉特征值，重新确定各所述原始图像关于对应的重叠区域的色差调整值；以及

根据重新确定的色差调整值，重新确定所述拼接图像在所述下一轮迭代的整体误差值，并依此循环，直到所述整体误差值不再下降。

8.如权利要求7所述的色差调整方法，其特征在于，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤还包括：

响应于所述整体误差值不再下降，根据最后更新的色差调整系数调整所述多路待拼接的原始图像。

9.如权利要求8所述的色差调整方法，其特征在于，所述响应于所述整体误差值不再下降，根据最后更新的色差调整系数调整所述多路待拼接的原始图像的步骤包括：

分别记录多轮迭代所更新的色差调整系数；以及

响应于所述整体误差值不再下降，根据最后更新的多轮色差调整系数的均值调整所述多路待拼接的原始图像。

10.如权利要求8所述的色差调整方法，其特征在于，所述根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差的步骤还包括：

判断本轮的迭代次数是否达到预先标定的次数阈值；以及

响应于本轮的迭代次数达到所述次数阈值的判断结果，判定所述整体误差值不再下降。

11.如权利要求1所述的色差调整方法，其特征在于，在根据更新的色差调整系数对所述整体误差值进行至少一轮梯度下降迭代，以调整所述拼接图像的全局色差之后，所述色差调整方法还包括以下步骤：

根据各所述原始图像的拼接位置，对各路经过全局色差调整的图像进行拼接显示，以显示经过所述全局色差调整的拼接图像。

12.一种色差调整系统，其特征在于，包括：

存储器；以及

处理器，所述处理器连接所述存储器，并被配置用于实施如权利要求1～11中任一项所述的色差调整方法。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求1～11中任一项所述的色差调整方法。

Images