CN101695136A - 一种自动式视频颜色协调处理方法和处理系统 - Google Patents

Abstract

本发明提供了一种自动式视频颜色协调处理方法和处理系统，所述方法包括：将视频文件切分为各段镜头视频；读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理，所述时空邻域点包括空间邻域点和时间邻域点；判断当前镜头视频是否为所述视频文件的最后一段镜头视频，若否，则执行上一步；若是，则该视频文件处理完毕。此外，本发明还提出了一种自动式实时视频颜色协调处理方法。本发明使得一段镜头视频文件中的所有帧图像对应同一个协调色模板，利用前一帧颜色协调化的结果作为当前帧的颜色协调依据，确保了一段镜头视频文件中各个帧图像颜色协调的空间连续性和时间连续性。

Description

一种自动式视频颜色协调处理方法和处理系统

技术领域

本发明涉及数字图像处理和计算机视觉技术领域，特别是涉及一种自动式视频颜色协调处理方法和处理系统。

背景技术

从美学的角度出发，所谓协调的颜色(以下简称协调色)是指一组能在视觉上给人以美感的颜色的集合。这组颜色并不是由特定的某几种颜色组成，而是由它们在颜色空间中的相对位置关系所确定的。

协调色的定义有很多种，但是目前应用最为广泛的是1995年由Matsuda在文献“配色方案(Color design)”中提出的色环模型。在该文献中，作者将色调以圆环表示，协调色的色调被定义成8个由不同大小的扇形所构成的模板，如图1所示，每个模板中的扇形区域所代表的色调就代表了符合这个模板的协调色的色调。每个模板中扇形区域的大小与相对位置关系都是固定的，这种相对位置关系定义了这个模板所能表示的一组协调色，而这组协调色可以通过在色环内旋转扇形区域产生，每旋转到一个位置，就会产生一个新的协调色。

颜色协调化属于颜色设计领域，在生活与生产中有广泛的应用。传统的颜色协调化方法是一个繁琐的手工选色的过程。比如在绘画领域，画家通常依靠经验与直觉来选择喜欢的协调色，这个过程可以通过查询协调色手册或者通过一些交互式的协调色选择系统来完成。选定一组协调色后，画家们还需要给他们的作品重新着色，这是一个非常耗时而且单调乏味的过程，当作品比较复杂、颜色多样或者色块细小的时候，这种情况尤为突出。为了方便快捷的完成颜色协调化的工作，人们提出了自动式的颜色协调化方法。

2006年7月30日，Daniel Cohen等在文献“颜色协调(ColorHarmonization)”中提出了一种图像颜色协调方法。对于一幅输入图像，首先统计它的色度直方图，然后找到与其匹配的协调色模板，然后将模板中扇形区域以外的色度值转换到与其最邻近的扇形区域内，这个转换的过程就是原图像颜色协调化的过程。在转换过程中，还需要考虑像素的空间连续性，也就是说某个像素通常与其邻域内的像素同属于某一种颜色。文献中，作者将这种约束转化为图割(Graph Cut)算法，有效的防止了颜色协调化过程中出现的色块不连续的问题。Daniel Cohen等所提出的颜色协调化算法对很多图片都可以给出较好的颜色协调化方案，但是该方法存在的一个的问题是，当旋转色环进行颜色协调化的时候，有可能会使图片中同属于一种色调(比如蓝色调)的像素划分到两种完全不同的互补色调中去(例如原图像中属于蓝色调的区域经过颜色协调化后被分成了绿色和紫色两部分)，使得图像的空间连续性不能得到保持。另一方面，该方法受到Graph Cut算法本身的限制，如果图片中的某个物体由于遮挡的原因被分成了不相连的两部分，那么在颜色协调化过程中，这两部分也极有可能被重置为不同的颜色。

2008年12月16日，Nikhil Sawant等在文献“视频颜色协调(ColorHarmonization for videos)”中提出了一种视频颜色协调化方法，其将多帧图像分为一个视频帧组，对每个视频帧组进行整体处理，两个视频帧组之间相衔接的地方也要单独处理。这种处理方式增加了计算量，并且只能对视频文件进行处理，不能应用在实时拍摄的视频流上。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何能够在视频颜色协调化过程中保持颜色的空间连续性与时间连续性。

发明内容

本发明所要解决的技术问题是提供一种自动式视频颜色协调处理方法和处理系统，确保在视频文件颜色协调化过程中颜色的空间连续性与时间连续性。

为了解决上述问题，本发明公开了一种自动式视频颜色协调处理方法，其特征在于，包括：

A1，将视频文件切分为各段镜头视频；

A2，读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理；其中，所述时空邻域点包括空间邻域点和时间邻域点；

A3，判断当前镜头视频是否为所述视频文件的最后一段镜头视频，若否，则执行A2；若是，则该视频文件处理完毕。

优选的，所述将视频文件切分为各段镜头视频具体为：视频中连续帧图像的颜色直方图差异值达到预置极值时，对视频文件进行切分，得到一段镜头视频。

优选的，所述对当前镜头视频中的各个帧进行颜色协调处理包括：

B1，读取第一帧图像，并统计其色度直方图；

B2，根据所述色度直方图获取第一帧图像的匹配协调色模板；

B3，读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

B4，对于组合图像中的每一个像素，获取该像素对应的时空邻域点；

B5，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

B6，返回B3，循环执行B3到B5，直到协调处理完成该段镜头视频的最后一帧图像。

优选的，所述根据所述色度直方图获取第一帧图像的匹配协调色模板具体为：计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的匹配协调色模板；其中，所述匹配度量为所述图像的色度在协调色模板内的像素数目与协调色模板容纳的总像素数目的比值。

进一步，所述根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理包括：

根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

根据方程的解对所述组合图像进行颜色协调处理。

优选的，所述获取该像素对应的时间邻域点为：采用双向光流法，分别计算组合图像中上一帧图像到当前帧图像的光流以获取上一帧图像各像素在当前帧图像上的时间邻域点，以及当前帧图像到上一帧图像的光流以获取当前帧图像各像素在上一帧图像上的时间邻域点。

优选的，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；其中，2N为组合图像的像素数，矩阵的第r行第s列元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素色度相似程度的值为零。

本发明还公开了一种自动式实时视频颜色协调处理方法，包括：

C1，读取一帧图像，分别统计其色度直方图和颜色直方图；

C2，根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

C3，读取下一帧图像，分别统计其色度直方图和颜色直方图；

C4，对连续两帧图像的颜色直方图差异值与预置极值进行比较，判断是否发生镜头切换，若是，则执行C2，若否，则执行C5；

C5，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

C6，对于组合图像中的每一个像素，获取该像素对应的时空邻域点；其中，所述时空邻域点包括空间邻域点和时间邻域点；

C7，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

C8，判断是否有下一帧图像需要处理，若是，则返回C3，循环执行C3到C7，若否，则结束处理。

优选的，所述根据当前帧图像的色度直方图获取该图像的匹配协调色模板具体为：计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的匹配协调色模板；其中，所述匹配度量为所述图像的色度在协调色模板内像素的数目与协调色模板容纳的总像素数目的比值。

进一步，所述根据所述匹配协调色模板对所述组合图像进行颜色协调处理包括：

根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

根据方程的解对所述组合图像进行颜色协调处理。

优选的，所述获取该像素对应的时间邻域点为：采用双向光流法，分别计算组合图像中上一帧图像到当前帧图像的光流以获取上一帧图像各像素在当前帧图像上的时间邻域点，以及当前帧图像到上一帧图像的光流以获取当前帧图像各像素在上一帧图像上的时间邻域点。

优选的，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；其中，2N为组合图像的像素数，矩阵的第r行s列的元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素色度相似程度的值为零。

此外，本发明还公开了一种自动式视频颜色协调处理系统，包括：

镜头切分单元，用于将视频文件切分为各段镜头视频；

镜头视频颜色协调单元，用于读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理；其中，所述时空邻域点包括空间邻域点和时间邻域点；

镜头判断单元，用于判断当前镜头视频是否为所述视频文件的最后一段镜头视频，如果否，则通知镜头视频颜色协调单元进行下一段镜头视频的处理，如果是，则该视频文件处理完毕。

优选的，所述镜头视频颜色协调单元包括：直方图统计子单元，用于读取第一帧图像，并统计其色度直方图；模板获取子单元，用于根据所述色度直方图获取第一帧图像的匹配协调色模板；组合图像构造子单元，用于读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；时空邻域点获取子单元，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；颜色协调处理子单元，用于根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；其中，组合图像构造子单元、时空邻域点获取子单元和颜色协调处理子单元循环执行操作，直到协调处理完成该段镜头视频文件的最后一帧图像。

进一步，所述颜色协调处理子单元，包括：亲密度矩阵构造模块，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；时空邻域方程构造模块，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；求解模块，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；颜色协调模块，用于根据方程的解对所述组合图像进行颜色协调处理。

同时，本发明还提出了一种自动式实时视频颜色协调处理系统，包括：

第一直方图统计单元，用于读取一帧图像，分别统计其色度直方图和颜色直方图；

模板获取单元，用于根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

第二直方图统计单元，用于在获取匹配协调色模板后，读取下一帧图像，分别统计其色度直方图和颜色直方图；

镜头切换判断单元，用于比较连续两帧图像的直方图差异值与预置极值，判断是否发生镜头切换，若是，则触发模板获取单元，若否，则触发组合图像构造单元；

组合图像构造单元，用于当镜头切换判断单元判断镜头没有切换时，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

时空邻域点获取单元，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；其中，所述时空邻域点包括空间邻域点和时间邻域点；

颜色协调处理单元，用于所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

处理需求判断单元，用于判断是否有下一帧图像需要处理；若是，则第二直方图统计单元、镜头切换判断单元、组合图像构造单元、时空邻域点获取单元和颜色协调处理单元循环执行操作，若否，则结束处理。

优选的，所述颜色协调处理单元包括：亲密度矩阵构造模块，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；时空邻域方程构造模块，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；求解模块，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；颜色协调模块，用于根据方程的解对所述组合图像进行颜色协调处理。

与现有技术相比，本发明具有以下优点：

本发明将第一帧图像的协调色模板作为一段镜头视频文件的匹配协调色模板，并与下一帧图像构造组合图像进行颜色协调处理，之后循环处理每一帧图像，使得一段镜头视频文件中的所有帧图像对应同一个协调色模板，利用前一帧颜色协调化的结果作为当前帧的颜色协调依据，确保了一段镜头视频文件中各个帧图像配色方案的连续性。

进一步，本发明通过计算组合图像中每个像素的时空邻域点，构造时空邻域像素亲密度矩阵，将已知像素的色度值扩展到整个图像，充分考虑了像素之间的空间连续性，避免了原图像中属于同一色调的区域经过颜色协调化以后被分成两种颜色的问题，使颜色协调化的结果更加符合人们的期望。同时，通过像素亲密度矩阵将将前后两帧的组合图像看作一个整体进行颜色协调化处理，保证了处理后前后帧之间的时间连续性。

本发明的实时视频流的颜色协调化方法，仅需要上一帧的协调化结果作为辅助就可以保证处理结果的时间连续性，而不需要像现有文献中的对视频进行分组处理方法。因此，本发明的方法可以实现对实时视频流的处理。

此外，本发明所采用的相对距离的协调色模板匹配算法可以更加准确的找到与待处理图像相匹配的协调色模板。本发明计算的匹配度量呈现出一种先增大后减小的趋势，而顶点处所对应的模板即是最佳匹配的模板。

总之，本发明获取的协调色模板，其匹配结果更加准确，并且保持了颜色协调化的空间连续性，也保证了其时间连续性，并能应用于对实时视频的处理。

附图说明

图1是现有技术中八种协调色模板的示意图；

图2是本发明一种自动式视频颜色协调处理方法实施例的流程图；

图3是一帧图像中像素空间邻域点的示意图；

图4是本发明一种自动式视频颜色协调处理方法实施例中步骤226的子步骤的流程图；

图5是本发明一种自动式实时视频颜色协调处理方法实施例的流程图；

图6是本发明一种自动式视频颜色协调处理系统实施例的结构图；

图7是本发明一种自动式实时视频颜色协调处理系统实施例的结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图2，示出了本发明一种自动式视频颜色协调处理方法实施例的流程图，其包括：

步骤21，将视频文件切分为各段镜头视频；

视频文件是由一个一个的镜头视频按时间顺序组合而成的，一个镜头视频描述了目标物在某个场景下的活动，镜头的切换通常表示了场景的切换。视频文件中各个镜头视频的获取是通过镜头切换的位置检测出来的，它将视频文件切分成一个一个的镜头视频，每一段镜头视频分为各个帧，每一帧都是静止的图像，快速连续地显示各帧图像便形成了运动的视频。

在本发明的一个优选实施例中，所述将视频文件切分为各段镜头视频具体为：视频中连续帧图像的颜色直方图差异值达到预置极值时，对视频文件进行切分，得到一段镜头视频。

通常，在一个镜头视频中，场景与光照的变化都是很小的，所以可以认为在一个镜头视频中的两帧连续图像颜色直方图的差别很小，而在镜头的切换处，由于场景与光照变化剧烈，所以两帧连续图像的颜色直方图差别很大。基于以上所述，本发明实施例采用连续帧图像之间的直方图之差来检测镜头切换的位置，直方图的差值的计算公式如下所示：

$d_{\mathrm{RGB}}(x,y)=\underset{i}{\mathrm{\Σ}}\left|\right|h_x^R\left(i\right)-h_y^R\left(i\right)\left|\right|+\left|\right|h_x^G\left(i\right)-h_y^G\left(i\right)\left|\right|+\left|\right|h_x^B\left(i\right)-h_y^B\left(i\right)\left|\right|$

其中，x、y分别表示两帧连续的x图像和y图像；其图像处理采用的是RGB模式，即分别计算红色、绿色、蓝色三个颜色通道的直方图，R代表红色Red，G代表绿色Green，B代表蓝色Blue，则h_x ^R(i)，h_x ^G(i)，h_x ^B(i)分别表示图像x在R，G，B通道中色度为i的直方图的值；h_y ^R(i)，h_y ^G(i)，h_y ^B(i)分别表示图像y在R，G，B通道中色度为i的直方图的值。

对于一个视频文件，所有连续帧图像的直方图的差值d_RGB(x，y)组成一组数据，当检测出这组数据的所有局部极值时，就找到了镜头切换的位置点，利用这些点可以将视频文件切分成段，每一段就是一个镜头视频。在本发明的实施例中，可以将每一个镜头视频存储为一个单独的分割后的视频文件，以方便颜色协调化处理。

步骤22，读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理，所述时空邻域点包括空间邻域点和时间邻域点；

本发明的颜色协调化处理是分镜头进行的，两个连续的镜头视频之间由于本身即存在颜色、光照等跳变，在时间上是不连续的。所以，在镜头视频的连接处不需要考虑颜色协调化的时间连续性，也就是说每一个镜头视频可以单独进行处理。

对当前镜头视频内的所有帧进行颜色协调处理。通常，在一个镜头视频中，场景与光照的变化都是很小的，所以，可以认为在一个镜头中的各个帧图像的色度直方图形状类似，而且都对应同一个协调色模板。因此，可以用镜头视频内第一帧图像所对应的匹配协调色模板作为整个镜头视频的协调色模板，并根据各帧图像像素的时空邻域点对镜头视频内的所有帧图像进行颜色协调化处理。其具体步骤为：

步骤221，读取第一帧图像，并统计其色度直方图；

截取此镜头视频的第一帧图像，将其转换到HSV模式，HSV模式中H代表色度hue、S代表饱和度saturation、V代表亮度value，其中，色度H用一角度量来表示，红、绿、蓝色分别相隔120度，互补色分别相差180度。本步骤对其H通道的色度图像统计色度直方图hist_h；

步骤222，根据色度直方图获取第一帧图像的匹配协调色模板；

将上述色度直方图与所有可能的协调色模板相比较，找出匹配程度最好的模板作为当前图像的匹配模板。

协调色的色调被定义成8个由不同大小的扇形所构成的模板，即模板i、模板V、模板L、模板I、模板T、模板Y、模板X、模板N。每个协调色模板中的扇形区域所代表的色调就代表了符合这个模板的协调色的色调。每个协调色模板中扇形区域的大小与相对位置关系都是固定的，这种相对位置关系定义了该模板所能表示的一组协调色，而每组协调色可以通过在色环内旋转扇形区域产生，每旋转到一个角度，就会产生一个新的协调色。

现有技术中，文献“Color Harmonization”提到一种图像颜色协调方法，其对于协调色模板的匹配，是将图像色度直方图与某个模板相比较，对色度不在模板中扇形区域内部的部分，求其与最近扇形边缘的差，然后累加。其产生的后果就是，如果一个模板的扇形部分比较大，如图1所示，T型比V型的区域大，则落在T型模板之外的像素比落在V型模板之外的像素要少，计算结果肯定是T型模板要比V型模板的值更小。根据其选取准则，应选取T型模板。这就产生一种情况，对任何一幅图像来说，T型模板总是比V型模板更适合，这使得V型模板总是得不到匹配，相同的情况还会发生在：V型模板总是比i型模板的匹配度更大，X型模板总是比I型模板匹配度更大，T型模板总是比i型、V型和L型模板的匹配度更大，因此，对于任一幅图像，i型、V型、L型和I型模板都不能自动得到匹配。

在本发明的一个优选实施例中，计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的匹配协调色模板；其中，所述匹配度量为所述图像的色度在协调色模板内的像素数目与协调色模板容纳的总像素数目的比值。

即在获取匹配模板的过程中，采用了相对距离作为度量，而不是绝对距离。具体的，对各个协调色模板T(n，θ)，定义如下相对距离作为其与色度直方图匹配程度的度量：

$F\left(T(n,\mathrm{\θ})\right)=\frac{{\mathrm{\Σ}}_i\mathrm{hist}\_h\left(i\right)\·T(n,\mathrm{\θ},i)}{\max (\mathrm{hist}\_h)\·{\mathrm{\Σ}}_{i}T(n,\mathrm{\θ},i)},$

其中，n表示第n个协调色模板；θ表示该模板旋转的角度；i表示色度；hist_h(i)是色度直方图中位置i处的值，表示色度为i的像素的个数；T(n，θ，i)是第n个协调色模板旋转过θ角后色度为i处的值，规定如下：

max(hist_h)是色度直方图的最大值；∑_iT(n，θ，i)是协调色模板T(n，θ)中值为1的个数。则，∑_ihist_h(i)·T(n，θ，i)表示了色度落在模板T(n，θ)中的扇形区域内部的像素的数目，也可以理解为直方图hist_h与模板T(n，θ)重叠部分的面积；max(hist_h)·∑_iT(n，θ，i)表示了在模板T(n，θ)的扇形区域最多可以容纳的总像素数，也可以理解为模板T(n，θ)的面积。如果只使用∑_ihist_h(i)·T(n，θ，i)作为匹配程度的度量，由于∑_ihist_h(i)·T(n，θ，i)是i的非减函数，其值会随着T(n，θ)中非0元素个数的增加而增加，也就是说扇形区域面积较大的模板会比扇形区域较小的模板获得更高的匹配值，这就使得一部分扇形区域小的模板得不到匹配。而增加分母max(hist_h)·∑_iT(n，θ，i)之后，随着T(n，θ)中非0元素的增加，模板T(n，θ)的面积也在不断增大，使得随着T(n，θ)中非0元素个数的增加，F(T(n，θ))呈现出一种先增大后减小的趋势，而顶点处所对应的模板就是我们要找的最佳匹配的协调色模板，即匹配协调色模板。

进一步，要确定一个协调色模板，就需要确定模板序数n和其旋转的角度θ两个参数，为此，在确定了匹配程度的度量函数以后，本发明采用以下两个子步骤来找出匹配协调色模板：

首先，对于第n个模板，通过旋转θ角来确定在这个模板下的最佳匹配角度θ₀，即：

T(n)＝T(n，θ₀)  s.t.

然后，对于所有可能的T(n)，我们选择使得函数F取得最大值的那个模板作为最佳匹配模板，即：

T＝T(n₀)  s.t.

本发明实施例所采用的协调色模板匹配算法可以更加准确的找到与待处理图像相匹配的协调色模板。此外，还可以手动的指定某类模板，然后由本发明实施例的匹配算法找到其相应的旋转角度。则通过上述两个子步骤，就可以确定出第一帧图像的最佳的匹配协调色模板T₀，也即所述该整个镜头视频的匹配协调色模板。

步骤223，标注待协调的像素；

进一步本发明实施例还可以以最佳的匹配协调色模板T₀为标准，将图像中色度在T₀的扇形区域内部的像素作为颜色已知的像素，不需要再进行协调化处理，而色度在T₀的扇形区域外部的像素标注为待协调化的像素，在下面的步骤中，只需要对该图像的待协调的像素进行协调处理。

步骤224，读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

截取下一帧图像，与上一帧图像组合成一幅新的组合图像，构造左右组合图像，其左半图像为上一帧已标注过待协调化像素的图像，右半图像为这一帧读取的原图像。

需要说明的是，在本发明实施例中，不限于上述左右组合图像的构造，右半图像可以为上一帧图像，左半图像可以为当前帧图像；还可以构造上下方式的组合图像，其处理方法可以由左右组合图像的处理推导出，本发明实施例此处不再进行详细说明。

步骤225，对于组合图像中的每一个像素，获取该像素对应的时空邻域点；

对于组合图像中的每一个像素，获取该像素对应的空间邻域点和时间邻域点，空间邻域点和时间邻域点的集合就是该像素对应的时空邻域点。

空间邻域点就是在同一帧图像上与该像素位置相邻的像素点，在本实施例中获取该像素的8个空间邻域点，若像素点的坐标为(x₀，y₀)，则其空间邻域点(x，y)可以表示为满足下式的集合：

$\left|\right|(x,y)-(x_0,y_0)\left|\right|=\sqrt{{(x-x_0)}^2+{(y-y_0)}^2}<2,$

其中，各点像素间距为1。如图3所示，为一帧图像中像素点的示意图，像素1、2、3、4、6、7、8、9就是中间像素5的8个空间邻域点。本发明实施例不限于上述空间邻域点的获取方式，可以根据颜色协调化处理的协调程度和用户的选择，选取不同临近距离的邻域点，可以为4个或者8个以上，但通常选取一个像素的4个空间邻域点(即像素2、4、6、8是中间像素5的4个空间邻域点)或8个空间邻域点。

为了保证连续帧图像之间的时间连续性，对于组合图像中的每一个像素，还需要找到其对应的时间邻域点。一个像素的时间邻域点是指该像素在相邻帧图像上与其空间相邻的对应像素点。可以采用光流法估计像素的移动矢量(v_x(x，y)，v_y(x，y))，这样，第t-1帧图像上的像素(x₀，y₀，t-1)，在第t帧上的时间邻域点(x，y，t)可以表示为：

||(x₀+v_x(x₀，y₀)，y₀+v_y(x₀，y₀))-(x，y)||＜Δ，

其中，Δ为预设的一个值，与空间邻域点类似，可以根据颜色协调化处理的协调程度和用户的选择，根据其值的大小选取不同的时间邻域点，在各点像素间距为1的情况下，一般取2。

在本发明的一个优选实施例中，所述获取该像素对应的时间邻域点为：采用双向光流法，即分别计算组合图像中左图像到右图像的光流以获取左图像各像素在右图像上的时间邻域点；以及右图像到左图像的光流以获取右图像各像素在左图像上的时间邻域点，左图像对应第t-1帧图像，右图像对应第t帧图像。具体步骤为：

a、根据正向光流计算t-1帧到t帧的移动矢量(v_x ⁺(x，y)，v_y ⁺(x，y))，从而得到t-1帧上的像素点(x_t-1，y_t-1，t-1)在t帧上的时间邻域点(x，y，t)，其(x，y，t)满足下式：

$\left|\right|(x_{t-1}+v_x^{+}(x_{t-1},y_{t-1}),y_{t-1}+v_y^{+}(x_{t-1},y_{t-1}))-(x,y)\left|\right|<\mathrm{\&Delta;}$

b、根据逆向光流计算t帧到t-1帧的移动矢量(v_x ^-(x，y)，v_y ^-(x，y))，从而得到t帧上的像素点(x_t，y_t，t)在t-1帧上的时间邻域点(x，y，t-1)，其(x，y，t-1)满足下式：

$\left|\right|(x_t+v_x^{-}(x_t,y_t),y_t+v_y^{-}(x_t,y_t))-(x,y)\left|\right|<\mathrm{\&Delta;}$

则根据上述步骤a和b，即可以得到整个组合图像中各个像素的时间邻域点。

将上述所得到的每一个像素的空间邻域点和时间邻域点求合集，即得到该像素的时空邻域点。通过时空邻域点可以将两幅相邻帧图像做统一的颜色协调化处理，这种处理方式既保证了单帧图像颜色协调化的空间连续性，又保证了相邻帧的时间连续性，进而保证了整个镜头协调化处理的时空连续性。这种处理方式是基于这样一种观察事实，即如果协调化视频的每一帧跳变到下一帧的时候是时空连续的，那么整个视频就是时空连续的。

步骤226，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

将第一帧图像的协调色模板作为该段镜头视频文件的匹配协调色模板，并与下一帧图像构造组合图像进行颜色协调处理，通过像素对应的时空邻域点，使前后连续帧图像对应同一个协调色模板，确保了前后帧图像配色方案的连续性。

步骤227，判断是否处理完该段镜头视频的最后一帧图像，若否，则返回步骤223，循环执行步骤223到步骤226；若是，则执行步骤23；

如果当前帧不是镜头视频的最后一帧，则将当前帧的颜色协调化结果图像作为下一个循环组合图像的左图像，并且整个左图像所有像素都标注为已知像素，跳转到步骤223，以循环处理镜头内的各帧图像。由于在处理每一帧时，都以上一帧的颜色协调化图像作为约束，保证了帧与帧之间颜色协调化的时间连续性。

步骤23，判断当前镜头视频是否为所述视频文件的最后一段镜头视频，如果否，则执行步骤22，如果是，则结束处理；

如果当前所处理的镜头不是最后一个镜头文件，则转到步骤22，以循环处理各个镜头，直至所有镜头视频文件被处理完毕。

进一步，参照图4，步骤226包括如下子步骤：

步骤41，根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

像素亲密度矩阵表示了像素与其时空邻域内像素的近似程度。在HSV图像的H通道上，例如，由上述步骤42获得的某点像素r的时空邻域像素s，则定义两个邻近像素的色度相似度的值为：

w_rs＝Cexp(-(H(r)-H(s))²/2σ²)  s∈N(r)，

上式定义了像素r与其时空邻域内的像素s的相似程度w_rs，其中，H(r)与H(s)是像素r与像素s的色度值；σ²是像素r的时空邻域N(r)内所有像素的色度值的方差；像素s位于像素r的时空邻域N(r)内，像素r与像素s的色度相似度的值正比于exp(-(H(r)-H(s))²/2σ²)，具体值由前面的系数C决定，在本发明实施例中，为保证所有w_rs之和为1，系数C取值如下：

$C=\frac{1}{\underset{s\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}\exp (-{(H\left(r\right)-H\left(s\right))}^2/2{\mathrm{\&sigma;}}^2)}.$

优选的，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；其中，2N为组合图像的像素数，矩阵的第r行第s列元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素的色度相似程度的值为零。

即：如果一帧图像有N个像素，则组合图像的像素数为2N，创建一个2N×2N大小的矩阵A，矩阵A的第r行s列的元素置为w_rs，其它元素置为0。矩阵A就是所要求的时空邻域像素亲密度矩阵。由于每个像素只与其时空邻域内的像素相比较，所以A的大部分元素为0，是一个超大规模的稀疏矩阵。

本发明实施例通过像素亲密度矩阵将已知像素的色度值扩展到整个图像，充分考虑了像素之间的空间连续性和时间连续性，避免了原图像中属于同一色调的区域经过颜色协调化以后被分成两种颜色的问题，使颜色协调化的结果更加符合人们的期望；并且将前后两帧构成的组合图像看作一个整体进行颜色协调化处理，保证了处理后前后帧之间的时间连续性。

步骤42，计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

本发明的图像颜色协调化算法是基于这样一个观察事实，即如果两个相邻像素，像素r和像素s在颜色协调化之前具有相近的颜色，则颜色协调化之后也应该具有相近的颜色。因此，在经过颜色协调化后，在新的色度通道图像中像素r与其邻域像素加权平均值之差应该最小。所述各个像素与其邻域像素的色度加权平均值之差用公式表示为：

$J\left(H\right)=\underset{r}{\mathrm{\&Sigma;}}{(H\left(r\right)-\underset{s\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}H\left(s\right))}^2.$

通过进一步的数学推导可以得出J(H)与像素亲密度矩阵A之间的关系为：

J(H)＝H^T(D-A)H，

其中D为与A同等尺度的单位矩阵，H^T为H的转置。

步骤43，求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

对于方程：

J(H)＝H^T(D-A)H，

能使上式取得最小值的H就是所求的颜色协调化后的色度H₀，即：

$H_0=\underset{H}{\arg \min }J\left(H\right).$

由于只有一部分像素的色度需要进行协调化处理，另一部分像素的色度不改变，因此，对于方程J(H)＝H^T(D-A)H，相当于待求的H中某些像素的色度是已知的。另一方面，由于H中每个像素的色度只能分布于匹配协调色模板的扇形区域内，也就是H中每个像素的色度取值是受限的。因此，颜色协调化处理就变成了一个最优化理论中的约束极值问题，具体表述为：

x₀＝arg minx^T(D-A)x，s.t.  x_i＝s_i，

and(b₁≤x_j≤b₂  or  b₃≤x_j≤b₄，

0≤b₁≤b₂≤b₃≤b₄≤2π)；

其中，S是已知像素色度s_i的集合，b₁、b₂、b₃、b₄是对x取值的约束，代表了匹配协调色模板中扇形区域的边界，对于i、V、T型模板，其边界有两个约束值；对于L、I、Y、X型模板，其边界有四个约束值；由于N型模板是用于处理灰度图像的，所以不考虑该模板。x是一个列向量，其每个元素对应于H中每个像素的色度，其中，x_i为H中已知像素的色度，x_j为H中未知像素的色度，对于这类非线性约束极值问题，需用相应的最优化算法求解。

进一步，本发明采用罚函数法将上述非线性约束极值问题转化为非线性无约束极值问题，然后采用梯度下降法进行求解。构造如下罚函数：

$P(x,M)=x^T(D-A)x+M\underset{i\&Element;S}{\mathrm{\&Sigma;}}{(x_i-s_i)}^2+M\underset{j\&NotElement;S}{\mathrm{\&Sigma;}}{\left(g\left(x_j\right)\right)}^2$

$g\left(x_j\right)=\left\{\begin{array}{cc}0& b_1\&le;x_j\&le;b_2\mathrm{or}{b}_3\&le;x_j{b}_4\\ 1& \mathrm{else}\end{array}\right.;$

其中M为罚因子，是罚函数的系数，通常是一个非常大的正数，g(x)是一个阶跃函数。用梯度下降法可以求出上述罚函数的最优解得到解向量：

x^*＝argminP(x，M)

则x^*就是所求的颜色协调化的结果图像的色度向量，其每个元素对应于每个像素的色度。本发明通过构建目标方程，求其全局最小值的方法求解得到颜色协调化结果，这种方法保证了所求结果的全局最优性。

步骤44，根据方程的解对所述组合图像进行颜色协调处理；

由于x^*的每个元素对应于组合图像中每个像素的色度值，则可以根据该色度值对所述组合图像进行颜色协调处理。

以上所述的一种自动式视频颜色协调处理方法实施例，针对的是一段完整的已知的视频文件，通过分镜头预处理后再进行颜色协调。参照图5，为一种自动式实时视频颜色协调处理方法实施例，该实施例可以对实时视频流进行颜色协调处理，例如，对于摄像机拍的视频流，可以一边拍摄一边进行颜色协调处理。所述方法包括：

步骤51，读取一帧图像，统计其色度直方图和颜色直方图；

截取一帧图像，先在RGB空间统计其颜色直方图h_x ^R，h_x ^G，h_x ^B，然后将图像转换到HSV颜色空间，对其H通道的色度图像统计色度直方图hist_h。色度直方图用来获取该帧图像的匹配协调色模板，颜色直方图用来判断是否发生了镜头切换，如果发生切换，则应及时调整协调色模板。

步骤52，根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

根据图像色度直方图找到与之匹配的协调色模板T₀。

优选的，所述根据当前帧图像的色度直方图获取该图像的匹配协调色模板具体为：计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的协调色模板；其中，所述匹配度量为所述图像的色度在协调色模板内像素的数目，与协调色模板容纳的总像素数目的比值。

此外，还需要进行像素标注，根据协调色模板将图像像素标注为已知和待协调化两类。

步骤53，读取下一帧图像，分别统计其色度直方图和颜色直方图；

截取下一帧图像，先在RGB空间统计其颜色直方图h_y ^R，h_y ^G，h_y ^B，然后将图像转换到HSV颜色空间，对其H通道的色度图像统计色度直方图。

步骤54，对连续两帧图像的颜色直方图差异值与预置极值进行比较，判断是否发生镜头切换，若是，则执行步骤52，若否，则执行步骤55；

采用连续帧图像之间的颜色直方图之差作为直方图差异的度量，直方图之差表示为：

$d_{\mathrm{RGB}}(x,y)=\underset{i}{\mathrm{\&Sigma;}}\left|\right|h_x^R\left(i\right)-h_y^R\left(i\right)\left|\right|+\left|\right|h_x^G\left(i\right)-h_y^G\left(i\right)\left|\right|+\left|\right|h_x^B\left(i\right)-h_y^B\left(i\right)\left|\right|,$

其中，x、y表示两帧连续的x图像和y图像，h_x ^R，h_x ^G，h_x ^B分别表示图像x在R，G，B通道的直方图的值；h_y ^R，h_y ^G，h_y ^B分别表示图像y在R，G，B通道的直方图的值。

镜头切换时，d_RGB(x，y)将会是在该处呈现一个极值，一般比没有切换时的值大3倍以上。本发明实施例的预置极值设为3倍的d_RGB(X，Y)，采用下式来判断是否发生镜头切换：

d_RGB(x，y)≥3d_RGB(X，Y)；

其中，d_RGB(X，Y)是到前一帧为止，本镜头内所有d_RGB(X，Y)的平均值。如果发生镜头切换，由说明当前帧应为下一个镜头的起始帧，所以转到步骤52，重新确定匹配协调色模板。如果没有发生镜头切换，则以上一帧图像的匹配协调色模板进行颜色协调。

步骤55，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

将上述两幅图像构造成一幅新的组合图像，其左半图为上一帧已标注过待协调化像素的图像，右半图为当前帧原始图像。

步骤56，对于组合图像中的每一个像素，获取该像素对应的时空邻域点，所述时空邻域点包括空间邻域点和时间邻域点；

本实施例中，所述空间邻域点为获取该像素的8邻域点；所述获取该像素对应的时间邻域点为：采用双向光流法，即分别计算组合图像中左图像到右图像的光流以获取左图像各像素在右图像上的时间邻域点；以及右图像到左图像的光流以获取右图像各像素在左图像上的时间邻域点。

步骤57，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

所述步骤57进一步包括：

步骤571，根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

像素亲密度矩阵表示了像素与其时空邻域内像素的近似程度。在HSV图像的H通道上，由上述步骤561获得的某点像素r的时空邻域像素s，定义两个邻近像素的色度相似程度为：

w_rs＝Cexp(-(H(r)-H(s))²/2σ²)  s∈N(r)，

上式定义了像素r与其时空邻域内的像素s的相似程度w_rs，其中，H(r)与H(s)是像素r与像素s的色度值；σ²是像素r的时空邻域N(r)内所有像素的色度值的方差；像素s位于像素r的时空邻域N(r)内，w_rs正比于exp(-(H(r)-H(s))²/2σ²)，具体值由前面的系数C决定，在本发明实施例中，为保证所有w_rs之和为1，系数C一般取如下式的值：

$C=\frac{1}{\underset{s\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}\exp (-{(H\left(r\right)-H\left(s\right))}^2/2{\mathrm{\&sigma;}}^2)}.$

优选的，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；其中，2N为组合图像的像素数，矩阵的第r行第s列元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素的色度相似程度的值为零。

步骤562，计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

所述各个像素与其邻域像素的色度加权平均值之差用公式表示为：

$J\left(H\right)=\underset{r}{\mathrm{\&Sigma;}}{(H\left(r\right)-\underset{s\&Element;N\left(r\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{rs}}H\left(s\right))}^2.$

进一步的数学推导可以得出J(H)与像素亲密度矩阵A之间的关系为：

J(H)＝H^T(D-A)H；

其中D为与A同等尺度的单位矩阵，H^T为H的转置。

步骤563，求解方程并根据方程的解对所述组合图像进行颜色协调处理，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内。

对于方程：

J(H)＝H^T(D-A)H，

能使上式取得最小值的H就是所求的颜色协调化后的色度H₀，即：

$H_0=\underset{H}{\arg \min }J\left(H\right)$

由于只有一部分像素的色度需要进行协调化处理，另一部分像素的色度不改变，因此，对于方程J(H)＝H^T(D-A)H：相当于待求的H中某些像素的色度是已知的。另一方面，由于H中每个像素的色度只能分布于匹配协调色模板的扇形区域内，也就是H中每个像素的色度取值是受限的。因此，颜色协调化处理就变成了一个最优化理论中的约束极值问题，具体表述为：

x₀＝argminx^T(D-A)x，s.t.  x_i＝s_i，

and(b₁≤x_j≤b₂  or  b₃≤x_j≤b₄，

0≤b₁≤b₂≤b₃≤b₄≤2π)

其中，S是已知像素色度值的集合，b₁、b₂、b₃、b₄是对x取值的约束，代表了匹配协调色模板中扇形区域的边界，对于i、V、T型模板，其边界有两个约束值；对于L、I、Y、X型模板，其边界有四个约束值；由于N型模板是用于处理灰度图像的，所以不考虑该模板。x是一个列向量，其每个元素对应于H中每个像素的色度，其中，x_i为H中已知像素的色度，x_j为H中未知像素的色度，对于这类非线性约束极值问题，需用相应的最优化算法求解

步骤574，根据方程的解对所述组合图像进行颜色协调处理；

本发明实施例步骤57包括的子步骤与上一个实施例中根据所述匹配协调色模板对组合图像进行颜色协调处理的步骤相同，此处描述的比较简略，具体处理方法可参见上一个实施例。

步骤58，判断是否有下一帧图像需要处理，若是，则返回步骤53，循环执行步骤53到步骤57，若否，则结束处理。

本发明实施例提出的一种自动式实时视频流的颜色协调处理方法，仅需要上一帧的协调化结果作为辅助就可以保证处理结果的时间连续性，而不需要像现有文献中的对视频进行分组处理方法，能够实现对实时视频流的处理。

参照图6，为本发明一种自动式视频颜色协调处理系统实施例的结构图，包括：

镜头切分单元61，用于将视频文件切分为各段镜头视频；

镜头视频颜色协调单元62，用于读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理；其中，所述时空邻域点包括空间邻域点和时间邻域点；

镜头判断单元63，用于判断当前镜头视频是否为所述视频文件的最后一段镜头视频，如果否，则通知镜头视频颜色协调单元进行下一段镜头视频的处理，如果是，则该视频文件处理完毕。

优选的，所述镜头视频颜色协调单元62包括：

直方图统计子单元621，用于读取第一帧图像，并统计其色度直方图；

模板获取子单元622，用于根据所述色度直方图获取第一帧图像的匹配协调色模板；

组合图像构造子单元623，用于读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

时空邻域点获取子单元624，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；

颜色协调处理子单元625，用于根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

其中，组合图像构造子单元623、时空邻域点获取子单元624和颜色协调处理子单元625循环执行操作，直到协调处理完成该段镜头视频文件的最后一帧图像。

优选的，所述颜色协调处理子单元625，包括：

亲密度矩阵构造模块6251，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

时空邻域方程构造模块6252，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解模块6253，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

颜色协调模块6254，用于根据方程的解对所述组合图像进行颜色协调处理。

参照图7，为本发明一种自动式实时视频颜色协调处理系统实施例的结构图，包括：

第一直方图统计单元71，用于读取一帧图像，分别统计其色度直方图和颜色直方图；

模板获取单元72，用于根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

第二直方图统计单元73，用于在获取匹配协调色模板后，读取下一帧图像，分别统计其色度直方图和颜色直方图；

镜头切换判断单元74，用于比较连续两帧图像的直方图差异值与预置极值，判断是否发生镜头切换，若是，则触发模板获取单元72，若否，则触发组合图像构造单元75；

组合图像构造单元75，用于当镜头切换判断单元判断镜头没有切换时，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

时空邻域点获取单元76，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；其中，所述时空邻域点包括空间邻域点和时间邻域点；

颜色协调处理单元77，用于根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

处理需求判断单元78，用于判断是否有下一帧图像需要处理；若是，则第二直方图统计单元73、镜头切换判断单元74、组合图像构造单元75、时空邻域点获取单元76和颜色协调处理单元77循环执行操作，若否，则结束处理。

优选的，所述颜色协调处理单元77包括：

亲密度矩阵构造模块771，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

时空邻域方程构造模块772，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解模块773，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

颜色协调模块774，用于根据方程的解对所述组合图像进行颜色协调处理。

需要说明的是，亲密度矩阵构造模块771和求解模块773中可以设置辅助硬件，如专用计算芯片等，以提高对实时视频流的处理速度。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种自动式视频颜色协调处理方法和处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种自动式视频颜色协调处理方法，其特征在于，包括：

A1，将视频文件切分为各段镜头视频；

A2，读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理；其中，所述时空邻域点包括空间邻域点和时间邻域点；

A3，判断当前镜头视频是否为所述视频文件的最后一段镜头视频，若否，则执行A2；若是，则该视频文件处理完毕。

2.如权利要求1所述的方法，其特征在于，所述将视频文件切分为各段镜头视频具体为：

视频中连续帧图像的颜色直方图差异值达到预置极值时，对视频文件进行切分，得到一段镜头视频。

3.如权利要求1所述的方法，其特征在于，所述对当前镜头视频中的各个帧进行颜色协调处理包括：

B1，读取第一帧图像，并统计其色度直方图；

B2，根据所述色度直方图获取第一帧图像的匹配协调色模板；

B3，读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

B4，对于组合图像中的每一个像素，获取该像素对应的时空邻域点；

B5，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

B6，返回B3，循环执行B3到B5，直到协调处理完成该段镜头视频的最后一帧图像。

4.如权利要求3所述的方法，其特征在于，所述根据所述色度直方图获取第一帧图像的匹配协调色模板具体为：

计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的匹配协调色模板；

其中，所述匹配度量为所述图像的色度在协调色模板内的像素数目与协调色模板容纳的总像素数目的比值。

5.如权利要求3所述的方法，其特征在于，所述根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理包括：

根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

根据方程的解对所述组合图像进行颜色协调处理。

6.如权利要求5所述的方法，其特征在于，所述获取该像素对应的时间邻域点为：

采用双向光流法，分别计算组合图像中上一帧图像到当前帧图像的光流以获取上一帧图像各像素在当前帧图像上的时间邻域点，以及当前帧图像到上一帧图像的光流以获取当前帧图像各像素在上一帧图像上的时间邻域点。

7.如权利要求5所述的方法，其特征在于，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；

其中，2N为组合图像的像素数，矩阵的第r行第s列元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素色度相似程度的值为零。

8.一种自动式实时视频颜色协调处理方法，其特征在于，包括：

C1，读取一帧图像，分别统计其色度直方图和颜色直方图；

C2，根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

C3，读取下一帧图像，分别统计其色度直方图和颜色直方图；

C4，对连续两帧图像的颜色直方图差异值与预置极值进行比较，判断是否发生镜头切换，若是，则执行C2，若否，则执行C5；

C5，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

C6，对于组合图像中的每一个像素，获取该像素对应的时空邻域点；其中，所述时空邻域点包括空间邻域点和时间邻域点；

C7，根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

C8，判断是否有下一帧图像需要处理，若是，则返回C3，循环执行C3到C7，若否，则结束处理。

9.如权利要求8所述的方法，其特征在于，所述根据当前帧图像的色度直方图获取该图像的匹配协调色模板具体为：

计算所述色度直方图与各个协调色模板的匹配度量，将匹配度量最大时对应的协调色模板作为第一帧图像的匹配协调色模板；

其中，所述匹配度量为所述图像的色度在协调色模板内像素的数目与协调色模板容纳的总像素数目的比值。

10.如权利要求8所述的方法，其特征在于，所述根据所述匹配协调色模板对所述组合图像进行颜色协调处理包括：

根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

根据方程的解对所述组合图像进行颜色协调处理。

11.如权利要求10所述的方法，其特征在于，所述获取该像素对应的时间邻域点为：

采用双向光流法，分别计算组合图像中上一帧图像到当前帧图像的光流以获取上一帧图像各像素在当前帧图像上的时间邻域点，以及当前帧图像到上一帧图像的光流以获取当前帧图像各像素在上一帧图像上的时间邻域点。

12.如权利要求10所述的方法，其特征在于，所述时空邻域像素亲密度矩阵，为一个2N×2N的矩阵；

其中，2N为组合图像的像素数，矩阵的第r行s列的元素w_rs为组合图像第r个像素与第s个像素的色度相似度的值，不互为时空邻域点的像素色度相似程度的值为零。

13.一种自动式视频颜色协调处理系统，其特征在于，包括：

镜头切分单元，用于将视频文件切分为各段镜头视频；

镜头视频颜色协调单元，用于读入一段镜头视频，根据第一帧图像的匹配协调色模板和各帧图像像素的时空邻域点对当前镜头视频中的各帧图像进行颜色协调处理；其中，所述时空邻域点包括空间邻域点和时间邻域点；

镜头判断单元，用于判断当前镜头视频是否为所述视频文件的最后一段镜头视频，如果否，则通知镜头视频颜色协调单元进行下一段镜头视频的处理，如果是，则该视频文件处理完毕。

14.如权利要求13所述的系统，其特征在于，所述镜头视频颜色协调单元包括：

直方图统计子单元，用于读取第一帧图像，并统计其色度直方图；

模板获取子单元，用于根据所述色度直方图获取第一帧图像的匹配协调色模板；

组合图像构造子单元，用于读取下一帧图像，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

时空邻域点获取子单元，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；

颜色协调处理子单元，用于根据所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

其中，组合图像构造子单元、时空邻域点获取子单元和颜色协调处理子单元循环执行操作，直到协调处理完成该段镜头视频文件的最后一帧图像。

15.如权利要求14所述的系统，其特征在于，所述颜色协调处理子单元，包括：

亲密度矩阵构造模块，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

时空邻域方程构造模块，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解模块，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

颜色协调模块，用于根据方程的解对所述组合图像进行颜色协调处理。

16.一种自动式实时视频颜色协调处理系统，其特征在于，包括：

第一直方图统计单元，用于读取一帧图像，分别统计其色度直方图和颜色直方图；

模板获取单元，用于根据当前帧图像的色度直方图获取该图像的匹配协调色模板；

第二直方图统计单元，用于在获取匹配协调色模板后，读取下一帧图像，分别统计其色度直方图和颜色直方图；

镜头切换判断单元，用于比较连续两帧图像的直方图差异值与预置极值，判断是否发生镜头切换，若是，则触发模板获取单元，若否，则触发组合图像构造单元；

组合图像构造单元，用于当镜头切换判断单元判断镜头没有切换时，构造组合图像；其中，一半图像为上一帧图像，另一半图像为当前帧图像；

时空邻域点获取单元，用于对于组合图像中的每一个像素，获取该像素对应的时空邻域点；其中，所述时空邻域点包括空间邻域点和时间邻域点；

颜色协调处理单元，用于所述匹配协调色模板和像素对应的时空邻域点对所述组合图像进行颜色协调处理；

处理需求判断单元，用于判断是否有下一帧图像需要处理；若是，则第二直方图统计单元、镜头切换判断单元、组合图像构造单元、时空邻域点获取单元和颜色协调处理单元循环执行操作，若否，则结束处理。

17.如权利要求16所述的系统，其特征在于，所述颜色协调处理单元包括：

亲密度矩阵构造模块，用于根据所述时空邻域点构造所述组合图像的时空邻域像素亲密度矩阵；

时空邻域方程构造模块，用于计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述时空邻域像素亲密度矩阵构建时空邻域方程；

求解模块，用于求解方程，所述方程的解为组合图像的中各个像素的色度；其中，在满足如下条件的情况下对方程求解：最小化像素与其邻域像素的色度加权平均值之差，并且每个像素的色度在匹配协调色模板内；

颜色协调模块，用于根据方程的解对所述组合图像进行颜色协调处理。

Images