CN104145477A - 调整颜色的方法及系统 - Google Patents

Abstract

一种调整由多个相机捕获的图像的颜色的方法，包括接收由所述多个相机中的第一相机捕获的第一图像的步骤，分析所述第一图像以区分所述第一图像的像素为背景像素和前景像素，从所述背景像素选择有点灰色的像素，确定调整所述被选的像素的所述颜色朝着正灰色移动的总数，并提供用于调整所述多个相机的图像颜色分量的信息。

Description

调整颜色的方法及系统

相关申请

本申请是USSN13/331,622的继续申请并要求其优先权，USSN13/331,622于2011年12月20日(12.20.2011)提交，其全部教导内容通过引用合并于此。

背景技术

颜色特征在由智能监视系统执行的分析中(例如在使用各种分析论和算法的取证搜索(forensic search)中)扮演重要的角色。这些系统有时利用大量的相机。在由这些智能系统执行的分析中，挑战性的问题是找到与相似的颜色最匹配的对象。例如，为了确保跨越各相机被追踪的对象是相同的对象，比对对象的颜色特征。只有具有相似颜色特征的对象被认为是匹配的对象并且跨越在系统中的各相机被追踪。在为搜索提供示例性对象的取证搜索的情况下，系统识别具有相似颜色特征的对象并提供它们作为搜索结果。

在这些示例性应用中，和其他应用一样，颜色匹配表现出巨大的挑战。由于在白平衡处理中颜色增益调整，系统中相机的色温可以不同。总的来说，合适的相机白平衡考虑光源的“色温”，其指白光相对的暖或冷。数字相机对于由相机捕获的图像能够生成蓝色、红色、或甚至绿色的投射。由于甚至监视相同视野的相机可以使用不同的白平衡参数并且生成不同色温的图像，因此有可能相同的对象的颜色从一个相机到另一个相机显著不同。因而，在工业中已经存在对于一种方法和系统的需要，以跨越系统中的不同相机提供对象的一致颜色，从而方便对象的分析。

发明内容

一种调整由多个相机捕获的图像的颜色的方法的例子，包括以下步骤：接收由所述多个相机中的第一相机捕获的第一图像；分析所述第一图像以将所述第一图像的像素分为背景像素和前景像素；从具有作为灰色色调的颜色的背景像素选择像素；所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动；以及提供在调整来自所述多个相机的图像的颜色分量中使用的信息。

执行此方法包括一个或多个以下特征。选择步骤包括选择像素的范围，其中所选择的范围中包括正灰色。确定步骤包括在所选择的像素的Cb和Cr分量的直方图中确定最大的二进制数。确定步骤包括对于所选择的像素的颜色分量确定平均颜色。所述方法进一步包括通过使用所提供的信息来调整所述多个相机的颜色的步骤。所述方法进一步包括确定所述多个相机的视野的重叠区域，以及其中选择步骤包括从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素，确定步骤包括确定调整所选择的像素的颜色朝着正灰色移动的量，以及进一步包括基于所确定的调整量，调整具有重叠区域的多个相机中的相机的白平衡。

一种用以调整由多个相机捕获的图像的颜色的系统的例子，其中所述系统包括网络；连接于网络的多个相机；以及连接于网络的处理器，其中处理器适用于接收多个相机中的第一相机捕获的第一图像，分析第一图像以将第一图像的像素分为背景像素和前景像素，从具有作为灰色色调的颜色的背景像素选择像素，确定调整所选择的像素的量，以将被选的像素的颜色朝着正灰色移动，以及提供在调整来自多个相机的图像的颜色分量中使用的信息。

执行此方法包括一个或多个以下特征。处理器适用于选择像素的范围，其中所选择的区域中包括正灰色。处理器适用于在所选择的像素的Cb和Cr分量的直方图中确定最大的二进制数。处理器适用于对于所选择的像素的颜色分量确定平均颜色。处理器适用于通过使用所提供的信息来调整多个相机的颜色。第一相机具有第一视野，以及来自多个相机的第二相机具有第二视野，并且第二视野与第一视野具有重叠区域，处理器适用于确定多个相机的视野的重叠区域，从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素，确定调整所选择的像素的颜色朝着正灰色移动的量，基于所确定的调整量，调整具有重叠区域的多个相机中的相机的白平衡。

一种非暂时性计算机可读介质的示例，其中所述非暂时性计算机可读介质包括指令，其中所述指令配置来使得处理器：色调的颜色的背景像素选择像素；确定调整所选择的像素的量，以将被选的像素的颜色朝着正灰色移动；以及提供在调整来自多个相机的图像的颜色分量中使用的信息。

应用此非暂时性计算机可读介质包括一个或多个以下特征。使得处理器从具有作为灰色色调的颜色的背景像素选择像素的指令包括，使得处理器选择像素的范围的指令，其中所选择的范围中包括正灰色。使得处理器确定调整所选择的像素的量，以将被选的像素的颜色朝着正灰色移动的指令包括，使得处理器对于所选择的像素的颜色分量确定平均颜色。使得处理器确定调整所选择的像素的量，以将被选的像素的颜色朝着正灰色移动的指令包括，使得处理器对于所选择的像素的颜色分量确定平均颜色的指令。使得处理器通过使用所提供的信息来调整多个相机的颜色。使得处理器确定多个相机的视野的重叠区域的指令，并且其中使得处理器从具有作为灰色色调的颜色的背景像素选择像素的指令包括使得处理器从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素的指令，使得处理器确定调整所选择的像素的量，以将被选的像素的颜色朝着正灰色移动的指令包括，使得处理器确定调整所选择的像素的颜色朝着正灰色移动的量，并且还包括基于所确定的调整量来调整具有重叠区域的多个相机中的相机的白平衡的指令。

通过阅读以下详细的说明书、附图以及权利要求将会更充分的理解这里描述的步骤和系统，以及其所附随的优点、应用、及其特征。

附图说明

图1是一个实施例的监视系统的框图，其中在所述监视系统中，可实现跨越系统中各相机提供一致颜色的各个方面。

图2是图1所示的监视系统中使用的工作站的一个实施例的示例性框图。

图3是图1所示的监视系统中使用的相机的一个实施例的示例性框图。

图4是相机捕获的图像的简化的示例性图示。

图5是为了分析从图4选择的区域的示例性图示。

图6是为了分析在图5中所选择d区域的示例性直方图的图示。

图7是颜色调整后的示例性直方图的图示。

详细的描述

参考图1，视频监视系统10具有可以是封闭网络、局域网络、或者广域网络的网络12，例如因特网。多个相机14、16和18通过有线或者无线连接的方式连接到网络12，以提供实时视频流。工作站22通过有线或者无线连接被连接到网络12，其中所述工作站22可以是，例如监视系统10中的控制点、服务器、数字视频录像机、个人电脑或通过笔记本电脑登录监视系统10的用户，。相机14、16和18通过网络12提供视频流给工作站22。设备20连接到网络12，并且可以是另一个工作站、控制点、网络管理员、系统存储器或其他合适的设备。一个或多个相机14、16和18可以是可移动的相机，例如允许用户调整相机的摇摄，倾斜(tilt)，以及相机的变焦的PTZ相机。另外，一个或多个相机14、16和18可以有他们自己的处理器和存储器，以便对它们各自的视频流执行分析和算法。监视系统10可以配置为分布式系统，其中通过如工作站22和设备20的各种设备执行系统的控制和数据处理，或者监视系统10可以配置为主计算机系统，其中例如，工作站22可以为主机。监视系统10中的相机可以具有分散的场景、或者如重叠区域17所示它们可以重叠。

参考图2，以框图的方式示出了执行配置相机的各个方面的示例性工作站的一个实施例。工作站22具有中央或主处理器26，此处理器连接于输入/输出24，ROM28，RAM30，视频显示器35，存储器32以及用户输入设备36。用户输入设备36可以是键盘、鼠标、控制器、或其他合适的输入设备。响应于来自用户输入设备36的用户输入以及处理器26实现存储在ROM28、例如可以是磁盘驱动器的存储器32、或位于监视系统10中其他地方(例如设备20)的存储器中的算法和程序，并且提供输出信号给显示器35。输入/输出24连接到网络12以接收来自相机14、16和18的视频流，并且发送配置和控制信号给图1中的相机14、16和18。另外，输入/输出24同样能够接收来自设备20的信号，例如从相机14,16和18中的一个或多个接收实现关于视频流的取证搜索的各方面的算法。例如，保存在存储器32中的程序和算法在运行时间被加载以使得用户通过利用用户输入设备36与在显示器35上的图形用户界面交互来管理取证搜索利用算法以分析经过(over)网络12接收的视频流。由处理器26执行的辩论的搜索结果可被显示在显示器35上。

参考图3，说明示例性相机50的实施例。相机50的实施例可以以相机14,16和18中中的一个或多个实现。虽然相机50作为具有其中包含多功能的单一单元被示出，但是其它实施例可以包括实现一个或多个功能的多个分立的单元。相机50具有成像设备52，其包括例如镜头和图像感应器。成像设备52具有由虚线54和56定义的视野。线58示出视野的背景，线62示出前景中的兴趣对象，例如行走的人。成像设备52连接到处理器64并提供其图像感应器的输出给处理器64。处理器64连接于存储器66，其可以由任意适合的数据存储器组成，例如RAM、ROM、磁盘驱动器或光盘驱动器。

存储器66包括由模块68表示的软件，其提供各种算法，该算法由处理器64使用以分析由成像设备52提供的视频流。例如，作为相机50捕获的视野的帧，由处理器64依据存储在存储器66中的软件算法和分析提供的方法处理这些帧，以确定一个或多个移动的对象是否出现。示例性方法可使用高斯混合模型示例性，以从包含例如树，建筑物，以及道路之类的静态对象的背景中分离包含动态对象的前景。然后这些移动对象的图像被处理，以识别移动对象的图像的各种特征，例如颜色。

使用移动对象的图像，处理器64创建与各个视频帧中的每一移动对象的图像相关的元数据。关联于或链接到对象的元数据包含关于对象的图像的各种特征的信息。例如，元数据可以包括的特征信息，其中所述特征信息例如对象的位置、对象的高度、对象的宽度、对象正移动的方向、对象正移动的速度、对象的颜色、以及对象的按类别的分类，例如人或汽车。连接到处理器64的输入/输出70与网络或其他通信信道接连，以提供相机如帧72所示的输出。帧72包括元数据74和视频数据76。元数据存储在关联于或链接到视频数据的数据文件中。元数据可被例如工作站22利用，以管理监视系统10中一个或多个相机提供的视频图像的取证分析。这些搜索包括涉及系统中多个相机的复杂分析，例如当对象移动时追踪由系统监视的对象位置，使得由系统中的多个相机在相同点或不同点及时地捕获移动对象的图像。

这里描述的实现技术的一个示例性实施例利用色域如YCbCr(其中Y是亮度、Cb是蓝色差分色度分量以及Cr是红色差分色度分量)、RGB(其中R是红色分量、G是绿色分量、B是蓝色分量)、HSV(其中H是色调、S是饱和度以及V是亮度值)或其他适合的色域。以下参考YCbCr色域描述示例性实时方式。

用以上所讨论的算法或分析处理由相机捕获的视频帧，以从静止的背景提取移动对象并追踪移动对象。像素依靠它们与背景模型的相似性被分类为前景或背景像素。前景像素是来自视野中移动对象的像素。因为由于当对象在场景中移动时它们的不同外表，这些前景像素可能偏离颜色参数，因此这些前景像素在接下来的分析中被忽略。

在背景像素中，满足某一特定标准的像素被认为是浅灰色像素。对于所有的像素，Pi,在YCbCr色域中，Pi被定义为

P_i＝(Y_i,Cb_i,Cr_i),

浅灰色像素被定义为像素组

{P_j/Y_j>t_ymin&Y_j<t_ymax&Cb_j>t_cmin&Cb_j<t_cmax&Cr_j>t_cmin&Cr_j<t_cmax}

其中t_y min以及t_y max为密度通道的最小和最大的阈值，并且t_c min以及t_c max是颜色通道的阈值。探索搜索方法可被用于确定颜色通道的阈值。初始的t_c min被设置为120，并且t_c max被设置为136。扫描背景像素以确定浅灰色像素的总数。如果浅灰色像素的总数大于阈值，例如，总的背景像素的1％，则搜索停止。如果浅灰色像素的总数小于阈值，则通过例如步骤4减少t_c min并增加t_c max，并且再次执行扫描直到浅灰色像素的总数满足停止阈值标准。可对于t_c min在112设置硬边界以及对于t_c max在144设置硬边界，以避免错的浅灰色颜色的选择，即，颜色不是浅灰色。优选的阈值是t_c min在120以及t_c max在136。关于密度通道的阈值同样可以通过探索方法来确定，并且对于t_y min和t_y max合适的值可以例如分别是50和220，对于不同颜色通道的阈值可以不同。对于不同色温，Cb和Cr通道被偏移到不同方向，并且相应地调整阈值结果。由于太黑或太亮的像素经常包含扭曲的颜色，因此密度阈值保证像素不包括太黑或太亮的像素。颜色阈值保证像素不包括具有大量的颜色，(即，颜色丰富)且不是浅灰色的颜色的像素。

图4是由相机捕获的图像100的简要图示。图像100具有多个区域101，通过105图示了捕获的行数(linage)的区域，其中所述区域具有不同颜色。在此图示中，假设区域101和104是具有不同灰色色度(shade)的区域，并且103到105是其他颜色，如蓝色、棕色、绿色等，或者在区域中多个不同颜色或不同颜色的混合。区域101和104也可以具有改变的灰色色度。图5图示了被选择用以分析的区域，也就是说，利用以上公式自动选择浅灰色像素，这些区域已经用交叉影线图示，以图示只有这些区域在分析中被考虑。应当注意在实际应用中，典型地，在所捕获的图像中将存在具有灰色色度的大量区域。图4中的图示已经简化以利于解释示例性方法。

在图6中示出了来自在Cb和Cr分量中的浅灰色像素的直方图HCb和Hc的示例性图示，其中所述Cb和Cr分量来自图5中图示的所选择的浅灰色像素。在水平轴上表示像素值从0到255，并且在垂直轴上表示像素数。由数字130图示的线是Cr通道的示例性直方图，并且由数字132表示的线是Cb通道的示例性直方图。正灰色像素在Cb和Cr通道中将具有值128。此实施例的方法中的下一步是确定调整或纠正颜色的量，以便于经由概率分布测量来朝着128调整所选择的浅灰色像素的Cb和Cr通道。由于浅灰色颜色分散在128周围而不是精确地在128，因此Cb和Cr直方图的分散的概率中心被移到128。术语浅灰色意思是像素的表现不是蓝色的、红色的、或者绿色的，但看起来比较像灰色。纠正或调整的量可以由不同方法来确定。

用以确定纠正颜色的量使得浅灰色像素更“浅灰色”的第一示例性方法是找到最大的二进制数(bins)k_C b和k_Cr，其分别由数字134和136所图示，其分别与图6中直方图的峰值138和140一致，然后将它们调整为128。用以纠正颜色的示例性的第一等式可如下表示：

${{\mathrm{Cb}}^{\&prime;}}_j={\mathrm{Cb}}_j\frac{128}{k_{\mathrm{Cb}}}$

和

${{\mathrm{Cr}}^{\&prime;}}_j={\mathrm{Cb}}_j\frac{128}{k_{\mathrm{Cr}}}.$

用以纠正颜色的示例性的第二等式可如下表示：

Cb¹¹ _j＝Cb_j+(128–k_Cb)

和

Cr¹¹ _j＝Cr_j+(128–k_Cr).

用以确定纠正颜色的量使得浅灰色像素更“浅灰色”的第二示例性方法是找到来自直方图的颜色m_Cb和m_Cr的平均值，如下表示：

$m_{\mathrm{Cb}}=\underset{k=0}{\overset{255}{\mathrm{\&Sigma;}}}{p}_k^{\mathrm{Cb}}{H}_{\mathrm{Cb}}\left(k\right)$

和

$m_{\mathrm{Cr}}=\underset{k=0}{\overset{255}{\mathrm{\&Sigma;}}}{p}_k^{\mathrm{Cr}}{H}_{\mathrm{Cr}}\left(k\right)$

使用来自直方图的颜色的平均值纠正颜色的第一示例性等式可如下表示：

${{\mathrm{Cb}}^{\&prime;}}_j={\mathrm{Cb}}_j\frac{128}{m_{\mathrm{Cb}}}$

和

${{\mathrm{Cr}}^{\&prime;}}_j={\mathrm{Cr}}_j\frac{128}{m_{\mathrm{Cr}}}.$

可如下表示使用来自直方图的颜色的平均值纠正颜色的第二示例性等式：

Cb¹¹ _j＝Cb_j+(128–mCb)

和

Cb¹¹ _j＝Cb_j+(128–mCr).

然后使用例如前述的方法中的一个来调整原始图像。图7图示了关于图6所示浅灰色像素的示例性调整直方图。

相机50的处理器64将利用移动对象的位置、尺寸、如对象的平均颜色或主颜色的颜色特征来发出关于移动对象的信息作为元数据中的场景描述。利用此颜色调整方法的示例性实施例，颜色参数(k_Cb，k_Cr)或(m_Cb，m_Cr)也将被包含在场景描述中作为场景颜色描述的一部分。在服务器侧，接收的元数据被解析，可以基于这些值来调整颜色特征。例如，如果我们在直接余弦变换(DCT)频域中提取Cb和Cr分量的颜色特征，Cb和Cr的dc分量可以使用以上讨论的等式来调整。使用这些调整的颜色特征，对象匹配和探索搜索能够跨越相机提供更一致的结果。

如果相机具有重叠区域(例如图1中相机16和18的重叠区域17)，则颜色调整方法也能够被应用于跨越相机统一白平衡。例如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)，或仿射的尺度不变特征变换(ASIFT)的图像登记算法可被用于确定相机之间对应的特征点。利用可根据点的对应性确定的透视变换参数，相机之间共同区域的浅灰色像素可以被定位。可基于共同区域的颜色参数(k_Cb，k_Cr)或(m_Cb，m_Cr)，使用之前上面列出的等式来完成白平衡。

这里和所示的步骤和方法可以储存在非暂时性计算机可读介质上，其中所述非暂时性计算机可读介质指用于存储计算机可存取数据的任意非暂时性存储器设备，例如，磁性硬盘、软盘、光盘、如CD-ROM或DVD、磁带、记忆芯片、以及可以是以电磁信号形式的载波、声学信号、光信号以及根据本发明的各种配置在其上指令可以被解码的其他载波。计算机可读介质可以从计算机系统分离并提供在安装包中，使得通过存储其上的指令和代码，计算机可读介质可被用于编程，配置以及适配通用目的计算机。这些指令可以采用可由计算机系统执行的可执行代码的形式，以及可以采用例如，使用任意各种通常可用的编译器、安装程序、压缩功能、解压缩功能等在计算机系统上进行汇编和安装时的源代码或安装代码的形式，然后采用可执行代码的形式。

尽管这里讨论了各种关于视频监视系统的实施例，相同处理和方法可以与由相机和由监控环境外部的商业或非商业系统捕获的视频数据一起被利用。

其它配置和应用的例子在本公开文本和所附的权利要求的范围和精神内。例如，由于软件的性质，这里描述的功能可以使用由处理器、硬件、固件、硬布线(hardwiring)或者任意这些的组合执行的软件来实现。特征实现功能也可以物理性地放置在包括被分散的各种位置，使得在不同物理位置实现功能部分。此外，如这里(包括权利要求)使用的，如条目列表中使用的以“至少之一”开始的“或者”表示分隔的列表，使得例如，列表“至少A,B,C之一”意味着A或B或C或AB或AC或BC或ABC(即，A和B和C)。另外，可以理解多于一个的发明可在这里被公开。

Claims (18)

1.一种调整由多个相机捕获的图像的颜色的方法，包括以下步骤：

接收由所述多个相机中的第一相机捕获的第一图像；分析所述第一图像以将所述第一图像的像素分为背景像素和前景像素；从具有作为灰色色调的颜色的背景像素选择像素；确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动；以及提供在调整来自所述多个相机的图像的颜色分量中使用的信息。

2.根据权利要求1所述的方法，其中选择步骤包括选择像素的范围，其中所选择的范围中包括正灰色。

3.根据权利要求1所述的方法，其中确定步骤包括在所选择的像素的Cb和Cr分量的直方图中确定最大的二进制数。

4.根据权利要求1所述的方法，其中确定步骤包括对于所选择的像素的颜色分量确定平均颜色。

5.根据权利要求1所述的方法，进一步包括通过使用所提供的信息来调整所述多个相机的颜色的步骤。

6.根据权利要求1所述的方法，进一步包括确定所述多个相机的视野的重叠区域，以及其中选择步骤包括从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素，确定步骤包括确定调整所选择的像素的颜色朝着正灰色移动的量，以及进一步包括基于所确定的调整量，调整具有重叠区域的多个相机中的相机的白平衡。

7.一种用以调整由多个相机捕获的图像的所述颜色的系统，包括：网络；连接于所述网络的多个相机；以及连接于所述网络的处理器，其中所述处理器适用于接收所述多个相机中的第一相机捕获的第一图像，分析所述第一图像以将所述第一图像的像素分为背景像素和前景像素，从具有作为灰色色调的颜色的背景像素选择像素，确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动，以及提供在调整来自所述多个相机的图像的颜色分量中使用的信息。

8.根据权利要求7所述的系统，其中

所述处理器适用于选择像素的范围，其中所选择的区域中包括正灰色。

9.根据权利要求7所述的系统，其中

所述处理器适用于在所选择的像素的所述Cb和Cr分量的直方图中确定最大的二进制数。

10.根据权利要求7所述的系统，其中

所述处理器适用于对于所选择的像素的颜色分量确定平均颜色。

11.根据权利要求7所述的系统，其中

所述处理器适用于通过使用所提供的信息来调整所述多个相机的所述颜色。

12.根据权利要求7所述的系统，其中所述第一相机具有第一视野，以及来自多个相机的第二相机具有第二视野，并且所述第二视野与所述第一视野具有重叠区域，所述处理器适用于确定所述多个相机的视野的重叠区域，从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素，确定调整所选择的像素的颜色朝着正灰色移动的量，基于所确定的调整量，调整具有重叠区域的多个相机中的相机的白平衡。

13.一种非暂时性计算机可读介质，包括指令，其中所述指令配置来使得处理器：接收由所述多个相机中的第一相机捕获的第一图像；分析所述第一图像以将所述第一图像的像素分为背景像素和前景像素；从具有作为灰色色调的颜色的背景像素选择像素；确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动；以及提供在调整来自所述多个相机的图像的颜色分量中使用的信息。

14.根据权利要求13所述的非暂时性计算机可读介质，其中使得处理器从具有作为灰色色调的颜色的背景像素选择像素的指令包括，使得处理器选择像素的范围的指令，其中所选择的范围中包括正灰色。

15.根据权利要求13所述的非暂时性计算机可读介质，其中使得处理器确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动的指令包括，使得处理器对于所选择的像素的颜色分量确定平均颜色。

16.根据权利要求13所述的非暂时性计算机可读介质，其中使得处理器确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动的指令包括，使得处理器对于所选择的像素的颜色分量确定平均颜色的指令。

17.根据权利要求13所述的非暂时性计算机可读介质，进一步包括：使得处理器通过使用所提供的信息来调整所述多个相机的所述颜色。

18.根据权利要求13所述的非暂时性计算机可读介质，进一步包括：使得处理器确定所述多个相机的视野的重叠区域的指令，并且其中使得处理器从具有作为灰色色调的颜色的背景像素选择像素的指令包括使得处理器从背景像素选择具有作为灰色色调的颜色且位于重叠区域中的像素的指令，使得处理器确定调整所选择的像素的量，以将所述被选的像素的颜色朝着正灰色移动的指令包括，使得处理器确定调整所选择的像素的颜色朝着正灰色移动的量，并且还包括基于所确定的调整量来调整具有重叠区域的多个相机中的相机的白平衡的指令。