CN103392185A - 用于视频取证搜索的颜色相似性分类 - Google Patents

Abstract

本文提供了用于将对象的电子彩色图像分类的系统和方法。一种方法包括：接收对象的输入表示，该表示包括在第一颜色空间中定义的像素；将输入图像转换到第二颜色空间中；确定包括与输入表示的颜色相关联的多个参数的查询特征向量，该查询特征向量参数包括第一颜色空间的至少第一参数以及第二颜色空间的至少第一参数；以及比较查询特征向量和多个候选特征向量。每一个候选特征向量包括与多个储存的候选图像的颜色相关联的多个参数，候选特征向量参数包括来自第一颜色空间的至少第一参数以及来自第二颜色空间的至少第一参数。该方法还包括基于比较来确定是所期望的对象的可能匹配的候选图像中的至少一个。

Description

用于视频取证搜索的颜色相似性分类

背景技术

搜索记录的视频可能是极其耗时且是使用大量劳力的过程。视频监控系统通常包括用于记录监控摄像机捕获的视频的记录器。最初，视频盒带记录器被用于记录这种数据，然而，为了找到所关注的部分，搜索这些磁带只能通过人员查看这些磁带来进行。通过使用算法来搜索特定的项目，数字视频记录器的发展改进了搜索过程，例如可以进行搜索一个项目何时从摄像机正在观看的区域消失了。然而，快速方便地找到特定的对象或人的特定的视频剪辑的能力还没有得到显著改善；这个过程仍然需要人员查看视频，这和VCR磁带的情况一样。

视频分析正在迅速获得视频安全产业内的关注，并且使用十分高级的技术从数字视频流中提取高级信息的系统和组件正在开始进行部署。对视频分析而言，颜色相似性匹配是特别难的任务。很难找到匹配颜色的稳健方式。一个问题涉及由人的视觉系统感知颜色的方式。调查者可能想要定位穿着指定颜色的衣服的嫌疑犯。例如，可以分配如下任务，找到穿着深红色T恤和深蓝色牛仔裤的所有行人。目前，所有调查都涉及人员（在一些情况下，为数百人，诸如，2005年的伦敦爆炸）手动实时或最好快进搜索长达数小时的视频。研究者已经尝试使用许多颜色模型来搜索感知到的颜色。一些颜色模型包括颜色直方图、主导颜色、颜色布局、颜色结构等。已证明，这些颜色模型中没有一个在识别指定颜色的物体或人时总是准确的。为此，大多数视频对象识别方法忽略颜色，并使用灰度图像来操作。

发明内容

一种根据本公开内容的将对象的电子彩色图像分类的方法的例子包括接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中；将所述第一颜色空间中的第一数据转换成与所述第一颜色空间不同的第二颜色空间中的第二数据；确定所述至少一种颜色的所期望的饱和度的指示；及比较所期望的饱和度指示和与储存的候选图像相关联的候选的饱和度指示。若与储存的候选图像中的目前比较的候选图像相关联的候选饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，则丢弃作为所期望的对象的可能匹配的目前比较的候选图像；以及基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

这种方法的实现可包括以下特征中的一个或多个。确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括来自所述第一颜色空间的至少第一参数，以及来自所述第二颜色空间的至少第一参数；比较所述查询特征向量和与储存的候选图像的至少一部分相关联的多个候选特征向量，每一个候选特征向量包括与储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及基于所述特征向量比较来确定未丢弃的候选图像中的至少一个。所述输入表示是包括多个像素的图像表示。将所述输入表示下采样为下采样像素块；以及在所述第一颜色空间或所述第二颜色空间中的至少一个中确定所述下采样像素块的多个空间频率值，其中所述查询特征向量还包括输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。所述第一颜色空间是相对的RGB颜色空间，所述第二颜色空间是HSV，且所述空间频率值在YCbCr颜色空间中。所述输入表示是人工生成的描述。若所期望的饱和度指示的饱和度值大于阈值，则所述方法还包括若目前比较的候选图像的候选饱和度指示小于所述阈值，则丢弃目前比较的候选图像。

一种根据本公开内容的用于将对象的电子彩色图像分类的系统包括：输入端，其被配置成接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中。该系统还包括存储器；以及处理单元，其通信地耦合至所述输入端和所述存储器且被配置成：将所述第一颜色空间中的第一数据转换成与所述第一颜色空间不同的第二颜色空间中的第二数据；确定所述至少一种颜色的所期望的饱和度的指示；及比较所期望的饱和度指示和与储存在所述存储器中的多个候选图像相关联的多个候选的饱和度指示。若与储存的候选图像中的目前比较的候选图像相关联的候选的饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，则所述处理器被配置为丢弃作为所期望的对象的可能匹配的目前比较的候选图像；以及基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

这种系统的实现可包括以下特征中的一个或多个。所述第一颜色空间或所述第二颜色空间是相对的RGB颜色空间。所述处理单元还被配置成：确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括来自所述第一颜色空间的至少第一参数，以及来自所述第二颜色空间的至少第一参数；比较所述查询特征向量和与储存的候选图像的至少一部分相关联的多个候选特征向量，每一个候选特征向量包括与储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及基于所述特征向量比较来确定所述未丢弃的候选图像中的所述至少一个。所述输入表示是包括多个像素的图像表示。所述处理单元还被配置成：将所述输入表示下采样为下采样像素块；以及在所述第一颜色空间或所述第二颜色空间中的至少一个中确定所述下采样像素块的多个空间频率值，其中所述查询特征向量还包括输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。第一颜色空间是相对的RGB颜色空间，所述第二颜色空间是HSV，且所述空间频率值在YCbCr颜色空间中。所述输入表示是人工生成的描述。若所期望的饱和度指示的饱和度值大于阈值，则所述处理单元还被配置成若目前比较的候选图像的候选的饱和度指示小于所述阈值，则丢弃目前比较的候选图像。

一种根据本公开内容的非暂时的机器可读的存储介质包含在其上实施的指令，当所述指令由至少一种机器执行时，使所述至少一种机器：接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中；将来自所述第一颜色空间的表示所期望的对象的至少一种颜色的第一数据转换成与第一颜色空间不同的第二颜色空间中的第二数据；确定所述至少一种颜色的所期望的饱和度的指示；比较所期望的饱和度指示和与多个储存的候选图像相关联的多个候选的饱和度指示。若与储存的候选图像中的目前比较的候选图像相关联的候选的饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，所述指令使所述至少一种机器丢弃作为所期望的对象的可能匹配的目前比较的候选图像；以及基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

这种非暂时的机器可读的存储介质的实现可包括以下特征中的一个或多个。所述第一数据是包括多个像素的图像表示。所述指令还包括使所述至少一种机器执行以下步骤的指令：将所述图像的像素下采样为下采样像素块；以及在所述第一颜色空间或所述第二颜色空间中的至少一个中确定所述下采样像素块的多个空间频率值，其中所述查询特征向量还包括输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。

一种将对象的电子彩色图像分类的方法的另一个实例包括：接收对象的输入表示，所述表示包括多个像素，每一个像素由第一颜色空间的参数的值来定义；将所述输入图像转换到与所述第一颜色空间不同的第二颜色空间中；确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括所述第一颜色空间的至少第一参数以及所述第二颜色空间的至少第一参数；比较所述查询特征向量与多个候选特征向量，每一个候选特征向量包括与多个储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及基于所述比较来确定所述候选图像中的是所期望的对象的可能匹配的至少一个。

一种用于将对象的电子彩色图像分类的系统的另一个实例包括：输入端，其被配置成接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的颜色的第一数据，所述第一数据在第一颜色空间中；存储器；以及处理单元，其通信地耦合至所述输入端以及所述存储器且被配置成：将所述第一颜色空间中的输入数据转换成与第一颜色空间不同的第二颜色空间中的第二数据；确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括所述第一颜色空间的至少第一参数以及所述第二颜色空间的至少第一参数；比较所述查询特征向量与多个候选特征向量，每一个候选特征向量包括与储存在所述存储器中的多个候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括所述第一颜色空间的至少所述第一参数以及所述第二颜色空间的至少所述第一参数；以及基于所述比较来确定所述候选图像中的是所期望的对象的可能匹配的至少一个。

附图的简要描述

图1是可根据本公开的内容实现搜索录制好的视频的各个方面的视频监控系统的方块图。

图2是图1的服务器的方块图。

图3A是图1的视频源的方块图。

图3B是图1的另一视频源的方块图。

图3C是图1的又一视频源的方块图。

图4是根据一些实施例的用于将对象的电子彩色图像分类的过程。

图5是离散余弦变换（DCT）的输出矩阵。

图6是根据本公开的内容的用于将对象的电子彩色图像分类的另一过程。

详细描述

本文讨论并提供了用于搜索所期望颜色的对象（物体、动物、人和任何其他可见物在本文中通称“对象”）的储存的视频片段的技术。所期望颜色的对象可以是人工产生的描述（例如，六英尺高、戴着黑色帽子、穿着黄色T恤和灰色裤子的个体）或摄像机之前捕获到的对象的样本图像的形式。对颜色描述或样本图像进行分析，并确定描述所期望的对象的颜色的特征向量。所述特征向量可包括来自多个颜色空间的颜色参数。储存的视频片段包括之前通过视频分析已识别出的候选对象。候选图像可与储存的元数据（诸如，颜色参数的特征向量）相关联。通过计算所期望的对象的特征向量与候选图像中的每一个的特征向量之间的距离量度可识别出潜在匹配的图像。基于所期望颜色的对象的饱和度值，可对所述候选图像进行预筛选。例如，若所期望的对象的饱和度值小于低阈值，则可丢弃饱和度值大于低阈值级别的所有候选颜色的图像。若所期望的对象的饱和度值大于高阈值，则可丢弃饱和度值小于高阈值级别的所有候选颜色的图像。所述特征向量可包括描述所期望的对象和候选对象的颜色布局的参数（例如，一或多个AC空间频率参数）。

不同的颜色空间包括用于表示颜色的不同参数。人的视觉系统在不同的灵敏度级别上可感知不同颜色空间的不同参数。数字视频通常在RGB（红色、绿色、蓝色）颜色空间中表示。数字摄像机通常在称作YUV的颜色空间中捕获图像，其中Y是亮度（luma）（或模拟系统中的亮度（luminance）），且U和V分别是蓝色亮度差和红色亮度差。YUV颜色空间对彩色图像或视频进行编码时将人类感知考虑在内，允许色度分量的带宽减小，因此通常会使传输错误或压缩伪像相比于使用“直接的”RGB表示能够更有效地被人类感知掩蔽。利用以下关系式（可使用其他关系式，这取决于YUV参数的定义方式），YUV颜色空间中的颜色被转换到RGB颜色空间：

$\left[\begin{array}{c}r\\ g\\ b\end{array}\right]=\left[\begin{array}{ccc}1.0& 0& 1.13983\\ 1.0& -0.39465& -0.58060\\ 1.0& 2.03211& 0\end{array}\right]\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]---\left(1\right)$

RGB颜色空间并未将人类感知考虑在内，且三原色为参数r、g和b中的每一个提供更一致的颜色表示（未将人类感知考虑在内）。YCbCr颜色空间是将人类感知考虑在内的另一颜色空间。在所述YCbCr颜色空间中，Y是亮度分量，且Cb和Cr是蓝色差和红色差色度分量。另一颜色空间是HSV颜色空间，其中H是色调，S是饱和度，且V是浓淡（与强度相似的量度）。在一些系统中，HSV颜色空间的饱和度可用作过滤器，用来过滤掉在与所期望的对象不同的饱和度区域中的彩色对象。然后，基于来自多个颜色空间，诸如，举例而言，RGB和HSV颜色空间、或RGB、HSV和YCbCr颜色空间的参数来搜索剩余的对象。用这种方式，彩色对象的搜索是基于来自不同颜色空间的颜色的融合。

参见图1，视频监控系统10以方块图的形式示出。视频监控系统10包括连接到网络18的从1到N的多个视频源，标记为12、14和16。视频源12、14和16可包括，例如，静止或全动态视频摄像机。此外，视频源12、14和16可生成原始的数字或模拟视频数据。若视频源12、14和16生成模拟视频数据，则数字转换器可用于使视频数据数字化。视频源12、14和16可捕获并提供彩色或单色视频数据。

网络18可以是闭环网络、局域网或广域网，诸如，因特网。多个数字录像机（DVR）20和21也连接到网络18，用于录制来自视频源12、14和16的视频。在一些实施例中，一个或多个DVR20或21可以是网络录像机，或可直接连接到显示器或工作站。DVR20或21可包括任何类型的视频存储装置，包括硬盘驱动器及/或闪存驱动器。如本文所用的，录制好的视频包括全运动视频和每隔一段时间拍下的静态图像。储存器22可连接到网络18，以为录制好的视频提供额外的存储空间，录制好的视频，例如，可从数字录像机20转移出去，供短期或长期存储。储存器22可连接到网络18，如图所示，或直接连接到诸如扩展盒的数字录像机20或21。服务器23连接到网络18，以为多个终端用户装置24-1至24-N提供视频搜索能力。服务器23可以是具有软件的通用计算机，所述软件用于实现搜索录制好的视频数据的软件搜索方法及用于提供搜索录制好的视频数据的图形用户界面。用户装置24可以是通用计算机，包括显示器和用于存取视频监控系统10并利用由服务器23提供的视频数据搜索方法的一个或多个用户输入装置。用于搜索录制好的视频数据的图形用户界面软件和视频搜索软件可驻留在系统中的任何地方，诸如，举例而言，终端用户装置24、服务器23、DVR20和21，或储存器22中。可利用视频源、录像机、网络，和/或工作站的各种不同的其他组合。

参见图2，服务器23包括处理单元26、储存器32和通信接口36。处理单元26与通信接口36耦合，信息通过通信接口36被发送给终端用户装置24并从终端用户装置24接收，例如，通过通信网络，诸如，局域网、广域网、无线网等。储存器32可以是外部储存器，诸如磁带、磁盘或可拆卸盒，诸如，举例而言，包括磁带驱动器、硬盘驱动器或固态存储器（诸如，闪存）的盒。

处理单元26处理图像信息且包括中央处理单元（CPU）或数字信号处理器（DSP）27和存储器28。CPU/DSP27优选是智能装置，例如，个人计算机中央处理单元（CPU），诸如，由

（英特尔）公司或

（超微半导体）制造的那些、微控制器、专用集成电路（ASIC）等。也可使用DSP，诸如，由德州仪器

制造的DM6446。CPU/DSP27耦合到存储器28，存储器28包括随机存取存储器（RAM）和只读存储器（ROM）。存储器28和储存器32是非暂时的，且优选储存包含指令的机器可读、机器可执行的软件代码52，所述指令被配置成，当被执行时，使CPU/DSP27执行本文所述的各种不同的功能。可选择的是，软件52可能不能直接由处理器CPU/DSP27执行，而是被配置成例如，当被编译和执行时，使处理器CPU/DSP27执行本文所述的功能。

图3A、3B和3C中示出视频源的功能方块图的例子。图3A、3B和3C中示出的视频源中的任一个可用于图1中的视频源12、14或16中的任一个。图3A中的视频源包括模拟摄像机40，模拟摄像机40将模拟视频数据提供给包括存储器的处理器42。模拟摄像机40提供视频信号，诸如，举例而言，NTSC（国家电视系统委员会）视频信号给处理器42。处理器42包括编码器，所述编码器被配置成将从摄像机40接收到的模拟视频转换成压缩的数字视频格式。处理器42还可包括用于执行下文所述的视频处理方法中的一种或多种的分析软件。处理器42经过通信接口44将数字视频信号传送给DVR20和21、储存器22或服务器23中的一个或多个。

参见图3B，视频源包括因特网协议或IP摄像机46。IP摄像机46是能以30帧/秒的标准速率在YUV颜色空间（或以另一帧速率在另一颜色空间）中捕获图像的数字摄像机。IP摄像机46经由IP网络连接48和网络18将数字视频传送给DVR20和21、储存器22或服务器23中的一个或多个。IP摄像机46可包括光敏CCD或CMOS传感器。

参见图3C，视频源包括网络摄像机（Webcam）50，网络摄像机50包括，例如，与计算机52连接的USB（通用串行总线）连接。图像可由网络摄像机以30帧/秒的标准速率在YUV颜色空间（或另一颜色空间）中捕获。计算机52可将原始的视频数据压缩成数字视频格式，例如，MPEG。压缩的视频数据可流式传输给，例如网络连接54，以传输给网络18以及DVR20和21、储存器22或服务器23中的一或多个。虽然图3A、3B和3C中的各种不同的视频源被示出成包括独立的装置，但是，它们的功能可使用单个装置或两个装置提供，而非如图所示的两个或三个的独立装置。

场景分析算法可在处理器42、IP摄像机46、计算机52、服务器23及/或终端用户装置24中实现，以检测在视频源12、14和16中的任一个的视野中的场景中的示象（aspect）或事件；诸如，举例而言，以检测并追踪监控场景中的对象。若场景分析在处理器42、IP摄像机46或计算机52中执行，则关于事件和对象的信息可作为元数据连同视频数据发送到网络18。此视频数据可包括，例如，检测到人越过绊网或检测到红色车辆。可选择的是，所述视频可在网络18上流式传输，且接着在所述流式视频被储存之前由，例如，DVR20或21或服务器23进行分析。

参见图4，进一步参见图1-3，将对象的电子彩色图像分类以匹配所期望的对象的过程100包括所示步骤。但是，过程100只是例子且并不是限制。过程100可被改变，例如，通过添加、删除、重新安排、组合，及/或同时执行步骤被改变。例如，下文所述的确定可能与所期望的对象匹配的候选图像的步骤140可在饱和度过滤步骤112之前执行，饱和度过滤步骤112包括子步骤115、120、125、130和135。

过程100从步骤105开始，其中处理单元26接收所期望的对象的输入表示。所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，其中所述第一数据在第一颜色空间中。所述输入表示数据可在不同的颜色空间中表示，包括，例如，YUV颜色空间或RGB颜色空间。所述输入表示数据可在其他颜色空间中输入。本文所述的系统使用在RGB颜色空间中进行编码的输入表示。若输入表示数据在YUV颜色空间中，则使用上述关系式（1）将输入表示数据转换到RGB颜色空间。若输入表示数据在另一颜色空间中，则可使用其他转换式。使用以下关系式，RGB输入表示数据被转换成相对的RGB分量：

$R=\frac{r}{r+g+b},$

$G=\frac{g}{r+g+b},---\left(2\right)$

$B=\frac{b}{r+g+b}$

其中r、g和b是RGB颜色空间中的原始输入表示数据。转换成相对的RGB分量（R、G、B）是一些系统中用来强调原色的相对值而非绝对值的归一化形式。

所述输入表示数据可使用终端用户装置24的用户界面来输入。所述输入表示可以是用户（例如，犯罪或其他事件的目击者）生成的描述的形式。用户界面可提供对象类型（例如，汽车、卡车、人等）的一个或多个列表，供用户从中选择。可使用对象的类型来缩小对之前已归类在用户所选的对象类型中的储存图像的搜索范围。用户界面还可使用户能够选择其他对象特性，诸如，举例而言，颜色、速度、纵横比、方向、对象大小等。若用户并未为输入参数指定值，则所述参数的任一个值都是可接受的。

用户界面可提供调色板，以允许用户为输入表示数据选择一种或多种颜色。调色板可以是针对亮度（lightness）或浓淡（亮度（lightness）和浓淡通称为亮度（intensity））的选定值的圆柱形HSL（色调、饱和度、亮度（lightness））或HSV（色调、饱和度、浓淡）颜色空间中的圆。可选择的是，用户界面可提供文本颜色描述的下拉菜单来选择颜色。不论所描述的一种或多种颜色是如何选择的，选定的颜色都为输入颜色空间中的每一个参数提供值。

用户生成的描述的颜色可以是单色或多色。就对象的不同区域而言，可选择多种颜色，这取决于对象类型。例如，当对象类型是人时，用户可选择衬衫颜色、裤子颜色、头发颜色等。

在一些系统中，在用户输入描述之后，处理单元26确定包括表示用户描述的对象的各种不同的颜色特性的颜色参数的特征向量。下文描述用于搜索的特征向量的细节。特征向量是一种形式的元数据，其被用于遍历储存的候选图像的相似的元数据来搜索，以识别可能匹配的对象。

可替代用户输入所期望的对象的描述的是，输入表示数据可以是所期望的对象的捕获图像的形式。例如，源于视频源12、14或16之一的模拟摄像机40、IP摄像机46或网络摄像机50的数字图像可用作输入表示数据。当捕获到的图像用作输入表示数据时，处理单元26基于输入图像像素的像素值来计算特征向量。

特征向量和/或在步骤105接收到的输入表示数据被编码在或转换到，RGB颜色空间中。为了执行融合了来自多个颜色空间的参数的搜索，过程100继续到步骤110，其中处理单元26将来自RGB颜色空间的输入表示数据及/或确定的特征向量数据转换到与RGB颜色空间不同的至少一个第二颜色空间中。处理单元26使用以下关系式将其从RGB颜色空间转换到YCbCr颜色空间：

$\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.0\\ 112.0& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}r\\ g\\ b\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]---\left(3\right)$

在过程100中，步骤110的至少一个第二颜色空间包括具有饱和度参数的颜色空间。例如，过程100中的第二颜色空间可以是HSV颜色空间或HSL颜色空间。过程100利用HSV颜色空间。处理单元26使用以下关系式来将输入表示数据从RGB颜色空间转换到HSV颜色空间：

$\begin{array}{c}M=\max (r,g,b)\\ m=\min (r,g,b)\\ C=M-m\end{array}---\left(4A\right)$

H＝60°×H'              (4C)

V＝M                   (4D)

在将输入表示数据和/或特征向量数据转换到第二颜色空间之后，过程100继续进行到饱和度过滤步骤112，饱和度过滤步骤112包括子步骤115、120、125、130和135。实验显示颜色饱和度在人的视觉系统中发挥关键作用。通过使用HSV颜色空间，容易从饱和度分量S得到颜色的饱和度值。已发现，饱和度值接近输入表示数据的饱和度值的候选图像有更好的机会与所期望的对象成功匹配。

在子步骤115，处理单元26确定由在步骤105输入的输入表示数据所描述的所期望的对象的饱和度的指示。在第二颜色空间之一（例如，HSV或HSL颜色空间）包括饱和度参数的系统中，输入表示数据的平均饱和度值可用作饱和度指示。

所期望的对象的平均饱和度值可通过计算输入图像的像素的下采样块的离散余弦变换（DCT）来确定，其中DCT的DC值用作饱和度的指示。参见图5，示出了由DCT计算产生的DCT矩阵150。DCT矩阵150示出包括DC参数（也称作AC(0)参数或平均值）和N²-1AC参数的DCT的不同空间频率系数的位置，其中N是下采样像素块的维数。例如，8×8（N=8）像素块将具有一个DC系数和63个AC系数。AC系数被放置在称作之字形图案的图案中。对于每一个颜色空间（例如，R、G、B、U、S、V、Y、Cb、Cr等）中的每一个颜色参数，可算出DCT矩阵。DCT只是提取AC分量的示例方式。可使用其他方法，诸如，举例而言，离散正弦变换、傅立叶变换、离散傅立叶变换、整数变换（用于H.264）、阿达玛（Hadamard）变换、沃尔什（Walsh）变换、哈尔变换、小波变换、斜变换、KL（卡洛南·洛伊）变换来计算关于任一颜色空间的颜色参数的DC和AC参数。这些变换中的任一种变换可提供图像的空间频率特性。

在子步骤120，处理单元26比较所期望的对象的饱和度指示和与多个储存的候选图像相关联的多个候选饱和度指示。储存的候选图像的饱和度指示可通过DVR20或21、视频源12、14或16、处理单元26、摄像机40或编码器42中的任一个来确定。候选饱和度指示可储存为与储存的候选图像相关联的元数据。可替代提前确定饱和度指示并将其储存为元数据的是，处理单元26可使用HSV变换关系式（4A-4E）实时确定饱和度指示，以获得所述饱和度指示。当输入表示数据是像素块时，输入图像可下采样为8×8的像素块，并且使用关系式（4A-4E），可将下采样像素块转换到HSV。使用以下关系式，可由任一颜色空间参数的所有下采样8×8像素块的平均值计算8×8像素块的DC值：

$\mathrm{DC}\left(I\right)=\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{I}_{\mathrm{ij}}}{64}---\left(5\right)$

其中I是8×8像素块。可利用等式（5）来计算来自RGB空间的DC值。使用已知关系式，RGB空间的DC值可用于导出其他颜色空间的DC值。

在判断块125，若与储存的候选图像的目前比较的候选图像相关联的候选饱和度指示不在饱和度指示的规定范围内（饱和度指示的规定阈值范围包括所期望的对象的饱和度指示），则在子步骤130，处理单元26丢弃作为所期望的对象的可能匹配的目前比较的候选图像。否则，过程100进行到子步骤135，其中，若仍然有更多候选图像待比较，则过程100重复子步骤115、120、125、130和135。若无候选图像待比较，则所述过程进行到步骤140。

饱和度指示的规定阈值范围可通过实验来确定，或在搜索执行时，可由终端用户装置24之一的用户来调整。规定的阈值范围可由单个阈值或由一对阈值来限定。例如，饱和度阈值可设定为0.1（0<S<1.0）。当搜索其饱和度的DC值小于阈值0.1的对象时，只考虑饱和度小于0.1的候选图像。当搜索其饱和度的DC值大于0.1的对象时，只考虑饱和度指示大于0.1的候选图像。

在完成饱和度过滤步骤112之后，过程100继续到步骤140，其中处理单元26基于第一颜色空间和/或第二颜色空间中的输入表示数据与和储存的候选图像对应的颜色参数的比较来确定哪些未丢弃的候选图像是所期望的对象的最佳可能的匹配。确定可能匹配的候选图像可包括计算输入表示的查询特征向量Q与和每一个储存的候选图像对应的特征向量F之间的欧几里得距离。例如，在过程100中，颜色匹配所使用的特征向量是F={R,G,B,H,V}。此特征向量包括相对的RGB参数的DC分量以及HSV颜色空间的色调（H）和浓淡（V）参数的DC分量。使用以下关系式来计算颜色比较距离D：

$D=\underset{m=0}{\overset{K-1}{\mathrm{\&Sigma;}}}{w}_m\left|\right|F_m-Q_m\left|\right|---\left(6\right)$

其中||||是输入表示数据的候选图像特征向量F与查询特征向量Q之间的欧几里得距离。特征向量中的参数数目是K。参数w_m是用来调整不同特征分量的重要性的权重。权重w_m可由终端用户装置24之一的用户来选择。可选择的是，可选择权重w_m来使特征向量中的参数归一化成同一标度。

在计算每一个未丢弃的候选图像的颜色比较距离D之后，处理单元26可基于所述颜色比较距离D来确定最佳可能的匹配，其中较小的D值表示更好的匹配可能性。处理单元26可使终端用户装置之一的显示器按D的升序来显示对应的候选图像。用户浏览在寻找匹配时被识别为可能匹配的可能匹配的候选图像的缩略图。一旦找到匹配，系统就可在例如再次使用过程100的搜索中使用匹配的图像作为示例图像，这与通过用户生成的描述特征进行搜索相反。

参见图6，进一步参见图1-3，将与所期望的对象匹配的对象的电子彩色图像分类的另一过程200包括所示的步骤。但是，过程200只是例子且不是限制。例如，通过添加、删除、重新排列、组合，及/或同时执行步骤，过程200可被改变。

过程200包括与过程100相同的一些步骤。具体而言，步骤105、110和112与过程100相同，其中步骤112包括子步骤105、110、115、120、125和130。然而，饱和度过滤步骤112，包括所有子步骤105、110、115、120、125和130，是可选的，且可从过程200省略。

与过程100相比，过程200包括更加详细的步骤140。在完成步骤110及可能的可选步骤112之后，过程200进行到步骤205，其中处理单元26确定包括与输入表示的颜色相关联的多个参数的查询特征向量Q，所述查询特征向量参数包括输入表示的第一颜色空间的至少一个第一参数和至少一个第二颜色空间（例如，HSV和YCbCr颜色空间）的至少一个第一参数。过程200使用扩展的特征向量F’，扩展的特征向量F’包括过程100的特征向量F和YCbCr颜色空间中的颜色参数的DCT矩阵（或上文所讨论的其他变换）的AC分量中的一个或多个。在此示例过程200中，扩展的特征向量是F'＝{F,{Y_i}_i＝[1,N],{Cb_j,Cr_j}_j＝[1,M]}，其中N是对象亮度（intensity）的AC分量的数目，Y和M是对象颜色参数Cb和Cr的AC分量的数目。数目N和M可通过实验来确定，或可由终端用户装置24的用户来选定。已发现，默认值N=5和M=2适用于一些搜索，但是也可使用N和M的其他值。

通过将特征向量扩展成包括Y、Cb和Cr参数的一些AC分量，所述搜索可与所期望的对象的颜色分布匹配。用于通过DCT运算来提供颜色布局参数的缩小的像素块可包括固定的块大小，诸如，举例而言，8×8像素块。也可使用其他的块大小（例如，4×4、16×16、32×32以及其他）。对于小于8×8像素的图像块，可使用像素内插（例如，双线性内插）来将图像向上采样到8×8像素块。使用场景分析器，可通过DVR20或21、视频源12、14或16、摄像机40、编码器42或处理单元26中的任一个来计算缩小的像素块。所述场景分析器使用背景相减来识别对象。所述场景分析器在被检测对象的周围绘制出边界框。将所述边界框像素的大小调整成8×8像素块。所识别对象的像素可取平均值，以达到下采样像素的RGB值。例如，120×80的像素边界块被分成64个15×10的像素块，且15×10像素块中的所有像素的像素值取平均值，以形成8×8像素块的一个像素。

在步骤210，所述处理单元比较查询特征向量Q与候选特征向量F’，每一个候选特征向量包括与多个储存的候选图像中的对应的一个的颜色相关联的多个参数。所述比较可包含颜色距离计算。候选特征向量F’与输入表示数据的查询特征向量Q之间的颜色距离D由以下等式算出：

$D=\underset{m=0}{\overset{K-1}{\mathrm{\&Sigma;}}}{w}_m\left|\right|{F^{\&prime;}}_m-Q_m\left|\right|---\left(7\right)$

其中K是特征向量F’与Q中的参数数目，且w_m是加权因数。与Y、Cb和Cr的AC分量相比，可给予DC分量，诸如R、G、B、H和V较高的权重。例如，可给予DC分量权重为4，可给予AC(1)和AC(2)分量权重为2，且可给予AC(3)、AC(4)和AC(5)分量权重为1。

在步骤215，处理单元26确定是否有更多候选图像是可用的。若仍存在更多候选图像，则过程返回到步骤210。若不存在候选图像，则过程200继续进行到步骤220。在步骤220，处理单元26基于由在步骤210使用等式（7）执行的颜色距离计算所提供的特征向量的比较来确定哪些候选图像是可能的匹配。颜色距离D越小，对应的候选图像匹配的可能性越大。候选图像可以按颜色距离D的升序来储存。在用户更改权重wm的值及/或更改输入表示数据（例如，通过使用选定的最佳匹配图像作为样本图像，所述样本图像在另一搜索中用作输入表示数据）的情况下，可重复过程200。

可根据特定的要求来对所描述的配置做实质性改变。例如，也可以使用定制的硬件，且/或特定的元件可以用硬件、软件（包括可移植软件，诸如，小型应用程序等）或两者来实现。此外，还可采用与其他计算装置，诸如，网络输入/输出装置的连接。

如上所述，在一个方面，一些配置（包括实施方案）可采用计算机系统（诸如，服务器23）来执行根据本发明的各种配置的方法。根据一组配置，这样的方法的一些或所有步骤由服务器23响应于CPU/DSP27执行包含在存储器28中的一个或多个指令的一个或多个序列（可能并入操作系统及/或其他代码，诸如，应用程序）来执行。这样的指令可从另一计算机可读介质，诸如，一个或多个储存器32读入存储器28。仅举例而言，执行包含在存储器28中的指令序列可使CPU/DSP27执行本文所述方法的一个或多个步骤。

如本文所用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式运行的数据的任何介质。在使用服务器23实现的实施例中，各种不同的计算机可读介质可能会涉及提供指令/代码给处理单元26供其执行及/或可能用来储存及/或携带这样的指令/代码（例如，作为信号）。在许多实施方案中，计算机可读介质是物理的和/或有形的存储介质。这样的介质可采用多种形式，包括但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括，例如，光盘及/或磁盘，诸如，储存器32。易失性介质包括但不限于，动态存储器，诸如，存储器28。传输介质包括但不限于，同轴电缆、铜线和光纤。因此，传输介质也可以采用波的形式（包括但不限于，无线电波、声波及/或光波，诸如在无线电波和红外数据通信期间产生的那些）。

常见形式的物理及/或有形的计算机可读介质包括，例如，软盘、软磁盘（flexibledisk）、硬盘、磁带，或任何其它磁性介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、任何其它具有孔的图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒（cartridge）、下文所述的载波，或计算机可以从其中读取指令和/或代码的任何其它介质。

各种不同形式的计算机可读介质可能会涉及承载一个或多个指令的一个或多个序列给CPU/DSP27供其执行。仅举例而言，所述指令可能最初承载在远程计算机的磁盘及/或光盘上。远程计算机可将所述指令加载到其动态存储器中，并将指令作为信号通过传输介质发送，所述信号由服务器23接收及/或执行。根据本发明的各种不同的配置，这些信号，可能是电磁信号、声信号、光信号等的形式，是可在其上对指令进行编码的载波的所有例子。

上文所讨论的方法、系统和装置是例子。各种不同的配置可酌情省略、替换或添加各种不同的步骤或组件。例如，在可选择的配置中，所述方法可以按与所述顺序不同的顺序来执行，且可添加、省略或组合各种不同的步骤。而且，关于某些配置所描述的特征可组合到各种不同的其他配置中。所述配置的不同方面和元件可以以相似的方式来组合。而且，技术在发展，且因此，许多元件仅是例子且不限制所公开内容或权利要求的范围。

在所述说明书中给出了具体的细节，以全面理解示例性配置（包括实施方案）。然而，没有这些具体细节也可以实现配置。例如，众所周知的电路、过程、算法、结构和技术没有必要详细示出，以免使配置模糊不清。此说明书仅提供示例性配置，且不限制权利要求的范围、适用性或配置。相反，配置的先前描述将向本领域的技术人员提供能够实现所述技术的描述。在不偏离所公开内容的精神或范围的情况下，可以对元件的功能和布置作出各种不同的修改。

此外，先前的描述详述了安全摄像机系统。然而，本文所述的系统和方法可适用于其他形式的摄像机系统。

而且，配置可被描述为过程，而过程被描绘成流程图或方块图。尽管每一个可将操作描述为有序的过程，但是许多操作可并行或同时执行。除此之外，操作顺序还可重新排列。过程可能有图中未包括的额外步骤。此外，所述方法的例子可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实现。当用软件、固件、中间件或微码来实现时，用于执行必要任务的程序代码或代码段可储存在诸如存储介质的非暂时的计算机可读介质中。处理器可执行所述任务。

已经描述了若干示例配置，可使用各种不同的修改、可选择的构造以及等同物而不偏离所公开内容的精神。例如，上述元件可以是较大系统的组件，其中其他规则可能会优先于本发明的应用或修改本发明的应用。而且，在考虑上述元件之前、期间或之后，可执行一些步骤。因此，以上描述并不限定权利要求的范围。

其他例子和实施方案在所公开内容和所附权利要求的范围和精神内。例如，由于软件的性质，上述功能可使用由处理器、硬件、固件、硬连接或这些的任何组合来执行的软件来实现。实现功能的特征件也可位于各种不同的物理位置，包括分布式布置以将功能的各个部分在不同的物理位置上实现。而且，如本文所用的，包括在权利要求中使用的，前面冠有“至少一个”的一系列项目中所使用的“或”指示分隔的列表，使得，例如，“A、B或C中的至少一个”的列表意指A或B或C或AB或AC或BC或ABC（即A和B和C）。

此外，可公开不止一项发明。

Claims (21)

1.一种将对象的电子彩色图像分类的方法，所述方法包括：

接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中；

将所述第一颜色空间中的所述第一数据转换成与所述第一颜色空间不同的第二颜色空间中的第二数据；

确定所述至少一种颜色的所期望的饱和度的指示；

比较所期望的饱和度指示和与多个储存的候选图像相关联的多个候选饱和度指示；

若与所述储存的候选图像中的目前比较的候选图像相关联的候选饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，则丢弃作为所期望的对象的可能匹配的所述目前比较的候选图像；以及

基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

2.根据权利要求1所述的方法，还包括：

确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括来自所述第一颜色空间的至少第一参数，以及来自所述第二颜色空间的至少第一参数；

比较所述查询特征向量和与储存的候选图像的至少一部分相关联的多个候选特征向量，每一个候选特征向量包括与储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及

基于所述特征向量的比较来确定所述未丢弃的候选图像中的所述至少一个。

3.根据权利要求2所述的方法，其中所述输入表示是包括多个像素的图像表示。

4.根据权利要求3所述的方法，还包括：

将所述输入表示下采样为下采样像素块；以及

确定所述下采样像素块在所述第一颜色空间或所述第二颜色空间的至少一个中的多个空间频率值，

其中所述查询特征向量还包括输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。

5.根据权利要求4所述的方法，其中所述第一颜色空间是相对的RGB颜色空间，所述第二颜色空间是HSV，且所述空间频率值在YCbCr颜色空间中。

6.根据权利要求1所述的方法，其中所述输入表示是人工生成的描述。

7.根据权利要求1所述的方法，其中若所期望的饱和度指示的饱和度值大于一阈值，则所述方法还包括若目前比较的候选图像的候选饱和度指示小于所述阈值，则丢弃所述目前比较的候选图像。

8.一种用于将对象的电子彩色图像分类的系统，所述系统包括：

输入端，其被配置成接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中；

存储器；以及

处理单元，其通信地耦合至所述输入端和所述存储器且被配置成：

将所述第一颜色空间中的所述第一数据转换成与所述第一颜色空间不同的第二颜色空间中的第二数据；

确定所述至少一种颜色的所期望的饱和度的指示；

比较所期望的饱和度指示和与储存在所述存储器中的多个候选图像相关联的多个候选的饱和度指示；

若与储存的候选图像中的目前比较的候选图像相关联的候选的饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，则丢弃作为所期望的对象的可能匹配的所述目前比较的候选图像；以及

基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

9.根据权利要求8所述的系统，其中所述第一颜色空间或所述第二颜色空间是相对的RGB颜色空间。

10.根据权利要求8所述的系统，其中所述处理单元还被配置成：

确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括来自所述第一颜色空间的至少第一参数以及来自所述第二颜色空间的至少第一参数；

比较所述查询特征向量和与储存的候选图像的至少一部分相关联的多个候选特征向量，每一个候选特征向量包括与储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及

基于所述特征向量的比较来确定所述未丢弃的候选图像中的所述至少一个。

11.根据权利要求10所述的系统，其中所述输入表示是包括多个像素的图像表示。

12.根据权利要求11所述的系统，其中所述处理单元还被配置成：

将所述输入表示下采样为下采样像素块；以及

确定所述下采样像素块在所述第一颜色空间或所述第二颜色空间的至少一个中的多个空间频率值，

其中所述查询特征向量还包括所述输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。

13.根据权利要求12所述的系统，其中所述第一颜色空间是相对的RGB颜色空间，所述第二颜色空间是HSV，且所述空间频率值在YCbCr颜色空间中。

14.根据权利要求8所述的系统，其中所述输入表示是人工生成的描述。

15.根据权利要求8所述的系统，其中若所期望的饱和度指示的饱和度值大于一阈值，则所述处理单元还被配置成若目前比较的候选图像的候选的饱和度指示小于所述阈值，则丢弃所述目前比较的候选图像。

16.一种非暂时的机器可读的存储介质，包含在其上实施的指令，当所述指令由至少一种机器执行时，使所述至少一种机器：

接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的至少一种颜色的第一数据，所述第一数据在第一颜色空间中；

将来自所述第一颜色空间的表示所期望的对象的至少一种颜色的所述第一数据转换成与所述第一颜色空间不同的第二颜色空间中的第二数据；

确定所述至少一种颜色的所期望的饱和度的指示；

比较所期望的饱和度指示和与多个储存的候选图像相关联的多个候选的饱和度指示；

若与储存的候选图像中的目前比较的候选图像相关联的候选的饱和度指示不在饱和度指示的规定范围内且所述饱和度指示的规定范围包括所期望的饱和度指示，则丢弃作为所期望的对象的可能匹配的所述目前比较的候选图像；以及

基于所述第一数据或所述第二数据中的至少一个来确定未丢弃的候选图像中的是所期望的对象的可能匹配的至少一个。

17.根据权利要求16所述的非暂时的机器可读的存储介质，其中所述指令还包括使所述至少一种机器执行以下步骤的指令：

确定包括与所期望的对象的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括来自所述第一颜色空间的至少第一参数以及来自所述第二颜色空间的至少第一参数；

比较所述查询特征向量和与储存的候选图像的至少一部分相关联的多个候选特征向量，每一个候选特征向量包括与储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及

基于所述特征向量的比较来确定所述未丢弃的候选图像中的所述至少一个。

18.根据权利要求17所述的非暂时的机器可读的存储介质，其中所述第一数据是包括多个像素的图像表示。

19.根据权利要求18所述的非暂时的机器可读的存储介质，其中所述指令还包括使所述至少一种机器执行以下步骤的指令：

将所述图像的像素下采样为下采样像素块；以及

确定所述下采样像素块在所述第一颜色空间或所述第二颜色空间的至少一个中的多个空间频率值，

其中所述查询特征向量还包括所述输入表示图像的空间频率值中的至少一个，且所述候选特征向量中的每一个包括对应的候选图像的至少一个空间频率值。

20.一种将对象的电子彩色图像分类的方法，所述方法包括：

接收对象的输入表示，所述表示包括多个像素，每一个像素由第一颜色空间的参数的值来定义；

将所述输入图像转换到与所述第一颜色空间不同的第二颜色空间中；

确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括所述第一颜色空间的至少第一参数以及所述第二颜色空间的至少第一参数；

比较所述查询特征向量与多个候选特征向量，每一个候选特征向量包括与多个储存的候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括来自所述第一颜色空间的至少所述第一参数以及来自所述第二颜色空间的至少所述第一参数；以及

基于所述比较来确定所述候选图像中的是所期望的对象的可能匹配的至少一个。

21.一种用于将对象的电子彩色图像分类的系统，所述方法包括：

输入端，其被配置成接收所期望的对象的输入表示，所述输入表示包括表示所期望的对象的颜色的第一数据，所述第一数据在第一颜色空间中；

存储器；以及

处理单元，其通信地耦合至所述输入端以及所述存储器且被配置成：

将所述第一颜色空间中的输入数据转换成与第一颜色空间不同的第二颜色空间中的第二数据；

确定包括与所述输入表示的颜色相关联的多个参数的查询特征向量，所述查询特征向量参数包括所述第一颜色空间的至少第一参数以及所述第二颜色空间的至少第一参数；

比较所述查询特征向量与多个候选特征向量，每一个候选特征向量包括与储存在所述存储器中的多个候选图像中的对应的一个的颜色相关联的多个参数，所述候选特征向量参数包括所述第一颜色空间的至少所述第一参数以及所述第二颜色空间的至少所述第一参数；以及

基于所述比较来确定所述候选图像中的是所期望的对象的可能匹配的至少一个。

Images