CN105141903B - 一种基于颜色信息的在视频中进行目标检索的方法 - Google Patents
一种基于颜色信息的在视频中进行目标检索的方法 Download PDFInfo
- Publication number
- CN105141903B CN105141903B CN201510497645.5A CN201510497645A CN105141903B CN 105141903 B CN105141903 B CN 105141903B CN 201510497645 A CN201510497645 A CN 201510497645A CN 105141903 B CN105141903 B CN 105141903B
- Authority
- CN
- China
- Prior art keywords
- target
- color
- video
- retrieval
- motion candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004040 coloring Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 36
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000002035 prolonged effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012790 confirmation Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 11
- 238000005352 clarification Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于颜色信息的在视频中进行目标检索的方法，针对复杂场景下的监控视频，通过视频内容分析，提取原始视频中的候选运动目标，并通过多目标跟踪，对候选目标进行区分，针对每一个确认的运动目标分别提取颜色特征建立索引，通过计算输入图像特征与索引中特征向量相似性并按照相似度排序的方法，获得目标检索结果。本发明能方便用户从长时间的监控视频中快速的找到感兴趣的目标，节省用户观看监控视频的时间，提升监控视频的利用率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于颜色信息的在视频中进行目标检索的方法。
背景技术
现代社会中，视频监控系统在各行各业中都扮演着重要的角色，在维护社会治安，加强社会管理以及安全保障方面发挥着重要的作用；但是伴随着摄像头数目的飞速增长，从这些海量的监控视频中寻找感兴趣的目标会耗费大量的人力、物力。根据ReportLinker公司统计，在2011年，全世界拥有超过1.65亿个监控摄像机，产生1.4万亿个小时的监控数据，假如有20％的重要监控视频数据需要人工观看，则需要雇佣超过1亿的劳动力(每天工作8小时，每年工作300天)。因此，将大量视频中出现的目标自动提取，并对这些目标按照其特征构建索引，可以方便用户通过一定的检索条件快速地定位感兴趣的目标，能够有效地提高海量监控视频的利用效率。
从监控视频中快速找到感兴趣的目标一直是智能监控领域的核心问题之一，但是由于不同监控摄像头下目标受到摄像头自身特性、光照条件、视角、姿态以及遮挡等因素的影响导致同一个目标在不同的监控视频中外观会有显著变化，因此，建立能够消除上述因素影响具有鲁棒性的描述目标外观的模型是监控视频中目标检索的关键问题之一；同时，大量的视频数据包含了海量的目标，利用目标外观描述模型从海量目标中快速地找到感兴趣目标需要合理、高效的检索方式。
监控视频中的目标检索一般包括从视频中获得目标图像，对其提取特征建立索引以及利用索引进行检索。其中从视频中准确、无遗漏地获取目标图像是保证检索可靠的前提；对目标图像提取具有抗光照、角度等因素影响的特征是检索准确的保证；而利用提取的目标特征建立结构合理的索引结构是保障检索效率的基础。
最典型的描述目标外观的模型主要从颜色和纹理特征两方面进行设计(例如参考文献：GeversT.,Smeulders A.W.M.,Color Based Object Recognition,PatternRecognition,1999(03)，Cai Y,Pieetikainen M.,Person Re-identification By GraphKernels Methods,PatternRecognition,2011(285-294),Bauml M.,Stiefelhagen R.,Evaluation of Local Features for Person Re-identification in Image Sequences,IEEE Computer Society,2011(291-296))，但是现有的方法往往仅在目标外观变化不太显著的情况下有效；另一方面，高效的检索系统研究主要从特征索引的创建方法方面开展，主要包括索引文件的结构本身(例如Mathis L.,Savvas A.Chatzichristofis,Lire:LuceneImage Retrieval-An Extensible Java CBIR Library)和特征空间的相似性(KasturiC.,Shu-Ching C.,Affinity Hybrid Tree:An Indexing Technique for Content-BasedImage Retrieval in Multimedia Databases,International Journal of SemanticComputing,2007(Vol.1,Issue 02))两方面。
发明内容
(一)要解决的技术问题
本发明的目的在于，提供一种基于颜色信息的监控视频中目标检索方法，以方便用户从长时间的监控视频中快速的找到感兴趣的目标，节省用户观看监控视频的时间，提升监控视频的利用率。
(二)技术方案
为了实现上述目的，本发明提供了一种基于颜色信息的在视频中进行目标检索的方法，包括：
S1，对原始视频序列进行背景建模，提取原始视频序列中的运动目标区域，作为候选运动目标；
S2，使用多目标跟踪技术对运动候选目标进行关联匹配，并得到运动候选目标的目标轨迹；
S3，提取运动候选目标中的颜色分布特征，并对颜色分布特征创建索引；
S4，接受用户输入的目标检索的条件，将该目标检索条件转换为颜色特征向量，并与索引中所有的颜色分布特征进行比对，返回与颜色特征向量匹配度最高的颜色分布特征，将与该颜色分布特征关联的候选运动目标作为目标检索的结果。
(三)有益效果
本发明提供的基于颜色信息的监控视频中目标的检索方法，充分考虑到场景的复杂性，能够保证计算结果的可靠性，将运动目标事件的漏检率以及噪声的干扰控制在极低的水平，同时，设计的用于检索的颜色特征以及特征比对方法具有鲁棒性，从而使得本发明可以广泛运用于许多部门的实战中，例如公安侦查等。
附图说明
图1是本发明实施例提供的目标检索方法中索引创建的流程图。
图2是本发明实施例提供的目标检索方法中多目标跟踪的流程图。
图3是本发明实施例提供的目标检索方法中特征比对检索的流程图。
具体实施方式
本发明提供一种基于颜色信息的在视频进行目标检索的方法，针对复杂场景下的监控视频，通过视频内容分析，提取原始视频中的候选运动目标，并通过多目标跟踪，对候选目标进行区分，针对每一个确认的运动目标分别提取颜色特征建立索引，通过计算输入图像特征与索引中特征向量相似性并按照相似度排序的方法，获得目标检索结果。本发明能方便用户从长时间的监控视频中快速的找到感兴趣的目标，节省用户观看监控视频的时间，提升监控视频的利用率。
根据本发明的一种实施方式，方法具体包括：
S1，对原始视频序列进行背景建模，提取原始视频序列中的运动目标区域，作为候选运动目标；
S2，使用多目标跟踪技术对运动候选目标进行关联匹配，并得到运动候选目标的目标轨迹；
S3，提取运动候选目标中的颜色分布特征，并对颜色分布特征创建索引；
S4，接受用户输入的目标检索的条件，将该目标检索条件转换为颜色特征向量，并与索引中所有的颜色分布特征进行比对，返回与颜色特征向量匹配度最高的颜色分布特征，将与该颜色分布特征关联的候选运动目标作为目标检索的结果。
根据本发明的一种实施方式，步骤S1中，提取出运动目标区域后，对运动目标区域进行噪声滤除处理，具体为，用形态学结构元素，如方形、星型等，对运动目标区域进行形态学开运算和闭运算，滤除小面积的噪声块，对滤除噪声后的运动目标区域进行面积计算，若运动目标区域像素点数目小于阈值时，则滤除该运动目标区域，该阈值可以为5，否则，保留该运动目标区域，并作为包含候选目标的区域。
根据本发明的一种实施方式，步骤S2包括：
S21，计算当前帧中运动候选目标的HSV颜色空间直方图特征与上一帧中运动候选目标的颜色相似性；
S22，利用卡尔曼滤波方法，根据运动候选目标在前两帧的位置预测运动候选目标在当前帧的位置，计算预测位置与运动候选目标实际位置之间的欧氏距离，作为距离相似性；
S23，根据颜色相似性和距离相似性，使用匈牙利算法，对当前帧中的所有运动候选目标与上一帧中所有运动候选目标的轨迹进行匹配，获得最优匹配结果，并根据最优匹配结果更新所述运动候选目标的轨迹。
根据本发明的一种实施方式，步骤S3包括：
S31，从运动候选目标的轨迹的起始段、中段和终止段各挑选一幅目标图像；
S32，分别提取三幅目标图像的颜色分布特征，得到三组颜色分布特征；
S33，从三组特征向量中随机挑选一组，并进行聚类，并按照聚类结果创建对应的索引。
根据本发明的一种实施方式，在提取目标图像的颜色分布特征之前，对目标图像进行分割，得到目标前景区域，并在目标前景区域中进行特征提取。
根据本发明的一种实施方式，在进行特征提取中，将目标图像分割为多个子图像，其中，可将目标图像从上到下均匀分割为4份，左右分割为2份，针对每一个子图像分别统计主色的分布，作为描述该目标图像的颜色分布特征，具体的，对于每一个子图像，逐个像素计算该项像素值与主颜色对应像素值的差值，并将每个差值分别归一化至0到1之间，形成一个10维向量作为描述该像素的颜色特征，统计所有像素特征的直方图，归一化之后，形成一个10维特征向量，每幅图像包含8个图像块，按照顺序将8个图像块对应的特征向量连接形成描述整幅图像的80维特征向量；如步骤31中提到的，针对每一个目标选取了其运动轨迹上3个位置的图像进行特征提取，因此最终获得的同一目标的特征向量共3组。
根据本发明的一种实施方式，主色包括红色、黄色、蓝色、绿色、青色、紫色、橙色、白色、黑色及灰色。
根据本发明的一种实施方式，用户输入的检索条件包括用户输入颜色组合以及直接输入目标图像。
根据本发明的一种实施方式，步骤S4中，将目标检索的条件转换成的颜色特征向量，与索引中所有的颜色分布特征进行Tanimoto距离计算，得到多个匹配度，对多个匹配度性进行排序，返回匹配度最高的颜色分布特征，将与该颜色分布特征关联的候选运动目标作为所述目标检索的结果。
根据本发明的一种实施方式，在步骤S1之前，还包括：将视频进行解码，并将其转换为多幅RGB图像。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明的视频中目标颜色特征索引创建流程如图1所示，其具体实施步骤如下：
步骤S101，利用摄像头采集监控视频数据；
步骤S102，存储采集的原始视频，形成原始视频数据库，原始视频可以是监控摄像头实时采集的视频流，也可以是监控录像视频；
步骤S103，对不同分辨率的原始视频，将视频的每一帧都缩放至相同大小之后，进行背景建模，逐帧提取运动的前景区域，对所述前景区域进行噪声滤除后作为候选运动目标区域；
将不同分辨率的原始视频帧进行统一缩放，而不是直接对高分辨率的原始图像进行处理，一方面能够有效地提高背景建模提取运动区域的运算速度，另一方面能够在提取目标特征时保证目标的大小相对一致。在本发明的实施例中，视频的背景建模和前景提取可采用多种不同的算法，本实施例不一一列举。背景建模和前景提取的目的，是为了将视频帧中静止的背景区域和包含运动目标的区域区分开。监控场景中的背景是指视频中较长时间保持不变或者有微小变化的区域；对应地，场景中的运动前景是指有明显变化的区域。例如在一个监控场景中穿行而过的汽车、行人等，只在短时间内存在在场景中，所以被认为是运动前景，而建筑物和路两旁的树木等，长时间存在监控场景中，即使是被风吹动的树木，均可以被当作静止的背景。而监控场景中，一般而言，感兴趣的目标指的是运动的前景。
但是，复杂场景下的运动目标区域提取难以做到非常精确，提取过程容易受到光照变化等因素的干扰而混入噪声，例如树木等属于背景的部分，由于风吹扰动，而被当作前景提取出来，为了抑制噪声的影响，本发明的优选实施例中采用了两个模型混合的方法：对同一段监控视频构建两个背景模型，所述两个背景模型相隔N＝300帧分别进行更新，利用这两个背景模型可以对当前帧进行前景提取，获得两幅表示前景区域的二值图像，对这两幅前景二值图像进行“与”操作，得到的二值图作为当前帧对应的前景区域二值图；此外，还使用形态学滤波的方法对获得的前景二值图像进行噪声滤除，具体包括：
首先，使用形态学结构元素，如方形元素等，对前景目标进行形态学开运算和闭运算，滤除小面积的噪声块，缩小面积较大的噪声区域；
然后，计算所述的所有前景区域的面积，若前景目标的像素点个数小于阈值T1＝5时，则将该区域当做噪声滤除，否则保留该前景区域。
步骤S104，把步骤S103中每一帧提取的运动前景区域当作包含运动目标的区域，利用基于匈牙利算法的多目标跟踪技术对这些连续帧间的候选运动目标区域进行关联匹配。其中，活跃轨迹表示正在被跟踪的目标的轨迹，历史轨迹表示由于遮挡等导致的当前没有被跟踪，但是可能转变成活跃轨迹的目标轨迹，死亡轨迹表示目标运动结束，不再进行更新的轨迹。
本方法以基于匈牙利算法的最优匹配结果为依据进行帧间目标匹配，其中匈牙利算法是一种用于解决多组数据最优化对应问题的方法。其中，帧间运动目标相似性使用颜色直方图特征以及距离特征来衡量，颜色直方图是一种常用的表示图像整体统计特性的特征，计算简单，而且具有尺度、平移以及旋转不变性。位置特征则通过计算当前帧前景区域位置与依靠卡尔曼滤波结合目标在前几帧的位置、速度等信息预测的目标位置偏离度获得。
如图2所示，本发明中基于匈牙利算法的多目标跟踪方法来获取运动目标的运动轨迹具体可分为以下几个步骤：
步骤S1041，计算步骤S103中获得的所有运动目标区域的颜色直方图特征，然后分别计算当前帧中获得的所有运动目标的颜色直方图特征与上一帧所有的运动目标的颜色直方图特征的相似性。优选地，本发明采用HSV颜色空间计算每一个运动目标的颜色直方图：先对颜色空间HSV中的三个颜色分量进行量化，将每个颜色空间划分为8个子空间，每个子空间对应直方图中的一维(bin)，统计落在直方图每一维对应的子空间内的像素数目，从而得到颜色直方图，然后计算上一帧活跃轨迹对应的运动目标与当前帧运动目标的颜色直方图特征之间的相似度。优选地，本发明采用Hellinger距离来度量两个直方图分布的相似度：
其中，h1(q)和h2(q)代表两个颜色直方图向量，N为8×8×8，两个颜色直方图越相似，则颜色直方图向量之间的Hellinger距离越小。
步骤S1042，根据上一帧图像中运动目标的活跃轨迹信息，利用卡尔曼滤波器预测运动目标的位置。根据第t-1、t-2、t-3帧图像中的每条活跃轨迹信息，利用卡尔曼滤波器预测第t帧中每个轨迹对应的运动目标出现的位置。步骤S103中得到第t帧的候选运动目标，而在S1042中该步骤中依次对所有轨迹对应的运动目标在第t帧的预测位置与第t帧获得的所有前景目标区域计算逐对计算欧氏距离，该距离越小，那么轨迹与当前帧运动前景区域匹配的可能性越高。
步骤S1043，采用匈牙利算法，利用颜色匹配度和位置匹配度来进行多目标的匹配，匈牙利算法是解决二分图最大匹配问题的经典算法。例如，若在第t-1帧中存在m个活跃轨迹，步骤S103在第t帧中获得了n个候选运动目标，并由Hellinger计算第t-1帧的活跃轨迹与第t帧的运动目标颜色直方图特征之间的相似度，并得到m×n的矩阵M1；而计算第t-1帧的活跃轨迹在第t帧中的预测位置与第t帧运动目标的确切位置之间的欧式距离，可以得到m×n的矩阵M2。将矩阵M1和M2对应位置的元素相乘，得到m×n的矩阵M，将该矩阵M作为匈牙利算法的输入值，匈牙利算法可给出第t-1帧中m个活跃轨迹与第t帧n个运动目标的匹配结果，匹配结果中若相似度小于阈值T2＝0.5时，则认为不匹配，反之则匹配成功。
步骤S1044，根据上一步骤中目标的匹配结果，更新当前帧中运动目标的运动轨迹所有信息；同时使用卡尔曼滤波预测目标在下一帧中的位置信息。
若第t-1帧的活跃轨迹mi与第t帧的运动目标nj匹配成功，则认为目标nj在前t-1帧中的运动轨迹为mi，更新活跃轨迹mi。此时，对于目标nj在第t帧的跟踪过程结束。
若第当前帧的运动目标没有匹配到上一帧中的活跃轨迹，说明该目标运动轨迹，可能为新目标，对其进行记录，如果连续三帧该目标都存在且能够相互匹配，则认为生成了新的轨迹；而上一帧的活跃轨迹如果没有匹配上当前帧的运动目标，则使用该轨迹与历史轨迹进行匹配。若能匹配上，则该活跃轨迹与历史轨迹整合为新的活跃轨迹，否则，将该活跃轨迹转变为历史轨迹，历史轨迹存在N＝50帧且未转变成活跃轨迹则转变为死亡轨迹。
步骤S105，获取目标图像，在目标轨迹的起始段、中段以及末段分别选择一个位置，获取这三个位置的目标图像用于提取该目标的颜色特征，在获取目标图像时，利用背景建模生成的对应每个选定位置的前景二值图与对应原始图像进行“与”操作，移除图像中背景区域，只保留真实目标区域，进行特征提取。
在步骤S106中，对步骤S105中获取的目标图像进行颜色特征提取，针对同一时段监控场景下目标的颜色分布相对固定(例如行人的上衣、下衣等颜色一般不会发生明显变化)的特点，设计了一种用于检索的颜色特征；每个目标包含三幅图像，每幅图像的特征提取是独立进行的。
本实施例中，颜色特征的提取过程如下：分别获得红、黄、蓝、绿、青、紫、橙、白、黑、灰十种主要颜色在HSV空间下的Hue值(0-360)；将图像均分为8个子图像块，左右2等分，上下4等分；对于每个子图像块，逐像素扫描，获取像素的Hue值(0-360)，按照顺序分别计算该像素的Hue值与十种主颜色Hue值的绝对差值，形成一个10维向量Vabs，对该向量每一维分别进行归一化即Vnorm[i]＝Vabs[i]/N,i＝0,2…9,N＝360；对一个子图像块统计该图像块的Vnorm直方图分布，获得一个直方图，并进行归一化得到Hnorm该直方图共10维，每一个维度对应一种主颜色，值越高表明该子图像块与该主颜色差别越大；对每个子图像块重复3、4的操作，获得8个直方图，按照顺序将这8个直方图连接起来，构成一个80维向量Vdiff，作为该图像的颜色特征表达；
由上述可知，对一个目标选取了三幅图像，因此会获得三个80维的特征向量，这些特征向量在本发明中是相互独立的，而不是将三组特征向量融合来表征一个目标。
步骤S107，创建目标特征索引，考虑到监控视频中目标数目较多，为提升检索速度，在目标索引创建时，对获得的所有目标的特征向量进行聚类，将相近的目标集中存储，在检索时会根据输入的检索特征优先地在相似的类别中查找目标。
本实施例中，特征索引的创建过程如下：获得所有目标的特征向量；从每一个目标对应的三组特征向量随机抽取一组；使用KNN的聚类方法对所有目标的特征向量进行10类聚类，每一类对应一种主颜色；目标的特征和信息按照类别分别进行存储，每一类存储时，同时计算该类所有特征的平均值Havg，存入索引文件。
图3是本发明实施例提供的目标检索方法中特征比对检索的流程图，如图3所示，包括：
步骤S201，用户输入检索条件，检索条件包括两种：一种是颜色模板组合的形式，例如用户标明待检索的目标特征为“上下左右颜色为红、白、蓝、绿”；另一种是用户直接输入一幅待检索目标的图像；
步骤S202，计算检索条件对应的特征向量，对于用户输入的检索条件，将其转化为特征向量的形式，对于标明的目标颜色特征，直接按照用户标定的颜色组合方式按照步骤S106中方法生成特征向量Hquery；而对于用户输入的图像，则需要先对其进行一次显著性分割，移除图像中的背景部分之后，再采用步骤S106中的方法提取特征向量Hquery，在本发明的优选实例中，采用的分割方法是OpenCV提供的GrabCut方法；
步骤S203，利用特征索引进行检索，在索引创建阶段，对应10中主颜色，创建了10组索引，为提高效率，本发明中会对输入的检索条件进行初步的估算，以确定检索顺序；
本实施例中，特征检索的过程如下：分别计算输入的特征Hquery与10组特征索引平均特征向量Havg的相似度，使用L1-Norm的方法计算相似度；按照相似度对10组特征索引进行排序；按照10组索引的排序进行检索，具体的，计算Hquery与当前索引中每个目标对应的三组特征向量的相似度：
其中H为Hquery，V表示特征索引中一组特征向量，k＝79；比较三个simi，取最大的作为该目标与Hquery的相似性并记录。
分别判断每组相似性simi是否大于设定阈值，如果大于阈值则返回对应的目标信息作为检索结果；如当前索引中没有找到检索结果，则返回按照10组索引的排序进行检索，直到找到目标为止；如所有索引检索完成后仍然没有结果，则对获取的所有目标相似度进行排序，返回相似度最高的N个结果；
步骤S204，返回检索到的结果。
本发明提供的实施例在配置Intel i7-3770 CPU的PC机上对高清的监控视频(1280×720以上)的处理速度可以达到视频正常播放速度的10倍左右，处理包括背景建模，运动目标提取，目标特征向量计算；在在检索过程中，对于1万目标的检索速度平均为100ms左右，10万目标检索速度在2-3s之间；而在检索准确率方面，使用了6个场景共约12小时的真实监控视频测试结果为：Top 50结果查全率>90％，而Top 20结果的查全率>73％。
本发明关注从复杂场景监控视频中快速找到感兴趣目标的方法，根据监控视频中目标的外观特点，提出了一种基于颜色分布的描述目标的颜色特征，该特征仅有80维；其次，在检索过程中，考虑了目标在不同光照和角度下的外观变化，使用同一个目标的多幅图像分别提取特征来表征该目标；再次，在检索过程中，为提升检索速度，本发明在创建索引时采用了聚类的方法，并且在检索过程中会对用户输入的检索条件进行初步判断，来确定检索的顺序，大幅提升了从大量图像中检索目标的速度；除此之外，在对运动目标的判定与检测过程中，使用了多目标追踪技术，从而避免了对于每一帧中的候选运动目标逐个进行分类判定，大幅减少了计算量，从而提升了视频摘要系统处理视频的速度。与传统的目标检索方法相比，本发明能够准确、快速、完整地提取复杂场景中前景运动目标，并使用可靠的特征描述运动目标，充分考虑了目标在不同环境下的变化，使检索具有更强的鲁棒性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于颜色信息的在视频中进行目标检索的方法，其特征在于，包括：
S1，对原始视频序列进行背景建模，提取所述原始视频序列中的运动目标区域，作为运动候选目标；
S2，使用多目标跟踪技术对所述运动候选目标进行关联匹配，并得到所述运动候选目标的目标轨迹；
S3，提取所述运动候选目标中的颜色分布特征，并对所述颜色分布特征创建索引；
S4，接受用户输入的目标检索的条件，将该目标检索条件转换为颜色特征向量，并与所述索引中所有的颜色分布特征进行比对，返回与所述颜色特征向量匹配度最高的颜色分布特征，将与该颜色分布特征关联的运动候选目标作为所述目标检索的结果，
其中，所述步骤S3包括：
S31，从所述运动候选目标的轨迹的起始段、中段和终止段各挑选一幅目标图像；
S32，分别提取三幅目标图像的颜色分布特征，得到三组颜色分布特征；
S33，从所述三组特征向量中随机挑选一组，并进行聚类，并按照聚类结果创建对应的索引。
2.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，所述步骤S1中，提取出所述运动目标区域后，对所述运动目标区域进行噪声滤除处理。
3.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，所述步骤S2包括：
S21，计算当前帧中运动候选目标的HSV颜色空间直方图特征与上一帧中运动候选目标的颜色相似性；
S22，利用卡尔曼滤波方法，根据所述运动候选目标在前两帧的位置预测所述运动候选目标在当前帧的位置，计算所述预测位置与所述运动候选目标实际位置之间的欧氏距离，作为距离相似性；
S23，根据所述颜色相似性和距离相似性，使用匈牙利算法，对当前帧中的所有运动候选目标与上一帧中所有运动候选目标的轨迹进行匹配，获得最优匹配结果，并根据所述最优匹配结果更新所述运动候选目标的轨迹。
4.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，在提取所述目标图像的颜色分布特征之前，对所述目标图像进行分割，得到目标前景区域，并在所述目标前景区域中进行特征提取。
5.根据权利要求4所述的在视频中进行目标检索的方法，其特征在于，在进行特征提取中，将所述目标图像分割为多个子图像，针对每一个子图像分别统计主色的分布，作为描述该目标图像的颜色分布特征。
6.根据权利要求5所述的在视频中进行目标检索的方法，其特征在于，所述主色包括红色、黄色、蓝色、绿色、青色、紫色、橙色、白色、黑色及灰色。
7.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，所述目标检索条件包括颜色或颜色的组合。
8.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，所述步骤S4中，将所述目标检索的条件转换成的颜色特征向量，与所述索引中所有的颜色分布特征进行Tanimoto距离计算，得到多个匹配度，对所述多个匹配度性进行排序，返回匹配度最高的颜色分布特征，将与该颜色分布特征关联的运动候选目标作为所述目标检索的结果。
9.根据权利要求1所述的在视频中进行目标检索的方法，其特征在于，在所述步骤S1之前，还包括：将视频进行解码，并将其转换为多幅RGB图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510497645.5A CN105141903B (zh) | 2015-08-13 | 2015-08-13 | 一种基于颜色信息的在视频中进行目标检索的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510497645.5A CN105141903B (zh) | 2015-08-13 | 2015-08-13 | 一种基于颜色信息的在视频中进行目标检索的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105141903A CN105141903A (zh) | 2015-12-09 |
| CN105141903B true CN105141903B (zh) | 2018-06-19 |
Family
ID=54727099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510497645.5A Active CN105141903B (zh) | 2015-08-13 | 2015-08-13 | 一种基于颜色信息的在视频中进行目标检索的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105141903B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956559B (zh) * | 2016-05-05 | 2019-05-07 | 南京理工大学 | 基于无人机视频的特定目标检测方法 |
| CN106600659B (zh) * | 2016-12-05 | 2019-06-04 | 浙江工商大学 | 基于随机采样点的多样化颜色表绘制方法 |
| CN107330943B (zh) * | 2017-06-26 | 2023-07-21 | 乐融致新电子科技(天津)有限公司 | 一种定位标识匹配方法、装置及电子设备 |
| CN107908630A (zh) * | 2017-06-28 | 2018-04-13 | 重庆完美空间科技有限公司 | 物料图片色彩分类检索方法 |
| CN107423695A (zh) * | 2017-07-13 | 2017-12-01 | 苏州珂锐铁电气科技有限公司 | 基于二分图的动态纹理识别方法 |
| CN110019938A (zh) * | 2017-11-29 | 2019-07-16 | 深圳Tcl新技术有限公司 | 基于rgb分类的视频信息检索方法、装置及存储介质 |
| CN109858308B (zh) * | 2017-11-30 | 2023-03-24 | 株式会社日立制作所 | 视频检索装置、视频检索方法和存储介质 |
| CN110059521B (zh) * | 2018-01-18 | 2022-05-13 | 浙江宇视科技有限公司 | 目标跟踪方法及装置 |
| CN109446379A (zh) * | 2018-10-31 | 2019-03-08 | 北京字节跳动网络技术有限公司 | 用于处理信息的方法和装置 |
| CN109872342A (zh) * | 2019-02-01 | 2019-06-11 | 北京清帆科技有限公司 | 一种特定场景下的目标跟踪方法 |
| CN109934183B (zh) * | 2019-03-18 | 2021-09-14 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
| CN109948526B (zh) * | 2019-03-18 | 2021-10-29 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
| CN110043240A (zh) * | 2019-03-22 | 2019-07-23 | 东南大学 | 用于工程钻探智能视频分析中目标特征提取的标记装置 |
| CN110502692B (zh) * | 2019-07-10 | 2023-02-03 | 平安普惠企业管理有限公司 | 基于搜索引擎的信息检索方法、装置、设备和存储介质 |
| CN110674837A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 视频相似度获取方法、装置、计算机设备及存储介质 |
| CN110555471B (zh) * | 2019-08-26 | 2022-09-13 | 珠海格力电器股份有限公司 | 一种移动终端及目标物的搜寻方法 |
| CN111586363B (zh) * | 2020-05-22 | 2021-06-25 | 深圳市睿联技术股份有限公司 | 基于对象的视频文件查看方法及系统 |
| CN111565300B (zh) * | 2020-05-22 | 2020-12-22 | 深圳市百川安防科技有限公司 | 基于对象的视频文件处理方法、设备及系统 |
| CN112183286A (zh) * | 2020-09-22 | 2021-01-05 | 深圳奇迹智慧网络有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN112465870B (zh) * | 2020-12-10 | 2023-07-14 | 济南和普威视光电技术有限公司 | 一种复杂背景下热像报警入侵检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6430312B1 (en) * | 1997-12-29 | 2002-08-06 | Cornell Research Foundation, Inc. | Image subregion querying using color correlograms |
| CN103413330A (zh) * | 2013-08-30 | 2013-11-27 | 中国科学院自动化研究所 | 一种复杂场景下可靠的视频摘要生成方法 |
| CN104463151A (zh) * | 2015-01-05 | 2015-03-25 | 北京邮电大学 | 基于主颜色直方图和空间位置信息融合的快速目标匹配方法 |
| CN104680143A (zh) * | 2015-02-28 | 2015-06-03 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频侦查的快速图像检索方法 |
-
2015
- 2015-08-13 CN CN201510497645.5A patent/CN105141903B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6430312B1 (en) * | 1997-12-29 | 2002-08-06 | Cornell Research Foundation, Inc. | Image subregion querying using color correlograms |
| CN103413330A (zh) * | 2013-08-30 | 2013-11-27 | 中国科学院自动化研究所 | 一种复杂场景下可靠的视频摘要生成方法 |
| CN104463151A (zh) * | 2015-01-05 | 2015-03-25 | 北京邮电大学 | 基于主颜色直方图和空间位置信息融合的快速目标匹配方法 |
| CN104680143A (zh) * | 2015-02-28 | 2015-06-03 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频侦查的快速图像检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105141903A (zh) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105141903B (zh) | 一种基于颜色信息的在视频中进行目标检索的方法 | |
| Wen et al. | UA-DETRAC: A new benchmark and protocol for multi-object detection and tracking | |
| US10846554B2 (en) | Hash-based appearance search | |
| CN102207966B (zh) | 基于对象标签的视频内容快速检索方法 | |
| Liu et al. | Person re-identification: What features are important? | |
| CN105100894B (zh) | 面部自动标注方法及系统 | |
| Vezzani et al. | People reidentification in surveillance and forensics: A survey | |
| CN104867161B (zh) | 一种视频处理方法及装置 | |
| Wang et al. | Integrating color and shape-texture features for adaptive real-time object tracking | |
| CN112101150A (zh) | 一种基于朝向约束的多特征融合行人重识别方法 | |
| CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
| CN103996046A (zh) | 基于多视觉特征融合的人员识别方法 | |
| CN103714181A (zh) | 一种层级化的特定人物检索方法 | |
| CN109344842A (zh) | 一种基于语义区域表达的行人重识别方法 | |
| Lin et al. | Integrating color and spatial features for content-based video retrieval | |
| Duan et al. | Mean shift based video segment representation and applications to replay detection | |
| CA3011713A1 (en) | Hash-based appearance search | |
| Ji et al. | News videos anchor person detection by shot clustering | |
| AU2019303730B2 (en) | Hash-based appearance search | |
| e Souza et al. | Survey on visual rhythms: A spatio-temporal representation for video sequences | |
| Yuk et al. | Object-based surveillance video retrieval system with real-time indexing methodology | |
| Han et al. | A shot boundary detection method for news video based on rough-fuzzy sets | |
| Zhang et al. | Optimizing metrics combining low-level visual descriptors for image annotation and retrieval | |
| Lang et al. | Shot type classification in sports video based on visual attention | |
| Chahir et al. | Searching images on the basis of color homogeneous objects and their spatial relationship |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210728 Address after: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District Patentee after: BEIJING CASD TECHNOLOGY Co.,Ltd. Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |