CN104820711A - 复杂场景下对人形目标的视频检索方法 - Google Patents

Abstract

本发明公开了一种复杂场景下对人形目标的视频检索方法，包括以下步骤：输入原视频；系统自动将选中的原始视频导入到检索系统的分析服务器中，记为标准视频；系统检测标准视频中的运动目标，在分析初始阶段摘录出视频中的运动目标；系统使用机器视觉识别模型库，对系统分析摘录出来的运动目标进行高维视觉特征和规律的提取；系统将提取到的目标高维视觉特征和规律进行结构化标注，生成计算机可识别的信息存入计算机视觉数据库；用户输入检索条件；系统给出检索结果，并允许人机交互以在线更新机器视觉识别模型库，最终得到一个满意的检索结果。通过此技术，可以在一组不同摄像头产生的视频中，快速检索出目标。

Description

复杂场景下对人形目标的视频检索方法

技术领域

本发明涉及计算机视频检索领域，具体而言，涉及一种复杂场景下对人形目标的视频检索方法。

背景技术

随着“天网工程”、“平安城市”建设的不断深入，视频安防监控技术的更新换代以及未来的发展越来越受到各界的高度重视。高清视频、视频存储、智能视频分析等技术成为当前视频技术发展的主要方面。

目前，监控摄像头已遍布中国大地的每个街头，昼夜不停地监视和录像。在改善社会治安的同时，产生海量视频信息，对成千上万个监控平台进行监控将耗费大量的人力、物力和时间。在海量的视频中查找我们需要的信息，无疑是大海捞针，也给视频监控带来巨大的挑战。传统的人海战术，因效率低下以及容易错过关键目标，容易使视频监控处于“监而不控”的状态。如何化解这一危机，是现代安防的热点和难点。

解决以上问题，视频检索（Video retrieval）和视频浓缩是其中的关键。视频检索就是采用计算机技术，根据物体运动的特征，在视频中快速查找符合条件的目标。

视频检索技术已经逐渐成熟并开始走向市场。当前的视频检索，主要集中在基于人车类别的检索，基于简单语义的检索（如颜色）、基于图片的检索等。

目前现有市面上的基于图片的检索技术，没有考虑视频场景，视频中的目标姿态，角度等影响，导致在实际使用时检索准确度差，可用性差。比如，视频中同一人员目标，在A视频中出现时是正面影像，在B视频中，以背影出现，则无法识别。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种在复杂视频场景下的人形检索技术，克服目标不同姿态的影响，在不同视频中均准确检索出所要的人员目标。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种复杂场景下对人形目标的视频检索方法，包括以下步骤：

步骤1）输入原视频；

步骤2）系统自动将选中的原始视频导入到检索系统的分析服务器中，并将不同编码格式的原始视频转码成为标准的H.264编码格式视频，记为标准视频；

步骤3）系统检测标准视频中的运动目标，在分析初始阶段摘录出视频中的运动目标；

步骤4）系统使用机器视觉识别模型库，对系统分析摘录出来的运动目标进行高维视觉特征和规律的提取；

步骤5）系统将提取到的目标高维视觉特征和规律进行结构化标注，生成计算机可识别的信息存入计算机视觉数据库；

步骤6）用户输入检索条件，包括：

a）系统分析待查人形图片的多维特征和规律，

b）系统将输入的语义检索条件转换为内部结构化描述，到计算机视觉数据库中进行查找；

步骤7）系统给出检索结果，并允许人机交互以在线更新机器视觉识别模型库，最终得到一个满意的检索结果，其中包括：

a）系统将从待查图片中提取出的结构化描述信息在计算机视觉库中进行高效索引结果对比查找，

b）在系统给出的检索结果上，用户给出反馈，如调整某些搜索图片的相似度，系统将这些改进信息补充到它的机器视觉识别模型中，在线更新，更新之后的模型又产生新一轮的搜索结果，用户再在此基础上反馈改进，如此循环下去，直至用户得到一个满意的结果，最终呈现一个按照相似度值排序的检索结果来，相似度高的目标排在前列，相似度低的目标排在后面。

进一步的，所述步骤4中提取步骤包括：

i）图像的底层特征提取；

ii）中级视觉特征提取；

iii）高级视觉特征提取。

进一步的，所述步骤6a中分析待查人形图片步骤包括：

i）图像的底层特征提取；

ii）中级视觉特征提取；

iii）高级视觉特征提取。

进一步的，所述步骤7a中对比查找过程包括：

i）图像底层特征对比、权衡、筛选；

ii）中级视觉特征对比、权衡、筛选；

iii）高级视觉特征对比、权衡、筛选，从目标的类型和行为上考虑是否和带搜索目标具有相似性；

通过以上对图像进行不同尺度不同维度不同认知层面撒谎那个的多方位多视角的观察和判断，得出相似度值，输出检索结果。

本发明的有益效果是：

1、通过此技术，可以在一组不同摄像头产生的视频中，快速检索出目标。该技术可以克服不同视频场景、光照、目标角度和姿态对检索准确性的影响，准确查找所需的人员目标，可极大提升对人员目标的检索准确性。据测试，通过测试各种场景，光照，角度，姿态下的人形目标，其检测排前率保持在前10%目标内。

2、本发明采用多层面图像目标特征提取，高维度目标建模方式，更多地采用人工智能和机器学习的数据挖掘思想，充分考虑了待查目标在不同层面上的视觉表现： 底层的图像特征，中层的目标类别特征，高层的目标行为特征，综合多个层次的数据挖掘信息，对图像进行不同尺度不同维度不同认知层面上的多方位多视角的观察和归纳，最终形成一系列高维的视觉特征和规律信息用于随后的图片检索。

3、本发明可以大大地减少传统二维图像识别技术用于人形搜索时对图像局部特征点的过分依赖，不再需要对搜索图片的质量做太多的限制，如要求待识别图片具备一定级别上的画质;待查目标没有较大仿射变形透视变形甚至非刚性物体扭曲等，光线恒定等等，这种低限制性极大地开拓了我们研制的人形搜索技术的应用场合。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明所述视频检索方法流程示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

公安刑侦或者其他部门进行视频查看时，往往需要调取海量的视频，查找具有某个特征的某个目标。借助此技术，可轻松在海量的不同视频中查找到同一个目标嫌疑人。参照图1所示，实施步骤如下：

步骤1）原视频输入

确定待分析的原始视频；

步骤2）解码处理

系统自动将选中的原始视频导入到检索系统的分析服务器中，并将不同编码格式的原始视频转码成为标准的H.264编码格式视频，记为标准视频；

步骤3）目标检测

系统检测标准视频中的运动目标，在分析初始阶段摘录出视频中的运动目标；

步骤4）利用机器视觉识别模型库提取目标视觉特征

系统使用机器视觉识别模型库，对系统分析摘录出来的运动目标进行高维视觉特征和规律的提取，包括：

i）图像的底层特征提取：

如：服饰颜色，纹理，局部饰物等特征；

ii）中级视觉特征提取：

如：人形的局部细节，体态，肤色，外貌等特征；

iii）高级视觉特征提取

如：人形步态，行为，行为趋势等特征；

步骤5）目标视觉特征结构化标注后存入计算机视觉数据库

系统将提取到的目标高维视觉特征和规律进行结构化标注，生成计算机可识别的信息存入计算机视觉数据库。

步骤6）用户输入检索条件

a）用户输入待查人形图片

系统分析待查人形图片的多维特征和规律，包括：

i）图像的底层特征提取：

如：服饰颜色，纹理，局部饰物等特征；

ii）中级视觉特征提取：

如：人形的局部细节，体态，肤色，外貌等特征；

iii）高级视觉特征提取

如：人形步态，行为，行为趋势等特征；

b）用户输入语义检索条件

系统将输入的语义检索条件转换为内部结构化描述，到计算机视觉数据库中进行查找。比如，输入颜色，则将颜色转换为RGB值。

步骤7）系统给出检索结果，并允许人机交互以在线更新机器视觉识别模型库，最终得到一个满意的检索结果

a）系统将从待查图片中提取出的结构化描述信息在计算机视觉库中进行高效索引结果对比查找。对比查找过程包括：

i）图像底层特征对比、权衡、筛选：包括服饰颜色，纹理，局部饰物特征对比、权衡、筛选；

ii）中级视觉特征对比、权衡、筛选：包括关键的"与众不同"的图像特征细节，比如，鞋子上特别的条纹装饰，并在实际的搜索中特别考虑这个"特别"的特征细节；

iii）高级视觉特征对比、权衡、筛选：从目标的类型和行为上考虑是否和带搜索目标具有相似性。比如，是否年龄相仿，是否都骑车，行走的姿态，行为特征。

通过以上对图像进行不同尺度不同维度不同认知层面撒谎那个的多方位多视角的观察和判断，得出相似度值，输出检索结果。

b）用户交互

在系统给出的检索结果上，用户给出反馈，如调整某些搜索图片的相似度，系统将这些改进信息补充到它的机器视觉识别模型中，在线更新，更新之后的模型又产生新一轮的搜索结果，用户再在此基础上反馈改进，如此循环下去，直至用户得到一个满意的结果。

最终呈现一个按照相似度值排序的检索结果来：相似度高的目标排在前列，相似度低的目标排在后面。

本技术采用已发现的嫌疑人某个截图为输入，根据目标嫌疑人的衣着、颜色分布、体态特征快速在海量视频中搜索出相似目标。该技术对场景、光照、角度和目标姿态有良好适应性。其基本原理如下：

1、从人的视觉心理学角度出发，提取图像的多层次多维度视觉特征和规律信息。借助高维的数学模型和优化工具，充分考虑了待查目标在不同层面上的视觉表现：底层的图像特征，中层的目标类别特征,高层的目标行为特征,对图像进行不同尺度不同维度不同认知层面上的多方位多视角的观察和归纳,并从人的视觉心理学角度出发，对这些认知进行数据挖掘和信息优化,最终形成一系列高维的视觉特征和规律信息用于随后的图片检索。

2、特征结构化描述

利用机器视觉,人工智能,图像处理等计算机技术对图像进行学习和分析,由计算机对人形图像蕴含的信息挖掘归纳并结构化,这样大大地减少了人工标注的巨大投入,避免了人工标注中不可避免存在的主观偏差和过失性错误,另外,也突破了文字语言对图像极为丰富的视觉特征描述时 无法精准描述的局限。在随后具体的人形搜索中,只需在这些结构化的视觉特征和规律信息中进行搜索，而不再需要原始的海量视频图片库，极大地节省了存储空间，搜索速度也可以有飞速的提高。

3、具有在线学习能力的机器视觉识别模型库

系统在分析目标视觉特征时，将使用到事前建立的机器视觉识别模型库。人形检索系统事先会从海量样本库中进行大量的学习，得到一个初始的机器视觉识别模型，这个模型是动态的，它可以根据用户在实际使用过程中提供的不断丰富的检索信息和结果改进进行实时的更新和维护。也就是说，在我们的人形检索系统中，机器识别主体和用户主体之间是一个可以多次交互的反馈、更新模型，用户在机器识别的结果上进行反馈 以改进查询结果，机器学习主体将这些改进信息补充到它的识别模型中，在线更新，更新之后的模型又产生新一轮的搜索结果，用户再在此基础上反馈改进，如此循环下去，直至用户得到一个满意的结果。此数据库类似“专家系统”库。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种复杂场景下对人形目标的视频检索方法，其特征在于，包括以下步骤：

步骤1）输入原视频；

步骤2）系统自动将选中的原始视频导入到检索系统的分析服务器中，并将不同编码格式的原始视频转码成为标准的H.264编码格式视频，记为标准视频；

步骤3）系统检测标准视频中的运动目标，在分析初始阶段摘录出视频中的运动目标；

步骤4）系统使用机器视觉识别模型库，对系统分析摘录出来的运动目标进行高维视觉特征和规律的提取；

步骤5）系统将提取到的目标高维视觉特征和规律进行结构化标注，生成计算机可识别的信息存入计算机视觉数据库；

步骤6）用户输入检索条件，包括：

a）系统分析待查人形图片的多维特征和规律，

b）系统将输入的语义检索条件转换为内部结构化描述，到计算机视觉数据库中进行查找；

步骤7）系统给出检索结果，并允许人机交互以在线更新机器视觉识别模型库，最终得到一个满意的检索结果，其中包括：

a）系统将从待查图片中提取出的结构化描述信息在计算机视觉库中进行高效索引结果对比查找，

b）在系统给出的检索结果上，用户给出反馈，如调整某些搜索图片的相似度，系统将这些改进信息补充到它的机器视觉识别模型中，在线更新，更新之后的模型又产生新一轮的搜索结果，用户再在此基础上反馈改进，如此循环下去，直至用户得到一个满意的结果，最终呈现一个按照相似度值排序的检索结果来，相似度高的目标排在前列，相似度低的目标排在后面。

2.根据权利要求1所述的视频检索方法，其特征在于，所述步骤4中提取步骤包括：

i）图像的底层特征提取；

ii）中级视觉特征提取；

iii）高级视觉特征提取。

3.根据权利要求1所述的视频检索方法，其特征在于，所述步骤6a中分析待查人形图片步骤包括：

i）图像的底层特征提取；

ii）中级视觉特征提取；

iii）高级视觉特征提取。

4.根据权利要求1所述的视频检索方法，其特征在于，所述步骤7a中对比查找过程包括：

i）图像底层特征对比、权衡、筛选；

ii）中级视觉特征对比、权衡、筛选；

iii）高级视觉特征对比、权衡、筛选，从目标的类型和行为上考虑是否和带搜索目标具有相似性；

通过以上对图像进行不同尺度不同维度不同认知层面的多方位多视角的观察和判断，得出相似度值，输出检索结果。