CN102207966A - 基于对象标签的视频内容快速检索方法 - Google Patents

Abstract

本发明提供基于对象标签的视频内容快速检索方法，其包括：提取视频中每一帧图像内运动对象的颜色特征、轮廓特征、场景特征、文字特征，并进行分析；采用上述特征提取方法处理多个已知类别的图片，使用这些图片的轮廓特征和场景特征训练轮廓分类器和场景分类器；使用上述特征提取、分析方法和分类器对待检索的视频进行处理，生成视频中每一帧图像内的对象的类型标签，用于构建对象标签数据库；用户提交查询请求后，检索响应服务器在对象标签数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅。本发明进行检索时只需搜索对象标签数据库，检索速度与传统的文本检索相似；本发明实现了视频内容的细粒度检索，比传统方法更加精准。

Description

基于对象标签的视频内容快速检索方法

技术领域

本发明涉及计算机图像处理技术、视频信息处理技术，具体包括视频、颜色、几何比例、字幕、对象类型和场景的特征提取、分析、识别和数据建模技术。

背景技术

摄像机、视频监控机等视频数据采集终端设备已经广泛应用于国防工程、城市安防、公众安全、交通管理、家居生活等多个领域。据不完全统计，国内一般现代化城市使用的监控摄像头、摄像机数量数以万计，并每年以成倍的数量增长和更新换代。与如此庞大数量视频设备对应的是海量的视频数据，诸如军事管理区域的监视录像、小区治安监控视频、公安侦查的采集视频、公共场所的监控视频以及一般民用的摄像视频。视频数据采集的目的是为了记录监控场景的信息方便以后查找有用的信息。目前对视频内容数据的查找绝大多数仍是人工操作。人工查阅不熟悉的视频所耗费的时间与视频长度呈线性关系。理想状态下，一个人在一个片长1 小时的视频中查找目标时，其最长处理时间就是1小时，平均处理时间为0.5 小时。即人工检索视频内容的时间是与视频片长成正比。由此可见，海量的视频数据与有限的人力形成了巨大矛盾。无论是国防、工业还是民用领域都对视频内容检索引擎有着非常强烈的需求。

目前，国内外都推出了许多标名“视频检索引擎”的技术，如Google、百度、网易有道、搜狗、爱问等视频检索。然而这类技术只能以视频名称、介绍、字幕等文本信息作为检索内容，并无法实现视频内容的快速检索。

视频内容快速检索产品是国内外视频技术产品研究领域的关注焦点，如IBM 公司的QBIC 系统、美国哥伦比亚大学的VisualSEEK 系统等。由于许多检索方法在处理视频内容时需要大量的处理时间，远远超出了实际应用可以接受的水平。时间上的瓶颈使得视频内容快速检索研究进展非常缓慢。因此，关于视频内容快速检索的技术产品凤毛麟角，可以直接应用于生产生活的产品更是稀少。

当前视频内容检索技术多数是基于经典图像处理和模式识别技术而实现的，大致分为以下几类。

有技术从视频中提取出包括镜头、场景、镜头关键帧、场景关键帧、关键帧图像信息和人脸信息等，所提取的这些信息以图片形式为载体。视频内容的检索相当于视频帧的检索，本质上是图片的检索。在视频帧较少时，该技术方法可以有较好的效果。一般视频的帧数较多，特别是监控视频的数据都是以TB计，按照每秒10-20帧的频率，视频帧数将是海量级别。与文本和数值检索相比，图像检索需要较长时间，因此，在视频帧数较多时，基于视频帧处理技术的视频搜索将遭遇严重的时间瓶颈。

也有方法将视频内容分解为字幕、语音、图像、元数据（关于视频的基本文字信息）并存储到多媒体数据库，再根据用户搜索条件进行检索，最后返回排序后的结果。这类技术检索的对象属于视频的粗粒度内容，很难满足许多细粒度视频内容检索需求，如检索具有某种衣着颜色特征的嫌疑人、某种车型的肇事车辆等。同时，该视频检索方法也会遭遇上述时间瓶颈问题。

近年来，针对视频细粒度对象的特征分析与提取的技术和理论已经有很广泛的研究，也有相当的客观成果。

发明内容

针对现有技术在检索时间和检索颗粒度方面的不足，本发明提出一种基于对象标签的视频内容快速检索方法，它能够对视频内容进行细粒度地分析。本方法首先提取监控视频画面中运动对象的颜色、轮廓、所在场景和视频的文字特征，然后使用HSV模型分析运动对象的颜色，得到运动对象的颜色类型标签，使用OCR对文字特征进行识别，得到字幕文字，此外，根据贝叶斯算法或神经网络算法，使用轮廓特征训练轮廓类型分类器，使用场景特征训练场景分类器，并将训练得到的这些分类器保存到文件或数据库，它们用于对用户上传视频的每一帧图像内的运动对象的轮廓和图像的场景进行分类，得到运动对象的轮廓类型标签和图像的场景类型标签，通过组合上述的颜色类型标签、轮廓类型标签、背景类型标签和字幕文字得到对象的综合类型标签。这些类型标签与对应视频的帧编号将被存入检索响应服务器中的数据库，用户可以按文字信息、图片信息或视频片段信息进行检索，检索响应服务器搜索与用户查询相关的视频，最终生成有序的查询结果供用户浏览和查阅，本发明检索的准确率达到100%，而且检索速度与现有的文本检索速度相近。

本发明提出了一种基于对象标签的视频内容快速检索方法，包括以下几个步骤：

（1）视频特征信息提取与分析：对于用户上传的每个视频，提取该视频中每一帧图像内运动对象的颜色特征、轮廓特征；提取该视频中每一帧图像的场景特征、文字特征；使用HSV模型分析运动对象的颜色，使用背景建模分析轮廓特征、场景特征，使用小波变换分析文字特征；使用OCR对文字特征进行识别；同时将上述特征存入文件或数据库；

（2）类型学习与训练：选取多个已知类别的图片作为训练数据，采用步骤(1)提取上述图片中的特征信息，然后根据贝叶斯算法或神经网络算法，使用轮廓特征训练轮廓分类器，使用场景特征训练场景分类器，并将训练得到的这些分类器保存到文件或数据库；所述已知类别的图片包括：用于训练轮廓分类器的行人、自行车、小汽车和大巴的图片；用于训练场景分类器的公路和沙滩的图片；

（3）构建检索响应服务器：采用步骤（1）处理用户上传的多个视频，得到视频中每一帧图像内运动对象的颜色特征、轮廓特征、图像的场景特征和文字特征，根据步骤（1）使用HSV模型分析运动对象的颜色和使用OCR对文字特征进行识别，得到运动对象的颜色类型标签和视频的字幕文字，然后根据步骤（2）得到的分类器对步骤（1）提取的轮廓特征、场景特征进行分类，得到视频内运动对象的轮廓类型标签和视频的背景类型标签；通过组合颜色类型标签、轮廓类型标签、背景类型标签和字幕文字得到对象的综合类型标签；然后将运动对象的颜色特征、颜色类型标签和运动对象所在视频的帧编号存储到数据库；将运动对象的轮廓特征、轮廓类型标签和运动对象所在视频的帧编号存储到数据库；将场景特征、背景类型标签和场景所在视频的帧编号存储到数据库；将文字特征、字幕文字和字幕所在视频的帧编号存储到数据库；

（4）视频内容检索：用户通过前台查询接口提交查询请求，该查询请求被转发给步骤（3）构建的检索响应服务器，检索响应服务器在本地数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅；所述查询请求内容包括颜色类型、对象类型、字幕和场景类型；颜色类型包括红色、橙色、黄色、黄绿色、绿色、青绿色、青色、青蓝色、蓝色、紫蓝色、紫色、品红色、黑色、灰色和白色；对象类型包括行人、小汽车、大巴和自行车；场景类型包括公路和沙滩；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

上述的基于对象标签的视频内容检索方法，步骤（1）中，视频特征信息提取与分析包括步骤：视频信息初始化；提取颜色特征、提取轮廓特征、提取场景特征、提取文字特征；使用HSV模型分析运动对象的颜色，使用OCR对文字特征进行识别。

上述的基于对象标签的视频内容检索方法，步骤（1）中，视频信息初始化包括视频上传、视频基本信息输入、背景与前景分离、前景运动对象跟踪、存储运动对象信息。视频上传步骤是依据网络文件传输协议从本地磁盘、网络客户端和外接磁盘获取视频流；视频基本信息输入步骤让用户提供上传视频的相关信息，包括视频标题、关键字、拍摄时间和视频描述信息；获取视频流后，背景与前景分离步骤通过高斯背景建模分离每帧视频的前景图像和背景图像，然后使用前景图像所在的帧编号和团块编号标识前景运动对象，使用背景图像所在视频的帧编号标识背景图像；前景运动对象跟踪步骤记录运动对象所在视频帧的位置信息以及运动对象的几何信息；存储运动对象信息步骤将运动对象的团块编号、坐标、轨迹、出现区域和几何比例信息存入数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，提取该视频内运动对象的颜色特征包括：团块截图提取、团块截图存储；团块截图提取步骤根据团块标识与帧编号，从原视频中提取团块所在帧的图像与该团块的截图；团块截图存储步骤将团块编号、视频的帧编号、团块截图对应地存入文件或数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，提取该视频内运动对象的轮廓特征包括：轮廓提取、轮廓二值图导出、几何信息提取，轮廓与几何数据存储；轮廓提取步骤根据运动对象所在视频的帧编号获取帧截图，提取帧截图中所有团块的轮廓向量;轮廓二值图导出步骤用背景建模方法得到团块对应的二值图；几何信息提取步骤根据上述轮廓向量、轮廓二值图和团块坐标信息计算轮廓的长宽比和弧度；轮廓与几何数据存储步骤将提取的轮廓向量、轮廓二值图、轮廓的长宽比和弧度对应存入数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，提取视频的场景特征包括：背景提取、背景特征存储；背景提取步骤用背景建模与直方图的方法提取出视频所有背景图像的特征信息；背景特征存储步骤将上述提取的背景特征信息存入文件或数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，提取该视频的文字特征包括：文字区域定位、文字区域截取、文字区域图像存储；文字区域定位步骤使用Canny算子对视频每一帧的文字区域进行定位，并根据小波分析的数值特征判断视频中是否有重复文字的帧；文字区域截取步骤根据上述定位的文字区域，截取该文字区域对应的图像；文字区域图像存储步骤按视频名称和文字区域图像所在的帧编号的命名形式、并以jpg格式将上述截取的文字区域图像存入文件或数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，使用HSV模型分析运动对象的颜色包括：团块像素点的HSV值统计、团块主色种类计算、主色序列存储、记录团块颜色类型标签；团块像素点的HSV值统计步骤根据提取该视频内运动对象颜色特征步骤得到的团块截图，统计该团块截图中所有像素点的HSV值；团块主色种类计算步骤根据HSV值的统计结果确定该团块的主色总数和颜色类型；主色序列存储和记录团块颜色类型标签步骤将团块标识和团块在15种主色上的累计值对应地存入数据库。

上述的基于对象标签的视频内容检索方法，步骤（1）中，使用OCR对文字特征进行识别步骤使用现有的OCR工具识别视频帧的文字描述；根据步骤（1）所述提取该视频的文字特征步骤，获取视频内的文字区域图像的文字特征，采用OCR工具对上述文字特征进行识别，得到视频字幕文字，然后将该字幕文字、文字特征和字幕所在视频的帧编号存入文件或数据库；

上述的基于对象标签的视频内容检索方法，步骤（2）中，类型学习与训练包括图片训练样本选择、训练参数设置、类型训练、分类器存储。

所述的图片训练样本选择步骤具体是：根据所需训练的分类器从本地磁盘选择相应的图片样本进行训练，选择包含行人、自行车、小汽车和大巴的图片，用于训练轮廓分类器的；选择包含公路和沙滩的图片，用于训练场景分类器；

所述的训练参数设置步骤具体是：用户设置训练的时间限制和图片训练样本的类型标签；

所述的类型训练步骤具体是：提取上述选择的图片样本中对象的轮廓特征或图片的场景特征，根据贝叶斯算法或神经网络算法，使用轮廓特征训练轮廓分类器，使用场景特征训练场景分类器；

所述的分类器存储步骤具体是：将类型训练步骤得到的轮廓分类器和场景分类器保存到XML文件或数据库，这些分类器用于对用户上传视频的每一帧图像内的运动对象的轮廓和图像的场景进行分类，得到运动对象的轮廓类型标签和图像的场景类型标签。

上述的基于对象标签的视频内容检索方法，步骤（3）中，构建检索响应服务器包括视频获取、视频特征数据获取、生成类型标签、生成综合类型标签、类型标签存储；视频获取步骤是根据步骤（1）所述的视频上传步骤从本地磁盘、网络客户端或外接磁盘获取多个视频；视频特征数据获取步骤是根据步骤(1)所述的视频特征信息提取方法，获取视频中运动对象的颜色特征、轮廓特征、视频的场景特征和文字特征；生成类型标签步骤是根据步骤（1）所述的使用HSV模型分析运动对象的颜色步骤识别运动对象的颜色，得到运动对象的颜色类型标签，根据步骤（1）所述的使用OCR对文字特征进行识别步骤识别视频中的字幕文字，根据步骤（2）训练得到的分类器，对视频中运动对象的轮廓特征和视频的场景特征进行分类，得到轮廓类型标签和场景类型标签；生成综合类型标签步骤通过组合对象颜色类型标签、轮廓类型标签、视频字幕文字和背景类型标签候选序列，得到一个综合类型标签候选序列；类型标签存储步骤分别将对象轮廓类型标签、对象轮廓特征和对象所在视频的帧编号一起存入数据库，将视频的背景类型标签、场景特征和场景所在视频的帧编号一起存入数据库，将视频的文字特征、字幕文字和字幕所在视频的帧编号一起存入文件或数据库。

上述的基于对象标签的视频内容检索方法，步骤（4）中，视频内容检索步骤具体是：用户通过前台查询接口提交的查询请求，该查询请求被转发给步骤（3）构建的检索响应服务器，检索响应服务器在本地数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

本发明提出了一种基于对象标签的视频内容快速检索方法。与已有的技术不同，特征信息提取与分析是针对视频中细粒度的信息，包括运动对象颜色、轮廓、轨迹、几何比例、所在场景、文字字幕等特征信息。

类型学习与训练支持用户自定义对象轮廓类型和场景类型，通过选择不同的分类算法，使用图片训练样本训练相应的分类器。用户可以上传新的图片训练样本进行训练，生成新的分类器；用户也可以从本地磁盘选择已有的图片训练样本，强化现有的分类器。

检索响应服务器用于响应用户提交的查询请求，生成有序的结果供用户浏览和查阅。

视频内容检索支持用户按文字信息、图片信息或视频片段信息进行检索。检索响应服务器将快速地返回查询结果，检索速度不受视频大小、帧数和分辨率等指标影响。

与现有技术相比，本发明还改进了运动对象颜色识别的方法，首先用直方图统计运动对象的颜色，然后再从直方图中读取每种颜色的HSV值，最后使用本发明所提到的算法，将HSV值转化为相应的颜色类型，颜色类型包括15种，具体是：红色、橙色、黄色、黄绿色、绿色、青绿色、青色、青蓝色、蓝色、紫蓝色、紫色、品红色、黑色、灰色和白色。本发明的应用领域极广，可以用于检索交通监控视频中的肇事车辆，可以检索监控视频中的嫌疑犯，比如根据证人描述的嫌疑犯的衣服颜色，嫌疑犯在视频中出现的区域进行检索。本发明将极大地方便了公安机关在监控视频中查找违规车辆，寻找犯罪嫌疑人。总的来说，本发明的优点有：第一、存储数据量小，对于视频中的每个运动对象，只保存一条信息，记录该对象的颜色类型、轮廓类型、团块编号、所在视频的帧编号等信息；第二、检索速度快，对于待处理的多个视频，采用本发明所述方法进行处理，得到视频中对象的类型标签，进行检索时只需要在对象标签数据库中搜索，不需要再进行费时的视频处理。

附图说明

图1为基于对象标签的视频内容快速检索方法的流程图；

图2为颜色特征提取与分析的流程图；

图3为轮廓与几何特征提取的流程图；

图4为场景特征提取的流程图；

图5为文字特征提取的流程图；

图6为类型标签生成的流程图。

具体实施方式

以下结合附图对本发明的实施作进一步说明，但本发明的实施和保护范围不限于此。

基于对象标签的视频内容快速检索方法包括视频特征信息提取与分析、类型学习与训练、构建检索响应服务器、视频内容检索四个部分。图1为基于对象标签的视频内容快速检索方法的流程图，具体流程如下：

（1）用户选择已知类别的图片，进行图片上传；所述已知类别的图片包括：用于训练轮廓分类器的行人、自行车、小汽车和大巴的图片；用于训练场景分类器的公路和沙滩的图片；

（2）对于用户上传的每个图片，使用背景建模进行特征信息提取和分析，提取该图片中运动对象轮廓特征，提取该图片中的场景特征；

（3）使用向量表示运动对象的轮廓特征和场景特征，从而生成这些特征对应的特征向量；

（4）根据贝叶斯算法或神经网络算法，使用上述特征向量训练分类器，包括轮廓类型分类器和场景类型分类器；

（5）训练得到的分类器保存为分类规则文件，所产生的分类规则文件包括轮廓分类规则文件和场景分类规则文件，同时将这些分类规则保存到数据库中，用于对用户上传视频的每一帧图像内的运动对象的轮廓和图像的场景进行分类，得到运动对象的轮廓类型标签和图像的场景类型标签；

（6）用户选择待处理的未知类别视频，进行视频特征信息提取和分析，提取该视频中每一帧图像内运动对象的颜色特征、轮廓特征，提取该视频中每一帧图像的场景特征、文字特征；使用HSV模型分析运动对象的颜色，得到运动对象的颜色类型标签；使用OCR对文字特征进行识别，得到字幕文字；然后将运动对象的颜色特征、颜色类型标签和运动对象所在视频的帧编号存储到数据库；将文字特征、字幕文字和字幕所在视频的帧编号存储到数据库；

（7）将步骤（6）得到的轮廓特征、场景特征转换成相应的特征向量；

（8）根据步骤（5）生成的分类规则，对步骤（7）得到的特征向量进行分类，得到相应的轮廓类型标签和背景类型标签，然后将运动对象的轮廓特征、轮廓类型标签和运动对象所在视频的帧编号存储到数据库；将场景特征、背景类型标签和场景所在视频的帧编号存储到数据库；

（9）将步骤（6）和步骤（8）得到的颜色类型标签、字幕文字、轮廓类型标签、背景类型标签进行组合，生成对象的综合类型标签，然后将对象的标识、对象的综合类型标签和对象所在视频的帧编号存储到数据库；

（10）用户通过前台查询接口提交查询请求，该查询请求被转发给步骤（3）构建的检索响应服务器，检索响应服务器在本地数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅；所述查询请求内容包括颜色类型、对象类型、字幕和场景类型；颜色类型包括红色、橙色、黄色、黄绿色、绿色、青绿色、青色、青蓝色、蓝色、紫蓝色、紫色、品红色、黑色、灰色和白色；对象类型包括行人、小汽车、大巴和自行车；场景类型包括公路和沙滩；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

下面将对基于对象标签的视频内容快速检索方法进行详细介绍：

1、 视频特征信息提取与分析，包括视频信息初始化；颜色特征提取、轮廓特征提取、场景特征提取、文字特征提取；使用HSV模型分析运动对象的颜色，使用OCR对文字特征进行识别。

视频信息初始化是视频特征信息提取与分析的基础，主要是对用户上传的视频进行运动物体检测，它是指检测视频序列中是否存在相对于背景图像运动的物体。本发明采用N帧相减法以及背景建模方法处理视频，从而得出背景和运动对象的团块序列。N帧相减的基本原理是帧间差分技术，即对两幅图像相同位置的像素灰度或者颜色值进行差分计算，作为帧间距离。本发明采用高斯背景模型进行背景建模，将差分所得的不动点作为背景图像，分离出运动对象的前景图像。前景和背景分离之后，提取前景运动对象的颜色特征、轮廓特征和背景图像的场景特征、文字特征，然后使用HSV模型分析运动对象的颜色，使用OCR对文字特征进行识别，这些特征信息将存入文件或数据库。

图2为颜色特征的提取与分析的流程图,具体流程如下：

（1）用户选择需要处理的视频，进行视频上传；

（2）对用户上传的视频进行初始化，包括背景与前景分离、前景运动对象跟踪、存储运动对象信息；

（3）根据运动对象的团块标识和所在视频的帧编号，从该视频中提取团块所在帧的截图以及该团块的截图；

（4）对团块截图中所有像素点的HSV值进行统计；

（5）根据HSV值的大小确定该团块的主色总数和颜色类型；

（6）使用序列存储该团块在15主色上的累计值，并将该团块的颜色类型标签和团块标识一起存入数据库。

下面将颜色特征信息提取的过程进行详细说明。

本方法采用基于HSV(色相、饱和度、亮度)颜色模型的颜色判断方法，将视频中每一帧图像的待检测区域所有像素点的RGB值转化为HSV值，利用HSV值对颜色进行识别。具体步骤如下：

第一步，RGB颜色空间转换成HSV颜色空间。视频中每一帧图像的待检测区域使用的是RGB（红色、绿色、蓝色）颜色空间，而本发明需要在HSV(色相、饱和度、亮度)颜色空间下进行颜色识别，因此需要将RGB颜色空间转换成HSV颜色空间。

第二步，在HSV颜色空间中，限定H、S、V三个分量的取值范围，都是从0到360。

第三步，新建三个空图，分别把H子图、S子图、V子图存入其中。

第四步，建立两个二维直方图，第一个直方图按照每个V下对应的多个S值划分，第二个直方图按照每个H对应的多个S值划分，划分的依据是十二色相环，分别为红、橙、黄、黄绿、绿、青绿、青、青蓝、蓝、紫蓝、紫、品红。

第五步，判断颜色。第一个直方图判断对象的颜色中是否存在黑色、灰色和白色。如果V值接近255，则判断其为白色；如果V值接近0，则判断其为黑色；如果V既不接近255也不接近0，且S接近0，则判断其为灰色。第二个直方图判断对象的颜色是否包含十二色相环中的颜色。将H子图划分为360份，当H值属于某个值时，根据十二色相环判断其颜色类别。

图3为轮廓与几何特征提取的流程图，具体流程如下：

（1）用户选择需要处理的视频，进行视频上传；

（2）对用户上传的视频进行初始化，包括背景与前景分离、前景运动对象跟踪、存储运动对象信息；

（3）根据运动对象的团块标识和所在视频的帧编号，从该视频帧的图像中提取该团块的轮廓向量；

（4）使用高斯背景建模获取该团块对应的二值图；

（5）根据该团块的轮廓向量、轮廓二值图和团块坐标信息计算轮廓的长宽比、弧度，作为团块的几何信息；

（6）将该团块的轮廓向量、轮廓二值图、轮廓的长宽比和弧度存入数据库。

轮廓特征提取的关键在于轮廓对应，根据轮廓区域的二值图匹配轮廓所在视频帧的轮廓原图。本发明所采用的轮廓对应的方法：运动对象的中心随着对象的运动而变化，而对象的中心落在对象所在区域内。在视频信息初始化阶段，本发明使用背景建模对运动物体进行检测，并记录了运动对象的坐标信息。根据该坐标信息，将该轮廓中心点坐标与该轮廓所在帧的所有轮廓图像的外接矩形区域进行比较，如果该对象中心点坐标落在矩形的内部，则该外接矩形内的轮廓就是该运动对象轮廓。

实现轮廓对应之后，提取轮廓原图、轮廓二值图的特征信息，用于训练轮廓分类器，该分类器用于识别未知团块的轮廓类型。本发明实现了四种类型轮廓识别，包括大巴、小汽车、自行车、行人。分类规则文件以XML文件格式保存。未知团块的轮廓类型识别方法：将团块的轮廓特征向量逐一地与上述四种类型轮廓的特征向量进行匹配，匹配值最大的类型即为该团块的轮廓类型。

图4为场景特征提取的流程图，具体流程如下：

（1）用户选择需要处理的视频，进行视频上传；

（2）使用背景建模与直方图的方法提取该视频的背景图像以及背景特征；

（3）将提取背景特征存入文件或数据库。

图5为文字特征提取与分析的流程图，具体流程如下：

（1）用户选择需要处理的视频，进行视频上传；

（2）使用Canny算子对视频每一帧的文字区域进行定位，并根据小波分析的数值特征判断是否存在文字重复的帧；

（3）截取上述定位得到的文字区域对应的图像；

（4）按视频名称和视频的帧编号的命名形式、jpg格式将截取的文字区域图像存入文件或数据库；

（5）采用OCR识别该文字区域图像内的字幕文字，并存入文件或数据库。

下面将对文字特征提取的过程进行详细说明。

本方法所述的文字特征提取是指从视频中提取每一帧图像的字幕信息，然后将字幕特征作为该视频帧的特征数据存入数据库，为基于文本的视频帧检索提供信息。

本发明实现黑色背景下字幕提取，首先，使用视频的前100帧图像进行训练，确定黑色背景的像素值范围，然后截取每帧图像中位于该范围内的区域作为字幕区域。计算每帧图像的字幕区域灰度均值和灰度方差，如果连续两帧的灰度均值和灰度方差都相近，则表示这两帧图像包含相同的字幕。通过上述方法，可以去除重复字幕的帧而只保留包含该字幕的一帧图像。主要的算法步骤如下所述：

（a）获取字幕所在区域：对于当前帧，进行灰度化，采用Canny算子提取边缘得到边缘图像，将前80帧图像的边缘进行或运算，然后从该结果中寻找轮廓，（其中轮廓外接矩形面积小于图片1/4的舍去）这样就得到了字幕所在的区域。

（b）截取（a）得到的字幕区域，计算该区域的灰度均值和灰度方差并保存下来，对于连续两帧图像的字幕区域，计算两者均值和方差的差值之和，如果超过给定阈值，则认为是不同的字幕，就将其保存下来，否则不保存。对于视频的第一帧图像，不管是否有字幕均进行保存。

2、类型学习与训练，包括训练轮廓类型分类器和场景类型分类器。训练得到的分类器保存到文件或数据库。

训练轮廓类型分类器和场景类型分类器所使用的训练样本是同类物体的多张图片，包括彩色图和二值图。提取图片训练样本中对象的轮廓特征或图片的背景特征，根据贝叶斯网络，使用上述特征训练轮廓分类器或场景分类器，这些分类器用于识别待处理视频中每一帧图像内的轮廓和场景，得到轮廓类型标签和背景类型标签。

3、构建检索响应服务器，关键在于生成视频中的颜色类型标签、轮廓类型标签、字幕文字、背景类型标签和综合类型标签，构建对象标签数据库，使得基于标签的视频内容检索成为可能。下面将对类型标签生成的过程进行详细描述。

图6为类型标签生成的流程图，具体流程如下：

（1）用户选择需要处理的视频，进行视频上传；

（2）对用户上传的视频进行初始化，包括背景与前景分离、前景运动对象跟踪、存储运动对象信息；

（3）提取该视频中每一帧图像内运动对象的颜色特征和轮廓特征；提取该视频中每一帧图像的场景特征和文字特征；

（4）使用HSV模型分析运动对象的颜色类型标签，使用OCR对文字特征进行识别，根据类型学习与训练得到的轮廓分类器和场景分类器，对视频中的轮廓特征和场景特征进行分类，得到轮廓类型标签和背景类型标签；

（5）将同一个对象包含的多个类型标签组合，生成对象的综合类型标签。

4、视频内容检索，将用户提交的查询请求转发给检索响应服务器， 检索响应服务器搜索对象标签数据库，并将与查询请求相关度高的视频以有序的形式返回给用户，供用户浏览和查阅；所述查询请求内容包括颜色类型、对象类型、字幕和场景类型；颜色类型包括红色、橙色、黄色、黄绿色、绿色、青绿色、青色、青蓝色、蓝色、紫蓝色、紫色、品红色、黑色、灰色和白色；对象类型包括行人、小汽车、大巴和自行车；场景类型包括公路和沙滩；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

Claims (8)

1.基于对象标签的视频内容快速检索方法，其特征在于，包括如下步骤：

（1）视频特征信息提取与分析：对于用户上传的每个视频，提取该视频中每一帧图像内运动对象的颜色特征、轮廓特征；提取该视频中每一帧图像的场景特征、文字特征；使用HSV模型分析运动对象的颜色，使用背景建模分析轮廓特征、场景特征，使用小波变换分析文字特征；使用OCR对文字特征进行识别；同时将上述特征存入文件或数据库；

（2）类型学习与训练：选取多个已知类别的图片作为训练数据，采用步骤(1)提取上述图片中的特征信息，然后根据贝叶斯算法或神经网络算法，使用轮廓特征训练轮廓分类器，使用场景特征训练场景分类器，并将训练得到的这些分类器保存到文件或数据库；所述已知类别的图片包括：用于训练轮廓分类器的行人、自行车、小汽车和大巴的图片；用于训练场景分类器的公路和沙滩的图片；

（3）构建检索响应服务器：采用步骤（1）处理用户上传的多个视频，得到视频中每一帧图像内运动对象的颜色特征、轮廓特征、图像的场景特征和文字特征，根据步骤（1）使用HSV模型分析运动对象的颜色和使用OCR对文字特征进行识别，得到运动对象的颜色类型标签和视频图像的字幕文字，然后根据步骤（2）得到的分类器对步骤（1）提取的轮廓特征、场景特征进行分类，得到视频内运动对象的轮廓类型标签和视频的背景类型标签；通过组合颜色类型标签、轮廓类型标签、背景类型标签和字幕文字得到对象的综合类型标签；然后将运动对象的颜色特征、颜色类型标签和运动对象所在视频的帧编号存储到数据库；将运动对象的轮廓特征、轮廓类型标签和运动对象所在视频的帧编号存储到数据库；将场景特征、背景类型标签和场景所在视频的帧编号存储到数据库；将文字特征、字幕文字和字幕所在视频的帧编号存储到数据库；

（4）视频内容检索：用户通过前台查询接口提交查询请求，该查询请求被转发给步骤（3）构建的检索响应服务器，检索响应服务器在本地数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅；所述查询请求内容包括颜色类型、对象类型、字幕和场景类型；颜色类型包括红色、橙色、黄色、黄绿色、绿色、青绿色、青色、青蓝色、蓝色、紫蓝色、紫色、品红色、黑色、灰色和白色；对象类型包括行人、小汽车、大巴和自行车；场景类型包括公路和沙滩；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

2.如权利要求1所述的基于对象标签的视频内容快速检索方法，其特征在于步骤（1）中所述的视频特征信息提取与分析包括步骤：视频信息初始化；提取颜色特征、提取轮廓特征、提取场景特征、提取文字特征；使用HSV模型分析运动对象的颜色，使用OCR对文字特征进行识别。

3.如权利要求2所述的基于对象标签的视频内容快速检索方法，其特征在于所述的视频信息初始化包括如下步骤：

视频上传步骤，依据网络文件传输协议从本地磁盘、网络客户端和外接磁盘获取视频流；视频基本信息输入步骤，让用户提供上传视频的相关信息，包括视频标题、关键字、拍摄时间和视频描述信息；背景与前景分离步骤，通过高斯背景建模分离视频中每一帧图像的前景图像和背景图像，然后使用前景图像所在的帧编号和团块编号标识前景运动对象，使用背景图像所在视频的帧编号标识背景图像；前景运动对象跟踪步骤，记录运动对象所在视频帧的位置信息以及运动对象的几何信息；存储运动对象信息步骤，将运动对象的团块编号、坐标、轨迹、出现区域和几何比例信息存入数据库。

4.如权利要求2所述的基于对象标签的视频内容快速检索方法，其特征在于步骤（1）中所述提取该视频内运动对象的颜色特征包括：团块截图提取和团块截图存储；步骤（1）所述提取该视频内运动对象的轮廓特征包括：轮廓提取、轮廓二值图导出、几何信息提取和轮廓与几何数据存储；步骤（1）所述提取该视频的场景特征包括背景提取和背景特征存储；步骤（1）所述提取该视频的文字特征包括：文字区域定位、文字区域截取和文字区域图像存储；步骤（1）所述使用HSV模型分析运动对象的颜色包括：团块像素点的HSV值统计；团块主色种类计算、主色序列存储、记录团块颜色类型标签；步骤（1）所述的使用OCR对文字特征进行识别借助现有的OCR工具识别视频帧的字幕文字，并将该字幕文字、文字特征和字幕所在视频的帧编号存入文件或数据库；

所述提取该视频内运动对象的颜色特征具体是：团块截图提取步骤根据团块标识与帧编号，从原视频中提取团块所在帧的图像与该团块的截图；团块截图存储步骤将团块编号、视频的帧编号、团块截图对应地存入文件或数据库；

所述提取该视频内运动对象的轮廓特征具体是：轮廓提取步骤根据运动对象所在视频的帧编号获取帧截图，提取帧截图中所有团块的轮廓向量;轮廓二值图导出步骤用背景建模方法得到团块对应的二值图；几何信息提取步骤根据上述轮廓向量、轮廓二值图和团块坐标信息计算轮廓的长宽比和弧度；轮廓与几何数据存储步骤将提取的轮廓向量、轮廓二值图、轮廓的长宽比和弧度对应存入数据库；

所述提取该视频的场景特征具体是：背景提取步骤用背景建模与直方图的方法提取出视频所有背景图像的特征信息；背景特征存储步骤将上述提取的背景特征信息存入文件或数据库；

所述提取该视频的文字特征具体是：文字区域定位步骤使用Canny算子对视频每一帧的文字区域进行定位，并根据小波分析的数值特征判断视频中是否有重复文字的帧；文字区域截取步骤根据上述定位的文字区域，截取该文字区域对应的图像；文字区域图像存储步骤按视频名称和文字区域图像所在的帧编号的命名形式、并以jpg格式将上述截取的文字区域图像存入文件或数据库；

所述使用HSV模型分析运动对象的颜色具体是：团块像素点的HSV值统计步骤根据提取该视频内运动对象颜色特征步骤得到的团块截图，统计该团块截图中所有像素点的HSV值；团块主色种类计算步骤根据HSV值的统计结果确定该团块的主色总数和颜色类型；主色序列存储和记录团块颜色类型标签步骤将团块标识和团块在15种主色上的累计值对应地存入数据库；

所述使用OCR对文字特征进行识别具体是：根据步骤（1）所述提取该视频的文字特征步骤，获取视频内的文字区域图像的文字特征，采用OCR工具对上述文字特征进行识别，得到视频字幕文字，然后将该字幕文字、文字特征和字幕所在视频的帧编号存入文件或数据库。

5.如权利要求1所述的基于对象标签的视频内容快速检索方法，其特征在于步骤（2）所述类型学习与训练步骤包括：图片训练样本选择;训练参数设置;类型训练;分类器存储；

所述的图片训练样本选择步骤具体是：根据所需训练的分类器从本地磁盘选择相应的图片样本进行训练，选择包含行人、自行车、小汽车和大巴的图片，用于训练轮廓分类器的；选择包含公路和沙滩的图片，用于训练场景分类器； 

所述的训练参数设置步骤具体是：用户设置训练的时间限制和图片训练样本的类型标签；

所述的类型训练步骤具体是：提取上述选择的图片样本中对象的轮廓特征或图片的场景特征，根据贝叶斯算法或神经网络算法，使用轮廓特征训练轮廓分类器，使用场景特征训练场景分类器；

所述的分类器存储步骤具体是：将类型训练步骤得到的轮廓分类器和场景分类器保存到XML文件或数据库，这些分类器用于对用户上传视频的每一帧图像内的运动对象的轮廓和图像的场景进行分类，得到运动对象的轮廓类型标签和图像的场景类型标签。

6.如权利要求1所述的基于对象标签的视频内容快速检索方法，其特征在于步骤（3）所述的构建检索响应服务器包括：视频获取、视频特征数据获取、生成类型标签、生成综合类型标签和类型标签存储。

7.如权利要求6所述的基于对象标签的视频内容快速检索方法，其特征在于所述的构建检索响应服务器步骤具体是：根据步骤（1）所述的视频上传步骤从本地磁盘、网络客户端或外接磁盘获取多个视频；根据步骤(1)所述的视频特征信息提取方法，获取视频中运动对象的颜色特征、轮廓特征、视频的场景特征和文字特征；根据步骤（1）所述的使用HSV模型分析运动对象的颜色步骤识别运动对象的颜色，得到运动对象的颜色类型标签，根据步骤（1）所述的使用OCR对文字特征进行识别步骤识别视频中的字幕文字，根据步骤（2）训练得到的分类器，对视频中运动对象的轮廓特征和视频的场景特征进行分类，得到轮廓类型标签和场景类型标签；通过组合对象颜色类型标签、轮廓类型标签、视频字幕文字和背景类型标签候选序列，得到一个综合类型标签候选序列；分别将对象轮廓类型标签、对象轮廓特征和对象所在视频的帧编号一起存入数据库，将视频的背景类型标签、场景特征和场景所在视频的帧编号一起存入数据库，将视频的文字特征、字幕文字和字幕所在视频的帧编号一起存入文件或数据库。

8.如权利要求1所述的基于对象标签的视频内容快速检索方法，其特征在于步骤（4）所述的视频内容检索步骤具体是：用户通过前台查询接口提交的查询请求，该查询请求被转发给步骤（3）构建的检索响应服务器，检索响应服务器在本地数据库搜索与查询请求相关的视频，生成有序的结果供用户浏览和查阅；所述与查询请求相关的视频满足的条件是：视频中至少有一帧图像包含用户所要查找的颜色类型、对象类型、字幕文字或场景类型。

Images