CN104217000A - 基于内容的视频检索系统 - Google Patents

Abstract

一种基于内容的视频检索系统，属于计算机互联网技术领域。本发明针对国外视频检索技术进行了深入的研究和改进，提供了一种检索质量与效率更高的基于内容的视频检索系统，所述视频检索系统包括采集、发布、检索三个子系统。本系统通过结合MPEG-4和MPEG-7标准来同时从内容和语言上描述一个视频流，实现针对视频流的快速检索。一方面帮助用户有效的在浩瀚的互联网中检索和浏览互联网视频片段，另一方面，对于视频内容的发布商以及监管者而言，能够起到有效的监管视频作用，并且控制视频内容不被非法复制与传播。

Description

基于内容的视频检索系统

技术领域

本发明属于计算机互联网技术领域，涉及一种视频检索系统。

背景技术

随着计算机技术和网络技术的发展，信息高速公路的建设，以及多媒体的推广应用，各种视频资料源源不断的产生，随之建立起了越来越多的视频数据库，出现了数字图书馆、数字电视、视频点播、远程教育等许多新的服务形式和信息交流手段。视频检索技术作为人们获取视频信息的重要手段越来越受到重视，大大促进了视频搜索行业的发展，国内的视频搜索市场起步相对较晚，视频搜索引擎支撑技术主要来源于国外视频检索技术。

随着网络流媒体技术以及社会化网络的发展，网络带宽不断的提高，越来越多的信息通过视频等多媒体的的形式展现在互联网中，互联网视频应用己逐渐成为信息发布与娱乐的主流。随之而来的是，互联网中视频片段数目越来越繁多，并呈现几何级数的增长方式，这其中，存在着大量冗余、重复甚至非法的视频片段。近年来，以提供视频分享为主要业务的视频网站也蓬勃的发展，国外知名的视频分享提供商包括YouTube、Hulu、YahooVideo、 AOLvideo等，而国内也有包括优酷网、土豆网、CNTV等大小数百家视频分享网站。数目众多的视频分享网站极大的丰富了人们的视听娱乐等活动。根据国际权威机构的统计数据，2009年1月份，美国网民浏览过的在线视频总数量达到324亿个，共计1.3亿独立访问用户，平均每个用户浏览超过了187个视频，YouTube每天的视频上传量达到了200多万分钟。

而在国内，仅2009年4月份，国内主要视频分享网站的有效浏览时间超过1500万小时。整个2009年度，国内视频分享服务月度覆盖人数从1月份的1.6亿人增长至12月份的2.1亿人，增长率达32.4%，并且呈现持续增长之势。

近年来，随着优酷网、土豆网、CNTV等大小数百家视频分享网站纷纷建立，访问者对于网站的服务要求也越来越高，传统的检索系统已经不能胜任目前的需求，另一方面，网络上充斥了一些违法、盗版等不利于网络视频健康发展的内容，而如何有效的过滤上述视频资料也显得尤为重要。综上所述，能够满足当前需求的视频检索系统对于各大视频网站、视频发布商、网络监管机构是十分重要的。

发明内容

本发明针对国外视频检索技术进行了深入的研究和改进，提供了一种检索质量与效率更高的基于内容的视频检索系统，一方面帮助用户有效的在浩瀚的互联网中检索和浏览互联网视频片段，另一方面，对于视频内容的发布商以及监管者而言，能够起到有效的监管视频作用，并且控制视频内容不被非法复制与传播。

本发明的目的是通过以下技术方案实现的：

一种基于内容的视频检索系统，主要包括采集、发布、检索三个子系统，其中：

所述采集子系统通过直接接驳视频监控系统或手工批量导入的方式，快速导入视频流，然后对不同格式的视频流进行格式转换，统一转换为MPEG-4格式，并对视频流进行压缩，过滤掉监控类视频中大量无活动内容部分，大幅度缩减视频流尺寸；

所述发布子系统通过智能提取视频关键帧，辅助人工标签标注的方式，实现针对视频的语义描述，并使得描述定义符合MPEG-7格式，并经过可自定义的审核流程，发布经审核通过的入库视频文件；

所述检索子系统对入库的视频文件自动提取底层图像特征，提供丰富的查询接口，允许通过语义标签或视频低层特征联合检索，检索结果采用图像列表形式展现，方便用户选择浏览。

本系统通过结合MPEG-4和MPEG-7标准来同时从内容和语言上描述一个视频流，实现针对视频流的快速检索。

MPEG-7全称为“多媒体内容描述接口”，由动态图像专家组于1998年10月提出，为各类多媒体信息提供一种标准化的描述，这种描述将与内容本身有关，并且可以同时描述低级特征和高级特征。MPEG7文件本身是一种XML格式的文件，可以由视频处理软件生成。 MPEG-7规定了一套标准描述子来描述各种多媒体信息，并且预先定义了描述子的结构以及它们之间的关系。与视频相关的常用描述子分为颜色(Color), 纹理(Texture)、形状(Shape)和动作(Motion)等类型，每一类包含若干种描述子，以不同的方式和结构来描述视觉信息。同时，MPEG-7还提供了描述定义语言，用户可以自定义新的描述模式。

    本发明的视频检索系统通过对所有入库视频进行预处理，包括自动方式和人工方式，允许在入库前对视频资源进行编辑、压缩、格式转换和人工分类标签标注，结合视频低层特征和语义标注，预先生成存储视频资源的目标数据库。并且预处理过程允许自定义审批流程，通过完善的权限控制，保证视频资源的安全性。系统提供多种检索方式，快速检索目标结果集，并允许对目标结果集查看、复制。

本发明以互联网视频的检索为基础，分别从基于文本的方法和基于视频内容的方法出发，研究包括视频网页的识别和视频文本特征提取、视频的视觉特征表示、基于视觉特征的相似度计算以及大规模视频数据处理等视频检索系统中的关键技术和问题。具有如下优点：

1、帮助用户有效的在浩瀚的互联网中检索和浏览互联网视频片段，主要面向各大视频网站、数字电视媒体以及远程教育网络等机构。

2、通过盗版视频检测，可自动检测网络上的色情、暴力等有害视频，可面向政府机构提供监测服务，也可用于视频网站自检、有害视频过滤，即以委托人提供的视频或视频片断为搜索源，自动搜索和监控涉嫌盗版的在线视频。

3、改进了结合SIFT特征匹配及时序特征的视频相似度度量方法，直接对视频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引进行检索。从内容中提取线索并进行相似性检索，提高了检索的有效性。这样用户只需给出特定内容的例子或视频的特征描述，系统就能自动找到所需的视频片断。并且视频分析过程采用一种近似匹配或局部匹配的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了采用传统检索方法所带来的不确定性，扩大了检索结果的范围。

附图说明

图1为视频检索系统逻辑框图；

图2为视频检索系统的网络结构图；

图3为视频检索系统的功能结构图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限如此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

如图1-3所示，本发明提供了一种基于内容的视频检索系统，主要包括采集、发布、检索三个子系统，具体要求如下：

一、采集管理

1、自动采集

自动采集功能是通过摄像头进行自动采集，连接一个或多个摄像头进行自动采集。设置单个或多个视频的清晰度、视频自动上传、视频回放等功能。通过一定的时间进行自动化采集、编辑处理等操作，通过手动设置采集时间、采集标准、采集清晰度等功能进行自动采集。采集视频格式统一化，时间长度统一化等统一信息。

2、手动采集

手动采集主要是对已存在的视频进行编辑、修改、优化、对当前页面进行截图、分离场景、分离音频等操作。手动采集的功能主要实现对视频的剪切，观看，色彩修正，回放速度调整，修改视频主颜色，修改视频中已存在字体的字体，形状，大小等操作。

3、手动采集视频格式转换

手动采集视频格式转换主要是用来对视频格式统一化，对视频进行剪辑、去声、修改视频输出清晰度等功能。该功能主要是用来对视频格式的转换，可以把任何格式的视频进行转换成自己所需要的视频。

二、发布管理

1、编辑视频

视频编辑管理主要是针对视频未编辑库的视频进行操作，主要对视频进行编辑、修改、艺术化处理、视频合成、视音频合成、视频优化处理等操作。

2、添加人工标注

添加人工标注主要实现对视频的标注功能。标注就是对视频进行分类，视频的运动方向，视频中是否出现了人和物，出现的地点，视频中主要的颜色，视频开始时间结束时间、平行线，参考线设置等操作。

三、视频审核

1、设置审核流程

设置审核流程主要用于审核视频审核流程的添加。

2、审核视频

审核视频主要是对已编辑完成后的视频进行审核并提交到视频库中。

3、已审核视频

已审核视频主要实现对已审核的视频进行查看。查看已经审核通过的视频，如发现审核有误的信息则可退回该信息并重新审核。

四、视频检索管理

1、视频检索

视频检索主要用于显示视频检索出来的信息。

Claims (1)

1.一种基于内容的视频检索系统，其特征在于所述视频检索系统包括采集、发布、检索三个子系统，其中：

所述采集子系统通过直接接驳视频监控系统或手工批量导入的方式导入视频流，然后对不同格式的视频流进行格式转换，统一转换为MPEG-4格式，并对视频流进行压缩，过滤掉监控类视频中大量无活动内容部分，缩减视频流尺寸；

所述发布子系统通过智能提取视频关键帧，辅助人工标签标注的方式，实现针对视频的语义描述，使得描述定义符合MPEG-7格式，并经过可自定义的审核流程，发布经审核通过的入库视频文件；

所述检索子系统对入库的视频文件自动提取底层图像特征，提供查询接口，允许通过语义标签或视频低层特征联合检索，检索结果采用图像列表形式展现，方便用户选择浏览。