CN102043788A - 基于内容比对的视频检索系统 - Google Patents
基于内容比对的视频检索系统 Download PDFInfo
- Publication number
- CN102043788A CN102043788A CN2009101807322A CN200910180732A CN102043788A CN 102043788 A CN102043788 A CN 102043788A CN 2009101807322 A CN2009101807322 A CN 2009101807322A CN 200910180732 A CN200910180732 A CN 200910180732A CN 102043788 A CN102043788 A CN 102043788A
- Authority
- CN
- China
- Prior art keywords
- video
- content
- search system
- video frequency
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种基于内容比对的视频检索系统，该系统包括：客户端和服务器。其中客户端指用于实时监测视频节目的视频检索前端设备，服务器指在网络环境下运行的视频检索系统。本发明通过客户端设备实时监测视频节目，与服务器下载的视频模型做视频比对，实现对数字视频源包含的版权信息的检测和追踪，使受保护的数字媒体内容得到实时的监控，不被随意复制、传播，为电视节目管理结构、电视播出机构等提供必要的依据，保护了数字媒体内容提供商以及整个产业链，且克服了现有技术中存在的不足。
Description
技术领域
本发明涉及多媒体视频比对技术领域，具体涉及一种基于内容比对的视频检索系统。
背景技术
在过去几十年里，计算机视觉领域在视频数据的获取、存储、操作及传输方面都取得了很多重大理论突破和技术进步，而在视觉信息的查询和表征方面暂处于起步阶段。随着科学技术的突飞猛进，近十多年，国内外许多大学、科研单位、军方及大型集团都开始投入大量的人力、物力和财力研究开发基于内容的视频信息检索领域，力求利用能客观体现视频信息本身的低级特征来检索数据，并建立低级特征到高级语义特征的联系。
目前，国内外已研发出了多个基于内容的视频检索系统。
QBIC全称是Query By Image Content，是IBM Almaden研究中心开发的基于内容的检索系统，它是第一个功能齐全的视频数据库系统，也是基于内容检索系统的典型代表，对视频数据库发展有较远的影响。QBIC系统支持示例查询和用户草图查询，抽取颜色、纹理、形状特征、以及镜头和目标运动等信息，并采用R-tree作为高维索引结构，进而结合关键字对大型图像和视频数据库进行查询。
VisualSeek美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的VisualSeek是一种在互联网上使用的基于内容的检索系统。它实现了互联网上的基于内容的图像/视频检索系统，提供了一套供人们在Web上搜索和检索图像及视频的工具。
VideoQ是哥伦比亚大学研究的一个项目，它扩充了传统的关键字和主题导航的查询方法，允许用户使用视觉特征和时空关系来检索视频。它有以下几个特征：集成文本和视觉搜索方法；自动的视频对象分割和追踪；丰富的视觉特征库，包括颜色、纹理、形状和运动；通过WWW互联网交互查询和浏览。
PhotoBook美国麻省理工学院媒体研究室研究的PhotoBook系统能够支持相似性图像的检索，可以利用人脸、形状、纹理、相片簿等分别对人脸图像、工具和纹理进行基于内容的检索，并随后在Virage系统中又进一步发展了将多种检索特征相融合的手段。
TV-FI该系统的全称是Tsinghua Video Find It，是清华大学开发的视频节目管理系统。这个系统可以提供如下几个功能：视频数据入库、基于内容的浏览、检索等。TV-FI提供多种模式访问视频数据，包括基于关键字的查询、基于示例的查询、按视频结构进行浏览、以及按用户自己预先定义的类别进行浏览。
尽管目前已有多种算法，但由于视频内容的丰富性，尚存在许多问题：如大物体和镜头运动的区分、高速的物体或镜头运动、灯光背景的照射和闪烁、复杂的剪辑效果(如碎裂、波纹、变形等)等复杂情况下，误识别和漏识别率普遍较高；由于视频的数据量大，处理时间长，很多算法的识别速度与实际应用相距还很远；提取是基于内容的视频检索技术的关键，以往的研究特征主要集中在颜色、纹理、形状等低级特征上，但这些特征不能完全准确地描述出图像的含义。
发明内容
本发明的目的是提供一种基于内容比对的视频检索系统，通过客户端设备实时监测视频节目，与服务器下载的视频模型做视频比对，实现对数字视频源包含的版权信息的检测和追踪，使受保护的数字媒体内容得到实时的监控，不被随意复制、传播，算法复杂性较低，误识别和漏识别率低，识别速度快，以克服现有技术中存在的不足。
基于内容的视频检索必须对视频内容进行分析，摘要关键内容，形成一段极小且有代表性的视频数据。用户只要给出示例或特征描述，系统就能自动地找到所需的视频片断，即实现基于内容的视频检索。
为实现上述目的，本发明采用如下技术方案：
一种基于内容比对的视频检索系统，该系统包括客户端(100)和服务器(200)，所述客户端(100)指视频检索前端设备(101)，用于实时监测视频节目，将采集的视频数据与下载的视频模型数据进行视频比对，生成规定的检索结果；所述服务器(200)指在网络环境下运行的视频检索系统(201)，用于将所述客户端(100)上传的检索结果进行统一的管理，作为对电视节目管理、播出机构版权保护的必要依据。
其中，所述的视频检索前端设备(101)即客户端是基于内容的电视节目检索设备。
其中，所述下载的视频模型数据在制作样本时，支持MPEG-2、MPEG-4等多种视频格式。
其中，所述的客户端(100)之间相对独立，都可以通过网络与服务器进行通信，且客户端采集的数据量可以根据用户的实际情况进行灵活配置。
实现这种基于内容比对的视频检索系统的步骤：
D1.客户端通过网络通道下载视频模型；
D2.根据用户实际情况采集电视信号，比如射频信号或者AV信号；
D3.将采集的电视信号与所述视频模型进行特征对比，检索出相似的视频数据；
D4.将生成的检索结果实时上传给服务器，进行节目的管理与监督。
其中，所述客户端比对检索出相似的视频数据后，可自动进行节目录制和统计分析，生成规定的检索结果。
在该系统中，视频检索的方法包括步骤：
S1.所述客户端采集电视信号后，提取查询视频片段的特征；
S2.所述服务器下载视频模型，提取视频模型的特征；
S3.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；
S4.将比较后的结果按照相似度大小排序；
S5.由客户端将比对结果反馈给服务器。
有益效果：
1、采用视频特征技术对待检索视频建立模型，检索过程与视频数据解码器紧密结合，降低算法复杂性，提高性能。
2、支持MPEG压缩的TS流，实时采集节目流，自动与模型对比，统计检索结果
3、视频检索效率高，单个模型检索小于2秒，400个模型检索时间不超过500秒。
4、检索精确度高，检索精准到帧，检索准确率＞98％。
5、支持8路同时检测。
附图说明
图1为本发明基于内容比对的视频检索系统框图；
图2为本发明基于内容比对的视频检索系统流程图；
图3为本发明基于内容比对的视频检索系统检索原理图。
具体实施方式
本发明提出的基于内容比对的视频检索系统，结合附图和实例说明如下。
如图1所示，本实施例中的基于内容比对的视频检索系统包括客户端(100)和服务器(200)，其中，客户端进一步包括视频检索前端设备(101)，用于将采集的视频数据与所述服务器(200)下载的视频模型数据进行视频比对，实时监测视频节目；服务器进一步包括在网络环境下运行的视频检索系统(201)，用于将所述客户端(100)上传的检索结果进行管理，作为对电视节目管理、播出机构版权保护的必要依据。
其中，视频的检索可基于关键字，也可基于内容，选择哪种检索方法，取决于对各项指标的具体要求，这受到视频质量、识别率、识别速度等因素的制约；
选择基于关键字的视频检索，因视频具有数据量大、蕴涵信息丰富的特点，具有时间及空间三维结构，其本身常常是无组织的数据流，将难以准确，快速的获取视频信息。
选择基于内容的视频检索，对视频数据中蕴涵的视觉和语义内容进行计算机处理、分析与理解并根据内容进行检索，其本质是对视频数据结构化，提取视觉与语义信息，保证视频内容能被快速检索。
而本实施例中选择基于内容的视频检索。基于内容的视频检索系统通过对视频内容的分析，将非结构化的视频数据结构化，并提取有效的特征来描述结构化的内容单元，在此基础上建立视频的索引、检索系统，旨在为用户提供方便的视频内容获取方式。
如图2所示为本实施例中的基于内容比对的视频检索系统方法包括步骤：
D1.客户端通过网络通道下载视频模型；
D2.根据用户实际情况采集电视信号，比如射频信号或者AV信号；
D3.将采集的电视信号与所述视频模型进行特征对比，检索出相似的视频数据；
D4.将生成的检索结果实时上传给服务器，进行节目的管理与监督。
其中，对于视频数据的检索，是基于内容的检索。
如图3所示为本实施例中的基于内容比对的视频检索系统检索原理，方法包括步骤：
S1.所述客户端采集电视信号后，提取查询视频片段的特征；
S2.所述服务器下载视频模型，提取视频模型的特征；
S3.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；
S4.将比较后的结果按照相似度大小排序；
S5.由客户端将比对结果反馈给服务器。
实现一个高效的视频检索系统的基础和关键在于，对视频结构进行分析时，将视频序列分割为镜头，并在镜头内选择关键帧。然后提取镜头的运动特征和关键帧中的视觉特征，作为一种检索机制存入视频数据库。最后根据用户提交的查询按照一定特征进行视频检索，将检索结果按相似性程度交给用户，当用户对查询结果不满意时可以优化查询结果，自动根据用户的意见灵活地优化检索结果。
通过使用本发明提供的系统，客户端设备实时监测视频节目，与服务器下载的视频模型做视频比对，实现对数字视频源包含的版权信息的检测和追踪，使受保护的数字媒体内容得到实时的监控，不被随意复制、传播，为电视节目管理结构、电视播出机构等提供必要的依据，保护了数字媒体内容提供商以及整个产业链，解决了加密技术在视频领域难以应用的“盲区”。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (8)
1.一种基于内容比对的视频检索系统，该系统包括：客户端(100)和服务器(200)。其特征在于：所述的客户端(100)指视频检索前端设备(101)，用于实时监测视频节目，将采集的视频数据与所述服务器(200)下载的视频模型数据进行视频比对；所述的服务器(200)指在网络环境下运行的视频检索系统(201)，用于将所述客户端(100)上传的检索结果进行管理，作为对电视节目管理、播出机构版权保护的必要依据。
2.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的客户端(100)采集的数据量可以根据用户的实际情况进行灵活配置。
3.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，在制作视频模型数据样本时，支持MPEG-2、MPEG-4等多种视频格式。
4.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的客户端(100)之间相对独立，都可以通过网络与服务器进行通信。
5.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的视频检索前端设备(101)是基于内容的电视节目检索设备。
6.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，该方法包括步骤：
D1.客户端通过网络通道下载视频模型；
D2.根据用户实际情况采集电视信号；
D3.将电视信号与所述视频模型进行特征对比，检索出相似的视频数据；
D4.生成规定的检索结果，实时上传给服务器。
7.如权利要求7所述的基于内容比对的视频检索系统，其特征在于，客户端比对检索出相似的视频数据后，可自动进行节目录制和统计分析，生成规定的检索结果。
8.一种基于内容比对的视频检索系统，其中视频检索的方法包括步骤：
S1.所述客户端采集电视信号后，提取查询视频片段的特征；
S2.所述服务器下载视频模型，提取视频模型的特征；
S3.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；
S4.将比较后的结果按照相似度大小排序；
S5.由客户端将比对结果反馈给服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101807322A CN102043788A (zh) | 2009-10-21 | 2009-10-21 | 基于内容比对的视频检索系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101807322A CN102043788A (zh) | 2009-10-21 | 2009-10-21 | 基于内容比对的视频检索系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102043788A true CN102043788A (zh) | 2011-05-04 |
Family
ID=43909930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009101807322A Pending CN102043788A (zh) | 2009-10-21 | 2009-10-21 | 基于内容比对的视频检索系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102043788A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102970578A (zh) * | 2012-11-19 | 2013-03-13 | 北京十分科技有限公司 | 一种多媒体信息识别、训练的方法及装置 |
| CN102984553A (zh) * | 2012-10-29 | 2013-03-20 | 北京海逸华清科技发展有限公司 | 音视频的检测识别方法及系统 |
| CN103793423A (zh) * | 2012-10-26 | 2014-05-14 | 北京海逸华清科技发展有限公司 | 基于视频的广告发现方法及系统 |
| CN112967716A (zh) * | 2016-12-30 | 2021-06-15 | 谷歌有限责任公司 | 用于数据传输的反馈控制器 |
-
2009
- 2009-10-21 CN CN2009101807322A patent/CN102043788A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793423A (zh) * | 2012-10-26 | 2014-05-14 | 北京海逸华清科技发展有限公司 | 基于视频的广告发现方法及系统 |
| CN102984553A (zh) * | 2012-10-29 | 2013-03-20 | 北京海逸华清科技发展有限公司 | 音视频的检测识别方法及系统 |
| CN102970578A (zh) * | 2012-11-19 | 2013-03-13 | 北京十分科技有限公司 | 一种多媒体信息识别、训练的方法及装置 |
| WO2014075568A1 (zh) * | 2012-11-19 | 2014-05-22 | 十分（北京）信息科技有限公司 | 一种多媒体信息识别、训练的方法及装置 |
| CN112967716A (zh) * | 2016-12-30 | 2021-06-15 | 谷歌有限责任公司 | 用于数据传输的反馈控制器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Smeaton | Techniques used and open challenges to the analysis, indexing and retrieval of digital video | |
| US9031999B2 (en) | System and methods for generation of a concept based database | |
| CN101894125B (zh) | 一种基于内容的视频分类方法 | |
| CN103686231B (zh) | 影片的集成管理、失效替换与续播的方法及系统 | |
| Saba et al. | Analysis of vision based systems to detect real time goal events in soccer videos | |
| US20080162561A1 (en) | Method and apparatus for semantic super-resolution of audio-visual data | |
| CN105677735A (zh) | 一种视频搜索方法及装置 | |
| CN102314916B (zh) | 一种视频处理方法和系统 | |
| Awad et al. | Trecvid semantic indexing of video: A 6-year retrospective | |
| CN103384883B (zh) | 利用Top-K处理使语义丰富 | |
| CN102549603A (zh) | 基于相关性的图像选择 | |
| Jeong et al. | Ontology-based automatic video annotation technique in smart TV environment | |
| US9305215B2 (en) | Apparatus, method and computer readable recording medium for analyzing video using image captured from video | |
| Hong et al. | Exploring large scale data for multimedia QA: an initial study | |
| CN102043788A (zh) | 基于内容比对的视频检索系统 | |
| Truong et al. | Video search based on semantic extraction and locally regional object proposal | |
| Lian | Innovative Internet video consuming based on media analysis techniques | |
| Smeaton et al. | Content‐based video retrieval: Three example systems from TRECVid | |
| CN101430711B (zh) | 对视频数据进行管理的方法和装置 | |
| Roshdy et al. | An efficient content-based video recommendation | |
| Zhang et al. | Multi-modal tag localization for mobile video search | |
| Wang et al. | Interactive web video advertising with context analysis and search | |
| Choi et al. | Evento 360: Social event discovery from web-scale multimedia collection | |
| Rozsa et al. | TV News Database Indexing System with Video Structure Analysis, Representative Images Extractions and OCR for News Titles | |
| Hsu et al. | Knowledge discovery over community-sharing media: from signal to intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: BEIJING BRONZE WEISHI TECHNOLOGY DEVELOPMENT CO., Free format text: FORMER OWNER: BEIJING JINSHI ZHIBO TECHNOLOGY DEVELOPMENT CO., LTD. Effective date: 20110525 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100098 ROOM 2-230, RESEARCH AND DEVELOPMENT BUILDING, NO. 19, GUCHENG WEST STREET, SHIJINGSHAN DISTRICT, BEIJING TO: 100098 13B1, HUAJIE BUILDING, NO. 13, DAZHONGSI, HAIDIAN DISTRICT, BEIJING |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20110525 Address after: 100098, Hua Jie building, 13 Da Zhong Temple, Haidian District, Beijing, 13B1 Applicant after: BEIJING VIEW SCENES TECHNOLOGY DEVELOPMENT CO., LTD. Address before: 100098, room 19, R & D building, 2-230 ancient West Street, Shijingshan District, Beijing Applicant before: Beijing Jinshi Zhibo Technology Development Co., Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110504 |