CN103279473A - 海量视频内容检索方法、系统及移动终端 - Google Patents
海量视频内容检索方法、系统及移动终端 Download PDFInfo
- Publication number
- CN103279473A CN103279473A CN2013101226335A CN201310122633A CN103279473A CN 103279473 A CN103279473 A CN 103279473A CN 2013101226335 A CN2013101226335 A CN 2013101226335A CN 201310122633 A CN201310122633 A CN 201310122633A CN 103279473 A CN103279473 A CN 103279473A
- Authority
- CN
- China
- Prior art keywords
- video
- magnanimity
- searching
- feature
- video content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了海量视频内容检索方法、系统及移动终端。其中所述方法为通过对视频切分，切割成镜头，实现对各个镜头的特征提取，得到一个能够充分反映视频镜头内容的特征空间，这个特征空间将作为海量视频精确检索的依据和基础。特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。这样就充分利用了视频的视觉信息，能够提高海量视频数据中的精确检索，提高用户的体验。发现海量视频的特点，使用关键帧提取的方法并进行模块优化，解决了视频依赖文本标签检索的技术瓶颈，提出基于视频内容检索的研究，引入新的数据表示和数据模型，实现对海量视频数据的精确检索。它能够处理海量视频数据，同时能满足用户的精确检索的视频应用特点。
Description
技术领域
本发明涉及视频检索技术领域，特别涉及一种基于视频内容的海量视频内容检索方法、系统及移动终端。
背景技术
视频检索技术随着多媒体编码、多媒体处理以及网络传输的发展成为数据库领域以及信息检索领域中的重要问题，其关键性在于视频信息的有效组织和精确检索。进一步地讲，当前互联网正在成为一个巨大的数据仓库，即使是基于数据库的视频检索也要面临数据量庞大、结构复杂的问题，再依赖于视频的文本标签进行视频的检索不仅会影响检索结果，而且检索过程没有充分利用视频的视觉信息，造成检索结果的重复，并且传统的串行方法在性能商业不能满足实用要求；文本标签不能表述视频信息里面的海量内容，并且文本的人工标注和解释不仅费时费力，还容易造成标注的不准确。所以文本检所不能满足视频检索的新要求。
现有的基于文本标签的视频检索结合基于视频内容的检索就是一个很好的选择。它不仅能满足用户的精确检索需求，而且考虑到了充分利用带宽的要素，从而将两种看似矛盾的要素进行了综合考虑并有机结合，同时满足了带宽分配、管理、整形、限速、用户分级、带宽利用等要素，很好地迎合了并行计算和视频服务的特征。
然而，现有的基于视频内容的检索视频关键帧的提取和关键帧特征量的提取，还不能令人满意。 这样的情况在实用性方面还有一定的距离。
有鉴于此，现有技术还有待进一步改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种海量视频内容检索方法、系统及移动终端以解决现有技术中视频依赖文本标签的检索的问题。
为了达到上述目的，本发明采取了以下技术方案：
一种海量视频内容检索方法，其中，包括以下步骤：
S1、将视频文件分割成若干个镜头；
S2、对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
所述的海量视频内容检索方法，其中，所述步骤S1中将视频文件分割成若干个镜头具体为采用双比较方法找出视频镜头的突变帧和渐变帧，进行视频分割。
所述的海量视频内容检索方法，其中，所述特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。
所述的海量视频内容检索方法，其中，所述特征空间包括：图像特征的索引和视频特征的索引，其中，所述图像特征索引面向静态特征建立，所述视频特征主要是基于视频运动特征的提取。
所述的海量视频内容检索方法，其中，在实现对关键帧的视觉特征和镜头运动特征提取之后，分别从视频的视觉内容相似性、时间顺序相似性和粒度相似性三个因素进行视频检索的匹配。
一种海量视频内容检索系统，其中，包括：
分割单元，用于将视频文件分割成若干个镜头；
特征提取单元，用于对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
所述的海量视频内容检索系统，其中，所述分割单元中将视频文件分割成若干个镜头具体为采用双比较方法找出视频镜头的突变帧和渐变帧，进行视频分割。
一种移动终端，其中，包括上述的海量视频内容检索系统。
相较于现有技术，本发明提供的海量视频内容检索方法、系统及移动终端。其中所述方法为通过对视频切分，切割成镜头，实现对各个镜头的特征提取，得到一个能够充分反映视频镜头内容的特征空间，这个特征空间将作为海量视频精确检索的依据和基础。特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。对于静态特征，主要从颜色、纹理、形状等角度来进行；对于运动特征，主要从镜头运动分析，如镜头的运动变化、运动目标的大小变化、运动目标的运动轨迹等来进行，这样就充分利用了视频的视觉信息，能够提高海量视频数据中的精确检索，提高用户的体验。发现海量视频的特点，使用关键帧提取的方法并进行模块优化，解决了视频依赖文本标签检索的技术瓶颈，提出基于视频内容检索的研究，引入新的数据表示和数据模型，实现对海量视频数据的精确检索。它能够处理海量视频数据，同时能满足用户的精确检索的视频应用特点。
附图说明
图1为本发明提供的海量视频内容检索方法的流程框图。
图2为本发明提供的海量视频内容检索方法的实施例中采用双比较方法找出视频镜头的突变和渐变帧从而进行视频分割的流程框图。
图3为本发明提供的海量视频内容检索方法的实施例中采用基于小波变换提取的纹理特征提取的流程框图。
图4为本发明提供的海量视频内容检索系统的结构框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，其为本发明的海量视频内容检索方法的流程框图。如图所示，所述海量视频内容检索方法包括以下步骤：
S1、将视频文件分割成若干个镜头；
S2、对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
下面分别针对上述步骤进行详细介绍：
所述步骤S1为将视频文件分割成若干个镜头。在本实施例中，采用双比较方法找出视频镜头的突变和渐变帧，进行视频分割。具体实现是：设置突变阈值T和渐变阈值J，T比较大，J比较小，如图2所示，如果相邻帧的差值大于T，则可认为存在一个镜头边界，这时候就可以进行镜头切分；如果差值小于T大于J，这时候就把后面的一帧作为潜在的渐变的开始，然后继续和后续的帧进行比较，累加帧差，当帧差小于J而累加值大于T的时候就认为渐变结束，这时候就可以进行镜头切分，如果帧差小于J，但累加值小于T就放弃标注，寻找下一个渐变。采用这样的方法解决了图像像素法、颜色直方图法和颜色直方图法等一些技术的阈值选定问题，降低了误检和漏检。获得视频镜头片段后就要抽取能代表镜头信息的静态图片，本发明采用的是显著变化的帧作为关键帧，这里的显著变化是指它和首尾帧颜色直方图进行比较的结果。
所述步骤S2为对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。在本实施例中，所述特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。在特征提取时，采用基于小波变换提取的纹理特征提取，如图3所示，首先将彩色的图像转换成灰度图像，然后进行三层小波的分解，再对每一层得到的小波系数变换提取均值和方差作为特征，将得到的特征值作为组成图像纹理特征向量的各个分量，最后再对向量进行归一化处理。这样构造纹理特征向量可以保留图像的多分辨率特性，包含图像的不同尺度和方向的纹理信息，这样就会提高检索的精确性。然后，在特征提取结束后建立的特征空间中的索引，包括图像特征的索引和视频特征的索引，图像特征索引面向颜色、纹理、轮廓等静态特征建立，视频特征主要是基于视频运动特征的提取而建立。
进一步地，在实现对关键帧的视觉特征和镜头运动特征提取之后，分别从视频的视觉内容相似性、时间顺序相似性和粒度相似性三个因素进行视频检索的匹配。
本发明的海量视频内容检索方法使用基于视频内容的检索，自动提取和描述视频的特征和内容，能够充分利用视频的视觉信息，精确的给出用户的检索要求结果。
另外，本发明还提供了一种海量视频内容检索系统，如图4所示，所述海量视频内容检索系统包括：
分割单元100，用于将视频文件分割成若干个镜头；
特征提取单元200，们用于对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
进一步地，所述分割单元100中将视频文件分割成若干个镜头具体为采用双比较方法找出视频镜头的突变帧和渐变帧，进行视频分割。
需要注意地是，分割单元100中，基于颜色空间的镜头分割算法思想：使用YUV颜色空间作为视频特征，对每个视频帧进行加权统计相邻帧建的差值，分别计算两个自适应阈值来判断镜头的突变和渐变。
而在特征提取单元200中关键帧的提取原则：一、用关键帧来代替一个镜头的主要内容；二、在关键帧中提取图像特征作为视频的整体特征，避免对各个帧的重复提取。
另外，本发明提供的海量视频内容检索系统还可以以应用软件的方式应用于移动视频服务平台和移动终端中，比如：PDA、手机。
综上所述，本发明提供的海量视频内容检索方法、系统及移动终端。其中所述方法为通过对视频切分，切割成镜头，实现对各个镜头的特征提取，得到一个能够充分反映视频镜头内容的特征空间，这个特征空间将作为海量视频精确检索的依据和基础。特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。对于静态特征，主要从颜色、纹理、形状等角度来进行；对于运动特征，主要从镜头运动分析，如镜头的运动变化、运动目标的大小变化、运动目标的运动轨迹等来进行，这样就充分利用了视频的视觉信息，能够提高海量视频数据中的精确检索，提高用户的体验。发现海量视频的特点，使用关键帧提取的方法并进行模块优化，解决了视频依赖文本标签检索的技术瓶颈，提出基于视频内容检索的研究，引入新的数据表示和数据模型，实现对海量视频数据的精确检索。它能够处理海量视频数据，同时能满足用户的精确检索的视频应用特点。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种海量视频内容检索方法，其特征在于，包括以下步骤：
S1、将视频文件分割成若干个镜头；
S2、对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
2.根据权利要求1所述的海量视频内容检索方法，其特征在于，所述步骤S1中将视频文件分割成若干个镜头具体为采用双比较方法找出视频镜头的突变帧和渐变帧，进行视频分割。
3.根据权利要求1所述的海量视频内容检索方法，其特征在于，所述特征提取是由关键帧的视觉特征提取和镜头的运动特性提取组成的。
4.根据权利要求1或3所述的海量视频内容检索方法，其特征在于，所述特征空间包括：图像特征的索引和视频特征的索引，其中，所述图像特征索引面向静态特征建立，所述视频特征主要是基于视频运动特征的提取。
5.根据权利要求2所述的海量视频内容检索方法，其特征在于，在实现对关键帧的视觉特征和镜头运动特征提取之后，分别从视频的视觉内容相似性、时间顺序相似性和粒度相似性三个因素进行视频检索的匹配。
6.一种海量视频内容检索系统，其特征在于，包括：
分割单元，用于将视频文件分割成若干个镜头；
特征提取单元，用于对各个镜头的特征进行提取，得到一能反映镜头内容的特征空间，将所述特征空间作为海量视频检索的依据和基础。
7.根据权利要求6所述的海量视频内容检索系统，其特征在于，所述分割单元中将视频文件分割成若干个镜头具体为采用双比较方法找出视频镜头的突变帧和渐变帧，进行视频分割。
8.一种移动终端，其特征在于，包括权利要求6所述的海量视频内容检索系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101226335A CN103279473A (zh) | 2013-04-10 | 2013-04-10 | 海量视频内容检索方法、系统及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101226335A CN103279473A (zh) | 2013-04-10 | 2013-04-10 | 海量视频内容检索方法、系统及移动终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103279473A true CN103279473A (zh) | 2013-09-04 |
Family
ID=49061993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101226335A Pending CN103279473A (zh) | 2013-04-10 | 2013-04-10 | 海量视频内容检索方法、系统及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103279473A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106231356A (zh) * | 2016-08-17 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 视频的处理方法和装置 |
| CN103559196B (zh) * | 2013-09-23 | 2017-02-22 | 浙江大学 | 一种基于多核典型相关分析的视频检索方法 |
| CN106682108A (zh) * | 2016-12-06 | 2017-05-17 | 浙江大学 | 一种基于多模态卷积神经网络的视频检索方法 |
| CN109101653A (zh) * | 2018-08-27 | 2018-12-28 | 国网天津市电力公司 | 一种视频文件的检索方法及其系统和应用 |
| CN110351183A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 即时通讯中的资源收藏方法以及装置 |
| CN110708606A (zh) * | 2019-09-29 | 2020-01-17 | 新华智云科技有限公司 | 一种智能剪辑视频的方法 |
| CN111949864A (zh) * | 2020-08-10 | 2020-11-17 | 北京字节跳动网络技术有限公司 | 一种搜索方法、装置、电子设备及存储介质 |
| CN112291634A (zh) * | 2019-07-25 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置 |
| CN113014953A (zh) * | 2019-12-20 | 2021-06-22 | 山东云缦智能科技有限公司 | 视频防篡改检测方法及视频防篡改检测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| CN1710562A (zh) * | 2005-07-18 | 2005-12-21 | 北大方正集团有限公司 | 集成颜色和运动特征进行镜头检索的方法 |
| CN101201822A (zh) * | 2006-12-11 | 2008-06-18 | 南京理工大学 | 基于内容的视频镜头检索方法 |
| CN102685398A (zh) * | 2011-09-06 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种新闻视频场景生成方法 |
-
2013
- 2013-04-10 CN CN2013101226335A patent/CN103279473A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| CN1710562A (zh) * | 2005-07-18 | 2005-12-21 | 北大方正集团有限公司 | 集成颜色和运动特征进行镜头检索的方法 |
| CN101201822A (zh) * | 2006-12-11 | 2008-06-18 | 南京理工大学 | 基于内容的视频镜头检索方法 |
| CN102685398A (zh) * | 2011-09-06 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种新闻视频场景生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 印晓莉: "基于内容的视频结构分析", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559196B (zh) * | 2013-09-23 | 2017-02-22 | 浙江大学 | 一种基于多核典型相关分析的视频检索方法 |
| CN106231356A (zh) * | 2016-08-17 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 视频的处理方法和装置 |
| CN106231356B (zh) * | 2016-08-17 | 2019-01-08 | 腾讯科技（深圳）有限公司 | 视频的处理方法和装置 |
| CN106682108A (zh) * | 2016-12-06 | 2017-05-17 | 浙江大学 | 一种基于多模态卷积神经网络的视频检索方法 |
| CN106682108B (zh) * | 2016-12-06 | 2022-07-12 | 浙江大学 | 一种基于多模态卷积神经网络的视频检索方法 |
| CN109101653A (zh) * | 2018-08-27 | 2018-12-28 | 国网天津市电力公司 | 一种视频文件的检索方法及其系统和应用 |
| CN110351183B (zh) * | 2019-06-03 | 2021-06-08 | 创新先进技术有限公司 | 即时通讯中的资源收藏方法以及装置 |
| CN110351183A (zh) * | 2019-06-03 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 即时通讯中的资源收藏方法以及装置 |
| CN112291634A (zh) * | 2019-07-25 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置 |
| CN110708606A (zh) * | 2019-09-29 | 2020-01-17 | 新华智云科技有限公司 | 一种智能剪辑视频的方法 |
| CN113014953A (zh) * | 2019-12-20 | 2021-06-22 | 山东云缦智能科技有限公司 | 视频防篡改检测方法及视频防篡改检测系统 |
| CN111949864A (zh) * | 2020-08-10 | 2020-11-17 | 北京字节跳动网络技术有限公司 | 一种搜索方法、装置、电子设备及存储介质 |
| US11868389B2 (en) | 2020-08-10 | 2024-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Search method and apparatus, and electronic device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103279473A (zh) | 海量视频内容检索方法、系统及移动终端 | |
| CN102508923B (zh) | 基于自动分类和关键字标注的自动视频注释方法 | |
| US20220027634A1 (en) | Video processing method, electronic device and storage medium | |
| CN107430687B (zh) | 视频流的基于实体的时间分割 | |
| CN103065153B (zh) | 一种基于色彩量化和聚类的视频关键帧提取方法 | |
| CN105049875B (zh) | 一种基于混合特征与突变检测的精确关键帧提取方法 | |
| CN111967302B (zh) | 视频标签的生成方法、装置及电子设备 | |
| WO2018023734A1 (zh) | 一种3d图像的显著性检测方法 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN1851710A (zh) | 嵌入式多媒体基于关键帧的视频检索的实现方法 | |
| CN106649663B (zh) | 一种基于紧凑视频表征的视频拷贝检测方法 | |
| CN101369281A (zh) | 基于视频摘要元数据的检索方法 | |
| CN111402126B (zh) | 一种基于分块的视频超分辨率方法和系统 | |
| CN101872346A (zh) | 一种自动生成视频导航系统的方法 | |
| CN114342353A (zh) | 用于视频分割的方法和系统 | |
| CN111008978B (zh) | 基于深度学习的视频场景分割方法 | |
| CN101425088A (zh) | 基于图分割的关键帧提取方法和系统 | |
| CN102314681B (zh) | 基于子镜头分割的自适应关键帧提取方法 | |
| Liao et al. | Tag features for geo-aware image classification | |
| CN102495887B (zh) | 一种基于关键区域色彩矩阵的视频镜头分割方法及其应用方法 | |
| CN104410867A (zh) | 改进的视频镜头检测方法 | |
| CN104778272B (zh) | 一种基于区域挖掘和空间编码的图像位置估计方法 | |
| CN111160099B (zh) | 一种视频图像目标的智能化分割方法 | |
| CN117056863A (zh) | 一种基于多模态数据融合的大数据处理方法 | |
| CN116662630A (zh) | 基于多模态预训练模型的民航领域图文检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130904 |
|
| RJ01 | Rejection of invention patent application after publication |