CN101207807A - 一种处理视频的方法及其系统 - Google Patents
一种处理视频的方法及其系统 Download PDFInfo
- Publication number
- CN101207807A CN101207807A CNA2007101725060A CN200710172506A CN101207807A CN 101207807 A CN101207807 A CN 101207807A CN A2007101725060 A CNA2007101725060 A CN A2007101725060A CN 200710172506 A CN200710172506 A CN 200710172506A CN 101207807 A CN101207807 A CN 101207807A
- Authority
- CN
- China
- Prior art keywords
- video
- file
- content
- module
- functional description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种处理视频的方法及其系统,该方案的主要用途是管理和生成视频描述文件,包括视频的内容描述文件和功能描述文件,并将描述文件和互联网搜索技术结合起来加以利用,例如通过对视频内容描述文件的分析,将其导入到搜索引擎或对内容描述文件构成的数据库进行检索,播放相关的视频对象片段。由于本发明引入了数据库管理模式,可以很方便地对视频内容以及功能描述文件进行二次编辑,大大提高的对视频的重复处理能力。本发明还提供了具有视频功能描述文件分析功能的模块以及专用的播放器,并把网页浏览器系统和视频播放系统进行结合,并通过功能描述文件控制浏览器的功能实现。本发明可以提供视频广告,视频购物等应用。
Description
技术领域
本发明涉及视频技术领域,尤其涉及一种处理视频的方法,如根据视频内容对视频进行搜索。
背景技术
随着网络技术的不断发展,各种各样的基于网页的应用也越来越多。网络视频以及各种其它视频形式都在快速的增长过程中,对于视频的应有也就显得越来越重要了。现阶段一些大型的视频网站,每天的流量超过千万IP,网络视频已经成为一种高效和灵活的视频形式,但是包括视频广告等很多技术还处于发展过程中,特别是针对点播节目的广告技术。因此导致虽然网络上看视频的人数众多,但是广告收入却非常微薄。
如何让视频在播放时候进行增值就是我们必须考虑的问题。现有的网络视频广告形式还非常简单,主要包括播放视频前进行广告利用缓冲期播放、播放视频后播放广告、背景图片等方式。但这些方式对于视频广告来说并不理想,产生广告效率低下,广告效果不佳的问题。例如,如果采用视频前播放10秒缓冲广告的方法,以视频播放10分钟为例,广告的时长只占到了整个视频播放时长的1/60。如果改变这种低效率的广告方式,以及改善用户的广告体验成了我们当前必须解决的问题。
另一方面,视频搜索成为了一个热门的话题,如何才能准确地搜出我们关心的视频变得越来越重要。现有的视频搜索方式都离不开视频名字或视频简介的搜索,实际上还是基于视频标题的搜索,而且很明显视频标题的搜索并不能代表整个视频的内容,如何才能对视频中的具体内容或对象进行搜索呢?曾经有人提出过对视频或图片中的对象进行自动识别的方法,经过了几十年的研究,现在已经可以对类似人脸、指纹等特定的目标物体进行自动识别,但是根本无法对广义的任何物体进行识别,这种做法在短时间内是根本无法实现的。由于人工智能(AI)的限制,计算机还不能想人那样思考问题,这也是导致上述方法不能实现的根本原因。
由于视频数量的发展,视频中对象的商业价值会变得越来越大,但是现有的自动识别技术还远远达不到对视频中对象进行广泛识别的要求。因此有没有可替代的识别方案,便成为本发明研究的重点。
专利号CN200710097774.0,提出了一种在视频资源中使用信息集的方法,该方法提出了视频媒体和其它媒体进行互动操作的方案,但是没有提出生成视频内容描述文件和视频功能文件的具体视频处理方法。专利号CN200710123453.3,提供了利用广告描述文件来控制广告播放的方法,但是该方案并没有提出广告内容描述文件的概念,也不能对视频对象进行搜索,在功能管理上也没有配合数据库进行,因此还具有改良的余地。在以上两个专利的基础上,本发明提出了更具体高效地处理视频的方法以及相关系统。
发明内容
本发明提供了一种处理视频的方法及其系统,以解决现有技术中不能对视频对象进行有效处理和管理的缺陷。
为了实现上述目的,本发明的实施例包括以下方法和相关系统:
一种处理视频的方法,其特征在于,包括以下步骤:
处理视频文件,生成和视频内容对应的内容描述文件;
处理所述内容描述文件,为内容描述文件中一条或多条记录添加功能描述,生成功能描述文件;
在视频播放前或视频播放中,解析所述功能描述文件,实现功能描述文件内的描述功能。
所述处理视频文件,生成和视频内容对应的内容描述文件,包括以下步骤:
打开视频文件;
记录下视频中具体对象的描述信息;
并把具体对象的描述信息形成记录保存到内容描述文件中;
所述内容描述文件可以是一个单独的生成文件或保存在内存中的文件,并可以将该文件整体或依次将每条记录上传到内容描述数据库进行存储。
所述记录下视频中具体对象的描述信息,至少包括:1)所述具体对象的关键字信息;2)所述具体对象的开始播放和结束播放信息;
所述具体对象的开始播放和结束播放信息可以表示为所述具体对象出现的开始帧和结束帧信息和/或所述具体对象出现的开始时间和结束时间信息。
所述记录下视频中具体对象的描述信息,还可以包括对象在视频帧中的位置信息和/或区域信息。
所述处理所述内容描述文件,为内容描述文件中一条或多条记录添加功能描述,生成功能描述文件,包括以下步骤:
从内容描述数据库或内容描述文件中找到需要添加功能描述的记录;
加入功能描述,并形成功能描述文件;其中,所述加入功能描述的过程可以是先将功能描述信息加入内容描述数据库,然后通过内容描述数据库为对应的视频产生功能描述文件;所述加入功能描述的过程也可是先将内容描述文件从内容描述数据库中提取出来,然后结合每条记录的功能描述为视频生成功能描述文件。
一种生成视频内容描述文件的编辑系统,其特征在于,包括视频播放模块和参数编辑模块:
所述视频内容描述文件的编辑系统,其功能在于可以通过打开视频文件,在视频播放的过程中对视频进行编辑,并生成视频内容描述文件;所述内容描述文件至少包括:视频中对象的关键字信息、视频中对象的开始和结束信息;
所述视频播放模块至少包括播放视频功能,并且视频播放模块可以感知鼠标在视频中的点击位置和/或时间信息和/或帧位置信息,并将位置和时间信息保存在内存中;
所述参数编辑界面至少包括关键字区域,用于输入视频内容对应的关键字信息;
所述视频内容描述文件的编辑系统会生成一个至少含有视频中对象的关键字信息和视频中对象开始和结束信息,所述开始和结束信息可以用开始时间结束时间表示或开始帧结束帧表示。
一种通过网络获取功能描述信息,并生成功能描述文件的方法,其特征在于,包括以下步骤:
处理视频文件,生成和视频内容对应的内容描述文件;
将内容描述文件按记录保存到内容描述数据库中;
通过网页提供内容描述数据库的检索操作,并将被检索到的记录用网页形式提供给用户;
所述用户选择需要处理的条目,根据用户需求为该记录添加功能描述,并将增加的功能描述保存到内容描述数据库中;
处理内容描述数据库,生成和视频对应的功能描述文件。
一种视频中对象搜索的方法,其特征在于,包括以下步骤:
处理视频文件,记录下视频中具体对象的关键字信息、在视频中的开始和结束信息,并在内容描述文件中保存一条所述具体对象的记录;
将处理好的内容描述文件按记录保存在内容描述数据库中;
用户利用输入关键字的方法搜索内容描述数据库中关键字字段,返回命中的记录。
所述返回命中的记录中包括视频中某一具体对象在视频中的开始和结束信息;
提取所述具体对象在视频中的开始和结束信息,并播放所述具体对象在视频中出现到结束的片段。
一种将视频中对象导入搜索引擎的方法,其特征在于,包括以下步骤:
打开视频文件;
记录下视频中具体对象的关键字信息、在视频中的开始和结束信息,并在内容描述文件中保存一条所述具体对象的记录;
用户播放视频时,获取视频中具体对象的关键字信息、具体对象的开始和结束信息,并在所述具体对象在视频中出现到结束的这段时间内,将关键字信息导入搜索引擎,并返回搜索结果。
一种将视频和网页结合的播放器系统,其特征在于,包括视频播放模块、功能描述文件解析模块和浏览器模块:
所述将视频和网页结合的播放器系统,可以通过视频播放模块播放视频,并在视频播放的时候,通过功能描述文件解析模块解析视频对应的功能描述文件,并根据功能描述文件中的URL取回网页,并将所述网页在浏览器模块中播放;
视频播放模块具体包括视频解码程序,用于解析并播放视频文件;
功能描述文件解析模块用于解析功能描述文件,解析出需要取回URL的位置;
浏览器模块用于浏览从URL取回的网页。
与现有技术相比,本发明具有以下优点:
本发明实施例中,通过对视频的分析生成内容描述文件,并通过数据库的方式来管理内容描述文件生成的表项,然后根据实际需求生成视频的功能描述文件,该功能描述文件可以通过网络获取的信息自动生成,这样就大大简化对视频处理的流程,提高的视频处理的效率。并提出了视频对象搜索的方案,可以对视频中出现的对象进行快速搜索,并播放视频中含有搜索对象的片段。这样视频内容可以被轻松提取,有效管理,并可以很方便的设置广告和各种功能,视频中的内容的潜在价值得到充分利用。并可以通过视频内容描述文件编辑系统高效的编辑视频生成视频描述文件,而且可以通过视频和网页结合的播放器系统进行播放。视频成为了一级媒体,其它的相关媒体是在视频的基础上进行播放,成为二级媒体。
附图说明
图1是本发明中处理视频方法的流程图;
图2是本发明中利用网站生成视频功能描述文件示意图;
图3是本发明中利用关键字搜索视频中对象并播放的流程图;
图4是本发明中将视频描述文件导入搜索引擎的流程图;
图5是本发明中视频和网页结合的播放器系统示意图;
图6是本发明中视频和网页结合的播放器界面示意图;
图7是本发明中生成视频内容描述文件的编辑系统示意图;
图8是本发明中生成视频内容描述文件的编辑系统界面示意图;
图9是本发明中视频对象运动轨迹拟合算法示意图;
图10是本发明中视频对象运动轨迹平面投影示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明的基本构思为:对视频进行预处理,生成视频的内容描述文件,然后将内容描述文件加载到数据库中进行集中管理,然后再根据对视频的实际需要,生成和视频对应的功能描述文件,这一个过程可以自动完成。通过内容描述文件和功能描述文件的生成,可以产生很多复杂的应用。这些应用可以让视频中有价值的对象被充分利用起来,产生巨大的商业价值。
如图1本发明中处理视频方法的流程图所示,对于任何一个需要编辑的文件,必须先将其打开,把需要编辑的部分调入内存中,即110打开视频文件,然后通过视频内容描述编辑系统220对打开的视频文件进行编辑,并记录下视频中具体对象的描述信息120,并把具体对象的描述信息形成记录保存到内容描述文件中130。在本发明的内容描述文件中,可以记录视频中对象出现的开始或结束信息(包括,时间或帧的信息),视频中对象的关键字。在此基础上可以选择的记录下对象出现的位置或轨迹。这里可以采用三种方法来记录下视频中对象的位置或轨迹:
第一种,采用专利号CN200610046026.5的方法对视频对象进行提取,采用矩形或椭圆的方法来标识视频中对象的范围,在每次运动的拐点处(即运动轨迹发生较大改变时),加入关键帧,然后采用内插的方法来拟合整个对象在视频中运动的轨迹;
第二种,也可以采用图9中的改良算法,更方便地对对象运动的轨迹进行提取;
第三种,采用人工手动的方法标记视频中对象在出现的第一帧的位置,然后通过跟踪算法自动跟踪物体运动的方向,形成物体运动的轨迹,例如可以采用基于运动补偿的Snake视频对象跟踪算法。
为了能够很好地管理内容描述文件,可以将内容描述文件加载到内容描述数据库140,在数据库中分对象条目进行保存。150获取视频功能描述信息并由数据库生成功能描述文件,例如通过从网络上获取对象的功能描述而自动生成视频的功能描述文件,首先,通过网站和内容描述数据库相连,可以在网站上生成视频对象的开始结束信息、视频源信息、关键字信息等多种信息,如果登陆网站的用户需要在视频对象上加入广告信息,则可以通过视频描述数据库选择需要加入广告的视频对象,然后把编辑好的广告和视频对象建立关联(这里的关联信息,实际上就是视频对象的功能描述信息),然后把需要加载广告的视频对象逐一加好,最后由内容描述数据库针对每一个不同的视频对象生成一个对应的视频功能描述文件,该文件和视频一一对应。再将视频相关功能描述文件和视频提供给视频用户,并对功能描述文件解析,实现预先设定功能160,例如广告功能。
这里的内容描述数据库实际上是一个保存内容描述文件的存储管理概念,实际上内容描述数据库是一个可选的部件。这里完全可以将每一个视频生成一个内容描述文件,这一文件同样可以被编辑,加入功能描述,从而形成功能描述文件。功能描述文件可以再视频描述文件的基础上添加功能描述而成,功能描述当然也可以保存在生成内容描述文件中,加入了功能描述的内容描述文件实际上就是功能描述文件了。这里之所以提出内容描述文件和功能描述文件两个描述文件的概念,主要是为了将内容的提取和功能描述的添加这两个过程进行分离,而这种内容和功能的分离可以带来编辑得高效率和方便功能加入。
由于自动识别视频中对象,现阶段很根本不可行,因此在利用视频内容描述文件编辑系统来编辑视频时,需要人工来识别视频中的对象,来加入关键字,例如,视频中出现“可口可乐”,则可以添加“饮料”、“可口可乐”等相关的关键字到该对象(可口可乐)生成的内容描述文件的记录中去。关于对象在视频中出现和结束,也需要人工参与,但是非常简单,只需要几次点击然后加入关键字即可,具体流程参考图7和其详细叙述。
对于视频中对象的区域信息生成的具体流程和详细说明参考图7和其详细叙述。
图2为本发明中利用网站生成视频功能描述文件示意图,也包含整个系统从视频制作加工到生成内容描述文件到生成功能描述文件到最终用户的系统结构。总体来说包括这样几个部分,视频资源库210(例如视频网站、电视台等拥有大量视频的系统)、视频内容描述文件编辑系统220、内容描述数据库240、视频功能获取网站250(例如,一个视频广告交易平台,该平台和内容描述数据库相连,广告商可以在交易平台上选择需要添加广告的视频对象,然后自动生成视频功能描述文件,用于在视频播放时自动投放广告)、视频和网页结合的播放器系统270。通过以上系统及网站的配合,才能为视频主动添加并实现服务功能。具体步骤如图2所示,首先,从视频资源库210中提取视频文件,并将视频文件放入视频内容描述文件编辑系统220,然后通过对视频文件的编辑生成内容描述文件230,所述内容描述文件230被加载到内容描述数据库240中,可以在内容描述数据库240中查看每一个视频对象是在那一个视频文件中,并且可以看到其开始和结束信息及关键字信息。这时,需要将视频对象信息发布到视频功能获取网站250上,通过网站输入的方法,为相关的视频对象添加适当的功能,例如,可以在视频功能获取网站上查到汽车相关的视频对象100个,如果为这100个对象购买汽车广告,则会将汽车广告的信息放入对应视频的视频功能描述文件260中,这样这100个含有汽车的视频在播放时,如果汽车对象出现则会马上在视频和网页结合的播放器系统270中播放加入的汽车广告。由图2还可以看出,视频文件和该视频文件对应的视频功能描述文件在视频播放时要传输到同一个用户的视频和网页结合的播放器系统才能正常播放视频和实现功能描述文件定义的功能。
这里的视频功能获取网站可以提供内容描述数据库的检索操作,并将被检索到的记录用网页形式提供给用户,例如,在网站中搜索“车”,会将关键字为“车”的内容描述数据库的记录返回到用户所在网页。这种通过数据库联动网页的方式已经在互联网中广泛使用,在此不作更细致描述。
图3为本发明中利用关键字搜索视频中对象并播放的流程图。要完成对视频对象的搜索,首先需要处理视频文件,记录下视频中具体对象的关键字信息、在视频中的开始和结束信息,并在内容描述文件中保存一条所述具体对象的记录,生成视频内容描述文件310;然后将视频描述文件导入内容描述数据库中320;最后,通过软件接口或网页接口连接数据库接口,搜索对象关键字,返回搜索结果,搜索结果中包含有视频对象的开始和结束信息330,并可以按照开始和结束信息播放选定的对象。这里面需要应用到对视频中指定时间段或指定视频帧的播放技术,但是这项技术在含有“飞梭”条的视频播放器中均得到解决,在次不再赘述。这种视频对象搜索方式可以只播放视频中搜索对象的开始出现到对象消失的全部过程,而不播放其它不含有搜索对象的视频内容,可以大大提高视频搜索和编辑效率。
图4为本发明中将视频描述文件导入搜索引擎的流程图。生成视频内容描述文件之后,就会建立起一个视频和该视频的内容描述文件的一一对应关系,而视频描述文件中又含有一个或多个视频对象记录,每一个视频对象记录包含这个视频对象的关键字和开始结束等关键信息,如果将视频描述文件中的视频对象指向某个具体的搜索引擎,就可以回返对这个视频对象关键字搜索的结果。对于该方法来说,实际上就是将内容描述文件的对象记录按时间先后将关键字导入到搜索引擎430或知识库(Wikipedia),并返回结果,以上过程可以自动完成,可以让用户在观看视频同时获取更多相关信息。这里视频播放模块和普通的视频播放器相同。
图5为本发明中视频和网页结合的播放器系统示意图,该系统包括视频播放模块、功能描述文件解析模块和浏览器模块:
视频和网页结合的播放器系统600可以通过视频播放模块610播放视频,并在视频播放的时候,通过功能描述文件解析模块620解析视频对应的功能描述文件,并根据功能描述文件中的URL取回网页,并将所述网页在浏览器模块630中播放;
视频播放模块具体包括视频解码程序,用于解析并播放视频文件,通过网络和视频资源库相连;其中视频资源库用于存储视频;
功能描述文件解析模块用于解析功能描述文件,解析出需要取回URL的位置,并和功能描述文件服务器520相连;其中功能描述文件服务器520用于存储功能描述文件;功能描述文件解析模块还和浏览器模块相连,将URL输入浏览器模块;
浏览器模块630用于浏览从URL取回的网页,这里URL可以是放在广告网站530中的某条广告地址。
图6为本发明中播放器示意图,包含视频播放界面650和Web界面640,这种界面最大特点就是播放器中含有Web界面,并且Web界面还会跟着视频对象的不断变化而变化。这一点是以视频为主导来驱动Web的改变,和现有的技术以Web为主导来驱动视频的改变有根本的区别。
图7为本发明中生成视频内容描述文件的编辑系统示意图,生成视频内容描述文件的编辑系统包括视频播放模块710和参数编辑模块720:
视频内容描述文件的编辑系统700,其功能在于可以通过打开视频文件,在视频播放的过程中对视频进行编辑,并生成视频内容描述文件;其中内容描述文件至少包括:视频中对象的关键字信息、视频中对象的开始和结束信息;
视频播放模块710至少包括播放视频功能,并且视频播放模块可以感知鼠标在视频中的点击位置和/或时间信息和/或帧位置信息,将位置和时间信息保存在内存中;并可以将点击位置和/或时间信息和/或帧位置信息显示在参数编辑模块720中,显示效果如图8中所示。视频播放模块710和视频资源库210相连用于获取视频,并且视频播放模块还和参数编辑模块720相连,将获取视频内参数传递到参数编辑模块;
参数编辑模块720至少包括关键字区域,用于输入视频内容对应的关键字信息;参数编辑模块可以从视频播放模块处获取视频内参数结合关键字信息可以生成内容描述文件230。这里关键字信息(视频外参数)来自手工输入设备730从编辑系统700的外部进行输入。生成的内容描述文件230可以保存在内容描述数据库240中。
利用图7系统编辑视频生成内容描述文件时,内容描述文件可以选择是否记录下视频对象在视频中的相对位置。对于记录下的视频对象的相对位置的情况,可以在利用图9中算法跟踪视频对象的运动轨迹。
对于不需要记录视频对象在视频中位置的情况,编辑时通常按以下步骤完成:
第一步,打开视频资源库中视频进行播放;
第二步,发现有价值的视频对象,例如有广告价值的任何视频对象,并暂停播放视频;
第三步,在参数编辑模块中获取视频对象出现信息,如时间,通过手工输入设备730输入关键字信息到参数编辑模块,然后继续播放视频,直到所述有价值的视频对象消失时,再次暂停,并在参数编辑模块中获取视频对象结束信息;
第四步,将所述有价值的视频对象和关键字以及开始和结束信息保存到内容描述文件,并形成关于所述有价值视频对象的一条记录。
对于需要记录视频对象在视频中位置的情况,编辑时通常按以下步骤完成:
第一步,打开视频资源库中视频进行播放;
第二步,发现有价值的视频对象,例如有广告价值的任何视频对象,并暂停播放视频;
第三步,在参数编辑模块中获取视频对象出现时间信息,并点击视频中视频对象的中心位置,获取视频对象在视频中的相对位置,并将其坐标保存到参数编辑模块中;
第四步,继续播放视频,发现视频对象运动方向有改变时,再次暂停,获取视频对象出现时间信息,并点击视频中视频对象中心位置,再次获取视频对象在视频中的相对位置,并将其时间信息和坐标保存到参数编辑模块中;
第五步,重复第四步,直到视频对象在视频中消失;
第六步,通过手工输入设备730输入关键字信息到参数编辑模块;
第七步,将所述有价值的视频对象、及其位置信息、关键字、开始和结束信息保存到内容描述文件,并形成关于所述有价值视频对象的一条记录。
图8为本发明中生成视频内容描述文件的编辑系统界面示意图。界面主要包括两部分,分别为视频播放界面820(后台有一套解码设备)和参数编辑界面810。视频播放界面可以通过开始、结束和暂停按钮来控制视频播放。而参数编辑界面主要显示来自视频播放的参数,包括视频对象开始和结束的时间、对象位置等信息,并且参数编辑界面还用来输入视频对象的关键字信息,例如,视频中出现一个车的对象时,可以在关键字中输入“车”。总体来说,参数编辑界面810要完成对视频对象的编辑,至少要包括关键字、对象位置、开始和结束等视频对象信息。然后才能将这些对象信息生成视频内容描述文件,并最终生成视频功能描述文件。如果为了方便起见也可以将视频功能描述信息在参数编辑界面中加入,例如,需要激活的URL的信息等,这样可以直接生成视频功能描述文件。
例如,图8中,车在时间0012:1211时出现在A(30,100)位置,车在时间0013:2019时出现在B(100,100)位置,就可以得到图8中参数编辑界面所能得到数据。
图9为本发明中视频对象运动轨迹拟合算法示意图。对于视频对象的跟踪,其目的只有一个,知道视频中对象的位置。有时候,对象的精确轮廓变的没有意义,因此本发明关注的是视频中对象的中心位置,并且可以通过这个中心位置对对象进行跟踪。图9中展示了一个矩形从在视频帧S1中A点出现,并沿C点、D点运动到了S2帧中B点的过程,其中A、B、C、D均为运动矩形的中点。XY坐标表示帧平面,T坐标表示时间轴,假设S1到S2帧之间还有数个帧,如何才能标记出矩形运动的轨迹呢?本发明使用二次线性内插的方法来解决。图10为视频对象运动轨迹平面投影示意图,将矩形的全部中心轨迹投影到XT平面会得到矩形运动中心沿X轴方向的投影在时间轴上构成的曲线。同理可以得到矩形中心在YT平面上投影曲线。而且可以记录下C点的时间坐标S3(及S3帧的位置,由于帧之间的时间差是一定的,帧的位置可以决定时间的相对位置),以及记录下D点的时间坐标S4。这样图10中XT平面的四个点就出现了:
(S1、Ax)、(S3、Cx)、(S4、Dx)、(S2、Bx)
然后采用内插公式将以上四点拟合为一条在XT平面上的连续曲线M,根据选取的内容方法不同可以得到不同的集合效果,例如,曲线三阶导数连续等。
采用同样的方法可以得到一条在YT平面上的连续曲线N。最后将XT中得到的拟合曲线M和在YT平面上的拟合曲线N,在坐标系XYT中合成,即可得到一条在XYT坐标系下连续的曲线L,L也可以大概表示出矩形的运动轨迹。由于这种运动轨迹的提取,可以使视频在播放时感知视频对象的位置,通过对视频的对象的感知,则可以在视频中建立跟踪视频对象的热点区域,这个区域为很多视频的引用提供的可能,例如,视频购物,我们可以通过点击视频中的对象,完成对视频的购买等。
本发明实施例所描述的技术可以用硬件、软件、或组合执行。如果用软件执行,则该技术可以直接指包含程序代码的计算机可读介质,该程序代码在对视频序列进行编码的设备中执行。在该种情况下,计算机可读介质可以包括RAM(Random Access Memory,随机存储器)、SDRAM(SynchronousDynamic RAM,同步动态随机存储器)、ROM(Read Only Memory,只读存储器)、NVRAM(non-volatile RAM非易失性随机存储器)、EEPROM(Electrically-Erasable Programmable Read-Only Memory,电可擦除只读存储器)、FLASH(闪存)等。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种处理视频的方法,其特征在于,包括以下步骤:
处理视频文件,生成和视频内容对应的内容描述文件;
处理所述内容描述文件,为内容描述文件中一条或多条记录添加功能描述,生成功能描述文件;
在视频播放前或视频播放中,解析所述功能描述文件,实现功能描述文件内的描述功能。
2.如权利要求1所述处理视频的方法,其特征在于,所述处理视频文件,生成和视频内容对应的内容描述文件,包括以下步骤:
打开视频文件;
记录下视频中具体对象的描述信息;
并把具体对象的描述信息形成记录保存到内容描述文件中;
所述内容描述文件可以是一个单独的生成文件或保存在内存中的文件,并可以将该文件整体或依次将每条记录上传到内容描述数据库进行存储。
3.如权利要求2所述处理视频的方法,其特征在于,所述记录下视频中具体对象的描述信息,至少包括:1)所述具体对象的关键字信息;2)所述具体对象的开始播放和结束播放信息;
所述具体对象的开始播放和结束播放信息可以表示为所述具体对象出现的开始帧和结束帧信息和/或所述具体对象出现的开始时间和结束时间信息;
所述记录下视频中具体对象的描述信息,还可以包括对象在视频帧中的位置信息和/或区域信息。
4.一种生成视频内容描述文件的编辑系统,其特征在于,包括视频播放模块和参数编辑模块:
所述视频内容描述文件的编辑系统,其功能在于可以通过打开视频文件,在视频播放的过程中对视频进行编辑,并生成视频内容描述文件;所述内容描述文件至少包括:视频中对象的关键字信息、视频中对象的开始和结束信息;
所述视频播放模块至少包括播放视频功能,并且视频播放模块可以感知鼠标在视频中的点击位置和/或时间信息和/或帧位置信息,并将位置和时间信息保存在内存中;所述视频播放模块和视频资源库相连用于获取视频,并且所述视频播放模块还和参数编辑模块相连,将获取视频内参数传递到参数编辑模块;
所述参数编辑模块至少包括关键字区域,用于输入视频内容对应的关键字信息;所述参数编辑模块可以从视频播放模块处获取视频内参数结合关键字信息可以生成内容描述文件。
5.一种通过网络获取功能描述信息,并生成功能描述文件的方法,其特征在于,包括以下步骤:
处理视频文件,生成和视频内容对应的内容描述文件;
将内容描述文件按记录保存到内容描述数据库中;
通过网页提供内容描述数据库的检索操作,并将被检索到的记录用网页形式提供给用户;
所述用户选择需要处理的条目,根据用户需求为该记录添加功能描述,并将增加的功能描述保存到内容描述数据库中;
处理内容描述数据库,生成和视频对应的功能描述文件。
6.一种视频中对象搜索的方法,其特征在于,包括以下步骤:
处理视频文件,记录下视频中具体对象的关键字信息、在视频中的开始和结束信息,并在内容描述文件中保存一条所述具体对象的记录;
将处理好的内容描述文件按记录保存在内容描述数据库中;
用户利用输入关键字的方法搜索内容描述数据库中关键字字段,返回命中的记录。
7.如权利要求6所述视频中对象搜索的方法,其特征在于,所述返回命中的记录中包括视频中某一具体对象在视频中的开始和结束信息;
提取所述具体对象在视频中的开始和结束信息,并播放所述具体对象在视频中出现到结束的片段。
8.一种将视频中对象导入搜索引擎的方法,其特征在于,包括以下步骤:
打开视频文件;
记录下视频中具体对象的关键字信息、在视频中的开始和结束信息,并在内容描述文件中保存一条所述具体对象的记录;
用户播放视频时,获取视频中具体对象的关键字信息、具体对象的开始和结束信息,并在所述具体对象在视频中出现到结束的这段时间内,将关键字信息导入搜索引擎,并返回搜索结果。
9.一种将视频和网页结合的播放器系统,其特征在于,包括视频播放模块、功能描述文件解析模块和浏览器模块:
所述将视频和网页结合的播放器系统,可以通过视频播放模块播放视频,并在视频播放的时候,通过功能描述文件解析模块解析视频对应的功能描述文件,并根据功能描述文件中的URL取回网页,并将所述网页在浏览器模块中播放;
视频播放模块具体包括视频解码程序,用于解析并播放视频文件,通过网络和视频资源库相连;所述视频资源库用于存储视频;
功能描述文件解析模块用于解析功能描述文件,解析出需要取回URL的位置,并和功能描述文件服务器相连;所述功能描述文件服务器用于存储功能描述文件;功能描述文件解析模块还和浏览器模块相连,将URL输入浏览器模块;
浏览器模块用于浏览从URL取回的网页。
10.一种在视频中跟踪运动对象的算法,其特征在于,包括以下步骤:
获取视频中连续运动对象在多个非连续帧中的参考点坐标,以及这多个参考点对应帧的时间坐标;
通过内插的方法,利用参考点坐标和时间参数,生成穿过所述参考点的连续曲线;所述连续曲线具有跟踪所述运动对象的性质。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101725060A CN101207807B (zh) | 2007-12-18 | 2007-12-18 | 一种处理视频的方法及其系统 |
PCT/CN2008/073564 WO2009082934A1 (fr) | 2007-12-18 | 2008-12-17 | Procédé de traitement vidéo et système associé |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101725060A CN101207807B (zh) | 2007-12-18 | 2007-12-18 | 一种处理视频的方法及其系统 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210210670.7A Division CN102708215B (zh) | 2007-12-18 | 2007-12-18 | 一种处理视频的方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101207807A true CN101207807A (zh) | 2008-06-25 |
CN101207807B CN101207807B (zh) | 2013-01-02 |
Family
ID=39567610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101725060A Active CN101207807B (zh) | 2007-12-18 | 2007-12-18 | 一种处理视频的方法及其系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN101207807B (zh) |
WO (1) | WO2009082934A1 (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009082934A1 (fr) * | 2007-12-18 | 2009-07-09 | Zhiping Meng | Procédé de traitement vidéo et système associé |
CN101625696A (zh) * | 2009-08-03 | 2010-01-13 | 孟智平 | 一种构造和生成网页中视频元素的方法及系统 |
CN101895536A (zh) * | 2010-06-30 | 2010-11-24 | 北京新媒传信科技有限公司 | 多媒体信息共享方法 |
CN102216945A (zh) * | 2008-08-21 | 2011-10-12 | 杜比实验室特许公司 | 通过媒体指纹进行联网 |
CN101489125B (zh) * | 2009-01-19 | 2012-02-15 | 孟智平 | 基于xml的视频控制方法及其系统 |
CN102354262A (zh) * | 2011-09-30 | 2012-02-15 | 奇智软件(北京)有限公司 | 客户端软件的节电控制方法及装置 |
CN102662970A (zh) * | 2012-03-09 | 2012-09-12 | 杭州海康威视数字技术股份有限公司 | 基于文本信息的录像搜索和录像采集控制方法及其系统 |
CN102685554A (zh) * | 2012-05-24 | 2012-09-19 | 北京国双科技有限公司 | 视频播放的处理方法和装置 |
CN102955809A (zh) * | 2011-08-26 | 2013-03-06 | 吴志刚 | 媒体文件编辑和播放的方法和系统 |
CN103020981A (zh) * | 2011-09-20 | 2013-04-03 | 佳都新太科技股份有限公司 | 一种基于视频运动目标的快速关键帧提取算法 |
CN103077191A (zh) * | 2012-12-21 | 2013-05-01 | 中金数据系统有限公司 | 自适应Web平台音频播放方法和装置 |
CN103080935A (zh) * | 2010-07-01 | 2013-05-01 | Sk普兰尼特有限公司 | 内容搜索服务系统和内容搜索服务方法 |
CN103369360A (zh) * | 2012-04-06 | 2013-10-23 | 瑞昱半导体股份有限公司 | 多媒体系统、多媒体信息显示装置及其信息传送方法 |
CN104883288A (zh) * | 2014-02-27 | 2015-09-02 | 北京风行在线技术有限公司 | 一种提供待发布信息的方法与装置 |
CN106385640A (zh) * | 2016-08-31 | 2017-02-08 | 北京旷视科技有限公司 | 视频标注方法及装置 |
CN106559678A (zh) * | 2015-09-28 | 2017-04-05 | 北京视连通科技有限公司 | 一种对数字视频进行结构化处理的方法 |
CN107027075A (zh) * | 2017-05-27 | 2017-08-08 | 邓骁磊 | 一种基于网络平台的在线视频播放器 |
CN108388584A (zh) * | 2018-01-26 | 2018-08-10 | 北京览科技有限公司 | 一种用于信息推荐的方法与装置 |
WO2018171234A1 (zh) * | 2017-03-24 | 2018-09-27 | 上海交通大学 | 视频的处理方法及装置 |
CN110309324A (zh) * | 2018-03-09 | 2019-10-08 | 北京搜狗科技发展有限公司 | 一种搜索方法及相关装置 |
CN110347869A (zh) * | 2019-06-05 | 2019-10-18 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
CN110909185A (zh) * | 2018-09-17 | 2020-03-24 | 国家新闻出版广电总局广播科学研究院 | 智能化广播电视节目制作方法及装置 |
CN111093101A (zh) * | 2018-10-23 | 2020-05-01 | 腾讯科技(深圳)有限公司 | 媒体文件的投放方法、装置、存储介质和电子装置 |
CN112019928A (zh) * | 2019-05-30 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 一种视频回放方法、装置及电子设备 |
WO2022166371A1 (zh) * | 2021-02-07 | 2022-08-11 | 华为技术有限公司 | 多景录像方法、装置及电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7010531B1 (en) * | 1999-11-24 | 2006-03-07 | Unisys Corporation | Method and apparatus for a web application server to create an empty data set in a repository with a specified dataset ID |
CN101035257B (zh) * | 2006-03-10 | 2010-06-16 | 孟智平 | 动态视频二维信息互动同步传输方法及系统 |
CN101072340B (zh) * | 2007-06-25 | 2012-07-18 | 孟智平 | 流媒体中加入广告信息的方法与系统 |
CN101154231B (zh) * | 2007-07-09 | 2011-06-29 | 孟智平 | 一种应用网页语义的方法和系统 |
CN101207807B (zh) * | 2007-12-18 | 2013-01-02 | 孟智平 | 一种处理视频的方法及其系统 |
-
2007
- 2007-12-18 CN CN2007101725060A patent/CN101207807B/zh active Active
-
2008
- 2008-12-17 WO PCT/CN2008/073564 patent/WO2009082934A1/zh active Application Filing
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009082934A1 (fr) * | 2007-12-18 | 2009-07-09 | Zhiping Meng | Procédé de traitement vidéo et système associé |
CN101207807B (zh) * | 2007-12-18 | 2013-01-02 | 孟智平 | 一种处理视频的方法及其系统 |
US9684907B2 (en) | 2008-08-21 | 2017-06-20 | Dolby Laboratories Licensing Corporation | Networking with media fingerprints |
CN102216945A (zh) * | 2008-08-21 | 2011-10-12 | 杜比实验室特许公司 | 通过媒体指纹进行联网 |
CN102216945B (zh) * | 2008-08-21 | 2013-04-17 | 杜比实验室特许公司 | 通过媒体指纹进行联网 |
CN101489125B (zh) * | 2009-01-19 | 2012-02-15 | 孟智平 | 基于xml的视频控制方法及其系统 |
CN101625696A (zh) * | 2009-08-03 | 2010-01-13 | 孟智平 | 一种构造和生成网页中视频元素的方法及系统 |
CN101895536A (zh) * | 2010-06-30 | 2010-11-24 | 北京新媒传信科技有限公司 | 多媒体信息共享方法 |
CN103080935B (zh) * | 2010-07-01 | 2015-07-08 | Sk普兰尼特有限公司 | 内容搜索服务系统和内容搜索服务方法 |
CN103080935A (zh) * | 2010-07-01 | 2013-05-01 | Sk普兰尼特有限公司 | 内容搜索服务系统和内容搜索服务方法 |
CN102955809A (zh) * | 2011-08-26 | 2013-03-06 | 吴志刚 | 媒体文件编辑和播放的方法和系统 |
CN103020981A (zh) * | 2011-09-20 | 2013-04-03 | 佳都新太科技股份有限公司 | 一种基于视频运动目标的快速关键帧提取算法 |
CN102354262A (zh) * | 2011-09-30 | 2012-02-15 | 奇智软件(北京)有限公司 | 客户端软件的节电控制方法及装置 |
CN102354262B (zh) * | 2011-09-30 | 2014-08-27 | 奇智软件(北京)有限公司 | 客户端软件的节电控制方法及装置 |
CN102662970B (zh) * | 2012-03-09 | 2016-01-13 | 杭州海康威视数字技术股份有限公司 | 基于文本信息的录像搜索和录像采集控制方法及其系统 |
CN102662970A (zh) * | 2012-03-09 | 2012-09-12 | 杭州海康威视数字技术股份有限公司 | 基于文本信息的录像搜索和录像采集控制方法及其系统 |
CN103369360A (zh) * | 2012-04-06 | 2013-10-23 | 瑞昱半导体股份有限公司 | 多媒体系统、多媒体信息显示装置及其信息传送方法 |
CN102685554B (zh) * | 2012-05-24 | 2015-09-30 | 北京国双科技有限公司 | 视频播放的处理方法和装置 |
CN102685554A (zh) * | 2012-05-24 | 2012-09-19 | 北京国双科技有限公司 | 视频播放的处理方法和装置 |
CN103077191A (zh) * | 2012-12-21 | 2013-05-01 | 中金数据系统有限公司 | 自适应Web平台音频播放方法和装置 |
CN103077191B (zh) * | 2012-12-21 | 2015-11-18 | 中金数据系统有限公司 | 自适应Web平台音频播放方法和装置 |
CN104883288A (zh) * | 2014-02-27 | 2015-09-02 | 北京风行在线技术有限公司 | 一种提供待发布信息的方法与装置 |
CN106559678A (zh) * | 2015-09-28 | 2017-04-05 | 北京视连通科技有限公司 | 一种对数字视频进行结构化处理的方法 |
CN106385640A (zh) * | 2016-08-31 | 2017-02-08 | 北京旷视科技有限公司 | 视频标注方法及装置 |
CN106385640B (zh) * | 2016-08-31 | 2020-02-11 | 北京旷视科技有限公司 | 视频标注方法及装置 |
WO2018171234A1 (zh) * | 2017-03-24 | 2018-09-27 | 上海交通大学 | 视频的处理方法及装置 |
CN107027075A (zh) * | 2017-05-27 | 2017-08-08 | 邓骁磊 | 一种基于网络平台的在线视频播放器 |
WO2019144848A1 (zh) * | 2018-01-26 | 2019-08-01 | 北京一览科技有限公司 | 一种用于信息推荐的方法与装置 |
CN108388584A (zh) * | 2018-01-26 | 2018-08-10 | 北京览科技有限公司 | 一种用于信息推荐的方法与装置 |
CN110309324B (zh) * | 2018-03-09 | 2024-03-22 | 北京搜狗科技发展有限公司 | 一种搜索方法及相关装置 |
CN110309324A (zh) * | 2018-03-09 | 2019-10-08 | 北京搜狗科技发展有限公司 | 一种搜索方法及相关装置 |
CN110909185B (zh) * | 2018-09-17 | 2022-08-05 | 国家广播电视总局广播电视科学研究院 | 智能化广播电视节目制作方法及装置 |
CN110909185A (zh) * | 2018-09-17 | 2020-03-24 | 国家新闻出版广电总局广播科学研究院 | 智能化广播电视节目制作方法及装置 |
CN111093101A (zh) * | 2018-10-23 | 2020-05-01 | 腾讯科技(深圳)有限公司 | 媒体文件的投放方法、装置、存储介质和电子装置 |
CN112019928A (zh) * | 2019-05-30 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 一种视频回放方法、装置及电子设备 |
CN112019928B (zh) * | 2019-05-30 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 一种视频回放方法、装置及电子设备 |
CN110347869B (zh) * | 2019-06-05 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
CN110347869A (zh) * | 2019-06-05 | 2019-10-18 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
WO2022166371A1 (zh) * | 2021-02-07 | 2022-08-11 | 华为技术有限公司 | 多景录像方法、装置及电子设备 |
CN114915745A (zh) * | 2021-02-07 | 2022-08-16 | 华为技术有限公司 | 多景录像方法、装置及电子设备 |
CN114915745B (zh) * | 2021-02-07 | 2023-11-03 | 华为技术有限公司 | 多景录像方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2009082934A1 (fr) | 2009-07-09 |
CN101207807B (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101207807B (zh) | 一种处理视频的方法及其系统 | |
US9743136B2 (en) | System and method for the presentation of alternative content to viewers of video content | |
US9900273B2 (en) | Coordinated deep tagging of media content with community chat postings | |
US7913157B1 (en) | Method and system for the authoring and playback of independent, synchronized media through the use of a relative virtual time code | |
US9788084B2 (en) | Content-object synchronization and authoring of dynamic metadata | |
US20020053078A1 (en) | Method, system and computer program product for producing and distributing enhanced media downstreams | |
US20080300894A1 (en) | Television Audience Targeting Online | |
US20130014155A1 (en) | System and method for presenting content with time based metadata | |
CN102708215B (zh) | 一种处理视频的方法及其系统 | |
CN101772777A (zh) | 视频中的文本和视觉交互广告 | |
US20060101065A1 (en) | Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program | |
JP2003157288A (ja) | 情報関連付け方法、端末装置、サーバ装置、プログラム | |
CN105230035A (zh) | 用于选择的时移多媒体内容的社交媒体的处理 | |
US20200250369A1 (en) | System and method for transposing web content | |
US20110153417A1 (en) | Networking With Media Fingerprints | |
US20080288551A1 (en) | Method and System for Updating User Profiles | |
CN107105030A (zh) | 推广内容推送方法及装置 | |
KR101140318B1 (ko) | 동영상 정보에 대응되어 저장되는 상업적 태그 등의 메타정보 기반 키워드 광고 서비스 방법 및 그 서비스를 위한시스템 | |
Chorianopoulos | Virtual television channels: Conceptual model, user interface design and affective usability evaluation | |
US8745650B1 (en) | Content segment selection based on time-shifted content viewing | |
KR20110043568A (ko) | 동영상 정보에 대응되어 저장되는 상업적 태그 등의 메타 정보 기반 키워드 광고 서비스 방법 및 그 서비스를 위한 시스템 | |
TW201322740A (zh) | 數位化電視廣告產品資訊顯示系統、方法及其記錄媒體 | |
KR20150030185A (ko) | 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
JP2007037031A (ja) | 編集装置及び編集方法 | |
Kaiser et al. | Metadata-driven interactive web video assembly |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |