CN103986980B - 一种超媒体编辑制作方法及系统 - Google Patents

一种超媒体编辑制作方法及系统 Download PDF

Info

Publication number
CN103986980B
CN103986980B CN201410240279.0A CN201410240279A CN103986980B CN 103986980 B CN103986980 B CN 103986980B CN 201410240279 A CN201410240279 A CN 201410240279A CN 103986980 B CN103986980 B CN 103986980B
Authority
CN
China
Prior art keywords
hot
zone
frame
file
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410240279.0A
Other languages
English (en)
Other versions
CN103986980A (zh
Inventor
史萍
潘达
黄鹤
张俏
丛大杰
杨来文
周达希
田芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201410240279.0A priority Critical patent/CN103986980B/zh
Publication of CN103986980A publication Critical patent/CN103986980A/zh
Application granted granted Critical
Publication of CN103986980B publication Critical patent/CN103986980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种超媒体编辑制作方法及系统,涉及视频编辑制作领域。该系统用于对传统的视频节目进行超媒体编辑,即在视频节目中选取特定的视频对象,为其添加由多媒体对象组成的标注信息,最终将视频节目、多媒体对象以及结构说明文件封装形成超媒体文件。本发明由热区编辑模块、多媒体编辑模块、工程管理模块、检索模块、封装模块和回放模块组成。相比于传统的视频节目,依据本发明制作的超媒体节目将会极大地提高观众获得的信息量,满足观众的观看需求。

Description

一种超媒体编辑制作方法及系统
技术领域
本发明涉及视频编辑制作领域,具体涉及一种超媒体编辑制作方法及系统,可以对传统的视频节目进行超媒体编辑,即在视频节目中选取特定视频对象,为其添加由多媒体对象组成的标注信息,最终将视频节目、多媒体对象以及结构说明文件封装成超媒体文件。
背景技术
由于计算机、数据库和通信技术的迅速发展,信息以爆炸的方式不断增加,当今社会已成为一个信息社会。信息呈现的方式逐渐在改变,从文本到图像再到视频,信息量随之不断地增加,但仍然无法满足大众的需求。人们不再局限于现有媒体,而需要一种信息量更加丰富、表现形式更为灵活的超媒体。目前已有的超媒体信息服务系统是将与节目相关的交互式超媒体信息和电视信号同时广播,用户端接收机附加装置在用户的控制下显示交互式提示信息,根据超媒体链接信息从因特网获取进一步的信息和服务,根据节目分类编码信息实现电视节目的快速查询和自动选取。该系统的主要局限在于所传送的交互式超媒体信息只是对节目整体进行描述,例如节目内容简介等,并没有深入到节目内部对某些视频对象或场景进行描述。针对这一问题,本发明所给出的超媒体编辑制作系统给出了很好的解决方案。观众在观看本系统编辑制作的超媒体节目时,不仅可以看到视频节目本身所含的内容,还可以通过交互方式看到视频节目中某些对象的相关信息,从而为观众提供了更丰富的内容资讯以及更灵活的内容展现方式。
发明内容
本发明的目的在于提供一种超媒体编辑制作系统,该系统用于对传统的视频节目进行超媒体编辑,即在主视频节目中选取特定的视频对象,为其添加由多媒体对象组成的标注信息,从而将传统的视频节目编辑制作为超媒体节目。相较于传统的视频节目,本发明制作的超媒体节目将会极大地提高观众获得的信息量,满足观众的观看需求。
本发明是采用以下技术手段实现的:
1、一种超媒体编辑制作系统,其特征在于,包括:
热区编辑模块、多媒体编辑模块、工程管理模块、检索模块、封装模块和回放模块。
热区编辑模块:用于浏览需要进行超媒体编辑的视频节目(以下称其为主视频),选定需要添加多媒体标注信息的视频对象,对其进行热区编辑。热区编辑包括确定热区存在的时间范围(以下称其为热区时间段),在热区时间段内设定关键帧,在关键帧中框定热区框,对热区框进行修改及删除操作。最后将热区的空间、时间属性保存到热区描述文件中;
多媒体编辑模块:用于选取多媒体对象,包括视频、音频、图片、文本、超链接。将多媒体对象放入多媒体画板中进行编辑,形成多媒体标注,同时将多媒体标注中媒体对象的类型、位置、大小、字体属性保存到多媒体描述文件中。每一个多媒体描述文件都对应一个热区,将多媒体描述文件的地址作为热区的一项属性保存在热区描述文件中,由此可建立多媒体描述文件与热区的关联关系;
工程管理模块:将主视频平均分成M[1,1000]个段落。视频分段自动完成,默认每10分钟分为一段,也可根据需要调整视频分段时间。如果一段热区刚好跨越两个视频段落,而热区不能被切分,这时需要寻找该热区的首帧和末帧时间,判断哪个时间与原视频分段时间点最接近,则视频分段时间点更改为这一时间,这两个视频段落的时间也相应改变。将主视频的文件地址、分段个数及每个段落的起止时间保存在主视频描述文件中,将同一段落的所有热区描述文件整合成一个段落描述文件,而每一热区又对应一个多媒体描述文件,由此形成了三级描述文件结构,即主视频描述文件,段落描述文件和多媒体描述文件;
检索模块:用于为多媒体编辑模块提供素材,包括视频、音频、图片、文本和已编辑好的多媒体标注;
封装模块:用于将主视频、多媒体标注中的媒体对象以及各级描述文件封装成超媒体文件,超媒体文件采用MXF格式;
回放模块:用于对超媒体文件进行解析,播放主视频,提示热区,显示与热区相关联的多媒体标注。
2、所述一种超媒体编辑制作系统的一种超媒体编辑制作方法,特征在于包括如下步骤:
步骤2.1:打开并播放主视频,视频格式包括{avi、wmv、mov、mp4、mpg}格式。选定一个需要添加多媒体标注信息的视频对象,后续步骤将对该视频对象进行热区编辑。设定热区时间段;
步骤2.2:在热区时间段内选择N[1,1000]个关键帧,其中热区时间段的首帧和末帧须为关键帧。在关键帧中,通过人工方式对选定的视频对象进行热区框选,即以矩形框的形式标定视频对象的热区范围,该矩形框称为热区框。在非关键帧中,热区框可自动生成,即热区框的位置由前后相距最近的两个关键帧中热区框的位置按照匀速直线运动轨迹线计算得出,热区框的大小由前后相距最近的两个关键帧中热区框的大小按照线性变换计算得出,方法如下:
设Fc为一非关键帧,tc是与之对应的时间。F1和F2分别是Fc之前和之后距离Fc最近的两个关键帧,对应的时间分别为t1和t2。设F1中热区框的中心坐标点为(x1,y1),宽和高分别为w1和h1,F2中热区框的中心坐标点为(x2,y2),宽和高分别为w2和h2。则非关键帧Fc中热区框的中心坐标点(xc,yc)、宽wc和高hc的计算方法如下:
步骤2.3:选择与热区视频对象相关联的多媒体对象,在多媒体画板中进行编辑,形成多媒体标注,并生成相应的多媒体描述文件,多媒体描述文件采用XML格式;
步骤2.4:将多媒体描述文件地址保存为热区的一个属性,完成与选定热区的关联,并指定回放端多媒体标注显示窗口的位置。将热区所含的所有关键帧的时间、每个关键帧中热区框的中心点坐标和宽高、所关联的多媒体描述文件地址、多媒体标注显示窗口位置信息保存,生成热区描述文件,热区描述文件采用XML格式;
步骤2.5:将主视频进行段落分割,默认每十分钟分为一个段落。将主视频的文件地址、分段个数及每个段落的起止时间保存在主视频描述文件中,将同一段落中的热区描述文件中的热区信息保存到段落描述文件中,主视频描述文件和段落描述文件均采用XML格式;
步骤2.6:将主视频、多媒体标注中的媒体对象以及各类描述文件封装成超媒体文件,超媒体文件格式采用MXF格式。
所述一种超媒体编辑制作系统,其特征在于,
描述文件是一种三级结构,从上到下分别为主视频描述文件、段落描述文件和多媒体描述文件。描述文件采用XML格式。主视频描述文件由两层组成。第一层描述主视频的文件地址及分段个数;第二层描述每个段落的起止时间。段落描述文件由三层组成。第一层描述视频段落的起止时间和热区数;第二层描述每个热区时间段的起止时间、关键帧数、与热区相关联的多媒体描述文件地址以及回放端用于显示多媒体标注的窗口位置;第三层描述每个关键帧的时间以及关键帧中热区框的大小及位置。多媒体描述文件只有一层结构,描述了矩形图元的媒体地址、媒体类型以及位置和大小,同时还描述了文本图元的媒体类型、位置和大小、文本内容及字体属性。
所述一种超媒体编辑制作系统,其特征在于,
所述超媒体文件采用MXF格式,MXF的基本结构为KLV结构,KLV结构有三个属性分别为键值Key、长度Length和取值Value,将主视频、多媒体对象以及各级描述文件按照KLV编码结构存储到MXF文件中,其中键值变量为字符串格式,用来记录文件名;长度变量为无符号32位整数类型,记录文件长度;取值变量为RAW类型,即原始图像编码数据类型,用来记录各类型文件的数据内容。
与现有技术相比,本发明具有以下优点:
本发明提出了一种信息传播和呈现的新思路,将传统的视频节目制作为超媒体节目,弥补了传统视频节目信息单一的缺点。依据本发明,观众观看视频节目时可以通过点击感兴趣目标,得到关于该目标的多媒体标注信息,极大地丰富了信息含量,满足了观众的观看需求。本发明同时定义了规范的文件描述格式,采用多级文件结构,既适应了流媒体文件的传输需要,又提高了后台结构遍历查询的效率。
附图说明
图1超媒体编辑制作系统框图;
图2多媒体描述文件图元结构;
图3热区信息结构图;
图4描述文件层次结构图;
图5主视频描述文件节点结构图;
图6段落描述文件节点结构图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明。
本发明所述系统的组成如图1所示,包括:热区编辑模块、多媒体编辑模块、工程管理模块、检索模块、封装模块和回放模块。
下面以一段2013年美网女单半决赛李娜vs小威廉姆斯的视频为例,具体说明超媒体节目的编辑制作方法。
步骤1:找到需要添加多媒体标注信息的视频对象,确定热区时间段。
浏览该视频,针对该视频的内容特点选择视频对象。例如,我们可以选择李娜为视频对象。找出李娜出现的视频段,选择其中适合做热区编辑的段落,即热区时间段。热区时间段的选择依据是:视频对象出现的时间较长,一般在15秒到2分钟之间。另外在热区时间段中每一帧画面都有视频对象出现,中间没有镜头转换。
步骤2:设定热区的关键帧,在关键帧中框选热区框。
默认热区时间段的首帧和末帧为关键帧。将视频播放到热区时间段的首帧和末帧,分别在这两帧画面中用鼠标在李娜脸部区域框出矩形框。热区时间段内的其他帧为非关键帧,其热区框的位置和大小由以下方法计算得出。
设Fc为一非关键帧,tc是与之对应的时间。F1和F2分别是Fc之前和之后距离Fc最近的两个关键帧,对应的时间分别为t1和t2。设F1中热区框的中心坐标点为(x1,y1),宽和高分别为w1和h1,F2中热区框的中心坐标点为(x2,y2),宽和高分别为w2和h2。则非关键帧Fc中热区框的中心坐标点(xc,yc)、宽wc和高hc的计算公式如下:
即默认热区框的运动是匀速直线运动。当李娜在画面中的移动为非线性运动或者速度不均匀时,热区框将偏离李娜的脸部区域,这时需要添加关键帧来解决跟踪偏离问题。可将李娜改变运动方向和速度发生变化时的视频帧添加为关键帧,手动调整热区框的位置和大小。同时也可以利用热区回放功能,观察热区框跟踪李娜脸部的效果,当热区框发生较大偏离时(一般指偏离量超过10%),暂停视频,将此帧添加为关键帧,移动热区框位置并适当改变大小,使得热区框刚好框住李娜脸部。所有关键帧添加完成后,在内存中会记录每个关键帧的时间,以及关键帧中热区框的位置和大小。
步骤3:编辑多媒体标注,生成多媒体描述文件。
多媒体标注是热区所关联的内容,可为视频对象提供更丰富的信息。针对李娜这一视频对象,首先可选择一些与李娜相关的多媒体文件,包括视频、音频、图片、文本和超链接。这些多媒体文件既可以来自外部文件夹,也可以来自于系统自带的多媒体数据库。其次将这些多媒体文件添加到多媒体画板中。这些文件在多媒体画板中以图元的形式出现,图元的外框形状为矩形,图元的外框内填充的内容根据不同媒体类型而定。当多媒体文件为视频时,图元内填充该视频,点击后可播放该视频。当多媒体文件为图片时,图元内填充该图片。当多媒体文件为音频时,图元内填充默认代表音频的图标,点击后可播放该音频。当多媒体文件为文本和超链接时,图元内填充文本框,文本框中显示文字或者网址。在多媒体画板中,图元可以被移动、改变长和宽。当图元内填充的内容为文本框时,还可以改变文本框中文字的字体、字号、字形、字重、拉伸和颜色信息。编辑者可根据观看和设计需要改变图元属性信息,将图元适当布局,形成多媒体标注,并生成多媒体描述文件。
多媒体描述文件采用XML格式,即可扩展标记语言,该语言最大的特点是利于传输和存储数据。XML文件以节点顺序排列组成,每一个节点都有起始和结束标签,标签可以嵌套,即一个节点可由若干节点组成。多媒体描述文件每个图元对应一个节点,其图元结构如图2所示。图元包括两类:矩形类图元和文本图元。当媒体类型为视频、音频、图片时,该图元为矩形类图元,其属性包含媒体类型、媒体地址、媒体呈现位置及大小。当媒体类型为文本和超链接时,该图元为文本图元,其属性包含媒体类型、文本内容以及文本字体属性信息。
步骤4:将多媒体标注与热区进行关联,生成热区描述文件。
将编辑好的多媒体标注与热区相关联。方法是将多媒体描述文件的地址保存为热区的一个属性。此外,在回放端,多媒体标注内容是以小窗口的形式叠加在视频画面中,为了避免小窗口遮挡到视频画面中的主要内容,在编辑时就可根据画面的空余程度,确定小窗口出现的位置。窗口的位置有四种选择,分别为视频画面的左上角、右上角、左下角和右下角。小窗口的位置信息也保存为热区的一个属性。
将热区信息保存在热区描述文件中。热区信息构成如图3所示,包括:热区时间段、关键帧信息、多媒体描述文件地址和热区窗口位置信息。关键帧信息在步骤2中有说明。热区描述文件也采用XML文件格式。
到这步为止,对视频对象李娜所进行的热区编辑已完成。如需再对其他视频对象进行热区编辑,重复上述步骤1-步骤4。
步骤5:生成主视频描述文件,段落描述文件,形成多级描述结构。
为了适应流媒体文件的传输需要,同时提高后台结构遍历查询的效率,将主视频分成若干段落,并将主视频信息和段落信息保存为XML格式文件,形成主视频描述文件、段落描述文件。视频分段自动完成,默认每10分钟分为一段,也可根据需要调整视频分段时间。如果一段热区刚好跨越两个视频段落,而热区不能被切分,这时需要寻找该热区的首帧和末帧时间,判断哪个时间与原视频分段时间点最接近,则视频分段时间点更改为这一时间,这两个视频段落的时间也相应改变。
主视频描述文件中保存了主视频的相关信息,包括主视频的文件地址、分段个数及每个段落的起止时间。提取同一段落的热区描述文件的热区信息,保存到段落描述文件中。热区描述文件仅为中间文件,后续将不再保存。而每一热区又对应一个多媒体描述文件,因此描述文件分为三级,如图4所示,从上到下分别为主视频描述文件、段落描述文件和多媒体描述文件。主视频描述文件的层次结构如图5所示,由两层节点组成。第一层节点描述主视频的文件地址及分段个数;第二层节点描述每个段落的起止时间。段落描述文件的层次结构如图6所示,由三层节点组成。第一层节点描述视频段落的起止时间和热区数;第二层节点描述每个热区时间段的起止时间、关键帧数、与热区相关联的多媒体描述文件地址以及回放端用于显示多媒体标注的窗口位置;第三层节点描述每个关键帧的时间以及关键帧中热区框的大小及位置。多媒体描述文件只包含一层节点即图元,图元结构如图5所示,描述了矩形图元的媒体地址、媒体类型以及位置和大小,和文本图元的媒体类型、位置和大小、文本内容及字体属性。
步骤6:将主视频、所有热区对应的多媒体标注中的多媒体对象、各级描述文件封装成超媒体文件,采用MXF文件格式进行封装。
MXF文件分为文件头,文件体和文件尾三部分。MXF文件使用KLV编码结构,即MXF的基本结构是KLV结构。KLV结构的三个属性分别为键值(Key)、长度(Length)和取值(Value)。由于需要封装的文件有多种格式,我们定义了一种通用的结构。结构名为UltraMedia,它的键值值由用户自己定义,长度为整个结构体的长度,取值里面又包含一个KLV结构,这个KLV结构的三个属性分别为UltraMediaName、UltraMediaLength、UltraMediaValue。其中UltraMediaName为字符串格式,用来记录文件名;UltraMediaLength为uint32类型,记录文件长度;UltraMediaValue为RAW类型,用来记录文件内容。考虑到文件类型可通过截取文件名结尾处若干个字符得到,因此没有定义类型变量,因此这一结构可以涵盖所有格式文件。
即封装过程为,针对需要封装的每一个文件,系统将其文件的文件名、文件长度和文件内容等信息存储在KLV编码结构中,放入MXF文件中。
步骤7:播放超媒体节目。
打开并播放超媒体文件,验证超媒体节目的编辑效果。
根据描述文件的名称找到主视频描述文件,获得主视频地址和各视频分段的时间。依次解析段落描述文件,得到每个热区时间段的关键帧个数、关键帧时间、关键帧中热区框的位置和大小信息、所关联的多媒体描述文件地址、多媒体标注显示窗口位置。在关键帧中根据段落描述文件中的热区框位置及大小信息重现热区框,在非关键帧中按照步骤2中所提到的方法自动生成并重现热区框。寻找并解析多媒体描述文件,获得多媒体标注中多媒体对象的位置及大小信息,判断鼠标是否处在热区位置,如果是,则以小窗口的形式展现多媒体标注内容,小窗口的位置由前面解析出来的多媒体窗口位置决定。小窗口中设有控制按钮,用于控制多媒体标注中视频的播放、暂停、停止和静音以及音频的播放和暂停。多媒体标注显示窗口可以移动、缩放和关闭,为观看者提供更多的自由度和选择性。
最后应说明的是:以上示例仅用以说明本发明而并非限制本发明所描述的技术方案;因此,尽管本说明书参照上述的示例对本发明已进行了详细的说明,但是本领域的普通技术人员应当理解,仍然可以对本发明进行修改或等同替换;而一切不脱离发明的精神和范围的技术方案及其改进,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种超媒体编辑制作系统,其特征在于,包括:
热区编辑模块、多媒体编辑模块、工程管理模块、检索模块、封装模块和回放模块;
热区编辑模块:用于浏览需要进行超媒体编辑的视频节目,以下称其为主视频,选定需要添加多媒体标注信息的视频对象,对其进行热区编辑,热区编辑包括确定热区存在的时间范围,以下称其为热区时间段,在热区时间段内设定关键帧,在关键帧中框定热区框,对热区框进行修改及删除操作;最后将热区的空间、时间属性保存到热区描述文件中,其中,在热区时间段内选择N[1,1000]个关键帧,其中热区时间段的首帧和末帧须为关键帧;在关键帧中,通过人工方式对选定的视频对象进行热区框选,即以矩形框的形式标定视频对象的热区范围,该矩形框称为热区框;在非关键帧中,热区框可自动生成,即热区框的位置由前后相距最近的两个关键帧中热区框的位置按照匀速直线运动轨迹计算得出,热区框的大小由前后相距最近的两个关键帧中热区框的大小按照线性变换计算得出,方法如下:
设Fc为一非关键帧,tc是与之对应的时间,F1和F2分别是Fc之前和之后距离Fc最近的两个关键帧,对应的时间分别为t1和t2,设F1中热区框的中心坐标点的横纵坐标分别为x1和y1,宽和高分别为w1和h1;F2中热区框的中心坐标点的横纵坐标分别为x2和y2,宽和高分别为w2和h2;则非关键帧Fc中热区框的中心坐标点的横纵坐标分别为xc和yc,宽和高分别为wc和hc的计算方法如下:
x c = t c - t 1 t 2 - t 1 ( x 2 - x 1 ) + x 1
y c = t c - t 1 t 2 - t 1 ( y 2 - y 1 ) + y 1
w c = t c - t 1 t 2 - t 1 ( w 2 - w 1 ) + w 1
h c = t c - t 1 t 2 - t 1 ( h 2 - h 1 ) + h 1 ;
多媒体编辑模块:用于选取多媒体对象,包括视频、音频、图片、文本、超链接;将多媒体对象放入多媒体画板中进行编辑,形成多媒体标注,同时将多媒体标注中媒体对象的类型、位置、大小、字体属性保存到多媒体描述文件中;每一个多媒体描述文件都对应一个热区,将多媒体描述文件的地址作为热区的一项属性保存在热区描述文件中,由此可建立多媒体描述文件与热区的关联关系;
工程管理模块:将主视频平均分成M[1,1000]个段落,视频分段自动完成,默认每10分钟分为一段,也可根据需要调整视频分段时间;如果一段热区刚好跨越两个视频段落,而热区不能被切分,这时需要寻找该热区的首帧和末帧时间,判断哪个时间与原视频分段时间点最接近,则视频分段时间点更改为这一时间,这两个视频段落的时间也相应改变;将主视频的文件地址、分段个数及每个段落的起止时间保存在主视频描述文件中,将同一段落的所有热区描述文件整合成一个段落描述文件,而每一热区又对应一个多媒体描述文件,由此形成了三级描述文件结构,即主视频描述文件,段落描述文件和多媒体描述文件;
检索模块:用于为多媒体编辑模块提供素材,包括视频、音频、图片、文本和已编辑好的多媒体标注;
封装模块:用于将主视频、多媒体标注中的媒体对象以及各级描述文件封装成超媒体文件,超媒体文件采用MXF格式;
回放模块:用于对超媒体文件进行解析,播放主视频,提示热区,显示与热区相关联的多媒体标注。
2.如权利要求1所述的一种超媒体编辑制作系统的一种超媒体编辑制作方法,特征在于包括如下步骤:
步骤2.1:打开并播放主视频,视频格式包括:avi、wmv、mov、mp4、mpg;选定一个需要添加多媒体标注信息的视频对象,后续步骤将对该视频对象进行热区编辑;设定热区时间段;
步骤2.2:在热区时间段内选择N[1,1000]个关键帧,其中热区时间段的首帧和末帧须为关键帧;在关键帧中,通过人工方式对选定的视频对象进行热区框选,即以矩形框的形式标定视频对象的热区范围,该矩形框称为热区框;在非关键帧中,热区框可自动生成,即热区框的位置由前后相距最近的两个关键帧中热区框的位置按照匀速直线运动轨迹计算得出,热区框的大小由前后相距最近的两个关键帧中热区框的大小按照线性变换计算得出,方法如下:
设Fc为一非关键帧,tc是与之对应的时间,F1和F2分别是Fc之前和之后距离Fc最近的两个关键帧,对应的时间分别为t1和t2,设F1中热区框的中心坐标点的横纵坐标分别为x1和y1,宽和高分别为w1和h1;F2中热区框的中心坐标点的横纵坐标分别为x2和y2,宽和高分别为w2和h2;则非关键帧Fc中热区框的中心坐标点的横纵坐标分别为xc和yc,宽和高分别为wc和hc的计算方法如下:
x c = t c - t 1 t 2 - t 1 ( x 2 - x 1 ) + x 1
y c = t c - t 1 t 2 - t 1 ( y 2 - y 1 ) + y 1
w c = t c - t 1 t 2 - t 1 ( w 2 - w 1 ) + w 1
h c = t c - t 1 t 2 - t 1 ( h 2 - h 1 ) + h 1
步骤2.3:选择与热区视频对象相关联的多媒体对象,在多媒体画板中进行编辑,形成多媒体标注,并生成相应的多媒体描述文件,多媒体描述文件采用XML格式;
步骤2.4:将多媒体描述文件地址保存为热区的一个属性,完成与选定热区的关联,并指定回放端多媒体标注显示窗口的位置;将热区所含的所有关键帧的时间、每个关键帧中热区框的中心点坐标和宽高、所关联的多媒体描述文件地址、多媒体标注显示窗口位置信息保存到热区描述文件,热区描述文件采用XML格式;
步骤2.5:将主视频进行段落分割,默认每十分钟分为一个段落;将主视频的文件地址、分段个数及每个段落的起止时间保存在主视频描述文件中,将同一段落中的热区描述文件中的热区信息保存到段落描述文件中,主视频描述文件和段落描述文件均采用XML格式;
步骤2.6:将主视频、多媒体标注中的媒体对象以及各类描述文件封装成超媒体文件,超媒体文件格式采用MXF格式。
3.如权利要求2所述的超媒体编辑制作方法,其特征在于:
关键帧是热区时间段内由人工设定的视频帧,用于热区选定及热区跟踪,热区时间段的首帧和末帧须设为关键帧,视频对象改变运动方向或者运动速度变化时的视频帧可设为关键帧,关键帧中的热区框由人工框定,关键帧的时间以及关键帧中热区框的位置和大小信息保存在热区描述文件中。
4.如权利要求2所述的超媒体编辑制作方法,其特征在于:
非关键帧是热区时间段内除关键帧之外的视频帧,非关键帧中的热区框由前后相距最近的两个关键帧中的热区框参数计算得出,非关键帧的时间以及非关键帧中热区框的位置和大小信息不予保存。
5.如权利要求2所述的超媒体编辑制作方法,其特征在于:
描述文件均采用XML格式,分为三级结构,从上到下分别为主视频描述文件、段落描述文件和多媒体描述文件,描述文件采用XML格式,主视频描述文件由两层组成,第一层描述主视频的文件地址及分段个数,第二层描述每个段落的起止时间;段落描述文件由三层组成,第一层描述视频段落的起止时间和热区数,第二层描述每个热区时间段的起止时间、关键帧数、与热区相关联的多媒体描述文件地址以及回放端用于显示多媒体标注的窗口位置,第三层描述每个关键帧的时间以及关键帧中热区框的大小及位置;多媒体描述文件只有一层结构,描述了矩形图元的媒体地址、媒体类型以及位置和大小,同时还描述了文本图元的媒体类型、位置和大小、文本内容及字体属性。
6.如权利要求2所述的超媒体编辑制作方法,其特征在于:
超媒体文件采用MXF格式,MXF的基本结构为KLV结构,KLV结构有三个属性,分别为键值Key、长度Length和取值Value,将主视频、多媒体对象以及各级描述文件按照KLV编码结构存储到MXF文件中,其中键值变量为字符串格式,用来记录文件名;长度变量为无符号32位整数类型,记录文件长度;取值变量为RAW类型,即原始图像编码数据类型,用来记录各类型文件的数据内容。
CN201410240279.0A 2014-05-30 2014-05-30 一种超媒体编辑制作方法及系统 Active CN103986980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410240279.0A CN103986980B (zh) 2014-05-30 2014-05-30 一种超媒体编辑制作方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410240279.0A CN103986980B (zh) 2014-05-30 2014-05-30 一种超媒体编辑制作方法及系统

Publications (2)

Publication Number Publication Date
CN103986980A CN103986980A (zh) 2014-08-13
CN103986980B true CN103986980B (zh) 2017-06-13

Family

ID=51278787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410240279.0A Active CN103986980B (zh) 2014-05-30 2014-05-30 一种超媒体编辑制作方法及系统

Country Status (1)

Country Link
CN (1) CN103986980B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707931B (zh) * 2016-08-08 2021-09-10 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN107133569B (zh) * 2017-04-06 2020-06-16 同济大学 基于泛化多标记学习的监控视频多粒度标注方法
CN107027075A (zh) * 2017-05-27 2017-08-08 邓骁磊 一种基于网络平台的在线视频播放器
TWI638333B (zh) * 2017-07-26 2018-10-11 優思睿智科技股份有限公司 Multimedia interactive editing computer program product
CN107885855B (zh) * 2017-11-15 2021-07-13 福州掌易通信息技术有限公司 基于智能终端的动态漫画生成方法及系统
CN108012203B (zh) * 2017-12-15 2019-08-02 中广热点云科技有限公司 一种超媒体编辑制作方法及系统
CN108228835B (zh) * 2018-01-04 2019-08-09 百度在线网络技术(北京)有限公司 用于处理视频的方法和装置
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
CN108566518A (zh) * 2018-03-29 2018-09-21 上海掌门科技有限公司 一种视频编辑、播放方法、设备及计算机可读介质
CN111460183B (zh) * 2020-03-30 2024-02-13 北京金堤科技有限公司 多媒体文件生成方法和装置、存储介质、电子设备
CN115037977A (zh) * 2022-05-17 2022-09-09 西安猫兜灵智能科技有限公司 一种一体化的多模态视频快速摘注和派生系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1357127A (zh) * 1998-12-18 2002-07-03 西门子共同研究公司 编辑、分发和重放派生超媒体内容的系统和方法
CN1946163A (zh) * 2006-10-25 2007-04-11 浙江大学 用于制作和播放具有热点区域的交互式视频的方法
CN101489125A (zh) * 2009-01-19 2009-07-22 孟智平 基于xml的视频控制方法及其系统
CN101753913A (zh) * 2008-12-17 2010-06-23 华为技术有限公司 一种视频中插入超链接的方法、装置及处理器
WO2012037813A1 (zh) * 2010-09-21 2012-03-29 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置、视频信息显示方法及装置
CN102802055A (zh) * 2011-05-25 2012-11-28 阿里巴巴集团控股有限公司 一种基于在线视频的数据交互方法及装置
CN103442308A (zh) * 2013-08-22 2013-12-11 百度在线网络技术(北京)有限公司 音视频文件的标注方法、装置以及信息推荐方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1357127A (zh) * 1998-12-18 2002-07-03 西门子共同研究公司 编辑、分发和重放派生超媒体内容的系统和方法
CN1946163A (zh) * 2006-10-25 2007-04-11 浙江大学 用于制作和播放具有热点区域的交互式视频的方法
CN101753913A (zh) * 2008-12-17 2010-06-23 华为技术有限公司 一种视频中插入超链接的方法、装置及处理器
CN101489125A (zh) * 2009-01-19 2009-07-22 孟智平 基于xml的视频控制方法及其系统
WO2012037813A1 (zh) * 2010-09-21 2012-03-29 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置、视频信息显示方法及装置
CN102802055A (zh) * 2011-05-25 2012-11-28 阿里巴巴集团控股有限公司 一种基于在线视频的数据交互方法及装置
CN103442308A (zh) * 2013-08-22 2013-12-11 百度在线网络技术(北京)有限公司 音视频文件的标注方法、装置以及信息推荐方法和装置

Also Published As

Publication number Publication date
CN103986980A (zh) 2014-08-13

Similar Documents

Publication Publication Date Title
CN103986980B (zh) 一种超媒体编辑制作方法及系统
US9990350B2 (en) Videos associated with cells in spreadsheets
Li et al. Fundamentals of multimedia
KR101046749B1 (ko) 인코딩 방법 및 장치 그리고 디코딩 방법 및 장치
CN100471255C (zh) 用于制作和播放具有热点区域的交互式视频的方法
CN105765990B (zh) 通过分布式网络分布视频内容的方法、系统及计算机介质
US7203380B2 (en) Video production and compaction with collage picture frame user interface
TWI317937B (en) Storage medium including metadata and reproduction apparatus and method therefor
Salembier et al. MPEG-7 multimedia description schemes
DE102014008038A1 (de) Anordnen von unaufdringlichen Oberlagerungen in einem Videocontent
US20030115598A1 (en) System and method for interactively producing a web-based multimedia presentation
JP2001320670A (ja) 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム
KR20110056476A (ko) 향상된 메타데이터 구조들을 사용하는 멀티미디어 배포 및 재생 시스템들 및 방법들
JP2001157165A (ja) マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
CN105262959A (zh) 一种基于“互联网+”模式的微视频生成的系统和方法
JP2000217058A (ja) 映像検索システム及びデ―タ構造、そしてそれによる検索方法
KR20010050596A (ko) 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
CN107644019A (zh) 一种超媒体电子书内容制作系统
Schöning et al. Providing video annotations in multimedia containers for visualization and research
JP2006139408A (ja) 特徴ベクトル生成装置、検索装置、特徴ベクトル生成方法、検索方法及びプログラム
CN102930040A (zh) 一种媒体的多维内容表达方法
US20030088874A1 (en) Interactive digital television network
Park et al. Metadata design for location-based film experience in augmented places
Tran-Thuong et al. Multimedia modeling using MPEG-7 for authoring multimedia integration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant