CN101489125B - 基于xml的视频控制方法及其系统 - Google Patents

基于xml的视频控制方法及其系统 Download PDF

Info

Publication number
CN101489125B
CN101489125B CN2009100954837A CN200910095483A CN101489125B CN 101489125 B CN101489125 B CN 101489125B CN 2009100954837 A CN2009100954837 A CN 2009100954837A CN 200910095483 A CN200910095483 A CN 200910095483A CN 101489125 B CN101489125 B CN 101489125B
Authority
CN
China
Prior art keywords
video
resource
xml
information
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009100954837A
Other languages
English (en)
Other versions
CN101489125A (zh
Inventor
孟智平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2009100954837A priority Critical patent/CN101489125B/zh
Publication of CN101489125A publication Critical patent/CN101489125A/zh
Application granted granted Critical
Publication of CN101489125B publication Critical patent/CN101489125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于XML的视频控制方法及其系统,包括:1)扩展MPEG-7标准中对视频流、节目、帧、层、对象的描述方案;2)定义XML视频资源描述文件格式;3)处理视频文件,创建和视频内容对应的XML视频描述文件,并基于XML视频资源描述文件,实现对视频内部资源和/或视频外部资源的控制;4)响应网页中的视频,解析对应的XML视频描述文件;5)在视频播放过程中,实现与视频的交互。本发明提供了一种基于XML的视频资源描述文件格式,并提供了一种基于XML的视频控制方法及其系统,使用户可以在观看视频过程中与视频内部的相应对象进行互动,既增强了视频的娱乐性,同时也为广告业务以及其他增值应用提供了技术支撑,具有极大的商业价值。

Description

基于XML的视频控制方法及其系统
技术领域
本发明涉及视频控制技术领域,尤其涉及一种基于XML的视频控制方法。
背景技术
随着多媒体编码、计算机多媒体处理和网络传输技术的飞速发展,互联网正逐渐成为一个巨大的视频仓库,人们越来越多地青睐于通过互联网实时查询、欣赏丰富多彩的视频信息。此外,人们也经常通过其他能够存储和播放视频的设备,如电视机、车载设备、手机、MP4等欣赏相关视频。
人们在欣赏视频,获得信息的同时,也对视频提出了更多的需求。即,人们希望能够在海量的视频数据中快速地找到自己所需要的视频片段,而不是象目前这样,只能按照视频标题搜索,用户再从搜索出的视频列表中进行选择并观看,在观看过程中进一步寻找所关心的片段。
此外,即使同一段视频,不同的人在观看时,关注视频中的对象以及欲获得该对象相关信息的敏感程度也通常各不相同。如果用户能够在欣赏视频的过程中与视频进行交互,在欣赏视频的同时,可以进一步获得感兴趣的相关对象的信息,并可以满足不同用户的需求,则具有重大意义。
然而,现有技术中,视频信息是一个统一的整体。传统的视频控制技术,只能通过快进或快退等顺序的方法人工查找,因而非常繁琐耗时,显然已无法满足当前用户对视频搜索的需求。在与视频进行交互方面,现有技术尚无法做到让用户对视频中的相关对象进行控制,更不能获取该对象的进一步相关信息。用户在观看视频时处于一种被动接收的状态,由于不能与视频交互,因此抑制了用户的主观能动性,使用户对视频信息几乎是盲听盲看,获得有价值信息的效率较低、效果较差。
要实现基于内容的视频检索以及对播放的视频内容进行控制,则必须对视频内容进行处理,向原有视频内容中添加便于检索或可以与用户进行互动的相应增值信息。该增值信息可以是视频中某一对象的相关知识,也可以是该对象产品的广告信息或新闻信息等。专利号CN200710123453.3,提供了向流媒体中加入广告信息的方法,并提出了利用广告描述文件来控制视频中播放广告的方法,当然该方法也适用于控制播放其他内容,但是其并没有对具体的描述文件进行详细介绍。
MPEG-7虽然提供了多媒体内容描述接口,但是MPEG-7本质上其特定的元数据面向特定应用,无法适应普遍应用背景。目前网络视频数量众多,终端用户访问网络、观看视频的平台各异,因此,考虑平台无关性,需要对增值了相关信息的视频文件,以统一的格式对视频中的原有资源以及可以进行控制的资源进行描述,并能够在网页加载视频文件时,对已描述的资源文件进行解析,进而打开相应增值信息。
发明内容
为了克服现有技术缺乏对视频资源描述以及对视频内部对象进行控制的不足,本发明提供一种基于XML的视频控制方法及其系统,按照XML的语法格式,以统一的方式对增值了相关信息的视频资源进行描述,并能够在播放该视频时对相应描述资源进行解析。
本发明解决其技术问题所采用的技术方案是:
本发明提供了一种基于XML的视频控制方法,包括以下步骤:
1)参照MPEG-7标准,扩展其对视频对象的描述方案;
2)定义XML视频资源描述文件格式;
3)处理视频文件,创建和视频内容对应的XML视频描述文件;
4)响应网页中的视频,解析对应的XML视频描述文件;
5)控制视频内部资源和/或视频外部资源,实现与视频交互。
所述步骤1)中扩展的视频对象包括以下部分:
(1)视频流,是指通过网络传输,下载到本地机器缓冲区中的视频数据流,本发明中描述的视频流与MPEG-7标准中描述的视频概念不同,视频流是对视频概念进一步的结构划分,即终端用户看到的视频可以看作是由一个或多个视频流构成的;
(2)节目,是指视频流中有逻辑联系的帧的集合,本发明中描述的节目与MPEG-7中描述的场景不同,视频流中可能含有多个节目,每个节目都是由一组相互关联的帧组合而成。
(3)帧,是视频中的基本单元,与MPEG-7中的帧概念等同;
(4)层,是在帧之上添加的内容,用于描述帧的一些相关特性,引入层的概念后便能够增强对帧内对象进行控制和描述的能力。
步骤1)中所述视频流、节目、帧和层,其共同的属性为时间;
所述帧中还包含多个目标对象,这些对象可以是静止的也可以是运动的,与MPEG-7中描述的对象概念相同;
所述层中还包括本发明添加的一些对象,这些对象不是原视频中所有的,是本发明为更好地描述视频内容和更合理地控制视频内部对象而添加的;
所述对象还包括像素点、轮廓和块;
所述像素点是指视频帧里面的某一个点,用坐标描述该像素点的位置信息;
所述轮廓是指视频帧中某一对象的轮廓,该轮廓是指能将对象全部元素包括进去的最小区域,而非对象具体而细致的边界区域,本发明中的轮廓形状为矩形或椭圆形,当然也可以是其他形状;
所述块是指轮廓里面包含的某一个封闭区域;
所述像素点、轮廓和块还包括相应的属性信息和事件信息,本发明中仅对轮廓的属性信息和事件信息进行论述,像素点和块的属性信息及事件信息与轮廓的属性信息和事件信息几乎等同,在此不再赘述;
所述轮廓属性信息包括安全性、优先级、透明性、形态、对象位置、对象运动矢量;
所述轮廓事件信息是指对象触发的方法;
所述轮廓属性信息的安全性是指信息传输过程中的安全保护措施;
所述轮廓属性信息的优先级是指当层中添加对象重叠覆盖时,为了区分不同对象的重要程度,以便于描述和控制相应对象而为各对象赋予的优先等级;
所述轮廓属性信息的透明性是指设置层中重叠覆盖的对象透明;
所述轮廓属性信息的形态是指层中某一对象轮廓的形态,用户可通过鼠标点击该轮廓与对象进行互动;
所述轮廓属性信息的对象位置是指对象的中心点或某一特征点的位置;
所述轮廓属性信息的对象运动矢量是指用矢量的方式描述对象的运动过程;
所述轮廓属性信息的安全保护措施是指DRM或CA认证;
所述轮廓属性信息的形态是指椭圆形或矩形;
所述轮廓属性信息的对象位置可以通过坐标的形式来表示;
所述轮廓事件信息的对象触发方法还包括对象的触发方式和对象触发后执行的功能;
所述对象的触发方式还包括鼠标点击时触发事件、鼠标移至对象所在轮廓区域时触发事件和自动触发事件;
所述对象触发后执行的功能是指触发后链接到某一URL地址,以某一种形式打开或执行相应的链接资源以及对链接资源进行分类;
所述对象触发后打开或执行相应资源的形式包括图片、视频或音频等;
所述对象触发后对链接资源进行分类是指描述对象的关键字分类,包括艺术、体育、汽车、商场等。
所述步骤2)XML视频资源描述文件格式包括以下内容:
(1)定义XML视频资源描述文件文档名称;
(2)定义视频原有资源信息元素;
(3)定义视频控制资源信息元素;
所述视频资源描述文件文档名称是指XML文档的类型,位于XML声明字段之后,标识该XML文档的功能是用于对视频资源进行描述;
所述视频原有资源信息元素包括视频ID、视频资源地址、视频文件类型、视频下方滚动字幕、视频下方滚动字幕超链接、视频名称、视频简介、确定视频是否悬浮、视频等级分类、视频作者、主要演员、视频编辑者、视频导演、字幕信息、版权、上传时间、视频信息关键字集合、视频信息关键字;
所述视频ID是指为便于对视频的处理以及在视频播放过程中对其内部对象进行控制,而为某一特定视频分配的唯一ID,一个视频资源描述文件XML文档中有且只有一个视频ID;
所述视频资源地址是指视频资源在网络或设备中的存储位置,每一个视频ID唯一对应一个视频资源地址,该地址可以是一个网络URL地址,也可以是设备中的一个物理存储地址;
所述视频类型是指播放观看的视频文件的格式类型,该格式可以有很多种,比如扩展名为.flv、.avi、.wmv、.mpg等视频文件,本发明专利所给的实施例是基于Flash文件,但本发明的适用范围不局限于Flash文件,可以支持其他格式的视频文件;
所述视频下方滚动字幕是指在原有视频下方添加的字幕信息,使其在视频播放过程中与视频内容在同一窗口中显示,并以滚动的形式循环出现,以引起观看视频者注意,便于对其感兴趣的观看者点击该滚动字幕,查看或链接相应广告信息或其他相关信息;
所述滚动字幕超链接是指滚动字幕信息所定向的资源在网络或设备中的存储位置,该地址可以是一个网络URL地址,也可以是设备中的一个物理存储地址;
所述视频名称是指描述当前播放的视频的名称;
所述视频简介是指对当前视频内容的简单介绍,即该段视频内容的一个摘要信息;
所述确定视频是否悬浮是指判断当前视频是悬浮于网页中,还是嵌入到当前网页中;
所述视频等级分类是指按照电影以及其他视频的审查条例,按照制定的标准,对视频的相关内容给予的等级划分,该等级划分方法通常与各国家和地区的政策及文化等不同而有所差异;
所述视频作者是指当前视频的相关作者,通常是指该视频的制作者或者上传者;
所述主要演员是指当前视频中的主要演员信息;
所述视频编辑者是指对上传的原始视频,根据需要,按照一定的要求而对其进行再次编辑的工作人员,此视频编辑者可以是原始视频制作者或上传者,也可以是其他人员;
所述视频导演是指当前视频的导演信息;
所述字幕是指当前视频内容在播放过程中,为了更方便地让观看者对其内容进行理解,而给出的相应字幕信息;
所述版权是指当前视频的版权信息;
所述上传时间是指当前视频的上传时间信息;
所述视频信息关键字集合是指用于描述视频信息的关键字集合,该关键字集合中的关键字通常包括对视频中主要演员、关键帧、视频内容等进行描述;
所述视频信息关键字是指用于描述视频信息的关键字,同一视频可以用多个关键字对其进行描述;
所述视频控制资源信息元素包括视频内部对象、视频内部对象信息、视频内部对象ID、对象第一帧缩略图位置、广告资源组合、广告位具体位置、广告资源、广告资源URL、全屏广告URL、全屏广告超链接地址、打开全屏广告超链接地址的方式、视频中某一对象出现的时长、视频中某一对象出现的开始时间、视频中某一对象出现的结束时间、视频内部对象关键字集合、视频内部对象关键字、位置点集合、位置点、时间、左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标;
所述视频内部对象是指视频中的对象,该对象可以是视频中活动的对象,也可以是静止的对象,可以存在于某一特定帧中,也可以存在于连续的或不连续的帧中;
所述视频内部对象信息是指描述视频对象的相关信息,该描述信息存在于添加的层中,而非原始视频中,需要对原始视频进行编辑,是额外添加的描述相关对象的信息;
所述视频内部对象ID是指用来唯一地标识视频中的具体对象,以便于通过该对象ID来辨识该对象,进而对其进行查询或相应控制;
所述对象第一帧缩略图位置是指描述某一对象在视频中出现的第一帧的缩略图的URL,该位置可以是一个网络地址,也可以是设备中的某个存储地址,通过访问该地址,调用帧的缩略图;
所述广告资源组合是指一个对象所对应的一个广告资源组合,通常一个对象对应的广告资源组合可以有一种或几种,在具体实施时可以根据需要进行选择,但最终一个对象只能对应一个广告资源组合;
所述广告位具体位置是指描述对象对应的广告位的具体出现位置属于哪一种,一个对象可以有一种或几种广告位形式,用户可以根据投放广告的需要来定制其中的一种或几种形式同时存在;
所述广告资源是指每一个广告位所对应的广告资源,即该广告位下投放的广告内容的来源,通常一个广告位对应一个广告资源;
所述广告资源URL是指描述广告位中广告资源的URL,该URL可以是一个网络地址,也可以是设备中的某个存储地址;
所述全屏广告URL是指视频全屏广告位对应的广告资源的URL,该URL可以是一个网络地址,也可以是设备中的某个存储地址;
所述全屏广告超链接地址是指描述视频中全屏广告对应的超链接地址,该地址可以是一个网络地址,也可以是设备中的某个存储地址;
所述打开全屏广告超链接地址的方式是指描述打开全屏广告超链接地址的方式,打开方式包括在视频外广告位打开超链接和在新窗口打开超链接等;
所述视频中某一对象的广告时长是指当视频中某一对象出现时,同时播放该对象相应的广告信息,广告的时长通常从该对象出现时起至下一对象出现时止;
所述视频中某一对象出现的开始时间是指某一对象所在的第一帧的播放时间;
所述视频中某一对象出现的结束时间是指某一对象所在帧的结束时间,该所在帧是指对象所在的最后一帧;
所述视频内部对象关键字集合是指描述视频对象的关键字集合,一个视频中一个对象对应一个关键字集合,该关键字集合是通过对原始视频进行编辑,在层中添加的信息;
所述视频内部对象关键字是指描述某一对象的关键字,该关键字可以有多个,便于通过关键字对视频中的对象进行查询和控制;
所述位置点集合是指对某一对象运动过程中关键位置点集合的描述,通常是指一个视频中对象运动的关键时间以及关键区域的集合;
所述位置点是指对象运动过程中某一关键位置点描述,通常是指一个视频中对象运动的关键时间以及关键区域;
所述时间是指对象运动过程中的某一关键时间点;
所述左上角横坐标是指描述对象所在区域左上角的关键点横坐标;
所述左上角纵坐标是指描述对象所在区域左上角的关键点纵坐标;
所述右下角横坐标是指描述对象所在区域右下角的关键点横坐标;
所述右下角纵坐标是指描述对象所在区域右下角的关键点纵坐标。
所述步骤3)处理视频文件,创建和视频内容对应的XML视频描述文件是指对某一Flash文件或其他视频文件进行编辑处理,按照步骤2)定义的XML视频描述文件格式的要求,通过提取数据库字段,生成XML文件,创建与Flash或其他视频内容相对应的XML视频描述文件,实现对视频内部资源和/或视频外部资源进行控制;
所述通过提取数据库字段,生成XML文件的方法,包括:检索数据库,查找相应记录信息,从检索到的记录中,提取相应字段信息,所述字段信息即为XML文件中的字段信息,生成XML文件;
所述视频内部资源是指视频播放器播放窗口内的所有媒体资源;
所述视频外部资源是指视频播放器播放窗口外的所有资源;
所述实现对视频内部资源的控制是指在视频播放器播放的视频窗口内添加、创建、删除媒体资源;
所述媒体资源包括文字、图片、Flash和视频;
所述视频播放器包括IPTV、车载设备、手机和PC机中的流媒体播放器;
所述实现对视频外部资源进行控制是指通过解析XML视频资源描述文件,控制本地资源和/或网络资源;
所述控制本地资源包括打开本地存储设备中存储的图片、Flash、视频、音频和文本文档;
所述控制网络资源包括根据网络地址URL,打开网络中的图片、Flash、视频、音频和文本文档。
所述步骤4)响应网页中的视频,解析对应的XML视频描述文件是指当网页中加载并播放经过处理的某一Flash文件或其他视频文件时,该视频在播放过程中可以对步骤3)中创建的与该视频内容息息相关的XML视频描述文件进行解析,网页中的播放器需要具有解析XML视频描述文件的功能,而非常规视频播放器。
所述步骤5)控制视频内部资源和/或视频外部资源,实现与视频交互包括对视频播放器所播放的视频窗口内的视频对象进行控制、在视频窗口内部打开图片、视频、音频等媒体文件,还包括对视频窗口以外的资源,即打开本地或网络上的图片、视频、音频、文本文档等。
一种基于XML的视频控制系统,其特征在于,包括以下设备及子系统:
视频播放设备、视频服务器、视频处理子系统、XML文件子系统和网络资源子系统;
所述视频播放设备包括播放流媒体文件的IPTV电视机、车载设备、手机、手持PDA和PC机;
所述视频服务器是指提供视频资源的网站;
所述视频播放设备可以访问视频服务器,下载播放视频,解析XML文件子系统发送的与当前视频对应的XML文件,并根据解析XML文件的内容,调用网络资源子系统中与该视频相关的广告信息或其他相应增值信息;
所述视频处理子系统可以对视频服务器中的视频进行编辑处理,生成描述该视频内容的XML文件,并将该XML文件传给XML文件子系统,同时将编辑过的视频传回视频服务器;
所述XML文件子系统与视频编辑子系统进行通信,存储编辑处理过的视频所对应的XML文件,并对XML文件进行加密;
所述网络资源子系统是指包含与编辑处理过的视频相关的广告信息和其他相应增值信息,视频播放设备在播放视频时可以调用网络资源子系统中的广告信息和其他相应增值信息,实现与观看视频的用户进行互动。
本发明的有益效果主要包括:
(1)本发明参照MPEG-7标准,对视频对象描述进行了扩展,丰富了视频资源描述信息,使现有的视频资源信息得到了进一步的增值,并增强了现有视频文件在播放过程中与用户的互动功能;
(2)本发明采用XML统一了视频资源描述文件的格式,规范了视频资源内容的描述,且使其具有与平台无关的特性,使基于XML的视频资源描述文件应用性更强、更广;
(3)本发明提供了一种基于XML的视频控制方法及其系统,使用户可以在观看视频过程中与视频内部的相应对象进行互动,既增强了视频的娱乐性,又使用户获得了更多有价值的信息,同时也为广告业务以及其他增值应用提供了技术支撑,具有极大的商业价值。
附图说明
图1是本发明中系统架构图;
图2是本发明中技术方案流程示意图;
图3是本发明中对MPEG-7视频描述方案扩展部分示意图。
具体实施方式
请将申请文件中的“用户终端”、“终端用户”统一说法
下面结合附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明的基本构思为:根据对视频内容检索以及对视频内部对象进行控制的需求,首先对MPEG-7的标准进行分析,扩展视频对象描述方案,然后采用XML文档,对视频及其相应资源按照统一的格式进行描述,规范描述视频对象的格式,便于对编辑处理后的视频内容以XML文件格式进行描述存储,当网页中加载并播放处理过的视频文件时,可以对该XML视频描述文件进行解析,并利用相应脚本语言,如JavaScript、VBScript、Perl等,与视频间进行通信,以响应用户的相应操作,实现对视频中对象的控制。
图1是本发明的系统架构图,其中视频服务器是指互联网中提供视频的网站,如美国的YouToBe网,中国的土豆网、优酷网等,视频处理子系统是指能够对上述视频网站中的视频以及其他视频进行编辑处理并能够添加相应增值服务功能的视频处理系统。视频处理子系统与视频网站通过110进行互操作,视频处理子系统可以对视频网站中的视频进行编辑处理,添加相应广告信息或其他增值信息,同时为每一个处理过的视频分配唯一的ID,并通过160和170与XML文件子系统进行通信,将生成的XML视频描述文件传给XML文件子系统,当用户通过120访问视频网站,选中某一视频时,视频网站则通过130将该视频下载到用户的本地缓冲区中,终端用户浏览器中的视频播放器在播放该视频时,会根据视频ID通过140访问XML文件子系统,XML文件子系统经过审核验证后,通过150将该视频ID对应的XML视频描述文件传递给终端用户,终端用户的视频播放器解析XML视频描述文件,并通过180和190与网络资源子系统进行通信,调用网络资源子系统提供的广告信息或其他增值信息,实现在用户观看视频的过程中与用户进行互动的功能。
本发明的重点是基于XML的视频控制方法,图2是本发明的技术方案流程示意图。其中,扩展视频描述方案210是指对MPEG-7视频描述方案进行扩展,其扩展部分见图3所示。
对MPEG-7的视频描述方案扩展后,本发明采用XML对视频的相关资源进行描述,即步骤220,提供了一种以统一的格式描述视频资源且与平台无关的方法。本发明是可扩展的,提供了使任何接收计算机能够读取该通用、统一格式化的XML文件。该XML视频资源描述文件见表1所示。
图1中处理视频文件230对视频文件进行处理,即打开视频文件,记录下视频中具体对象的描述信息,该描述信息至少包括具体对象的关键字信息、对象的开始播放和结束信息、对象在帧中的位置信息、区域信息等等,并为每一个处理过的视频文件分配唯一的视频ID;
图1中创建XML视频描述文件240是指将编辑处理过的视频文件内容,按照XML视频描述文件的格式要求进行相应地描述,并为每一个视频创建唯一一个XML视频描述文件,即一个视频ID对应一个XML视频描述文件;
图1网页中加载并播放处理过的视频250是指编辑者将某一视频进行编辑处理后上传或交付给某一视频网站,当用户浏览某一视频网站,通过对视频内容进行搜索后,可找到与搜索内容相关的视频,当用户点击某视频,在一网页中打开该视频时,网页中便会加载并播放之前处理过的某一视频文件;
图1中检测到XML视频描述文件260是指当网页中加载并播放处理过的视频文件后,在播放该视频的过程中,嵌入有解析XML文件功能的视频播放器会根据该视频ID对相应资源信息进行检测,如果检测到有相关XML视频描述文件信息,则播放器将对该XML视频描述文件进行解析,如果没有检测到,则播放器继续播放当前视频流;
图1中解析XML视频描述文件270是指嵌入有解析XML文件功能的视频播放器在播放视频过程中,检测到XML视频描述文件后,对XML视频描述文件中的相关信息进行解析,实现XML视频描述文件中相应的视频描述功能,将此功能在播放视频的过程中实时地展现给用户,以便用户与视频进行交互;
图1中实现与用户交互功能280是指嵌入有解析XML文件功能的视频播放器对XML视频描述文件进行解析后,为了更加友好地与用户之间进行互操作,通常通过某一网页脚本语言,如JavaScript,VBScript,Perl等在网页和视频播放器之间进行通信,响应用户的鼠标或键盘激发的事件,实现与用户间的互动,以满足用户查看视频内部相关对象的广告信息或其他增值信息。
图3为本发明对MPEG-7视频描述方案的扩展部分,其中实线框表示MPEG-7原有描述,虚线框为本发明的扩展。为了能够对多媒体进行更好的描述,本发明首先将多媒体310抽象为流320,即将用户终端看到的视频看作是由多源的视频流构成的。例如,某一终端用户的有线电视可以收看56个频道,传统的多媒体描述方案是将这56个频道做为一个整体进行描述,本发明提出的视频流可以将56个频道看成是56个视频流在同一通信线路内传输,因此,引入视频流的概念则具有层次性,在后续的一些高级操作中便可以分层来处理。
图3中节目330则可以理解为某一视频流中有逻辑联系的帧的集合,该视频流中可能含有多个节目,每个节目都是由一组相互关联的帧组合而成。
图3中帧340即是视频中的帧,这一概念与MPEG-7中的帧的概念等同;
图3中层350是在帧之上添加的内容,用于描述帧的一些相关特性,引入层的概念后便能够增强对帧内对象进行控制和描述的能力;
图3中对象351既可以指原视频中的对象,这些对象可以是静止的,也可以是运动的,与MPEG-7中描述的对象概念相同;也可以指本发明添加的一些对象,这些对象不是原视频中所有的,是本发明为更好地描述视频内容和更合理地控制视频内部对象而添加的;
图3中对象351还包含一些属性信息和事件信息,本发明即是通过对对象的属性信息和事件信息进行操作,以实现对视频内部对象进行控制的功能。
表1为本发明提出的XMl视频资源描述文件,可以根据表1中的说明,对相应的视频资源进行描述。
表1XML视频资源描述文件
  字段   语法/说明   注释
XML声明   <?xml version=″1.0″>用来将文件定义为XML文档。此XML声明位于文件的第一行,用来将文件标识为XML文件。 每个文件只有一个
XML文档类型 <vxplo>用来定义VXPLO文档的开始   每个文件只有一个,总是在XML声明之后。
视频信息   <movieinfo>包含描述视频的相关资源信息 每个VXPLO文件一个
视频ID <movied></movieid>视频ID被用来唯一地标识欲控制的视频   每个VXPLO记录一个视频ID
  视频资源地址   <movie_src_url></movie_src_url>描述视频资源在网络或设备中的存储位置   每个视频ID对应一个URL
视频类型 <movietype></movietype>描述视频文件的格式类型   该格式可以多种,如flv,avi,wmv等
视频下方滚动字幕 <foating_text></floating_text>外部加入的滚动字幕   该滚动字幕通常为视频相关内容的广告信息
滚动字幕超链接 <floating_text_href></floating_text_href>链接   点击该链接则能够查看相关信息
视频名称   <title></title>描述该视频的名称 每个视频ID
  对应一个视频Title
视频简介   <description></description>用于对视频内容进行简单介绍 可选字段
  确定视频是否悬浮   <is_float_movie></is_float_movie>判断视频是否悬浮于网页中   其值为True或False
视频等级分类 <class></class>描述视频的等级分类   各国家或地区政策不同,划分视频的等级也不相同
视频作者   <author></author>作者信息,视频制作者或上传者 可选字段
主要演员   <actor></actor>视频中主要演员信息 可选字段
  视频编辑者   <editor></editor>对上传视频进行再加工编辑者 可选字段
视频导演   <director></director>导演信息 可选字段
字幕   <subtitle></subtitle>视频对应的字幕信息   方便观看者理解视频内容
版权   <copyright></copyright>版权信息 可选字段
上传时间   <upload_time></upload_time>视频上传时间信息 可选字段
  视频信息关键字集合 <keywords>用于描述视频信息的关键字集合   每个视频ID对应一个关键字集合
视频信息关键字 <keyword></keyword>用于描述视频信息的关键字   每个视频ID可以有多个关键字
  视频信息关键字集合结尾定界符 </keywords>用于定义视频信息关键字集合的结尾 视频信息关键字集合结尾
  视频信息结尾定界符 </movieinfo>用于定义视频信息字段的结尾 视频信息字段结尾
视频内部对象集合 <items>描述视频帧中连续对象的集合   每个VXPLO文档对应一个集合
  视频内部对象   <item>视频帧中的对象 可以有多个
  视频内部对象信息   <iteminfo>描述视频内部对象的相关信息
对象ID   <itemid></itemid>对象ID被用来唯一地标识视频中的具体对象   一个item对应一个ID
  对象第一帧缩略图位置 <imgsrc></imgsrc>描述对象出现的第一帧的缩略图的URL 一个item对应一个URL
广告资源组合 <groupid></groupid>一个对象对应的一个广告资源组合   一个对象可以有一种或几种广告资源
广告位具体位置 <positiontype></positiontype>描述广告位的具体出现位置属于哪一种   一个对象可以有一种或几种广告位形式
广告资源   <position>描述每一种广告位对应的广告资源   一个广告位对应一种广告资源
  广告资源   <adv_url></adv_url>   一个广告位对
  URL   描述广告位中广告资源的URL   应一种广告资源URL
全屏广告URL <video_url></video_url>视频全屏广告位对应的广告资源的URL   一个广告位对应一种广告资源的URL
  全屏广告超链接地址 <video_href></video_href>描述视频中全屏广告对应的超链接地址   一个广告位对应一个超链接地址
打开全屏广告超链接地址的方式 <video_href_target></video_href_target>描述打开全屏广告超链接地址的方式   打开方式包括在视频外广告位打开超链接和在新窗口打开超链接
对象的广告时长 <span></span>描述某一对象的广告时长   默认为0表示广告时长为从前一对象至下一对象
开始时间   <starttime></starttime>某一对象所在帧的播放时间   所在帧为对象的第一帧
结束时间   <endtime></endtime>某一对象所在帧的结束时间   所在帧为对象的最后一帧
  位置结尾定界符   </position>描述位置结尾 位置结尾
  视频内部对象关键字集合 <keywords>描述视频对象的关键字集合   一个视频中一个对象对应一个关键字集合
  视频内部对象关键字 <keyword></keyword>对象关键字 可以多个
  视频内部对象关键字集合结尾定界符 </keywords>描述视频内部对象关键字集合结尾 视频内部对象关键字集合结尾
位置点集合 <points>对象运动过程中关键位置点集合的描述   描述一个视频中对象运动的关键时间以及关键区域集合
位置点 <point>对象运动过程中某一关键位置点描述   描述一个视频中对象运动的关键时间以及关键区域
时间 <time></time>对象运动过程中的某一关键时间点   通过多个关键时间点来记录对象一段时间内的运动
  左上角横坐标   <x1></x1>描述对象所在区域左上角的关键点横坐标   一个关键时间点对应一个
  左上角纵坐标   <y1></y1>描述对象所在区域左上角的关键点纵坐标   一个关键时间点对应一个
  右下角横坐标   <x2></x2>描述对象所在区域右下角的关键点横坐标   一个关键时间点对应一个
  右下角纵坐标   <y2></y2>描述对象所在区域右下角的关键点纵坐标   一个关键时间点对应一个
  位置点结尾定界符   </point>描述位置点的结尾   一个关键时间点对应一个
  位置点集合结尾定界符 </points>描述位置点集合的结尾 一个item对应一个
  视频对象内部信息结尾定界符 </iteminfo>描述视频对象内部信息的结尾 一个item对应一个
  视频内部对象结尾定界符 </item>描述视频内部对象的结尾 每个items中可以有多个
  视频内部对象集合结尾定界符 </items>描述视频内部对象集合的结尾 每个vxplo文档一个
XML文档类型结尾 </vxplo>用来定义VXPLO文档的结尾   每个文件只有一个,总是在文件的结尾。
本发明以控制某一视频中的小猫为例,说明基于XML的视频控制方法。按照本发明的技术方案操作步骤,首先对该Flash视频文件进行编辑处理,为其分配一个ID,该ID号为60,同时记下该视频文件的URL地址http://demo.tvtran.com/movies/新闻/一只会跳恰恰的猫.flv,视频文件格式flv,视频标题,关键字等信息;然后对处理的视频内部不同对象分配相应的ID,该对象对应的广告信息或其他增值信息的来源,对象的开始时间、结束时间,对象的位置信息等等;最后,根据处理后的视频信息,创建以下XML视频资源描述文件,用户在观看视频过程中,视频播放器可以通过解析以下XML视频资源描述文件,实现相应视频的增值功能,进而能与用户进行互动,即用户可以对视频的内部对象进行控制。
视频一只会跳恰恰的猫XML视频资源描述文件代码:
<?xml version=″1.0″encoding=″UTF-8″?><!--XML版本号-->
    <vxplo><!--定义该XML文档类型为vxplo-->
    <movieinfo><!--描述视频基本信息-->
     <movieid>60</movieid><!--为当前视频分配唯一ID号-->
     <movie_src_url>http://demo.tvtran.com/movies/新闻/一只会跳恰
恰的猫.flv</movie_src_url>
    <movietype>flv</movietype><!--描述当前视频文件格式为Flash
文件-->
      <foating_text>一只会跳恰恰的猫</floating_text><!--描述滚
动字幕-->
      <floating_text_href></floating_text_href>
      <title>一只会跳恰恰的猫</title><!--描述视频标题-->
      <description>视频:一只会跳恰恰的猫</description>
      <is_float_movie>false</is_float_movie><!--描述视频是否悬浮
于网页中-->
      <class>1</class><!--描述视频等级-->
      <author>张强</author>
      <actor>猫咪</actor>
      <editor>视加</editor>
      <director>视加</director>
      <subtitle></subtitle>
      <copyright>上海视加信息科技有限公司</copyright>
      <upload_time>2008.11.2</upload_time>
      <keywords>
        <keyword>会跳恰恰的猫</keyword>
      </keywords>
    </movieinfo><!--描述视频基本信息结束-->
      <items><!--视频内部控制对象集合-->
         <item><!--视频内部某一控制对象-->
           <iteminfo><!--描述视频内部某一控制对象相关信息-->
           <itemid>208</itemid><!--视频内部控制对象ID号-->
<imgsrc>http://demo.tvtran.com/upload/60/kht 094453.jpg</imgsrc>
           <groupid>2</groupid><!--视频内部控制对象对应广告资
源组合方案-->
           <positiontype>1</positiontype><!--广告位位置类型-->
           <position>
             <adv_url>http://www.tvtran.com/cat.htm</adv_url>
             <span>0</span>
             <starttime>13.453</starttime><!--对象出现的开始时间
-->
             <endtime>23</endtime><!--对象的结束时间-->
           </position>
         <keywords>
          <keyword>跳舞</keyword><!--描述对象信息的关键词-->
         </keywords>
          </iteminfo><!--描述视频内部某一控制对象相关信息结束
-->
         </item><!--描述视频内部某一控制对象结束-->
         <item>
          <iteminfo>
          <itemid>209</itemid>
<imgsrc>http://demo.tvtran.com/upload/60/kht_094453.jpg</imgsrc>
          <groupid>1</groupid>
          <positiontype>3</positiontype>
          <position>
    <video_url>http://www.tudou.com/programs/view/XWv0CDyivVs/<
/video_url>
              <video_href></video_href>
              <video_href_target>NewWindow</video_href_target>
              <span>0</span>
              <starttime>13.453</starttime>
              <endtime>23</endtime>
           </position>
           <keywords>
            <keyword>跳舞</keyword>
           </keywords>
            </iteminfo>
           </item>
           <item>
            <iteminfo>
            <itemid>207</itemid>
   <imgsrc>http://demo.tvtran.com/upload/60/csz_094453.jpg</imgsrc>
            <groupid>2</groupid>
            <positiontype>3</positiontype>
            <position>
  <video_url>http://www.tudou.com/programs/view/Lp-mrJI4nso/</vi
deo_url>
            <video_hre></video_href>
            <video_href_target>NewWindow</video_href_target>
            <span>0</span>
            <starttime>5.407</starttime>
            <endtime>15</endtime>
     </position>
    <keywords>
     <keyword>恰恰</keyword>
    </keywords>
    <points><!--对象运动过程中关键位置点集合-->
     <point><!--对象运动过程中关键位置点-->
       <time>1.0</time><!--对象运动过程中某一关键时间点
-->
      <x1>10</x1><!--对象所在区域左上角关键点横坐标-->
      <y1>10</y1><!--对象所在区域左上角关键点纵坐标-->
      <x2>20</x2><!--对象所在区域右下角关键点横坐标-->
      <y2>20</y2><!--对象所在区域右下角关键点纵坐标-->
    </point>
    <point>
      <time>2.0</time>
      <x1>20</x1>
      <y1>20</y1>
      <x2>30</x2>
      <y2>30</y2>
    </point>
    <point>
      <time>3.0</time>
      <x1>100</x1>
      <y1>100</y1>
      <x2>110</x2>
      <y2>110</y2>
    </point>
   </points>
    </iteminfo>
    </item>
    </items><!--视频内部控制对象集合结束-->
</vxplo><!--类型为vxploXML文档结束-->

Claims (6)

1.一种基于XML的视频控制方法,其特征在于:包括以下步骤:
1)参照MPEG-7标准,扩展其对视频对象的描述方案;
2)定义XML视频资源描述文件格式;
3)处理视频文件,创建和视频内容对应的XML视频资源描述文件;
4)响应网页中的视频,解析对应的XML视频资源描述文件;
5)基于所述XML视频资源描述文件,控制视频内部资源和/或视频外部资源,实现与视频交互;其中,所述视频内部资源是指视频播放器播放窗口内的所有媒体资源;所述视频外部资源是指视频播放器播放窗口外的所有资源;
所述步骤5)控制视频内部资源和/或视频外部资源,实现与视频交互包括对视频播放器所播放的视频窗口内的视频对象进行控制、在视频窗口内部打开图片、视频、音频媒体文件,还包括对视频窗口以外的资源,即打开本地或网络上的图片、视频、音频、文本文档。
2.如权利要求1所述的一种基于XML的视频控制方法,其特征在于:在所述步骤3)中,创建基于XML的视频资源描述文件包含以下内容:
(1)扩展MPEG-7标准中对视频对象的描述方案,主要包括:视频流、节目、帧、层、对象;
所述对象还包括像素点、轮廓和块;
所述轮廓还包括属性信息和事件信息;
(2)XML声明字段,该XML声明字段将描述视频资源的数据结构定义为XML文件,包括字段的标识符;所述描述视频资源的数据结构包括用于描述视频原有资源信息的字段和描述视频添加资源信息的字段;所述描述视频原有资源信息的字段包括但不限于视频ID、视频资源地址、视频文件类型、视频下方滚动字幕、视频下方滚动字幕超链接、视频名称、视频简介、确定视频是否悬浮、视频等级分类、视频作者、主要演员、视频编辑者、视频导演、字幕信息、版权、上传时间、视频信息关键字集合、视频信息关键字;所述描述视频添加资源信息的字段包括但不限于视频内部对象、视频内部对象信息、视频内部对象ID、对象第一帧缩略图位置、广告资源组合、广告位具体位置、广告资源、广告资源URL、全屏广告URL、全屏广告超链接地址、打开全屏广告超链接地址的方式、视频中某一对象出现的时长、视频中某一对象出现的开始时间、视频中某一对象出现的结束时间、视频内部对象关键字集合、视频内部对象关键字、位置点集合、位置点、时间、左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标。
3.如权利要求1所述的一种基于XML的视频控制方法,其特征在于:在所述步骤5)中,基于XML视频资源描述文件,对视频内部资源的控制是指在视频播放器播放的视频窗口内添加、创建、删除媒体资源;
所述媒体资源包括文字、图片、Flash和视频;
所述视频播放器包括IPTV、车载设备、手机和PC机中的流媒体播放器。
4.如权利要求1所述的一种基于XML的视频控制方法,其特征在于:在所述步骤5)中,基于XML视频资源描述文件,对视频外部资源进行控制是指通过解析XML视频资源描述文件,控制本地资源和/或网络资源。
5.如权利要求4所述的一种基于XML的视频控制方法,其特征在于:在所述步骤5)中,所述控制本地资源包括打开本地存储设备中存储的图片、Flash、视频、音频和文本文档;
所述控制网络资源包括根据网络地址URL,打开网络中的图片、Flash、视频、音频和文本文档。
6.一种基于XML的视频控制系统,其特征在于,包括以下设备及子系统:
视频播放设备、视频服务器、视频处理子系统、XML文件子系统和网络资源子系统;
所述视频播放设备包括播放流媒体文件的IPTV电视机、车载设备、手机、手持PDA和PC机;
所述视频服务器是指提供视频资源的网站;
所述视频播放设备,用于访问视频服务器,下载播放视频,解析XML文件子系统发送的与当前视频对应的XML文件,并根据解析XML文件的内容,调用网络资源子系统中与该视频相关的广告信息或其他相应增值信息;
所述视频处理子系统,用于对视频服务器中的视频进行编辑处理,生成描述该视频内容的XML文件,并将该XML文件传给XML文件子系统,同时将编辑过的视频传回视频服务器;
所述XML文件子系统,与视频编辑子系统进行通信,用于存储编辑处理过的视频所对应的XML文件,并对XML文件进行加密;
所述网络资源子系统,指包含与编辑处理过的视频相关的广告信息和其他相应增值信息,视频播放设备在播放视频时调用网络资源子系统中的广告信息和其他相应增值信息,实现与观看视频的用户进行互动。
CN2009100954837A 2009-01-19 2009-01-19 基于xml的视频控制方法及其系统 Active CN101489125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100954837A CN101489125B (zh) 2009-01-19 2009-01-19 基于xml的视频控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100954837A CN101489125B (zh) 2009-01-19 2009-01-19 基于xml的视频控制方法及其系统

Publications (2)

Publication Number Publication Date
CN101489125A CN101489125A (zh) 2009-07-22
CN101489125B true CN101489125B (zh) 2012-02-15

Family

ID=40891767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100954837A Active CN101489125B (zh) 2009-01-19 2009-01-19 基于xml的视频控制方法及其系统

Country Status (1)

Country Link
CN (1) CN101489125B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152621A (zh) * 2013-02-27 2013-06-12 四三九九网络股份有限公司 推荐视频的配置方法、显示方法和播放方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625696A (zh) * 2009-08-03 2010-01-13 孟智平 一种构造和生成网页中视频元素的方法及系统
CN101630329A (zh) * 2009-08-24 2010-01-20 孟智平 一种网页中视频元素与网页元素互动的方法及系统
CN102065233B (zh) * 2009-11-12 2014-09-17 新奥特(北京)视频技术有限公司 一种字幕机
CN102137081B (zh) * 2010-07-23 2014-04-30 华为技术有限公司 插入广告的方法、设备及系统
CN101937695B (zh) * 2010-08-30 2012-08-29 中国电信股份有限公司 富媒体业务场景播放方法及文件播放器
CN103186655A (zh) * 2011-12-31 2013-07-03 北大方正集团有限公司 版式文件的处理方法和装置
CN102682820B (zh) * 2012-05-03 2015-01-28 福建星网视易信息系统有限公司 嵌入式linux平台媒体播放方法和系统
CN103686454A (zh) * 2012-09-24 2014-03-26 腾讯科技(深圳)有限公司 一种信息获取方法和装置
CN103856832B (zh) * 2012-11-29 2018-07-20 上海文广互动电视有限公司 超媒体的制作和发布系统及方法
CN103077673B (zh) * 2012-12-30 2015-08-26 乐视网信息技术(北京)股份有限公司 视频对应物品广告播放方法及系统
CN103237237B (zh) * 2013-03-28 2015-11-18 四三九九网络股份有限公司 一种绘本的视频播放方法和装置
US9361714B2 (en) 2013-08-05 2016-06-07 Globalfoundries Inc. Enhanced video description
CN104883288A (zh) * 2014-02-27 2015-09-02 北京风行在线技术有限公司 一种提供待发布信息的方法与装置
WO2015163555A1 (ko) * 2014-04-22 2015-10-29 주식회사 뱁션 자막 삽입 시스템 및 방법
CN103986980B (zh) * 2014-05-30 2017-06-13 中国传媒大学 一种超媒体编辑制作方法及系统
CN105282573B (zh) * 2014-07-24 2020-04-07 腾讯科技(北京)有限公司 一种嵌入式信息处理方法、客户端及服务器、存储介质
CN104093062A (zh) * 2014-07-31 2014-10-08 上海斐讯数据通信技术有限公司 一种用于移动终端的网页视频加载系统及其加载方法
CN104239482A (zh) * 2014-09-04 2014-12-24 无锡天脉聚源传媒科技有限公司 一种资源的xml描述及处理的方法及装置
CN104836963B (zh) * 2015-05-08 2018-09-14 广东欧珀移动通信有限公司 一种视频处理方法和装置
CN105376592B (zh) * 2015-12-21 2019-02-12 优酷网络技术(北京)有限公司 一种基于频次控制的广告素材轮播方法
CN108664303B (zh) * 2018-04-28 2023-06-30 北京小米移动软件有限公司 网页内容的显示方法及装置
CN108833952B (zh) * 2018-06-20 2021-06-11 阿里巴巴(中国)有限公司 视频的广告投放方法及装置
CN109165014B (zh) * 2018-07-17 2022-03-29 北京新唐思创教育科技有限公司 用于编辑控件的方法、装置、设备以及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662988A (zh) * 2002-05-08 2005-08-31 汤姆森许可贸易公司 在高级数字视频记录系统中的应用设备指导编辑操作
EP1761060A2 (en) * 2005-09-06 2007-03-07 Electronics and Telecommunications Research Institute Transmission system, receiving terminal, and method for controlling data broadcasting contents
CN101158962A (zh) * 2007-11-12 2008-04-09 深圳市迅雷网络技术有限公司 一种存储视频文件的描述信息和视频片段的方法及系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN101246491A (zh) * 2008-03-11 2008-08-20 孟智平 一种在网页中使用描述文件的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662988A (zh) * 2002-05-08 2005-08-31 汤姆森许可贸易公司 在高级数字视频记录系统中的应用设备指导编辑操作
EP1761060A2 (en) * 2005-09-06 2007-03-07 Electronics and Telecommunications Research Institute Transmission system, receiving terminal, and method for controlling data broadcasting contents
CN101158962A (zh) * 2007-11-12 2008-04-09 深圳市迅雷网络技术有限公司 一种存储视频文件的描述信息和视频片段的方法及系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN101246491A (zh) * 2008-03-11 2008-08-20 孟智平 一种在网页中使用描述文件的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152621A (zh) * 2013-02-27 2013-06-12 四三九九网络股份有限公司 推荐视频的配置方法、显示方法和播放方法

Also Published As

Publication number Publication date
CN101489125A (zh) 2009-07-22

Similar Documents

Publication Publication Date Title
CN101489125B (zh) 基于xml的视频控制方法及其系统
US9462309B2 (en) Playing and editing linked and annotated audiovisual works
Gao et al. Vlogging: A survey of videoblogging technology on the web
Tseng et al. Using MPEG-7 and MPEG-21 for personalizing video
AU2008296144C1 (en) Delayed advertisement insertion in videos
US10264314B2 (en) Multimedia content management system
AU2008296153B2 (en) Bookmarking in videos
US20090228921A1 (en) Content Matching Information Presentation Device and Presentation Method Thereof
CN102316367A (zh) 一种存储视频资源信息的方法
US8805866B2 (en) Augmenting metadata using user entered metadata
US20130312049A1 (en) Authoring, archiving, and delivering time-based interactive tv content
US20160295248A1 (en) Aggregating media content
CN102314433A (zh) 一种视频控制方法
Goularte et al. Structuring interactive TV documents
US20100287474A1 (en) Method and apparatus for presenting a search utility in an embedded video
US9516353B2 (en) Aggregating media content
Apostolidis et al. Facilitating the Production of Well-Tailored Video Summaries for Sharing on Social Media
KR102303309B1 (ko) 동영상 타임 링크 공유 방법 및 시스템
Dimitrova et al. Entry into the content forest: The role of multimedia portals
Wales et al. IPTV-The revolution is here
AU2011218691B2 (en) Bookmarking in videos
Yang et al. Serving a video into an image carousel: system design and implementation
Lee An Effective Architecture Of Advanced TV Set-Top And Interactive Services Using TV-Anytime Metadata
Munisamy et al. Automatic Transformation of Video with Meta-Data into Web Contents
De Vos Usability improvements on a Metadata Server for Video on Demand based on Free Software

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant