具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,可以理解的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一个实施例提供一种视频批注方法,以图1中所示为例,包括如下步骤:
步骤10:接收批注添加命令;
步骤11:根据所述批注添加命令调用出批注添加工具;
步骤12:使用所述批注添加工具为视频添加批注信息,所述批注信息包括视频中目标的运动轨迹;
其中添加目标的运动轨迹的方法包括:使用一种图形形状标记出视频中的目标,获取视频播放的当前时刻所述目标的屏幕坐标,以及视频播放的下一时刻,直到下N时刻所述目标的屏幕坐标;N为大于1的自然数;按照视频播放的先后顺序,获取不同时刻的屏幕坐标移动形成的由所述标记目标的图形形状组成的所述目标的运动轨迹。
本发明实施例实现了可以方便快速的为视频添加批注,批注数据和视频数据独立,不压制到视频中来标识视频中目标的运动轨迹,因此不需修改原有的视频内容,仅占用很小存储空间。
本发明另一实施例提供一种视频批注方法,以图2中所示为例,包括如下步骤:
步骤20:接收批注添加命令;
所述批注添加命令包括:用户通过键盘、遥控等按键输入设备、触摸屏或鼠标等指点式输入设备等方式输入的批注添加命令。
其中,在接收所述批注添加命令后可以暂停视频播放,所述暂停视频播放可以为在接收到批注添加命令后播放器自动暂停视频播放,也可以用户在添加批注前操作视频播放器暂停视频播放。本发明实施例对此不做限制。
步骤21:根据所述批注添加命令调用出批注添加工具;
其中所述批注添加工具包括:图形绘制工具和/或文本编辑工具。所述图形绘制工具的功能类似于电子画图板,用于用户标记出视频中目标所在的屏幕区域,用户可以选择提供的多个图形形状的任一种来标记目标,用户也可以自己选中图形绘制工具中的画笔工具,在视频区域内绘制出图形形状,本发明实施例对此不做具体限定。可以理解的是,在批注添加工具中不设置图形绘制工具时,可以设置一种默认的图形形状,如椭圆形来标记目标,该图形形状可缩放。
所述文本编辑工具用于在批注编辑框内为视频添加批注内容,例如批注内容可以包括:文字、图标(例如表情符号)、网络链接、音乐视频文件等。本发明实施例所述的标记物体的图形形状和批注编辑框,显示在播放器视频显示图层之上的图层中。可以理解的是,若批注添加工具中不设置该文本编辑工具,则该批注内容可以为直接拷贝或插入的文本。
该批注添加工具在视频播放过程中处于隐藏状态,当接收到批注添加命令后,视频播放器可以调用并显示出该批注添加工具,供用户添加丰富的批注内容使用。
步骤22:使用所述批注添加工具为视频添加批注信息,所述批注信息包括视频中目标的运动轨迹;
其中,添加目标的运动轨迹的方法包括:使用一种图形形状标记出视频中的目标,获取视频播放的当前时刻所述目标的屏幕坐标,以及视频播放的下一时刻,直到下N时刻所述目标的屏幕坐标;N为大于1的自然数;按照视频播放的先后顺序,获取不同时刻的屏幕坐标移动形成的由所述标记目标的图形形状组成的所述目标的运动轨迹,从而实现以下效果:在批注重新播放时,批注的图形形状所处的位置和视频中实际目标位置基本一致,并随着目标的移动而相应移动。
获取两个屏幕坐标之间的时间差越小,所标注的图形形状与实际目标的移动位置越接近,本发明实施例对获取所述目标两个平面坐标的时间差不做具体限定。
其中,触发标记视频中目标的运动轨迹的方法包括多种,本发明对此不做限定,例如,可以在视频播放过程中,用户发现感兴趣的目标,从而触发对该目标做出标记,标注出该目标的运动轨迹,或在视频播放前,预先设置一定条件,使得视频播放过程中视频播放器根据该条件识别出对应的目标,来触发对该目标做出标记以及标注出运动轨迹。视频播放器可以使用现有的目标识别技术来识别出目标,进一步获取该目标在不同时刻的屏幕坐标,从而辅助完成标注目标的运动轨迹。
所述批注信息还包括批注内容以及以下信息:批注对应的视频数据识别信息标识、目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的出现时长。
所述批注内容可以为富文本形式,所述富文本形式在计算机领域中,指包含文本、图片、音视频等内容,其中文字内容可带有字体、大小、颜色、文字排版等信息。所述批注对应的视频数据识别信息标识用于根据该标识确定与该批注对应的视频数据识别信息,对于视频数据识别信息将在后面步骤23中介绍。所述目标出现的视频播放时间可以为所批注的目标在视频中的视频帧序号。所述批注所记录的视频中目标的屏幕坐标可以为应用目标识别技术识别的目标的中心位置在视频播放器的显示屏中的坐标。所述批注所记录的目标的出现时长为,批注所标记的目标在视频播放过程中的显示时长,由该目标的起始时间位置和结束时间位置决定。
本发明实施例中用户若需要在批注中精确的标记视频中目标的起始时间位置,则可通过一般的视频定位方式,如快进、快退、慢进、慢退、按时间跳转等方式,调整并暂停到精确的视频画面,再添加批注;采用同样的方式也可以标注出视频中一个目标的结束画面,从目标起始时间位置到目标结束时间位置的时间长度将作为批注所记录的该目标的播放时长。
可选地,本发明实施例可以为批注设置该批注在重放视频时的默认显示时长,在达到该显示时长后自动关闭该批注,或者在用户添加批注时接收用户设置的所述显示时长。
本发明实施例实现了为视频添加富文本形式的批注,该富文本形式的批注能够记录视频中持续发生的目标,以及能够标识出视频中的移动目标,达到精确标记视频中对象的目的。
步骤23:存储所述批注信息;
其中,可以独立于视频文件存储所述批注信息,存储的所述批注信息包括所述使用所述批注添加工具添加的批注信息和视频播放器默认的信息,所述视频播放器默认的信息为,视频播放器在未接收到使用所述批注添加工具添加的批注信息中的任一个时,系统添加的信息,具体包括:批注对应的视频数据识别信息标识、目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的出现时长,所述系统为视频播放器的操作系统。
存储所述批注信息的同时,附加记录所述批注信息对应的视频数据识别信息,该视频数据识别信息包括:所述批注信息对应的视频文件标识ID、名称和储存位置、对应的视频文件的修改时间及视频文件大小。通过所述视频文件标识ID、名称和储存位置能够在视频播放器读取到批注文件后查找到与该批注文件对应的视频文件;通过所述视频文件的修改目标及视频文件大小,可以在播放视频及显示批注文件前校验该批注文件是否与当前查找到的视频文件符合,也就是,通过该批注文件中记录的对应的视频文件的修改时间及视频文件大小与查找到的视频文件的修改时间及文件大小对应,如一致,则校验通过,若不一致,则表示校验失败,则可以提示用户该批注文件与视频不匹配,以此实现视频文件的匹配检测和提示功能。为了更加精确的匹配对应的视频文件,所述视频数据识别信息还可以包括视频文件指纹信息,所述视频文件指纹信息是指通过对视频文件的视频数据的全部或一部分进行运算获取的一个128位(或更长)校检数字,例如CRC校检数字。通过该指纹信息可以更精确的识别出一个视频,而不论该视频的文件名称、修改时间是否发生变化。
本发明实施例采用独立于视频文件存储该富文本形式的批注,因此能够方便的对视频的批注进行编辑、删减、合并等操作。
本发明实施例可以在一个批注添加过程结束后,或视频播放结束后,或播放器关闭时,存储该视频的批注到文件中,本发明实施例对此不做限定。
可选地,本发明实施例可以汇总所述视频的所有批注,整理出可显示给用户的批注列表,以便用户可以查看视频中添加的所有批注,也可进行批注的再修改、删除、添加、查找等操作。
可选地,本发明实施例可以为所述批注信息编制并存储批注索引信息,方便用户进行关键字检索,查找及定位到感兴趣的视频内容。
本发明实施例实现了在为视频添加批注后,能够方便的对批注进行编辑、删减、合并等操作,同时能够对批注的内容进行关键字搜索。
本发明实施例在为视频添加批注后,回放所述视频时可以显示所述批注内容及部分批注信息,例如,再次播放所述视频时,加载所述视频的批注,解析出批注中各目标出现的视频播放时间,当到达该时间时,视频播放器获取到该批注的富文本、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长等信息,将所述用来标记目标的图形形状按照所述屏幕坐标显示在视频显示图层之上的图层,以及将所述批注的批注内容显示在视频显示图层之上的图层,并由所述播放时长控制图形形状和批注内容显示的时长。
本发明实施例在回放视频显示批注时可以实现自动调节存在重叠的两个批注的批注内容显示位置,包括:在保证批注内容在屏幕区域中的情况下,两个批注的批注内容分别以各自中心点为原点,向相对于另一批注的原点的相反方向移动,直至两批注内容的显示位置相互不重叠。
本发明实施例实现了可以方便快速的为视频添加批注,批注数据和视频数据独立,不压制到视频中来标识视频中目标的运动轨迹,因此不需修改原有的视频内容,仅占用很小存储空间。
另外,本发明实施例在回放视频显示批注时,通过一条视频批注能够精确定位到视频中发生的一个目标,并至少定位到该目标的以下信息:目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长,目标的运动轨迹点。
为进一步理解本发明,下面以具体实例对视频批注的添加方法、批注存储方法以及视频回放中批注显示方法进行介绍。
一、批注添加过程实例,参见图3
视频播放器播放视频过程中,用户发现感兴趣的内容后(称为视频中的一个目标),通过按键、点击触摸屏、操作指点式输入设备等方式激活该视频播放器的批注功能,显示出图形绘制工具,如图3中的图形形状选择框31,其中一个图形形状被置为选中状态,并使用当前所选中的图形形状选取视频画面中某一区域32,此时本实例所采用的视频播放器将自动暂停视频播放,在用户所选取的区域显示标记目标的图形形状,如默认的圆圈,并显示出一个批注编辑框33,然后等待接收在批注编辑框中输入的富文本信息,包含文字、图标(例如表情符号)、网络链接、音乐视频文件等。该标记目标的图形形状和批注编辑框,显示在该视频播放器的图形显示图层(位于视频显示图层之上)中。当接收到用户添加的该批注结束指令后,采用本实例的视频播放器将自动继续播放视频。本实施例所述的批注结束指令可以为用户点击播放器提供的一个关闭按钮,或按下表示结束的键盘按键。
二、运动轨迹添加实例,参见图4,以标注球体弹跳过程的运动轨迹为例
进入批注状态后,首先使用圆形标注出球体以及该球体所在屏幕位置点后,可以选择添加轨迹工具,向后移动视频的播放时间坐标,并再次标注出画面变化后所述球体所在的位置点。重复此过程,标注出多个位置点。至此,视频播放器将多次标注的位置点形成标注图形形状的运动轨迹。对于再次标注的画面变化后所述球体所在的位置点,可以由用户根据画面确定,本发明实施例也可以由视频播放器根据目标识别技术,来确定画面变化后的所述球体,并获取该球体的位置点。
上述针对运动轨迹的标注还可以应用在对球员运动轨迹的标注上,下面通过足球比赛的运动员批注为例进行说明。
当用户想在比赛的视频播放中识别出“3号球员”在整场比赛中的运动轨迹,并将该选手的运动轨迹标注在相应的图像中,用户可以通过预先选择一幅包含“3号球员”的图像,从中采用视频播放工具的人脸识别得到其人脸参数,或者从其图像中分析得到其形体轮廓,然后利用这些参数在视频播放过程中的图像中进行识别或者匹配,这样就能够识别得到包含“3号球员”的图像,并利用视频批注工具自动标注相应的批注“3号球员”,这样就能够实现在所有的视频图像中标示出用户需要标注的目标。
上述实施过程采用的人脸识别、目标识别、图像匹配技术,由于属于现有技术,在此不再详细描述。
三、批注存储方法实例
本实例在视频批注添加后,视频播放器将视频批注单独保存于一块存储区中,称为批注文件,该批注文件以固定的文件格式存储了一个或多个视频的批注,具体为以下内容:
1、至少一条批注对应的视频数据识别信息,包含:视频文件标识ID、名称和储存位置,并可存储视频文件的修改时间、视频文件大小等信息用于校对,以及视频文件指纹信息。
2、至少一条视频批注。每条批注包含有批注内容以及以下信息中至少一个:批注对应的视频数据识别信息标识ID、目标出现的视频播放时间(播放的帧数)、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长(帧数)等信息,上述信息中的任一条可以由用户通过视频添加工具添加,也可以为视频播放器默认的信息,例如,批注所记录的视频中目标的屏幕坐标可由视频播放器默认指定固定的一片区域,也可由用户在添加批注时设定。所述批注信息还包括目标移动的一组轨迹点。
四、视频回放中批注显示方法实例
本实例的视频播放器可通过两种方式启动视频回放中批注的显示。一种方法为:指定视频文件,然后视频播放器以固定的命名规则查找对应目录下的视频批注文件,例如,可规定加载与该指定的视频文件相同文件夹下的,与该视频文件文件名相同但后缀名不同的视频批注文件。
另一种方法为:指定视频批注文件,视频播放器加载并显示出批注列表以及视频数据识别信息,由用户选择一条批注,并根据该批注对应的视频数据识别信息选定一个视频文件,具体可以为:在启动播放时,视频播放器读取保存在存储介质上的批注文件,首先检查批注文件格式是否为一个合法的批注文件,批注文件以固定的格式存储,因此不符合该格式的即可认为是非法的批注文件,之后通过批注文件中记录的视频文件标识ID、名称、存储位置信息查找到对应的视频,并通过文件修改时间、文件大小信息对视频的合法性进行校检,校检不通过时,将提示观看者视频和视频笔记可能不匹配,或者根据视频文件指纹信息查找到对应的视频文件,再根据文件修改时间、文件大小信息对视频的合法性进行校检。当视频文件和视频批注文件同时被播放器正确加载后,视频播放器才认为可以进行视频批注的播放。
在视频播放器加载批注文件完成后,将对批注文件的每一条进行解析,获取每条批注信息,在播放器内部形成一个批注列表。
在视频播放场景中,当到达批注中某一目标在视频中的发生时间时,视频播放器获取批注内容、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长等信息,将所述用来标记目标的图形形状按照所述屏幕坐标显示在视频显示图层之上的图层,以及将所述批注内容显示在视频显示图层之上的图层,达到叠加到视频上显示的效果,并由所述播放时长控制图形形状和批注内容显示的时长。批注文件的显示根据批注所记录的移动轨迹,随着时间进行移动。采用本方案的视频播放器批注的显示时长信息决定何时关闭批注的显示。批注显示效果参见图5中所示。
采用本方案的视频播放器提供批注显示的冲突处理策略,在视频回放显示批注时,当两条批注的批注内容显示位置冲突时,可以选择自动位移显示(或者叠加显示,具体何种方式可以配置)。自动位移显示的方法为,采用本方案的视频播放器获取需要显示的两个(或多个)批注内容标记的显示区域,当发现显示区域存在重叠时,以各自批注的中心点为原点,然后向相对于另一原点的反方向移动显示区域,直至两批注内容的显示位置相互不重叠,此过程需保证在屏幕显示区域中。
采用本方案的视频播放器可通过获取批注的时间信息,直接跳转到该时间坐标的视频播放。
本发明实施例所述的视频批注方法可广泛应用于各个领域,例如,可用于因特网中的视频网站,使得广大网友在观看视频网站提供的视频时,还能实时将和视频内容相关联的批注加入到视频中;应用于教育领域,教师在视频教材中根据实际需要加入讲解,增强视频教学的效果;应用于公安领域,公安干警在分析监控录像,分析案情时,反复重放视频,然后对视频的可疑点或关键点进行标记和批注;应用于普通家庭用户的家庭录像视频的快速制作和分享等等。
本发明又一实施例提供一种视频播放器,如图6所示,包括:视频播放单元60、命令接收单元61、批注添加工具提供单元62、批注单元63;
所述视频播放单元60,用于播放视频;该视频播放单元60可选地在所述命令接收单元61接收到批注添加命令后暂停视频播放;所述暂停视频播放可以为在接收到批注添加命令后视频播放单元61自动暂停视频播放,也可以为接受用户的控制来暂停视频播放。本发明实施例对此不做限制。
所述命令接收单元61,用于接收批注添加命令;所述批注添加命令包括:用户通过按键、点击触摸屏或操作附加的鼠标等指点式设备等方式输入的批注添加命令。
所述批注添加工具提供单元62,用于在所述命令接收单元61接收到所述批注添加命令后,根据所述批注添加命令调用出批注添加工具;所述批注添加工具包括:图形绘制工具和/或文本编辑工具。所述图形绘制工具的功能类似于电子画图板,用于用户标记出视频目标所在的屏幕区域。所述文本编辑工具用于在批注编辑框内为视频添加批注内容。
所述批注单元63,用于为视频添加批注信息,所述批注信息包括视频中目标的运动轨迹,其中添加目标的运动轨迹的方法包括:使用一种图形形状标记出视频中的目标,获取视频播放的当前时刻所述目标的屏幕坐标,以及视频播放的下一时刻,直到下N时刻所述目标的屏幕坐标;N为大于1的自然数;按照时间先后顺序,将标记所述目标的图形形状按照获得的多个屏幕坐标移动形成所述目标的运动轨迹。
如图7所示,所述视频播放器还包括:
存储单元64,用于存储所述批注信息,存储的所述批注信息包括使用所述批注添加工具添加的批注信息和默认的批注信息,并附加记录所述批注信息对应的视频数据识别信息,所述视频数据识别信息包括:所述批注信息对应的视频文件标识、名称和储存位置、对应的视频文件的修改时间及视频文件大小,以及视频文件指纹信息;所述视频文件指纹信息为通过对所述视频文件的视频数据的全部或部分进行运算获取的校验数字;所述默认的信息包括,在未接收到使用所述批注添加工具添加的批注的以下信息中的任一个时默认的以下信息,包括:批注对应的视频数据识别信息标识、目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长。
该存储单元64可以为以下任一个:视频播放器内部存储器;TF卡、MiniSD卡等附加存储器;或带有WiFi、红外、蓝牙、移动手机网络等网络设备的网络存储器;
批注显示单元65,批注显示单元,用于在视频回放场景中读取并加载所述存储单元64存储的批注信息,解析出批注信息中的目标出现的视频中的播放时间,当到达所述时间时,获取所述批注的批注内容、批注所记录的视频中目标的屏幕坐标、用来标记目标的图形形状、批注所记录的目标的播放时长,将所述用来标记目标的图形形状按照所述屏幕坐标显示在视频显示图层之上的图层,以及将所述批注内容显示在视频显示图层之上的图层,并由所述播放时长控制图形形状和批注内容显示的时长。
如图8中所示,该视频播放器还可选的包括以下任一个或多个单元:
调整单元66,用于在所述批注显示单元显示所述批注信息过程中自动调节存在重叠的两个批注的批注内容显示位置,包括:在保证批注内容在屏幕区域中的情况下,两个批注的批注内容分别以各自中心点为原点,向相对于另一批注的原点的相反方向移动,直至两个批注内容的显示位置相互不重叠。
本发明实施例所述视频播放器可以为计算机中的视频播放设备,或手持播放设备,或手机等便携式播放设备。
本发明实施例实现了可以方便快速的为视频添加批注,批注数据和视频数据独立,不压制到视频中来标识视频中目标的运动轨迹,因此不需修改原有的视频内容,仅占用很小存储空间。
另外,本发明实施例通过一条视频批注能够精确定位到视频中发生的一个目标,以及至少定位到该目标的以下信息:目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、标记目标的图形形状、目标播放时长,及目标的运动轨迹。
能够方便的对批注进行编辑、删减、合并等操作,同时能够对批注的内容进行关键字搜索。
综上所述,本发明实施例实现了可以方便快速的为视频添加批注,批注数据和视频数据独立,不压制到视频中来标识视频中目标的运动轨迹,因此不需修改原有的视频内容,仅占用很小存储空间。
另外,本发明实施例通过一条视频批注能够精确定位到视频中发生的一个目标,以及该目标的以下信息:目标出现的视频播放时间、批注所记录的视频中目标的屏幕坐标、标记目标的图形形状、目标播放时长,及目标的运动轨迹。
能够方便的对批注进行存储、编辑、删减、合并等操作,同时能够对批注的内容进行关键字搜索。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于计算机可读存储介质中,例如只读存储器(简称ROM)、随机存取存储器(简称RAM)、磁盘、光盘等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。