CN115734006A - 一种蒙版文件的处理方法、装置以及处理设备 - Google Patents
一种蒙版文件的处理方法、装置以及处理设备 Download PDFInfo
- Publication number
- CN115734006A CN115734006A CN202110989199.5A CN202110989199A CN115734006A CN 115734006 A CN115734006 A CN 115734006A CN 202110989199 A CN202110989199 A CN 202110989199A CN 115734006 A CN115734006 A CN 115734006A
- Authority
- CN
- China
- Prior art keywords
- mask
- file
- video
- files
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种蒙版文件的处理方法、装置以及处理设备,用于提供一种新的弹幕防挡机制,减少服务器上存储资源的占用,降低服务器的负担。本申请提供的一种蒙版文件的处理方法,包括:服务器获取视频文件;服务器以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;服务器将多个第一蒙版文件进行合并,得到第二蒙版文件;当接收到客户端发起的视频观看请求后,服务器在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
Description
技术领域
本申请涉及视频领域,具体涉及一种蒙版文件的处理方法、装置以及处理设备。
背景技术
如今,对于平台上的视频播放服务,平台运营方往往会配置弹幕机制,用户在观看视频的过程中,可根据自己的想法发起对应文字内容的弹幕,弹幕可在视频画面中滚动显示或者悬停显示,达到用户之间互动的效果,进而可提高观看视频时的趣味性。
容易理解,视频画面中若出现人体画面,往往用户关注的是人体画面对应的角色本身,而视频画面中显示的弹幕,则会遮挡住人体画面,进而在一定程度上影响了用户的观看体验。
因此,可为基础的弹幕机制继续引入弹幕防挡机制,服务器对视频画面中的人体区域进行识别,客户端则对识别出的人体区域识别结果进行弹幕防挡处理,使得弹幕的显示区域与人体区域重叠时,在重叠区域中忽略、屏蔽弹幕的显示,如此可保留完整的人体画面。
而在现有的相关技术的研究过程中,发明人发现,对于服务器下发的人体区域识别结果,在现有弹幕防挡处理机制中,第一种方案是将其直接配置于视频文件中,若某一视频文件包括存在多个分辨率,则需要配置相同数量的内置人体区域识别结果的视频文件,显然,在视频文件的存储工作上需要占用较多的存储资源,而海量视频文件的存储工作则会对服务器造成不小的负担,第二种方案是由客户端在执行弹幕防挡处理时向服务器实时获取当前视频画面对应的人体区域识别结果,在这场景下涉及大量网络数据的请求,对于服务器仍会造成不小的负担,显然两者对于服务器而言都存在着不小的负担。
发明内容
本申请提供了一种蒙版文件的处理方法、装置以及处理设备,用于提供一种新的弹幕防挡机制,减少服务器上存储资源的占用,降低服务器的负担。
第一方面,本申请提供了一种蒙版文件的处理方法,方法包括:
服务器获取视频文件;
服务器以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;
服务器将多个第一蒙版文件进行合并,得到第二蒙版文件;
当接收到客户端发起的视频观看请求后,服务器在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,服务器将多个第一蒙版文件进行合并,得到第二蒙版文件,包括:
服务器将多个第一蒙版文件进行合并,得到初始蒙版文件;
服务器在初始蒙版文件配置的跟元素属性中,写入多个第一蒙版文件各自的时间戳标签,时间戳标签用于标识对应蒙版文件的时间点。
结合本申请第一方面,在本申请第一方面第二种可能的实现方式中,服务器将多个第一蒙版文件进行合并,得到第二蒙版文件,包括:
服务器获取蒙版文件预设时长;
服务器在对多个第一蒙版文件进行合并的过程中,以蒙版文件预设时长作为拆分单位,合并得到多个第三蒙版文件,作为第二蒙版文件,多个第三蒙版文件的数量与多个第一蒙版文件的总时长经过蒙版文件预设时长拆分后的数量一致。
第二方面,本申请提供了一种蒙版文件的处理方法,方法包括:
客户端向服务器发起视频观看请求;
客户端接收服务器针对视频观看请求下发的视频文件以及第一蒙版文件,第一蒙版文件是由服务器将多个第二蒙版文件合并得到的,多个第二蒙版文件是以视频文件的视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域得到的;
客户端对第一蒙版文件进行解析,得到多个第二蒙版文件;
客户端在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,客户端在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理之前,方法还包括:
客户端在第一蒙版文件配置的跟元素属性中,读取服务器写入的多个第二蒙版文件各自的时间戳标签,
客户端根据多个第二蒙版文件分别对应的时间戳标签表示的时间顺序,将多个第二蒙版文件的数据存储至预设列表中;
客户端在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理,包括:
客户端在播放视频文件时,遵循预设列表指示的不同时间点用于加载的蒙版文件的数据,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第二方面,在本申请第二方面第二种可能的实现方式中,客户端接收服务器针对视频观看请求下发的第一蒙版文件之前,方法包括:
客户端接收用于调整视频播放进度的用户操作;
客户端结合用户操作的目标播放进度以及目标播放进度所在的第二蒙版文件的预设视频时长,确定目标播放进度对应的第一时间戳;
客户端根据第一时间戳以及视频文件总时长,确定第一蒙版文件的起始时间戳,作为第二时间戳;
客户端向服务器上报第二时间戳,以使得服务器根据第二时间戳确定并下发对应的第一蒙版文件。
第三方面,本申请提供了一种蒙版文件的处理装置,装置包括:
获取单元,用于获取视频文件;
识别单元,用于以视频文件的视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;
合并单元,用于将多个第一蒙版文件进行合并,得到第二蒙版文件;
下发单元,用于当接收到客户端发起的视频观看请求后,在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第三方面,在本申请第三方面第一种可能的实现方式中,合并单元,具体用于;
将多个第一蒙版文件进行合并,得到初始蒙版文件;
在初始蒙版文件配置的跟元素属性中,写入多个第一蒙版文件各自的时间戳标签,时间戳标签用于标识对应蒙版文件的时间点。
结合本申请第三方面,在本申请第三方面第二种可能的实现方式中,合并单元,具体用于;
获取蒙版文件预设时长;
在对多个第一蒙版文件进行合并的过程中,以蒙版文件预设时长作为拆分单位,合并得到多个第三蒙版文件,作为第二蒙版文件,多个第三蒙版文件的数量与多个第一蒙版文件的总时长经过蒙版文件预设时长拆分后的数量一致。
第四方面,本申请提供了一种蒙版文件的处理装置,装置包括:
发起单元,用于向服务器发起视频观看请求;
接收单元,用于接收服务器针对视频观看请求下发的视频文件以及第一蒙版文件,第一蒙版文件是由服务器将多个第二蒙版文件合并得到的,多个第二蒙版文件是以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域得到的;
解析单元,用于对第一蒙版文件进行解析,得到多个第二蒙版文件;
处理单元,用于在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第四方面,在本申请第四方面第一种可能的实现方式中,装置还包括存储单元,用于:
在第一蒙版文件配置的跟元素属性中,读取服务器写入的多个第二蒙版文件各自的时间戳标签,
根据多个第二蒙版文件分别对应的时间戳标签表示的时间顺序,将多个第二蒙版文件的数据存储至预设列表中;
处理单元,具体用于:
在播放视频文件时,遵循预设列表指示的不同时间点用于加载的蒙版文件的数据,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
结合本申请第四方面,在本申请第四方面第二种可能的实现方式中,装置还包括上报单元,用于:
接收用于调整视频播放进度的用户操作;
结合用户操作的目标播放进度以及目标播放进度所在的第二蒙版文件的预设视频时长,确定目标播放进度对应的第一时间戳;
根据第一时间戳以及视频文件总时长,确定第一蒙版文件的起始时间戳,作为第二时间戳;
向服务器上报第二时间戳,以使得服务器根据第二时间戳确定并下发对应的第一蒙版文件。
第五方面,本申请提供了一种蒙版文件的处理设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面、本申请第一方面任一种可能的实现方式、本申请第二方面或者本申请第二方面任一种可能的实现方式提供的方法。
第六方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面、本申请第一方面任一种可能的实现方式、本申请第二方面或者本申请第二方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
针对弹幕防挡机制,本申请将视频文件识别视频画面中的人体区域得到的蒙版文件,与视频文件本身做出了独立的文件处理,如此客户端在播放视频文件并执行弹幕防挡处理时,向服务器请求视频文件对应的蒙版文件即可,既避免了现有技术中将蒙版文件嵌入视频文件为服务器带来占用过多存储资源的问题,此外若人体识别技术出现更新,也可方便地通过更新的人体识别技术对蒙版文件进行更新。
此外,由于本申请对识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件,进行了合并处理,因此,还可显著减少客户端对服务器请求蒙版文件时涉及的信令交互次数,避免频繁的信令交互对服务器以及客户端两者带来的负担,进而可提高弹幕防挡机制的流畅性以及服务质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请服务器侧蒙版文件的处理方法的一种流程示意图;
图2为本申请客户端侧蒙版文件的处理方法的一种流程示意图;
图3为本申请SVG文件的一种场景示意图;
图4为本申请蒙版文件的确定处理的一种流程示意图;
图5为本申请服务器侧蒙版文件的处理装置的一种结构示意图;
图6为本申请客户端侧蒙版文件的处理装置的一种结构示意图
图7为本申请蒙版文件的处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的蒙版文件的处理方法之前,首先介绍本申请所涉及的背景内容。
本申请提供的蒙版文件的处理方法、装置以及计算机可读存储介质,可应用于蒙版文件的处理设备,该处理设备具体可以为服务器或者客户端,用于提供一种新的弹幕防挡机制,减少服务器上存储资源的占用,降低服务器的负担。
本申请提及的蒙版文件的处理方法,其执行主体可以为蒙版文件的处理装置,或者集成了蒙版文件的处理该装置的服务器或者客户端,其中,蒙版文件的处理装置可以采用硬件或者软件的方式实现。
容易理解,客户端,对应用户侧,具体为物理主机或者用户设备(User Equipment,UE)等类型的设备,其中,UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。
其中,本申请所涉及的视频文件,可以为任意应用场景涉及的视频文件,视频文件为平台面向用户提供视频播放服务所涉及的视频文件,例如直播场景涉及的直播间的视频文件。
以直播场景为例,客户端,可以通过安装的客户端程序(Application,APP),访问直播平台,进行直播间的视频播放,并在播放视频过程中,通过本申请提出的新的弹幕防挡机制,实现更佳的弹幕防挡效果。
或者,客户端,也可以通过Web应用等访问方式,访问直播平台,进行直播间的视频播放,并在播放视频过程中,通过本申请提出的新的弹幕防挡机制,实现更佳的弹幕防挡效果。
继续以直播场景为例,直播间的视频播放的视频内容,一般来说可以为实时的直播内容,对应的,在应用本申请提供的弹幕防挡机制时,涉及的蒙版文件的处理,是在很短的当前时间段内完成的,以达到可以认为是实时的弹幕防挡效果;
或者,还可以为历史的直播内容,例如,直播间的历史精彩内容回放,因此,涉及的蒙版文件的处理,是在历史时间段内完成的,在响应客户端的视频播放需求时,仅需调取对应的蒙版文件即可。
下面,开始介绍本申请提供的蒙版文件的处理方法。
首先,参阅图1,图1示出了本申请服务器侧蒙版文件的处理方法的一种流程示意图,本申请提供的蒙版文件的处理方法,具体可包括如下步骤S101至步骤S104:
步骤S101,服务器获取视频文件;
可以理解,视频播放服务的平台运营方,例如直播平台的平台运营方,可在服务器上存储视频文件,当存在处理视频文件对应的蒙版文件的处理需求时,则先读取本地存储的视频文件,或者调取如其他服务器、存储介质等其他设备上存储的视频文件。
可以理解的是,在实际应用中,可以由服务器针对平台上特定范围内的视频文件自动应用本申请所提供的蒙版文件的处理方法,以处理相对应的蒙版文件。
该范围,可以为工作人员手动指定的范围,例如某个服务器设备上存储的视频文件;或者,也可以为服务器可自动识别的范围,例如某些历史时间段的视频文件、某些类型的视频文件等,具体可随服务器触发的蒙版文件处理任务调整。
步骤S102,服务器以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;
在图像识别处理中,通常是基于人工智能(Artificial Intelligence,AI)技术实现的,具体的,可通过神经网络模型对输入的视频文件进行视频画面中人体区域的识别。
视频文件,其实质是由大量的视频帧组成的,每一个视频帧为静态的图片,在快速连续地显示视频帧便形成了动画。
在进行图像识别时,可以先将视频文件拆分成视频帧,再分别导入模型中视频画面中的人体区域的识别;或者,模型也可直接视频文件的导入,由模型在内部的数据处理过程中,以视频帧为识别单位进行视频画面中的人体区域的识别。
其中,需要指出的是,在实际应用中,以视频帧为识别单位进行图像识别,并不意味着是针对的每一个视频帧进行的图像识别,视频文件存在较高的帧率(可以理解为每秒多少帧),而在相邻的视频帧之间,人体区域可能是趋于一致的甚至相同的,而弹幕防挡处理也可保留一定的误差空间,因此,可设置时间间隔或者视频帧间隔,抽取视频帧进行图像识别。
例如,可设置每20ms,进行一次图像识别,提供一个对应的蒙版文件。
可以理解,蒙版文件,为用于描述识别出的人体区域的文件,例如可扩展适量图形(Scalable Vector Graphics,SVG)文件,SVG是一种基于可扩展标记语言(ExtensibleMarkup Language,XML)定义的图像文件格式,简单地可以理解为用代码来描绘图像,而在本申请中,则可以理解为用代码来描绘识别出的人体区域。
蒙版文件所描述的人体区域,可以为本申请涉及的弹幕防挡处理提供数据支持,以供客户端加载弹幕文件,在视频画面中显示对应弹幕时,在弹幕的显示区域与人体区域的重叠区域中忽略、屏蔽弹幕的显示达到保留完整的人体画面的目的。
可以理解,在以视频帧为识别单位进行图像识别后,可以得到大量的蒙版文件,这些蒙版文件本申请记为第一蒙版文件。
步骤S103,服务器将多个第一蒙版文件进行合并,得到第二蒙版文件;
可以理解的是,在实际应用中,蒙版文件一般是存放于服务器上的,后续当存在客户端需要对具体播放的视频进行弹幕防挡处理时,由客户端进行对应蒙版文件的获取。
而本申请,则考虑为减少客户端对服务器请求蒙版文件时涉及的信令交互次数,减少其所需的通信成本,则对图像识别得到的大量蒙版文件,即第二蒙版文件作出了合并的处理,使得在一次信令交互过程中,可将大量的蒙版文件,以一个文件的方式,打包下发至客户端,如此可减少客户端的请求次数以及服务器的响应次数,且由于提前下载了蒙版文件,也可降低对于蒙版文件实时获取的时延要求,避免频繁的信令交互对服务器以及客户端两者带来的负担,进而可提高弹幕防挡机制的流畅性以及服务质量。
在得到合并后的第二蒙版文件后,则可进行文件的存储,以便后续客户端的获取。
可以看出的是,在步骤S103中,得到的第二蒙版文件,与原来的视频文件,相比于现有技术中将蒙版文件内嵌到视频文件中,本申请可以理解为是两种文件,从而图像识别出的蒙版文件的处理,可以脱离于原来的视频文件,两者在文件的处理上是独立的,因此可避免现有技术中将蒙版文件嵌入视频文件为服务器带来占用过多存储资源的问题。
例如,在现有技术中,若将视频文件识别出的蒙版文件内嵌到视频文件的附加增强信息(Supplemental enhancement information,SEI)中,显然,其采用的是修改视频源的方式,若原始的视频文件记为G,内嵌蒙版文件的视频文件为G+M,在文件存储上则至少需要双倍的存储空间,而若有N种分辨率,还需继续大幅度地增加存储成本,共需要G+(G+M)*N,存在占用过多存储资源的情况,并且若人体识别技术出现更新,也需要重新识别,对蒙版文件进行更新,显然,现有技术中视频文件的存储存在应用不便的问题。
步骤S104,当接收到客户端发起的视频观看请求后,服务器在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
可以理解,客户端侧在发起视频观看请求进行对应视频的观看时,客户端首先会向服务器发起对应的视频观看请求,指示服务器下发目标视频文件,或者触发服务器下发本次视频观看请求对应的视频文件。
而当接收到客户端发起的视频观看请求后,服务器一方面可下发客户端播放视频所需的视频文件,另一方面可下发客户端执行弹幕防挡处理所需的蒙版文件。
可以理解,视频文件和蒙版文件的下发,可以是独立开的,也可能存在于同一信令中。
此外,对于弹幕文件,其可能内置于视频文件中,随视频文件的下发而下发;或者,也可能是与蒙版文件类似,脱离于视频文件,为另一独立的文件形式存在,在该情况下,弹幕文件、视频文件、蒙版文件的下发,都可以是独立开的,也可能存在于同一信令中。
从图1所示实施例可看出,针对弹幕防挡机制,本申请将视频文件识别视频画面中的人体区域得到的蒙版文件,与视频文件本身做出了独立的文件处理,如此客户端在播放视频文件并执行弹幕防挡处理时,向服务器请求视频文件对应的蒙版文件即可,既避免了现有技术中将蒙版文件嵌入视频文件为服务器带来占用过多存储资源的问题,此外若人体识别技术出现更新,也可方便地通过更新的人体识别技术对蒙版文件进行更新。
此外,由于本申请对识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件,进行了合并处理,因此,还可显著减少客户端对服务器请求蒙版文件时涉及的信令交互次数,避免频繁的信令交互对服务器以及客户端两者带来的负担,进而可提高弹幕防挡机制的流畅性以及服务质量。
继续参阅图2,图2示出了本申请客户端侧蒙版文件的处理方法的一种流程示意图,本申请提供的蒙版文件的处理方法,具体也可包括如下步骤S201至步骤S204:
步骤S201,客户端向服务器发起视频观看请求;
可以理解,客户端侧在发起视频观看请求进行对应视频的观看时,客户端首先会向服务器发起对应的视频观看请求,指示服务器下发目标视频文件,或者触发服务器下发本次视频观看请求对应的视频文件。
步骤S202,客户端接收服务器针对视频观看请求下发的视频文件以及第一蒙版文件,第一蒙版文件是由服务器将多个第二蒙版文件合并得到的,多个第二蒙版文件是以视频文件的视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域得到的;
当接收到客户端发起的视频观看请求后,服务器一方面可下发客户端播放视频所需的视频文件,另一方面可下发客户端执行弹幕防挡处理所需的蒙版文件。
可以理解,视频文件和蒙版文件的下发,可以是独立开的,也可能存在于同一信令中。
而对于服务器下发的蒙版文件,即此处所提及的第一蒙版文件,其说明,可以参考图1对应实施例中步骤S103涉及的第二蒙版文件,具体在此不再赘述。
步骤S203,客户端对第一蒙版文件进行解析,得到多个第二蒙版文件;
在从服务器处获取合并多个蒙版文件得到的第一蒙版文件后,客户端为加载第一蒙版文件中的具体蒙版文件,则可对第一蒙版文件进行解析,得到第一蒙版文件合并前的多个蒙版文件,即第二蒙版文件。
步骤S204,客户端在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
可以理解的是,客户端在进行弹幕防挡处理时,在同一时间下,一般是只加载一个第二蒙版文件的,并对当前加载的第二蒙版文件所描述的视频画面中的人体区域,完成弹幕防挡处理。
从这也可看出,蒙版文件的加载,与视频帧的加载类似,都是处于动态的处理。
类似的,从整体上来说,客户端对不同的蒙版文件以及不同的视频帧,也是向服务器动态获取到的。
而针对图2所示实施例所能取得的技术效果,可参考图1所示实施例说明的可以取得的技术效果,具体在此不再赘述。
在上面内容中,是从服务器侧的角度以及客户端侧的角度分别进行说明的,为方便进一步的说明,下面则从两者整体的角度,继续进行方案的说明以及在实际应用中可能采取的优化方案。
下面以SVG格式的蒙版文件简称为SVG文件为例,进行示例性说明。
对于单一的SVG文件,其主要包括有元素、属性、矢量图路径等内容,例如,可通过下面的一段描述内容来指示对应的人体区域:
<svg viewBox="0,0,224,125"...>
<path d="M0,1 0,123 103,123.../>
</svg>
其中,该SVG文件的起始元素名为“svg”,该标签有若干属性(attribute),如“viewBox="0,0,224,125"...>”,“viewBox”属性代表人物矢量路径的容器区域大小,后面的“0,0,224,125”代表具体的值;接着使用标签“<path d="M0,10,123 103,123..."/>”来定义视频人物的路径信息,M(moveto)代表路径平移,每个坐标用空格隔开,如“M0,1 0,123103,123”代表路径先移动到坐标(0,1),接着移动到坐标(0,123),依次往后移动;结束元素则为“</svg>”。
本申请在通过图像识别得到视频帧对应的SVG文件后,可以为SVG文件配置视频帧对应的时间戳,用于标识SVG文件的对应时间点,该时间点,也是对应视频帧的对应时间点,或者说,为视频文件中的所处时间点。
在该情况下,在进行SVG文件的合并时,则可配置合并的SVG文件中包含的各SVG文件的时间戳,从而后续客户端可根据具体的时间戳,确定合并的SVG文件中各SVG文件对应的具体时间点,将具体的蒙版文件与具体的视频画面之间一一对应起来。
举例而言,该时间戳可记为timeline属性,在合并处理中,可将多个带有timeline属性的SVG标签放到合并的SVG文件的根元素内,完成对合并的SVG文件中包含的各SVG文件的时间戳的标识。
后续,当客户端从服务器下载到合并的SVG文件,对其进行解析,得到多个单一的SVG文件,并根据客户端当前所播放的视频画面,加载指向相同时间点的SVG文件,执行弹幕防挡处理。
在添加了时间戳timeline属性后,如“timeline="20"”表示当前SVG文件是视频文件的第20ms的蒙版文件,其可通过下面的一段描述内容来指示对应的人体区域:
<svg viewBox="0,0,224,125"timeline="20"...>
<path d="M0,1 0,123 103,123.../>
</svg>
而在合并的SVG文件中,结合图3示出的本申请SVG文件的一种场景示意图进行参考,其在实际应用中是在不改变原有信息以及格式的情况下实现文件的合并,其通过下面的一段描述内容来指示各SVG文件对应的人体区域:
一方面,在上述的时间戳应用场景下,对应于服务器侧图1所示实施例中步骤S103中的合并处理,其可以包括:
服务器将多个第一蒙版文件进行合并,得到初始蒙版文件;
服务器在初始蒙版文件配置的跟元素属性中,写入多个第一蒙版文件各自的时间戳标签,时间戳标签用于标识对应蒙版文件的时间点。
可以理解的是,这两个步骤之间,可以是在一个数据处理过程中实现的,也就是两者处于同一执行动作过程中,当然,也可以配置为具有前后执行顺序的差异,具体可随实际需要调整时间戳标签的配置方式。
在该设置下,可以在合并的蒙版文件中,清晰且简要的标识出各蒙版文件的对应时间点,方便客户端的解析以及蒙版文件的读取。
另一方面,在上述的时间戳应用场景下,对应于客户端侧的图2所示实施例,为更好的应用时间戳标签,在执行其步骤S204进行弹幕防挡处理之前,则可包括预设列表的应用:
客户端在第一蒙版文件配置的跟元素属性中,读取服务器写入的多个第二蒙版文件各自的时间戳标签,
客户端根据多个第二蒙版文件分别对应的时间戳标签表示的时间顺序,将多个第二蒙版文件的数据存储至预设列表中。
可以理解,本申请客户端在应用蒙版文件时,可引入一预设列表,在列表中可根据时间戳标签表示的时间顺序来排列相应的蒙版数据,以便直接加载蒙版文件来流畅地完成弹幕防挡处理。
举例而言,该预设列表,在实际应用中,具体可以为缓存列表(mask Cache Map)。
对应的,在执行步骤S205进行弹幕防挡处理过程中,则可包括:
客户端在播放视频文件时,遵循预设列表指示的不同时间点用于加载的蒙版文件的数据,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
在该设置下,由于在时间戳标签的基础上,清晰且简要地配置了预设列表,因此客户端可在视频播放过程中确定了所需加载的蒙版文件的时间戳后,则可从预设列表中查找到所需的蒙文文件数据,将其蒙版内容渲染出来,与弹幕文件配合,更好地完成弹幕防挡处理。
进一步的,本申请在考虑对原始的多个SVG文件进行合并得到的SVG文件后,可能单个的SVG文件会占用一定的存储空间,本申请还可配置为将整体的蒙版文件合并处理分为多次颗粒度更小的蒙版文件合并处理(下面将此处提及的颗粒度更小的蒙版文件称为合并蒙版文件)。
整体的蒙版文件合并处理:假设一个总时长T为30分钟的视频文件,每20ms生成一个SVG文件,其通过图像识别得到的初始SVG文件的数量S为90000;若单张SVG文件占用存储大小p平均为1Kb,合并SVG文件则需占用的存储空间M为90M,显然合并文件存在一定的文件过大的问题;
颗粒度更小的蒙版文件合并处理:若将合并后的SVG文件的视频时长设为10s,则每个合并SVG文件则需占用的存储空间M为500Kb。
显然,在将原来整体的蒙版文件合并处理拆分为颗粒度更小的蒙版文件合并处理后,可显著降低合并的蒙版文件的文件大小,进而在服务器与客户端之间,可平衡下载文件的速度与下载频率,既可一定程度上提高下载的合并蒙版文件的实时性,也可一定程度上降低客户端本地存储的合并蒙版文件的占用空间。
可以理解,为适用于蒙版文件的标准化处理,可将该颗粒度更小的蒙版文件合并处理涉及的颗粒度大小,从时长上进行限定,即以一预设时长进行合并处理的拆分。
对应于服务器侧图1所示实施例中步骤S103中的合并处理,其可包括:
服务器获取蒙版文件预设时长;
服务器在对多个第一蒙版文件进行合并的过程中,以蒙版文件预设时长作为拆分单位,合并得到多个第三蒙版文件,作为第二蒙版文件,多个第三蒙版文件的数量与多个第一蒙版文件的总时长经过蒙版文件预设时长拆分后的数量一致。
可以理解,该预设时长作为合并蒙版文件(图1所示实施例中的第二蒙版文件)的拆分单位,具体可以由工作人员根据操作经验配置,例如10s。
当然,在实际应用中,也可以根据文件大小等拆分单位进行合并蒙版文件的拆分,可随实际需要调整,在此不做限定。
对应于客户端侧图2所示实施例,显然,客户端从服务器侧单次获取到的蒙版文件,则可以为服务器之前在蒙版文件合并处理过程中根据预设时长、文件大小等拆分单位的限定下处理得到的单个合并蒙版文件;
或者,客户端也在直接向服务器请求蒙版文件时,也可根据需要,直接指定服务器之前在蒙版文件合并处理过程中根据预设时长、文件大小等拆分单位的限定下处理得到的单个合并蒙版文件。
可以理解的是,在实际应用中,若客户端在播放视频时加载的视频文件是直播场景下从服务器获得的视频文件,显然,其所作的弹幕防挡处理可以理解为短时间内完成的、可以认为是实时的,可直接根据时间戳标识的时间顺序,加载的是当前蒙版文件下一个相邻时间戳的蒙版文件,从服务器请求的是当前合并蒙版文件往后相邻的合并蒙版文件(可以将合并蒙版文件中的起始蒙版文件的时间戳进行合并蒙版文件的区分);
而若客户端在播放视频时加载的视频文件是其他场景下服务器获取的视频文件,则在观看过程中,并不一定是如直播场景中按照正常播放场景(包括倍速播放场景)的时间顺序进行视频画面的播放的,具体的说,用户在观看视频过程中,还可能存在调整视频的播放进度的情况,例如,将客户端播放的视频从当前播放进度切换至往后的某一播放进度,或者切换回往前的某一播放进度。对应的,此时所需加载的蒙版文件,则不是原来蒙版文件的往后相邻的蒙版文件。
在该播放进度调整场景下,结合上述的合并蒙版文件的拆分机制,本申请还提出一种适于实用的合并蒙版文件确定方案,以精确确定调整了播放进度后的视频画面中弹幕防挡处理所需的合并蒙版文件。
客户端对于第一蒙版文件(合并蒙版文件)的确定处理,参阅图4示出的本申请蒙版文件的确定处理的一种流程示意图,具体可包括:
步骤S401,客户端接收用于调整视频播放进度的用户操作;
可以理解,作为播放进度调整场景的触发条件,客户端首先可接收用户录入的、用于调整视频文件播放进度的用户操作。
一般的,该用于调整视频播放进度的用户操作,一般为用户在视频播放界面中显示的进度条上作出的选定操作,或者为拉动进度条上滑动控件(所在位置对应当前播放进度)的滑动操作。
步骤S402,客户端结合用户操作的目标播放进度以及目标播放进度所在的第二蒙版文件的预设视频时长,确定目标播放进度对应的第一时间戳;
在接收到用于调整视频播放进度的用户操作后,客户端此时对于该用户操作的目标播放进度所在的具体蒙版文件是未知的,因此还需经过一系列的数据处理,以确定该蒙版文件,继续执行弹幕防挡处理。
可以理解的是,在进行图像识别处理得到初始蒙版文件(第二蒙版文件)时,本身是以视频帧为识别单位进行的,该识别单位如前文提及的,具体可以为时间间隔或者视频帧间隔,本身就具有时长的限定,因此从整体的视频文件来看,在确定了用户操作的目标播放进度(包含视频文件起始时间点到目标进度对应时间点之间的播放时长)以及第二蒙版文件的预设视频时长(图像识别时确定的初始蒙版文件的本身时长),则可确定目标播放进度对应的时间戳,即此处所称的第一时间戳。
即计算公式可以为:
maskTimeLine=maskInterval*roundf(playerTime/maskInterval),
其中,maskTimeLine用于指示第一时间戳(目标播放进度对应的图像识别时确定的第二蒙版文件的时间戳),maskInterval用于指示第二蒙版文件的预设视频时长(图像识别时确定的第二蒙版文件的本身时长),playerTime用于指示用户操作的目标播放进度(包含视频文件起始时间点到目标进度对应时间点之间的播放时长),roundf为四舍五入取整函数,当(playerTime/maskInterval)包含小数时,roundf(playerTime/maskInterval)可返回其四舍五入后的整数。
可以理解,该步骤得到的第一时间戳,则为视频文件在经过播放进度调整后,当前适用的图像识别时确定的第二蒙版文件的时间戳。
步骤S403,客户端根据第一时间戳以及视频文件总时长,确定第一蒙版文件的起始时间戳,作为第二时间戳;
可以理解的是,在上述的合并蒙版文件的拆分机制下,合并蒙版文件若是以预设时长限定合并处理的,该预设时长即为每一个合并蒙版文件的时长,那么结合步骤S402确定的第一时间戳,则可确定其所属的合并蒙版文件。
在本申请中,对于服务器侧每个经过合并处理后得到的合并蒙版文件,则可用合并蒙版文件中的第一个蒙版文件的时间戳(起始时间戳)进行不同合并蒙版文件之间的区分标识。
即计算公式可以为:
mergeFirstTimeLine=mergeDuration*floor(maskTimeLine/mergeDuration),
其中,mergeFirstTimeLine用于指示第二时间戳(合并蒙版文件中的第一个蒙版文件的时间戳),mergeDuration用于指示合并蒙版文件包含的各蒙版文件的总时长,floor是向下取整函数,当(maskTimeLine/mergeDuration)包含小数时,返回值为向下取整后的整数。
可以理解,该步骤得到的第二时间戳,则可作为目标播放进度对应合并蒙版文件的标识。
步骤S404,客户端向服务器上报第二时间戳,以使得服务器根据第二时间戳确定并下发对应的第一蒙版文件。
在得到目标播放进度对应合并蒙版文件的标识-第二时间戳后,则可将服务器上报,如此服务器接收到后,则可从视频文件的多个合并蒙版文件中,查找到该第二时间戳对应的合并蒙版文件(第一蒙版文件),进行反馈。
其中,该第二时间戳,可以携带在向服务器发起的视频播放请求中,也可以携带在其他向服务器发起的其他信令消息中。
其次,在实际应用中,对于本实施例中合并蒙版文件(第一蒙版文件)的确定方式,也可应用于服务器,服务器从客户端获取到本次的用户操作后,确定对应的合并蒙版文件(第一蒙版文件)进行下发。
以上是本申请提供蒙版文件的处理方法的介绍,为便于更好的实施本申请提供的蒙版文件的处理方法,本申请还从功能模块角度提供了蒙版文件的处理方法装置。
参阅图5,图5为本申请对应服务器侧蒙版文件的处理装置的一种结构示意图,在本申请中,蒙版文件的处理装置500具体可包括如下结构:
获取单元501,用于获取视频文件;
识别单元502,用于以视频文件的视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;
合并单元503,用于将多个第一蒙版文件进行合并,得到第二蒙版文件;
下发单元504,用于当接收到客户端发起的视频观看请求后,在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
在一种示例性的实现方式中,合并单元503,具体用于;
将多个第一蒙版文件进行合并,得到初始蒙版文件;
在初始蒙版文件配置的跟元素属性中,写入多个第一蒙版文件各自的时间戳标签,时间戳标签用于标识对应蒙版文件的时间点。
在又一种示例性的实现方式中,合并单元503,具体用于;
获取蒙版文件预设时长;
在对多个第一蒙版文件进行合并的过程中,以蒙版文件预设时长作为拆分单位,合并得到多个第三蒙版文件,作为第二蒙版文件,多个第三蒙版文件的数量与多个第一蒙版文件的总时长经过蒙版文件预设时长拆分后的数量一致。
参阅图6,图6为本申请对应客户端侧蒙版文件的处理装置的一种结构示意图,在本申请中,蒙版文件的处理装置600具体可包括如下结构:
发起单元601,用于向服务器发起视频观看请求;
接收单元602,用于接收服务器针对视频观看请求下发的视频文件以及第一蒙版文件,第一蒙版文件是由服务器将多个第二蒙版文件合并得到的,多个第二蒙版文件是以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域得到的;
解析单元603,用于对第一蒙版文件进行解析,得到多个第二蒙版文件;
处理单元604,用于在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
在一种示例性的实现方式中,装置还包括存储单元605,用于:
在第一蒙版文件配置的跟元素属性中,读取服务器写入的多个第二蒙版文件各自的时间戳标签,
根据多个第二蒙版文件分别对应的时间戳标签表示的时间顺序,将多个第二蒙版文件的数据存储至预设列表中;
处理单元604,具体用于:
在播放视频文件时,遵循预设列表指示的不同时间点用于加载的蒙版文件的数据,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
在又一种示例性的实现方式中,装置还包括上报单元606,用于:
接收用于调整视频播放进度的用户操作;
结合用户操作的目标播放进度以及目标播放进度所在的第二蒙版文件的预设视频时长,确定目标播放进度对应的第一时间戳;
根据第一时间戳以及视频文件总时长,确定第一蒙版文件的起始时间戳,作为第二时间戳;
向服务器上报第二时间戳,以使得服务器根据第二时间戳确定并下发对应的第一蒙版文件。
本申请还从硬件结构角度提供了一种蒙版文件的处理设备,蒙版文件的处理设备具体可以为服务器或者客户端,参阅图7,图7示出了本申请蒙版文件的处理设备的一种结构示意图,具体的,本申请蒙版文件的处理设备可包括处理器701、存储器702以及输入输出设备703,处理器701用于执行存储器702中存储的计算机程序时实现如图1对应实施例中蒙版文件的处理方法的各步骤;或者,处理器701用于执行存储器702中存储的计算机程序时实现如图5或图6对应实施例中各单元的功能,存储器702用于存储处理器701执行上述图1对应实施例中蒙版文件的处理方法所需的计算机程序。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器702中,并由处理器701执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
蒙版文件的处理设备可包括,但不仅限于处理器701、存储器702、输入输出设备703。本领域技术人员可以理解,示意仅仅是蒙版文件的处理设备的示例,并不构成对蒙版文件的处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如蒙版文件的处理设备还可以包括网络接入设备、总线等,处理器701、存储器702、输入输出设备703等通过总线相连。
处理器701可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是蒙版文件的处理设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器702可用于存储计算机程序和/或模块,处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块,以及调用存储在存储器702内的数据,实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据蒙版文件的处理设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器701用于执行存储器702中存储的计算机程序时,具体可实现以下功能:
获取视频文件;
以视频文件的视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域,得到多个视频帧对应的多个第一蒙版文件;
将多个第一蒙版文件进行合并,得到第二蒙版文件;
当接收到客户端发起的视频观看请求后,在下发视频文件的过程中,还下发第二蒙版文件,以使得客户端解析第二蒙版文件得到多个第一蒙版文件,并在播放视频文件时,对多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
或者,具体可实现以下功能:
向服务器发起视频观看请求;
接收服务器针对视频观看请求下发的视频文件以及第一蒙版文件,第一蒙版文件是由服务器将多个第二蒙版文件合并得到的,多个第二蒙版文件是以视频帧为识别单位,对视频文件进行图像识别,识别出视频文件的视频画面中的人体区域得到的;
对第一蒙版文件进行解析,得到多个第二蒙版文件;
在播放视频文件时,对多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的蒙版文件的处理装置、设备及其相应单元的具体工作过程,可以参考如图1对应实施例中蒙版文件的处理方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中蒙版文件的处理方法的步骤,具体操作可参考如图1对应实施例中蒙版文件的处理方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中蒙版文件的处理方法的步骤,因此,可以实现本申请如图1对应实施例中蒙版文件的处理方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的蒙版文件的处理方法、装置、设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种蒙版文件的处理方法,其特征在于,所述方法包括:
服务器获取视频文件;
所述服务器以视频帧为识别单位,对所述视频文件进行图像识别,识别出所述视频文件的视频画面中的人体区域,得到多个所述视频帧对应的多个第一蒙版文件;
所述服务器将所述多个第一蒙版文件进行合并,得到第二蒙版文件;
当接收到客户端发起的视频观看请求后,所述服务器在下发所述视频文件的过程中,还下发所述第二蒙版文件,以使得所述客户端解析所述第二蒙版文件得到所述多个第一蒙版文件,并在播放所述视频文件时,对所述多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
2.根据权利要求1所述的方法,其特征在于,所述服务器将所述多个第一蒙版文件进行合并,得到第二蒙版文件,包括:
所述服务器将所述多个第一蒙版文件进行合并,得到初始蒙版文件;
所述服务器在所述初始蒙版文件配置的跟元素属性中,写入所述多个第一蒙版文件各自的时间戳标签,所述时间戳标签用于标识对应蒙版文件的时间点。
3.根据权利要求1所述的方法,其特征在于,所述服务器将所述多个第一蒙版文件进行合并,得到第二蒙版文件,包括:
所述服务器获取蒙版文件预设时长;
所述服务器在对所述多个第一蒙版文件进行合并的过程中,以所述蒙版文件预设时长作为拆分单位,合并得到多个第三蒙版文件,作为所述第二蒙版文件,所述多个第三蒙版文件的数量与所述多个第一蒙版文件的总时长经过所述蒙版文件预设时长拆分后的数量一致。
4.一种蒙版文件的处理方法,其特征在于,所述方法包括:
客户端向服务器发起视频观看请求;
所述客户端接收所述服务器针对所述视频观看请求下发的视频文件以及第一蒙版文件,所述第一蒙版文件是由所述服务器将多个第二蒙版文件合并得到的,所述多个第二蒙版文件是以视频帧为识别单位,对所述视频文件进行图像识别,识别出所述视频文件的视频画面中的人体区域得到的;
所述客户端对所述第一蒙版文件进行解析,得到所述多个第二蒙版文件;
所述客户端在播放所述视频文件时,对所述多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
5.根据权利要求4所述的方法,其特征在于,所述客户端在播放所述视频文件时,对所述多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理之前,所述方法还包括:
所述客户端在所述第一蒙版文件配置的跟元素属性中,读取所述服务器写入的所述多个第二蒙版文件各自的时间戳标签,
所述客户端根据所述多个第二蒙版文件分别对应的时间戳标签表示的时间顺序,将所述多个第二蒙版文件的数据存储至预设列表中;
所述客户端在播放所述视频文件时,对所述多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理,包括:
所述客户端在播放所述视频文件时,遵循所述预设列表指示的不同时间点用于加载的蒙版文件的数据,对所述多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
6.根据权利要求4所述的方法,其特征在于,所述客户端接收所述服务器针对所述视频观看请求下发的所述第一蒙版文件之前,所述方法包括:
所述客户端接收用于调整视频播放进度的用户操作;
所述客户端结合所述用户操作的目标播放进度以及所述目标播放进度所在的所述第二蒙版文件的预设视频时长,确定所述目标播放进度对应的第一时间戳;
所述客户端根据所述第一时间戳以及所述视频文件总时长,确定所述第一蒙版文件的起始时间戳,作为第二时间戳;
所述客户端向所述服务器上报所述第二时间戳,以使得所述服务器根据所述第二时间戳确定并下发对应的所述第一蒙版文件。
7.一种蒙版文件的处理装置,其特征在于,所述装置包括:
获取单元,用于获取视频文件;
识别单元,用于以所述视频文件的视频帧为识别单位,对所述视频文件进行图像识别,识别出所述视频文件的视频画面中的人体区域,得到多个所述视频帧对应的多个第一蒙版文件;
合并单元,用于将所述多个第一蒙版文件进行合并,得到第二蒙版文件;
下发单元,用于当接收到客户端发起的视频观看请求后,在下发所述视频文件的过程中,还下发所述第二蒙版文件,以使得所述客户端解析所述第二蒙版文件得到所述多个第一蒙版文件,并在播放所述视频文件时,对所述多个第一蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
8.一种蒙版文件的处理装置,其特征在于,所述装置包括:
发起单元,用于向服务器发起视频观看请求;
接收单元,用于接收所述服务器针对所述视频观看请求下发的视频文件以及第一蒙版文件,所述第一蒙版文件是由所述服务器将多个第二蒙版文件合并得到的,所述多个第二蒙版文件是以视频帧为识别单位,对所述视频文件进行图像识别,识别出所述视频文件的视频画面中的人体区域得到的;
解析单元,用于对所述第一蒙版文件进行解析,得到所述多个第二蒙版文件;
处理单元,用于在播放所述视频文件时,对所述多个第二蒙版文件描述的视频画面中的人体区域进行弹幕防挡处理。
9.一种蒙版文件的处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110989199.5A CN115734006A (zh) | 2021-08-26 | 2021-08-26 | 一种蒙版文件的处理方法、装置以及处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110989199.5A CN115734006A (zh) | 2021-08-26 | 2021-08-26 | 一种蒙版文件的处理方法、装置以及处理设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115734006A true CN115734006A (zh) | 2023-03-03 |
Family
ID=85290014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110989199.5A Pending CN115734006A (zh) | 2021-08-26 | 2021-08-26 | 一种蒙版文件的处理方法、装置以及处理设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115734006A (zh) |
-
2021
- 2021-08-26 CN CN202110989199.5A patent/CN115734006A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965397A (zh) | 云端视频编辑方法及装置、编辑设备及存储介质 | |
CN111078070B (zh) | Ppt视频弹幕的播放控制方法、装置、终端及介质 | |
CN110475140B (zh) | 弹幕数据处理方法、装置、计算机可读存储介质和计算机设备 | |
CN107633541B (zh) | 一种图像特效的生成方法和装置 | |
CN102932679A (zh) | 一种网络视频预览系统和方法 | |
US10276209B2 (en) | Generating and display of highlight video associated with source contents | |
US20080240683A1 (en) | Method and system to reproduce contents, and recording medium including program to reproduce contents | |
CN111078078B (zh) | 视频播放控制方法、装置、终端及计算机可读存储介质 | |
EP4080507A1 (en) | Method and apparatus for editing object, electronic device and storage medium | |
CN112044078A (zh) | 虚拟场景应用的接入方法、装置、设备及存储介质 | |
CN110493661B (zh) | 一种视频文件的处理方法以及服务器 | |
CN114025185B (zh) | 一种视频回放方法、装置、电子设备及存储介质 | |
CN110647374A (zh) | 全息展示窗的交互方法、装置以及电子设备 | |
CN109905753B (zh) | 角标的显示方法和装置、存储介质、电子装置 | |
CN114598893B (zh) | 文字的视频实现方法及系统、电子设备、存储介质 | |
CN113727039A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
CN113301413B (zh) | 信息显示方法及装置 | |
CN115734006A (zh) | 一种蒙版文件的处理方法、装置以及处理设备 | |
US20230362460A1 (en) | Dynamically generated interactive video content | |
CN111726701B (zh) | 信息植入方法、视频播放方法、装置和计算机设备 | |
CN115311051A (zh) | 用于房屋带看的页面展示方法、设备及存储介质 | |
CN113645486A (zh) | 视频数据的处理方法、装置、计算机设备和存储介质 | |
CN112463998A (zh) | 相册资源的处理方法、装置、电子设备和存储介质 | |
CN112560809A (zh) | 一种实时展示识别效果的方法及装置 | |
CN113688334A (zh) | 一种内容展示方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |