CN111935508B - 信息处理和获取方法、装置、电子设备及存储介质 - Google Patents

信息处理和获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111935508B
CN111935508B CN202010814177.0A CN202010814177A CN111935508B CN 111935508 B CN111935508 B CN 111935508B CN 202010814177 A CN202010814177 A CN 202010814177A CN 111935508 B CN111935508 B CN 111935508B
Authority
CN
China
Prior art keywords
file
mask
target
video
frame images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010814177.0A
Other languages
English (en)
Other versions
CN111935508A (zh
Inventor
范爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd filed Critical Baidu com Times Technology Beijing Co Ltd
Priority to CN202010814177.0A priority Critical patent/CN111935508B/zh
Publication of CN111935508A publication Critical patent/CN111935508A/zh
Application granted granted Critical
Publication of CN111935508B publication Critical patent/CN111935508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了信息处理和获取方法、装置、电子设备及存储介质,涉及信息处理技术领域,尤其涉及视频处理、视频分析、图像处理、以及图像转换技术领域。具体实现方案为:从第一视频中抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数;确定所述多张帧图像对应的所述人像图片的轮廓图所对应的矢量图,将所述矢量图作为所述多张帧图像对应的蒙层文件;以及对所述第一视频的所述多张帧图像对应的蒙层文件进行存储。

Description

信息处理和获取方法、装置、电子设备及存储介质
技术领域
本申请涉及信息处理技术领域,尤其涉及视频处理、视频分析、图像处理、以及图像转换技术领域。
背景技术
随着互联网视频技术的发展,利用视频类的应用观看视频直播越来越普遍。在通过视频类的应用观看视频的场景中,用户可以在视频播放的过程中,通过发送弹幕的方式表达其个人的观点和评论。为了实现在播放视频的同时,使弹幕不遮挡视频中的主要对象,近年来,弹幕蒙层处理技术被越来越多的应用于视频播放场景中。然而,如何使得弹幕蒙层处理技术在视频播放中的使用更加灵活更加便捷,就成为有待解决的问题。
发明内容
本公开提供了一种信息处理和获取方法、装置、电子设备及存储介质。
根据本公开的第一方面,提供了一种信息处理方法,包括:
从第一视频中抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数;
基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;以及
对所述第一视频的所述多张帧图像对应的蒙层文件进行存储。
根据本公开的第二方面,提供了一种信息获取方法,包括:
向服务器发送目标视频的蒙层文件获取请求;
接收所述服务器反馈的所述目标视频的蒙层文件;以及
基于所述目标视频的蒙层文件对所述目标视频进行处理。
根据本公开的第三方面,提供了一种信息处理装置,包括:
第一处理模块,用于从第一视频中抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数;基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;以及
存储模块,用于对所述第一视频的所述多张帧图像对应的蒙层文件进行存储。
根据本公开的第四方面,提供了一种信息获取装置,包括:
第二传输模块,用于向服务器发送目标视频的蒙层文件获取请求;接收所述服务器反馈的所述目标视频的蒙层文件;以及
第二处理模块,用于基于所述目标视频的蒙层文件对所述目标视频进行处理。
根据本公开的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述方法。
根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行前述方法。
根据本公开的第七方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术,预先在对视频进行处理,包括有对视频的帧图像进行人像图片的提取,以及基于人像图片进行分析得到对应的矢量图,将所述矢量图作为对应的蒙层文件并进行保存。如此,实现了视频处理算法及逻辑在服务器端执行并完成,在不阻碍前端或移动端APP常规的视频播放功能的情况下,服务器端可以灵活地对视频生成对应的蒙层文件以控制视频是否呈现弹幕以及是否呈现弹幕穿人效果,这样就无需移动端具备蒙层文件的生成能力,从而避免了蒙层技术过分依赖前端或移动端技术所带来的灵活性差的问题;并且由于服务器侧预先生成了视频的蒙层文件,使得播放视频的时候只需要直接从服务器获取即可,提升了便捷性,由此,可以大大提升用户在视频观看和弹幕呈现方面的体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例的信息处理方法流程示意图一;
图2是根据本申请实施例的信息处理方法流程示意图二;
图3是根据本申请实施例的信息处理方法流程示意图三;
图4是根据本申请实施例的信息处理方法流程示意图四;
图5是根据本申请实施例的信息处理方法的应用场景图;
图6是根据本申请实施例的信息获取方法流程示意图;
图7是根据本申请实施例的信息获取方法的应用场景图;
图8是根据本申请实施例的信息处理装置示意图一;
图9是根据本申请实施例的信息处理装置示意图二;
图10是根据本申请实施例的信息获取装置示意图;
图11是用来实现本申请实施例的信息处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供了一种信息处理方法,如图1所示,包括:
S101:从第一视频中抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数;
S102:基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;以及
S103:对所述第一视频的所述多张帧图像对应的蒙层文件进行存储。
本实施例可以应用于服务器端。
在本实施例的S101中,服务器可以获取第一视频,从第一视频中抽取N张帧图像。N可以是大于等于1的整数。
第一视频可以为服务器端存储的多个视频中之一,也可以是从其他终端上传至服务器的多个视频中之一,本申请对此不加以限制。需要理解的是,针对服务器端的多个视频中任意之一均可以作为上述第一视频。尤其适用于针对服务器端的多个视频中人像占比较大的视频中任意之一均可以作为上述第一视频的场景。
执行对N张帧图像的抽取,具体可以为,服务器按照预设帧率均匀抽取具有人物对象的帧图像。
这里,预设帧率可以为根据实际情况设置的,比如可以为每10ms抽取一个帧图像。当然,可以设置更长或更短的预设帧率,本实施例不进行穷举。
服务器可以对所抽取的N张帧图像中的多张帧图像进行处理,以得到多张帧图像所对应的人像图片。服务器以预设帧率所抽取的N张帧图像中可能包括至少一张帧图像,其中不包含人物对象。在一个示例中,服务器可以从所抽取的N张帧图像中选择出所有包含人物对象的多张帧图像,从而得到从第一视频中抽取的N张帧图像中的所有包含人物对象的帧图像所对应的人像图片。在另一个示例中,服务器还可以从所抽取的N张帧图像中选择出至少一张帧图像,其中每张帧图像均包含人物对象,而剩余未被选择的帧图像中也可以包含人物对象。服务器处理N张帧图像中的多张帧图像以得到多张帧图像所对应的人像图像的具体方式可以是:扫描N张帧图像,基于人工智能算法(比如人像识别算法)选择出包含人物对象的多张帧图像,本申请对此不加以限制。
在一种实施方式中,如图2所示,步骤S102包括:
S1021:对所述多张帧图像对应的所述人像图片进行转换,得到所述人像图片对应的灰度图;以及
S1022:基于所述人像图片对应的灰度图确定所述人像图片的轮廓图,将所述人像图片的轮廓图转换为对应的矢量图。
在步骤S1021中,抽取的多张帧图像通常是彩色图像,因此,通过执行人像分割算法所分离出的帧图像所对应的人像图片通常也是彩色图像。为了减少算法参数并且降低对存储空间的占用,服务器可以将人像图片的彩色图像转换成该人像图片所对应的灰度图。
服务器可以使用图像处理技术提取灰度图对应的轮廓数据点并绘制轮廓图,然后将所绘制的轮廓图转换为对应的矢量图。
对于上述步骤S1022:基于所述人像图片对应的灰度图确定所述人像图片的轮廓图,将所述人像图片的轮廓图转换为对应的矢量图,可以通过以下几种处理方式来实现。
处理方式1:将人像图片的轮廓图直接转换为对应的矢量图。
在这种方式中,不需要考虑轮廓图所包含的人像的数量的多少,并且不需要考虑轮廓图是否占用较大面积的弹幕显示区域,该处理方式较为简单。
处理方式2:步骤S1022可以包括:
在所述人像图片中包含的人像的数量大于等于数量阈值的情况下,从所述人像图片的轮廓图中提取M个人像所对应的轮廓图;其中,M为大于等于1且小于等于所述数量阈值的整数;以及
将所述人像图片中所述M个人像所对应的轮廓图转换为矢量图。
由于服务器所抽取的具有人物对象的帧图像中可能包含一个或多个人物对象,因此,通过执行人像分割算法所分离出的人像图片也对应地包含一个或多个人物对象。在这种情况下,M可以是基于预设的数量阈值来确定的,比如将M确定为小于等于预设的数量阈值,由此,可以只提取小于等于预设的数量阈值的一定数量的人像的轮廓数据,也就是说,仅提取灰度图所对应的M个人像的轮廓的数据点并绘制这M个人像的轮廓图。
比如,当用户观看的是新闻播报视频时,屏幕中当前所呈现的是1位新闻播报主持人。此时,可以设置数量阈值为1。在这种情况下,M等于1,服务器可以仅提取这1个人像的轮廓数据,从而绘制这1个人像的轮廓图。又比如,当用户观看的是综艺节目,屏幕的中间位置处呈现的是3位正在表演歌唱节目的歌手,而在这3位歌手身后,同时还呈现出多位伴舞人员。此时,可以设置阈值为3。在这种情况下,M可以是小于等于3的整数,即,1、2和3,从而服务器可以根据上述处理方式2,仅提取这3位歌手的人像的轮廓数据,而忽略多位伴舞人员的人像的轮廓数据,从而绘制出这3位歌手的人像的轮廓图。此外,服务器还可以根据上述处理方式2仅提取这3位歌手中的1位和/或2位歌手的人像的轮廓数据,从而绘制出其中的该1位和/或2位歌手的人像的轮廓图。然后,再对绘制出的轮廓图执行转换,得到轮廓矢量图,以用于进一步的处理。
处理方式3:在处理方式2的基础上,还可以结合人像图片的轮廓图中的人像位置和\或人像图片的轮廓图中的人像所占用的像素面积大小来进行筛选。
举例来说,在处理方式3中,服务器可以从人像图片的轮廓图中提取M个人像所对应的轮廓图,其中这M个人像所在的位置处于弹幕展示区域处,然后,服务器可以对其进行转换得到对应的矢量图;和/或服务器可以从人像图片的轮廓图中提取占用像素面积最大的M个人像所对应的轮廓图,然后,服务器可以对其进行转换得到对应的矢量图。
在一种实施方式中,如图3所示,步骤S103包括:
S1031:按照预设时间间隔,将所述第一视频的所述多张帧图像对应的蒙层文件进行分片,得到K个蒙层文件集合;其中,K为大于等于1的整数;
S1032:针对所述K个蒙层文件集合中的多个蒙层文件集合生成对应的多个索引文件;其中,所述多个索引文件中的每个索引文件包含:所述索引文件在所述第一视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;
S1033:将所述多个索引文件所对应的所述多个蒙层文件集合进行压缩,得到所述多个索引文件所对应的蒙层文件压缩包;以及
S1034:存储所述多个索引文件及其对应的所述蒙层文件压缩包。
由于一段视频可以是较长一段播放时长内的视频,因此,服务器抽取的N张帧图像所对应的蒙层文件数据量可能非常庞大。而且,所生成的蒙层文件可以分别对应于一段视频的播放时长内的不同时间点。
比如,对于一段播放时长为30s的新闻播报视频而言,可能存在60张帧图像,其中每一张帧图像均可以包含有人物对象,例如新闻播报员。因此,服务器可以抽取这60张帧图像,并且对其中的每一张帧图像进行处理,以获得60张该新闻播报员的人像图片。在确定了这60张该新闻播报员的人像图片所对应的轮廓矢量图之后,这些矢量图被作为该一段视频的60张帧图像所分别对应的60个蒙层文件。其中,比如一个蒙层文件可能对应于该视频播放至25s时的人物对象轮廓矢量图,而另一个蒙层文件可能对应于该视频播放至7s时的人物对象轮廓矢量图。
为了降低计算量,提高处理速度,并且为了可以以蒙层文件所对应的时间点对其进行按顺序归类,需要按照一定的时间间隔对一段视频的N张帧图像所对应的全部蒙层文件进行分片处理,以得到K个蒙层文件集合。然后,可以针对所得到的K个蒙层文件集合中的至少一个蒙层文件集合生成对应的索引文件。服务器也可以针对所得到的K个蒙层文件集合中的多个蒙层文件集合生成对应的多个索引文件。
上述预设时间间隔可以根据实际情况来设置,比如,可以设置为1s,或者可以设置为10s,或者可以设置为1分钟等等。在一个示例中,针对一个5分钟的视频,可以将预设时间间隔设置为1分钟。相应地,可以获得5个蒙层文件集合,也就是说,每1分钟的视频都会对应一个蒙层文件集合。然后,服务器可以针对这5个蒙层文件集合中的至少一个蒙层文件集合,比如,1个、2个、3个、4个或5个蒙层文件集合生成分别所对应的1个、2个、3个、4个或5个索引文件。在一个示例中,服务器可以针对这5个蒙层文件集合中的多个蒙层文件集合,比如,2个,3个、4个或5个蒙层文件集合生成所对应的2个、3个、4个或5个索引文件。在一个示例中,针对一个5分钟的视频,还可以将预设时间间隔设置为5分钟。在这种情况下,相应地,可以仅获得1个蒙层文件集合。然后,服务器可以仅针对这1个蒙层文件集合生成对应的1个索引文件。
每个索引文件表明了其所对应的单个蒙层文件集合在一段视频中的第一相对起始时间、该单个蒙层文件集合的名称以及其所对应的帧图像的第二相对起始时间。
比如,可以按照15秒的预设时间间隔对播放时长为30s的第一视频所对应的60个蒙层文件进行分片处理,得到4个蒙层文件集合。针对这4个蒙层文件集合可以分别生成4个对应的索引文件。每个索引文件表明了其所对应的蒙层文件集合在该30s视频中的相对起始时间、蒙层文件集合的名称以及该蒙层文件集合所对应的帧图像的相对起始时间。例如,第一蒙层文件集合在该30s视频中的相对起始时间可以是第7s,也就是说,在该视频播放到第7s时,该第一蒙层文件集合中的帧图像被播放。蒙层文件的名称可以为根据其相对起始时间和/或是在蒙层文件集合中的顺序数生成的。
然后,服务器可以将索引文件所对应的蒙层文件集合进行压缩,以得到索引文件所对应的蒙层文件压缩包,并且存储所得到的索引文件以及索引文件所对应的蒙层文件压缩包,以便客户端后续下载和调用。
需要指出的是,存储蒙层文件压缩包及其对应的索引文件,还可以包括:将所述蒙层文件压缩包以及索引文件同步至CDN,在用户观看视频时触发查询下载,由客户端进行文件解析与处理。
另外,在前述处理过程中,除了可以存储第一视频的N张帧图像对应的蒙层文件之外,还可以暂时存储待处理的视频的相关数据。举例来说,可以预先缓存需要生成弹幕蒙层的第一视频,以用于自动化视频转换处理任务。还可以预先缓存其他相关数据,比如视频处理过程中生成的临时文件,举例来说,可以缓存每张帧图像所对应的人像图片、每个人像图片对应的轮廓图等等,在此不进行穷举,本领域技术人员应当理解,处理过程中产生的相关数据和内容均可以被缓存。
至此,视频离线处理部分已全部完成,需要将这一完成状态同步至视频基础服务,标记视频存在弹幕蒙层文件可供获取,同时该视频具备呈现弹幕穿人效果的能力,供在线服务模块使用。
在一种实施方式中,如图4所示,该方法还包括:
S104:响应于客户端发来的目标视频的蒙层文件获取请求,向所述客户端发送所述目标视频的蒙层文件。
当用户观看视频时,如果想要观看弹幕并实现弹幕穿人效果,通常会点击其移动端视频APP的弹幕启用按钮,以发出弹幕请求。此时客户端会向服务器发出目标视频的蒙层文件获取请求。响应于客户端发来的目标视频的蒙层文件获取请求,服务器可以向该客户端发送该目标视频的蒙层文件。
上述目标视频与前述第一视频可以相同也可以不同。
上述客户端发来的目标视频的蒙层文件获取请求,具体可以是以通过服务器侧的SDK的方式接收到客户端发来的目标视频的蒙层文件获取请求。
在一种实施方式中,所述目标视频的蒙层文件获取请求包括:目标应用的标识以及目标视频的标识;
相应的,所述向所述客户端发送所述目标视频的蒙层文件,还包括:
基于所述目标应用的标识对所述目标应用进行鉴权;以及
在所述鉴权的结果表征所述目标应用为接入SDK的授权应用的情况下,若基于所述目标视频的标识确定存储有所述目标视频所对应的蒙层文件,则向所述客户端发送所述目标视频的蒙层文件。
上述获取请求的产生方式可以包括:在视频起播或拖拽播放进度条时,生成弹幕和/或蒙层文件获取请求。
具体的,用户在播放目标视频的时候,若选择展示弹幕,并且选择利用蒙层文件对弹幕进行遮挡,那么可以生成上述蒙层文件获取请求并将其发送至服务器;又或者,只要用户选择展示弹幕,就生成上述蒙层文件获取请求并发送至服务器。
可替代地,若用户在目标视频播放开始所获取到的蒙层文件并非全部视频的蒙层文件的情况下,可以在播放过程中,根据当前的播放进度生成获取请求(或者周期性的生成获取请求)。
此外,在服务器向客户端发送目标视频的蒙层文件时,为了减少客户端下载蒙层文件所需的时间过长给用户带来的负面体验,在视频起播或播放进度条被拖拽时,服务器所发送的蒙层文件可以被预加载。具体地,可以预先下载一段时间的蒙层文件,以防止在视频播放过程中造成闪烁、丢帧,从而带来不良的用户体验。
由于本申请采用的是SDK工具包嵌入形式,因此,在服务器将向客户端发送目标视频的蒙层文件之前,需要先通过鉴权来判断用户所使用的移动端视频APP是否是已接入SDK的授权应用,从而防止恶性网络请求对服务造成的不良影响。如果通过目标APP的标识对目标APP进行鉴权,发现该视频APP不是已接入SDK的授权应用,则服务器取消或拒绝发送目标视频的蒙层文件,此时可以向客户端反馈视频应用非授权应用的提示。
客户端发出的目标视频的蒙层文件获取请求中可以包括目标APP的标识以及目标视频的标识。在通过鉴权表明目标APP是已接入SDK的授权应用的情况下,服务器会根据目标视频的蒙层文件获取请求中所包括的目标视频的标识来确定是否存储有该目标视频所对应的蒙层文件。由于并非所有场景下的短视频均具备蒙层文件,需要根据用户当前请求的视频ID来判断是否有可获取的蒙层文件,从而避免无效请求。在服务器确定出其中存储有该目标视频所对应的蒙层文件之后,可以将该目标视频的蒙层文件发送至客户端。
这里需要说明的是,服务器可以将预先已处理好的视频标记为“转换完成”的状态,基于该状态的标记来判断用户当前请求的视频ID是否已存储有可获取的蒙层文件,如此可过滤掉无效请求。
进一步地,在将目标视频的蒙层文件发送至客户端的一种处理中,可以是将目标视频的全部索引文件所对应的全部蒙层文件压缩包均发送给客户端;进而由客户端进行解压缩并采用与播放的帧图像相对应的蒙层文件对弹幕进行遮挡。
这种处理方式尤其适用于当前网络状态较好的情况,或者是客户端发来的请求中包含获取全部蒙层文件的要求的情况。
在另一种处理方式中,所述向所述客户端发送所述目标视频的蒙层文件,还包括:
从所述目标视频的蒙层文件获取请求中获取当前播放时间点;
基于所述当前播放时间点选取对应的目标索引文件;以及
确定所述目标索引文件对应的目标蒙层文件压缩包,将所述目标蒙层文件压缩包发送至所述客户端。
由于索引文件表明了其所对应的蒙层文件集合在一段视频中的第一相对起始时间、蒙层文件的名称以及其所对应的帧图像的第二相对起始时间。因此,服务器可以从目标视频的蒙层文件获取请求中获取当前播放时间点,基于该当前播放时间点来选取对应的目标索引文件。
比如,分片处理后的4个蒙层文件集合可以分别被压缩为4个蒙层文件压缩包。如果蒙层文件获取请求中对应的当前播放时间点为第7s,则服务器可以基于该当前播放时间点,选取4个蒙层文件压缩包中的目标蒙层文件压缩包的目标索引文件,从而确定出该目标索引文件所对应的该目标蒙层文件压缩包,并且将其发送至客户端。
如此,服务端可以根据客户端发来的目标视频的蒙层文件获取请求中所上报的当前播放时间点,实时计算当前播放时间点所对应的弹幕蒙层文件,并转发至下载地址供客户端下载文件以用于进一步处理。为了减少下载给用户带来的负面体验,客户端在视频起播和拖拽时增加了预加载能力。预先下载一段时间的蒙层文件进行预处理,防止播放过程中造成的闪烁、丢帧等不良用户体验。
一种示例如图5所示,本实施例提供的方案可以分为离线服务、存储模块以及在线服务三个部分;其中,
离线服务部分,可以执行上述S101-S102,包括:对第一视频进行切帧,从中抽取N个帧图像,对帧图像进行人像处理得到人像图片;然后将人像图片转换为对应的灰度图,基于灰度图确定出人像图片的轮廓图,再将轮廓图转换为矢量图并且将矢量图作为帧图像对应的蒙层文件;最后,更新第一视频的视频处理状态,比如将其标记为“转换完成”的状态;
存储模块,可以执行上述S103。比如,对第一视频的帧图像所对应的蒙层文件进行分片,得到蒙层文件集合,针对蒙层文件集合生成索引文件;然后,对索引文件对应的蒙层文件集合进行打包压缩,最后,存储索引文件以及对应的蒙层文件压缩包(或称为蒙层图片压缩包)。另外,在存储模块中还可以存储或缓存中间处理过程中产生的文件,比如存储原始文件(即前述第一视频)。存储文件中的索引文件以及对应的蒙层文件压缩包还可以被同步至CDN。
在线服务,可以基于SDK完成,具体可以包括前述S104的内容。比如,在收到客户端上传的目标视频的蒙层文件获取请求的时候,进行鉴权服务,对获取请求所对应的目标应用是否为使用SDK的应用进行鉴权;鉴权通过后,基于视频基础服务中记录的目标视频的状态(比如是否标记为转换完成的状态)判断是否存在目标视频的蒙层文件;若存在,则为客户端提供下载服务,将目标视频的蒙层文件发送至客户端。
也就是基于以上处理,预先在服务器侧对视频进行分析处理,得到视频中的多个帧图像所对应的蒙层文件。当用户利用视频应用程序(APP)点播视频或者观看视频直播时,用户所发出的一条或多条弹幕会被呈现在正在播放的视频图像上。多条弹幕的呈现有可能会遮挡正在播放的视频图像中的对象,比如人物对象。如果正在播放的视频图像中的对象是人物对象时,弹幕的呈现就很可能遮挡住该人物对象,尤其是该人物对象的脸部,从而影响视频观感。通过对视频中的人物对象创建蒙层文件,可以使弹幕的呈现处于人物对象的蒙层之下,从而实现弹幕穿人效果。
本申请实施例还提供了一种信息获取方法,如图6所示,包括:
S201:向服务器发送目标视频的蒙层文件获取请求;
S202:接收所述服务器反馈的所述目标视频的蒙层文件;以及
S203:基于所述目标视频的蒙层文件对所述目标视频进行处理。
在一种处理方式中,所述基于所述目标视频的蒙层文件对所述目标视频进行处理可以包括基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡。
本实施例可以应用于客户端,即前端或移动端。当用户观看视频时,如果想要观看弹幕并实现弹幕穿人效果,通常会点击其移动端视频APP的弹幕启用按钮,以发出弹幕请求。此时客户端会向服务器发送目标视频的蒙层文件获取请求。在服务器响应于客户端发出的目标视频的蒙层文件获取请求,向该客户端发送该目标视频的蒙层文件之后,客户端可以接收服务器所反馈的目标视频的蒙层文件,并且基于该蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡。
比如,在服务器将4个蒙层文件压缩包中的第一蒙层文件压缩包反馈并发送给客户端之后,客户端可以接收该第一蒙层文件压缩包。由此,在当前所播放的新闻播报视频中,第一蒙层文件压缩包对应的从第7s开始的弹幕会被新闻播报员遮挡,呈现出从该新闻播报员身后穿过的效果。
在一种实施方式中,S201包括:
在所述目标视频的播放过程中,通过SDK向服务器发送目标视频的蒙层文件获取请求;所述目标视频的蒙层文件获取请求中包含当前播放时间点;并且
S202包括:
通过SDK接收所述服务器发来的目标蒙层文件压缩包;其中,所述目标蒙层文件压缩包为基于所述当前播放时间点选取的所述目标视频的目标索引文件所对应的蒙层文件压缩包;所述目标索引文件包含:所述目标索引文件在所述目标视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;以及
对所述目标蒙层文件压缩包进行解压缩,得到至少一个蒙层文件。
由于本申请采用的是SDK工具包嵌入形式,在目标视频的播放过程中,通过SDK向服务器发送目标视频的蒙层文件获取请求,其中包含目标视频的当前播放时间点。当客户端接收服务器反馈的目标视频的蒙层文件时,也是通过SDK来接收蒙层文件压缩包。关于索引文件对应的蒙层文件压缩包的内容与前述实施例中的内容可以是相同的,在此不再赘述。
在一种实施方式中,所述基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡,包括:
基于至少一个所述蒙层文件所对应的帧图像的第二相对起始时间,确定所述蒙层文件在所述目标视频中对应的帧图像;基于所述蒙层文件对所述蒙层文件对应的帧图像中展示的弹幕信息进行遮挡。
在一个示例中,采用与前述方式相同的方式,客户端可以基于至少一个蒙层文件所对应的帧图像的第二相对起始时间,确定蒙层文件在目标视频中对应的帧图像,然后采用蒙层文件对目标视频在对应的第二相对起始时间之后的帧图像中展示的弹幕信息进行遮挡。比如,在服务器将4个蒙层文件压缩包中的第一蒙层文件压缩包反馈并发送给客户端之后,客户端可以接收该第一蒙层文件压缩包,对其进行解压缩,以得到至少一个蒙层文件,例如,可以得到10个蒙层文件,其中该第一蒙层文件压缩包的索引文件表明,其在目标食品中的第一相对起始时间为第7s。然后,基于这10个蒙层文件所对应的帧图像的第二相对起始时间,该第二相对起始时间例如可以是第9s,也就是说,在目标视频的播放时长为第9s时,播放了其中的某个帧图像。此时,客户端可以基于蒙层文件对其对应的第9s以及之后的时间点的帧图像中展示的弹幕信息进行遮挡。
在一个示例中,客户端不仅可以接收基于目标视频的当前播放时间点选取的目标索引文件所对应的蒙层文件压缩包,还可以接收基于当前播放时间点之后的时间点选取的索引文件所对应的蒙层文件压缩包。例如,在服务器将4个蒙层文件压缩包中的第一蒙层文件压缩包反馈并发送给客户端之后,客户端可以接收该4个蒙层文件压缩包中的第一蒙层文件压缩包,还可以接收其中的第二蒙层文件压缩包。在这种情况下,第一蒙层文件压缩包对应的第一相对起始时间是该30s视频中的第7s,该第二蒙层文件压缩包例如可以对应于该30s视频中的第19s的相对起始时间,通过解压缩该第二蒙层文件压缩包所获得的帧图像可以对应于第19s以及之后的时间点。此时,客户端还可以基于该时间点,采用蒙层文件对该第19s以及之后的帧图像中展示的弹幕信息进行遮挡。
结合图7对本实施例提供的方案进行进一步说明:服务器端对视频预先进行处理,假设服务器端当前存有视频1-视频5,其中,视频1、2、5均为人像占比较多的视频,那么对视频1、2、5预先进行处理(具体的处理流程如前述S101-S103的详细说明,这里不再赘述),得到视频1、2、5的蒙层文件压缩包及其对应的索引文件;其余的视频3、4则不存在对应的蒙层文件;
服务器可以接收多个终端的蒙层文件获取请求,假设当前存在两个终端,如图中所示的终端1、2分别发来针对不同视频的蒙层文件获取请求。如图6中所示,终端1请求视频1的蒙层文件,经由服务器进行鉴权以及判断是否存在该视频1的蒙层文件之后,确定视频1存在对应的蒙层文件,则为终端1发送对应的蒙层文件,终端1在进行弹幕展示的时候,可以基于蒙层文件进行遮挡。
终端2请求视频3,服务器确定该视频3不存在对应的蒙层文件,则向终端2反馈无法找到对应的蒙层文件的反馈信息。相应的,终端2进行弹幕展示的时候,如图7中所示,弹幕被显示在视频图像中的人像上方,不具备弹幕穿人效果。
本申请的再一实施例提供了一种信息处理装置,如图8所示,包括:
第一处理模块31,用于从第一视频中抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数;基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;以及
存储模块32,用于对所述第一视频的所述多张帧图像对应的蒙层文件进行存储。
在一种实施方式中,所述第一处理模块31,用于:
对所述多帧图像对应的所述人像图片进行转换,得到所述人像图片对应的灰度图;基于所述人像图片对应的灰度图确定所述人像图片的轮廓图;以及将所述人像图片的轮廓图转换为对应的矢量图。
在一种实施方式中,所述第一处理模块31,还用于在所述人像图片中包含的人像的数量大于等于数量阈值的情况下,从所述人像图片的轮廓图中提取M个人像所对应的轮廓图;其中,M为大于等于1、且小于等于所述数量阈值的整数;以及将所述人像图片中所述M个人像所对应的轮廓图转换为矢量图。
在一种实施方式中,所述存储模块32,用于按照预设时间间隔,将所述第一视频的所述多张帧图像对应的蒙层文件进行分片,得到K个蒙层文件集合;其中,K为大于等于1的整数;针对所述K个蒙层文件集合中的多个蒙层文件集合生成对应的多个索引文件;其中,所述多个索引文件中的每个索引文件包含:所述索引文件在所述第一视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;将所述多个索引文件所对应的所述多个蒙层文件集合进行压缩,得到所述多个索引文件所对应的蒙层文件压缩包,以及存储所述多个索引文件及其对应的所述蒙层文件压缩包。
在一种实施方式中,如图9所示,所述装置还包括:
第一传输模块33,用于响应于客户端发来的目标视频的蒙层文件获取请求,向所述客户端发送所述目标视频的蒙层文件。
在一种实施方式中,所述目标视频的蒙层文件获取请求包括:目标应用的标识以及目标视频的标识;
相应的,所述第一处理模块31,还用于基于所述目标应用的标识对所述目标应用进行鉴权;在所述鉴权的结果表征所述目标应用为接入SDK的授权应用的情况下,若基于所述目标视频的标识确定存储有所述目标视频所对应的蒙层文件,则通过所述第一传输模块向所述客户端发送所述目标视频的蒙层文件。
在一种实施方式中,所述第一处理模块31,还用于从所述目标视频的蒙层文件获取请求中获取当前播放时间点;基于所述当前播放时间点选取对应的目标索引文件;确定所述目标索引文件对应的目标蒙层文件压缩包;以及
所述第一传输模块33,还用于将所述目标蒙层文件压缩包发送至所述客户端。
本申请的又一实施例提供了一种信息获取装置,如图10所示,包括:
第二传输模块41,用于向服务器发送目标视频的蒙层文件获取请求;接收所述服务器反馈的所述目标视频的蒙层文件;以及
第二处理模块42,用于基于所述目标视频的蒙层文件对所述目标视频进行处理。
在一种实施方式中,所述第二处理模块42还用于基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡。
在一种实施方式中,所述第二传输模块41,用于在所述目标视频的播放过程中,通过SDK向服务器发送目标视频的蒙层文件获取请求;所述目标视频的蒙层文件获取请求中包含当前播放时间点;
通过SDK接收所述服务器发来的目标蒙层文件压缩包;其中,所述目标蒙层文件压缩包为基于所述当前播放时间点选取的所述目标视频的目标索引文件所对应的蒙层文件压缩包;所述目标索引文件包含:所述目标索引文件在所述目标视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;以及
所述第二处理模块42,用于对所述目标蒙层文件压缩包进行解压缩,得到至少一个蒙层文件。
在一种实施方式中,所述第二处理模块42,还用于基于至少一个所述蒙层文件所对应的帧图像的第二相对起始时间,确定所述蒙层文件在所述目标视频中对应的帧图像;基于所述蒙层文件对所述蒙层文件对应的帧图像中展示的弹幕信息进行遮挡。
根据本申请的实施例,还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图11所示,是根据本申请实施例的信息处理方法的电子设备的框图。该电子设备可以为前述服务器或终端。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示,该电子设备包括:一个或多个处理器1001、存储器1002,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的信息处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的信息处理方法。
存储器1002作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的视频信息处理方法对应的程序指令/模块。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的信息处理方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
信息处理方法的电子设备还可以包括:输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接,图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例提供的技术方案,预先对视频进行处理,包括对视频的帧图像进行人像图片的提取,以及基于人像图片进行分析得到对应的矢量图,将所述矢量图作为对应的蒙层文件并进行保存。如此,实现了视频处理算法及逻辑在服务器端执行并完成,在不阻碍前端或移动端APP常规的视频播放功能的情况下,服务器端可以灵活地对视频生成对应的蒙层文件以控制视频是否呈现弹幕以及是否呈现弹幕穿人效果,这样就无需移动端具备蒙层文件的生成能力,从而避免了蒙层技术过分依赖前端或移动端技术所带来的灵活性差的问题;并且由于服务器侧预先生成了视频的蒙层文件,使得播放视频的时候只需要直接从服务器获取即可,提升了便捷性,由此,可以大大提升用户在视频观看和弹幕呈现方面的体验。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (16)

1.一种信息处理方法,包括:
按照预设帧率从第一视频中均匀抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数,所述多张帧图像包含人物对象;
基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;
按照预设时间间隔,将所述第一视频的所述多张帧图像对应的蒙层文件进行分片,得到K个蒙层文件集合;其中,K为大于1的整数,每个蒙层文件集合包括多个蒙层文件;
针对所述K个蒙层文件集合中的多个蒙层文件集合生成对应的多个索引文件;其中,一个蒙层文件集合对应一个索引文件,所述多个索引文件中的每个索引文件包含:所述索引文件在所述第一视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;
将所述多个索引文件所对应的所述多个蒙层文件集合进行压缩,得到所述多个索引文件所对应的蒙层文件压缩包;以及
存储所述多个索引文件及其对应的所述蒙层文件压缩包;
在所述第一视频离线处理完成后,响应于客户端发来的目标视频的蒙层文件获取请求,所述目标视频的蒙层文件获取请求包括目标应用的标识以及目标视频的标识,基于所述目标应用的标识对所述目标应用进行鉴权;
在所述鉴权的结果表征所述目标应用为接入SDK的授权应用的情况下,若基于所述目标视频的标识确定存储有所述目标视频所对应的蒙层文件压缩包,则向所述客户端发送所述目标视频的蒙层文件压缩包。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,包括:
对所述多张帧图像对应的所述人像图片进行转换,得到所述人像图片对应的灰度图;以及
基于所述人像图片对应的灰度图确定所述人像图片的轮廓图,将所述人像图片的轮廓图转换为对应的矢量图。
3.根据权利要求2所述的方法,其特征在于,所述基于所述人像图片对应的灰度图确定所述人像图片的轮廓图,将所述人像图片的轮廓图转换为对应的矢量图,包括:
在所述人像图片中包含的人像的数量大于等于数量阈值的情况下,从所述人像图片的轮廓图中提取M个人像所对应的轮廓图;其中,M为大于等于1且小于等于所述数量阈值的整数;以及
将所述人像图片中所述M个人像所对应的轮廓图转换为矢量图。
4.根据权利要求1所述的方法,其特征在于,所述向所述客户端发送所述目标视频的蒙层文件,包括:
从所述目标视频的蒙层文件获取请求中获取当前播放时间点;
基于所述当前播放时间点选取对应的目标索引文件;以及
确定所述目标索引文件对应的目标蒙层文件压缩包,将所述目标蒙层文件压缩包发送至所述客户端。
5.一种信息获取方法,所述方法包括:
在目标视频的播放过程中,通过SDK向服务器发送目标视频的蒙层文件获取请求,所述目标视频的蒙层文件获取请求中包含当前播放时间点,所述目标视频的蒙层文件获取请求用于在服务器收到客户端上传的所述目标视频的蒙层文件获取请求的时候,进行鉴权服务,对获取请求所对应的目标应用是否为使用所述SDK的应用进行鉴权;鉴权通过后,基于视频基础服务中记录的目标视频的状态判断是否存在目标视频的蒙层文件;若存在,则为所述客户端提供下载服务,将所述目标视频的蒙层文件发送至所述客户端;
通过SDK接收所述服务器发来的目标蒙层文件压缩包;其中,所述目标蒙层文件压缩包为基于所述当前播放时间点选取的所述目标视频的目标索引文件所对应的蒙层文件压缩包;所述目标索引文件包含:所述目标索引文件在所述目标视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间,所述蒙层文件压缩包为所述服务器对所述目标索引文件所对应的蒙层文件集合进行压缩得到,一个蒙层文件集合对应一个索引文件,所述蒙层文件集合包括多个蒙层文件;
对所述目标蒙层文件压缩包进行解压缩,得到至少一个蒙层文件;
基于所述目标视频的蒙层文件对所述目标视频进行处理;
其中,所述蒙层文件是所述服务器通过以下离线处理方式得到的:
按照预设帧率从所述目标视频中均匀抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数,所述多张帧图像包含人物对象;
基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标视频的蒙层文件对所述目标视频进行处理,包括:
基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡。
7.根据权利要求5所述的方法,其特征在于,所述基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡,包括:
基于至少一个所述蒙层文件所对应的帧图像的第二相对起始时间,确定所述蒙层文件在所述目标视频中对应的帧图像;基于所述蒙层文件对所述蒙层文件对应的帧图像中展示的弹幕信息进行遮挡。
8.一种信息处理装置,包括:
第一处理模块,用于按照预设帧率从第一视频中均匀抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数,所述多张帧图像包含人物对象;基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件;以及
存储模块,用于按照预设时间间隔,将所述第一视频的所述多张帧图像对应的蒙层文件进行分片,得到K个蒙层文件集合;其中,K为大于1的整数,每个蒙层文件集合包括多个蒙层文件;针对所述K个蒙层文件集合中的多个蒙层文件集合生成对应的多个索引文件;其中,一个蒙层文件集合对应一个索引文件,所述多个索引文件中的每个索引文件包含:所述索引文件在所述第一视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间;将所述多个索引文件所对应的所述多个蒙层文件集合进行压缩,得到所述多个索引文件所对应的蒙层文件压缩包,以及存储所述多个索引文件及其对应的所述蒙层文件压缩包;
第一传输模块,用于在所述第一视频离线处理完成后,响应于客户端发来的目标视频的蒙层文件获取请求,所述目标视频的蒙层文件获取请求包括目标应用的标识以及目标视频的标识,基于所述目标应用的标识对所述目标应用进行鉴权;
所述第一处理模块,还用于在所述鉴权的结果表征所述目标应用为接入SDK的授权应用的情况下,若基于所述目标视频的标识确定存储有所述目标视频所对应的蒙层文件压缩包,则向所述客户端发送所述目标视频的蒙层文件压缩包。
9.根据权利要求8所述的装置,其特征在于,所述第一处理模块,用于对所述多张帧图像对应的所述人像图片进行转换,得到所述人像图片对应的灰度图;基于所述人像图片对应的灰度图确定所述人像图片的轮廓图;以及将所述人像图片的轮廓图转换为对应的矢量图。
10.根据权利要求9所述的装置,其特征在于,所述第一处理模块,用于在所述人像图片中包含的人像的数量大于等于数量阈值的情况下,从所述人像图片的轮廓图中提取M个人像所对应的轮廓图;其中,M为大于等于1、且小于等于所述数量阈值的整数;以及将所述人像图片中所述M个人像所对应的轮廓图转换为矢量图。
11.根据权利要求8所述的装置,其特征在于,所述第一处理模块,还用于从所述目标视频的蒙层文件获取请求中获取当前播放时间点;基于所述当前播放时间点选取对应的目标索引文件;确定所述目标索引文件对应的目标蒙层文件压缩包;以及
所述第一传输模块,用于将所述目标蒙层文件压缩包发送至所述客户端。
12.一种信息获取装置,所述装置包括:
第二传输模块,用于在目标视频的播放过程中,通过SDK向服务器发送目标视频的蒙层文件获取请求;所述目标视频的蒙层文件获取请求中包含当前播放时间点,所述目标视频的蒙层文件获取请求用于在服务器收到客户端上传的所述目标视频的蒙层文件获取请求的时候,进行鉴权服务,对获取请求所对应的目标应用是否为使用所述SDK的应用进行鉴权;鉴权通过后,基于视频基础服务中记录的目标视频的状态判断是否存在目标视频的蒙层文件;若存在,则为所述客户端提供下载服务,将所述目标视频的蒙层文件发送至所述客户端;
通过SDK接收所述服务器发来的目标蒙层文件压缩包;其中,所述目标蒙层文件压缩包为基于所述当前播放时间点选取的所述目标视频的目标索引文件所对应的蒙层文件压缩包;所述目标索引文件包含:所述索引文件在所述目标视频中的第一相对起始时间、蒙层文件的名称以及蒙层文件对应的帧图像的第二相对起始时间,所述蒙层文件压缩包为所述服务器对所述目标索引文件所对应的蒙层文件集合进行压缩得到,一个蒙层文件集合对应一个索引文件,所述蒙层文件集合包括多个蒙层文件;以及
第二处理模块,用于对所述目标蒙层文件压缩包进行解压缩,得到至少一个蒙层文件;
其中,所述蒙层文件是所述服务器通过以下离线处理方式得到的:
按照预设帧率从所述目标视频中均匀抽取N张帧图像,对所述N张帧图像中的多张帧图像进行处理得到所述多张帧图像对应的人像图片;其中,N为大于等于1的整数,所述多张帧图像包含人物对象;
基于所述多张帧图像对应的所述人像图片的轮廓图确定所述多张帧图像所对应的矢量图,将所述多张帧图像所对应的所述矢量图作为所述多张帧图像对应的蒙层文件。
13.根据权利要求12所述的装置,其特征在于,所述第二处理模块还用于基于所述蒙层文件对当前播放的目标视频中展示的弹幕信息进行遮挡。
14.根据权利要求12所述的装置,其特征在于,所述第二处理模块,用于基于至少一个所述蒙层文件所对应的帧图像的第二相对起始时间,确定所述蒙层文件在所述目标视频中对应的帧图像;基于所述蒙层文件对所述蒙层文件对应的帧图像中展示的弹幕信息进行遮挡。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4或5-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-4或5-7中任一项所述的方法。
CN202010814177.0A 2020-08-13 2020-08-13 信息处理和获取方法、装置、电子设备及存储介质 Active CN111935508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010814177.0A CN111935508B (zh) 2020-08-13 2020-08-13 信息处理和获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010814177.0A CN111935508B (zh) 2020-08-13 2020-08-13 信息处理和获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111935508A CN111935508A (zh) 2020-11-13
CN111935508B true CN111935508B (zh) 2023-06-30

Family

ID=73311776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010814177.0A Active CN111935508B (zh) 2020-08-13 2020-08-13 信息处理和获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111935508B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN109309861A (zh) * 2018-10-30 2019-02-05 广州虎牙科技有限公司 一种媒体处理方法、装置、终端设备和存储介质
CN109618213B (zh) * 2018-12-17 2020-05-19 华中科技大学 一种防止弹幕遮挡目标对象的方法
CN111385665A (zh) * 2018-12-29 2020-07-07 百度在线网络技术(北京)有限公司 弹幕信息的处理方法、装置、设备及存储介质
CN111526421B (zh) * 2019-02-01 2021-10-22 网宿科技股份有限公司 视频掩码信息的生成、弹幕防遮挡方法、服务器及客户端
US10699751B1 (en) * 2019-03-06 2020-06-30 Wangsu Science & Technology Co., Ltd. Method, system and device for fitting target object in video frame
CN109862414B (zh) * 2019-03-22 2021-10-15 武汉斗鱼鱼乐网络科技有限公司 一种蒙版弹幕显示方法、装置及服务器
CN110798726A (zh) * 2019-10-21 2020-02-14 北京达佳互联信息技术有限公司 弹幕显示方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Masks based human action detection in crowded videos;Ping Guo et al.;《2010 IEEE International Conference on Image Processing》;全文 *

Also Published As

Publication number Publication date
CN111935508A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US11722727B2 (en) Special effect processing method and apparatus for live broadcasting, and server
CN107682714B (zh) 一种获取在线视频截图的方法及装置
US11450044B2 (en) Creating and displaying multi-layered augemented reality
CN111541930B (zh) 直播画面的显示方法、装置、终端及存储介质
CN112584077B (zh) 视频的插帧方法、装置及电子设备
CN111277861B (zh) 提取视频中热点片段的方法以及装置
CN114095744B (zh) 视频直播方法、装置、电子设备及可读存储介质
CN111405339B (zh) 一种分屏显示方法、电子设备及存储介质
CN112230812A (zh) 一种多媒体数据处理方法、装置、电子设备和存储介质
US20210264951A1 (en) Computing System With DVE Template Selection And Video Content Item Generation Feature
CN112911318A (zh) 直播间背景替换方法、装置、电子设备及存储介质
CN109511010B (zh) 视频处理方法、视频处理装置、电子设备及存储介质
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN109656463B (zh) 个性表情的生成方法、装置及系统
CN108141634A (zh) 相机预览
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
CN110300118B (zh) 流媒体处理方法、装置及存储介质
CN111935508B (zh) 信息处理和获取方法、装置、电子设备及存储介质
CN113542909A (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN112866577A (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN112333238A (zh) 数据的处理方法、装置、设备及存储介质
CN108713313B (zh) 多媒体数据处理方法、装置和设备/终端/服务器
CN109495789B (zh) 媒体文件播放方法、设备及通信系统
CN113988294A (zh) 训练预测网络的方法、图像处理方法和装置
CN111158826B (zh) 一种界面皮肤生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant