CN117041611A - 特效播放方法、装置、电子设备和可读存储介质 - Google Patents

特效播放方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN117041611A
CN117041611A CN202310984075.7A CN202310984075A CN117041611A CN 117041611 A CN117041611 A CN 117041611A CN 202310984075 A CN202310984075 A CN 202310984075A CN 117041611 A CN117041611 A CN 117041611A
Authority
CN
China
Prior art keywords
special effect
transparency
information
sequence
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310984075.7A
Other languages
English (en)
Inventor
林哲生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boguan Information Technology Co Ltd
Original Assignee
Guangzhou Boguan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boguan Information Technology Co Ltd filed Critical Guangzhou Boguan Information Technology Co Ltd
Priority to CN202310984075.7A priority Critical patent/CN117041611A/zh
Publication of CN117041611A publication Critical patent/CN117041611A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Circuits (AREA)

Abstract

本申请公开了一种特效播放方法、装置、电子设备和计算机可读存储介质,本申请实施例通过在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;根据特效帧进行解码处理,得到目标物品的待合成的特效视频;从特效视频信息中获取可替换区域以及透明度;根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频;在直播间播放合成特效视频。本申请实施例可以播放嵌套关联信息的特效。

Description

特效播放方法、装置、电子设备和可读存储介质
技术领域
本申请涉及视频技术领域,具体涉及一种特效播放方法、装置、电子设备和计算机可读存储介质。
背景技术
随着科学技术的发展,直播越来越受用户的欢迎。用户可以在直播间赠送虚拟礼物,以便与直播间的主播进行互动。
用户在直播间赠送虚拟礼物之后,可以以预设特殊的效果(特殊的效果即特效)显示虚拟礼物。然而,目前特殊的效果是固定的,不能动态改变,降低赠送虚拟礼物的乐趣,从而降低用户在直播间的互动率,进而降低用户在直播间的留存率。
发明内容
本申请实施例提供一种特效播放方法、装置、电子设备和计算机可读存储介质,可以提高赠送虚拟礼物的乐趣,从而提高用户在直播间的互动率,进而提高用户在直播间的留存率。
第一方面,本申请实施例提供一种特效播放方法,上述方法包括:
在直播间显示物品赠送页面,上述物品赠送页面包括至少一个物品;
响应于对上述物品中目标物品的赠送操作,获取上述目标物品对应的特效视频信息以及赠送上述目标物品的目标用户的关联信息,上述特效视频信息包括配置了用于显示上述关联信息的可替换区域的特效帧以及上述可替换区域在上述特效帧中的透明度;
根据上述特效帧进行解码处理,得到上述目标物品的待合成的特效视频;
从上述特效视频信息中获取上述可替换区域以及上述透明度;
根据上述透明度,在上述特效视频中的上述可替换区域上,生成上述关联信息对应的内容,得到上述目标物品针对上述关联信息的合成特效视频;
在上述直播间播放上述合成特效视频。
第二方面,本申请实施例还提供一种特效播放装置,上述装置包括:
页面显示模块,用于在直播间显示物品赠送页面,上述物品赠送页面包括至少一个物品;
第一获取模块,用于响应于对上述物品中目标物品的赠送操作,获取上述目标物品对应的特效视频信息以及赠送上述目标物品的目标用户的关联信息,上述特效视频信息包括配置了用于显示上述关联信息的可替换区域的特效帧以及上述可替换区域在上述特效帧中的透明度;
视频解码模块,用于根据上述特效帧进行解码处理,得到上述目标物品的待合成的特效视频;
第二获取模块,用于从上述特效视频信息中获取上述可替换区域以及上述透明度;
视频生成模块,用于根据上述透明度,在上述特效视频中的上述可替换区域上,生成上述关联信息对应的内容,得到上述目标物品针对上述关联信息的合成特效视频;
视频播放模块,用于在上述直播间播放上述合成特效视频。
第三方面,本申请实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种特效播放方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种特效播放方法。
本申请实施例中,在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;根据特效帧进行解码处理,得到目标物品的待合成的特效视频;从特效视频信息中获取可替换区域以及透明度;根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,在直播间播放合成特效视频,以便合成特效视频中可以包括目标用户的关联信息,使得当目标用户不同时,关联信息也不同,合成特效视频也不同,提高赠送目标物品的乐趣,从而提高用户在直播间的互动率,进而提高用户在直播间的留存率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的特效播放系统示意图;
图2是本申请实施例提供的特效播放方法的一种实施例流程示意图;
图3是本申请实施例中提供的视频特效信息的示意图;
图4是本申请实施例中提供的透明度区域和特效信息区域的示意图;
图5是本申请实施例中提供的关联信息对应的内容变形的示意图;
图6是本申请实施例中提供的可替换区域的示意图;
图7是本申请实施例中提供的特效信息序列和候选透明度序列的示意图;
图8是本申请实施例中提供的合成特效视频中的一帧视频帧的示意图;
图9是本申请实施例中提供的合成特效视频中的一帧视频帧的另一种示意图;
图10是本申请实施例中提供的合成特效视频中的一帧视频帧的另一种示意图图;
图11是本申请实施例提供的最大外接正接矩形的示意图;
图12是本申请实施例提供的顶点坐标的顺序的示意图;
图13是本申请实施例提供的待导出特效视频中视频帧的示意图;
图14是本申请实施例提供的关联信息对应的内容发生变形的另一种示意图;
图15是本申请实施例提供的增大后的待导出特效视频中视频帧的示意图;
图16是本申请实施例提供的关联信息对应的内容的示意图;
图17是本申请实施例提供的预设信息配置页面的示意图;
图18是本申请实施例提供的特效视频信息生成方法的一种实施例流程示意图;
图19是本申请实施例提供的候选透明度序列生成方法的一种实施例流程示意图;
图20是本申请实施例提供的可替换区域的位置信息获取方法的一种实施例流程示意图;
图21是本申请实施例提供的json生成方法的一种实施例流程示意图;
图22是本申请实施例提供的json的示意图;
图23是本申请实施例提供的透明度序列生成方法的一种实施例流程示意图;
图24是本申请实施例提供的特效视频信息生成方法的另一种实施例流程示意图;
图25是本申请实施例提供的特效播放方法的另一种实施例流程示意图;
图26是本申请实施例提供的特效播放方法的另一种实施例流程示意图;
图27是本申请实施例提供的特效播放装置的结构示意图;
图28是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例涉及到的一些名词进行解释说明。
其中,在本申请实施例的描述中,术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种特效播放方法、装置、电子设备和计算机可读存储介质。具体地,本申请实施例的特效播放方法可以由电子设备执行,其中,该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备,终端还可以包括客户端,该客户端可以是游戏应用客户端、携带有游戏程序的浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
例如,如图1所示,该电子设备以终端10为例进行说明,该终端10可以在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;响应于对物品中目标物品的赠送操作,生成赠送请求至服务器20。服务器20根据赠送请求,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;根据特效帧进行解码处理,得到目标物品的待合成的特效视频;从特效视频信息中获取可替换区域以及透明度;根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,并将合成特效视频返回至终端10。终端10再在直播间中播放合成特效视频。
以下结合附图分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于附图所示的顺序执行所示出或描述的步骤。
在本实施例中,以终端为例进行说明,本实施例提供了一种特效播放方法,如图2所示,该特效播放方法的具体流程可以如下:
201、在直播间显示物品赠送页面,物品赠送页面包括至少一个物品。
其中,终端可以响应于用户对直播间页面的触发操作,在直播间显示物品赠送页面,或者,终端也可以采集用户的语音,然后对语音进行识别,得到识别结果,若识别结果为赠送物品结果,则在直播间显示物品赠送页面。
对于在直播间显示物品赠送页面的方式,可以根据实际情况进行选择,本申请实施例在此不做限定。
物品可以理解为虚拟的东西,直播间的主播在接收到物品之后,可以将物品进行兑换,以便得到物品对应的奖励。
物品的类型可以根据实际情况进行选择,比如,物品可以为鲜花,也可以为道具,本申请实施例在此不做限定。
202、响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度。
目标物品即目标用户选中的物品。赠送操作可以为目标用户对目标物品的选择操作,也可以为目标用户输入的语音,此时,目标用户输入的语音中可以包括目标物品的标识。对于赠送操作的类型可以根据实际情况进行选择,本申请实施例在此不做限定。
目标用户的关联信息可以指目标用户自定义的内容,目标用户可以根据本身的需要设置关联信息,比如,关联信息可以为目标用户本身的头像,又比如,关联信息也可以为直播间主播的头像,又比如,关联信息也可以为与目标用户关联的用户的头像。
与目标用户关联的用户可以与目标用户存在互动关系的用户。比如,与目标用户关联的用户可以为目标用户的好友用户,目标用户的粉丝用户或者目标用户的关注用户等。
特效视频信息的视频格式可以根据实际情况进行设置,比如,特效视频信息的格式可以为AVI格式、MOV格式或者MP4格式,本申请实施例在此不做限定。
可替换区域在特效帧中的透明度指可替换区域中每个像素点在特效帧中的透明度。
203、根据特效帧进行解码处理,得到目标物品的待合成的特效视频。
如果特效视频信息对应的视频格式存在可以存储透明度的通道,比如,特效视频信息对应的视频格式为MOV格式时,特效视频信息存在alpha通道,alpha通道用于存储透明度,则终端可以根据特效帧进行解码,得到特效帧对应的解码后数据,根据解码后数据,生成特效帧对应的颜色纹理图像,然后从颜色纹理图像中获取颜色值(颜色值比如可以为R通道对应的数值、G通道对应的数值和B通道对应的数值)和透明度,并通过着色器,根据颜色纹理图像中的颜色值和透明度进行渲染处理,得到目标物品的待合成的特效视频。
如果特效视频信息对应的视频格式不存在可以存储透明度的通道,比如,当特效视频信息对应的视频格式为MP4格式时,特效视频信息不存在alpha通道,则特效视频信息中特效帧可以包括特效信息区域和透明度区域,特效信息区域包括配置了用于显示关联信息的可替换区域,透明度区域包括特效信息区域对应的透明度(由于特效信息区域包括可替换区域,因此,透明度区域也包括可替换区域对应的透明度),也即是,可以采用透明度区域的第二目标颜色通道存储特效信息区域对应的透明度,比如,第二目标颜色通道可以为透明度区域的R通道、B通道或G通道。
此时,视频特效信息比如可以如图3所示,特效信息区域包括可替换区域p1、可替换区域p2、可替换区域p3以及可替换区域p4,透明度区域中也包括可替换区域p1、可替换区域p2、可替换区域p3以及可替换区域p4。
根据特效帧进行解码处理,得到目标物品的待合成的特效视频的过程可以为:终端可以根据特效帧进行解码,得到特效帧对应的解码后数据,根据解码后数据,生成特效帧对应的颜色纹理图像,然后从颜色纹理图像中获取颜色值和从透明度区域中获取特效信息区域对应的透明度,并通过着色器,根据颜色纹理图像中的颜色值和透明度区域中的透明度进行渲染处理,得到目标物品的待合成的特效视频。
比如,如图4所示,当采用透明度区域中的R通道存储特效信息区域对应的透明度时,即第二目标颜色通道为R通道,生成的特效帧对应的颜色纹理图像可以如图4中401所示,终端可以将图4中4011的R通道对应的数值、G通道对应的数值和B通道对应的数值以及图4中4012的R通道对应的数值作为片段着色器的RGBA值输出,以便通过片段着色器,根据图4中4011的R通道对应的数值、G通道对应的数值和B通道对应的数值以及图4中4012的R通道对应的数值进行渲染处理,得到的目标物品的待合成的视频帧可以如图4中402所示。
204、从特效视频信息中获取可替换区域以及透明度。
终端可以对特效视频信息中的特效帧进行识别,从而得到可替换区域的位置信息,然后根据位置信息,确定可替换区域。
或者,特效视频信息中也可以存在对应的扩展字段,可以将可替换区域的位置信息存储于扩展字段中。比如,当特效视频信息的视频格式为MP4格式时,MP4格式允许用户可自定义元数据字段,以便存储一些特定的信息,自定义元数据字段可以存在MP4文件的扩展字段(Extended Header)中。此时,从特效视频信息中获取可替换区域的过程可以为:
从特效视频信息对应的扩展字段中获取目标集合,目标集合包括可替换区域的位置信息;
从目标集合中获取可替换区域的位置信息;
根据位置信息,确定可替换区域。
其中,位置信息的类型可以根据实际情况进行设置,比如,位置信息可以为可替换区域的四个顶点坐标,又比如,位置信息也可以为可替换区域的左上角顶点坐标、可替换区域的宽度以及可替换区域的高度等,本申请实施例在此不做限定。
当位置信息为可替换区域的四个顶点坐标时,可以直接将位置信息组成的区域作为可替换区域,当位置信息为可替换区域的左上角顶点坐标、可替换区域的宽度以及可替换区域的高度时,可以根据左上角顶点坐标、可替换区域的宽度以及可替换区域的高度,确定可替换区域的其他三个顶点坐标,然后再将左上角顶点坐标和其他三个顶点坐标组成的区域作为可替换区域。
目标集合的格式可以根据实际情况进行选择,比如,目标集合可以为json或数组,本申请实施例在此不做限定。
可选地,如果特效视频信息对应的视频格式存在可以存储透明度的通道,则终端可以直接从特效视频信息中存储透明度的通道中获取可替换区域对应的透明度。
如果特效视频信息对应的视频格式不存在可以存储透明度的通道,则特效视频信息中特效帧可以包括特效信息区域和透明度区域,特效信息区域包括配置了用于显示关联信息的可替换区域,透明度区域包括特效信息区域对应的透明度,由于特效信息区域包括可替换区域,因此,透明度区域也包括可替换区域对应的透明度,终端再从透明度区域中获取可替换区域对应的透明度。
205、根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
其中,终端可以生成关联信息对应的目标颜色纹理图像,然后设置可替换区域的位置信息和目标颜色纹理图像的顶点坐标之间的对应关系,根据可替换区域的位置信息、目标颜色纹理图像的顶点坐标以及可替换区域的位置信息和目标颜色纹理图像的顶点坐标之间的对应关系进行插值处理,以便得到特效视频中的可替换区域中像素点在目标颜色纹理图像中对应的纹理坐标,然后将纹理坐标对应的颜色值作为该像素点的颜色值,最后根据每个像素点的颜色值和透明度进行渲染处理,从而使得在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
关联信息对应的内容的类型可以根据实际情况进行选择,比如,关联信息对应的内容的类型可以为图片、文字或视频中的至少一种,本申请实施例在此不做限定。
可选地,如果特效视频中的可替换区域中包括多个,关联信息也存在多个子关联信息,则可以获取可替换区域的区域标识和子关联信息的类型(子关联信息的类型比如可以为图像或文字等)之间的对应关系,然后根据对应关系,确定在哪个可替换区域上显示哪种子关联信息。
可选地,可以在顶点着色器中设置可替换区域的位置信息和目标颜色纹理图像的顶点坐标之间的对应关系,然后通过片段着色器根据顶点着色器的设置进行插值处理,得到特效视频中的可替换区域中像素点在目标颜色纹理图像中对应的纹理坐标。
然而,在通过片段着色器根据顶点着色器的设置进行插值处理时,通过片段着色器根据顶点着色器的设置是进行线性插值处理,导致当可替换区域的轮廓为不规则图形,在特效视频中的可替换区域上生成的关联信息对应的内容变形(比如,如图5所示),因此,在一些实施例中,当从目标集合中获取可替换区域的位置信息时,目标集合还包括可替换区域对应的投影矩阵,此时,根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,包括:
生成关联信息对应的目标颜色纹理图像;
根据投影矩阵,确定特效视频的可替换区域在目标颜色纹理图像中对应的位置,得到目标位置;
从目标颜色纹理图像中获取目标位置对应的颜色值;
根据目标位置对应的颜色值和透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
其中,目标位置即为特效视频中的可替换区域中像素点在目标颜色纹理图像中对应的纹理坐标,终端在获取到目标位置之后,再将目标位置对应的颜色值作为该像素点的颜色值,然后根据该像素点的颜色值和透明度进行渲染处理,从而使得在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
在本申请实施例中,生成关联信息对应的目标颜色纹理图像,设置可替换区域的位置信息和目标颜色纹理图像的顶点坐标之间的对应关系,根据可替换区域的位置信息、目标颜色纹理图像的顶点坐标、可替换区域的位置信息和目标颜色纹理图像的顶点坐标之间的对应关系以及投影矩阵进行非线性插值处理,得到特效视频的可替换区域中每个像素点在目标颜色纹理图像中对应的位置,得到目标位置,然后从目标颜色纹理图像中获取目标位置对应的颜色值,最后根据目标位置对应的颜色值和透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,使得即使可替换区域的轮廓为不规则图形,在特效视频中的可替换区域上的关联信息的内容也不会变形。
在一些实施例中,当从透明度区域中获取可替换区域的透明度时,透明度区域还包括可替换区域中各个像素点对应的目标颜色通道对应的数值,此时,根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,包括:
从透明度区域中获取特效视频的可替换区域中像素点对应的目标颜色通道对应的数值;
若目标颜色通道对应的数值不是目标数值,则根据透明度,在特效视频中的可替换区域中像素点上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
其中,目标数值可以根据实际情况进行设置,比如,目标数值可以为零或1,本申请实施例在此不做限定。
目标颜色通道与透明度区域中存储透明度的颜色通道不相同。比如,当采用透明度区域中的R通道存储透明度时,目标颜色通道可以为G通道或B通道。
可替换区域中不同像素点的目标颜色通道对应的数值可以相同,也可以不相同。当可替换区域中像素点的目标颜色通道对应的数值为目标数值时,表明特效遮挡了关联信息在该像素点上对应的内容,也即是,该像素点的特效优先于关联信息在该像素点上对应的内容,此时,可以不根据透明度在该像素点上生成关联信息对应的内容,当可替换区域中像素点的目标颜色通道对应的数值不是目标数值时,表明关联信息在该像素点上对应的内容不被特效遮挡,也即是,关联信息在该像素点上对应的内容优先于该像素点的特效,此时,根据透明度在该像素点上生成关联信息对应的内容。
比如,特效视频的可替换区域如图6中601所示,可替换区域p1的白色区域中像素点的目标颜色通道对应的数值不是目标数值,可替换区域p1的黑色线条组成的区域中像素点的目标颜色通道对应的数值是目标数值,可替换区域p3中像素点的目标颜色通道对应的数值和可替换区域p4中像素点的目标颜色通道对应的数值均不是目标数值,最终得到合成特效视频中一帧视频帧可以如图6中602所示,从图6中602中可以看出,可替换区域p1中的白色区域显示了关联信息对应的内容,可替换区域p1中的黑色线条组成的区域被特效信息遮挡,没有显示关联信息对应的内容,可替换区域p3和可替换区域p4显示了关联信息对应的内容。
在本申请实施例中,从透明度区域中获取特效视频的可替换区域中像素点对应的目标颜色通道对应的数值;若目标颜色通道对应的数值不是目标数值,则根据透明度,在特效视频中的可替换区域中像素点上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,以便解决特效和关联信息对应的内容的前后遮挡问题。
可选地,当从目标集合中获取可替换区域时,目标集合中还可以包括可替换区域的区域标识以及区域标识对应的预设信息,根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,包括:
若没有获取到关联信息,则从目标集合中获取区域标识对应的预设信息;
根据透明度,在特效视频中的区域标识对应的可替换区域上,生成预设信息对应的内容,得到目标物品的合成特效视频。
其中,目标集合中包括区域标识对应的预设信息,可以理解为目标集合中包括区域标识对应的预设信息的存储地址,终端可以根据区域标识对应的存储地址获取预设信息。
在本申请实施例中,可以预先设置区域标识对应的预设信息,以便当没有获取到目标用户的关联信息时,可以根据透明度,在特效视频中的区域标识对应的可替换区域上,生成预设信息对应的内容,得到目标物品的合成特效视频。
206、在直播间播放合成特效视频。
终端在得到合成特效视频之后,即可在直播间播放合成特效视频,以便直播间的用户可以看到嵌套了关联信息对应的内容的特效视频,提高目标用户在直播间赠送物品的趣味性,从而提高目标用户在直播间的互动率,进而提高目标用户在直播间的留存率。
在一些实施例中,在响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息之前,还包括:
获取目标物品的待导出特效视频以及预设图形;
将待导出特效视频中与预设图形匹配的图形所在的区域作为可替换区域;
根据可替换区域,将待导出特效视频导出为特效信息序列,特效信息序列包括目标物品的特效信息和可替换区域;
根据特效信息序列中的特效信息,确定目标物品的特效对应的透明度,并根据目标物品的特效对应的透明度,生成透明度序列;
对特效信息序列和透明度序列进行融合处理,得到目标物品对应的特效视频信息。
其中,预设图形可以根据实际情况进行设置,比如,预设图形可以为圆形或矩形,本申请实施例在此不做限定。
特效信息序列中的特效信息可以为特效信息序列中每个像素点的特效信息,特效信息序列中可以包括存储透明度的通道,也即是,此时,特效信息序列中每个像素点的特效信息可以包括每个像素点的透明度,将特效信息序列中的特效信息中的透明度作为目标物品的特效对应的透明度,并根据目标物品的特效对应的透明度生成透明度序列,使得透明度序列中的第二目标颜色通道存储透明度,最后对特效信息序列和透明度序列进行融合处理,得到目标物品对应的特效视频信息,使得特效视频信息中可以包括特效信息区域和透明度区域,透明度区域中的第二目标颜色通道存储透明度。
可选地,根据可替换区域,将待导出特效视频导出为特效信息序列,包括:
根据可替换区域,将待导出特效视频导出为特效信息序列和候选透明度序列,候选透明度序列包括可替换区域以及所述可替换区域对应的透明度。
此时,候选透明度序列中不是可替换区域的区域的透明度为零,则根据特效信息序列中的特效信息,确定目标物品的特效对应的透明度,包括:
获取特效信息序列对应的优先级和候选透明度序列对应的优先级;
若特效信息序列对应的优先级高于候选透明度序列对应的优先级,则根据特效信息序列中的特效信息,确定目标物品的特效对应的透明度;
若特效信息序列对应的优先级低于候选透明度序列对应的优先级,则根据候选透明度序列中透明度为零的像素点在特效信息序列中对应的透明度和可替换区域的透明度,确定目标物品的特效对应的透明度。
其中,可以直接将可替换区域在特效信息序列中的透明度作为可替换区域在候选透明度序列中对应的透明度(候选透明度序列中包括存储透明度的通道),然后,再对特效信息序列中的透明度进行修改或不修改,当不对特效信息序列中的透明度进行修改时,可替换区域在特效信息序列中的透明度和可替换区域在候选透明度序列中对应的透明度相同。此时,特效信息序列和候选透明度序列比如可以如图7(图7中的特效帧序列即为特效信息序列)所示。
由于可替换区域可能同时存在特效和关联信息对应的内容,因此,可以根据特效和关联信息对应的内容的优先级设置透明度序列中的透明度,即如果特效信息序列对应的优先级高于候选透明度序列对应的优先级,则将像素点在特效信息序列的特效信息中的透明度,作为目标物品在该像素点上的特效对应的透明度,如果特效信息序列对应的优先级低于候选透明度序列对应的优先级,当候选透明度序列中像素点的透明度为零时,则将该像素点在特效信息序列中对应的透明度作为目标物品在该像素点上的特效对应的透明度,当候选透明度序列中像素点的透明度不为零时,则将该像素点在候选透明度序列中对应的透明度,作为目标物品在该像素点上的特效对应的透明度,从而得到目标物品的特效对应的透明度。
比如,如图8所示,当特效信息序列对应的优先级低于候选透明度序列对应的优先级,合成特效视频中的一帧视频帧可以如图8中801所示,当特效信息序列对应的优先级高于候选透明度序列对应的优先级,合成特效视频中的一帧视频帧可以如图8中802所示。
应理解,当特效信息序列对应的优先级高于候选透明度序列对应的优先级,时,如果特效信息序列中像素点的特效信息的透明度为零时,则将该像素点在候选透明度区域中的透明度作为目标物品在该像素点上的特效对应的透明度。
在另一些实施例中,候选透明度序列还包括目标颜色通道对应的数值,根据所述目标物品的特效对应的透明度,生成透明度序列,包括:
若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度不为目标数值,则将目标数值作为目标颜色通道在透明度序列中对应的数值;
若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度为目标数值,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;
若特效信息序列对应的优先级低于候选透明度序列对应的优先级,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;
根据目标颜色通道在透明度序列中对应的数值和目标物品的特效对应的透明度,生成透明度序列。
其中,候选透明度序列中可替换区域的目标颜色通道对应的数值可以为预先设置的数值,比如,目标颜色通道为G通道,将候选透明度序列中可替换区域的G通道对应的数值设置为255。
在本申请实施例中,若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度不为目标数值,则将目标数值作为目标颜色通道在透明度序列中对应的数值;若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度为目标数值,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;若特效信息序列对应的优先级低于候选透明度序列对应的优先级,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;根据目标颜色通道在透明度序列中对应的数值和目标物品的特效对应的透明度生成透明度序列,使得在根据透明度时,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频的过程中,可以根据目标颜色通道对应的数值,判断是否显示关联信息对应的内容,从而达到如图6所示的效果。
比如,当特效信息序列对应的优先级高于候选透明度序列对应的优先级时,特效信息序列中的一帧视频帧可以如图9中的901所示,候选透明度序列中的一帧视频帧可以如图9中902所示,将特效信息序列中的一帧视频帧以及候选透明度序列中的一帧视频帧融合处理后得到的视频帧比如可以如图9中903所示。
又比如,当特效信息序列对应的优先级低于候选透明度序列对应的优先级时,特效信息序列中的一帧视频帧可以如图10中的1001所示,候选透明度序列中的一帧视频帧可以如图10中1002所示,将特效信息序列中的一帧视频帧以及候选透明度序列中的一帧视频帧融合处理后得到的视频帧比如可以如图10中1003所示。
在另一些实施例中,当从目标集合中获取可替换区域时,在对特效信息序列和透明度序列进行融合处理,得到目标物品对应的特效视频信息之后,还包括:
从候选透明度序列中获取可替换区域的位置信息;
将位置信息存储于目标集合中;
将目标集合存储于特效视频信息中的扩展字段中。
其中,当目标集合中还包括投影矩阵时,从候选透明度序列中获取可替换区域的位置信息,将位置信息存储于目标集合中的过程可以为:
根据候选透明度序列,确定可替换区域对应的轮廓;
确定轮廓对应的最大外接正接矩形,并获取最大外接正接矩形对应的预设数量的顶点坐标;
根据轮廓,确定可替换区域对应的预设数量的原始顶点坐标;
根据顶点坐标和原始顶点坐标,确定可替换区域对应的投影矩阵;
根据原始顶点坐标,确定可替换区域对应的位置信息;
将位置信息以及可替换区域对应的投影矩阵存储于目标集合中。
可替换区域对应的投影矩阵,可以理解为最大外接正接矩形在轮廓上的投影矩阵。
在本申请实施例中,根据候选透明度序列,确定可替换区域对应的轮廓;确定轮廓对应的最大外接正接矩形,并获取最大外接正接矩形对应的预设数量的顶点坐标;根据轮廓,确定可替换区域对应的预设数量的原始顶点坐标;根据顶点坐标和原始顶点坐标,确定可替换区域对应的投影矩阵;根据原始顶点坐标,确定可替换区域对应的位置信息;将位置信息以及可替换区域对应的投影矩阵存储于目标集合中,使得在根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频的过程中,可以根据投影矩阵进行插值处理,从而使得在特效视频中的可替换区域上生成的关联信息对应的内容不变形。
比如,最大外接正接矩形和可替换区域可以如图11所示。
可选地,在根据顶点坐标和原始顶点坐标,确定可替换区域对应的投影矩阵的过程中,顶点坐标的顺序和原始顶点坐标的顺序可以相同,以便提高投影矩阵的准确度。
比如,顶点坐标的顺序和原始顶点坐标的顺序可以如图12所示。
可选地,如果可替换区域在待导出特效视频中运动,由于待导出特效视频中每一帧图像会存在噪声和变化,因此,会导致得到的可替换区域的轮廓存在抖动。为了减少得到可替换区域的轮廓的抖动现象,可以将候选透明度序列中目标颜色通道的数值进行高斯滤波处理,得到滤波后候选透明度序列,然后再根据滤波后候选透明度序列确定可替换区域的轮廓。
其中,根据滤波后候选透明度序列确定可替换区域的轮廓的算法可以根据实际情况进行选择,比如,可以通过二值化提取轮廓法,根据滤波后候选透明度序列确定可替换区域的轮廓,又比如,可以通过边缘检测法,根据滤波后候选透明度序列确定可替换区域的轮廓,本申请实施例在此不做限定。
当通过二值化提取轮廓法,根据滤波后候选透明度序列确定可替换区域的轮廓时,在得到滤波后候选透明度序列后,可以对滤波后候选透明度序列进行二值化处理,得到二值化后候选透明度序列,然后再根据二值化后候选透明度序列确定可替换区域的轮廓。其中,可以通过OpenCV中的findContours函数,根据二值化后候选透明度序列确定可替换区域的轮廓。
需要说明的是,虽然候选透明度序列中包括的可替换区域的目标颜色通道对应的数值可以为预先设置的数值,但是,导出的候选透明度序列中目标颜色通道对应的数值不一定为预先设置的数值。
比如,目标颜色通道为G通道,G通道的数值预先设置为255,但是,导出的候选透明度序列中的G通道的数值不一定为255,可能为0-255之间的一个数值,因此,在对滤波后候选透明度序列进行二值化处理的过程中,可以获取预设阈值,当目标颜色通道的数值大于预设阈值时,将目标颜色通道的数值设置为255,当目标颜色通道的数值小于预设阈值时,将目标颜色通道的数值设置为0。
可选地,根据轮廓,确定可替换区域对应的预设数量的原始顶点坐标的过程可以为:
若轮廓是规则图形,则将轮廓中预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标;
若轮廓不是规则图形,则确定轮廓中组成的面积满足预设条件对应的预设数量的轮廓点,作为可替换区域对应的预设数量的原始顶点坐标。
如果轮廓是规则图形且为矩形,轮廓中预设数量的顶点坐标和最大外接正接矩形对应的预设数量的顶点坐标相同。预设数量可以根据实际情况设置,比如,预设数量可以为4,本申请实施例在此不做限定。
轮廓中组成的面积满足预设条件对应的预设数量的轮廓点,可以根据实际情况进行选择,比如,可以将轮廓中组成的面积最大的预设数量的轮廓点作为满足预设条件对应的预设数量的轮廓点,又比如,可以将轮廓中组成的面积第二大的预设数量的轮廓点作为满足预设条件对应的预设数量的轮廓点,本申请实施例在此不做限定。
可选地,为了进一步提高投影矩阵的准确度,若轮廓是规则图形,则将所轮廓中所述预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标,包括:
若轮廓与第一规则图形匹配,则将轮廓的正接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标;
若轮廓与第二规则图形匹配,则将轮廓的最小外接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标。
其中,与第一规则图形匹配,可以理解为与第一规则图形的图形差异在预设范围内,与第二规则图形匹配,可以理解为与第二规则图形的图形差异在预设范围内。第一规则图形比如可以为圆形,第二规则图形比如可以为矩形。
在另一些实施例中,根据可替换区域,将待导出特效视频导出为特效信息序列和候选透明度序列;
根据可替换区域,将待导出特效视频导出为特效信息序列;
若可替换区域不满足预设完整条件,则增大待导出特效视频中视频帧的尺寸,以使得可替换区域在增大后的待导出特效视频中满足预设完整条件;
将增大后的待导出特效视频导出为候选透明度序列。
特效信息序列中视频帧的尺寸和候选透明度序列中视频帧的尺寸通常是相同,比如,如图13所示。但是,如果可替换区域在视频帧中只显示了一部分,即可替换区域不满足预设完整条件,比如,如图13所示,会导致可替换区域中没有显示的部分不会绘制关联信息对应的内容,从而导致可替换区域上的关联信息对应的内容发生变形。
比如,当可替换区域如图13所示时,合成后特效视频帧中的一个视频帧可以如图14所示。从图14中可以看出,关联信息对应的内容发生变形。
因此,在本申请实施例中,若可替换区域不满足预设完整条件,则增大待导出特效视频中视频帧的尺寸,以使得可替换区域在待导出特效视频中满足预设完整条件;将增大后的特效视导出为候选透明度序列,使得当从候选透明度序列中获取可替换区域的位置信息,将位置信息存储于目标集合中,从目标集合中获取位置信息,并根据位置信息确定可替换区域时,确定的可替换区域可以为完整的区域,从而使得在可替换区域上显示的关联信息对应的内容不会变形。
比如,如图15所示,当待导出特效视频中视频帧的尺寸没有增大时,待导出特效视频中视频帧可以如图15中1501所示,增大后的待导出特效视频可以如图15中1502所示,此时,可替换区域在图15中1502可以完整显示。
则当将候选透明度序列中获取可替换区域的位置信息存储目标集合中,从目标集合中获取位置信息,根据位置信息在特效视频中的可替换区域上显示关联信息对应的内容时,在特效视频中的可替换区域上显示关联信息对应的内容可以如图16所示。
此时,从候选透明度序列中获取可替换区域的位置信息的过程可以为:
从候选透明度序列中获取可替换区域的候选位置信息;
根据增大的尺寸,对候选位置信息进行调整,得到可替换区域的位置信息。
由于候选透明度序列中视频帧的尺寸为增大后的尺寸,则从候选透明序列中获取到的可替换区域的位置信息与特效视频信息的特效帧中可替换区域的位置信息不匹配,比如,如图15所示,可替换区域上的像素点A在图15中1501的坐标为(10,20),但是,像素点A在图15中1502的坐标为(25,20),由于像素A所在的坐标系不相同,导致像素点A在没有增大的待导出特效视频中视频帧的坐标和在增大后的待导出特效视频中视频帧的坐标不一致,从而导致当从目标集合中获取可替换区域,然后在特效帧中可替换区域的上显示关联信息对应的内容时,从目标集合中获取的可替换区域和特效帧中可替换区域不匹配。
因此,在本申请实施例中,从候选透明度序列中获取可替换区域的候选位置信息;根据增大的尺寸,对候选位置信息进行调整,得到可替换区域的位置信息,也即是,根据增大的尺寸,可以将候选位置信息转换为特效信息序列所在的坐标系中的坐标(此时,可替换区域仍然为完整的区域),使得从目标集合中获取的可替换区域和特效帧中可替换区域匹配,从而使得在特效帧中的可替换区域上显示关联信息对应的内容时不会出现错误。
比如,如图15所示,可替换区域上的像素点A在图15中1501的坐标为(10,20),但是,像素点A在图15中1502的坐标为(25,20),此时,像素点A的候选位置信息为(25,20),根据增大的尺寸,对候选位置信息进行调整之后,像素点A的位置信息为(10,20)。
在另一些实施例中,根据可替换区域,将待导出特效视频导出为特效信息序列和候选透明度序列,包括:
根据可替换区域,将待导出特效视频导出为特效信息序列;
确定待导出特效视频的每一视频帧中与预设图形匹配的图形的数量;
根据满足预设数量条件的数量和可替换区域的区域标识,确定可替换区域对应的第一目标颜色通道对应的数值;
根据可替换区域以及第一目标颜色通道对应的数值,将待导出特效视频导出为候选透明度序列。
其中,满足预设数量条件的数量可以根据实际情况进行选择,比如,可以将最大的数量作为满足预设数量条件的数量,又比如,可以将第二大的数量作为满足预设数量条件的数量,本申请实施例在此不做限定。
第一目标颜色通道为和目标颜色通道不相同的通道,比如,目标颜色通道为G通道,第一目标颜色通道为B通道。
可选地,可以将满足预设数量条件的数量和可替换区域的区域标识代入以下公式中,以便得到可替换区域对应的第一目标颜色通道对应的数值:
B=(255/T/2)*(S*2+1)
其中,B表示第一目标颜色通道对应的数值,T表示满足预设数量条件的数量,S表示区域标识。
由于如果直接将可替换区域的标识作为第一目标颜色通道对应的数值,会导致在根据可替换区域以及第一目标颜色通道对应的数值,将待导出特效视频导出为候选透明度序列之后,如果候选透明度序列中的第一目标颜色通道对应的数值发生变化,从候选透明度序列中的第一目标颜色通道提取的区域标识产生错误,因此,在本申请实施例中,确定待导出特效视频的每一视频帧中与预设图形匹配的图形的数量;根据满足预设数量条件的数量和可替换区域的区域标识,确定可替换区域对应的第一目标颜色通道对应的数值;根据可替换区域以及第一目标颜色通道对应的数值,将待导出特效视频导出为候选透明度序列,使得即使候选透明度序列中第一目标颜色通道对应的数值发生变化,也可以从第一目标颜色通道对应的数值中提取到正确的区域标识。
此时,将位置信息存储于目标集合中的过程可以为:
根据候选透明度序列中第一目标颜色通道对应的数值和满足预设数量条件的数量,确定可替换区域的区域标识;
获取与区域标识对应的预设信息;
将区域标识、预设信息和位置信息存储于目标集合中。
其中,终端可以显示预设信息配置页面,以便终端可以通过预设信息配置页面获取到与区域标识对应的预设信息。
比如,预设信息配置页面可以如图17所示,图17中的检测数量即为满足预设数量条件的数量,终端可以先通过预设信息配置页面获取到各个候选区域标识对应的预设信息,然后在得到可替换区域的区域标识之后,将与区域标识匹配的候选区域标识对应的预设信息,作为区域标识对应的预设信息,或者,终端也可以在获取到区域标识之后,再根据区域标识显示预设信息配置页面,从而通过预设信息配置页面,获取到区域标识对应的预设信息。
将预设信息存储于目标集合中,可以理解为将预设信息的存储地址存储于目标集合中。
由以上内容可以看出,本申请实施例中,在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;根据特效帧进行解码处理,得到目标物品的待合成的特效视频;从特效视频信息中获取可替换区域以及透明度;根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频,在直播间播放合成特效视频,以便合成特效视频中可以包括目标用户的关联信息,使得当目标用户不同时,关联信息也不同,合成特效视频也不同,提高赠送目标物品的乐趣,从而提高用户在直播间的互动率,进而提高用户在直播间的留存率。
下面根据图18,本申请提供的特效视频信息的生成过程进行进一步说明。在本申请实施例中,特效视频信息的视频格式为MP4格式,目标集合为json,目标颜色通道为G通道,第一目标颜色通道为B通道,第二目标颜色通道为R通道,目标数值为0。
1801、终端获取目标物品的待导出特效视频以及预设图形,并将待导出特效视频中与预设图形匹配的图形所在的区域作为可替换区域。
1802、终端根据可替换区域,将待导出特效视频导出为特效信息序列,特效信息序列包括目标物品的特效信息和可替换区域。
1803、终端获取预先设置的R通道对应的数值以及G通道对应的数值,将预先设置的R通道对应的数值和G通道对应的数值作为可替换区域的R通道对应的数值和G通道对应的数值,以及获取可替换区域在待导出特效视频中对应的透明度。
预先设置的R通道对应的数值比如可以为255,预先设置的G通道对应的数值比如可以为255。
1804、终端确定待导出特效视频的每一视频帧中与预设图形匹配的图形的数量,并根据满足预设数量条件的数量和可替换区域的区域标识,确定可替换区域对应的B通道对应的数值。
1805、若可替换区域不满足预设完整条件,终端则增大待导出特效视频中视频帧的尺寸,并根据可替换区域、可替换区域的R通道对应的数值、可替换区域的G通道对应的数值、可替换区域的B通道对应的数值以及可替换区域在待导出特效视频中对应的透明度,将增大后的待导出特效视频导出为候选透明度序列。
1806、若可替换区域满足预设完整条件,终端则根据可替换区域、可替换区域的R通道对应的数值、可替换区域的G通道对应的数值、可替换区域的B通道对应的数值以及可替换区域在待导出特效视频中对应的透明度,将待导出特效视频导出为候选透明度序列。
此时,候选透明度序列中除了可替换区域之外的区域的RBG通道对应的数值和透明度均可以为0。
比如,如图19所示,待导出特效视频为在UE或AE中制作的特效视频,然后将待导出特效视频导出为特效信息序列,并确定可替换区域中的R通道对应的数值、G通道对应的数值、B通道对应的数值以及alpha通道对应的透明度,最后,根据可替换区域中的R通道对应的数值、G通道对应的数值、B通道对应的数值以及alpha通道对应的透明度,将待导出特效视频导出为候选透明度序列。
可选地,本申请实施例中的步骤1801-1806可以通过特效设计工具执行。
1807、终端根据候选透明度序列,确定可替换区域对应的轮廓,确定轮廓对应的最大外接正接矩形,以及获取最大外接正接矩形对应的预设数量的顶点坐标。
1808、若轮廓与第一规则图形匹配,终端则将轮廓的正接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标。
1809、若轮廓与第二规则图形匹配,终端则将轮廓的最小外接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标。
18010、若轮廓不是规则图形,终端则确定轮廓中组成的面积满足预设条件对应的预设数量的轮廓点,作为可替换区域对应的预设数量的原始顶点坐标。
18011、终端根据原始顶点坐标,确定可替换区域对应的候选位置信息,并根据增大的尺寸,对候选位置信息进行调整,得到可替换区域的位置信息。
比如,可以如图20所示,终端可以从候选透明度序列中获取可替换区域的G通道对应的数值,对G通道对应的数值进行高斯滤波处理,得到滤波后候选透明度序列,并根据滤波后候选透明度序列,确定可替换区域对应的轮廓,然后确定轮廓对应的最大外接正接矩形,并获取最大外接正接矩形对应的预设数量的顶点坐标,获取轮廓对应的原始顶点坐标,最后对原始顶点坐标按照顶点坐标的顺序进行排序。
18012、终端根据顶点坐标和原始顶点坐标,确定可替换区域对应的投影矩阵。
18013、终端根据候选透明度序列可替换区域的B通道对应的数值和满足预设数量条件的数量,确定可替换区域的区域标识,并获取区域标识对应的预设信息。
18014、终端将位置信息、投影矩阵、区域标识以及预设信息组成json。
比如,图21所示,终端根据候选透明度序列中G通道对应的数值确定可替换区域的位置信息,确定投影矩阵,根据候选透明度序列可替换区域的B通道对应的数值和满足预设数量条件的数量,确定可替换区域的区域标识,以及获取区域标识对应的预设信息,最后将位置信息、投影矩阵、区域标识以及预设信息组成json。
json比如可以如图22所示,图22中的替换区域即为上述的可替换区域,图22中的特效序列帧即为上述的特效信息序列中的视频帧,图22中的替换内容具体资源即为上述的预设信息,图22中的替换区域正接矩形的x、y、width、height为可替换区域的位置信息,x和y表示可替换区域的左上角顶点坐标,width表示可替换区域的宽度,height表示可替换区域的高度,图22中的替换区域的下标即为上述的可替换区域的区域标识,图22中的替换区域的投影矩阵即为上述的可替换区域的投影矩阵。
可选地,本申请实施例中的步骤1807-18014可以通过生成MP4视频的工具执行。
18015、终端获取候选透明度序列中alpha通道对应的透明度和G通道对应的数值,以及获取特效信息序列中alpha通道对应的透明度。
18016、终端获取特效信息序列对应的优先级和候选透明度序列对应的优先级。
18017、若特效信息序列对应的优先级高于候选透明度序列对应的优先级,且特效信息序列中alpha通道对应的透明度不为0,终端则将特效信息序列中alpha通道对应的透明度作为待生成的透明度序列中R通道对应的数值,将0作为待生成的透明度序列中G通道对应的数值。
18018、若特效信息序列对应的优先级高于候选透明度序列对应的优先级,且特效信息序列中alpha通道对应的透明度为0,终端则将候选透明度序列中alpha通道对应的透明度作为待生成的透明度序列中R通道的数值,将候选透明度序列中G通道对应的数值作为待生成的透明度序列中G通道的数值。
18019、若特效信息序列对应的优先级低于候选透明度序列对应的优先级且候选透明度序列中alpha通道对应的透明度不为0,终端则将候选透明度序列中alpha通道对应的透明度作为待生成的透明度序列中R通道的数值。
18020、若特效信息序列对应的优先级低于候选透明度序列对应的优先级且候选透明度序列中alpha通道对应的透明度为0,终端则将特效信息序列中alpha通道对应的透明度作为待生成的透明度序列中R通道的数值。
待生成的透明度序列中R通道的数值即为目标物品的特效对应的透明度。
18021、若特效信息序列对应的优先级低于候选透明度序列对应的优先级,终端则将候选透明度序列中G通道对应的数值作为待生成的透明度序列中G通道的数值。
18022、终端根据待生成的透明度序列中R通道的数值和待生成的透明度序列中G通道的数值生成透明度序列。
比如,如图23所示,终端获取特效信息序列中alpha通道对应的透明度,并获取候选透明度序列中alpha通道对应的透明度和G通道对应的数值,然后判断特效信息序列对应的优先级是否高于候选透明度序列对应的优先级,如果是,则生成特效信息序列优先的透明度序列,如果不是,则生成候选透明度序列优先的透明度序列。
需要说明的是,由于渲染时无需用到透明度序列中的B通道,因此,透明度序列中的B通道对应的数值可以根据实际情况进行设置。
18023、终端将特效信息序列中R通道对应的数值、G通道对应的数值以及B通道对应的数值乘以特效信息序列中alpha通道对应的数值,得到调整后特效信息序列。
18024、终端将调整后特效信息序列和透明度序列进行融合处理,得到目标物品对应的特效视频信息,并将json存储至特效视频信的扩展字段中。
比如,如图24所示,终端将特效信息序列中R通道对应的数值、G通道对应的数值以及B通道对应的数值乘以特效信息序列中alpha通道对应的数值,得到调整后特效信息序列,也即是取消特效信息序列中alpha通道,得到整后特效信息序列,然后将调整后特效信息序列和透明度序列进行融合处理,得到目标物品对应的MP4格式的特效视频信息,并将json存储至特效视频信息的扩展字段中。
可选地,本申请实施例中的步骤18015-18024通过生成MP4视频的工具执行。
本实施例提供的特效视频信息生成方法,在任何客户端中均可通用,并且操作简便,特效设计师可以快速地产出特效视频信息并在客户端播放。
本实施例具体的实现过程以及对应的有益效果,具体可以参照上述特效播放方法实施例的描述,本实施例在此不再赘述。
下面根据图25,本申请提供的特效播放过程进行进一步说明。在本申请实施例中,特效视频信息的视频格式为MP4格式,目标集合为json,目标颜色通道为G通道,第一目标颜色通道为B通道,第二目标颜色通道为R通道,目标数值为0。
2501、终端在直播间显示物品赠送页面,物品赠送页面包括至少一个物品。
2502、终端响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息中特效帧包括特效信息区域和透明度区域,特效信息区域包括配置了用于显示关联信息的可替换区域,透明度区域包括特效信息区域对应的透明度。
2503、终端生成关联信息对应的目标颜色纹理图像。
2504、终端根据特效帧进行解码,得到特效帧对应的解码后数据,并根据解码后数据,生成特效帧对应的颜色纹理图像。
2505、终端获取颜色纹理图像的特效信息区域中R通道对应的数值、G通道对应的数值、B通道对应的数值,以及从颜色纹理图像的透明度区域中获取R通道对应的透明度。
2506、终端将特效信息区域中R通道对应的数值、G通道对应的数值以及B通道对应的数值分别除以透明度区域中R通道对应的透明度,得到除后R通道对应数值、除后G通道对应数值以及除后B通道对应数值。
2507、终端根据除后R通道对应数值、除后G通道对应数值、除后B通道对应数值以及透明度区域中R通道对应的透明度进行渲染处理,得到目标物品的待合成的特效视频。
2508、终端从特效视频信息的扩展字段中获取json,并从json中获取可替换区域的位置信息和投影矩阵。
2509、终端从颜色纹理图像的透明度区域中获取可替换区域中G通道对应的数值。
25010、若G通道对应的数值不是0,终端则根据投影矩阵,确定特效视频中可替换区域的位置信息在目标颜色纹理图像中对应的位置,得到目标位置,并从目标颜色纹理图像中获取目标位置的R通道对应的数值、G通道对应的数值、B通道对应的数值以及从颜色纹理图像的透明度区域中获取可替换区域的R通道对应的透明度。
25011、终端根据目标位置的R通道对应的数值、G通道对应的数值、B通道对应的数值以及可替换区域的R通道对应的透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
比如,如图26所示,终端获取目标物品对应的特效视频信息,根据特效帧进行解码,得到特效帧对应的解码后数据,并根据解码后数据,进行渲染,得到待合成的特效视频,从特效视频信息的扩展字段中获取json,并从json中获取可替换区域的位置信息和投影矩阵,获取关联信息,生成关联信息对应的目标颜色纹理图像,根据目标颜色纹理图像、可替换区域的位置信息和投影矩阵对特效视频中可替换区域的显示内容替换为关联信息对应的内容。
可选地,本申请实施例中的步骤2502-25011通过播放MP4视频的客户端执行。
25012、终端在直播间播放合成特效视频。
本实施例具体的实现过程以及对应的有益效果,具体可以参照上述特效播放方法实施例的描述,本实施例在此不再赘述。
为了更好地实施以上方法,本申请实施例还提供一种特效播放装置,该特效播放装置具体可以集成在电子设备中,比如,计算机设备,该计算机设备可以为终端、服务器等设备。
其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以特效播放装置具体集成在终端为例,对本申请实施例的方法进行详细说明,本实施例提供了一种特效播放装置,如图27所示,该特效播放装置可以包括:
页面显示模块2701,用于在直播间显示物品赠送页面,物品赠送页面包括至少一个物品。
第一获取模块2702,用于响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度。
视频解码模块2703,用于根据特效帧进行解码处理,得到目标物品的待合成的特效视频。
第二获取模块2704,用于从特效视频信息中获取可替换区域以及透明度。
视频生成模块2705,用于根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
视频播放模块2706,用于在直播间播放合成特效视频。
在一些实施例中,特效帧包括特效信息区域和透明度区域,特效信息区域包括配置了用于显示关联信息的可替换区域,透明度区域包括特效信息区域对应的透明度,第二获取模块2704具体用于执行:
从特效视频信息中获取可替换区域;
从透明度区域中获取可替换区域的透明度。
视频解码模块2703具体用于执行:
根据特效帧进行解码,得到特效帧对应的解码后数据;
根据解码后数据,生成特效帧对应的颜色纹理图像;
从颜色纹理图像中获取颜色值以及从透明度区域中获取特效信息区域对应的透明度;
根据颜色值和特效信息区域对应的透明度进行渲染处理,得到目标物品的待合成的特效视频。
在一些实施例中,透明度区域还包括可替换区域中各个像素点对应的目标颜色通道对应的数值,视频生成模块2705具体用于执行:
从透明度区域中获取特效视频的可替换区域中像素点对应的目标颜色通道对应的数值;
若目标颜色通道对应的数值不是目标数值,则根据透明度,在特效视频中的可替换区域中像素点上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
在一些实施例中,第二获取模块2704具体用于执行:
从特效视频信息对应的扩展字段中获取目标集合,目标集合包括可替换区域的位置信息;
从目标集合中获取可替换区域的位置信息;
根据位置信息,确定可替换区域。
在一些实施例中,目标集合还包括可替换区域对应的投影矩阵,视频生成模块2705具体用于执行:
生成关联信息对应的目标颜色纹理图像;
根据投影矩阵,确定特效视频的可替换区域在目标颜色纹理图像中对应的位置,得到目标位置;
从目标颜色纹理图像中获取目标位置对应的颜色值;
根据目标位置对应的颜色值和透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频。
在一些实施例中,目标集合包括可替换区域的区域标识以及区域标识对应的预设信息,上述视频生成模块2705具体用于执行:
若没有获取到关联信息,则从目标集合中获取区域标识对应的预设信息;
根据透明度,在特效视频中的区域标识对应的可替换区域上,生成预设信息对应的内容,得到目标物品的合成特效视频。
在一些实施例中,上述特效播放装置还包括信息生成模块,上述信息生成模块具体用于:
获取目标物品的待导出特效视频以及预设图形;
将待导出特效视频中与预设图形匹配的图形所在的区域作为可替换区域;
根据可替换区域,将待导出特效视频导出为特效信息序列,特效信息序列包括目标物品的特效信息和可替换区域;
根据特效信息序列中的特效信息,确定目标物品的特效对应的透明度,并根据目标物品的特效对应的透明度,生成透明度序列;
对特效信息序列和透明度序列进行融合处理,得到目标物品对应的特效视频信息。
在一些实施例中,上述信息生成模块具体用于:
根据可替换区域,将待导出特效视频导出为特效信息序列和候选透明度序列,候选透明度序列包括可替换区域以及可替换区域对应的透明度;
获取特效信息序列对应的优先级和候选透明度序列对应的优先级;
若特效信息序列对应的优先级高于候选透明度序列对应的优先级,则根据特效信息序列中的特效信息,确定目标物品的特效对应的透明度;
若特效信息序列对应的优先级低于候选透明度序列对应的优先级,则根据候选透明度序列中透明度为零的像素点在特效信息序列中对应的透明度和可替换区域的透明度,确定目标物品的特效对应的透明度。
在一些实施例中,候选透明度序列还包括可替换区域的目标颜色通道对应的数值,上述信息生成模块具体用于:
若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度不为目标数值,则将目标数值作为目标颜色通道在透明度序列中对应的数值;
若特效信息序列对应的优先级高于候选透明度序列对应的优先级且特效信息中的透明度为目标数值,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;
若特效信息序列对应的优先级低于候选透明度序列对应的优先级,则将目标颜色通道在可替换区域的中对应的数值作为目标颜色通道在透明度序列中对应的数值;
根据目标颜色通道在透明度序列中对应的数值和目标物品的特效对应的透明度,生成透明度序列。
在一些实施例中,上述信息生成模块具体用于:
根据可替换区域,将待导出特效视频导出为特效信息序列和候选透明度序列,候选透明度序列包括可替换区域;
从候选透明度序列中获取可替换区域的位置信息;
将位置信息存储于目标集合中;
将目标集合存储于特效视频信息的扩展字段中。
在一些实施例中,上述信息生成模块具体用于:
根据候选透明度序列,确定可替换区域对应的轮廓;
确定轮廓对应的最大外接正接矩形,并获取最大外接正接矩形对应的预设数量的顶点坐标;
根据轮廓,确定可替换区域对应的预设数量的原始顶点坐标;
根据顶点坐标和原始顶点坐标,确定可替换区域对应的投影矩阵;
根据原始顶点坐标,确定可替换区域对应的位置信息;
将位置信息以及可替换区域对应的投影矩阵存储于目标集合中。
在一些实施例中,上述信息生成模块具体用于:
若轮廓是规则图形,则将轮廓中预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标;
若轮廓不是规则图形,则确定轮廓中组成的面积满足预设条件对应的预设数量的轮廓点,作为可替换区域对应的预设数量的原始顶点坐标。
在一些实施例中,上述信息生成模块具体用于:
若轮廓与第一规则图形匹配,则将轮廓的正接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标;
若轮廓与第二规则图形匹配,则将轮廓的最小外接矩形的预设数量的顶点坐标,作为可替换区域对应的预设数量的原始顶点坐标。
在一些实施例中,上述信息生成模块具体用于:
根据可替换区域,将待导出特效视频导出为特效信息序列;
若可替换区域不满足预设完整条件,则增大待导出特效视频中视频帧的尺寸,以使得可替换区域在增大后的待导出特效视频中满足预设完整条件;
将增大后的待导出特效视频导出为候选透明度序列。
在一些实施例中,上述信息生成模块具体用于:
从候选透明度序列中获取可替换区域的候选位置信息;
根据增大的尺寸,对候选位置信息进行调整,得到可替换区域的位置信息。
在一些实施例中,上述信息生成模块具体用于:
根据可替换区域,将待导出特效视频导出为特效信息序列;
确定待导出特效视频的每一视频帧中与预设图形匹配的图形的数量;
根据满足预设数量条件的数量和可替换区域的区域标识,确定可替换区域对应的第一目标颜色通道对应的数值;
根据可替换区域以及第一目标颜色通道对应的数值,将待导出特效视频导出为候选透明度序列。
在一些实施例中,上述信息生成模块具体用于:
根据候选透明度序列中第一目标颜色通道对应的数值和满足预设数量条件的数量,确定可替换区域的区域标识;
获取与区域标识对应的预设信息;
将区域标识、预设信息和位置信息存储于目标集合中。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施方式以及对应的有益效果可参见前面的方法实施例,在此不再赘述。
相应的,本申请实施例还提供一种电子设备,该电子设备可以为终端,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,PersonalComputer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。如图28所示,图28为本申请实施例提供的电子设备的结构示意图。该电子设备2800包括有一个或者一个以上处理核心的处理器2801、有一个或一个以上计算机可读存储介质的存储器2802及存储在存储器2802上并可在处理器上运行的计算机程序。其中,处理器2801与存储器2802电性连接。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器2801是电子设备2800的控制中心,利用各种接口和线路连接整个电子设备2800的各个部分,通过运行或加载存储在存储器2802内的软件程序和/或模块,以及调用存储在存储器2802内的数据,执行电子设备2800的各种功能和处理数据,从而对电子设备2800进行整体监控。
在本申请实施例中,电子设备2800中的处理器2801会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器2802中,并由处理器2801来运行存储在存储器2802中的应用程序,从而实现各种功能,例如:
在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;
响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;
根据特效帧进行解码处理,得到目标物品的待合成的特效视频;
从特效视频信息中获取可替换区域以及透明度;
根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频;
在直播间播放合成特效视频。
以上各个操作的具体实施方式以及对应的有益效果可参见上文对特效播放方法的详细描述,在此不作赘述。
可选的,如图28所示,电子设备2800还包括:触控显示屏2803、射频电路2804、音频电路2805、输入单元2806以及电源2807。其中,处理器2801分别与触控显示屏2803、射频电路2804、音频电路2805、输入单元2806以及电源2807电性连接。本领域技术人员可以理解,图28中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触控显示屏2803可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏2803可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器2801,并能接收处理器2801发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器2801以确定触摸事件的类型,随后处理器2801根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏2803而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏2803也可以作为输入单元2806的一部分实现输入功能。
射频电路2804可用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路2805可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路2805可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路2805接收后转换为音频数据,再将音频数据输出处理器2801处理后,经射频电路2804以发送给比如另一电子设备,或者将音频数据输出至存储器2802以便进一步处理。音频电路2805还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
输入单元2806可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源2807用于给电子设备2800的各个部件供电。可选的,电源2807可以通过电源管理系统与处理器2801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源2807还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图28中未示出,电子设备2800还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种特效播放方法。例如,该计算机程序可以执行如下步骤:
在直播间显示物品赠送页面,物品赠送页面包括至少一个物品;
响应于对物品中目标物品的赠送操作,获取目标物品对应的特效视频信息以及赠送目标物品的目标用户的关联信息,特效视频信息包括配置了用于显示关联信息的可替换区域的特效帧以及可替换区域在特效帧中的透明度;
根据特效帧进行解码处理,得到目标物品的待合成的特效视频;
从特效视频信息中获取可替换区域以及透明度;
根据透明度,在特效视频中的可替换区域上,生成关联信息对应的内容,得到目标物品针对关联信息的合成特效视频;
在直播间播放合成特效视频。
以上各个操作的具体实施方式以及对应的有益效果可参见上文对特效播放方法的详细描述,在此不作赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种特效播放方法,因此,可以实现本申请实施例所提供的任一种特效播放方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种特效播放方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种特效播放方法,其特征在于,所述方法包括:
在直播间显示物品赠送页面,所述物品赠送页面包括至少一个物品;
响应于对所述物品中目标物品的赠送操作,获取所述目标物品对应的特效视频信息以及赠送所述目标物品的目标用户的关联信息,所述特效视频信息包括配置了用于显示所述关联信息的可替换区域的特效帧以及所述可替换区域在所述特效帧中的透明度;
根据所述特效帧进行解码处理,得到所述目标物品的待合成的特效视频;
从所述特效视频信息中获取所述可替换区域以及所述透明度;
根据所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频;
在所述直播间播放所述合成特效视频。
2.如权利要求1所述的特效播放方法,其特征在于,所述特效帧包括特效信息区域和透明度区域,所述特效信息区域包括配置了用于显示所述关联信息的可替换区域,所述透明度区域包括所述特效信息区域对应的透明度;
从所述特效视频信息中获取所述可替换区域以及所述透明度,包括:
从所述特效视频信息中获取所述可替换区域;
从所述透明度区域中获取所述可替换区域的透明度。
所述根据所述特效帧进行解码处理,得到所述目标物品的待合成的特效视频,包括:
根据所述特效帧进行解码,得到所述特效帧对应的解码后数据;
根据所述解码后数据,生成所述特效帧对应的颜色纹理图像;
从所述颜色纹理图像中获取颜色值以及从所述透明度区域中获取所述特效信息区域对应的透明度;
根据所述颜色值和所述特效信息区域对应的透明度进行渲染处理,得到所述目标物品的待合成的特效视频。
3.如权利要求2所述的特效播放方法,其特征在于,所述透明度区域还包括所述可替换区域中各个像素点对应的目标颜色通道对应的数值;
所述根据所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频,包括:
从所述透明度区域中获取所述特效视频的所述可替换区域中所述像素点对应的目标颜色通道对应的数值;
若所述目标颜色通道对应的数值不是目标数值,则根据所述透明度,在所述特效视频中的所述可替换区域中所述像素点上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频。
4.如权利要求1所述的特效播放方法,其特征在于,所述从所述特效视频信息中获取所述可替换区域,包括:
从所述特效视频信息对应的扩展字段中获取目标集合,所述目标集合包括所述可替换区域的位置信息;
从所述目标集合中获取所述可替换区域的位置信息;
根据所述位置信息,确定所述可替换区域。
5.如权利要求4所述的特效播放方法,其特征在于,所述目标集合还包括所述可替换区域对应的投影矩阵;
所述根据所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频,包括:
生成所述关联信息对应的目标颜色纹理图像;
根据所述投影矩阵,确定所述特效视频的所述可替换区域在所述目标颜色纹理图像中对应的位置,得到目标位置;
从所述目标颜色纹理图像中获取所述目标位置对应的颜色值;
根据所述目标位置对应的颜色值和所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频。
6.如权利要求4所述的特效播放方法,其特征在于,所述目标集合包括所述可替换区域的区域标识以及所述区域标识对应的预设信息;
所述根据所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频,包括:
若没有获取到所述关联信息,则从所述目标集合中获取所述区域标识对应的预设信息
根据所述透明度,在所述特效视频中的所述区域标识对应的可替换区域上,生成所述预设信息对应的内容,得到所述目标物品的合成特效视频。
7.如权利要求2-6任一项所述的特效播放方法,其特征在于,在响应于对所述物品中目标物品的赠送操作,获取所述目标物品对应的特效视频信息之前,还包括:
获取所述目标物品的待导出特效视频以及预设图形;
将所述待导出特效视频中与所述预设图形匹配的图形所在的区域作为可替换区域;
根据所述可替换区域,将所述待导出特效视频导出为特效信息序列,所述特效信息序列包括所述目标物品的特效信息和所述可替换区域;
根据所述特效信息序列中的所述特效信息,确定所述目标物品的特效对应的透明度,并根据所述目标物品的特效对应的透明度,生成透明度序列;
对所述特效信息序列和所述透明度序列进行融合处理,得到所述目标物品对应的特效视频信息。
8.如权利要求7所述的特效播放方法,其特征在于,所述根据所述可替换区域,将所述待导出特效视频导出为特效信息序列,包括:
根据所述可替换区域,将所述待导出特效视频导出为特效信息序列和候选透明度序列,所述候选透明度序列包括所述可替换区域以及所述可替换区域对应的透明度;
所述根据所述特效信息序列中的所述特效信息,确定所述目标物品的特效对应的透明度,包括:
获取所述特效信息序列对应的优先级和所述候选透明度序列对应的优先级;
若所述特效信息序列对应的优先级高于所述候选透明度序列对应的优先级,则根据所述特效信息序列中的所述特效信息,确定所述目标物品的特效对应的透明度;
若所述特效信息序列对应的优先级低于所述候选透明度序列对应的优先级,则根据所述候选透明度序列中透明度为零的像素点在所述特效信息序列中对应的透明度和所述可替换区域的透明度,确定所述目标物品的特效对应的透明度。
9.如权利要求8所述的特效播放方法,其特征在于,所述候选透明度序列还包括所述可替换区域的目标颜色通道对应的数值,所述根据所述目标物品的特效对应的透明度,生成透明度序列,包括:
若所述特效信息序列对应的优先级高于所述候选透明度序列对应的优先级且所述特效信息中的透明度不为目标数值,则将所述目标数值作为所述目标颜色通道在所述透明度序列中对应的数值;
若所述特效信息序列对应的优先级高于所述候选透明度序列对应的优先级且所述特效信息中的透明度为所述目标数值,则将所述目标颜色通道在所述可替换区域的中对应的数值作为所述目标颜色通道在所述透明度序列中对应的数值;
若所述特效信息序列对应的优先级低于所述候选透明度序列对应的优先级,则将所述目标颜色通道在所述可替换区域的中对应的数值作为所述目标颜色通道在所述透明度序列中对应的数值;
根据所述目标颜色通道在所述透明度序列中对应的数值和所述目标物品的特效对应的透明度,生成透明度序列。
10.如权利要求7所述的特效播放方法,其特征在于,所述根据所述可替换区域,将所述待导出特效视频导出为特效信息序列,包括:
根据所述可替换区域,将所述待导出特效视频导出为特效信息序列和候选透明度序列,所述候选透明度序列包括所述可替换区域;
在所述对所述特效信息序列和所述透明度序列进行融合处理,得到所述目标物品对应的特效视频信息之后,还包括:
从所述候选透明度序列中获取所述可替换区域的位置信息;
将所述位置信息存储于目标集合中;
将所述目标集合存储于所述特效视频信息的扩展字段中。
11.如权利要求10所述的特效播放方法,其特征在于,所述从所述候选透明度序列中获取所述可替换区域的位置信息,将所述位置信息存储于目标集合中,包括:
根据所述候选透明度序列,确定所述可替换区域对应的轮廓;
确定所述轮廓对应的最大外接正接矩形,并获取所述最大外接正接矩形对应的预设数量的顶点坐标;
根据所述轮廓,确定所述可替换区域对应的所述预设数量的原始顶点坐标;
根据所述顶点坐标和所述原始顶点坐标,确定所述可替换区域对应的投影矩阵;
根据所述原始顶点坐标,确定所述可替换区域对应的位置信息;
将所述位置信息以及所述可替换区域对应的投影矩阵存储于所述目标集合中。
12.如权利要求11所述的特效播放方法,其特征在于,所述根据所述轮廓,确定所述可替换区域对应的所述预设数量的原始顶点坐标,包括:
若所述轮廓是规则图形,则将所述轮廓中所述预设数量的顶点坐标,作为所述可替换区域对应的所述预设数量的原始顶点坐标;
若所述轮廓不是规则图形,则确定所述轮廓中组成的面积满足预设条件对应的预设数量的轮廓点,作为所述可替换区域对应的所述预设数量的原始顶点坐标。
13.如权利要求12所述的特效播放方法,其特征在于,所述若所述轮廓是规则图形,则将所述轮廓中所述预设数量的顶点坐标,作为所述可替换区域对应的所述预设数量的原始顶点坐标,包括:
若所述轮廓与第一规则图形匹配,则将所述轮廓的正接矩形的预设数量的顶点坐标,作为所述可替换区域对应的所述预设数量的原始顶点坐标;
若所述轮廓与第二规则图形匹配,则将所述轮廓的最小外接矩形的预设数量的顶点坐标,作为所述可替换区域对应的所述预设数量的原始顶点坐标。
14.如权利要求10所述的特效播放方法,其特征在于,所述根据所述可替换区域,将所述待导出特效视频导出为特效信息序列和候选透明度序列,包括:
根据所述可替换区域,将所述待导出特效视频导出为特效信息序列;
若所述可替换区域不满足预设完整条件,则增大所述待导出特效视频中视频帧的尺寸,以使得所述可替换区域在增大后的待导出特效视频中满足所述预设完整条件;
将增大后的特效视频导出为候选透明度序列。
15.如权利要求14所述的特效播放方法,其特征在于,所述从所述候选透明度序列中获取所述可替换区域的位置信息,包括:
从所述候选透明度序列中获取所述可替换区域的候选位置信息;
根据增大的尺寸,对所述候选位置信息进行调整,得到所述可替换区域的位置信息。
16.如权利要求10所述的特效播放方法,其特征在于,所述根据所述可替换区域,将所述待导出特效视频导出为特效信息序列和候选透明度序列,包括:
根据所述可替换区域,将所述待导出特效视频导出为特效信息序列;
确定所述待导出特效视频的每一视频帧中与所述预设图形匹配的图形的数量;
根据满足预设数量条件的数量和所述可替换区域的区域标识,确定所述可替换区域对应的第一目标颜色通道对应的数值;
根据所述可替换区域以及所述第一目标颜色通道对应的数值,将所述待导出特效视频导出为候选透明度序列。
17.如权利要求16所述的特效播放方法,其特征在于,所述将所述位置信息存储于目标集合中,包括:
根据所述候选透明度序列中所述第一目标颜色通道对应的数值和所述满足预设数量条件的数量,确定所述可替换区域的区域标识;
获取与所述区域标识对应的预设信息;
将所述区域标识、所述预设信息和所述位置信息存储于所述目标集合中。
18.一种特效播放装置,其特征在于,所述装置包括:
页面显示模块,用于在直播间显示物品赠送页面,所述物品赠送页面包括至少一个物品;
第一获取模块,用于响应于对所述物品中目标物品的赠送操作,获取所述目标物品对应的特效视频信息以及赠送所述目标物品的目标用户的关联信息,所述特效视频信息包括配置了用于显示所述关联信息的可替换区域的特效帧以及所述可替换区域在所述特效帧中的透明度;
视频解码模块,用于根据所述特效帧进行解码处理,得到所述目标物品的待合成的特效视频;
第二获取模块,用于从所述特效视频信息中获取所述可替换区域以及所述透明度;
视频生成模块,用于根据所述透明度,在所述特效视频中的所述可替换区域上,生成所述关联信息对应的内容,得到所述目标物品针对所述关联信息的合成特效视频;
视频播放模块,用于在所述直播间播放所述合成特效视频。
19.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1至17任一项所述的特效播放方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至17任一项所述的特效播放方法。
CN202310984075.7A 2023-08-04 2023-08-04 特效播放方法、装置、电子设备和可读存储介质 Pending CN117041611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310984075.7A CN117041611A (zh) 2023-08-04 2023-08-04 特效播放方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310984075.7A CN117041611A (zh) 2023-08-04 2023-08-04 特效播放方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN117041611A true CN117041611A (zh) 2023-11-10

Family

ID=88622098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310984075.7A Pending CN117041611A (zh) 2023-08-04 2023-08-04 特效播放方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN117041611A (zh)

Similar Documents

Publication Publication Date Title
US11443462B2 (en) Method and apparatus for generating cartoon face image, and computer storage medium
US11114130B2 (en) Method and device for processing video
CN109191410B (zh) 一种人脸图像融合方法、装置及存储介质
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
CN109948093B (zh) 表情图片生成方法、装置及电子设备
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN113350793B (zh) 一种界面元素设置方法、装置、电子设备和存储介质
CN108665510B (zh) 连拍图像的渲染方法、装置、存储介质及终端
US11917329B2 (en) Display device and video communication data processing method
CN109104578B (zh) 一种图像处理方法及移动终端
CN113485617A (zh) 动画展示方法、装置、电子设备及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
CN113018856A (zh) 图像处理方法、装置、电子设备及存储介质
CN117455753B (zh) 特效模板生成方法、特效生成方法、装置及存储介质
CN112184540A (zh) 图像处理方法、装置、电子设备和存储介质
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN113487662A (zh) 画面显示方法、装置、电子设备和存储介质
CN117041611A (zh) 特效播放方法、装置、电子设备和可读存储介质
CN115643445A (zh) 交互处理方法、装置、电子设备及存储介质
CN108898081B (zh) 图片处理方法、装置、移动终端及计算机可读存储介质
CN116797631A (zh) 差异区域定位方法、装置、计算机设备及存储介质
CN113905280B (zh) 弹幕信息显示方法、装置、设备以及存储介质
CN115086738B (zh) 信息添加方法、装置、计算机设备及存储介质
CN113628100B (zh) 视频增强方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination