CN113645476B - 画面处理方法、装置、电子设备及存储介质 - Google Patents
画面处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113645476B CN113645476B CN202110904123.8A CN202110904123A CN113645476B CN 113645476 B CN113645476 B CN 113645476B CN 202110904123 A CN202110904123 A CN 202110904123A CN 113645476 B CN113645476 B CN 113645476B
- Authority
- CN
- China
- Prior art keywords
- special effect
- texture map
- target
- pixel
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例公开了一种画面处理方法、装置、电子设备及存储介质。本申请实施例通过将参数承载纹理图目标颜色通道中像素点的通道值作为特效纹理图中对应像素点的透明度参数,结合特效视频的特效纹理图的RBG通道中像素点的通道值,实现对特效视频的透明度渲染;并且,将具有透明度的特效视频与多媒体信息进行融合渲染以得到特效多媒体信息;通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效的还原度,提高特效多媒体信息在用户界面上的显示质量。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种画面处理方法、装置、电子设备及存储介质。
背景技术
随着计算机通信技术的不断发展,智能手机、电脑、平板电脑及笔记本电脑等终端的大量普及应用,终端向着多样化、个性化的方向发展,日益成为人们在生活与工作中不可或缺的终端。为了满足人们对精神生活的追求,视频播放软件在人们的工作、生活、娱乐中愈发普及,用户可以随时打开视频播放软件观看不同的视频。例如,主播可随时随地登录客户端开播、主持直播节目,用户也可以随时打开直播平台观看不同的视频直播。
为了活跃直播间气氛,加强观众与主播的互动,主播或观看端用户通过在直播间的触发操作,可以在直播间触发各种绚丽复杂的特效。现有技术中,通常会使用可伸缩矢量图形动画(Scalable Vector Graphics Animetion,SVGA)作为生成特效方案,通过使用图片作为特效资源以生成特效动画进行播放。然而,采用图片作为特效资源时,对粒子、渐变、光效等复杂特效效果还原度较低,导致直播客户端播放的视频质量较差。
发明内容
本申请实施例提供一种画面处理方法、装置、电子设备及存储介质,通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效在用户界面上的还原度,提高特效多媒体信息在用户界面上的显示质量。
本申请实施例提供了一种画面处理方法,该方法包括:
当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
可选的,在接收到特效播放指令之前,还包括:
获取待处理特效视频,其中,所述待处理特效视频包括多帧待处理特效纹理图,以及为所述待处理特效纹理图设置的第一透明度参数;
基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图;
基于多帧目标特效纹理图生成目标特效视频。
可选的,所述待处理特效视频中的待处理特效纹理图为RGB图;所述待处理特效视频还包括所述待处理特效纹理图对应的参数承载纹理图,所述参数承载纹理图为RGB图,且所述参数承载纹理图的目标颜色通道中像素点的通道值为:所述待处理特效纹理图中对应像素点的第一透明度参数;
所述基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图,包括:
基于所述目标颜色通道中像素点的通道值,在所述待处理特效纹理图上增设透明度通道,以得到对应的目标特效纹理图。
可选的,该画面处理方法还包括:
将所述待处理特效纹理图中第一透明度参数不低于所述预设透明度参数阈值的像素点,确定为所述预设展示区域的像素点;
基于所述预设展示区域的像素点确定所述预设展示区域的位置以及所述第一尺寸参数。
可选的,所述根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息,包括:
基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数;
基于所述目标显示纹理图中各像素点的像素值、以及所述目标显示纹理图中各像素点的目标透明度参数,得到所述特效多媒体信息。
可选的,所述基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值,包括:
获取预设常数、和所述目标多媒体内容中与所述预设展示区域中相同位置的像素点的第二透明度参数相减,得到的第一差值;
基于所述第一差值对所述特效纹理图中与所述第一差值对应的像素点的像素值进行调整,以得到第一处理纹理图;
基于所述第二透明度参数对所述目标多媒体内容中各像素点的像素值进行调整,以得到第二处理纹理图;
将所述第二处理纹理图的像素点的像素值,融合到所述第一处理纹理图的预设展示区域中相同位置的像素点上,以得到目标显示纹理图中各像素点的像素值。
可选的,所述根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数,包括:
获取所述预设展示区域中各像素点的第一透明度参数,与所述预设展示区域中相同位置的像素点的第一差值之间的第一乘积;
获取所述第二透明度参数和所述第二透明度参数的第二乘积;
确定所述预设展示区域中像素点对应的第一乘积、与所述预设展示区域中像素点对应的第二乘积之间的和值,以得到目标显示纹理图中各像素点的目标透明度参数。
可选的,所述特效纹理图属性还包括位置变换矩阵;
在接收到特效播放指令之前,还包括:
对所述目标特效视频中每一帧特效纹理图进行反相处理,以得到反相处理后的纹理图,作为第一调整纹理图;
对所述第一调整纹理图进行二值化处理,以得到二值化处理后的纹理图,作为第二调整纹理图;
对所述第二调整纹理图进行轮廓检测处理,从所述第二调整纹理图中确定待处理轮廓;
基于所述待处理轮廓确定所述特效纹理图对应的位置变换矩阵。
可选的,所述基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容,包括:
基于所述第一尺寸参数和所述位置变换矩阵,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容。
可选的,所述多媒体信息包括目标主播的直播间的直播信息;
在得到特效多媒体信息后,还包括:
在所述直播间显示所述特效多媒体信息。
相应的,本申请实施例还提供了一种画面处理装置,所述装置包括:
第一获取单元,用于当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
第一确定单元,用于确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
调整单元,用于基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
第一处理单元,用于根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
在一些实施例中,该装置还包括:
第二获取单元,用于获取待处理特效视频,其中,所述待处理特效视频包括多帧待处理特效纹理图,以及为所述待处理特效纹理图设置的第一透明度参数;
第二处理单元,用于基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图;
第一生成单元,用于基于多帧目标特效纹理图生成目标特效视频。
在一些实施例中,该装置还包括:
第二处理单元,用于基于所述目标颜色通道中像素点的通道值,在所述待处理特效纹理图上增设透明度通道,以得到对应的目标特效纹理图。
在一些实施例中,该装置还包括:
第二确定单元,用于将所述待处理特效纹理图中第一透明度参数不低于所述预设透明度参数阈值的像素点,确定为所述预设展示区域的像素点;
第三确定单元,用于基于所述预设展示区域的像素点确定所述预设展示区域的位置以及所述第一尺寸参数。
在一些实施例中,该装置还包括:
第三处理单元,用于基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值;
第二生成单元,用于根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数;
第四处理单元,用于基于所述目标显示纹理图中各像素点的像素值、以及所述目标显示纹理图中各像素点的目标透明度参数,得到所述特效多媒体信息。
在一些实施例中,该装置还包括:
第三获取单元,用于获取预设常数、和所述目标多媒体内容中与所述预设展示区域中相同位置的像素点的第二透明度参数相减,得到的第一差值;
第五处理单元,用于基于所述第一差值对所述特效纹理图中与所述第一差值对应的像素点的像素值进行调整,以得到第一处理纹理图;
用于基于所述第二透明度参数对所述目标多媒体内容中各像素点的像素值进行调整,以得到第二处理纹理图;
用于将所述第二处理纹理图的像素点的像素值,融合到所述第一处理纹理图的预设展示区域中相同位置的像素点上,以得到目标显示纹理图中各像素点的像素值。
在一些实施例中,该装置还包括:
第四获取单元,用于获取所述预设展示区域中各像素点的第一透明度参数,与所述预设展示区域中相同位置的像素点的第一差值之间的第一乘积;
第五获取单元,用于获取所述第二透明度参数和所述第二透明度参数的第二乘积;
第四确定单元,用于确定所述预设展示区域中像素点对应的第一乘积、与所述预设展示区域中像素点对应的第二乘积之间的和值,以得到目标显示纹理图中各像素点的目标透明度参数。
在一些实施例中,该装置还包括第六处理单元,所述第六处理单元用于:
对所述目标特效视频中每一帧特效纹理图进行反相处理,以得到反相处理后的纹理图,作为第一调整纹理图;
对所述第一调整纹理图进行二值化处理,以得到二值化处理后的纹理图,作为第二调整纹理图;
对所述第二调整纹理图进行轮廓检测处理,从所述第二调整纹理图中确定待处理轮廓;
基于所述待处理轮廓确定所述特效纹理图对应的位置变换矩阵。
在一些实施例中,该装置还包括第七处理单元,所述第七处理单元用于:
基于所述第一尺寸参数和所述位置变换矩阵,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容。
在一些实施例中,该装置还包括:
显示单元,用于在所述直播间显示所述特效多媒体信息。
相应的,本申请实施例还提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的画面处理方法任一项的步骤。
此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的画面处理方法任一项的步骤。
本申请实施例提供一种画面处理方法、装置、电子设备及存储介质。本申请实施例通过将参数承载纹理图目标颜色通道中像素点的通道值作为特效纹理图中对应像素点的透明度参数,结合特效视频的特效纹理图的RBG通道中像素点的通道值,实现对特效视频的透明度渲染;并且,将具有透明度的特效视频与多媒体信息进行融合渲染以得到特效多媒体信息;通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效的还原度,提高特效多媒体信息在用户界面上的显示质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的画面处理装置的系统示意图。
图2是本申请实施例提供的画面处理方法的一种流程示意图。
图3是本申请实施例提供的画面处理方法的一种应用场景示意图。
图4是本申请实施例提供的画面处理方法的另一种应用场景示意图。
图5是本申请实施例提供的画面处理装置的结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种画面处理方法、装置、电子设备及存储介质。具体地,本申请实施例的画面处理方法可以由电子设备执行,其中,该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。终端可以同时包括直播客户端和游戏客户端,直播客户端可以是直播应用的主播端、直播应用的观众端、携带有直播程序的浏览器客户端或即时通信客户端等,游戏客户端可以是卡牌游戏客户端。直播客户端和游戏客户端可以分别集成在不同终端上,通过有线/无线进行相互连接。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1,图1为本申请实施例提供的画面处理系统的场景示意图。该系统可以包括至少一个电子设备,至少一个服务器,以及网络。用户持有的电子设备可以通过网络连接到直播应用程序的服务器。电子设备是具有计算硬件的任何设备,该计算硬件能够支持和执行与视频直播对应的软件产品。另外,电子设备具有用于感测和获得用户通过在一个或者多个触控显示屏的多个点执行的触摸或者滑动操作的输入的一个或者多个多触敏屏幕。另外,当系统包括多个电子设备、多个服务器、多个网络时,不同的电子设备可以通过不同的网络、通过不同的服务器相互连接。网络可以是无线网络或者有线网络,比如无线网络为无线局域网(WLAN)、局域网(LAN)、蜂窝网络、3G网络、4G网络、5G网络等。另外,不同的电子设备之间也可以使用自身的蓝牙网络或者热点网络连接到其他终端或者连接到服务器等。例如,多个用户可以通过不同的电子设备在线从而通过适当网络连接并且相互同步。
本申请实施例提供了一种画面处理方法,该方法可以由终端或服务器执行。本申请实施例以画面处理方法由终端执行为例来进行说明。其中,该终端包括触控显示屏和处理器,该触控显示屏用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。用户通过触控显示屏对图形用户界面进行操作时,该图形用户界面可以通过响应于接收到的操作指令控制终端本地的内容,也可以通过响应于接收到的操作指令控制对端服务器的内容。例如,用户作用于图形用户界面产生的操作指令包括用于触发播放特效的指令,处理器被配置为在接收到用户提供的播放特效的指令之后在图形用户界面上展示特效多媒体信息。此外,处理器被配置为在触控显示屏上渲染和绘制与直播间相关联的图形用户界面。触控显示屏是能够感测屏幕上的多个点同时执行的触摸或者滑动操作的多触敏屏幕。用户在使用手指或键盘等设备在图形用户界面上执行触控操作,图形用户界面在检测到触控操作时,控制产生与触控操作对应的指令。处理器可以被配置为响应于用户的触控操作产生的操作指令来呈现对应的特效多媒体信息。
需要说明的是,图1所示的画面处理系统的场景示意图仅仅是一个示例,本申请实施例描述的画面处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述问题,本申请实施例提供一种画面处理方法、装置、计算机设备及存储介质,以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
请参阅图2,图2为本申请实施例提供的画面处理方法的一种流程示意图,该画面处理方法的具体流程可以如下步骤101至步骤104:
101,当接收到特效播放指令时,获取特效播放指令对应的多媒体信息以及目标特效视频,其中,多媒体信息包括至少一多媒体内容。
为了保证特效的显示效果有较高的还原度,在本申请实施例中,通过采用视频格式的特效视频,并将特效视频进行透明化渲染,得到具有透明度的特效视频,以实现提高特效显示质量。具体的,在步骤“接收到特效播放指令”之前,方法可以包括:
获取待处理特效视频,其中,待处理特效视频包括多帧待处理特效纹理图,以及为待处理特效纹理图设置的第一透明度参数;
基于第一透明度参数对待处理特效纹理图进行处理,以得到目标特效纹理图;
基于多帧目标特效纹理图生成目标特效视频。
具体的,待处理特效视频中的待处理特效纹理图为红绿蓝(red green blue,RGB)图。并且,待处理特效视频还包括待处理特效纹理图对应的参数承载纹理图,该参数承载纹理图也可以为RGB图,且参数承载纹理图的目标颜色通道中像素点的通道值为待处理特效纹理图中对应像素点的第一透明度参数。
为了获取具有透明度的特效视频,以实现提高特效显示质量。步骤“基于所述第一透明度参数对待处理特效纹理图进行处理,以得到目标特效纹理图”,该方法可以包括:
基于目标颜色通道中像素点的通道值,在待处理特效纹理图上增设透明度通道,以得到对应的目标特效纹理图。
在一具体实施例中,美术人员可以预先将待处理特效视频的每一帧待处理特效纹理图进行处理,此处以某一帧待处理特效纹理图为例。例如,美术人员可以在终端中将待处理特效纹理图经过处理得到第一待处理特效纹理图以及第二待处理特效纹理图。其中,第一待处理特效纹理图使用RGB通道存储待处理特效纹理图的RGB值,第二待处理特效纹理图的R通道存储第一透明度参数(即Alpha值),该第一透明度参数是美术同学制作资源时预设的数值,R通道存储第一透明度参数可以是根据目标特效视频的最终效果需要显示多少Alpha值计算得到的。终端可以通过结合第一待处理特效纹理图和第二待处理特效纹理图进行特效渲染,在对待处理特效视频进行透明度处理时,终端读取第一待处理特效纹理图各像素点存储的RGB值,混合第二待处理特效纹理图R通道存储的R值,将第二待处理特效纹理图R通道存储的R值作为透明度参数进行混合渲染,从而得到带透明度的特效纹理图。
可选的,在确定待处理特效纹理图的预设展示区域时,可以通过自行设定第二待处理特效纹理图R通道存储的R值的方式来设定预设展示区域。例如,确定某区域需要透明,则将第二待处理特效纹理图R通道存储的R值设定为0;确定某区域不需要透明,则将第二待处理特效纹理图R通道存储的R值设定为255,介于0与255之间的数值,即表示该区域为半透明。
由于特效视频为视频格式,因此,在步骤“获取待处理特效视频”之后,步骤“获取目标特效视频”之前,终端需要对输入的待处理特效视频资源进行资源解码,并对待处理特效视频的每一帧进行预处理,此处以对某一帧待处理特效纹理图进行预处理为例。例如,终端需要对输入的待处理特效视频资源进行资源解码之后,可以得到YUV格式的视频数据。然后,将YUV格式的视频数据转换为RGB格式的视频数据。最后,终端可以将RGB格式的视频数据转换为视频流对应的待处理特效纹理图。
其中,YUV是一种颜色编码方法,YUV是一个统称,YUV格式又可以细分为多种格式,常用的格式为YUV420,YCbCr4:2:0,YCbCr4:2:2,YCbCr4:1:1和YCbCr4:4:4等。RGB也是一种颜色编码方法,采用这种编码方法,每种颜色都可用红色绿色以及蓝色的强度这三个变量来表示。
102,确定目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,特效纹理图设置有预设展示区域,特效纹理图属性包括:预设展示区域的第一尺寸参数、以及预设展示区域中各像素点的第一透明度参数,预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值。
为了确定预设展示区域在特效纹理图中的位置以及尺寸参数,在步骤“确定目标特效视频中每一帧特效纹理图对应的特效纹理图属性”之前,方法包括:
将待处理特效纹理图中第一透明度参数不低于预设透明度参数阈值的像素点,确定为预设展示区域的像素点;
基于预设展示区域的像素点确定预设展示区域的位置以及第一尺寸参数。
具体的,在获取到待处理特效视频后,可以提前获取后续与多媒体信息进行融合所需的数据,与多媒体信息进行融合所需的数据主要包括融合纹理图外接矩形的顶点坐标以及透视变换矩阵。具体的,制作人员可以将待处理特效视频输入指定工具,采用工具进行预处理、边缘检测、外接矩形检测、凸包检测、四边形角点检测、求透视变换矩阵等图像处理流程后,得到后续与多媒体信息融合时所需的帧数据。最后,将帧数据通过静态资源的方式与待处理特效视频资源一并下发至终端,并应用于后续与多媒体信息的特效渲染中,从而可以避免在进行特效播放时需要进行实时计算带来的性能损耗。
103,基于第一尺寸参数,对多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容。
在播放特效多媒体信息时,特效中展示多媒体内容的区域,并不会维持标准的矩形形状,而是会随着具体场景的变换,产生近大远小的透视效果。为了保证目标多媒体内容在目标特效视频中播放的真实性,需要对多媒体内容进行调整,以提高多媒体内容播放时的显示质量。具体的,特效纹理图属性还包括位置变换矩阵,在步骤“在接收到特效播放指令”之前,方法可以包括:
对目标特效视频中每一帧特效纹理图进行反相处理,以得到反相处理后的纹理图,作为第一调整纹理图;
对第一调整纹理图进行二值化处理,以得到二值化处理后的纹理图,作为第二调整纹理图;
对第二调整纹理图进行轮廓检测处理,从第二调整纹理图中确定待处理轮廓;
基于待处理轮廓确定特效纹理图对应的位置变换矩阵。
具体的,终端在确定将具有透明度的目标特效视频与多媒体信息进行融合渲染后,此处以某一帧多媒体信息以及对应的特效纹理图为例。例如,终端可以从指定工具输出的JSON(JSON是一种轻量级、基于文本的、可读的格式)数据中读取当前帧特效纹理图的融合数据,融合数据包括顶点坐标以及变换矩阵。同时,确定当前帧多媒体纹理图对应的尺寸参数。然后,基于融合数据对当前帧多媒体纹理图对应的尺寸参数进行变换渲染,从而得到调整后的目标多媒体内容。
104,根据特效纹理图中各像素点的第一透明度参数、以及目标多媒体内容中各像素点的第二透明度参数,在目标特效视频的预设展示区域中渲染出目标多媒体内容,以得到特效多媒体信息。
在一实施例中,终端可以基于特效纹理图各像素点的像素值、目标多媒体内容各像素点的像素值、以及目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值。并且,终端还可以根据特效纹理图中各像素点的第一透明度参数、以及目标多媒体内容中各像素点的第二透明度参数,生成目标显示纹理图中各像素点的目标透明度参数。最后,基于目标显示纹理图中各像素点的像素值、以及目标显示纹理图中各像素点的目标透明度参数,得到特效多媒体信息。
为了实现带透明度的特效纹理图与多媒体信息的多媒体纹理图进行融合渲染,终端需要确定融合渲染后RBG值,可以通过融合渲染RGB公式得到融合渲染后RBG值,融合渲染RGB公式具体如下所示:
R3=(R1)*(1-A2)+(R2)*(A2)
G3=(G1)*(1-A2)+(R2)*(A2)
B3=(B1)*(1-A2)+(R2)*(A2)
其中,R1为特效纹理图像素点对应的R(Red,红)值,G1为特效纹理图像素点对应的G(Green,绿)值,B1为特效纹理图像素点对应的B(Blue,蓝)值。
R2为多媒体纹理图像素点对应的R(Red,红)值,G2为多媒体纹理图像素点对应的G(Green,绿)值,B2为多媒体纹理图像素点对应的B(Blue,蓝)值。A2为多媒体纹理图的像素点对应的透明度参数。
R3为融合多媒体纹理图后的特效纹理图中像素点对应的R(Red,红)值,G3为融合多媒体纹理图后的特效纹理图中像素点对应的G(Green,绿)值,B3为融合多媒体纹理图后的特效纹理图中像素点对应的B(Blue,蓝)值。
具体的,步骤“基于特效纹理图各像素点的像素值、目标多媒体内容各像素点的像素值、以及目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值”,方法可以包括:
获取预设常数、和目标多媒体内容中与预设展示区域中相同位置的像素点的第二透明度参数相减,得到的第一差值;
基于第一差值对特效纹理图中与第一差值对应的像素点的像素值进行调整,以得到第一处理纹理图;
基于第二透明度参数对目标多媒体内容中各像素点的像素值进行调整,以得到第二处理纹理图;
将第二处理纹理图的像素点的像素值,融合到第一处理纹理图的预设展示区域中相同位置的像素点上,以得到目标显示纹理图中各像素点的像素值。
其中,待处理特效视频还包括待处理特效纹理图对应的参数承载纹理图,该参数承载纹理图为RGB图,且参数承载纹理图的目标颜色通道(G通道)中像素点的通道值为:多媒体纹理图的像素点对应的透明度参数。
为了实现带透明度的特效纹理图与多媒体信息的多媒体纹理图进行融合渲染,终端需要确定融合渲染后透明度参数,可以通过融合渲染透明度参数公式得到融合渲染后的透明度参数,融合渲染透明度参数公式具体如下所示:
A3=A1*(1-A2)+(A2*A2)
其中,A1为特效纹理图的像素点对应的第一透明度参数,A2为多媒体纹理图的像素点对应的第二透明度参数,A3为融合多媒体纹理图后的像素点对应的透明度参数。
在一实施例中,步骤“根据特效纹理图中各像素点的第一透明度参数、以及目标多媒体内容中各像素点的第二透明度参数,生成目标显示纹理图中各像素点的目标透明度参数”,方法可以包括:
获取预设展示区域中各像素点的第一透明度参数,与预设展示区域中相同位置的像素点的第一差值之间的第一乘积;
获取第二透明度参数和第二透明度参数的第二乘积;
确定预设展示区域中像素点对应的第一乘积、与预设展示区域中像素点对应的第二乘积之间的和值,以得到目标显示纹理图中各像素点的目标透明度参数。
具体的,多媒体信息包括目标主播的直播间的直播信息,在步骤“得到特效多媒体信息”之后,方法可以包括:
在直播间显示特效多媒体信息。
为了确定特效视频中的预设展示区域,在一具体实施例中,可以将预处理的特效视频资源输入图像处理工具。图像处理工具通过预处理、边缘检测、外接矩形检测、凸包检测、四边形角点检测、求透视变换矩阵等图像处理流程,从而得到与多媒体内容提融合时所需的帧数据。并且,将帧数据通过静态资源的方式与特效视频资源一并下发,应用于特效渲染中,可以避免实时播放多媒体内容和特效时计算带来的性能损耗。另外,在与多媒体内容进行融合渲染之前,可以采用软件开发工具包(Software Development Kit,SDK)对特效视频进行处理。具体的,SDK主要包括资源解码模块和渲染模块两个部分,通过解码模块逐帧获取特效视频的YUV纹理图,并输入渲染模块;然后,通过颜色转换矩阵得到两张RGB纹理图,以进行透明度混合渲染。在特效视频与多媒体内容进行融合渲染时,可以输入融合元素(即多媒体内容),通过解码模块获取多媒体内容的融合纹理图,结合工具生成的融合帧数据,最后在用户界面上进行融合渲染。
综上所述,本申请实施例提供一种画面处理方法,通过将参数承载纹理图目标颜色通道中像素点的通道值作为特效纹理图中对应像素点的透明度参数,结合特效视频的特效纹理图的RBG通道中像素点的通道值,实现对特效视频的透明度渲染;并且,将具有透明度的特效视频与多媒体信息进行融合渲染以得到特效多媒体信息;通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效的还原度,提高特效多媒体信息在用户界面上的显示质量。
根据上述介绍的内容,下面将举例来进一步说明本申请的画面处理方法,如图3所示,该画面处理方法的一种具体应用场景的具体实施如下:
(1)用户在终端启动直播应用程序后,用户可以自主选择进入目标主播的直播间中,以在终端用户界面上展示直播界面,用户可以观看目标主播的直播间的直播画面显示区域中向用户展示的直播画面。
(2)当终端检测到用户通过触控操作触发目标特效标识时,生成目标特效标识对应的特效播放指令。当终端接收到特效播放指令时,获取特效播放指令对应的多媒体信息以及目标特效视频,多媒体信息包括多媒体内容,此时,多媒体内容为直播间中的直播画面。然后,在目标特效视频的预设展示区域中渲染出目标多媒体内容,以得到特效多媒体信息。
根据上述介绍的内容,下面将举例来进一步说明本申请的画面处理方法,如图4所示,该画面处理方法的一种具体应用场景的具体实施如下:
(1)用户在终端启动直播应用程序后,用户可以自主选择进入目标主播的直播间中,以在终端用户界面上展示直播界面,用户可以观看目标主播的直播间的直播画面显示区域中向用户展示的直播画面。
(2)当终端检测到用户通过触控操作触发目标特效标识时,生成目标特效标识对应的特效播放指令。当终端接收到特效播放指令时,获取特效播放指令对应的多媒体信息以及目标特效视频,多媒体信息包括多媒体内容,此时,多媒体内容为直播间中主播头像、主播昵称、观众头像以及观众昵称。然后,在目标特效视频的预设展示区域中渲染出目标多媒体内容,以得到特效多媒体信息。
需要说明的是,本申请实施例中的触发操作,可以是由用户通过触控显示屏对用户界面进行操作,例如,用户使用手指在用户界面上点击或触控生成的触控操作。也可以是用户通过控制鼠标按键在用户界面上点击生成的触发操作,例如,用户通过按压鼠标中键在用户界面上点击生成触发操作。
为便于更好的实施本申请实施例提供的画面处理方法,本申请实施例还提供一种基于上述画面处理方法的画面处理装置。其中名词的含义与上述画面处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的一种画面处理装置的结构框图,该装置包括:
第一获取单元201,用于当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
第一确定单元202,用于确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
调整单元203,用于基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
第一处理单元204,用于根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
在一些实施例中,该装置还包括:
第二获取单元,用于获取待处理特效视频,其中,所述待处理特效视频包括多帧待处理特效纹理图,以及为所述待处理特效纹理图设置的第一透明度参数;
第二处理单元,用于基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图;
第一生成单元,用于基于多帧目标特效纹理图生成目标特效视频。
在一些实施例中,该装置还包括:
第二处理单元,用于基于所述目标颜色通道中像素点的通道值,在所述待处理特效纹理图上增设透明度通道,以得到对应的目标特效纹理图。
在一些实施例中,该装置还包括:
第二确定单元,用于将所述待处理特效纹理图中第一透明度参数不低于所述预设透明度参数阈值的像素点,确定为所述预设展示区域的像素点;
第三确定单元,用于基于所述预设展示区域的像素点确定所述预设展示区域的位置以及所述第一尺寸参数。
在一些实施例中,该装置还包括:
第三处理单元,用于基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值;
第二生成单元,用于根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数;
第四处理单元,用于基于所述目标显示纹理图中各像素点的像素值、以及所述目标显示纹理图中各像素点的目标透明度参数,得到所述特效多媒体信息。
在一些实施例中,该装置还包括:
第三获取单元,用于获取预设常数、和所述目标多媒体内容中与所述预设展示区域中相同位置的像素点的第二透明度参数相减,得到的第一差值;
第五处理单元,用于基于所述第一差值对所述特效纹理图中与所述第一差值对应的像素点的像素值进行调整,以得到第一处理纹理图;
用于基于所述第二透明度参数对所述目标多媒体内容中各像素点的像素值进行调整,以得到第二处理纹理图;
用于将所述第二处理纹理图的像素点的像素值,融合到所述第一处理纹理图的预设展示区域中相同位置的像素点上,以得到目标显示纹理图中各像素点的像素值。
在一些实施例中,该装置还包括:
第四获取单元,用于获取所述预设展示区域中各像素点的第一透明度参数,与所述预设展示区域中相同位置的像素点的第一差值之间的第一乘积;
第五获取单元,用于获取所述第二透明度参数和所述第二透明度参数的第二乘积;
第四确定单元,用于确定所述预设展示区域中像素点对应的第一乘积、与所述预设展示区域中像素点对应的第二乘积之间的和值,以得到目标显示纹理图中各像素点的目标透明度参数。
在一些实施例中,该装置还包括第六处理单元,所述第六处理单元用于:
对所述目标特效视频中每一帧特效纹理图进行反相处理,以得到反相处理后的纹理图,作为第一调整纹理图;
对所述第一调整纹理图进行二值化处理,以得到二值化处理后的纹理图,作为第二调整纹理图;
对所述第二调整纹理图进行轮廓检测处理,从所述第二调整纹理图中确定待处理轮廓;
基于所述待处理轮廓确定所述特效纹理图对应的位置变换矩阵。
在一些实施例中,该装置还包括:
显示单元,用于在所述直播间显示所述特效多媒体信息。
本申请实施例公开了一种画面处理装置,当接收到特效播放指令时,通过第一获取单元201获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;第一确定单元202确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;调整单元203基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;第一处理单元204根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。本申请实施例通过将参数承载纹理图目标颜色通道中像素点的通道值作为特效纹理图中对应像素点的透明度参数,结合特效视频的特效纹理图的RBG通道中像素点的通道值,实现对特效视频的透明度渲染;并且,将具有透明度的特效视频与多媒体信息进行融合渲染以得到特效多媒体信息;通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效的还原度,提高特效多媒体信息在用户界面上的显示质量。
相应的,本申请实施例还提供一种电子设备,该电子设备可以为终端或者服务器,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。如图6所示,图6为本申请实施例提供的电子设备的结构示意图。该电子设备300包括有一个或者一个以上处理核心的处理器301、有一个或一个以上计算机可读存储介质的存储器302及存储在存储器302上并可在处理器上运行的计算机程序。其中,处理器301与存储器302电性连接。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器301是电子设备300的控制中心,利用各种接口和线路连接整个电子设备300的各个部分,通过运行或加载存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行电子设备300的各种功能和处理数据,从而对电子设备300进行整体监控。
在本申请实施例中,电子设备300中的处理器301会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能:
当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
可选的,如图6所示,电子设备300还包括:触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307。其中,处理器301分别与触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307电性连接。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触控显示屏303可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏303可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器301,并能接收处理器301发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器301以确定触摸事件的类型,随后处理器301根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏303而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏303也可以作为输入单元306的一部分实现输入功能。
在本申请实施例中,通过处理器301执行游戏应用程序在触控显示屏303上生成图形用户界面。该触控显示屏303用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
射频电路304可用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路305可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路305可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路305接收后转换为音频数据,再将音频数据输出处理器301处理后,经射频电路304以发送给比如另一电子设备,或者将音频数据输出至存储器302以便进一步处理。音频电路305还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源307用于给电子设备300的各个部件供电。可选的,电源307可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源307还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图6中未示出,电子设备300还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
由上可知,本实施例提供的电子设备,通过将参数承载纹理图目标颜色通道中像素点的通道值作为特效纹理图中对应像素点的透明度参数,结合特效视频的特效纹理图的RBG通道中像素点的通道值,实现对特效视频的透明度渲染;并且,将具有透明度的特效视频与多媒体信息进行融合渲染以得到特效多媒体信息;通过采用具有透明度的特效视频与多媒体信息进行融合渲染得到特效多媒体信息,从而提升复杂特效的还原度,提高特效多媒体信息在用户界面上的显示质量。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种画面处理方法中的步骤。例如,该计算机程序可以执行如下步骤:
当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种画面处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种画面处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种画面处理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (13)
1.一种画面处理方法,其特征在于,包括:
当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
2.根据权利要求1所述的画面处理方法,其特征在于,在接收到特效播放指令之前,还包括:
获取待处理特效视频,其中,所述待处理特效视频包括多帧待处理特效纹理图,以及为所述待处理特效纹理图设置的第一透明度参数;
基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图;
基于多帧目标特效纹理图生成目标特效视频。
3.根据权利要求2所述的画面处理方法,其特征在于,所述待处理特效视频中的待处理特效纹理图为RGB图;所述待处理特效视频还包括所述待处理特效纹理图对应的参数承载纹理图,所述参数承载纹理图为RGB图,且所述参数承载纹理图的目标颜色通道中像素点的通道值为:所述待处理特效纹理图中对应像素点的第一透明度参数;
所述基于所述第一透明度参数对所述待处理特效纹理图进行处理,以得到目标特效纹理图,包括:
基于所述目标颜色通道中像素点的通道值,在所述待处理特效纹理图上增设透明度通道,以得到对应的目标特效纹理图。
4.根据权利要求2所述的画面处理方法,其特征在于,还包括:
将所述待处理特效纹理图中第一透明度参数不低于所述预设透明度参数阈值的像素点,确定为所述预设展示区域的像素点;
基于所述预设展示区域的像素点确定所述预设展示区域的位置以及所述第一尺寸参数。
5.根据权利要求1所述的画面处理方法,其特征在于,所述根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息,包括:
基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值;
根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数;
基于所述目标显示纹理图中各像素点的像素值、以及所述目标显示纹理图中各像素点的目标透明度参数,得到所述特效多媒体信息。
6.根据权利要求5所述的画面处理方法,其特征在于,所述基于所述特效纹理图各像素点的像素值、所述目标多媒体内容各像素点的像素值、以及所述目标多媒体内容中各像素点的第二透明度参数,得到目标显示纹理图中各像素点的像素值,包括:
获取预设常数、和所述目标多媒体内容中与所述预设展示区域中相同位置的像素点的第二透明度参数相减,得到的第一差值;
基于所述第一差值对所述特效纹理图中与所述第一差值对应的像素点的像素值进行调整,以得到第一处理纹理图;
基于所述第二透明度参数对所述目标多媒体内容中各像素点的像素值进行调整,以得到第二处理纹理图;
将所述第二处理纹理图的像素点的像素值,融合到所述第一处理纹理图的预设展示区域中相同位置的像素点上,以得到目标显示纹理图中各像素点的像素值。
7.根据权利要求6所述的画面处理方法,其特征在于,所述根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,生成所述目标显示纹理图中各像素点的目标透明度参数,包括:
获取所述预设展示区域中各像素点的第一透明度参数,与所述预设展示区域中相同位置的像素点的第一差值之间的第一乘积;
获取所述第二透明度参数和所述第二透明度参数的第二乘积;
确定所述预设展示区域中像素点对应的第一乘积、与所述预设展示区域中像素点对应的第二乘积之间的和值,以得到目标显示纹理图中各像素点的目标透明度参数。
8.根据权利要求1所述的画面处理方法,其特征在于,在接收到特效播放指令之前,还包括:
对所述目标特效视频中每一帧特效纹理图进行反相处理,以得到反相处理后的纹理图,作为第一调整纹理图;
对所述第一调整纹理图进行二值化处理,以得到二值化处理后的纹理图,作为第二调整纹理图;
对所述第二调整纹理图进行轮廓检测处理,从所述第二调整纹理图中确定待处理轮廓;
基于所述待处理轮廓确定所述特效纹理图对应的位置变换矩阵。
9.根据权利要求8所述的画面处理方法,其特征在于,所述基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容,包括:
基于所述第一尺寸参数和所述位置变换矩阵,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容。
10.根据权利要求1至9任一项所述的画面处理方法,其特征在于,所述多媒体信息包括目标主播的直播间的直播信息;
在得到特效多媒体信息后,还包括:
在所述直播间显示所述特效多媒体信息。
11.一种画面处理装置,其特征在于,所述装置包括:
第一获取单元,用于当接收到特效播放指令时,获取所述特效播放指令对应的多媒体信息以及目标特效视频,其中,所述多媒体信息包括至少一多媒体内容;
第一确定单元,用于确定所述目标特效视频中每一帧特效纹理图对应的特效纹理图属性,其中,所述特效纹理图设置有预设展示区域,所述特效纹理图属性包括:预设展示区域的第一尺寸参数、以及所述预设展示区域中各像素点的第一透明度参数,所述预设展示区域中各像素点的第一透明度参数不低于预设透明度参数阈值;
调整单元,用于基于所述第一尺寸参数,对所述多媒体内容的第二尺寸参数进行调整,以得到调整后的目标多媒体内容;
第一处理单元,用于根据所述特效纹理图中各像素点的第一透明度参数、以及所述目标多媒体内容中各像素点的第二透明度参数,在所述目标特效视频的所述预设展示区域中渲染出所述目标多媒体内容,以得到特效多媒体信息。
12.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至10中任一项所述的画面处理方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的画面处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904123.8A CN113645476B (zh) | 2021-08-06 | 2021-08-06 | 画面处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904123.8A CN113645476B (zh) | 2021-08-06 | 2021-08-06 | 画面处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113645476A CN113645476A (zh) | 2021-11-12 |
CN113645476B true CN113645476B (zh) | 2023-10-03 |
Family
ID=78419993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110904123.8A Active CN113645476B (zh) | 2021-08-06 | 2021-08-06 | 画面处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113645476B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114374867B (zh) * | 2022-01-19 | 2024-03-15 | 平安国际智慧城市科技股份有限公司 | 多媒体数据的处理方法、装置及介质 |
CN114567793A (zh) * | 2022-02-23 | 2022-05-31 | 广州博冠信息科技有限公司 | 直播互动特效的实现方法及装置、存储介质、电子设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102456232A (zh) * | 2010-10-20 | 2012-05-16 | 鸿富锦精密工业(深圳)有限公司 | 人脸影像代换系统以及方法 |
CN103853562A (zh) * | 2014-03-26 | 2014-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧渲染方法及装置 |
CN106303361A (zh) * | 2015-06-11 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 视频通话中的图像处理方法、装置、系统及图形处理器 |
CN108234825A (zh) * | 2018-01-12 | 2018-06-29 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN109462731A (zh) * | 2018-11-27 | 2019-03-12 | 北京潘达互娱科技有限公司 | 一种直播中动效视频的播放方法、装置、终端及服务器 |
CN110336940A (zh) * | 2019-06-21 | 2019-10-15 | 深圳市茄子咔咔娱乐影像科技有限公司 | 一种基于双摄像头拍摄合成特效的方法和系统 |
CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播系统 |
CN110675310A (zh) * | 2019-07-02 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN110913205A (zh) * | 2019-11-27 | 2020-03-24 | 腾讯科技(深圳)有限公司 | 视频特效的校验方法及装置 |
CN111225232A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 基于视频的贴纸动画引擎、实现方法、服务器和介质 |
CN111669646A (zh) * | 2019-03-07 | 2020-09-15 | 北京陌陌信息技术有限公司 | 透明视频的播放方法、装置、设备及介质 |
CN112116690A (zh) * | 2019-06-19 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 视频特效生成方法、装置及终端 |
CN113115097A (zh) * | 2021-03-30 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置、电子设备和存储介质 |
-
2021
- 2021-08-06 CN CN202110904123.8A patent/CN113645476B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102456232A (zh) * | 2010-10-20 | 2012-05-16 | 鸿富锦精密工业(深圳)有限公司 | 人脸影像代换系统以及方法 |
CN103853562A (zh) * | 2014-03-26 | 2014-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧渲染方法及装置 |
CN106303361A (zh) * | 2015-06-11 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 视频通话中的图像处理方法、装置、系统及图形处理器 |
CN108234825A (zh) * | 2018-01-12 | 2018-06-29 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN111225232A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 基于视频的贴纸动画引擎、实现方法、服务器和介质 |
CN109462731A (zh) * | 2018-11-27 | 2019-03-12 | 北京潘达互娱科技有限公司 | 一种直播中动效视频的播放方法、装置、终端及服务器 |
CN111669646A (zh) * | 2019-03-07 | 2020-09-15 | 北京陌陌信息技术有限公司 | 透明视频的播放方法、装置、设备及介质 |
CN112116690A (zh) * | 2019-06-19 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 视频特效生成方法、装置及终端 |
CN110336940A (zh) * | 2019-06-21 | 2019-10-15 | 深圳市茄子咔咔娱乐影像科技有限公司 | 一种基于双摄像头拍摄合成特效的方法和系统 |
CN110675310A (zh) * | 2019-07-02 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播系统 |
WO2021047420A1 (zh) * | 2019-09-11 | 2021-03-18 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播系统 |
CN110913205A (zh) * | 2019-11-27 | 2020-03-24 | 腾讯科技(深圳)有限公司 | 视频特效的校验方法及装置 |
CN113115097A (zh) * | 2021-03-30 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113645476A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112351302B (zh) | 基于云游戏的直播交互方法、装置及存储介质 | |
CN107256555B (zh) | 一种图像处理方法、装置及存储介质 | |
CN109670427B (zh) | 一种图像信息的处理方法、装置及存储介质 | |
WO2020248668A1 (zh) | 一种显示器及图像处理方法 | |
CN109191549B (zh) | 显示动画的方法及装置 | |
WO2019034142A1 (zh) | 三维虚拟形象的显示方法、装置、终端及存储介质 | |
US11450044B2 (en) | Creating and displaying multi-layered augemented reality | |
CN113645476B (zh) | 画面处理方法、装置、电子设备及存储介质 | |
CN111541930B (zh) | 直播画面的显示方法、装置、终端及存储介质 | |
US11917329B2 (en) | Display device and video communication data processing method | |
WO2018205878A1 (zh) | 一种传输视频信息的方法、终端、服务器及存储介质 | |
WO2020248714A1 (zh) | 一种数据传输方法及设备 | |
CN113485617A (zh) | 动画展示方法、装置、电子设备及存储介质 | |
CN112053416B (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
CN114240749A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113360034A (zh) | 画面显示方法、装置、计算机设备及存储介质 | |
CN113018856A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109544441B (zh) | 图像处理方法及装置、直播中的肤色处理方法及装置 | |
CN110677723B (zh) | 一种信息处理方法、装置及系统 | |
CN113332720A (zh) | 一种游戏地图展示方法、装置、计算机设备和存储介质 | |
CN115393495A (zh) | 虚拟模型的纹理处理方法、装置、计算机设备及存储介质 | |
US20240056677A1 (en) | Co-photographing method and electronic device | |
CN117729375A (zh) | 直播画面的处理方法、装置、计算机设备及存储介质 | |
CN117041611A (zh) | 特效播放方法、装置、电子设备和可读存储介质 | |
CN114004922B (zh) | 骨骼动画显示方法、装置、设备、介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |