CN114786040B - 数据通信方法、系统、电子设备和存储介质 - Google Patents

数据通信方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN114786040B
CN114786040B CN202210675806.5A CN202210675806A CN114786040B CN 114786040 B CN114786040 B CN 114786040B CN 202210675806 A CN202210675806 A CN 202210675806A CN 114786040 B CN114786040 B CN 114786040B
Authority
CN
China
Prior art keywords
video frame
rendering data
coding
transparency
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210675806.5A
Other languages
English (en)
Other versions
CN114786040A (zh
Inventor
林克盛
叶天兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210675806.5A priority Critical patent/CN114786040B/zh
Publication of CN114786040A publication Critical patent/CN114786040A/zh
Application granted granted Critical
Publication of CN114786040B publication Critical patent/CN114786040B/zh
Priority to PCT/CN2023/099229 priority patent/WO2023241459A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Abstract

本发明实施例提供了一种数据通信方法、系统、电子设备和存储介质。所述数据通信方法包括:通过云服务端,基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;通过终端设备,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;通过所述终端设备,基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。本发明实施例的方案提高了前景数据在前端设备中的配置灵活性。

Description

数据通信方法、系统、电子设备和存储介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据通信方法、系统、电子设备和存储介质。
背景技术
在直播、游戏、虚拟生活、教学、电影、动漫等场景中,往往会要求用户构建卡通的卡通形象,俗称卡通数字人,为了具备社交属性,在保证卡通化的情况下,用户倾向将卡通形象的脸部构建与自己真实的脸部相似。
为了方便用户构建卡通数字人的脸部,目前一般是将脸部划分为多个可供用户调整的维度,例如,轮廓、五官、眉毛,等等,用户手动逐个维度调整,从而形成卡通数字人的脸部。
数字虚拟形象可以是各种形象的虚拟人等,例如,取决于不同应用场景,可以是虚拟新闻播报员、虚拟老师和虚拟主播等等形象。需要说明的是,数字虚拟形象可以是三维的,也可以是二维的。
然而,在目前的视频帧渲染过程中,数字虚拟形象的渲染数据与应用场景的背景渲染数据在云服务端统一生成,使得应用场景前景数据在前端设备中的配置灵活性较差。
发明内容
有鉴于此,本发明实施例提供一种数据通信方法、系统、电子设备和存储介质,以至少部分解决上述问题。
根据本发明实施例的第一方面,提供了一种数据通信方法,包括:通过云服务端,基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;通过所述云服务端,封装编码后的视频帧渲染数据和所述视频帧编解码格式;通过终端设备,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;通过所述终端设备,基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;通过所述终端设备,基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。
在本发明的另一实现方式中,所述封装编码后的视频帧渲染数据和所述视频帧编解码格式,包括:基于视频流格式,封装编码后的视频帧渲染数据和所述视频帧编解码格式,生成传输报文;所述从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式,包括:从所述云服务端接收所述传输报文;基于所述视频流格式,对所述传输报文解封装,得到编码后的视频帧渲染数据和所述视频帧编解码格式。
在本发明的另一实现方式中,所述基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据,包括:基于所述数字虚拟形象对应的像素位置,将所述视频帧渲染数据划分为所述前景渲染数据和背景渲染数据,其中,所述前景渲染数据的透明度通道在所述像素位置具有第一透明度值,所述背景渲染数据的透明度通道在所述像素位置具有第二透明度值,所述第一透明度值大于所述第二透明度值。
在本发明的另一实现方式中,所述前景渲染数据的透明度通道在其他像素位置的透明度值与所述背景渲染数据的透明度通道在其他像素位置的透明度值相同。
在本发明的另一实现方式中,所述方法还包括:合成所述前景渲染数据与替换后的背景渲染数据。
在本发明的另一实现方式中,所述视频帧编解码格式包括透明度编码格式和颜色空间编码格式。
在本发明的另一实现方式中,所述基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,包括:基于所述透明度编码格式对应的采样率和所述颜色空间编码格式对应的采样率,对数字虚拟形象进行编码。
在本发明的另一实现方式中,所述方法还包括:获取第一颜色空间的初始视频帧渲染数据,所述第一颜色空间包括单色通道与透明度通道;对所述初始视频帧渲染数据进行颜色空间变换,得到第二颜色空间的视频帧渲染数据,所述第二颜色空间包括亮度通道、色度通道和透明度通道。
在本发明的另一实现方式中,所述初始视频帧渲染数据包括用于数字虚拟形象的前景渲染数据、以及背景渲染数据,所述前景渲染数据的透明度通道和所述背景渲染数据的透明度通道在数字虚拟形象对应的像素位置具有不同的透明度值。
根据本发明实施例的第二方面,提供了一种数据通信系统,包括云服务端和终端设备,所述云服务端被配置成:基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;封装编码后的视频帧渲染数据和所述视频帧编解码格式;所述终端设备被配置成:从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。
根据本发明实施例的第三方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行:基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;封装编码后的视频帧渲染数据和所述视频帧编解码格式;或者,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。
根据本发明实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行:基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;封装编码后的视频帧渲染数据和所述视频帧编解码格式;或者,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。
在本发明实施例的方案中,云服务端的视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,视频帧编解码格式至少用于视频帧渲染数据的透明度通道进行编码,使得终端设备通过对透明度通道进行编码能够识别并提取前景渲染数据,提高了前景数据在前端设备中的配置灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为根据一个示例的渲染数据的传输和渲染过程的示意图。
图2为根据本发明的一个实施例的数据通信方法的步骤流程图。
图3为图2实施例的渲染数据的传输和渲染过程的步骤流程图。
图4为根据本发明的另一实施例的数据通信系统的结构框图。
图5为根据本发明的另一实施例的电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
图1为根据一个示例的渲染数据的传输和渲染过程的示意图。图1的渲染数据通信在云服务端10与终端设备20之间。云服务端10包括但不限于专有云、混合云、私有云等云服务器。终端设备20包括但不限于诸如手机、平板电脑等嵌入式设备、物联网设备、桌面电脑、服务器等。步骤S111-S114由云服务端10执行,步骤S121-123由终端设备20执行。
具体而言,在步骤S111中,基于ARGB通道格式,云服务端生成视频帧渲染数据。具体地,视频帧渲染数据生成。视频帧渲染数据包括诸如数字人的数字虚拟形象的前景渲染数据、以及视频场景的背景渲染数据。
在步骤S112中,将视频帧渲染数据从ARGB格式转换到YUVA格式。
在步骤S113中,基于VP9编解码格式,对YUVA通道格式的视频帧渲染数据进行编码,得到编码视频帧数据。
在步骤S114中,基于数据流传输协议,传输编码视频帧数据。数据流传输协议可以是RTP协议、RTSP、HTTP协议等。
在步骤S121中,基于数据流传输协议,接收编码视频帧数据。
在步骤S122中,基于VP9编解码格式,对编码视频帧数据进行解码,得到YUVA通道格式的视频帧渲染数据。
在步骤S123中,基于视频帧渲染数据渲染到终端设备的显示部件。
由此,利用云服务端的计算能力,基于VP9编解码格式,高效地生成视频帧渲染数据,通过VP9编解码格式的颜色采样参数,实现了各个颜色通道的渲染。
但是,在终端设备侧需要配置前景和背景的个性化配置时,需要对前景渲染数据与背景渲染数据进行分离,使得个性化配置受到限制。
图2为根据本发明的一个实施例的数据通信方法的步骤流程图。图2的数据通信方法包括:
S210:通过云服务端,基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,视频帧编解码格式至少用于视频帧渲染数据的透明度通道进行编码。
例如,视频帧编解码格式至少包括像素的透明度通道(对于本发明而言,透明度通道与不透明通道属于等同概念),例如,透明度编码格式。视频帧编解码格式的编码参数包括透明度通道的通道值,透明度通道的通道值指示像素的透明度或不透明度。视频帧编解码格式还可以包括颜色空间编码格式,例如,ARGB格式、YUVA格式等。视频帧编解码格式的编码参数还可以包括颜色空间编码格式的编码参数。
又例如,可以在不包括透明度通道的编解码格式中增加透明度通道,得到本发明的视频帧编码格式。
S220:通过云服务端,封装编码后的视频帧渲染数据和视频帧编解码格式。
例如,可以通过视频流格式封装编码后的视频帧渲染数据,执行实时视频流传输,也可以采用其他的通信协议封装编码后的视频帧渲染数据,执行非视频流传输。
此外,视频帧编解码格式可以被包括到视频流格式中由云服务端发送到终端设备,也可以单独通过其他通信协议由云服务端发送到终端设备。
S230:通过终端设备,从云服务端获取编码后的视频帧渲染数据和视频帧编解码格式。
S240:通过终端设备,基于视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到视频帧渲染数据。
例如,解码参数与编码参数可以统称为编解码参数,换言之,解码参数与编码参数可以为预先约定的参数。
S250:通过终端设备,基于预设的透明度通道阈值,从视频帧渲染数据中,提取前景渲染数据。
例如,前景渲染数据的透明度通道的通道值与背景渲染数据的透明度通道的通道值融合(例如,相加)得到视频帧渲染数据的透明度通道的通道值。例如,前景渲染数据包括透明度通道的通道值不同的像素。背景渲染数据的各个像素的透明度通道的通道值相同,可以基于视频帧渲染数据的各个像素的透明度通道的通道值之间的差异,确定背景渲染数据的各个像素的透明度通道的通道值,作为基准通道值。可以基于基准通道值与前景渲染数据的各个像素的透明度通道的通道值的差异,提取前景渲染数据。透明度通道的通道值不同的像素可以指示属于数字虚拟形象的像素和不属于数字虚拟形象的像素,从而基于各个像素的各个通道值之间的差异,确定数字虚拟形象对应的像素。
可替代地,背景渲染数据包括透明度通道的通道值不同的像素,前景渲染数据的各个像素的透明度通道的通道值相同,可以基于视频帧渲染数据的各个像素的透明度通道的通道值之间的差异,确定前景渲染数据的各个像素的透明度通道的通道值,作为基准通道值。可以基于基准通道值与背景渲染数据的各个像素的透明度通道的通道值的差异,提取背景渲染数据。
例如,云服务端与终端设备约定前景渲染数据或背景渲染数据的各个像素的透明度通道具有相同通道值,并且云服务端将相同通道值作为基准通道值基于视频流格式封装到传输报文中,在终端设备解封装传输报文之后,得到基准通道值。
进一步地或可替代地,云服务端可以将通道值差异信息封装到传输报文中,在终端设备解封装传输报文之后,得到通道值差异信息,通道值差异信息指示基准通道值与背景渲染数据(或前景渲染数据)的各个像素的透明度通道的通道值的差异,这时,基准通道值可以通过通道值差异信息计算得到,作为一个示例,约定的基准通道值指示透明度为0,从而无需计算基准通道值。
在本发明实施例的方案中,云服务端的视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,视频帧编解码格式至少用于视频帧渲染数据的透明度通道进行编码,使得终端设备通过对透明度通道进行编码能够识别并提取前景渲染数据,提高了前景数据在前端设备中的配置灵活性。
在另一些示例中,封装编码后的视频帧渲染数据和视频帧编解码格式,包括:基于视频流格式,封装编码后的视频帧渲染数据和视频帧编解码格式,生成传输报文。从云服务端获取编码后的视频帧渲染数据和视频帧编解码格式,包括:从云服务端接收传输报文,并且基于视频流格式,对传输报文解封装,得到编码后的视频帧渲染数据和视频帧编解码格式。传输报文可以基于诸如RTP协议、RTSP、HTTP协议等视频流格式,视频流格式兼容了视频帧编解码格式,提高了视频流传输效率。
在另一些示例中,基于预设的透明度通道阈值,从视频帧渲染数据中,提取前景渲染数据,包括:基于数字虚拟形象对应的像素位置,将视频帧渲染数据划分为前景渲染数据和背景渲染数据。前景渲染数据的透明度通道在像素位置具有第一透明度值,背景渲染数据的透明度通道在像素位置具有第二透明度值,第一透明度值大于第二透明度值,换言之,前景渲染数据的透明度通道在像素位置的不透明度小于背景渲染数据的透明度通道在像素位置的不透明度,从而,可以基于透明度通道,将前景渲染数据对应的像素位置提取出来,此外,前景渲染数据的透明度通道在像素位置的透明度较高,提高了对应于前景渲染数据的数字虚拟形象的视觉多样性,使得数字虚拟形象更加生动。
在另一些示例中,前景渲染数据的透明度通道在其他像素位置的透明度值与背景渲染数据的透明度通道在其他像素位置的透明度值相同,从而更可靠地区分了前景渲染数据和背景渲染数据,另外,前景渲染数据与背景渲染数据在其他像素位置的透明度相同,有利于视觉上更好地从背景中识别出数字虚拟形象。
在另一些示例中,数据通信方法还包括:合成前景渲染数据与替换后的背景渲染数据。例如,替换背景渲染数据,然后,合成前景渲染数据与替换后的背景渲染数据。由此,实现了前端(终端设备)更灵活的背景设置。
此外,视频帧编解码格式包括透明度编码格式和颜色空间编码格式,从而兼容了颜色空间编码格式。
例如,下面表格1所示出的VP9格式的扩展方式的示例:
表格1
Profile (配置标识) BitDepth (位深) SRGBColorspace (颜色空间) ChromaSubsampling (颜色采样)
4 8 No YUV 4:2:0Alpha
可见,Chroma Subsampling部分包括了透明度编码格式的参数和颜色空间编码格式的参数,即,采用4:2:0的颜色空间编码通道以及透明度通道Alpha。
在另一些示例中,基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,包括:基于透明度编码格式对应的采样率和颜色空间编码格式对应的采样率,对数字虚拟形象进行编码,从而,提高了兼容了先前的视频帧编解码格式。
在另一些示例中,数据通信方法还包括:获取第一颜色空间的初始视频帧渲染数据,第一颜色空间包括单色通道(R通道、G通道或B通道)与透明度通道(A),并且对初始视频帧渲染数据进行颜色空间变换,得到第二颜色空间的视频帧渲染数据,第二颜色空间包括亮度通道、色度通道和透明度通道。例如,第一颜色空间是指RGB空间,R通道、G通道或B通道可以被称为单色通道。ARGB通道格式中的A通道与R通道、G通道和B通道中的每个通道都关联。
具体而言,初始视频帧渲染数据包括用于数字虚拟形象的前景渲染数据、以及背景渲染数据,前景渲染数据的透明度通道和背景渲染数据的透明度通道在数字虚拟形象对应的像素位置具有不同的透明度值。
图3的渲染数据通信在云服务端310与终端设备320之间执行。
云服务端310执行步骤S311-S314,其中:
在步骤S311中,基于ARGB通道格式,云服务端生成视频帧渲染数据。具体地,视频帧渲染数据生成。视频帧渲染数据包括诸如数字人的数字虚拟形象的前景渲染数据、以及视频场景的背景渲染数据。
在步骤S312中,将视频帧渲染数据从ARGB通道格式转换到YUVA格式。
在步骤S313中,基于VP9编解码格式,对YUVA通道格式的视频帧渲染数据进行编码,得到编码视频帧数据。
在步骤S314中,基于数据流传输协议,传输编码视频帧数据。数据流传输协议可以是RTP协议、RTSP、HTTP协议等。
终端设备320执行步骤S321-324中,其中:
在步骤S321中,基于数据流传输协议,接收编码视频帧数据。
在步骤S322中,基于VP9编解码格式,对编码视频帧数据进行解码,得到YUVA通道格式的视频帧渲染数据。
在步骤S323中,提取视频帧渲染数据中的前景渲染数据。
在步骤S324中,融合前景渲染数据与替换后的背景渲染数据。
例如,前景渲染数据的透明度通道的通道值与背景渲染数据的透明度通道的通道值融合(例如,相加)得到视频帧渲染数据的透明度通道的通道值。例如,前景渲染数据包括透明度通道的通道值不同的像素。背景渲染数据的各个像素的透明度通道的通道值相同,可以基于视频帧渲染数据的各个像素的透明度通道的通道值之间的差异,确定背景渲染数据的各个像素的透明度通道的通道值,作为基准通道值。可以基于基准通道值与前景渲染数据的各个像素的透明度通道的通道值的差异,提取前景渲染数据。透明度通道的通道值不同的像素可以指示属于数字虚拟形象的像素和不属于数字虚拟形象的像素,从而基于各个像素的各个通道值之间的差异,确定数字虚拟形象对应的像素。
更一般地,透明度通道的通道值不同的像素可以指示属于数字虚拟形象的像素和不属于数字虚拟形象的像素,前景渲染数据包括透明度通道的通道值不同的像素,可以基于视频帧渲染数据的各个像素的透明度通道的通道值的第一分布,确定背景渲染数据的各个像素的透明度通道的通道值的第二分布。然后,基于第一分布与第二分布的趋势是否一致判断属于数字虚拟形象的像素。这是因为,对于属于数字虚拟形象的各个像素或者不属于数字虚拟形象的各个像素,第一分布与第二分布趋势相同,对于属于数字虚拟形象的像素与不属于数字虚拟形象的像素之间,第一分布与第二分布不同,然后,提取属于数字虚拟形象的像素的目标渲染数据,融合目标渲染数据与替换后的背景渲染数据,例如,从视频帧渲染数据的各个像素中划分出目标渲染数据,然后,融合目标渲染数据与替换后的背景渲染数据。
图4为根据本发明的另一实施例的数据通信系统的结构框图。
本实施例的数据通信系统包括云服务端410和终端设备420,分别对应于图3中的云服务端310和终端设备320。
云服务端410被配置成:
基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,视频帧编解码格式至少用于视频帧渲染数据的透明度通道进行编码;
封装编码后的视频帧渲染数据和视频帧编解码格式;
终端设备420被配置成:
从云服务端获取编码后的视频帧渲染数据和视频帧编解码格式;
基于视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到视频帧渲染数据;
基于预设的透明度通道阈值,从视频帧渲染数据中,提取前景渲染数据。
在本发明实施例的方案中,云服务端的视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,视频帧编解码格式至少用于视频帧渲染数据的透明度通道进行编码,使得终端设备通过对透明度通道进行编码能够识别并提取前景渲染数据,提高了前景数据在前端设备中的配置灵活性。
在另一些示例中,云服务端具体用于:基于视频流格式,封装编码后的视频帧渲染数据和视频帧编解码格式,生成传输报文。终端设备具体用于:从云服务端接收传输报文;基于视频流格式,对传输报文解封装,得到编码后的视频帧渲染数据和视频帧编解码格式。
在另一些示例中,终端设备具体用于:基于数字虚拟形象对应的像素位置,将视频帧渲染数据划分为前景渲染数据和背景渲染数据,其中,前景渲染数据的透明度通道在像素位置具有第一透明度值,背景渲染数据的透明度通道在像素位置具有第二透明度值,第一透明度值大于第二透明度值。
在另一些示例中,前景渲染数据的透明度通道在其他像素位置的透明度值与背景渲染数据的透明度通道在其他像素位置的透明度值相同。
在另一些示例中,终端设备具体用于:合成前景渲染数据与替换后的背景渲染数据,例如,替换背景渲染数据,然后,合成前景渲染数据与替换后的背景渲染数据。
在另一些示例中,视频帧编解码格式包括透明度编码格式和颜色空间编码格式。
在另一些示例中,云服务端具体用于:基于透明度编码格式对应的采样率和颜色空间编码格式对应的采样率,对数字虚拟形象进行编码。
在另一些示例中,云服务端具体还用于:获取第一颜色空间的初始视频帧渲染数据,第一颜色空间包括单色通道与透明度通道,并且对初始视频帧渲染数据进行颜色空间变换,得到第二颜色空间的视频帧渲染数据,第二颜色空间包括亮度通道、色度通道和透明度通道。
在另一些示例中,初始视频帧渲染数据包括用于数字虚拟形象的前景渲染数据、以及背景渲染数据,前景渲染数据的透明度通道和背景渲染数据的透明度通道在数字虚拟形象对应的像素位置具有不同的透明度值。
本实施例的数据通信系统对应于前述数据通信方法实施例,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
参照图5,示出了根据本发明的另一实施例的电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示,该电子设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储有程序510的存储器(memory)506、以及通信总线508。本示例的电子设备可以是终端设备或云服务端。处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口用于与其它电子设备或服务器进行通信。处理器用于执行程序,具体可以执行上述方法实施例中的相关步骤。具体地程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器可能是处理器CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器,用于存放程序。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行以下操作:基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;封装编码后的视频帧渲染数据和所述视频帧编解码格式;或者,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;基于预设的透明度通道阈值,从所述视频帧渲染数据中,提取所述前景渲染数据。
此外,程序中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
需要指出,根据实施的需要,可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的方法。此外,当通用计算机访问用于实现在此示出的方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例,而并非对本发明实施例的限制,有关技术领域的普通技术人员,在不脱离本发明实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明实施例的范畴,本发明实施例的专利保护范围应由权利要求限定。

Claims (11)

1.一种数据通信方法,包括:
通过云服务端,基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;
通过所述云服务端,封装编码后的视频帧渲染数据和所述视频帧编解码格式;
通过终端设备,从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;
通过所述终端设备,基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;
通过所述终端设备,基于所述数字虚拟形象对应的像素位置,将所述视频帧渲染数据划分为所述前景渲染数据和背景渲染数据,其中,所述前景渲染数据的透明度通道在所述像素位置具有第一透明度值,所述背景渲染数据的透明度通道在所述像素位置具有第二透明度值,所述第一透明度值大于所述第二透明度值。
2.根据权利要求1所述的方法,其中,所述封装编码后的视频帧渲染数据和所述视频帧编解码格式,包括:
基于视频流格式,封装编码后的视频帧渲染数据和所述视频帧编解码格式,生成传输报文;
所述从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式,包括:
从所述云服务端接收所述传输报文;
基于所述视频流格式,对所述传输报文解封装,得到编码后的视频帧渲染数据和所述视频帧编解码格式。
3.根据权利要求1所述的方法,其中,所述前景渲染数据的透明度通道在其他像素位置的透明度值与所述背景渲染数据的透明度通道在其他像素位置的透明度值相同。
4.根据权利要求1所述的方法,其中,所述方法还包括:
合成所述前景渲染数据与替换后的背景渲染数据。
5.根据权利要求1所述的方法,其中,所述视频帧编解码格式包括透明度编码格式和颜色空间编码格式。
6.根据权利要求5所述的方法,其中,所述基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,包括:
基于所述透明度编码格式对应的采样率和所述颜色空间编码格式对应的采样率,对数字虚拟形象进行编码。
7.根据权利要求1所述的方法,其中,所述方法还包括:
获取第一颜色空间的初始视频帧渲染数据,所述第一颜色空间包括单色通道与透明度通道;
对所述初始视频帧渲染数据进行颜色空间变换,得到第二颜色空间的视频帧渲染数据,所述第二颜色空间包括亮度通道、色度通道和透明度通道。
8.根据权利要求7所述的方法,其中,所述初始视频帧渲染数据包括用于数字虚拟形象的前景渲染数据、以及背景渲染数据,所述前景渲染数据的透明度通道和所述背景渲染数据的透明度通道在数字虚拟形象对应的像素位置具有不同的透明度值。
9.一种数据通信系统,包括云服务端和终端设备,
所述云服务端被配置成:
基于视频帧编解码格式对应的编码参数,对视频帧渲染数据进行编码,所述视频帧渲染数据至少包括用于数字虚拟形象的前景渲染数据,所述视频帧编解码格式至少用于所述视频帧渲染数据的透明度通道进行编码;
封装编码后的视频帧渲染数据和所述视频帧编解码格式;
所述终端设备被配置成:
从所述云服务端获取编码后的视频帧渲染数据和所述视频帧编解码格式;
基于所述视频帧编解码格式对应的解码参数,对编码后的视频帧渲染数据进行解码,得到所述视频帧渲染数据;
基于所述数字虚拟形象对应的像素位置,将所述视频帧渲染数据划分为所述前景渲染数据和背景渲染数据,其中,所述前景渲染数据的透明度通道在所述像素位置具有第一透明度值,所述背景渲染数据的透明度通道在所述像素位置具有第二透明度值,所述第一透明度值大于所述第二透明度值。
10.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行根据权利要求1-8中任一项所述的方法。
11.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210675806.5A 2022-06-15 2022-06-15 数据通信方法、系统、电子设备和存储介质 Active CN114786040B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210675806.5A CN114786040B (zh) 2022-06-15 2022-06-15 数据通信方法、系统、电子设备和存储介质
PCT/CN2023/099229 WO2023241459A1 (zh) 2022-06-15 2023-06-08 数据通信方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210675806.5A CN114786040B (zh) 2022-06-15 2022-06-15 数据通信方法、系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114786040A CN114786040A (zh) 2022-07-22
CN114786040B true CN114786040B (zh) 2022-09-23

Family

ID=82421306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210675806.5A Active CN114786040B (zh) 2022-06-15 2022-06-15 数据通信方法、系统、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN114786040B (zh)
WO (1) WO2023241459A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114786040B (zh) * 2022-06-15 2022-09-23 阿里巴巴(中国)有限公司 数据通信方法、系统、电子设备和存储介质
CN116708905A (zh) * 2023-08-07 2023-09-05 海马云(天津)信息技术有限公司 在电视盒子上实现数字人交互的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004902A1 (en) * 2014-07-11 2016-01-14 Shanghai United Imaging Healthcare Co., Ltd. System and method for image processing
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置
CN110069125A (zh) * 2018-09-21 2019-07-30 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110889382A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 虚拟形象渲染方法及装置、电子设备和存储介质
CN111815649A (zh) * 2020-06-30 2020-10-23 清华大学深圳国际研究生院 一种人像抠图方法及计算机可读存储介质
CN112396610A (zh) * 2019-08-12 2021-02-23 阿里巴巴集团控股有限公司 一种图像处理方法、计算机设备、存储介质
CN114419091A (zh) * 2022-01-21 2022-04-29 奥比中光科技集团股份有限公司 一种前景抠图方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089162B (zh) * 2017-04-08 2021-05-28 腾讯科技(深圳)有限公司 一种图片文件处理方法及系统
JP6846365B2 (ja) * 2018-01-18 2021-03-24 Kddi株式会社 前景背景分離に好適な方法および装置
CN108830866A (zh) * 2018-06-25 2018-11-16 北京达佳互联信息技术有限公司 图像分离方法、装置、计算机设备及存储介质
CN110636305B (zh) * 2019-09-26 2023-04-28 华为技术有限公司 图像渲染和编码方法及相关装置
CN112954393A (zh) * 2021-01-21 2021-06-11 北京博雅慧视智能技术研究院有限公司 一种基于视频编码的目标跟踪方法、系统、存储介质及终端
CN114786040B (zh) * 2022-06-15 2022-09-23 阿里巴巴(中国)有限公司 数据通信方法、系统、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004902A1 (en) * 2014-07-11 2016-01-14 Shanghai United Imaging Healthcare Co., Ltd. System and method for image processing
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置
CN110069125A (zh) * 2018-09-21 2019-07-30 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN112396610A (zh) * 2019-08-12 2021-02-23 阿里巴巴集团控股有限公司 一种图像处理方法、计算机设备、存储介质
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110889382A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 虚拟形象渲染方法及装置、电子设备和存储介质
CN111815649A (zh) * 2020-06-30 2020-10-23 清华大学深圳国际研究生院 一种人像抠图方法及计算机可读存储介质
CN114419091A (zh) * 2022-01-21 2022-04-29 奥比中光科技集团股份有限公司 一种前景抠图方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于采样抠图和自适应颜色的图像合成算法;李娜等;《液晶与显示》;20180215(第02期);全文 *

Also Published As

Publication number Publication date
WO2023241459A1 (zh) 2023-12-21
CN114786040A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114786040B (zh) 数据通信方法、系统、电子设备和存储介质
US10110936B2 (en) Web-based live broadcast
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US20220014819A1 (en) Video image processing
US9013536B2 (en) Augmented video calls on mobile devices
WO2021057689A1 (zh) 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
WO2014166434A1 (zh) 深度图像的编解码方法和编解码装置
CN113206971B (zh) 一种图像处理方法及显示设备
US9992450B1 (en) Systems and methods for background concealment in video conferencing session
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
WO2021057477A1 (zh) 视频编解码方法和相关装置
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
CN111147801A (zh) 一种视联网终端的视频数据处理方法和装置
CN114584737A (zh) 一种云会议中实时多人同场景自定义的方法与系统
EP4087249A1 (en) Character restoration method and apparatus, storage medium, and electronic device
WO2021147464A1 (zh) 视频处理方法、装置及电子设备
CN110582021B (zh) 信息处理方法及装置、电子设备和存储介质
CN110769241B (zh) 视频帧处理方法、装置、用户端及存储介质
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及系统
CN105163197A (zh) 一种即时视频的编码方法和电子设备
AU2015294052B2 (en) Method and apparatus for processing image data
CN114938408B (zh) 一种云手机的数据传输方法、系统、设备及介质
CN114615458B (zh) 一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器
CN116962742A (zh) 网络直播的视频图像数据传输方法、装置及直播系统
CN113613024A (zh) 视频预处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant