CN110557649B - 直播交互方法、直播系统、电子设备及存储介质 - Google Patents

直播交互方法、直播系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110557649B
CN110557649B CN201910865638.4A CN201910865638A CN110557649B CN 110557649 B CN110557649 B CN 110557649B CN 201910865638 A CN201910865638 A CN 201910865638A CN 110557649 B CN110557649 B CN 110557649B
Authority
CN
China
Prior art keywords
video
code stream
live
information
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910865638.4A
Other languages
English (en)
Other versions
CN110557649A (zh
Inventor
曾衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN201910865638.4A priority Critical patent/CN110557649B/zh
Publication of CN110557649A publication Critical patent/CN110557649A/zh
Priority to PCT/CN2020/112793 priority patent/WO2021047419A1/zh
Application granted granted Critical
Publication of CN110557649B publication Critical patent/CN110557649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Abstract

本申请公开了一种直播交互方法、直播系统、电子设备及存储介质,该直播交互方法应用于直播系统,直播系统包括主播端、观众端以及服务器;该直播交互方法包括:主播端采集轮廓信息和直播视频,将轮廓信息编码到视频码流的网络提取层,将直播视频编码到视频码流的视频编码层,并将编码后的视频码流上传到服务器;服务器将编码后的视频码流发送给观众端;主播端和/或观众端进一步获取服务器生成的触发指令,并基于触发指令获取对应的特效信息;主播端和/或观众端从编码后的视频码流解码出人体轮廓信息和直播视频,并基于轮廓信息将特效信息渲染到直播视频。本申请的直播交互方法能够增强连麦互动的趣味性,使得直播内容更加丰富,从而提高互动性。

Description

直播交互方法、直播系统、电子设备及存储介质
技术领域
本申请涉及直播技术领域,特别是涉及一种直播交互方法、直播系统、电子设备及存储介质。
背景技术
随着网络通讯的发展,越来越多的用户选择通过网络平台来交友和娱乐,这些网络平台包括一对一聊天交友平台、主播聊天室平台、论坛交友平台等,其中,一对一聊天交友平台和主播聊天室平台由于可实时视频交流,更受用户青睐。
为了增加平台用户的使用粘性,各直播视频平台往往会提供丰富的可以赠送的礼物,从而在直播视频时增加用户之间互动,但是,现有的赠送礼物均是在公屏上显示赠送礼物然后消失,与直播视频的画面无关,导致直播视频过程中赠送礼物的呈现效果单一、呈现时间短。
发明内容
本申请提供一种直播交互方法、直播系统、电子设备及存储介质,以解决现有技术中直播交互互动方式单一的问题。
为解决上述技术问题,本申请采用的一个技术方案是提供一种直播交互方法,所述直播交互方法应用于直播系统,所述直播系统包括主播端、观众端以及服务器;
所述直播交互方法包括:
所述主播端采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到所述服务器;
所述服务器将编码后的所述视频码流发送给所述观众端;
所述主播端和/或所述观众端进一步获取所述服务器生成的触发指令,并基于所述触发指令获取对应的特效信息;
所述主播端和/或所述观众端从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
为解决上述技术问题,本申请采用的另一个技术方案是提供一种直播系统,所述直播系统至少包括主播端、观众端以及服务器;
所述主播端,用于采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到所述服务器;
所述服务器,用于将编码后的所述视频码流发送给所述观众端;
所述主播端和/或所述观众端,用于进一步获取所述服务器生成的触发指令,并基于所述触发指令获取对应的特效信息;
所述主播端和/或所述观众端,还用于从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
为解决上述技术问题,本申请采用的另一个技术方案是提供另一种直播交互方法,所述直播交互方法应用于一种电子设备,所述直播交互方法包括:
采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到所述服务器,以使所述服务器将编码后的所述视频码流发送给所述观众端;
进一步获取触发指令,并基于所述触发指令获取对应的特效信息;
从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
为解决上述技术问题,本申请采用的另一个技术方案是提供一种电子设备,所述电子设备包括存储器以及与所述存储器耦接的处理器;
其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如上述的直播交互方法。
为解决上述技术问题,本申请采用的另一个技术方案是提供一种计算机存储介质,其中存储有计算机程序,计算机程序被执行时实现上述直播交互方法的步骤。
区别于现有技术,本申请的有益效果是:主播端采集轮廓信息和直播视频,将轮廓信息编码到视频码流的网络提取层,将直播视频编码到视频码流的视频编码层,并将编码后的视频码流上传到服务器;服务器将编码后的视频码流发送给观众端;主播端和/或观众端进一步获取服务器生成的触发指令,并基于触发指令获取对应的特效信息;主播端和/或观众端从编码后的视频码流解码出轮廓信息和直播视频,并基于轮廓信息将特效信息渲染到直播视频。通过本申请的直播交互方法,可以在直播过程中,将人物和特效渲染在一起展示,能够有效增强连麦互动的趣味性,使得直播内容更加丰富,从而提高网络直播的互动性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请提供的直播交互方法第一实施例的流程示意图;
图2是本申请提供的主播端上行逻辑的流程示意图;
图3是本申请提供的AI特效动画的示意图;
图4是本申请提供的直播交互方法第二实施例的流程示意图;
图5是本申请提供的直播交互方法第三实施例的流程示意图;
图6是本申请提供的直播交互方法第四实施例的流程示意图;
图7是本申请提供的主播端下行逻辑的流程示意图;
图8是本申请提供的混画转码处理逻辑的流程示意图;
图9是本申请提供的观众端下行逻辑的流程示意图;
图10是本申请提供的直播系统一实施例的结构示意图;
图11是本申请提供的直播交互方法第五实施例的流程示意图;
图12是本申请提供的电子设备一实施例的结构示意图;
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请首先提出了一种直播交互方法,可以应用于直播系统。其中,本实施例应用的直播系统至少包括主播端、观众端以及服务器。
在直播交互过程中,主播端和观众端分别与服务器建立通信连接,以使主播端可以通过服务器进行直播交互,观众端可以通过服务器观看主播端的直播内容。
与主播端对应的电子设备均可以为例如智能手机、平板电脑、笔记本电脑、台式电脑或者可穿戴设备等电子设备,与观众端对应的电子设备也可以是例如智能手机、平板电脑、笔记本电脑、台式电脑或者可穿戴设备等电子设备。
多个观众端对应的设备类型与主播端对应的设备类型可以相同或不同。
主播端以及观众端均可以与服务器建立例如WIFI、蓝牙或者ZigBee等无线连接。
请继续参阅图1,图1是本申请提供的直播交互方法第一实施例的流程示意图。本实施例的直播交互方法可以应用于上述的直播系统,直播系统的具体结构在此不再赘述。
具体地,本实施例的直播交互方法具体包括以下步骤:
S101:主播端采集轮廓信息和直播视频,将轮廓信息编码到视频码流的网络提取层,将直播视频编码到视频码流的视频编码层,并将编码后的视频码流上传到服务器。
其中,主播端将AI数据,即轮廓信息与直播视频通过视频码流一同上传到服务器。具体流程结合图1和图2进行描述,其中,图2是本申请提供的主播端上行逻辑的流程示意图。
具体地,主播端采集的轮廓信息可以为主播的人体轮廓信息,也可以是其它预先设置的标的轮廓信息,例如,预设的标的轮廓可以是直播视频中常出现的物体轮廓。在下述实施例的描述中,本申请以人体轮廓信息为例进行描述。
具体地,主播端对摄像头录制的直播视频进行视频采集,以获取视频的颜色数据,即YUV数据。其中YUV是一种颜色编码方法,常常被用在各个视频处理组件中。YUV在对照片或视频编码时,会考虑到人类的感知能力,允许降低色度的带宽。YUV是编译true-color颜色空间(colorspace)的种类,其中,“Y”表示明亮度(Luminance、Luma),“U”表示色度(Chrominance),“V”表示浓度(Chroma)。
主播端获取视频的颜色数据后,进行AI处理,以得到直播视频中的人体轮廓信息,其中,人体轮廓至少包括脸部轮廓以及肢体轮廓。主播端采用H.264/H.265等视频压缩标准将人体轮廓信息编码到视频码流的网络提取层中,具体地,主播端将人体轮廓信息压缩并编码到视频码流网络提取层中的SEI中,SEI即补充增强信息(Supplemental EnhancementInformation),属于码流范畴,SEI提供了向视频码流中加入额外信息的方法。SEI的基本特征包括:1.并未解码过程的必须选项;2.可能对解码过程(容错、纠错)有帮助;3.集成在视频码流中。
在本实施例中,主播端将人体轮廓信息编码到SEI,使得人体轮廓信息能够与直播视频通过视频码流一起传输到服务器,即图2中的主播网络。
进一步地,主播端由于应用程序版本没有及时更新或者设备性能不满足展示AI特效的要求时,主播端将及时告知服务器以及对应的观众端。例如,主播端开播时检测设备性能能否支持展示AI特效,若能,则在进行人体轮廓信息采集时主动上报服务器该主播端目前能够支持AI特效礼物;若服务器没有接收到主播端关于AI特效的上报协议,则认为该主播端不支持AI特效。
此处的上报协议的意义包括:
(1)当主播端在不支持AI特效礼物的老版本应用程序开播时,观众端在支持AI特效礼物的新版本应用程序送礼时会有对应的提示,用以提示观众即系给主播赠送AI特效礼物,主播端也无法展示该AI特效礼物。
(2)当主播端的终端设备性能较差,不支持实时采集人体轮廓信息的功能时,则当观众端赠送对应的AI特效礼物时,也会有对应的反馈提示。
若在直播过程中出现异常情况,例如观众赠送了一种AI特效礼物,但是主播端的应用程序版本不支持或者主播端的终端设备性能不支持时,向观众发送对应的提示:这时可以播放默认的特效动画,但是这种特效动画不结合主播的人脸或人体轮廓。
S102:服务器将编码后的视频码流发送给观众端。
其中,服务器将编码后的视频码流发送给观众端,其中,编码后的视频码流的SEI信息中携带有主播的人体轮廓信息。
S103:主播端和/或观众端进一步获取服务器生成的触发指令,并基于触发指令获取对应的特效信息。
其中,在直播交互的过程中,服务器会通过赠送礼物触发或者识别人体动作触发的方式生成对应的触发指令,用以指示主播端和观众端基于该触发指令下载对应的特效信息。
生成触发指令的方式主要有以下两种:
(1)服务器获取观众端发送的礼物信息时,判断该礼物信息的种类是普通礼物信息还是AI特效礼物信息。当观众端发送的是AI特效礼物信息时,服务器基于该AI特效礼物信息生出触发指令。
(2)服务器预设有多种动作指令,当接收到主播端编码后的视频码流时,服务器识别直播视频中主播的动作,例如手势等。当在直播视频中主播做出服务器预设的动作时,服务器基于该动作生成对应触发指令。例如,服务器识别到主播做出手势比行的动作时,触发天使围绕该主播头像飞三圈,然后亲吻主播的脸蛋的触发指令。
进一步地,由于在直播过程中,很多AI特效礼物都是重复展示,对应的特效信息主播端和/或观众端在第一次下载时可以缓存在本地,以供下一次触发相同AI特效礼物时使用。因此,主播端和/或观众端接收到触发指令时,先在本地缓存区搜索是否存在该触发指令对应的特效信息。若存在,主播端和/或观众端直接提取缓存区的特效信息;若不存在,主播端和/或观众端基于该触发指令向服务器发送请求信息,以使服务器发送请求信息对应的特效信息。
进一步地,主播端和/或观众端在较短时间内接收到多条AI特效礼物的触发指令时,按照接收时间顺序将多条AI特效礼物的触发指令放到队列中,从而按照时间顺序播放对应的AI特效礼物。
S104:主播端和/或观众端从编码后的视频码流解码出人体轮廓信息和直播视频,并基于人体轮廓信息将特效信息渲染到直播视频,以显示对应的直播界面。
其中,当主播端和/或观众端接收到服务器的触发指令时,主播端和/或观众端会从编码后的视频码流的网络提取层中解码出SEI信息,从而获取SEI信息中的人体轮廓信息。主播端和/或观众端将解码的人体轮廓信息输入动画渲染器进行渲染,动画渲染器根据对应的礼物类型,获取到对应礼物类型的动画播放资源,即S103中的特效信息后,会将动画播放资源根据人体轮廓信息进行渲染绘制。
例如,动画播放资源为围绕人体飞三圈,然后翅膀跌落到视频外部时,渲染器则结合人体轮廓信息展示在人体轮廓做围绕三圈的绘制,并将其翅膀掉落绘制在直播视频区域的外部的画面。
通过动画渲染器的渲染,主播端和/或观众端能够基于人体轮廓信息将特效信息渲染到直播视频,并显示对应的直播界面。直播界面的具体示意图请参阅图3,图3是本申请提供的AI特效动画的示意图。直播界面上包括主播的人体轮廓11以及特效动画12。其中,特效动画12围绕人体轮廓11展示,可以产生特效动画12挡人效果,或者特效动画12在人体上的部分透明效果。例如,飞机特效围绕人体飞一周,飞到人体背后时消失;或者从直播视频区域产生特效效果开始,飞到视频区域人体的某个部分。
在本实施例中,主播端采集轮廓信息和直播视频,将轮廓信息编码到视频码流的网络提取层,将直播视频编码到视频码流的视频编码层,并将编码后的视频码流上传到服务器;服务器将编码后的视频码流发送给观众端;主播端和/或观众端进一步获取服务器生成的触发指令,并基于触发指令获取对应的特效信息;主播端和/或观众端从编码后的视频码流解码出轮廓信息和直播视频,并基于轮廓信息将特效信息渲染到直播视频。通过本申请的直播交互方法,可以在直播过程中,将人物和特效渲染在一起展示,能够有效增强连麦互动的趣味性,使得直播内容更加丰富,从而提高网络直播的互动性。
在上述S104中,由于人体轮廓信息是来自于主播端的直播视频,当主播端从编码后的视频码流的SEI信息中获取人体轮廓信息后,主播端可以直接使用动画渲染器对人体轮廓信息和特效信息渲染到直播视频。但在其它实施例中,当观众端从编码后的直播视频的SEI信息中获取人体轮廓信息后,若观众端的视频分辨率与主播端的视频分辨率不同时,观众端可能无法直接基于人体轮廓信息对特效信息进行动画渲染。因此,本申请提出了另一种直播交互方法,具体请参阅图4,图4是本申请提供的直播交互方法第二实施例的流程示意图。
如图4所示,本实施例的直播交互方法具体包括以下步骤:
S201:观众端基于轮廓信息获取主播端的视频分辨率。
其中,观众端一方面获取自身的视频分辨率,一方面根据解码出的人体轮廓信息或者直播视频获取主播端的视频分辨率。
S202:在观众端的视频分辨率与主播端的视频分辨率不同的情况下,观众端基于主播端的视频分辨率对轮廓信息进行坐标的等比转换。
其中,当观众端的视频分辨率与主播端的视频分辨率相同时,观众端不需求对人体轮廓信息进行转换。当观众端的视频分辨率与主播端的视频分辨率不同时,观众端需要对人体轮廓的坐标信息进行等比转换。
例如,主播端是在视频分辨率为1920*1680的终端设备上进行开播,主播端采集到的人体轮廓信息的坐标系是在该分辨率下的,观众端是在视频分辨率为1080*720的终端设备上进行观看;此时,观众端需要按照观众端与主播端的视频分辨率的比例对人体轮廓信息进行坐标系的等比转换,以使经过动画渲染器对人体轮廓信息和特效信息渲染的直播视频能够在观众端上正常显示。
在本实施例中,针对主播端的视频分辨率和观众端的视频分辨率不同的情况,观众端可以根据两个客户端的视频分辨率关系对人体轮廓信息进行坐标系的等比转换,以使本申请的直播交互方法能够适应于不同的终端设备。
对于上述实施例的S101,本申请提出了另一种具体的直播交互方法,具体请参阅图5,图5是本申请提供的直播交互方法第三实施例的流程示意图。
如图5所示,本实施例的直播交互方法具体包括以下步骤:
S301:主播端基于业务需求以及传输的带宽要求确定轮廓信息的采集点数量,并基于采集点数量采集轮廓信息。
其中,主播端在开播过程中实时采集主播的人体轮廓信息,采集人体轮廓信息的采集点数量取决于对应业务以及传输的带宽要求。
例如,如果需要实现全身人体的特效效果,此时可以通过相对较多的采集点用来表示采集的人体轮廓信息,如通过256个采集点表示整个人体的轮廓。如果需要实现人脸的特效效果,此时可以通过相对较少的采集点用来表示人脸的轮廓信息,如通过68个点表示人脸的轮廓信息。
S302:主播端判断编码后的视频码流的所需要的带宽是否大于或等于预设带宽。
其中,主播端采集人体轮廓信息后,将人体轮廓信息压缩并编码到视频码流。如图2所示,主播端在传输编码后的视频码流之前,需要检测传输的内容是否符合要求。
S303:主播端丢弃人体轮廓信息。
检测的内容至少可以包括以下两个方面:
(1)主播端可以判断编码后的视频码流的所需要的带宽是否大于或等于上行带宽;若是,为了保证直播的流程性,主播端需要在上行带宽不足的情况下丢弃人体轮廓信息。
(2)主播端也可以判断人体轮廓信息的大小是否大于预设字节;若是,为了保证直播的流程性,主播端需要在上行带宽不足的情况下丢弃人体轮廓信息。例如,当人体轮廓信息大于400Bytes时,主播端需要将人体轮廓信息丢弃,再传输视频码流。
进一步地,主播端丢弃全部或部分人体轮廓信息的情况下,主播端在下个时序采集人体轮廓信息时可以基于丢弃的人体轮廓信息大小适应性减少采集人体轮廓信息所需要的采集点,进而减少后续传输的人体轮廓信息的大小。
在上述实施例中,直播交互方法可以应用于单一主播端,即单人特效玩法。在其它实施例中,本申请的直播交互方法也可以应用于多主播的情况,即多人特效玩法。
具体请参阅图6,图6是本申请提供的直播交互方法第四实施例的流程示意图。其中,上述实施例中的主播端可以包括第一主播端和第二主播端。
如图6所示,本实施例的直播交互方法具体包括以下步骤:
S401:第一主播端采集第一轮廓信息和第一直播视频,将第一轮廓信息编码到第一视频码流的网络提取层,将第一直播视频编码到第一视频码流的视频编码层,并将编码后的第一视频码流上传到服务器。
S402:第二主播端采集第二轮廓信息和第二直播视频,将第二轮廓信息编码到第二视频码流的网络提取层,将第二直播视频编码到第二视频码流的视频编码层,并将编码后的第二视频码流上传到服务器。
其中,在S401和S402中,第一主播端和第二主播端分别进行人体轮廓信息采集以及编码,具体过程与上述实施例中的S101相同,在此不再赘述。
S403:服务器将编码后的第一视频码流和编码后的第二视频码流发送给观众端,将编码后的第一视频码流发送给第二主播端,将编码后的第二视频码流发送给第一主播端。
S404:第一主播端、第二主播端和/或观众端进一步获取服务器生成的触发指令,并基于触发指令获取对应的特效信息。
S405:第一主播端从编码后的第二视频码流解码出第二轮廓信息和第二直播视频,第二主播端从编码后的第一视频码流解码出第一轮廓信息和第一直播视频,观众端从编码后的第一视频码流和编码后的第二视频码流解码出第一轮廓信息、第二轮廓信息、第一直播视频以及第二直播视频。
其中,请结合图7,图7是本申请提供的主播端下行逻辑的流程示意图。以第二主播端从编码后的第一视频码流解码出第一人体轮廓信息为例进行描述,具体地,主播网络,即服务器将编码后的第一视频码流传输给第二主播端。第二主播端将编码后的第一视频码流中的SEI信息剥除,从而解码出第一人体轮廓信息。
S406:第一主播端、第二主播端和观众端将第一直播视频和第二直播视频进行视频混画,获得交互视频,并基于第一轮廓信息、第二轮廓信息将特效信息渲染到交互视频。
其中,请结合图8和图9对本步骤进行解读。主播网络在获取第一直播视频和第二直播视频后,将两个直播视频进行视频混画,从而得到交互视频。其中,交互视频中包括第一人体轮廓信息、第二人体轮廓信息以及第一直播视频和第二直播视频的混画布局。
进一步地,主播网络还可以对交互视频进行视频转码,并传输到CDN网络(ContentDelivery Network,内容分发网络),以适应不同的网络带宽、不同的终端处理能力和不同的用户需求,其中,转码后的交互视频包括转码参数。
请参阅图9的观众端下行逻辑的流程示意图,CDN网络将转码后的交互视频发送给观众端,观众端将转码后的交互视频中的SEI信息剥除,从而解码出第一人体轮廓信息、第二人体轮廓信息、混画布局以及转码参数。
为了实现上述实施例的直播交互方法,本申请提出了一种直播系统,具体请参阅图10,图10是本申请提供的直播系统一实施例的结构示意图。
本实施例的直播系统200至少包括主播端21、观众端22以及服务器23。其中,主播端21、观众端22分别与服务器23实现通信连接。
主播端21,用于采集轮廓信息,将轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的视频码流上传到服务器23。
服务器23,用于将编码后的视频码流发送给观众端22。
主播端21和/或观众端22,用于进一步获取服务器23生成的触发指令,并基于触发指令获取对应的特效信息。
主播端21和/或观众端22,还用于从编码后的视频码流解码出轮廓信息和直播视频,并基于轮廓信息将特效信息渲染到直播视频。
为了解决上述技术问题,本申请还提出了另一种直播交互方法,具体请参阅图11,图11是本申请提供的直播交互方法第五实施例的流程示意图。本实施例的直播交互方法应用于一种电子设备,具体可以为上述直播系统200中的主播端21,在此不再赘述。
如图11所示,本实施例的直播交互方法具体包括以下步骤:
S501:采集轮廓信息和直播视频,将轮廓信息编码到视频码流的网络提取层,将直播视频编码到视频码流的视频编码层,并将编码后的视频码流上传到服务器,以使服务器将编码后的视频码流发送给观众端。
S502:进一步获取触发指令,并基于触发指令获取对应的特效信息。
S503:从编码后的视频码流解码出轮廓信息和直播视频,并基于轮廓信息将特效信息渲染到直播视频。
为了实现上述实施例的直播交互方法,本申请提出了一种电子设备,具体请参阅图12,图12是本申请提供的电子设备一实施例的结构示意图。
本实施例的电子设备300包括存储器31和处理器32,其中,存储器31与处理器32耦接。
其中,存储器31用于存储程序数据,处理器32用于执行程序数据以实现上述实施例的直播交互方法。
在本实施例中,处理器32还可以称为CPU(Central Processing Unit,中央处理单元)。处理器32可能是一种集成电路芯片,具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质,请继续参阅图13,图13是本申请提供的计算机存储介质一实施例的结构示意图,该计算机存储介质400中存储有程序数据41,该程序数据41在被处理器执行时,用以实现上述实施例的直播交互方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种直播交互方法,其特征在于,所述直播交互方法应用于直播系统,所述直播系统包括主播端、观众端以及服务器;
所述直播交互方法包括:
所述主播端采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到所述服务器;
所述服务器将编码后的所述视频码流发送给所述观众端;
所述主播端和所述观众端进一步获取所述服务器生成的触发指令,并基于所述触发指令获取对应的特效信息;
所述主播端和所述观众端从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
2.根据权利要求1所述的直播交互方法,其特征在于,
所述主播端和所述观众端从编码后的所述视频码流解码出所述轮廓信息的步骤之后,包括:
所述观众端基于所述轮廓信息获取所述主播端的视频分辨率;
在所述观众端的视频分辨率与所述主播端的视频分辨率不同的情况下,所述观众端基于所述主播端的视频分辨率对所述轮廓信息进行坐标的等比转换。
3.根据权利要求1所述的直播交互方法,其特征在于,
所述主播端采集轮廓信息的步骤,包括:
所述主播端基于业务需求以及传输的带宽要求确定所述轮廓信息的采集点数量,并基于所述采集点数量采集所述轮廓信息。
4.根据权利要求3所述的直播交互方法,其特征在于,
所述将编码后的所述视频码流上传到所述服务器的步骤之前,包括:
所述主播端判断编码后的所述视频码流的所需要的带宽是否大于或等于预设带宽;
若是,所述主播端丢弃所述轮廓信息;
或者,所述主播端判断所述轮廓信息的大小是否大于预设字节;
若是,所述主播端丢弃所述轮廓信息。
5.根据权利要求1所述的直播交互方法,其特征在于,
所述主播端和所述观众端进一步获取所述服务器生成的触发指令的步骤,包括:
所述服务器获取所述观众端发送的特效礼物信息或者识别出所述直播视频中的预设动作时,产生所述触发指令,并将所述触发指令发送给所述主播端和所述观众端。
6.根据权利要求1所述的直播交互方法,其特征在于,
所述基于所述触发指令获取对应的特效信息的步骤,包括:
若所述主播端和所述观众端下载过所述特效信息,所述主播端和所述观众端从本地直接缓存所述特效信息;
若所述主播端和所述观众端未下载所述特效信息,所述主播端和所述观众端基于所述触发指令向所述服务器发送请求信息,以使所述服务器发送所述请求信息对应的特效信息。
7.根据权利要求1所述的直播交互方法,其特征在于,
所述主播端包括第一主播端和第二主播端;
所述直播交互方法包括:
所述第一主播端采集第一轮廓信息和第一直播视频,将所述第一轮廓信息编码到第一视频码流的网络提取层,将所述第一直播视频编码到所述第一视频码流的视频编码层,并将编码后的所述第一视频码流上传到所述服务器;
所述第二主播端采集第二轮廓信息和第二直播视频,将所述第二轮廓信息编码到第二视频码流的网络提取层,将所述第二直播视频编码到所述第二视频码流的视频编码层,并将编码后的所述第二视频码流上传到所述服务器;
所述服务器将编码后的所述第一视频码流和编码后的所述第二视频码流发送给所述观众端,将编码后的所述第一视频码流发送给所述第二主播端,将编码后的所述第二视频码流发送给所述第一主播端;
所述第一主播端、所述第二主播端和/或所述观众端进一步获取所述服务器生成的触发指令,并基于所述触发指令获取对应的特效信息;
所述第一主播端从编码后的所述第二视频码流解码出所述第二轮廓信息和所述第二直播视频,所述第二主播端从编码后的所述第一视频码流解码出所述第一轮廓信息和所述第一直播视频,所述观众端从编码后的所述第一视频码流和编码后的所述第二视频码流解码出所述第一轮廓信息、所述第二轮廓信息、所述第一直播视频以及所述第二直播视频;
所述第一主播端、所述第二主播端和所述观众端将所述第一直播视频和所述第二直播视频进行视频混画,获得交互视频,并基于所述第一轮廓信息、所述第二轮廓信息将所述特效信息渲染到所述交互视频。
8.一种直播系统,其特征在于,所述直播系统至少包括主播端、观众端以及服务器;
所述主播端,用于采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到所述服务器;
所述服务器,用于将编码后的所述视频码流发送给所述观众端;
所述主播端和所述观众端,用于进一步获取所述服务器生成的触发指令,并基于所述触发指令获取对应的特效信息;
所述主播端和所述观众端,还用于从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
9.一种直播交互方法,其特征在于,所述直播交互方法应用于一种电子设备,所述直播交互方法包括:
采集轮廓信息和直播视频,将所述轮廓信息编码到视频码流的网络提取层,将所述直播视频编码到所述视频码流的视频编码层,并将编码后的所述视频码流上传到服务器,以使所述服务器将编码后的所述视频码流发送给观众端;
进一步获取触发指令,并基于所述触发指令获取对应的特效信息;
从编码后的所述视频码流解码出所述轮廓信息和所述直播视频,并基于所述轮廓信息将所述特效信息渲染到所述直播视频。
10.一种电子设备,其特征在于,所述电子设备包括存储器以及与所述存储器耦接的处理器;
其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求9中所述的直播交互方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被处理器执行时,用以实现如权利要求1~7以及权利要求9中任一项所述的直播交互方法。
CN201910865638.4A 2019-09-12 2019-09-12 直播交互方法、直播系统、电子设备及存储介质 Active CN110557649B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910865638.4A CN110557649B (zh) 2019-09-12 2019-09-12 直播交互方法、直播系统、电子设备及存储介质
PCT/CN2020/112793 WO2021047419A1 (zh) 2019-09-12 2020-09-01 直播交互方法、直播系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865638.4A CN110557649B (zh) 2019-09-12 2019-09-12 直播交互方法、直播系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110557649A CN110557649A (zh) 2019-12-10
CN110557649B true CN110557649B (zh) 2021-12-28

Family

ID=68740284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865638.4A Active CN110557649B (zh) 2019-09-12 2019-09-12 直播交互方法、直播系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110557649B (zh)
WO (1) WO2021047419A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536151B (zh) * 2019-09-11 2021-11-19 广州方硅信息技术有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN110557649B (zh) * 2019-09-12 2021-12-28 广州方硅信息技术有限公司 直播交互方法、直播系统、电子设备及存储介质
CN111464828A (zh) * 2020-05-14 2020-07-28 广州酷狗计算机科技有限公司 虚拟特效显示方法、装置、终端及存储介质
CN112000252B (zh) * 2020-08-14 2022-07-22 广州市百果园信息技术有限公司 虚拟物品的发送及显示方法、装置、设备及存储介质
CN112261428A (zh) * 2020-10-20 2021-01-22 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质
CN112929680B (zh) * 2021-01-19 2023-09-05 广州虎牙科技有限公司 直播间图像渲染方法、装置、计算机设备及存储介质
CN113395533B (zh) * 2021-05-24 2023-03-21 广州博冠信息科技有限公司 虚拟礼物特效显示方法、装置、计算机设备及存储介质
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN113473168B (zh) * 2021-07-02 2023-08-08 北京达佳互联信息技术有限公司 直播方法及系统、便携设备执行的直播方法及便携设备
CN113840177B (zh) * 2021-09-22 2024-04-30 广州博冠信息科技有限公司 直播互动方法、装置、存储介质与电子设备
CN113949900B (zh) * 2021-10-08 2023-11-24 上海哔哩哔哩科技有限公司 直播贴图处理方法、系统、设备及存储介质
CN113923530B (zh) * 2021-10-18 2023-12-22 北京字节跳动网络技术有限公司 一种互动信息展示方法、装置、电子设备及存储介质
CN114125501A (zh) * 2021-10-30 2022-03-01 杭州当虹科技股份有限公司 互动视频生成方法及其播放方法和装置
CN114025219A (zh) * 2021-11-01 2022-02-08 广州博冠信息科技有限公司 增强现实特效的渲染方法、装置、介质及设备
CN115174954A (zh) * 2022-08-03 2022-10-11 抖音视界有限公司 视频直播方法、装置、电子设备以及存储介质
CN116896649B (zh) * 2023-09-11 2024-01-19 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141608A (zh) * 2007-09-28 2008-03-12 腾讯科技(深圳)有限公司 一种视频即时通讯系统及方法
WO2013181756A1 (en) * 2012-06-08 2013-12-12 Jugnoo Inc. System and method for generating and disseminating digital video
CN103729610A (zh) * 2013-12-24 2014-04-16 北京握奇智能科技有限公司 一种二维码聚焦显示方法及系统
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN106331735A (zh) * 2016-08-18 2017-01-11 北京奇虎科技有限公司 一种特效处理方法、电子设备及服务器
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术(北京)有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107888965A (zh) * 2017-11-29 2018-04-06 广州酷狗计算机科技有限公司 图像礼物展示方法及装置、终端、系统、存储介质
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131591B (zh) * 2016-06-30 2019-08-06 广州华多网络科技有限公司 直播方法、装置及终端
CN106231434B (zh) * 2016-07-25 2019-09-10 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN107343220B (zh) * 2016-08-19 2019-12-31 北京市商汤科技开发有限公司 数据处理方法、装置和终端设备
US20180234708A1 (en) * 2017-02-10 2018-08-16 Seerslab, Inc. Live streaming image generating method and apparatus, live streaming service providing method and apparatus, and live streaming system
US20190190970A1 (en) * 2017-12-18 2019-06-20 Facebook, Inc. Systems and methods for providing device-based feedback
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN110475150B (zh) * 2019-09-11 2021-10-08 广州方硅信息技术有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN110493630B (zh) * 2019-09-11 2020-12-01 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统
CN110536151B (zh) * 2019-09-11 2021-11-19 广州方硅信息技术有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN110557649B (zh) * 2019-09-12 2021-12-28 广州方硅信息技术有限公司 直播交互方法、直播系统、电子设备及存储介质
CN110784730B (zh) * 2019-10-31 2022-03-08 广州方硅信息技术有限公司 直播视频数据的传输方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141608A (zh) * 2007-09-28 2008-03-12 腾讯科技(深圳)有限公司 一种视频即时通讯系统及方法
WO2013181756A1 (en) * 2012-06-08 2013-12-12 Jugnoo Inc. System and method for generating and disseminating digital video
CN103729610A (zh) * 2013-12-24 2014-04-16 北京握奇智能科技有限公司 一种二维码聚焦显示方法及系统
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN106331735A (zh) * 2016-08-18 2017-01-11 北京奇虎科技有限公司 一种特效处理方法、电子设备及服务器
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术(北京)有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN107888965A (zh) * 2017-11-29 2018-04-06 广州酷狗计算机科技有限公司 图像礼物展示方法及装置、终端、系统、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频虚拟美颜技术研究与实现;胡广宇;《中国优秀硕士学位论文全文数据库-信息科技辑》;20190415;I138-743 *

Also Published As

Publication number Publication date
CN110557649A (zh) 2019-12-10
WO2021047419A1 (zh) 2021-03-18

Similar Documents

Publication Publication Date Title
CN110557649B (zh) 直播交互方法、直播系统、电子设备及存储介质
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
US11245939B2 (en) Generating and transmitting metadata for virtual reality
CN106331880B (zh) 一种信息处理方法及系统
CN111416989A (zh) 视频直播方法、系统及电子设备
CN111417441A (zh) 用于渲染和编码在线交互式游戏会话的内容的方法和系统
CN104837043B (zh) 多媒体信息处理方法及电子设备
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
CN114546308A (zh) 应用界面投屏方法、装置、设备以及存储介质
CN112492324A (zh) 数据处理方法及系统
KR101922968B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
CN103918258A (zh) 减少视频编码中的数据量
CN113286149B (zh) 一种云会议自适应多层视频编码方法、系统和存储介质
CN112954394B (zh) 一种高清视频的编码及解码播放方法、装置、设备和介质
CN113630575B (zh) 多人在线视频会议图像显示的方法、系统和存储介质
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
CN112565799B (zh) 视频数据处理方法和装置
CN114554277A (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN112470481A (zh) 用于对基于图块的沉浸式视频进行编码的编码器和方法
Fautier VR video ecosystem for live distribution
CN112929703A (zh) 码流数据的处理方法和装置
US11748915B2 (en) VR image compression transmission method and system
CN117149123A (zh) 数据处理方法、装置、电子设备
CN113476830A (zh) 云游戏数据处理方法、装置、游戏终端及处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210119

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511449 28th floor, block B1, Wanda Plaza, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191210

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000054

Denomination of invention: Live interactive method, live system, electronic device and storage medium

License type: Common License

Record date: 20210208

GR01 Patent grant
GR01 Patent grant