CN110519612A - 连麦互动方法、直播系统、电子设备及存储介质 - Google Patents

连麦互动方法、直播系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110519612A
CN110519612A CN201910789896.9A CN201910789896A CN110519612A CN 110519612 A CN110519612 A CN 110519612A CN 201910789896 A CN201910789896 A CN 201910789896A CN 110519612 A CN110519612 A CN 110519612A
Authority
CN
China
Prior art keywords
main broadcaster
image
server
broadcaster end
action command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910789896.9A
Other languages
English (en)
Inventor
曾衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201910789896.9A priority Critical patent/CN110519612A/zh
Publication of CN110519612A publication Critical patent/CN110519612A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本申请公开了一种连麦互动方法、直播系统、电子设备及存储介质，该连麦互动方法应用于直播系统，直播系统包括主播端、观众端以及服务器；连麦互动方法包括：主播端从服务器获取预设的三维图像模型，并获取主播图像；主播端基于三维图像模型和主播图像生成对应的三维图像，将三维图像与直播的视频流进行编码，并通过服务器发送给观众端；主播端进一步获取主播的动作指令，基于动作指令调整三维图像，并将调整后的三维图像与视频流进行编码，通过服务器发送给观众端。本申请的连麦互动方法能够增强连麦互动的趣味性，使得直播内容更加丰富，从而提高网络直播的互动性。

Description

连麦互动方法、直播系统、电子设备及存储介质
技术领域
本申请涉及直播应用技术领域，特别是涉及一种连麦互动方法、直播系统、电子设备及存储介质。
背景技术
随着网络通信技术的进步，网络直播成为一种新兴的网络社交方式，网络直播平台也因其实时性、交互性等特点而为越来越多的观众所使用。
在现有的连麦PK过程中，主要是主播与主播之间直接进行连麦PK的互动比赛，与观众的互动较少，降低观众对网络直播的参与感。
发明内容
本申请提供一种连麦互动方法、直播系统、电子设备及存储介质，以解决现有技术中连麦互动与观众的交互较少的问题。
为解决上述技术问题，本申请采用的一个技术方案是提供一种连麦互动方法，所述连麦互动方法应用于直播系统，所述直播系统包括主播端、观众端以及服务器；
所述连麦互动方法包括：
所述主播端从所述服务器获取预设的三维图像模型，并获取主播图像；
所述主播端基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的视频流进行编码，并通过所述服务器发送给所述观众端；
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给所述观众端。
为解决上述技术问题，本申请采用的另一个技术方案是提供一种直播系统，所述直播系统包括主播端、观众端以及服务器，其中，所述主播端和所述观众端通过所述服务器建立通信连接；
所述主播端用于获取所述服务器预设的三维图像模型，以及主播图像；
所述主播端还用于基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的视频流进行编码，并通过所述服务器发送给所述观众端；
所述主播端进一步用于获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给所述观众端。
为解决上述技术问题，本申请采用的另一个技术方案是提供另一种连麦互动方法，所述连麦互动方法应用于电子设备，所述连麦互动方法包括：
获取服务器预设的多个三维图像模型，以及主播图像；
基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的第一视频流进行编码，并通过所述服务器发送给其它电子设备；
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给其它电子设备。
为解决上述技术问题，本申请采用的另一个技术方案是提供一种电子设备，所述电子设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的连麦互动方法。
为解决上述技术问题，本申请采用的另一个技术方案是提供一种计算机存储介质，其中存储有计算机程序，计算机程序被执行时实现上述连麦互动方法的步骤。
区别于现有技术，本申请的有益效果是：主播端从服务器获取预设的三维图像模型，并获取主播图像；主播端基于三维图像模型和主播图像生成对应的三维图像，将三维图像与直播的视频流进行编码，并通过服务器发送给观众端；主播端进一步获取主播的动作指令，基于动作指令调整三维图像，并将调整后的三维图像与视频流进行编码，通过服务器发送给观众端。生成三维图像后，主播端和观众端都可以在连麦界面的基础上显示动态三维图像，增加连麦互动的趣味性和互动性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请提供的直播系统一实施例的结构示意图；
图2是本申请提供的连麦互动方法第一实施例的流程示意图；
图3是图2中交互界面的结构示意图；
图4是本申请提供的连麦交互方法第二实施例的流程示意图；
图5是图4中交互界面的结构示意图；
图6是本申请提供的连麦交互方法第三实施例的流程示意图；
图7是本申请提供的连麦交互方法第四实施例的流程示意图；
图8是本申请提供的连麦交互方法第五实施例的流程示意图；
图9是本申请提供的电子设备一实施例的结构示意图；
图10是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请首先提出了一种连麦互动方法，可以应用于如图1所示的直播系统100。其中，直播系统100至少包括主播端、观众端12以及服务器13，主播端可以包括第一主播端111和第二主播端112。
在连麦互动过程中，第一主播端111和第二主播端112分别与服务器13建立通信连接，以使第一主播端111和第二主播端112通过服务器13进行连麦直播。
进一步地，直播系统100还包括多个观众端12。在连麦互动过程中，观众端12与服务器13建立通信连接，以使观众端12可以通过服务器13观看直播。
与第一主播端111和与第二主播端112对应的电子设备均可以为例如智能手机、平板电脑、笔记本电脑、电脑或者可穿戴设备等电子设备，与观众端12对应的电子设备也可以是例如智能手机、平板电脑、笔记本电脑、电脑或者可穿戴设备等电子设备。
多个观众端12对应的设备类型、第一主播端111和与第二主播端112与观众端12对应的设备类型可以相同或不同。
第一主播端111、第二主播端112以及观众端12均可以与服务器13建立例如WIFI、蓝牙或者ZigBee等无线连接。
请继续参阅图2，图2是本申请提供的连麦互动方法第一实施例的流程示意图。本实施例的连麦互动方法可以应用于上述的直播系统100，直播系统100的具体结构在此不再赘述。
具体地，本实施例的连麦互动方法具体包括以下步骤：
S101：服务器根据多个主播端的直播请求从多个主播端匹配出第一主播端和第二主播端。
服务器13采用预设规则对多个直播请求进行匹配，以从多个主播端中获取第一主播端111和第二主播端112。
该预设规则可以是：将同一时间段内同时向服务器13发送直播请求的主播端加入同一主播列表，随机或者按照直播请求发送时间的先后顺序从该主播列表中获取第一主播端111和第二主播端112。
在其它应用场景，还可以获取最先发送直播请求的主播端为第一主播端111，然后从第一主播端111的直播请求中获取第二主播端112的标识信息，以根据该标识信息获取第二主播端112。
其中，该直播请求可以是游戏请求等。
进一步地，服务器13进一步将开播信息及直播界面信息发送给第一种主播端111和第二主播端112。
S102：第一主播端与第二主播端通过服务器建立连麦，且第一主播端通过服务器将第一音视频流发送给第二主播端，第二主播端通过服务器将第二音视频流发送给第一主播端。
具体地，服务器13接收第一主播端111和第二主播端112发送过来的媒体数据，提供缓冲，存储和转发，分发直播内容给第一主播端111、第二主播端112及观众端12；连麦能够实现第一主播端111和第二主播端112的音、视频混流，降噪等。
连麦成功后，第一主播端111和第二主播端112通过服务器13进行音视频流交互，其中视频流包括图像信息和音频流。
与第一主播端111对应的电子设备设置有例如拾音器等声音传感器(图未标)，第一主播端111在连麦成功后，通过拾音器获取第一主播的第一音频流；与第二主播端112对应的电子设备设置有例如拾音器等声音传感器(图未标)，第二主播端112在连麦成功后，通过拾音器获取第二主播的第二音频流；第一主播端111和第二主播端112通过服务器13进行音频流交互。
第一主播端111和第二主播端112例如安装有相应的直播软件、直播应用程序或者直播APP，以下简称直播程序，点击该直播程序向服务器13发送直播请求。服务器13根据直播请求获取到第一主播端111和第二主播端112，并将直播界面数据反馈给第一主播端111和第二主播端112，以使第一主播端111和第二主播端112进入直播界面，开始直播。第一主播端111和第二主播端112在直播过程会产生直播过程数据。观众端12对应安装一直播程序，通过点击该直播程序向服务器13获取直播界面数据，观众端12也可以在直播过程中产生直播过程数据。直播过程数据可以包括：视频流数据、语音数据、文字数据、图片数据、直播间ID、观众端ID等。
S103：第一主播端和第二主播端将直播界面切换为交互界面。
具体地，第一主播端111和第二主播端112分别根据第一音视频流和第二音视频流将显示的直播界面切换为交互界面。其中，交互界面如图3所示，交互界面200至少包括第一直播界面21和第二直播界面22。同样地，观众端12从服务器13可以获取第一音视频流和第二音视频流，并以此显示交互界面200，从而能够通过观看第一主播的第一直播界面21和第二主播的第二直播界面22。
在本实施例中，第一主播端111和第二主播端112通过服务器13建立连麦，并根据第一音视频流和第二音视频流显示交互界面200。
在连麦交互过程中，为了提高连麦的趣味性和互动性，本申请的连麦交互方法可以在交互界面200中生成对应的3D小人，主播端的直播界面和3D小人的相关画面可以传输到另一主播端的直播界面和观众端的界面。
具体请参阅图4，图4是本申请提供的连麦交互方法第二实施例的流程示意图。本实施例的连麦交互方法同样应用于上述的直播系统100，在此不再赘述。
如图所示，本实施例的连麦交互方法具体包括以下步骤：
S201：主播端从服务器获取预设的三维图像模型，并获取主播图像。
其中，服务器13根据不同人群、不同性格、不同风格等维度预设多个三维图像模型，不同的三维图像模型可以表现为不同的皮肤、不同的穿着以及不同的发型等。预设的三维图像模型可以存储在数据库中，也可以存储在直播应用程度的数据包中。
服务器13预设的三维图像模型是一种基础图像模型，供不同的主播根据自身的特点调整基础图像模型，以生成属于主播特有的三维图像模型。具体调整方法请继续参阅以下步骤：
其中，本申请以第一主播端111为例进行连麦交互方法的描述，同样地，本申请的连麦交互方法也适应于直播系统100中的第二主播端112，在此不再赘述。
当第一主播端111开启相关PK互动玩法，并与第二主播端112成功建立连麦时，第一主播端111先从服务器13下载预设的三维图像模型，或者从直播应用程序的数据包下载预设的三维图像模型，并保存在本地。
其中，服务器13在第一主播端111提供开播信息及直播界面信息的同时，还可以提供三维图像玩法的游戏信息。第一主播端111可以通过交互界面200中的游戏接口解锁这种玩法，解锁玩法后，第一主播端111即可以调用摄像头等模块获取主播图像。
一方面，第一主播端111可以直接调用摄像头拍摄实时的主播图像；另一方面，第一主播端111也可以截取预设帧数的视频帧，并对视频帧的画面进行人脸识别，以获取主播图像。
进一步地，在拍摄主播图像之前，第一主播端111还可以通过对话框的方式确定主播的性别，以降低后续三维图像模型匹配的复杂度。
S202：主播端基于三维图像模型和主播图像生成对应的三维图像，将三维图像与直播的视频流进行编码，并通过服务器发送给观众端。
其中，第一主播端111首先根据获取的主播图像匹配最接近的三维图像模型，然后基于主播图像的具体特征调整三维图像模型，以生成对应的三维图像。
匹配过程可以为：第一主播端111首先识别主播的性别，可以通过主播图像进行识别，也可以直接从主播注册时填写的性别信息获取；第一主播端111筛选出与主播性别相同的三维图像模型。第一主播端111进一步对主播图像中的人脸特征、衣着特征、肤色特征等进行提取，并根据上述特征与三维图像模型的特征进行对比，以获得与主播图像相似度最高的三维图像模型。
调整过程可以为：第一主播端111对主播图像的衣着进行颜色和形状识别，并根据识别结果调整三维图像模型的衣着。第一主播端111对主播图像的发型进行识别，并根据识别结果调整三维图像模型头发的形状和颜色；在遇到主播戴帽子或者扎头巾等特殊情况，将三维图像模型的头发设置为默认发型。第一主播端111对主播图像进行人脸识别，并根据识别结果调整三维图像模型的脸部特征，例如眼睛、鼻子、耳朵、嘴巴等。
生成三维图像后，第一主播端111将调整后的三维图像以及显示位置编码到直播产生的视频流，并将编码后的视频流实时通过服务器13传输到第二主播端112以及观众端12。
进一步地，第一主播端111还可以将调整后的三维图像的标识符，例如ID，发送给服务器13，以使服务器13记录对应主播和三维图像的关系。
观众端12在接收到第一主播端111的视频流后，解码对应的视频流，即可显示第一主播端111的第一直播界面21以及第一直播界面21上的三维图像23。如图5所示，其中，三维图像23可以表现为动态3D小人，也可以表现为其它形态，在此不再赘述。
由于三维图像23已经编码在视频流上，三维图像23的信息在视频流中传输，可以有效减少观众端12渲染三维图像23的性能要求，进而提高观众端12播放三维图像23的性能。
S203：主播端进一步获取主播的动作指令，基于动作指令调整三维图像，并将调整后的三维图像与视频流进行编码，通过服务器发送给观众端。
其中，在连麦交互过程中，第一主播端111进一步获取主播的动作指令，并基于动作指令调整三维图像23。
具体地，动作指令可以包括人脸表情和肢体动作，第一主播端111可以通过AI识别主播的人脸表情和肢体动作，从而触发三维图像23产生对应的人脸表情和肢体动作。
调整后的三维图像23也需要与直播产生的视频流进行编码，并通过服务器13发送观众端12，此过程与S203的过程相同，在此不再赘述。
在本实施例中，服务器13预设多个三维图像模型；第一主播端111从服务器13获取三维图像模型，并获取主播图像；第一主播端111基于三维图像模型和主播图像生成对应的三维图像23，将三维图像23与直播的视频流进行编码，并通过服务器13发送给观众端12；第一主播端111进一步获取主播的动作指令，基于动作指令调整三维图像23，并将调整后的三维图像23与视频流进行编码，通过服务器13发送给观众端12。生成三维图像23后，第一主播端111和观众端12都可以在连麦界面的基础上显示动态三维图像23，增加连麦互动的趣味性和互动性。
上述实施例的动作指令由第一主播端111识别主播的人脸表情和肢体动作产生，在其它实施例中，动作指令也可以由其它方式产生。具体请继续参阅图6，图6是本申请提供的连麦交互方法第三实施例的流程示意图。
如图所示，本实施例的连麦交互方法具体包括以下步骤：
S301：在观众端向服务器发送礼物信息的情况下，服务器基于礼物信息产生预设的特定动作对应的动作指令，并发送给主播端。
其中，服务器13在预设多个三维图像模型的同时，还可以基于三维图像模型预设多种符合不同模型的特定动作。例如，对于所有模型都预设有骑马舞、抓狂、挑衅、委屈等特定动作，对于女性模型预设有飞吻感谢等符合女性角色的特定动作，对于男性模型预设有鞠躬感谢等符合男性角色的特定动作。
其中，观众端12向第一主播端111赠送高额礼物时，服务器13会接收对应的协议指令以及观众端12的观众信息，观众信息包括观众头像和观众昵称等。
服务器13根据礼物信息的数量以及种类从预设的多种特定动作中匹配对应的特定动作，并以此生成对应的动作指令发送给第一主播端111。例如，当观众端12单笔送礼达到520Y币以上时，服务器13给男性的第一主播端111匹配鞠躬感谢的动作指令，或者给女性的第一主播端111匹配飞吻感谢的动作指令。
S302：主播端基于动作指令调整三维图像，以展示特定动作。
其中，第一主播端111接收到动作指令后，根据动作指令调整三维图像23，以执行对应的特定动作。
例如，第一主播端111根据动作指令触发三维图像23实现飞吻感谢或鞠躬感谢的特定动作；在实现特定动作时，还可以放大三维图像23，并在三维图像23的周围展示送礼观众头像和昵称。
进一步地，第一主播端111可以按照预设时间展示特定动作，例如预设时间设置为5S。若在预设时间内触发多个特定动作或多次相同的特定动作，则按照触发的时间排队播放。
上述实施例介绍了服务器13基于观众端12的礼物信息产生特定动作对应的动作指令，并由第一主播端111根据该动作指令调整三维图像23。进一步地，本申请还提供了其它产生动作指令的方法，具体请继续参阅图7，图7是本申请提供的连麦交互方法第四实施例的流程示意图。
如图所示，本实施例的连麦交互方法具体包括以下步骤：
S401：服务器基于主播端与其它主播端的游戏信息产生预设的特定动作对应的动作指令，并发送给主播端。
其中，在连麦游戏的过程中，服务器13实时统计第一主播端111和第二主播端112的游戏数据，并根据两者的游戏数据判定游戏的进程。对于不同的游戏进程，服务器13可以产生对应的特定动作，用以提示第一主播端111和观众端12游戏的实时进程，提高对连麦游戏的关注度。
例如，在第一主播端111在连麦游戏领先时，服务器13匹配骑马舞的特定动作；在第一主播端111在连麦游戏落后时，服务器13匹配抓狂的特定动作；在第一主播端111在连麦游戏PK获胜时，服务器13匹配挑衅的特定动作；在第一主播端111在连麦游戏PK失败时，服务器13匹配委屈的特定动作。
S402：主播端基于动作指令调整三维图像，以展示特定动作。
其中，第一主播端111接收到动作指令后，根据动作指令调整三维图像23，以执行对应的特定动作。
例如，在接收到游戏领先时的动作指令时，第一主播端111触发三维图像23循环播放骑马舞的特定动作；在接收到游戏落后时的动作指令时，第一主播端111触发三维图像23循环播放抓狂的特定动作，
为了实现上述技术效果，本申请还提出了另一种连麦交互方法，请参阅图8，图8是本申请提供的连麦交互方法第五实施例的流程示意图。本实施例的连麦交互方法应用于一种电子设备，该电子设备可以为上述实施例中的第一主播端111或第二主播端112。
如图所示，本实施例的连麦交互方法具体包括以下步骤：
S501：获取服务器预设的多个三维图像模型，以及主播图像。
S502：基于三维图像模型和主播图像生成对应的三维图像，将三维图像与直播的第一视频流进行编码，并通过服务器发送给其它电子设备。
S503：主播端进一步获取主播的动作指令，基于动作指令调整三维图像，并将调整后的三维图像与视频流进行编码，通过服务器发送给其它电子设备。
为了实现上述实施例的连麦交互方法，本申请提出了一种电子设备，具体请参阅图9，图9是本申请提供的电子设备一实施例的结构示意图。
本实施例的电子设备300包括存储器31和处理器32，其中，存储器31与处理器32耦接。
其中，存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例的连麦互动方法。
在本实施例中，处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图10，图10是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质400中存储有程序数据41，该程序数据41在被处理器执行时，用以实现上述实施例的连麦互动方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种连麦互动方法，其特征在于，所述连麦互动方法应用于直播系统，所述直播系统包括主播端、观众端以及服务器；
所述连麦互动方法包括：
所述主播端从所述服务器获取预设的三维图像模型，并获取主播图像；
所述主播端基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的视频流进行编码，并通过所述服务器发送给所述观众端；
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给所述观众端。
2.根据权利要求1所述的连麦互动方法，其特征在于，所述动作指令包括人脸表情和肢体动作，所述基于所述动作指令调整所述三维图像的步骤包括：
所述主播端从所述视频流识别出所述主播的人脸表情和肢体动作，并根据所述主播的人脸表情和肢体动作调整所述三维图像的表情和动作。
3.根据权利要求2所述的连麦互动方法，其特征在于，
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像的步骤，包括：
在所述观众端向所述服务器发送礼物信息的情况下，所述服务器基于所述礼物信息产生预设的特定动作对应的动作指令，并发送给所述主播端；
所述主播端基于所述动作指令调整所述三维图像，以展示所述特定动作。
4.根据权利要求2所述的连麦互动方法，其特征在于，
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像的步骤，包括：
所述服务器基于所述主播端与其它主播端的游戏信息产生预设的特定动作对应的动作指令，并发送给所述主播端；
所述主播端基于所述动作指令调整所述三维图像，以展示所述特定动作。
5.根据权利要求1所述的连麦互动方法，其特征在于，
所述主播端获取所述服务器的三维图像模型，以及主播图像的步骤，包括：
在所述主播端开启对战游戏的情况下，所述主播端从所述服务器下载多个所述三维图像模型，并通过摄像头拍摄所述主播图像或者通过对所述视频流进行人脸识别以获取所述主播图像；
所述将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给所述观众端的步骤之后，包括：
所述观众端对所述视频流进行解码，以显示包括调整后的所述三维图像的交互界面。
6.根据权利要求1所述的连麦互动方法，其特征在于，
所述连麦互动方法进一步包括：
所述服务器根据多个所述主播端的直播请求从多个所述主播端匹配出第一主播端和第二主播端；
所述第一主播端与所述第二主播端通过所述服务器建立连麦，且所述第一主播端通过所述服务器将第一音视频流发送给所述第二主播端，所述第二主播端通过所述服务器将第二音视频流发送给所述第一主播端；
所述第一主播端和所述第二主播端将直播界面切换为交互界面。
7.一种直播系统，其特征在于，所述直播系统包括主播端、观众端以及服务器，其中，所述主播端和所述观众端通过所述服务器建立通信连接；
所述主播端用于获取所述服务器预设的三维图像模型，以及主播图像；
所述主播端还用于基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的视频流进行编码，并通过所述服务器发送给所述观众端；
所述主播端进一步用于获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给所述观众端。
8.一种连麦互动方法，其特征在于，所述连麦互动方法应用于电子设备，所述连麦互动方法包括：
获取服务器预设的多个三维图像模型，以及主播图像；
基于所述三维图像模型和所述主播图像生成对应的三维图像，将所述三维图像与直播的第一视频流进行编码，并通过所述服务器发送给其它电子设备；
所述主播端进一步获取所述主播的动作指令，基于所述动作指令调整所述三维图像，并将调整后的所述三维图像与所述视频流进行编码，通过所述服务器发送给其它电子设备。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～6以及权利要求8中任一项所述的连麦互动方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～6以及权利要求8中任一项所述的连麦互动方法。
CN201910789896.9A 2019-08-26 2019-08-26 连麦互动方法、直播系统、电子设备及存储介质 Pending CN110519612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910789896.9A CN110519612A (zh) 2019-08-26 2019-08-26 连麦互动方法、直播系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910789896.9A CN110519612A (zh) 2019-08-26 2019-08-26 连麦互动方法、直播系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110519612A true CN110519612A (zh) 2019-11-29

Family

ID=68627010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910789896.9A Pending CN110519612A (zh) 2019-08-26 2019-08-26 连麦互动方法、直播系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110519612A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314720A (zh) * 2020-01-23 2020-06-19 网易（杭州）网络有限公司 直播连麦控制方法、装置、电子设备及计算机可读介质
CN112866741A (zh) * 2021-02-03 2021-05-28 百果园技术(新加坡)有限公司 一种基于3d人脸动画重建的礼物动效展示方法及系统
WO2021159825A1 (zh) * 2020-02-11 2021-08-19 上海哔哩哔哩科技有限公司 直播互动方法及系统
CN113453032A (zh) * 2021-06-28 2021-09-28 广州虎牙科技有限公司 手势互动方法、装置、系统、服务器和存储介质
CN113573083A (zh) * 2021-07-20 2021-10-29 广州方硅信息技术有限公司 连麦直播互动方法、装置及计算机设备
CN113676747A (zh) * 2021-09-27 2021-11-19 广州方硅信息技术有限公司 连麦直播对战互动方法、系统、装置及计算机设备
CN113709537A (zh) * 2020-05-21 2021-11-26 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
WO2022062643A1 (zh) * 2020-09-25 2022-03-31 北京字节跳动网络技术有限公司 游戏直播互动方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006274A (ja) * 2006-05-29 2008-01-17 Toshiba Corp 医用画像処理装置、及び医用画像処理方法
CN106878820A (zh) * 2016-12-09 2017-06-20 北京小米移动软件有限公司 直播互动方法及装置
CN106937154A (zh) * 2017-03-17 2017-07-07 北京蜜枝科技有限公司 处理虚拟形象的方法及装置
CN107170030A (zh) * 2017-05-31 2017-09-15 珠海金山网络游戏科技有限公司 一种虚拟主播直播方法及系统
CN107750014A (zh) * 2017-09-25 2018-03-02 迈吉客科技（北京）有限公司 一种连麦直播方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006274A (ja) * 2006-05-29 2008-01-17 Toshiba Corp 医用画像処理装置、及び医用画像処理方法
CN106878820A (zh) * 2016-12-09 2017-06-20 北京小米移动软件有限公司 直播互动方法及装置
CN106937154A (zh) * 2017-03-17 2017-07-07 北京蜜枝科技有限公司 处理虚拟形象的方法及装置
CN107170030A (zh) * 2017-05-31 2017-09-15 珠海金山网络游戏科技有限公司 一种虚拟主播直播方法及系统
CN107750014A (zh) * 2017-09-25 2018-03-02 迈吉客科技（北京）有限公司 一种连麦直播方法和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314720A (zh) * 2020-01-23 2020-06-19 网易（杭州）网络有限公司 直播连麦控制方法、装置、电子设备及计算机可读介质
WO2021159825A1 (zh) * 2020-02-11 2021-08-19 上海哔哩哔哩科技有限公司 直播互动方法及系统
US11882336B2 (en) 2020-02-11 2024-01-23 Shanghai Bilibili Technology Co., Ltd. Method and system for interaction in live streaming
CN113709537A (zh) * 2020-05-21 2021-11-26 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
CN113709537B (zh) * 2020-05-21 2023-06-13 云米互联科技(广东)有限公司 基于5g电视的用户互动方法、5g电视及可读存储介质
WO2022062643A1 (zh) * 2020-09-25 2022-03-31 北京字节跳动网络技术有限公司 游戏直播互动方法及装置
CN112866741A (zh) * 2021-02-03 2021-05-28 百果园技术(新加坡)有限公司 一种基于3d人脸动画重建的礼物动效展示方法及系统
CN112866741B (zh) * 2021-02-03 2023-03-31 百果园技术(新加坡)有限公司 一种基于3d人脸动画重建的礼物动效展示方法及系统
CN113453032A (zh) * 2021-06-28 2021-09-28 广州虎牙科技有限公司 手势互动方法、装置、系统、服务器和存储介质
CN113573083A (zh) * 2021-07-20 2021-10-29 广州方硅信息技术有限公司 连麦直播互动方法、装置及计算机设备
CN113676747A (zh) * 2021-09-27 2021-11-19 广州方硅信息技术有限公司 连麦直播对战互动方法、系统、装置及计算机设备
CN113676747B (zh) * 2021-09-27 2023-06-13 广州方硅信息技术有限公司 连麦直播对战互动方法、系统、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN110519612A (zh) 连麦互动方法、直播系统、电子设备及存储介质
CN110213601A (zh) 一种基于云游戏的直播系统及直播方法、直播互动方法
TWI650675B (zh) 群組視頻會話的方法及系統、終端、虛擬現實設備及網路設備
US10477179B2 (en) Immersive video
CN108986192B (zh) 用于直播的数据处理方法及装置
CN110149526A (zh) 一种直播互动系统及其控制方法、装置与存储介质
KR20170090417A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
CN112585977A (zh) 内容发布服务器、内容发布系统、内容发布方法及程序
WO2018121684A1 (zh) 一种头戴式设备、游戏交互平台、桌游实现系统及方法
CN109040850A (zh) 游戏直播交互方法、系统、电子设备及装置
US10596451B2 (en) Program and information processing device
CN106730815A (zh) 一种易实现的体感互动方法及系统
CN107948702B (zh) 应用程序状态的同步方法、装置、终端和存储介质
WO2023035897A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
CN110413108A (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN110677610A (zh) 一种视频流控制方法、视频流控制装置及电子设备
WO2024078243A1 (zh) 视频生成模型的训练方法、装置、存储介质及计算机设备
CN111583415A (zh) 信息处理方法、装置和电子设备
CN107317815A (zh) 一种视频叠加的方法及装置、存储介质和终端
CN109274983A (zh) 进行直播的方法和装置
TW202123128A (zh) 虛擬人物直播方法、系統及電腦程式產品
CN109039851A (zh) 交互数据处理方法、装置、计算机设备和存储介质
JP6385543B1 (ja) サーバ装置、配信システム、配信方法及びプログラム
US11465046B2 (en) Video game processing program and video game processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511449 28th floor, block B1, Wanda Plaza, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129