CN110418155B - 直播互动方法、装置、计算机可读存储介质和计算机设备 - Google Patents

直播互动方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN110418155B
CN110418155B CN201910728624.8A CN201910728624A CN110418155B CN 110418155 B CN110418155 B CN 110418155B CN 201910728624 A CN201910728624 A CN 201910728624A CN 110418155 B CN110418155 B CN 110418155B
Authority
CN
China
Prior art keywords
gift
video stream
anchor
live video
portrait area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910728624.8A
Other languages
English (en)
Other versions
CN110418155A (zh
Inventor
张艳军
张俊辉
李维
肖志婕
徐冬博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910728624.8A priority Critical patent/CN110418155B/zh
Publication of CN110418155A publication Critical patent/CN110418155A/zh
Application granted granted Critical
Publication of CN110418155B publication Critical patent/CN110418155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及一种直播互动方法、装置、计算机可读存储介质和计算机设备，所述方法包括：接收观众终端发起的礼物赠送请求，礼物赠送请求携带直播视频流标识；获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端；接收观众终端发送的交互式处理结果，交互式处理结果由观众终端基于主播人像区域进行交互式处理获得，交互式处理结果携带礼物标识以及礼物标识对应的礼物位置信息；基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，并将合成视频流发送给观众终端。本申请提供的方案观众可以参与到礼物制作过程，从而提高了观众与主播之间的互动度。

Description

直播互动方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及网络通信技术领域，特别是涉及一种直播互动方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着互联网技术的发展，在线直播越来越普及，在线直播是指将主播终端的直播视频发送至多个观众终端，以供用户在观众终端观看。在主播在线直播过程中，观众可以通过观众终端向主播赠送虚拟礼物，与主播进行互动。
目前的虚拟礼物赠送方式一般基于后台自动对主播头像进行识别，赠送后礼物固定停留在主播头部。目前的直播互动方法存在依赖系统自动识别位置，观众无法参与礼物制作，导致观众与主播之间的互动度低的问题。
发明内容
基于此，有必要针对观众与主播之间的互动度低的技术问题，提供一种直播互动方法、装置、计算机可读存储介质和计算机设备。
一种直播互动方法，包括：
接收观众终端发起的礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域，并将提取的所述主播人像区域发送给所述观众终端；
接收所述观众终端发送的交互式处理结果，所述交互式处理结果由所述观众终端基于所述主播人像区域进行交互式处理获得，所述交互式处理结果携带礼物标识以及所述礼物标识对应的礼物位置信息；
基于所述礼物位置信息，将所述礼物标识对应的礼物与所述直播视频数据进行叠加处理，获得合成视频流，并将所述合成视频流发送给所述观众终端。
一种直播互动方法，包括：
接收到礼物赠送指令时，向服务器发送礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
接收所述服务器发送的主播人像区域，并将所述主播人像区域进行显示，所述主播人像区域由所述服务器从所述直播视频流标识对应的直播视频数据中提取获得；
基于所述主播人像区域进行交互式处理，获得交互式处理结果，所述交互式处理结果携带选定的礼物标识，以及所述礼物标识对应的礼物位置信息，所述礼物位置信息通过对所述礼物标识对应的礼物的显示方式进行调整获得；
向所述服务器发送所述交互式处理结果，所述交互式处理结果用以指示所述服务器基于所述礼物位置信息，将所述礼物标识对应的礼物与所述直播视频数据进行叠加处理，获得合成视频流；
接收所述服务器返回的所述合成视频流，并将所述合成视频流进行显示。
一种直播互动装置，所述装置包括：
请求接收模块，用于接收观众终端发起的礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
人像提取模块，用于获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域，并将提取的所述主播人像区域发送给所述观众终端；
交互接收模块，用于接收所述观众终端发送的交互式处理结果，所述交互式处理结果由所述观众终端基于所述主播人像区域进行交互式处理获得，所述交互式处理结果携带礼物标识以及所述礼物标识对应的礼物位置信息；
交互处理模块，用于基于所述礼物位置信息，将所述礼物标识对应的礼物与所述直播视频数据进行叠加处理，获得合成视频流，并将所述合成视频流发送给所述观众终端。
一种直播互动装置，所述装置包括：
请求发送模块，用于接收到礼物赠送指令时，向服务器发送礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
人像区域接收模块，用于接收所述服务器发送的主播人像区域，并将所述主播人像区域进行显示，所述主播人像区域由所述服务器从所述直播视频流标识对应的直播视频数据中提取获得；
交互调整模块，用于基于所述主播人像区域进行交互式处理，获得交互式处理结果，所述交互式处理结果携带选定的礼物标识，以及所述礼物标识对应的礼物位置信息，所述礼物位置信息通过对所述礼物标识对应的礼物的显示方式进行调整获得；
交互发送模块，用于向所述服务器发送所述交互式处理结果，所述交互式处理结果用以指示所述服务器基于所述礼物位置信息，将所述礼物标识对应的礼物与所述直播视频数据进行叠加处理，获得合成视频流；
视频显示模块，用于接收所述服务器返回的所述合成视频流，并将所述合成视频流进行显示。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
上述直播互动方法、装置、计算机可读存储介质和计算机设备，观众终端在接收到礼物赠送指令时，向服务器发送礼物赠送请求，礼物赠送请求携带直播视频流标识，通过服务器获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并发送至观众终端，观众终端基于主播人像区域进行交互式处理获得交互式处理结果，由于观众可以通过观众终端进行交互式处理，选定礼物标识并调整礼物位置信息，服务器再基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，在观众终端上显示合成视频流，这样使得观众可以参与到礼物制作过程，从而提高了观众与主播之间的互动度。
附图说明
图1为一个实施例中直播互动方法的应用环境图；
图2为一个实施例中直播互动方法的流程示意图；
图3为另一个实施例中直播互动方法的流程示意图；
图4为一个实施例中直播互动方法的交互过程的流程示意图；
图5为一个实施例中触发礼物赠送入口的直播互动界面示意图；
图6为一个实施例中选择礼物的直播互动界面示意图；
图7为一个实施例中调整礼物位置的直播互动界面示意图；
图8为一个实施例中礼物调整后的直播互动界面示意图；
图9为一个实施例中礼物连送的直播互动界面示意图；
图10为一个实施例中礼物时效的直播互动界面示意图；
图11为一个实施例中直播互动装置的结构框图；
图12为另一个实施例中直播互动装置的结构框图；
图13为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中直播互动方法的应用环境图。参照图1，该应用场景包括观众终端110、服务器120和主播终端130。观众终端110和主播终端130分别通过网络与服务器120连接，观众终端110的数量可以是一个或多个。观众终端110和主播终端130具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种直播互动方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该直播互动方法具体包括如下步骤：
S202，接收观众终端发起的礼物赠送请求，礼物赠送请求携带直播视频流标识。
其中，礼物赠送请求是指观众在观看直播过程中发起的，赠送礼物给主播的请求。礼物是直播平台中的一种虚拟道具，观众在充值或免费获取后可以赠送给主播，与主播进行互动。直播是指通过设备采集开播方数据，经过一系列处理，比如视频编码压缩，得到可观看可传输的视频流，输出至观众终端。直播视频流标识用于对直播视频流进行区分，直播视频流标识可以包括主播标识或者直播房间号标识。比如通过主播标识区分不同主播对应的直播视频流，或者通过直播房间号标识区分不同的直播视频流。
具体地，观众通过观众终端的应用程序观看直播，比如进入某个直播平台观看某个主播的直播，或者进入某个直播房间观看直播。在观看直播过程中，通过发起礼物赠送与主播进行互动。
S204，获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端。
观众终端向服务器发起礼物赠送请求，礼物赠送请求携带直播视频流标识，比如礼物赠送请求携带主播标识或者直播房间号标识，通过直播视频流标识可以获取观众终端发起礼物赠送请求时正在观看的直播视频画面。直播视频数据是指主播终端向服务器发送的一帧帧连续的直播视频画面，具体地，直播视频数据包括主播、背景、道具等画面内容。其中，主播人像区域是指视频画面中主播所在区域。
在一个实施例中，获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，包括：获取直播视频流标识对应的直播视频数据；对直播视频数据的视频画面进行图像识别，识别出视频画面中的物体轮廓；基于识别出的物体轮廓对视频画面进行分割，获得各分割后画面；对各分割后画面进行筛选，筛选出分割后画面中的主播人像区域。按照物体轮廓对视频画面进行识别，比如主播坐在一张椅子上进行直播，那么对该视频画面进行识别的结果可以分别得到主播、椅子、屋内墙面等区域。具体地，可以通过基于区域的分割方法实现对视频画面的分割。
S206，接收观众终端发送的交互式处理结果，交互式处理结果由观众终端基于主播人像区域进行交互式处理获得，交互式处理结果携带礼物标识以及礼物标识对应的礼物位置信息。
交互式处理是指观看直播的观众和观众终端之间进行交互的信息处理方式，观众通过观众终端输入信息和操作命令，观众终端接到后立即处理，并通过观众终端显示处理结果。观众可以根据处理结果进一步输入信息和操作命令，终端与观众以人机对话的方式一问一答，直至获得最后的交互式处理结果。
礼物标识是指用于区分不同礼物的标识，在直播平台中，礼物是一种虚拟道具，用户可以充值获取或免费获取。具体地，礼物标识对应的礼物可以是贴屏礼物，贴屏礼物是在用户给主播赠送礼物操作中，基于AR(Augmented Reality，增强现实)3D技术展示礼物样式。贴屏礼物具体可以包括恶搞类、颜值类、文字类和场景类四种类型，其中，恶搞类是指以恶搞趣味为主设计的挂件礼物，比如“头戴内裤”“墨镜破裂”“可爱猪头”等；颜值类是指以提高主播颜色和可爱特征为主设计的挂件礼物，比如“兔耳朵”“粉红笑脸”等；文字类是指以游戏梗和热点文字为特征设计的挂件礼物，比如“老铁”“是个演员”等；场景类是指以丰富和改变直播背景策划制定的挂件礼物，比如绝地求生的地图挂件，可以用来模拟主播在战场中的情景。
礼物位置信息是指礼物在主播人像区域的位置信息和礼物的大小信息，比如礼物在主播面部或身体的任意位置，或者礼物显示样式的大小。用户在观看直播时，可以选择赠送的贴屏礼物，再任意拖动礼物到主播面部或身体的任意位置，达到和主播五官或身体贴合的效果，利用AR技术可实现3D显示，增加送礼的多样性以及与主播互动的趣味性。用户可以根据个人喜好和意愿随意移动挂件位置，选择礼物在视频画面中的摆放位置，也可以适当放大或缩小贴屏礼物，这样能充分地提升用户送礼的参与感和制作乐趣，提升与主播的互动度。
S208，基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，并将合成视频流发送给观众终端。
合成视频流可以是一个用户选定多个礼物，多个礼物分别对应不同的礼物标识和礼物位置信息，分别将每个礼物标识对应的礼物、礼物位置信息与直播视频数据进行叠加得到；也可以是不同用户选定的多个礼物，多个礼物分别对应不同的礼物标识和礼物位置信息，分别将每个礼物标识对应的礼物、礼物位置信息与直播视频数据进行叠加得到。
上述直播互动方法，观众终端向服务器发送礼物赠送请求，礼物赠送请求携带直播视频流标识，通过服务器获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并发送至观众终端，观众终端基于主播人像区域进行交互式处理获得交互式处理结果，由于观众可以通过观众终端进行交互式处理，选定礼物标识并调整礼物位置信息，服务器再基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，在观众终端上显示合成视频流，这样使得观众可以参与到礼物制作过程，从而提高了观众与主播之间的互动度。
在一个实施例中，礼物赠送请求还携带礼物类型标识，在礼物类型标识对应的礼物类型为3D礼物时，进入获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域的步骤。用户在观看直播时，点击赠送礼物，服务器根据礼物赠送请求携带的礼物类型标识判断礼物类型，如果用户赠送的礼物类型为3D礼物，获取直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端。通过设定礼物类型判断，在礼物类型为3D礼物时，触发服务器提取主播人像区域，以便后续基于主播人像区域进行礼物制作。利用AR技术可实现礼物的3D显示，增加送礼的多样性以及礼物与主播互动的趣味性，也能让用户在虚拟屏幕感受到实体礼物的真实感。
在一个实施例中，基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，包括：在预定时间段内接收到两个以上观众终端发送的交互式处理结果时，基于各交互式处理结果携带的礼物标识以及礼物标识对应的礼物位置信息，将各礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流。当在预定时间段内，比如两分钟内，多个观众发起礼物赠送，将多个观众选定的礼物以及礼物在主播人像区域的礼物位置信息与直播视频数据进行叠加，获得合成视频流，这样可实现不同观众终端发送的礼物叠加显示于屏幕。
在一个实施例中，将提取的主播人像区域发送给观众终端之后，还包括步骤：接收观众终端发送的调整后主播人像区域；或者交互式处理结果还包括调整后主播人像区域。将提取的主播人像区域发送给发起礼物赠送对应的观众终端，由于基于直播视频数据提取的主播人像区域不一定准确，比如基于人脸识别和图像分割提取出的主播人像区域不一定准确，因此可以由用户对提取的主播人像区域进行校正，以提高主播人像区域的准确度。一方面，在某个预定时间段内存在多个观众终端发起礼物赠送进行互动时，服务器将基于直播视频数据提取的主播人像区域R发送给某一个观众终端进行确认，其对主播人像区域R进行校正，将校正后的主播人像区域T返回至服务器，此时，服务器可以直接将校正后的主播人像区域T发送给其它观众终端进行确认。另一方面，服务器接收到校正后的主播人像区域后，可基于校正后的主播人像区域，对该时段内直播视频数据中的其它视频帧对应的主播人像区域进行调整，以提高识别出的主播人像区域的精准度。
在一个实施例中，直播互动方法还包括：根据礼物标识对应的礼物价值，在将合成视频流发送给观众终端预定时间段后，将礼物标识对应的礼物从合成视频流中删除，预定时间段与礼物价值对应。礼物具有一定的时效性，根据礼物的价值对应在屏幕停留一定的时间，在屏幕停留时间的长短与礼物本身价值相等，比如，礼物越贵，礼物在屏幕停留的时间越长。在礼物连送加时场景下，接收观众终端发起的礼物连送请求，连送请求携带礼物标识对应的连送次数；基于礼物标识对应的礼物价值和连送次数，在将合成视频流发送给观众终端预定时间段后，将礼物标识对应的礼物从合成视频流中删除，预定时间段根据礼物价值和连送次数得到。连送加时的礼物显示时长具体可以是单个礼物的显示时长乘以礼物连送次数。比如用户选定熊猫脸作为赠送礼物，一个熊猫脸的显示时长为10秒，用户选择了连送10个熊猫脸，此时，熊猫脸在屏幕的显示时长即为100秒。
在一个实施例中，直播互动方法还包括：在接收到主播终端发送的关闭挂件显示指令时，将礼物标识对应的礼物从合成视频流中删除。关闭挂件显示指令是指用于关闭显示于屏幕的挂件礼物的指令，具体地，主播可以一键关闭展示在其脸部或身体周围的礼物，以排除礼物显示可能带来的直播干扰。
如图3所示，在一个实施例中，提供了一种直播互动方法。本实施例主要以该方法应用于上述图1中的观众终端110来举例说明。参照图3，该直播互动方法具体包括如下步骤：
S302，接收到礼物赠送指令时，向服务器发送礼物赠送请求，礼物赠送请求携带直播视频流标识。
礼物赠送指令是指用户触发的，用于赠送礼物的指令，比如，用户点击观众终端上的礼物面板控件，观众终端即获得礼物赠送指令。当观众终端接收到用户的礼物赠送指令时，向服务器发送礼物赠送请求。礼物赠送请求是指用户在观看直播过程中发起的，赠送礼物给主播的请求。礼物是直播平台中的一种虚拟道具，观众在充值或免费获取后可以赠送给主播，与主播进行互动。直播是指通过设备采集开播方数据，经过一系列处理，比如视频编码压缩，得到可观看可传输的视频流，输出至观众终端。直播视频流标识用于对直播视频流进行区分，直播视频流标识可以包括主播标识或者直播房间号标识。比如通过主播标识区分不同主播对应的直播视频流，或者通过直播房间号标识区分不同的直播视频流。
具体地，观众通过观众终端的应用程序观看直播，比如进入某个直播平台观看某个主播的直播，或者进入某个直播房间观看直播。在观看直播过程中，通过发起礼物赠送与主播进行互动。
S304，接收服务器发送的主播人像区域，并将主播人像区域进行显示，主播人像区域由服务器从直播视频流标识对应的直播视频数据中提取获得。
观众终端向服务器发起礼物赠送请求，礼物赠送请求携带直播视频流标识，比如礼物赠送请求携带主播标识或者直播房间号标识，通过直播视频流标识可以获取观众终端发起礼物赠送请求时正在观看的直播视频画面。直播视频数据是指主播终端向服务器发送的一帧帧连续的直播视频画面，具体地，直播视频数据包括主播、背景、道具等画面内容。其中，主播人像区域是指视频画面中主播所在区域。
S306，基于主播人像区域进行交互式处理，获得交互式处理结果，交互式处理结果携带选定的礼物标识，以及礼物标识对应的礼物位置信息，礼物位置信息通过对礼物标识对应的礼物的显示方式进行调整获得。
交互式处理是指观看直播的观众和观众终端之间进行交互的信息处理方式，观众通过观众终端输入信息和操作命令，观众终端接到后立即处理，并通过观众终端显示处理结果。观众可以根据处理结果进一步输入信息和操作命令，终端与观众以人机对话的方式一问一答，直至获得最后的交互式处理结果。
礼物标识是指用于区分不同礼物的标识，在直播平台中，礼物是一种虚拟道具，用户可以充值获取或免费获取。具体地，礼物标识对应的礼物可以是贴屏礼物，贴屏礼物是在用户给主播赠送礼物操作中，基于AR(Augmented Reality，增强现实)3D技术展示礼物样式。贴屏礼物具体可以包括恶搞类、颜值类、文字类和场景类四种类型，其中，恶搞类是指以恶搞趣味为主设计的挂件礼物，比如“头戴内裤”“墨镜破裂”“可爱猪头”等；颜值类是指以提高主播颜色和可爱特征为主设计的挂件礼物，比如“兔耳朵”“粉红笑脸”等；文字类是指以游戏梗和热点文字为特征设计的挂件礼物，比如“老铁”“是个演员”等；场景类是指以丰富和改变直播背景策划制定的挂件礼物，比如绝地求生的地图挂件，可以用来模拟主播在战场中的情景。
礼物位置信息是指礼物在主播人像区域的位置信息和礼物的大小信息，比如礼物在主播面部或身体的任意位置，或者礼物显示样式的大小。用户在观看直播时，可以选择赠送的贴屏礼物，可任意拖动礼物到主播面部或身体的任意位置，达到和主播五官或身体贴合的效果，利用AR技术可实现3D显示，增加送礼的多样性以及与主播互动的趣味性。用户可以根据个人喜好和意愿随意移动挂件位置，选择礼物在视频画面中的摆放位置，也可以适当放大或缩小贴屏礼物，这样能充分地提升用户送礼的参与感和制作乐趣，提升与主播的互动度。
S308，向服务器发送交互式处理结果，交互式处理结果用以指示服务器基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流。
合成视频流可以是一个用户选定多个礼物，多个礼物分别对应不同的礼物标识和礼物位置信息，分别将每个礼物标识对应的礼物、礼物位置信息与直播视频数据进行叠加得到；也可以是不同用户选定的多个礼物，多个礼物分别对应不同的礼物标识和礼物位置信息，分别将每个礼物标识对应的礼物、礼物位置信息与直播视频数据进行叠加得到。
S310，接收服务器返回的合成视频流，并将合成视频流进行显示。
上述直播互动方法，观众终端在接收到礼物赠送指令时，向服务器发送礼物赠送请求，礼物赠送请求携带直播视频流标识，通过服务器获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并发送给观众终端，观众终端基于主播人像区域进行交互式处理获得交互式处理结果，由于观众可以通过观众终端进行交互式处理，选定礼物标识并调整礼物位置信息，服务器再基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，在观众终端上显示合成视频流，这样使得观众可以参与到礼物制作过程，从而提高了观众与主播之间的互动度。
在一个实施例中，礼物赠送请求还携带礼物类型标识，在礼物类型标识对应的礼物类型为3D礼物时，接收服务器发送的主播人像区域。用户在观看直播时，点击赠送礼物，服务器根据礼物赠送请求携带的礼物类型标识判断礼物类型，如果用户赠送的礼物类型为3D礼物，获取直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端。通过设定礼物类型判断，在礼物类型为3D礼物时，触发服务器提取主播人像区域，以便后续基于主播人像区域进行礼物制作。利用AR技术可实现礼物的3D显示，增加送礼的多样性以及礼物与主播互动的趣味性，也能让用户在虚拟屏幕感受到实体礼物的真实感。
在一个实施例中，接收到礼物赠送指令之前，还包括步骤：从服务器获取直播视频流标识对应的直播视频数据并进行显示，在显示直播视频数据的直播画面中，设置送礼面板，送礼面板的预定位置设置有贴屏送礼控件；通过贴屏送礼控件接收礼物赠送指令。用户在观看直播时，点击礼物面板，进入送礼界面，通过贴屏送礼控件选择赠送的贴屏礼物。将贴屏礼物入口固化在送礼面板，这样任何用户都可以选择贴屏礼物赠送给主播，增大了贴屏礼物的受众度。
在一个实施例中，直播互动方法还包括：获取所在终端的姿态信息；根据姿态信息对合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。当用户在观众直播过程中旋转观众终端时，终端自动识别并调整播放器的画面角度，展示出当前角度对应的视频画面。比如，用户旋转手机时，手机自动识别并调整播放器的画面角度，展示出当前角度对应的3D视频画面。具体可以通过手机自带的陀螺仪来实现旋转检测。
在一个实施例中，直播互动方法还包括：接收滑动指令，根据滑动指令对应的滑动轨迹的方向，对合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。用户在观看直播过程中，也可以通过滑动直播视频画面调整画面角度，比如随着手指的滑动，画面也跟随切换。
在一个实施例中，直播互动方法还包括：基于主播人像区域进行交互式处理，获得交互式处理结果，包括：接收礼物选择指令，礼物选择指令携带礼物标识；获取与礼物标识对应的礼物，并将礼物在主播人像区域进行显示；接收礼物位置调整指令，基于礼物位置调整指令生成对应于礼物的方框，通过拖动或调整方框对礼物的显示方式进行调整，获得调整后的礼物位置信息。礼物标识是指用于区分不同礼物的标识，礼物标识对应的礼物包括不同图案对应的礼物，比如熊猫图案的礼物、兔耳朵图案的礼物等。用户可以在观众终端展示的礼物中选择赠送的礼物，拖动选定的礼物至视频画面中主播人像区域，此时，观众终端展示的是礼物在主播人像区域的叠加画面，同时在礼物的周边区域显示礼物的方框，用户可以拖动或调整方框，实现对礼物显示方式的调整。
在一个实施例中，直播互动方法还包括：交互式处理结果还携带连送次数；基于主播人像区域进行交互式处理，获得交互式处理结果，还包括：通过连送控件接收连送指令，连送指令携带连送次数。用户选定赠送礼物后，视频画面预设位置处显示连送控件，用户点击连送控件可以实现该选定礼物的连送，比如乘10或乘20。连送加时的礼物显示时长具体可以是单个礼物的显示时长乘以礼物连送次数。比如用户选定熊猫脸作为赠送礼物，一个熊猫脸的显示时长为 10秒，用户选择了连送10个熊猫脸，此时，熊猫脸在屏幕的显示时长即为100 秒。
基于如上所述的各实施例，图4示出了一个具体示例的直播互动方法的交互过程的流程示意图。如图4所示，在一个具体的直播互动过程中，主播终端向服务器发送直播视频流，服务器对直播视频流进行处理，比如解码压缩，并向观众终端发送处理后的直播视频流。观众终端在观看直播过程，可以向服务器发起礼物赠送请求，礼物赠送请求携带礼物类型标识和直播视频流标识。服务器接收礼物赠送请求，当礼物类型标识对应的礼物类型为3D礼物时，获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并将主播人像区域发送给观众终端。观众终端基于主播人像区域进行交互式处理，获得交互式处理结果，向服务器发送交互式处理结果，交互式处理结果携带礼物标识和礼物位置信息。服务器基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，向观众终端发送该合成视频流。观众终端接收服务器返回的合成视频流，并将合成视频流进行显示。
下面将结合图5-图10中的界面图来具体描述一个示例中观众终端的交互式处理过程。用户进入直播间，通过点击图5中右下角的礼物赠送入口，进入如图6所示的送礼界面。在图6的界面中，用户可以在礼物面板选择一个礼物，将礼物拖动至主播人像区域，礼物面板切换至全部挂件礼物。如图7所示，用户选定了熊猫脸作为赠送礼物，在熊猫脸图案的周边出现了方框。用户可通过拖动或调整方框，调整熊猫脸在主播人像区域的大小和角度，图8为礼物大小和角度调整后的界面图。由于礼物具有一定的时效性，用户可以通过界面右下角的连送控件实现礼物的连送加时，如图9所示。不同的礼物对应不同的礼物价值，根据礼物价值对应在屏幕停留显示一定的时间，在屏幕停留时间的长短与礼物本身价值相等，图10为礼物送出后界面的时间显示。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述方法相同的思想，图11示出了一个实施例的直播互动装置的结构示意图，该实施例是以设置在服务器120为例进行说明。
如图11所示，该实施例中的直播互动装置包括：
请求接收模块1102，用于接收观众终端发起的礼物赠送请求，礼物赠送请求携带直播视频流标识；
人像提取模块1104，用于获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端；
交互接收模块1106，用于接收观众终端发送的交互式处理结果，交互式处理结果由观众终端基于主播人像区域进行交互式处理获得，交互式处理结果携带礼物标识以及礼物标识对应的礼物位置信息；
交互处理模块1108，用于基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，并将合成视频流发送给观众终端。
在一个实施例中，礼物赠送请求还携带礼物类型标识，直播互动装置还包括礼物类型判断模块，用于在礼物类型标识对应的礼物类型为3D礼物时，进入人像提取模块。
在一个实施例中，交互处理模块还用于在预定时间段内接收到两个以上观众终端发送的交互式处理结果时，基于各交互式处理结果携带的礼物标识以及礼物标识对应的礼物位置信息，将各礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流。
在一个实施例中，人像提取模块还用于获取直播视频流标识对应的直播视频数据；对直播视频数据的视频画面进行图像识别，识别出视频画面中的物体轮廓；基于识别出的物体轮廓对视频画面进行分割，获得各分割后画面；对各分割后画面进行筛选，筛选出分割后画面中的主播人像区域。
在一个实施例中，人像提取模块之后，还包括人像确认模块，用于接收观众终端发送的调整后主播人像区域；或者交互式处理结果还包括调整后主播人像区域。
在一个实施例中，直播互动装置还包括礼物时效控制模块，用于根据礼物标识对应的礼物价值，在将合成视频流发送给观众终端预定时间段后，将礼物标识对应的礼物从合成视频流中删除，预定时间段与礼物价值对应。
在一个实施例中，直播互动装置还包括连送加时模块，用于接收观众终端发起的礼物连送请求，连送请求携带礼物标识对应的连送次数；基于礼物标识对应的礼物价值和连送次数，在将合成视频流发送给观众终端预定时间段后，将礼物标识对应的礼物从合成视频流中删除，预定时间段根据礼物价值和连送次数得到。
在一个实施例中，直播互动装置还包括一键关闭模块，用于在接收到主播终端发送的关闭挂件显示指令时，将礼物标识对应的礼物从合成视频流中删除。
图12示出了另一个实施例中的直播互动装置的结构示意图，该实施例中是以设置在观众终端110为例进行说明。
如图12所示，该实施例中的直播互动装置包括：
请求发送模块1202，用于接收到礼物赠送指令时，向服务器发送礼物赠送请求，礼物赠送请求携带直播视频流标识；
人像区域接收模块1204，用于接收服务器发送的主播人像区域，并将主播人像区域进行显示，主播人像区域由服务器从直播视频流标识对应的直播视频数据中提取获得；
交互调整模块1206，用于基于主播人像区域进行交互式处理，获得交互式处理结果，交互式处理结果携带选定的礼物标识，以及礼物标识对应的礼物位置信息，礼物位置信息通过对礼物标识对应的礼物的显示方式进行调整获得；
交互发送模块1208，用于向服务器发送所述交互式处理结果，交互式处理结果用以指示服务器基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流；
视频显示模块1210，用于接收服务器返回的合成视频流，并将合成视频流进行显示。
在一个实施例中，礼物赠送请求还携带礼物类型标识，直播互动装置还包括礼物类型判断模块，用于在礼物类型标识对应的礼物类型为3D礼物时，进入人像区域接收模块。
在一个实施例中，请求发送模块之前还包括礼物选定模块，用于从服务器获取直播视频流标识对应的直播视频数据并进行显示，在显示直播视频数据的直播画面中，设置送礼面板，送礼面板的预定位置设置有贴屏送礼控件；通过贴屏送礼控件接收礼物赠送指令。
在一个实施例中，直播互动装置还包括角度自调整模块，用于获取所在终端的姿态信息；根据姿态信息对合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。
在一个实施例中，直播互动装置还包括手动调整模块，用于接收滑动指令，根据滑动指令对应的滑动轨迹的方向，对合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。
在一个实施例中，交互调整模块还用于接收礼物选择指令，礼物选择指令携带礼物标识；获取与礼物标识对应的礼物，并将礼物在主播人像区域进行显示；接收礼物位置调整指令，基于礼物位置调整指令生成对应于礼物的方框，通过拖动或调整方框对礼物的显示方式进行调整，获得调整后的礼物位置信息。
在一个实施例中，交互式处理结果还携带连送次数；交互调整模块还用于通过连送控件接收连送指令，连送指令携带连送次数。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的观众终端110或服务器120。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现直播互动方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行直播互动方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的直播互动装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该直播互动装置的各个程序模块，比如，图11所示的请求接收模块、人像提取模块、交互接收模块和交互处理模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的直播互动方法中的步骤。
例如，图13所示的计算机设备可以通过如图11所示的直播互动装置中的请求接收模块执行接收观众终端发起的礼物赠送请求，礼物赠送请求携带直播视频流标识。计算机设备可通过人像提取模块执行获取直播视频流标识对应的直播视频数据，提取直播视频数据中的主播人像区域，并将提取的主播人像区域发送给观众终端。计算机设备可通过交互接收模块执行接收观众终端发送的交互式处理结果，交互式处理结果由观众终端基于主播人像区域进行交互式处理获得，交互式处理结果携带礼物标识以及礼物标识对应的礼物位置信息。计算机设备可通过交互处理模块执行基于礼物位置信息，将礼物标识对应的礼物与直播视频数据进行叠加处理，获得合成视频流，并将合成视频流发送给观众终端。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述直播互动方法的步骤。此处直播互动方法的步骤可以是上述各个实施例的直播互动方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述直播互动方法的步骤。此处直播互动方法的步骤可以是上述各个实施例的直播互动方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种直播互动方法，包括：
接收观众终端发起的礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域，并将提取的所述主播人像区域发送给所述观众终端；
接收所述观众终端发送的交互式处理结果，所述交互式处理结果由所述观众终端基于所述主播人像区域进行交互式处理获得，所述交互式处理结果携带调整后主播人像区域、礼物标识以及所述礼物标识对应的礼物位置信息，其中，所述礼物位置信息是用户对所述礼物标识对应的礼物的显示方式进行调整，以使所述礼物与主播五官或身体贴合所获得的，包含所述礼物在主播人像区域的任意位置的位置信息和所述礼物的大小信息；所述调整后的主播人像区域是所述用户基于所述提取的主播人像区域进行校正后得到的；
在预定时间段内接收到两个以上观众终端发送的交互式处理结果时，基于所述调整后的主播人像区域对所述直播视频数据中的其它视频帧对应的主播人像区域进行调整，得到调整后的直播视频数据；基于各交互式处理结果携带的礼物标识以及礼物标识对应的礼物位置信息，将各所述礼物标识对应的礼物与所述调整后的直播视频数据进行叠加处理，获得合成视频流，并将所述合成视频流发送给所述观众终端；
接收到主播终端发送的关闭挂件显示指令时，将所述礼物标识对应的礼物从所述合成视频流中删除。
2.根据权利要求1所述的方法，其特征在于，所述礼物赠送请求还携带礼物类型标识，在所述礼物类型标识对应的礼物类型为3D礼物时，进入获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域的步骤。
3.根据权利要求1所述的方法，其特征在于，所述获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域，包括：
获取所述直播视频流标识对应的直播视频数据；
对所述直播视频数据的视频画面进行图像识别，识别出所述视频画面中的物体轮廓；
基于识别出的物体轮廓对所述视频画面进行分割，获得各分割后画面；
对各所述分割后画面进行筛选，筛选出所述分割后画面中的主播人像区域。
4.根据权利要求1所述的方法，其特征在于，所述将提取的所述主播人像区域发送给所述观众终端之后，还包括步骤：
接收所述观众终端发送的调整后主播人像区域。
5.根据权利要求1所述的方法，其特征在于，还包括：
根据所述礼物标识对应的礼物价值，在将所述合成视频流发送给所述观众终端预定时间段后，将所述礼物标识对应的礼物从所述合成视频流中删除，所述预定时间段与所述礼物价值对应；
或者
接收观众终端发起的礼物连送请求，所述连送请求携带所述礼物标识对应的连送次数；
基于所述礼物标识对应的礼物价值和连送次数，在将所述合成视频流发送给所述观众终端预定时间段后，将所述礼物标识对应的礼物从所述合成视频流中删除，所述预定时间段根据所述礼物价值和所述连送次数得到。
6.一种直播互动方法，包括：
接收到礼物赠送指令时，向服务器发送礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
接收所述服务器发送的主播人像区域，并将所述主播人像区域进行显示，所述主播人像区域由所述服务器从所述直播视频流标识对应的直播视频数据中提取获得；
基于所述主播人像区域进行交互式处理，获得交互式处理结果，所述交互式处理结果携带调整后主播人像区域、选定的礼物标识，以及所述礼物标识对应的礼物位置信息，所述礼物位置信息通过对所述礼物标识对应的礼物的显示方式进行调整，以使所述礼物与主播五官或身体贴合获得，包含所述礼物在主播人像区域的任意位置的位置信息和所述礼物的大小信息；所述调整后的主播人像区域是用户基于所述提取的主播人像区域进行校正后得到的；
向所述服务器发送所述交互式处理结果，所述交互式处理结果用以指示所述服务器基于所述调整后的主播人像区域对所述直播视频数据中的其它视频帧对应的主播人像区域进行调整，得到调整后的直播视频数据，基于所述礼物位置信息，将所述礼物标识对应的礼物与所述调整后的直播视频数据进行叠加处理，获得合成视频流，所述服务器还在接收到主播终端发送的关闭挂件显示指令时，将所述礼物标识对应的礼物从所述合成视频流中删除；
接收所述服务器返回的所述合成视频流，并将所述合成视频流进行显示。
7.根据权利要求6所述的方法，其特征在于，所述接收到礼物赠送指令之前，还包括步骤：
从服务器获取所述直播视频流标识对应的直播视频数据并进行显示，在显示所述直播视频数据的直播画面中，设置送礼面板，所述送礼面板的预定位置设置有贴屏送礼控件；
通过所述贴屏送礼控件接收礼物赠送指令。
8.根据权利要求6所述的方法，其特征在于，还包括：
获取所在终端的姿态信息；
根据所述姿态信息对所述合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示；
或者
接收滑动指令，根据所述滑动指令对应的滑动轨迹的方向，对所述合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。
9.根据权利要求6所述的方法，其特征在于，所述基于所述主播人像区域进行交互式处理，获得交互式处理结果，包括：
接收礼物选择指令，所述礼物选择指令携带礼物标识；
获取与所述礼物标识对应的礼物，并将所述礼物在所述主播人像区域进行显示；
接收礼物位置调整指令，基于所述礼物位置调整指令生成对应于所述礼物的方框，通过拖动或调整所述方框对所述礼物的显示方式进行调整，获得调整后的礼物位置信息。
10.根据权利要求6所述的方法，其特征在于，所述交互式处理结果还携带连送次数；
所述基于所述主播人像区域进行交互式处理，获得交互式处理结果，还包括：通过连送控件接收连送指令，所述连送指令携带连送次数。
11.一种直播互动装置，其特征在于，所述装置包括：
请求接收模块，用于接收观众终端发起的礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
人像提取模块，用于获取所述直播视频流标识对应的直播视频数据，提取所述直播视频数据中的主播人像区域，并将提取的所述主播人像区域发送给所述观众终端；
交互接收模块，用于接收所述观众终端发送的交互式处理结果，所述交互式处理结果由所述观众终端基于所述主播人像区域进行交互式处理获得，所述交互式处理结果携带调整后主播人像区域、礼物标识以及所述礼物标识对应的礼物位置信息，其中，所述礼物位置信息是用户对所述礼物标识对应的礼物的显示方式进行调整，以使所述礼物与主播五官或身体贴合所获得的，包含所述礼物在主播人像区域的任意位置的位置信息和所述礼物的大小信息；所述调整后的主播人像区域是所述用户基于所述提取的主播人像区域进行校正后得到的；
交互处理模块，用于在预定时间段内接收到两个以上观众终端发送的交互式处理结果时，基于所述调整后的主播人像区域对所述直播视频数据中的其它视频帧对应的主播人像区域进行调整，得到调整后的直播视频数据；基于各交互式处理结果携带的礼物标识以及礼物标识对应的礼物位置信息，将各所述礼物标识对应的礼物与所述调整后的直播视频数据进行叠加处理，获得合成视频流；接收到主播终端发送的关闭挂件显示指令时，将所述礼物标识对应的礼物从所述合成视频流中删除。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：第一礼物类型判断模块，用于在所述礼物类型标识对应的礼物类型为3D礼物时，进入所述人像提取模块。
13.根据权利要求11所述的装置，其特征在于，所述人像提取模块还用于：获取所述直播视频流标识对应的直播视频数据；对所述直播视频数据的视频画面进行图像识别，识别出所述视频画面中的物体轮廓；基于识别出的物体轮廓对所述视频画面进行分割，获得各分割后画面；对各所述分割后画面进行筛选，筛选出所述分割后画面中的主播人像区域。
14.根据权利要求11所述的装置，其特征在于，所述装置还包括：人像确认模块；
所述人像确认模块，用于接收所述观众终端发送的调整后主播人像区域。
15.根据权利要求11所述的装置，其特征在于，所述装置还包括：礼物时效控制模块，或，加时模块；
所述礼物时效控制模块，用于根据所述礼物标识对应的礼物价值，在将所述合成视频流发送给所述观众终端预定时间段后，将所述礼物标识对应的礼物从所述合成视频流中删除，所述预定时间段与所述礼物价值对应；
所述加时模块，用于接收观众终端发起的礼物连送请求，所述连送请求携带所述礼物标识对应的连送次数；基于所述礼物标识对应的礼物价值和连送次数，在将所述合成视频流发送给所述观众终端预定时间段后，将所述礼物标识对应的礼物从所述合成视频流中删除，所述预定时间段根据所述礼物价值和所述连送次数得到。
16.一种直播互动装置，其特征在于，所述装置包括：
请求发送模块，用于接收到礼物赠送指令时，向服务器发送礼物赠送请求，所述礼物赠送请求携带直播视频流标识；
人像区域接收模块，用于接收所述服务器发送的主播人像区域，并将所述主播人像区域进行显示，所述主播人像区域由所述服务器从所述直播视频流标识对应的直播视频数据中提取获得；
交互调整模块，用于基于所述主播人像区域进行交互式处理，获得交互式处理结果，所述交互式处理结果携带调整后主播人像区域、选定的礼物标识，以及所述礼物标识对应的礼物位置信息，所述礼物位置信息通过对所述礼物标识对应的礼物的显示方式进行调整，以使所述礼物与主播五官或身体贴合获得，包含所述礼物在主播人像区域的任意位置的位置信息和所述礼物的大小信息；所述调整后的主播人像区域通过对所述提取的主播人像区域进行校正后得到；
交互发送模块，用于向所述服务器发送所述交互式处理结果，所述交互式处理结果用以指示所述服务器基于所述调整后的主播人像区域对所述直播视频数据中的其它视频帧对应的主播人像区域进行调整，得到调整后的直播视频数据；基于所述礼物位置信息，将所述礼物标识对应的礼物与所述调整后的直播视频数据进行叠加处理，获得合成视频流，所述服务器还在接收到主播终端发送的关闭挂件显示指令时，将所述礼物标识对应的礼物从所述合成视频流中删除；
视频显示模块，用于接收所述服务器返回的所述合成视频流，并将所述合成视频流进行显示。
17.根据权利要求16所述的装置，其特征在于，所述装置还包括礼物选定模块，用于从服务器获取所述直播视频流标识对应的直播视频数据并进行显示，在显示所述直播视频数据的直播画面中，设置送礼面板，所述送礼面板的预定位置设置有贴屏送礼控件；通过所述贴屏送礼控件接收礼物赠送指令。
18.根据权利要求16所述的装置，其特征在于，所述装置还包括角度自调整模块，或，手动调整模块；
所述角度自调整模块，用于获取所在终端的姿态信息；根据所述姿态信息对所述合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示；
所述手动调整模块，用于接收滑动指令，根据所述滑动指令对应的滑动轨迹的方向，对所述合成视频流的角度进行调整，获得角度调整后的合成视频流，并将角度调整后的合成视频流进行显示。
19.根据权利要求16所述的装置，其特征在于，所述交互调整模块还用于：接收礼物选择指令，所述礼物选择指令携带礼物标识；获取与所述礼物标识对应的礼物，并将所述礼物在所述主播人像区域进行显示；接收礼物位置调整指令，基于所述礼物位置调整指令生成对应于所述礼物的方框，通过拖动或调整所述方框对所述礼物的显示方式进行调整，获得调整后的礼物位置信息。
20.根据权利要求16所述的装置，其特征在于，所述交互调整模块还用于：通过连送控件接收连送指令，所述连送指令携带连送次数。
21.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10任一项所述方法的步骤。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10任一项所述方法的步骤。
CN201910728624.8A 2019-08-08 2019-08-08 直播互动方法、装置、计算机可读存储介质和计算机设备 Active CN110418155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910728624.8A CN110418155B (zh) 2019-08-08 2019-08-08 直播互动方法、装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910728624.8A CN110418155B (zh) 2019-08-08 2019-08-08 直播互动方法、装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN110418155A CN110418155A (zh) 2019-11-05
CN110418155B true CN110418155B (zh) 2022-12-16

Family

ID=68366470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910728624.8A Active CN110418155B (zh) 2019-08-08 2019-08-08 直播互动方法、装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110418155B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933452B (zh) * 2019-12-02 2021-12-03 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN113253880B (zh) * 2020-02-11 2024-03-08 腾讯科技（深圳）有限公司 互动场景的页面的处理方法、装置及存储介质
CN111277854A (zh) * 2020-03-04 2020-06-12 网易（杭州）网络有限公司 一种虚拟直播间的展示方法、装置、电子设备和存储介质
CN111327920A (zh) * 2020-03-24 2020-06-23 上海万面智能科技有限公司 基于直播的信息交互方法、装置、电子设备及可读存储介质
CN111464828A (zh) * 2020-05-14 2020-07-28 广州酷狗计算机科技有限公司 虚拟特效显示方法、装置、终端及存储介质
CN111698570B (zh) * 2020-05-29 2022-03-08 广州方硅信息技术有限公司 虚拟礼物展示方法、装置、设备及存储介质
CN111654715B (zh) * 2020-06-08 2024-01-09 腾讯科技（深圳）有限公司 直播的视频处理方法、装置、电子设备及存储介质
CN111970533B (zh) * 2020-08-28 2022-11-04 北京达佳互联信息技术有限公司 直播间的互动方法、装置及电子设备
CN112188223B (zh) * 2020-09-28 2023-12-01 腾讯科技（深圳）有限公司 直播视频播放方法、装置、设备及介质
CN112543343B (zh) * 2020-11-27 2024-02-23 广州华多网络科技有限公司 基于连麦直播的直播画面处理方法、装置及电子设备
CN114598894A (zh) * 2020-12-03 2022-06-07 北京字节跳动网络技术有限公司 交互消息处理方法、装置、设备和介质
CN113992946B (zh) * 2020-12-18 2024-02-02 彭兴勇 基于订单礼包向终端设备推送视频的方法及系统
CN112804546B (zh) * 2021-01-07 2022-10-21 腾讯科技（深圳）有限公司 基于直播的互动方法、装置、设备和存储介质
CN112929681B (zh) * 2021-01-19 2023-09-05 广州虎牙科技有限公司 视频流图像渲染方法、装置、计算机设备及存储介质
CN113163220B (zh) * 2021-02-26 2023-02-28 广州方硅信息技术有限公司 虚拟礼物定位展示方法及其装置、设备与介质
CN113099156B (zh) * 2021-03-16 2022-05-10 北京富益辰医疗科技有限公司 一种视频会议直播方法、系统、设备及存储介质
CN112884526B (zh) * 2021-03-22 2023-12-01 腾讯科技（深圳）有限公司 直播中的礼物赠送方法、装置、设备及存储介质
CN113099309A (zh) * 2021-03-30 2021-07-09 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN114501041B (zh) * 2021-04-06 2023-07-14 抖音视界有限公司 特效显示方法、装置、设备及存储介质
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN114071172B (zh) * 2021-11-11 2024-03-01 广州方硅信息技术有限公司 直播中礼物连送的处理方法、装置、服务器和存储介质
CN114025194A (zh) * 2021-11-24 2022-02-08 广州方硅信息技术有限公司 虚拟礼物赠送方法、系统、装置、设备及存储介质
CN114125488A (zh) * 2021-12-09 2022-03-01 小象(广州)商务有限公司 一种直播中的虚拟礼物展示方法及系统
CN114501156A (zh) * 2021-12-16 2022-05-13 广州方硅信息技术有限公司 连麦直播的互动方法、服务器、终端、系统及存储介质
CN114501065A (zh) * 2022-02-11 2022-05-13 广州方硅信息技术有限公司 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN115061617A (zh) * 2022-06-14 2022-09-16 深圳市万声文化科技有限公司 直播画面的处理方法、装置、计算机设备和存储介质
CN117041628B (zh) * 2023-10-09 2024-02-02 腾讯科技（深圳）有限公司 直播画面的渲染方法、系统、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994421A (zh) * 2015-06-30 2015-10-21 广州华多网络科技有限公司 一种直播频道中虚拟物品的互动方法、装置和系统
CN105653167B (zh) * 2015-12-23 2019-02-12 广州华多网络科技有限公司 一种基于在线直播的信息展示方法及客户端
CN106411877B (zh) * 2016-09-23 2019-03-15 武汉斗鱼网络科技有限公司 一种基于增强现实ar技术的视频直播赠送礼物的实现方法及系统
CN112839249B (zh) * 2016-09-26 2023-05-23 广州方硅信息技术有限公司 虚拟礼物展示方法、装置、设备及存储介质
CN108965977B (zh) * 2018-06-13 2021-08-20 广州虎牙信息科技有限公司 直播礼物的展示方法、装置、存储介质、终端和系统

Also Published As

Publication number Publication date
CN110418155A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110418155B (zh) 直播互动方法、装置、计算机可读存储介质和计算机设备
CN111698523B (zh) 文字虚拟礼物的赠送方法、装置、设备及存储介质
CN106792228B (zh) 一种直播互动方法和系统
CN105608715B (zh) 一种在线合影方法及系统
CN103561293B (zh) 用于增强视频的系统和方法
CN111970532B (zh) 视频播放方法、装置及设备
CN112822542A (zh) 视频合成方法、装置、计算机设备和存储介质
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
CN111491174A (zh) 虚拟礼物获取及展示方法、装置、设备及存储介质
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN111586426B (zh) 全景直播的信息展示方法、装置、设备及存储介质
JP2003244425A (ja) 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
CN116437137B (zh) 直播处理方法、装置、电子设备及存储介质
CN108076379B (zh) 多屏互动实现方法及装置
US20140298379A1 (en) 3D Mobile and Connected TV Ad Trafficking System
CN113408484A (zh) 画面展示方法、装置、终端及存储介质
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
CN106060518B (zh) 具备视角切换功能的720度全景播放器的实现方法及系统
CN112019906A (zh) 直播方法、计算机设备及可读存储介质
CN116962748A (zh) 连麦直播的视频图像渲染方法、装置及视频直播系统
CN108076348B (zh) 视频播放控制方法及装置
CN113596597A (zh) 一种游戏视频加速方法、装置、计算机设备和存储介质
KR101399633B1 (ko) 영상 합성 방법 및 장치
CN111240630B (zh) 增强现实的多屏控制方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant