CN113163220B - 虚拟礼物定位展示方法及其装置、设备与介质 - Google Patents

虚拟礼物定位展示方法及其装置、设备与介质 Download PDF

Info

Publication number
CN113163220B
CN113163220B CN202110218254.0A CN202110218254A CN113163220B CN 113163220 B CN113163220 B CN 113163220B CN 202110218254 A CN202110218254 A CN 202110218254A CN 113163220 B CN113163220 B CN 113163220B
Authority
CN
China
Prior art keywords
virtual gift
position data
relative position
live broadcast
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110218254.0A
Other languages
English (en)
Other versions
CN113163220A (zh
Inventor
汪天怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202110218254.0A priority Critical patent/CN113163220B/zh
Publication of CN113163220A publication Critical patent/CN113163220A/zh
Application granted granted Critical
Publication of CN113163220B publication Critical patent/CN113163220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4784Supplemental services, e.g. displaying phone caller identification, shopping application receiving rewards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开一种虚拟礼物定位展示方法及其装置、设备与介质,所述方法包括:响应虚拟礼物选定操作而在直播间中显示定位面板,在定位面板中展示人脸模型及虚拟礼物,人脸模型用于对应表达人物对象的面部特征;获取虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,相对位置数据包括在定位面板中参考平面直角坐标系的两个坐标轴的数据;根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使虚拟礼物与人物对象按照所述相对位置数据维持相对位置关系。本申请向观众用户开放自定义虚拟礼物展示位置,将自定义的虚拟礼物定位合成至直播流中,深化了观众与主播的交互手段,从而提升直播交互体验。

Description

虚拟礼物定位展示方法及其装置、设备与介质
技术领域
本申请涉及网络直播领域,尤其涉及一种虚拟礼物定位展示方法,此外还涉及该些方法相应的装置、设备以及非易失性存储介质。
背景技术
随着网络直播技术的发展,线上娱乐项目越来越多,近年来直播节目逐渐走进大众视野,尤其一些优秀的主播直播的节目更是受观众的喜爱。在直播间,当主播的表演到精彩之处时,观众往往会通过给主播留言,送礼等行为表示对节目的喜爱。
在直播间业务场景中,直播间内根据实际业务展示各种动效或者广播各种通知来反馈和刺激用户在直播间内的积极行为,如响应于用户向主播送礼的操作而播放精美的动效给予视觉上的反馈,对于送礼或者做任务的操作结果给予精美动效或者直播间播放广播等的视觉反馈,通过这些动效肯定用户的付出及激发用户在直播间交互的积极性,从而提高观众在观赏直播节目的体验度。同理,平台方也常会向直播间用户发送各种通知,这些通过以广播的形式同样送达用户界面进行展示。
但当前观众用户通过赠送虚拟礼物与主播用户进行互动的方式较为简单,一般观众用户赠送的虚拟礼物在直播间中只表现为简单的动画特效,使观众用户无法通过赠送虚拟礼物的方式与主播用户进行深度的互动,降低了观众用户赠送虚拟礼物的积极性。
针对提升虚拟礼物的互动效果,是本领域亟待解决的问题。
发明内容
本申请的目的旨在提供一种虚拟礼物定位展示方法及其相应的装置、设备与非易失性存储介质。
为满足本申请的各个目的,本申请采用如下技术方案:
适应本申请的目的而提出的一种虚拟礼物定位展示方法,包括如下步骤:
响应虚拟礼物选定操作而在直播间的直播界面显示定位面板,在定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征;
获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据;
根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。
进一步的实施例中,响应虚拟礼物选定操作而在直播间的直播界面显示定位面板的步骤,包括:
响应观众用户的虚拟礼物的选定操作,实施操作校验,以预校验该选定操作的有效性;
当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板;
在该定位面板中加载所述的人脸模型相对应的图像,在该人脸模型相对应的图像顶层加载所述的虚拟礼物,并在该定位面板中显示用于执行重定位确认操作以关闭该蒙层的确认控件。
进一步的实施例中,实施操作校验,以预校验该选定操作的有效性的步骤,包括如下校验步骤任意单个或任意多个:
通过向服务器发送校验请求,由服务器预校验所述观众用户的个人账户中的余额是否足以支付所述虚拟礼物的对价,当为是时满足有效性,否则不满足有效性;
检测校验当前直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当为是时不满足有效性,当为否时满足有效性;
通过向服务器发送校验请求,由服务器校验当前观众用户与直播间的主播用户的程序版本是否为目标版本,当两者均为目标版本时满足有效性,否则不满足有效性。
进一步的实施例中,当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板的步骤中,包括:
将弹出的蒙层定位于所述直播内容外围显示,或者,将弹出的蒙层覆盖所述直播内容显示。
进一步的实施例中,获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据的步骤,包括:
在所述定位面板显示后启动定时器进行计时,以便在计时结束后触发默认确定所述相对位置数据的确认事件,响应于该确认事件而将预设数据作为已确定的相对位置数据;
在定时器计时范围内动态侦测所述虚拟礼物被拖放操作而移动时相对于所述定位面板的第一位置数据;
将侦测所得的第一位置数据转换为所述相对位置数据,所述相对位置数据依据第一位置数据与该人脸模型所居定位面板的第二位置数据的变化值而确定;
在完成所述虚拟礼物的重定位操作后,将最新侦测并转换而得的相对位置数据作为已确定的相对位置数据。
一种实施例中,根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系的步骤,包括由直播间的服务器执行的如下步骤:
为提供所述相对位置数据的观众用户执行并完成支付所述虚拟礼物的支付流程;
在完成所述支付流程后,调用所述虚拟礼物的动画描述文件;
按照从所接收的相对位置数据中解析出其中的两个坐标轴的数据,将所述动画描述文件所描述的虚拟礼物的图像动态合成到直播间主播用户的直播流的人脸图像相应位置中,以实施直播流的合成。
另一实施例中,根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系的步骤,包括由直播间的客户端执行的如下步骤:
从服务器获取与直播流同步传输的虚拟礼物合成位置数据,所述合成位置数据为服务器接收到主播端发送的人脸位置数据后,根据所述人脸位置数据以及相对位置数据定位确定;
确定与该合成位置数据相应的虚拟礼物的动画描述文件;
根据所述合成位置数据,将所述动画描述文件所描述的虚拟礼物的图像定位到相应的合成位置中与所述直播流同步播放。
进一步的实施例中,还包括如下后续步骤:
响应于服务器返回的通知消息,在直播内容包含所述虚拟礼物时,向直播间图形用户界面输出所述的通知消息所包含的通知内容。
适应本申请的目的而提出的一种虚拟礼物定位展示装置,其包括:
选定操作模块,用于响应虚拟礼物选定操作而在直播间的直播界面显示定位面板,在定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征;
礼物定位模块,用于获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据;
直播处理模块,用于根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。
进一步的实施例中,所述选定操作模块包括:
有效性校验单元,用于响应观众用户的虚拟礼物的选定操作,实施操作校验,以预校验该选定操作的有效性;
面板显示单元,用于当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板;
图像加载单元,用于在该定位面板中加载所述的人脸模型相对应的图像,在该人脸模型相对应的图像顶层加载所述的虚拟礼物,并在该定位面板中显示用于执行重定位确认操作以关闭该蒙层的确认控件。
再一实施例中,所述有效性校验单元包括:
余额校验单元,用于通过向服务器发送校验请求,由服务器预校验所述观众用户的个人账户中的余额是否足以支付所述虚拟礼物的对价,当为是时满足有效性,否则不满足有效性;
状态监测单元,用于检测校验当前直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当为是时不满足有效性,当为否时满足有效性;
版本校验单元,用于通过向服务器发送校验请求,由服务器校验当前观众用户与直播间的主播用户的程序版本是否为目标版本,当两者均为目标版本时满足有效性,否则不满足有效性。
进一步的实施例中,所述礼物定位模块包括:
定时器启动单元,用于在所述定位面板显示后启动定时器进行计时,以便在计时结束后触发默认确定所述相对位置数据的确认事件,响应于该确认事件而将预设数据作为已确定的相对位置数据;
第一位置侦测单元,用于在定时器计时范围内动态侦测所述虚拟礼物被拖放操作而移动时相对于所述定位面板的第一位置数据;
数据转换单元,用于将侦测所得的第一位置数据转换为所述相对位置数据,所述相对位置数据依据第一位置数据与该人脸模型所居定位面板的第二位置数据的变化值而确定;
位置确定单元,用于在完成所述虚拟礼物的重定位操作后,将最新侦测并转换而得的相对位置数据作为已确定的相对位置数据。
进一步的实施例中,所述直播处理模块包括:
支付流程提供单元,用于为提供所述相对位置数据的观众用户执行并完成支付所述虚拟礼物的支付流程;
动画调用单元,用于在完成所述支付流程后,调用所述虚拟礼物的动画描述文件;
图像合成单元,用于按照从所接收的相对位置数据中解析出其中的两个坐标轴的数据,将所述动画描述文件所描述的虚拟礼物的图像动态合成到直播间主播用户的直播流的人脸图像相应位置中,以实施直播流的合成。
再一实施例中,所述直播处理模块还包括:
合成位置数据获取单元,用于从服务器获取与直播流同步传输的虚拟礼物合成位置数据,所述合成位置数据为服务器接收到主播端发送的人脸位置数据后,根据所述人脸位置数据以及相对位置数据定位确定;
动画描述文件确定单元,用于确定与该合成位置数据相应的虚拟礼物的动画描述文件;
虚拟礼物定位播放单元,用于根据所述合成位置数据,将所述动画描述文件所描述的虚拟礼物的图像定位到相应的合成位置中与所述直播流同步播放。
适应本申请的目的而提出的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述的虚拟礼物定位展示方法的步骤。
适应本申请的目的而提出的一种非易失性存储介质,其存储有依据所述的虚拟礼物定位展示方法所实现的计算机程序,所述计算机程序被计算机调用运行时,执行其相应的方法所包括的步骤。
相对于现有技术,本申请的优势如下:
本申请提供了一种互动性更强的虚拟礼物互动方式,丰富了虚拟礼物的定制功能,可以实现对虚拟礼物的展示定位的控制,有利于提升直播间中一方用户向另一方用户赠送虚拟礼物的互动体验。观众端在直播间响应虚拟礼物的选定操作后,直播间的图形用户界面便可显示具有人物模型及虚拟礼物的定位面板,观众用户可以通过该定位面板对虚拟礼物与人物模型之间的相对位置进行调节和定位,在观众用户完成定位后,直播间获取该定位面板中所述虚拟礼物与人物模型之间被确定的相对位置数据,并根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使虚拟礼物与人物对象按照所述相对位置数据维持相对位置关系。由此,观众用户赠送给主播用户的虚拟礼物可根据预先定位合成至直播流中进行广播,将虚拟礼物定位至直播流中主播用户的面部或其他指定位置,从而深化了观众与主播的交互手段,提升直播交互体验。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图;
图2为本申请的虚拟礼物定位展示方法的典型实施例的流程示意图;
图3为图2中步骤S11的具体步骤所形成的流程示意图;
图4为图3中步骤S111的具体步骤所形成的流程示意图;
图5为图2中步骤S12的具体步骤所形成的流程示意图;
图6为本申请的虚拟礼物定位展示方法的直播间的服务器所实施的虚拟礼物定位的实施例的流程示意图;
图7为本申请的虚拟礼物定位展示方法的直播间的客户端所实施的虚拟礼物定位的实施例的流程示意图;
图8为本申请的虚拟礼物定位展示方法的一种实施例的流程示意图,其相对添加了后置步骤;
图9为本申请的虚拟礼物定位展示装置的典型实施例的原理框图;
图10为本申请一个实施例的计算机设备的基本结构框图。
图11为本申请的定位面板在直播间中展示的具体控件的示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称的服务器80部署在云端,作为一个前端的应用服务器,其可以负责进一步连接起相关音频数据服务器、视频流服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务机群,来为相关的终端设备例如图中所示的智能手机81和个人计算机82提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网,与云端的服务器80建立数据通信链路,以便运行所述服务器所提供的服务相关的终端应用程序。
所述的应用程序,是指运行于服务器或终端设备上的应用程序,这一应用程序采用编程的方式实现了本申请的相关技术方案,其程序代码可被以计算机可执行指令的形式保存于计算机能识别的非易失性存储介质中,并被中央处理器调入内存中运行,通过该应用程序在计算机的运行而构造出本申请的相关装置。
对于服务器而言,所述的应用程序通常会被构建为服务进程,开放相应的程序接口,供各种终端设备上运行的应用程序进行远程调用,本申请中适于运行于服务器的相关技术方案,便可以此种方式实现于服务器中。
对时下流行的各类终端设备而言,特别是平板、手机之类的移动设备,通常都内置配备有摄像头之类的摄像设备,或者个人计算机也可外置接入所述的摄像设备,理论上,本申请的终端设备的应用程序对于这些情况下的摄像设备均可实现调用。
本申请中适于在终端设备实现的技术方案也可以被编程内置于提供网络直播的应用程序中,作为其一部分扩展功能。所述的网络直播,是指一种基于前述的网络部署架构所实现的一种直播间网络服务。
本申请所称的直播间,是指依靠互联网技术实现的一种视频聊天室,通常具备音视频播控功能,包括主播用户和观众用户,观众用户可以包括已经在平台中注册的注册用户,也可以是未注册的游客用户;可以是关注了主播用户的注册用户,也可以是未关注主播用户的注册或未注册用户。主播用户与观众用户之间可通过语音、视频、文字等公知的线上交互方式来实现互动,一般是主播用户以音视频流的形式为观众用户表演节目,并且在互动过程中还可产生经济交易行为。当然,直播间的应用形态并不局限于在线娱乐,也可推广到其他相关场景中,例如教育培训场景、视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。
本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
请参阅图2,本申请的一种虚拟礼物定位展示方法,由用户侧的应用程序负责执行体现,在其典型实施例中,其包括如下步骤:
步骤S11,响应虚拟礼物选定操作而在直播间的直播界面显示定位面板,在定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征:
观众端响应所述虚拟礼物的选定操作,在直播间的直播界面中显示所述定位面板,该定位面板中展示所述人脸模型及所述虚拟礼物。
观众用户通过触控直播间图形用户界面中提供的用于选定虚拟礼物的控件,触发所述虚拟礼物的选定操作,使直播间响应该选定操作,在直播间的图形用户界面中显示所述定位面板。
所述用于选定虚拟礼物的控件中展示各类型的所述虚拟礼物,以便观众用户在该控件中选择相应的虚拟礼物进行选定操作,所述虚拟礼物的类型包含:用于显示装饰饰品的动画特效的虚拟礼物、用于显示文字组件的动画特效的虚拟礼物、用于显示动作特效的动画特效的虚拟礼物,具体的,所述用于显示装饰饰品的动画特效的虚拟礼物可为眼镜装饰饰品的动画特效、猫耳装饰饰品的动画特效等,所述用于显示文件组件的动画特效的虚拟礼物可为横幅的动画特效、特效字体的动画特效等,所述用于显示动作特效的动画特效的虚拟礼物可为捏脸的动画特效、拍头的动画特效等。本领域技术人员可根据实际业务场景的需求设计所述虚拟礼物的类型,恕不赘述。
所述的定位面板中展示所述人物模型及所述虚拟礼物,以便观众用户通过在所述定位面板中执行相应的操作,控制所述虚拟礼物与所述人物模型的相对位置,以定位所述虚拟礼物在该直播间的直播流中的位置,进而与主播用户进行互动,提升直播间的直播氛围。
所述定位面板中展示的所述人物模板可便于观众用户确定在直播间的直播流中,所述虚拟礼物与直播间中的主播用户的相对位置,使观众用户确定所述虚拟礼物在直播流中的展示位置及效果,进而提升观众用户使用所述虚拟礼物展示的体验。
关于直播间响应所述虚拟礼物的选定操作的具体实施方式,请参阅图3及图11,具体实施步骤如下:
步骤S111,响应观众用户的虚拟礼物的选定操作,实施操作校验,以预校验该选定操作的有效性:
观众端响应所述观众用户的所述虚拟礼物的选定操作,实施针对该观众用户及直播间的直播状态的操作校验,以预先校验该选定操作的有效性。
请参阅图4,观众端所述操作校验的具体实施步骤如下:
步骤S1111,通过向服务器发送校验请求,由服务器预校验所述观众用户的个人账户中的余额是否足以支付所述虚拟礼物的对价,当为是时满足有效性,否则不满足有效性:
观众端响应所述选定操作,根据该选定操作所指向的所述虚拟礼物生成该虚拟礼物相对应的所述校验请求,并将该校验请求发送至服务器中,以触发服务器根据该校验请求所指向的虚拟礼物,在相应的数据库中查询该虚拟礼物的交易金额,并根据该交易金额,查询该校验请求相对应的观众用户的个人账户的余额,判断该余额是否大于等于所述交易校验,若是,则服务器判定该校验请求满足有效性,若否,则服务器判定该校验请求不满足有效性。
一种实施例中,当服务器校验所述观众用户的个人账户的余额不满足所述交易金额时,将生成用于表征余额不足的通知消息,并将该通知消息发送至所述观众用户。
步骤S1112,检测校验当前直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当为是时不满足有效性,当为否时满足有效性:
观众端检验当前直播间的活动状态,判断该直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当当前活动状态为所述分屏状态时,则该校验将判断为不满足有效性,当当前活动状态不为所述分屏状态时,则该校验将判断为满足有效性。
一种实施例中,当当前活动状态为所述分屏状态时,将显示用于表征当前活动状态不适于进行虚拟礼物展示的通知消息至当前直播间的图形用户界面中,以通知所述观众用户。
步骤S1113,通过向服务器发送校验请求,由服务器校验当前观众用户与直播间的主播用户的程序版本是否为目标版本,当两者均为目标版本时满足有效性,否则不满足有效性:
观众端生成包含校验当前观众用户的应用程序的程序版本所述校验请求,并将该校验请求发送至服务器中,以便服务器响应该校验请求,获取该校验请求所包含的所述程序版本,并根据该程序版本与直播间的主播用户的程序版本号进行比对,判断双方的程序版本是否相同,当相同时,服务器判定该校验请求满足有效性,当不相同时,服务器判定该校验请求不满足有效性。
一种实施例中,当服务器判定该校验请求不满足有效性时,将生成用于表征程序版本不相同的通知消息,并将该通知消息发送至所述观众用户。
若所述选定操作通过上述的所有校验,则该选定操作将被判定为有效,并执行后续步骤,若所述选定操作不通过所述选定操作不通过上述的任一校验,则该选定操作将被判定为无效,并显示表征当前选定操作无效的通知消息至当前直播间的图形用户界面中。
步骤S112,当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板:
当所述选定操作通过所述操作校验被判定为有效时,观众端的图形用户界面将弹出所述蒙层,并在该蒙层中渲染显示所述定位面板。
关于观众端弹出所述蒙层的位置以定位所述定位面板在图形用户界面中的显示位置,所述蒙层的弹出位置可根据当前观众用户运行应用程序的终端设备或当前直播间在终端设备的显示方式进行自适应定位,例如,当观众用户运行应用程序所处的终端设备为PC时,所述蒙层的弹出位置可定位于当前直播间的显示直播流的窗口的外围或弹出另一个窗口以用于弹出所述蒙层,当当前直播间在手机之类的移动终端设备的显示方式为横屏显示时,所述蒙层可覆盖直播流的播放窗口进行显示。本领域技术人员可根据实际业务场景设计所述蒙层的弹出位置,恕不赘述。
步骤S113,在该定位面板中加载所述的人脸模型相对应的图像,在该人脸模型相对应的图像顶层加载所述的虚拟礼物,并在该定位面板中显示用于执行重定位确认操作以关闭该蒙层的确认控件:
观众端弹出所述蒙层后,将在该蒙层中渲染所述定位面板,所述定位面板中加载所述的人脸模型相对应的图像,及在该人脸模型的图像的顶层加载所述虚拟礼物的图像,并在该定位面板中显示用于执行重定位确认操作的所述确认控件,以便观众用户通过触控该确认控件确认所述虚拟礼物的定位,并关闭所述定位面板。
具体的,关于所述定位面板的示例图,请参阅图11,在所述定位面板90中,所述人脸模型的图像91一般加载于该定位面板中相较于中间的位置中,所述虚拟礼物的图像92记载与所述人脸模型的图像91的顶层,其的初始位置一般处于该人脸模型的图形91中,观众用户可通过触控事件,拖动所述虚拟礼物的图像92,并参考所述人物模型的图像91,确定所述虚拟礼物的图像92与所述人物模型的图像91的相对位置,以定位所述虚拟礼物在当前直播间直播流中的显示位置,所述确认控件93一般显示于该定位面板90中相较于所述人脸模型的图像91的下方,相应的,所述定位面板90中可显示一个用于取消当前选定操作并关闭该定位面板90的取消控件94。本领域技术人员可灵活设计所述定位面板及与其相关的各个图像及控件的可视化方式,恕不赘述。
观众用户通过所述定位面板重当前所述虚拟礼物与所述人脸模型之间的相对位置并确认定位,以控制所述虚拟礼物在当前直播间的直播流中显示的位置,使观众用户通过定位所述虚拟礼物的位置,进一步的与当前直播间的主播用户进行互动,提升直播间的直播氛围。
步骤S12,获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据:
观众用户通过所述定位面板定位所述虚拟礼物的位置并确认定位后,观众端将获取该虚拟礼物在所述定位面板中被重定位的位置,确认该虚拟礼物与所述人脸模型之间的所述相对位置数据。
所述的相对位置数据包括通过参考所述定位面板中的直角坐标系而获取的所述两个坐标轴的数据,所述两个坐标轴的数据一般是指所述人脸模型与所述虚拟礼物在所述定位面板中的直角坐标系的相对位置的坐标系的数据。
一种实施例中,所述定位面板显示后,观众端将启动定时器,以控制所述定位面板在直播间的图形用户界面中的显示及观众用户确认所述虚拟礼物的时间,请参阅图5,具体的实施步骤如下:
步骤S121,在所述定位面板显示后启动定时器进行计时,以便在计时结束后触发默认确定所述相对位置数据的确认事件,响应于该确认事件而将预设数据作为已确定的相对位置数据:
观众端在所述定位面板中显示所述定位面板后,将启动所述定时器进行计时,以控制所述定位面板的显示时间。
若观众用户在所述定位器的计时结束前未改变所述定位面板中所述虚拟礼物的位置,则在该定时器的计时结束后,触发默认确定所述相对位置数据的所述确认事件,使当前观众的直播间响应该确认事件,将所述预设数据作为已确定的所述相对位置数据。
所述的预设数据一般是指所述虚拟礼物及所述人物图像在所述定位面板中的直角坐标系中初始的坐标轴位置的数据。
步骤S122,在定时器计时范围内动态侦测所述虚拟礼物被拖放操作而移动时相对于所述定位面板的第一位置数据:
观众端在所述定时器的计时范围内动态侦查观众用户通过触控事件修改所述虚拟礼物在所述定位面板中的位置的所述第一位置数据。
所述定时器的计时范围可设定为10s、15s等根据实际设计需求而定的参数。
观众用户可通过运行所述观众端的应用程序相应的终端设备的相应的硬件(鼠标、键盘或屏幕触摸屏)触发所述触控事件,以执行所述拖放操作,修改所述虚拟礼物在所述定位面板中的位置,相应的,也通过直播间或所述定位面板中相应的控件执行所述拖放操作。本领域技术人员可根据实际业务场景设计所述拖放操作的实施方式,恕不赘述。
步骤S123,将侦测所得的第一位置数据转换为所述相对位置数据,所述相对位置数据依据第一位置数据与该人脸模型所居定位面板的第二位置数据的变化值而确定:
观众端将从所述定位面板中侦测所得的所述第一位置数据,并根据该第一位置数据与该定位面板中的所述人脸模型的所述第二位置数据的变化值构造所述相对位置数据。
例如,以像素为移动单位举例,当所述第一位置数据为(40,30),所述第二位置数据为(40,20),则通过将该第一位置数据减去该第二位置数据,以获取(0,10)的所述变化值,并将该变化值构造为所述相对位置数据。
步骤S124,在完成所述虚拟礼物的重定位操作后,将最新侦测并转换而得的相对位置数据作为已确定的相对位置数据:
观众用户通过所述定位面板完成所述虚拟礼物的重定位操作后,当前观众端将该重定位操作后所侦测到的所述第一位置数据确定为最新的第一位置数据,并将该第一位置数据转换为所述相对位置数据,并将该相对位置数据作为该观众用户已确定的相对位置数据。
步骤S13,根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系:
当观众用户通过所述定位面板完成所述虚拟礼物的重定位操作后,观众端将获取到所述的相对位置数据,以便根据该相对位置数据将所述虚拟礼物在直播流播放窗口中进行定位播放。
一种实施例中,观众端获取观众用户已确定的所述相对位置数据后,将该相对位置数据发送至服务器中,以便服务器将该相对位置数据广播至相应的所有的观众用户及主播用户的直播间客户端中,各客户端接收到所述相对位置数据后,将根据该相对位置数据将所述虚拟礼物合成至直播间的直播流中,使直播间依照所述相对位置数据显示所述虚拟礼物。
进一步的,客户端获取到所述相对位置数据后,根据通过人脸识别所捕捉到的直播间中进行直播的主播用户的人脸位置,将该人脸位置作为直播流的直角坐标系的原点,以便依照该原点将所述相对位置数据作为该直角坐标系中的合成位置,并将所述相对位置数据相关联的所述虚拟礼物的图像或动画特效合成至该直播流中所述合成位置,进而完成将所述虚拟礼物的图像或动画特效合成至所述直播流中。替换的一种方式中,所述直角坐标系的原点也可以是直播流的图像的一角的起点,也即,该原点可由本领域技术人员根据本申请所揭示的原理灵活确定。
另一种实施例中,当观众端获取观众用户已确定的所述相对位置数据后,将该相对位置数据通过预设接口发送至该观众端相关联的服务器中,以便服务器根据该相对位置数据进行相对应的直播流合成,此处所称服务器通常为负责流媒体合成的服务器。
服务器获取所述相对位置数据后,根据通过人工智能所捕捉到的直播间中进行直播的主播用户的人脸位置,将该人脸位置作为直播流的直角坐标系的原点,以便依照该原点将所述相对位置数据作为该直角坐标系中的合成位置,并将所述相对位置数据相关联的所述虚拟礼物的图像或动画特效合成至该直播流中所述合成位置,进而完成将所述虚拟礼物的图像或动画特效合成至所述直播流中。替换的一种方式中,所述直角坐标系的原点也可以是直播流的图像的一角的起点,也即,该原点可由本领域技术人员根据本申请所揭示的原理灵活确定。
再一种实施例中,服务器接收到观众端发送的所述相对位置数据后,可根据该相对位置数据相关联的虚拟礼物的直播流合成所需的算力,判断该算力是否大于预设的算力阈值,当小于时,可根据该相对位置数据将所述虚拟礼物合成到直播间的直播流中,并将该直播流广播至所述观众端相应的所有的观众用户及主播用户的直播间中,当大于时,将该相对位置数据广播至所述观众端相应的所有的观众用户及主播用户的直播间中,使直播间接收到该相对位置数据,根据该相对位置数据将所述虚拟礼物合成至直播流中,以在所述直播流播放显示的直播内容中,使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。另外,服务器可通过监控自身的运算负载,判断自身是否当前剩余的运算资源是否可进行所述虚拟礼物的直播流合成,当运算资源足够时,则根据接收到的所述相对位置数据执行所述直播流合成,当不足够时,则将所述相对位置数据广播至直播间中,使直播间在客户端进行所述直播流合成,进而减轻服务器的运算压力,防止服务器因执行大量的所述虚拟礼物直播流合成的执行,造成服务器发生宕机,影响直播间的直播流播放。
关于根据所述相对位置数据将所述虚拟礼物合成至所述直播流中的具体实施方式,请参阅图6,具体实施步骤如下:
步骤S131,为提供所述相对位置数据的观众用户执行并完成支付所述虚拟礼物的支付流程:
服务器获取观众端发送的所述相对位置数据后,将为该观众端相对应的观众用户发送表征进行虚拟礼物支付的通知消息,以便该观众用户接收到该通知消息后,为其所选定操作所指定的虚拟礼物进行支付。
若该观众用户通过所述通知消息完成相应的支付后,将向服务器发送确认支付的支付指令,以便服务器响应该支付指令,调用该观众用户的个人账户的余额,判断该余额是否满足所述虚拟礼物的对价,若满足,则根据该对价对所述余额进行扣费,并执行后续步骤,若不满足,则退出判断,并向所述观众用户发送表征不足扣费的交易数额的通知消息,以便观众用户通过该通知消息,进行余额充值,使其所述余额满足所述虚拟礼物的对价。
步骤S132,在完成所述支付流程后,调用所述虚拟礼物的动画描述文件:
当服务器确定所述观众用户完成所述支付流程后,将调用所述相对位置数据所对应的虚拟礼物的动画描述文件。
所的动画描述文件一般是指虚拟礼物的图像或动画特效,以便服务器根据所述动画描述文件进行所述虚拟礼物与相应的直播间的直播流合成。
服务器中储存的各个所述动画描述文件各自拥有对应的所述虚拟礼物,所述动画描述文件中包含的图形或动画由所述虚拟礼物的类型所决定,例如,当所述虚拟礼物为眼镜装饰饰品的类型时,其动画描述文件中将包含表征眼镜的图形或动画特效。
一种实施例中,当服务器确定所述观众用户完成所述支付流程后,将所述相对位置数据广播至所述观众端相应的所有的观众用户及主播用户的直播间客户端中,以便客户端接收到该相对位置数据后,调用该相对位置数据相应的所述虚拟礼物的所述动画描述文件,并根据所述动画描述文件进行所述虚拟礼物与相应的直播间的直播流合成。
一种实施例中,所述直播间客户端的终端设备中储存的各个所述动画描述文件各自拥有对应的所述虚拟礼物,所述动画描述文件中包含的图形或动画由所述虚拟礼物的类型所决定,所述动画描述文件为运行直播间的应用程序所携带或下载的文件数据,例如GIF、Flash动画文件,当终端设备安装该应用程序时,该终端设备将从该应用程序中解析获取所述动画描述文件进行储存,以便客户端根据所述动画描述文件进行所述虚拟礼物与相应的直播间的直播流合成。
另一种实施例中,所述直播间客户端可从服务器中获取所述动画描述文件;当服务器确定所述观众用户完成所述支付流程后,将所述相对位置数据及该相对位置数据相应的所述动画描述文件广播至该观众用户相应的所有的观众用户及主播用户的直播间客户端中。
步骤S133,按照从所接收的相对位置数据中解析出其中的两个坐标轴的数据,将所述动画描述文件所描述的虚拟礼物的图像动态合成到直播间主播用户的直播流的人脸图像相应位置中,以实施直播流的合成:
服务器解析所述相对位置数据,获取该相对位置数据中的所述两个坐标轴的数据,并获取通过人工智能所捕捉到的(参照前文揭示的一个关于确定原点的实施例实施)所述直播流的直角坐标系的所述原点,将所述两个坐标轴的数据根据该原点确定所述动画描述文件所描述的虚拟礼物的图像合成至该直播流中的位置,进而将该动画描述文件合成至该直播流中。
服务器实施直播流的合成完成后,将该直播流广播至所述观众端相应的所有的观众用户及主播用户的直播间中,以便所述观众用户及主播用户获取所述直播流,使直播间中的直播流显示所述虚拟礼物的所述动画描述文件中的图像或动态特效。
一种实施例中,直播间客户端接收到由服务器广播的所述相对位置数据后,将解析该相对位置数据,并获取通过人工智能所捕捉到的所述直播流的直角坐标系的所述原点,将所述两个坐标轴的数据根据该原点确定所述动画描述文件所描述的虚拟礼物的图像合成至该直播流中的位置,进而将该动画描述文件合成至该直播流中。
另一种实施例中,直播间的客户端进行所述虚拟礼物定位显示至直播流播放窗口中进行播放的具体实施例,请参阅图7,其具体实施步骤如下:
步骤S131’,从服务器获取与直播流同步传输的虚拟礼物合成位置数据,所述合成位置数据为服务器接收到主播端发送的人脸位置数据后,根据所述人脸位置数据以及相对位置数据定位确定:
直播间的客户端从服务器中获取直播流及虚拟礼物的所述合成位置数据,以便将所述虚拟礼物的动画描述文件定位至该合成位置数据相对应的合成位置进行与直播流同步地播放显示。
所述的合成位置数据由服务器根据主播端发送的人脸位置数据与所述相对位置数据进行定位确定;主播端根据通过人工智能所捕捉到的直播间中进行直播的主播用户的人脸位置,将该人脸位置作为所述人脸位置数据发送至服务器中,以便服务器根据该人脸位置数据作为直角坐标系的原点,并根据所述相对位置数据中的所述两个坐标轴的数据,将所述两个坐标轴的数据根据该原点确定出该直角坐标系中的合成位置,进而将该合成位置确定为所述合成位置数据进行广播操作。
步骤S132’,确定与该合成位置数据相应的虚拟礼物的动画描述文件:
直播间的客户端获取所述合成位置数据后,根据该合成位置数据所指向的虚拟礼物,查询储存动画描述文件的数据库中与该虚拟礼物相对应的所述动画描述文件。
关于直播间的客户端储存的各类型的所述动画描述文件的叙述,如前文所述,本步骤恕不赘述。
一种实施例中,服务器广播直播流及所述合成位置数据时,同时广播该合成位置数据所指向的虚拟礼物的所述动画描述文件至直播间的客户端中。
步骤S133’,根据所述合成位置数据,将所述动画描述文件所描述的虚拟礼物的图像定位到相应的合成位置中与所述直播流同步播放:
直播间的客户端确定所述动画描述文件后,根据所述合成位置数据,在图形用户界面将所述动画描述文件所描述的虚拟礼物的图形合成至相应的位置中。
服务器同步广播直播间的直播流及所述合成位置数据至直播间的客户端中,以便直播间的客户端实时更新所述动画描述文件在图形用户界面中的合成位置,形成所述动画描述文件跟随直播流中的主播用户的人脸模型的相应位置的效果。
可以理解,主播端进行通过人工智能所捕捉到的直播间中进行直播的主播用户的人脸位置的实施方式,同样可替代前文所述的关于主播用户的人脸位置的识别的实施方式,使得服务器可以根据主播用户提交的人脸位置数据以及观众用户提交的相对位置数据共同确定出进行直播流合成所需的合成位置,可见,本领域技术人员可根据实际情况灵活对服务器、主播端、观众端的具体分工进行调节,从而达成本发明所需的目的。
一种实施例中,根据所述虚拟礼物的显示时间,持续将该虚拟礼物合成至所述直播流中,并将该直播流广播至所述观众端相对应的所有观众用户及主播用户,当到达所述显示时间时,服务器(直播间客户端)将停止将所述虚拟礼物合成至所述直播流中,并将没有合成该虚拟礼物的直播流广播至所述观众用户直播间相对应的所有观众用户及主播用户的直播间中。
以上的典型实施例及其变化实施例充分揭示了本申请的虚拟礼物定位展示方法的实施方案,但是,仍可通过对一些技术手段的变换和扩增而演绎出该方法的多种变化实施例,如下概要说明其他实施例:
一种实施例中,请参阅图8,本申请的虚拟礼物定位展示方法还包括如下后续步骤:
步骤S14,响应于服务器返回的通知消息,在直播内容包含所述虚拟礼物时,向直播间图形用户界面输出所述的通知消息所包含的通知内容:
服务器将完成合成的直播流广播至观众端相应的所有观众用户及主播用户的直播间时,同时将广播用于表征所述虚拟礼物赠送的通知消息,以便触发所述观众用户及主播用户的直播间的图形用户界面中,在诸如公屏发言区、礼物流水列表区等区域显示该通知消息,进而使观众用户及主播用户确定赠送所述虚拟礼物的观众用户,以提升赠送虚拟礼物的观众用户与主播用户及其他观众用户的互动效果,提升直播间的直播氛围。
进一步,可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化,构造出本申请的一种虚拟礼物定位展示装置,按照这一思路,请参阅图9,其中的一个典型实施例中,该装置包括:选定操作模块11、礼物定位模块12及直播处理模块13。其中,选定操作模块11,用于响应虚拟礼物选定操作而在直播间的直播界面显示定位面板,在定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征;礼物定位模块12,用于获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据;直播处理模块13,用于根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。
一种实施例中,所述选定操作模块11包括:有效性校验单元,用于响应观众用户的虚拟礼物的选定操作,实施操作校验,以预校验该选定操作的有效性;面板显示单元,用于当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板;图像加载单元,用于在该定位面板中加载所述的人脸模型相对应的图像,在该人脸模型相对应的图像顶层加载所述的虚拟礼物,并在该定位面板中显示用于执行重定位确认操作以关闭该蒙层的确认控件。
再一种实施例中,所述有效性校验单元包括:余额校验单元,用于通过向服务器发送校验请求,由服务器预校验所述观众用户的个人账户中的余额是否足以支付所述虚拟礼物的对价,当为是时满足有效性,否则不满足有效性;状态监测单元,用于检测校验当前直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当为是时不满足有效性,当为否时满足有效性;版本校验单元,用于通过向服务器发送校验请求,由服务器校验当前观众用户与直播间的主播用户的程序版本是否为目标版本,当两者均为目标版本时满足有效性,否则不满足有效性。
一种实施例中,所述礼物定位模块12包括:定时器启动单元,用于在所述定位面板显示后启动定时器进行计时,以便在计时结束后触发默认确定所述相对位置数据的确认事件,响应于该确认事件而将预设数据作为已确定的相对位置数据;第一位位置侦测单元,用于在定时器计时范围内动态侦测所述虚拟礼物被拖放操作而移动时相对于所述定位面板的第一位置数据;数据转换单元,用于将侦测所得的第一位置数据转换为所述相对位置数据,所述相对位置数据依据第一位置数据与该人脸模型所居定位面板的第二位置数据的变化值而确定;位置确定单元,用于在完成所述虚拟礼物的重定位操作后,将最新侦测并转换而得的相对位置数据作为已确定的相对位置数据。
一种实施例中,所述直播处理模块13包括:支付流程提供单元,用于为提供所述相对位置数据的观众用户执行并完成支付所述虚拟礼物的支付流程;动画调用单元,用于在完成所述支付流程后,调用所述虚拟礼物的动画描述文件;图像合成单元,用于按照从所接收的相对位置数据中解析出其中的两个坐标轴的数据,将所述动画描述文件所描述的虚拟礼物的图像动态合成到直播间主播用户的直播流的人脸图像相应位置中,以实施直播流的合成。
再一种实施例中,所述直播处理模块13还包括:合成位置数据获取单元,用于从服务器获取与直播流同步传输的虚拟礼物合成位置数据,所述合成位置数据为服务器接收到主播端发送的人脸位置数据后,根据所述人脸位置数据以及相对位置数据定位确定;动画描述文件确定单元,用于确定与该合成位置数据相应的虚拟礼物的动画描述文件;虚拟礼物定位播放单元,用于根据所述合成位置数据,将所述动画描述文件所描述的虚拟礼物的图像定位到相应的合成位置中与所述直播流同步播放。
为解决上述技术问题,本申请实施例还提供一种计算机设备,用于运行根据所述虚拟礼物定位展示方法所实现的计算机程序。具体请参阅图10,图10为本实施例计算机设备基本结构框图。
如图10所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种虚拟礼物定位展示方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种虚拟礼物定位展示方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行本发明的虚拟礼物定位展示装置中的各个模块/子模块的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有虚拟礼物定位展示装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种非易失性存储介质,所述的虚拟礼物定位展示方法被编写成计算机程序,以计算机可读指令的形式存储于该存储介质中,计算机可读指令被一个或多个处理器执行时,意味着该程序在计算机中的运行,由此使得一个或多个处理器执行上述任一实施例虚拟礼物定位展示方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
综上所述,本申请向观众用户开放自定义虚拟礼物展示位置,将自定义的虚拟礼物定位合成至直播流中,深化了观众与主播的交互手段,从而提升直播交互体验。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种虚拟礼物定位展示方法,其特征在于,包括如下步骤:
响应虚拟礼物选定操作而在直播间的直播界面弹出蒙层,在蒙层上渲染显示定位面板,在所述定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征,其中,所述蒙层定位于所述直播内容外围或覆盖所述直播内容显示;
获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据;
根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。
2.根据权利要求1所述的方法,其特征在于,响应虚拟礼物选定操作而在直播间的直播界面显示定位面板的步骤,包括:
响应观众用户的虚拟礼物的选定操作,实施操作校验,以预校验该选定操作的有效性;
当该选定操作有效时,在直播间的直播界面弹出蒙层,在该蒙层中渲染显示所述的定位面板;
在该定位面板中加载所述的人脸模型相对应的图像,在该人脸模型相对应的图像顶层加载所述的虚拟礼物,并在该定位面板中显示用于执行重定位确认操作以关闭该蒙层的确认控件。
3.根据权利要求2所述的方法,其特征在于,实施操作校验,以预校验该选定操作的有效性的步骤,包括如下校验步骤任意单个或任意多个:
通过向服务器发送校验请求,由服务器预校验所述观众用户的个人账户中的余额是否足以支付所述虚拟礼物的对价,当为是时满足有效性,否则不满足有效性;
检测校验当前直播间的活动状态是否处于多个主播用户实施视频连线的分屏状态,当为是时不满足有效性,当为否时满足有效性;
通过向服务器发送校验请求,由服务器校验当前观众用户与直播间的主播用户的程序版本是否为目标版本,当两者均为目标版本时满足有效性,否则不满足有效性。
4.根据权利要求1所述的方法,其特征在于,获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据的步骤,包括:
在所述定位面板显示后启动定时器进行计时,以便在计时结束后触发默认确定所述相对位置数据的确认事件,响应于该确认事件而将预设数据作为已确定的相对位置数据;
在定时器计时范围内动态侦测所述虚拟礼物被拖放操作而移动时相对于所述定位面板的第一位置数据;
将侦测所得的第一位置数据转换为所述相对位置数据,所述相对位置数据依据第一位置数据与该人脸模型所居定位面板的第二位置数据的变化值而确定;
在完成所述虚拟礼物的重定位操作后,将最新侦测并转换而得的相对位置数据作为已确定的相对位置数据。
5.根据权利要求1所述的方法,其特征在于,根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系的步骤,包括由直播间的服务器执行的如下步骤:
为提供所述相对位置数据的观众用户执行并完成支付所述虚拟礼物的支付流程;
在完成所述支付流程后,调用所述虚拟礼物的动画描述文件;
按照从所接收的相对位置数据中解析出其中的两个坐标轴的数据,将所述动画描述文件所描述的虚拟礼物的图像动态合成到直播间主播用户的直播流的人脸图像相应位置中,以实施直播流的合成。
6.根据权利要求1所述的方法,其特征在于,根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系的步骤,包括由直播间的客户端执行的如下步骤:
从服务器获取与直播流同步传输的虚拟礼物合成位置数据,所述合成位置数据为服务器接收到主播端发送的人脸位置数据后,根据所述人脸位置数据以及相对位置数据定位确定;
确定与该合成位置数据相应的虚拟礼物的动画描述文件;
根据所述合成位置数据,将所述动画描述文件所描述的虚拟礼物的图像定位到相应的合成位置中与所述直播流同步播放。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,还包括如下后续步骤:
响应于服务器返回的通知消息,在直播内容包含所述虚拟礼物时,向直播间图形用户界面输出所述的通知消息所包含的通知内容。
8.一种虚拟礼物定位展示装置,其特征在于,其包括:
选定操作模块,用于响应虚拟礼物选定操作而在直播间的直播界面弹出蒙层,在蒙层上渲染显示定位面板,在所述定位面板中展示人脸模型及所述虚拟礼物,所述人脸模型用于对应表达该直播间的直播内容中的人物对象的面部特征,其中,所述蒙层定位于所述直播内容外围或覆盖所述直播内容显示;
礼物定位模块,用于获取所述虚拟礼物在定位面板中被重定位后所确定的虚拟礼物与人脸模型之间的相对位置数据,所述相对位置数据包括在所述定位面板中参考平面直角坐标系而获得的两个坐标轴的数据;
直播处理模块,用于根据所述相对位置数据将所述虚拟礼物定位到直播间的直播流播放窗口中显示,以使所述虚拟礼物与所述人物对象按照所述相对位置数据维持相对位置关系。
9.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任一项所述的方法的步骤。
10.一种非易失性存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
CN202110218254.0A 2021-02-26 2021-02-26 虚拟礼物定位展示方法及其装置、设备与介质 Active CN113163220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218254.0A CN113163220B (zh) 2021-02-26 2021-02-26 虚拟礼物定位展示方法及其装置、设备与介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218254.0A CN113163220B (zh) 2021-02-26 2021-02-26 虚拟礼物定位展示方法及其装置、设备与介质

Publications (2)

Publication Number Publication Date
CN113163220A CN113163220A (zh) 2021-07-23
CN113163220B true CN113163220B (zh) 2023-02-28

Family

ID=76883549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218254.0A Active CN113163220B (zh) 2021-02-26 2021-02-26 虚拟礼物定位展示方法及其装置、设备与介质

Country Status (1)

Country Link
CN (1) CN113163220B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156268A (zh) * 2023-02-20 2023-05-23 北京乐我无限科技有限责任公司 直播间的虚拟资源控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN108391153A (zh) * 2018-01-29 2018-08-10 北京潘达互娱科技有限公司 虚拟礼物显示方法、装置及电子设备
CN110418155A (zh) * 2019-08-08 2019-11-05 腾讯科技(深圳)有限公司 直播互动方法、装置、计算机可读存储介质和计算机设备
CN110493630A (zh) * 2019-09-11 2019-11-22 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统
CN111131850A (zh) * 2019-12-27 2020-05-08 广州华多网络科技有限公司 显示虚拟礼物特效的方法、装置及电子设备
CN111147877A (zh) * 2019-12-27 2020-05-12 广州华多网络科技有限公司 虚拟礼物的赠送方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN108391153A (zh) * 2018-01-29 2018-08-10 北京潘达互娱科技有限公司 虚拟礼物显示方法、装置及电子设备
CN110418155A (zh) * 2019-08-08 2019-11-05 腾讯科技(深圳)有限公司 直播互动方法、装置、计算机可读存储介质和计算机设备
CN110493630A (zh) * 2019-09-11 2019-11-22 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统
CN111131850A (zh) * 2019-12-27 2020-05-08 广州华多网络科技有限公司 显示虚拟礼物特效的方法、装置及电子设备
CN111147877A (zh) * 2019-12-27 2020-05-12 广州华多网络科技有限公司 虚拟礼物的赠送方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113163220A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112714334B (zh) 音乐礼物赠送方法及其装置、设备与介质
CN113038229A (zh) 虚拟礼物播控、操控方法及其装置、设备与介质
CN113038228B (zh) 虚拟礼物传输、请求方法及其装置、设备与介质
CN113727130B (zh) 直播间的消息提示方法、系统、装置及计算机设备
CN113840154B (zh) 基于虚拟礼物的直播互动方法、系统及计算机设备
US11272261B2 (en) Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user
CN113840156B (zh) 基于虚拟礼物的直播互动方法、装置及计算机设备
CN113573083A (zh) 连麦直播互动方法、装置及计算机设备
CN113949892A (zh) 基于虚拟资源消耗的直播互动方法、系统及计算机设备
CN113613027B (zh) 直播间推荐方法、装置及计算机设备
CN113596504A (zh) 直播间虚拟礼物赠送方法、装置及计算机设备
CN113824976A (zh) 直播间内的进场秀显示方法、装置及计算机设备
CN114630155B (zh) 基于用户身份的直播互动方法、系统、装置及计算机设备
CN114666671B (zh) 直播点赞互动方法、装置、设备及存储介质
CN113163220B (zh) 虚拟礼物定位展示方法及其装置、设备与介质
CN115134621A (zh) 基于主副画面显示的直播对战互动方法、装置及电子设备
CN114666672A (zh) 由观众发起的直播对战互动方法、系统及计算机设备
CN113824984A (zh) 虚拟礼物流水的显示方法、系统、装置及计算机设备
CN115134623B (zh) 虚拟礼物互动方法、系统、装置、电子设备及介质
CN113891162B (zh) 直播间加载方法、装置、计算机设备及存储介质
CN113727125B (zh) 直播间的截图方法、装置、系统、介质以及计算机设备
CN115086685B (zh) 一种直播购物控制方法、显示设备及终端设备
CN115065838A (zh) 直播间封面交互方法、系统、装置及电子设备
CN114501065A (zh) 基于面部拼图的虚拟礼物互动方法、系统及计算机设备
CN114760498A (zh) 连麦直播下的合成动作互动方法、系统、介质以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant