CN116437156A - 虚拟资源特效展示方法、装置以及网络直播系统 - Google Patents

虚拟资源特效展示方法、装置以及网络直播系统 Download PDF

Info

Publication number
CN116437156A
CN116437156A CN202310181120.5A CN202310181120A CN116437156A CN 116437156 A CN116437156 A CN 116437156A CN 202310181120 A CN202310181120 A CN 202310181120A CN 116437156 A CN116437156 A CN 116437156A
Authority
CN
China
Prior art keywords
special effect
observer
virtual resource
real
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310181120.5A
Other languages
English (en)
Inventor
欧燕雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202310181120.5A priority Critical patent/CN116437156A/zh
Publication of CN116437156A publication Critical patent/CN116437156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种虚拟资源特效展示方法、装置、网络直播系统、计算机设备及计算机可读存储介质；所述方法包括：从直播服务器下载3D虚拟资源特效包；从3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；根据终端设备的实时方向变化位置和特效观察者偏移关系值计算出对应的用户视角位置；根据用户视角位置调整虚拟特效资源在3D渲染中的观察者角度位置，并根据观察者角度位置计算相应的实时特效效果；基于用户视角位置将实时特效效果投影到直播画面的相应位置进行渲染；该技术方案，增加了基于用户视角位置变化的观察者维度，让特效视觉效果更有3D立体感。

Description

虚拟资源特效展示方法、装置以及网络直播系统
技术领域
本申请涉及网络直播领域，具体而言，本申请涉及一种虚拟资源特效展示方法、装置、网络直播系统、计算机设备及计算机可读存储介质。
背景技术
随着互联网技术的高速发展，视频直播得到了空前发展，用户可以通过直播设备进行真人秀表演，展示唱歌、跳舞、解说等方面的才能。
在直播节目中，直播间通常需要展示各种虚拟资源特效，包括虚拟礼物，虚拟人物、虚拟空间等等，从而达到绚丽的显示效果，吸引观众用户进行观看；以常见的虚拟礼物特效为例，用户可以向直播间的主播赠送虚拟礼物，直播间的礼物特效可以做到特别炫酷，从简单的文案提示到展示一张图片，再到播放一个特效视频，再到3D建模渲染特效等等；随着直播行业发展，虚拟资源特效的展示变得越来越重要，因此，直播间的礼物特效的展示技术是直播行业重点发展技术之一。
现有的虚拟资源特效展示效果，如3D建模的虚拟资源特效，对于观众用户来说，基本上都是基于预设的最佳观看视角来制作，在虚拟资源特效展示过程中，除了可以与用户进行互动控制外，也基本上是在特定模式的空间场景中进行播放，但由于不同观众用户使用终端设备进行观看画面行为习惯并不完全相同，由此会导致不同观众实际感受到的特效展示都是一样的；以视频直播中常见的娱乐模板为例，横幅广播、进场特效、大礼物特效等，在特效展示过程中分别使用到了图片、视频和3D建模来展示虚拟资源特效，但在展示过程中用户有时候也难以体会到更好的3D效果体验。
基于此，有必要提供一种虚拟资源特效展示方案，以提升直播间的虚拟资源特效展示的视觉效果。
发明内容
基于此，有必要针对上述至少一种技术缺陷，提供一种虚拟资源特效展示方法、装置、网络直播系统、计算机设备及计算机可读存储介质，以提升虚拟礼物特效的展示效果。
第一方面，本申请实施例提供一种虚拟资源特效展示方法，包括以下步骤：
一种虚拟资源特效展示方法，包括以下步骤：
从直播服务器下载3D虚拟资源特效包；
从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；
根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置；
根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果；
基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
在一个实施例中，所述的虚拟资源特效展示方法，还包括：
使用3D建模技术创建虚拟特效资源；
根据需要展示的3D视觉效果设置虚拟特效资源的特效效果的深度值以及设置虚拟特效资源在水平方向上的特效观察者偏移关系值；
将所述虚拟特效资源及其特效效果的深度值和特效观察者偏移关系值生成所述3D虚拟资源特效包，并保存在直播服务器上。
在一个实施例中，所述根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置，包括：
在虚拟资源特效展示开始时，获取终端设备当前的初始水平方向值；
在虚拟资源特效展示的时间段内，监控终端设备的实时水平方向变化位置；
根据所述初始水平方向值、实时水平方向变化位置和水平变化观察者偏移关系值计算出对应的用户视角位置。
在一个实施例中，所述获取终端设备当前的水平方向值，包括：
读取终端设备的重力感应器当前的重力感应参数，根据所述重力感应参数计算终端设备当前的水平方向值；
所述监控终端设备的实时水平方向变化位置，包括：
持续读取终端设备的重力感应器的重力感应参数，并计算终端设备的实时水平方向变化位置；
所述根据所述初始水平方向值、实时水平方向变化位置和水平变化观察者偏移关系值计算出对应的用户视角位置，包括：
计算所述实时水平方向变化位置相对于所述初始水平方向值的三维角度变化量；
根据所述三维角度变化量和所述水平变化观察者偏移关系值计算对应的用户视角位置。
在一个实施例中，所述的虚拟资源特效展示方法，还包括：
在虚拟资源特效展示的时间段内，调用终端设备的摄像头拍摄用户图像；
对所述用户图片进行图像分析获取用户视线相对于终端设备界面的夹角；
根据所述夹角调整所述用户视角位置。
在一个实施例中，在直播画面上渲染所述特效效果的方法，包括：
获取所述终端设备当前使用的分辨率参数以及客户端字体型号信息；
根据所述分辨率参数以及字体型号信息计算虚拟资源特效展示时相应的缩放比例；
根据所述缩放比例调整所述特效效果的渲染画面。
在一个实施例中，所述根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置，包括：
按照设定时间间隔计算一次用户视角位置，并获取已计算的所述用户视角位置的三维坐标值；
根据所述三维坐标值拟合出用户视角位置的位置变化曲线；
当上一个时间间隔的前后两个实时方向变化位置之间差值超过设定阈值时，根据所述位置变化曲线从所述时间间隔划分出若干个子实时方向变化位置。
第二方面，本申请实施例提供一种虚拟资源特效展示装置，包括：
资源下载模块，用于从直播服务器下载3D虚拟资源特效包；
数值获取模块，用于从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；
视角计算模块，用于根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置；
特效计算模块，用于根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果；
特效渲染模块，用于基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
第三方面，本申请实施例提供一种网络直播系统，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过网络连接至所述直播服务器；
所述直播服务器，用于进行主播端与观众端之间的直播视频转发，以及预存3D虚拟资源特效包；
所述主播端用于接入直播间的主播，采集主播直播视频流上传至直播服务器；
所述观众端用于接入直播间的用户，以及在播放虚拟资源特效时执行所述的虚拟资源特效展示方法的步骤。
第四方面，本申请实施例提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的虚拟资源特效展示方法。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的虚拟资源特效展示方法。
本申请的技术方案，首先在直播服务器预存3D虚拟资源特效包，当观众端需要播放虚拟资源特效时，从直播服务器下载相应的3D虚拟资源特效包，并获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；在观众端上，根据终端设备的实时方向变化位置和特效观察者偏移关系值计算出对应的用户视角位置，并以此调整虚拟特效资源在3D渲染中的观察者角度位置和计算相应的实时特效效果；最后将计算的实时特效效果投影到直播画面的相应位置进行渲染；该技术方案，在3D虚拟资源特效展示时，增加了一个基于用户视角位置变化的观察者维度，展示过程实时匹配观众用户的用户视角位置，虚拟资源特效的展示过程与观众用户之间有交互体验，让特效视觉效果更有3D立体感、更加酷炫。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是一个示例的网络直播系统的框架示意图；
图2是一实施例的虚拟资源特效展示方法的流程图；
图3是一个示例的虚拟资源特效渲染正面示意图；
图4是一个示例的虚拟资源特效渲染侧面示意图；
图5是一个示例的虚拟资源特效渲染的水平偏移示意图；
图6是一个示例的3D特效模型渲染变化示意图；
图7是一个示例的划分子实时方向变化位置示意图；
图8是一个实施例的虚拟资源特效展示装置的结构示意图；
图9是一个示例的网络直播系统示意图；
图10是一个实施例的计算机设备的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请实施例中，提及的“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个对象指两个或两个以上的对象。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的信息涵盖出现在“包括”或者“包含”后面列举的信息及其等同，并不排除其他信息。在本申请实施例中提及的“和/或”，表示可以存在三种关系，字符“/”一般表示前后关联对象是一种“或”的关系。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
在主播直播过程中，直播间的主播可接收观众用户赠送的虚拟礼物，而礼物特效在展示过程中，是在直播间界面上进行视频画面渲染；基于3D建模的礼物特效，可以达到炫酷的特效效果，是一种非常好的礼物特效呈现形式，但是3D建模的礼物特效在制作时，认为观察者都是在固定位置来观看的，当观众用户习惯的观看角度不是该固定位置时，往往难以体验到最佳的视觉效果，同时3D礼物特效在展示过程中也缺乏与观众用户之间交互体验，从而一定程度上影响了观众用户的3D效果体验。
基于此，旨在解决上述技术缺陷，并提升观众用户的3D效果体验，本申请提供了一种虚拟资源特效展示方法、装置、网络直播系统、计算机设备及计算机可读存储介质。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
在对本申请实施例进行详细的解释说明之前，先对本申请实施例的应用场景予以介绍。本申请实施例提供的方法应用于虚拟资源特效展示场景中。
请参考图1，图1是一个示例的网络直播系统的框架示意图，该系统框架可以包括主播端、直播服务器和观众端，其中，主播端和多个观众端分别与直播服务器之间通过有线网络或者无线网络建立通信连接。主播用户通过主播端进行直播，如进行真人才艺表演等，观众用户通过观众端选择进入某一虚拟直播间观看主播用户进行直播。观众端和主播端可以通过安装在计算机设备上的直播应用程序(Application，APP)进入直播平台，在本申请中，主播端和观众端可以为计算机类设备，如智能手机、平板电脑、台式电脑或笔记本电脑等，对此并不做限定，也可以是应用程序的软件模块。直播服务器包括用于为计算机设备提供后台服务的后台服务器，可以用独立服务器或多个服务器组成的服务器集群来实现。
基于上述网络直播系统的框架，本申请提供一种虚拟资源特效展示方法，应用于观众端，如图2所示，图2是一实施例的虚拟资源特效展示方法的流程图，为了便于举例，以下的实施例中将主要以直播间中观众用户向主播赠送的虚拟礼物特效作为示例进行阐述，对于其他虚拟资源特效也是类似，不再一一赘述。
如图2，本实施例的虚拟资源特效展示方法可以包括以下步骤：
S10，从直播服务器下载3D虚拟资源特效包。
此步骤中，当直播间需要展示虚拟资源特效时，观众端从直播服务器下载3D虚拟资源特效包，并在观众端上进行展示。
对于3D虚拟资源特效包，预先创建并保存在直播服务器上；可以使用3D建模技术创建虚拟特效资源，然后根据需要展示的特效效果设置虚拟特效资源的特效观察者偏移关系值，将所述虚拟特效资源及其特效观察者偏移关系值生成3D虚拟资源特效包；特效观察者偏移关系值是指从不同角度的观察者角度下特效效果在三维空间中的偏移位置。
示例性的，在制作3D虚拟资源特效包时，通过三维制作软件和相关特效元素制作虚拟特效资源，特效效果由深度值和水平变化观察者偏移关系值确定，通过深度值(对应三维空间坐标系的Z轴)和水平变化观察者偏移关系值(对应三维空间坐标系的XY轴)控制各个元素在界面上显示位置，通过设置虚拟特效资源在水平方向变化时与观察者角度之间对应的偏移关系，深度值是指虚拟资源特效上的某个元素相对于视频场景所在的三维坐标系的深度位置，水平变化观察者偏移关系值是指虚拟资源特效上的某个元素相对于视频场景所在的三维坐标系的水平方向上的偏移位置；通过在不同的3D虚拟资源特效可以设定不同的偏移关系值，从而可以在观众端呈现出更好的3D互动效果。
S20，从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值。
此步骤中，观众端在下载到3D虚拟资源特效包之后，从3D虚拟资源特效包中可以获取到虚拟特效资源和特效观察者偏移关系值，包括深度值和水平变化观察者偏移关系值。
对于特效观察者偏移关系值，可以利用3D虚拟资源特效包设定的，可以在虚拟资源特效刚开始播放时选择当前的偏移关系值为基准，或者根据一段时间内所使用的偏移关系值取平均值为基准值。
S30，根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置。
此步骤中，在虚拟资源特效展示过程中，通过获取终端设备实时方向变化位置，确定当前观众用户对于终端设备屏幕的观看角度，结合该虚拟资源特效所设置的特效观察者偏移关系值计算得到匹配的用户视角位置。
对于用户视角位置的计算方法，其是通过相关方法来感知观众用户当前观看终端设备屏幕的用户视角位置，进而计算3D特效礼物相匹配的观察者的视觉角度，由于观众用户观看时主要是受到水平方向角度变化的影响，本实施例的用户视角位置的计算方案，可以包括如下：
S301，在虚拟资源特效展示开始时，获取终端设备当前的初始水平方向值。
作为实施例，在虚拟资源特效展示开始时，读取终端设备的重力感应器当前的重力感应参数，根据所述重力感应参数计算终端设备当前的水平方向值。
示例性的，如智能手机，重力感应器的重力感应参数可以用于计算水平方向角度，因此通过实时读取的重力感应参数计算智能手机的水平方向值。
S302，在虚拟资源特效展示的时间段内，监控终端设备的实时水平方向变化位置。
作为实施例，在虚拟资源特效展示的时间段内，持续读取终端设备的重力感应器的重力感应参数，并计算终端设备的实时水平方向变化位置。
示例性的，在智能手机展示虚拟资源特效时，持续读取重力感应器的重力感应参数，并计算实时水平方向变化位置，从而可以得到当前智能手机在水平方向上偏移角度。
S303，根据所述初始水平方向值、实时水平方向变化位置和水平变化观察者偏移关系值计算出对应的用户视角位置。
此步骤中，根据初始水平方向值、实时水平方向变化位置，可以计算终端设备的偏移角度，结合3D特效模型的水平变化观察者偏移关系值，可以计算出对应的用户视角位置，作为3D虚拟资源特效渲染时的观察者角度。
作为实施例，用户视角位置的计算方法可以如下：
A、计算所述实时水平方向变化位置相对于所述初始水平方向值的三维角度变化量；例如，当通过计算得到三维角度变化量为θ。
B、根据所述三维角度变化量和所述水平变化观察者偏移关系值计算对应的用户视角位置。
示例性的，可以通过如下公式计算：
Figure BDA0004102344050000101
式中，γ(x,y,z)表示用户视角位置，(xb,yb,zb)表示实时水平方向变化位置，(xa,ya,za)表示初始水平方向值，θ表示三维角度变化量，k表示运算参数，ψmax表示最大的用户视角位置。
上述实施例的技术方案，利用了终端设备的重力感应器的重力感应参数计算初始水平方向值和实时水平方向变化位置，再结合从3D虚拟资源特效包中获取的水平变化观察者偏移关系值，最终计算出对应的用户视角位置，可以得到3D虚拟资源特效相匹配的观察者的视觉角度，为虚拟资源特效的效果展示提供了多方位的观察者维度，使得特效视觉效果更有立体感。
S40，根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果。
此步骤中，以前面步骤计算得到的用户视角位置作为3D特效模型展示时的观察者角度位置，并在渲染过程中实时进行调整，以调整后的观察者角度位置观所看到的特效效果，最终在终端设备屏幕上进行呈现。
S50，基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
此步骤中，基于用户视角位置将所述实时特效效果投影到直播画面的相应位置，按照投影得到直播画面应该显示的3D礼物特效模型特效内容在相应位置上进行渲染。
参考图3-5所示，图3是一个示例的虚拟资源特效渲染正面示意图，图中所示为基于三维坐标系XYZ上的示意图，在直播画面上，假设有一个虚拟资源特效是要展示的视觉效果是悬浮于画面上h的高度，终端设备当前的初始水平方向值为平衡放置，特效观察者偏移关系值为原始值，即观众用户从正面观察直播画面；图4是一个示例的虚拟资源特效渲染侧面示意图。当终端设备偏向右侧时(水平方向为左高右低)，观察者从场景的左边观看，计算得到用户视角位置往坐标偏移，此时对应的在3D特效模型中的特效效果应该往右偏转，如图5，图5是一个示例的虚拟资源特效渲染的水平偏移示意图，左侧更多的效果，特效的投影是在直播画面的右边，此时根据新的用户视角位置，调整实时特效效果投影到直播画面的位置，然后进行虚拟资源特效内容渲染，此时用户看到的视觉效果是从虚拟资源特效的侧面投影过去的画面；参考图6，图6是一个示例的3D特效模型渲染变化示意图，图中是一辆小车为例，可见从图3用户视角位置变化到图5视角位置时，对应虚拟资源特效变化如图所示，当用户视角位置随着终端位置不断变化时，对应的虚拟资源特效渲染图片也跟随变化观察者位置，从而可以实现用户与3D礼物特效呈现时更好的交互体验。
综合上述各实施例的虚拟资源特效展示方案，在3D虚拟资源特效展示时，增加了一个基于用户视角位置变化的观察者维度，展示过程实时匹配观众用户的用户视角位置，虚拟资源特效的展示过程与观众用户之间有交互体验，让特效视觉效果更有立体感、更加酷炫，可以充分呈现3D立体效果。
为了更好地匹配观众用户的用户视角位置，本申请的虚拟资源特效展示方法还可以进行如下改进，下面将结合相关实施例进一步阐述。
在一个实施例中，在通过终端设备的重力感应器来得到水平方向位置基础上，本实施例还可以在虚拟资源特效展示的时间段内，调用终端设备的摄像头拍摄用户图像；对所述用户图片进行图像分析获取用户视线相对于终端设备界面的夹角；根据所述夹角调整所述用户视角位置。
上述实施例的技术方案，通过调用终端设备的摄像头，基于图像分析得到用户视线夹角，从而辅助调整用户视角位置，可以使得用户视角位置能够更好地与观众用户观看礼物特效方向匹配，可有效提升虚拟资源特效视觉效果，充分挖掘3D特效立体化效果。
在一个实施例中，在步骤S30的计算用户视角位置时，考虑到实时计算需要运算量不同，比如在智能手机上特效动画播放的帧率通常在25帧/秒，如果每帧图像都计算一次用户视角位置，则会导致计算量过大。
为了降低计算量，同时也确保在选择过程中保持平稳变化，本实施例的计算用户视角位置的方案，可以包括如下：
(1)按照设定时间间隔计算一次用户视角位置，并获取已计算的所述用户视角位置的三维坐标值；一般情况下，结合人眼的视觉停留时间，时间间隔可以设置在100ms以内。
(2)根据所述三维坐标值拟合出用户视角位置的位置变化曲线；例如，每100ms计算一个用户视角位置的三维坐标值，然后在空间坐标系上拟合出一条用户视角位置的位置变化曲线。
(3)当上一个时间间隔的前后两个实时方向变化位置之间差值超过设定阈值时，根据所述位置变化曲线从所述时间间隔划分出若干个子实时方向变化位置。
此步骤中，参考图7所示，图7是一个示例的划分子实时方向变化位置示意图，当实时方向变化位置变化过大时，如果采取100ms的时间间隔计算一个用户视角位置，在虚拟资源特效渲染控制时，会产生角度切换过大，影响观看效果；此情况下，如图中将100ms划分为三个时间段，这样可以得到三个实时方向变化位置，如图7所示，假设原有前后两个实时方向变化位置为P1和P2，可以从位置变化曲线上划分出若干个子实时方向变化位置p11和p12，在后续渲染虚拟资源特效的视频帧时，也会根据子实时方向变化位置p11和p12调整虚拟资源特效的观察者角度，从而可以保持虚拟资源特效画面内容的平稳过渡，提升了观众用户的3D效果体验。
进一步的，当由于终端设备的抖动频率和幅度较大时，反映到重力感应器的重力感应参数上也会出现波动，此时计算的用户视角位置也会存在较大波动现象。
为了解决该缺陷，本实施例的方案还可以对位置变化曲线进行平滑处理，并根据平滑的位置变化曲线对变化趋势对所述用户视角位置进行调整；基于该平滑处理，可以使得整个位置变化曲线平稳过渡，用于计算和渲染虚拟资源特效时，避免虚拟资源特效内容显示时出现抖动，具有更高稳定性。
在一个实施例中，为了提升观众用户的观看效果，本实施例的方案中，步骤S50的在直播画面上渲染所述特效效果的方案，还可以包括：
获取所述终端设备当前使用的分辨率参数以及客户端字体型号信息；根据所述分辨率参数以及字体型号信息计算虚拟资源特效展示时相应的缩放比例；根据所述缩放比例调整所述虚拟资源特效的渲染画面。
上述实施例的技术方案，通过获取当前使用的分辨率参数以及客户端字体型号信息，从而可以确定用户视力情况和观看习惯，从而可以调整虚拟资源特效的缩放比例，使得渲染画面更加适合用户个性化特点，提高虚拟资源特效视觉效果，增强用户观看体验。
下面对虚拟资源特效展示装置的相关实施例进行详细阐述。
参考图8所示，图8是一个实施例的虚拟资源特效展示装置的结构示意图，该虚拟资源特效展示装置部署于观众端，可以包括：
资源下载模块10，用于从直播服务器下载3D虚拟资源特效包；
数值获取模块20，用于从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；
视角计算模块30，用于根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置；
特效计算模块40，用于根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果；
特效渲染模块50，用于基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
本实施例的虚拟资源特效展示装置可执行本申请的实施例所提供的一种虚拟资源特效展示方法，其实现原理相类似，本申请各实施例中的虚拟资源特效展示装置中的各模块所执行的动作是与本申请各实施例中的虚拟资源特效展示方法中的步骤相对应的，对于虚拟资源特效展示装置的各模块的详细功能描述具体可以参见前文中所示的对应的虚拟资源特效展示方法中的描述，此处不再赘述。
下面阐述网络直播系统的实施例。
本申请实施例提供的网络直播系统，参考图9所示，图9是一个示例的网络直播系统示意图，包括：主播端、多个观众端和直播服务器；其中主播端和观众端分别通过网络连接至直播服务器。其中，直播服务器用于进行主播端与观众端之间的直播视频转发，以及预存3D虚拟资源特效包；主播端用于接入直播间的主播，采集主播直播视频流上传至直播服务器；观众端用于接入直播间的用户，以及在播放虚拟资源特效时执行任一实施例的虚拟资源特效展示方法的步骤。
如图9所示的网络直播系统中，以直播间赠送的礼物特效为例，假设不同的观众用户A、B、C……通过App客户端访问直播间观看主播的直播画面，当有人想主播赠送虚拟礼物时，假设为3D礼物特效，则在用户A、B、C……的观众端，会从直播服务器下载3D虚拟资源特效包，然后从3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值，同时观众用户A、B、C……的客户端各自会根据终端设备的实时方向变化位置，实时计算出对应的用户视角位置，调整3D虚拟特效资源在渲染中的观察者角度位置并计算得到不同的实时特效效果，最后投影到直播画面的相应位置进行渲染。通过该技术方案，观众用户A、B、C……所得到的礼物特效更能够匹配自身的进行观看画面行为习惯，而且观众用户可以在礼物特效的展示过程，与礼物特效产生交互体验，让特效视觉效果更有3D立体感，可以让特效视觉更酷炫。
下面阐述计算机设备及计算机可读存储介质的实施例。
本申请提供一种计算机设备的技术方案，用以实现虚拟资源特效展示方法相关功能该计算机设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于任意实施例的虚拟资源特效展示方法。
如图10所示，图10是一个实施例的计算机设备的框图，该计算机设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。计算机设备可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制计算机设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。
存储器1004被配置为存储各种类型的数据以支持在计算机设备的操作。如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为计算机设备的各种组件提供电力。
多媒体组件1008包括在计算机设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。
音频组件1010被配置为输出和/或输入音频信号。
输入/输出接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为计算机设备提供各个方面的状态评估。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。
通信组件1016被配置为便于计算机设备和其他设备之间有线或无线方式的通信。计算机设备可以接入基于通信标准的无线网络，如Wi-Fi，运营商网络(如2G、3G、4G或5G)，或它们的组合。
本申请提供的计算机可读存储介质，用以实现虚拟资源特效展示方法相关功能，该计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行任意实施例的虚拟资源特效展示方法。在示例性实施例中，计算机可读存储介质可以是一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备，如计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现任意实施例的虚拟资源特效展示方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种虚拟资源特效展示方法，其特征在于，包括以下步骤：
从直播服务器下载3D虚拟资源特效包；
从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；
根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置；
根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果；
基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
2.根据权利要求1所述的虚拟资源特效展示方法，其特征在于，还包括：
使用3D建模技术创建虚拟特效资源；
根据需要展示的3D视觉效果设置虚拟特效资源的特效效果的深度值以及设置虚拟特效资源在水平方向上的特效观察者偏移关系值；
将所述虚拟特效资源及其特效效果的深度值和特效观察者偏移关系值生成所述3D虚拟资源特效包，并保存在直播服务器上。
3.根据权利要求1所述的虚拟资源特效展示方法，其特征在于，所述根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置，包括：
在虚拟资源特效展示开始时，获取终端设备当前的初始水平方向值；
在虚拟资源特效展示的时间段内，监控终端设备的实时水平方向变化位置；
根据所述初始水平方向值、实时水平方向变化位置和水平变化观察者偏移关系值计算出对应的用户视角位置。
4.根据权利要求3所述的虚拟资源特效展示方法，其特征在于，所述获取终端设备当前的水平方向值，包括：
读取终端设备的重力感应器当前的重力感应参数，根据所述重力感应参数计算终端设备当前的水平方向值；
所述监控终端设备的实时水平方向变化位置，包括：
持续读取终端设备的重力感应器的重力感应参数，并计算终端设备的实时水平方向变化位置；
所述根据所述初始水平方向值、实时水平方向变化位置和水平变化观察者偏移关系值计算出对应的用户视角位置，包括：
计算所述实时水平方向变化位置相对于所述初始水平方向值的三维角度变化量；
根据所述三维角度变化量和所述水平变化观察者偏移关系值计算对应的用户视角位置。
5.根据权利要求4所述的虚拟资源特效展示方法，其特征在于，还包括：
在虚拟资源特效展示的时间段内，调用终端设备的摄像头拍摄用户图像；
对所述用户图片进行图像分析获取用户视线相对于终端设备界面的夹角；
根据所述夹角调整所述用户视角位置。
6.根据权利要求4所述的虚拟资源特效展示方法，其特征在于，在直播画面上渲染所述特效效果的方法，包括：
获取所述终端设备当前使用的分辨率参数以及客户端字体型号信息；
根据所述分辨率参数以及字体型号信息计算虚拟资源特效展示时相应的缩放比例；
根据所述缩放比例调整所述特效效果的渲染画面。
7.根据权利要求4所述的虚拟资源特效展示方法，其特征在于，所述根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置，包括：
按照设定时间间隔计算一次用户视角位置，并获取已计算的所述用户视角位置的三维坐标值；
根据所述三维坐标值拟合出用户视角位置的位置变化曲线；
当上一个时间间隔的前后两个实时方向变化位置之间差值超过设定阈值时，根据所述位置变化曲线从所述时间间隔划分出若干个子实时方向变化位置。
8.一种虚拟资源特效展示装置，其特征在于，包括：
资源下载模块，用于从直播服务器下载3D虚拟资源特效包；
数值获取模块，用于从所述3D虚拟资源特效包中获取虚拟特效资源以及原始特效效果的特效观察者偏移关系值；其中，所述特效观察者偏移关系值包括深度值和水平变化观察者偏移关系值；
视角计算模块，用于根据终端设备的实时方向变化位置和所述特效观察者偏移关系值计算出对应的用户视角位置；
特效计算模块，用于根据所述用户视角位置调整所述虚拟特效资源在3D渲染中的观察者角度位置，并根据所述观察者角度位置计算相应的实时特效效果；
特效渲染模块，用于基于所述用户视角位置将所述实时特效效果投影到直播画面的相应位置进行渲染。
9.一种网络直播系统，其特征在于，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过网络连接至所述直播服务器；
所述直播服务器，用于进行主播端与观众端之间的直播视频转发，以及预存3D虚拟资源特效包；
所述主播端用于接入直播间的主播，采集主播直播视频流上传至直播服务器；
所述观众端用于接入直播间的用户，以及在播放虚拟资源特效时执行权利要求1-7任一项所述的虚拟资源特效展示方法的步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至7任一项所述的虚拟资源特效展示方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的虚拟资源特效展示方法。
CN202310181120.5A 2023-03-01 2023-03-01 虚拟资源特效展示方法、装置以及网络直播系统 Pending CN116437156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181120.5A CN116437156A (zh) 2023-03-01 2023-03-01 虚拟资源特效展示方法、装置以及网络直播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181120.5A CN116437156A (zh) 2023-03-01 2023-03-01 虚拟资源特效展示方法、装置以及网络直播系统

Publications (1)

Publication Number Publication Date
CN116437156A true CN116437156A (zh) 2023-07-14

Family

ID=87086209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181120.5A Pending CN116437156A (zh) 2023-03-01 2023-03-01 虚拟资源特效展示方法、装置以及网络直播系统

Country Status (1)

Country Link
CN (1) CN116437156A (zh)

Similar Documents

Publication Publication Date Title
US11450350B2 (en) Video recording method and apparatus, video playing method and apparatus, device, and storage medium
CN109068166B (zh) 一种视频合成方法、装置、设备及存储介质
CN110465097B (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
US11494993B2 (en) System and method to integrate content in real time into a dynamic real-time 3-dimensional scene
US9485493B2 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
CN111614993B (zh) 弹幕展示方法、装置、计算机设备及存储介质
US20140087877A1 (en) Compositing interactive video game graphics with pre-recorded background video content
US9509907B2 (en) Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
KR20220093216A (ko) 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기
CN110751707B (zh) 动画显示方法、装置、电子设备及存储介质
US20230290043A1 (en) Picture generation method and apparatus, device, and medium
WO2016202024A1 (zh) 一种3d动画的展现方法及装置
CN113342248A (zh) 直播显示方法、装置、存储介质及电子设备
CN105389090A (zh) 游戏交互界面显示的方法及装置、移动终端和电脑终端
CN112712575A (zh) 贴纸模板图像生成方法、装置、主播端设备及存储介质
CN111277890A (zh) 虚拟礼物的获取方法和三维全景直播间的生成方法
CN111225287A (zh) 一种弹幕处理的方法及装置、电子设备、存储介质
CN112616078A (zh) 投屏处理方法、装置、电子设备和存储介质
CN116260999A (zh) 显示设备及视频通讯数据处理方法
CN116437156A (zh) 虚拟资源特效展示方法、装置以及网络直播系统
CN114095785B (zh) 视频播放方法、装置及计算机设备
CN116847147A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114286077A (zh) 一种虚拟现实设备及vr场景图像显示方法
CN113542846B (zh) Ar弹幕显示方法及装置
CN115624765A (zh) 基于游戏直播的图像处理方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination