CN110087121A - 虚拟形象显示方法、虚拟形象显示装置和电子设备 - Google Patents

虚拟形象显示方法、虚拟形象显示装置和电子设备 Download PDF

Info

Publication number
CN110087121A
CN110087121A CN201910358384.7A CN201910358384A CN110087121A CN 110087121 A CN110087121 A CN 110087121A CN 201910358384 A CN201910358384 A CN 201910358384A CN 110087121 A CN110087121 A CN 110087121A
Authority
CN
China
Prior art keywords
virtual image
live streaming
receiving end
bit manipulation
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910358384.7A
Other languages
English (en)
Other versions
CN110087121B (zh
Inventor
徐子豪
吴施祈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910358384.7A priority Critical patent/CN110087121B/zh
Publication of CN110087121A publication Critical patent/CN110087121A/zh
Priority to SG11202111640RA priority patent/SG11202111640RA/en
Priority to PCT/CN2020/087139 priority patent/WO2020221186A1/zh
Priority to US17/605,476 priority patent/US20220214797A1/en
Application granted granted Critical
Publication of CN110087121B publication Critical patent/CN110087121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供的虚拟形象显示方法、虚拟形象显示装置和电子设备，涉及直播技术领域。其中，虚拟形象显示方法包括：根据直播发起端发送的主播视频帧对虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示；检测是否获得直播接收端发送的虚拟机位操作指令；若获得虚拟机位操作指令，则根据虚拟机位操作指令对直播接收端显示的虚拟形象进行控制。通过上述方法，可以改善虚拟形象直播中趣味不足的问题。

Description

虚拟形象显示方法、虚拟形象显示装置和电子设备
技术领域
本申请涉及直播技术领域，具体而言，涉及一种虚拟形象显示方法、虚拟形象显示装置和电子设备。
背景技术
现有的直播技术中，一般采用虚拟形象替代主播的实际形象在直播画面中进行显示，使得用户在观看直播时实际上观看到的是虚拟形象。虽然，通过虚拟形象进行直播，在一定程度上提高了直播的趣味性，但是，趣味性仍然有待提升。
发明内容
有鉴于此，本申请的目的在于提供一种虚拟形象显示方法、虚拟形象显示装置和电子设备，以改善虚拟形象直播中趣味不足的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种虚拟形象显示方法，包括：
根据直播发起端发送的主播视频帧对虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示，其中，所述主播视频帧通过图像获取设备对主播进行拍摄得到；
检测是否获得所述直播接收端发送的虚拟机位操作指令；
若获得所述虚拟机位操作指令，则根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制的步骤，包括：
根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述虚拟机位操作指令中包括角度参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
控制所述直播接收端停止显示所述直播视频帧，并获取预先针对所述虚拟形象构建的三维图像数据中所述角度参数对应的部分三维视角数据。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述虚拟机位操作指令中包括角度参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
控制所述直播接收端停止显示所述直播视频帧，根据该直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整；
获取在调整后的三维图像数据中所述角度参数对应的部分三维视角数据。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述根据该直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整的步骤，包括：
获取所述直播视频帧中的目标特征点的坐标信息，并基于该坐标信息计算得到虚拟形象的其它特征点的坐标信息；
根据所述坐标信息对预先针对所述虚拟形象构建的三维图像数据进行调整。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述虚拟机位操作指令中包括缩放参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
根据所述缩放参数和所述直播视频帧中虚拟形象的初始大小控制在所述直播接收端显示的虚拟形象的显示大小。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，还包括：
获取所述虚拟形象基于各显示角度在所述直播接收端的显示次数；
根据各显示角度对应的显示次数确定在基于该显示角度对所述虚拟形象进行显示时的数据量。
在本申请实施例较佳的选择中，在上述虚拟形象显示方法中，所述检测是否获得所述直播接收端发送的虚拟机位操作指令的步骤，包括：
在接收到所述直播接收端发送的虚拟机位操作指令时，判断所述虚拟机位操作指令是否符合基于所述直播接收端对应的用户历史数据确定的预设条件；
若所述虚拟机位操作指令符合基于所述直播接收端对应的用户历史数据确定的预设条件，则判定获得所述虚拟机位操作指令。
本申请实施例还提供了一种虚拟形象显示装置，包括：
视频帧处理模块，用于根据直播发起端发送的主播视频帧对所述虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示，其中，所述主播视频帧通过图像获取设备对主播进行拍摄得到；
操作指令检测模块，用于检测是否获得所述直播接收端发送的虚拟机位操作指令；
虚拟形象控制模块，用于在获得所述虚拟机位操作指令时，根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。
在上述基础上，本申请实施例还提供了一种电子设备，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现上述的虚拟形象显示方法。
在上述基础上，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述的虚拟形象显示方法。
本申请提供的虚拟形象显示方法、虚拟形象显示装置和电子设备，在基于直播发起端发送的主播视频帧对虚拟形象进行控制时，还可以基于直播接收端发送的虚拟机位操作指令对在该直播接收端显示的虚拟形象进行控制。其中，由于虚拟机位操作指令基于直播接收端响应用户的操作生成，使得可以根据用户(观看直播的观众)的需求对虚拟形象的显示进行控制，增加了直播过程中的互动性，从而提高虚拟形象直播的趣味性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的虚拟形象显示方法的流程示意图。
图3为本申请实施例提供的直播系统的系统框图。
图4为本申请实施例提供的根据缩放参数对虚拟形象的显示大小进行控制的效果示意图。
图5为本申请实施例提供的根据缩放参数对虚拟形象的显示大小进行控制的另一效果示意图。
图6为本申请实施例提供的根据角度参数对虚拟形象的显示角度进行控制的效果示意图。
图7为本申请实施例提供的基于特征点对虚拟形象进行控制的示意图。
图8为本申请实施例提供的特征点数量和显示次数之间的对应关系的示意图。
图9为本申请实施例提供的虚拟形象显示装置包括的功能模块的方框示意图。
图标：10-电子设备；12-存储器；14-处理器；100-虚拟形象显示装置；110-视频帧处理模块；130-操作指令检测模块；150-虚拟形象控制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供了一种电子设备10。其中，该电子设备10可以作为一种直播设备，例如，可以是与主播在直播时使用的终端设备通信连接的后台服务器。
详细地，所述电子设备10可以包括存储器12、处理器14和虚拟形象显示装置100。所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述虚拟形象显示装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述虚拟形象显示装置100所包括的软件功能模块及计算机程序等，以对用户观看直播时使用的终端设备显示的虚拟形象进行控制。
其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip,SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它直播设备(如主播使用的终端设备、用户使用的终端设备等)进行信息交互的通信单元。
结合图2和图3，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象显示方法。所述电子设备10(如图3所示的后台服务器)可以应用于一直播系统，且该直播系统还可以包括图像获取设备、直播发起端和直播接收端。
详细地，所述图像获取设备与所述直播发起端通信连接，用于在主播进行直播时，将拍摄主播得到的直播视频帧发送给所述直播发起端。所述直播发起端与所述后台服务器通信连接，用于将所述直播视频帧发送给所述后台服务器，以使该后台服务器基于该主播视频帧执行所述虚拟形象显示方法，并根据执行该虚拟形象显示方法的结果对所述直播接收端显示的虚拟形象进行控制。
其中，所述直播发起端和所述直播接收端可以是，但不限于手机、平板电脑、电脑等终端设备。所述图像获取设备，既可以是独立于所述直播发起端的摄像头，也可以是所述直播发起端携带的摄像头(如手机的摄像头)。
也就是说，所述虚拟形象显示方法有关的流程所定义的方法步骤可以由所述电子设备10(后台服务器)实现。下面将对图2所示的具体流程进行详细阐述。
步骤S110，根据直播发起端发送的主播视频帧对虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示。
在本实施例中，在接收到所述直播发起端发送的主播视频帧时，可以基于该主播视频帧对虚拟形象进行控制(如对主播视频帧进行图像分析，并根据分析结果对虚拟形象进行控制)，从而生成与所述主播视频帧相对应的直播视频帧，然后，可以将该直播视频帧发送给所述直播接收端，以使该直播接收端显示所述直播视频帧。
其中，所述主播视频帧中具有主播的信息，所述直播视频帧中具有虚拟形象的信息。因而，可以实现通过虚拟形象代替主播实现直播的目的。
步骤S130，检测是否获得所述直播接收端发送的虚拟机位操作指令。
在本实施例中，在将所述直播视频帧发送给所述直播接收端进行显示时，还可以检测是否获得所述直播接收端发送的虚拟机位操作指令。
并且，在检测到获得所述直播接收端发送的虚拟机位控制指令时，也就是说，用户在通过所述直播接收端观看直播时，可以对该直播接收端进行操作，以使该直播接收端基于该操作生成相应的虚拟机位操作指令并发送给后台服务器，使得该后台服务器可以基于该虚拟机位操作指令执行步骤S150。
步骤S150，根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。
在本实施例中，在通过步骤S130检测到获得所述直播接收端发送的虚拟机位控制指令时，可以基于该虚拟机位控制指令对所述直播接收端显示的虚拟形象进行控制，使得显示的虚拟形象的机位可以满足用户的需求。
通过上述方法，一方面，可以使得显示的虚拟形象的机位可以满足用户的不同需求，以提高用户体验。另一方面，由于用户可以直接对虚拟形象显示时的机位进行操控，使得不仅仅可以满足用户在视觉上的体验，还可以满足用户在触觉(操作直播发起端)上的体验，在较大程度上增加了用户的粘性。
可选地，执行步骤S110时根据主播视频帧对虚拟形象进行控制的方式不受限制，可以综合考虑控制精度、处理器14的性能等因素，以确定对应的控制方式。
例如，在一种可以替代的示例中，可以针对接收到的每一主播视频帧对虚拟形象进行控制。也就是说，生成的直播视频帧的帧数等于接收到的主播视频帧的帧数，如接收到200帧主播视频帧，生成的直播视频帧也为200帧；接收到500帧主播视频帧，生成的直播视频帧也为500帧。如此，可以使得对虚拟形象的控制精度较高，从而保证虚拟形象的动作之间的衔接性更好。
又例如，在另一种可以替代的示例中，可以在接收到的多帧主播视频帧中选择部分主播视频帧对虚拟形象进行控制。也就是说，生成的直播视频帧的帧数小于接收到的主播视频帧的帧数，如接收到200帧主播视频帧，生成的直播视频帧也为100帧；接收到500帧主播视频帧，生成的直播视频帧也为300帧。如此，可以使得数据的处理量较小，从而提高直播的实时性。
其中，在接收到的多帧主播视频帧中选择部分主播视频帧的选择方式不受限制。例如，既可以是在多帧主播视频帧中随机选择部分主播视频帧，也可以是按照一定的预设周期在多帧主播视频帧中选择部分主播视频帧。
详细地，所述预设周期可以是指预设时间，也就是说，可以每间隔预设预设时间(如0.3s、0.5s或0.6s等)获取一帧当前接收到的主播视频帧，对应地，就会每间隔所述预设时间生成一帧直播视频帧。并且，所述预设周期也可以是指预设帧数，也就是说，可以每间隔预设帧数(如2帧、4帧、7帧等)获取一帧当前接收到的主播视频帧，对应地，每接收到所述预设帧数的主播视频帧就会生成一帧直播视频帧。
并且，在接收到的多帧主播视频帧中选择部分主播视频帧的选择方式，还可以是基于对主播视频帧的分析结果选择部分主播视频帧对虚拟形象进行控制。例如，可以采用帧间差分法判断相邻两帧主播视频帧之间的图像信息是否发生变化或发生的变化是否大于阈值。并且，在判断出图像信息发生变化或发生的变化大于阈值时，根据当前接收到的主播视频帧对虚拟形象进行控制；在判断出图像信息未发生变化或发生的变化小于或等于阈值时，丢弃当前接收到的主播视频帧。
也就是说，可以基于主播是否有新的动作或者新的动作是否足够大，判断是否对虚拟形象进行控制。如此，既能够有效地降低数据的处理量，还能保证对虚拟形象的控制具有较高的精度，有效地反映主播的实际动作。
可选地，执行步骤S130时检测是否获得所述直播接收端发送的虚拟机位操作指令的方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以基于是否接收到所述直播接收端发送的虚拟机位操作指令，判断是否获得所述虚拟机位指令。也就是说，只要接收到所述直播接收端发送的虚拟机位操作指令，就可以判定获得所述虚拟机位操作指令。相反地，在未接收到所述直播接收端发送的虚拟机位操作指令时，可以判定未获得所述虚拟机位操作指令。
又例如，在另一种可以替代的示例中，还可以结合用户的历史数据，判断是否获得所述虚拟机位指令。
详细地，步骤S130可以包括以下步骤：在接收到所述直播接收端发送的虚拟机位操作指令时，判断所述虚拟机位操作指令是否符合基于所述直播接收端对应的用户历史数据确定的预设条件；若所述虚拟机位操作指令符合基于所述直播接收端对应的用户历史数据确定的预设条件，则判定获得所述虚拟机位操作指令。
也就是说，首先，会检测是否接收到所述直播接收端发送的虚拟机位操作指令；然后，在接收到所述虚拟机位操作指令时，判断该虚拟机位操作指令是否符合基于用户历史数据确定的预设条件；最后，只有在所述虚拟机位操作指令符合所述预设条件时，才判定获得所述虚拟机位操作指令。如此，使得只有具有特定用户历史数据的用户才能对虚拟形象的显示进行控制，从而提高用户观看直播的积极性。
其中，所述用户历史数据的具体内容可以包括，但不限于用户的等级、观看直播的时长、发送的弹幕的数量、赠送的礼物的数量或价值等。例如，只有用户的等级达到一定的等级(如10级、15级等)，才能在接收到所述虚拟机位控制指令时，判定获得该虚拟机位控制指令。
需要说明的是，在基于用户历史数据对是否获得虚拟机位操作指令时，还可以进行更为精确的判定。例如，基于用户历史数据的不同，可以判定能够获得的虚拟机位操作指令的类型也不同。
在一种可以替代的示例中，以用户历史数据为用户等级为例进行说明。假设虚拟机位操作指令包括5种，分别为第一操作指令、第二操作指令、第三操作指令、第四操作操作和第五操作指令。若用户的等级属于区间[0，5]，那么，只有在接收到第一操作指令时，才能判定获得该操作指令；若用户的等级属于区间(5，10]，那么，只有在接收到第一操作指令或第二操作指令时，才能判定获得该操作指令；依此类推，若用户的等级属于区间(20，+∞)时，在接收到5种虚拟机位操作指令中的任意一种操作指令时，都可以判定获得该操作指令。
可选地，执行步骤S150时根据虚拟机位操作指令对虚拟形象进行控制的方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，可以根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制。
也就是说，在一种示例中，只要获得所述虚拟机位操作指令，就同时对虚拟形象的显示大小和显示角度进行控制。在另一种示例中，只要获得所述虚拟机位操作指令，就仅对虚拟形象的显示大小进行控制。在另一种示例中，只要获得所述虚拟机位操作指令，就仅对虚拟形象的显示角度进行控制。
在本实施例中，为进一步提高用户的体验，还可以基于所述虚拟机位操作操作携带的信息对虚拟形象举行相应的控制。也就是说，用户可以对所述直播接收端进行不同的操作，使得直播接收端可以基于不同的操作生成携带不同信息的虚拟机位操作指令。
其中，用户对所述直播接收端进行操作的方式不受限制，例如，可以包括对触摸屏、鼠标、键盘、麦克风等输入设备进行操作。并且，所述虚拟机位操作指令中携带的信息不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述虚拟机位操作指令中可以包括缩放参数。也就是说，步骤S150可以包括以下步骤：根据所述缩放参数和所述直播视频帧中虚拟形象的初始大小控制在所述直播接收端显示的虚拟形象的显示大小。
其中，根据控制精度的需求不同，根据所述缩放参数对虚拟形象的显示大小进行控制的方式也可以不同。
例如，在控制精度的需求较低时，只要所述虚拟机位操作指令中包括缩放参数，都控制虚拟形象在初始大小的基础上放大特定倍数(如2倍、3倍或5倍等)或缩小特定倍数(如0.2倍、0.5倍或0.8倍等)。
又例如，在控制精度的需求较高时，可以根据所述虚拟机位操作指令中缩放参数的具体数值，控制虚拟形象在初始大小的基础上放大或缩小不同的倍数。如图4所示，在缩放参数为0.5时，可以控制虚拟形象在初始大小的基础上缩小0.5倍；如图5所示，在缩放参数为1.5时，可以控制虚拟形象在初始大小的基础上放大1.5倍)。
又例如，在另一种可以替代的示例中，所述虚拟机位操作指令中可以包括角度参数。也就是说，步骤S150可以包括以下步骤：根据所述角度参数控制在所述直播接收端显示的虚拟形象的显示角度。
同理，根据控制精度的需求不同，根据所述角度参数对虚拟形象的显示角度进行控制的方式也可以不同。
例如，在控制精度的需求较低时，只要所述虚拟机位操作指令中包括角度参数，都控制虚拟形象在特定角度(如背面、左侧面或右侧面)下显示。
又例如，在控制精度的需求较高时，可以根据所述虚拟机位操作指令中角度参数的具体数值，控制虚拟形象相应的角度下显示。如图6所示，在角度参数为180°时，可以控制虚拟形象显示背面；在角度参数为90°时，可以控制虚拟形象显示左侧面；在角度参数为270°时，可以控制虚拟形象显示右侧面。
需要说明的是，根据实际的应用需求不同，在基于所述角度参数对虚拟形象进行控制时的具体控制方式也可以不同。
例如，在一种可以替代的示例中，根据所述角度参数对所述虚拟形象进行控制的步骤可以包括：控制所述直播接收端停止显示所述直播视频帧，并获取预先针对所述虚拟形象构建的三维图像数据中所述角度参数对应的部分三维视角数据。
也就是说，在所述直播接收端显示所述直播视频帧的过程中，若用户对所述直播接收端进行操作，使得该直播接收端生成对应的虚拟机位操作指令并发送至所述电子设备10(后台服务器)，所述电子设备10可以基于该虚拟机位操作指令停止向所述直播接收端发送所述直播视频帧，以控制所述直播接收端停止显示所述直播视频帧。
并且，可以根据所述虚拟机位指令中的角度参数，在预先针对所述虚拟形象构建的三维图像数据中获取对应的部分三维视角数据。例如，若所述角度参数为90°，可以获取所述三维图像数据中左侧面对应的部分三维视角数据；若所述角度参数为180°，可以获取所述三维图像数据中背面对应的部分三维视角数据。最后，将获取的部分三维视角数据发送给所述直播接收端进行可视化处理，以完成对虚拟形象的控制。如此，可以较快的获取到与所述角度参数相对应的部分三维视角数据，使得数据的处理量较小，可以有效地保证直播具有较高的实时性。
又例如，在另一种可以替代的示例中，根据所述角度参数对所述虚拟形象进行控制的步骤可以包括：控制所述直播接收端停止显示所述直播视频帧，根据该直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整，并获取在调整后的三维图像数据中所述角度参数对应的部分三维视角数据。
也就是说，在所述直播接收端显示所述直播视频帧的过程中，若用户对所述直播接收端进行操作，使得该直播接收端生成对应的虚拟机位操作指令并发送至所述电子设备10(后台服务器)，所述电子设备10可以基于该虚拟机位操作指令停止向所述直播接收端发送所述直播视频帧，以控制所述直播接收端停止显示所述直播视频帧。
并且，可以根据所述直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整，以得到新的三维图像数据。然后，再从所述新的三维图像数据中获取与所述角度参数对应的部分三维视角数据。例如，若所述角度参数为90°，可以获取所述新的三维图像数据中左侧面对应的部分三维视角数据；若所述角度参数为180°，可以获取所述新的三维图像数据中背面对应的部分三维视角数据。最后，将获取的部分三维视角数据发送给所述直播接收端进行可视化处理，以完成对虚拟形象的控制。如此，可以使得获取的部分三维视角数据能够在较大程度上反映主播的实际动作，从而使得虚拟形象在展示不同的角度时，也具有较高的逼真程度，从而提升用户的体验度。
其中，根据所述直播视频帧对三维图像数据进行调整的方式不受限制。例如，在一种可以替代的示例中，可以通过以下步骤对三维图像数据进行调整：获取所述直播视频帧中的目标特征点的坐标信息，并基于该坐标信息计算得到虚拟形象的其它特征点的坐标信息；根据所述坐标信息对预先针对所述虚拟形象构建的三维图像数据进行调整。
也就是说，可以获取所述直播视频帧中的各目标特征点(虚拟形象的正面的各目标特征点，如眼睛、鼻子、嘴巴、耳朵等对应的特征点)的坐标信息(三维坐标，具有深度信息)。然后，基于获取的坐标信息计算得到虚拟形象的其它特征点(所述虚拟形象的三维模型中所述目标特征点以外的特征点，如背面才能看到的特征点)的坐标信息。最后，可以基于其它特征点的坐标信息，对预先构建的三维图像数据中与所述其它特征点对应的部分数据进行调整，以得到新的三维图像数据。
其中，基于目标特征点的坐标信息计算其它特征点的坐标信息的算法，可以是反(逆)向运动算法。
需要说明的是，所述直播视频帧就是，基于对所述三维图像数据中部分三维视角数据(正面部分)调整后的数据。也就是说，针对所述目标特征点，已经完成了数据的调整。因此，在上述步骤中，只需对其它特征点对应的部分数据进行调整即可。
进一步地，为使得在对所述虚拟形象进行控制时，还能够根据实际应用需求对显示虚拟形象时显示的数据量进行控制，例如，在对实时性要求较高时，可以显示较低的数据，在对控制精度要求较高时，可以显示较高的数据。
在一种可以替代的示例中，为在保证具有较高的控制精度以保障用户的体验的基础上，还能较低数据的处理量，以使虚拟形象的直播实时性更好，可以通过以下步骤确定显示虚拟形象时显示的数据量：获取所述虚拟形象基于各显示角度在所述直播接收端的显示次数；根据各显示角度对应的显示次数确定在基于该显示角度对所述虚拟形象进行显示时的数据量。
也就是说，可以获取所述虚拟形象在所有的直播时间中或者在较近的一段直播时间中，各个显示角度对应的显示次数，例如，在最近的一个月内，所述显示角度为90°(左侧面)对应的显示次数为3000次，所述显示角度为180°(背面)对应的显示次数为7000次，所述显示角度为270°(右侧面)对应的显示次数为2000次。
然后，可以基于获取的各显示次数，确定对应的显示角度的数据量。例如，若显示次数越大，可以控制显示对应的显示角度时，显示的数据量就越大。例如，在上述示例中，由于显示角度为180°(背面)时，显示次数(7000次)最大，可以控制在基于该显示角度进行显示时的数据量也最大；由于显示角度为270°(右侧面)时，显示次数(2000次)最小，可以控制在基于该显示角度进行显示时的数据量也最小。
其中，考虑到在对虚拟形象进行控制时，一般是基于对预先确定的特征点进行控制。因此，上述的数据量可以是指所述特征点的数量。也就是说，可以根据各显示角度对应的显示次数确定在基于该显示角度对所述虚拟形象进行显示时特征点的数量(如图7所示)。
例如，在上述示例中，显示角度为180°(背面)时，显示次数为7000次，对应地，可以控制的特征点的数量可以为300个；显示角度为90°(左侧面)时，显示次数为3000次，对应地，可以控制的特征点的数量可以为200个；显示角度为270°(右侧面)时，显示次数为2000次，对应地，可以控制的特征点的数量可以为150个。
详细地，在一种可以替代的示例中，可以预先建立特征点数量和显示次数之间的对应关系，以你在获取到所述显示次数之后，可以直接得到所述特征点数量。如图8所示，所述对应关系可以为：显示次数越大，对应的特征点数量也就越大。
结合图9，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象显示装置100。其中，所述虚拟形象显示装置100可以包括视频帧处理模块110、操作指令检测模块130和虚拟形象控制模块150。
所述视频帧处理模块110，用于根据直播发起端发送的主播视频帧对所述虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示，其中，所述主播视频帧通过图像获取设备对主播进行拍摄得到。在本实施例中，所述视频帧处理模块110可用于执行图2所示的步骤S110，关于所述视频帧处理模块110的相关内容可以参照前文对步骤S110的描述。
所述操作指令检测模块130，用于检测是否获得所述直播接收端发送的虚拟机位操作指令。在本实施例中，所述操作指令检测模块130可用于执行图2所示的步骤S130，关于所述操作指令检测模块130的相关内容可以参照前文对步骤S130的描述。
所述虚拟形象控制模块150，用于在获得所述虚拟机位操作指令时，根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。在本实施例中，所述虚拟形象控制模块150可用于执行图2所示的步骤S150，关于所述虚拟形象控制模块150的相关内容可以参照前文对步骤S150的描述。
进一步地，在本实施例中，所述虚拟形象显示装置100还可以包括显示次数获取模块和数据量确定模块。
所述显示次数获取模块，用于获取所述虚拟形象基于各显示角度在所述直播接收端的显示次数。所述数据量确定模块，用于根据各显示角度对应的显示次数确定在基于该显示角度对所述虚拟形象进行显示时的数据量。
在本申请实施例中，对应于上述的虚拟形象显示方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述虚拟形象显示方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述虚拟形象显示方法的解释说明。
综上所述，本申请提供的虚拟形象显示方法、虚拟形象显示装置100和电子设备10，在基于直播发起端发送的主播视频帧对虚拟形象进行控制时，还可以基于直播接收端发送的虚拟机位操作指令对在该直播接收端显示的虚拟形象进行控制。其中，由于虚拟机位操作指令基于直播接收端响应用户的操作生成，使得可以根据用户(观看直播的观众)的需求对虚拟形象的显示进行控制，增加了直播过程中的互动性，从而可以提高虚拟形象直播的趣味性。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种虚拟形象显示方法，其特征在于，包括：
根据直播发起端发送的主播视频帧对虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示，其中，所述主播视频帧通过图像获取设备对主播进行拍摄得到；
检测是否获得所述直播接收端发送的虚拟机位操作指令；
若获得所述虚拟机位操作指令，则根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。
2.根据权利要求1所述的虚拟形象显示方法，其特征在于，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制的步骤，包括：
根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制。
3.根据权利要求2所述的虚拟形象显示方法，其特征在于，所述虚拟机位操作指令中包括角度参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
控制所述直播接收端停止显示所述直播视频帧，并获取预先针对所述虚拟形象构建的三维图像数据中所述角度参数对应的部分三维视角数据。
4.根据权利要求2所述的虚拟形象显示方法，其特征在于，所述虚拟机位操作指令中包括角度参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
控制所述直播接收端停止显示所述直播视频帧，根据该直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整，并获取在调整后的三维图像数据中所述角度参数对应的部分三维视角数据。
5.根据权利要求4所述的虚拟形象显示方法，其特征在于，所述根据该直播视频帧对预先针对所述虚拟形象构建的三维图像数据进行调整的步骤，包括：
获取所述直播视频帧中的目标特征点的坐标信息，并基于该坐标信息计算得到虚拟形象的其它特征点的坐标信息；
根据所述坐标信息对预先针对所述虚拟形象构建的三维图像数据进行调整。
6.根据权利要求2所述的虚拟形象显示方法，其特征在于，所述虚拟机位操作指令中包括缩放参数，所述根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象的显示大小和/或显示角度进行控制的步骤，包括：
根据所述缩放参数和所述直播视频帧中虚拟形象的初始大小控制在所述直播接收端显示的虚拟形象的显示大小。
7.根据权利要求2所述的虚拟形象显示方法，其特征在于，还包括：
获取所述虚拟形象基于各显示角度在所述直播接收端的显示次数；
根据各显示角度对应的显示次数确定在基于该显示角度对所述虚拟形象进行显示时的数据量。
8.根据权利要求1-7任意一项所述的虚拟形象显示方法，其特征在于，所述检测是否获得所述直播接收端发送的虚拟机位操作指令的步骤，包括：
在接收到所述直播接收端发送的虚拟机位操作指令时，判断所述虚拟机位操作指令是否符合基于所述直播接收端对应的用户历史数据确定的预设条件；
若所述虚拟机位操作指令符合基于所述直播接收端对应的用户历史数据确定的预设条件，则判定获得所述虚拟机位操作指令。
9.一种虚拟形象显示装置，其特征在于，包括：
视频帧处理模块，用于根据直播发起端发送的主播视频帧对所述虚拟形象进行控制，生成对应的直播视频帧并发送到直播接收端进行显示，其中，所述主播视频帧通过图像获取设备对主播进行拍摄得到；
操作指令检测模块，用于检测是否获得所述直播接收端发送的虚拟机位操作指令；
虚拟形象控制模块，用于在获得所述虚拟机位操作指令时，根据所述虚拟机位操作指令对所述直播接收端显示的虚拟形象进行控制。
10.一种电子设备，其特征在于，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现权利要求1-8任意一项所述的虚拟形象显示方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现权利要求1-8任意一项所述的虚拟形象显示方法。
CN201910358384.7A 2019-04-30 2019-04-30 虚拟形象显示方法、装置、电子设备和存储介质 Active CN110087121B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910358384.7A CN110087121B (zh) 2019-04-30 2019-04-30 虚拟形象显示方法、装置、电子设备和存储介质
SG11202111640RA SG11202111640RA (en) 2019-04-30 2020-04-27 Virtual image control method, apparatus, electronic device and storage medium
PCT/CN2020/087139 WO2020221186A1 (zh) 2019-04-30 2020-04-27 一种虚拟形象控制方法、装置、电子设备及存储介质
US17/605,476 US20220214797A1 (en) 2019-04-30 2020-04-27 Virtual image control method, apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358384.7A CN110087121B (zh) 2019-04-30 2019-04-30 虚拟形象显示方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110087121A true CN110087121A (zh) 2019-08-02
CN110087121B CN110087121B (zh) 2021-08-06

Family

ID=67417892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358384.7A Active CN110087121B (zh) 2019-04-30 2019-04-30 虚拟形象显示方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110087121B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN111798548A (zh) * 2020-07-15 2020-10-20 广州微咔世纪信息科技有限公司 舞蹈画面的控制方法、装置及计算机存储介质
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
CN113099298A (zh) * 2021-04-08 2021-07-09 广州华多网络科技有限公司 虚拟形象的改变方法、装置和终端设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144785A1 (en) * 2007-11-13 2009-06-04 Walker Jay S Methods and systems for broadcasting modified live media
CN102176197A (zh) * 2011-03-23 2011-09-07 上海那里网络科技有限公司 一种使用虚拟化身和实时影像进行实时互动的方法
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播系统和方法
CN106791786A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 直播方法及装置
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN109660818A (zh) * 2018-12-30 2019-04-19 广东彼雍德云教育科技有限公司 一种虚拟互动直播系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144785A1 (en) * 2007-11-13 2009-06-04 Walker Jay S Methods and systems for broadcasting modified live media
CN102176197A (zh) * 2011-03-23 2011-09-07 上海那里网络科技有限公司 一种使用虚拟化身和实时影像进行实时互动的方法
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播系统和方法
CN106791786A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 直播方法及装置
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN109660818A (zh) * 2018-12-30 2019-04-19 广东彼雍德云教育科技有限公司 一种虚拟互动直播系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷乐等: "虚拟现实与传播形态——国内外前沿应用案例分析", 《当代传播》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN111798548A (zh) * 2020-07-15 2020-10-20 广州微咔世纪信息科技有限公司 舞蹈画面的控制方法、装置及计算机存储介质
CN111798548B (zh) * 2020-07-15 2024-02-13 广州微咔世纪信息科技有限公司 舞蹈画面的控制方法、装置及计算机存储介质
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
CN113099298A (zh) * 2021-04-08 2021-07-09 广州华多网络科技有限公司 虚拟形象的改变方法、装置和终端设备
CN113099298B (zh) * 2021-04-08 2022-07-12 广州华多网络科技有限公司 虚拟形象的改变方法、装置和终端设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN113448475B (zh) * 2021-06-30 2024-06-07 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备

Also Published As

Publication number Publication date
CN110087121B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110087121A (zh) 虚拟形象显示方法、虚拟形象显示装置和电子设备
JP7472362B2 (ja) 受信方法、端末及びプログラム
CN106161219B (zh) 消息处理方法及装置
CN108898516B (zh) 在虚拟三维空间讲房模式进功能间的方法、服务器和终端
CN111316650A (zh) 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法
US20200120380A1 (en) Video transmission method, server and vr playback terminal
CN108632674A (zh) 一种全景视频的播放方法和客户端
CN105933726A (zh) 虚拟现实终端及其视频分辨率的适应方法及装置
RU2660816C2 (ru) Передача видеосигнала
CN106851341B (zh) 用于测量网络视频传送质量的方法和移动终端
CN102802054B (zh) 一种多流视频直播中的控制方法及装置
CN110119700A (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN108682030B (zh) 脸皮替换方法、装置及计算机设备
CN108057249A (zh) 一种业务数据处理方法和装置
CN107065197B (zh) 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN108668139A (zh) 直播互动系统、方法及装置
JP6505327B2 (ja) ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体
CN105872770A (zh) 一种音量调节方法及系统
CN106658202A (zh) 一种触发互动应用的方法和设备
CN108900919A (zh) 一种直播中的连麦方法、装置、服务器及终端
US20200029066A1 (en) Systems and methods for three-dimensional live streaming
CN115423989A (zh) 一种ar眼镜画面显示的控制方法及其组件
CN106982391A (zh) 一种信息推送方法、终端、服务器及系统
CN113286100B (zh) 视频输出接口的配置方法及装置、视频输出设备
CN113315927B (zh) 视频处理方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant