CN107979763B - 一种虚拟现实设备生成视频、播放方法、装置及系统 - Google Patents
一种虚拟现实设备生成视频、播放方法、装置及系统 Download PDFInfo
- Publication number
- CN107979763B CN107979763B CN201610921898.5A CN201610921898A CN107979763B CN 107979763 B CN107979763 B CN 107979763B CN 201610921898 A CN201610921898 A CN 201610921898A CN 107979763 B CN107979763 B CN 107979763B
- Authority
- CN
- China
- Prior art keywords
- video
- image
- playing device
- video playing
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000009877 rendering Methods 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000007812 deficiency Effects 0.000 abstract description 3
- 208000002173 dizziness Diseases 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 235000019615 sensations Nutrition 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 235000019613 sensory perceptions of taste Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000035923 taste sensation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种虚拟现实设备生成视频的方法、装置、一种电子设备、一种视频播放方法、装置、另一种电子设备以及一种视频播放系统。其中，所述虚拟现实设备生成视频的方法包括：根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放。通过将经过渲染的VR图像帧进行编码生成视频流，并在其他视频播放装置中进行解码播放，弥补了移动终端上由于硬件的缺失、性能不足带来的渲染效果差、晕眩与缺少交互性的问题。同时，通过语音与音效的混合使操作人进行操作时能与观看用户之间进行交互，提高交互性。
Description
技术领域
本申请涉及虚拟现实技术领域，具体涉及一种虚拟现实设备生成视频的方法、一种视频播放方法以及一种视频播放系统；本申请同时涉及一种虚拟现实设备生成视频的装置、一种电子设备、一种视频播放装置以及另一种电子设备。
背景技术
随着虚拟现实(virtual reality VR)技术发展迅速，出现了越来越多的虚拟现实设备。虚拟现实设备多种多样，随着智能终端性能的提高，也可以用智能手机、平板电脑等智能终端来观察虚拟场景。目前，在计算机端的虚拟现实设备能够让用户视觉、听觉乃至部分触觉上身临其境，沉浸感和临场感较强，能与虚拟世界中的物体进行非常自然地交互；但是在移动终端上对虚拟场景的渲染能力有限，目前在移动终端上仅仅能够实现在固定视角的视觉上的虚拟场景。此外，大多数虚拟现实设备渲染的虚拟场景只能由佩戴虚拟现实设备自行观看操作。
由此可见，在现有虚拟现实的实现方案下，移动终端上由于硬件的缺失会导致交互手段缺乏、自由度高的体验也由于性能的不足会产生晕眩，使渲染的虚拟场景效果差，另外在操作人进行操作时，无法使其他用户观看到虚拟场景交互性差，且操作人进行操作与观看用户之间不能进行交互。
发明内容
本申请提供了一种虚拟现实设备生成视频的方法、一种视频播放方法以及一种视频播放系统,以解决现有技术中的上述问题。本申请同时涉及一种虚拟现实设备生成视频的装置、一种电子设备、一种视频播放装置以及另一种电子设备。
本申请实施例提供了一种虚拟现实设备生成视频的方法，所述虚拟现实设备生成视频的方法，包括：
根据引擎渲染生成VR图像帧；
将所述VR图像帧进行编码获取视频流；
实时向视频播放装置发送所述视频流供所述视频播放装置播放。
可选的，所述实时向视频播放装置发送所述视频流供所述视频播放装置播放，包括：
基于会话实时向所述视频播放装置发送所述视频流供所述视频播放装置播放。
可选的，在所述实时向视频播放装置发送所述视频流供所述视频播放装置播放的步骤之前，包括：
通过会话服务器与所述视频播放装置建立会话通信链接。
可选的，在所述根据引擎渲染生成VR图像帧的步骤之前，包括：
接收所述视频播放装置发送的图像需求信息；
相应的，所述根据引擎渲染生成VR图像帧，包括：
对所述图像需求信息中需求的图像进行渲染生成VR图像帧。
可选的，所述图像需求信息，包括：语音信息。
可选的，所述图像需求信息为语音信息时，对所述图像需求信息中需求的图像进行渲染生成VR图像帧，包括：
对所述语音信息进行识别；
获取对所述语音信息识别出的需求信息对应的虚拟场景的图像；
对所述图像进行渲染生成VR图像帧。
可选的，在所述将所述VR图像帧进行编码获取视频流时，还包括：
将所述图像需求信息与生成所述VR图像帧时的音效信息进行混合。
相应的，本申请实施例还提供了一种虚拟现实设备生成视频的装置，所述虚拟现实设备生成视频的装置，包括：
VR图像帧生成单元，用于根据引擎渲染生成VR图像帧；
视频流获取单元，用于将所述VR图像帧进行编码获取视频流；
视频流发送单元，用于实时向视频播放装置发送所述视频流供所述视频播放装置播放。
此外，本申请实施例还提供了一种电子设备，包括：
显示器；
处理器；
存储器，用于存储视频编码程序,所述程序在被所述处理器读取执行时,执行如下操作:根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放。
此外，本申请实施例还提供了一种视频播放方法，所述视频播放方法，包括：
接收视频源发送的视频流；
解析并显示所述视频流获取渲染后的VR图像帧。
可选的，在所述接收视频源发送的视频流的步骤之前，包括：
向所述视频源发送图像需求信息；所述图像需求信息为语音信息。
可选的，所述接收视频源发送的视频流，包括：
基于会话接收所述视频源发送的所述视频流。
可选的，在所述接收视频源发送的视频流的步骤之前，包括：
通过会话服务器与所述视频源建立会话通信链接。
相应的，本申请实施例还提供了一种视频播放装置，所述视频播放装置，包括：
视频接收单元，用于接收视频源发送的视频流；
VR图像帧获取单元，用于解析并显示所述视频流获取渲染后的VR图像帧。
此外，本申请实施例还提供了另一种电子设备，包括：
显示器；
处理器；
存储器，用于存储视频播放程序,所述程序在被所述处理器读取执行时,执行如下操作:接收视频源发送的视频流；解析并显示所述视频流获取渲染后的VR图像帧。
此外，本申请实施例还提供了一种视频播放系统，所述视频播放系统，包括：
上述的虚拟现实设备生成视频的装置；以及
上述的视频播放装置。
可选的，所述的视频播放系统，还包括：
会话服务器，用于所述虚拟现实设备生成视频的方装置与所述视频播放装置之间建立并维持会话通信链接。
与现有技术相比，本申请具有以下优点：
本申请提供的一种虚拟现实设备生成视频的方法、装置以及电子设备，通过根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放。
本申请提供的一种视频播放方法、装置以及电子设备，通过接收视频源发送的视频流；解码并播放所述视频流获取渲染后的VR图像帧。
所述虚拟现实设备生成视频的方法与所述视频播放方法相互配合使用，通过将经过渲染的VR图像帧进行编码生成视频流，并在其他视频播放装置中进行解码播放，弥补了移动终端上由于硬件的缺失、性能不足带来的渲染效果差、晕眩与缺少交互性的问题。同时，通过语音与音效的混合使操作人进行操作时能与观看用户之间进行交互，提高交互性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1示出了根据本申请的实施例提供的虚拟现实设备生成视频的方法的流程图；
图2示出了根据本申请的实施例提供的虚拟现实设备生成视频的装置的示意图；
图3示出了根据本申请的实施例提供的电子设备的示意图，
图4示出了根据本申请的实施例提供的视频播放方法的流程图；
图5示出了根据本申请的实施例提供的视频播放装置的示意图；
图6示出了根据本申请的实施例提供的电子设备的示意图；
图7示出了根据本申请的实施例提供的视频播放系统的示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。
本申请的实施例提供了一种虚拟现实设备生成视频的方法、一种视频播放方法以及一种视频播放系统；本申请同时涉及一种虚拟现实设备生成视频的装置、一种电子设备、一种视频播放装置以及另一种电子设备。在下面的实施例中逐一进行详细说明。
目前，在计算机端的设备能够让用户视觉、听觉乃至部分触觉上身临其境，沉浸感和临场感较强，能与虚拟世界中的物体进行非常自然地交互；但是在移动终端上对虚拟场景的渲染能力有限，目前在移动终端上仅仅能够实现在固定视角的视觉上的虚拟场景。此外，大多数虚拟现实设备渲染的虚拟场景只能由佩戴虚拟现实设备自行观看操作。由此可见，在现有虚拟现实的实现方案下，移动终端上由于硬件的缺失会导致交互手段缺乏、自由度高的体验也由于性能的不足会产生晕眩，使渲染的虚拟场景效果差，另外在操作人进行操作时，无法使其他用户观看到虚拟场景交互性差，且操作人进行操作与观看用户之间不能进行交互。针对这一问题，本申请的技术方案通过将经过渲染的VR图像帧进行编码生成视频流，并在其他视频播放装置中进行解码播放，弥补了移动终端上由于硬件的缺失、性能不足带来的渲染效果差、晕眩与缺少交互性的问题。同时，通过语音与音效的混合使操作人进行操作时能与观看用户之间进行交互，提高交互性。
在详细描述本实施例的具体步骤之前，先对本技术方案涉及的虚拟现实作简要说明。
虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
本申请的技术方案是针对虚拟现实场景下，虚拟场景渲染处理能力高的终端向渲染处理能力低的终端共享虚拟场景的方法，即：高处理能力的终端向低处理能力的终端共享虚拟现实实时视频。其中，高处理能力的终端是发送虚拟现实实时视频的的一方，在下文实施例的描述中对高处理能力的终端称为视频源；低处理能力的终端是接收并播放虚拟现实实时视频的的一方，在下文实施例的描述中对低处理能力的终端称为视频播放装置，下面对本实施例作详细说明。
本申请的实施例提供了一种虚拟现实设备生成视频的方法。本实施例由完成图像渲染到VR图像帧的终端完成，所述终端可以是具有独立图像处理能力的VR设备，还可以是一个计算机设备。所述虚拟现实设备生成视频的方法实施例如下：
请参考图1，其示出了根据本申请的实施例提供的虚拟现实设备生成视频的方法的流程图。
所述虚拟现实设备生成视频的方法包括：
步骤S101，根据引擎渲染生成VR图像帧。
在本实施例中，所述根据引擎渲染生成VR图像帧，可以采用如下方式实现：视频源根据游戏引擎将当前场景进行渲染，生成对应场景的VR图像帧。例如：通过Unity引擎、Unreal、虚幻4引擎渲染生成VR图像帧。
需要说明的是，所述游戏引擎是指：交互式实时图像应用程序的核心组件。游戏引擎包含以下系统：渲染引擎(即“渲染器”，含二维图像引擎和三维图像引擎)、物理引擎、碰撞检测系统、音效、脚本引擎等。
在本实施例中，由计算机设备完成场景渲染工作，并在与所述计算机设备配合使用的VR设备中显示生成的VR图像帧。具体的，所述计算机设备渲染的场景生成的VR图像帧可能比配合使用的VR设备的显示屏要大，也可能是与VR设备的显示屏大小相同。
当所述VR图像帧比VR设备的显示屏大时，则只有所述VR图像帧的部分图像被显示在VR设备上，在VR设备中显示的图像会根据VR设备的当前位置进行调整显示。例如：在所述VR图像帧中左边位置显示有房屋，在中间位置显示有人物，在右边位置显示有一只动物，那么在VR设备上可能只会显示看到一个人物，而左边位置的河流和右边位置的动物不会同时显示在VR设备中，当VR设备的位置进行调整时(进行旋转和平移)则会在VR设备中显示房屋或动物。
可以理解的，当配合使用的VR设备的当前位置超过所述VR图像帧到达新的位置时，计算机设备会根据该新的位置渲染得到一个新的VR图像帧。
在本实施例中，所述计算机设备是根据视频播放装置的需求进行渲染生成VR图像帧的，所以需要先获取所述视频播放装置需求的图像信息，则在步骤S101根据引擎渲染生成VR图像帧之前，需要接收所述视频播放装置发送的图像需求信息。
所述接收所述视频播放装置发送的图像需求信息，可以采用如下方式实现：计算机设备通过TCP/IP连接等网络协议与所述视频播放装置连接后进行信息交互，接收所述视频播放装置发送的图像需求信息。例如：计算机设备通过以太网与所述视频播放装置进行连接。
需要说明的是，所述图像需求信息是视频播放装置需求的虚拟场景的信息，所述图像需求信息可以通过语音信息的形式进行发送。当计算机设备接收到所述图像需求信息时，进行语音识别，所以在执行步骤S101根据引擎渲染生成VR图像帧时，是对语音信息识别出的需求的虚拟场景信息对应的场景(图像)进行渲染生成VR图像帧。例如：所述语音信息为城市，则对所述城市场景进行渲染生成对应城市环境的VR图像帧。
在本实施例中，所述语音识别主要是将所述语音信息的语音信号转换为可识别的文本信息，例如：将所述语音信息的语音信号转换为计算机设备可以识别或输入的二进制编码或字符序列等。所述文本信息包括：中文文字、中文词语、拼音、数字、英文文字和/或英文词语等。具体的，语音识别过程可采用统计模式识别技术等语音识别方法。
由于语音识别本身可能存在出错率，因此直接进行全文识别，识别出来的文本信息可能会由于一些小的识别错误导致失败，因此在本实施例中提供了一种优选实施方式，在优选方式下，可以根据预先设定的关键词词库对所述文本信息进行分词处理，得到多个关键字，将得到的关键字根据预先设定的关键词词库的类型进行划分。
需要说明的是，预先设定的关键词词库只支持中文文字和词语，从所述文本信息中划分获取多个中文文字或中文词语类型的关键字。通过提取语音信息中可识别的关键字的方式，来降低语音识别错误导致转换为可识别的文本信息错误的概率。
例如：预先设定的关键词词库是对所述计算机设备可支持的虚拟场景的种类进行划分，根据不同虚拟场景划分为城市场景，森林场景以及河流场景等，分别对应城市关键词、森林关键词以及河流关键词。
步骤S103，将所述VR图像帧进行编码获取视频流。
本步骤是将步骤S101根据引擎实时渲染出的VR图像帧进行编码获取视频流的过程。
在本实施例中，所述将所述VR图像帧进行编码获取视频流，可以采用如下方式实现：将与所述计算机设备配合使用的VR设备的显示屏中显示的VR图像帧进行编码获取视频流。
需要说明的是，所述视频流(Video Streaming)是指视频数据的传输，例如：视频流能够被作为一个稳定的和连续的流通过网络进行传输。
可以理解的，由于用户的视角范围有限，所述VR设备中显示的VR图像帧的图像就是用户可观察到的虚拟场景的可视范围，所以将VR设备中显示的VR图像帧进行编码形成的视频流就可以满足用户对虚拟场景的需求。
在具体实施时，通过H264视频压缩算法对VR设备的显示屏中显示的VR图像帧进行编码获取视频流。H.264是数字视频压缩格式，是一种视频编解码标准。
在使用与所述计算机设备配合使用的VR设备观看VR图像帧时，由于所述计算机设备渲染的虚拟场景较大，且用户通过视频播放装置观看所述VR图像帧时，通常不会停留在同一位置较长的时间，所以需要通过视角位置的转换，使与所述计算机设备配合使用的VR设备中显示VR图像帧中的其他位置的图像，所以所述图像需求信息中除了视频播放装置需求的虚拟场景的信息之外，还包括视角转换命令。
需要说明的是，所述图像需求信息是通过TCP/IP连接等网络协议进行传输的，所以使用视频播放装置的用户可以在观看虚拟场景时的任何时刻发出视角转换命令，所述计算机设备在接收到所述图像需求信息后进行解析，并根据解析出的视角转换命令调整与所述计算机设备配合使用的VR设备的当前位置，更改VR设备中显示的图像。例如：所述图像需求信息为向左转、向右转、向上或向下。
为了使用视频播放装置的用户在视觉、听觉上身临其境，增加沉浸感和临场感能与虚拟世界中的物体进行非常自然地交互，本实施例的技术方案提供了一种优选实施方式，在优选方式下，在所述将所述VR图像帧进行编码获取视频流时，将所述图像需求信息与生成所述VR图像帧时的音效信息进行混合。
可以理解的，在所述计算机设备接收到所述图像需求信息时，将所述图像需求信息通过扬声器进行播放，由于在播放时，所述计算机设备已经渲染出相应的虚拟场景，在虚拟场景中根据场景的不同会具有相应的音效,所以将所述图像需求信息与生成所述VR图像帧时的音效信息进行混合时，也会对所述图像需求信息进行相应的音效渲染。例如：在封闭房间的虚拟场景下，为进行混合的所述图像需求信息增加回音音效。
步骤S105，实时向视频播放装置发送所述视频流供所述视频播放装置播放。
在本实施例中，所述实时向视频播放装置发送所述视频流供所述视频播放装置播放，可以采用如下方式实现：计算机设备通过实时流传输协议与所述视频播放装置连接后进行信息交互，实时向视频播放装置发送所述视频流供所述视频播放装置播放。
需要说明的是，所述实时流传输协议(rtsp Real Time Streaming Protocol)，是TCP/IP协议体系中的一个应用层协议，控制实时数据的发送。该协议用于C/S模型，是一个基于文本的协议，用于在两端通信时建立和协商实时流会话。rtsp建立并控制一个或几个时间同步的连续流媒体。
在本实施例中，所述实时向视频播放装置发送所述视频流供所述视频播放装置播放是通过会话(session)建立起连接，实时向所述视频播放装置发送所述视频流供所述视频播放装置播放。
所述会话是通过所述计算机设备向会话服务器发送与所述视频播放装置建立链接的请求后，由所述会话服务器为所述计算机设备与所述视频播放装置之间建立链接。所述建立链接的请求中会携带需要建立连接的所述视频播放装置的地址。
需要说明的是，所述会话是用于保持状态的基于会话服务器的方法。会话允许通过将对象存储在会话服务器的内存中在整个用户会话过程中保持任何对象。会话是用于两端通信时建立不中断的请求响应序列。
在上述的实施例中，提供了一种虚拟现实设备生成视频的方法，与上述虚拟现实设备生成视频的方法相对应的，本申请还提供了一种虚拟现实设备生成视频的方装置。由于装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述虚拟现实设备生成视频的方装置实施例如下：
请参考图2，其示出了根据本申请的实施例提供的虚拟现实设备生成视频的方装置的示意图。
所述虚拟现实设备生成视频的方装置，包括：VR图像帧生成单元201、视频流获取单元203以及视频流发送单元205；
所述VR图像帧生成单元201，用于根据引擎渲染生成VR图像帧；
所述视频流获取单元203，用于将所述VR图像帧进行编码获取视频流；
所述视频流发送单元205，用于实时向视频播放装置发送所述视频流供所述视频播放装置播放。
可选的，所述VR图像帧生成单元201，具体用于根据引擎渲染生成VR图像帧。
可选的，所述视频流发送单元205，具体用于基于会话实时向所述视频播放装置发送所述视频流供所述视频播放装置播放。
可选的，所述的虚拟现实设备生成视频的方装置，还包括：通信连接单元；
所述通信连接单元，用于在所述实时向视频播放装置发送所述视频流供所述视频播放装置播放之前，通过会话服务器与所述视频播放装置建立会话信息链接。
可选的，所述的虚拟现实设备生成视频的方装置，还包括：需求信息接收单元；
所述需求信息接收单元，用于在所述根据引擎渲染生成VR图像帧之前，接收所述视频播放装置发送的图像需求信息；
相应的，所述VR图像帧生成单元201，具体用于对所述图像需求信息中需求的图像进行渲染生成VR图像帧。
可选的，所述需求信息接收单元，接收的所述视频播放装置发送的图像需求信息为语音信息。
可选的，所述的虚拟现实设备生成视频的方装置，还包括：音效混合单元；
所述音效混合单元，用于在所述将所述VR图像帧进行编码获取视频流时，将所述图像需求信息与生成所述VR图像帧时的音效信息进行混合。
在上述的实施例中，提供了一种虚拟现实设备生成视频的方法以及一种虚拟现实设备生成视频的方装置，此外，本申请还提供了一种电子设备；所述电子设备实施例如下：
请参考图3，其示出了根据本申请的实施例提供的电子设备的示意图。
所述电子设备，包括：显示器301；处理器303；存储器305；
所述存储器305，用于存储视频编码程序,所述程序在被所述处理器读取执行时,执行如下操作:根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放。
在上述的实施例中，提供了一种虚拟现实设备生成视频的方法、一种虚拟现实设备生成视频的方装置以及一种电子设备，此外，本申请还提供了一种视频播放方法；所述视频播放方法实施例如下：
请参考图4，其示出了根据本申请的实施例提供的视频播放方法的流程图。
所述视频播放方法，包括：
步骤S401，接收视频源发送的视频流。
本实施例由播放视频流的视频播放装置完成，所述视频播放装置通过有线或无线的方式与计算机设备进行连接，所述视频播放装置只负责接收计算机设备实时发送来的视频流，解码后进行显示，而不负责渲染工作。
需要说明的是，所述视频播放装置包括android、ios系统的智能手机、平板电脑等。所述视频播放装置至少具有中央处理器(CPU)、主板、用于处理图像的图像处理单元(GPU)、内存、显示屏、音视频解码器以及虚拟现实周边元件。
例如：所述视频播放装置为android系统的智能手机，则所述音视频解码器可以预先利用android的mediacodec等硬件编解码接口来实现。
在本实施例中，所述接收视频源发送的视频流，可以采用如下方式实现：视频播放装置通过实时流传输协议与所述计算机设备连接后进行信息交互，接收视频源发送的视频流。
需要说明的是，所述视频流(Video Streaming)是指视频数据的传输，例如：视频流能够被作为一个稳定的和连续的流通过网络进行传输；所述实时流传输协议为rtsp视频流传输协议。
在本实施例中，所述接收视频源发送的视频流是通过会话(session)建立起连接，接收所述视频源发送的所述视频流。所述会话是通过所述所述视频播放装置向会话服务器发送与所述计算机设备建立链接的请求后，由所述会话服务器为所述视频播放装置与所述计算机设备之间建立链接。所述建立链接的请求中会携带需要建立连接的所述计算机设备的地址。
需要说明的是，所述会话是用于保持状态的基于会话服务器的方法。会话允许通过将对象存储在会话服务器的内存中在整个用户会话过程中保持任何对象。会话是用于两端通信时建立不中断的请求响应序列。
在本实施例中，所述视频播放装置接收的所述视频流是根据视频播放装置的需求进行渲染生成VR图像帧编码后形成的，所以需要先告知计算机设备进行渲染的虚拟场景的信息，则在步骤S401接收视频源发送的视频流之前，需要向所述视频源发送图像需求信息；所述图像需求信息为语音信息。
所述向所述视频源发送图像需求信息，可以采用如下方式实现：所述视频播放装置通过TCP/IP连接等网络协议与所述计算机设备连接后进行信息交互，向所述视频源发送图像需求信息。例如：所述视频播放装置通过以太网与所述计算机设备进行连接。
需要说明的是，所述图像需求信息是视频播放装置需求的虚拟场景的信息，所述图像需求信息可以通过语音信息的形式进行发送。具体的，可以通过所述视频播放装置的麦克风采集用户输入的语音信息。例如：用户通过麦克风输入“城市”，则所述语音信息为城市。
步骤S403，解析并显示所述视频流获取渲染后的VR图像帧。
在本实施例中，所述解析并显示所述视频流获取渲染后的VR图像帧。可以采用如下方式实现：读取接收到的所述视频流，将所述视频流通过所述视频播放装置的音视频解码器进行解码，获取所述视频流对应的渲染后的VR图像帧，并在所述视频播放装置中显示所述VR图像帧。需要说明的是，所述视频播放装置将所述视频流进行解码后获取到的VR图像帧为VR图像帧。
例如：若所述视频播放装置接收的所述视频流是通过H264视频压缩算法形成的，所以在对所述视频流进行解码时，也需要使用H264解码标准进行解码。
由于所述视频播放装置将所述视频流进行解码后获取到的VR图像帧为VR图像帧，本实施例的技术方案提供了一种优选实施方式，在优选方式下，在对所述视频流进行解码时可以对VR图像帧进行分屏处理。在这一步骤中，最简单的分屏处理例如为将VR图像帧进行缩小处理，复制缩小后的VR图像帧并进行左右排布，生成适合左眼和右眼同时观看的VR图像帧。
在用户使用所述视频播放装置观看所述VR图像帧时，由于所述计算机设备渲染的虚拟场景较大，而所述VR图像帧又是在配合使用的VR设备中进行显示的VR图像帧，无法完全显示渲染的全部虚拟场景，或者显示所述VR图像帧并不是使用所述视频播放装置的用户想要观看的，则需要转换与所述计算机设备配合使用的VR设备的位置，使与所述计算机设备配合使用的VR设备中显示VR图像帧中的其他位置的图像，所以所述视频播放装置会向所述计算机设备发出携带有视角转换命令的图像需求信息。
需要说明的是，所述图像需求信息是通过TCP/IP连接等网络协议进行传输的，所以使用视频播放装置的用户可以在观看虚拟场景时的任何时刻发出视角转换命令。例如：所述图像需求信息为向左转、向右转、向上或向下。
本申请的实施例提出视频播放方法，发挥了视频播放装置的硬件解码器的性能，可以方便地对VR视频进行解码播放，避免了由于性能条件无法进行渲染造成的眩晕感。
在上述的实施例中，提供了一种视频播放方法，与上述视频播放方法相对应的，本申请还提供了一种视频播放装置。由于装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述视频播放装置实施例如下：
请参考图5，其示出了根据本申请的实施例提供的视频播放装置的示意图。
所述视频播放装置，包括：视频接收单元501以及VR图像帧获取单元503；
所述视频接收单元501，用于接收视频源发送的视频流；
所述VR图像帧获取单元503，用于解析并显示所述视频流获取渲染后的VR图像帧。
可选的，所述VR图像帧获取单元503，具体用于解析并播放所述视频流获取渲染后的VR图像帧。
可选的，所述的视频播放装置，还包括：需求信息发送单元；
所述需求信息发送单元，用于在所述接收视频源发送的视频流之前，向所述视频源发送图像需求信息；所述图像需求信息为语音信息。
可选的，所述视频接收单元501，具体用于基于会话接收所述视频源发送的所述视频流。
可选的，所述的视频播放装置，还包括：通信建立单元；
所述通信建立单元，用于在所述接收视频源发送的视频流之前，通过会话服务器与所述视频源建立会话通信链接。
在上述的实施例中，提供了一种虚拟现实设备生成视频的方法、一种虚拟现实设备生成视频的方装置、一种电子设备、一种视频播放方法以及一种视频播放装置，此外，本申请还提供了另一种电子设备；所述电子设备实施例如下：
请参考图6，其示出了根据本申请的实施例提供的电子设备的示意图。
所述电子设备，包括：显示器601；处理器603；存储器605；
所述存储器605，用于存储视频播放程序,所述程序在被所述处理器读取执行时,执行如下操作:接收视频源发送的视频流；解析并显示所述视频流获取渲染后的VR图像帧。
在上述的实施例中，提供了一种虚拟现实设备生成视频的方法、一种虚拟现实设备生成视频的方装置、一种电子设备、一种视频播放方法、一种视频播放装置以及另一种电子设备，此外，本申请还提供了一种视频播放系统；所述视频播放系统实施例如下：
请参考图7，其示出了根据本申请的实施例提供的视频播放系统的示意图。
所述视频播放系统，包括：虚拟现实设备生成视频的方装置701以及视频播放装置703；
所述的虚拟现实设备生成视频的方装置701，根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放；
所述的视频播放装置703，接收视频源发送的视频流；解析并显示所述视频流获取渲染后的VR图像帧。
其中，所述虚拟现实设备生成视频的方装置701可以布置与计算机上，但不局限于这种设备，可以是能够实现上述虚拟现实设备生成视频的方法，且硬件条件与性能足够支持对虚拟场景进行渲染的任何设备；所述视频播放装置703可以布置与移动终端上，但不局限于这种设备，可以是能够实现上述视频播放方法的任何设备。
可选的，所述的视频播放系统，还包括：会话服务器；
所述会话服务器，用于所述虚拟现实设备生成视频的方装置与所述视频播放装置之间建立并维持会话通信链接。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (17)
1.一种虚拟现实设备生成视频的方法，其特征在于，包括：
根据引擎渲染生成VR图像帧；
将所述VR图像帧进行编码获取视频流；
实时向视频播放装置发送所述视频流供所述视频播放装置播放；
其中，所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
2.根据权利要求1所述的虚拟现实设备生成视频的方法，其特征在于，所述实时向视频播放装置发送所述视频流供所述视频播放装置播放，包括：
基于会话实时向所述视频播放装置发送所述视频流供所述视频播放装置播放。
3.根据权利要求2所述的虚拟现实设备生成视频的方法，其特征在于，在所述实时向视频播放装置发送所述视频流供所述视频播放装置播放的步骤之前，包括：
通过会话服务器与所述视频播放装置建立会话通信链接。
4.根据权利要求1所述的虚拟现实设备生成视频的方法，其特征在于，在所述根据引擎渲染生成VR图像帧的步骤之前，包括：
接收所述视频播放装置发送的图像需求信息；
相应的，所述根据引擎渲染生成VR图像帧，包括：
对所述图像需求信息中需求的图像进行渲染生成VR图像帧。
5.根据权利要求4所述的虚拟现实设备生成视频的方法，其特征在于，所述图像需求信息，包括：语音信息。
6.根据权利要求5所述的虚拟现实设备生成视频的方法，其特征在于，所述图像需求信息为语音信息时，对所述图像需求信息中需求的图像进行渲染生成VR图像帧，包括：
对所述语音信息进行识别；
获取对所述语音信息识别出的需求信息对应的虚拟场景的图像；
对所述图像进行渲染生成VR图像帧。
7.根据权利要求6所述的虚拟现实设备生成视频的方法，其特征在于，在所述将所述VR图像帧进行编码获取视频流时，还包括：
将所述图像需求信息与生成所述VR图像帧时的音效信息进行混合。
8.一种虚拟现实设备生成视频的装置，其特征在于，包括：
VR图像帧生成单元，用于根据引擎渲染生成VR图像帧；
视频流获取单元，用于将所述VR图像帧进行编码获取视频流；
视频流发送单元，用于实时向视频播放装置发送所述视频流供所述视频播放装置播放；
其中，所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
9.一种电子设备，其特征在于，所述电子设备，包括：
显示器；
处理器；
存储器，用于存储视频编码程序,所述程序在被所述处理器读取执行时,执行如下操作:根据引擎渲染生成VR图像帧；将所述VR图像帧进行编码获取视频流；实时向视频播放装置发送所述视频流供所述视频播放装置播放；
其中，所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
10.一种视频播放方法，其特征在于，应用于视频播放装置，所述方法包括：
接收终端视频源发送的视频流；
解析并显示所述视频流获取渲染后的VR图像帧；
所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
11.根据权利要求10所述的视频播放方法，其特征在于，在所述接收视频源发送的视频流的步骤之前，包括：
向所述视频源发送图像需求信息；所述图像需求信息为语音信息。
12.根据权利要求10所述的视频播放方法，其特征在于，所述接收视频源发送的视频流，包括：
基于会话接收所述视频源发送的所述视频流。
13.根据权利要求12所述的视频播放方法，其特征在于，在所述接收视频源发送的视频流的步骤之前，包括：
通过会话服务器与所述视频源建立会话通信链接。
14.一种视频播放装置，其特征在于，应用于视频播放装置，方法包括：
视频接收单元，用于接收终端视频源发送的视频流；
VR图像帧获取单元，用于解析并显示所述视频流获取渲染后的VR图像帧；
其中，所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
15.一种电子设备，其特征在于，所述电子设备，包括：
显示器；
处理器；
存储器，用于存储视频播放装置中视频播放程序,所述程序在被所述处理器读取执行时,执行如下操作:接收终端视频源发送的视频流；解析并显示所述视频流获取渲染后的VR图像帧；
其中，所述视频流采用与所述视频播放装置能够解码的视频压缩算法形成。
16.一种视频播放系统，其特征在于，包括：
根据上述权利要求8所述的虚拟现实设备生成视频的装置；以及
根据权利要求14所述的视频播放装置。
17.根据权利要求16所述的视频播放系统，其特征在于，还包括：
会话服务器，用于所述虚拟现实设备生成视频的方装置与所述视频播放装置之间建立并维持会话通信链接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610921898.5A CN107979763B (zh) | 2016-10-21 | 2016-10-21 | 一种虚拟现实设备生成视频、播放方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610921898.5A CN107979763B (zh) | 2016-10-21 | 2016-10-21 | 一种虚拟现实设备生成视频、播放方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107979763A CN107979763A (zh) | 2018-05-01 |
| CN107979763B true CN107979763B (zh) | 2021-07-06 |
Family
ID=62004638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610921898.5A Active CN107979763B (zh) | 2016-10-21 | 2016-10-21 | 一种虚拟现实设备生成视频、播放方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107979763B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810554B (zh) * | 2018-06-15 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 虚拟场景的场景图像传输方法、计算机设备及存储介质 |
| CN108965959A (zh) * | 2018-08-10 | 2018-12-07 | Tcl通力电子（惠州）有限公司 | Vr视频的播放、获取方法、手机、pc设备及系统 |
| US11500455B2 (en) | 2018-10-16 | 2022-11-15 | Nolo Co., Ltd. | Video streaming system, video streaming method and apparatus |
| CN111064985A (zh) * | 2018-10-16 | 2020-04-24 | 北京凌宇智控科技有限公司 | 一种实现视频串流的系统、方法及装置 |
| CN109510990B (zh) * | 2018-10-25 | 2022-03-29 | 深圳市腾讯信息技术有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN110807111A (zh) * | 2019-09-23 | 2020-02-18 | 北京铂石空间科技有限公司 | 三维图形的处理方法及装置、存储介质、电子设备 |
| CN112702611A (zh) * | 2019-10-22 | 2021-04-23 | 上海华为技术有限公司 | 一种播放方法以及播放系统 |
| CN112969098A (zh) * | 2019-12-13 | 2021-06-15 | 阿里巴巴集团控股有限公司 | 用于互动视频的引擎架构和装置 |
| CN111093142B (zh) * | 2019-12-24 | 2021-06-08 | 杭州当虹科技股份有限公司 | 一种基于vr多方向音源合成的实现方法 |
| CN113176868B (zh) * | 2021-03-16 | 2022-11-15 | 青岛小鸟看看科技有限公司 | 智能设备的一拖多系统及方法 |
| CN113141346B (zh) * | 2021-03-16 | 2023-04-28 | 青岛小鸟看看科技有限公司 | 基于串流的vr一拖多系统及方法 |
| CN115174954A (zh) * | 2022-08-03 | 2022-10-11 | 抖音视界有限公司 | 视频直播方法、装置、电子设备以及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197757A (zh) * | 2012-01-09 | 2013-07-10 | 癸水动力（北京）网络科技有限公司 | 一种沉浸式虚拟现实系统及其实现方法 |
| KR20140061620A (ko) * | 2012-11-13 | 2014-05-22 | 삼성전자주식회사 | 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스 |
| CN103095828B (zh) * | 2013-01-14 | 2016-03-30 | 上海电力学院 | 基于云渲染的Web3D同步会议系统及实现同步的方法 |
| CN104915979A (zh) * | 2014-03-10 | 2015-09-16 | 苏州天魂网络科技有限公司 | 跨移动平台实现沉浸式虚拟现实的系统 |
| WO2016049187A1 (en) * | 2014-09-23 | 2016-03-31 | Lincolnpeak | Systems, methods, and software for processing a question relative to one or more of a plurality of population research databases |
| CN104731343A (zh) * | 2015-04-14 | 2015-06-24 | 上海云富网络科技有限公司 | 一种基于移动终端的虚拟现实人机交互儿童教育体验系统 |
| CN105096373B (zh) * | 2015-06-30 | 2020-04-28 | 华为技术有限公司 | 一种媒体内容渲染的方法、用户设备及系统 |
| CN105450736B (zh) * | 2015-11-12 | 2020-03-17 | 小米科技有限责任公司 | 与虚拟现实连接的方法和装置 |
| CN105894570A (zh) * | 2015-12-01 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 虚拟现实场景模型建立方法及装置 |
| CN105976424A (zh) * | 2015-12-04 | 2016-09-28 | 乐视致新电子科技（天津）有限公司 | 一种图像渲染处理的方法及装置 |
| CN105913478A (zh) * | 2015-12-28 | 2016-08-31 | 乐视致新电子科技（天津）有限公司 | 360度全景显示方法、显示模块及移动终端 |
| CN105791977B (zh) * | 2016-02-26 | 2019-05-07 | 北京视博云科技有限公司 | 基于云服务的虚拟现实数据处理方法、设备及系统 |
| CN105843380B (zh) * | 2016-03-17 | 2019-05-14 | 广东小天才科技有限公司 | 一种用于虚拟现实场景的环境温度模拟方法及装置 |
| CN105869215B (zh) * | 2016-03-28 | 2019-03-12 | 上海米影信息科技有限公司 | 一种虚拟现实成像系统 |
| CN106021273A (zh) * | 2016-04-25 | 2016-10-12 | 北京光年无限科技有限公司 | 面向问答机器人的信息处理方法及系统 |
| CN105892683A (zh) * | 2016-04-29 | 2016-08-24 | 上海乐相科技有限公司 | 一种显示方法及目标设备 |
-
2016
- 2016-10-21 CN CN201610921898.5A patent/CN107979763B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107979763A (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107979763B (zh) | 一种虚拟现实设备生成视频、播放方法、装置及系统 | |
| CN112543342B (zh) | 虚拟视频直播处理方法及装置、存储介质、电子设备 | |
| WO2022166709A1 (zh) | 虚拟视频直播处理方法及装置、存储介质、电子设备 | |
| CN110931042B (zh) | 同声传译方法、装置、电子设备以及存储介质 | |
| US20200092600A1 (en) | Method and apparatus for presenting video information | |
| CN112272327B (zh) | 数据处理方法、装置、存储介质及设备 | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| US20220392224A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
| US11451858B2 (en) | Method and system of processing information flow and method of displaying comment information | |
| JP2020503792A (ja) | 情報処理方法および装置 | |
| US20230047858A1 (en) | Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication | |
| Tandon et al. | Txt2vid: Ultra-low bitrate compression of talking-head videos via text | |
| CN111629222A (zh) | 一种视频处理方法、设备及存储介质 | |
| CN113316078B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN113282791B (zh) | 视频生成方法和装置 | |
| CN112492324A (zh) | 数据处理方法及系统 | |
| JP6807744B2 (ja) | 画像表示方法及び装置 | |
| CN113630620A (zh) | 多媒体文件播放系统、相关方法、装置及设备 | |
| CN115767195A (zh) | 直播方法及装置、存储介质及电子设备 | |
| CN114339197A (zh) | 视频播放的测试方法、装置及设备 | |
| CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
| CN111160051A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| GB2568726A (en) | Object prioritisation of virtual content | |
| US20220270626A1 (en) | Method and apparatus in audio processing | |
| CN117876543A (zh) | 一种基于数字人的互动应用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1254563 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |