CN107371012A - 一种vr图像处理和显示方法及装置 - Google Patents
一种vr图像处理和显示方法及装置 Download PDFInfo
- Publication number
- CN107371012A CN107371012A CN201710538887.3A CN201710538887A CN107371012A CN 107371012 A CN107371012 A CN 107371012A CN 201710538887 A CN201710538887 A CN 201710538887A CN 107371012 A CN107371012 A CN 107371012A
- Authority
- CN
- China
- Prior art keywords
- user
- resolution
- projected picture
- equipment
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 97
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 21
- 238000003672 processing method Methods 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims description 87
- 230000006835 compression Effects 0.000 claims description 87
- 230000000630 rising effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 115
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及虚拟现实技术领域，尤其涉及一种VR图像处理和显示方法及装置。本发明解决现有技术中，VR头显设备显示用户自己的视频内容，无法显示包括多个用户的全局视频内容的技术问题。本发明提供的VR图像处理方法包括以下步骤：将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像；采用指定分辨率，将全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面；若指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备。本发明可以在多用户交互场景中，VR头显设备上显示各自的全局VR图像。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种VR图像处理和显示方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)是用电脑模拟产生一个三维空间，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身临其境一般。随着VR技术的发展，出现了很多VR设备，例如模拟视觉的VR头显设备、模拟触觉的VR运动座椅等。
其中，模拟视觉的VR头显设备可显示VR图像。首先，由服务端根据VR场景生成多帧VR图像，将多帧VR图像传输至VR头显设备，再通过VR头显设备显示VR图像。
现有技术中，在多用户对战的情景中，每个用户的VR头显设备主要显示每个用户自己的视频内容，无法显示包括多个用户的全局视频内容，导致用户缺少沉浸感。
发明内容
本发明的多个方面提供一种VR图像处理和显示方法及装置，用以在每个用户的VR头显设备上显示全局视频内容。
本发明提供一种VR图像处理方法，包括：
将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到所述多用户交互场景对应的虚拟场景中，以获得全局VR图像；
采用指定分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面；
若所述指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据所述指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
可选地，所述VR图像处理方法还包括：
若所述指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包；
将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，以供每个用户的头显设备在解压缩各自对应的宏块层级的VR图像压缩包后进行显示；
其中，所述第一分辨率阈值小于或等于所述第二分辨率阈值。
可选地，所述在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包，包括：
根据每个用户对应的投影画面所包含的信息量的分布情况，将每个用户对应的投影画面划分为包含信息量不同的至少一个区域；
根据所述至少一个区域中的每个区域包含的信息量，将所述至少一个区域中的每个区域划分为对应数量的宏块；
将每个用户对应的投影画面划分出的宏块分为包括至少一个宏块在内至少一个宏块组；
分别压缩所述至少一个宏块组，以获得每个用户对应的宏块层级的VR图像压缩包。
可选地，所述将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，包括：
采用60千兆赫的频段，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
可选地，所述VR图像处理方法还包括：
采用指定分辨率，将所述全局VR图像投影至外接显示设备对应的观众视角下，以获得所述观众视角下的投影画面；
若所述指定分辨率小于或等于第一分辨率阈值，直接将所述观众视角下的投影画面传输至外接显示设备，以供所述外接显示设备在根据所述指定分辨率对应的升分辨率模型升高所述观众视角下的投影画面的分辨率后进行显示。
可选地，所述VR图像处理方法还包括：
若所述指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩所述观众视角下的投影画面，以获得所述观众视角下的VR图像压缩包；
将所述观众视角下的VR图像压缩包传输至所述外接显示设备，以供所述外接显示设备在解压缩所述观众视角下的VR图像压缩包后进行显示。
可选地，在所述直接将每个用户对应的投影画面对应传输至每个用户的头显设备之前，还包括：
获取所述指定分辨率小于或等于所述第一分辨率阈值的每个用户对应的投影画面，以形成第一数据集合；
采用大于所述指定分辨率指定倍数的分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以形成第二数据集合；
根据所述第一数据集合和所述第二数据集合，生成可将所述第一数据集合转换为所述第二数据集合的升分辨率模型；
将所述升分辨率模型发送至每个用户的头显设备。
可选地，所述指定分辨率对应的像素比例为16:9。
本发明还提供一种VR图像显示方法，包括：
接收投影画面，所述投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，所述指定分辨率小于或等于第一分辨率阈值；
将所述投影画面输入所述指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面；
对所述分辨率升高后的投影画面进行显示。
本发明还提供一种VR图像处理装置，包括:
映射模块，用于将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到所述多用户交互场景对应的虚拟场景中，以获得全局VR图像；
投影模块，用于采用指定分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面；
传输模块，用于若所述指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据所述指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
本发明还提供一种VR图像显示装置，包括:
接收模块，用于接收投影画面，所述投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，所述指定分辨率小于或等于第一分辨率阈值；
输入模块，用于将所述投影画面输入所述指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面；
显示模块，用于对所述分辨率升高后的投影画面进行显示。
在本发明中，通过将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像，以及把全局VR图像投影得到的较低分辨率的投影画面直接传输至每个用户的头显设备，解决了全局投影画面的传输问题；而在由头显设备一端，可以根据较低分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示，可以保证全局场景的清晰度，在头显设备一端实现了全局场景的显示，增强了用户的沉浸感。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一实施例提供的一种VR图像处理方法的流程示意图；
图2为本发明一实施例提供的双人对战场景示意图；
图3为本发明一实施例提供的一种VR图像显示方法的流程示意图；
图4为本发明一实施例提供的一种VR图像处理装置的模块结构图；
图5为本发明一实施例提供的一种VR图像显示装置的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
图1为本发明一实施例提供的一种VR图像处理方法的流程示意图。如图1所示，该方法包括以下步骤：
S101：将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像。
S102：采用指定分辨率，将全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面。
S103：若指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
多用户交互场景可以指多个用户参与的VR场景。多个用户可以在多用户交互场景中进行虚拟交互行为，例如战斗、对话等。其中，多用户可以指两个或者两个以上的用户。
一般来说，用户在真实世界中的位置和动作，应对应显示在多用户交互场景对应的虚拟场景中。基于此，可以将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像。
可选地，每个用户在真实世界中的方位信息包括每个用户的头部、手部、腿部等各身体关键部位的位置信息和姿态信息；每个用户在真实世界中的动作信息主要包括每个用户的头部、手部等身体关键部位的动作信息。其中，动作信息可以根据位置信息和当前多用户交互场景获知。
在一示例中，用户的手部处于用户身体两侧的上方或下方，当前多用户交互场景为打篮球场景，则可以确定手部动作信息为运球。
在获取到每个用户在真实世界中的方位信息和动作信息后，可以将方位信息和动作信息映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像。
可选地，多用户交互场景对应的虚拟场景可以是预先生成的初始场景。例如，在多用户对战VR游戏场景中，虚拟场景可以包括位于各自初始位置的虚拟人物，初始游戏场景等。
可选地，根据获取到的每个用户在真实世界中的方位信息和动作信息，显示或更新虚拟场景中每个用户所对应的虚拟人物的位置和动作，进而获得全局VR场景。可选地，还可以根据虚拟人物的位置和动作，对应更新当前VR场景的特效。
接着，采用指定分辨率，将全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面。其中，头显设备可以为虚拟现实头戴式显示设备。
可选地，头显设备的视角包括左眼视角和右眼视角。投影后所得的画面可称为投影画面。头显设备可以显示投影画面，进而用户在通过双眼观看头显设备显示的左眼视角的投影画面和右眼视角的投影画面时，可以根据双眼的视差，获得全局的三维场景的体验。
其中，指定分辨率为投影操作后所得的投影画面的分辨率。可选地，全局VR图像的分辨率可以为指定分辨率，进而可以直接投影为指定分辨率的投影画面。全局VR图像的分辨率也可以大于或者小于指定分辨率，在投影的过程中或者投影后，将投影画面的分辨率调整为指定分辨率。
其中，根据指定分辨率的不同，投影画面的处理方法不同。
具体而言，若指定分辨率小于或等于第一分辨率阈值，第一分辨率阈值例如为1280*720；此时，意味着指定分辨率为较低分辨率，进而确定投影画面包含的数据量较少。基于此，可以直接将每个用户对应的投影画面对应传输至每个用户的头显设备。
可选地，为了不限制用户的活动范围，可以采用无线传输的方式将每个用户对应的投影画面对应传输至每个用户的头显设备。
由于投影画面包含的数据量较少，可选地，可以通过低分辨率、非压缩图像适配的wifi802.11a/b/n/g，将每个用户对应的投影画面对应传输至每个用户的头显设备。
头显设备在接收到较低分辨率的投影画面后，可以根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
其中，指定分辨率对应的升分辨率模型可以将指定分辨率的投影画面转换为更高分辨率的投影画面。可选地，可以将指定分辨率的投影画面转换为几倍于指定分辨率的投影画面。例如，将指定分辨率为1280*720的投影画面转换为4倍于指定分辨率，即2560*1440的投影画面。需要说明的是，本实施例中，投影画面的指定分辨率为头显设备视角下的投影画面的分辨率，也即左眼视角下的投影画面和右眼视角下的投影画面的总分辨率。
本实施例中，通过将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像，以及把全局VR图像投影得到的较低分辨率的投影画面直接传输至每个用户的头显设备；使得传输过程中传输全局的投影画面，进而可以在头显设备上显示全局场景，增强用户的沉浸感。
进一步地，本实施例中，传输的是较低分辨率的投影画面，使得传输的数据量较低，避免网络拥堵的状况，使得数据传输的延迟较小，能够实时传输投影画面。
更进一步地，本实施例中，通过若指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示投影画面进行升分辨率后进行显示，使得头显设备能够显示高清晰度的VR场景，增强用户的视觉体验。
在上述实施例或下述实施例中，当指定分辨率大于或等于第二分辨率阈值时，意味着指定分辨率为较高分辨率，进而投影图形包含的数据量较大。可选地，可以压缩投影画面后在传输至头像设备。
其中，第一分辨率阈值小于或等于第二分辨率阈值。例如，第二分辨率阈值可以为2560*1440，但不限于此。
可选地，在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包；再将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，以供每个用户的头显设备在解压缩各自对应的宏块层级的VR图像压缩包后进行显示。
可选地，一帧投影画面可划分成至少一个宏块。在获得投影画面对应的宏块后，可以在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包。
接着，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
每个用户的头显设备在接收到对应的宏块层级的VR图像压缩包后，可以解压缩各自对应的宏块层级的VR图像压缩包后进行显示。
可选地，解压缩可以采用与压缩方法相对应的方法。例如若使用H.265标准的编码器对投影画面进行压缩，则可以使用H.265标准的解码器对VR图像压缩包进行解压缩。
其中，H.265是H.264之后所指定的新的视频编解码标准。H.265围绕着现有的编解码标准H.264，改善了码流、编码质量、延时和算法负责度之间的关系。
本实施例中，压缩所获得的VR图像压缩包相比于压缩整个投影画面所获得的压缩包，包含的数据量较少，减小传输过程的延迟。
在上述实施例或下述实施例中，为了进一步减小传输的数据量并保证画面质量，可以根据投影画面各区域包含的信息量，采用不同的压缩比进行对应区域的压缩。
基于此，首先，根据每个用户对应的投影画面所包含的信息量的分布情况，将每个用户对应的投影画面划分为包含信息量不同的至少一个区域。
可选地，投影画面包含的信息量可以包括像素、色彩、纹理等。信息量多的图像可以是像素值比较高、色彩丰富、纹理细致的图像。
例如，在一个投影画面中，人物、装备图像包含的信息量多，可以将人物、装备图像划分为一个区域。背景图像包含的信息量少，可以将背景图像划分为一个区域。
接着，根据至少一个区域中的每个区域包含的信息量，将至少一个区域中的每个区域划分为对应数量的宏块。
可选地，可以预先建立每个区域包含的信息量与宏块数量的对应关系。每个区域包含的信息量越多，该区域被划分的宏块的数量越多。例如，背景图像包含的信息量较少，可将背景图像所在的区域划分为4*4的宏块。又例如，装备图像包含的信息量较多，可将装备图像所在的区域划分为16*16的宏块。
然后，将每个用户对应的投影画面划分出的宏块分为包括至少一个宏块在内至少一个宏块组；分别压缩所述至少一个宏块组，以获得每个用户对应的图片块宏块层级的VR图像压缩包。
可选地，一个宏块组可以包括每个用户对应的投影画面划分出的部分宏块或全部宏块。进而可以压缩部分宏块或全部宏块为一个VR图像压缩包。
在一示例中，每个用户对应的投影画面划分出的宏块为4*4，可将第一个宏块压缩为一个VR图像压缩包，将其他15个宏块压缩为一个VR图像压缩包。
优选地，可以采用H.265的帧内压缩方法，在宏块层级压缩每个用户对应的投影画面。H.265的帧内压缩方法可以更灵活地划分宏块，每个宏块可作为一个编码单元。此外，H.265的帧内压缩方法能够实现高压缩比。在视频质量相同的条件下，较H.264平均减少50％的码流，可以节省下大量的网络带宽及存储空间。而且，在同码流条件下较H.264提供更加高质量的视频。
优选地，还可以采用Jpeg2000压缩方法，在宏块层级压缩每个用户对应的投影画面。Jpeg2000压缩方法能够有效较少块状失真，可以灵活将投影区域划分为高压缩比宏块和低圧缩比宏块，再根据各自的压缩比压缩宏块。
本实施例中，通过灵活地划分宏块，能够有效提高压缩效率，进而减小传输延迟；而且，包含信息量少的区域采用高压缩，包含信息量大的区域采用低压缩，提高整体的压缩比，同时减少块状失真。
在上述实施例或下述实施例中，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，包括：采用60千兆赫的频段，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
其中，60千兆赫的频段可以在近距离内实现极高的传输速率。
可选地，可以采用wigig(Wireless Gigabit，无线千兆比特)或者无线高清标准(wirelessHD)在60千兆赫的频段，将宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
为了进一步减小数据传输的延迟，可以边压缩边传输。优选地，在上述实施例中，一个宏块组可以包括每个用户对应的投影画面划分出的部分宏块，即一个VR图像压缩包包含的是一帧投影图像中的部分数据。接着，在获得任一VR图像压缩包后，可将获得的VR图像压缩包对应传输至每个用户的头显设备。待到获得下一个VR图像压缩包后，再将下一个VR图像压缩包对应传输至每个用户的头显设备。
当然，也可以在获得全部VR图像压缩包之后，再将全部VR图像压缩包对应传输至每个用户的头显设备。
在上述实施例中，均是将头显设备视角下的投影画面对应传输至头显设备，但不限于此。在本实施例中，还可以在外接显示设备上显示观众视角下的投影画面。其中，外接显示设备可以为电视设备。
具体而言，采用指定分辨率，将全局VR图像投影至外接显示设备对应的观众视角下，以获得观众视角下的投影画面。
可选地，外接显示设备对应的观众视角为针对全局VR图像的第三方视角。其中，观众视角可以包括一个或多个，例如靠近一用户的视角和/或靠近另一用户的视角。
与上述实施例类似，指定分辨率不同，观众视角下的投影画面的处理方法不同。
若指定分辨率小于或等于第一分辨率阈值，意味着指定分辨率为较低分辨率，进而确定投影画面包含的数据量较少。基于此，直接将观众视角下的投影画面传输至外接显示设备，以供外接显示设备在根据指定分辨率对应的升分辨率模型升高观众视角下的投影画面的分辨率后进行显示。
本实施例中，将观众视角下的投影画面传输至外接显示设备的方法与头显设备视角下的投影画面传输至头显设备的方法相同，此处不再赘述。
可选地，若指定分辨率大于或等于第二分辨率阈值，意味着指定分辨率为较高分辨率，进而投影图形包含的数据量较大。可选地，可以在宏块层级压缩观众视角下的投影画面，以获得观众视角下的VR图像压缩包。
将观众视角下的VR图像压缩包传输至外接显示设备，以供外接显示设备在解压缩观众视角下的VR图像压缩包后进行显示。
本实施例中，在宏块层级压缩观众视角下的投影画面的方法与在宏块层级压缩头显设备视角下的投影画面的方法相同，将观众视角下的VR图像压缩包传输至外接显示设备的方法与将头显设备视角下的VR图像压缩包传输至头显设备的方法相同，此处不再赘述。
在上述实施例或下述实施例中，服务端可以预先生成指定分辨率对应的升分辨率模型，并将预先生成的指定分辨率对应的升分辨率模型发送至头显设备，以便头显设备在接收到指定分辨率小于或等于第一分辨率阈值的投影画面后，能够直接根据预先生成的指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
可选地，在直接将每个用户对应的投影画面对应传输至每个用户的头显设备之前，还包括：生成升分辨率模型的过程和将升分辨率模型发送至头显设备的过程。
其中，生成升分辨率模型的过程包括：获取指定分辨率小于或等于第一分辨率阈值的每个用户对应的投影画面，以形成第一数据集合；采用大于指定分辨率指定倍数的分辨率，将全局VR图像投影至每个用户的头显设备的视角下，以形成第二数据集合；根据第一数据集合和第二数据集合，生成可将第一数据集合转换为第二数据集合的升分辨率模型。
其中，第一数据集合为指定分辨率小于或等于第一分辨率阈值的每个用户对应的投影画面的数据集合。
可选地，大于指定分辨率指定倍数的分辨率例如可以为大于指定分辨率4倍的分辨率。在将全局VR图像采用大于指定分辨率指定倍数的分辨率投影至每个用户的头显设备的视角下后，获得的投影画面的分辨率为大于指定分辨率指定倍数的分辨率。进而，可以根据所获得的投影画面的数据形成第二数据集合。
可选地，可以采用高效的子像素卷积神经网络(Efficient Sub-PixelConvolutional Neural Network，ESPCN)模型作为升分辨率模型。ESPCN模型中的高效计算的卷积层(称之为子像素卷积层(sub-pixel convolution layer))可以将低分辨率特征映射提升为高分辨率输出。通过这种方式，而不是使用双线性或双三次采样器等人工提升滤波器，子像素卷积层通过训练可学习更复杂的提升操作，计算的总体时间会被降低。相比于原始的低分辨率图像，需要做的只是定义重建损失(reconstruction loss)，并进行端到端的训练。
当然，升分辨率模型除了ESPCN模型外，还可以是模糊模型、小波模型等其他能够实现升分辨率的模型。
在训练升分辨率模型之前，升分辨率模型中的参数值可均为默认值。通过将第一数据集合作为升分辨率模型的输入，将第二数据集合作为升分辨率模型的输出，反复修正升分辨率模型中的参数，以得到可将小于或等于第一分辨率阈值的指定分辨率的投影画面升高至大于指定分辨率指定倍数的分辨率的投影画面。
接着，将升分辨率模型发送至头显设备的过程包括：将升分辨率模型发送至每个用户的头显设备。进而，头显设备可显示大于指定分辨率指定倍数的分辨率的投影画面。
可选地，可显示投影画面的设备中除了头显设备还包括外接显示设备。基于此，还可以将生成的指定分辨率对应的升分辨率模型发送至外接显示设备，以供外接显示设备根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
在一可选实施例中，优选地，投影画面的指定分辨率对应的像素比例为16:9，但不限于此。指定分辨率对应的像素比例还可以是4:3、3:2等，开发人员可以根据头显设备或外接显示设备的屏幕尺寸设置。
图2为本发明一实施例提供的双人对战场景示意图。如图2所示，将用户A和用户B在真实世界中的动作信息和方位信息传输至服务端。
在服务端这一侧，可将接收到的动作信息和方位信息均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像；再采用指定分辨率，将全局VR图像投影至用户A的左眼视角下和右眼视角下、用户B的左眼视角下和右眼视角下以及靠近用户B的观众视角下和靠近用户A的观众视角下，以获得每个用户对应的投影画面。
接着，若指定分辨率小于或等于第一分辨率阈值，将用户A的左眼视角下的投影画面和右眼视角下的投影画面传输至用户A的头显设备；将用户B的左眼视角下的投影画面和右眼视角下的投影画面传输至用户B的头显设备；将靠近用户B的观众视角下的投影画面和靠近用户A的观众视角下的投影画面传输至外接显示设备，如图2示出的电视。
于是，用户A的头显设备、用户B的头显设备和外接显示设备在根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后，显示投影画面。如图2所示，用户A或者B的左眼视角下的投影画面和右眼视角下的投影画面在升分辨率后的总分辨率分别为2560*1440。
若外接显示设备同时显示升分辨率后的靠近用户B的观众视角下的投影画面和靠近用户A的观众视角下的投影画面，如图2所示，则升分辨率后的两个投影画面的总分辨率为2560*1440。当然，若外接显示设备交替显示升分辨率后的靠近用户B的观众视角下的投影画面和靠近用户A的观众视角下的投影画面，则升分辨率后的两个投影画面的总分辨率为2560*1440。当然，本实施例中，升分辨率后的两个投影画面的总分辨率不限定于2560*1440，其他适用于普通电视机的图像分辨率也可。
若指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩用户A/B和外接显示设备对应的投影画面，以获得用户A/B和外接显示设备对应的宏块层级的VR图像压缩包。
将用户A/B和外接显示设备对应的宏块层级的VR图像压缩包对应传输至用户A/B的头显设备和外接显示设备，以供用户A/B的头显设备和外接显示设备在解压缩各自对应的宏块层级的VR图像压缩包后进行显示。
在这种情况下，大于或等于第二分辨率阈值的指定分辨率可为2560*1440。进而，在用户A/B的头显设备和外接显示设备对VR图像压缩包进行解压缩后，合成的投影画面的分辨率为2560*1440。当然，若外接显示设备同时显示解压缩后的合成的靠近用户B的观众视角下的投影画面和靠近用户A的观众视角下的投影画面，则两个投影画面的总分辨率为2560*1440。若外接显示设备交替显示解压缩后合成的靠近用户B的观众视角下的投影画面和靠近用户A的观众视角下的投影画面，则两个投影画面的分辨率均为2560*1440。
值得说明的是，图2示出的用户A的头显设备和用户B的头显设备所显示的对应的左眼视角下的投影画面和右眼视角下的投影画面，均为解压缩后合成的投影画面或者升分辨率后获得的投影画面。
在上述实施例或下述实施例中，可以通过以下两种方式中的至少一种，获取每个用户在真实世界中的方位信息。以获取每个用户的头部方位信息和手部方位信息为例，进行详细说明。
第一种方式：通过安装在头显设备和手持设备上的传感器，获取用户头部的方位信息和手部的方位信息。
其中，手持设备指用户在真实世界中手握的设备，用于模仿VR场景中的武器、装备等，例如手柄，手套。
安装在头显设备和手持设备上的传感器包括但不限于加速计、陀螺仪和地磁计。传感器可以采集传感器所在位置的加速度、角度等数据，并将采集到的数据传输至服务端。可选地，为了方便用户在真实世界中活动，可以将采集到的数据通过无线传输方式，如wifi，传输至服务端。继而，服务端可以根据传感器采集到的数据，分析得出用户头部的方位信息和手部的方位信息。
第二种方式：通过外置摄像机拍摄头显设备和手持设备，以获取用户头部的方位信息和手部的方位信息。
在外置摄像机拍摄头显设备和手持设备时，可以在头显设备和手持设备上安装光源，以便在拍摄图像上突出显示头显设备和手持设备。然后，将拍摄图像传输至服务端。可选地，可以将拍摄图像通过无线传输方式传输至服务端。
服务端在接收到拍摄图像后，可采用目标特征提取和三维重建的图像处理方法获得用户头部的方位信息和手部的方位信息。
可选地，为了减少拍摄图像传输至服务端的过程中的延迟，拍摄图像可以为较低分辨率的图像，能够成功获取用户头部的方位信息和手部的方位信息即可。
可选地，传感器采集信息的频率可以与外置摄像机拍摄头显设备和手持设备的频率相同。继而，在同时使用上述两种方式获取每个用户在真实世界中的头部的方位信息和手部的方位信息时，可以保证数据同步传输至服务端，进而同步更新VR场景。
在获取到多用户交互场景中的每个用户的方位信息和动作信息后，可以将获取到的信息映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像。可选地，获得的全局VR图像可以进一步渲染全局VR图像，以使全局VR图像更加真实。接着，再把渲染后的全局VR图像投影成多帧投影画面，并以此传输至头显设备和/或外接显示设备上进行显示。
一般来说，渲染的过程耗时较长。如果渲染不及时可能会导致投影画面的帧率不够，导致头显设备和/或外接显示设备显示的VR场景的抖动。基于此，可以采用异步时间扭曲(Asynchronous Time warp简称ATW)技术，当VR场景不能保持指定帧率的时候，产生中间帧，从而有效减少VR场景的抖动。可选地，指定帧率可以为27fps。
图3为本发明一实施例提供的一种VR图像显示方法的流程示意图，如图3所示，包括以下步骤：
S201：接收投影画面，投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，指定分辨率小于或等于第一分辨率阈值。
S202：将投影画面输入指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面。
S203：对分辨率升高后的投影画面进行显示。
在头显设备这一端，首先接收服务端发送的投影画面。其中，投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的。
可选地，全局VR图像可由将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中获得。全局VR图像的获得过程参见上述实施例，此处不再赘述。
其中，VR图像显示方法的执行主体为头显设备。相应地，本端视角为头显设备的视角，即左眼视角和右眼视角。
其中，指定分辨率可以为较高的分辨率也可以为较低的分辨率，即指定分辨率为小于或等于第一分辨率阈值的分辨率。
接着，可以通过指定分辨率对应的升分辨率模型升高投影画面的分辨率。具体而言，将指定分辨率的投影画面输入指定分辨率对应的升分辨率模型，经升分辨率模型对投影画面进行升分辨率处理后，可输出分辨率升高后的投影画面。
可选地，投影画面的分辨率可升高至大于指定分辨率指定倍数的分辨率。
可选地，升分辨率模型可以预先由服务端生成，再发送至头显设备。当然，升分辨率模型也可以在本端生成。
然后，头显设备对分辨率升高后的投影画面进行显示。用户通过头显设备可以看到全局的高分辨率的VR图像。
本实施例中，通过接收由全局VR图像投影至本端视角下得到的投影画面，并将投影画面进行升分辨率后进行显示，使得头显设备能够显示全局的高清VR场景。
可选地，头显设备还可以接收宏块层级的VR图像压缩包。继而，解压缩接收到的宏块层级的VR图像压缩包以合成投影画面。若合成的投影画面的分辨率大于或等于第二分辨率阈值，其中，第二分辨率阈值大于或等于第一分辨率阈值，可以确定合成的投影画面的分辨率较高。然后，头显设备可以直接显示合成后的投影画面。
在一可选实施方式中，VR图像显示方法的执行主体除了头显设备，还可以包括外接显示设备。基于此，本端视角还包括外接显示设备对应的观众视角。其中，观众视角包括一个或多个。
类似地，外接显示设备在接收到投影画面后，可将将投影画面输入指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面；对分辨率升高后的投影画面进行显示。
可选地，外接显示设备可以同时显示至少一个观众视角下的投影画面，以供观众全方位、多角度观看VR场景。例如，在外接显示设备的左侧显示靠近用户的视角下的投影画面，在外接显示设备的右侧显示远离用户的视角下的投影画面。
本发明实施例还提供一种VR图像处理装置300，如图4所示，包括映射模块301、投影模块302和传输模块303。
映射模块301，用于将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像。
投影模块302，用于采用指定分辨率，将映射模块301获得的全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面。
传输模块303，用于若指定分辨率小于或等于第一分辨率阈值，直接将投影模块302获得的每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
在本发明中，通过将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到多用户交互场景对应的虚拟场景中，以获得全局VR图像，以及把全局VR图像投影得到的较低分辨率的投影画面直接传输至每个用户的头显设备，解决了全局投影画面的传输问题；而在由头显设备一端，可以根据较低分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示，可以保证全局场景的清晰度，在头显设备一端实现了全局场景的显示，增强了用户的沉浸感。
可选地，VR图像处理装置300还包括压缩模块304。
压缩模块304，用于若指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包。
基于此，传输模块303，还用于将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，以供每个用户的头显设备在解压缩各自对应的宏块层级的VR图像压缩包后进行显示。其中，第一分辨率阈值小于或等于第二分辨率阈值。
可选地，压缩模块304在在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包时，具体用于：根据每个用户对应的投影画面所包含的信息量的分布情况，将每个用户对应的投影画面划分为包含信息量不同的至少一个区域；根据至少一个区域中的每个区域包含的信息量，将至少一个区域中的每个区域划分为对应数量的宏块；将每个用户对应的投影画面划分出的宏块分为包括至少一个宏块在内至少一个宏块组；分别压缩所述至少一个宏块组，以获得每个用户对应的宏块层级的VR图像压缩包。。
可选地，传输模块303在将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备时，具体用于：采用60千兆赫的频段，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
可选地，投影模块302还用于采用指定分辨率，将全局VR图像投影至外接显示设备对应的观众视角下，以获得观众视角下的投影画面。
基于此，传输模块303还用于若指定分辨率小于或等于第一分辨率阈值，直接将观众视角下的投影画面传输至外接显示设备，以供外接显示设备在根据指定分辨率对应的升分辨率模型升高观众视角下的投影画面的分辨率后进行显示。
可选地，压缩模块304还用于：若指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩观众视角下的投影画面，以获得观众视角下的VR图像压缩包。
基于此，传输模块303还用于将观众视角下的VR图像压缩包传输至外接显示设备，以供外接显示设备在解压缩观众视角下的VR图像压缩包后进行显示。
可选地，VR图像处理装置300还包括生成模块305和发送模块306。
生成模块305用于获取所述指定分辨率小于或等于所述第一分辨率阈值的每个用户对应的投影画面，以形成第一数据集合；采用大于所述指定分辨率指定倍数的分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以形成第二数据集合；根据所述第一数据集合和所述第二数据集合，生成可将所述第一数据集合转换为所述第二数据集合的升分辨率模型。
发送模块306用于将生成模块305生成的升分辨率模型发送至每个用户的头显设备。
可选地，指定分辨率对应的像素比例为16:9。
本发明实施例还提供一种VR图像显示装置400，如图5所示，包括接收模块401、输入模块402和显示模块403。
接收模块401，用于接收投影画面，投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，指定分辨率小于或等于第一分辨率阈值。
输入模块402，用于将接收模块401接收的投影画面输入指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面。
显示模块403，用于对输入模块402得到的分辨率升高后的投影画面进行显示。
本实施例中，通过接收由全局VR图像投影至本端视角下得到的投影画面，并将投影画面进行升分辨率后进行显示，使得头显设备能够显示全局VR场景。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (11)
1.一种VR图像处理方法，其特征在于，包括：
将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到所述多用户交互场景对应的虚拟场景中，以获得全局VR图像；
采用指定分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面；
若所述指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据所述指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包；
将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，以供每个用户的头显设备在解压缩各自对应的宏块层级的VR图像压缩包后进行显示；
其中，所述第一分辨率阈值小于或等于所述第二分辨率阈值。
3.根据权利要求2所述的方法，其特征在于，所述在宏块层级压缩每个用户对应的投影画面，以获得每个用户对应的宏块层级的VR图像压缩包，包括：
根据每个用户对应的投影画面所包含的信息量的分布情况，将每个用户对应的投影画面划分为包含信息量不同的至少一个区域；
根据所述至少一个区域中的每个区域包含的信息量，将所述至少一个区域中的每个区域划分为对应数量的宏块；
将每个用户对应的投影画面划分出的宏块分为包括至少一个宏块在内至少一个宏块组；
分别压缩所述至少一个宏块组，以获得每个用户对应的宏块层级的VR图像压缩包。
4.根据权利要求2所述的方法，其特征在于，所述将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备，包括：
采用60千兆赫的频段，将每个用户对应的宏块层级的VR图像压缩包对应传输至每个用户的头显设备。
5.根据权利要求2所述的方法，其特征在于，还包括：
采用指定分辨率，将所述全局VR图像投影至外接显示设备对应的观众视角下，以获得所述观众视角下的投影画面；
若所述指定分辨率小于或等于第一分辨率阈值，直接将所述观众视角下的投影画面传输至外接显示设备，以供所述外接显示设备在根据所述指定分辨率对应的升分辨率模型升高所述观众视角下的投影画面的分辨率后进行显示。
6.根据权利要求5所述的方法，其特征在于，还包括：
若所述指定分辨率大于或等于第二分辨率阈值，在宏块层级压缩所述观众视角下的投影画面，以获得所述观众视角下的VR图像压缩包；
将所述观众视角下的VR图像压缩包传输至所述外接显示设备，以供所述外接显示设备在解压缩所述观众视角下的VR图像压缩包后进行显示。
7.根据权利要求1所述的方法，其特征在于，在所述直接将每个用户对应的投影画面对应传输至每个用户的头显设备之前，还包括：
获取所述指定分辨率小于或等于所述第一分辨率阈值的每个用户对应的投影画面，以形成第一数据集合；
采用大于所述指定分辨率指定倍数的分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以形成第二数据集合；
根据所述第一数据集合和所述第二数据集合，生成可将所述第一数据集合转换为所述第二数据集合的升分辨率模型；
将所述升分辨率模型发送至每个用户的头显设备。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述指定分辨率对应的像素比例为16:9。
9.一种VR图像显示方法，其特征在于，包括：
接收投影画面，所述投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，所述指定分辨率小于或等于第一分辨率阈值；
将所述投影画面输入所述指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面；
对所述分辨率升高后的投影画面进行显示。
10.一种VR图像处理装置，其特征在于，包括:
映射模块，用于将多用户交互场景中每个用户在真实世界中的方位信息和动作信息，均映射到所述多用户交互场景对应的虚拟场景中，以获得全局VR图像；
投影模块，用于采用指定分辨率，将所述全局VR图像投影至每个用户的头显设备的视角下，以获得每个用户对应的投影画面；
传输模块，用于若所述指定分辨率小于或等于第一分辨率阈值，直接将每个用户对应的投影画面对应传输至每个用户的头显设备，以供每个用户的头显设备在根据所述指定分辨率对应的升分辨率模型升高各自对应的投影画面的分辨率后进行显示。
11.一种VR图像显示装置，其特征在于，包括:
接收模块，用于接收投影画面，所述投影画面是采用指定分辨率，由全局VR图像投影至本端视角下得到的，所述指定分辨率小于或等于第一分辨率阈值；
输入模块，用于将所述投影画面输入所述指定分辨率对应的升分辨率模型，以得到分辨率升高后的投影画面；
显示模块，用于对所述分辨率升高后的投影画面进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538887.3A CN107371012A (zh) | 2017-07-04 | 2017-07-04 | 一种vr图像处理和显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538887.3A CN107371012A (zh) | 2017-07-04 | 2017-07-04 | 一种vr图像处理和显示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107371012A true CN107371012A (zh) | 2017-11-21 |
Family
ID=60306167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710538887.3A Pending CN107371012A (zh) | 2017-07-04 | 2017-07-04 | 一种vr图像处理和显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107371012A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108200330A (zh) * | 2017-12-11 | 2018-06-22 | 虚拟现实(深圳)智能科技有限公司 | 双8k图像虚拟现实处理方法及系统 |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN110324705A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种基于头戴显示设备的图像处理方法和系统 |
| CN111275612A (zh) * | 2020-01-17 | 2020-06-12 | 成都库珀区块链科技有限公司 | 一种基于vr技术的k线显示、交互方法及装置 |
| CN112770095A (zh) * | 2021-01-28 | 2021-05-07 | 广州方硅信息技术有限公司 | 全景投影方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
| CN105744357A (zh) * | 2016-02-29 | 2016-07-06 | 哈尔滨超凡视觉科技有限公司 | 一种基于在线分辨率提升的降低网络视频带宽占用方法 |
| CN205460933U (zh) * | 2016-01-21 | 2016-08-17 | 上海维霓文化传播有限公司 | 一种虚拟现实游戏系统 |
| CN106534125A (zh) * | 2016-11-11 | 2017-03-22 | 厦门汇鑫元软件有限公司 | 一种基于局域网实现vr多人交互系统的方法 |
| US20170108929A1 (en) * | 2015-04-28 | 2017-04-20 | Morgan Walker Sinko | System and Method for Full Motion Capture and Haptic Feedback Suite |
-
2017
- 2017-07-04 CN CN201710538887.3A patent/CN107371012A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
| US20170108929A1 (en) * | 2015-04-28 | 2017-04-20 | Morgan Walker Sinko | System and Method for Full Motion Capture and Haptic Feedback Suite |
| CN205460933U (zh) * | 2016-01-21 | 2016-08-17 | 上海维霓文化传播有限公司 | 一种虚拟现实游戏系统 |
| CN105744357A (zh) * | 2016-02-29 | 2016-07-06 | 哈尔滨超凡视觉科技有限公司 | 一种基于在线分辨率提升的降低网络视频带宽占用方法 |
| CN106534125A (zh) * | 2016-11-11 | 2017-03-22 | 厦门汇鑫元软件有限公司 | 一种基于局域网实现vr多人交互系统的方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108200330A (zh) * | 2017-12-11 | 2018-06-22 | 虚拟现实(深圳)智能科技有限公司 | 双8k图像虚拟现实处理方法及系统 |
| CN110324705A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种基于头戴显示设备的图像处理方法和系统 |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN108876897B (zh) * | 2018-04-20 | 2022-10-18 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN111275612A (zh) * | 2020-01-17 | 2020-06-12 | 成都库珀区块链科技有限公司 | 一种基于vr技术的k线显示、交互方法及装置 |
| CN112770095A (zh) * | 2021-01-28 | 2021-05-07 | 广州方硅信息技术有限公司 | 全景投影方法、装置及电子设备 |
| CN112770095B (zh) * | 2021-01-28 | 2023-06-30 | 广州方硅信息技术有限公司 | 全景投影方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107371012A (zh) | 一种vr图像处理和显示方法及装置 | |
| US11381801B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| JP4173477B2 (ja) | リアルタイムレンダリング方法 | |
| Hou et al. | Wireless VR/AR with edge/cloud computing | |
| WO2018077142A1 (zh) | 全景视频的处理方法、装置及系统 | |
| CN108648257A (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
| KR101851338B1 (ko) | 실감형 미디어 영상을 제공하는 장치 | |
| CN104536763A (zh) | 一种模拟现实的网络游戏实现方法 | |
| CN105979224A (zh) | 一种头戴显示器、视频输出设备和视频处理方法、系统 | |
| CN103269423A (zh) | 可拓展式三维显示远程视频通信方法 | |
| CN106178551B (zh) | 一种基于多通道交互的实时渲染互动影院系统及方法 | |
| KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
| CN104581119B (zh) | 一种3d图像的显示方法和一种头戴设备 | |
| CN110087081A (zh) | 视频编码方法、装置、服务器及存储介质 | |
| CN108307197A (zh) | 虚拟现实视频数据的传输方法、播放方法及装置和系统 | |
| US11348252B1 (en) | Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects | |
| CN106604087A (zh) | 一种全景直播的渲染实现方法 | |
| WO2022001865A1 (zh) | 深度图及视频处理、重建方法、装置、设备及存储介质 | |
| CN106791888A (zh) | 基于用户视角的全景图片的传输方法和装置 | |
| CN102780894B (zh) | 一种3d图像的编解码方法 | |
| US11688124B2 (en) | Methods and apparatus rendering images using point clouds representing one or more objects | |
| CN109474819B (zh) | 图像的呈现方法及装置 | |
| JP2022032838A (ja) | 送信装置、受信装置、ネットワークノード、及びプログラム | |
| CN117544808A (zh) | 设备控制方法、存储介质和电子设备 | |
| JPH02298169A (ja) | 画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171121 |
|
| RJ01 | Rejection of invention patent application after publication |