CN112015273B - 虚拟现实系统的数据传输方法及相关装置 - Google Patents

虚拟现实系统的数据传输方法及相关装置 Download PDF

Info

Publication number
CN112015273B
CN112015273B CN202010872960.2A CN202010872960A CN112015273B CN 112015273 B CN112015273 B CN 112015273B CN 202010872960 A CN202010872960 A CN 202010872960A CN 112015273 B CN112015273 B CN 112015273B
Authority
CN
China
Prior art keywords
image
virtual reality
refresh rate
resolution
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010872960.2A
Other languages
English (en)
Other versions
CN112015273A (zh
Inventor
王雪丰
李文宇
苗京花
李茜
王龙辉
刘梓荷
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010872960.2A priority Critical patent/CN112015273B/zh
Publication of CN112015273A publication Critical patent/CN112015273A/zh
Priority to US17/921,292 priority patent/US20230186537A1/en
Priority to PCT/CN2021/104473 priority patent/WO2022042039A1/zh
Application granted granted Critical
Publication of CN112015273B publication Critical patent/CN112015273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开提供了一种虚拟现实系统的数据传输方法及相关装置，该数据传输方法，包括：虚拟现实主机截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像；设定区域为显示区域中的部分区域；虚拟现实主机将第一图像和第二图像按特定顺序传输至虚拟现实设备；虚拟现实设备接收第一图像和第二图像；虚拟现实设备对第二图像进行拉伸，将第一图像与拉伸后的第二图像进行融合，得到待显示图像；虚拟现实设备显示待显示图像。本公开实施例提供的数据传输方法，能够在满足虚拟现实系统的显示需求的基础上，大幅降低传输带宽，提升了用户体验度。

Description

虚拟现实系统的数据传输方法及相关装置
技术领域
本公开涉及显示技术领域，尤指一种虚拟现实系统的数据传输方法及相关装置。
背景技术
虚拟现实(Virtual Reality，VR)技术是最近几年新兴的技术领域。VR显示属于近眼显示领域，为了让用户无法感受到屏幕纱窗效应，达到沉浸式体验，对VR显示屏幕的分辨率和刷新率有较高的要求，这就导致虚拟现实系统中的传输带宽增大的问题。
发明内容
本公开实施提供的虚拟现实系统的数据传输方法，其中，包括：
虚拟现实主机截取待传输图像中设定区域中的图像得到第一图像，对所述待传输图像中显示区域中的图像进行压缩得到第二图像；所述设定区域为所述显示区域中的部分区域；
所述虚拟现实主机将所述第一图像和所述第二图像按特定顺序传输至虚拟现实设备；
所述虚拟现实设备接收所述第一图像和所述第二图像；
所述虚拟现实设备对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
所述虚拟现实设备显示所述待显示图像。
相应地，本公开实施例还提供了一种虚拟现实系统的数据传输方法，其中，包括：
截取待传输图像中设定区域中的图像得到第一图像，对所述待传输图像中显示区域中的图像进行压缩得到第二图像；所述设定区域为所述显示区域中的部分区域；
将所述第一图像和所述第二图像按特定顺序传输至虚拟现实设备。
可选地，在本公开实施例中，所述截取待传输图像中设定区域中的图像得到第一图像，对待传输图像进行压缩得到第二图像，包括：
采用预设的第一分辨率、第一视场角以及第一刷新率，对所述待传输图像的设定区域进行图像采样得到所述第一图像；
采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到所述第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率。
可选地，在本公开实施例中，所述第一刷新率和所述第二刷新率按照以下方式确定：
根据所述虚拟现实设备的刷新率，以及所述虚拟现实设备的姿态信息，确定所述第一图像的所述第一刷新率和所述第二图像的所述第二刷新率。
可选地，在本公开实施例中，所述将所述第一图像和所述第二图像按特定顺序传输至所述虚拟现实设备，包括：
根据所述第一刷新率和所述第二刷新率，对所述第一图像和所述第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将所述图像序列传输至所述虚拟现实设备。
可选地，在本公开实施例中，所述截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像，包括：
在所述第一图像和所述第二图像中分别增加标志位信息；所述标志位信息用于区分所述第一图像和所述第二图像。
相应地，本公开实施例还提供了一种虚拟现实系统的数据传输方法，包括：
接收虚拟现实主机传输的第一图像和第二图像；
对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
显示所述待显示图像。
可选地，在本公开实施例中，所述接收所述第一图像和所述第二图像，包括：
接收所述第一图像和所述第二图像，并根据标志位信息区分所述第一图像和所述第二图像；
将所述第一图像存储在第一存储器中，将所述第二图像存储在第二存储器中。
可选地，在本公开实施例中，所述对所述图像序列中的所述第二图像进行拉伸，将所述图像序列中的所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像，包括：
分别从所述第一存储器和所述第二存储器中获取所述第一图像和所述第二图像；
对所述第二图像进行拉伸，使拉伸后的所述第二图像的分辨率与所述虚拟现实设备的显示分辨率相同；
将所述第一图像与拉伸后的所述第二图像进行融合，以得到所述待显示图像。
相应地，本公开实施例还提供了一种虚拟现实主机，其中，包括：
图像处理模块，用于截取待传输图像中设定区域中的图像得到第一图像，对所述待传输图像中显示区域中的图像进行压缩得到第二图像；所述设定区域为所述显示区域中的部分区域；
传输模块，用于将所述第一图像和所述第二图像按特定顺序传输至所述虚拟现实设备。
可选地，在本公开实施例中，所述图像处理模块，具体用于：采用预设的第一分辨率、第一视场角以及第一刷新率，对所述待传输图像的设定区域进行图像采样得到所述第一图像；采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到所述第二图像；所述第一分辨率与所述第二分辨率相同，所述第一刷新率大于或等于所述第二刷新率。
可选地，在本公开实施例中，所述传输模块，具体用于：根据所述虚拟现实设备的刷新率，以及所述虚拟现实设备的姿态信息，确定所述第一图像的所述第一刷新率和所述第二图像的所述第二刷新率；根据所述第一刷新率和所述第二刷新率，对所述第一图像和所述第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将所述图像序列传输至所述虚拟现实设备。
相应地，本公开实施例还提供了一种虚拟现实设备，其中，包括：
接收模块，用于接收虚拟现实主机传输的第一图像和第二图像；
图像融合模块，用于对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
显示模块，用于显示所述待显示图像。
可选地，在本公开实施例中，所述接收模块，具体用于：接收所述第一图像和所述第二图像，并根据标志位信息区分所述第一图像和所述第二图像；将所述第一图像存储在第一存储器中，将所述第二图像存储在第二存储器中。
可选地，在本公开实施例中，所述图像融合模块，具体用于：分别从所述第一存储器和所述第二存储器中获取所述第一图像和所述第二图像；对所述第二图像进行拉伸，使拉伸后的所述第二图像的分辨率与所述虚拟现实设备的显示分辨率相同；将所述第一图像与拉伸后的所述第二图像进行融合，以得到所述待显示图像。
相应地，本公开实施例还提供了一种虚拟现实系统，其中，包括：上述任一虚拟现实主机，以及上述任一虚拟现实设备。
附图说明
图1为本公开实施例提供的虚拟现实系统的数据传输方法的流程图之一；
图2为本公开实施例提供的虚拟现实系统的数据传输方法的流程图之二；
图3为本公开实施例中待传输图像的示意图；
图4为本公开实施例中第一图像和第二图像的传输顺序示意图之一；
图5为本公开实施例中第一图像和第二图像的传输顺序示意图之二；
图6为虚拟现实设备对第一图像和第二图像进行融合的过程示意图；
图7为本公开实施例提供的虚拟现实系统的数据传输方法的流程图之三；
图8为本公开实施例提供的虚拟现实主机的结构示意图；
图9为本公开实施例提供的虚拟现实设备的结构示意图；
图10为本公开实施例提供的虚拟现实系统的结构示意图。
具体实施方式
针对相关技术中存在的虚拟现实系统中的传输带宽较大的问题，本公开实施例提供了一种虚拟现实系统的数据传输方法及相关装置。
下面结合附图，对本公开实施例提供的虚拟现实系统的数据传输方法及相关装置的具体实施方式进行详细地说明。附图中各部分的大小和形状不反映真实比例，目的只是示意说明本公开内容。
本公开实施例提供了一种虚拟现实系统的数据传输方法，如图1所示，包括：
S101、虚拟现实主机截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像；设定区域为显示区域中的部分区域；
S102、虚拟现实主机将第一图像和第二图像按特定顺序传输至虚拟现实设备；
S103、虚拟现实设备接收第一图像和第二图像；
S104、虚拟现实设备对第二图像进行拉伸，将第一图像与拉伸后的第二图像进行融合，得到待显示图像；
S105、虚拟现实设备显示待显示图像。
本公开实施例提供的虚拟现实系统的数据传输方法，虚拟现实主机通过截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像，并将第一图像和第二图像按特定顺序传输，由于第一图像和第二图像的数据量均小于待传输图像的数据量，因而大幅度减小了传输带宽，并且，虚拟现实设备可以对接收到的第二图像进行拉伸，并将拉伸后的第二图像与接收的第一图像进行融合，得到的待显示图像能够满足虚拟现实系统的显示需求，因此，本公开实施例提供的数据传输方法，能够在满足虚拟现实系统的显示需求的基础上，大幅降低传输带宽，提升了用户体验度。
基于同一发明构思，本公开实施例还提供了一种虚拟现实系统的数据传输方法，如图2所示，可以包括：
S101、截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像；设定区域为显示区域中的部分区域；
S102、将第一图像和第二图像按特定顺序传输至虚拟现实设备。
本公开实施例提供的虚拟现实系统的数据传输方法，虚拟现实主机通过截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像，并将第一图像和第二图像按特定顺序传输，由于第一图像和第二图像的数据量均小于待传输图像的数据量，因而大幅度减小了传输带宽。
本公开实施例中，图2所示的数据传输方法可以在虚拟现实主机侧执行，虚拟现实主机与虚拟现实设备可以采用有线或无线的方式实现通信连接，具体地，虚拟现实主机可以为计算机、手机、平板电脑等具有处理功能的设备。
图3为本公开实施例中待传输图像的示意图，如图3所示，显示区域A的分辨率为m*n，在上述步骤S101中，截取待传输图像中设定区域中的图像，例如截取图3中区域C中的图像，得到分辨率为x*y的第一图像，得到的第一图像的清晰度与待传输图像的区域C中的清晰度相同，因而不会改变得到的第一图像的清晰度，即第一图像仍为高清图像，并且，第一图像的数据量小于待传输图像的数据量。通过对待传输图像中显示区域中的图像进行压缩得到第二图像，由于第二图像是待传输图像压缩得到的，因而第二图像的数据量小于待传输图像的数据量，并且，第二图像的清晰度小于待传输图像的清晰度。
在上述步骤S102中，将第一图像和第二图像按特定顺序传输至虚拟现实设备，也就是说，在传输过程中，第一图像与第二图像不同时传输，例如，可以按照图4或图5所示的顺序进行传输，由于第一图像和第二图像的数据量均小于待传输图像，因而，大幅度降低了传输带宽。
虚拟现实设备接收到第一图像和第二图像后，对第二图像进行拉伸，并将拉伸后的第二图像与第一图像进行融合，得到的待显示图像中，与设定区域对应的区域为清晰度较高的图像，其余区域为清晰度较低的图像。在具体实施时，用户在使用虚拟现实设备时，人眼主要关注屏幕的部分区域，例如屏幕的中心区域，当需要观看周围环境时，用户主要通过转头而不是转动眼球的方式来观看，所以，本公开实施例中得到的待显示图像能够满足图像清晰度要求，并且，可以减少传输带宽，降低图像传输过程中的时延，使用户观看的画面更加流畅，提高了用户体验度。
具体地，本公开实施例提供的上述数据传输方法中，上述步骤S101，可以包括：
参照图3，采用预设的第一分辨率、第一视场角α以及第一刷新率r1，对待传输图像的设定区域C进行图像采样得到第一图像；在具体实施时，上述设定区域C可以为用户观看屏幕时的注视区域，例如，设定区域C可以为显示区域A中的中心区域。
采用预设的第二分辨率、第二视场角β以及第二刷新率r2，对待传输图像的显示区域A进行图像采样得到第二图像；
第一分辨率与第二分辨率相同(例如均为x*y)，第一视场角α小于第二视场角β，第一刷新率r1大于或等于第二刷新率r2。
在采用过程中，结合第一视场角α和第二视场角β，参照图3，第一视场角α可以为用户观看设定区域C的视角，第二视场角β可以为用户观看显示区域A的视角，可以使后续虚拟现实设备融合得到的待显示图像，与用户的观看视角更加契合，能够实现沉浸式体验。由于第一图像对应于用户的注视区域，而第二图像对应于周边区域，因而，第二刷新率r2可以小于第一刷新率r1，以保证用户的注视区域的清晰度较高。
并且，第一图像和第二图像的分辨率相同，可以使传输过程中各图像的分辨率是相同的，保证传输过程的流畅性。举例来说，以显示区域A的分辨率为m*n，第一分辨率为x*y为例，若直接传输待传输图像，则传输带宽为m*n*r，本公开实施例中，传输第一图像和第二图像的传输带宽为x*y*r，其中，r表示虚拟现实设备的刷新率，可见，本公开实施例中的传输带宽明显降低，传输带宽的压缩比例为(m*n)/(x*y)。另外，对第一图像和第二图像的采样分辨率相同，但是对第二图像的采样区域大于第一图像的采样区域，因而，得到的第一图像比第二图像的清晰度更高。
在具体实施时，本公开实施例提供的上述数据传输方法中，上述第一刷新率和第二刷新率可以按照以下方式确定：
根据虚拟现实设备的刷新率，以及虚拟现实设备的姿态信息，确定第一图像的第一刷新率和第二图像的第二刷新率。
在具体实施时，在虚拟现实设备中一般设有陀螺仪等传感器，虚拟现实设备可以通过陀螺仪等传感器获得姿态信息，并根据姿态信息确定虚拟现实设备为运动状态还是静止状态，例如可以设置相应的阈值，姿态信息大于阈值时，表示虚拟现实设备为运动状态，姿态信息小于阈值时，表示虚拟现实设备为静止状态。当虚拟现实设备为运动状态时，由于人眼的动态模糊情况，对于画面的清晰度的敏感度降低，此时，可以降低图像序列中第一图像的比例，即降低第一图像的第一刷新率，例如可以按照图5所示的第一图像Q1与第二图像Q2交替传输的方式进行传输，即第一刷新率可以与第二刷新率相等。当虚拟现实设备为静止状态时，由于人眼对画面清晰度的敏感度上升，即需要提高第一图像的第一刷新率，此时，需要提高图像序列中第一图像的比例，例如可以按照图4所示的连续传输k个第一图像Q1、传输1个第二图像Q2的顺序周期性传输，即第一刷新率大于第二刷新率。
在具体实施时，可以预先设置至少两个传输模式，例如，可以设置两种传输模式，第一传输模式适用于运动状态，其中，第一刷新率等于第二刷新率，第二传输模式适用于静止状态，其中，第一刷新率大于第二刷新率，可以结合虚拟现实设备的刷新率，确定各传输模式中第一刷新率和第二刷新率的具体数值，也可以设置更多传输模式，此处不做限定。在具体实施时，在上述步骤S101中，可以根据确定的第一刷新率对设定区域进行采样得到第一图像，根据第二刷新率对显示区域进行采样得到第二图像，以使最终形成的待显示图像与用户当前状态更加契合。
在具体实施时，本公开实施例提供的上述数据传输方法中，上述步骤S102，可以包括：
根据第一刷新率和第二刷新率，对第一图像和第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将图像序列传输至虚拟现实设备。
在虚拟现实设备的显示过程中，屏幕显示的画面是不断变化的，为了保证虚拟现实设备显示画面的连续性，虚拟现实主机需要持续地向虚拟现实设备传输第一图像和第二图像。具体地，可以根据虚拟现实设备的刷新率，对第一图像和第二图像进行帧排列，其中，第一图像的刷新率与第二图像的刷新率之和，为虚拟现实设备的刷新率，即r＝r1+r2，其中，r表示虚拟现实设备的刷新率，r1表示第一图像的刷新率，r2表示第二图像的刷新率。例如虚拟现实设备的刷新率为90Hz，也就是每秒刷新90次，则可以按照9帧第一图像、1帧第二图像的顺序周期性传输，其中，第一图像的刷新率为81Hz，第二图像的刷新率为9Hz。如图4所示，可以按照连续传输k个第一图像Q1、传输1个第二图像Q2的顺序周期性传输，如图5所示，也可以按照第一图像Q1和第二图像Q2交替传输。
在具体实施时，可以在虚拟现实主机中设置存储器，以存储上述步骤S101中得到的第一图像和第二图像，例如可以设置两个存储器分别存储第一图像和第二图像，并在虚拟现实主机中设置计数器，以虚拟现实设备的刷新率为90Hz，按照9帧第一图像、1帧第二图像的顺序周期性传输为例，虚拟现实主机会控制计数器进行计数，0～8时刻分别读取9帧第一图像的内存地址，并将各第一图像依次传输出去，9时刻读取1帧第二图像的内存地址，并将第二图像传输出去，同时计数器清零，即完成一个周期的图像序列的传输。
在具体实施时，本公开实施例提供的上述数据传输方法中，上述步骤S101，可以包括：
在第一图像和第二图像中分别增加标志位信息；标志位信息用于区分第一图像和第二图像。例如，可以在第一图像和第二图像的第一行前a个数据设置为标志数据，以作为标志信息，也可以将标志位信息设置在其他位置，此处不做限定。并且，第一图像中的标志信息与第二图像中的标志信息不同，因而可以通过标志信息区分第一图像和第二图像。
通过在第一图像和第二图像中增加标志位信息，虚拟现实设备接收到图像序列后，可以通过标志位信息识别第一图像和第二图像，便于后续对第一图像和第二图像进行处理。并且，在具体实施时，可以在虚拟现实设备中设置第一存储器和第二存储器，虚拟现实设备识别图像序列中的各图像后，将第一图像存储在第一存储器中，将第二图像存储在第二存储器中，因而，在后续处理过程中，可以按照相应的顺序在第一存储器和第二存储器中分别获取第一图像和第二图像，从而减小后续处理过程中的计算量，避免遗漏第一图像或第二图像。
并且，通过在第一图像和第二图像中设置标志位信息，在第一存储器和第二存储器中存入新一帧画面的图像，则第一存储器和第二存储器可以将前一帧画面的图像舍弃，使第一存储器和第二存储器中存储的第一图像和第二图像为当前帧需要的图像，这样，可以直接在第一存储器和第二存储器中获取第一图像和第二图像，无需考虑图像帧的顺序，以减小数据计算量。
图6为虚拟现实设备对第一图像和第二图像进行融合的过程示意图，如图6所示，虚拟现实设备分别从第一存储器和第二存储器中获取第一图像Q1和第二图像Q2，如图中箭头T1所示的过程，对第二图像Q2进行拉伸，使拉伸后的第二图像Q2的分辨率与虚拟现实设备的显示分辨率相同，例如图中将第二图像Q2的分辨率从x*y拉伸为m*n，如图中箭头T2所示的过程，将第一图像Q1与拉伸后的第二图像Q2进行融合，将第一图像Q1替代拉伸后的第二图像Q2中虚线框所示的位置处，即将第一图像Q1设置在用户的注视区域中，经融合得到分辨率为m*n的待显示图像。此外，可以通过高清融合算法对待显示图像进行处理，以模糊第一图像与第二图像之间的界限。
基于同一发明构思，本公开实施例还提供了一种虚拟现实系统的数据传输方法，如图7所示，可以包括：
S201、接收虚拟现实主机传输的第一图像和第二图像；
S202、对第二图像进行拉伸，将第一图像与拉伸后的第二图像进行融合，得到待显示图像；
S203、显示待显示图像。
本公开实施例提供的虚拟显示系统的数据传输方法，接收到的第一图像为虚拟现实主机截取待传输图像中设定区域中的图像得到的，接收到的第二图像为虚拟现实主机对待传输图像中显示区域中的图像进行压缩得到的，因而，第一图像和第二图像的数据量均小于待传输图像的数据量，因而大幅度减小了传输带宽。并且，通过对第二图像进行拉伸，并将拉伸后的第二图像与第一图像进行融合，得到的待显示图像能够满足虚拟现实系统的显示需求，因此，本公开实施例提供的显示方法，能够在满足虚拟现实系统的显示需求的基础上，大幅降低传输带宽，提升了用户体验度。
本公开实施例中，图7所示的数据传输方法可以在虚拟现实设备侧执行。
可选地，本公开实施例提供的上述数据传输方法中，上述步骤S201，可以包括：
接收第一图像和第二图像，并根据标志位信息区分第一图像和第二图像；
将第一图像存储在第一存储器中，将第二图像存储在第二存储器中。
由于第一图像和第二图像中设有标志位信息，虚拟现实设备接收到第一图像和第二图像后，可以通过标志位信息识别第一图像和第二图像，便于后续对第一图像和第二图像进行处理。并且，在具体实施时，可以在虚拟现实设备中设置第一存储器和第二存储器，虚拟现实设备识别图像序列中的各图像后，将第一图像存储在第一存储器中，将第二图像存储在第二存储器中，因而，在后续处理过程中，可以按照相应的顺序在第一存储器和第二存储器中分别获取第一图像和第二图像，从而减小后续处理过程中的计算量，避免遗漏第一图像或第二图像。
在具体实施时，本公开实施例提供的上述数据传输方法中，上述步骤S202，可以包括：
分别从第一存储器和第二存储器中获取第一图像和第二图像；
参照图6，如图中箭头T1所示的过程，对第二图像Q2进行拉伸，使拉伸后的第二图像Q2的分辨率与虚拟现实设备的显示分辨率相同，例如图中将第二图像Q2的分辨率从x*y拉伸为m*n；
如图中箭头T2所示的过程，将第一图像Q1与拉伸后的第二图像Q2进行融合，以得到待显示图像，如图中将第一图像Q1替代拉伸后的第二图像Q2中虚线框所示的位置处，即将第一图像Q1设置在用户的注视区域中，经融合得到分辨率为m*n的待显示图像。
此外，可以通过高清融合算法对待显示图像进行处理，以模糊第一图像与第二图像之间的界限，具体地，可以采用以下几种方式，对待显示图像进行处理：
方式一：加权平均：比较第一图像与第二图像之间的界限两边的像素值，对界限两边的像素值进行加权平均。
方式二：边缘扩散：将第一图像的像素值向外复用，使第一图像和第二图像之间的界限向外延伸，从而使第一图像和第二图像的边界在人眼的注视区域外侧，使人眼的注视区域看不到界限，并且人眼的余光看不清界限。
方式三：渐变模糊；对第一图像靠近边缘的地方，进行渐变模糊处理，减小界限两侧的清晰度差异，使第一图像和第二图像在界限处的融合效果更好，人眼在观看时感觉不到界限的存在。
基于同一发明构思，本公开实施例还提供了一种虚拟现实主机，由于该虚拟现实主机解决问题的原理与上述数据传输方法相似，因此该虚拟现实主机的实施可以参见上述数据传输方法的实施，重复之处不再赘述。
图8为本公开实施例提供的虚拟现实主机的结构示意图，如图8所示，本公开实施例中的虚拟现实主机30，可以包括：
图像处理模块301，用于截取待传输图像中设定区域中的图像得到第一图像，对待传输图像中显示区域中的图像进行压缩得到第二图像；设定区域为显示区域中的部分区域；
传输模块302，用于将第一图像和第二图像按特定顺序传输至虚拟现实设备。
可选地，本公开实施例提供的上述虚拟现实主机中，图像处理模块301，具体用于：采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到第一图像；采用预设的第二分辨率、第二视场角以及第二刷新率，对待传输图像的显示区域进行图像采样得到第二图像；第一分辨率与第二分辨率相同，第一刷新率大于或等于第二刷新率。
可选地，本公开实施例提供的上述虚拟现实主机中，传输模块302，具体用于：根据虚拟现实设备的刷新率，以及虚拟现实设备的姿态信息，确定第一图像的第一刷新率和第二图像的第二刷新率；根据第一刷新率和第二刷新率，对第一图像和第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将图像序列传输至虚拟现实设备。
可选地，本公开实施例提供的上述虚拟现实主机中，图像处理模块301，还用于：第一图像和第二图像中分别增加标志位信息；标志位信息用于区分第一图像和第二图像。
基于同一发明构思，本公开实施例还提供了一种虚拟现实设备，由于该虚拟现实设备解决问题的原理与上述数据传输方法相似，因此该虚拟现实设备的实施可以参见上述数据传输方法的实施，重复之处不再赘述。
图9为本公开实施例提供的虚拟现实设备的结构示意图，如图9所示，本公开实施例提供的虚拟现实设备40，可以包括：
接收模块401，用于接收虚拟现实主机传输的第一图像和第二图像；
图像融合模块402，用于对第二图像进行拉伸，将第一图像与拉伸后的第二图像进行融合，得到待显示图像；
显示模块403，用于显示待显示图像。
可选地，本公开实施例提供的上述虚拟现实设备中，接收模块401，具体用于：接收第一图像和第二图像，并根据标志位信息区分第一图像和第二图像；将第一图像存储在第一存储器中，将第二图像存储在第二存储器中。
可选地，本公开实施例提供的上述虚拟现实设备中，图像融合模块402，具体用于：分别从第一存储器和第二存储器中获取第一图像和第二图像；对第二图像进行拉伸，使拉伸后的第二图像的分辨率与虚拟现实设备的显示分辨率相同；将第一图像与拉伸后的第二图像进行融合，以得到待显示图像。
基于同一发明构思，本公开实施例还提供了一种虚拟现实系统，由于该虚拟现实系统解决问题的原理与上述虚拟现实主机和虚拟现实设备相似，因此该虚拟现实系统的实施可以参见上述虚拟现实主机和虚拟现实设备的实施，重复之处不再赘述。
图10为本公开实施例提供的虚拟现实系统的结构示意图，如图10所示，本公开实施例提供的虚拟现实系统，可以包括：上述任一虚拟现实主机30，以及上述任一虚拟现实设备40。
本公开实施例提供的虚拟现实系统的数据传输方法及相关装置，通过截取待传输图像中设定区域中的图像得到第一图像，并对待传输图像中显示区域中的图像进行压缩得到第二图像，并将第一图像和第二图像按特定顺序传输，由于第一图像和第二图像的数据量均小于待传输图像的数据量，因而大幅度减小了传输带宽，并且，虚拟现实设备可以对接收到的第二图像进行拉伸，并将拉伸后的第二图像与接收的第一图像进行融合，得到的待显示图像能够满足虚拟现实系统的显示需求，因此，本公开实施例提供的数据传输方法，能够在满足虚拟现实系统的显示需求的基础上，大幅降低传输带宽，提升了用户体验度。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (14)

1.一种虚拟显示系统的数据传输方法，其中，包括：
虚拟现实主机采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到第一图像；
所述虚拟现实主机采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率；所述设定区域为所述显示区域中的部分区域；
所述虚拟现实主机将所述第一图像和所述第二图像按特定顺序传输至虚拟现实设备；
所述虚拟现实设备接收所述第一图像和所述第二图像；
所述虚拟现实设备对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
所述虚拟现实设备显示所述待显示图像。
2.如权利要求1所述的数据传输方法，其中，截取待传输图像中设定区域中的图像得到所述第一图像，对待传输图像中显示区域中的图像进行压缩得到所述第二图像，包括：
在所述第一图像和所述第二图像中分别增加标志位信息；所述标志位信息用于区分所述第一图像和所述第二图像。
3.一种虚拟现实系统的数据传输方法，其中，包括：
采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到第一图像；
采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率；所述设定区域为所述显示区域中的部分区域；
将所述第一图像和所述第二图像按特定顺序传输至虚拟现实设备。
4.如权利要求3所述的数据传输方法，其中，所述第一刷新率和所述第二刷新率按照以下方式确定：
根据所述虚拟现实设备的刷新率，以及所述虚拟现实设备的姿态信息，确定所述第一图像的所述第一刷新率和所述第二图像的所述第二刷新率。
5.如权利要求3所述的数据传输方法，其中，所述将所述第一图像和所述第二图像按特定顺序传输至所述虚拟现实设备，包括：
根据所述第一刷新率和所述第二刷新率，对所述第一图像和所述第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将所述图像序列传输至所述虚拟现实设备。
6.一种虚拟现实系统的数据传输方法，包括：
接收虚拟现实主机传输的第一图像和第二图像，其中，所述第一图像和所述第二图像是所述虚拟现实主机采用如下方式获得的：
采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到所述第一图像；
采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到所述第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率；所述设定区域为所述显示区域中的部分区域；
对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
显示所述待显示图像。
7.如权利要求6所述的数据传输方法，其中，所述接收所述第一图像和所述第二图像，包括：
接收所述第一图像和所述第二图像，并根据标志位信息区分所述第一图像和所述第二图像；
将所述第一图像存储在第一存储器中，将所述第二图像存储在第二存储器中。
8.如权利要求7所述的数据传输方法，其中，所述对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像，包括：
分别从所述第一存储器和所述第二存储器中获取所述第一图像和所述第二图像；
对所述第二图像进行拉伸，使拉伸后的所述第二图像的分辨率与虚拟现实设备的显示分辨率相同；
将所述第一图像与拉伸后的所述第二图像进行融合，以得到所述待显示图像。
9.一种虚拟现实主机，其中，包括：
图像处理模块，用于采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到第一图像；
采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率；所述设定区域为所述显示区域中的部分区域；
传输模块，用于将所述第一图像和所述第二图像按特定顺序传输至虚拟现实设备。
10.如权利要求9所述的虚拟现实主机，其中，所述传输模块，具体用于：根据所述虚拟现实设备的刷新率，以及所述虚拟现实设备的姿态信息，确定所述第一图像的所述第一刷新率和所述第二图像的所述第二刷新率；根据所述第一刷新率和所述第二刷新率，对所述第一图像和所述第二图像进行帧排列，得到第一图像和第二图像组成的图像序列，并将所述图像序列传输至所述虚拟现实设备。
11.一种虚拟现实设备，其中，包括：
接收模块，用于接收虚拟现实主机传输的第一图像和第二图像，其中，所述第一图像和所述第二图像是虚拟现实主机采用如下方式获得的：
采用预设的第一分辨率、第一视场角以及第一刷新率，对待传输图像的设定区域进行图像采样得到所述第一图像；
采用预设的第二分辨率、第二视场角以及第二刷新率，对所述待传输图像的显示区域进行图像采样得到所述第二图像；
所述第一分辨率与所述第二分辨率相同，所述第一视场角小于所述第二视场角，所述第一刷新率大于或等于所述第二刷新率；所述设定区域为所述显示区域中的部分区域；
图像融合模块，用于对所述第二图像进行拉伸，将所述第一图像与拉伸后的所述第二图像进行融合，得到待显示图像；
显示模块，用于显示所述待显示图像。
12.如权利要求11所述的虚拟现实设备，其中，所述接收模块，具体用于：接收所述第一图像和所述第二图像，并根据标志位信息区分所述第一图像和所述第二图像；将所述第一图像存储在第一存储器中，将所述第二图像存储在第二存储器中。
13.如权利要求12所述的虚拟现实设备，其中，所述图像融合模块，具体用于：分别从所述第一存储器和所述第二存储器中获取所述第一图像和所述第二图像；对所述第二图像进行拉伸，使拉伸后的所述第二图像的分辨率与所述虚拟现实设备的显示分辨率相同；将所述第一图像与拉伸后的所述第二图像进行融合，以得到所述待显示图像。
14.一种虚拟现实系统，其中，包括：如权利要求9～10任一项所述的虚拟现实主机，以及如权利要求11～13任一项所述的虚拟现实设备。
CN202010872960.2A 2020-08-26 2020-08-26 虚拟现实系统的数据传输方法及相关装置 Active CN112015273B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010872960.2A CN112015273B (zh) 2020-08-26 2020-08-26 虚拟现实系统的数据传输方法及相关装置
US17/921,292 US20230186537A1 (en) 2020-08-26 2021-07-05 Data transmission method and related device for virtual reality system
PCT/CN2021/104473 WO2022042039A1 (zh) 2020-08-26 2021-07-05 虚拟现实系统的数据传输方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010872960.2A CN112015273B (zh) 2020-08-26 2020-08-26 虚拟现实系统的数据传输方法及相关装置

Publications (2)

Publication Number Publication Date
CN112015273A CN112015273A (zh) 2020-12-01
CN112015273B true CN112015273B (zh) 2024-05-24

Family

ID=73502538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010872960.2A Active CN112015273B (zh) 2020-08-26 2020-08-26 虚拟现实系统的数据传输方法及相关装置

Country Status (3)

Country Link
US (1) US20230186537A1 (zh)
CN (1) CN112015273B (zh)
WO (1) WO2022042039A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015273B (zh) * 2020-08-26 2024-05-24 京东方科技集团股份有限公司 虚拟现实系统的数据传输方法及相关装置
CN113066431B (zh) * 2021-03-09 2022-03-18 昀光微电子（上海）有限公司 一种数据传输设备、方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065197A (zh) * 2017-06-20 2017-08-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN110913199A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法
CN110913198A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
WO2020141344A2 (en) * 2018-07-20 2020-07-09 Tobii Ab Distributed foveated rendering based on user gaze
CN112015273B (zh) * 2020-08-26 2024-05-24 京东方科技集团股份有限公司 虚拟现实系统的数据传输方法及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065197A (zh) * 2017-06-20 2017-08-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN110913199A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法
CN110913198A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法

Also Published As

Publication number Publication date
WO2022042039A1 (zh) 2022-03-03
US20230186537A1 (en) 2023-06-15
CN112015273A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112703464B (zh) 基于用户注视的分配式注视点渲染
CA3043204C (en) Apparatus and method for a dynamic "region of interest" in a display system
US10855946B2 (en) Semiconductor integrated circuit, display device provided with same, and control method
CN107742512B (zh) 一种显示驱动电路、其驱动方法及显示装置
CN112015273B (zh) 虚拟现实系统的数据传输方法及相关装置
US10495903B2 (en) Display screen, glasses, display system and playing method
US20200133607A1 (en) Method for processing display data
US11373337B2 (en) Image processing method of virtual reality and apparatus thereof
CN111225150A (zh) 插帧处理方法及相关产品
CN112887646B (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
CN111711811B (zh) Vr图像处理方法、装置、系统、vr设备及存储介质
WO2022166712A1 (zh) 图像的显示方法、装置、可读介质和电子设备
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
WO2022021991A1 (zh) 图像压缩方法及装置、图像显示方法及装置和介质
JP2023090721A (ja) 画像表示装置、画像表示用プログラム及び画像表示方法
US11715425B2 (en) Display method, display device, display system and storage medium
US11748956B2 (en) Device and method for foveated rendering
US11800079B2 (en) Image processing method, image display method and image display system
US10440345B2 (en) Display control methods and apparatuses
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
US20240185380A1 (en) Methods to improve the perceptual quality of foveated rendered images
WO2023050584A1 (zh) 图像显示方法、显示终端及可读存储介质
CN118037557A (zh) 一种图像数据的处理方法及相关设备
CN115166975A (zh) 亮度动态调节方法、装置、终端及存储介质
EP3598271A1 (en) Method and device for disconnecting user's attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant