CN110460831A - 显示方法、装置、设备及计算机可读存储介质 - Google Patents

显示方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110460831A
CN110460831A CN201910779058.3A CN201910779058A CN110460831A CN 110460831 A CN110460831 A CN 110460831A CN 201910779058 A CN201910779058 A CN 201910779058A CN 110460831 A CN110460831 A CN 110460831A
Authority
CN
China
Prior art keywords
watching area
image
dynamic object
display
watching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910779058.3A
Other languages
English (en)
Other versions
CN110460831B (zh
Inventor
李治富
鄢名扬
苗京花
孙玉坤
李文宇
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910779058.3A priority Critical patent/CN110460831B/zh
Publication of CN110460831A publication Critical patent/CN110460831A/zh
Priority to US16/872,545 priority patent/US11263767B2/en
Application granted granted Critical
Publication of CN110460831B publication Critical patent/CN110460831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种显示方法、装置、设备及计算机可读存储介质，该方法包括获取人眼信息，根据人眼信息确定显示设备中的注视区域和非注视区域；根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像；将注视区域的图像和非注视区域的图像合并，得到合并图像并在显示设备上显示。本申请提供的显示方法根据人眼信息划分出显示设备中的注视区域和非注视区域，通过对注视区域中动态对象的确定，以及动态对象的动作预测，能够根据对动态对象的动作预测，确定注视区域待显示的内容，消除或避免动态对象在场景移动时出现重影，保证动态画面的展示清晰度，提高设备的显示性能。

Description

显示方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及显示技术领域，具体而言，本申请涉及一种显示方法、装置、设备及计算机可读存储介质。
背景技术
VR(Virtual Reality，虚拟现实)技术，是20世纪发展起来的一项全新的三维显示技术，其基本实现方式是计算机模拟虚拟环境，从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。然而，在VR当中，进行图像渲染对于设备的要求很高，既要求渲染能力强大，又要求设备体积小，处理能力强，因此带来成本奇高的问题，严重影响VR技术的普及。
通常情况下，一个VR的渲染流程包括，首先是传感器采集运动输入数据，对采集到的数据进行过滤并通过线缆传输到主机；游戏引擎根据获取的输入数据更新逻辑和渲染视口，并提交到驱动并由驱动发送到显卡进行渲染，把渲染的结果提交到屏幕，对像素进行颜色的切换，然后用户在屏幕上看到相应的画面。这一过程中，存在着MTP Latency(Motion-To-Photon Latency，运动的光子延迟)，指的是从运动开始到相应运动画面显示到屏幕上所花的时间，也就是VR的渲染流程花费的时间，为了减少画面拖影的程度，需要采取措施降低MTP Latency。
为了减少MTP Latency，现有技术中存在一种ATW(Asynchronous Time Wrap，异步时间扭曲)方法，对于场景中的静态物体，采用ATW会有较好的显示效果，而对于场景中的动画或者移动的物体会引起一个新的问题，形成动态对象的重影，影响动态画面的展示清晰度。
发明内容
基于此，为解决上述提到的至少一个问题，本申请提供了一种显示方法、装置、设备及计算机可读存储介质。
第一方面，本申请提供了一种显示方法，包括：
获取人眼信息，根据人眼信息确定显示设备中的注视区域和非注视区域；
根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像；
将注视区域的图像和非注视区域的图像合并，得到合并图像并在显示设备上显示。
结合第一方面，在第一方面的某些实现方式中，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像，包括：
以第一渲染线程渲染注视区域得到注视区域的图像，以第二渲染线程渲染非注视区域得到非注视区域的图像。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，包括：
根据动态对象的移动参数中的初始位置和移动速度，确定出动态对象的预测位置；
确定出待显示的内容中位于预测位置的动态对象、以及除了预测位置之外的其它对象。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，通过下述方式预先确定移动速度：
确定注视区域的相邻两帧图像内动态对象的像素位置差值；
根据像素位置差值和相邻两帧图像的间隔时间，确定动态对象的移动速度。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，还包括：
根据动态对象的属性参数，预测动态对象移动后的空白区域；
根据空白区域周围的像素的特征值，确定空白区域中每个像素的特征值；
根据空白区域中每个像素的特征值，确定空白区域的待显示内容。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，根据空白区域周围的像素的特征值，确定空白区域中每个像素的特征值，包括：
对于空白区域中的每个边缘像素，从空白区域的周围区域中择取临近边缘像素的多个像素；
根据移动速度的方向，对临近边缘像素的多个像素的特征值进行非线性拟合，得到临近边缘像素的多个像素的特征值加权平均值，作为边缘像素的特征值；
对于空白区域中的每个非边缘像素，根据移动速度的方向，对临近非边缘像素的多个像素的特征值进行非线性拟合，得到临近非边缘像素的多个像素的特征值加权平均值，作为非边缘像素的特征值。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，将注视区域的图像和非注视区域的图像合并，得到合并图像之后，且在显示设备上显示之前，还包括：
获取显示设备的姿态信息；
根据姿态信息、动态对象的移动速度和动态对象的属性参数，确定动态对象的姿态数据；
对确定动态对象的姿态数据后的合并图像进行时间扭曲处理，获得时间扭曲处理后的合并图像。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，根据人眼信息确定显示设备中的注视区域和非注视区域，包括：
分别获取双眼的眼轮廓中心点和瞳孔中心点；
根据眼轮廓中心点和瞳孔中心点，确定双眼落在显示设备上的注视焦点；
根据注视焦点确定预设范围内的区域为注视区域，注视区之外的区域为非注视区域。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，获取人眼信息的步骤包括：
接收由双眼反射得到的红外光波，获取到双眼图像；
将双眼图像转化为黑白双眼图像；
对黑白双眼图像进行眼轮廓识别和瞳孔识别，确定出双眼的眼轮廓中心点和瞳孔中心点。
第二方面，本申请提供了一种显示装置，包括：
信息获取模块，用于获取人眼信息，根据人眼信息确定显示设备中的注视区域和非注视区域；
成像模块，用于根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像；
合并模块，用于将注视区域的图像和非注视区域的图像合并，得到合并图像并在显示设备上显示。
第三方面，本申请提供了一种显示设备，其包括：存储器和处理器，存储器存储有计算机程序，计算机程序由处理器执行以实现本申请第一方面提供的显示方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，存储有计算机程序，计算机程序被处理器执行时实现本申请第一方面提供的显示方法。
本申请提供的技术方案带来的有益效果是：
本申请提供的显示方法根据人眼信息划分出显示设备中的注视区域和非注视区域，通过对注视区域中动态对象的确定，以及动态对象的动作预测，能够根据对动态对象的动作预测，确定注视区域待显示的内容，消除或避免动态对象在场景移动时出现重影，保证动态画面的展示清晰度，提高VR设备的显示性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种显示方法的流程示意图；
图2为本申请实施例提供的注视区域和非注视区域确定方法流程示意图；
图3为本申请实施例提供的双眼的眼轮廓中心点和瞳孔中心点的结构示意图；
图4为本申请实施例提供的注视区域和非注视区域划分示意图；
图5为本申请实施例提供的注视区域动态对象预测及空白区域补偿示意图；
图6为本申请实施例提供的空白区域的像素的特征值获取原理图；
图7为本申请实施例提供的S300中对合并图像进行时间扭曲处理的具体方法流程图；
图8为本申请实施例提供的一种异步时间扭曲方法原理示意图；
图9为本申请提供的一种具体实施方式中显示方法流程示意图；
图10为本申请实施例提供的一种显示装置的结构示意图；
图11为本申请实施例提供的一种显示设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
一个VR的渲染流程大致包括以下几个方面：
(1)传感器采集运动输入数据；
(2)对采集到的数据进行过滤并通过线缆传输到主机；
(3)根据获取的输入数据更新逻辑和渲染视口；
(4)提交到驱动并由驱动发送到显卡进行渲染；
(5)把渲染的结果提交到屏幕,通过屏幕上的像素进行颜色的切换；
(6)用户在屏幕上看到相应的画面。
渲染是指用软件从模型生成图像的过程，具体而言是将三维场景中的模型，按照设定好的环境、灯光、材质及渲染参数，二维投影成数字图像的过程。在VR设备中，从用户运动开始到相应画面显示到屏幕上所花费的时间也即上述的VR的渲染流程时间，通常称为VR中的延迟，VR中的延迟越小，产生的画面拖影越少，VR使用者的使用感受越好，VR中的延迟能够缩小，但无法从根本上避免。
为解决画面拖影或画面重影的问题，本申请提供了一种显示方法、装置、设备及计算机可读存储介质。
第一方面，本申请提供了一种显示方法，如图1所示，包括下列步骤：
S100：获取人眼信息，根据人眼信息确定显示设备中的注视区域和非注视区域。
S200：根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像。
S300：将注视区域的图像和非注视区域的图像合并，得到合并图像并在显示设备上显示。
本申请提供的上述显示方法根据人眼信息划分出显示设备中的注视区域和非注视区域，通过对注视区域中动态对象的准确识别和确定，能够根据获取到动态对象的移动参数，对动态对象的动作进行预测，预测得到一定时间内动态对象的位置，从而获取更精确的注视区域待显示的内容，消除或避免动态对象在场景移动时出现重影，保证动态画面的展示清晰度，提高VR设备的显示性能。
结合第一方面和上述实现方式，在第一方面的某些可行的实现方式中，根据人眼信息确定显示设备中的注视区域和非注视区域，如图2所示，具体过程包括S110～S130：
S110：分别获取双眼的眼轮廓中心点和瞳孔中心点。
在某些具体的实现方式中，获取双眼的眼轮廓中心点和瞳孔中心点的步骤包括：
接收由双眼反射得到的红外光波，获取到双眼图像；
将双眼图像转化为黑白双眼图像；
对黑白双眼图像进行眼轮廓识别和瞳孔识别，确定出双眼的眼轮廓中心点和瞳孔中心点。
显示设备中含有两个红外发射器和一个红外摄像头，两个红外摄像头分别在左右眼位置发射红外光波，照射到眼睛上被反射的红外光波进入到红外摄像机当中，被红外摄像机接收，通过图像识别技术得到眼睛的图像，眼睛的图像包括眼轮廓以及眼轮廓中的瞳孔。如图3所示，瞳孔中心点分别为L1和R1，轮廓中心点分别为L2和R2。
S120：根据眼轮廓中心点和瞳孔中心点，确定双眼落在显示设备上的注视焦点。
S130：根据注视焦点确定预设范围内的区域为注视区域，注视区域之外的区域为非注视区域。
如图4所示，P为显示设备中人眼能够观察到的视界中的某一点，L1与L2的间距为图3中的xl，R1与R2的间距为图3中的xr，左眼位置ol，右眼位置or。以P为中心，半径r做圆(图中未示出)，该圆所包含的区域作为注视区域，注视区域外的即为非注视区域。半径r一般取显示设备中屏幕高度的四分之一，对注视区域进行高清渲染，即对该区域内的每个像素都会进行渲染，而该非注视区域中的图像则进行模糊渲染，即择取一定比例的像素进行渲染。
结合第一方面，在第一方面的某些可行的实现方式中，S200中生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像，具体包括：以第一渲染线程渲染注视区域得到注视区域的图像，以第二渲染线程渲染非注视区域得到非注视区域的图像。
VR设备中展示的图像内容并非全部都需要进行高质量显示，因为人眼观察图像总会有存在一个焦点区域，位于焦点区域内的图像，也即对注视区域内的图像才需要进行高质量显示。对注视区域和非注视区域分开进行独立渲染，能够减少VR设备中显卡(主要指GPU)的渲染压力，提高渲染效率，也能够降低对于显卡的性能要求，削减设备成本。渲染过程中，第一渲染线程和第二渲染线程同时工作，由于工作量存在差别，渲染过程所需时间可能是不一样的，为确保对渲染后的图像进行合并，必须保证两个渲染线程同时完成，具体方式可能是，渲染线程完成渲染后发出信标，渲染程序的下一个程序只有在收到两个信标的情况下才会开始，从而确保两个渲染线程同时开始执行下一程序。
结合第一方面和上述实现方式，在第一方面的某些可行的实现方式中，S200中根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，包括：
根据动态对象的移动参数中的初始位置和移动速度，确定出动态对象的预测位置。
当获知动态对象的初始位置和移动速度，经过预定时间，即可得知动态对象即将出现的位置，即预测位置。
确定出待显示的内容中位于预测位置的动态对象、以及除了预测位置之外的其它对象。
图像中的动态对象总是具有一定的形状尺寸，根据预测位置，就能够确定出预测位置处的动态对象，在预测位置处显示动态对象，相应地，根据同样的原理以及图像的连续性，也就能够预测并显示出预测位置之外的其它对象，这些对象包括其它动态对象和静态对象。
结合第一方面和上述实现方式，在第一方面的某些具体的实现方式中，S200中动态对象的移动参数中的移动速度采用下列方法确定：
确定注视区域的相邻两帧图像内动态对象的像素位置差值；
根据像素位置差值和相邻两帧图像的间隔时间，确定动态对象的移动速度。
对注视区域的图像进行动态对象的识别，动态图像或视频的实现是一系列图像帧以预定速率连续播放产生的，由于动态对象处于运动当中，因此相邻两帧注视区域中对应的动态对象的像素位置必然存在区别，作差后即是动态对象在相邻两帧的时间内的位移，通过该位移除以相邻两帧的间隔时间，就能够获得该动态对象的移动速度。
结合第一方面和上述实现方式，在第一方面的某些可行的实现方式中，S200中根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，还包括：
根据动态对象的属性参数，预测动态对象移动后的空白区域。
根据空白区域周围的像素的特征值，确定空白区域中每个像素的特征值。
根据空白区域中每个像素的特征值，确定空白区域的待显示内容。
注视区域中动态对象如果产生拖影，用户会很容易感受到，而非注视区域中运动物体无论是否产生拖影，用户都不会注意到，因此尽量避免动态对象在注视区域当中产生拖影，而如果仍然出现拖影，则应采取措施消除。如图5所示，显示设备的人眼视界中非注视区域包含云朵和飞机，而注视区域内是在空中移动的足球，足球由位置S1，移动到位置S2，足球的移动速度为v，拖影通常出现在动态对象移动之后留存的位置上，也即位置S1处，本申请中将动态对象移动后留存的区域称为空白区域，实际上，该空白区域只是不存在移动之后的动态对象，并非完全空白，处于白色或透明的状态，仍然具有背景图像。
动态对象的属性参数具体包括动态对象的形状、动态对象的尺寸大小等能够描述动态对象的数据，根据动态对象的属性参数，就能够确定空白区域的大小。对于空白区域，需要根据空白区域周围的像素来进行估计。
在某些具体的实现方式中，根据空白区域周围的像素的特征值，确定空白区域中每个像素的特征值，包括：
对于空白区域中的每个边缘像素，从空白区域的周围区域中择取临近边缘像素的多个像素；
根据移动速度的方向，对临近边缘像素的多个像素的特征值进行非线性拟合，得到临近边缘像素的多个像素的特征值加权平均值，作为边缘像素的特征值；
对于空白区域中的每个非边缘像素，根据移动速度的方向，对临近非边缘像素的多个像素的特征值进行非线性拟合，得到临近非边缘像素的多个像素的特征值加权平均值，作为非边缘像素的特征值。
例如，如图6所示，以空白区域对应的像素为中心，择取临近中心的边缘像素中的八个像素的特征值做沿着动态对象移动方向(图中v的方向)的非线性拟合，具体拟合公式为：
M＝(m1+m4+m6)·1/6+(m2+m7)·1/3+(m3+m5+m8)·1/2；
式中M为空白区域的像素的特征值，mi(i＝1,2，…，8)为边缘像素的特征值。
根据上述方法，获取到空白区域的像素的特征值，从而确定空白区域的待显示内容，利用空白区域的待显示内容覆盖该空白区域实际显示的内容，即可消除拖影。
结合第一方面和上述实现方式，在第一方面的某些实现方式中，如图7所示，S300中将注视区域的图像和非注视区域的图像合并，得到合并图像之后，且在显示设备上显示之前，还包括：
S310：获取显示设备的姿态信息。
S320：根据姿态信息、动态对象的移动速度和动态对象的属性参数，确定动态对象的姿态数据。
S330：对确定动态对象的姿态数据后的合并图像进行时间扭曲处理，获得时间扭曲处理后的合并图像。
VR设备上的渲染引擎可以具体是GPU(Graphics Processing Unit，图形处理器)、FPGA或专用的AI芯片等，以GPU为例，为了保证GPU的渲染频率和显示屏的刷新频率匹配，需要一个同步信号，目前一般取屏幕的刷新频率作为同步信号，该同步信号称为Vsync(垂直同步)信号。如图8所示，当Vsync信号到来时，显示设备中的追踪器(Tracker)开始采集信号，并传给CPU(Central Processing Unit，中央处理器)进行处理。CPU将处理后的数据交给GPU进行渲染；GPU渲染完后等待下一个Vsync信号到来，将渲染后的图像投射到屏幕上进行显示，例如图中的Display1或Display2，即VR的屏幕开始刷新，显示新的画面。由此可见，VR中的延迟大约为两个Vsync信号间隔。假设设备刷新率90Hz，则VR中的延迟大约等于(1000/90)*2＝22.22ms。
为减少上述延迟，采取了一种TW(TimeWrap，时间扭曲)的方法，时间扭曲是一种图像帧修正的技术，在实际使用虚拟现实设备时，由于用户的头部运动过快，而造成场景渲染的延迟，即头已经转过去了，但是图像还没有渲染出来，或者渲染的是上一帧的图像，时间扭曲通过扭曲一副被送往显示器之前图像，来解决这个延迟问题。如果场景中都是静态的物体，显示设备也处于静态，采取TW将能够大幅度减少延迟，取得良好效果，一旦场景中为动态的，或者显示设备移动，由于TW中产生的新图像只是根据前一帧图像生成的，缺少了动态对象的移动信息，则所有的中间帧都好像是被冻结了一样，因而对于动态对象容易产生抖动，从而形成动态对象的重影。
在VR显示当中，不仅仅是VR的屏幕上图像处于动态，用户头戴VR设备，用户头部也常常处于动态当中，用户头部动作也会对VR显示产生影响。
再如图8所示，由GPU执行ATW(指图中的GPU ATW)，ATW(Asynchronous TimeWrap，异步时间扭曲)是TW的一种具体方式，在ATW处理过程中开辟了两种渲染线程，一种是主渲染线程，一种是ATW线程，ATW线程和主渲染线程平行运行(也称为异步运行)，在每次同步之前，ATW线程根据主渲染线程的最后一帧生成一个新的帧。主渲染线程包括GPU非注视区域的渲染线程和GPU注视区域的渲染线程，在图8中分别简称为GPU非注视区域和GPU注视区域，GPU非注视区域用于渲染Frame1.1、Frame2.1和Frame3.1，GPU注视区域用于渲染Frame1.2、Frame2.2和Frame3.2。
为便于理解本申请的上述处理过程，以图5和图8中相结合的内容为例，详述S330。在P时刻Tracker采集数据，获取到非注视区域的用于生成Frame1.1的数据和注视区域的用于生成Frame1.2的数据，分别经过GPU渲染，即经过GPU非注视区域的渲染线程和GPU注视区域的渲染线程的渲染后，得到Frame1.1和Frame1.2，将Frame1.1和Frame1.2合并获得第一帧图像(Frame1)，经ATW后输出为Display1，相当于显示足球在位置S1的图像，S1是动态对象前一次移动后的位置。在P1时刻，GPU渲染结束之后，Tracker再次采集数据，利用与生成Frame1相同的方法，得到第二帧图像(Frame2)，计算出P1时刻相对于P时刻Tracker的位姿变化矩阵，相当于执行上述的步骤S320，对渲染完成的图像做变换，得到新的图像。这样做的话，MTP即t2时间，比t1时间有所减小。
若在ATW之前第二帧画面未渲染完，则利用前一帧的画面进行TW处理生成新的画面，例如图8中GPU非注视区域对应的Frame2.1的处理时间范围超出两个Vsync之间的间隔，则利用前一帧的画面Frame1进行TW生成新的画面Display2，此时仍然显示的是足球在位置S1的图像。当采集到并生成Frame3后，则将Frame2覆盖，也即将Frame2清除，对非注视区域的Frame3.1和注视区域的Frame3.2渲染，由于非注视区域的Frame3.1和注视区域的Frame3.2都能够在两个Vsync之间的间隔中完成渲染，完成后直接合成为Frame3，并且直接经ATW处理得到Display3(即为足球在位置S2的图像)，在显示设备的屏幕(图中的Display)上显示足球在位置S2的图像。
因此，本申请的上述实施例中通过获取显示设备的姿态信息，以及根据该姿态信息、动态对象的移动速度和动态对象的属性参数，确定动态对象的姿态数据，即充分获取到动态对象的移动信息，再对具有动态对象的姿态数据的合并图像进行异步时间扭曲处理，就能够避免时间扭曲处理产生的问题，大幅度减少延迟，也大幅度消减抖动，避免形成动态对象的重影，取得良好显示效果。
综上所述，如图9所示，本申请提供的显示方法的主要步骤包括Tracker采集数据，对人眼的眼球追踪，获取到注视区域和非注视区域的信息，并且对注视区域、非注视区域分离，分别进行渲染。对于注视区域，首先进行注视区域动态检测，获取显示设备的姿态信息，对注视区域动态预测，再对注视区域高清渲染，即对注视区域的每一像素都进行渲染。对非注视区域同时进行模糊渲染，将渲染后的注视区域的图像和非注视区域的图像合并，即图中所示的渲染组合，将合并后的图像在显示面板上显示输出，即提交画面，之后输出到显示面板上显示。
第二方面，本申请提供了一种显示装置10，如图10所示，包括：信息获取模块11、成像模块12和合成模块13。
信息获取模块11，用于获取人眼信息，根据人眼信息确定显示设备中的注视区域和非注视区域。信息获取模块11获取人眼信息，以及确定显示设备中的注视区域和非注视区域的具体方式可参考本申请第一方面的相关描述。
成像模块12，用于根据注视区域中动态对象的移动参数，确定注视区域待显示的内容，生成注视区域的图像，并对非注视区域进行渲染得到非注视区域的图像。
合并模块13，用于将注视区域的图像和非注视区域的图像合并，得到合并图像并在显示设备上显示。
可选地，成像模块12具体用于根据动态对象的移动参数中的初始位置和移动速度，确定出动态对象的预测位置；确定出待显示的内容中位于预测位置的动态对象、以及除了预测位置之外的其它对象。
可选地，成像模块12还用于根据动态对象的属性参数，预测动态对象移动后的空白区域。根据空白区域周围的像素的特征值，确定空白区域中每个像素的特征值。根据空白区域中每个像素的特征值，确定空白区域的待显示内容。
可选地，成像模块12具体用于对于空白区域中的每个边缘像素，从空白区域的周围区域中择取临近边缘像素的多个像素；根据移动速度的方向，对临近边缘像素的多个像素的特征值进行非线性拟合，得到临近边缘像素的多个像素的特征值加权平均值，作为边缘像素的特征值；对于空白区域中的每个非边缘像素，根据移动速度的方向，对临近非边缘像素的多个像素的特征值进行非线性拟合，得到临近非边缘像素的多个像素的特征值加权平均值，作为非边缘像素的特征值。
可选地，合并模块13还用于：在注视区域的图像和非注视区域的图像合并，得到合并图像之后，且在显示设备上显示之前，获取显示设备的姿态信息；根据姿态信息、动态对象的移动速度和动态对象的属性参数，确定动态对象的姿态数据；对确定动态对象的姿态数据后的合并图像进行时间扭曲处理，获得时间扭曲处理后的合并图像。
第三方面，本申请提供了一种显示设备，其包括：存储器和处理器，存储器存储有计算机程序，计算机程序由处理器执行以实现本申请第一方面提供的显示方法。
可选地，如图11所示，图11所示的显示设备1000包括：处理器1001和存储器1003。其中，处理器1001和存储器1003相连，如通过总线1002相连。可选地，显示设备1000还可以包括收发器1004。需要说明的是，实际应用中收发器1004不限于一个，该显示设备1000的结构并不构成对本申请实施例的限定。
处理器1001可以包括下述至少一种：CPU(Central Processing Unit，中央处理器)，GPU(Graphics Processing Unit，图形处理器)，通用处理器，DSP(Digital SignalProcessor，数据信号处理器)，ASIC(Application Specific Integrated Circuit，专用集成电路)，FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1002可包括一通路，在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器1003用于存储执行本申请方案的应用程序代码，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，显示设备包括但不限于：VR设备。
本申请提供的显示设备通过实现前述方法实施例所示的内容，根据人眼信息划分出显示设备中的注视区域和非注视区域，通过对注视区域中动态对象的确定，以及动态对象的动作预测，能够根据对动态对象的动作预测，确定注视区域待显示的内容，消除或避免动态对象在场景移动时出现重影，保证动态画面的展示清晰度，设备的显示性能显著提高。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请提供的显示方法根据人眼信息划分出显示设备中的注视区域和非注视区域，通过对注视区域中动态对象的确定，以及动态对象的动作预测，能够根据对动态对象的动作预测，确定注视区域待显示的内容，消除或避免动态对象在场景移动时出现重影，保证动态画面的展示清晰度，提高VR设备的显示性能。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种显示方法，其特征在于，包括：
获取人眼信息，根据所述人眼信息确定显示设备中的注视区域和非注视区域；
根据所述注视区域中动态对象的移动参数，确定所述注视区域待显示的内容，生成注视区域的图像，并对所述非注视区域进行渲染得到非注视区域的图像；
将注视区域的图像和非注视区域的图像合并，得到合并图像并在所述显示设备上显示。
2.根据权利要求1所述的显示方法，其特征在于，所述生成注视区域的图像，并对所述非注视区域进行渲染得到非注视区域的图像，包括：
以第一渲染线程渲染所述注视区域得到注视区域的图像，以第二渲染线程渲染所述非注视区域得到非注视区域的图像。
3.根据权利要求1所述的显示方法，其特征在于，根据所述注视区域中动态对象的移动参数，确定所述注视区域待显示的内容，包括：
根据所述动态对象的移动参数中的初始位置和移动速度，确定出所述动态对象的预测位置；
确定出所述待显示的内容中位于所述预测位置的所述动态对象、以及除了所述预测位置之外的其它对象。
4.根据权利要求3所述的显示方法，其特征在于，通过下述方式预先确定所述移动速度：
确定所述注视区域的相邻两帧图像内所述动态对象的像素位置差值；
根据所述像素位置差值和所述相邻两帧图像的间隔时间，确定所述动态对象的移动速度。
5.根据权利要求1所述的显示方法，其特征在于，所述根据所述注视区域中动态对象的移动参数，确定所述注视区域待显示的内容，还包括：
根据所述动态对象的属性参数，预测所述动态对象移动后的空白区域；
根据所述空白区域周围的像素的特征值，确定所述空白区域中每个像素的特征值；
根据所述空白区域中每个像素的特征值，确定所述空白区域的待显示内容。
6.根据权利要求5所述的显示方法，其特征在于，根据所述空白区域周围的像素的特征值，所述确定所述空白区域中每个像素的特征值，包括：
对于所述空白区域中的每个边缘像素，从所述空白区域的周围区域中择取临近所述边缘像素的多个像素；
根据所述移动速度的方向，对临近所述边缘像素的多个像素的特征值进行非线性拟合，得到临近所述边缘像素的多个像素的特征值加权平均值，作为所述边缘像素的特征值；
对于所述空白区域中的每个非边缘像素，根据所述移动速度的方向，对临近所述非边缘像素的多个像素的特征值进行非线性拟合，得到临近所述非边缘像素的多个像素的特征值加权平均值，作为所述非边缘像素的特征值。
7.根据权利要求1所述的显示方法，其特征在于，将注视区域的图像和非注视区域的图像合并，得到合并图像之后，且在所述显示设备上显示之前，还包括：
获取所述显示设备的姿态信息；
根据所述姿态信息、所述动态对象的所述移动速度和所述动态对象的属性参数，确定所述动态对象的姿态数据；
对确定所述动态对象的姿态数据后的合并图像进行时间扭曲处理，获得时间扭曲处理后的合并图像。
8.根据权利要求1所述的显示方法，其特征在于，所述根据所述人眼信息确定显示设备中的注视区域和非注视区域，包括：
分别获取双眼的眼轮廓中心点和瞳孔中心点；
根据眼轮廓中心点和瞳孔中心点，确定双眼落在所述显示设备上的注视焦点；
根据所述注视焦点确定预设范围内的区域为注视区域，所述注视区之外的区域为非注视区域。
9.根据权利要求1所述的显示方法，其特征在于，所述获取人眼信息的步骤包括：
接收由双眼反射得到的红外光波，获取到双眼图像；
将所述双眼图像转化为黑白双眼图像；
对所述黑白双眼图像进行眼轮廓识别和瞳孔识别，确定出双眼的眼轮廓中心点和瞳孔中心点。
10.一种显示装置，其特征在于，包括：
信息获取模块，用于获取人眼信息，根据所述人眼信息确定显示设备中的注视区域和非注视区域；
成像模块，用于根据注视区域中动态对象的移动参数，确定所述注视区域待显示的内容，生成注视区域的图像，并对所述非注视区域进行渲染得到非注视区域的图像；
合并模块，用于将注视区域的图像和非注视区域的图像合并，得到合并图像并在所述显示设备上显示。
11.一种显示设备，其特征在于，其包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现权利要求1～9中任一项所述的显示方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～9中任一项所述的显示方法。
CN201910779058.3A 2019-08-22 2019-08-22 显示方法、装置、设备及计算机可读存储介质 Active CN110460831B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910779058.3A CN110460831B (zh) 2019-08-22 2019-08-22 显示方法、装置、设备及计算机可读存储介质
US16/872,545 US11263767B2 (en) 2019-08-22 2020-05-12 Method for processing image in virtual reality display device and related virtual reality display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779058.3A CN110460831B (zh) 2019-08-22 2019-08-22 显示方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110460831A true CN110460831A (zh) 2019-11-15
CN110460831B CN110460831B (zh) 2021-12-03

Family

ID=68488591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779058.3A Active CN110460831B (zh) 2019-08-22 2019-08-22 显示方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11263767B2 (zh)
CN (1) CN110460831B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083553A (zh) * 2019-12-31 2020-04-28 联想(北京)有限公司 一种图像处理方法和图像输出设备
CN112312127A (zh) * 2020-10-30 2021-02-02 中移（杭州）信息技术有限公司 成像检测方法、装置、电子设备、系统及存储介质
CN112528107A (zh) * 2020-12-07 2021-03-19 支付宝(杭州)信息技术有限公司 内容数据的展示方法、装置和服务器
CN112908250A (zh) * 2019-11-19 2021-06-04 海信视像科技股份有限公司 一种显示面板的图像显示方法及显示装置
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN113891002A (zh) * 2021-11-12 2022-01-04 维沃移动通信有限公司 拍摄方法及装置
CN114020230A (zh) * 2021-11-09 2022-02-08 西安热工研究院有限公司 在vr全景中展示动态元素的方法、系统、设备及介质
CN114077465A (zh) * 2020-08-10 2022-02-22 Oppo广东移动通信有限公司 Ui界面渲染方法、装置、电子设备及存储介质
WO2022236808A1 (zh) * 2021-05-14 2022-11-17 京东方科技集团股份有限公司 一种显示系统及显示设备
TWI812497B (zh) * 2022-10-05 2023-08-11 宏達國際電子股份有限公司 微動作感測裝置以及其感測方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315999A (zh) * 2021-05-26 2021-08-27 中国联合网络通信集团有限公司 虚拟现实优化方法、装置、设备及存储介质
CN114025107B (zh) * 2021-12-01 2023-12-01 北京七维视觉科技有限公司 图像重影的拍摄方法、装置、存储介质和融合处理器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436671A (zh) * 2011-08-16 2012-05-02 上海交通大学 一种基于深度值非线性变换的虚拟视点绘制方法
CN103081476A (zh) * 2010-06-08 2013-05-01 Sk普兰尼特有限公司 利用深度图信息转换三维图像的方法和设备
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
US20170302918A1 (en) * 2016-04-15 2017-10-19 Advanced Micro Devices, Inc. Efficient streaming of virtual reality content
CN107656617A (zh) * 2013-03-15 2018-02-02 奇跃公司 显示系统和方法
US20180039317A1 (en) * 2016-08-05 2018-02-08 Ati Technologies Ulc Fine-grain gpu power management and scheduling for virtual reality applications
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN108305326A (zh) * 2018-01-22 2018-07-20 中国人民解放军陆军航空兵学院 一种混合虚拟现实的方法
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081476A (zh) * 2010-06-08 2013-05-01 Sk普兰尼特有限公司 利用深度图信息转换三维图像的方法和设备
CN102436671A (zh) * 2011-08-16 2012-05-02 上海交通大学 一种基于深度值非线性变换的虚拟视点绘制方法
CN107656617A (zh) * 2013-03-15 2018-02-02 奇跃公司 显示系统和方法
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US20170302918A1 (en) * 2016-04-15 2017-10-19 Advanced Micro Devices, Inc. Efficient streaming of virtual reality content
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
US20180039317A1 (en) * 2016-08-05 2018-02-08 Ati Technologies Ulc Fine-grain gpu power management and scheduling for virtual reality applications
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统
CN108305326A (zh) * 2018-01-22 2018-07-20 中国人民解放军陆军航空兵学院 一种混合虚拟现实的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. XIE, X. ZHANG, A. LI, X. FU AND S. SONG: "《PIM-VR: Erasing Motion Anomalies In Highly-Interactive Virtual Reality World with Customized Memory Cube》", 《2019 IEEE INTERNATIONAL SYMPOSIUM ON HIGH PERFORMANCE COMPUTER ARCHITECTURE (HPCA), 2019, PP. 609-622, DOI: 10.1109/HPCA.2019.00013》 *
戴帅凡等: "虚拟现实影视渲染优化技术现状概述", 《现代电影技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908250A (zh) * 2019-11-19 2021-06-04 海信视像科技股份有限公司 一种显示面板的图像显示方法及显示装置
CN111083553B (zh) * 2019-12-31 2021-08-17 联想(北京)有限公司 一种图像处理方法和图像输出设备
CN111083553A (zh) * 2019-12-31 2020-04-28 联想(北京)有限公司 一种图像处理方法和图像输出设备
CN114077465A (zh) * 2020-08-10 2022-02-22 Oppo广东移动通信有限公司 Ui界面渲染方法、装置、电子设备及存储介质
CN112312127A (zh) * 2020-10-30 2021-02-02 中移（杭州）信息技术有限公司 成像检测方法、装置、电子设备、系统及存储介质
CN112312127B (zh) * 2020-10-30 2023-07-21 中移（杭州）信息技术有限公司 成像检测方法、装置、电子设备、系统及存储介质
CN112528107A (zh) * 2020-12-07 2021-03-19 支付宝(杭州)信息技术有限公司 内容数据的展示方法、装置和服务器
WO2022236808A1 (zh) * 2021-05-14 2022-11-17 京东方科技集团股份有限公司 一种显示系统及显示设备
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN114020230A (zh) * 2021-11-09 2022-02-08 西安热工研究院有限公司 在vr全景中展示动态元素的方法、系统、设备及介质
CN114020230B (zh) * 2021-11-09 2024-01-19 西安热工研究院有限公司 在vr全景中展示动态元素的方法、系统、设备及介质
CN113891002A (zh) * 2021-11-12 2022-01-04 维沃移动通信有限公司 拍摄方法及装置
TWI812497B (zh) * 2022-10-05 2023-08-11 宏達國際電子股份有限公司 微動作感測裝置以及其感測方法

Also Published As

Publication number Publication date
US11263767B2 (en) 2022-03-01
CN110460831B (zh) 2021-12-03
US20210056719A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
CN110460831A (zh) 显示方法、装置、设备及计算机可读存储介质
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US10939085B2 (en) Three dimensional glasses free light field display using eye location
JP5194530B2 (ja) 画像表示装置及び画像表示方法
US10802287B2 (en) Dynamic render time targeting based on eye tracking
CN109741463B (zh) 虚拟现实场景的渲染方法、装置及设备
US6954223B2 (en) Stereoscopic image generating apparatus and game apparatus
CN108921050B (zh) 一种基于移动端的虚拟现实图像处理系统
CN108292489A (zh) 信息处理装置和图像生成方法
US9106906B2 (en) Image generation system, image generation method, and information storage medium
JPWO2011033673A1 (ja) 画像処理装置
CN102118592A (zh) 用于显示多视频的系统
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US8866887B2 (en) Computer graphics video synthesizing device and method, and display device
CN107850934B (zh) 具有动态区域分辨率的虚拟/增强现实系统
US20230267578A1 (en) Virtual reality display method, device and storage medium
CN107368192A (zh) Vr眼镜的实景观测方法及vr眼镜
CN105898338A (zh) 全景视频播放方法及装置
US11126001B2 (en) Image generating apparatus, head-mounted display, content processing system and image displaying method
JP3501359B2 (ja) 全焦点撮像方法および立体表示方法
CN112887646B (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
US7034819B2 (en) Apparatus and method for generating an interleaved stereo image
CN1136520C (zh) 画面同步倍频处理方法
CN110809113B (zh) 一种基于fpga的红外成像自动聚焦系统
JP2006287813A (ja) ３次元画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant