CN115185083B - 一种ar头戴显示器自适应刷新率和分辨率渲染方法 - Google Patents
一种ar头戴显示器自适应刷新率和分辨率渲染方法 Download PDFInfo
- Publication number
- CN115185083B CN115185083B CN202210823727.4A CN202210823727A CN115185083B CN 115185083 B CN115185083 B CN 115185083B CN 202210823727 A CN202210823727 A CN 202210823727A CN 115185083 B CN115185083 B CN 115185083B
- Authority
- CN
- China
- Prior art keywords
- ambient light
- head
- refresh rate
- resolution
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000009877 rendering Methods 0.000 title claims abstract description 10
- 230000008859 change Effects 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004886 head movement Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008054 signal transmission Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种AR头戴显示器自适应刷新率和分辨率渲染方法。由于无线、有线信号传输带宽和CPU、GPU算力的限制，高刷新率和高分辨率不能同时满足。本方法结合显示技术和人眼特性，在有限的带宽下，根据环境光的特性自动调整头戴显示器的刷新率和分辨率，使设备的显示效果在有限的带宽下，达到观看的最佳体验。本方法不仅能够提升显示效果，并且无需借助其他昂贵设备仪器或设备升级，降低设备成本。
Description
技术领域
本发明涉及全息显示技术领域，特别涉及一种AR头戴显示器自适应刷新率和分辨率渲染方法。
背景技术
增强现实AR技术是使现实场景与虚拟图像相互综合，形成虚实结合的一项较新的技术内容，观察者可以通过AR设备感受沉浸式体验。通过双目视差，可以让观察者观察到立体视觉，双目立体视觉是实现三维成像的关键。用户的双眼看到的图像是不同的，这些不同的图像是分别产生后显示在左右显示器上，根据需要进入左眼和右眼，从而让用户感受到双目视差，产生深度信息和立体效果。
由于头戴式显示器是近眼显示，和普通显示器相比，观看的的视角要更大。所以，需要比平板显示器更高的分辨率来支撑其显示效果。同时，由于头戴显示器随观察者运动，和现实世界的景象结合，低刷新率会导致AR头戴显示器显示的像和实景产生割裂感，从而降低用户的沉浸感。此外，头戴式AR显示设备的无线化可以大大提升使用时的沉浸体验，但无线传输有限的带宽会对AR显示的帧率和分辨率有较大限制。同时，在渲染画面时，AR显示设备受限于体积、功耗、续航、散热等因素，提供的算力有限，通常会对显示分辨率或者刷新率做出妥协，可能会使用户感受到画质降低或者延迟、卡顿等现象。
为了在有限的带宽或者算力下保证优秀的显示效果，从而给用户更好的观看感受，就要求无线传输的带宽提升、AR头戴显示器自身的CPU、GPU算力提升，对于前者而言，需要加快5G的建设；对于后者而言，就需要AR头戴显示器采用更高性能的处理器以及更大的电池、更强的散热，对于一个头戴式移动设备而言是较为困难的。
发明内容
本发明提出了一种AR头戴显示器自适应刷新率和分辨率渲染方法，从而在有限的带宽内，根据显示的图像内容和所处光环境，动态地调整刷新率和分辨率，在有限的带宽内给用户提供最优秀的视觉体验。
技术方案：一种AR头戴显示器自适应刷新率和分辨率渲染方法，具体包括以下步骤：
步骤1，获取多媒体信息的显示内容；
步骤2，获取环境光分布情况，包括环境光的亮度分布、环境光色温、以及环境场景变化的速率；所述环境场景变化的速率是由头部移动、行走和场景变化引起；根据环境光分布的亮度和色度对环境光进行区域划分；
步骤3，区域化调整画面显示内容的分辨率；
对画面显示区域进行划分，画面显示区域划分与环境区域划分相对应；
计算每个画面区域中显示亮度和对应区域环境光亮度的差，若该差值为正，则将该画面区域分辨率调高；若该差值为负，则将该画面区域分辨率调低；
步骤4、根据环境场景变化的速率调整刷新率
如果环境场景变化的速率大于设定阈值，则提升画面刷新率；
如果环境场景变化的速率变化速率小于等于设定阈值，则降低画面刷新率；
步骤5，将处理完成的画面生成并显示在头戴显示器上。
进一步的，AR头戴显示器上设置有光场相机，用于获取环境光亮度、环境光色度。
有益效果：在有限的算力或者带宽下，根据光环境分布，结合人眼视觉特性，动态地调整AR头戴显示器的分辨率和刷新率。
附图说明
图1为本发明一实施例中AR头戴显示器的分辨率和帧率调整方法；
图2为本发明一实施例中AR头戴显示器无线播放视频的方式示意图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
本发明的基本思想为：现有的AR显示器的分辨率和刷新率无法同时提升，在有限的带宽或者算力下可能会导致画面模糊或者卡顿。本发明结合人眼感知视觉和显示器的物理特性不完全一致的特性和AR显示同时能看到显示画面和外界环境光的特点，根据环境光的特征区域化地调节画面分辨率以及调节画面刷新率，从而在有限的带宽或者算力下达到最佳的显示效果。
应当理解，以下将进行的说明仅仅是实例性的，为了便于说明，在阐述中描述了具体的细节以方便对本发明进行深入的理解，并非是要限制本公开的范围。
需要说明的是，一个或多个实施例中的特征在没有这些具体细节的情况下也可以相互结合并实施。
应当注意的是，在说明中使用的术语“包括”等表明所属步骤、部件和/或操作的存在，但并不排除存在或添加一个或多个其他的步骤、部件或操作。
图1展示了一种AR头戴显示器的自适应刷新率和分辨率渲染方法，具体包括以下步骤
步骤1: 获取多媒体信息的显示内容，如图2所示，可以是从电脑或手机端等获取多媒体视频信号；
步骤2: 获取环境光分布情况，包括亮度、色度和环境光变化速率，所述环境光变化速率包括头部移动、行走和场景变化；根据亮度和色度进行区域划分。
步骤3: 根据步骤2获得的环境光分布情况，区域化地调整显示内容的分辨率。
步骤4: 根据画面环境变化速率调整刷新率。
步骤5：将画面显示于头戴显示器
上述方法总体分为四个部分：预计算、分辨率调整、刷新率调整和画面显示。
预计算，主要完成环境光获取、根据环境光的亮度和色度分布进行区域划分，以及判断环境场景变化的速率；
分辨率调整，根据和画面显示区域对应的环境光区域的亮度和色度调整分辨率；计算画面中不同区域对应的显示亮度和环境光亮度的差，若该差值为正，则将分辨率适当调高；若该差值为负，则将分辨率适当调低。
刷新率调整，主要根据由转头、行走等操作导致的环境光变化速率，如果环境光变化速率较大，则提升刷新率，如果变化速率不大甚至静止，则降低刷新率。最后，将处理完成的画面生成并显示在头戴显示器上。
AR头戴显示器中包括CPU即用于处理数据的微处理器，将光场相机及多媒体视频信号进行分析处理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种AR头戴显示器自适应刷新率和分辨率渲染方法，其特征在于，具体包括以下步骤：
步骤1，获取多媒体信息的显示内容；
步骤2，获取环境光分布情况，包括环境光的亮度分布、环境光色温、以及环境场景变化的速率；
根据环境光的亮度和色度对环境光进行区域划分；
步骤3，区域化调整画面显示内容的分辨率；
根据环境区域的划分，对显示画面区域进行相同的划分；
计算每个画面区域中显示亮度和对应区域环境光亮度的差值，若该差值为正，则将该画面区域分辨率调高；若该差值为负，则将该画面区域分辨率调低；
步骤4、根据环境场景变化速率调整刷新率；
如果环境场景变化的速率大于设定阈值，则提升画面刷新率；
如果环境场景变化的速率变化速率小于等于设定阈值，则降低画面刷新率；
步骤5，将处理完成的画面生成并显示在头戴显示器上。
2.根据权利要求1所述一种AR头戴显示器自适应刷新率和分辨率渲染方法，其特征在于，所述环境场景变化速率是由头部移动、行走和场景变化引起。
3.根据权利要求1所述一种AR头戴显示器自适应刷新率和分辨率渲染方法，其特征在于，AR头戴显示器上设置有光场相机，用于获取环境光亮度、环境光色度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823727.4A CN115185083B (zh) | 2022-07-14 | 2022-07-14 | 一种ar头戴显示器自适应刷新率和分辨率渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823727.4A CN115185083B (zh) | 2022-07-14 | 2022-07-14 | 一种ar头戴显示器自适应刷新率和分辨率渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115185083A CN115185083A (zh) | 2022-10-14 |
| CN115185083B true CN115185083B (zh) | 2024-02-06 |
Family
ID=83519481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210823727.4A Active CN115185083B (zh) | 2022-07-14 | 2022-07-14 | 一种ar头戴显示器自适应刷新率和分辨率渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115185083B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915933B (zh) * | 2023-09-11 | 2023-11-28 | 苏州视达讯远电子科技有限公司 | 基于地铁lcd显示屏同步成像驱动显示系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000098991A (ja) * | 1998-09-28 | 2000-04-07 | Nec Software Ltd | 環境適応型画面表示システム |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN108696732A (zh) * | 2017-02-17 | 2018-10-23 | 北京三星通信技术研究有限公司 | 头戴显示设备的分辨率调整方法及设备 |
| CN110226199A (zh) * | 2016-11-16 | 2019-09-10 | 奇跃公司 | 用于头戴式显示系统的多分辨率显示组件 |
| CN111708503A (zh) * | 2020-06-05 | 2020-09-25 | 努比亚技术有限公司 | 一种投屏控制方法、设备及计算机可读存储介质 |
| CN112136094A (zh) * | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| CN113362783A (zh) * | 2020-03-06 | 2021-09-07 | 华为技术有限公司 | 刷新率切换方法和电子设备 |
| CN113963659A (zh) * | 2020-07-21 | 2022-01-21 | 华为技术有限公司 | 显示设备的调整方法及显示设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150177822A1 (en) * | 2008-08-20 | 2015-06-25 | Lucidlogix Technologies Ltd. | Application-transparent resolution control by way of command stream interception |
-
2022
- 2022-07-14 CN CN202210823727.4A patent/CN115185083B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000098991A (ja) * | 1998-09-28 | 2000-04-07 | Nec Software Ltd | 環境適応型画面表示システム |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN110226199A (zh) * | 2016-11-16 | 2019-09-10 | 奇跃公司 | 用于头戴式显示系统的多分辨率显示组件 |
| CN108696732A (zh) * | 2017-02-17 | 2018-10-23 | 北京三星通信技术研究有限公司 | 头戴显示设备的分辨率调整方法及设备 |
| CN112136094A (zh) * | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| CN113362783A (zh) * | 2020-03-06 | 2021-09-07 | 华为技术有限公司 | 刷新率切换方法和电子设备 |
| WO2021175213A1 (zh) * | 2020-03-06 | 2021-09-10 | 华为技术有限公司 | 刷新率切换方法和电子设备 |
| CN111708503A (zh) * | 2020-06-05 | 2020-09-25 | 努比亚技术有限公司 | 一种投屏控制方法、设备及计算机可读存储介质 |
| CN113963659A (zh) * | 2020-07-21 | 2022-01-21 | 华为技术有限公司 | 显示设备的调整方法及显示设备 |
Non-Patent Citations (1)
| Title |
|---|
| "基于FPGA的LED大屏幕同步控制系统的设计";景润东;《中国优秀硕士学位论文全文数据库》;I136-97 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115185083A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3744007B1 (en) | Controlling image display via real-time compression in peripheral image regions | |
| CN110322818B (zh) | 显示装置及操作方法 | |
| US10082867B2 (en) | Display control method and display control apparatus | |
| US9424767B2 (en) | Local rendering of text in image | |
| WO2018211673A1 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
| WO2018211672A1 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
| US10699673B2 (en) | Apparatus, systems, and methods for local dimming in brightness-controlled environments | |
| US9766458B2 (en) | Image generating system, image generating method, and information storage medium | |
| US11892637B2 (en) | Image generation apparatus, head-mounted display, content processing system, and image display method | |
| CN115185083B (zh) | 一种ar头戴显示器自适应刷新率和分辨率渲染方法 | |
| WO2022166712A1 (zh) | 图像的显示方法、装置、可读介质和电子设备 | |
| CN114071150B (zh) | 图像压缩方法及装置、图像显示方法及装置和介质 | |
| US20240119557A1 (en) | Image display system and image display method | |
| US11955094B2 (en) | Head-mounted display and image displaying method | |
| CN112019924A (zh) | 一种全景播放器fov设置方法 | |
| WO2019159239A1 (ja) | 画像処理装置、表示画像生成方法、およびフォントのデータ構造 | |
| WO2022230253A1 (ja) | 情報処理装置及び情報処理方法 | |
| US11818324B2 (en) | Virtual reality environment | |
| US20240196065A1 (en) | Information processing apparatus and information processing method | |
| JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
| EP3598271A1 (en) | Method and device for disconnecting user's attention | |
| WO2022158221A1 (ja) | 画像表示システム、表示装置、および画像表示方法 | |
| Miller et al. | Virtual and Augmented Reality Displays | |
| WO2023049293A1 (en) | Augmented reality and screen image rendering coordination | |
| US10529276B2 (en) | Apparatus, systems, and methods for preventing display flicker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |