CN106461951A - 利用像素再分配优化的方法和显示设备 - Google Patents

利用像素再分配优化的方法和显示设备 Download PDF

Info

Publication number
CN106461951A
CN106461951A CN201580031912.8A CN201580031912A CN106461951A CN 106461951 A CN106461951 A CN 106461951A CN 201580031912 A CN201580031912 A CN 201580031912A CN 106461951 A CN106461951 A CN 106461951A
Authority
CN
China
Prior art keywords
display device
described image
observer
image
optical module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580031912.8A
Other languages
English (en)
Other versions
CN106461951B (zh
Inventor
西尔万·泰博
洛朗·布隆德
蒂埃里·塔皮
瓦尔特·德拉日奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106461951A publication Critical patent/CN106461951A/zh
Application granted granted Critical
Publication of CN106461951B publication Critical patent/CN106461951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06T3/053—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22—Circuits for controlling dimensions, shape or centering of picture on screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

一种用于在显示设备(100)上呈现图像的方法，包括：通过向图像应用几何变换来修改图像，使得图像在显示设备上的区域比图像的其余部分以更高像素密度呈现给观察者(S18)。

Description

利用像素再分配优化的方法和显示设备
技术领域
本公开总体上涉及利用像素再分配优化的显示设备。显示设备可以是诸如头戴式显示器(HMD)设备的用户可穿戴显示设备，但不限于这种显示设备。
背景技术
这些HMD设备主要由显示模块(例如，LCD或OLED)和光学器件组成。该光学器件通常设计为修改光使其好似在距离观察者的无限远处或在有限但是大的距离(例如，人眼超焦距)处生成(以能够适应放置得如此接近的屏幕)，并且增加视场以改善沉浸感。
这些HMD设备可以与诸如惯性测量单元(IMU)的传感器耦合在一起以测量用户的头部的位置。由于传感器，通过显示器提供给用户的视频内容可以取决于他的/她的头部取向，因此用户可以在虚拟世界中移动并且感受沉浸感。
美国专利US2012/0154277 A1公开了跟踪用户的头部和眼睛位置以便确定用户的聚焦区域以及将优化的图像的一部分耦合到用户的聚焦区域。然而，在US2012/0154277 A1中未考虑用于优化将被呈现在显示器上的图像的像素再分配的任何概念。
发明内容
根据本公开的一个方面，提供了用于在显示设备上呈现图像的方法。该方法包括通过向图像应用几何变换来修改图像，使得图像在显示设备上的区域比图像的其余部分以更高像素密度呈现给观察者。
根据本公开的另一个方面，提供了用于呈现图像的显示设备，所述显示设备包括处理器。处理器配置为通过向图像应用几何变换来修改图像，使得图像在显示设备上的区域比图像的其余部分以更高像素密度呈现给观察者。
将借助于在权利要求中特别指出的元素和组合来实现和获得本公开的目的和优点。
应当理解的是，前述一般描述和下文的具体实施方式两者都是示例性和说明性的，并且不限制所要求保护的本公开。
附图说明
根据结合附图的以下描述，本公开的这些和其它方面、特征和优点将变得明显，在附图中：
图1表示取决于中央凹(fovea)周围的角位置的视敏度；
图2呈现根据本公开的实施例的总概述；
图3表示由光学元件施加的失真；
图4示出了根据本公开的实施例的应用于图像的几何变换过程；
图5示出了具有与在原始系统中相同的功能的透镜的设计；
图6示出了本实施例的HMD设备的整体光学系统；
图7示出了根据显示器上的场位置绘制的感知视场；
图8示意性示地示出了根据本公开的实施例的显示设备，其中图8(a)是设备的平面图，并且图8(b)是设备的前视图；
图9是示出了在图8中显示的控制模块的组件的框图；以及
图10是示出了由根据本公开的实施例的显示设备执行的过程的示例的流程图。
具体实施方式
在以下的描述中，将描述本公开的示例性实施例的各个方面。为了说明的目的，阐述了特定的配置和细节以便提供透彻的理解。然而，还将对本领域技术人员明显的是，可以在没有本文中出现的特定的细节的情况下实现本公开。
为了促进对本公开的实施例的概念的理解，首先介绍人类视觉系统的一些特性。
图1表示取决于中央凹周围的角位置的视敏度，其引用自维基百科(Wikipedia)的“中央凹”相关的页面。中央凹是眼睛中椎体的密度最高的中心区域。该区域仅仅表示几度，其中视敏度是最大的。当视场增加时，该敏度迅速减小(参见图1)。这意味着，即使需要大视场以给观察者带来沉浸感，周边视觉也无法感知到细节。
由于分离的离散像素而生成图像的显示设备的分辨率基于该视敏度特性：取决于观察的距离，如果像素的空间频率高于眼睛的分离能力，则不能感知像素。
人眼在中央凹区域中可以大致区分由一分的弧角分离的两个点。这意味着例如可以在166cm的距离处观看具有93cm的宽度的42”HD(高清)屏幕1920x1080像素以在其中心部分中具有每度60个像素的像素密度(大致与视敏度相对应)。
在此处，将关于具有1280x800像素的分辨率的示例性HMD设备来讨论示例。在该示例中，水平视场将是大致90°(或110°，取决于源)，并且每个眼睛的理论像素数将是640(但实际上可能更接近500)：分布在90°上的500个像素意味着低于每度5个像素的像素密度。这比针对一弧分的视敏度遵循奈奎斯特-香农(Nyquist-Shannon)采样定理应当需要的低10倍。即使该HMD的下一代应当基于具有1920x1080像素的显示器，分辨率也应保持远低于在中央凹中的视敏度。
相反，在周边视觉区域中的像素密度太高而不能被人眼感知到，因为视敏度在视觉周边中急剧降低。
本公开说明性地描述了诸如HMD设备的显示设备，其在显示器的区域中增加像素密度，并且在增加了像素密度的区域的周边区域中减小该密度。因为眼睛可以在由显示器提供的内容中移动，所以该密度的增加不限于与中央凹相对应的极窄区域，而是在移动头部之前应用于与平均眼睛移动相对应的区域。这意味着用户可以在具有高密度信息的区域周围移动他的视线，并且由于提供稀疏信息的大视场而享受沉浸感。
在与惯性测量单元(IMU)耦合在一起的HMD设备中，用户可以将他的/她的头部移动到在周边以低分辨率感知的对象或区域的中心，然后显著地增加该对象或区域上的分辨率。
在诸如Oculus Riff HMD的当前可用的HMD设备上，由显示设备生产的像素由光学器件以几乎恒定的密度分布在整个视场上。由于该光学器件是简单的，所以它引入了强烈的枕形失真，其必须通过信号处理(通过将逆变形应用于将要显示的视频内容)来进行补偿。观察者可以以大的视场但是以低的分辨率(甚至在HMD的中心区域中)来感知视频或图形沉浸式内容。
所谓的“小凹(foveation)”在图像获取的技术领域中是已知的。由于小凹传感器，可以获取图像，其中图素的密度在该传感器或与小凹透镜相关联的标准传感器的中心区域中较高。
小凹成像还在信号处理(涵盖图像压缩、图像传送或注视偶然显示)的技术领域中是已知的。对于这最后的应用，眼睛跟踪器检测用户正在看哪里，并且在该区域中比在周边(仅仅低频，模糊)中动态地显示更多的信息(包含高频的图像部分)。
在该公开中提出了一种系统，其配置为(或适于)增加显示器上的区域中的像素密度，并且减小在显示器上的该区域的周边区域中的像素密度。然而，应当注意的是，与其中细节(高频)显示在感兴趣的区域中以及模糊信息(或仅仅低频)以恒定像素密度显示在周边的小凹图像不同，所提出的系统修改像素密度本身。
像素的再分配可以通过由光学器件应用的变换T来修改。在这种情况下，将要显示的内容需要通过逆几何变换T-1来修改。然后，像素密度的增加使感知到的亮度增加，反之亦然。亮度的这种修改需要由显示器或应用于将要显示的图像的信号处理来完全或部分补偿。
图2呈现了根据本公开的实施例的总概述。
常规光学元件修改光使其好似在距离观察者的无限远(或有限但是大的距离)处生成以使观察者的眼睛能够适应(accommodation)。它还可以增加显示器的视场以改善观察者的沉浸感。
除了常规技术之外，本公开的非限制性实施例提出了根据到中心的距离来施加失真(如图3中所示)以修改感知到的像素密度的光学元件。根据水平轴，该距离可以是径向的或轴向的。如可以在图4中看到，由本公开的实施例的光学元件引起的失真提供像素再分配，即，显示在显示器上的恒定像素密度转换为修改的像素密度，其中在视场的中心区域中感知到增加的像素密度。
图4示出了根据本公开的实施例的应用于图像的几何变换过程。在被提供到显示器之前，输入图像I由函数T-1(I)变换，将细节保留在中心区域中。该变换必须与由本公开的实施例的光学元件应用的逆变换函数相对应。它可以例如通过多项式函数来近似。光学元件施加失真T(I1)以在中心区域(β周围)(其是视场的中心(参见图4))中以高密度信息向观察者提供图像I。
由观察者感知到的像素密度由图4中的曲线来表示。“α”表示β周围的位置，其定义了其中与恒定像素密度相比像素密度被增加或减小的极限位置。该曲线取决于光学变换，并且在这里作为示例给出。感知到的像素密度可以例如连续减小直到最大视场。
感知到的密度处于最大值所在的位置β在本文放置在1/2FOV(视场)。如果眼睛移动并且由HMD设备上的眼睛跟踪系统跟踪，则该位置可以变化。光学元件可以根据来自眼睛跟踪系统输出信号的输出从左至右、向上和向下移动，以使最大密度区域与给定眼睛的光轴对准。将根据与修改的光学配置相关联的新的T/T-1变换修改图像信号。当眼睛被跟踪并且光学元件相应地移动时，值α可以在光学设计中减小(限制于中央凹延伸，但是排除在静态配置中考虑的眼睛运动边缘)。
所提出的解决方案必须与标准实现进行比较以便比较每个角度扇区的相对感知像素密度。
图5示出了具有与在原始系统中相同的功能的透镜的设计。
光学系统的尺寸设计为具有大约95°的总视场，物场宽度是2x37.5mm，其是屏幕的宽度。图5示出了轴向场点、中间场点和边缘场的光线跟踪。系统设计为在图像空间中是无焦点的，并且瞳孔是4mm(在距离最后光学表面的垂度的10mm距离处)。在边缘场点处的MTF(调制传递函数)当然是相当糟糕的，因为这可以从到达瞳孔的非准直的红色子光束推断出。在图像空间中感知的视场是±29°。
为了修改感知到的角像素密度，需要在物平面附近设立透镜。该场透镜将在显示器的中心部分(其中与外部像素相比，在图像空间中其角密度更大)围绕光轴映射像素。具有这样的性质的光学表面必须是均匀的非球面。它是由球面的偏差的多项式展开描述的旋转对称多项式非球面。均匀非球面表面模型仅仅使用径向坐标的偶次幂来描述非球面性。该表面垂度由下式给出：
其中c是曲率，r是透镜单元中的径向坐标，并且k是圆锥常数。该场透镜需要具有非球面前表面以便分别调制场点的不同位置，并且它还需要具有非球面后表面以用于将每个主光线指向本实施例的HMD设备的光学系统的入口瞳孔。
图6示出了本实施例的HMD设备的整个光学系统，其改善了轴附近的角分辨率密度。第一透镜是将场点扭曲到图像空间中的不同角密度的透镜。其形状看起来复杂，但是它由SCHOTT AG的B 270(商标)玻璃制成，并且可以大量和低成本进行模制，以及主透镜，其也由相同的材料制成，并且其也需要进行模制，因为它也具有两个非球面表面。
透镜规定如下：
表面数据概要
表面数据细节
表面 对象 标准
表面 1 均匀非球面
关于r∧2的系数：0
关于r∧4的系数：-6.9859233e-005
关于r∧6的系数：2.4668817e-007
关于r∧8的系数：-3.9883699e-010
关于r∧10的系数：5.5885882e-013
关于r∧12的系数：-6.6854249e-016
关于r∧14的系数：3.6309444e-019
关于r∧16的系数：-1.5338173e-023
表面 2 均匀非球面
关于r∧2的系数：0.0028058026
关于r∧4的系数：-2.6206468e-005
关于r∧6的系数：1.0404351e-008
关于r∧8的系数：1.903396e-011
关于r∧10的系数：-6.34717e-015
关于r∧12的系数：0
关于r∧14的系数：0
关于r∧16的系数：0
表面 STO 标准
表面 4 均匀非球面
关于r∧2的系数：0
关于r∧4的系数：0.00049344985
关于r∧6的系数：-1.8727954e-005
关于r∧8的系数：3.8728936e-007
关于r∧10的系数：-4.8665752e-009
关于r∧12的系数：3.6241717e-011
关于r∧14的系数：-1.4659605e-013
关于r∧16的系数：2.4658053e-016
表面 5 均匀非球面
关于r∧2的系数：0
关于r∧4的系数：0.00019263165
关于r∧6的系数：-4.3484529e-006
关于r∧8的系数：5.3643851e-008
关于r∧10的系数：-3.6869579e-010
关于r∧12的系数：1.4315606e-012
关于r∧14的系数：-2.9346767e-015
关于r∧16的系数：2.4867346e-018
作为由光学系统的配置提供的顺带好处，MTF也已经进行了改进。
最后，为了证明图6中示出的光学系统具有在本公开中描述的功能，如图7中示出的，感知的视场可以绘制为显示器上的场位置的函数。如可以从图7看出，改进的系统有效地具有形状上类似图4中示出的理论曲线的曲线，导致在光轴方向附近的更高感知的像素密度。
图8示意性示出了根据本公开的实施例的显示设备，其中图8(a)是设备的平面图，并且图8(b)是设备的前视图。
如图8中所示，显示设备100可以包括显示模块105，其可以例如是具有光源的LCD(液晶显示器)或OLED(有机发光显示器)。将分别延伸到观察者的耳朵上以帮助将设备100保持在适当位置的诸如镜腿(temple arm)的固定元件110安装在显示设备100的两侧上。可替代地，固定元件110可以是将设备100保持在观察者的头上的伸缩带。
显示设备100还包括光学组件120和移动光学组件120的致动器115。光学组件120可以包括如以上结合图6所述设计的两个光学元件。光学组件120通过连接部件125连接到致动器115。致动器115安装在固定元件110上，并且光学组件120由在显示模块105前方的连接部件125支撑。这些致动器115、光学组件120和连接部件125分别安装在固定元件110的两侧上。由于致动器115，光学组件120可以向上和向下以及从左到右移动，如分别通过图8(b)中示出的箭头指示的。应当注意的是，光学组件120的每个光学元件可以可替代地具有菲涅尔透镜的形式，使得光学元件可以具有更薄的形状和更轻的重量。
显示设备100设置有检测观察者的眼睛的眼睛凝视点的眼睛跟踪传感器130。眼睛跟踪传感器130可以安装在显示模块105的上部或下部上，例如以便防止可以由传感器130引起的显示屏幕的任何阴影。此外，显示设备100设置有测量观察者(在其上安装有显示设备100)的头部的位置的诸如惯性测量单元(IMU)的位置传感器145。
显示设备100还包括控制显示模块105、致动器115、眼睛跟踪传感器130和位置传感器145的控制模块140。控制模块140经由有线或无线连接而连接到这些元件。控制模块140还经由有线或无线连接而连接到外部设备(未示出)。外部设备存储将提供给显示设备100的图像或视频。图像或视频从外部设备提供给控制模块140，然后控制模块140在显示模块105上呈现接收的图像或视频。
显示设备100可以具有在观察者的视场中提供暗空间的围绕显示模块105的周边的罩(未示出)，其可以为观察者提供更好的沉浸感。
图9是示出了图8中显示的控制模块的组件的框图。
如图9中所示，控制模块200包括I/O接口210和存储设备220。接口210和存储设备220配置为接收和存储将呈现在显示模块105(图8)上的图像或视频。
模块200还包括处理器230。处理器230执行以基于来自眼睛跟踪传感器130的输入检测观察者的眼睛凝视点，以响应于检测到的眼睛凝视点而激活致动器115，以将从外部设备接收的图像或视频呈现在显示模块105上，以及响应于由位置传感器145检测和输入的观察者的头部位置而滚动显示在显示模块105上的图像或视频。
处理器230还执行以通过应用如参考图4描述的几何变换T-1(I)来修改图像或视频，使得可以增加围绕在显示器105(图8)上的检测到的眼睛凝视点的区域中的图像或视频的信息密度。处理器230还可以应用亮度补偿以补偿可能由几何变换T-1(I)引起的在图像或视频中的亮度的变化。存储设备220还配置为存储将由处理器230执行以用于实施以上描述的过程的至少一个程序。
图10是示出了由根据本公开的实施例的显示设备执行的过程的示例的流程图。
在步骤S10，显示设备100的控制模块140；200经由其I/O接口210从外部设备(未示出)接收沉浸式图像或视频内容。接收的内容存储在存储模块230上。沉浸式内容可以是可供HMD设备显示360°内容(或小于360°，但是大于可以由HMD的显示屏显示的内容)的整个内容，换言之，沉浸式内容可以具有比HMD的显示屏的面积更广的面积。由于这样的沉浸式内容，观察者可以沉浸在显示在HMD设备上的虚拟世界中，并且可以移动他的/她的头部以选择他/他想要看到的整个360°内容的一部分。
在步骤S12，位置传感器145检测观察者的头部位置，然后，在步骤S14，由处理器220选择将显示在HMD设备上的360°内容的一部分。观察者想要看到的360°内容的部分与检测到的头部位置相对应。
在步骤S16，由眼睛跟踪传感器130确定观察者(其上安装有显示设备100)的眼睛的眼睛凝视位置。检测到的信息从传感器130输出到控制模块200的处理器220。基于检测到的信息，处理器220执行分析以用于在显示模块105上指定观察者的眼睛的眼睛凝视位置(换言之，用于指定观察者正在观看显示模块105上的哪个区域)。应当注意的是，可以在步骤S10-S14期间执行步骤S16。
可替代地，在步骤S16，可以采用在内容中的感兴趣的区域的信息(ROI)以确定观察者的眼睛的眼睛凝视位置而非通过眼睛跟踪传感器130来检测眼睛凝视位置。在这种情况下，在内容(每个图像或视频的每个帧)中的ROI的区域可以通过测试用户或通过任何已知的专用ROI分析软件来预先确定并且经由包含在内容中的元数据与内容相关联。在内容中的ROI的区域可以是假定的眼睛凝视位置，因为观察者最可能注意在内容中的ROI的区域，并且因此眼睛凝视将尤其被这些ROI吸引。
在步骤S18，处理器220读出存储在存储模块230中的图像或视频，并且修改图像或视频使得具有图像或视频的更高密度信息的区域可以在显示器105上的指定的眼睛凝视位置处形成。图像或视频的修改可以通过应用与由光学组件120(图4)应用的逆变换函数相对应的几何变换来执行。然后，处理器220将修改的图像或视频内容呈现在显示设备105上。
在步骤S20，响应于显示设备105上的指定的眼睛凝视位置，处理器220控制致动器115以移动相应的光学组件120，使得观察者可以通过光学组件120看到显示器105。例如，可以预先建立显示器105上的眼睛凝视位置和光学组件120的各自的相应的位置之间的关联并且存储在存储模块230上。在这种情况下，处理器220使致动器115根据这种关联将光学组件120移动到与检测到的眼睛凝视位置相对应的位置。
因为光学组件120施加失真T(I1)(其将补偿对呈现在显示器105上的图像或视频进行的变换)，所以由观察者通过光学组件120感知到的图像或视频内容在眼睛凝视位置中比在眼睛凝视位置的周边中具有更高的信息密度。
步骤S12至S20可以在图像或视频呈现在显示器105期间重复，其允许改变图像或视频上的密集信息区域(比内容的其余部分具有更高信息密度的图像或视频内容的区域)和光学组件120的位置以实时响应于检测到的眼睛凝视位置。
根据实施例，可以显著增加显示器105上的眼睛凝视区域中可用的信息的密度，因此可以在该区域中提供更多的细节。在另一方面，因为视敏度在周边视觉中低得多，因此可以保留由大视场带来的沉浸感。
可替代地，图像或视频上的密集信息区域以及光学组件120的位置可以固定，例如，图像或视频上的密集信息区域可以固定在显示器105上的图像或视频的中心区域中，并且光学组件120的位置可以是相应的位置。在这种情况下，可以省略以上描述的步骤S12和S16。
或者备选地，在步骤S14，处理器220可以修改直接从外部设备接收的图像或视频并且将修改的图像或视频呈现在显示设备105上。在这种情况下，接收的图像或视频内容可以不存储在存储模块230上。
本文所述的所有示例和条件语言旨在用于教导目的以帮助读者理解由发明者为促进技术而贡献的公开内容和概念，并且应被解释为不限于这些具体陈述的示例和条件，并且说明书中这些示例的组织不与本公开的优势和劣势的示出相关。

Claims (14)

1.一种用于在显示设备(100)上呈现图像的方法，包括：
通过向图像应用几何变换来修改所述图像，使得所述图像在所述显示设备上的区域比所述图像的其余部分以更高像素密度呈现给观察者(S18)。
2.根据权利要求1所述的方法，其中所述方法还包括通过应用与已经应用于所述图像的所述几何变换相对应的逆变换的光学组件(120)，在所述显示设备上向观察者(S18)呈现所述图像。
3.根据权利要求2所述的方法，其中所述方法还包括：
确定观察者的眼睛凝视位置(S16)；以及
响应于所确定的眼睛凝视位置，改变在所述显示设备上具有更高像素密度的所述图像的区域以及所述光学组件的位置(S18，S20)。
4.根据权利要求1或2所述的方法，其中在所述显示设备上具有更高像素密度的所述图像的区域的位置固定在所述显示设备上的预定的位置处(S18)。
5.根据权利要求1至4中任一项所述的方法，其中所述显示设备是头戴式显示(HMD)设备。
6.根据权利要求5所述的方法，其中所述内容比可以显示在所述显示设备上的内容具有更广的面积，并且其中所述方法还包括：
检测观察者的头部位置(S12)；以及
响应于所检测到的头部位置，选择将显示在所述显示设备上的所述图像的一部分(S14)。
7.一种用于呈现图像的显示设备(100)，所述显示设备(100)至少包括处理器(230)，所述处理器(230)配置为：
通过向所述图像应用几何变换来修改所述图像，使得所述图像在所述显示设备上的区域比所述图像的其余部分以更高像素密度呈现给观察者。
8.根据权利要求7所述的显示设备，其中所述显示设备还包括光学组件(120)，所述显示设备上的所述图像通过所述光学组件(120)呈现给观察者，其中所述光学组件配置为应用与已经应用于所述图像的所述几何变换相对应的逆变换。
9.根据权利要求8所述的显示设备，其中所述显示设备还包括眼睛跟踪传感器(130)，并且其中所述处理器还配置为：
与所述眼睛跟踪传感器协作来确定观察者的眼睛凝视位置；以及
响应于所确定的眼睛凝视位置，改变在所述显示设备上具有更高像素密度的所述图像的区域和所述光学组件的位置。
10.根据权利要求8所述的显示设备，其中所述处理器还配置为：
基于包含在所述内容中的感兴趣的区域的信息来确定观察者的眼睛凝视位置；以及
响应于所确定的眼睛凝视位置，改变在所述显示设备上具有更高像素密度的所述图像的区域以及所述光学组件的位置。
11.根据权利要求9或10所述的显示设备，其中所述显示设备还包括移动所述光学组件的致动器，响应于所确定的眼睛凝视位置，通过操作所述致动器来改变所述光学组件的位置。
12.根据权利要求7或8所述的显示设备，其中在所述显示设备上具有更高像素密度的所述图像的区域的位置固定在所述显示设备上的预定的位置处。
13.根据权利要求7至11中任一项所述的显示设备，其中所述显示设备是头戴式显示(HMD)设备。
14.根据权利要求13所述的显示设备，其中所述显示设备还包括检测观察者的头部位置的位置传感器(145)，其中所述图像比可以显示在所述显示设备上的内容具有更广的面积，并且其中所述处理器还配置为：
与所述位置传感器协作来检测观察者的头部位置；以及
响应于所检测的头部位置，选择将显示在所述显示设备上的所述图像的一部分。
CN201580031912.8A 2014-06-17 2015-06-16 利用像素再分配优化的方法和显示设备 Active CN106461951B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305923.6 2014-06-17
EP14305923.6A EP2958074A1 (en) 2014-06-17 2014-06-17 A method and a display device with pixel repartition optimization
PCT/EP2015/063435 WO2015193287A1 (en) 2014-06-17 2015-06-16 A method and a display device with pixel repartition optimization

Publications (2)

Publication Number Publication Date
CN106461951A true CN106461951A (zh) 2017-02-22
CN106461951B CN106461951B (zh) 2020-07-17

Family

ID=51162628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031912.8A Active CN106461951B (zh) 2014-06-17 2015-06-16 利用像素再分配优化的方法和显示设备

Country Status (10)

Country Link
US (1) US11593914B2 (zh)
EP (2) EP2958074A1 (zh)
JP (1) JP6684728B2 (zh)
KR (1) KR102503029B1 (zh)
CN (1) CN106461951B (zh)
CA (1) CA2952710C (zh)
MX (1) MX371370B (zh)
RU (1) RU2693329C2 (zh)
TW (1) TWI660201B (zh)
WO (1) WO2015193287A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
CN106293047B (zh) * 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10958834B2 (en) 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
EP3602583A4 (en) * 2017-03-22 2020-07-29 Magic Leap, Inc. DISPLAY SYSTEM WITH DYNAMIC FIELD OF VIEW AND VARIABLE FOCUS
US10764552B2 (en) 2017-05-26 2020-09-01 Google Llc Near-eye display with sparse sampling super-resolution
US20190079284A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. Variable DPI Across A Display And Control Thereof
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
JP7228584B2 (ja) 2017-10-22 2023-02-24 ラマス リミテッド 光学ベンチを用いるヘッドマウント拡張現実デバイス
WO2019221105A1 (ja) * 2018-05-15 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 表示装置
IL259518B2 (en) * 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
WO2020261279A1 (en) 2019-06-27 2020-12-30 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
IL290719B2 (en) 2019-12-08 2023-09-01 Lumus Ltd Optical systems with a compact image projector
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
WO2022031572A1 (en) * 2020-08-03 2022-02-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Perceptual-driven foveated displays
JP2024502701A (ja) 2020-12-20 2024-01-23 ルムス エルティーディー． 空間光変調器上のレーザ走査による画像プロジェクタ
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20120320463A1 (en) * 2011-06-17 2012-12-20 Gal Shabtay Auto-focus actuator for field curvature correction of zoom lenses
US20130016413A1 (en) * 2011-07-12 2013-01-17 Google Inc. Whole image scanning mirror display system
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备
US20140085190A1 (en) * 2012-09-26 2014-03-27 Dolby Laboratories Licensing Corporation Display, Imaging System and Controller for Eyewear Display Device

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JPH0638219A (ja) 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JP2896291B2 (ja) * 1993-06-14 1999-05-31 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JP2638444B2 (ja) 1993-10-04 1997-08-06 日本電気株式会社 頭部搭載型画像表示装置
JP3283367B2 (ja) 1993-11-11 2002-05-20 三菱プレシジョン株式会社 潜望鏡映像表示装置
JP3604443B2 (ja) 1995-02-28 2004-12-22 株式会社島津製作所 テレビジョンシステム
US6734838B1 (en) 1998-05-18 2004-05-11 Dimension Technologies Inc. Enhanced resolution for image generation
JP2000310747A (ja) 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
JP2004523795A (ja) 2001-02-21 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ信号を処理する表示システム
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20060145945A1 (en) 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
WO2008053166A1 (en) 2006-10-31 2008-05-08 Bae Systems Plc Image display systems
US8314814B2 (en) 2007-12-20 2012-11-20 Raytheon Company Imaging system
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5414946B2 (ja) * 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
JP5935640B2 (ja) 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20120320463A1 (en) * 2011-06-17 2012-12-20 Gal Shabtay Auto-focus actuator for field curvature correction of zoom lenses
US20130016413A1 (en) * 2011-07-12 2013-01-17 Google Inc. Whole image scanning mirror display system
US20140085190A1 (en) * 2012-09-26 2014-03-27 Dolby Laboratories Licensing Corporation Display, Imaging System and Controller for Eyewear Display Device
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
洪华、高春雨: "紧凑型眼睛跟踪光学透视头戴显示器", 《国际光学学会SPIE会议记录》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮

Also Published As

Publication number Publication date
RU2693329C2 (ru) 2019-07-02
RU2017101239A (ru) 2018-07-17
TW201600887A (zh) 2016-01-01
EP2958074A1 (en) 2015-12-23
KR20170020351A (ko) 2017-02-22
CA2952710A1 (en) 2015-12-23
MX371370B (es) 2020-01-28
KR102503029B1 (ko) 2023-02-23
EP3158531A1 (en) 2017-04-26
JP2017522591A (ja) 2017-08-10
CN106461951B (zh) 2020-07-17
TWI660201B (zh) 2019-05-21
MX2016016718A (es) 2017-04-13
US11593914B2 (en) 2023-02-28
JP6684728B2 (ja) 2020-04-22
EP3158531B1 (en) 2024-04-24
RU2017101239A3 (zh) 2018-12-13
WO2015193287A1 (en) 2015-12-23
US20170132757A1 (en) 2017-05-11
CA2952710C (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN106461951A (zh) 利用像素再分配优化的方法和显示设备
US10984756B2 (en) Adaptive parameters in image regions based on eye tracking information
US10803560B2 (en) Methods and devices for optical aberration correction
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
US8434870B2 (en) Method and apparatus for simulating an optical effect of an optical lens
US20150356714A1 (en) System and method for using digital displays without optical correction devices
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
US10440354B2 (en) Light field display control method and apparatus, and light field display device
CN106297611B (zh) 显示控制方法和装置
TW202304370A (zh) 視力檢測裝置、方法以及系統及非暫態電腦可讀取紀錄媒體
CN114047822B (zh) 近眼显示方法及系统
KR20170048909A (ko) 착용식 디스플레이장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190520

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant