CN111316204A - 显示器系统 - Google Patents
显示器系统 Download PDFInfo
- Publication number
- CN111316204A CN111316204A CN201880072398.6A CN201880072398A CN111316204A CN 111316204 A CN111316204 A CN 111316204A CN 201880072398 A CN201880072398 A CN 201880072398A CN 111316204 A CN111316204 A CN 111316204A
- Authority
- CN
- China
- Prior art keywords
- image data
- recessed
- display
- display device
- concave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 239000000872 buffer Substances 0.000 claims description 72
- 238000000034 method Methods 0.000 claims description 23
- 230000010076 replication Effects 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 13
- 241000023320 Luma <angiosperm> Species 0.000 claims 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005549 size reduction Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
- G09G3/2044—Display of intermediate tones using dithering
- G09G3/2051—Display of intermediate tones using dithering with use of a spatial dither pattern
Abstract
针对图像生成,一种注视跟踪显示器系统(100)包含图形处理器(102)及显示器电路。所述图形处理器(102)经配置以执行凹式图像数据渲染并输出凹式图像数据。所述显示器电路耦合到所述图形处理器(102)。所述显示器电路包含显示器装置(106)及显示器控制器(104)。所述显示器装置(106)经配置以产生可视图像。所述显示器控制器(104)经配置以驱动所述显示器装置(106)。所述显示器控制器(104)包含凹式数据重构电路(116),其经配置以基于从所述图形处理器(102)接收到的所述凹式图像数据以所述显示器装置(106)的分辨率产生图像。
Description
背景技术
多种显示器技术可经调整以由单个观看者使用。举例来说,近眼耳机用于虚拟现实及增强现实系统以提供定向到单个用户的视频显示器。在近眼耳机中,希望实现用于支持光场三维(3D)光学器件或多焦平面3D光学器件(或其它非立体3D光学器件)的高显示器帧速率。在光学领域中真实地显示图像可涉及使用光场或多焦平面而非传统立体方法。然而,用立体方法显示3D需要每只眼睛以60赫兹(Hz)的帧速率(两只眼睛共同以120Hz的帧速率)更新,使用光场或多焦平面需要高得多的帧速率。举例来说,如果在多焦平面系统中,在每一焦平面处显示的图像将以60Hz更新(足够快以预防在每一平面上闪烁)且支持六个光学焦平面,那么需要60Hz x 6=360Hz的端到端帧速率。这意味着从他处获得图像的装置,通常是图形处理器,必须以360Hz生成图像,且接着,以360Hz将这些图像传送到显示器芯片集同时最小化电子器件的电力及成本。这是具有挑战性的,因为在此案例中归因于较高帧速率的较高带宽通常会增加电路的电力及成本。
发明内容
本文中揭示用于注视跟踪显示器中的图像生成的系统及方法。在一个实例中,一种注视跟踪显示器系统包含:图形处理器及显示器电路。所述图形处理器经配置以:执行凹式图像数据渲染;及输出凹式图像数据。所述显示器电路耦合到所述图形处理器。所述显示器电路包含显示器装置及显示器控制器。所述显示器装置经配置以产生可观看图像。所述显示器控制器经配置以驱动所述显示器装置。所述显示器控制器包含凹式数据重构电路,其经配置基于从所述图形处理器接收到的所述凹式图像数据以所述显示器装置的分辨率产生图像。
在另一实例中,一种用于生成图像显示器的方法包含:由图形处理器执行凹式图像数据渲染以产生凹式图像数据。将所述凹式图像数据从所述图形处理器传送到驱动显示器装置的显示器控制器。由所述显示器控制器以所述显示器装置的分辨率从自所述图形处理器接收到的所述凹式图像数据生成输出图像。所述显示器装置显示所述输出图像。
在另一实例中,一种显示器系统包含显示器装置及显示器控制器。所述显示器装置经配置以产生可观看图像。所述显示器控制器经配置以驱动所述显示器装置。所述显示器控制器包含帧缓冲器及凹式数据重构电路。所述帧缓冲器经配置以存储从图形处理器接收到的所述凹式图像数据。所述凹式数据重构电路耦合到所述帧缓冲器的输出。所述凹式数据重构电路经配置以基于所述帧缓冲器中存储的所述凹式图像数据以所述显示器装置的分辨率产生图像。
附图说明
图1展示根据各种实例的图像生成系统的框图。
图2展示根据各种实例的凹式图像的图。
图3A到3C展示根据各种实例的显示器控制器中的凹式图像数据的空间重构。
图4展示根据各种实例的处理凹式图像数据的显示器控制器的框图。
图5展示根据各种实例的用于在图形处理器中产生图像数据的方法的流程图。
图6展示根据各种实例的用于在显示器控制器中处理图像数据的方法的流程图。
具体实施方式
在此描述中,术语“耦合(couple/couples)”意味着间接或直接有线或无线连接。因此,如果第一装置耦合到第二装置,那么所述连接可为通过直接连接或经由其它装置及连接通过间接连接。此外,在此描述中,陈述“基于”意味着“至少部分基于”。因此,如果X是基于Y,那么X可为Y及任何数目个其它因素的函数。
当期望提供用于支持光场三维(3D)光学器件或多焦平面3D光学器件的高显示器帧速率时,提供实现高帧速率的带宽所需的电路通常会增加所涉及的集成电路的成本及功耗。带宽驱动电力以及显示器面板及控制器电力会随着像素计数及帧速率增加而增加。最大化电池运行时间及最小化耳机加热是近眼耳机中的关键问题。
本发明的显示器系统及方法的实施方案减少由显示器控制器与图形处理器之间的图像数据接口消耗的电力。一些实施方案还通过减小通过显示器控制器的电路的实质部分所需的带宽及通过减小显示器控制器中提供的帧存储器的大小降低显示器控制器的成本及由显示器控制器消耗的电力。本文中揭示的实例还通过允许图形处理器将凹式图像数据直接发送到显示器控制器并借此消除对图形处理器中的图像重构处理的需要来减小电力及图形处理器的复杂性。
一些实施方案允许通过将凹式图像数据从图形处理器传送到显示器控制器来减小图形处理器到显示器控制器的通信带宽。图形处理器执行凹式图像数据渲染,而非是重构图像,图形处理器将凹式图像数据传送到显示器控制器。显示器控制器可通过填入缺失像素从凹式图像数据重构图像。
通过减小传送图像所需的带宽,一些实施例减少传送图像所需的时间,借此减小图像延时且提供促进真实三维图像生成的增加的帧速率。一些实施方案还可进一步增加到显示器的帧速率以提供色彩分离伪影抑制。
图1展示根据各种实例的注视跟踪显示器系统100的框图。注视跟踪显示器系统100包含图形处理器(GPU)102、显示器控制器104、显示器装置106及注视跟踪相机108。显示器控制器104及显示器装置106在本文中可称为显示器电路或显示器系统。显示器装置106以视觉形式呈现从显示器控制器104接收到的图像数据。显示器装置106可包含数字微镜装置(DMD)、液晶显示器(LCD)装置、硅基液晶(LCOS)装置或其它类型的显示器技术。在注视跟踪显示器系统100的一些实施方案中,显示器装置108可实施虚拟现实或增强现实耳机中所用的近眼显示器。显示器装置106的一些实施方案包含上取样电路及/或渲染。
注视跟踪相机108捕获观看显示器装置106的用户的图像且将所捕获的图像传送到GPU 102。GPU 102处理从注视跟踪相机108接收到的图像以确定由用户的眼睛定向到其的显示器装置106产生的视觉图像的区域。GPU 102是包含用于有效地渲染存储器中图像的电路的指令执行装置(处理器)。举例来说,GPU 102可包含加速存储器中多边形渲染的电路。GPU 102执行由从计算机可读媒体(例如易失性或非易失性存储器装置)检索的指令指定的操作。由GPU 102执行的指令可经调整以用于图像数据的有效操纵。GPU 102可包含允许GPU 102并行地执行许多操作的多个执行单元(数百或数千执行单元)。
GPU 102包含凹式渲染电路110,其根据由用户的眼睛定向到其的显示器装置106产生的视觉图像的区域渲染源图像数据114。即,凹式渲染电路110执行凹式图像数据渲染。凹式渲染产生具有随着距用户的注视的焦点的距离减小的分辨率的图像。
图2展示根据各种实例的使用凹式渲染产生的图像200的实例。在产生图像200时,GPU 102处理从注视跟踪相机108接收到的图像且确定用户的眼睛聚焦于区域202上。GPU102以高分辨率渲染图像200在区域202内的部分、以相对于区域202较小的分辨率渲染图像200在区域204中的部分及以相对于区域204较小的分辨率渲染图像200在区域206中的部分。在GPU 102的一些实施方案中,区域202可对应于由围绕用户的焦点的中心点约12°的角界定的区域。因此,相对于整体以高分辨率渲染的图像,以高分辨率渲染的区域202可相对较小且通过凹式渲染产生的图像数据量可极大地减小。举例来说,通过凹式渲染产生的图像数据可为通过以高分辨率渲染整个图像产生的图像数据的1/4到1/100或更少。
GPU 102还可包含帧缓冲器112,其存储由凹式渲染电路102生成的凹式图像数据以用于传输到显示器控制器104。因此,GPU 102不会从凹式图像数据重构图像,而是将凹式图像数据发送到显示器控制器104以用于重构。在一些实施方案中,GPU 102可缺少或绕过帧缓冲器112且将凹式图像数据突发地发送到显示器控制器104。因为通过凹式渲染产生的数据的数量相对于高分辨率图像渲染大幅减少,所以将GPU 102连接到显示器控制器104的接口的带宽可减小,随之而来的是数据传送功耗降低。因为GPU 102不会从凹式图像数据重构图像,所以与提供常规凹式图像处理的GPU相比GPU 102较不复杂且消耗较少电力。
显示器控制器是生成用于驱动显示器装置的信号(显示器同步信号)的电路。举例来说,第一显示器控制器生成用于驱动LCD的信号,且第二显示器控制器生成用于驱动DMD的信号。第一显示器控制器与DMD不可兼容,且第二显示器控制器与LCD不可兼容。显示器控制器从存储器(帧缓冲器)读取成像数据,且生成信号以基于图像数据驱动显示器装置。显示器控制器104接收由GPU 102传输的凹式图像数据,且重构图像以在显示器装置106上呈现。显示器控制器104包含帧缓冲器114、凹式图像数据重构电路116及升频转换电路118。帧缓冲器114可包含两个或两个以上存储器缓冲器,其中每一存储器缓冲器经配置以存储从GPU 102接收到的凹式图像的数据。帧缓冲器114可实施双缓冲器,其中一个存储器缓冲器正从GPU 102接收凹式图像数据而不同存储器缓冲器正输出先前从GPU 102接收到的帧的凹式图像数据以用于重构。例如,如果绕过GPU帧缓冲器112,那么帧缓冲器114可以恒定速率或突发地从GPU 102接收凹式图像数据,这可减少图像呈现延时。
凹式图像数据从GPU 102传送到显示器控制器104允许关于帧缓冲器114及相关联电路的数个优化。因为针对凹式图像传输的数据量不超过对应高分辨率数据的量的1/4,所以帧缓冲器114的输入带宽可减少至少4倍,或针对一些图像可高达100倍或更多。类似地,帧缓冲器114的大小可相对于常规系统减小四倍,这会减小电路面积及成本。另外,在帧缓冲器114的输入侧(“写入侧”)上无需图像处理,这也会降低显示器控制器104的功耗及成本。
注视跟踪显示器系统100的实施方案通过提供呈亮度-色度(YCrCb)格式而非红绿蓝(RGB)格式的像素数据可进一步减少从GPU 102传送到显示器控制器104的图像数据量,其中YCrCb格式像素数据可被抽取(例如)2或4倍。给定每RGB格式像素30个位及每YCrCb格式像素20个位,一些实施方案在使用YCrCb格式时可将帧缓冲器114的大小减小1.5倍。给定归因于凹式图像数据的4倍尺寸减小,由于YCrCb像素格式的额外尺寸减小允许帧缓冲器114的尺寸相对于常规系统减小6倍。
显示器控制器104通过在帧缓冲器114之后提供图像数据处理实现YCrCb像素格式的使用。因此,在显示器控制器104中,以YCrCb像素格式接收的凹式图像数据在帧缓冲器114的读取侧上可经转换成RGB格式。在显示器装置104中采用DMD的常规系统中,帧缓冲器中存储的数据必须呈RGB格式。
显示器控制器104的一些实施方案包含帧缓冲器114前面的转换电路,其在将数据存储于帧缓冲器114中之前将以RGB像素格式接收的凹式图像数据转换成YCrCb像素格式。
凹式图像数据重构电路116处理从帧缓冲器114读取的凹式图像数据。由凹式图像数据重构电路116提供的处理包含从YCrCb像素格式到RGB像素格式的转换及从凹式图像数据的图像重构。凹式图像数据重构电路116可包含提供从YCrCb像素格式到RGB像素格式的转换的查找表。为了执行图像重构,凹式图像数据重构电路116包含复制关于从GPU 102接收到的凹式图像数据的一或多个帧提供的像素值的电路。举例来说,凹式图像数据重构电路116可包含在给定帧内提供像素数据的空间复制的电路及/或跨不同帧提供像素数据的时间复制的电路。在凹式图像数据的情况下,GPU 102提供描述所提供的帧数据的信息(凹形标头)。在各种实施方案中,凹形标头可具备凹式图像数据的帧的每一部分、具备凹式图像数据的每一帧、具备凹式图像数据的多个帧或具备图像序列。显示器控制器104接收且应用凹形标头以重构图像。
在注视跟踪显示器系统100的一些实施方案中,以块为基础执行像素处理。举例来说,在一些实施方案中,采用8×8像素的块。一些实施方案可采用不同块大小(例如,16×16)。8×8块大小在关于逐区域使用不同凹形压缩因子的渲染期间向GPU 102提供精细分辨率。
在每个帧开始时,GPU 102将凹形标头传输到显示器控制器。凹形标头提供关于图像中的每一块(例如,每一8×8块)的信息。凹形标头可在每一帧开始时在垂直消隐时间内发送。凹形标头中的典型的数据量可粗略等于两个图像线。因此,一些实施方案通过高速接口传输凹形标头使得所有数据都可在垂直消隐时间内接收。注视跟踪显示器系统100的一些实施方案通过用于将图像数据从GPU 102传输到显示器控制器104的相同高速接口传输凹形标头。在一些实施方案中,符合显示器串行接口(DSI)标准的接口可用于将凹式图像数据及凹形标头从GPU 102传送到显示器接口104。
凹式图像数据重构电路116解压帧缓冲器114的读取侧上的每一块(例如,每一8x8块)的凹式数据。解压重新存储由凹式数据表示的图像。为了最小化带宽及电力,凹式图像数据重构电路116可使用像素复制填入缺失像素。图3A到3C展示根据各种实例的显示器控制器中的凹式图像数据的空间重构。图3A展示16x16像素块,其中仅单个像素值,即阴影像素,被提供于从GPU 102接收到的凹式图像数据中。凹式图像数据重构电路116将所提供的像素值复制到16x16块的每个像素(16x16块中的在所提供的像素值下方或右侧的每个像素)。图3A的图案表示图像数据减少256倍。图3B展示16x16像素块,其中像素值,即阴影像素,针对像素的每个8x8块被提供于从GPU 102接收到的凹式图像数据中。针对所提供的每个像素值,凹式图像数据重构电路116将所提供的像素值复制到所述块中的在所提供的像素值下方或右侧的每个像素。图3B的图案表示图像数据减少64倍。图3C展示16x16像素块,其中像素值,即阴影像素,针对像素的每个4x4块被提供于从GPU 102接收到的凹式图像数据中。针对所提供的每个像素值,凹式图像数据重构电路116将所提供的像素值复制到块中的在所提供的像素值下方或右侧的每个像素。图3C的图案表示图像数据减少16倍。
凹式图像数据重构电路116的一些实施方案可以与图3A到3C中展示的方式不同的方式提供像素数据的空间复制。举例来说,一些实施方案可实施像素的复制,使得所提供的像素值尽可能相等地由所有侧上的经复制像素环绕。不同于简单复制,一些实施方案可应用所提供的像素值之间的内插来填入缺失像素。
图像数据块的凹形标头可包含指定空间复制、时间复制及/或块的像素格式的字段。空间复制字段可指定应用于块中的空间抽取模式及是否将模式应用于邻近块。举例来说,七位字段可包含指定64个不同抽取模式中的哪一者应用于块的六个位及指定相同抽取模式已被应用于邻近块的一位字段。时间复制字段可指定(例如,经由单个位旗标)是否将块写入到帧缓冲器114。例如,如果块未被写入,那么可应用先前写入的帧的数据来代替丢弃的像素数据。像素格式字段可指定像素数据的格式及/或大小,例如YCrCb或RGB及/或像素位的数目。举例来说,三位字段可指定七个YCrCb或RGB像素大小中的一者被应用到块。
升频转换电路118从凹式图像数据重构电路116接收经重构图像及多次将经重构图像数据传输到显示器装置106以提高帧速率。升频转换电路118可包含双伽玛电路、空间时间多路复用(STM)电路及位平面生成电路。双伽玛电路调整从凹式图像数据重构电路116接收到的图像数据的对比度或亮度。位平面生成电路从自凹式图像数据重构电路116接收到的RGB像素数据产生位平面(例如,每一色彩的位平面)。STM电路将抖动应用于将传输到显示器装置106的图像数据。
每次图像被传输到显示器装置,升频转换电路118都会将不同空间时间多路复用(STM)抖动模式应用于图像数据。此允许较低抖动噪声,这是因为所显示的每个完整的数据帧具有所使用的一组唯一空间抖动模式。空间抖动模式的较快时间移动降低抖动噪声的可感知性。升频转换电路118可将传输到显示器装置106的图像数据的帧速率提高到高达每秒1440个帧的速率(或在一些实施方案中更高)。通过提高帧速率,升频转换电路118可抑制或消除色彩分离伪影。
在其中显示器装置106包含DMD的注视跟踪显示器系统100的实施方案中,随着显示器帧速率提高,每显示器帧时间需要加载较少位平面。这是因为时间STM抖动模式由于以较高速率展示每一完整的帧而以更快速率移动。抖动模式的此更快移动帮助改进针对抖动的所感知信噪比。举例来说,在60Hz下可能需要24个RGB位平面,但在1440Hz下可能仅需要9个RGB位平面以给出与由观看图像的用户所感知到的相同的时间抖动噪声性能。
图4展示根据各种实例的显示器控制器104的框图。显示器控制器104包含帧缓冲器114、凹式图像数据重构电路116、升频转换电路118及显示器接口电路408。帧缓冲器414包含多个存储器缓冲器402。每一存储器缓冲器402包含用于从GPU 102接收到的凹式图像数据帧的存储装置。多路复用器410或等效数据选择电路将与第一帧相关联的凹式图像数据从存储器缓冲器402中的一者路由到凹式图像数据重构电路116,而从GPU 102接收到的第二帧的凹式图像数据被写入到存储器缓冲器402中的不同者。
凹式图像数据重构电路116包含色彩空间转换电路416、凹形标头存储器412、复制控制电路414、复制缓冲器/像素位置组织器404及像素空间复制器406。多路复用器410将从存储器缓冲器402中的所选择者读取的凹式图像数据路由到色彩空间转换电路416。色彩空间转换电路416将存储于帧缓冲器114中的呈YCrCb格式的像素数据转换成RGB格式,及将RGB格式像素数据提供到复制缓冲器/像素位置组织器404。像素格式及大小可跨块改变,这是因为GPU 102可减小与用户的焦点相距经预先确定的距离的块的位深度(例如,图像200的区域206的像素可使用比在区域204及/或202中的像素少的位来表示)。
针对凹式图像数据的每一帧,GPU 102将凹形标头传输到显示器控制器104。凹形标头存储于凹形标头存储器412中。凹形标头存储器412将凹形标头提供到复制控制电路414及复制缓冲器/像素位置组织器404以用于图像重构。凹形标头指定凹式图像数据的每一块的空间复制及时间复制的参数。
复制缓冲器/像素位置组织器404经由色彩空间转换电路416接收从帧缓冲器114提供的RGB格式的凹式图像数据。如果显示器装置106以逐列方式加载(例如,显示器装置106包含DMD),那么复制缓冲器/像素位置组织器404存储充足的凹式图像数据以允许在从帧缓冲器114的数个读取内构建一列像素数据。像素列数据分散于帧缓冲器114中。复制缓冲器/像素位置组织器404在执行空间复制之前将从帧缓冲器114读取的数据分类成列。替代地,显示器控制器104的一些实施方案可包含在将像素数据写入到帧缓冲器114中之前将所述数据分类成列的电路。
像素空间复制器406接收由复制缓冲器/像素位置组织器404构建的像素列数据,及将像素值复制到其值并未被提供于凹式图像数据中的像素位置中。像素空间复制器406包含:触发器,其形成列缓冲器以存储显示器列的像素数据;及多路复用器,其使能够将像素值从列的紧邻较高行及/或从紧邻的前一列的相同行路由到列的给定行。以此方式,像素空间复制器406在列内且跨列复制像素值。
由像素空间复制器406产生的经压缩RGB列数据被提供到升频转换电路118。升频转换电路118包含双伽玛电路、STM电路及位平面生成电路。双伽玛电路将双伽玛函数应用于将在显示器装置106上显示的每一像素。位平面生成电路从自像素空间复制器406接收到的RGB像素数据产生位平面(例如,每一色彩的位平面)。STM电路将抖动应用于将显示到显示器装置106的像素。升频转换电路118包含多路复用器,其选择将传输到显示器装置106的位平面。
显示器控制器104的一些实施方案可包含在将图像数据写入到帧缓冲器114中之前执行像素复制的电路。在此类实施方案中,可包含扭曲引擎以在图像重构期间提供十分高的图像质量。
显示器接口电路408包含:驱动器电路,其用以将图像数据驱动到显示器装置;及控制电路,其控制显示器装置106的操作时序及/或图像数据到显示器装置的传输。
图5展示根据各种实例的用于在图形处理器中产生图像数据的方法500的流程图。尽管为了方便起见循序地描绘,但所展示的动作的至少一些可按不同顺序执行及/或并行执行。另外,一些实施方案可仅执行所展示的动作的一些。在一些实施方案中,方法500的操作中的至少一些可由GPU 102实施。
在框502中,注视跟踪相机108捕获注视跟踪显示器系统100的用户的眼睛的图像。图像由GPU 102或由注视跟踪显示器系统100的另一组件处理以产生注视数据,注视数据识别显示器装置106的位置或用户的眼睛聚焦于其的显示器装置106上显示的图像的位置。GPU 102接收注视数据以用于将在显示器装置106上显示的图像的凹式渲染。
在框504中,GPU 102应用注视数据以渲染凹式图像。凹式图像在用户的注视聚焦于其的位置周围的相对较小区域中提供高分辨率且在距用户的注视聚焦于其的位置一定距离的位置提供较低分辨率。GPU 102生成凹式图像的每一像素块的凹形标头。凹形标头指定像素块的空间复制参数、时间复制参数及/或像素格式参数。凹式图像的像素可以RGB格式或以YCrCb格式表示。一些实施方案采用YCrCb格式进一步减少将传送到显示器控制器104的图像数据量。
在框506中,GPU 102将凹式图像数据及凹形标头传输到显示器控制器104。GPU102可经由符合DSI的接口将凹式图像数据及凹形标头传输到显示器控制器104。GPU不会从凹式图像数据重构图像。
图6展示根据各种实例的用于在显示器控制器中处理图像数据的方法600的流程图。尽管为了方便起见循序地描绘,但所展示的动作的至少一些可按不同顺序执行及/或并行执行。另外,一些实施方案可仅执行所展示的动作中的一些。在一些实施方案中,方法600的操作中的至少一些可由显示器控制器104实施。方法500可连同方法600一起在注视跟踪显示器系统100中执行。
在框602中,显示器控制器104接收由GPU 102生成的凹式图像数据及凹形标头。显示器控制器104可经由符合DSI的接口接收由GPU 102生成的凹式图像数据及凹形标头。
在框604中,显示器控制器104将凹式图像数据存储于帧缓冲器114中,及将凹形标头存储于凹形标头存储器412中。
在框606中,显示器控制器104从帧缓冲器114读取凹式图像数据,及从凹形标头存储器412读取对应于凹式图像数据的凹形标头。凹式图像数据及凹形标头被提供到凹式图像数据重构电路116。
在框608中,凹式图像数据重构电路116应用凹形标头以将凹式图像数据的像素从YCrCb格式转换成RGB格式。凹形标头指定像素数据的格式。
在框610中,凹式图像数据重构电路116应用凹形标头以从凹式图像数据重构图像。图像重构包含凹式图像数据的像素块中的像素数据的空间复制。凹形标头指定像素块抽取模式,其又确定将如何执行像素复制(例如,确定将通过复制填入哪些像素)。
在框612中,将双伽玛函数应用于由数据重构电路116输出的每一像素。双伽玛函数调整图像数据的对比度或亮度。
在框614中,将STM抖动应用于像素数据。抖动将选择用于显示的像素子集的掩码应用于像素信息。
在框616中,将像素数据转换成位平面,且选择位平面用于显示。
在框618中,将所选择的位平面的数据驱动到显示器装置106以用于呈现,且显示器装置106基于接收到的数据生成视觉显示。
框614到618的操作可以产生到显示器装置的高图像传送速率(高帧速率)的速率执行。举例来说,针对从GPU 102传送到显示器控制器104的每一凹式图像,可多次执行框614到618的操作。在一些实施方案中,框614到618的操作可以适于抑制色彩分离伪影的速率(例如,每秒1440个帧的速率)执行。
修改在所描述的实施例中是可能的,且在权利要求书的范围内,其它实施例是可能的。
Claims (20)
1.一种注视跟踪显示器系统,其包括:
图形处理器,其经配置以:执行凹式图像数据渲染;及输出凹式图像数据;及
显示器电路,其耦合到所述图形处理器,所述显示器电路包括:显示器装置,其经配置以产生可视图像;及显示器控制器,其经配置以驱动所述显示器装置,所述显示器控制器包括凹式图像数据重构电路,其经配置以基于从所述图形处理器接收到的所述凹式图像数据以所述显示器装置的分辨率产生图像。
2.根据权利要求1所述的系统,其中所述显示器控制器包括耦合到所述凹式数据重构电路的帧缓冲器,所述帧缓冲器经配置以存储从所述图形处理器接收到的所述凹式图像数据并将所述经存储凹式图像数据提供到所述凹式数据重构电路。
3.根据权利要求2所述的系统,其中所述帧缓冲器经配置以按所述显示器装置的所述分辨率存储所述图像的不超过四分之一的所述像素数据。
4.根据权利要求2所述的系统,其中所述帧缓冲器经配置以按所述显示器装置的所述分辨率存储所述图像的不超过六分之一的所述像素数据。
5.根据权利要求2所述的系统,其中所述显示器控制器经配置以在将所述凹式图像数据传送到所述凹式数据重构电路之前将所述帧缓冲器中存储的所述凹式图像数据作为亮度及色度值转换成红绿蓝经编码数据。
6.根据权利要求2所述的系统,其中:
所述图形处理器经配置以:生成所述凹式图像数据的凹形标头,其中所述凹形标头包括所述凹式图形数据中的每一块的空间复制信息;及将所述凹形标头连同所述凹式图像数据一起提供到所述显示器控制器;且
所述显示器控制器经配置以应用所述空间复制信息来以所述显示器装置的所述分辨率从所述凹式图像数据重构所述图像。
7.根据权利要求6所述的系统,其中所述凹形标头包括所述凹式图像数据中的每一块的时间复制信息,且所述显示器控制器经配置以应用所述时间复制信息来控制所述凹式图像数据到所述帧缓冲器的写入。
8.根据权利要求1所述的系统,其中所述显示器装置经配置以仅显示红绿蓝经编码图像数据,且所述图形处理器经配置以提供编码为亮度及色度值的所述凹式图像数据。
9.根据权利要求1所述的系统,其中所述显示器控制器经配置以按高达每秒1440帧的速率将所述显示器装置的所述分辨率下的所述图像提供到所述显示器装置。
10.根据权利要求1所述的系统,其中所述显示器控制器包括耦合到所述凹式数据重构电路的帧缓冲器,且其中所述像素重构电路经配置以:接收从所述图形处理器接收到的所述凹式图像数据;执行像素复制以按所述显示器装置的所述分辨率产生所述图像;及将所述显示器装置的所述分辨率下的所述图像存储于所述帧缓冲器中。
11.一种用于生成图像显示器的方法,所述方法包括:
由图形处理器执行凹式图像数据渲染以产生凹式图像数据;
将所述凹式图像数据从所述图形处理器传送到驱动显示器装置的显示器控制器;通过所述显示器控制器以所述显示器装置的分辨率从自所述图形处理器接收到的所述凹式图像数据生成输出图像;及
通过所述显示器装置显示所述输出图像。
12.根据权利要求11所述的方法,其包括:将所述凹式图像数据存储于所述显示器控制器的输入处的帧缓冲器中;及将来自所述帧缓冲器的待处理的所述凹式数据作为输入提供到所述生成。
13.根据权利要求12所述的方法,其包括:在所述生成之前将所述帧缓冲器中存储的作为亮度及色度值的所述凹式图像数据转换成红绿蓝经编码数据。
14.根据权利要求12所述的方法,其包括:通过所述图形处理器生成所述凹式图像数据的凹形标头,其中所述凹形标头包括所述凹式图像数据中的每一像素的空间复制信息;通过所述图形处理器将所述凹形标头连同所述凹式图像数据一起提供到所述显示器控制器;及通过所述显示器控制器应用所述空间复制信息以按所述显示器装置的所述分辨率从所述凹式图像数据重构所述输出图像。
15.根据权利要求14所述的方法,其中所述凹形标头包括所述凹式图像数据中的每一像素的时间复制信息;且其中所述方法进一步包括:通过所述显示器控制器应用所述时间复制信息来控制所述凹式图像数据到所述帧缓冲器的写入。
16.根据权利要求11所述的方法,其中所述显示包括用红绿蓝经编码图像数据驱动所述显示器装置;且其中所述凹式图像数据经编码为亮度及色度值。
17.根据权利要求11所述的方法,其包括以高达每秒1440帧的速率将所述输出图像数据提供到所述显示器装置。
18.一种显示器系统,其包括:
显示器装置,其经配置以产生可观看图像;
显示器控制器,其经配置以驱动所述显示器装置,所述显示器控制器包括:帧缓冲器,其经配置以存储从图形处理器接收到的凹式图像数据;及凹式数据重构电路,其耦合到所述帧缓冲器的输出,所述凹式数据重构电路经配置以基于所述帧缓冲器中存储的所述凹式图像数据以所述显示器装置的分辨率产生图像。
19.根据权利要求18所述的显示器系统,其中所述显示器控制器经配置以在将所述凹式图像数据传送到所述凹式数据重构电路之前将所述帧缓冲器中存储的所述凹式图像数据作为亮度及色度值转换成红绿蓝经编码数据。
20.根据权利要求18所述的显示器系统,其中所述显示器控制器经配置以:
接收凹形标头连同所述凹式图像数据,其中所述凹形标头包括:所述凹式图像数据中的每一块的空间复制信息;及所述凹式图像数据中的每一块的时间复制信息;及
应用所述空间复制信息来以所述显示器装置的所述分辨率从所述凹式图像数据重构所述图像;及
应用所述时间复制信息来控制所述凹式图像数据到所述帧缓冲器的写入。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762611239P | 2017-12-28 | 2017-12-28 | |
US62/611,239 | 2017-12-28 | ||
US16/232,179 | 2018-12-26 | ||
US16/232,179 US10650791B2 (en) | 2017-12-28 | 2018-12-26 | Display system |
PCT/US2018/068028 WO2019133921A1 (en) | 2017-12-28 | 2018-12-28 | Display system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111316204A true CN111316204A (zh) | 2020-06-19 |
Family
ID=67059801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880072398.6A Pending CN111316204A (zh) | 2017-12-28 | 2018-12-28 | 显示器系统 |
Country Status (3)
Country | Link |
---|---|
US (3) | US10650791B2 (zh) |
CN (1) | CN111316204A (zh) |
WO (1) | WO2019133921A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10714050B2 (en) * | 2018-03-21 | 2020-07-14 | Daqri, Llc | Reducing latency in augmented reality (AR) displays |
US11064387B1 (en) * | 2018-05-23 | 2021-07-13 | Apple Inc. | Adaptive wireless transmission schemes |
GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
JP2020145344A (ja) * | 2019-03-07 | 2020-09-10 | キオクシア株式会社 | 半導体記憶装置 |
KR102582407B1 (ko) * | 2019-07-28 | 2023-09-26 | 구글 엘엘씨 | 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 |
GB2587230B (en) | 2019-09-20 | 2022-09-28 | Sony Interactive Entertainment Inc | Graphical rendering method and apparatus |
US11435821B2 (en) | 2019-09-26 | 2022-09-06 | Apple Inc. | Gaze-independent dithering for dynamically foveated displays |
JP2021125854A (ja) * | 2020-02-07 | 2021-08-30 | キヤノン株式会社 | 画像配信装置、方法、プログラム及び記憶媒体 |
US11562715B2 (en) * | 2020-08-28 | 2023-01-24 | Arm Limited | Graphics processing systems |
CN114935971A (zh) * | 2021-02-05 | 2022-08-23 | 京东方科技集团股份有限公司 | 显示驱动芯片、显示装置和显示驱动方法 |
US20240126082A1 (en) * | 2021-03-01 | 2024-04-18 | University Of Central Florida Research Foundation, Inc. | Optical display system and electronics apparatus |
US11871131B2 (en) * | 2021-08-06 | 2024-01-09 | Raytheon Company | Foveal compressive upsampling |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
US20050018911A1 (en) * | 2003-07-24 | 2005-01-27 | Eastman Kodak Company | Foveated video coding system and method |
CN102682682A (zh) * | 2011-03-14 | 2012-09-19 | 辉达公司 | 用于控制具有自刷新能力的显示设备的方法和系统 |
CN105574924A (zh) * | 2014-10-31 | 2016-05-11 | 三星电子株式会社 | 渲染方法、渲染设备和电子设备 |
US20170287446A1 (en) * | 2016-03-31 | 2017-10-05 | Sony Computer Entertainment Inc. | Real-time user adaptive foveated rendering |
WO2017214671A1 (en) * | 2016-06-17 | 2017-12-21 | Immersive Robotics Pty Ltd | Image compression method and apparatus |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2270811B (en) * | 1992-09-17 | 1996-02-07 | Sony Broadcast & Communication | Video data compression |
US6519004B1 (en) * | 1998-10-09 | 2003-02-11 | Microsoft Corporation | Method for transmitting video information over a communication channel |
US6289297B1 (en) * | 1998-10-09 | 2001-09-11 | Microsoft Corporation | Method for reconstructing a video frame received from a video source over a communication channel |
GB9919805D0 (en) * | 1999-08-21 | 1999-10-27 | Univ Manchester | Video cording |
US7495638B2 (en) * | 2003-05-13 | 2009-02-24 | Research Triangle Institute | Visual display with increased field of view |
JP6134478B2 (ja) * | 2012-03-28 | 2017-05-24 | ソニー株式会社 | 情報処理装置、表示制御方法、プログラムおよび記憶媒体 |
DE102015112799A1 (de) | 2015-08-04 | 2017-02-09 | Marcus Richter | Implantat zum Verschließen eines Defekts im Anulus fibrosus einer Bandscheibe |
US10089725B2 (en) * | 2016-02-09 | 2018-10-02 | Google Llc | Electronic display stabilization at a graphics processing unit |
-
2018
- 2018-12-26 US US16/232,179 patent/US10650791B2/en active Active
- 2018-12-28 CN CN201880072398.6A patent/CN111316204A/zh active Pending
- 2018-12-28 WO PCT/US2018/068028 patent/WO2019133921A1/en active Application Filing
-
2020
- 2020-05-11 US US16/871,793 patent/US11024267B2/en active Active
-
2021
- 2021-04-22 US US17/238,023 patent/US11710468B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
US20050018911A1 (en) * | 2003-07-24 | 2005-01-27 | Eastman Kodak Company | Foveated video coding system and method |
CN102682682A (zh) * | 2011-03-14 | 2012-09-19 | 辉达公司 | 用于控制具有自刷新能力的显示设备的方法和系统 |
CN105574924A (zh) * | 2014-10-31 | 2016-05-11 | 三星电子株式会社 | 渲染方法、渲染设备和电子设备 |
US20170287446A1 (en) * | 2016-03-31 | 2017-10-05 | Sony Computer Entertainment Inc. | Real-time user adaptive foveated rendering |
WO2017214671A1 (en) * | 2016-06-17 | 2017-12-21 | Immersive Robotics Pty Ltd | Image compression method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
US20210241724A1 (en) | 2021-08-05 |
US10650791B2 (en) | 2020-05-12 |
US11024267B2 (en) | 2021-06-01 |
US20190206369A1 (en) | 2019-07-04 |
US11710468B2 (en) | 2023-07-25 |
WO2019133921A1 (en) | 2019-07-04 |
US20200273436A1 (en) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11024267B2 (en) | Display system | |
CN109891381B (zh) | 双路径中央凹图形管线 | |
KR101107979B1 (ko) | 다중 입력 소스 포맷으로부터 이미지 데이터를디스플레이하기 위한 개선된 다중 모드를 가진 디스플레이시스템 | |
US9571823B2 (en) | Image display apparatus and method | |
US6151074A (en) | Integrated MPEG decoder and image resizer for SLM-based digital display system | |
GB2556990A (en) | Low resolution RGB rendering for efficient transmission | |
EP3539120A1 (en) | Early sub-pixel rendering | |
EP2462745B1 (en) | Optical compensation for ghosting in stereoscopic displays | |
JP2009512896A (ja) | 表示装置、表示制御装置及び表示方法 | |
JP2009518682A (ja) | 表示装置及び表示方法 | |
JP5472122B2 (ja) | 画像伝送システムおよび画像伝送方法 | |
US20120069147A1 (en) | Display device and display method | |
TWI493959B (zh) | 影像處理系統及影像處理方法 | |
JP2006524457A (ja) | コントラスト向上のための電子ペーパに基づいたスクリーンの使用 | |
US20080158431A1 (en) | System and Method for Improving Video Image Sharpness | |
JP2008217018A (ja) | Slmベースのデジタル表示装置のための集積mpegデコーダ及び画像リサイズ装置 | |
CN112351267A (zh) | 视频显示方法、显示控制器、显示控制卡和显示控制系统 | |
US8896615B2 (en) | Image processing device, projector, and image processing method | |
JP2000050315A (ja) | 立体画像の階調表示制御方法および装置 | |
JP3464437B2 (ja) | デジタル映像信号伝送装置および映像表示装置 | |
CN110741634B (zh) | 图像处理方法、头戴显示设备和头戴显示系统 | |
KR102492367B1 (ko) | 영상 데이터 생성 방법과 이를 이용한 입체 영상 표시 시스템 | |
JP2016158014A (ja) | 画像処理装置、表示装置、及び、画像圧縮方法 | |
US20080193022A1 (en) | Interface for fast pattern projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |