CN110930877B - 显示设备 - Google Patents

显示设备 Download PDF

Info

Publication number
CN110930877B
CN110930877B CN201910770000.2A CN201910770000A CN110930877B CN 110930877 B CN110930877 B CN 110930877B CN 201910770000 A CN201910770000 A CN 201910770000A CN 110930877 B CN110930877 B CN 110930877B
Authority
CN
China
Prior art keywords
light
information
display device
frame data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910770000.2A
Other languages
English (en)
Other versions
CN110930877A (zh
Inventor
住尚树
江渡惠子
陈建诚
荒木敏彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innolux Corp
Original Assignee
Innolux Display Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innolux Display Corp filed Critical Innolux Display Corp
Publication of CN110930877A publication Critical patent/CN110930877A/zh
Application granted granted Critical
Publication of CN110930877B publication Critical patent/CN110930877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/028Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种显示设备,包括像素阵列、光学调制器、控制器和具有存储帧数据集的至少一存储装置。光学调制器将从像素阵列发射的光调制到相应的角度。控制器根据帧数据集产生多个图像,多个图像的光线分布是相应于相异视角。帧数据集存储场景中物体的颜色信息和材料信息,显示设备同时通过像素阵列显示多个图像。

Description

显示设备
技术领域
本发明涉及一种显示设备,特别是能够在不同视角下显示不同颜色或光强度的图像的显示设备。
背景技术
随着显示设备在越来越多的应用中被采用,也提高了对更好的视觉效果的需求。例如,高动态范围(HDR)显示器被开发以显示高对比度度图像,因此可以看到图像的亮部和暗部中的细节。尽管HDR显示器能够显示具有更高亮度对比度的图像并且提供比传统显示设备更好的视觉效果,但是HDR显示器仍然难以显示真实的光照效果。
发明内容
实施例提供一种显示设备,包括像素阵列,光学调制器,控制器,及至少一存储装置。所述光学调制器设置在所述像素阵列上,用于将所述像素阵列发射的光调制到相应的角度。所述控制器用以产生场景的多个图像,所述多个图像的光线分布是相应于相异视角。所述至少一存储装置具有帧数据集,存储有所述场景中物体的颜色信息和材料信息。所述控制器根据所述帧数据集产生所述多个图像,所述显示设备同时经由所述像素阵列显示所述多个图像。
实施例还提供一种操作显示设备的方法,所述显示设备包括像素阵列,光学调制器,控制器和至少一存储装置。所述方法包括将帧数据集存储到所述至少一存储装置,所述帧数据集存储场景中物体的颜色信息和材料信息,所述控制器至少根据存储在所述帧数据集中的信息,产生所述场景的多个图像,所述多个图像的光线分布是相应于相异视角,所述显示设备同时通过所述像素阵列显示所述多个图像,及所述光学调制器将从所述像素阵列发射的光调制到相应的角度。
附图说明
图1是根据本公开的一个实施例的显示设备的示意图。
图2是图1中的显示设备的观看场景的示意图。
图3是图1中的显示设备显示的场景的物体上的镜面光反射的示意图。
图4是对应于不同材料的镜面光反射光分布的示意图。
图5是根据本公开的一个实施例的帧数据集的数据结构的示意图。
图6A-6E是根据本公开的一个实施例的从五个视角的图1的显示设备的静态场景的图像。
图7是根据本公开另一实施例的显示设备的示意图。
图8是图7的扫描系统的使用场景的示意图。
图9是根据本公开另一实施例的扫描系统的示意图。
图10是根据本公开的一个实施例的用于操作图1的显示设备的方法的流程图。
图11是根据本公开的一个实施例的用于操作图7的显示设备的方法的流程图。
附图标记说明:100、200-显示设备;110-第一像素阵列;120-光学调制器;130-控制器;135-存储装置;140-第二像素阵列;150-光照图;160-视角对应表;170-帧数据集;180-眼睛跟踪装置;190-光捕获装置;290、390-扫描系统;PA1、PA2、PA3、PB1、PB2、PB3-像素;VA1、VA2、VA3、VB1、VB2、VB3-观察方向;LV-照明向量;NV-表面法向量;RV-反射向量;VV-视角向量;292、392A1至392AN-光源;294、394-光捕获装置;OA-物体;M1、M2、M3-材料;F1至FM-帧;PM1至PMN、PR1至PRN-像素;NX、NY-法向量;400、500-方法;S410至S480、S510至S530-步骤。
具体实施方式
本文所使用的术语“约”和“实质上”包括所述的值,意味着在本领域普通技术人员确定的特定值的可接受的偏差范围内,考虑所讨论的测量和与特定量的测量相关的误差(即测量系统的限制)。例如,“实质上”可以表示在一个或多个标准偏差内,或在±20%,±15%,±10%,±5%,±3%所述的百分比之内。应注意的是,由于过程中的偏差或波动,术语“相同”也可以是“约”的意思。
应注意的是,本公开的附图中的元件或装置可以以本领域技术人员已知的任何形式或配置存在。另外,表述“一层设置在另一层上”可表示该层与另一层直接接触,或者说,该层不与另一层直接接触,在该层和另一层之间设置一个或多个中间层。
本公开显示设备的一个优点是能显示静态场景中的真实光照效果。为了显示真实的光照效果,当从不同的观看位置观看显示器时,人们可能在同一物体上看到不同的光线分布。例如,一些物体,例如蝴蝶翅膀和气泡,可以散射光线并产生结构色彩。在此情况下,当从不同位置观察物体时,人们可能看到不同的颜色和/或光强度。然而,传统显示器只能显示对应于从不同视角观赏静态场景的光线分布。
图1是根据本公开的一个实施例的显示设备100的示意图。显示设备100包括公共信息显示设备,汽车显示设备,商业展览显示设备或其他的显示设备。显示设备100包括第一像素阵列110,光学调制器120和控制器130。
在一些实施例中,第一像素阵列110可以生成不同的灰阶颜色以显示图像。第一像素阵列110可以包括显示介质。例如,显示介质可包括液晶,发光二极管(LED),有机发光二极管(OLED),微型发光二极管,微型发光二极管,量子点,荧光,磷光体,其他种类的显示介质或它们的组合。然而,本公开不限于此。在一些其他实施例中,第一像素阵列110可以使用其他类型的像素阵列来根据系统要求来显示图像。
在一些实施例中,光学调制器120设置在第一像素阵列110上,并且能够将从第一像素阵列110发射的光调制到对应的角度。光学调制器120可以是,例如,双凸透镜,液晶(LC)微透镜,视差屏障,LC视差屏障或可以调制光的其他合适的光学元件,但不限于此。
利用光学调制器120,由第一像素阵列110中的至少一部分像素发射的光可以被调制到不同的视角。例如,图2显示了显示设备100的观看场景。如图2所示,像素PA1,PA2和PA3发射的光可以被调制到相同的观看区域A,而像素PB1,PB2和PB3发射的光可以被调制到相同的观看区域B。因此,当观看显示设备100时,在观看区域A观看显示设备100的观看者的眼睛将看到由像素PA1,PA2和PA3显示的图像,以及在观看区域B观看显示设备100的观看者的眼睛将看到像素PB1,PB2和PB3显示的图像。
控制器130可以生成具有与不同视角对应的不同光线分布(例如,颜色和/或光强度)的相同场景的图像,而且显示设备100将通过第一像素阵列110同时显示图像。也就是说,由控制器130可以根据相同场景的物体但对应于不同视角的不同光线分布生成多个图像,因此观看者将在不同视角中看到具有不同光线分布的相同物体,仿真真正的闪光效果和提升视觉效果。
例如,实际上,观察者接收的反射光的强度随视角而变化,并且如果物体具有更光滑的表面,则光强度的变化可以具有更尖锐的峰值。也就是说,如果物体由金属制成并且具有更光滑的表面,则仅可以从狭窄的视角范围看到反射光。利用显示设备100,观看者可以仅在他/她进入该视角范围时看到反射。因此,可以通过显示设备100模拟真实的照明效果,从而提供期望的视觉效果。
在图1中,显示设备100还可以包括第二像素阵列140。在此情况下,光学调制器120可以设置在第一像素阵列110和第二像素阵列140之间。第二像素阵列140可以进一步调制通过光学调制器120的光。因此,可以进一步提高图像的分辨率。在一些实施例中,第一像素阵列110的一些层(例如,偏光器)和第二像素阵列140的一些层可以以交叉方式设置以减少穆尔效应(Moiréeffect)。在一些实施例中,光学调制器120可以以倾斜的方式设置到第一像素阵列110和/或第二像素阵列140。
在一些实施例中,第一像素阵列110和第二像素阵列140中的其中之一可包括彩色滤波器层。例如,第一像素阵列110可以显示具有单色灰阶(例如单色)的图像,第二像素阵列140可以显示具有多色灰阶的图像。也就是说,第一像素阵列110可用于控制亮度分布,第二像素阵列140可用于控制颜色分布。然而,在一些其他实施例中,第一像素阵列110可以显示具有多色灰阶的图像,第二像素阵列140可以以单色显示图像。此外,在一些其他实施例中,显示设备100还可以省略第二像素阵列140。
此外,为了生成具有与不同视角对应的不同光线分布的图像,显示设备100还需要更多场景中的物体的信息。因此,如图1所示,在一个实施例中,显示设备100还可以包括至少一个存储装置135,用于存储光照图150,视角对应表160和帧数据集170的信息。控制器130可以根据光照图150,视角对应表160和帧数据集170的信息生成多个图像。
光照图150的信息可以包括周围环境中的光的强度和位置,用于观看场景。在一些实施例中,光照图150可以是显示所有周围光的存在的图像。在光照图150中,每个空间位置处的光强度可以记录在图像的对应像素中。
在一些实施例中,光照图150可以由计算器图形(CG)软件来设计,并且光照图150也可以由计算器图形软件生成。然而,在一些其他实施例中,显示设备100还可包括光捕获装置190,以产生要存储在真实观看环境的光照图150中的信息。例如,光捕获装置190可以是鱼眼相机并且可以在周围环境中记录光的强度和位置以生成光照图。光照图150可以以鱼眼形式,等矩形格式或立方体格式存储。
视角对应表160的信息可以包括第一像素阵列110中的至少一部分像素的视角向量。在一些实施例中,视角向量可以包括从像素阵列的像素发射经光学调制器120的光线路径的信息。例如,在图2中,视角向量可以表示为观察方向,像素PA1、PA2和PA3的观察方向VA1、VA2、VA3将被记录在视角对应表160中。在一些实施例中,观察方向VA1、VA2、VA3可以以向量形式或向量识别身分的形式存储。在一些实施例中,如果采用双凸透镜作为光学调制器120,则视角向量可以是表示与物体在同一平面上的视角的1维的数值。在此情况下,视角对应表160可以对应于第一像素阵列110中的像素的至少一部分,并且视角对应表160中的像素的值将是视角的1维的数值。在其他示例中,视角向量可以是2维的数值,并且可以示为(x,y)。它可能取决于显示设备中使用的光学调制器。
此外,由于像素的视角向量与由光学调制器120的调制有关,因此当确定光学调制器120的参数时,像素的视角向量可以是显示设备100的已知因素,因此,可以在产品制造期间将视角向量预先保存在存储装置135中。然而,在一些其他实施例中,还可以通过测量导出视角向量。在此情况下,可以校正在制造期间引起的不凖确性,从而提高准确率。
帧数据集170的信息可以包括场景中的物体的颜色信息,材料信息和位置信息。在某些实施例中,帧数据集170可以包括输入视频帧的格式。光照图和视角对应表可以存储在一个存储装置中,而帧数据集可以存储在另一个存储装置中。在一些实施例中,可以将其他信息添加到帧数据集170中。在一个实施例中,将图像显示到场景中可能需要考虑至少两种不同类型的光,并且至少两种不同类型的光可以是漫射光和镜面光。漫射光可以看作是环境光,可以帮助显示物体的原有颜色。在一些实施例中,当改变视角时,可以不改变漫射光。镜面光可以是对应于不同视角的反射光,并且观看者可以根据视角看到不同水平(和不同颜色)的反射光。
由于漫射光相当直接的显示物体的原有颜色,因此可以将其视为物体的颜色信息并且可以存储在帧数据集170中。
然而,导出镜面光的反射可能更复杂。图3显示出了场景中的物体O上的镜面光反射。在图3中,可以根据光源的照明向量LV和物体O的表面法向量NV导出反射向量RV。在一些实施例中,存储在帧数据集170中的物体的位置信息可以包括物体O的表面法向量NV。而且,可以根据存储在光照图中的信息生成照明向量LV。因此,利用存储在光照图150中的光的位置和存储在帧数据集170中的表面法向量,控制器130将能够导出镜面光的反射向量。
由于观察者可以看到反射的强度也与视角向量VV和如上所述的物体O的材料有关,因此控制器130将根据存储的视角向量进一步导出镜面光的强度。在视角对应表150中,存储在帧数据集170中的物体的材料信息,以及先前导出的镜面反射光的反射向量。
图4是对应于不同材料的镜面光反射光分布的示意图。在图4中,Y轴表示物体O的反射光强度,而X轴表示反射向量(例如反射向量RV)和视角向量(例如视角向量VV)之间的角度。
在图4中,材料M1可以具有光滑的表面。例如,材料M1可以是抛光金属。因此,当视角向量和反射向量之间的角度相当小的时候,材料M1表面上的反射光的强度可以更大,并且强度分布是集中的。
然而,如图4所示,材料M2可以是具有能够产生结构光的表面。例如,材料M2可以是光盘(CD)或蝴蝶翅膀。在此情况下,材料M2的表面上的红色反射光,绿色反射光和蓝色反射光的强度可以具有不同的分布。因此,观看者在观看显示设备100时可以从不同的位置看到不同的颜色。材料M3可以与材料M1和M2不同。因此,反射光分布不同于材料M1和M2的反射光分布。
由于针对不同材料的光线分布的计算可能是复杂的,因此在一些实施例中,显示设备100可以预先将查找表中的不同材料的反射光分布存储在查找表中。因此,通过输入材料类型以及视角向量和反射向量之间的角度,可以利用查找表导出反射强度。在一些实施例中,角度可以是光照图,视角对应表和位置信息的函数。
在此情况下,可以将材料信息存储为材料特征。也就是说,不同类型的材料可以对应于不同的材料特征。利用材料特征和反射向量与视角向量之间的角度,可以从查找表中检索相对应的反射光分布。
因此,控制器130将能够通过根据物体的颜色信息和镜面光的强度组合漫射光效果和镜面光效果来生成场景的图像。
由于显示设备100可以使用查找表来检索所需的反射光光线分布,因此可以减少复杂的计算,从而允许显示设备100生成用于实时视频的场景的图像。
图5是根据本公开一个实施例的帧数据集的数据结构的示意图。如图5所示,存储在帧数据集170中的信息可以由多个帧,F1到FM存储(M是大于1的正整数),每个帧对应于一个图像。在此情况下,帧F1中的物体的颜色信息可以与多个像素PR1至PRN和多个像素PM1至PMN一起存储,其中N是大于1的正整数。至少一个PR1至PRN的像素存储包括红色子像素(R),绿色子像素(G)和蓝色子像素(B)的强度信息。此外,还可以在相同帧中的像素中PM1至PMN的格式来存储物体的位置信息和材料信息。参照图5,像素PM1至PMN中的其中一个对应于像素PR1至PRN的像素,包括二维法向量(NX,NY)和材料识别身分(MID)信息。意即,在图5中,至少一个帧可以被分成至少两个部分:一个用于存储颜色信息R,G和B,而另一个用于存储法向量NX和法向量NY以及材料识别身分信息(MID)。然而,本公开不限于图5中所示的存储顺序。在其他实施例中,根据系统要求,像素PR1至PRN和像素PM1至PMN可以以不同的顺序存储,例如交错线的顺序。
虽然图4中显示的反射光分布对应于一维角度(沿X轴),在一些其他实施例中,查找表可以包括用于二维角度的二维表格。在此情况下,由猫眼石等物体产生的各向异性反射效果也可以由显示设备100呈现。
此外,尽管帧数据集170可以存储用于导出反射的光线分布的材料特征和表面法线量,但是在一些其他实施例中,帧数据集170可以根据系统要求存储用于导出反射的光线分布的其他类型的信息。
例如,在一些其他实施例中,存储在帧数据集170中的物体的位置信息可以包括物体的深度信息,并且存储在帧数据集170中的物体的材料信息可以包括折射率和物体的粗略参数。在此情况下,控制器130可以根据存储在光照图150,视角对应表图160和帧数据集170中的信息通过计算生成场景的图像。因此,可以省略查找表。
另外,在一些实施例中,显示设备100可以为物体生成多层帧数据以仿真透明度和表面反射效果,从而使得场景的图像看起来更加真实。
此外,在图1中,显示设备100还可以包括眼睛跟踪装置180。眼睛跟踪装置180可以跟踪观看者的位置。在此情况下,控制器130可以根据存储在光照图150、视角对应表160和帧数据集170中的信息以及观看者的位置来生成图像。由于可以侦查观看者的位置,所以显示设备100可以专门地生成与观看者的位置附近的区域内的观看方向相对应的场景的图像。
在此情况下,显示设备100可以根据观看者的跟踪位置提供自动适应视角。因此,视角的范围可以更宽,并且可以减小由固定视角引起的跳跃问题(或不连续图像)。而且,由于控制器130可以生成与观看者的位置内的视角相对应的更少的图像,因此可以跳过对该区域外的图像的不必要的计算,从而节省功耗和节省计算资源。
图6A-6E是根据本公开的一个实施例的显示设备100的静态场景的图像。换句话说,当显示设备100显示静态场景时,观看者可以在不同的视角看到具有不同颜色和/或光强度的图像。例如,当观看者改变视角时,观看者可以依序地看到由图6A至6E的图。
图7是根据本公开另一实施例的显示设备200的示意图。显示设备200具有与显示设备100类似的结构,并且可以以与显示设备100类似的原理操作。然而,显示设备200还包括用于产生存储在光照图150中的信息的扫描系统290和/或真实场景中的帧数据集170。
扫描系统290可包括光源292和光捕获装置294(例如相机)。图8显示了扫描系统290的使用场景。如图8所示,光源292可以围绕物体OA旋转,以从不同角度向物体OA上投射光,同时光源292和物体OA之间的距离可以保持恒定。在一些实施例中,光源292和物体OA之间的距离可以改变。在一些实施例中,光源292可以由聚光灯,条状灯或其他不同类型的光源实现。光捕获装置294可以捕获场景中的物体OA的图像,其中光从不同位置投射。在一些实施例中,光源292可以设置在物体OA的上方或下方,使得光源292可以不会出现在由光捕获装置294捕获的图像中。在其他实施例中,光源292可以设置在与物体OA相同高度。
在一些实施例中,光源292可以围绕物体OA旋转总共180度,并且一次移动1度。在此情况下,每当光源292移动到下一个位置时,光捕获装置294将捕一次获图像,因此可以导出物体OA的总共180个不同的光线分布。然而,在一些实施例中,总旋转度可以在30度至360度的范围内,例如60度,120度,150度或270度。一个旋转步骤的程度可以在0.1度至60度的范围内,但是本公开不限于此。而且,在一个实施例中,可以根据光学调制器120的间距决定总旋转度和一个旋转步骤的程度。
因此,扫描系统290可以根据光捕获装置294捕获的图像和/或光源292的位置生成要存储在光照图和/或帧数据集170中的信息。
在一些实施例中,扫描系统290还可包括更多光源。图9是根据本公开另一实施例的扫描系统390的示意图。扫描系统390包括光源392A1至392AN,并且N是大于1的正整数。光源392A1至392AN设置在圆的圆周上,其中物体OA位于圆的中心。而且,光源392A1至392AN的两个相邻光源之间的中心角可以实质上相等。在一些实施例中,光源392A1至392AN设置在物体OA的上方或下方,使得光源392A1至392AN不会出现在由光捕获装置394捕获的图像中。在其他实施例中,光源392A1至392AN可以设置在与物体OA相同高度。
在一个实施例中,光源392A1至392AN可以在预设范围内围绕物体OA旋转。例如,光源392A1可以从当前位置移动到图3中的光源392A2旁边的位置。例如,但不限于此,每次移动1度。而且,光源392A1至392AN可以依序地移动和投射光,因此光捕获装置394可以一次一个地捕获具有不同光线分布的物体OA的图像。
在图8和图9中,光源可以围绕物体OA旋转。然而,在一些其他实施例中,光源也可以固定在相同的位置。例如,在一些实施例中,如果光源392A1至392AN的数量N足够大,则光源392A1至392AN可以固定在圆周上,其中物体OA位于圆的中心,并且光源392A1至392AN可以依序地从不同位置将光投射到物体OA上。
除此之外,在图8中,如果光源292固定在相同位置,则光捕获装置294可以在物体OA同步旋转时围绕物体OA旋转。因此,光捕获装置292将利用不同的光线分布捕获物体OA的同一侧的图像,并且所述图像可以用于生成显示设备100所需的信息。
图10是根据本公开的一个实施例的用于操作图1的显示设备100的方法400的流程图。方法400包括步骤S410至S480。作为本公开的一个实施例,可以省略一些步骤。在一个实施例中,可以省略步骤S420。在另一个实施例中,步骤S410至S480的顺序可以改变或集合成为一个步骤。在另一个实施例中,可以在步骤S410之前执行步骤S430。在其他实施例中,可以在步骤S450或步骤S480之后执行步骤S420。在另一些实施例中,步骤S430,S440和/或S450可以集合成为一个步骤。但是本公开不限于此。
步骤S410:光捕获装置190记录周围环境中光的强度和位置,以生成随后存储在光照图150和/或帧数据集170中的信息;
步骤S420:眼睛跟踪装置180开始跟踪观察者的位置;
步骤S430:将在周围环境中光的强度和光的位置存储在至少一个存储装置135中作为光照图150;
步骤S440:将第一像素阵列110中像素的视角向量存储在至少一个存储装置135中;
步骤S450:将场景中的物体的颜色信息,材料信息和位置信息存储为帧数据集170,存储在至少一个存储装置135中;
步骤S460:控制器130根据存储在光照图150,视角对应表图160,帧数据集170和观看者位置的信息,生成具有与不同视角对应的不同光线分布的场景图像;
步骤S470:显示设备100同时通过第一像素阵列110显示图像;及
步骤S480:光学调制器120将从第一像素阵列110发射的光调制到相应的角度。
在步骤S410中,光捕获装置190可以在周围环境中记录光的强度和位置,以生成将存储在光照图150和/或帧数据集170中的信息。但是,在一些实施例中,存储在光照图150中的周围环境中的光的强度和位置可以由计算器图形软件生成。在一些实施例中,可以省略光捕获装置190,并且可以跳过步骤S410。
另外,在步骤S420中,显示设备100可以基于眼睛跟踪装置180的跟踪结果生成与观看者的位置对应的图像。然而,在一些实施例中,显示设备100还可以省略眼睛跟踪装置180。在此情况下,控制器130可以根据存储在光照图150,视角对应表160和帧数据集170中的信息生成与显示设备100支持的任何可能视角对应的图像,而不考虑观看者的位置。也就是说,可以跳过步骤S420。
在一些实施例中,存储在帧数据集170中的场景中的物体的位置信息可以包括物体的表面法线量。在此情况下,在步骤S460中,控制器130可以首先根据存储在帧数据集170中的表面法向量和存储在光照图150中的光的位置来导出镜面反射光的反射向量。然后,控制器130可以根据镜面反射光的反射向量,存储在视角对应表160中的视角向量以及存储在帧数据集170中的物体的材料信息和查找表来导出镜面光的强度。最后,控制器130可以通过组合由漫射光和镜面光引起的照明效果来生成图像以显示物体的颜色信息和镜面反射光的强度。
利用查找表存储不同材料的反射光分布,方法400可以节省大量计算并且允许显示设备100足够快地生成图像以呈现实时视频,从而提供甚至更惊人的视觉效果。
然而,在一些其他实施例中,存储在帧数据集170中的物体的位置信息可以包括物体的深度信息,并且存储在帧数据集170中的物体的材料信息可以包括折射率和物体的粗略参数。在此情况下,控制器130可以根据存储在光照图150,视角对应表图160和帧数据集170中的信息通过计算生成场景的图像。因此,可以省略查找表。
此外,方法400不受图4中所示的顺序的限制。例如,在一些实施例中,步骤S410和S420可以并行执行,并且步骤S430至S450可以并行执行。
图11是根据本公开的一个实施例的用于操作图7的显示设备200的方法500的流程图。方法500包括步骤S510至S530。
步骤S510:光源292围绕场景中的物体OA旋转,并从不同角度投射光至物体OA;
步骤S520:光捕获装置294利用从不同角度投射的光捕获场景中物体OA的图像;及
步骤S530:扫描系统290根据光捕获装置294捕获的图像,生成要被存储在光照图150和/或帧数据集170中的信息。
利用方法500,扫描系统290能够生成存储在光照图150和/或帧数据集170中的信息,所以显示设备100可以相对应地生成图像。在一些实施例中,如果光源292固定在同一点上,则代替执行步骤S510,光捕获装置294可围绕物体OA旋转,利用来自不同角度的光线捕获图像以达到类似的功能。
同样的,在一些实施例中,例如,在扫描系统390中,多个光源392A1至392AN可以设置在圆的圆周上,其中物体OA位于圆的中心。在此情况下,也可以应用方法500,并且光源392A1至392AN可以在预定角度内围绕物体OA旋转,以达到步骤S510中从不同角度在物体OA上投射光。而且,光源392A1至392AN可以依序地移动和投射光,因此光捕获装置394可以利用不同的光线分布捕获物体OA的图像。然而,在一些其他实施例中,光源392A1至392AN可以设置在固定点中并且依序地从不同角度将光投射到物体OA上。
通过移动光源292和392A1至392AN或移动光捕获设备294和394,可以捕获物体OA上的不同光线分布,并且扫描系统290和390可以相对应地产生要存储在光照图150和/或帧数据集170中的信息。
综上所述,本发明实施例提供的显示设备及显示设备的操作方法,可以为不同视角所对应的不同光线分布的同一场景(例如静态场景)生成图像,当从不同角度观看显示设备时,观看者可以看到场景的不同照明结果(例如,不同的光强度和/或颜色)。因此,显示设备可以模拟现实中的闪耀光线效果,并为观看者提供更好的视觉体验。另外,利用本公开实施例提供的扫描系统,可以导出生成不同视角图像所需的信息,从而使显示设备能够应用于更多领域。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (8)

1.一种显示设备,其特征在于,包括:
第一像素阵列;
光学调制器,设置在所述第一像素阵列上,用于将所述第一像素阵列发射的光调制到相应的角度;
扫描系统,包括:
光源,用于从不同的角度投射光到一场景中的一物体;以及
光捕获装置,用以捕获所述场景中不同角度的光投射到所述物体的多个图像,且记录周围环境中的光的强度和位置,其中所述扫描系统用以根据所述光捕获装置捕获的所述多个图像以产生帧数据集的信息和光照图的信息;
至少一存储装置,用于存储所述帧数据集和所述光照图,所述帧数据集包括所述场景中所述物体的颜色信息和材料信息,所述光照图的所述信息包括所述周围环境中的所述光的强度和位置;及
控制器,用于根据所述至少一存储装置中所存储的所述帧数据集和所述光照图以产生所述场景的多个图像,所述多个图像对应于不同视角有不同的光线分布。
2.如权利要求1所述的显示设备,还包括存储在所述至少一存储装置中的视角对应表,所述视角对应表包括所述第一像素阵列中的多个像素的视点向量的信息。
3.如权利要求1所述的显示设备,还包括:
第二像素阵列;
其中所述光学调制器设置在所述第一像素阵列和所述第二像素阵列之间。
4.如权利要求2所述的显示设备,还包括眼睛跟踪装置,用以跟踪观看者的位置,其中所述控制器根据存储在所述光照图、所述视角对应表和所述帧数据集的信息以及所述观看者的所述位置来产生所述多个图像。
5.如权利要求1所述的显示设备,其中所述帧数据集还包括所述场景中的所述物体的位置信息,并且所述位置信息包括所述物体的表面法向量。
6.如权利要求5所述的显示设备,其中:
所述控制器根据存储在所述帧数据集中的所述表面法向量、存储在所述光照图中的所述周围环境中的所述光的位置、存储在视角对应表中的视点向量以及存储在所述帧数据集中所述物体的所述材料信息使用查找表导出镜面光的强度;及
所述控制器根据所述物体的所述颜色信息和所述镜面光的所述强度产生所述多个图像。
7.如权利要求1所述的显示设备,其中所述帧数据集还存储有所述场景中的所述物体的位置信息,所述位置信息包括所述物体的深度信息,存储在所述帧数据集中的所述物体的所述材料信息包括折射率和粗略参数。
8.如权利要求1所述的显示设备,其中该扫描系统包括多个光源,设置在不同的位置,所述多个光源设置在圆的圆周上,所述物体位于所述圆的中心。
CN201910770000.2A 2018-09-20 2019-08-20 显示设备 Active CN110930877B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/136,268 US11151964B2 (en) 2018-09-20 2018-09-20 Display apparatus
US16/136,268 2018-09-20

Publications (2)

Publication Number Publication Date
CN110930877A CN110930877A (zh) 2020-03-27
CN110930877B true CN110930877B (zh) 2023-03-31

Family

ID=67659674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770000.2A Active CN110930877B (zh) 2018-09-20 2019-08-20 显示设备

Country Status (3)

Country Link
US (3) US11151964B2 (zh)
EP (2) EP4398229A2 (zh)
CN (1) CN110930877B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778306B2 (en) * 2020-01-08 2023-10-03 Innolux Corporation Method for editing an image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN106873161A (zh) * 2017-03-02 2017-06-20 上海天马微电子有限公司 一种显示装置及近眼可穿戴设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403332B2 (en) 2002-03-13 2008-07-22 Dolby Laboratories Licensing Corporation High dynamic range display devices
GB0323281D0 (en) 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Improving grey scale contrast in a 3D image display device
US20110242298A1 (en) 2009-08-21 2011-10-06 Microsoft Corporation Private video presentation
TW201303451A (zh) 2011-06-17 2013-01-16 Microsoft Corp 個人影像展示
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US9459820B2 (en) * 2012-11-08 2016-10-04 Ricoh Company, Ltd. Display processing apparatus, display processing method, and computer program product
EP2964700A1 (en) * 2013-03-04 2016-01-13 SABIC Global Technologies B.V. Compositions and methods of making thin wall housings for electronic devices
JP6506507B2 (ja) * 2013-05-15 2019-04-24 キヤノン株式会社 測定装置およびその制御方法
US9509905B2 (en) * 2013-12-17 2016-11-29 Google Inc. Extraction and representation of three-dimensional (3D) and bidirectional reflectance distribution function (BRDF) parameters from lighted image sequences
EP3057067B1 (en) 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
US9881529B2 (en) * 2015-06-12 2018-01-30 Innolux Corporation Display device and operating method thereof
US10105170B2 (en) * 2015-12-16 2018-10-23 Neos Surgery Sternal closure assembly
US9977152B2 (en) * 2016-02-24 2018-05-22 Hong Kong Beida Jade Bird Display Limited Display panels with integrated micro lens array
US10318043B2 (en) * 2016-03-24 2019-06-11 Gm Global Technology Operations Llc. Dynamic adjustment of touch sensitive area in a display assembly
US10019831B2 (en) * 2016-10-20 2018-07-10 Zspace, Inc. Integrating real world conditions into virtual imagery
TWI660202B (zh) * 2018-01-24 2019-05-21 友達光電股份有限公司 裸眼式立體顯示器以及立體影像的顯示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN106873161A (zh) * 2017-03-02 2017-06-20 上海天马微电子有限公司 一种显示装置及近眼可穿戴设备

Also Published As

Publication number Publication date
EP3627481A1 (en) 2020-03-25
US11657782B2 (en) 2023-05-23
CN110930877A (zh) 2020-03-27
US20200098338A1 (en) 2020-03-26
US11151964B2 (en) 2021-10-19
US20230252958A1 (en) 2023-08-10
US20210407463A1 (en) 2021-12-30
EP4398229A2 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
JP7247336B2 (ja) ディスプレイ処理回路網
KR102235591B1 (ko) 정밀 멀티-뷰 디스플레이
US9052575B2 (en) Determining correspondence mappings from infrared patterns projected during the projection of visual content
US10497295B1 (en) Near-eye display assembly with adjustable resolution and frame rate
CN102726050A (zh) 显示三维图像的方法及设备
US11694302B2 (en) Dynamic uniformity correction
US11410580B2 (en) Display non-uniformity correction
US11120770B2 (en) Systems and methods for hiding dead pixels
US20230252958A1 (en) Image apparatus and operating method thereof
US11508285B2 (en) Systems and methods for spatio-temporal dithering
US11562679B2 (en) Systems and methods for mask-based temporal dithering
US11300793B1 (en) Systems and methods for color dithering
US10950199B1 (en) Systems and methods for hiding dead pixels
US11172190B2 (en) Stereo weaving for head-tracked autostereoscopic displays
US20240202892A1 (en) Combined tone and gamut mapping for augmented reality display
US20240048681A1 (en) Constrained color dithering
US20240233614A1 (en) Waveguide correction
EP4358507A1 (en) Imaging apparatus, method and device
CN115220240A (zh) 适应眼睛位置的立体影像数据的产生方法与显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant