CN112534225A - 光学显示器的led热特性表征和校准 - Google Patents

光学显示器的led热特性表征和校准 Download PDF

Info

Publication number
CN112534225A
CN112534225A CN201980051439.8A CN201980051439A CN112534225A CN 112534225 A CN112534225 A CN 112534225A CN 201980051439 A CN201980051439 A CN 201980051439A CN 112534225 A CN112534225 A CN 112534225A
Authority
CN
China
Prior art keywords
led
temperature
current
primary
primary color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980051439.8A
Other languages
English (en)
Other versions
CN112534225B (zh
Inventor
M·C·卡普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112534225A publication Critical patent/CN112534225A/zh
Application granted granted Critical
Publication of CN112534225B publication Critical patent/CN112534225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

公开了用于校准诸如头戴式增强现实(AR)设备之类的显示设备的技术。一种技术包括针对设置在一个单元中的一组每个原色光源获取测量点,该测量点包括作为单元的温度和原色光源的驱动电流的函数的色度和亮度值。该技术进一步包括将测量点变换为XYZ颜色空间以产生XYZ值。该技术还包括针对一组目标亮度和一组离散温度中的每一个,计算每个原色光源的原色亮度;以及内插或外推每个原色亮度的驱动电流和XYZ值,以获取计算的电流。该技术还包括存储通过目标亮度和离散温度索引的计算的电流。

Description

光学显示器的LED热特性表征和校准
相关申请相互参考
本申请主张2018年8月3日提交的题为“LED THERMAL CHARACTERIZATION ANDCALIBRATION FOR AN OPTICAL DISPLAY(光学显示器的LED热特性表征和校准)”的美国临时专利申请62/714,503的优先权,该申请的全部公开内容在此纳入作为参考。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发,其中数字再现的图像或其一部分以看起来或可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景一般涉及呈现对其他实际的真实世界视觉输入不透明的数字或虚拟图像信息,增强现实或“AR”场景一般涉及呈现数字或虚拟图像信息作为对用户周围实际世界的可视化的增强。
尽管这些显示技术已经取得进展,但是本领域仍然需要与增强现实系统,尤其是显示系统相关的改进的方法、系统和设备。
发明内容
本公开一般地涉及用于校准显示设备的技术。更具体地说,本公开的实施例提供了用于执行增强现实(AR)设备中一个或多个发光二极管(LED)的热特性表征和校准的系统和方法。尽管参考AR设备描述了本公开的多个部分,但是本公开适用于图像显示系统中的各种应用。
根据本发明的第一方面,提供了一种校准显示设备的方法,所述显示设备包括设置在一个单元中的一组原色光源。所述方法可以包括针对每个所述原色光源获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值。所述方法还包括将所述测量点变换为XYZ颜色空间以产生XYZ值。所述方法进一步包括针对一组目标亮度和一组离散温度中的每一个,计算所述每个原色光源的原色亮度;以及内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流。所述方法可以进一步包括存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
在一些实施例中,所述方法进一步包括内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。在一些实施例中,所述方法进一步包括针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。在一些实施例中,所述原色光源是LED。在一些实施例中,所述单元包括复合抛物线聚光器(CPC)。在一些实施例中,测量所述色度和亮度值包括接收通过所述显示设备的目镜透射的光。在一些实施例中,通过多次迭代执行计算所述原色亮度以及内插或外推所述驱动电流和所述XYZ值。在一些实施例中,所述计算的电流被存储在查找表中。
根据本发明的第二方面,提供了一种用于校准显示设备的系统,所述显示设备包括设置在一个单元中的一组原色光源。所述系统可以包括一个或多个处理器。所述系统还可以包括计算机可读介质,其包含指令,当由所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行操作。所述操作可以包括针对每个所述原色光源获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值。所述操作还可以包括将所述测量点变换为XYZ颜色空间以产生XYZ值。所述操作可以进一步包括针对一组目标亮度和一组离散温度中的每一个,计算所述每个原色光源的原色亮度;以及内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流。所述操作可以进一步包括存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
在一些实施例中,所述操作进一步包括内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。在一些实施例中,所述操作进一步包括针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。在一些实施例中,所述原色光源是LED。在一些实施例中,所述单元包括CPC。在一些实施例中,测量所述色度和亮度值包括接收通过所述显示设备的目镜透射的光。在一些实施例中,通过多次迭代执行计算所述原色亮度以及内插或外推所述驱动电流和所述XYZ值。在一些实施例中,所述计算的电流被存储在查找表中。
根据本发明的第三方面,提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以包含指令,当由一个或多个处理器执行时,所述指令使所述一个或多个处理器执行以下操作:针对设置在显示设备的一个单元中的一组每个原色光源获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值,所述操作还可以包括将所述测量点变换为XYZ颜色空间以产生XYZ值。所述操作可以进一步包括针对一组目标亮度和一组离散温度中的每一个,计算所述每个原色光源的原色亮度;以及内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流。所述操作可以进一步包括存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
在一些实施例中,所述操作进一步包括内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。在一些实施例中,所述操作进一步包括针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。在一些实施例中,所述原色光源是LED。
借助本发明实现了优于传统技术的多种优势。例如,本文所述的实施例实现了深度平面之间,眼睛之间,以及单元之间的显示的亮度和颜色匹配。本文所述的实施例在不需要改进色源本身的情况下,通过表征色源的实际光谱特性,并基于该表征调整每种颜色的组合量来执行颜色校准。本发明的其他优势对于本领域技术人员而言很容易理解。
附图说明
图1示出了根据本发明的实施例的显示设备的示意图。
图2示出了根据本发明的实施例的用于显示设备的光谱仪校准系统的示意图。
图3示出了红色LED的示例性表征。
图4是示出根据本发明的实施例的使用PID控制器设定LED电流的方法的简化流程图。
图5示出了绿色LED的示例性表征。
图6示出了蓝色LED的示例性表征。
图7示出了根据本发明的实施例的用于表征诸如显示设备之类的光学系统的原色(primary)LED的方法。
图8A至8C示出了根据本发明的实施例的表征光学系统的原色LED的方法。
图9示出了先前已被表征以产生2D LUT的显示设备的第一组原色LED的操作。
图10示出了先前已被表征以产生2D LUT的显示设备的第二组原色LED的操作。
图11示出了用于校准显示设备的方法。
图12示出了根据本发明的实施例的前馈控制器的框图。
图13示出了根据本文所述的实施例的简化计算机系统。
具体实施方式
由发光二极管(LED)驱动的光学显示器的亮度和颜色对LED本身的光谱特性高度敏感。例如,由于制造的可变性和窄带LED的固有局限性,LED的光谱特性与理想的单色光源有很大偏差。此问题对于诸如穿透型光学头戴式显示器(OST-HMD)之类的光学系统而言更为严重,该穿透型光学头戴式显示器包括各种光学组件,光首先穿过这些光学组件,然后才到达用户的眼睛。每个组件会对光施加独特的变形,这种变形很难建模和/或解释。对于通过组合不同量的原色(例如红色、绿色和蓝色)产生特定色点的显示器,可通过以下方式来提高色点的精度:(1)提高原色本身的精度,或者通过(2)表征色源的实际光谱特性,并基于该表征调整每种颜色的组合量。本发明的实施例涉及后一种方法。
本发明的实施例通过首先表征每个源LED的温度和电流依赖性,然后基于该表征调整显示器接收和处理从源LED发射的光的方式,来改善光学显示器的亮度和颜色。这两个步骤可以统称为光学显示器的“热校准”或“颜色校准”。表征步骤可以在制造期间或之后(例如当设备仍在工厂中时)进行,其中将光检测设备(例如光谱仪)放置在距目镜一定距离处,这样,用户的眼睛便可在使用设备时接收到光。当控制器(例如,前馈控制器)遍历多个温度和电流时,光检测设备顺序地检测通过光学设备的每个源LED输出。分析这些输出以提取用于表征每个源LED的色度和亮度数据。当用户实际使用该设备时,通过测量温度并基于测量温度告知的特性数据而调整LED电流和颜色计算算法来执行校准步骤。
图1示出了根据本发明的实施例的显示设备100的示意图。显示设备100可以是任何数量的光学系统或显示设备,例如包括增强现实(AR)设备、虚拟现实(VR)设备等的头戴式显示器。显示设备100可以包括左目镜102A和右目镜102B,每个目镜包含以并排配置设置、形成光学堆叠的多个波导103。每个波导103接收来自特定源LED的光,该光由硅上液晶(LCoS)投影仪104进行空间调制。例如,对于右目镜102B,在LCoS投影仪104B对光进行空间调制之后,对应于红色和深度平面1的波导(即,波导R1)可以接收来自LED单元106B内对应于红色和深度平面1的LED(即,LED-R1)的光。类似地,作为另一示例,在LCoS投影仪104B对光进行空间调制之后,对应于蓝色和深度平面2的波导(即,波导B2)可以接收来自LED单元106B内对应于蓝色和深度平面2的LED(即,LED-B2)的光。本公开适用于任何数量的光学系统或显示器。因此,LCoS投影仪104可被配置为在不组合或混合光信号的情况下将单独的光输入引导到目镜102的单独的波导。尽管参考LCoS投影仪104描述了图1,但是也可以使用其他类型的空间光调制器。
在一些实施例中,显示设备100包括控制器108,该控制器108用于向LCoS投影仪104发送显示指令并且向源LED提供驱动电流110。显示指令可以指示将要调制哪些源LED以及调制设置。在一些实施例中,LCoS投影仪104可以顺序地调制来自不同源LED的光(即,以与场顺序显示一致的方式一次调制来自一个源LED的光),或者在一些实施例中,可以同时调制来自多个源LED的光。控制器108还可以与显示指令协调地将驱动电流110提供给一个或多个源LED。在一些实施例中,显示指令和驱动电流110可能受到使用耦合到LED单元106的热敏电阻测量的温度112的影响。温度112可以对应于LED单元106的温度,该温度可用作源LED的温度的近似值。可以以预定间隔或响应于满足一个或多个标准来测量温度112B。例如,控制器108可以在每次将新的显示指令发送到LCoS投影仪104时和/或每次用户请求重新校准显示设备100时检索温度112。尽管参考热敏电阻描述了图1A,但是也可以使用其他类型的温度传感器。
在一些实施例中,每个LED单元106可以包括耦合到包含在特定单元中的每个LED的热导体,使得在一个LED上产生的热可以影响作为同一LED单元的一部分的其他LED的温度。每个LED单元106可以包括六个LED(如图1A所示),或者在一些实施例中,每个LED单元106可以包括与特定深度平面的原色相对应的三个LED。在一些实施例中,多个温度传感器可以耦合到LED单元106,以便更好地逼近特定LED的实际温度。在一些实施例中,每个LED单元106可以包括一个或多个聚光器(例如,复合抛物线聚光器(CPC)),以准直和/或修改由LED发射的光。
图2示出了根据本发明的实施例的用于显示设备100的光谱仪校准系统200的示意图。参考图2,显示设备100被定位成使得从目镜102的波导103发射的光被准直透镜216或其他合适的光学耦合设备捕获。如图2所示,来自每个波导的光的至少一部分被捕获并且可以被准直以传送到表征光纤218。如本文更全面地所述,表征光纤218光学耦合到光谱仪214,该光谱仪用于表征从波导发射的光的光谱特性。可以利用校准计算机202来控制光谱仪校准系统200。
在校准期间,校准计算机202可以指示显示设备100产生由显示设备100显示的虚拟图像。术语“虚拟图像”包括与原色之一相关联的均匀屏幕(即,红色屏幕、绿色屏幕或蓝色屏幕)的显示。作为示例,校准计算机202可以控制显示设备100显示来自红色LED的光。在该示例中,控制器108可以与红色LED通信以产生输出。在某些情况下,可以使用SLM驱动电子设备来设定投影仪中的SLM,以在投影仪中的SLM上提供恒定的反射(例如,最大反射)。因此,由红色LED产生的光将耦合到波导103中并由波导103发射,被准直透镜216收集,然后通过光纤218耦合到光谱仪214中。右侧和左侧的红色LED可被并发地(例如,同时)表征或被顺序地表征。本领域普通技术人员将认识到许多变型、修改和替代。
除了使用显示设备100中的LED来产生允许对LED进行光谱表征的光之外,LED还可用于在LED单元106中产生热量,因此,允许同时根据驱动电流和CPC温度来表征LED。本文提供了与LED单元106的温度控制有关的其他描述。
如本文所述,本发明的实施例使得能够在可穿戴设备的组装状态下对显示设备100中的LED进行光谱表征。尽管LED封装中的LED的光谱特性可以帮助了解分立封装中的LED特性,但此表征并未考虑将LED纳入已组装的可穿戴设备中的光学影响。例如,沿着LED与波导之间的光路设置的光学滤波器可以吸收由LED发射的光的预定部分。因此,光谱滤波器所吸收的光谱部分将导致波导所发射的光的光谱特性不同于从LED封装发射的光的光谱特性。而且,目镜元件(包括波导)的光谱通量特性可以改变从LED封装发出的光的光谱特性。因此,由于光谱仪接收由已组装的可穿戴设备发射的光,这样,LED的光谱表征包括已组装的可穿戴设备中的各种光学元件的光通量特性,而不是LED封装件在集成到已组装的可穿戴设备中之前的光谱特性。
图3示出了LED-R1的示例性表征。在一些实施例中,光检测设备(例如,光谱仪214)被定位在距目镜102B特定距离处,该位置大约是用户的眼睛(也称为观看者的眼睛)在使用设备时接收光的位置。光谱仪214可通过准直透镜(该准直透镜216接收由显示设备100发射的光)216和光纤218(该光纤218将所接收的光引导到光谱仪214)接收光。在一些实施例中,光谱仪214可被配置为测量所接收的光的色度和亮度(例如,在xyY颜色空间中)。可通过直接测量xyY值,或者通过首先测量作为波长的函数的光输出,然后分析光输出的光谱特性以确定xyY值来实现此目的。
本发明的实施例表征了在传播通过光学设备(例如,可穿戴式AR设备)的整个光学堆叠之后的光源(例如LED)的光谱含量。因此,在校准光源(例如LED)时,考虑了所有的光学特性、光谱衰减、效率等。
在表征LED-R1期间,比例-积分-微分(PID,proportional–integral–derivative)控制器132使驱动电流110B中为LED-R1供电的电流iR遍历(iterate through)多个离散电流。离散电流值可以一次一个地从PID控制器132发送到LED电流控制器122。LED电流控制器122可以使电流iR朝特定的目标电流逐渐上升或下降,或者在某些实施例中,立即将电流iR设定为目标电流。除了对电流iR的电流控制之外,LED电流控制器122还可以向其他所示的LED提供一个或多个附加电流,如下面更全面地描述的,这些电流可以导致LED单元106的温度112在整个温度范围内变化。因此,可通过控制未表征的LED的电流来实现LED单元的温度控制。例如,与PID控制器132一起工作的LED电流控制器122可以增加或减小电流iG和iB的电流值,以便增加或降低LED单元106的温度112。例如,当温度112被反馈回PID控制器132时,可以比较先前温度与当前温度,以确定电流iG和iB中的每一个需要增加或减小的量。
为了在电流iR和温度112的代表性范围内测量LED-R1的光输出的xyY值,PID控制器132可以使温度112变化,同时使电流iR保持恒定。替代地或附加地,PID控制器132可以使电流iR遍历多个离散电流,同时使温度112保持相对恒定。在一些实施例中,PID控制器132可以使电流iG和温度112并发地或同时变化。例如,PID控制器132可以朝着电流-温度对列表中的所需电流-温度对驱动电流iG和温度112。PID控制器132可以确定最快或最省电的轨迹,以导航通过电流-温度对列表。可以设想其他可能性。
在表征LED-R1期间,利用光谱仪214与处理单元130之间的同步(因此,处理单元130与PID控制器132和LED电流控制器122同步),使得LCoS投影仪104仅反射来自LED-R1的光输出,该光输出最终通过目镜102传送。如下所述,可以以特定的电流水平驱动一个或多个LED(例如,所有LED)以产生所需的LED单元温度112。一旦达到所需的温度,便可操作被表征的LED以在预定时间段照射LCoS投影仪104。
参考图3,定义了红色LED的目标电流(iR)和LED单元106的目标温度。施加到LED单元106中的每个LED的驱动电流可以是预定的驱动电流(即,设定的驱动电流)。LED单元106的目标温度也可以是预定的。因此,如下面更全面地所述,可以在驱动电流和LED单元温度的范围内测量与每个LED相关联的色度和亮度。
对于场顺序显示,以与LCoS投影仪104同步的方式顺序地驱动光源(例如,图3中所示的三个RGB LED)。例如,在120Hz下,帧时间为~8.3ms。与目镜的深度平面相关联的每个LED(例如LED-R1、LED-G1和LED-B1)可以被顺序地照射~2.7ms。
图4是示出根据本发明的实施例的使用PID控制器设定LED电流的方法400的简化流程图。如图4所示,由PID控制器接收LED单元的目标温度(步骤410)。PID控制器还接收有关要被表征和/或校准的LED的识别信息(步骤412)。例如,对于包括两组LED(第一组R1、G1、B1和第二组R2、G2和B2)的LED单元,可以接收其中将表征和/或校准的第一组中的红色LED(即,LED-R1)的信息。被识别为进行表征/校准的LED可被称为被已识别的LED,用于将该LED与LED单元中的其他LED区分开。除了识别信息之外,还接收要被表征/校准的LED的目标驱动电流(步骤414)。
在准备与LED表征/校准有关的测量时,在一些实施例中,其中一组中的所有LED,或者可选地,全部两组中的所有LED的驱动电流由PID控制器控制,这样,PID控制器调整驱动电流(这包括使提供给一个或多个LED的驱动电流增加到最大值,或将这些驱动电流减小到零),以使LED单元温度处于目标温度的预定范围(例如,+/-0.5℃)内。如本文所述,当LED单元温度处于目标温度的预定范围内时,关断已识别的LED之外的所有LED,以目标驱动电流驱动已识别的LED,并且使用光谱仪测量已识别的LED的光输出。在这种光谱测量期间,测量LED单元温度,确定光谱表征期间的平均温度,并将平均温度记录在例如色度和亮度所在的同一数据库中的同一条目内。
PID控制器与LED电流控制器通信以将已识别的LED的驱动电流设定为目标驱动电流(步骤416)。在一些实施例中,可以独立于表征/校准过程将LED单元的温度设定为目标温度。因此,步骤412、414、416和440在图4中被示为可选步骤。PID控制器使用热敏电阻接收LED单元的温度(步骤418),此温度可被称为测量温度,然后将目标温度与测量温度进行比较(步骤420)。如果测量温度低于目标温度,则LED单元中一个或多个其他LED产生的热量将用于提高LED单元的温度。因此,如果测量温度低于目标温度,则确定其他LED的驱动电流(步骤422)。作为示例,可以确定LED单元中的第二LED(例如LED-G1)的初始低驱动电流值。然后将该初始驱动电流值提供给LED电流控制器,从而以初始驱动电流值驱动其他LED(例如LED-G1)(步骤424)。测量LED单元的温度(步骤418),如果测量温度仍低于目标温度,则第二LED的初始驱动电流值增加到更高的值(步骤422)。重复此过程,直到达到第二LED的最大驱动电流为止。
通过确定其他LED(例如LED-B1以及第二组中的LED)的驱动电流,重复比较测量温度与目标温度的迭代过程,直到达到目标温度为止。在此过程中,最初以低电流值驱动每个LED,该初始低电流值会随着时间推移而增加,从而增加LED产生的热量。通过增加每个其他LED中的驱动电流,然后添加每个其他LED,可以以基本线性的方式增加LED单元的温度,直到达到目标温度为止。
如图4所示,如果测量温度高于目标温度(步骤430),则其他LED中的驱动电流被LED电流控制器减小(步骤432和434),从而导致产生的热量减少,并因此降低LED单元的温度。因此,如果在第一温度下执行初始校准并且在低于第一温度的第二温度下执行第二校准,则系统可以降低LED单元的温度,直到达到第二温度为止。因此,本发明的实施例使得能够在LED单元的目标温度范围内进行测量。
一旦LED单元温度等于目标温度,便可测量已识别的LED的光谱特性(步骤440)。在一些实施例中,可以关断用于达到所需目标温度的所有其他LED。由于LED单元的热质量不为零,因此LED单元将在与光谱表征/校准相关联的短时间间隔(几毫秒)内保持目标温度。
在一些实施例中,PID控制器可以包括使得迭代环路能够朝着目标温度更快地收敛的逻辑。例如,如果目标温度明显高于测量温度,而不是从处于低电流值的一个附加LED开始,则可以以高于初始低电流的电流值驱动两个或更多个其他LED,以便更快地提高LED单元的温度。本领域普通技术人员将认识到许多变型、修改和替代。
因此,可以使用PID控制器132结合各种LED的操作来控制LED单元106的温度。如上所述,在一些实施例中,PID控制器132在LED的整个电流范围内驱动LED以实现所需的LED单元温度范围。
应当理解,图4所示的具体步骤提供了根据本发明的实施例的使用PID控制器设定LED电流的特定方法。根据替代实施例,也可以执行其他步骤顺序。例如,本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外,图4所示的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。此外,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将认识到许多变型、修改和替代。
为了控制LED单元106的温度,使用驱动电流驱动LED单元106中的一个或多个LED以在LED单元中产生热量,从而以可控的方式增加或降低LED单元的温度。例如,在测量红色LED(LED-R1)的特性期间,可以以给定电流操作一个或多个其他红色LED(LED-R2)、绿色LED(LED-G1和LED-G2)和/或蓝色LED(LED-B1和LED-B2),以产生LED单元106的所需热量。一旦达到LED单元的所需温度,或达到所需温度阈值内的温度,便可将所操作的每个LED(除了被表征的LED,例如,红色LED(LED-R1))的驱动电流设定为零,并且操作被表征的LED。因此,当在所需温度下测量红色LED的光谱特性时,只有红色LED(LED-R1)照射LCoS投影仪104。红色LED可以在正常操作时间(例如~2.7ms)内保持照射LCoS投影仪104,以再现正常操作特性。因此,在图3所示的实施例中,每个光源独立地被表征,同时使用其他光源来便利控制包含这些光源的光学封装。
尽管在图3所示的实施例中,利用LED单元106中的各种LED来进行温度控制,但是这不是本发明所必需的,也可以利用其他实现(包括热电冷却器等)来提供温度控制。
参考图3,目标LED电流可以由处理单元130提供给LED电流控制器122,该LED电流控制器122针对与每个深度平面相关联的每个LED产生LED电流,例如两组RGB电流(iR、iG和iB)。如本文所述,电流可以同时以及独立地产生。处理单元130可以控制使用中的表征过程以及表征步骤的顺序。处理单元130可以将目标温度提供给PID控制器132。光谱仪214、LED电流控制器122与处理单元130之间的同步结合LED电流控制器122对LED的驱动一起用于收集光谱数据。
如图3所示,LED单元106中的热敏电阻的温度被同时提供给PID控制器132和处理单元130。提供给PID控制器132的温度在用于控制LED单元106B的温度的控制算法中被利用。提供给处理单元130的温度用于结合给定LED电流下的光谱测量值来记录温度。
返回对第一红色LED(LED-Rl)的校准的描述,将驱动电流(即iR)施加到被表征的LED,并且使用光谱仪214测量由目镜102产生的色度和亮度(xyY)。在通过光谱仪执行测量的过程中,例如还使用热敏电阻来测量LED单元106的温度。测量的光谱特性(例如xyY)和测量的温度由处理单元130和/或校准计算机202记录。因此,如图3所示,每个光源的色度和亮度的数据库可被组装为LED单元温度和驱动电流(iR)的函数。
图5和图6示出了与深度平面相关联的其他两个LED的表征。如关于LED-R1的表征所讨论的,各个LED中的一个或多个与PID控制器132一起操作以在收集被表征的LED的光谱测量值之前控制LED单元106的温度。可以利用关于第一深度平面所讨论的类似过程来表征与第二深度平面相关联的三个LED。本领域普通技术人员将认识到许多变型、修改和替代。
图5示出了LED-G1的示例性表征。与LED-R1的表征类似,光谱仪214被定位成能够测量LCoS投影仪104调制的LED-G1所输出的光的色度和亮度。在表征LED-G1期间,控制器108使驱动LED-G1的电流(驱动电流110中的iG)遍历多个离散电流,并且LED单元106的温度112在整个温度范围内变化。LED单元的温度控制可通过控制未表征的LED的电流来实现。例如,与PID控制器132一起工作的LED电流控制器122可以增加或减小电流iR和iB的电流值,从而增加或降低LED单元106的温度112。在表征LED-G1期间,利用光谱仪214与处理单元130之间的同步(因此,其与PID控制器132和LED电流控制器122同步),使得LCoS投影仪104B仅反射来自LED-G1的光输出,该光输出最终通过目镜102传送。如文本所述,可以以特定的电流水平驱动一个或多个LED(例如,所有LED)以产生所需的LED单元温度。一旦达到所需的温度,便可操作被表征的LED以在预定时间段照射LCoS投影仪10。
图6示出了LED-B1的示例性表征。与LED-R1和LED-G1的表征类似,光谱仪214被定位成能够测量LCoS投影仪104调制的LED-B1所输出的光的色度和亮度。在表征LED-B 1期间,控制器108使驱动LED-B 1的电流(驱动电流110中的iB)遍历多个离散电流,并且LED单元106的温度112在整个温度范围内变化。LED单元的温度控制可通过控制未表征的LED的电流来实现。例如,与PID控制器132一起工作的LED电流控制器122可以增加或减小电流iR和iG的电流值,从而增加或降低LED单元106的温度112。在表征LED-B1期间,利用光谱仪214与处理单元130之间的同步(因此,其与PID控制器132和LED电流控制器122同步),使得LCoS投影仪104仅反射来自LED-B1的光输出,该光输出最终通过目镜102传送。如文本所述,可以以特定的电流水平驱动一个或多个LED(例如,所有LED)以产生所需的LED单元温度。一旦达到所需的温度,便可操作被表征的LED以在预定时间段照射LCoS投影仪104。
图7示出了根据本发明的实施例的用于表征诸如显示设备100之类的光学系统的原色LED的方法700。方法700的一个或多个步骤可以以不同于图7所示的顺序执行,并不需要执行所有步骤。在一些实施例中,可以针对每个原色LED执行步骤702至708。在步骤702,在温度和电流的范围内测量xyY值以获取多个测量点。多个测量点中的每个测量点包括电流、温度和xyY值。
在步骤704,将多个测量点从xyY空间变换为XYZ空间。在步骤706,根据离散温度内插/外推XYZ值以修改多个测量点。在步骤708,按每个温度下的亮度对多个测量点进行排序。在一些实施例中,可以针对每个目标亮度YW和每个温度执行步骤710和712。在步骤710,使用每个原色LED的色度值来计算原色亮度YR、YG和YB。如以下关于图8B更全面地描述的,对于原色亮度的初始计算,可以使用在中值电流下测量的每个LED的色度值。在一些实施例中,针对特定的白点(例如D65)执行方法700。
在步骤712,通过针对每个原色目标亮度执行内插/外推来更新(例如,修改)每个原色的XYZ值和电流。在一些实施例中,重复步骤710和712,直到XYZ值和/或电流收敛为止。所得的电流可被称为计算的电流。在其他实施例中,或在相同的实施例中,步骤710和712被重复预定次数。有关图7所示的校准过程的附加描述被关于图8A至8C的描述中提供。在步骤714,将在步骤712的最后迭代期间计算的电流(以及可选的XYZ值)存储在二维(2D)查找表(LUT)中。
应当理解,图7所示的具体步骤提供了根据本发明的另一实施例的表征光学系统的原色LED的特定方法。根据替代实施例,也可以执行其他步骤顺序。例如,本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外,图7所示的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。此外,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将认识到许多变型、修改和替代。
图8A至8C示出了根据本发明的实施例的表征光学系统的原色LED的方法800。如关于图3所讨论的,可以使用PID控制器108来控制LED单元106的温度,并且在给定驱动电流下测量每个LED的色度和亮度(xyY)。这些测量将在温度和驱动电流的范围内重复(步骤802)。尽管图8A仅示出了红色LED的测量,但是将理解,可以为LED单元中的每个LED组装相似的数据库。在xyY空间中进行的色度和亮度测量被变换为XYZ颜色空间形式的绝对颜色空间(步骤804)。
在测量过程期间,所测量的LED单元温度可能与目标温度不同,如各个电流下的测量温度相对于单个温度的变化所示。因此,执行内插/外推以确定离散LED单元温度的内插的驱动电流值和内插的XYZ坐标(步骤806),其中温度被用作内插计算中的输入。尽管在一些实施例中利用了线性内插,但是在其他实施例中可以利用其他内插技术。因此,如图8A所示,提供了与离散温度相关联的驱动电流值和XYZ值。
为了组装与离散目标亮度相关联的驱动电流值和XYZ值的数据库,按每个离散温度下的亮度对色度和亮度数据条目进行排序(步骤808)。还针对其他原色LED执行以下操作:在温度和驱动电流范围收集xyY数据,变换为XYZ空间,内插/外推以将电流和XYZ数据与离散温度对齐,以及按每个温度下的亮度进行排序。
参考图8B,在给定目标亮度的情况下,计算期望的白点(例如D65)、原色的色度、所需的原色亮度(步骤810)。换句话说,在给定所需输出色度以及在xyY空间中测量的红色、绿色和蓝色色度的情况下,可以求解红色、绿色和蓝色的亮度比。参考图8B,对于给定的目标亮度1,可以计算出期望的白点x=0.3127且y=0.329(即D65);红色色度x=0.6972且y=0.3022;绿色色度x=0.154且y=0.7681;蓝色色度x=0.1484且y=0.029;所需的红色亮度Y=0.272;所需的绿色亮度Y=0.692;以及所需的蓝色亮度Y=0.036。每个原色所需的颜色亮度除以输出亮度可被称为亮度比(LR)。在图8B所示的示例中,由于输出亮度是1,所以LR是所需的颜色亮度。如果输出亮度为100尼特,则在该示例中,所需的红色亮度为27.2尼特,所需的绿色亮度为69.2尼特,并且所需的蓝色亮度为3.6尼特。
作为迭代的起点,可以利用在中值电流下测量的每个原色的色度。另外,在LED单元温度下测量的色度可用于提供更准确的初始原色色度。然而,在实际操作期间,例如,由于LED单元的温度根据环境温度变化和/或由于LED单元的温度根据LED单元中的LED的温度变化而变化(例如,当提供给LED的驱动电流变化时),红色、绿色和蓝色LED的色度可能与该中值电流色度不同。除了中值电流之外,还可使用LED色度的其他标称(nominal)值。
在给定三个原色的初始计算的所需原色亮度的情况下,这些值将用于索引按亮度排序的有序列表,如图8A的步骤808所示。将使用亮度值来内插/外推驱动电流以获取与计算的亮度值相关联的驱动电流。如图8A所示,可以利用作为每个温度下每个颜色的驱动电流的函数的亮度值阵列来确定与每个计算的亮度值相关联的驱动电流。在一些实现中,利用驱动电流之间的线性内插来确定内插驱动电流,该内插驱动电流通常与用于提供初始色度的中值电流不同。
举例来说,如果在300°K的温度下,100mA的红色LED的驱动电流产生20尼特的亮度,200mA的驱动电流产生30尼特的亮度,则为了产生计算出的27.2尼特的红色亮度,可以使用线性内插确定172mA的驱动电流将产生所需的27.2尼特的亮度。
另外,将使用计算的亮度值内插/外推XYZ颜色空间值。使用包括作为XYZ坐标的函数的原色亮度的数据集,以类似于LED驱动电流内插的方式,可以内插XYZ坐标以产生所需的亮度。
在给定内插色度值(基于内插XYZ值)的情况下,将使用迭代环路,基于期望的白点、目标亮度和内插的色度值计算更新的原色亮度。
在一些实施例中,利用每个原色色度之间的差异与阈值进行比较,而在其他实施例中,利用被校准的颜色(例如,在该示例中为红色)的初始色度与更新的色度的差异。在其他实施例中,计算并利用平均差。本领域普通技术人员将认识到许多变型、修改和替代。尽管在图8B所示的实施例中利用了初始色度与更新的色度的差异,但这不是本发明所要求的,可以利用其他方法,例如迭代预定次数(例如5、10、50、100、500、1000或5000次迭代)。
如图8B所示,形成二维LUT的亮度轴的方法包括,在步骤810,使用期望的白点、目标亮度和原色的初始色度来计算所需的原色亮度。可以将初始色度设定为在中值驱动电流水平下测量的色度。
该方法还包括,针对每个原色的计算的亮度,在步骤812,内插与每个原色亮度相关联的驱动电流,并且在步骤814,内插与每个原色亮度相关联的XYZ坐标。该方法进一步包括,在步骤816,基于内插的XYZ坐标确定更新的色度。如果在步骤818确定内插色度中的一个或多个或平均值与原色色度之差大于阈值,则该方法在步骤820使用原色色度的新的内插色度进行迭代。迭代过程也可以基于预定的迭代次数。因此,在迭代内插处理之后,对于每个LED,驱动电流和XYZ坐标与离散亮度值对齐。因此,图8C所示的2D LUT基于离散的LED单元温度和离散的亮度值的内插的驱动电流和XYZ坐标产生,并且可以被存储起来以供本文所述的前馈控制系统使用。
返回参考图8A,对每个温度下的亮度进行排序以提供排序后的亮度值,如步骤808所示。图8B所示的过程将在每个离散温度下重复,从而产生2D LUT,该2D LUT定义作为LED单元温度和目标亮度的函数的驱动电流,如图8C所示。因此,如果存在M个目标亮度和N个离散温度,则执行MxN次图8B所示的迭代过程。
尽管图8C仅示出了驱动电流,但是除了驱动电流之外,2D DUT还可以存储色度和亮度信息,例如作为温度和亮度的函数的XYZ坐标(步骤822)。例如,XYZ坐标可用于将色域精简为标准格式。因此,在图8C中,可以将2D LUT中的条目从{iR、iG、iB}扩展为{iR、iG、iB、XR、XG、XB、YR、YG、YB、ZR、ZG、ZB}。因此,除了在前馈控制系统中使用的索引驱动电流之外,其他索引值也可以存储在2D LUT中,以供各种系统元件使用。
尽管根据将D65实现为白点描述了实施例,但是本发明不限于该白点。为了提供替代白点,可以利用本发明的实施例来提供与替代白点相关联的替代2D LUT。如图8B所示,目标色度值是原色亮度值计算的输入(给定变量),通过修改这些输入,可以产生包含适合于替代白点的修改条目的2D LUT。在其他实施例中,可以在控制器108级实现提供替代白点的实现。
应当理解,图8B所示的具体步骤提供了根据本发明的另一实施例的确定每个目标亮度和每个目标温度的驱动电流和XYZ坐标的特定方法。根据替代实施例,也可以执行其他步骤顺序。例如,本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外,图8B所示的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。此外,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将认识到许多变型、修改和替代。
针对原色亮度比的计算,为了求解亮度比,使用了基于贡献色度和亮度计算输出色度的方程式。可以在xyY或XYZ空间中添加亮度以获取输出亮度。但是,由于xyY是非线性空间,因此色度仅在以XYZ空间表示时才添加。
为了从xyY空间变换为XYZ空间,使用以下方程式:
Figure BDA0002928670920000191
按照以下方式执行从XYX空间到xyY空间的变换:
Figure BDA0002928670920000192
为了计算原色亮度比,可以改写XYZ总和方程式,其中xyY原色坐标替换为:
Figure BDA0002928670920000193
YR+YG+YB=YOUT
Figure BDA0002928670920000194
该方程式可以改写为以下矩阵形式:
Figure BDA0002928670920000201
重新排列求解YRGB得出:
Figure BDA0002928670920000202
为了计算亮度比,两边同时除以YOUT得出:
Figure BDA0002928670920000203
以类似的方式,可以确定原色与XYZ空间中给出的所需输出的亮度比。为了求解上述示例中的亮度(即,亮度比),可将色度变换为XYZ空间,因为xyY是非线性空间,而XYZ是线性空间。在一些实施例中,可使用以下方程式执行从xyY空间到XYZ空间的变换:X=Y/y*x,Y=Y并且Z=Y/y*(1-x-y)。相反,可以使用以下方程式执行从XYZ空间到xyY空间的变换:x=X/(X+Y+Z),y=Y/(X+Y+Z)和Y=Y。变换为XYZ空间后,可以使用以下方程式计算亮度比:
Figure BDA0002928670920000211
在先前的校准中,发现每个LED以给定亮度照射目标sRGB白点(0.3127,0.3290)的亮度(YsRGB_*_TO_W)。在保持相同白点的同时,原生(native)LED色域精简为sRGB色域。
可以使用之前使用的相同函数来计算期望的白点计算每个sRGB原色的LED亮度比时所需的LED亮度比。
对于sRGB红色:
{LRR_TO_R_NATIVE,LRG_TO_R_NATIVE,LRB_TO_R_NATIVE}=GET_LR(out_xy=0.6400,0.3300,native_xy_rgb)
对于sRGB绿色:
{LRR_TO_G_NATIVE,LRG_TO_G_NATIVE,LRB_TO_G_NATIVE}=GET_LR(out_xy=0.3000,0.6000,native_xy_rgb)
对于sRGB蓝色:
{LRR_TO_B_NATIVE,LRG_TO_B_NATIVE,LRB_TO_B_NATIVE}=GET_LR(out_xy=0.1500,0.0600,native_xy_rgb)
由于原色的色度发生变化,sRGB白色的亮度比可计算为:
{LRR_TO_W,LRG_TO_W,LRB_TO_W}=GET_LR(out_xy={0.3127,0.3290,sRGB_xy={0.6400,0.3300},{0.3000,0.6000},{0.1500,0.0600})
RGB空间中的像素值到LED的亮度值的变换可以表示为:
Figure BDA0002928670920000221
其中常数kij的3x3矩阵是将用于精简色域的色彩空间变换(CSC)矩阵。
可以求解CSC矩阵,以满足以下条件:
当RGBIN=[1 0 0]T时,
YOUT=[YW_NATIVE*LRR_TO_W*LRR_TO_R_NATIVE,YW_NATIVE*LRR_TO_W*LRG_TO_R_NATIVE,YW_NATIVE*LRR_TO_W*LRB_TO_R_NATIVE]T
当RGBIN=[0 1 0]T时,
YOUT=[YW_NATIVE*LRG_TO_W*LRR_TO_G_NATIVE,YW_NATIVE*LRG_TO_W*LRG_TO_G_NATIVE,YW_NATIVE*LRG_TO_W*LRB_TO_G_NATIVE]T
当RGBIN=[0 0 1]T时,
YOUT=[YW_NATIVE*LRB_TO_W*LRR_TO_B_NATIVE,YW_NATIVE*LRB_TO_W*LRG_TO_B_NATIVE,YW_NATIVE*LRB_TO_W*LRB_TO_B_NATIVE]T
通过这种构造,可以确保还满足以下条件:
当RGBIN=[1 1 1]T时,YOUT=[YR_NATIVE,YG_NATIVE,YB_NATIVE]T
替换RGBIN=[1 0 0]T和YOUT=[YW_NATIVE*LRR_TO_W*LRR_TO_R_NATIVE,YW_NATIVE*LRR_TO_W*LRG_TO_R_NATIVE,YW_NATIVE*LRR_To_W*LRB_TO_R_NATIVE]T
Figure BDA0002928670920000231
Figure BDA0002928670920000232
Figure BDA0002928670920000233
替换RGBIN=[0 1 0]T和YOUT=[YW_NATIVE×LRG_TO_W*LRR_TO_G_NATIVE,YW_NATIVE×LRG_TO_W*LRG_TO_G_NATIVE,YW_NATIVE×LRG_TO_W*LRB_TO_G_NATIVE]T
Figure BDA0002928670920000234
Figure BDA0002928670920000235
Figure BDA0002928670920000236
替换RGBIN=[0 0 1]T和YOUT=[YW_NATIVE×LRB_TO_W*LRR_TO_B_NATIVE,YW_NATIVE×LRB_TO_W*LRG_TO_B_NATIVE,YW_NATIVE×LRB_TO_W*LRB_TO_B_NATIVE]T
Figure BDA0002928670920000237
Figure BDA0002928670920000238
Figure BDA0002928670920000239
图9示出了先前已被表征以产生2D LUT 910的显示设备100的第一组原色LED的操作。如图8C所示,2D LUT为第一组原色LED中的每个LED提供驱动电流。当用户实际使用显示设备100时,第一组原色LED的操作过程包括测量温度112,接收目标亮度,访问2D LUT 910以确定电流iR、iG和iB,以及使用确定的电流驱动LED。可以结合2D LUT使用双线性内插来针对任意温度和目标亮度确定作为温度和目标亮度的函数的驱动电流。如图9所示,LED单元106的操作温度112使用热敏电阻测量,被提供给前馈计算器120,并用于确定各个LED的驱动电流。
参考图9,前馈计算器120从处理单元130接收目标色度(例如D65)和亮度(例如100尼特)。前馈计算器120从热敏电阻接收LED单元106的温度。通过使用定义作为温度和亮度的函数的驱动电流的2D LUT,目标LED电流信号(例如,数字信号)由前馈计算器120产生并被提供给LED电流控制器122。尽管在图9仅示出了三个电流,但是将理解,对于具有两个目镜(右左目镜)的双深度平面实现,将产生12个目标LED电流信号。然后,LED电流控制器122产生用于驱动相应LED的模拟驱动电流。如图9所示,驱动三个LED(LED-R1、LED-G1和LED-B1),以在LCoS投影仪104反射之后将输入提供给目镜102的一个深度平面。为了产生均匀的白光显示,LCoS投影仪104的像素将被设定为均匀(即最大)反射率,以反射在原色LED的顺序操作期间产生的光。
当处理单元130指定的目标亮度或LED单元106的温度变化时,前馈计算器120将基于这些变化更新目标LED电流,从而提供由具有目标亮度的固定白点表征的目镜102的输出。在一些实施例中,前馈计算器120以预定的周期性速率(例如,每帧或~83ms的周期)更新目标LED电流。
图10示出了先前已被表征以产生2D LUT 1010的显示设备100的第二组原色LED的操作。当用户实际使用显示设备100时,第二组原色LED的操作过程包括测量温度112,接收目标亮度,访问2D LUT 1010以确定电流iR、iG和iB,以及使用确定的电流驱动LED。如图10所示,LED单元106的操作温度112使用热敏电阻测量,被提供给前馈计算器120,并用于确定各个LED(即LED-R2、LED-G2和LED-B2)的驱动电流。
图11示出了用于校准诸如显示设备100之类的显示设备的方法1100。在一些实施例中,可以在执行方法700或800之后执行方法1100。方法1100的一个或多个步骤可以以不同于图11所示的顺序执行,并且不需要执行所有步骤。在步骤1102,接收目标亮度YW。目标亮度YW可以对应于特定的白点,例如D65。在步骤1104,测量LED单元的温度。在步骤1106,访问一个或多个2D查找表以确定电流iR、iG和iB,随后可以使用这些电流驱动原色LED。
在步骤1106,使用双线性内插来确定每个LED的驱动电流(即iR、iG和iB),以及每个LED的色度和亮度(即x、y和Y)。因此,一些实施例确定12个参数:{iR、iG、iB、xR、xG、xB、yR、yG、yB、YR、YG、YB}。为了执行双线性内插,访问用于2D查找表的离散LED单元温度和亮度,并找到LED单元温度和目标亮度的相邻索引。对于12个参数中的每个参数,访问相应的2D LUT,找到四个相邻的条目,然后执行双线性内插。在步骤1108,以确定的电流驱动原色LED。
应当理解,图11所示的具体步骤提供了根据本发明的另一实施例的校准显示设备的特定方法。根据替代实施例,也可以执行其他步骤顺序。例如,本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外,图11所示的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。此外,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将认识到许多变型、修改和替代。
图12示出了根据本发明的实施例的前馈控制器1200的框图。参考图12,前馈控制器1200的输入是目标色度和亮度,以便形成给定的虚像(白点)和干扰,该干扰是LED封装(也被称为LED单元)的温度的测量。在图12中,由于LED封装利用CPC,因此LED封装被称为CPC 1220。如本文更全面地所述,LED封装的热质量可用于促进温度控制。如图12所示,尽管利用了热敏电阻1210将CPC 1220的温度提供给前馈计算器120,但是也可以使用其他温度测量设备。
在某些环境条件下,LED封装的温度可以在表征特定待测LED的光谱特性的时间段内发生变化。在这种情况下,可以计算测试期间的平均温度。
如图12所示,前馈计算器120能够提供RGB色点(例如,在xyY颜色空间中)作为输出。如关于图8C所述,2D DUT不仅可以包括驱动电流值,而且可以包括所关注的驱动电流下的LED的色度和亮度信息。因此,可以输出该色度和亮度信息,以供其他系统元件使用,例如用于色域之间的变换,例如从初始色域到sRGB色域的变换。
在利用场顺序显示系统的实现中,由三个LED发射的光的总和出现在观看者的眼睛中。
下面的讨论示出了本文所述的颜色校准过程的一个或多个步骤。如本文所讨论的,施加到LED以实现特定白点(例如D65)的驱动电流可以在红色、绿色和蓝色LED的确定色度作为温度和驱动电流的函数而变化时发生变化。例如,在第一次,可以根据下表产生具有色度坐标x=0.3127,y=0.329的特定白点:
Figure BDA0002928670920000261
红色、绿色和蓝色LED的计算的亮度在底行中列出,并且特定白点的目标亮度的和为1。
继续上面的示例,在第二次,红色、绿色和蓝色LED的色度坐标已更改(例如,由于温度发生变化),并且可以根据下表产生具有色度坐标x=0.3127,y=0.329的特定白点:
Figure BDA0002928670920000262
Figure BDA0002928670920000271
红色、绿色和蓝色LED的计算的亮度在底行中列出,并且特定白点的目标亮度的和再次为1。
继续上面的示例,在第三次,红色和绿色LED的色度坐标与第二次相同,但是白点的色度坐标已从x=0.3127,y=0.329更改为x=0.3295,y=0.3679(例如,由于所需虚拟内容发生变化)。可以根据下表产生白点:
Figure BDA0002928670920000272
红色、绿色和蓝色LED的计算的亮度在底行中列出,并且特定白点的目标亮度的和再次为1。
应当理解,与本文所述的方法有关的附图中示出的具体步骤显示了提供本文所述的特定方法的步骤。根据替代实施例,也可以执行其他步骤顺序。例如,本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外,与本文所述的方法有关的附图中示出的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。此外,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将认识到许多变型、修改和替代。
图13示出了根据本文所述的实施例的简化计算机系统1300。图12所示的计算机系统1200可以并入本文所述的诸如显示设备100和校准计算机202之类的设备。图13提供了可以执行由各个实施例提供的方法的一些或全部步骤的计算机系统1300的一个实施例的示意图。需要指出,图13仅意在提供各种组件的概括说明,可以在适当的时候使用这些组件中的部分或全部。因此,图13广泛地说明了如何以相对分离或相对更集成的方式实现各个系统元件。
计算机系统1300被示出为包括硬件元件,这些硬件元件可通过总线1305电耦合,或者可以在适当的时候以其他方式进行通信。硬件元件可以包括一个或多个处理器1310,其中包括但不限于一个或多个通用处理器和/或一个或多个专用处理器,例如数字信号处理芯片、图形加速处理器和/或类似物;一个或多个输入设备1315,其可以包括但不限于鼠标、键盘、相机和/或类似物;以及一个或多个输出设备1320,其可以包括但不限于显示设备、打印机和/或类似物。
计算机系统1300还可以包括一个或多个非暂时性存储设备1325和/或与其通信,这些存储器设备可以包括但不限于本地和/或网络可访问存储,和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、固态存储设备,例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”),这些存储器是可编程的、可闪存更新的和/或可进行类似操作。这样的存储设备可被配置为实现任何适当的数据存储,其中包括但不限于各种文件系统、数据库结构和/或类似物。
计算机系统1300还可以包括通信子系统1319,其可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组,诸如BluetoothTM设备、802.11设备、WiFi设备、WiMax设备,蜂窝通信设备等和/或类似物。通信子系统1319可以包括一个或多个输入和/或输出通信接口,以允许与网络(例如下文作为例子描述的网络)、其他计算机系统、电视和/或本文所述的任何其他设备交换数据。取决于期望的功能和/或其他实现问题,便携式电子设备或类似设备可以经由通信子系统1319传送图像和/或其他信息。在其他实施例中,便携式电子设备(例如,第一电子设备)可以集成到计算机系统1300中,例如,作为输入设备1315的电子设备。在一些实施例中,计算机系统1300还将包括工作存储器1335,其可以包括上述RAM或ROM设备。
计算机系统1300还可以包括软件元件,其被示出为当前位于工作存储器1335内,其中包括操作系统1340、设备驱动程序、可执行库和/或其他代码,例如一个或多个应用程序1345,其可以包括由各种实施例提供的计算机程序,和/或可以被设计为实现本文所述的由其他实施例提供的方法和/或配置系统。仅作为示例,关于上述方法描述的一个或多个过程可以实现为可由计算机和/或计算机内的处理器执行的代码和/或指令;然后,在一方面,这样的代码和/或指令可用于配置和/或改编通用计算机或其他设备以根据所描述的方法执行一个或多个操作。
一组这样的指令和/或代码可以存储在非暂时性计算机可读存储介质上,例如上述存储设备1325。在一些情况下,存储介质可以集成在计算机系统中,例如计算机系统1300。在其他实施例中,存储介质可以与计算机系统分离,例如光盘之类的可移动介质,和/或通过安装包提供,使得存储介质可用于编程、配置和/或调整上面存储有指令/代码的通用计算机。这些指令可以采取可由计算机系统1300执行的可执行代码的形式,和/或可以采取源和/或可安装代码的形式,当例如使用任何多样的通常可用的编译程序、安装程序、压缩/解压缩实用程序等在计算机系统1300上执行编译和/或安装时,这些源和/或可安装代码则采取可执行代码的形式。
对于本领域技术人员显而易见的是,可以根据具体要求进行实质性变化。例如,也可以使用定制硬件,和/或可以用硬件和/或包括便携式软件(例如,小程序)的软件实现特定元件。此外,可以采用到诸如网络输入/输出设备之类的其他计算设备的连接。
如上所述,在一方面,一些实施例可以采用诸如计算机系统1300之类的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例,这些方法的部分或所有过程由计算机系统1300响应于处理器1310执行一个或多个指令的一个或多个序列而执行,所述指令序列可以集成到操作系统1340和/或包含在工作存储器1335中的其他代码(诸如应用程序1345)中。这些指令可以从另一计算机可读介质(例如一个或多个存储设备1325)读入工作存储器1335。仅作为示例,包含在工作存储器1335中的指令序列的执行可以使处理器1310执行本文所述的方法的一个或多个过程。另外地或替代地,本文所述的方法的一部分可通过专用硬件来执行。
此处使用的术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统1300实现的实施例中,各种计算机可读介质可以涉及向处理器1310提供指令/代码以供执行和/或可用于存储和/或承载这样的指令/代码。在许多实现中,计算机可读介质是物理和/或有形存储介质。这种介质可以采用非易失性介质或易失性介质的形式。非易失性介质例如包括光盘和/或磁盘,例如存储设备1325。易失性介质包括但不限于动态存储器,例如工作存储器1335。
物理和/或有形计算机可读介质的常见形式例如包括软盘、弹性盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带,或计算机可以从中读取指令和/或代码的任何其他介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送到处理器1310以供执行。仅作为示例,指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中,并将指令作为信号通过传输介质发送,以由计算机系统1300接收和/或执行。
通信子系统1319和/或其组件通常将接收信号,然后总线1305可以将信号和/或由信号携带的数据、指令等携带到工作存储器1335,处理器1310从工作存储器1335检索并执行指令。由工作存储器1335接收的指令可以选择性地在由处理器1310执行之前或之后存储在非暂时性存储设备1325上。
上面讨论的方法、系统和设备是一些示例。各种配置可以适当地省略、替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加、省略和/或组合各种阶段。而且,关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外,技术在发展,因此许多元素只是示例,并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,这些配置可以在没有这些具体细节的情况下进行实践。例如,已经示出了众所周知的电路、过程、算法、结构和技术,其中没有不必要的细节以避免模糊配置。该描述仅提供了示例配置,并不限制权利要求的范围、适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
此外,配置可以被描述为过程,该过程被描绘为示意性流程图或框图。尽管每个过程可以将操作描述为顺序过程,但是许多操作可以并行或同时执行。另外,可以重新排列操作的顺序。过程可具有图中未包含的其他步骤。此外,方法的示例可通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或微代码中实现时,用于执行必要任务的程序代码或代码段可以存储在诸如存储介质之类的非暂时性计算机可读介质中。处理器可以执行所描述的任务。
已经描述了若干示例配置,可以使用各种修改、替代构造和等同物而不脱离本公开的精神。例如,上述元件可以是更大系统的组件,其中其他规则可以优先于或以其他方式修改技术应用。而且,可以在考虑上述元件之前、期间或之后采取许多步骤。因此,以上描述不限制权利要求的范围。
如本文和所附权利要求中所使用的,单数形式“一”、“一个”和“该”包括复数指代,除非上下文另有明确说明。因此,例如,对“用户”的提及包括多个这样的用户,并且对“处理器”的提及包括对本领域技术人员公知的一个或多个处理器及其等同物的提及等等。
此外,当在本说明书和所附权利要求中使用时,词语“包括”、“包涵”、“包含”、“含有”、“具有”、“拥有”和“内含”旨在指定所声明的特征、整数、组件或步骤的存在,但它们不排除存在或添加一个或多个其他特征、整数、组件、步骤、动作或组。
还应理解,本文所述的示例和实施例仅用于说明目的,它们的各种修改或变化对于本领域技术人员而言是显而易见的,并且包括在本申请的精神和范围以及所附权利要求的范围内。

Claims (20)

1.一种校准显示设备的方法,所述显示设备包括设置在一个单元中的一组原色光源,所述方法包括:
针对每个所述原色光源获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值;
将所述测量点变换为XYZ颜色空间以产生XYZ值;
针对一组目标亮度和一组离散温度中的每一个:
计算所述每个原色光源的原色亮度;以及
内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流;以及
存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
2.根据权利要求1所述的方法,进一步包括:
内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。
3.根据权利要求2所述的方法,进一步包括:
针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。
4.根据权利要求1所述的方法,其中所述原色光源是发光二极管(LED)。
5.根据权利要求1所述的方法,其中所述单元包括复合抛物线聚光器(CPC)。
6.根据权利要求1所述的方法,其中测量所述色度和亮度值包括接收通过所述显示设备的目镜透射的光。
7.根据权利要求1所述的方法,其中通过多次迭代执行计算所述原色亮度以及内插或外推所述驱动电流和所述XYZ值。
8.根据权利要求1所述的方法,其中所述计算的电流被存储在查找表中。
9.一种用于校准显示设备的系统,所述显示设备包括设置在一个单元中的一组原色光源,所述系统包括:
一个或多个处理器;以及
计算机可读介质,其包含指令,当由所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行以下操作:
针对每个所述原色光源获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值;
将所述测量点变换为XYZ颜色空间以产生XYZ值;
针对一组目标亮度和一组离散温度中的每一个:
计算所述每个原色光源的原色亮度;以及
内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流;以及
存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
10.根据权利要求9所述的系统,其中所述操作进一步包括:
内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。
11.根据权利要求10所述的系统,其中所述操作进一步包括:
针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。
12.根据权利要求9所述的系统,其中所述原色光源是发光二极管(LED)。
13.根据权利要求9所述的系统,其中所述单元包括复合抛物线聚光器(CPC)。
14.根据权利要求9所述的系统,其中测量所述色度和亮度值包括接收通过所述显示设备的目镜透射的光。
15.根据权利要求9所述的系统,其中通过多次迭代执行计算所述原色亮度以及内插或外推所述驱动电流和所述XYZ值。
16.根据权利要求9所述的系统,其中所述计算的电流被存储在查找表中。
17.一种非暂时性计算机可读介质,其包含指令,当由一个或多个处理器执行时,所述指令使所述一个或多个处理器执行以下操作:
针对设置在显示设备的一个单元中的一组原色光源中的每个原色光源,获取测量点,所述测量点包括作为所述单元的温度和所述原色光源的驱动电流的函数的色度和亮度值;
将所述测量点变换为XYZ颜色空间以产生XYZ值;
针对一组目标亮度和一组离散温度中的每一个:
计算所述每个原色光源的原色亮度;以及
内插或外推每个所述原色亮度的所述驱动电流和所述XYZ值,以获取计算的电流;以及
存储通过所述目标亮度和所述离散温度索引的所述计算的电流。
18.根据权利要求17所述的非暂时性计算机可读介质,其中所述操作进一步包括:
内插或外推所述测量点,以提供作为所述离散温度和所述驱动电流的函数的修改的测量点。
19.根据权利要求18所述的非暂时性计算机可读介质,其中所述操作进一步包括:
针对每个所述离散温度,按所述亮度值对所述修改的测量点进行排序。
20.根据权利要求17所述的非暂时性计算机可读介质,其中所述原色光源是发光二极管(LED)。
CN201980051439.8A 2018-08-03 2019-08-02 光学显示器的led热特性表征和校准 Active CN112534225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862714503P 2018-08-03 2018-08-03
US62/714,503 2018-08-03
PCT/US2019/044918 WO2020028811A1 (en) 2018-08-03 2019-08-02 Led thermal characterization and calibration for an optical display

Publications (2)

Publication Number Publication Date
CN112534225A true CN112534225A (zh) 2021-03-19
CN112534225B CN112534225B (zh) 2024-05-14

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192470A (zh) * 2021-04-25 2021-07-30 Oppo广东移动通信有限公司 屏幕调节方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8465335B2 (en) * 2008-06-13 2013-06-18 Barco, Inc. Color calibration system for a video display
US20150382424A1 (en) * 2014-06-25 2015-12-31 Ketra, Inc. Illumination Device and Method for Controlling an Illumination Device over Changes in Drive Current and Temperature
US9851572B2 (en) * 2013-05-17 2017-12-26 Karl Storz Se & Co. Kg Beam combining device for a light-source device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8465335B2 (en) * 2008-06-13 2013-06-18 Barco, Inc. Color calibration system for a video display
US9851572B2 (en) * 2013-05-17 2017-12-26 Karl Storz Se & Co. Kg Beam combining device for a light-source device
US20150382424A1 (en) * 2014-06-25 2015-12-31 Ketra, Inc. Illumination Device and Method for Controlling an Illumination Device over Changes in Drive Current and Temperature

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192470A (zh) * 2021-04-25 2021-07-30 Oppo广东移动通信有限公司 屏幕调节方法、装置、存储介质及电子设备
CN113192470B (zh) * 2021-04-25 2023-01-10 Oppo广东移动通信有限公司 屏幕调节方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP3830537A1 (en) 2021-06-09
US10914640B2 (en) 2021-02-09
US20210190598A1 (en) 2021-06-24
US11287326B2 (en) 2022-03-29
EP3830537A4 (en) 2021-11-24
US20200041349A1 (en) 2020-02-06
WO2020028811A1 (en) 2020-02-06
JP2021533408A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN112567736B (zh) 用于显示设备的次网格校准的方法和系统
US10914640B2 (en) LED thermal characterization and calibration for an optical display
US9135889B2 (en) Color correction of electronic displays
US8004545B2 (en) Display apparatus with arrangement to decrease quantity of backlight and increase transmittance of the display panel
US9165493B2 (en) Color correction of electronic displays utilizing gain control
CN112437872B (zh) 用于成像设备的颜色校准的方法和系统
JP4364281B2 (ja) 表示装置
US8783902B2 (en) Illuminating device
US8300069B2 (en) Optimal backlighting determination apparatus and method
US9160891B2 (en) Image processing method, image processor, and image display system
US8390643B2 (en) Dynamic gamut control
US20080150880A1 (en) Image displaying device and image displaying method
US20160267834A1 (en) Display diode relative age
WO2014088975A1 (en) Method for producing a color image and imaging device employing same
KR20230027265A (ko) 디스플레이 디바이스의 컬러 균일성 보정
CN112534225B (zh) 光学显示器的led热特性表征和校准
US10002571B1 (en) Liquid crystal display incorporating color-changing backlight
KR20070028894A (ko) 램프 사용시간에 따른 색온도 보정 기능을 구비한 투사형디스플레이 장치 및 그 제어방법
CN112614455A (zh) 显示屏色温漂移补偿方法、装置和系统以及显示控制系统
JP2000330504A (ja) 映像表示装置
CN110867150A (zh) 智能背投影电视墙及调控其色彩亮度均匀性的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant