CN112567736A - 用于显示设备的次网格校准的方法和系统 - Google Patents

用于显示设备的次网格校准的方法和系统 Download PDF

Info

Publication number
CN112567736A
CN112567736A CN201980051521.0A CN201980051521A CN112567736A CN 112567736 A CN112567736 A CN 112567736A CN 201980051521 A CN201980051521 A CN 201980051521A CN 112567736 A CN112567736 A CN 112567736A
Authority
CN
China
Prior art keywords
pixel
values
grid
rgb
xyz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980051521.0A
Other languages
English (en)
Other versions
CN112567736B (zh
Inventor
K·塔纳卡
L·张
E·G·格罗斯曼
M·C·卡普斯
R·B·泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112567736A publication Critical patent/CN112567736A/zh
Application granted granted Critical
Publication of CN112567736B publication Critical patent/CN112567736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

一种用于校准可穿戴设备的方法包括：使用可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像，以及确定用于多个像素中的每个像素的RGB和XYZ值。该方法包括：选择多个像素的子集以形成一组网格点，以及将图像划分为一组图块区域，每个图块区域包括网格点。基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值，以及确定用于每个网格点的网格RGB‑到‑XYZ转换矩阵。该方法还包括通过将用于网格的网格RGB‑到‑XYZ转换矩阵的逆与sRGB‑到‑XYZ转换矩阵相乘，确定用于每个网格点的校正矩阵。

Description

用于显示设备的次网格校准的方法和系统
相关申请的交叉引用
本申请要求享有2018年8月3日提交的题为“用于显示器设备的次网格校准的方法和系统(METHOD AND SYSTEM FOR SUBGRID CALIBRATION OF A DISPLAY DEVICE)”的美国临时专利申请第62/714,502号的优先权的权益，出于所有目的，通过引用将其全部内容合并于此。
背景技术
现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以看起来好像是或者可能被认为是真实的方式呈现给观看者。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，对其它实际的真实世界视觉输入没有透明度；增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现，以增强对观看者周围实际世界的可视化。
尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统(特别是显示系统)有关的改进的方法和系统。
发明内容
本发明的实施例通常针对增强现实系统，特别是显示系统。本发明的一些实施例针对VR或AR设备中的可穿戴显示器的校准。如在此所述，在一些实施例中利用次网格分析来改善跨波导显示器的色度均匀性。
根据一些实施例，一种用于校准可穿戴设备的方法包括：使用可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像，以及确定用于多个像素中的每个像素的RGB和XYZ值。该方法包括：选择多个像素的子集以形成一组网格点，以及将图像划分为一组图块区域，每个图块区域包括网格点。基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值，以及确定用于每个网格点的网格RGB-到-XYZ转换矩阵。该方法还包括通过将用于网格的网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个网格点的校正矩阵。
在上述方法的一些实施例中，该方法还包括使用用于网格点的校正矩阵，形成用于作为网格点的每个像素的校正矩阵，以及通过从相邻网格点的校正矩阵进行插值，形成用于不是网格点的每个像素的校正矩阵。在一些实施例中，使用双线性插值来执行插值。在替代实施例中，使用重心插值来执行插值。
在一些实施例中，该方法还包括：接收如目标颜色空间中定义的预期内容的每个像素的颜色值；将用于每个像素的校正矩阵应用于接收的颜色值以生成校正的颜色值；以及向可穿戴设备发送校正的颜色值以显示预期内容。
在一些实施例中，该方法还包括将伽马应用于校正的颜色值。在一些实施例中，该方法还包括按比例缩小校正的颜色值以改善强度均匀性。
在一些实施例中，该方法可以包括：接收如目标颜色空间中定义的预期内容的像素的颜色值；将用于每个网格点的校正矩阵应用于接收的颜色值以生成新颜色值；使用用于相邻网格点的新颜色值，对用于每个像素的像素颜色值进行插值；以及向可穿戴设备发送新颜色值以显示预期内容。
在一些实施例中，确定用于多个像素中的每个像素的RGB和XYZ值包括使用数字相机捕获RGB值并将RGB值转换为XYZ值。
在一些实施例中，确定用于多个像素中的每个像素的RGB和XYZ值包括使用分光辐射计捕获RGB和XYZ值。
在以上方法的一些实施例中，该方法可以包括：接收如目标颜色空间中定义的预期内容的像素的颜色值；将用于每个网格点的校正矩阵应用于接收的颜色值以生成新颜色值；使用用于相邻网格点的新颜色值对用于每个像素的像素颜色值进行插值；以及向可穿戴设备发送新颜色值以显示预期内容。
根据一些实施例，一种用于校准可穿戴设备的方法包括：由可穿戴显示设备显示用于三种原色中每种原色的图像；以及使用数字彩色相机捕获M×N像素的图像，其中，M和N是整数，数字彩色相机针对每个像素提供RGB值。该方法还包括使用相机转换矩阵将用于图像的像素中的每个像素的RGB值转换为XYZ值，该相机转换矩阵将RGB值转换为对应的XYZ值。该方法还包括：从M×N个像素中选择K×L个网格点，其中，K和L为小于M和N的整数；以及通过L个图块区域将图像划分为K个，每个图块区域包括网格点。该方法进一步包括：基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值；以及确定用于每个网格点的网格RGB-到-XYZ转换矩阵，该矩阵将网格点处的RGB值转换为网格点的XYZ值。该方法还包括通过将用于像素的网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个像素的校正矩阵。
在该方法的一些实施例中，校正矩阵是被配置为向可穿戴设备提供校正的显示器-RGB颜色值的sRGB-到-显示器-RGB校正矩阵。
在一些实施例中，该方法还包括：接收如在目标颜色空间中定义的预期内容的像素的颜色值，以及确定该像素是否为网格点。如果像素是网格点，则将用于网格点的校正矩阵用作用于像素的像素校正矩阵。如果像素不是网格点，则通过从相邻网格点处的校正矩阵进行插值来确定用于像素的像素校正矩阵，其中，从相邻网格点处的校正矩阵中的对应矩阵元素对校正矩阵的每个矩阵元素进行插值。该方法进一步包括：将用于像素点的像素校正矩阵应用于接收的颜色值以生成新颜色值；以及向可穿戴设备发送新颜色值以显示预期内容。
在一些实施例中，使用双线性插值来执行插值。在一些实施例中，使用重心插值来执行插值。
在一些实施例中，该方法还包括线性化接收的颜色值。在一些实施例中，该方法还包括将伽马应用于新颜色值。在一些实施例中，该方法还包括按比例缩小网格点颜色值以改善强度均匀性。
根据本发明的一些实施例，一种用于校准可穿戴显示设备的系统包括数字彩色相机，该数字彩色相机被设置为捕获可穿戴显示设备的图像显示。数字彩色相机被配置为针对图像的多个像素中的每个像素提供RGB值。该系统还具有第一处理器，用于将由相机提供的RGB值转换为XYZ值。第一处理器还被配置为选择多个像素的子集以形成一组网格点，并且将图像划分为一组图块区域，每个图块区域包括网格点。第一处理器还被配置为基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值；以及确定用于每个网格点的网格RGB-到-XYZ转换矩阵。此外，第一处理器被配置为通过将用于像素的网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个网格点的校正矩阵。
在一些实施例中，该系统进一步被配置为通过从相邻网格点的校正矩阵进行插值来形成用于不是网格点的每个像素的校正矩阵。
在一些实施例中，该系统进一步被配置为接收如目标颜色空间中定义的预期内容的像素的颜色值；将用于网格点的像素校正矩阵应用于接收的颜色值以生成新颜色值；以及向可穿戴显示设备发送新颜色值以显示预期内容。
根据一些实施例，一种用于校准可穿戴设备的方法可以包括：使用可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像；以及确定用于多个像素中的每个像素的RGB和XYZ值。该方法包括确定用于每个像素的像素RGB-到-XYZ转换矩阵。此外，该方法可以通过将用于像素的像素RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，来确定用于每个像素的校正矩阵。为了将校正应用于显示器，该方法包括：接收如目标颜色空间中定义的预期内容的每个像素的颜色值；将用于每个像素的校正矩阵应用于接收的颜色值以生成校正的颜色值；以及向可穿戴设备发送校正的颜色值以显示预期内容。
例如，在一些实施例中，一种用于校准可穿戴设备的方法可以包括：使用可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像，以及确定用于多个像素中的每个像素的RGB和XYZ值。该方法包括确定用于每个像素的像素RGB-到-XYZ转换矩阵。此外，该方法可以通过将用于像素的像素RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘来确定每个像素的校正矩阵。为了将校正应用于显示器，该方法包括：接收如目标颜色空间中定义的预期内容的每个像素的颜色值；将用于每个像素的校正矩阵应用于接收的颜色值以生成校正的颜色值；以及向可穿戴设备发送校正的颜色值以显示预期内容。
通过本发明，与传统技术相比，获得了许多益处。例如，本发明的实施例提供了用于使用低成本数字彩色相机来校准可穿戴显示设备的方法和系统。本发明的实施例提供了用于确定从数字相机特定的RGB颜色空间到CIE XYZ颜色空间的转换模型的方法和系统。然后可以将转换模型应用于数字彩色相机，以测量虚拟图像的绝对色度和亮度。校准的低成本数字相机可在生产环境中大量使用，以校准大量可穿戴显示设备。此外，本发明的实施例提供了用于次网格分析的方法和系统，以改善跨波导显示器的色度均匀性。此外，提供了可以减少逐网格校正的复杂度和成本的图像拼接技术。
结合下面的文字和附图，更详细地描述本发明的这些和其它实施例以及其许多优点和特征。
附图说明
图1是根据一些实施例的示例性增强现实眼镜的透视图；
图2是根据一些实施例的示例性增强现实眼镜的顶视图；
图3是示出根据本发明的一些实施例的可用于向观看者呈现数字或虚像的观察光学组件(VOA)中的光路的示意图；
图4A是示出CIE 1931颜色空间色度图的图。
图4B是示出根据本发明的一些实施例的用于校准可穿戴设备的方法的简化示意图。
图5A是示出根据本发明的一些实施例的用于校准可穿戴设备的系统的简化示意图。
图5B是示出根据本发明的另一实施例的用于校准可穿戴设备的系统的简化示意图。
图5C是示出根据本发明的一些实施例的用于表征数字彩色相机的系统的简化框图。
图6是示出根据本发明的一些实施例的用于执行可穿戴设备的颜色校准的方法的流程图。
图7A是示出根据本发明的一些实施例的显示图像场中的像素的简化图。
图7B是示出根据本发明的一些实施例的显示图像场中的平铺区域的简化图。
图7C是示出根据本发明的一些实施例的显示图像场的一部分的简化图。
图8是示出根据本发明的一些实施例的校准显示设备的方法的流程图。
图9是示出根据本发明的一些实施例的针对不是网格点的像素点的校正矩阵的插值的简化图。
图10和图11是示出根据本发明的一些实施例的使用上述方法的校准结果的示例的图。
图12是示出根据在此描述的实施例的计算机系统的简化示意图。
具体实施方式
本发明的实施例针对用于可穿戴显示设备的校准的数字相机的表征。
在原生(native)模式下操作的显示器可能不示出预期的颜色。通常，设备可以使用三个通道或红色、绿色和蓝色的原色输出颜色。但是，由于用于这些通道的三种原色可能与目标颜色空间(例如sRGB)所使用的那些不同，因此显示设备通常具有3×3矩阵，以将三个sRGB值比色转换为显示器红色、绿色和蓝色的三个数字，使得当发送到设备时，它将输出最初预期的颜色。显示设备中使用的LED不仅可能具有与目标颜色空间不同的原色，而且在其光谱通过光学器件后，颜色在色度(x，y)和强度(Y)二者中都会发生移位，从而使颜色变化取决于显示屏上的位置。例如，由可穿戴设备显示的颜色可能不均匀。例如，在包括波导显示器的可穿戴设备中，光学组件可使色谱变窄和/或使色谱移位。此外，从用户的太阳穴侧到鼻侧可能发生色移。颜色变化也可能由其它因素引起。因此，期望进行逐像素校准和校正以获得在视野上的均匀输出颜色。
图1是根据一些实施例的示例性可穿戴显示设备100的透视图。在该示例中，可穿戴显示设备100可以是一副增强现实眼镜。如图1中所示，可穿戴显示设备100可包括支撑左波导目镜120L和右波导目镜120R的框架110。每个波导目镜120L和120R可以包括耦入光栅(ICG)121、正交光瞳扩展器(OPE)122和出射光瞳扩展器(EPE)123。耦入光栅也被称为输入耦合端口。耦入光栅(ICG)121、正交光瞳扩展器(OPE)122和出射光瞳扩展器(EPE)123可以是合适的衍射光学元件(DOE)。例如，它们可以采取形成在光波导上的光栅的形式。根据某些实施例，不是为每个目镜提供单个波导，而是每个目镜可以具有用于不同颜色和具有不同光功率EPE的多个光波导的堆叠。EPE被配置为投影可以从用户眼睛位置130观看的图像。
在图1中，可以是图像光或扫描光束的入射光可以入射到每个目镜120L、120R的ICG(121)上。每个ICG 121将入射光耦合到在朝向OPE区域122的方向中传播的引导模式。目镜通过全内反射(TIR)传播图像光。每个目镜120L、120R的OPE区域122还可以包括衍射元件，该衍射元件将在目镜120L、120R中传播的图像光的一部分耦合并重定向到EPE区域123。EPE区域123包括衍射元件，该衍射元件在从目镜层120的平面向外的方向中朝向观看者的眼睛位置130耦合并引导在每个目镜120L、120R中传播的光的一部分。以该方式，观看者可以观看图像。
入射光可以包括三种原色的光，即蓝(B)、绿(G)和红(R)。
在一些应用中，目镜可以接受以两个自由度扫描的准直光。每个瞬时入射角(或较小的入射角范围)对应于角度定义的像素。在一些实施例中，光可以被配置为模拟虚拟对象，该虚拟对象看起来距观看者一定距离，例如，半米到一米。
图2是根据一些实施例的示例性可穿戴显示设备200的顶视图。在该示例中，可穿戴显示设备200可以是一对增强现实眼镜。如图2中所示，可穿戴显示设备200可以包括框架210和目镜220。每个目镜可以类似于图1中的目镜120L和120R，并且可以包括ICG、OPE和EPE，它们在顶视图中不可见。可穿戴显示设备200还可以包括扫描仪壳体230，该扫描仪壳体230可以包括用于从入射光源形成虚拟图像(例如在无限远处)的扫描镜。在一些实施例中，ICG用作接收光的输入端口。可以从用户眼睛位置240观看由目镜形成的图像。增强现实眼镜还可以具有左右扬声器250和相机260。
如上所述，入射光可以包括三种原色的光，即蓝(B)、绿(G)和红(R)。在一些实施例中，入射光中的光束在光学组合器中组合。对于用于VR和AR应用的可穿戴设备，期望系统中的光学组合器紧凑且重量轻。
图3示意性地示出根据本发明一些实施例的可用于向观看者呈现数字或虚拟图像的观察光学组件(VOA)中的光路。VOA包括投影仪301和可以佩戴在观看者的眼睛周围的目镜300。在一些实施例中，投影仪301可以包括一组红色LED、一组绿色LED和一组蓝色LED。例如，根据实施例，投影仪301可以包括两个红色LED、两个绿色LED和两个蓝色LED。目镜300可包括一个或多个目镜层。投影仪301还可以包括LCOS(硅上液晶)-SLM(空间光调制器)以及各种光学元件，诸如反射式准直仪和投影仪继电器。在一个实施例中，目镜300包括三个目镜层，对于三种原色(红色、绿色和蓝色)中的每一种，一个目镜层。在另一实施例中，目镜300可以包括六个目镜层，即，用于三种原色中的每一种原色的一组目镜层，其被配置为在一个深度平面处形成虚拟图像，以及用于三种原色中的每一种原色的另一组目镜层，其被配置为在另一个深度平面处形成虚拟图像。在其它实施例中，目镜300可包括用于三个或更多个不同深度平面的三种原色中的每一种原色的三个或更多个目镜层。每个目镜层包括平面波导层，并且可以包括耦入光栅307、正交光瞳扩展器(OPE)区域308和出射光瞳扩展器(EPE)区域309。
仍然参考图3，投影仪301将图像光投影到目镜300中的耦入光栅307上。耦入光栅307将来自投影仪301的图像光耦合到平面波导层中朝向OPE区域308的方向中传播。波导层传播通过全内反射(TIR)在水平方向中的图像光。目镜300的OPE区域308还包括衍射元件，该衍射元件将在波导层中传播的一部分图像光耦合并朝向EPE区域309重定向。EPE区域309包括衍射元件，该衍射元件将在波导层中在近似垂直于目镜300的平面的方向传播的图像光的一部分耦合并朝向观看者的眼睛302引导。以该方式，观看者的眼睛302可以看到由投影仪301投影的图像。
如上所述，由投影仪生成的图像光可以包括三种原色的光，即蓝(B)、绿(G)和红(R)。可以将此类图像光分离为构成色，使得可以将每种构成色的图像光耦合到目镜中的相应波导层。
在一些实施例中，由可穿戴设备显示的颜色可以通过在眼睛位置处用眼睛代理(eye-proxy)相机测量可穿戴设备的输出并与目标显示值进行比较来校准。可以在较大的FOV(视野)下执行测量，并且可以接近相机的整个FOV。数字彩色相机测量RGB空间中的颜色。为了表示人类对颜色的感知，可以将相机RGB空间中的数据从相机的RGB空间转换为眼睛的XYZ空间或其它绝对颜色空间，例如如CIE 1931颜色空间中定义的。一旦可在绝对颜色空间中描述可穿戴设备的输出，就可以对颜色应用调节以获得所需的虚拟图像，例如，整个图像上均匀的白色。
图4A是示出CIE 1931颜色空间色度图的图。CIE XYZ颜色空间涵盖了所有具有一般视力的人可见的颜色感觉。CIE XYZ(三刺激值)是颜色的设备不变表示。它用作定义许多其它颜色空间的标准参考。在图4A中，表示为D65(或CIE标准光源D65)的点401是由国际照明委员会(CIE)定义的常用标准光源。它用于描绘世界不同地区的露天标准照明条件。图4A还示出sRGB颜色空间402。sRGB(标准红绿蓝)颜色空间是Hewlett-Packard和Microsoft于1996年合作创建的RGB颜色空间，以用于显示器、打印机和互联网。随后它被标准化，并且通常是图像的“默认”颜色空间。然而，应当理解，其它颜色空间也可以与这里描述的实施例一起使用。
图4B是示出根据本发明的一些实施例的用于校准可穿戴显示设备的方法的简化示意图。在图4B中，可穿戴显示设备400类似于以上在图1中示出的示例性可穿戴显示设备100。在该示例中，可穿戴显示设备400可以是用于增强现实应用的一副眼镜。如图4中所示，可穿戴显示设备400可以包括支撑左波导目镜420L和右波导目镜420R的框架410。每个波导目镜420L和420R可以包括耦入光栅(ICG)421、正交光瞳扩展器(OPE)422和出射光瞳扩展器(EPE)423。耦入光栅也可以被称为输入耦合端口。耦入光栅(ICG)421、正交光瞳扩展器(OPE)422和出射光瞳扩展器(EPE)423可以是合适的衍射光学元件(DOE)。例如，它们可以采取形成在光波导上的光栅的形式。每个目镜可以具有多个光波导的堆叠，用于不同的颜色和不同的光功率EPE。EPE被配置为投影可以从用户眼睛位置430观看的图像。
在本发明的实施例中，为了校准可穿戴设备400，数字彩色相机431和432被设置或定位在用户眼睛位置430处，也就是说，定位在可穿戴设备使用期间用户的眼睛所在的位置。在一些实施例中，可以使用分光辐射计来测量显示设备的显示图像光并确定诸如CIEXYZ颜色空间的绝对颜色空间中的输出颜色。然而，如图4B中所示，分光辐射计通常太大以至于无法测量可穿戴设备。此外，分光辐射计也很昂贵，从而限制了它们在生产环境中大量用于校准大量可穿戴显示设备的用途。此外，一些方法仅使用白光输入来校准白色。因此，传统系统和方法不适用于使用场序彩色显示器的可穿戴设备的校准。
因此，在本发明的一些实施例中，通过采用位于眼睛位置处的低成本数字彩色相机(也称为眼睛代理相机)测量可穿戴输出，可以校准由可穿戴设备显示的颜色。因此，眼睛代理相机用作可以在大批量生产环境中实现的本发明的实施例中的颜色测量设备。数字彩色相机提供RGB空间中的颜色测量。为了表示人类对颜色的感知，将相机RGB空间中的数据从相机RGB空间映射为眼睛的XYZ空间，例如如CIE 1931颜色空间中定义的。一旦在绝对颜色空间中描述了可穿戴设备的输出，就可以对输入颜色数据应用调节以获得虚拟图像中所需的颜色。
图5A是示出根据本发明的一些实施例的用于校准可穿戴设备的系统的简化示意图。图5B是示出根据本发明的另一实施例的具有某些功能的校准系统500的简化示意图。如图5A和图5B中所示，实现校准系统500以测量与一只眼睛相关联的可穿戴设备的一侧。系统的扩展到第二只眼的测试对于本领域技术人员将是显而易见的。校准系统500可以包括眼睛代理相机510、校准工作站520和GPU 530。校准工作站也称为第一处理器，并且GPU(图形处理单元)也称为第二处理器。在一些实施例中，第一处理器和第二处理器可以是同一计算机系统的一部分。
参考图5A和图5B，将要校准的可穿戴设备550光学耦合到眼睛代理相机510。眼睛代理相机510的输出被提供给校准工作站520。来自校准工作站的输出(具有针对网格点中每个网格点的校正矩阵TRA)被提供给GPU 530作为输入。GPU 530被配置为接收如目标颜色空间中定义的预期内容的像素的颜色值，并将用于每个网格点的校正矩阵应用于接收的颜色值以生成新颜色值。此外，GPU可以被配置为使用用于相邻网格点的新颜色值来对用于每个像素的像素颜色值进行插值。GPU还向可穿戴设备发送新颜色值以显示预期内容。
眼睛代理相机510可以是数字彩色相机。例如，可以使用低成本的小型商业和工业彩色相机。在校准期间，可以将相机安装在工作站中的可穿戴设备附近。如图4B中所示，两个相机可以并排使用，以同时或同步测量左眼和右眼可穿戴设备的显示输出。为了简化图示，仅示出了位于距可穿戴设备550的共轭距离处的一个相机510。可穿戴设备550的位置可以相对于相机偏移到不同位置，以通过改变眼睛位置、瞳孔间距和用户运动等来考虑可能的颜色偏移。仅作为示例，可穿戴设备550被示出为在三个横向位置(-3、0和+3mm)处偏移。另外，可穿戴设备相对于相机的相对角度也可以改变以提供附加校准条件。
可穿戴设备550可包括一个或多个光源(也称为图像光源)，诸如LED或激光器。在一些实施例中，可以使用LCOS投影仪来提供显示图像。LCOS投影仪可以内置在可穿戴设备550中。然而，在图5A和图5B中，出于说明和清楚的目的，LCOS 552被示出在可穿戴设备550的外侧。在校准期间，图像光由可穿戴设备550以场序颜色顺序(例如，以红色图像，绿色图像和蓝色图像的序列)投影。在场序彩色系统中，原色信息在连续图像中发送，该图像至少部分地依赖于人类视觉系统以将连续图像融合为彩色图片。眼睛代理相机510将图像捕获为相机的RGB颜色空间中的像素，并将数据提供给校准工作站520。
可穿戴设备550中用于预期内容的像素的颜色值由例如内容提供者在目标颜色空间中定义。在这里描述的示例中，其内容以sRGB(标准红绿蓝)颜色空间中的颜色值指定。然而，应当理解，其它颜色空间可以用于定义内容，并且这里提供的描述是适用的。
在这里描述的示例中，校准工作站520被配置为将相机的RGB空间中的图像数据转换为CIE XYZ颜色空间。在一些实施例中，校准工作站520可以捕获相机的RGB空间中的图像以及分光辐射计的XYZ空间中的对应测量值。分光辐射计可以捕获来自例如积分球的光的光谱和/或CIE XYZ值。在一些实施例中，分光辐射计可以测量xyY值并得出CIE XYZ值。分光辐射计还可以将光谱或XYZ值转换为CIE XYZ(CIE XYZ颜色空间)、CIE xyY(CIE xyY颜色空间)、CIELUV(CIE 1976L*，u*，v*颜色空间)、CIELab(CIE L*a*b*颜色空间)或LCh(CIE L*C*h*颜色空间)或一些其它适当的绝对颜色空间。
图5C是示出根据本发明的一些实施例的用于表征数字彩色相机的系统的简化框图。如图5C中所示，校准系统560可以包括光源521、光谱修改设备522、积分球523、数字彩色相机524、分光辐射计525和校准工作站520。积分球523是显示设备的示例，并且也可以使用其它种类的显示设备。分光辐射计525是颜色测量设备的示例，并且可以使用其它类型的颜色测量设备代替分光辐射计525。系统560被配置为确定由数字彩色相机RGB值捕获的每个显示颜色与绝对颜色空间中的颜色测量值(例如，XYZ值)之间的转换模型。转换模型包括用于场序彩色虚拟图像中的三种原色中的每一种原色的转换矩阵或方程式。
光源521和光谱修改设备522被配置为用具有代表可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束照射积分球523。数字彩色相机524捕获显示设备的图像，并从图像确定用于原色的RGB值。分光辐射计525确定与显示设备处的每个对应的原色相关联的颜色测量值，例如，XYZ值，从而获取绝对颜色空间中的颜色测量值。校准工作站520被配置为使用RGB值和从表示不同照明条件的训练样本确定的颜色测量值来确定每种原色的转换模型。
在图5C中，光源521可以包括用于生成原色光束的LED或激光器。可替代地，可以从单色仪生成原色的光束，该单色仪包括可以被过滤以提供不同的光色的白光源。在一些实施例中，LED可以被配置为以不同的明亮度水平或灰度水平发光。在实施例中，将LED配置为0-255范围内的最高灰度水平255。为了在不同的操作条件下表征数字彩色相机，可以通过使用不同的LED来生成具有光谱多样性的大量训练样本。例如，可以选择来自不同管芯仓(bins of dies)的LED。此外，光源521可以包括控制器，该控制器可以例如以可以改变LED的温度的10mA、50mA或100mA等的LED电流水平改变LED的发射功率。控制器还可以以各种占空比(例如从0到1.0)通过脉宽调制(PWM)调制LED。PWM脉冲可以改变LED的热特征。此外，为了增加多样性，可以通过不同颜色的LED的组合来生成轮廓概述(outliner)训练样本。例如，可以在红光与少量绿色和蓝色混合的情况下获得修改的红色训练样本。可以通过PWM控制来实现颜色混合，例如，绿色的1.0PWM占空比，红色和蓝色的0.05-0.2PWM占空比。如下面进一步描述的，将额外的颜色添加到原色可以提高确定转换矩阵的计算过程的稳定性。可以通过将一部分训练集留给某个回归过程，而将另一部分留给另一项回归过程来获得附加种类的训练样本。
如上所述，可穿戴设备可包括各种光学组件，诸如波导和衍射组件。这些光学组件可以修改光束光谱。为了提供可在可穿戴设备中模拟输出光的输入光束，表征可穿戴设备的光谱特性。光谱修改设备522被配置为接收来自光源521的光束，并生成代表可穿戴设备的虚拟图像中的光的光谱的光束。例如，光谱修改设备522可以改变中心发射波长和输入光束的带宽。取决于实施例，光谱修改设备522可以包括透镜系统、滤光器和漫射器等。例如，二向色滤光片可用于进一步缩小LED光谱并增加饱和度。此外，可以使用滤光器来缩小不同颜色的带宽。在一些情况下，旋转二向色滤光器可用于调谐光谱波长，以更好地模拟可穿戴输出，例如，针对不同的颜色，将滤光器以不同的倾斜角度放置。
在图5C中，积分球523是显示设备的示例。可替代地，也可以使用其它显示设备，诸如投影屏幕。积分球是一种光学组件，其由中空球形腔组成，其内部覆盖有漫反射的白色反射涂层，并带有用于输入和输出端口的小孔。其相关特性是均匀的散射或扩散效果。积分球可以被认为是保留能量但破坏空间信息的漫射器。如图5C中所示，系统560使用积分球523作为显示设备。积分球可以具有用于接收来自光谱修改设备522的光束的输入端口527，以及用于提供输出光以供数字彩色相机524和分光辐射计525测量的输出端口528。可替代地，投影屏幕也可用作显示设备。
数字彩色相机524捕获N乘M像素的阵列中的数字图像。在特定实施例中，数字彩色相机524可具有1400乘960像素。以像素为单位的颜色信息在相机的RGB颜色空间中表示。例如，当从光源521发射红光时，数字相机524中的传感器可以感测积分球处的光，并且可以捕获相机的RGB颜色空间中每个像素中的红色、绿色、蓝色(Rr，Gr，Br)的值。类似地，对于绿色的输入，针对每个像素捕获RGB数据(Rg，Gg，Bg)。此外，对于蓝色的输入，针对每个像素捕获RGB数据(Rb，Gb，Bb)。
在系统560中，校准工作站520被配置为将从相机的RGB空间中捕获的图像中的训练样本与分光辐射计的XYZ空间中的对应分光辐射计测量值进行组合。校准工作站520通过有线或无线连接耦合到分光辐射计525和数字相机524。如下面进一步描述的，可以通过改变光源和光谱来收集各种各样的训练样本。然后，校准工作站520应用转换方法以生成从RGB训练数据到XYZ训练数据的转换模型。可以使用各种转换方法，诸如最小二乘、线性回归、多项式回归或神经网络等。此外，还可以使用诸如k倍交叉验证和留一法交叉验证的方法来进一步优化转换的鲁棒性和准确性。
例如，在红色的训练样本中，相机以代表相机感测到的红色、绿色和蓝色光的(Rr，Gr，Br)的形式捕获相机的RGB空间中的图像。取决于实施例，来自相机的所有像素或像素的子集的RGB数据可以被包括在训练集中。在一些实施例中，对于每个图像，使用所有像素上的RGB值，因为来自积分球的输出基本上是均匀的。由分光辐射计生成在XYZ空间中针对红、绿和蓝光分量的(Xr，Yr，Zr)形式的对应分光辐射计测量。可以针对具有以下特性的红色的训练样本得出转换矩阵Mred，
Figure BDA0002929232920000151
其中kr1、kr2和kr3是红色的可选优化参数。
可以针对原色中的每种原色执行类似的过程。例如，针对绿色的训练样本得出转换矩阵Mgrn，使得，
Figure BDA0002929232920000152
其中kg1、kg2和kg3是绿色的可选优化参数。
类似地，针对蓝色的训练样本得出转换矩阵Mblu，使得
Figure BDA0002929232920000161
其中kb1、kb2和kb3是蓝色的可选优化参数。
校准工作站520还被配置为基于测量值和预期颜色空间来确定对颜色值的校正。GPU 530被配置为对该颜色值应用该校正，然后将其发送到可穿戴设备。
为了执行可穿戴显示设备的逐像素校正，校正矩阵用于每个像素。在一些实施例中，该过程可以如下执行。对于每个像素点，可以基于上述矩阵Mred、Mgrn和Mblu形成第一矩阵NPMD，该矩阵将从该位置处的显示器的RGB值转换为用于原色红色、绿色和蓝色中的每一种颜色的CIE XYZ值。3×3NPMD矩阵的示例如下所示。
Figure BDA0002929232920000162
接下来，可以确定第二矩阵NPMS，假定在sRGB空间中提供了内容颜色，则该第二矩阵将从sRGB(标准红色绿色蓝色)值(或针对该内容假定的另一个目标颜色空间)转换为CIEXYZ值。转换矩阵NPMS的示例可以从已知数据中得出，或可以在公共域中找到。3×3NPMS矩阵的示例如下所示。
Figure BDA0002929232920000163
接下来，可以通过将固定的sRGB-到-XYZ矩阵NPMS与用于该网格点NPMD的显示器的RGB-到-XYZ矩阵的逆相乘来确定校正矩阵或变换矩阵TRA。
采用针对每个像素确定的校正矩阵TRA，可以将sRGB内容值[RS GS BS]转换为用于设备以显示正确图像的修改或校正的RGB内容值[RD GD BD]。该转换如下所示。
Figure BDA0002929232920000171
在一些实现方式中，期望对显示设备的所有像素执行逐像素校正。然而，针对每个像素执行校准过程可能会给存储器资源带来压力。因此，在本发明的其它实施例中，通过使用比图像中的像素总数少的校正点，可以应用较低的校正分辨率。例如，可以选择像素的子集作为用于计算的网格点。作为另一示例，可以形成在整个图像上细分的图块(tile)区域或图块矩形，每个图块区域或图块矩形都以网格点为中心。在示例中，可以选择81×61网格点，该网格点从一个角到另一个角均匀地跨越显示器。在其它示例中，可以使用41×21网格点、21×16网格点或其它值。对每个图块区域上每个颜色通道的各个XYZ值取平均值。针对网格点和相关联的图块区域指定平均XYZ值。因此，在该示例中，对于每个通道，存在三组81×61点，每个点对应于XYZ值。
在这些实施例中，在针对每个网格点确定校正矩阵TRA的情况下，可以将sRGB内容值[RS GS BS]转换为用于设备显示正确图像的修改的或校正的RGB内容值[RD GD BD]。该转换如下执行。
Figure BDA0002929232920000172
这是如下矩阵，该矩阵将将预期的sRGB值(对于某个位置处的像素)转换为如下值，该值在发送到显示器时实际上会产生原始的预期颜色。应注意，由于只能调制光以减小其亮度，因此将矩阵设计为使色度为预期的色度，并且亮度是可以在该网格点处最大程度地实现的值，该值将低于未校正颜色的亮度。由于这是线性变换，并且输入数据是线性的，因此所有颜色将与在该网格点处可以最大程度地实现的亮度成比例地进行变换。
在本发明的一些实施例中，显示设备中的颜色校正可以如下执行。对于给定像素，设备接收如目标颜色空间(例如sRGB)中定义的预期颜色(r，g，b)。这是内容的意图。如果对数据应用了伽玛或色调映射(tonal mapping)，则数据将被线性化。如果该内容像素恰好落在网格点上，则将用于该网格点的校正矩阵应用于(r，g，b)以形成一组新的颜色值。如果内容像素不在网格点上，则通过使用附近网格点处的矩阵对校正矩阵的每个元素进行插值来形成校正矩阵。然后使用校正矩阵形成一组新的颜色值。如果设备期望，则可以将伽玛应用于新颜色值。然后向设备发送新的一组颜色值以显示图像。
可以如下描述形成校正矩阵的示例。首先，对于每个像素，在设备上显示设备(1、0、0)的全屏的红色。确定所得图像的每个部分的xyY值(色度和亮度)。对绿色和蓝色通道重复该数据收集。图像的分辨率应至少与所需的最终网格分辨率一样高(例如81×61)。分光辐射计可用于确定xyY值。可替代地，可以使用彩色相机，其传感器被校准使得可以从传感器的RGB输出中计算xyY值。
如果针对矩阵网格使用比上面获得的xyY图像更低的分辨率，则可以形成在整个图像上细分的图块矩形或图块区域，每一个图块矩形或图块区域都以网格点为中心(例如，从一个角到另一个角均匀地跨越显示器的81×61个点)。在每个图块矩形上平均用于每个通道的值，其中在XYZ空间(从相机r、g、b数据转换)中执行平均。XYZ数据随后被转换为xyY数据。因此，对于每个通道，结果将是三组81×61个点，每个点对应于x、y和Y。
对于每个网格点，可以形成矩阵，该矩阵将在该位置处的显示器的RGB转换为XYZ。可以计算固定的sRGB-到-XYZ矩阵(与设备无关)，并将该矩阵乘到用于该网格点的显示器RGB-到-XYZ矩阵的逆上，以形成sRGB-到-显示器-RGB矩阵。这是校正矩阵，该校正矩阵将预期的sRGB值(对于某个位置处的像素)转换为如下值，该值在发送到显示器时实际上会产生原始的预期颜色。
为了校准设备，可以执行以下过程。首先，对于给定的像素，接收如目标空间(r，g，b)中定义的预期颜色。这是内容的意图。如果数据应用了伽玛或色调映射，则可以线性化数据。这里描述的颜色计算使用线性空间中的数字。如果该内容像素恰好落在网格点上，则使用(r，g，b)上该网格点的校正矩阵来获取一组新的颜色值。如果不在网格点上，则可以通过对附近网格点处的矩阵进行插值来确定校正矩阵的每个元素。附近网格点的选择将取决于插值方法，如双线性、重心等。该插值校正矩阵用于不是网格点的像素。插值针对矩阵的每个元素执行，并且最终矩阵用于修改颜色。接下来，如果设备期望，可以将伽玛应用于新颜色值。此时，可以将新的一组颜色值发送到设备。
在一些实施例中，校准方法可以包括附加过程以使输出在强度上更加均匀。上述方法校正颜色以匹配目标的原色以及网格点处的预期白点。结果，用于该网格点的所有其它颜色将相对于该白色点缩放。另外，为了使场在强度上均匀，可以在任何网格点按一定比率缩小矩阵。该比率将介于预期值(通过使用xyY数据和由此计算出的校准矩阵进行计算)与预期强度之间。例如，如果它针对(1，1，1)sRGB输入产生超过所需的均匀性水平的值，则将按比例缩小矩阵。例如，如果校准后用于(1，1，1)的输入的点处的期望值为(0.8，0.8，0.8)，并且明亮度设定为峰值水平的仅0.4，则可以针对该点按比例缩小矩阵2倍，因此最终输出值为(0.4，0.4，0.4)。
在一些实施例中，可以针对可穿戴设备的多个深度平面以及针对不同的侧面进行校准。例如，在均匀性校准中，可以针对四个虚拟图像中的每一个(例如，左近、左远、右近、右远)分别执行这些过程，并且然后可以将每个深度平面和侧面的XYZ信息用于平衡那些图像，使其尽可能接近相同的颜色(色度)和明亮度(亮度)。
图6是示出根据本发明的一些实施例的用于执行可穿戴设备的颜色校准的方法的简化流程图。如图6中所示，用于校准可穿戴设备的方法600包括在610和620处由可穿戴显示设备显示用于三种原色中的每一种原色的图像。该方法还包括使用数字彩色相机捕获M×N像素的图像，其中M和N是整数。数字彩色相机针对像素中的每个像素提供RGB值。该方法进一步包括在630处，使用相机转换矩阵将用于图像的像素中的每个像素的RGB值转换为XYZ值，该相机转换矩阵将RGB值转换为对应的XYZ值。
该方法进一步包括，在640处，从M×N个像素中选择K×L个网格点，其中，K和L为小于M和N的整数，并且通过L个图块区域将图像划分为K个，每个图块区域包括网格点。对于每个网格点，基于对应图块区域中所有像素的平均XYZ值，确定网格XYZ值。在650处，确定用于每个网格点的网格RGB-到-XYZ转换矩阵，该矩阵将网格点处的RGB值转换为网格点的XYZ值。在660处，通过将用于网格点的像素RGB-到-XYZ转换矩阵(NPMD)的逆与sRGB-到-XYZ转换矩阵相乘，来确定针对每个网格点的sRGB-到-显示器-RGB校正矩阵。
在一些实施例中，对于可穿戴设备的一个或多个深度平面，针对红色、绿色和蓝色的每个原色执行该方法。这些步骤中的一些步骤将在下面更详细地描述。
在610和620处，可穿戴显示设备针对三种原色中的每一种原色显示图像。为了将显示设备的原生(native)RGB原色转换为sRGB，3×3矩阵用于将颜色从原生原色转换为XYZ的CIE色度方法。为了指定白点，以给定的白点形成矩阵以从XYZ原色转换为sRGB原色。给定红色、绿色和蓝色完整图像，将检查显示图像中的不同区域，以识别显示器的该像素点的原生颜色。
在方法600中的640处，从M×N个像素中选择K×L个网格点，其中，K和L为小于M和N的整数。图像场被划分为K×L个图块区域，每个图块区域包括网格点。图7A和图7B示出网格点的选择和图块区域的形成。
图7A是示出根据本发明的一些实施例的显示图像场中的像素的简化图。如图7A中所示，图像场700包括枚举(enumerated)像素。在图7A的示例中，存在以M+1行和N+1列布置的(M+1)×(N+1)个像素，每个像素被标记为(1，1)至(M，N)。例如，第一行包括像素(1，1)，(1，2)，(1，3)，...，(1，N-3)，(1，N-2)，(1，N-1)和(1，N)，并且第一列包括像素(1，1)，(2，1)，(3，1)，…，(M-2，1)，(M-1，1)和(M，1)。
为了执行显示器的逐像素校正，需要针对每个像素确定转换矩阵。然而，此类任务将需要大量的计算能力、硬件和软件资源，并且是耗时的。因此，在本发明的一些实施例中，针对所有像素的子集计算校正矩阵。例如，可以选择一组网格点以计算校正矩阵。图7A还示出在显示图像场的像素中的点网格选择的示例。图7A以阴影像素示出K×L个网格点，其中K和L是小于M和N的整数。例如，网格点(1，1)是像素(1，1)，网格点(1，2)是像素(1，4)，网格点(1，3)是像素(1，7)，…，网格点(1，L-1)是像素(1，N-3)，并且网格点(1，L)是像素(1，N)，等等。类似地，网格点(2，1)是像素(4，1)，网格点(3，1)是像素(7，1)，...，并且网格点(K，1)是像素(M，1)。此外，在该示例中，网格点(K，L)是像素(M，N)。
图7B是示出根据本发明的一些实施例的显示图像场中的平铺区域的简化图。如图7B中所示，图像显示场被划分为平铺区域，每个平铺区域具有与网格点相关联的多个像素。在图7B中示出了以下图块区域，图块(1，1)，图块(1，2)，图块(1，3)，图块(2，1)，图块(3，1)，图块(K，1)，图块(K，2)，以及与网格点(i，j)相关联的图块(i，j)等。
继续方法600，在650处，针对每个网格点确定网格RGB-到-XYZ转换矩阵，该矩阵将网格点处的RGB值转换为网格点的网格XYZ值。在一些实施例中，将平均XYZ用作用于网格点的XYZ。确定矩阵以将测量的网格点的RGB转换为对应图块区域的平均XYZ。
在660处，通过将用于网格点的像素RGB-到-XYZ转换矩阵(NPMD)的逆与sRGB-到-XYZ转换矩阵相乘，来确定用于每个网格点的(sRGB-到-显示器-RGB)校正矩阵。
图7C是示出根据本发明的一些实施例的显示图像场的一部分的简化图。图7C示出针对每个网格点的校正矩阵，这里网格点由其所驻留的像素位置来识别，例如，T(i，j)表示针对像素(i，j)的校正矩阵，其被选择为网格点。如下所述，用于网格点的校正矩阵形成用于校准显示设备的基础。
图8是示出根据本发明的一些实施例的校准显示设备的方法的流程图。如图8中所示，校准显示设备的方法800包括，在810处，接收如在目标颜色空间中定义的预期内容的像素的颜色值。在820处，如果已经应用了伽马或色调映射，则将数据线性化。在830处，确定像素是否是网格点。如果像素是网格点，则在840处，将如上确定的用于网格点的校正矩阵应用于接收的颜色值以生成校正的颜色值。如果像素不是网格点，则在850处，通过从相邻网格点处的校正矩阵进行插值来确定用于像素点的像素校正矩阵。这里，校正矩阵的每个矩阵元素从相邻网格点处的校正矩阵中的对应矩阵元素进行插值。在860处，将用于像素的像素校正矩阵应用于接收的颜色值以生成新颜色值。在870处，如果必要，将伽马应用于新颜色值。在880处，新颜色值被发送到设备以显示预期内容。这些步骤中的一些步骤将在下面更详细地描述。
在方法800的810处，接收像素的颜色值，以用于如在目标颜色空间中定义的预期内容。例如，可以在绝对颜色空间(例如sRGB颜色空间)中指定来自内容提供者的像素的颜色值。例如，在sRGB颜色空间中，白色指定为(1 1 1)，并且红色指定为(1 0 0)，依此类推。
在840处，如果像素是网格点，则将如上确定的用于网格点的校正矩阵应用于接收的颜色值以生成校正的颜色值。采用针对每个网格点确定的校正矩阵TRA，可以将sRGB内容值[RS GS BS]转换为由设备用于显示正确的图像的修改的RGB内容值[RD GD BD]。该转换可以如下执行。
Figure BDA0002929232920000231
在850处，如果像素不是网格点，则通过从相邻网格点处的校正矩阵进行插值来确定用于像素点的像素校正矩阵。这里，校正矩阵的每个矩阵元素从相邻矩阵点处的校正矩阵中的对应矩阵元素中进行插值。下面参考图9描述关于插值处理的更多细节。
图9是示出根据本发明的一些实施例的用于不是网格点的像素点的校正矩阵的插值的简化图。图7示出从行I到I+m2以及从列J到J+n2跨越的显示阵列的一部分。结合图7A-7C如上所述，具有行和列指定(I，J)，(I，J+n2)，(I+m2，J)和(I+m2，J+n2)的四个像素是用于表征的网格点。如上所述，网格点像素中的每个网格点像素具有对应的校正矩阵T或TRA，
Figure BDA0002929232920000232
例如，像素(I，J)具有校正矩阵T(I，J)，像素(I，J+n2)具有校正矩阵T(I，J+n2)，像素(I+m2，J)具有校正矩阵T(I+m2，J)，并且像素(I+m2，J+n2)具有校正矩阵T(I+m2，J+n2)。
为了执行逐像素校正，需要针对不是网格点的每个像素确定校正矩阵。例如，在图9中，像素(I，J+n1)，(I+m1，J)，(I+m1，J+m1)，(I+m2，J+m1)不是网格点。在本发明的实施例中，可以使用插值方法来得出用于这些像素的矩阵，以基于附近网格点处的值来确定变换矩阵的每个元素。可以使用诸如双线性、重心等的插值方法或其它方法。下面描述使用双线性方法的处理。
令t(I，J)表示用于网格点像素(I，J)的校正矩阵T(I，J)的元素，其中t(I，J)表示校正矩阵T(I，J)的任何矩阵元素Trr，Trg，Trb，Tgr，…，等。使用双线性方法，可以从网格点像素(I，J)的对应值t(I，J)和网格点像素(I，J+n2)处的(I，J+n2)对用于非网格点像素(I，J+n1)的t(I，J+n1)进行插值。例如，用于非网格点像素(I，J+n1)的矩阵元素t(I，J+n1)可以表达如下。
Figure BDA0002929232920000241
以上方程式可以简化为如下：
Figure BDA0002929232920000242
可以类似地确定校正矩阵T(I，J+n1)的所有矩阵元素，并且校正矩阵T(I，J+n1)可以表达如下。
Figure BDA0002929232920000243
类似地，可以使用双线性插值来确定校正矩阵T(I+m2，J+n1)，并表达如下。
Figure BDA0002929232920000244
此外，校正矩阵T(I+m1，J+n1)可以使用双线性插值从四个相邻的网格点，从T(I，J+n1)和T(I+m2，J+n1)中确定。
Figure BDA0002929232920000251
返回参考图8的用于校准可穿戴设备的方法800，在860处，将用于像素的像素校正矩阵应用于接收的颜色值以生成新颜色值。在这些实施例中，在针对每个网格点确定校正矩阵TRA的情况下，可以将sRGB内容值[RS GS BS]转换为用于设备显示正确的图像的修改的RGB内容值[RD GD BD]。该转换如下执行。
Figure BDA0002929232920000252
其中
Figure BDA0002929232920000253
Figure BDA0002929232920000254
对于逐像素校正，针对每个像素确定校正矩阵。例如，对于红色，sRGB内容值[RS GSBS]可以是[1 0 0]。在校正过程中，可以将sRGB内容值[RS GS BS]转换为新颜色值或修改的RGB内容值[RD GD BD]，例如[0.9，0.2，0.3]，以便设备显示正确的图像。
图10和图11是示出根据本发明的一些实施例的使用上述方法的校准结果的示例的图。图10示出来自可穿戴显示设备的未校准的图像上的白色仿真输出。可以看出，图像的不同区域中存在红色、绿色和蓝色的阴影。图11示出使用上面描述的方法在校准之后白色的仿真输出的示例。可以看出，校正了颜色以匹配目标的原色以及预期的白点。暗度的变化由强度上的不均匀性引起，这可以使用校准方法来解决，诸如将像素点的强度按比例缩小到一定范围之外。
在上述实施例中，由可穿戴显示设备生成的图像光可以包括三种原色的光，即蓝(B)、绿(G)和红(R)。可穿戴式显示设备还可以具有“原色”，该原色是显示系统的原生(最饱和)源色的混合。例如，可能希望将少量的绿色与红色混合以在显示器中创建不那么饱和的红色原色。这可以通过在红色LED的场序周期期间打开绿色LED来实现。这也可以通过在绿色场序颜色周期中增加额外的绿色亮度，利用较高的LCOS灰度水平或在绿色周期期间增加LED光功率来实现。该“混合原色”也可以具有接近白色的颜色(大约相等数量的红色、绿色、蓝色)。在这些情况下，可以通过确定“混合原色”从相机RGB到绝对XYZ的转换模型，以与上述相同的方式校准相机。
图12是示出根据在此描述的实施例的计算机系统1200的简化示意图。如图12中所示的计算机系统1200可以结合到诸如如在此所述的可穿戴显示设备100的设备中。图12提供了可以执行由各种实施例提供的方法的一些或全部步骤的计算机系统1200的一个实施例的示意图。应该注意，图12仅意在提供各种组件的一般性图示，可以适当地利用它们中的任何一个或全部。因此，图12广泛地示出了可以如何以相对分离或相对更集成的方式来实现各个系统元件。
示出了计算机系统1200，其包括可以经由总线1205电耦合或者可以适当地以其它方式通信的硬件元件。硬件元件可以包括一个或多个处理器1210，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，诸如数字信号处理芯片、图形加速处理器等；一个或多个输入设备1215，其可以包括但不限于鼠标、键盘、相机等；以及一个或多个输出设备1220，其可以包括但不限于显示设备、打印机等。
计算机系统1200可以进一步包括一个或多个非暂态存储设备1225和/或与包括一个或多个非暂态存储设备1225通信，该非暂态存储设备1225可以包括但不限于本地和/或网络可访问的存储装置，和/或可以包括但不限于，磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，它们可以进行编程、可闪存更新等。此类存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。
计算机系统1200还可能包括通信子系统1219，该通信子系统1219可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或诸如芯片组(诸如BluetoothTM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)等。通信子系统1219可以包括一个或多个输入和/或输出通信接口，以允许数据与诸如以下仅举一个示例描述的网络、其它计算机系统、电视和/或本文描述的任何其它设备交换数据。取决于所需的功能性和/或其它实现方式关注，便携式电子设备或类似设备可以经由通信子系统1219来传送图像和/或其它信息。在其它实施例中，便携式电子设备(例如第一电子设备)可以被并入计算机系统1200(例如电子设备)中作为输入设备1215。在一些实施例中，计算机系统1200将进一步包括工作存储器1235，该工作存储器1235可以包括如上所述的RAM或ROM设备。
计算机系统1200还可以包括被示为当前位于工作存储器1235内的软件元件，包括操作系统1240、设备驱动器、可执行库和/或其它代码，诸如一个或多个应用程序1245，如本文所述，其可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其它实施例提供的方法和/或配置系统。仅作为示例，关于以上讨论的方法描述的一个或多个过程可能被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令。因此，一方面，根据所描述的方法，此类代码和/或指令可以用于配置和/或适配通用计算机或其它设备以执行一个或多个操作。
这些指令和/或代码的集合可以存储在非暂态计算机可读存储介质上，诸如上述存储设备1225。在一些情况下，该存储介质可能被并入诸如计算机系统1200的计算机系统内。在其它实施例中，该存储介质可能与计算机系统分离，例如诸如光盘的可移动介质，和/或以安装包提供，使得可以使用存储介质对通用计算机及其上存储的指令/代码进行编程、配置和/或适配。这些指令可能采取可执行代码的形式，其可以由计算机系统1200执行；和/或可能采取源代码和/或可安装代码的形式，其例如使用任何各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统1200上被编译和/或安装后，然后采用可执行代码的形式。
对于本领域技术人员而言显而易见的是，可以根据特定要求进行实质性的变化。例如，也可能使用定制的硬件，和/或可能在硬件、包括便携式软件(诸如应用程序等)的软件或二者中实现特定元件。此外，可以采用到诸如网络输入/输出设备的其它计算设备的连接。
如上所述，在一个方面，一些实施例可以采用诸如计算机系统1200的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，此类方法的一些或全部过程由计算机系统1200响应于处理器1210执行一个或多个指令的一个或多个序列来执行，其可以被并入操作系统1240和/或工作存储器1235中包含的其它代码，诸如应用程序1245。可以从另一计算机可读介质(诸如一个或多个存储设备1225)将此类指令读入工作存储器1235。以示例的方式，包含在工作存储器1235中的指令序列的执行可能使处理器1210执行在此描述的方法的一个或多个过程。另外地或可替代地，可以通过专用硬件来执行在此描述的方法的部分。
如在此所使用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统1200实现的实施例中，各种计算机可读介质可能涉及向处理器1210提供指令/代码以供执行和/或可能用于存储和/或携带此类指令/代码。在许多实现方式中，计算机可读介质是物理和/或有形存储介质。此类介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，诸如存储设备1225。易失性介质包括但不限于动态存储器，诸如工作存储器1235。
物理和/或有形计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其它磁介质、CD-ROM(压缩光盘只读存储器)、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM(可擦除可编程只读存储器)、FLASH-EPROM(闪存可擦可编程只读存储器)、任何其它存储器芯片或盒式磁带，或计算机可以从中读取指令和/或代码的任何其它介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送给处理器1210以便执行。仅作为示例，指令可以最初承载在远程计算机的磁盘和/或光盘上。远程计算机可能会将指令加载到其动态存储器中，并通过传输介质将指令作为信号发送，以由计算机系统1200接收和/或执行。
通信子系统1219和/或其组件通常将接收信号，并且总线1205然后可能将信号和/或信号所携带的数据、指令等携带到工作存储器1235，处理器1210从该工作存储器1235中检索并执行指令。由工作存储器1235接收的指令可以可选地在由处理器1210执行之前或之后被存储在非暂态存储设备1225上。
以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替代或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，关于某些配置描述的特征可以在各种其它配置中组合。可以以类似方式组合配置的不同方面和元件。此外，技术在发展，因此，许多元件是示例，并且不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。该描述仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，配置的先前描述将向本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
此外，可以将配置描述为被描绘为示意性流程图或框图的过程。尽管每个操作都可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂态计算机可读介质中。处理器可以执行所描述的任务。
已经描述了几种示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元件可以是较大系统的组件，其中其它规则可以优先于或以其它方式修改技术的应用。同样，在考虑以上要素之前、之中或之后可以采取许多步骤。因此，以上描述不限制权利要求的范围。
如在此和所附权利要求书中所使用的，单数形式的“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。因此，例如，对“用户”的引用包括多个此类用户，而对“处理器”的引用包括对一个或多个处理器及其本领域技术人员已知的等同形式的引用等。

Claims (23)

1.一种用于校准可穿戴设备的方法，所述方法包括：
使用所述可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像；
确定用于所述多个像素中的每个像素的RGB和XYZ值；
选择所述多个像素的子集以形成一组网格点；
将所述图像划分为一组图块区域，每个图块区域包括网格点；
基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值；
确定用于每个网格点的网格RGB-到-XYZ转换矩阵；以及
通过将用于所述网格点的所述网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个网格点的校正矩阵。
2.根据权利要求1所述的方法，进一步包括：
使用用于所述网格点的所述校正矩阵，形成用于作为网格点的每个像素的校正矩阵；以及
通过从相邻网格点的校正矩阵进行插值，形成用于不是网格点的每个像素的校正矩阵。
3.根据权利要求2所述的方法，其中，使用双线性插值执行所述插值。
4.根据权利要求2所述的方法，其中，使用重心插值来执行所述插值。
5.根据权利要求2所述的方法，进一步包括：
接收如目标颜色空间中定义的预期内容的每个像素的颜色值；
将用于每个像素的所述校正矩阵应用于接收的颜色值以生成校正的颜色值；以及
向所述可穿戴设备发送所述校正的颜色值以显示所述预期内容。
6.根据权利要求5所述的方法，进一步包括线性化接收的颜色值。
7.根据权利要求5所述的方法，进一步包括将伽马应用于校正的颜色值。
8.根据权利要求5所述的方法，进一步包括按比例缩小校正的颜色值。
9.根据权利要求1所述的方法，进一步包括：
接收如目标颜色空间中定义的预期内容的每个像素的颜色值；
将用于每个网格点的所述校正矩阵应用于接收的颜色值以生成用于所述网格点的新颜色值；
通过从用于相邻网格点的所述新颜色值进行插值，生成用于不是网格点的每个像素的新颜色值；以及
向所述可穿戴设备发送所述新颜色值以显示所述预期内容。
10.根据权利要求1所述的方法，其中，确定用于所述多个像素中的每个像素的RGB和XYZ值包括使用数字相机捕获RGB值并将所述RGB值转换为XYZ值。
11.根据权利要求1所述的方法，其中，确定用于所述多个像素中的每个像素的RGB和XYZ值包括使用分光辐射计捕获RGB和XYZ值。
12.一种用于校准可穿戴设备的方法，包括：
由可穿戴显示设备显示用于三种原色中每种原色的图像；
使用数字彩色相机捕获M×N像素的所述图像，其中，M和N是整数，所述数字彩色相机针对每个像素提供RGB值；
使用相机转换矩阵将用于所述图像的所述像素中的每个像素的所述RGB值转换为XYZ值，所述相机转换矩阵将RGB值转换为对应的XYZ值；
从所述M×N个像素中选择K×L个网格点，其中，K和L为小于M和N的整数；
通过L个图块区域将所述图像划分为K个，每个图块区域包括网格点；
基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值；
确定用于每个网格点的网格RGB-到-XYZ转换矩阵，所述网格RGB-到-XYZ转换矩阵将所述网格点处的所述RGB值转换为所述网格点的所述XYZ值；
通过将用于所述像素的所述网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个像素的校正矩阵。
13.根据权利要求12所述的方法，其中，所述校正矩阵是被配置为向所述可穿戴设备提供校正的显示器RGB颜色值的sRGB-到-显示器-RGB校正矩阵。
14.根据权利要求12所述的方法，进一步包括：
接收如目标颜色空间中定义的预期内容的像素的颜色值；
确定所述像素是否为网格点；
如果所述像素是网格点，则使用用于所述网格点的所述校正矩阵作为用于所述像素的像素校正矩阵；
如果所述像素不是网格点，则
通过从相邻网格点处的校正矩阵进行插值来确定用于所述像素的像素校正矩阵，其中，从相邻网格点处的校正矩阵中的对应矩阵元素来对所述校正矩阵的每个矩阵元素进行插值；以及
将用于所述像素的所述像素校正矩阵应用于接收的颜色值以生成新颜色值；以及
向所述可穿戴设备发送新颜色值以显示所述预期内容。
15.根据权利要求14所述的方法，其中，使用双线性插值执行所述插值。
16.根据权利要求14所述的方法，其中，使用重心插值来执行所述插值。
17.根据权利要求14所述的方法，进一步包括线性化接收的颜色值。
18.根据权利要求14所述的方法，进一步包括将伽马应用于所述新颜色值。
19.根据权利要求14所述的方法，进一步包括按比例缩小所述新颜色值。
20.一种用于校准可穿戴显示设备的系统，所述系统包括：
数字彩色相机，其设置为捕获由所述可穿戴显示设备显示的图像，所述数字彩色相机被配置为针对所述图像的多个像素中的每个像素提供RGB值；
第一处理器，其被配置用于：
将由所述数字彩色相机提供的所述RGB值转换为XYZ值；
选择所述多个像素的子集以形成一组网格点；
将所述图像划分为一组图块区域，每个图块区域包括网格点；
基于对应图块区域中所有像素的平均XYZ值，确定用于每个网格点的网格XYZ值；
确定用于每个网格点的网格RGB-到-XYZ转换矩阵；以及
通过将用于所述像素的所述网格RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个网格点的校正矩阵。
21.根据权利要求20所述的系统，其中，所述系统进一步被配置为通过从相邻网格点的校正矩阵进行插值来形成用于不是网格点的每个像素的校正矩阵。
22.根据权利要求20所述的系统，其中，所述系统进一步被配置用于：
接收如目标颜色空间中定义的预期内容的像素的颜色值；
将用于所述网格点的像素校正矩阵应用于接收的颜色值以生成新颜色值；以及
向所述可穿戴显示设备发送所述新颜色值以显示所述预期内容。
23.一种用于校准可穿戴设备的方法，所述方法包括：
使用所述可穿戴设备显示具有用于三种原色中的每种原色的多个像素的图像；
确定用于所述多个像素中的每个像素的RGB和XYZ值；
确定用于每个像素的像素RGB-到-XYZ转换矩阵；
通过将用于所述像素的所述像素RGB-到-XYZ转换矩阵的逆与sRGB-到-XYZ转换矩阵相乘，确定用于每个像素的校正矩阵；
接收如目标颜色空间中定义的预期内容的每个像素的颜色值；以及
将用于每个像素的校正矩阵应用于接收的颜色值以生成校正的颜色值；以及
向所述可穿戴设备发送所述校正的颜色值以显示所述预期内容。
CN201980051521.0A 2018-08-03 2019-08-02 用于显示设备的次网格校准的方法和系统 Active CN112567736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862714502P 2018-08-03 2018-08-03
US62/714,502 2018-08-03
PCT/US2019/044999 WO2020028872A1 (en) 2018-08-03 2019-08-02 Method and system for subgrid calibration of a display device

Publications (2)

Publication Number Publication Date
CN112567736A true CN112567736A (zh) 2021-03-26
CN112567736B CN112567736B (zh) 2023-06-02

Family

ID=69229819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051521.0A Active CN112567736B (zh) 2018-08-03 2019-08-02 用于显示设备的次网格校准的方法和系统

Country Status (5)

Country Link
US (1) US11361474B2 (zh)
EP (1) EP3831053B1 (zh)
JP (2) JP2021532417A (zh)
CN (1) CN112567736B (zh)
WO (1) WO2020028872A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894154A (zh) * 2021-05-07 2021-06-04 视睿（杭州）信息科技有限公司 激光打标方法及装置
CN115204333A (zh) * 2022-07-14 2022-10-18 欧冶链金再生资源有限公司 基于二维码的金属打包块标记、识别系统及特征提取方法
WO2024159498A1 (en) * 2023-02-02 2024-08-08 Jade Bird Display (shanghai) Limited Methods for virtual image compensation

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437872B (zh) 2018-07-24 2024-05-03 奇跃公司 用于成像设备的颜色校准的方法和系统
US11361474B2 (en) 2018-08-03 2022-06-14 Magic Leap, Inc. Method and system for subgrid calibration of a display device
US11610543B2 (en) * 2019-03-07 2023-03-21 Stereyo Bvba Real-time deformable and transparent display
US11156829B2 (en) 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
US11317486B2 (en) * 2020-03-19 2022-04-26 Apogee Lighting Holdings, Llc Color correction lighting control
KR102326955B1 (ko) * 2020-04-10 2021-11-16 주식회사 뷰웍스 디스플레이 장치 분석 시스템 및 그것의 색상 분석 방법
US11704834B2 (en) 2020-05-06 2023-07-18 Magic Leap, Inc. Convolution-based camera and display calibration
JP7428090B2 (ja) * 2020-06-25 2024-02-06 セイコーエプソン株式会社 校正装置、校正方法、校正プログラム、及び分光カメラ
EP4002346A1 (en) * 2020-11-12 2022-05-25 Micledi Microdisplays BV Video pipeline system and method for improved color perception
CN112967193B (zh) * 2021-03-02 2024-06-25 Oppo广东移动通信有限公司 图像校准方法及装置、计算机可读介质和电子设备
KR20220140068A (ko) * 2021-04-08 2022-10-18 삼성디스플레이 주식회사 감마 보정 방법, 감마 보정 시스템 및 표시 장치
GB2609432B (en) * 2021-07-30 2024-01-31 Sony Interactive Entertainment Inc Display modification system and method
CN116052568B (zh) * 2022-07-25 2023-10-10 荣耀终端有限公司 一种显示屏校准方法及相关设备
US12080224B2 (en) 2022-12-19 2024-09-03 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12119330B2 (en) 2022-12-19 2024-10-15 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12112695B2 (en) 2022-12-19 2024-10-08 Stereyo Bv Display systems and methods with multiple and/or adaptive primary colors
US12100363B2 (en) 2022-12-19 2024-09-24 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109328A (ja) * 2006-10-25 2008-05-08 Infovision Optoelectronics Holdings Ltd 色再現域補正回路と補正方法
JP2010217645A (ja) * 2009-03-18 2010-09-30 Seiko Epson Corp 画像表示装置の補正値作成方法、画像表示装置の補正値作成装置、及び画像表示装置の補正値作成プログラム
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
US20130050504A1 (en) * 2011-08-29 2013-02-28 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225974B1 (en) * 1997-06-19 2001-05-01 Electronics For Imaging, Inc. Gamut correction with color separation and methods and apparatuses for performing same
US6950109B2 (en) * 2000-10-23 2005-09-27 Sun Microsystems, Inc. Multi-spectral color correction
EP1370064B1 (en) * 2001-03-15 2007-12-05 Seiko Epson Corporation Image processing device
US20050078187A1 (en) 2001-06-20 2005-04-14 Henrik Fabricius Combination of response adapting filter and detector
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
US7710369B2 (en) 2004-12-20 2010-05-04 Philips Solid-State Lighting Solutions, Inc. Color management methods and apparatus for lighting devices
JP2007208629A (ja) * 2006-02-01 2007-08-16 Seiko Epson Corp ディスプレイのキャリブレーション方法、制御装置及びキャリブレーションプログラム
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US8442316B2 (en) * 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
US8654141B2 (en) * 2009-12-29 2014-02-18 Intel Corporation Techniques for adapting a color gamut
US9056584B2 (en) 2010-07-08 2015-06-16 Gentex Corporation Rearview assembly for a vehicle
JP5588852B2 (ja) * 2010-12-15 2014-09-10 シャープ株式会社 デジタルサイネージ装置、プログラムおよび記録媒体
JP5962169B2 (ja) * 2012-04-23 2016-08-03 株式会社ニコン デジタルカメラ、色変換プログラムおよび記録制御プログラム
US9134178B2 (en) 2012-07-27 2015-09-15 Imax Corporation Observer metameric failure compensation method
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
JP2014155024A (ja) * 2013-02-07 2014-08-25 Japan Display Inc 色変換装置、表示装置、電子機器及び色変換方法
US20140232923A1 (en) * 2013-02-20 2014-08-21 Hewlett-Packard Development Company, Llp Device independent color differences
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9386289B2 (en) * 2014-04-29 2016-07-05 Intel Corporation Automatic white balancing with chromaticity measure of raw image data
JP2016006408A (ja) * 2014-05-26 2016-01-14 有限会社パパラボ ウェアラブル着色評価装置及びウェアラブルウェアラブル着色評価方法
US20160117993A1 (en) 2014-10-22 2016-04-28 Pixtronix, Inc. Image formation in a segmented display
US10019926B2 (en) 2015-06-19 2018-07-10 Apple Inc. Adaptive calibration and adaptive transformation matrices for ambient light sensors
US10260864B2 (en) * 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
CN107958470A (zh) * 2017-12-18 2018-04-24 维沃移动通信有限公司 一种色彩校正方法、移动终端
US10726779B2 (en) * 2018-01-29 2020-07-28 Apple Inc. Electronic devices with displays having integrated display-light sensors
CN112437872B (zh) 2018-07-24 2024-05-03 奇跃公司 用于成像设备的颜色校准的方法和系统
US11361474B2 (en) 2018-08-03 2022-06-14 Magic Leap, Inc. Method and system for subgrid calibration of a display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109328A (ja) * 2006-10-25 2008-05-08 Infovision Optoelectronics Holdings Ltd 色再現域補正回路と補正方法
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
JP2010217645A (ja) * 2009-03-18 2010-09-30 Seiko Epson Corp 画像表示装置の補正値作成方法、画像表示装置の補正値作成装置、及び画像表示装置の補正値作成プログラム
US20130050504A1 (en) * 2011-08-29 2013-02-28 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894154A (zh) * 2021-05-07 2021-06-04 视睿（杭州）信息科技有限公司 激光打标方法及装置
CN112894154B (zh) * 2021-05-07 2021-09-03 视睿（杭州）信息科技有限公司 激光打标方法及装置
CN115204333A (zh) * 2022-07-14 2022-10-18 欧冶链金再生资源有限公司 基于二维码的金属打包块标记、识别系统及特征提取方法
WO2024159498A1 (en) * 2023-02-02 2024-08-08 Jade Bird Display (shanghai) Limited Methods for virtual image compensation

Also Published As

Publication number Publication date
JP2021532417A (ja) 2021-11-25
WO2020028872A1 (en) 2020-02-06
JP2024061855A (ja) 2024-05-08
EP3831053A1 (en) 2021-06-09
EP3831053B1 (en) 2024-05-08
US20200043201A1 (en) 2020-02-06
US11361474B2 (en) 2022-06-14
CN112567736B (zh) 2023-06-02
EP3831053A4 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN112567736B (zh) 用于显示设备的次网格校准的方法和系统
CN112437872B (zh) 用于成像设备的颜色校准的方法和系统
US8267523B2 (en) Image projecting system, method, computer program and recording medium
JP4231661B2 (ja) 色再現装置
US11287326B2 (en) LED thermal characterization and calibration for an optical display
KR20080033080A (ko) 표시 장치
US20120327086A1 (en) Image processing apparatus and image processing method
JP6222939B2 (ja) ムラ補正装置及びその制御方法
CN116075882A (zh) 用于实时led视角校正的系统和方法
US20090213335A1 (en) Image projecting system, image projecting method, computer program, and recording medium
Zhang et al. Color matching criteria in augmented reality
JP5442201B2 (ja) 忠実な色でデジタル画像を表示するための方法およびシステム
JP2023531492A (ja) ディスプレイデバイスの色均一性補正
JP4591751B2 (ja) 画像投射システム及び画像投射装置
JP2008203308A (ja) 映像表示装置および制御方法
US10002571B1 (en) Liquid crystal display incorporating color-changing backlight
US20170038196A1 (en) System and method for acquiring color image from monochrome scan camera
JP5150183B2 (ja) 投写型映像表示装置
CN110867150A (zh) 智能背投影电视墙及调控其色彩亮度均匀性的方法
Penczek et al. Evaluating the optical characteristics of stereoscopic immersive display systems
US20240321180A1 (en) Methods and systems for spectral control of light
KR20240122633A (ko) 광투과 표시장치
JP2024070996A (ja) 照明装置、照明制御装置及び照明制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant