CN112368765A - 用于显示设备的误差校正 - Google Patents

Abstract

一种显示设备，具有基于输入颜色数据集与输出颜色数据集之间的差异来确定针对像素位置的误差的图像处理单元。误差被反馈给图像处理单元以跨其他近邻像素位置传播和散布。在生成输出颜色数据集时，可以首先生成包括输入数据集和误差的经误差修改的数据集。检查经误差修改的数据集以确保色值落在显示色域内。还对颜色数据集进行量化和抖动以使输出数据集的位深度与光发射器可以支持的位深度兼容。查找表和变换矩阵也可以用于考虑由于诸如驱动电流等不同驱动条件而导致的光发射器的任何潜在色移。

Description

用于显示设备的误差校正

背景技术

本公开涉及显示设备的结构和操作，并且更具体地涉及显示设备的图像处理单元中的误差传播和校正。

虚拟现实(VR)或增强现实(AR)系统通常包括头戴式显示器或近眼显示器以使用户沉浸在模拟环境中。由显示设备生成的图像质量直接影响用户对模拟现实以及VR或AR系统的乐趣的感知。由于显示设备通常是头戴式或便携式的，因此显示设备受到诸如尺寸、距离和功率等不同类型的限制。这些限制可能会影响绘制图像时显示的精度，这可能会导致各种视觉伪像，从而对VR或AR系统的用户体验产生负面影响。

发明内容

本文中描述的实施例总体上涉及一种用于显示设备的误差校正过程，该过程确定像素位置处的误差并且使用所确定的误差来抖动近邻像素位置的色值使得近邻像素位置可以协作地补偿误差。显示设备可以包括具有光发射器的显示面板，该光发射器可能不能完美地产生由图像源指定的精确色值。旨在被显示的色值和实际显示的色值可能会有所不同。这些变化无论多么小都可能影响整体图像质量和显示设备的感知色深。显示设备的图像处理单元确定由这些变化导致的像素位置处的误差，并且对近邻像素位置的颜色数据集执行抖动(dithering)以补偿误差。

根据一个实施例，一种显示设备可以基于像素位置顺序地处理颜色数据集。显示设备的图像处理单元接收第一输入颜色数据集。第一输入颜色数据集可以表示旨在第一像素位置处被显示的色值。显示设备从第一输入颜色数据集生成用于驱动针对第一像素位置发射光的第一光发射器集合的第一输出颜色数据集。输出颜色数据集可能与输入颜色数据集不完全相同。显示设备确定由第一输入颜色数据集与第一输出颜色数据集之间的差异而引起的误差，并且因此生成误差校正数据集。

在一个实施例中，误差校正数据集可以通过将误差值传递给图像内核来生成，该图像内核被设计为将误差值散布到与第一像素位置近邻的一个或多个像素位置。

在一个实施例中，所确定的误差校正数据集被反馈给图像处理单元的输入侧以改变其他传入的输入色值。当图像处理单元接收到针对第二像素位置的第二输入颜色数据集时，显示设备使用误差校正数据集中的一些值来抖动第二输入颜色数据集以生成经抖动的颜色数据集。抖动可以包括一个或多个子步骤，这些子步骤基于误差校正值来修改输入色值，确保色值落入显示设备的显示色域内，并且量化(quantize)色值。显示设备生成用于驱动针对第二像素位置发射光的第二光发射器集合的第二输出颜色数据集。第二像素位置可以与第一像素位置近邻，以使得第一像素位置处的误差能够通过第二像素位置的调整来补偿。可以针对其他像素位置重复误差确定和补偿过程以提高显示设备的图像质量。

根据本发明的实施例在所附权利要求中特别地被公开，涉及一种方法、一种显示设备和一种显示设备的图像处理单元，其中在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一权利要求类别(例如，显示设备、图像处理单元、系统、存储介质和计算机程序产品)中要求保护。所附权利要求中的从属关系或引用仅出于形式上的原因而选择。但是，也可以要求保护由有意回溯到任何先前的权利要求(特别是多个从属关系)而产生的任何主题，使得可以公开和要求保护权利要求及其特征的任何组合，而与所附权利要求中选择的从属关系无关。可以要求保护的主题不仅包括所附权利要求中提出的特征的组合，而且包括权利要求中的特征的任何其他组合，其中权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征组合相结合。此外，本文中描述或描绘的任何实施例和/或特征可以在单独的权利要求中和/或以与本文中描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合来要求保护。

在一个实施例中，一种用于操作显示设备的方法可以包括：接收表示旨在第一像素位置处被显示的色值的第一输入颜色数据集；从第一输入颜色数据集生成用于驱动针对第一像素位置发射光的第一光发射器集合的第一输出颜色数据集；确定误差校正数据集，误差校正数据集表示对由于第一输入颜色数据集与第一输出颜色数据集之间的差异而引起的第一光发射器集合的颜色误差的补偿；接收针对第二像素位置的第二输入颜色数据集；使用误差校正数据集中的值来抖动第二输入颜色数据集，以生成经抖动的第二颜色数据集；以及从经抖动的第二颜色数据集生成用于驱动针对第二像素位置发射光的第二光发射器集合的第二输出颜色数据集。

第一输入颜色数据集与第一输出颜色数据集之间的差异至少可以是由展现色移的第一光发射器集合的驱动电流的量化引起的。

生成第一输出颜色数据集可以包括使用一个或多个查找表，查找表可以补偿色移以确定第一输出颜色数据集。

第一输入颜色数据集与第一输出颜色数据集之间的差异至少可以是由显示设备以第一电流水平驱动第一集合中的第一光发射器子集并且以不同于第一电流水平的第二电流水平驱动第一集合中的第二光发射器子集来引起的，第一电流水平使第一光发射器子集发射由第一色域限定的光并且第二电流水平使第二光发射器子集发射由第二色域限定的光。

第一光发射器子集可以由处于第一电流水平的第一脉冲宽度调制(PWM)信号来驱动并且第二光发射器子集可以由处于第二电流水平的第二PWM信号来驱动。

生成第一输出颜色数据集包括：将第一输入颜色数据集的版本分成用于第一光发射器子集的第一子数据集和用于第二光发射器子集的第二子数据集；使用考虑由第一电流水平驱动的第一光发射器子集的第一色移的第一校正矩阵来调整第一子数据集；以及使用考虑由第二电流水平驱动的第二光发射器子集的第二色移的第二校正矩阵来调整第二子数据集。

输出颜色数据集可以是第一子数据集和第二子数据集的组合，第一子数据集可以对应于输出颜色数据集的最高有效位，并且第二子数据集可以对应于输出颜色数据集的最低有效位。

使用第一校正矩阵来调整第一子数据集可以将由第一子数据集的值表示的第一颜色坐标从公共色域映射到第一色域，并且使用第二校正矩阵来调整第二子数据集可以将由第二子数据集的值表示的第二颜色坐标从公共色域映射到第二色域。

确定误差校正数据集可以包括：确定作为第一输入颜色数据集的版本(version)与第一输出颜色数据集之间的差异的误差；以及使误差通过图像内核以生成误差校正数据集。

图像内核可以是Floyd-Steinberg抖动内核。

第一输入颜色数据集的版本可以是从第一输入颜色数据集生成的经误差修改的颜色数据集再加上与从其他先前像素位置而确定的误差值。

抖动第二输入颜色数据集可以包括：将误差校正数据集的至少一些值与第二输入颜色数据集相加以生成经误差修改的颜色数据集；确定经误差修改的颜色数据集是否落在色域之外，色域表示第二光发射器集合通常能够发射的颜色范围；以及响应于经误差修改的颜色数据集落在色域之外，执行映射以使经误差修改的颜色数据集进入色域中。

映射可以是恒定色调映射。

生成第一输出颜色数据集可以包括：将第一输入颜色数据集的版本分成第一子数据集和第二子数据集；以第一比例因子缩放第一子数据集，第一比例因子表示对第一光发射器集合中的第一子集的第一非均匀性的第一补偿；以及以不同于第一比例因子的第二比例因子缩放第二子数据集，第二比例因子表示对第一光发射器集合中的第二子集的第二非均匀性的第二补偿。

误差校正数据集可以包括用于调整与第一像素位置近邻的多个像素位置的数据值，并且第二像素位置可以是与第一像素位置近邻的多个像素位置之一。

第一集合和第二集合中的光发射器可以是当不同水平的电流驱动光发射器时展现色移的发光二极管(LED)。

在一个实施例中，一种显示设备可以包括：第一光发射器集合，被配置为针对第一像素位置发射光；第二光发射器集合，被配置为针对第二像素位置发射光；以及图像处理单元，被配置为：接收表示旨在第一像素位置处被显示的色值的第一输入颜色数据集；从第一输入颜色数据集生成用于驱动第一光发射器集合的第一输出颜色数据集；确定误差校正数据集，误差校正数据集表示由于第一输入颜色数据集与第一输出颜色数据集之间的差异而引起的第一光发射器集合的颜色误差的补偿；接收用于第二像素位置的第二输入颜色数据集；使用误差校正数据集中的值来抖动第二输入颜色数据集以生成经抖动的第二颜色数据集；以及从经抖动的第二颜色数据集生成用于驱动第二光发射器集合的第二输出颜色数据集。

第一光发射器集合和第二光发射器集合可以是使用模拟调制来驱动显示面板的光发射器的显示面板的一部分，模拟调制可以调整电流水平以控制显示面板的光发射器的光强度。

显示面板的光发射器当由不同电流水平驱动时可以展现色移并且生成第一输出颜色数据集可以包括使用一个或多个查找表，查找表补偿色移以确定第一输出颜色数据集。

第一光发射器集合可以是使用混合调制来驱动第一光发射器集合的显示面板的一部分，混合调制可以使用第一电流水平来驱动第一集合中的第一光发射器子集，第一电流水平引起第一光发射器子集发射由第一色域限定的光，并且混合调制可以使用第二电流水平来驱动第一集合中的第二光发射器子集，第二电流水平引起第二光发射器子集由第二色域限定的光。

第一光发射器子集可以由第一电流水平的第一脉冲宽度调制(PWM)信号来驱动并且第二光发射器子集可以由第二电流水平的第二PWM信号来驱动。

生成第一输出颜色数据集可以包括：将第一输入颜色数据集的版本分成用于第一光发射器子集的第一子数据集和用于第二光发射器子集的第二子数据集；使用考虑(account for)由第一电流水平驱动的第一光发射器子集的第一色移的第一校正矩阵来调整第一子数据集；以及使用考虑由第二电流水平驱动的第二光发射器子集的第二色移的第二校正矩阵来调整第二子数据集。

在一个实施例中，一种显示设备、特别是根据任何上述实施例的显示设备的图像处理单元可以包括：输入端子，被配置为接收用于不同像素位置的输入颜色数据集，每个输入颜色数据集表示旨在对应像素位置处显示的色值；输出端子，被配置为向显示设备的显示面板传输输出颜色数据集，每个输出颜色数据集被配置为驱动光发射器集合；数据处理单元，被配置为：对于每个像素位置，确定输入颜色数据集与输出颜色数据集之间与像素位置相对应的差异；基于差异确定误差校正数据集；以及基于误差校正数据集调整与像素位置的近邻像素位置相对应的输入颜色数据集。

在一个实施例中，一种或多种计算机可读非暂态存储介质可以体现在被执行时可操作以执行根据任何上述实施例或在任何上述实施例内的方法的软件。

在一个实施例中，一种系统可以包括：一个或多个处理器；以及耦合到处理器并且包括由处理器可执行的指令的至少一个存储器，处理器在执行指令时可操作以执行根据任何上述实施例或在任何上述实施例内的方法。

在一个实施例中，一种优选地包括计算机可读非暂态存储介质的计算机程序产品当在数据处理系统上执行时可以可操作以执行根据任何上述实施例或在任何上述实施例内的方法。

附图说明

图1是根据一个实施例的近眼显示器(NED)的透视图。

图2是根据一个实施例的图1所示的NED的眼镜的截面图。

图3A是根据一个实施例的显示设备的透视图。

图3B是根据一个实施例的显示设备的框图。

图4A、4B和4C是根据一些实施例的表示光发射器的不同布置的概念图。

图4D和4E是根据一些实施例的光发射器的示意性截面图。

图5A是示出根据一个实施例的使用反射镜将光从光源投射到像场的显示设备的扫描操作的图。

图5B是示出根据一个实施例的波导配置的图。

图5C是根据一个实施例的显示设备的俯视图。

图6A是示出根据一个实施例的用于显示面板的驱动信号的模拟调制的波形图。

图6B是示出根据一个实施例的用于显示面板的驱动信号的数字调制的波形图。

图6C是示出根据一个实施例的用于显示面板的驱动信号的混合调制的波形图。

图7A、7B和7C是示出色度图中的示例色域区的概念图。

图8是描绘根据一些实施例的图像处理单元的框图。

图9是根据一个实施例的显示设备的图像处理单元的示意性框图。

图10是根据一个实施例的显示设备的图像处理单元的示意性框图。

图11是根据一个实施例的显示设备的图像处理单元的示意性框图。

图12是根据一个实施例的示例蓝色噪声掩模图案的图像。

图13是描绘根据一个实施例的操作显示设备的过程的流程图。

附图仅出于说明的目的来描绘本公开的实施例。

具体实施方式

实施例涉及执行操作的显示设备，操作用于通过调整近邻像素位置处的色值来补偿像素位置处的误差。由于各种实际条件和操作约束，显示设备的光发射器可能不能在像素位置处绘制精确的颜色。在不同的个体像素位置处的误差的累积影响可能会导致用户可以感知的视觉伪像，并且可能使显示设备的整体颜色表示不精确。跨一个或多个近邻像素位置使用一种或多种抖动技术以补偿给定像素位置处的误差。这样，改进了由显示设备产生的整体图像质量。

本发明的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行调整的一种形式的现实，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality)(MR)、混杂现实(hybrid reality)、或其某种组合和/或其衍生物。人工现实内容可以包括完全生成的内容或与所捕获的(例如，真实世界)内容相结合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且任何一种都可以在单个通道或多个通道中呈现(诸如对观看者产生三维效果的立体声视频)。另外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式用于人工现实(例如，在人工现实中执行活动)的应用、产品、配件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主机计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或者能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。

近眼显示器

图1是根据一个实施例的近眼显示器(NED)100的图。NED 100将媒体呈现给用户。由NED 100呈现的媒体的示例包括一个或多个图像、视频、音频或其某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从NED 100、控制台(未示出)或这两者接收音频信息，并且基于音频信息呈现音频数据。NED 100可以用作VR NED。然而，在一些实施例中，NED 100可以被修改为还用作增强现实(AR)NED、混合现实(MR)NED或其某种组合。例如，在一些实施例中，NED 100可以利用计算机生成的元素(例如，图像、视频、声音等)来增强物理真实世界环境的视图。

图1所示的NED 100包括框架105和显示器110。框架105包括一起将媒体呈现给用户的一个或多个光学元件。显示器110被配置为用于用户观看由NED 100呈现的内容。如下面结合图2讨论的，显示器110至少包括用于生成图像光以将媒体呈现给用户的眼睛的源组装件。源组装件包括例如光源、光学系统或其某种组合。

图1仅是VR系统的示例。然而，在替代实施例中，图1还可以被称为头戴式显示器(HMD)。

图2是根据一个实施例的图1所示的NED 100的横截面。该横截面示出了至少一个波导组装件210。出射光瞳是当用户佩戴NED 100时眼睛220位于眼盒区域230中的位置。在一些实施例中，框架105可以表示眼镜的框架。为了说明的目的，图2示出了与单只眼睛220和单个波导组装件210相关联的横截面，但是在未示出的替代实施例中，与图2所示的波导组装件210分离的另一波导组装件将图像光提供给用户的另一眼睛220。

如下面的图2所示的波导组装件210通过出射光瞳将图像光引导到眼睛220。波导组装件210可以由具有一个或多个折射率的一种或多种材料(例如，塑料、玻璃等)组成，其有效地最小化NED 100的重量并且加宽NED的视场(下文中简称为“FOV”)。在替代配置中，NED 100在波导组装件210与眼睛220之间包括一个或多个光学元件。光学元件可以用于(例如，校正从波导组装件210发射的图像光中的像差)放大从波导组装件210发射的图像光、执行对从波导组装件210发射的图像光的某种其他光学调整、或其组合。光学元件的示例可以包括光圈、菲涅耳透镜、凸透镜、凹透镜、滤光片、或影响图像光的任何其他合适的光学元件。在一个实施例中，波导组装件210可以以下面结合图5B进一步详细讨论的方式产生并且引导很多光瞳复制到眼盒区域230。

图3A示出了根据一个实施例的显示设备300的透视图。在一些实施例中，显示设备300是NED 100的组件(例如，波导组装件210或波导组装件210的一部分)。在替代实施例中，显示设备300是一些其他NED或将显示图像光引导到特定位置的另一系统的一部分。取决于实施例和实现，显示设备300也可以被称为波导显示器和/或扫描显示器。然而，在其他实施例中，显示设备300不包括扫描镜。例如，显示设备300可以包括通过波导在像场上投射光的光发射器矩阵，但是没有扫描镜。在另一实施例中，由二维光发射器矩阵发射的图像可以在光到达波导或屏幕之前被光学组装件(例如，透镜)放大。

对于使用波导和光学系统的特定实施例，显示设备300可以包括源组装件310、输出波导320和控制器330。显示设备300可以为双眼或单只眼睛提供图像。为了说明的目的，图3A示出了与单只眼睛220相关联的显示设备300。与显示设备300分离(或部分分离)的另一显示设备(未示出)向用户的另一眼睛提供图像光。在部分分离的系统中，可以在针对每只眼睛的显示设备之间共享一个或多个组件。

源组装件310生成图像光355。源组装件310包括光源340和光学系统345。光源340是使用布置成矩阵的多个光发射器生成图像光的光学组件。每个光发射器可以发射单色光。光源340生成图像光，包括但不限于红色图像光、蓝色图像光、绿色图像光、红外图像光等。虽然在本公开中经常讨论RGB，但是本文中描述的实施例不限于使用红色、蓝色和绿色作为原色。其他颜色也可以用作显示设备的原色。另外，根据一个实施例的显示设备可以使用三种以上的原色。

光学系统345对由光源340生成的图像光执行一组光学过程，包括但不限于聚焦、组合、调节(condition)和扫描过程。在一些实施例中，光学系统345包括组合组装件、光调节组装件和扫描镜组装件，如下面结合图3B详细描述的。源组装件310生成图像光355并且将其输出给输出波导320的耦合元件350。

输出波导320是将图像光输出到用户的眼睛220的光波导。输出波导320在一个或多个耦合元件350处接收图像光355，并且将所接收的输入图像光引导到一个或多个去耦元件360。耦合元件350可以是例如衍射光栅、全息光栅、将图像光355耦合到输出波导320中的某种其他元件、或其某种组合。例如，在耦合元件350是衍射光栅的实施例中，衍射光栅的间距被选择使得发生全内反射，并且图像光355朝着去耦元件360在内部传播。衍射光栅的间距可以在300nm至600nm的范围内。

去耦元件360将总的内部反射图像光与输出波导320去耦。去耦元件360可以是例如衍射光栅、全息光栅、将图像光去耦出输出波导320的某种其他元件、或其某种组合。例如，在去耦元件360是衍射光栅的实施例中，衍射光栅的间距被选择以引起入射图像光离开输出波导320。图像光从输出波导320离开的取向和位置通过改变图像光355入射到耦合元件350的取向和位置来控制。衍射光栅的间距可以在300nm至600nm的范围内。

输出波导320可以由促进图像光355的全内反射的一种或多种材料组成。输出波导320可以由例如硅、塑料、玻璃或聚合物或其某种组合组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿X维度大约50mm宽，沿Y维度大约30mm长，并且沿Z维度大约0.5-1mm厚。

控制器330控制源组装件310的图像绘制操作。控制器330至少基于一个或多个显示指令来确定用于源组装件310的指令。显示指令是用于绘制一个或多个图像的指令。在一些实施例中，显示指令可以简单地是图像文件(例如，位图)。显示指令可以从例如VR系统的控制台(这里未示出)接收。扫描指令是由源组装件310用来生成图像光355的指令。扫描指令可以包括例如图像光的光源的类型(单色、多色)、扫描速率、扫描设备的取向、一个或多个照明参数、或其某种组合。控制器330包括这里未示出的硬件、软件和/或固件的组合，以免模糊本公开的其他方面。

图3B是示出根据一个实施例的示例源组装件310的框图。源组装件310包括发射光的光源340，该光由光学系统345光学处理以生成将被投射在像场(未示出)上的图像光335。光源340由驱动电路370基于从控制器330或图像处理单元375发送的数据来驱动。在一个实施例中，驱动电路370是连接到并且机械地保持光源340的各种光发射器的电路板。经组合的驱动电路370和光源340有时可被称为显示面板380或LED面板(如果某些形式的LED用作光发射器)。

光源340可以生成空间相干或部分空间相干的图像光。光源340可以包括多个光发射器。光发射器可以是垂直腔表面发射激光器(VCSEL)器件、发光二极管(LED)、微型LED、可调谐激光器、和/或一些其他发光器件。在一个实施例中，光源340包括光发射器矩阵。在另一实施例中，光源340包括每组按颜色分组并且以矩阵形式布置的多组光发射器。光源340发射在可见带(例如，从约390nm到700nm)中的光。光源340根据由控制器330设置并且潜在地由图像处理单元375和驱动电路370调整的一个或多个照明参数来发射光。照明参数是由光源340用来生成光的指令。照明参数可以包括例如光源波长、脉冲速率、脉冲幅度、光束类型(连续或脉冲)、影响发射光的(多个)其他参数、或其某种组合。光源340发射源光385。在一些实施例中，源光385包括多束红光、绿光和蓝光、或其某种组合。

光学系统345可以包括光学地调整并且潜在地重定向来自光源340的光的一个或多个光学组件。一种形式的示例光调整可以包括调节光。调节来自光源340的光可以包括例如扩展、准直、校正一个或多个光学误差(例如，场曲、色差等)、对光进行某种其他调整、或其某种组合。光学系统345的光学组件可以包括例如透镜、反射镜、光圈、光栅或其某种组合。从光学系统345发射的光被称为图像光355。

光学系统345可以经由其一个或多个反射和/或折射部分来重定向图像光，使得图像光355以特定取向被投射朝向输出波导320(图3A所示)。图像光朝向哪里被重定向基于一个或多个反射和/或折射部分的特定取向。在一些实施例中，光学系统345包括在至少两个维度上扫描的单个扫描镜。在其他实施例中，光学系统345可以包括各自在彼此正交的方向上扫描的多个扫描镜。光学系统345可以执行光栅扫描(水平或垂直)、双共振扫描或其某种组合。在一些实施例中，光学系统345可以以特定振荡频率沿水平和/或竖直方向执行受控振动，以沿两个维度扫描并且生成呈现给用户眼睛的媒体的二维投射线图像(projectedline image)。在其他实施例中，光学系统345还可以包括起到与一个或多个扫描镜相似或相同的功能的透镜。

在一些实施例中，光学系统345包括检流计镜。例如，检流计镜可以表示指示其已经通过使用一个或多个反射镜偏转一束图像光而感测到电流的任何机电仪器。检流计镜可以在至少一个正交维度中扫描以生成图像光355。来自检流计镜的图像光355表示呈现给用户眼睛的媒体的二维线图像。

在一些实施例中，源组装件310不包括光学系统。由光源340发射的光直接投射到波导320(图3A所示)。

控制器330控制光源340的操作，并且在某些情况下，控制光学系统345的操作。在一些实施例中，控制器330可以是显示设备的图形处理单元(GPU)。在其他实施例中，控制器330可以是其他种类的处理器。由控制器330执行的操作包括获取用于显示的内容，并且将该内容划分为离散分段。控制器330指导光源340使用与最终显示给用户的图像中的相应行相对应的光发射器顺序地呈现离散分段。控制器330指导光学系统345执行对光的不同调整。例如，控制器330控制光学系统345将所呈现的离散分段扫描到输出波导320(图3A所示)的耦合元件的不同区域。因此，在输出波导320的出射光瞳处，每个离散分段被呈现在不同位置中。尽管每个离散分段在不同时间处呈现，但离散分段的呈现和扫描发生得足够快，以使得使用户的眼睛将不同分段整合为单个图像或一系列图像。控制器330还可以向光源340提供扫描指令，该扫描指令包括与光源340的个体源元件相对应的地址和/或被施加到个体源元件的电偏压。

图像处理单元375可以是通用处理器和/或致力于执行本文中描述的特征的一个或多个专用电路。在一个实施例中，通用处理器可以耦合到存储器以执行使处理器执行本文中描述的某些过程的软件指令。在另一实施例中，图像处理单元375可以是致力于执行某些特征的一个或多个电路。虽然在图3B中，图像处理单元375被示出为与控制器330和驱动电路370分离的独立单元，但是在其他实施例中，图像处理单元375可以是控制器330或驱动电路370的子单元。换言之，在这些实施例中，控制器330或驱动电路370执行图像处理单元375的各种图像处理过程。图像处理单元375也可以被称为图像处理电路。

光发射器

图4A至4E是示出了根据各种实施例的不同光发射器的结构和布置的概念图。

图4A、4B和4C是根据一些实施例的可以被包括在图3A和3B的光源340中的光发射器的矩阵布置的俯视图。图4A中所示的配置400A是图4A的光发射器阵列402A-C沿轴线A1的线性配置。该特定线性配置可以根据矩形光发射器阵列402的较长边来布置。虽然在一些实施例中光发射器阵列402可以具有正方形光发射器配置，但是其他实施例可以包括矩形光发射器配置。光发射器阵列402A-C各自包括多行和多列光发射器。每个光发射器阵列402A-C可以包括单色的光发射器。例如，光发射器阵列402A可以包括红色光发射器，光发射器阵列402B可以包括绿色光发射器，光发射器阵列402C可以包括蓝色光发射器。在其他实施例中，光发射器阵列402A-C可以具有其他配置(例如，椭圆形、圆形、或以某种方式为圆形)，同时限定第一维度(例如，宽度)和与第一维度正交的第二维度(例如，长度)，其中维度彼此相等或不相等。在图4B中，光发射器阵列402A-C可以根据矩形光发射器阵列402的较短边沿轴线A2以线性配置400B设置。图4C示出了光发射器阵列402A-C的三角形配置，其中光发射器阵列402的中心形成非线性(例如，三角形)形状或配置。图4C的配置400C的一些实施例还可以包括白光发射器阵列402D，使得光发射器阵列402处于矩形或正方形配置。在一些实施例中，光发射器阵列402可以具有二维光发射器配置，其具有超过1000×1000个光发射器。各种其他配置也在本公开的范围内。

虽然图4A-4C所示的光发射器的矩阵布置被布置成垂直的行和列，但是在其他实施例中，矩阵布置可以以其他形式布置。例如，光发射器中的一些可以对角地对准，或者以规则或不规则、对称或不对称的其他布置对准。同样，术语行和列可以描述元素的两个相对空间关系。尽管为简单起见，本文中描述的列通常与竖直元素行相关联，但是应当理解，列不必竖直(或纵向)布置。同样，行也不必水平(或横向)布置。行和列有时也可以描述非线性的布置。行和列也不一定暗示任何平行或垂直布置。有时，行或列可以被称为排(line)。而且，在一些实施例中，光发射器可以不以矩阵配置布置。例如，在包括旋转镜的一些显示设备(将在图5A中进一步详细讨论)中，针对每种颜色可以有单排的光发射器。在其他实施例中，针对每种颜色可以有两排或三排的光发射器。

图4D和4E是根据一些实施例的可以用作图4A-C的光发射器阵列402中的个体光发射器的光发射器410的示例的示意性截面图。在一个实施例中，光发射器410可以是微型LED(microLED)460A。在其他实施例中，可以使用其他类型的光发射器，并且其不需要是微型LED。图4D示出了微型LED 460A的示意性横截面。“微型LED”可以是具有小的有源发光区域(例如，在一些实施例中小于2,000μm²，在其他实施例中小于20μm²或小于10μm²)的特定类型的LED。在一些实施例中，微型LED 460A的发射表面的直径可以小于大约5μm，但是在其他实施例中可以使用更小(例如，2μm)或更大直径的发射表面。在一些示例中，微型LED 460A还可以具有准直的或非朗伯的光输出，这可以增加从小的有源发光区域发射的光的亮度水平。

除了其他组件，微型LED 460A还可以包括LED衬底412，其具有设置在衬底412上的半导体外延层414、设置在外延层414上的介电层424和p接触429、设置在介电层424和p接触429上的金属反射层426、以及设置在外延层414上的n接触428。外延层414可以被成形为台面416。有源发光区域418可以通过外延层414的p掺杂区域427而形成在台面416的结构中。

衬底412可以包括诸如蓝宝石或玻璃等透明材料。在一个实施例中，衬底412可以包括硅、硅氧化物、二氧化硅、氧化铝、蓝宝石、硅和锗的合金、磷化铟(InP)等。在一些实施例中，衬底412可以包括半导体材料(例如，单晶硅、锗、硅锗(SiGe)和/或基于III-V的材料(例如，砷化镓)或其任何组合)。在各种实施例中，衬底412可以包括基于聚合物的衬底、玻璃、或任何其他可弯曲衬底，包括二维材料(例如，石墨烯和二硫化钼)、有机材料(例如，并五苯)、透明氧化物(例如，铟镓锌氧化物(IGZO)、多晶III-V材料、多晶锗、多晶硅、非晶III-V材料、非晶锗、非晶硅、或其任何组合)。在一些实施例中，衬底412可以包括与有源LED相同类型的III-V化合物半导体(例如，氮化镓)。在其他示例中，衬底412可以包括晶格常数接近于外延层414的晶格常数的材料。

外延层414可以包括氮化镓(GaN)或砷化镓(GaAs)。有源层418可以包括氮化铟镓(InGaN)。所使用的半导体材料的类型和结构可以改变以产生发射特定颜色的微型LED。在一个实施例中，所使用的半导体材料可以包括III-V半导体材料。III-V半导体材料层可以包括通过将III族元素(Al、Ga、In等)与V族元素(N、P、As、Sb等)相结合而形成的材料。p接触429和n接触428可以是由氧化铟锡(ITO)或另一导电材料形成的接触层，其可以以期望的厚度是透明的或以网格状布置以提供良好的光学透射/透明度和电接触，这可以导致微型LED460A也是透明或基本透明的。在这样的示例中，可以省略金属反射层426。在其他实施例中，取决于像素设计，p接触429和n接触428可以包括由可以不是光学透射或透明的导电材料(例如，金属)形成的接触层。

在一些实现中，可以使用ITO的替代物，包括更广谱的透明导电氧化物(TCO)、导电聚合物、金属网格、碳纳米管(CNT)、石墨烯、纳米线网格和薄金属膜。其他TCO可以包括掺杂的二元化合物，诸如掺杂铝的氧化锌(AZO)和掺杂铟的氧化镉。其他TCO可以包括锡酸钡和金属氧化物，诸如钒酸锶和钒酸钙。在一些实现中，可以使用导电聚合物。例如，可以使用聚(3,4-乙撑二氧噻吩)PEDOT:聚(苯乙烯磺酸盐)PSS层。在另一示例中，可以使用掺杂有碘或2,3-二氯-5,6-二氰基-1,4-苯醌(DDQ)的聚(4,4-二辛基环戊二噻吩)材料。在一些示例实施例中，可以旋涂示例聚合物和类似材料。

在一些实施例中，p接触429可以是与台面416的p掺杂区域427形成欧姆接触的材料。这种材料的检查者(examiner)可以包括但不限于钯、作为NiAu多层涂层而沉积的氧化镍(随后进行氧化和退火)、银、氧化镍/银、金/锌、铂金、或者与p掺杂的III-V半导体材料形成欧姆接触的其他组合。

外延层414的台面416可以在与衬底412的衬底光发射表面420相对的一侧具有截断顶部。台面416还可以具有抛物线或近抛物线形状以形成用于在微型LED 460A中生成的光的反射性外壳或抛物线形反射器。然而，虽然图4D描绘了针对台面416的抛物线或近抛物线形状，但是针对台面416的其他形状在其他实施例中是可能的。箭头指示从有源层418发射的光422如何从台面416的内壁反射离开以足以使光逸出微型LED 460A的角度(即，在全内反射的角度之外)朝向光发射表面420。p接触429和n接触428可以将微型LED 460A电连接到衬底。

与未成形或标准的LED相比，微型LED 460A的抛物线形结构可以将微型LED 460A的提取效率提高到低照明角度。标准LED裸片通常可以提供120°的半高全宽(FWHM)发射角度。相比之下，微型LED 460A可以被计为提供小于标准LED裸片的受控发射角FWHM，诸如约41°。微型LED 460A的这种提高的效率和准直的输出可以提高NED的整体电源效率，这对于热管理和/或电池寿命是很重要的。

如图4D所示，当沿水平平面切割时，微型LED 460A可以包括圆形横截面。但是，在其他示例中，微型LED 460A的横截面可以是非圆形的。在晶片处理步骤期间，微型LED 460A可以具有直接蚀刻到LED裸片上的抛物线结构。抛物线结构可以包括微型LED 460A的有源发光区域418以生成光，并且抛物线结构可以反射所生成的光的一部分以形成从衬底光发射表面420发射的准(quasi)-准直光422。在一些示例中，微型LED 460A的光学尺寸可以小于或等于有源发光区域418。在其他实施例中，微型LED 460A的光学尺寸可以大于有源发光区域418，诸如通过折射或反射方法，以改善微型LED 460A的可用亮度，包括由光发射器阵列402产生的任何主光线角(CRA)偏移。

图4E描绘了在很多方面与图4D的微型LED 460A类似的微型LED 460B。微型LED460B还可以包括微透镜450，微透镜450可形成在抛物线结构之上。在一些实施例中，微透镜450可以通过在微型LED 460A之上施加聚合物涂层，对涂层进行图案化，并且使涂层回流以实现期望透镜曲率来形成。微透镜450可以设置在发射表面之上以改变微型LED 460B的主光线角。在另一实施例中，微透镜450可以通过在微LED 460A上方沉积微透镜材料来形成(例如，通过旋涂方法或沉积工艺)。例如，可以在微透镜材料上方图案化具有弯曲的上表面的微透镜模板(未示出)。在一些实施例中，微透镜模板可以包括光刻胶材料，该光刻胶材料使用分布曝光光剂量进行曝光(例如，对于负性光刻胶，在弯曲的底部有较多的光被暴露，而在弯曲的顶部有较少的光被暴露)，进行显影，并且进行烘干以形成圆形。然后可以通过根据微透镜模板选择性地蚀刻微透镜材料来形成微透镜450。在一些实施例中，微透镜450的形状可以通过蚀刻到衬底412中来形成。在其他实施例中，可以代替微透镜而使用其他类型的光成形或光分布元件，诸如环形透镜、菲涅耳透镜或光子晶体结构。

在一些实施例中，可以采用除了以上结合图4D和4E具体讨论的这些之外的其他微型LED布置作为光发射器阵列402中的微型LED。例如，微型LED可以包括被金属反射器包围的外延生长的发光材料的隔离柱。光发射器阵列402的像素还可以包括外延生长的材料的小柱(例如，纳米线)的簇，其可以被反射材料或吸收材料围绕或不围绕以防止光学串扰。在一些示例中，微型LED像素可以是平面的外延生长的LED器件上的个体金属p接触，其中个体像素可以使用诸如等离子体处理、离子注入等钝化手段进行电隔离。这样的器件可以用光提取增强方法来制造，诸如微透镜、衍射结构或光子晶体。在其他实施例中可以采用除了本文中具体公开的这些之外的用于制造上述尺寸的微型LED的其他过程。

图像的形成

图5A和5B示出了根据不同实施例的如何基于光发射器的不同结构布置来在显示设备中形成图像和光瞳复制。像场是接收由光源发射的光并且形成图像的区域。例如，像场可以对应于图3A中的耦合元件350的一部分或去耦元件360的一部分。在某些情况下，像场不是实际的物理结构，而是图像光被投射到其并且形成图像到其的区域。在一个实施例中，像场是耦合元件350的表面，并且当光传播通过输出波导320时，形成在像场上的图像被放大。在另一实施例中，像场是在光穿过波导之后形成的，其中波导对不同颜色的光进行组合以形成像场。在某些实施例中，像场可以被直接投射到用户的眼睛中。

图5A是示出根据一个实施例的使用扫描镜520将光从光源340投射到像场530的显示设备500的扫描操作的图。显示设备500可以对应于近眼显示器100或另一扫描型显示设备。光源340可以对应于图3B所示的光源340，或者可以在其他显示设备中使用。光源340包括多行和多列的光发射器410，如插图515中的点所示。在一个实施例中，光源340可以针对每种颜色包括单排光发射器410。在其他实施例中，光源340可以针对每种颜色包括多于一排的光发射器410。由光源340发射的光502可以是一组准直光束。例如，图5中的光502示出了由一列光发射器410发射的多个光束。在到达反射镜520之前，光502可以由诸如调节组装件430(在图3B中示出但在图5中未示出)等不同光学器件进行调节。反射镜520将光502从光源340反射和投射到像场530。反射镜520绕轴线522旋转。反射镜520可以是微机电系统(MEMS)镜或任何其他合适的反射镜。反射镜520可以是图3B中的光学系统345的实施例，或者是光学系统345的一部分。随着反射镜520旋转，光502被引导到像场530的不同部分，如以实线的光的反射部分504和以虚线的光的反射部分504所示。

在反射镜520的特定方向(即，特定旋转角度)下，光发射器410照射像场530的一部分(例如，像场530上的多个像素位置532的特定子集)。在一个实施例中，光发射器410被布置和间隔成使得来自每个光发射器410的光束被投射在对应像素位置532上。在另一实施例中，诸如微型LED等小型光发射器用于光发射器410使得来自多个光发射器的子集的光束一起被投射在同一像素位置532。换言之，多个光发射器的子集410一次共同照亮单个像素位置532。

像场530也可以称为扫描场，因为当光502投射到像场530的区域时，像场530的该区域被光502照亮。像场530可以由以行和列的像素位置532(由插图534中的框表示)的矩阵在空间上限定。这里的像素位置是指单个像素。像场530中的像素位置532(或简称为像素)有时实际上可能不是附加物理结构。取而代之，像素位置532可以是划分像场530的空间区。而且，像素位置532的尺寸和位置可以取决于来自光源340的光502的投射。例如，在反射镜520的给定旋转角度下，从光源340发射的光束可以落在像场530的区域上。这样，像场530的像素位置532的尺寸和位置可以基于每个光束的位置来限定。在一些情况下，像素位置532可以在空间上细分为子像素(未示出)。例如，像素位置532可以包括红色子像素、绿色子像素和蓝色子像素。红色子像素对应于在该处投射一个或多个红色光束的位置，等等。当存在子像素时，像素532的颜色基于子像素的时间和/或空间平均值。

光源340的光发射器410的行和列的数目可以与像场530中的像素位置532的行和列的数目相同或不同。在一个实施例中，一行中的光发射器410的数目等于像场530的一行中的像素位置532的数目，而一列中的光发射器410的数目是两个或更多个，但是少于像场530的一列中的像素位置532的数目。换言之，在这种实施例中，光源340具有与像场530中的像素位置532的列数相同数目的列的光发射器410，但是具有比像场530少的行。例如，在一个特定实施例中，光源340具有约1280列的光发射器410，其与像场530的像素位置532的列数相同，但是只是一小部分光发射器410。光源340可以具有第一长度L1，第一长度L1是从光发射器410的第一行到最后一行测量的。像场530具有第二长度L2，第二长度L2是从扫描场530的行1到行p测量的。在一个实施例中，L2大于L1(例如，L2是L1的50到10,000倍)。

在一些实施例中，由于像素位置532的行数大于光发射器410的行数，因此显示设备500使用反射镜520在不同时间将光502投射到不同像素行。随着反射镜520旋转并且光502快速扫描通过像场530，图像在像场530上被形成。在一些实施例中，光源340也具有比像场530小的列数。反射镜520可以在两个维度上旋转以用光填充像场530(例如，光栅类型向下扫描行，然后移动到像场530中的新的列)。

显示设备可以在预定义显示时段中操作。显示时段可以对应于其中形成图像的持续时间。例如，显示时段可以与帧速率相关联(例如，帧速率的倒数)。在包括旋转镜的显示设备500的特定实施例中，显示时段也可以称为扫描时段。反射镜520的完整旋转周期可以被称为扫描时段。本文中的扫描时段是指在其间整个像场530被完全扫描的预定周期时间。像场530的扫描由反射镜520控制。显示设备500的光生成可以与反射镜520的旋转同步。例如，在一个实施例中，反射镜520从将光投射到像场530的行1的初始位置移动到将光投射到像场530的行p的最后位置并且然后返回到初始位置等于扫描时段。扫描时段还可以与显示设备500的帧速率有关。通过完成扫描时段，每个扫描时段在像场530上形成图像(例如，帧)。因此，帧速率可以对应于每秒中的扫描时段的数目。

随着反射镜520旋转，光扫描通过像场并且图像被形成。给定像素位置532的实际色值和光强度(亮度)可以是在扫描时段期间照亮像素位置的各种光束的颜色的平均值。在完成扫描时段之后，反射镜520返回到初始位置以再次将光投射到像场530的前几行上，除了一组新的驱动信号可以被馈送到光发射器410。当反射镜520以周期旋转时，相同的过程可以被重复。这样，在不同帧中不同图像被形成在扫描场530中。

图5B是示出根据一个实施例的用于形成图像的波导配置和可以被称为光瞳复制的图像的复制的概念图。在该实施例中，显示设备的光源可以诸如基于图4A和4B所示的配置而被分成三个不同的光发射器阵列402。原色可以是红色、绿色和蓝色或其他合适原色的另一组合。在一个实施例中，每个光发射器阵列402中的光发射器的数目可以等于像场(图5B中未示出)的像素位置的数目。这样，与使用扫描操作的图5A所示的实施例相反，每个光发射器可以致力于在像场的像素位置处生成图像。在另一实施例中，图5A和5B所示的配置可以组合。例如，图5B所示的配置可以位于图5A所示的配置的下游使得通过图5A中的扫描操作而形成的图像还可以被复制以生成多个复制。

图5B中描绘的实施例可以提供很多图像复制(例如，光瞳复制)的投射或者在单个点处去耦单个图像投射。因此，所公开的NED的其他实施例可以提供单个去耦元件。向眼盒230输出单个图像可以保持所耦合的图像光的强度。提供在单个点处去耦的一些实施例还可以提供输出图像光的转向。这样的光瞳转向NED还可以包括用于眼睛跟踪以监测用户注视的系统。如本文所述，提供光瞳复制的波导配置的一些实施例可以提供一维复制，而其他实施例可以提供二维复制。为了简单起见，在图5B中示出了一维光瞳复制。二维光瞳复制可以包括将光引导到图5B的平面内和之外。图5B以简化格式呈现。所检测到的用户注视可以用于个体地调整光发射器阵列402或整个光源340的位置和/或取向，和/或用于调整波导配置的位置和/或取向。

在图5B中，波导配置540与光源340协作设置，光源340可以包括固定到支撑结构564(例如，印刷电路板或另一结构)的一个或多个单色光发射器阵列402。支撑结构564可以耦合到图1的框架105。波导配置540可以通过具有距离D1的气隙与光源340分开。在一些示例中，距离D1可以在大约50μm至大约500μm的范围内。从光源340投射的一个或多个单色图像可以穿过气隙朝向波导配置540。本文中描述的任何光源实施例都可以用作光源340。

波导配置可以包括波导542，波导542可以由玻璃或塑料材料形成。在一些实施例中，波导542可以包括耦合区域544和去耦区域，去耦区域由顶表面548A上的去耦元件546A和底表面548B上的去耦元件546B形成。去耦元件546A和546B之间的波导542内的区域可以被认为是传播区域550，其中从光源340接收并且通过耦合区域544中包括的耦合元件而耦合到波导542中的光图像可以在波导542内横向传播。

耦合区域544可以包括耦合元件552，耦合元件552被配置和被标定维度(demensioned)以耦合预定波长的光，例如红光、绿光或蓝光。当光源340中包括白光发射器阵列时，落入预定波长的白光的一部分可以通过耦合元件552中的每个被耦合。在一些实施例中，耦合元件552可以是被定尺寸为耦合预定波长的光的光栅，诸如布拉格光栅。在一些示例中，每个耦合元件552的光栅可以展现出与特定耦合元件552要耦合到波导542中的光的预定波长相关联的光栅之间的分离距离，从而导致针对每个耦合元件552的不同光栅分离距离。因此，当被包括时，每个耦合元件552可以耦合来自白光发射器阵列的白光的有限部分。在其他示例中，对于每个耦合元件552，光栅分离距离可以相同。在一些示例中，耦合元件552可以是或包括多路复用耦合器。

如图5B所示，红色图像560A、蓝色图像560B和绿色图像560C可以通过耦合区域544的耦合元件而耦合到传播区域550中，并且可以开始在波导542内横向传播。在一个实施例中，在图5B中分别由不同虚线表示的红色图像560A、蓝色图像560B和绿色图像560C可以会聚以形成由实线表示的整体图像。为了简单起见，图5B可以通过单个箭头示出图像，但是每个箭头可以表示其中图像被形成的像场。在另一实施例中，红色图像560A、蓝色图像560B和绿色图像560C可以对应于不同的空间位置。

在光接触去耦元件546A之后，光的一部分可以从波导542投射出用于一维光瞳复制，以及在光接触去耦元件546A和去耦元件546B两者之后，光的一部分可以从波导542投射出用于二维光瞳复制。在二维光瞳复制实施例中，光可以在去耦元件546A的图案与去耦元件546B的图案相交的位置处从波导542投射出。

光的未被去耦元件546A从波导542投射出的一部分可以从去耦元件546B被反射离开。如图所示，去耦元件546B可以将所有入射光朝着去耦元件546A反射回。因此，波导542可以将红色图像560A、蓝色图像560B和绿色图像560C组合成多色图像实例，该多色图像实例可以被称为光瞳复制562。多色光瞳复制562可以朝着图2的眼盒图230被投射并且投射到眼睛220，眼睛220可以将光瞳复制562解释为全色图像(例如，除了红色、绿色和蓝色之外还包括其他颜色的图像)。波导542可以产生数十或数百个光瞳复制562，或者可以产生单个复制562。

在一些实施例中，波导配置可以不同于图5B所示的配置。例如，耦合区域可以不同。取代包括光栅作为耦合原件552，替代实施例可以包括棱镜，该棱镜反射和折射所接收的图像光，以将其朝着去耦元件706A引导。此外，尽管图5B总体上示出了具有耦合到同一支撑结构564的多个光发射器阵列402的光源340，但是其他实施例可以采用具有位于波导配置周围的不同位置处的分离的单色发射器阵列402的光源340(例如，一个或多个发射器阵列402位于波导配置的顶表面附近，并且一个或多个发射器阵列402位于波导配置的底表面附近)。

另外，尽管在图5B中仅示出了三个光发射器阵列，但是实施例可以包括更多或更少的光发射器阵列。例如，在一个实施例中，显示设备可以包括两个红色阵列、两个绿色阵列和两个蓝色阵列。在一种情况下，额外的一组发射器面板为同一像素位置提供冗余光发射器。在另一种情况下，一组红色、绿色和蓝色面板负责为像素位置生成与颜色数据集的最高有效位相对应的光，而另一组面板负责生成与颜色数据集的最低有效位相对应的光。颜色数据集的最高有效位和最低有效位的分离将在下面的图6中进一步详细讨论。

虽然图5A和5B示出了可以在显示设备中形成图像的不同方式。但是图5A和5B所示的配置不是互相排斥的。例如，在一个实施例中，显示设备可以使用旋转镜和波导两者来形成图像并且还形成多个光瞳复制。

图5C是根据一个实施例的显示系统(例如，NED)的俯视图。图9A中的NED 570可以包括一对波导配置。每个波导配置将图像投射到用户的眼睛。在图5C中未示出的一些实施例中，可以使用足够宽以将图像投射到两只眼睛的单个波导配置。波导配置590A和590B每个可以包括去耦区域592A或592B。为了通过波导配置590向用户的眼睛提供图像，可以在波导配置590的波导的顶表面中提供多个耦合区域594。耦合区域594A和594B可以包括多个耦合元件以分别与由光发射器阵列集合596A和光发射器阵列集合596B提供的光图像相互作用。如本文所述，光发射器阵列集合596中的每个可以包括多个单色光发射器阵列。如图所示，光发射器阵列集合596可以各自包括红色光发射器阵列、绿色光发射器阵列和蓝色光发射器阵列。如本文所述，一些光发射器阵列集合还可以包括白色光发射器阵列或者发射某种其他颜色或颜色组合的光发射器阵列。

右眼波导590A可以包括一个或多个耦合区域594A、594B、594C和594D(其全部或一部分可以统称为耦合区域594)和对应数目的光发射器阵列集合596A、596B、596C和596D(其全部或一部分可以统称为光发射器阵列集合596)。因此，尽管右眼波导590A的所描绘的实施例可以包括两个耦合区域594和两个光发射器阵列集合596，但是其他实施例可以包括更多或更少。在一些实施例中，光发射器阵列集合的个体光发射器阵列可以设置在去耦区域周围的不同位置处。例如，光发射器阵列集合596A可以包括沿去耦区域592A的左侧设置的红色光发射器阵列、沿去耦区域592A的顶侧设置的绿色光发射器阵列、和沿去耦区域592A的右侧设置的蓝色光发射器阵列。因此，光发射器阵列集合的光发射器阵列可以相对于去耦区域全部一起、成对地或个体地设置。

在一些实施例中，左眼波导590B可以包括与右眼波导590A相同数目和配置的耦合区域594和光发射器阵列集合596。在其他实施例中，左眼波导590B和右眼波导590A可以包括不同数目和配置(例如，位置和取向)的耦合区域594和光发射器阵列集合596。左波导590A和右波导590B的描绘中包括一个光发射器阵列集合596中包括的个体光发射器阵列的光瞳复制区域的不同可能布置。在一个实施例中，从不同颜色的光发射器形成的光瞳复制区域可以占据不同的区域，如左波导590A所示。例如，光发射器阵列集合596的红色光发射器阵列可以在受限区域598A内产生红色图像的光瞳复制。绿光发射器阵列可以在受限区域598B内产生绿色图像的光瞳复制。蓝光发射器阵列可以在受限区域598C内产生蓝色图像的光瞳复制。因为从一个单色光发射器阵列到另一单色光发射器阵列，受限区域598可能是不同的，所以仅受限区域598的重叠部分能够提供朝着眼盒230投射的全色光瞳复制。在另一实施例中，从不同颜色的光发射器形成的光瞳复制区域可以占据相同的空间，如右波导590B中的单个实线圆圈598所示。

在一个实施例中，波导部分590A和590B可以通过桥接波导(未示出)连接。桥接波导可以允许来自光发射器阵列集合596A的光从波导部分590A传播到波导部分590B中。类似地，桥接波导可以允许从光发射器阵列集合596B发射的光从波导部分590B传播到波导部分590A中。在一些实施例中，桥接波导部分可以不包括任何去耦元件，使得所有光在波导部分内全内反射。在其他实施例中，桥接波导部分590C可以包括去耦区域。在一些实施例中，桥接波导可以用于从波导部分590A和590B两者获取光，并且将所获取的光耦合到检测器(例如，光电检测器)，检测器诸如用于检测波导部分590A和590B之间的图像未对准。

驱动电路信号调制

驱动电路370调制从图像处理单元375输出的颜色数据集信号，并且向光源340的个体光发射器提供不同的驱动电流。在各种实施例中，可以使用不同的调制方案来驱动光发射器。

在一个实施例中，驱动电路370使用在本公开中可以被称为“模拟”调制方案的调制方案来驱动光发射器。图6A是根据一个实施例的模拟调制方案的说明图。在模拟调制方案中，驱动电路370取决于色值向光发射器提供不同水平的电流。光发射器的强度可以基于被提供给光发射器的电流水平来调整。被提供给光发射器的电流可以被量化为预定义数目的水平，诸如128个不同水平，或者在一些实施例中，可以不被量化。当驱动电路370接收色值时，驱动电路370调整被提供给光发射器的电流以控制光强度。例如，像素位置的整体颜色可以被表示为包括R、G和B值的颜色数据集。对于红色光发射器，驱动电路370基于R值的值提供驱动电流。R值越高，提供给红光发射器的电流水平越高，反之亦然。总的来说，像素位置显示作为R、G和B值之和的相加颜色。

在另一实施例中，驱动电路370使用在本公开中可以被称为“数字”调制方案的调制方案来驱动光发射器。图6B是根据一个实施例的数字调制方案的说明图。在数字调制方案中，驱动电路370提供脉冲宽度调制(PWM)电流以驱动光发射器。在数字调制方案中，脉冲的电流水平是恒定的。驱动电流的占空比取决于被提供给驱动电路的色值。例如，当针对光发射器的色值较高时，与和较低色值相对应的驱动电流相比，PWM驱动电流的占空比也较高。在一种情况下，可以通过实际开启的潜在开启间隔的数目来管理占空比的变化。在显示时段(例如，一帧)中，可以有128个脉冲被发送给光发射器。对于与强度的42/128相对应的色值，在该时段内128个脉冲(潜在开启间隔)中的42个处于开启状态。这样，从人类用户的角度来看，像素位置的该颜色的强度是最大强度的42/128。

在又一实施例中，驱动电路370使用可以被称为混合调制方案的调制方案来驱动光发射器。在混合调制方案中，对于每种原色，至少两个光发射器用于在像素位置处生成色值。第一光发射器被提供高电流水平的PWM电流，而第二光发射器被提供低电流水平的PWM电流。混合调制方案包括来自模拟调制的某些特征和来自数字调制的其他特征。混合调制方案的细节在图6C中说明。

图6C是示出根据一个实施例的通过混合调制进行的两个或更多个光发射器的操作的概念图。对于与像素位置相对应的原色，光发射器集合被分成两个或更多个子集。在图6C所示的示例中，两个子集是MSB光发射器410a和LSB光发射器410b。MSB光发射器410a和LSB光发射器410b共同为像素位置生成期望的色值。MSB光发射器410a和LSB光发射器410b均由PWM信号驱动。在PWM周期610中，可能存在潜在开启时间的多个离散间隔。开启时间是指电流被提供给光发射器(即，光发射器被开启)的时间间隔。同样，关闭时间或关闭状态是指不向光发射器提供电流(即，光发射器被关闭)的时间间隔。光发射器在潜在开启间隔602或612之一中是否真的开启可以取决于调制期间的实际位值。例如，如果调制所基于的实际位值为1001，则第一和第四潜在开启间隔开启，并且第二和第三潜在开启间隔关闭。通常，实际位值表示的值越大，开启时间越长(即，越多的潜在开启间隔被开启)。关闭状态604和614是分别将潜在开启间隔602和潜在开启间隔612分开的关闭间隔。

在PWM周期610中，可能有一个以上的潜在开启间隔，并且每个潜在开启间隔可以是离散的(例如，由关闭状态隔开)。使用图6C中的PWM 1调制方案作为示例，潜在开启间隔602的数目可以取决于调制所基于的位的MSB子集中的位数。输入像素数据的色值(例如，红色＝212)可以以具有多个位的二进制形式来表示(例如，212＝11010100)。这些位被分成两个子集。第一子集可以对应于MSB子集(1101)。PWM周期610中的潜在开启间隔602的数目可以等于MSB子集中的位数。例如，当将8位输入像素数据的前4位分类为MSB时，可能存在4个潜在开启间隔602，每个间隔由关闭状态604隔开，如图6C所示。同样，第二子集可以对应于LSB子集(0100)。

PWM周期610内的潜在开启间隔602的长度可以不同但彼此成比例。例如，在可以与针对8位输入像素数据的实现相对应的图6所示的示例中，第一潜在开启间隔602具有8个单位的长度，第二潜在开启间隔602具有4个单位的长度，第三潜在开启间隔602具有2个单位的长度，而最后一个潜在开启间隔602具有1个单位的长度。每个潜在开启间隔602可以由相同的电流水平驱动。在这种类型的8-4-2-1方案中，间隔的长度与子集MSB或LSB的位相对应。例如，对于具有4位的MSB，第一位的重要性是第二位的两倍，第二位的重要性是第三位的两倍，第三位的重要性是最后一位的两倍。总的来说，第一位的重要性是最后一位的8倍。因此，8-4-2-1方案反映了位之间的重要性的差异。潜在开启间隔8-4-2-1的顺序仅是示例，而不必递增或递减。例如，顺序也可以是1-2-4-8或2-8-1-4等。

驱动MSB光发射器410a和驱动LSB光发射器410b的电流水平不同，如第一幅度630和第二幅度640中的幅度差异所示。MSB光发射器410a和LSB光发射器410b用不同电流水平进行驱动，因为MSB光发射器410a表示比LSB光发射器410b的位值更重要的位值。在一个实施例中，驱动LSB光发射器410b的电流水平是驱动MSB光发射器410a的电流水平的分数。该分数与MSB光发射器410a的数目与LSB光发射器410b的数目之间的比率成比例。例如，在MSB光发射器410a是LSB光发射器410b的三倍(例如，6个MSB发射器和2个LSB发射器)的8位输入像素数据的实现中，可以使用比例因子3/16(3基于该比率)。结果，潜在开启间隔的MSB光发射器的感知光强度(例如，亮度)对应于集合[8，4，2，1]，而LSB光发射器的感知光强度对应于集合[8，4，2，1]*(数目的1/3)*(3/16比例因子)＝[1/2，1/4，1/8，1/16]。因此，这种方案下的总灰度级是2的8次幂(即，256个灰度级)。

混合调制允许降低驱动周期的时钟频率，并且进而提供诸如功率节省等各种益处。有关如何使用这种类型的混合PWM来操作显示设备的更多信息，于2019年1月29日提交的题为“Hybrid Pulse Width Modulation for Display Device”的美国专利申请第16/260,804号出于所有目的通过引用合并于此。

光发射器的色移和校正

某些类型的光发射器对驱动电流水平敏感。例如，在诸如HMD或NED 100等VR系统中，为了使显示器在保持紧凑尺寸的同时提供高分辨率，可以将微型LED用作光发射器410。然而，微型LED可能在不同驱动电流水平下展现色移。换言之，对于应该在驱动电流改变时发射相同波长但强度不同的光的微型LED，驱动电流的变化会另外改变光的波长。例如，在图6C中，即使MSB光发射器410a和LSB光发射器410b是应该发射相同波长的蓝光的相同微型LED，但是由于驱动电流水平的差异，与由LSB光发射器410b发射的蓝光相比，由MSB光发射器410a发射的蓝光也具有色移。这种色移在绿色和蓝色微型LED中尤为严重。同样，在使用模拟调制方案的显示设备中，由于使用不同的电流水平来驱动光发射器以生成不同的光强度，因此由于电流水平的变化，光发射器也可能展现波长偏移。

图7A示出了在CIE xy色度图中示出的示例色域区。图7A示出了由不同电流驱动的光发射器的色移。外部马蹄形区700表示所有可见颜色的范围。在图7A中由长短虚线三角形表示的第一色域710是针对标准红绿蓝(sRGB)颜色坐标空间的色域。sRGB颜色坐标空间是一种标准颜色坐标空间，其在很多计算机、打印机、数码相机、显示器等中广泛使用，并且还用于互联网上以便以数字方式定义颜色。为了使显示设备具有足够的通用性以显示来自各种来源的像素数据(例如，由数码相机捕获的图像、视频游戏、互联网网页等)，显示设备应当能够准确地显示在sRGB颜色坐标空间中定义的颜色。

在图7A中在右侧由实线三角形表示的第二色域720是由显示设备使用第一光发射器生成的色域，第一光发射器由处于第一水平的电流驱动。例如，第一光发射器可以是包括一个或多个红色光发射器、一个或多个绿色光发射器和一个或多个蓝色光发射器的光发射器集合。在一种情况下，第一光发射器可以对应于图6C所示的MSB光发射器410a的三个集合(例如，6个红色MSB光发射器、6个绿色MSB光发射器和6个蓝色MSB光发射器)。三种类型的彩色光发射器共同限定色域720。

在图7A中在左侧由实线三角形表示的第三色域730是由显示设备使用第二光发射器生成的色域，第二光发射器由处于低于第一电流水平的第二水平的电流驱动。与第一光发射器相似，第二光发射器可以是一个或多个红色、绿色、蓝色光发射器的集合。在某些情况下，第二光发射器与第一光发射器中的光发射器在结构上相同或基本相似(例如，第二集合中的红色光发射器与第一集合中的红色光发射器在结构上相同或基本相似，等等)。然而，由于第二光发射器以低于驱动第一光发射器的电流水平的第二电流水平驱动，所以第二光发射器展现色移并且导致色域730与第一光发射器的色域720不完全重叠。第二光发射器可以对应于图6C所示的LSB光发射器410b(例如，2个红色LSB光发射器、2个绿色LSB光发射器和2个蓝色LSB光发射器)。在一个实施例中，不同颜色的MSB光发射器由相同的第一电流水平驱动，而不同颜色的LSB光发射器由低于第一水平的相同的第二电流水平驱动。在另一实施例中，用于不同颜色的MSB光发射器的驱动电流水平是不同的，但是用于一种颜色的MSB光发射器的每个驱动电流水平高于对应颜色的LSB光发射器的驱动电流水平。

由于无法在色域720和色域730中重叠，因此使用由相同颜色坐标生成的相同信号来驱动第一光发射器和第二光发射器两者将导致颜色不匹配。这是因为，感知到的颜色是色域中三个原色(三角形中的三个顶点)的线性组合。由于色域720和色域730的顶点的坐标不相同，因此相同的原色值的线性组合不会导致针对色域720和色域730的实际颜色相同。颜色的不匹配可能导致显示设备中轮廓和其他形式的视觉伪像。

图7A还包括表示由十字标记的颜色坐标的点740。点740表示在sRGB颜色坐标空间中的、不在色域720和色域730所共有的公共色域内的颜色。例如，图7A所示的点740位于色域730之外。在没有适当的色彩校正的情况下，则类似于由点740表示的颜色的颜色对于使用混合或模拟调制方案的显示设备而言可能会出现问题，因为该显示设备无法正确地递送等效颜色。

图7B示出了根据一个实施例的在CIE xy色度图中示出的示例色域750。色域750在图7B中由粗体实线包围的四边形表示。色域750表示两个三角形色域区720和730(其在图7B中用虚线表示)的顶点(与由第一光发射器生成的色域和由第二光发射器生成的色域相对应)的凸和(例如，凸包)。两个三角色域区720和730的凸和包括两个色域区720和730与某些额外区域(诸如区域752)的并集。

显示设备中的颜色是通过将与限定色域的多边形的顶点相对应的原色相加(例如，将某些水平的红色、绿色、蓝色光相加在一起)而生成的。这样，四边形色域750涉及四种不同的原色以限定该区。生成四边形色域750的显示设备包括发射不同波长的光的四个原光发射器。由于绿光中的色移最明显，所以生成四边形色域750的四个原色是红色、第一绿色、第二绿色和蓝色，它们分别由顶点754、756、758和760表示。绿色756可以对应于由一个或多个绿色MSB光发射器发射的光，而第二绿色758可以对应于由一个或多个绿色LSB光发射器发射的光。

由于四边形色域750包括色域720和色域730的并集，所以四边形色域750覆盖sRGB色域710的整个区域，如图7A所示。因此，使用混合调制方案的显示设备可以使用四个原色光发射器来生成四边形色域750以考虑色移问题。四边形色域750中的颜色可以表示为四种原色的线性组合。

图7C示出了根据一个实施例的在CIE xy色度图中示出的另一示例色域770。色域770在图7C中由散列三角形表示。色域770表示色域720(对应于第一光发射器)和色域730(对应于第二光发射器)所共有的公共色域。换言之，色域770可以是色域720和色域730的交集。由于色域770由色域720和色域730共享，所以颜色坐标落在公共色域770内的任何光都可以由第一光发射器和第二光发射器生成。可以进行转换以根据映射方案(诸如线性变换操作或预定查找表)将超出公共色域770的原始颜色坐标(诸如点740)转换为位于公共色域770内的已更新的颜色坐标(例如，点780)。这样，可以将以原始颜色坐标(诸如sRGB颜色坐标空间中的颜色坐标)表示色值的输入像素数据转换为公共色域770内的已更新的颜色坐标。对于相应驱动信号的生成，可以简单地针对色域720和色域730来调整已更新的颜色坐标。这种类型的转换过程考虑由于驱动电流水平的差异引起的光发射器的色移。因此，可以通过使用混合调制方案的显示设备来产生诸如sRGB等原始颜色坐标空间中的色值。

举例来说，颜色数据集可以包括三个原色值以限定CIE xy色度图处的坐标。颜色数据集可以表示旨在像素位置处被显示的颜色。颜色数据集可以限定可以落在或不落在公共色域770内的坐标。响应于坐标落在公共色域770之外(例如，由点740表示的坐标)，图像处理单元可以执行恒定色调映射(constant-hue mapping)以将坐标映射到在公共色域770内的另一点780。如果坐标在公共色域770内，则可以跳过恒定色调映射。

在显示设备的图像处理单元确定坐标在公共色域770内之后，输出颜色数据集的生成可以取决于由显示面板380使用的调制方案。例如，在模拟调制方案中，可以使用查找表来确定应当被提供给驱动电路的实际色值。查找表可以考虑由于不同驱动电流水平而导致的光发射器的连续色移，并且可以预先调整色值以补偿色移。

在混合调制方案中，可以首先将公共色域770内的坐标分离为MSB和LSB。MSB校正矩阵可以用于考虑MSB光发射器的色移，而LSB校正矩阵可以用于考虑LSB光发射器的色移。作为特定示例，每个输出颜色坐标可以包括一组RBG值(例如，红色＝214，绿色＝142，蓝色＝023)。MSB光发射器的输出颜色坐标通常与LSB光发射器的输出颜色坐标不同，因为色移的原因。这样，通过考虑色移并且校正输出颜色坐标，MSB光发射器和LSB光发射器达成一致。可以将颜色坐标乘以MSB校正矩阵以生成输出MSB颜色坐标。同样，可以将相同的已更新的颜色坐标乘以LSB校正矩阵以生成输出LSB颜色坐标。

有关如何在显示设备中校正色移的更多信息，于2019年1月29日提交的题为“Color Shift Correct for Display Device”的美国专利申请第16/260,847号出于所有目的通过引用合并于此。

图像处理单元

图8是示出根据一个实施例的显示设备的图像处理单元375的框图。除了其他组件，图像处理单元375还可以包括输入端子810、数据处理单元820和输出端子830。图像处理单元375还可以包括用于存储所计算出的结果的线缓冲器825。图像处理单元375还可以包括更多或更少的组件。

输入端子810接收针对不同像素位置的输入颜色数据集。输入颜色数据集中的每个可以表示旨在对应像素位置处被显示的色值。输入颜色数据集可以从诸如控制器330、图形处理单元(GUI)、图像源等数据源发送，或者从诸如计算机或游戏机等外部设备远程发送。输入颜色数据集可以以一个或多个原色值的形式指定像素位置在给定时间的色值。例如，输入颜色数据集可以是包括三个原色的值(例如，R＝123，G＝23，B＝222)的输入颜色三元组。三个原色不一定是红色、绿色和蓝色。输入颜色数据集也可以是诸如YCbCr等其他颜色系统。颜色数据集也可以包括三个以上的原色。

输出端子830连接到显示面板380，并且向显示面板380提供输出颜色数据集。显示面板380可以包括驱动电路370和光源340(图3B所示)，光源340包括多个光发射器。显示面板380可以使用图5A或图5B所示的配置。在显示面板380中，输出颜色数据集由驱动电路370调制以向一个或多个光发射器提供适当的驱动电流。输出颜色数据集可以包括用于驱动针对像素位置发射光的光发射器集合的值。例如，输出颜色数据集可以采用RGB值的形式。R值被调制并且转换为用于驱动红色光发射器的驱动电流。同样，G和B值被调制并且转换为用于分别驱动绿色光发射器和蓝色光发射器的驱动电流。

数据处理单元820将输入颜色数据集转换为输出颜色数据集。输出颜色数据集包括用于驱动光发射器的实际数据值。输出颜色数据集通常具有与输入颜色数据集相似但通常不相同的值。输出颜色数据集可能与输入颜色数据集不同的一个原因是，光发射器经常受到一个或多个操作约束。操作约束(例如，硬件限制、色移等)阻止了光发射器直接使用没有任何调整的输入颜色数据集来发射期望颜色。另外，数据处理单元820还可以针对人类用户的感知执行其他颜色补偿和变形，这也可以改变输出颜色数据集。例如，可以基于用户设置执行颜色补偿以使图像看起来更温暖，更生动，更动态等。还可以执行颜色补偿以考虑针对HMD或NED 100的任何曲率或其他唯一尺寸，因此从人类用户的感知来看，平板图像的原始数据可能看起来更类似于现实。

光发射器和显示面板的一个或多个操作约束可以包括任何硬件限制、色移、设计约束、物理要求和其他因素，这些因素使得光发射器不能精确地产生在输入颜色数据集中指定的颜色。

操作约束的第一示例与光发射器或显示面板的位深度的限制有关。由于位深度有限，可能需要对光发射器的强度水平进行量化。换言之，光发射器可能只能发射预定义数目的不同强度。例如，在模拟调制中，由于电路和硬件约束，可能需要将驱动电流水平量化为预定义数目的水平，诸如128个。同样，在使用PWM的数字调制中，每个脉冲周期不能无限小，以使得在显示时段内只能容纳预定义数目的时段。相反，输入颜色数据集可以以比光发射器的硬件能够产生的颜色的精细度更高的颜色精细度来指定(例如，10位输入位深度相对于8位光发射器)。因此，在生成输出颜色数据集时，数据处理单元820可能需要量化输入颜色数据集。

操作约束的第二示例可以与光发射器的色移有关。由一些光发射器发射的光的波长可能由于光发射器的情况的变化而偏移。例如，如以上在图7A-7C中讨论的，当光发射器由不同水平的电流驱动时，诸如微型LED等一些光发射器可能展现色移。在生成输出颜色数据集时，数据处理单元820可以考虑色移以调整输入颜色数据集。

操作约束的第三示例可以与显示面板380的设计有关。例如，在混合调制中，将输入颜色数据集中的色值分成MSB和LSB。MSB用于以第一电流水平驱动第一光发射器子集。LSB用于以第二电流水平驱动第二光发射器子集。由于驱动电流水平的差异，两个光发射器子集可能会展现相对于彼此的色移。在生成输出颜色数据集时，数据处理单元820可以将输入颜色数据集分成两个子数据集(针对MSB和LSB)，并且不同地对待每个子数据集。

操作约束的第四示例可以与显示设备中呈现的可能影响由显示设备输出的图像质量的各种缺陷或非均匀性有关。在一个实施例中，相同颜色的多个光发射器负责为单个像素位置发射原色光。例如，如图6C所示，相同颜色的六个MSB光发射器410a可以负责单个像素位置。尽管光发射器应当基本相同，但是以相同电流水平驱动的光发射器可能会在制造公差内或由于制造缺陷或其他原因而产生不同光强度的光。在某些情况下，多个光发射器中的一个或多个光发射器可能完全有缺陷。用于引导图像的波导也可能会展现一定程度的非均匀性，这可能会影响图像质量。在生成输出颜色数据集时，数据处理单元820可以考虑可能导致影响如何生成输出颜色数据集的非均匀性的各种原因。

虽然这里讨论了操作约束的四个示例，但是取决于光发射器的类型、驱动电路370的电路设计、调制方案和其他设计考虑因素，可以有更多的操作约束。鉴于一个或多个操作约束，数据处理单元820将输入颜色数据集转换为输出颜色数据集，该输出颜色数据集在输出端子830处被传输给显示面板380。

由于从输入颜色数据集调整输出颜色数据集，因此输入颜色和所绘制的输出颜色可以不同。数据处理单元820考虑了输出颜色数据集中的误差并且补偿了误差。举例来说，数据处理单元820确定输入颜色数据集的版本与对应输出颜色数据集的版本之间的差异。基于该差异，数据处理单元820确定误差校正数据集，该误差校正数据集可以包括用于调整其他像素位置的颜色的一组补偿值。如反馈线840所示，误差校正数据集被反馈给数据处理单元820的输入侧。数据处理单元820使用误差校正数据集中的值来抖动在输入端子810处传入的一个或多个输入颜色数据集。误差校正数据集中的一些值可以存储在一个或多个线缓冲器中，并且可以用于抖动稍后在图像处理单元375处可以接收的其他输入颜色数据集。

由像素位置生成的误差校正数据集用于抖动与近邻像素相对应的其他输入颜色数据集。作为简单示例，由于光发射器的各种操作约束，像素可以显示比预期色值更红的颜色。该误差可以通过抖动近邻像素(例如，通过稍微减小近邻像素的红色)来补偿。该过程由使用误差校正数据集调整下一输入颜色数据集的反馈回路840表示。

在一个实施例中，图像处理单元375可以针对每个像素位置顺序地处理颜色数据集。例如，像场中的像素位置按行和列布置。可以首先处理针对一行中第一像素位置的第一输入颜色数据集。图像处理单元375从第一输入颜色数据集生成用于驱动针对第一像素位置发射光的第一光发射器集合的第一输出颜色数据集。图像处理单元375进而确定误差校正数据集。反馈回路840将误差校正数据集反馈给针对下一输入颜色数据集的输入侧。当图像处理单元375接收到针对第二像素位置的第二输入颜色数据集时，图像处理单元375使用误差校正数据集调整第二输入颜色数据集。第二像素位置可以与同一行中的第一像素位置邻近。图像处理单元375至少基于误差校正数据集来抖动第二输入颜色数据集，以生成经抖动的第二颜色数据集。图像处理单元375然后从经抖动的第二颜色数据集生成用于驱动针对第二像素位置发射光的第二光发射器集合的第二输出颜色数据集。可以针对一行中的每个像素位置重复该过程。在一行完成之后，可以针对下一行重复该过程。

在一个实施例中，对于给定像素位置，抖动可以影响同一行中的下一像素位置和下一行中的多个像素位置。例如，误差校正数据集的一部分可以通过840直接反馈给下一输入颜色数据集。其余的误差校正数据集可以存储在一个或多个线缓冲器825中，直到针对下一行中的对应像素位置的数据集被处理。

在一个实施例中，图像处理单元375可以包括多组组件810、820、825和830(例如，图8所示的布置的重复)以用于并行处理。例如，可以并行地同时处理针对多行像素位置的数据。在这种布置中，一组组件中的线缓冲器可以将误差校正数据集的值提供给其他组组件。

图9至11是示出根据一些实施例的图像处理单元375的不同实施例的详细实现的示意性框图。每个示意性框图可以被实现为存储在非暂态介质中并且由处理器可执行的软件算法、被实现为使用逻辑门和寄存器的硬件电路块、或者被实现为软件和硬件功能框的混合。在图9、10和11中，仅出于便于参考的目的，将各种数据值表示为不同的符号，但是不应将其解释为限制。例如，尽管将输入颜色数据集表示为RGB_ij，但是这并不表示在本文中描述的各种实施例中，必须在RGB颜色空间中表示输入颜色数据集或者输入颜色数据集仅具有三种原色。而且，即使本公开未明确规定，这些图中的任何框和箭头也可以被实现为电路、软件或固件。

图像处理单元——模拟调制

图9是根据一个实施例的可以与使用模拟调制方案的显示面板380一起使用的示例图像处理单元900的示意性框图。作为概述，图9所示的图像处理单元900量化输入色值并且基于光发射器的色移来调整该值以生成输出色值。进而，确定由输入和输出色值之间的差异而引起的误差，以使得将误差补偿数据集反馈给输入侧以调整后续输入色值。

举例来说，在某个时间点，图像处理单元900接收针对行i和列j处的第一像素位置的第一输入颜色数据集RGB_ij。输入颜色数据集可以采用原色的重心权重的形式(例如，以10位数值范围的R＝998，G＝148，B＝525)。此处使用的术语“第一”仅是参考标记，并且不需要第一像素位置是像场中的恰好第一像素位置。在加法框905处，将第一输入颜色数据集RGB_ij与从一个或多个先前像素位置而确定的误差校正数据集的误差校正值相加。加法模块是电路、软件或固件。在利用误差校正值调整第一输入颜色数据集RGB_ij之后，生成第一经误差修改的颜色数据集u_ij。

投射回色域框910是电路、软件或固件，其确定经误差修改的数据集u_ij是否落在色域之外并且可以通过诸如恒定色调映射等操作映射经误差修改的数据集u_ij以将经误差修改的数据集u_ij带回到色域中。色域可以被称为显示色域，其可以是表示针对像素位置的光发射器集合通常能够发射的颜色范围的公共色域(例如，图7C所示的色域770)。投射回色域框910服务多个目的。首先，由于色值应当在公共色域内，因此确保了光发射器可以根据所提供的色值来发射光。其次，它通过将u_ij带回到预定义范围(公共色域)来限制误差的幅度。这进而防止了图像处理单元900的潜在的灾难性或不稳定的行为。颜色映射在上面的图7A-C进行了讨论。

继续与针对第一像素位置的数据相对应的示例，将误差补偿值与第一输入颜色数据集RGB_ij相加可以使第一经误差修改的数据集u_ij带到色域之外。如果第一经误差修改的数据集u_ij落在色域内，则投射回色域框910可能不需要执行任何动作。然而，响应于第一经误差修改的数据集u_ij落在色域之外，投射回色域框910可以执行恒定色调映射以使第一经误差修改的数据集进入色域中以生成已调整的经误差修改的数据集u'_ij。例如，恒定色调映射可以包括沿恒定色调线在颜色空间中移动表示u_ij的坐标，直到所移动的坐标在色域内。

抖动量化器920是对经误差修改的数据集的版本(u_ij或u'_ij)进行量化以生成经抖动的数据集C_ij的电路、软件或固件。输入颜色数据集可以处于一定的精细度水平(例如，10位深度)，而显示面板的硬件可以仅支持低于输入的精细度水平(例如，光发射器可以仅支持最大8位深度)。量化器920量化经误差修改的数据集中的每个色值。给定由光发射器支持的精细度水平，量化过程会将色值带到最接近的可用值。在模拟调制中，精细度水平可以对应于驱动光发射器可用的驱动电流水平的数目。由于量化，光发射器可以发射接近预期颜色但是可能不处于由输入颜色数据集指示的确切值的光。

在生成经抖动的颜色数据集C_ij之后，图像处理单元900可以不同地对待原色的色值。对于某些类型的光发射器，调整被提供给光发射器的驱动电流的水平的模拟调制可能导致光发射器的色移。不同颜色的光发射器可能展现不同程度的色移。例如，在使用红色、绿色和蓝色微型LED的一个实施例中，与红色微型LED相比，当电流改变时，绿色微型LED展现波长的更大偏移。因此，对用于驱动光发射器的输出颜色数据集C'_ij进行调整以考虑色移。该调整可以使用查找表(LUT)来执行，该查找表考虑了原色的坐标的偏移。基于LUT930a、930和930c的原色的每个已调整值是图像处理单元900的输出，并且被发送给显示面板以驱动光发射器。例如，第一输出颜色数据集被发送给显示面板以驱动针对第一像素位置发射光的第一光发射器集合。输出值在框940处被重新组合。

除了被发送给显示面板以驱动光发射器，输出颜色数据集C'_ij还用来计算误差e'_ij。如上所述，输出颜色数据集是由于各种过程(诸如投射回色域、量化和基于色移的调整)而生成的，输出颜色数据集可以符合光发射器的操作约束，但与输入颜色数据集相比可能会携带一定程度的误差。继续针对第一像素位置的数据处理的示例，基于第一输出颜色数据集C'_ij与输入颜色数据集的版本之间的差异，在减法框950处确定第一误差e'_ij。减法框950是电路、软件或固件。在减法框950中使用的输入颜色数据集的版本可以是输入颜色数据集RGB_ij、经误差修改的数据集u_ij或已调整的经误差修改的数据集u'_ij。在图9所示的特定实施例中，已调整的经误差修改的的数据集u'_ij用于与输出颜色数据集C'_ij进行比较。

误差e'_ij用于穿过图像内核960，该图像内核960是生成误差校正数据集的电路、软件或固件。由于误差e'_ij是输出的版本与输入的版本的差异，因此误差e'_ij特定于像素位置。在一个实施例中，误差e'_ij的补偿跨多个附近的像素位置散布，使得在空间平均上，人眼几乎看不到像素位置处的误差e'_ij。因此，误差e'_ij穿过图像内核960以生成误差校正数据集，该误差校正数据集包含针对多个附近像素位置的误差校正值。换言之，误差e'_ij的补偿被传播到近邻的像素位置。

举例来说，在生成与第一像素位置相对应的第一误差e'_ij之后，图像内核960生成包括误差补偿值e_ij+1、e_i+1j-1、e_i+1j和e_i+1j+1的误差校正数据集。换言之，误差校正数据集包括针对同一行i中的下一像素位置(i，j+1)的补偿值、以及下一行i+1中的三个近邻像素位置((i+1，j-1)、(i+1，j)和(i+1，j+1))的补偿值。针对下一像素位置(i，j+1)的误差补偿值可以与也影响下一像素位置的其他误差补偿值组合，并且通过反馈线840立即反馈给图像处理单元900的输入侧，因为在图像处理单元900处传入的第二输入颜色数据集是RGB_i,j+1。针对下一行i+1中的像素位置((i+1，j-1)、(i+1，j)和(i+1，j+1))的误差补偿值可以被保存在线缓冲器825中，直到图像处理单元900接收到针对这些像素位置的输入颜色数据集。

图像内核960可以是将针对像素位置的误差值转换为针对多个近邻像素位置的误差补偿值不同集合的算法。图像内核960被设计为成比例地和/或系统地将误差补偿值跨一个或多个像素位置散布。在一个实施例中，图像内核960包括用于将误差散布到多个位置的Floyd-Steinberg抖动算法。图像内核960还可以包括使用诸如基于掩模(mask-based)的抖动、离散傅立叶变换、卷积等其他图像处理技术的算法。

再次参考框905，在确定关于第一像素位置的误差校正数据集之后，图像处理单元900接收针对第二像素位置的第二输入颜色RGB_ij+1。在一个实施例中，第二像素位置可以紧邻同一行i中的第一像素位置。图像处理单元900至少基于误差校正数据集来调整第二输入颜色数据集以生成第二经误差修改的数据集。例如，使用加法框900，图像处理单元900将误差校正值e_ij+1与第二输入颜色数据集RGB_ij+1相加以生成经抖动的第二颜色数据集。上面结合图9描述的过程被重复，使得图像处理单元900从经误差修改的第二颜色数据集生成用于驱动针对第二像素位置发射光的第二光发射器集合的第二输出颜色数据集。从加法框900到抖动量化器920的步骤有时可以统称为抖动。

图像处理单元——混合调制

图10是可与混合调制方案一起使用的示例图像处理单元1000的示意性框图。

图10所示的图像处理单元1000类似于图9所示的实施例，不同之处在于，在混合调制方案中，针对像素位置的每个光发射器集合包括第一子集和第二子集。第一光发射器子集以第一电流水平被驱动，而第二光发射器子集以不同于(例如，低于)第一电流水平的第二电流水平被驱动。在一个实施例中，所有光发射器均由PWM信号驱动，使得第一和第二电流水平是固定的。在一个实施例中，第一光发射器子集(包括R、G和B光发射器)负责产生与色值的MSB相对应的光，而第二光发射器子集负责产生与色值的LSB相对应的光。

作为混合调制方案中的特征的结果，在抖动量化器1020之后的图10所示的图像处理单元1000中的功能框与图9所示的实施例中的不同。加法框1005、投射回色域框1010和量化器1020的功能和操作与框900、910和920的功能和操作相同。因此，本文中不再重复对这些框的讨论。

在量化器1020处生成经抖动的颜色数据集C_ij之后，将表示颜色数据集C_ij中的每个色值的位分成MSB和LSB。例如，如果十进制形式的8位经抖动的颜色数据集C_ij具有值(123，76，220)，则该数据集可以表示为(01111011，01001100，11011100)。数据集由MSB和LSB拆分，成为两个子数据集(0111，0100，1101)和(1011，1100，1100)。

由于第一光发射器子集和第二光发射器子集由不同的电流水平驱动，因此这两个子集展现不同的色移。在框1030a中，图像处理单元1000基于第一校正矩阵(例如，用于MSB的校正矩阵)将经抖动的颜色数据集的MSB子数据集转换为输出颜色数据集的第一输出子数据集，第一校正矩阵考虑第一光发射器子集的第一色移。同样，在框1030b中，图像处理单元1000基于第二校正矩阵(例如，用于LSB的校正矩阵)将经抖动的颜色数据集的LSB子数据集转换为输出颜色数据集的第二输出子数据集，第二校正矩阵考虑第二光发射器子集的第二色移。校正矩阵可以将表示经抖动的颜色数据集的颜色坐标从公共色域映射到光发射器的相应色域的子集。第一和第二输出子数据集被发送给显示面板以驱动针对像素位置的第一和第二光发射器子集。

使用MSB校正矩阵和LSB校正矩阵的映射可以特定于光发射器的子集。输出颜色数据集被分为两个子数据集，而输入颜色数据集是单个数据集。为了将输出颜色数据集以与输入颜色数据集相当的格式放置，图像处理单元1000需要将MSB和LSB放回到一起。为此，在乘法框1034将第一输出子数据集与MSB校正矩阵1032a的逆相乘，因为MSB校正仅特定于MSB光发射器。同样，在乘法框1034处将第二输出子数据集与LSB校正矩阵1032b的逆相乘。在两个子数据集恢复为未调整值之后，可以在框1040处将拆分的子数据集组合以生成输出颜色数据集C'_ij的版本。

在生成输出颜色数据集C'_ij的版本之后，在框1050处将其用于与输入颜色数据集的版本进行比较以生成误差e'_ij。在减法框1050中使用的输入颜色数据集的版本可以是输入颜色数据集RGB_ij、经误差修改的数据集u_ij或已调整的经误差修改的数据集u'_ij。框1050、图像内核1060、反馈线840和线缓冲器825与图9中讨论的实施例中的等效框在很大程度上相同。这些框的讨论在本文中不再重复。

非均匀性调整

显示设备可能展现可能需要被补偿的不同形式的光强度非均匀性。显示非均匀性可能是由负责像素位置的光发射器集合中的光发射器的不均匀性、一个或多个光发射器的缺陷、波导的非均匀性、或其他原因而导致的。非均匀性可以通过将颜色数据集乘以比例因子(可以是标量)来考虑。比例因子增加光发射器的光强度，从而可以考虑由于有缺陷的光发射器而导致的非均匀性。例如，在负责像素位置的六个红色光发射器的集合中，如果确定光发射器之一有缺陷，则可以将五个光发射器的结果以因子6/5放大以补偿有缺陷的光发射器。在某些情况下，所有不同的非均匀性原因可以被检查并且由标量比例因子一起表示。

在使用数字调制的显示设备中，其中该数字调制使用PWM脉冲以相同的电流水平驱动光发射器，光发射器的强度可以由PWM脉冲的占空比(例如，PWM脉冲的开启周期的数目)控制。由于光发射器以相同的电流水平驱动，因此对于不同的色值，光发射器不会展现色移。因此，用于补偿任何非均匀性的比例因子可以直接应用于输入颜色数据集的版本或输出颜色数据集的版本。换言之，比例因子可以直接应用以调整灰度。

在使用模拟调制的显示设备中，其中该模拟调制通过改变电流水平来控制光发射器的强度水平，光发射器由于不同的电流水平而展现色移。如结合图9讨论的，可以使用一个或多个查找表来补偿色移。为了进一步补偿任何非均匀性，可以在查找表之前将比例因子应用于颜色数据集的版本。这样，可以调整光发射器的总体光强度以补偿任何非均匀性，同时还可以考虑由于所施加电流的变化引起的色移。

在使用混合调制的显示设备中，由于MSB和LSB的划分，非均匀性补偿可能需要在图像处理单元中进行其他功能改变。图11是可以与使用混合调制方案的显示面板380一起使用的另一示例图像处理单元1100的示意性框图。与图10所示的实施例相比，图11所示的实施例的图像处理单元1100具有类似的功能，但是另外执行非均匀性调整。该实施例考虑了非均匀性比例因子，并且因此抖动输入颜色数据集。

在框1105处，首先将预定全局比例因子与输入颜色数据集相乘。首先应用全局比例因子以确保颜色数据集在不同的调整和缩放之后不会超过允许的最大值。全局比例因子可以在任何合适的范围内。在一个实施例中，比例因子在0到1之间。然后以类似于图10的实施例的方式修改已缩放的输入颜色数据集，将其投射回色域，对其进行抖动和量化，并且进行分离。

在将经抖动的颜色数据集分成MSB子数据集和LSB子数据集之后，将子数据集中的值除以其相应比例因子，该比例因子用于考虑其相应光发射器子集中的任何有缺陷的光发射器。在一个实施例中，可以根据子集中的起作用的光发射器的总数相对于所设置的子集中的光发射器的总数来确定比例因子。例如，如果针对像素位置的MSB子集有六个光发射器，但其中一个有缺陷，则比例因子应当为5/6，因为有五个光发射器保持起作用。MSB和LSB比例因子都应当在0到1之间，值为1表示子集中的所有光发射器都起作用。由于本实施例中的比例因子小于或等于1，因此比例因子的除法增加了颜色数据集中的色值，从而增加了其余起作用的光发射器的光强度。

MSB比例因子和LSB比例因子可以不同，因为MSB和LSB分别进行处理并且与不同的光发射器子集相关联。例如，MSB光发射器子集中可能存在有缺陷的光发射器，而LSB光发射器子集中可能不存在有缺陷的光发射器。在这种特定情况下，MSB比例因子应当小于1，而LSB比例因子应当保持为1。

已缩放的MSB和已缩放的LSB在1130处被重新组合以考虑已缩放的LSB值溢出的可能性。例如，在框1120处应用LSB比例因子之前的8位数字的LSB值可能已经是1111。将LSB除以诸如5/6等比例因子将导致需要转移到MSB的LSB的溢出。因此，在框1130处，将已缩放的MSB和LSB重新组合以考虑LSB的潜在溢出。经组合的数字再次分为MSB和LSB子数据集(分别表示为MSB和LSB)。MSB校正矩阵和LSB校正矩阵(表示为MSB_correct和LSB_correct)进而以与图10中讨论的相同的方式被应用。在重新组合MSB子数据集和LSB子数据集以生成用于与输入的版本进行比较以确定误差的输出颜色数据集的版本之前，在框1140处将MSB子数据集和LSB子数据集分别与MSB比例因子和LSB比例因子相乘以移除由于框1120中的除法运算而导致的非均匀性缩放的影响。虽然框1120被示出为除法，而框1140被示出为乘法，但是乘法和除法可以基于比例因子的不同定义来互换。

在确定误差e'_ij之后，以与图9和10的实施例中描述的相同方式将误差传播到其他像素位置。

虽然在图9、10和11中分别示出了图像处理单元375的三个实施例，但是这些实施例中示出的功能框的具体布置和顺序仅是示例，并且不限于此。而且，在一个实施例中存在的功能框也可以被添加到未示出为具有该功能框的另一实施例中。

算法和计算的示例实现

在本公开的这一部分中，提供算法和计算的示例实现仅用于说明性目的。在示例中使用的数字仅用于参考，而不应当被视为限制本公开的范围。该算法和计算可以对应于与图11所示的相似的图像处理单元1100的实施例。在该示例中使用的显示面板可以使用混合调制方案来驱动光发射器。

在一个实施例中，输入颜色数据集被表示为RGB_ij，其中i和j表示针对像素位置的索引。输入颜色数据集可以是包括不同原色的重心权重的向量。图像处理单元在存在各种显示误差的情况下调整输入颜色数据集以生成经误差修改的数据集u_ij。在给定像素位置i，j，可能存在来自先前量化步骤的残留误差e_ij，该误差e_ij与输入颜色数据集相加以形成经误差修改的数据集u_ij：

u_ij＝RGB_ij+e_ij (1)

为了防止颜色超出显示色域，图像处理单元执行投射回色域操作以将颜色数据集u_ij的每个个体值u带回到色域。在一个实施例中，该操作是剪切操作使得

在等式(2)中，0和1表示色域关于色值的边界。可以使用其他边界值，具体取决于显示色域的边界如何限定。在其他实施例中，也可以改为使用将经抖动的颜色数据集投射回显示色域的其他向量映射技术。例如，投射可以沿恒定色调线，以沿该线将色域中的颜色坐标从色域之外映射回色域内。

将经误差修改的颜色数据集的版本量化和抖动到显示面板的期望位深度。例如，位深度由显示面板的一个或多个操作约束(诸如调制类型)限定。在使用混合调制方案的一种情况下，位深度可以为10位(5个MSB和5个LSB)。量化和抖动可以借助于具有蓝色噪声性质的向量量化器来实现。

图像处理单元基于显示面板的位深度n_bits确定量化步长。量化步长Δ也可以是针对LSB的步长，并且可以定义为

对于输入颜色数据集，每个个体色值可以表示为C。对于每个值，接近u(可以称为整个部分W)的经抖动的色值为

在等式(4)中，

表示“向下舍入”算子。由于使用向下舍入算子，因此W与C之间的差异位于顶点为零或量化步长Δ_LSB的值的立方体内。在缩放到单位立方体时，余数R为

现在，抖动过程被简化为在立方体中找到R、为R选择合适的抖动颜色、然后将已缩放的结果加回到W。这个过程可以通过使用重心权重进行四面体搜索来实现。颜色R可以表示为四面体顶点V＝[v₁，v₂，v₃，v₄]及其相关联的重心权重W＝[w₁，w₂，w₃，w₄]的线性组合。换言之，

R＝WV^T (6)

R所在的单位立方体可以被分区成六个四面体，每个四面体具有确定可以将R调整为的颜色的顶点。在一个实施例中，将顶点设置为0或单位1，从而可以通过比较操作来执行在四面体中定位R。重心权重使用加法或减法来找到。

由于在单位立方体内四面体元素有多种可能的布置，因此在一个实施例中，选择与对手空间(opponent space)中的Delaunay三角剖分相对应的布置。换言之，可以选择在对手空间中提供最均匀的四面体体积分布的布置。输入颜色的红色、绿色和蓝色分量可以分别定义为C_r、C_g和C_b。结果，顶点V和重心权重W可以使用以下算法来确定。

如果C_b>C_g

则C_m＝C_r+C_b；

如果C_m>1

如果C_m>C_g+1 ％BRMW四面体，则

V＝[0 0 1，1 0 0，1 0 1，1 1 1]；

W＝[1-C_r，1-C_b，C_m-C_g-1，C_g]；

否则 ％BRCW四面体

V＝[0 0 1，1 0 0，0 1 1，1 1 1]；

W＝[C_b-C_g，1-C_b，1-C_m+C_g，C_m-1]；

结束

否则 ％KBRC四面体

V＝[0 0 0，0 0 1，1 0 0，0 1 1]；

W＝[1-C_m，C_b-C_g，C_r，C_g]；

结束

否则

C_y＝C_r+C_g；

如果C_y>1

如果C_y>C_b+1 ％RGYW四面体，则

V＝[1 0 0，0 1 0，1 1 0，1 1 1]；

W＝[1-C_g 1-C_r，C_y-C_b-1，C_b]；

否则 ％RGCW四面体

V＝[1 0 0，0 1 0，0 1 1，1 1 1]；

W＝[1-C_g，C_g-C_b，1+C_b-C_y，C_y-1]；

结束

否则 ％KRGC四面体

V＝[0 0 0，1 0 0，0 1 0，0 1 1]；

W＝[1-C_y，C_r，C_g-C_b，C_b]；

结束

结束

图像处理单元可以使用尺寸为M×M个像素的预定义蓝色噪声掩模图案来确定要用于抖动的四面体顶点。示例蓝色噪声掩模图案在图12中示出。蓝色噪声掩模可以诸如使用模拟退火算法或空隙和簇算法生成。掩模可以在要抖动的图像之上复制，以使得通过下式给出图像像素(x，y)处的阈值Q

Q＝mask(mod(x-1，M)+1，mod(y-1，M)+1) (7)

由于重心权重总和为1，并且蓝色噪声掩模以间隔[0；1]分布，可以通过考虑重心权重的累加和使用掩模来选择四面体顶点。当前k个重心权重的总和超过该像素处的阈值时，选择四面体顶点v_k，或者

在确定抖动顶点v之后，可以将经抖动的色值C'确定为

C′＝W+Δ_LSB·v (9)

进而，确定发送给显示面板的MSB和LSB像素值。在一个实施例中，MSB和LSB可以均等地划分色值。例如，MSB的位深度可以定义为n_MSB＝n_bits/2。因此，针对MSB的步长可以定义为：

MSB和LSB、p_MSB和p_LSB的值可以分别根据下式确定

p_LSB＝C′-p_MSB (12)

其中

表示“向下舍入”算子。这些MSB和LSB值形成输出颜色数据集的子数据集，并且被发送给显示面板的驱动电路。由于MSB和LSB光发射器之间的色移以及其他显示非均匀性，输出颜色数据集包括误差。误差可以通过使用诸如Floyd-Steinberg算法等抖动算法将误差值传播到近邻像素位置以消除平均误差来补偿。

在一些实施例中，图像处理单元还补偿显示非均匀性。显示非均匀性可以定义为独立应用于MSB和LSB的逐像素比例因子m_ij和l_ij。在一种情况下，这两个比例因子都定义为在范围[0：1]内。为了补偿强度的净变化，可以通过以下等式确定补偿后的色值C”以及对应的MSB和LSB值p'_MSB和p'_LSB。

p′_LSB＝C″-p_MSB (15)

将输出颜色数据集的MSB子数据集和LSB子数据集乘以MSB校正矩阵M_MSB和LSB校正矩阵M_LSB。对于不同种类的光发射器和/或不同的驱动电流水平，矩阵可以不同。在一种情况下，针对8位输入数据(4位MSB，4位LSB)的MSB校正矩阵如下：

针对8位输入数据(4位MSB，4位LSB)的LSB校正矩阵如下：

在另一种情况下，针对10位输入数据(5位MSB，5位LSB)的MSB校正矩阵如下：

针对10位输入数据(5位MSB，5位LSB)的LSB校正矩阵如下：

在存在色移和显示不均匀性的情况下，可以用于与输入进行比较的输出颜色数据集的版本可以通过重新组合MSB和LSB来获取。对于表示公共色域与MSB或LSB色域之间的变换的矩阵M_MSB和M_LSB，由显示器实际绘制的最终颜色为

因此，该颜色与等式1的经误差修改的颜色之间的差异由下面的等式21定义。

e_ij＝u-C_d (21)

误差e_ij穿过图像内核以确定将被传播到近邻像素位置的值。图像内核拆分误差值并且将部分误差值与线缓冲器中存储的现有误差值相加。在一些情况下，与像素位置i，j成对角线的近邻像素位置相比，紧邻像素位置i，j(例如，在其旁边或在其正下方)的近邻像素位置将接收更大误差值部分。例如，图像内核可以是Floyd-Steinberg内核：

在一些实施例中，为了简化该算法在硬件中的实现，还可以采用以下内核：

示例图像处理过程

图13是描绘根据一个实施例的操作显示设备的过程的流程图。该过程可以由显示设备的图像处理单元(例如，处理器或专用电路)来操作。该过程可以用于生成用于驱动显示面板的光发射器的信号。对于每个像素位置，显示设备包括用于针对像素位置发射光的光发射器集合。例如，每个像素位置可以至少对应于红色光发射器、绿色光发射器和蓝色光发射器。在一些实施例中，显示设备包括用于每个像素位置的冗余光发射器。例如，每个像素位置可以对应于六个红色光发射器、六个绿色光发射器和六个蓝色光发射器，其对于相同颜色的光发射器由相同水平的电流驱动。在使用混合PWM调制的显示设备中，与像素位置相对应的每个光发射器集合至少包括负责色值数据集的MSB的第一光发射器子集和负责色值数据集的LSB的第二光发射器子集。

根据一个实施例，显示设备可以顺序地处理每个像素位置的颜色数据值。在给定时间，显示设备可以接收1310表示旨在第一像素位置处显示的色值的第一输入颜色数据集。输入颜色数据集可以采取三种原色的重心权重的形式。在某些情况下，输入颜色数据集可以是标准形式，也可以是由软件或操作系统定义的形式，而不必考虑显示设备的显示面板的设计。同样，输入颜色数据集也可以用比显示面板可以支持的更高的位深度来表示。显示面板也可能受到各种操作约束，这些操作约束可能导致输入颜色数据集与显示设备的光发射器的驱动电路不兼容。

显示设备从第一输入颜色数据集生成1320用于驱动针对第一像素位置发射光的第一光发射器集合的第一输出颜色数据集。显示设备在生成输出颜色数据集时可以考虑光发射器和显示面板的各种操作约束。第一输出颜色数据集的生成可以包括多个子步骤。例如，可以通过将来自先前像素位置的误差相加来将第一输入颜色数据集转换为经误差修改的颜色数据集。也可以对经误差修改的颜色数据集进行调整，以确保表示数据集的颜色坐标在显示色域内。也可以使用量化技术和抖动算法来生成经抖动的颜色数据集。输出颜色数据集可以基于输入颜色数据集的任何一个版本(例如，经误差修改的版本、经抖动的版本等)。输出颜色数据集还可以基于考虑光发射器的任何色移的查找表和/或颜色校正矩阵来生成。

显示设备确定1330误差校正数据集，该误差校正数据集表示对由于第一输入颜色数据集与第一输出颜色数据集之间的差异而引起的第一光发射器集合的颜色误差的补偿。第一输出颜色数据集用于驱动显示面板中的光发射器。因此，输出数据集与光发射器和显示面板的硬件更加兼容，并且可以考虑光发射器的各种操作约束。但是，输出数据集可能无法完美地表示旨在显示的色值。显示设备在第一像素位置处的误差可以由输入和输出数据集之间的差异表示。所确定的误差可以传播到一个或多个近邻像素位置，以将误差散布在更大的区域上以对误差进行平均。例如，误差可以穿过图像内核以生成误差校正数据集，该误差校正数据集包括一个或多个近邻像素位置的误差补偿值。

显示设备接收1340用于第二像素位置的第二输入颜色数据集。第二像素位置可以是与第一像素位置在同一行中的下一像素位置。第二像素位置也可以是在第一像素位置附近但是位于下一行中的像素位置。显示设备至少基于与第一像素位置相对应的误差校正数据集来抖动1350第二输入颜色数据集以生成经抖动的第二颜色数据集。抖动过程可以包括多个子步骤。例如，显示设备可以生成第二经误差修改的颜色数据集，将数据集投射回显示色域，量化颜色数据集的版本，并且确定抖动值。显示设备从抖动的第二颜色数据集生成1360用于驱动针对第二像素位置发射光的第二光发射器集合的第二输出颜色数据集。可以针对多个像素位置重复步骤1310-1360中描述的过程，以继续补偿显示设备的误差。例如，还可以确定第二像素位置处的误差，并且可以通过其他后续像素位置来补偿该误差。

说明书中使用的语言主要为了可读性和指导性目的而选择，并且可能没有被选择以界定或限制本发明的主题。因此，意图在于，本公开的范围不受该详细描述的限制，而是由基于其而提出申请的任何权利要求所限制。因此，实施例的公开旨在于说明而非限制本公开的范围，本公开的范围在所附权利要求中阐明。

Claims (38)

1.一种用于操作显示设备的方法，包括：

接收第一输入颜色数据集，所述第一输入颜色数据集表示旨在第一像素位置处被显示的色值；

从所述第一输入颜色数据集生成第一输出颜色数据集，所述第一输出颜色数据集用于驱动第一光发射器集合，所述第一光发射器集合针对所述第一像素位置发射光；

确定误差校正数据集，所述误差校正数据集表示对所述第一光发射器集合的颜色误差的补偿，所述颜色误差由于所述第一输入颜色数据集与所述第一输出颜色数据集之间的差异而引起；

接收针对第二像素位置的第二输入颜色数据集；

使用所述误差校正数据集中的值，来抖动所述第二输入颜色数据集，以生成经抖动的第二颜色数据集；以及

从所述经抖动的第二颜色数据集生成第二输出颜色数据集，所述第二输出颜色数据集用于驱动第二光发射器集合，所述第二光发射器集合针对所述第二像素位置发射光。

2.根据权利要求1所述的方法，其中所述第一输入颜色数据集与所述第一输出颜色数据集之间的所述差异至少是由展现色移的所述第一光发射器集合的驱动电流的量化引起的。

3.根据权利要求2所述的方法，其中生成所述第一输出颜色数据集包括使用一个或多个查找表，所述查找表补偿所述色移以确定所述第一输出颜色数据集。

4.根据权利要求1所述的方法，其中所述第一输入颜色数据集与所述第一输出颜色数据集之间的所述差异至少是由以下操作引起的：所述显示设备以第一电流水平驱动所述第一光发射器集合中的第一光发射器子集，并且以不同于所述第一电流水平的第二电流水平驱动所述第一光发射器集合中的第二光发射器子集，所述第一电流水平使所述第一光发射器子集发射由第一色域限定的光，并且所述第二电流水平使所述第二光发射器子集发射由第二色域限定的光。

5.根据权利要求4所述的方法，其中所述第一光发射器子集由处于所述第一电流水平的第一脉冲宽度调制(PWM)信号来驱动，并且所述第二光发射器子集由处于所述第二电流水平的第二PWM信号来驱动。

6.根据权利要求4所述的方法，其中生成所述第一输出颜色数据集包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集，所述第一子数据集针对所述第一光发射器子集，所述第二子数据集针对所述第二光发射器子集；

使用第一校正矩阵来调整所述第一子数据集，所述第一校正矩阵考虑由所述第一电流水平驱动的所述第一光发射器子集的第一色移；以及

使用第二校正矩阵来调整所述第二子数据集，所述第二校正矩阵考虑由所述第二电流水平驱动的所述第二光发射器子集的第二色移。

7.根据权利要求6所述的方法，其中所述输出颜色数据集是所述第一子数据集和所述第二子数据集的组合，所述第一子数据集与所述输出颜色数据集的最高有效位相对应，并且所述第二子数据集与所述输出颜色数据集的最低有效位相对应。

8.根据权利要求6所述的方法，其中使用所述第一校正矩阵来调整所述第一子数据集将第一颜色坐标从公共色域映射到所述第一色域，所述第一颜色坐标由所述第一子数据集的值表示，并且使用所述第二校正矩阵来调整所述第二子数据集将第二颜色坐标从所述公共色域映射到所述第二色域，所述第二颜色坐标由所述第二子数据集的值表示。

9.根据权利要求1所述的方法，其中确定所述误差校正数据集包括：

确定作为所述第一输入颜色数据集的版本与所述第一输出颜色数据集之间的差异的误差；以及

使所述误差通过图像内核，以生成所述误差校正数据集。

10.根据权利要求9所述的方法，其中所述图像内核是Floyd-Steinberg抖动内核。

11.根据权利要求10所述的方法，其中所述第一输入颜色数据集的所述版本是经误差修改的颜色数据集，所述经误差修改的颜色数据集是从所述第一输入颜色数据集添加从其他先前像素位置而确定的误差值而被生成的。

12.根据权利要求1所述的方法，其中抖动所述第二输入颜色数据集包括：

将所述误差校正数据集的至少一些值添加到所述第二输入颜色数据集，以生成经误差修改的颜色数据集；

确定所述经误差修改的颜色数据集是否落在色域之外，所述色域表示所述第二光发射器集合通常能够发射的颜色的范围；以及

响应于所述经误差修改的颜色数据集落在所述色域之外，执行映射以使所述经误差修改的颜色数据集进入所述色域中。

13.根据权利要求12所述的方法，其中所述映射是恒定色调映射。

14.根据权利要求1所述的方法，其中生成所述第一输出颜色数据集还包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集；

以第一比例因子缩放所述第一子数据集，所述第一比例因子表示对所述第一光发射器集合的第一子集的第一非均匀性的第一补偿；以及

以不同于所述第一比例因子的第二比例因子缩放所述第二子数据集，所述第二比例因子表示对所述第一光发射器集合的第二子集的第二非均匀性的第二补偿。

15.根据权利要求1所述的方法，其中所述误差校正数据集包括用于调整与所述第一像素位置近邻的多个像素位置的数据值，并且所述第二像素位置是与所述第一像素位置近邻的所述多个像素位置中的一个像素位置。

16.根据权利要求1所述的方法，其中所述第一光发射器集合和所述第二光发射器集合中的光发射器是发光二极管(LED)，当不同水平的电流驱动所述光发射器时，所述发光二极管展现色移。

17.一种显示设备，包括：

第一光发射器集合，被配置为针对第一像素位置发射光；

第二光发射器集合，被配置为针对第二像素位置发射光；以及

图像处理单元，被配置为：

接收第一输入颜色数据集，所述第一输入颜色数据集表示旨在所述第一像素位置处被显示的色值；

从所述第一输入颜色数据集生成第一输出颜色数据集，所述第一输出颜色数据集用于驱动所述第一光发射器集合；

确定误差校正数据集，所述误差校正数据集表示对所述第一光发射器集合的颜色误差的补偿，所述颜色误差由于所述第一输入颜色数据集与所述第一输出颜色数据集之间的差异而引起；

接收第二输入颜色数据集，所述第二输入颜色数据集针对所述第二像素位置；

使用所述误差校正数据集中的值，来抖动所述第二输入颜色数据集，以生成经抖动的第二颜色数据集；以及

从所述经抖动的第二颜色数据集生成第二输出颜色数据集，所述第二输出颜色数据集用于驱动所述第二光发射器集合。

18.根据权利要求17所述的显示设备，其中所述第一光发射器集合和所述第二光发射器集合是显示面板的部分，所述显示面板使用模拟调制来驱动所述显示面板的光发射器，所述模拟调制调整电流水平以控制所述显示面板的所述光发射器的光强度。

19.根据权利要求18所述的显示设备，其中所述显示面板的所述光发射器当由不同电流水平驱动时展现色移，并且生成所述第一输出颜色数据集包括使用一个或多个查找表，所述查找表补偿所述色移以确定所述第一输出颜色数据集。

20.根据权利要求17所述的显示设备，其中所述第一光发射器集合是显示面板的部分，所述显示面板使用混合调制来驱动所述第一光发射器集合，所述混合调制使用第一电流水平来驱动所述第一光发射器集合中的第一光发射器子集，所述第一电流水平使所述第一光发射器子集发射由第一色域限定的光，并且所述混合调制使用第二电流水平来驱动所述第一光发射器集合中的第二光发射器子集，所述第二电流水平使所述第二光发射器子集发射由第二色域限定的光。

21.根据权利要求20所述的显示设备，其中所述第一光发射器子集由处于所述第一电流水平的第一脉冲宽度调制(PWM)信号来驱动，并且所述第二光发射器子集由处于所述第二电流水平的第二PWM信号来驱动。

22.根据权利要求20所述的显示设备，其中生成所述第一输出颜色数据集包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集，所述第一子数据集针对所述第一光发射器子集，所述第二子数据集针对所述第二光发射器子集；

使用第一校正矩阵来调整所述第一子数据集，所述第一校正矩阵考虑由所述第一电流水平驱动的所述第一光发射器子集的第一色移；以及

使用第二校正矩阵来调整所述第二子数据集，所述第二校正矩阵考虑由所述第二电流水平驱动的所述第二光发射器子集的第二色移。

23.一种显示设备的图像处理单元，包括：

输入端子，被配置为接收针对不同像素位置的输入颜色数据集，每个输入颜色数据集表示旨在对应的像素位置处被显示的色值；

输出端子，被配置为向所述显示设备的显示面板传输输出颜色数据集，每个输出颜色数据集被配置为驱动光发射器集合；

数据处理单元，被配置为：

对于每个像素位置，

确定与所述像素位置相对应的所述输入颜色数据集与所述输出颜色数据集之间的差异；

基于所述差异确定误差校正数据集；以及

基于所述误差校正数据集，调整与所述像素位置的近邻像素位置相对应的输入颜色数据集。

24.一种用于操作显示设备的方法，包括：

接收第一输入颜色数据集，所述第一输入颜色数据集表示旨在第一像素位置处被显示的色值；

从所述第一输入颜色数据集生成第一输出颜色数据集，所述第一输出颜色数据集用于驱动第一光发射器集合，所述第一光发射器集合针对所述第一像素位置发射光；

确定误差校正数据集，所述误差校正数据集表示对所述第一光发射器集合的颜色误差的补偿，所述颜色误差由于所述第一输入颜色数据集与所述第一输出颜色数据集之间的差异而引起；

接收第二输入颜色数据集，所述第二输入颜色数据集针对第二像素位置；

使用所述误差校正数据集中的值，来抖动所述第二输入颜色数据集，以生成经抖动的第二颜色数据集；以及

从所述经抖动的第二颜色数据集生成第二输出颜色数据集，所述第二输出颜色数据集用于驱动第二光发射器集合，所述第二光发射器集合针对所述第二像素位置发射光。

25.根据权利要求24所述的方法，其中所述第一输入颜色数据集与所述第一输出颜色数据集之间的所述差异至少是由展现色移的所述第一光发射器集合的驱动电流的量化引起的。

26.根据权利要求25所述的方法，其中生成所述第一输出颜色数据集包括使用一个或多个查找表，所述查找表补偿所述色移以确定所述第一输出颜色数据集。

27.根据权利要求24至26中任一项所述的方法，其中所述第一输入颜色数据集与所述第一输出颜色数据集之间的所述差异至少是由以下操作引起的：所述显示设备以第一电流水平驱动所述第一光发射器集合中的第一光发射器子集，并且以不同于所述第一电流水平的第二电流水平驱动所述第一光发射器集合中的第二光发射器子集，所述第一电流水平使所述第一光发射器子集发射由第一色域限定的光，并且所述第二电流水平使所述第二光发射器子集发射由第二色域限定的光。

28.根据权利要求27所述的方法，其中所述第一光发射器子集由处于所述第一电流水平的第一脉冲宽度调制(PWM)信号来驱动，并且所述第二光发射器子集由处于所述第二电流水平的第二PWM信号来驱动；和/或

其中生成所述第一输出颜色数据集包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集，所述第一子数据集针对所述第一光发射器子集，所述第二子数据集针对所述第二光发射器子集；

使用第一校正矩阵来调整所述第一子数据集，所述第一校正矩阵考虑由所述第一电流水平驱动的所述第一光发射器子集的第一色移；以及

使用第二校正矩阵来调整所述第二子数据集，所述第二校正矩阵考虑由所述第二电流水平驱动的所述第二光发射器子集的第二色移。

29.根据权利要求28所述的方法，其中所述输出颜色数据集是所述第一子数据集和所述第二子数据集的组合，所述第一子数据集与所述输出颜色数据集的最高有效位相对应，并且所述第二子数据集与所述输出颜色数据集的最低有效位相对应；和/或

其中使用所述第一校正矩阵来调整所述第一子数据集将第一颜色坐标从公共色域映射到所述第一色域，所述第一颜色坐标由所述第一子数据集的值表示，并且使用所述第二校正矩阵来调整所述第二子数据集将第二颜色坐标从所述公共色域映射到所述第二色域，所述第二颜色坐标由所述第二子数据集的值表示。

30.根据权利要求24至29中任一项所述的方法，其中确定所述误差校正数据集包括：

确定作为所述第一输入颜色数据集的版本与所述第一输出颜色数据集之间的差异的误差；以及

使所述误差通过图像内核，以生成所述误差校正数据集；

可选地，其中所述图像内核是Floyd-Steinberg抖动内核；

可选地，其中所述第一输入颜色数据集的所述版本是经误差修改的颜色数据集，所述经误差修改的颜色数据集是从所述第一输入颜色数据集添加从其他先前像素位置而确定的误差值而被生成的。

31.根据权利要求24至30中任一项所述的方法，其中抖动所述第二输入颜色数据集包括：

将所述误差校正数据集的至少一些值添加到所述第二输入颜色数据集，以生成经误差修改的颜色数据集；

确定所述经误差修改的颜色数据集是否落在色域之外，所述色域表示所述第二光发射器集合通常能够发射的颜色的范围；以及

响应于所述经误差修改的颜色数据集落在所述色域之外，执行映射以使所述经误差修改的颜色数据集进入所述色域中；

可选地，其中所述映射是恒定色调映射。

32.根据权利要求24至31中任一项所述的方法，其中生成所述第一输出颜色数据集还包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集；

以第一比例因子缩放所述第一子数据集，所述第一比例因子表示对所述第一光发射器集合的第一子集的第一非均匀性的第一补偿；以及

以不同于所述第一比例因子的第二比例因子缩放所述第二子数据集，所述第二比例因子表示对所述第一光发射器集合的第二子集的第二非均匀性的第二补偿。

33.根据权利要求24至32中任一项所述的方法，其中所述误差校正数据集包括用于调整与所述第一像素位置近邻的多个像素位置的数据值，并且所述第二像素位置是与所述第一像素位置近邻的所述多个像素位置中的一个像素位置；和/或

其中所述第一光发射器集合和所述第二光发射器集合中的光发射器是发光二极管(LED)，当不同水平的电流驱动所述光发射器时，所述发光二极管展现色移。

34.一种显示设备，包括：

第一光发射器集合，被配置为针对第一像素位置发射光。

第二光发射器集合，被配置为针对第二像素位置发射光；以及

图像处理单元，被配置为：

接收第一输入颜色数据集，所述第一输入颜色数据集表示旨在所述第一像素位置处被显示的色值；

从所述第一输入颜色数据集生成第一输出颜色数据集，所述第一输出颜色数据集用于驱动所述第一光发射器集合；

确定误差校正数据集，所述误差校正数据集表示对所述第一光发射器集合的颜色误差的补偿，所述颜色误差由于所述第一输入颜色数据集与所述第一输出颜色数据集之间的差异而引起；

接收第二输入颜色数据集，所述第二输入颜色数据集针对所述第二像素位置；

使用所述误差校正数据集中的值，来抖动所述第二输入颜色数据集，以生成经抖动的第二颜色数据集；以及

从所述经抖动的第二颜色数据集生成第二输出颜色数据集，所述第二输出颜色数据集用于驱动所述第二光发射器集合。

35.根据权利要求34所述的显示设备，其中所述第一光发射器集合和所述第二光发射器集合是显示面板的部分，所述显示面板使用模拟调制来驱动所述显示面板的光发射器，所述模拟调制调整电流水平以控制所述显示面板的所述光发射器的光强度；

可选地，其中所述显示面板的所述光发射器当由不同电流水平驱动时展现色移，并且生成所述第一输出颜色数据集包括使用一个或多个查找表，所述查找表补偿所述色移以确定所述第一输出颜色数据集。

36.根据权利要求34或35所述的显示设备，其中所述第一光发射器集合是使用混合调制来驱动所述第一光发射器集合的显示面板的部分，所述混合调制使用第一电流水平来驱动所述第一光发射器集合中的第一光发射器子集，所述第一电流水平使所述第一光发射器子集发射由第一色域限定的光，并且所述混合调制使用第二电流水平来驱动所述第一光发射器集合中的第二光发射器子集，所述第二电流水平使所述第二光发射器子集发射由第二色域限定的光。

37.根据权利要求36所述的显示设备，其中所述第一光发射器子集由处于所述第一电流水平的第一脉冲宽度调制(PWM)信号来驱动，并且所述第二光发射器子集由处于所述第二电流水平的第二PWM信号来驱动；和/或

其中生成所述第一输出颜色数据集包括：

将所述第一输入颜色数据集的版本分成第一子数据集和第二子数据集，所述第一子数据集针对所述第一光发射器子集，所述第二子数据集针对所述第二光发射器子集；

使用第一校正矩阵来调整所述第一子数据集，所述第一校正矩阵考虑由所述第一电流水平驱动的所述第一光发射器子集的第一色移；以及

使用第二校正矩阵来调整所述第二子数据集，所述第二校正矩阵考虑由所述第二电流水平驱动的所述第二光发射器子集的第二色移。

38.一种显示设备、特别是根据权利要求34至37中任一项所述的显示设备的图像处理单元，包括：

输入端子，被配置为接收针对不同像素位置的输入颜色数据集，每个输入颜色数据集表示旨在对应的像素位置处被显示的色值；

输出端子，被配置为向所述显示设备的显示面板传输输出颜色数据集，每个输出颜色数据集被配置为驱动光发射器集合；

数据处理单元，被配置为：

对于每个像素位置，

确定与所述像素位置相对应的所述输入颜色数据集与所述输出颜色数据集之间的差异；

基于所述差异确定误差校正数据集；以及

基于所述误差校正数据集，调整与所述像素位置的近邻像素位置相对应的输入颜色数据集。

Images