CN116668647A - 位平面抖动装置 - Google Patents

Abstract

本申请公开了位平面抖动装置。一种控制器(201)包括被配置为存储图像帧的帧存储器(207)、耦合到帧存储器(207)并被配置为从图像帧获得图像数据的帧存储器控制器(209)。图像数据与图像帧的颜色分量相关联。控制器(201)还包括抖动噪声掩模生成器，其被配置为根据图像数据的抖动噪声水平来提供抖动噪声掩模；以及位平面生成器(210)，其耦合到帧存储器控制器(209)和抖动噪声掩模生成器，并被配置为基于图像数据的抖动噪声掩模来生成位平面。

Description

位平面抖动装置

背景技术

显示系统将图像投影到表面上(诸如显示系统的屏幕上或外部表面上)，以显示视频或静止画面。显示系统包括诸如阴极射线管(CRT)显示器、液晶显示器(LCD)和数字镜设备(DMD)显示器等的显示设备。显示设备可以包括可调整的显示元件，这些显示元件通常以行和列的矩阵排列。显示元件在投影图像的屏幕或表面上形成具有图像位置块(本文中也称为像素)的图像。显示元件由控制器调节，以基于所显示图像的像素中的颜色阴影来提供所显示图像中的亮度水平。还根据诸如脉宽调制(PWM)的图像调制方案来处理图像数据，以控制所显示图像的强度和速率，以便人眼正确观看。

发明内容

根据本公开的至少一个示例，一种控制器包括：帧存储器，其被配置为存储图像帧；帧存储器控制器，其耦合到帧存储器并被配置为从图像帧获得与图像帧的颜色分量相关联的图像数据；抖动噪声掩模生成器，其被配置为根据图像数据的抖动噪声水平来提供抖动噪声掩模(mask)；以及位平面生成器，其耦合到帧存储器控制器和抖动噪声掩模生成器，并且被配置为基于图像数据的抖动噪声掩模来生成位平面。

根据本公开的至少一个示例，一种系统包括：控制器，其被配置为针对存储在帧存储器中的图像帧获得与颜色分量相关联的图像数据，并生成具有抖动噪声样式(pattern)的抖动帧的位平面，其中抖动帧包括图像帧中的重复位序列；以及显示设备，其耦合到控制器并且被配置为根据具有抖动噪声样式的位平面来显示图像帧。

根据本公开的至少一个示例，一种方法包括通过帧存储器控制器从帧存储器获得与图像帧的一个或多个颜色分量相关联的图像数据，根据传递函数获得图像数据的抖动噪声水平，根据抖动噪声水平获得图像数据的抖动噪声样式，由位平面生成器从抖动噪声样式生成位平面数据，以及由显示格式化器(formatter)将包括抖动噪声样式的位平面数据加载到缓冲器上以发送到显示设备。

附图说明

为了详细描述各种示例，现在将参考附图。

图1是根据各种示例的显示系统的框图。

图2是根据各种示例的显示系统的显示设备的框图。

图3是根据各种示例的图像处理系统的框图。

图4是根据各种示例的图像帧的像素的位序列的框图。

图5是根据各种示例的图像帧的颜色交织像素的位序列的框图。

图6是根据各种示例的位平面抖动系统的框图。

图7是根据各种示例的用于位平面抖动的方法的流程图。

具体实施方式

在显示系统中，图像数据被处理为包括表示图像中的颜色阴影的位(bit)的数字数据。由于图像处理，所显示的图像可以包括图像的相邻像素中的均匀颜色阴影的分组。均匀颜色阴影的分组(本文中也称为颜色轮廓)可以被人眼视为从图像的一个区域到另一个区域的颜色阴影的突然变化。这种变化可能比图像的其他区域中的颜色阴影的其他变化更不平滑，这会降低图像质量和观众体验。

为了减轻颜色轮廓，可以在图像处理期间将一种类型的噪声(本文称为抖动噪声)添加到图像数据中。将抖动噪声添加到图像数据的过程在本文中被称为抖动(dithering)。抖动噪声在图像的数字数据中引入了随机性，这可以减少所显示图像中的颜色轮廓。图像帧被转换成数据的形式(本文中称为位平面)，其适合于调整显示设备的显示元件以投影图像。图像帧包括多个像素，这些像素包括多个颜色分量，例如红色、绿色和蓝色，这些颜色分量表示图像的颜色阴影。所显示图像的像素是图像数据中的图像帧的像素的投影。所显示像素的颜色阴影是像素的颜色分量(例如，在时间序列上)的组合投影。图像帧的像素的颜色分量可以由显示器上的相等数量的位表示。为图像帧的像素中的每个颜色分量获得一个或多个位平面。通过对来自图像帧的像素组的具有相同位数的位进行分组来生成位平面。例如，如果像素包括特定颜色分量的八个位，则为所有像素收集八个位中的第一位，并将其分组以形成该颜色分量的第一位平面。针对每个位数重复该过程以获得相同颜色分量的八个位平面。类似地，为每个颜色分量形成八个位平面。例如，如果图像帧的像素由三个颜色分量表示，每个颜色分量由八个位表示，则生成的位平面的数量等于二十四。通过对像素集合中的第一颜色分量的第一位进行分组而获得第一位平面，通过对第一颜色分量的第二位进行分组来获得第二位平面，并且对于像素集合中的剩余颜色分量的剩余位类似地生成剩余位平面。在其他示例中，像素可以包括针对特定颜色分量的任意m个位，并且位平面的数量可以等于任意n个位平面，其中m和n是正整数。例如，可以使用一个或多个m到n传递函数为颜色分量的m个位生成n个位平面。

可以将抖动噪声添加到图像帧的位平面。因此，在将位平面存储在存储器中之前，可以将抖动应用于图像帧序列的位平面。在显示经处理的图像数据之前，(例如根据PWM)处理和调制所存储的图像帧的位平面。经处理和调制的位帧被提供给显示设备的空间光调制器(SLM)(例如DMD或微型发光二极管(microLED))以将图像投影在屏幕或其他表面上。例如，通过利用PWM，SLM设备可以为每种颜色提供256到1024个均匀分布的灰色阴影。为了防止颜色轮廓，可以应用抖动以将灰色阴影的数量增加到(在一些示例中)超过65535个灰色阴影。增加灰色阴影的数量在本文中也被称为增加PWM方案的原生位(native bit)深度。在一些示例中，不同的PWM方案可用于不同的颜色通道，例如但不限于红色(R)、绿色(G)和蓝色(B)。

依据在图像平面的位平面中应用的抖动噪声的空间和时间频率，人眼可以检测到所显示图像中的抖动噪声。在图像帧中应用的抖动噪声的空间和时间频率在本文中被称为抖动速率。抖动噪声的空间频率取决于改变图像帧中的抖动噪声的位置的速率或改变图像帧的像素中的抖动噪声的速率。抖动噪声的时间频率取决于在用于显示图像帧的像素的时间段内或用于显示连续图像帧的时间段内改变抖动噪声的速率。因为抖动噪声被添加到存储在存储器中的图像帧的位平面，所以在用于显示图像的时间段内，相应的所显示图像中的抖动噪声的水平是固定的。这样一来，抖动噪声的时间频率受到所显示图像帧的序列中的帧速率的限制。

本说明书描述了用于消除抖动速率对帧速率的依赖性的显示系统和方法的各种示例。消除这种依赖性允许增加所显示图像帧中的抖动速率，以减少人眼在所显示图像中可检测到的抖动噪声的水平，在本文中也称为抖动噪声的可感知性。通过在存储器中存储图像帧的序列之后生成包括抖动噪声的位平面，可以消除该依赖性。在抖动和位平面生成期间，可以在同一图像帧的像素的位序列中改变抖动噪声。这种位序列在本文中被称为抖动帧。从图像帧中获得抖动帧，并对其进行处理以在实时处理期间获得包括抖动噪声的位平面，而无需将位平面存储在存储器中。也在实时处理期间生成位平面，而无需将位平面数据存储到存储器中。可以根据帧的内容和根据PWM确定显示时间的相应权重来应用抖动。为了处理位平面，可以一次将图像帧的一部分读取到可以是位平面大小的一部分的缓冲器中。例如，缓冲器可以被限制为一次交换每个抖动帧的大小。

由于抖动和位平面生成过程是在将图像帧读入存储器后执行的，因此可以通过从图像帧读取数据块、计算抖动噪声并生成包括抖动噪声的位平面来实时地生成抖动帧。为生成位平面(包括添加的抖动噪声)而被处理的数据块形成抖动帧，该抖动帧被以抖动速率提供给显示设备。该实时过程可以按需执行，本文中也称为动态(on-the-fly)抖动和位平面生成。因为系统的存储器存储图像帧而不是图像帧的位平面(其大小可能大于图像帧)，所以可以减小显示系统中的存储器大小。减小的存储器大小减少了显示图像帧的延迟。

由于可以在同一显示图像帧内更新添加到图像数据中的抖动噪声，因此可以以高于显示图像帧的帧速率的速率来应用抖动。抖动是通过根据高于帧速率的抖动速率更新图像帧中的抖动帧中的抖动噪声来执行的，以降低所显示图像中的抖动噪声的可感知性。可以基于不同的抖动噪声样式来改变抖动帧的抖动噪声样式。抖动噪声的抖动速率可以根据抖动帧的大小和改变抖动噪声样式的速率来确定。

图1是根据各种示例的显示系统100的框图。显示系统100可以通过以特定帧速率将图像帧投影到屏幕或表面上来显示图像或视频。显示系统100包括显示装置102，该显示装置102被配置为将光104投射到投影显示器106(例如显示屏或壁屏)上。投射的光104由显示装置102调制以在投影显示器106上投影静止图像或移动图像(例如，视频)。显示装置102包括一个或多个光源108，例如激光光源或发光二极管(LED)，用于以不同颜色模式(mode)发射光束107。颜色模式是由光源108发射的光束107的可见颜色，如人眼根据发射光的波长、波长范围或波长组合所感知的。投射的光104以一定关系形成为光束107。例如，投射的光104和光束107之间的关系可以是时间关系。

显示装置102还包括用于将光104投影到投影显示器106上的显示设备110，以及用于控制显示装置102的各种部件的控制器112。显示设备110包括SLM 114和信号驱动电路116。SLM 114可以是微机电系统(MEMS)设备，其包括光学元件(未示出)，例如微镜，这些光学元件具有可调节的运动，用于通过反射、调制和组合来自一个或多个光源108的光束107而将其引导到投影光104中。在其他示例中，SLM 114的光学元件可以是微型发光源(未示出)而不是光源108，例如微型发光二极管(LED)，该微型发光源具有可调节的光发射以调制和提供光投射光104。例如，SLM 114可以是DMD、相位光调制器(PLM)、微型LED或具有用于操纵光束以形成并显示图像的光学元件的任何其他设备。光学元件在投影显示器106上形成所显示图像的相应像素。由来自信号驱动电路116的信号基于图像数据来调节SLM 114的光学元件。例如，信号携带表示根据PWM调制的图像帧的图像数据。这些信号调节SLM 114的光学元件以调制光束107，对投影光104进行整形，并在投影显示器106上形成图像。控制器112处理包括表示调制图像帧的数字数据的图像数据并将其发送到信号驱动电路116，以调整SLM 114的光学元件。控制器112可包括一个或多个处理器和用于存储可执行指令的存储器部件(图1中均未明确示出)，以对控制器112进行编程以处理图像数据。

图2是根据各种示例的显示设备110的框图。显示器110的SLM 114包括光学元件120，这些光学元件在SLM 114的表面上形成像素的网格，例如二维网格。如上所述，显示设备110的SLM 114可以是MEMS设备，例如DMD或PLM。例如，光学元件120可以包括将来自一个或多个光源108的光束107反射到投影光104中的微镜。在其他示例中，代替光源108，SLM114可以是包括发光源的微型LED。在该SLM 114中，光学元件120包括作为光源的微型LED，例如排列成阵列的基于InGaN的微型LED。微型LED以不同的颜色模式发射光以形成投影光104。投影光104在投影显示器106上形成图像。显示设备110的信号驱动电路116基于图像数据向光学元件120提供用于PWM的信号。这些信号调制由光学元件120发射的光，以对投影光104进行整形，并根据图像数据在投影显示器106上形成图像。例如，如果SLM 114是微型LED，则这些信号调制由微型LED发射的光。图像数据由控制器112处理并被发送到信号驱动电路116。控制器112还可以向信号驱动电路116发送数据以确定PWM。

图3是根据各种示例的图像处理系统200的框图。图像处理系统200被配置为处理包括用于显示相应图像的图像帧的图像数据。图像处理系统200可以是显示系统100的一部分。图像处理系统200包括图像显示控制器201，该图像显示控制器被配置为以图像或视频信号203的形式从图像或视频应用程序202接收图像数据并且处理图像数据以提供经处理的图像数据。图像显示控制器201将经处理的图像数据以电压信号204的形式发送到显示设备290，以便显示相应的图像。例如，图像显示控制器201可以是控制器112的一部分，并且显示设备290是显示设备110的示例。

图像数据包括表示根据合适的图像或视频编码标准来编码的图像的数字数据。图像或视频信号203可以是在用于传递图像数据的物理接口上接收的任何信号，所述物理接口诸如为高清多媒体接口(HDMI)接口、显示器串行接口(DSI)接口、平板显示器(FPD)接口、并行红绿蓝(RGB)接口或用于传递图像信号的其他适当接口。在处理图像数据之后，图像显示控制器201可以向显示设备290发送携带经处理的图像数据的电压信号204。例如，电压信号204是根据低电压差分信令(LVDS)提供的电压信号、减小的LVDS(Sub-LVDS)、并行像素(I/F)信号或用于由显示设备290显示图像的任何合适的电压信号。

图像显示控制器201包括视频或图像处理器206、帧存储器207、PWM序列控制器208、帧存储器控制器209、位平面生成器210和显示格式化器211。图像显示控制器201的部件可以经由硬件、软件或其组合来实施。图像显示控制器201的一个或多个部件也可以组合成单个集成部件。视频或图像处理器206将图像或视频信号203转换成图像数据。图像数据可以是以图像帧的时间序列排列的数字数据。视频或图像处理器206将图像数据压缩成多个图像帧的数字数据。视频或图像处理器206将图像帧序列发送到存储图像帧的帧存储器207。可以根据图像帧的时间序列以特定帧速率处理和存储图像帧。

帧存储器控制器209处理来自帧存储器207的所存储的图像帧的像素，并根据来自PWM序列控制器208的脉冲波信号调制像素或图像帧。PWM序列控制器208可以发送脉冲波信号以根据某些PWM参数控制调制。在位平面生成器210处，按照被提供了更新的抖动噪声样式的图像帧来生成位平面。位平面生成器210还根据抖动噪声的特定抖动速率来处理图像帧的像素的抖动噪声。像素的颜色分量可以被划分成用于更新抖动噪声的较小位序列。抖动噪声样式可以按照像素的颜色分量的位序列来更新。因此，以比帧速率更高的速率向图像帧的位平面提供不同的抖动噪声样式。在抖动和位平面生成之后，位平面生成器210将位平面发送到显示格式化器211，该显示格式化器将位平面转换成适用于控制显示设备290的信号格式，例如电压信号。显示格式化器211可以一次缓冲位平面的一部分，以用于处理位平面。例如，信号格式包括用于调整显示设备290中的SLM 114的光学元件的电压值。图像数据以电压信号204的形式被发送到显示设备290。

图4示出了根据各种示例的图像帧的像素305的位序列300。图像帧的位序列300由图像显示控制器201处理，以获得包括图像帧的抖动噪声的位平面。例如，图像帧由帧存储器控制器209从帧存储器207获得。抖动和位平面可以由位平面生成器210提供。像素305可以是形成图像帧的多个像素(未示出)之一。图像帧的像素可以包括被类似处理的类似序列。每个位平面的内容基于图像帧数据在整个像素上变化。像素305包括一定数量的位，本文中也称为位大小。像素305包括第一颜色分量306、第二颜色分量307和第三颜色分量308，它们可以具有相等或不同的位大小。例如，像素305包括相等或不同位大小的红色分量、绿色分量和蓝色分量。第一颜色分量306、第二颜色分量307和第三颜色分量308表示用于在与图像帧相关联的投影图像中显示像素的相应颜色阴影。颜色阴影由图像帧中的像素值提供。根据帧速率，像素305被显示一定时间段，例如x毫秒(ms)，其中x是正数。在该时间段内，第一颜色分量306、第二颜色分量307和第三颜色分量308被显示相应的时间段，诸如显示yms，其中y是正数。例如，用于显示像素305的时间段可以等于大约16.67ms，这对应于用于显示图像帧的帧速率。在此时段内，第一颜色分量306、第二颜色分量307和第三颜色分量308在y毫秒的时间段内以特定顺序显示。例如，第一颜色分量306可以被显示大约5.56ms，这是用于显示像素305的时间段的约三分之一或帧速率的三分之一。

位序列300包括第一颜色分量306、第二颜色分量307和第三颜色分量308的抖动帧310的重复实例。抖动帧310可以由位平面生成器210提供。如图4所示，第一颜色分量306可以包括相等时间段(诸如z毫秒，其中z是正数)的抖动帧310。抖动帧310包括位序列311，并且可以基于用于显示第一颜色分量306的时间段被显示一定次数。例如，在抖动帧的重复实例中，抖动帧310每次被显示大约695微秒(μs)。因此，在用于显示第一颜色分量306的大约5.56ms的时间段内，抖动帧310被显示八次。抖动帧310的位大小和显示抖动帧的次数取决于第一颜色分量306的位大小。例如，抖动帧310的位大小是4位，并且第一颜色分量306的位大小为32位。抖动帧310的位311可以根据PWM以不同的时间段一次显示一个。例如，抖动帧310的第一位311被显示第一时间段。抖动帧310的第二位311被显示比第一位的第一时间段更长的第二时间段(例如第一位的时间段的两倍)。抖动帧310的剩余位311也被显示更长的相应时间段。抖动帧310的第三位311也被显示第二位的第二时间段的两倍，并且抖动帧310的第四位311被显示第三位的第三时间段的两倍。显示位311的时间可以通过根据PWM的传递函数对像素值进行加权来提供。

类似地，第二颜色分量307和第三颜色分量308的抖动帧可以基于显示第二颜色分量307和第三颜色分量308的时间段来反复显示。在一些示例中，第二颜色分量307和第三颜色分量308的抖动帧被显示与抖动帧310大约相同的持续时间，并且被显示与抖动帧310相同的次数。在其他示例中，以不同的时间段显示图像帧的第一颜色分量306、第二颜色分量307和第三颜色分量308。因此，第一颜色分量306、第二颜色分量307和第三颜色分量308的抖动帧具有不同的显示时间段，并且被显示不同的次数。

图5是根据各种示例的图像帧的颜色交织(interleaved)像素405的位序列400的框图。颜色交错像素405的位序列400由图像显示控制器201处理以用于抖动和位平面生成。颜色交织像素405包括第一颜色分量406、第二颜色分量407和第三颜色分量408的重复实例，它们可以具有相等或不同的位大小。例如，第一颜色分量406、第二颜色分量407和第三颜色分量408可以分别是红色分量、绿色分量和蓝色分量。例如，图像帧由帧存储器控制器209从帧存储器207获得。抖动和位平面可以由位平面生成器210提供。根据帧速率，颜色交织像素405的位序列400被显示一定的时间段，例如x ms。第一颜色分量406、第二颜色分量407和第三颜色分量408的重复实例可以各自被显示相等的时间段(例如y ms)。例如，用于显示颜色交错像素405的位序列400的时间段等于大约16.67ms，其对应于用于显示图像帧的帧速率。在此时间段内，第一颜色分量406、第二颜色分量407和第三颜色分量408以大约1ms的重复时间段在重复实例中显示。

在颜色交织像素405中，第一颜色分量406、第二颜色分量407和第三颜色分量408可以包括相等或不同数量的位，这些位在显示第一颜色分量406、第二颜色分量407和第三颜色分量408的每个实例中重复。重复的第一颜色分量406包括第一抖动帧410，重复的第二颜色分量407包括第二抖动帧420，并且重复的第三颜色分量408包括第三抖动帧430。例如，第一抖动帧410、第二抖动帧420和第三抖动帧430具有四个位的相等的位大小。第一抖动帧410的位、第二抖动帧420的位和第三抖动帧430的位可以以不同的时间段一次显示一个。第一抖动帧410、第二抖动帧420和第三抖动帧430可以由位平面生成器210提供。例如，第一抖动帧410、第二抖动帧420和第三抖动帧430的第一位被显示第一时间段。第一抖动帧410、第二抖动帧420和第三抖动帧430的第二位被显示第二时间段，该第二时间段是第一位的时间段的两倍。第一抖动帧410、第二抖动帧420和第三抖动帧430的第三位被显示第二位的第二时间段的两倍，并且第一抖动帧410、第二抖动帧420和第三抖动帧430的第四位被显示第三位的第三时间段的两倍。

位平面生成和抖动可以应用于图像帧的抖动帧的每个实例。例如，在位平面生成器210处为抖动帧310或第一位抖动帧410、第二位抖动帧420或第三位抖动帧430生成位平面。通过对形成图像帧的像素的抖动帧的相同相应位进行分组，获得与抖动帧的位数相对应的位平面。通过将图像帧的像素集合中的抖动帧的第一位进行分组来获得第一位平面。通过将像素集合中的抖动帧的第二位进行分组来获得第二位平面。对于图像帧的像素集合中的抖动帧的剩余位，类似地生成剩余位平面，直到针对抖动帧中的各个位获得一组位平面。例如，如果抖动帧包括四个位，则生成的位平面的数量等于四个。根据抖动噪声样式针对包括抖动噪声的抖动帧获得位平面。可以针对每个抖动帧更新抖动噪声样式。因此，不同抖动帧的位平面包括不同的抖动噪声样式。不同的抖动噪声样式可以被应用于不同颜色分量或PWM权重的抖动帧。

抖动噪声的抖动速率由抖动帧之间的抖动噪声样式的变化率来确定。由于抖动帧在图像帧内重复，所以抖动速率高于帧速率，并且可以通过相对于图像帧的位大小确定抖动帧的位大小来获得。例如，在大约695μs的时间周期重复的抖动帧提供大约1.4千赫(kHz)的抖动速率。因此，通过减小抖动帧的位大小来增加抖动速率，从而降低所显示图像中的抖动噪声可感知性。例如，将抖动速率加倍可将抖动噪声可感知性降低大约50％。还可以确定抖动噪声样式以降低抖动噪声可感知性。例如，相对于其他抖动噪声函数，基于蓝色噪声的抖动噪声样式不太可感知。蓝色噪声提供具有蓝色频率水平的噪声样式，其可以高于帧速率并降低所显示图像中的抖动噪声的可感知性。

图6是根据各种示例的位平面抖动系统500的框图。位平面抖动系统500可以是图像处理系统200的一部分。位平面抖动系统500被配置成为从帧存储器207获得的图像帧中的抖动帧提供抖动噪声。位平面抖动系统500包括抖动百分比计算器510、噪声掩模生成器520和掩模存储器530。例如，抖动百分比计算器510、噪声掩模生成器520和掩模存储器530可以是帧存储器控制器209的部件。

抖动百分比计算器510可以基于某些传递函数获得图像帧中的抖动帧的动态抖动噪声水平，这些传递函数可以经由存储的查找表(LUT)提供。在一些示例中，对于形成图像帧的观察块(observation block)，可以在实时处理时间内按需获得抖动噪声水平。例如，可以为每个10位输入调色板值计算16位抖动百分比。图像处理系统200可以存储可用的LUT(诸如32个LUT)，这些LUT指定10位输入值和16位抖动百分比之间的关系。因此，可以提供32个独特的位平面权重。还可以存储位平面变换LUT以确定要选择哪些可用LUT。因此，可以确定位平面抖动LUT、当前所显示的颜色以及是否通过可用LUT获得蓝色噪声掩模。基于当前所显示的颜色选择输入调色板值。基于所选的位平面抖动LUT，将10位输入变换为16位抖动百分比。

噪声掩模生成器520可以基于抖动帧的抖动噪声水平获得动态抖动噪声掩模。噪声掩模生成器520可以根据用于抖动掩模生成的LUT在实时处理时间内按需为抖动帧提供一个或多个抖动噪声掩模。用于生成抖动噪声掩模的LUT可以被存储在掩模存储器530中。噪声掩模生成器520还可以从掩模存储器530中检索先前存储的抖动噪声掩模。来自噪声掩模生成器520的抖动噪声掩模可以在位平面生成器210处进行组合，以提供包括动态抖动噪声的位平面。位平面被发送到显示设备290，以用于基于经处理的图像帧来显示图像。

例如，对于16位像素抖动百分比，可以通过两部分过程来生成256×256×16位抖动矩阵。首先，用8×8×6位掩模获得32×32×10位掩模。例如，可以基于六个10位时间计数器(每种颜色一个)为位平面选择最高有效位(MSB)掩模和最低有效位(LSB)掩模。针对每种颜色的计数器都会递增。复位后，这些计数器被设置到适当的复位寄存器值。可以设置线性反馈移位寄存器(LFSR)以用于生成抖动矩阵的每个随机行和随机列。例如，LFSR可以是27位LFSR。LFSR首先被重置到一个值，并且在相应颜色的时间计数的每次改变时递增。可以从对应的抖动原子LUT和当前时间计数生成32×32×10位LSB掩模。该步骤包括基于当前位平面的颜色计数生成掩模，确定当前空间索引和时间索引，查找空间-时间索引，在启用随机移动的情况下修改空间地址，以及写入相应的掩模条目。类似地，可以从对应的抖动原子LUT和当前时间计数生成8×8×6位MSB掩模。可以复制当前的32×32×10位MSB掩模以覆盖整个显示器。例如，如果输入是1920像素乘1080行，则MSB掩模被水平复制60次并且被垂直复制34次。当前的8×8×6位LSB掩模中的每个条目也可以被水平复制32次并且被垂直复制32次以形成256×256矩阵。例如，如果8×8LSB LUT的左上角条目为5，则计算的256×256矩阵的前32列和32行可能包含5。此256×256矩阵可在整个显示器上被复制。所得的两个矩阵被组合以形成16位抖动阈值。可以为高10位选择32×32计算的掩模，并且为低6位选择8×8计算的掩模。在此示例中，如果启用了量化，则抖动阈值可以被强制为32768，该值转变到50％并强制舍入到最接近的值。

在图像处理系统200和位平面抖动系统500中，在抖动和位平面生成和抖动期间可以一次处理一个位平面。位平面可以在该动态过程期间被保持在存储器缓冲器中，例如在显示格式化器211中，然后被抖动帧的下一个位平面替换。抖动帧的抖动噪声掩模可以被读取到帧存储器控制器209的缓冲器中。

由于抖动和位平面生成是在将图像帧存储在帧存储器207中之后执行的，因此生成并处理包括抖动噪声的抖动帧的位平面，而不将位平面存储在帧存储器207中。例如，从图像或视频应用程序202接收表示图像帧序列的图像数据的比特流，并将其存储在帧存储器207中。在存储图像帧之后的任何时间，可以生成和处理抖动噪声掩模和位平面，以便以特定的帧速率和抖动速率向显示设备290提供信号。在一些示例中，抖动速率可以是1kHz或更高的量级，而与图像帧速率无关。在抖动和位平面生成期间，从帧存储器207获得用于处理每个位平面的位序列。因此，图像或视频应用程序202可以在抖动和位平面生成之前或期间切换到较低功率模式，这降低了显示系统100中的功耗。

在一些示例中，还可以确定抖动速率，以减少可能由PWM序列控制器208引入到图像帧的不期望的伪影，例如，图像帧之间的PWM可见或强烈感知的边界。还可以调整抖动速率以消除或减少所显示的图像帧(例如，由包括用于SLM的DMD的相机或其他数字相机设备捕获的图像)中的不期望的伪影。这对于运动再现可能是有用的。在运动跟踪或渲染应用的情况下，可以基于抖动速率根据时间段来显示图像帧，以减少通过在这样的应用中处理图像帧而添加的不期望的伪影。例如，在头部跟踪应用中，例如对于支持相机的智能手机，图像可以根据抖动速率在时间段基础上移位，以提供运动补偿。还可以增加抖动速率以支持处理具有更高速率的图像帧(例如对于三维(3D)图像)，或支持处理具有更高颜色序列率的图像帧。具有比图像帧更高的速率和更小的位大小以及相应更小的位深度的抖动帧可以匹配图像帧可感知性。例如，具有以15kHz更新的1位序列的帧大约等于具有以60Hz更新的8位序列的帧。抖动和位平面生成还允许MSB和图像数据中的其他位的高颜色周期率。

图7是根据各种示例的用于位平面抖动的方法600的流程图。例如，方法600可以是由图像处理系统200实时并按需执行的动态过程的一部分。在步骤610处，帧存储器控制器从帧存储器获得与图像帧的一个或多个颜色分量相关联的图像数据。一个或多个颜色分量表示图像数据的颜色阴影。例如，帧存储器控制器209从帧存储器207获得图像帧序列中的图像帧的像素305中的第一颜色分量306。

在步骤620处，根据传递函数获得图像数据的抖动噪声水平。例如，可以由抖动百分比计算器510来计算抖动噪声水平。可以针对形成图像数据的多个观察块中的每一个获得抖动噪声水平。例如，图像数据可以由二维位矩阵表示，其可以被划分为更小的二维位观察块，例如4×4、8×8或16×16位块，每个位块包括一个像素值。可以基于LUT来获得图像噪声水平，该LUT将抖动噪声水平存储在对应于像素值的相应表条目中。该LUT提供用于根据图像数据(例如根据图像数据中的像素值)获得抖动噪声水平的传递函数。从与观察块中的像素值相对应的LUT条目获得抖动噪声水平。例如，如果来自图像数据的观察块中的像素值等于50，则获得存储在LUT中的第51个条目中的抖动噪声水平。

在步骤630处，根据抖动噪声水平获得抖动噪声样式。例如，噪声掩模生成器520生成或从掩模存储器530获得一个或多个抖动噪声掩模，这些抖动噪声掩模为第一颜色分量306提供抖动噪声样式。可以根据每个观察块的抖动噪声水平来确定抖动噪声样式。例如，为最大像素值的大约一半的抖动噪声水平的抖动噪声样式可以由二维抖动噪声掩模表示，其中大约一半的位被设置为1，而剩余的位被设为0。抖动噪声掩模的示例包括提供蓝色噪声的蓝色噪声抖动掩模。抖动噪声掩模可以以高于帧速率的抖动速率应用于相应的抖动帧中。还可以基于LUT获得抖动噪声掩模，这些LUT可以包括用于提供空间和时间抖动噪声频率的LUT。

在一些示例中，在根据相应的LUT获得抖动噪声水平或抖动噪声样式之前，可以经由另一个被配置为提供加权值的LUT对图像数据进行加权以用于PWM，这些加权值根据PWM确定用于显示图像数据中的位的时间。可以根据用于PWM的加权图像数据和/或图像数据的颜色阴影从多个可用的LUT中选择抖动噪声水平LUT和抖动噪声样式LUT。

在步骤640处，位平面生成器根据抖动噪声样式生成位平面数据。例如，可以通过组合形成图像数据的相应的观察块的抖动噪声掩模来生成位平面。可以生成位平面数据而不将位平面数据存储在帧存储器中。位平面数据包括抖动帧的位平面。例如，位平面生成器210为像素305中的第一颜色分量306的抖动帧310生成位平面。

在步骤650处，包括抖动噪声样式的位平面数据在显示格式化器处被加载到缓冲器上，以发送到显示设备用于显示图像。例如，图像显示控制器201的显示格式化器211缓冲第一颜色分量306的位平面并将其以电压信号204的形式发送到显示设备290。

术语“耦合”出现在整个说明书中。该术语可涵盖实现与本说明书一致的功能关系的连接、通信或信号路径。例如，如果设备A向控制设备B提供信号以执行动作，在第一示例中，设备A耦合到设备B，或者在第二示例中，如果介入部件C基本上不改变设备A和设备B之间的功能关系，则设备A通过介入部件C耦合到设备B，使得设备B经由设备A提供的控制信号由设备A控制。

“配置为”执行任务或功能的设备可由制造商在制造时配置(例如，编程和/或硬接线)以执行功能，和/或可由用户在制造后配置(或重新配置)以执行该功能和/或其他附加或替代功能。配置可以通过设备的固件和/或软件编程、通过设备的硬件部件和互连的构造和/或布局、或其组合。

本文中描述为包括某些部件的系统或设备可改为适于耦合到这些部件以形成所述系统或设备。

虽然某些部件在本文中可被描述为特定工艺技术的部件，但这些部件可被交换为其他工艺技术的部件。本文描述的系统和设备可重新配置以包括被替换的部件，以提供与部件替换之前可用的功能至少部分类似的功能。

除非另有说明，否则数值前的“约”、“大约”或“大致”表示所述数值的+/-10％。在所描述的示例中进行修改是可能的，并且在权利要求的范围内，其他示例是可能的。

Claims (20)

1.一种控制器，其包括：

帧存储器，其被配置为存储图像帧；

帧存储器控制器，其耦合到所述帧存储器，所述帧存储器控制器被配置为从所述图像帧获得图像数据，所述图像数据与所述图像帧的颜色分量相关联；

抖动噪声掩模生成器，其被配置为根据所述图像数据的抖动噪声水平来提供抖动噪声掩模；以及

位平面生成器，其耦合到所述帧存储器控制器和所述抖动噪声掩模生成器，所述位平面生成器被配置为基于所述图像数据的所述抖动噪声掩模来生成位平面。

2.根据权利要求1所述的控制器，其还包括耦合到所述位平面生成器的抖动百分比计算器，所述抖动百分比计算器被配置为根据传递函数提供所述图像数据的所述抖动噪声水平。

3.根据权利要求1所述的控制器，其中所述位平面生成器被配置为根据所述抖动噪声掩模向显示设备提供包括抖动噪声样式的所述位平面，所述位平面和所述抖动噪音掩模被生成并提供给所述显示设备。

4.根据权利要求3所述的控制器，其还包括用于缓冲所述位平面的存储器缓冲器。

5.根据权利要求3所述的控制器，其还包括耦合到所述位平面生成器的显示格式化器，所述显示格式化器被配置为将所述位面转换成电压信号以便控制所述显示设备显示所述图像帧。

6.根据权利要求1所述的控制器，其中所述位平面生成器被配置为基于抖动帧的重复位序列中的位的数量以抖动速率提供所述抖动帧的位平面，并且其中以比所述抖动速率更慢的帧速率在图像帧序列中显示所述图像帧。

7.根据权利要求6所述的控制器，其中所述抖动速率被确定为针对所述图像帧中的抖动噪声样式提供空间和时间频率，所述抖动噪声样式降低了所显示的图像帧中的颜色轮廓和抖动噪声可感知性。

8.根据权利要求6所述的控制器，其中所显示的图像帧包括针对所述图像帧的颜色交织像素中的不同颜色分量的重复抖动帧。

9.根据权利要求6所述的控制器，其中所显示的图像帧包括针对所述图像帧的像素中的相同颜色分量的重复抖动帧。

10.一种系统，其包括：

控制器，其被配置为：

对于存储在帧存储器图像中的图像帧，获得与颜色分量相关联的数据；并且

生成具有抖动噪声样式的抖动帧的位平面，所述抖动帧包括所述图像帧中的重复位序列；以及

显示设备，其耦合到所述控制器，所述显示设备被配置为根据具有所述抖动噪声样式的所述位平面来显示所述图像帧。

11.根据权利要求10所述的系统，其中所述显示设备包括：

空间光调制器即SLM，其被配置为根据所述位平面投影所述图像帧的图像；以及

光源，其光耦合到所述SLM，所述光源被配置为提供用于投影所述图像的光，所述光具有提供颜色模式以显示所述图像帧的多个波长。

12.根据权利要求10所述的系统，其中所述显示设备包括数字镜设备即DMD、相位光调制器即PLM或微型发光二极管即microLED。

13.一种方法，其包括：

由帧存储器控制器从帧存储器获得与图像帧的一个或多个颜色分量相关联的图像数据；

根据传递函数获得用于所述图像数据的抖动噪声水平；

根据所述抖动噪声水平，获得所述图像数据的抖动噪声样式；

由位平面生成器从所述抖动噪声样式生成位平面数据；以及

由显示格式化器将包括所述抖动噪声样式的所述位平面数据加载到缓冲器上以发送到显示设备。

14.根据权利要求13所述的方法，其中所述图像数据被划分为位块，其中针对每个块获得所述抖动噪声水平和一个或多个抖动噪声掩模，并且其中通过组合所述块的所述抖动噪声掩模来获得所述位平面数据。

15.根据权利要求14所述的方法，其中所述抖动噪声样式由每个块的一个或多个抖动噪声掩模表示，其中每个抖动噪声掩模由查找表即LUT提供。

16.根据权利要求15所述的方法，其中所述一个或多个抖动噪声掩模包括具有蓝色空间或时间频率的蓝色噪声样式。

17.根据权利要求13所述的方法，其中所述传递函数由查找表即LUT提供，并且其中根据所述图像数据中的像素值从所述LUT获得所述抖动噪声水平。

18.根据权利要求13所述的方法，其还包括对所述图像数据进行加权以用于脉宽调制即PWM，以提供用于显示所述图像中的位的时间。

19.根据权利要求18所述的方法，其中在获得所述抖动噪声水平或所述抖动噪声样式之前，通过查找表即LUT对所述图像数据进行加权。

20.根据权利要求19所述的方法，其还包括通过根据加权的图像数据从一组LUT中选择的相应LUT来获得所述抖动噪声水平或所述抖动噪音模式，以用于所述图像数据的PWM或颜色阴影。