CN102054424B

CN102054424B - 图像处理装置及图像处理方法

Info

Publication number: CN102054424B
Application number: CN201010529325.0A
Authority: CN
Inventors: 北田和也; 巽荣作; 森真起子
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-29
Filing date: 2010-10-28
Publication date: 2014-05-07
Anticipated expiration: 2030-10-28
Also published as: EP2317757B1; US20110102479A1; KR20110047137A; EP2317757A2; EP2317757A3; CN102054424A; KR101295649B1; US9100530B2; JP2011097375A; JP5451319B2

Abstract

本发明提供一种图像处理装置及图像处理方法。所述图像处理装置包括：识别单元，其用于针对所述帧图像中的各像素，从周围像素的各颜色分量的像素值中识别各颜色分量的最小像素值，其中，所述周围像素位于所述像素的周围；并识别针对各颜色分量所识别的最小像素值中的最小值，作为公共像素值；生成单元，其用于生成预处理图像，所述预处理图像能够通过使用所述识别单元针对所述像素识别的所述公共像素值替换所述帧图像中的各像素的像素值来获得；低通滤波单元，其用于通过对所述预处理图像应用低通滤波器，来生成第一子帧图像；以及减法单元，其用于生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像。

Description

图像处理装置及图像处理方法

技术领域

本发明主要涉及一种图像处理装置及图像处理方法，尤其涉及一种转换运动图像的帧速率的图像处理技术。

背景技术

长期以来，一直使用CRT(阴极射线管，cathode ray tube)作为以电视接收器为代表的运动图像显示设备。然而，近来，使用液晶设备的面板逐渐成为主流。当液晶设备显示帧速率为60Hz的运动图像时，各像素维持1/60秒的发光。因此，将该液晶设备称为“保持型”设备。

此外，当前正在开发具有与CRT相同的发光特性的场发射型显示设备。当这种类型的显示设备显示帧速率为60Hz的运动图像时，仅在1/60秒内瞬时发光。因此，将这种类型的显示设备称为“脉冲型”设备。

保持型设备容易产生运动模糊。脉冲型设备遭受明显的闪烁。口本特开2006-184896号公报公开了一种通过提高运动图像的帧速率，减少在保持型设备上进行显示时的运动模糊的技术。更具体地说，由帧速率为60Hz的运动图像的一个输入帧图像，生成两种类型的子帧图像，即仅包含低频分量的子帧图像以及增强了高频分量的子帧图像。以120Hz为一个周期，交替输出这些子帧图像，作为输出帧图像。通过交替显示仪包含低频分量的子帧图像以及增强了高频分量的子帧图像，以60Hz为一个周期再现原始帧图像。与帧速率为60Hz的原始运动图像相比，在通过这种方法提高帧速率的运动图像中，运动模糊减少。

然而，当使用日本特开2006-184896号公报中公开的方法时，通过合成两种类型的帧图像而获得的图像(即观看者观看到的图像)可能与原始帧图像不同。也就是说，输出图像看起来与原始图像不相同。观看者可能将此感知为劣化。

参照图4描述日本特开2006-184896号公报中公开的方法。波形1901例示了输入帧图像的波形。波形1902是通过增强输入帧图像的波形1901的低频分量而获得的。波形1903表示作为波形1901(输入帧图像)与波形1902(低频分量)之间的差而获得的高频分量。在日本特开2006-184896号公报中公开的方法中，将高频分量波形1903与波形1901相加，从而生成波形1904。以120Hz为一个周期，交替显示波形1902和1903。从理论上来讲，通过以120Hz为一个周期交替显示波形1902和1903，看到的波形与波形1901相同。

然而，当波形1901的值为0或者几乎为0时，波形1904有时取负值。由于无法显示具有负值的图像，因此实际上将负值显示为“0”，如波形1905所示。在这种情况下，交替显示波形1902和1905，因此看到的波形变成波形1906。当在黑色背景上显示白色字符时，观看者感知到字符的轮廓模糊。

发明内容

本发明提供一种在抑制图像的劣化的同时，提高运动图像的帧速率的方法。

根据本发明的一方面，提供了一种图像处理装置，其由帧图像生成多个子帧图像，并输出所述多个子帧图像，所述帧图像包括各自具有各颜色分量的像素值的像素，所述图像处理装置包括：识别单元，其用于针对所述帧图像中的各像素，从周围像素的各颜色分量的像素值中识别各颜色分量的最小像素值，其中，所述周围像素位于所述像素的周围；并识别针对各颜色分量所识别的最小像素值中的最小值，作为公共像素值；生成单元，其用于生成预处理图像，所述预处理图像能够通过使用所述识别单元针对所述像素识别的所述公共像素值替换所述帧图像中的各像素的像素值来获得；低通滤波单元，其用于通过对所述预处理图像应用低通滤波器，来生成第一子帧图像；减法单元，其用于生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及输出单元，其用于输出所述第一子帧图像和所述第二子帧图像。

根据本发明的另一方面，提供了一种图像处理装置，其由帧图像生成多个子帧图像，并输出所述多个子帧图像，所述图像处理装置包括：低通滤波单元，其用于通过对所述帧图像应用低通滤波器，来生成低频增强图像；合成单元，其用于通过在各像素位置处将所述帧图像的像素值与所述低频增强图像的像素值进行比较，并将较小的像素值设置为第一子帧图像的该像素位置处的像素值，来生成所述第一子帧图像；减法单元，其用于生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及输出单元，其用于输出所述第一子帧图像和所述第二子帧图像。

根据本发明的又一方面，提供了一种由图像处理装置执行的图像处理方法，所述图像处理装置具有用于由帧图像生成多个子帧图像、并输出所述多个子帧图像的配置，所述帧图像包括各自具有各颜色分量的像素值的像素，所述图像处理方法包括：识别步骤，针对所述帧图像中的各像素，从周围像素的各颜色分量的像素值中识别各颜色分量的最小像素值，其中，所述周围像素位于所述像素的周围，并识别针对各颜色分量所识别的最小像素值中的最小值，作为公共像素值；生成步骤，生成预处理图像，所述预处理图像能够通过使用在所述识别步骤中针对所述像素识别的所述公共像素值替换所述帧图像中的各像素的像素值来获得；低通滤波步骤，通过对所述预处理图像应用低通滤波器，来生成第一子帧图像；减法步骤，生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及输出步骤，输出所述第一子帧图像和所述第二子帧图像。

根据本发明的又一方面，提供了一种由图像处理装置执行的图像处理方法，所述图像处理装置具有用于由帧图像生成多个子帧图像、并输出所述多个子帧图像的配置，所述图像处理方法包括：低通滤波步骤，通过对所述帧图像应用低通滤波器，来生成低频增强图像；合成步骤，通过在各像素位置处将所述帧图像的像素值与所述低频增强图像的像素值进行比较，并将较小的像素值设置为第一子帧图像的该像素位置处的像素值，来生成所述第一子帧图像；减法步骤，生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及输出步骤，输出所述第一子帧图像和所述第二子帧图像。

通过以下对示例性实施例的描述(参照附图)，本发明的其他特征将变得清楚。

附图说明

图1A和图1B是分别例示根据第一和第二实施例的图像处理装置的框图；

图2A、图2B和图2C是用于分别说明根据第一和第二实施例以及变型例2的处理的波形图；

图3A和图3B是分别示出根据第一和第二实施例的处理序列的流程图；

图4是用于说明根据传统方法的处理的波形图；

图5是例示根据第三实施例的图像处理装置的硬件配置的框图；

图6是用于说明根据变型例2的滤波器之间的抽头(tap)数量的关系的图；

图7A和图7B是各自例示根据变型例1的图像处理装置的框图；

图8是根据第一实施例的最小值滤波器的概念图；

图9A和图9B是各自示出根据变型例1的处理序列的流程图；

图10是示出根据第一实施例的最小值滤波器的电路配置的框图；

图11是示出根据第二实施例的掩模滤波器的电路配置的框图；

图12是用于说明根据第二实施例的处理的图；以及

图13A和图13B是用于说明根据第二实施例的处理的特性的图。

具体实施方式

[第一实施例]

参照图1A和图2A描述本发明的第一实施例。图1A是示出第一实施例中的配置的框图。图2A例示了第一实施例中的处理波形。第一实施例将说明将本发明应用于诸如场发射型显示设备的脉冲型显示设备的示例。在以下描述中，帧图像的各像素具有三个颜色分量(R、G和B)的像素值。然而，各像素可以具有R、G和B之外的颜色分量的像素值。此外，各像素可以具有两个、四个或更多颜色分量的像素值。

帧存储器102临时存储用作输入图像的输入帧图像101。存储在帧存储器102中的图像被读出两次，并被发送到最小值滤波器103和差分检测单元106。在以下描述中，由一个输入帧图像生成多个子帧图像。

最小值滤波器103由读出的输入帧图像生成预处理图像。更具体地说，针对输入帧图像中的各像素，最小值滤波器103从关注像素周围的周围像素中的各颜色分量的像素值中，识别各颜色分量的最小像素值。然后，最小值滤波器103识别各颜色分量的最小像素值中的最小值，作为公共像素值。最小值滤波器103将公共像素值，设置为与关注像素的位置相对应的预处理图像中的像素的各颜色分量公共的像素值。图8是最小值滤波器103的概念图。图10示出了最小值滤波器的实际电路配置。

如图8所示，最小值滤波器103参照关注像素周围的图像数据(M×N)像素。最小值检测单元2401至2403分别获得R、G和B像素值的最小值(最小像素值)。更具体地说，最小值检测单元2401选择(M×N)像素的R像素值中的最小R像素值。类似地，最小值检测单元2402选择(M×N)像素的G像素值中的最小G像素值。最小值检测单元2403选择(M×N)像素的B像素值中的最小B像素值。最小值检测单元2404识别分别由最小值检测单元2401至2403选择的三个像素值中的最小像素值(公共像素值)(识别单元)。将最小值检测单元2404选择的像素值定义为MIN。最小值滤波器103将(R，G，B)＝(MIN，MIN，MIN)设置为与关注像素的位置相对应的预处理图像中的像素的值。通过针对各像素执行该处理，最小值滤波器103由输入帧图像生成预处理图像(生成单元)。不一定在两个步骤中执行最小值选择处理和替换处理，而可以在一个步骤中执行。

低通滤波单元104通过对预处理图像应用低通滤波器，生成低频增强图像(低通滤波单元)。低通滤波器是任意的，例如可以是高斯函数、移动平均(moving average)滤波器或加权移动平均滤波器。低通滤波器可以是二维低通滤波器。

分配单元105确定向第一和第二子帧图像分派低频分量的比率。为了使闪烁更不明显，期望两个子帧图像之间的亮度(brightness)差小。在第一实施例中，分配单元105生成通过将低通滤波单元104生成的低频增强图像的各像素值乘以1/2而获得的第一子帧图像。结果，将低频分量相等地分派给第一和第二子帧图像，从而减小子帧图像之间的亮度差。分配单元105将第一子帧图像输出给切换电路107。分配单元105还将第一子帧图像输出给差分检测单元106。然而，可以任意设置亮度差。例如，通过有意加宽两个子帧图像之间的明度(luminance)差，可以获得特殊的显示效果。在这种情况下，分配单元105可以生成通过将低频增强图像的各像素值乘以0.8而获得的图像，作为第一子帧图像。

差分检测单元106从帧存储器102获取输入帧图像101。此外，差分检测单元106从分配单元105获取第一子帧图像。差分检测单元106生成通过从输入帧图像的各像素值中减去第一子帧图像的各像素值而获得的图像(差分图像)，作为第二子帧图像(减法单元)。以这种方式，可以得到增强了高频分量的第二子帧图像。

切换电路107在以期望的频率切换输出的同时，将第一或第二子帧图像作为输出帧图像，输出给后续处理电路(输出单元)。在第一实施例中，切换电路107以输入运动图像的帧速率两倍的频率，切换输出。例如，当输入60Hz的运动图像时，切换电路107以120Hz切换输出。这可以增大运动图像的帧速率。切换电路107还可以包括缓冲电路。缓冲电路可以临时缓冲第一和第二输入子帧图像，直到输出时刻(timing)为止。

图2A例示了第一实施例中的处理。在图2A中，波形以模拟形式表示图像数据。为了便于描述，图2A示出了单个颜色的图像数据。波形201是输入波形(输入帧图像)的示例。波形202是在最小值滤波器103对波形201执行了最小值滤波时而获得的。在大、小像素值彼此邻接的边界区域中，选择小像素值。结果，大、小像素值之间的边界向大像素值区域的内部移动，如波形202所示。

波形203表示低通滤波单元104对波形202应用低通滤波器而获得的结果。波形204是第一子帧图像的波形。波形204是分配单元105将波形203乘以0.5而获得的。波形205是差分检测单元106获得的第二子帧图像的波形。以高速交替显示第一子帧图像的波形204和第二子帧图像的波形205而获得的波形，在视觉上与波形206相同。也就是说，通过交替显示而得到的波形，被感知为与输入帧图像101的波形201相同的波形。

参照图3A的流程图，描述根据第一实施例的该处理。在步骤S301中，获取用户指定来进行初始设置。在第一实施例中，设置在最小值滤波器103中使用的滤波器的大小、在低通滤波单元104中使用的低通滤波器的特性以及在分配单元105中使用的子帧图像的亮度比。然而，还可以进行关于本实施例的图像处理装置的其他设置。

在步骤S302中，根据本实施例的图像处理装置接收帧图像101。在步骤S303中，帧存储器102临时存储帧图像101。在步骤S304中，最小值滤波器103对输入帧图像101执行上述最小值滤波，从而生成预处理图像。在步骤S305中，低通滤波单元104对从最小值滤波器103输出的预处理图像应用低通滤波器，从而生成低频增强图像。

在步骤S306中，分配单元105以前述方式生成第一子帧图像。更具体地说，分配单元105将低通滤波单元104生成的低频增强图像的各像素值乘以预定分派比，从而获得第一子帧图像。可以通过将低频增强图像的各像素值乘以预定分派比来生成第一子帧图像，以更新低频增强图像。在第一实施例中，预定分派比是0.5，但是如上所述，可以是其他值。预定分派比通常为0(包括0)至1(包括1)。通过该处理，完成增强了低频分量的第一子帧图像的生成。在步骤S307中，差分检测单元106通过从输入帧图像101的各像素值中减去分配单元105生成的第一子帧图像的各像素值，来生成图像(差分图像)，作为第二子帧图像。

在步骤S308中，切换电路107确定帧图像的输出时刻。如果在步骤S308中切换电路107确定已经到达第一子帧图像的输出时刻(步骤S308中的“是”)，则处理转向步骤S309。在步骤S309中，切换电路107输出分配单元105生成的第一子帧图像。在步骤S310中，切换电路107确定帧图像的输出时刻。如果在步骤S310中切换电路107确定已经到达第二子帧图像的输出时刻(步骤S310中的“是”)，则处理转向步骤S311。在步骤S311中，切换电路107输出差分检测单元106生成的第二子帧图像。

可以将第一和第二子帧图像临时保持在诸如切换电路107中的缓冲电路或帧存储器(未示出)的存储设备中。在步骤S309或S311中，切换电路107可以从存储设备中读出第一或第二子帧图像并输出。可以在步骤S308或S310中根据例如来自控制电路(未示出)的控制信号，确定输出时刻。作为另选方案，可以根据来自切换电路107的计时器的控制信号，确定输出时刻。

如果处理了所有帧图像(步骤S312中的“是”)，则处理结束。如果残存未处理的帧图像(步骤S312中的“否”)，则处理返回到步骤S302并重复处理。可以根据例如来自控制帧图像的输入的控制电路(未示出)的控制信号，来进行步骤S312中的确定。

参照图3A的流程图描述的子帧图像的输出顺序仅仅是示例，输出顺序不限于此。例如，可以在输出第二子帧图像之后输出第一子帧图像。在第一实施例中，在创建两个子帧图像之后确定输出时刻，但是本发明的实施例不限于此。例如，在完成步骤S306中的低通滤波时，切换电路107可以确定第一子帧图像的输出时刻。在输出第一子帧图像之后，差分检测单元106可以生成第二子帧图像。还可以适当地设置在分配单元105中使用的分派比，并多次输出第一或第二子帧图像中的至少一者，从而将帧速率提高3倍以上。

根据上述第一实施例，脉冲型显示设备在第一个1/120秒内瞬时显示第一子帧图像，并在下一个1/120秒内瞬时显示第二子帧图像。当根据第一实施例实际由输入帧图像生成子帧图像，并以提高的帧速率显示子帧图像时，可以抑制图像模糊。

[第二实施例]

第二实施例采用掩模滤波器401来代替最小值滤波器103，以抑制帧速率提高时的模糊。使用图1B的框图和图2B的处理波形示例，来描述第二实施例。在图1B中，与图1A中的附图标记相同的附图标记表示具有与图1A中的图像处理装置中包括的处理块相同的功能的处理块。在第二实施例中，当处理彩色图像时，可以对具有各个颜色分量的各图像执行以下处理。例如，对于具有R、G和B分量的图像，可以对R分量图像、G分量图像和B分量图像执行以下处理。这也适用于具有Y、Cb和Cr分量的图像。例如，可以仅对几个颜色分量中的R分量进行以下处理。还可以由R、G和B分量计算Y分量，对Y分量执行以下处理，并将处理结果应用于R、G和B分量。

与第一实施例类似，将用作输入图像的输入帧图像101分割为两个图像，以生成第一和第二子帧图像。在第二实施例中，低通滤波单元104通过对从帧存储器102获取的输入帧图像101应用低通滤波器，来生成低频增强图像。低通滤波的细节与第一实施例中相同，因此不重复其描述。

掩模滤波器401由输入帧图像101和低通滤波单元104生成的低频增强图像，生成掩模图像(合成单元)。更具体地说，掩模滤波器401通过将各个像素位置处的输入帧图像101的像素值与低频增强图像的像素值进行比较，并将较小的像素值设置为掩模图像中的该像素位置处的像素值，来生成掩模图像。

详细描述掩模滤波器401。图11示出了掩模滤波器401的实际电路配置。比较器2603针对各像素，将低通滤波单元104生成的低频增强图像2602的像素值与输入帧图像101的像素值进行比较，并将比较结果输出给选择器2604。当输入帧图像101的像素值较小时，选择器2604选择输入帧图像101的像素值；当低频增强图像2602的像素值较小时，选择器2604选择低频增强图像2602的像素值。选择器2604通过将所选择的像素值设置为掩模图像2605中的像素值，生成掩模图像2605。分配单元105、差分检测单元106以及切换电路107与在第一实施例中类似地操作。

参照与图2A类似的通过波形以模拟形式示出图像数据的图2B，描述第二实施例的效果。在图2B的示例中，输入波形501，作为输入帧图像101。低通滤波单元104对波形501应用低通滤波器，从而生成表示低频增强图像的波形502。掩模滤波器401将表示输入帧图像101的波形501的各像素值与表示低频增强图像的波形502的各像素值进行比较。掩模滤波器选择波形501和502的像素值中较小的一个，从而生成表示掩模图像的波形503。与第一实施例类似，分配单元105由波形503生成表示第一子帧图像的波形504。差分检测单元106由波形501和504生成表示第二子帧图像的波形505。当以高速依次显示波形504和505时，观看者感知到该显示像波形506所表示的显示一样。波形506与波形501相同。

描述执行第二实施例的图像处理的优点。假定输入了图12中的R和B单色并排布置的图像2701。波形2700是图像2701中的R像素值的波形。当仅使用上述低通滤波由该输入图像生成第一子帧图像时，第一子帧图像的R像素值如波形2703所示。第二子帧图像是波形2700与2703之间的差，因此第二子帧图像的R像素值如波形2704所示。由于不能显示负像素值，因此要显示的第二子帧图像的波形变为波形2705。观看者感知到第一和第二子帧图像的高速交替显示，像波形2706所表示的显示一样。波形2700与2706之间的比较表明，与波形2700相比，像素值更大的像素在R与B之间的边界出现。这在R与B之间的边界处导致颜色模糊，如图像2702一样。

相对来说，当使用作为第二实施例的特征的掩模滤波器401时，如上面参照图2B所描述的，第一子帧图像变成波形2707所表示的图像。因此，第二子帧图像变成波形2708所表示的图像。波形2707与2708的交替显示产生波形2709，并且不出现如波形2706所示的颜色模糊。根据第二实施例，使用掩模滤波器401抑制颜色模糊的产生。

参照图3B的流程图描述根据第二实施例的处理。在图3B中，与图3A中的附图标记相同的附图标记，表示与根据第一实施例的图3A的流程图中相同的处理。在以下描述中，将不重复对与第一实施例中相同的处理的详细描述。

在步骤S301中，进行必要的初始设置。在步骤S302中，输入帧图像作为输入帧图像101。在步骤S303中，帧存储器102临时存储输入帧图像101。这些处理与第一实施例中相同。在步骤S305中，低通滤波单元104对输入帧图像101应用低通滤波器。

在步骤S601中，掩模滤波器401以上述方式使用低通滤波单元104生成的低频增强图像以及输入帧图像101，生成掩模图像。在步骤S306中，分配单元105使用掩模滤波器401生成的掩模图像，生成第一于帧图像。后续步骤S307至S312中的处理与第一实施例中相同，因此不重复其描述。当根据第二实施例实际由输入帧图像生成子帧图像，并以提高的帧速率显示子帧图像时，可以抑制图像模糊。

作为低通滤波之前的预处理，可以进行最小值滤波。在最小值滤波中，将关注像素周围的像素值中的最小值，设置为滤波后的关注像素的像素值。尽管该最小值滤波与第一实施例中类似，但是与第一实施例不同，不需要使各颜色的像素值相等。更具体地说，在最小值滤波中，参照关注像素周围的(M×N)像素的图像数据。然后，从参照的像素中获得像素值中的最小值，即R像素值中的最小值(在R、G和B数据的情况下)。将获得的最小值设置为滤波后的关注像素的R像素值。这也适用于G和B像素值。无需多言，对具有诸如Y、Cb和Cr数据的其他颜色数据的图像进行类似的处理。此外，可以不对所有颜色进行最小值滤波，而仅对一些颜色进行最小值滤波。

图13A示出了在第二实施例中不使用最小值滤波器的情况下的处理之后的运动图像特性。通过掩模滤波(mask filtering)削去了通过应用低通滤波器而生成的平滑部分，从而产生运动模糊。图13B示出了在第二实施例中使用最小值滤波器的情况下的运动图像特性。与图13A不同，使用最小值滤波器抑制了运动模糊，而没有削去通过应用低通滤波器而生成的平滑部分。在第二实施例中，通过应用最小值滤波器可以获得更好的结果。在第二实施例中，包含由输入帧图像生成的子帧图像的高频分量和包含子帧图像的低频分量不取负的像素值。与第一实施例类似，尽管第二实施例与第一实施例在子帧图像生成方法上不同，但是第二实施例抑制颜色模糊的产生。

[变型例1]

参照图7A和图7B描述第一和第二实施例的变型例。第一和第二实施例描述了提高要在脉冲型显示设备上显示的运动图像的帧速率的方法。本变型例将描述提高要在保持型显示设备上显示的运动图像的帧速率的方法。

例如，考查将60Hz运动图像的帧速率提高到120Hz的情况。假定帧图像具有亮度A。当脉冲型显示设备在1/60秒内显示具有亮度A的第一子帧图像以及具有亮度A的第二子帧图像时，观看者感知到帧图像的亮度为2A。由于该原因，在第一实施例中，使用分配单元105来调节亮度。相对来说，当保持型显示设备在第一个1/120秒内显示具有亮度A的第一子帧图像，并且在下一个1/120秒内显示具有亮度A的第二子帧图像时，观看者感知到帧图像的亮度为A。以这种方式，脉冲型显示设备和保持型显示设备具有不同的特性。使用本变型例中的配置，可以提高要在保持型显示设备上显示的运动图像的帧速率。

图7A例示了根据第一实施例的变型例的图像处理装置的配置。帧存储器102、最小值滤波器103以及低通滤波单元104的操作与第一实施例中相同。将低通滤波单元104生成的低频增强图像作为第一子帧图像，直接输出给差分检测单元106和切换电路107。

差分检测单元106通过从输入帧图像101的各像素值中减去低通滤波单元104生成的第一子帧图像的各像素值，来生成差分图像。加法器701通过将差分检测单元106生成的差分图像的各像素值与输入帧图像101的各像素值相加，来生成第二子帧图像。切换电路107的操作与第一实施例中相同。

图9A是示出根据第一实施例的变型例的处理的流程图。在图9A和图9B中，与图3A和图3B中的附图标记相同的附图标记，表示与图3A和图3B的流程图中相同的处理。步骤S301至S305中的处理与第一实施例中相同，因此将不重复其描述。在步骤S901中，差分检测单元106由输入帧图像101和低通滤波单元104生成的低频增强图像，生成差分图像。在步骤S902中，如上所述，加法器701由输入帧图像101和差分检测单元106生成的差分图像，生成第二子帧图像。步骤S308至S312中的处理与第一实施例中相同，因此将不重复其描述。

图7B例示了根据第二实施例的变型例的图像处理装置的配置。在本变型例中，帧存储器102、低通滤波单元104以及掩模滤波器401的操作与第二实施例中相同。将掩模滤波器401生成的掩模图像作为第一子帧图像，直接输出给差分检测单元106和切换电路107。差分检测单元106、加法器701以及切换电路107的操作与第一实施例的变型例中相同。

图9B是示出根据第二实施例的变型例的处理的流程图。步骤S301至S305、S601以及S308至S312中的处理与第一实施例中相同，因此将不重复其描述。在步骤S901中，差分检测单元106以前述方式由输入帧图像101和掩模滤波器401生成的掩模图像，生成差分图像。在步骤S902中，如上所述，加法器701由输入帧图像101和差分检测单元106生成的差分图像，生成第二子帧图像。

在本变型例中，包含由输入帧图像生成的子帧图像的高频分量和包含子帧图像的低频分量不取负的像素值。尽管本变型例与第一和第二实施例在子帧图像生成方法上不同，但是与第一和第二实施例类似，本变型例抑制颜色模糊的产生。

注意，还可以通过例如改善液晶响应特性或控制背光，来实现在短于1/120秒的时间内显示子帧图像的显示设备。根据本变型例的图像处理装置甚至能够生成要在该显示设备上显示的图像。此外，在这种情况下，生成在连续显示时看起来与输入帧图像相同的子帧图像，这是本发明的特征。

还可以通过以下方法生成要在保持型显示设备上显示的运动图像。更具体地说，根据第一或第二实施例，生成第一和第二子帧图像。然后，切换电路107将各子帧图像的像素值乘以合适的值，并将它们作为输出帧图像输出。例如，在第一实施例中，分配单元105以0.5的分派比执行处理。切换电路107将第一和第二子帧图像的像素值乘以2。根据这种方法，通过第一实施例的方法可以获得与变型例1相同的结果。当然，该乘法不一定由切换电路107执行，而可以由其他合适的处理单元或输出设备执行。

[变型例2]

参照图2C和图6描述第一实施例的变型例。当使用影响范围宽的低通滤波器时，还需要加宽最小值滤波器的应用范围。例如，图2C中的波形2103是通过对波形2102应用在比图2A中使用的低通滤波器更宽的范围中改变波形的低通滤波器而获得的。此外，在这种情况下，可以使波形2102的像素值大的部分比图2A中的波形202窄，以使得不在第二子帧图像2105中生成负值。也就是说，期望对波形2101使用应用范围比图2A(波形202)中大的最小值滤波器，以获得波形2102。将最小值滤波器的影响范围设置为等于或宽于低通滤波器的影响范围，能够防止在生成第二子帧图像时产生负像素值。

参照图6中的6A至6D描述低通滤波器与最小值滤波器之间的关系。在图6中，参照抽头长度(tap length)来描述滤波器影响的区域。当对各个像素进行滤波时，抽头长度对应于滤波器大小，即图8中的M和N。滤波器特性图2201示出了用于生成图2A中的波形203的低通滤波器特性。虚线表示的波形是输入波形，实线表示的波形是通过对输入波形执行滤波而获得的波形。附图标记2202和2205表示像素采样点。在这种情况下，滤波器在五个水平像素的区域中产生影响。换句话说，低通滤波器的水平抽头长度为5。假定低通滤波器是对称的。然后，通过将最小值滤波器的抽头长度设置为5，可以防止低通滤波器影响的区域延伸到输入波形的像素值大的部分的外部，如2203所示。

类似地，考查低通滤波器的抽头长度为9，即低通滤波器具有滤波器特性2204的情况。在这种情况下，通过将最小值滤波器的抽头长度设置为9或更大，可以防止低通滤波器影响像素值的区域延伸到输入波形的像素值大的部分的外部，如2206所示。

以这种方式，将最小值滤波器的抽头长度设置为至少等于或大于低通滤波器的抽头长度。这可以防止在从输入帧图像的像素值中减去经过低通滤波的图像的像素值时产生负像素值。为了简化说明，描述了水平抽头的数量(抽头长度)。然而，即使在垂直方向上进行滤波时，也可以基于低通滤波器的水平抽头和垂直抽头的数量二者，来确定最小值滤波器的抽头数量。

在实际的最小值滤波和低通滤波中，甚至可以在垂直方向上设置抽头的数量。如图8所示，将低通滤波中的垂直抽头的数量设置为自然数N，将水平抽头的数量设置为自然数M。N和M可以取相同的值或不同的值。例如，可以设置(N，M)＝(5，5)、(7，5)或(5，7)。

将最小值滤波器的垂直抽头的数量设置为自然数N′，将水平抽头的数量设置为自然数M′。在这种情况下，最小值滤波器影响的像素是以关注像素为中心、在垂直方向上具有N′个像素、在水平方向上具有M′个像素的区域中的像素。在最小值滤波中，将该区域中的像素的最小像素值确定为最小值。在本实施例中，满足N′等于或大于N，且M′等于或大于M。关于抽头的数量的讨论还适用于第二实施例中的最小值滤波器与低通滤波器之间的关系。

[第三实施例]

图5是例示用作用于实现本发明的第一和第二实施例及其变型例的图像处理装置的计算机的硬件配置的框图。然而，根据第三实施例的图像处理装置不一定包括图5所示的所有单元。

在图5中，CPU 2001通过执行存储在外部存储设备(硬盘)2007中的OS、应用程序等，来控制图像处理装置2000的操作。通过执行相应的处理程序，CPU 2001用作第一和第二实施例中描述的各单元，并实现例如图3A或图3B所示的处理。更具体地说，CPU 2001用作如下单元，这些单元包括：图1A中的最小值滤波器103和低通滤波单元104、图1B中的掩模滤波器401、差分检测单元106以及分配单元105。CPU 2001将执行程序所需的信息、文件等临时存储在RAM 2003中。通过控制RAM2003，CPU 2001能够实现图1A中的切换电路107。

ROM 2002存储诸如基本I/O程序的程序。RAM 2003用作CPU 2001的主存储器、工作区等。网络接口(I/F)2004将第三实施例的计算机连接到LAN或WAN，使其能够与外部装置进行通信。

输入设备2005可以包括用于接受来自用户的输入的鼠标和键盘、以及用于拍摄被摄体图像并将图像输入到图像处理装置2000的摄像设备中的至少一个。利用摄像设备，图像处理装置2000能够用作数字照相机或数字摄像机。

输出设备2006包括诸如液晶显示器的保持型显示设备以及诸如场发射型显示设备的脉冲型显示设备。外部存储设备2007存储如下程序，这些程序包括：应用程序、驱动器程序、OS、控制程序、以及用于执行根据本实施例的处理的处理程序。系统总线2008连接图像处理装置2000中的各单元，以使得能够进行数据交换。

[其他实施例]

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims

1.一种图像处理装置，其由帧图像生成多个子帧图像，并输出所述多个子帧图像，所述帧图像包括各自具有各颜色分量的像素值的像素，所述图像处理装置的特征在于包括：

识别单元，其用于针对所述帧图像中的各像素，从周围像素的各颜色分量的像素值中识别各颜色分量的最小像素值，其中，所述周围像素位于所述像素的周围；并识别针对各颜色分量所识别的最小像素值中的最小值，作为公共像素值；

生成单元，其用于生成预处理图像，所述预处理图像能够通过使用所述识别单元针对所述帧图像中的各像素识别的所述公共像素值替换所述像素的像素值来获得；

低通滤波单元，其用于通过对所述预处理图像应用低通滤波器，来生成第一子帧图像；

减法单元，其用于生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及

输出单元，其用于输出所述第一子帧图像和所述第二子帧图像，

其中，在所述低通滤波单元中使用的所述低通滤波器中，设N为垂直抽头的数量，M为水平抽头的数量，

所述识别单元在以关注像素为中心、在垂直方向上具有N′个像素、并且在水平方向上具有M′个像素的区域中的像素中识别所述最小像素值，并且

N′不小于N，M′不小于M。

2.根据权利要求1所述的图像处理装置，其特征在于，所述低通滤波单元通过将通过应用所述低通滤波器而获得的图像的各像素值乘以预定分派比，来生成所述第一子帧图像，所述预定分派比不大于1且不小于0。

3.根据权利要求1所述的图像处理装置，其特征在于，所述减法单元通过将所述帧图像与所述第一子帧图像之间的所述差分图像的各像素值与所述帧图像的各像素值相加，来生成所述第二子帧图像。

4.一种由图像处理装置执行的图像处理方法，所述图像处理装置具有用于由帧图像生成多个子帧图像、并输出所述多个子帧图像的配置，所述帧图像包括各自具有各颜色分量的像素值的像素，所述图像处理方法的特征在于包括：

识别步骤，针对所述帧图像中的各像素，从周围像素的各颜色分量的像素值中识别各颜色分量的最小像素值，其中，所述周围像素位于所述像素的周围，并识别针对各颜色分量所识别的最小像素值中的最小值，作为公共像素值；

生成步骤，生成预处理图像，所述预处理图像能够通过使用在所述识别步骤中针对所述帧图像中的各像素识别的所述公共像素值替换所述像素的像素值来获得；

低通滤波步骤，通过对所述预处理图像应用低通滤波器，来生成第一子帧图像；

减法步骤，生成所述帧图像与所述第一子帧图像之间的差分图像，作为第二子帧图像；以及

输出步骤，输出所述第一子帧图像和所述第二子帧图像，

其中，在所述低通滤波步骤中使用的所述低通滤波器中，设N为垂直抽头的数量，M为水平抽头的数量，

在所述识别步骤中，在以关注像素为中心、在垂直方向上具有N′个像素、并且在水平方向上具有M′个像素的区域中的像素中识别所述最小像素值，并且

N′不小于N，M′不小于M。