CN106412391A - 图像处理设备、图像处理方法和摄像设备 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像处理方法和摄像设备。在可以向图像提供用作聚焦程度指标的强调效果的图像处理设备中，实现了容易辨别的强调效果的提供。信号生成电路生成具有与图像信号的处理对象像素的值相对应的值的信号。例如，基于提取电路从图像信号中所提取的频率成分的大小，信号改变电路向处理对象像素应用信号，并且输出这些处理对象像素。信号生成电路以使信号具有根据处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成信号。

Description

图像处理设备、图像处理方法和摄像设备

技术领域

本发明涉及一种图像处理设备、图像处理方法和摄像设备。

背景技术

传统上，在使用图像传感器的摄像设备的取景器显示中，已知有用于使得容易从视觉上识别聚焦区域的功能(有时被称为调焦辅助功能)。作为典型的调焦辅助功能，已知有对所拍摄图像的高频成分进行强调显示的峰值功能(peaking)(还可被称为轮廓校正、边缘增强、增强器或调焦等)(日本专利4474641)。

另一方面，为了便于识别所强调或突出的区域，建议了以下：使调焦区域内的图像信号水平下降，以黑白显示调焦区域(日本专利4977047)，或者以黑白显示高频成分的水平低于特定水平的区域(日本特开2010-74549)。

然而，在所有这些传统技术中，强调效果的强度依赖于图像中所包括的高频成分的大小，因而存在如下问题：在诸如低亮度区域等的高频成分较少(高频成分的水平或振幅较小)的区域中，强调效果弱且难以辨别。另外，还存在如下问题：在具有许多高频成分的区域具有高亮度的情况下，由于提供了强调效果因而导致该区域发生高光溢出(blown out)，并且难以辨别强调效果。

此外，为了便于识别所强调或突出的区域，还建议了向强调部分添加颜色(日本特开2002-196255)。然而，在向强调部分应用特定颜色的情况下，如果图像包括大量高频成分，则图像整体变得带有强调部分的颜色，因而存在难以识别聚焦状态并且用户不再能够感知被摄体的本来颜色的问题。

发明内容

本发明提供解决传统技术的这些问题中的一个或多个问题的图像处理设备、图像处理方法和摄像设备。

根据本发明的方面，提供一种图像处理设备，包括：提取部件，用于从图像信号中提取预定的频率成分；生成部件，用于生成具有与所述图像信号的处理对象像素的值相对应的值的信号；以及应用部件，用于根据基于所述提取部件所提取的所述频率成分的大小的判断来将所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，其中，所述生成部件以使所述信号具有根据所述处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成所述信号。

根据本发明的另一方面，提供一种摄像设备，包括：图像传感器；显示部件，用于连续地显示所述图像传感器所拍摄到的运动图像；以及根据本发明的图像处理设备，其中，所述图像处理设备的所述提取部件对所述显示部件上要显示的运动图像的信号进行所述提取，以及所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

根据本发明的又一方面，提供一种图像处理设备所执行的图像处理方法，所述图像处理方法包括以下步骤：从图像信号中提取预定的频率成分；生成步骤，用于生成具有与所述图像信号的处理对象像素的值相对应的值的信号；以及根据基于所提取的所述频率成分的大小的判断来将所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，其中，在所述生成步骤中，以使所述信号具有根据所述处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成所述信号。

根据本发明的另一方面，提供一种图像处理设备，包括：提取部件，用于从图像信号中提取预定的频率成分；生成部件，用于生成用以向所述图像信号的处理对象像素提供强调效果的信号；调整部件，用于降低所述处理对象像素的亮度和饱和度；以及应用部件，用于根据基于所述提取部件所提取的所述频率成分的大小的判断来将所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，其中，所述应用部件将所述信号应用于所述调整部件没有降低亮度和饱和度的处理对象像素并输出该处理对象像素，并且在不将所述信号应用于所述处理对象像素的情况下，输出所述调整部件降低亮度和饱和度的处理对象像素。

根据本发明的又一方面，提供一种摄像设备，包括：图像传感器；显示部件，用于连续地显示所述图像传感器所拍摄到的运动图像；以及根据本发明的图像处理设备，其中，所述图像处理设备的所述提取部件对所述显示部件上要显示的运动图像的信号进行所述提取，以及所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

根据本发明的另一方面，提供一种图像处理设备所执行的图像处理方法，所述图像处理方法包括以下步骤：从图像信号中提取预定的频率成分；生成用以向所述图像信号的处理对象像素提供强调效果的信号；以及根据基于所提取的所述频率成分的大小的判断，来将所述信号应用于亮度和饱和度没有降低的处理对象像素并输出该处理对象像素，或者在不将所述信号应用于亮度和饱和度降低的处理对象像素的情况下输出该处理对象像素。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出作为根据本发明实施例的图像处理设备的示例的数字摄像机的结构示例的框图。

图2是示出图1的视频信号处理单元的结构示例的框图。

图3A和3B是用于说明根据实施例的相加信号的生成及其效果的示意图。

图4A和4B是示出根据实施例的变形例的视频信号处理单元的结构示例的框图。

图5是示出根据第二实施例的视频信号处理单元的结构示例的框图。

图6A和6B是示出根据其它实施例的视频信号处理单元的结构示例的框图。

图7是根据实施例的强调效果提供处理的流程图。

具体实施方式

现在将根据附图来详细说明本发明的典型实施例。注意，以下将说明本发明应用于作为图像处理设备的示例的数字摄像机的调焦辅助功能的实施例，但摄像功能不是本发明必须的。此外，本发明不限于(包括具有摄像功能的电子装置的)摄像设备，并且可以应用于诸如个人计算机、平板终端、显示装置、图像调整设备和移动电话等的可以获得图像数据的任何电子装置。

第一实施例

图1是示出根据本实施例的数字摄像机的功能结构的示例的框图。透镜单元101构成了在图像传感器102的摄像面上形成被摄体图像的光学系统，并且具有变焦功能、调焦功能和光圈调节功能。

在图像传感器102中，大量光电转换元件呈二维排列，并且将透镜单元101所形成的被摄体光学图像转换成以像素为单位的图像信号。图像传感器102例如可以是CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器。此外，图像传感器102可以通过调整光电转换元件的电荷累积时间来实现电子快门功能。

传感器驱动单元103根据照相机信号处理单元106所控制的定时来控制图像传感器102的操作。CDS/AGC单元104对来自图像传感器102的模拟图像信号进行相关双采样(CDS)以降低噪声，并且根据系统控制单元111的控制来进行信号水平增益控制(自动增益控制：AGC)。A/D转换器105将从CDS/AGC单元104输出的模拟图像信号转换成数字图像信号，并且将这些数字图像信号供给至照相机信号处理单元106。照相机信号处理单元106与系统控制单元111协作地进行与摄像功能有关的控制，诸如定时信号的生成、自动曝光(AE)控制、伽玛调整和自动调焦(AF)控制等。

第一存储单元107、第二存储单元116、第三存储单元112和第四存储单元119是为了进行照相机信号处理、视频控制、系统控制和编码/解码而分别设置的存储设备(例如，半导体存储器或磁性记录介质)。这些存储单元在图中被示出为个体的构成元件，但同一存储设备可以实现第一存储单元～第四存储单元中的两个或更多个。

照相机信号处理单元106例如使用第一存储单元107作为在对所拍摄到的视频图像进行信号处理时的帧存储器。透镜驱动单元108根据系统控制单元111的控制来驱动透镜单元101的马达和致动器等，并且改变透镜单元101的变焦倍率(视角)、焦距和光圈值等。系统控制单元111基于照相机信号处理单元106所进行的图像信号处理的结果来控制透镜驱动单元108。例如，在AF控制期间，系统控制单元111控制透镜驱动单元108，以使透镜单元101的调焦透镜移动至基于照相机信号处理单元106所获得的AF评价值的聚焦位置。

麦克风110用于记录周围的声音，并且将来自麦克风110的声音信号供给至照相机信号处理单元106。例如，在连同图像传感器102所拍摄到的图像一起记录来自麦克风110的声音的情况下，照相机信号处理单元106使图像和声音同步，并且将同步后的图像和声音供给至视频信号处理单元115。

系统控制单元111包括诸如CPU或MPU等的可编程处理器，并且通过例如执行第三存储单元112中所存储的程序并控制各功能块来实现数字摄像机的整体操作。第三存储单元112例如包括ROM或RAM，并且存储系统控制单元111所执行的程序、各种设置和初始值等。此外，第三存储单元112还用作系统控制单元111的工作区域。

输入操作单元113是拍摄者向数字摄像机给出指示所用的用户界面，并且设置有诸如按键和各种操作按钮等的输入装置。计时单元114设置有实时时钟(RTC)和备用电池，并且响应于来自系统控制单元111的请求而返回日期和时间信息。

视频信号处理单元115进行包括色相、饱和度和明度的调整的针对第一显示单元122和第二显示单元123的显示的控制、针对模拟线输出单元124的输出的控制、针对数字数据I/F单元125的输出的控制、以及针对记录/再现单元120的控制等。此外，视频信号处理单元115还进行图像信号的分辨率的转换和叠加所用的信号(诸如斑马图案、轮廓信号和各种设置值等的信息)的生成。视频信号处理单元115还进行针对诸如菜单画面和GUI(图形用户界面)等的OSD(在屏显示)的显示的控制。

视频信号处理单元115使用第二存储单元116作为用于进行与视频基带信号有关的信号处理的帧存储器或工作存储器等。视频信号处理单元115还执行与以下处理有关的信号处理：用于从所拍摄图像中提取特定频率成分的处理和用于将用作聚焦程度指标的强调效果提供至图像的处理。

H.264编解码单元117是用于对运动图像进行编码和解码处理的运动图像编解码器的示例。编码格式不限于H.264，并且可以是诸如MPEG(动态图像专家组)-2等的其它格式。同样，JPEG(联合图像专家组)编解码单元118是用于对静止图像进行编码和解码处理的静止图像编解码器的示例。编码格式不限于JPEG，并且可以是诸如JPEG2000或PNG(可移植网络图形)等的其它格式。

注意，JPEG编解码单元118连接至视频信号处理单元115，从而与H.264编解码单元117共用一部分电路、并且实现拍摄来自H.264编解码单元117所再现的运动图像的静止图像的功能(拍摄功能)。注意，JPEG编解码单元118可以直接连接至照相机信号处理单元106。H.264编解码单元117和JPEG编解码单元118使用第四存储单元119来对图像信号进行编码和解码处理。

记录/再现单元120将经过了视频信号处理单元115和H.264编解码单元117(或JPEG编解码单元118)所进行的编码处理并且已被处理成具有与记录格式相对应的数据结构的记录数据记录至记录介质121。此外，记录/再现单元120从记录介质121中所记录的运动图像数据文件或静止图像数据文件读出数据。注意，记录介质121不限于存储卡，并且可以是光学记录介质、磁性存储设备(例如，HDD)或半导体存储设备(例如，SSD)。

第一显示单元122和第二显示单元123可以显示相同的信息。在本实施例中，假定第一显示单元122例如是壳体的侧面等上以能够开闭的方式设置的相对大型的显示装置。第二显示单元123是比第一显示单元122小的显示装置，并且设置在数字摄像机的内部以经由目镜进行观看。

在拍摄模式中，除图像传感器102所拍摄到的运动图像(实时取景图像)外，还将诸如基于所拍摄图像的宽高比的框等的拍摄辅助图像叠加在第一显示单元122和第二显示单元123上。通过将图像传感器102所拍摄到的运动图像显示在第一显示单元122和第二显示单元123上，使第一显示单元122和第二显示单元123用作电子取景器(EVF)。另一方面，在重放模式中，将记录介质121中所记录的运动图像或静止图像显示在第一显示单元122和第二显示单元123上。与数字摄像机的操作模式是拍摄模式还是重放模式无关地，可以针对第一显示单元122和第二显示单元123上所显示的图像来执行根据本实施例的强调效果的提供。另外，将与数字摄像机的操作状态和设置有关的信息、与所拍摄图像有关的信息以及各种GUI等显示在第一显示单元122和第二显示单元123上。

模拟线输出单元124是用于进行模拟成分输出、S端子输出和合成输出等的接口组。可以通过使模拟线输出单元124连接至外部设备，来将数字摄像机所拍摄到或所再现的运动图像或静止图像输出至该外部设备。数字数据I/F单元125可以包括诸如USB、SDI和HDMI(注册商标)等的一个或多个数字接口。还可以将被提供了后面要说明的强调效果的被摄体视频图像输出至外部设备。

接着，将参考图2～3B来说明本实施例的数字摄像机中的用于提供强调效果的处理。注意，用于提供增强效果的该处理可以在调焦辅助功能有效时针对实时取景图像进行、或者可以针对重放模式中所再现的静止图像或运动图像进行。另外，在调焦辅助功能有效的情况下，可以执行手动调焦或自动调焦。

图2是示意性示出图1的视频信号处理单元115中的与强调效果的提供有关的功能块的框图。

从图1的照相机信号处理单元106输入图像信号201。不限制从照相机信号处理单元106输入的图像信号的格式，但这里假定输入采用基于亮度(Y)和色差(Cb和Cr)的格式的图像信号。

提取电路202从图像信号中提取预定频率成分。注意，这里的“频率成分”是指“频带成分”，并且不同于单一频率成分。提取电路202例如包括带通滤波器或高通滤波器，并且这里假定包括使用抽头系数“-1,2,-1”的3抽头FIR滤波器。注意，提取电路202所提取的频率成分可以是作为聚焦程度指标能够使用的任意频率成分。另外，提取电路202的频率特性可以是可变的。

增益调整电路203将提取电路202所提取的频率成分的增益(放大率)调整为例如预定值。该增益可以由用户进行调整，并且增大增益使应用相加信号的像素的数量增加。以下为了便于说明和理解，假定增益＝1，即增益调整电路203无任何改变地输出提取电路202所提取的频率成分。

阈值设置电路204例如通过排除超过上限阈值的值和小于下限阈值的值，来防止相加信号被应用于提取电路202所提取的频率成分中所包括的噪声成分，其中这些阈值已被预先设置为噪声水平。上限阈值和下限阈值还可以由用户进行调整。这里，假定设置了预定的默认值。

信号生成电路205生成要在信号改变电路206中应用于图像信号201的像素的亮度成分的相加信号。信号生成电路205生成采用与图像信号201的亮度水平相对应的水平的相加信号(具体地，在亮度水平高时采用低水平的相加信号并且在亮度水平低时采用高水平的相加信号)。

用作应用部件的信号改变电路206通过将信号生成电路205所生成的相加信号应用(相加)至图像信号201的像素中的下述像素来输出被提供了强调效果的图像信号207，其中针对这些像素，使用增益调整电路203和阈值设置电路204对提取电路202所提取的频率成分进行处理的结果满足了预设条件(例如，值大于或等于阈值的条件)。

不像将依赖于从图像信号中所提取的高频成分的相加信号应用于原始图像信号的传统技术那样，在本实施例的技术中，应用依赖于原始图像信号的值的大小的相加信号。另外，例如，选择具有大小大于或等于阈值的特定频率成分的像素作为要应用相加信号(要被提供强调效果)的像素。因此，将本实施例中的强调效果提供至聚焦程度大于或等于特定值的像素。

信号改变电路206将处理之后的图像信号207(显示用图像信号)输出至第一显示单元122、第二显示单元123、模拟线输出单元124和数字数据I/F单元125等。

图3A是示意性示出根据本实施例的强调效果的提供的图，并且图3B是示意性示出根据传统技术的强调效果的提供的图。在图3A和3B中，横轴表示图像的一条水平线的方向，并且纵轴表示亮度水平(8位)。注意，这里，假定图像信号是通过按照ITU-R BT.601将RGB 8位的图像信号转换成YCbCr格式所获得的。因此，亮度(Y)取16～235的范围内的值，并且235是饱和水平。

在图3A和3B中，附图标记301～308表示特定水平线中所包括的四个像素的两个连续区间的亮度值。图4A示意性示出为了与用于实现本实施例的技术的视频信号处理单元115(图2)进行比较的目的的、用于实现图3B所示的传统技术的电路的示例。

将图像信号401供给至叠加电路405和高频成分提取电路402。将高频成分提取电路402所提取的亮度成分的高频成分输入至增益调整电路403。

增益调整电路403调整高频成分提取电路402所提取的高频成分的增益(放大率)。该增益可以由用户进行调整，并且例如，使增益增加成大于1，这样增大了相加信号的值，由此增强了强调效果。

阈值设置电路404例如从所提取的高频成分中排除超过上限阈值的值和小于下限阈值的值，其中这些阈值已被预先设置为噪声水平。上限阈值和下限阈值还可以由用户进行调整。这里，假定设置了预定的默认值。

叠加电路405在使得定时相位相匹配的情况下，将从阈值设置电路404供给的高频成分(相加信号)应用(相加)至作为输入信号的图像信号401的各像素的亮度成分，由此提供强调效果。

这里，假定高频成分提取电路402是使用抽头系数“-1,2,-1”的3抽头FIR滤波器，并且增益调整电路403的增益是1。在这种情况下，例如在诸如图3A和3B中的像素302等的具有高亮度水平的像素的情况下，所提取的高频成分的值(＝50)也高，并且如果将该值应用(相加)至原始像素值，则将超过(等于235的)饱和水平。因此，无法辨别包括被摄体的高频成分的轮廓部分等在高亮度处是发生高光溢出还是表现出强调效果，因而难以评价聚焦程度。

另一方面，在诸如像素306等的具有低亮度水平的像素的情况下，所提取的高频成分的值(＝25)也低。这样，在传统技术中，为了提供强调效果所相加的信号值依赖于原始像素值，并且提供至值较小的像素的强调效果也小，因而例如，低亮度区域中的强调效果也难以识别。

与此相对，在本实施例的技术中，信号生成电路205单独生成具有不依赖于提取电路202所提取的频率成分的值的大小并且与原始像素值相对应的值的相加信号。例如，信号生成电路205将任意的固定值(这里为可能的最高值(饱和值)，即235)与输入像素信号的亮度值之间的差的大小乘以任意的增益(小于或等于1，并且这里为0.5)，以生成相加信号。预定的固定值和输入信号值之间的差越大，在该示例中所生成的相加信号所具有的值越大。例如，如果固定值是诸如饱和值等的高的值，则与具有高亮度的像素302相对应的相加信号的值较小，并且与具有低亮度的像素306相对应的相加信号的值较大。

因此，尽管传统上由于提供了强调效果而导致像素311的值超过了饱和水平并且强调效果无法被辨别，但像素309的值处于不会发生饱和的水平，并且变得能够辨别强调效果。另外，尽管像素312具有小的值、因而被提供了难以辨别的弱的强调效果，但像素310被提供了大的强调效果，因而较容易辨别该强调效果。

注意，这里所述的用于生成相加信号的方法仅是示例，并且可以使用任何其它方法来生成相加信号，只要可以抑制强调效果所引起的具有较大值的像素发生饱和、同时还向具有较小值的像素赋予充分的强调效果即可。在上述示例中，相加信号的值根据像素值的线性增大而线性减小，但例如，可以使用诸如相加信号的值非线性地或逐级地减小等的、值至少根据像素值的增大而连续地或逐级地减小的信号。

如上所述，根据本实施例，生成了值随着像素值的变小而增大的相加信号，并且基于从像素值中所提取的特定频率成分的大小来判断是否要应用(相加)相加信号。因此，针对值低的像素的强调效果变得容易辨别，并且例如，可以容易地识别低亮度部中的聚焦状态。另外，通过生成相加信号、以使得这些相加信号的值随着像素值的变大而变小，可以抑制由于向值高的像素提供强调效果所引起的像素值的饱和。

例如，即使在高亮度区域和低亮度区域存在于相同距离处的场景中，也可以向各个区域提供适当的强调效果，因而可以适当地识别聚焦程度。例如，通过将本实施例应用于运动图像(实时取景图像或正记录的运动图像)的帧，可以实现用于精确聚焦的调焦辅助功能。另外，通过将本实施例应用于正再现的运动图像或静止图像，可以实现容易地识别处于聚焦的部分的功能。

注意，这里说明了作为用以判断是否提供强调效果的基准所使用的频率成分是从像素的亮度成分中所提取的示例，但可以从其它成分中提取频率成分。例如，如果图像信号采用RGB格式，则可以从G(绿色)成分中提取频率成分，或者可以从R(红色)成分、G(绿色)成分和B(蓝色)成分中分别提取频率成分。在从多个成分中提取频率成分的情况下，例如，可以采用向多个成分中的任一成分满足条件的像素提供强调效果的结构。

第二实施例

接着，将说明本发明的第二实施例。本实施例与第一实施例的不同之处在于：视频信号处理单元降低没有被提供强调效果的像素的亮度和饱和度，然后输出这些像素。其它构成元件可以是与第一实施例共通的，因而以下将说明本实施例中的视频信号处理单元的结构和操作。

图5是示出本实施例中的视频信号处理单元115'的功能结构的示例的框图，将相同的附图标记分配至与第一实施例相同的构成元件，并且将不给出重复说明。本实施例中的结构与第一实施例中的结构的不同之处在于：向第一实施例的视频信号处理单元115添加水平调整电路501，并且信号改变电路502的操作不同。

具体地，本实施例的信号改变电路502除与第一实施例相同的提供强调效果的操作外，还利用经过了水平调整电路501的水平调整的像素值来替换没有被提供强调效果的像素值。此外，本实施例的信号改变电路502还根据需要来调整要被提供强调效果的像素的亮度和饱和度。

水平调整电路501使输入图像的各个像素的亮度和饱和度降低预定量，并且输出该图像。预先将该降低量确定为处于可以感知到降低并且原始图像的视觉可识别性没有极度下降的范围内。另外，还可以基于输入图像整体的平均亮度来动态地确定该降低量。例如，关于亮度，降低量可以与0.5EV～1EV相对应，并且例如，关于饱和度，在利用0～100％(其中，非彩色与0％相对应)来表示饱和度的情况下，降低量可以在0～75％的范围内(在0％的情况下，以灰度级显示图像)。注意，这些仅是示例，并且可以使用其它值。

例如，在将本实施例应用于运动图像(实时取景图像或正记录的运动图像)的帧并且实现调焦辅助功能的情况下，聚焦程度低的区域以饱和度和亮度降低的状态显示。在聚焦程度由于手动或自动调焦功能而上升并且所提取的频率成分的大小满足预定条件的情况下，应用以与第一实施例相同的方式所生成的相加信号，并且提供强调效果。对于来自阈值设置电路204的输出满足条件的像素，信号改变电路502不选择水平调整电路501的输出，而是选择所输入的图像信号201，并且应用(相加)相加信号。

因此，聚焦程度高的像素将具有(未经过水平调整的)原始像素值，并且还向这些像素应用相加信号。因此，由于颜色的变化(饱和度的上升)和亮度的上升的组合，可以提供使聚焦程度从低改变为高的部分看似从阴影状态转变为明亮照明状态的强调效果。因此，即使不添加其它颜色，也可以容易地辨别聚焦程度高的区域，并且不会产生由于强调效果而导致被摄体的视觉可识别性下降的问题。

注意，由于通过应用相加信号使得像素的亮度上升得大于原始值，因此像素的颜色与原始颜色相比变浅。因此，在信号改变电路502中，可以采用如下结构：使饱和度上升得高于原始值，使得应用相加信号之后的颜色从视觉上接近原始颜色(应用相加信号之前的颜色)。

如上所述，根据本实施例，除第一实施例的结构外，未被提供强调效果的像素的亮度和饱和度下降，并且被提供了强调效果的像素的亮度和饱和度没有下降。因此，除根据第一实施例的效果外，可以实现能够提供如下的强调效果的效果，其中该强调效果使得能够在不会使视觉可识别性下降的情况下容易地辨别聚焦程度高的区域。

变形例1

注意，在使用基于所提取的高频成分的相加信号来提供强调效果的情况下，也获得了通过使未被提供强调效果的像素的亮度和饱和度下降并且使被提供了强调效果的像素的亮度和饱和度不下降所获得的第二实施例的效果。

图4B是在将第二实施例的水平调整技术应用于使用基于所提取的高频成分的相加信号来提供强调效果的结构的情况下的视频信号处理单元115”的框图。与图4A和5中的构成元件相同的构成元件具有相同的附图标记，并且省略了针对这些构成元件的说明。

与第二实施例中的信号改变电路502相同，信号改变电路410判断是否向对象像素提供强调效果。在判断为要提供强调效果的情况下，信号改变电路410接着将从阈值设置电路404输入的高频成分应用于未进行改变的情况下所输入的像素信号、而不是应用于水平调整电路501的输出，并且输出这些像素信号。此外，在判断为不提供强调效果的情况下，信号改变电路410选择水平调整电路501的输出(经过了水平调整的像素信号)并且输出这些像素信号。

这样，同样在基于所提取的高频成分来生成相加信号的情况下，如下结构是可以的：聚焦程度低的像素以亮度和饱和度有所降低的状态进行显示，并且在聚焦程度变高的情况下，应用相加信号，另外，亮度和饱和度上升。因此，可以实现能够提供如下的强调效果的效果，其中该强调效果使得能够在不会使视觉可识别性下降的情况下容易地辨别聚焦程度高的区域。

其它实施例

在上述的第一实施例和第二实施例中，采用了以下结构：利用提取电路提取一个频率成分，并且判断是否要提供强调效果。然而，如下结构也是可以的：提取多个频率成分，并且针对各个频率成分判断是否要提供强调效果。

图6A和6B示出根据诸如此类的其它实施例的视频信号处理单元115的结构示例，其中：图6A与第一实施例相对应，并且图6B与第二实施例相对应。在图6A和6B中，提取电路601提取与提取电路202所提取的频率成分(被称为第一频率成分)不同的频率成分(被称为第二频率成分)。增益调整电路602和阈值设置电路603具有与增益调整电路203和阈值设置电路204相同的结构，并且可以设置针对第二频率成分的增益和噪声降低所用的阈值。

信号生成电路205与提取电路202相关联，并且生成要应用于第一频率成分满足条件的像素的相加信号。此外，信号生成电路604与提取电路601相关联，并且生成要应用于第二频率成分满足条件的像素的相加信号。信号生成电路604与信号生成电路205同样地生成基于原始像素值的相加信号，但可被配置为诸如通过将上述的固定值改变为较低的值等来生成具有不同值的相加信号。

信号改变电路605和605'进行与信号改变电路206和502的操作相同的操作，但信号改变电路605和605'与信号改变电路206和502的不同之处在于：根据所提取的各个频率成分的大小来判断是否需要向对象像素提供强调效果，并且应用与这些频率成分相对应的相加信号。换句话说，可以向所提取的各个频率成分独立提供强调效果。

例如，在高对比度的被摄体和低对比度的被摄体混合存在的情况下，如果基于一个频率成分来判断是否需要提供强调效果，则可想到难以向具有低对比度的被摄体提供强调效果的情况。然而，通过提取多个频率成分并且基于针对各个频率成分的判断标准来判断是否需要提供强调效果，在具有低对比度的被摄体和具有高对比度的被摄体混合存在的场景中，也可以适当地提供强调效果。

例如，假定第一频率成分是比第二频率成分具有更高的频率的成分。在这种情况下，首先，第二频率成分的大小将满足条件，然后第一频率成分的大小将满足条件。因此，首先，根据基于第二频率的大小的判断，向具有低对比度的被摄体和具有高对比度的被摄体提供强调效果，之后对于具有高对比度的被摄体，切换为与基于第一频率的大小的判断相对应的强调效果。因此，不仅可以辨别针对具有低对比度的被摄体的聚焦程度，而且还随着具有高对比度的被摄体的聚焦程度的提高而切换强调效果，并且可以提供用于辅助甚至更加精确的聚焦的调焦辅助功能。

注意，在图6B的结构(与第二实施例相对应)中，信号改变电路605'同样根据各个频率成分的大小来判断是否选择水平调整电路501的输出。

基于本发明的典型实施例详细说明了本发明，但本发明不限于这些特定实施例，并且可以进行落在权利要求书的范围内的各种改变。另外，可以采用能够在进行水平调整的实施例和不进行水平调整的实施例之间进行切换的结构，或者可以采用能够在用于根据实施例生成相加信号的结构和用于根据所提取的频率成分生成相加信号的结构之间进行切换的结构。

例如，可以将根据上述实施例的提供强调效果的操作应用于除调焦辅助功能外的事物。例如，可以将该操作应用于所记录的运动图像或静止图像，并且用于明确地指示聚焦区域。此外，可以将该操作应用于诸如光场照相机所拍摄到的图像数据等的可以在拍摄之后改变聚焦区域的图像数据。在这种情况下，通过将根据本实施例的提供强调效果的操作应用于在每次改变虚拟成像面时所重建的静止图像(再聚焦图像)，可以辅助获得期望的被摄体处于聚焦的再聚焦图像。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

例如，根据上述实施例的视频信号处理单元115可以包括CPU、MPU或者能够利用软件动态地重新配置的处理器(以下代表性地称为CPU)。在这种情况下，该CPU可以通过将非易失性存储设备中所存储的程序载入RAM并执行该程序，来如图7的流程图所示进行工作。注意，在图7中，利用虚线指示的步骤表示在第二实施例及其变形例中所执行的步骤。

在步骤S101中，CPU将处理对象图像全体(一帧)读入存储器，并且针对各像素执行以下处理。步骤S103、S105和S201是大致并行地进行处理的步骤。在步骤S103中，CPU进行用于提取频率成分的处理。该步骤包括频率成分提取、增益应用和噪声降低，并且与电路202～204、402～404、601～603的操作相对应。

在步骤S105中，CPU生成基于处理对象像素的值的相加信号。该操作与信号生成电路205和604的操作相对应。另外，在实现使用水平调整的实施例的情况下，CPU在步骤S201中执行用于降低处理对象像素的亮度和饱和度的处理。该处理与水平调整电路501的操作相对应。

在步骤S107中，CPU基于在用于提取频率成分的处理中所获得的值的大小是否满足预定条件(例如，是否超过阈值)来判断是否向处理对象像素提供强调效果。例如，在判断为不满足预定条件并且不提供强调效果的情况下，CPU根据需要执行步骤S207，然后使过程进入步骤S111。在使用水平调整的实施例中执行步骤S207，并且CPU利用经过了水平调整处理的像素来替换处理对象像素，并输出该像素(或者选择经过了水平调整的像素作为处理之后的像素)。

另一方面，例如，在判断为满足预定条件并且要提供强调效果的情况下，CPU根据需要执行步骤S203，然后使过程进入步骤S109。在使用水平调整的实施例中执行步骤S203，并且CPU原样输出处理对象像素(或者选择没有经过水平调整的像素作为处理之后的像素)。

在步骤S109中，CPU将步骤S105中所生成的相加信号应用于处理对象像素。具体地，CPU将步骤S105中所计算出的值与处理对象像素的亮度成分相加。之后，CPU根据需要执行步骤S205，然后使过程进入步骤S111。在使用水平调整的实施例中根据需要执行步骤S205，并且在由于相加信号的应用因而颜色相对于原始颜色发生改变的情况下，处理对象像素的饱和度上升，从而被感知为与原始颜色相同。

在步骤S111中，CPU判断是否向一个画面的所有像素应用了处理。如果存在未经处理的像素，则过程返回至步骤S103～S201，并且如果不存在未经处理的像素，则针对一个画面的处理结束。关于运动图像，例如，针对各帧重复同样的处理。

尽管已经参考典型实施例说明了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (29)

1.一种图像处理设备，包括：

提取部件，用于从图像信号中提取预定的频率成分；

生成部件，用于生成具有与所述图像信号的处理对象像素的值相对应的值的信号；以及

应用部件，用于根据基于所述提取部件所提取的所述频率成分的大小的判断来将所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，

其中，所述生成部件以使所述信号具有根据所述处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成所述信号。

2.根据权利要求1所述的图像处理设备，其中，

在所述频率成分的大小大于预定阈值的情况下，所述应用部件将所述生成部件所生成的所述信号应用于所述处理对象像素。

3.根据权利要求1所述的图像处理设备，其中，

所述应用部件通过将所述生成部件所生成的所述信号与所述处理对象像素的亮度成分相加，来将所述信号应用于所述处理对象像素。

4.根据权利要求1至3中任一项所述的图像处理设备，其中，

所述生成部件基于预定的固定值和所述处理对象像素的值之间的差，来生成所述信号。

5.根据权利要求4所述的图像处理设备，其中，

所述固定值是所述处理对象像素能够具有的最大值。

6.根据权利要求1至3中任一项所述的图像处理设备，其中，还包括：

调整部件，用于降低所述处理对象像素的亮度和饱和度，

其中，所述应用部件将所述信号应用于所述调整部件没有降低亮度和饱和度的处理对象像素并输出该处理对象像素，并且在不将所述信号应用于所述处理对象像素的情况下，输出所述调整部件降低亮度和饱和度的处理对象像素。

7.根据权利要求6所述的图像处理设备，其中，

在所述处理对象像素的颜色由于所述信号的应用而改变的情况下，所述应用部件使所述处理对象像素的饱和度上升，以使得应用所述信号之后的所述处理对象像素的颜色被感知为接近应用所述信号之前的颜色。

8.根据权利要求1至3中任一项所述的图像处理设备，其中，所述图像处理设备包括多个所述提取部件和多个所述生成部件，以及

各个所述提取部件提取不同的频率成分，

各个所述生成部件与多个所述提取部件中的不同提取部件相关联，以及所述应用部件根据基于各个所述提取部件所提取的频率成分的大小的判断来将关联的所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素。

9.根据权利要求1至3中任一项所述的图像处理设备，其中，

所述图像信号是运动图像或静止图像的信号。

10.根据权利要求9所述的图像处理设备，其中，

所述运动图像是实时取景图像。

11.根据权利要求9所述的图像处理设备，其中，

所述图像信号是再聚焦图像的信号。

12.一种摄像设备，包括：

图像传感器；

显示部件，用于连续地显示所述图像传感器所拍摄到的运动图像；以及

根据权利要求1至3中任一项所述的图像处理设备，

其中，所述图像处理设备的所述提取部件对所述显示部件上要显示的运动图像的信号进行所述提取，以及

所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

13.根据权利要求12所述的摄像设备，其中，

在调焦辅助功能有效的情况下，所述摄像设备将所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

14.一种图像处理设备所执行的图像处理方法，所述图像处理方法包括以下步骤：

从图像信号中提取预定的频率成分；

生成步骤，用于生成具有与所述图像信号的处理对象像素的值相对应的值的信号；以及

根据基于所提取的所述频率成分的大小的判断来将所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，

其中，在所述生成步骤中，以使所述信号具有根据所述处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成所述信号。

15.一种图像处理设备，包括：

提取部件，用于从图像信号中提取预定的频率成分；

生成部件，用于生成用以向所述图像信号的处理对象像素提供强调效果的信号；

调整部件，用于降低所述处理对象像素的亮度和饱和度；以及

应用部件，用于根据基于所述提取部件所提取的所述频率成分的大小的判断来将所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素，

其中，所述应用部件将所述信号应用于所述调整部件没有降低亮度和饱和度的处理对象像素并输出该处理对象像素，并且在不将所述信号应用于所述处理对象像素的情况下，输出所述调整部件降低亮度和饱和度的处理对象像素。

16.根据权利要求15所述的图像处理设备，其中，

在所述频率成分的大小大于预定阈值的情况下，所述应用部件将所述生成部件所生成的所述信号应用于所述处理对象像素。

17.根据权利要求15所述的图像处理设备，其中，

所述应用部件通过将所述生成部件所生成的所述信号与所述处理对象像素的亮度成分相加，来将所述信号应用于所述处理对象像素。

18.根据权利要求15至17中任一项所述的图像处理设备，其中，

所述生成部件基于所述提取部件所提取的所述频率成分来生成所述信号。

19.根据权利要求15至17中任一项所述的图像处理设备，其中，

所述生成部件以使所述信号具有根据所述处理对象像素的值的增大而连续地或逐级地减小的值的方式来生成所述信号。

20.根据权利要求19所述的图像处理设备，其中，

所述生成部件基于预定的固定值和所述处理对象像素的值之间的差来生成所述信号。

21.根据权利要求20所述的图像处理设备，其中，

所述固定值是所述处理对象像素能够具有的最大值。

22.根据权利要求15至17中任一项所述的图像处理设备，其中，

在所述处理对象像素的颜色由于所述信号的应用而改变的情况下，所述应用部件使所述处理对象像素的饱和度上升，以使得应用所述信号之后的所述处理对象像素的颜色被感知为接近应用所述信号之前的颜色。

23.根据权利要求15至17中任一项所述的图像处理设备，其中，所述图像处理设备包括多个所述提取部件和多个所述生成部件，以及

各个所述提取部件提取不同的频率成分，

各个所述生成部件与多个所述提取部件中的不同提取部件相关联，以及

所述应用部件根据基于各个所述提取部件所提取的频率成分的大小的判断来将关联的所述生成部件所生成的所述信号应用于所述处理对象像素，并且输出所述处理对象像素。

24.根据权利要求15至17中任一项所述的图像处理设备，其中，

所述图像信号是运动图像或静止图像的信号。

25.根据权利要求24所述的图像处理设备，其中，

所述运动图像是实时取景图像。

26.根据权利要求24所述的图像处理设备，其中，

所述图像信号是再聚焦图像的信号。

27.一种摄像设备，包括：

图像传感器；

显示部件，用于连续地显示所述图像传感器所拍摄到的运动图像；以及根据权利要求15至17中任一项所述的图像处理设备，

其中，所述图像处理设备的所述提取部件对所述显示部件上要显示的运动图像的信号进行所述提取，以及

所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

28.根据权利要求27所述的摄像设备，其中，

在调焦辅助功能有效的情况下，所述摄像设备将所述图像处理设备的所述应用部件的输出显示在所述显示部件上。

29.一种图像处理设备所执行的图像处理方法，所述图像处理方法包括以下步骤：

从图像信号中提取预定的频率成分；

生成用以向所述图像信号的处理对象像素提供强调效果的信号；以及

根据基于所提取的所述频率成分的大小的判断，来将所述信号应用于亮度和饱和度没有降低的处理对象像素并输出该处理对象像素，或者在不将所述信号应用于亮度和饱和度降低的处理对象像素的情况下输出该处理对象像素。