CN100380915C - 图像处理装置及图像处理方法 - Google Patents

Abstract

提供一种图像处理装置及图像处理方法，生成并输出高质量的图像数据，可以有效执行紫边等的伪色的彩度减弱处理，并且防止彩度过度降低。算出对应像素的彩度减弱率，根据彩度减弱率执行像素的彩度减弱，并执行彩度校正，以便缩小彩度减弱像素的彩度和周围参照像素的彩度的差。根据这种结构，例如在紫边等的伪色像素的校正中，可以防止因过度的彩度降低造成的与周围像素的彩度背离而导致像素醒目。并且，使在彩度校正处理中参照的周围像素为沿着扫描线选择的像素，所以能够实现仅使用利用视频照相机等摄影的、沿着扫描线输入的像素信息的图像处理，可以实时地高效进行图像处理。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种图像处理装置及图像处理方法、以及计算机程序。具体讲涉及例如校正产生了由透镜的像差造成的伪色的图像数据、并生成高质量的图像数据的图像处理装置及图像处理方法、以及计算机程序。

背景技术

在利用照相机进行图像摄影时，由于透镜的像差产生各种问题。特别是在使用高倍率的透镜和制造成本低的透镜进行摄影时，其拍摄的图像中有产生以透镜的像差为起因的伪色的情况。在该伪色中，在拍摄如亮度差明显较大的场景(例如从树叶缝隙照进来的阳光)时，在低亮度部分的边缘附近有时产生紫色的彩度非常强的伪色。这被称为紫边(PF)，给画质带来不良影响。

这是由于点像分布根据光的波长而不同，在图像中的边缘部分产生伪色的现象。在普通像素中不那么显眼的情况下，如果存在产生了作为亮度水平中的饱和状态的偏白(白とび)的高对比度的边缘部分，则在其周边产生紫色的伪色，形成不自然的图像。一般，由于在偏白的附近产生的伪色多为紫色系列颜色，所以被称为紫边。其中，根据透镜、拍摄条件等，伪色的颜色有泛绿色的情况等多种多样。以下，紫边是指，与产生的颜色无关而偏白的高对比度的边缘部分的伪色发生现象。

作为减轻色像差的技术，有如下结构：应用使用了由萤石等特殊的原材料形成的玻璃的透镜。但是，由于制造这种透镜的成本高，所以价格昂贵，在透镜更换式照相机用等一些高级照相机中使用，但不能说被广泛普及。

并且，在专利文献1中公开了通过图像处理减轻由色像差产生的伪色的方法。该方法对绿色频道的高频分量较高的部分，进行抑制颜色、即进行降低彩度的处理。另外，作为产生偏白时的对策，公开了改变曝光来拍摄两张图像，推测偏白部分的原有亮度并进行降低彩度的处理的结构。

但是，在专利文献1所记载的处理中，根据偏白部分的亮度的推测结果判定彩度的降低程度，因此，假定推测错误时，有可能使得原有被摄体的颜色过度降低，结果，有产生不自然的结果图像的情况。并且，为了推测偏白部分的亮度，需要改变曝光进行两次拍摄，在产生手的晃动或被摄体晃动等的情况下，存在难以获得正确结果的问题。另外，必须改变曝光来拍摄，因此，在用视频照相机等进行动画摄影时，存在该方法不能适用的问题。

专利文献1：日本特开2003-60983号公报

发明内容

本发明就是鉴于上述问题而提出的，其目的在于，提供一种图像处理装置及图像处理方法、以及计算机程序，可以对利用视频照相机等摄影的动态图像进行有效的图像校正处理，对从摄像单元输入的固定帧频的图像数据执行实施实时图像处理并存储在存储器中或输出的处理。

本发明的目的在于，具体讲提供一种图像处理装置及图像处理方法、以及计算机程序，着重于在偏白部分周边产生的紫边等的伪色，有效检测该伪色区域，执行以对伪色的校正为中心的图像处理，由此可以生成高质量的图像数据。

本发明的目的在于，具体讲提供一种图像处理装置及图像处理方法、以及计算机程序，对从图像数据的构成像素选择的关注像素，算出作为表示是伪色的可能性的参数的伪色程度，算出基于伪色程度的彩度减弱率，通过基于所算出的彩度减弱率的彩度减弱处理和其后的彩度校正处理，可以生成不会产生过大的彩度降低的像素的高质量图像数据。

本发明的第一方面是一种图像处理装置，其特征在于，具有：校正参数算出部，根据伪色度算出对应各像素的彩度减弱率，作为处理图像的构成像素的校正参数；校正处理部，应用所述彩度减弱率，执行包括处理图像的构成像素的彩度减弱处理的像素值校正处理，所述校正处理部构成为具有：像素彩度减弱处理部，根据所述校正参数算出部算出的彩度减弱率，执行各像素的彩度减弱处理；像素彩度校正处理部，校正所述彩度减弱像素的彩度，以缩小在所述像素彩度减弱处理部被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述校正处理部构成为还具有模糊处理部，该模糊处理部对像素彩度校正处理部的输出数据执行模糊处理，以减少实施了彩度减弱处理的像素和周围像素的色相的差。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述像素彩度校正处理部把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行所述彩度减弱像素的彩度校正处理，以缩小该选择的参照像素的彩度和所述彩度减弱像素的彩度的差。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述像素彩度校正处理部把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行使所述彩度减弱像素的彩度接近参照像素中彩度最高的像素的彩度的处理。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述像素彩度校正处理部对位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素，在参照像素中彩度最高的像素的彩度小于等于所述彩度减弱像素的彩度减弱前的彩度时，执行使所述彩度减弱像素的彩度接近所述彩度减弱像素的彩度减弱前的彩度的处理。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述校正参数算出部算出从处理图像选择的关注像素的、a)作为关注像素的色相和伪色的色相的类似性信息的紫度、和b)关注像素距偏白像素的距离信息，算出c)根据所述紫度和距离信息算出的伪色度、和d)根据关注像素距偏白像素的方向信息算出的各方向增益，根据所述伪色度和所述各方向增益，算出对应关注像素的彩度减弱率。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述校正参数算出部算出关注像素的色相和伪色色相越类似、而且距偏白像素的距离越近其值越大的伪色度，算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，算出关注像素的伪色度越高、各方向增益越高，其值越大的彩度减弱率，所述像素彩度减弱处理部根据所述校正参数算出部算出的彩度减弱率，执行各像素的彩度减弱处理。

另外，在本发明的图像处理装置的一实施方式中，其特征在于，所述伪色是紫边，所述紫度是作为关注像素的色相和紫边的色相的类似性信息的紫度。

本发明的第二方面是一种图像处理方法，其特征在于，具有：校正参数算出步骤，根据伪色度算出对应各像素的彩度减弱率，作为处理图像的构成像素的校正参数；校正处理步骤，应用所述彩度减弱率，执行包括处理图像的构成像素的彩度减弱处理的像素值校正处理，所述校正处理步骤具有：像素彩度减弱处理步骤，根据在所述校正参数算出步骤算出的彩度减弱率，执行各像素的彩度减弱处理；像素彩度校正处理步骤，校正所述彩度减弱像素的彩度，以便缩小在所述像素彩度减弱处理步骤被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述校正处理步骤还具有模糊处理步骤，该模糊处理步骤对像素彩度校正处理步骤的输出数据执行模糊处理，以减少实施了彩度减弱处理的像素和周围像素的色相的差。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述像素彩度校正处理步骤把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行所述彩度减弱像素的彩度校正处理，以缩小该选择的参照像素的彩度和所述彩度减弱像素的彩度的差。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述像素彩度校正处理步骤把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行使所述彩度减弱像素的彩度接近参照像素中彩度最高的像素的彩度的处理。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述像素彩度校正处理步骤对位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素，在参照像素中彩度最高的像素的彩度小于等于所述彩度减弱像素的彩度减弱前的彩度时，执行使所述彩度减弱像素的彩度接近所述彩度减弱像素的彩度减弱前的彩度的处理。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述校正参数算出步骤算出从处理图像选择的关注像素的、a)作为关注像素的色相和伪色的色相的类似性信息的紫度、和b)关注像素距偏白像素的距离信息，算出c)根据所述紫度和距离信息算出的伪色度、和d)根据关注像素距偏白像素的方向信息算出的各方向增益，根据所述伪色度和所述各方向增益，算出对应关注像素的彩度减弱率。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述校正参数算出步骤算出关注像素的色相和伪色色相越类似、距偏白像素的距离越近其值越大的伪色度，算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，算出关注像素的伪色度越高、各方向增益越高，其值越大的彩度减弱率，所述像素彩度减弱处理步骤根据所述校正参数算出步骤算出的彩度减弱率，执行各像素的彩度减弱处理。

另外，在本发明的图像处理方法的一实施方式中，其特征在于，所述伪色是紫边，所述紫度是作为关注像素的色相和紫边的色相的类似性信息的紫度。

另外，本发明的第三方面是一种计算机程序，使在计算机上执行图像处理，其特征在于，具有：校正参数算出步骤，算出对应各像素的彩度减弱率，作为处理图像的构成像素的校正参数；校正处理步骤，应用所述彩度减弱率，执行包括处理图像的构成像素的彩度减弱处理的像素值校正处理，所述校正处理步骤具有：像素彩度减弱处理步骤，根据在所述校正参数算出步骤算出的彩度减弱率，执行各像素的彩度减弱处理；像素彩度校正处理步骤，校正所述彩度减弱像素的彩度，以缩小在所述像素彩度减弱处理步骤被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差。

另外，本发明的计算机程序是可以通过向例如可以执行各种程序代码的通用计算机系统以计算机可读的形式提供的存储介质、通信介质例如CD和FD、MO等存储介质的计算机程序，或者是可以通过网络等通信介质提供的计算机程序。通过以计算机可读的形式提供这种程序，可以在计算机系统上实现对应程序的处理。

本发明的另外其他目的、特征和优点，根据基于后述的本发明的实施例和附图的详细说明将更加明确。另外，在本说明书中，所说系统指多个装置的逻辑集合结构，不限于各个构成装置位于同一壳体内。

根据本发明的结构，由于采用以下结构：作为处理图像的构成像素的校正参数，算出对应各像素的彩度减弱率，根据所算出的彩度减弱率执行各像素的彩度减弱处理，并且校正彩度减弱像素的彩度，以缩小被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差，所以例如在紫边等的伪色像素的校正处理中，能够防止因过度的彩度降低造成的与周围像素的彩度背离而导致像素醒目，生成高质量的校正图像数据。

另外，根据本发明的结构，由于采用以下结构：算出对应各像素的彩度减弱率，根据所算出的彩度减弱率执行各像素的彩度减弱处理，并且校正彩度减弱像素的彩度，以缩小被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差，使在彩度校正处理中参照的周围像素成为沿着扫描线选择的像素，所以能够实现仅使用利用视频照相机等摄影的、沿着扫描线输入的像素信息的图像处理，可以实时地高效进行图像处理。

另外，根据本发明的结构，采用以下结构：在算出作为校正参数的彩度减弱率时，算出关注像素的色相和伪色色相越类似、距偏白像素的距离越近其值越大的伪色度，算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，算出关注像素的伪色度越高、各方向增益越高，其值越大的彩度减弱率，在像素彩度减弱处理中，采用根据具有这种性质的彩度减弱率执行各像素的彩度减弱处理的结构，所以在与关注像素相同的扫描线上存在非伪色的普通像素的情况下，可以执行基于高彩度减弱率的彩度降低处理，然后执行基于普通像素的彩度信息的彩度校正。并且，在与关注像素相同的扫描线上不存在非伪色的普通像素的情况下，设定为降低彩度减弱率来进行彩度减弱处理，所以在其后的彩度校正处理中不能获取普通像素的彩度信息的情况下，也能够生成使与周围像素的彩度差不会过大的高质量的校正图像数据。

附图说明

图1是表示本发明的图像处理装置的结构的图。

图2是说明伪色(PF)像素的彩度校正处理中的问题点的图。

图3是说明本发明的图像处理装置的数字信号处理部(DSP)的处理结构的图。

图4是说明本发明的图像处理装置的数字信号处理部(DSP)的伪色(PF)校正处理单元的处理结构的图。

图5是说明本发明的图像处理装置的数字信号处理部(DSP)的伪色(PF)校正处理单元的处理步骤的流程图。

图6是说明伪色(PF)校正处理单元执行的偏白检测处理的处理步骤的流程图。

图7是说明伪色(PF)校正处理单元执行的距偏白的距离/方向计算处理的处理步骤的流程图。

图8是详细说明距偏白的距离/方向矢量计算部的偏白搜索范围(x₀，y₀，x₁，y₁)的算出处理的图。

图9是详细说明距偏白的距离/方向矢量计算部的偏白距离D计算处理的图。

图10是说明偏白程度计算部应用的查询表(LUT)的图。

图11是说明在各方向增益计算部中执行的处理步骤的流程图。

图12是说明将与每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]按方向(angle)分类为0、1、2、3、4的五个的例子的图。

图13是说明一边沿着扫描线读取像素信息一边执行像素值的校正的处理的图。

图14是说明CbCr色差平面中的伪色(PF)色相和紫度[Pr]的设定例的图。

图15是详细说明像素彩度校正处理部的处理的流程图。

图16是详细说明像素色差分量模糊处理部的处理的流程图。

符号说明

101：透镜

102：光圈

103：固体摄像元件

104：相关双采样电路

105：A/D转换器

106：D SP单元

107：时序发生器

108：D/A转换器

109：视频编码器

110：视频监视器

111：编解码器(CODEC)

112：存储器

113：CPU

114：输入设备

150：偏白像素

151：伪色(PF)像素

152：普通像素

155：物体轮廓

160：偏白像素

161：伪色(PF)像素

162：普通像素

165：物体轮廓

201：白平衡调整单元

202：伽玛校正处理单元

203：反马赛克处理单元

204：YCbCr转换单元

205：边缘强调处理单元

206：伪色(PF)校正处理单元

251：马赛克图像数据

252：YCbCr图像

300：校正参数(彩度减弱率)算出部

301：偏白检测部

302：距偏白的距离/方向矢量计算部

303：偏白程度计算部

304：各方向增益计算部

305：紫度计算部

306：伪色程度计算部

307：彩度减弱率计算部

310：校正处理部

311：像素彩度减弱处理部

312：像素彩度校正处理部

313：像素色差分量模糊处理部

351：YCbCr输入图像

371：YCbCr输出图像

400：图像中心像素

401：图像端像素

402：关注像素(x，y)

410：关注像素(x，y)

420：偏白搜索范围

421～424：像素

500：图像帧

511：关注像素

512：可参照像素区域

513：偏白像素

514：普通像素

521：关注像素

522：可参照像素区域

523：偏白像素

524：普通像素

601：伪色(PF)色相线

602：关注像素色相线

611、612：紫度[Pr]0线

具体实施方式

以下，参照附图，详细说明本发明的图像处理装置及图像处理方法、以及计算机程序。

首先，参照图1说明图像处理装置的结构例。另外，图1所示图像处理装置表示具有摄像部，并执行在摄像部中拍摄的图像数据的校正处理的装置示例，但是，本发明的图像处理装置例如可以输入存储在硬盘等存储部中的图像数据并执行输入图像的校正，校正处理对象的图像数据除了通过摄像部输入的数据外，还可以对应于通过存储单元或网络输入的图像数据等所有输入图像数据。图1表示本发明的图像处理装置的一个结构例。

说明图1所示图像处理装置的具体结构。如图1所示，图像处理装置由以下部分构成：透镜101；光圈102；固体摄像元件(CCD)103；相关双采样电路104；A/D转换器105；DSP单元106；时序发生器107；D/A转换器108；视频编码器109；视频监视器110；编解码器(CODEC)111；存储器112；CPU 113；输入设备114。

输入设备114包括存在于照相机主体的录像按钮等的操作按钮类。并且，DSP模块106是具有信号处理用处理器和图像用RAM的模块，信号处理用处理器可以对存储在图像用RAM中的图像数据预先进行程序化的图像处理。以下，将DSP单元只称为DSP。

以下，说明本实施例的整体动作。

通过光学系统到达固体摄像元件(CCD)103的入射光，首先到达摄像面上的各感光元件，通过在感光元件中的光电转换被转换为电信号，通过相关双采样电路104去除噪声，通过A/D转换器105被转换为数字信号后，临时存储在数字信号处理部(DSP)106中的图像存储器中。

在拍摄中状态下，时序发生器107控制信号处理系统，以保持固定帧频的图像取入。按照固定的速率也向数字信号处理部(DSP)106传输像素的流，在那里进行了适当的图像处理后，图像数据传输给D/A转换器108或编解码器(CODEC)111或者双方。D/A转换器108将由数字信号处理部(DSP)106传输的图像数据转换为模拟信号，并由视频编码器109将其转换为视频信号，可以由视频监视器110监视该视频信号，该视频监视器110在本实施例中发挥照相机的取景器的作用。并且，编解码器(CODEC)111进行对由数字信号处理部(DSP)106传输的图像数据的编码，被编码的图像数据存储到存储器112中。在此，存储器112也可以是使用半导体、磁记录介质、光磁记录介质、光记录介质等的记录装置等。

以上说明了作为本实施例的图像处理装置的一个例子的数字视频照相机的整体系统，但与本发明有关的图像处理、即图像数据的校正处理是在数字信号处理部(DSP)106中执行的。

以下，详细说明在本发明的图像处理装置的数字信号处理部(DSP)106中执行的图像数据校正处理。在本发明的图像处理装置中执行的图像处理，主要是检测产生在偏白周边的紫边等伪色而算出各像素的伪色程度，并执行与算出的伪色程度对应的合适的校正，通过该校正处理生成高质量的图像数据。

首先，说明伪色(紫边)的发生方式和本发明的处理概要。伪色(紫边)是由色像差造成的色偏移，明显表现在偏白像素部分周边的现象。偏白像素是指亮度水平接近饱和水平的高亮度像素。在作为这样的高亮度像素的偏白像素的周边像素中，产生与原来被摄体的色相不同的例如紫色的伪色。该伪色像素被称为紫边(PF)。

产生伪色(PF：紫边)的偏白周边范围的大小，与光学系统的光圈、焦点距离相关，并且也依赖于距光学中心的距离，大小发生变化。并且，产生伪色的方向，分别在从光学中心朝向偏白像素的外侧的方向、从偏白像素朝向光学中心的方向上产生，其趋势根据拍摄的光学系统而不同。

在本发明的图像处理中，将作为摄影图像进行输入的图像帧的构成像素依次选择为关注像素，判定关注像素附近是否存在偏白像素，并且判断该关注像素是否是紫色且彩度非常强。即，满足

(a)在关注像素附近存在偏白像素

(b)关注像素为紫色

(c)关注像素的彩度非常强

这些条件的像素，被判定是伪色(PF：紫边)像素，执行校正处理。

作为校正处理的方式有如下方法，例如，获取存在于所检测的伪色像素周边的非伪色(PF)像素的像素值，执行将所获取的像素值的平均值作为伪色像素的像素值等基于所谓周边像素的插值处理，从而进行伪色(PF)像素的校正处理。但是，获取这样的周边像素的像素值，并根据所获取的像素值算出对伪色像素进行设定的像素值，将算出像素值再次设定为伪色像素的像素值，这种插值处理存在处理负荷变大的问题。

例如，对在视频照相机的摄影图像中以固定帧频输入的图像执行上述插值处理时，校正处理跟不上视频帧频的可能性较大，作为对视频照相机的摄影图像的处理不现实。

在本发明的图像处理中，不进行应用了上述周围像素的像素值的插值处理，而进行像素的彩度的降低处理。但是，将满足上述判定条件(a)～(c)的像素选择为伪色(PF)像素，只对选择的伪色(PF)像素执行彩度降低处理时，根据进行了彩度降低处理的伪色(PF)像素的周围像素的彩度，有时只有伪色(PF)像素部分的褪色变得明显，成为看起来不自然的图像。

参照图2说明该现象。图2是说明在与作为高亮度像素的偏白像素相邻的区域存在伪色(PF)像素时的处理示例的图。图2(A)和(B)分别表示构成像素的彩度不同时的处理。在图2(A)、(B)中，(A0)及(B0)表示处理前的像素结构，存在与具有大致饱和亮度水平的偏白像素150、160相邻而作为紫边像素的伪色(PF)像素151、161。另外，图中所示的偏白像素150、160、伪色(PF)像素151、161、普通像素152、162，表示不是由一个像素而是由多个像素构成的像素组。

在伪色(PF)像素151、161周边邻接着具有非伪色像素的作为被摄体的物体色相、彩度的普通像素152、162。在此，图中所示虚线是作为被摄体的物体的轮廓即物体轮廓155、165。图2(A)和(B)的差别在于与伪色(PF)像素151、161邻接的普通像素152、162的彩度。

图2(A)的情况下，与伪色(PF)像素151邻接的普通像素152的彩度是较高的高彩度像素。图中所示黑圆示意性地表示各像素的彩度水平。上方向是高彩度，下方向表示低彩度。图2(B)的情况下，与伪色(PF)像素161邻接的普通像素162的彩度是较低的低彩度像素。图中所示黑圆示意性地表示各像素的彩度水平。上方向是高彩度，下方向是低彩度。另外，伪色(PF)像素151、161的彩度较高，作为色相形成为紫色像素，没有反映作为原来被摄体的物体颜色和彩度。在这样的情况下，进行伪色(PF)像素151、161的彩度降低处理时，大多数情况下伪色(PF)像素151、161变得不显眼，能够得到被改善的图像。

但是，如前面所述，根据情况，即根据伪色(PF)像素的周围像素具有的彩度，有时只有伪色(PF)像素部分的褪色比较明显，成为看起来不自然的图像。

图2(A)中的伪色(PF)像素151和图2(B)中的伪色(PF)像素161都是满足上述条件、即是满足

(a)在关注像素附近存在偏白像素

(b)关注像素为紫色

(c)关注像素的彩度非常强

这些条件的像素，判定为是伪色(PF：紫边)像素，并执行彩度降低处理。

伪色像素的彩度降低处理的结果，在图2(A)中是(A1)、(A2)，(A1)是稍微降低伪色(PF)像素151的彩度的处理结果，(A2)是大幅降低伪色(PF)像素151的彩度的处理结果。图2(B)也相同，(B1)是稍微降低伪色(PF)像素161的彩度的处理结果，(B2)表示大幅降低伪色(PF)像素161的彩度的处理结果。图中所示的黑圆标记的朝向下方向的移动量相当于彩度的降低量。

如图2(A2)所示，在大幅降低伪色(PF)像素151的彩度时，尽管邻接的普通像素152是高彩度，但只有伪色(PF)像素151的彩度大幅降低，在两个像素间产生明显的彩度等级差别。本来，伪色(PF)像素151和普通像素152都是表示由物体轮廓155划区的两个物体的像素，应该不会产生较大的彩度差。但是，在图2(A2)所示的校正处理图像中，实施了视觉上彩度降低处理的伪色(PF)像素151的彩度，降低为与普通像素152相差悬殊的彩度，该彩度降低像素形成在视觉上显眼的像素，看起来非常不自然。在这样的情况下，可以说彩度降低的校正处理与图像质量的提高没有关系。

在本发明的图像处理中，在这样的像素结构的情况下，对伪色(PF)像素151的彩度进行使其与相邻的普通像素152的彩度相比不大幅降低的校正，从而消除不自然感。例如，进行(A1)所示程度的伪色(PF)像素151的彩度降低处理，使与普通像素152的彩度差不会过度变大。

另一方面，如图2(B)所示，在与伪色(PF)像素161邻接的普通像素162的彩度是较低的低彩度像素时，如图2(B2)所示，即使进行大幅降低伪色(PF)像素161的彩度的处理，与相邻的普通像素162的彩度差也不会变大，进行了彩度降低处理的伪色(PF)像素161不会变得显眼。即，此时，由于相邻的普通像素162的彩度较低、两个像素间的彩度差较小，因此不会在视觉上感觉到不自然。

相反，这样邻接的普通像素162的彩度较低时，如(B 1)所示，在对伪色(PF)像素161实施了将降低量设定得较小的彩度降低处理的情况下，在伪色(PF)像素161的彩度和普通像素162的彩度之间将残留差异，伪色(PF)像素161变得显眼，作为紫边成为在视觉上能够识别的不自然的图像。因此，是如(B)的像素结构时，最好对伪色(PF)像素161实施将降低量设定得较大的彩度降低处理。

在本发明的图像处理中，在进行伪色(PF)像素的彩度降低处理时，进行不增大与存在于伪色(PF)像素的周边区域中的像素的彩度差的彩度调整处理，生成高质量的校正图像。以下，详细说明本发明的图像处理。

在本发明的图像处理中，例如对于在图1所示的图像处理装置的摄像部中拍摄并输入到数字信号处理部(DSP)106的各图像帧的构成像素，算出后述的伪色程度(PF程度)，并进行基于与算出的各像素对应的伪色程度(PF程度)的校正处理。PF指紫边(Purple Fringe)。

另外，如前面所述，将在引起作为亮度水平的饱和状态的偏白的、高对比度的边缘部分产生的、由透镜像差造成的伪色为代表的现象称为紫边，但是伪色的颜色不限于紫色，例如有时也是泛绿的颜色。在以下实施例中，说明了作为产生紫色的伪色的例子，但本发明不限于紫色，也可以应用于具有在偏白附近产生的任意颜色的伪色的校正处理。

参照图3，说明在本发明的图像处理装置中的数字信号处理部(DSP)106中执行的图像处理的整体顺序。在数字信号处理部(DSP)106执行例如根据计算机程序的数据处理。图3是用于说明在数字信号处理部(DSP)106中执行的处理、按照各功能模块表示的框图。

数字信号处理部(DSP)106如图3所示，由如下构成：白平衡调整单元201、伽玛校正处理单元202、反马赛克处理单元203、YCbCr转换单元204、边缘强调处理单元205、伪色(PF)校正处理单元206。

由图1所示图像处理装置的固体摄像元件(CCD)103获取的图像信号是颜色的马赛克图像251。例如，进行通过具有基色系的颜色排列(例如拜尔排列)等颜色排列的滤色器的摄像时，对于各像素仅获取特定波长的信号、即特定波长的颜色分量数据。例如，在使用拜尔排列的单板彩色方式的固体摄像元件时，固体摄像元件的输出图像成为各像素只具有R、G、B任一个的信息的颜色马赛克图像数据251。

数字信号处理部(DSP)106输入该颜色马赛克图像数据251，首先在白平衡调整单元201执行白平衡调整，然后在伽玛校正处理单元202进行伽玛校正处理，在反马赛克处理单元203执行根据颜色马赛克图像将RGB数据设定到所有像素中的作为数据生成处理的反马赛克处理。

然后，将所有像素中设定了RGB数据的反马赛克图像数据输入到YCbCr转换单元204，并在YCbCr转换单元204中执行RGB信号向YCbCr颜色空间的转换处理，分离为亮度信号(Y)和颜色信号(Cb、Cr)，将亮度信号(Y)输入到边缘强调处理单元205，执行基于亮度信号(Y)的边缘强调处理。

然后，在伪色(PF)校正处理单元206中，输入边缘强调处理后的亮度信号(Y)和颜色信号(Cb、Cr)，执行伪色(PF)校正处理，输出由被校正的亮度信号(Y)和颜色信号(Cb、Cr)构成的YCbCr图像数据252。基于YCbCr图像数据252的图像数据被存储在图像处理装置内的存储器中，并且输出到监视器单元等输出部。

图3所示处理结构中，白平衡调整单元201～边缘强调处理单元205的处理，是与在以往的数字视频照相机等图像处理装置中执行的处理相同的处理，省略详细说明。伪色(PF)校正处理单元206的处理是本发明特有的处理，以下，详细说明在伪色(PF)校正处理单元206中执行的处理。

图4示出了说明伪色(PF)校正处理单元206的处理的框图。如前面所述，在数字信号处理部(DSP)106中，例如执行基于计算机程序的数据处理。图4与图3相同，是用于说明在数字信号处理部(DSP)106执行的处理、按照各功能模块表示的框图。图4所示的各模块与在伪色(PF)校正处理单元206中执行的各个处理功能对应，将在各处理功能间传送接收的数据，表示为由上下线夹着的数据。

伪色(PF)校正处理单元206如图4所示，大致划分为两个处理部。一个是校正参数(彩度减弱率)算出部300，另一个是校正处理部310。在校正参数(彩度减弱率)算出部300中，根据作为输入图像数据的YCbCr输入图像351，对输入图像的各构成像素，算出作为与伪色(PF)的近似程度的指标值的伪色度，根据算出的伪色度，进一步计算作为校正参数的彩度减弱率。伪色度及彩度减弱率作为关于图像数据的各构成像素的像素对应值被依次算出。

校正处理部310输入与校正参数(彩度减弱率)算出部300算出的像素对应的彩度减弱率，根据输入的彩度减弱率，执行作为输入图像数据的YCbCr输入图像351的构成像素的像素值校正，具体讲执行彩度减弱处理、彩度校正处理、模糊处理的各处理。校正处理部310的校正处理的结果，作为校正结果图像、即YCbCr输出图像371被输出，基于YCbCr输出图像371的图像数据被存储到存储器或者输出到监视器。

首先，说明在图4所示伪色(PF)校正处理单元206中执行的一系列处理的概要。关于各构成部的处理将在后面详细说明。由图3的YCbCr转换单元204和边缘强调处理单元205实施了边缘强调处理的YCbCr图像351，分成亮度分量[Y]352和色差分量[C]353而输入到伪色(PF)校正处理单元206。输入例如是对沿着扫描线的每个像素，依次输入亮度分量[Y]352和色差分量[C]353。

首先，校正参数(彩度减弱率)算出部300的偏白检测部301，使用亮度分量[Y]352进行偏白检测处理，并输出偏白检测对应图[W]354。在距偏白的距离/方向矢量计算部302中，将该偏白输出对应图[W]354作为输入，进行从偏白像素到关注像素的距离及方向矢量的计算处理，输出到最近的偏白为止的距离[Wi]355和最近的偏白所在的方向矢量[WDirect]356。

偏白程度计算部303将到最近的偏白为止的距离[Wi]355作为输入，进行偏白程度计算处理，将偏白程度[Wr]输出到伪色度计算部306。另一方面，最近的偏白所在的方向矢量[WDirect]356被输入到各方向增益计算部304，根据方向矢量[WDirect]356，算出各方向增益[Dr]，输出到彩度减弱率计算部307。

另一方面，输入图像351的色差分量[C]353，被输入到紫度计算部305，算出基于色差分量[C]353的紫度[Pr]357，并将算出的紫度[Pr]357输出到伪色度计算部306。

伪色度计算部306将紫度[Pr]357和偏白程度[Wr]356作为输入，算出伪色度[PFr]358，将算出的伪色度[PFr]358输出到彩度减弱率计算部307。

彩度减弱率计算部307，将伪色度[PFr]358和各方向增益[Dr]359作为输入，根据这些输入值算出彩度减弱率[R]360，并输出到校正处理部310的各个构成部、即像素彩度减弱处理部311、像素彩度校正处理部312、像素色差分量模糊处理部313。

像素彩度减弱处理部311输入输入图像351的色差分量[C]353，根据从校正参数(彩度减弱率)算出部300输入的彩度减弱率[R]360，进行伪色(PF)像素部分的彩度减弱处理，将伪色(PF)部分彩度减弱结果图像[Cs]361输出到像素彩度校正处理部312。

像素彩度校正处理部312从像素彩度减弱处理部311输入伪色(PF)部分彩度减弱结果图像[Cs]361，执行彩度降低量的校正。即，在像素彩度减弱处理部311中检测彩度过度降低了的部分等，进行将周边像素的彩度作为参考的彩度校正处理。

像素彩度校正处理部312，在像素彩度减弱处理部311中，将执行了彩度降低处理的像素、即主要被判定为伪色(PF)的像素选择为校正对象，进行校正处理。即，由于彩度校正的对象范围是降低了彩度的部分，所以需要选择彩度减弱率[R]360不是0的像素，因此，像素彩度校正处理部312输入彩度减弱率[R]360，选择彩度减弱率[R]360≠0的像素，进行彩度校正。

像素彩度校正处理部312将作为进行了彩度校正的结果图像的彩度校正图像[Cc]362输出到像素色差分量模糊处理部313。像素色差分量模糊处理部313，对于彩度校正图像[Cc]362中的色差分量，执行施加Blur的处理，即执行模糊处理。关于模糊处理，并不是对所有像素执行，而是把包括执行了彩度减弱、校正处理的像素的区域选择为处理对象，执行模糊处理。像素色差分量模糊处理部313为了选择该处理对象区域，输入彩度减弱率[R]360，选择彩度减弱率[R]360≠0的像素，确定模糊处理的处理对象区域，进行模糊处理。

像素色差分量模糊处理部313执行模糊处理，生成作为校正结果的校正色差分量图像[Ctemp]363并输出。校正色差分量图像[Ctemp]363与亮度分量[Y]365进行合成，作为最终的YCbCr输出图像371输出。作为该校正处理结果的YCbCr输出图像371被存储到图像处理装置内的存储器，并且输出到监视器单元等输出部。

图5表示说明上述伪色(PF)校正处理单元206执行的一系列处理的处理步骤的流程图。步骤S101～S106的处理相当于校正参数(彩度减弱率)算出部300的处理，步骤S107～S109的处理相当于校正处理部310的处理。

步骤S101是校正参数(彩度减弱率)算出部300的偏白检测部301的偏白检测处理，步骤S102是距偏白的距离/方向矢量计算部302的距偏白的距离/方向矢量计算处理，步骤S103是偏白程度计算部303的偏白程度计算处理、和各方向增益计算部的各方向增益计算处理，步骤S104是紫度计算部305的紫度计算处理，步骤S105是伪色度计算部306的伪色度计算处理，步骤S106是彩度减弱率计算部307的彩度减弱率计算处理。

步骤S107是校正处理部310的像素彩度减弱处理部311的伪色(PF)像素彩度减弱处理，步骤S108是像素彩度校正处理部312的伪色(PF)像素彩度校正处理，步骤S109是像素色差分量模糊处理部313的伪色(PF)像素色差分量模糊处理。执行以上的处理步骤，生成并输出作为最终校正图像数据的YCbCr输出图像371。

以下，详细说明伪色(PF)校正处理单元206的各构成部的处理。另外，在本实施例中，作为处理对象的图像数据是图像的横宽＝width、图像的纵宽＝height的图像帧数据，沿着图像帧数据的扫描线，依次输入各构成像素对应数据，进行校正处理。

首先，说明校正参数(彩度减弱率)算出部300的处理。如前面所述，在校正参数(彩度减弱率)算出部300的中，算出伪色(PF)度，并根据算出的伪色度，进一步计算作为校正参数的彩度减弱率。伪色(PF)度是对于图像数据的各构成像素算出的，根据从偏白像素到各像素的距离、和各像素的色相相对于伪色(紫边)色相的相似性而被算出。在本实施例中，将存在于距偏白像素较近的位置的紫色的像素，推测为伪色(PF：紫边)像素。因此，距偏白像素的距离越近、越接近紫色，伪色(PF)度越高。

偏白检测部301

校正参数(彩度减弱率)算出部300的偏白检测部301，使用亮度分量[Y]352进行偏白检测处理，并输出偏白检测对应图[W]354。图6示出了说明偏白检测部301执行的处理步骤的流程图。按照流程图说明偏白检测部301执行的处理。图6所示流程是与图5的流程图的步骤S101的处理对应的处理。

图6所示的处理流程，表示两个框，

外框表示For(y＝0；y＜height；y＝y+1)，

内框表示For(x＝0；x＜width；x＝x+1)，

但表示步骤S 201～S205的内框，执行对

For(x＝0；x＜width；x＝x+1)

的处理、即执行沿着作为图像数据的一个扫描线的x轴的处理，沿着x轴对0～width的每个像素执行步骤S201～S205的处理。一个扫描线结束时，同样执行下一个扫描线处理。这如图6的外框所示，作为对

For(y＝0；y＜height；y＝y+1)

的处理被执行，并沿着与扫描线垂直的y轴，使扫描线逐个移动，执行For(x＝0；x＜width；x＝x+1)的处理、即沿着x轴对0～width的每个像素执行步骤S201～S205的处理。结果，对于图像帧中的(x＝0～width，y＝0～height)的所有构成像素，依次执行步骤S201～S205的处理。

说明各步骤的处理。在步骤S201中，偏白检测部301从输入的亮度分量图像[Y]352获取各像素的亮度值。关注像素是像素(x，y)，将关注像素(x，y)的亮度值设为Y(x，y)。在步骤S 202中，比较关注像素的亮度值Y(x，y)和预先设定的阈值。

在步骤S203～S205中，如果关注像素(x，y)的亮度值Y(x，y)＝value大于阈值，则关注像素(x，y)的标志(flag)＝[true]，否则，标志(flag)＝[false]，对偏白检测对应图[W(x，y)]354进行设定。对构成横宽＝width、纵宽＝height的图像的所有像素(x＝0～width，y＝0～height)，进行该判定，完成设定了各像素对应的标志(true或false)的偏白检测对应图[W(x，y)]354，输出到距偏白的距离/方向矢量计算部302。

距偏白的距离/方向矢量计算部302

在距偏白的距离/方向矢量计算部302中，将偏白输出对应图[W]354作为输入，进行从偏白像素到关注像素(x，y)的距离及方向矢量的计算处理，输出最接近关注像素(x，y)的偏白像素、即到最近的偏白为止的距离[Wi]355、和表示离关注像素(x，y)最近的偏白所在的方向的方向矢量[WDirect]356。参照图7的流程图，说明距偏白的距离/方向矢量计算部302的处理。图7所示的流程是与图5的流程图的步骤S102的处理对应的处理。

另外，图7所示的处理流程与图6的流程相同，也具有两个框，即，表示为For(y＝0；y＜height；y＝y+1)的外框、和表示为For(x＝0；x＜width；x＝x+1)的内框，对处理对象图像帧中的(x＝0～width，y＝0～height)的构成像素，依次执行各步骤的处理。

首先，在步骤S301中，进行对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)的算出。对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)的设定处理，是对有可能存在于关注像素(x，y)的附近区域的偏白像素的搜索区域进行设定的处理。后面详细说明该处理。

在步骤S302，将表示关注像素(x，y)和偏白像素的最短距离的变量[Dmin]初始化。然后，进入步骤S303，在对关注像素(x，y)设定的偏白搜索范围(x₀，y₀，x₁，y₁)内，执行偏白像素的检测，执行步骤S304～S308的处理，求出关注像素(x，y)和偏白像素的最短距离[Dmin]、和从关注像素(x，y)到偏白像素的方向(sx，sy)＝(|s|，|t|)。另外，步骤S 303的处理、即步骤S304～S308的处理，是对偏白搜索范围(x₀，y₀，x₁，y₁)内的构成像素(s＝x₀～x₁，t＝y₀～y₁)依次执行的处理。

说明步骤S304～S308的处理。在步骤S304中，在由步骤S301设定的偏白搜索范围(x₀，y₀，x₁，y₁)内进行偏白搜索。偏白搜索是根据在偏白检测部301中生成的偏白对应图[W]351执行的。在步骤S304中，对关于从偏白搜索范围(x₀，y₀，x₁，y₁)内依次选择的选择像素(s，t)的偏白对应图[W]351的标志W(s，t)进行判定。

如果标志W(s，t)＝true时，则像素(s，t)是偏白像素，如果标志W(s，t)＝false时，则像素(s，t)不是偏白像素。标志W(s，t)＝true、像素(s，t)是偏白像素时，进入步骤S305，算出关注像素(x，y)和偏白像素的距离[D]，在步骤S306中，执行与最短距离[Dmin]的比较，算出距离[D]小于最短距离[Dmin]时，在步骤S307中执行最短距离[Dmin]的更新处理。并且，在步骤S308中，求出从关注像素(x，y)到最短距离的偏白像素的方向矢量(sx，sy)＝(|s|，|t|)。

对构成横宽＝width、纵宽＝height的图像的所有像素(x＝0～width，y＝0～height)执行这些处理，在步骤S309中，生成到最近的偏白为止的距离[Wi(x，y)＝Dmin]355，在步骤S310中，生成最近的偏白所在的方向矢量[WDirect(x，y)＝(sx，sy)]356。

到最近的偏白为止的距离[Wi(x，y)＝D min]355被输出到偏白程度计算部303，最近的偏白所在的方向矢量[WDirect(x，y)＝(sx，sy)]356被输出到各方向增益计算部304。

下面，说明图7的流程图所示的距偏白的距离/方向矢量计算部302的各处理步骤的详细处理。首先，参照图8详细说明步骤S301的处理、即对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)的算出处理。如前面所述，对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)的设定处理，是对有可能存在于关注像素(x，y)的附近区域的偏白像素的搜索区域进行设定的处理。伪色(PF)像素以产生偏白的部分为中心，在其附近产生，但根据偏白在图像上的位置，产生伪色(PF)像素的范围不同。

例如，从相当于光学中心的图像中心部越到朝向图像端的方向，越容易产生伪色(PF)，并且有伪色(PF)表现得比较大的情况。这根据光学系统的种类、光圈/焦点距离等的设定、关注像素的位置，伪色(PF)产生的范围特征不同。

在本实施例中，在关注像素(x，y)是伪色(PF)像素的情况下，在图7所示的流程的步骤S301中，执行对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)的算出。关于偏白搜索范围的设定有各种方法，但在本实施例中，如图8所示，预先对与存在于处理对象图像(宽＝width，高＝height)的中心部的图像中心像素400对应的偏白搜索范围(Scox，Scoy，Scix，Sciy)、和与存在于图像端部的图像端像素401对应的偏白搜索范围(Seox，Seoy，Seix，Seiy)进行设定，将这些保持为表数据，对应关注像素(x，y)402的偏白搜索范围(x₀，y₀，x₁，y₁)＝(Sox，Soy，Six，Siy)，按照关注像素(x，y)的像素位置，并根据与作为表数据已设定的图像中心像素和端部像素对应的偏白搜索范围数据进行算出。

具体说明对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)＝(Sox，Soy，Six，Siy)的算出处理。对应关注像素(x，y)的偏白搜索范围(x₀，y₀，x₁，y₁)＝(Sox，Soy，Six，Siy)根据以下的算出式求出。即，

公式1

$\mathrm{Sox}=\mathrm{Scox}\×\frac{\mathrm{dx}-{\mathrm{dx}}^{\′}}{\mathrm{dx}}+\mathrm{Seox}\×\frac{{\mathrm{dx}}^{\′}}{\mathrm{dx}}$

$\mathrm{Soy}=\mathrm{Scoy}\×\frac{\mathrm{dy}-{\mathrm{dy}}^{\′}}{\mathrm{dy}}+\mathrm{Seoy}\×\frac{{\mathrm{dy}}^{\′}}{\mathrm{dy}}$

$\mathrm{Six}=\mathrm{Scix}\×\frac{\mathrm{dx}-{\mathrm{dx}}^{\′}}{\mathrm{dx}}+\mathrm{Seix}\×\frac{{\mathrm{dx}}^{\′}}{\mathrm{dx}}$

$\mathrm{Siy}=\mathrm{Sciy}\×\frac{\mathrm{dy}-{\mathrm{dy}}^{\′}}{\mathrm{dy}}+\mathrm{Seiy}\×\frac{{\mathrm{dy}}^{\′}}{\mathrm{dy}}$

…(式1)

另外，在上式中，Scox、Scoy、Scix、Sciy是在处理对象图像(宽度＝width，高度＝height)的中心部的偏白搜索范围(Scox，Scoy，Scix，Sciy)，Seox、Seoy、Seix、Seiy是在图像端部的偏白搜索范围(Seox，Seoy，Seix，Seiy)。

并且，dx、dy：是从图像中心到图像端的距离，

dx＝width/2，dy＝height/2。

并且，dx’、dy’：是从图像中心到关注像素(x，y)的距离，

dx’＝|x-width/2|，dy’＝|y-height/2|。

其中，该偏白搜索范围的计算处理，可以构成为在变更关注像素时逐次进行基于上式(式1)的计算，也可以构成如下：在变更关注像素时不执行基于上式(式1)的计算，而利用对应前面的关注像素的偏白搜索范围数据，求出对应下一关注像素的偏白搜索范围。即，通过只加算相对与前面的关注像素对应的偏白搜索范围数据的变动部分，构成为算出对应下一关注像素的偏白搜索范围数据，从而可以减弱计算量。

例如，关于作为与关注像素(x，y)对应的偏白搜索范围(x₀，y₀，x₁，y₁)＝(Sox，Soy，Six，Siy)的构成数据之一的[Sox]，根据上式(式1)，对每(dx/(Scox-Seox))像素增加1或减少1。因此，预先计算(dx/(Scox-Seox))，在关注像素移动(dx/(Scox-Seox))时，使设定在已算出的偏白搜索范围的[Sox]的值变动1个即可。对于其他的值Soy、Six、Siy，也可以通过相同处理算出。这样，利用与前面的关注像素对应的偏白搜索范围数据，求出与下一的关注像素对应的偏白搜索范围，从而能够进行减少了计算负荷的高效处理。

下面，参照图9详细说明图7的流程图中的步骤S305的偏白距离D的计算处理。在算出从关注像素到偏白像素的距离时，与偏白像素的搜索范围设定处理相同，需要考虑伪色(PF)的产生方向。图9是表示相对关注像素(x，y)410的偏白搜索范围420的图。

图9所示的对应关注像素(x，y)410的偏白搜索范围420、即存在于(x₀，y₀，x₁，y₁)＝(Sox，Soy，Six，Siy)的端部的像素421～424的4个点上的偏白存在可能性的程度相同。如前面所述，伪色(PF)像素以产生偏白的部分为中心，在其附近产生，但根据偏白在图像上的位置，产生伪色(PF)像素的范围不同，从相当于光学中心的图像中心部越到朝向图像端的方向，越容易产生伪色(PF)，并且具有伪色(PF)表现得比较大的趋势。图9的偏白搜索范围420，是与作为伪色(PF)像素的关注像素(x，y)410对应而设定的偏白搜索范围420，是考虑上述趋势而设定的区域。因此，偏白搜索范围420，不能被设定在以关注像素(x，y)410为中心的区域。

设定为如下区域：存在于设定的偏白搜索范围420端部的像素421～424的4个点上的偏白存在可能性为相同程度。

在图7的流程图中的步骤S305的偏白距离计算处理中，对关注像素(x，y)410和偏白像素(a，b)431的距离d的算出，不是使用实际距离，而是使用Sox或Six对偏白位置和关注像素各自的x坐标的差的绝对值进行标准化、使用Soy或Siy对偏白位置和关注像素各自的y坐标的差的绝对值进行标准化算出距离d。

基于该标准化的距离算出处理，相当于根据图9中的存在于从关注像素(x，y)410到偏白搜索范围420端部的像素421～424的距离为等距离Sox＝Soy＝Six＝Siy的设想，算出距离d。

图9所示的关注像素(x，y)410和偏白像素(a，b)431的距离d，根据以下的算出式(式2)求出。

d＝dx+dy    …(式2)

在此，dx、dy是利用以下的算式算出的值。

公式2

在上式中，x、y、a、b是关注像素(x，y)和偏白像素(a，b)的坐标值，W1、W2、H1、H2是对应关注像素(x，y)而从设定的偏白搜索范围的关注像素(x，y)到偏白搜索范围边界的距离。即，图9所示各距离、即W1、W2是对应x方向的两个距离的值，H1、H2是对应y方向的两个距离的值。

在图7的流程图中的步骤S305的偏白距离计算处理中，根据上式(式2)，算出关注像素(x，y)和偏白像素(a，b)的距离。另外，由上式(式2)算出的距离被称为曼哈顿距离，在此为了简化计算，求出该曼哈顿距离。也可以构成为不求出曼哈顿距离，而求出关注像素(x，y)和偏白像素(a，b)的距离

根据上式(式2)算出的距离d，取得d＝0.0～1.0的值，如果d＝0.0，则意味着偏白部分相对于关注像素最近，如果d＝1.0，则意味着距离较远。

下面，说明图7的流程中的步骤S308的偏白方向矢量算出处理。步骤S308是求出从关注像素(x，y)到最短距离的偏白像素的方向矢量(sx，sy)＝(|s|，|t|)的处理。在该步骤中，通过求出从关注像素的位置(x，y)到偏白像素的位置(a，b)的相对坐标值的绝对值，可以确定偏白部分相对于关注像素存在于哪个方向(纵、横、倾斜方向)。例如，如果纵绝对值大于横绝对值，则可以说偏白部分至少存在于倾斜～上方向。

例如，如果最短的偏白位置是距关注像素(x，y)的相对位置(a，b)时，则偏白方向的矢量成为(|a|，|b|)。在此，|a|、|b|分别表示a、b的绝对值。

如上所述，在图4所示的距偏白的距离/方向矢量计算部302中，输入偏白输出对应图[W]354，执行根据图7的流程的处理，并进行关注像素(x，y)距偏白像素的距离及方向矢量的计算处理，将最接近关注像素(x，y)的偏白像素、即到最近的偏白为止的距离[Wi]355输出到偏白程度计算部303，并将表示离关注像素(x，y)最近的偏白所在的方向的方向矢量[WDirect]356输出给各方向增益计算部304。

偏白程度计算部303

下面，详细说明偏白程度计算部303的处理。偏白程度计算部303，将关注像素与最接近关注像素的最近的偏白像素的距离[Wi]355作为输入，进行偏白程度计算处理，并算出偏白程度[Wr]输出到伪色度计算部306。

偏白程度计算部303，输入距偏白的距离/方向矢量计算部302生成的与最近的偏白像素的距离[Wi]355，并根据输入距离[Wi]数据值，进行应用了查询表(LUT)的数据转换，算出偏白程度[Wr]输出到伪色度计算部306。该处理是与图5的流程图的步骤S103所包含的偏白程度计算部303的处理对应的处理。图10表示将偏白程度计算部303应用的查询表(LUT)进行图表化的例子。

图10中，横轴是从距偏白的距离/方向矢量计算部302输入的与最近的偏白像素的距离[Wi]数据，纵轴表示输出到伪色度计算部306的偏白程度[Wr]。距离[Wi]数据和偏白程度[Wr]一对一地对应，偏白程度计算部303根据从距偏白的距离/方向矢量计算部302输入的与最近的偏白像素的距离[Wi]数据，获取对应的偏白程度[Wr]的值输出到伪色度计算部306。例如，在应用了图10所示的查询表(LUT)的情况下，

与偏白像素的距离[Wi]＝0时，偏白程度[Wr]＝0、

与偏白像素的距离[Wi]＝0.25时，偏白程度[Wr]＝0.5、

与偏白像素的距离[Wi]＝0.5时，偏白程度[Wr]＝0.65、

与偏白像素的距离[Wi]＝1.0时，偏白程度[Wr]＝1.0，

根据以上对应关系获取偏白程度[Wr]的各值，并输出到伪色度计算部306。

该处理对每个像素分别执行，算出各像素对应的偏白程度[Wr]，并输出到伪色度计算部306。另外，图10所示的查询表(LUT)是一个例子，这是考虑伪色(PF)的产生方式进行设定的，并不限于这种形式。

各方向增益计算部304

下面，详细说明各方向增益计算部304的处理。各方向增益计算部304根据从距偏白的距离/方向矢量计算部302输出的方向矢量[WDirect]356、即从关注像素朝向最近的偏白像素的方向矢量[WDirect]356，算出各方向增益[Dr]，并将算出的各方向增益[Dr]输出到彩度减弱率计算部307。参照图11所示的流程图说明各方向增益计算部304的处理。图11所示流程与图5的流程图的步骤S103的处理所包含的各方向增益计算部的处理对应。

各方向增益计算部304将与处理对象图像的每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]作为输入，输出对应各像素的各方向增益[Dr(x，y)]。

在本实施例中，将作为输入值的像素对应的方向矢量[WDirect(x，y)]，按图12所示进行分类。图12表示将与每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]，按照方向(angle)分类为0、1、2、3、4这5个的例子。

如图12所示，各方向增益计算部304，将与从距偏白的距离/方向矢量计算部302输入的处理对象图像的每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]分为5个方向。图11的流程中的步骤S401～S410的处理说明分成这5个方向的处理步骤。

另外，图11所示的处理流程也与前述的其他流程相同，具有两个框，即，表示为For(y＝0；y＜height；y＝y+1)的外框、和表示为For(x＝0；x＜width；x＝x+1)的内框，对于处理对象图像帧中的(x＝0～width，y＝0～height)的构成像素，依次执行各步骤的处理。

在步骤S401中，将与每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]的方向数据设定为(sx，sy)，并在步骤S402中判定4×sy＜1×sx是否成立，成立时进入步骤S403，判定为angle＝0。这是判定为与像素位置(x，y)对应的方向矢量[WDirect(x，y)]在图12中存在于angle＝0的区域的处理。

在步骤S402中，关注像素的方向数据(sx，sy)不满足4×sy＜1×sx时，进入步骤S404，判定3×sy＜2×sx是否成立，成立时进入步骤S405，判定为angle＝1。这是判定为与像素位置(x，y)对应的方向矢量[WDirect(x，y)]在图12中存在于angle＝1的区域的处理。

在步骤S404中，关注像素的方向数据(sx，sy)不满足3×sy＜2×sx时，进入步骤S406，判定2×sy＜3×sx是否成立，成立时进入步骤S 407，判定为angle＝2。这是判定为与像素位置(x，y)对应的方向矢量[WDirect(x，y)]在图12中存在于angle＝2的区域的处理。

在步骤S406中，关注像素的方向数据(sx，sy)不满足2×sy＜3×sx时，进入步骤S408，判定1×sy＜4×sx是否成立，成立时进入步骤S 409，判定为angle＝3。这是判定为与像素位置(x，y)对应的方向矢量[WDirect(x，y)]在图12中存在于angle＝3的区域的处理。

在步骤S408中，关注像素的方向数据(sx，sy)不满足1×sy＜4×sx时，进入步骤S410，判定为angle＝4。这是判定为与像素位置(x，y)对应的方向矢量[WDirect(x，y)]在图12中存在于angle＝4的区域的处理。

这样，各方向增益计算部304在步骤S401～S410中，执行将与从距偏白的距离/方向矢量计算部302输入的处理对象图像的各像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]，分类为5个方向(angle＝0、1、2、3、4)的处理。

然后，进入步骤S411，算出对应各像素(x，y)的各方向增益[Dr(x，y)]。各方向增益算出利用下述算式进行。

gain＝a×(4-angle)/4+b×angle/4

在上述算式中，

a：关注像素的横方向具有偏白时的彩度减弱率，

b：关注像素的纵方向具有偏白时的彩度减弱率，a、b的值被预先设定。例如，如a＝1.0、b＝0.7，设定为使关注像素的横方向具有偏白时的彩度减弱率大于关注像素的纵方向具有偏白时的彩度减弱率。即，a、b的值被预先设定为a＞b。

其中，

0≤a≤1、且0≤b≤1。

上式中的angle是在步骤S401～S410的处理中决定的0～4中的任一个值，即，是根据与每个像素位置(x，y)对应的最短偏白像素位置的方向矢量[WDirect(x，y)]的方向数据(sx，sy)决定的0、1、2、3、4中任一个值。

步骤S411中的算出式的设定意味着进行如下处理：对应某个关注像素(x，y)检测出的最短距离的偏白像素存在于关注像素的横方向时，将关注像素(x，y)的彩度减弱率设定得较高，另一方面，存在于纵方向时，将关注像素(x，y)的彩度减弱率设定得较低。

在步骤S412中，将在步骤S411中算出的增益[gain]设定为对应关注像素(x，y)的各方向增益[Dr(x，y)]。

这样，各方向增益计算部304，根据从距偏白的距离/方向矢量计算部302输出的方向矢量[WDirect]356、即从关注像素朝向最近的偏白像素的方向矢量[WDirect]356，算出各方向增益[Dr]，并将算出的各方向增益[Dr]输出到彩度减弱率计算部307。

各方向增益计算部304如前面所述，利用下式执行各方向增益算出。

gain＝a×(4-angle)/4+b×angle/4

在此，设定a＝1.0、b＝0.7。在该设定中，从像素位置(x，y)朝向最近的偏白像素的方向矢量[WDirect(x，y)]的角度(angle)的值是根据0～4算出的gain，即，各方向增益[Dr(x，y)]成为如下的值。

angle＝0∶Dr(x，y)＝gain＝1.0

angle＝1∶Dr(x，y)＝gain＝0.925

angle＝2∶Dr(x，y)＝gain＝0.85

angle＝3∶Dr(x，y)＝gain＝0.755

angle＝4∶Dr(x，y)＝gain＝0.7

各方向增益[Dr(x，y)]输出到图4所示的结构中的彩度减弱率计算部307，并作为算出关注像素(x，y)的彩度减弱率[R]时的指标值进行应用。各方向增益[Dr(x，y)]越接近1，彩度减弱率[R]被设定为越大的值，各方向增益[Dr(x，y)]越接近0，彩度减弱率[R]被设定为越小的值。

因此，在angle＝0时，彩度减弱率[R]被设定为较大的值，关注像素(x，y)的彩度被大幅减弱，在angle＝4时，彩度减弱率[R]被设定为较小的值，关注像素(x，y)的彩度减弱量被设定得较小。

参照图13说明执行这样的彩度减弱处理的理由。如前面说明的那样，本发明的图像处理装置实时执行例如以固定帧频输入的动态图像数据的处理。即，将拍摄的图像帧数据输入到图像处理装置的DSP106(参照图1)，一面沿着扫描线读取像素信息一面进行执行像素值校正的处理。

在本发明的图像处理装置中，不是读出暂时存储在存储器中的已经拍摄的图像数据来执行校正处理，而是必须根据沿着扫描线输入的像素信息实时进行校正处理。在读出暂时存储在存储器中的图像数据来执行处理的情况下，可以自由地选择任意像素位置的像素信息，进行应用了与各种选择像素对应的像素信息的处理，但在根据沿着扫描线输入的像素信息执行校正处理的情况下，必须进行仅应用了临时存储在DSP106(参照图1)内的像素信息的处理。

临时存储在DSP106内的像素信息仅仅是与沿着扫描线的固定量的像素对应的像素信息。因此，根据周围像素的像素值信息校正关注像素(x，y)的像素值时，为只能应用存在于关注像素(x，y)的像素位置附近、且与沿着扫描线的像素对应的像素信息的信息。

如图13所示，需要沿着图像帧500的扫描线(图像帧中的箭头)读取像素值数据，在DSP106中进行处理。图13(A)表示伪色(PF)像素在关注像素511的横方向、即扫描线方向连续的情况，图13(B)表示伪色(PF)像素在关注像素521的纵方向、即扫描线的垂直方向连续的情况。

如图13(A)所示，伪色(PF)像素在关注像素511的横方向、即扫描线方向连续的情况下，根据周围像素的像素信息要执行关注像素511的像素值校正时，能够临时存储在DSP内的存储器中的像素信息，仅仅是沿着扫描线的像素、即基本上是伪色(PF)像素的像素信息。图13(A)所示的箭头表示作为能够临时存储在DSP内的存储器中的像素信息的区域的可参照像素区域512。

在图13(A)的结构中，偏白像素513存在于关注像素511的纵(上)方向即与扫描线垂直的方向，所述角度(angle)值成为angle＝4，其增益是前述a＝1.0、b＝0.7的设定时，利用下式算出，

gain＝a×(4-angle)/4+b×angle/4

成为

Dr(x，y)＝gain＝0.7。

即，关注像素(x，y)的彩度减弱率被抑制，变成不能够执行较大的彩度减弱。这是因为关注像素(x，y)是伪色(PF)像素，是需要进行彩度减弱的像素，但可参照的像素也是伪色(PF)像素，所以是不能参照具有正常的彩度信息的像素的状态，在执行了较大的彩度减弱的情况下，纵方向、即图13(A)所示的像素结构时，不能进行参照存在于纵(下)方向的普通像素、即不是伪色(PF)也不偏白的普通像素514的彩度校正处理，执行了彩度减弱的关注像素511和普通像素514的彩度差有可能变大。

执行了彩度减弱的关注像素511和普通像素514的彩度差变大时，图像的不自然差增大，导致图像的质量降低。为了防止这样的情况，是如图13(A)的结构时，在关注像素(x，y)511是伪色(PF)像素的情况下，也采用降低彩度减弱率而不执行过度的彩度降低的结构。另外，对于彩度减弱处理、校正处理，将在后面详细说明。

另一方面，如图13(B)所示，伪色(PF)像素在关注像素521的纵方向即与扫描线方向垂直的方向连续，并在扫描线方向存在偏白像素532、普通像素524的情况下，要根据周围像素的像素信息执行关注像素521的像素值校正时，可临时存储在DSP内的存储器中的像素信息是沿着扫描线的像素可参照像素区域522中包含的像素的像素信息。此时，能够应用不偏白也不是伪色(PF)的普通像素524的像素信息。

在图13(B)的结构中，偏白像素523存在于关注像素521的横方向、即扫描线方向，所述角度(angle)值成为angle＝0，其增益在前述的a＝1.0、b＝0.7的设定时，利用下式算出，

gain＝a×(4-angle)/4+b×angle/4

成为

Dr(x，y)＝gain＝1.0。

即，关注像素(x，y)的彩度减弱率被设定得较大。

在图13(B)的结构中，即使关注像素(x，y)521是伪色(PF)像素，并执行了较大的彩度减弱处理的情况下，存在于和关注像素(x，y)521相同的扫描线上的普通像素524的像素信息能够从DSP内的存储器中读出，可以进行参照普通像素524的彩度的适当的彩度校正。即，即使执行了关注像素521的较大的彩度减弱，在其后的彩度校正中，也能够进行适应普通像素524的彩度的校正。

根据该彩度校正处理，可以防止关注像素521和普通像素524的彩度差变大的情况。根据这样的理由，在具有如图13(B)的像素结构时，将关注像素521的彩度减弱率设定得较大。

紫度计算部305

下面，详细说明图4所示伪色(PF)校正处理单元206的紫度计算部305的处理。紫度计算部305如图4所示，对输入图像351的色差分量[C]353进行输入，算出基于色差分量[C]353的紫度[Pr]357，并执行将算出的紫度[Pr]357输出到伪色度计算部306的处理。说明紫度计算部305的处理。

在紫度计算部305中，将执行处理的关注像素(x，y)的色差分量[C]数据设为(Cr、Cb)。在本实施例中，是对展开在YCbCr颜色空间的数据执行处理的例子，作为颜色信息，在CbCr色差平面中定义各像素的颜色信息。紫度计算部305把关注像素(x，y)的色差数据[Cb、Cr]作为输入，对每个关注像素算出作为与伪色(PF)的色相的接近度信息的紫度[Pr(x，y)]，输出到伪色度计算部306。

紫度[Pr(x，y)]利用0.0～1.0的值表示，Pr＝0.0表示距伪色(PF)的色相较远的颜色，Pr＝1.0表示距伪色(PF)的色相最近的颜色。

使用图14说明CbCr色差平面中的伪色(PF)色相和紫度[Pr]的设定示例。图14所示曲线图表示CbCr色差平面，图中的线601(Fθ)是对应CbCr色差平面中的伪色(PF)色相的伪色(PF)色相线601。典型的紫边具有这种伪色(PF)色相线601上的色相。

图中的线602是作为一例表示的对应关注像素(x，y)的色相的关注像素色相线602。关注像素色相线602是越接近伪色(PF)色相线601，关注像素(x，y)的色相越接近伪色(PF)色相的色相，关注像素色相线602是越远离伪色(PF)色相线601，关注像素(x，y)的色相越远离伪色(PF)色相的色相。

图中的线611、612是从伪色(PF)色相线601转动角度θmax的色相线，是紫度[Pr]0线611、612。θmax是预先设定的角度，例如设定为30°。从紫度[Pr]0线611、612越接近伪色(PF)色相线601，紫度[Pr]的值越大，在伪色(PF)色相线601上，紫度[Pr]达到1。即，关注像素色相线602位于紫度[Pr]0线611、612之间时，关注像素(x，y)的紫度[Pr]被设定为0～1之间。关注像素色相线602不在紫度[Pr]0线611、612之间时，关注像素(x，y)的紫度[Pr]被设定为0。

关注像素(x，y)的紫度[Pr(x，y)]利用下述算式求出。

公式3

$\mathrm{Pr}(x,y)=\frac{{\mathrm{\θ}}_{\max }-\{F_{\mathrm{\θ}}-\mathrm{\θ}(x,y)\}}{{\mathrm{\θ}}_{\max }}$ …(式3)

在上述式中，Fθ为在CbCr平面中轴Cb和伪色(PF)色相线的夹角，θ(x，y)为在CbCr平面中轴Cb和关注像素色相线的夹角，θmax为在Cb Cr平面中伪色(PF)色相线和紫度[Pr]0线的夹角，是被预先设定的角度，例如设定为30°。

这样，紫度计算部305输入输入图像351的色差分量[C]353，利用上述式3算出基于色差分量[C]353的紫度[Pr]357，执行向伪色度计算部306输出所算出的紫度[Pr]357的处理。

伪色度计算部306

下面，详细说明伪色度计算部306的处理。伪色度计算部306如图4所示，根据从紫度计算部305输入的紫度[Pr]357和从偏白程度计算部303输入的偏白程度[Wr]356，算出伪色度[PFr]358，把所算出的伪色度[PFr]358输出给彩度减弱率计算部307。

伪色度计算部306利用下述算式，根据关注像素(x，y)的紫度[Pr(x，y)]和关注像素(x，y)的偏白程度[Wr(x，y)]，算出关注像素(x，y)的伪色度[PFr(x，y)]。

PFr(x，y)＝Pr(x，y)×Wr(x，y)…(式4)

上述式4表示利用关注像素(x，y)的紫度[Pr(x，y)]和关注像素(x，y)的偏白程度[Wr(x，y)]的乘法运算，算出关注像素(x，y)的伪色度[PFr(x，y)]。

在上述式4中，紫度[Pr(x，y)]是0～1的值，偏白程度[Wr(x，y)]也是0～1的值，所以伪色度[PFr(x，y)]也被设定在0～1的范围内。伪色度[PFr]＝1.0表示伪色度最高，即表示关注像素是伪色[PF]的可能性最大，伪色度[PFr]＝0.0表示伪色度最低，即表示关注像素是伪色[PF]的可能性最小。

彩度减弱率计算部307

下面，详细说明彩度减弱率计算部307的处理。彩度减弱率计算部307如图4所示，根据从伪色度计算部306输入的伪色度[PFr]358、和从各方向增益计算部304输入的各方向增益[Dr]359，算出彩度减弱率[R]360，把所算出的彩度减弱率[R]360输出给校正处理部310的各个处理部、即像素彩度减弱处理部311、像素彩度校正处理部312、像素色差分量模糊处理部313。

彩度减弱率计算部307利用下述式，根据关注像素(x，y)的伪色度[PFr(x，y)]和关注像素(x，y)的各方向增益[Dr(x，y)]，算出关注像素(x，y)的彩度减弱率[R(x，y)]。

R(x，y)＝P Fr(x，y)×Dr(x，y)…(式5)

上述式5表示利用关注像素(x，y)的伪色度[PFr(x，y)]和关注像素(x，y)的各方向增益[Dr(x，y)]的乘法运算，算出关注像素(x，y)的彩度减弱率[R(x，y)]。

在上述式5中，伪色度[PFr(x，y)]是0～1的值，各方向增益[Dr(x，y)]也是0～1的值，所以彩度减弱率[R(x，y)]也被设定在0～1的范围内。这意味着彩度减弱率[R(x，y)]＝1.0时执行最大水平的彩度减弱处理，彩度减弱率[R(x，y)]＝0.0时执行最小水平的彩度减弱处理。

彩度减弱率计算部307利用上述式5，根据从伪色度计算部306输入的伪色度[PFr(x，y)]358、和从各方向增益计算部304输入的各方向增益[Dr]359，算出彩度减弱率[R]360，把所算出的彩度减弱率[R]360输出给校正处理部310的各个处理部、即像素彩度减弱处理部311、像素彩度校正处理部312、像素色差分量模糊处理部313。

以上的处理是图4所示校正参数(彩度减弱率)算出部300的具体处理，通过该处理，设定对应关注像素(x，y)的彩度减弱率R(x，y)，在校正处理部310的像素彩度减弱处理部311、像素彩度校正处理部312、像素色差分量模糊处理部313，执行使用彩度减弱率R(x，y)的像素校正处理。

以下，依次说明在校正处理部310的像素彩度减弱处理部311、像素彩度校正处理部312、像素色差分量模糊处理部313执行的具体处理。

像素彩度减弱处理部311

像素彩度减弱处理部311如图4所示，输入输入图像351的色差分量[C]353，根据从校正参数(彩度减弱率)算出部300输入的彩度减弱率[R]360进行伪色[PF]像素部分的彩度减弱处理，把伪色[PF]部分彩度减弱结果图像[Cs]361输出给像素彩度校正处理部312。

说明像素彩度减弱处理部311的具体处理。像素彩度减弱处理部311根据基于输入图像351的色差分量[C]353获取的关注像素(x，y)的各个CrCb分量的原始彩度C(x，y)Cr和C(x，y)Cb、以及从校正参数(彩度减弱率)算出部300输入的关注像素(x，y)彩度减弱率[R(x，y)]，利用下述式6算出彩度减弱后的关注像素(x，y)的各个CrCb分量的减弱彩度Cs(x，y)Cr和Cs(x，y)Cb。

Cs(x，y)Cr＝C(x，y)Cr×{1.0-R(x，y)}

Cs(x，y)Cb＝C(x，y)Cb×{1.0-R(x，y)}…(式6)

在上述式6中，关注像素(x，y)的彩度减弱率[R(x，y)]是0～1范围的值，关注像素(x，y)的伪色度[PFr(x，y)]越高越获取接近1的值。在上述算式中，

{1.0-R(x，y)}

在关注像素(x，y)的伪色度[PFr(x，y)]越高时其值越小接近0，上述式6是向原始彩度C(x，y)乘以{1.0-R(x，y)}的值的处理，所以关注像素(x，y)的伪色度[PFr(x，y)]越高，彩度被减弱的程度越大。

即，上述式6意味着执行关注像素(x，y)的伪色度[PFr(x，y)]越高(接近1)越降低彩度、关注像素(x，y)的伪色度[PFr(x，y)]越低(接近0)越减弱彩度降低程度的处理。

像素彩度校正处理部312

像素彩度校正处理部312如图4所示，从像素彩度减弱处理部311输入伪色(PF)部分彩度减弱结果图像[Cs]361，执行彩度降低量的校正。即，检测在像素彩度减弱处理部311过度降低了彩度的部分等，进行以周边像素的彩度为参考的彩度校正处理。像素彩度校正处理部312把在像素彩度减弱处理部311中执行了彩度降低了处理的像素、即主要是判定为伪色(PF)的像素选择为校正对象，进行校正处理。即，由于彩度校正的对象范围是降低彩度后的部分，所以需要选择彩度减弱率[R]360不是0的像素，因此像素彩度校正处理部312输入彩度减弱率[R]360，选择彩度减弱率[R]360≠0的像素，进行彩度校正。进行彩度校正的结果图像即彩度校正图像[Cs]362被输出给像素色差分量模糊处理部313。参照图15所示处理流程说明像素彩度校正处理部312的具体处理。另外，图15所示处理流程对应图5所示流程图的步骤S 108的彩度校正处理的具体处理。

另外，图15所示处理流程也与前述其他流程相同，也具有两个框，即，表示为For(y＝0；y＜height；y＝y+1)的外框、和表示为For(x＝0；x＜width；x＝x+1)的内框，对处理对象图像帧中的(x＝0～width，y＝0～height)的构成像素，依次执行各个步骤的处理。其中，像素彩度校正处理部312把具有彩度减弱率[R]大于0的值的像素选择为关注像素，对选择像素进行图15所示流程的处理。即，作为步骤S501的前阶段，沿着扫描线输入的像素在判定是否是具有彩度减弱率[R]大于0的值的像素后，仅在判定是具有彩度减弱率[R]大于0的值的像素时，把其选择为关注像素(x，y)，执行步骤S501以后的处理。

在步骤S501、S502中，作为初始设定，使用关注像素(x，y)的彩度减弱后的颜色分量Cs(x，y)Cr、Cs(x，y)Cb，使

cr＝Cs(x，y)Cr

cb＝Cs(x，y)Cb，

执行作为关注像素(x，y)的彩度参数的cr、cb的各值的初始设定处理。

然后，在步骤S503、S504中，算出基于在像素彩度减弱处理部311中进行了彩度减弱处理的关注像素(x，y)的色相Cs(x，y)的彩度[ccLv]、和基于在像素彩度减弱处理部311中进行彩度减弱处理前的关注像素(x，y)的色相Cs(x，y)的彩度[ocLv]。彩度算出是按照下述式7进行。

ccLv＝|Cs(x，y)Cr|+|Cs(x，y)Cb|

ocLv＝|C(x，y)Cr|+|C(x，y)Cb|…(式7)

然后，在步骤S505、S506中，执行关注像素附近的参照像素的初始设定。在步骤S505，进行没有参照像素的设定，作为表示关注像素附近的有无参照像素的信息的参数[refExist]＝false，在步骤S506，进行使表示参照像素的参照彩度值的参数[rfLv]为0的初始设定。

后续的步骤S507是获取可以从关注像素的附近区域获取的作为参照像素的像素信息的彩度信息的处理。另外，如前面所述，可以从关注像素的附近区域获取的参照像素信息，如前面参照图13说明的那样，是沿着扫描线接近关注像素的像素的像素信息。例如，以关注像素为中心，把左右k(例如k＝10)像素作为搜索范围，获取参照彩度。

步骤S507具体是步骤S508～S512所示的处理。另外，在步骤S507中，以关注像素(x，y)为中心，把左右像素作为搜索范围，把参照像素设为参照像素(s、y)，把参照像素(s、y)的彩度减弱后的色相Cs设为Cs(s、y)。

在步骤S508中，根据所选择的一个参照像素(s、y)的彩度减弱后的色相Cs的Cs(s、y)，判定参照像素(s、y)是否是偏白像素。在判定参照像素(s、y)是偏白像素时，进行下一个参照像素的处理。

在判定参照像素(s、y)不是偏白像素时，进入步骤S509，进行有参照像素的设定，作为表示有无参照像素的信息的参数[refExist]＝true，根据参照像素(s、y)的Cs(s、y)，算出参照像素的临时彩度值[rfLv_temp]。色相算出与前述式7相同，利用下述算式算出。

rfLv_temp＝|Cs(s、y)Cr|+|Cs(s、y)Cb|

然后，判定参照像素的临时彩度值[rfLv_temp]是否为大于此前算出的参照像素的彩度值[rfLv]的值，即判定

rfLv＜rfLv_temp

是否成立，在不成立时，转入后面的参照像素的处理，在成立时，在步骤S512，执行把参照像素的彩度值[rfLv]更新为参照像素的临时彩度值[rfLv_temp]的处理。

以关注像素为中心，把左右k(例如k＝10)像素作为搜索范围，执行以上处理，把其结果即搜索范围中包含的具有偏白以外的像素的最大彩度的参照像素的彩度值确定为参照像素的彩度值[rfLv]。另外，在以关注像素为中心，左右k(例如k＝10)像素中只含有偏白像素的情况下，使表示有无参照像素的信息的参数[refExist]＝false，保持为没有参照像素的设定状态。

在步骤S513中，判定是否表示有无参照像素的信息的参数[refExist]＝true、即是否有参照像素。在[refExist]＝false、即没有参照像素的情况下，进入步骤S514，把参照像素的彩度值[rfLv]设定为基于在像素彩度减弱处理部311中进行了彩度减弱处理的关注像素(x，y)的色相Cs(x，y)的彩度[ccLv]，然后进入步骤S515。

在步骤S514的处理之后，及在步骤S513中，判定为表示有无参照像素的信息的参数[refExist]＝true、即有参照像素的情况下，进入步骤S515，执行参照像素的彩度值[rfLv]和关注像素的彩度减弱前的原始彩度[ocLv]的比较。

rfLv＞ocLv

成立的情况下，即关注像素的彩度减弱前的原始彩度[ocLv]的值小于参照像素的彩度值[rfLv]的情况下，进入步骤S516，执行把参照像素的彩度值[rfLv]设定为关注像素的彩度减弱前的原始彩度[ocLv]的值的处理。

在步骤S516的处理之后，及在步骤S515中，判定为rfLv＞ocLv不成立的情况下，即关注像素的彩度减弱前的原始彩度[ocLv]的值不小于参照像素的彩度值[rfLv]的情况下，在步骤S517、步骤S518，利用下述算式更新关注像素(x，y)的色差分量值[cr][cb]。

cr＝cr×(rfLv/ccLv)

cb＝cb×(rfLv/ccLv)

上述算式对有关关注像素(x，y)的作为在像素彩度减弱处理部311中被减弱了彩度的结果的色差分量cr、cb，执行利用关注像素的彩度减弱处理后的彩度[xxLv]和参照像素的彩度值[rfLv]的比率、即(rfLv/ccLv)进行调整的处理。

在参照像素获取区域中选择的偏白像素以外的像素中具有最大彩度的参照像素的彩度值[rfLv]小于等于关注像素的彩度减弱前的原始彩度[ocLv]的情况下(步骤S515为否)，使用具有最大彩度的参照像素的彩度值[rfLv]，设定(rfLv/ccLv)的值。

在参照像素获取区域中选择的偏白像素以外的像素中具有最大彩度的参照像素的彩度值[rfLv]大于关注像素的彩度减弱前的原始彩度[ocLv]的情况下(步骤S515为是)，把具有最大彩度的参照像素的彩度值[rfLv]变更为关注像素的彩度减弱前的原始彩度[ocLv]，设定(rfLv/ccLv)的值。

根据这些设定值(rfLv/ccLv)，算出

cr＝cr×(rfLv/ccLv)

cb＝cb×(rfLv/ccLv)，

更新关注像素(x，y)的色差分量值[cr][cb]。

参照彩度的基准以在搜索范围内彩度最高、而且没有偏白像素为条件。在参照彩度[rfLv]位于搜索范围内时(refExist＝true)，如果与原始的图像彩度[ocLv]相比不大，进行使彩度减弱后的颜色分量为(rfLv/ccLv)倍的处理，即进行把通过彩度减弱被减弱为[ccLv]的彩度提高为参照彩度[rfLv]的处理。在参照彩度[rfLv]大于原始的图像彩度[ocLv]时，在步骤S516使rfLv＝ocLv，将彩度校正为(ocLv/ccLv)倍，使即使校正为最大也不会大于原始图像的彩度。在没有参照彩度[rfLv]的情况下，不进行彩度校正。

在彩度校正中，使用参照像素中彩度最高的像素的理由如下，在关注像素(x，y)的彩度高于周边像素的彩度时，通过使关注像素(x，y)的彩度接近周边像素的彩度，使像素之间的彩度差不至于过大，从而防止执行了彩度降低的伪色(PF)像素显眼。

在步骤S519、S520中，使用在步骤S517、S518中算出的关注像素的色相数据即下述值cb、cr，即，

cr＝cr×(rfLv/ccLv)

cb＝cb×(rfLv/ccLv)

把关注像素(x，y)的彩度校正后的颜色分量[Cc]设定为

Cc(x，y)Cr＝cr

Cc(x，y)Cb＝cb。

如上所述，像素彩度校正处理部312以下述处理方式校正关注像素(x，y)的彩度校正后的颜色分量[Cc]。即，

(a)把位于关注像素(x，y)即彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，使所述彩度减弱像素的彩度接近参照像素中彩度最高的像素的彩度[rfLv]。

(b)对沿着和彩度减弱像素相同的扫描线的像素，在参照像素中彩度最高的像素的彩度小于彩度减弱像素的彩度减弱前的彩度时，使关注像素(x，y)即彩度减弱像素的彩度接近彩度减弱前的彩度[ocLv]。

执行这些处理。

这样，像素彩度校正处理部312从像素彩度减弱处理部311输入伪色(PF)部分彩度减弱结果图像[Cs]361，执行彩度的降低量的校正，生成彩度校正图像[Cc]362，并输出给像素色差分量模糊处理部313。

像素色差分量模糊处理部313

下面，说明像素色差分量模糊处理部313的处理。像素色差分量模糊处理部313执行对彩度校正图像[Cc]362中的色差分量施加Blur的处理，即执行模糊处理。像素色差分量模糊处理部313执行减少实施了彩度减弱处理的像素和周围像素的色相的差的处理。

另外，在像素色差分量模糊处理部313执行的模糊处理不是对所有像素都执行，而是把包括执行了彩度减弱、校正处理的像素的像素区域选择为处理对象，执行模糊处理。像素色差分量模糊处理部313为了选择该处理对象区域，输入彩度减弱率[R]360，选择彩度减弱率[R]360≠0的像素，确定模糊处理的处理对象区域，进行模糊处理。参照图16所示处理流程，说明像素色差分量模糊处理部313的详细处理。另外，图16所示处理流程对应图5所示流程图的步骤S109的伪色(PF)像素色差分量模糊处理的详细处理。

在像素色差分量模糊处理部313中的处理是为了使进行了彩度校正的部分的彩度变化变平滑，并且使降低彩度后的部分和未降低彩度的普通像素部分的边界处谐调，而施加Blur(模糊)的处理。关于该Blur处理，从减轻处理和减弱电路规模的观点考虑，仅使用存在于关注像素左右的沿着扫描线的像素的像素信息进行处理。

另外，图16所示处理流程也与前述其他流程相同，也具有两个框，即，表示为For(y＝0；y＜height；y＝y+1)的外框、和表示为For(x＝0；x＜width；x＝x+1)的内框，对处理对象图像帧中的(x＝0～width，y＝o～height)的构成像素，依次执行各个步骤的处理。其中，像素色差分量模糊处理部313选择彩度减弱率[R]≠0的像素，确定模糊处理的处理对象区域，进行模糊处理。因此，作为步骤S601的前阶段，判定沿着扫描线输入的像素是否是彩度减弱率[R]≠0的像素，然后只在是彩度减弱率[R]≠0的像素时，把其选择为关注像素(x，y)，执行步骤S601以后的处理。

说明图16所示流程图的各个步骤的处理。步骤S601是初始设定，作为表示是否对关注像素(x，y)执行模糊处理的标志[flag]即[execBlur]＝false，初始设定为不进行模糊处理的设定标志。

然后，在步骤S602，作为关注像素(x，y)周边的能够获取的参照像素的像素信息，获取周边像素(s、y)的彩度减弱率R(s、y)，在检测到周边像素(s、y)的彩度减弱率R(s、y)大于0的像素时(步骤S603为是)，在步骤S604，作为表示是否执行模糊处理的标志[flag]即[execBlur]＝true，更新为执行模糊处理的设定标志。另外，如前面所述，可以从关注像素的附近区域获取的参照像素信息是前面参照图13说明的沿着扫描线接近关注像素的像素的像素信息。例如，以关注像素为中心，把左右j(例如j＝7)像素作为搜索范围，获取像素信息[彩度减弱率R(x，y)]，执行步骤S602(S603～S604)的处理。

然后，在步骤S605，在判定标志[execBlur]设定为[true]时，进入步骤S607，以关注像素(x，y)为中心，执行施加模糊(Blur)滤波的处理。使用模糊(Blur)滤波的关注像素(x，y)的模糊处理后的颜色分量[Blur(Cc(x，y))]利用下述式8算出。

公式4

$\mathrm{Blur}\left(\mathrm{Cc}(x,y)\right)=(\underset{i=1}{\overset{7}{\mathrm{\Σ}}}\mathrm{Cc}(x+i,y)+\underset{i=1}{\overset{7}{\mathrm{\Σ}}}\mathrm{Cc}(x-i,y)+2\×\mathrm{Cc}(x,y))/16$ …(式8)

按照上述式，对关注像素(x，y)的Cr、Cb算出各自的模糊处理后的颜色分量[B1ur(Cc(x，y))]。另外，在上述式中，

Cc(x，y)表示关注像素(x，y)的彩度校正后的颜色分量[Cc(x，y)]，

Cc(x+i、y)、Cc(x-i、y)表示关注像素(x，y)在扫描线上移动±i像素后的像素中的彩度校正后的颜色分量[Cc]。

在上述式中，表示执行应用了关注像素的±7像素的颜色分量的模糊处理的示例。模糊处理的方式不限于使用上述式8的方式，只要是具有使降低彩度后的部分和未降低彩度的普通像素部分的边界处变谐调的效果的处理，也可以是其他方式的模糊处理。

在像素色差分量模糊处理部313中执行上述处理，如图4所示，生成并输出作为校正结果的校正色差分量图像[Ctemp]363。校正色差分量图像[Ctemp]363与亮度分量[Y]365合成，作为最终的YCbCr输出图像371输出。作为该校正处理的结果的YCbCr输出图像371被存储在图像处理装置内的存储器中，并且输出给监视器单元等的输出部。

另外，上述的实施例的处理说明了应用YCbCr颜色空间的处理，但其他的颜色空间例如CIEL^＊a^＊b^＊空间等，只要是可以划分为亮度信息和色相信息的信息，也可以应用基于上述的本发明的处理。

根据上述的本发明的处理，可以一面沿着扫描线依次取入像素信息，一面进行使用限定的参照像素信息、即只使用关注像素(x，y)附近的并且沿着扫描线的像素的像素信息的像素值校正，能够实时处理利用视频照相机摄影的图像数据，可以执行伪色(PF)像素的像素值校正，而且不会使其与周围像素的彩度差异过大，能够生成高质量的图像数据。

以上，参照特定的实施例详细说明了本发明。但是，本行业人员当然可以在不脱离本发明宗旨的范围内进行该实施例的修改和替换。即，只是以示例的方式公开了本发明，不能理解为限定性解释。为了判断本发明的宗旨，应该参阅权利要求书。

并且，在说明书中说明的一系列处理可以通过硬件或软件或者两者的复合结构实施。在执行基于软件的处理时，可以把记录了处理步骤的程序安装在装配于专用硬件的计算机内的存储器上来执行，或者把程序安装在可以执行各种处理的通用计算机上来执行。

例如，程序可以预先记录在作为记录介质的硬件和ROM(Read Only Memory：只读存储器)中。或者，程序可以临时或永久地存储(记录)在软盘、CD-ROM(Compact Disc ReadOnly Memory：只读光盘)、MO(Magneto optical磁光)盘、DVD(Digital Versatile Disc：数字通用盘)、磁盘、半导体存储器等的可移动记录介质上。这种可移动记录介质可以作为所谓的软件包提供。

另外，程序除可以从上述的可移动记录介质安装在计算机上外，也可以从下载网站上无线传输到计算机上，或通过LAN(LocalArea Network局域网)、因特网这些网络有线传输到计算机上，在计算机中接收这样传输的程序，并安装在内置的硬盘等记录介质上。

另外，说明书中记载的各种处理不仅可以按照记载按时间顺序执行，也可以根据将要执行处理的装置的处理能力或根据需要并行或分别执行。并且，在本说明书中，所说系统是多个装置的逻辑集合结构，不限于各构成装置位于同一壳体内的系统。

如上所述，根据本发明的结构，由于采用以下结构：作为处理图像的构成像素的校正参数，算出对应各像素的彩度减弱率，根据所算出的彩度减弱率执行各像素的彩度减弱处理，进而校正彩度减弱像素的彩度，以缩小被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差，所以例如在紫边等的伪色像素的校正处理中，能够防止因彩度的过度降低造成的与周围像素的彩度的背离而导致的像素显眼，能够生成高质量的校正图像数据。

另外，根据本发明的结构，由于采用以下结构：算出对应各像素的彩度减弱率，根据所算出的彩度减弱率执行各像素的彩度减弱处理，进而校正彩度减弱像素的彩度，以缩小被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差，使在彩度校正处理中参照的周围像素为沿着扫描线选择的像素，所以能够进行只使用利用视频照相机等摄影的、沿着扫描线输入的像素信息的图像处理，可以实现实时的高效图像处理。

另外，根据本发明的结构，由于采用以下结构：在算出作为校正参数的彩度减弱率时，算出关注像素的色相和伪色色相类似、而且距偏白像素的距离越近其值越大的伪色度，算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，算出关注像素的伪色度越高、各方向增益越高，其值越大的彩度减弱率，在像素彩度减弱处理中，形成根据具有这种性质的彩度减弱率执行各像素的彩度减弱处理的结构，所以在与关注像素相同的扫描线上存在非伪色的普通像素的情况下，可以执行基于高彩度减弱率的彩度降低处理，然后执行基于普通像素的彩度信息的彩度校正。并且，在与关注像素相同的扫描线上不存在非伪色的普通像素的情况下，设定为降低彩度减弱率来进行彩度减弱处理，所以即使在其后的彩度校正处理中不能获取普通像素的彩度信息的情况下，也能够生成使与周围像素的彩度差不会过大的高质量的校正图像数据。

Claims (16)

1.一种图像处理装置，其特征在于，具有：

校正参数算出部，根据伪色度算出对应各像素的彩度减弱率，作为处理图像的构成像素的校正参数；

校正处理部，应用所述彩度减弱率，执行包括处理图像的构成像素的彩度减弱处理的像素值校正处理，

所述校正处理部构成为具有：

像素彩度减弱处理部，根据所述校正参数算出部算出的彩度减弱率，执行各像素的彩度减弱处理；

像素彩度校正处理部，校正所述彩度减弱像素的彩度，以缩小在所述像素彩度减弱处理部被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述校正处理部构成为还具有模糊处理部，该模糊处理部对像素彩度校正处理部的输出数据执行模糊处理，以减少实施了彩度减弱处理的像素和周围像素的色相的差。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述像素彩度校正处理部把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行所述彩度减弱像素的彩度校正处理，以缩小该选择的参照像素的彩度和所述彩度减弱像素的彩度的差。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述像素彩度校正处理部把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行使所述彩度减弱像素的彩度与参照像素中彩度最高的像素的彩度的差缩小的处理。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述像素彩度校正处理部把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，在参照像素中彩度最高的像素的彩度小于等于所述彩度减弱像素的彩度减弱前的彩度时，执行使所述彩度减弱像素的彩度与所述彩度减弱像素的彩度减弱前的彩度的差缩小的处理。

6.根据权利要求1～5中任一项所述的图像处理装置，其特征在于，

所述校正参数算出部算出从处理图像选择的关注像素的、

a)作为关注像素的色相和伪色的色相的类似性信息的紫度、和

b)关注像素距偏白像素的距离信息，算出

c)根据所述紫度和距离信息算出的伪色度、和

d)根据关注像素距偏白像素的方向信息算出的各方向增益，根据所述伪色度和所述各方向增益，算出对应关注像素的彩度减弱率。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述校正参数算出部

算出关注像素的色相和伪色色相越类似、距偏白像素的距离越近其值越大的伪色度，

算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，

算出关注像素的伪色度越高、各方向增益越高其值越大的彩度减弱率，

所述像素彩度减弱处理部根据所述校正参数算出部算出的彩度减弱率，执行各像素的彩度减弱处理。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述伪色是紫边，

所述紫度是作为关注像素的色相和紫边的色相的类似性信息的紫度。

9.一种图像处理方法，其特征在于，具有：

校正参数算出步骤，根据伪色度算出对应各像素的彩度减弱率，作为处理图像的构成像素的校正参数；

校正处理步骤，应用所述彩度减弱率，执行包括处理图像的构成像素的彩度减弱处理的像素值校正处理，

所述校正处理步骤具有：

像素彩度减弱处理步骤，根据在所述校正参数算出步骤算出的彩度减弱率，执行各像素的彩度减弱处理；

像素彩度校正处理步骤，校正所述彩度减弱像素的彩度，以缩小在所述像素彩度减弱处理步骤被减弱了彩度的彩度减弱像素的彩度和周围参照像素的彩度的差。

10.根据权利要求9所述的图像处理方法，其特征在于，

所述校正处理步骤还具有模糊处理步骤，该模糊处理步骤对像素彩度校正处理步骤的输出数据执行模糊处理，以减少实施了彩度减弱处理的像素和周围像素的色相的差。

11.根据权利要求9所述的图像处理方法，其特征在于，

所述像素彩度校正处理步骤把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行所述彩度减弱像素的彩度校正处理，以缩小该选择的参照像素的彩度和所述彩度减弱像素的彩度的差。

12.根据权利要求9所述的图像处理方法，其特征在于，

所述像素彩度校正处理步骤把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，执行使所述彩度减弱像素的彩度与参照像素中彩度最高的像素的彩度的差缩小的处理。

13.根据权利要求9所述的图像处理方法，其特征在于，

所述像素彩度校正处理步骤把位于所述彩度减弱像素的附近、而且沿着和彩度减弱像素相同的扫描线的像素选择为参照像素，在参照像素中彩度最高的像素的彩度小于等于所述彩度减弱像素的彩度减弱前的彩度时，执行使所述彩度减弱像素的彩度与所述彩度减弱像素的彩度减弱前的彩度的差缩小的处理。

14.根据权利要求9～13中任一项所述的图像处理方法，其特征在于，

所述校正参数算出步骤算出从处理图像选择的关注像素的、

a)作为关注像素的色相和伪色的色相的类似性信息的紫度、和

b)关注像素距偏白像素的距离信息，算出

c)根据所述紫度和距离信息算出的伪色度、和

d)根据关注像素距偏白像素的方向信息算出的各方向增益，根据所述伪色度和所述各方向增益，算出对应关注像素的彩度减弱率。

15.根据权利要求14所述的图像处理方法，其特征在于，

所述校正参数算出步骤

算出关注像素的色相和伪色色相越类似、距偏白像素的距离越近其值越大的伪色度，

算出关注像素和偏白像素越位于沿着扫描线的平行位置其值越大的各方向增益，

算出关注像素的伪色度越高、各方向增益越高其值越大的彩度减弱率，

所述像素彩度减弱处理步骤根据所述校正参数算出步骤算出的彩度减弱率，执行各像素的彩度减弱处理。

16.根据权利要求14所述的图像处理方法，其特征在于，

所述伪色是紫边，

所述紫度是作为关注像素的色相和紫边的色相的类似性信息的紫度。

Images