CN104137531A - 图像处理装置和方法 - Google Patents

Abstract

区域判定电路(60)判定图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内。偏置电平生成电路(10)根据被判定为位于校正对象区域内的像素的亮度，生成偏置电平(Offset)。偏置减法电路(1)从图像信号(Yi)中减去偏置电平(Offset)，生成偏置图像信号(Yofst)。增益生成电路(20)生成针对偏置图像信号(Yofst)的增益。增益乘法电路(2)对偏置图像信号(Yofst)乘以增益，生成校正图像信号(Ya)。

Description

图像处理装置和方法

技术领域

本发明涉及对输入图像的亮度信号进行校正的图像处理装置和方法。

背景技术

以往，特别是针对雾、霞、雨天等下拍摄到的亮度信号分布较窄的图像进行图像的亮度信号的灰度校正，以提高被摄体(人、动物、车辆、道路标识等)的视觉辨认性。在进行灰度校正的情况下，当在亮度信号分布较窄的图像的一部分中包含亮度极高的部分或极低的部分时，针对亮度信号分布较窄的图像的灰度校正不充分。因此，公知有如下技术：将输入图像数据的高亮度侧的一定亮度以上的亮度转换为最高亮度，并且将低亮度侧的一定亮度以下的亮度转换为最低亮度，根据亮度，线性地将中间亮度从最低亮度放大到最高亮度(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2002-152623号公报(第3页第0007段)

发明内容

发明要解决的课题

现有的图像处理装置构成为，将输入图像数据的高亮度侧的一定亮度以上的亮度转换为最高亮度，并且将低亮度侧的一定亮度以下的亮度转换为最低亮度，根据亮度，线性地将中间亮度从最低亮度放大到最高亮度，因此，存在如下问题：低亮度侧的一定亮度以下的图像部分被涂黑而看不到，另一方面，当要防止低亮度侧的一定亮度以下的图像部分被涂黑时，中间亮度的图像部分的对比度的改善不充分。

本发明正是为了解决上述现有技术的课题而完成的，其目的在于，得到如下的图像处理装置：针对包含由于雾等而使亮度信号分布变窄的图像区域和低亮度图像区域的图像，不会涂黑低亮度图像区域，能够通过放大亮度信号分布较窄的图像区域的亮度信号分布来校正对比度。

用于解决课题的手段

为了解决上述课题，本发明的图像处理装置的特征在于，该图像处理装置具有：区域判定电路，其判定由图像信号表示的图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内；偏置电平生成电路，其根据由所述图像信号表示的图像中的、由所述区域判定电路判定为位于所述校正对象区域内的像素的亮度，生成偏置电平；偏置减法电路，其从所述图像信号中减去由所述偏置电平生成电路生成的所述偏置电平，生成偏置图像信号；增益生成电路，其生成针对所述偏置图像信号的增益；以及增益乘法电路，其对所述偏置图像信号乘以所述增益，生成校正图像信号。

发明效果

根据本发明，例如，不会涂黑被雾笼罩而使亮度信号分布变窄的被摄体的近前映出的窗框等引起的低亮度图像区域部分，能够改善被摄体的对比度。

附图说明

图1是概略地示出本发明的实施方式1的图像处理装置的结构的框图。

图2是示出图1的偏置电平生成电路的结构例的框图。

图3是示出图1的平均亮度校正增益生成电路的结构例的框图。

图4是示出实施方式1中的输入图像的例子的概略图。

图5是示出对图4的输入图像进行摄像时得到的信号波形的图。

图6是示出实施方式1中的与输入图像的例子对应的状态信号的分布的图。

图7的(a)～(c)是示出以关注像素为中心的周边像素块中的低亮度像素和非低亮度像素的配置的不同例子的图。

图8是示出与图4的A-A’线上的像素有关的低亮度像素比例的图。

图9是示出图1的混合比生成电路的一例中的输入输出特性的曲线图。

图10的(a)～(c)是示出通过图1的混合比生成电路的一例而输出的混合比的图。

图11是示出图1的混合比生成电路的一例中的输入输出特性的曲线图。

图12的(a)～(c)是示出通过图1的混合比生成电路的一例而输出的混合比的图。

图13是示出图1的混合比生成电路的一例中的输入输出特性的曲线图。

图14是示出图1的周边区域亮度平均电路中用于求平均的像素所占的区域的图。

图15是示出图1的偏置系数计算电路中作为输入的黑像素数NumB和作为输出的偏置系数KB的关系的图。

图16的(a)～(c)是示出输入图像、偏置减法电路进行偏置后的图像、以及白校正增益亮度乘法电路进行白校正后的图像的亮度信号分布的变化的图。

图17是示出实施方式1中的输出图像的例子的概略图。

图18是示出未设置图1的平均亮度校正量计算电路时的与图19相同的亮度信号分布的变化的图。

图19是示出输入图像、白校正增益亮度乘法电路进行白校正后的图像、以及平均亮度校正增益亮度乘法电路进行平均亮度校正后的图像的亮度信号分布的变化的图。

图20是概略地示出本发明的实施方式2的图像处理装置的结构的框图。

图21是概略地示出本发明的实施方式3的图像处理装置的结构的框图。

图22是示出实施方式3的图像处理装置中实施的图像处理方法的流程图。

图23是示出实施方式3的图像处理装置中实施的图像处理方法的流程图。

具体实施方式

实施方式1

图1示出本发明的实施方式1的图像处理装置的结构。

图示的图像处理装置接收构成图像的各像素的亮度信号Yi和色差信号Cbi、Cri，进行图像的亮度信号Yi的灰度校正。各像素的亮度信号Yi和色差信号Cbi、Cri简称为输入信号。图像处理装置依次将多个像素作为关注像素，输出该像素的校正后的亮度信号Yo，并且，直接输出(不施加校正)所输入的色差信号Cbi、Cri。

图示的图像处理装置具有偏置减法电路1、增益乘法电路2、亮度饱和处理电路5、混合电路6、偏置电平生成电路10、增益生成电路20、区域判定电路60、混合比生成电路65。

偏置减法电路1从输入图像的亮度信号Yi中减去由偏置电平生成电路10生成的偏置电平Offset，计算亮度信号Yofst。

即，偏置减法电路1从图像信号中减去由偏置电平生成电路10生成的偏置电平Offset，生成偏置图像信号。这里，图像信号是亮度信号Yi。并且，偏置图像信号是亮度信号Yofst。

如图2所示，偏置电平生成电路10具有周边区域亮度平均电路11、亮度最小值检测电路12、黑像素计数电路13、偏置系数计算电路14、偏置电平计算电路15。

增益乘法电路2对偏置减法电路1输出的亮度信号Yofst乘以由增益生成电路20生成的增益。增益生成电路20生成针对偏置图像信号的增益。这里，偏置图像信号是亮度信号Yofst。

增益乘法电路2具有白校正增益亮度乘法电路3和平均亮度校正增益亮度乘法电路4。增益生成电路20具有白校正增益计算电路30和平均亮度校正增益生成电路40。增益乘法电路2对偏置图像信号(亮度信号Yofst)乘以增益，生成校正图像信号Ywa。

白校正增益亮度乘法电路3对偏置减法电路1输出的亮度信号Yofst乘以由白校正增益计算电路30决定的白校正增益值WGain，计算白校正后亮度信号Yw。即，白校正增益亮度乘法电路3对偏置图像信号乘以白校正增益WGain，生成白校正图像信号Yw。这里，偏置图像信号是亮度信号Yofst。

平均亮度校正增益亮度乘法电路4对白校正增益亮度乘法电路3输出的亮度信号Yw乘以由平均亮度校正增益生成电路40决定的平均亮度校正增益APLGain，计算平均亮度校正后亮度信号Ywa。即，平均亮度校正增益亮度乘法电路4对白校正图像信号乘以平均亮度校正增益APLGain，生成平均亮度校正图像信号Ywa。这里，白校正图像信号是亮度信号Yw。

如图3所示，平均亮度校正增益生成电路40具有校正前平均亮度值计算电路41、校正后平均亮度值计算电路42、原色信号像素代表值生成电路43、颜色饱和像素计数电路44、颜色饱和校正电平生成电路51、目标平均亮度值计算电路47、平均亮度校正增益计算电路48。

颜色饱和校正电平生成电路51具有颜色饱和量平均值计算电路45和平均亮度值校正量计算电路46。颜色饱和校正电平生成电路51根据颜色饱和像素数SATnum和最大值M_POST生成颜色饱和校正电平SATADJ。

平均亮度校正增益生成电路40根据图像信号的平均亮度值APLpre、校正图像信号的平均亮度值APLpost和颜色饱和校正电平SATADJ生成平均亮度校正增益APLGain。

亮度饱和处理电路5对从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa进行饱和处理，输出饱和处理后的亮度信号Ya。

混合电路6以与由混合比生成电路65决定的混合比KMIX对应的比例，混合输入图像的亮度信号Yi和从亮度饱和处理电路5输出的饱和处理后的亮度信号Ya，输出输出亮度信号Yo。混合电路6根据混合比KMIX混合图像信号和校正图像信号。这里，图像信号是输入图像的亮度信号Yi。并且，校正图像信号是饱和处理后的亮度信号Ya。

在混合比示出百分率的情况下，混合电路6中的混合由下述式子表示。

Yo＝Yi×KMIX/100+Ya×(100-KMIX)/100…(1)

偏置电平生成电路10根据构成输入图像的像素中的、由区域判定电路60判定为校正对象的各个像素的周边区域的平均亮度，生成偏置电平(Offset)。

即，偏置电平生成电路10根据由图像信号表示的图像中的、由区域判定电路60判定为位于校正对象区域内的像素的亮度，生成偏置电平Offset。

白校正增益计算电路30根据由偏置电平生成电路10生成的偏置电平Offset和规定目标上限值Wtgt，按照每个像素生成白校正增益WGain。即，白校正增益计算电路30根据图像信号的偏置电平Offset和规定目标上限值Wtgt生成白校正增益WGain。

平均亮度校正增益生成电路40根据输入图像的亮度信号Yi和色差信号Cbi、Cri以及平均亮度校正后亮度信号Ywa生成平均亮度校正增益APLGain。

混合比生成电路65根据各像素的周围像素中的低亮度像素的比例(RLY)，按照每个像素求出混合比KMIX。即，混合比生成电路65针对由图像信号表示的图像的各像素，根据其周围像素中的亮度为规定亮度电平以下的像素所占的比例即低亮度像素比例，按照每个像素求出混合比。

下面，依次对区域判定电路60、混合比生成电路65、偏置电平生成电路10、白校正增益计算电路30和平均亮度校正增益生成电路40进行详细说明。

下面，假设输入图像是图4所示的图像的情况进行说明。图4例如示出越过窗框对被雾笼罩的房屋进行摄像时得到的图像的概略。占据图像一部分的窗框的部分LPA是亮度电平较低的区域(低亮度区域)，除此以外的部分(越过窗框看到的部分)HPA是亮度较高的区域(非低亮度区域)。在图示的例子中，该非低亮度区域HPA中包含的房屋的对比度较低，期望进行用于增大对比度的校正。

区域判定电路60判定由亮度信号Yi表示的图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内。

即，区域判定电路60判定由图像信号表示的图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内。这里，图像信号是亮度信号Yi。

区域判定电路60具有亮度电平判别电路61、像素比例计算电路62、校正对象像素指定电路63。

亮度电平判别电路61对输入图像的各像素的亮度信号Yi和规定亮度电平THP进行比较，输出表示判别结果的信号SEP。即，亮度电平判别电路61对由图像信号表示的图像的各像素的像素值和规定亮度电平THP进行比较，判别规定亮度电平THP以下的像素。这里，图像信号是亮度信号Yi。

图5是图4的输入图像的A-A’线的信号波形图。

在非低亮度区域HPA的信号中，与房屋的屋顶对应的信号被雾笼罩而成为小振幅，另一方面，低亮度区域LPA的信号也包含与窗框对应的小振幅的部分。

亮度电平判别电路61对图5这样的亮度信号Yi的各像素值和规定亮度电平(阈值)THP进行比较，作为判别结果，输出相对于阈值THP以下的像素(低亮度像素)为“1”、相对于大于阈值THP的像素(非低亮度像素)为“0”的二值的状态信号SEP。

另外，为了防止噪声的影响，在亮度电平判别电路61的输入级，也可以使亮度信号Yi通过周边像素平均处理等的低通滤波器后进行阈值判别。

与图像对应地显示判别结果输出(状态信号)SEP时，如图6所示。在图6中，施加了阴影的部分HPA是非低亮度像素所占的区域(非低亮度区域)，空白部分(未施加阴影的部分)LPA是低亮度像素所占的区域(低亮度区域)。

亮度电平判别电路61将状态信号SEP供给到像素比例计算电路62。

像素比例计算电路62将来自亮度电平判别电路61的状态信号SEP作为输入，依次将图像的各像素作为关注像素，求出以关注像素为中心的规定周边像素范围中上述低亮度像素所占的比例，作为低亮度像素比例(表示低亮度像素比例的数据)RLY进行输出。即，像素比例计算电路62依次将由图像信号表示的图像的各像素作为关注像素，计算以该关注像素为中心的规定周边像素范围中由亮度电平判别电路61判别为规定亮度电平THP以下的像素的像素所占的比例，作为低亮度像素比例RLY。

参照图7的(a)～(c)对像素比例计算电路62的详细动作进行说明。

图7的(a)～(c)例如示出由以关注像素为中心的水平方向33像素、垂直方向33像素的矩形区域构成的周边像素块位于图6的低亮度区域LPA与非低亮度区域HPA的边界部分的情况。这里，假设低亮度区域LPA仅由低亮度的像素构成，非低亮度区域HPA仅由非低亮度的像素构成。

在图7的(a)所示的周边像素块中，1089像素中的218像素为低亮度像素，低亮度像素比例RLY大约为20％。

在图7的(b)所示的周边像素块中，1089像素中的545像素为低亮度像素，低亮度像素比例RLY大约为50％。

在图7的(c)所示的周边像素块中，1089像素中的871像素为低亮度像素，低亮度像素比例RLY大约为80％。

在实际的电路中，也可以不使用百分率，而直接使用计数出的低亮度像素的数量作为表示低亮度像素比例的指标。

像素比例计算电路62将低亮度像素比例(表示低亮度像素比例的数据)RLY供给到校正对象像素指定电路63和混合比生成电路65。

校正对象像素指定电路63将从像素比例计算电路62输出的上述低亮度像素比例RLY为规定阈值THRL以下的像素判断为校正对象像素，输出表示判断结果的校正对象识别信号CMP。即，在与各像素有关的低亮度像素比例RLY为规定阈值以下THRL的情况下，校正对象像素指定电路63判断为该像素是校正对象区域内的像素，输出表示判断结果的信号作为校正对象识别信号CMP。

通过校正对象像素的集合构成校正对象区域HYA，通过校正对象像素以外的像素的集合构成非校正对象区域LYA。

上述阈值THRL例如被设定为50％。

在将阈值THRL设定为50％的情况下，校正对象区域HYA和非校正对象区域LYA分别与非低亮度区域HPA和低亮度区域LPA一致。为了示出该情况，在图6中，将符号HYA(THRL＝50)一并记入符号HPA中，将LYA(THRL＝50)一并记入符号LPA中。

在将阈值THRL设定为小于50％的值的情况下，如图6中符号HYA(THRL<50)所示，校正对象区域HYA比非低亮度区域HPA小。

在将阈值THRL设定为大于50％的值的情况下，如图6中符号HYA(THRL>50)所示，校正对象区域HYA比非低亮度区域HPA大。

校正对象识别信号CMP被供给到亮度最小值检测电路12和黑像素计数电路13。

混合比生成电路65按照规定的特性对从像素比例计算电路62输出的低亮度像素比例RLY进行转换，求出混合比KMIX。即，混合比生成电路65按照规定的特性对由像素比例计算电路62计算出的低亮度像素比例RLY进行转换，生成混合比KMIX。

例如，当示出与图4所示的输入图像的A-A’线上的像素有关的低亮度像素比例RLY时，如图8所示，在各像素的周边像素块仅由非低亮度区域HPA(假设仅由非低亮度像素构成)内的像素构成的情况下，低亮度像素比例RLY为0％，在各像素的周边像素块仅由低亮度区域LPA(假设仅由低亮度像素构成)内的像素构成的情况下，低亮度像素比例RLY为100％，在各像素的周边像素块由非低亮度区域HPA内的像素和低亮度区域LPA内的像素构成的情况下，根据非低亮度区域HPA和低亮度区域LPA的面积比例，低亮度像素比例RLY从0％变化为100％。

即，混合比生成电路65具有如下的转换特性：在低亮度像素比例RLY为规定上限值以上时，混合比KMIX为100％，在低亮度像素比例RLY为0％～上限值的范围内，随着低亮度像素比例RLY的增加，混合比KMIX从0％线性地增加到100％。

并且，混合比生成电路65具有如下的转换特性：在低亮度像素比例RLY为规定下限值以下时，混合比KMIX为0％，在低亮度像素比例RLY为下限值～100％的范围内，随着低亮度像素比例RLY的增加，混合比KMIX从0％线性地增加到100％。

参照图9和图10的(a)～(c)对混合比生成电路65的一个结构例的动作进行说明。

图9示出该例子的混合比生成电路65的输入输出特性(转换特性)。在图9所示的转换特性中，在低亮度像素比例RLY为规定上限值THU以上时，混合比KMIX为100％，在低亮度像素比例RLY为0％～上限值THU的范围内，随着低亮度比例RLY的增加，混合比KMIX从0％线性地增加到100％。

图10的(a)～(c)示出混合比生成电路65具有图9的输入输出特性时的、针对图4所示的输入图像的A-A’线上的像素的从低亮度比例RLY到混合比KMIX的转换过程。

图10的(a)是与图8相同的从像素比例计算电路62输入的低亮度像素比例RLY。

在混合比生成电路65中，对从像素比例计算电路62输入的低亮度像素比例RLY和规定上限值THU进行比较，如图9的虚线RLYa和图10的(b)所示，对超过上限值THU的部分进行限制，全部置换为100％。进而，如图9的实线KMIX和图10的(c)所示，将0％～上限值THU的部分放大到0％～100％。即，通过将(100％/THU)作为系数放大上限值THU以下的部分，得到对应的混合比KMIX。

因此，从RLY到KMIX的转换由以下式子表示。

在RLY>THU时，

KMIX＝100％

在RLY≤THU时，

KMIX＝RLY×(100％/THU)

另外，关于通过限制而使比例变化不连续的部分，也可以通过对周边的混合比进行平均等的处理进一步进行转换(调整)，以使比例变化连续。

参照图11和图12的(a)～(c)对混合比生成电路65的另一个结构例的动作进行说明。

图11示出该例子的混合比生成电路65的输入输出特性(转换特性)。在图11所示的转换特性中，在低亮度像素比例RLY为规定下限值THL以下时，混合比KMIX为0％，在低亮度像素比例RLY为下限值THL～100％的范围内，随着低亮度比例RLY的增加，混合比KMIX从0％直线增加到100％。

图12的(a)～(c)示出混合比生成电路65具有图11的输入输出特性时的、针对图4所示的输入图像的A-A’线上的像素的从低亮度比例RLY到混合比KMIX的转换过程。

图12的(a)是与图8相同的从像素比例计算电路62输入的低亮度像素比例RLY。

在混合比生成电路65中，对从像素比例计算电路62输入的低亮度像素比例RLY和规定下限值THL进行比较，如图11的虚线RLYb和图12的(b)所示，对小于下限值THL的部分进行限制，全部置换为0％。进而，如图11的实线KMIX和图12的(c)所示，将下限值THL～100％的部分放大到0％～100％。即，通过将(100％/(100％-THL))作为系数放大下限值THL以上的部分与100％之差，得到对应的混合比KMIX。

因此，从RLY到KMIX的转换由以下式子表示。

在RLY<THL时，

KMIX＝0％

在RLY≥THL时，

KMIX＝100％-(100％-RLY)×(100％/(100％-THL))

＝100％(RLY-THL)/(100％-THL)

另外，关于通过限制而使比例变化不连续的部分，也可以通过对周边的混合比进行平均等的处理进一步进行转换(调整)，以使比例变化连续。

如图9所示，在混合比生成电路65中，在低亮度像素比例RLY为上限值THU以上时，设混合比KMIX为100％，在低亮度像素比例RLY小于上限值THU时，设将低亮度像素比例(100/THU)作为系数而与低亮度像素比例相乘的值为混合比KMIX，由此，在低亮度比例接近100％的图像部分(图9中比上限值THU更靠右侧的范围)中，可以不混合校正图像信号Ya而直接将输入图像本身作为输出图像。

如图11所示，在混合比生成电路65中，在低亮度像素比例RLY为下限值THL以下时，设混合比KMIX为0％，在低亮度像素比例RLY大于下限值THL时，设将(100％/(100％-THL))作为系数放大大于下限值THL的低亮度像素比例RLY的值与100％之差而得到的值为混合比KMIX，由此，在低亮度比例接近0％的图像部分(图11中比THL更靠左侧的范围)中，可以不混合输入图像信号Yi而直接将校正图像本身作为输出图像。

在参照上述图9～图12的(c)说明的结构例中，说明了将上限值THU作为上侧限制值的例子和将下限值THL作为下侧限制值的例子，但是，也可以具有上限值和下限值THU、THL双方，分别将其作为上侧限制值、下侧限制值，在限制后将数据从0％放大到100％。

该情况下的低亮度比例RLY和混合比KMIX的关系如图13所示。

另外，作为混合比生成电路65，也可以直接输出所输入的像素比例RLY作为混合比KMIX。

通过转换而得到的混合比(表示混合比的数据)KMIX被供给到混合电路6。

如上所述，仅将以关注像素为中心的规定周边像素范围中被判别为规定阈值THP以下的像素的像素(低亮度像素)所占的比例大于规定阈值THRL的像素从校正对象中除外，将周边像素范围内低亮度像素所占的比例RLY为规定阈值THRL以下的像素作为校正对象，由此，能够仅将低亮度像素汇集而成的区域从校正对象中除外，仅将非低亮度像素汇集而成的区域作为校正对象。因此，不会忽略非低亮度像素汇集而成的区域中的低亮度像素，相反，不会受到低亮度像素汇集而成的区域中的非低亮度像素的影响，能够决定偏置和增益，能够适当进行对比度的改善。

并且，关于各像素，根据考虑到其周边像素的亮度的低亮度像素比例RLY，改变校正图像信号Ya与输入图像信号Yi的混合比KMIX，因此，在校正对象区域与低亮度区域的边界部中，也能够避免针对输入图像的校正量急剧变化，能够得到没有不舒适感的输出图像。

图2所示的偏置电平生成电路10的周边区域亮度平均电路11接收输入图像的亮度信号Yi，依次将各像素作为关注像素，按照每个像素计算其周边区域亮度平均值Yavg。即，周边区域亮度平均电路11计算关注像素P0的周边区域NA内的像素的亮度信号值的平均值，作为关注像素P0的周边区域亮度平均值Yavg进行输出。

即，周边区域亮度平均电路11将图像信号的各像素作为关注像素，按照每个像素计算该关注像素的周边像素平均值。这里，图像信号是亮度信号Yi。并且，周边像素平均值是周边区域亮度平均值Yavg。

例如，如图14所示，以关注像素P0为中心，将水平方向5像素、垂直方向5像素的矩形区域作为周边区域NA，计算该周边区域NA中包含的25像素的亮度信号值的平均值，作为关注像素P0的周边区域亮度平均值Yavg。

周边区域亮度平均电路11中求出周边区域亮度平均时使用的周边区域的像素数不限于水平方向5像素×垂直方向5像素，根据输入图像的亮度信号的S/N电平或安装本图像处理装置的硬件等存储器资源等确定区域大小即可。通过设定较大的区域，能够减小亮度信号中包含的噪声成分的影响，但是，当区域过大时，关注像素的亮度占要计算的周边区域亮度平均值Yavg的权重较小，图像的鲜锐度受损。

从周边区域亮度平均电路11输出的周边区域亮度平均值Yavg被供给到亮度最小值检测电路12和黑像素计数电路13。

亮度最小值检测电路12输出由周边区域亮度平均电路11生成的每个像素的周边区域亮度平均值Yavg在校正对象区域HYA内的最小值，作为亮度最小值Ymin。这里，根据校正对象识别信号CMP，判断周边区域亮度平均值Yavg是否与校正对象区域HYA内的像素有关。

即，亮度最小值检测电路12检测按照输入图像的每个像素求出的周边像素平均值中的、由区域判定电路60判定为校正对象的像素构成的校正对象区域HYA内的最小值。这里，周边像素平均值是周边区域亮度平均值Yavg。并且，最小值是亮度最小值Ymin。

亮度最小值Ymin被供给到偏置电平计算电路15。

黑像素计数电路13对由周边区域亮度平均电路11生成的每个像素的周边区域亮度平均值Yavg和规定阈值BmAx进行比较，对校正对象像素中的上述比较结果是判定为阈值BmAx以下的像素的数量进行计数，计算计数结果作为黑像素数NumB。根据校正对象识别信号CMP判断各像素是否是校正对象像素。

即，黑像素计数电路13按照每个画面对周边像素平均值为规定电平以下的黑电平像素进行计数。这里，周边像素平均值是周边区域亮度平均值Yavg。并且，规定电平是阈值BmAx。对黑电平像素进行计数的结果是黑像素数NumB。

阈值BmAx被设定为画面内显示为黑色的灰度范围的上限以上的值。

偏置系数计算电路14按照每个画面计算与从黑像素计数电路13输出的黑像素数NumB对应的偏置系数KB。

即，偏置系数计算电路14根据黑电平像素数生成偏置系数KB。这里，黑电平像素数是黑像素数NumB。

黑像素数NumB和根据该黑像素数NumB计算出的偏置系数KB的关系的一例如图15所示。

在图15所示的例子中，偏置系数KB被设定为，在黑像素数NumB为规定值NumTP以下时，偏置系数KB为1，在黑像素数NumB大于规定值NumTP的范围内，偏置系数KB小于1，并且，伴随黑像素数NumB的增加，偏置系数KB逐渐减小。

偏置系数KB被输入到偏置电平计算电路15。

这样，在黑像素数NumB较多的图像中，通过减小偏置系数KB，如后所述，减小偏置电平Offset。这是因为，在雾的影响较大的图像中，多数情况下，亮度信号分布偏向高亮度侧，黑像素数NumB较多的情况较少，但是，在雾的影响较小的图像中，有时黑像素数NumB较多，针对这种图像，不需要进行扩大亮度信号分布的灰度校正。通过采用上述结构可得到如下效果：针对不包含雾等的图像，能够抑制使亮度信号分布过宽的过度的灰度校正。

偏置电平计算电路15根据按照每个画面从亮度最小值检测电路12输出的亮度最小值Ymin、按照每个画面从偏置系数计算电路14输出的偏置系数KB、规定阈值LIMofst，计算偏置电平Offset。

即，偏置电平计算电路15根据最小值和偏置系数KB计算偏置电平Offset。这里，最小值是亮度最小值Ymin。

在该偏置电平Offset的计算中，最初求出目标偏置电平Offset_tgt，接着，根据该目标偏置电平求出偏置电平Offset。

根据式(2A)或式(2B)，按照每个画面计算目标偏置电平Offset_tgt。

设定规定阈值LIMofst，使得在亮度信号分布偏向高亮度侧的情况下，抑制由于扩大亮度信号分布而产生伪轮廓，如下所述，Offset_tgt被限制为LIMofst以下。

在Ymin×KB<LIMofst的情况下，

Offset_tgt＝Ymin×KB…(2A)

在Ymin×KB≥LIMofst的情况下，

Offset_tgt＝LIMofst…(2B)

目标偏置电平Offset_tgt是以画面单位计算的值，假设以画面单位进行的变动剧烈。为了减轻该变动的影响，使用指数平滑系数值Kofst(0以上1以下的值)，进行式(3)表示的指数平滑处理。在式(3)中，Offset_tgt(t)是针对某个画面计算出的目标偏置电平，Offset_tgt(t-1)是针对Offset_tgt(t)的前1个画面计算出的目标偏置电平。

Offset

＝Kofst×Offset_tgt(t)

+(1-Kofst)×Offset_tgt(t-1)…(3)

计算出的偏置电平Offset被输入到偏置减法电路1。

通过采用上述结构可得到如下效果：在输入图像的目标偏置电平以画面单位剧烈变动的情况下，也能够抑制校正后的图像的亮度信号的电平变动。

另外，在目标偏置电平Offset_tgt的变动不剧烈的环境中，也可以构成为，在偏置电平Offset的计算中不使用指数平滑处理，如下述式(4)所示，直接输出目标偏置电平Offset_tgt作为偏置电平Offset。

Offset＝Offset_tgt…(4)

如下述式(5)所示，偏置减法电路1从输入图像的亮度信号Yi中减去按照每个画面从偏置电平计算电路15输出的偏置电平Offset，计算偏置后的亮度信号Yofst。

Yofst＝Yi-Offset…(5)

偏置后的亮度信号Yofst被输入到白校正增益亮度乘法电路3。

通过对根据输入图像中的与各个校正对象像素有关的周边区域亮度平均值Yavg计算出的亮度最小值Ymin和根据输入图像的黑像素数NumB计算出的偏置系数KB进行相乘，计算偏置电平Offset，因此，不会产生涂黑像素，能够进行扩大亮度信号分布的灰度校正。

白校正增益计算电路30根据按照每个画面从偏置电平生成电路10输出的偏置电平Offset和亮度信号的灰度的最大值Yfc以下的目标上限值Wtgt，依据式(6)或式(7)计算白校正增益值WGain。目标上限值Wtgt设定画面内显示为白色的灰度范围的最大亮度电平。

在Offset<Wtgt-1的情况下，

WGain＝Wtgt/(Wtgt-Offset)…(6)

在Offset≥Wtgt-1的情况下，

WGain＝Wtgt…(7)

如下述式(8)所示，白校正增益亮度乘法电路3对从白校正增益计算电路30输出的白校正增益值WGain和从偏置减法电路1输出的亮度信号Yofst进行相乘，计算亮度信号Yw。

Yw＝WGain×Yofst…(8)

生成白校正增益值WGain，使得校正后的亮度信号Yw不会超过输入图像的亮度信号Yi的灰度的最大值Yfc，因此，具有如下效果：在由乘以白校正增益值WGain而得到的亮度信号Yw和色差信号Cbi、Cri构成的校正图像中，泛白的像素不会增加。

图16的(a)～(c)示出输入图像的亮度信号Yi的分布、偏置减法电路1输出的亮度信号Yofst的分布、白校正增益亮度乘法电路3输出的亮度信号Yw的分布的一例。

使图16的(a)的亮度信号Yi的分布直接向左方向偏移偏置电平Offset的量后，成为图16的(b)的亮度信号Yofst的分布。图16的(a)所示的亮度信号Yi和图16的(b)所示的亮度信号Yofst的分布位置不同，但是其分布形状相同。

将图16的(b)的亮度信号Yofst的分布的左端固定并使其在横向上放大后，成为图16的(c)的亮度信号Yw的分布。图16的(c)所示的亮度信号Yw和图16的(a)所示的亮度信号Yi的分布位置和分布形状均不同。

通过偏置减法电路1和白校正增益亮度乘法电路3的效果，图16的(c)所示的亮度信号Yw的分布比亮度信号Yi的分布宽，在雾、霞、雨天等拍摄到的图像的对比度得到改善。但是，图16的(c)所示的亮度信号Yw的分布的平均值比图16的(a)所示的亮度信号Yi的分布的平均值低，由亮度信号Yw和色差信号Cbi、Cri构成的图像成为比输入图像暗的图像。

如下所述，平均亮度校正增益亮度乘法电路4和平均亮度校正增益生成电路40正是为了改善这点而设置的。

图3所示的平均亮度校正增益生成电路40的校正前平均亮度值计算电路41根据输入图像的亮度信号Yi计算画面整体的平均亮度值APLpre。即，校正前平均亮度值计算电路41生成输入图像信号的平均亮度值。这里，输入图像信号是输入图像的亮度信号Yi。通过使输入图像的画面的全部像素的亮度Yi的总和除以上述全部像素的数量，得到该平均亮度值APLpre。平均亮度值APLpre被输入到目标平均亮度值计算电路47。

校正后平均亮度值计算电路42计算从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa的画面整体的校正后平均亮度值APLpost。即，校正后平均亮度值计算电路42生成校正图像信号的平均亮度值。这里，校正图像信号是亮度信号Ywa。通过使校正后的图像的画面的全部像素的亮度值Ywa的总和除以上述全部像素的数量，得到该校正后平均亮度值APLpost。

平均亮度值APLpost被输入到平均亮度校正增益计算电路48。

原色信号像素代表值生成电路43根据从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa和输入图像的色差信号Cbi、Cri，通过矩阵运算，计算每个像素的原色信号R、原色信号G和原色信号B。即，原色信号像素代表值生成电路43将校正图像信号和输入图像的色差信号转换为三原色信号，生成每个像素的最大值。这里，校正图像信号是亮度信号Ywa。

根据与输出图像的显示系对应的颜色矩阵转换式，例如通过下述式(9)进行矩阵运算。生成B。

R＝+1.00×Ywa+0.00×Cbi+1.40×Cri

G＝+1.00×Ywa-0.34×Cbi-0.71×Cri

B＝+1.00×Ywa+1.77×Cbi+0.00×Cri

                     …(9)

另外，上述式(9)是NTSC规格的颜色矩阵转换式，但是，根据输出图像的显示系，例如也可以使用sRGB规格等的颜色矩阵转换式。

原色信号像素代表值生成电路43求出通过上述计算而求出的原色信号R、G、B的每个像素的最大值MAX(R、G、B)，输出该最大值作为像素代表值M_POST。

像素代表值M_POST被输入到颜色饱和像素计数电路44和颜色饱和量平均值计算电路45。

颜色饱和像素计数电路44对从原色信号像素代表值生成电路43输出的像素代表值M_POST和规定阈值SATmin的大小进行比较，对像素代表值M_POST为规定阈值SATmin以上的像素的数量进行计数，计算每个画面的计数结果作为颜色饱和像素数SATnum。即，颜色饱和像素计数电路44按照每个画面对最大值M_POST为规定电平以上的颜色饱和像素数SATnum进行计数。

还考虑显示图像时不产生颜色饱和的余量来设定规定阈值SATmin。

作为计数结果的颜色饱和像素数SATnum被输入到颜色饱和量平均值计算电路45。

颜色饱和量平均值计算电路45根据从原色信号像素代表值生成电路43输出的像素代表值M_POST、从颜色饱和像素计数电路44输出的颜色饱和像素数SATnum以及规定阈值SATmin，依据式(10)计算颜色饱和量差分绝对值和SATsub，接着，依据式(11)计算颜色饱和量平均值SATavg。

SATsub＝Σ(M_POST-SATmin)…(10)

SATavg＝SATsub/SATnum…(11)

式(10)的SATsub表示与满足SATmin≤M_POST的全部M_POST有关的M_POST-SATmin的总和(SATnum个M_POST-SATmin的总和)。

计算出的颜色饱和量平均值SATavg被输入到平均亮度值校正量计算电路46。

平均亮度值校正量计算电路46根据从颜色饱和像素计数电路44输出的颜色饱和像素数SATnum、从颜色饱和量平均值计算电路45输出的颜色饱和量平均值SATavg、画面像素数NMAX以及针对平均亮度值校正量的强度系数SATstr，依据式(12)计算颜色饱和校正电平SATADJ。颜色饱和校正电平SATADJ被用作平均亮度值校正量。

SATADJ＝SATavg×(SATnum/NMAX)×SATstr…(12)

式(11)右边的(SATnum/NMAX)相当于产生颜色饱和的面积的比例。

在颜色饱和量平均值计算电路45和平均亮度值校正量计算电路46中，构成为分别计算颜色饱和量平均值SATavg和颜色饱和像素数SATnum，接着计算颜色饱和校正电平SATADJ，但是，也可以构成为，根据通过式(10)计算出的SATsub，依据式(13)直接计算颜色饱和校正电平SATADJ。

SATADJ＝(SATsub/NMAX)×SATstr…(13)

通过在式(12)的SATavg中代入式(11)，如下所述导出式(13)。

SATADJ

＝SATavg×(SATnum/NMAX)×SATstr

＝(SATsub/SATnum)×(SATnum/NMAX)×SATstr

＝(SATsub/NMAX)×SATstr

通过采用依据式(13)求出颜色饱和校正电平SATADJ的结构，即使省略颜色饱和量平均值SATavg的计算中的颜色饱和像素数SATnum的除法运算以及颜色饱和校正电平SATADJ的计算中的颜色饱和像素尾数SATnum的乘法运算，也同样得到颜色饱和校正电平SATADJ。通过减少除法器和乘法器，具有能够削减电路规模的效果。

由颜色饱和量平均值计算电路45和平均亮度值校正量计算电路46，构成根据颜色饱和像素数SATnum和最大值M_POST生成颜色饱和校正电平SATADJ的颜色饱和校正电平生成电路51。

目标平均亮度值计算电路47根据从校正前平均亮度值计算电路41输出的输入图像的平均亮度值APLpre、从平均亮度值校正量计算电路46输出的颜色饱和校正电平SATADJ、用于在校正前后对平均亮度值赋予期望电平差的调整值APLADJ，依据式(14A)或(14B)计算目标平均亮度值APL_TGT。即，目标平均亮度值计算电路47根据输入图像信号的平均亮度值APLpre和校正图像信号的颜色饱和校正电平SATADJ生成目标图像电平。这里，目标图像电平是目标平均亮度值APL_TGT。

在APLpre>SATADJ时，

APL_TGT＝APLpre+APLADJ-SATADJ…(14A)

在APLpre>SATADJ时，

APL_TGT＝APLpre-APLADJ-SATADJ…(14B)

调整值APLADJ用于在校正前后对平均亮度值赋予期望电平差，是预先设定的。另外，也可以能够从外部变更调整值APLADJ。

目标平均亮度值APL_TGT被输入到平均亮度校正增益计算电路48。

构成为在目标平均亮度值APL_TGT的计算式中加上或减去调整值APLADJ的项，因此，具有能够在校正前后对平均亮度值赋予期望电平差的效果。在输入图像过亮或过暗的情况下，可以使用调整值APLADJ提前变更目标平均亮度值APL_TGT。

平均亮度校正增益计算电路48根据从目标平均亮度值计算电路47输出的目标平均亮度值APL_TGT和从校正后平均亮度值计算电路42输出的校正图像的平均亮度值APLpost，计算平均亮度校正增益APLGain。

即，平均亮度校正增益计算电路48生成平均亮度校正增益APLGain，以使校正图像信号的平均亮度值接近目标图像电平。这里，目标图像电平是目标平均亮度值APL_TGT。并且，平均亮度值是平均亮度值APLpost。

在该平均亮度校正增益APLGain的计算中，首先，计算目标平均亮度校正增益APLGain_tgt，根据目标平均亮度校正增益APLGain_tgt计算平均亮度校正增益APLGain。

根据目标平均亮度值APL_TGT和输出图像的平均亮度值APLpost，如下所述进行目标平均亮度校正增益APLGain_tgt的计算。首先，如果APLpost与APLGain相同，则直接使用前一帧的APLGain_tgt(t-1)作为当前帧的APLGain_tgt(t)。如果APLpost与APLGain不同，则通过下述式(15)求出APLGain_tgt，用作当前帧的APLGain_tgt(t)。

APLGain_tgt＝APL_TGT/APLpost…(15)

目标平均亮度校正增益APLGain_tgt是以画面单位计算的值，假设以画面单位进行变动。为了减轻该变动的影响，使用指数平滑系数值KApl(0以上1以下的值)进行式(16)表示的指数平滑处理。在式(16)中，APLGain_tgt(t)是针对某个画面计算出的目标平均亮度校正增益，Offset_tgt(t-1)是针对Offset_tgt(t)的前1个画面计算出的目标平均亮度校正增益。

APLGain

＝KApl×APLGain_tgt(t)

+(1-KApl)×APLGain_tgt(t-1)…(16)

计算出的平均亮度校正增益APLGain被输入到平均亮度校正增益亮度乘法电路4。

通过采用上述结构可得到如下效果：在输入图像的平均亮度值以画面单位剧烈变动的情况下，也能够抑制校正后的图像的平均亮度值的电平变动。

另外，在目标平均亮度校正增益APLGain_tgt的变动不剧烈的环境中，也可以构成为，在平均亮度校正增益APLGain的计算中不使用指数平滑处理，如下述式(17)所示，直接输出目标平均亮度校正增益APLGain作为平均亮度校正增益。

APLGain＝APLGain_tgt…(17)

由目标平均亮度值计算电路47和平均亮度校正增益计算电路48，构成根据校正图像信号的平均亮度值APLpre和校正图像信号的颜色饱和校正电平SATADJ决定平均亮度校正增益APLGain的平均亮度校正增益决定电路52。即，平均亮度校正增益决定电路52根据校正图像信号的平均亮度值APLpre和校正图像信号的颜色饱和校正电平SATADJ决定平均亮度校正增益APLGain。

平均亮度校正增益亮度乘法电路4对从白校正增益亮度乘法电路3输出的亮度信号Yw乘以从平均亮度校正增益计算电路48输出的平均亮度校正增益APLGain，计算校正后亮度信号Ywa。该乘法运算由下述式(18)表示。

Ywa＝APLGain×Yw…(18)

在输入图像的亮度信号分布不偏向高亮度侧的图像的情况下，颜色饱和校正电平SATADJ往往为0，进而，在调整值APLADJ为0的情况下，目标平均亮度校正增益APLGain_tgt为校正前平均亮度值APLpre与校正后平均亮度值APLpost之比，因此，校正后平均亮度接近校正前平均亮度(因此，校正后平均亮度接近目标图像电平APL_TGT，具有校正前后的图像的明亮度没有变动的效果)。

亮度饱和处理电路5对平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa进行饱和处理，计算校正后的亮度信号Ya。在该饱和处理中，作为亮度信号Ywa的灰度值，在计算出超过最大值Yfc的灰度值时，该灰度值被限制为最大值Yfc。

混合电路6根据从混合比生成电路65输出的混合比KMIX，如上述式(1)所示混合输入图像的亮度信号Yi和从亮度饱和处理电路5输出的亮度信号Ya，输出输出亮度信号Yo。

如上所述，根据低亮度像素比例RLY确定混合比KMIX。混合比KMIX的值越大，亮度信号Yi的混合比例越大，混合比KMIX的值越小，亮度信号Ya的混合比例越大。

例如，图17示出对图4的输入图像进行处理后的输出图像例。在图4的越过窗框对被雾笼罩的房屋进行摄像而得到的图像中，如图17所示，直接显示低亮度区域LPA而不会涂黑，非低亮度区域HPA中的房屋的对比度清晰，对比度得到改善。

构成为判别低亮度图像区域，对除了低亮度图像区域以外的图像区域进行对比度校正，因此，具有如下效果：不会涂黑映出配置在被雾笼罩的被摄体的前景中的窗框等被摄体的低亮度图像区域部分，改善由于雾等而使亮度信号分布变窄的图像区域的对比度。

这里，对设置平均亮度值校正量计算电路46的效果进行说明。

在未设置平均亮度值校正量计算电路46的情况下产生以下问题。

图18示出未设置平均亮度值校正量计算电路46时的输入图像的亮度信号Yi的分布和从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa’的分布。平均亮度校正增益计算电路48计算平均亮度校正增益APLGain以使输入图像的亮度信号Yi的平均亮度值APLpre和亮度信号Ywa’的平均亮度值APLpost相等，因此，亮度信号Ywa’的分布接近亮度信号的灰度的最大值Yfc，泛白的像素增加。

并且，根据亮度信号Ywa’和色差信号Cbi、Cri通过矩阵运算而得到的原色信号R、G、B为灰度最大值的像素增加，色相变化的图像增加。例如，在NTSC规格中，根据亮度信号Ywa’和色差信号Cbi、Cri，通过下述式(19)和式(20)计算原色信号R、B，因此，即使亮度信号Ywa’未达到灰度最大值Yfc，在色差信号Cbi、Cri为正的像素中，原色信号R、B也成为灰度最大值而产生颜色饱和，色相变化。

R＝+1.00×Ywa’+0.00×Cbi+1.40×Cri…(19)

B＝+1.00×Ywa’+1.77×Cbi+0.00×Cri…(20)

另一方面，图19示出设置平均亮度值校正量计算电路46时的输入图像的亮度信号Yi的分布和从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa的分布的示意图。平均亮度校正增益计算电路48根据从输入图像的亮度信号Yi的平均亮度值APLpre中减去颜色饱和校正电平SATADJ而得到的值与亮度信号Ywa的平均亮度值APLpost之比，计算平均亮度校正增益APLGain，因此，关于亮度信号Ywa的分布，越是在图18所示的未设置平均亮度值校正量计算电路46的情况下从平均亮度校正增益亮度乘法电路4输出的亮度信号Ywa’，越不会偏向亮度信号的灰度的最大值Yfc。其结果是，能够抑制泛白的像素的增加，并且，还能够抑制根据亮度信号Ywa和色差信号Cbi、Cri通过矩阵运算而得到的原色信号R、G、B为灰度最大值Yfc的像素的增加，能够抑制色相变化的像素的增加。

另外，在上述实施方式中，在亮度最小值检测电路12中，代替将周边区域亮度平均值Yavg在画面整体中的最小值作为亮度最小值Ymin，切出输入图像的一部分进行输出，在该图像处理装置中，也可以构成为，不输出输入图像的画面整体而输出切出并输出的图像范围内的最小值作为亮度最小值Ymin。

黑像素计数电路13、校正前平均亮度值计算电路41、校正后平均亮度值计算电路42、颜色饱和像素计数电路44和平均亮度值校正量计算电路46也是同样的。

另外，在实施方式1的结构中，在与各画面(帧)有关的输入图像的亮度信号Yi的输入结束的时点，偏置电平生成电路10、白校正增益计算电路30和平均亮度校正增益生成电路40根据与该画面有关的输入图像的亮度信号Yi和校正图像Ywa生成偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain，因此，将生成的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain用于对下一个画面(帧)的亮度信号Yi进行校正，但是，如果前后画面间的图像内容没有大幅变化，则这样也没有较大问题。

为了将根据与各画面(帧)有关的输入图像的亮度信号Yi和校正图像Ywa生成的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain用于对相同画面(帧)的亮度信号进行校正，只要在图1的偏置减法电路1的前级插入用于使亮度信号Yi延迟1个画面(帧)期间的电路(存储电路)即可。

实施方式2

图20示出本发明的实施方式2的图像处理装置。

图20所示的图像处理装置与图1所示的实施方式1的图像处理装置大致相同，但是，与实施方式1的不同之处在于，增益乘法电路2还包含白校正增益色差乘法电路7和平均亮度校正增益色差乘法电路8，还附加有色差饱和处理电路9，对色差信号进行灰度校正。

下面，对与实施方式1不同的部分进行说明。

白校正增益色差乘法电路7对从白校正增益计算电路30输出的白校正增益值WGain和输入图像的色差信号Cbi、Cri进行相乘，计算色差信号Cbw、Crw。色差信号Cbw、Crw被输入到平均亮度校正增益色差乘法电路8。

平均亮度校正增益色差乘法电路8对从白校正增益色差乘法电路7输出的色差信号Cbw、Crw乘以从平均亮度校正增益生成电路40的平均亮度校正增益计算电路48输出的平均亮度校正增益APLGain，计算色差信号Cbwa、Crwa。色差信号Cbwa、Crwa被输入到平均亮度校正增益生成电路40的原色信号像素代表值生成电路43和色差饱和处理电路9。

色差饱和处理电路9对平均亮度校正增益色差乘法电路8输出的色差信号Cbwa、Crwa进行饱和处理，计算校正后的色差信号Cbo、Cro。

这样，通过对色差信号进行灰度校正，针对由于雾、霞、雨天等而使彩度降低的图像，不仅能够进行亮度信号的灰度校正，还能够提高彩度。并且，计算颜色饱和量，根据该颜色饱和量来校正针对亮度信号和色差信号的增益值，因此，即使对色差信号进行灰度校正，也能够抑制色相变化的像素的增加。

实施方式1的平均亮度校正增益生成电路40根据输入图像的色差信号Cbi、Cri生成平均亮度校正增益，与此相对，实施方式2的平均亮度校正增益生成电路40根据校正后的图像的色差信号Cbo、Cro生成平均亮度校正增益，但是其处理内容相同。

在实施方式2中，与实施方式1所述的情况相同，也可以构成为，在图20的偏置减法电路1和白校正增益色差乘法电路7之前插入用于使输入图像的亮度信号Yi和色差信号Cbi、Cri分别延迟1帧期间的电路，在偏置减法电路1、白校正增益亮度乘法电路3、平均亮度校正增益亮度乘法电路4、白校正增益色差乘法电路7和平均亮度校正增益色差乘法电路8中，根据基于前1个画面(帧)的输入图像的亮度信号Yi和色差信号Cbi、Cbr计算出的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain以及相同画面(帧)的亮度信号Yi和色差信号Cbi、Cri，生成校正图像的亮度信号Ywa和色差信号Cbwa、Crwa。

实施方式3

以上说明了利用硬件构成实施方式1、2的图像处理装置的情况，但是，也可以通过软件即通过程序化的计算机来实现实施方式1、2的装置的一部分或全部。

该情况下，例如如图21所示构成图像处理装置。

图21所示的图像处理装置包含输入接口101、处理器102、程序存储器103、数据存储器104、输出接口105和对它们进行连接的总线106。

处理器102针对经由输入接口101输入的图像，依据程序存储器103中存储的程序进行动作。在动作过程中将各种数据存储在数据存储器104中。经由接口105输出处理后生成的图像。

下面，参照图22和图23说明利用图21的结构进行与实施方式2的图像处理装置相同的处理时的动作。

为了简化说明，不是按照输入图像的每个像素输入亮度信号和色差信号，而是按照输入图像的每个画面输入画面整体的像素的亮度信号和色差信号。

在步骤S1中，接收输入图像的亮度信号Yi和色差信号Cbi、Cri。

在步骤S2中，根据当前画面(帧)的输入图像的亮度信号Yi和色差信号Cbi、Cri以及计算出的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain，计算亮度信号Ywa和色差信号Cbwa、Crwa。这里，使用根据前1个画面(帧)的输入图像的亮度信号Yi、校正图像的亮度信号Ywa和色差信号Cbwa、Crwa计算出的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain。该处理与图1的偏置减法电路1、白校正增益亮度乘法电路3和平均亮度校正增益亮度乘法电路4进行的处理相同。

在步骤S3中，计算当前画面内的各像素的周边区域亮度平均值Yavg。

该处理与图2的周边区域亮度平均电路11的处理相同。

在步骤S4中，计算当前画面中的校正对象区域内的各像素的周边区域亮度平均值Yavg的最小值即亮度最小值Ymin。该处理与图2的亮度最小值检测电路12的处理相同。

在步骤S5中，对当前画面中的校正对象区域内的各像素的周边区域亮度平均值Yavg为规定阈值BmAx以下的黑像素数NumB进行计数。该处理与图2的黑像素计数电路13的处理相同。

在步骤S6中，根据黑像素数NumB的值计算偏置系数KB。该处理与图2的偏置系数计算电路14的处理相同。

在步骤S7中，根据步骤S4中计算出的亮度最小值Ymin、步骤S6中计算出的偏置系数KB以及规定阈值LIMOfst，计算目标偏置电平Offset_tgt。在步骤S8中，通过指数平滑处理，根据目标偏置电平Offset_tgt计算偏置电平Offset。步骤S7、S8的处理与图2的偏置电平计算电路15的处理相同。

在步骤S9中，根据步骤S8中计算出的偏置电平Offset和亮度信号的灰度的目标上限值Wtgt，计算白校正增益WGain。该处理与图20的白校正增益计算电路30的处理相同。

在步骤S10中，计算画面整体的像素的亮度信号Yi的平均值即校正前平均亮度值APLpre、以及画面整体的像素的亮度信号Ywa的平均值即校正后平均亮度值APLpost。该处理与图3的校正前平均亮度值计算电路41和校正后平均亮度值计算电路42的处理相同。

在步骤S11中，根据步骤S2中计算出的亮度信号Ywa和色差信号Cbwa、Crwa，通过矩阵运算来计算原色信号R、G、B，针对各像素，计算原色信号R、G、B的最大值MAX(R、G、B)作为像素代表值M_POST。该处理与图3的原色信号像素代表值生成电路43的处理相同。

在步骤S12中，对像素代表值M_POST为规定阈值SATmin以上的颜色饱和像素数SATnum进行计数。该处理与图3的颜色饱和像素计数电路44的处理相同。

在步骤S13中，计算从颜色饱和像素的像素代表值M_POST中减去规定阈值SATmin而得到的值在画面内的合计，除以颜色饱和像素数SATnum来计算颜色饱和量平均值SATavg。该处理与图3的颜色饱和量平均值计算电路45进行的式(10)和式(11)表示的处理相同。

在步骤S14中，根据步骤S12中计算出的颜色饱和像素数SATnum、步骤S13中计算出的颜色饱和量平均值SATavg、画面像素数NMAX、针对平均亮度值校正量的强度系数SATstr，计算颜色饱和校正电平SATADJ。该处理与图3的平均亮度值校正量计算电路46进行的式(12)表示的处理相同。

在步骤S15中，根据步骤S10中计算出的校正前平均亮度值APLpre、步骤S14中计算出的颜色饱和校正电平SATADJ、用于在校正前后对平均亮度值赋予期望电平差的调整值APLADJ，计算目标平均亮度值APL_TGT。该处理与图3的目标平均亮度值计算电路47进行的式(14A)、式(14B)表示的处理相同。

在步骤S16中，对步骤S15中计算出的目标平均亮度值APL_TGT和步骤S10中计算出的校正后平均亮度值APLpost进行比较判定。这里，在判定为APL_TGT＝APLpost的情况下，进入步骤S17。另一方面，在判定为不是APL_TGT＝APLpost的情况下，进入步骤S18。

在步骤S17中，保持针对前1个画面计算出的目标平均亮度校正增益APLGain_tgt(t-1)作为当前画面的目标平均亮度校正增益APLGain_tgt(t)。

另一方面，在步骤S18中，根据步骤S15中计算出的目标平均亮度值APL_TGT和步骤S10中计算出的校正后平均亮度值APLpost，计算当前画面的目标平均亮度校正增益APLGain_tgt。该运算与实施方式1中参照式(15)说明的运算相同。

在步骤S19中，通过指数平滑处理，根据目标平均亮度校正增益APLGain_tgt计算平均亮度校正增益APLGain。该运算与实施方式1中参照式(16)说明的运算相同。以上的步骤S16、S17、S18、S19的处理与图3的平均亮度校正增益计算电路48的处理相同。

最后，在步骤S20中，进行步骤S7、S8、S17、S18、S19中使用的计数器t(表示画面编号)的更新，返回步骤1，以便开始进行下一个输入图像的处理。

在校正图像的颜色饱和像素数SATnum较少的情况下或颜色饱和量平均值SATavg较小的情况下，通过步骤S11～步骤S19的处理，能够减小校正后平均亮度值APLpost与校正前平均亮度值APLpre之差。

另一方面，在校正图像的颜色饱和像素数SATnum较多的情况下或颜色饱和量平均值SATavg较大的情况下，通过校正来抑制色相变化的像素数的增加后，进行控制以使校正后平均亮度值APLpost与校正前平均亮度值APLpre之差较小。

在实施方式3中，与实施方式1、2所述的情况相同，也可以构成为，例如在步骤S2之前插入用于使输入图像的亮度信号Yi和色差信号Cbi、Cri延迟1帧期间的步骤，在步骤S2中，根据基于前1个画面(帧)的输入图像的亮度信号Yi和色差信号Cbi、Cbr计算出的偏置电平Offset、白校正增益WGain和平均亮度校正增益APLGain以及相同画面(帧)的亮度信号Yi和色差信号Cbi、Cri，生成校正图像的亮度信号Ywa和色差信号Cbwa、Crwa。

以上，作为图像处理装置说明了本发明，但是，使用上述图像处理装置实施的图像处理方法也构成本发明的一部分。

标号说明

1：偏置减法电路；2：增益乘法电路；3：白校正增益亮度乘法电路；4：平均亮度校正增益亮度乘法电路；5：亮度饱和处理电路；6：混合电路；7：白校正增益色差乘法电路；8：平均亮度校正增益色差乘法电路；9：色差饱和处理电路；10：偏置电平生成电路；11：周边区域亮度平均电路；12：亮度最小值检测电路；13：黑像素计数电路；14：偏置系数计算电路；15：偏置电平计算电路；20：增益生成电路；30：白校正增益计算电路；40：平均亮度校正增益生成电路；41：校正前平均亮度值计算电路；42：校正后平均亮度值计算电路；43：原色信号像素代表值生成电路；44：颜色饱和像素计数电路；45：颜色饱和量平均值计算电路；46：平均亮度值校正量计算电路；47：目标平均亮度值计算电路；48：平均亮度校正增益计算电路；51：颜色饱和校正电平生成电路；52：平均亮度校正增益决定电路；60：区域判定电路；61：亮度电平判别电路；62：像素比例计算电路；63：校正对象像素指定电路；65：混合比生成电路。

Claims (11)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

区域判定电路，其判定由图像信号表示的图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内；

偏置电平生成电路，其根据由所述图像信号表示的图像中的、由所述区域判定电路判定为位于所述校正对象区域内的像素的亮度，生成偏置电平；

偏置减法电路，其从所述图像信号中减去由所述偏置电平生成电路生成的所述偏置电平，生成偏置图像信号；

增益生成电路，其生成针对所述偏置图像信号的增益；以及

增益乘法电路，其对所述偏置图像信号乘以所述增益，生成校正图像信号。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有：

混合比生成电路，其针对由所述图像信号表示的图像的各像素，根据其周围像素中的亮度为所述规定亮度电平以下的像素所占的比例即低亮度像素比例，按照每个像素求出混合比；以及

混合电路，其根据所述混合比混合所述图像信号和所述校正图像信号。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述区域判定电路具有：

亮度电平判别电路，其将由所述图像信号表示的图像的各像素的像素值与所述规定亮度电平进行比较，判别所述规定亮度电平以下的像素；

像素比例计算电路，其依次将由所述图像信号表示的图像的各像素作为关注像素，计算以该关注像素为中心的规定的周边像素范围中由所述亮度电平判别电路判别为所述规定亮度电平以下的像素所占的比例，作为所述低亮度像素比例；以及

校正对象像素指定电路，其在与各像素有关的所述低亮度像素比例为规定阈值以下的情况下，判断为该像素是所述校正对象区域内的像素，输出表示判断结果的信号作为校正对象识别信号。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述混合比生成电路按照规定的特性对由所述像素比例计算电路计算出的所述低亮度像素比例进行转换，生成所述混合比。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述混合比生成电路具有如下的转换特性：在所述低亮度像素比例为规定的上限值以上时，所述混合比为100％，在所述低亮度像素比例为0％～所述上限值的范围内，随着所述低亮度像素比例的增加，所述混合比从0％线性地增加到100％。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述混合比生成电路具有如下的转换特性：在所述低亮度像素比例为规定的下限值以下时，所述混合比为0％，在所述低亮度像素比例为所述下限值～100％的范围内，随着所述低亮度像素比例的增加，所述混合比从0％线性地增加到100％。

7.根据权利要求1～6中的任意一项所述的图像处理电路，其特征在于，

所述增益生成电路具有：

白校正增益计算电路，其根据所述图像信号的偏置电平和规定的目标上限值生成白校正增益；以及

平均亮度校正增益生成电路，其根据所述图像信号的平均亮度值、所述校正图像信号的平均亮度值和颜色饱和校正电平生成平均亮度校正增益，

所述增益乘法电路具有：

白校正增益亮度乘法电路，其对所述偏置图像信号乘以所述白校正增益，生成白校正图像信号；以及

平均亮度校正增益亮度乘法电路，其对所述白校正图像信号乘以所述平均亮度校正增益，生成平均亮度校正图像信号。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述平均亮度校正增益生成电路具有：

校正前平均亮度值计算电路，其生成所述输入图像信号的平均亮度值；

校正后平均亮度值计算电路，其生成所述校正图像信号的平均亮度值；

原色像素代表值生成电路，其将所述校正图像信号转换成三原色信号，生成其每个像素的最大值；

颜色饱和像素计数电路，其按照每个画面对所述最大值为规定电平以上的颜色饱和像素数进行计数；

颜色饱和校正电平生成电路，其根据所述颜色饱和像素数和所述最大值生成颜色饱和校正电平；以及

平均亮度校正增益决定电路，其根据所述校正图像信号的平均亮度值和所述校正图像信号的颜色饱和校正电平决定所述平均亮度校正增益。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述平均亮度校正增益决定电路具有：

目标平均亮度值计算电路，其根据所述输入图像信号的平均亮度值和所述校正图像信号的所述颜色饱和校正电平生成目标图像电平；以及

平均亮度校正增益计算电路，其生成所述平均亮度校正增益，以使所述校正图像信号的所述平均亮度值接近所述目标图像电平。

10.根据权利要求7～9中的任意一项所述的图像处理装置，其特征在于，

所述偏置电平生成电路具有：

周边区域亮度平均电路，其将所述图像信号的各像素作为关注像素，按照每个像素计算该关注像素的周边像素平均值；

亮度最小值检测电路，其检测按照所述输入图像的每个像素求出的所述周边像素平均值中的、由所述区域判定电路判定为校正对象的像素构成的校正对象区域内的最小值；

黑像素计数电路，其按照每个画面对所述周边像素平均值为规定电平以下的黑电平像素进行计数；

偏置系数计算电路，其根据所述黑电平像素数量生成偏置系数；以及

偏置电平计算电路，其根据所述最小值和所述偏置系数计算所述偏置电平。

11.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：

区域判定步骤，判定由图像信号表示的图像的各像素是否位于规定亮度电平以下的像素的出现频度为规定值以下的校正对象区域内；

偏置电平生成步骤，根据由所述图像信号表示的图像中的、在所述区域判定步骤中判定为位于所述校正对象区域内的像素的亮度，生成偏置电平；

偏置减法步骤，从所述图像信号中减去在所述偏置电平生成步骤中生成的所述偏置电平，生成偏置图像信号；

增益生成步骤，生成针对所述偏置图像信号的增益；以及

增益乘法步骤，对所述偏置图像信号乘以所述增益，生成校正图像信号。