CN102216956A - 指定色区域划定电路、检测电路以及使用其的图像处理装置 - Google Patents

Abstract

指定色区域划定电路（6）具有：多个像素的亮度信息（直方图）取得部（3），和多个像素的亮度信息（直方图）解析部（5）。在多个像素的亮度信息（直方图）取得部（3）中，取得与输入图像中的多个像素的亮度相关的信息。为了获得与多个像素的亮度相关的信息，例如制作表示频数的亮度的直方图。作为直方图的例子，对0~255灰度的图像进行32分割（0-7、8-15、…240-247、248-255），对在该分割后的灰度（亮度Y）中存在的像素数进行计数。而且，在亮度信息解析部（5）中，为了提取与输入图像的多个像素的亮度相关的信息的特征值，例如解析与多个像素的亮度值相关的直方图，提取表示直方图的特征的特征值。进而基于特征值，获得用于划定指定色区域的系数。由此能够高精度地图像显示指定色区域。

Description

指定色区域划定电路、检测电路以及使用其的图像处理装置

技术领域

本发明涉及图像处理技术，特别涉及良好地对指定色进行图像处理的图像处理技术。

背景技术

在数字摄影机、数字电视接收装置等中，使其良好地显示人的肤色是重要的。在下述的专利文献1的第2实施方式（专利文献1的0113到0116段落）中，记载了使用表与各像素的亮度对应地变更对肤色进行判别的区域，检测肤色区域的方法。

肤色区域如专利文献1的图11所示那样，是以色相和彩色信号饱和度限定的、以专利文献1的数式1、数式2表示的区域。此外，记载有以专利文献1的数式1、数式2表示的肤色区域以同一专利文献1的数式3、数式4（在本申请的图33的数式1到数式4表示有专利文献1的数式1到数式4。）表示的方式对应于亮度信号的电平进行变化，随着亮度信号的电平变大，肤色区域如专利文献1的图12、图13、图14所示那样，彩色信号饱和度变大（在本申请的图35中汇总表示有专利文献1的图11到图14。）。图33是表示专利文献1的第2实施方式的检测肤色区域的肤色检测电路（专利文献1的图10）的图。图33所示的现有的肤色检测电路501具备：存储器503、比较器505。对存储器503输入R-Y和B-Y的信号，对其输出和Y在比较器505中进行比较，输出肤色检测信号。存储器503储存有图34（专利文献1的图15）的用于肤色检测的表，仅在特定的区域写入有数字（除此之外的区域中写入有“0”）。通过图34所示的用于肤色检测的表，如图33所示，能够检测满足从上起数式1、数式2、数式3、数式4的区域。在该表中，-(B-Y)和R-Y的2维平面中的具有规定的电平的信号的区域被看作是肤色区域。

例如，构成为在该肤色检测处理中，当设为在亮度信号Y的1/2到1/8的范围内时判别为肤色时，在从亮度的输入端子Y输入14的电平的信号的情况下，表的7~1被判别为是肤色区域，输出“1”。即，图34中的以低亮度Y区域（低Y）表示的范围被看作是低亮度的肤色区域。此外，可知当亮度变化时，肤色区域变化。

图35（a）到（d）是表示现有技术中的(B-Y)-(R-Y)平面中的肤色区域的变化的样子的图，图35（a）是表示数式中的记号等的定义的图，图35（b）到图35（d）是表示依赖于亮度的肤色区域的变化的样子的图。如图35（a）所示，在(B-Y)-(R-Y)平面中，θ是从肤色区域的原点起延伸的中心轴的角度，β是肤色区域的中心轴到肤色区域的边界的角度，r是从原点到肤色区域的中心的距离，s是从肤色区域的中心沿着中心轴到肤色区域的边界的距离。这些参数在数式（1）到数式（4）中使用。通过这些参数，能够划定肤色区域。图33的存储器503中存储有图34所示的表，基于亮度值Y的变化，能够根据亮度将肤色区域从低亮度Y的情况的图35（b）变更到中亮度的情况下的图35（c）、高亮度Y的情况下的图35（d）。

专利文献1：日本特开平11-146405号公报，映像信号処理装置及びこれを用いたカラービデオカメラ。

发明内容

发明要解决的问题

图1到图3是表示U-V平面、V-Y平面、U-Y平面（Y表示亮度，U、V表示色差。）中的肤色区域的分布的图。在各个图的右侧，肤色区域中各像素以从Y（亮度）大小较低的一方起按c、b、a的顺序表示，表示有各个分布。如图1所示，可知在人的肤色的区域中，U-V特性示出从原点起暂时远离（c1-b1），接着接近原点（b1-a1）那样的依赖性，和肤色区域的大小根据亮度变化的情况。

在图2表示的V-Y平面中，可以观察到当Y（亮度）的大小以c2-b2-a2的方式变高时，V（色差）的大小暂时变大，接着变小的倾向，和肤色区域的大小根据亮度而变化的情况。在图3所示的U-V平面中也同样的是(c3-b3-a3)。

像这样，可知肤色区域具有亮度依赖性，并且亮度依赖性不是线性的依赖性。在现有技术的图像处理技术中，存在不能应对这样的肤色区域的亮度依赖性的问题。

本发明的目的在于，提供一种技术，相对于亮度的变化能够高精度地指定包含肤色区域的指定色区域。

用于解决课题的方案

本发明的图像处理技术的特征在于，取得图像的多个像素的亮度分布信息，根据该信息判别指定色区域。再有，指定色区域是色空间上的将指定色作为中心的近似色的区域。

根据本发明的一个观点，提供一种指定色区域划定电路，其特征在于，具有：亮度信息取得部，取得在输入图像中包含的多个像素的亮度分布信息；以及亮度信息解析部，基于通过所述亮度信息取得部取得的所述多个像素的亮度信息，求取与多个像素的亮度信息对应的特征值，基于该特征值，求取用于划定与亮度对应的所述输入图像的色空间上的指定色区域的系数。

进而，本发明也可以是一种指定色检测电路，其特征在于，具有指定色检测部，该指定色检测部通过所述指定色区域求取近似度并输出，该指定色区域是根据上述记载的亮度信息解析部求取的所述系数而划定的。近似度在确定所述指定色区域的边界及其外侧中为0，在区域内随着接近中心而接近1。在色空间上的某个点中能够唯一地求取近似度。

此外，本发明也可以是一种图像处理装置，其特征在于，具有：上述记载的指定色检测电路；图像处理系数输出电路，将作为所述指定色检测电路的输出的所述近似度作为输入，在所述指定色和除其之外的颜色中变更图像处理的系数；以及图像处理电路，基于作为所述图像处理系数输出电路的输出的图像处理系数和输入图像信号，对输出图像信号进行输出。

根据本发明的另一个观点，提供一种指定色区域划定方法，其特征在于，具有：亮度信息取得步骤，取得在输入图像中包含的多个像素的亮度分布信息；以及亮度信息解析步骤，基于通过所述亮度信息取得步骤取得的所述多个像素的亮度信息，求取与多个像素的亮度信息对应的特征值，基于该特征值，求取用于划定与亮度对应的所述输入图像的色空间上的指定色区域的系数。

进而，本发明也可以是一种指定色检测方法，其特征在于，具有：指定色检测步骤，通过所述指定色区域求取近似度并输出，该指定色区域是根据由上述记载的亮度信息解析步骤求取的所述系数而划定的。

本发明也可以是用于使计算机执行上述记载的方法的程序，也可以记录该程序的计算机能够读取的记录介质。该程序也可以是通过因特网等的传输介质而取得的程序。

本说明书包含作为本申请的优先权的基础的日本专利申请2008-295789号说明书和/或附图中所述的内容。

发明的效果

根据本发明，能够应对亮度导致的肤色区域的变化，适宜地对指定色区域进行指定，因此具有能够减少指定色以外的误检测的优点。

附图说明

图1是表示U-V平面中的肤色区域的分布的图。

图2是表示V-Y平面中的肤色区域的分布的图。

图3是表示U-Y平面中的肤色区域的分布的图。

图4是表示本发明的实施方式的图像处理装置中的指定色检测电路的一个结构例的图。

图5是表示本实施方式的图像处理装置中的表示频数的亮度的直方图的一例的图。

图6是表示系数表的一个结构例的图。

图7是表示肤色区域判别（计算）方法的一例的图。

图8是表示椭圆的长径和短径的关系的图。

图9是表示U-V平面中的、特性轴L1和特性轴L2可采用的范围的图。

图10是将在UV平面上描绘了某个输入信号的点P(u,v)的距离以下述过程进行定义的图。

图11是表示在中心点P0采用最大值N=1、在边界线采用N=0的同心的椭圆状的指定色区域的图。

图12是表示使用菱形对指定色区域进行指定的例子的图。

图13是表示使用长方形对指定色区域进行指定的例子的图。

图14是表示3×3的肤色图像（（1）像素到（9）像素），第（1）像素是噪声像素，仅Y（亮度）较大地变化的例子的图。

图15是表示在U-V空间中依赖于亮度的肤色区域的差异的图。

图16是表示包含图4所示的指定检测色电路1的图像处理电路整体的结构的图。

图17是表示与作为指定色检测电路的输出的指定色近似度N的值对应地线形地进行图像处理系数的混合的样子的图。

图18是表示本发明的第2实施方式的图像处理电路的一个结构例的图。

图19是表示本发明的第3实施方式的图像处理装置中使用的指定色检测电路的一个结构例的图。

图20是表示指定色系数预测部中的工作的概要的图。

图21是表示从N-4帧到N帧的平均亮度Ym的预测的示意的图。

图22是表示本发明的第4实施方式的图像处理电路中的第1指定色检测电路的一个结构例的图。

图23是表示本发明的第4实施方式的图像处理电路中的第2指定色检测电路的一个结构例的图。

图23是表示在指定色系数合成部中，对N-2帧和N-1帧的指定色区域的系数进行合成，作为N帧的指定区域系数向指定色检测部输出的示意的图。

图25是表示在指定色系数合成部中，对N-2帧和N-1帧的指定色区域的系数进行合成，作为N帧的指定区域的系数向指定色检测部输出的示意的图。

图26是表示以包含与第N-2帧和第N-1帧对应的指定色区域的双方的方式指定区域的样子的图。

图27是表示使用了利用本实施方式的图像处理技术的指定色检测部的显示装置的一个结构例的图。

图28是表示将本实施方式的图像处理技术应用于便携式终端的例子的图。

图29是表示本实施方式的图像处理的整体的流程的流程图。

图30是表示图29所示的处理中的第1处理的流程的流程图。

图31是表示图29所示的处理中的第2处理的流程的流程图。

图32是表示图29所示的处理中的第2处理的流程的流程图。

图33是表示现有的肤色检测电路的一个结构例的图。

图34是表示用于肤色检测的表的结构例的图。

图35（a）到（d）是表示现有技术中的(B-Y)-(R-Y)平面中的肤色区域的变化的样子的图。

附图标记说明

1 指定色检测电路，3 亮度信息取得部，5 亮度信息解析部，5a 亮度信息计算部，5b 指定色系数预测部，6 指定色区域划定电路，7 指定色检测部，7a、7b 指定色检测部，41 图像处理系数输出电路，43 图像处理电路。51 延迟电路，61 指定色系数合成部，63 指定色系数调整部，65 指定色近似度N合成部。

具体实施方式

以下，针对将肤色作为指定色的例子进行记载，但只要是根据亮度而分布变化的颜色的话，针对其它颜色也能够应用。以这个意思使用指定色这一用语。

以下，针对本发明的一个实施方式的图像显示技术一边参照附图一边进行说明。

图4是表示本实施方式的图像处理装置中的指定色检测电路（以下，指定色以肤色作为例子进行说明）的一个结构例的图。如图4所示，本实施方式的指定色检测电路1具有：多个像素的亮度信息（直方图）取得部3；对多个像素的亮度信息进行解析的亮度信息（直方图）解析部5；以及指定色（肤色）检测部7。以对多个像素的亮度信息进行解析的亮度信息解析部5、和指定色检测部7，构成对指定色区域进行划定的指定色区域划定电路6。指定色区域划定电路6在亮度信息取得部3取得输入图像，基于其亮度信息进行解析，由此求取特征值，输出用于划定指定色区域的系数（参数）。

更详细说，在多个像素的亮度信息（直方图）取得部3中，进行用于取得与输入图像中的多个像素的亮度相关的信息的处理。为了获得与多个像素的亮度相关的信息，例如如图5所示，制作表示频数的亮度的直方图。作为直方图的例子，对0~255灰度的图像进行32分割（0-7、8-15、…240-247、248-255），对在该分割后的灰度（亮度Y）中存在的像素数进行计数。而且，在亮度信息解析部5中，为了提取与输入图像中的多个像素的亮度相关的信息的特征值，例如对与多个像素的亮度值相关的直方图进行解析，提取表示直方图的特征的特征值。

即，在亮度信息解析部5中，根据从亮度信息取得部3获得的直方图的信息，求取直方图中的、平均（亮度）值、中央（亮度）值、众数（亮度）值、分散、标准偏差、最小值、最大值、峰度、偏度、几何平均、调和平均、加权平均等中的至少任一个，根据该值，参照图6表示的系数表（特征值），将表示依赖于亮度的肤色区域（在这里，如以下那样主要假定为椭圆）的中心坐标U(u0)中心坐标V(v0)、斜度(a)、第1加权(w1)、第2加权(w2)的系数向指定色检测部7输出。该系数表（特征值）储存有例如相对于平均（亮度）值，在色空间上划定椭圆的系数。该系数的中心坐标U(u0)中心坐标V(v0)、斜度(a)、第1加权(w1)、第2加权(w2)对于输入图像的多个像素的平均值以计算来算出也可，也能够提取肤色分布，使用参数拟合适合地决定色空间上的中心坐标、斜度、加权（区域的大小）。此外也可以通过肤色分布使用最小二乘法求取直线，以将与该直线直角地相交的直线的交点作为中心坐标（中心）的区域全部包含肤色分布区域的方式决定中心坐标、斜度、加权也可。这些值例如存储在存储器中也可。在指定色检测部7中，基于由亮度信息解析部5获得的系数，特别指定肤色区域。针对区域的判别方法（计算方法），在后面叙述。在这里，对从肤色区域的中心区域起的距离进行加权（椭圆中心是与指定的颜色最近似的指定色近似度1，椭圆的外周近似地为0）。

总之，近似度在确定所述指定色区域的边界及其外侧中为0，在区域内随着接近中心而接近1（指定色区域的中心是最近似于指定色的点）。在色空间上的某个点中能够唯一地求取近似度。

再有，在实施方式中作为色空间使用YUV空间，但也可以使用其它的色空间（L*u*v*、L*a*b*、HSV、HLS、YIQ、YCbCr、YPbPr等）。以下，作为色空间使用YUV例示地进行说明。

接着，针对指定色检测部中的指定色区域判别（计算）方法详细地进行说明。图8是表示与椭圆相关的定义的图。如图8所示，在椭圆的内部描出通过2焦点的直线时，将其设为长轴。将长轴的长度称为长径。在长轴与椭圆的交点，从2焦点起的距离的差变为最大。此外，在椭圆的内部描出长轴的垂直二等分线时，将该线段称为短轴。将短轴的长度称为短径。

图7是表示指定色区域判别（计算）方法的一例的图。如图7所示，在以U-V平面中的椭圆表示的指定色区域21中，将表示指定色区域的方向性的2根轴（以下称为“特性轴”。）以如下数式进行定义。将长轴设为特性轴L1，将短轴设为特性轴L2。

[数式1]

[数式2]

当将数式2变形时，获得数式3。

[数式3]

在这里，当定义为2个特性轴L1/L2正交时，只要a1、a2均不为0的话，以下的数式4成立。

[数式4]

因此，2个特性轴的斜度如下述的数式5那样能够以1个变量a表示。

[数式5]

再有，在a=0的情况下，特性轴变为下述的数式6那样，在该情况下也能够确认特性轴是正交的。

[数式6]

在将a的可取值的范围定义为-1≤a<1的情况下，如图9所示，特性轴L1能够采用被V=U和V=U夹着的范围（范围27a/27b）。另一方面，特性轴L2能够采用被U=V和U=-V夹着的范围（范围25a/25b）。但是，以实线描绘的直线被包含在范围中，不包含虚线的范围。通过该结构，能够设定任意的斜度的指定色范围（椭圆）。如图7所示，当将肤色的指定色范围的中心点（=特性轴的交点）设为指定色P0，将其坐标设为(u0,v0)时,能够如以下的数式7那样分别求取对特性轴进行定义的数式的截距（intercept）b1、b2。

[数式7]

因此，特性轴L1/L2能够设定肤色的指定色P0的坐标u0、v0，斜度a这3个参数。如图10所示，图7表示的指定色区域21以下述的过程对从指定色P0到在UV平面上描绘了某个输入信号的点P(u,v)的距离进行定义。首先，通过以下的数式8、9，求取从P分别到特性轴L1的距离d1、到特性轴L2的d2。向U轴的截距成为b1、b2。

[数式8]

[数式9]

然后，将分别对d1、d2乘以加权w1、w2之后将其相加后的值D定义为从中心P0起的距离。

[数式10]

进而，以下述的数式11，定义表示向指定色的接近程度的指定色近似度N（图4的指定色检测电路1的输出N）。

[数式11]

由此，如图11所示，能够获得在中心点P0采用最大值N=1、在边界线采用N=0的同心的椭圆状的指定色区域（AR1）。其外侧的区域AR2是非指定色区域。在该指定色区域AR1中，能够将与N=0的边界线相比内侧的部分定义为指定色范围。权重系数w1、w2具有使指定色范围变形的作用，它们的值越大，指定色范围变得越小（参照箭头AR11）。此外，w1和w2的比如图8所示，成为椭圆的长径和短径的比，因此当在w1和w2设定相同的值时，指定色范围变成圆。

再有，在上述中，以椭圆对指定色区域进行指定，但即使简化数式10，使用以数式12-1定义的菱形也能够对指定色区域AR3及其外侧的区域AR4进行指定（参照图12）。将菱形的对角线的交点设为P0，将包含对角线的线设为特性轴L1'、L2'。再有，当在w1和w2设定相同的值时，指定色范围变为正方形。

[数式12-1]

此外，也能够使用以数式12-2定义的长方形来指定肤色区域（参照图13）。

[数式12-2]

在以下，将通过椭圆近似地对指定色区域进行指定的情况作为例子进行说明。以椭圆进行近似能够实现更细致的近似，但以长方形或菱形对指定色区域进行近似具有比较简便、处理简单的优点。

再有，在本实施方式中，特性轴使用L1、L2的直线，但通过使特性轴为多个，能够将任意的多角形设为指定色区域。此外，在实施方式中，例如在椭圆的情况下，以加权w1、w2表示长径、短径的长度，成为各自的1/2是中心点的短轴、长轴对称的椭圆，但也可以是短径、长径的1/2不是中心点的短轴、长轴非对称的椭圆。同样地，也可以代替菱形使用四角形。

图14是为了比较本发明与现有技术而使用的表示肤色图像的性质的图。如图14所示，该图像是由像素（1）到像素（9）构成的3×3肤色图像。像素（1）是噪声像素，Y值是与其它的像素（2）到像素（9）差异较大的值，UV值与其它的像素是大致相同的值。在这里，Y（亮度）的平均值是103。

图15是在U-V空间中表示依赖于亮度的肤色区域的差异的图。表示肤色区域的椭圆的区域从接近于原点的位置起，在V变大U变小的方向，按小亮度、中亮度、大亮度的顺序配置。

图14中的像素（1）为亮度（144）时的肤色区域是图15中的大亮度区域，从像素（2）到像素（9）是亮度（91~105）时的肤色区域是中亮度区域。从像素（1）到像素（9）是作为亮度的平均值的亮度（103）时的肤色区域是中亮度区域。而且，从像素（1）到像素（9）的U、V（均是色差）存在于图15的中亮度的肤色区域内、且高亮度的肤色区域外。

在现有技术、本发明中，均是U-V空间的肤色区域根据Y（亮度）而变化，在某个像素的U、V的双方被包含在与Y（亮度）对应的肤色区域中时，判别为该像素是肤色。

在现有技术中，根据进行肤色的判别的像素的Y（亮度）的值来决定肤色区域。因此，针对像素（1），肤色区域成为图15的大亮度区域，像素（1）的U、V不包含在该区域中。因此判别为像素（1）不是肤色。再有，针对像素（2）到像素（9），肤色区域成为图15的中亮度区域，该各像素的U、V包含在该区域中。因此判别为这些像素是肤色。

相对于此，在本实施方式的方法中，当求取Y（亮度）的平均时变为Y（亮度）平均=103，为了决定肤色区域而使用该亮度的平均值。由此，针对像素（1），肤色区域成为图15的中亮度区域，像素（1）的U、V包含在该区域中。因此，判别为像素（1）是肤色。针对像素（2）到像素（9）也是同样，肤色区域成为图15的中亮度区域，该各像素的U、V包含在该区域中。因此，判别为从像素（2）到像素（9）也是肤色。

因此，在人脸等的肤色部分中非故意地产生噪声的情况下，在现有技术中，在肤色和肤色以外进行的图像处理不同（个别地进行处理），相对于此，在本实施方式的方法中，对多个像素作为相同肤色同样地进行图像处理即可，因此对应于场景的明亮度求取多个像素的平均的明亮度，结果与现有技术相比具有噪声难以变得显眼的优点。

以下，针对更具体的实施例进行说明。图16是表示包含图4所示的指定色检测电路1的图像处理电路整体的结构的图。在图16所示的图像处理电路中，首先，在指定色检测电路1中判别肤色，在其后级的图像处理系数输出电路41中在肤色和除其之外的部分中变更图像处理的系数。具体地，图像处理系数的混合与作为指定色检测电路1的输出的指定色近似度N的值对应地线形地进行（参照图17）。当将通常的图像处理系数设为S1，将作为指定色的肤色的图像处理系数设为S2时，最终的图像处理系数S成为数式13那样。如图17所示，对应于指定色近似度N的输入值（箭头），能够通过数S1和S2求取已决定的函数L11中的系数S。该系数是作为图像处理系数输出电路41的输出的图像处理系数。

[数式13]

像这样，通过混合图像处理系数S1、S2，能够使图像在肤色和肤色以外的边界显得平滑。通过图像处理系数S和输入图像信号，在图像处理电路43中，例如进行彩度补正那样的图像处理，能够生成输出图像。将人在记忆中想象的颜色称为记忆色，据说通常记忆色与实物的颜色相比彩度高，特别是在天空的蓝色、植物的绿色等的情况下该倾向强。可是，关于人的肌肤的颜色是例外，与实际相比喜好皮肤白（明度高，彩度低）的颜色。因此，进行通过指定色近似度N在肤色区域以外（N=0）中提高彩度，在肤色区域（0≤N≤1）中从肤色区域的外侧向肤色区域的中心逐渐地降低彩度那样的图像处理。作为其它的图像处理电路，进行对色相（hue）、明度进行补正的图像处理也可。近似度N越大，越强地进行适合于指定色的处理。

像这样，通过组合上述的指定色检测电路1，即使在亮度变化的场合（昼、夜等）也能适宜地判别肤色区域。

图29到图32是表示本实施方式的指定色检测的流程的流程图。如图29所示，开始指定色检测处理（START），在步骤S1取得直方图。例如，输入图像尺寸设为水平尺寸×垂直尺寸=HV_SIZE，将256灰度分为32阶段（1阶段8灰度），取得1个画面的量的直方图。接着，在步骤S2中，进行直方图的解析处理。例如，求取平均亮度，根据指定色系数表（特征值）获得用于划定指定色（肤色）区域的系数。在步骤S3中，进行指定色检测处理，结束处理（END）。再有，通过步骤S1和步骤S2，执行指定色区域划定步骤。

图30是表示直方图取得处理（图29的步骤S1）的流程的流程图。首先，在从步骤S11到步骤S14中，对前一帧的直方图进行初始化。即，当将阶段的顺序的号码设为i时，首先在步骤S11中设为i=0，在步骤S12中将阶段i的直方图的频数设为0，在步骤S13中判断i是否为32以上。如果i不足32的话（No），在步骤S14中对i加1，返回步骤S12。在（初始化各阶段的直方图）步骤S13中，如果i是32以上（32阶段的直方图的初始化结束）的话（“是”），在从步骤S15到步骤S20中，取得直方图。

首先，在步骤S15中，将直方图的取得尺寸设为“0”。接着，在步骤S16中，对输入图像的亮度(Y)=y进行输入。在步骤S17中，进行y=y÷8（舍去小数点以下），在步骤S18中，对该y的值中的频数加上1。接着，在步骤S19中判定当前的直方图的尺寸是否是像素尺寸以上，如果是“否”的话对当前的直方图的尺寸加上1，返回步骤S16。在步骤S19中为“是”的情况下，结束处理（例如，输入图像尺寸=直方图取得尺寸）。

图31是表示直方图的解析处理的流程的流程图。在图31中，在从步骤S31到步骤S36中计算平均亮度，在步骤S37中取得指定色区域的系数。

在步骤S31中输入0到31的32阶段的直方图信息，在步骤S32中设为阶段数j=0、亮度的总和sum=0、各阶段的中央值mid=3.5（mid在0阶段的直方图中是3.5（阶段0到7的中央值），在1阶段的直方图中是11.5（阶段8到15的中央值））。接着，在步骤S33中，对sum=sum+mid×hist(i)进行运算，在步骤S34中，判断j是否是32以上。在“否”的情况下，进入步骤S35，对j加上1，对mid加上8，返回步骤S33。在步骤S34中，如果j是32以上（32阶段的亮度的总和的计算结束）的话（“是”），在步骤S36中，对avg = sum÷HV_SIZE进行运算，求取平均亮度。再有，在步骤S37中，根据u0 = table_u0[avg]、v0 = table_v0[avg]、a = table_a[avg]、w1 = table_w1[avg]、w2 = table_w2[avg]，通过指定色系数表（特征值），取得与平均亮度对应的指定色区域的系数，结束处理（EXIT）。

再有，指定色系数表（特征值）的定义对系数进行定义，如下所述（图31的301）。

中心坐标U(u0): table_u0[N]

中心坐标V(v0): table_v0[N]

斜度(a): table_a [N]

加权1(w1): table_w1[N]

加权2(w2): table_w2[N]

N：表阶数(0~255)

通过上述的处理取得指定色区域的系数之后，进行图32所示的指定色检测处理。首先，在步骤S41中，针对输入图像尺寸，代入img_size=0（初始化）。接着，在步骤S42中，作为输入图像输入色差(U,V)=u,v。在步骤S43中，基于下述的数式14，求取d1、d2。

[数式14]

接着，在步骤S44中，基于下述的数式15求取D。

[数式15]

接着，在步骤S45中，基于下述的数式16求取指定色近似度N。

[数式16]

接着，在步骤S46中，输出指定色近似度N。

接着，在步骤S47中，判定是否是img_size ≥HV_SIZE。在这里，如果是“否”的话，在步骤S48中，设为img_size=img_size+1，返回步骤ZS42。在“是”的情况下，结束处理（EXIT）。由此，能够输出指定色近似度N。

接着，针对本发明的第2实施方式进行说明。本实施方式的图像处理技术是适应于活动图像的实施例。在使上述第1实施方式的图像处理技术适应于活动图像的情况下，由于对当前帧的输入图像取得至少1帧前的输入图像的直方图，使解析的指定色近似度N反映，因此存在发生偏移的问题。因此，图18所示的图像处理电路具有：图4所示的指定色检测电路1，该电路1包含多个像素的亮度信息（直方图）取得部3、多个像素的亮度信息（直方图）解析部5、和指定色（肤色）检测部7；图像处理系数输出电路41，接收作为指定色检测电路1的输出的指定色近似度N、图像处理系数S1、和图像处理系数S2，输出图像处理系数S；以及图像处理电路43，接收用于使输入图像延迟1帧的延迟电路51的输出，对输出图像进行输出。以对多个像素的亮度信息进行解析的亮度信息解析部5、和指定色检测部7，构成对指定色区域进行划定的指定色区域划定电路6。

因此，如图18所示，通过追加延迟电路51使输入图像延迟，能够使当前帧的输入图像和反映的指定色近似度N同步，因此针对活动图像，也能够再现性良好地处理肤色。

接着，针对本发明的第3实施方式的图像处理技术进行说明。该技术也是适应于活动图像的实施例。与图4所示的基本的指定色检测电路1的结构上的相异点在于，如图19所示，在亮度信息解析部5，为了求取从数帧前到1帧前的输入图像的例如平均亮度，对反映到当前帧的输入图像的指定色区域的系数进行预测，输出到指定色检测部7，增加了指定色（肤色）系数预测部5b。图20是表示指定色（肤色）系数预测部5b中的工作的概要的图。如图20所示，指定色（肤色）系数预测部5b在图20的例子中从当前帧N的4帧前（N-4帧）的输入图像起将平均亮度的信息蓄积在存储器等中，对当前帧N的输入图像的平均亮度（在图中为140）进行预测，将与该亮度对应的指定色区域的系数输出到指定色检测部。图21是表示从N-4帧到N帧的平均亮度Ym的预测的示意的图，通常，以使随着帧前进而变化的倾向平滑地连接的方式进行预测。

通过这样，在适应于活动图像的情况下，由于对当前帧的输入图像使用根据至少1帧前的输入图像的平均亮度的指定色近似度N，所以虽然产生少许偏移，但由于进行预测而求取指定色近似度N，所以有能够更适合地判别指定色区域的优点。进而与第2实施方式的结构相比不需要延迟电路，因此具有能够使电路规模变小的优点。

接着，针对本发明的第4实施方式的图像处理技术，示出适应于活动图像的例子。图22、23是表示本实施方式的图像处理电路中的指定色检测电路1的一个结构例的图。图22、23所示的指定色检测电路1是在图4所示的电路中，在亮度信息解析部5和指定色检测部7之间追加了指定色系数合成部61的结构。以对多个像素的亮度信息进行解析的亮度信息解析部5、和指定色检测部7，构成对指定色区域进行划定的指定色区域划定电路6。

指定色系数合成部61如图24/图25中表示的其一个例子那样，对相对于N-2帧和N-1帧的输入图像的指定色区域的系数进行合成，作为N帧的指定色区域的系数向指定色检测部7输出。通过采用这样的结构，如图26所示，能够以包含与N-2帧和N-1帧对应的肤色区域的双方的方式来指定区域，只要是在从N-2帧到N-1帧的变化内的话，就能够使肤色区域与变化对应。

相对于在图22所示的结构中在指定色系数合成部61中合成指定色（肤色）区域的系数，在图23所示的结构中，使用指定色检测部7a/7b这2个，在指定色系数调整部63，将N-2帧和N-1帧的指定色区域的系数分别输出到指定色检测部7a/7b，在指定色近似度N合成部65对N-2帧和N-1帧的指定色近似度N进行合成。指定色系数调整部63，是用于在与第N帧一致的定时，输出第N-2帧和第N-1帧的指定色区域的系数的定时调整电路。

接着，针对本实施方式的向图像处理电路的系统的应用例进行说明。图27是表示使用了利用本实施方式的图像处理技术的指定色检测部1的显示装置的一个结构例的图。图27表示的显示装置具备：控制部105、视频信号处理部111、显示部121，还具备：外部连接端子103、外部存储器I/F部107。在视频信号处理部111具备本实施方式的指定色检测部1、图像处理部115、伽玛补正部117，能够良好地再现指定色（肤色）。

图28是表示将本实施方式的图像处理技术应用于便携式终端的例子的图。是如下便携式终端201，其具有：视频信号处理部211，其具备本实施方式的指定色指定部1、图像处理部215、伽玛补正部217；显示部221；控制部205。控制部205控制便携式终端201的操作部223、无线通信部225、摄影机227、专用存储部231、RAM/ROM233、检测便携式终端的形状的形状检测部235、寄存器237、TV接收部239、外部连接端子241、外部存储器I/F243、电源245、以及上述视频信号处理部211。即，能够良好地调整在使通过摄影机227取得的静止图像/活动图像、通过TV接收部239取得的广播内容、通过无线通信部225、外部存储器IF243等取得的内容数据等在显示部221中显示时的指定色（肤色）的亮度依赖性。

此外，能够在数字广播接收装置、个人计算机、等各种电子设备中利用本发明。此外，在上述的实施方式中，并不限定于在附图中图示的结构等，在发挥本发明的效果的范围内能够适宜地变更。此外，只要不脱离本发明的目的的范围，能够适宜地进行变更而实施。

进而，将用于实现在本实施方式中说明的功能的程序记录在计算机能够读取的记录介质中，使计算机系统读入该记录在记录介质的程序并执行，由此进行各部的处理也可。再有，在这里所述的“计算机系统”，是包含OS、外围设备等的硬件的系统。

此外，“计算机系统”如果是在利用WWW系统的情况下，也包含主页提供环境（或显示环境）。

此外，“计算机能够读取的记录介质”指的是软盘、光磁盘、ROM、CD-ROM等的可搬动介质、内置于计算机系统中的硬盘等的存储装置。此外，“计算机能够读取的记录介质”也包含：如经由因特网等的网络、电话线路等的通信线路发送程序的情况下通信线那样，在短时间的期间动态地保持程序的介质，如成为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样，在一定时间保持程序的介质。此外，上述程序也可以是用于实现上述功能的一部分的程序，进而也可以是与已经在计算机系统中记录的程序组合起来能够实现上述功能的程序。

产业上的利用可能性

本发明能够作为图像处理装置而利用。

Claims (17)

1.一种指定色区域划定电路，其特征在于，具有：

亮度信息取得部，取得在输入图像中包含的多个像素的亮度分布信息；以及

亮度信息解析部，基于通过所述亮度信息取得部取得的所述多个像素的亮度信息，求取与多个像素的亮度信息对应的特征值，基于该特征值，求取用于划定与亮度对应的所述输入图像的色空间上的指定色区域的系数。

2.根据权利要求1所述的指定色区域划定电路，其特征在于，所述亮度信息取得部取得直方图，该直方图表示具有某个灰度范围的亮度值和作为具有该亮度值的像素的合计值的频数的关系，

所述亮度信息解析部基于所述直方图，求取所述直方图的所述特征值，基于该特征值求取所述系数。

3.一种指定色检测电路，其特征在于，具有指定色检测部，该指定色检测部通过所述指定色区域求取近似度并输出，该指定色区域是根据由权利要求1或2所述的亮度信息解析部求取的所述系数而划定的。

4.根据要求3所述的指定色检测电路，其特征在于，

所述指定色检测部具备所述指定色区域的中心、斜度、和从所述中心起的大小作为所述系数，

在所述色空间上，设定通过所述中心并具有所述斜度的第1特性轴，和通过所述中心并与所述第1特性轴正交的第2特性轴，根据从所述中心起的大小来划定所述指定色区域，求取所述近似度。

5.根据要求4所述的指定色检测电路，其特征在于，以在长轴中包含所述第1特性轴和所述第2特性轴的任一方、在短轴中包含另一方的椭圆，对所述指定色区域进行近似。

6.根据要求4所述的指定色检测电路，其特征在于，以在对角线中包含所述第1特性轴和所述第2特性轴的菱形，对所述指定色区域进行近似。

7.根据权利要求3至6的任一项所述的指定色检测电路，其特征在于，离所述指定色区域的所述中心越近，使所述近似度越强，离所述指定区域的所述中心越远，使所述近似度越弱。

8.一种图像处理装置，其特征在于，具有：权利要求3至7的任一项所述的指定色检测电路；图像处理系数输出电路，将作为所述指定色检测电路的输出的所述近似度作为输入，在所述指定色和除其之外的颜色中变更图像处理的系数；以及图像处理电路，基于作为所述图像处理系数输出电路的输出的图像处理系数和输入图像信号，对输出图像信号进行输出。

9.根据权利要求8所述的图像处理装置，其特征在于，所述图像处理的系数与所述近似度成比例。

10.根据权利要求8或9所述的图像处理装置，其中，具备：延迟电路，使输入到所述图像处理电路的所述输入图像延迟。

11.根据权利要求8至10的任一项所述的图像处理装置，其特征在于，在所述亮度信息解析部设置有指定色系数预测部，该指定色系数预测部基于从数帧前到1帧前的所述输入图像的多个像素的亮度信息，对用于划定当前帧的所述指定色区域的系数进行预测。

12.根据权利要求8至10的任一项所述的图像处理装置，其特征在于，在所述亮度信息解析部和所述指定色检测部之间设置有指定色系数合成部，该指定色系数合成部将当前帧设为N，对用于划定N-2帧和N-1帧的所述指定色区域的系数进行合成，作为用于划定第N帧的所述指定色区域的系数。

13.一种显示装置，具备权利要求8至12的任一项所述的图像处理装置。

14.一种具备权利要求13所述的显示装置的电子设备。

15.一种指定色区域划定方法，其特征在于，具有：

亮度信息取得步骤，取得在输入图像中包含的多个像素的亮度分布信息；以及

亮度信息解析步骤，基于通过所述亮度信息取得步骤取得的所述多个像素的亮度信息，求取与多个像素的亮度信息对应的特征值，基于该特征值，求取用于划定与亮度对应的所述输入图像的色空间上的指定色区域的系数。

16.一种指定色检测方法，其特征在于，具有：指定色检测步骤，通过所述指定色区域求取近似度并输出，该指定色区域是根据由权利要求15所述的所述亮度信息解析步骤求取的所述系数而划定的。

17.一种用于使计算机执行权利要求15或16所述的方法的程序。

Images