CN101483711B - 灰度级修正装置、灰度级修正方法 - Google Patents

灰度级修正装置、灰度级修正方法 Download PDF

Info

Publication number
CN101483711B
CN101483711B CN2008101898793A CN200810189879A CN101483711B CN 101483711 B CN101483711 B CN 101483711B CN 2008101898793 A CN2008101898793 A CN 2008101898793A CN 200810189879 A CN200810189879 A CN 200810189879A CN 101483711 B CN101483711 B CN 101483711B
Authority
CN
China
Prior art keywords
gain
pixel
face
value
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101898793A
Other languages
English (en)
Other versions
CN101483711A (zh
Inventor
真锅佳嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101483711A publication Critical patent/CN101483711A/zh
Application granted granted Critical
Publication of CN101483711B publication Critical patent/CN101483711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种灰度级修正装置、方法以及程序，以分割输入图像(100)所得到的每个块区域(101)作为第1关键判定区域(A)进行第1关键判定，根据多级的等级判定此区域的亮度。此外，以第1关键判定区域及在其周围相邻的多个块区域(101)作为第2关键判定区域(B)进行第2关键判定，根据多级的等级判定此区域的亮度。并且，基于第1及第2关键判定的判定结果的组合进行第3关键判定，判定各个块区域的亮度等级与比根据第1及第2关键判定的亮度等级更详细的多级的亮度等级的哪一等级相应。根据第3关键判定中判定的各个块区域的亮度等级单个地修正输入图像(100)的像素的亮度。由此，能进行确实地反映了图像内的各部的特征的适当的灰度级修正。

Description

灰度级修正装置、灰度级修正方法
技术领域
本发明涉及一种例如适合在数字照相机中使用的灰度级修正装置、灰度级修正方法、灰度级修正程序。
背景技术
以往，作为自动地修正图像的灰度级的方法，有按每个像素来修正图像的亮度等级的方法。例如，在下述专利文献1中记载着以下的技术。首先，将输入图像分割成多个块区域，针对各块区域求平均亮度等级(所有像素的亮度等级的平均)，根据平均亮度等级按每个块区域单个地选择修正曲线。接着，对分别为包含有成为对象的像素的块区域(主块区域)及与此块区域相邻的多个块区域(副块区域)选择的多种修正曲线进行加权平均，生成新的修正曲线，使用此修正曲线按每一像素对亮度等级进行变换。根据该技术，能够避免灰度级修正过程中所伴随的局部细节丢失。
专利文献1：特开平9-65252号公报
但是，在上述技术中，虽然能够避免灰度级修正过程中所伴随的局部细节丢失，但此灰度级修正效果不会超过常见效果。为此，在修正对象的图像内存在人物的脸的情况下，例如在脸部中亮的部分和暗的部分的抑扬容易降低，而且，在脸部和其背景部分的亮度差异大的时候，存在着灰度级修正过程中所伴随的脸部不自然地忽亮忽暗、在脸部难以得到良好的修正结果这样的问题。
发明内容
本发明为解决上述现有的课题而实现，其目的在于，提供一种在图像的灰度级修正时能够对人物的脸部确保适当的灰度级的灰度级修正装置、灰度级修正方法、灰度级修正程序。
为了解决上述课题，技术方案1所述的本发明的灰度级修正装置，修正所输入的图像的灰度级，其特征在于，包括：第1获取单元，在所输入的图像中设定分别由多个像素构成的多个块区域，并获取设定的多个块区域之中的关注区域的明亮度、和在关注区域的周围相邻的周围区域的明亮度；亮度判定单元，根据由第1获取单元获取的关注区域的明亮度与周围区域的明亮度的组合来判定亮度等级；脸检测单元，从所述图像中检测出人物的脸部；第2获取单元，获取由该脸检测单元检测出的脸部的平均亮度信息；和修正特性设定单元，根据对由所述第1获取单元设定的多个块区域的中心像素，基于由亮度判定单元判定出的亮度等级和整个图像中的各像素的亮度的分布状态，设定用于对各像素的亮度进行修正的第1增益的修正特性、和与由第2获取单元获取的亮度信息对应的第2增益的修正特性；修正特性设定单元，对多个块区域的中心像素之中最接近由脸检测单元检测出的脸部的中心坐标的中心像素，设定由第1增益的修正特性与第2增益的修正特性之间的比率构成的增益限制系数，另一方面，对多个块区域的中心像素之中除了最接近由脸检测单元检测出的脸部的中心坐标的中心像素以外的中心像素，设定基于由亮度判定单元判定的亮度等级的增益限制系数。
此外，技术方案2所述的发明的灰度级修正装置，其特征在于，所述修正单元包括特性设定单元，根据由所述第1获取单元获取的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息，对所述图像的各像素设定修正特性，所述修正单元根据由所述特性设定单元设定的修正特性来单个地修正所述图像的像素的亮度。
此外，技术方案3所述的发明的灰度级修正装置，其特征在于，所述特性设定单元按每个像素来设定的修正特性是相对于像素的亮度的变化而言的修正系数的变化特性，并且所述特性设定单元按每个像素来设定将所述修正系数的最大值限制在与所述第2获取单元所获取的脸部的亮度信息相应的值的变化特性，所述修正单元利用与各像素的亮度相对应且按照由所述特性修正单元设定的修正特性的修正系数，来单个地修正所述图像的像素的亮度。
此外，技术方案4所述的发明的灰度级修正装置，其特征在于，所述修正单元包括运算单元，该运算单元利用规定的修正函数来运算与所述图像的各像素的亮度相对应且按照由所述特性修正单元设定的修正特性的修正系数，所述特性设定单元，通过对构成所述规定的修正函数的变量设定基于由所述第1获取单元获取的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息的值，来对所述图像的各像素设定修正特性。
此外，技术方案5所述的发明的灰度级修正装置，其特征在于，所述特性设定单元包括：第1特性设定单元，对所述多个块区域中的规定的块区域，设定预定的多个修正特性当中与所述第1获取单元按每个块区域获取的亮度信息相对应的修正特性；第2特性设定单元，对所述多个块区域中的所述规定的块区域以外的块区域，设定基于由所述第1获取单元取得的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息的 修正特性；和第3特性设定单元，基于由所述第1特性设定单元及所述第2特性设定单元对各个块区域设定的修正特性，对所述图像的各像素设定规定的修正特性。
此外，技术方案6所述的发明的灰度级修正装置，其特征在于，所述第3特性设定单元，作为所述规定的修正特性，对所述多个块区域各自的中心像素，直接设定由所述第1特性设定单元对各个块区域设定的修正特性，对所述中心像素以外的其它像素，设定根据对与该其它像素相邻的1个或多个中心像素设定的修正特性进行了内插后的修正特性。
此外，技术方案7所述的发明的灰度级修正装置，其特征在于，所述第1获取单元，基于所述图像的各像素的HSV颜色空间中的明亮度信息来获取多个块区域的亮度信息，所述第2获取单元，根据所述图像的各像素的YUV颜色空间中的光亮度信息获取所述脸部的亮度信息。
此外，技术方案8所述的发明相关灰度级修正装置，其特征在于，所述修正单元，根据由所述第1获取单元获取的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息两者，来修正所述图像中与所述脸检测单元所检测出的脸部相重叠的1个或多个块区域所构成的脸部块的各像素的亮度。
此外，技术方案9所述的发明的灰度级修正装置，其特征在于，由所述第1获取单元获取的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息两者是亮度等级，该灰度级修正装置还包括第3获取单元，根据所述图像的像素信息，获取属于所述脸部块的1个或多个块区域的每一个的亮度等级的平均即平均等级，所述修正单元包括对所述第2获取单元所获取的脸部的亮度等级与所述第3获取单元所获取的脸部块的平均等级进行比较的比较单元，根据由该比较单元得到的比较结果来修正所述脸部块的各像素的亮度。
此外，技术方案10所述的发明的灰度级修正装置，其特征在于，所述修正单元包括调整单元，该调整单元根据由所述比较单元得到的比较结果，在所述脸部的亮度等级比所述脸部块的平均等级高的情况下，提高属于所述脸部块的1个或多个块区域的每一个的亮度，并且在所述脸部的亮度等级比所述脸部块的平均等级低的情况下，降低属于所述脸部块的1个 或多个块区域的每一个的亮度。
此外，技术方案11所述的发明的灰度级修正装置，其特征在于，所述第1获取单元，获取基于所述图像的各像素的HSV颜色空间中的明亮度信息的亮度信息，来作为所述多个块区域的亮度信息，所述第2获取单元，获取基于所述图像的各像素的YUV颜色空间中的光亮度信息的亮度信息，来作为所述脸部的亮度信息。
此外，技术方案12所述的发明的灰度级修正装置，其特征在于，还包括判断单元，判断是否通过所述脸检测单元从所述图像中检测出了人物的脸部，所述修正单元在通过所述判断单元判断为检测出了脸的情况下，基于由所述第1获取单元获取的多个块区域的亮度信息和由所述第2获取单元获取的脸部的亮度信息，修正所述图像的亮度。
此外，技术方案13所述的发明的灰度级修正装置，其特征在于，所述第1获取单元包括：第1判定单元，将所述图像中设定的多个块区域的每一个作为关注区域，判定关注区域的亮度等级对应于预定的多个级别的亮度等级中的哪一个等级；和第2判定单元，将所述多个块区域的每一个作为关注区域，判定在该关注区域的周围相邻的块区域的亮度等级对应于预定的多个级别的亮度等级中的哪一个等级；基于在将所述多个块区域的每一个作为关注区域时由所述第1判定单元及所述第2判定单元分别判定的亮度等级的组合，获取在所述图像中设定的多个块区域的亮度信息。
此外，技术方案14所述的发明相关的灰度级修正方法，修正所输入的图像的灰度级，其特征在于，包括：第1获取步骤，由在所输入的图像中设定分别由多个像素构成的多个块区域，并获取设定的多个块区域之中的关注区域的明亮度、和在关注区域的周围相邻的周围区域的明亮度；亮度判定步骤，根据由第1获取步骤获取的关注区域的明亮度与周围区域的明亮度的组合来判定亮度等级；脸检测步骤，从所述图像中检测出人物的脸部；第2获取步骤，获取由该脸检测步骤检测出的脸部的平均亮度信息；和修正特性设定步骤，对由所述第1获取步骤设定的多个块区域的中心像素，基于由亮度判定步骤判定出的亮度等级和整个图像中的各像素的亮度的分布状态，设定用于对各像素的亮度进行修正的第1增益的修正特性、和与由第2获取步骤获取的亮度信息对应的第2增益的修正特性；修正特性设定步骤，对多个块区域的中心像素之中最接近由脸检测步骤检测出的脸部的中心坐标的中心像素，设定由第1增益的修正特性与第2增益的修正特性之间的比率构成的增益限制系数，另一方面，对多个块区域的中心像素之中除了最接近由脸检测步骤检测出的脸部的中心坐标的中心像素以外的中心像素，设定基于由亮度判定步骤判定的亮度等级的增益限制系数。
此外，技术方案15所述的发明，为一种灰度级修正程序，用于使对所输入的图像的灰度级进行修正的灰度级修正装置所具有的计算机执行以下处理：第1获取处理，用于获取在所述图像中设定的多个块区域的亮度信息；脸检测处理，用于从所述图像中检测出人物的脸部；第2获取处理，用于获取伴随该脸检测处理而检测出的脸部的亮度信息；和修正处理， 用于基于伴随所述第1获取处理而获取的多个块区域的亮度信息和伴随所述第2获取处理而获取的脸部的亮度信息，修正所述图像的亮度。
(发明效果)
根据本发明，在图像的灰度级修正时能够对人物的脸部确保适当的灰度级。
附图说明
图1是本发明的第1实施方式相关的灰度级修正装置的方框图。
图2是表示输入图像中的块区域的示意图。
图3是表示第1及第2亮度等级的组合与第3亮度等级的对应关系的图。
图4A是表示输入图像中的块区域及其中心像素的图，图4B是表示修正特性的内插时的中心像素和其它的像素的关系的概念图。
图5A是表示成为基本的增益函数，图5B及图5C是表示根据增益函数得到的增益相对于V值的变化的变化特性的说明图。
图6A是表示增益限制后的增益函数，图6B及图6C是表示根据增益限制后的增益函数得到的增益相对于V值的变化的变化特性的说明图。
图7是表示增益限制系数的设定方法的图。
图8A是表示限幅后的增益函数，图8B及图8C是表示根据限幅后的增益函数得到的增益相对于V值的变化的变化特性的说明图。
图9是表示高亮的判定的方法的图。
图10是表示第1实施方式相关的灰度级修正装置中的灰度级修正顺序的概况的流程图。
图11是本发明的第2实施方式相关的灰度级修正装置的方框图。
图12是表示输入图像中的脸部及脸部块的示意图。
图13是表示由判定结果调整部调整的各个块区域的亮度等级的具体的调整内容的流程图。
图14A是表示增益限制系数的计算式，图14B是通过使用此增益限制系数得到的增益的变化特性的说明图。
图15是表示第2实施方式相关的灰度级修正装置动作内容的流程图。
图16是表示第2实施方式相关的灰度级修正装置动作内容的流程图。
图17A及图17B是表示在相对于脸部的像素的增益中产生过与不足的情形的例子的示意图。
符号说明
500 灰度级修正装置
1   输入部                2   V值变换部
3   V值平均计算部         4   第1关键判定部
5   第2关键判定部         6   第3关键判定部
7   直方图生成部          8   修正增益运算部
9   坐标计数器            10  灰度级变换部
11  输出部                100 输入图像
101 块区域                A   第1关键判定区域
B   第2关键判定区域
600 灰度级修正装置
601 输入部                602 V值变换部
603 V值平均计算部         604 第1关键判定部
605 第2关键判定部         606 第3关键判定部
607 脸检测部              608 Y值变换部
609 Y值平均计算部         610 脸部关键判定部
611 脸部块关键判定部      612 判定结果调整部
613 直方图生成部          614 修正增益运算部
615 坐标计数器            616 灰度级变换部
617 输出部                100 输入图像
101 块区域                A   第1关键判定区域
B   第2关键判定区域       C   脸部
D   脸部块
具体实施方式
下面，参照附图说明应用了本发明的实施方式。
[第1实施方式]
以下说明应用了本申请发明的第1实施方式。图1是表示作为第1实施方式例示的灰度级修正装置500的结构的方框图。灰度级修正装置500是一种自动地修正输入的图像的灰度级的装置，可被组装并使用于数字照相机等拍摄装置、打印机和其它具有图像处理功能的各种图像处理装置中。
如图1所示，灰度级修正装置500包括：输入由RGB的每种颜色分量的像素数据构成的图像数据的输入部1，V值变换部2，V值平均计算部3，第1关键判定部4，第2关键判定部5，第3关键判定部6，直方图生成部7，修正增益运算部8，坐标计数器9，灰度级变换部10，及输出部11。灰度级变换部10，按每个像素来调整输入到输入部1中的图像数据的增益。
输入部1是例如用半导体存储芯片实现的帧存储器和视频RAM。
V值变换部2，作为获取单元起作用，将输入到输入部1的图像数据的像素值(R值、G值、B值)变换为HSV颜色空间中的V(value：明亮度)分量的值。V值变换部2向V值平均计算部3及直方图生成部7输出变换后的V值(Vin)。再有，如所周知的，V值是R值、G值、B值的最大值，按以下所示的式(1)变换。
Vin＝max(Rin，Gin，Bin)              (1)
V值平均计算部3，将输入图像分割成预定的多个块区域(分割区域)。V值平均计算部3，以分割后的各个块区域为各个关注区域，对面积不同的2种关键判定区域分别计算出各自的区域内的所有像素的V值的平均值(以下为平均V值)。图2A及图2B是表示输入图像100中的上述块区域101的示意图，图2A及图2B中斜线所示的区域是关键判定区域。
即，如图2A所示，V值平均计算部3，以作为关注区域的块区域101(图中A)本身作为第1关键判定区域A来计算平均V值。此外，如图2B所示，V值平均计算部3，以由成为关注区域的块区域101(图中A)和、在其周围相邻的8个其它的块区域101(图中B1、B2、...、B8)构成的区域作为第2关键判定区域(包括区域)B来计算平均V值。
第1关键判定部4，依据由V值平均计算部3计算出的上述第1关键判定区域A的平均V值，判定此区域的亮度对应于被等级划分为多个预 定级别的亮度基准(第1亮度基准)中哪一个亮度等级(以下为第1亮度等级)。在以下的说明中，称此判定处理为第1关键判定。在此，判定的亮度等级是「低」、「中」、「高」3级。再有，与各亮度等级对应的平均V值的范围是例如将平均V值的整个范围(「0」～「MAX」)3等分后的范围。再有，V值平均计算部3和第1关键判定部4作为第1判定单元起作用。
第2关键判定部5，依据由V值平均计算部3计算出的上述第2关键判定区域B的平均V值，判定此区域的亮度对应于被等级划分为多个预定级别的亮度基准(第2亮度基准)中哪一个亮度等级(以下为第2亮度等级)。在以下的说明中，称此判定处理为第2关键判定。在此，判定的亮度等级也是根据与上述的第1关键判定时的同一基准的亮度等级，是「低」、「中」、「高」的任意一个。再有，V值平均计算部3和第2关键判定部5作为第2判定单元起作用。
第3关键判定部6，作为第3判定单元起作用，作为与上述的第1及第2的关键判定的结果(第1及第2亮度等级)的组合相对应的亮度等级，判定对应于比上述亮度基准更详细地被等级划分了的亮度基准(第3亮度基准)中的哪一个亮度等级(以下为第3亮度等级)。也就是说，第3关键判定部6，对于成为关注区域的块区域101，判定考虑到与在其周围相邻的8个其它块区域101(B1、B2、...、B8)之间的相对亮度关系后的亮度等级。在以下的说明中，将此判定处理称为第3关键判定。
在本实施方式中，由该第3关键判定判定的亮度等级是「低1」、「低2」、「中1」、「中2」、「高1」、「高2」6级中的任一等级，「低1」是最低等级，「高2」是最高等级。此外，例如，如图3所示，预先决定第1及第2亮度等级的组合和第3亮度等级间的对应关系。
直方图生成部7作为直方图获取单元起作用，依据上述V值变换部2变换的所有像素的V值(Vin)来按V值计算像素数，将计数结果作为表示输入图像整体的亮度的分布状态的直方图信息向上述修正增益运算部8输出。
修正增益运算部8作为第1特性设定单元、第2特性设定单元、计算单元、对比度判定单元、上限调整单元、分布状态判定单元、下限规定单 元起作用，根据上述第3关键判定的结果和直方图信息，利用用后述的增益函数(修正函数)，单个地计算由灰度级变换部10按每个像素调整增益时的修正用增益、即要与图像数据的各像素值相乘的灰度级修正用的修正系数，并设定到灰度级变换部10中。
坐标计数器9，计数在修正增益运算部8中成为增益计算对象的像素的坐标位置(横位置及纵位置)。
灰度级变换部10，作为修正单元起作用，利用在修正增益运算部8中按每个像素来运算得到的增益，按每个像素来调整图像数据的增益。即，灰度级变换部10，将各像素的像素值(R值、G值、B值)变换成乘以上述增益后的像素值。灰度级变换部10将增益调整后的图像数据输出到输出部11。
例如，输出部11是由半导体存储芯片实现的帧存储器和视频RAM。此外，输出部11也可以是与输入部1相同的部件(component)。
在此，详述上述修正增益运算部8中的修正用增益的运算动作。首先，修正增益运算部8，为所有像素单个地设定修正特性，所述修正特性作为增益计算时的基础，是相对于各像素的V值变化的增益变化特性，并且是根据后述的增益函数得到的。
具体地说，针对多个块区域101的各自的中心像素，从分别与上述的「低1」、「低2」、「中1」、「中2」、「高1」、「高2」6级的亮度等级(参照图3)相对应的预定的多种修正特性中，将与通过第3关键判定按每块区域101所判定的第3亮度等级相对应的修正特性设定为代表修正特性。
此外，在中心像素以外的像素中，从为与其相邻的多个中心像素设定的代表修正特性中通过线性内插获取新的修正特性，设定此修正特性。再有，对于为其它的像素设定的修正特性的内插，不限于线性内插，即便是样条内插等其它的内插方法也无妨。
图4A是表示将输入图像100分割成9个块区域时的各个块区域、和它们的中心像素(图中为「+」)的图，图4B是表示中心像素以外的某个像素(图中为「·」)和在该像素的修正特性的获取(内插)中使用的中心像素的关系的图。如图4B所示，当在上述为其它像素设定的修正特性的 内插时，使用相邻于该像素的最大4个中心像素的代表修正特性。但是，对于位于输入图像的上下左右的角部分的块区域内的像素而言，直接将在此块区域的中心像素中设定的代表修正特性设定为修正特性。
接着，详述代表修正特性及修正特性。
在此，对各像素设定的代表修正特性及修正特性，是根据由图5A所示的式(2)表示的增益函数g(Vin，lev，x)得到的特性。修正增益运算部8，按每个像素将在此增益函数g(Vin，lev，x)中决定其特性的参数(变量)即增益等级(lev)及次数(x)的值设定为上述的代表修正特性或修正特性。
图5B及图5C是表示根据增益函数g(Vin，lev，x)得到的增益(g)相对于V值(Vin)的变化的变化特性的图，根据增益函数g(Vin，lev，x)计算出的增益(g)，随V值(Vin)变大而变小，当V值＝MAX时为1.0倍。此外，上述参数的值的不同如下所示在特性中反映出来。
即，如图5B所示，在次数(x)的值相同的情况下，增益等级(lev)越大，整体的增益(g)就越大，当「lev＝2」时，增益(g)的最大值为2.0倍。此外，如图5C所示，在增益等级(lev)的值相同的情况下，次数(x)越大，越抑制中间的亮度区域特别是高亮(V值最大)侧的增益(g)，根据值而高亮侧(V值大的侧)的增益(g)为1.0以下。
即，在使用增益函数g(Vin，lev，x)按每个像素来计算出灰度级变换部10中所设定的增益时，如果使增益等级(lev)变大来整体提高增益的话，就能够提高输入图像的暗的部分的灰度级。同时，如果使次数(x)变大来使高亮(V值最大)侧的增益为1.0以下的话，就能够减少输入图像的亮的部分的斑点(whiteout)。
因此，虽然未图示，但对与上述6级(「低1」、...、「高2」)的各个亮度等级相对应的增益等级(lev)，设定随着亮度等级上升按依次变小的值，而且，对与各个亮度等级对应的次数(x)，设定随着亮度等级上升依次变大的值。此外，双方的参数(lev，x)的值是根据经验预定的值。
此外，在修正增益运算部8中，不是直接使用增益函数g(Vin，lev，x)计算出增益，而是根据用图6A所示式(3)表示的增益函数glim(Vin， lev，x)计算增益。
此增益函数glim(Vin，lev，x)中的参数(lim)是决定增益上限的增益限制系数，通过将此值设定在1.0以下，就能够对应增益等级(lev)的值来调整增益的上限。再有，设增益限制系数的值在整个图像(所有像素)中都相同。在以下的说明中，为了方便，将增益函数glim(Vin，lev，x)称为增益限制后的增益函数。
图6B是表示「lim＝1」时增益相对于各像素的V值变化的变化特性的图，此情形为与不进行增益限制的情形同样的特性。图6C是表示「lim＝0.5」时增益相对于各像素的V值变化的变化特性的图，通过将增益限制系数设定为1.0以下，使得增益等级(lev)的值越小，越能够抑制相对于V值更大的一侧的像素的增益。即，通过抑制相对于暗的部分的像素的增益，能够强调图像的对比度(暗部的收缩)。
此外，增益限制系数(lim)的值与图像的对比度相对应地进行设定。在本实施方式中，根据上述的第3关键判定的结果来进行用于判定(推定)图像的对比度状态的对比度判定，设定与此判定结果相对应的值。
具体地说，第3关键判定时，单个地计数亮度等级为最低的「低1」的块区域的数和亮度等级为最高的「高2」的块区域的数，就双方的亮度等级，确认各个计数值是处于按每个等级决定的阈值(N、M)以上，还是小于阈值(N、M)。然后，如图7所示，根据「低1」的数(N以上的数、小于N的数)，和「高2」的数(M以上的数、小于M的数)的组合判定对比度状态，与此判定结果相对应地设定增益限制系数。
图7是将对比度状态分为4级进行判定时的例子，例如，当「低1」的数是阈值N以上、且「高2」的数在阈值M以上时，判定为图像的对比度是最高的状态，将增益限制系数的值设定为「1.0」。即，实质上，不进行上述的对比度强调。此外，当「低1」的数小于阈值N、且「高2」的数小于阈值M时，判断为图像的对比度是最低的状态，将增益限制系数的值设定为「0.5」。
另一方面，如果使用上述的增益限制后的增益函数调整相对于各像素的增益的上限的话，就能够强调图像的对比度(暗部的收缩)。在此情况下，也如图5C所示，当增益的计算时为各像素设定的次数(x)的值大至 某一程度时，除高亮部分(V值为最大值的像素部分)外的高亮侧(V值大的一侧)的增益(g)为1.0以下。即，负修正了图像内的亮部分的像素值。
这在亮部分的灰度级不够的图像中会伴随这与对比度的无用的降低，而且，在斑点大(斑点部分多)的图像中会成为在产生了斑点的部分与其周围接近于斑点的部分(V值为最大值附近)之间的灰度级差变大的色调跳跃的要因。
因此，在修正增益运算部8中，各像素的增益的计算时，进行下述判定(以下称为高亮判定)：判定输入图像是否为不适合进行相对于亮部分的像素的像素值的负修正的图像，即是亮的部分的灰度级不够的图像、还是斑点大的图像，在判定为不适合进行负修正的图像的情况下，根据由图8A所示的式(4)表示的增益函数gclip(Vin，lev，x)计算增益。
即，通过将增益的下限限制在「1.0」，来避免当输入图像是亮部分的灰度级不够的图像时对比度的无用的下降，以及当是斑点大的图像时产生色调跳跃。在以下的说明中，为了方便，将增益函数gclip(Vin，lev，x)称为限幅后的增益函数。
图8B、图8C是表示将上述的增益限制系数(lim)的值设定为「1.0」的时候，根据上述限幅的有无而增益的变化特性不同的图。图8B是表示未进行上述限幅时的变化特性，图8C是表示进行上述限幅时的变化特性。
此外，上述的高亮判定根据由上述直方图生成部7获取的直方图信息(由整个图像中V值不同的像素数引起的亮度的分布状态)按如下方式进行。也就是说，如图9的上段(upper section)所示，当比最大灰度值(最大V值)低几％(例如5～10％)的灰度级位置的灰度值X更大的灰度值的像素数为预定的一定数量以下的时候，判定输入图像是亮部分的灰度级不够、不适合负修正的图像。此外，如图9的下段(lower section)所示，当最大灰度值(最大V值)的像素数为预定的一定数量以上的时候，判定输入图像是斑点大、不适合负修正的图像。并且，如图9的中段(middlesection)所示，当比灰度值X更大的灰度值的像素数量超过预定的一定数量、且最大灰度值(最大V值)的像素数量小于预定的一定数量的时候，即与2个判定条件中均不符合时，判定输入图像是亮的部分的灰度级丰富、 适合负修正的图像。
在此，在上述的高亮判定中使用的直方图信息，是基于R值、G值、B值的最大值即V值不同的像素数量的亮度的分布状态。因此，即使在产生色彩饱和的部分多的图像的情况下，也能够与斑点较大的图像的情况同样将输入图像判定为不适合负修正的图像。为此，能够同时避免在产生斑点附近产生色调跳跃、以及在产生色彩饱和处的附近发生色调跳跃。
如上所述，修正增益运算部8根据上述高亮判定的结果，在输入图像是需要增益的限幅的图像的情形，使用限幅后的增益函数gclip(Vin，lev，x)计算每个像素的增益，并作为修正用增益设定到上述灰度级变换部10中。此外，修正增益运算部8，在输入图像是不需要增益的限幅的图像的情形，使用增益限制后的增益函数glim(Vin，lev，x)计算每个像素的增益，并作为修正用增益设定到上述灰度级变换部10中。
然后，在灰度级变换部10中，通过由修正增益运算部8根据上述高亮判定的结果而计算出的增益，按每个像素来调整图像数据的像素值。即，将输入的各像素的按R、G、B的像素值Rin、Gin、Bin变换成根据下记的式(5)、(6)、(7)或(8)、(9)、(10)而得到的像素值Rout、Gout、Bout。
Rout＝Rin×glim(Vin，lev，x)        (5)
Gout＝Gin×glim(Vin，lev，x)        (6)
Bout＝Bin×glim(Vin，lev，x)        (7)
Rout＝Rin×gclip(Vin，lev，x)       (8)
Gout＝Gin×gclip(Vin，lev，x)       (9)
Bout＝Bin×gclip(Vin，lev，x)       (10)
就是说，灰度级变换部10，根据按每个像素设定的修正特性来单个地修正输入图像的各像素的亮度等级(亮度)。由此，能够自动地修正输入图像的灰度级。
图10是表示上述灰度级修正装置500中的灰度级修正顺序的概况的流程图。图10所示的步骤S1是由V值平均计算部3进行的动作，步骤S2～S4分别是由第1关键判定部4、第2关键判定部5、第3关键判定部6进行的动作，步骤S5～S12是由修正增益运算部8进行的动作。再有， 步骤S12、S13的动作，实际上仅重复进行与像素数量相对应的次数。此外，对于各步骤的细节由于与前面的说明重复所以省略说明。
如上所述，在本实施方式的灰度级修正装置500中，决定按每个像素的增益计算时的修正特性时成为基准的各个块区域101的亮度等级，不是单一地仅根据区域内的像素的平均V值等的亮度信息来获得，而是基于上述第1关键判定、第2关键判定、第3关键判定这3级判定处理来获得。即，如前所述，得到考虑了与周围的相对亮度关系的亮度等级。因此，灰度级修正装置500，通过根据该亮度等级来修正各像素的亮度，即使是对于图像内的亮部分和暗部分的交界处附近而言也能够得到良好的灰度级结果。即，灰度级修正装置500能够进行准确地反映了图像内的各部分的适当的灰度级修正。
此外，在按每个像素计算增益时，对输入图像进行上述的对比度判定，根据此判定结果而调整设定给各像素的增益上限。由此，如前所述，能够抑制相对于暗部分的像素的增益，其结果是能够强调图像的对比度(暗部的收缩)。
并且，在按每个像素计算增益时，对输入图像进行上述的高亮判定，判定输入图像是否为不适合针对亮部分的像素进行像素值的负修正的图像，在是上述不适合负修正的图像的情况下，将按每个像素来设定的增益的下限限制(clip)在「1.0」。由此，能防止输入图像是亮部分的灰度级不够的图像时对比度的无用下降、以及是斑点大的图像时产生色调跳跃和在产生色彩饱和的部分周围发生色调跳跃。
在此，在灰度级修正装置500中，作为根据各个块区域101的亮度等级来单个地修正输入图像的各像素的亮度时的具体方法，能够采用任意的方法。在上述的说明中，虽然根据各个块区域101的亮度等级对各个块区域101的中心像素设定代表修正特性，并且根据此代表修正特性设定与中心像素相关的其它像素的修正特性，依据该代表修正特性及修正特性来调整各像素的增益，但也可以通过除此之外的方法来单个地修正各像素的亮度。
此外，在本实施方式中，通过第3关键判定来判定各个块区域101的亮度是6级的亮度等级中的哪一个，针对各个块区域101，选择(设定) 与第3关键判定的结果相对应的修正特性，并且将其作为代表修正特性设定给各个块区域101的中心像素。但是，应当设定为代表修正特性的修正特性，也可以不进行第3关键判定而仅根据由第1关键判定判定的亮度等级和由第2关键判定判定的亮度等级的组合进行直接选择。但是，此情况下，根据第3关键判定的结果以外的信息来进行用于决定在各像素中设定的增益上限的上述对比度判定。另外，稍后对其进行描述。
此外，在本实施方式中，将输入图像100分割为多个块区域101，根据各个块区域101的亮度等级，按每个像素来修正各像素的亮度等级(亮度)。但是，各个块区域不必是对输入图像100进行分割的区域，也可以在输入图像100中设定相邻区域彼此部分重叠的多个块区域，基于这些块区域的亮度等级，按每个像素来修正各像素的亮度等级(亮度)。
此外，虽然按「低」、「中」、「高」3级判定第1及第2关键判定区域A、B的亮度等级，但判定的亮度等级的级数既可以是2级，也可以是4级以上。此外，也可以将在第1关键判定区域A和第2关键判定区域B中判定的亮度等级的级数量设为不同的级数。
此外，与本实施方式相同，在使级数相同的情况下，例如可以通过改变针对第1关键判定区域A的第1关键判定和针对第2关键判定区域B的第2关键判定中的判定基准，即通过改变平均V值和亮度等级的对应关系，来对第2关键判定的结果进行加权。
此外，在本实施方式中，按「低1」～「高2」6级来判定由第3关键判定最终判定的各个块区域101的亮度等级，即在决定为各个中心像素设定的代表修正特性时作为基准的亮度。但是，也可改变在决定代表修正特性时作为基准的亮度级数。不过，判定的亮度等级的级数多则能够进行准确的灰度级修正。因此，优选由第3关键判定所判定的亮度等级的级数比本实施方式所述的判定第1及第2关键判定A、B的亮度时的亮度等级的级数更多。
此外，在本实施方式中，虽然通过第1关键判定、第2关键判定、第3关键判定的3级的判定处理来判定最终判定的各个块区域101的亮度等级，但也可以按如下所述来进行。例如，在上述第2关键判定区域B的外侧还设定包含该区域B的其它关键判定区域，对该其它关键判定区域也判 定亮度，基于此判定结果和上述第1及第2关键判定的结果的组合来判定最终判定的各个块区域101的亮度，即，也可通过4级的判定处理来判定各个块区域101的亮度等级。
此外，在本实施方式中，根据各像素的V值(具体为各块区域的平均V值)判定各块区域的亮度等级。但是，各块区域的亮度等级，也可以根据由各像素的R值、G值、B值得到的Y(亮度)值等的其它亮度信息来判定。但是，在使用V值以外的亮度信息的情况下不能判断色彩饱和，存在对于色彩饱和部分赋予不需要的增益的情形，所以作为亮度信息优选使用V值。此外，各块区域的亮度等级不限于各像素的V值和Y值等的平均值，也可以根据它们的直方图来判定。
此外，在本实施方式中，将为各个块区域101设定的修正特性(为中心像素设定的代表修正特性)作为在对输入图像的各像素的增益进行计算的过程中使用的增益函数(成为基础的增益函数)的参数、即增益等级(lev)和次数(x)的值，与第3等级判定的结果对应地为各个块区域101设定该参数的值，据此计算出针对各像素的增益。但是，此处理，例如也可以进行如下变更。
例如，作为由第3等级判定所判定的亮度等级的按级数的修正特性，预先决定多个V值和增益(g)的组合，所述多个V值用于指示在表示各个修正特性的增益曲线上以规定的V值间隔存在的多个代表点(16点等)，也可使它们与第3等级判定的结果对应地设定给各个块区域101。此情况下，就各个块区域101的中心像素而言，对于各个块区域101，使用由对应于第3等级判定的结果的多个代表点示出的增益曲线，决定对应于此中心像素的V值(Vin)的增益(g)。此外，就中心像素以外的像素而言，利用分别包含与其相邻的多个中心像素的各个块区域101中与第3等级判定的结果相对应的多个代表点，基于V值相同的多个代表点分别内插新的代表点，使用将由此得到的新的多个代表点连接起来的增益曲线，决定对应于此像素的V值(Vin)的增益(g)。
此外，在本实施方式中，使用增益限制后的增益函数glim(Vin，lev，x)计算每个像素的增益，此时，通过根据上述的对比度判定的结果设定增益限制系数(lim)的值，就调整了为各像素设定的增益的上限。但是， 此处理例如也可以进行如下变更。
例如，对于不需要上述的增益的限幅的输入图像而言，使用成为上述基础的增益函数g(Vin，lev，x)来进行各像素的增益的计算，通过根据对比度判定的结果来调整作为代表修正特性设定给各块区域101的中心像素的增益等级(lev)及次数(x)的值(根据第3关键判定的结果的值)，也可以调整为各像素设定的增益的上限。此情况下，增益限制后的增益函数由以下所示的式(11)获得。
gclip(Vin，lev，x)＝max{g(Vin，lev，x)，1.0}            (11)
此外，在本实施方式中，根据上述的第3关键判定的结果，判定了在调整设定给各像素的增益的上限时成为基准的输入图像的对比度状态。但是，输入图像的对比度状态，也可以根据其它的信息来判定。例如，当判定输入图像的对比度状态的时候，可以代替第3关键判定的结果使用上述第1关键判定的结果和第2关键判定的结果，或使用这二者的判定结果。并且，在数字照相机中采用上述的灰度级修正装置的情况下，也可以根据EV值(曝光时间)进行判定。
此外，也可不是自动调整为各像素设定的增益的上限，而是采用能手动调整的结构。此情况下，例如，可以采用能够使灰度级修正装置的使用者从多个等级中选择对比度增强程度的结构，根据选择的等级将上述的增益限制系数(lim)设定为预定的值即可。
此外，在根据第3关键判定的结果判定输入图像的对比度状态的情况下，如本实施方式所示，分别使用阈值(N，M)将与「低1」相应的块区域101的数和与「高2」相应的块区域101的数分为2级，除了根据2级的数的组合判定对比度状态之外，还可以简单地通过「低1」的相应数量和「高2」的相应数量的组合进行判定、或通过其它多个亮度等级(3种以上也可以)的相应数量的组合进行判定、或根据仅某一亮度等级的相应数量判定。并且，还可以使用2个以上的阈值将1个或多个规定亮度等级的相应数量分为3级以上进行确认，根据它们的组合判定对比度状态。
再有，对输入图像进行上述的对比度判定，根据其判定结果调整为各像素设定的增益的上限的技术，即单个修正像素的亮度时调整相对于各像素的修正系数的上限的技术，即便在通过本实施方式说明的方法以外的方 法判定各个块区域101的亮度等级、并根据此判定结果单个地修正各像素的亮度的情况下也是有效的。
此外，在本实施方式中，虽然根据表示按图像整体的V值的像素数量的亮度的分布状态的直方图信息，进行输入图像是否为对亮部分的像素的像素值不适合负修正的图像的高亮判定，但在高亮判定中使用的直方图信息也可以是例如表示按固定区间的V值(灰度级)的像素数的信息。此外，在块区域101的数(本实施方式中输入图像100的分割数)为多至某种程度的情况下，可以使用以各个块区域101的平均V值为要素的直方图信息，也可以以多个块区域101为单位获取平均V值，还可使用以此平均V值为要素的直方图信息。
此外，在本实施方式中，虽然对图像整体进行高亮判定，一并进行是否限制按每个像素来设定的增益的下限的判断，但也可以如下这样。例如，可以针对各个块区域101获取V值的直方图信息，在每块区域101进行高亮判定，当根据此判定结果计算出各像素的增益时，从增益限制后的增益函数或限幅后的增益函数中选择在每块区域101中使用的增益函数。并且，以多个块区域101为单位进行这一处理也是可以的。
再有，根据上述的高亮判定的结果来限制(clip)按每个像素来设定的增益的下限的技术，即在单个地修正像素的亮度时将针对各像素的修正系数的下限规定为规定值的技术，即使在通过本实施方式说明的方法以外的方法判定各个块区域101的亮度等级并根据此判定结果单个地修正各像素的亮度的情况下也是有效的。
此外，在本实施方式中，虽然设获取上述第2亮度等级的对象区域即第2关键判定区域为由成为关注区域的块区域101(图2B中所示的区域A)、和在其周围邻接的8个其它块区域101(图2B中所示的区域B1、B2、...、B8)构成的区域(包括区域)B，但是在本发明中获取第2亮度等级的对象区域并不限于此。例如，既可以仅以邻接在关注区域的周围的8个其它块区域为第2关键判定区域，也可以以邻接在关注区域的周围的8个其它块区域中的几个块区域(图2B所示的B2、B4、B5、B7等)为第2关键判定区域。
此外，以上说明的灰度级修正装置500的各部，也可由ASIC(面向 特定用途的集成电路)实现。此外，由以上说明的灰度级修正装置500实现的功能中，关于除输入部1和输出部11以外所有各部或其一部分的功能，也可以例如由通过搭载在计算机、拍摄装置、图像处理装置等的处理器执行的软件程序来实现。例如，在将由灰度级修正装置500实现的功能编入(implement)数字照相机、数字摄像机等拍摄装置中的情况下，可以通过这些装置具有的计算机系统中所包含的处理器，执行(run)用于进行(perform)图10所示的灰度级修正处理的灰度级修正程序。这种灰度级修正程序，例如能够由掩码ROM(mask ROM)或EPROM(ErasableProgrammable ROM)等非易失性存储器(non-volatile memory)、闪存存储器件、光盘及磁盘等记录介质来提供。此外，灰度级修正系统，也可以通过(through)有线(wired)或无线(wireless)的计算机网络提供。
[第2实施方式]
下面，说明应用了本申请发明的第2实施方式。再有，在对第2实施方式的以下说明中，关于涉及与上述的第1实施方式相同或同等的部件和动作的说明参照在第1实施方式的说明中使用的附图，使用与第1实施方式相同的符号进行说明。
图11是表示作为第2实施方式例示的灰度级修正装置600的方框图。灰度级修正装置600，是自动地修正输入的图像的灰度级的装置，可被组装并使用在数字照相机等拍摄装置和打印机、及其它具有图像处理功能的各种图像处理装置中。
灰度级修正装置600，如图11所示，包括：输入由RGB的每颜色分量的像素数据构成的图像数据的输入部601，V值变换部602，V值平均计算部603，第1关键判定部604，第2关键判定部605，第3关键判定部606，脸检测部607，Y值变换部608，Y值平均计算部609，脸部关键判定部610，脸部块关键判定部611，判定结果调整部612，直方图生成部613，修正增益运算部614，坐标计数器615，灰度级变换部616，及输出部617。灰度级变换部616，按每个像素来调整输入到输入部601中的图像数据的增益。
输入部601是例如用半导体存储芯片实现的帧存储器和视频RAM。
V值变换部602，将输入到输入部601的图像数据的像素值(R值、G值、B值)变换为HSV颜色空间中的V(value：明亮度)分量的值，向V值平均计算部603及直方图生成部613输出变换后的V值(Vin)。再有，如所周知的，V值是R值、G值、B值的最大值，按以下所示的式(12)变换。
Vin＝max(Rin，Gin，Bin)                (12)
V值平均计算部603，将输入图像分割成预定的多个块区域(分割区域)。V值平均计算部603，分别以分割后的各个块区域为各个关注区域，对面积不同的2种关键判定区域分别计算出各个区域内的所有像素的V值的平均值(以下为平均V值)。在图2A及图2B中示出了输入图像100中的上述块区域101。图2A及图2B中斜线所示的区域是关键判定区域。
即，如图2A所示，V值平均计算部603，以作为关注区域的块区域101(图2中A)本身作为第1关键判定区域A来计算平均V值。此外，如图2B所示，V值平均计算部603，以由成为关注区域的块区域101(图2中A)和、在其周围相邻的8个其它块区域101(图2中B1、B2、...、B8)构成的区域作为第2关键判定区域B计算平均V值。
第1关键判定部604，依据由V值平均计算部603计算出的上述第1关键判定区域A的平均V值，判定此区域的亮度对应于被等级划分为多个预定级别的亮度基准(第1亮度基准)中哪一个亮度等级(以下为第1亮度等级)。在以下的说明中，称此判定处理为第1关键判定。在此，判定的亮度等级是「低」、「中」、「高」3级。再有，对应于各亮度等级的平均V值的范围是例如对平均V值的整个范围(0～最大值)进行3等分后的范围。
第2关键判定部605，依据由V值平均计算部603计算出的上述第2关键判定区域B的平均V值，判定此区域的亮度对应于被等级划分为多个预定级别的亮度基准中的哪一个亮度等级(以下为第2亮度等级)。在以下的说明中，称此判定处理为第2关键判定。在此，判定的亮度等级也是根据与上述的第1关键判定时的同一基准的亮度等级，是「低」、「中」、「高」的任意一个。
第3关键判定部606，作为与上述的第1及第2的关键判定的结果(第 1及第2亮度等级)的组合相对应的亮度等级，判定对应于比上述亮度基准更详细地被等级划分了的亮度基准中的哪一个亮度等级(以下为第3亮度等级)。就是说，第3关键判定部606，对于成为关注区域的块区域101，判定考虑到与在其周围相邻的8个其它块区域101(B1、B2、...、B8)之间的相对亮度关系后的亮度等级。在以下的说明中，将此判定处理称为第3关键判定。
在本实施方式中，由该第3关键判定判定的亮度等级是「低1」、「低2」、「中1」、「中2」、「高1」、「高2」6级中的任一种等级，「低1」是最低等级，「高2」是最高等级。此外，例如，如图3所示，预先决定第1及第2亮度等级的组合和第3亮度等级间的对应关系。
此外，V值平均计算部603、第1关键判定部604、第2关键判定部605、第3关键判定部606作为第1获取单元起作用。
脸检测部607，检测存在于输入图像(静止图像)的预定的规定尺寸以上的任意的人物的脸部，获取与检测出的脸部对应的区域(脸区域)的坐标信息，将其向Y值平均计算部609及修正增益运算部614输出。脸检测部607作为脸检测单元起作用，具体地说，由图像数据的临时存储存储器和图像处理电路、存储在脸检测动作时使用的参数的多个寄存器等构成。再有，在本实施方式中，脸部的检测方法，能够应用对特征与预先准备(存储)的人物的脸相关的轮廓和颜色等模型模式接近的脸部进行检测的基于模式匹配的公知方法。此外，作为坐标信息获取的脸区域，也可以是与检测出的脸部对应的矩形区域。
Y值变换部608将输入到输入部601的图像数据的像素值(R值、G值、B值)变换为YUV颜色空间中的Y(光亮度)值，将变换了的Y值向Y值平均计算部9输出。再有，Y值按以下所示的式(13)变换。
Y＝0.299×R+0.587×G+0.114×B    (13)
Y值平均计算部609，分别计算由脸检测部607检测出的输入图像中的脸部、和包含脸部的一部分或全部的1个或多个块区域的各个区域内的所有像素的Y值的平均值(以下为平均Y值)。在以下的说明中，将包含脸部的一部分或全部的、即与脸部重叠的1个或多个块区域统一地称为脸部块。图12是表示输入图像100中的块区域101、脸部C、上述脸部块 D的示意图，是脸部块D由4个块区域101(图12中D1～D4)构成的情形的例子。
脸部关键判定部610，根据由Y值平均计算部609计算出的上述脸部C的平均Y值，判定此区域的亮度对应于被等级划分为多个预定级别的亮度基准中的哪一个亮度等级。在此，判定的亮度等级是根据与上述第3关键判定时相同的亮度基准(6级的亮度等级)的亮度等级。此脸部关键判定部610和上述Y值平均计算部609作为第2获取单元起作用。
脸部块关键判定部611，依据由Y值平均计算部609计算出的属于脸部D的各个块区域101的平均Y值，与上述脸部关键判定部610同样，分别判定与根据上述的第3关键判定相同的亮度基准中的哪一个亮度等级相对应，将所判定的各个块区域101的亮度等级平均化后的亮度等级最终判定为脸部块D的亮度等级。
上述亮度等级的平均化，具体地，通过预先对6级的亮度等级分配1～6的等级值，计算此等级值的平均来进行(其中，小数点以下四舍五入)。例如，如果属于图12所示的脸部块D的各个块区域101(D1～D4)的亮度等级分别是「低2」、「中1」、「高1」、「高2」，则等级值的平均是(2+3+5+6)/4＝4，将对应于等级值「4」的「中2」作为脸部块D的亮度等级。此脸部块关键判定部611和上述Y值平均值计算部609作为第3获取单元起作用。
再有，在脸部块关键判定部611中，评定脸部块D的亮度等级时的亮度基准可以与在脸部关键判定部610中判定脸部C的亮度等级时的亮度基准相同，对于脸部C及脸部块D而言，也可根据被等级划分为与第3关键判定时不同的多级的亮度基准来判定此亮度等级。
判定结果调整部612，作为调整单元起作用，就属于上述脸部块D的各个块区域101而言，根据通过脸部关键判定部610和脸部块关键判定部611的关键判定结果、即脸部C的亮度等级和脸部块D的平均化了的亮度等级，来调整第3关键判定部606中的第3关键判定的结果(第3亮度等级)。
具体的调整内容按图13所示的进行。即判定结果调整部612，比较脸部C的亮度等级和脸部块D的亮度等级(步骤S101)，脸部C的亮度等 级高、即脸部C较亮的情况下(步骤S102中为是)，根据脸部C的亮度等级和脸部块D的亮度等级之差，将属于脸部块D的各块区域101的亮度等级向亮的一侧移动(步骤S103)。
相反，在脸部块D的亮度等级高、即脸部块D较亮的情况下(步骤S102中为否、步骤S104中为是)，根据脸部C的亮度等级和脸部块D的亮度等级之差，将属于脸部块D的各块区域101的亮度等级向暗的一侧移动(步骤S105)。
此外，在脸部C的亮度等级和脸部块D的亮度等级相同的情况下(步骤S102、S104中均为否)，维持属于脸部块D的各块区域101的亮度等级不变(步骤S106)。
在此，在上述步骤S103、S105中，根据脸部C的亮度等级和脸部块D的亮度等级之差向亮的一侧或暗的一侧移动块区域101的亮度等级时的位移量(调整程度)是预定的调整程度，例如，脸部C和脸部块D之间的等级差每变化1级使位移量也变化1级，等级差每变化2级使位移量仍变化1级。再有，脸部C的亮度等级和脸部块D的亮度等级之差越大上述位移量(调整程度)越大比较好。但是，如果上述位移量过大，则与周边的块区域101的平衡变差的可能性变大。
此外，在此为了方便，说明了在输入图像100中检测出的脸、即脸部C为1处的情形，但在检测出多个脸部C的情况下，判定结果调整部612针对属于各个脸部块D的各块区域101进行上述的亮度等级的调整。并且，在此情况下，有邻近多个脸部C存在的、与各个脸部块D重叠的部分(块区域101)时，该块区域101的亮度等级，根据预定的基准(脸部C的面积等)，基于优先度更高的脸部C及其脸部块D的亮度等级来调整。
直方图生成部613，依据由上述V值变换部602变换的所有像素的V值(Vin)按V值计数像素数，将计数结果作为表示输入图像整体的亮度的分布状态的直方图信息向上述修正增益运算部614输出。
修正增益运算部614作为特性设定单元(第1特性设定单元、第2特性设定单元、第3特性设定单元)、计算单元、判断单元起作用。修正增益运算部614，根据从上述判定结果调整部612输出的作为第3关键判定的结果的亮度等级、或调整后的亮度等级和上述直方图信息，使用后述的 增益函数(修正函数)，单个地计算由灰度级变换部616按每个像素调整增益时的修正用增益、即要与图像数据的各像素值相乘的灰度级修正用修正系数，将其设定在灰度级变换部616中。
坐标计时器615，在修正增益运算部614中计数成为增益的计算对象的像素的坐标位置(横位置及纵位置)。
灰度级变换部616，利用在修正增益运算部614中按每个像素来运算的增益，按每个像素来调整图像数据的增益。即，灰度级变换部616，将各像素的像素值(R值、G值、B值)变换成乘以上述增益系数后的像素值。灰度级变换部616将增益调整后的图像数据输出到输出部617。
输出部617，例如是由半导体存储芯片实现的帧存储器和视频RAM。此外，输出部617也可以是与输入部601相同的部件(component)。
此外，在本实施方式中，上述修正增益运算部614和灰度级变换部616作为修正单元发挥作用。
在此，详述上述修正增益运算部614中的修正用增益的运算动作。首先，修正增益运算部614对所有像素单个地设定修正特性，所述修正特性是增益相对于作为增益计算时的基础的各像素的V值的变化的变化特性，且是根据后述的增益函数得到的。
具体地说，针对多个块区域101的各自的中心像素，从分别与上述的「低1」、「低2」、「中1」、「中2」、「高1」、「高2」6级的亮度等级(参照图3)相对应的预定的多种修正特性中，将与通过第3关键判定按每块区域101所判定的第3亮度等级相对应的修正特性设定为代表修正特性。
此外，在中心像素以外的像素中，从为与其相邻的多个中心像素设定的代表修正特性中通过线性内插获取新的修正特性，设定此修正特性。再有，关于为其它的像素设定的修正特性的内插，不限于线性内插，即便是样条内插等其它的内插方法也无妨。
图4A是表示将输入图像100分割成9个块区域时的各个块区域、和它们的中心像素(图中为「+」)的图，图4B是表示中心像素以外的某个像素(图中为「·」)、和在该像素的修正特性的获取(内插)中使用的中心像素的关系的图。如图4A所示，当对上述的其它像素设定的修正特性 进行内插时，使用相邻于该像素的最大4个中心像素的代表修正特性。但是，对于位于输入图像的上下左右的角部分的块区域内的像素，直接将在此块区域的中心像素中设定的代表修正特性设定为修正特性。接着，详述代表修正特性及修正特性。
在此，对各像素设定的代表修正特性及修正特性，是根据由图5A所示的式(2)表示的增益函数g(Vin，lev，x)得到的特性。修正增益运算部614，按每个像素来将在此增益函数g(Vin，lev，x)中决定其特性的参数(变量)即增益等级(lev)及次数(x)的值设定为上述的代表修正特性或修正特性。
图5B及图5C是表示增益(g)相对于根据上述增益函数g(Vin，lev，x)得到的V值(Vin)的变化的变化特性的图，根据增益函数g(Vin，lev，x)计算出的增益(g)，随V值(Vin)变大而变小，当V值最大时为1.0倍。此外，上述参数的值的不同如下所示在特性中反映出来。
即，如图5B所示，在次数(x)的值相同的情况下，增益等级(lev)越大，整体的增益(g)就越大，当「lev＝2」时，增益(g)的最大值为2.0倍。此外，如图5C所示，在增益等级(lev)的值相同的情况下，次数(x)越大，越抑制中间的亮度区域、特别是高亮(V值最大)侧的增益(g)，根据值而高亮侧(V值大的侧)的增益(g)为1.0以下。
即，在使用增益函数g(Vin，lev，x)按每个像素来计算出灰度级变换部616中所设定的增益时，如果使增益等级(lev)变大，整体地提高增益的话，就能够提高输入图像的暗的部分的灰度级。同时，如果使次数(x)变大并使得高亮(V值最大)侧的增益为1.0以下的话，就能够减少输入图像的亮的部分的斑点。
因此，虽然未图示，但在与上述的6级(「低1」、...、「高2」)的各个亮度等级相对应的增益等级(lev)中，设定随着亮度等级上升依次变小的值，而且，在对应于各个亮度等级的次数(x)中，设定随着亮度等级上升依次变大的值。此外，双方的参数(lev，x)的值是根据经验预定的值。
此外，在修正增益运算部614中，不是直接使用增益函数g(Vin，lev，x)计算出增益，而是根据用图6A所示式(3)表示的增益函数glim(Vin， lev，x)计算增益。
此增益函数glim(Vin，lev，x)中的参数(lim)是决定增益上限的增益限制系数，通过将此值设定在1.0以下，就能够对应增益等级(lev)的值来调整增益的上限。再有，在本实施方式中，设增益限制系数的值在整个图像(所有像素)中都相同。在以下的说明中，为了方便将增益函数glim(Vin，lev，x)称为增益限制后的增益函数。
图6B是表示增益相对于「lim＝1」时各像素的V值变化的变化特性的图，此情形为与不进行增益限制的情形同样的特性。图6C是表示增益相对于「lim＝0.5」时各像素的V值变化的变化特性的图，通过将增益限制系数设定为小于1.0，就使得增益等级(lev)的值越小，越能抑制相对于V值更大的一侧的像素的增益。即，如果抑制相对于暗的部分的像素的增益，就能够强调图像的对比度(暗部的收缩)。
在本实施方式中，在上述增益限制系数(lim)中，当通过上述脸检测部607从输入图像中检测出规定尺寸以上的任意的人物脸部的时候，设定由图14A所示的式(14)计算出的值。在此式(14)中，
Yave_face是由上述Y值平均计算部9计算出的脸部C(参照图12)的平均值，
lev_face、x_face是作为代表修正特性设定给各个块区域101的中心像素中最接近脸部C的中心坐标的中心像素的增益等级(lev)及次数(x)，
g(Yave、lev_face_、x_face)是根据上述中心像素的代表修正特性计算出的脸部的平均Y值所对应的增益，将上述代表修正特性的增益等级(lev_face)和上述增益(以下称为脸部增益)的比率作为增益限制系数(lim)。
图14B是表示通过使用如上所述取得的增益限制系数(lim)得到的增益相对于各像素的V值的变化的变化特性的图。即，通过将增益限制系数(lim)设定为由上述计算式计算出的值，来将相对于比脸的平均Y值更小的V值的像素增益限制在对应于脸部的平均Y值的增益g(Yave、lev_face_、x_face)，由此，进行重视了图像内的脸部的灰度级的对比度强调(以下称为脸优先对比度强调)。
此外，与上述不同，在用上述脸检测部607没有从输入图像中检测出 规定尺寸以上的任意的人物脸部的情况下，对增益限制系数(lim)，进行根据上述的第3关键判定的结果判定(推定)输入图像的对比度状态的对比度判定，设定对应此判定结果的值。
具体地说，第3关键判定时，单个地计数亮度等级为最低的「低1」的块区域的数，和亮度等级为最高的「高2」的块区域的数，就双方的亮度等级确认各个计数值是处于按每个等级决定的阈值(N、M)以上，还是小于阈值(N、M)。然后，根据「低1」的数(N以上的数、小于N的数)，和「高2」的数(M以上的数、小于M的数)的组合判定对比度状态，与此判定结果相对应地设定增益限制系数。
例如，将对比度状态分为4级进行判定的时候，当「低1」的数是阈值(N)以上、且「高2」的数在阈值(M)以上时，判定为图像的对比度是最高的状态，将增益限制系数的值设定为「1.0」。即，实质上，不进行上述的对比度强调。此外，当「低1」的数小于阈值(N)、且「高2」的数小于阈值(M)时，判断为图像的对比度是最低的状态，将增益限制系数的值设定为「0.5」。
另一方面，虽然如果使用上述的增益限制后的增益函数调整相对于各像素的增益的上限的话，就能够进行上述的脸优先对比度强调，但即使在此情况下，也如图5C所示，当增益的计算时在各像素中设定的次数(x)的值为某一程度大时，除高亮部分(V值最大值的像素部分)外的高亮侧(V值大的一侧)的增益(g)也会为1.0以下。即，负修正了图像内的亮部分的像素值。
这在亮的部分的灰度级不够的图像中带来对比度的无用的降低，此外，在斑点大(斑点部分多)的图像中，成为在斑点部分与其周围接近于斑点的部分(V值在最大值附近)之间产生灰度级差变大的色调跳跃的要因。
因此，在修正增益运算部614中，在计算各像素的增益时，进行下述判定(以下称为高亮判定)，即输入图像是不是不适合进行相对于亮部分的像素的像素值的负修正的图像，即是不是亮部分的灰度级不够的图像、或是不是斑点大的图像，在判定为是不适合负修正的图像的情况下，根据由图8A所示的式(4)表示的增益函数gclip(Vin，lev，x)计算增益。
即，通过将增益的下限限制(clip)在「1.0」，来避免当输入图像是亮部分的灰度级不够的图像时对比度的无用的下降，以及当是斑点大的图像时产生色调跳跃。在以下的说明中，为了方便，将增益函数gclip(Vin，lev，x)称为限幅后的增益函数。
图8B、图8C是表示将上述的增益限制系数(lim)的值设定为「1.0」的时候，根据上述限幅的有无、增益的变化特性不同的图。图8B是表示未进行上述限幅时的变化特性，图8C是表示进行上述限幅时的变化特性。
此外，在本实施方式中，上述的高亮判定根据由上述直方图生成部613获取的直方图信息(根据整个图像的V值不同的像素数量的亮度分布状态)按如下方式进行。也就是说，如图9的上段(upper section)所示，当比最大灰度值(最大V值)低几％(例如5～10％)的灰度级位置的灰度值X更大的灰度值的像素数为预定的一定数量以下的时候，判定输入图像是亮部分的灰度级不够、不适合负修正的图像。此外，如图9的下段(lower section)所示，当最大灰度值(最大V值)的像素数为预定的一定数量以上的时候，判定输入图像是斑点大、不适合负修正的图像。并且，如图9的中段(middle section)所示，当比灰度值X更大的灰度值的像素数量超过预定的一定数量、且最大灰度值(最大V值)的像素数量小于预定的一定数量的时候，即2个判定条件中的任何一个均不符合时，判定输入图像是亮部分的灰度级丰富、适合负修正的图像。
在此，在上述的高亮判定中使用的直方图信息是根据R值、G值、B值的最大值即V值不同的像素数量的亮度的分布状态。因此，即使在输入图像是产生了色彩饱和的部分很多的图像的情况下，也能与斑点较大的图像的情况同样判定为不适合负修正的图像。为此，能够在产生斑点附近增加色调跳跃、同时避免在产生色彩饱和处的附近发生色调跳跃。
如上所述，修正增益运算部614根据上述高亮判定的结果，对于输入图像是需要增益限幅的图像的情形，使用限幅后的增益函数增益函数gclip(Vin，lev，x)计算每个像素的增益，并将其作为修正用增益设定到上述灰度级变换部616中。此外，修正增益运算部614，对于输入图像是不需要增益限幅的图像的情形，使用增益限制后的增益函数glim(Vin，lev，x)计算每个像素的增益，作为修正用增益设定到上述灰度级变换部616中。
然后，在灰度级变换部616中，根据由修正增益运算部614基于上述高亮判定的结果而计算出的增益，按每个像素来调整图像数据的像素值。即，将输入的各像素的按R、G、B的像素值Rin、Gin、Bin变换成根据下述的式(15)、(16)、(17)或式(18)、(19)、(20)而得到的像素值Rout、Gout、Bout。
Rout＝Rin×glim(Vin，lev，x)     (15)
Gout＝Gin×glim(Vin，lev，x)     (16)
Bout＝Bin×glim(Vin，lev，x)     (17)
Rout＝Rin×gcrip(Vin，lev，x)    (18)
Gout＝Gin×gcrip(Vin，lev，x)    (19)
Bout＝Bin×gcrip(Vin，lev，x)    (20)
就是说，灰度级变换部616，根据按每个像素来设定的修正特性来分别地修正输入图像的各像素的亮度等级(亮度)。由此，能够自动地修正输入图像的灰度级。
图14及图15是表示上述灰度级修正装置中的动作内容的流程图。图14及图15所示的各步骤的细节，由于与前面说明的重复所以省略了说明，但步骤S201是由V值平均计算部603进行的动作，步骤S202是由第1关键判定部604、第2关键判定部605、及第3关键判定部606进行的动作。此外，步骤S204是由脸检测部607进行的动作，步骤S205是由Y值平均计算部609进行的动作，步骤S206是由脸部关键判定部610及脸部块关键判定部611进行的动作。此外，步骤S207是由判定结果调整部612进行的动作。步骤S207的详细参照图13按前面所说明的。
并且，步骤S208～S217是由修正增益运算部614进行的动作，步骤S218是由灰度级变换部616进行的动作。再有，步骤S617、S618的动作实际上仅重复进行与像素数量相对应的次数。
如上所述，在本实施方式的灰度级修正装置600中，在输入图像100中存在规定尺寸以上的脸的情况下，根据输入图像100中的脸部C的亮度，来调整当在灰度级变换部616中按每个像素来调整输入到输入部601的图像数据的增益时对所有像素设定的增益上限。即，如上所述，作为在每个像素的增益的计算中使用的增益函数，通过使用以使用脸部C的平均Y 值计算出的增益限制系数(lim)为参数的增益限制后的增益函数(参照图6A及图14A)，来对输入图像100施行脸优先对比度强调。
由此，抑制脸部中的眼睛周围和嘴边等暗的部分的像素的增益，通过适当地缩小脸上较暗部分能够保持脸部的灰度级平衡。即，能够进行着重于图像内的人物脸部来进行灰度级修正，其结果是，能够在图像的灰度级修正时在人物的脸部中确保适合的灰度级。
并且，在设定每个像素的增益计算中所使用的修正特性之前，当获取在决定为各个块区域101的中心像素设定的修正特性(代表修正特性)时成为基准的各个块区域101的亮度等级的时候，对于属于脸部块D的块区域101(与脸部C重叠，包含其一部分或全部的块区域101)(参照图12)，根据脸部C的亮度等级、和脸部块D的平均等级(属于脸部块D的各块区域101的亮度等级的平均)之差，调整(向高等级侧或低等级侧移动)由上述的第1～第3关键判定暂时判定的多个块区域101的亮度等级。
由此，能够补偿在脸部C的尺寸是与各个块区域101同程度或为其以下的大小这样的小尺寸的时候产生的对脸部C的像素的增益的不足。
例如，如图17A所示，当脸部C暗、且背景亮的时候，如果不进行如上所述的亮度等级调整，则根据属于脸部块D的块区域101的平均V值的亮度等级变高。由此，脸部块D中的各像素的增益等级变小，其结果是，针对脸部C的像素的增益不足。但是，通过如上所述地调整亮度等级，就能够避免针对该脸部C的增益不足，能够避免随着灰度级修正而使脸部C不自然地变暗的情形。
此外，如图17B所示，当脸部C亮且背景暗时，如果不进行如上所述的亮度等级调整，则根据属于脸部块D的块区域101的平均V值的亮度等级变低。由此，脸部块D中的各像素的增益等级变大，其结果是，针对脸部C的像素的增益过大。但是，通过如上所述地调整亮度等级，就能够避免针对该脸部C的增益过大，能够避免随着灰度级修正而使脸部C不自然地变亮的情形。
就是说，通过对属于脸部块D的块区域101进行亮度等级的调整，就能够进行着重于图像内的人物脸部的灰度级修正，其结果是，能够在图像 的灰度级修正时在人物的脸部中确保适合的灰度级。
此外，在本实施方式中，当每个像素的增益计算时，对于输入图像进行上述的高亮判定，判定输入图像是否是不适合进行与亮部分的像素相对应的像素值的负修正的图像，在是上述不适合负修正的图像的情况下，将按每个像素来设定的增益的下限限制(clip)在「1.0」。由此，能防止输入图像是亮部分的灰度级不够的图像时对比度的无用下降、以及是斑点大的图像时产生色调跳跃和在产生色彩饱和的部分周围发生色调跳跃。
再有，虽然上述脸优先对比度强调和属于脸部块D的块区域101的亮度等级的调整可以像本实施方式这样并行实施，但也可以不一定并行地实施，仅实施任何一个都可以。
此外，在上述的说明中，说明了当输入图像100的灰度级修正时，按每个像素来设定修正特性(增益函数)，根据设定的修正特性单个地修正像素的亮度。但是，在灰度级修正装置600中，对单个地修正各像素的亮度的具体方法没有特别地限定，也可以是除前面说明以外的方法。
在采用其它的方法情况下，通过根据各个块区域101的亮度信息和脸部C的亮度信息单个地修正各像素的亮度，也能进行着重于图像内的人物脸部的灰度级修正，由此能够在人物的脸部中确保适合的灰度级。
此外，在本实施方式中，当在输入图像100中存在规定尺寸以上的脸的情况下，使用图6A所示的增益限制后的增益函数glim(Vin，lev，x)计算在各像素中设定的增益。并且，在此增益函数glim(Vin，lev，x)的参数中，通过设定根据各个块区域101的亮度等级和脸部块D的亮度等级所获取的值，来进行着重于脸部灰度级的脸优先对比度强调。但是，此处理也可以按如下所述来变更。
例如，可以使用图5所示的成为基础的增益函数g(Vin，lev，x)，按每个像素来设定基于各个块区域101的亮度等级修正特性，根据设定的修正特性暂时计算出各像素的增益，再根据脸部块D的亮度等级修正计算出的增益。此外，与此不同，也可以通过根据脸部块D的亮度等级预先判定各个块区域101的亮度等级来限制最终针对各像素的增益上限。
此外，在本实施方式中，通过根据脸部C的亮度等级和属于脸部块D的亮度等级之差，调整各个块区域101中属于脸部块D的块区域101的亮 度等级，并根据调整后的亮度等级在属于脸部块D的块区域101的中心像素中设定代表修正特性，由此补偿针对脸部C的像素的增益不足。但此处理例如也可以按以下所述来进行变更。
例如，也可以不按上述那样调整属于脸部块D的块区域101的亮度等级，当在此块区域101的中心像素中分别设定代表修正特性时，与其它的一般的块区域101不同，也可以单个地设定考虑了脸部C的亮度等级和脸部块D的亮度等级之差后的代表修正特性。
此外，对于属于脸部块D的块区域101而言，在判定其亮度等级的时刻，也可以不仅考虑与相邻在其周围的8个其它的块区域101之间的相对亮度关系、还预先考虑脸部C的亮度等级和脸部块D的亮度等级之差，以便判定亮度等级，根据此判定结果在属于脸部块D的块区域101的中心像素中，依据与其它的块区域101同样的基准来设定代表修正特性。
并且，也可以不按上述那样调整属于脸部块D的块区域101的亮度等级，根据各个块区域101的亮度等级暂时决定在多个块区域101的各个中心像素中设定的代表修正特性后，仅将属于脸部块D的块区域101的代表修正特性变更为考虑了脸部C的亮度等级和脸部块D的亮度等级之差的修正特性。
此外，在属于脸部块D的块区域101的中心像素中设定的代表修正特性，也可以基于此块区域101的亮度等级、脸部C的亮度等级和脸部块D亮度等级之差的组合而直接决定。
在此，在本实施方式中，将输入图像100分割为多个块区域101，针对各个块区域101获取亮度等级(亮度信息)。但是，获取亮度等级的块区域并不一定是必须是分割输入图像100而得到的区域，作为块区域，也可以设定成相邻区域彼此部分重叠这样的多个块区域。
此外，在本实施方式中，作为脸部C的亮度信息，获取平均Y值，根据平均Y值判定属于脸部块D的各个块区域101的亮度等级。但是，作为脸部C的亮度信息，也可以获取平均V值，根据平均V值判定各块区域101的亮度等级。再有，在此情况下，通常由于人物的脸部是R分量多的肌肤色，所以相比于平均Y值，平均V值的一方更高。即，脸部C和脸部块D的亮度等级变高。为此，需要考虑这些因素来调整属于最终得 到的脸部块D的各个块区域101的亮度等级，或在脸优先对比度强调时计算增益限制系数(lim)。
此外，虽然按「低」、「中」、「高」3级判定第1及第2关键判定区域A、B的亮度等级，但判定的亮度等级的级数既可以是2级，也可以是4级以上。此外，也可以将在第1关键判定区域A和第2关键判定区域B中判定的亮度等级的级数设为不同的级数。
此外，在与本实施方式相同，级数相同的情况下，例如可以通过改变对第1关键判定区域A的第1关键判定和对第2关键判定区域B的第2关键判定中的判定基准，即通过改变平均V值和亮度等级的对应关系，来对第2关键判定的结果进行加权。
此外，虽然按「低1」～「高2」6级来判定由第3关键判定判定的各个块区域101的亮度等级，即在决定各个中心像素中设定的代表修正特性时作为基准的亮度，但是，即使变更此级数也无妨。但是，判定的亮度等级的级数多的一方能够进行确实的灰度级修正。因此，优选由第3关键判定判定的亮度等级的级数比本实施方式所述的判定第1及第2关键判定A、B的亮度时的亮度等级的级数更多。
此外，虽然根据各像素的V值(具体地说，各块区域的平均V值)判定各块区域101的亮度等级，但是，也可以根据由各像素的R值、G值、B值得到的Y(亮度)值等的其它的亮度信息来判定各块区域101的亮度等级。但是，在使用V值以外的亮度信息的情况下在上述的高亮判定时不能判断色彩饱和，存在对色彩饱和部分赋予不需要的增益的情形，所以作为亮度信息优选使用V值。
此外，在本实施方式中，设获取上述第2亮度等级的对象区域即第2关键判定区域为由作为关注区域的块区域101(图2B中A)和相邻在其周围的8个其它块区域101(图2B中B1、B2、...、B8)构成的区域(包括区域)B。但是在本发明中获取第2亮度等级的对象区域并不限于此。例如，既可以仅以相邻在关注区域的周围的8个其它块区域为第2关键判定区域，也可以以相邻关注区域的周围的8个其它块区域中的几个块区域(图2B中B2、B4、B5、B7等)为第2关键判定区域。
此外，以上说明的灰度级修正装置600的各部，即使由ASIC(特定 用途集成电路)实现也可以。此外，由以上说明的灰度级修正装置600实现的功能中，关于除输入部601和输出部617以外所有各部、或其一部分的功能，也可以例如由通过搭载在计算机、拍摄装置、图像处理装置等中的处理器执行的软件程序来实现。例如，在将由灰度级修正装置600实现的功能编入(implement)数字照相机、数字摄像机等拍摄装置中的情况下，可以通过这些装置具有的计算机系统中所包含的处理器，执行(run)用于进行(perform)图13、图15及图16所示的灰度级修正处理的灰度级修正程序。这种灰度级修正程序，例如能够由掩码ROM(mask ROM)和EPROM(Erasable Programmable ROM)等非易失性存储器(non-volatilememory)、闪存存储器件、光盘及磁盘等记录介质来提供。此外，灰度级修正系统，也可以通过(through)有线(wired)或无线(wireless)的计算机网络提供。

Claims (4)

1.一种灰度级修正装置，修正所输入的图像的灰度级，其特征在于，包括：
第1获取单元(603)，在所述所输入的图像中设定分别由多个像素构成的多个块区域，并获取设定的多个块区域之中的关注区域的明亮度、和在所述关注区域的周围相邻的周围区域的明亮度；
亮度判定单元(606)，根据由所述第1获取单元获取的所述关注区域的明亮度与所述周围区域的明亮度的组合来判定亮度等级；
脸检测单元(607)，从所述图像中检测出人物的脸部；
第2获取单元(609)，获取由该脸检测单元检测出的人物的脸部的平均亮度信息；和
修正特性设定单元(614)，对由所述第1获取单元设定的多个块区域的中心像素，基于由所述亮度判定单元判定出的亮度等级和整个所述图像中的各像素的亮度的分布状态，设定用于对所述各像素的亮度进行修正的第1增益的修正特性、和与由所述第2获取单元获取的亮度信息对应的第2增益的修正特性；
所述修正特性设定单元，对所述多个块区域的中心像素之中最接近由所述脸检测单元检测出的脸部的中心坐标的中心像素，设定由所述第1增益的修正特性与所述第2增益的修正特性之间的比率构成的增益限制系数，另一方面，对所述多个块区域的中心像素之中除了最接近由所述脸检测单元检测出的脸部的中心坐标的中心像素以外的中心像素，设定基于由所述亮度判定单元判定的亮度等级的增益限制系数。
2.根据权利要求1所述的灰度级修正装置，其特征在于，
所述修正特性设定单元，还对所述多个块区域的中心像素以外的其它像素，设定将对与该其它像素相邻的1个或多个中心像素设定的修正特性根据与中心像素之间的相对距离而进行了内插后的修正特性。
3.根据权利要求1所述的灰度级修正装置，其特征在于，
所述第1获取单元，基于各像素的HSV颜色空间中的明亮度信息来获取所述亮度信息，
所述第2获取单元，根据各像素的YUV颜色空间中的光亮度信息获取所述亮度信息。
4.一种灰度级修正方法，修正所输入的图像的灰度级，其特征在于，包括：
第1获取步骤(S202)，在所述所输入的图像中设定分别由多个像素构成的多个块区域，并获取设定的多个块区域之中的关注区域的明亮度、和在所述关注区域的周围相邻的周围区域的明亮度；
亮度判定步骤(S202)，根据由所述第1获取步骤获取的所述关注区域的明亮度与所述周围区域的明亮度的组合来判定亮度等级；
脸检测步骤(S203)，从所述图像中检测出人物的脸部；
第2获取步骤(S205、S206)，获取由该脸检测步骤检测出的人物的脸部的平均亮度信息；和
修正特性设定步骤(S208、S211)，对由所述第1获取步骤设定的多个块区域的中心像素，基于由所述亮度判定步骤判定出的亮度等级和整个所述图像中的各像素的亮度的分布状态，设定用于对所述各像素的亮度进行修正的第1增益的修正特性、和与由所述第2获取步骤获取的亮度信息对应的第2增益的修正特性；
所述修正特性设定步骤，对所述多个块区域的中心像素之中最接近由所述脸检测步骤检测出的脸部的中心坐标的中心像素，设定由所述第1增益的修正特性与所述第2增益的修正特性之间的比率构成的增益限制系数(S209)，另一方面，对所述多个块区域的中心像素之中除了最接近由所述脸检测步骤检测出的脸部的中心坐标的中心像素以外的中心像素，设定基于由所述亮度判定步骤判定的亮度等级的增益限制系数(S212)。
CN2008101898793A 2007-08-31 2008-08-29 灰度级修正装置、灰度级修正方法 Active CN101483711B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007224985 2007-08-31
JP2007-224985 2007-08-31
JP2007224985A JP4600448B2 (ja) 2007-08-31 2007-08-31 階調補正装置、階調補正方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN101483711A CN101483711A (zh) 2009-07-15
CN101483711B true CN101483711B (zh) 2011-06-08

Family

ID=40039816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101898793A Active CN101483711B (zh) 2007-08-31 2008-08-29 灰度级修正装置、灰度级修正方法

Country Status (6)

Country Link
US (2) US8009927B2 (zh)
EP (1) EP2031868B1 (zh)
JP (1) JP4600448B2 (zh)
KR (1) KR101010150B1 (zh)
CN (1) CN101483711B (zh)
TW (1) TWI386865B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
JP2008283573A (ja) * 2007-05-11 2008-11-20 Olympus Corp 画像処理装置
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP5295854B2 (ja) * 2009-04-28 2013-09-18 株式会社レグラス 画像処理装置及び画像処理プログラム
JP4818393B2 (ja) 2009-05-07 2011-11-16 キヤノン株式会社 画像処理方法および画像処理装置
JP5188453B2 (ja) * 2009-05-25 2013-04-24 パナソニック株式会社 カメラ装置および露光制御方法
JP5355308B2 (ja) * 2009-09-01 2013-11-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP5031877B2 (ja) 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
CN102298702B (zh) * 2010-06-28 2015-08-05 北京中星微电子有限公司 一种人体姿态的检测方法及装置
JP5907659B2 (ja) * 2011-01-28 2016-04-26 日立Ｇｅニュークリア・エナジー株式会社 検査方法
JP5644444B2 (ja) * 2010-12-03 2014-12-24 富士通株式会社 画像表示装置、画像表示方法、および画像処理装置
CN102572253A (zh) * 2010-12-27 2012-07-11 杜彦宏 局部感光值设定装置及方法
JP5753393B2 (ja) * 2011-02-04 2015-07-22 キヤノン株式会社 画像処理装置及び方法
KR101251803B1 (ko) * 2011-08-30 2013-04-09 엘지이노텍 주식회사 영상 처리 방법
WO2013101774A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Simplification of local contrast compensation by using weighted look-up table
JP6074254B2 (ja) * 2012-12-18 2017-02-01 キヤノン株式会社 画像処理装置およびその制御方法
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
WO2014192577A1 (ja) * 2013-05-31 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
TWI532026B (zh) * 2013-12-18 2016-05-01 原相科技股份有限公司 影像亮度調整方法、物件追蹤方法以及物件追蹤裝置
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP6365355B2 (ja) * 2015-03-09 2018-08-01 オムロン株式会社 画像生成装置および画像生成方法
CN105354801B (zh) * 2015-10-13 2019-11-08 苏州汉基视测控设备有限公司 一种基于hsv色彩空间的图像增强方法
CN108124122A (zh) * 2016-11-29 2018-06-05 法乐第(北京)网络科技有限公司 影像处理方法、装置及车辆
CN107395958B (zh) * 2017-06-30 2019-11-15 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及存储介质
US10630903B2 (en) * 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure
CN108259754B (zh) * 2018-03-06 2021-02-02 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109816602A (zh) * 2018-12-29 2019-05-28 维沃移动通信有限公司 一种图像的处理方法和终端
KR102397201B1 (ko) * 2020-09-16 2022-05-12 엘지전자 주식회사 디스플레이 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1814082A2 (en) * 2006-01-30 2007-08-01 Sony Corporation Face importance level determining apparatus and method, and image pickup apparatus

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3378601B2 (ja) * 1993-01-14 2003-02-17 三洋電機株式会社 画像処理装置
JPH06245071A (ja) * 1993-02-19 1994-09-02 Tokyo Electric Power Co Inc:The 画像の明暗補正方法
JP3018914B2 (ja) * 1994-08-23 2000-03-13 松下電器産業株式会社 階調補正装置
JP3501252B2 (ja) 1995-06-16 2004-03-02 三菱電機株式会社 階調補正装置
JP2951909B2 (ja) 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
JP3880156B2 (ja) * 1997-10-17 2007-02-14 シャープ株式会社 画像処理装置
JP4057147B2 (ja) 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
JP3639117B2 (ja) * 1998-06-16 2005-04-20 富士写真フイルム株式会社 画像処理装置
JP2000209437A (ja) 1999-01-11 2000-07-28 Sharp Corp 画像補正方法および画像補正プログラムを格納した記録媒体
EP1197067B1 (de) 1999-06-15 2003-01-02 Infineon Technologies AG Verfahren und schaltungsanordnung zur kontrastverbesserung eines bildes
JP3961734B2 (ja) * 1999-12-24 2007-08-22 富士フイルム株式会社 画像処理方法、装置及び記録媒体
JP4158332B2 (ja) * 2000-02-03 2008-10-01 コニカミノルタビジネステクノロジーズ株式会社 カラー画像処理装置
JP3758452B2 (ja) 2000-02-28 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 記録媒体、並びに、画像処理装置および画像処理方法
JP4920814B2 (ja) * 2000-04-27 2012-04-18 キヤノン株式会社 画像処理方法、装置および記録媒体
JP4281244B2 (ja) * 2000-12-14 2009-06-17 ノーリツ鋼機株式会社 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2002199221A (ja) * 2000-12-27 2002-07-12 Fuji Photo Film Co Ltd 濃度補正曲線生成装置および方法
US7068852B2 (en) * 2001-01-23 2006-06-27 Zoran Corporation Edge detection and sharpening process for an image
US6868179B2 (en) * 2001-07-06 2005-03-15 Jasc Software, Inc. Automatic saturation adjustment
JP4021261B2 (ja) * 2002-07-08 2007-12-12 松下電器産業株式会社 画像処理装置
JP4066803B2 (ja) 2002-12-18 2008-03-26 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP2004215063A (ja) 2003-01-07 2004-07-29 Fuji Photo Film Co Ltd 撮像装置及び輪郭補正方法
JP4306261B2 (ja) 2003-01-30 2009-07-29 ソニー株式会社 撮像装置及び撮像方法
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
JP2006318255A (ja) 2005-05-13 2006-11-24 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2006319714A (ja) 2005-05-13 2006-11-24 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4441876B2 (ja) * 2005-05-19 2010-03-31 ノーリツ鋼機株式会社 撮影画像処理方法と撮影画像処理プログラムと撮影画像処理装置
JP4655210B2 (ja) * 2005-07-05 2011-03-23 ノーリツ鋼機株式会社 濃度補正曲線生成方法と濃度補正曲線生成モジュール
TWI310867B (en) * 2005-07-19 2009-06-11 Nuvoton Technology Corp Image capture devices and image processing methods
JP4516503B2 (ja) * 2005-09-07 2010-08-04 富士フイルム株式会社 撮像システムおよびその制御方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4639271B2 (ja) 2005-12-27 2011-02-23 三星電子株式会社 カメラ
JP4842639B2 (ja) 2005-12-28 2011-12-21 三星電子株式会社 カメラ
JP2007224985A (ja) 2006-02-22 2007-09-06 Yanmar Co Ltd 速度制御装置
JP2007221678A (ja) * 2006-02-20 2007-08-30 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1814082A2 (en) * 2006-01-30 2007-08-01 Sony Corporation Face importance level determining apparatus and method, and image pickup apparatus

Also Published As

Publication number Publication date
JP4600448B2 (ja) 2010-12-15
US20090060379A1 (en) 2009-03-05
US8126285B2 (en) 2012-02-28
US20110170775A1 (en) 2011-07-14
US8009927B2 (en) 2011-08-30
JP2009059119A (ja) 2009-03-19
TWI386865B (zh) 2013-02-21
EP2031868A3 (en) 2010-04-14
EP2031868B1 (en) 2011-12-14
TW200915223A (en) 2009-04-01
EP2031868A2 (en) 2009-03-04
CN101483711A (zh) 2009-07-15
KR101010150B1 (ko) 2011-01-24
KR20090023307A (ko) 2009-03-04

Similar Documents

Publication Publication Date Title
CN101483711B (zh) 灰度级修正装置、灰度级修正方法
CN101378480B (zh) 灰度修正装置和灰度修正方法
KR100763239B1 (ko) 디스플레이되는 영상의 시인성 향상을 위한 영상 처리 장치및 방법
CN109361910B (zh) 自适应白平衡校正方法及装置
JP4577621B2 (ja) 画像補正処理システム及び画像補正処理方法
US8649597B2 (en) Image processing apparatus and control method thereof detecting from a histogram a gradation level whose frequency is a peak value
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
CN101916431B (zh) 一种低照度图像数据处理方法及系统
US20150049215A1 (en) Systems And Methods For Generating High Dynamic Range Images
US7982807B2 (en) Method for processing a backlight image and device thereof
CN101335821A (zh) 提高图像的动态范围的方法和设备
CN107257452A (zh) 一种图像处理方法、装置及计算设备
CN108806638B (zh) 一种图像的显示方法及其装置
CN106097286A (zh) 一种图像处理的方法及装置
CN111127337B (zh) 图像局部区域高光调整方法、介质、设备及装置
US10909669B2 (en) Contrast adjustment system and contrast adjustment method
JP5110161B2 (ja) 画像補正装置、画像補正プログラムおよび画像補正方法
CN110009082B (zh) 三维码的优化方法、介质、计算机设备及装置
CN113038109B (zh) 图像过曝修正方法与电路系统
CN116416146A (zh) 基于直接反馈进行参数调整的图像处理方法及系统
US20190050374A1 (en) Dynamic Scale Adjustment Method and Related Device
CN116109528A (zh) 一种图像处理方法、装置及电子设备
CN114449176A (zh) 自动曝光方法、动态范围识别方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant