CN105391996A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN105391996A
CN105391996A CN201510477132.8A CN201510477132A CN105391996A CN 105391996 A CN105391996 A CN 105391996A CN 201510477132 A CN201510477132 A CN 201510477132A CN 105391996 A CN105391996 A CN 105391996A
Authority
CN
China
Prior art keywords
image
region
template
halation
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510477132.8A
Other languages
English (en)
Other versions
CN105391996B (zh
Inventor
松永纯平
小林正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN105391996A publication Critical patent/CN105391996A/zh
Application granted granted Critical
Publication of CN105391996B publication Critical patent/CN105391996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理装置以及图像处理方法，对在眼睛的内部发生的光晕进行校正的图像处理装置中，进行更自然的校正。一种图像处理装置，对包括人物的面部的图像即面部图像的至少一部分进行校正，其特征在于，包括：图像取得部件，取得面部图像；区域提取部件，从所述面部图像提取包括瞳孔的区域即瞳孔区域；判定部件，判定所述瞳孔区域内有无发生光晕；第一模板取得部件，取得校正用的模板图像即第一模板图像；基准色取得部件，从所述面部图像取得与所述人物对应的基准色；第二模板取得部件，使用所述第一模板图像和所述基准色而生成第二模板图像；以及校正部件，通过对所述瞳孔区域中至少发生光晕的区域合成所述第二模板图像，从而校正该光晕。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及对发生了亮度不良的图像进行校正的图像处理技术。
背景技术
在通过相机等的摄像装置照射频闪光而拍摄了人物的面部的情况下，发生因频闪的光而导致人物的瞳孔被照得发红的色调不良现象(红眼现象)。为了应对这个，提出了对发生了红眼现象的图像进行校正，修正为原来的色调的多种技术。例如，在专利文献1中，记载了一种数码相机，其从拍摄到的图像提取发生了红眼的区域，对该区域进行色调的校正。
现有技术文献
专利文献
专利文献1:(日本)特开2006-040230号公报
在专利文献1中记载的方法中，对发生色调不良的区域以外的、色调正常的区域进行分析，提取该区域中的色相或彩度、明度，从而生成用于对发生色调不良的区域进行校正的参数，进行校正。
另一方面，作为与红眼现象不同的现象，有光晕。光晕是通过频闪强烈地反射到瞳孔，从而瞳孔发白的现象。
关于光晕，也想到能够通过前述的方法进行校正。但是，若发生光晕，则会失去亮度的灰度信息。在前述的方法中，即使能够对发生了色调不良的区域的色调进行校正，也不能复原失去了亮度的灰度信息的区域。
为了将发生了光晕的区域复原为正常的状态，必须补充亮度的灰度信息。例如，考虑如下方法：预先保持正常的状态的瞳孔的图像，粘贴(Paste)到发生了亮度不良的区域。但是，若粘贴完全不同的图像，则发生明亮度或色调无法与原来的图像融合、成为具有不协调感的图像的其他问题。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供一种对在眼睛的内部发生的光晕进行校正的图像处理装置中，进行更自然的校正的技术。
为了解决前述的课题，本发明的图像处理装置是
一种图像处理装置，对包括人物的面部的图像即面部图像的至少一部分进行校正，其特征在于，包括：
图像取得部件，取得面部图像；
区域提取部件，从所述面部图像提取包括瞳孔的区域即瞳孔区域；
判定部件，判定所述瞳孔区域内有无发生光晕；
第一模板取得部件，取得校正用的模板图像即第一模板图像；
基准色取得部件，从所述面部图像取得与所述人物对应的基准色；
第二模板取得部件，使用所述第一模板图像和所述基准色而生成第二模板图像；以及
校正部件，通过对所述瞳孔区域中至少发生光晕的区域合成所述第二模板图像，从而校正该光晕。
本发明的图像处理装置是，在从所取得的图像提取瞳孔区域，判定在该瞳孔区域内有无发生光晕之后，进行该光晕的校正的装置。瞳孔区域是包括瞳孔的区域，典型而言，是以瞳孔的中心点为中心坐标的圆形区域，但若包括可发生光晕的区域，则也可以是除此之外的区域。
光晕的校正使用第一模板图像而进行。第一模板图像是，与没有产生亮度不良的、正常的状态的瞳孔对应的图像。光晕的校正能够通过在瞳孔区域的内部合成(例如，粘贴)第一模板图像而进行，但在本发明中，使用基准色从第一模板图像生成第二模板图像之后，合成该第二模板图像。
基准色是与校正对象的人物对应的颜色。基准色优选从位于合成第二模板图像的位置的附近的像素取得。例如，能够适当使用对象人物的虹膜的颜色。
根据这个结构，由于利用与校正对象的人物对应的基准色而生成第二模板图像，所以与无加工地合成了第一模板图像的情况相比，能够获得更自然的图像处理结果。
此外，其特征也可以在于，所述第一模板图像是灰阶图像，所述第二模板取得部件使用所述基准色，将所述第一模板图像变换为彩色图像，并设为第二模板图像。
通过使用基准色而将第一模板图像进行彩色化，能够使第一模板图像的色相适合合成目标的色相。
从灰阶图像到彩色图像的变换，例如基于基准色的RGB值，求出R值和G值的关系以及R值和B值的关系之后，能够解出相对于将RGB值变换为亮度值的式的逆问题而获得。当然，也可以使用其他方法而将亮度值变换为RGB值。
此外，本发明的图像处理装置的特征也可以在于，还包括：校正值计算部件，基于所述基准色而计算校正值，该校正值用于使所述第一模板图像的亮度适合所述面部图像，所述第二模板取得部件在使用所述校正值而调整了所述第一模板图像的亮度之后，进行向彩色图像的变换。
由于第一模板图像是不同于校正对象的图像的图像，所以在原样进行了合成的情况下，存在亮度不适合、会产生不协调感的情况。例如，存在与周围相比，仅进行了合成的区域发亮、发暗的情况。因此，在本发明中，求出用于使第一模板图像的亮度适合所述面部图像的校正值之后，使用该校正值而调整第一模板图像的亮度。另外，校正值能够利用所取得的基准色而求出。
根据这个结构，由于能够以亮度适合的状态进行合成，所以能够获得不协调感少的图像处理结果。
此外，其特征也可以在于，所述基准色取得部件从所述瞳孔区域提取与虹膜对应且没有发生光晕的区域，从在该区域中包含的像素取得基准色。
基准色优选从校正对象的人物的、与眼睛的虹膜对应的区域取得。由于光晕主要在虹膜的内部发生，所以通过将虹膜的颜色设为基准色，能够使合成目标的色相和第一模板图像的色相适合。
此外，其特征也可以在于，所述基准色取得部件在所述瞳孔区域中不包括与虹膜对应且没有发生光晕的区域的情况下，从所述面部图像提取与所述人物的皮肤对应的区域，基于在该区域中包含的像素的颜色而取得基准色。
另一方面，在虹膜整体中发生光晕的情况下，由于会失去虹膜的颜色信息，所以通过前述的方法，不能取得基准色。因此，也可以基于与人物的皮肤对应的像素的颜色而取得基准色。此时，虽然不能再现虹膜的颜色，但由于基于在图像中存在较多的颜色而设定基准色，所以能够抑制因色相的不适合所引起的不协调感。
此外，本发明的摄像装置的特征在于，包括前述的图像处理装置和拍摄图像的摄像部件。本发明能够适当地适用于具有对通过摄像部件而拍摄的图像进行校正的功能的摄像装置。
另外，本发明能够作为包括上述部件的至少一部分的图像处理装置而确定。此外，本发明也能够作为上述图像处理装置进行的图像处理方法而确定。此外，本发明也能够作为使计算机执行上述图像处理方法的程序而确定。上述处理或部件只要不产生技术性的矛盾，则能够自由地组合而实施。
根据本发明，对在眼睛的内部发生的光晕进行校正的图像处理装置中，能够进行更自然的校正。
附图说明
图1是实施方式的图像处理装置的系统结构图。
图2是实施方式中的模板图像的例。
图3是表示了实施方式中的面部图像的一部分的图。
图4是实施方式中的亮度值直方图的例。
图5是例示光晕区域的图。
图6是说明表示R值和G值、R值和B值的对应关系的近似曲线的图。
图7是说明二分探索的方法的图。
图8是图像处理装置进行的处理的流程图。
图9是详细说明面部区域以及瞳孔区域的提取处理的流程图。
图10是详细说明进行瞳孔的状态判定的处理的流程图。
图11是详细说明图像的校正处理的流程图。
标号说明
10图像处理装置
11图像取得部
12瞳孔检测部
13瞳孔状态判定部
14瞳孔校正部
15模板图像存储部
16输入输出部
具体实施方式
以下，参照附图说明本发明的优选的实施方式。
本实施方式的图像处理装置是，检测在图像中包含的人的瞳孔中发生色调不良或者亮度不良的情况，并校正该不良的装置。图1是本实施方式的图像处理装置10的系统结构图。
(系统结构)
本实施方式的图像处理装置10由图像取得部11、瞳孔检测部12、瞳孔状态判定部13、瞳孔校正部14、模板图像存储部15、输入输出部16构成。
图像取得部11是取得处理对象的图像(包括人的面部的图像。以下，面部图像)的部件，典型而言，是固定盘驱动器或闪存这样的存储装置。另外，图像取得部11既可以是从装置的外部取得图像的部件(例如，接口装置或无线通信装置)，也可以是经由透镜和摄像元件而拍摄图像的部件。
瞳孔检测部12是从图像取得部11取得的面部图像提取与人的瞳孔对应的区域的部件。具体而言，在从图像检测人的面部，并剪裁包括眼睛的范围之后，确定在该范围中包含的眼睛的位置，决定瞳孔的中心点。此外，提取以瞳孔的中心点为中心的圆形区域(以下，瞳孔区域)。关于提取瞳孔区域的具体的方法，在后面叙述。另外，在本说明书中，瞳孔区域这样的词用作表示以瞳孔的中心点为中心坐标的、具有预定的大小的区域的词。
瞳孔状态判定部13是对瞳孔检测部12所提取的瞳孔区域判定其状态的部件。具体而言，判定有无发生红眼、有无发生金眼、有无发生光晕。关于详细的判定方法，在后面叙述。另外，金眼是，通过与红眼相同的原理而瞳孔被照成黄色而导致的色调不良现象。
瞳孔校正部14是基于瞳孔状态判定部13进行的判定结果，进行红眼或者金眼、以及光晕的校正的部件。在本实施方式中，瞳孔校正部14使用在模板图像存储部15中存储的模板图像(后述)，进行光晕的校正。另外，对红眼以及金眼使用公知的技术而进行校正。
另外，瞳孔校正部14进行校正的对象的区域也可以不一定与瞳孔区域相同。例如，既可以是从瞳孔区域删除了与皮肤对应的区域的区域，也可以是从瞳孔区域删除了虹膜以外的区域的区域。
模板图像存储部15是存储用于进行光晕的校正的图像(模板图像)的部件。在本实施方式中，预先存储与没有发生光晕的、正常的状态的瞳孔对应的灰阶图像作为模板图像，根据要进行校正的面部图像，进行了着色及明亮度的调整之后，合成到该面部图像，从而进行光晕的校正。图2是在模板图像存储部15中存储的模板图像的例。模板图像是表示了多个人的平均的瞳孔的256灰度的灰阶图像。
若包括可能发生光晕的区域，则模板图像例如既可以是如标号201那样包括虹膜整体的图像，也可以是如标号202那样只包括虹膜的一部分的图像。此外，模板图像优选是以瞳孔(瞳)的中心点为中心的图像。通过这样，与校正对象的面部图像的位置对准变得容易。关于使用该模板图像而校正发生了光晕的面部图像的具体的方法，在后面叙述。
另外，模板图像也可以是只在虹膜部分具有亮度信息的图像。例如，也可以是将与白眼球对应的区域进行透明化的图像。
输入输出部16是接受用户进行的输入操作，并对用户提示信息的部件。具体而言，由触摸面板和其控制部件、液晶显示器和其控制部件构成。在本实施方式中，触摸面板以及液晶显示器由一个触摸面板显示器构成。
另外，以上说明的各部件既可以通过被设计成专用的硬件实现，也可以通过软件模块实现。此外，既可以通过FPGA(现场可编程门阵列(FieldProgrammableGateArray))或ASIC(专用集成电路(ApplicationSpecificIntegratedCircuit))等实现，也可以通过它们的组合而实现。
在前述的部件作为软件而构成的情况下，在辅助存储装置中存储的程序加载到主存储装置中，由CPU执行，从而各部件发挥作用。(CPU、辅助存储装置、主存储装置都未图示)
(现有技术的问题点)
首先，说明现有技术的问题点。
图3所示的图像301是剪裁了由图像取得部11所取得的面部图像的一部分(眼睛的周边区域)的图像。此外，标号302是与瞳孔对应的区域(瞳孔区域)。这里，设为在瞳孔区域302的内部发生由频闪的反射所引起的光晕。
若发生光晕，则会从该区域失去亮度的灰度信息。即，在想要对光晕进行校正的情况下，需要补充失去的亮度信息。例如，一般使用通过将如图2所示的模板图像合成(例如，粘贴)到瞳孔区域302而进行校正的方法。但是，在想要粘贴模板图像的情况下，一般发生以下的两个问题。
第一问题是有关色相的问题。由于在人的眼睛具有的虹膜中存在各种颜色，所以若没有使用虹膜色适合的模板图像，则存在虹膜成为与原本不同的颜色或者在左右眼睛中虹膜色不同这样成为具有不协调感的图像的情况。但是，预先准备适合全部颜色的模板图像是不现实的。
第二问题是有关明亮度的问题。由于模板图像是以预先确定的亮度而生成的图像，所以若原样进行粘贴，则存在不与周围的明亮度融合、成为具有不协调感的图像的情况。
为了解决以上叙述的问题点，在本实施方式的图像处理装置中，取得在瞳孔区域中包含的、没有产生光晕的虹膜部分中存在的像素的颜色，并设为用于校正的基准色(以下，校正基准色)。此外，使用该校正基准色，对模板图像的亮度进行校正，且将作为灰阶图像的模板图像进行彩色化。以下，说明具体的方法。
(光晕的检测)
在说明对模板图像进行校正的方法之前，说明检测在瞳孔区域内发生光晕的情况，提取发生该光晕的区域(以下，光晕区域)的方法。
图4是在瞳孔区域302中包含的像素的亮度值直方图。图像301是RGB图像，但在这里，为了简化说明，例示将RGB值变换为亮度值的直方图。直方图的横轴是亮度值，纵轴是度数(像素数)。
能够根据亮度的分布而判定在瞳孔区域中是否发生光晕。在发生光晕的情况下，亮度分布在高亮度侧突出。在本例中，由标号401示出的部分为由光晕所引起的亮度分布的突出部。此外，能够通过具有超过阈值的亮度值的像素的比例而判定亮度分布在高亮度侧突出的情况。例如，在亮度值比阈值402高的像素为在瞳孔区域302中包含的像素中预定的比例以上(例如，20％以上)的情况下，能够判定在该瞳孔区域中发生光晕。
这里使用的阈值402可以作为固定值，但优选使用判别分析法而设定。判别分析法是用于在二值化处理中设定最佳的阈值的方法。具体而言，将亮度值直方图分离为低亮度级别和高亮度级别，基于它们的平均值以及方差值而求出各级别的分离度，并计算分离度成为最大的阈值。由于关于该方法是已知的，所以省略详细的说明。这样，通过动态地设定阈值，能够高精度地判定在瞳孔区域中是否发生光晕。
对面部图像应用了判别分析法的结果，能够估计由分类为高亮度级别的像素构成的区域为光晕区域。另外，优选在光晕区域过大的情况下(例如，大于瞳孔区域的情况下)或过小的情况下(例如，区域内的像素数为预定值以下的情况下)，判定为该区域不是光晕。
除此之外，也可以在瞳孔区域内的亮度分布的分离度小于预定的值的情况下，进行进一步的判定处理，决定有无发生光晕。这是因为在级别的分离度小的情况下，存在通过判别分析法无法进行准确的判定的情况。
(校正基准色和校正基准亮度值的取得)
接着，说明取得校正基准色的方法。
这里，如图5所示，设为对瞳孔区域302设定了光晕区域501。在本例中，通过从瞳孔区域302删除光晕区域501，能够提取与没有产生光晕的虹膜部分对应的区域。
但是，由于在瞳孔区域302中，除了虹膜之外，还有可能包括巩膜(白眼球)或皮肤，所以进一步进行除去这些的处理。具体而言，基于颜色信息而提取与巩膜或皮肤对应的区域，并删除该区域。另外，也可以除了颜色信息以外，还使用关于器官的形状或配置的信息而进行删除。
前述的处理的结果，能够提取与虹膜对应的区域。在本实施方式中，将在该区域中存在的像素的颜色(即，虹膜色)设为校正基准色。在本例中，将校正基准色由RGB值表示的设为Ceye(Reye，Geye，Beye)。例如，在是具有茶色的虹膜的人物的情况下，校正基准色成为茶色系的颜色，在是具有蓝色的虹膜的人物的情况下，校正基准色成为蓝色系的颜色。另外，在对象的像素为多个的情况下，也可以取颜色的平均，也可以通过其他方法而确定颜色。
另外，存在光晕遍及瞳孔区域的整体的情况等、无法取得虹膜色的情况。在这样的情况下，从瞳孔区域的附近提取皮肤存在的区域(以下，皮肤区域)，取得了在该皮肤区域中存在的像素的颜色之后，通过算式1，变换为校正基准色。算式1中的Rskin、Gskin、Bskin是将在皮肤区域中存在的像素的颜色由RGB值表示的。
【数1】
Reye＝0.0004×Rskin 2+0.4560×Rskin
Geye＝-0.0004×Gskin 2+0.6489×Gskin
Beye＝-0.0006×Bskin 2+0.7841×Bskin
在本实施方式中，使用校正基准色，生成校正基准亮度值Yeye。校正基准亮度值是用于进行合成模板图像时的亮度校正的值，是将校正基准色简单地置换为亮度值的值。该亮度值是考虑对于RGB各自的明亮度的感受的差异而计算出的，能够通过算式2而求出。
【数2】
Yeye＝0.299×Reye+0.587×Geye+0.114×Beye
(模板图像的变换)
接着，说明使用所取得的校正基准色和校正基准亮度值，对模板图像的亮度进行调整，并变换为彩色图像的方法。
在本实施方式中，首先，通过算式3，对模板图像的亮度进行调整。另外，L是模板图像的横向的像素数，M是模板图像的纵向的像素数，Ytemplate(i,j)是模板图像的坐标i,j上的亮度值，Yavg是模板图像的虹膜内部的平均亮度值，Yeye是校正基准亮度值。
这样，通过对模板图像中的虹膜内部的平均亮度即Yavg和依赖人物的校正基准亮度值即Yeye分别加权，并对模板图像的亮度值进行调整，能够将模板图像的亮度设为优选的状态。
【数3】
Y i , j = Σ i = 1 L Σ j = 1 M ( Y t e m p l a t e ( i , j ) - 1 2 Y a v g + 1 2 Y e y e )
通过以上的处理，能够获得亮度被调整之后的模板图像Yi,j。
接着，说明将亮度被调整之后的模板图像Yi,j(以下，简称为模板图像Yi,j)变换为彩色图像的处理。在本实施方式中，使用校正基准色而求出亮度值与模板图像Yi,j的亮度值一致的RGB值的组合。
(1)关于R值以及G值的比、和R值以及B值的比，求出近似曲线
首先，从校正基准色取得R值以及G值、和R值以及B值的组合。这里，以校正基准色Ceye(Reye，Geye，Beye)为(100，160，150)的情况为例进行说明。此时，若在图6的图表上描画R值以及G值的组合、和R值以及B值的组合，则成为点601以及602。
接着，求出通过所描画的点、(0，0)以及(255，255)这3点的近似曲线。用于求出近似曲线的方法可以是任意方法。其结果，能够获得近似曲线603以及604。
(2)通过二分探索，确定RGB值
接着，使用二分探索，求出亮度值与模板图像Yi,j的亮度值一致的RGB值的组合。
首先，将R值置为127，从近似曲线求出对应的G值以及B值。然后，使用算式2，取得与该RGB值的组合对应的亮度值。这里，比较所求出的亮度值和Yi,j的亮度值，在有差异的情况下，更新R值而再次进行计算。具体而言，如图7所示，以127这样的值为起点，沿着差异减小的方向，一边更新R值，一边筛选。例如，在求出的亮度值大于Yi,j的亮度值的情况下，减小R值，在求出的亮度值小于Yi,j的亮度值的情况下，增大R值。
若进行这样的处理，则最终能够确定与目标的亮度值对应的RGB值的组合。此外，通过对模板图像Yi,j的全部像素进行该处理，能够将灰阶的模板图像变换为彩色图像。
(图像的合成)
接着，生成校正区域。校正区域是要粘贴进行了彩色化的模板图像的目标的区域，并且是包括光晕的区域。校正区域，例如既可以是与瞳孔区域相同的区域，也可以是以瞳孔的中心点为中心的、具有与模板图像相同的大小的区域。
由于存在在校正区域中包括与皮肤对应的区域等、不需要的区域的情况，所以优选进行从校正区域删除这些区域的处理。例如，使用颜色信息而提取不需要的区域(例如，肤色区域)，并删除对应的区域。此时，也可以除了颜色信息以外，还使用关于器官的形状或配置的信息而进行区域的削除。此外，也可以使用不同的基准而进行多个处理，并结合处理结果。例如，也可以进行基于颜色信息而删除区域的处理和基于形状信息而删除区域的处理，并结合剩余的区域之间的处理。若能够生成适当的形状的校正区域，则能够使用任意的方法。
然后，在校正区域中粘贴进行了彩色化的模板图像。另外，校正区域以外的区域成为被掩盖的状态。粘贴优选考虑瞳孔的中心位置而进行。此外，在进行粘贴时，优选在测量了校正对象的虹膜的直径之后，以该直径一致的方式调整模板图像。
(处理流程图)
接着，说明用于实现以上说明的功能的处理流程图。
图8是本实施方式的图像处理装置10的处理流程图。该处理通过用户的操作(例如，读入所存储的图像的操作)而开始。另外，在本实施方式中，与光晕的校正处理同时，同时进行对红眼以及金眼进行校正的处理。关于对红眼以及金眼进行校正的处理，随时说明。
首先，在步骤S11中，图像取得部11取得图像。在本实施方式中，从存储装置取得预先存储的图像，但也可以经由通信部件或摄像部件而取得图像。
接着，在步骤S12中，瞳孔检测部12从所取得的图像提取与面部以及瞳孔对应的区域。图9是详细表示了在步骤S12中进行的处理的内容的流程图。
首先，在步骤S121中，提取在图像中包含的与面部对应的矩形区域(面部区域)。由于从图像提取面部区域的方法是公知的，所以省略详细的说明。
接着，在步骤S122中，检测在面部区域中包含的眼睛。具体而言，检测与外眼角、大眼角、眼睛的中心等对应的特征点。另外，在特征点的检测失败的情况下，也可以在进行了过滤之后，通过匹配处理而检测眼睛。
接着，在步骤S123中，进行图像的标准化。具体而言，剪裁面部区域而生成包括眼睛的预定的尺寸的矩形图像。此时，也可以使用任意的插值方法而进行分辨率的变换。此外，在面部区域不是水平的情况下，也可以进行将图像旋转的处理。通过本步骤，用于探索瞳孔的区域被确定。
接着，在步骤S124中，探索位于所检测的眼睛中的瞳孔的中心点。瞳孔的中心点，例如能够通过在将与面部区域对应的RGB图像变换为单一色的图像之后，进行基于亮度的匹配，并计算得分(Score)而求出。
若瞳孔的中心点被决定，则生成以该点为中心的预定的大小的圆形区域，并设为瞳孔区域。预定的大小既可以是固定的大小，也可以是因人物而异的大小。此外，区域的形状既可以是正圆，也可以是椭圆。此外，也可以是其他形状。
返回图8继续说明。
接着，在步骤S13中，瞳孔状态判定部13判定瞳孔区域的状态。由于在瞳孔中发生的色调不良以及亮度不良中存在“红眼”、“金眼”、“光晕”这3种，所以在本步骤中，判定瞳孔的状态符合哪种。图10是详细表示了在步骤S13中进行的处理的内容的流程图。
步骤S1301～S1305是检查在瞳孔区域中是否发现色调不良、即是否发生红眼或者金眼的处理。
首先，在步骤S1301中，将图像的颜色空间从RGB变换为Lab。
接着，在步骤S1302中，对在瞳孔区域中包含的各像素分别判定是否符合以下的任一个。
·θ为350度～55度的范围、且d为0.2以上
·θ为315度～350度的范围、且d为0.7以上
另外，θ是CIELab颜色体系中的色相角，d是表示彩度的值(离原点的距离)。此外，上述条件是a轴以及b轴的最大值为1时的例。通过该条件，判定像素是否为红色系的颜色。
接着，在步骤S1303中，判定满足上述条件的像素的数目相对于在瞳孔区域中存在的像素数是否存在预定的比例(例如，10％以上)以上，在存在的情况下，判定为在该瞳孔区域中发生红眼(S1304)。此外，在不存在的情况下，判定为在该瞳孔区域中没有发生红眼(S1305)。
金眼的判定也能够通过与红眼的判定相同的方法进行。在进行金眼的判定的情况下，只要将颜色条件置换为对应于金色(黄色)的条件即可。例如，能够使用如以下的条件。
·θ为65度～115度的范围、且d为0.2以上
另外，在本例中，将图像的颜色空间变换为Lab之后进行了色相的判定，但也可以使用其他方法而进行色相的判定。
步骤S1306～S1310是检查在瞳孔区域中是否发生光晕的处理。
首先，在步骤S1306中，将图像的颜色空间从RGB变换为灰阶。
接着，在步骤S1307中，通过判别分析法而计算用于将在瞳孔区域中包含的像素的亮度值分离为高亮度级别和低亮度级别的阈值t。
在步骤S1308中，使用在步骤S1307中求出的阈值t，进行光晕的判定。即，计算具有超过阈值t的亮度的像素的数目相对于整体的比例，在获得的比例大于预定的比例的情况下，判定为有光晕(步骤S1309)，在小于预定的比例的情况下，判定为无光晕(步骤S1310)。此时，在步骤S1308中获得的分离度低于预定的阈值、即亮度分布没有充分地分离为高亮度级别和低亮度级别的情况下，为了确定有无发生光晕，也可以追加执行其他判定处理。
在进行了红眼以及金眼的发生检查以及光晕的发生检查的结果，判断为至少符合任一个的情况下，将处理转移到步骤S14(步骤S1311)。在判断为不符合任一个的情况下，结束处理。
返回图8继续说明。
在步骤S14中，瞳孔校正部14对瞳孔区域进行校正。图11是详细表示了在步骤S14中进行的处理的内容的流程图。
首先，在步骤S141中，进行图像的标准化。具体而言，剪裁面部区域而生成以瞳孔的中心坐标为中心的、预定的尺寸的矩形图像。此时，可以使用任意的插值方法而进行分辨率的变换。此外，在面部区域不是水平的情况下，也可以进行将图像旋转的处理。
接着，在步骤S142中，通过前述的方法而生成校正区域。例如，将与瞳孔区域相同的区域设为校正区域。
如前所述，由于在步骤S142中生成的校正区域有可能包括与皮肤对应的区域等、不需要校正的区域，所以在步骤S143中，删除该不需要校正的区域，对校正区域进行整形。通过执行本步骤，成为只有与眼睛的内侧对应的区域被提取的状态。
在步骤S144中，根据校正对象而使处理分支。在步骤S13中进行了判定的结果考虑(1)红眼或者金眼、(2)光晕、(3)双方这样的三种模式。这里，关于(1)，仅通过色调的校正就能够应对，但关于(2)，由于通过光晕而失去了亮度信息，所以需要进行亮度信息的补充(光晕校正)。此外，关于(3)，也由于失去了亮度信息，所以需要优先进行光晕校正。
因此，在判定结果为上述(1)的情况下，进行红眼或者金眼的校正(步骤S145)，在判定结果为上述(2)或者(3)的情况下，进行光晕的校正(步骤S146)。
红眼或者金眼的校正能够通过变更色调的已知的方法而进行。此外，如前所述，能够通过对亮度进行调整，并将进行了彩色化的状态的模板图像粘贴到校正区域，从而进行光晕的校正。关于上述(3)的情形，能够通过粘贴模板图像，还能够同时校正发生了色调不良的区域。另外，也可以独立进行光晕的校正和色调校正。
如以上所说明，本实施方式的图像处理装置求出与人物对应的校正基准色，并使用该校正基准色，对模板图像的亮度进行调整，将该模板图像进行彩色化。这样，无论对象人物具有什么样的虹膜色，此外，无论校正对象的面部图像为怎样的明亮度，也都能够以自然的颜色和明亮度来校正光晕。
(变形例)
上述的实施方式只是一例，本发明能够在不脱离其宗旨的范围内适当变更而实施。
例如，在实施方式的说明中，以对在存储装置中存储的图像进行处理的图像处理装置为例进行了说明，但图像不一定从存储装置取得，例如也可以从装置的外部经由有线或者无线网络而取得。
此外，本发明也可以作为如下的摄像装置而实施，该摄像装置将拍摄图像的摄像部件和前述的图像处理装置进行组合、且具有对发生了亮度不良的区域进行校正的功能。

Claims (8)

1.一种图像处理装置，对包括人物的面部的图像即面部图像的至少一部分进行校正，其特征在于，包括：
图像取得部件，取得面部图像；
区域提取部件，从所述面部图像提取包括瞳孔的区域即瞳孔区域；
判定部件，判定所述瞳孔区域内有无发生光晕；
第一模板取得部件，取得校正用的模板图像即第一模板图像；
基准色取得部件，从所述面部图像取得与所述人物对应的基准色；
第二模板取得部件，使用所述第一模板图像和所述基准色而生成第二模板图像；以及
校正部件，通过对所述瞳孔区域中至少发生光晕的区域合成所述第二模板图像，从而校正该光晕。
2.如权利要求1所述的图像处理装置，其特征在于，
所述第一模板图像是灰阶图像，
所述第二模板取得部件使用所述基准色，将所述第一模板图像变换为彩色图像，并设为第二模板图像。
3.如权利要求2所述的图像处理装置，其特征在于，还包括：
校正值计算部件，基于所述基准色而计算校正值，该校正值用于使所述第一模板图像的亮度适合所述面部图像，
所述第二模板取得部件在使用所述校正值而调整了所述第一模板图像的亮度之后，进行向彩色图像的变换。
4.如权利要求1至3的任一项所述的图像处理装置，其特征在于，
所述基准色取得部件从所述瞳孔区域提取与虹膜对应且没有发生光晕的区域，从在该区域中包含的像素取得基准色。
5.如权利要求4所述的图像处理装置，其特征在于，
所述基准色取得部件在所述瞳孔区域中不包括与虹膜对应且没有发生光晕的区域的情况下，从所述面部图像提取与所述人物的皮肤对应的区域，基于在该区域中包含的像素的颜色而取得基准色。
6.一种摄像装置，其特征在于，包括：
摄像部件，拍摄图像；以及
权利要求1至5的任一项所述的图像处理装置。
7.一种图像处理方法，由对包括人物的面部的图像即面部图像的至少一部分进行校正的图像处理装置进行，其特征在于，包括：
图像取得步骤，取得面部图像；
区域提取步骤，从所述面部图像提取包括瞳孔的区域即瞳孔区域；
判定步骤，判定所述瞳孔区域内有无发生光晕；
第一模板取得步骤，取得校正用的模板图像即第一模板图像；
基准色取得步骤，从所述面部图像取得与所述人物对应的基准色；
第二模板取得步骤，使用所述第一模板图像和所述基准色而生成第二模板图像；以及
校正步骤，通过对所述瞳孔区域中至少发生光晕的区域合成所述第二模板图像，从而校正该光晕。
8.一种程序，使计算机执行权利要求7所述的图像处理方法的各步骤。
CN201510477132.8A 2014-09-03 2015-08-06 图像处理装置以及图像处理方法 Active CN105391996B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014179390A JP6327071B2 (ja) 2014-09-03 2014-09-03 画像処理装置および画像処理方法
JP2014-179390 2014-09-03

Publications (2)

Publication Number Publication Date
CN105391996A true CN105391996A (zh) 2016-03-09
CN105391996B CN105391996B (zh) 2017-06-30

Family

ID=53785534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510477132.8A Active CN105391996B (zh) 2014-09-03 2015-08-06 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9542599B2 (zh)
EP (1) EP2993641B1 (zh)
JP (1) JP6327071B2 (zh)
KR (1) KR101715486B1 (zh)
CN (1) CN105391996B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017152854A1 (zh) * 2016-03-10 2017-09-14 腾讯科技（深圳）有限公司 生成眼睛图像的方法和装置
CN110599551A (zh) * 2018-06-12 2019-12-20 佳能株式会社 图像处理设备、图像处理方法和存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123702A1 (en) 2016-01-12 2017-07-20 Princeton Identity, Inc. Systems and methods biometric analysis
WO2017126056A1 (ja) * 2016-01-20 2017-07-27 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
KR101854991B1 (ko) * 2016-09-12 2018-05-08 에스테 로우더, 인코포레이티드 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템
US10565741B2 (en) 2017-02-06 2020-02-18 L'oreal System and method for light field correction of colored surfaces in an image
JP6533244B2 (ja) * 2017-03-27 2019-06-19 クラリオン株式会社 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP6980449B2 (ja) * 2017-08-08 2021-12-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US11049224B2 (en) * 2018-12-05 2021-06-29 Microsoft Technology Licensing, Llc Automated real-time high dynamic range content review system
JP7137746B2 (ja) * 2019-01-30 2022-09-15 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法および映像処理プログラム
CN110785772A (zh) * 2019-03-11 2020-02-11 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质
CN109993115B (zh) * 2019-03-29 2021-09-10 京东方科技集团股份有限公司 图像处理方法、装置及可穿戴设备
US11074676B2 (en) * 2019-08-22 2021-07-27 Adobe Inc. Correction of misaligned eyes in images
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
CN113132608B (zh) * 2019-12-30 2023-05-12 深圳云天励飞技术有限公司 图像处理方法及相关装置
CN112669309B (zh) * 2021-01-07 2024-06-11 航天宏图信息技术股份有限公司 遥感影像的局部匀色方法、装置、电子设备及存储介质
CN113160082B (zh) * 2021-04-16 2023-05-23 华南理工大学 一种基于参考图像的晕影校正方法、系统、装置及介质
CN115311299B (zh) * 2022-10-12 2022-12-27 如皋市金轶纺织有限公司 一种基于多光源角度的纺织品染色异常检测方法
CN116883395B (zh) * 2023-09-06 2023-11-21 山东荣信集团有限公司 一种基于图像处理的硫铵生产颜色检测方法与系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579063A (en) * 1994-10-11 1996-11-26 Magnante; Peter C. Methods and devices for the measurement of the degradation of image quality on the retina of the human eye due to cataract
JP4050842B2 (ja) * 1998-06-15 2008-02-20 富士フイルム株式会社 画像処理方法
IT1313720B1 (it) * 1999-09-24 2002-09-17 San Raffaele Centro Fond Apparato di misura di prestazioni visive
US6671039B2 (en) * 2000-06-22 2003-12-30 Hoya Corporation Spectacle lens image sensing processing apparatus and spectacle lens positioning method
GB2385736B (en) * 2002-02-22 2005-08-24 Pixology Ltd Detection and correction of red-eye features in digital images
JP4280563B2 (ja) * 2003-06-20 2009-06-17 キヤノン株式会社 眼科撮影装置
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP4537142B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理方法及びその装置、撮像装置、プログラム
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
EP1774466A4 (en) * 2004-07-30 2009-10-21 Canon Kk PICTURE PROCESSING AND DEVICE, PICTURE DEVICE AND PROGRAM
JP2006344166A (ja) * 2005-06-10 2006-12-21 Canon Inc 画像処理装置及び方法
JP5028073B2 (ja) * 2006-11-29 2012-09-19 株式会社ニデック 角膜手術装置
JP4214420B2 (ja) 2007-03-15 2009-01-28 オムロン株式会社 瞳色補正装置およびプログラム
JP4942189B2 (ja) * 2007-05-11 2012-05-30 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2010103820A (ja) 2008-10-24 2010-05-06 Seiko Epson Corp 画像処理装置および画像処理方法並びにプログラム
JP6299300B2 (ja) * 2014-03-14 2018-03-28 オムロン株式会社 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017152854A1 (zh) * 2016-03-10 2017-09-14 腾讯科技（深圳）有限公司 生成眼睛图像的方法和装置
US10846919B2 (en) 2016-03-10 2020-11-24 Tencent Technology (Shenzhen) Company Limited Eye image generation method and apparatus
CN110599551A (zh) * 2018-06-12 2019-12-20 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN110599551B (zh) * 2018-06-12 2024-03-01 佳能株式会社 图像处理设备、图像处理方法和存储介质

Also Published As

Publication number Publication date
KR101715486B1 (ko) 2017-03-10
US9542599B2 (en) 2017-01-10
EP2993641A1 (en) 2016-03-09
CN105391996B (zh) 2017-06-30
US20160063305A1 (en) 2016-03-03
EP2993641B1 (en) 2018-01-31
JP2016053830A (ja) 2016-04-14
JP6327071B2 (ja) 2018-05-23
KR20160028350A (ko) 2016-03-11

Similar Documents

Publication Publication Date Title
CN105391996A (zh) 图像处理装置以及图像处理方法
EP2615577B1 (en) Image-processing device, image-processing method, and control program
EP2615576B1 (en) Image-processing device, image-processing method, and control program
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP5397059B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US6728401B1 (en) Red-eye removal using color image processing
US11323676B2 (en) Image white balance processing system and method
CN104917935B (zh) 图像处理装置以及图像处理方法
CA3153067C (en) Picture-detecting method and apparatus
JP4416724B2 (ja) 画像処理方法およびその装置
CN111738970A (zh) 图像融合方法、装置及计算机可读存储介质
JP2006338377A (ja) 画像補正方法および装置並びにプログラム
JP2008234342A (ja) 画像処理装置及び画像処理方法
KR20210118233A (ko) 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법
KR20170017911A (ko) 디지털 이미지들의 컬러 프로세싱을 위한 방법들 및 시스템들
CN105979122A (zh) 图像处理装置以及图像处理方法
JP2000134486A (ja) 画像処理装置及び画像処理方法及び記憶媒体
US11544825B2 (en) Image processing apparatus, image processing system, and image processing method
JP2007087123A (ja) 画像補正方法および装置並びにプログラム
CN113412615B (zh) 信息处理终端、记录介质、信息处理系统及颜色校正方法
JPH11196324A (ja) 画像出力方法および装置
US20230351569A1 (en) Conjugate image for color and near-infrared image fusion
JP6928903B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2004242141A (ja) 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置
JP2013113911A (ja) 露出制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant