CN104917935B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN104917935B
CN104917935B CN201510050135.3A CN201510050135A CN104917935B CN 104917935 B CN104917935 B CN 104917935B CN 201510050135 A CN201510050135 A CN 201510050135A CN 104917935 B CN104917935 B CN 104917935B
Authority
CN
China
Prior art keywords
pupil
pixel
halation
pupil region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510050135.3A
Other languages
English (en)
Other versions
CN104917935A (zh
Inventor
松永纯平
小林正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104917935A publication Critical patent/CN104917935A/zh
Application granted granted Critical
Publication of CN104917935B publication Critical patent/CN104917935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Abstract

本发明涉及图像处理装置以及图像处理方法。一种图像处理装置，对面部图像的至少一部分进行校正，其特征在于，具有：图像取得部件，取得输入图像；区域提取部件，从所述输入图像提取对应于人的眼睛的区域即瞳区域；像素提取部件，在所述瞳区域中，提取亮度值比规定的阈值高的像素；判定部件，基于所述像素提取部件进行的提取结果，判定有无产生所述瞳区域内的光晕；以及校正部件，基于所述判定部件进行的判定结果，对所述瞳区域进行校正光晕的处理，所述像素提取部件基于所述瞳区域中包含的像素的亮度分布的偏向，设定所述规定的阈值。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及对产生了亮度不良的图像进行校正的图像处理装置。
背景技术
在通过照相机等摄像装置照射频闪(strobe)光而拍摄人物的面部的情况下，由于频闪的光而产生人物的瞳照得发红的色调不良现象(红眼现象)。为了应对该情况，提出了大量对产生了红眼现象的图像进行校正，修正为本来的色调的技术。例如，在专利文献1中，记载了从所拍摄到的图像检测产生了红眼的区域，对该区域进行色调的校正的数码相机。
作为与红眼现象不同的现象，存在光晕(halation)。光晕是通过频闪强烈地反射到瞳而瞳泛白的现象。若产生光晕，则损失亮度的层次信息和虹膜内的花纹信息，因此不能以与红眼校正相同的处理来应对。
作为用于校正光晕的发明，例如在专利文献2中，记载了分别提取产生了红眼的区域和产生了光晕的区域，对它们以不同的方法进行校正的图像处理方法。
现有技术文献
专利文献
专利文献1：(日本)特开2007－235531号公报
专利文献2：(日本)特许4537142号公报
在专利文献2所述的方法中，从产生了色调不良的区域提取具有阈值以上的亮度值的像素，判定为在该像素中产生了光晕。
但是，在以固定的阈值判定光晕的产生的情况下，存在易于产生误判定的问题。即，在图像整体的明亮度变亮的情况下，具有阈值以上的亮度值的像素增加，因此存在虽然没有产生光晕，但判定为产生了光晕的顾虑。相反也同样，在图像整体由于曝光不足而较暗的情况下，存在虽然产生了光晕，但亮度值没有超过阈值，作为结果而判定为没有产生光晕的顾虑。
该问题不仅由于图像的明暗而产生，还由于所拍摄到的人物的个体差异而产生。例如，在虹膜为蓝色等较亮的颜色的情况下，与虹膜为茶色等较暗的颜色的情况相比，像素的亮度值变高。即，即使光晕的状态相同，判定为产生了光晕的概率也变高。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供能够准确地判定在眼睛的内部产生的光晕的状态的图像处理装置。
为了解决前述的课题，本发明所涉及的图像处理装置是对面部图像的至少一部分进行校正的图像处理装置，其特征在于，具有：图像取得部件，取得输入图像；区域提取部件，从所述输入图像提取以瞳孔为中心的规定的区域即瞳区域；像素提取部件，在所述瞳区域中，提取亮度值比规定的阈值高的像素；判定部件，基于所述像素提取部件进行的提取结果，判定有无产生所述瞳区域内的光晕；以及校正部件，基于所述判定部件进行的判定结果，对所述瞳区域进行校正光晕的处理，所述像素提取部件基于所述瞳区域中包含的像素的亮度分布的偏向，设定所述规定的阈值，所述规定的阈值是将所述瞳区域中包含的像素的亮度分布分离为低亮度级和高亮度级的值，所述像素提取部件算出所述瞳区域中包含的像素的亮度分布中的、级内方差与级间方差之比即分离度，将所述规定的阈值设定为所述分离度成为最大的值。
本发明所涉及的图像处理装置是在从输入图像提取瞳区域，判定有无产生该瞳区域内的光晕之后，进行光晕的校正的装置。瞳区域是对应于人的瞳的区域，典型地说是以瞳的中心点为中心坐标的圆形区域，但不限于此。
有无产生光晕能够通过在瞳区域内提取亮度值比规定的阈值高的像素来判定，但在本发明中，除此之外，还将该阈值基于瞳区域中包含的像素的亮度分布的偏向来设定。
例如，在分布偏向高亮度侧的情况下，将阈值设定于高亮度侧，在分布偏向低亮度侧的情况下，将阈值设定于低亮度侧。此外，在亮度分布具有多峰性的情况、即分为高亮度级(class)和低亮度级而分布的情况下，也可以将阈值设定为分割各级的值。
根据该结构，能够在光晕的校正中，抑制由于图像的亮度分布的偏向而产生的误判定。
此外，也可以是，其特征在于，所述判定部件在由所述像素提取部件提取到的像素在所述瞳区域内包含的像素之中存在规定的比例以上的情况下，判定为在所述瞳区域内产生了光晕。
与在瞳区域的内部仅存在亮点(highlight)的情况相比，在瞳区域的内部产生了光晕的情况下，亮度值比阈值高的像素变得更多。即，通过判定瞳区域内的该像素的比例，能够估计有无产生光晕。
在产生了光晕的情况下，亮度分布在高亮度侧突出。即，通过使得将规定的阈值设为分离对应于光晕的级即高亮度级、和这以外的级即低亮度级的值，从而能够提高光晕的判定精度。级的分离能够通过任意的方法来进行。
优选高亮度级和低亮度级的分离通过判别分析法来进行。具体而言，求得级内方差与级间方差之比作为分离度，求得分离度成为最大的阈值。这样求得的阈值成为最好地分离各级的值。
此外，也可以是，其特征在于，所述校正部件在所述分离度为规定的值以下且所述瞳区域中包含的像素的亮度值的平均为规定的值以上的情况下，与所述判定部件进行的判定结果无关地进行光晕的校正处理。
此外，也可以是，其特征在于，所述校正部件在所述分离度为规定的值以下且所述瞳区域中包含的像素的亮度值的平均为规定的值以下的情况下，与所述判定部件进行的判定结果无关地不进行光晕的校正处理。
亮度分布的分离度低意味着不能在瞳区域的内部检测到独立的光晕区域。即，没有产生应该校正的等级的光晕，或瞳区域整体发生光晕的其中一个。
这二者能够通过求得瞳区域中包含的像素的亮度值的平均而判别。例如，在瞳区域中包含的像素的亮度值的平均比规定的值高的情况下，能够估计为瞳区域整体发生光晕。在这样的情况下，优选与判定部件进行的判定的结果无关地对瞳区域进行光晕的校正处理。此外，在瞳区域中包含的像素的亮度值的平均比规定的值低的情况下，能够估计为没有产生需要校正的光晕。在这样的情况下，优选与判定部件进行的判定的结果无关地不进行对于瞳区域的光晕的校正处理。
通过这样构成，即使在亮度分布的分离度低的情况下，也能够适当地检测光晕的产生，从而进行校正。
此外，也可以是，其特征在于，所述校正部件存储对应于瞳区域的瞳图像，在瞳区域中产生了光晕的情况下，将对应的瞳图像粘贴到对象的瞳区域从而进行光晕的校正。
光晕的校正能够通过将正常的状态的瞳图像粘贴到对象的瞳区域而进行。
此外，也可以是，其特征在于，所述校正部件在将所述瞳图像变形为适合于对象的瞳区域的形状之后粘贴到所述瞳区域，也可以是，其特征在于，所述校正部件在将所述瞳图像校正为适合于对象的瞳区域的色调之后粘贴到所述瞳区域。
像这样，通过在校正了形状或色调之后粘贴瞳图像，能够得到更自然的校正结果。
此外，也可以是，其特征在于，所述校正部件在第一瞳区域中产生了光晕且在与所述第一瞳区域相反的一侧的眼睛中的瞳区域即第二瞳区域中没有产生光晕的情况下，将从所述第二瞳区域取得的瞳图像粘贴到所述第一瞳区域从而进行光晕的校正。
像这样，在两个眼睛之中仅任意一个眼睛产生了光晕的情况下，能够从另一个瞳区域取得正常的状态的瞳图像。
另外，本发明能够特定为包含上述部件的至少一部分的图像处理装置。此外，本发明能够特定为图像处理方法。此外，本发明还能够特定为使计算机执行上述图像处理方法的程序。只要没有产生技术上的矛盾，则能够将上述处理或部件自由组合而实施。
根据本发明，能够提供能够准确地判定在眼睛的内部产生的光晕的状态的图像处理装置。
附图说明
图1是实施方式所涉及的图像处理装置的系统结构图。
图2(A)～(B)是面部图像以及亮度值直方图的例子。
图3(A)～(B)是在曝光不足状态下的面部图像以及亮度值直方图的例 子。
图4(A)～(B)是在曝光过多状态下的面部图像以及亮度值直方图的例 子。
图5是说明通过判别分析法而分离亮度分布的方法的图。
图6是说明没有准确地进行光晕判定的例子的图。
图7是说明没有准确地进行光晕判定的例子的第二图。
图8是图像处理装置进行的处理的流程图。
图9是详细说明面部以及瞳区域的检测处理的流程图。
图10是详细说明进行瞳的状态判定的处理的流程图。
图11是详细说明红眼以及金眼的检验处理的流程图。
图12是详细说明光晕的检验处理的流程图。
图13是详细说明图像的校正处理的流程图。
标号说明
10 图像处理装置
11 图像取得部
12 瞳检测部
13 瞳状态判定部
14 校正部
15 输入输出部
具体实施方式
以下，参照附图说明本发明的优选的实施方式。
本实施方式所涉及的图像处理装置是在检测到图像中包含的人的瞳中产 生了色调异常或者亮度异常之后，进行对于该瞳的校正的装置。图1是本实 施方式所涉及的图像处理装置10的系统结构图。
(系统结构)
图像处理装置10由图像取得部11、瞳检测部12、瞳状态判定部13、校 正部14、输入输出部15构成。
图像取得部11是取得处理对象的图像的部件，典型地说是固定盘驱动器 或闪速存储器这样的存储装置。另外，图像取得部11也可以是从装置的外部 取得图像的部件(例如，接口装置或无线通信装置)，也可以是经由镜头和摄 像元件拍摄图像的部件。
瞳检测部12是从图像取得部11取得的图像提取对应于人的瞳的区域的 部件。具体而言，在从图像检测人的面部，剪裁包含两眼的图像之后，从该 图像确定眼睛的位置，决定瞳的中心点。此外，提取以瞳的中心点为中心的 圆形区域(以下，瞳区域)。另外，在本说明书中，瞳区域这样的词汇作为表 示以瞳孔的中心点为中心坐标的具有规定的大小的区域的词汇而使用。
瞳状态判定部13是对瞳检测部12提取到的瞳区域判定其状态的部件。 具体而言，判定有无产生红眼、有无产生金眼、有无产生光晕。关于详细的 判定方法在后面叙述。另外，金眼是由于与红眼相同的原理而瞳被拍得发黄 的色调不良现象。
校正部14是基于瞳状态判定部13进行的判定结果而进行红眼或者金眼 以及光晕的校正的部件。另外，校正部14进行校正的对象的区域也不一定与 瞳区域相同。例如，也可以是从瞳区域删除对应于皮肤的区域的区域。
此外，输入输出部15是接受用户进行的输入操作，对用户提示信息的部 件。具体而言，由触摸面板及其控制部件、液晶显示器及其控制部件构成。 触摸面板以及液晶显示器在本实施方式中由一个触摸面板显示器构成。
以上说明的各部件的控制通过CPU等处理装置执行控制程序而实现。此 外，该控制功能也可以通过FPGA(现场可编程门阵列，Field Programmable Gate Array)或ASIC(专用集成电路，Application Specific Integrated Circuit) 等而实现，也可以通过它们的组合而实现。
(现有技术的问题)
首先，说明现有技术的问题。
图2(A)所示的图像201是在由图像取得部11取得的人物图像之中切 取了眼睛的周边区域的图像的例子。标号202是对应于瞳的区域(瞳区域)。 在此，设为在瞳区域202的内部，由于频闪的反射而产生了光晕。
图2(B)是瞳区域202中包含的像素的亮度值直方图。图像201是RGB 图像，但在此，为了简单地进行说明，作为图像为单一颜色的图像来例示直 方图。直方图的横轴是亮度值，纵轴是频数(像素数)。
在瞳区域中是否产生了光晕能够通过亮度的分布来判断。在产生了光晕 的情况下，亮度分布在高亮度侧突出。在本例中，标号203所示的部分是光 晕所引起的亮度分布的突出部。此外，亮度分布在高亮度侧突出能够通过具 有超过阈值的亮度值的像素的比例来判断。例如，在亮度值比阈值204高的 像素在瞳区域202中包含的像素之中存在规定的比例以上(例如20％以上) 的情况下，能够判定为在该瞳区域中产生了光晕。
在此成为问题的是以下的点：在亮度分布偏向特定的方向的情况下，变 得不能准确地进行光晕的判别。图3是在亮度分布偏向低亮度方向的情况、 即图像整体为曝光不足的状态的情况下的例子。在这样的情况下，由于亮度 分布突出的部分向低亮度侧移动，所以亮度比阈值204高的像素的比例减少。 即，存在虽然产生了光晕，但被判定为没有产生光晕的顾虑。
图4是相反地亮度分布偏向高亮度方向的情况、即为曝光过多的状态的 情况下的例子。在这样的情况下，由于亮度分布整体向高亮度侧移动，所以 亮度比阈值204高的像素的比例增加。即，存在虽然没有产生光晕，但被判 定为产生了光晕的顾虑。
该问题不仅由于曝光的状态而产生，还由于虹膜的颜色的差异而产生。 例如，在对象人物的虹膜为较亮的颜色的情况下，与为较暗的颜色的情况相 比，亮度值向高亮度方向偏移。即，会产生与前述相同的判定错误。
像这样，在使用单一的阈值的方法中，产生不能根据亮度分布的状态而 准确地判别光晕的产生的状况。
(阈值的决定方法)
因此，在本实施方式所涉及的图像处理装置中，采取基于瞳区域中包含 的像素的亮度分布的偏向而自动地设定阈值的方法。以下，说明具体的方法。
如前述那样，在产生了光晕的情况下，亮度分布在高亮度侧突出。即， 若将阈值设定为分离处于高亮度侧的直方图的峰、和处于低亮度侧的直方图 的峰的值，则能够准确地判别光晕的产生。
参照图5进行说明。在此，在亮度分布中设定阈值t，将亮度值比阈值t 低的级设为低亮度级，将亮度值比阈值t高的级设为高亮度级。此外，将低 亮度级中的像素数、亮度值的平均、亮度值的方差分别设为ω1、m1、σ1，将 高亮度级中的像素数、亮度值的平均、亮度值的方差分别设为ω2、m2、σ2。 此外，将瞳区域中包含的全部像素的像素数、亮度值的平均、亮度值的方差 分别设为ωt、mt、σt。
若这样定义变量，则合计了各级的方差的值(级内方差)能够以式1表 示。此外，各级的平均值的方差(级间方差)能够以式2表示。此外，总方 差成为上述级内方差和级间方差的合计值。
【数1】
【数2】
级内方差越小则意味着数据越聚集，级间方差越小则意味着级的中心之 间越接近。即，通过使用它们的比，能够表示低亮度级和高亮度级以怎样的 程度分离(分离度)。分离度能够以式3表示。
【数3】
另外，由于总方差与阈值t没有关系而为一定，所以若求得级间方差成 为最大的阈值t，则能够求得分离度成为最高的阈值t。进而，由于级间方差 的分母也与阈值t没有关系而为一定，所以若求得ω1ω2(m1－m2)2成为最大 的阈值t，则该t的值成为最好地分离低亮度级和高亮度级的值。将这样的方 法称为判别分析法。
本实施方式所涉及的图像处理装置使用这样求得的阈值t，与以往的方法 相同地，算出瞳区域中包含的像素之中的对应于高亮度级的像素的比例，从 而进行光晕的判定。像这样，通过动态地设定阈值t，能够准确地判定在瞳区 域中是否产生了光晕。
(分离度低的情况下的处理)
以上说明的处理是在亮度分布充分地分离为低亮度级和高亮度级的情况 下有效的处理。另一方面，在低亮度级和高亮度级没有充分地分离的情况下， 存在不能准确地进行光晕的校正的状况。
说明该状况下的处理方法。
图6是分布偏向亮度低的方向的情况下的例子。此时，表示频闪的反射 的级以标号601表示。该等级的反射是通常的亮点而不是光晕。但是，在前 述的方法中，存在阈值t被设定在标号602所示的位置等不希望的位置的情 况，其结果，存在进行在瞳区域中产生了光晕的误判定的情况。
图7是分布偏向亮度高的方向的情况下的例子。在瞳区域的整体发生了 光晕的情况下，像这样，成为偏向高亮度方向的亮度分布。但是，在前述的 方法中，存在阈值t被设定在标号701所示的位置等不希望的位置的情况， 其结果，存在进行在瞳区域中没有产生光晕的误判定的情况。
像这样，在级的分离度为较低的值的情况下，存在不能准确地判定光晕 的产生状态的情况。
因此，本实施方式所涉及的图像处理装置对使用阈值t的光晕的判定设 置例外，定义与该判定结果无关地不进行光晕的校正的模式(pattern)、和进 行光晕的校正的模式。
具体而言，在瞳区域内的亮度分布的分离度比规定的值低且亮度值的平 均值比规定的值低的情况下，设为“(与判定结果无关地)不进行光晕的校正”。 这是因为在级的分离度充分低且亮度值的平均充分低的情况下，能够估计为 原本没有产生光晕。
此外，在瞳区域内的亮度分布的分离度比规定的值低且亮度值的平均值 比规定的值高的情况下，设为“(与判定结果无关地)进行光晕的校正”。这 是因为在级的分离度充分低且亮度值的平均充分高的情况下，能够估计为在 瞳区域的大部分中产生了光晕。
(处理流程图)
接着，说明用于实现以上说明的功能的处理流程图。
图8是本实施方式所涉及的图像处理装置10的处理流程图。该处理通过 用户的操作(例如，读入所存储的图像的操作)而开始。另外，在本实施方 式中，与光晕的校正处理同时，同时进行校正红眼以及金眼的处理。关于校 正红眼以及金眼的处理，随时进行说明。
首先，在步骤S11中，图像取得部11取得图像。在本实施方式中，从存 储装置取得预先存储的图像，但也可以经由通信部件或摄像部件取得图像。
接着，在步骤S12中，瞳检测部12从所取得的图像提取对应于面部以及 瞳的区域。图9是详细示出步骤S12中进行的处理的内容的流程图。步骤 S121～S124由瞳检测部12执行。
首先，在步骤S121中，提取对应于图像中包含的面部的矩形区域(面部 区域)。由于从图像提取面部区域的方法是公知的，所以省略详细的说明。
接着，在步骤S122中，检测面部区域中包含的眼睛。具体而言，将对应 于面部区域的RGB图像变换为单一颜色的图像，提取对应于外眼角、大眼角、 眼睛的中心的特征点。通过本步骤，确定用于搜索瞳的区域。另外，在特征 点的提取失败的情况下，也可以在进行了滤波之后，通过匹配处理来检测眼 睛。
接着，在步骤S123中，进行图像的归一化。具体而言，剪裁面部区域， 生成包含眼睛的规定的尺寸的矩形图像。此时，也可以使用任意的插值方法 来进行分辨率的变换。此外，在面部区域不是水平的情况下，也可以进行旋 转图像的处理。另外，也可以对一个个眼睛进行步骤S123～S124的处理。
接着，在步骤S124中，搜索位于所检测到的眼睛之中的瞳的中心点。由 于搜索瞳的中心点的方法是公知的，所以省略详细的说明。例如，也可以在 通过三重滤波器提取到候选点之后，将得分(score)最高的候选点决定为瞳 的中心点。
若瞳的中心点被决定，则生成以该点为中心的规定的大小的圆形区域， 设为瞳区域。规定的大小也可以是固定的大小，也可以是按每个人物而不同 的大小。此外，区域的形状也可以是正圆，也可以是椭圆。此外，也可以是 其他形状。
接着，在步骤S13中，瞳状态判定部13判定瞳区域的状态。由于在瞳中 产生的色调不良以及亮度不良中存在“红眼”“金眼”“光晕”这三种，所以在 本步骤中，判定瞳的状态符合哪个。图10是详细示出步骤S13中进行的处理 的内容的流程图。步骤S131～S123由瞳状态判定部13执行。另外，对一个 个眼睛进行步骤S13的处理。
首先，在步骤S131中，检验在瞳区域中是否能看出色调不良、即是否产 生了红眼或者金眼。图11是详细示出步骤S131中进行的处理的内容的流程 图。
在步骤S1311中，将图像的颜色空间从RGB颜色空间变换到Lab颜色空 间。
接着，在步骤S1312中，关于瞳区域中包含的各像素，分别判定是否符 合以下的其中一个。
·θ处于350度～55度的范围且d为0.2以上(半径为1的情况)
·θ处于315度～350度的范围且d为0.7以上(半径为1的情况)
另外，θ以及d是CIE Lab颜色体系中的颜色的参数。即，判定像素的颜 色是否是红色。
接着，在步骤S1313中，判定满足上述条件的像素的数目相对于瞳区域 中存在的像素数是否存在规定的比例(例如10％以上)以上，在存在的情况 下，判定为在该瞳区域中产生了红眼(S1314)。此外，在不存在的情况下， 判定为在该瞳区域中没有产生红眼(S1315)。
金眼的判定也能够通过与红眼的判定相同的方法来进行。在进行金眼的 判定的情况下，将颜色条件置换为对应于金色(黄色)即可。例如，能够使 用以下那样的条件。
·θ处于65度～115度的范围且d为0.2以上(半径为1的情况)
另外，在本例中，在将图像的颜色空间变换为Lab之后进行了色相的判 定，但也可以使用其他方法来进行色相的判定。
步骤S132是检验在瞳区域中是否产生了光晕的处理。图12是详细示出 步骤S132中进行的处理的内容的流程图。步骤S1321～S1326由瞳状态判定 部13执行。
首先，在步骤S1321中，将图像的颜色空间从RGB颜色空间变换为灰阶。
接着，在步骤S1322中，通过判别分析法而算出用于将瞳区域中包含的 像素的亮度值分离为高亮度级和低亮度级的阈值t，求得此时的分离度。其结 果，在所得到的分离度比规定的阈值高的情况下，为了进行光晕的判定，使 处理转移至步骤S1323。
在步骤S1323中，使用步骤S1322中求得的阈值t，进行光晕的判定。即， 算出具有超过阈值t的亮度的像素的数目相对于整体的比例，在所得到的比 例比规定的比例大的情况下，判定为有光晕(步骤S1325)，在比规定的比例 小的情况下，判定为无光晕(步骤S1326)。
由于在步骤S1322中得到的分离度比规定的阈值低、即亮度分布没有充 分地分离为高亮度级和低亮度级的情况下，是没有产生光晕或者在瞳区域的 大部分产生了光晕的其中一个，所以为了进行判别，使处理转移至步骤S1324。
在步骤S1324中，取得瞳区域内的像素的亮度值的平均，判定平均值是 比阈值高还是低。其结果，在平均值比阈值高的情况下，由于能够估计为在 瞳区域的大部分中产生了光晕，所以判定为有光晕(步骤S1325)。此外，在 平均值比阈值低的情况下，判定为没有产生光晕(步骤S1326)。
返回图10继续说明。在进行了红眼以及金眼的检验、以及光晕的检验的 结果，判断为至少符合其中一个的情况下，使处理转移至步骤S14(步骤 S133)。在判断为不符合任一个的情况下，结束处理。
返回图8继续说明。
在步骤S14中，校正部14对瞳区域进行校正。图13是详细示出步骤S14 中进行的处理的内容的流程图。步骤S141～S146由校正部14执行。另外， 对一个个眼睛进行步骤S14的处理。
首先，在步骤S141中，进行图像的归一化。具体而言，剪裁面部区域， 生成以瞳的中心坐标为中心的规定的尺寸的矩形图像。此时，也可以使用任 意的插值方法来进行分辨率的变换。此外，在面部区域不是水平的情况下， 也可以进行旋转图像的处理。
接着，在步骤S142中，生成校正区域。校正区域是进行校正的对象的区 域。在此生成的校正区域是以瞳的中心坐标为中心的具有规定的大小的椭圆 区域。校正区域也可以是与瞳区域相同的区域。
由于步骤S142中生成的校正区域存在包含皮肤的可能性，所以在步骤 S143中去除对应于皮肤的区域，对区域进行整形。具体而言，使用Lab颜色 空间检测肤色区域，删除对应的区域。此时，也可以除了使用颜色信息以外， 还使用关于形状或配置的信息来删除对应于皮肤的区域，也可以追加去除噪 声的处理。此外，也可以使用不同的基准来进行多个处理，并结合处理结果。 通过执行本步骤，成为仅提取到对应于眼睛的内侧的区域的状态。
在步骤S144中，根据校正对象而使处理分支。考虑在步骤S13中进行了 判定的结果是(1)红眼或者金眼、(2)光晕、(3)双方这三个模式。其中， 关于(1)，能够仅通过色调的校正来应对，但关于(2)，由于光晕而损失亮 度信息和虹膜内的花纹信息，因此需要进行信息的补充(光晕校正)。此外， 关于(3)，也由于损失亮度信息而需要优先进行光晕校正。
从而，在判定结果仅为上述(1)的情况下，进行红眼或者金眼的校正(步 骤S145)，在判定结果为上述(2)或者(3)的情况下，进行光晕的校正(步 骤S146)。
红眼或者金眼的校正能够通过变更色调的已知的方法来进行。
说明校正光晕的方法。
作为校正光晕的方法之一，有将正常的状态的瞳的图像粘贴到产生了光 晕的区域这样的方法。例如，预先存储修正用的瞳图像，将该瞳图像贴入产 生了光晕的区域。此时，也可以进行通过放大缩小而使尺寸适合的处理，也 可以进行剪裁处理。此外，也可以进行用于使瞳孔的颜色适合的色调校正或 用于使明亮度适合的亮度校正。
此外，也可以从多个尺寸的瞳图像选择尺寸适合的瞳图像。此外，也可 以从具有不同的瞳孔颜色的多个瞳图像，选择瞳孔颜色适合的瞳图像。
另外，修正用的瞳图像优选是预先根据从多个人物的面部图像提取到的 瞳(虹膜)区域图像而生成的平均的瞳的图像。
此外，在仅在单个眼睛中产生了光晕的情况下，也可以从没有产生光晕 的侧的眼睛取得瞳图像。
像这样，光晕的校正能够通过将正常的状态的瞳的图像粘贴到产生了光 晕的区域来进行。关于上述(3)的状况，通过进行图像的粘贴，能够同时校 正产生了色调异常的区域。另外，也可以将光晕的校正和色调校正独立进行。
在以上说明的实施方式中，基于瞳区域内的亮度值的分布的偏向，动态 地设定用于判定有无产生光晕的阈值。由此，即使在亮度分布偏向的情况下， 也能够准确地判定光晕的产生。此外，在亮度分布的分离度低的情况下，不 使用阈值来估计有无产生光晕。由此，能够去除基于阈值的判定不适当的状 况，能够更加提高判定精度。
(变形例)
上述的实施方式只是一例，本发明能够在不脱离其主旨的范围内适当变 更而实施。
例如，在实施方式的说明中，以对存储装置中存储的图像进行处理的图 像处理装置为例进行了说明，但图像不一定从存储装置取得，例如也可以从 装置的外部经由有线或者无线网络来取得图像。
此外，也可以经由内置的照相机取得图像。本发明还能够作为对所拍摄 到的图像进行处理的摄像装置而实施。
此外，也可以另行决定进行光晕校正或色调校正时的校正的程度或方法。 例如，也可以将校正红眼时的色相的变更量基于步骤S131的执行结果来决 定。此外，在步骤S131中，检测人物具有的瞳孔的颜色，基于该检测结果， 选择在进行光晕校正时使用的瞳的部分图像。
此外，在实施方式的说明中，叙述了对一个个眼睛进行处理的例子，但 也可以将两眼作为对象来进行处理。此外，在仅在单眼中产生了红眼/金眼或 光晕的情况下，也可以通过参照相反侧的瞳，取得与校正相关的信息(例如 瞳孔颜色或瞳的大小等)。

Claims (9)

1.一种图像处理装置，对面部图像的至少一部分进行校正，其特征在于，具有：
图像取得部件，取得输入图像；
区域提取部件，从所述输入图像提取以瞳孔为中心的规定的区域即瞳区域；
像素提取部件，在所述瞳区域中，提取亮度值比规定的阈值高的像素；
判定部件，基于所述像素提取部件进行的提取结果，判定有无产生所述瞳区域内的光晕；以及
校正部件，基于所述判定部件进行的判定结果，对所述瞳区域进行校正光晕的处理，
所述像素提取部件基于所述瞳区域中包含的像素的亮度分布的偏向，设定所述规定的阈值，
所述规定的阈值是将所述瞳区域中包含的像素的亮度分布分离为低亮度级和高亮度级的值，
所述像素提取部件算出所述瞳区域中包含的像素的亮度分布中的、级内方差与级间方差之比即分离度，将所述规定的阈值设定为使所述分离度成为最大时的值。
2.如权利要求1所述的图像处理装置，其特征在于，
所述判定部件在由所述像素提取部件提取到的像素在所述瞳区域内包含的像素之中存在规定的比例以上的情况下，判定为在所述瞳区域内产生了光晕。
3.如权利要求1所述的图像处理装置，其特征在于，
所述校正部件在所述分离度为规定的值以下且所述瞳区域中包含的像素的亮度值的平均为规定的值以上的情况下，与所述判定部件进行的判定结果无关地进行光晕的校正处理。
4.如权利要求1所述的图像处理装置，其特征在于，
所述校正部件在所述分离度为规定的值以下且所述瞳区域中包含的像素的亮度值的平均为规定的值以下的情况下，与所述判定部件进行的判定结果无关地不进行光晕的校正处理。
5.如权利要求1所述的图像处理装置，其特征在于，
所述校正部件存储对应于瞳区域的瞳图像，在瞳区域中产生了光晕的情况下，将对应的瞳图像粘贴到对象的瞳区域从而进行光晕的校正。
6.如权利要求5所述的图像处理装置，其特征在于，
所述校正部件在将所述瞳图像变形为适合于对象的瞳区域的形状之后粘贴到所述瞳区域。
7.如权利要求5所述的图像处理装置，其特征在于，
所述校正部件在将所述瞳图像校正为适合于对象的瞳区域的色调之后粘贴到所述瞳区域。
8.如权利要求1所述的图像处理装置，其特征在于，
所述校正部件在第一瞳区域中产生了光晕且在与所述第一瞳区域相反的一侧的眼睛中的瞳区域即第二瞳区域中没有产生光晕的情况下，将从所述第二瞳区域取得的瞳图像粘贴到所述第一瞳区域从而进行光晕的校正。
9.一种图像处理方法，由对面部图像的至少一部分进行校正的图像处理装置进行，其特征在于，包含：
图像取得步骤，取得输入图像；
区域提取步骤，从所述输入图像提取以瞳孔为中心的规定的区域即瞳区域；
像素提取步骤，在所述瞳区域中，提取亮度值比规定的阈值高的像素；
判定步骤，基于在所述像素提取步骤中进行的提取结果，判定有无产生所述瞳区域内的光晕；以及
校正步骤，基于在所述判定步骤中进行的判定结果，对所述瞳区域进行校正光晕的处理，
在所述像素提取步骤中，基于所述瞳区域中包含的像素的亮度分布的偏向，设定所述规定的阈值，
所述规定的阈值是将所述瞳区域中包含的像素的亮度分布分离为低亮度级和高亮度级的值，
在所述像素提取步骤中，算出所述瞳区域中包含的像素的亮度分布中的、级内方差与级间方差之比即分离度，将所述规定的阈值设定为使所述分离度成为最大时的值。
CN201510050135.3A 2014-03-14 2015-01-30 图像处理装置以及图像处理方法 Active CN104917935B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-051799 2014-03-14
JP2014051799A JP6299300B2 (ja) 2014-03-14 2014-03-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN104917935A CN104917935A (zh) 2015-09-16
CN104917935B true CN104917935B (zh) 2018-09-18

Family

ID=52434607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510050135.3A Active CN104917935B (zh) 2014-03-14 2015-01-30 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9811888B2 (zh)
EP (1) EP2919152B1 (zh)
JP (1) JP6299300B2 (zh)
KR (1) KR101631012B1 (zh)
CN (1) CN104917935B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6327071B2 (ja) * 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
JP6904788B2 (ja) * 2017-05-25 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN109635839B (zh) * 2018-11-12 2020-07-14 国家电网有限公司 一种基于机器学习的非平衡数据集的处理方法和装置
CN112954261B (zh) * 2021-03-18 2021-09-10 深圳奇实科技有限公司 一种视频会议网络流量控制方法和系统
CN113409210B (zh) * 2021-06-17 2023-06-02 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法
TWI786719B (zh) * 2021-07-13 2022-12-11 義隆電子股份有限公司 改善顯示器的光暈效應的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748764A (en) * 1993-07-19 1998-05-05 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
CN1993707A (zh) * 2004-07-30 2007-07-04 佳能株式会社 图像处理方法和设备、摄像设备以及程序
US8260081B2 (en) * 2007-05-11 2012-09-04 Canon Kabushiki Kaisha Image processing device, method, program, and storage medium for face or red eye detection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4050842B2 (ja) * 1998-06-15 2008-02-20 富士フイルム株式会社 画像処理方法
JP2002269545A (ja) * 2001-03-12 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像処理方法及び顔画像処理装置
WO2005057910A1 (ja) 2003-12-12 2005-06-23 Fujitsu Limited カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法
US7894666B2 (en) * 2004-07-30 2011-02-22 Canon Kabushiki Kaisha Image processing method and apparatus, image sensing apparatus, and program
JP4537142B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理方法及びその装置、撮像装置、プログラム
JP2006166359A (ja) * 2004-12-10 2006-06-22 Canon Inc 赤目補正方法
JP2007235531A (ja) 2006-03-01 2007-09-13 Nikon Corp デジタルカメラ
JP4986797B2 (ja) * 2007-10-02 2012-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP2010103820A (ja) * 2008-10-24 2010-05-06 Seiko Epson Corp 画像処理装置および画像処理方法並びにプログラム
JP5819157B2 (ja) * 2011-10-18 2015-11-18 株式会社日立ソリューションズ 画像処理装置、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748764A (en) * 1993-07-19 1998-05-05 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
CN1993707A (zh) * 2004-07-30 2007-07-04 佳能株式会社 图像处理方法和设备、摄像设备以及程序
US8260081B2 (en) * 2007-05-11 2012-09-04 Canon Kabushiki Kaisha Image processing device, method, program, and storage medium for face or red eye detection

Also Published As

Publication number Publication date
KR20150107598A (ko) 2015-09-23
EP2919152B1 (en) 2021-06-23
US9811888B2 (en) 2017-11-07
KR101631012B1 (ko) 2016-06-15
JP2015176301A (ja) 2015-10-05
JP6299300B2 (ja) 2018-03-28
CN104917935A (zh) 2015-09-16
EP2919152A3 (en) 2015-12-23
US20150262342A1 (en) 2015-09-17
EP2919152A2 (en) 2015-09-16

Similar Documents

Publication Publication Date Title
CN104917935B (zh) 图像处理装置以及图像处理方法
JP6327071B2 (ja) 画像処理装置および画像処理方法
JP4428737B2 (ja) 赤目検出方法
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
JP2000125320A (ja) 赤目検出用コンピュ―タプログラム製品
US20080170778A1 (en) Method and system for detection and removal of redeyes
TW200844896A (en) Device and program for correcting pupil color
JP2007094840A (ja) 画像処理装置、及び画像処理方法
EP2564351B1 (en) Method, apparatus and computer program product for compensating eye color defects
TWI715075B (zh) 膚色影像的色域權重偵測方法及其裝置
JP2006040230A (ja) 画像処理方法及びその装置、撮像装置、プログラム
JPH08138024A (ja) 画像の向き判定方法
TWI416433B (zh) 紅眼影像偵測方法及其相關裝置
CN103778594B (zh) 一种基于闪光灯非闪光灯图像对的红眼检测方法
JP4831344B2 (ja) 目の位置の検出方法
JP2004234689A (ja) 顔抽出方法
Battiato et al. Boosting gray codes for red eyes removal
JPH11191156A (ja) 画像修正方法および装置
JP2004242141A (ja) 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置
JP2007140723A (ja) 顔認証装置
JP2009086705A (ja) 目の位置の検出方法
JP2021096831A (ja) 判定装置、判定装置を含む携帯端末、および判定装置用のプログラム
JP2004206738A (ja) 顔抽出方法
JP2009015599A (ja) 目の位置の検出方法および検出システム
CN112149468A (zh) 肤色影像的色域权重侦测方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant