CN106022205A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN106022205A
CN106022205A CN201510701299.8A CN201510701299A CN106022205A CN 106022205 A CN106022205 A CN 106022205A CN 201510701299 A CN201510701299 A CN 201510701299A CN 106022205 A CN106022205 A CN 106022205A
Authority
CN
China
Prior art keywords
image
pixel
pupil
region
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510701299.8A
Other languages
English (en)
Other versions
CN106022205B (zh
Inventor
太田昂志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN106022205A publication Critical patent/CN106022205A/zh
Application granted granted Critical
Publication of CN106022205B publication Critical patent/CN106022205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种图像处理装置以及图像处理方法，该图像处理装置具有：图像取得部件，取得作为包含人物的眼的图像的第一图像；图像生成部件，生成作为表示第一图像的边缘的二值图像的第二图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成在所述第一图像中的、作为与人物的瞳对应的区域的瞳区域，其中，在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及从包含脸部的图像中提取与人的瞳对应的区域的图像处理技术。
背景技术
近年，对使用数码相机等拍摄的、包含人的脸部的图像(脸部图像)自动进行修正的技术开始普及。尤其是，通过从脸部图像中检测瞳，从而能够进行以下修正，例如，对由闪光灯的光引起的、人物的瞳照得变红的色调不良现象进行修正，或者通过将瞳修正得变大从而提高美观度。
作为用于从脸部图像中检测瞳存在的区域(瞳区域)的技术，例如，有专利文献1所记载的图像处理装置。在该图像处理装置中，根据脸部图像的亮度梯度而求出边缘点，确定表示瞳的轮廓的椭圆。
现有技术文献
[专利文献1](日本)特开2012-190350号公报
在专利文献1所记载的方法中，通过提取脸部图像的纵方向的边缘，从而确定瞳的边界。可是，在这样的方法中，在瞳的边界以外存在边缘的情况下，存在容易导致误检测的问题。例如，如在瞳中存在极高光(キャッチライト)的情况下，会发生不能准确地仅对瞳区域进行提取的情况。
发明内容
本发明考虑上述的课题而完成，其目的在于，提供一种在从脸部图像提取与瞳对应的区域的图像处理装置中使精度提高的技术。
本发明所涉及的图像处理装置的特征在于，具有：图像取得部件，取得第一图像，所述第一图像是包含人物的眼的图像；图像生成部件，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及瞳区域生成部件，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的瞳对应的区域，在所述第二图像中，具有相同的值的像素分为多个块(block)而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。
本发明所涉及的图像处理装置是从所取得的脸部图像中提取瞳区域的装置。瞳区域是指包含人的瞳(眼白以外的虹膜以及瞳孔)的区域，典型地说，是以瞳的中心点为中心坐标的圆形的区域。
瞳区域的提取是对作为输入图像的第一图像的边缘进行提取，并根据二值化后的结果的图像(第二图像)而进行的。第二图像是由与边缘不对应的像素、和与边缘对应的像素构成的二值图像。在瞳的边界存在边缘，在瞳的内部不存在边缘，因此，为了提取瞳区域，根据边缘的有无而对像素进行分类。
其中，与边缘不对应的像素还存在于瞳区域的外侧，因此，在单纯地仅根据边缘进行了分类的情况下，瞳区域以外的区域也被提取，不能准确地仅对瞳区域进行提取。
因此，本发明所涉及的图像处理装置在第二图像中具有相同的值的像素分为多个块(群)而存在的情况下，进一步根据该块的面积、或与该块对应的第一图像中的像素的亮度值，进行像素的分类。
根据该结构，能够高精度地仅对瞳区域进行提取，而不会被不需要的边缘信息影响。
此外，也可以特征在于，所述分类部件由第一分类部件以及第二分类部件构成，所述第一分类部件在所述第二图像中包含的像素之中，将与边缘不对应的像素分类为第一像素类型，将与边缘对应的像素分类为第二像素类型，在与边缘不对应的像素分为多个块而存在，并且存在面积比第一阈值小的块、或者第一图像对应的区域中的像素的平均亮度值比第二阈值高的块的情况下，所述第二分类部件将该块中包含的像素重新分类为第二像素类型，所述瞳区域生成部件根据分类为所述第一像素类型的像素的分布，生成瞳区域。
如此，在由被分类为第一像素类型的像素构成的块的面积与假设的瞳区域的面积相比充分小的情况下、或者第一图像的对应的区域中的像素的平均亮度与假设的瞳区域内的亮度相比充分大的情况下，假设为该块中包含的像素不是与瞳对应的像素。因此，将这样的像素重新分类为第二像素类型，从而能够使精度提高。
此外，也可以特征在于，所述分类部件还包含第三分类部件，在被分类为第二像素类型的像素的块由被分类为第一像素类型的像素包围了的情况下，所述第三分类部件将该块中包含的像素重新分类为第一像素类型。
例如，存在极高光(强光)存在于瞳的内侧这样的情况等，与边缘对应的像素存在于瞳区域的内侧的情况。因此，在与边缘对应的像素被与边缘不对应的像素包围了的情况下，对该像素的分类结果进行反转。由此，能够删除存在于瞳的内侧的边缘信息。
此外，也可以特征在于，所述第一阈值是对在所述多个块分别具有的面积之中最大的面积乘以预定的比率后的值。
此外，也可以特征在于，所述第二阈值是对与所述多个块分别对应的平均亮度值之中最低的值加上预定的值后的值。
块具有的面积越小、或者平均亮度值越大，该块为与瞳对应的块的可能性越小。因此，以多个块中的面积的最大值、和平均亮度值的最低值为基准来设定阈值，对大小进行判定，从而能够对作为瞳的概率低的区域进行滤波。
此外，也可以特征在于，在以所述第一图像的横方向为X轴，以纵方向为Y轴，且将由被分类为所述第一像素类型的像素构成的区域设为假定瞳区域的情况下，所述瞳区域生成部件将所述假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标，对每个Y坐标求出作为所述假定瞳区域的X轴上的中心点的X坐标，根据所得到的X坐标的分布，决定瞳区域的中心的X坐标。
由被分类为第一像素类型的像素构成的区域(假定瞳区域)成为假设包含瞳的区域。可是，在瞳和眼睑的边界等亮度值不大且不存在明确的边缘的部位存在于瞳的周围的情况下，存在瞳以外的区域被包含到假定瞳区域中的情况。在这样的情况下，假定瞳区域不是圆形，而是成为一部分突出的歪曲形状。
因此，瞳区域生成部件根据假定瞳区域的形状，确定瞳区域的中心位置。
具体而言，将假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标。关于Y轴方向的大小，由于假定瞳区域与瞳区域大体一致，因此，能够使用中间的坐标。
另一方面，由于眼睑的存在，假定瞳区域有向左右方向突出的趋势。因此，按每个Y坐标而求出假定瞳区域的X轴方向的中心点，根据所得到的X坐标的分布，决定瞳区域的中心的X坐标。由此，即使假定瞳区域是歪曲的形状，也能够对本来的瞳区域的位置进行估计。
此外，也可以特征在于，所述瞳区域生成部件将通过所述瞳区域的中心且与X轴平行的轴上的所述假定瞳区域的径，设为瞳区域的直径。
根据该结构，能够高精度地取得瞳区域的直径。
此外，也可以特征在于，本发明所涉及的图像处理装置还具有：位置信息取得部件，取得表示眼睑的边界位置的位置信息，所述瞳区域生成部件根据所述位置信息，对所生成的瞳区域的形状进行修正。
由于人的瞳存在被眼睑遮挡的情况，在直接使用所生成的瞳区域而进行其他的处理的情况下，有时会成为不自然的图像。为了防止该情况，也可以取得表示眼睑的位置的信息之后，对瞳区域的形状进行修正。例如，也可以删除被眼睑遮挡的区域。由此，能够进行对于瞳的自然的图像处理。
此外，也可以特征在于，所述第一分类部件设定以眼的中心点为中心的预定的大小的圆区域，将位于该圆区域之外的像素无条件地分类为第二像素类型。
分类部件设定的圆区域是估计为包含瞳的区域。通过这样进行构成，能够省去对于明显不存在瞳的区域的处理，能够将处理高速化。
另外，本发明能够特定为包含上述部件的至少一部分的图像处理装置。此外，本发明也能够特定为上述图像处理装置进行的图像处理方法。此外，本发明也能够特定为使计算机执行上述图像处理方法的程序。上述处理或部件只要不产生技术的矛盾，能够自由地进行组合而实施。
根据本发明，在从脸部图像中提取与瞳对应的区域的图像处理装置中，能够使精度提高。
附图说明
图1是实施方式所涉及的图像处理装置的系统结构图。
图2是图像处理装置进行的处理的流程图。
图3是详细说明生成第一图像的处理的流程图。
图4(A)～(B)是第一图像以及第二图像的例。
图5是详细说明生成瞳区域的处理的流程图。
图6(A)～(D)是说明进行噪声去除处理的过程的图。
图7(A)～(B)是说明确定瞳区域的过程的图。
图8是说明确定瞳区域的过程的图。
图9(A)～(B)是说明确定瞳区域的过程的图。
图10是示出根据眼睑的位置来对瞳区域进行修正的例的图。
标号说明
10 图像处理装置
11 图像取得部
12 瞳检测部
13 处理图像生成部
14 瞳区域生成部
15 图像修正部
具体实施方式
(第一实施方式)
以下，参照附图，对本发明的优选的实施方式进行说明。
本实施方式所涉及的图像处理装置是，从包含脸部的图像中，提取作为与人的瞳对应的区域的瞳区域，对该瞳区域进行修正的装置。图1是本实施方式所涉及的图像处理装置10的系统结构图。
<系统结构>
本实施方式所涉及的图像处理装置10由图像取得部11、瞳检测部12、处理图像生成部13、瞳区域生成部14、图像修正部15而构成。
图像取得部11是用于取得处理对象的图像(包含人的脸部的图像。以下，称为脸部图像)的部件，典型地说，是如固定磁盘驱动器或闪存存储器这样的存储装置。另外，图像取得部11可以是从装置的外部取得图像的部件(例如，接口装置或无线通信装置)，也可以是经由镜头和摄像元件对图像进行摄像的部件。此外，处理对象的图像也可以是与构成动画的各帧对应的图像。
瞳检测部12是从图像取得部11所取得的脸部图像中，提取与人的眼对应的区域的部件。具体而言，从脸部图像中检测与人的眼对应的特征点，对存在眼的区域进行确定之后，对包含左右任意一只眼的图像进行剪取(クリッピング)。检测的特征点优选为表示眼睑的边界的点、或眼的中心点。
处理图像生成部13是对于瞳检测部12剪取的图像，对边缘进行提取，对所得到的图像进行二值化的部件。以后，将瞳检测部12进行剪取后的图像称为第一图像，将处理图像生成部13生成的图像称为第二图像。
瞳区域生成部14是根据第一图像和第二图像，生成作为与人的瞳对应的区域的瞳区域的部件。具体的处理方法在后面进行叙述。
图像修正部15是使用由瞳区域生成部14生成的瞳区域，进行对于脸部图像的修正的部件。图像修正部15进行的修正只要是对瞳进行修正，则可以是任意的修正。例如，对瞳合成彩色隐形眼镜的修正、对瞳加入极高光的修正、将强的极高光去除或者减低的修正、增强瞳的对比度的修正等，但不限于此。
另外，以上已说明的各部件可以通过设计为专用的硬件来实现，也可以通过软件模块来实现。此外，可以FPGA(现场可编程门阵列(FieldProgrammable Gate Array))或ASIC(专用集成电路(Application SpecificIntegrated Circuit))等来实现，也可以通过这些的组合来实现。
在上述的部件作为软件而构成的情况下，存储于辅助存储装置的程序被载入到主存储装置中，通过CPU而执行，从而各部件发挥作用。(CPU、辅助存储装置、主存储装置均未图示)
此外，执行程序的部件不限定于CPU，也可以是ISP(图像信号处理器(Image Signal Processor))或DSP(数字信号处理器(Digital Signal Processor))、GPU(图形处理单元(Graphics Processing Unit))等。
接着，参照图像处理装置10进行的处理流程图即图2，按顺序说明从所取得的脸部图像中提取瞳区域，并对该瞳区域进行修正的处理。
首先，图像取得部11取得脸部图像(步骤S11)。在本实施方式中，设为从存储装置中取得已预先存储的脸部图像，但也可以经由通信部件或摄像部件而取得脸部图像。
接着，瞳检测部12从所取得的脸部图像中，提取与眼对应的区域，并且进行剪取，从而生成第一图像(步骤S12)。图3是详细示出在步骤S12中进行的处理的内容的流程图。
首先，在步骤S121中，提取与图像中包含的脸部对应的矩形区域(脸部区域)。由于从图像中提取脸部区域的方法是公知的，因此，省略细节的说明。
接着，在步骤S122中，对脸部区域中包含的眼进行检测。具体而言，通过已知的方法来检测与外眼角、内眼角、眼的中心等对应的特征点。另外，在特征点的检测失败的情况下，也可以在进行了滤波之后，通过匹配处理对眼进行检测。
接着，在步骤S123中，进行图像的归一化。具体而言，对脸部区域进行剪取，生成以眼的中心点为中心的预定的尺寸的矩形图像。此时，可以使用任意的插值手法来进行分辨率的变换。此外，在脸部图像中包含的脸部不水平的情况下，通过仿射变换等进行了旋转脸部图像的处理之后，进行剪取。关于脸部是否水平，能够根据连接左右的眼的中心点的直线的斜率而进行判定。
在本步骤中生成的图像为第一图像。另外，第一图像是不包含颜色信息的图像。例如，在脸部图像的颜色空间为YUV的情况下，删除与色调有关的分量，仅使用亮度分量。图4(A)所示的图像401是第一图像的例。另外，在本例中，仅将人物的右眼作为处理对象，但在将双眼作为处理对象的情况下，在步骤S123以后，重复通过本说明书说明的处理即可。
接着，处理图像生成部13根据第一图像，生成第二图像(步骤S13)。
在步骤S13中，首先，对第一图像应用用于提取边缘的滤波器。滤波器例如能够适当地使用对纵横的二个方向应用的索贝尔滤波器等。
接着，将所得到的图像进行二值化。其结果，能够得到表示第一图像的边缘的二值图像(第二图像)。另外，进行二值化时的阈值优选为如下的值，即全体的像素的20％～40％被分类为高亮度侧的值。图4(B)所示的图像402是第二图像的例。
接着，瞳区域生成部14根据第一图像以及第二图像，生成瞳区域(步骤S14)。图5是详细地示出在步骤S14中进行的处理的内容的流程图。
首先，在步骤S141中，生成处理对象的区域(以下，处理对象区域)。在本实施方式中，将以眼的中心点为中心的、具有预定的直径的圆区域作为处理对象区域(图6(A)所示的标号601)。另外，预定的直径优选为连接左右的眼的中心的距离的15％～30％左右。
步骤S142～S146是去除第二图像的噪声的步骤。
首先，在步骤S142中，在第二图像具有的像素之中，将不表示边缘的像素分类为第一像素类型，将表示边缘的像素分类为第二像素类型。此外，针对位于处理对象区域的外侧的像素，无条件地分类为第二像素类型。
在图6(B)所示的图像602中，以白色来表示分类为第一像素类型的像素(即与边缘不对应的像素)，以黑色来表示分类为第二像素类型的像素(即与边缘对应的像素)。
本实施方式所涉及的图像处理装置根据像素的分类结果(即有无边缘)，对存在瞳的区域进行估计。可是，若仅根据有无边缘而进行分类，则会发生包含与瞳无关系的部位的情况。因此，在本实施方式中，通过进行步骤S143～S145的处理，从而对噪声进行去除。
首先，对分类为第一像素类型的像素，进行基于4近邻的标注(ラベリング)(步骤S143)。即，在某个像素被分类为第一像素类型，且上下左右的4个像素一并被分类为第一像素类型的情况下，对对应的像素赋予相同的标签。由此，对分为多个块而存在的、被分类为第一像素类型的像素的每个集合，分别赋予不同的标签。
另外，标注的方法不限于4近邻，也可以是8近邻等其他的方法。
接着，进行以面积为判定基准的噪声去除(步骤S144)。
首先，按每个标签计算被标注的各块的面积，求出最大面积。然后，针对面积为该最大面积的n％以下的块，将包含的像素重新分类为第二像素类型。由此，能够去除微小的噪声。另外，n的值优选为5～30。
接着，进行以亮度为判定基准的噪声去除(步骤S145)。
首先，针对被标注的各块，取得第一图像的对应的区域中的像素的平均亮度值，从其中求出最低的值(最低平均亮度值)。
然后，针对平均亮度值比最低平均亮度值加上m后的值更高的块，将包含的像素重新分类为第二像素类型。另外，在亮度值为256灰度的情况下，m优选为20～60。
例如，在亮度值以256灰度来表示，且平均亮度值的最低为20，m的值为30的情况下，针对平均亮度值比50更大的块，将包含的所有像素重新分类为第二像素类型。
由此，能够将瞳以外的不存在边缘的区域(例如，与眼白对应的区域、与肌肤对应的区域等)进行去除。
对图像602进行以上所说明的处理后的图像是图6(C)所示的图像603。
通过执行到此为止所说明的步骤，从而能够去除与眼白或肌肤对应的区域、和由噪声引起的区域。
另一方面，看到图像603可知，在瞳的内部存在极高光的情况下，检测到边缘，因此，对应的部分的像素被分类为第二像素类型。因此，在步骤S146中，对由分类为第一像素类型的像素包围而存在的、分类为第二像素类型的像素的块进行检测，当存在这样的块的情况下，将该块中包含的像素重新分类为第一像素类型。由此，能够对第一像素类型进行分类，而不会被存在于瞳中的边缘信息影响。
另外，在本例中，仅当被分类为第二像素类型的像素由被分类为第一像素类型的像素完全包围了的情况下进行了再分类，但是，例如，分类为第二像素类型的像素形成极端的凸形状等，形成作为瞳区域不自然的形状的情况下，也可以仅将与该突出的部分对应的像素再分类为第一像素类型。
对图像603进行步骤S146的处理后的图像是图6(D)所示的图像604。以下，将由分类为第一像素类型的像素构成的区域(图像604所示的白色的区域)称为假定瞳区域。
另外，在图像604中在假定瞳区域的边界存在微小的凹凸，但是，也可以通过进行平滑处理等，从而去除该凹凸。
根据图像604可知，假定瞳区域由与瞳对应的圆形的区域、和与眼睑对应的新月形状的区域组成。其中，与眼睑对应的区域的亮度值低，且不存在边缘，因此，不能进行去除。
因此，本实施方式所涉及的图像处理装置通过以下说明的方法，从假定瞳区域中，仅提取与瞳对应的圆形的区域。
在步骤S147中，通过执行以下说明的三个步骤，生成瞳区域。
(1)决定瞳的中心点的X坐标
本步骤是决定瞳区域的中心的X坐标的步骤。
具体而言，首先，对每个Y坐标，求出作为假定瞳区域的X轴上的中心点的X坐标。图7(A)是表示针对Y坐标的每一个，计算作为中心点的X坐标的概要的图。图中的圆形标记表示所求出的X坐标。另外，图7(A)示出了仅8个Y坐标，但是，实际的计算次数根据图像的分辨率而不同。
接着，根据所得到的X坐标的分布，决定瞳区域的中心的X坐标。例如，可以将得到最多的X坐标的值设为瞳区域的中心。此外，除此之外，只要能够根据多个X坐标的分布进行计算，则也可以采用平均值或中央值等任意的值。图7(B)是表示在本步骤中决定的瞳的中心的X坐标的图。
(2)决定瞳的中心点的Y坐标
本步骤是决定瞳区域的中心的Y坐标的步骤。
具体而言，将假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标。在图8中，白色的虚线表示假定瞳区域的Y坐标的最大值以及最小值，黑色的虚线表示其中间值。
通过上述的处理，求出瞳区域的中心坐标。
(3)决定瞳的直径(瞳径)
本步骤是决定瞳区域的直径(瞳径)的步骤。
具体而言，将通过瞳区域的中心且与X轴平行的轴上的假定瞳区域的径，设为瞳区域的直径。即，图8中的黑色的虚线的长度成为瞳区域的直径。
通过使用这样的方法，即使在假定瞳区域中包含了眼睑的情况下，只要眼睑与瞳的中心相比位于更上方，也能够适当地决定瞳的直径。
另外，由于眼睑或睫毛的形状，存在瞳的中心点的X坐标发生偏移的情况。例如，本步骤中求出的瞳区域的直径的中点与前步骤中求出的瞳的中心点的坐标偏移的情况。在这样的情况下，可以通过其他的方法来重新求出瞳的中心点，也可以通过其他的方法对所求出的中心点的坐标进行修正。
在步骤S148中，使用在步骤S147中决定的瞳区域的中心坐标和瞳区域的直径，生成瞳区域。图9(A)的以阴影表示的区域是使用瞳区域的中心坐标和瞳区域的直径而表示的瞳区域。此外，图9(B)是将该瞳区域重叠在第一图像上的例。
另外，在本例中，瞳的一部分被眼睑遮挡，因此，在这样的情况下，优选为使用眼睑的形状，对瞳区域的形状进行修正。关于眼睑的形状，例如能够使用由瞳检测部12取得的特征点的位置信息，通过样条插值等而进行估计。这样的技术例如在(日本)特开2012-190350号公报、(日本)特开2012-190351号公报中公开。除此之外，在眼睑的形状能够通过其他的手段而取得的情况下，也可以使用该手段。
图10的虚线表示眼睑的形状。例如，也可以将超出到眼睑更外方的区域从瞳区域中删除。
关于所生成的瞳区域的信息被发送至图像修正部15，图像修正部15使用取得的瞳区域，执行对于脸部图像的修正(步骤S15)。作为图像修正部15进行的修正的例，例如，可举出变更瞳的颜色的修正(合成彩色隐形眼镜的修正)。瞳的颜色的变更例如可以通过将瞳的模板图像粘贴到所生成的瞳区域而进行，也可以通过对瞳区域内的像素的色调进行变更而进行。当然，图像修正部15只要是对瞳进行修正，可以进行其他任意的修正。例如，也可以是在瞳的内部追加极高光的修正、或增强瞳的对比度的修正、使瞳孔看起来漂亮的修正等。
修正后的图像存储在未图示的存储装置中、或者发送至外部，提供给用户。
如上所说明的，本实施方式所涉及的图像处理装置从包含人物的眼的图像生成表示边缘的二值图像，并除去噪声，从而确定瞳区域。由此，能够将眼睑或眼白、存在于瞳的内部的极高光、存在于眼的周围的肌肤等除外，同时高精度地仅提取瞳区域。
(第二实施方式)
在第一实施方式中，在步骤S14的处理中，执行了以面积为基准的噪声去除(步骤S144)、和以亮度为基础的噪声去除(步骤S145)的双方。对此，第二实施方式是将步骤S144的处理省略，而仅进行以亮度为基准的噪声去除的实施方式。
第二实施方式所涉及的图像处理装置10除了瞳区域生成部14不进行步骤S144的处理这一点之外，与第一实施方式相同。
如此，省略以面积为基准的噪声去除处理，仅进行以亮度为基准的噪声去除处理，也能够得到本发明的效果。
(变形例)
上述的实施方式只是一例，本发明能够在不脱离其宗旨的范围内进行适当变更而执行。
例如，在实施方式的说明中，例示了进行脸部图像的修正的装置，但图像修正部15作为发明的结构元素不是必须的。例如，对于进行图像的修正的装置或程序，也可以作为通知瞳区域的位置的装置或程序而实施发明。
此外，在实施方式的说明中，以对在存储装置中存储的图像进行处理的图像处理装置为例进行了说明，但图像不一定需要从存储装置取得，例如，也可以是从装置的外部经由有线或者无线网络而取得。
此外，本发明也可以将对图像进行摄像的摄像部件与上述的图像处理装置进行组合，作为具有对人物的瞳进行修正的功能的摄像装置来实施。

Claims (10)

1.一种图像处理装置，其特征在于，具有：
图像取得部件，取得第一图像，所述第一图像是包含人物的眼的图像；
图像生成部件，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；
分类部件，根据有无边缘，对所述第二图像中包含的像素进行分类；以及
瞳区域生成部件，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的瞳对应的区域，
在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，所述分类部件进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。
2.如权利要求1所述的图像处理装置，其特征在于，
所述分类部件由第一分类部件以及第二分类部件构成，
所述第一分类部件在所述第二图像中包含的像素之中，将与边缘不对应的像素分类为第一像素类型，将与边缘对应的像素分类为第二像素类型，
在与边缘不对应的像素分为多个块而存在，并且存在面积比第一阈值小的块、或者第一图像的对应的区域中的像素的平均亮度值比第二阈值高的块的情况下，所述第二分类部件将该块中包含的像素重新分类为第二像素类型，
所述瞳区域生成部件根据被分类为所述第一像素类型的像素的分布，生成瞳区域。
3.如权利要求2所述的图像处理装置，其特征在于，
所述分类部件还包含第三分类部件，
在被分类为第二像素类型的像素的块由被分类为第一像素类型的像素包围了的情况下，所述第三分类部件将该块中包含的像素重新分类为第一像素类型。
4.如权利要求2所述的图像处理装置，其特征在于，
所述第一阈值是对在所述多个块分别具有的面积之中最大的面积乘以预定的比率后的值。
5.如权利要求2所述的图像处理装置，其特征在于，
所述第二阈值是对与所述多个块分别对应的平均亮度值之中最低的值加上预定的值后的值。
6.如权利要求2所述的图像处理装置，其特征在于，
在以所述第一图像的横方向为X轴，以纵方向为Y轴，且将由被分类为所述第一像素类型的像素构成的区域设为假定瞳区域的情况下，
所述瞳区域生成部件将所述假定瞳区域的Y坐标的最大值以及最小值的中间值设为瞳区域的中心的Y坐标，对每个Y坐标求出作为所述假定瞳区域的X轴上的中心点的X坐标，并根据所得到的X坐标的分布，决定瞳区域的中心的X坐标。
7.如权利要求6所述的图像处理装置，其特征在于，
所述瞳区域生成部件将通过所述瞳区域的中心且与X轴平行的轴上的所述假定瞳区域的径，设为瞳区域的直径。
8.如权利要求2所述的图像处理装置，其特征在于，还具有：
位置信息取得部件，取得表示眼睑的边界位置的位置信息，
所述瞳区域生成部件基于所述位置信息，对所生成的瞳区域的形状进行修正。
9.如权利要求2～8的任一项所述的图像处理装置，其特征在于，
所述第一分类部件设定以眼的中心点为中心的预定的大小的圆区域，将位于该圆区域之外的像素无条件地分类为第二像素类型。
10.一种由图像处理装置进行的图像处理方法，所述图像处理装置从作为包含人物的眼的图像的第一图像中，提取作为与该人物的瞳对应的区域的瞳区域，所述图像处理方法的特征在于，包括：
图像取得步骤，取得第一图像；
图像生成步骤，生成第二图像，所述第二图像是表示所述第一图像的边缘的二值图像；
分类步骤，根据有无边缘，对所述第二图像中包含的像素进行分类；以及
瞳区域生成步骤，根据所述分类结果，生成瞳区域，所述瞳区域是所述第一图像中的与人物的瞳对应的区域，
在所述分类步骤中，在所述第二图像中，具有相同的值的像素分为多个块而存在的情况下，进一步根据该块的面积、或者与该块对应的第一图像中的像素的亮度值，进行像素的分类。
CN201510701299.8A 2015-03-26 2015-10-26 图像处理装置以及图像处理方法 Active CN106022205B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-064378 2015-03-26
JP2015064378A JP6497162B2 (ja) 2015-03-26 2015-03-26 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN106022205A true CN106022205A (zh) 2016-10-12
CN106022205B CN106022205B (zh) 2019-06-11

Family

ID=54360876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510701299.8A Active CN106022205B (zh) 2015-03-26 2015-10-26 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9762773B2 (zh)
EP (1) EP3073415B1 (zh)
JP (1) JP6497162B2 (zh)
KR (1) KR20160115663A (zh)
CN (1) CN106022205B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392152A (zh) * 2017-07-21 2017-11-24 青岛海信移动通信技术股份有限公司 一种获取虹膜图像的方法及装置
CN109035136A (zh) * 2018-07-26 2018-12-18 北京小米移动软件有限公司 图像处理方法及装置、存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866867B1 (ko) * 2016-12-07 2018-06-14 주식회사 쓰리이 동공 중심 검출 방법
CN108427926A (zh) * 2018-03-16 2018-08-21 西安电子科技大学 一种视线跟踪系统中的瞳孔定位方法
US10949969B1 (en) * 2018-03-20 2021-03-16 Welch Allyn, Inc. Pupil edge region removal in digital imaging
JP7137746B2 (ja) * 2019-01-30 2022-09-15 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法および映像処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422596A (zh) * 2000-08-09 2003-06-11 松下电器产业株式会社 眼睛位置检测方法以及眼睛位置检测装置
US20070013866A1 (en) * 2004-07-14 2007-01-18 Morio Sugita Pupil detection device and iris suthentication apparatus
US20100054548A1 (en) * 2008-09-03 2010-03-04 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
CN103238097A (zh) * 2010-11-30 2013-08-07 富士胶片株式会社 成像设备和对焦位置检测方法
CN103780848A (zh) * 2012-10-19 2014-05-07 佳能株式会社 图像传感器和摄像设备
CN103927509A (zh) * 2013-01-16 2014-07-16 腾讯科技（深圳）有限公司 眼睛定位方法及装置
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3510040B2 (ja) * 1996-03-26 2004-03-22 コニカミノルタホールディングス株式会社 画像処理方法
US5790235A (en) * 1997-03-26 1998-08-04 Carl Zeiss, Inc. Method and apparatus to measure pupil size and position
JP3773657B2 (ja) * 1998-06-18 2006-05-10 株式会社資生堂 眉変形システム
JP4789408B2 (ja) * 2003-06-30 2011-10-12 株式会社 資生堂 目の形態分類方法及び形態分類マップ並びに目の化粧方法
JP2005202562A (ja) * 2004-01-14 2005-07-28 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4151624B2 (ja) * 2004-07-14 2008-09-17 松下電器産業株式会社 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法
US7444017B2 (en) * 2004-11-10 2008-10-28 Eastman Kodak Company Detecting irises and pupils in images of humans
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
FR2907569B1 (fr) * 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
US8055074B2 (en) * 2007-01-17 2011-11-08 Donald Martin Monro Shape representation using fourier transforms
JP2009176047A (ja) * 2008-01-24 2009-08-06 Nippon Telegr & Teleph Corp <Ntt> 目中心測定装置、目中心測定プログラム、及び目中心測定方法
KR100950138B1 (ko) 2009-08-17 2010-03-30 퍼스텍주식회사 얼굴 이미지에서의 눈동자 검출 방법
JP5187372B2 (ja) * 2010-10-12 2013-04-24 沖電気工業株式会社 個人認証システム及び個人認証方法
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
JP4893863B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
EP2690581A1 (en) * 2012-07-27 2014-01-29 Canon Kabushiki Kaisha Method and apparatus for detecting a pupil
JP5995217B2 (ja) * 2012-09-20 2016-09-21 国立研究開発法人産業技術総合研究所 瞳孔部分を近似する楕円の検出を行う方法
KR101610525B1 (ko) * 2014-10-20 2016-04-07 현대자동차주식회사 조도를 고려한 동공 검출 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422596A (zh) * 2000-08-09 2003-06-11 松下电器产业株式会社 眼睛位置检测方法以及眼睛位置检测装置
US20070013866A1 (en) * 2004-07-14 2007-01-18 Morio Sugita Pupil detection device and iris suthentication apparatus
US20100054548A1 (en) * 2008-09-03 2010-03-04 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
CN103238097A (zh) * 2010-11-30 2013-08-07 富士胶片株式会社 成像设备和对焦位置检测方法
CN103780848A (zh) * 2012-10-19 2014-05-07 佳能株式会社 图像传感器和摄像设备
CN103927509A (zh) * 2013-01-16 2014-07-16 腾讯科技（深圳）有限公司 眼睛定位方法及装置
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392152A (zh) * 2017-07-21 2017-11-24 青岛海信移动通信技术股份有限公司 一种获取虹膜图像的方法及装置
CN109035136A (zh) * 2018-07-26 2018-12-18 北京小米移动软件有限公司 图像处理方法及装置、存储介质
CN109035136B (zh) * 2018-07-26 2023-05-09 北京小米移动软件有限公司 图像处理方法及装置、存储介质

Also Published As

Publication number Publication date
US9762773B2 (en) 2017-09-12
US20160286092A1 (en) 2016-09-29
KR20160115663A (ko) 2016-10-06
JP2016184305A (ja) 2016-10-20
EP3073415B1 (en) 2023-08-30
JP6497162B2 (ja) 2019-04-10
CN106022205B (zh) 2019-06-11
EP3073415A1 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
CN106022205A (zh) 图像处理装置以及图像处理方法
Li et al. Multifocus image fusion via fixed window technique of multiscale images and non-local means filtering
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
Aquino et al. vitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis
TWI777092B (zh) 一種圖像處理方法、電子設備及存儲介質
CN110008806B (zh) 信息处理装置、学习处理方法、学习装置及物体识别装置
Nasir et al. Unsupervised colour segmentation of white blood cell for acute leukaemia images
US9858680B2 (en) Image processing device and imaging apparatus
CN104075965B (zh) 一种基于分水岭分割的显微图像颗粒粒度测量方法
CN108986125B (zh) 物体边缘提取方法、装置及电子设备
Ngo et al. Single-image visibility restoration: A machine learning approach and its 4K-capable hardware accelerator
WO2020001236A1 (zh) 提取医学图像标注的方法及装置
JP2010205067A (ja) 領域抽出装置、領域抽出方法及び領域抽出プログラム
Son et al. Morphological change tracking of dendritic spines based on structural features
JP2012048484A (ja) 画像処理装置、画像処理方法及びプログラム
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN111640123B (zh) 无背景图像的生成方法、装置、设备及介质
JP5338762B2 (ja) ホワイトバランス係数算出装置及びプログラム
CN108682021A (zh) 快速手部跟踪方法、装置、终端及存储介质
US20170352170A1 (en) Nearsighted camera object detection
CN116883426A (zh) 肺区分割、肺疾病评估方法及装置、电子设备和存储介质
CN107742316B (zh) 图像拼接点获取方法及获取装置
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
CN107103321B (zh) 道路二值化图像的生成方法及生成系统
Li et al. FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant