CN104063709B - 视线检测装置及方法、图像捕获装置及其控制方法 - Google Patents

视线检测装置及方法、图像捕获装置及其控制方法 Download PDF

Info

Publication number
CN104063709B
CN104063709B CN201410103773.2A CN201410103773A CN104063709B CN 104063709 B CN104063709 B CN 104063709B CN 201410103773 A CN201410103773 A CN 201410103773A CN 104063709 B CN104063709 B CN 104063709B
Authority
CN
China
Prior art keywords
sight
image
ocular
face
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410103773.2A
Other languages
English (en)
Other versions
CN104063709A (zh
Inventor
金田雄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104063709A publication Critical patent/CN104063709A/zh
Application granted granted Critical
Publication of CN104063709B publication Critical patent/CN104063709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供视线检测装置及方法、图像捕获装置及其控制方法，该视线检测装置被配置为计算面部图像的眼部区域中的平均亮度值，在计算出的平均亮度值等于或者大于预定值的情况下确定被摄体为虹膜区域是蓝色或者绿色的人物，基于所确定的虹膜区域的颜色确定用于校正所述眼部区域的校正参数，并生成通过使用所确定的校正参数校正了所述眼部区域的亮度图像。因此，所述视线检测装置能够以高精度检测视线，而与虹膜区域的颜色无关。

Description

视线检测装置及方法、图像捕获装置及其控制方法
技术领域
本发明涉及一种视线检测装置、图像捕获装置、视线检测方法、图像捕获装置的控制方法。本发明尤其涉及一种适合用于检测各种颜色的眼睛的视线的技术。
背景技术
迄今为止，已知如下技术：从包含人物面部的图像中提取面部区域并分析提取出的面部区域，以识别该面部区域属性。通过将该技术应用到图像捕获装置，可以在要由图像捕获装置拍摄的人物微笑的定时记录面部图像，或者可以在人物的视线朝向图像捕获装置的定时记录面部图像。因此，上述技术是非常有用的。
例如，已知日本特开2007-265367号公报中讨论的方法，作为用于基于面部图像估计视线的方向的技术。该方法被称为基于特征点的方法，其中，从面部图像中检测诸如眼睛和嘴的特征点，并且通过使用特征点之间的距离来估计视线的方向。同时，还已知如日本特开2009-59257号公报中讨论的方法那样的、所谓的基于表观(appearance)的方法，其中，直接从面部图像估计视线的方向，而不检测特征点。
当采用基于特征点的方法时，为了以高精度检测人物的视线，尤其需要准确地检测眼部区域内的瞳孔(或者虹膜和瞳孔)的位置。另一方面，当采用基于表观的方法时，需要准确地检测诸如眼部区域内的瞳孔区域的边缘的特征量。
然而，根据人物的不同，瞳孔内的虹膜区域的颜色可以是绿色、蓝色、棕色和黑色等，因此，根据人物的不同而生成各种亮度图案。可以将这些亮度图案粗略地划分为如下两种类型：一种类型为，瞳孔区域内的亮度值的分布较小，如黑色瞳孔那样；另一种类型为，瞳孔区域内的亮度值的分布较大，例如，诸如蓝色瞳孔的浅色瞳孔。以这种方式，由于根据人物的不同而存在各种亮度图案，因此当使用基于特征点的方法来检测人物的视线时，瞳孔区域的重心位置可能彼此偏离，从而可能降低检测视线的精度。同时，如果使用基于表观的方法来检测人物的视线，瞳孔区域中的特征量可能变化，因此同样会降低检测视线的精度。
发明内容
本发明使得能够以高精度检测视线，而与瞳孔区域内的虹膜区域的颜色无关。
根据本发明的一方面，提供了一种视线检测装置，其包括：获得单元，其被配置为获得面部图像；区域设置单元，其被配置为在由所述获得单元获得的所述面部图像中设置眼部区域；确定单元，其被配置为确定由所述区域设置单元设置的所述眼部区域的眼睛类型；参数设置单元，其被配置为基于由所述确定单元确定的所述眼睛类型，设置所述眼部区域的校正参数；生成单元，其被配置为生成基于所述校正参数校正了所述眼部区域的亮度图像；以及视线检测单元，其被配置为根据由所述生成单元生成的所述亮度图像的所述眼部区域，检测所述面部图像中的面部的视线。
从以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是例示根据第一示例性实施例的图像捕获装置的整体结构示例的框图。
图2是例示根据第一示例性实施例的图像捕获装置的整体处理过程的示例的流程图。
图3是例示视线检测处理中的详细处理过程的示例的流程图。
图4A和图4B是用于描述面部、嘴和眼睛的中心位置及标准化(normalize)亮度图像的图。
图5是用于描述整个面部区域的图。
图6是用于描述待设置的左眼区域和右眼区域的图。
图7是用于描述眼部区域内的虹膜区域的颜色差异的图。
图8是例示眼睛类型确定处理中的详细处理过程的示例的流程图。
图9是用于描述不同的亮度值的直方图的图。
图10是用于描述在X和Y方向上的投影直方图的图。
图11是例示根据眼睛类型的校正处理中的详细处理过程的示例的流程图。
图12是用于描述已经校正亮度的眼部区域的图。
图13是用于描述校正系数Th1与Th2之间的关系的图。
图14例示了要根据眼部区域内的虹膜区域的颜色应用的校正系数Th1和Th2的表的示例。
图15是例示根据第二示例性实施例的图像捕获装置的整体结构示例的框图。
图16是例示根据第二示例性实施例的图像捕获装置的整体处理过程的示例的流程图。
图17是例示用于生成第二标准化亮度图像的处理中的详细处理过程的示例的流程图。
图18是例示根据第三示例性实施例的图像捕获装置的整体结构示例的框图。
图19是例示根据第三示例性实施例的图像捕获装置的整体处理过程的示例的流程图。
图20是用于描述在第三示例性实施例中选择视线检测器的过程的图。
具体实施方式
下面，将参照附图详细说明本发明的各种示例性实施例、特征和方面。
以下，将说明本发明的第一示例性实施例。图1是例示根据第一示例性实施例的图像捕获装置100的整体结构示例的框图。全部或部分图像捕获装置100可作为视线检测装置。如图1所示，图像捕获装置100包括图像获得单元101、面部检测单元102、标准化图像生成单元103、区域设置单元104、眼睛类型确定单元105、参数设置单元106和校正处理单元107。图像捕获装置100还包括视线检测单元108、图像记录单元109、整体控制图像捕获装置100的控制单元110以及包括快门按钮等的操作单元111。另外，内置型或可移动型的记录介质112附装于图像捕获装置100。根据第一示例性实施例，在被摄体的视线朝向图像捕获装置100的定时，拍摄被摄体的图像。
图2是例示根据第一示例性实施例的图像捕获装置100的整体处理过程的示例的流程图。在步骤S201中，控制单元110待机，直到控制单元110检测到通过半按下操作单元111中的快门按钮发出的、开始拍摄图像的指令为止。如果控制单元110检测到开始拍摄图像的指令(步骤S201中为是)，则处理进入到步骤S202。
在步骤S202中，图像获得单元101通过诸如透镜的聚光元件、将光转换为电信号的图像传感器(例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))、以及将模拟信号转换为数字信号的模拟到数字(AD)转换器，来获得数字信号形式的图像数据。还可以通过细化(thinning)处理等来获得已经被转换成例如视频图形阵列(VGA)图像(640×480[像素])或四分之一视频图形阵列(QVGA)图像(320×240[像素])的面部图像。
在步骤S203中，面部检测单元102对在步骤S202中获得的图像数据执行面部检测处理。在面部检测处理中，可以采用诸如文献P.Viola，M.Jones，″Rapid Object Detectionusing a Boosted Cascade of Simple Features″，in Proc.Of CVPR，vol.1，pp.511-518，December，2001中描述面部检测方法，在第一示例性实施例中使用该方法。通过步骤S203中的面部检测处理，获得关于沿图4A所示的xy平面的左右眼的中心坐标401和402、面部的中心坐标403及嘴的中心坐标404的信息。
在步骤S204中，面部检测单元102确定是否通过步骤S203中的面部检测处理检测到面部。如果确定结果表示没有检测到面部(步骤S204中为否)，则处理返回到步骤S202，并获得其他图像数据。另一方面，如果步骤S204中的确定结果表示已经检测到面部(步骤S204中为是)，则处理进入到步骤S205。在步骤S205中，面部检测单元102从在步骤S203中检测到的面部中选择面部。
在步骤S206中，标准化图像生成单元103生成如下所述的标准化亮度图像。具体地，标准化图像生成单元103通过使用在步骤S203中已经获得的、图4A中所示的左右眼的中心坐标401和402、面部的中心坐标403及嘴的中心坐标404，来执行仿射变换，使得变换后的面部直立并具有预定大小。从而生成了图4B所示的标准化亮度图像405。这里，需要提取关于面部方向和眼睛方向的信息，以检测被摄体的视线。因此，在第一示例性实施例中，生成了如下两个标准化亮度图像，一个用于提取与面部方向有关的特征，另一个用于提取与眼睛方向有关的特征。
在步骤S207中，区域设置单元104在步骤S206中生成的两个标准化亮度图像中的一个中检测特征点，并基于检测到的特征点进行区域设置。区域设置单元104可以在使用步骤S207中检测到的特征点的同时再次执行步骤S206中的处理，并在由此获得的标准化亮度图像中再次进行区域设置。
在检测特征点中，通过使用预先针对面部的各个特征点准备的模板，来检查与该模板的相关性最高的位置。作为其他方法，还可以采用诸如文献Timothy F.Cootes，GarethJ.Edwards，and Christopher J.Taylor，″Active Appearance Models，″IEEETransactions on Pattern Analysis and Machine Intelligence，Vol.23，No.6，JUNE2001中描述的基于模型的方法。执行检测特征点的处理以提高设定区域的定位精度，并且在要高速检测视线的情况下不需要执行特征点检测。在这种情况下，区域设置单元104通过使用在步骤S203中获得的左右眼的中心坐标401和402、面部的中心坐标403及嘴的中心坐标404，来设置区域。在第一示例性实施例中，提取与面部方向有关的特征，因此，在步骤S207中，区域设置单元104基于检测特征点的结果，在图5中所示的标准化亮度图像中设置整个面部区域501。
在步骤S208中，眼睛类型确定单元105确定在步骤S207中设置的区域是否对应于眼部区域。如果确定结果表示设置的区域对应于眼部区域(在步骤S208中为是)，则处理进入到步骤S209。如果设置的区域不对应于眼部区域(在步骤S208中为否)，则处理进入到步骤S211。在第一示例性实施例中，如上所述首先设置不对应于眼部区域的整个面部区域501。因此，作为初始确定的结果，处理进入到步骤S211。在步骤S211中，视线检测单元108检测视线。
图3是例示在步骤S211中由视线检测单元108执行的视线检测处理的详细处理过程的示例的流程图。在步骤S301中，视线检测单元108从在步骤S207中设置的整个面部区域501中提取特征点。例如，视线检测单元108提取被称为如文献C.Shan and T.Gritti，″Learning Discriminative LBP-Histogram Bins For Facial ExpressionRecognition，″In Proc.British Machine Vision.Conference，2008中描述的局部二值模式的特征(下文中称为LBP特征)，然后基于提取出的LBP特征生成直方图。另外，视线检测单元108可以生成如文献Dalai and Triggs，″Histograms of Oriented Gradients forHuman Detection，″Proceedings of the IEEE Conference on Computer Vision andPattern Recognition，2005中描述的亮度梯度的直方图，或者视线检测单元108可以使用LBP特征或者亮度梯度本身来替代直方图。
在步骤S302中，视线检测单元108确定对于需要检测视线的所有区域是否已经完成了处理。为了检测被摄体的视线，需要提取与面部方向有关的特征以及与眼睛方向有关的特征。然而，在初始处理中，仅提取与面部方向有关的特征，因此处理返回到步骤S207以提取与眼睛方向有关的特征。
返回到步骤S207中，区域设置单元104从步骤S206中生成的另一标准化图像中再次检测特征点，并基于检测到的特征点设置图6中所示的左眼区域601和右眼区域602。换句话说，区域设置单元104设置左右眼的眼部区域以提取与眼睛方向有关的特征。或者，区域设置单元104可以基于通过步骤S203中的面部检测处理获得的左右眼的中心坐标401和402、面部的中心坐标403及嘴的中心坐标404，来设置眼部区域，而不检测特征点。作为另选方案，区域设置单元104可以基于为设置整个面部区域501而执行的特征点的检测的结果，来设置眼部区域。
当眼睛类型确定单元105在步骤S208中确定在步骤S207中设置的区域是否对应于眼部区域时，由于已经在紧接在步骤S207之前的处理中设置了眼睛类型，因此处理进入到步骤S209。在步骤S209中，眼睛类型确定单元105确定在步骤S207中设置的左眼区域601和右眼区域602的眼睛类型。
图7例示了虹膜区域是黑色的人物的眼睛的亮度图像701和虹膜区域是蓝色或绿色的人物的眼睛的亮度图像702。当彩色图像被转换成亮度图像时，虹膜区域中的亮度分布根据虹膜的颜色不同而不同。在检测视线中，通过准确地识别包括虹膜区域的瞳孔区域，来以高精度检测被摄体的眼睛朝向的方向是很重要的。
然而，当使用基于特征点的方法检测视线时，由于瞳孔区域的亮度图案根据虹膜区域的颜色不同而不同，因此检测虹膜区域的位置的精度降低，从而会降低检测视线的精度。另一方面，当使用基于表观的方法检测视线时，针对虹膜区域的不同颜色而生成不同的特征图案，结果会降低检测视线的精度。第一示例性实施例解决了由于虹膜区域的颜色而出现的这种问题。在下文中，将详细描述眼睛类型的确定。
图8是例示在步骤S209中由眼睛类型确定单元105执行的眼睛类型确定处理中的详细处理过程的示例的流程图。在步骤S801中，眼睛类型确定单元105计算诸如平均亮度值的数据，以确定步骤S207中设置的左眼区域601和右眼区域602的眼睛类型。具体地说，如图7中所示的虹膜区域是黑色的人物的亮度图像701和虹膜区域的是蓝色或绿色的人物的亮度图像702所表示的，虹膜区域的亮度值根据虹膜的颜色不同而不同。基于这种差异，眼睛类型确定单元105确定被摄体是否是虹膜区域是蓝色和绿色的人物。在第一示例性实施例中，虽然使用平均亮度值作为用于确定眼睛类型的指标，但是也可以替代地使用亮度值的总和。
在步骤S802中，眼睛类型确定单元105确定步骤S801中计算的平均亮度值是否大于预定值。这里使用的预定值可以通过预先分析大量的数据来设置。如果步骤S802中的确定结果表示平均亮度值大于预定值(步骤S802中为是)，则在步骤S803中，眼睛类型确定单元105确定被摄体是虹膜区域是蓝色和绿色之一的人物。另一方面，如果平均亮度值等于或小于预定值(步骤S802中为否)，则在骤S804中，眼睛类型确定单元105确定被摄体不是虹膜区域是蓝色或绿色的人物。
在上述说明中，区域设置单元104在标准化亮度图像中设置眼部区域，并且眼睛类型确定单元105确定被摄体是否为虹膜区域是蓝色或绿色的人物。然而，不限于必须基于标准化亮度图像进行该确定，眼睛类型确定单元105可以基于彩色图像来确定被摄体是否为膜区域是蓝色和绿色的人物。
或者，可以通过以下方法确定眼睛类型。例如，可以在步骤S207中设置的眼部区域中定义具有低亮度值、中间亮度值及高亮度值的范围，并且可以基于这些亮度值生成图9所示的直方图。然后，可以基于低亮度值、中间亮度值及高亮度值的频率确定眼睛类型。作为另选方案，在对亮度进行二值化处理之后，可以针对黑暗部分的像素生成图10所示的X和Y方向的投影直方图。然后，可以基于该直方图的宽度或高度确定眼睛类型。作为另选方案，在可以使用颜色信息的情况下，可以针对步骤S207中设置的眼部区域生成RGB颜色直方图，然后，通过使用该颜色直方图确定眼睛类型。颜色直方图的使用使得能够精细地区分蓝色虹膜和绿色虹膜。
返回参照图2，当眼睛类型被确定时，在步骤S210中，基于步骤S209中的确定结果执行校正处理。
图11是例示在步骤S210中进行的、根据眼睛类型的校正处理中的详细处理过程的示例的流程图。在步骤S1101中，参数设置单元106基于在步骤S209中确定的眼睛类型设置与校正处理有关的参数。参数设置单元106设置与校正处理有关的参数，使得眼睛的亮度图像具有相同的亮度分布而与虹膜区域的颜色无关，如图12中示出的亮度图像1201和1202。
这里，与校正处理有关的参数例如是指如图13中所示的用于校正亮度的函数中的校正系数Th1和Th2。另外，图14例示了要根据虹膜区域的颜色设置的校正系数Th1和Th2的表的示例，并且设置该校正系数Th1和Th2使得满足关系a1＞b1或a2＞b2。虽然在第一示例性实施例中描述了图13中所示的线性函数，但是也可以替代地使用利用诸如伽马函数的非线性函数的方法。
在步骤S1102中，校正处理单元107使用在步骤S1101中设置的参数来校正亮度，并且生成与虹膜区域的颜色无关而具有相同亮度分布的眼睛的亮度图像。当以这种方式在步骤S210中完成了根据眼睛类型的校正处理时，处理进入到步骤S211。
返回参照图3，在步骤S301中，视线检测单元108以与从面部区域提取特征相同的方式，从左眼区域601和右眼区域602中提取特征。由于在步骤S1102中已经执行了根据虹膜区域的颜色的校正处理，因此提取不依赖于虹膜区域的颜色的特征。
在步骤S302中，视线检测单元108确定对于需要检测视线的所有区域是否已经完成了处理。由于已经通过至目前为止执行的处理提取了与面部方向有关的特征和与眼睛方向有关的特征，因此，作为步骤S302中的确定结果，处理进入到步骤S303。
在步骤S303中，视线检测单元108通过使用在步骤S301中提取的与面部方向和眼睛方向有关的特征，来计算在步骤S205中选择的面部的视线朝向图像捕获装置100的似然性(或得分)。然后，通过对计算出的似然性的阈值处理，视线检测单元108确定步骤S205中选择的面部的视线是否朝向图像处理装置100。
通过使用例如文献V.Vapnik.″Statistical Learning Theory，″John Wiley&Sons，1998中描述的支持向量机(SVM)，可以在步骤S303中计算似然性。换句话说，视线检测单元108通过使用视线朝向图像捕获装置100的特征组和视线没有朝向图像捕获装置100的特征组来预先学习，并在步骤S303中计算似然性。
用于在步骤S303中计算似然性的方法不局限于文献V.Vapnik.″StatisticalLearning Theory，″John Wiley&Sons，1998中描述的技术，而可以替代地使用其他的技术。在以上的描述中，视线检测单元108确定视线是否朝向图像捕获装置100。或者，例如，视线检测单元108可以通过使用多个鉴别器计算多个角度的似然性，并且可以输出与计算出最大值的鉴别器相对应的视线的方向，作为被摄体的视线的方向。除此之外，例如，可以在学习中设置相对于作为基准的预定轴的角度θ作为标签，并且可以通过设置该标签和特征并计算回归函数，来输出视线的角度。
返回参照图2，在步骤S212中，视线检测单元108确定在步骤S203中检测到的面部中的预定比例或更大比例的面部是否朝向图像捕获装置100。如果确定结果表示预定比例或更大比例的面部朝向图像捕获装置100(在步骤S212中为是)，则处理进入到步骤S213。如果结果表示相反(在步骤S212中为否)，则处理进入到步骤S214。
在步骤S213中，图像记录单元109将指示开始拍摄图像之后在步骤S202中获得的图像数据，记录在诸如存储卡和内部记录设备的记录介质112中。在步骤S214中，确定是否针对在步骤S203中检测到的所有面部完成了处理。如果确定结果表示没有针对所有面部执行处理(在步骤S214中为否)，则处理进入到步骤S205。如果对于所有的面部执行了处理(在步骤S214中为是)，则处理终止。
如上所述，根据第一示例性实施例，在基于眼睛类型的确定结果设置校正参数后执行校正处理，然后检测视线。因此，能够以高精度检测视线而与虹膜的颜色无关。
在第一示例性实施例中，通过基于表观的方法来检测视线。或者，也可以通过使用图2的步骤S210中已经校正的亮度图像来检测特征点，然后，能够通过基于特征点的方法以高精度检测视线，而与虹膜的颜色无关。
在下文中，将描述本发明的第二示例性实施例。图15是例示根据第二示例性实施例的图像捕获装置1500的整体结构示例的框图。图像捕获装置1500不同于图1中所示的图像捕获装置100之处在于，图像捕获装置1500包括转换系数设置单元1501和亮度图像生成单元1502，而取代了参数设置单元106和校正处理单元107。其他结构类似于第一示例性实施例，因此将省略其描述。
图16是例示根据第二示例性实施例的图像捕获装置1500的整体处理过程的示例的流程图。步骤S1601至S1605的处理与第一示例性实施例中描述的图2的步骤S201至S205的处理相同，因此将省略其说明。
在步骤S1606中，标准化图像生成单元103通过类似于第一示例性实施例中描述的步骤S206的过程来执行仿射变换，以生成第一标准化亮度图像。
在步骤S1607中，区域设置单元104在第一标准化亮度图像中检测特征点，并基于检测到的特征点进行区域设置。首先，与在第一示例性实施例中相同，区域设置单元104将左右眼的中心坐标401和402、面部的中心坐标403和嘴的中心坐标404转换成在步骤S1606中生成的第一标准化亮度图像的坐标系，然后设置整个面部区域501。
在步骤S1608中，眼睛类型确定单元105确定在步骤S1607中设置的区域是否对应于眼部区域。如果确定结果表示设置的区域对应于眼部区域(在步骤S1608中为是)，则处理进入到步骤S1609。如果设置的区域不对应于眼部区域(在步骤S1608中为否)，则处理进入到步骤S1611。如上所述，首先设置了整个面部区域，并且该区域不对应于眼部区域。因此，在初始确定中，处理进入到步骤S1611。在步骤S1611中，视线检测单元108检测视线。在步骤S1611中，与第一示例性实施例中相同，首先从整个面部区域中提取特征，并且处理返回到步骤S1607。这里的过程类似于第一示例性实施例中的图3中所示的过程，因此将省略其详细描述。
然后，在步骤S1607中，区域设置单元104再次将左右眼的中心坐标401和402、面部的中心坐标403和嘴的中心坐标404转换成用于生成标准化亮度图像的彩色图像的坐标系，并设置眼部区域。由于已经在紧接在步骤S1607之前的处理中设置了眼部区域，因此作为步骤S1608的确定结果，处理前进到步骤S1609。步骤S1609中的过程类似于第一示例性实施例中描述的图8中的过程，因此将省略其详细描述。
在步骤S1610中，根据步骤S1609中的眼睛类型的确定结果，由用于生成标准化亮度图像的彩色图像，来生成第二标准化亮度图像。
图17是例示用于在步骤S1610中生成第二标准化亮度图像的详细处理过程的示例的流程图。在步骤S1701中，转换系数设置单元1501基于步骤S1609中的眼睛类型的确定结果来设置亮度转换系数。通常，当由RGB彩色图像中生成亮度图像时，使用以下表达式和亮度转换系数。
Y=C1*R+C2*G+C3*B
C1=0.299，C2=0.587，C3=0.114
然而，在第二示例性实施例的步骤S1701中，根据眼睛类型的确定结果修改亮度转换系数C1、C2和C3。换句话说，例如，如果虹膜区域是蓝色，则B的权重可以被设置得比G和R的权重高，而或者如果虹膜区域是绿色，则G的权重可以被设置得比B和R的权重高。以这种方式，根据虹膜区域的颜色来修改亮度转换系数C1、C2和C3。由此，能够生成更不容易受到虹膜区域的颜色的影响的亮度图像。
在步骤S1702中，亮度图像生成单元1502通过使用步骤S1701中设置的亮度转换系数生成第二标准化亮度图像。
返回参照图16，在步骤S1611中，视线检测单元108通过类似于图3中的过程，使用第二标准化亮度图像检测视线，因此视线检测单元108能够以高精度检测视线。步骤S1612至S1614中的处理类似于图2的步骤S212至S214中的处理，因此将省略其描述。
如上所述，根据第二示例性实施例，基于眼睛类型的确定结果来修改亮度转换系数，然后生成亮度图像。因此，能够以高精度检测视线，而与虹膜的颜色无关。
在下文中，将描述用于实施本发明的第三示例性实施例。图18是例示根据第三示例性实施例的图像捕获装置1800的整体结构示例的框图。图像捕获装置1800不同于图1中所示的图像捕获装置100之处在于，参数设置单元106、校正处理单元107和视线检测单元108被替换为视线检测器选择单元1801和视线检测单元1802。其他结构类似于第一示例性实施例，因此将省略其描述。
图19是例示根据第三示例性实施例的图像捕获装置1800的整体处理过程的示例的流程图。步骤S1901至S1909和步骤S1912至S1914中的处理与第一示例性实施例中描述的图2的步骤S201至S209和步骤S212至S214中的处理相同，因此将省略其描述。此外，通过类似于第一示例性实施例中的过程来设置眼部区域，从而确定眼睛类型。
在步骤S1910中，视线检测器选择单元1801基于步骤S1909中的眼睛类型的确定结果选择用于检测视线的视线检测器。在第一示例性实施例中，对生成的亮度图像执行了校正处理，在第二示例性实施例中，修改了生成亮度图像时使用亮度转换系数。因此，已经生成了不依赖于虹膜的颜色的亮度图像。另一方面，在第三示例性实施例中，根据虹膜的颜色而准备视线检测器，视线检测器选择单元1801基于步骤S1909中的眼睛类型的确定结果选择视线检测器中的一个。例如，如图20所示，虹膜区域的颜色被划分为绿色、蓝色、棕色和黑色，并且针对各个颜色准备视线检测器。然后，视线检测器选择单元1801基于虹膜的颜色选择视线检测器，在步骤S1911中，视线检测器选择单元1802通过使用在步骤S1910中选择的视线检测器来检测被摄体的视线。
如上所述，根据第三示例性实施例，基于眼睛类型的确定结果来选择视线检测器。因此，能够以高精度检测视线，而与虹膜的颜色无关。
其他实施例
本发明的实施例还可以通过读出并执行记录在存储介质(例如，非易失性计算机可读存储介质)上的计算机可执行指令以执行本发明的一个或多个上述实施例的功能的系统或装置的计算机、以及通过由该系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行一个或多个上述实施例的功能的方法来实现。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或多个，并且可以包括不同的计算机或不同的计算机处理器的网络。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统存储器、光盘(如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)TM)、闪速设备、存储卡等中的一个或多个。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构及功能。

Claims (13)

1.一种视线检测装置，其包括：
获得单元，其被配置为获得面部图像；
区域设置单元，其被配置为在由所述获得单元获得的所述面部图像中设置眼部区域；
确定单元，其被配置为确定由所述区域设置单元设置的所述眼部区域中虹膜区域的颜色；
参数设置单元，其被配置为设置与校正处理有关的校正参数，以使眼部的亮度图像具有相同的亮度分布而与所述确定单元确定的虹膜区域的颜色无关；
生成单元，其被配置为生成基于所述校正参数校正了所述眼部区域的亮度图像；以及
视线检测单元，其被配置为根据由所述生成单元生成的所述亮度图像的所述眼部区域，检测所述面部图像中的面部的视线。
2.根据权利要求1所述的视线检测装置，
其中，所述校正参数是与亮度校正有关的校正系数，并且
其中，所述生成单元通过基于所述校正系数校正所述眼部区域的亮度，来生成所述亮度图像。
3.根据权利要求1所述的视线检测装置，
其中，所述校正参数是用于将彩色图像转换成所述亮度图像的转换系数，并且
其中，所述生成单元基于所述转换系数生成所述亮度图像。
4.根据权利要求1所述的视线检测装置，其中，所述确定单元通过计算所述眼部区域的平均亮度值和亮度值总和中的一个，来确定所述虹膜区域的颜色。
5.根据权利要求1所述的视线检测装置，其中，所述确定单元通过使用与亮度值和颜色中的一个有关的直方图，来确定所述虹膜区域的颜色。
6.根据权利要求1所述的视线检测装置，其中，所述视线检测装置从所述眼部区域中提取特征，以计算所述面部朝向图像捕获装置的似然性和相对于作为基准的预定轴的角度中的一个。
7.一种视线检测装置，其包括：
获得单元，其被配置为获得面部图像；
区域设置单元，其被配置为在由所述获得单元获得的所述面部图像中设置眼部区域；
确定单元，其被配置为确定由所述区域设置单元设置的所述眼部区域中虹膜区域的颜色；
选择单元，其被配置为根据由所述确定单元确定的虹膜区域的颜色，从多个视线检测器中选择一个视线检测器；以及
视线检测单元，其被配置为通过使用由所述选择单元选择的所述视线检测器，根据所述眼部区域检测所述面部图像中的面部的视线。
8.一种图像捕获装置，其包括：
获得单元，其被配置为拍摄被摄体的图像，以获得所述被摄体的面部图像；
区域设置单元，其被配置为在由所述获得单元获得的所述面部图像中设置眼部区域；
确定单元，其被配置为确定由所述区域设置单元设置的所述眼部区域中虹膜区域的颜色；
参数设置单元，其被配置为设置与校正处理有关的所述眼部区域的校正参数，以使眼部的亮度图像具有相同的亮度分布而与所述确定单元确定的虹膜区域的颜色无关；
生成单元，其被配置为生成基于所述校正参数校正了所述眼部区域的亮度图像；
视线检测单元，其被配置为根据由所述生成单元生成的所述亮度图像的所述眼部区域，检测所述面部图像中的面部的视线；以及
记录单元，其被配置为将所述视线检测单元检测到所述面部的视线的所述面部图像记录在记录介质中。
9.一种图像捕获装置，其包括：
获得单元，其被配置为拍摄被摄体的图像，以获得所述被摄体的面部图像；
区域设置单元，其被配置为在由所述获得单元获得的所述面部图像中设置眼部区域；
确定单元，其被配置为确定由所述区域设置单元设置的所述眼部区域中虹膜区域的颜色；
选择单元，其被配置为根据由所述确定单元确定的虹膜区域的颜色，从多个视线检测器中选择一个视线检测器；
视线检测单元，其被配置为通过使用由所述选择单元选择的所述视线检测器，根据所述眼部区域检测所述面部图像中的面部的视线；以及
记录单元，其被配置为将所述视线检测单元检测到所述面部的视线的所述面部图像记录在记录介质中。
10.一种视线检测方法，其包括：
获得面部图像；
在所述获得步骤中获得的所述面部图像中设置眼部区域；
确定在所述眼部区域的设置中设置的所述眼部区域中虹膜区域的颜色；
设置与校正处理有关的校正参数，以使眼部的亮度图像具有相同的亮度分布而与在确定中所确定的虹膜区域的颜色无关；
生成基于所述校正参数校正了所述眼部区域的亮度图像；以及
根据所生成的亮度图像的所述眼部区域，检测所述面部图像中的面部的视线。
11.一种视线检测方法，其包括：
获得面部图像；
在所获得的面部图像中设置眼部区域；
确定所设置的眼部区域中虹膜区域的颜色；
根据所确定的虹膜区域的颜色从多个视线检测器中选择一个视线检测器；以及
通过使用所选择的视线检测器，根据所述眼部区域检测所述面部图像中的面部的视线。
12.一种图像捕获装置的控制方法，所述控制方法包括：
拍摄被摄体的图像，以获得所述被摄体的面部图像；
在所获得的面部图像中设置眼部区域；
确定所设置的眼部区域中虹膜区域的颜色；
设置与校正处理有关的校正参数，以使眼部的亮度图像具有相同的亮度分布而与在确定中所确定的虹膜区域的颜色无关；
生成基于所述校正参数校正了所述眼部区域的亮度图像；
根据所生成的亮度图像的所述眼部区域，检测所述面部图像中的面部的视线；以及
将检测到所述面部的视线的所述面部图像记录在记录介质中。
13.一种图像捕获装置的控制方法，所述控制方法包括：
拍摄被摄体的图像，以获得所述被摄体的面部图像；
在所获得的面部图像中设置眼部区域；
确定在所述眼部区域的设置中设置的所述眼部区域中虹膜区域的颜色；
根据基于所述确定的结果的虹膜区域的颜色，从多个视线检测器中选择一个视线检测器；
通过使用所选择的视线检测器，根据所述眼部区域检测所述面部图像中的面部的视线；以及
将在所述视线的检测中检测到所述面部的视线的所述面部图像记录在记录介质中。
CN201410103773.2A 2013-03-22 2014-03-19 视线检测装置及方法、图像捕获装置及其控制方法 Active CN104063709B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013060585A JP6157165B2 (ja) 2013-03-22 2013-03-22 視線検出装置及び撮像装置
JP2013-060585 2013-03-22

Publications (2)

Publication Number Publication Date
CN104063709A CN104063709A (zh) 2014-09-24
CN104063709B true CN104063709B (zh) 2017-07-18

Family

ID=50478684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410103773.2A Active CN104063709B (zh) 2013-03-22 2014-03-19 视线检测装置及方法、图像捕获装置及其控制方法

Country Status (4)

Country Link
US (1) US9426375B2 (zh)
EP (1) EP2782047A3 (zh)
JP (1) JP6157165B2 (zh)
CN (1) CN104063709B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
US10452137B2 (en) 2014-12-17 2019-10-22 Sony Corporation Information processing apparatus and information processing method
JP7091627B2 (ja) * 2016-12-05 2022-06-28 株式会社ニデック 眼科装置
CN107403148B (zh) * 2017-07-14 2020-07-07 Oppo广东移动通信有限公司 虹膜识别方法及相关产品
JP6946831B2 (ja) * 2017-08-01 2021-10-13 オムロン株式会社 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US11361560B2 (en) * 2018-02-19 2022-06-14 Mitsubishi Electric Corporation Passenger state detection device, passenger state detection system, and passenger state detection method
JP7103443B2 (ja) * 2021-01-05 2022-07-20 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
CN102473282A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 外部光映入判定装置、视线检测装置及外部光映入判定方法
CN102737226A (zh) * 2011-03-22 2012-10-17 索尼公司 信息处理装置、信息处理方法和程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694982A (ja) * 1992-09-14 1994-04-08 Nikon Corp 視線検出アダプター
JP2005253778A (ja) * 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置
JP2006095008A (ja) * 2004-09-29 2006-04-13 Gen Tec:Kk 視線検出方法
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009059257A (ja) * 2007-09-03 2009-03-19 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5061968B2 (ja) * 2008-03-07 2012-10-31 富士通株式会社 色温度設定装置、色温度設定プログラム、および色温度設定方法
US8538044B2 (en) * 2008-09-26 2013-09-17 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
JP2010197656A (ja) * 2009-02-25 2010-09-09 Hitachi Ltd 映像表示装置
JP5474202B2 (ja) * 2009-09-29 2014-04-16 アルカテル−ルーセント 顔検出および画像測定に基づいて注視点を検出する方法および装置
JP5529660B2 (ja) * 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP5618686B2 (ja) * 2010-08-03 2014-11-05 キヤノン株式会社 視線検出装置、視線検出方法及びプログラム
JP5719223B2 (ja) * 2011-04-25 2015-05-13 オリンパスイメージング株式会社 画像記録装置、記録方法およびプログラム
JP5285748B2 (ja) * 2011-07-08 2013-09-11 富士フイルム株式会社 オブジェクト検出装置、方法およびプログラム
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN102473282A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 外部光映入判定装置、视线检测装置及外部光映入判定方法
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
CN102737226A (zh) * 2011-03-22 2012-10-17 索尼公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
EP2782047A2 (en) 2014-09-24
JP6157165B2 (ja) 2017-07-05
CN104063709A (zh) 2014-09-24
US20140285683A1 (en) 2014-09-25
US9426375B2 (en) 2016-08-23
EP2782047A3 (en) 2017-05-10
JP2014186505A (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
CN104063709B (zh) 视线检测装置及方法、图像捕获装置及其控制方法
Lin et al. Face liveness detection by rppg features and contextual patch-based cnn
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
US20230274577A1 (en) Device and method with image matching
EP2357589B1 (en) Image recognition apparatus and method
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
US8923556B2 (en) Method and apparatus for detecting people within video frames based upon multiple colors within their clothing
WO2019137178A1 (zh) 人脸活体检测
US9330312B2 (en) Multispectral detection of personal attributes for video surveillance
KR20130048076A (ko) 얼굴 인식 장치 및 그 제어방법
KR20120069922A (ko) 얼굴 인식 장치 및 그 방법
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
CN107346419B (zh) 虹膜识别方法、电子装置和计算机可读存储介质
US9704024B2 (en) Object discriminating apparatus and method
CN103379279A (zh) 被摄体区域检测装置及其方法、图像摄取装置及显示装置
US11315360B2 (en) Live facial recognition system and method
Hebbale et al. Real time COVID-19 facemask detection using deep learning
Shrivastava et al. Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
CN107368783A (zh) 活体虹膜检测方法、电子装置和计算机可读存储介质
Chen et al. Fast eye detection using different color spaces
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
Shamil et al. Detection of Iris localization in facial images using haar cascade circular hough transform
Singh et al. Generic action recognition from egocentric videos
哈尔级联圆形粗糙变形法在面部图像中虹膜定位的检测 DETECTION OF IRIS LOCALIZATION IN FACIAL IMAGES USING HAAR CASCADE CIRCULAR HOUGH TRANSFORM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant