CN102375974A - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明涉及信息处理设备和信息处理方法。所述信息处理设备包括：获得单元，用于获得被摄体的图像；面部区域检测单元，用于从图像检测被摄体的面部区域；眼部区域检测单元，用于检测被摄体的眼部区域；生成单元，用于生成面部区域检测单元所检测到的面部区域的高分辨率图像和低分辨率图像；第一提取单元，用于从低分辨率图像中提取表示面部区域中存在的面部的方向的第一特征量；第二提取单元，用于从高分辨率图像中提取表示眼部区域中存在的眼部的方向的第二特征量；以及估计单元，用于从第一特征量和第二特征量估计被摄体的视线方向。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及检测被摄体的视线方向的信息处理设备和所使用的信息处理方法。

背景技术

日本特开2003-256852公开了一种通过使用包括左眼和右眼的黑色部分以及外眼角的面部图像来检测眼部的方向的技术。然而，该技术被设计为在不考虑面部的方向β1的情况下而仅估计如图1所示的眼部的方向α1。

日本特开2007-265367公开了以下技术：通过从图像中的面部检测诸如眼部等的特征点并使用所检测到的特征点之间的距离(即，两只眼部之间的距离)，从图1所示的眼部的方向α1和面部的方向β1来估计眼部的视线方向(即，眼部朝向的方向)。背景技术中的许多技术被设计为基于面部的器官(诸如鼻子、眼部、嘴部以及它们的特征点)之间的位置关系来计算眼部的方向α1和面部的方向β1，如日本特开2007-265367所公开的。另外，许多技术在分别计算眼部的方向α1和面部的方向β1时，从眼部的方向α1和面部的方向β1估计视线方向。

第一个问题是：如果如在日本特开2007-265367中直接将特征点的坐标信息用于视线检测，则特征点检测精度自身变成视线方向的估计精度。即，所检测到的特征点中至少一个特征点从期望位置的偏离可能极大地降低视线检测精度。

第二个问题是：分别计算眼部的方向α1和面部的方向β1的技术可能导致各自的计算所产生的误差累积，因此不能以高精度估计视线方向。

第三个问题是：为了以高精度估计视线方向，还需要考虑诸如眼部的大小等的个体差异。

考虑到上述问题，本发明提供一种不依赖于被摄体之间的个体差异而以高精度估计视线方向的技术。

发明内容

根据本发明的一个方面，提供一种信息处理设备，包括：获得单元，用于获得摄像单元所拍摄的被摄体的图像；面部区域检测单元，用于从所述图像检测所述被摄体的面部区域；眼部区域检测单元，用于从所述图像检测所述被摄体的眼部区域；生成单元，用于从所述面部区域检测单元所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；第一提取单元，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；第二提取单元，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及估计单元，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。

根据本发明的一个方面，提供一种信息处理方法，包括：获得步骤，用于获得所拍摄的被摄体的图像；面部区域检测步骤，用于从所获得的图像检测所述被摄体的面部区域；眼部区域检测步骤，用于从所获得的图像检测所述被摄体的眼部区域；生成步骤，用于从在所述面部区域检测步骤中所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；第一提取步骤，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；第二提取步骤，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及估计步骤，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出视线方向的定义的图；

图2A是示出视线检测设备10的硬件结构的框图；

图2B是示出视线检测设备10的各处理单元的功能结构的框图；

图3是示出视线检测处理的过程的流程图；

图4是示出通过面部检测和器官检测所检测到的器官、特征点和瞳孔的图；

图5是示出通过标准化处理所生成的两种不同分辨率的图像的图；

图6A～6D是示出边缘检测结果的图；

图7是示出眼部区域的特征量提取处理的过程的流程图；

图8A是示出基于眼部的特征点所设置的左眼和右眼区域的图；

图8B是示出基于眼部的特征点所设置的眼部区域的标准化的图；

图8C是示出基于眼部的特征点所设置的足以包括眼睑的眼部区域的图；以及

图9是示出各种面部的视线方向的图。

具体实施方式

现在将参考附图详细说明本发明的典型实施例。应该注意，在这些实施例中所述的组件的相对配置、数字表达式和数值不限制本发明的范围，除非以其它方式特别声明。

第一实施例

首先将参考图2A说明根据本实施例的作为检测被摄体的视线方向的信息处理设备的视线检测设备10的硬件结构。CPU1控制整个设备的操作，更具体地，各处理单元(将在后面说明)的操作。存储器2存储用于CPU 1的操作的程序和数据。总线3用于各处理单元之间的数据传送。接口4与总线3和各种设备连接。外部存储装置5存储要装载至CPU 1的程序和数据。键盘6和鼠标7构成用于启动程序或指定程序的操作的输入装置。显示单元8显示处理的操作结果。

接着将参考图2B说明视线检测设备10的各处理单元的功能结构。视线检测设备10包括图像获得单元100、面部检测单元110、标准化图像生成单元120、面部方向判断特征量提取单元130、眼部区域特征量提取单元140和视线估计单元150。

图像获得单元100获得摄像设备等所拍摄的图像。

面部检测单元110从图像获得单元100所获得的图像检测被摄体的面部区域，并且还检测面部的中心位置。面部检测单元110还检测面部的诸如眼部和嘴部等的各部分的中心位置、诸如外眼角和内眼角等的较小的特征点、以及诸如瞳孔的位置等的器官的位置等。

标准化图像生成单元120通过使用面部检测单元110所检测到的位置来标准化图像，以将面部的大小设置为预定大小，并使面部朝向正立位置。标准化图像生成单元120还生成具有不同分辨率的多个标准化图像。

面部方向判断特征量提取单元130从标准化图像生成单元120所生成的图像中提取用于判断面部的方向的特征量。

眼部区域特征量提取单元140从标准化图像生成单元120所生成的图像中提取眼部区域特征量。

视线估计单元150通过使用面部方向判断特征量提取单元130所提取的用于判断面部的方向的特征量、以及眼部区域特征量提取单元140所提取的眼部区域特征量，来估计视线方向。

接着将参考图3的流程图说明视线检测处理的过程。

在步骤S301中，图像获得单元100通过使用各种方法之一获得图像。例如，图像获得单元100获得由诸如数字照相机等的摄像设备所拍摄的并且存储在非易失性存储器等中的面部图像。图像获得单元100可以获得存储在硬盘驱动器中的面部图像。

在步骤S302中，面部检测单元110检测面部的中心位置，作为步骤S301中获得的图像中的面部区域的位置。面部检测单元110还检测眼部的中心位置，作为被摄体的眼部区域的位置。

在步骤S303中，面部检测单元110判断是否从图像检测到面部。如果面部检测单元110判断为检测到面部(步骤S303中为“是”)，则处理进入步骤S304。如果面部检测单元110判断为没有检测到面部(步骤S303中为“否”)，则处理返回至步骤S301。本实施例处理人的面部作为对象。然而，可以处理诸如狗或猫等的动物的面部。例如，获得如图4所示的面部的中心位置432。注意，可以使用检测面部的各种技术(参见例如P.Viola and M.Jones，“Rapid Object Detection using a Boosted Cascade ofSimple Features”，in Proc.Of CVPR，Vol.1，pp.511-518，December，2001)。另外，可以使用利用神经网络来检测面部的技术(参见例如Yusuke Mitarai，Katsuhiko Mori，and MasakazuMatsugu，″Robust Face Detection System Based on ConvolutionalNeural Networks Using Selective Activation of Modules″，FIT(Forum on Information Technology)，L1-013，2003)。注意，可以使用任何技术，只要该技术可以检测人的面部即可。注意，Yusuke Mitarai，Katsuhiko Mori，and Masakazu Matsugu，″RobustFace Detection System Based on Convolutional Neural NetworksUsing Selective Activation of Modules″，FIT(Forum onInformation Technology)，L1-013，2003中所公开的面部检测技术还可以用于检测眼部和嘴部，并基于眼部和嘴部之间的位置关系来判断所检测到的被摄体是否是面部。在这种情况下，除了获得面部的中心位置432以外，还可以分别获得眼部和嘴部的中心位置425、431和437。本实施例使用Yusuke Mitarai，Katsuhiko Mori，and Masakazu Matsugu，″Robust Face DetectionSystem Based on Convolutional Neural Networks Using SelectiveActivation of Modules″，FIT(Forum on Information Technology)，L1-013，2003中所公开的技术。因此，在步骤S302中，根据一个实施例，除了获得面部的中心位置432以外，还获得眼部和嘴部的中心位置425、431和437。

在步骤S304中，选择步骤S302中所检测到的面部中的一个面部。

在步骤S305中，面部检测单元110判断步骤S304中所选择的面部的大小是否等于或大于预定大小。如果面部检测单元110判断为面部的大小等于或大于预定大小(步骤S305中为“是”)，则处理进入步骤S307。如果面部检测单元110判断为面部的大小小于预定大小(步骤S305中为“否”)，则处理进入步骤S306。由于信息量的不足而可能不能以高精度检测具有小的面部的人(或者所获得的图像中因为被摄体远离图像获得单元而很小的面部)的视线方向。为此，本实施例仅对具有等于或大于预定大小的大小的面部进行视线检测。用于判断面部的大小的信息可以包括例如如图4所示的左眼的中心位置425和右眼的中心位置431之间的距离、以及肤色部分的面积，只要该信息是表示面部大小的度量即可。注意，在本实施例中，将位于相对于图的观察方向的左侧的眼部称为左眼，并将位于右侧的眼部称为右眼。在实施例中，将左眼的中心位置425和右眼的中心位置431之间的距离的两倍定义为面部的大小。例如，基于步骤S302中所检测到的面部的中心位置432，面部检测单元110设置左眼和右眼在统计上可能存在的范围，并通过使用预先准备的模板在该范围内搜索眼部。然后，可以计算左眼的中心位置425和右眼的中心位置431之间的距离。

在步骤S306中，面部检测单元110判断步骤S302中检测到的面部是否包括步骤S304中没有选择的面部。如果面部检测单元110判断为选择了所有的面部(步骤S306中为“否”)，则处理返回至步骤S301以获得其它图像。如果面部检测单元110判断为没有选择所有面部(步骤S306中为“是”)，则处理返回至步骤S304以选择没有被选择的面部。

在步骤S307中，除面部的中心位置432等以外，面部检测单元110还检测面部的器官的特征点。即，面部检测单元110检测诸如内眼角特征点421、内眼角特征点427、外眼角特征点420、外眼角特征点426、上眼睑特征点422、上眼睑特征点428、下眼睑特征点423和下眼睑特征点429等的器官的特征点位置。面部检测单元110可以检测瞳孔424和430的特征点位置。尽管还可以检测诸如嘴部等的特征点，但本实施例仅检测所需的最少的器官。在进一步检测嘴部的特征点的情况下，如图4所示，面部检测单元110检测诸如嘴角特征点433和434、上嘴唇特征点435以及下嘴唇特征点436等的嘴部的特征点位置。注意，作为检测这些器官的位置的方法，可以使用诸如使用预先准备的模板等的技术和通过扫描边缘来检测这种位置的技术等的各种技术之一。

在步骤S308中，标准化图像生成单元120通过使用步骤S302中检测到的左眼的中心位置425、右眼的中心位置431和面部的中心位置432之间的位置关系来标准化图像。在这种情况下，标准化图像生成单元120通过使用仿射变换等来生成具有不同分辨率的两种图像，每种图像具有朝向正立位置并具有预定大小的面部。更具体地，如图5中的图像500所示，标准化图像生成单元120计算左眼的中心位置425和右眼的中心位置431之间的距离L以及相对于水平方向的角度θ，并进行仿射变换以将距离L设置为预定距离L’，并设置θ＝0。针对图像的放大/缩小，可以使用诸如最近邻(nearest neighbor)方法和双线性方法等的各种方法。尽管本实施例针对图像的标准化使用左眼的中心位置425、右眼的中心位置431和面部的中心位置432，但要检测的位置不限于此。这两种类型的标准化图像501和502用于分别提取面部方向判断用的特征量和眼部区域的特征量。另外，可以进行诸如用于减少照明的影响的对比度校正处理等的亮度值转换处理。注意，只要要拍摄的面部的方向和大小的条件保持恒定，大小校正和倾斜校正不是必须的处理。作为具有不同分辨率的两种图像中的高分辨率图像，可以在不改变其分辨率的情况下使用所输入的图像。

另外，要生成的具有不同分辨率的标准化图像的类型的数量不限于2种。可以预先生成具有不同分辨率的多个分辨率图像(金字塔图像)，并选择其中一些图像。除了根据本实施例的视线检测设备以外，以这种方式预先生成具有不同分辨率的多个分辨率图像(金字塔图像)还可以将这些图像有效用于模式识别等。另外，可以逐步地进行，首先生成用于提取眼部区域的特征量的高分辨率图像，然后通过缩小处理生成用于提取面部方向判断用的特征量的低分辨率图像。

如上所述，根据本实施例的视线检测设备根据变化量大的面部方向和变化量小的眼部方向来生成具有不同分辨率的图像。

再次参考图3，在步骤S309中，特征量提取单元130提取面部方向判断用的第一特征量。特征量提取单元130可以使用任意类型的特征量，只要该特征量允许面部方向判断即可。本实施例使用边缘特征作为第一特征量。当提取面部方向判断用的特征量时，特征量提取单元130使用步骤S308中生成的两种标准化图像中的低分辨率标准化图像502。当提取边缘特征时，实际通常利用使用构成图像的像素值的一阶导数值和二阶导数值的方法。本实施例通过使用一阶导数提取边缘特征。图6A和6C示出X方向上的一阶导数边缘。图6B和6D示出Y方向上的一阶导数边缘。本实施例使用面部的轮廓边缘的位置和形状。然而，可以使用耳朵、鼻子、头发的位置和形状等。

在步骤S309中，特征量提取单元130生成如下的特征矢量作为区域的特征量，该特征矢量包括构成X方向上的一阶导数边缘图像和Y方向上的一阶导数边缘图像的像素值本身作为一种要素。例如，如果X方向上的一阶导数边缘图像和Y方向上的一阶导数边缘图像均包括30×30个像素，则生成30×30×2＝1800维特征矢量。

注意，作为特征量，除边缘特征以外，还可以使用亮度、颜色、如在Akiko Suzuki，Tetsuya Takiguchi，and Yasuo Ariki，″Eye Detection Using PCA Correlation Filter″，FIT(Forum onInformation Technology)，H-015，2007中所述的频率、以及如在M.Bertozzi，A.Broggi，M.Del Rose，M.Felisa，A.Rakotomamonjy，and F.Suard，″A Pedestrian Detector UsingHistograms of Oriented Gradients and a Support Vector MachineClassifier″，IEEE Intelligent Transportation Systems Conference，2007中所述的亮度直方图。

在步骤S310中，特征量提取单元140通过使用步骤S308中生成的两种标准化图像中的高分辨率标准化图像501来提取眼部区域的第二特征量。即，由于瞳孔的运动微小，因而使用高分辨率标准化图像501来精确捕捉微小运动。

当检测面部的方向时，可以使用整个面部区域。相反，当检测眼部的方向时，可以仅使用眼部区域的特征量。添加除眼部区域的特征量以外的特征量可能增大特征矢量的维数，并增大后续阶段的处理负担。另外，除眼部区域的特征量以外的特征量可能不利地影响视线检测精度。为此，通过使用特征点限制眼部区域。另外，进行标准化处理以不依赖于眼部的大小的个体差异而进行处理。

以下将参考图7说明步骤S310中的眼部区域特征量提取处理的过程。

在步骤S701中，特征量提取单元140选择步骤S302和S307中检测到的各位置的左眼和右眼的4种特征点(例如，外眼角特征点420和426、内眼角特征点421和427、上眼睑特征点422和428、以及下眼睑特征点423和429)。即，特征量提取单元140计算表示高分辨率标准化图像中的眼部区域的特征点的位置。

在步骤S702中，特征量提取单元140通过使用与左眼相关联的4个特征点420、421、422和423来剪切左眼区域图像801，如图8A所示。

随后，在步骤S703中，如在步骤S702中一样，特征量提取单元140通过使用与右眼相关联的4个特征点426、427、428和429来剪切右眼区域图像802，如图8A所示。

在步骤S704中，特征量提取单元140通过对步骤S702和S703中剪切出的左眼区域图像801和右眼区域图像802进行区域放大/缩小处理来获得标准化图像，以使得将各图像的宽度和高度设置为预定值，如图8B所示。分别将图像801和802放大/缩小为图像803和804。这使得可以不依赖于眼部的大小的个体差异来进行处理。注意，在步骤S702和S703的剪切左眼和右眼区域的处理中，特征量提取单元140可以不如图8B所示剪切区域以通过各特征点，而可以如图8C所示剪切区域以包括眼部的轮廓。例如，特征量提取单元140可以以预定大小设置和剪切大于通过各特征点的矩形区域的区域，如图像805和806一样。同样，将图像805和806分别放大/缩小为图像807和808。

在步骤S705中，特征量提取单元140以与步骤S309相同的方式从左眼和右眼区域的标准化图像中提取边缘特征。即，特征量提取单元140获得包括以下边缘图像的4个边缘图像：从左眼图像的标准化图像中提取的X和Y方向上的一阶导数边缘图像、以及从右眼图像的标准化图像中提取的X和Y方向上的一阶导数边缘图像。假定包括构成所获得的4个边缘图像的像素值本身作为一种要素的特征矢量是考虑了左眼和右眼的眼部区域的特征量。注意，在步骤S705中，特征量提取单元140从瞳孔和眼白部分之间的边界边缘捕捉各瞳孔在左右方向上的运动，并从瞳孔和眼白部分之间的边界边缘以及上眼睑边缘捕捉瞳孔在上下方向上的运动。然而，可以代替X和Y方向上的简单边缘，而加上与用于检测瞳孔区域的圆形模板的匹配结果，作为眼部区域的特征量。

注意，除边缘特征以外，还可以使用亮度、颜色、和/或如在Akiko Suzuki，Tetsuya Takiguchi，and Yasuo Ariki，″EyeDetection Using PCA Correlation Filter″，FIT(Forum onInformation Technology)，H-015，2007中所述的频率、以及如在M.Bertozzi，A.Broggi，M.Del  Rose，M.Felisa，A.Rakotomamonjy，and F.Suard，″A Pedestrian Detector UsingHistograms of Oriented Gradients and a Support Vector MachineClassifier″，IEEE Intelligent Transportation Systems Conference，2007中所述的亮度直方图。

如上所述，为了提高视线检测设备的性能并减少处理负担，当要提取两个眼部区域的特征量时，检测特征点并且限制眼部区域。另外，通过使用所检测到的特征点来对眼部的大小进行标准化处理，这可以不依赖于眼部的大小的个体差异来进行处理。利用以上操作，图7所示的处理结束。即，步骤S310中的处理结束。

再次参考图3，在步骤S311中，视线估计单元150通过将步骤S309中获得的面部方向判断用的第一特征量(以第一特征矢量的形式)与步骤S310中获得的两个眼部区域的第二特征量(以第二特征矢量的形式)相结合，来生成视线特征量。在这种情况下，允许面部方向判断的第一特征矢量和两个眼部区域的第二特征矢量优选在相互结合之前被标准化。

在步骤S312中，视线估计单元150通过使用识别装置将步骤S311中生成的视线特征量与预先准备的特征量进行比较，以估计视线方向与预定方向是否一致。

例如，该设备估计被摄体是否面向照相机等。在这种情况下，估计视线方向的识别装置预先进行学习。即，设备使用与如图9的T+2[s]所表示的视线与照相机的方向一致的状态相对应的正视线特征量、以及与如图9的T[s]和T+1[s]所表示的视线方向与照相机的方向不一致的状态相对应的负视线特征量。然后，设备通过如在V.Vapnik，″Statistical Learning Theory″，JohnWiley & Sons，1998中所公开的使用支持向量机(support vectormachine，以下称为“SVM”)生成识别模型，并通过使用所生成的识别模型估计视线方向与照相机等的方向是否一致。尽管本实施例使用SVM作为用于估计视线方向的识别装置，但要使用的识别装置不限于SVM。

另外，本实施例进行二值判断以判断视线方向与照相机的方向是否一致。然而，可以通过准备分别检测视线朝向特定的不同方向的多个识别装置来检测特定的视线方向。利用以上操作，图3中的处理结束。注意，图3或7的流程图中的所有处理不都是必需的，并且可以改变它们的执行顺序或者可以省略一些处理。

如上所述，代替分别估计眼部的方向α1和面部的方向β1，根据本实施例的视线检测设备通过使用允许判断眼部和面部的方向的外观特征(面部轮廓、眼睑形状、以及瞳孔和眼白部分之间的边界等)作为特征量来直接估计视线方向。

在这种情况下，设备针对变化量大的面部方向从低分辨率图像中提取特征量，并针对变化量小的眼部方向从高分辨率图像中提取特征量。以这种方式，需要较少处理来判断诸如面部特征量的粗略的特征量，并且对较高分辨率的图像、但仅对于较精细的特征量进行优选用于有效找到与眼部相关的特征量的较多处理。为了提高性能并进一步减少处理负担，设备检测眼部的特征点并限制眼部区域。另外，可以通过使用特征点对眼部的大小进行标准化，来不依赖于眼部的大小的个体差异而进行处理。

利用以上结构，可以在最小化处理负担的同时，以高精度、不依赖于眼部的大小的个体差异而进行鲁棒性视线检测。

注意，根据本实施例的视线检测设备可以用于各种应用，例如，通过将视线检测设备安装在诸如数字照相机等的包括存储单元的摄像设备中，来在视线与数字照相机的方向一致时进行摄像操作。

根据上述实施例，可以不依赖于被摄体之间的个体差异而以高精度估计视线方向。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU(中央处理单元)或MPU(微处理单元)等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种信息处理设备，包括：

获得单元，用于获得摄像单元所拍摄的被摄体的图像；

面部区域检测单元，用于从所述图像检测所述被摄体的面部区域；

眼部区域检测单元，用于从所述图像检测所述被摄体的眼部区域；

生成单元，用于从所述面部区域检测单元所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；

第一提取单元，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；

第二提取单元，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及

估计单元，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。

2.根据权利要求1所述的信息处理设备，其特征在于，所述生成单元基于所述图像中的所述面部区域检测单元所检测到的面部区域和所述眼部区域检测单元所检测到的眼部区域之间的位置关系，来生成所述面部区域的高分辨率标准化图像和低分辨率标准化图像。

3.根据权利要求1所述的信息处理设备，其特征在于，还包括判断单元，所述判断单元用于判断所述面部区域是否为预定大小以上，

其中，仅在所述判断单元判断为所述面部区域为所述预定大小以上时，所述眼部区域检测单元检测所述被摄体的眼部区域。

4.根据权利要求2所述的信息处理设备，其特征在于，所述第二提取单元包括：

特征点检测单元，用于检测表示所述高分辨率标准化图像中的眼部区域的特征点的位置；

剪切单元，用于基于所述特征点检测单元所检测到的特征点的位置，剪切所述高分辨率标准化图像中的眼部区域；以及

放大/缩小单元，用于放大或缩小所述剪切单元所剪切出的眼部区域以使得该眼部区域具有预定大小，

其中，所述第二提取单元从所述放大/缩小单元所放大或缩小后的具有所述预定大小的眼部区域中提取所述第二特征量。

5.根据权利要求4所述的信息处理设备，其特征在于，所述剪切单元剪切包括表示外眼角的位置的特征点、表示内眼角的位置的特征点、表示上眼睑的位置的特征点和表示下眼睑的位置的特征点的矩形区域作为所述眼部区域。

6.根据权利要求4或5所述的信息处理设备，其特征在于，所述第二提取单元提取构成所述放大/缩小单元所放大或缩小后的具有所述预定大小的眼部区域的像素值的一阶导数值或二阶导数值，作为所述第二特征量。

7.根据权利要求1所述的信息处理设备，其特征在于，所述第一提取单元提取构成所述低分辨率图像的像素值的一阶导数值或二阶导数值，作为所述第一特征量。

8.一种信息处理方法，包括：

获得步骤，用于获得所拍摄的被摄体的图像；

面部区域检测步骤，用于从所获得的图像检测所述被摄体的面部区域；

眼部区域检测步骤，用于从所获得的图像检测所述被摄体的眼部区域；

生成步骤，用于从在所述面部区域检测步骤中所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；

第一提取步骤，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；

第二提取步骤，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及

估计步骤，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。

Images