CN101236602B - 图像处理设备、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法和计算机程序。提供了一种用于对输入的面部图像执行识别处理的图像处理设备，该图像处理设备包括：接收待识别面部图像的输入、对输入的面部图像执行图像变换并对具有预定设置的图像执行归一化处理的图像变换部分；计算从在图像变换部分中变换后的输入图像获得的特征量和登记图像的特征量之间的相似度的相似度计算部分；和基于通过相似度计算部分计算出的相似度，确定输入的面部图像是否与登记的面部图像相匹配的匹配确定装置，其中，图像变换部分通过将输入的面部图像的左眼和右眼的中心用作原点的图像变换处理来执行归一化处理。

Description

图像处理设备、图像处理方法

(对相关申请的交叉引用)

本申请包含与在2007年2月2日在日本专利局提交的日本专利申请JP 2007-024026相关的主题，在此并入其全部内容作为参考。 

技术领域

本发明涉及图像处理设备、图像处理方法和计算机程序。更具体地说，本发明涉及一种执行例如在拍摄的图像数据中包含的面部图像的归一化(normalization)处理的图像处理设备、图像处理方法和计算机程序。 

背景技术

用于识别面部的技术可被广泛应用于人机界面中，例如应用于用户友好的个人认证系统和性别识别等。在初始阶段中，对使用侧脸的识别技术进行了研究，但使用正面图像的识别技术当前已成为主流技术。 

在面部识别系统中，执行两种类型的处理。一种处理是面部提取处理，该处理基于来自由CCD照相机等拍摄的图像的面部特征信息来提取面部图案；另一种处理是面部识别处理，该处理将提取的面部图案与登记的面部图像进行比较以识别特定的人的面部。对于面部提取处理和面部识别处理，例如可以应用Gabor滤波，其使用具有取向选择性和不同的频率成分的多个滤波提取面部图像的特征量(例如，参照日本未审查专利申请公报No.2006-4041)。 

在人的视细胞中存在具有对特定取向的选择性的一些细胞，这已经得到证明。这些细胞包括响应垂直线的细胞和响应水平线的细胞。Gabor滤波是包括具有与上述方式相同的方式的取向选择性的多个滤波的空间滤波。 

Gabor滤波在空间上表示为对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数。滤波窗口的大小例如固定为24×24。此外，假定频率f具有五种类型并且角度θ具有八个方向，那么可构建40种类型的Gabor滤波。 

Gabor滤波的运算是应用Gabor滤波的像素和Gabor滤波的系数的卷积。Gabor滤波的系数可被分离成以余弦函数作为频率响应的实部和以正弦函数作为频率响应的虚部。卷积被应用于以上的每一个上，并且将各分量组合成包含一个标量值的Gabor滤波结果中。在改变频率f和角度θ时，这种运算被应用于最多40种类型的Gabor滤波。获得的最多40个标量值的元组被称为“Gabor特征向量(Gabor jet)”。针对在面部图像数据上沿水平方向和垂直方向以规则的间隔检测的各个特征量提取位置，获得作为局部特征量的Gabor特征向量。Gabor特征向量具有不随特征量提取位置的某程度的移位和变形而变化的特性。 

在用于识别特定的人面部的面部识别处理中，在提取的面部图案和登记的面部图像之间进行比较。对于登记的面部图像，已事先针对各个特征量提取位置计算了Gabor特征向量。然后，计算同一特征量提取位置处的输入的面部的Gabor特征向量和登记的面部的Gabor特征向量的相似度，并且计算一相似度向量，该相似度向量是多个特征量提取位置处的相似度的集合。然后，通过支持向量机(SVM)执行类别确定，并且对输入的面部图像和登记的面部图像进行识别。支持向量机计算相似度向量的边界面的值，例如计算要被确定为+1或-1的距边界面(其值为0的位置的表面)的距离，并确定该相似度向量属于内部人员类别或外部人员类别中的哪一个。如果不存在被确定为属于内部人员类别的相似度向量，那么确定未记录人员的面部被输入(例如，参见B.Sholkopf等，“Advance in Kernel Support VectorLearning”(The MIT Press，1999))。此外，一个支持向量机学习(也就是说，登记)了很多面部图像，由此使得能够确定新输入的面 部图像与登记(已学习)的面部图像匹配(属于内部人员类别)还是不匹配(属于外部人员类别)(例如，参见PCT国际公报No.WO03/019475的日本再公开和日本未审查专利申请公报No.2006-4003)。在模式识别领域中，支持向量机被本领域技术人员评价为具有最高的学习归纳能力。 

如上所述，在面部识别系统中，执行两种类型的处理：面部提取处理，其基于来自由CCD照相机等拍摄的图像的面部特征信息来提取面部图案；和面部识别处理，其将提取的面部图案与登记的面部图像进行比较以识别特定的人的面部。在面部识别处理中，为了能够进行与登记图像的正确比较处理，作为比较处理的预处理，执行对从输入图像提取的面部图像的拟合(fitting)处理。 

在拟合处理中，例如记录在第一存储器中的面部图像被拾取并经受归一化处理以被记录到第二存储器中。具体地说，作为拟合处理，例如检测第一存储器中的面部图像的双眼位置，根据检测到的双眼位置信息而获得面部的尺寸、面部的位置和面部的角度，并且对第一存储器中的面部图像进行缩小、移位和旋转变换，使得左眼和右眼的位置与第二存储器中的固定坐标匹配，从而在第二存储器中产生面部识别所需要的面部图像。 

通过上述Gabor滤波执行的面部识别处理被应用于该拟合处理之后的图像以实现正确的处理。也就是说，计算输入的面部的相同特征量提取位置处的Gabor特征向量和登记的面部的Gabor特征向量之间的相似度，获得作为多个特征量提取位置处的相似度的集合的相似度向量，并且基于输入的面部图像和登记的面部图像之间的匹配通过支持向量机(SVM)进行类别确定以执行面部识别。 

在作为上述拟合处理的归一化处理中，对第一存储器中的面部图像执行包含缩小、移位和旋转处理的图像变换的归一化处理，并且在第二存储器中产生执行结果。在该图像变换处理中，一般地，使用固定在各个存储器上的原点作为中心执行处理。例如，具体地说，通过将第一存储器的原点坐标和第二存储器的原点坐标设为中心坐标来执 行仿射变换，从而执行包含缩小、移位和旋转处理的存储器图像变换。 

但是，例如，当通过仿射变换执行图像变换时，由于距原点的距离变大，因此易于更频繁地出错。另一方面，作为基于主要面部部位(也就是说，诸如眼睛、鼻子、嘴等的面部部位)的位置和形状的相似度的确定处理，执行作为面部识别处理中的输入的面部图像和登记的面部图像之间的相似度的确定处理而根据Gabor特征向量执行的上述相似度确定。 

因此，如果例如使用设在面部图像外的原点作为中心通过仿射变换执行图像变换处理，那么诸如眼睛、鼻子、嘴等的面部部位的位置或形状(它们是用于提取对于面部识别处理而言重要的特征量的重要信息)会出现错误，并且可能不能正确地执行与登记的面部图像的相似度的确定。 

发明内容

鉴于这几点，提出了本发明。希望提供一种执行图像变换同时在要作为图像识别处理的预处理而执行的输入图像的图像变换中抑制诸如眼睛、鼻子、嘴等的在面部识别处理时变得重要的面部部位的位置和形状出现错误的图像处理设备、图像处理方法和计算机程序。 

根据本发明的一个实施例，提供了一种用于对输入的面部图像执行识别处理的图像处理设备，该图像处理设备包括：接收待识别面部图像的输入、对输入的面部图像执行图像变换并对具有预定设置的图像执行归一化处理的图像变换部分；计算从在图像变换部分中变换后的输入图像获得的特征量和登记图像的特征量之间的相似度的相似度计算部分；和基于通过相似度计算部分计算出的相似度，确定输入的面部图像是否与登记的面部图像相匹配的匹配确定装置，其中，图像变换部分通过将输入的面部图像的左眼和右眼的中心用作原点的图像变换处理来执行归一化处理。 

在本发明的该实施例中，图像变换部分可从存储要进行归一化处理的面部图像的第一存储器获得面部图像，通过图像变换执行归一化 并将归一化之后的面部图像存储到第二存储器中，并且可包括：计算部分，用于计算变换参数，所述变换参数用于计算第二存储器中的各个像素位置在第一存储器中的对应点；坐标变换部分，其基于通过计算部分计算出的变换参数，计算第二存储器中的各个像素位置在第一存储器中的对应点；和内插处理部分，其根据通过坐标变换部分计算出的对应点信息，确定与第二存储器中的各像素位置相对应的像素值。 

在本发明的该实施例中，计算部分可计算用于限定在将存储在第一存储器中的面部图像变换成存储在第二存储器中的面部图像时要执行的图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数作为所述变换参数，并且坐标变换部分可应用用于限定图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数来执行计算第二存储器中的各个像素位置在第一存储器中的对应点的处理。 

在本发明的该实施例中，坐标变换部分可根据下式使用第二存储器中的坐标(s2x，s2y)计算作为归一化之前的图像存储存储器的第一存储器中的坐标(s1x，s1y)： 

s1x＝(c/P)×((s2x)×cosθ+s2y×sinθ)+(org_s1x_frc) 

s1y＝(c/P)×((-s2x)×sinθ+s2y×cosθ)+(org_s1y_frc) 

其中，s1x是第一存储器坐标系中的x坐标，s1y是第一存储器坐标系中的y坐标，s2x是第二存储器坐标系中的x坐标，s2y是第二存储器坐标系中的y坐标，并且从计算部分输入的图像缩小处理参数、图像旋转参数、图像平移处理参数分别是(c/P)、θ、(org_s1x_frc)和(org_s1y_frc)。 

在本发明的该实施例中，平移处理参数(org_s1x_frc，org_s1y_frc)可以是指示第一存储器坐标系中的与第二存储器的原点相对应的位置的信息。 

在本发明的该实施例中，内插处理部分可使用由坐标变换部分计算出的对应点信息来执行应用了双线性方法或双三次方法的像素值内插处理。 

在本发明的该实施例中，相似度计算部分可包括：Gabor滤波应用装置，该Gabor滤波应用装置对于由图像变换部分变换的变换输入图像的各个特征量提取位置，在改变Gabor滤波的响应函数的频率和角度的同时执行Gabor滤波系数和像素的卷积运算，获得包含与滤波类型相对应个数的标量值的Gabor特征向量，其中Gabor滤波在空间上由对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数表示；和相似度运算装置，该相似度运算装置对于各个特征量提取位置计算输入的面部图像的Gabor特征向量和登记的面部图像的Gabor特征向量之间的相似度，并获得包含多个特征量提取位置的相似度的集合的相似度向量，其中，匹配确定装置基于相似度向量确定输入的面部图像是否与登记的面部图像相匹配。 

根据本发明的另一实施例，提供了一种用于在图像处理设备中对输入的面部图像执行识别处理的图像处理方法，该方法包括以下步骤：图像变换步骤，通过图像变换部分接收待识别面部图像的输入、对输入的面部图像执行图像变换并对具有预定设置的图像执行归一化处理，而变换图像；相似度计算步骤，通过相似度计算部分计算从在图像变换步骤中变换了的输入图像获得的特征量和登记图像的特征量之间的相似度；和匹配确定步骤，基于通过相似度计算步骤计算出的相似度，通过匹配确定部分确定输入的面部图像是否与登记的面部图像相匹配而进行匹配确定，其中，图像变换步骤包括通过将输入的面部图像的左眼和右眼的中心用作原点的图像变换处理来执行归一化处理。 

在本发明的该实施例中，图像变换步骤可包括从存储要进行归一化处理的面部图像的第一存储器获得面部图像，通过图像变换执行归一化，并将归一化之后的面部图像存储到第二存储器中，并且包括：计算步骤，通过计算部分计算用于计算第二存储器中的各个像素位置在第一存储器中的对应点的变换参数；坐标变换步骤，基于通过计算步骤计算出的变换参数，通过坐标变换部分计算第二存储器中的各个 像素位置在第一存储器中的对应点来变换坐标；和内插处理步骤，根据通过坐标变换步骤计算出的对应点信息，通过内插处理部分确定与第二存储器中的各像素位置相对应的像素值而进行内插处理。 

在本发明的该实施例中，计算步骤可计算用于限定在将存储在第一存储器中的面部图像变换成存储在第二存储器中的面部图像时要执行的图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数作为所述变换参数，并且坐标变换步骤应用用于限定图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数以执行计算第二存储器中的各个像素位置在第一存储器中的对应点的处理。 

在本发明的该实施例中，坐标变换步骤可通过下式使用第二存储器中的坐标(s2x，s2y)计算作为归一化之前的图像存储存储器的第一存储器中的坐标(s1x，s1y)： 

s1x＝(c/P)×((s2x)×cosθ+s2y×sinθ)+(org_s1x_frc) 

s1y＝(c/P)×((-s2x)×sinθ+s2y×cosθ)+(org_s1y_frc) 

其中，s1x是第一存储器坐标系中的x坐标，s1y是第一存储器坐标系中的y坐标，s2x是第二存储器坐标系中的x坐标，s2y是第二存储器坐标系中的y坐标，并且从计算部分输入的图像缩小处理参数、图像旋转参数、图像平移处理参数分别是(c/P)、θ、(org_s1x_frc)和(corg_s1y_frc)。 

在本发明的该实施例中，平移处理参数(org_s1x_frc，org_s1y_frc)可以是指示第一存储器坐标系中的与第二存储器的原点相对应的位置的信息。 

在本发明的该实施例中，内插处理步骤可使用由坐标变换部分计算出的对应点信息来执行应用了双线性方法或双三次方法的像素值内插处理。 

在本发明的该实施例中，相似度计算步骤可包括：Gabor滤波应用手段，该Gabor滤波应用手段对于由图像变换部分变换的变换输入图像的各个特征量提取位置，在改变Gabor滤波的响应函数的频率和 角度的同时执行Gabor滤波系数和像素的卷积运算，获得包含与滤波类型相对应个数的标量值的Gabor特征向量，其中Gabor滤波在空间上由对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数表示；和相似度运算手段，该相似度运算手段计算输入的面部图像的Gabor特征向量和登记的面部图像的Gabor特征向量之间的相似度，并获得包含多个特征量提取位置的相似度的集合的相似度向量，其中，匹配确定步骤基于相似度向量执行关于输入的面部图像是否与登记的面部图像相匹配的匹配确定处理。 

根据本发明的另一实施例，提供了一种用于使图像处理设备对输入的面部图像执行识别处理的计算机程序，该计算机程序包括以下步骤：图像变换步骤，通过图像变换部分接收待识别面部图像的输入、对输入的面部图像执行图像变换并对具有预定设置的图像执行归一化处理，而变换图像；相似度计算步骤，通过相似度计算部分计算从在图像变换步骤中变换后的输入图像获得的特征量和登记图像的特征量之间的相似度；和匹配确定步骤，基于通过相似度计算步骤计算出的相似度，通过匹配确定部分执行确定输入的面部图像是否与登记的面部图像相匹配的匹配确定，其中，图像变换步骤包括通过将输入的面部图像的左眼和右眼的中心用作原点的图像变换处理来执行归一化处理。 

在这一点上，本发明的计算机程序是用于能够执行各种程序代码的计算机系统的、以计算机可读格式提供的、能够由例如诸如DVD、CD、MO等的记录介质或诸如网络等的通信介质的存储介质或通信介质提供的计算机程序。通过提供这种计算机可读格式的程序，在计算机程序中执行根据该程序的处理。 

通过以下参照本发明的实施例和附图进行说明的本发明的详细说明，本发明的其它特征和优点将变得明显。在这一点上，在本说明书中，系统指的是多个设备的逻辑集合，并且各个构成设备不限于容纳于同一壳体中。 

根据本发明的实施例的配置，在作为通过确定输入图像和登记图 像之间的相似性的面部识别处理的预处理而执行的输入的面部图像的图像变换中，在将输入的面部图像的左眼和右眼设置为中心的情况下通过图像变换处理来执行归一化处理。具体地说，将存储归一化之前的面部图像的SRAM的原点设为左眼和右眼位置的中心，其是像素之间的点。将存储归一化之后的面部图像的SRAM的原点设为固定的像素点，并且归一化处理在归一化前后具有不同的坐标。因此，执行的是抑制了诸如眼睛、鼻子、嘴等的在面部识别处理时变得重要的面部部位的位置和形状出现错误的图像变换处理。因此，可以正确地确定与登记图像的相似度，并执行具有高精度的面部识别处理。 

附图说明

图1是示意性地示出根据本发明的实施例的面部识别系统的整体配置的图； 

图2是示出面部识别装置14的配置的例子的图； 

图3是示出检测到的面部图像要经受缩小、移位和旋转变换以被归一化为面部识别所需要的面部图像的状态的图； 

图4A是示出包括固定的24×24像素的由高斯函数形成的滤波窗口的图； 

图4B是示出包含正弦函数或余弦函数的响应函数的图； 

图4C示出通过在图4B所示的响应函数上应用图4A所示的滤波窗口而获得的Gabor滤波； 

图4D分别示出通过沿具有22.5度变化的八个方向对响应函数应用滤波窗口而获得的八种Gabor滤波； 

图4E示出类似地通过对五种类型的频率f的响应函数沿八个方向应用具有角度θ的滤波窗口而获得的40种类型的Gabor滤波； 

图5是示出在具有60×66像素的归一化面部图像上布置的82处特征量提取位置的图； 

图6是示出由图像变换部分141执行的图像变换处理的细节的图； 

图7是示出用于获得与SRAM2的像素位置相对应的SRAM1的 像素位置的处理的图； 

图8A和图8B是示出由图像变换部分141的内插处理部分207执行的像素内插处理的图； 

图9是示出用于存储归一化之后(图像变换处理之后)的面部图像的SRAM2 251的面部图像存储区域中的像素配置的图； 

图10是示出用于存储归一化之前(图像变换处理之前)的面部图像的SRAM1 201的面部图像存储区域中的像素配置的图； 

图11是图10所示的SRAM1 201的原点的附近区域的放大图； 

图12是示出归一化处理所需要的相应像素计算处理的图；以及 

图13是示出作为内插处理部分207中的像素值确定处理例子的应用了双线性方法的处理的例子的图。 

具体实施方式

以下将参照附图详细说明本发明的图像处理设备、图像处理方法和计算机程序。 

如上所述，面部识别系统包括用于从输入图像提取面部图像的面部提取处理以及用于在提取的面部图像和登记图像之间进行匹配以识别输入图像与哪个登记图像相对应的面部识别处理。这里，首先再次给出面部检测处理和面部识别处理的定义。 

面部检测是用于检测人面部并从某个图像(与一张照片或一个画面(场或帧)相对应)获得其位置和尺寸的处理。有时在一个画面中存在多个面部。另一方面，面部识别意味着识别一个检测到的面部是否与已在之前登记的人的面部相同。 

图1示意性地示出根据本发明的实施例的面部识别系统的整体配置。该图中所示的面部识别系统1包括图像缩小装置11、面部检测器12、双眼位置检测器13、面部识别装置14和存储多个图像的存储器(SDRAM)15。此外，面部检测器12、双眼位置检测器13和面部识别装置14分别在内部包含本地存储器(SRAM)。对于系统1的输入是图像，并且来自系统1的输出(是/否)是指示输入面部图像和登记 面部图像是否属于同一人的标记。 

图像缩小装置11通过同时沿水平方向和垂直方向将输入图像缩小到1/2而产生缩小图像，并将缩小的图像与原始输入图像一起存储在SDRAM(同步DRAM)15中。在图1所示的例子中，输入图像被称为图像-1，通过同时沿水平方向和垂直方向将输入图像缩小到1/2而产生的图像被称为图像-1/2，通过同时沿水平方向和垂直方向将输入图像缩小到1/4而产生的图像被称为图像-1/4。产生这三个图像并将它们存储在SDRAM 15中。 

在产生缩小图像时，期望在考虑计算精度的情况下从输入图像直接产生各图像。但是，考虑到硬件的规模，可以使用依次将图像缩小到1/2的方法，也就是说，首先可以从输入图像(图像-1)产生图像-1/2，然后从产生的图像-1/2产生图像-1/4。 

面部检测器12从存储在SDRAM 15中的输入图像和所有缩小图像中检测面部，并获得检测到的面部的尺寸和位置。对于面部位置的检测，除非考虑处理速度，否则可以很容易地检测整个图像。另一方面，对于各种尺寸的面部的检测，这是图像的分辨率和待检测面部的尺寸之间的相对关系的问题，因此考虑以下的两种方式。一种是使图像的分辨率固定的方式(也就是说，对于输入图像提供各种尺寸的面部检测器的方式)，另一种是使待检测面部的尺寸固定的方式(使用仅可检测一固定尺寸的面部的一个面部检测器将输入图像缩小为具有各种分辨率的方式)。后一种方式比前一种方式更现实。因此，如图1所示，面部检测器12针对由图像缩小装置11产生的缩小面部，即图像-1、图像-1/2和图像-1/4中的每一个，识别是否存在24×24像素的面部。 

在这一点上，在缩小比的标度(即1/2或1/4)太粗糙从而不具有足够的精度的情况下，例如图像缩小装置11还产生具有图像-7/8、图像-6/8和图像-5/8的缩小比的图像的情况，面部检测器12应对具有各缩小比的图像执行面部检测。 

对于面部检测的特征提取，可以应用两点像素差方法。这是对于 不同的两点计算易于提取24×24像素中的面部特征的两点的像素的差的方法。此外，可以使用adaboost算法作为识别装置的运算。 

在双眼位置检测器13中，作为识别面部图像的准备，通过识别左眼和右眼的位置来检测双眼位置，从而针对面部检测器12检测到的面部上分辨率已增加的图像的面部进行归一化。也就是说，检测双眼位置，并且根据通过面部检测而检测到的面部尺寸和面部位置来获得分辨率已增加的面部图像的面部尺寸、面部位置和面部角度。 

面部检测器12以24×24像素的分辨率执行面部检测，并且面部识别装置14以60×66像素的分辨率执行面部识别。换言之，面部识别装置14所需的分辨率需要比面部检测器12的分辨率高。因此，假定由面部检测器检测到的面部是图像-1/2，那么在具有更高的分辨率的图像-1中出现同一面部的地方并且在面部的上部检测到左眼和右眼。 

对于双眼位置检测的特征提取，可以应用两点像素差方法。应用了两点像素差方法的区域包括24×24个像素。这与面部检测器12的情况相同，因此该处理可以用与面部检测器12的情况相同的硬件通过使处理时间串行化而执行。 

面部识别装置14获得通过双眼位置检测器13从中识别出了左眼和右眼位置的面部图像的尺寸、位置和角度，并且根据它们将面部归一化，然后，将面部一次存储在60×66像素的内部SRAM中以待确定其是否与登记图像匹配。 

面部识别装置14对于面部识别的特征提取例如应用Gabor滤波。此外，对于识别装置的运算使用gentleboost。获得通过对归一化面部图像应用Gabor滤波而产生的结果和通过向之前登记的图像应用Gabor滤波而产生的结果之间的相似度。对获得的相似度进行gentleboost，以识别归一化面部图像是否与登记图像匹配。 

图2示出面部识别装置14的配置的例子。图中所示的面部识别装置14包括图像变换部分141、Gabor滤波应用部分142、相似度计算部分143和匹配确定部分14。 

首先，图像变换部分141基于通过双眼位置检测而检测到的双眼 位置信息，将具有面部识别所需要的分辨率的面部图像从SDRAM 15传送到位于面部识别装置14本地的SRAM1。然后，根据双眼位置信息获得面部的尺寸、面部的位置和面部的角度，执行借助SRAM1中的面部图像的图像变换的归一化处理，并且产生面部识别处理所需要的面部图像并将其存储在SRAM2中，SRAM2是设置在面部识别装置14中的本地存储器。 

也就是说，图像变换部分141根据双眼位置信息执行拟合处理，在该拟合处理中，对SRAM1中的面部图像进行诸如缩小、移位、旋转变换等的图像变换(归一化)，使得左眼和右眼的位置在SRAM2中与固定坐标匹配，从而在SRAM2中产生面部识别所需要的面部图像。也就是说，如图3所示，执行借助SRAM1中的面部图像的图像变换的归一化处理，并将结果存储在SRAM2中。 

在这一点上，本发明的设备执行图像变换(归一化)处理，同时抑制诸如眼睛、鼻子、嘴等的在面部识别处理时变得重要的面部部位的位置和形状出现错误。将在后面给出该处理的详细说明。 

在Gabor滤波应用部分142中，对通过图像变换部分141归一化了的面部图像应用Gabor滤波器。 

Gabor滤波在空间上表示为对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数。在本实施例中，滤波窗口如图4A所示固定为24×24。当该滤波窗口被应用于图4B所示的具有特定的频率成分的包含正弦函数和余弦函数的响应函数时，可以产生图4C所示的Gabor滤波。此外，当沿例如0°、22.5°、45°、67.5°、90°、112.5°、135°和157.5°的以22.5°为增量的八个方向对包含正弦函数或余弦函数的响应函数应用滤波窗口时，可以产生如图4D所示的8个Gabor滤波。此外，通过以相同的方式沿八个方向应用具有角度θ的滤波窗口，如图4E所示，构成共40种类型的Gabor滤波。Gabor滤波(Gabor核K(x，y))由下面的运算表达式表示。 

表达式1 

$K(x,y)=\frac{f}{2\mathrm{\π}}\exp (-\frac{f^2}{2}(x^2+y^2)(\sin 2\mathrm{\θ}+\cos 2\mathrm{\θ}))\{\exp \left(i2\mathrm{\πf}(x\sin \mathrm{\θ}+y\sin \mathrm{\θ})\right)-\exp (-\frac{1}{{2f}^2})\}$

$\mathrm{gauss}(x,y)=\frac{f}{2\mathrm{\π}}\exp (-\frac{f^2}{2}(x^2+y^2))$

Re(x，y)＝cos(2πf(xcosθ+ysinθ)) 

im(x，y)＝sin(2πf(xcosθ+ysinθ)) 

Gabor滤波的运算是应用了Gabor滤波Gi(x，y)的像素I(x，y)与Gabor滤波的系数的卷积。Gabor滤波的系数可被分离成以余弦函数作为频率响应的实部Re(x，y)和以正弦函数作为频率响应的虚部Im(x，y)。卷积被应用于以上的每一个，并且将各分量组合成包含一个标量值的Gabor滤波结果Ji(x，y)。注意，(x，y)代表特征量提取位置的像素位置，i代表上述40个Gabor滤波中的第i个。 

表达式2 

J_i(x，y)＝G_i(x，y)

I(x，y) 

通过向图像的特征量提取位置(x，y)应用最多40种类型的Gabor滤波以获得称为Gabor特征向量的最多40个标量值元组{J1、J2、...、J40}。 

相似度计算部分143在对输入图像计算出的Gabor特征向量GS和对登记图像计算出的Gabor特征向量GR之间执行归一化相关运算，以获得各特征量提取位置的相似度d。 

表达式3 

$d=\frac{\mathrm{GS}\·\mathrm{GR}}{\left|\mathrm{GS}\right|\left|\mathrm{GR}\right|}$

在本实施例中，在归一化的60×66像素的面部图像中，在易于提取特征量以获得相似度的82处特征量提取位置(参见图5)处执行归一化相关运算。结果，获得了相似度向量D，该相似度向量D的元素是在82处特征量提取位置d0、d1、...和d81的每个位置处获得的归一化相关运算结果。 

表达式4 

D＝(d₀，d₁，d₂，...，d₈₁) 

在这一点上，在上面已说明了“最多40种类型”的Gabor滤波被应用。这意味着不必在所有82处特征量提取位置处应用所有的40种类型的Gabor滤波。应当应用多少种类型的Gabor滤波取决于要提取相似度的特征量提取位置的处所，并且Gabor滤波的类型和数量(Gabor特征向量的元素数)根据该处所而不同。 

匹配确定部分144基于输入图像和登记图像之间的相似度向量来确定两个图像的匹配。本实施例使用gentleboost作为识别装置的运算。这里，使用以下的运算表达式来计算gentleboost。注意，表达式中的a、q和b事先被登记为字典。 

表达式5 

y000＝a000×(dj000＞q000)+b000 

y001＝a001×(dj001＞q001)+b001 

y002＝a002×(dj002＞q002)+b002 

y159＝a159×(dj159＞q159)+b159 

0≤j000，j001，j002，...，j159≤81 

然后，根据以下的判别式确定输入图像是否与登记图像匹配。 

表达式6 

如果((y000+y001+y002+...+y159)＞阈值)，则面部OK，否则面部NG(不好) 

在这一点上，在本实施例中，对于匹配的确定使用gentleboost。但是，例如，可以使用支持向量机对相似度向量的边界面的值进行类别确定，并且可确定面部图像的匹配。 

下面将详细说明由图1所示的面部识别装置14中的图像变换部分141(参见图2)执行的图像变换处理。如已参照图3所说明的，图像变换部分141根据从存储在SRAM1中的面部图像中拾取的面部图像的双眼位置信息执行拟合处理，在该拟合处理中，对SRAM1中的面 部图像进行诸如缩小、移位、旋转变换等的图像变换(归一化)，使得左眼和右眼的位置在SRAM2中与固定坐标匹配，从而在SRAM2中产生面部识别所需要的面部图像。本发明的设备执行图像变换(归一化)处理，同时抑制诸如眼睛、鼻子、嘴等的在面部识别处理时变得重要的面部部位的位置和形状出现错误。以下将详细说明图像变换处理。 

首先，面部识别装置14中的图像变换部分141执行将SDRAM 15(参见图1)中的图像的面部区域部分写入SRAM1(参见图2)中的写入处理。图像变换部分141从写入SRAM1(参见图2)中的图像中拾取面部图像区域，执行作为拟合处理的图像变换，并将处理结果写入SRAM2中。拟合处理是对SRAM1中的图像进行归一化以在SRAM2中产生图像的处理。本设备中的归一化指的是至少包含面部图像的定位、旋转、扩大或缩小中的任一种的图像变换处理。 

将参照图6详细说明要由图像变换部分141执行的图像变换处理。图6示出图像变换部分141的详细配置。首先，图像变换部分141中的计算部分203读取SRAM1 201中的从SDRAM 200写入的面部图像，并接收从眼睛位置检测部分202写入SRAM1 201中的面部图像的左眼和右眼位置的坐标输入。 

计算部分203基于坐标数据获得要进行作为拟合处理的图像变换的面部图像的旋转角度、缩放因子和原点位置。此外，坐标变换部分205根据所获得的角度、缩放因子和原点以小数精度获得关于SRAM2251中的各像素与SRAM1 201中的哪个位置相对应的信息。例如，从图7所示的SRAM2 251中的像素(p，q)，计算存储器SRAM1 201中的像素位置(m，n)。例如，假定图7所示的SRAM2 251是存储了60×66像素信息的存储器，那么计算存储器SRAM1 201中的与包含在60×66像素的面部区域中的各个像素位置相对应的像素位置(m，n)。在这种情况下，存储器SRAM1 201中的像素位置(m，n)中的m或n可能不是整数。计算部分不仅计算相应像素位置(m，n)的整数部分，而且例如以两位小数的精度计算其小数部分。 

图6所示的内插处理部分207基于由坐标变换部分205计算出的相应像素位置信息，确定SRAM2 251的各个像素的像素值。也就是说，当存储器SRAM1 201中的与SRAM2 251中的像素(p，q)相对应的像素位置(m，n)在由坐标变换部分205计算出的相应像素位置信息中具有整数m和n时，SRAM2251中的像素(p，q)的像素值被设为存储器SRAM1 201中的像素位置(m，n)的像素值。但是，当相应像素位置(m，n)中的m和n不是整数并且具有小数部分时，基于相应像素位置(m，n)周围的SRAM1像素的像素值，通过内插处理来确定SRAM2 251中的像素(p，q)的像素值。 

将参照图8A和图8B说明由图6所示的图像变换部分141中的内插处理部分207执行的像素内插处理。当由内插处理部分207执行的内插处理使用双线性方法时，如图8A所示，获得了SRAM1 201中的相应像素位置(m，n)周围的四个像素(SRAM1 201的整数部分的坐标)以及距周围的四个像素的距离(SRAM1的小数部分的坐标)。此外，当由内插处理部分207执行的内插处理使用双三次方法时，如图8B所示，获得了SRAM1 201中的相应像素位置(m，n)周围的16个像素(SRAM1 201中的整数部分的坐标)以及距周围的16个像素的距离(SRAM1中的小数部分的坐标)。 

然后，使用获得的SRAM1 201中的整数部分坐标的像素和SRAM1 201中的小数部分坐标数据来计算作为各个像素值的贡献率的权重，并且基于计算出的权重来计算SRAM2 251中的相应像素(p，q)的像素值，以计算要被记录(写入)到SRAM2中的像素值。 

这样，基于存储在SRAM1 201中的图像的各构成像素值，确定要存储在SRAM2 251中的图像的像素值。在这一点上，如上所述，图像变换部分141中的计算部分203首先读取从SDRAM 200写入SRAM1 201中的面部图像，此外接收从眼睛位置检测部分202写入SRAM1 201中的面部图像的左眼和右眼位置的坐标输入。基于这些坐标数据，计算部分203获得要用于作为拟合处理的图像变换的面部图像的旋转角度、缩放因子和原点位置。此外，计算部分203根据所获 得的角度、缩放因子和原点，以小数精度获得SRAM2 251的各位置与SRAM1 201中的哪个位置相对应。 

拟合处理是要作为用于执行与登记图像的匹配处理的归一化处理而执行的图像变换处理。以下将说明归一化处理(图像变换处理)。计算部分203首先定义用于存储归一化面部图像的SRAM2 251的坐标。 

在根据本实施例的归一化处理中，首先，确定用于存储归一化面部图像的SRAM2 251中的左眼和右眼位置的坐标。也就是说，确定左眼和右眼位置在SRAM2 251中的固定坐标。具体地说，例如，通过以下处理来指定SRAM2 251中的固定坐标。 

将说明采取如下假定时的处理的例子，即，如图9所示，假定用于存储归一化处理(图像变换处理)之后的面部图像的SRAM2 251的面部图像存储区域的像素坐标是(x，y)，并且横轴(x轴)：尺寸为60个像素，x＝-29至+30，并且纵轴(Y轴)：尺寸为66个像素，y＝-39至+26。 

在这样的SRAM2 251的面部图像存储区域的坐标中，右眼位置的坐标(x，y)被指定为(-11，0)，左眼位置的坐标(x，y)被指定为(11，0)。此外，将原点的坐标(x，y)指定为左眼位置和右眼位置的中心(0，0)。 

然后，指定存储有归一化之前的面部图像的SRAM1 201的坐标。存储在SRAM1 201中的面部图像数据与存储在图6所示的SDRAM200中的面部图像相对应，从而首先考虑SDRAM 200中的坐标。图6所示的眼睛位置检测部分202获得SDRAM 200中的左眼和右眼位置信息，并且该信息被输入到计算部分203中。在这一点上，检测到的左眼和右眼位置不必与SDRAM中的特定像素对应。此外，左眼和右眼位置之间的中心不必与SDRAM中的特定像素对应。 

也就是说，SDRAM中的与左眼和右眼的中心相对应的原点(左眼和右眼的中心)的坐标不必与SDRAM中的特定像素位置相对应，该原点是要在存储归一化之后的面部图像的SRAM2 251中设置的原 点。 

假定SDRAM中的原点(左眼和右眼的中心)的坐标为 

(org_drx，org_dry)。 

SDRAM 200中的原点(左眼和右眼的中心)的坐标(org_drx，org_dry)相对于SDRAM 200中的像素(x，y)存在于以下范围中 。 

x＜＝org_drx＜x+1 

y＜＝org_drx＜y+1 

当SDRAM 200中的像素被切掉并被存储(写入)到SRAM1 201中时，SDRAM 200中的像素(x，y)与SDRAM 200的原点(0，0)匹配。 

如图10所示，假定用于存储归一化处理(图像变换处理)之前的面部图像的SRAM1 201的面部图像存储区域的像素坐标是(x，y)，并且横轴(X轴)：尺寸为192个像素，x＝-95至+96，并且纵轴(Y轴)：尺寸为180个像素，y＝-107至+72。 

使用这种设置，如图10所示，与SDRAM 200中的原点(左眼和右眼的中心)的坐标(org_drx，org_dry)相对应的SRAM1 201中的原点位置(org_s1x，org_s1y)存在于以下范围中。 

0＜＝org_s1x＜1 

0＜＝org_s1y＜1 

图11是图10所示的SRAM1 201的原点区域附近的放大图。与SRAM 2的原点对应的图中所示的标记“▲”如下面那样是SRAM1中的坐标系中的位置。 

0＜＝org_s1x＜1 

0＜＝org_s1y＜1 

这里，假定： 

org_s1x_int：SRAM1的原点坐标x的整数部分， 

org_s1x_frc：SRAM1的原点坐标x的小数部分， 

org_s1y_int：SRAM1的原点坐标y的整数部分， 

org_s1x_frc：SRAM1的原点坐标y的小数部分，那么， 

org_s1x_int＝0，并且 

org_s1y_int＝0。 

这样，存储归一化(图像变换处理)之后的图像的SRAM2 251的原点是SRAM2坐标系的原点坐标(0，0)。但是，如参照图10和图11所说明的那样，SRAM2坐标系中与存储归一化(图像变换处理)之前的图像的SRAM1 201的原点相对应的坐标位置没有变为(0，0)，而是变为以下条件下的(org_s1x，org_s1y)。 

0＜＝org_s1x＜1 

0＜＝org_s1y＜1 

因此，当存储在SRAM1 201中的面部图像经受归一化(图像变换)并被存储到SRAM2 251中时，需要执行用于获得SRAM2 251的各坐标与SRAM1 201的坐标系中的哪个点相对应的处理。 

也就是说，当对记录在SRAM1 201中的面部图像执行作为归一化处理(图像变换)的图像缩小处理、图像旋转处理或图像平移处理中的至少任一个以将归一化之后的图像存储到SRAM2 251中时，需要执行用于获得SRAM2 251的各坐标与SRAM1 201的坐标系中的哪个点相对应的处理。在图6所示的图像变换部分141的计算部分203中，获得对于获得对应关系来说所必需的作为图像变换参数的旋转角度、变换缩放因子和原点信息，并且将这些变换参数输出到坐标变换部分205。 

坐标变换部分205通过应用从计算部分203输入的这些变换参数，计算与SRAM2 251的各坐标相对应的SRAM1 201的坐标。在这一点上，在该处理中，坐标变换部分205从图6所示的图像变换部分141的地址产生部分204接收与SDRAM 200和SRAM1 201中的面部图像存储区域的像素位置相对应的地址，并计算相应的像素位置。该计算结果被输出到内插处理部分207，并且内插处理部分207执行应用了前面参照图8A和图8B所述的双线性方法或双三次方法的像素值内插处理以确定像素值，并将所确定的像素值写入SRAM2 251的各个坐标位置中。 

将参照图12详细说明归一化处理所需要的对应像素计算处理，即，用于获得SRAM2 251的各坐标与SRAM1 201的坐标系中的哪个点相对应的处理。图12示出以下的存储器区域：存储有输入图像的SDRAM 200；SRAM1 201，存储在SDRAM 200中的面部图像区域被切掉并存储在SRAM1201中；和SRAM2 251，其中对存储在SRAM1201中的面部图像进行归一化(图像变换)处理并且存储归一化(变换处理)之后的图像。 

如图12所示，SDRAM 200、SRAM1 201和SRAM2 251的各存储器区域被假定如下。 

SDRAM：320×240像素 

SRAM1：196×180像素 

SRAM2：60×66像素 

此外，在归一化处理之后存储在SRAM2 251中的面部图像的原点被假定为作为存储在SRAM2 251中的面部图像的左眼和右眼的中心位置的SRAM2坐标系原点(0，0)。存储在SRAM2 251中的面部图像的左眼和右眼之间的距离被假定为[P]，例如为22个像素。 

如图12所示，假定存储归一化之前的图像的SRAM1 201中的面部图像的左眼和右眼的坐标以及作为左眼和右眼的中心的原点的坐标如下。 

左眼坐标：(lex，ley)， 

右眼坐标：(rex，rey)， 

原点坐标：(cex，cey)。 

此外，假定： 

左眼坐标(lex，ley)和右眼坐标(rex，rey)之间的距离为[c]，左眼坐标(lex，ley)和右眼坐标(rex，rey)之间的x坐标的差为[a]，并且左眼坐标(lex，ley)和右眼坐标(rex，rey)之间的y坐标的差为[b]。 

因此，a、b和c分别与图12所示的SRAM1 201中的直角三角形各边的长度相对应并具有以下的关系： 

c²＝a²+b²

由a边和c边形成的角假定为θ。 

这里，作为存储归一化之前的图像的存储器的SRAM1 201的坐标系中的坐标(x，y)和作为存储归一化之后的图像的存储器的SRAM2251的坐标系中的坐标(x，y)被如下定义。 

s1x：SRAM1坐标系中的x坐标， 

s1y：SRAM1坐标系中的y坐标， 

s2x：SRAM2坐标系中的x坐标， 

s2y：SRAM2坐标系中的y坐标。 

坐标变换部分205针对作为存储归一化之后的图像的存储器的SRAM2的各坐标(s2x，s2y)，基于下式(表达式1)计算作为存储归一化之前的图像的存储器的SRAM1 201的坐标(s1x，s1y)。 

s1x＝(c/P)×((s2x)×cosθ+s2y×singθ)+(org_s1x_frc) 

＝(a×s2x+b×s2y)/P+(org_s1x_frc) 

s1y＝(c/P)×((-s2x)×sinθ+s2y×cosθ)+(org_s1y_frc) 

＝(-b×s2x+a×s2y)/P+(org_s1y_frc) 

...(表达式1) 

在这一点上，在上述表达式(表达式1)中， 

a＝(lex)-(rex)， 

b＝ley-rey， 

c＝√(a×a+b×b)， 

cosθ＝a/c，和 

singθ＝b/c 

坐标变换部分205使用上式(表达式1)对于作为存储归一化之后的图像的存储器的SRAM2的各个坐标(s2x，s2y)计算作为存储归一化之前的图像的存储器的SRAM1 201的坐标(s1x，s1y)。 

计算部分203获得作为图像变换参数的旋转角度、变换缩放因子和原点信息，并将这些变换参数输出到坐标变换部分205。在上式(表 达式1)中，使用了以下参数： 

变换缩放因子(图像缩小处理参数)：(c/P)； 

旋转角度(图像旋转处理参数)：θ； 

原点信息(图像平移处理参数)：(org_s1x_frc，org_s1y_frc)。 

在这一点上，原点信息(图像平移处理参数)是指示SRAM1坐标系中的与SRAM2的原点相对应的位置的信息(参见图11)。计算部分203基于SRAM2 251的原始信息和存储在SRAM1 201中的面部图像信息，获得上述各变换参数，即，旋转角度、变换缩放因子和原点信息，并将这些参数输出到坐标变换部分205。 

坐标变换部分205接收SRAM2 251的各个像素(s2x，s2y)的计数值输入，对每一个像素应用上述的表达式(表达式1)以计算与SRAM2 251的各个像素(s2x，s2y)相对应的SRAM1的像素位置(s1x，s1y)。 

该计算的结果被输出到内插处理部分207。内插处理部分207使用前面参照图8A和图8B说明的双线性方法或双三次方法，执行像素值内插处理以确定像素值。确定的像素值被写入SRAM2 251的各坐标位置。在这一点上，SRAM2 251的各个像素(s2x，s2y)的计数值是作为SRAM2的写地址而从计数器206输入的，并且确定的像素值根据地址位置进行写入。 

参照图13，作为内插处理部分207中的像素值确定处理的例子，将说明应用了双线性方法的处理的例子。图13示出SRAM1坐标系中的点[★]301，该点与SRAM2中的一个坐标点(s2x，s2y)相对应。 

对应点[★]301不与SRAM1坐标系中的特定坐标点相对应，并且是一被多个坐标位置(e、f、g、h)包围的位置。坐标位置E、F、G和H中的每一个是SRAM1坐标中的坐标点，并具有以下坐标。 

E＝(s1x_int，s1y_int) 

F＝(s1x_int+1，s1y_int) 

G＝(s1x_int，s1y_int+1) 

H＝(s1x_int+1，s1y_int+1) 

像素点E、F、G和H具有单独的值。这里，假定像素点E、F、G和H各自的像素值分别为e、f、g和h。此时，内插处理部分207使用双线性方法通过下式(表达式2)计算要在SRAM2中的坐标点(s2x，s2y)中设置的像素值[Q]。 

上式(表达式2)是使用双线性方法的像素值内插处理，并且是根据前面参照图8A说明的处理的像素值确定处理。也就是说，获得SRAM1中的与SRAM2中的像素(s2x，s2y)相对应的像素位置[★]和周围的四个点(E、F、G和H)之间的距离(SRAM1的小数部分坐标)，并且基于所获得的距离来计算作为各像素值的贡献率的各权重。基于计算出的权重来计算SRAM2中的像素(s2x，s2y)的像素值。通过上述表达式，将所确定的像素值写入SRAM2 251的各个坐标位置。 

在这一点上，如上所述，对于内插处理部分207中的像素值确定处理的方法，不仅可应用上述双线性方法，而且还可应用诸如双三次方法等的其它方法。 

已参照特定的实施例给出了本发明的详细说明。但是，很显然，本领域技术人员可以在不背离本发明的精神和范围的条件下对实施例进行修改和替代。也就是说，本发明虽以例子的形式被公开，但不应被解释为受上述实施例的限制。为了确定本发明的精神和范围，应考虑所附权利要求。 

在这一点上，在本说明书中，主要给出了将本发明应用于面部识别设备的实施例的说明。但是，本发明的要旨不限于此。本发明可被应用于执行面部图像数据的变换并且将数据存储到存储器中或存储到显示器上的各种信息处理设备。 

此外，可以通过硬件、软件或两者的组合来执行在本说明书中说明的一系列处理。当通过软件执行处理时，可以在内置于专用硬件中的计算机存储器中安装记录有处理序列的程序以供执行。作为替代方案，可以在能够执行各种处理的通用个人计算机中安装各种程序。 

Claims (14)

1.一种用于对输入的面部图像执行识别处理的图像处理设备，所述设备包括：

图像变换部分，接收待识别面部图像的输入、将输入的面部图像的左眼和右眼的中心用作原点而对输入的面部图像执行归一化处理，而使得面部图像的左眼和右眼的位置在图像存储器中与固定坐标匹配；

计算从在图像变换部分中变换后的输入图像获得的特征量和登记图像的特征量之间的相似度的相似度计算部分；和

基于通过相似度计算部分计算出的相似度，确定输入的面部图像是否与登记的面部图像相匹配的匹配确定装置。

2.根据权利要求1所述的图像处理设备，

其中，图像变换部分从存储要进行归一化处理的面部图像的第一存储器获得面部图像，通过图像变换执行归一化并将归一化之后的面部图像存储到第二存储器中，并且包括：

计算部分，用于计算变换参数，所述变换参数用于计算第二存储器中的各个像素位置在第一存储器中的对应点；

坐标变换部分，其基于通过计算部分计算出的变换参数，计算第二存储器中的各个像素位置在第一存储器中的对应点；和

内插处理部分，其根据通过坐标变换部分计算出的对应点信息，确定与第二存储器中的各像素位置相对应的像素值。

3.根据权利要求2所述的图像处理设备，

其中，计算部分计算用于限定在将存储在第一存储器中的面部图像变换成存储在第二存储器中的面部图像时要执行的图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数作为所述变换参数，并且，

坐标变换部分应用用于限定图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数来执行计算第二存储器中的各个像素位置在第一存储器中的对应点的处理。

4.根据权利要求3所述的图像处理设备，

其中，坐标变换部分根据下式使用第二存储器中的坐标(s2x，s2y)计算作为归一化之前的图像存储存储器的第一存储器中的坐标(s1x，s1y)：

s1x＝(c/P)×((s2x)×cosθ+s2y×sinθ)+(org_s1x_frc)

s1y＝(c/P)×((-s2x)×sinθ+s2y×cosθ)+(org_s1y_frc)

其中，s1x是第一存储器坐标系中的x坐标，s1y是第一存储器坐标系中的y坐标，s2x是第二存储器坐标系中的x坐标，s2y是第二存储器坐标系中的y坐标，并且从计算部分输入的图像缩小处理参数、图像旋转参数、图像平移处理参数分别是(c/P)、θ、(org_s1x_frc)和(org_s1y_frc)。

5.根据权利要求4所述的图像处理设备，

其中，平移处理参数(org_s1x_frc，org_s1y_frc)是指示第一存储器坐标系中的与第二存储器的原点相对应的位置的信息。

6.根据权利要求2所述的图像处理设备，

其中，内插处理部分使用由坐标变换部分计算出的对应点信息来执行应用了双线性方法或双三次方法的像素值内插处理。

7.根据权利要求1所述的图像处理设备，

其中，相似度计算部分包括：

Gabor滤波应用装置，该Gabor滤波应用装置对于由图像变换部分变换的变换输入图像的各个特征量提取位置，在改变Gabor滤波的响应函数的频率和角度的同时执行Gabor滤波系数和像素的卷积运算，获得包含与滤波类型相对应个数的标量值的Gabor特征向量，其中Gabor滤波在空间上由对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数表示；和

相似度运算装置，该相似度运算装置对于各个特征量提取位置计算输入的面部图像的Gabor特征向量和登记的面部图像的Gabor特征向量之间的相似度，并获得包含多个特征量提取位置的相似度的集合的相似度向量，

其中，匹配确定装置基于相似度向量确定输入的面部图像是否与登记的面部图像相匹配。

8.一种用于在图像处理设备中对输入的面部图像执行识别处理的图像处理方法，该方法包括以下步骤：

图像变换步骤，通过图像变换部分接收待识别面部图像的输入、将输入的面部图像的左眼和右眼的中心用作原点而对输入的面部图像执行归一化处理，而使得面部图像的左眼和右眼的位置在图像存储器中与固定坐标匹配，来变换图像；

相似度计算步骤，通过相似度计算部分计算从在图像变换步骤中变换了的输入图像获得的特征量和登记图像的特征量之间的相似度；和

匹配确定步骤，基于通过相似度计算步骤计算出的相似度，通过匹配确定部分确定输入的面部图像是否与登记的面部图像相匹配而进行匹配确定。

9.根据权利要求8所述的图像处理方法，

其中，图像变换步骤包括从存储要进行归一化处理的面部图像的第一存储器获得面部图像，通过图像变换执行归一化，并将归一化之后的面部图像存储到第二存储器中，并且包括：

计算步骤，通过计算部分计算用于计算第二存储器中的各个像素位置在第一存储器中的对应点的变换参数；

坐标变换步骤，基于通过计算步骤计算出的变换参数，通过坐标变换部分计算第二存储器中的各个像素位置在第一存储器中的对应点来变换坐标；和

内插处理步骤，根据通过坐标变换步骤计算出的对应点信息，通过内插处理部分确定与第二存储器中的各像素位置相对应的像素值而进行内插处理。

10.根据权利要求9所述的图像处理方法，

其中，计算步骤计算用于限定在将存储在第一存储器中的面部图像变换成存储在第二存储器中的面部图像时要执行的图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数作为所述变换参数，并且，

坐标变换步骤应用用于限定图像缩小处理、图像旋转处理或图像平移处理中的至少任一种处理的变换参数以执行计算第二存储器中的各个像素位置在第一存储器中的对应点的处理。

11.根据权利要求10所述的图像处理方法，

其中，坐标变换步骤通过下式使用第二存储器中的坐标(s2x，s2y)计算作为归一化之前的图像存储存储器的第一存储器中的坐标(s1x，s1y)：

s1x＝(c/P)×((s2x)×cosθ+s2y×sinθ)+(org_s1x_frc)

s1y＝(c/P)×((-s2x)×sinθ+s2y×cosθ)+(org_s1y_frc)

其中，s1x是第一存储器坐标系中的x坐标，s1y是第一存储器坐标系中的y坐标，s2x是第二存储器坐标系中的x坐标，s2y是第二存储器坐标系中的y坐标，并且从计算部分输入的图像缩小处理参数、图像旋转参数、图像平移处理参数分别是(c/P)、θ、(org_s1x_frc)和(org_s1y_frc)。

12.根据权利要求11所述的图像处理方法，

其中，平移处理参数(org_s1x frc，org_s1y_frc)是指示第一存储器坐标系中的与第二存储器的原点相对应的位置的信息。

13.根据权利要求9所述的图像处理方法，

其中，内插处理步骤使用由坐标变换部分计算出的对应点信息来执行应用了双线性方法或双三次方法的像素值内插处理。

14.根据权利要求8所述的图像处理方法，

其中，相似度计算步骤包括：

Gabor滤波应用装置对于由图像变换部分变换的变换输入图像的各个特征量提取位置，在改变Gabor滤波的响应函数的频率和角度的同时执行Gabor滤波系数和像素的卷积运算，获得包含与滤波类型相对应个数的标量值的Gabor特征向量，其中Gabor滤波在空间上由对于窗口使用高斯函数并且对于频率响应使用正弦函数或余弦函数作为基础的Gabor函数表示；和

相似度运算装置对于各个特征量提取位置计算输入的面部图像的Gabor特征向量和登记的面部图像的Gabor特征向量之间的相似度，并获得包含多个特征量提取位置的相似度的集合的相似度向量，

其中，匹配确定步骤基于相似度向量执行关于输入的面部图像是否与登记的面部图像相匹配的匹配确定处理。

Images