CN101859381A - 伽柏滤波器、图像识别设备及方法、程序和记录介质 - Google Patents

伽柏滤波器、图像识别设备及方法、程序和记录介质 Download PDF

Info

Publication number
CN101859381A
CN101859381A CN201010151191A CN201010151191A CN101859381A CN 101859381 A CN101859381 A CN 101859381A CN 201010151191 A CN201010151191 A CN 201010151191A CN 201010151191 A CN201010151191 A CN 201010151191A CN 101859381 A CN101859381 A CN 101859381A
Authority
CN
China
Prior art keywords
image
formula
rightarrow
frequency
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010151191A
Other languages
English (en)
Inventor
大久保厚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101859381A publication Critical patent/CN101859381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了伽柏滤波器、图像识别设备及方法、程序和记录介质。在该伽柏滤波器中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数ν的函数而表示的可变值。

Description

伽柏滤波器、图像识别设备及方法、程序和记录介质
技术领域
本发明涉及Gabor(伽柏)滤波器、图像识别设备及方法、程序和记录介质,更具体地,涉及能够针对任何图像的任何特征点以较小的计算量更精确地计算局部特征量的Gabor滤波器、图像识别设备及方法、程序和记录介质。
背景技术
作为用于确定两个面部图像是否对应于同一人物的技术,已存在以下技术:该技术用于通过使用Gabor滤波器提取面部的各种特征点的局部特征向量(Gabor jet),通过使用SVM(支持向量机)来学习由Gabor滤波器的全部维度的相关值构成的相关向量以生成识别器,并通过该识别器执行识别处理。
Gabor滤波器已被广泛用作用于各种图像识别技术的特征量,其代表性例子为面部识别。例如,在论文“Face Recognition by Elastic BunchGraph Matching,von der Malsburg”中公开了一种使用Gabor滤波器的面部识别技术。在论文“Face Recognition by Elastic Bunch GraphMatching,von der Malsburg”中,通过计算卷积积分获得面部特征点的局部特征量。
另外,由于上述计算公式满足DC-Free特性,因而可以提取对于照度变化具有鲁棒性的特征量。为了满足DC-Free特性,必须进行相对于无限积分范围的积分。然而,在实际情况中,由于不可能进行对图像的无限积分,因而将积分范围设置成充分大于高斯(Gauss)窗函数的宽度。
另外,本发明人首先提出了一种通过使用Adaboost进行统计学习处理来生成用于识别模式中的识别处理的识别器的图像处理设备(例如,参考日本未审专利申请公开2008-165731)。如日本未审专利申请公开2008-165731所公开的,可以通过从按比例和方向排列通过例如40个Gabor滤波器获得的特征量中的一些得到的特征维度,选择具有任意位置和大小的正方形区域,来确定一些组的局部特征量的组合。结果,可以消除不必要的参数的影响。
在von der Malsburg所写的论文“Face Recognition by Elastic BunchGraph Matching”中,对于具有不同频率和方向的Gabor核通常共同用于确定Gabor滤波器的形状的参数σ的值,并且设置参数σ的值,以使得σ=2π。因此,Gauss窗函数的宽度变成σ/k,从而使得该宽度与频率k成反比。因此,为了计算低频特征量,需要取宽的积分范围。
然而,在要进行提取物体图像的特征量的处理中的使用宽的积分范围的卷积计算时,一般出现以下问题。
首先,可能必须准备与积分范围相对应的足够大的输入。
其次,例如,在核预先被计算且被存储在存储器中的情况下,可能必须提供大的存储区域。
第三,如果要提取物体和背景之间的边界附近的特征量,则包括背景图像区域的大量的特征量。
第四,计算量与积分面积成比例地增大。
由于这些问题,在许多实际计算情况下,在允许不满足DC-Free特性且积分范围受限的状态下进行卷积计算。在这种情况下,对于照度变化的鲁棒性降低。
发明内容
希望提供对于任何图像的任何特征点都能够利用更少的计算量更精确地计算局部特征量的Gabor滤波器、图像识别设备及方法、程序和记录介质。
根据本发明的第一实施例,提供了一种Gabor滤波器,其中,将确定具有不同的方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值。
指定根据Gabor滤波器的计算的积分范围而确定的常数ν0,并且将参数σ配置为通过以下的公式5而计算出的可变值。
(公式5)
σ ( ν ) = 2 π · 2 - ( ν - ν 0 2 )
另外,可以用I表示输入图像的灰度值,用μ表示指定方向的方向参数;可以通过以下的公式4表示多个Gabor滤波器中的第j个Gabor滤波器的结果Jj;并且基于以下的公式3、公式6和公式2来计算该结果。
(公式4)
J j ( x → i ) = ∫ I ( x → ′ ) ψ j ( x → i - x → ′ ) d 2 x → ′
(公式3)
j=μ+8ν
(公式6)
ψ j ( x → ) = 2 ν 0 exp [ - x 2 2 · [ 2 - ν 0 2 ] 2 ] [ exp ( i k → j x → ) - exp ( - π 2 · 2 - ( ν - ν 0 ) ) ]
(公式2)
k → j = k jx k jy = k ν cos φ μ k ν sin φ μ , k ν = 2 - ν + 2 2 π , φ μ = μ π 8
在本发明的第一实施例中,将确定具有不同的方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值。
根据本发明的第二实施例,通过一种图像识别设备,该图像识别设备包括:特征点检测装置,用于检测输入图像数据的图像的特征点;特征量检测装置,用于通过使用Gabor滤波器来检测特征点的局部特征量,其中,将确定具有不同的方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值;计算装置,用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及输出装置,用于输出基于相关系数而确定输入图像数据的图像中是否包括登记图像的识别结果。
指定根据Gabor滤波器的计算的积分范围而确定的常数ν0,并将参数σ配置为通过以下的公式5而计算出的可变值。
(公式5)
σ ( ν ) = 2 π · 2 - ( ν - ν 0 2 )
另外,可以用I表示输入图像的灰度值;用μ表示指定方向的方向参数;可以通过以下的公式4来表示多个Gabor滤波器中的第j个Gabor滤波器的结果Jj;并且基于以下的公式3、公式6和公式2来计算该结果。
(公式4)
J j ( x → i ) = ∫ I ( x → ′ ) ψ j ( x → i - x → ′ ) d 2 x → ′
(公式3)
j=μ+8ν
(公式6)
ψ j ( x → ) = 2 ν 0 exp [ - x 2 2 · [ 2 - ν 0 2 ] 2 ] [ exp ( i k → j x → ) - exp ( - π 2 · 2 - ( ν - ν 0 ) ) ]
(公式2)
k → j = k jx k jy = k ν cos φ μ k ν sin φ μ , k ν = 2 - ν + 2 2 π , φ μ = μ π 8
根据本发明的第三实施例,提供了一种图像识别方法,该图像识别方法包括以下步骤:检测输入图像数据的图像的特征点;通过使用Gabor滤波器来检测特征点的局部特征量,其中,将确定具有不同方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值;计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及输出基于相关系数而确定输入图像数据的图像中是否包括登记图像的识别结果。
根据本发明的第四实施例,提供了一种允许计算机用作图像识别设备的程序,该图像识别设备包括:特征点检测装置,用于检测输入图像数据的图像的特征点;特征量检测装置,用于通过使用Gabor滤波器来检测特征点的局部特征量,其中,将确定具有不同方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值;计算装置,用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及输出装置,用于输出基于相关系数而确定输入图像数据的图像中是否包括登记图像的识别结果。
在本发明的第二至第四实施例中,检测输入图像数据的图像的特征点;通过使用Gabor滤波器来检测该特征点的局部特征量,其中将确定具有不同的方向和频率的多个Gabor函数的形状的参数σ的值配置为通过指定频率的频率参数ν的函数而表示的可变值;计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;并且输出基于该相关系数而确定输入图像数据的图像中是否包括登记图像的识别结果。
根据本发明,对于任意图像的任意特征点,可以用更少的计算量来更精确地计算局部特征量。
附图说明
图1是示出根据本发明实施例的图像处理设备的结构的例子的框图;
图2是示出在基于比例和方向排列40个Gabor滤波器的情况下的例子的图;
图3是示出用余弦(或正弦)分量构成的载波的例子的图;
图4是示出Gauss窗函数的例子的图;
图5是示出与图3和4相对应的Gabor滤波器的特性的波形的例子的图;
图6是示出用余弦(或正弦)分量构成的载波的另一例子的图;
图7是示出Gauss窗函数的另一例子的图;
图8是示出相关技术中的Gabor滤波器的例子的图;
图9是示出根据本发明的Gabor滤波器的例子的图;
图10是示出图1的图像处理设备的识别处理的例子的流程图;
图11是示出其中从Gabor滤波器中选择在任意位置处的具有任意大小的正方形区域的状态的图;
图12是示出根据本发明实施例的图像处理设备的结构的另一例子的框图;
图13是示出图12的图像处理设备的学习处理的例子的流程图;
图14是示出图12的图像处理设备的识别处理的例子的流程图;
图15是示出个人计算机的结构的例子的框图。
具体实施方式
下面参考附图说明本发明的典型实施例。
图1是示出根据本发明实施例的图像处理设备11的结构的例子的框图。
图像处理设备11通过使用拍摄的人物图像进行图像识别处理,并进行确定人物是否是登记的人物的处理。
图像处理设备11通过应用使用稍后描述的Gabor滤波器的处理来识别图像,并进行用于确定要识别的图像是否包含登记的人物的面部的处理。
图像处理设备11被配置成包括图像获取单元31、面部检测单元32、面部图像变换单元33、面部识别处理单元34、面部登记数据库35和识别结果输出单元36。
另外,尽管在下面的说明中,图像处理设备11中包括面部登记数据库35,但是可以将面部登记数据库35配置成经由网络(未示出)等与图像处理设备11相连接。如果面部登记数据库35经由网络等被连接到图像处理设备11,则一个面部登记数据库35可被多个图像处理设备11所共用。
图像获取单元31可被配置成包括例如照相机,以具有拍摄人物的功能。替代性地,图像获取单元31可以从外部设置的照相机或其它设备获取被拍摄的人物的图像。另外,图像获取单元31获取包括人物的面部部分(即,识别对象)的拍摄图像。由图像获取单元31获取的图像是至少包括人物的面部部分的图像。图像获取单元31所获取的图像被提供给面部检测单元32。
面部检测单元32通过分析从图像获取单元31提供的图像来提取人物的面部的部分(该部分在面部上的位置和大小),并检测所提取的人物面部的部分的图像(以下称为面部图像)。从图像获取单元31提供的图像是包括要识别的人物的面部的图像。然而,该图像不仅可以是面部图像,而且可以是例如人物的整个身体的图像。在这种情况下,面部检测单元32根据该图像确定人物面部的区域,并提取与人物面部的部分相对应的图像。所检测到的面部图像被提供给面部图像变换单元33的面部特征点检测单元51和面部配准单元52。
面部图像变换单元33被配置成包括面部特征点检测单元51和面部配准单元52。
面部特征点检测单元51从提供自面部检测单元32的面部图像中检测用于稍后描述的面部配准单元52的变形处理的配准特征点。配准特征点可以是诸如人物面部上的眼、鼻或口等的特征部分,即,面部特征部分。除了面部特征部分之外,可以将人物面部的更细微的部分检测为特征点。
面部特征点检测单元51可以通过使用例如被称为AAM(动态外观模型)的方法来检测特征位置。
面部配准单元52通过分析从面部检测单元32提供的面部图像和由面部特征点检测单元51检测到的配准特征点来检测所提取的面部朝向哪个方向。接着,面部配准单元52进行诸如仿射变换等的变形处理,以使得面部特征位置与基准位置配准。因此,例如,在面部的正面直视的面部的图像的情况下,进行变形处理,以使得左眼和右眼的位置在水平位置上被分隔开预定距离,使得鼻位于左眼和右眼之间的中心的下方,且使得口位于鼻的下方。因此,将从面部检测单元32提供的不是在面部的正面直视的面部图像变换成与在面部的正面直视的面部图像基本上相同的面部图像。结果,也可以识别由图像获取单元31获取的不是在面部的正面直视的面部图像。
面部识别处理单元34被配置成包括局部特征计算单元71和面部识别单元74。
将其提取的特征点被校正至基准位置的面部图像提供给面部识别处理单元34的局部特征计算单元71。局部特征计算单元71针对所提供的面部图像的多个特征点计算局部特征量。用于获得局部特征量的特征点可以与由面部特征点检测单元51检测到的配准特征点相同。替代性地,该特征点可以是与由面部特征点检测单元51检测到的配准特征点完全不相同的多个特征点。利用Gabor滤波器构成局部特征计算单元71。
现在说明Gabor滤波器的处理(Gabor滤波)。首先,说明相关技术的Gabor滤波器的处理。
众所周知,人类视觉细胞包括具有对于特定方向的选择性的细胞。该视觉细胞包括对垂直线敏感的细胞和对水平线敏感的细胞。Gabor滤波器是利用具有方向敏感性的多个滤波器构成的空间滤波器。
通过Gabor函数在空间上表示Gabor滤波器。通过以下的公式(1)表示Gabor函数。
ψ j ( x → ) = k j 2 σ 2 exp ( - k j 2 x 2 2 σ 2 ) [ exp ( i k → j x → ) - exp ( - σ 2 2 ) ] · · · ( 1 )
在公式(1)中,带有矢量符号的X是用表示输入图像的特征点的坐标位置的元素(x,y)构成的二维(2-D)矢量。另外,将特征点的坐标位置设置为例如由面部特征点检测单元51检测到的配准特征点的坐标位置。
另外,公式(1)中的σ是用于确定Gabor函数的形式(即,Gabor滤波器的形式)的参数。
另外,公式(1)中的kj表示根据频率参数和方向参数确定的局部特征量,并且在实际情况中,kj是具有由公式(2)表示的元素(kjx,kjy)的2-D矢量。
k → j = k jx k jy = k ν cos φ μ k ν sin φ μ , k ν = 2 - ν + 2 2 π , φ μ = μ π 8 · · · ( 2 )
因此,通过将用余弦(或正弦)分量构成的载波乘以2-D Gauss分析形状中的包络(Gauss窗函数)来构成由公式(1)表示的Gabor函数。
另外,kν是根据频率参数ν而改变的、与Gabor滤波器的频率相对应的值。另外,φμ是根据方向参数μ而改变的、与Gabor滤波器的方向相对应的值。
例如,可以通过设置五个频率参数ν和八个方向参数μ来获得40(=5×8)个Gabor滤波器。公式(1)和公式(2)中的参数j指定上述的40个Gabor滤波器中的任一个,且通过公式(3)表示该参数j。
j=μ+8ν                      …(3)
在Gabor滤波器的处理中的特征量计算中,通过使用具有不同的方向和频率的多个Gabor滤波器来计算各个特征量。这里,通过使用具有八个方向和五个频率的总共40个Gabor滤波器来进行计算特征点的特征量的处理。
另外,由于为了通过使用稍后描述的公式(4)获得特征量矢量(GaborJet)而必须使用公式(1)的计算结果,因而可以预先进行该计算,且预先将计算结果存储在存储器等中。换言之,可以将针对在一个特征点周围的以该特征点为其中心的预定范围中的像素的公式(1)的计算结果存储在存储器等中。
例如,在公式(1)中,可以将通过以下方式获得的计算结果预先存储在存储器等中:用坐标位置(x-32,y-32)至(x+32,y+32)中的各个坐标位置取代带有矢量符号的x。因此,可以高速地进行通过稍后描述的公式(4)所表示的积分的计算。
图2示出基于比例和方向排列40个Gabor滤波器的例子。另外,该Gabor滤波器是相关技术中的Gabor滤波器。后面参考图9说明根据本发明的Gabor滤波器。在图2中,40个正方形中的每个使Gabor滤波器可视化。这里,在该图中,通过区分加载在与正方形的面积相对应的图像的像素位置上的Gabor滤波器的滤波器系数来使Gabor滤波器可视化。在该图中,亮的部分对应于高的滤波器系数值,暗的部分对应于低的滤波器系数值。
在图2中,纵轴表示频率方向的变化量。在该轴上,上部对应于高频,下部对应于低频。另外,在该图中,横轴表示滤波器方向(角度)的变化量。在该轴上,最左的部分对应于0度;随着向右移动,角度增大;中心部分对应于90度;最右侧对应于约180度的角度。换言之,在图2的滤波器阵列中,最左的列中的滤波器和最右的列中的滤波器是随着角度改变而连续的滤波器。
通过上述频率参数ν指定图2的纵轴上的位置,并且通过上述方向参数μ指定图2的横轴上的位置。
例如,具有高频和0度或180度的角度的滤波器适合于计算人面部上的眼附近的特征量的处理。另外,具有低频和90度的角度的滤波器适合于计算人面部上的鼻附近的特征量的处理。
如果用Jj表示第j个Gabor滤波器的结果(Gabor特征),并且用I表示输入图像的灰度值,则通过公式(4)表示Gabor滤波器的响应。另外,在公式(4)中,以带有矢量符号的xi表示特征点,其中i为1至M的整数。
J j ( x → i ) = ∫ I ( x → ′ ) ψ j ( x → i - x → ′ ) d 2 x → ′ · · · ( 4 )
换言之,在公式(4)中,通过将特征点周围的预定范围(例如从特征点的像素开始的垂直方向和水平方向上的±32个像素的范围)取为积分范围来进行卷积积分。如果使用40个Gabor滤波器,则对于一个特征点可以获得40个特征量。换言之,对于一个特征点可以获得具有40个参数(元素)的特征量矢量(Gabor Jet)。
另外,如上所述,如果将通过以下方式获得的各个计算结果预先存储在存储器等中,则可以高速地进行公式(4)的积分计算:用例如坐标位置(x-32,y-32)至(x+32,y+32)取代公式(1)中的带有矢量符号的x。
而且,将以上参考公式(1)描述的Gabor函数配置成满足DC-Free特性。具有DC-Free特性的图像的特征量是不受图像的直流(DC)分量影响的特征量。在通过利用改变照相机的白平衡或光圈拍摄同一被摄体而获得图像A和B的情况下,通过使用该特征量可以增强用于识别出图像A和B是同一被摄体的图像的特性。换言之,具有DC-Free特性的Gabor滤波器可以提取出不受图像的色调或拍摄时的光强度等的影响的特征。
由于公式(1)中包括项“-exp(-σ2/2)”,因而公式(1)满足DC-Free特性。如上所述,公式(1)中的参数σ被指定为用于确定Gabor滤波器的形状的参数,并且在在相关技术的Gabor滤波器的处理中计算GaborJet时,已使用与参数j的值不相关的参数σ的共用值。换言之,在上述的公式(4)中,尽管通过改变参数j而计算出与40个Gabor滤波器相对应的40个特征量,但是对于这40次计算已使用了相同值的参数σ。
例如,在von der Malsburg等人所著的论文“Face Recognition byElastic Bunch Graph Matching”中公开的方法中,将参数σ设置为2π。
另外,如上所述,将公式(1)配置为Gauss窗函数与用余弦(或正弦)分量构成的载波的乘积。公式(1)中的项“(kj 22)exp(-(kj 2x2/2σ2))”是Gauss窗函数,并且可以获得该Gauss窗函数的宽度为σ/k。换言之,公式(1)中的Gauss窗函数的宽度与Gabor滤波器的频率成反比。
如果Gauss窗函数的宽度大,则对于由公式(4)表示的特征量矢量的计算必须取宽的积分范围。
例如,考虑图3所示的用余弦(或正弦)分量构成的载波被乘以图4所示的Gauss窗函数的情况。另外,在图3和4中,横轴对应于例如像素位置,并且纵轴对应于例如滤波器系数的值。
图3所示的波形的频率对应于上述的Gabor滤波器的频率。在图4中,以w表示Gauss窗函数的宽度。在这种情况下,通过图5所示的波形表示Gabor滤波器的特性。在图5中,在Gauss窗函数的值增大的该图的中心处的部分中,波形的振幅大,而在Gauss窗函数的值减小的该图的左右两端附近的部分中,波形的振幅小。
对于图2所示的Gabor滤波器,在所有40个滤波器中都可以观察到其像素颜色从白变成黑的四个波(条纹)。这样,Gabor滤波器被配置成具有与其振幅根据Gauss窗函数的衰减而改变的波形相对应的形状。
现在考虑其频率低于图3所示的载波的频率的、用余弦(或正弦)分量构成的图6所示的载波。如上所述,由于公式(1)中的Gauss窗函数的宽度与Gabor滤波器的频率成反比,因而与图6所示的载波的频率相对应的Gauss窗函数具有大的宽度w,如图7所示。因此,在Gabor滤波器的频率低的情况下,如果该图中的横轴没有被取成具有足够大的长度,则可能不能观察到其振幅根据Gauss窗函数的衰减而改变的波形。换言之,在该频率低的情况下,如果横轴(例如像素位置)没有被取成具有如图7所示的足够大的长度,则Gauss窗函数不会充分地衰减。
因此,在Gabor滤波器的频率低的情况下,如果输入图像的面积没有被取得足够大,则可能不能适当地获得特征量。
换言之,在相关技术中的Gabor滤波器中,如果要计算低频部分(例如人面部上的鼻部分)的特征量,则对于公式(4)的计算,必须使用该特征点周围的大量像素。换言之,在公式(4)的计算中必须取宽的积分范围。
然而,在使用公式(4)的特征量矢量的计算中,如果要进行如上所述的使用宽的积分范围的卷积运算,则发生以下问题。
首先,必须准备根据公式(4)的积分范围具有足够大的面积的输入图像。例如,在图2所示的滤波器中,为了满足DC-Free特性,必须将具有该图的下部所示的低频的滤波器的面积配置得大。
其次,例如,在预先计算公式(1)并将其结果存储在存储器中的情况下,必须要设置大的存储区域。换言之,为了满足DC-Free特性,由于必须增大具有低频的滤波器的面积,因而积分范围也增大。结果,例如,在公式(4)中的下标j表示具有低频的Gabor滤波器的情况下,如果要将大量计算结果存储在存储器中,则可能不能高速地进行公式(4)的积分计算。
例如,在公式(4)中的下标j表示具有高频的Gabor滤波器的情况下,可以将通过用例如坐标位置(x-32,y-32)至(x+32,y+32)取代公式(1)中的带有矢量符号的x而获得的各个计算结果预先存储在存储器中。然而,在下标j表示具有低频的Gabor滤波器的情况下,如果预先存储通过用例如坐标位置(x-160,y-160)至(x+160,y+160)取代公式(1)中的带有矢量符号的x而获得的各个计算结果,则可能不能高速地进行公式(4)的积分计算。
第三,由于积分范围宽,因而,在要提取面部和背景之间的边界附近的特征量的情况下,包括背景区域的大量的特征量。
第四,公式(4)的计算量与输入图像的面积成比例地增大。换言之,如第二问题中所述,如果积分范围增大,则计算量也增大。
由于这些问题,在相关技术中的Gabor滤波器的处理的许多情况下,在以下的状态下进行卷积计算:在实际计算中可能允许不满足DC-Free特性,并且限制积分范围。例如,对于具有低频的Gabor滤波器,尽管必须要准备具有足够大的面积的输入图像,然而在实际情况中,已使用用于具有高频的Gabor滤波器的输入图像和面积无变化的输入图像。然而,在这种情况下,对于照度变化的鲁棒性降低。
因此,在本发明中,无论对积分范围的限制如何,都可以满足DC-Free特性。
如上所述,在相关技术的Gabor滤波器的处理中,将公式(1)中的参数σ的值设置为常数(例如2π)。然而,在本发明中,将参数σ的值设置为变量。在本发明中,将参数σ的值表示为频率参数ν的函数,并且通过使用公式(5)获得参数σ的值。
σ ( ν ) = 2 π · 2 - ( ν - ν 0 2 ) · · · ( 5 )
在公式(5)中,ν0是通过公式(4)的计算中的积分范围确定的常数。
在根据本发明的Gabor滤波器的处理中,代替上述公式(1),使用公式(6)。另外,通过将公式(2)和公式(5)代入公式(1)中而获得公式(6)。
ψ j ( x → ) = 2 ν 0 exp [ - x 2 2 · [ 2 - ν 0 2 ] 2 ] [ exp ( i k → j x → ) - exp ( - π 2 · 2 - ( ν - ν 0 ) ) ] · · · ( 6 )
另外,由于无论参数σ的值如何,公式(1)都满足DC-Free特性,因而公式(6)也满足DC-Free特性。
在公式(6)中,Gauss窗函数的宽度为2的(-(ν-ν0)/2)次幂,其中,不管Gabor滤波器的频率如何,该宽度都是恒定的。因此,如果将参数ν0设置成适当值以使Gauss窗函数在积分范围内充分衰减,则不管任意积分范围中的频率的大小如何,都可以构成满足DC-Free特性的Gabor滤波器。
在本发明中,对于公式(4)的计算使用公式(6)中的ψj(x)。因此,根据本发明的图像处理设备11的局部特征计算单元71输出通过对于公式(4)的计算使用公式(6)中的ψj(x)而获得的特征量。因此,例如,为了高速地进行公式(4)的积分计算,可以将针对以一个特征点为中心的该特征点周围的根据积分范围的预定范围中的像素的公式(6)的计算结果存储在存储器等中。例如,可以由图像处理设备11的用户任意地指定积分范围。根据所指定的积分范围确定上述的公式(5)和公式(6)中的常数ν0的值。
图8和9是用于举例说明相关技术中的Gabor滤波器和根据本发明的Gabor滤波器之间的差别的图。这里,说明了以下的例子:准备了总共80个Gabor滤波器作为具有8个方向和5个频率的余弦/正弦滤波器。在图8和9中,80(=8×10)个正方形均表示Gabor滤波器。
图8是示出相关技术中的Gabor滤波器的例子的图,而图9是示出根据本发明的Gabor滤波器的例子的图。这里,在这些图中,通过区分加载在与正方形的面积相对应的图像的像素位置上的Gabor滤波器的滤波器系数来使Gabor滤波器可视化。在这些图中,亮的部分对应于高的滤波器系数值,暗的部分对应于低的滤波器系数值。
另外,在图8和9中,纵轴表示频率方向的变化量。在该轴上,上部对应于高频,下部对应于低频。另外,在该图中,横轴表示滤波器方向(角度)的变化量。在该轴上,最左的部分对应于0度;随着向右移动,角度增大;中心部分对应于90度;并且最右侧对应于约180度的角度。
在图8的情况下,在该图的下部的具有低频的Gabor滤波器中,在其处像素的颜色从白色变成黑色的波超出了正方形的区域。另一方面,在图9的情况下,在该图的下部的具有低频的Gabor滤波器中,在其处像素的颜色从白色变成黑色的波没有超出正方形的区域。这样,图9所示的根据本发明的Gabor滤波器满足DC-Free特性,并且即使在低频时也可以不必取大的积分范围。
回到图1,将由局部特征计算单元71计算出的特征量提供给面部识别单元74。
面部识别单元74将由局部特征计算单元71计算出的特征量矢量与登记在面部登记数据库35中的登记的面部图像数据相比较。换言之,面部识别单元74计算相关系数,并确定当前的人物是否与登记的人物相匹配。面部识别单元74将确定结果提供给识别结果输出单元36。
将用于识别登记的人物的特征量信息登记在面部登记数据库35中。换言之,将与登记的人物的面部图像的特征点相对应的所有Gabor Jet都登记在面部登记数据库35中。
登记在面部登记数据库35中的特征量的数据(登记的面部图像数据)是通过图1所示的图像获取单元31至局部特征计算单元71的处理而获取并登记的数据。另外,可以使用从外部获取并登记的数据作为通过图像获取单元31至局部特征计算单元71的处理而获得的数据。
识别结果输出单元36可以通过使用例如蜂鸣音、文本显示或LED闪烁将从面部识别单元74提供的确定结果通知到外部。替代性地,识别结果输出单元36可以将该确定结果输出至外部设备。更具体地,例如,可以将识别结果输出单元36配置成包括例如显示器。替代性地,可以将识别结果输出单元36配置成以消息等的格式显示确定结果。
例如,在面部登记数据库35中登记有与输入图像中所包括的面部图像相匹配的登记的面部图像的情况下,可以输出诸如姓名等的与该面部图像的人物相关的信息。例如,从面部登记数据库35读取与被确定为匹配的登记的面部图像相对应的人物相关的信息(例如该人物的姓名),并将该信息(例如姓名)作为确定结果而输出至识别结果输出单元36。
另外,在面部登记数据库35中未登记与输入图像中包括的面部图像相匹配的登记的面部图像的情况下,可以输出表示未登记的信息。例如,作为确定结果而输出消息“未登记的人物”。
这样,图像处理设备11通过比较特征量来确定所获得的人物的面部图像是否与登记的人物的面部图像相匹配。
接着参考图10的流程图说明根据本发明的图像处理设备11的识别处理的例子。
在步骤S101中,面部检测单元32从包括由图像获取单元31获取的面部图像的图像中检测与该面部相对应的部分,并将检测到的面部图像提供给面部特征点检测单元51和面部配准单元52。
在步骤S102中,面部特征点检测单元51检测该面部的特征部分(面部特征位置),例如诸如眼、鼻或口等的特征部分。
在步骤S103中,面部配准单元52基于由面部特征点检测单元51检测到的面部特征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理,以使得将面部图像变换成对应于在面部的正面直视所拍摄的面部图像。将变换后的面部图像提供给局部特征计算单元71。
在步骤S104中,局部特征计算单元71例如通过使用参考图9详细说明的Gabor滤波器来计算局部特征量。此时,如上所述,在本发明中,通过对于公式(4)的计算使用用公式(6)表示的Gabor核来计算特征量矢量。
在步骤S105中,面部识别单元74从面部登记数据库35读取登记的面部的特征量。
在步骤S106中,面部识别单元74计算相关系数。此时,面部识别单元74计算从局部特征计算单元71提供的特征量矢量与从面部登记数据库35读取的登记的面部的特征量矢量之间的相关系数。
在步骤S107中,识别结果输出单元36基于从面部识别单元74提供的计算结果而输出对要识别的对象的存在的识别结果。例如,输出表示输入图像中是否包括要识别的对象(例如从面部登记数据库35读取的登记的面部)的识别结果。
然而,构成特征量矢量的Gabor jet被准备成具有各种频率和方向参数。然而,具体地,在要获得面部图像的特征的情况下,由于用于表示特征点的特征所必需的频率和方向参数不相同,因而可能存在不必要的特征点的参数。
因此,由于根据不必要的参数而获得的Gabor特征通常可能具有与特征点的局部特征无关的值,因而在获得包括不必要的参数的特征量矢量之间的相关系数的情况下,Gabor特征可能对所获得的结果具有不利影响。
另外,在通过多个独立的因素(例如面部表情、个性、眼镜等)表示特征点的局部特征的情况下,可能难以与用所有Gabor Jet构成的特征量矢量之间的相关值中的因素无关地评价相关性。
特征点所必需的频带和方向没有不必要的参数,即,可以假定特征点在连续范围内。因此,可以从其中排列了所有Gabor滤波器的比例和方向的图2所示的特征维数中选择图11所示的诸如正方形131、正方形132和正方形133等的具有任意的位置和大小的正方形区域。这样,根据特征点所确定的特征量矢量的元素(以下称为局部特征量)的组合非常适合于获得面部图像的特征。
因此,如果从其中以比例和方向排列Gabor滤波器的特征维数中选择具有任意的位置和大小的正方形区域,则其组合的数量最大为5C2×8P2=560,可以选择合理数量的特征维数。另外,在特征点所必需的频带和方向被选择作为组合的正方形区域内的情况下,换言之,在该频带和方向不被包括在与局部特征无关的Gabor特征的正方形区域中的情况下,可以避免无关的特征量的不利影响。
因此,在识别面部图像的处理的实际情况下,不是针对各个特征点计算通过使用例如40个Gabor滤波器而计算出的所有局部特征量的相关系数,但是优选地,确定根据特征点的局部特征量的组合。
在确定了根据特征点的局部特征量的组合的情况下,例如可以将图像处理设备11配置成如图12所示。图12是示出根据本发明的图像处理设备11的结构的另一例子的框图。图12示出了图像处理设备的例子,该图像处理设备例如通过使用参考图9所述的Gabor滤波器来计算特征量矢量,并根据特征点确定局部特征量的组合。在该图中,用相同的附图标记表示与图1的组件相同的组件。
在图12中,图像获取单元31至面部图像变换单元33与参考图1所述的图像获取单元31至面部图像变换单元33相同,因此省略对其的详细说明。
在图12的结构中,图像处理设备11在两种工作模式下工作,即,学习模式和识别模式。学习模式是进行使用学习图像学习识别处理并生成要用于识别模式下的识别处理的识别器的处理的模式。识别模式是进行使用在学习模式下生成的识别器来识别图像并确定要识别的图像是否包括登记的人物的面部的处理的模式。
另外,在图12中,面部识别处理单元34被配置成包括局部特征计算单元71、识别器生成单元72、学习数据存储单元73和面部识别单元74。
在图12中,将由局部特征计算单元71计算出的特征量矢量配置成在学习模式下被提供给识别器生成单元72且在识别模式下被提供给面部识别单元74。
在图12的情况下,在学习模式中,局部特征计算单元71通过指定至少包括通过40个Gabor滤波器所获得的特征量中的一些特征量的多维特征矢量集作为局部特征量来针对每个特征点生成多种组合。
可以生成这些组合以包括通过40个Gabor滤波器获得的所有特征量。换言之,这些组合可以包括或者可以不包括40维的特征矢量。
换言之,局部特征计算单元71针对一个特征点可以获得多个具有40个或更少的参数的特征量矢量。例如,N个特征点的局部特征量可被配置成针对一个面部图像而被计算出。另外,准备Gabor滤波器的P种组合。在这种情况下,针对一个特征点可以获得P种特征量矢量,并且针对一个面部图像可以获得N×P个特征量矢量。
这样,局部特征计算单元71生成通过40个Gabor滤波器获得的一些特征量集合的组合作为局部特征量。但是,在选择这些组合中的用作局部特征量的组合时,可以选择随机组合。然而,这些组合的总数必然非常大。
因此,局部特征计算单元71通过以下方式来确定局部特征量的组合:从图2所示的Gabor滤波器中选择图11所示的诸如正方形131、正方形132或正方形133等的具有任意的位置和大小的正方形区域。另外,这里,尽管为了简化说明而从图2的Gabor滤波器中选择图11所示的正方形区域,但是在实际情况下,从以上参考图9所述的Gabor滤波器中选择具有任意的位置和大小的正方形区域。
在学习模式下,局部特征计算单元71将针对每个特征点的多个具有40个或更少的参数的特征量矢量提供给识别器生成单元72。另外,在识别模式下,局部特征计算单元71基于存储在学习数据存储单元73中的识别特征量来计算与特征点相对应的局部特征量,并将该局部特征量提供给面部识别单元74。识别特征量是表示哪个特征点的哪个局部特征量(即,Gabor滤波器的哪个部分)被用于通过识别器生成单元72中的学习而生成的识别器的信息。
因此,不仅可以使用每个特征点的所有维数对包括特征量矢量的一个相关系数进行识别器生成以及在面部识别时所进行的相关系数计算,而且还可以使用一些维数对包括该特征量矢量的多个相关系数进行识别器生成以及在面部识别时所进行的相关系数计算。换言之,对于学习和识别可以使用不同维数的多个特征量。
在学习模式下,识别器生成单元72通过使用由局部特征计算单元71计算出的学习图像特征量和预先存储的学习模型特征量来进行使用Ababoost的统计学习处理。在识别模式下,识别器生成单元72生成要用于识别处理的识别器。接着,识别器生成单元72将所生成的识别器以及与该识别器相关的信息(表示相关值和该识别器的可靠性的信息)存储在学习数据存储单元73中。另外,识别器生成单元72在识别器的学习期间、仅提取对于对要识别的面部图像的识别影响大的模型特征量。接着,识别器生成单元72将表示哪个特征点的哪个局部特征量(Gabor滤波器的哪个正方形区域部分)被用于该识别器的信息作为识别特征量而提供给学习数据存储单元73,并将该信息存储在学习数据存储单元73中。
Adaboost是Freund等人在1996年提出的理论,其能够通过组合多组“比随机识别器更优的识别器”(有时被称为弱学习器)来实现“强识别器”。通过识别器生成单元72生成的识别器是“比随机识别器更优的弱识别器”,并且这些识别器中的每个被生成以使得在该识别器之前所生成的识别器为差的识别分配加权因子。
因此,在识别处理中,根据每个弱识别器的可靠性如何而获得可靠性,并基于该可靠性进行大多数确定。
将通过识别器生成单元72生成的识别器、与该识别器相关的信息以及识别特征量存储在学习数据存储单元73中。
在图12的情况下,在识别模式下,面部识别单元74通过使用存储在学习数据存储单元73中的识别器而将由局部特征计算单元71计算出的特征量与登记在面部登记数据库35中的登记的面部图像数据相比较。例如,计算该特征量与登记的面部图像数据之间的相关系数,并确定是否存在与登记的人物之间的匹配。将确定结果提供给识别结果输出单元36。换言之,面部识别单元74基于存储在学习数据存储单元73中的识别器的可靠性而对识别器的确定结果进行大多数确定,以确定是否存在与登记的人物之间的匹配。
在图12的情况下,将与识别登记的人物所必需的特征量相关的信息登记在面部登记数据库35中。换言之,可以将登记的人物的面部图像中的全部特征点的所有Gabor Jet存储在面部登记数据库35中。然而,可以至少登记与对应于识别特征量的特征量相关的信息。
将登记在面部登记数据库35中的特征量的数据(登记的面部图像数据)配置为通过进行图1的图像获取单元31至局部特征计算单元71的处理而获得的且被登记的数据。另外,可以使用从外部获取并被登记的数据作为通过图像获取单元31至局部特征计算单元71的处理而获得的数据。
识别结果输出单元36可以通过使用例如蜂鸣音、文本显示或LED闪烁将从面部识别单元74提供的确定结果通知到外部。替代性地,识别结果输出单元36可以将确定结果输出至外部设备。更具体地,例如可以将识别结果输出单元36配置成包括例如显示器。替代性地,可以将识别结果输出单元36配置成包括以消息等的格式显示判断结果的单元。
例如,在面部登记数据库35中登记有与输入图像中包括的面部图像相匹配的登记的面部图像的情况下,可以输出诸如姓名等的与该面部图像的人物相关的信息。例如,从面部登记数据库35读取与被确定为匹配的登记的面部图像相对应的人物的相关的信息(例如姓名),并将该信息(例如姓名)作为确定结果而输出至识别结果输出单元36。
另外,在面部登记数据库35中未登记与输入图像中包括的面部图像相匹配的登记的面部图像的情况下,可以输出表示未登记的信息。例如,作为确定结果而输出消息“未登记的人物”。
可以如下地配置图像处理设备11。
另外,在日本未审专利申请公开2008-165731中公开了一种通过进行使用Adaboost的统计学习处理来生成用于识别模式下的识别处理的识别器的图像处理设备。
接着参考图13的流程图来说明在学习模式下由如图12所示地配置的图像处理设备11所进行的学习处理。
在步骤S131中,面部检测单元32从包括通过图像获取单元31而获取的面部图像的图像中检测与该面部相对应的部分,并将检测到的面部图像提供给面部特征点检测单元51和面部配准单元52。
在步骤S132中,面部特征点检测单元51检测该面部的特征部分(面部特征位置),例如诸如眼、鼻或口等的特征部分。
在步骤S133中,面部配准单元52基于由面部特征点检测单元51检测到的面部特征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理。由此将该面部图像变换成与在面部的正面直视所拍摄的面部图像相对应。将变换后的面部图像提供给局部特征计算单元71。
在步骤S134中,局部特征计算单元71例如通过使用参考图9详细说明的Gabor滤波器来计算局部特征量。
在步骤S135中,局部特征计算单元71对通过参考图11所述的Gabor滤波器而获得的局部特征量中的至少一部分的一些集合进行组合,并将这些集合提供给识别器生成单元72。可以预先通过试验或按照经验来确定组合方法和所生成的组合的数量。更具体地,可以选择组合方法和所生成的组合的数量,以使得如参考图11所述的,频带和方向是连续的。
在步骤S136中,识别器生成单元72的相关系数计算单元101从学习模型特征量存储单元102读取学习模型的特征量,并计算从局部特征计算单元71提供的局部特征量的组合与该组合中的学习模型之间的相关系数。
在步骤S137中,识别器生成单元72生成识别器。
在步骤S138中,识别器生成单元72登记通过步骤S137的处理而生成的识别器。此时,例如,将生成的识别器和与该识别器相关的信息(表示相关值和该识别器的可靠性的信息)存储在学习数据存储单元73中。
由于该处理,在学习模式下,生成识别器,并将识别器存储在学习数据存储单元73中,而且将与该识别器相对应的模型特征量和该识别器的可靠性存储在学习数据存储单元73中。换言之,将与以下识别特征量以及识别器的可靠性相关的信息存储在学习数据存储单元73中:该识别特征量表示将用于生成识别器的Gabor特征与哪个特征点的哪个组合相关联(例如,如果准备了总共40个Gabor滤波器,则将该Gabor特征与哪个滤波器相关联)。
接着参考图14的流程图说明如图12所示地配置的图像处理设备11所进行的识别处理。
在步骤S171中,面部检测单元32从包括由图像获取单元31获取的面部图像的图像中检测与该面部相对应的部分,并将检测到的面部图像提供给面部特征点检测单元51和面部配准单元52。
在步骤S172中,面部特征点检测单元51检测该面部的特征部分(面部特征位置),例如诸如眼、鼻或口等的特征部分。
在步骤S173中,面部配准单元52基于由面部特征点检测单元51检测到的面部特征点而对从面部检测单元32提供的面部图像进行诸如仿射变换等的变形处理。
在步骤S174中,局部特征计算单元71例如通过使用参考图9所述的Gabor滤波器来计算局部特征量。
在步骤S175中,局部特征计算单元71从学习数据存储单元73获取与识别特征量相关的信息。
这里,该与识别特征量相关的信息是表示将用于生成识别器的Gabor特征与哪个特征点的哪个组合相关联的信息(例如,如果准备了总共40个Gabor滤波器,则该信息表示将哪个特征点与识别器的生成中的滤波器中的滤波器的组合相关联)。
在步骤S176中,局部特征计算单元71生成Gabor滤波器所获得的局部特征量与基于所获取的识别特征量的信息的在该识别特征量中表示的特征点的局部特征量的组合,并将该局部特征量的组合作为相关系数计算信息而提供给面部识别单元74。
在步骤S177中,面部识别单元74从面部登记数据库35读取登记的人物的特征量。
在步骤S178中,面部识别单元74从学习数据存储单元73读取识别器,并通过将该特征量代入其中来进行计算。面部识别单元74计算与以下组合相对应的相关系数:作为从局部特征计算单元71提供的相关系数计算信息的识别特征量中所表示的特征点的局部特征量的组合、以及从面部登记数据库35读取的登记的面部的特征量中的识别特征量中所表示的特征点的局部特征量的组合。接着,面部识别单元74通过将所获得的相关系数作为特征量而代入从学习数据存储单元73读取的识别器中来进行计算。
在步骤S179中,识别结果输出单元36基于从面部识别单元74提供的计算结果而输出对要识别的对象的存在的识别结果。
因此,可以根据特征点确定局部特征量的组合,从而使得可以对于学习和识别使用多个不同维数的特征量。
另外,图像处理设备11的根据特征点确定局部特征量的组合的结构不限于图12所示的结构,而且还可以使用其它结构。
另外,可以以硬件方式或软件方式进行上述的系列处理。在以软件方式进行上述的系列处理的情况下,可以将构成该软件的程序通过网络或记录介质而安装在诸如图15所示的通用个人计算机700等的计算机中,其中该计算机被装配在专用硬件中,或者该计算机允许被安装各种程序以执行各种功能。
在图15中,CPU(中央处理单元)701根据存储在ROM(只读存储器)702中的程序或从存储单元708加载到RAM(随机存取存储器)上的703的程序来执行各种处理。RAM 703还适当地存储执行CPU 701的各种处理所必需的数据。
CPU 701、ROM 702和RAM 703经由总线704而相互连接。另外,还将输入/输出接口705连接至总线704。
输入/输出接口705被连接至诸如键盘和鼠标等的输入单元706、用诸如LCD(液晶显示器)之类的显示器和扬声器构成的输出单元707、用硬盘等构成的存储单元708、以及用诸如调制解调器和LAN卡之类的网络接口卡构成的通信单元709。通信单元709经由包括互联网的网络进行通信处理。
另外,如果必要的话,将驱动器710连接到输入/输出接口705。适当地加载诸如磁盘、光盘、磁光盘或半导体存储器等的可拆卸介质711,并且如果必要的话将从可拆卸介质711读取的计算机程序安装在存储单元708中。
在进行上述的系列处理的情况下,经由诸如互联网等的网络或者从诸如可拆卸介质711等的记录介质来安装构成该软件的程序。
另外,可将该记录介质配置成可拆卸介质711,其中可拆卸介质711被分发给用户,以从如图15所示的设备的主体单独地将该程序分发至用户。作为可拆卸介质711的例子,存在记录程序的磁盘(包括软盘(floppydisk(注册商标)))、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(mini-disk)(注册商标))、或半导体存储器等。另外,可以在记录介质被预先装配在设备的主体中的状态下分发记录介质。记录介质可以包括在其中记录程序的ROM 702或者存储单元708中包括的硬盘等。
另外,可以根据本发明的说明书中公开的时间顺序来执行上述的系列处理。替代性地,作为对根据时间顺序的执行的替代,还可以并行地或个别地执行所述处理。
另外,本发明的实施例不局限于上述的实施例,并且在不脱离本发明的精神的范围内可以有各种变型。
本申请包含与2009年4月8日在日本专利局提交的日本优先权专利申请JP 2009-093623中公开的主题相关的主题,该日本优先权专利申请的全部内容通过引用合并于此。
本领域的技术人员应当理解,可以根据设计需求和其它因素而进行各种变型、组合、子组合和改变,只要所述变型、组合、子组合和改变在所附权利要求或其等同内容的范围之内即可。

Claims (10)

1.一种伽柏滤波器,其中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为由指定所述频率的频率参数v的函数表示的可变值。
2.根据权利要求1所述的伽柏滤波器,其中,指定根据所述伽柏滤波器的计算的积分范围而确定的常数v0,并将所述参数σ配置为通过以下的公式5而计算出的可变值:
σ ( v ) = 2 π · 2 - ( v - v 0 ) 2 (公式5)。
3.根据权利要求2所述的伽柏滤波器,
其中,用I表示输入图像的灰度值,并且用μ表示指定所述方向的方向参数;
其中,通过以下的公式4表示所述多个伽柏滤波器中的第j个伽柏滤波器的结果Jj;以及
其中,基于以下的公式3、公式6和公式2来计算所述结果:
J j ( x → i ) = ∫ I ( x → ′ ) ψ j ( x → i - x → ′ ) d 2 x → ′ (公式4)
j=μ+8v                                (公式3)
ψ j ( x → ) = 2 v 0 exp [ - x 2 2 · [ 2 - v 0 2 ] 2 ] [ exp ( i k → j x → ) - exp ( - π 2 · 2 - ( v - v 0 ) ) ] (公式6)
k → j = k jx k jy = k v cos φ μ k v sin φ μ , k v = 2 - v + 2 2 π , φ μ = μ π 8 (公式2)。
4.一种图像识别设备,包括:
特征点检测装置,用于检测输入图像数据的图像的特征点;
特征量检测装置,用于通过使用伽柏滤波器来检测所述特征点的局部特征量,在所述伽柏滤波器中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数v的函数而表示的可变值;
计算装置,用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及
输出装置,用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所述登记图像的识别结果。
5.根据权利要求4所述的图像识别设备,其中,指定根据所述伽柏滤波器的计算的积分范围而确定的常数v0,并将所述参数σ配置为通过以下的公式5而计算出的可变值:
σ ( v ) = 2 π · 2 - ( v - v 0 ) 2 (公式5)。
6.根据权利要求5所述的图像识别设备,
其中,用I表示输入图像的灰度值,并且用μ表示指定所述方向的方向参数;
其中,通过以下的公式4表示所述多个伽柏滤波器中的第j个伽柏滤波器的结果Jj;以及
其中,基于以下的公式3、公式6和公式2来计算所述结果:
J j ( x → i ) = ∫ I ( x → ′ ) ψ j ( x → i - x → ′ ) d 2 x → ′ (公式4)
j=μ+8v                            (公式3)
ψ j ( x → ) = 2 v 0 exp [ - x 2 2 · [ 2 - v 0 2 ] 2 ] [ exp ( i k → j x → ) - exp ( - π 2 · 2 - ( v - v 0 ) ) ] (公式6)
k → j = k jx k jy = k v cos φ μ k v sin φ μ , k v = 2 - v + 2 2 π , φ μ = μ π 8 (公式2)。
7.一种图像识别方法,包括以下步骤:
检测输入图像数据的图像的特征点;
通过使用伽柏滤波器来检测所述特征点的局部特征量,其中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数v的函数而表示的可变值;
计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及
输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所述登记图像的识别结果。
8.一种允许计算机用作图像识别设备的程序,所述图像识别设备包括:
特征点检测装置,用于检测输入图像数据的图像的特征点;
特征量检测装置,用于通过使用伽柏滤波器来检测所述特征点的局部特征量,其中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数v的函数而表示的可变值;
计算装置,用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及
输出装置,用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所述登记图像的识别结果。
9.一种记录介质,在所述记录介质上记录有根据权利要求8所述的程序。
10.一种图像识别设备,包括:
特征点检测单元,用于检测输入图像数据的图像的特征点;
特征量检测单元,用于通过使用伽柏滤波器来检测所述特征点的局部特征量,其中,将确定具有不同的方向和频率的多个伽柏函数的形状的参数σ的值配置为通过指定所述频率的频率参数v的函数而表示的可变值;
计算单元,用于计算所检测到的特征量与预先登记的登记图像的特征量之间的相关系数;以及
输出单元,用于输出基于所述相关系数而确定所述输入图像数据的图像中是否包括所述登记图像的识别结果。
CN201010151191A 2009-04-08 2010-04-01 伽柏滤波器、图像识别设备及方法、程序和记录介质 Pending CN101859381A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-093623 2009-04-08
JP2009093623A JP2010244381A (ja) 2009-04-08 2009-04-08 ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
CN101859381A true CN101859381A (zh) 2010-10-13

Family

ID=42314776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010151191A Pending CN101859381A (zh) 2009-04-08 2010-04-01 伽柏滤波器、图像识别设备及方法、程序和记录介质

Country Status (4)

Country Link
US (1) US20100260424A1 (zh)
EP (1) EP2239687A2 (zh)
JP (1) JP2010244381A (zh)
CN (1) CN101859381A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102897A (zh) * 2013-04-08 2014-10-15 欧姆龙株式会社 图像处理装置和图像处理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244381A (ja) * 2009-04-08 2010-10-28 Sony Corp ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体
CN103198299B (zh) * 2013-03-27 2016-08-10 西安电子科技大学 基于多方向尺度与Gabor相位投影特征结合的人脸识别方法
CN103971122B (zh) * 2014-04-30 2018-04-17 深圳市唯特视科技有限公司 基于深度图像的三维人脸描述方法
JP6375706B2 (ja) * 2014-06-11 2018-08-22 富士ゼロックス株式会社 属性推定プログラム及び情報処理装置
CN108182399B (zh) * 2017-12-27 2020-04-21 智慧眼科技股份有限公司 指静脉特征比对方法、装置、存储介质和处理器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004003A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20080137917A1 (en) * 2006-12-08 2008-06-12 Atsushi Okubo Information Processing Apparatus and Information Processing Method, Recognition Apparatus and Information Recognition Method, and Program
CN101236602A (zh) * 2007-02-02 2008-08-06 索尼株式会社 图像处理设备、图像处理方法和计算机程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP3755343B2 (ja) * 1999-06-30 2006-03-15 オムロン株式会社 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
JP4333364B2 (ja) * 2001-08-23 2009-09-16 ソニー株式会社 ロボット装置、顔認識方法及び顔認識装置
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2007043712A1 (ja) * 2005-10-14 2007-04-19 Nagasaki University 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム
EP1930842B1 (en) * 2006-12-08 2010-07-28 Sony Corporation Face recognition with Gabor filters
JP5453745B2 (ja) 2007-07-31 2014-03-26 セイコーエプソン株式会社 ポスティングサーバ、コンテンツ伝送システム及びポスティングサーバ制御方法
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP2010244381A (ja) * 2009-04-08 2010-10-28 Sony Corp ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004003A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20080137917A1 (en) * 2006-12-08 2008-06-12 Atsushi Okubo Information Processing Apparatus and Information Processing Method, Recognition Apparatus and Information Recognition Method, and Program
CN101236602A (zh) * 2007-02-02 2008-08-06 索尼株式会社 图像处理设备、图像处理方法和计算机程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102897A (zh) * 2013-04-08 2014-10-15 欧姆龙株式会社 图像处理装置和图像处理方法
CN104102897B (zh) * 2013-04-08 2018-01-26 欧姆龙株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
US20100260424A1 (en) 2010-10-14
EP2239687A2 (en) 2010-10-13
JP2010244381A (ja) 2010-10-28

Similar Documents

Publication Publication Date Title
CN105335725B (zh) 一种基于特征融合的步态识别身份认证方法
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN103136504B (zh) 人脸识别方法及装置
US20060210168A1 (en) Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same
CN101859381A (zh) 伽柏滤波器、图像识别设备及方法、程序和记录介质
CN103839042B (zh) 人脸识别方法和人脸识别系统
CN104217221A (zh) 基于纹理特征的书画作品检测方法
Moreira et al. Neural-based color image segmentation and classification using self-organizing maps
CN109670491A (zh) 鉴别人脸图像的方法、装置、设备和存储介质
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN105023253A (zh) 基于视觉底层特征的图像增强方法
JP2010134957A (ja) パターン認識方法
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN102799872A (zh) 基于面部图像特征的图像处理方法
JP2006004003A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN109949334B (zh) 基于深度强化网络残差连接的轮廓检测方法
US10885635B2 (en) Curvilinear object segmentation with noise priors
CN102855501B (zh) 一种多方向物体图像识别方法
EP3671634B1 (en) Curvilinear object segmentation with geometric priors
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
Wang et al. Feature-aware trilateral filter with energy minimization for 3D mesh denoising
Kilinc et al. Automatic human age estimation using overlapped age groups
JP2003044853A (ja) 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法
CN102214292B (zh) 人脸图像的光照处理方法
Kilinc et al. Human age estimation via geometric and textural features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101013