CN102103698B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。该图像处理装置包括：比较单元，其在处理图像中选择关注像素，并将所述关注像素的亮度值，与相对于所述关注像素具有预定位置关系的多个相邻像素中的各个的亮度值的大小进行比较；以及计算单元，其基于所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系以及所述比较单元获得的比较结果，计算所述关注像素的特征量。对于位于相对于所述关注像素点对称的位置处的两个相邻像素，所述比较单元设置所述两个相邻像素中的仅一个像素具有所述预定位置关系。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法。

背景技术

近年来，提出了一种通过图像处理从图像中检测目标图案的实用方法。特别地，如果目标图案是人的面部，则可以考虑多种应用。关于检测方法的研究和开发盛行。此外，正在对用于不仅检测面部，还识别预先登记的一组人中的哪一个与检测到的面部匹配的面部识别方法，进行越来越多的研究和开发。

通常使用匹配方法作为检测/识别方法。在匹配方法中，通过诸如正规化相关的识别处理来计算预先准备的模板(登记图像)与处理图像之间的相似度。

如果在诸如监视系统的真实环境中应用使用例如匹配方法的面部检测/识别技术，则根据天气变化或者一天中的时间，图像的对比度可能发生变化，或者在图像中可能产生部分阴影。在真实环境中，照明条件的变化可能改变图像外观(图案)，并且还可能大大影响检测/识别精度。

为了降低这种影响，代替针对图像的亮度(luminance)值执行识别处理，提出了从亮度值中提取相对于照明变化具有鲁棒性的特征量，然后针对提取的特征量执行识别处理。例如，日本特许3831232号公报描述了一种针对目标像素与其周围像素之间的亮度差的符号(周边增量符号)执行相关处理的方法。在该方法中，目标像素的浓度值与周围像素的浓度值之间的增量(大小关系)由模板图像和处理图像中的各个的符号表示，并且将匹配符号的数量设置为相似度。已知这种方法使得能够在符号没有反转的范围内，执行相对于噪声混入和亮度变化具有鲁棒性的匹配。

但是，日本特许3831232号公报中描述的技术计算模板图像和处理图像之间的相似度。因为需要准备数量等于面部的数量的模板，因此实际上难以将检测目标扩展到属于相同种类、但是具有其自己的个性(例如面部)的检测目标。

为了解决该问题，例如在日本特许3696212号公报和日本特开2006-146626号公报中，从包含诸如各种面部图像的检测目标图像的数据库中提取周边增量符号的统计特征。

但是，为了以传统方式检测目标图案，需要大量的存储器来实现使用数据库保持测定的出现概率的表。

对基于面部来识别预先登记的一组人中的哪一个与检测到的人匹配的面部识别方法应用传统方法，使得表的大小与登记的人的数量成比例地增大。

发明内容

本发明提供一种通过限制相对于在处理图像中选择的关注像素的相邻像素的增量符号计算的方向，而减小出现概率表的大小并降低所需的存储器容量的技术。

根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置包括：比较单元，其适合于在处理图像中选择关注像素，并将所述关注像素的亮度值，与相对于所述关注像素具有预定位置关系的多个相邻像素中的各个的亮度值的大小进行比较；以及计算单元，其适合于基于所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系以及所述比较单元获得的比较结果，计算所述关注像素的特征量，其中，对于位于相对于所述关注像素点对称的位置处的两个相邻像素，所述比较单元设置所述两个相邻像素中的仅一个像素具有所述预定位置关系。

根据本发明的另一方面，提供了一种图像处理方法，该图像处理方法包括：比较步骤，在处理图像中选择关注像素，并将所述关注像素的亮度值，与相对于所述关注像素具有预定位置关系的多个相邻像素中的各个的亮度值的大小进行比较；以及计算步骤，基于所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系以及在所述比较步骤中获得的比较结果，计算所述关注像素的特征量，其中，对于位于相对于所述关注像素点对称的位置处的两个相邻像素，在所述比较步骤中设置所述两个相邻像素中的仅一个像素具有所述预定位置关系。

在本发明中，仅使用处于相对于关注像素点对称的位置处的两个相邻像素中的一个像素，来进行LBP值的计算。因此，这使得能够减少计算LBP图像的计算量，并降低用于存储LBP图像的存储量。

通过以下对示例性实施例的描述(参照附图)，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的识别系统的框图；

图2是示意性地示出LBP值计算处理的图；

图3是示出第一实施例中的4位LBP图像与传统的8位LBP图像的比较的图；

图4是示出从第一实施例中的4位LBP图像恢复传统的8位LBP图像的方法的图；

图5是示意性地示出第一实施例中的识别系统中的图像处理单元的处理的图；

图6是示出第一实施例中的处理窗口扫描裁切(clip)的正规化(normalize)图像的情况的图；

图7是例示第一实施例中的识别系统中的图像处理单元的处理过程的流程图；

图8是示出第一实施例中的识别系统中的登记特征量图像存储单元中的特征量图像的存储状态的表；

图9是示出根据第二实施例的检测系统的框图；

图10是示出根据第三实施例的硬件配置的框图；以及

图11是示出根据传统技术和本发明的LBP值计算处理中的处理窗口内的相邻像素的图。

具体实施方式

下面描述使用根据本发明的图像处理方法的识别系统。

识别表示将观察的目标对象与能够对目标对象进行分类的数个概念(类)中的一个相关联的处理。例如，面部识别是指识别预先登记的一组人中的哪一个与输入图像中存在的面部图像匹配的图像处理方法。

<第一实施例>

本实施例示出了将根据本发明的图像处理方法应用到模式(pattern)识别方法的情况。特别地，说明使用图像处理方法作为针对面部识别的模式识别应用的情况。假定已经通过其他一些方法执行了在面部识别处理之前所必需的面部检测处理(图像中的面部的位置、大小以及倾斜的检测)。面部的倾斜表示图像内旋转(面内旋转)。

在第一实施例中，将根据本发明的图像处理方法应用于面部的周围图像，根据通过面部检测处理检测到的面部位置、大小和倾斜对面部的周围图像进行了裁切，并将其正规化为预定面部大小和倾斜。因此，在通过面部检测处理进行了裁切并进行了正规化、并且应用了本发明的图像处理方法的图像中，眼睛、鼻子以及嘴等的位置几乎是统一的。

为了便于描述，假定本实施例要处理的所有图像都是灰阶(gray-scale)图像(亮度图像)。

图1是示出根据第一实施例的面部识别系统的功能模块的框图。将处理图像输入到面部识别系统109中，面部识别系统109输出识别处理结果。面部识别系统109确定处理图像中是否存在任何预先登记的人。如果系统109确定处理图像中存在预先登记的人中的一个，则其输出用于识别该人的信息作为识别处理结果；否则，其输出表示处理图像中不存在预先登记的人的信息。

面部识别系统109的操作模式包括两种模式，即登记模式和识别模式。在登记模式中，输入登记图像(存在要识别的人的图像)作为处理图像，将特征量图像存储在登记特征量图像存储单元105中。在识别模式中，输入检查图像(要进行检查以确定图像中是否存在要识别的人的图像)作为处理图像，系统109比较在登记模式中存储在登记特征量图像存储单元105中的特征量图像与检查图像的特征量图像。下面将描述各个操作模式与各个模块的处理。

对于输入的处理图像，面部检测单元108使用预定面部检测方法检测图像中的面部，并识别其位置、大小以及方向。面部检测单元108基于所识别的面部位置、大小和方向，将面部大小正规化为预定大小。单元108通过裁切面部图像，使得面部按照预定方向倾斜(例如面部是竖直的)，来创建并输出裁切的正规化图像。可以使用公知技术用于面部检测单元108进行的面部检测。对于检测处理，可以使用要在第二实施例中示出的配置中的图像处理方法来执行面部检测。

图像处理单元100对面部检测单元108创建的裁切的正规化图像执行特征量图像生成处理，并且在登记模式中输出4位LBP特征量图像，在识别模式中输出从4位LBP图像恢复的8位LBP图像。图像处理单元100还包括亮度值差计算单元，亮度值差计算单元适用于计算关注像素的亮度值与周围像素的亮度值之间的差，以计算特征量。用作第一相关计算单元的相关计算单元106从登记在登记特征量图像存储单元105中的4位LBP检查特征量图像，恢复8位LBP检查特征量图像。然后，单元106执行恢复的检查特征量图像与图像处理单元计算的特征量图像之间的相关计算。此时，登记特征量图像存储单元105存储多个4位LBP特征量图像，以进行登记。基于从第一相关计算单元106发送的相关值和ID信息，综合确定单元107确定检查图像中是否存在任何预先登记的人。

本发明使用局部二值模式(Local Binary Pattern，下文中称为LBP)运算符，因此将描述LBP的与本发明相关的部分。

将在本实施例中使用的由LBP运算符计算的LBP值称为4位LBP值，以与传统的8位LBP值进行区分。如在稍后要描述的实施例中所示，本发明中的LBP值不限于4位LBP值。为了便于描述，使用4位LBP值。类似地，将传统的LBP值称为8位LBP值。将包括根据本发明计算的LBP值的LBP图像称为4位LBP图像，以将其与包括传统的8位LBP值的LBP图像进行区分。类似地，将传统的LBP图像称为8位LBP图像。

几乎完全可以从包括4位LBP值的4位LBP图像恢复8位LBP图像。也就是说，可以使用根据本实施例创建的4位LBP图像来替换传统的8位LBP图像，而信息量几乎没有损失。

图2是示意性地示出根据本实施例的基于关注像素与其相邻像素之间的相对位置关系计算LBP值的处理的图。相邻像素彼此邻接。

图3和图4中的各个示出了从4位LBP特征图像恢复8位LBP特征图像的方法。根据下面的等式计算图3中使用的4位LBP值。对于等式(1)和(2)来说，变量的含义是相同的。如图2所示，将相对于位置(x_c，y_c)的左上相邻像素的索引n设置为3，索引n按照顺时针方向递减1。

$\mathrm{LBP}4(x_c,y_c)=\underset{n=0}{\overset{3}{\mathrm{\&Sigma;}}}s(i_n-i_c)2^n...\left(1\right)$

$s\left(p\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& p\&GreaterEqual;0\\ 0& \mathrm{if}& p<0\end{array}\right....\left(2\right)$

在图3的3a中的亮度图像中，小格中的数值表示亮度值。在图3的3b中的8位LBP图像中，小格中的数值表示8位LBP值。此外，在图3的3c中的4位LBP图像中，小格中的数值表示4位LBP值。

图3示出了通过图3中的3a和3b的数值处理创建图3的3d所示的二值码的示例的处理。参考符号x和y表示坐标轴。例如，亮度图像中的坐标点(2，1)处的亮度值为142。类似地，8位LBP图像和4位LBP图像中的坐标点(2，1)处的LBP值分别为44和2。

图3中的3b示出了作为所选择的关注像素的亮度值与其8个相邻像素的亮度值的大小比较的结果，创建8位LBP图像中LBP值为44的LBP像素(粗线小格)的处理的示例。从等式(1)和(2)可以看出，如果相邻像素的亮度值大于(或等于)关注像素的亮度值，则设置1；否则，设置0。

图4示出了用于恢复8位LBP值44的处理的示例(用于恢复坐标点(2，1)处的8位LBP值的处理的示例)，作为用于从4位LBP图像恢复8位LBP图像的处理的示例。图3和图4中的4位LBP图像相同。在图4的4a中，与8位LBP图像中LBP值为44的像素(要恢复的像素)相对应的像素(4位LBP值2)被标画密阴影线以进行识别。

图4中的4b示出了如下情况：相对于4位LBP图像中的由粗线框表示的关注像素的6个相邻像素，示出了二值码(通过布置大小比较结果而获得)。将二值码视为二值数，然后由十进制数表示二值码，由此获得LBP值。将LBP值和二值码编码为相互具有一对一的对应关系。因此，能够将4位LBP值恢复为二值码。图4中的4c示出了从4位二值码恢复8位LBP值的方法。在本实施例中，由图1中的图像处理单元100和相关计算单元106执行恢复处理。

首先，参照图3中的坐标点(2，1)处的8位LBP值和4位LBP值。为了计算坐标点(2，1)处的8位LBP值，需要比较坐标点(2，1)处的亮度值与下面8个坐标点处的亮度值。

A：坐标点(1，0)：亮度值76

B：坐标点(2，0)：亮度值127

C：坐标点(3，0)：亮度值216

D：坐标点(3，1)：亮度值11

E：坐标点(3，2)：亮度值153

F：坐标点(2，2)：亮度值151

G：坐标点(1，2)：亮度值92

H：坐标点(1，1)：亮度值96

为了计算坐标点(2，1)处的4位LBP值，需要比较坐标点(2，1)处的亮度值与上述8个坐标点的前四个坐标点(A至D)处的亮度值。如果按照某种方式获得了坐标点(2，1)处的亮度值与后四个坐标点(E至H)处的亮度值的比较结果，则能够恢复坐标点(2，1)处的8位LBP值。

在这种情况下，当计算了坐标点(3，2)处的4位LBP值时，比较E表示的坐标点(3，2)和坐标点(2，1)，也就是说，计算亮度值。因此，能够从坐标点(3，2)处的4位LBP值的二值码计算8位LBP值。更具体地说，当反转(如果起始位为0，则设置1；否则，设置0)坐标点(3，2)处的4位LBP值的二值码的起始位(自右起从0开始时的第三位；在图4的右下侧(4c)中，标画密阴影线的小格)时，获得坐标点(2，1)与(3，2)的比较结果。进行反转运算，以在“减数”和“被减数”之间切换。也就是说，在计算坐标点(2，1)处的4位LBP值时，或者在计算坐标点(3，2)处的4位LBP值时，反转运算在减数和被减数之间切换坐标点(2，1)处的亮度值和坐标点(3，2)处的亮度值。

类似地，能够分别从坐标点(2，2)、(1，2)和(1，1)处的4位LBP值的二值码，确定由F、G和H所表示的亮度值的比较结果。在图4的4c中，将各个二值码的标画密阴影线的小格中的位反转。

如上所述，能够确定坐标点(2，1)处的8位LBP值的二值码。之后，将二值码转换为8位LBP值。

总结上述过程，根据以下等式从坐标点(x，y)处的4位LBP值(LBP4(x，y))计算坐标点(x，y)处的8位LBP值(LBP8(x，y))：

$\mathrm{LBP}8(x,y)=(\mathrm{LBP}4(x,y)<<4)$

$+(\stackrel{\&OverBar;}{\mathrm{LBP}4(x+1,y+1)\left[3\right]}<<3)$

$+(\stackrel{\&OverBar;}{\mathrm{LBP}4(x,y+1)\left[2\right]}<<2)...\left(3\right)$

$+(\stackrel{\&OverBar;}{\mathrm{LBP}4(x-1,y+1)\left[1\right]}<<1)$

$+(\stackrel{\&OverBar;}{\mathrm{LBP}4(x-1,y)\left[0\right]}<<0)$

其中，LBP4(x，y)[n]表示坐标点(x，y)处的4位LBP值(LBP4(x，y))的二值码的第n位(自右起从0开始)。例如，由于LBP4(2，1)[1]表示坐标点(2，1)处的4位LBP值(2)的二值码(0010)的第一位(自右起从0开始)，因此设置0。

如上所述，能够通过从4位LBP图像恢复8位LBP图像来生成特征量图像。但是，不总是能够执行恢复。当例如比较具有相等的亮度值的两个坐标点以计算4位LBP值时，无法正确地恢复8位LBP图像。但是，在典型图像中，比较亮度值以计算4位LBP图像的一对坐标点，很少具有相等的亮度值。

因此，几乎完全能够从4位LBP图像恢复8位LBP图像。这意味着，本实施例中创建的4位LBP图像具有传统的8位LBP图像保持的信息量，而几乎没有信息损失。注意，尽管上面以示例的形式说明了对二值码的量化，但是本发明不限于此。例如，当执行使用等式(5)和(6)(稍后描述)对三进制码的量化时，也就是说，当一个亮度值大于另一亮度值时(反之亦然)，或者两个亮度值彼此相等时，能够恢复LBP图像。

图1中的图像处理单元100对面部检测单元108创建的裁切的正规化图像执行特征量图像生成处理，以输出4位特征量图像。下面说明由图像处理单元100执行的特征量提取处理。第一实施例示出了图像处理单元在登记模式中输出包括4位LBP值的4位LBP图像、并且在识别模式中输出恢复的8位特征量图像的情况。可以使用计算传统的8位LBP值所需的8个相邻像素的任意四个相邻像素来计算4位LBP值，只要这四个相邻像素存在于距离关注像素的预定范围内，并且使用相对于关注像素点对称的位置处的两个相邻像素中的一个像素即可。

图5示出了处理窗口701位于给定扫描位置时的特征量图像生成过程。将图2所示的4位LBP值的计算处理与图5中的传统8位LBP值的计算处理进行比较。参照图2，仅使用相对于选择的关注像素(由图2中标画了阴影线的小格表示)点对称的位置处的两个相邻像素中的一个，用于特征量图像生成处理。预先适当地选择要使用的4位。

图6示出了如何在裁切的正规化图像中生成特征量图像(4位LBP图像)。图6中的附图标记700代表的部分表示裁切的正规化图像。由粗线围起的框(具有5个像素的大小)表示处理窗口701。图1中的图像处理单元100扫描裁切的正规化图像中的处理窗口701，同时计算各个扫描位置的特征量(4位LBP值)。在第一实施例中，假定将扫描的步长在水平方向和垂直方向两个方向上都设置为一个像素。图6中的处理窗口701中的关注像素的部分标画了阴影线。

在附图标记500代表的框中，示出了给定扫描位置处的处理窗口701内的像素的亮度值。参照图5，由粗线围起的框示出了处理窗口。在各个扫描位置，将处理窗口内由阴影线部分表示的像素称为关注像素，将其周围的像素称为相邻像素。如图5所示，存在多个相邻像素(本实施例中为4个像素)。为了在相邻像素之间进行区分，给定索引。为从中心起看到的左上相邻像素给定索引3，然后为其余各个相邻像素给定通过按照顺时针方向将3递减1而获得的索引2、1或0。在附图标记500代表的框中，关注像素的亮度值为96，索引为3的相邻像素的亮度值为84，索引为2的相邻像素的亮度值为76。

图7是例示由图像处理单元100执行的处理的流程图。在步骤S800中，图像处理单元100针对裁切的正规化图像700开始处理窗口701的扫描。在步骤S805中，当将处理窗口701移动至新的扫描位置时，图像处理单元100参照新的扫描位置处的关注像素及其相邻像素的亮度值。

在步骤S801中，图像处理单元100使用在步骤S805中获得的参照结果，比较扫描位置处的关注像素及其相邻像素的亮度值的大小。首先，单元100获得扫描位置处的关注像素与其相邻像素之间的亮度差值。

在本实施例中，通过从相邻像素的亮度值中减去关注像素的亮度值，来获得亮度差值。由于针对各个相邻像素计算亮度差值，因此获得数量等于相邻像素的数量的亮度差值(这对应于图5中的框501内的差值的计算)。

在步骤S802中，图像处理单元100对亮度差值执行量化处理。在本实施例中，量化处理的量化等级(level)的数量为2。如果亮度差值等于或大于0，则将其量化为1；否则，将其量化为0(这对应于图5中的框502内的亮度差值的量化)。量化处理对应于针对各个相邻像素索引的等式(4)的处理。

在步骤S803中，图像处理单元100计算LBP值。在这种情况下，单元100使用等式(3)基于相邻像素索引和分别与各个索引相对应的量化值，计算LBP值(这对应于图5中的框503内的差值的计算)。假定将该LBP值设置为LBP图像中关注像素的位置处的像素值。

如果在步骤S804中确定图像处理单元100针对所有扫描位置完成了步骤S801至S803中的处理，则处理进入到步骤S806；否则，处理进入到步骤S805，将窗口移动到下一个位置。

在步骤S806中，图像处理单元100终止扫描，以结束对裁切的正规化图像的图像处理。

当针对给定的裁切的正规化图像，图像处理单元100的处理结束时，生成以提取的特征量(4位LBP值)作为像素值的特征量图像(4位LBP图像)。尽管图7中未示出，但是图像处理单元100在登记模式中输出4位LBP特征量图像，而在识别模式中输出从4位LBP特征量图像恢复的8位特征量图像。

图1中的登记特征量图像存储单元105存储与登记的图像对应的特征量图像。在本示例中，假定存储了根据本发明的4位LBP特征量图像。登记的图像表示存在要识别的人的图像。

如果图1中的面部识别系统109处于登记模式中，则针对登记的图像，面部检测单元108执行面部检测处理，并且图像处理单元100执行特征量生成处理，由此输出4位LBP特征量图像。登记特征量图像存储单元105存储与登记的图像相对应的特征量图像。单元105还将用于识别登记的图像中的人的ID信息(例如名字)与特征量图像相关联地存储。

图8示出了存储在登记特征量图像存储单元105中的特征量图像。图8示出了登记的人(要识别的人)包括具有ID0和ID1的两个人的情况。在该示例中，针对各个登记的人，使用两个登记的图像创建特征量图像(针对ID0的两个特征量图像F_0_0和F_0_1，或者针对ID1的两个特征量图像F_1_0和F_1_1)，然后进行存储。

如果面部识别系统109处于识别模式中，则从登记特征量图像存储单元105依次输出存储的特征量图像及其ID信息。当登记特征量图像存储单元105存储了如图8所示的特征量图像时，依次输出4位LBP特征量图像F_0_0、F_0_1、F_1_0和F_1_1，并且输出特征量图像的ID信息ID0、ID0、ID1和ID1。

图1中的用作第一相关计算单元的相关计算单元106从发送自登记特征量图像存储单元105的作为登记的图像(检查图像)的4位检查特征量图像，恢复8位检查特征量图像，并执行恢复的检查特征量图像与图像处理单元100生成的特征量图像之间的相关计算。由于可以使用任意相关计算方法，因此使用公知技术。在本实施例中，假定执行正规化相关计算。

如果登记特征量图像存储单元105存储了如图8所示的特征量图像，则相关计算单元106执行恢复的检查图像的特征量图像与恢复的特征量图像F_0_0之间的正规化相关计算，以计算相关值。之后，单元106执行恢复的检查图像的特征量图像与恢复的特征量图像F_0_1之间的正规化相关计算，以计算相关值。类似地，单元106分别执行恢复的检查图像的特征量图像与恢复的特征量图像F_1_0和F_1_1之间的正规化相关计算，以计算相关值。将计算的相关值和与用于相关值计算的登记的图像的特征量图像相关联的ID信息一起输出。相关计算单元106计算的相关值的数量等于存储在登记特征量图像存储单元105中的特征量图像的数量(图8中为4)。

基于从相关计算单元106发送的相关值和ID信息，图1中的综合确定单元107确定检查图像中是否存在任何预先登记的人。因为可以使用任意的确定方法，因此使用公知方法。在本实施例中，针对各个ID信息计算相关值的平均值(平均相关值)，并获得平均值中的最大值(最大平均相关值)。如果最大平均相关值超过了预定阈值，则确定在检查图像中有具有与最大平均相关值相关联的ID信息的人。如果最大平均相关值没有超过预定阈值，则确定检查图像中没有登记的人。对使用图像处理的面部识别系统进行了说明。

尽管在本实施例中，识别系统具有登记模式和识别模式作为操作模式，但是登记模式不是必需的。代替登记模式，可以针对登记的图像预先离线(offline)执行与登记模式中的处理相同的处理，来计算特征量图像，并将特征量图像存储在登记特征量图像存储单元105中。

本实施例中示出的特征量图像是包括使用图5以及等式(3)和(4)获得的4位LBP值的4位LBP图像。但是，计算4位LBP值的方法不限于上述方法。本发明的特征在于，特征量计算方法仅使用相对于关注像素点对称的位置处的两个相邻像素中的一个像素，来生成特征量图像。只要使用这种特征量图像生成方法，可以使用任何技术。

在上述说明中，在与图7中的步骤S803相对应的图5中的LBP值计算处理中，通过处理等式(3)计算LBP值。但是，可以使用下面的等式(4)来进行计算。等式(4)和等式(3)的加数(由2的幂表示)不同，根据关注像素与相邻像素之间的大小关系来相加该加数以计算LBP值，并且该加数对应于各个相邻像素索引。将要根据相邻像素索引相加的该加数称为权重值。在等式(1)中，与相邻像素索引3(表示关注像素的左上像素)相对应的权重值为2^3(＝8)。在等式(4)中，权重值为2^0(＝1)。

$\mathrm{LBP}4(x_c,y_c)=\underset{n=0}{\overset{3}{\mathrm{\&Sigma;}}}s(i_n,i_c)2^{3-n}...\left(4\right)$

当然，相邻像素索引与权重值之间的对应关系不限于上述示例。权重值8、4、2和1分别对应于等式(1)中的相邻像素索引3、2、1和0，权重值1、2、4和8分别对应于等式(4)中的相邻像素索引3、2、1和0。但是，可以任意设置相邻像素索引与权重值之间的对应关系。

权重值不限于2的幂。可以使用任何值，只要设置该值，使得能够识别计算的LBP值和与各个相邻像素索引相对应的权重值，并且能够执行逆运算以获得关注像素与各个相邻像素之间的大小关系即可。以这种方式，能够从通过根据本发明的方法计算的4位LBP图像，计算8位LBP图像。

<第二实施例>

描述使用根据本发明的图像处理方法的检测系统。本实施例示出了将本发明的图像处理方法应用于模式检测方法的情况。特别地，使用图像处理方法作为用于检测“眼睛(人眼)”的模式检测应用。也就是说，将本实施例应用于检测输入图像中是否存在眼睛的图像处理方法。

为了方便描述，假定本实施例中要处理的所有图像也都是灰阶图像(亮度图像)。

图9是示出根据第二实施例的眼睛检测系统的框图。将处理图像输入到眼睛检测系统1009，系统1009输出检测处理结果。如果确定处理图像中存在眼睛，则系统1009输出用于识别眼睛的位置的信息，作为检测处理结果；否则，系统1009输出表示处理图像中不存在眼睛的信息。

图像处理单元1000对处理图像执行特征量图像生成处理，并且在识别模式中输出8位LBP特征量图像。该过程与第一实施例中的图像处理单元100的识别模式中的处理相同。注意，尽管在各个过程中将不同的图像(即裁切的正规化图像或处理图像)输入到图像处理单元100中，但是处理内容是相同的。因此，省略图像处理单元1000的详细说明。

检测目标区域裁切单元1002在特征量图像的一部分中扫描具有预定大小的检测窗口，并且裁切扫描位置处的检测窗口内的特征量图像。将具有检测窗口大小的裁切区域称为检测窗口区域。检测目标区域裁切单元1002将特征量图像中的裁切的检测窗口区域的位置，输出到综合确定单元1007中，并将裁切的检测窗口区域输出到用作第二相关计算单元的相关计算单元1006中。

登记特征量图像存储单元1005存储针对要检测的眼睛的4位LBP检查特征量图像。与通常情况相比，这使得能够将存储容量减半。例如，如下创建眼睛的特征量图像。

准备大小与内部存在几乎相同大小的眼睛的检测窗口的大小相同的多个图像，并创建这些图像的平均图像。对平均图像执行与由图像处理单元1000执行的处理相同的处理，以得到眼睛的特征量图像。登记特征量图像存储单元1005存储特征量图像。

将存储在登记特征量图像存储单元1005中的4位检查特征量图像输出到相关计算单元1006。

相关计算单元1006从由登记特征量图像存储单元1005输出的登记的4位LBP检查特征量图像恢复8位图像，并执行从检测目标区域裁切单元1002输出的检测窗口区域的8位LBP图像与恢复的检查特征量图像之间的相关计算。参照图4描述了恢复方法。与第一实施例中一样地执行相关计算处理，但是相关计算处理与第一实施例存在以下不同点。即，在第一实施例中，在4位特征图像与多个登记的图像之间执行相关计算，以识别目标图案。在第二实施例中，每次从检测目标区域裁切单元1002输出新的检测窗口区域时，执行相关计算。也就是说，每次检测窗口相对于创建的特征量图像移动时，检测目标区域裁切单元1002计算相关值。将计算的相关值输出到综合确定单元1007。

基于从相关计算单元1006发送的相关值，综合确定单元1007确定检测窗口区域内是否存在眼睛。也就是说，包括第二相关计算单元1006和综合确定单元1007的第二确定单元(未示出)确定多个登记的检查特征量图像中是否包括提取的特征量图像。由于可以使用任意确定方法，因此使用公知方法。在本实施例中，如果输入的相关值超过预定阈值，则确定检测窗口区域中存在眼睛；否则，确定检测窗口区域中不存在眼睛。基于检测窗口在特征量图像中的位置、以及针对在该位置处裁切的检测窗口区域进行的存在/不存在检测目标(本实施例中为眼睛)的确定，能够检测处理图像中存在检测目标的位置。说明了使用根据本发明的图像处理的眼睛检测系统。如上所述，根据第二实施例的配置使得能够检测诸如眼睛的图案。

<第三实施例>

在本实施例中，说明用于执行第一实施例和第二实施例中描述的图像处理方法的硬件配置。

图10是用于说明根据本发明的实施例的信息处理装置的计算机的硬件配置的框图。参照图10，CPU 1100是根据计算机程序执行第一实施例和第二实施例中描述的图像处理方法的中央处理单元。程序存储器1101存储要由CPU 1100执行的程序。RAM 1102提供在CPU 1100执行计算机程序时用于临时存储各种信息的存储器。硬盘1103是用于保存图像文件和登记的图像的特征量图像的存储介质。显示器1104向用户呈现本实施例中的处理结果。控制总线/数据总线1105连接上述单元与CPU 1100，并且用作进行通信/控制的接口。

使用具有这种配置的硬件使得能够执行根据本发明的图像处理方法。

当CPU 1100实现整个图像处理方法时，使用上述硬件配置。代替CPU 1100，专用硬件可以执行部分图像处理方法。例如，可以由专用硬件执行由图像处理单元100或1000执行的处理。

<其他实施例>

在上述实施例中，当在特征量图像生成处理中执行量化处理时，根据亮度差值的符号(即与0进行比较)来执行量化处理。本发明的量化处理不限于此。例如，可以通过比较亮度差值与预定阈值来执行量化处理。

通过从相邻像素的亮度值中减去关注像素的亮度值，来获得亮度差值。还可以通过从关注像素的亮度值中减去相邻像素的亮度值，来获得亮度差值。

尽管上面对量化等级的数量为2的情况进行了说明，但是量化等级的数量不限于此。例如，可以执行三级量化。也就是说，三级表示亮度差值为正值、0和负值的情况。当执行三级量化时(如果亮度差值为正值，则量化为2；如果值为0，则量化为1；如果值为负值，则量化为0)，使用等式(5)和(6)为各个量化值给定作为3的幂的权重值。通过这种量化处理，将关注像素的亮度值等于相邻像素的亮度值的情况，与亮度值彼此不相等的情况进行区分，来进行量化。因此，能够完全恢复传统的LBP图像。

$\mathrm{LBP}4(x_c,y_c)=\underset{n=0}{\overset{3}{\mathrm{\&Sigma;}}}s(i_n,i_c)3^n...\left(5\right)$

$s\left(p\right)=\left\{\begin{array}{ccc}2& \mathrm{if}& p>0\\ 1& \mathrm{if}& p=0\\ 0& \mathrm{if}& p<0\end{array}\right....\left(6\right)$

关注像素与相邻像素之间的位置关系不限于第一至第三实施例中所描述的位置关系。本发明的特征在于，特征量计算方法仅使用相对于关注像素点对称的位置处的两个相邻像素中的一个像素，来生成特征量图像。只要使用这种特征量图像生成方法，可以使用任何技术。

上述实施例示出了使用4位LBP图像作为用于进行识别和检测的特征量图像的情况。本发明中计算的4位LBP图像具有与包括8位LBP值的传统8位LBP图像的信息量几乎相同的信息量。

在传统的LBP值计算方法中，不仅可以使用8位LBP值，还可以使用4位LBP值(最靠近关注像素的四个像素为相邻像素，并且4位LBP值与本发明中的4位LBP值不同)、16位LBP值以及24位LBP值。

图11示出了在LBP值计算方法中使用的处理窗口(粗线标出)内的关注像素及其相邻像素。分配给图11中的像素的数字是用于在相邻像素之间进行区分的索引。没有给定数字的像素，虽然也在处理窗口内，但是不被用作相邻像素。在图11的上部，在附图标记1200、1201以及1202代表的框中，示出了通过传统LBP值计算方法获得的4位、16位和24位的LBP值。

与此相对，如图11的下部所示，在附图标记1300、1301以及1302代表的框中，根据本发明的LBP值计算方法能够使位数减半。也就是说，分别获得2位、8位和12位的LBP值。注意，传统的4位LBP值与本发明中定义的4位LBP值不同。

在上述实施例中，如附图标记1300所示，关注像素与其相邻像素彼此邻接。本发明不限于此。相邻像素只需要靠近关注像素即可。不限制处理窗口的大小，如附图标记1301和1302所示，可以使用5×5的大小。

由于分配给各个相邻像素的索引仅仅用来区分相邻像素与其余像素，因此在实施本发明的图像处理方法时，可以适当地分配索引。如在本实施例中所示，可以通过相邻像素索引与量化值的逻辑运算，计算权重值(要根据相邻像素索引相加的加数)，或者可以将权重值保持在存储器中的表中。

在通过逻辑运算计算权重值时，如果权重值限于2的幂，则对通过量化产生的量化值(1或0)执行移位运算。在这种情况下，针对各个相邻像素索引存储移位计数，由此不需要存储权重值本身。在上述实施例中，向识别系统或检测系统输入亮度图像。但是，输入的图像不限于亮度图像。如果例如对彩色图像执行识别/检测处理，则在识别系统或检测系统之前，执行用于将彩色通道(color channel)转换为亮度的处理。作为选择，可以在识别系统或检测系统中执行将输入图像转换为便于进行识别/检测的亮度图像的处理，然后将亮度图像输入到图像处理单元。此外，可以针对各个彩色通道执行实施例中描述的处理，在识别系统或检测系统之后综合彩色通道的输出结果。

在上述实施例中，为了获得识别结果或检测结果，在LBP图像之间(即在预先登记的LBP图像与当前输入的LBP图像之间)执行相关计算。更详细的说明参照图1中的第一相关计算单元106和图10中的第二相关计算单元1006。但是，根据本发明的使用LBP图像获得识别结果或检测结果的方法不限于此。

例如，可以使用如下方法：从在本发明中计算的LBP图像创建各自具有由LBP像素的LBP值标记的箱(bin)的直方图，并比较这些直方图。即，可以使用比较从预先登记的LBP图像创建的直方图与从当前输入的LBP图像创建的直方图的方法。使用诸如直方图相交(histogramintersection)的现有方法作为比较方法。

可以在从在本发明中计算的LBP图像恢复在传统方法中计算的LBP图像之后，创建直方图。例如，从在本发明中获得的4位LBP图像，恢复在传统方法中获得的8位LBP图像，然后创建具有由传统的8位LBP图像的LBP值标记的箱的直方图。

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (6)

1.一种图像处理装置，该图像处理装置包括：

比较单元，其适合于在处理图像中选择关注像素，并将所述关注像素的亮度值，与相对于所述关注像素具有预定位置关系的多个相邻像素中的各个的亮度值的大小进行比较；以及

计算单元，其适合于执行量化作为所述比较单元的比较结果获得的、所述关注像素与所述多个相邻像素中的各个之间的大小关系的处理，并且基于所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系以及所述大小关系，计算所述关注像素的特征量，

其中，对于位于相对于所述关注像素点对称的位置处的两个相邻像素，所述比较单元设置所述两个相邻像素中的仅一个像素具有所述预定位置关系。

2.根据权利要求1所述的图像处理装置，该图像处理装置还包括生成单元，该生成单元适合于基于所述比较单元使用位于相对于所述关注像素点对称的位置处的所述两个相邻像素中的、不具有所述预定位置关系的另一个像素作为关注像素而获得的比较结果，生成所述关注像素与不具有所述预定位置关系的所述另一个像素的亮度值的大小关系。

3.根据权利要求1所述的图像处理装置，其中，所述计算单元根据所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系，设置不同的权重值，将表示所述关注像素与所述多个相邻像素中的各个之间的大小关系的值乘以所述权重值，并对相乘结果求和。

4.根据权利要求3所述的图像处理装置，其中，使用2的幂来设置所述权重值。

5.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

登记单元，其适合于登记所述计算单元计算的多个特征量；以及

相关计算单元，其适合于确定所述计算单元计算的所述特征量与多个登记的特征量是否相关，

其中，基于所述相关来执行模式识别。

6.一种图像处理方法，该图像处理方法包括：

比较步骤，在处理图像中选择关注像素，并将所述关注像素的亮度值，与相对于所述关注像素具有预定位置关系的多个相邻像素中的各个的亮度值的大小进行比较；以及

计算步骤，执行量化作为所述比较步骤中的比较结果获得的、所述关注像素与所述多个相邻像素中的各个之间的大小关系的处理，并且基于所述关注像素与所述多个相邻像素中的各个之间的所述预定位置关系以及所述大小关系，计算所述关注像素的特征量，

其中，对于位于相对于所述关注像素点对称的位置处的两个相邻像素，在所述比较步骤中设置所述两个相邻像素中的仅一个像素具有所述预定位置关系。

Images