CN110088765B

CN110088765B - 对照装置和对照方法

Info

Publication number: CN110088765B
Application number: CN201780078910.3A
Authority: CN
Inventors: 野末洋佑; 前野一树; 由雄宏明
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-12-21
Filing date: 2017-09-25
Publication date: 2023-01-03
Anticipated expiration: 2037-09-25
Also published as: JPWO2018116560A1; US10878225B2; CN110088765A; WO2018116560A1; US20190318160A1; JP6960572B2

Abstract

将拍摄被对照者的脸部得到的摄像脸部图像与被登记到存储部中的登记脸部图像进行对照，在表示对照的结果的对照分数为Th1以下而判定为被拍进摄像脸部图像中的被对照者不是登记脸部图像中的被摄体本人的情况下，判定对照分数是否为Th2(Th2<Th1)以上。在对照分数为Th2以上的情况下，计算表示摄像脸部图像的一部分与登记脸部图像的一部分之间的相似度的局部分数，在所计算出的局部分数为Th3以下的情况下，对摄像脸部图像和登记脸部图像中的至少一个图像进行将与局部分数对应的一部分突出的处理，并将该图像显示于显示部。

Description

对照装置和对照方法

技术领域

本公开涉及一种将拍摄到的脸部图像与所登记的脸部图像进行对照的对照装置和对照方法。

背景技术

例如，在设置于机场等的对照装置中，通过将护照上登记的脸部图像与由摄像机拍摄到的本人的脸部图像进行对照，来进行本人确认。实际上，在这种对照装置中，检测登记脸部图像的特征量和摄像脸部图像的特征量，并计算表示这些特征量的相似度的分数，基于该分数来认证是否为本人。

另外，在由摄像机拍摄的被对照者佩戴着眼镜、口罩等饰物的情况下或者在拍摄的瞬间表情、发型发生了变化的情况下，即使是本人，也有可能得到不是本人之类的认证结果，是不方便的。

在此，专利文献1中记载了一种用于检测所拍摄到的人物佩戴着口罩等遮蔽物的技术。

现有技术文献

专利文献

专利文献1：日本特开2000-251077号公报

发明内容

发明要解决的问题

另外，关于专利文献1所记载的技术，仅仅是，基于拍摄到的脸部图像来检测遮蔽物，在检测到遮蔽物的情况下中止金融交易，而并非以对照为目的。也就是说，与登记脸部图像无关，只要在拍摄到的脸部图像中检测到遮蔽物，就中止处理。

在将专利文献1的技术应用于对照装置的情况下，当判定为被对照者不是本人时立刻中止对照处理。但是，被对照者佩戴着眼镜、口罩等饰物的情形或者表情、发型瞬间发生变化的情形经常发生，在这样的情况下，立刻中止对照处理是非常不方便的。

本公开的一个方式提供一种能够降低尽管被对照者是本人但判定为不是本人的可能性的对照装置和对照方法。

用于解决问题的方案

本公开的对照装置具有处理器、存储部以及显示部。处理器将拍摄被对照者的脸部得到的摄像脸部图像与被登记到所述存储部中的登记脸部图像进行对照。在表示所述对照的结果的对照分数为Th1以下而判定为被拍进所述摄像脸部图像中的所述被对照者不是所述登记脸部图像中的被摄体本人的情况下，判定所述对照分数是否为Th2(Th2<Th1)以上。在所述对照分数为Th2以上的情况下，计算表示所述摄像脸部图像的一部分与所述登记脸部图像的一部分之间的相似度的局部分数，在所计算出的所述局部分数为Th3以下的情况下，对所述摄像脸部图像和所述登记脸部图像中的至少一个图像进行将与所述局部分数对应的一部分突出的处理，并将该图像显示于所述显示部。

发明的效果

根据本公开，能够降低尽管被对照者是本人但判定为不是本人的可能性。

附图说明

图1是示出实施方式所涉及的对照装置的整体结构的框图。

图2是示出对照处理的流程图。

图3是示出脸部登记处理的流程图。

图4是示出脸部认证处理的流程图。

图5是示出特征量计算处理的流程图。

图6是用于说明脸上部位(局部区域)的图。

图7是用于说明脸上部位(局部区域)的图。

图8是示出突出显示处理的流程图。

图9是对将局部分数的高低程度与突出显示程度相关联的例子进行说明的图。

图10是示出突出显示处理的结果的图。

具体实施方式

下面，适当地参照附图来详细地说明实施方式。但是，有时省略不必要的详细说明。例如，有时省略已经公知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明过于冗长，使本领域技术人员易于理解。

此外，附图和下面的说明是为了使本领域技术人员充分理解本公开而提供的，并不意图由此对权利要求书所记载的主题进行限定。

(实施方式1)

下面，使用图1～图10来说明实施方式1。

[1-1.结构]

图1是示出实施方式所涉及的对照装置的整体结构的框图。对照装置100例如被应用于机场的门开闭系统。在门开闭系统中，利用对照装置100来对照想要通过门的被对照者是否为护照上登记的本人，在认证为被对照者是本人的情况下，将门打开，在没有通过认证的情况下，将门关闭。

在对照装置100中，处理器101、存储部102、无线通信部103、摄像部104、输入部105以及显示部106经由总线110连接。

处理器101承担包括对照装置100的脸部认证处理、显示部106的显示处理在内的对照装置100的整体上的处理。

存储部102中存储登记图像。向存储部102存储登记图像是经由输入部105来进行的。输入部105例如是扫描仪，用于读入护照上登记的脸部图像。

无线通信部103无线接收门开闭系统的人感传感器的探测结果。对照装置100基于人感传感器的探测结果，来控制显示部106的显示时机以及摄像部104的摄像时机等。另外，当由对照装置100认证为被对照者是所登记的本人时，无线通信部103将此意思无线发送到门开闭控制部。由此，门被进行打开控制。

摄像部104构成为包括摄像机，用于拍摄处于门前的被对照者的脸部图像。

显示部106中显示已由摄像部104拍摄到的被对照者的脸部图像和被拍摄之前的被对照者的脸部图像。另外，显示部106中显示与摄像有关的指示。

[1-2.动作]

图2是示出对照装置100的对照处理的流程图。

对照装置100当开始进行对照处理时，在步骤S1中进行脸部登记处理，在步骤S2中进行脸部认证处理。通过经由输入部105被输入例如护照上的脸部图像，并将该脸部图像存储到存储部102，来进行步骤S1的脸部登记处理。通过由处理器101来计算表示由摄像部104拍摄到的脸部图像与在步骤S1中被登记到存储部102的脸部图像之间的相似度的分数，并对该分数进行阈值判定，来进行步骤S2的脸部认证处理。

图3是示出在图2的步骤S1中进行的脸部登记处理的处理内容的流程图。如图3所示，在脸部登记处理(步骤S1)中，对照装置100在步骤S11中经由输入部105被输入想要登记的脸部图像，并将该登记脸部图像存储到存储部102。在步骤S12中，处理器101计算登记脸部图像的特征量。

图4是示出在图2的步骤S2中进行的脸部认证处理的处理内容的流程图。如图4所示，在脸部认证处理(步骤S2)中，对照装置100首先在步骤S21中被输入由摄像部104拍摄到的摄像脸部图像。在步骤S22中，处理器101计算摄像脸部图像的特征量。该特征量是与在步骤S12中使用的特征量种类相同的特征量。在步骤S23中，处理器101通过计算来获取局部分数(每个局部的相似度)。具体地说，基于登记脸部图像中的局部区域的特征量和摄像脸部图像中的局部区域的特征量，使用归一化相关等来计算每个局部区域的相似度(＝局部分数)。例如，关于作为每个局部区域的相似度的一例的右眼的相似度(＝右眼的局部分数)S_reye，当将从登记脸部图像中得到的右眼的特征量设为D_reye_regist、将从摄像脸部图像中得到的右眼的特征量设为D_reye_verify时，能够通过下面的式子的归一化相关来求出该右眼的相似度S_reye。

[数1]

在接下来的步骤S24中，处理器101使用局部分数，通过计算来获取整体分数。整体分数能够通过例如额头、右眼、左眼、鼻子、嘴巴的局部分数的平均或局部分数的总和来求出。例如，当将局部区域设为P、将局部区域p的相似度设为S_p时，整体分数S_all能够通过下面的式子那样的平均来求出。

[数2]

图5是示出在图3的步骤S12和图4的步骤S22中进行的特征量计算处理的处理内容的流程图。在特征量计算处理中，在步骤S121中，处理器101从图像中检测脸部区域。此时，例如能够通过使用Haar-like特征和基于boosting的学习算法来检测脸部区域。在步骤S122中，从在步骤S121中检测出的脸部区域中检测局部区域。作为从脸部区域中检测局部区域的方法的一例，能够使用已知的方法。在本实施方式中，使用随机森林(Random-Forest)回归来从脸部区域中检测出局部区域。从脸部区域中检测局部区域的方法不限于Random-Forest回归，也可以使用其它回归方法或机械学习等。如图6所示，局部区域是左眼区域、右眼区域、鼻子区域、嘴巴区域、额头区域等构成脸部的要素。如图7所示，例如，右眼区域是在将右眼的坐标设为(x_reye，y_reye)时以(x_reye，y_reye)为中心的半径R的矩形的区域。在步骤S123中，针对每个局部区域计算特征量。说明特征量的计算方法的一例。例如，选择右眼区域中的任意的N点。点数N为N≥1且N≤4R²+4R+1。从各点提取128维的SIFT特征量，并将该128维的SIFT特征量设为右眼区域的特征量D_reye。由此，右眼区域的特征D_reye的维数为N×128。

在步骤S3中，如果整体分数为阈值Th1以上，则处理器101判断为是本人(步骤S3；“是”)。当处理器101在步骤S3中判断为是本人时，处理转移到步骤S4。在步骤S4中，处理器101将认证成功消息(也就是说，所拍摄到的脸部图像与所登记的脸部图像为同一人物的脸部图像)显示于显示部106。与此相对，在步骤S3中，如果整体分数小于阈值Th1(步骤S3；“否”)，则处理器101转移到步骤S5。

在步骤S5中，处理器101判断整体分数是否为阈值Th2以上。在此，阈值Th2是小于阈值Th1的值，也就是说，Th2<Th1。处理器101在判断为整体分数小于阈值Th2的情况下(步骤S5；“否”)，从步骤S5转移到步骤S6，将认证失败消息(也就是说，所拍摄到的脸部图像与所登记的脸部图像为不同的人物的脸部图像)显示于显示部106。与此相对，如果整体分数为阈值Th2以上，则处理器101判断为有可能是本人，不立刻显示认证失败消息，而是转移到步骤S7。也就是说，在Th2≤整体分数<Th1的情况下(整体分数稍差一点达到Th1的情况下)，不立刻判定为认证失败。其原因在于，在整体分数稍差一点达到Th1的情况下，有可能由于存在遮蔽物等一些原因而导致尽管为本人但发生分数降低。

在步骤S7中，处理器101进行突出显示处理。参照图8来对突出显示处理的内容进行说明。

图8是示出突出显示处理的流程图。

在步骤S71中，处理器101判定局部分数是否为阈值Th3以上。具体地说，处理器101针对在S23中获取到的局部分数中的一部分或全部局部分数来判定其值是否为Th3以上。在所有的局部分数为Th3以上的情况下(步骤S71中为“是”)，结束突出显示处理。

在存在小于Th3的局部分数的情况下，处理器101在S72中将计算出该局部分数的局部区域定义为是不同局部。

在步骤S73中，处理器101基于局部分数来计算突出显示程度。突出显示程度是指将局部区域以标注特征的方式进行显示时的突出的程度。对于突出显示程度的计算方法能够考虑各种方法。其中一个方法是，针对局部分数小于Th3的局部区域一律设定相同的突出显示程度。另外，作为其它方法，也可以将局部分数的高低程度与突出显示程度相关联。使用图9来说明将局部分数的高低程度与突出显示程度相关联的例子。

图9是对将局部分数的高低程度与突出显示程度相关联的例子进行说明的图。在图9所示的例子中，局部分数越低，则越进一步加强突出程度。

尽管整体分数差一点达到阈值(Th1)但局部分数却明显低，很可能是在成为该局部分数的计算源的局部区域发生了某种人为变化。人为变化包括因佩戴饰物引起的变化、因张嘴、闭眼等动作引起的变化。人为变化能够通过被对照者的努力来排除。通过局部区域越低越进一步加强突出显示程度，能够就对人为变化进行排除更可靠地唤起被对照者注意。因而，这样，能够进行可靠的对照。

在步骤S74中，处理器101基于突出显示程度来将不同局部进行突出显示。图10是示出突出显示处理的结果的图。在图10中，嘴巴的局部分数各不相同的摄像脸部图像被施以各不相同的突出显示后显示于显示部106。如图10所示，嘴巴的局部分数越低，则在嘴巴周围进行越强的区域填充(日语：網掛け)。进行突出显示的方法不限于图10所示的例子的方式。例如在图10中，通过对成为局部分数的计算源的局部区域实施图像加工来进行突出显示，但也可以通过对该局部区域以外的区域实施图像加工来进行该局部区域的突出显示。另外，在图10中，作为图像加工的一例，进行了区域填充，但除此以外，还能够将利用平滑化滤波器进行的模糊处理、亮度值的降低、像×这样的标记的显示等作为图像加工来进行，来进行突出显示。

以上，参照附图说明了各种实施方式，但本公开不限定于上述的例子，这是不言而喻的。本领域技术人员能够在权利要求书所记载的范围内想到各种变更例或修正例，这是显而易见的，应当理解的是，这些变更例或修正例当然也属于本公开的技术范围。另外，在不脱离公开的主旨的范围内，可以将上述实施方式中的各结构要素任意地进行组合。

在上述的实施方式中，叙述了将本公开的对照装置和对照方法应用于门开闭系统的情况，但是当然还能够应用于门开闭系统以外的系统。另外，登记脸部图像当然不限于护照的图像。

[1-3.效果等]

如以上的那样，在本实施方式中，本公开的对照装置具有处理器、存储部以及显示部。处理器将拍摄被对照者的脸部得到的摄像脸部图像与被登记到所述存储部中的登记脸部图像进行对照。在表示所述对照的结果的对照分数为Th1以下而判定为被拍进所述摄像脸部图像中的所述被对照者不是所述登记脸部图像中的被摄体本人的情况下，判定所述对照分数是否为Th2(Th2<Th1)以上。在所述对照分数为Th2以上的情况下，计算表示所述摄像脸部图像的一部分与所述登记脸部图像的一部分之间的相似度的局部分数，在所计算出的所述局部分数为Th3以下的情况下，对所述摄像脸部图像和所述登记脸部图像中的至少一个图像进行将与所述局部分数对应的一部分突出的处理，并将该图像显示于所述显示部。

对照分数为Th2以上意味着被对照者为本人的概率为规定值以上。在这样的情况下，大多情况下通过改善局部降低对照分数的主要因素，能够进行更适当的对照。即，人的脸部容易由于饰物或张嘴、闭眼等使外观人为性地发生变化。但是，如果向人传达这样的变化，则容易将该变化排除。在本公开中，通过局部分数来判定局部降低对照分数的主要因素，并进行将脸的一部分突出的处理，因此能够将因饰物或张嘴、闭眼等引起的外观上的变化传达给被对照者。如以上那样，根据本公开，在对照装置中，能够降低尽管被对照者是本人但判定为不是本人的可能性。

(其它实施方式)

如以上那样，作为在本申请中公开的技术的例示，说明了实施方式1。然而，本公开中的技术不限定于此，还能够应用于适当地进行变更、置换、附加、省略等得到的实施方式。另外，通过将在上述实施方式1中说明的各结构要素进行组合，还能够形成新的实施方式。

此外，上述的实施方式用于例示本公开中的技术，因此能够在权利要求书或其等同的范围内进行各种变更、置换、附加、省略等。

产业上的可利用性

本公开对于将摄像脸部图像与登记脸部图像进行对照的对照装置和对照方法而言是优选的。

附图标记说明

100：对照装置；101：处理器；102：存储部；103：无线通信部；104：摄像部；105：输入部；106：显示部。

Claims

1.一种对照装置，

具有处理器、存储部以及显示部，

其中，所述处理器将拍摄被对照者的脸部得到的摄像脸部图像与被登记到所述存储部中的登记脸部图像进行对照，

在表示所述对照的结果的对照分数为Th1以下而判定为被拍进所述摄像脸部图像中的所述被对照者不是所述登记脸部图像中的被摄体本人的情况下，

所述处理器判定所述对照分数是否为Th2以上，其中，Th2<Th1，

在所述对照分数为Th2以上的情况下，

所述处理器计算表示所述摄像脸部图像的一部分与所述登记脸部图像的一部分之间的相似度的局部分数，

在所计算出的所述局部分数为Th3以下的情况下，

所述处理器对所述摄像脸部图像和所述登记脸部图像中的至少一个图像进行将与所述局部分数对应的一部分突出的处理，并将该图像显示于所述显示部。

2.根据权利要求1所述的对照装置，其特征在于，

基于所述局部分数来变更所述突出的程度。

3.一种对照方法，由处理器将拍摄被对照者的脸部得到的摄像脸部图像与被登记到存储部中的登记脸部图像进行对照，并输出该对照的结果，在所述对照方法中，

所述处理器判定所述对照分数是否为Th2以上，其中，Th2<Th1，

在所述对照分数为Th2以上的情况下，

在所计算出的所述局部分数为Th3以下的情况下，

所述处理器对所述摄像脸部图像和所述登记脸部图像中的至少一个图像进行将与所述局部分数对应的一部分突出的处理。

4.根据权利要求3所述的对照方法，其特征在于，

基于所述局部分数来变更所述突出的程度。