CN108734092A - 人物认证装置 - Google Patents

人物认证装置 Download PDF

Info

Publication number
CN108734092A
CN108734092A CN201810296063.4A CN201810296063A CN108734092A CN 108734092 A CN108734092 A CN 108734092A CN 201810296063 A CN201810296063 A CN 201810296063A CN 108734092 A CN108734092 A CN 108734092A
Authority
CN
China
Prior art keywords
face
image
personage
study
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810296063.4A
Other languages
English (en)
Other versions
CN108734092B (zh
Inventor
段清柱
渡边裕树
广池敦
今田努
村田孔孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN108734092A publication Critical patent/CN108734092A/zh
Application granted granted Critical
Publication of CN108734092B publication Critical patent/CN108734092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明提供适当地选定追加学习时的数据、消除学习的偏差而提高认证精度的人物认证装置。人物认证装置(5)具备：使用登记完的人物的面部认证模型(36)对作为追踪对象的人物进行认证的面部认证部(25)；从由面部认证部(25)认证完的人物的面部图像中选定追加学习用面部图像(38)并保存的追加学习面部保存部(26)；使用选定的追加学习用面部图像(38)来实施面部认证模型(36)的追加学习的追加学习实施部(27)。追加学习面部保存部(26)将由面部认证部(25)认证完的人物的认证可靠度处于上限与下限这两个阈值之间的面部图像选定为追加学习用面部图像(38)。

Description

人物认证装置
技术领域
本发明涉及具备追加学习功能的人物认证装置。
背景技术
作为本技术领域的背景技术，专利文献1公开了具有追加学习功能的人物检索装置，且记载有“具备在检索对象的人物有时保持着不同的属性(例如身着不同的服装)的情况下，将该属性追加为检索对象的方法”这一内容。此外还记载有“通过具有在检索时确定出被指定为检索对象的人物不可能存在的时间或场所等的影像的方法，从而将被指定的人物不可能存在的时间或场所等的影像从检索对象中去除”这一内容。
在先技术文献
专利文献1：日本特开2014-016968号公报
专利文献1所记载的技术中，通过追加指定为检索对象的属性，从而在人物检索时，能够实现追随着属性的变化而进行的检索。然而，对于所追加的数据的品质未做充分考虑，可能导致追加学习的副作用。即，在实施追加学习的情况下，可能会因所追加的数据(面部图像)的品质而引起学习的偏差。例如，当追加了认证时的相似度非常高的面部图像时，面部认证模型有时会偏向所追加的图像。另外，当大量地追加了面部部位的一部分丢失的面部图像时，认证判定的阈值变小，可能会引起误检测。这样，为了通过追加学习来提高认证精度，并实现运用时的稳固性(稳健性)的提高，需要适当地选定用于追加学习的数据。
发明内容
本发明的目的在于，提供一种适当地选定追加学习时的数据、消除学习的偏差而提高认证精度的人物认证装置。
对于本发明的人物认证装置，若举出其一例，则其特征在于，具备：使用登记完的人物的面部认证模型对作为追踪对象的人物进行认证的面部认证部；从由所述面部认证部认证完的人物的面部图像中选定追加学习用面部图像并保存的追加学习面部保存部；以及使用所述选定的追加学习用面部图像来实施所述面部认证模型的追加学习的追加学习实施部，所述追加学习面部保存部将由所述面部认证部认证完的人物的认证可靠度处于上限与下限这两个阈值之间的面部图像选定为所述追加学习用面部图像。
或者特征在于，所述追加学习面部保存部将差异度大于规定的阈值的面部图像选定为所述追加学习用面部图像，该差异度表示该面部图像与作为所述面部认证模型而追加完的面部图像有何种程度的不同。
发明效果
根据本发明，在人物认证装置中，具有在防止追加学习所带来的副作用的同时、提高运用时的稳固性的效果。
附图说明
图1是示出人物认证系统的整体的结构例的图(实施例1)。
图2是示出人物认证装置5的硬件结构的图。
图3是示出人物认证装置5的功能系统结构的图。
图4是示出初始学习用面部图像37的数据构造的图。
图5是示出追加学习用面部图像38的数据构造的图。
图6是示出面部认证及追加学习图像蓄积的顺序的图。
图7是示出追加学习实施的顺序的图。
图8是示出人追踪的处理流程(步骤S2)的图。
图9是示出追踪结果保存部33的数据构造的图。
图10是将图9所示的追踪结果表示在映射上的图。
图11是示出面部图像保存部34所保存的面部图像的数据构造的图。
图12是示出认证结果保存部35所保存的认证结果的数据构造的图。
图13是示出追加学习设定信息39的数据构造的图。
图14是示出追加学习面部图像选定处理(步骤S7)的流程的图。
图15是示出追加学习面部图像有效性判定流程(步骤S206)的详细情况的图。
图16是示出图7的追加学习中的学习结果的确认画面的图。
图17是示出人物认证系统的其他结构例的图(实施例2)。
图18是示出追加学习设定信息39与面部认证成功阈值的关系的图(实施例3)。
附图标记说明：
1：人物认证系统；
2：影像输入装置；
4：人物认证管理装置；
5：人物认证装置；
21：影像输入部；
22：人追踪部；
23：面部提取部；
24：面部特征量计算部；
25：面部认证部；
26：追加学习面部保存部；
27：追加学习实施部；
36：面部认证模型；
38：追加学习用面部图像；
39：追加学习设定信息。
具体实施方式
以下，参照附图对本发明的人物认证装置的实施方式进行说明。
[实施例1]
图1是示出包含本发明的人物认证装置的人物认证系统的整体结构例的图。人物认证系统1构成为具备：获取包含人物7的影像的监视相机等影像输入装置2；包含LAN(Local Area Network)、WAN(Wide Area Network)、VPN(Virtual Private Network)等的网络6；对人物进行认证的人物认证装置5；以及存放影像的影像录制装置3；以及对人物认证装置5进行管理的人物认证管理装置4。人物认证装置5经由网络6而从影像输入装置2接收影像，将所拍摄的人物7的面部图像与登记完的人物的面部图像进行比较来确定人物7。接收到的影像存放于影像录制装置3。人物认证管理装置4进行人物认证装置5的设定和人物认证装置5的认证结果的显示。接着，对人物认证装置5的内部结构进行说明。
图2是示出人物认证装置5的硬件结构的图。人物认证装置5构成为包括存储器10、外部存储装置11、CPU(Central Processing Unit)18、输出装置19、通信装置20、以及将它们相连的总线17。
外部存储装置11是能够存储数字信息的所谓的硬盘(Hard Disk Drive)、SSD(Solid State Drive)、或者闪速存储器等非易失性存储装置。在外部存储装置11存放面部认证程序12、面部认证模型DB(数据库)13、初始学习用面部DB14、追加学习用面部DB15、追加学习设定DB16等的数据。
面部认证程序12是用于执行以下所述的面部认证处理的程序。面部认证模型DB13由用于将各人物与其他人物进行识别的参数构成。例如，在使用SVM(Support VectorMachine)识别器来实施面部认证的情况下，存放有对本人与他人进行区分的支持向量(Support Vector)。初始学习用面部DB14存放有在构筑面部认证模型DB13时利用的面部图像。追加学习用面部DB15存放有为了进行面部认证模型的追加学习而在运用中所蓄积的面部图像。追加学习设定DB16存放有在运用时决定了应蓄积于追加学习用面部DB15的面部图像的选定条件的设定参数。
CPU18是执行各种运算的单元，通过执行从外部存储装置11装载到存储器10的规定的程序而执行各种处理。即，外部存储装置11内的面部认证程序12、面部认证模型DB13、初始学习用面部DB14、追加学习用面部DB15、追加学习设定DB16通过CPU18而在存储器10中展开。存储器10存放由CPU18执行的程序和程序的执行所需的数据。
输出装置19是图形板、显示卡等画面生成装置，将来自影像输入装置2的影像或人物认证装置5的认证结果转换成可显示的画面。通信装置20经由网络6而接收来自影像输入装置2的影像，与人物认证管理装置4之间收发认证结果、追加学习结果或控制指令。
图3是示出人物认证装置5的功能系统结构的图。人物认证装置5包括影像输入部21、人追踪部22、面部提取部23、面部特征量计算部24、面部认证部25、追加学习面部保存部26、追加学习实施部27、外部协作部28、输入受理部29、输出部30、以及对从外部存储装置11装载的数据进行保存的临时数据保存部31和数据保存部32。对各部分的功能进行说明。
影像输入部21进行经由网络6而接收到的被编码的影像数据的解码，转换成帧单位的图像。
人追踪部22针对输入到影像输入部21的影像，通过块匹配法或梯度法等计算光流(物体的移动向量)，并计算影像中的人物区域，按照人物来计算最新的存在场所并进行追踪。
面部提取部23针对人追踪部22所追踪中的人物的区域，将例如面部的部位的相对位置或大小、眼睛或鼻子的形状作为特征，来提取面部的区域。
面部特征量计算部24将用于区分本人的面部与其他人的面部的属性、例如如眼睛、鼻子、嘴巴等各部位的尺寸或相对位置等那样的按照人物而不同的属性作为面部特征量进行计算。
面部认证部25将该面部的面部特征量作为对象，并使用面部认证模型DB13，以概率值的形式对与登记完的人物的面部特征量的相似度进行计算，从而确定该面部所属的人物。
追加学习面部保存部26在人物认证装置5的动作中，针对已认证的人物，将其一部分的面部图像选定为追加学习用图像，并保存于追加学习用面部DB15。
追加学习实施部27使用蓄积于初始学习用面部DB14和追加学习用面部DB15的面部数据，实施面部认证模型的追加学习。面部认证模型的追加学习的结果被存放于面部认证模型DB13中。
外部协作部28将面部认证部25的认证结果发送至外部系统、例如加入退出管理系统。另外，根据来自外部系统的触发而实施面部认证处理。
输入受理部29是键盘或鼠标等设备，对用户的操作进行识别并转换成操作命令。
输出部30将面部认证部25的认证结果或追加学习实施部27的学习结果等转换成运用者能够确认的形式，并通过输出装置19进行显示。
临时数据保存部31包括追踪结果保存部33、面部图像保存部34以及认证结果保存部35。追踪结果保存部33按照追踪对象而存放人的场所、画面上的区域等的信息。面部图像保存部34存放追踪对象的各个帧的面部图像。认证结果保存部35存放追踪对象的各个帧的认证结果。
数据保存部32包括面部认证模型36、初始学习用面部图像37、追加学习用面部图像38、追加学习设定信息39。面部认证模型36用于将面部认证模型DB13在存储器上展开。初始学习用面部图像37用于将初始学习用面部DB14在存储器上展开。追加学习用面部图像38用于将追加学习用面部DB15在存储器上展开。追加学习设定信息39用于将追加学习设定DB16在存储器上展开。
图4是示出初始学习用面部图像37的数据构造的图。另外，图5是示出追加学习用面部图像38的数据构造的图。均是与识别各人物的人物ID对应地存放有该人物的面部图像数据。使用初始学习用面部图像37和追加学习用面部图像38的图像数据，来构筑各个人物ID的面部认证模型36。
以下，将人物认证装置5中的人物认证处理的动作分为面部认证处理、追加学习图像蓄积处理、追加学习处理进行说明。
图6是示出面部认证及追加学习图像蓄积的顺序的图。
当从影像输入装置2输入影像时，影像输入部21进行影像的解码和前处理(步骤S1)。前处理的内容例如为白平衡调整或明亮度调整等。各个帧的图像被送至人追踪部22。人追踪部22进行图像中的人物(追踪对象)的追踪，将追踪结果存放于追踪结果保存部33(步骤S2)。之后通过图8～10对步骤S2的详细情况进行叙述。
人物的追踪结果被送至面部提取部23，在存在未实施认证处理的人物(追踪对象)的情况下，进行以下步骤。面部提取部23按照追踪中的人物进行面部区域的提取，将面部图像存放于面部图像保存部34(步骤S3)。在面部区域提取方法中，存在使用了基于Haar特征量的级联分类识别器的面部检测方法等。之后通过图11对步骤S3的详细情况进行叙述。
提取到的面部图像被送至面部特征量计算部24。面部特征量计算部24根据面部图像来计算面部特征量(步骤S4)。面部认证部25根据计算出的面部特征量进行面部认证处理。即，使用面部认证模型36对面部特征量所属的登记完的人物的ID进行识别，将认证结果存放于认证结果保存部35(步骤S5)。之后通过图12对步骤S5的详细情况进行叙述。
在面部认证处理(步骤S5)成功的情况下，识别出的人物ID经由外部协作部28向外部系统通知(步骤S6)。由此，在例如进入退出管理系统中自动地进行打开门的动作。
在完成该帧的面部认证处理之后，追加学习面部保存部26为了实现追加学习而进行追加学习用面部图像的选定处理(步骤S7)。之后使用图13～15对步骤S7的详细情况进行叙述。在存在追加学习用面部图像的情况下，将应追加的面部图像38存放于追加学习用面部DB15(步骤S8)。
图7是示出追加学习实施的顺序的图。
输入受理部29在从运用者接受到再学习指示时，向追加学习实施部27发送追加学习请求。追加学习实施部27从初始学习用面部DB14和追加学习用面部DB15读出面部图像(步骤S9)。面部特征量计算部24针对所读出的面部图像进行面部特征量的计算(步骤S10)，并向追加学习实施部27返回。追加学习实施部27对能够通过学习SVM识别器而识别多个个体的面部认证模型36进行追加学习(步骤S11)。
追加学习结果被送至输出部30，生成学习结果的画面，并向运用者进行提示(步骤S12)。运用者在受理到追加学习结果的情况下，通过按下反映追加学习的按钮而更新面部认证模型36(步骤S13)。之后通过图16对步骤S12、S13的详细情况进行叙述。
以下，针对图6和图7中的主要步骤详细进行说明。
图8是示出由人追踪部22进行的人追踪的处理流程(步骤S2)的图。
针对输入图像，提供图像中的边缘部等的容易追踪的特征点(步骤S101)。使用提取出的特征点，通过采取与之前的帧的特征点的匹配而计算各特征点的移动的轨道(步骤S102)。使用追踪中的人物的信息，更新特征点的轨道信息(步骤S103)。需要说明的是，在初始状态下不存在追踪中的人物，因此，在该步骤S103不进行任何操作。使用所有的特征点的信息及追踪中的人物的信息来更新人区域(步骤S104)。使用人区域的信息来更新追踪中的人物的追踪结果(步骤S105)。
现在，判定是否存在未追踪的人区域(步骤S106)。在存在未追踪的人区域的情况下，将追踪对象追加到追踪结果(步骤S107)。在步骤S107完成之后或者在不存在未追踪的人区域的情况下，删除人区域以外的特征点(步骤S108)。将追踪结果向面部提取部23输出，并且保存于追踪结果保存部33(步骤S109)。
图9是示出追踪结果保存部33的数据构造的图。追踪结果保存部33包括帧ID、追踪对象ID以及追踪对象区域。帧ID是图像的帧编号。追踪对象ID是存在于各帧ID的图像的追踪对象的识别编号。在追踪对象存在于多个帧图像的情况下，一个追踪对象ID包含于多个帧ID。追踪对象区域表示该追踪对象在该帧内所存在的区域(位置坐标)。
图10是将图9所示的追踪结果表示在映射上的图。映射40对应于影像输入装置2的摄像范围。在映射40内存在两个追踪对象，追踪对象ID分别为“1”和“2”。追踪对象ID＝“1”在帧之间移动，41a表示追踪对象的轨迹，41b表示追踪对象的当前位置。
图11是由面部提取部23进行的面部区域提取处理(步骤S3)的结果，是示出面部图像保存部34所保存的面部图像的数据构造的图。面部图像保存部34包括帧ID、追踪对象ID以及面部图像数据。帧ID和追踪对象ID对应于追踪结果保存部33中的被提取面部图像的人物的数据。另外，面部图像数据被保存为面部图像的二进制数据。
图12是由面部认证部25进行的面部认证处理(步骤S5)的结果，是示出认证结果保存部35所保存的认证结果的数据构造的图。认证结果保存部35包括帧ID、追踪对象ID、认证结果详细情况、以及人物ID。帧ID和追踪对象ID与面部图像保存部34的数据建立关联。认证结果详细情况表示该面部所属的个体(人物ID)及其概率(也称为相似度或可靠度)。在认证结果详细情况中，在属于某一个体的概率超过规定的值(认证成功阈值)的情况下，看作认证成功，更新为该个体的人物ID。在认证失败的情况下，以“-1”表示人物ID。
由于追踪中的人物遍及不同的帧而都由同一追踪对象ID管理，因此，若认证在某一帧成功，则即便认证在其他帧失败，也能够确定追踪对象ID一致的所有帧的追踪对象的人物ID。例如，关于追踪对象ID＝“2”，认证在帧ID＝12这一阶段失败，但认证在帧ID＝15时成功(人物ID＝001)，因此，能够追溯到帧ID＝12来确定追踪对象ID＝“2”的人物ID。
接着，对由追加学习面部保存部26进行的追加学习面部图像选定处理(步骤S7)详细进行说明。
图13是示出在追加学习面部图像选定处理中使用的追加学习设定信息39的数据构造的图。追加学习设定信息39包括作为面部图像选定的条件的参数名和参数值。作为参数，包括本人可靠度上限T11、本人可靠度下限T12、面部完整度下限T2、追加完的本人面部差异度下限T3、等待实施的帧数F等。
本人可靠度上限T11是用于选定为追加学习的面部数据的属于登记完的人物的可靠度(＝相似度)的上限值。在此，可靠度表示根据面部认证处理的结果而得到的属于登记完的人物的概率值。通过将可靠度的上限值设为小于1的值(例如0.96)，具有能够防止要追加的图像偏向登记完的图像的效果。
本人可靠度下限T12是用于选定为追加学习的面部数据的属于登记完的人物的可靠度的下限值。
面部完整度下限T2是用于选定为追加学习的面部数据的面部图像完整度的下限值。面部图像完整度是表示包含何种程度的在面部图像内本应存在的嘴巴、眼睛、鼻子等部位的比例。该值越高，则面部图像越有效。在该值低的情况下，存在一部分的面部被隐藏或者根本不是面部图像的可能性。通过设置下限值，具有防止与追加学习相伴的认证精度的降低的效果。
追加完的本人面部差异度下限T3表示要追加的预定的面部图像与追加完(登记完)的本人面部图像有何种程度的不同的差异度的下限值。通过将该下限值设为大于0的值(例如0.05)，能够避免进行与已追加学习完的图像相似的面部图像的再追加，其结果是，具有防止学习的偏差的效果。
等待实施的帧数F是追踪对象从视野中消失之后，直至实施追加学习用面部图像的选定为止的等待帧数。
图14是示出追加学习面部图像选定处理(步骤S7)的流程的图。
追加学习面部保存部26从面部认证结果保存部35和面部图像保存部34读出与一件认证结果关联的面部图像数据(步骤S201)。即，准备面部认证结果保存部35所保存的追踪对象ID、认证结果详细情况、人物ID以及与它们关联的面部图像保存部34的面部图像数据。
判定该追踪对象ID的“消失的帧数”是否与追加学习设定信息39的等待实施的帧数F一致(步骤S202)。在此“消失的帧数”是指，该追踪对象ID从帧图像消失到再次出现为止的帧数。在消失的帧数与等待实施的帧数F一致的情况下，继续选定处理。在消失的帧数与等待实施的帧数F不一致的情况下，中断该认证结果的处理，返回到步骤S201，对下一个认证结果进行处理。
检查针对该追踪对象ID的认证结果，判定是否存在对该追踪对象ID认证成功的帧，即，判定是否存在面部认证结果保存部35的人物ID为“-1”以外的帧(步骤S203)。在存在认证成功的帧的情况下，继续选定处理。在不存在认证成功的帧的情况下，中断该认证结果的处理，返回到步骤S201，对下一个认证结果进行处理。
接着，针对该面部图像进行面部图像完整度的计算(步骤S204)和本人面部差异度的计算(步骤S205)。面部图像完整度是表示包含何种程度的在面部图像内本应具备的嘴巴、眼睛、鼻子等面部的部位的值。本人面部差异度是表示该面部图像与追加完的本人面部图像有何种程度的不同的值。需要说明的是，用作追加完的本人面部图像的数据可以是初始学习用面部图像37和追加学习用面部图像38这两方或者其中一方。使用计算出的面部图像完整度和本人面部差异度，进行该面部图像作为追加学习用图像是否有效的判定处理(步骤S206)。使用图15对步骤S206的详细情况进行说明。
根据步骤S206的有效性的判定结果对处理进行分支(步骤S207)。在判定为有效的情况下，将该面部图像选定为追加学习的对象(步骤S208)。在判定为不是有效的情况下，中断该认证结果的处理，返回到步骤S201，对下一次认证结果进行处理。判定是否完成了所有的认证结果的处理(步骤S209)，若完成则结束。若未完成，则返回到步骤S201，对下一次认证结果进行处理。
图15是示出图14中的追加学习面部图像有效性判定流程(步骤S206)的详细情况的图。在此处的判定中，使用在图13的追加学习设定信息39中设定的本人可靠度上限T11、本人可靠度下限T12、面部完整度下限T2、追加完的本人面部差异度下限T3。
首先，判定该面部图像的本人可靠度(认证时的概率)(步骤211)。在本人可靠度大于本人可靠度下限T12且小于本人可靠度上限T11的情况下，继续选定处理。在除此以外的情况下，设为无效(步骤S215)。接着，判定面部图像完整度(步骤S212)。在面部图像完整度大于面部完整度下限T2的情况下，继续选定处理。在除此以外的情况下，设为无效(步骤S215)。进而，进行本人面部差异度的判定(步骤S213)。在本人面部差异度大于追加完的本人面部差异度下限T3的情况下，将作为该面部图像的追加学习面部图像的判定结果设为有效(步骤S214)。在除此以外的情况下，设为无效(步骤S215)。
在以上的处理中，能够使用面部认证结果，适当地选定成为追加学习的对象的面部图像。此时的选定条件为，
(1)作为本人可靠度的阈值，不仅设置下限T12，还设置上限T11，
(2)作为面部图像完整度的阈值，设置下限T2，
(3)作为本人面部差异度的阈值，设置下限T3，
因此，具有防止追加学习时的偏差且防止认证判定时的误检测的效果。
需要说明的是，上述的选定条件(1)～(3)无需全部满足，若满足(1)或(3)中的任一项，则能够防止追加学习时的偏差。因此，图15的有效性判定流程根据使用环境而适当组合选定条件进行运用即可。
图16是示出图7的追加学习中的学习结果的确认画面(步骤S12、S13)的图。在确认画面50中，将初始学习用面部DB及追加学习面部DB的测试数据作为对象进行认证测试，展示出追加学习前和追加学习后的认证失败(本人拒绝率和他人接受率)的概率来作为追加学习结果51。本人拒绝率是指，在为本人时无法认证本人的面部图像的概率，他人接受率是指，将他人的面部图像误认证为本人的概率。通过追加学习，本人拒绝率降低。需要说明的是，虽然通过学习而使他人接受率增加，但原本就是接近于0％的值，因此不存在问题。运用者通过确认追加学习结果51，按下反映追加学习的按钮52，从而能够接受追加学习。另外，通过按下取消按钮53，能够终止追加学习。
在上述的说明中，根据运用者的指示而实施追加学习，但也可以定期地或者每次面部认证时实施追加学习。
根据实施例1，在人物认证系统的运用时，通过将面部认证的可靠度低的面部图像加入追加学习的对象，能够提高相对于面部的经年变化或照明的变化的稳固性。另外，通过将可靠度非常高的面部图像或已经大量学习了的面部图像设定为追加学习的对象外，具有防止学习的偏差的效果。另外，通过面部完整性的检查，将面部图像完整度低的面部图像设定为追加学习的对象外，由此具有防止认证精度变差的效果。
[实施例2]
图17是示出包含本发明的人物认证装置的人物认证系统的其他结构例的图。在人物认证系统1a中，采用将人物认证装置5与人物认证管理装置4之间经由包含WAN(WideArea Network)、VPN(Virtual Private Network)等的网络6a而连接的结构。由此，能够通过相对于人物认证装置5处于远程位置的人物认证管理装置4来显示认证结果，能够进行人物认证装置5的设定。
另一方面，影像输入装置2和人物认证装置5与实施例1同样地经由网络6而连接，从影像输入装置2接收影像，从而能够确定当前拍摄到的人物的面部。根据本实施例的结构，能够从远程位置对人物认证装置进行维护。
[实施例3]
在实施例3中，针对追加学习设定信息39中的可靠度的上限和下限的优选设定进行叙述。
图18是示出追加学习设定信息39与面部认证成功阈值的关系的图。横轴表示图像帧数，纵轴表示各帧的可靠度(认证结果的概率)，相对于某一追踪对象(人物)的可靠度如曲线60那样变化。在面部认证处理中，当将用于对该追踪对象判定为认证成功的可靠度的阈值(面部认证成功阈值)设为T0时，可靠度超过阈值T0的期间P0成为认证成功的期间。
相对于此，用于追加学习的面部图像的条件如图13的追加学习设定信息39所示那样，在认证时的本人可靠度中设置上限T11和下限T12。尤其是在本实施例中，本人可靠度上限T11设定得比面部认证成功阈值T0大，且本人可靠度下限T12设定得比面部认证成功阈值T0小。其结果是，在图15的有效性的判定处理中，追加学习的面部图像有效的期间成为可靠度被上限T11和下限T12夹着的P1与P2的期间。在这些期间P1、P2内，不仅包含认证成功的面部图像，还包含在P3所示的认证中失败的图像。
但是，P3的区域的图像是因稍许的可靠度的差异而认证失败的图像，反而作为追加学习用是有益的。例如，在初始学习时，为仅存在正面的面部图像的状态，对此，通过运用时的追加学习，将面部的朝向发生了变化时的面部图像追加到认证模型，由此具有提高认证的稳固性的效果。
以上，说明了本发明的实施例，但本发明不局限于上述的实施例，包含各种变形例。上述的实施例是为了容易理解地说明本发明而进行的详细说明，不必局限于具备所说明的全部结构。另外，也能够将某一实施例的结构的一部分置换为其他实施例的结构，还能够向某一实施例的结构加入其他实施例的结构。另外，针对各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。
例如，在上述实施例中，影像输入装置2的台数也可以为多台。另外，也可以是，人物认证装置5和人物认证管理装置4分别为多台，在多个装置之间协作地对应于多个影像输入装置2。另外，也可以将上述的影像输入装置2、人物认证装置5、影像录制装置3、人物认证管理装置4中的至少两个构成在相同的装置内。
另外，也可以将上述的各结构、功能、处理部等中的一部分或全部通过例如集成电路设计等而以硬件的形式实现。另外，上述的实施方式的技术要素可以单独地应用，也可以分为程序部件和硬件部件这样的多个部分而应用。

Claims (4)

1.一种人物认证装置，是根据人物的面部图像进行人物的认证的人物认证装置，
其特征在于，
所述人物认证装置具备：
影像输入部，其输入包含人物的影像；
人追踪部，其根据输入的所述影像来追踪人物的移动轨迹；
面部提取部，其将追踪的所述人物作为对象来提取面部图像；
面部特征量计算部，其根据提取的所述面部图像来计算面部特征量；
面部认证部，其使用登记完的人物的面部认证模型，根据计算出的所述面部特征量对追踪的所述人物进行认证；
追加学习面部保存部，其从由所述面部认证部认证完的人物的面部图像中选定追加学习用面部图像并保存该追加学习用面部图像；以及
追加学习实施部，其使用选定的所述追加学习用面部图像，实施所述面部认证模型的追加学习，
所述追加学习面部保存部将由所述面部认证部认证完的人物的认证可靠度处于上限(T11)与下限(T12)这两个阈值之间的面部图像选定为所述追加学习用面部图像。
2.一种人物认证装置，是根据人物的面部图像进行人物的认证的人物认证装置，
其特征在于，
所述人物认证装置具备：
影像输入部，其输入包含人物的影像；
人追踪部，其根据输入的所述影像来追踪人物的移动轨迹；
面部提取部，其将追踪的所述人物作为对象来提取面部图像；
面部特征量计算部，其根据提取的所述面部图像来计算面部特征量；
面部认证部，其使用登记完的人物的面部认证模型，根据计算出的所述面部特征量对追踪的所述人物进行认证；
追加学习面部保存部，其从由所述面部认证部认证完的人物的面部图像中选定追加学习用面部图像并保存该追加学习用面部图像；以及
追加学习实施部，其使用选定的所述追加学习用面部图像，实施所述面部认证模型的追加学习，
所述追加学习面部保存部将差异度大于规定的阈值(T3)的面部图像选定为所述追加学习用面部图像，该差异度表示该面部图像与作为所述面部认证模型而追加完的面部图像有何种程度的不同。
3.根据权利要求1或2所述的人物认证装置，其特征在于，
所述追加学习面部保存部还将面部图像完整度大于规定的阈值(T2)的面部图像选定为所述追加学习用面部图像，该面部图像完整度表示该面部图像包含有何种程度的在面部图像内本应具备的面部的部位。
4.根据权利要求1所述的人物认证装置，其特征在于，
当将所述面部认证部进行人物认证时用于判定为认证成功的认证可靠度的阈值设为认证成功阈值(T0)时，
所述追加学习面部保存部在选定为所述追加学习用面部图像时使用的所述认证可靠度的上限(T11)大于所述认证成功阈值(T0)，所述认证可靠度的下限(T12)小于所述认证成功阈值(T0)。
CN201810296063.4A 2017-04-19 2018-03-30 人物认证装置 Active CN108734092B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-083059 2017-04-19
JP2017083059A JP6941966B2 (ja) 2017-04-19 2017-04-19 人物認証装置

Publications (2)

Publication Number Publication Date
CN108734092A true CN108734092A (zh) 2018-11-02
CN108734092B CN108734092B (zh) 2021-09-17

Family

ID=63941215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810296063.4A Active CN108734092B (zh) 2017-04-19 2018-03-30 人物认证装置

Country Status (2)

Country Link
JP (1) JP6941966B2 (zh)
CN (1) CN108734092B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7220062B2 (ja) * 2018-11-29 2023-02-09 富士通株式会社 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法
JP7074723B2 (ja) * 2019-07-04 2022-05-24 Kddi株式会社 学習装置及びプログラム
JP2021015362A (ja) * 2019-07-10 2021-02-12 富士通コネクテッドテクノロジーズ株式会社 対話装置、情報処理方法および情報処理プログラム
WO2021038788A1 (ja) * 2019-08-29 2021-03-04 日本電気株式会社 ロバスト性評価装置、ロバスト性評価方法および記録媒体
KR102301785B1 (ko) * 2019-12-18 2021-09-15 주식회사 노타 얼굴 연속 인증을 위한 방법 및 장치
WO2021125432A1 (ko) * 2019-12-18 2021-06-24 주식회사 노타 얼굴 연속 인증을 위한 방법 및 장치
CN117957564A (zh) * 2021-09-21 2024-04-30 索尼半导体解决方案公司 信息处理装置、信息处理方法和信息处理程序

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128628A (ja) * 2003-10-21 2005-05-19 Toshiba Corp パターン識別における照合に用いられるテンプレートの生成ならびに同テンプレートを用いたパターン識別のための方法、装置、およびプログラム
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
JP2008198193A (ja) * 2007-01-19 2008-08-28 Konica Minolta Holdings Inc 顔認証システム、方法及びプログラム
JP2009002150A (ja) * 2001-07-27 2009-01-08 Toshiba Corp 通行制御装置
US20100157088A1 (en) * 2008-12-22 2010-06-24 Kabushiki Kaisha Toshiba Authentication apparatus and authentication method
CN102004905A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 人脸认证方法及装置
JP2011242873A (ja) * 2010-05-14 2011-12-01 Honda Motor Co Ltd 登録装置、登録方法及びコンピュータプログラム
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN103632130A (zh) * 2012-08-20 2014-03-12 佳能株式会社 验证被摄体的验证装置及验证方法
US20170041503A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication device and authentication method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425092B2 (ja) * 1998-11-04 2003-07-07 株式会社エヌ・ティ・ティ・データ パターン認識方式
JP6482195B2 (ja) * 2014-07-02 2019-03-13 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002150A (ja) * 2001-07-27 2009-01-08 Toshiba Corp 通行制御装置
JP2005128628A (ja) * 2003-10-21 2005-05-19 Toshiba Corp パターン識別における照合に用いられるテンプレートの生成ならびに同テンプレートを用いたパターン識別のための方法、装置、およびプログラム
JP2008198193A (ja) * 2007-01-19 2008-08-28 Konica Minolta Holdings Inc 顔認証システム、方法及びプログラム
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
US20100157088A1 (en) * 2008-12-22 2010-06-24 Kabushiki Kaisha Toshiba Authentication apparatus and authentication method
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
JP2011242873A (ja) * 2010-05-14 2011-12-01 Honda Motor Co Ltd 登録装置、登録方法及びコンピュータプログラム
CN102004905A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 人脸认证方法及装置
CN103632130A (zh) * 2012-08-20 2014-03-12 佳能株式会社 验证被摄体的验证装置及验证方法
US20170041503A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication device and authentication method

Also Published As

Publication number Publication date
CN108734092B (zh) 2021-09-17
JP6941966B2 (ja) 2021-09-29
JP2018181157A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
CN108734092A (zh) 人物认证装置
CN108629168A (zh) 脸部验证方法、设备以及计算设备
CN109117700A (zh) 脸部验证方法和设备
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
CN110414376B (zh) 更新人脸识别模型的方法、人脸识别相机及服务器
CN108664782A (zh) 面部验证方法和设备
CN109766872A (zh) 图像识别方法和装置
CN108922074A (zh) 无卡取款方法、装置、计算机设备和存储介质
CN108664879A (zh) 脸部验证方法和设备
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
US8547438B2 (en) Apparatus, method and program for recognizing an object in an image
CN102945366A (zh) 一种人脸识别的方法及装置
CN107424266A (zh) 人脸识别解锁的方法和装置
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN109389028A (zh) 基于动作分析的人脸识别方法、装置、设备及存储介质
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN112733802A (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
CN109635021A (zh) 一种基于人体检测的数据信息录入方法、装置及设备
CN112199530B (zh) 多维度脸库图片自动更新方法、系统、设备及介质
CN108108711A (zh) 人脸布控方法、电子设备及存储介质
CN110472589A (zh) 一种行为认证的方法、装置及系统
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN114333011A (zh) 网络训练、人脸识别方法、电子设备及存储介质
CN113837006A (zh) 一种人脸识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant