CN110073407A - 面部图像处理方法和面部图像处理装置 - Google Patents

面部图像处理方法和面部图像处理装置 Download PDF

Info

Publication number
CN110073407A
CN110073407A CN201780076859.2A CN201780076859A CN110073407A CN 110073407 A CN110073407 A CN 110073407A CN 201780076859 A CN201780076859 A CN 201780076859A CN 110073407 A CN110073407 A CN 110073407A
Authority
CN
China
Prior art keywords
face
identification information
image
search
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780076859.2A
Other languages
English (en)
Other versions
CN110073407B (zh
Inventor
前野一树
小林昇
吉广千惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110073407A publication Critical patent/CN110073407A/zh
Application granted granted Critical
Publication of CN110073407B publication Critical patent/CN110073407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition

Abstract

作为面部图像处理装置的服务器装置(10)具备控制部(11)、存储部(12)、输入部(13)、输出部(14)以及登记数据库(15)。将由入口门获取的进入人员的识别信息发送到服务器装置(10),由控制部(11)将该识别信息与登记数据库(15)进行对照,将与进入人员相关联的人物、与进入人员匹配的人物包括在检索范围内。通过筛选检索范围,来减轻检索负荷,抑制错误,并且实现高速化。

Description

面部图像处理方法和面部图像处理装置
技术领域
本公开涉及一种面部图像处理方法和面部图像处理装置。
背景技术
已知一种将用照相机等拍摄到的面部图像与识别信息进行对照来进行本人确认的方法(参照专利文献1、2)。
专利文献1公开了一种认证系统,该认证系统具备:第一摄像部,其设置于被认证人要通过的路径,来对所述被认证人进行拍摄;第一认证部,其对由所述第一摄像部拍摄到的所述被认证人进行第一认证;第二摄像部,其设置在相对于所述被认证人要通过的路径中设置有所述第一摄像部的位置,所述认证人之后通过的位置,来对所述被认证人进行拍摄;以及第二认证部,其将由所述第一摄像部拍摄到的所述被认证人的图像与由所述第二摄像部拍摄到的所述被认证人的图像进行对照,来对所述被认证人进行认证,该认证系统能够高效地进行认证。
专利文献2是一种门管理系统,该门管理系统的特征在于,具备记录有通行人的标识符的无线标签和对接近门的通行人的面部进行拍摄的照相机,其中,与所述标识符对应地预先登记该通行人的面部图像,在所述通行人接近了门时,将与由所述无线标签识别出的标识符对应的通行人的面部图像同由所述照相机拍摄到的通行人的面部图像进行比较,来进行所述通行人的本人确认。专利文献2公开了以下内容:根据携带无线标签的通行人的标识符和面部图像,双重地对通行人进行本人确认,由此能够将标识符及面部图像不同的非法的通行人排除,提高了使用无线标签的门管理系统的安全性。
现有技术文献
专利文献
专利文献1:日本特开2005-129016号公报
专利文献2:日本特开2004-324183号公报
发明内容
发明要解决的问题
专利文献1、2是与面部图像处理有关的技术,存在以下问题:在面部图像的对照处理中数据量大,且对照处理耗费时间,因此无法迅速且准确地对正在移动的人物进行认证。
本公开的目的在于提供一种能够高速地进行面部图像处理的面部图像处理方法和面部图像处理装置。
用于解决问题的方案
本公开的面部图像处理方法使用了登记有预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的筛选信息的登记数据库,关于所述面部图像处理方法,获取与出入于所述封闭空间的人物对应的筛选信息。并且,将所登记的所述筛选信息与所获取的所述筛选信息进行对照,基于所登记的所述筛选信息与所获取的所述筛选信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库中的面部图像的检索范围。
本公开的面部图像处理装置具备登记数据库和控制部,其中,所述登记数据库登记有预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的筛选信息,其中,该控制部获取与要出入于所述封闭空间的人物对应的筛选信息。并且,将所登记的所述筛选信息与所获取的所述筛选信息进行对照,基于所登记的所述筛选信息与所获取的所述筛选信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库的面部图像的检索范围。
发明的效果
根据本公开,能够提供如下一种面部图像处理方法和面部图像处理装置:不需要与登记数据库中登记的所有人物的面部图像进行对照,仅将被允许出入于封闭空间的人物设为检索对象范围,因此在面部图像认证处理中减轻计算机的负荷,抑制对照上的错误,从而能够进行高速对照处理。
附图说明
图1A是构成本公开的面部图像处理系统的服务器装置(面部图像处理装置)的框图。
图1B是构成本公开的面部图像处理系统的入口门的框图。
图2A是构成本公开的面部图像处理系统的认证装置的框图。
图2B是构成本公开的面部图像处理系统的出口门的框图。
图3A是表示进入人员手持搭乘手续和机票的状况的图。
图3B是表示进入了限制区域内的进入人员尝试进入会员休息室的状况的图。
图3C是表示会员休息室的入口附近的接待员对进入人员为真正的会员进行确认的情况的图。
图3D是表示将拍摄到的面部图像与登记数据库中登记的面部图像进行对照的状况的图。
图4A是服务器装置的登记数据库中登记的所有面部图像的示意图。
图4B是通过本公开的面部图像处理方法限定了检索范围的面部图像的示意图。
图5是表示本公开的面部图像处理方法和面部图像处理装置的动作的一例的流程图。
图6是表示通过图5的处理对登记数据库中登记的面部图像的检索范围进行限定的状况的示意图。
图7是表示本公开的面部图像处理方法和面部图像处理装置的动作的其它例的流程图。
图8是表示通过图7的处理对登记数据库中登记的面部图像的检索范围进行限定的状况的示意图。
图9是表示在入口门处获取并登记识别信息和面部图像的处理的流程图。
具体实施方式
下面,适当地参照附图来对具体地公开了本公开所涉及的面部图像处理方法和面部图像处理装置的实施方式(下面,称为“本实施方式”)详细地进行说明。但是,有时省略过于详细的说明。例如,有时省略对已众所周知的事项的详细说明和对实质相同的结构的重复说明。这是为了避免下面的说明变得过于冗长,从而使本领域技术人员易于理解。此外,附图和下面的说明是为了使本领域技术人员充分地理解本公开而提供的,并非意图通过附图和说明来限定权利要求书中记载的主题。
下面,参照附图来详细地说明用于实施本公开的优选的本实施方式。
图1A、1B、2A、2B是构成面部图像处理系统的各部分的框图,图1A是服务器装置,图1B是入口门(日语:入場ゲート),图2A、图2B是接着图1A、图1B的框图,图2A是认证装置,图2B是出口门(日语:退場ゲート)。基于图1A、图1B、图2A、图2B来说明本公开的面部图像处理系统、面部图像处理装置。
本公开的面部图像处理系统具备服务器装置10(参照图1A)、入口门20(参照图1B)、认证装置30(参照图2A)以及出口门40(参照图2B)。服务器装置10是构成面部图像处理装置的主计算机,该面部图像处理装置形成面部图像处理系统的核心,入口门20、认证装置30以及出口门40是在网络上与服务器装置10进行了连接的终端等。
入口门20从要进入规定的封闭空间的进入人员的ID等获取要进入的人物的进入人员识别信息(第二识别信息),认证装置30对在封闭空间内移动的进入人员的面部进行拍摄,出口门40获取从封闭空间离开的离开人员的离开人员识别信息。另外,规定的封闭空间是在机场要乘坐飞机的人在接受了安全检查之后被允许进入的限制区域(控制区)、建筑物的认证门(日语:認証ゲート)的内部等空间,是只有预先被允许进入的人才能够进入的空间,并非如公共空间那样谁都能自由地进出的空间。
服务器装置(面部图像处理装置)10具备控制部11、存储部12、输入部13、输出部14以及登记数据库(下面记载为登记DB)15。控制部11是综合控制服务器装置10整体的处理器,存储部12是存储程序、必要的信息的存储器,输入部13接收来自入口门20、认证装置30以及出口门40的数据,输出部14向入口门20、认证装置30以及出口门40发送数据。利用设置于各终端20、30、40的输入部、输出部来进行与服务器装置10之间的发送和接收。
登记DB 15是登记有包括预先被允许进入封闭空间的人物的ID等的识别信息(第一识别信息)以及与该识别信息相关联的面部图像的信息的登记数据库。预先被允许进入的人物是航空公司的会员、持有当天的票的人、预约了当天的航班的人、当天参加会员会议的人等。
入口门20设置在进入作为封闭空间的限制区域的场所,例如接待处、安全门(日语:セキュリティーゲート)、出入境管理等,入口门20与服务器装置10同样地具备控制部21、存储部22、输入部23以及输出部24。另外,具备进入开闭部25,该进入开闭部25基于入口门处的进入人员的ID卡等来进行识别信息的获取、登记、门的打开及关闭等。
认证装置30设置于进一步设置于封闭空间的内部的特殊区域的入口等,认证装置30与服务器装置10同样地具备控制部31、存储部32、输入部33以及输出部34。另外,具备用于对在封闭空间内移动的人物的面部进行拍摄的照相机35。特殊区域例如是机场的限制区域内的会员休息室、封闭空间内的会员专用房间及会员用会议室、在封闭空间内只有又事先进行了登记的参加人员才能进入的专用室(会场、会议室等)、限定了进入人员的宾馆的VIP房间、楼层等。
出口门40例如设置于要乘坐飞机的起飞门(日语:離陸ゲート)、接待处等,出口门40与服务器装置10同样地具备控制部41、存储部42、输入部43以及输出部44。具备离开开闭部45,该离开开闭部45基于出口门处的离开人员的ID卡等来进行识别信息的获取、登记、门的打开和关闭等。
此外,各控制部21、31、41、存储部22、32、42、输入部23、33、43、以及输出部24、34、44的功能与服务器装置10的控制部、存储部、输入部、输出部的功能相同,因此省略说明。
图3A-3D说明了以下状况的例子:在机场,通过入口门20进入封闭空间(限制区域)的进入人员是预先进行了登记的会员,还要进入限制区域内的会员休息室。
要进入规定的休息室的进入人员100当手持搭乘手续和记录有识别信息(第二识别信息)的机票于在入口门20的进入开闭部25中设置的读取装置26(参照图3A)时,读取装置26读取进入人员100的识别信息并打开进入开闭部25的门,允许进入人员100进入限制区域(封闭空间)。
进入了限制区域内的进入人员100尝试进入会员休息室(参照图3B)。此时,会员休息室的入口附近的接待员101使用为接待准备的PC等终端来确认进入人员100为真正的会员(参照图3C)。
在此,为了确认进入人员100为真正的会员,考虑利用面部认证。例如,设置于会员休息室的入口的附近例如门等的、认证装置30的照相机35对进入人员100的面部进行拍摄(参照图3B)。然后,服务器装置10将拍摄到的面部图像与登记DB 15中登记的面部图像进行对照来判定为进入人员100是真正的会员(参照图3D),并将判定结果通知给为接待准备的PC等终端。其结果,接待员101能够确认进入人员100为真正的会员(参照图3C)。
图4A、4B示出登记DB 15中预先登记的面部图像。图4A示出在与拍摄到的面部图像进行对照时、登记DB 15中登记的所有面部图像都成为检索对象、即登记DB 15中登记的所有面部图像都包括在检索范围内。在此,使用上述那样的面部认证进行的判定在提高服务方面是有用的方法,例如顺利地引导会员等。然而,在与登记DB 15中登记的人物的识别信息(第一识别信息)相关联的面部图像的数量多的情况下,当如图4A所示那样将所有面部图像设为检索对象时,检索对象的容量变大,对照所需的时间可能很长。另外,在判定时发生错误的可能性也变高。其结果,服务的品质可能会降低。
因此,在本公开的面部图像处理方法和面部图像处理装置中,例如如图4B所示,在规定的条件下,将检索范围筛选为仅是必要的面部图像,由此能够减轻处理负荷,缩短面部图像的对照时间。能够在多个进入人员(会员)向目的的特殊区域房间(会议室、休息室等)移动的期间在短时间内进行面部图像的对照,因此能够减少给进入人员带来的麻烦。另外,由于事先防止了伪造的会员卡、冒充进入等,因此也加强了安全性。
图5是示出通过服务器装置10、入口门20、认证装置30以及出口门40之间的信息交换来筛选面部图像的检索范围的过程的流程图。
入口门20获取进入人员的识别信息,并将该识别信息(第二识别信息)经由入口门20的输出部24和服务器装置10的输入部13发送到服务器装置10(S1)。既可以用机械的方式也可以用人工的方式来获取进入人员的识别信息。获取到的识别信息既可以在由入口门20临时登记之后发送到服务器装置10,也可以不由入口门20进行登记而直接发送到服务器装置10。
服务器装置10的控制部11将从入口门20发送来的进入人员的识别信息(第二识别信息)与登记DB 15中登记的个人的识别信息(第一识别信息)进行对照(S2)。然后,根据对照结果,如图4B所示,控制部11仅使相匹配的人物的识别信息以及面部图像有效,并通过设为检索对象来包括在检索范围内(S3)。
接着,设定进入人员来到了限制区域。利用认证装置30的照相机35拍摄通过了入口门20的进入人员的面部图像,将面部图像经由入口门20的输出部24和服务器装置10的输入部13发送到服务器装置10(S4)。控制部11在接收到的面部图像与被决定了检索范围的面部图像之间对照面部图像(S5)。
在面部图像的对照完成的情况下,向认证装置30发送结果,认证装置30反映该结果(S6)。在为正规的进入人员的情况下,打开入口的门,向工作人员通知正规的进入人员到来,等等,在不是正规的进入人员的情况下,不打开入口的门,向保安进行通报,等等。
接着,设想从限制区域离开的离开人员。出口门40例如在离开人员通过出口门40时由规定的读取装置等获取离开人员的识别信息(第二识别信息),并将离开人员的识别信息经由出口门40的输出部44和服务器装置10的输入部13发送到服务器装置10(S7)。
控制部11将与离开人员匹配的识别信息(第一识别信息)和面部图像从检索对象排除(S8)。在此,如图6所示,将与离开人员匹配的面部图像从图4B所示的检索范围排除。
通过上述的流程,能够减少登记DB 15中的成为检索对象的面部图像,筛选检索范围,因此能够缩短由控制部11进行对照的时间,并且能够抑制对照的判定错误。
图7是表示通过服务器装置10、入口门20以及认证装置30之间的信息的交换来筛选面部图像的检索范围的其它过程的流程图。步骤S1~S5与图5相同。然后,在S5之后,在本例中,将与由认证装置30获取到的面部图像一致的识别信息以及面部图像从检索范围排除(S9)。即,将进入了会员休息室的人物从检索对象、检索范围排除(参照图8)。对于临时进入了会员休息室等限制区域的人物,之后进行认证的必要性低,因此即使像这样从检索对象排除也没有问题。这样,即使在完全不由出口门40进行处理的状态下,也能够得到与基于图5的流程的处理大致同等的效果。
关于图5、图7的流程,主要设想以下情况:进入人员在预先使用PC等终端访问了服务器装置10之后,将自己的识别信息预先登记到登记DB 15中。图9示出利用入口门20对没有预先登记于登记DB 15的人物的面部图像进行登记的处理的流程。
利用入口门20获取要进入的人物的识别信息(第二识别信息),并且同时利用设置于入口门20的照相机对面部图像进行拍摄,并将识别信息和面部图像同时从入口门20的输出部24发送到服务器装置的输入部13(S10)。控制部11将由输入部13接收到的识别信息和面部图像登记于登记DB 15(S11)。利用认证装置30对面部图像进行拍摄并反映对照的结果的动作等以后的动作与图4A、4B的例子相同。
例如,在当天的航班选择了商务舱的搭乘人能够使用休息室,没有登记在登记DB15中的人物有时也利用规定的封闭空间。临时包括在登记DB的检索范围并进行面部图像的对照,在离开后使该数据无效,由此能够减轻面部图像对照处理的负荷,实现高速化。
基于以上内容,本实施方式的面部图像处理方法使用了登记有预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的第一识别信息的登记数据库,关于面部图像处理方法,获取用于识别要出入于所述封闭空间的人物的第二识别信息。然后,将所述第一识别信息与所述第二识别信息进行对照,基于所述第一识别信息与所述第二识别信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库中的面部图像的检索范围。
由此,不需要与登记数据库中登记的所有人物的面部图像进行对照,仅将要出入于封闭空间的人物设为检索对象范围,因此能够减轻计算机在面部图像认证处理中的负荷并抑制对照上的错误,从而能够进行高速认证处理。特别是能够对会员等重要的客人迅速地进行接待,实现服务的提高,另一方面,也迅速地进行非会员等的确定,加强安全性的提高。
基于以上内容,关于本实施方式的面部图像处理方法,所述第二识别信息是与要进入所述封闭空间的人物对应的进入人员识别信息,将与所述进入人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内。由此,仅要进入的人物成为检索对象,因此减轻检索负荷,抑制错误,并且能够实现高速化。
基于以上内容,关于本实施方式的面部图像处理方法,所述第二识别信息是与要从所述封闭空间离开的人物对应的离开人员识别信息,将与所述离开人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像从所述检索范围排除。由此,通过将离开人员从检索范围排除,能够节省数据存储量,实现面部图像的认证的高速化。
基于以上内容,关于本实施方式的面部图像处理方法,将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,在探测到进入了所述封闭空间的人物从所述封闭空间离开的情况下,将包括在所述检索范围内的第一识别信息以及面部图像从所述检索范围排除。由此,通过将登记DB内的匹配的进入人员包括在检索范围内,并在进入人员离开后从检索范围排除,能够始终节省检索范围的数据量,实现面部图像认证的高速化。
基于以上内容,关于本实施方式的面部图像处理方法,将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,在所述封闭空间内的面部图像的认证处理中,在对所述检索范围所包括的第一识别信息和面部图像进行了认证的情况下,使该检索范围所包括的第一识别信息和面部图像无效。由此,将登记DB内的匹配的进入人员包括在检索范围内,如果进入人员离开则在检索范围中设为无效,由此能够始终节省检索范围的数据量,实现面部图像认证的高速化。
基于以上内容,本实施方式的面部图像处理装置具备登记数据库15和控制部11,其中,该登记数据库15用于登记预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的第一识别信息,该控制部11获取用于识别要出入于所述封闭空间的人物的第二识别信息,将所述第一识别信息与所述第二识别信息进行对照,基于所述第一识别信息与所述第二识别信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于登记数据库15中的面部图像的检索范围。
由此,能够提供如下一种面部图像处理装置:不需要与登记数据库中登记的所有人物的面部图像进行对照,仅将要出入于封闭空间的人物设为检索对象范围,因此在面部图像认证处理中减轻计算机的负荷,抑制对照上的错误,从而能够进行高速对照处理。特别是能够对会员等重要的客人迅速地进行接待,实现服务的提高,另一方面,也迅速地进行非会员等的确定,加强安全性的提高。
此外,在上述的实施方式中,面部图像处理装置(服务器装置10)与入口门20及出口门40这双方协作,在进入封闭空间时以及从封闭空间离开时这两个时间点决定面部图像的检索范围。然而,本公开的面部图像处理装置无需一定在这两个时间点决定检索范围,也可以在进入时或离开时的至少某一个时间点决定检索范围。是因为通过在某一个时间点进行决定能够减轻面部图像的检索的负荷。
以上,参照附图对本公开所涉及的面部图像处理方法和面部图像处理装置的实施方式进行了说明,但本公开并不限定于上述例子。应了解,本领域技术人员能够在权利要求书中记载的范畴内想到各种变更例、修改例、置换例、附加例、删除例、等同例,这是显而易见的,这些例子当然也属于本公开的技术范围。
例如,能够考虑如下那样的变形例。
在上述的实施方式中,基于从ID等获取的识别信息的对照结果来筛选成为检索对象的面部图像的检索范围,但也可以使用其它信息来筛选检索范围。作为其它信息的例子,能够考虑使用特定的声音、被认证人的步态、预先决定的动作、密码等(在本公开中,将这些信息和识别信息统称为“筛选信息”)。
在图5或图7中,如果将“识别信息”取代为“声音等”,则基本上能够实现使用声音等来进行筛选的动作。作为一例,对在图5或图7中取代识别信息而对应了“打开”、“开启”这样的声音的情况下的动作进行说明。
在该情况下,在登记DB 15中将各面部图像与“打开”或“开启”中的某一种声音相对应。即,在登记DB 15中,登记了包括与“打开”这种声音对应的一个以上的面部图像的第一组和包括与“开启”这种声音对应的一个以上的面部图像的第二组。
入口门20经由输入部13从被认证人获取声音并发送到服务器装置10(图5或图7的S1的变形)。服务器装置10的控制部11将从入口门20发送来的声音与登记DB中登记的声音的信息进行对照(图5或图7的S2的变形)。然后,根据对照结果,控制部11仅将同与从入口门20发送来的声音匹配的声音对应的人物的识别信息以及面部图像包括在检索范围内。例如,在从入口门20发送了“打开”这种声音的情况下,将检索范围限定为属于第一组的面部图像。
以后的动作基本上与图5或图7的例子相同。然而,通过“打开”、“开启”等的声音,即使能够识别被认证人的组,也难以识别各个被认证人,其结果,在图5的步骤S7中难以识别离开人员。因此,在使用声音等来作为筛选信息的情况下,也可以使用第一识别信息来识别离开人员。但是,在高精度的声纹分析、步态分析等被认证人与筛选信息一一对应的可能性高的情况下,离开人员的识别也可以通过声音等来进行。
另外,也可以通过与图9的动作同样的动作来登记声音等与各面部图像之间的对应。即,在图9的步骤S10中,获取被认证人的声音等和面部图像来取代第二识别信息,并发送到服务器装置,在步骤S11中,将获取到的声音等与面部图像相对应地记录于登记DB 15即可。
另外,在如“打开”和“开启”那样,声音等信息与多个被认证人相对应的情况下,也能够省略被认证人的输入。即,也可以设为,由系统自动地决定分配给各被认证人的信息,在入口门30将该信息通知给被认证人。此外,在该变形例中,声音等用于决定成为检索范围的组,因此声音等与被认证人个人之间的对应并不重要。因此,也可以是,系统随机地决定分配给各被认证人的声音等。
另外,在该变形例中,使用“打开”、“开启”之类的已决定的声音来进行筛选,但也能够使用任意的声音。例如,如果在登记DB中与各面部图像相对应地登记了被认证人的声纹的信息,则能够通过获取到的声音的声纹分析来筛选与类似的声音对应的面部图像。
另外,筛选信息无需限于识别信息或声音等中的一种信息。也可以设为根据多种筛选信息的组合来筛选检索范围。
产业上的可利用性
本公开的面部图像处理方法和面部图像处理装置对于减轻检索的负荷并迅速地进行面部图像处理的网络系统来说是有用的。
附图标记说明
10:服务器装置(面部图像处理装置);11:控制部;12:存储部;13:输入部;14:输出部;15:登记数据库(登记DB);20:入口门;25:进入开闭部;30:认证装置;35:照相机;40:出口门;45:离开开闭部。

Claims (16)

1.一种面部图像处理方法,使用了登记有预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的筛选信息的登记数据库,所述面部图像处理方法包括以下步骤:
获取与要出入于所述封闭空间的人物对应的筛选信息;
将所登记的所述筛选信息与所获取的所述筛选信息进行对照;以及
基于所登记的所述筛选信息与所获取的所述筛选信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库的面部图像的检索范围。
2.根据权利要求1所述的面部图像处理方法,其特征在于,
所登记的所述筛选信息是用于识别预先被允许进入所述封闭空间的人物的第一识别信息,
所获取的所述筛选信息是用于识别要出入于所述封闭空间的人物的第二识别信息,
基于所述第一识别信息与所述第二识别信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库中的面部图像的检索范围。
3.根据权利要求2所述的面部图像处理方法,其特征在于,
所述第二识别信息是与要进入所述封闭空间的人物对应的进入人员识别信息,
将与所述进入人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内。
4.根据权利要求2所述的面部图像处理方法,其特征在于,
所述第二识别信息是与要从所述封闭空间离开的人物对应的离开人员识别信息,
将与所述离开人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像从所述检索范围排除。
5.根据权利要求2所述的面部图像处理方法,其特征在于,
将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,
在探测到进入了所述封闭空间的人物从所述封闭空间离开的情况下,将所述检索范围所包括的第一识别信息以及面部图像从所述检索范围排除。
6.根据权利要求2所述的面部图像处理方法,其特征在于,
将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,
在所述封闭空间内的面部图像的认证处理中,在对所述检索范围所包括的第一识别信息以及面部图像进行了认证的情况下,使该检索范围所包括的第一识别信息以及面部图像无效。
7.根据权利要求1所述的面部图像处理方法,其特征在于,
所述筛选信息与面部图像的组对应地进行登记,
所述面部图像的检索范围被限定于与所获取的筛选信息对应的面部图像的组。
8.根据权利要求7所述的面部图像处理方法,其特征在于,
所述筛选信息包括特定的声音、被认证人的步态、预先决定的动作、密码中的至少一方。
9.一种面部图像处理装置,具备:
登记数据库,其登记有预先被允许进入规定的封闭空间的人物的面部图像以及与该面部图像对应的筛选信息;以及
控制部,
其中,该控制部进行以下控制:
获取与要出入于所述封闭空间的人物对应的筛选信息;
将所登记的所述筛选信息与所获取的所述筛选信息进行对照;以及
基于所登记的所述筛选信息与所获取的所述筛选信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库的面部图像的检索范围。
10.根据权利要求9所述的面部图像处理装置,其特征在于,
所登记的所述筛选信息是用于识别预先被允许进入所述封闭空间的人物的第一识别信息,
所获取的所述筛选信息是用于识别要出入于所述封闭空间的人物的第二识别信息,
所述控制部将所述第一识别信息与所述第二识别信息进行对照,
所述控制部基于所述第一识别信息与所述第二识别信息的对照结果,来决定在所述封闭空间内的面部图像的认证处理中成为检索对象的、被登记于所述登记数据库的面部图像的检索范围。
11.根据权利要求10所述的面部图像处理装置,其特征在于,
所述第二识别信息是与要进入所述封闭空间的人物对应的进入人员识别信息,
所述控制部将与所述进入人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内。
12.根据权利要求10所述的面部图像处理装置,其特征在于,
所述第二识别信息是与要从所述封闭空间离开的人物对应的离开人员识别信息,
所述控制部将与所述离开人员识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像从所述检索范围排除。
13.根据权利要求10所述的面部图像处理装置,其特征在于,
所述控制部将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,
所述控制部在探测到进入了所述封闭空间的人物从所述封闭空间离开的情况下,将所述检索范围所包括的第一识别信息以及面部图像从所述检索范围排除。
14.根据权利要求10所述的面部图像处理装置,其特征在于,
所述控制部将与进入了所述封闭空间的人物的第二识别信息匹配的第一识别信息以及与该第一识别信息对应的面部图像包括在所述检索范围内,
所述控制部在所述封闭空间内的面部图像的认证处理中,在对所述检索范围所包括的第一识别信息以及面部图像进行了认证的情况下,使该检索范围所包括的第一识别信息以及面部图像无效。
15.根据权利要求9所述的面部图像处理装置,其特征在于,
所述筛选信息与面部图像的组对应地进行登记,
所述控制部将所述面部图像的检索范围限定于与所获取的筛选信息对应的面部图像的组。
16.根据权利要求15所述的面部图像处理装置,其特征在于,
所述筛选信息包括特定的声音、被认证人的步态、预先决定的动作、密码中的至少一方。
CN201780076859.2A 2016-12-16 2017-09-15 面部图像处理方法和面部图像处理装置 Active CN110073407B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016244461 2016-12-16
JP2016-244461 2016-12-16
PCT/JP2017/033388 WO2018110012A1 (ja) 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置

Publications (2)

Publication Number Publication Date
CN110073407A true CN110073407A (zh) 2019-07-30
CN110073407B CN110073407B (zh) 2023-05-12

Family

ID=62558375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076859.2A Active CN110073407B (zh) 2016-12-16 2017-09-15 面部图像处理方法和面部图像处理装置

Country Status (5)

Country Link
US (1) US11170086B2 (zh)
EP (1) EP3557525B1 (zh)
JP (1) JP7050231B2 (zh)
CN (1) CN110073407B (zh)
WO (1) WO2018110012A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176565B2 (ja) * 2018-07-31 2022-11-22 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP7327923B2 (ja) * 2018-10-18 2023-08-16 キヤノン株式会社 情報処理装置、情報処理方法、システムおよびプログラム
JP6781413B2 (ja) * 2018-11-21 2020-11-04 日本電気株式会社 情報処理装置
JP6624323B1 (ja) * 2019-03-28 2019-12-25 株式会社セガゲームス 生体情報登録システム
JP7218837B2 (ja) * 2020-03-18 2023-02-07 日本電気株式会社 ゲート装置、認証システム、ゲート装置の制御方法及びプログラム
JP2020140732A (ja) * 2020-05-29 2020-09-03 パソナ・パナソニックビジネスサービス株式会社 認証システム、サーバ、認証プログラム
WO2021260941A1 (ja) * 2020-06-26 2021-12-30 日本電気株式会社 サーバ装置、端末、システム、サーバ装置の制御方法及び記憶媒体
WO2022190358A1 (ja) * 2021-03-12 2022-09-15 日本電気株式会社 画像処理装置、画像処理方法、プログラム
US20240046707A1 (en) 2021-04-30 2024-02-08 Nec Corporation Information processing system, information processing method and recording medium
JP7036300B1 (ja) * 2021-05-31 2022-03-15 日本電気株式会社 システム、認証方法、認証端末、認証端末の制御方法及びプログラム
JP7116372B1 (ja) 2021-05-31 2022-08-10 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008052549A (ja) * 2006-08-25 2008-03-06 Hitachi Kokusai Electric Inc 画像処理システム
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置
US20100134310A1 (en) * 2008-11-28 2010-06-03 Fujitsu Limited Authentication apparatus, authentication method, and computer readable storage medium
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
US20130016882A1 (en) * 2011-07-11 2013-01-17 Accenture Global Services Limited Liveness Detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108984A (ja) 2001-07-27 2003-04-11 Toshiba Corp 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法
JP2004324183A (ja) 2003-04-24 2004-11-18 Oki Electric Ind Co Ltd ゲート管理システムおよびそのプログラム
JP4615272B2 (ja) 2003-09-29 2011-01-19 富士フイルム株式会社 認証システム、プログラム、及び建築物
JP2006236244A (ja) 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
EP3113105B1 (en) * 2014-02-26 2023-08-09 Hitachi, Ltd. Face authentication system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008052549A (ja) * 2006-08-25 2008-03-06 Hitachi Kokusai Electric Inc 画像処理システム
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法
US20100134310A1 (en) * 2008-11-28 2010-06-03 Fujitsu Limited Authentication apparatus, authentication method, and computer readable storage medium
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
US20130016882A1 (en) * 2011-07-11 2013-01-17 Accenture Global Services Limited Liveness Detection

Also Published As

Publication number Publication date
EP3557525A1 (en) 2019-10-23
JP7050231B2 (ja) 2022-04-08
EP3557525B1 (en) 2021-04-07
JPWO2018110012A1 (ja) 2019-10-24
CN110073407B (zh) 2023-05-12
US11170086B2 (en) 2021-11-09
WO2018110012A1 (ja) 2018-06-21
US20190311104A1 (en) 2019-10-10
EP3557525A4 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
CN110073407A (zh) 面部图像处理方法和面部图像处理装置
US11687637B2 (en) Biometric ticketing
US11551223B2 (en) Biometric pre-identification
US20240160716A1 (en) Biometric ticketing
JPWO2020129675A1 (ja) 認証装置、認証方法およびプログラム
JP2021047672A (ja) 利用者通行許可システム、自動改札システム、自動改札装置、および利用者通行許可方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant