CN110892412A - 脸部辨识系统、脸部辨识方法及脸部辨识程序 - Google Patents

Abstract

一种快速判定脸部区域误检并且可以高精准度辨识脸部的脸部辨识技术。一种脸部辨识系统，从摄影影像201进行低精准度人物脸部检测的第一脸部检测机构2、对摄影影像201进行高精准度人物脸部检测的第二脸部检测机构3以及分别以第一脸部检测机构2及第二脸部检测机构3对摄影机影像进行脸部检测，当第二脸部检测机构3在第一脸部检测机构2所检测的脸部区域无法辨识脸部时，判定第一脸部检测机构2误检，将该脸部区域的重心坐标作为点屏蔽位置自主学习，其中第一脸部检测机构2从摄影影像201检测脸部时求该脸部区域的重心坐标，在储存的点屏蔽坐标群中有一致坐标时将其作为误检区域，并不对该摄影影像进行第二脸部检测机构3高精准度的脸部辨识。

Description

脸部辨识系统、脸部辨识方法及脸部辨识程序

技术领域

本发明用于在例如公司、饭店或公寓等的入口，只以数字摄影机所摄影的摄影影像，将检测人物的接近至辨识脸部为止予以高速且高精准度地处理的一种脸部辨识系统、脸部辨识方法及脸部辨识程序。

另外，一般来说“脸部辨识”及“脸部认证”为同一种计算机处理，指从监视摄影机所摄影的数字影像，借由计算机系统或安装在计算机系统的应用程序，而自动识别人物的处理技术的用语。不过在本发明之中“脸部辨识”及“脸部认证”具有不同的意思。对从监视器等数字摄影机取得的数字影像进行调查是否有人的脸部并检测脸部的区域的“脸部检测”。而分析检测的脸部区域的特征至确认为人物的脸部的则为“脸部辨识”处理。另一方面，“脸部认证”处理指将所检测且识别的脸部区域之特征数据与事先登录于数据库的众多的脸部影像的各自的特征数据对照，筛选出具有一致的特征数据的影像，并且将该脸部影像所附带的性质，也就是该脸部影像的人物是哪里的某个人或是○○部门的某个人至该人物性质为止予以进行特定的处理。

背景技术

近年来，借由在例如公司、饭店或公寓等的入口设置的监视摄影机所摄影的影像检测人物的接近，辨识该人物的脸部，并根据辨识结果打开自动门、借由影像屏幕或语音应对，或是进行其他特定的反应的自动接待系统或安全系统已经被广泛的活用。这是因为解析监视摄影机的摄影影像并特定出人物的脸部之后，做出某种反应的技术变得能够容易地利用。

采用如此的脸部辨识、脸部认证技术的情况，必须只借由监视摄影机的摄影影像精准地特定出目标人物，因此影像内一定要确实地反映出人物的脸部特征。于是，以往的脸部辨识系统，为了精准地进行脸部检测，会采用将监视摄影机的摄影条件固定在一定程度的限制条件，例如为了使一定范围内拍到脸部而要求来访人物端正站的位置或脸的朝向、为避免不确定的要素融入人物的背景而设置作为背景的屏风、为了排除太阳光或照明的影响等外在的不安定要因而设置专用接待台、在入口大厅内寻找适合的设置场所并在该处设置接待台及监视摄影机等等运用上的对策。

然而在如此运用的情况，会产生在公司或饭店等应为一张“脸部”而使接待台的设计受到限制，或是存在有屏风等而使接待系统被藏在里面，进到入口大厅的人难以看见，而使访客没注意到该处有接待台等弊病。

另一方面，如果在公司等设置无人的接待台，如图10、图11所示，多为将监视摄影机103设置为从接待柜台101侧朝向入口102的方向的例子。这个情况下，如图11所示的摄影影像201所见，监视摄影机103越过入口102的自动门104摄影室外105的景色，并且将从入口102的自动门104进出的人或在室外105往来的人或车等不断变化的情景予以摄影。

在这种状况下要自动检测从入口102的自动门104进来的人物时，有必要先判定是否为接近接待柜台101的人物。因此，计算机为了脸部检测而对监视摄影机103所摄影的摄影影像201执行图型辨识。在此图型辨识时，为了识别人物的脸部及背景而设定了阈值。不过根据背景的噪声(时间所致的背景的物体或光的变化)阈值的适当数值也会变化。若即便如此也要不遗漏地检测人物，则有必要将该阈值予以不得以地设定在考虑过各种状况的最低值。

不过，一旦将阈值设定为最低值，根据状况会发生“顾此失彼”般的误检测或误辨识。并且，因为像这样的噪声的影响，也会产生在认证是否为特定人物的脸部时，会将影像内的脸部区域有可能的图型全部对照而使完成认证的时间增加的问题点。

如上所述，就以往的技术而言，在脸部辨识处理中所执行的脸部检测，若为了提高精准度而提高脸部检测阈值，会使人物的脸部难以被检测而降低实时性，反过来，降低阈值虽然会提高实时性，却有将人物以外的影像区域作为脸部区域而做出反应的误检测的问题。

并且，为了脸部检测用于从摄影影像切出脸部区域的阈值，其适当数值会因影像内的背景的物体或是光的进入方式的变化而变化。因此，在各种状况下要不遗漏地检测人物的脸部，必须将阈值设定为低。但就结果而言，根据状况也有发生误检测的问题点。同时，决定适当的阈值时的调整会需要人力和时间。况且，若编写执行可以高精准度地进行人物检测的脸部辨识应用程序的脸部辨识系统，人物检测的实时性会降低而无法实时反应，也有对脸部辨识系统而言并不实用的问题点。

进一步，虽然为了不让背景不要的部分被拍进监视摄影机的摄影影像内，而有调整摄影机的位置或是先将摄影影像遮盖为矩形状的方法，但此举会有导致人物的检测范围变窄，且无法充分地减少误检测的问题。再加上这个情况，也有为了调整摄影机位置或切出脸部区域而在摄影影像设定遮盖范围的设定调整上消耗人力及时间的问题。

现有技术文献

专利文献

专利文献1日本特开2018-45309号公报

专利文献2日本特开2018-88154号公报

专利文献3日本特开2018-160799号公报

发明内容

发明所欲解决的问题

有鉴于上述现有技术的课题，本发明的目的在于提供一种脸部辨识系统，以及可借由计算机实现该脸部辨识系统功能的一种脸部辨识方法及脸部辨识程序，加入在例如公司、饭店或公寓等的入口的接待柜台所设置的自动接待系统，实时感知进到入口大厅的入口门的人物的接近，并可以精准地进行人物的脸部辨识。

本发明的目的还在于提供一种脸部辨识系统，以及可借由计算机实现该脸部辨识系统功能的一种脸部辨识方法及脸部辨识程序，可随着运用而借由自动学习功能提高人物的接近感知的正确度。

解决问题的技术手段

本发明的特征在于一种脸部辨识系统，包含：一监视摄影机，以一定的视角对设定的注视空间予以连续摄影；一第一脸部辨识处理部，从该监视摄影机所连续摄影的摄影机影像进行精准度较低的人物的脸部辨识；一第二脸部辨识处理部，对该摄影机影像进行精准度较高的脸部辨识；一点屏蔽学习处理部，分别借由该第一脸部辨识处理部及该第二脸部辨识处理部对该摄影机影像进行脸部辨识，当该第二脸部辨识处理部在该第一脸部辨识处理部所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；一点屏蔽对照处理部，该第一脸部辨识处理部从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理部所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识处理部的脸部辨识；以及一脸部辨识结果输出处理部，借由该第二脸部辨识处理部辨识出脸部时，将其脸部辨识结果予以输出。

在上述本发明的脸部辨识系统，更可包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理部及一自动接待处理部，该脸部认证处理部使用该脸部辨识结果输出处理部所输出的脸部辨识结果来特定人物，该自动接待处理部将对应该第一脸部辨识处理部所检测脸部的欢迎信息及根据该脸部认证处理部所特定的人物的性质的欢迎信息予以表示在该接待显示器。

并且在上述本发明的脸部辨识系统，该自动接待处理部可根据该脸部认证处理部所特定出的人物的性质，将安全门的开启信号予以输出。

并且在上述本发明的脸部辨识系统，该第二脸部辨识处理部可以为利用与因特网连接的外部的脸部辨识服务网站的计算机。

本发明的特征亦在于一种脸部辨识方法，借由计算机执行，该脸部辨识方法包含：一监视摄影机，以一定的视角对设定的注视空间予以连续摄影；一第一脸部辨识处理步骤，从该监视摄影机所连续摄影的摄影机影像进行精准度较低的人物的脸部辨识；一第二脸部辨识处理步骤，对该摄影机影像进行精准度较高的脸部辨识；一点屏蔽学习处理步骤，分别借由该第一脸部辨识处理步骤及该第二脸部辨识处理步骤对该摄影机影像进行脸部辨识，当该第二脸部辨识处理步骤在该第一脸部辨识处理步骤所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；一点屏蔽对照处理步骤，该第一脸部辨识处理步骤从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理步骤所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识处理步骤的脸部辨识；以及一脸部辨识结果输出处理步骤，借由该第二脸部辨识处理步骤辨识出脸部时，将其脸部辨识结果予以输出。

在上述本发明的脸部辨识方法，更可包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理步骤及一自动接待处理步骤，该脸部认证处理步骤使用该脸部辨识结果输出处理步骤所输出的脸部辨识结果来特定人物，该自动接待处理步骤将对应该第一脸部辨识处理步骤所检测脸部的欢迎信息及根据该脸部认证处理步骤所特定出的人物性的质的欢迎信息予以表示在该接待显示器。

并且在上述本发明的脸部辨识方法，其中该自动接待处理步骤可根据该脸部认证处理步骤所特定出的人物的性质，将安全门的开启信号予以输出。

并且在上述本发明的脸部辨识方法，其中该第二脸部辨识处理步骤可以为利用与因特网连接的外部的脸部辨识服务网站的计算机。

本发明的特征还在于一种脸部辨识程序，安装于一计算机系统而执行，该脸部辨识程序包含：一监视摄影机，以一定的视角对设定的注视空间予以连续摄影；一第一脸部辨识处理步骤，从该监视摄影机所连续摄影的摄影机影像进行精准度较低的人物的脸部辨识；一第二脸部辨识处理步骤，对该摄影机影像进行精准度较高的脸部辨识；一点屏蔽学习处理步骤，分别借由该第一脸部辨识处理步骤及该第二脸部辨识处理步骤对该摄影机影像进行脸部辨识，当该第二脸部辨识处理步骤在该第一脸部辨识处理步骤所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；一点屏蔽对照处理步骤，该第一脸部辨识处理步骤从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理步骤所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识处理步骤的脸部辨识；以及一脸部辨识结果输出处理步骤，借由该第二脸部辨识处理步骤辨识出脸部时，将其脸部辨识结果予以输出。

在上述本发明的脸部辨识程序，由该计算机系统执行，更可包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理步骤及一自动接待处理步骤，该脸部认证处理步骤使用该脸部辨识结果输出处理步骤所输出的脸部辨识结果来特定人物，该自动接待处理步骤将对应该第一脸部辨识处理步骤所检测脸部的欢迎信息及根据该脸部认证处理步骤所特定出的人物性的质的欢迎信息予以表示在该接待显示器。

并且在上述本发明的脸部辨识程序，其中该自动接待处理步骤可根据该脸部认证处理步骤所特定出的人物的性质，将安全门的开启信号予以输出。

并且在上述本发明的脸部辨识程序，其中该第二脸部辨识处理步骤可以为利用与因特网连接的外部的脸部辨识服务网站的计算机。

〔发明效果〕

借由本发明的系统、执行本发明的方法的计算机或安装本发明的程序的计算机，设置在例如公司、饭店或公寓等的入口的接待柜台时，可以高速且正确地检测进到入口大厅的入口门的人物的接近，并精准地进行人物的脸部辨识。

并且借由本发明的系统、执行本发明的方法的计算机或安装本发明的程序的计算机，可通过运用并借由自动学习功能在提高人物的接近检测的正确度的同时也达成反应速度的提升。

因此，装设了本发明的自动接待系统，可以架构出一自动接待系统，该自动接待系统不需要在摄影机之前设置作为背景的屏风、限定脸部检测用的区域或是指示来访人物移动到由摄影机来看最适合的位置，在最初的阶段就对拍摄入口大厅整体的摄影机影像是否为接近系统的人物，或是否为背景作分割，并可将存在于背景的误辨识要件在该系统的运用中自动学习，对于监视摄影机的摄影影像，当与该存在于背景的已学习的误辨识要件相同的要件再次当作人物而误辨识时，不移至脸部辨识，只在真正检测出人物时才会移至脸部辨识及脸部认证处理并进行自动接待处理，高速地进行人物接近的检测的同时流畅地进行从人物接近到该人物的脸部认证的流程并适当地执行自动接待。

附图说明

图1为本发明的第一实施例的自动接待系统的功能方块图。

图2为上述第一实施例的自动接待系统所执行的自动接待动作的流程图。

图3为上述第一实施例的自动接待系统所执行的脸部影像的登录处理的序列图。

图4为上述第一实施例的自动接待系统所执行的自动接待处理的序列图。

图5为上述第一实施例的自动接待系统的接待显示器的表示例的说明图。

图6为表示上述第一实施例的自动接待系统的点屏蔽的自动学习及脸部辨识处理的动作的说明图。

图7为表示上述第一实施例的自动接待系统的中监视摄影机所摄影的入口大厅的摄影影像与经自动学习的点屏蔽的位置重迭的影像(1)。

图8为表示上述第一实施例的自动接待系统的中监视摄影机所摄影的入口大厅的摄影影像与经自动学习的点屏蔽的位置重迭的影像(2)。

图9为本发明的第二实施例的自动接待系统的功能方块图。

图10为现有例的自动接待系统的自动接待台的说明图。

图11为一般的入口大厅的监视摄影机的拍摄影像。

具体实施方式：

本发明的前提为：使用具有使阈值可变动而让脸部辨识精准度也就是类似度可变动的计算方法的脸部辨识计算机系统的计算结果，或是同时利用具有多个不同的脸部辨识精准度的脸部辨识计算机系统。并且为了实现上述事项也允许利用LAN或因特网等网络通信技术。

以下根据图式而详细地说明本发明的实施方式。

第一实施例

第一实施例为一自动接待系统，以及在该自动接待系统使用的脸部辨识方法及在该自动接待系统执行的脸部辨识程序，其中设定有第一、第二两种阈值，最初以较低的第一阈值从摄影影像中检测脸部区域，虽然脸部辨识的精准度低但辨识处理速度快，也就是以有实时性的脸部检测应用程序进行人物的脸部检测，当脸部检测成功时，以较高的第二阈值进行脸部辨识处理，执行精准度较高、可进行更严密的脸部辨识的脸部辨识应用程序，并基于其脸部辨识的结果进行自动接待。

如图1所示，本实施例的自动接待系统，同时使用局域网络LAN及外部的因特网NW1，由设置于接待台的接待显示器1、借由LAN与此接待显示器1连接的本地计算机2及通过因特网NW1与本地计算机2连接的脸部认证处理网站计算机3所构成。

接待显示器1与具有为了摄影访客而可以对入口大厅的主要从入口门到接待台之间的景色予以摄影的视角的监视摄影机11、接收访客说话的麦克风12或进行必要的语音广播的音响(未图标，非必要)连接。

本地计算机2可为笔记本型、台式型个人计算机或企业所需的高性能计算机中任一种，并具备了用来通过LAN或因特网NW1与外部的计算机进行数据交流的数据交流功能，以及具有相当容量的储存装置20。然后，装设有用来实施本实施例的自动接待处理的自动接待业务用程序。此自动接待业务用程序包含了在该本地计算机2所必要的以较低精准度的第一阈值执行脸部辨识的脸部检测程序。

此本地计算机2具备了接待业务执行部21、人物检测处理部22、点屏蔽对照部23、点屏蔽登录部24、对外部的脸部影像发送部25及来自外部的脸部认证结果接收部26，以作为内部处理功能。

本地计算机2的中的接待业务执行部21，在接待显示器表示欢迎来客信息及接待应对信息等以执行来客应对业务。作为通过LAN发送并表示于此接待显示器1的信息，虽无特别限定，在来客的脸部认证前，或是根据脸部认证结果表示如图5所示的信息。再者，也会进行从麦克风12的语音信号的接收，以及对音响(未图标)的发声信号的发送(详细后述)。

人物检测处理部22借由以较低的第一阈值进行较低精准度但反应速度较快的脸部辨识处理的脸部检测应用程序AP1，对从监视摄影机11以一定周期(帧速)通过LAN所连续传送的每个摄影影像，进行该影像中是否有拍摄到人物脸部的脸部检测处理，并在脸部检测时输出脸部检测信号。此脸部检测处理，借由设定为较低的第一阈值，也就是设定为能够判定出大略是人的脸部的程度的辨识精准度，因而不对CPU造成重担并较为高速地进行脸部检测处理。

点屏蔽对照部23从人物检测处理部22接收到脸部检测信息时计算该脸部区域的重心坐标，并对照登录于储存装置20的点屏蔽数据聚合。然后，没有一致的重心坐标被登录时，从脸部影像发送部25通过因特网NW1对外部的脸部认证处理网站计算机3送出该脸部区域的影像数据。

对外部的脸部影像发送部25，通过因特网NW1对外部的脸部认证处理网站计算机3发送未成功在点屏蔽对照部23进行点屏蔽对照处理的脸部影像。对外部的脸部认证结果接收部26，通过因特网NW1接收从脸部认证处理网站计算机3发送的脸部辨识及脸部认证结果，进行交付至接待业务执行部21及点屏蔽登录部24的处理。

点屏蔽登录部24从外部的脸部认证处理网站计算机3接收脸部辨识不成立的辨识结果时，将该脸部影像的重心坐标作为新的点屏蔽数据输入于储存装置20。

外部的脸部认证处理网站计算机3，为了提供高精准度的脸部辨识及脸部认证服务而设置于指定的网站的高性能计算机，并具备大容量的储存装置30。此脸部认证处理网站计算机3安装有可执行高精准度的脸部辨识及脸部认证应用程序AP2，并且实施脸部辨识及认证处理，对通过因特网NW1由本地计算机2传来的脸部影像实施高精准度脸部辨识处理，与登录于储存装置30的众多的脸部特征数据对照，特定出具备该脸部特征数据的人物，并将该脸部认证结果同样通过因特网NW1送出至原委托的本地计算机2。

在本实施例中，本地计算机2安装有脸部检测应用程序AP1，外部的脸部认证处理网站计算机3安装有脸部认证应用程序AP2。并且本地计算机2的脸部检测应用程序AP1为较简易的程序，因此脸部检测精准度虽然比较低，但脸部检测处理速度较为高速。

另一方面，外部的脸部认证处理网站计算机3的脸部认证应用程序AP2是比本地计算机2的脸部检测应用程序AP1脸部辨识及脸部认证精准度更高的程序。因此，通过因特网NW1将摄影影像送往外部的脸部认证处理网站计算机3，并在该处只借由脸部认证应用程序AP2进行脸部辨识及脸部认证处理，且若在等待该脸部辨识及脸部认证结果借由本地计算机2实施自动接待应对，则对访客而言，在接待显示器1之中的表示状态的推移速度(反应速度)，就该访客而言，比起通常的接待员的应对，可能会产生感觉较慢的时间延迟。或者，若要在现场的本地计算机安装并执行该高精准度的脸部辨识及脸部认证应用程序AP2，该本地计算机2便需要高速处理性能，就结果而言会使得本地计算机2的系统成为价格高昂的高负担的应用程序。

接下来，针对根据上述系统构成的自动接待系统的自动接待动作，参照图2的流程图、图3、图4的序列图及图5～图8的动作说明图进行说明。此动作说明亦为根据本发明的实施例的计算机的脸部辨识方法及执行在计算机的脸部辨识程序的说明。

如图3的序列图所示，本地计算机2在本系统的营运开始前，或是营运中将预想会来访的人物的影像予以多数读取，并发送至脸部认证处理网站计算机3(序列SQ1)。脸部认证处理网站计算机3进行从本地计算机2发送过来的脸部影像的特征分析，将特征数据连同该脸部影像的人物的性质数据输入于储存装置30的脸部影像数据库，累积脸部影像特征数据(序列SQ3、SQ5)。另外，因脸部认证处理网站计算机3会从多位顾客分别收到同样的脸部影像数据，故将各顾客区别并登录于脸部影像数据库。作为事前处理，登录一定程度的数量的脸部影像数据后，开始本自动接待系统的营运。

本自动接待系统在营运开始后连同点屏蔽的自动学习一起执行自动接待业务。如图2的流程图及图4的序列图所示，本地计算机2使待机画面表示在接待显示器1的画面(序列SQ11)，监视摄影机11以设定周期(帧速)对入口大厅的影像予以摄影，并对本地计算机2连续发送摄影影像(步骤ST11、序列SQ13)。此摄影影像与现有例的说明中使用的图11的摄影影像201相同，在视角固定、焦距固定的摄影条件下以一定周期发送。

在辨识访客是否为特定的人物以前，希望实时检测来自监视摄影机11的摄影影像201中是否有拍摄到人物。于是，在本地计算机2对来自监视摄影机11入口大厅102的摄影影像201，执行脸部检测应用程序AP1而根据较低的第一阈值实施脸部检测(步骤ST11～ST15、序列SQ15～SQ19)。像这样将脸部检测的阈值设定为低，可以高速地检测影像中是否有与人物的“脸部”相似之物。

若未检测出脸部则对下个周期的摄影影像反复进行相同的脸部检测处理(分别于步骤ST15、序列SQ19向NO分支)。另一方面，若在步骤ST15、序列SQ19检测出脸部则向YES分支，移至点屏蔽对照处理的步骤ST17、序列SQ23。

此点屏蔽对照步骤ST17，计算经检测出的脸部区域的重心坐标，对照该脸部区域的重心坐标与登录于本地计算机2的储存装置20的点屏蔽坐标群的坐标是否一致。然后，若找出坐标一致的点屏蔽，则点屏蔽坐标的对照成立，将并非脸部的影像区域作为脸部区域误检测，并视为非人物来访，为了对下一个摄影影像201进行脸部检测处理而返回(步骤ST19、序列SQ23向YES分支)。另一方面，点屏蔽坐标的对照不成立的情况，则在接待显示器1的画面上表示“欢迎光临。”的欢迎信息(序列SQ21)。

借此，在摄影到含有被误辨识为脸部区域的区域影像的情况，不会通过因特网NW1将脸部影像发送至外部的脸部认证处理网站计算机3认证并等待其认证结果，而在本地计算机2一侧可近乎没有延迟且高速地判断为误检测，并准备下一个处理。

然后，对在本地计算机2一侧所正确地检测出脸部的摄影影像，通过因特网NW1将其脸部区域的影像发送至外部的脸部认证处理网站计算机3，借由脸部认证应用程序AP2而将利用第二阈值的高精准度的脸部辨识及脸部认证处理予以执行(步骤ST21～ST33、序列SQ27～SQ45)。亦即，在脸部认证处理网站计算机3，对从本地计算机2接收的脸部区域的影像，将进行高精准度的脸部辨识及脸部认证的脸部认证应用程序AP2予以执行，而从脸部区域的影像检测眼、眉、口、鼻等特征区域，并参照登录于储存装置30的该本地计算机2的客户用的多数的脸部影像的特征数据，将特征数据一致的脸部影像予以抽出(步骤ST21、序列SQ27、SQ29)。

脸部认证处理网站计算机3的步骤ST21及序列SQ29的脸部辨识处理，若从本地计算机2接收的脸部影像被判断为非人物的脸部，则从脸部认证处理网站计算机3将无法进行脸部辨识的辨识结果发送至本地计算机2(步骤ST23、序列SQ31向NO分支)。

若本地计算机2从脸部认证处理网站计算机3接收到脸部辨识不成功的信号，则判断在步骤ST13、序列SQ17利用脸部检测应用程序AP1进行的根据第一阈值的脸部检测为误检测，并计算该摄影影像中脸部影像的重心坐标，将此视为在该本地计算机2的脸部检测应用程序AP1中误检测的点，然后对该坐标为重心的脸部区域以不进行脸部辨识及脸部认证的方式予以作为遮盖的点屏蔽坐标，并将此追加登录在储存装置20的点屏蔽的坐标群(步骤ST25、序列SQ33)。然后，本地计算机2使接待显示器1的显示恢复待机画面并使其待机(序列SQ35)。

在脸部认证处理网站计算机3，若在步骤ST21及序列SQ29借由脸部认证应用程序AP2成功辨识脸部，则从该脸部影像的特征进行是否为已登录的人物脸部的脸部认证(步骤ST27、序列SQ37)。在此脸部认证中，若无法抽出已登录的常客、公司的职员等性质，则作为未知的访客执行事前设定的接待应对(步骤ST29、ST31、序列SQ39、SQ41)。另一方面，在此脸部认证中，若可特定出已登录的已知人物，则根据其性质执行事前设定的接待应对(步骤ST29、ST33、序列SQ43、SQ45)。

如此，如图5的序列SQ41所示，若在步骤ST27、ST29及序列SQ37没有成功认证脸部，则由脸部认证处理网站计算机3对本地计算机2通知该认证不成立，本地计算机2将“已连络接待专员，请拨打○○号码。”的信息表示于接待显示器1，或是使音响播放同样的信息，即使是非特定人物也进行不失礼节的接待应对。

另一方面，若在步骤ST27、ST29及序列SQ37成功认证脸部，则从脸部认证处理网站计算机3将经认证的特定人物的姓名、ID等事先登录的性质信息发送至本地计算机2，本地计算机2基于从脸部认证处理网站计算机3接收的性质信息，读取登录于自机的储存装置20的该人物的性质数据，特定出是常客的○○或公司的○○部的某某职员，根据这些登录的性质信息的内容，实施事先设定的接待应对。例如，如图5所示，将“○○先生/小姐，恭候多时。请拨打○○号码。”的信息予以表示在接待显示器1的画面(序列SQ45-1)上，或是将“○○先生/小姐，欢迎光临。请搭乘电梯到○○楼。等候您的到来。」的信息表示的同时使安全门自动地打开(序列SQ45-2)，若为公司职员则将“○○先生/小姐，辛苦了。”的信息表示的同时使安全门自动地打开(序列SQ45-3)。

根据本实施例，借由上述点屏蔽的自动学习处理及自动接待处理，借由监视摄影机11以一定视角及焦距且以一定周期对入口大厅102摄影，同时在利用本地计算机2的较低的第一阈值进行处理速度快但精准度低的脸部检测处理中对于发生误检测的摄影状况或摄影区域将其误检测的脸部区域的重心坐标作为点屏蔽而自主学习，下次于不同时间摄影的摄影影像中对相同区域检测脸部时，在本地计算机2一侧就实时判为误检测，可节省发送该脸部区域的数据至脸部认证处理网站计算机3而实施严密的脸部辨识及脸部认证的时间。同时，借由将该误检测的脸部区域的重心坐标作为点屏蔽数据而自动学习，发送至脸部认证处理网站计算机3进行严密的脸部辨识及脸部认证处理的次数也可降低，并可使接待应对处理的反应速度随着营运时间的积累而提升。

举例说明，借由监视摄影机11周期性地捕捉如图11所示的入口大厅102的摄影影像201。如图6所示，将与监视摄影机11所摄影的摄影影像201内的分辨率相当的“没有检测出脸部”的坐标列表予以作为点屏蔽MK1而生成。此点屏蔽MK1的坐标列表于初期阶段为空白，或是根据监视摄影机11的设置地点而事先记述某种程度上容易得知的坐标。目前，在图11的入口大厅102的摄影影像201，例如室外105的车的轮胎被摄影的地点或自动门104的标记的附近会被既存的脸部检测器作为“人的眼睛”的位置的形式被误认，但是在本实施例中可以防止这样的误检测。虽然对于现有技术的背景屏蔽而言，能够先将某种一定的矩形范围从辨识范围内排除，但如此一来，会明显地限制用监视摄影机11摄影的范围。

于是，在本实施例中，如图6所示，使用被辨识为脸部图型的摄影影像201内的脸部矩形图型的重心坐标，如图7所示将其重心坐标的位置记录为“点屏蔽”MK1。然后即使在该点屏蔽MK1的位置检测出脸部图型，也当作实际上并非是脸部而不移至脸部认证处理，以减少误辨识率。另外，如新检测出脸部的区域IM1在高精准度的脸部辨识中被判断为误检测的情况，则将该脸部区域IM1的重心坐标作为点屏蔽MK2并且之后不再辨识的方式自主学习。借由此自主学习，如图8所示，对于引起误检测的矩形图型的点屏蔽MK1，随着时间的流逝而增加。借此，通过长时间运用而自动地记录误检测位置，如图6所示，变得可以只对误检测的可能性为低的脸部检测区域IM2进行精准度较高的脸部辨识及脸部认证处理，使得脸部辨识及脸部认证的精准度提升。

再者，与用来排除一般的噪声要因的“矩形屏蔽”不同，即使随着学习使屏蔽区域的数量变多，由于如图7、图8所示只以摄影影像的误检测区域的重心坐标作为点状的屏蔽，所以不会缩小检测范围，在背景映入各种样子的不良条件下也能设置监视摄影机11进行高精准度的脸部认证。

借此，像入口大厅102这样的环境，虽难以特定人物是从左右、影像深处等哪个方向且如何接近接待柜台101，但可以解决想要避免限定动线的课题。再者，如果一开始就增加脸部辨识的阈值而提高检测精准度，一般而言，精准度越高则辨识处理的负荷也会越大，导致辨识速度降低而反应性降低，但在本实施例中，在检测人物的脸部时可以低精准度且高速地进行处理，因此反应性相关的课题也得以解决。而且，由于随着运用时间的增加借由自动学习使得点屏蔽的数量自然而然地增加，而能够只就该数量反应性良好地排除误检测区域，能够筛选出真正的脸部检测区域进行高精准度的脸部辨识及脸部认证，因而达成将实时反应性及精准度一同提升。

根据以上，借由使用本实施例的自动接待系统及使用于该系统的脸部辨识方法及脸部辨识程序，可以对特定的人物恰当地进行开启安全门、亲切的指引等动作予以更高速且高精准度地进行，并且有随着运用时间的增加处理速度也跟着提升的优点。

再者，借由这样的自动接待应对，实际的人物通过自动门进入到入口大厅102并接近接待柜台101时，先以“欢迎光临。”的欢迎信息表示在接待显示器1的画面，接着表示“○○先生/小姐，恭候多时。请拨打○○号码。”，借此也有能够自动地进行不让访客有不自然的印象的流程自然的的接待应对的优点。

并且，本实施例的脸部认证处理网站计算机3的脸部认证应用程序AP2使用Amazon.com公司所提供的Amazon Web Service(AWS)内的脸部认证服务。其URL为“https://aws.amazon.com/jp/rekognition/the-facts-on-facial-recognition-with-artificial-intelligence/”。不过，作为外部的脸部认证处理网站计算机及脸部认证处理程序，也可以采用提供同样的脸部辨识服务的别家公司的软件，例如IBM公司或是Google公司。

再者，安装在本地计算机2而利用的脸部检测应用程序AP1，为使用通用跨平台软件链接库Dlib的机器学习及影像辨识链接库的脸部认证程序。

第二实施例

以图9来说明本发明的第二实施例的自动接待系统。如图1所示的第一实施例的情况，将脸部检测区域的影像发送至提供高精准度的脸部辨识及脸部认证服务的外部的脸部认证处理网站计算机3。

本实施例的自动接待系统，在本地计算机2A可同时执行低精准度但辨识速度快的根据第一阈值的脸部检测应用程序AP1及脸部辨识精准度较高的根据第二阈值进行脸部辨识及脸部认证的脸部认证应用程序AP2。在此，本实施例的自动接待系统，本地计算机2A与第一实施例同样具备有执行自动接待业务的接待业务执行部21、根据第一阈值执行人物检测的人物检测处理部22、点屏蔽对照部23及点屏蔽登录部24。并且作为本实施例的特征，在本地计算机2A内具备有根据第二阈值执行脸部辨识处理的根据第二阈值的脸部辨识处理部27以及基于根据该第二阈值的脸部辨识处理部27的脸部辨识结果而执行脸部认证的脸部认证处理部28。

本实施例的自动接待系统的自动接待处理动作与第一实施例相同，执行图2的流程图的处理。但是，与第一实施例不同的点在于，由于在本地计算机2内执行根据第一阈值的脸部检测、根据第二阈值的较高精准度的脸部辨识及脸部认证的缘故，图3的序列中的序列SQ3、SQ5的脸部影像的登录处理及图4的序列中的序列SQ29、SQ31、SQ37的处理变为在本地计算机2A中执行。

借由此第二实施例的自动接待系统，也可与第一实施例发挥同样的作用及效果。也就是说，不需要在摄影机之前设置作为背景的屏风、限定脸部检测用的区域或是指示来访人物移动到由摄影机来看最适合的位置，在最初的阶段就对拍摄入口大厅整体的摄影机影像是否为接近系统的“人物”，或是否为背景分割，并可将存在于背景的误辨识要件在该系统的运用中自动学习，对监视摄影机的摄影影像，如果将与该存在于背景的已学习的误辨识要件相同的要件再次当作人物而误辨识时，不移至脸部辨识，只在真正检测出人物的情况下才移至脸部辨识及脸部认证处理并进行自动接待处理，高速地进行人物接近的检测的同时流畅地进行从人物接近到该人物的脸部认证的流程。

此实施例的情况，脸部检测应用程序AP1、脸部认证应用程序AP2，可采用通用跨平台软件链接库Dlib的机器学习及影像辨识链接库中，处理时间短但精准度较低的链接库(低阈值)及处理时间长但精准度较高的链接库(高阈值)。

其他实施例

在第一实施例及第二实施例中说明了自动接待系统。但是，本发明的脸部辨识方法、脸部辨识程序及具备其处理功能的脸部辨识系统并非限定为自动接待技术。也可作为在需要脸部辨识及脸部认证的公寓玄关的出入管理系统等需要识别如公寓住户等特定人物、访客、可疑人士并控制安全门的开关的设施的出入管理的系统而广泛地应用。

产业利用性

可作为事务所或公寓的入口大厅的自动接待系统、出入管理系统而广泛地利用。

【符号说明】

1 接待显示器

2 2A 本地计算机

3 脸部认证处理网站计算机

11 监视摄影机

20 储存装置

21 接待业务执行部

22 人物检测处理部

23 点屏蔽对照部

24 点屏蔽登录部

25 对外部的脸部影像发送部

26 来自外部的脸部认证结果接收部

27 根据第二阈值的脸部辨识处理部

28 脸部认证处理部

30 储存装置

LAN 局域网络

NW1 因特网

Claims (12)

1.一种脸部辨识系统，包含：

一监视摄影机，以一定的视角对设定的注视空间予以连续摄影；

一第一脸部辨识处理部，从该监视摄影机所连续摄影的摄影机影像进行精准度较低的人物的脸部辨识；

一第二脸部辨识处理部，对该摄影机影像进行精准度较高的脸部辨识；

一点屏蔽学习处理部，分别借由该第一脸部辨识处理部及该第二脸部辨识处理部对该摄影机影像进行脸部辨识，当该第二脸部辨识处理部在该第一脸部辨识处理部所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；

一点屏蔽对照处理部，该第一脸部辨识处理部从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理部所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识处理部的脸部辨识；以及

一脸部辨识结果输出处理部，借由该第二脸部辨识处理部辨识出脸部时，将其脸部辨识结果予以输出。

2.如权利要求1所述的脸部辨识系统，更包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理部及一自动接待处理部，该脸部认证处理部使用该脸部辨识结果输出处理部所输出的脸部辨识结果来特定人物，该自动接待处理部将对应该第一脸部辨识处理部所检测脸部的欢迎信息及根据该脸部认证处理部所特定的人物的性质的欢迎信息予以表示在该接待显示器。

3.如权利要求2所述的脸部辨识系统，其中该自动接待处理部根据该脸部认证处理部所特定出的人物的性质，将安全门的开启信号予以输出。

4.如权利要求1至3中所述任一项的脸部辨识系统，其中该第二脸部辨识处理部为利用与因特网连接的外部的脸部辨识服务网站的计算机。

5.一种脸部辨识方法，借由计算机执行，该脸部辨识方法包含：

一第一脸部辨识步骤，将以一定的视角对设定的注视空间连续摄影的监视摄影机所连续摄影的摄影机影像予以接收，并对该摄影机影像进行精准度较低的人物的脸部辨识；

一第二脸部辨识步骤，对该摄影机影像进行精准度较高的脸部辨识；

一点屏蔽学习处理步骤，分别借由该第一脸部辨识处理步骤及该第二脸部辨识处理步骤对该摄影机影像进行脸部辨识，当该第二脸部辨识处理步骤在该第一脸部辨识处理步骤所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；

一点屏蔽对照处理步骤，该第一脸部辨识处理步骤从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理步骤所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识步骤的脸部辨识；以及

一脸部辨识结果输出处理步骤，借由该第二脸部辨识处理步骤辨识出脸部时，将其脸部辨识结果予以输出。

6.如权利要求5所述的脸部辨识方法，更包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理步骤及一自动接待处理步骤，该脸部认证处理步骤使用该脸部辨识结果输出处理步骤所输出的脸部辨识结果来特定人物，该自动接待处理步骤将对应该第一脸部辨识处理步骤所检测脸部的欢迎信息及根据该脸部认证处理步骤所特定出的人物性的质的欢迎信息予以表示在该接待显示器。

7.如权利要求6所述的脸部辨识方法，其中该自动接待处理步骤根据该脸部认证处理步骤所特定出的人物的性质，将安全门的开启信号予以输出。

8.如权利要求5至7中任一项所述的脸部辨识方法，其中该第二脸部辨识处理步骤为利用与因特网连接的外部的脸部辨识服务网站的计算机。

9.一种脸部辨识程序，安装于一计算机系统而执行，该脸部辨识计算机程序包含：

一第一脸部辨识步骤，将以一定的视角对设定的注视空间连续摄影的监视摄影机所连续摄影的摄影机影像予以接收，并对该摄影机影像进行精准度较低的人物的脸部辨识；

一第二脸部辨识步骤，对该摄影机影像进行精准度较高的脸部辨识；

一点屏蔽学习处理步骤，分别借由该第一脸部辨识处理步骤及该第二脸部辨识处理步骤对该摄影机影像进行脸部辨识，当该第二脸部辨识处理步骤在该第一脸部辨识处理步骤所检测的一脸部区域无法辨识脸部时，将该脸部区域的重心坐标作为点屏蔽位置而自主学习并且储存；

一点屏蔽对照处理步骤，该第一脸部辨识处理步骤从该摄影机影像检测脸部时，求出该脸部区域的重心坐标，在该点屏蔽学习处理部所储存的点屏蔽的坐标群中找到一致的坐标时，将该脸部区域作为误检区域，并且不对该摄影机影像进行该第二脸部辨识步骤的脸部辨识；以及

一脸部辨识结果输出处理步骤，借由该第二脸部辨识处理步骤辨识出脸部时，将其脸部辨识结果予以输出。

10.如权利要求9所述的脸部辨识程序，由该计算机系统执行，更包含在接待台设置该监视摄影机的同时设置接待显示器而与该脸部辨识系统连接的一脸部认证处理步骤及一自动接待处理步骤，该脸部认证处理步骤使用该脸部辨识结果输出处理步骤所输出的脸部辨识结果来特定人物，该自动接待处理步骤将对应该第一脸部辨识处理步骤所检测脸部的欢迎信息及根据该脸部认证处理步骤所特定出的人物的性质的欢迎信息予以表示在该接待显示器。

11.如权利要求10所述的脸部辨识程序，其中该自动接待处理步骤根据该脸部认证处理步骤所特定出的人物的性质，将安全门的开启信号予以输出。

12.如权利要求9至11中任一项所述的脸部辨识程序，其中该第二脸部辨识处理步骤为利用与因特网连接的外部的脸部辨识服务网站的计算机。

Images