CN110929555B - 脸部识别方法与使用此方法的电子装置 - Google Patents

Abstract

本发明提出一种脸部识别方法与使用此方法的电子装置。所述方法用以识别视频串流中的脸部，方法包括：对视频串流中的一帧影像取得脸部信息；判断预注册信息与脸部信息的第一相似度是否高于第一相似度阈值；若第一相似度高于第一相似度阈值，则判定识别成功，将脸部信息更新至实时注册信息；若第一相似度低于第一相似度阈值，则判定识别失败，再判断实时注册信息对该脸部信息的一第二相似度是否高于一第二相似度阈值，其中实时注册信息是基于视频串流中该帧影像之前的另一帧影像对应的脸部信息所产生，其中第二相似度阈值高于第一相似度阈值。

Description

脸部识别方法与使用此方法的电子装置

技术领域

本发明涉及一种自动识别系统，且特别涉及一种视频串流的脸部识别方法与使用此方法的电子装置。

背景技术

在诸如机器人等的自动化系统蓬勃发展的今天，从视频串流中识别出特定物件的技术需求大幅上升，特别是人脸识别方面在近年来更是投入了大量人力来进行研究而进步飞快。以户外标记人脸数据库(Labeled Face in the Wild，LFW)所进行的测试来说，对于图像的识别准确率已经可以达到99.8％。然而，若是在视频串流中要达到这样的准确率相当的困难。举例来说，若要使视频串流中的100张连续图像都正确，准确率将只剩下81％(即，0.998¹⁰⁰＝0.818)。

另一方面，在进行人脸识别时时常是给定一张人脸图像，并且在数据库的注册图像中寻找是否包括同一人的图像。然而，人脸可能会随时间的流逝或造型的变化而发生改变，因此数据库中的注册图像可能渐渐过时，而导致识别的准确率下降。

发明内容

有鉴于此，本发明提供一种脸部识别方法与使用此方法的电子装置，能够利用视频串流本身的内容来作为识别依据，提升脸部识别的准确率。

本发明的脸部识别方法用以识别视频串流中的脸部。本发明的电子装置包括存储器装置以及处理器。存储器装置存储预注册信息及实时注册信息。处理器耦接于存储器装置，处理器取得一视频串流，并执行以下脸部识别方法的步骤包括：对视频串流中的至少一帧影像分别取得脸部信息；判断预注册信息与脸部信息的第一相似度是否高于第一相似度阈值；若第一相似度高于第一相似度阈值，则判定识别成功，将脸部信息更新至实时注册信息；若第一相似度低于第一相似度阈值，则判定识别失败，再判断实时注册信息对该脸部信息的一第二相似度是否高于一第二相似度阈值，其中实时注册信息是基于视频串流中该帧影像之前的另一帧影像对应的脸部信息所产生，其中第二相似度阈值高于第一相似度阈值。

在本发明的一实施例中，上述的脸部信息包括多个脸部特征，预注册信息包括多个预注册特征，而判断预注册信息与脸部信息的第一相似度是否高于第一相似度阈值的步骤还包括：比较脸部特征与对应的预注册特征以计算第一相似度，并且比较第一相似度阈值以及第一相似度，若第一相似度高于第一相似度阈值时，则判定识别成功，以及若第一相似度低于第一相似度阈值时，则判定识别失败。

在本发明的一实施例中，其中实时注册信息包括多个实时注册特征，而判断实时注册信息对脸部信息的第二相似度是否高于第二相似度阈值的步骤还包括：比较脸部特征与对应的实时注册特征以计算第二相似度，并且判断第二相似度阈值以及第二相似度；以及若第二相似度高于第二相似度阈值时，则判定识别成功，以及若第二相似度低于第二相似度阈值时，则判定识别失败。

在本发明的一实施例中，其中于视频串流中以间隔多个帧数的方式取出多个帧影像，而判断预注册信息与脸部信息的第一相似度是否高于第一相似度阈值的步骤还包括；基于该些帧影像的多个识别结果产生最终识别结果。

在本发明的一实施例中，上述的预注册信息存储于非易失性存储器中，且实时注册信息存储于易失性存储器中。

基于上述，本发明实施例所提出的脸部识别方法与电子装置，利用同一视频串流中被识别成功的脸部信息来作为后续识别的依据，能够提升视频串流的脸部识别成功率。另一方面，本发明实施例更利用多张影像的识别结果来决定最终识别结果，能够在采用更高的阈值来提升识别的正确性。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。

附图说明

图1示出本发明一实施例中电子装置的概要方框图。

图2示出本发明一实施例中脸部识别方法的流程图。

图3示出本发明一实施例中脸部识别方法的流程图。

附图标记说明：

100：电子装置

110：存储器装置

120：处理器

S201～S207、S301～S316：脸部识别方法的步骤

具体实施方式

图1示出本发明一实施例中电子装置的概要方框图。

请参照图1，电子装置100包括存储器装置110以及处理器120，且存储器装置110耦接于处理器120。在一些实施例中，电子装置100例如是个人电脑(personal computer，PC)、平板电脑(tablet PC)、智能手机(smart phone)或机器人(robot)等，但本发明并不限于此。

存储器装置110包括易失性存储器(volatile memory)以及非易失性存储器(non-volatile memory，NVM)。非易失性存储器用以存储被识别者的脸部的预注册信息，其中预注册信息是在电子装置100执行脸部识别方法前就预存在非易失性存储器内。易失性存储器用以存储执行脸部识别方法的过程中针对目前被识别者所产生的实时注册信息。

处理器120用以控制电子装置100的整体运行，包括取得一视频串流并执行脸部识别方法以识别视频串流中的一脸部。在一些实施例中，处理器120例如是双核心、四核心或八核心等各类型的中央处理器(central processing unit,CPU)、系统芯片(system-on-chip,SOC)、应用处理器(application processor)、媒体处理器(media processor)、微处理器(microprocessor)、数字信号处理器(digital signal processor)或其他具有足够运算能力的装置，本发明不在此限制。

在一些实施例中，电子装置100中内建有摄像机等影像获取装置(图未示出)，处理器120可从电子装置100内建的影像获取装置来取得视频串流以对其进行脸部识别。在一些实施例中，电子装置100通过有线或无线的方式连接到外部的影像获取装置，而处理器120取得外部的影像获取装置所拍摄的视频串流以对其进行脸部识别。在一些实施例中，视频串流是存储在存储器装置110中，处理器120能够直接从存储器装置110取得视频串流。换言之，本发明并不在此限制处理器120取得视频串流的具体方式。

图2示出本发明一实施例的脸部识别方法的流程图。图2实施例中的脸部识别方法可由图1实施例中的电子装置100来执行，以下将搭配图1实施例中的电子装置100来进行说明。必须一提的是，本发明并不在此限制执行脸部识别方法时所使用的电子装置类型。

在一些实施例中，在开始执行脸部识别方法时，非易失性存储器中存储有预注册信息，而易失性存储器中没有任何实时注册信息。

请参照图2，在步骤S201中，处理器120会取得视频串流中的一帧影像，并且在步骤S202中，处理器120会对所取得的影像进行脸部识别并取得脸部信息。在一些实施例中，处理器120会利用预先训练好的类神经网络模型来对影像进行脸部识别，以找出影像中的脸部信息。在一些实施例中，处理器120可例如对影像进行脸部检测(face detection)，并进行对齐(alignment)等前置处理，然后再将前置处理后的影像输入类神经网络模型中来进行脸部识别。然而，本发明并不限于上述流程。

随后，在步骤S203中，处理器120基于预注册信息对脸部信息以第一相似度阈值进行识别，并且在步骤S204中判断是否识别成功。举例来说，处理器120判断预注册信息与脸部信息的一第一相似度高于第一相似度阈值，则判定识别成功，表示处理器120从预注册信息中识别出出现于影像的脸部。反之，若判断预注册信息与脸部信息的第一相似度低于第一相似度阈值，则判定识别失败，表示处理器120没有从预注册信息中识别出出现于影像的脸部。

当处理器120判定识别成功时，流程进入步骤S205，处理器120会将此识别成功的影像的脸部信息更新至实时注册信息，使得实时注册信息包括上述的脸部信息，然后回到步骤S201继续取得视频串流中后续进行脸部识别的影像。

当处理器120判定识别失败时，流程进入步骤S206，处理器120会判断易失性存储器中是否存在实时注册信息。若是，表示处理器120曾经对此视频串流中先前取出的其他帧影像识别成功，因此实时注册信息已具有之前取出的另一帧影像对应的脸部信息(例如，根据步骤S205的操作)，则进入步骤S207。反之，若处理器120判断易失性存储器中不存在实时注册信息，则回到步骤S201继续取得视频串流中后续的影像。

在步骤S207中，处理器120会基于实时注册信息对脸部信息以第二相似度阈值进行识别，其中第二相似度阈值高于第一相似度阈值。举例来说，处理器120判断实时注册信息与脸部信息之间的第二相似度高于第二相似度阈值，则判定识别成功。反之，若判断实时注册信息与脸部信息之间的第二相似度低于第二相似度阈值，则判定识别失败。在识别完成后，回到步骤S201继续取得视频串流的影像。具体来说，由于实时注册信息更接近被识别者目前现况，因此处理器120得以较高的相似度阈值来判断影像中的脸部信息是否与实时注册信息匹配。若识别成功，表示处理器120从实时注册信息中识别出对应影像的脸部。反之，若识别失败，表示处理器120没有从实时注册信息中识别出对应影像的脸部。

值得一提的是，识别时所使用的相似度阈值越低表示处理器120在判断脸部信息是否与预注册信息匹配时的判断门限越低，因此识别的成功率也会越高，但正确率越低。也就是说，当使用较低的相似度阈值进行识别时较容易作出识别成功的结果，但同时也较容易识别错误。反之，识别时所使用的相似度阈值越高表示处理器120在判断脸部信息是否与预注册信息匹配时的判断门限越高，因此识别的成功率也会越低，但正确率越高。

在一些实施例中，脸部信息包括多个脸部特征，预注册信息包括多个预注册特征，也就是说被识别者预先于电子装置100进行脸部注册时，便已在非易失性存储器中记录多个预注册特征；而实时注册信息包括多个实时注册特征，即执行预注册信息与脸部信息的第一相似度高于第一相似度阈值的步骤中因判定识别成功而将脸部信息的脸部特征更新至实时注册信息的实时注册特征，但本发明不限于此。在一些实施例中，上述的脸部特征例如可以使用预先训练好的类神经网络模型来取得。举例来说，类神经网络模型的输入例如是脸部信息，而其输出例如是包括512维向量的脸部特征，但本发明并不限于此。

在一些实施例中，预注册信息例如包括512维向量的预注册特征，而处理器120从影像中所取得的脸部信息也包括512维向量的脸部特征。处理器120在识别时会先比较多个脸部特征与对应的多个预注册特征以计算第一相似度，然后判断第一相似度是否高于第一相似度阈值。若第一相似度高于第一相似度阈值则判定识别成功，反之，若第一相似度低于第一相似度阈值则判定识别失败。

在一些实施例中，第一相似度阈值是设定为99.99％，但不限于此。此外，第一相似度阈值可以是预设在处理器120当中，也可以是由被识别者来进行设定，本发明并不在此限。

在一些实施例中，实时注册信息每隔一段时间会被清除。在一些实施例中，处理器120基于预注册信息对该脸部信息以一第一相似度阈值识别成功时，会将此脸部特征记录并更新至实时注册信息的实时注册特征。

在一些实施例中，实时注册信息例如包括512维向量的实时注册特征，而处理器120从影像中所取得的脸部信息也包括512维向量的脸部特征。处理器120在识别时会先比较多个脸部特征与对应的多个实时注册特征以计算一第二相似度，然后判断第二相似度是否高于第二相似度阈值。若第二相似度高于第二相似度阈值则判定识别成功，反之，若第二相似度低于第二相似度阈值则判定识别失败。

在一些实施例中，第二相似度阈值是设定为99.999％，但本发明不限制第二相似度阈值。此外，第二相似度阈值可以是预设在处理器120当中，也可以是由被识别者来进行设定，本发明并不在此限，而，第二相似度阈值必须高于第一相似度阈值。

必须注意的是，处理器120并不会使用基于实时注册信息识别成功的脸部信息来更新预注册信息。详细来说，实时注册信息是根据先前“识别成功”的脸部信息产生，而并非根据“识别正确”的脸部信息产生。因此，实时注册信息可能包括错误信息，而不使用基于实时注册信息识别成功的脸部信息来更新实时注册信息可以避免错误的累积，进而维持识别的正确性。

在一些实施例中，为了确保实时注册信息的正确性，处理器120例如会以更高的标准(例如，更高的相似度阈值)来决定是否以基于预注册信息识别成功的脸部信息更新实时注册信息。举例来说，处理器120例如会在基于预注册信息对脸部信息以第一相似度阈值识别成功后，再以相较于第一相似度阈值更高的第三相似度阈值来决定是否将以第一相似度阈值识别成功的脸部信息更新至实时注册信息。若第一相似度高于第三相似度阈值时，处理器120才会将此脸部信息更新至实时注册信息；若第一相似度低于第三相似度阈值，则不更新实时注册信息而直接回到步骤S201继续取得视频串流中后续的影像。

通过图2实施例所介绍的脸部识别方法，只要对视频串流的其中一帧影像进行的脸部识别成功，易失性存储器中便会记录有更接近被识别者现况的实时注册信息，能够提升后续识别的成功率。

值得一提的是，采用更高的相似度阈值可以确保更高的识别正确性，但是却会降低成功率。因此，在一些实施例中，采用更高的阈值来对视频串流中的多张影像分别进行识别，并且以多张影像的识别结果来决定最终识别结果。据此，能够提高正确性且同时维持成功率，再请对照图3并参阅以下实施例。

图3示出本发明一实施例的脸部识别方法的流程图。于本实施例中，处理器120会对视频串流中的至少一帧影像分别取得一脸部信息，且是以于视频串流中以间隔多个帧数的方式取出多个帧影像，间隔的帧数可为固定帧数亦可为随机帧数，本发明不加以限制。图3实施例中的脸部识别方法可由图1实施例中的电子装置100来执行，以下将搭配图1实施例中的电子装置100来进行说明。必须一提的是，本发明并不在此限制实作脸部识别方法时所使用的电子装置类型。

请参照图3，在步骤S301中，将计数器n初始化为0。为了以预定数量Np的多张影像的识别结果来决定最终识别结果，在一些实施例中，计数器n被使用来记录目前已经处理的影像数量。然而，本发明并不在此限制预定数量Np的具体数字以及计数的具体实作方式，所属领域具备通常知识者当可依其需求来实作之。

在步骤S302中，处理器120会取得视频串流中的一帧影像。在步骤S303中，处理器120判断目前处理过的影像张数(计数器n)是否等于预定数量Np。若是，表示处理器120已经处理达到预定数量Np的影像，则进入步骤S315。反之，进入步骤S304来开始对所取得的影像进行脸部识别。在步骤S304中，处理器120会对影像进行脸部检测，以判断影像中是否包括脸部。

若处理器120在步骤S304中判断影像中不包括脸部，则进入步骤S314，将计数器n增加1并且间隔多个帧数后继续回到步骤S302取得视频串流中下一帧进行脸部识别的影像。必须说明的是，由于间隔多个帧数之后的影像会与当前正在处理的影像具有较大的差异，因此能够避免一直对高度相似的影像进行处理而重复得到相同的结果。本发明并不在此限制所间隔的帧数，所属领域具备通常知识者当可依其需求来进行设定。

若处理器120在步骤S304中判断影像中包括脸部，则继续进入步骤S305，对影像中的脸部进行对齐。在一些实施例中，脸部检测除了能够用以找寻影像中的脸部之外，也会找出眼睛、鼻子等五官的位置。据此，处理器120在对脸部进行对齐时能够利用双眼的连线以及鼻子的位置等信息来将影像中的脸部转正。

在步骤S306中，处理器120会对影像中的脸部进行识别并取得脸部信息。在步骤S307中，处理器120会基于预注册信息对脸部信息以第一相似度阈值进行识别，并且在步骤S308中判断是否识别成功。步骤S306到步骤S308是类似于图2实施例中的步骤S202到步骤S204，相同的细节在此不再赘述。

当处理器120基于预注册信息与脸部信息的第一相似度高于第一相似度阈值而判定识别成功时，流程进入步骤S309，处理器120先记录对应此帧影像识别成功的识别结果，然后再进入步骤S310中将此识别成功的影像的脸部信息更新至实时注册信息，以使实时注册信息包括脸部信息。随后，进入步骤S314将计数器n增加1并且间隔多个帧数后继续回到步骤S302取得视频串流中的下一帧进行脸部识别的影像。步骤S310是类似于图2实施例中的步骤S205，相同的细节在此不再赘述。

当处理器120基于预注册信息与脸部信息的第一相似度低于第一相似度阈值而判定识别失败时，流程进入步骤S311，处理器120会判断易失性存储器中是否存在实时注册信息。若是，表示处理器120曾经对此视频串流中先前取出的其他帧的影像识别成功，因此实时注册信息已具有之前取出的另一帧影像对应的脸部信息(例如，根据步骤S310的操作)，则进入步骤S312。

反之，若处理器120判断易失性存储器中不存在实时注册信息，则进入步骤S314将计数器n增加1并且间隔多个帧数后继续回到步骤S302取得视频串流中的下一帧进行脸部识别的影像。在一些实施例中，在进入步骤S314之前会先进入步骤S316，以记录识别失败的识别结果。

在步骤S312中，处理器120会基于实时注册信息对脸部信息以第二相似度阈值进行识别，其中第二相似度阈值高于第一相似度阈值。步骤S312是类似于图2实施例中的步骤S207，相同的细节在此不再赘述。

基于实时注册信息对脸部信息以第二相似度阈值识别完成后，在步骤S313中，先记录对应实时注册信息的识别结果(例如，记录对应实时注册信息识别成功的识别结果，或记录识别失败的识别结果)，然后再进入步骤S314将计数器n增加1并且间隔多个帧数后继续回到步骤S302取得视频串流中的下一帧进行脸部识别的影像。

值得一提的是，识别成功或识别失败的识别结果例如是记录在易失性存储器中，但本发明并不在此限制。再者，本发明并不在此限制处理器120所能够处理的影像中脸部的数量。换句话说，处理器120例如可以对脸部检测所在影像中找出的所有脸部分别进行处理。

在步骤S315中，处理器120会根据所记录的Np个识别结果来产生一最终识别结果，并且归零计数器n。在一些实施例中，处理器120例如会判断在处理达到预定数量Np个影像时，是否有识别成功的识别记录。若处理器120判断在处理预定数量Np个影像后，有识别成功的识别记录，则会将产生一识别成功作为最终识别结果。举例来说，若处理器120判断存在有对应某个预注册信息或实时注册信息识别成功的识别结果，则会将该识别结果作为最终识别结果来进行输出。反之，若处理器120判断在处理预定数量Np个影像后，没有识别成功的识别记录，则会将产生一识别失败作为最终识别结果。

图3实施例所介绍的脸部识别方法利用多张影像的识别结果来决定最终识别结果，因此即使在进行识别时采用更高的阈值或更低的灵敏度来提升识别的正确性，也能够维持成功率。

综上所述，本发明实施例所提出的脸部识别方法与电子装置，利用同一视频串流中被识别成功的脸部信息来作为后续识别的依据，能够提升视频串流的脸部识别成功率。另一方面，本发明实施例更利用多张影像的识别结果来决定最终识别结果，能够在采用更高的阈值来提升识别的正确性。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种脸部识别方法，用以识别一视频串流中的一脸部，其特征在于，所述脸部识别方法包括：

对该视频串流中的一帧影像取得一脸部信息；

判断预存的一预注册信息与该脸部信息的一第一相似度是否高于一第一相似度阈值；

若该第一相似度高于该第一相似度阈值，则判定识别成功，将该帧影像的该脸部信息更新至一实时注册信息；

若该第一相似度低于该第一相似度阈值，则判定识别失败，再判断该实时注册信息与该脸部信息的一第二相似度是否高于一第二相似度阈值，而该实时注册信息是基于该视频串流中该帧影像之前取出的另一帧影像对应的该脸部信息所产生，其中该第二相似度阈值高于该第一相似度阈值；以及

若该第二相似度高于该第二相似度阈值，则不使用基于该实时注册信息识别成功的信息来更新该实时注册信息。

2.如权利要求1所述的脸部识别方法，其特征在于，该脸部信息包括多个脸部特征，该预注册信息包括多个预注册特征，而判断该预注册信息与该脸部信息的该第一相似度是否高于该第一相似度阈值的步骤还包括：

比较该些脸部特征与对应的所述多个预注册特征以计算该第一相似度，并且比较该第一相似度阈值以及该第一相似度，

若该第一相似度高于该第一相似度阈值时，则判定识别成功，以及若该第一相似度低于该第一相似度阈值时则判定识别失败。

3.如权利要求2所述的脸部识别方法，其特征在于，该实时注册信息包括多个实时注册特征，而判断该实时注册信息对该脸部信息的该第二相似度是否高于该第二相似度阈值的步骤还包括：

比较所述多个脸部特征与对应的所述多个实时注册特征以计算该第二相似度，并且判断该第二相似度阈值以及该第二相似度，

若该第二相似度高于该第二相似度阈值时，则判定识别成功，以及若该第二相似度低于该第二相似度阈值时，则判定识别失败。

4.如权利要求1所述的脸部识别方法，其特征在于，于该视频串流中以间隔多个帧数的方式取出多个帧影像，而判断该预注册信息与该脸部信息的该第一相似度是否高于该第一相似度阈值的步骤还包括：

基于所述多个帧影像的多个识别结果产生一最终识别结果。

5.如权利要求1所述的脸部识别方法，其特征在于，该预注册信息存储于一非易失性存储器中，并且该实时注册信息存储于一易失性存储器中。

6.一种电子装置，其特征在于，所述电子装置包括：

一存储器装置，存储一预注册信息及一实时注册信息；

一处理器，耦接于该存储器装置，该处理器取得一视频串流以识别该视频串流中的一脸部，该处理器执行以下步骤：

对该视频串流中的一帧影像取得一脸部信息；

判断预存的该预注册信息与该脸部信息的一第一相似度是否高于一第一相似度阈值；

若该第一相似度高于该第一相似度阈值，则判定识别成功，将该帧影像的该脸部信息更新至该实时注册信息；

若该第一相似度低于该第一相似度阈值，则判定识别失败，再判断该实时注册信息与该脸部信息的一第二相似度是否高于一第二相似度阈值，而该实时注册信息是基于该视频串流中该帧影像之前取出的另一帧影像对应的该脸部信息所产生，其中该第二相似度阈值高于该第一相似度阈值；以及

若该第二相似度高于该第二相似度阈值，则不使用基于该实时注册信息识别成功的信息来更新该实时注册信息。

7.如权利要求6所述的电子装置，其特征在于，该脸部信息包括多个脸部特征，该预注册信息包括多个预注册特征，其中该处理器判断该预注册信息与该脸部信息的该第一相似度是否高于该第一相似度阈值时，包括：

该处理器比较所述多个脸部特征与对应的所述多个预注册特征以计算该第一相似度，并且判断该第一相似度阈值以及该第一相似度，若该第一相似度高于该第一相似度阈值时，则判定识别成功，以及若该第一相似度低于该第一相似度阈值时，则判定识别失败。

8.如权利要求7所述的电子装置，其特征在于，该实时注册信息包括多个实时注册特征，而该处理器判断该实时注册信息对该脸部信息的该第二相似度是否高于该第二相似度阈值时，包括：

该处理器比较所述多个脸部特征与对应的所述多个实时注册特征以计算该第二相似度，并且判断该第二相似度阈值以及该第二相似度，

若该第二相似度高于该第二相似度阈值时，则判定识别成功，以及若该第二相似度低于该第二相似度阈值时，则判定识别失败。

9.如权利要求6所述的电子装置，其特征在于，该处理器于该视频串流中以间隔多个帧数的方式取出多个帧影像，其中该处理器判断该预注册信息与该脸部信息的该第一相似度是否高于该第一相似度阈值时，包括：

该处理器基于所述多个帧影像的多个识别结果产生一最终识别结果。

10.如权利要求6所述的电子装置，其特征在于，该存储器装置包括：

一非易失性存储器，用以存储该预注册信息；以及

一易失性存储器，用以存储该实时注册信息。

Images