CN109977746A - 用于登记面部姿态以用于面部识别的设备和方法 - Google Patents

用于登记面部姿态以用于面部识别的设备和方法 Download PDF

Info

Publication number
CN109977746A
CN109977746A CN201811608734.2A CN201811608734A CN109977746A CN 109977746 A CN109977746 A CN 109977746A CN 201811608734 A CN201811608734 A CN 201811608734A CN 109977746 A CN109977746 A CN 109977746A
Authority
CN
China
Prior art keywords
face
facial pose
facial
user
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811608734.2A
Other languages
English (en)
Other versions
CN109977746B (zh
Inventor
尹皓燮
张载润
金在洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180146791A external-priority patent/KR102466942B1/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN109977746A publication Critical patent/CN109977746A/zh
Application granted granted Critical
Publication of CN109977746B publication Critical patent/CN109977746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本文公开了一种用于登记面部姿态以用于面部识别的设备和方法。所述设备包括:面部检测单元,用于从包括用户面部的图像检测用户面部;姿态识别单元,用于基于用户面部的旋转度识别用户面部的面部姿态;登记界面单元,用于提供用于显示关于用户面部的面部姿态是否被登记的信息的界面;以及面部登记单元,用于当用户面部的面部姿态被识别为未登记的面部姿态时基于界面登记用户面部的面部姿态。

Description

用于登记面部姿态以用于面部识别的设备和方法
本申请要求于2017年12月27日提交的序列号为10-2017-0181163和2018年11月23日提交的序列号为10-2018-0146791的韩国专利申请的权益,以上两个申请通过引用全部合并到本申请中。
技术领域
本发明一般涉及用于基于面部姿态登记并识别面部的设备和方法。更具体地,本发明涉及一种用于使用安装在移动电话、PC等中的相机自动登记各种姿态的面部图像并且用于基于面部图像识别面部的系统和方法。
背景技术
使用相机从面部姿态识别面部的传统方法采用的方式是:在捕捉全部面部或侧面轮廓的一些图像被任意选择并登记之后,当要识别的面部图像被输入时,将该图像与所有的多个已登记的面部图像进行比较,并且将其图像与输入图像具有最高相似度的面部确定为识别的面部。可选地,当面部被登记时,从连续捕捉各种姿态的侧面轮廓的图像产生3D面部图像,从3D面部图像产生与输入图像中的面部姿态最相似的面部姿态,并且基于产生的面部姿态识别面部。
在第一种方式中,多个侧面轮廓图像被登记和使用以便识别面部,这种方式的缺点在于当登记被执行时,用户被迫采取预定义的姿态,并且在于因为只有五种或十种姿态变化被登记,所以当输入除预定义的姿态之外的新姿态的面部图像时,面部识别性能没有提高。
第二种方式的优点在于其对于姿态变化具有鲁棒性,但是缺点在于,除非使用精确的3D传感器产生完美的3D面部模型,否则要登记的用于识别的面部图像可能具有与实际面部不同的形状。此外,即使能够准确地产生3D面部模型,因为需要从面部图像产生3D面部模型并且从面部图像提取特征,所以随着已登记的图像的数量增加,识别面部所花费的时间可能更长。
为了开发本发明的目标,发明人保留了关于相关技术的上述信息,或者在开发本发明的过程中获得了上述信息。此外,应理解,在本发明的专利申请日之前,该信息不一定属于公共领域。
现有技术文献
(专利文件1)第10-1089287号韩国专利。
发明内容
本发明的目标是提供一种用于登记面部姿态以用于面部识别的设备和方法,在所述设备和方法中,基于面部姿态登记多条面部信息,并且使用面部信息识别面部。
本发明的另一目标是提供一种用于登记面部姿态以用于面部识别的设备和方法,在所述设备和方法中,使用包括用户的输入图像自动登记与不同面部姿态相应的多条面部信息。
本发明的另一目标是提供一种用于登记面部姿态以用于面部识别的设备和方法,在所述设备和方法中,使用在多条已登记的面部信息中与面部姿态有关的面部信息来确定面部是否被登记,该面部姿态与输入图像所示的用户面部姿态相似。
为了实现上述目标,根据本发明的实施例的用于登记面部姿态以用于面部识别的设备包括:面部检测单元,用于从包括用户面部的图像检测用户面部;姿态识别单元,用于基于用户面部的旋转度识别用户面部的面部姿态;登记界面单元,用于提供用于显示关于用户面部的面部姿态是否被登记的信息的界面;以及面部登记单元,用于当用户面部的面部姿态被识别为未登记的面部姿态时,基于界面登记用户面部的面部姿态。
这里,登记界面单元可经由界面显示指示与用户面部旋转的预设度数相应的面部姿态的面部姿态点。
这里,登记界面单元可在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,其中,所述预设间隔基于用户面部旋转的预设度数。
这里,登记界面单元可通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
这里,登记界面单元可经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且可用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
这里,登记界面单元可基于关于从用户面部识别的视线的信息,经由界面显示与用户的视线匹配的面部姿态参考线。
这里,当面部姿态参考线指向的目标点与面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,登记界面单元可改变与未登记的面部姿态相应的面部姿态点被标记的状态。
这里,当目标点的位置与相应的面部姿态点接近到所述预设距离内的状态保持预设时间段时,面部登记单元可将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
这里,面部登记单元可使用要登记在与未登记的面部姿态相应的面部姿态点处的用户面部的面部姿态与登记在与已登记的面部姿态相应面部姿态点处的用户面部的面部姿态之间的相似度对它们进行比较,并且仅当要登记的面部姿态的旋转度与已登记的面部姿态的旋转度之间的差异等于或大于预设阈值时,可将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
这里,当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点时,登记界面单元可将第二状态改变为第一状态。
此外,为了实现上述目标,根据本发明的实施例的由用于登记面部姿态以用于面部识别的设备执行的用于登记面部姿态以用于面部识别的方法包括:从包括用户面部的图像检测用户面部;基于用户面部的旋转度识别用户面部的面部姿态;提供用于显示关于用户面部的面部姿态是否被登记的信息的界面;并且当用户面部的面部姿态被识别为未登记的面部姿态时,基于界面登记用户面部的面部姿态。
这里,提供界面的步骤可被配置为经由界面显示指示与用户面部旋转的预设度数相应的面部姿态的面部姿态点。
这里,提供界面的步骤可被配置为在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,其中,所述预设间隔基于用户面部旋转的预设度数。
这里,提供界面的步骤可被配置为通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
这里,提供界面的步骤可被配置为经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
这里,提供界面的步骤可被配置为基于关于从用户面部识别的视线的信息经由界面显示与用户的视线匹配的面部姿态参考线。
这里,提供界面的步骤可被配置为经由界面在坐标平面上用第三状态标记面部姿态参考线指向的目标点。
这里,提供界面的步骤可被配置为当目标点与面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,改变与未登记的面部姿态相应的面部姿态点被标记的状态。
这里,登记面部姿态的步骤可被配置为当目标点的位置与相应的面部姿态点接近到预设距离内的状态保持预设时间段时,将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
这里,登记面部姿态的步骤可被配置为当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点时,将第二状态改变为第一状态。
附图说明
从下面结合附图进行的详细描述,将更清楚地理解本发明的以上和其他目标、特征和优点,其中:
图1是示出根据本发明的实施例的用于登记面部姿态以用于面部识别的系统的配置的视图;
图2是示出与面部姿态相应的信息的示例的视图;
图3是示出图1中示出的用于登记面部姿态以用于面部识别的设备的示例的框图;
图4是示出根据本发明的实施例的面部登记界面的示例的视图;
图5是示出根据本发明的实施例的面部登记界面的示例的视图;
图6是示出根据本发明的实施例的面部登记界面的示例的视图;
图7是示出根据本发明的实施例的面部登记界面的示例的视图;
图8是示出根据本发明的实施例的面部登记界面的示例的视图;
图9是示出根据本发明的实施例的用于登记面部姿态以用于面部识别的方法的流程图;
图10是示出图9中示出的登记面部的步骤的示例的流程图;
图11是示出图9中示出的登记面部的步骤的示例的流程图;
图12是示出图9中示出的登记面部的步骤的示例的流程图。
具体实施方式
因为本发明可进行各种改变并且可具有各种实施例,所以下面将参照附图详细描述具体实施例。从下面将参照附图更详细地描述的示例性实施例中,本发明的效果和特征以及实现它们的方法将变得显而易见。下面将省略重复描述和对已被认为将不必要地模糊本发明的主旨的公知功能和结构的描述。本发明的实施例意在将本发明完整地描述给本发明所属领域中具有普通知识的人员。因此,附图中的组件的形状、尺寸等可被夸大以便使描述更清楚。
然而,本发明不限于下面要描述的实施例,并且所有实施例或一些实施例可被选择性地组合并配置,使得可以以各种方式修改实施例。将理解,尽管这里可使用术语“第一”、“第二”等来描述各种元件,但是这些元件并不意在受这些术语的限制。这些术语仅用于将一个元件与另一元件区分开。此外,除非在上下文中具体指出相反的描述,否则单数表述包括复数表述。此外,应理解,诸如“包括”或“具有”的术语仅意在指示存在特征、组件、部件或它们的组合,并不意在排除将存在或添加一个或更多个其他特征、组件、部件或它们的组合的可能性。
在下文中,将参照附图详细描述本发明的实施例。在本发明的下面的描述中,相同的参考符号在整个附图中用于表示相同或相似的元件,并且将省略对相同组件的重复描述。
图1是示出根据本发明的实施例的用于基于面部姿态识别面部的系统100的配置的视图。
参照图1,在根据本发明的实施例的用于基于面部姿态识别面部的系统100中,用于登记面部姿态以用于面部识别的设备110与图像捕捉装置120连接。
根据本发明的实施例的用于登记面部姿态以用于面部识别的设备110从图像捕捉装置120接收包括用户面部的图像,从图像检测面部,识别检测到的面部的姿态,并且考虑到识别的面部姿态自动登记面部信息或者使用已经登记的面部信息识别面部。
这里,要登记的面部信息可包括与检测到的面部有关的颜色信息、像素信息、特征信息等。此外,面部的识别可以是确定包括在输入图像中的面部是否与已经登记的面部中的一个面部匹配。也就是说,面部识别可具有与面部认证相同的含义。
图像捕捉装置120是能够捕获包括用户面部的图像的装置。
例如,图像捕捉装置120可包括相机、便携式摄像机等。
这里,图像捕捉装置120可以是不能测量深度信息的装置或者能够测量深度信息的装置。
在可选的实施例中,图像捕捉装置120可包括在用于登记面部姿态以用于面部识别的设备110中。
图2是示出与面部姿态相应的信息的示例的视图。
参照图2,面部姿态可被表示为围绕三个轴旋转,其中,三个轴可包括俯仰210、偏转220和滚转230。
基于图像捕捉装置(图1中的120),当面部的滚转230改变时,提取的面部区域几乎没有差异。此外,可通过旋转提取的面部区域使滚转230偏移。然而,面部的俯仰210或偏转220的变化造成提取的面部区域的大的差异。因此,俯仰210和偏转220是影响面部姿态的重要因素。
因此,根据本发明的实施例的用于登记面部姿态以用于面部识别的设备110可通过确定用户面部的俯仰210和偏转220来识别面部姿态。例如,当从包括用户面部的图像检测到面部时,通过分析检测到的面部可识别出用户面部向上旋转10度并向右旋转5度,从而可将(10度,5度)存储为面部姿态信息。
图3是示出图1中示出的用于登记面部姿态以用于面部识别的设备110的示例的框图。
参照图3,根据本发明的实施例的用于登记面部姿态以用于面部识别的设备110包括控制单元310、通信单元320、存储器330、面部检测单元340、姿态识别单元350、面部登记单元360、面部信息存储单元370、面部识别单元380、登记界面单元390等。
具体地,控制单元310是一种中央处理单元,并且控制基于面部姿态识别面部的全部过程。也就是说,控制单元310可通过控制面部检测单元340、姿态识别单元350、面部登记单元360、面部信息存储单元370、面部识别单元380、登记界面单元390等提供各种功能。
这里,控制单元310可包括能够处理数据的各种装置,诸如,处理器等。这里,术语“处理器”可指示例如嵌入硬件中的数据处理装置,其中,数据处理装置具有被物理构造为用于执行包括在程序中的代码或指令所表示的功能的电路。嵌入硬件中的这种数据处理装置的示例可包括诸如微处理器、中央处理单元(CPU)、处理器核、多处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等的处理装置,但是本发明不限于此。
通信单元320提供用于在登记面部姿态以用于面部识别的设备(图1中的110)与图像捕捉装置(图1中的120)之间发送和接收信号所必需的通信接口。
这里,通信单元320可以是包括硬件和软件的装置,其中,所述硬件和软件是为了通过与另一网络装置有线/无线连接向所述另一网络装置发送信号(诸如,控制信号或数据信号)并且从所述另一网络装置接收信号所必需的。
这里,通信单元320可从图像捕捉装置(图1中的120)接收包括用户面部的图像。
存储器330用于临时或永久地存储由控制单元310处理的数据。这里,存储器330可包括磁性存储介质或闪存存储介质,但是本发明不限于此。
面部检测单元340从包括用户面部的图像检测用户面部。
这里,面部检测单元340可通过将用户面部的区域与图像的背景区分开来检测面部。
这里,面部检测单元340可从用户面部的区域获取特征信息或界标信息。例如,可从用户面部获取68条界标信息。
这里,面部检测单元340可基于两只眼睛的位置识别面部的滚转,并且可通过旋转使得面部不向左或向右倾斜来校正用户面部。
姿态识别单元350通过识别检测到的面部的姿态来获取姿态信息。
这里,姿态识别单元350可通过识别检测到的面部的俯仰和偏转来获取姿态信息。例如,可使用面部向上或向下旋转的角度来表示俯仰,在这种情况下,向上方向被设置为“+”,并且向下方向被设置为“-”。此外,可使用面部向左或向右旋转的角度来表示偏转,在这种情况下,向右方向被设置为“+”,并且向左方向被设置为“-”。这里,俯仰和偏转可被表示为包括俯仰角和偏转角的对,即(俯仰角,偏转角)。
这里,姿态识别单元350可考虑到检测到的面部中的视线来识别面部姿态。
当操作模式是面部登记模式时,面部登记单元360登记用户面部信息。
这里,面部登记单元360可登记预设条数的面部信息,并且各条面部信息与不同的面部姿态有关。
这里,面部登记单元360考虑到面部姿态来登记面部信息,并且面部信息可包括面部姿态信息。
这里,面部登记单元360可通过从输入图像提取多条面部信息来自动且连续地登记多条面部信息。也就是说,面部识别单元可从用户面部姿态改变的图像识别用户面部姿态,并且可考虑到改变的面部姿态自动地登记多条面部信息。具体地,可根据诸如面部识别性能、当前识别速度、登记速度等的重要性的变量来不同地设置要登记的面部信息的条数。
这里,面部登记单元360可设置面部登记处理的时限。如果面部信息的条数未达到在给定的时限内要登记的面部信息的条数,则相应的面部登记处理可被终止,并且可能需要执行新的面部登记处理。例如,时限可被设置为30秒。
这里,为了自动登记面部,面部登记单元360可将图像所示的用户的当前面部姿态与已经在当前登记处理中登记的面部信息的面部姿态进行比较,并且当两种面部姿态之间的差异大于预设阈值时,将当前面部信息登记为新的面部信息。该处理可被表示为下面的伪代码1。例如,当两种面部姿态的俯仰角之间的差异大于n度时或者当两种面部姿态的偏转角之间的差异大于n度时,当前面部信息可被登记为新的面部信息。这里,可根据输入图像的分辨率或处理器的处理性能将“n”(其中,“n”为角度之间的差异的阈值)设置为不同的值。
[伪代码1]
R_count=到目前时间为止已登记的面部信息的条数
当面部图像被输入时,伪代码1的算法将面部图像的当前面部姿态与到目前为止已登记的每条面部信息的面部姿态进行比较,并且当两种面部姿态的俯仰角之间的差异或者其偏转角之间的差异大于预设阈值时,确定当前面部姿态是新的面部姿态并且登记与当前面部姿态相应的面部信息。如果不满足上述条件,则不登记相应的面部信息。
这里,为了自动登记面部信息,面部登记单元360将图像所示的用户的当前面部姿态与在应被登记的预定义的面部姿态中尚未被登记的面部姿态进行比较。这里,当两种面部姿态之间的差异小于预设阈值时,可将当前面部信息登记为与当前面部姿态具有最高相似度的面部姿态所对应的面部信息。在这种情况下,因为必需登记与应被登记的预定义的面部姿态相应的面部信息,所以仅当俯仰角之间的差异和偏转角之间的差异两者都小于阈值时,才可登记面部信息。
例如,当存在应被登记但尚未被登记的九种目标面部姿态(具体地(0度,0度)、(0度,5度)、(0度,-5度)、(5度,0度)、(-5度,0度)、(5度,5度)、(-5度,5度)、(5度,-5度)和(-5度,-5度))时,当面部姿态之间的差异的阈值是1度时,并且当图像所示的当前面部姿态是(4.1度,0.9度)时,(5度,0度)在应被登记但尚未被登记的目标面部姿态中与当前面部姿态(4.1度,0.9度)最相似。这里,因为俯仰角之间的差异和偏转角之间的差异两者都小于1度,所以图像的当前面部信息可被登记为与面部姿态(5度,0度)相应的面部信息。
面部信息存储单元370存储由面部登记单元360登记的面部数据或面部信息。
这里,存储在面部信息存储单元370中的面部信息可针对每个用户被单独存储。
这里,面部信息存储单元370可存储面部图像,但是可选地可仅存储从面部图像检测到的界标信息和姿态信息。
面部识别单元380从输入图像识别用户面部,将用户面部与已登记的面部信息进行比较,并且当操作模式是面部识别模式时,确定用户是否是已登记的用户。
这里,面部识别单元380使用关于输入图像中的用户面部的面部姿态信息来选择面部信息以进行比较,并且确定选择的面部信息的相似度,从而确定用户是否是已登记的用户。
这里,面部识别单元380可使用面部的界标信息来确定相似度。
这里,当输入图像所示的用户面部的面部姿态与已登记的多条面部信息中的任意面部信息的面部姿态之间的差异小于预设阈值时,面部识别单元380可选择相应的面部信息作为要与用户面部信息进行比较的目标面部信息。例如,当已登记的九条面部信息的面部姿态是(0度,0度)、(0度,5度)、(0度,-5度)、(5度,0度)时、(-5度,0度)、(5度,5度)、(-5度,5度)、(5度,-5度)和(-5度,-5度)时,当面部识别的阈值是3度时,并且当输入图像中的用户的当前面部姿态是(2.5度,-2.5度)时,可将与面部姿态(0度,0度)、(5度,0度)、(0度,-5度)和(5度,-5度)相应的多条面部信息选为要比较的目标面部信息,这是因为目标面部信息的俯仰角与用户面部姿态的俯仰角之间的差异和目标面部信息的偏转角与用户面部姿态的偏转角之间的差异均小于3度。
这里,面部识别单元380确定关于用户的输入面部信息与要比较的一条或更多条目标面部信息之间的相似度,从而使用相似度确定用户是否是已登记的用户。例如,可使用相似度的最大值、均值、中值、加权平均值等来确定用户是否是已登记的用户。例如,当存在四条要比较的目标面部信息时,并且当各条目标面部信息的相似度被确定为97%、85%、80%和75%时,可基于相似度的最大值97%确定用户是否是已登记的用户。这里,如果用于确定用户是已登记的用户的阈值是95%,则因为相似度的最大值是97%,所以该用户可被确定为已登记的用户。
当操作模式是面部登记模式时,登记界面单元390产生并且提供用于向用户显示面部登记的进度的界面。
这里,登记界面单元390可提供显示关于用户面部的面部姿态是否被登记的信息的界面。
这里,登记界面单元390可表示与在当前登记处理中已登记的用户面部信息相应的面部姿态。例如,可使用表格或坐标平面的格式来表示已经登记的(俯仰,偏转)对的坐标信息。
这里,登记界面单元390可在应被登记的面部姿态被预定义时显示应被登记的面部姿态,并且可以以将应被登记的面部姿态与已经登记的面部姿态区分开的方式显示未登记的面部姿态。类似地,使用表格或坐标平面的格式,可表示未登记的坐标信息(俯仰,偏转)和已登记的坐标信息(俯仰,偏转)。
这里,登记界面单元390可将输入图像或从输入图像检测到的用户面部与已登记的姿态信息一起显示。此外,登记界面单元390可使用坐标信息显示输入图像中示出的用户面部姿态。例如,当以坐标的格式显示面部姿态信息时,可在坐标平面上显示用户的当前面部姿态,并且当登记与用户的当前面部姿态相应的面部信息时,可将面部姿态显示为已登记的面部姿态。
这里,登记界面单元390可经由界面显示指示面部姿态的面部姿态点,所述面部姿态与用户面部旋转的预设度数相应。
这里,登记界面单元390可在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,其中,所述预设间隔基于用户面部旋转的预设度数被设置。
这里,登记界面单元390可通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
这里,经由界面,登记界面单元390可用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且可用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
这里,第一状态或第二状态可与在坐标平面上显示的点或标记物的颜色、形状或效果相应,并且第一状态可具有与第二状态不同的颜色、形状或效果,使得用户可容易地将两种状态彼此区分开。
这里,登记界面单元390可基于关于从用户面部识别的视线的信息,经由界面显示与用户的视线匹配的面部姿态参考线。
这里,登记界面单元390可经由界面在坐标平面上用第三状态标记面部姿态参考线指向的目标点。
这里,第三状态可具有与第一状态和第二状态不同的颜色、形状或效果,使得用户可容易地将第三状态与第一状态和第二状态区分开。
这里,当用户使用界面移动视线,使得目标点与面部姿态点中未登记的面部姿态相应的面部姿态点接近到预设距离内时,登记界面单元390可改变与未登记的面部姿态相应的面部姿态点被标记的状态。
这里,当目标点的位置与未登记的面部姿态所对应的面部姿态点接近到预设距离内的状态保持预设时间段时,面部登记单元360可将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
这里,面部登记单元360可使用要登记在与未登记的面部姿态相应的面部姿态点处的用户面部的面部姿态和登记在与已登记的面部姿态相应的面部姿态点处的用户面部的面部姿态之间的相似度来对它们进行比较,并且仅当要登记的面部姿态的旋转度与已登记的面部姿态的旋转度之间的差异等于或大于预设阈值时,可将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
这里,当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点时,登记界面单元390可将第二状态改变为第一状态。
因此,当用户登记他或她的面部以用于面部识别时,用户可仅通过输入面部姿态自然改变的图像来基于各种面部姿态自动登记面部信息。
图4是示出根据本发明的实施例的面部登记界面的示例的视图。
参照图4,当操作模式是面部登记模式时,根据本发明的实施例的用于登记面部姿态以用于面部识别的设备(图1中的110)可提供面部登记界面410。具体地,图4所示的登记界面可以是算法应用的示例,在该示例中,当输入面部姿态与已登记的面部姿态之间的差异大于阈值时,与输入面部姿态相应的面部信息被登记为新的面部信息。
这里,面部登记界面410可显示到目前为止已登记的面部信息的条数和应被登记的面部信息的条数420。
如图4所示,面部登记界面410在屏幕的右上角显示‘5/25’。这里,‘5/25’表示关于面部信息的条数420的信息。也就是说,可登记25条面部信息,但是到那个时间点为止已经登记了五条面部信息。
这里,面部登记界面410可以以坐标的形式显示与已登记的多条面部信息相应的面部姿态450。这里,水平轴430表示偏转角,并且垂直轴440表示俯仰角。
也就是说,为了表示已登记的面部姿态450,面部登记界面410可在与用户面部向上、向下、向左和向右旋转的度数相应的点(坐标)处显示点或标记物。
如上所述,面部登记界面被设置为图形用户界面(GUI),从而用户可仅通过输入包括连续面部姿态的图像来自动登记与各种面部姿态相应的面部信息。
图5是示出根据本发明的实施例的面部登记界面的示例的视图。
参照图5,当操作模式是面部登记模式时,根据本发明的实施例的用于登记面部姿态以用于面部识别的设备(图1中的110)可提供面部登记界面510。具体地,图5所示的登记界面可以是要登记的面部姿态被预定义的示例。
这里,面部登记界面510可显示到目前为止已登记的面部信息的条数和应被登记的面部信息的条数520。
如图5所示,面部登记界面510在屏幕的右上角显示‘5/25’。这里,‘5/25’表示关于面部信息的条数520的信息。也就是说,可登记25条面部信息,但是到那个时间点为止已经登记了五条面部信息。
这里,面部登记界面510可以以坐标形式显示在应被登记的预定义的面部姿态中尚未被登记的面部姿态550和已登记的面部姿态560。这里,水平轴530表示偏转角,并且垂直轴540表示俯仰角。
具体地,面部登记界面510可可视地显示已经登记的面部姿态560,并且可透明而不引人注目地显示应被登记但尚未被登记的面部姿态,或者可不显示应被登记但尚未被登记的面部姿态。
例如,面部登记界面510可用黑点或标记物来标记与已登记的面部姿态560相应的面部姿态点,并且可用白点或具有有色边缘的透明圆圈来标记与应被登记但尚未被登记的面部姿态550相应的面部姿态点。也就是说,面部登记界面510可用具有不同颜色或形状的点或标记物来分别标记与已登记的面部姿态560相应的面部姿态点以及与应被登记但尚未被登记的面部姿态550相应的面部姿态点,使得用户可容易地将它们彼此区分开。
例如,当应被登记的目标面部姿态中的一些尚未被登记时,点或标记物被可视地标记在与相应的面部姿态相应的坐标处,从而用户可知道相应的面部姿态尚未被登记。这里,当与未登记的面部姿态相应的面部信息被登记时,点或标记物被删除或改变,从而用户可知道相应的面部姿态被登记。
图6是示出根据本发明的实施例的面部登记界面的示例的视图。
图6所示的面部登记界面610在图5所示的面部登记界面510中额外地显示包括在输入图像中的用户面部630。
这里,面部登记界面610可显示到目前为止已登记的面部信息的条数和应被登记的面部信息的条数620。
如图6所示,面部登记界面610在屏幕的右上角显示‘5/25’。这里,‘5/25’表示关于面部信息的条数620的信息。也就是说,可登记25条面部信息,但是到那个时间点为止已经登记了五条面部信息。
这里,面部登记界面610可在坐标平面上显示与包括在输入图像中的用户面部630相应的面部姿态。例如,当当前用户面部姿态是(1度,1度)时,可在相应的坐标处标记点或标记物。
图5中示出的与已登记的面部姿态560相应的面部姿态点以及与应被登记但尚未被登记的面部姿态550相应的面部姿态点与图6中的用户面部630一起显示。
例如,假设每个面部姿态点的坐标表示当整个面部向上、向下、向右或向左旋转1度时拍摄的面部姿态,面部登记界面610显示当用户面部朝向正前方时拍摄的面部姿态、当用户面部向上旋转1度时拍摄的面部姿态、当用户面部向上旋转1度并且向左旋转1度时拍摄的面部姿态、当用户面部向右旋转1度时拍摄的面部姿态、以及当用户面部向右旋转2度时拍摄的面部姿态被登记。
如上所述,因为提供了面部登记界面,所以用户可容易地检查关于已登记的面部姿态和用户应登记的面部姿态的信息,并且可容易地执行面部登记处理。
图7是示出根据本发明的实施例的面部登记界面的示例的视图。
图7所示的面部登记界面710在图6所示的面部登记界面610中额外地显示与包括在输入图像中的用户面部730相应的面部姿态参考线740。
这里,面部登记界面710可显示到目前为止已登记的面部信息的条数和应被登记的面部信息的条数720。
这里,面部登记界面710可使用基于眼球的线、箭头等来显示与包括在输入图像中的用户面部730相应的面部姿态参考线740。
如上所述,因为提供了可视地显示与当前输入的面部姿态相应的面部姿态参考线的面部登记界面,所以用户可容易地检查关于已登记的面部姿态和用户应登记的面部姿态的信息,并且可通过检测他或她的当前面部姿态更容易地执行面部登记处理。
图8是示出根据本发明的实施例的面部登记界面的示例的视图。
图8所示的面部登记界面810在图7所示的面部登记界面710中在与包括在输入图像中的用户面部相应的面部姿态参考线840指向的坐标处额外地显示标记物850。
这里,面部登记界面810可显示到目前为止已登记的面部信息的条数和应被登记的面部信息的条数820。
这里,面部登记界面810可使用基于眼球的线、箭头等来显示与包括在输入图像中的用户面部830相应的面部姿态参考线840。
这里,面部登记界面810可在坐标平面上在面部姿态参考线840指向的坐标处显示标记物850。
这里,在面部登记界面810中,当与用户面部相应的面部姿态参考线840指向的坐标与应被登记但尚未被登记的面部姿态所对应的面部姿态点匹配时,用于登记面部姿态以用于面部识别的设备可在相应的面部姿态点处登记用户的当前面部姿态。
如上所述,因为提供了在坐标平面上可视地显示与当前输入面部姿态相应的标记物的面部登记界面,所以用户可容易地检查关于已登记的面部姿态和用户应登记的面部姿态的信息,并且可通过检测他或她的当前面部姿态来更容易地执行面部登记处理。
图9是示出根据本发明的实施例的用于登记面部姿态以用于面部识别的方法的流程图。
参照图9,在根据本发明的实施例的用于登记面部姿态以用于面部识别的方法中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S901中确定操作模式。
当在步骤S901中确定操作模式是登记模式时,在步骤S903中通过执行面部登记处理来登记用户面部信息。
当在步骤S901中确定操作模式是识别模式时,在步骤S905中通过执行面部识别处理来确定用户是否是已登记的用户。
图10是示出执行图9中示出的面部登记处理的步骤(S903)的示例的流程图。
参照图10,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1001中从输入图像检测用户面部。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1003中识别检测到的面部的面部姿态。
这里,面部姿态可包括面部的偏转角和俯仰角。
这里,在步骤S1003中,当操作模式是面部登记模式时,产生并提供用于向用户显示面部登记的进度的界面。
这里,在步骤S1003中,可提供用于显示关于用户面部的面部姿态是否被登记的信息的界面。
这里,在步骤S1003中,可经由界面显示指示面部姿态的面部姿态点,所述面部姿态与用户面部旋转的预设度数相应。
这里,在步骤S1003中,可在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,所述预设间隔基于用户面部旋转的预设度数被设置。
这里,在步骤S1003中,可通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
这里,在步骤S1003中,可经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且可用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
这里,第一状态或第二状态可与在坐标平面上显示的点或标记物的颜色、形状或效果相应,并且第一状态可具有与第二状态不同的颜色、形状或效果,使得用户可容易地将两种状态彼此区分开。
这里,在步骤S1003中,可基于关于从用户面部识别的视线的信息,经由界面显示与用户的视线匹配的面部姿态参考线。
这里,在步骤S1003中,可经由界面在坐标平面上用第三状态标记面部姿态参考线指向的目标点。
这里,第三状态可具有不同的颜色、形状或效果,使得用户可容易地将第三状态与第一状态和第二状态区分开。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)测量输入面部图像的面部姿态与在步骤S1005中已经在当前面部登记处理中登记的面部信息所对应的面部姿态之间的相似度。例如,如果在当前面部登记处理中已经登记了五条面部信息,则可测量输入面部图像的面部姿态与五条面部信息中的每一条面部信息所对应的面部姿态之间的相似度。
这里,在步骤S1005中,当用户使用界面移动视线,使得目标点与面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,与未登记的面部姿态相应的面部姿态点被标记的状态可被改变。
这里,在步骤S1005中,当目标点的位置与相应的面部姿态点接近到预设距离内的状态保持预设时间段时,可使用用户面部姿态与已登记的面部姿态之间的相似度来对它们进行比较。
这里,在步骤S1007中,使用将要登记在与未登记的面部姿态相应的面部姿态点处的用户面部的面部姿态与登记在与已登记的面部姿态相应的面部姿态点处的用户面部的面部姿态之间的相似度对它们进行比较,并且仅当要登记的面部姿态的旋转度与已登记的面部姿态的旋转度之间的差异等于或大于预设阈值时(即,仅当它们之间的相似度小于相似度阈值时),可在步骤S1009中登记用户面部的面部姿态。
这里,在步骤S1009中,当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点时,第二状态可被改变为第一状态。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1007中确定在步骤S1005中测量的所有相似度是否都小于相似度阈值。这里,在步骤S1005中测量的相似度的数量等于在当前面部登记处理中已登记的面部信息的条数,并且所有相似度是否都小于相似度阈值可被确定。这是用于当面部姿态与已登记的面部姿态相差特定度时登记与未登记的面部姿态相应的面部信息。
当在步骤S1007中确定测量的相似度中的任意相似度等于或大于相似度阈值时,处理返回到步骤S1001,从而面部登记处理被再次执行。
当在步骤S1007中确定所有测量的相似度都小于相似度阈值时,从当前输入图像获取的面部信息在步骤S1009中被登记为新的面部信息。
这里,面部信息可包括关于面部姿态的信息。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1011中确定到目前为止已登记的面部信息的条数是否达到参考数量。
当在步骤S1011中确定到目前为止已登记的面部信息的条数未达到参考数量时,处理返回到步骤S1001,并且面部登记处理被再次执行。
当在步骤S1011中确定到目前为止已登记的面部信息的条数达到参考数量时,面部登记处理被终止。
因此,可使用包括用户面部的图像自动且容易地登记用户的多条面部信息,其中,在所述多条面部信息中,面部姿态彼此相差特定度。
图11是示出执行图9中示出的面部登记处理的步骤(S903)的示例的流程图。
参照图11,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1101中从输入图像检测用户面部。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1103中识别检测到的面部的面部姿态。
这里,面部姿态可包括面部的偏转角和俯仰角。
这里,在步骤S1103中,当操作模式是面部登记模式时,产生并提供用于向用户显示面部登记的进度的界面。
这里,在步骤S1103中,可提供用于显示关于用户面部的面部姿态是否被登记的信息的界面。
这里,在步骤S1103中,可经由界面显示指示与用户面部旋转的预设度数相应的面部姿态的面部姿态点。
这里,在步骤S1103中,可在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,所述预设间隔基于用户面部旋转的预设度数被设置。
这里,在步骤S1103中,可通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
这里,在步骤S1103中,可经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且可用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
这里,第一状态或第二状态可与在坐标平面上显示的点或标记物的颜色、形状或效果相应,并且第一状态可具有与第二状态不同的颜色、形状或效果,使得用户可容易地将两种状态彼此区分开。
这里,在步骤S1103中,可基于关于从用户面部识别的视线的信息,经由界面显示与用户的视线匹配的面部姿态参考线。
这里,在步骤S1103中,可经由界面在坐标平面上用第三状态标记面部姿态参考线指向的目标点。
这里,第三状态可具有不同的颜色、形状或效果,使得用户可容易地将第三状态与第一状态和第二状态区分开。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1105中测量包括在输入图像中的用户面部姿态与在应被登记的预定义的目标面部姿态中尚未在当前面部登记处理中登记的面部姿态之间的相似度。例如,当预定义的目标面部姿态的数量是九并且当四条面部信息被登记时,可测量输入面部图像的面部姿态与尚未被登记的五个目标面部姿态之间的相似度。
这里,在步骤S1105中,当用户使用界面移动视线,使得目标点与面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,可改变与未登记的面部姿态相应的面部姿态点被标记的状态。
这里,在步骤S1105中,当目标点的位置与相应的面部姿态点接近到预设距离内的状态保持预设时间段时,可使用用户面部姿态与已登记的面部姿态之间的相似度来对它们进行比较。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1107中确定在步骤S1105中测量的相似度中的至少一个是否大于相似度阈值。这里,在步骤S1105中测量的相似度的数量等于尚未被登记在当前面部登记处理中的面部信息的条数,并且相似度中的每一个相似度是否大于相似度阈值可被确定。这是用于登记与接近尚未被登记的预定义的目标面部姿态的面部姿态相应的面部信息。
当在步骤S1107中确定所有测量的相似度都等于或小于相似度阈值时,处理返回到步骤S1101,从而面部登记处理被再次执行。
当在步骤S1107中确定测量的相似度中的至少一个大于相似度阈值时,从当前输入图像获取的面部信息在步骤S1109中被登记为与相似度最高的预定义的目标面部姿态相应的新的面部信息。
这里,在步骤S1107中,使用要登记在与未登记的面部姿态相应的面部姿态点处的用户面部的面部姿态与登记在与已登记的面部姿态相应的面部姿态点处的用户面部的面部姿态之间的相似度对它们进行比较,并且仅当要登记的面部姿态的旋转度与已登记的面部姿态的旋转度之间的差异等于或大于预设阈值时(即,仅当它们之间的相似度小于相似度阈值时),可在步骤S1109中登记用户面部的面部姿态。
这里,在步骤S1109中,当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点时,第二状态可被改变为第一状态。
这里,面部信息可包括关于面部姿态的信息。
此外,在执行图9中示出的面部登记处理的步骤(S903)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1111中确定与所有预定义的目标面部姿态相应的多条面部信息是否被登记。
当在步骤S1111中确定与所有预定义的目标面部姿态相应的多条面部信息中的至少一条未被登记时,处理返回到步骤S1101,从而面部登记处理被再次执行。
当在步骤S1111中确定与所有预设的登记目标面部姿态相应的所有多条面部信息被登记时,面部登记处理被终止。
图12是示出执行图9中示出的面部识别处理的步骤(S905)的示例的流程图。
参照图12,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1201中从输入图像检测用户面部。
此外,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1203中识别检测到的面部的面部姿态。
这里,面部姿态可包括面部的偏转角和俯仰角。
此外,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1205中测量从输入图像识别的面部姿态与已登记的面部信息的面部姿态之间的姿态相似度。
此外,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1207中从按姿态相似度的降序排列的已登记的多条面部信息选择预设条数的面部信息。这里,选择的多条面部信息是要与输入图像所示的用户面部进行比较的目标面部信息。
这里,在步骤S1207中,满足“面部信息的面部姿态与从输入图像识别的面部姿态之间的姿态相似度等于或大于相似度阈值”条件的所有多条面部信息可从已登记的多条面部信息被选择,并且被用作要与用户面部进行比较的目标面部信息,而不是选择预设条数的面部信息。
这里,为每个已登记的用户选择要比较的目标面部信息。例如,当用户A和用户B已经被登记时,从为用户A登记的多条面部信息选择要与用户A的面部进行比较的面部信息,并且从为用户B登记的多条面部信息选择要与用户B的面部进行比较的面部信息。
此外,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1209中测量从输入图像检测到的用户面部与选择的面部信息之间的面部相似度。
此外,在执行图9中示出的面部识别处理的步骤(S905)中,用于登记面部姿态以用于面部识别的设备(图1中的110)在步骤S1211中确定测量的面部相似度是否大于参考值。
这里,从输入图像检测到的用户面部与选择的多条面部信息之间的面部相似度被测量,并且面部相似度的最大值、其平均值、其中值、其加权平均值或它们的组合是否大于参考值可被确定。
当在步骤S1211中确定测量的面部相似度大于参考值时,检测到的用户面部在步骤S1213中被确定为已登记的面部。例如,当基于检测到的用户面部的姿态从已登记的多条面部信息选择三条面部信息时,当检测到的面部与选择的多条面部信息之间的面部相似度是98%、85%和80%时,并且当参考值是95%时,因为面部相似度的最大值(98%)大于参考值95%,所以输入图像中的用户可被确定为已登记的用户。
当在步骤S1211中确定测量的面部相似度不大于参考值时,检测到的用户面部在步骤S1215中被确定为未被登记的面部。
如上所述,无论用户输入哪个面部姿态,通过找到在已登记的面部姿态中与输入面部姿态最相似的面部姿态来测量姿态相似度,从而可获取对于姿态变化具有鲁棒性的面部识别结果。
用于识别面部的传统方法采用随机选择并连续登记预设数量的面部的方式,或者采用在显示各种面部姿态之后基于各种面部姿态产生并登记3D面部模型的方式。这里,因为不考虑面部姿态的改变并且连续登记相似姿态的面部,所以随机选择并连续登记预设数量的面部的方式对于面部姿态变化不具有鲁棒性。此外,在从以各种角度捕捉的面部图像产生3D模型的方式的情况下,除非使用精确的3D扫描仪,否则难以产生完美的3D模型。此外,当产生3D模型以便得到与输入图像所示的面部姿态相同的面部姿态时,多次产生3D模型图像以具有与实际姿态不同的姿态,从而面部识别性能下降。
为了解决传统方法的问题,当登记面部并且从中提取特征时,本发明使用包括用户的图像自动登记与各种面部姿态相应的多条(例如,30条或更多条)面部信息。当当前输入图像所示的面部被识别时,要识别的面部与相应于与当前输入面部姿态相似的姿态的特征之间的相似度被计算。因此,与使用预先固定的姿态信息的传统的面部登记方法比较,可基于反映各种自然姿态的多个已登记的图像来识别面部。此外,与使用合成的3D面部模型的方法相反,因为计算实际图像之间的匹配信息,所以可获取对于姿态变化更具鲁棒性的面部识别结果。此外,可通过仅存储面部的各种姿态(不包括面部的正面姿态)的特征向量(例如,256维特征向量)来防止需要更多存储空间以便登记各种面部姿态的问题。此外,通过选择与输入图像中示出的面部姿态相似的面部姿态所对应的面部信息并且仅使用选择的信息识别面部,可防止识别各种姿态的面部所花费的处理时间增加的问题。因此,尽管识别各种面部姿态,但是处理时间几乎没有增加。
上述实施例可实现为可由各种计算机工具执行的程序。在这种情况下,可将程序记录在计算机可读存储介质上。计算机可读存储介质可包括单独的或组合的程序指令、数据文件和数据结构。记录在存储介质上的程序指令可以已经被专门设计和配置以用于本发明,或者对于在计算机软件领域中具有普通知识的人员来说可以是公知的或可用的。计算机可读存储介质的示例包括专门被配置为记录并执行程序指令的所有类型的硬件装置,诸如,磁性介质(诸如,硬盘、软盘和磁带)、光学介质(诸如,CD-ROM和DVD)、磁光介质(诸如,光盘、ROM、RAM和闪存)。程序指令的示例包括机器代码(诸如,由编译器创建的代码)和由计算机使用解释器可执行的高级语言代码。硬件装置可被配置为作为一个或更多个软件模块进行操作,以便执行本发明的操作,反之亦然。
经由根据本发明的实施例的用于登记面部姿态以用于面部识别的设备和方法,基于面部姿态登记多条面部信息,并且使用面部信息识别面部,从而可提供对于姿态变化具有鲁棒性的面部识别能力。
此外,经由根据本发明的实施例的用于登记面部姿态以用于面部识别的设备和方法,从包括用户的图像获取并且自动登记与各种面部姿态有关的多条面部信息,从而用户可更容易地连续登记多条面部信息以用于面部识别。
此外,经由根据本发明的实施例的用于登记面部姿态以用于面部识别的设备和方法,因为使用在多条已登记的面部信息中关于与输入图像所示的用户面部姿态相似的面部姿态的信息来确定面部是否是已登记的面部,所以即使存储了多条面部信息,也可有效地减少计算负荷,从而可提供对于各种面部姿态更有效并且具有高准确度的面部识别能力。
尽管在说明书中已经描述了具体实施例,但是它们并不意在限制本发明的范围。为了说明书的简明,可省略对传统电子组件、控制系统、软件和它们的其它功能方面的描述。此外,附图中示出的连接组件或连接构件的线路显示功能连接和/或物理或电路连接,并且可被表示为能够更换实际装置或被添加到实际装置的各种功能连接、物理连接或电路连接。此外,除非使用诸如“必要的”,“重要的”等的专用术语,否则相应的组件可能不是绝对必要的。
因此,本发明的精神不应被解释为限于上述实施例,并且所附权利要求及其等同物的全部范围应被理解为对本发明的范围和精神进行限定。

Claims (20)

1.一种用于登记面部姿态以用于面部识别的设备,包括:
面部检测单元,用于从包括用户面部的图像检测用户面部;
姿态识别单元,用于基于用户面部的旋转度识别用户面部的面部姿态;
登记界面单元,用于提供用于显示关于用户面部的面部姿态是否被登记的信息的界面;
面部登记单元,用于当用户面部的面部姿态被识别为未登记的面部姿态时,基于界面登记用户面部的面部姿态。
2.如权利要求1所述的设备,其中,登记界面单元经由界面显示指示与用户面部旋转的预设度数相应的面部姿态的面部姿态点。
3.如权利要求2所述的设备,其中,登记界面单元在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,其中,所述预设间隔基于用户面部旋转的预设度数。
4.如权利要求3所述的设备,其中,登记界面单元通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
5.如权利要求4所述的设备,其中,登记界面单元经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
6.如权利要求5所述的设备,其中,登记界面单元基于关于从用户面部识别的视线的信息经由界面显示与用户的视线匹配的面部姿态参考线。
7.如权利要求6所述的设备,其中,当面部姿态参考线指向的目标点与在面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,登记界面单元改变与未登记的面部姿态相应的面部姿态点被标记的状态。
8.如权利要求7所述的设备,其中,当目标点的位置与相应的面部姿态点接近到所述预设距离内的状态保持预设时间段时,面部登记单元将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
9.如权利要求8所述的设备,其中,面部登记单元使用要登记在与未登记的面部姿态相应的面部姿态点处的用户面部的面部姿态与登记在与已登记的面部姿态相应的面部姿态点处的用户面部的面部姿态之间的相似度对它们进行比较,并且仅当要登记的面部姿态的旋转度与已登记的面部姿态的旋转度之间的差异等于或大于预设阈值时,将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
10.如权利要求9所述的设备,其中,当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点处时,登记界面单元将第二状态改变为第一状态。
11.一种由用于登记面部姿态以用于面部识别的设备执行的用于登记面部姿态以用于面部识别的方法,包括:
从包括用户面部的图像检测用户面部;
基于用户面部的旋转度识别用户面部的面部姿态;
提供用于显示关于用户面部的面部姿态是否被登记的信息的界面;
当用户面部的面部姿态被识别为未登记的面部姿态时,基于界面登记用户面部的面部姿态。
12.如权利要求11所述的方法,其中,提供界面的步骤被配置为经由界面显示指示与用户面部旋转的预设度数相应的面部姿态的面部姿态点。
13.如权利要求12所述的方法,其中,提供界面的步骤被配置为在坐标平面上设置面部姿态点,使得面部姿态点之间具有预设间隔,其中,所述预设间隔基于用户面部旋转的预设度数。
14.如权利要求13所述的方法,其中,提供界面的步骤被配置为通过在坐标平面上标记与面部姿态相应的面部姿态点来经由界面显示面部姿态是否被登记。
15.如权利要求14所述的方法,其中,提供界面的步骤被配置为经由界面用第一状态标记与已登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态被登记,并且用第二状态标记与未登记的面部姿态相应的面部姿态点,以便显示相应的面部姿态尚未被登记。
16.如权利要求15所述的方法,其中,提供界面的步骤被配置为基于关于从用户面部识别的视线的信息,经由界面显示与用户的视线匹配的面部姿态参考线。
17.如权利要求16所述的方法,其中,提供界面的步骤被配置为经由界面在坐标平面上用第三状态标记面部姿态参考线指向的目标点。
18.如权利要求17所述的方法,其中,提供界面的步骤被配置为当目标点与面部姿态点中未登记的面部姿态所对应的面部姿态点接近到预设距离内时,改变与未登记的面部姿态相应的面部姿态点被标记的状态。
19.如权利要求18所述的方法,其中,登记面部姿态的步骤被配置为当目标点的位置与相应的面部姿态点接近到所述预设距离内的状态保持预设时间段时,将用户面部的面部姿态登记在与未登记的面部姿态相应的面部姿态点处。
20.如权利要求19所述的方法,其中,登记面部姿态的步骤被配置为当用户面部的面部姿态被登记在与未登记的面部姿态相应的面部姿态点处时,将第二状态改变为所述第一状态。
CN201811608734.2A 2017-12-27 2018-12-27 用于登记面部姿态以用于面部识别的设备和方法 Active CN109977746B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0181163 2017-12-27
KR20170181163 2017-12-27
KR10-2018-0146791 2018-11-23
KR1020180146791A KR102466942B1 (ko) 2017-12-27 2018-11-23 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법

Publications (2)

Publication Number Publication Date
CN109977746A true CN109977746A (zh) 2019-07-05
CN109977746B CN109977746B (zh) 2023-11-24

Family

ID=67076392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811608734.2A Active CN109977746B (zh) 2017-12-27 2018-12-27 用于登记面部姿态以用于面部识别的设备和方法

Country Status (1)

Country Link
CN (1) CN109977746B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199883A (ja) * 2009-02-24 2010-09-09 Nikon Corp デジタルカメラ
WO2011030441A1 (ja) * 2009-09-11 2011-03-17 富士通株式会社 生体認証装置、生体認証システム、及び生体認証方法
CN103514440A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别
US9298976B2 (en) * 2011-09-27 2016-03-29 Intel Corporation Method, apparatus and computer readable recording medium for managing a reference face database to improve face recognition performance under a restricted memory environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199883A (ja) * 2009-02-24 2010-09-09 Nikon Corp デジタルカメラ
WO2011030441A1 (ja) * 2009-09-11 2011-03-17 富士通株式会社 生体認証装置、生体認証システム、及び生体認証方法
US9298976B2 (en) * 2011-09-27 2016-03-29 Intel Corporation Method, apparatus and computer readable recording medium for managing a reference face database to improve face recognition performance under a restricted memory environment
CN103514440A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别

Also Published As

Publication number Publication date
CN109977746B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN112797897B (zh) 物体几何参数的测量方法、装置和终端
CN105740780B (zh) 人脸活体检测的方法和装置
CN108627092A (zh) 一种包裹体积的测量方法、系统、储存介质及移动终端
CN109816745B (zh) 人体热力图展示方法及相关产品
CN103189827A (zh) 对象显示装置以及对象显示方法
EP1744280A2 (en) Information processing apparatus and method
CN109754427A (zh) 一种用于标定的方法和装置
WO2014144408A2 (en) Systems, methods, and software for detecting an object in an image
JP6590609B2 (ja) 画像解析装置及び画像解析方法
CN107545588A (zh) 校准照相机的计算机实现方法
CN104246793A (zh) 移动设备的三维脸部识别
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
CN108021847A (zh) 用于识别脸部表情的装置和方法、图像处理装置和系统
CN105426901A (zh) 用于对摄像头视野中的已知物体进行分类的方法
CN108737694A (zh) 照相机系统及图像提供方法
JP5735861B2 (ja) 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ
CN108875556A (zh) 用于人证核验的方法、装置、系统及计算机存储介质
US20220358573A1 (en) Methods and systems for evaluating a size of a garment
CN109902576A (zh) 一种头肩图像分类器的训练方法及应用
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
JP2017003525A (ja) 三次元計測装置
CN113688846B (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
Nakajima et al. Depth-based gait feature representation
JP2004086929A (ja) 画像照合装置
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant