CN109446947A - 视频中的增强的脸部识别 - Google Patents

视频中的增强的脸部识别 Download PDF

Info

Publication number
CN109446947A
CN109446947A CN201811198744.3A CN201811198744A CN109446947A CN 109446947 A CN109446947 A CN 109446947A CN 201811198744 A CN201811198744 A CN 201811198744A CN 109446947 A CN109446947 A CN 109446947A
Authority
CN
China
Prior art keywords
equipment
image data
sensor
people
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811198744.3A
Other languages
English (en)
Other versions
CN109446947B (zh
Inventor
肯尼斯·M.·卡拉科迪西乌斯
傅家权
沃洛季米尔·V.·伊万琴科
黄明静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109446947A publication Critical patent/CN109446947A/zh
Application granted granted Critical
Publication of CN109446947B publication Critical patent/CN109446947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Abstract

公开了一种计算机系统,包括:至少一个波长的红外光的至少一个源;至少一个传感器,其配置为捕获所述至少一个波长的红外光;至少一个处理器;以及存储器,其包括指令,当所述指令由所述至少一个处理器执行时,促使所述计算机系统:激活所述至少一个源,以采用所述至少一个波长的红外光照亮人;从所述至少一个传感器接收第一图像数据;检测由所述第一图像数据体现的特征,所述特征潜在地对应于在反射的红外光中的所述人的瞳孔;分析所述第一图像数据以确定所述瞳孔体现在所述第一图像数据中;至少基于所述瞳孔体现在所述第一图像数据中,选择所述第一图像数据的一部分;以及在所述第一图像数据的所述部分执行面部识别。还公开了一种计算机实现的方法。

Description

视频中的增强的脸部识别
技术领域
本发明涉及图像处理技术领域,更具体地,涉及选择图像帧用于处理,例如,脸部识别,的方法和装置。
背景技术
因为可用的计算设备的种类增加以及这些设备被用于的任务的种类增加,出现了适应用户与这些设备通过接口连接的方式的需要。在很多情况中,为了诸如安全或个人化的目的,对计算设备识别或验证人的身份是合乎需要的。某些设备包括可用于捕获图像信息的视频摄像机。分析视频信息可占用大量处理器时间和消耗大量电力,使得只分析所捕获的视频的某些部分相反可能是合乎需要的。然而在很多情况中,用户将不直接看着摄像机,或将有运动模糊例如可从用户或计算设备(例如,平板计算机或智能电话)的移动产生。随机视频帧的选择因此可导致附加捕获和分析,直到适当的帧被选择,这可导致不必要的延迟和资源利用连同其它问题。
发明内容
根据本公开的各种实施方案的系统和方法可克服在向计算设备提供输入的常规方法中经受的前述和其它缺陷中的一个或多个。特别是,本文讨论的方法使计算设备能够从视频馈送或其它图像流选择一个或多个帧或其它图像部分以用于诸如脸部识别的目的。选择具有某些方面或特征的帧的能力可增加选定的帧将适合于处理的可能性,这可减少使用视频馈送获得期望结果所需的资源的量。
在一个实施方案中,使用头部检测算法或人脸检测算法对视频馈送进行连续分析。在其它实施方案中,视频馈送和/或分析可响应于特定的动作或事件例如运动检测器或光传感器检测到附近的运动或加速度计检测到计算设备的运动而开始。一旦检测到脸部或头部,设备就可利用相对方位确定算法来试图确定对应于所检测的脸的人是否实质上面向摄像机。响应于人实质上面向摄像机的确定,可选择视频的对应帧以用于处理,例如以在图像帧的对应于用户的头部的部分上执行脸部识别。
在一个实施方案中,至少一个红外(IR)发射器或接收器(或收发器)可从计算设备发射IR辐射并检测从用户反射的IR辐射。如果用户至少部分地面向设备,则所反射的IR可包括对应于用户瞳孔(或用户眼睛的其它特征)的位置的不同强度的区域。如在本领域中已知的,人眼与人脸的其余部分不同地反射某些IR波长,使得可使用所反射的IR快速且容易地定位瞳孔。在一些实施方案中,检测两个瞳孔可能足以选择该帧作为用于处理的候选物。在其它实施方案中,设备可通过在所检测的图像信息中分析瞳孔的一个或多个方面来确定用户是否实质上面向设备。
在一些实施方案中,其它方法可用于确定用户是否可能实质上面向设备。例如,具有至少两个麦克风或其它音频捕获元件的设备可使用人所讲的音频的到达时间中的差异来确定用户是否可能实质上面向设备。在另一实例中,当用户实质上面向设备时设备可使用户能够将输入压缩到或以其它方式提供到设备,以便手动地激活图像分析,例如可用于安全地开启设备。又一些其它实施方案可确定当用户正执行关于设备的某些动作例如在触摸屏上打字或在界面上移动光标时用户可能面向设备。只要用户实质上面向设备,用户的头部在图像的平面中的任何倾斜或旋转(仍然面向设备)就是可接受的。然而,旋转例如使用户的头部向下、向后或向侧面倾斜(其中用户不再实质上面向设备)可减小脸部识别的准确度或甚至阻止脸部识别。如果有人考虑三个旋转轴x、y和z,其中x从右延伸到左,y上下延伸,且z相对于图像和/或设备的平面进进出出地延伸,绕着z的旋转是可接受的,因为旋转可被移除和/或在图像中被抵消,但绕着x或y的旋转对于图像识别是成问题的。
根据本申请的一个方面,提供了一种计算机系统,包括:至少一个波长的红外光的至少一个源;至少一个传感器,其配置为捕获所述至少一个波长的红外光;至少一个处理器;以及存储器,其包括指令,当所述指令由所述至少一个处理器执行时,促使所述计算机系统:激活所述至少一个源,以采用所述至少一个波长的红外光照亮人;从所述至少一个传感器接收第一图像数据;检测由所述第一图像数据体现的特征,所述特征潜在地对应于在反射的红外光中的所述人的瞳孔;分析所述第一图像数据以确定所述瞳孔体现在所述第一图像数据中;至少基于所述瞳孔体现在所述第一图像数据中,选择所述第一图像数据的一部分;以及在所述第一图像数据的所述部分执行面部识别。
优选地,所述计算机系统还包括:至少一个图像传感器;所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:使用所述至少一个图像传感器生成所述人的第二图像数据;以及在所述第二图像数据上执行面部识别。
优选地,所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:分析所述第一图像数据以确定所述人大体上面向所述至少一个传感器;以及生成所述第二图像数据,从而对确定所述人大体上面向所述至少一个传感器做出响应。
优选地,所述计算机系统还包括:至少一个音频传感器;所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:使用所述至少一个音频传感器生成音频数据;以及在所述音频数据上执行语音识别。
优选地,所述计算机系统还包括:至少一个视频传感器;所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:使用所述至少一个视频传感器生成视频数据;在所述视频数据中检测表明人的头的至少一个特征;以及激活所述至少一个源,以采用所述至少一个波长的红外光照亮人,从而对检测到所述至少一个特征做出响应。
优选地,所述计算机系统还包括:至少一个运动传感器;所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:使用所述至少一个运动传感器检测所述计算机系统附近的运动;以及使用所述至少一个视频传感器生成所述视频数据,从而对检测到所述运动做出响应。
优选地,所述至少一个源可操作地以特定脉冲频率发送红外光脉冲。
根据本申请的另一个方面,提供了一种计算机实现的方法,其在配置有可执行指令的一个或多个计算机系统的控制下,所述方法包括:激活至少一个红外光的源,所述源配置为使用至少一个波长的红外光照亮人;从至少一个传感器接收第一图像数据,所述至少一个传感器配置为捕获所述至少一个波长的红外光;检测由所述第一图像数据体现的特征,所述特征潜在地对应于在反射的红外光中的所述人的瞳孔;分析所述第一图像数据以确定所述瞳孔体现在所述第一图像数据中;以及在所述第一图像数据的一部分上执行面部识别。
优选地,所述计算机实现的方法还包括:分析所述第一图像数据以确定所述人大体上面向所述至少一个传感器;以及使用至少一个图像传感器生成第二图像数据,从而对检测到所述人大体上面向所述至少一个传感器做出响应;以及在所述第二图像数据上执行面部识别。
优选地,所述计算机实现的方法还包括:使用至少一个音频传感器生成音频数据;以及在所述音频数据上执行语音识别。
附图说明
将参考附图描述根据本公开的各种实施方案,其中:
图1示出示例性情况,其中计算设备根据各种实施方案捕获包括设备附近的人的图像信息以提供输入;
图2(a)和图2(b)示出在从所捕获的视频馈送任意选择帧时可捕获的图像的实例;
图3(a)-3(d)示出示例性情况,其中设备的至少一个摄像机可捕获关于用户的视频信息并确定大致的头部位置,其后,成像方法可用于根据一个实施方案确定用户的脸的相对方位;
图4(a)和图4(b)示出基于如可根据各种实施方案确定的用户的不同相对头部位置的到设备的两个麦克风的音频路径长度中的差异;
图5示出可根据各种实施方案使用的用于选择视频帧用于脸部识别的示例性过程;
图6示出可根据各种实施方案使用的示例性设备;
图7示出可在设备例如在图6中示出的设备中利用的一组示例性部件;以及
图8示出其中可实现各种实施方案的环境的实例。
具体实施方式
下面将参照说明书附图描述本发明的实施例。关于各种实施方案中的至少一些实施方案可以进行很多其它替代和变化。
图1示出示例性情况100,其中计算设备106包括能够捕获在设备周围的一定范围的角上的图像信息的至少一个图像捕获元件108。虽然示出便携式计算设备(例如,手机、电子书阅读器或平板计算机),应理解,根据本文讨论的各种实施方案可使用能够接收并处理输入或至少能够再现和/或显示视觉内容的任何电子设备。示例性设备还可包括例如桌上型计算机、笔记本计算机、个人数字助理、智能电话、视频游戏控制台、电视机顶盒和便携式媒体播放器。
在这个实例中,在设备附近有两个人102、104。对于很多应用,为了多个目的中的任一个而确定一个或多个人的身份可能是合乎需要的,例如以提供对设备上的特征的安全访问或记录关于会议中的人的信息,等等。如果设备106具有带有足够的角捕获范围的至少一个摄像机,那么设备可试图识别至少部分地包含在图像信息中的任何人的身份。在设备(其中单个摄像机在设备的前面或后面)中,这可包括在设备的一侧上的单个用户的图像信息。对于具有广角透镜或多个摄像机的设备,设备可同时捕获关于在设备的给定范围内的多个人或物体的信息,并可试图确定那些人或物体中的每个的身份。
不同的计算设备可具有不同类型的图像捕获元件。例如,一些设备可具有能够在特定的时间点捕获单个图像的数字静物摄像机、或能够连续捕获图像信息的数字视频摄像机,图像信息在至少一些实施方案中可被称为一组帧。对于过程例如相对准确的图像识别,被分析的图像通常必须满足某个最低标准。这可包括例如足够的照明,且相反,但也可包括以下因素:如在图像中面向的人的方向和图像的聚焦的质量。例如,图2(a)示出示例性图像200,其中图像中的人面向相对于图像的一定角度,或不是用户实质上面向图像捕获元件的方位。当例如在没有先前方位分析的情况下任意地或以其它方式捕获图像时,可出现这样的方位。当从视频流选择帧时,类似的问题可产生,除非有视频流的某种处理。分析视频的每个帧或捕获大量静止图像可能需要相当大量的处理,这可能对于通常具有有限的可用资源和电池寿命的便携式设备是不合乎需要的。然而,捕获人在如图2(a)中的角度处的图像可能导致不能使用常规脸部识别算法准确地分析的图像,因为当图像在有限范围内例如离法线加或减二十度被捕获时,此类算法通常要求用户实质上面向图像捕获元件。
类似地,至少部分地由于图像202中的运动模糊的量,在图2(b)中的图像可能不对脸部识别过程产生准确的结果。模糊可例如从在图像捕获期间的用户的运动或在捕获图像时设备的运动产生。模糊也可由于其它因素例如成像元件的不正确聚焦或与元件相关的透镜而出现。也可能存在可防止随机选择的图像能够通过脸部识别或其它图像处理算法准确地处理的多个其它问题中的任一个。
根据各种实施方案的系统和方法利用一个或多个附加输入来试图确定图像信息的帧将可能为多种图像处理算法中的任一个产生足够的结果时的时间。可使用需要相对较低功率和/或处理且可在基于多个不同的因素中的任一个适当激活的元件或部件来得到附加输入。
例如,图3(a)示出示例性情况300,其中人306站在计算设备302的图像捕获元件304的可见范围308内。在一些实施方案中,图像捕获元件304可以是能够至少在特定的时间段内捕获图像信息的实质上连续的流的视频捕获元件。如所讨论的,使用脸部识别算法或其它此类过程来处理整个视频流可能是非常资源密集的。根据某些实施方案的方法替代地使用较不鲁棒的算法,例如利用在随后的帧中的关系或监测所确定的局部特征的子集的算法,以试图识别人的头部或图像流中的其它这样的特征的存在。例如,在图3(a)中,算法可寻找在指定水平或范围的确定性内匹配人头的形状的轮廓或形状。当检测到这样的形状或轮廓时,设备可在对应于人头的所捕获的图像信息中跟踪相对位置或区域310。用于检测和跟踪形状或轮廓的方法在本领域中是已知的,且因此将不在本文被详细地描述。此外,当跟踪被执行且所跟踪的物品保持在所捕获的图像信息中时,确定过程不需要被执行。例如,一旦确定人的头部位置,则可跟踪该特征,而不必重新确定特征是人的头部(除非头部在最少量的时间内在图像之外,等等)。
在至少一些实施方案中,对人的头部的检测可促使至少一个方位确定过程被激活,或至少触发活动的方位确定过程的一部分。在一个实例中,计算设备可具有至少一个红外(IR)发射器和接收器或至少一个IR收发器(例如随后在图6中示出的)。如在本领域中已知的,人眼与人头的其余部分不同地反射IR辐射,使得用户的眼睛的位置可通过分析所捕获的IR图像而快速被检测到和/或定位。此类信息可用于帮助选择将被分析来用于脸部识别或其它识别的人的至少一个图像。例如,图3(b)示出实例(其中将有在对应于所检测的头部位置的区域中被检测到的一个瞳孔)例如可对应于背离设备或部分地被阻塞物阻挡的用户。因此,如果单个瞳孔的检测被分析,那么其可向设备指示图像信息的对应的当前捕获的帧将可能不会产生准确的结果。因此,当结果将可能更准确时,设备可等待一段时间。在至少一些实施方案中,因为用户将可能只相对于设备移动得这么快,某些特征在所捕获的图像信息中不可见的确定可促使信息的几个帧或秒在再次试图定位特征之前被跳过,以便在所述特征将不可能存在时节省电力和资源。
在图3(c)中,可能有在对应于所确定的头部位置308的所反射IR中检测到的两个特征,所述两个特征可能对应于人的两个瞳孔。在一些实施方案中,在所捕获的IR中的两个瞳孔的存在可足以使对应的图像被选择用于分析。当检测到两个瞳孔时,用户可在相当大百分比的时间内充分面向摄像机,使得设备或应用被配置成当两个瞳孔存在时使用图像,知道这些图像的百分比仍将不产生准确的结果。在对每个图像完成的处理的量与附加图像将需要被捕获和分析的时间的百分比之间可达成平衡。
在一些实施方案中,对应于检测到的头部位置的仅仅两个瞳孔状特征的存在不足以选择对应的图像帧用于处理。至少一些实施方案也考虑到以下因素:例如在所检测的头部位置中的那些特征的相对位置和/或间距。例如,在图3(c)中,可看到,在瞳孔特征310之间的中心点实质上相对于所检测的头部位置308偏离中心。在至少一些实施方案中,瞳孔之间的中心点必须在离头部区域的中心点的距离(所确定的头部区域308的宽度)的给定百分比内,以使图像被选择。在图3(c)中,中心位置可足够远离头部区域的中心,以使图像不被选择来用于处理。此外,一些过程可分析瞳孔特征之间的间距320以确定人是否实质上朝着图像捕获元件看。对于一般人而言,存在一定范围的瞳孔间距(作为头部宽度的百分比或分数),其将对应于实质上面向图像捕获元件的人。在图3(c)中,在瞳孔特征之间的间距320小于在图3(d)中的间距,其中人实质上正朝着图像捕获元件看。因此,虽然一些实施方案由于两个检测到的瞳孔的存在而将选择对应于图3(c)的定时的图像,其它实施方案可能由于至少所述瞳孔足够偏离中心或具有指示人可能实质上不朝着图像捕获元件看的间距而不选择这样的图像。
图3(d)示出示例性情况,其中在至少一些实施方案中可选择对应于时间点的图像帧。在该实例中,在所确定的头部区域308中检测到对应于瞳孔状特征的两个特征。在瞳孔310之间的中心点接近头部区域的中心,且特征之间的间距在指示用户面向图像捕获设备的范围内。因此,经分析的IR数据可促使设备利用当前正被捕获(假设以足够频繁的捕获率)或在大约IR分析的时间被捕获(假设图像或视频信息的至少一些缓冲)的图像。查看相对于所检测的头部区域的维度可抵消在图像之间的标度的差异,并简化确定过程。
在设备具有多于一个图像捕获元件的实施方案中,可使用来自多个摄像机的图像信息做出确定以确定用户正面向、最接近哪个摄像机,等等。在其它实施方案中,可利用来自单个图像捕获元件的经分析的图像信息以试图确定用于面部识别的最佳图像捕获元件。一旦这样的确定被做出,所选择的图像捕获元件就可用于执行对那个人的脸部识别。也可利用多个摄像机的其它优点。例如,如果用户的头部位置被跟踪,则所述跟踪在例如不同的摄像机视图中可以是连续的,使得由于图像信息由不同的摄像机捕获而无需执行附加检测或其它这样的过程。
在至少一些实施方案中,可在选择这样的图像之前对其它方面进行分析。例如,一些方法也可能也考虑到瞳孔相对于头部区域的垂直位置,以确定用户是否可能在图像中向上或向下看得太远以产生准确的结果。在其它实施方案中,可分析瞳孔信息的形状以确定图像是否可能聚焦。例如,如果瞳孔不具有在所反射的IR中的定义明确的边缘,则可能存在可类似地防止所捕获的图像信息聚焦的运动或另一问题。类似地,如果瞳孔不具有实质上圆形的形状,则它可指示存在可能防止图像信息在被分析时产生准确结果的移动或另一问题。在一些实施方案中,多个波长可用于确保特征实际上对应于人眼,如将在本文稍后更详细地讨论的。用于确定人眼的形状或其它参数的方法可在例如于2010年5月24日提交的且标题为“Determining Relative Motion as Input”的共同未决的美国专利申请号12/786,297中找到,该专利申请通过引用的方式并入本文。
在其它实施方案中,设备可能不具有IR能力,或可能利用不会消耗大量电力的方法,因为使用IR辐射照亮区域可能对至少一些设备而言需要相当大的功率。甚至在IR源产生脉动或以其它方式被定时以与所检测的头部或头部位置对应的场合,例如在至少一些情况下所需电力的量可多于所期望的量。
因此,根据某些实施方案的设备可利用其它输入,例如立体声麦克风或多个音频捕获元件,以试图确定人何时实质上面向设备。例如,图4(a)示出情况400,其中人402在讲话时正面向相对于电子设备404的角度。如在本领域中已知的,声音以实质上恒定的速度在公共介质(例如空气)中传播,使得在离音频源不同距离处的音频捕获元件将在不同的时间捕获相同的音频。使用方法例如到达时间确定,在公共音频信号的到达之间的时间差可用于确定音频源的近似的位置或至少方向。如可在图4(a)中看到的,当人使他或她的头部相对于设备倾斜或以其它方式远离设备前面的中心方向410定位时,到音频捕获元件408中的一个的路径长度414将比到电子设备404的另一音频捕获元件的路径长度412短。可例如基于讲话或唱歌的人所产生的音频来做出人可能不在设备前面或面向设备的确定,使得对应的图像可能不会产生准确的处理结果。
在图4(b)中,另一方面,路径长度412、414实质上是相等的,使得由人产生的音频在实质上相同的时间被麦克风406、408捕获,指示用户可能接近设备的中心方向410并实质上面向设备。在至少一些实施方案中,这样的确定可足以促使在实质上相同的时间捕获的图像被选择来用于处理。在一些实施方案中,音频源的确定的方向可与相对于设备的头部位置的确定的方向比较。例如,如果人的头部位于摄像机可视区域中心偏右侧30度,且所确定的音频源在约相同的角度处,则设备可足以确定用户正面向设备(虽然从一角度),使得人可能能够使用适当的算法在图像中被识别。在其它实施方案中也可使用各种其它方法。
图5示出可用于选择帧以用于根据各种实施方案处理的过程500的实例。然而应理解,可能有在各种实施方案的范围内以类似或可选的顺序或并行地执行的附加的附加的、较少的或可选的步骤,除非另有规定。在本例该实例中,视频捕获在设备502上被激活。如在本文其它地方讨论的,所述捕获可响应于某个事件或动作例如检测运动、音频或设备附近的热识别特征的类型而被手动或自动激活。在本例该实例中,所捕获的视频流可被监测以使用适当的检测算法504检测用户的头部或脸部的可能存在。如所讨论的,在其它实例中,头部检测可响应于检测例如瞳孔或音频而被触发,或在分析仅基于视频捕获和例如瞳孔检测而不需要单独地确定头部位置的某些实施方案中可能根本不被使用。
当在所捕获的视频中检测到特征例如人的头部存在时,可激活方位检测过程(506)。如所讨论的,这可包括触发红外检测算法、分析所捕获的音频或监测另一这样类型的输入。这样的过程可试图确定人何时处于相对于计算设备的相对方位上,使得人被确定为实质上面向设备的图像捕获元件。可接着分析来自方位检测过程的信息,所述信息对应于视频信息510的当前帧。对于IR检测,这可包括确定人的眼睛的一个或多个是否出现在所捕获的IR图像中,以及那些眼睛是否满足任何尺寸、形状、位置或间距标准。对于音频分析,这可包括确定人在讲话时的相对方向。如果确定用户实质上面向设备512,则至少在可允许的偏差范围内,视频的当前帧或至少对应于方位确定的时间的帧可被选择来用于处理(516),例如用于物体识别或脸部识别。如果确定用户在可接受的偏差内实质上不面向设备或在以可接受水平的确定性不可做出确定的情况下,则信息可被丢弃(除非对其它目的是需要的)且设备可等待分析随后的帧514,帧514接着可经历过程的类似部分。在一些实施方案中,方位的分析将以某个频率出现,例如以使IR以不大于最大频率产生脉动,以便节省设备上的电力。可使用各种其它触发方法,如根据本文包含的教导和建议应明显的。
图6示出可根据各种实施方式设施方式使用的电子计算设备600的实例。如所讨论的,也可使用在各种实施方案的范围内的各种其它类型的电子设备。这个示例性设备包括用于向用户显示信息的显示元件612,如本领域中已知的。示例性设备还包括至少一个运动确定元件608,例如加速度计或陀螺仪元件,其可用于确定设备的运动,这可帮助使用本文描述的各种方法来预测所捕获的图像的模糊或焦点。设备还包括用于捕获关于设备的用户的图像信息的至少一个图像捕获元件。成像元件可包括例如摄像机、电荷耦合器件(CCD)、运动检测传感器或辐射传感器连同很多其它可能性。图6中的示例性设备包括用于使用环境光来捕获图像信息的数字视频摄像机616,如本领于中已知的。示例性设备还包括红外(IR)发射器602和两个IR检测器604、606(虽然也可使用在各种实施方案的范围内的单个检测器和两个发射器)。IR发射器602可被配置成发射IR辐射,且每个检测器可检测从用户(或其它这样的表面或物体)反射的IR辐射。在这个实例中,通过使检测器偏移,每个检测器将检测以不同角度反射的辐射。
在图6所示的实例中,将第一IR检测器604定位成实质上相邻于IR发射器602,使得第一IR检测器将能够捕获在实质上与检测器的捕获平面正交的方向上从表面例如查看者的视网膜反射回的红外辐射。将第二IR检测器606定位在远离IR发射器602的一段距离处,使得检测器将仅检测以相对于正交方向的一定角度反射的IR辐射。当使后向反射器例如用户的视网膜成像时,第二IR发射器将由于IR发射器而检测到很少或几乎没有反射辐射,因为视网膜将不在第二发射器的方向上明显反射(虽然疵点、微粒或变化可使一些辐射偏转)。如在本文稍后讨论的,在图像当中的这个差异可用于确定用户的视网膜的位置(和其它方面),因为在两个图像之间的IR反射中的差异将明显在瞳孔或其它这样的特征附近,但图像的其余部分将实质上是类似的。
在可选的实施方案中,计算设备利用一对IR发射器(例如,IR发光二极管(LED)、IR激光二极管或其它这样的部件),以用不使用户分心(或甚至可检测到)的方式照亮用户的脸,其中反射的光由单个IR传感器捕获。将LED分开足够的距离,使得传感器在该辐射从传感器附近的LED发射时将检测来自瞳孔的反射辐射,且在该辐射从定位成远离传感器的LED发射时将不检测反射辐射。传感器可捕获使设备能够分析反射IR光的用户特征(例如用户的瞳孔或牙齿)的IR图像。算法可试图计算对应于例如在用户眼睛之间等距位置的三维空间(x,y,z)中的位置,并且可使用这个位置来跟踪用户移动和/或确定头部运动。可使用利用单个IR发光二极管和一对IR传感器的类似的方法,如上讨论的。因此,设备可引导来自两个位置的IR或检测来自两个位置的IR,这些位置中的只有一个位置接收来自用户视网膜的向后反射辐射。其它实施方案可利用用于例如通过要求用户戴眼镜来执行头部跟踪的其它方法,该眼镜发射来自点源等的IR辐射。
在一些实施方案中,当使用在两个方向上的单个波长IR(例如,940nm)时利用单个发射器和两个检测器可能是优选的,因为使用单个摄像机可能更便宜,但也要求来自不同方向的图像在不同的时间被捕获。在不同的时间捕获图像的不利之处是,在此期间的移动可影响甚至对于约30Hz(或15Hz用于两个摄像机,以得到相同的分辨率)的捕获频率的确定。多摄像机系统的优点是,图像可实质上同时被捕获,使得图像之间的移动被最小化。然而,这样的方法的潜在不利之处是,由于从两个不同的观察点捕获图像,在图像中可能有光学变化。
在一个实施方案中,单个检测器可用于检测在两个不同的波长处被反射的辐射。例如,第一LED可发射在由视网膜反射的波长(例如,940nm)处的辐射,而第二LED可发射在由人眼的角膜和/或其它部位吸收的波长(例如,1100nm)处的辐射。可至少部分地基于波长相对于人眼的反射特性而在选定波长范围内选择特定的波长。例如,实验指示光具有在约940nm下的小于50%吸收率(对于一般人眼而言)、在约940nm和约1030nm之间的高于50%吸收率、对于在约1040nm与约1100nm之间的波长的约50%吸收率以及在1150nm及以上的约100%吸收率。因此,可选择落在这些范围的至少一些内的发射器,例如具有明显小于50%吸收率的第一IR发射器和具有明显大于50%吸收率的第二IR发射器。在至少一些实施方案中,特定的波长还可基于可用设备的波长。例如,可选择具有相对低的吸收率的在904nm处的可用激光二极管,并可选择具有相对高的吸收率的在980nm和1064nm处的可用激光二极管。在一些实施方案中,较高波长二极管的功率输出可按比例升高到实质上与由CMOS传感器(或其它这样的检测器)感知的较低波长二极管的亮度匹配,CMOS传感器的敏感度可在约1100nm的值处降低到几乎为零,使得在至少一个实施方案中,两个发射器具有910nm和970nm的波长。
使用两个波长的优点是,LED可同时发射辐射,只要因而产生的图像能够被分解,以便提取对应于每个波长的图像信息。在本文其它地方讨论了用于分解这样的图像的各种方法。然后,可将LED定位于摄像机附近,或者如果所述LED在(至少)两个感兴趣的频率下操作,那么可以使用摄像机附近的单个LED或发射器。
可将发射器和检测器以及任何环境光摄像机或其它图像捕获元件定位于设备上最不可能干扰用户对设备的操作的位置中。例如,如果确定普通用户通过设备的任一侧的中部且主要在设备的右侧上或底部上握住设备,则可将发射器和检测器定位于设备的角处,主要在设备的左手侧或顶部上。在另一实施方案中,可能有定位于设备上的附加IR发射器(未示出),这些IR发射器以不同的频率发射IR。通过检测哪些频率由检测器接收,设备可确定关于用户注视的方位的特定信息。使用IR光来检测相对眼位置的进一步的讨论可在2010年5月24日提交的且标题为“Determining Relative Motion as Input”的共同未决的美国专利申请号12/786,297中找到,该专利特此通过引用被并入本文。
在一些实施方案中,用户参与解释诸如来自用户的眼反射的强度的方面的校准过程以及确定尺寸、校准方向确定等可能是有用的。如果用户使用降低反射能力等的眼镜,这样的方法也可能是有用的。
如所讨论的,也可为了各种目的而提供其它类型的输入。例如,设备可包括在设备600的至少一部分周围例如在设备的后面和/或侧面上的触摸式和/或压力敏感元件610。使用这样的材料,设备能够确定用户是否正主动握住设备和/或可使用户能够通过握住设备的至少一部分来应用输入。输入信息可用于使用户能够触发手动认证,例如以执行设备的安全开启。用户可实质上面向设备并握住、挥击或以其它方式向设备上的区域提供输入,此时,设备可通过该输入确定用户可能看着屏幕并可使用最近或随后捕获的图像信息以使用脸部识别或其它这样的算法进行处理。设备还可通过使用材料来确定设备的哪些部分可能被用户的手覆盖。在这样的实施方案中,多个摄像机和/或IR发射器可定位于设备上不同的位置处,且基于用户正握住设备的地方(即,哪些IR发射器被覆盖与未覆盖),系统可确定在捕获图像时使用哪个(些)元件。
图6中的示例性设备还包括单独的检测元件116,例如运动传感器、热识别特征检测器或光传感器。这样的元件可提供输入,例如是否有足够的照明用于使图像被分析,以及在房间中是否可能有人,以用于激活图像捕获或方位确定过程的目的。此外,光检测传感器可帮助设备补偿在光或亮度上的大调节,这可促使用户的瞳孔放扩大,等等。例如,当用户在黑暗的房间中操作设备且有人开灯时,用户的瞳孔的直径将发生变化改变。如同上述实例一样,如果设备包括可在不同的模式中操作的显示元件,则设备也可基于用户的瞳孔放扩大中的变化来切换模式。为了使设备正确地解释设备与和用户之间的间距中的变化,光检测传感器可使注视跟踪临时被禁用扩大,直到用户的眼睛静止不动且重新校准过程被执行为止。也可使用在各种实施方案的范围内的补偿光变化的各种其它这样的方法。
图6中的示例性设备600被示为还包括麦克风614或其它这样的音频捕获设备。如图4(a)所示的,例如设备可包括多个音频捕获元件,所述音频捕获元件其可用于帮助确定在二维或三维中的音频源的相对方向或位置。在至少一些实施方案中,设备也可基于由麦克风检测到的声音来触发各种动作。例如,如果设备检测到来自人的语音,则设备可激活视频捕获以试图定位和/或识别讲话的人。
在图6的示例性配置中,每个成像元件604、606、616在计算设备的同一一般侧上作为显示元件,使得当用户查看显示元件中的界面时,成像元件具有可见区域,根据该实例,可见区域包括用户的脸。虽然在一些实施方案中成像元件相对于设备是固定的,但是在其它实施方案中,成像元件可操作来例如通过旋转成像元件或将光引导到成像元件的光学元件(例如,透镜、反射镜等)来跟踪用户的位置。在一些实施方案中,设备可包括在设备的侧面、后面或角上或在任何其它这样的位置上的捕获元件,所述捕获元件可捕获在设备周围的任何适当方向上的图像信息。在一些实施方案中,设备可同时使在设备周围的不同位置上的多个人成像并识别这些人,并使用各种元件随着时间的过去跟踪那些人。
图7示出示例性计算设备700(例如关于图6描述的设备)的一组基本部件。虽然在本文的很多实例中描绘了便携式智能设备,但是计算设备可以是能够接收并处理输入命令的任何适当的设备,例如个人计算机、膝上型计算机、电视机顶盒、蜂窝电话、PDA、电子书阅读设备、视频游戏系统或便携式媒体播放器及其它设备。在该实例中,设备包括处理器702,其用于执行可存储在存储器设备或元件704中的指令。如在本领域中已知的,设备可包括很多类型的存储器、数据存储器或计算机可读介质,例如用于由处理器702执行的程序指令的第一数据存储器、用于图像或数据的单独存储器、用于与其它设备共享信息的可移动存储器等。设备通常将包括某种类型的显示元件706,例如液晶显示器(LCD),然而设备例如便携式媒体播放器可能经由其它装置(例如通过音频扬声器)来传送信息。如所讨论的,在很多实施方案中,设备将包括至少一个成像元件708,例如能够使用户的脸部区域成像的摄像机、传感器或检测器。成像元件可包括任何适当的技术,例如CCD成像元件,其具有足够的分辨率、焦距和可见区以当用户操作设备时捕获用户的图像。用于使用具有计算设备的成像元件捕获图像的方法在本领域中是公知的,且将不在本文将进行详细地讨论。应理解,可使用单个图像、多个图像、周期性成像、连续图像捕获、图像流式传送等来执行图像捕获。此外,设备可包括例如当从用户、应用或其它设备接收命令时开始和/或停止图像捕获的能力。
在一些实施方案中,设备可包括能够帮助选择如在本文其它地方讨论的适当图像的至少一个方位确定元件710。在一个实例中,所述至少一个方位确定元件是至少一个单轴加速度计或多轴加速度计,其能够检测例如设备的三维位置以及设备的移动幅度和方向以及振动、震动等因素。用于使用元件(例如加速度计)来确定设备的方位或移动的方法在本领域中也是已知的,且将不在本文进行详细讨论。也可使用在各种实施方案的范围内的用于检测方位和/或移动的其它元件,其用作方位确定元件。在一些实施方案中,方位确定元件可确定设备何时移动并可能产生模糊的图像,且可防止IR在此期间产生脉动以便节省电力,因为至少基于设备的运动,图像信息将可能不是有用的。
设备可包括能够从用户接收常规输入的至少一个附加输入设备712。这个常规输入可包括例如按钮、触摸板、与显示器一起使用的触敏元件、轮、操纵杆、键盘、鼠标、小键盘或任何其它这样的设备或元件,由此用户可向设备输入命令。一些设备还可包括麦克风或接受语音或其它音频命令的其它音频捕获元件。例如,设备可能根本不包括任何按钮,但可能仅通过视觉或音频命令的组合来控制,使得用户可控制设备而不必与设备接触。如在本文稍后将讨论的,也可至少部分地基于用户的所确定的注视方向或其它此类信息来调节或控制这些附加输入设备的功能。
在一些实施方案中,一个或多个图标或其它通知可显示在设备上以向用户指示IR照明是活动的,或图像识别被执行。在一些实施方案中,设备上的光(例如,LED)可照亮,以便通知用户脸部识别被激活,以便向用户发信号通知用户应看着设备并保持相对静止,直到过程可完成为止。也可适当使用各种其它通知。
也可使用在各种实施方案的范围内的多种其它方法。例如,热成像或另一这样的方法可用于试图确定并跟踪个人用户的至少一些方面的位置。在很多情况下,成像系统需要足够小和便宜用于大规模销售,使得简单或常规成像方法和部件可能是优选的。某些现有的摄像机可检测红外辐射,但通常利用IR滤波器。利用没有IR滤波器且可能具有环境光滤波器的这些摄像机可允许这些相对廉价的设备用作IR检测器。
其它常规元件可用于降低能够执行本文讨论的方法的计算设备的成本,但可能较不准确和/或可能需要较大的设备。例如,图像可使用分束器(例如,镀银镜)分开,使得一半反射光被反射到不同的位置(例如,传感器的部分)。类似地,各种光学元件例如光学干涉仪可用于试图获得准确的距离测量。
用于这样的目的的计算设备可为了在本领域中已知的任何适当的目的在任何适当的环境中操作或随后被发展。此外,本文讨论的各种方法可在各种环境中实现,以用于各种应用或用途。分析的部分也可被发送或卸载到可能具有更多可用资源和/或能力的远程设备。例如,图8示出用于实现根据各种实施方案的方面的环境800的实例。如将认识到的,虽然基于网络的环境用于解释的目的,但是也可适当使用不同的环境,以实现各种实施方案。所示的环境800包括各种电子客户端设备802,其可包括可操作来通过适当的网络804发送和接收请求、消息或信息并将信息传送回到设备的用户的任何适当的设备。这样的客户端设备的实例包括个人计算机、手机、手持式消息设备、膝上型计算机、机顶盒、个人数字助理、电子书阅读器等。每个客户端设备可能够运行至少一个运动或方位控制的接口,如本文讨论或建议的。在一些情况下,接口的所有功能将在设备上产生。在其它实施方案中,至少一些功能或内容将响应于从至少一个网络804上接收的指令或信息而产生。
网络804可包括任何适当的网络,包括内联网、互联网、蜂窝网络、局域网或任何其它这样的网络或其组合。用于这样的系统的部件可至少部分地取决于网络的类型和/或所选择的环境。用于经由这样的网络进行通信的协议和部件是公知的,且不在本文进行详细讨论。通过网络进行通信可通过有线或无线连接和其组合来实现。在该实例中,网络包括互联网,因为环境包括主要内容提供者806和补充内容提供者808。每个提供者可包括用于从用户设备802接收请求并响应于其而提供内容的至少一个网络服务器806,然而对于其它网络,可使用用于类似目的的替代设备,如对本领域中的普通技术人员明显的。
在该说明性环境中的每个内容提供者包括至少一个应用服务器812、814、822或与至少一个数据存储816、818、824进行通信的其它这样的服务器。应理解,可以有若干应用服务器、层和/或其它元件、过程或部件,其可以链接在一起或以其它方式被配置,可相互作用以执行例如从适当的数据存储获得数据等任务。如在本文使用的,术语“数据存储”指能够存储、访问和检索数据的任何设备或设备的组合,其可包括在任何标准、分布式或集群环境中的任何组合和数量的数据服务器、数据库、数据存储设备和数据存储介质。应用服务器可包括任何适当的硬件和软件,所述硬件和软件用于根据需要与数据存储集成以执行对客户端设备的一个或多个应用的方面、处理大部分数据访问和应用的业务逻辑。应用服务器与数据存储协作来提供访问控制服务,并能够产生将被传送给用户的内容(例如文本、图形、音频和/或视频),所述内容在该实例中可通过网络服务器以HTML、XML或另一适当的结构语言的形式提供给用户。所有请求和响应的处理以及在客户端设备802与应用服务器之间的内容的输送可由相应的网络服务器处理。应理解,网络服务器和应用服务器不是要求的,且仅仅是示例性部件,因为本文讨论的结构代码可在如在本文其它地方讨论的任何适当的设备或主机机器上执行。此外,可以测试自动化框架可被提供为用户或应用可签署的服务的方式构建环境。测试自动化框架可被提供为本文讨论的各种测试模式中的任一个的实施方式,然而也可使用各种其它实施方式,如在本文讨论或提议的。
每个数据存储可包括若干单独的数据表、数据库或用于存储与特定的方面有关的其它数据存储机制和介质。例如,所示的页面数据存储816包括用于存储对产生网页有用的页面数据的机制,且用户信息数据存储818包括对为用户选择和/或定制的网页有用的信息。应理解,可能有可能需要存储在数据存储中的很多其它方面,例如访问权限信息,其可适当存储于以上列出的机制的任一个中或数据存储中的附加机制中。每个数据存储可通过与其相关的逻辑是可操作的,以从相应的应用服务器接收指令并响应于其而获得、更新或以其它方式处理数据。在一个实例中,用户可提交对某种类型的内容的搜索请求。在这种情况下,数据存储可访问用户信息以验证用户的身份,并可访问内容信息以获得关于所述类型的内容的实例的信息。该信息可接着被返回给用户,例如在用户能够经由用户设备802上的浏览器查看的网页上的结果列表中的。可在专用页面或浏览器的窗口中查看内容的特定实例的信息。
每个服务器通常将包括为该服务器的一般管理和操作提供可执行程序指令的操作系统,并通常将包括存储指令的计算机可读介质,当指令由服务器的处理器执行时允许服务器执行其预期的功能。操作系统的适当实施方式和服务器的一般功能是已知的或可商购的,且容易由本领域的普通技术人员实现,特别是根据本文的公开。
在一个实施方案中,环境是利用经由通信链路使用一个或多个计算机网络或直接连接而互连的若干计算机系统和部件的分布式计算环境。然而,本领域中的普通技术人员将认识到,这样的系统可同样较好地在具有比图8所示的更少或更多数量的部件的系统中操作。因此图8中的系统800的描述应被理解为在本质上是说明性的,而不是对本公开的范围的限制。
本文讨论或建议的各种实施方案可在各种操作环境中实现,在一些情况下,操作环境可包括可用于操作多个应用中的任一个的一个或多个用户计算机、计算设备或处理设备。用户或客户端设备可包括多个通用个人计算机中的任一个,例如运行标准操作系统的桌上型计算机或膝上型计算机、以及运行移动软件并能够支持多种联网和信息协议的蜂窝设备、无线设备和手持设备。这样的系统也可包括运行各种可商购的操作系统中的任一个的多个工作台和用于例如发展和数据库管理等目的的其它已知的应用。这些设备还可包括其它电子设备,例如虚拟终端、瘦客户端、游戏系统和能够经由网络进行通信的其它设备。
大部分实施方案利用本领域技术人员熟悉的至少一个网络,其用于支持使用各种可商购的协议中的任一种,例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk的通信。网络可例如是局域网、广域网、虚拟专用网、互联网、内联网、外联网、公共交换电话网络、红外网络、无线网络和其任何组合。
在利用网络服务器的实施方案中,网络服务器可运行各种服务器或中层应用中的任一种,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和商业应用服务器。服务器也可以能够例如通过执行一个或多个网络应用来执行来自用户设备的响应请求中的程序或脚本,网络应用可被实现为以任何编程语言例如C、C#或C++或任何脚本语言例如Perl、Python或TCL以及其组合编写的一个或多个脚本或程序。服务器还可包括数据库服务器,包括但不限于可从商购的那些数据库服务器。
环境可包括各种数据存储和其它存储器和存储介质,如上所讨论的。这些可存在于各种位置上,例如对一个或多个计算机是本地(和/或存在于一个或多个计算机中)的或远离网络中的任一个或所有计算机的存储介质上的各种位置中。在一组特定的实施方案中,信息可存在于本领域技术人员熟悉的存储区域网(“SAN”)中。类似地,用于执行被归于计算机、服务器或其它网络设备的功能的任何必要的文件可适当地本地和/或远程存储。在系统包括计算机化设备的场合,每个这样的设备可包括可经由总线电耦合的硬件元件,所述元件包括例如至少一个中央处理单元(CPU)、至少一个输入设备(例如,鼠标、键盘、控制器、触摸屏或小键盘)和至少一个输出设备(例如,显示设备、打印机或扬声器)。这样的系统还可包括一个或多个存储设备,例如磁盘驱动器、光学存储设备和固态存储设备例如随机存取存储器(“RAM”)或只读存储器(“ROM”)以及可移动介质设备、存储卡、闪存卡等。
这样的设备还可包括计算机可读存储介质阅读器、通信设备(例如,调制解调器、网卡(无线或有线)、红外通信设备等)和如上所述的工作存储器。计算机可读存储介质阅读器可连接或被配置成接收计算机可读存储介质、代表远程、本地、固定和/或可移动存储设备以及用于临时和/或更永久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种设备通常还包括多个软件应用、模块、服务或位于至少一个工作存储设备内的其它元件,包括操作系统和应用程序,例如客户端应用或网络浏览器。应认识到,可选的实施方案可具有偏离上面描述的实施方案的很多变化。例如,定制的硬件也可被使用和/或特定的元件可在硬件、软件(包括便携式软件例如applet)或这两者中实现。此外,可使用到其它计算设备例如网络输入/输出设备的连接。
用于包含代码或代码的部分的存储介质和计算机可读介质可包括在本领域中已知或使用的任何适当的介质,包括在用于信息(例如计算机可读指令、数据结构、程序模块或其它数据)的存储和/或传输的任何方法或技术中实现的存储介质和通信介质,例如但不限于易失性和非易失性、可移动和不可移动介质,包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光学存储、盒式磁带、磁带、磁盘存储器或其它磁性存储设备或可用于存储期望信息并可由系统设备访问的任何其它介质。基于本文提供的公开和教导,本领域中的普通技术人员将认识到实现各种实施方案的其它方式和/或方法。
说明书和附图因此在说明性而不是限制性的意义上被考虑。然而将明显,在不偏离本发明的更宽的精神和范围的情况下,可对其做出各种修改和改变。
条款
1.一种选择视频帧用于脸部识别的计算机实现的方法,其包括:
在配置有可执行指令的一个或多个计算系统的控制下,
在电子设备上发起视频信息的捕获;
检测所述视频信息中的指示人的头部的至少一个特征;
响应于检测所述至少一个特征,激活所述电子设备的至少一个红外(IR)成像机制,其可操作来使用至少一个波长的IR光照亮所述人并检测从所述人反射的IR光;
检测在所反射的IR光中对应于所述人的瞳孔的特征;
分析检测到的所述特征以确定所反射的IR光中的所述检测到的特征的方位、测量或焦点的水平中的至少一个;
当所述检测到的特征的所述方位、测量或焦点的水平中的至少一个满足规定的选择标准时选择视频信息的当前帧;以及
对所选择的帧执行脸部识别。
2.条款1的计算机实现的方法,其中选择视频信息的当前帧还基于检测到的IR反射指示对应于人眼的所述检测到的特征的确定。
3.条款1的计算机实现的方法,其中所述至少一个IR成像机制可操作来在指定的发射频率下发射IR光的脉冲。
4.条款1的计算机实现的方法,其包括:
在发起视频信息的捕获之前检测所述电子设备附近的运动。
5.一种选择视频帧用于处理的计算机实现的方法,其包括:
在配置有可执行指令的一个或多个计算系统的控制下,
获得使用至少一个图像捕获元件捕获的一系列图像帧;
在大约获得所述系列图像帧的时间执行至少一个方位确定过程以确定人在所述系列的图像帧的至少一部分中的相对方位;
响应于经由所述至少一个方位确定过程确定在实质上对应于所选择的图像帧的捕获时间的时间所述人实质上面向所述至少一个图像捕获元件而从所述系列选择所述图像帧中的一个;以及
提供所选择的帧用于处理。
6.条款5的计算机实现的方法,其中所述至少一个方位过程包括:
在所述至少一个图像捕获元件的捕获方向上发射至少一个波长的IR辐射;
检测所反射的IR辐射;以及
定位在所反射的IR辐射中的对应于人眼的一个或多个特征。
7.条款6的计算机实现的方法,其中所述至少一个方位过程包括:
使用至少两个音频捕获元件捕获音频信息;以及
至少确定所述音频信息的源的方向,
其中选择所述图像帧中的一个还至少部分地基于所确定的方向。
8.条款6的计算机实现的方法,其中所述至少一个方位过程包括:
确定关于包括所述至少一个捕获元件的电子设备的一部分的运动或压力中的至少一个,所述运动或压力对应于从待识别的人到所述电子设备的输入。
9.条款5的计算机实现的方法,其中选择所述图像帧中的一个包括选择与所述至少一个图像捕获元件被确定为相对于被成像的人实质上静止时的时间对应的图像帧。
10.条款5的计算机实现的方法,其中选择所述图像帧中的一个包括选择与运动传感器检测到物体的移动的最大阈值时的时间对应的图像帧,所述物体能够关于所述至少一个图像捕获元件在所述图像帧中被捕获。
11.条款5的计算机实现的方法,其中所述至少一个图像捕获元件被配置成响应于检测到的运动、检测到的热识别特征、检测到的IR反射类型或音频信息的阈值量中的至少一个来捕获所述系列图像。
12.条款5的计算机实现的方法,其还包括:
在执行所述至少一个方位确定过程之前执行至少一个头部检测过程。
13.条款12的计算机实现的方法,其中所述至少一个方位确定过程响应于定位所述系列图像中的与人脸的形状或轮廓匹配的至少一个特征而发起。
14.条款5的计算机实现的方法,其中处理包括对所选择的帧执行脸部识别或身份认证中的至少一个。
15.条款5的计算机实现的方法,其中从所述系列选择所述图像帧中的一个还至少部分地取决于在所述至少一个方位确定过程中检测到的所确定模糊量。
16.条款5的计算机实现的方法,其中所述至少一个方位确定过程包括三维成像、立体成像或多摄像机成像中的至少一个。
17.条款5的计算机实现的方法,其还包括:
响应于认证在所选择的帧中捕获的用户的身份而提供对所确定的功能的安全访问。
18.一种选择视频帧以用于脸部识别的计算机实现的方法,其包括:
在配置有可执行指令的一个或多个计算系统的控制下,
检测电子设备附近的运动;
响应于检测运动,激活所述电子设备的至少一个红外(IR)成像机制,其可操作来使用至少一个波长的IR光照亮IR成像机制的视野内的人并检测从所述人反射回的IR光;
检测在所反射的IR光中的对应于所述人的角膜的特征;
响应于检测所述特征,在所述电子设备上发起视频信息的捕获;
当所述检测到的特征的方位、测量或焦点的水平中的至少一个满足规定的选择标准时选择视频信息的当前帧;以及
对所选择的帧执行脸部识别。
19.条款18的计算机实现的方法,其中选择视频信息的当前帧还基于对所述反射的IR指示所述检测到的特征对应于实际人眼而不是人眼的图像的确定。
20.条款18的计算机实现的方法,其中所述至少一个IR成像机制包括与红外源实质上相邻的第一传感器和定位成远离所述电子设备上的所述红外源一段距离的第二传感器。
21.一种计算设备,其包括:
处理器;
至少一个图像捕获元件;以及
包括指令的存储器设备,所述指令在被所述处理器执行时促使所述计算设备:
获得使用至少一个图像捕获元件捕获的一系列图像帧;
大约在获得所述系列图像帧的时间执行至少一个方位确定过程以确定人在所述系列图像帧的至少一部分中的相对方位;
响应于经由所述至少一个方位确定过程确定在实质上对应于所选择的图像帧的捕获时间的时间所述人实质上面向所述计算设备而从所述系列选择所述图像帧中的一个;以及
对所选择的帧执行脸部识别。
22.条款21的计算设备,其还包括:
至少一个红外(IR)发射器;以及
至少一个IR接收器,
其中所述至少一个方位过程包括:
使用至少一个IR发射器发射至少一个波长的IR辐射;
使用所述电子设备的至少一个IR检测器检测所反射的IR辐射;以及
定位在所反射的IR辐射中的对应于人眼的一个或多个特征。
23.条款21的计算设备,其还包括:
至少两个音频捕获元件,
其中所述至少一个方位过程包括:
使用至少两个音频捕获元件捕获音频信息;以及
至少确定所述音频信息的源的方向,
其中选择所述图像帧中的一个还至少部分地基于所确定的方向。
24.条款21的计算设备,其还包括:
在所述计算设备的外壳的至少一部分上的触敏材料或压力敏感材料中的至少一个,
其中所述至少一个方位过程包括确定关于包括所述至少一个捕获元件的电子设备的一部分的运动或压力中的至少一个,所述运动或压力对应于从待识别的人到所述电子设备的输入。
25.条款21的计算设备,其还包括:
至少一个运动确定元件,
其中从所述系列选择所述图像帧中的一个还基于实质上静止的所述计算设备,如所述至少一个运动确定元件所确定的。
26.一种存储指令的非临时计算机可读存储介质,所述指令用于选择图像帧以用于处理,所述指令在被处理器执行时促使所述处理器:
获得使用至少一个图像捕获元件捕获的一系列图像帧;
大约在获得所述系列图像帧的时间执行至少一个方位确定过程以确定人在所述系列图像帧的至少一部分中的相对方位;
响应于经由所述至少一个方位确定过程确定在实质上对应于所选择的图像帧的捕获时间的时间所述人实质上面向所述计算设备而从所述系列选择所述图像帧中的一个;以及
对所选择的帧执行脸部识别。
27.条款26的所述存储指令的非临时计算机可读存储介质,所述指令用于选择图像帧以用于处理,所述指令在被处理器执行时促使所述处理器:
在所述至少一个图像捕获元件的捕获方向上发射至少一个波长的IR辐射;
检测所反射的IR辐射;以及
定位在所反射的IR辐射中的对应于人眼的一个或多个特征。

Claims (10)

1.一种计算机系统,包括:
至少一个波长的红外光的至少一个源;
至少一个传感器,其配置为捕获所述至少一个波长的红外光;
至少一个处理器;以及
存储器,其包括指令,当所述指令由所述至少一个处理器执行时,促使所述计算机系统:
激活所述至少一个源,以采用所述至少一个波长的红外光照亮人;
从所述至少一个传感器接收第一图像数据;
检测由所述第一图像数据体现的特征,所述特征潜在地对应于在反射的红外光中的所述人的瞳孔;
分析所述第一图像数据以确定所述瞳孔体现在所述第一图像数据中;
至少基于所述瞳孔体现在所述第一图像数据中,选择所述第一图像数据的一部分;以及在所述第一图像数据的所述部分执行面部识别。
2.根据权利要求1所述的计算机系统,其特征在于,还包括:
至少一个图像传感器;
所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:
使用所述至少一个图像传感器生成所述人的第二图像数据;以及
在所述第二图像数据上执行面部识别。
3.根据权利要求2所述的计算机系统,其特征在于,所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:
分析所述第一图像数据以确定所述人大体上面向所述至少一个传感器;以及
生成所述第二图像数据,从而对确定所述人大体上面向所述至少一个传感器做出响应。
4.根据权利要求1所述的计算机系统,其特征在于,还包括:
至少一个音频传感器;
所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:
使用所述至少一个音频传感器生成音频数据;以及
在所述音频数据上执行语音识别。
5.根据权利要求1所述的计算机系统,其特征在于,还包括:
至少一个视频传感器;
所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:
使用所述至少一个视频传感器生成视频数据;
在所述视频数据中检测表明人的头的至少一个特征;以及
激活所述至少一个源,以采用所述至少一个波长的红外光照亮人,从而对检测到所述至少一个特征做出响应。
6.根据权利要求5所述的计算机系统,其特征在于,还包括:
至少一个运动传感器;
所述存储器包括指令,当所述指令由所述至少一个处理器执行时,还促使所述计算机系统:
使用所述至少一个运动传感器检测所述计算机系统附近的运动;以及
使用所述至少一个视频传感器生成所述视频数据,从而对检测到所述运动做出响应。
7.根据权利要求1所述的计算机系统,其特征在于,所述至少一个源可操作地以特定脉冲频率发送红外光脉冲。
8.一种计算机实现的方法,其在配置有可执行指令的一个或多个计算机系统的控制下,所述方法包括:
激活至少一个红外光的源,所述源配置为使用至少一个波长的红外光照亮人;
从至少一个传感器接收第一图像数据,所述至少一个传感器配置为捕获所述至少一个波长的红外光;
检测由所述第一图像数据体现的特征,所述特征潜在地对应于在反射的红外光中的所述人的瞳孔;
分析所述第一图像数据以确定所述瞳孔体现在所述第一图像数据中;以及
在所述第一图像数据的一部分上执行面部识别。
9.根据权利要求8所述的计算机实现的方法,其特征在于,还包括:
分析所述第一图像数据以确定所述人大体上面向所述至少一个传感器;以及
使用至少一个图像传感器生成第二图像数据,从而对检测到所述人大体上面向所述至少一个传感器做出响应;以及
在所述第二图像数据上执行面部识别。
10.根据权利要求8所述的计算机实现的方法,其特征在于,还包括:
使用至少一个音频传感器生成音频数据;以及
在所述音频数据上执行语音识别。
CN201811198744.3A 2011-06-10 2012-06-08 视频中的增强的脸部识别 Active CN109446947B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/158,328 US8705812B2 (en) 2011-06-10 2011-06-10 Enhanced face recognition in video
US13/158,328 2011-06-10
CN201280036173.8A CN104137118B (zh) 2011-06-10 2012-06-08 视频中的增强的脸部识别

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280036173.8A Division CN104137118B (zh) 2011-06-10 2012-06-08 视频中的增强的脸部识别

Publications (2)

Publication Number Publication Date
CN109446947A true CN109446947A (zh) 2019-03-08
CN109446947B CN109446947B (zh) 2020-07-17

Family

ID=47293239

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280036173.8A Active CN104137118B (zh) 2011-06-10 2012-06-08 视频中的增强的脸部识别
CN201811198744.3A Active CN109446947B (zh) 2011-06-10 2012-06-08 视频中的增强的脸部识别

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280036173.8A Active CN104137118B (zh) 2011-06-10 2012-06-08 视频中的增强的脸部识别

Country Status (5)

Country Link
US (3) US8705812B2 (zh)
EP (1) EP2718871B1 (zh)
JP (2) JP5989768B2 (zh)
CN (2) CN104137118B (zh)
WO (1) WO2012170803A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050395A1 (en) * 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US9348466B2 (en) * 2011-06-24 2016-05-24 Hewlett-Packard Development Company, L.P. Touch discrimination using fisheye lens
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
US8971574B2 (en) * 2011-11-22 2015-03-03 Ulsee Inc. Orientation correction method for electronic device used to perform facial recognition and electronic device thereof
US9082004B2 (en) * 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US10150025B2 (en) * 2012-02-10 2018-12-11 Envisionbody, Llc Process to aid in motivation of personal fitness, health monitoring and validation of user
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
US9342877B2 (en) * 2013-08-22 2016-05-17 Glasses.Com Inc. Scaling a three dimensional model using a reflection of a mobile device
GB2583028B (en) * 2013-09-12 2021-05-26 Cirrus Logic Int Semiconductor Ltd Multi-channel microphone mapping
US10489912B1 (en) * 2013-12-20 2019-11-26 Amazon Technologies, Inc. Automated rectification of stereo cameras
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
US11188770B2 (en) * 2014-03-13 2021-11-30 Nec Corporation Detecting device, detecting method, and recording medium
US9462230B1 (en) 2014-03-31 2016-10-04 Amazon Technologies Catch-up video buffering
US20150317464A1 (en) * 2014-04-30 2015-11-05 Motorola Mobility Llc Selective Infrared Filtering for Imaging-Based User Authentication and Visible Light Imaging
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
JP6371637B2 (ja) * 2014-08-21 2018-08-08 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
US9817635B1 (en) 2015-02-24 2017-11-14 Open Invention Netwotk LLC Processing multiple audio signals on a device
US20170285739A1 (en) * 2016-04-04 2017-10-05 International Business Machines Corporation Methods and Apparatus for Repositioning a Computer Display Based on Eye Position
US10509952B2 (en) 2016-08-30 2019-12-17 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
US10198818B2 (en) * 2016-10-12 2019-02-05 Intel Corporation Complexity reduction of human interacted object recognition
EP3555799B1 (en) * 2016-12-16 2023-07-19 Keylemon SA A method for selecting frames used in face processing
US20180189547A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Biometric identification system
CN107273840A (zh) * 2017-06-08 2017-10-20 天津大学 一种基于现实世界图像的面部识别方法
DE102017115136A1 (de) * 2017-07-06 2019-01-10 Bundesdruckerei Gmbh Vorrichtung und Verfahren zur Erfassung von biometrischen Merkmalen eines Gesichts einer Person
CN108564052A (zh) * 2018-04-24 2018-09-21 南京邮电大学 基于mtcnn的多摄像头动态人脸识别系统与方法
KR102522415B1 (ko) 2018-05-15 2023-04-17 삼성전자주식회사 전자 장치의 객체 인증 장치 및 방법
US10607064B2 (en) 2018-05-21 2020-03-31 Himax Technologies Limited Optical projection system and optical projection method
US11430447B2 (en) * 2019-11-15 2022-08-30 Qualcomm Incorporated Voice activation based on user recognition
CN111401315B (zh) * 2020-04-10 2023-08-22 浙江大华技术股份有限公司 基于视频的人脸识别方法、识别装置及存储装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1221503A (zh) * 1996-06-06 1999-06-30 英国电讯有限公司 身份识别
US20020136435A1 (en) * 2001-03-26 2002-09-26 Prokoski Francine J. Dual band biometric identification system
US20030053664A1 (en) * 2001-09-13 2003-03-20 Ioannis Pavlidis Near-infrared method and system for use in face detection
US20050226472A1 (en) * 2004-04-13 2005-10-13 Denso Corporation Driver's appearance recognition system
CN101199207A (zh) * 2005-04-13 2008-06-11 皮克索尔仪器公司 用于独立于说话者特征测量音频视频同步的方法、系统和程序产品
CN101272727A (zh) * 2005-09-27 2008-09-24 潘尼公司 用于控制外部单元的装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761314B2 (ja) * 1991-10-07 1995-07-05 コナミ株式会社 網膜反射光量測定装置及び該装置を用いた視線検出装置
JP3119558B2 (ja) * 1994-05-16 2000-12-25 ホーユーテック株式会社 顔画像データ取り込み方法および装置並びにシステム
JPH10243494A (ja) * 1997-03-03 1998-09-11 Nippon Telegr & Teleph Corp <Ntt> 顔方向認識方法及び装置
US7634662B2 (en) 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
GB9908545D0 (en) * 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
US7095901B2 (en) 2001-03-15 2006-08-22 Lg Electronics, Inc. Apparatus and method for adjusting focus position in iris recognition system
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US6665426B1 (en) * 2002-01-29 2003-12-16 West Virginia University Research Corporation Method of biometric identification of an individual and associated apparatus
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP2004252511A (ja) * 2003-02-18 2004-09-09 Hitachi Ltd 顔向き推定方法
JP2004295572A (ja) * 2003-03-27 2004-10-21 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置及びその撮像方法
WO2005006072A1 (ja) * 2003-07-15 2005-01-20 Omron Corporation 対象決定装置及び撮像装置
US7324664B1 (en) 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
JP2005227957A (ja) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
KR100608596B1 (ko) * 2004-12-28 2006-08-03 삼성전자주식회사 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법
JP2006251266A (ja) * 2005-03-10 2006-09-21 Hitachi Ltd 視聴覚連携認識方法および装置
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP2008052510A (ja) * 2006-08-24 2008-03-06 Oki Electric Ind Co Ltd 虹彩撮像装置、虹彩認証装置、虹彩撮像方法、虹彩認証方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
JP4939968B2 (ja) * 2007-02-15 2012-05-30 株式会社日立製作所 監視画像処理方法、監視システム及び監視画像処理プログラム
US8063929B2 (en) 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
JP2009017030A (ja) * 2007-07-02 2009-01-22 Sony Corp 画像撮像装置、撮像制御方法
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
CN101751551B (zh) * 2008-12-05 2013-03-20 比亚迪股份有限公司 一种基于图像的人脸识别方法、装置、系统及设备
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2010231350A (ja) 2009-03-26 2010-10-14 Toshiba Corp 人物識別装置、そのプログラム、及び、その方法
WO2010116715A1 (ja) * 2009-04-07 2010-10-14 パナソニック株式会社 画像撮影装置、画像撮影方法、プログラム、及び集積回路
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
US8275205B2 (en) 2009-07-23 2012-09-25 Honeywell International Inc. Prioritizer system for target acquisition
US8599238B2 (en) 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
TW201205271A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Electronic device with power saving mode and power saving control method thereof
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Iptv 제어를 위한 원거리 시선 추적 장치 및 방법
US8705812B2 (en) 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US9443289B2 (en) * 2013-06-21 2016-09-13 Xerox Corporation Compensating for motion induced artifacts in a physiological signal extracted from multiple videos

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1221503A (zh) * 1996-06-06 1999-06-30 英国电讯有限公司 身份识别
US20020136435A1 (en) * 2001-03-26 2002-09-26 Prokoski Francine J. Dual band biometric identification system
US20030053664A1 (en) * 2001-09-13 2003-03-20 Ioannis Pavlidis Near-infrared method and system for use in face detection
CN1585957A (zh) * 2001-09-13 2005-02-23 霍尼韦尔国际公司 用于面部检测的近红外方法和系统
US20050226472A1 (en) * 2004-04-13 2005-10-13 Denso Corporation Driver's appearance recognition system
CN101199207A (zh) * 2005-04-13 2008-06-11 皮克索尔仪器公司 用于独立于说话者特征测量音频视频同步的方法、系统和程序产品
CN101272727A (zh) * 2005-09-27 2008-09-24 潘尼公司 用于控制外部单元的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIGUANG YANG ET AL: "Face pose estimation and its application in video shot selection", 《PATTERN RECOGNITION,2004,PROCEDDINGS OF THE 17TH INTERNAT IONAL CONFERENCE ON CAMBRIDGE, UK》 *

Also Published As

Publication number Publication date
CN104137118B (zh) 2018-11-09
US20120314914A1 (en) 2012-12-13
EP2718871A1 (en) 2014-04-16
EP2718871B1 (en) 2019-08-07
US8705812B2 (en) 2014-04-22
US8897510B2 (en) 2014-11-25
JP2017021812A (ja) 2017-01-26
JP5989768B2 (ja) 2016-09-07
US20150078623A1 (en) 2015-03-19
CN104137118A (zh) 2014-11-05
CN109446947B (zh) 2020-07-17
US9355301B2 (en) 2016-05-31
JP2014519665A (ja) 2014-08-14
JP6342458B2 (ja) 2018-06-13
EP2718871A4 (en) 2015-04-29
WO2012170803A1 (en) 2012-12-13
US20140126777A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
CN104137118B (zh) 视频中的增强的脸部识别
US10108961B2 (en) Image analysis for user authentication
US9405918B2 (en) Viewer-based device control
US9697414B2 (en) User authentication through image analysis
JP2014519665A6 (ja) ビデオにおける改良型の顔面認識
US9563272B2 (en) Gaze assisted object recognition
US8942434B1 (en) Conflict resolution for pupil detection
US20200249751A1 (en) User input processing with eye tracking
US8743051B1 (en) Mirror detection-based device functionality
US8451344B1 (en) Electronic devices with side viewing capability
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN106471419A (zh) 管理信息显示
US20120026276A1 (en) Manner of ranging items on the computer monitor screen surface, especially key words for the requirements of web browser users
US9911237B1 (en) Image processing techniques for self-captured images
KR101448232B1 (ko) 엔-스크린 기반 스마트 학습 방법 및 시스템
JP7266622B2 (ja) オンライン授業システム及びオンライン授業方法並びにプログラム
WO2023234119A1 (ja) 情報処理装置、情報処理方法、プログラム
Varghese et al. An Intelligent Voice Assistance System for Visually Impaired using Deep Learning
US20130033592A1 (en) Manner of ranging items on the computer monitor screen surface and a method of valuation of objects on the surface of a computer of a computer monitor screen
US20200241327A1 (en) Wearable apparatus and system for alleviating computer vision syndrome including the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant