CN117377988A - 利用面部关联的身体特征的身份识别 - Google Patents
利用面部关联的身体特征的身份识别 Download PDFInfo
- Publication number
- CN117377988A CN117377988A CN202280034667.6A CN202280034667A CN117377988A CN 117377988 A CN117377988 A CN 117377988A CN 202280034667 A CN202280034667 A CN 202280034667A CN 117377988 A CN117377988 A CN 117377988A
- Authority
- CN
- China
- Prior art keywords
- person
- video frames
- camera
- physical
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 125
- 239000013598 vector Substances 0.000 claims description 35
- 238000010801 machine learning Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 26
- 230000006854 communication Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 20
- 230000005021 gait Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000037237 body shape Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 51
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000013478 data encryption standard Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
- Alarm Systems (AREA)
Abstract
公开了用于确定是否将身体印记包括在与所辨认的人相关联的身体印记聚类中的技术。例如,设备执行面部识别以识别第一人的身份。该设备还标识和存储该第一人的身体特征信息,所存储的信息基于所辨认的面部与该第一人的身份相关联。随后,该设备接收示出第二人的图像的第二视频馈送,该第二人的面部也被确定为由该设备辨认。然后,该设备生成用户的图像中的身体特征的质量分数。然后,如果该质量分数高于阈值,则该设备可以将具有该身体特征的图像添加到与该人相关联的图像聚类,或者如果该质量分数不高于该阈值,则该设备丢弃该图像。
Description
相关申请的交叉引用
本申请要求2021年5月14日提交的美国临时申请号63/188,949和2022年5月12日提交的美国临时申请号63/341,379的优先权,这些申请全文以引用方式并入本文以用于所有目的。
背景技术
存在用于使用人的面部的图像执行人的身份识别的技术。例如,移动电话相机可捕获示出人的面部的一部分的图像。应用程序可分析图像以确定人的面部的特征,然后尝试将该人的面部与其他已知的面部匹配。然而,身份识别是一个不断发展的领域,并且存在与执行识别相关的各种挑战。例如,在给定特定视频馈送的情况下(例如,如果人背对相机),视频相机有时可能不能够执行人的面部识别。在这些情况下,可能难以准确地执行对人的身份识别。
附图说明
图1是根据一些实施方案的示例性系统的简化框图;
图2是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的至少一些示例性技术的另一个简化框图;
图3是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的至少一些示例性技术的另一个简化框图;
图4是示出根据一些实施方案的涉及用户界面(UI)的至少一些示例性技术的另一个简化框图,该用户界面用于基于确定某个位置处特定人的存在来提供通知;
图5是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的系统的示例性架构的另一个简化框图;
图6是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的过程的简化流程图;并且
图7是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的过程的简化流程图。
图8是示出根据一些实施方案的用于确定是否将新识别的身体印记(例如,躯干图像)添加到已知人的身体印记聚类(例如,图库)的过程的简化流程图。
具体实施方式
在以下描述中,将描述各种示例。为了解释的目的,阐述了很多具体配置和细节以便提供对示例的彻底理解。但是,对本领域的技术人员也将显而易见的是,一些示例可在没有这些具体细节的情况下被实施。此外,可省略或简化熟知的特征部以防止对本文所述的示例造成混淆。
本公开中描述的技术使得能够基于特定人的身体特征来执行特定人的身份的识别。特定人的身体特征可以基于先前执行的该特定人的面部识别而与他们的身份相关联。在一个示例中,设备可接收第一视频馈送,例如,示出特定人(例如,包含其面部和其身体的躯干部分)走向相机。该设备可执行面部识别以识别该特定人的身份。该设备还可以例如基于对该特定人的其他身体特征(例如,包括他们的躯干、所穿的衣服等)的分析从该第一视频馈送识别该特定人的身体特征。该设备然后可以基于已经从该第一视频馈送辨认该特定人的面部,与该特定人的身份相关联地存储该特定人的身体特征信息。可存储图像库,其中图库中的每个图像包含躯干,并且躯干的图像可与面部被识别的该特定人相关联。在某些情况下,所识别的面部可对应于联系人列表中的人,使得该面部/人为设备的拥有者/用户所知。随后,该设备可以接收示出第二人的第二视频馈送,该第二人的面部被确定为未被该设备辨认(例如,被遮挡的视图或图像质量差)或对该设备不可见(例如,离开相机)。该设备可以将所存储的第一人的身体特征信息(例如,图像库)与第二视频馈送中所示的第二人的附加身体特征信息进行比较(注意:第二人可以是第一人;然而,这有待确定)。基于该比较,该设备可提供指示第二人的身份是否对应于第一人的身份的通知。该通知可以是消息(例如,文本、电子邮件、弹出等),或者其可以是显示帧或视频的屏幕上的名称或视觉标识符。以此方式,技术可使得设备能够在不具有面部的视图或质量图像的情况下识别人。另外,该设备可以在更宽范围的场景中和/或以更高的精度/回忆提供特定人的存在的通知,例如,包括当该人的面部可能未在视频馈送中示出和/或不可被该设备辨认的。在一些示例中,对应于身体特征(例如,躯干等)的图像库可以仅存储特定的时间量(例如,一天、一周等)。以此方式,可以每天(或更长时间)对每个检测到的人重新填充图像库。
在例示性示例中,考虑家庭环境内的第一设备(例如,驻留设备)提供关于位于与家庭环境相关联的特定位置处的人的存在的通知的场景。在该示例中,该驻留设备(例如,智能扬声器、智能数字媒体播放器和/或可被配置或以其他方式打算在某个位置(例如,住宅)内相对静止的任何设备)可通信地连接到第一相机(例如,被定位成观察靠近前门的住宅入口位置)和第二相机(例如,被定位在住宅内以观察住宅内的区域,例如走廊、客厅区域等)。该驻留设备可在第一时间段期间(例如,第一阶段,在特定工作日早晨期间)接收第一视频馈送(例如,包括第一多个视频帧)。该第一多个视频帧可以示出接近住宅的前门的第一人,由此该第一多个视频帧中的至少一个帧包括第一人的面部。该驻留设备可至少部分地基于辨认该第一人的面部(例如,利用合适的面部识别算法)来识别该第一人的身份。例如,该驻留设备可先前已存储该第一人的面部印记(例如,与家庭相关联的个人联系人,例如居民、朋友、保姆、管家等),由此该面部印记对应于面部的唯一多维(例如,基于向量的)表示。在一个示例中,向量的维度可以与联系人的面部的至少一个特征相关联。面部识别算法可以将从该第一多个视频帧中的一个帧确定的面部印记与先前存储的与该第一人相关联的面部印记进行比较。在确定面部印记匹配时,该驻留设备可因此识别该第一多个视频帧中所示的该第一人的身份(例如,与个人联系人匹配)。
该驻留设备然后可以识别该第一人的一个或多个身体特征,并且然后可以存储对应于所识别的一个或多个身体特征的身体特征信息。例如,该驻留设备可确定该第一多个视频帧中的至少一个帧包括所辨认的第一人的面部和其他身体特征两者,包括但不限于躯干、一个或多个臂和/或一条或多条腿。该驻留设备然后可基于其他身体特征来识别该第一人的一个或多个身体特征。这些身体特征还可以与例如该第一人的体形、身体的纹理和/或颜色、该第一人所穿的衣物制品的纹理和/或颜色等相关联。在一些实施方案中,对应于所识别的一个或多个身体特征的身体特征信息可由该驻留设备存储。如前所述,这些身体特征可作为图像库(例如,躯干库)存储(例如,由驻留设备存储),并且可仅存储一天(或者,如果需要,可存储更长时间)。例如,类似于上面关于面部印记(例如,多维向量)所述,该驻留设备可产生该第一人的身体印记。该身体印记可包括与该第一人的一个或多个身体特征相关联(例如,表示这些身体特征)的多维向量,由此向量的维度可以与联系人的身体的至少一个特征相关联。在一些实施方案中,如本文进一步所述,身体印记(和/或面部印记)可利用可适合于身体印记之间的有效比较的任何合适的格式和/或结构。
继续上面的说明,可以与该第一人的身份相关联地存储身体印记。例如,驻留设备可利用示出所辨认的该第一人的面部和身体特征的帧来将该第一人的身份与身体印记相关联。在该示例中,还可生成身体印记聚类(例如,图像库),并将其分别与该第一人的身份相关联地存储。例如,可以针对该第一多个视频帧中示出该第一人的身体的至少一部分的各个帧生成不同的身体印记。使用以上说明,当该第一人接近住宅的入口时,视频帧可分别捕获人的躯干、手臂、手腿和/或其他身体特征的不同方面(例如,形状、颜色、纹理)。在确定每一帧中的所识别的身体(例如,和/或身体部分,视情况而定)是与所辨认的面部相关联的同一人(例如,第一人)时,该驻留设备可基于相应帧生成身体印记,并且然后将该身体印记与该第一人的身份相关联。在一些实施方案中,该驻留设备可基于确定身体印记提供可接受的信息增益(例如,高于阈值质量水平)而选择要包括在身体印记聚类中的身体印记,该信息增益随后可用于在执行身份识别时与另一身体印记进行比较。应当理解,从特定帧生成的身体印记可为用于包括在身体印记聚类内的候选者,即使第一人的面部在特定帧中可能是不可辨认的。例如,如果该驻留设备确定(例如,基于执行运动跟踪算法)特定帧中所示的身体是该第一多个帧中的相关帧中所示的同一身体,那么情况可能如此。在该示例中,相关帧中所示的身体(和/或身体部分)可包括由该驻留设备辨认为对应于该第一人的身份的面部。
继续上面的说明,在随后的第二时间段(例如,在第二阶段期间),该驻留设备接收包括第二人的第二多个视频帧。对于该第二多个视频帧,该驻留设备可确定该第二人的面部未被该第一设备辨认或不在该第一设备的视野中。例如,该第二多个视频帧可示出该第二人的身体正离开该相机,其中其面部的一部分背对该相机(和/或以其他方式被遮蔽)。另外,该第二多个视频帧可能是较差的图像质量,使得人的面部根本是不可辨认的。因此,虽然可在该第二多个视频帧中的帧内捕获该第二人的身体,但该驻留设备可基于面部识别确定该第二人的面部(例如,和/或身份)未被辨认。该驻留设备因此可尝试基于将先前存储的身体特征信息(例如,第一人的身体印记)与第二人的附加身体特征信息(例如,身体印记)进行比较来确定第二人的身份。在该示例中,该驻留设备确定第一人的身体印记与第二人的身体印记匹配(例如,基于计算身体印记向量之间的欧几里德距离)。在一些实施方案中,可训练该驻留设备的机器学习模型以基于学习来产生向量和/或执行比较以将特定人的第一身体印记与同一人的第二(例如,不同的)身体印记相关联,由此在多个训练样本上执行训练。因此,该驻留设备可确定第二身体印记与身体印记中的第一身体印记(或图库(例如,聚类)中身体印记的至少某一数量或百分比)匹配。当检测到匹配时,该驻留设备可提供指示第二人的身份对应于第一人的身份或第二人的身份未知的通知(例如,音频公告和/或基于文本的消息)。
在一些实施方案中,该驻留设备可以分别为与家庭环境相关联的联系人存储多个身体印记聚类。因此,当尝试确定最近确定的身体印记(例如,在上文例示中,第二人的)是否与先前存储的身体印记匹配时,该驻留设备可将同一聚类的不同身体印记与最近确定的身体印记进行比较和/或将多个聚类的身体印记与最近确定的身体印记进行比较。
在一些示例中,用于生成身体印记向量的模型(或不同模型)可确定第二身体印记的图像质量差(例如,低于阈值质量/置信度分数)。下面将描述该确定的各种示例。当确定第二身体印记的质量较差(例如,低于质量/置信度分数)时,第二身体印记可用于与图像库进行比较;然而,该第二身体印记可以不添加到图库中。以此方式,质量差的身体印记将不会影响未来检测到的身体印记与图库之间的未来比较。另选地,在一些示例中,如果确定第二身体印记的质量足够好(例如,高于置信度分数),则该第二身体印记可添加到图库以供将来比较。在任何一种情况下,不管置信度分数如何,第二身体印记可用于与图库进行比较。以此方式,一旦为联系人(例如,在用户的联系人中识别的人)建立了良好质量的身体印记图库,图库的质量将不受未来图像(例如,包括实际上根本不是身体印记(例如,不是躯干)的图像)影响。
在一些实施方案中,在该驻留设备上执行的机器学习模型(和/或另选地)还可得到训练以将第一人的其他身体特征与第二人的其他身体特征进行比较以确定是否存在匹配。在一个示例中,身体特征可以与人随时间的运动(例如,人在行走时的步态)相关联。在该示例中,并且类似于如上所述,捕获人随时间的唯一运动的“运动印记”可存储在合适的数据库结构(例如,多维向量)中。可以将先前存储的第一人的运动印记与最近生成的第二人的运动印记进行比较,以确定是否存在匹配。如果存在匹配,则驻留设备可利用此信息来确定第二人的身份是否与第一人的身份匹配。
本文所述的技术提供了优于现有系统的若干技术优点。在一个示例中,本文所述的技术可使得系统能够从视频馈送确定人的身份,即使在人的面部可被确定为未被该系统辨认时。这可以通过扩展可以辨认用户身份的场景的范围来改进现有系统。这可以例如通过可选地向用户通知特定人在家中某个位置的存在来改善在家庭环境中运行的系统的客户体验。即使当观察该位置的相机可能不经常捕获该位置处的人的面部的详细(例如,良好质量)图像,从而使人脸识别难以准确执行(例如,以可接受的精度和/或回忆)时,也可以启用该功能。因此,本文所述的技术提供了用于执行身份识别的另一机制(例如,回退机制或并行机制)。在另一示例中,本文所述的技术可用于确定何时检测到特定人的一个或多个身体特征已经改变。例如,系统可以检测特定人所穿的衣服可能已经从第一时间段(例如,在早晨)改变到第二时间段(例如,在下午)的可能性。在一些实施方案中,这可用于以合适的节奏更新特定人的身体印记,以确保检测的准确性保持可接受。在技术优点的又一示例中,所述的技术可实现一种机制,由此包括多个相机(例如,每个相机接收视频馈入)的家庭环境可利用这些相机的相应馈入基于从该多个相机抽取的帧而产生人的高质量身体印记聚类。此人的身体印记聚类还可在家庭环境的多个设备(例如,用户设备、驻留设备)之间同步,使得每个设备具有可用于家庭环境设置中的身份检测的高质量身体印记(和/或面部印记)集合。在一些实施方案中,家庭环境的多个设备(例如,驻留设备)之间的这种同步机制可以实现更多的隐私控制。例如,代替设备首先上传帧和/或身体印记到远程云服务器(例如,随后由家庭环境的另一设备从云检索),可以在家庭环境的设备之间本地同步身体印记聚类。
为清楚起见,应当理解,虽然本公开的实施方案主要涉及在家庭环境设置中执行对人的身份识别,但是实施方案不应被理解为受限于此。例如,本公开的系统可以在任何合适的环境中使用,诸如办公楼、仓库、停车场、公园等。此外,尽管本文所述的实施方案可主要涉及在特定位置处检测到人的身份(或检测到未知的人)时提供通知(例如,宣告),但系统可在执行身份识别时采取任何合适的动作(例如,授予对诸如门锁的资源的访问、拒绝访问、执行自动化动作等)。
图1是示出根据一些实施方案的在示例性环境中操作的系统通知服务的简化框图100。在图1中,所描绘的示例性环境是家庭环境101。家庭环境101可以与具有一些共同附属关系(例如,家庭成员、室友、管家、保姆等)的一个或多个人(例如,联系人)相关联。在该示例中,用户112可以表示附属用户(例如,“人A”,其可以是管家)。另外,在家庭环境101内可存在设备102(例如,平板电脑、智能家居控制器、智能数字媒体播放器、家庭自动化设备(例如,其是家庭自动化系统的一部分)等)。设备102(例如,家庭的驻留设备)可以可通信地连接到与家庭环境101相关联的一个或多个观察相机。例如,驻留设备可从观察相机108和观察相机110接收视频馈送,两个相机均与家庭环境101相关联。每个视频馈送可包括多个视频帧。在该示例中,两个相机可对应于被定位成观察与家庭环境101相关联的不同位置的已安装的观察相机。例如,观察相机108可观察到用户112(例如,包括用户112的面部和其他身体特征)在时间T1接近住宅的入口(例如,接近住宅的前门)(在第一时间段期间)。同时,观察相机110可被定位成观察家庭环境101的内部区域(例如,走廊、房间等)。在该示例中,观察相机110可被定位成使得在从用户112进入家时起的后续时间段期间(在时间TN),观察相机110可捕获背对相机110的用户114(其可以是与用户112相同(或不同)的人)。设备102可包括执行检测模型106以检测人的身份(例如,经训练的机器学习模型)的通知服务104。如本文进一步所述,可以启用通知服务104以提供在视频馈送中所示的人的身份的通知,即使在该人的面部可能未被通知服务104辨认时。例如,通知服务104可以向家庭通知检测到的用户114与用户112的身份(例如,“人A”)匹配。
更详细地转到图1的要素,家庭环境101可与物理位置和/或结构(例如,房屋和/或周围的院子或走道等)相关联,由此一个或多个相机可定位在家庭环境101内。应当理解,本文所述的技术可在任何合适的物理环境(例如,物理位置)内执行,由此可定位一个或多个相机。一些非限制性示例包括房屋、娱乐中心、办公楼、室外公园、停车场等。
使用家庭环境101作为代表性物理设置,家庭环境101的相机可被定位在与家庭环境101相关联的任何合适的位置。在图示100中,观察相机108被定位在前门附近以调查住宅的室外入口,并且观察相机110被定位成调查住宅的内部走廊。在其他实施方案中,相机可以调查家庭环境101的额外和/或另选的位置,包括例如住宅的后院、特定房间(例如,客厅)、车库等。在一些非限制性示例中,观察相机可以是网络相机、平移-倾斜-变焦(PTZ)相机等,其可以可通信地连接到单独的设备(例如,设备102)。在一些示例中,观察相机可以是用户设备(例如,平板电脑、移动电话)的部件,其又可以连接到单独的设备(例如,设备102)。在一些实施方案中,设备102本身可包括观察相机。应当理解,可使用任何合适的布置来可通信地连接相机和设备,如本文所述。使用图示100的示例,观察相机可通信地连接(例如,经由WiFi信号)到设备102,由此观察相机分别向设备102传输任何适当图像(例如,帧)质量的视频馈送。在一些实施方案中,可利用任何合适数量的观察相机(例如,一个相机、两个相机、十个相机等)来执行本文所述的技术。例如,在一个实施方案中,可以利用单独的观察相机(例如,观察相机108)来执行本文的技术。在该示例中,不仅当用户112接近住宅入口时,而且在稍后时间当用户112正离开住宅并且用户的面部可背对相机108时,观察相机108可用于执行身份识别。
在一些实施方案中,设备102可以是任何合适的计算设备,其与特定环境相关联(例如,驻留在特定环境中),并且被配置成从观察相机接收视频馈送(例如,多个视频帧)、分析这些帧以确定视频帧中检测到的人是否与特定身份匹配、并且然后在完成分析时执行一个或多个操作(例如,向用户提供通知或者用他们的身份来标记该用户以用于记录、稍后查看馈送和/或同时观看视频的实况流)。如图示100中所描绘,设备102可对应于驻留设备。在一些非限制性示例中,驻留设备可以是智能扬声器、智能电视设备、平板设备、智能数字媒体播放器(例如,被配置为向电视提供流媒体)等。虽然本文所述的技术可主要在由驻留设备(例如,驻留设备102)执行的上下文中描述,但应当理解,实施方案不限于此。例如,在一些实施方案中,设备102可对应于用户设备(例如,平板设备、移动电话、个人计算机(PC)或服务器设备)。
继续图1的示例,驻留设备102可对应于智能扬声器设备。在驻留设备102确定对用户112的面部的识别(例如,接近住宅入口和/或在房屋内移动)时,驻留设备102可通过宣布(例如)家庭环境101的特定联系人(例如,用户112)已到达而提供通知。在另一示例中,驻留设备102可向一个或多个用户设备传输特定联系人已到达的消息。例如,警示消息可在用户设备的显示器上弹出。应当理解,通知可通过驻留设备使用任何合适的信道和/或方法来提供,这取决于例如驻留设备的类型、用户设备的类型、周围环境等。例如,考虑另一个实施方案,其中驻留设备可对应于智能电视设备(例如,连接到电视的数字媒体播放器)。智能电视设备可被配备为在电视上呈现图形用户界面(GUI),该图形用户界面可包括画中画(PIP)呈现。在该示例中,驻留设备可以视听(AV)馈送的形式提供通知。例如,该驻留设备可在电视的插入窗口中显示视频馈送(例如,从观察相机108或110接收到的)。另外,在观察相机和/或智能电视设备可配备有双向音频(例如,具有扬声器和麦克风)的情况下,驻留设备可实现家庭环境中的用户和外部的人(例如,用户112)之间的双向通信。
在一些实施方案中,驻留设备102可含有适合于存储和处理与从一个或多个相机接收的图像相关联的信息的本地存储器库。这可包括例如在图像中检测到的人的身体特征信息。在一些实施方案中,身体特征信息可包括人的面部特征(例如,存储在面部印记内)。在一些实施方案中,身体特征信息还可以和/或另选地包括与人的身体和/或身体的移动相关联的非面部特征。该信息可以与例如人的头部、人的躯干、人的步态、一个或多个臂或腿、体形等相关联。在一些实施方案中,与人的身体相关联的信息可包括在身体印记(例如,多维向量)内,如本文进一步所述。在一些实施方案中,身体特征信息可包括与该人的身体的纹理或颜色和/或该人所穿的一件衣服相关联的信息。在一些实施方案中,身体特征信息可包括与人的身体相关联的面部和/或非面部特征的任何适当组合。在一些实施方案中,驻留设备102可将人的身体特征信息相关联地存储在人的身份内。例如,使用图示100进行说明,驻留设备102可存储用户112(其可为家庭环境的联系人)的面部印记等。
在一些实施方案中,第一人的身体特征信息(例如,面部印记、身体印记、图像等)可以在任何合适的时间与第一人(例如,用户112)的身份相关联地被捕获和/或存储,并且随后根据任何合适的方法得到处理。例如,考虑其中驻留设备102操作通知服务104(其可执行检测模型106)的例示性场景。通知服务104可以在时间T1之前的时间从适当的源(例如,用户设备的照片库、观察相机等)接收第一人(例如,用户112、图1中的“人A”)的图像,从图像生成面部印记(例如,经由检测模型106),并且将面部印记存储在用户112的一组参考面部印记内。随后,在时间T1,驻留设备102的通知服务104可从观察相机108接收第一多个帧(例如,在视频馈送中)。驻留设备102的检测模型106然后可利用第一人(例如,用户112)的该组参考面部印记来执行面部识别。在辨认用户112的面部时,驻留设备102可以识别用户112的身份(例如,经由用户112的身份与用户112的面部特征信息(例如,面部印记)之间的先前存储的关联)。在识别用户112的身份后,在该示例中,驻留设备102(例如,经由检测模型106)可从用于识别用户112的面部的第一多个帧中的一个或多个帧识别用户112的身体的一个或多个身体特征。驻留设备102可因此基于第一多个帧中的至少一个帧中所示的所辨认的面部而与第一人(例如,用户112)的身份相关联地存储用户112的身体特征信息(例如,身体印记和/或身体印记聚类)。
继续以上场景,在后续时间TN,驻留设备102的通知服务104这次可从家庭环境101内的观察相机110接收第二多个视频帧。如上所述,应当理解,第二多个视频帧也可以从同一观察相机108接收,驻留设备102从该观察相机接收第一多个视频帧。在该示例中,驻留设备102可确定第二人(例如,用户114,其可以(或可以不)是与用户112相同的人)的面部可能无法通过面部识别来辨认(例如,因为该人可能背对观察相机110)。驻留设备102(例如,经由检测模型106)可确定第二多个帧中所示的第二人的附加身体特征信息(例如,对应于一个或多个身体印记),并且然后将该附加身体特征信息与先前存储的第一人的身体特征信息(例如,来自在时间T1接收的第一多个视频帧)进行比较。应当理解,驻留设备102的检测模型106可将附加身体特征信息与多个人(例如,对应于家庭环境101的联系人)的身体印记(和/或身体印记聚类)进行比较,以确定是否存在匹配。取决于是否经由该比较确定匹配,驻留设备102的通知服务104然后可提供指示在第二多个帧内所示的第二人的身份是否对应于第一多个帧中所示的第一人的身份的通知(例如,经由音频消息和/或经由到另一设备的消息)。在该示例中,如图示100内所描绘,驻留设备102确定第二人(例如,用户114)的身份对应于(例如,匹配)第一人的身份(例如,第二人可能是“人A”,由此用户114是与用户112相同的人)。在时间TN,驻留设备102(例如,智能扬声器)然后可输出音频消息“我已检测到可能是人A的某人”。
在一些实施方案中,多个设备可以在家庭环境内同步。例如,考虑其中驻留设备102可以是家庭环境101的多个驻留设备(例如,位于家庭环境101的不同位置)(例如,包括第一设备和第二设备)中的第一设备的场景。每个设备可执行类似于通知服务104的通知服务。在该场景中,第一设备和第二设备可以同步特定人(例如,家庭环境101的联系人)的身体特征信息(例如,身体印记)。例如,使用图示100的说明,第一设备和第二设备可分别维持(例如,在时间T0)存储在每个设备上的用户112的同步身体印记聚类(例如,参考身体印记聚类)。在时间T1,第一设备可接收第一多个视频帧,生成一个或多个身体印记(和/或面部印记),并且确定至少一个所生成的身体印记与比用户112的现有身体印记聚类中的至少一个身体印记高的信息增益级别相关联。第一设备可以用用户112的一个或多个新身体印记来更新现有聚类。第一设备可进一步将与较高信息增益相关联的新身体印记传输到第二设备,该第二设备又可以为用户112更新其参考身体印记聚类。至少以此方式,家庭环境101的设备可以同步,以确保它们具有人的最新身体印记。在一些实施方案中,家庭环境101的设备可以不彼此同步身体印记。在一些实施方案中,设备可以根据任何合适的节奏和/或数据集(或子集)交换信息(例如,同步数据,包括图像、面部印记、身体印记等)。
在一些示例中,某些身体印记可从分析中丢弃,作为用于与聚类比较的参考身体印记(例如,图库)或作为用于添加到聚类的候选者。可以基于一个或多个规则(或启发式)来做出是否丢弃身体印记的确定。示例性规则包括丢弃具有旋转超过阈值度的身体印记(也称为躯干)的图像。例如,人的身体可能弯曲(例如,拾取某物),或者相机角度可使得身体以某一角度出现。其他规则包括丢弃“滚动”大于阈值(例如,从垂直旋转的程度)的图像和/或丢弃处于横向模式的图像(例如,任何宽大于高的图像)。另外,图像可以具有限定的感兴趣区域(例如,被认为包括面部印记或身体印记的图像的特定部分)。在一些示例中,当检测到的身体印记太靠近感兴趣区域的边缘时,可以丢弃该图像。在一些示例中,适用于这些规则的任何躯干可被丢弃或以其他方式被忽略,就好像它们根本不是躯干一样。
对于相对于添加到聚类中可被丢弃但是仍然可用于针对身体印记聚类的分析的身体印记,也可以酌情考虑其他规则。例如,一些身体印记可以具有足够高的质量水平,使得它们仍然可以用于与身体印记聚类进行比较以潜在地识别人,但是质量水平太低而无法包括在该聚类中。因此,可以为通过第一组丢弃规则(参见以上关于旋转、滚动和/或取向的规则)的所有躯干生成置信度分数,并且该置信度分数可用于确定是否在比较完成之后将躯干添加到聚类。因此,不包括在图库中的这些躯干不与任何已辨认的面部相关联。这防止低置信度分数躯干影响未来的识别尝试,但仍允许该系统尝试进行匹配并基于躯干识别人。
可采用各种技术来确定给定身体印记(例如,躯干)的置信度分数。例如,包括饱和度、亮度、清晰度和/或对比度的某种组合的图像特性可用于生成置信度分数(本文中也称为质量分数)。在一些情况下,可以分析包含身体印记的图像的饱和度水平、清晰度水平、亮度水平和/或对比度水平。使用这些技术的某种组合,机器学习模型输出可包括置信度分数。在一些示例中,如果置信度分数低于阈值,则认为图像是低质量的,并且如果置信度分数高于阈值,则确定图像是高质量的。可以将高质量图像添加到聚类,而低质量图像可以从聚类中排除。
在一些示例中,可以接收图像(例如,由驻留设备102接收),并且可以由检测模型106生成置信度分数。置信度分数可以是与多维向量分离的模型的输出,或者它可以是向量的一部分。在任何情况下,检测模型106(或在由检测模型106分析之前使用的不同算法)可被配置为评估饱和度、亮度、清晰度和/或对比度的任何组合以生成置信度分数。
在一些示例中,图像特性的评估可以是第一类型的置信度分数,并且第二类型的置信度分数可以作为来自用身体印记训练的深度学习模型的输出而被接收。在一些实施方案中,模型可以被训练成输出置信度分数,一些训练数据可能需要进行标注。训练数据可包括良好质量和较差质量的身体印记图像,并且这些图像可能需要在训练之前进行标注。这些训练图像可以基于通过上述分析确定的两个单独的置信度分数(例如,饱和度、亮度、清晰度和/或对比度)来标注。另外,可以基于由身体印记检测器生成的假身体印记检测来标注训练数据。例如,如果身体印记检测器检测到假身体印记(例如,其中实际上不具有身体印记(例如,躯干)的图像),则可将该图像标注为假。一些图像可能被手动标注为假。然而,在其他示例中,可使用算法来自动产生假身体印记(例如,通过自动裁剪身体印记图像以从图像移除身体印记)。例如,可以在图像中生成边界框,并且可以根据需要将其向上/向下/向左/向右移动,以修剪出身体印记,从而创建假身体印记。这些自动生成的假身体印记图像也可以被自动标注为假。因此,在一些情况下,深度学习模型可用a)基于上述图像特性标注的身体印记图像和/或b)基于假身体印记检测分数(例如,真或假)标注的身体印记图像来训练。给定该训练,该模型可以输出用于输入的向量和/或识别图像是否包括身体印记和身体印记的质量的置信度分数。
如所述,在一些示例中,该模型的最终输出(例如,置信度/质量分数)然后可用于确定图像是否将被添加到身体印记聚类,或仅用于与现有身体印记聚类进行比较。如果置信度/质量分数高于阈值,则可以使用该图像来与当前聚类进行比较,然后将其添加到该聚类以供将来比较。另一方面,如果置信度/质量分数低于阈值,则图像可仅用于与当前聚类进行比较(例如,在联系人辨认阶段中)并且然后被丢弃。然而,在一些示例中,如果人的面部也被辨认,则图像仍然可以仅添加到聚类。
在一些实施方案中,中间实体可以执行通知服务104的一个或多个计算操作。例如,考虑中间实体可对应于云计算平台的服务器设备的情况。在这种情况下,驻留设备102可将一个或多个操作卸载到远程平台。例如,代替驻留设备102负责训练检测模型106,云服务器可训练检测模型106,并且然后将该模型分配到用户设备和/或驻留设备。在另一示例中,云服务器可从驻留设备102接收数据(例如,与一个或多个人相关联的身体特征信息),并且然后比较该信息以确定是否存在身份匹配。应当理解,可由驻留设备102、家庭环境101的相关联设备和/或可在家庭环境101外部的中间实体执行操作的任何合适组合。
图2和图3是示出根据一些实施方案的用于提供可在位置处检测到特定人的通知的至少一些示例性技术的简化框图。过程200的操作跨图2和图3两者,并且共同对应于系统(例如,图1的驻留设备102)的示例性高级过程,该系统提供在该位置处(例如,在家庭环境上下文内,其可以类似于图1的家庭环境101)检测到该特定人的通知。图2的操作可以对应于该过程的第一阶段,其中系统存储在第一多个视频帧中识别的第一人的第一身体特征信息(例如,包括一个或多个身体印记)。图3的操作可对应于第一阶段之后的该过程的第二阶段,其中系统接收和分析第二多个视频帧(例如,在后续时间段期间接收),其中系统确定第二多个帧中所示的第二人的面部可能未被该系统辨认(例如,通过面部识别)。该系统相应地确定第二人的第二身体特征信息,并且然后将该第二身体特征信息与先前存储的第一身体特征信息进行比较,以确定第二人的身份。
图2的图示201描绘了对应于过程200的第一阶段的示例性状态,并且图3的图301描绘了对应于过程200的第二阶段的示例性状态。图示201可包括类似于参考图1所描绘的那些元件的元件。例如,第一人(例如,用户205)可类似于图1的用户112,并且观察相机203可类似于观察相机108。数据存储库221可对应于家庭环境内的系统(例如,驻留设备102)的本地储存库。同时,关于图301,第二人225可类似于图1的用户114,观察相机223可类似于观察相机110,并且系统235可类似于图1的驻留设备102。
更详细地转到过程200,在框202,该系统可在第一时间段期间接收第一多个视频帧,由此这些帧中的至少一个帧示出第一人的面部。使用图示201进行进一步说明,第一人(例如,用户205)可接近观察相机203。在该示例中,观察相机203可被定位成观察在住宅的前门的入口附近的活动。以此方式,观察相机203可观察用户205的面部和身体,例如,当它们在第一时间段期间(例如,在早晨期间)接近住宅的前门时。应当理解,观察相机203可以定位在任何合适的位置处,使得相机203可以捕获用户205的面部和非面部身体部分。继续该示例,视频馈送可由观察相机203传输到该系统(例如,系统235,其可类似于图1的驻留设备102),由此视频馈送包括第一多个视频帧207。
在一些实施方案中,该系统可以执行一个或多个操作以分析第一多个视频帧207中的帧。例如,相对于第一多个帧中的代表性特定帧214,该系统可执行帧内的一个或多个对象的对象检测。这可包括例如检测面部对象、非面部身体部分对象(其有时可以称为“身体”对象)等。应当理解,在特定帧214中可以示出多个人,由此可以检测多于一个的面部对象和/或身体对象。在一些实施方案中,可利用任何合适的对象识别算法,例如,一种类型的神经网络(例如,卷积神经网络(CNN))。在检测到该一个或多个对象时,该系统可生成特定对象的边界框。例如,关于帧214,该系统可生成包括用户205的身体(例如,包括躯干、手臂、手、手腿等)的边界框211。在一些实施方案中,可在边界框内捕获任何合适的区域(例如,仅躯干、仅手臂、躯干和头部两者、整个人等)。此外,该系统可生成包括用户205的面部(例如,头部的正面)的边界框209。在一些实施方案中,该系统可以确定选择视频馈送的哪些帧用于分析作为第一多个视频帧207(例如,每个帧或这些帧的采样)。
如本文所述,在一些实施方案中,可在特定帧内检测到多个人和/或其他对象。此外,在一些实施方案中,视频馈送(例如,第一多个视频帧207)可对应于一个或多个人和/或对象的活动(例如,移动)。因此,在一些实施方案中,该系统可跨多个帧关联(例如,跟踪)同一对象的边界框。例如,假设第一多个视频帧207示出用户205在接近前门时正在行走。因此,根据用户205的步态,每个帧可以示出用户205处于不同位置的身体。该系统可以为所分析的每个帧确定用户205的身体(例如,包括躯干)的边界框。当躯干出现在每个图像中时,该系统然后可以分析躯干的特征,以确定它是否是相同的躯干(或另一人的不同躯干)。例如,尺寸和位置相似(例如,从帧到帧)的躯干可以与同一人(例如,用户205)相关联,而处于不同位置(例如,大于预定义阈值距离差)和/或在帧之间具有不同尺寸的躯干可以被确定为不同的人。以此方式,该系统可跨该第一多个视频帧207跟踪和关联同一人的边界框。因此,该系统可以类似地跟踪第一多个视频帧207内的多个人。在一些实施方案中,给定人(例如,用户205)的身体(例如,包括躯干)的一组边界框可以与该给定人的面部的一个或多个边界框相关联。例如,边界框211可包括在同一人(例如,用户205)的一组边界框内,该组边界框可以进一步与同一人的面部的边界框209(和/或一组面部边界框)相关联。以此方式,并且如本文进一步所述,该系统可随后将一个或多个身体印记(例如,分别从对应于人的身体的边界框的帧的部分确定)与同一人的面部(和/或身份)相关联。
在框204,该系统基于辨认在第一多个视频帧中的一个或多个帧中示出的面部来识别第一人的身份。例如,在图示201的说明内继续,在生成用户205的面部的边界框209时,该系统可执行面部识别过程以辨认用户205的面部。例如,如本文所述,在第一时间段之前,该系统可以维护和存储与用户205的面部相关联的信息。在一些实施方案中,可以利用合适的数据结构和/或格式将该信息存储在例如面部印记内。在一些实施方案中,面部印记可对应于多维向量(例如,128维或任何合适数量的维度的向量)。在该示例中,面部印记的尺寸可以与用户205的面部的至少一个特征(例如,嘴唇、鼻子、眼睛的特征、面部标志之间的相对距离、纹理、颜色等)相关联。在一些实施方案中,可以训练机器学习模型(例如,神经网络)以输出面部印记向量。尽管本文所述的实施方案可主要描述利用面部印记执行面部识别,但实施方案不应被理解为受限于此。可利用任何合适的面部识别算法,例如利用机器学习算法(例如,CNN)来分析图像的像素区域。在一些实施方案中,可以与用户205的身份(例如,家庭环境的联系人)相关联地选择和/或存储面部印记聚类,由此可以选择面部印记以至少部分地包括在该聚类内,因为它提供了适合于执行面部识别的更高级别的信息增益/质量(例如,与其他候选面部印记相比)。例如,可以选择分别对应于从不同的(例如,唯一的)角度、照明、位置等捕获用户205的面部的图像(例如,和/或从其生成)的面部印记,以包括在聚类内。
继续图示201的说明,该系统可以对与用户205的边界框209相关联的面部执行面部识别。例如,该系统可以从包括边界框209的面部的边界框集合中确定一组面部(图像)裁剪213。该系统然后可以从该组一个或多个面部裁剪213生成一个或多个面部印记。例如,给定的图像裁剪可用于生成用户205的面部的面部印记。该系统的机器学习模型(例如,图1的检测模型106)然后可以将一个或多个面部印记(其从第一多个视频帧207的面部裁剪213生成)与用户205的先前存储的参考面部印记聚类(例如,从系统的数据存储库221检索)进行比较。在一些实施方案中,该系统可以将该一个或多个面部印记与分别与家庭环境的不同联系人相关联的多个参考面部印记聚类(例如,存储在数据存储库221中)进行比较。在该示例中,检测模型可以检测至少一个面部印记(例如,来自至少一个帧,诸如帧214)与存储在该系统上的参考面部印记聚类中的面部印记之一之间的匹配。因此,该系统可由此将用户205的身份215确定为“人A”(例如,家庭环境的已知联系人)。
在框206,该系统可以与第一人的身份相关联地存储第一人的第一身体特征信息。继续图示201的说明,该系统可以从该第一多个视频帧207(例如,从一个或多个边界框)生成一个或多个身体裁剪219。在一些实施方案中,身体图像裁剪可包括身体的任何合适部分。例如,身体图像裁剪可仅包括躯干、包括躯干和头部两者、包括整个身体等。图示201描绘了整个身体已包括在一组身体裁剪219内。类似于关于面部印记的生成所述,经训练的机器学习模型(例如,检测模型106的子模型)可以基于该组身体裁剪来确定第一人的第一身体特征信息217。例如,机器学习模型可被训练成为给定身体裁剪确定对应于与该身体相关联的一个或多个身体特征的身体特征信息。这些特征可与身体的任何合适方面(例如,体形、颜色、纹理、身体所穿衣服的特性和/或身体的运动)相关联。在一些实施方案中,除了执行面部识别之外,该身体特征信息可包括可以用于识别人的非面部特征信息。在一些实施方案中,这些特征可以与身体的特定部分(例如,躯干、脑后部或手臂等)和/或其部分的任何合适组合相关联。在一些实施方案中,这些特征可用于唯一地识别人(例如,具有身份215的用户205)。在一些实施方案中,第一身体特征信息217可由任何合适的数据结构(例如,身体印记)共同表示。如本文所述,并且类似于面部印记,身体印记可包括多维向量(例如,128维或任何合适数量的维度)。在一些实施方案中,身体印记的维度可以与身体的至少一个特征相关联。在一些实施方案中,维度与至少一个特征之间的关联可以在生成向量时由机器学习模型动态地确定。在一些实施方案中,该系统可以部分地利用向量结构(例如,用于身体印记和/或面部印记)来有效地存储表示人的面部或身体的各方面的数据。在一些实施方案中,向量结构还可实现更有效的向量比较(例如,确定向量的欧几里得距离和/或余弦相似性),例如,以实现更有效的身份检测。在一些实施方案中,该系统可对裁剪(和/或图像的边界框)执行任何合适的变换以准备用于输入到机器学习模型中的裁剪,从而可以生成向量(例如,面部印记和/或身体印记)。在一个示例中,可调整躯干的裁剪的大小(例如,从纵向图像到正方形图像)。
在一些实施方案中,该系统可以部分地基于先前执行的面部识别将第一身体特征信息217(例如,用户205的身体印记)与第一人(“人A”)的身份215相关联。该关联还可基于该系统将身体裁剪219与同一面部相关联来执行,如本文所述(例如,关于框202)。在一些实施方案中,该系统可以存储关于图像、面部特征(例如,面部印记)、身体特征(例如,身体印记)和人的身份的任何合适的关联。在一些实施方案中,该系统可以与身份215相关联地存储身体印记聚类。例如,可以每身体(图像)裁剪生成身体印记,由此可基于被确定为与未包括的其他身体印记相比具有较高信息增益(例如,用于执行身份检测的唯一身体特征)而将选定数量的身体印记包括在身体印记聚类(例如,参考聚类)内。在一些实施方案中,该一个或多个身体印记和/或关联可存储在数据存储库221中以供后续使用,如参考图3所述。因此,框206可结束过程200的第一阶段(例如,由三角形标记“A”指示)。
如本文所述,图3示出了过程200的第二阶段,由此图3的图示301描绘了对应于过程200的第二阶段的示例性状态。
更详细地转到过程200的第二阶段(例如,如由三角形标记“A”指示),在框208,该系统在第二时间段期间接收示出第二人的第二多个视频帧227,由此第二人的面部被确定为未被该系统辨认。例如,使用图示301进行进一步说明,第二时间段可在第一阶段的第一时间段(例如,同一天或不同天的下午时间段)之后。例如,用户205可能在早晨已经进入图1的家庭环境101,并且观察相机223(例如,其可以类似于图1的观察相机110)可以捕获在下午的稍后时间示出第二人225的视频馈送(包括第二多个视频帧)。在该示例中,第二人225可能正离开相机223(例如,第二人225的面部背对相机,使得该面部未被视频馈送的视频帧捕获)。在一些实施方案中,面部被视频馈送捕获,但是可能仍然无法被系统辨认,例如,由于较差的照明条件、图像伪影、遮挡等。
在一些实施方案中,该系统可以首先尝试基于第二多个视频帧227执行第二人225的面部识别,类似于参考图2所述(例如,框202和/或框204)。例如,该系统可以为每个帧中的特定对象确定一个或多个边界框。在一个示例中,对于第二多个视频帧227中的代表性帧,边界框229可对应于第二人225的头部,并且边界框231可对应于第二人225的身体(例如,排除头部)部分。该系统可以从第二人225的头部的边界框确定面部裁剪(例如,潜在地包括面部的一部分,或者不示出面部),从面部裁剪确定面部印记,并且然后将面部印记与一个或多个参考面部印记聚类(例如,家庭环境的联系人)进行比较。在这种情况下,该系统的机器学习模型(例如,检测模型106)可确定面部可能未被辨认(例如,因为面部可能无法被充分捕获,从而无法以可接受的置信水平进行面部识别)。在一些实施方案中,如果该系统能够执行准确的面部识别以确定第二人225的身份,则可以不执行框210的操作(其可以涉及基于非面部身体特征执行身份识别)。例如,在面部识别没有以高置信度成功地确定第二人225的身份的情况下,这些操作可以作为后退机制来执行。在一些实施方案中,系统可以独立于面部识别是否可以成功地识别第二人的身份来执行框210和/或框212的操作。在一些实施方案中,该系统可以与基于非面部身体特征执行身份识别并行地执行面部识别。
然而,在一些示例中,使用框210的操作作为回退是完全可选的。该系统可以基于面部的质量来决定是否回退到使用身体印记。在一些情况下,如果面部是可辨认的,则可以不利用回退到使用身体印记。然而,如果面部是不可辨认的,则该系统可以或可以不回退到使用身体印记。在一些示例中,回退到使用身体印记检测来尝试识别人而不管面部是否是可辨认的(例如,在身体印记比较技术产生高准确度识别的情况下)可以是有利的。然而,在一些示例中,该系统可以首先确定第二人的面部印记是否是可识别的(例如,良好质量)和可辨认的,并且然后如果面部是低质量的并且不可辨认为已知人(例如,联系人),则仅将第二人的身体印记与身体印记图库进行比较。另选地,在一些示例中,当a)面部印记具有低质量(例如,没有足够高的质量来检测该人)或者b)面部不存在于镜头中时,该系统可以仅使用第二人的身体特征。另外,在一些情况下,可能根本不存储设备/家庭环境的用户不知道的人的身体特征。这还通过避免将未知人员的身体印记存储在身体印记图像库中来帮助减少误报。
继续框208的操作,并且类似于关于图2的框202所述,该系统可以确定与第二人相关联的第二身体特征信息。例如,该系统可以基于第二多个视频帧227中检测到的对象的边界框来确定身体裁剪。如本文所述,身体修剪可包括身体和/或相关联衣服制品的任何合适的一个或多个部分。例如,身体裁剪可包括图像中所示的人的头部和躯干。在另一示例中,身体裁剪可包括图像中所示的人的整个身体。在另一示例中,身体修剪可仅包括身体的躯干部分(和/或相关联的衣服)。在一些实施方案中,身体裁剪可对应于从原始图像裁剪的新图像。在一些实施方案中,身体裁剪可以对应于原始图像的一部分,由此该部分的参数由系统确定和/或存储。在任何情况下,该系统向机器学习模型(例如,检测模型106)提供来自第二多个视频帧227中的相应帧的一个或多个身体裁剪,由此该模型可以从身体裁剪确定第二身体特征信息。例如,该系统可以确定特定身体裁剪的身体印记,如关于图2所述。在一些实施方案中,该系统可以从第二多个视频帧227中的帧的采样确定多个身体印记。
在框210,该系统可以将第一人的第一身体特征信息与第二人的第二身体特征信息进行比较,由此第一身体特征信息可以与第一人的身份相关联地被预先存储。例如,回想一下,在图2的框206,该系统与第一人的身份相关联地存储第一身体特征信息217(例如,身体印记)。在一些实施方案中,系统可能已经与第一人(例如,“人A”)的身份215相关联得存储了身体印记聚类。在该示例中,注意,基于身体图像裁剪生成对应于第一身体特征信息的身体印记,由此第一人面向相机。同时,基于身体图像裁剪生成对应于第二身体特征信息的身体印记,由此第二人(与第一人可能是相同的身份或可能不是相同的身份)背对相机。虽然裁剪的这些方面可能不同,但还注意到,第一人和第二人被示为穿着相同的衣服(例如,格子衬衫)。相应身体印记的一个或多个维度也可捕获该信息,该信息可用于比较身体印记以确定是否存在匹配。在另一示例中,身体印记可以与衬衫的颜色、身体和/或衬衫的形状、头部的形状、衬衫的纹理等相关联。在一些实施方案中,这些特征中的一个或多个特征可在一段时间内保持基本相似(例如,相同),而与用户可能面向相机还是背对相机无关。因此,该系统的机器学习模型可被训练成生成具有类似身体特征(例如,相同的衬衫颜色和/或图案、相同的身体形状等)的同一人的类似身体印记,而与该人可能面向或背对相应照片中的相机无关。该机器学习模型还可被训练成生成同一人的身体的类似身体印记,而不管在不同帧中捕获的人的身体之间的一些特征差异。例如,该模型可以生成身体的类似身体印记,尽管身体被示为在图像之间具有略微不同的尺寸和/或在图像之间具有略微不同的照明。此外,如本文所述,应当理解,参考身体印记聚类(例如,包括用于第一身体特征信息217的身体印记)可以分别与身体的不同有利位置(例如,不同视角等)相关联,并且类似地,用于从第二多个视频帧生成的身体印记聚类(例如,包括第二身体特征信息233)。因此,可以启用该系统以能够执行更宽和/或更准确范围的身体印记比较,并且作为该比较的一部分,该系统可以具有从不同有利位置分析身体特征的弹性。在一个示例中,该系统可以基于该比较生成分数,由此该分数可以对应于不同身体印记之间的相似性水平(例如,欧几里得距离)。
在框211,该系统可以确定第二身体特征信息(例如,身体印记/躯干)的置信度分数,并且使用该分数来确定是否将新的第二身体特征信息包括在身体印记聚类中。例如,如果置信度分数高于阈值(并且面部被辨认),则新识别的身体印记(例如,第二身体特征信息)将包括在身体印记聚类中。然而,如果面部未被辨认或者置信度分数低于阈值,则在执行框210的操作之后将丢弃新识别的身体印记。
在框212,该系统可提供第二人的身份与第一人的身份匹配的通知。例如,假设在框210,该系统确定第一身体特征信息217与第二身体特征信息233匹配。在该示例中,该系统可确定匹配预定义阈值度量(例如,大于或等于预定义阈值,例如,90%)的分数。该系统然后可以基于该比较确定第二人的身份与第一人的身份匹配。如果分数与阈值度量不匹配,则该系统可以确定第二人的身份与第一人的身份不匹配。在过程200的示例中,该系统确定存在匹配,并且因此,第二人225可能是“人A”(例如,具有身份215)。因此,在该示例中,在系统235可对应于智能扬声器设备的情况下,该系统提供呈音频公告“我已检测到可能是人A的某人”的形式的通知。在一些实施方案中,如参考图4进一步所述,该系统可以根据任何合适的方法(例如,音频、视频、文本等)提供用于呈现的通知。
图4是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的至少一些示例性技术的另一个简化框图。在图4的图示400中,描绘了若干要素,包括观察相机402、视频馈送404、身体裁剪408、用户设备406、弹出通知410以及视频呈现412。图示400描绘了其中观察相机402捕获视频馈送404并将其传输到设备(例如,图1的驻留设备102)的场景,由此驻留设备分析视频馈送404并将通知传输到用户设备406以提醒用户在观察相机402正在观察的特定位置处存在特定的人(例如,“人A”)。
更详细地转到图4,观察相机可以定位在任何合适的位置处。例如,可以类似于图1的观察相机110的观察相机402可以定位在内部(例如,客厅走廊)环境中。相机402可定位在大约腰部高度。在一些实施方案中,相机可定位成更靠近地面、安装成具有鸟瞰视野或任何合适的高度,使得相机可捕获人的身体和/或面部的至少一部分。在一些实施方案中,相机的位置可取决于一个或多个因素,包括例如相机的数量、每个相机的位置、相机位置周围的预期交通模式等。例如,假设观察相机402是连接到执行身份检测的家庭环境的驻留设备的唯一相机。在该示例中,观察相机402可被定位成在可对应于过程200的第一阶段的第一时间段期间(例如,进入客厅走廊)捕获接近相机402的人的面部以及在可对应于过程200的第二阶段的第二时间段期间(例如,离开客厅走廊)捕获面向/移动远离相机402的人的身体。视频馈送404示出了其中人可能正离开相机的示例,由此视频馈送404可不捕获人的面部,使得其可由驻留设备辨认。在另一示例中,其中可存在两个或更多个连接的相机(例如,类似于图1),第一相机可被定位成主要捕获人的面部(例如,进入住宅),而第二相机可被定位成使得其主要捕获人的背面(例如,主要示出人的非面部特征)。在该示例中,并且如本文所述,技术可使得该系统能够识别由第二相机(和/或第一相机,例如,当此人正离开住宅时)的视频馈送所捕获的人的身份,即使该面部可能未被系统辨认。
如本文所述,可基于视频馈送404的多个视频帧来生成身体裁剪408。例如,当人离开观察相机402时,视频馈送404可以捕获人的躯干、手臂和/或头部的不同位置。应当理解,也可在视频帧内捕获其他对象(例如,人、植物、门等),由此该系统在一个或多个视频帧内检测并隔离(例如,经由边界框和/或裁剪)特定人的身体。在一些实施方案中,多个身体裁剪408可类似于如参考在过程200的第二阶段的框208生成的身体裁剪所述。该驻留设备可因此分别为身体裁剪生成一组身体印记。注意,每个身体印记可以捕获人的不同的(或类似的)有利位置,由此可以将身体印记与一个或多个参考身体印记聚类进行比较(例如,在过程200的第一阶段期间和/或任何合适的先前时间确定)。
在图示400的示例中,在将先前存储的参考身体印记与身体裁剪408中所示的人的身体印记进行比较时,该驻留设备即刻确定此人可能与“人A”的身份匹配。该驻留设备(例如,数字媒体播放器)生成通知消息并且将该消息传输到至少用户设备406。该消息指示该驻留设备已检测到人A可能在(或曾经)观察相机402(例如,如弹出通知410中所示的“相机2”)正在监视的区域的附近地区附近。在一个示例中,用户设备406然后显示弹出通知410,指示“相机2已检测到可能是人A的某人”。在一些实施方案中,在用户设备406上执行的应用程序还可(和/或另选地)示出由相机402观察的区域的视频呈现412,因此使得用户能够使正被识别的人和/或周围区域可视化(例如,用于提供语境)。在一些实施方案中,该应用程序可启用任何合适的特征,例如,使得用户设备的用户能够在观察到检测到的人的区域附近传输音频消息(按“Talk(对话)”按钮)以供输出(例如,经由智能扬声器)。在另一示例中,应用程序可使得用户能够扫描视频馈送的帧、捕获一个或多个帧、与他人共享图像等。
如本文所述,应当理解,根据本文的技术,可以基于检测人的身份来执行任何合适的操作。在一些非限制性示例中,该驻留设备可提供用于自动调整特定房间中的智能恒温器、调整房间中的照明、经由智能扬声器播放音乐等的指令。
图5是示出根据一些实施方案的用于基于确定某个位置处(例如,在家庭环境语境内)特定人的存在来提供通知的系统的示例性架构的另一个简化框图。图示500包括用户设备502(例如,其可具有集成的相机部件)、观察相机504、驻留设备506、网络508和远程服务器522。用户设备502、观察相机504和驻留设备506可分别类似于本文所述的用户设备、观察相机和/或驻留设备中的任一者。远程服务器522可对应于云计算平台的一个或多个服务器计算机(例如,服务器集群),如本文所述。在一些实施方案中,用户设备502和/或驻留设备506可包括作为集成部件的相机504。在一些实施方案中,相机504可包括在与用户设备502和/或驻留设备506分离的设备内。例如,如本文所述,相机504可以可通信地连接到用户设备502和/或驻留设备506。
网络508可包括任何合适的通信路径或信道,诸如例如电线或电缆、光纤、电话线、蜂窝链路、射频(RF)链路、WAN或LAN网络、互联网或任何其他合适的介质。网络508可包括许多不同类型的网络(诸如,有线网络、互联网、无线网络、蜂窝网络、其他专用网络和/或公共网络)中的任一种或上述网络的组合。
更详细地转到每个元件,用户设备502可以是任何合适的计算设备(例如,移动电话、平板电脑、个人计算机(PC)、智能眼镜、智能手表等)。在一些实施方案中,用户设备502将具有嵌入作为设备的部件的相机(例如,移动电话相机)。在一些实施方案中,用户设备502将连接到该用户设备从其接收图像(例如,通过网络508)的另一个设备(例如,独立的数字相机)。用户设备502具有至少一个存储器510、一个或多个处理单元(或处理器)514、存储单元516、通信接口518和输入/输出(I/O)设备520。
处理器514可适当地以硬件、计算机可执行指令、固件或它们的组合来实现。处理器514的计算机可执行指令或固件具体实施可包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令,以执行所述的各种功能。
存储器510可存储可在处理器514上加载和执行的程序指令,以及在执行这些程序的过程中生成的数据。根据用户设备502的配置和类型,存储器510可以是易失性的(诸如,随机存取存储器(RAM))和/或非易失性的(诸如,只读存储器(ROM)、闪存存储器等)。在一些具体实施中,存储器510可包括多种不同类型的存储器,诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。用户设备502还可包括附加存储装置516,诸如可移除存储装置或不可移除存储装置,包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算设备提供计算机可读指令、数据结构、程序模块及其他数据的非易失性存储装置。在一些实施方案中,存储装置516可用于将包含一个或多个图像的照片库存储在用户设备502上。
用户设备502还可包含通信接口518,该通信接口允许用户设备502经由网络508与存储数据库、另一个计算设备或服务器、用户终端和/或其他设备进行通信。用户设备502还可包括I/O设备520,诸如以用于实现与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等连接。
更详细地转到存储器510的内容,存储器510可包括操作系统和用于实现本文所公开的特征的一个或多个应用程序或服务,包括通知管理模块512。通知管理模块512可负责执行一个或多个任务,包括配置驻留设备506的通知服务和/或向驻留设备506发送(和/或从其接收)数据(例如,图像裁剪)。例如,通知管理模块512可接收用于配置具有用于提供通知的设置的驻留设备的输入。如本文所述,一个示例可以是指示以下操作的设置:如果检测到的人是(或不是)与用户设备相关联的联系人(例如,在存储装置516中的照片库中的图像中的任一个图像中均未找到该人),则驻留设备506应仅向用户设备502提供通知。在另一个示例中,设置可指示应当如何提供通知。例如,一个设置可指示驻留设备506应向用户设备502传输通知消息。另一个设置可指示驻留设备应在连接到驻留设备506的扬声器上播报通知。通知管理模块512(例如,经由在用户设备502上运行的服务或后台应用程序)可将图像(例如,从照片库生成的图像裁剪)传输到驻留设备506以供驻留设备506处理。例如,驻留设备506可以为对应于存储在用户设备502上的照片库中的图像的联系人生成面部印记(和/或参考面部印记聚类)。这些图像可以以任何合适的节奏和/或选择算法来传输。在一些实施方案中,用户设备502可首先加密传输到驻留设备506的图像。例如,用户设备502和驻留设备506可共享加密密钥(例如,对称密钥),由此驻留设备506接收加密图像,然后使用该加密密钥对该图像进行解密。在一些实施方案中,如本文进一步所述,加密密钥可能不(或可能)与远程服务器522共享。在一些实施方案中,图像可首先被传输到远程服务器522(例如,用于临时存储),然后稍后由远程服务器522传输到驻留设备506。在一些实施方案中,图像可被直接传输到驻留设备506,而不涉及远程服务器522。应当理解,通知管理模块512的一个或多个功能可由驻留设备506执行(例如,配置该驻留设备)。
在一些实施方案中,观察相机504可对应于用于捕获图像并将图像传输到驻留设备506的任何合适的相机。在一些实施方案中,观察相机504可定位(例如,安装)在特定位置处以具有特定可视区域,例如,住宅前门附近。观察相机504可经由网络508连接到驻留设备506。
在一些实施方案中,如上所述,远程服务器522可对应于云计算平台。远程服务器522可执行一个或多个功能,包括例如:训练一个或多个机器学习模型(例如,类似于参考图1的检测模型106所述)、管理对检测模型的更新、从用户设备(例如,用户设备502)接收图像、将图像传输到驻留设备506等。如上所述,在一些实施方案中,远程服务器522可能不(或可能)具有对用户设备502用来加密图像的加密密钥的访问权限。在一些实施方案中,远程服务器522可例如在用户设备502不具有对驻留设备506的直接访问权限时从用户设备502(和/或观察相机504)接收图像。在该示例中,用户设备502可首先将加密图像(例如,图像裁剪)传输到云中的远程服务器522。该云可存储加密图像裁剪以供稍后传输到驻留设备506。在一些实施方案中,机器学习模型(和/或子模型)可被训练成用于任何合适的目的,包括例如生成面部印记、生成身体印记、比较面部印记、比较身体印记等。
更详细地转到驻留设备506,驻留设备506可以是包括至少一个存储器530、一个或多个处理单元(或处理器)548、存储单元550、通信设备552和I/O设备554的计算机系统。在一些实施方案中,这些元件可以与参考用户设备502的类似元件所述类似的方式(或不同的方式)实现。在一些实施方案中,存储单元550可存储由用户设备502和/或远程服务器522接收的图像(例如,图像裁剪)。驻留设备506可容纳在任何合适的单元(例如,智能电视、智能扬声器等)中。如本文所述,应当理解,图示500中所述的元件中的一个或多个元件(例如,用户设备502、相机504和/或远程服务器522)可被启用以执行驻留设备506的操作中的一个或多个操作。
更详细地转到存储器530的内容,存储器530可包括操作系统532和用于实现本文所公开的特征的一个或多个应用程序或服务,包括通信模块534、加密模块536、配置文件管理模块538、同步模块540、模型训练模块542、评分模块544和通知管理模块546。在一些实施方案中,存储器530的一个或多个应用程序或服务可被包括作为图1的通知服务104的一部分。
通信模块534可包括使得处理器548生成消息、转发消息、重新格式化消息和/或以其他方式与其他实体通信的代码。例如,通信模块534可接收(和/或传输)来自用户设备502和/或远程服务器522的图像。通信模块534还可负责提供通知。例如,通信模块534可基于从观察相机504接收的多个视频帧在检测到人的存在和/或身份时向用户设备502传输通知消息。在一些实施方案中,通信模块534可使用任何合适的信道和/或向任何合适的设备提供通知。例如,通信模块534可经由家庭环境内某个位置处的扬声器I/O设备554提供可听通知。在另一个示例中,通信模块534可向家庭环境内的智能电视提供视听通知。例如,智能电视的PIP显示器可显示来自相机504的视频馈送(例如,示出了穿过家的走廊、离开家等)。智能电视还可播报谁在门口并且/或者允许经由驻留设备506的扬声器和/或麦克风I/O设备进行双向通信。
加密模块536可包括使得处理器548加密和/或解密消息的代码。例如,加密模块536可从远程服务器522接收加密数据(例如,加密图像裁剪)。在本发明的实施方案中,加密模块536可包括用于加密数据的任何合适的加密算法。合适的数据加密算法可包括数据加密标准(DES)、三重DES、高级加密标准(AES)等。该加密模块还可(例如,在存储单元550中)存储可与此类加密算法一起使用的加密密钥(例如,加密密钥和/或解密密钥)。加密模块536可利用对称或非对称加密技术来加密和/或验证数据。例如,如上所述,用户设备502可包含与加密模块536类似的代码和/或密钥,该代码和/或密钥适用于对与驻留设备(和/或远程服务器522)的数据通信进行加密/解密。
配置文件管理模块538可包括使得处理器548保持和存储联系人的配置文件的代码。例如,配置文件管理模块538可从一个或多个用户设备和/或相机接收图像(例如,图像裁剪),每个图像裁剪示出了与相应用户设备相关联的联系人的面部的一部分。配置文件管理模块540可以确定(例如,经由训练的模型)特定联系人的面部特征信息,其可包括一个或多个参考面部印记的聚类。配置文件管理模块540还可确定特定联系人的非面部身体特征信息,其可包括一个或多个参考身体印记的聚类。在一些实施方案中,该模块540可以将特定联系人的身份与面部特征信息和/或非面部特征信息相关联。在一些实施方案中,配置文件的要素可根据任何合适的节奏和/或启发式分别更新。例如,当接收到比现有的面部图像参考集提供更多信息增益的新图像时,可以更新特定接触者的面部特征信息。在另一示例中,可以根据预定义的时间表来更新与身体相关联的非面部身体特征信息。例如,该系统可以部分地基于指示一个人可能每天更换他们的衣服的启发式来每天更新身体印记聚类。在另一示例中,可以启用该系统以确定何时更换人的服装,并且然后根据最新的衣服将身体印记聚类(例如,参考身体印记)更新为最新。在一些实施方案中,配置文件管理模块538可存储可用于与最近接收到的传感器数据(例如,来自相机504的视频馈送的帧)进行比较以确定人的身份的任何合适信息。例如,在另一场景中,该系统可存储对应于人的行走模式的唯一配置文件的步态特征信息。可将此步态特征信息与由配置文件管理模块538存储的参考步态信息进行比较,以检测人的检测到的步态是否与参考步态配置文件匹配。在一些实施方案中,任何适当数量的身体印记(例如,10个、20个等)可以存储在身体印记聚类中。在一些实施方案中,可以使用任何合适的算法来确定由特定身体印记提供的信息增益量(例如,K均值聚类算法)。
同步模块540可包括使得处理器548跨多个设备(例如,与相同的家庭环境相关联)传输和/或接收与同步配置文件相关联的信息的代码。例如,如本文所述,驻留设备506可确定当与用于特定人的现有参考图像(和/或参考面部印记或身体印记)相比时提供更高级别的信息增益的一个或多个图像(和/或相关联的面部印记或身体印记)。然后,同步模块540可以使得这一个或多个图像作为同步数据被传输到家庭环境的其他驻留设备,由此接收设备基于接收到的同步数据更新参考数据(例如,图像、面部印记、身体印记等)。以此方式,家庭环境的设备可以彼此同步。应当理解,可以根据同步数据来同步家庭环境的任何合适的设备(例如,用户设备502、远程服务器522等)。在一些实施方案中,一个或多个设备可以被配置为不与家庭环境的其他设备同步。
模型训练模块542可包括使得处理器548训练机器学习模型的代码。机器学习(ML)模型可被训练成执行一个或多个子任务,包括例如生成身体特征信息(例如,经由身体印记向量或运动印记向量捕获)、面部特征信息(例如,经由面部印记向量捕获)和/或执行向量比较(例如,确定余弦相似性),以识别是否检测到面部(例如,和/或身体、步态等)匹配。在一些实施方案中,模型训练模块542可利用任何合适的机器学习技术。一些非限制性示例可包括利用神经网络、支持向量机、最近邻法或决策树。作为代表性示例,涉及训练神经网络以生成身体印记,训练过程可以开始,由此未经训练的ML模型接收特定人的多个图像(例如,图像裁剪)。该多个图像可以分别包括人的身体的不同部分(例如,包括躯干)。例如,一个部分可以是侧视图,另一个部分可以是直视视图,另一个部分可以是相对的侧视图,等等。一些部分可具有不同的条件和/或背景,和/或可由不同的设备(例如,用户设备502的相机、观察相机504等)捕获。在一些实施方案中,多个图像中的每个图像可被标注为描绘同一人的身体。这些标注可对应于“基准真值”数据。神经网络可以被训练成接收多个图像中的一个图像作为输入,并输出图像中所示的身体(例如,躯干部分)的第一身体印记。如本文所述,身体印记可对应于多维向量,由此向量的每个维度对应于图像中的人的身体的特征(例如,身体上两个已知点之间的距离,由图像的像素表示的特定颜色或纹理等)。神经网络还可以接收多个图像中的另一图像作为输入,并输出在另一图像中所示的(例如,同一人的)身体的第二身体印记。在一些情况下,模块544可以将第一身体印记与第二身体印记关联为对应于同一人。例如,如上所述,图像中的每个图像可以被标注为同一人。另外,在一些情况下,可标注图像以描述所描绘的身体的部分的类型(例如,侧面部分、直视视图等)。在一些实施方案中,训练算法可计算每个身体印记的向量之间的相似性(例如,余弦相似性或欧几里得距离)。然后,至少部分地基于输出和图像之间的已知相似性(例如,基于标注的基准真值数据),训练算法可调整身体印记中的一个或多个身体印记的维度。例如,如上所述,训练算法可利用反向传播算法来使与身体印记之间的距离(例如,身体印记向量之间的距离)相关联的代价函数最小化。在一些实施方案中,该反向传播算法可用于调整(例如,更新)神经网络的节点的权重。以此方式,神经网络可被训练成从同一身体的图像生成类似的身体印记,由此这些图像可具有变化的质量水平(例如,从不同的相机和/或在不同的照明条件下接收)和/或示出身体的不同部分。身体印记可以稍后由经训练的模型用于在身体识别期间进行有效比较(例如,在图2的框210)。应当理解,ML模型可被训练成基于与任何合适数量的人(例如,几百、几千等)相关联的训练样本来生成身体印记(和/或面部印记等),并且为每个人产生适于随后在印记之间进行比较的身体印记(和/或面部印记)。应当理解,在一些实施方案中,模型训练模块542的操作也可由远程服务器522来执行。
评分模块544可以包括使得处理器548确定对应于第一身体特征信息(例如,与第一人的身体相关联的身体印记)和第二身体特征信息(例如,与第二人的身体相关联的身体印记)之间的相似性水平的分数的代码。在一些实施方案中,评分模块544可利用经训练的ML模型(例如,经由模型训练模块542)来生成和比较身体印记,以确定第一人的身份是否与第二人的身份匹配。在一些实施方案中,如本文所述,评分模块544可以首先通过比较第一人和第二人之间的面部印记来生成分数。在分数匹配阈值度量的情况下,评分模块544可因此基于面部印记确定成功匹配。在分数不匹配(例如,小于)阈值度量的情况下,评分模块544可以生成和比较第一人和第二人的身体印记(例如,作为回退机制)。在另一示例中,可以并行地执行面部印记和身体印记识别两者。至少以此方式,本文所述的技术使得能够在更宽范围的用例中以更高水平的回忆和/或精度执行身份识别。
通知管理模块546可包括使得处理器548存储和管理用于提供通知的设置的代码,如本文所述。通知管理模块546还可负责生成由通信模块534提供的通知。应当理解,可以任何合适的形式(例如,文本、音频、视频和/或合适的组合)呈现通知。在一些实施方案中,可以特定设置将通知管理模块546配置为不执行操作(例如,“无操作”)。例如,驻留设备506可被配置为:如果检测到的人不是已知联系人,则仅向用户设备502提供基于AV的通知。因此,如果驻留设备506检测到联系人,则通知管理模块546可确定不执行操作(例如,保持静默、仅在内部记录观察等)。在一些实施方案中,通知管理模块546还可基于面部是否是可辨认的来确定是否提供通知。在一些实施方案中,即使未检测到人的身份,通知管理模块547仍可输出检测到人(例如,未知的人)的通知。
图6和图7是示出根据一些实施方案的用于基于确定某个位置处特定人的存在来提供通知的过程的简化流程图。图6的过程600可对应于该过程的第一阶段(例如,图2的过程200),而图7的过程700可对应于该过程的第二阶段(例如,过程200(例如,如参考图3所述))。虽然过程600和/或700的操作被描述为由家庭环境的驻留设备执行,但是应当理解,任何合适的设备(例如,用户设备、服务器设备)可用于执行这些过程的一个或多个操作。过程600和过程700(如下所述)被分别示为逻辑流程图,这些逻辑流程图的每个操作表示能够以硬件、计算机指令或它们的组合来实现的一系列操作。在计算机指令的上下文中,操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制,并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现所述过程。
另外,这些过程中的一些、任意者或全部可在被配置为具有可执行指令的一个或多个计算机系统的控制下执行,并且可实现为在一个或多个处理器上、由硬件、或它们的组合共同执行的代码(例如,可执行指令、一个或多个计算机程序、或一个或多个应用程序)。如上所述,代码可存储在计算机可读存储介质上,例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储。计算机可读存储介质是非暂态的。
在框602,在该过程的第一阶段期间,第一设备(例如,驻留设备)可在第一时间段期间接收(例如,从第一相机)第一多个视频帧,由此第一多个视频帧中的至少一个帧包括第一人的面部。在一些实施方案中,框602的一个或多个操作可以类似于图2的框202的一个或多个操作。在一些实施方案中,第一设备可以是(例如,家庭环境的)可通信地彼此连接的多个设备中的一个设备。在一些实施方案中,这可以促进同步操作(例如,在家庭环境内的本地操作),如本文所述。
在框604,第一设备可基于辨认第一多个帧中的至少一个帧中的面部而识别第一人的身份。在一些实施方案中,框602的一个或多个操作可以类似于图2的框204的一个或多个操作。
在框606,第一设备可以从第一多个视频帧中包括面部的至少一个帧识别第一人的一个或多个身体特征。在一些实施方案中,该一个或多个特征是例如与第一人的躯干和/或脑后部相关联的非面部特征。在一些实施方案中,该一个或多个特征与步态、一条或多条手臂、一条或多条腿或体形中的至少一者相关联。在一些实施方案中,第一人的一个或多个身体特征与该第一人的身体或该第一人所穿的衣物制品中的至少一者的纹理或颜色中的至少一者相关联。在一些实施方案中,框606的一个或多个操作可以类似于图2的第一阶段的一个或多个操作。
在框608,第一设备可存储对应于所识别的一个或多个身体特征的身体特征信息,由此该身体特征信息可至少部分地基于在该第一多个视频帧中的至少一个帧处所示的所辨认的面部而与该第一人的身份相关联地存储。在一些实施方案中,框608的一个或多个操作可以类似于框206的一个或多个操作。在一些实施方案中,身体特征信息对应于第一人的身体印记。身体印记可包括多维向量,由此向量的维度可以与第一人的一个或多个身体特征相关联。在一些实施方案中,身体印记可以是由第一设备存储的身体印记(例如,参考身体印记)聚类中的一个身体印记。可以基于与身体印记相关联的信息增益来选择身体印记以包括在身体印记聚类中。在一些实施方案中,第一设备可以将一个或多个身体印记与家庭环境的一个或多个其他设备同步,例如,以确保这些设备包括类似的身体印记(和/或面部印记)的参考集。在一些实施方案中,第一设备可以基于任何合适的标准来更新人的参考身体印记聚类。例如,第一设备可随后在后续时间段期间接收第三多个视频帧。第一设备可以至少部分地基于对该第三多个视频帧的分析来确定第一人的一个或多个所识别的身体特征中的至少一个身体特征可能已经改变(例如,穿着不同颜色的衬衫)。第一设备可相应地用从该第三多个视频帧确定的已更新的身体印记来更新身体印记聚类。在另一示例中,第一设备可以根据特定节奏(例如,每天、每周、新时间段的开始等)来更新参考身体印记。在一些实施方案中,第一设备可为特定人存储多个一个的身体印记聚类。例如,假设在一个时间段期间,设备存储与穿着特定衣服(例如,绿色图案衬衫)的特定人相关联的身体特征信息(例如,身体印记聚类)。此外,假设在另一时间段期间,设备存储与穿着不同衣服(例如,红色图案衬衫)的特定人相关联的其他身体特征(例如,另一身体印记聚类)。在该示例中,设备可存储同一人的两个身体印记聚类。因此,在随后的(例如,当前的)时间段期间(例如,下面参考第二阶段所述),设备可以将在当前时间段期间生成的一个或多个身体印记分别与多个先前存储的身体印记聚类(例如,参考聚类)中的一个或多个聚类进行比较。在一些实施方案中,框608可结束第一阶段(例如,由图6中的三角形标记“B”指示),由此该过程的第二阶段可在第二时间段期间继续,如由图7的过程700所示。
更详细地转到该过程的第二阶段,在框610,设备可在第二时间段期间接收第二多个视频帧。该第二多个视频帧可包括第二人,其中该第二人的面部可被确定为未被该第一设备辨认。在一些实施方案中,框610的一个或多个操作可以类似于图3的框208的一个或多个操作。在一些实施方案中,该第二多个视频帧可以由与接收该第一多个视频帧相同的相机(例如,第一相机)接收。在一些实施方案中,该第二多个视频帧可由不同的相机(例如,第二相机)接收。
在框612,第一设备将在该第二多个视频帧中识别的第二人的附加身体特征信息与所存储的与第一人的身份相关联的身体特征信息(例如,先前存储的一个或多个身体印记聚类)进行比较。在一些实施方案中,框612的一个或多个操作可以类似于图3的框210的一个或多个操作。在一些实施方案中,附加身体特征信息对应于第二人的一个或多个身体特征,该一个或多个身体特征与第一人的一个或多个身体特征是相同类型。在一些实施方案中,使用机器学习模型来执行比较,该机器学习模型被训练成将第一人的第一身体印记与该第一人的第二身体印记相关联。
在框614,第一设备可基于该比较来提供指示第二人的身份是否对应于第一人的身份的通知。在一些实施方案中,框614的一个或多个操作可以类似于图3的框212的一个或多个操作。在一些实施方案中,可基于从框612的比较确定的置信度分数来提供通知。例如,第一设备可以确定置信度分数与阈值度量(例如,90%)匹配,并且然后相应地提供通知。
图8是示出根据一些实施方案的用于确定是否将身体印记图像添加到对应于所辨认的人的身体印记图像聚类的过程的简化流程图。虽然过程800的操作被描述为由家庭环境的驻留设备执行,但是应当理解,任何合适的设备(例如,用户设备、服务器设备)可用于执行这些过程的一个或多个操作。过程800(如下所述)被示为逻辑流程图,该逻辑流程图的每个操作表示能够在硬件、计算机指令或它们的组合中实现的一系列操作。在计算机指令的上下文中,操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制,并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现所述过程。
另外,这些过程中的一些、任意者或全部可在被配置为具有可执行指令的一个或多个计算机系统的控制下执行,并且可实现为在一个或多个处理器上、由硬件、或它们的组合共同执行的代码(例如,可执行指令、一个或多个计算机程序、或一个或多个应用程序)。如上所述,代码可存储在计算机可读存储介质上,例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储。计算机可读存储介质是非暂态的。
在框802,计算设备(例如,居所设备)可维护(或生成并且然后维护)与人相关联的多个图像。该多个图像可以是身体特征的集合,包括但不限于人的面部特征和/或身体特征(例如,躯干)。如上所述,多个图像(例如,聚类和/或图库)图像可对应于特定人(例如,计算设备的用户的联系人)。
在框804,计算设备可接收新图像(例如,从相机或其他视频记录器)。该新图像可能是从与收集此人的其他图像相同或不同的相机收集的。新图像可包括面部和躯干信息两者。
在框806,计算设备可确定新图像是否包括可识别的面部(例如,良好质量)和/或是人的面部。即,过程800将确定面部是否足够清晰以确定其为面部,并且还将此人辨认(例如,识别)为在用户的联系人列表中。在一些情况下,如果面部不可识别,那么该面部也将不可辨认。由于过程800在面部可被识别和/或辨认的情况下可能不回退到使用躯干印记,并且将存在面部可识别但不可辨认的情况,因此过程800将不回退到使用身体印记(框816),并且也将不确定是否将新躯干印记添加到聚类(框808、810)。在这些情况下,过程800可以结束,没有成功地识别任何人。在这种情况下,过程800可以提供检测到身份不明的人的通知。
根据新图像包括人的面部(例如,用户联系人中的可辨认的人)的确定,计算设备可以在框808生成与新图像(和/或图像中的躯干)相关联的分数。可以基于上述规则中的一个或多个规则(例如,某种组合)来生成分数。例如,可以基于诸如饱和度、对比度、亮度和/或清晰度的图像特性、图像是否是假躯干等来生成分数。在框808,计算设备可确定分数是否高于阈值(例如,质量阈值)。如果分数高于阈值,则在框812可将新图像添加到聚类。然而,如果分数不高于阈值,则可以在框814丢弃新图像。
另选地,根据新图像不包括人的面部(例如,面部不可识别(低质量)或不可辨认)的确定,计算设备可在框816基于新图像和与人相关联的身体印记聚类的比较来识别人。如果被识别,则计算设备可以向用户通知已知/所辨认的人的存在或者未被辨认的人的存在。在一些示例中,过程800可仅在图像不具有面部或图像中的面部质量低到不可识别(例如,将不可能辨认用户)的情况下进行到框816。
以上描述了用于基于确定特定人在某个位置处的存在以及确定是否将身体印记添加到所辨认的人的身体印记聚类来提供通知的例示性技术。这些技术中的一部分或全部可至少部分地通过架构诸如至少在上述图1至图7中所示的那些架构来实现,但不是必须通过这些架构来实现。虽然上文参考驻留设备和用户设备描述了许多实施方案,但应当理解,其他类型的计算设备可适用于执行本文所公开的技术。此外,在前文描述中描述了各种非限制性示例。为了解释的目的,阐述了很多具体配置和细节以便提供对示例的彻底理解。但是,对本领域的技术人员也应显而易见的是,一些示例可在没有这些具体细节的情况下被实施。此外,有时省略或简化熟知的特征部以防止对本文所述的示例造成混淆。
还可在各种各样的操作环境中实施各种实施方案,在一些情况下,这些操作环境可包括可用于操作多个应用程序中的任一个应用程序的一个或多个用户计算机、计算设备或处理设备。用户设备或客户端设备可包括许多通用个人计算机中的任何一个,诸如运行标准操作系统的台式计算机或膝上型计算机,以及运行移动软件并能够支持多个联网协议和即时消息协议的蜂窝设备、无线设备和手持设备。此系统还可包括运行各种可商购获得的操作系统和用于目的诸如开发和数据库管理等的其他已知应用程序中的任何一者的多个工作站。这些设备还可包括其他电子设备,诸如虚拟终端、瘦客户端、游戏系统以及能够经由网络进行通信的其他设备。
大多数实施方案利用本领域技术人员熟悉的至少一个网络来支持使用各种商用协议诸如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk中的任何协议的通信。网络可以是例如局域网、广域网、虚拟专用网络、互联网、内联网、外联网、公共交换电话网、红外网络、无线网络及其任何组合。
在利用网络服务器的实施方案中,网络服务器可运行各种服务器或中间层应用程序中的任何一者,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和业务应用程序服务器。一个或多个服务器还可能够响应于来自用户设备的请求而执行程序或脚本,诸如通过执行一个或多个应用程序,所述一个或多个应用程序可被实现为以任何编程语言诸如C、C#或C++或者任何脚本语言诸如Perl、Python或TCL以及它们的组合编写的一个或多个脚本或程序。一个或多个服务器还可包括数据库服务器,包括但不限于可从/>和/>商购获得的那些。
环境可包括各种数据存储库和其他存储器和存储介质,如上所述。这些可驻留在各个位置,诸如在一个或多个计算机本地的存储介质上或者远离网络上的任何或全部计算机的存储介质上(和/或驻留在一个或多个计算机中)。在特定的一组实施方案中,信息可驻留在本领域技术人员熟悉的存储区域网络(SAN)中。类似地,用于执行归属于计算机、服务器或其他网络设备的功能的任何必要文件可以根据需要本地存储以及/或者远程存储。当系统包括计算机化设备时,每个此类设备可包括可经由总线电耦接的硬件元件,所述元件包括例如至少一个中央处理单元(CPU)、至少一个输入设备(例如,鼠标、键盘、控制器、触摸屏或小键盘),以及至少一个输出设备(例如,显示设备、打印机或扬声器)。此类系统还可包括一个或多个存储设备,诸如磁盘驱动器、光存储设备和固态存储设备诸如RAM或ROM,以及可移除媒体设备、存储卡、闪存卡,等等。
此类设备还可包括如上所述的计算机可读存储介质读取器、通信设备(例如,调制解调器、网卡(无线或有线)、红外通信设备等)和工作存储器。计算机可读存储介质读取器可连接至或配置为接收表示远程、本地、固定和/或可移除的存储设备的非暂态计算机可读存储介质,以及用于临时和/或更永久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种设备通常还将包括位于至少一个工作存储器设备内的多个软件应用程序、模块、服务或其他元件,包括操作系统和应用程序,诸如客户端应用程序或浏览器。应当理解的是,另选实施方案可具有根据上文所述的许多变型形式。例如,还可使用定制硬件,和/或可在硬件、软件(包括便携式软件,诸如小应用程序)或两者中实现特定元件。此外,可使用与其他计算设备诸如网络输入/输出设备的连接。
用于包含代码或代码的部分的非暂态存储介质和计算机可读存储介质可包括本领域技术中已知或使用的任何适当的介质,例如但不限于以用于存储信息(如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除的介质,包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、CD-ROM、DVD或其他光学存储器、磁带盒、磁带、磁盘存储装置或其他磁性存储设备,或者可用于存储所需信息并且可由系统设备访问的任何其他介质。至少部分地基于本文所提供的公开和教导内容,本领域的普通技术人员将认识到实现各种实施方案的其他方式和/或方法。然而,计算机可读存储介质不包括暂态介质诸如载波等。
相应地,说明书和附图应被视为具有例示性的而非限制性的意义。然而,显而易见的是,在不脱离权利要求中阐述的本公开的更广泛的实质和范围的情况下,可对其进行各种修改和改变。
其他变型形式在本公开的实质内。因此,尽管所公开的技术容易受到各种修改和另选构造的影响,但是其某些例示的实施方案在附图中示出并且已经在上面详细描述。然而,应当理解,并不旨在将本公开限制于所公开的特定形式,相反,其目的在于覆盖落入由所附权利要求所限定的本公开的实质和范围内的所有修改、另选构造和等同形式。
在描述所公开的实施方案的上下文中(特别是在下面的权利要求书的上下文中)使用术语“一”、“一个”和“该”以及类似的指示词将被解释为覆盖单数和复数,除非另有说明或与上下文明显矛盾。除非另有说明,否则术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(即,意思为“包括但不限于”)。术语“连接”被解释为即使有干预的东西,也被部分或全部地包含在内、附接或接合在一起。短语“至少部分地基于”应当被理解为开放式的,并且不以任何方式进行限制,并且旨在在适当的情况下被解释或以其他方式理解为“至少部分地基于”。除非本文另有说明,否则本文中对数值范围的叙述仅仅旨在用作单独提及落入该范围内的每个单独值的简单方法,并且每个单独的值被并入说明书中,如同在本文中单独引用。本文描述的所有方法能够以任何合适的顺序执行,除非本文另有说明或以其他方式与上下文明显矛盾。除非另有声明,否则本文提供的任何和所有示例或示例性语言(例如,“诸如”)的使用仅仅旨在更好地说明本公开的实施方案,并且不会限制本公开的范围。说明书中的任何语言都不应被解释为指示任何未声明的元素对于本公开的实践是必不可少的。
除非另外特别说明,否则析取语言诸如短语“X、Y或Z中的至少一者”在上下文中被理解为通常用于呈现项目、术语等,其可以是X、Y或Z,或它们的任何组合(例如,X、Y和/或Z)。因此,此类析取语言通常不旨在并且不应该暗示某些实施方案要求X中的至少一个、Y中的至少一个或者Z中的至少一个均各自存在。另外,除非另外特别说明,否则诸如短语“X,Y和Z中的至少一者”的联合语言也应理解为意指X、Y、Z或它们的任何组合,包括“X、Y和/或Z”。
本文描述了本公开的优选实施方案,包括发明人已知的用于执行本公开的最佳模式。在阅读前面的描述之后,那些优选实施方案的变型形式对于本领域的普通技术人员来说可变得显而易见。发明人期望技术人员适当地采用此类变型形式,并且发明人旨在以不同于本文具体描述的方式来实践本公开。因此,如适用法律所允许的,本公开包括所附权利要求中记载的主题的所有修改和等同形式。此外,除非在本文中另外指出或者明显与上下文矛盾,否则本公开包含上述元素的所有可能变型形式的任何组合。
本文引用的所有参考文献,包括出版物、专利申请和专利,均据此以引用方式并入本文,正如每篇参考文献被单独且具体地指示为以引用方式并入并且在本文全文阐述。
如上所述,本技术的一个方面在于收集和使用数据(人的图像)来执行面部识别。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人可识别信息(PII)数据。此类个人信息数据可包括人的身体的面部和/或非面部特征、人口数据、基于位置的数据(GPS坐标)、电话号码、电子邮件地址、推特ID、家庭地址或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于识别为用户设备的用户的联系人(或未知联系人)的人。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。另外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就与执行面部识别相关的服务而言,本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外,本公开还设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
Claims (33)
1.一种方法,包括:
在第一时间段期间由多个设备中的至少一个设备从相机接收第一多个视频帧,所述第一多个视频帧中的至少一个帧包括第一人的面部;
由所述多个设备中的所述至少一个设备至少部分地基于辨认所述第一多个视频帧中的所述至少一个帧中的所述面部来识别所述第一人的身份;
由所述多个设备中的所述至少一个设备从所述第一多个视频帧中包括所述面部的至少一帧识别所述第一人的一个或多个身体特征;
由所述多个设备中的所述至少一个设备存储对应于所识别的一个或多个身体特征的身体特征信息,所述身体特征信息至少部分地基于在所述第一多个视频帧中的所述至少一个帧中所示的所辨认的面部而与所述第一人的所述身份相关联地存储;
在第二时间段期间由所述多个设备中的所述至少一个设备接收第二多个视频帧,所述第二多个视频帧包括第二人,其中所述第二人的面部被确定为未被所述至少一个设备辨认;
由所述多个设备中的所述至少一个设备将在所述第二多个视频帧中识别的所述第二人的附加身体特征信息与所存储的与所述第一人的所述身份相关联的身体特征信息进行比较;以及
由所述多个设备中的所述至少一个设备至少部分地基于所述比较来提供指示所述第二人的身份是否对应于所述第一人的所述身份的通知。
2.根据权利要求1所述的方法,其中所述第一人的所述一个或多个身体特征与所述第一人的躯干相关联。
3.根据权利要求1至2中任一项所述的方法,其中所述第一人的所述一个或多个身体特征与步态、一条或多条手臂、一条或多条腿或体形中的至少一者相关联。
4.根据权利要求1至3中任一项所述的方法,其中所述第一人的所述一个或多个身体特征与所述第一人的身体或所述第一人所穿的衣物制品中的至少一者的纹理或颜色中的至少一者相关联。
5.根据权利要求1至4中任一项所述的方法,其中所述附加身体特征信息对应于所述第二人的一个或多个身体特征,所述一个或多个身体特征与所述第一人的所述一个或多个身体特征是相同类型。
6.根据权利要求1至5中任一项所述的方法,其中所述身体特征信息对应于所述第一人的身体印记,所述身体印记包括多维向量,所述向量的维度与所述第一人的所述身体特征中的一者或多者相关联。
7.根据权利要求1至6中任一项所述的方法,其中使用机器学习模型来执行所述比较,所述机器学习模型被训练成将所述第一人的第一身体印记与所述第一人的第二身体印记相关联。
8.根据权利要求1至7中任一项所述的方法,其中提供所述通知还包括:
由所述多个设备中的所述至少一个设备至少部分地基于所述比较来确定置信度分数;
由所述多个设备中的所述至少一个设备确定所述置信度分数与阈值度量匹配;以及
由所述多个设备中的所述至少一个设备提供所述通知,所述通知指示所述第二人的身份与所述第一人的身份匹配。
9.根据权利要求1至8中任一项所述的方法,其中在所述第二多个视频帧内示出包括所述第二人的多个人。
10.根据权利要求1至9中任一项所述的方法,还包括:
由所述多个设备中的所述至少一个设备与所识别的身份相关联地存储对应于所述第一人的所述面部的信息。
11.根据权利要求1至10中任一项所述的方法,还包括:
由所述多个设备中的所述至少一个设备至少部分地基于所述第一多个视频帧来存储所述第一人的身体印记聚类,所述聚类中的身体印记与所述第一多个视频帧中的特定帧相关联并且至少部分地基于与所述身体印记相关联的信息增益被选择用于包括在所述身体印记聚类中,所述信息增益用于执行所述第二人的所述附加身体特征信息与所述第一人的所述身体特征信息之间的所述比较。
12.根据权利要求1至11中任一项所述的方法,其中所述多个设备包括与家庭环境设置相关联的第一设备和第二设备,所述方法还包括:
由所述第一设备从所述第一多个视频帧中的帧生成所述第一人的身体印记;
由所述第一设备至少部分地基于与所述身体印记相关联的信息增益来确定所述身体印记将被添加到与所述第一人相关联的身体印记聚类;以及
由所述第一设备向所述第二设备传输所述身体印记,所述身体印记由所述第二设备存储在由所述第二设备维护的第二身体印记聚类中,其中各个身体印记聚类在所述第一设备和所述第二设备之间同步。
13.根据权利要求1至12中任一项所述的方法,其中所述相机是家庭环境设置中的第一相机,所述家庭环境设置包括所述第一相机和第二相机,所述至少一个设备从所述第二相机接收所述第二多个视频帧。
14.根据权利要求1至13中任一项所述的方法,其中所述至少一个设备从第二相机接收所述第二多个视频帧,并且其中所述相机与家庭环境的入口相关联地定位,并且所述第二相机与所述家庭环境的内部走廊相关联地定位。
15.根据权利要求1至14中任一项所述的方法,还包括:
由所述多个设备中的所述至少一个设备确定更新与所述第一人相关联的身体印记聚类,所述聚类中的身体印记与所存储的与所述第一人相关联的身体特征信息相关联。
16.根据权利要求15所述的方法,其中至少部分地基于确定新时间段的开始来更新所述身体印记聚类。
17.根据权利要求15所述的方法,还包括:
由所述多个设备中的所述至少一个设备在第三时间段期间接收第三多个视频帧;
由所述多个设备中的所述至少一个设备至少部分地基于对所述第三多个视频帧的分析来确定所述第一人的一个或多个识别的身体特征中的至少一个身体特征已经改变;以及
由所述多个设备中的所述至少一个设备至少部分地基于确定所述第一人的所述一个或多个识别的身体特征中的至少一个身体特征已经改变来确定更新与所述第一人相关联的所述身体印记聚类。
18.根据权利要求1至17中任一项所述的方法,其中所述身体特征信息对应于所述第一人的身体印记,其中至少部分地基于所述第一多个视频帧生成所述第一人的身体印记聚类,并且其中至少部分地基于所述第一多个视频帧中的所述至少一个帧中的所述面部的所述辨认,将所述身体印记聚类分别与所述第一人的身份相关联。
19.根据权利要求1至18中任一项所述的方法,其中所述至少一个设备包括所述相机。
20.根据权利要求1至18中任一项所述的方法,其中所述相机是通信地连接到所述多个设备中的所述至少一个设备的单独设备,并且其中所述相机被配置为将所述第一多个视频帧传输到所述至少一个设备。
21.一种设备,包括:
存储器,所述存储器包括计算机可执行指令;以及一个或多个处理器,所述一个或多个处理器与所述存储器通信并且被配置为访问所述存储器并且执行所述计算机可执行指令以执行根据权利要求1至20中任一项所述的方法。
22.一种或多种包括计算机可执行指令的计算机可读存储介质,所述计算机可执行指令当由一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1至20中任一项所述的方法。
23.一种方法,包括:
由计算设备维护与人相关联的多个图像;
由所述计算设备接收新图像;
由所述计算设备确定所述新图像是否包括所述人的面部;以及
根据所述新图像包括所述人的面部:
由所述计算设备生成与所述新图像相关联的分数;
由所述计算设备确定所述分数是否高于阈值;
根据确定所述分数高于所述阈值,将所述新图像添加到所述多个图像;以及
根据确定所述分数不高于所述阈值,丢弃所述新图像。
24.根据权利要求23所述的方法,其中所述多个图像包括与所述人相关联的第一身体特征,并且所述方法还包括:
根据所述新图像不包括所述人的所述面部并且至少部分地基于具有低于阈值的质量分数不能够被识别:
由所述计算设备将在所述图像中识别的第二身体特征和与所述人相关联的所述第一身体特征进行比较;
由所述计算设备确定在所述图像中识别的所述第二身体特征是否对应于与所述人相关联的所述第一身体特征;以及
根据在所述图像中识别的所述第二身体特征对应于与所述人相关联的所述第一身体特征来识别所述人。
25.根据权利要求23至24中任一项所述的方法,还包括由所述计算设备提供所述人被识别的通知。
26.根据权利要求23至25中任一项所述的方法,其中所述计算设备包括家庭环境中的驻留设备,其中所述驻留设备被配置为在所述家庭环境内相对静止。
27.根据权利要求23至26中任一项所述的方法,其中所述分数包括质量分数。
28.根据权利要求27所述的方法,其中所述质量分数识别所述图像相对于其他图像的相对质量。
29.根据权利要求27或28中任一项所述的方法,其中至少部分地基于饱和度量、对比度量、亮度量或清晰度量中的至少一者来确定所述质量分数。
30.根据权利要求23所述的方法,其中所述多个图像包括与所述人相关联的身体印记的集合。
31.根据权利要求30所述的方法,其中至少部分地基于用户的躯干来生成所述身体印记的集合中的身体印记。
32.一种设备,包括:
存储器,所述存储器包括计算机可执行指令;和一个或多个处理器,所述一个或多个处理器与所述存储器通信,并且被配置为访问所述存储器并执行所述计算机可执行指令以执行根据权利要求23至31中任一项所述的方法。
33.一种或多种包括计算机可执行指令的计算机可读存储介质,所述计算机可执行指令当由一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求23至31中任一项所述的方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/188,949 | 2021-05-14 | ||
US202263341379P | 2022-05-12 | 2022-05-12 | |
US63/341,379 | 2022-05-12 | ||
PCT/US2022/029314 WO2022241294A2 (en) | 2021-05-14 | 2022-05-13 | Identity recognition utilizing face-associated body characteristics |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117377988A true CN117377988A (zh) | 2024-01-09 |
Family
ID=89402689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280034667.6A Pending CN117377988A (zh) | 2021-05-14 | 2022-05-13 | 利用面部关联的身体特征的身份识别 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117377988A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745036A (zh) * | 2024-02-18 | 2024-03-22 | 四川金投科技股份有限公司 | 一种基于特征识别及近场通信的牲畜信息管理方法及系统 |
-
2022
- 2022-05-13 CN CN202280034667.6A patent/CN117377988A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745036A (zh) * | 2024-02-18 | 2024-03-22 | 四川金投科技股份有限公司 | 一种基于特征识别及近场通信的牲畜信息管理方法及系统 |
CN117745036B (zh) * | 2024-02-18 | 2024-04-30 | 四川金投科技股份有限公司 | 一种基于特征识别及近场通信的牲畜信息管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11735018B2 (en) | Security system with face recognition | |
US10887486B2 (en) | Wearable device and methods for transmitting information based on physical distance | |
US20220245396A1 (en) | Systems and Methods of Person Recognition in Video Streams | |
US20190220933A1 (en) | Presence Granularity with Augmented Reality | |
US11625936B2 (en) | High definition camera and image recognition system for criminal identification | |
US8737688B2 (en) | Targeted content acquisition using image analysis | |
US10032233B2 (en) | Social context in augmented reality | |
US11710348B2 (en) | Identifying objects within images from different sources | |
CN109686049B (zh) | 公共场所内儿童落单提醒方法、装置、介质及电子设备 | |
EP3975132A1 (en) | Identifying partially covered objects utilizing simulated coverings | |
US20170262706A1 (en) | Smart tracking video recorder | |
US20140108530A1 (en) | Person of Interest in Augmented Reality | |
US10769909B1 (en) | Using sensor data to detect events | |
US11659144B1 (en) | Security video data processing systems and methods | |
US20140108529A1 (en) | Person Filtering in Augmented Reality | |
CN117377988A (zh) | 利用面部关联的身体特征的身份识别 | |
US11126830B2 (en) | Computerized system and method for adaptive stranger detection | |
US20230013117A1 (en) | Identity recognition utilizing face-associated body characteristics | |
US20220366727A1 (en) | Identity recognition utilizing face-associated body characteristics | |
WO2022241294A2 (en) | Identity recognition utilizing face-associated body characteristics | |
WO2024063969A1 (en) | Identity recognition utilizing face-associated body characteristics | |
Constantino | Best Effort Identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |