CN112399935A - 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证 - Google Patents

使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证 Download PDF

Info

Publication number
CN112399935A
CN112399935A CN201980007317.9A CN201980007317A CN112399935A CN 112399935 A CN112399935 A CN 112399935A CN 201980007317 A CN201980007317 A CN 201980007317A CN 112399935 A CN112399935 A CN 112399935A
Authority
CN
China
Prior art keywords
user
vehicle
image
feature data
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007317.9A
Other languages
English (en)
Other versions
CN112399935B (zh
Inventor
哈努曼特·普拉萨德·R·辛格
彼得·库拉加
朱文生
昆塔尔·森古普塔
小约瑟夫·埃德温·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112399935A publication Critical patent/CN112399935A/zh
Application granted granted Critical
Publication of CN112399935B publication Critical patent/CN112399935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/2027Means to switch the anti-theft system on or off with data signals passing through the human body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/24Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/69Identity-dependent
    • H04W12/72Subscriber identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种示例方法包括:由移动计算装置建立与运载工具的运载工具计算系统的连接;从所述运载工具计算系统接收与运载工具的用户的面部的至少一个图像相关联的特征数据,其中,面部的至少一个图像由运载工具中包括的图像捕获装置捕获;基于与用户的面部的至少一个图像相关联的特征数据与先前登记用户的面部的至少一个图像的特征数据之间的比较,确定运载工具的用户与先前登记用户之间的匹配;基于该匹配,对运载工具的用户进行认证;以及向运载工具计算系统发送针对运载工具的用户的认证数据,其中,认证数据指示该匹配。

Description

使用运载工具内相机连同受信移动计算装置进行无缝驾驶员 认证
背景技术
诸如汽车、摩托车、飞机和船只的运载工具(vehicles)可以包括用于执行功能并且给运载工具的乘员提供信息、娱乐、帮助和/或环境控制的一个或多个计算系统。例如,汽车可以包括用于播放音乐、视频或其它内容的娱乐系统、用于提供信息和导航帮助的导航系统、用于加热或冷却运载工具内舱的温度控制系统、用于调节车的诸如天窗或窗帘的各种组件或特征的控制系统或执行这些前述功能中的一些或全部的“信息娱乐系统”。现代运载工具装备有具有显示装置(例如,存在敏感显示器)和计算引擎的信息娱乐头部单元(IHU),所述计算引擎被配置成执行操作系统和一个或多个应用。
发明内容
通常,本申请描述了用于使用运载工具内相机和通信地耦合到运载工具的受信移动计算装置来执行对运载工具的驾驶员的无缝认证的技术。受信移动计算装置可以最初执行登记过程以捕获已知用户的面部在各种不同姿态下的数据(例如,与捕获图像相关联的面部特征数据)。受信装置可以将已知用户的每个数据的组指派给姿态桶(pose bucket)的组中的相应姿态桶。受信装置通过使已知用户的数据与已知用户的用户账户相关联来登记数据。受信装置可以随后接收位于运载工具内部的未知用户的认证数据(例如,计算的测试数据,诸如计算的面部特征信息),其中认证图像使用运载工具的运载工具内相机来捕获,并且其中计算的数据(例如,特征数据)是从图像获取的并且由受信装置使用。受信装置可以通过将未知用户的认证特征数据与已知用户的登记特征数据相比较来对未知用户进行认证。基于比较,受信装置将认证过程的结果发送到运载工具,运载工具然后可以在运载工具的信息娱乐头部单元处执行针对认证用户(例如,基于该用户的简档和/或账户信息)定制的登入操作。结果,各种所描述的技术使得能够实现对运载工具的驾驶员进行无缝且可靠的认证,同时还仅将授权用户的登记特征数据存储在受信装置上以保护这种用户数据的安全性。在一些情况下,受信移动计算装置可以将登记特征数据发送到运载工具计算系统,运载工具计算系统然后可以被配置成通过将未知用户的认证特征数据与所接收到的已知用户的登记特征数据相比较来执行对运载工具中的未知用户的认证。
在一个示例中,一种方法包括:由移动计算装置建立与运载工具的运载工具计算系统的连接;以及在建立连接之后,由移动计算装置从运载工具计算系统接收与运载工具的用户的面部的至少一个图像相关联的第一特征数据,其中,运载工具的用户的面部的至少一个图像由连接到运载工具的至少部分的图像捕获装置捕获。示例方法还包括:由移动计算装置基于第一特征数据与和移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较,确定运载工具的用户与先前登记用户之间的匹配;由移动计算装置基于该匹配,对运载工具的用户进行认证;以及由移动计算装置向运载工具计算系统发送针对运载工具的用户的认证数据,其中,认证数据指示该匹配。
在另一示例中,一种计算机可读存储介质存储指令,所述指令当被执行时,使至少一个处理器:建立与运载工具的运载工具计算系统的连接;在建立连接之后,从运载工具计算系统接收与运载工具的用户的面部的至少一个图像相关联的第一特征数据,其中,运载工具的用户的面部的至少一个图像由连接到运载工具的至少部分的图像捕获装置捕获;基于第一特征数据与和移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较,确定运载工具的用户与先前登记用户之间的匹配;基于所述匹配,对运载工具的用户进行认证;以及向运载工具计算系统发送针对运载工具的用户的认证数据,其中,认证数据指示该匹配。
在另一示例中,一种移动计算装置包括至少一个处理器和至少一个计算机可读存储装置。所述至少一个计算机可读存储装置存储指令,所述指令当由至少一个处理器执行时,使至少一个处理器:建立与运载工具的运载工具计算系统的连接;在建立连接之后,从运载工具计算系统接收与运载工具的用户的面部的至少一个图像相关联的第一特征数据,其中,运载工具的用户的面部的至少一个图像由连接到运载工具的至少部分的图像捕获装置捕获;基于第一特征数据与和移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较,确定运载工具的用户与先前登记用户之间的匹配;基于该匹配,对运载工具的用户进行认证;以及向运载工具计算系统发送针对运载工具的用户的认证数据,其中,认证数据指示该匹配。
在另一示例中,一种方法包括:由运载工具的运载工具计算系统建立与移动计算装置的连接,其中,运载工具计算系统包括信息娱乐头部单元;由运载工具计算系统确定用户存在于运载工具内部;以及在确定用户存在于运载工具内部之后,由运载工具计算系统使用连接到运载工具的至少部分的图像捕获装置来捕获用户的面部的至少一个图像。示例方法还包括:由运载工具计算系统确定与用户的面部的至少一个图像相关联的第一特征数据;由运载工具计算系统接收针对用户的认证数据,其中,认证数据基于第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示用户与先前登记用户之间的匹配;以及由运载工具计算系统基于针对用户的认证数据,访问用户账户信息以将用户登录到信息娱乐头部单元。
在另一示例中,一种计算机可读存储介质存储指令,所述指令当被执行时,使至少一个处理器:建立与移动计算装置的连接;确定用户存在于运载工具内部;在确定用户存在于运载工具内部之后,使用连接到运载工具的至少部分的图像捕获装置来捕获用户的面部的至少一个图像;确定与用户的面部的至少一个图像相关联的第一特征数据;接收针对用户的认证数据,其中,认证数据基于第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示用户与先前登记用户之间的匹配;以及基于针对用户的认证数据,访问用户账户信息以将用户登录到信息娱乐头部单元。
在另一示例中,一种运载工具计算系统包括至少一个处理器和至少一个计算机可读存储装置。至少一个计算机可读存储装置存储指令,所述指令当由至少一个处理器执行时,使至少一个处理器:建立与移动计算装置的连接,其中,运载工具计算系统包括信息娱乐头部单元;确定用户存在于运载工具内部;在确定用户存在于运载工具内部之后,使用连接到运载工具的至少部分的图像捕获装置来捕获用户的面部的至少一个图像;确定与用户的面部的至少一个图像相关联的第一特征数据;接收针对用户的认证数据,其中,认证数据基于第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示用户与先前登记用户之间的匹配;以及基于针对用户的认证数据,访问用户账户信息以将用户登录到信息娱乐头部单元。
在下面的附图和描述中阐述了一个或多个示例的细节。根据说明书和附图,并且根据权利要求书,本公开的其它特征、目的和优点将是显而易见的。
附图说明
图1是图示依照本公开的一个或多个方面的运载工具的内部的侧视图的概念图,所述运载工具包括被配置成与用于对运载工具的用户进行认证的移动计算装置进行通信的示例运载工具计算系统。
图2是图示依照本公开的一个或多个方面的运载工具的内部的进一步细节的概念图。
图3是图示依照本公开的一个或多个方面的执行面部登记操作的示例计算装置的概念图。
图4是图示依照本公开的一个或多个方面的示例计算系统的框图。
图5是图示依照本公开的一个或多个方面的示例驾驶员记入(onboarding)和认证过程的图。
图6是图示依照本公开的一个或多个方面的示例面部登记过程的图。
图7是图示依照本公开的一个或多个方面的由示例计算系统执行的示例操作的流程图。
图8是图示依照本公开的一个或多个方面的由示例运载工具计算系统执行的示例操作的流程图。
具体实施方式
如上所述,现代运载工具装备有具有显示装置(例如,存在敏感显示器)和计算引擎的信息娱乐头部单元(IHU),所述计算引擎被配置成执行操作系统和一个或多个应用。IHU使得用户能够在驾驶的同时具有丰富的个性化体验,并且由IHU提供的应用可以使得用户能够收听偏好的音乐,浏览电子邮件或者挑选喜爱的和/或常去的目的地,仅举几个示例。可以通过使用户特定的简档被存储在IHU上的每用户账户中来实现用户的个性化体验。
在一些情况下,在最初创建账户时与运载工具配对的密钥卡或外部装置(例如,移动电话)可以识别用户并且将他们登录到IHU。然而,仅存在密钥卡或外部装置不一定实现对运载工具的特定、已知或先前识别的用户的认证。在某些情况下,IHU可以进一步提示已知、受信装置的用户在该用户的装置上输入个人密码或口令,以使得能够实现登入到IHU的显式许可。然而,这种方法可能潜在地否定用户对无缝“进入并驾驶”体验的期望。
现代汽车支持不同级别的自动驾驶。一些汽车使用车内相机来监视驾驶员的注意力,或者确定到自主模式以及从自主模式的安全切换。一种方法是利用车内相机来提供基于面部的识别,类似于个人移动装置上的面部解锁特征。然而,这种基于面部的认证过程将通常涉及登记步骤,该登记步骤可能涉及用户以有向模式移动用户的面部,以便相机捕获用户在不同姿态下的面部/生物计量特征。每个姿态可以与和该姿态相关联的不同面部或其它生物计量特征的组相关联。使用运载工具自己的相机直接在运载工具中执行登记可能具有某些挑战,因为用户可能不从运载工具接收任何视觉或其它指示以移动用户的头同时看着面向驾驶员的相机。
本申请描述了用于使用运载工具内相机和通信地耦合到运载工具的受信移动计算装置来执行对运载工具的驾驶员的无缝认证的技术。这些技术可以提供可靠认证机制和无缝用户体验,同时还确保面部图像信息的用户隐私。受信移动计算装置可以最初执行登记过程以捕获已知用户的面部在各种不同姿态下的图像数据(例如,诸如面部特征数据的计算的数据)。如本文所使用的,术语“图像数据”是指根据例如用户的面部的捕获图像来计算或以其它方式确定的数据(例如,特征数据)。受信装置可以将已知用户的每个图像数据的组指派给姿态桶的组中的相应姿态桶。受信装置通过使已知用户的图像数据与已知用户的用户账户相关联来登记图像数据。受信装置可以随后接收位于运载工具内部的未知用户的认证图像数据(例如,测试图像数据,诸如与图像相关联的计算的面部特征数据),其中认证图像是使用运载工具的运载工具内相机捕获的,并且其中计算的图像数据(例如,特征数据)是从图像获取的并且由受信装置使用。受信装置可以通过将未知用户的认证特征数据与已知用户的登记特征数据相比较来对未知用户进行认证。基于比较,受信装置将认证过程的结果发送到运载工具,该运载工具然后可以在IHU处执行针对经认证的用户定制(例如,基于该用户的简档和/或账户信息)的登入操作。在一些情况下,受信移动计算装置可以将登记特征数据发送到运载工具计算系统,所述运载工具计算系统然后可以被配置成通过将未知用户的认证特征数据与所接收的已知用户的登记特征数据相比较来执行对运载工具中的未知用户的认证。
在一些示例中,计算装置可以确定与未知用户的面部的认证特征数据相关联的姿态桶,选择被包括在与和认证特征数据相关联的姿态桶相同的姿态桶中的已知用户的特征数据,并且将所选择的特征数据与认证特征数据相比较以确定未知用户是否为已知用户。作为另一示例,计算装置可以将认证特征数据与登记特征数据的组中的每一个相比较,以确定已知用户的登记特征数据中的哪些与未知用户的认证特征数据最相似。计算装置可以基于已知用户的最相似的登记特征数据来确定未知用户是否为已知用户,而不管姿态桶如何。
通过登记若干不同姿态桶中包括的特征数据,受信装置可以更准确地执行面部辨识以对诸如运载工具的当前用户的未知用户进行认证。例如,登记被包括在若干姿态桶中的已知用户的特征数据可以增加与认证特征数据(例如,未知用户的面部的姿态)相关联的姿态桶与包括已知用户的登记特征数据(例如,登记特征数据中的已知用户的姿态)的姿态桶相似的概率。增加未知用户的认证特征数据的姿态与已知用户的一个或多个登记特征数据的姿态相似的概率可以降低当未知用户实际上是已知、授权用户时错误地拒绝未知用户的概率。在一些情况下,增加未知用户的认证特征数据的姿态与已知用户的一个或多个登记特征数据的姿态类似的概率可以降低当未知用户不是已知、授权用户时错误地接受未知用户的概率。以这种方式,计算装置可以不管未知用户的姿态如何都更准确地对未知用户的特征数据进行认证。
图1是图示运载工具(例如,汽车)的内部的侧视图的概念图,所述运载工具包括示例运载工具计算系统100。图1除了示出运载工具计算系统100的组件之外还示出了运载工具内部的横截面视图。运载工具计算系统100被配置成检测并处理用户输入。
图1中图示的运载工具可以是汽车,但是本公开的各方面也可以适用于其它类型的运载工具,包括卡车、摩托车、飞机、船只、火车或其它运载工具。在图1中,驾驶员150通常可以占用座位152。汽车的座位152可以直接定位在运载工具的方向盘154后面,使得座位152的乘员可以以物理方式控制方向盘154。座位152在图1中图示的运载工具内定位在顶蓬158下面。方向盘154可以从仪表板156突出。至少一个前面的乘客座位可以横向地定位为与座位152相邻。其它乘客座位可以定位在座位152后面或在座位152前面。
另外在图1中示出了可以均被包括在运载工具计算系统100中的装置、组件和模块的合集。运载工具计算系统100可以包括但不限于存在敏感面板102和相机104以及显示器112和控制单元106。运载工具计算系统100的诸如存在敏感面板102和相机104的一个或多个组件可以被坐在汽车的前面驾驶员和前面乘客座位中的乘员直接并以物理方式访问,并且可以位于中央控制台101内、中央控制台101附近或中央控制台101上。此类组件可以在此类乘员的触手可及范围内,并且也可以或替换地定位在运载工具的诸如后面座位的另一乘客区域中。在一些示例中,如果运载工具乘员不需要改变他的或她的座位位置以便用伸出手臂伸手到组件,则组件可以在触手可及范围内。换句话说,对于许多驾驶员来说,例如,方向盘、换挡杆和中央控制台的通常位置可以被认为在驾驶员的触手可及范围内。如在下面进一步描述的,存在敏感面板102和相机104可以充当运载工具计算系统100的输入装置。在一些示例中,运载工具计算系统100的可能不一定需要由运载工具的乘员进行物理访问的一个或多个组件(诸如,在一些示例中,显示器112和控制单元106)可以定位在仪表板156之中或之上或者集成到仪表板156中。可以将此类组件集成为面向运载工具的乘员或在运载工具的乘员附近的汽车仪表板和/或控制台的一部分。如本公开中进一步描述的,运载工具计算系统100可以包括可以输出图形用户界面的显示器112。在一些情况下,可以在运载工具内提供附加相机。例如,如图1中所示,方向盘154可以包括面向用户的相机111。在一些情况下,附加面向用户的相机可以定位在运载工具的其它元件或组件上,诸如在仪表板156、顶蓬158、控制台101或面板102和/或显示器112上。在一些情况下,附加相机可以定位在运载工具的后视镜或挡风玻璃上。通常,车内相机(例如,104/111)可以被安装或以其它方式连接到运载工具的一个或多个部分或组件。
坐在座位152上的是用户150。用户150可以是驾驶员,但是用户150也可能是乘客或其它运载工具乘员。尽管在图1中用户150被示出为处于可能常常认为是前面座位的位置中(例如由方向盘154和仪表板156表征),但是用户150可以坐在运载工具内的另一位置(包括后面座位)中。
在图1的示例中,用户150可以导航或操作运载工具,可以与运载工具的一个或多个组件交互,并且/或者可以在输入装置或存在敏感面板102或相机104处提供输入。在图1中,用户150被示出为与存在敏感面板102交互。
存在敏感面板102可以在存在敏感面板102的位置处检测一个或多个轻敲、手势和/或其它用户输入。此类轻敲、手势或其它输入可以来自用户150的一个或多个手指,或者可以来自由用户150使用的触笔或其它装置。这种输入可以是在存在敏感面板102的表面上,或者在存在敏感面板102的表面的阈值距离内。在图1的图示中,阈值距离可以朝向顶蓬158在存在敏感面板102上方延伸。
响应于在存在敏感面板102的位置处检测到一个或多个输入,存在敏感面板102可以将由存在敏感面板102检测到的输入的指示输出到UI模块108。在一些示例中,UI模块108可以基于输入的指示确定关于输入的信息。这种信息可以例如指示与输入相对应的一个或多个线、字符或形状。UI模块108可以将关于输入的信息输出到一个或多个应用模块110。响应于关于输入的信息,一个或多个应用模块110可以确定与输入相对应的操作并且/或者执行操作。在一些示例中,并且响应于关于输入的信息,一个或多个应用模块110可以将关于输入、操作或要执行的操作的信息输出到显示器112。
如描述和图示的,运载工具计算系统100的一些或全部可以被容纳在仪表板156内,所述仪表板在一些示例中可以由塑料、乙烯基、橡胶、铝、钢或任何其它合适的材料构造。控制单元106可以包括至少一个处理器和/或至少一个存储装置,并且可以被容纳在外壳105内,所述壳体也可以由塑料、乙烯基、橡胶、铝、钢或任何其它合适的材料构造。在一些示例中,外壳105也可以是包封并以其它方式保护为运载工具计算系统100提供功能性的一个或多个电子组件的刚性壳体。在一些示例中,外壳105可以与汽车仪表板或控制台一起贴附、安装或以其它方式集成。
控制单元106可以为诸如硬件、固件和软件的组合的一个或多个模块提供操作环境或平台,如图4中进一步图示的。例如,控制单元106可以包括可以执行指令并且存储一个或多个模块的数据的一个或多个处理器和存储装置。控制单元106还可以以操作方式耦合到一个或多个其它软件和/或硬件组件,包括存在敏感面板102、相机104和显示器112,以控制组件、配置组件和/或与组件一起传送信息,仅举几个示例操作。
使用如下中的任何一个或多个,显示器112可以充当诸如显示装置的输出装置:液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或类似的能够向用户或运载工具乘员输出可见信息的单色或彩色显示器。在一些示例中,显示器112也可以充当输入装置,使得它用作输入装置和输出装置二者。在此类示例中,显示器112可以包括集成的存在敏感输入装置和显示装置。例如,显示器112可以充当使用存在敏感屏幕的存在敏感输入装置,诸如电阻式触摸屏、表面声波触摸屏、电容性触摸屏、投射电容触摸屏、压敏屏幕、声脉冲辨识触摸屏或另一存在敏感屏幕技术。基于用户输入,显示器112可以将输出呈现给用户。例如,显示器112可以呈现在运载工具计算系统100处执行的应用(例如,导航应用)的各种用户界面。运载工具的诸如驾驶员的乘员可以提供用户输入来与此类应用中的一个或多个交互。
运载工具计算系统100可以操作来辅助、通知、娱乐或执行需要用户与运载工具的乘员交互的其它任务。在一些示例中,运载工具计算系统100可以被称为信息娱乐头部单元(IHU)、信息娱乐系统或其子组件。例如,运载工具计算系统100可以包括代表运载工具的一个或多个乘员执行功能或者处理信息的一个或多个应用模块110。例如,运载工具计算系统100可以提供导航服务,该导航服务提供到目的地的方向。运载工具计算系统100也可以提供信息检索服务,该信息检索服务响应于查询和/或作为抢先辅助或推荐而提供信息。运载工具计算系统100也可以提供关于运载工具的运载工具数据,或诸如音频或视频的多媒体。仅提及了可以由运载工具计算系统100提供的功能性的几个示例,并且运载工具计算系统100可以提供许多附加能力。以这种和其它方式,运载工具计算系统100可以改善运载工具的一个或多个乘员的驾驶或乘坐体验。
在一些示例中,可以通过由存在敏感面板102检测到的输入、通过由相机104检测到的输入和/或通过由存在敏感面板102和相机104的组合检测到的输入来控制运载工具计算系统100。也可以通过由一个或多个附加输入装置(例如,麦克风、物理按钮或开关或其它类型的输入装置)检测到的输入来控制运载工具计算系统100。
在一些示例中,存在敏感面板102可以简单地充当触摸输入的输入装置,所述触摸输入通过可以在存在敏感面板102处直接并以物理方式发生的用户输入来提供。例如,存在敏感面板102可以充当使用存在敏感装置的多触摸存在敏感输入装置,诸如电阻式触摸屏或触摸面板、表面声波触摸屏或触摸面板、电容式触摸屏或触摸面板、投射电容触摸屏或触摸面板、压敏屏幕或触摸面板、声脉冲辨识触摸屏或触摸面板或另一存在敏感屏幕或触摸面板技术。在一些示例中,存在敏感面板102可以检测在与存在敏感面板102相关联的存在敏感组件处和/或附近或在其范围内的对象。作为一个示例范围,存在敏感面板102可以检测对象,诸如在存在敏感面板102的2cm或更少内的手指或触笔。存在敏感面板102可以确定检测到对象的存在敏感输入装置的位置(例如,(x,y)坐标)。在另一示例范围中,存在敏感面板102可以检测与存在敏感面板102相距6英寸或更少的对象;其它范围也是可能的。存在敏感面板102可以使用电容式、电感式和/或光学辨识技术来检测用户的手指、触笔或类似物。
在图1中图示的示例中,存在敏感面板102可以定位在相机104上方的中央控制台101中,并且中央控制台101可以是对相机104透明的,使得即使存在敏感面板102以物理方式遮挡相机104的镜头或视场,相机104也可以捕获存在敏感面板102正上方的图像。例如,相机104可以是通过接收红外光来捕获图像的红外相机,并且存在敏感面板102可以是对红外光透明的,使得相机104能够接收在顶蓬158与存在敏感面板102之间发源的红外光。在其它示例中,相机104可能不直接定位在存在敏感面板102下面,并且相机104可以定位在运载工具内的其它地方。例如,如图1中所示,方向盘154可以包括面向用户的相机111。在一些情况下,附加面向用户的相机可以定位在运载工具的其它元件或组件上,诸如在仪表板156、顶蓬158、控制台101或面板102和/或显示器112上。
在一些示例中,存在敏感面板102可以既充当输入装置又充当输出装置。在此类示例中,存在敏感面板102可以包括集成的存在敏感输入装置和显示装置,并且可能是如下中的任何一个或多个:液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或类似的能够向用户或运载工具乘员输出可见信息的单色或彩色显示器。在存在敏感面板102包括输入装置和输出装置功能性二者的其它示例中,存在敏感面板102可以由如下两个单独的组件实现:用于接收输入的存在敏感输入装置和用于提供输出的显示装置。在存在敏感面板102包括输入装置和输出装置功能性二者的示例中,存在敏感面板102可以仍然定位在相机104上方的中央控制台101中,并且中央控制台101可以仍然是对相机104透明,使得相机104即使定位在存在敏感面板102下面,也可以捕获存在敏感面板102正上方的图像。
相机104和/或相机111可以是任何适当类型的图像获得或捕获装置中的一种或多种,诸如相机或电荷耦合器件。在一些示例中,相机104可以是具有高视场和浅焦深的一个或多个红外相机,并且可以是定向成在运载工具内通常指向朝上从而具有特定视场的背光红外相机。在其它示例中,相机104可以是或可以进一步包括一个或多个其它类型的相机或图像传感器,其可以包括一个或多个其它红外相机、热像相机、热成像相机、光敏相机、距离传感器、层析成像装置、雷达装置、红绿蓝(RGB)相机或超声相机。在一些示例中,相机104可以是适于计算机视觉技术的应用的任何图像捕获装置。取决于所用传感器或相机的类型,所得图像可以包括二维图像、三维体积或图像序列。像素值通常对应于一个或多个光谱带中的光强度,但是也可能与诸如深度、声波或电磁波的吸收或反射或核磁共振的各种物理量度有关。
相机104可以被配置成随着运载工具的诸如驾驶员的乘员在他或她在视场中做手势时移动手臂、手腕、手、触笔和/或手指而捕获该乘员的移动,并且可以被配置成捕获用户150的面部的图像。
如上所述,运载工具计算系统100可以包括用户界面(UI)模块108和应用模块110。UI模块108和应用模块110可以使用软件、硬件、固件或硬件和软件二者的混合物以及驻留在运载工具计算系统100中并由运载工具计算系统100或在一个或多个其它远程计算装置处执行的固件来执行本文所述的操作。因此,可以将UI模块108和应用模块110实现为硬件、软件和/或硬件和软件的组合。运载工具计算系统100可以作为在底层硬件上执行的虚拟机或在该虚拟机内执行UI模块108、应用模块110或一个或多个其它模块。可以以各种方式实现UI模块108和应用模块110。例如,可以将UI模块108和应用模块110实现为可下载的或预安装的应用或“app”。在另一示例中,可以将UI模块108和应用模块110实现为运载工具计算系统100的操作系统的部分。
应用模块110可以包括用以在运载工具计算系统100上执行任何各种操作的功能性。例如,应用模块110可以包括导航应用、天气应用、电话拨号器应用、信息检索应用、多媒体应用、运载工具信息应用、电子邮件应用、文本消息收发应用、即时消息应用、社交联网应用、天气应用、股市应用、紧急警报应用、体育应用,仅举几个示例。通常,运载工具计算系统100无论是通过应用模块110还是以其它方式都可以被配置成执行操作,所述操作包括与如下各项有关的操作:气候控制系统(例如,加热和空调)、音频或信息娱乐系统、座位、窗户、遮阳帘或挡风玻璃刮水器、巡航控制、舱内显示系统、方向盘控件、头枕、扶手、侧视镜或后视镜、碰撞传感器。此类操作可以由一个或多个应用模块110控制,或者可以由运载工具内的其它系统控制。在一些示例中,此类操作可以限于运载工具的非安全特征。在其它示例中,此类操作可以包含运载工具的可能认为是安全相关的一个或多个特征(例如,打开转向灯、调节镜、调节或系紧/断开座位安全带、调节巡航控制特征、加速、制动)。
尽管示出为可在运载工具计算系统100的控制单元106内操作,但是应用模块110中的一个或多个可能可由通信地耦合到运载工具计算系统100的远程计算装置(例如,移动计算装置170)操作。在此类示例中,在远程计算装置处执行的应用模块可以使该远程计算装置使用任何合适形式的数据通信(例如,有线或无线网络、诸如近场通信或蓝牙的短距离无线通信等)来发送内容和意图信息。在一些示例中,远程计算装置可以是与运载工具计算系统100中包括的计算装置分开的计算装置。例如,远程计算装置可以通过网络在操作上耦合到运载工具计算系统100。远程计算装置的示例可以包括但不限于服务器、智能电话、平板计算装置、智能手表和台式计算机。在一些示例中,远程计算装置可以是或可能不是运载工具计算系统100的集成组件。如图1中所示,一个这样的示例远程装置是移动计算装置170,所述移动计算装置170可以包括显示装置172和一个或多个图像捕获装置173,并且可以执行一个或多个应用174。移动计算装置170的示例可以包括但不限于移动电话、平板计算机、个人数字助理(PDA)、膝上型计算机、便携式游戏装置、便携式媒体播放器、电子书阅读器、可穿戴装置(例如,手表、腕戴式计算装置、头戴式计算装置)或其它类型的移动计算装置。移动计算装置170可以是或包括一个或多个处理器。图1还图示了移动、可穿戴装置107(例如,智能手表),其由用户150穿戴,并且可以通信地耦合(例如,经由一个或多个无线连接)到移动计算装置170和/或系统100。IHU系统100可以使用无线通信协议(例如,蓝牙、WIFI、低功耗蓝牙(BLE))来与可穿戴装置107和/或移动计算装置170进行通信。当移动计算装置170和/或可穿戴装置107与IHU系统100配对时,此装置可以被辨识为关于IHU系统100的受信装置,并且由IHU系统100指派了唯一标识符。此受信装置及其对应的唯一标识符由IHU系统100与运载工具的用户150以及用户150的任何简档和/或账户信息相关联。
运载工具计算系统100的UI模块108可以从存在敏感面板102接收在存在敏感面板102处检测到的用户输入的一个或多个指示。通常,每次存在敏感面板102在存在敏感面板102的特定位置处检测到用户输入时,UI模块108可以从存在敏感面板102接收用户输入的指示或关于用户输入的信息。UI模块108可以将从存在敏感面板102接收到的信息聚集(assemble)成一个或多个事件的集合,诸如一个或多个触摸事件或手势事件的序列。序列中的每个手势事件可以包括表示表征存在敏感面板102处的输入的存在和/或移动的参数(例如,何时、何处、发源方向)的数据或分量。序列中的每个手势事件可以包括与存在敏感面板102的位置相对应的位置分量、与存在敏感面板102何时在该位置处检测到用户输入有关的时间分量和/或与手势事件是对应于该位置处的抬起还是按压有关的动作分量。
UI模块108可以基于手势事件的序列来确定用户输入的一个或多个特性并且在手势事件的序列中的每个手势事件内包括关于这一个或多个特性的信息。例如,UI模块108可以确定用户输入的开始位置、用户输入的结束位置、用户输入的部分的密度、用户输入的部分的速度、用户输入的部分的方向和用户输入的部分的曲率。UI模块108可以将来自存在敏感面板102的用户输入的指示传输到其它模块,诸如应用模块110。UI模块108可以确定由用户提供的一个或多个单触摸或多触摸手势。UI模块108还可以作为运载工具计算系统100的各种组件之间的中介以基于由存在敏感面板102检测到的输入做出确定并且生成由显示器112呈现的输出。例如,UI模块108可以从一个或多个应用模块110接收数据并且使显示器112输出诸如图形用户界面的内容以供显示。
运载工具计算系统100的UI模块108还可以从相机104接收由相机104检测到的用户输入的一个或多个指示。通常,每次相机104检测到用户手势或移动时,UI模块108可以从相机104接收用户输入的指示或关于用户输入的信息。UI模块108可以将从相机104接收到的信息聚集成一个或多个事件的集合,诸如移动或手势事件的序列。序列中的每个手势事件可以包括表示表征由相机104在视场内捕获的存在、手势和/或移动的参数(例如,何时、在三维空间中何处、发源方向、三维空间中的方向、手或手臂定向或姿势)的数据或分量。序列中的每个手势事件可以包括与视场内的三维位置相对应的位置分量、与相机104何时在三维空间内检测到用户输入有关的时间分量、与做出了什么类型的手势有关的动作分量和/或由相机104捕获的一个或多个图像。
另外,在一些示例中,存在敏感面板102和相机104在运载工具内的布置和/或放置可以提供人机工程学且舒适的方式以供驾驶员(或其它运载工具乘员)与运载工具计算系统100交互。虽然存在敏感面板102和相机104可以检测不同类型的输入,但是依照本公开的一个或多个方面的存在敏感面板102和相机104的定位可以是使得由存在敏感面板102检测到的输入可以被运载工具乘员感知为由相机104检测到的输入的自然扩展。类似地,由相机104检测到的输入可以被乘员感知为由存在敏感面板102检测到的输入的自然扩展。换句话说,这样的系统可以提供特别自然或容易的用户界面以供运载工具乘员使用。在一些情况下,运载工具乘员可能发现与运载工具计算系统100交互是相对本能的。
如在下面进一步描述的,根据各种示例,移动计算装置(例如,移动计算装置170、可穿戴装置107)可以建立与图1中图示的运载工具的运载工具计算系统100的连接。在建立连接之后,移动计算装置可以从运载工具计算系统100接收与运载工具的用户150的面部的至少一个图像相关联的第一特征数据。运载工具的用户150的面部的至少一个图像由连接到运载工具的至少部分的图像捕获装置(例如,相机104/111)捕获。移动计算装置可以基于第一特征数据与和移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来确定运载工具的用户与先前登记用户之间的匹配,如在下面参考图3进一步描述的。移动计算装置基于该匹配来对运载工具的用户150进行认证。移动计算装置将针对运载工具的用户150的认证数据发送到运载工具计算系统100,其中认证数据指示该匹配。
根据各种示例,运载工具计算系统100可以建立与移动计算装置(例如,移动计算装置170、可穿戴装置107)的连接,其中运载工具计算系统包括信息娱乐头部单元,并且确定用户存在于运载工具内部。在确定用户存在于运载工具内部之后,运载工具计算系统100可以使用连接到运载工具的至少部分的图像捕获装置(例如,相机104/111)来捕获用户的面部的至少一个图像,并且确定与用户的面部的至少一个图像相关联的第一特征数据。运载工具计算系统100可以接收针对用户的认证数据,其中认证数据基于第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示用户与先前登记用户之间的匹配。运载工具计算系统100然后可以基于针对用户的认证数据来访问用户账户信息以将用户登录到信息娱乐头部单元。
在一些情况下,运载工具计算系统100可以将与用户的面部的至少一个图像相关联的第一特征数据发送到移动计算装置。在发送第一特征数据之后,运载工具计算系统100从移动计算装置接收针对用户的认证数据。
在其它替代情况下,受信移动计算装置可以将登记特征数据发送到运载工具计算系统100,所述运载工具计算系统100然后可以被配置成通过将未知用户的认证特征数据与所接收的已知用户的登记特征数据相比较来执行对运载工具中的未知用户的认证。在这些情况下,运载工具计算系统100从移动计算装置接收与先前登记用户的面部的至少一个图像相关联的第二特征数据,并且比较第一特征数据和第二特征数据。运载工具计算系统100然后基于该比较来确定用户与先前登记用户之间的匹配,其中认证数据包括对该匹配的指示。
贯穿本公开,描述了只有当计算装置接收到来自计算装置的用户的用以分析信息的许可时计算装置和/或计算系统才分析与计算装置和计算装置的用户相关联的信息(例如,面部图像信息等)的示例。例如,在下面讨论的情形中,在计算装置或计算系统能够收集或可以利用与用户相关联的信息之前,可以给用户提供用以提供输入以控制计算装置和/或计算系统的程序或特征是否可以收集并利用用户信息(例如,关于用户的当前位置、当前速度等的信息)或者规定该装置和/或系统是否和/或如何可以接收可能与用户相关的内容的机会。此外,某些数据可以在它由计算装置和/或计算系统存储或使用之前被以一种或多种方式处理,使得个人可识别的信息被去除。例如,可以处理用户的身份,使得关于用户不能够确定个人可识别的信息,或者可以在获取了位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级别),使得不能确定用户的特定位置。因此,用户可以控制关于用户的信息如何被收集并且如何由计算装置和计算系统使用。
图2是图示依照本公开的一个或多个方面的运载工具的内部的进一步细节的概念图。在图2中,示出了来自图1的方向盘154的部分,并且用户150的手指正在与控制台101的面板102交互。根据本公开的技术,相机104已经获得了用户150的面部图像,并且将与这些图像相关联的信息提供给移动计算装置170。移动计算装置170已经基于接收到的面部特征数据与由移动计算装置170存储的授权、已知用户的存储的面部特征数据的比较以识别与用户150的存储的面部特征数据的匹配来对用户150进行认证。移动计算装置170将针对用户150的认证数据发送到系统100。系统100可以将特征数据发送到移动计算装置170,所述移动计算装置170包括实际的图像信息,或者在各种示例中,包括由图像捕获装置173捕获的用户150的图像的各种特征的特征数据(例如,特征向量数据)。
在一些示例中,这种认证数据可以包括与用户150和/或移动计算装置170相关联的唯一标识符。系统100可以使用这种接收到的认证数据来访问用户简档、用户偏好、登入凭证和/或存储在系统100中的用户150的账户数据(例如,用于将用户150登录到IHU系统100)。系统100然后可以基于所访问的特定于用户150的信息(例如,偏好)为用户150显示系统100的个性化或定制数据显示112。这种个性化信息可以包括用户界面元素208和204。光标206可以与用户界面元素204中的一个重叠。当光标206在用户界面元素204中的一个上方时,存在敏感面板102可以检测存在敏感面板102处的一个或多个轻敲或输入,并且系统100可以基于此输入来确定该输入对应于对由光标206重叠的用户界面元素204的选择。
在一些示例中,显示器112可以是既作为输入装置又作为输出装置操作的存在敏感面板。在这样的示例中,显示器112可以检测在显示器112上的显示器112呈现用户界面元素204的位置处或附近的一个或多个输入。系统100可以基于该输入来识别与该输入相对应的所选择的用户界面元素204。响应于该输入选择用户界面元素204,系统100可以执行操作,所述操作可以包括在显示器112处显示信息或更新图形用户界面。在存在敏感面板102也作为显示器的一些示例中,计算装置200可以附加地或替换地在存在敏感面板102处显示信息或者更新在存在敏感面板102处显示的图形用户界面。
IHU系统100的显示器112可以被配置成为由通信地耦合到系统100的移动计算装置170认证的任何特定用户显示个性化或定制信息。因此,如果包括用户150的各种不同的授权用户使用运载工具,则显示器112可以被配置成取决于由移动计算装置170认证的每个用户的用户简档或账户的设置而为每个用户显示不同的定制信息。在一些情况下,系统100还可以定制运载工具的与运载工具和/或IHU系统100的操作相关联的各种其它设定(例如,温度设定、无线电设定、运载工具环境设定等)。
图3是图示依照本公开的一个或多个方面的执行面部登记操作的示例计算装置310的概念图。计算装置310可以是被配置成保存授权用户的登记图像数据的图1中所示的移动计算装置170的一个示例。如本文所使用的,术语“图像数据”是指根据例如用户的面部的捕获图像来计算或以其它方式确定的数据(例如,特征数据)。
计算装置310可以是移动装置,诸如智能电话、平板计算机、膝上型计算机、计算机化手表、计算机化眼镜、计算机化手套或任何其它类型的便携式计算装置。计算装置310的附加示例包括其它移动和非移动装置,诸如台式计算机、电视、个人数字助理(PDA)、便携式和非便携式游戏系统、数字媒体播放器或微控制台、电子书阅读器、移动电视平台、汽车导航和娱乐系统或任何其它类型的可穿戴和非可穿戴、移动或非移动计算装置。
如图3中所示,计算装置310包括存在敏感显示器(PSD)312、一个或多个图像捕获装置314、面部辨识模块(FRM)322和登记信息328。登记信息328可以包括数据存储。FRM 322可以使用软件、硬件、固件或硬件和软件的混合物以及驻留在计算装置310中和/或在计算装置310处执行的固件来执行所描述的操作。计算装置310可以利用多个处理器或多个装置执行FRM 322。计算装置310可以将FRM 322作为在底层硬件上执行的虚拟机执行。FRM 322可以作为操作系统或计算平台的一个或多个服务执行。FRM 322可以作为一个或多个可执行程序在计算平台的应用层执行。
计算装置310的PSD 312可以充当用于计算装置310的相应的输入装置和/或输出装置。PSD 312可以使用各种技术来实现。例如,PSD 312可以充当使用存在敏感输入屏幕的输入装置,诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏,投射电容触摸屏、压敏屏幕、声脉冲辨识触摸屏或另一存在敏感显示技术。PSD 312可以检测来自计算装置310的用户的输入。例如,PSD 312可以检测在PSD 312的阈值距离之上或之内执行的一个或多个手势(例如,用户利用手指或触笔触摸PSD 312或者在PSD 312的表面的阈值距离内移动手指或触笔)。
PSD 312也可以充当使用任何一个或多个显示装置的输出(例如,显示)装置,诸如液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或类似的能够向计算装置310的用户输出可见信息的单色或彩色显示器。PSD 312可以将信息作为用户界面(例如,图形用户界面)输出(例如,给用户),所述用户界面可以与由计算装置310提供的功能性相关联。例如,PSD 312可以显示与在计算装置310处执行或者可从计算装置310访问的计算平台、操作系统、应用和/或服务的应用模块或其它特征有关的各种用户界面。
图像捕获装置314可以是图像捕获装置173(图1)的一个示例并且可以包括一个或多个相机,诸如数码相机、静止相机、运动图片相机等。图像捕获装置314可以包括能够捕获并存储静止图像或移动图像的任何其它装置。在一些示例中,图像捕获装置314可以能够经由电子图像传感器以数字方式记录图像。图像捕获装置314可以被配置成响应于检测到可见光(例如,人类可见光,具有约380纳米至约740纳米之间的波长)或近红外(NIR)光(例如,与可见光光谱相邻的光,诸如在约750纳米与约3400纳米之间的波长的光)而生成指示图像的数据。在一些示例中,计算装置310包括被配置成生成指示二维图像的数据的图像捕获装置314。在另一示例中,计算装置310包括被配置成生成指示三维图像的数据的多个图像捕获装置314。以这种方式,多个图像捕获装置314可以生成指示二维图像、三维图像或二者的数据。
依照本公开的技术,FRM 322可以执行面部辨识以对计算装置310的用户进行认证。通常,FRM 322可以执行登记过程(例如,一次,诸如在计算装置310的初始设置期间)并且周期性地执行认证过程以确定未知用户是否实际上是已知用户。在登记过程期间,图像捕获装置314可以确定已知用户338(例如,登录到相关联用户账户的用户)的一个或多个特征数据330A-330H(共同地为“特征数据330”或更一般地为“图像数据330”),并且PSD 312可以输出包括已知用户338的一个或多个图像333的图形用户界面(GUI)。已知用户338也可以被称为登记用户。在一些示例中,特征数据330中的每一个可以与用户338的特定姿态相关联(例如,针对用户338的“姿态A”的特征数据330A、针对用户338的“姿态B”的特征数据330B)。已知用户338可以能够随着数据由图像捕获装置314捕获而在GUI内查看图像333,并且可以调节他的或她的头和/或计算装置310以使得图像捕获装置314能够捕获在各种不同姿态下已知用户338的面部的图像333。图像捕获装置314可以将与图像333相关联的数据输出到FRM322。作为一个示例,用户338可以面对图像捕获装置314并且按压按钮(例如,物理按钮或由PSD 312显示的图形按钮)以使图像捕获装置314捕获图像333。作为另一示例,图像捕获装置314可以响应于用户面对图像捕获装置314而自动地捕获图像333。
FRM 322分析从图像捕获装置314接收到的数据并且将计算的特征数据330中的每一个指派给一个或多个姿态桶332AA-332EE(共同地为姿态桶332)。特征数据330包括图像333的特征或特性。每个姿态桶332与用户的面部的俯仰角(也称为倾斜角)和偏航角(也称为摇摄角)的范围相关联。如本文所使用的,俯仰角是指用户的面部相对于水平轴的角度并且偏航角是指用户的面部相对于与水平轴垂直的垂直轴的角度。例如,姿态桶332中的每一个均可以与相应的偏航和俯仰范围相关联。在图3的示例中,姿态桶332中的每一个的大小是相等的(例如,10度)。例如,姿态桶332中的每一个均与俯仰角的10度范围和偏航角的10度范围相关联。然而,在一些示例中,姿态桶332的大小可以是不同的。例如,姿态桶可以与俯仰角的8度范围(和/或偏航角的8度范围)相关联并且另一姿态桶可以与俯仰角的10度范围(和/或偏航角的10度范围)相关联。
出于图示的目的,在图3中将姿态桶332示出为表331的一部分。如图3的示例中图示的,表331中所示的偏航角和俯仰角表示每个相应的姿态桶332的中心。例如,姿态桶332AA的中心的偏航为-20度且俯仰为20度。换句话说,姿态桶332AA可以表示偏航为-15度至-25度且俯仰为15度至25度。类似地,在图3的示例中,姿态桶332AN的中心的偏航为20度且俯仰为20度,使得姿态桶332AN表示偏航为15度至25度且俯仰为15度至25度。虽然表331包括25个姿态桶332,但是在一些示例中,表331可以包括不同数目的姿态桶332。虽然姿态桶332被图示为表331的部分以帮助理解,但是姿态桶332可能未被存储在表中。姿态桶332可以被存储在任何数据结构中并且可以被以任何方式组织。
FRM 322可以基于图像333的数据中包括的已知用户338的面部的特性或界标(landmark)来确定姿态桶332中的哪个与特征数据相关联。例如,FRM 322可以检测用户的面部的图像333中的界标,诸如用户的眼睛、鼻子和嘴,并且可以基于界标来确定用户的面部的偏航角和俯仰角。例如,FRM 322可以基于特征数据330A中的用户的面部的偏航角和俯仰角以及与姿态桶332CC相关的范围偏航角和俯仰角来确定应该将与特定姿态(例如“姿态A”)相关联的特征数据330A包括在姿态桶332CC中。例如,FRM 322可以确定特征数据330A中的用户的面部的偏航角为0度并且已知用户的面部的俯仰角为0度。FRM 322可以确定姿态桶332CC与从-5度至5度的偏航角的范围和从-5至5度的俯仰角的范围相关联(例如,姿态桶332CC中心在0度偏航和0度俯仰)。在此类示例中,FRM 322可以响应于确定特征数据330A中的用户的面部的偏航角和俯仰角属于与姿态桶332CC相关联的偏航角和俯仰角的范围内而确定姿态桶332CC包括特征数据330A。
作为另一示例,FRM 322可以确定特征数据330B中的用户的面部的偏航角为0度(例如,中心在左右方向上)并且用户的面部的俯仰角为23度(例如,已知用户正在向上看)。FRM322可以确定姿态桶332AC与从-5度至5度的偏航角的范围和从15度至25度的俯仰角的范围相关联(例如,姿态桶332CC中心在0度偏航和20度俯仰)。在此类示例中,FRM 322可以响应于确定特征数据330B中的用户的面部的偏航角和俯仰角属于与姿态桶332AC相关联的偏航角和俯仰角的范围内而确定姿态桶332AC包括特征数据330B。
FRM 322可以确定特征数据330并且确定是否阈值数目的姿态桶332包括特征数据330中的一个。例如,FRM 322可以确定包括已知用户的面部的特征数据330的姿态桶332的数目。在图3的示例中,FRM 322确定特征数据330被包括在25个可能的姿态桶332中的19个姿态桶(例如,332AB、332AC、332BA、332BB、332BC、332BD、332BE、332CA、332CB、332CC、332CD、332CE、332DB、332DC、332DD、332DE、332EB、332EC和332ED)内。在一些示例中,FRM 322确定包括特征数据330的姿态桶的数目是否满足(例如,大于或等于)阈值数目(例如,15个姿态桶、17个姿态桶、19个姿态桶等;或姿态桶332的65%、姿态桶332的75%、姿态桶的85%等)。例如,FRM 322可以响应于确定特征数据330被包括在姿态桶332的至少75%内而确定包括特征数据330的姿态桶332的数目满足姿态桶的阈值数目。确定包括特征数据330的姿态桶332的数目满足姿态桶的阈值数目可以指示特征数据330在足以更准确地对用户进行认证的不同姿态下表示已知用户的面部。
响应于确定包括特征数据330的姿态桶的数目不满足姿态桶的阈值数目,图像捕获装置314可以捕获一个或多个图像333以用于登记过程。例如,FRM 322可以输出指令已知用户338移动他的或她的头以捕获已知用户338的面部的不同角度的图像333的图形用户界面。
响应于确定包括特征数据330的姿态桶的数目满足姿态桶的阈值数目,FRM 322可以使特征数据330与已知用户338的用户账户相关联。在一些示例中,特征数据330可以包括用于每个相应图像的图像模板(也称为嵌入)。作为一个示例,图像模板可以通常对应于用户的面部的一个或多个特征(例如,生物计量特征)的统计模型。例如,FRM 322可以生成包括具有多个元素值(例如,50个值、100个值、500个值等)的向量的图像模板。在一些示例中,向量的每个元素值都对应于用户的面部的特征(例如,眼睛之间的距离、鼻子形状等)。替换地或附加地,可以通过例如被训练以生成指示面部特质(facial identity)的输出的非线性机器学习模型来生成向量的元素值。例如,FRM 322可以将训练后的面部辨识模型应用于多个特征数据330并且将每个相应特征数据330的图像模板(例如,嵌入)输出为向量。在一些示例中,FRM 322通过将数据指派给图像模板标识符并且使相应图像模板标识符与用于已知用户338的用户账户的用户账户标识符相关联来使特征数据330与用户账户相关联。
FRM 322可以特征数据图像在登记信息328中,所述登记信息328含有包括与用户338的图像333相关联的特征数据330的数据存储。在一些示例中,FRM 322在将特征数据330存储在登记信息328中之前对其进行加密。在一些示例中,登记信息328可以在本地存储在计算装置310上,使得不通过网络将信息传输到任何其它装置(例如,不传输到图1的运载工具的系统100)。另外,计算装置310可以给用户提供用以删除存储在登记信息中的特征数据330的一个或多个部分的机会。
FRM 322可以在对于已知用户338完成登记过程之后对于未知用户(例如,图1的运载工具的用户150)执行认证过程。换句话说,FRM 322可以接收要基于用户150的特征数据来对图1的运载工具的未知用户150进行认证的请求,所述用户150的特征数据是根据由运载工具中的相机中的一个(例如,相机104和/或111)捕获的图像333确定的,并且由IHU系统100传输到计算装置310,所述计算装置310可以是图1的移动计算装置170的一个示例。系统100可以将特征数据330发送到计算装置310,所述计算装置310包括例如由图像捕获装置173捕获的用户150的图像的各种特征的特征向量数据。
响应于接收到或确定与认证图像相关联的特征数据,FRM 322可以确定未知用户150是否是已知用户338。在一些示例中,FRM 322基于对指示未知用户150的面部的认证图像的特征数据和指示已知用户338的面部的图像333的特征数据330的比较来确定未知用户150是否是已知用户338。例如,FRM 322可以使用姿态无关(也称为姿态不变)技术或姿态相关技术来比较指示未知用户150的面部的认证图像的特征数据和根据已知用户338的面部的图像333来计算或确定的特征数据330。
在一些示例中,在姿态相关技术中,FRM 322基于认证特征数据以及与处于与用户150的认证图像中的未知用户的面部的姿态最接近的姿态下的已知用户338的面部相关联的特征数据330来确定未知用户150是否是已知用户338。在一个示例中,FRM 322确定与未知用户150的认证特征数据相关联的姿态桶332中的姿态桶。例如,FRM 322可以以类似于确定与特征数据330相关联的姿态桶的方式基于未知用户的面部的特性或界标来确定与未知用户150的特征数据相关联的姿态桶。例如,FRM 322可以在用户150的认证特征数据中确定面部的偏航角和俯仰角。响应于确定认证特征数据中的面部的偏航角和俯仰角,FRM 322可以确定姿态桶332中的哪个包括认证特征数据中的面部的偏航角和俯仰角。例如,FRM 322可以确定特征数据中的面部的偏航角和俯仰角分别是20度和0度。FRM 322可以确定姿态桶332CD与从15度至25度偏航的偏航角的范围和从-5度至5度的俯仰角的范围相关联。在此类情况下,FRM 322可以响应于确定认证特征数据中的面部的偏航角和俯仰角被包括在与姿态桶332CD相关联的偏航角和俯仰角的范围内而确定未知用户150的认证特征数据与姿态桶332CD相关联。
FRM 322可以根据已知用户338的面部的特征数据330确定被包括在与未知用户150的面部的特征数据相关联的姿态桶内的特征数据。换句话说,FRM 322可以确定特征数据330中的哪个具有与用户150的认证特征数据的姿态最接近的姿态。在一个示例中,FRM 322确定用户150的特征数据与姿态桶332CD相关联并且选择被包括在姿态桶332CD内的特征数据330的特征数据(例如,姿态G的特征数据330)。FRM 322可以通过确定所选择的特征数据330G的相似性分数来确定用户150是否是已知用户338,所述相似性分数指示特征数据330G与认证特征数据之间的相似性。
响应于确定所选择的特征数据330G(例如,与未知用户150的一个或多个图像相关联的姿态桶332CD中包括的特征数据)的相似性分数,在一些示例中,FRM 322确定特征数据330G的相似性分数是否满足(例如,大于或等于)阈值相似性分数。FRM 322可以响应于确定特征数据330G的相似性分数满足阈值相似性分数而确定未知用户150是已知用户338,并且可以响应于确定特征数据330G的相似性分数不满足阈值相似性分数而确定未知用户150不是已知用户。
在一些示例中,FRM 322不管姿态如何都确定未知用户150是否是已知用户338。换句话说,在一些示例中,FRM 322利用姿态不变技术来确定未知用户150是否是已知用户338。例如,FRM 322可以确定特征数据330中的每个特征数据的相应相似性分数,其中相应相似性分数指示特征数据330的对应特征数据与未知用户150的认证特征数据之间的相似性。
在一个场景中,FRM 322基于特征数据330的相应相似性分数来选择特征数据330的特征数据以确定未知用户150是否是已知用户338。FRM322选择具有指示与认证特征数据的最接近匹配的相似性分数的特征数据330的特征数据。指示最接近匹配的分数可以是最低相似性分数或最高相似性分数。
在一些场景中,FRM 322基于相应相似性分数选择特征数据330中的两个或更多个特征数据以确定未知用户150是否是已知用户338。在一个场景中,FRM 322确定两个或更多个特征数据330的复合相似性分数。例如,FRM 322可以基于特征数据330中的两个或更多个的相应相似性分数的平均值来确定复合相似性分数并且将该复合相似性分数与阈值相似性分数相比较以确定未知用户150是否是已知用户338。
作为另一示例,FRM 322可以将两个或更多个特征数据的每个相应相似性分数与阈值相似性分数相比较。在此类示例中,FRM 322可以响应于确定所选择的特征数据的阈值数目(例如,100%、80%、60%等)具有满足阈值相似性分数的相似性分数而确定未知用户150是已知用户338。例如,如果所选择的特征数据的集合包括特征数据330中的具有最高相似性分数的三个特征数据,则在一些示例中,FRM 322响应于确定三个所选择的特征数据中的两个的相似性分数满足阈值相似性分数而确定未知用户150是已知用户338。
响应于确定未知用户150是已知用户338,计算装置310可以将认证数据发送到运载工具的IHU系统100。例如,计算装置310可以发送指示未知用户150作为已知用户338的成功认证的数据,从而指示用户150的认证。在一些情况下,计算装置310可以将针对用户338(例如,认证的用户150)定制或个性化的用户简档和/或账户信息发送到系统100。在一些情况下,计算装置310还可以将用户338和/或计算装置310的唯一标识符发送到运载工具的系统100。
在一些情况下,计算装置310还可以存储一个或多个模型329。如上所述,例如,在一些情况下,计算装置310可以利用深度学习模型来提取有助于识别个人的面部界标。这些模型可以被调整(tailor)成在个人装置的专用神经引擎或处理器上执行。如上所述,在一些示例中,图像模板可以通常对应于用户的面部的一个或多个特征(例如,生物计量特征)的统计模型。例如,FRM 322可以生成包括具有多个元素值(例如,50个值、100个值、500个值等)的向量的图像模板。在一些示例中,向量的每个元素值都对应于用户的面部的特征(例如,眼睛之间的距离、鼻子形状等)。替换地或附加地,可以通过例如被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。例如,FRM 322可以将训练后的面部辨识模型应用于图像333并且将相应特征数据330的图像模板(例如,嵌入)输出为向量。替换地或附加地,可以通过被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。作为一个示例,登记模块可以将训练后的面部辨识模型应用于图像333并且输出用于相应特征数据330的图像模板(例如,向量)。这样的图像模板可以被表示为向量并且可以由训练后的面部辨识模型生成。向量可以包括多个元素值,其中每个元素值对应于用户的面部的相应特征(例如,眼睛之间的距离、鼻子形状等)。
虽然计算装置310被描述为登记已知用户338的特征数据330并且对未知用户150进行认证,但是在一些示例中,一个或多个远程计算装置可以执行本文所述的功能性的全部或子集。在某些替代示例中,计算装置310可以将登记特征数据发送到运载工具计算系统(例如,运载工具计算系统100),所述运载工具计算系统然后可以被配置成通过将未知用户的认证特征数据与所接收的已知用户的登记特征数据相比较来执行对运载工具中的未知用户的认证。
在一些示例中,只有当计算装置接收到来自计算装置的用户的用以利用数据的许可时,计算装置(例如,计算装置310或另一计算装置)才可以利用与计算装置310的用户相关联的用户数据。例如,在计算装置或计算系统能够收集或可以利用与用户相关联的信息之前,可以给用户提供用以提供输入以控制该计算装置和/或计算系统的程序或特征是否能够收集并利用用户信息的机会。此外,某些信息可以在它由计算装置和/或计算系统存储或使用之前被以一种或多种方式处理,使得个人可识别的信息被去除。例如,可以处理用户的身份,使得关于用户不能够确定个人可识别的信息。例如,计算装置可以存储图像的特征数据和/或图像模板而不存储图像本身,并且可以使特征数据和/或图像模板与不与任何其它用户信息相关联的用户标识符相关联。因此,用户可以控制关于用户的信息如何被收集并且如何由计算装置和计算系统使用。
以这种方式,本公开的技术可以使得计算装置310能够捕获被包括在若干不同的姿态桶内的已知用户338的特征数据。通过捕获特征数据并且将其登记在若干不同的姿态桶中,计算装置310可以增加包括已知用户338的特征数据的姿态桶的数目,这可以使得计算装置310可以不管未知用户(例如,用户150)的认证特征数据的姿态桶如何都更准确地对未知用户的特征数据进行认证。例如,增加包括登记特征数据的姿态桶的数目可以增加与未知用户的认证特征数据相关联的姿态桶与包括已知用户338的登记特征数据的组中的一个或多个的姿态桶相似的概率,这可以降低当未知用户实际上是已知、授权用户时错误地拒绝未知用户的概率,从而潜在地改善用户体验。另外,降低错误拒绝的概率可以降低用于计算装置进入增加访问模式的认证尝试(例如,面部辨识、指纹辨识、PIN或密码等)的数目,这可以减少由处理器利用的处理周期量并且改善电池寿命。在一些情况下,所描述的技术可以降低当未知用户不是已知、授权用户时错误地对未知用户进行认证的概率,这可以提高计算装置310的安全性。
图4是图示依照本公开的一个或多个方面的示例计算系统410的框图。在一些情况下,计算系统410可以是图3的计算装置310、图1的移动计算装置170和/或图1的运载工具计算系统100的更详细示例。图4图示计算系统410的仅一个特定示例,并且计算系统410的许多其它示例可以被用在其它情况下并且可以包括示例计算系统410中包括的组件的子集或者可以包括图4中未示出的附加组件。如本文所使用的,“图像数据”是指根据例如用户的面部的捕获图像来计算或以其它方式确定的数据(例如,特征数据)。
如图4的示例中所示,计算系统410包括PSD 412、一个或多个图像捕获装置414、一个或多个处理器430、一个或多个输入组件442、一个或多个输出组件444、一个或多个通信单元446和一个或多个存储装置448。计算系统410的存储装置448包括FRM 422和登记信息428。
通信信道449可以互连组件412、414、430、442、444、446和/或448中的每一个以进行组件间通信(以物理方式、通信地和/或在操作上)。在一些示例中,通信信道449可以包括系统总线、网络连接、一个或多个进程间通信数据结构或用于传送数据(也称为信息)的任何其它组件。
图像捕获装置414可以包括一个或多个相机,诸如数码相机、静止相机、运动图片相机等。图像捕获装置414可以包括能够捕获并存储静止图像或移动图像的任何其它装置。在一些示例中,图像捕获装置414可以能够经由电子图像传感器以数字方式记录图像。图像捕获装置414可以包括被配置成检测可见光的一个或多个装置(例如,可见光相机)、被配置成检测近红外光的一个或多个装置(例如,近红外相机)或其组合。在一些示例中,图像捕获装置414可以生成指示二维图像的图像数据、指示三维图像的数据或其组合。以这种方式,多个图像捕获装置414可以捕获可见光、近红外光或其组合,并且可以生成指示二维图像、三维图像或二者的图像数据。
计算系统410的一个或多个通信单元446可以通过传输和/或接收数据来与外部装置进行通信。例如,计算系统410可以使用通信单元446中的一个或多个来在诸如蜂窝无线电网络的无线电网络上传输和/或接收无线电信号。在一些示例中,通信单元446可以在诸如全球定位系统(GPS)网络的卫星网络上传输和/或接收卫星信号。通信单元446的示例包括网络接口卡(例如,诸如以太网卡)、光收发器、射频收发器、GPS接收器或能够发送和/或接收信息的任何其它类型的装置。通信单元446的其它示例可以包括在移动装置中存在的短波无线电(例如,NFC、蓝牙(包括BLE))、GPS、3G、4G、5G和WIFI无线电以及通用串行总线(USB)控制器等。
计算系统410的一个或多个输入组件442可以接收输入。输入的示例是触觉、音频、动能和光学输入,仅举几个示例。在一个示例中,计算系统410的输入组件442包括鼠标、键盘、话音响应系统、摄像机、按钮、控制板、麦克风或用于检测来自人类或机器的输入的任何其它类型的装置。在一些示例中,输入组件442可以是存在敏感输入组件,所述存在敏感输入组件可以包括存在敏感屏幕、触敏屏幕等。
计算系统410的一个或多个输出组件444可以生成输出。输出的示例是触觉、音频和视频输出。在一些示例中,计算系统410的输出组件444包括存在敏感屏幕、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于生成对人类或机器的输出的任何其它类型的装置。输出组件可以包括显示组件,诸如阴极射线管(CRT)监视器、液晶显示器(LCD)、发光二极管(LED)或用于生成触觉、音频和/或视觉输出的任何其它类型的装置。
在一些示例中,计算系统410的PSD 412可以包括输入组件442和/或输出组件444的功能性。在图4的示例中,PSD 412可以包括存在敏感输入组件464,诸如存在敏感屏幕或触敏屏幕。在一些示例中,存在敏感输入组件464可以检测存在敏感输入组件处和/或附近的对象。作为一个示例范围,存在敏感输入组件464可以检测对象,诸如在存在敏感输入组件464的两英寸或更少内的手指或触笔。存在敏感输入组件464可以确定检测到对象的存在敏感输入组件的位置(例如,(x,y)坐标)。在另一示例范围内,存在敏感输入组件464可以检测到与存在敏感输入组件464相距两英寸或更少的对象,并且其它范围也是可能的。存在敏感输入组件464可以使用电容式、电感式和/或光学辨识技术来确定由用户的手指选择的存在敏感输入组件464的位置。
在一些示例中,PSD 412还可以使用如关于输出组件444所描述的触觉、音频或视频刺激来向用户提供输出。例如,PSD 412可以包括显示图形用户界面的显示组件462。显示组件462可以是提供视觉输出的任何类型的输出组件,诸如关于输出组件444所描述的。虽然图示为计算系统410的集成组件,但是在一些示例中,PSD 412可以是与计算系统410的其它组件共享数据或信息路径以便传输和/或接收输入和输出的外部组件。例如,PSD 412可以是位于计算系统410的外部包装内并且以物理方式连接到计算系统410的外部包装的计算系统410的内置组件(例如,移动电话上的屏幕)。在另一示例中,PSD 412可以是位于计算系统410的包装外部并且与计算系统410的包装以物理方式分开的计算系统410的外部组件(例如,与平板计算机共享有线和/或无线数据路径的监视器、投影仪等)。在一些示例中,PSD412当位于计算系统410的包装外部并且与计算系统410的包装以物理方式分开时,可以由如下两个单独的组件实现:用于接收输入的存在敏感输入组件464和用于提供输出的显示组件462。
计算系统410内的一个或多个存储组件448可以存储用于在计算系统410的操作期间处理的信息(例如,计算系统410可以存储在计算系统410处执行期间由FRM 422访问的数据)。在一些示例中,存储组件448是临时存储器,意味着存储组件448的主要目的不是长期存储。计算系统410上的存储组件448可以作为易失性存储器被配置用于信息的短期存储,并且因此在断电情况下不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域中已知的其它形式的易失性存储器。
在一些示例中,存储组件448还包括一个或多个计算机可读存储介质。存储组件448在一些示例中包括一个或多个非暂时性计算机可读存储介质。存储组件448可以被配置成存储比由易失性存储器通常存储的更大量的信息。存储组件448还可以作为非易失性存储空间被配置用于信息的长期存储并且在通电/断电周期之后保留信息。非易失性存储器的示例包括磁硬盘、光盘、闪速存储器或电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)的形式。存储组件448可以存储与FRM 422相关联的程序指令和/或信息(例如,数据)。存储组件448可以包括被配置成存储与FRM 422相关联的数据或其它信息以及登记信息428的存储器。
一个或多个处理器430可以实现与计算系统410相关联的功能性并且/或者执行与计算系统410相关联的指令。处理器430的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置成充当处理器、处理单元或处理装置的任何其它硬件。FRM422可能可由处理器430操作以执行计算系统410的各种动作、操作或功能。
在某些示例中,当计算系统410包括运载工具计算系统100的示例时,存储装置448可以包括可由处理器430执行以实现运载工具计算系统100的对应功能性的信息和/或模块(例如,如参考图1和/或图5中的系统100所图示和/或描述的)。在诸如图4中图示的其它示例中,其中计算系统410包括图3的计算装置310的示例,计算系统410的处理器430可以检索并执行由存储组件448存储的指令,所述指令使处理器430执行本文所述的归因于FRM 422的操作。这些指令当由处理器430执行时,可以使计算系统410在存储组件448内存储信息。
FRM 422可以包括图3的计算装置310的FRM 322的所有功能性并且可以执行与FRM 322类似的操作以便执行面部辨识来对计算系统410的用户进行认证。FRM 422可以包括登记模块424和认证模块426。
在一些示例中,登记模块424可以执行登记过程以使计算系统410的已知用户的图像数据与该已知用户的用户账户相关联。在一些示例中,例如,当设置新账户时,登记模块424可以针对给定用户账户执行登记过程一次。
在登记阶段期间,图像捕获装置414捕获计算系统410的已知用户(例如,登录到相关联用户账户的用户)的一个或多个图像数据330(图1的)并且生成指示图像中的每一个的图像数据。FRM 422的登记模块424可以从图像捕获装置414接收图像数据并且分析该图像数据以将图像数据330中的每一个指派给一个或多个姿态桶332(图1)。
登记模块424可以基于图像数据中包括的已知用户的面部的特性或界标来确定姿态桶332中的哪个与图像数据相关联。例如,登记模块424可以检测未知用户的面部的图像数据中的界标,诸如用户的眼睛、鼻子和嘴,并且可以基于界标来确定面部的偏航角和俯仰角。例如,登记模块424可以接收图像数据330A并且基于图像数据330A中的界标来确定图像数据330A中的用户的面部的偏航角为约0度并且图像数据330A中的用户的面部的俯仰角为约0度。登记模块424可以确定姿态桶332CC包括从-5度至5度的偏航角的范围和从-5度至5度的俯仰角的范围(例如,姿态桶332CC中心在0度偏航和0度俯仰)。在此类示例中,登记模块424可以确定图像数据330A中的用户的面部的偏航角和俯仰角在姿态桶332CC的俯仰角和偏航角的范围内,使得登记模块424确定应该将图像数据330A包括在姿态桶332CC内。在一些示例中,登记模块424可以确定图像数据330A中的用户的面部的滚转量。例如,登记模块424可以基于图像数据330A中的用户的面部的偏航角、俯仰角和滚转来确定姿态桶332中的哪个包括图像数据330A。
在一些示例中,登记模块424确定是否应该将图像数据330A包括在多个姿态桶332中。例如,当图像数据330A的偏航角和俯仰角在给定姿态桶332的中心的预定义距离(例如,10度的半径)内时,登记模块424可以将图像数据330A包括在给定姿态桶内。例如,登记模块424可以确定图像数据330A中的用户的面部的偏航角和俯仰角分别为0度和0度。在一种情况下,预定义距离可以是10度并且姿态桶332BC可以中心在0度偏航和10度俯仰,使得登记模块424可以确定图像数据330A的偏航角和俯仰角位于姿态桶332BC的中心的预定义距离内。在此类情况下,登记模块424可以将图像数据330A包括在姿态桶332BC内。类似地,登记模块424可以确定图像数据330A的偏航角和俯仰角在姿态桶332CB、332CD和332DC的中心的预定义距离内,并且将图像数据330A包括在除了姿态桶332CC和332BC之外的姿态桶332CB、332CD和332DC中。
在一些示例中,登记模块424在接收图像数据330A之后接收图像数据330B。登记模块424可以确定是否将图像数据330B包括在姿态桶332中的任一个中。登记模块424可以基于图像数据330B中的界标来确定图像数据330B中的用户的面部的偏航角大为约0度并且图像数据330B中的用户的面部的俯仰角为约0度。登记模块424可以确定姿态桶332AC包括从-5度至5度的偏航角的范围和从15度至25度的俯仰角的范围(例如,姿态桶332AC中心在0度偏航和20度俯仰)。在此类示例中,登记模块424可以确定图像数据330B中的用户的面部的偏航角和俯仰角在姿态桶332AC的俯仰角和偏航角的范围内。登记模块424可以确定姿态桶332AC是否包括图像数据330中的一个并且响应于确定姿态桶332AC没有已经包括图像数据而可以将图像数据330B包括在姿态桶332AC中。
登记模块424可以确定是否将图像数据330B包括在任何其它姿态桶332中。例如,登记模块424可以确定图像数据330B的偏航角和俯仰角是否在其它姿态桶332的中心的预定义距离内。例如,登记模块424可以确定预定义距离为10度并且姿态桶332BC中心在0度偏航和10度俯仰,使得登记模块424可以确定图像数据330B的偏航角和俯仰角(例如,0度偏航、19度俯仰)位于姿态桶332BC的中心的预定义距离内。登记模块424可以响应于确定图像数据330B的偏航角和俯仰角在姿态桶332BC的中心的预定义阈值内而确定是否将图像数据330B包括在姿态桶332BC中。
在一些示例中,登记模块424确定姿态桶332BC已经包括图像数据330A并且确定是否在姿态桶332BC中用图像数据330B替换图像数据330A。在一个示例中,登记模块424可以基于姿态桶332BC的中心与图像数据330A、330B的相应偏航角和俯仰角之间的距离来确定是否在姿态桶332BC中用图像数据330B替换图像数据330A。例如,登记模块424可以确定图像数据330A的偏航角和俯仰角为0度、0度;图像数据330B的偏航角和俯仰角为0度、19度,并且姿态桶332BC的中心的偏航角和俯仰角为0度、10度。在此类示例中,登记模块424可以确定图像数据330B与图像数据330A相比更接近姿态桶332BC的中心,并且可以在姿态桶332BC内用图像数据330B替换图像数据330A。
在一些示例中,登记模块424可以基于接收图像数据330A、330B的顺序来确定是否将图像数据330A或图像数据330B包括在姿态桶332BC内。例如,登记模块424可以将最旧的图像数据(例如,首先接收到的图像数据)包括在姿态桶332BC内。在此类示例中,由于首先接收到图像数据330A,登记模块424可以确定应该将图像数据330A包括在姿态桶332BC内。在另一示例中,登记模块424可以将最近的图像数据包括在姿态桶332BC内。在这些示例中,登记模块424可以确定应该将图像数据330B包括在姿态桶332BC内。
登记模块424可以从图像捕获装置414接收指示图像数据330的数据并且确定是否阈值数目的姿态桶332包括图像数据330中的一个。例如,登记模块424可以确定包括已知用户的面部的图像数据330的姿态桶332的数目。响应于确定姿态桶332的数目,登记模块424确定包括图像数据330的姿态桶的数目是否满足(例如,大于或等于)姿态桶的阈值数目。例如,登记模块424可以响应于确定图像数据330被包括在姿态桶332的至少75%内而确定包括图像数据330的姿态桶332的数目满足姿态桶的阈值数目。响应于确定包括图像数据330的姿态桶的数目不满足姿态桶的阈值数目,登记模块424可以使图像捕获装置414捕获一个或多个附加图像数据330以用于登记过程。
在一些示例中,登记模块424可以响应于确定包括图像数据330的姿态桶的数目满足姿态桶的阈值数目而使指示图像数据330的数据与已知用户的用户账户相关联。在一些示例中,图像数据330可以包括图像本身或每个相应图像的图像模板(例如,计算的面部特征数据)。图像模板可以包括具有多个元素值(例如,50个值、100个值、500个值等)的向量。在一些示例中,向量的每个元素值对应于用户的面部的特征(例如,眼睛之间的距离、鼻子形状等)。替换地或附加地,可以通过被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。作为一个示例,登记模块424可以将训练后的面部辨识模型应用于多个图像数据330并且输出每个相应图像数据330的图像模板(例如,向量)。在一些示例中,登记模块424通过为每个图像模板指派图像模板标识符并且使相应的图像模板标识符与已知用户的用户账户的用户账户标识符相关联来使指示图像数据330的数据与用户账户相关联。
登记模块424可以将指示图像数据330的数据(例如,图像本身或图像模板)存储到登记信息428。在一些示例中,登记模块424在存储指示图像数据330的数据之前对指示图像数据330的数据进行加密。图像数据330可以在本地存储在计算系统410上,使得不通过网络将数据传输到任何其它装置。另外,计算系统410可以给用户提供用以删除指示图像数据330的数据的机会。
在一些场景下,认证模块426响应于使用认证模块426接收到指示未知用户150(图1的)的面部的认证图像的数据而执行认证过程。指示未知用户的面部的图像的数据可以包括图像本身或表示未知用户的面部的特性的图像模板。
响应于接收到指示认证图像数据的数据,认证模块426可以确定未知用户150是否是已知用户338。认证模块426可以基于用户150的认证图像数据和一个或多个登记图像数据330来确定未知用户150是否是已知用户338。在一些情况下,认证模块426使用与姿态无关(也称为姿态不变)技术或姿态相关技术来确定未知用户150是否是已知用户338。
在一些姿态相关示例中,认证模块426基于认证图像数据以及包括处于与认证图像中的未知用户150的面部的姿态最接近的姿态下的已知用户的面部的图像数据330的特定图像数据来确定未知用户150是否是已知用户338。在一个示例中,包括处于与认证图像数据中的面部的姿态最接近的姿态下的已知用户338的面部的特定图像数据330可以是被包括在与和认证图像数据相关联的姿态桶332相同的姿态桶中的图像数据330的特定图像。
认证模块426可以确定与未知用户150的认证图像数据相关联的姿态桶332中的姿态桶。例如,认证模块426可以基于未知用户的面部的特性或界标来确定与此图像数据相关联的姿态桶。例如,认证模块426可以确定认证图像数据中的面部的偏航角和俯仰角。响应于确定认证图像数据中的面部的偏航角和俯仰角,认证模块426可以确定姿态桶332中的哪个包括认证图像数据中的面部的偏航角和俯仰角,并且确定该姿态桶(例如,姿态桶332CD)是与认证图像数据相关联的姿态桶。在一些情况下,认证模块426可以确定认证图像数据中的未知用户150的面部的滚转。认证模块426可以基于认证图像数据中的面部的偏航角、俯仰角和滚转来确定姿态桶332中的哪个与认证图像数据相关联。
认证模块426可以确定图像数据330中的哪个被包括在与认证图像数据相关联的姿态桶(例如,姿态桶332CD)内。在一个示例中,在姿态桶332CD与认证图像数据相关联的示例中,认证模块426可以查询登记信息428并且确定图像数据330G被包括在姿态桶332CD内。响应于确定图像数据330G被包括在与认证图像数据相关联的姿态桶内,认证模块426可以通过确定所选择的图像数据330G的相似性分数来确定用户150是否是已知用户338。在一些示例中,图像数据330G的相似性分数指示图像数据330G与认证图像数据之间的相似性。
认证模块426可以基于指示图像数据330G的数据与指示认证图像数据的数据来确定图像数据330G的相似性分数。在一些示例中,指示图像数据330G的数据包括图像数据330G的图像模板。这样的图像模板可以被表示为向量并且可以由训练后的面部辨识模型生成。向量可以包括多个元素值,每个元素值对应于用户的面部的相应特征(例如,眼睛之间的距离、鼻子形状等)。类似地,认证图像数据可以包括以类似的方式生成的向量。在一些示例中,认证模块426通过计算表示图像数据330G的向量与表示认证图像数据的向量之间的角度来确定相似性分数。作为另一示例,认证模块426可以通过确定表示图像数据330G的向量与表示认证图像数据的向量之间的余弦相似性来确定图像数据330G的相似性分数。
在一些示例中,认证模块426确定图像数据330G的相似性分数是否满足阈值相似性分数。作为一个示例,认证模块426通过确定表示图像数据330G的向量与表示认证图像数据的向量之间的角度来确定图像数据330G的相似性分数,并且响应于确定该相似性分数小于阈值相似性分数而确定图像数据330G的相似性分数满足阈值相似性分数。作为另一示例,认证模块426通过确定表示图像数据330G的向量与表示认证图像数据的向量之间的余弦相似性来确定图像数据330G的相似性分数,并且响应于确定该相似性分数大于阈值相似性分数而确定图像数据330G的相似性分数满足阈值相似性分数。
认证模块426可以响应于确定图像数据330G的相似性分数满足阈值相似性分数而确定未知用户150是已知用户338。类似地,认证模块426可以响应于确定图像数据330G的相似性分数不满足阈值相似性分数而确定未知用户150不是已知用户338。
在一些姿态无关示例中,认证模块426确定图像数据330中的每一个的相应相似性分数以确定未知用户150是否是已知用户338。相应相似性分数指示图像数据330的对应图像数据与认证图像数据之间的相似性。如上面所讨论的,认证模块426可以基于指示相应图像数据330的数据和指示认证图像数据的数据来确定图像数据330中的每一个的相应相似性分数。在一些示例中,指示图像数据330的数据包括相应图像模板。这样的图像模板可以被表示为向量并且可以由训练后的面部辨识模型生成。向量可以包括多个元素值,每个元素值对应于用户的面部的相应特征。在此类示例中,指示认证图像数据的数据可以包括向量,所述向量包括多个元素值,每个元素值对应于未知用户150的面部的相应特征。在一些场景中,认证模块426通过计算相应向量与表示认证图像数据的向量之间的角度来确定图像数据330中的每一个的相应相似性分数。作为另一示例,认证模块426可以通过确定图像数据330中的每一个的相应向量与表示认证图像数据的向量之间的余弦相似性来确定图像数据330中的每一个的相应相似性分数。
在一个姿态无关示例中,认证模块426基于图像数据330的相应相似性分数来选择图像数据330中的图像数据以确定未知用户150是否是已知用户338。认证模块426选择具有指示与认证图像数据的最接近匹配的相似性分数的图像数据330中的单个图像数据。在一些示例中,认证模块426基于表示图像数据330的相应图像数据的每个向量与表示认证图像数据的向量之间的角度来确定图像数据330的相应相似性分数并且确定指示最接近匹配的分数是最低相似性分数(例如,两个向量之间的角度越小,向量彼此越接近)。在另一示例中,认证模块426基于表示图像数据330的相应图像数据的每个向量与表示认证图像数据的向量之间的余弦相似性来确定图像数据330的相应相似性分数并且确定指示最接近匹配的分数是最高相似性分数(例如,两个向量之间的余弦值越大,向量越相似)。
在一些场景中,认证模块426基于相应相似性分数来选择图像数据330中的两个或更多个图像数据以确定未知用户150是否是已知用户338。在一个场景中,认证模块426确定两个或更多个图像数据330的复合相似性分数。在一些情况下,认证模块426可以基于两个或更多个图像数据330的最高相似性分数或两个或更多个图像数据330的最低相似性分数来确定复合相似性分数。在一种情况下,认证模块426可以基于图像数据330中的两个或更多个的相应相似性分数的平均值来确定复合相似性分数并且可以将该复合相似性分数与阈值相似性分数相比较以确定未知用户150是否是已知用户338。
作为另一示例,认证模块426可以将两个或更多个图像数据的每个相应相似性分数与阈值相似性分数相比较。在此类示例中,认证模块426可以响应于确定阈值数目(例如,100%、80%、60%等)的所选择的图像数据具有满足阈值相似性分数的相似性分数而确定未知用户150是已知用户338。例如,认证模块426可以确定所选择的图像数据的集合包括具有最高相似性分数的图像数据330中的三个图像数据,并且可以响应于确定三个所选择的图像数据中的两个的相似性分数满足阈值相似性分数而确定未知用户150是已知用户338。
在一些情况下,存储装置448还可以存储一个或多个模型429。如上所述,例如,在一些情况下,计算装置310可以利用深度学习模型来提取有助于识别个人的面部界标。这些模型可以被调整成在个人装置的专用神经引擎或处理器上执行。如上所述,在一些示例中,图像模板可以通常对应于用户的面部的一个或多个特征(例如,生物计量特征)的统计模型。例如,FRM 322可以生成图像模板,所述图像模板包括具有多个元素值(例如,50个值、100个值、500个值等)的向量。在一些示例中,向量的每个元素值对应于用户的面部的特征(例如,眼睛之间的距离、鼻子形状等)。替换地或附加地,可以通过例如被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。例如,FRM 322可以将训练后的面部辨识模型应用于多个图像数据330并且将每个相应图像数据330的图像模板(例如,嵌入)输出为向量。替换地或附加地,可以通过被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。作为一个示例,登记模块424可以将训练后的面部辨识模型应用于多个图像数据330并且输出每个相应图像数据330的图像模板(例如,向量)。这样的图像模板可以被表示为向量并且可以由训练后的面部辨识模型生成。向量可以包括多个元素值,每个元素值对应于用户的面部的相应特征(例如,眼睛之间的距离、鼻子形状等)。
在一些情况下,与已知用户相关联的生物计量特征信息或标识符可以包括存储在登记信息428中的用户的各种登记图像数据和/或特征,其可以包括图像数据和/或针对图像数据330的各种不同姿态的特征信息。在一些情况下,存储在登记信息428中的这种生物计量信息还可以包括用户的唯一标识符和/或特定于用户的用户简档或账户的信息。机器模型可以被存储在本地(例如,在计算装置410的模型429中),或者可以远离装置410存储(例如,在一个或多个远程服务器上)。
响应于确定未知用户150是已知用户338,计算装置310可以将认证数据发送到运载工具的IHU系统100。例如,计算装置310可以发送指示未知用户150作为已知用户338的成功认证的数据,从而指示用户150的认证。在一些情况下,计算装置310可以将针对用户338(例如,认证的用户150)定制或个性化的用户简档和/或账户信息发送到系统100。在一些情况下,计算装置310还可以将用户338和/或计算装置310的唯一标识符发送到运载工具的系统100。
图5是图示依照本公开的一个或多个方面的示例驾驶员记入和认证过程的图,并且图6是图示依照本公开的一个或多个方面的示例面部登记过程的图。诸如在IHU系统100上创建账户时,可以在用户的个人装置(例如,图1的移动计算装置170、图3的计算装置310)上完成登记或记入用户150,诸如驾驶员。此过程涉及使用例如参考图3的诸如上述的装置上的前置相机来在捕获用户的面部的生物计量特征的个人装置上运行的登记应用。这些对应的面部特征作为个人装置上的特征数据(例如,登记信息328)被存储。个人装置作为受信装置向IHU(例如,图1的IHU系统100)注册/与之配对。个人装置的相机(例如,计算装置310的图像捕获装置314中的一个或多个)可以是各种不同类型的相机中的任一个,诸如捕获近红外(NIR)帧和/或红绿蓝(RGB)帧的相机。当个人装置与IHU配对时,个人装置相对于IHU被辨识为受信装置,并且由IHU指派唯一标识符。此受信装置及其对应的唯一标识符通过IHU与运载工具的用户(例如,用户150)以及该用户的任何简档和/或账户信息相关联。
在各种示例中,登记过程可以包括以下方面。诸如移动计算装置170和/或计算装置310的各种个人计算装置或系统可以装备有前置图像捕获装置173或314,诸如相机。这些相机可以使用或提供NIR和/或RGB帧551以用于面部辨识的目的,其中这些帧551可以是图3中所示的图像333的一个示例。在一些情况下,NIR光谱可以提供对不同照明条件的较好适应性。如上所述,在一些示例中,个人装置可以利用深度学习模型来提取有助于识别个人的面部界标。这些模型可以被调整成在个人装置的专用神经引擎或处理器上执行。如上所述,在一些示例中,图像模板可以通常对应于用户的面部的一个或多个特征(例如,生物计量特征)553的统计模型,其中特征553可以是特征数据330的一个示例。在一些情况下,计算装置310可以包括模型329内的基于训练后的图像和/或利用NIR相机和/或RGB相机拍摄的图像的特征数据的模型信息。在一些情况下,计算装置310可以将模型329中的信息(例如,特征数据)从一个颜色空间(RGB空间)提取(distill)到另一颜色空间(NIR空间)。结果,在图1的运载工具内使用的相机不一定必须具有与计算装置310中使用的图像捕获装置(例如,相机)314相同的类型。例如,运载工具可以包括NIR相机,但是图像捕获装置314可以包括RGB相机。在各种示例中,在图1的运载工具内使用的相机可以具有与计算装置310中包括的图像捕获装置314相同的类型。
例如,FRM 322可以生成图像模板,所述图像模板包括具有多个元素值(例如,50个值、100个值、500个值等)的向量。在一些示例中,向量的每个元素值对应于用户的面部的特征(例如,眼睛之间的距离、鼻子形状等)。替换地或附加地,可以通过例如被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。例如,FRM 322可将训练后的面部辨识模型应用于帧551并且将特征553中的相应面部特征的图像模板(例如,嵌入)输出为向量。替换地或附加地,可以通过被训练以生成指示面部特质的输出的非线性机器学习模型来生成向量的元素值。
作为一个示例,登记模块424可以将训练后的面部辨识模型应用于帧551并且输出特征553中的相应面部特征的图像模板(例如,向量)。这样的图像模板可以被表示为向量并且可以由训练后的面部辨识模型生成。向量可以包括多个元素值,每个元素值对应于用户的面部的相应特征(例如,眼睛之间的距离、鼻子形状等)。在一些情况下,与已知用户相关联的生物计量特征信息或标识符555可以包括被存储在受信装置上(例如,在登记信息328中)的该用户的各种登记特征,并且所存储的信息可以包括各种不同姿态的特征信息。存储在登记信息328中的这种生物计量信息也可以包括用户的唯一标识符和/或特定于用户的用户简档或账户的信息。机器模型可以被存储在本地(例如,在移动计算装置170、计算装置310、计算装置410、IHU系统上),或者可以远离这些系统存储(例如,在一个或多个远程服务器上)。
在图5中图示的示例的一个或多个替代示例中,受信移动计算装置可以将登记特征数据发送到运载工具计算系统(例如,运载工具计算系统100),所述运载工具计算系统然后可以被配置成通过将未知用户的认证特征数据与所接收的已知用户的登记特征数据相比较来执行对运载工具中的未知用户的认证。在这些情况下,运载工具计算系统100从移动计算装置接收与先前登记用户的面部的至少一个图像相关联的特征数据(例如,特征数据或标识符555)。运载工具计算系统100然后可以被配置成将此接收到的特征数据与和运载工具内部的用户的面部的捕获图像相关联的特征数据(例如,特征559)。运载工具计算系统100然后可以基于该比较来确定运载工具的用户与先前登记用户之间的匹配,其中由运载工具计算系统100处理的认证数据包括匹配的指示。
如参考图3先前描述的,并且如图5中另外所示,在登记过程期间,计算装置(例如,移动计算装置170、计算装置310)可以对照同一用户(例如,已知用户338)的不同面部姿态来创建面部图像数据(例如,特征数据)的图库(gallery)。面部姿态估计由面部的摇摄值和倾斜值组成。注册了面部特征的姿态能够作为图案出现在个人装置上。这些图案指导用户移动其头从而捕获面部的不同姿态,如图6中所示。
图6图示如何能够在个人装置上的应用内部完成这个的屏幕显示。已知用户338可以利用图像捕获装置314中的一个或多个来查看在PSD 312处输出的用户338的一个或多个图像。这些图像的表示可以在PSD 312处显示在用户338可见的图形框600内。计算装置310可以经由PSD 312向用户338输出指令,如图6中所示。
例如,计算装置310可以向用户338输出指令以相对于图像捕获装置314移动他的/她的面部以便将用户338的面部定位在框600内,然后使用户338的头轻轻地旋转直到框600中所示的所有点变成某种颜色(例如,绿色)或者从未填充点切换为完全填充点为止。如图6中所示,框600中包括的九个点当前未填充,指示用户338应该使他的/她的头旋转直到所有点变成绿色或者从未填充切换为填充状态或颜色(例如,黑色)为止。一旦用户338已经这样做了,图像捕获装置314就将捕获该给定姿态的图像并且将其存储在登记信息(例如,数据存储)328中。计算装置310可以基于不同的俯仰角和偏航角来指令用户338在捕获各种不同姿态的特征数据330时摆出各种不同姿态,诸如参考图3先前描述的。计算装置310可以针对用户338的这些不同姿态中的每一个迭代参考图6的以上过程。然后可以将各种不同面部姿态的对应特征/界标的面部特征数据存储在登记信息328中的登记图库中。在一些情况下,登记信息328可以包括个人装置310的安全包围区(enclave)。
作为移动计算装置170的一个示例的计算装置310可以向图1中所示的运载工具的IHU系统100注册,并且在注册时,可以是运载工具的受信伴随装置。IHU系统100可以向计算装置310和/或已知用户338指派唯一标识符,所述唯一标识符可以与用户在IHU系统100上的账户相关联。例如,运载工具的用户150可以具有用户在IHU系统100上的账户,所述账户包括与可以在IHU系统100的显示器112上显示的针对用户150定制或个性化的信息相关联的用户150的个人简档,如参考图1-2先前描述的。当用户150被认证为装置310的已知用户338时,由IHU系统100指派给计算装置310和/或已知用户338的唯一标识符可以与用户150的用户账户或简档相关联。
在一些情况下,用户150也可以具有可穿戴装置107(例如,智能手表)。在这些情况下,在一些示例中,移动计算装置170可以与可穿戴装置107进行通信以提供登记信息328中包括的信息以供存储在可穿戴装置107上。在这些示例中,可穿戴装置107可以被配置成存储登记信息328中包括的信息。结果,一旦可穿戴装置107存储了此信息,可穿戴装置107就可以执行参考图3先前描述的认证功能性。例如,可穿戴装置107可以是图3中所示的计算装置310的一个示例。在这些情况下,运载工具的用户150可能不一定在运载工具中或在IHU系统100附近具有单独的移动计算装置170。替代地,IHU系统100可以直接与可穿戴装置107进行通信以便对用户150进行认证。如先前指出的,IHU系统100可以使用无线通信协议(例如,蓝牙、WIFI、BLE)来与可穿戴装置107和/或移动计算装置170进行通信。
再次参考图5,在对图1中所示的运载工具的用户150进行认证时,来自面向相机104/111(例如,NIR或RGB相机)的车内驾驶员的图像帧557用于计算可以坐在驾驶员座位中的用户150的面部的生物计量特征559。然后将这些特征559从IHU系统100发送(563)到计算装置310(例如,移动计算装置170、可穿戴装置107),这可以在用于例如非欺骗特征的安全信道上发生,如在下面进一步描述的。计算装置310相对于系统100可以是受信、先前注册的装置。
如先前所描述的,计算装置310上的软件确定在当前驾驶员150和已登记、已知用户338的面部特征中是否存在匹配。如果存在匹配,则计算装置310向IHU系统100发送指示匹配的数据,并且IHU系统100接收(565)指示匹配的此数据作为表示对已注册用户的认证,并且继续登录已注册用户(例如,运载工具的用户150)。
关于面部特征估计,与登记模型类似的模型可以由IHU系统100使用。如先前所描述的,计算装置310可以利用一个或多个模型329(例如,登记模型)来识别由图像捕获装置314拍摄的已知用户338的图像的特征向量数据。IHU系统100可以利用类似的模型来识别由运载工具中的相机104和/或111拍摄的用户150的图像的特征向量数据。例如,IHU系统100可以利用这些模型基于例如由相机104、111采集的NIR图像来确定用户150的面部特征。在一些情况下,这些特征可以由IHU系统100加密并发送到认证用户150的受信装置(例如,计算装置310、移动计算装置170)。IHU系统和受信装置可以使用各种不同的加密/解密技术来通信以维护在这些实体之间交换的特征数据的机密性。在一些示例中,IHU系统100可以与先前注册的受信装置建立安全通信信道。能够通过例如蓝牙/BLE或其它无线接口来建立此信道。
关于受信装置(例如,计算装置310)上的认证,受信装置可以在从IHU系统100接收到传入特征数据(例如,特征向量数据)时,可以将此类数据与保存的特征向量的图库相比较,并且确定匹配,诸如先前(例如,参考图3)所描述的。如果存在匹配,则通过安全信道将此匹配的指示和/或针对用户的认证数据(例如,注册令牌)发送到IHU系统100,这可以被使用或以其它方式用作将用户150登录到IHU系统100的触发。
在一些情况下,可能的是具有被盗个人装置(例如,计算装置310)的入侵者能够试图使用所有者(例如,用户150)的三维掩模或所有者的面部的其它图像(例如,纸质图像)来解锁IHU系统100。由IHU系统和/或计算装置310使用的深度学习模型可以能够发现或以其它方式检测这样的欺骗尝试作为欺骗检测561的一部分,并且中止认证程序。例如,可以利用各种不同的对象和对象类型(例如,人类对象、纸质对象、塑料对象)来训练这些模型。结果,模型可以包括包含与这些不同类型的对象的图像相关联的特征的各种不同的特征数据(例如,特征向量),并且模型可以用于识别例如所有者的三维掩模或纸质图像的特征,以试图中止与此类欺骗尝试相关联的任何认证程序。
此外,在各种示例中,IHU系统100可利用深度学习模型和/或来自其它信号的输入来确定用户150的存在,和/或用以使用相机104/111来捕获用户150的面部图像的适当或最佳时间。例如,IHU系统100可以利用用各种图像信息训练的学习模型来存储对应的特征向量信息,以确定用户150的凝视。IHU系统100可以确定要在用户的凝视朝向相机时或者在用户150的姿态对于捕获增加数目的面部特征信息以供在对用户150进行认证中使用是最佳时捕获用户150的面部图像。此外,系统100可以利用由运载工具提供的附加信号。例如,如果运载工具向系统100提供指示用户150的安全带被系紧、用户150的手在方向盘154上或运载工具的档位从驻车改变为行驶的信号,则系统100可以使用这些信号(独立地或与从相机收集的凝视信息相结合地)来确定用以使用相机104/111来捕获用户150的面部图像的适当或最佳时间。
如上所述,在许多情况下,由IHU系统100使用的相机(例如,相机104/111)和/或由计算装置310使用的相机(例如,图像捕获装置314)可以包括NIR相机,所述NIR相机可以提供对环境照明和像太阳镜这样的穿戴物品的改善适应性。然而,这些系统和装置可以使用任何数目的其它不同类型的相机(例如,RGB相机、NIR相机等)。
本公开的技术使用根据由不同的相机(例如,IHU系统100的相机和计算装置310的相机)捕获的帧计算的生物计量特征来解决对用户(例如,用户150)的可靠认证的挑战,其中这种比较和认证可能是不变的或者可适应各种不同的照明条件。如先前所描述的,IHU系统100和计算装置310的相机可以是相同类型或不同类型的,这提供了附加灵活性。可以使用能够为使用不同的相机捕获的同一个个人的面部生成可匹配特征的方法来训练系统100和/或计算装置310中使用的模型。由于鲁棒过程和针对不同的用户姿态在计算装置310中存储的登记特征数据,所公开的技术也可靠地处理与IHU系统100的车内相机不同的距离/姿态下的面部。
可以潜在地实现这些方面而无需通过用户150的用户干预,从而为用户150提供无缝“进入并驾驶”体验。由IHU系统100和/或计算装置310使用来计算生物计量特征的模型允许以上工作流程与不同的个人装置(例如,运行各种不同的操作系统的个人装置)一起工作。附加地,由于任何用户的面部特征留在用户的个人装置(例如,受信装置310)上,所以用户的私人生物计量特质和信息仅驻留在用户的个人装置上,而不驻留在IHU系统上,所述IHU系统可以被包括在由各种不同的个人潜在地使用的共享运载工具中。
在一些示例中,所公开的技术还使得能实现用户能够登录到租用/共享/租赁车并且具有相同的个性化体验而无需担心不得不在用户用完运载工具之后抹去任何个人信息的用例。在这些示例中,个人信息未被存储在这样的运载工具的IHU系统100中,而是被替代地仅存储在用户的个人装置(例如,装置310)上。
在一些其它示例中,所公开的技术的另一用途可能用于乘车共享应用验证注册驾驶员(例如,用户150)的身份,并且使用IHU系统100防止可能已偷盗或正在以其它方式携带注册驾驶员的个人装置的未注册个人能够接受任何乘车请求。在某些其它示例中,所公开的技术可以在允许用户150操作运载工具之前确认身份或以其它方式对运载工具的用户150进行认证,以便防止未经授权的个人操作运载工具。
图7是图示依照本公开的一个或多个方面的由示例计算系统执行的示例过程的流程图。例如,图7中图示的过程可以由移动计算装置170(图1)、可穿戴装置107(图1)、计算装置310(图3)和/或计算系统410(图4)执行。仅出于图示的目的,将参考由计算装置310执行的操作来描述图7的过程。
计算装置310可以建立(702)与运载工具的运载工具计算系统(例如,IHU系统100)的连接。例如,计算装置310可以利用一个或多个通信单元(例如,通信单元446)来建立此连接。在建立连接之后,计算装置310可以从运载工具计算系统接收(704)与运载工具的用户(例如,用户150)的面部的至少一个图像相关联的第一特征数据。运载工具的用户的面部的至少一个图像可以由连接到运载工具的至少部分的图像捕获装置(例如,相机104、111)捕获。
基于第一特征数据与和先前登记用户(例如,用户338)的面部的至少一个图像相关联的第二特征数据(例如,与存储在登记信息328中的图像330相关联的特征数据)之间的比较,计算装置310然后可以确定(706)运载工具的用户与先前登记用户之间的匹配。基于该匹配,计算装置310可以对运载工具的用户进行认证(708),并且向运载工具计算系统发送(710)针对运载工具的用户的认证数据,其中认证数据指示匹配。
图8是图示依照本公开的一个或多个方面的由示例运载工具计算系统执行的示例过程的流程图。例如,图8中图示的过程可以由图1的运载工具计算系统100和/或计算系统410(图4)执行。仅出于图示的目的,将参考由运载工具计算系统100执行的操作来描述图8的过程。
运载工具计算系统100可以与移动计算装置(例如,图1的移动计算装置170、图1的可穿戴装置107、图3的计算装置310)建立(802)连接,其中运载工具计算系统包括信息娱乐头部单元。运载工具计算系统100可以确定(804)用户(例如,用户150)存在于运载工具内部。在确定用户存在于运载工具内部之后,运载工具计算系统100使用连接到运载工具的至少部分的图像捕获装置(例如,相机104和/或111)来捕获(806)用户的面部的至少一个图像。
运载工具计算系统100确定(808)与用户的面部的至少一个图像相关联的第一特征数据,并且接收(810)针对用户的认证数据。认证数据指示用户与先前登记用户之间的匹配。基于针对用户的认证数据,运载工具计算系统100然后访问(812)用户账户信息以将用户登录到信息娱乐头部单元。
以下示例是仅为了图示目的而提供的。
示例1:一种方法,包括:由移动计算装置建立与运载工具的运载工具计算系统的连接;在建立所述连接之后,由所述移动计算装置从所述运载工具计算系统接收与所述运载工具的用户的面部的至少一个图像相关联的第一特征数据,其中,所述运载工具的用户的面部的至少一个图像由连接到所述运载工具的至少部分的图像捕获装置捕获;由所述移动计算装置基于所述第一特征数据与和所述移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较,确定所述运载工具的用户与所述先前登记用户之间的匹配;由所述移动计算装置基于所述匹配,对所述运载工具的用户进行认证;以及由所述移动计算装置向所述运载工具计算系统发送针对所述运载工具的用户的认证数据,其中,所述认证数据指示所述匹配。
示例2:根据示例1所述的方法,其中,所述运载工具计算系统包括信息娱乐头部单元,并且其中,由所述移动计算装置向所述运载工具计算系统发送针对所述运载工具的用户的所述认证数据使所述运载工具计算系统访问用户账户信息以将所述运载工具的用户登录到所述信息娱乐头部单元。
示例3:根据示例1-2中的任一个所述的方法,其中,针对所述运载工具的用户的所述认证数据包括与所述移动计算装置或所述运载工具的用户中的至少一个相关联的唯一识别信息。
示例4:根据示例1-3中的任一个所述的方法,其中,建立所述连接包括将所述移动计算装置与所述运载工具的运载工具计算系统安全地配对,其中,所述移动计算装置包括与所述运载工具的用户在所述运载工具计算系统上的用户账户相关联的受信装置。
示例5:根据示例1-4中的任一个所述的方法,其中,接收与所述运载工具的用户的面部的至少一个图像相关联的所述特征数据包括:由所述移动计算装置从所述运载工具计算系统与所述运载工具的用户的面部的至少一个图像相关联的所述特征数据的加密副本。
示例6:根据示例1-5中的任一个所述的方法,其中:与所述先前登记用户的面部的至少一个图像相关联的所述第二特征数据与至少一个特征向量相关联并且被包括在来自多个姿态桶的至少一个姿态桶中;并且来自所述多个姿态桶的每个姿态桶与所述先前登记用户的面部的俯仰角的相应范围和所述先前登记用户的面部的偏航角的相应范围相关联。
示例7:根据示例6所述的方法,还包括:由所述移动计算装置从所述第二特征数据中选择所述多个姿态桶中的特定姿态桶中包括的特征数据,其中,所述特定姿态桶与和所述运载工具的用户的面部的至少一个图像相关联的所述第一特征数据相关联,并且其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于所述第一特征数据和与所述先前登记用户的面部的所述至少一个图像相关联的所选择的特征数据。
示例8:根据示例7所述的方法,还包括:由所述移动计算装置确定指示与所述运载工具的用户的面部的至少一个图像相关联的所述第一特征数据与和所述先前登记用户的面部的至少一个图像相关联的所选择的特征数据之间的相似性的相似性分数,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配响应于确定所述相似性分数满足阈值相似性分数而发生。
示例9:根据示例1-8中的任一个所述的方法,其中,与所述先前登记用户的面部的至少一个图像相关联的所述第二特征数据包括与所述先前登记用户的面部的至少一个图像相关联的多个特征数据,所述方法还包括:由所述移动计算装置基于与所述运载工具的用户的面部的至少一个图像相关联的所述第一特征数据和与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的每个特征数据,确定与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的每个特征数据的相应相似性分数,其中,每个相似性分数指示与所述运载工具的用户的面部的至少一个图像相关联的所述第一数据与和所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的所述相应特征数据之间的相似性,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据的所述相应相似性分数。
示例10:根据示例9所述的方法,还包括:由所述移动计算装置基于所述相应相似性分数确定与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的排名最高的特征数据,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的排名最高的特征数据。
示例11:根据示例9所述的方法,还包括:由所述移动计算装置基于与所述先前登记用户的面部的至少一个图像相关联的所述多个特征数据中的两个或更多个特征数据的相似性分数,确定复合相似性分数,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是响应于确定所述复合相似性分数满足阈值相似性分数。
示例12:根据示例11所述的方法,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是响应于确定与所述先前登记用户的面部的至少一个图像相关联的两个或更多个特征数据中的每一个的所述相应相似性分数满足阈值相似性分数。
示例13:根据示例1-12中的任一个所述的方法,还包括:由所述移动计算装置在登记阶段期间,使用机器学习模型来确定所述先前登记用户的面部的至少一个图像的所述第二特征数据。
示例14:根据示例1-13中的任一个所述的方法,其中,所述移动计算装置包括可穿戴计算装置。
示例15:一种方法,所述方法包括:由运载工具的运载工具计算系统建立与移动计算装置的连接,其中,所述运载工具计算系统包括信息娱乐头部单元;由所述运载工具计算系统确定用户存在于所述运载工具内部;在确定所述用户存在于所述运载工具内部之后,由所述运载工具计算系统使用连接到所述运载工具的至少部分的图像捕获装置来捕获所述用户的面部的至少一个图像;由所述运载工具计算系统确定与所述用户的面部的至少一个图像相关联的第一特征数据;由所述运载工具计算系统接收针对所述用户的认证数据,其中,所述认证数据基于所述第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示所述用户与所述先前登记用户之间的匹配;以及由所述运载工具计算系统基于针对所述用户的所述认证数据,访问用户账户信息以将所述用户登录到所述信息娱乐头部单元。
示例16:根据示例15所述的方法,还包括:由所述运载工具计算系统向所述移动计算装置发送与所述用户的面部的至少一个图像相关联的所述第一特征数据,其中,接收针对所述用户的所述认证数据包括:在发送所述第一特征数据之后,由所述运载工具计算系统从所述移动计算装置接收针对所述用户的所述认证数据。
示例17:根据示例15所述的方法,还包括:由所述运载工具计算系统从所述移动计算装置接收与所述先前登记用户的面部的至少一个图像相关联的所述第二特征数据;由所述运载工具计算系统对所述第一特征数据和所述第二特征数据进行比较;以及由运载工具计算系统基于所述比较,确定所述用户与所述先前登记用户之间的所述匹配,其中,所述认证数据包括对所述匹配的指示。
示例18:一种系统,所述系统包括:至少一个处理器;和存储指令的至少一个计算机可读存储装置,所述指令当由所述至少一个处理器执行时,使所述至少一个处理器执行根据示例1-17中的任一个所述的方法。
示例19:一种存储指令的计算机可读存储介质,所述指令当由至少一个处理器执行时,使所述至少一个处理器执行根据示例1-17中的任一个所述的方法。
在一个或多个示例中,所描述的功能可以用硬件、硬件和软件、硬件和固件或其任意组合加以实现。如果用软件加以实现,则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或者通过计算机可读介质传输或者由基于硬件的处理单元执行。计算机可读介质可以包括一个或多个计算机可读存储介质,其对应于诸如数据存储介质的有形介质或包括促进例如根据通信协议将计算机程序从一个地方转移到另一地方的任何介质的通信介质。以这种方式,计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是能够由一个或多个计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以便实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制,此类计算机可读存储介质能够包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪速存储器或能够用于以指令或数据结构形式存储期望程序代码并且能够由计算机访问的任何其它存储介质。另外,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或诸如红外、无线电和微波的无线技术来从网站、服务器或其它远程源传输指令,则在介质的定义包括同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术。然而,应该理解的是,计算机可读存储介质和媒体及其数据存储介质不包括连接、载波、信号或其它瞬态介质,而是替代地涉及非瞬态、有形存储介质。如本文所用,磁盘和盘包括紧致盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,然而盘用激光光学上再现数据。上述的组合也应该被包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行,所述处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或分立逻辑电路。因此,如本文所用,术语“处理器”可以是指前述结构或适合于实现本文所述的技术的任何其它结构中的任一个。此外,在一些方面中,可以在专用硬件和/或软件模块内提供本文所述的功能性。另外,能够在一个或多个电路或逻辑元件中完全实现这些技术。
可以在包括无线电话听筒、集成电路(IC)或一组IC(例如,芯片组)的各种广泛的装置或设备中实现本公开的技术。在本公开中描述了各种组件、模块或单元以强调被配置成执行所公开的技术的装置的功能方面,但是不一定需要由不同的硬件单元实现。相反,如上所述,各种单元可以被组合在硬件单元中或者通过包括如上所述的一个或多个处理器的互操作的硬件单元的合集与合适的软件和/或固件相结合地提供。
已经描述了各种实施例。这些和其它实施例在以下权利要求的范围内。

Claims (19)

1.一种方法,包括:
由移动计算装置建立与运载工具的运载工具计算系统的连接;
在建立所述连接之后,由所述移动计算装置从所述运载工具计算系统接收与所述运载工具的用户的面部的至少一个图像相关联的第一特征数据,其中,所述运载工具的用户的面部的至少一个图像由连接到所述运载工具的至少部分的图像捕获装置捕获;
由所述移动计算装置基于所述第一特征数据与和所述移动计算装置的先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较,确定所述运载工具的用户与所述先前登记用户之间的匹配;
由所述移动计算装置基于所述匹配,对所述运载工具的用户进行认证;以及
由所述移动计算装置向所述运载工具计算系统发送针对所述运载工具的用户的认证数据,其中,所述认证数据指示所述匹配。
2.根据权利要求1所述的方法,
其中,所述运载工具计算系统包括信息娱乐头部单元,并且
其中,由所述移动计算装置向所述运载工具计算系统发送针对所述运载工具的用户的所述认证数据使所述运载工具计算系统访问用户账户信息以将所述运载工具的用户登录到所述信息娱乐头部单元。
3.根据权利要求1-2中的任一项所述的方法,其中,针对所述运载工具的用户的所述认证数据包括与所述移动计算装置或所述运载工具的用户中的至少一个相关联的唯一识别信息。
4.根据权利要求1-3中的任一项所述的方法,其中,建立所述连接包括将所述移动计算装置与所述运载工具的运载工具计算系统安全地配对,其中,所述移动计算装置包括与所述运载工具的用户在所述运载工具计算系统上的用户账户相关联的受信装置。
5.根据权利要求1-4中的任一项所述的方法,其中,接收与所述运载工具的用户的面部的所述至少一个图像相关联的所述特征数据包括:由所述移动计算装置从所述运载工具计算系统与所述运载工具的用户的面部的所述至少一个图像相关联的所述特征数据的加密副本。
6.根据权利要求1-5中的任一项所述的方法,其中:
与所述先前登记用户的面部的所述至少一个图像相关联的所述第二特征数据与至少一个特征向量相关联并且被包括在多个姿态桶中的至少一个姿态桶中;并且
所述多个姿态桶中的每个姿态桶与所述先前登记用户的面部的俯仰角的相应范围和所述先前登记用户的面部的偏航角的相应范围相关联。
7.根据权利要求6所述的方法,还包括:
由所述移动计算装置从所述第二特征数据中选择所述多个姿态桶中的特定姿态桶中包括的特征数据,
其中,所述特定姿态桶与和所述运载工具的用户的面部的所述至少一个图像相关联的所述第一特征数据相关联,并且
其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于所述第一特征数据与和所述先前登记用户的面部的所述至少一个图像相关联的所选择的特征数据。
8.根据权利要求7所述的方法,还包括:
由所述移动计算装置确定指示与所述运载工具的用户的面部的所述至少一个图像相关联的所述第一特征数据与和所述先前登记用户的面部的所述至少一个图像相关联的所选择的特征数据之间的相似性的相似性分数,
其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配响应于确定所述相似性分数满足阈值相似性分数而发生。
9.根据权利要求1-8中的任一项所述的方法,其中,与所述先前登记用户的面部的所述至少一个图像相关联的所述第二特征数据包括与所述先前登记用户的面部的所述至少一个图像相关联的多个特征数据,所述方法还包括:
由所述移动计算装置基于与所述运载工具的用户的面部的所述至少一个图像相关联的所述第一特征数据与和所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的每个特征数据,确定与所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的每个特征数据的相应相似性分数,其中,每个相似性分数指示与所述运载工具的用户的面部的所述至少一个图像相关联的所述第一特征数据与和所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的所述相应特征数据之间的相似性,
其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于与所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据的所述相应相似性分数。
10.根据权利要求9所述的方法,还包括:
由所述移动计算装置基于所述相应相似性分数,确定与所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的排名最高的特征数据,
其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是基于与所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的排名最高的特征数据。
11.根据权利要求9所述的方法,还包括:
由所述移动计算装置基于与所述先前登记用户的面部的所述至少一个图像相关联的所述多个特征数据中的两个或更多个特征数据的相似性分数,确定复合相似性分数,
其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是响应于确定所述复合相似性分数满足阈值相似性分数。
12.根据权利要求11所述的方法,其中,确定所述运载工具的用户与所述先前登记用户之间的所述匹配是响应于确定与所述先前登记用户的面部的所述至少一个图像相关联的两个或更多个特征数据中的每一个的相应相似性分数满足阈值相似性分数。
13.根据权利要求1-12中的任一项所述的方法,还包括:
由所述移动计算装置在登记阶段期间,使用机器学习模型来确定所述先前登记用户的面部的所述至少一个图像的所述第二特征数据。
14.根据权利要求1-13中的任一项所述的方法,其中,所述移动计算装置包括可穿戴装置。
15.一种方法,所述方法包括:
由运载工具的运载工具计算系统建立与移动计算装置的连接,其中,所述运载工具计算系统包括信息娱乐头部单元;
由所述运载工具计算系统确定用户存在于所述运载工具内部;
在确定所述用户存在于所述运载工具内部之后,由所述运载工具计算系统使用与所述运载工具的至少部分相连接的图像捕获装置来捕获所述用户的面部的至少一个图像;
由所述运载工具计算系统确定与所述用户的面部的所述至少一个图像相关联的第一特征数据;
由所述运载工具计算系统接收针对所述用户的认证数据,其中,所述认证数据基于所述第一特征数据与和先前登记用户的面部的至少一个图像相关联的第二特征数据之间的比较来指示所述用户与所述先前登记用户之间的匹配;以及
由所述运载工具计算系统基于针对所述用户的所述认证数据,访问用户账户信息以将所述用户登录到所述信息娱乐头部单元中。
16.根据权利要求15所述的方法,还包括:
由所述运载工具计算系统向所述移动计算装置发送与所述用户的面部的所述至少一个图像相关联的所述第一特征数据,
其中,接收针对所述用户的所述认证数据包括:在发送所述第一特征数据之后,由所述运载工具计算系统从所述移动计算装置接收针对所述用户的所述认证数据。
17.根据权利要求15所述的方法,还包括:
由所述运载工具计算系统从所述移动计算装置接收与所述先前登记用户的面部的所述至少一个图像相关联的所述第二特征数据;
由所述运载工具计算系统对所述第一特征数据和所述第二特征数据进行比较;以及
由所述运载工具计算系统基于所述比较,确定所述用户与所述先前登记用户之间的所述匹配,
其中,所述认证数据包括对所述匹配的指示。
18.一种系统,所述系统包括:
至少一个处理器;和
存储指令的至少一个计算机可读存储装置,所述指令当由所述至少一个处理器执行时,使所述至少一个处理器执行根据权利要求1-17中的任一项所述的方法。
19.一种存储指令的计算机可读存储介质,所述指令当由至少一个处理器执行时,使所述至少一个处理器执行根据权利要求1-17中的任一项所述的方法。
CN201980007317.9A 2019-06-17 2019-11-18 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证 Active CN112399935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962862581P 2019-06-17 2019-06-17
US62/862,581 2019-06-17
PCT/US2019/062035 WO2020256765A1 (en) 2019-06-17 2019-11-18 Seamless driver authentication using an in-vehicle camera in conjunction with a trusted mobile computing device

Publications (2)

Publication Number Publication Date
CN112399935A true CN112399935A (zh) 2021-02-23
CN112399935B CN112399935B (zh) 2023-05-02

Family

ID=68848453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007317.9A Active CN112399935B (zh) 2019-06-17 2019-11-18 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证

Country Status (6)

Country Link
US (1) US20210229673A1 (zh)
EP (1) EP3771314B1 (zh)
JP (1) JP7049453B2 (zh)
KR (1) KR102504746B1 (zh)
CN (1) CN112399935B (zh)
WO (1) WO2020256765A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386678B2 (en) * 2018-11-13 2022-07-12 Denso International America, Inc. Driver authentication for vehicle-sharing fleet
US20220070235A1 (en) 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220070236A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Graphical representation-based user authentication system and method
US11861041B2 (en) * 2021-02-08 2024-01-02 Capital One Services, Llc Methods and systems for automatically preserving a user session on a public access shared computer

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009286342A (ja) * 2008-05-30 2009-12-10 Fujitsu Ten Ltd 生体情報照合装置、生体情報照合システムおよび生体情報照合方法
US20100039224A1 (en) * 2008-05-26 2010-02-18 Okude Kazuhiro Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
CN103434484A (zh) * 2013-08-20 2013-12-11 安科智慧城市技术(中国)有限公司 车载识别认证装置、移动终端、智能车钥控制系统及方法
US20140301650A1 (en) * 2013-04-08 2014-10-09 Omron Corporation Image processing device, image processing method, and recording medium
WO2015001791A1 (ja) * 2013-07-03 2015-01-08 パナソニックIpマネジメント株式会社 物体認識装置及び物体認識方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
JP2016055789A (ja) * 2014-09-10 2016-04-21 トヨタ自動車株式会社 車両用認証装置
CN105644500A (zh) * 2016-02-05 2016-06-08 重庆广播电视大学 基于无线安防系统的车门开启控制方法
US20170124385A1 (en) * 2007-12-31 2017-05-04 Applied Recognition Inc. Face authentication to mitigate spoofing
CN107800708A (zh) * 2017-11-06 2018-03-13 上海擎感智能科技有限公司 一种车机账户自动登录方法和车机装置
JP2019032694A (ja) * 2017-08-08 2019-02-28 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
EP3456592A1 (en) * 2017-09-15 2019-03-20 Nxp B.V. Automobile-person interaction

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4675492B2 (ja) 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
KR100571826B1 (ko) * 2003-12-02 2006-04-17 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법
JP4696857B2 (ja) 2005-11-02 2011-06-08 オムロン株式会社 顔照合装置
JP5001028B2 (ja) * 2007-03-02 2012-08-15 株式会社デンソー 運転環境設定システム、車載装置及び車載装置用プログラム
JP2009284442A (ja) 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
WO2013130036A1 (en) * 2012-02-27 2013-09-06 Hewlett-Packard Development Company, L.P. Method and system for vehicle personalization
KR20160059793A (ko) * 2014-11-19 2016-05-27 현대자동차주식회사 사용자 인증을 이용한 차량 제어장치 및 방법
KR20170017111A (ko) * 2015-08-05 2017-02-15 엘지전자 주식회사 이동단말기 및 그 제어방법
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
JP6691309B2 (ja) 2017-10-31 2020-04-28 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
US10676067B2 (en) * 2018-01-05 2020-06-09 Byton Limited User capture device configuration for a vehicle

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124385A1 (en) * 2007-12-31 2017-05-04 Applied Recognition Inc. Face authentication to mitigate spoofing
US20100039224A1 (en) * 2008-05-26 2010-02-18 Okude Kazuhiro Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
JP2009286342A (ja) * 2008-05-30 2009-12-10 Fujitsu Ten Ltd 生体情報照合装置、生体情報照合システムおよび生体情報照合方法
US20140301650A1 (en) * 2013-04-08 2014-10-09 Omron Corporation Image processing device, image processing method, and recording medium
WO2015001791A1 (ja) * 2013-07-03 2015-01-08 パナソニックIpマネジメント株式会社 物体認識装置及び物体認識方法
CN103434484A (zh) * 2013-08-20 2013-12-11 安科智慧城市技术(中国)有限公司 车载识别认证装置、移动终端、智能车钥控制系统及方法
JP2016055789A (ja) * 2014-09-10 2016-04-21 トヨタ自動車株式会社 車両用認証装置
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN105644500A (zh) * 2016-02-05 2016-06-08 重庆广播电视大学 基于无线安防系统的车门开启控制方法
JP2019032694A (ja) * 2017-08-08 2019-02-28 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
EP3456592A1 (en) * 2017-09-15 2019-03-20 Nxp B.V. Automobile-person interaction
CN107800708A (zh) * 2017-11-06 2018-03-13 上海擎感智能科技有限公司 一种车机账户自动登录方法和车机装置

Also Published As

Publication number Publication date
JP2021531521A (ja) 2021-11-18
EP3771314A1 (en) 2021-02-03
EP3771314B1 (en) 2022-08-03
CN112399935B (zh) 2023-05-02
JP7049453B2 (ja) 2022-04-06
US20210229673A1 (en) 2021-07-29
KR20200145826A (ko) 2020-12-30
WO2020256765A1 (en) 2020-12-24
KR102504746B1 (ko) 2023-03-02

Similar Documents

Publication Publication Date Title
CN112399935B (zh) 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证
US9530265B2 (en) Mobile terminal and vehicle control
CN110099836B (zh) 车辆及控制其中的显示器的方法
US9800717B2 (en) Mobile terminal and method for controlling the same
CN107757553B (zh) 识别用户的方法、装置、系统及相关车辆
KR101659027B1 (ko) 이동 단말기 및 차량 제어 장치
JP6337199B2 (ja) 対話式移動体制御システムのための一体化ウェアラブル用品
KR101711835B1 (ko) 차량, 차량의 동작 방법 및 웨어러블 디바이스의 동작 방법
JP2018513427A (ja) 複数のユーザアカウントに書き戻す機能を有する車載共有スクリーンシステム
CN104691449A (zh) 车辆控制设备及其方法
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
US20180174450A1 (en) A notification system of a car and method of controlling therefor
US11696126B2 (en) Vehicle having connected car service and method of controlling the same
US11928895B2 (en) Electronic device and control method therefor
US10471965B2 (en) Securing guest access to vehicle
EP3906499B1 (en) User authentication using pose-based facial recognition
KR101578741B1 (ko) 이동 단말기 및 그 제어 방법
CN111674344B (zh) 检测仅充电连接的方法、移动计算设备及存储介质
KR101602265B1 (ko) 이동 단말기 및 이의 제어 방법
KR102220367B1 (ko) 이동 단말기 및 그 제어 방법
KR20160023755A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant