CN112622917B - 用于认证交通工具的乘员的系统和方法 - Google Patents

用于认证交通工具的乘员的系统和方法 Download PDF

Info

Publication number
CN112622917B
CN112622917B CN202011048913.2A CN202011048913A CN112622917B CN 112622917 B CN112622917 B CN 112622917B CN 202011048913 A CN202011048913 A CN 202011048913A CN 112622917 B CN112622917 B CN 112622917B
Authority
CN
China
Prior art keywords
occupant
information
vehicle
controller
applications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011048913.2A
Other languages
English (en)
Other versions
CN112622917A (zh
Inventor
阿米·卡沙尼
戈帕拉克里希南·耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN112622917A publication Critical patent/CN112622917A/zh
Application granted granted Critical
Publication of CN112622917B publication Critical patent/CN112622917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629—Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/35—Protecting application or service provisioning, e.g. securing SIM application provisioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/082—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying multi-factor authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Bioethics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)
  • Collating Specific Patterns (AREA)

Abstract

涉及用于认证交通工具的乘员的系统和方法。一种交通工具(102)中的系统(100)包括一个或更多个传感器(103)，所述一个或更多个传感器被配置成至少使用乘员的面部信息获得来自乘员的乘员信息。该系统还包括与所述一个或更多个传感器进行通信的控制器(101)。控制器被配置成：确定与交通工具的一个或更多个应用相关联的应用策略；以及响应于面部信息超过与应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用。

Description

用于认证交通工具的乘员的系统和方法
技术领域
本公开内容涉及交通工具中的乘员认证。
背景技术
交通工具系统可以认证交通工具中的乘员以确保合适的乘员正在操作交通工具中的合适的特征。在另一示例中，交通工具系统可以用于防止对交通工具进行的网络攻击(cyber-attacks)。例如，语音识别系统可能易受到“海豚攻击(dolphin attacks)”的影响，“海豚攻击”可以是通过我们的语音助手可以检测到但是人耳无法听到的高频声音所掩盖的攻击。
发明内容
根据一个实施方式，一种交通工具中的系统，包括一个或更多个传感器，所述一个或更多个传感器被配置成至少使用乘员的面部信息获得来自乘员的乘员信息。该系统还包括与所述一个或更多个传感器进行通信的控制器。控制器被配置成：确定与交通工具的一个或更多个应用相关联的应用策略；以及，响应于面部信息超过与应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用。
根据第二实施方式，一种交通工具中的系统，包括：一个或更多个传感器，所述一个或更多个传感器被配置成至少使用乘员的面部信息获得来自一个或更多个乘员的乘员信息；无线收发器，该无线收发器与移动装置进行通信；以及控制器，该控制器与所述一个或更多个传感器和无线收发器进行通信。控制器被配置成：至少根据面部信息和移动装置识别乘员；确定与一个或更多个应用相关联的应用策略，其中，应用策略与至少第一认证层和第二认证层相关联；响应于面部信息超过与应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用。
根据第三实施方式，一种交通工具中的方法，包括：至少使用交通工具中的摄像装置装置和麦克风获得来自乘员的面部信息和语音信息；至少使用面部信息和语音信息识别乘员；响应于对乘员的识别，确定与一个或更多个应用相关联的应用策略；以及响应于面部信息和语音信息超过与应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用。
附图说明
图1示出了交通工具系统100的示例框图；
图2示出了一个实施方式中的用户认证系统200的示例性流程图；以及
图3示出了可以用于认证各种命令的示例性表格300。
具体实施方式
本文中描述了本公开内容的实施方式。然而，应当理解，所公开的实施方式仅仅是示例，并且其他实施方式可以采取各种不同的和可替选的形式。附图不一定按比例绘制；可以放大或缩小一些特征以示出特定部件的细节。因此，本文中公开的具体结构性和功能性细节不应被解释为是限制性的，而仅仅是作为用于教示本领域技术人员以各种方式采用实施方式的代表性基础。如本领域的普通技术人员将理解的，参照任一附图示出和描述的各种特征可以与在一个或更多个其他附图中示出的特征组合以产生未明确示出或描述的实施方式。所示出的特征的组合针对典型应用提供代表性的实施方式。然而，针对特定应用或实现方式，可能需要与本公开内容的教示一致的特征的各种组合和修改。
语音识别系统变得更加流行，尤其是在交通工具环境中。语音识别系统和虚拟助手变得更加个性化并且针对个体用户定制。语音识别系统可以通过提取与个体用户的声学模式相关的区别特征来自动识别个体用户。语音识别系统可以使用“唤醒词”，例如，“OKGoogle”、“Hey Siri”或“Alexa”，并且随后处理来自个体用户的之后的自然语言请求。类似地，集成至交通工具上的信息娱乐系统中的汽车语音助手可以使用唤醒词，例如“HeyMercedes”或“Hey BMW”。虚拟助手可以处理来自已识别的用户的请求并且提供对特权功能的访问或者授权关键系统操作。例如，在识别出已登记用户之后，虚拟助手可以通过以下方式动态地响应用户的语音：修改、共享或发送个人信息，进行金融交易，创建新约会，调整交通工具参数，例如速度、目的地，或者重新配置其他关键的交通工具上的功能/服务等。随着自动驾驶交通工具和共享出行服务的日益普及，乘客越来越多地与未知方共享交通。依靠声学模式特征提取来识别个体用户可能容易不准确，并且使得虚拟助手容易受到网络攻击如欺骗(spoofing)的影响。例如，恶意行为者可以通过直接捕获和重放另一交通工具乘员的语音来冒充该另一交通工具乘员的语音，或者使用先验捕获的样本的数据集来训练生成式对抗网络(Generative Adversarial Network，GAN)并且产生具有受害者的声学模式的令人信服的任意语音。研究人员已经找到了使用语音识别系统可以听到但是人类无法听到的超声音频命令来秘密地控制虚拟助手的方法。一些网络攻击可以翻译标准的人类语音命令并且将译文广播成超声频率，有时称为“海豚攻击”。对于人类来说不可能听到这样的频率，但是语音识别系统仍可以使用该超声命令。这可能有益于交通工具系统抵抗这样的攻击。
可以使用以下各种技术对乘员身份进行持续地分类：例如，面部识别、声学模式、生物计量配置文件、行为模型、经由密钥卡(key fob)或移动装置对驾驶员或用户的关联、经由共享秘密——例如，密码短语(passphrase)或PIN码——对驾驶员或用户的关联、对交通工具座椅设置的分析、从座椅传感器收集的体重信息等。在一个实施方式中，当应用特征需要较高级别的保证时，它可以从乘员监控系统(OMS)请求乘员状态信息。响应于该请求，OMS可以将乘员状态信息持续地发送至应用。应用可以具有必要的乘员状态以便访问应用的某些特征。应用还可以将应用的关键特征与乘员状态信息相关联，以确定由于存在故障或网络攻击而导致的与预期行为的偏离以及不可信性。可以使用作为数据验证引擎的一部分的验证指令预先配置应用。
图1示出了用于交通工具102的交通工具系统100的示例框图。交通工具102可以包括任何类型的交通工具，例如，乘用交通工具、商用交通工具、摩托车、运动型多用途交通工具、小型货车、轿车、摩托车、船舶、越野交通工具等。交通工具系统100可以包括控制器101(也称为处理器101和/或电子控制单元(ECU)101)。处理器101可以被配置成执行用于本文中描述的方法和系统的指令。处理器101可以是一个或更多个计算装置，例如用于处理命令的单核或多核处理器，比如，计算机处理器、微处理器、微控制器，或者能够执行本文中论述的操作的任何其他装置、一系列装置或其他机制。控制器101可以包括存储器(图1中未单独示出)以及用于在交通工具102内进行处理的其他特定部件。存储器可以存储指令和命令。指令可以呈软件、固件、计算机代码或以上某种组合的形式。存储器可以呈一个或更多个数据存储装置的任何形式，例如，易失性存储器、非易失性存储器、电子存储器、磁存储器、光存储器或任何其他形式的数据存储装置。在一个示例中，存储器可以包括可移动存储器部件。
控制器101可以与在交通工具102内和远离交通工具102两者的各种传感器、模块以及交通工具系统进行通信。交通工具系统100可以包括各种传感器，例如各种摄像装置、LIDAR传感器、雷达传感器、超声传感器或用于检测关于交通工具的周围环境的信息的其他传感器，所述交通工具的周围环境包括例如其他交通工具、分道线、护栏、道路中的对象、建筑物、行人等。在图1所示的示例中，交通工具系统100可以包括摄像装置103和收发器105。交通工具系统100还可以包括麦克风、全球定位系统(GPS)模块、人机界面(HMI)显示器(未示出)以及其他传感器、控制器和模块。图1是示例系统并且交通工具系统100可以包括更多或更少的传感器以及不同类型的传感器。交通工具系统100可以在交通工具102内或交通工具102上以及/或者远离交通工具102的不同位置处配备有另外的传感器，包括相同或不同类型的另外的传感器。如以下所描述的，这样的传感器可以收集传感器数据106。传感器数据106可以包括由各种传感器收集的任何数据。传感器数据106可以包括图像数据、GPS数据、交通工具速度数据、交通工具加速度数据、语音识别数据、面部识别数据、生物计量数据或者由交通工具102中的各种传感器或处理器收集的任何其他数据。可以将传感器融合应用于传感器数据106以聚集信息、观察用户交互、构建操作环境、确定乘员状态、对乘员以及其他项——例如，交通工具系统使用模式、由乘员处理的对象等——进行识别。传感器融合可以响应于对来自若干传感器的数据进行组合的软件而出现以改善系统或子系统的应用或性能。对来自多个传感器的数据进行组合可以校正由特定类型的单个传感器收集的数据的缺陷。因此，传感器融合可以使得能够计算更准确的信息。例如，如果单独使用面部识别数据，则可能难以将个体与另一个体(例如，一个双胞胎与另一个双胞胎等)识别开来。通过添加语音识别数据，交通工具系统100可以具有将个体与另一个体正确地识别出的较高可能性。
收发器105可以是蓝牙收发器。在一个示例性实施方式中，交通工具系统100使用收发器105(例如，蓝牙收发器)与用户的移动装置(例如，蜂窝电话、智能电话、PDA、平板计算机或具有无线远程网络连接性的任何其他装置)进行通信。然后，可以使用移动装置通过例如与蜂窝塔的通信来与交通工具系统100外部的网络进行通信。在一些实施方式中，塔可以是Wi-Fi接入点。
如果用户具有与移动装置相关联的数据计划，则该数据计划允许宽带传输并且交通工具系统100可以使用更宽的带宽(加速数据传输)是可能的。在又一实施方式中，将移动装置替换为安装在交通工具102中的蜂窝通信装置(未示出)。在又一实施方式中，移动装置可以是能够在例如(但不限于)802.11网络(即WiFi)或WiMax网络上进行通信的无线局域网(LAN)装置。在一个实施方式中，进入的数据可以经由语音加载数据(data-over-voice)或数据计划通过移动装置、通过收发器105并且进入控制器101。在某些临时数据的情况下，例如，数据可以存储在硬盘驱动器(HDD)、固态驱动器(SSD)或其他存储介质上，直到不再需要数据时为止。
在另一实施方式中，收发器105可以在交通工具上通信装置或蜂窝式调制解调器上。交通工具上通信装置可以不需要将移动装置(例如，蜂窝电话)与收发器105配对以便与交通工具外服务器进行通信。替代地，交通工具上通信装置或蜂窝式调制解调器可以具有其自身的与交通工具外网络进行通信的能力。
摄像装置103可以安装在交通工具102中以监控交通工具102的乘客舱内的乘员(例如，驾驶员或乘客)。摄像装置103可以是乘员监控系统(OMS)104的一部分。摄像装置103可以用于捕获交通工具102中的乘员的图像。如下面进一步论述的，摄像装置103可以获得乘员的面部信息，例如，眼睛运动、嘴部运动以及头部运动。摄像装置103可以例如是彩色摄像装置、红外摄像装置、雷达/超声成像摄像装置或飞行时间摄像装置。摄像装置103可以安装在头枕上、仪表板上、顶蓬中或任何其他合适的位置中。另外地或可替选地，摄像装置103可以位于移动装置(例如，平板计算机或移动电话)上并且可以捕获乘员(例如，驾驶员或乘客)的脸、躯干、四肢、眼睛、嘴巴等。
控制器101可以从OMS 104接收乘员信息以确定交通工具102内的异常情况。OMS104可以采用一个或更多个活动传感器，例如面向驾驶员的摄像装置、面向乘客的摄像装置、健康扫描仪以及仪表面板，以监控由乘员(例如，驾驶员或乘客)执行的活动。OMS 104可以基于活动传感器来确定驾驶员是否例如分心、生病或困倦作为异常情况。例如，可以在交通工具顶蓬、交通工具头枕或交通工具102的其他区域中采用面向乘客的摄像装置以监控乘客的活动。OMS 104还可以采用与可以捕获乘员的语音信息的语音识别(VR)引擎进行通信的麦克风。语音信息可以用于语音识别会话中的语音命令。OMS 104可以基于各种传感器来确定乘员(例如，驾驶员或乘客)是否例如忙乱、正在经历晕动病、饥饿、发烧等。
在另一示例中，OMS 104可以包括安装在交通工具102的座椅上、安装至儿童座椅或乘员接触或位于其视线内的另一合适位置的健康扫描仪。健康扫描仪可以扫描乘员的心跳、血压、脉搏或其他与健康相关的信息。OMS 104对从健康扫描仪接收的数据进行处理并且监控乘员是否正在经历严重的身体状况或发作(episode)。还可以由健康扫描仪使用OMS104来确定数据的各种波动是否可以识别到乘员的压力或问题。
交通工具系统100还可以包括位于交通工具102上的一个或更多个外部摄像装置。该外部摄像装置可以独立地或者连同另一外部交通工具部件(例如，照明装置、装饰物或手柄等)安装至后视镜、侧视镜、门、防护板、顶盖/立柱或保险杠。外部摄像装置也可以通过交通工具的风挡面向交通工具舱外部以收集交通工具102前方环境的图像数据。外部摄像装置可以用于收集与交通工具102前方有关的并且用于监控交通工具102前方的状况的信息和数据。摄像装置还可以用于对交通工具102前方的状况进行成像，并且正确地检测从摄像装置的位置观察到的分道标记(lane marker)的位置以及例如迎面而来的交通工具的前灯的照明的存在/不存在。例如，外部摄像装置可以用于生成与交通工具102周围的交通工具、前方分道标记以及其他对象检测有关的图像数据。交通工具102还可以配备有用于类似环境的后置摄像装置(未示出)，该后置摄像装置例如监控交通工具102后方附近的周围的交通工具的环境。当配备有多于一个的外部摄像装置时，交通工具102可以组合单个的视场以提供集合的视场，并且还可以将图像实时流式传输至本地或远程消费者。在另一示例中，OMS104可以通过直接向应用模块110发送消息或者通过填充连接至应用模块110的本地/远程数据库间接地发送消息来共享信息。共享的信息可以包括时间索引的图像数据(例如，包括时间戳)以及与检测到的事件/状况(例如之前所描述的乘员事件)相对应的特定数据。
在另一实施方式中，交通工具系统100可以配备有语音识别装置(例如，麦克风)。麦克风可以基于时间参数的子集来确定声音数据与预定义的声音或声音模型相对应的可能性。例如，麦克风可以应用算法(例如，经训练的深度神经网络)来确定是否出现了乘员事件。该算法可以采用与时间参数的数量相对应的多个输入。每个声学特征向量可以包括多个特征和针对每个声学特征确定的时间参数。当然，在其他实施方式中，参数的数量可以变化。先前可能已经使用机器学习对示例性麦克风的深度神经网络算法进行过训练，以便准确地确定声音数据是否与预定义的声音匹配。深度神经网络算法可以采用柔性最大值(softmax)层、反向传播、交叉熵优化以及强化学习作为训练的一部分。该训练可以包括提供与预定义的声音匹配的声音的样本以及与预定义的声音不匹配的声音的样本，例如，类似于预期的背景噪声的声音。例如，如果预定义的声音是婴儿哭泣，则可以向算法提供婴儿哭泣的多个样本以及类似于预期的背景噪声的声音，例如，成人对话、道路交通噪声以及其他交通工具声音。在一些实施方式中，麦克风可以确定声音是否与若干不同的预定义的声音(例如，“唤醒词”，如“OK Google”、“Hey Siri”或“Alexa”)相对应。在其他实施方式中，麦克风可以执行自动语音识别(ASR)以转录乘员(例如，驾驶员或乘客)命令或对话，以用于由交通工具服务(例如，由应用模块110提供的服务)使用。麦克风还可以允许用户注册他们的“声纹(voiceprint)”，并且通过关联通过前面提到的算法学习到的声学特征来执行对这样的用户的自动识别。
交通工具系统100还可以包括用于检测或确定交通工具102的当前位置的GPS(未示出)。在某些情况下，GPS可以用于确定交通工具102正在行驶的速度。在其他情况下，GPS可以用于根据地理坐标系统定位交通工具102。交通工具系统100还可以包括检测或确定交通工具102正在行驶的当前速度的交通工具速度传感器(未示出)。交通工具系统100还可以包括检测或确定交通工具102的当前方向的指南针或三维(3D)陀螺仪。地图数据可以存储在存储器中。控制器101可以利用传感器数据106更新地图数据。地图数据可以包括可以由高级驾驶员辅助系统(advanced driver assistance system，ADAS)使用的信息。地图数据可以包括详细的分道信息、坡度信息、道路曲率数据、分道标记特性等。除了传统的地图数据如道路名称、道路分类、速度限制信息等以外，还可以使用上述地图数据。控制器101可以使用来自GPS的数据以及来自陀螺仪、交通工具速度传感器、表示周围对象的3D点云的数据/信息以及地图数据来确定交通工具的定位或当前位置。
交通工具系统100还可以包括人机界面(HMI)显示器(未示出)。HMI显示器可以包括交通工具102的乘客舱内的任何类型的显示器，例如，仪表板显示器、导航显示器、多媒体显示器、虚拟现实耳机、全息投影仪、平视显示器(HUD)、薄膜晶体管液晶显示器(TFT LCD)等。HMI显示器还可以连接至扬声器以输出与交通工具102的用户界面或命令有关的声音。HMI显示器可以用于向交通工具102内的乘员(例如，驾驶员或乘客)输出各种命令或信息。例如，当坐在后座上的乘员压力过大时，HMI显示器可以向驾驶员显示坐在后座上的乘员压力过大并且需要安抚的信息。HMI显示器可以使用用于向乘员显示相关信息的任何类型的监控器或显示器。HMI显示器还可以包括在交通工具102的风挡上显示界面和其他对象的HUD，以使得图像在驾驶员驾驶时位于驾驶员的周边内或者图像在乘员的视线内。
除了提供视觉指示以外，HMI显示器还可以被配置成经由触摸屏、用户界面按钮等接收用户输入。HMI显示器可以被配置成接收指示各种交通工具控制——例如，视听控制，自主交通工具系统控制，某些交通工具特征、舱室温度控制等——的用户命令。控制器101可以接收用户输入并且转而命令相关交通工具系统或部件根据用户输入执行。HMI显示器还可以包括嵌入交通工具102的头枕中的显示器。嵌入头枕中的HMI显示器还可以包括可以面向乘员的内置摄像装置。HMI显示器可以面向交通工具102的乘员(例如，驾驶员或乘客)以允许乘员与HMI显示器交互并且/或者监控问题。
控制器101可以接收来自包括摄像装置103、GPS、HMI显示器等的各种交通工具部件的信息和数据。例如，控制器可以接收来自摄像装置103的图像数据以及来自GPS的位置数据。控制器101使用这样的数据提供可以与驾驶员辅助或自主驾驶有关的交通工具功能。例如，由摄像装置、麦克风以及前向摄像装置收集的数据可以与GPS数据和地图数据结合使用，以提供或增强与自适应巡航控制、自动停泊、停泊辅助、自动紧急制动(AEB)等相关的功能。控制器101可以与交通工具的各种系统(例如，引擎、变速器、制动器、转向机构、显示器、传感器、用户界面装置等)进行通信(例如，控制器局域网(CAN)总线、本地互连网络(LIN)总线、媒体导向系统传输(MOST)总线、USB等)。例如，控制器101可以被配置成向制动器发送使交通工具102减速的信号，或者向转向机构发送改变交通工具102的路径的信号，或者向引擎或变速器发送使交通工具102加速或减速的信号。例如，控制器101可以被配置成从各种交通工具传感器接收输入信号并且将输出信号发送至显示装置。控制器101还可以与其他交通工具、一个或更多个数据库、存储器、互联网或用于访问另外的信息(例如，地图、道路信息、天气、交通工具信息)的网络进行通信。如下面更详细地说明的，还可以由摄像装置103使用控制器101来识别交通工具102的乘员(例如，驾驶员或乘客)的面部特征。
OMS 104还可以用于监控从交通工具102的乘员说出的语音信息。可以向位于交通工具102中的一个或更多个麦克风说出语音信息。可以通过确定音高、波动或其他解剖属性或行为属性来分析语音信息以识别与该语音相关联的特定乘员。例如，OMS 104可以识别一个用户的某个语音以及另一用户的另一语音。此外，OMS 104可以具有与用户相关联的各种模型，以基于通过麦克风接收的语音信息来识别各种情况。例如，音调的变化可能指示用户生病(例如，咽喉痛)。在其他场景下，可以基于与语音相关联的属性来识别用户的各种情绪。
交通工具系统100可以包括安全身份存储装置109，安全身份存储装置109用于安全地存储用于交通工具102的乘员的身份信息。安全身份存储装置109可以与状态存储器111进行通信。状态存储器111可以是存储用于在交通工具系统100中立即使用的信息的集成电路(或任何其他类型的存储器)。状态存储器111可以通过存储通常存储在安全身份存储装置109上的某些信息来允许更快的信息处理。状态存储器111可以包括随机存取存储器(RAM)或虚拟存储器。因此，控制器101可以与状态存储器111进行通信以检索可以由交通工具系统100使用的特定信息。例如，如果交通工具系统100试图识别乘员，则状态存储器111可以存储面部识别数据(或任何其他类似数据)以允许控制器101的更快的访问和处理。安全身份存储装置109可以是用于驾驶员信息的分区，并且该分区使用面部识别和其他乘员特征(例如，语音、移动装置数据、生物计量数据如指纹或视网膜扫描等)来模拟乘员的身份。例如，安全身份存储装置109可以包括配置文件，该配置文件包括姓名、信息以及其他信息，包括每个用户的相关联模型(例如，面部数据或其他生物计量数据等)。在另一示例中，安全身份存储装置109可以具有包括姓名、信息以及用于与该用户相关联的语音信息的相关联模型的配置文件。交通工具系统100可以使用机器学习来对该特定的人是否被检测为交通工具102中的用户进行分类。此外，安全身份存储装置109可以配备有机器学习框架，该机器学习框架用于随着乘员的不同属性被揭示或经历一些变化(例如，老化、体重减轻或增加、戴眼镜或戴太阳镜、戴帽子等)而持续地更新身份信息。
OMS 104可以与应用模块110进行通信。应用模块110可以是在交通工具系统100、交通工具子系统或外部装置(例如，移动电话、平板计算机、云服务器等)上运行的软件应用。应用模块110可以具有它自己的用于运行命令和应用的处理及通信元件120，或者使用交通工具102中的任何处理器。应用模块110可以从OMS 104请求状态信息和身份信息以便确定是否应当执行或禁用某些应用或命令。OMS 104又可以向应用模块110发送关于乘客和交通工具的身份信息和状态信息。
基于身份的访问控制策略112可以用于基于对乘员的识别来允许某些特征。基于身份的访问控制策略112可以是定义用户以及特定用户可能能够使用的某些特征或应用的软件。这样的软件可以使用查找表或其他形式的数据模式来定义针对交通工具102的各种用户的各种策略。交通工具102中的某些场景或特征可以被标记为由交通工具102的特定个体使用，而其他个体不可以使用交通工具102中的这些特征。例如，尽管基于身份的访问控制策略112可以识别交通工具102的所有者并且允许在任何场景下使用免提通信，但是由交通工具系统100识别的青少年驾驶员可以仅被允许在某些交通工具环境(例如，以低速驾驶)中使用免提通信。在另一场景下，基于身份的访问控制策略112可以允许或拒绝对某些交通工具特征的访问。例如，在某个策略下，可以从不允许青少年驾驶员使用无线电。
策略实施引擎114可以用于实施由基于身份的访问控制策略112定义的规则和策略。例如，策略实施引擎114可以具有针对不同应用的不同策略和认证层。策略实施引擎114可以是识别用户以及与该用户相关连的关联访问控制策略的软件。照此，策略实施引擎114可以是用于在交通工具102与应用模块110之间交换的数据的防火墙。策略实施引擎114可以基于针对基于身份的访问控制策略112中的每个应用或特征定义的条件来调解用户交互以允许或禁止操作。例如，策略实施引擎114可以确定当前身份/条件与基于身份的访问控制策略112中定义的身份/条件不匹配，并且因此阻止对相关联的交通工具特征的激活。应用模块110可以与OMS 104交换用户信息以获得任何当前交通工具乘员的状态。例如，如果OMS 104识别出现有用户或新用户，则应用模块110可以接收用于现有用户或新用户的信息。因此，策略实施引擎114可以访问并且实施针对现有用户定义的规则，或者在后一种情况下，将基于身份的访问控制策略112修改成包括新用户。
当对策略进行修改时，应用模块110还可以更新基于身份的访问控制策略112。可以根据源自授权用户或管理员的变更请求来修改基于身份的访问控制策略112。例如，交通工具队管理者可以请求对基于身份的访问控制策略112进行调整，以添加/移除允许特定交通工具特征所必需的条件。应用模块110还可以在不需要人类管理员的情况下通过自动调整基于身份的访问控制策略112来进行自我管理。在一个示例中，基于身份的访问控制策略112可以包括可以应用于某些用户的默认规则。例如，基于身份的访问控制策略112可以针对所有新用户禁止某些特征，直到从授权用户接收到策略修改。规则还可以包括基于与每个识别的用户相关联的属性或交通工具环境的属性的条件。例如，OMS 104可以确定乘员的年龄，并且如果满足基于年龄的限制，则基于身份的访问控制策略112可以允许用户驾驶交通工具。
数据验证引擎118可以用于比较各种状态下的OMS数据。应用模块110可以具有其自身的用于控制基于应用的问题的处理及通信元件。数据验证引擎118加载并且实施保证定义，该保证定义定义了需要来自OMS 104的什么乘员数据、频率等，并且在信息一致的情况下继续系统操作。数据被隐含地检查并且可以来自多个来源(至少两个来源)，例如来自OMS 104或其他交通工具控制器或传感器。例如，在交通工具的语音识别系统的情况下，高度关键的特征(例如，对经由语音命令发动交通工具、拨叫紧急操作员等的激活)可以需要OMS 104提供“唇读”(例如，视位)数据连同语音识别数据。不太关键的特征(例如，改变无线电台或改变路线)可以具有不太严格的保证定义，例如，使OMS 104提供乘员通常在说话(但是不执行唇读)的通知连同语音识别数据。即使在前面段落中的基于年龄的限制场景中，关键的特征还可能需要另外的验证，例如两个或更多个独立的年龄数据源(例如，通过图像、语音、用户配置文件数据、心率变化、以上的组合等的年龄检测)。
处理及通信元件120可以是单独的处理器或收发器，或者是包括收发器结合收发器两者的单元。处理及通信元件120可以用于运行应用模块110上的命令和程序。处理及通信元件120可以是用于处理命令的单核或多核处理器，例如，计算机处理器、微处理器、微控制器，或者能够执行本文中论述的操作的任何其他装置、一系列装置或其他机制。存储器可以存储与应用模块110相关的指令和命令，例如，固件、计算机代码或以上某种组合。存储器可以呈一个或更多个数据存储装置的任何形式，例如，易失性存储器、非易失性存储器、电子存储器、磁存储器、光存储器或任何其他形式的数据存储装置。在一个示例中，存储器可以包括可移动存储器部件。处理及通信元件120还可以包括通信装置，例如，蓝牙收发器。在处理及通信元件120中可以使用任何类型的收发器与OMS 104进行通信。例如，应用模块110可以存储在移动装置上并且可以用于与交通工具102的网络进行通信。在又一实施方式中，应用模块可以包括处理及通信元件120，处理及通信元件120包括收发器，该收发器可以是能够在例如(但不限于)802.11网络(即，WiFi)或有线网络如交通工具通信网络(例如，CAN总线、USB等)上进行通信的无线LAN装置。
图2是在一个实施方式中的用户认证系统200的示例性流程图。在步骤201处，用户认证系统200可以确定交通工具102的用户是谁。另外地或可替选地，用户认证系统200可以确定用户是否是授权用户并且是否被允许访问某些特征。OMS 104可以使用各种交通工具传感器或装置——例如，摄像装置、麦克风以及/或者来自密钥卡或移动装置的数据——来识别交通工具102的用户。在另一示例中，用户认证系统200可以与OMS 104一起工作以识别用户是否被授权操作交通工具102(例如，驾驶交通工具)或操作交通工具功能或应用特征。例如，在用户被识别后，交通工具可能仅具有少数被列为可操作的授权驾驶员。OMS 104可以使用面部识别数据来识别那些驾驶员是否可以操作交通工具。OMS 104可以使用面部识别数据来识别那些驾驶员是否可以访问交通工具功能(例如，无线电功能、导航系统、其他交通工具特征等)。在一个示例中，面部识别数据可以存储在交通工具102的安全身份存储装置109中。在另一示例中，用户认证系统200可以响应于语音识别会话的激活(例如，由“唤醒词”激活语音识别)或被激活的应用(例如，经由语音识别会话)通过使用在安全身份存储装置109中找到的生物计量数据来寻求识别用户。如果不满足指定标准，则OMS 104可以禁止对交通工具功能或应用特征的访问。当用户与用户认证系统200交互时，OMS 104可以通过例如以一秒或一分钟的间隔周期性地执行识别和标准验证过程来持续地做出该确定。例如，当小偷试图盗窃和占有被占用的交通工具时，或者当网络罪犯渗透到交通工具网络并且试图控制交通工具功能时，这可能比基于在单次确认后的乘员的身份来激活或去激活(deactivate)特征的系统更有益，因为它可以防止网络攻击或错误授权。
在步骤203处，用户认证系统200可以更新用户的身份信息。每当用户访问交通工具102时，OMS 104可以收集关于用户的信息。因此，OMS 104可以在对交通工具102的每次使用时进行面部识别扫描、视网膜扫描、声学模式匹配、识别由用户使用的移动装置或密钥卡、识别某些座椅位置或其他信息。OMS 104可以持续地监控可以表示用户的数据并且更新数据库以帮助识别用户。例如，如果交通工具102确定特定用户已经改变了座椅设置，则它可以更新那些位置以帮助在进入或操作交通工具102的未来的情况下识别用户。另外，例如，如果用户的外观由于因照明、老化或遮挡引起的变化而略有不同，则OMS 104可以更新身份信息使得用户将在交通工具使用的未来的情况下被准确地识别。OMS 104可以存储表示存储在交通工具102的安全身份存储装置109中的每个用户的识别模型。OMS 104可以在没有用户交互的情况下被动地执行对用户的识别，并且可以使用从新用户注册/登记界面获得的信息或者通过导入预先存在的模型(例如，先前在移动装置上、在另一交通工具等中生成的)而生成的其他信息来扩充所捕获的身份信息。
在步骤205处，用户认证系统200可以处理传感器数据并且确定用户的状态。例如，OMS 104的处理器101可以与各种传感器、摄像装置(例如，面部识别摄像装置、飞行时间摄像装置、3D扫描仪等)、健康扫描仪、生物计量阅读器等进行通信。用户认证系统200可以在阈值时间段内持续地监控用户的状态，并且因此在系统操作期间持续地返回步骤203以在操作期间更新所识别的用户的模型。该操作可以以非阻塞式或并行的方式发生，以允许处理传感器数据同时持续地更新身份信息。例如，用户认证系统200可以每分钟或每三十秒收集数据以监控用户的状态。因此，用户认证系统200可以以循环方式(例如，每30秒、每分钟、每五分钟等)在阈值时间段内收集数据以监控乘员。用户认证系统200可以收集的一些数据包括语音识别数据或面部识别数据、嘴部运动数据以及其他生物计量数据。例如，用户认证系统200可以使用收集的语音识别数据或嘴部运动数据来提取与用户的语音相对应的音素(phoneme)或视位的时间索引序列。在另一示例中，用户认证系统200可以在每个循环采样时段处确定用户是睡着还是醒着。OMS 104可以将当前和/或历史状态信息作为事件对象存储在存储器(例如，状态存储器)中。然后，可以将乘员的状态信息与保证接口定义116进行比较，以响应于乘员状态来触发应用特征的任何激活或去激活或未决请求的拒绝。这可能比基于乘员的身份简单地激活或去激活特征的系统更有益，因为它可以防止网络攻击或错误授权。例如，当受破坏的移动装置通过假冒已授权用户的身份来秘密地将恶意的语音命令引入至交通工具102时，或者当不道德的乘客冒充疏忽的已授权用户的身份时。
在决策207处，用户认证系统200可以判定定时器触发是否已经过去。决策207还可以判定应用模块110是否请求了数据。定时器触发可以是用户认证系统200定义的用于启动收集并且共享乘员信息的行动的阈值时段。例如，阈值时段可以是呈循环方式(例如，每30秒、每分钟、每五分钟等)的任何时间。可以使用任何阈值时段。系统还可以按需判定是否从应用模块110接收乘员信息请求。当需要通过参考并且报告在保证接口定义116中表达的要求来启用和执行应用特征时，从应用模块110请求的数据可以指定预期的乘员状态信息并且定义通信参数如阈值时段。OMS 104可以调整活动交通工具传感器和确定的信息以便满足应用需求。如果决策207未被触发，则系统可以返回至步骤205并且继续处理传感器数据。
在步骤209处，用户认证系统200可以发送与用户相关联的状态信息。当OMS 104收集并且确定状态信息时，它可以将每个单独的确定发送至应用模块110，或者将确定组合成包括在阈值时段内遇到的所有用户状态的单个消息。如图3所示，用户认证系统200使用查找表或类似的数据阵列来识别基于某些项可以激活什么应用特征。另外，可以将由OMS 104收集的数据发送至移动装置、远程端点或交通工具102的另一子系统。如果需要另外的数据/时间来满足请求，则用户认证系统200可以返回至步骤205以处理另外的传感器数据。
在一个示例中，系统可以应用基于语音识别系统或应用的鲁棒的用户认证。用户可以请求使用“唤醒词”启动语音识别系统。可以由策略实施引擎参考基于身份的访问控制策略来验证针对请求的身份和授权。应用可以参考保证接口定义并且从OMS 104请求用户的状态信息。状态信息可以包括与用户相关的属性，例如，嘴部运动数据、面部识别数据、语音数据等。然后，用户可以使用语音识别系统继续会话。数据验证引擎可以参考保证接口定义以用于验证并且将用于表示语音命令的内部数据的过程与同时接收到的OMS数据相关联。如果存在差异，则可以拒绝语音命令，因为系统可以确定网络攻击或类似威胁已经出现。在一个示例中，可以执行基础级别的验证以确定在语音请求期间乘员正在说话。在另一示例中，可以执行更高级别的验证以确定语音请求中的每个声音与由OMS观察到的嘴部运动相对应。然后，系统可以定义是否已经发生了对乘员的验证。
图3示出了可以用于认证各种命令的示例性表格300。表格300可以是用于描述电子数据的示例性图，例如，在以上描述的系统中使用的数据的查找表、阵列或矩阵。表格300可以包括用于应用特征301的标题(heading)。应用特征301可以识别应用的名称或正在被执行的应用的特征/命令，例如，在导航系统中输入目的地、播放音轨、呼叫电话号码或联系人、授权对紧急响应者的呼叫、发动或关掉交通工具等。在另一示例中，在可以访问应用之前，可能需要认证应用。
身份A303、身份B 305、…身份N 307可以在表格300中用于定义允许激活或去激活特征的标准。值309可以是静态配置(例如，总是被允许或被拒绝)或者基于动态条件(例如，仅在某个时间段之间、仅在窗口卷起的情况下、身份状态满足某些标准等)。在某些场景下，功能或某个用户可能需要基于作为安全相关功能的更高级别的认证层。例如，当在自适应巡航控制设置中提高交通工具的速度时，与改变无线电台不同，系统可以验证另外的特征和标准。
本文中示出的过程、方法或算法可以被传送至处理装置、控制器或计算机，或者由处理装置、控制器或计算机实现，处理装置、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以多种形式存储为可以由控制器或计算机执行的数据和指令，包括但不限于永久存储在不可写存储介质如ROM装置上的信息以及可替选地存储在可写存储介质(例如，软盘、磁带、CD、RAM装置以及其他磁性介质和光学介质)上的信息。过程、方法或算法也可以在软件可执行对象中实现。可替选地，可以使用合适的硬件部件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件部件或装置)，或者硬件部件、软件部件以及固件部件的组合来整体地或部分地呈现过程、方法或算法。说明书中使用的词语是描述性而非限制性的词语，并且应当理解，在不脱离本公开内容的精神和范围的情况下，可以进行各种改变。例如，术语“模块”可以描述处理器、控制器或响应并且处理由计算机使用的指令的任何其他类型的逻辑电路。模块还可以包括存储器或者与执行指令的存储器进行通信。另外，术语“模块”可以在软件中用于描述具有例程的程序(或多个程序)的一部分。此外，应用可以是程序或软件例程组。
尽管以上描述了示例性实施方式，但是并非意指这些实施方式描述了权利要求书所涵盖的所有可能形式。说明书中使用的词语是描述性而非限制性的词语，并且应当理解，在不脱离本公开内容的精神和范围的情况下，可以做出各种改变。如先前所描述的，可以组合各种实施方式的特征以形成本发明的可能未明确描述或说明的另外的实施方式。虽然各种实施方式已经被描述为提供优点或者在一个或更多个期望特性方面相对于其他实施方式或现有技术实现方式是优选的，但是本领域的普通技术人员认识到，可以取决于特定应用和实现方式对一个或更多个特征或特性进行折中以实现期望的总体系统属性。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、可销售性、外观、包装、大小、适用性、重量、可制造性、易组装性等。照此，在任何实施方式被描述为在一个或更多个特性方面相比于其他实施方式或现有技术实现方式更不可取的程度上，这些实施方式不在本公开内容的范围之外，并且针对特定应用可以是可取的。

Claims (19)

1.一种交通工具中的系统，包括：
一个或更多个传感器(103)，被配置成至少使用乘员的面部信息获得来自所述乘员的乘员信息；以及
控制器(101)，与所述一个或更多个传感器进行通信，其中，所述控制器被配置成：
确定与所述交通工具的一个或更多个应用相关联的应用策略；
响应于所述面部信息超过与所述应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用；以及
在所述乘员被授权之后，在系统操作期间在阈值时间段内持续地监控所述乘员的状态，以在操作期间持续更新所述乘员的识别模型，其中，所述识别模型用于使用语音信息和所述面部信息来识别所述乘员，
其中，所述系统的安全身份存储装置配备有机器学习框架，所述机器学习框架用于持续地更新所述乘员的身份信息。
2.根据权利要求1所述的系统，其中，所述一个或更多个传感器被配置成：至少根据所述交通工具中的所述乘员的语音信息获得所述乘员信息。
3.根据权利要求2所述的系统，其中，所述系统被配置成：至少使用所述面部信息和所述语音信息识别所述乘员。
4.根据权利要求3所述的系统，其中，所述面部信息包括与所述乘员相关联的嘴部运动数据。
5.根据权利要求1至4中任一项所述的系统，其中，所述控制器还被配置成：响应于所述面部信息，阻止所述一个或更多个应用的执行。
6.根据权利要求1至4中任一项所述的系统，其中，所述控制器还被配置成：响应于所述面部信息，去激活所述一个或更多个应用的操作。
7.根据权利要求1至4中任一项所述的系统，其中，所述系统被配置成：在所述交通工具的重现的操作时段内至少根据所述面部信息获得所述乘员信息。
8.根据权利要求1至4中任一项所述的系统，其中，所述系统还包括与移动装置进行通信的无线收发器，并且所述控制器还被配置成：至少使用所述移动装置识别所述乘员。
9.根据权利要求8所述的系统，其中，所述控制器被配置成：响应于所述乘员，执行所述一个或更多个应用。
10.一种交通工具中的系统，包括：
一个或更多个传感器(103)，被配置成至少使用一个或更多个乘员的面部信息获得来自所述一个或更多个乘员的乘员信息；
无线收发器(105)，与移动装置进行通信；以及
控制器(101)，与所述一个或更多个传感器和所述无线收发器进行通信，其中，所述控制器被配置成：
至少根据所述面部信息和所述移动装置识别所述乘员；
确定与一个或更多个应用相关联的应用策略，其中，所述应用策略与至少第一认证层和第二认证层相关联；
响应于所述面部信息超过与所述应用策略相关联的所述第一认证层或所述第二认证层，执行所述一个或更多个应用；以及
在所述乘员被授权之后，在系统操作期间在阈值时间段内持续地监控所述乘员的状态，以在操作期间持续更新所述乘员的识别模型，其中，所述识别模型用于使用语音信息和所述面部信息来识别所述乘员，
其中，所述系统的安全身份存储装置配备有机器学习框架，所述机器学习框架用于持续地更新所述乘员的身份信息。
11.根据权利要求10所述的系统，其中，所述控制器被配置成：在阈值时段内以循环方式获得来自所述一个或更多个乘员的所述面部信息。
12.根据权利要求10所述的系统，其中，所述控制器还被配置成：根据所述一个或更多个应用确定所述应用策略。
13.根据权利要求10所述的系统，其中，所述控制器还被配置成：响应于所述一个或更多个乘员的语音信息超过与所述应用策略相关联的所述第一认证层或所述第二认证层，执行所述一个或更多个应用。
14.根据权利要求10所述的系统，其中，所述一个或更多个传感器被配置成：至少根据所述交通工具中的所述一个或更多个乘员的语音识别数据获得所述乘员信息。
15.根据权利要求10至14中任一项所述的系统，其中，所述第一认证层定义与所述乘员信息相关联的一个属性，并且所述第二认证层定义与所述乘员信息相关联的包括时间戳的多于一个的属性。
16.根据权利要求15所述的系统，其中，所述系统被配置成：响应于所述交通工具中的所述一个或更多个乘员的语音识别数据，去激活所述交通工具中的所述系统的操作。
17.根据权利要求15所述的系统，其中，所述系统被配置成：响应于所述面部信息落在所述第一认证层或所述第二认证层以下，阻止对应用的访问。
18.一种交通工具中的方法，包括：
至少使用所述交通工具中的摄像装置和麦克风获得来自乘员的面部信息和语音信息；
至少使用所述面部信息和所述语音信息识别所述乘员；
响应于对所述乘员的识别，确定与一个或更多个应用相关联的应用策略；
响应于所述面部信息和所述语音信息超过与所述应用策略相关联的第一认证层或第二认证层，执行所述一个或更多个应用；以及
在所述乘员被授权之后，在系统操作期间在阈值时间段内持续地监控所述乘员的状态，以在操作期间持续更新所述乘员的识别模型，其中，所述识别模型用于使用所述语音信息和所述面部信息来识别所述乘员，
其中，利用在所述交通工具的安全身份存储装置中配备的机器学习框架持续地更新所述乘员的身份信息。
19.根据权利要求18所述的方法，其中，所述方法还包括：响应于所述面部信息落在所述第一认证层或所述第二认证层以下，阻止对所述一个或更多个应用的访问。
CN202011048913.2A 2019-10-07 2020-09-29 用于认证交通工具的乘员的系统和方法 Active CN112622917B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/594,389 US11743719B2 (en) 2019-10-07 2019-10-07 System and method for authenticating an occupant of a vehicle
US16/594,389 2019-10-07

Publications (2)

Publication Number Publication Date
CN112622917A CN112622917A (zh) 2021-04-09
CN112622917B true CN112622917B (zh) 2024-03-19

Family

ID=74875537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048913.2A Active CN112622917B (zh) 2019-10-07 2020-09-29 用于认证交通工具的乘员的系统和方法

Country Status (4)

Country Link
US (1) US11743719B2 (zh)
JP (1) JP7245209B2 (zh)
CN (1) CN112622917B (zh)
DE (1) DE102020125978A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3561719A1 (en) * 2018-04-25 2019-10-30 Ningbo Geely Automobile Research & Development Co., Ltd. Vehicle occupant management system and method
US11145315B2 (en) * 2019-10-16 2021-10-12 Motorola Mobility Llc Electronic device with trigger phrase bypass and corresponding systems and methods
US11170448B2 (en) * 2019-12-20 2021-11-09 Akasa, Inc. Claim analysis with deep learning
US11970187B2 (en) * 2020-04-07 2024-04-30 Gm Cruise Holdings Llc Vehicular cabin monitoring and response
US11590929B2 (en) * 2020-05-05 2023-02-28 Nvidia Corporation Systems and methods for performing commands in a vehicle using speech and image recognition
US11551456B2 (en) * 2020-06-17 2023-01-10 Ford Global Technologies, Llc Enhanced infrastructure
US11445351B2 (en) * 2020-09-15 2022-09-13 Motorola Solutions, Inc. System and method for keyword generation and distribution for use in accessing a communications device in emergency mode
KR20220040875A (ko) * 2020-09-24 2022-03-31 삼성전자주식회사 음성 인식 서비스를 위한 등록 사용자에 대한 화자 인증 학습 장치 및 그 동작 방법
CN113380246A (zh) * 2021-06-08 2021-09-10 阿波罗智联(北京)科技有限公司 指令执行方法、相关装置及计算机程序产品
US20210397863A1 (en) * 2021-09-03 2021-12-23 Intel Corporation Methods and devices for an occupant of a vehicle
EP4159555B1 (en) * 2021-09-29 2024-06-12 Ningbo Geely Automobile Research & Development Co. Ltd. Updating vehicle ownership authorizations
DE102021129103B3 (de) 2021-11-09 2022-12-08 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System für eine robuste Identifizierung eines Fahrzeuginsassen
DE102022122441B3 (de) 2022-09-05 2023-09-21 Audi Aktiengesellschaft Kraftfahrzeug und Verfahren zum Bereitstellen einer Schutzfunktion für das Kraftfahrzeug
US11824682B1 (en) * 2023-01-27 2023-11-21 Schlumberger Technology Corporation Can-open master redundancy in PLC-based control system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1494711A (zh) * 2001-02-05 2004-05-05 �Ҵ���˾ 使用多模式输入进行多模式焦点检测,参考岐义解析和语气分类的系统和方法
WO2016027419A1 (en) * 2014-08-20 2016-02-25 Denso Corporation Access control method for providing access to functions of vehicle

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4416507C5 (de) 1994-05-10 2006-10-19 Volkswagen Ag Verfahren zur Erkennung einer Benutzungsberechtigung für ein Fahrzeug
WO1996029216A1 (fr) 1995-03-20 1996-09-26 Vladimir Lvovich Taubkin Procede permettant de controler des vehicules faisant appel a un systeme de protection contre les acces non autorises fonctionnant par analyse vocale automatique, et systeme en vue de sa realisation
US6952155B2 (en) 1999-07-23 2005-10-04 Himmelstein Richard B Voice-controlled security system with proximity detector
JP2003091509A (ja) 2001-09-17 2003-03-28 Nec Corp 携帯通信機器の個人認証方法およびそれを記述したプログラム
JP3668175B2 (ja) 2001-10-24 2005-07-06 株式会社東芝 個人認証方法、個人認証装置および個人認証システム
JP2004276783A (ja) 2003-03-17 2004-10-07 Aisin Seiki Co Ltd 車両監視装置
US20040220798A1 (en) 2003-05-01 2004-11-04 Visteon Global Technologies, Inc. Remote voice identification system
MX2012007497A (es) 2009-12-25 2012-08-01 Chugai Pharmaceutical Co Ltd Metodo para modificacion de polipeptidos para purificar multimeros de polipeptido.
JP2011215942A (ja) 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム
JP2012203428A (ja) 2011-03-23 2012-10-22 Toyota Motor Corp 認証システム及び認証方法
US9391986B2 (en) * 2013-05-31 2016-07-12 Verizon Patent And Licensing Inc. Method and apparatus for providing multi-sensor multi-factor identity verification
CN110414191B (zh) 2014-06-12 2023-08-29 麦克赛尔株式会社 信息处理装置和系统
KR20170100722A (ko) * 2016-02-26 2017-09-05 주식회사 서연전자 음성인식 기능이 추가된 스마트키 시스템
JP6665696B2 (ja) * 2016-06-09 2020-03-13 株式会社デンソー 車載装置
CN106004735B (zh) * 2016-06-27 2019-03-15 京东方科技集团股份有限公司 车载系统及车辆设施的调整方法
US10464530B2 (en) * 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10824704B2 (en) 2017-02-24 2020-11-03 Gentex Corporation Two factor biometric authentication for auto
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
US20190156003A1 (en) * 2017-11-20 2019-05-23 Motorola Mobility Llc Methods and Systems for Launching Additional Authenticators in an Electronic Device
KR102531654B1 (ko) * 2018-05-04 2023-05-11 삼성전자주식회사 음성 입력 인증 디바이스 및 그 방법
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US11003798B1 (en) * 2018-09-18 2021-05-11 NortonLifeLock Inc. Systems and methods for enforcing age-based application constraints
US10861457B2 (en) * 2018-10-26 2020-12-08 Ford Global Technologies, Llc Vehicle digital assistant authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1494711A (zh) * 2001-02-05 2004-05-05 �Ҵ���˾ 使用多模式输入进行多模式焦点检测,参考岐义解析和语气分类的系统和方法
WO2016027419A1 (en) * 2014-08-20 2016-02-25 Denso Corporation Access control method for providing access to functions of vehicle

Also Published As

Publication number Publication date
JP2021060986A (ja) 2021-04-15
US20210105619A1 (en) 2021-04-08
US11743719B2 (en) 2023-08-29
DE102020125978A1 (de) 2021-04-08
JP7245209B2 (ja) 2023-03-23
CN112622917A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112622917B (zh) 用于认证交通工具的乘员的系统和方法
US11845399B2 (en) Recording video of an operator and a surrounding visual field
US10384648B1 (en) Multifactor authentication for vehicle operation
US10328824B2 (en) Vehicle operations based on biometric fingerprint analysis
CN108454567B (zh) 用于车辆的物体检测
EP2836410B1 (en) User identification and personalized vehicle settings management system
EP3675121B1 (en) Computer-implemented interaction with a user
US20210001810A1 (en) System, method, and computer program for enabling operation based on user authorization
US10194012B2 (en) Platform for wireless interaction with vehicle
US20180210446A1 (en) Passenger profiles for autonomous vehicles
US20200310528A1 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
WO2015191913A2 (en) System and method for facilitating user access to vehicles based on biometric information
US11044566B2 (en) Vehicle external speaker system
US20210049385A1 (en) Security features using vehicle personalization
KR20210023163A (ko) 다중설정을 위한 생체인증 장치 및 방법
EP4016974A1 (en) System for determining when a driver accesses a communication device
US12010114B2 (en) Delayed biometric authorization
US20230177130A1 (en) Electronic device and vehicle driver authentication method by the electronic device
US20230179594A1 (en) Enhanced biometric authorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant