CN111098859A - 车载数字辅助认证 - Google Patents

车载数字辅助认证 Download PDF

Info

Publication number
CN111098859A
CN111098859A CN201911019693.8A CN201911019693A CN111098859A CN 111098859 A CN111098859 A CN 111098859A CN 201911019693 A CN201911019693 A CN 201911019693A CN 111098859 A CN111098859 A CN 111098859A
Authority
CN
China
Prior art keywords
user
vehicle
voice command
identity
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911019693.8A
Other languages
English (en)
Inventor
纳夫勒斯·卡亚
格伦·门罗·格林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111098859A publication Critical patent/CN111098859A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/28—
    • B60K35/65—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • B60K2360/148—
    • B60K2360/176—
    • B60K2360/741—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identical check
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephonic Communication Services (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“车载数字辅助认证”。一种车辆包括控制器，所述控制器被编程为：响应于经由传声器检测到来自用户的语音命令和所述用户在所述车辆内部的位置，使用对由摄像机捕获的所述用户的所述位置的图像的面部识别来认证所述用户的身份；并且响应于成功的认证，执行所述语音命令。

Description

车载数字辅助认证
技术领域
本公开总体涉及车辆认证系统。更具体地，本公开涉及用于语音命令的车辆认证系统。
背景技术
许多车辆设置有支持语音命令输入的信息娱乐系统。车辆用户可使用语音命令(诸如设定导航目的地和调节温度)执行各种特征。当前，存在许多不支持用户的身份认证的语音命令系统。不同的用户(例如，车辆所有者和乘客)已被给予相同的语音命令授权。
发明内容
在本公开的一个或多个说明性实施例中，一种车辆包括控制器，所述控制器被编程为：响应于经由传声器检测到来自用户的语音命令和所述用户在所述车辆内部的位置，使用对由摄像机捕获的所述用户的所述位置的图像的面部识别来认证所述用户的身份；并且响应于成功的认证，执行所述语音命令。
在本公开的一个或多个说明性实施例中，一种车辆包括控制器，所述控制器被编程为：响应于检测到车门打开或关闭事件，经由摄像机检测所述车辆的占用情况，并且经由对经由所述摄像机捕获的图像的面部识别来认证第一用户的身份和第二用户的身份；响应于经由传声器接收到来自第一用户的语音命令，分析所述语音命令以基于预定义规则来检测所述语音命令是否依赖于占用情况；并且响应于检测到所述语音命令依赖于占用情况，通过所述第二用户的所述身份来验证是否满足预定义的依赖于占用情况的条件。
在本公开的一个或多个说明性实施例中，一种用于车辆的方法包括：响应于接收到指示即将到来的语音命令的输入，激活全向传声器和摄像机；经由所述传声器接收来自用户的语音命令；检测经由所述传声器接收所述语音命令的方向；经由所述摄像机捕获车厢内部的图像；通过基于从所述传声器接收的所述方向对所述图像的面部识别来认证所述用户的身份；并且响应于成功的认证，执行所述语音命令。
附图说明
为了更好地理解本发明并示出可如何执行本发明，现在将参考附图仅通过非限制性示例来描述其实施例，在附图中：
图1示出本公开的一个实施例的车辆系统的示例性框式拓扑；
图2示出用于本公开的一个实施例的过程的示例性流程图；并且
图3示出用于本公开的另一个实施例的过程的示例性流程图。
具体实施方式
按照需要，本文公开了本发明的详细实施例；然而，应当理解，所公开的实施方案仅仅是可体现为各种形式和替代形式的本发明的示例。附图不一定按比例绘制；一些特征可能会被放大或最小化以示出特定部件的细节。因此，本文中公开的具体结构细节和功能细节不应被解释为是限制性的，而是仅仅作为教导本领域技术人员以不同方式采用本发明的代表性基础。
本公开总体提供多个电路或其他电气装置。所有对电路和其他电气装置以及各自提供的功能的引用均不意图受限于仅涵盖本文所示出和描述的内容。虽然可将特定的标签分配给各种电路或其他电气装置，但是基于所期望的特定类型的电气实现方式，此类电路和其他电气装置可以任何方式彼此组合和/或分开。应认识到，本文所公开的任何电路或其他电气装置可包括任何数量的微处理器、集成电路、存储器装置(例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、或上述存储器的其他合适的变体)以及软件，上述各者彼此协作来执行本文所公开的一个或多个操作。此外，电气装置中的任何一个或多个可被配置来执行体现在非暂时性计算机可读介质中的计算机程序，所述计算机程序被编程来执行任何数量的所公开的功能。
本公开除了其他之外还提出了一种车辆语音命令授权系统。更具体地，本公开提出了一种使用图像识别技术的车辆语音命令授权系统。
参见图1，示出了本公开的一个实施例的车辆系统100的示例性框式拓扑。载具(vehicle)102可包括各种类型的汽车、跨界多功能车(CUV)、运动型多功能车(SUV)、卡车、休闲车(RV)、船、飞机或用于运输人员或货物的其他移动机器。在许多情况下，车辆102可由内燃发动机提供动力。作为另一种可能性，载具(vehicle)102可以是电池电动车辆(BEV)；由内燃发动机和一个或多个电动马达提供动力的混合动力电动车辆(HEV)，诸如串联式混合动力电动车辆(SHEV)、并联式混合动力电动车辆(PHEV)或混联式混合动力电动车辆(PSHEV)；船；飞机或用于运输人员或货物的其他移动机器。作为示例，系统100可包括由密歇根州迪尔伯恩市的福特汽车公司(Ford Motor Company)制造的SYNC系统。应当注意，所示出的系统100仅为示例，并且可使用更多、更少和/或以不同方式定位的元件。
如图1中所示，计算平台104可包括一个或多个处理器112，所述一个或多个处理器112被配置为执行指令、命令和其他程序以支持本文所述的过程。例如，计算平台104可被配置为执行车辆应用程序108的指令以提供诸如导航、警报和无线通信的特征。可使用多种类型的计算机可读存储介质106以非易失性方式保存此类指令和其他数据。计算机可读介质106(也称为处理器可读介质或存储装置)包括参与提供可由计算平台104的处理器112读取的指令或其他数据的任何非暂时性介质(例如，有形介质)。计算机可执行指令可由使用多种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：Java、C、C++、C#、Objective C、Fortran、Pascal、Java Script、Python、Perl和PL/SQL。
计算平台104可设置有允许车辆乘员/用户与计算平台104交互的各种特征。例如，计算平台104可从人机界面(HMI)控件120接收输入，所述控件被配置为提供乘员与车辆102的交互。作为示例，计算平台104可与被配置为调用计算平台104上的功能的一个或多个按钮(未示出)或其他HMI控件(例如，方向盘音频按钮、通话按钮、仪表板控件等)进行交互。
计算平台104还可驱动一个或多个显示器116或以其他方式与其通信，所述一个或多个显示器116被配置为通过视频控制器114向车辆乘员提供视觉输出。在一些情况下，显示器116可以是进一步被配置为经由视频控制器114接收用户触摸输入的触摸屏，而在其他情况下，显示器116可以仅是显示器，而没有触摸输入能力。计算平台104还可驱动一个或多个内部摄像机118或以其他方式与其通信，所述一个或多个内部摄像机118被配置为通过视频控制器114捕获车厢内部的车辆乘员的视频图像。例如，内部摄像机118可面向后地定位在挡风玻璃上，被配置为捕获车辆102的乘员的面部图像。摄像机118可通过被配置为允许摄像机118移动/旋转并聚焦于车厢的具体部分的马达等进一步设置有可移动特征。另外或可替代地，在车辆102是诸如三排SUV的大型车辆的情况下，可使用多个摄像机来捕获不同排中的乘员的面部图像。
计算平台104还可驱动一个或多个扬声器124和传声器126或以其他方式与其通信，所述一个或多个扬声器124和传声器126被配置为通过音频控制器122向车辆乘员提供音频输出并提供来自车辆乘员的音频输入。传声器126可设置有方向检测特征，以用于检测音频输入的方向和/或位置。作为示例，可经由布置在一个或多个传声器总成中的多个声音传感器来实现方向检测特征，所述多个声音传感器被配置为使用音量差和时间延迟来计算声源的方向。例如，响应于检测到用户正在经由传声器126向计算平台104发出语音命令，生成方向信号，所述方向信号被发送到计算平台104以确定用户在车厢内部的位置(例如，驾驶员座椅、右后乘客座椅等)。传声器126可以是单个传声器总成，其位于车厢内部(诸如车厢的中间部分)，以更好地检测语音命令的方向。可替代地，传声器126可包括位于车厢内部不同位置处的多个传声器总成输入传感器。在此情况下，音频控制器122可进一步被配置为处理来自多个传感器的语音输入，并且诸如经由音量等来计算源的方向或位置。
计算平台104可被配置为经由无线连接190与车辆用户/乘员的移动装置140无线通信。移动装置140可以是各种类型的便携式计算装置中的任一种，诸如蜂窝电话、平板电脑、可穿戴装置、智能手表、膝上型计算机、便携式音乐播放器或能够与计算平台104通信的其他装置。无线收发器132可与WiFi控制器128、蓝牙控制器130、射频识别(RFID)控制器134、近场通信(NFC)控制器136以及诸如Zigbee收发器、红外数据协会(IrDA)收发器的其他控制器(未示出)进行通信，并且被配置为与移动装置140的可兼容无线收发器152通信。
移动装置140可设置有处理器148，所述处理器148被配置为执行指令、命令和其他程序以支持诸如导航、电话、无线通信和多媒体处理的过程。移动装置140可设置有无线收发器152，所述无线收发器152与WiFi控制器150、蓝牙控制器154、RFID控制器156、NFC控制器158以及其他控制器(未示出)进行通信，被配置为与计算平台104的无线收发器132通信。
计算平台104可进一步被配置为经由一个或多个车载网络170与各种车辆部件通信。作为一些示例，车载网络170可包括但不限于控制器局域网(CAN)、以太网网络和媒体导向系统传输(MOST)中的一者或多者。
计算平台104可被配置为与远程信息处理控制单元(TCU)174通信，所述远程信息处理控制单元(TCU)174被配置为使用调制解调器172通过无线连接192来控制车辆102与通信网络188之间的远程通信。通信网络188可以是实现远程服务器186与计算平台104之间的通信的任何类型的无线网络，诸如蜂窝网络。应当注意，在整个本公开内容中，远程服务器186被用作通用术语并可以是指涉及多个服务器、计算机、装置等的任何基于云的服务。计算平台104可进一步被配置为与一个或多个座椅传感器176通信，所述一个或多个座椅传感器176被配置为感测和测量一个或多个车辆座椅的占用情况。座椅传感器176可设置有重量测量特征，所述重量测量特征允许计算平台104确定或估计座椅上的乘客的类型(例如，儿童或成人)。座椅传感器176可另外接收安全带信息，诸如安全带是否扣紧或者安全带的延伸长度。座椅传感器176还可接收指示汽车座椅是否附接到闩锁夹具的信息或指示儿童汽车座椅在就座位置中的放置情况的其他信息。另外或可替代地，座椅传感器176可经由被配置为在不利用座椅的情况下(例如，针对公共汽车的站立乘客)检测车辆102内部或附近的一个或多个车辆用户的存在的任何电动/机械传感器来实现。
参见图2，示出了用于本公开的一个实施例的过程200的流程图。继续参考图1，在操作202处，计算平台104检测指示由用户输入的语音命令的输入。可经由与HMI控件120相关联的一个或多个按钮(未示出)来接收输入。另外或可替代地，输入可以是预定义的短语(诸如“语音命令”)，并且使用语音识别技术经由传声器126主动接收。响应于接收到输入，在操作204处，计算平台104激活内部摄像机118和传声器126以从用户接收音频和视频输入。在操作206处，计算平台104接收从用户发出的语音命令并捕获车辆102的车厢的一个或多个图像。如上文所讨论的，传声器126可设置有方向检测特征，并且在操作208处，计算平台104使用来自传声器126和/或音频控制器122的方向信息来检测并确定发出语音命令的方向或位置。在摄像机118为可移动的情况下，计算平台可进一步在语音命令源的方向上移动摄像机118或聚焦于语音命令源的位置以捕获图像。
响应于检测到语音命令的源的位置/方向，在操作210处，计算平台104使用源的位置/方向来对在车厢内部捕获的图像执行面部识别。摄像机可响应于检测到语音命令而在车厢内部捕获车辆的多个用户/乘员的一个或多个图片。使用语音命令的源的位置/方向，计算平台104可以能够聚焦于车厢的具体位置以执行面部识别。授权用户的面部图像先前可例如作为车辆数据110的一部分记录并存储在存储装置106中。通过使用图像处理和面部识别技术将经由内部摄像机118捕获的面部图像与先前存储的图像进行比较，计算平台104可确定发出语音命令的用户是否被授权。另外或可替代地，在操作212处，计算平台104对经由传声器126接收的语音命令进一步执行声纹识别分析，以进一步确定用户的身份。授权用户的声纹可预录并存储在存储装置106中。在操作214处，如果计算平台104通过面部识别和/或声纹识别确定语音命令来自未授权用户，则过程前进到操作216，并且计算平台拒绝语音命令。可向车辆用户提供通知拒绝语音命令的反馈。反之，如果计算平台104检测到语音命令来自诸如先前注册的车辆所有者的授权用户，则过程前进到操作218，并且计算平台104执行语音命令并向用户提供反馈。
过程200的操作可应用于各种情况。例如，多个乘员/用户可共乘车辆102。在这些用户中，坐在驾驶员座椅上的驾驶员可以是某些语音命令(诸如播放消息或加载电子邮件)的授权用户，而坐在右后座椅处的乘客是此类命令的未授权用户。例如，当计算平台104检测到诸如“播放我的消息”的语音命令时，重要的是确定发出此类命令的用户的源/身份，并且出于隐私和安全方面的考虑在执行所述命令之前验证用户是否被授权这样做。
当车厢中存在多个用户时，出于识别的目的，仅面部识别可能不足够，因为可能仍不清楚哪个用户发出了语音命令。因此，在这种情况下，了解发出语音命令的用户的位置可能会有所帮助。响应于确定发出语音命令的用户坐在车厢内部的位置，计算平台104可聚焦于该具体位置以执行面部识别。例如，如果“播放我的消息”语音命令是由坐在右后座椅上的未授权乘客发出的，则计算平台104可经由传声器126检测他/她的位置，并且仅对右后座椅乘客的图像执行面部识别。在这种情况下，即使此类语音命令的授权驾驶员也在经由摄像机118捕获的图像中，计算平台104也可响应于认证失败而拒绝执行语音命令。然而，如果命令是由驾驶员发出的，则根据相同原理认证将成功，并且计算平台104可继续执行语音命令。
另外或可替代地，根据相同原理，过程200可应用于不同场景。例如，车辆102可设置有多区供暖、通风和空气调节(暖通空调(HVAC))系统，所述HVAC系统被配置为允许不同座椅上的用户单独调整温度。响应于接收到诸如“将温度设定到70”的语音命令，计算平台104可识别是哪个用户发出了此类语音命令，并且响应于成功的认证而仅将温度调整到这个用户所位于的具体温度区。这个特征在诸如以下情况下可能特别有用：父母可能不允许儿童乘客将温度设定为低于一定程度(例如，70华氏度)。父母可预先配置计算平台104以将最低温度与儿童乘客相关联，而不管儿童在哪个座椅中。因此，即使儿童乘客在乘车过程中更换座椅并发出语音命令，计算平台104仍可识别儿童并相应地控制温度设定。
参见图3，示出了本公开的另一个实施例的过程300。在操作302处，计算平台104检测车辆102的占用情况，包括关于车辆中有多少乘员以及每个乘员的位置的信息。每当一个或多个乘员进入或离开车辆102并且/或者车辆102开始行驶时，就可执行这项操作。可经由各种手段执行检测，所述手段包括但不限于来自一个或多个座椅传感器176的信号、来自传声器126的语音方向信号和/或经由内部摄像机118捕获的图像。响应于检测到车辆102的占用情况，在操作304处，计算平台104识别在车辆102的车厢内检测到的每个乘员。可利用面部识别技术经由通过内部摄像机118捕获的图像来执行识别。另外，计算平台104可经由与经由无线连接190连接到计算平台104的移动装置140相关联的用户配置文件来识别车辆102的一个或多个乘员。如上文所讨论的，移动装置140可先前向与特定用户相关联的计算平台104进行注册，从而创建例如分别作为车辆数据110和/或移动数据146的一部分存储在存储装置106和/或移动存储装置142中的用户配置文件。另外或替代地，可通过向服务器186发送用户信息(例如，用户面部图像和/或用户配置文件)以及从服务器186接收识别信息来执行识别。
在操作306处，计算平台104经由传声器126从车辆102的用户接收语音命令。作为响应，计算平台104在操作308处分析语音命令以获得各种信息，诸如命令的源的位置/方向、语音命令的内容、语音命令是否需要授权和/或语音命令是否依赖于占用情况。另外，计算平台104可进一步分析语音命令的源的声纹以确定源的真实性。例如，计算平台104可被配置为允许针对不同语音命令的不同级别的授权。诸如“当前时间是什么”的语音命令可被设定为通用级别的授权，使得不需要授权。另一方面，如上文所讨论的诸如“播放消息”的语音命令可能需要一定级别的授权。
在操作310处，响应于检测到语音命令需要授权，过程前进到操作312。反之，如果不需要授权，则过程前进到操作320以直接执行语音命令。在操作312处，计算平台104使用由操作304造成的识别确定是否已针对此类具体语音命令对发出语音命令的用户进行授权。如果用户未被授权，则过程前进到操作318，并且计算平台104拒绝语音命令。反之，如果用户已被授权，则过程从操作312前进到操作314，以进一步确定该具体授权用户的具体命令是否依赖于占用情况。作为示例，父母车辆所有者可仅在父母存在于车辆中时授权儿童乘客收听一些具体的无线电频道或播放一些预定义的视频/音频。并且父母可以此方式预配置计算平台104。在这种情况下，操作314对于做出此类确定变得有用。如果操作314的答案为“否”，则过程前进到操作320。反之，响应于检测到用户的语音命令依赖于占用情况，过程前进到操作316，并且计算平台104检测是否满足语音命令的占用条件。遵循以上示例，如果计算平台104检测到父母在车辆102内部，则满足占用条件，并且过程前进到操作320以进行执行。反之，过程前进到操作318以拒绝语音命令。
虽然上文描述了示例性实施例，但并不意图使这些实施例描述本发明的所有可能的形式。相反，本说明书中所使用的措词是描述性而非限制性的措词，并且应当理解，可在不脱离本发明的精神和范围的情况下做出各种改变。另外，可组合各种实现实施例的特征以形成本发明的另外实施例。
根据本发明的一个实施例，所述控制器进一步被编程为：控制一个或多个摄像机以捕获车厢的一个或多个图像；并且利用对由所述一个或多个摄像机捕获的所述一个或多个图像的面部识别来认证所述第二车辆用户的所述身份。
根据一个实施例，所述控制器进一步被编程为：通过经由TCU向服务器发送所述第二车辆用户的用户配置文件来认证所述第二车辆用户的所述身份。
根据一个实施例，所述控制器进一步被编程为：通过经由TCU向服务器发送所述用户配置文件以及从所述服务器接收认证来认证所述第二用户的所述身份。
根据一个实施例，本发明的进一步特征在于：响应于基于预定义规则检测到所述语音命令依赖于占用情况，通过对所述图像的面部识别来认证第二用户的身份；并且执行所述语音命令。
根据一个实施例，上述发明的进一步特征在于：通过对所接收到的所述语音命令的声纹分析来认证所述用户的所述身份。

Claims (15)

1.一种车辆，其包括：
控制器，所述控制器被编程为
响应于经由传声器检测到来自用户的语音命令和所述用户在所述车辆内部的位置，使用对由摄像机捕获的所述用户的所述位置的图像的面部识别来认证所述用户的身份；并且
响应于成功的认证，执行所述语音命令。
2.如权利要求1所述的车辆，其中所述控制器进一步被编程为使用对所接收到的所述语音命令的声纹分析来认证所述用户的所述身份。
3.如权利要求1所述的车辆，其中所述控制器进一步被编程为使用来自座椅传感器的信号来检测所述用户的所述位置。
4.如权利要求1所述的车辆，其中所述控制器进一步被编程为经由无线连接到所述车辆且具有所述用户的用户配置文件的移动装置来认证所述用户的所述身份。
5.如权利要求1所述的车辆，其中所述控制器进一步被编程为：通过远程信息处理控制单元(TCU)经由通信网络向服务器发送所述用户的所述图像，并且作为响应从所述服务器接收所述用户的认证。
6.如权利要求1所述的车辆，其中所述控制器进一步被编程为分析所述语音命令以检测是否需要认证。
7.如权利要求1所述的车辆，其中所述控制器进一步被编程为基于所述语音命令和所述用户的所述身份检测所述语音命令是否依赖于占用情况。
8.如权利要求7所述的车辆，其中所述控制器进一步被编程为
响应于检测到所述语音命令依赖于占用情况，认证第二车辆用户的身份以确认能够执行所述语音命令；
控制一个或多个摄像机以捕获车厢的一个或多个图像；
利用对由所述一个或多个摄像机捕获的所述一个或多个图像的面部识别来认证所述第二车辆用户的所述身份；并且
通过经由TCU向服务器发送所述第二车辆用户的用户配置文件来认证所述第二车辆用户的所述身份。
9.如权利要求1所述的车辆，其中所述控制器进一步被编程为朝向发出所述语音命令的所述用户的所述位置移动所述摄像机。
10.一种车辆，其包括：
控制器，所述控制器被编程为
响应于检测到车门打开或关闭事件，经由摄像机检测所述车辆的占用情况，并且通过对经由所述摄像机捕获的图像的面部识别来认证第一用户的身份和第二用户的身份；
响应于经由传声器接收到来自第一用户的语音命令，分析所述语音命令以基于预定义规则来检测所述语音命令是否依赖于占用情况；并且
响应于检测到所述语音命令依赖于占用情况，通过所述第二用户的所述身份来验证是否满足预定义的依赖于占用情况的条件。
11.如权利要求10所述的车辆，其中所述控制器进一步被编程为经由座椅传感器检测所述车辆的所述占用情况。
12.如权利要求10所述的车辆，其中所述控制器进一步被编程为
利用无线连接到所述车辆的用户配置文件经由移动装置来认证所述第二用户的所述身份；并且
通过经由TCU向服务器发送所述用户配置文件以及从所述服务器接收认证来认证所述第二用户的所述身份。
13.如权利要求10所述的车辆，其中所述控制器进一步被编程为：经由从设置有全向特征的所述传声器发送的位置信号在所述第一用户和所述第二用户中识别发出所述语音命令的源用户。
14.一种用于车辆的方法，其包括：
响应于接收到指示即将到来的语音命令的输入，激活全向传声器和摄像机；
经由所述传声器接收来自用户的语音命令；
检测经由所述传声器接收所述语音命令的方向；
经由所述摄像机捕获车厢内部的图像；
通过基于从所述传声器接收的所述方向对所述图像的面部识别来认证所述用户的身份；并且
响应于成功的认证，执行所述语音命令。
15.如权利要求14所述的方法，其还包括：
旋转所述摄像机以聚焦于从所述传声器接收的所述方向；
响应于基于预定义规则检测到所述语音命令依赖于占用情况，通过对所述图像的面部识别来认证第二用户的身份；
通过对所接收到的所述语音命令的声纹分析来认证所述用户的所述身份；并且
执行所述语音命令。
CN201911019693.8A 2018-10-26 2019-10-24 车载数字辅助认证 Pending CN111098859A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/171,762 2018-10-26
US16/171,762 US10861457B2 (en) 2018-10-26 2018-10-26 Vehicle digital assistant authentication

Publications (1)

Publication Number Publication Date
CN111098859A true CN111098859A (zh) 2020-05-05

Family

ID=70327536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019693.8A Pending CN111098859A (zh) 2018-10-26 2019-10-24 车载数字辅助认证

Country Status (3)

Country Link
US (1) US10861457B2 (zh)
CN (1) CN111098859A (zh)
DE (1) DE102019128797A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599366A (zh) * 2020-05-19 2020-08-28 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11167693B2 (en) * 2018-11-19 2021-11-09 Honda Motor Co., Ltd. Vehicle attention system and method
EP3722158A1 (en) * 2019-04-10 2020-10-14 Volvo Car Corporation A voice assistant system
US11743719B2 (en) * 2019-10-07 2023-08-29 Denso Corporation System and method for authenticating an occupant of a vehicle
MX2022010696A (es) * 2020-02-29 2022-09-27 Huawei Tech Co Ltd Metodo, sistema y aparato de desbloqueo del vehiculo, vehiculo y medio de almacenamiento.
US11590929B2 (en) * 2020-05-05 2023-02-28 Nvidia Corporation Systems and methods for performing commands in a vehicle using speech and image recognition
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法
CN114765027A (zh) * 2021-01-15 2022-07-19 沃尔沃汽车公司 用于车辆语音控制的控制设备、车载系统和方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
US6567775B1 (en) * 2000-04-26 2003-05-20 International Business Machines Corporation Fusion of audio and video based speaker identification for multimedia information access
US7472063B2 (en) * 2002-12-19 2008-12-30 Intel Corporation Audio-visual feature fusion and support vector machine useful for continuous speech recognition
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
JP2005010847A (ja) 2003-06-16 2005-01-13 Sony Corp 携帯情報端末装置、その所有者認証方法及びその所有者認証システム
WO2005106841A1 (en) * 2004-04-28 2005-11-10 Koninklijke Philips Electronics N.V. Adaptive beamformer, sidelobe canceller, handsfree speech communication device
JP5134876B2 (ja) * 2007-07-11 2013-01-30 株式会社日立製作所 音声通信装置及び音声通信方法並びにプログラム
US20090055180A1 (en) * 2007-08-23 2009-02-26 Coon Bradley S System and method for optimizing speech recognition in a vehicle
US8219387B2 (en) * 2007-12-10 2012-07-10 Microsoft Corporation Identifying far-end sound
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP2011186351A (ja) * 2010-03-11 2011-09-22 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US8700392B1 (en) * 2010-09-10 2014-04-15 Amazon Technologies, Inc. Speech-inclusive device interfaces
US10572123B2 (en) * 2011-04-22 2020-02-25 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
US10289288B2 (en) * 2011-04-22 2019-05-14 Emerging Automotive, Llc Vehicle systems for providing access to vehicle controls, functions, environment and applications to guests/passengers via mobile devices
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US8913103B1 (en) * 2012-02-01 2014-12-16 Google Inc. Method and apparatus for focus-of-attention control
US9536361B2 (en) * 2012-03-14 2017-01-03 Autoconnect Holdings Llc Universal vehicle notification system
US9922646B1 (en) * 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
US9008641B2 (en) * 2012-12-27 2015-04-14 Intel Corporation Detecting a user-to-wireless device association in a vehicle
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9680934B2 (en) * 2013-07-17 2017-06-13 Ford Global Technologies, Llc Vehicle communication channel management
US9892745B2 (en) * 2013-08-23 2018-02-13 At&T Intellectual Property I, L.P. Augmented multi-tier classifier for multi-modal voice activity detection
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US10534623B2 (en) 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9582246B2 (en) * 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
US9373200B2 (en) * 2014-06-06 2016-06-21 Vivint, Inc. Monitoring vehicle usage
JP6464449B2 (ja) * 2014-08-29 2019-02-06 本田技研工業株式会社 音源分離装置、及び音源分離方法
US20160100092A1 (en) * 2014-10-01 2016-04-07 Fortemedia, Inc. Object tracking device and tracking method thereof
US9904775B2 (en) * 2014-10-31 2018-02-27 The Toronto-Dominion Bank Systems and methods for authenticating user identity based on user-defined image data
US9881610B2 (en) * 2014-11-13 2018-01-30 International Business Machines Corporation Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities
US9741342B2 (en) * 2014-11-26 2017-08-22 Panasonic Intellectual Property Corporation Of America Method and apparatus for recognizing speech by lip reading
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US20160267911A1 (en) * 2015-03-13 2016-09-15 Magna Mirrors Of America, Inc. Vehicle voice acquisition system with microphone and optical sensor
DE102015210430A1 (de) * 2015-06-08 2016-12-08 Robert Bosch Gmbh Verfahren zum Erkennen eines Sprachkontexts für eine Sprachsteuerung, Verfahren zum Ermitteln eines Sprachsteuersignals für eine Sprachsteuerung und Vorrichtung zum Ausführen der Verfahren
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
US9764694B2 (en) * 2015-10-27 2017-09-19 Thunder Power Hong Kong Ltd. Intelligent rear-view mirror system
US9832583B2 (en) * 2015-11-10 2017-11-28 Avaya Inc. Enhancement of audio captured by multiple microphones at unspecified positions
US11437020B2 (en) * 2016-02-10 2022-09-06 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
EP3239981B1 (en) * 2016-04-26 2018-12-12 Nokia Technologies Oy Methods, apparatuses and computer programs relating to modification of a characteristic associated with a separated audio signal
US10089071B2 (en) * 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US11034362B2 (en) 2016-07-07 2021-06-15 Harman International Industries, Incorporated Portable personalization
US10152969B2 (en) * 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10026403B2 (en) * 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
JP6631445B2 (ja) * 2016-09-09 2020-01-15 トヨタ自動車株式会社 車両用情報提示装置
US10403279B2 (en) * 2016-12-21 2019-09-03 Avnera Corporation Low-power, always-listening, voice command detection and capture
US20180190282A1 (en) * 2016-12-30 2018-07-05 Qualcomm Incorporated In-vehicle voice command control
EP3580750A4 (en) * 2017-02-10 2019-12-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR MANAGING VOICE-BASED INTERACTION IN AN INTERNET-THE-THINGS NETWORK SYSTEM
US20180357040A1 (en) * 2017-06-09 2018-12-13 Mitsubishi Electric Automotive America, Inc. In-vehicle infotainment with multi-modal interface
US10416671B2 (en) * 2017-07-11 2019-09-17 Waymo Llc Methods and systems for vehicle occupancy confirmation
US20190037363A1 (en) * 2017-07-31 2019-01-31 GM Global Technology Operations LLC Vehicle based acoustic zoning system for smartphones
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US10374816B1 (en) * 2017-12-13 2019-08-06 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US10699572B2 (en) * 2018-04-20 2020-06-30 Carrier Corporation Passenger counting for a transportation system
US20190355352A1 (en) * 2018-05-18 2019-11-21 Honda Motor Co., Ltd. Voice and conversation recognition system
DK201870683A1 (en) * 2018-07-05 2020-05-25 Aptiv Technologies Limited IDENTIFYING AND AUTHENTICATING AUTONOMOUS VEHICLES AND PASSENGERS

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599366A (zh) * 2020-05-19 2020-08-28 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置
CN111599366B (zh) * 2020-05-19 2024-04-12 科大讯飞股份有限公司 一种车载多音区语音处理的方法和相关装置

Also Published As

Publication number Publication date
US20200135190A1 (en) 2020-04-30
US10861457B2 (en) 2020-12-08
DE102019128797A1 (de) 2020-04-30

Similar Documents

Publication Publication Date Title
US10861457B2 (en) Vehicle digital assistant authentication
US11465631B2 (en) Personalization system and method for a vehicle based on spatial locations of occupants' body portions
CN107688866B (zh) 使用智能模块的乘车共享系统和方法
US10032453B2 (en) System for providing occupant-specific acoustic functions in a vehicle of transportation
JP6399064B2 (ja) ユーザ特定システム
CN107054290B (zh) 用于安全功能访问的个人装置位置认证
US20170327082A1 (en) End-to-end accommodation functionality for passengers of fully autonomous shared or taxi-service vehicles
US20170103592A1 (en) Automated door and gate lock/unlock
CN107027171B (zh) 用于区域配置的系统和方法
CN107222230B (zh) 由物理信号屏障辅助的利用信号强度数据的乘客区域检测
US11385316B2 (en) Systems and methods for determining the position of a wireless access device within a vehicle
US20200062237A1 (en) Vehicle User Experience Enhancement
CN107219514B (zh) 车辆座椅区域分配冲突的解决
CN108597508B (zh) 用户识别方法、用户识别装置和电子设备
US20230202413A1 (en) Vehicle identity access management
CN113423597B (zh) 车载显示装置的控制方法、控制装置、电子设备、车辆
CN106043196A (zh) 针对乘客区域的约束特性配置
US10595173B2 (en) System and method for vehicle paperwork integration
CN111585945A (zh) 车辆数据保护
CN110062330A (zh) 减少由蜂窝设备引起的驾驶员注意力分散
GB2525039A (en) An audio-visual communications system integrated into a vehicle
CN111717083A (zh) 一种车辆交互方法和一种车辆
US10688885B2 (en) Vehicle seat memory from remote device
JP2009208592A (ja) 移動体搭載機器設定システム、及び移動体搭載機器設定システム用サーバ装置
CN111902864A (zh) 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination