CN108696794A - 自适应乘员会话感知系统 - Google Patents

自适应乘员会话感知系统 Download PDF

Info

Publication number
CN108696794A
CN108696794A CN201810251953.3A CN201810251953A CN108696794A CN 108696794 A CN108696794 A CN 108696794A CN 201810251953 A CN201810251953 A CN 201810251953A CN 108696794 A CN108696794 A CN 108696794A
Authority
CN
China
Prior art keywords
vehicle
sensory perceptual
user profile
driver
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810251953.3A
Other languages
English (en)
Other versions
CN108696794B (zh
Inventor
卡瓦库·O·普拉卡什-阿桑特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108696794A publication Critical patent/CN108696794A/zh
Application granted granted Critical
Publication of CN108696794B publication Critical patent/CN108696794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/30—Auxiliary equipments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Atmospheric Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种动态会话感知系统，包括捕获车辆内部乘客舱内的声音数据的至少一个麦克风。内部会话阈值分析器(ICTA)分析预定频率范围内的声音数据。ICTA确定预定频率范围内的声音数据是否超过阈值。当声音数据超过阈值时，灵敏度决策靶向单元(SDT)重新配置与用户配置文件相关的车辆设置。利用相应的重新配置的车辆设置来响应于车辆系统的致动而启用车辆系统的驾驶员警觉性操作。

Description

自适应乘员会话感知系统
技术领域
本发明总体上涉及动态驾驶员感知系统。
背景技术
当年轻驾驶员、老年驾驶员或新手驾驶员驾驶车辆时，驾驶员必须特别注意并且不要忽略驾驶任务和驾驶车辆时的其他外部条件。诸如大声音乐的各种事件以及车内的乘员可能会导致驾驶员分心。例如，大声或激烈的谈话可能导致不仅在驾驶任务上注意力不能集中，而且可能妨碍驾驶员对由车辆输出的车辆警告作出快速反应，并且当进行需要驾驶员更多的关注和快速反应的操纵时更是如此。首先，对于注意力可能成为问题或容易分心的驾驶员而言，众所周知，其他乘员(例如可能发生激烈的对话的青少年)的存在可能会对驾驶员的注意力和感知产生不利影响。随着激烈的对话继续进行，驾驶员不要被这些对话分散注意力且重新关注驾驶事件是很重要的。有一些已知的技术可以帮助驾驶员重新获得对行驶道路的关注和注意力，但是这样的系统通常会将所有驾驶者视为相同，并且可能会实施相同的技术。
发明内容
本文描述的实施例的优点是用于分析与车辆内的对话声音有关的特定频率范围的内部会话阈值分析器(Interior Conversational Threshold Analyzer，ICTA)系统。ICTA分析在预定频带内的对话声音的各个声音数据，以确定分析的声音数据是否超过预定阈值，以确定驾驶员可能参与可能分散驾驶者对驾驶任务的专心程度的对话。本文描述的系统和技术允许负责人员(优选地不是驾驶员)在ICTA内为驾驶员设置用户配置文件，使得标准的车辆子系统设置可以针对该驾驶员定制以帮助保持驾驶员专注于驾驶任务。除了分析来自各个频率范围的声音数据之外，背景噪声也从所捕获的声音数据中移除。如果分析的声音数据超过预定阈值，则设置标志并且灵敏度决策靶向单元利用用户配置文件来为驾驶员个性化车辆灵敏度设置。因此，警告消息提供给驾驶员的时间可以被修改，并且延迟某些设备(如电话和其他消息设备)的连接。诸如HMI(人机界面，Human Machine Interface)、面部识别或将信号传送到车辆的密钥卡装置(fob device)的各种装置可以用于识别车辆的驾驶员，使得与驾驶员相关联的用户配置文件能够用于驾驶事件。
一实施例设想了一种动态会话感知系统，其包括捕获车辆的内部乘客舱内的声音数据的至少一个麦克风。内部会话阈值分析器(ICTA)分析预定频率范围内的声音数据。ICTA确定预定频率范围内的声音数据是否超过阈值。灵敏度决策靶向单元(SensitivityDecision Targeting，SDT)当声音数据超过阈值时重新配置与用户配置文件相关的车辆设置。利用相应的重新配置的车辆设置来响应于车辆系统的致动而启用车辆系统的驾驶员警觉性操作。
一实施例设想了一种包括捕获车辆乘客舱内的声音数据的麦克风的系统。阈值分析器分析预定频率范围内的声音数据以确定声音数据是否超过阈值。当声音数据超过阈值时，灵敏度决策靶向单元重新配置与用户配置文件相关联的车辆设置。响应于车辆系统的致动，重新配置的车辆设置启用车辆系统的驾驶员警觉性操作。
根据本发明，提供一种动态会话感知系统，包含：
至少一个麦克风，该至少一个麦克风捕获车辆的内部乘客舱内的声音数据；
内部会话阈值分析器(ICTA)，该内部会话阈值分析器分析预定频率范围内的声音数据，该ICTA确定预定频率范围内的声音数据是否超过阈值；
灵敏度决策靶向(SDT)系统，该灵敏度决策靶向(SDT)系统当声音数据超过阈值时重新配置与用户配置文件相关联的车辆设置；
其中相应的重新配置的车辆设置被用于响应于车辆系统的致动而启用车辆系统的驾驶员警觉性操作。
根据本发明的一个实施例，其中由ICTA分析的预定频率范围涉及由车辆的内部乘客舱内的乘员讲话的会话声音。
根据本发明的一个实施例，其中ICTA包括宽带滤波器，以过滤来自声音数据的背景噪声。
根据本发明的一个实施例，其中背景噪声包括多媒体声音数据。
根据本发明的一个实施例，其中背景噪声包括环境声音数据。
根据本发明的一个实施例，其中用户配置文件存储在ICTA的存储器。
根据本发明的一个实施例，其中用户配置文件存储在云中。
根据本发明的一个实施例，其中用户配置文件包括用于修改车辆设置的可配置决策规则。
根据本发明的一个实施例，其中每个用户配置文件与相应用户相关联，其中每个用户配置文件包括为相应用户个性化的一组自定义决策规则。
根据本发明的一个实施例，其中SDT单元访问所识别的驾驶员的用户配置文件并且实施在用户配置文件内的用于自适应地修改车辆设置的决策规则。
根据本发明的一个实施例，其中车辆系统包括碰撞警告系统，并且其中在用户配置文件内的用于自适应地修改车辆设置的决策规则包括与出厂配置的设置相比更早地致动碰撞警告。
根据本发明的一个实施例，其中车辆系统包括车道偏离警告系统，并且其中在用户配置文件内的用于自适应地修改车辆设置的决策规则包括与出厂配置的设置相比更早地致动车道偏离警告。
根据本发明的一个实施例，其中车辆系统包括连接设置，并且其中在用户配置文件内的用于自适应地修改连接设置的决策规则包括延迟传入电话呼叫的连接。
根据本发明的一个实施例，其中车辆系统包括连接设置，并且其中在用户配置文件内的用于自适应地修改连接设置的决策规则包括延迟传入消息的连接。
根据本发明的一个实施例，其中车辆系统包括连接设置，并且其中在用户配置文件内的用于自适应地修改该设置的决策规则包括降低车辆多媒体设备的音量设置。
根据本发明的一个实施例，该动态会话感知系统还包括用于识别车辆驾驶员的驾驶员识别装置。
根据本发明的一个实施例，其中驾驶员识别装置包括人机界面装置，在人机界面装置中，用户手动地选择驾驶员识别。
根据本发明的一个实施例，其中驾驶员识别装置包括密钥卡装置，其中密钥卡装置向车辆发送识别用户的信号。
根据本发明的一个实施例，其中驾驶员识别装置包括用于识别驾驶员的面部识别装置。
根据本发明，提供一种系统，包含：
麦克风，该麦克风捕获车辆乘客舱内的声音数据；
阈值分析器，该阈值分析器分析预定频率范围内的声音数据以确定声音数据是否超过阈值；
灵敏度决策靶向单元，该灵敏度决策靶向单元当声音数据超过阈值时重新配置与用户配置文件相关联的车辆设置，其中重新配置的车辆设置响应于车辆系统的致动而启用车辆系统的驾驶员警觉性操作。
附图说明
图1是自适应乘员会话感知系统的框图；
图2示出了离散时间的麦克风电压输出的示例性曲线图；
图3示出声音能量分布图的示例性曲线图；
图4示出了会话感知系统的操作流程的方法的流程图。
具体实施方式
在图1中示出了自适应乘员会话感知系统10的框图。自适应乘员会话感知系统10包括自适应地用于修改车辆驾驶员辅助系统20以帮助驾驶员保持对行驶道路的关注的至少一个内部麦克风12、内部会话阈值分析器(ICTA)系统14、灵敏度决策靶向(SDT)系统16、数据存储系统18。
内部麦克风12设置在车辆的内部乘客舱内，用于捕捉其中的会话声音。内部麦克风12捕获内部乘客舱内的声音数据并且声音数据被传送到ICTA 14。或者，数据存储系统18可以包括车载存储装置或无线连接到车辆的远程云系统。
ICTA 14包括处理器，该处理器确定驾驶员和其他乘员是否参与大声激情的谈话。ICTA 14基于所捕获的声音数据来计算作为车辆的内部乘客舱内的特定特征噪声级别的对话声音能量级别，并且确定声音级别何时超过相应阈值，以使得条件被标记用于自适应地修改车辆驾驶员辅助系统20来协助驾驶员保持专注于行驶道路。ICTA 14从内部麦克风12获得捕获的声音，并将其分析集中在相应的频段上，该相应的频段包括在与车辆内的驾驶员和其他乘员的预期通信相关联的相应频率范围内的那些声音特性。ICTA 14进一步包括用于滤除背景噪声以将背景噪声从车辆乘员的会话声音隔离的宽带滤波器。被滤除的背景噪声可以包括但不限于除乘员声音之外的环境内部噪声(诸如车辆产生的声音)、外部环境声音和多媒体声音。
自适应乘员会话感知系统10还可以包括用于识别驾驶员的驾驶员识别装置22，使得存储在存储器中的相关联的用户配置文件可以由ICTA 14和SDT 16访问以供使用。驾驶员界面识别装置22可以包括但不限于人机界面(HMI)、密钥卡、乘员或面部识别装置或生物特征感测装置。此外，所描述的一个或多个驾驶员识别装置可以协同使用以识别驾驶员。
图2示出了由内部麦克风12输出的离散时间电压的示例性曲线图。Y轴代表电压，并且x轴代表一段时间内的多个样本。ICTA 14基于图2中的时间电压曲线确定如图3所示的能量分布。Y轴代表功率谱密度(Power Spectral Density，PSD)且x轴代表频率。基于PSD图的ICTA14在一段时间内执行相关频率下的输出的聚合，以确定驾驶员和乘员是否参与了可能导致驾驶员对驾驶任务缺乏专心的大声激情的对话。
ICTA 14设置由以下表达式表示的ICTA_标记(ICTA_flag)：
其中ICTA(k)是瞬时积累的能量，ICTAT代表ICTA阈值。
如果能量大于预定阈值，则标记被传送到SDT系统16。SDT 16是为驾驶员(并且更具体地，是新手驾驶员或老年驾驶员)提供个性化车辆系统设置的子系统。SDT 16实施决策规则来确定相关的警告提醒和/或子系统修改的激活。提醒可以包括视觉警告、声音警告或触觉警告。子系统修改可以包括但不限于延迟与驾驶员的连接通信、提供较早的碰撞(例如，碰撞警告系统)和车道偏离警告时间(例如车道偏离警告系统)。SDT 16基于预定的配置文件为驾驶员个性化车辆灵敏度设置。也就是说，每个选中的驾驶员，尤其是新手驾驶员(例如那些驾驶经验最少的驾驶员)可以具有在SDT 16中设置的用户配置文件。用户配置文件可以由负责人员(例如父母)设置，该设置是当系统检测到内部乘客舱内的对话噪声已经超过相应阈值(该阈值是驾驶员没有全面关注驾驶任务的指示)时，修改与驾驶员警觉性操作和车辆子系统的其他灵敏度设置有关的警告的自定义个人设置。当ICTA 14已经标记超过通信噪声阈值的条件时，SDT 16查找驾驶员的配置文件并且确定哪些车辆子系统设置需要修改，以便与出厂设置相比更早地触发警告或延迟子系统致动。例如，如果前向碰撞警告需要致动，则SDT 16可以通过提供比常规配置更早地通知给驾驶员碰撞和车道偏离警告来指示适当的子系统以增加警告时间。配置用户配置文件的负责人员可能需要基于车辆与感应对象之间的距离或基于碰撞时间提前触发警告，以便驾驶员有更多时间作出反应。其他配置可以包括延迟输入连接，包括但不限于延迟传入电话呼叫/消息的连接或者降低当前输出音频的多媒体设备的音量。
SDT 16实施决策规则以确定相关警告提醒的激活。一般规则的示例可以是以下形式：
若(ICTAflag为xi且驾驶员类型是zi)
则SDT_值＝mi
此处，
ICTA_标记:1-频繁的内部对话大于可调阈值；
0-最小对话
驾驶员类型:1–新手、老年；0-普通
SDT_值:mi＝(1,2,或0).
此处，
1：延迟输入连接信息；
2：更早的辅助系统警告；以及
0：无操作。
图4示出了对话感知系统的操作流程的方法的流程图。在框30中，启用该技术监测车辆内部乘客舱内的状况。
在框31中，通过驾驶员输入其识别信息来识别驾驶员或车辆系统通过各种技术来识别驾驶员，该各种技术包括但不限于乘员检测、RFID(Radio FrequencyIdentification，射频识别)标签、生物测量感测、面部识别、我的钥匙(MyKey)或钥匙扣(keyfob)。
在框32中，车辆内部声音信息、连接数据、车辆和驾驶员信息从车辆内存存储器或诸如云之类的其他内存存储器获得。
在框33中，一个或多个内部麦克风捕捉在车辆的内部乘客舱内的声音数据。
在框34中，ICTA分析在与内部乘客舱内的乘员声音有关的相应频率范围处的所采集的声音数据，并且也从该声音数据中过滤背景噪声。ICTA计算对话声音能量级别并为SDT确定相关的决策标志(ICTA_值)。
在框35中，作出ICTA_值是否大于阈值的确定。如果作出的确定是ICTA_值不大于阈值，则程序返回到框33以监测内部乘客舱内的声音数据。如果作出的确定是ICTA_值大于阈值，则程序进行到框36。
在框36中，SDT实施针对所识别的驾驶员个性化的决策规则，并且基于驾驶员的配置文件确定与驾驶员相关联的激活设置。与驾驶员相关的各个激活设置将基于驾驶员的配置文件从其标准设置中动态修改。
在框37中，车辆系统和连接设置被实时调整并且相应地被致动，只要相应的车辆系统或连接变得被致动并且驾驶员警觉性操作需要相应车辆系统的致动。
尽管已经详细描述了本发明的某些实施方式，但是本发明所属领域的技术人员将认识到用于实施由以下权利要求限定的本发明的各种替代设计和实施方式。

Claims (16)

1.一种动态会话感知系统，包含：
至少一个麦克风，所述至少一个麦克风捕获车辆的内部乘客舱内的声音数据；
内部会话阈值分析器(ICTA)，所述内部会话阈值分析器分析预定频率范围内的声音数据，所述ICTA确定所述预定频率范围内的所述声音数据是否超过阈值；
灵敏度决策靶向(SDT)系统，所述灵敏度决策靶向(SDT)系统当所述声音数据超过所述阈值时重新配置与用户配置文件相关联的车辆设置；
其中相应的重新配置的车辆设置被用于响应于车辆系统的致动而启用所述车辆系统的驾驶员警觉性操作。
2.如权利要求1所述的动态会话感知系统，其中由所述ICTA分析的所述预定频率范围涉及由所述车辆的所述内部乘客舱内的乘员讲话的会话声音。
3.如权利要求2所述的动态会话感知系统，其中所述ICTA包括宽带滤波器，以过滤来自所述声音数据的背景噪声。
4.如权利要求3所述的动态会话感知系统，其中所述背景噪声包括多媒体声音数据。
5.如权利要求3所述的动态会话感知系统，其中所述背景噪声包括环境声音数据。
6.如权利要求1所述的动态会话感知系统，其中所述用户配置文件包括用于修改车辆设置的可配置决策规则。
7.如权利要求6所述的动态会话感知系统，其中每个用户配置文件与相应用户相关联，其中每个用户配置文件包括为相应用户个性化的一组自定义决策规则。
8.如权利要求6所述的动态会话感知系统，其中所述SDT单元访问所识别的驾驶员的所述用户配置文件并且实施在所述用户配置文件内的用于自适应地修改所述车辆设置的所述决策规则。
9.如权利要求6所述的动态会话感知系统，其中所述车辆系统包括碰撞警告系统，并且其中在所述用户配置文件内的用于自适应地修改所述车辆设置的所述决策规则包括与出厂配置的设置相比更早地致动碰撞警告。
10.如权利要求6所述的动态会话感知系统，其中所述车辆系统包括车道偏离警告系统，并且其中所述用户配置文件内的用于自适应地修改所述车辆设置的所述决策规则包括与出厂配置的设置相比更早地致动车道偏离警告。
11.如权利要求6所述的动态会话感知系统，其中所述车辆系统包括连接设置，并且其中在所述用户配置文件内的用于自适应地修改所述连接设置的所述决策规则包括延迟传入电话呼叫的连接。
12.如权利要求6所述的动态会话感知系统，其中所述车辆系统包括连接设置，并且其中在所述用户配置文件内的用于自适应地修改所述连接设置的所述决策规则包括延迟传入消息的连接。
13.如权利要求6所述的动态会话感知系统，其中所述车辆系统包括连接设置，并且其中在所述用户配置文件内的用于自适应地修改所述连接设置的所述决策规则包括降低车辆多媒体设备的音量设置。
14.如权利要求1所述的动态会话感知系统，还包括用于识别所述车辆的驾驶员的驾驶员识别装置。
15.如权利要求14所述的动态会话感知系统，其中所述驾驶员识别装置包括密钥卡装置，其中所述密钥卡装置向所述车辆发送识别用户的信号。
16.一种系统，包含：
麦克风，所述麦克风捕获车辆乘客舱内的声音数据；
阈值分析器，所述阈值分析器分析预定频率范围内的所述声音数据以确定所述声音数据是否超过阈值；
灵敏度决策靶向单元，所述灵敏度决策靶向单元当所述声音数据超过所述阈值时重新配置与用户配置文件相关联的车辆设置，其中重新配置的车辆设置响应于车辆系统的致动而启用所述车辆系统的驾驶员警觉性操作。
CN201810251953.3A 2017-03-30 2018-03-26 自适应乘员会话感知系统 Active CN108696794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/473,976 2017-03-30
US15/473,976 US10155523B2 (en) 2017-03-30 2017-03-30 Adaptive occupancy conversational awareness system

Publications (2)

Publication Number Publication Date
CN108696794A true CN108696794A (zh) 2018-10-23
CN108696794B CN108696794B (zh) 2022-03-15

Family

ID=62068045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810251953.3A Active CN108696794B (zh) 2017-03-30 2018-03-26 自适应乘员会话感知系统

Country Status (5)

Country Link
US (1) US10155523B2 (zh)
CN (1) CN108696794B (zh)
DE (1) DE102018107326A1 (zh)
GB (1) GB2563123B (zh)
RU (1) RU2704663C2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111002904A (zh) * 2019-12-20 2020-04-14 铁将军汽车电子股份有限公司 前方碰撞预警系统及其配置方法和装置
CN112339684A (zh) * 2020-10-27 2021-02-09 广州汽车集团股份有限公司 一种基于概率分布的汽车安全机制触发方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111791893B (zh) * 2019-04-03 2021-11-16 北京车和家信息技术有限公司 疲劳处理方法、装置、车辆及计算机可读存储介质
US11562762B2 (en) * 2019-11-12 2023-01-24 BlueOwl, LLC Systems and methods of assessing driver safety based on vehicle noise levels
IT202000004570A1 (it) * 2020-03-04 2021-09-04 Federica Cena Sistema elettronico autoveicolistico progettato per far si' che le emissioni sonore all'interno degli abitacoli degli autoveicoli non superino limiti sonori massimi di accettabilita'
GB2601343B (en) * 2020-11-27 2024-04-10 Continental Automotive Tech Gmbh An adaptive warning system and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971041A (zh) * 2013-02-06 2014-08-06 通用汽车环球科技运作有限责任公司 车辆操作设定的由生物特征数据驱动的应用
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN105667475A (zh) * 2016-03-18 2016-06-15 戴姆勒股份公司 车辆自动制动系统
CN105933819A (zh) * 2016-04-25 2016-09-07 乐视控股（北京）有限公司 调节汽车音响音量的方法及装置
CN106064593A (zh) * 2015-04-22 2016-11-02 福特全球技术公司 基于驾驶员工作负担调度驾驶员接口任务的系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3686465B2 (ja) 1995-11-06 2005-08-24 本田技研工業株式会社 車両用運転状況監視装置
JP2008204056A (ja) * 2007-02-19 2008-09-04 Tokai Rika Co Ltd 運転支援装置
US8280580B2 (en) 2008-02-06 2012-10-02 Ford Global Technologies, Llc System and method for controlling electronic stability control based on driver status
US8706349B2 (en) * 2009-12-07 2014-04-22 At&T Mobility Ii Llc Devices, systems and methods for controlling permitted settings on a vehicle
GB2504585B (en) 2010-07-29 2015-01-07 Ford Global Tech Llc Systems and methods for scheduling driver interface tasks based on driver workload
US9229905B1 (en) * 2011-04-22 2016-01-05 Angel A. Penilla Methods and systems for defining vehicle user profiles and managing user profiles via cloud systems and applying learned settings to user profiles
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US20130038437A1 (en) 2011-08-08 2013-02-14 Panasonic Corporation System for task and notification handling in a connected car
US9275208B2 (en) * 2013-03-18 2016-03-01 Ford Global Technologies, Llc System for vehicular biometric access and personalization
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
JP6075577B2 (ja) 2015-04-24 2017-02-08 マツダ株式会社 運転支援装置
US9758095B2 (en) * 2016-01-25 2017-09-12 International Business Machines Corporation Smartwatch blackbox
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971041A (zh) * 2013-02-06 2014-08-06 通用汽车环球科技运作有限责任公司 车辆操作设定的由生物特征数据驱动的应用
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN106064593A (zh) * 2015-04-22 2016-11-02 福特全球技术公司 基于驾驶员工作负担调度驾驶员接口任务的系统和方法
CN105667475A (zh) * 2016-03-18 2016-06-15 戴姆勒股份公司 车辆自动制动系统
CN105933819A (zh) * 2016-04-25 2016-09-07 乐视控股（北京）有限公司 调节汽车音响音量的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111002904A (zh) * 2019-12-20 2020-04-14 铁将军汽车电子股份有限公司 前方碰撞预警系统及其配置方法和装置
CN111002904B (zh) * 2019-12-20 2022-04-22 铁将军汽车电子股份有限公司 前方碰撞预警系统及其配置方法和装置
CN112339684A (zh) * 2020-10-27 2021-02-09 广州汽车集团股份有限公司 一种基于概率分布的汽车安全机制触发方法及装置
CN112339684B (zh) * 2020-10-27 2021-12-24 广州汽车集团股份有限公司 一种基于概率分布的汽车安全机制触发方法及装置

Also Published As

Publication number Publication date
US10155523B2 (en) 2018-12-18
RU2018111203A (ru) 2019-10-01
GB201805018D0 (en) 2018-05-09
GB2563123A (en) 2018-12-05
CN108696794B (zh) 2022-03-15
RU2704663C2 (ru) 2019-10-30
RU2018111203A3 (zh) 2019-10-01
GB2563123B (en) 2022-02-16
DE102018107326A1 (de) 2018-10-04
US20180281806A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN108696794A (zh) 自适应乘员会话感知系统
JP4534925B2 (ja) 車両用情報提供装置
CN106209138B (zh) 一种车辆谨慎紧急响应系统及方法
US10053113B2 (en) Dynamic output notification management for vehicle occupant
CN103403798B (zh) 声音识别装置及导航装置
CN102707801B (zh) 车载识别控制系统及其控制方法
EP3057091A1 (en) Adaptive interactive voice system
WO2012097150A1 (en) Automotive sound recognition system for enhanced situation awareness
EP1933303A1 (en) Speech dialog control based on signal pre-processing
US9615186B2 (en) Apparatus and method for recognizing horn using sound signal processor
CN103687772A (zh) 使用车辆中的便携式装置支持驾驶员的方法
CN110376589A (zh) 用于进行环境感测的方法和用于机动车的环境感测系统
EP2977986A1 (en) Audio command adaptive processing system and method
CN102906811B (zh) 用于调节包括扬声器和麦克风的语音识别系统的方法及语音识别系统
CN112601933A (zh) 为车辆乘员提供对语音播报的交互式反馈
CN114495888A (zh) 车辆及其控制方法
JPH023520B2 (zh)
CN113593183A (zh) 一种基于声学的疲劳驾驶和分心驾驶的检测方法、装置、设备及介质
CN114763097A (zh) 一种车外鸣笛智能警示控制方法和系统
CN113539282A (zh) 声音处理装置、系统和方法
CN111783550B (zh) 驾驶人情绪的监控调节方法及系统
CN115881125B (zh) 车载多音区语音交互方法、装置、电子设备和存储介质
CN116645964A (zh) 车辆音区的控制方法及装置、存储介质、电子装置
CN113611334A (zh) 一种车外声音感知方法和系统
Khare et al. Multimodal interaction in modern automobiles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant