CN103448719B - 神经认知驾驶员状态处理 - Google Patents
神经认知驾驶员状态处理 Download PDFInfo
- Publication number
- CN103448719B CN103448719B CN201310211552.2A CN201310211552A CN103448719B CN 103448719 B CN103448719 B CN 103448719B CN 201310211552 A CN201310211552 A CN 201310211552A CN 103448719 B CN103448719 B CN 103448719B
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- sensor
- frame
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000008569 process Effects 0.000 title claims description 15
- 230000015654 memory Effects 0.000 claims abstract description 72
- 230000006399 behavior Effects 0.000 claims abstract description 42
- 230000009471 action Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 239000000446 fuel Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 231100000430 skin reaction Toxicity 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims 2
- 230000003936 working memory Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 206010013486 Distractibility Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000013011 mating Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 210000001152 parietal lobe Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000004326 gyrus cinguli Anatomy 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
- B60W2050/0071—Controller overrides driver automatically
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种驾驶员状态模块，用于与车辆、与车辆的周围环境以及与车辆驾驶员相接，所述驾驶员状态模块包括：（i）帧存储器，用于使用相关文本存储行为表征；（ii）评估系统，用于基于目标和奖励来排序帧；（iii）工作存储器，包括前景子存储器和背景子存储器，工作存储器用于保持帧和将帧分类为前景和背景帧；以及（iv）识别处理器，用于识别与前景子存储器中的评估系统排序最高的帧有关的显著特征。
Description
背景技术
车辆碰撞通常至少部分地归因于驾驶员行为、视觉和听觉敏锐性、决策能力以及反应速度。基于英国和美国碰撞数据的1985报告发现，驾驶员错误、醉酒和其它人为因素总体上或部分地造成大约93％的碰撞。
总体上，更好地理解什么人为原因造成事故可有助于开发辅助驾驶员避免碰撞的系统。
发明内容
根据本发明的示例，提供一种驾驶员状态模块，用于与车辆、与车辆的周围环境以及与车辆驾驶员相接，所述驾驶员状态模块包括：（i）帧存储器，用于使用相关文本存储行为表征；（ii）评估系统，用于基于目标和奖励来排序帧；（iii）工作存储器，包括前景子存储器、背景子存储器以及用于将帧分类到前景子存储器或背景子存储器中的控制器；以及（iv）识别处理器，用于识别与前景子存储器或背景子存储器中的评估系统排序最高的帧有关的显著特征。
所述驾驶员状态模块可配置用于建模驾驶员的注意力焦点和专注度且用于预测驾驶员的即将动作。
根据一些示例，与车辆、与车辆的周围环境以及与车辆驾驶员相接可以经由传感器。
在一些示例中，驾驶员状态模块可安装在车辆中。
根据示例，一种用于在车辆周围环境中辅助车辆驾驶员的驾驶员辅助系统，可包括：（i）驾驶员状态模块；（ii）车辆状态模块，用于在周围环境中描述车辆状态；（iii）不匹配检测模块，用于将驾驶员状态模块和车辆状态模块进行比较且用于评估驾驶员状态模块和车辆状态模块之间是否存在不匹配；（iv）驾驶员关联接口模块，用于确定在车辆状态模块检测不匹配时的所需动作；以及（v）传感器预处理模块，用于融合来自于车辆上的多个传感器的数据且用于以适合于每个模块的格式输出所融合数据。
在一些示例中，所述驾驶员状态模块可包括：（i）帧存储器，用于使用相关文本存储行为表征；（ii）评估系统，用于基于目标和奖励来排序帧；（iii）工作存储器，包括前景子存储器、背景子存储器以及用于将帧分类到前景子存储器或背景子存储器中的控制器；以及（iv）识别处理器，用于识别与前景子存储器或背景子存储器中的评估系统排序最高的帧有关的显著特征。
根据一些示例，所述驾驶员辅助系统可配置用于各个应用，包括如下中的至少一个：（i）在驾驶员注意力分散时在短时间段内控制车辆；（ii）车辆的半自主控制；（iii）接收来自于驾驶员行为的反馈，用于通过经验自学习；（iv）学习具体驾驶员的驾驶特性，以优化具体驾驶员的响应；（v）建模驾驶员的注意力焦点和专注度以及（vi）预测驾驶员的即将动作。
在一些示例中，所述多个传感器可包括至少一个车辆传感器，用于感测车辆有关参数。所述车辆传感器可选自如下组：感测车辆速度、发动机温度、燃料液位、发动机转数（例如，rpm）的传感器；注意是否配置风档刮水器的传感器；注意是否配置灯的传感器；注意是否配置危险系统的传感器；注意方向盘位置的传感器；等等。
在一些示例中，所述多个传感器可包括至少一个驾驶员传感器，用于感测驾驶员有关参数。所述驾驶员传感器可选自如下组：感测驾驶员专注度的传感器；从昏昏欲睡提供驾驶员警觉性反馈的照相机；从闭眼提供驾驶员警觉性反馈的照相机；从凝视方向跟踪驾驶员注意力的眼睛跟踪器；安装在方向盘上的压力传感器；监测排汗的皮肤电反应传感器以及脑电图传感器。
在一些示例中，所述多个传感器可包括至少一个周围传感器，用于感测与车辆周围环境有关的变量。所述周围传感器可选自如下组：前视照相机；车道跟随传感器；在所有方向配置以确定附近目标距离的距离传感器，例如，雷达、LIDAR（光检测和测距）、声纳、IR传感器；总体位置传感器；GPS；环境温度传感器和环境光线传感器。
根据一些示例，驾驶员辅助系统可以配置成在选自以下组的至少一个应用中使用：半自主控制、事故预防、报警、培训、驾驶员模拟和车辆设计优化。
在一些示例中，所述驾驶员辅助系统可以整合到车辆中或者改型到车辆中。
根据一些示例，可以提供一种计算机软件产品，包括能由处理器读取的介质，所述介质上存储有：（i）用于使用相关文本将行为表征在存储器中作为帧存储的第一组指令；（ii）用于基于目标和奖励来排序帧的第二组指令；（iii）用于保持帧和将帧分类为前景帧和背景帧的第三组指令；以及（iv）用于识别与具有最高排序的前景帧有关的显著特征的第四组指令。
根据一些示例，可以提供一种计算机软件产品，包括能由处理器读取的介质，所述介质上存储有用于在车辆周围环境中辅助车辆驾驶员的一组指令，包括：（a）在装载到主存储器中且由处理器执行时建模驾驶员的注意力焦点和专注度以预测驾驶员的即将动作的第一组指令；（b）在装载到主存储器中且由处理器执行时在周围环境中描述车辆状态的第二组指令；（c）在装载到主存储器中且由处理器执行时将从第一和第二组指令获得的结果进行比较以评估是否存在不匹配从而需要进一步动作的第三组指令；（d）在装载到主存储器中且由处理器执行时确定在运行第三组指令检测不匹配时的所需动作的第四组指令；以及（e）在装载到主存储器中且由处理器执行时融合来自于车辆上的多个传感器的数据且以适合于第一、第二、第三和第四组指令中的每一组的格式输出所融合数据的第五组指令。
示例涉及与车辆、与车辆的周围环境以及与车辆驾驶员相接的方法，包括（i）使用相关文本将驾驶员行为表征在帧存储器中作为帧存储；（ii）基于目标和奖励来排序帧；（iii）包括保持帧和将帧分类到前景子存储器或背景子存储器中的工作存储器；以及（iv）识别与具有最高排序的帧有关的显著特征。
示例涉及处理来自于车辆上的多个传感器的传感器输入的方法，所述多个传感器与驾驶员、车辆和周围环境有关，所述方法包括：（i）融合来自于所述多个传感器的数据且将所融合数据以合适格式输出；（ii）建模驾驶员的注意力焦点和专注度以预测驾驶员的即将动作；（iii）在周围环境中描述车辆状态；（iv）将从所预测即将动作和车辆状态获得的结果进行比较以确定不匹配；（v）评估是否存在不匹配从而需要进一步动作；以及（vi）确定在检测不匹配时的所需动作。
方案1. 一种驾驶员状态模块，用于与车辆、与车辆的周围环境以及与车辆驾驶员相接，所述驾驶员状态模块包括：
（i）帧存储器，用于使用相关文本存储行为表征；
（ii）评估系统，用于基于目标和奖励来排序帧；
（iii）工作存储器，包括：
前景子存储器、背景子存储器以及用于将帧分类到前景子存储器或背景子存储器中的控制器；以及
（iv）识别处理器，用于识别与前景子存储器或背景子存储器中的评估系统排序最高的帧有关的显著特征。
方案2. 根据方案1所述的驾驶员状态模块，配置用于建模驾驶员的注意力焦点和专注度且用于预测驾驶员的即将动作。
方案3. 根据方案1所述的驾驶员状态模块，其中，所述与车辆、与车辆的周围环境以及与车辆驾驶员相接经由传感器。
方案4. 一种车辆，包括根据方案1所述的驾驶员状态模块。
方案5. 一种用于在车辆周围环境中辅助车辆驾驶员的驾驶员辅助系统，所述驾驶员辅助系统包括：
（i）根据方案1所述的驾驶员状态模块；
（ii）车辆状态模块，用于在周围环境中描述车辆状态；
（iii）不匹配检测模块，用于将驾驶员状态模块和车辆状态模块进行比较且用于评估驾驶员状态模块和车辆状态模块之间是否存在不匹配；
（iv）驾驶员关联接口模块，用于确定在车辆状态模块检测不匹配时的所需动作；以及
（v）传感器预处理模块，用于融合来自于车辆上的多个传感器的数据且用于以适合于每个模块的格式输出所融合数据。
方案6. 根据方案5所述的驾驶员辅助系统，其中，所述驾驶员状态模块包括：
（i）帧存储器，用于使用相关文本存储行为表征；
（ii）评估系统，用于基于目标和奖励来排序帧；
（iii）工作存储器，包括：
前景子存储器、背景子存储器以及用于将帧分类到前景子存储器或背景子存储器中的控制器；以及
（iv）识别处理器，用于识别与前景子存储器或背景子存储器中的评估系统排序最高的帧有关的显著特征。
方案7. 根据方案6所述的驾驶员辅助系统，配置用于包括如下中的至少一个的应用：
（i）在驾驶员注意力分散时在短时间段内控制车辆；
（ii）车辆的半自主控制；
（iii）接收来自于驾驶员行为的反馈，用于通过经验自学习；
（iv）学习具体驾驶员的驾驶特性，以优化具体驾驶员的响应；
（v）建模驾驶员的注意力焦点和专注度；以及
（vi）预测驾驶员的即将动作。
方案8. 根据方案5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个车辆传感器，用于感测车辆有关参数。
方案9. 根据方案8所述的驾驶员辅助系统，其中，所述至少一个车辆传感器选自如下组：速度表、发动机温度表、燃料表、rev数、注意是否配置风档刮水器的传感器、注意是否配置灯的传感器、注意是否配置危险系统的传感器、以及注意方向盘位置的传感器。
方案10. 根据方案5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个驾驶员传感器，用于感测驾驶员有关参数。
方案11. 根据方案10所述的驾驶员辅助系统，其中，所述至少一个驾驶员传感器选自如下组：感测驾驶员专注度的传感器；从昏昏欲睡提供驾驶员警觉性反馈的照相机；从闭眼提供驾驶员警觉性反馈的照相机；从凝视方向跟踪驾驶员注意力的眼睛跟踪器；安装在方向盘上的压力传感器；监测排汗的皮肤电反应传感器以及脑电图传感器。
方案12. 根据方案5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个周围传感器，用于感测与车辆周围环境有关的变量。
方案13. 根据方案12所述的驾驶员辅助系统，其中，所述至少一个周围传感器选自如下组：前视照相机；车道跟随传感器；在所有方向配置以确定附近目标距离的距离传感器；雷达；声纳、IR传感器；总体位置传感器；GPS；环境温度传感器和环境光线传感器。
方案14. 根据方案5所述的驾驶员辅助系统，配置成在选自以下组的至少一个应用中使用：半自主控制、事故预防、报警、培训、驾驶员模拟和车辆设计优化。
方案15. 一种车辆，包括根据方案5所述的驾驶员辅助系统。
方案16. 一种计算机软件产品，包括能由处理器读取的介质，所述介质上存储有：
（i）用于使用相关文本将行为表征在存储器中作为帧存储的第一组指令；
（ii）用于基于目标和奖励来排序帧的第二组指令；
（iii）用于保持帧和将帧分类为前景帧和背景帧的第三组指令；以及
（iv）用于识别与具有最高排序的前景帧有关的显著特征的第四组指令。
方案17. 一种计算机软件产品，包括能由处理器读取的介质，所述介质上存储有用于在车辆周围环境中辅助车辆驾驶员的一组指令，包括：
（a）在装载到主存储器中且由处理器执行时建模驾驶员的注意力焦点和专注度以预测驾驶员的即将动作的第一组指令；
（b）在装载到主存储器中且由处理器执行时在周围环境中描述车辆状态的第二组指令；
（c）在装载到主存储器中且由处理器执行时将从第一和第二组指令获得的结果进行比较以评估是否存在不匹配从而需要进一步动作的第三组指令；
（d）在装载到主存储器中且由处理器执行时确定在运行第三组指令检测不匹配时的所需动作的第四组指令；以及
（e）在装载到主存储器中且由处理器执行时融合来自于车辆上的多个传感器的数据且以适合于第一、第二、第三和第四组指令中的每一组的格式输出所融合数据的第五组指令。
方案18. 一种与车辆、与车辆的周围环境以及与车辆驾驶员相接的方法，包括：
（i）使用相关文本将驾驶员行为表征在帧存储器中作为帧存储；
（ii）基于目标和奖励来排序帧；
（iii）保持帧和将帧分类为工作存储器中的前景和背景帧；以及
（iv）识别与具有最高排序的帧有关的显著特征。
方案19. 一种处理来自于车辆上的多个传感器的传感器输入的方法，所述多个传感器与驾驶员、车辆和周围环境有关，所述方法包括：
（i）融合来自于所述多个传感器的数据且将所融合数据以合适格式输出；
（ii）建模驾驶员的注意力焦点和专注度以预测驾驶员的即将动作；
（iii）在周围环境中描述车辆状态；
（iv）将从所预测即将动作和车辆状态获得的结果进行比较以确定不匹配；
（v）评估是否存在不匹配从而需要进一步动作；以及
（vi）确定在检测不匹配时的所需动作。
附图说明
在说明书的结束部分特别指出并且明确地要求保护被作为本发明的主题内容。示例在以下详细说明中描述且在附图中图示，在附图中：
图1是汽车、驾驶员和周围环境的示意图；
图2是用于与车辆和驾驶员直接相接的驾驶员辅助系统的一个示例的核心模块的构思框图；
图3是示出了根据本发明示例的图2的驾驶员状态处理模块的构思部分的构思框图；
图4是人脑控制和处理的神经认知结构和功能的生物模型，用作图3的模块的灵感和构思判断；和
图5是根据本发明示例的处理传感器输入的方法的构思框图和流程图。
在认为合适时，附图标记可以在附图中重复以表示对应或类似的元件。
具体实施方式
在以下详细说明中，阐述各个具体细节，以便提供对本发明示例的透彻理解。然而，本领域技术人员将理解的是，本发明示例能够在不具有这些具体细节的情况下被实践。在其他情况下，公知的方法、过程、部件和电路没有详细描述，从而使得本发明易懂。
除非另有具体声明，否则如从下述讨论中显而易见地应当理解，贯穿该说明书，利用了诸如“处理”、“计算”、“存储”、“确定”等等的术语的讨论是指计算机或计算系统或类似的电子计算装置的动作和/或过程，其将表示为计算系统的寄存器和/或存储器内的物理（例如电子）量的数据操纵和/或转换成类似地表示为计算系统的存储器、寄存器或其他这种信息存储、传输或显示装置内的物理量的其他数据。
当危险道路或交通条件在眩光时不清楚时或者在条件对于驾驶员太复杂而不能在可用时间和距离内感知和反应时，可能发生事故。
在道路上控制车辆通过注意力分散（例如移动电话和乘员）和由于更大密度的其它道路使用者（包括交通和行人两者）而复杂。
存在碰撞率的人口统计差异。例如，虽然年轻人往往具有良好反应时间，但是不相称的更多年轻男性驾驶员涉及事故，研究者观察到，许多人展现可能将他们置于比其它道路使用者更危险状况的冒险行为和态度。具有较慢反应的年长驾驶员可能预期涉及更多事故，但是情况不是如此，因为他们往往驾驶更少且明显更谨慎。虽然仅仅占人群的10％，但是令人惊奇的是，左手驾驶员涉及车辆碰撞的大约45％。
然而，看起来危险的许多位置具有很少或没有事故。相反，看起来不危险的道路可能具有高碰撞频率。这部分是因为如果驾驶员认为位置危险，他们更小心。
有时，汽车设计的改进并未导致性能的显著改进。改进制动系统可导致更激进驾驶，强制安全带法律并未伴随总体死亡率的明显下降。
本文使用的术语“车辆”包括具有机载驾驶员的所有运输模式，包括飞机、火车和轮船，但是特定地为各种汽车、货车和载货汽车。
本文使用的词“汽车”与机动车同义。
根据示例，提供一种用于车辆的改进人机接口。在一些示例中，允许半自主车辆控制。更具体地，下文描述了用于建模车辆驾驶员行为的驾驶员状态模块。驾驶员状态模块建模驾驶员注意力焦点和专注度且预测其即将动作。驾驶员状态模块可以并入驾驶员辅助系统中，其接收与驾驶员、车辆和周围有关的传感器输入且预测驾驶员状态。示例可以通过保持安全操作（例如，保持车辆在车道内，距其它汽车的安全距离，避免障碍物等）而在延长时间段内控制车辆。该能力意味着驾驶员当前不控制车辆。其它示例可以用于培训、驾驶员模拟和汽车设计应用。
虽然对神经科学有点新，但是在心理学中，思维过程有时根据一个人脑子的前面或后面考虑。因而，通过示例的方式，车辆驾驶员可完全在思考一些其它事情，例如先前与配偶或同事进行的讨论。驾驶员意识到道路和环境，但是其注意力在其他地方。如果一些东西在车辆前面经过，例如儿童，驾驶员的注意力将切换到儿童。儿童被分配最高优先级且由前景存储器考虑，争论向后推到背景存储器。一旦儿童安全经过，其专注度从突出地位减少，且稍后从驾驶员存储器中忘记，从而释放驾驶员注意力以再次考虑争论。
根据一些示例，与驾驶员、车辆和环境有关的变化、参数和变量可以检测和排序，以建模驾驶员响应。在安装到车辆中时，驾驶员状态模块和驾驶员辅助系统可以提醒驾驶员或者可以超控驾驶员控制，例如通过在需要时自动制动。在模拟器中可以使用的其它示例可以起到其它目的。例如，模拟器示例可以用于辅助选择用于具体驾驶员的合适车辆。
参考图1，示出了在环境60中的车辆40的驾驶员20。
车辆40总体上配置有至少一个优选多个驾驶员传感器30，用于感测与驾驶员20有关的变量和参数，例如驾驶员总体专注度。驾驶员传感器30可包括从昏昏欲睡或闭眼提供驾驶员警觉性反馈的照相机。例如，驾驶员传感器30可包括在他看的方向跟踪驾驶员注意力的眼睛跟踪器。
驾驶员传感器30可包括安装在方向盘上的压力传感器以及监测排汗的皮肤电反应传感器，从而提供驾驶员紧张水平的指示。驾驶员传感器30可包括其它神经相关传感器。例如，作为选择用于驾驶员的合适车辆的辅助或者用于车辆设计目的，例如在模拟器应用中，驾驶员传感器30可包括脑电图（EEG）传感器，从而允许测量沿头皮的电活性以用于测量由脑神经内的离子电流引起的电压波动。
驾驶员传感器30可包括在方向盘上的接触应变传感器，用于感测驾驶员20的紧张。
车辆40配置有至少一个车辆传感器50，优选地车辆传感器阵列，用于感测车辆40的状态，尤其包括：速度表、发动机温度表、燃料表、rev数等等。
所述车辆传感器50还可以包括注意是否配置风档刮水器、灯和其它危险系统以及注意方向盘位置的传感器。将理解的是，这种传感器不仅提供与车辆40有关的信息，而且还提供与驾驶员20和环境60有关的信息。
车辆40通常还配置有周围传感器70，用于感测车辆40的紧邻环境60或周围。这种周围传感器70可提供与外部有关的数据，例如，道路状态和附近目标（包括其它车辆和行人），且可以包括前视照相机、车道跟随传感器、在所有方向配置以确定附近目标距离的距离传感器。
周围传感器70可包括用于感测附近目标的传感器，使用各种支持技术工作，例如雷达、LIDAR、声纳、前视照相机和IR传感器。周围传感器70还可以包括总体定位传感器，例如，GPS，以及用于感测与环境有关的参数的其它类型传感器，包括环境温度传感器和环境光线传感器等等。
可以提供与驾驶员保持在车道中的能力或检测车辆40偏向有关的传感器。这些传感器可以提供与驾驶员20的警觉性水平和/或车辆40状况有关的信息。驾驶动作包括响应于环境60控制车辆40，加速度和减速度、绝对速度、偏向和侧滑均是对驾驶员20、车辆40和环境60的状态容易确定的响应。因而，将理解的是，虽然仅仅通过示例方式提供的上述传感器分类为驾驶员传感器30、车辆传感器50和周围传感器70，但是该分类一定程序上是任意的，同一传感器可提供与驾驶员20、车辆40和周围环境60中的两个或更多有关的信息。此外，一些传感器可以与控制车辆操作的自动巡航控制ACC、车道偏离系统和半自主系统有关。
其它传感器可以感测可能与使用移动电话和其它内部注意力分散有关的输入。
参考图2，示出了根据示例的驾驶员辅助系统100。驾驶员辅助系统100包括五个模块：（i）驾驶员状态模块120，建模驾驶员20的注意力焦点和专注度且用于预测驾驶员的即将动作；（ii）车辆状态模块140，用于在环境中描述车辆40的状态；（iii）不匹配检测模块160，将驾驶员状态模块120和车辆状态模块140进行比较以评估是否存在需要提醒驾驶员20的一些事情；（iv）驾驶员关联接口模块180，确定在车辆状态模块160检测不匹配时的所需动作；以及（v）传感器预处理模块200，融合来自于车辆40上的多个传感器（总体上包括驾驶员传感器30、车辆传感器50和周围传感器70）的数据且将其以适合于每个模块的格式输出。所述模块在拿到一起时构成半自主驾驶员辅助系统100，在安装在主车辆40中时能够在驾驶员20注意力分散时短时间内半自主地控制车辆40。此外，自主驾驶员辅助系统100能够基于与驾驶员20的行为有关的反馈学习且针对具体驾驶员20定制。
传感器预处理模块200可以接收三组传感器的输入：
（a）驾驶员传感器30，提供与驾驶员20有关的信息
（b）涉及车辆40的车辆传感器50
（c）周围传感器70，提供与车辆40的周围环境60有关的细节，例如道路状态和附近目标。
这种传感器的示例在上文给出。
参考图3，驾驶员状态模块120包括如下部件和子系统：（i）帧存储器122，可以使用相关文本存储行为表征；（ii）评估系统124，可以基于目标和奖励来排序帧；（iii）工作存储器126，包括用于保持帧和将帧分类到前景子存储器128和背景子存储器130中的控制器129；以及（iv）识别预处理器132，可识别与前景子存储器128中的排序最高的帧有关的显著特征。
驾驶员状态模块120可以使用环境接口134与环境60相接，环境接口134可接收与环境60有关的输入，且可以将驾驶员20的行为可能性和反应时间作为输出136提供。
图3的驾驶员状态模块120适合于包括作为例如如图2所示的更大驾驶员辅助系统的一部分。
总体上，驾驶员状态模块120使用脑区域的结构和功能建模的涉及行为的注意力和执行控制的神经认知方法。为了利于理解根据一个示例的驾驶员状态模块120的行为和功能，参考图4，示出了生物模型。
现在参考图4，驾驶员状态模块120的示例的生物灵感是人脑执行控制（图3，144）和注意力网络（图3，123）的神经认知结构和功能的详细模型，使之为新驾驶情况下人为偏倚（human bias）和注意力分散的良好预测器。因而，将理解的是，图4基本上是图3的驾驶员状态模块120的关键部分的概要，且驾驶员状态模块120可以认为是图4的理论模型的物理示例。
因而，图4是驾驶员20的认知模型，使用输出驾驶员行为的神经认知模型来提供驾驶员状态分析（即，当前前景和背景行为的可能性，从而引导驾驶员当前和近来动作）。
根据示例，图2和3的驾驶员状态模块和驾驶员辅助系统可以使用在图4的认知模型上建模的类似构思系统。因而，将理解的是，图2和3所示的系统可以实施响应于来自于驾驶员状态模块120的输出而半自主驾驶车辆40的方法，由于脑区域的结构和功能的涉及行为的注意力和执行控制的空前详细模型而不同于先前方法。
驾驶员20，如其它人那样，接收与其环境60（即，其环境或周围）有关的视觉、听觉和触觉传感器输入。
图4所示的认知模型示出了如何接收包括视觉B、听觉C和触觉D输入的传感器输入A。传感器输入A可以由识别器E识别，包括从上至下偏差滤波器（top town bias
filter）F和从下至上显著滤波器（bottom up saliency filter）G。
输入可以由分类器H和定位器I分类，分类器H通常使用脑的腹面部分来确定“什么”，定位器I使用脑的背面部分来确定“哪里”，通常使用顶叶来整合来自于不同模态的传感器信息，具体地确定空间知觉和导航。这允许顶叶皮质区域将视觉感知的目标映射到身体坐标位置。定位器I因而将感知数据融合为位置或环境的图片，即，驾驶员周围（图1，60）。
来自于分类器H和定位器I两者的输出可以馈入到长期存储器J中，可以然后将数据提供给比较器K，用于将现实与驾驶员20的计划进行比较。定位器I还可以在缺失一些东西时直接将提醒提供给比较器K。
比较器K与行为选择器L一起可以构成评估器M且可以提供行为输出N。行为选择器L通常选择行为并将行为分类为存储在顶叶皮质工作存储器中的前景行为O和背景行为P。来自于顶叶皮质工作存储器的前景行为O反馈到从上至下偏差滤波器，用于从上至下偏差。
感知数据的显著性可以与其相对于背景突出的状态或质量。显著性检测可以认为是可利于学习和通过允许组织将其有限感知和认知资源集中于可用传感器数据（包括视觉B、听觉C和触觉D传感器数据）的最相关子组上而幸存的关键注意机构。
在脑中，如图4所建模的，工作存储器L可以认为包括前景工作存储器O和背景工作存储器P。工作存储器L通过前扣带皮层动态地更新且通过基底神经节门控，从而将最高级别行为保持在前景工作存储器中。在模型中，基于前额皮质的最新神经认知理论，前景工作存储器O存储特别接近注意力资源的行为。背景工作存储器P存储与军事注意力可能有关的具有有限能力的较低实用性行为。
在注意力配置由显著性激励驱动时，认为是从下至上的，无存储器的和反应性的。
然而，注意力还可以由从上至下的，依赖于存储器的或预期机构引导，例如在横穿街道之前向前看移动目标或向侧面看时。将理解的是，人（总体来说）和驾驶员20（具体地）不能同时注意多于一个或若干事物，从而他们面临连续地整合和排序不同从下至上和从上至下影响的挑战。
返回图2，在一些示例中，驾驶员状态模块120可以学习以基于来自于驾驶员20行为的反馈（通过传感器预处理模块200提供）经由执行控制144来调整对驾驶员20的响应，且包括实用性计算机464，用于学习如何将实用性分配给情况环境和行为之间的关联性；用于针对具体驾驶员20定制。
参考图5，阐述与图3的模块相对应的集成构思框图的流程图500。集成构思框图的流程图500示出了在哪里可以发生每个过程。本发明的过程总体上可以作为闭环操作，连续地感测和评估情况，即驾驶员20、车辆40和环境60的状况，且具有至车辆40或驾驶员20的输出，用于优化与环境60交互。
定期地或者连续地，构成环境接口134的驾驶员传感器30、车辆传感器50和周围传感器70将输入提供给识别预处理模块420，其可以滤波来自于各个传感器30，50，70的输出，且可以将与驾驶员状态和车辆状态有关的输出提供给图2所示的相应驾驶员和车辆状态模块。滤波可能是非常复杂的。一些滤波可以由从上至下偏差滤波器422执行，其服从目标导向的从上至下偏差模型。其它滤波可以通过从下至上显著滤波器424执行，其从环境接口410的传感器输入识别显著特征。识别预处理模块420还可以产生注意力提醒426，其可以发送给评估器460的提醒操控器462，可操控这些提醒。
来自于识别预处理模块420的输出可以发送给帧存储器430，帧存储器430更新帧触发432且可以报告相关帧434。这可以链接到工作存储器450，其可以包括用于链接到有效帧的链接器452和用于提取感知优先级的感知优先级提取器454，其可以反馈到上至下偏差滤波器422。链接器452还可以将信号提供给评估系统460的排序器465，可以排序来自于传感器30，50，70的传感器输入且提醒462，可以用作门控系统。评估系统460可评估驾驶员20的可能行为和反应时间，且可以输出该信息470。
因而，总的来说，来自于环境接口410的传感器30，50，70的原始数据根据分配的重要性在识别预处理器420中滤波，导致感知信息分类为前景或背景有关，且然后按照重要性排序。因而，通过示例的方式，检测STOP标志分配给比检测广告牌更高的重要性。在一些示例中，树结构可以用于映射传感器输入之间的等级关系。
一些示例的特征在于它们可以自学习且可以知道驾驶员反应且可以在发生之前预测问题。
图5所示的过程是一个实施方式。将理解的是，其它实施方式可以使用不同系列的操作。
评估器460的输出470可以是驾驶员20的提醒或车辆40的半自主控制，例如自动制动，或甚至是周围环境60的提醒，例如前灯自动闪光或车辆喇叭发出声音，例如以提醒其它驾驶员和行人。
在一些示例中，驾驶员辅助系统100（总体地）和驾驶员状态模块120（具体地）可以用专用或通用处理器实施。帧存储器430、包括前景子存储器128和背景子存储器130的工作存储器450（126）可以使用各种存储器技术实施，例如易失性存储器。学习驾驶员特性可以优选存储在更永久性存储器中。存储器可以使用计算机可读或处理器可读非临时性存储介质、任何类型的盘（包括软盘、光盘、CD-ROM、磁光盘）、只读存储器（ROM）、随机存取存储器（RAM）、电可编程只读存储器（EPROM）、电可擦除及可编程只读存储器（EEPROM）、磁卡或光卡、闪存或者适于存储电子指令的任何其他类型的介质实施。
示例能够包括用于执行本文所述操作的设备。这种设备可以是为了期望目的而专门构造的，或者可以包括计算机或处理器，所述计算机或处理器通过存储在计算机中的计算机程序来选择性地启用或重新配置。这种计算机程序能够被存储在以下各项中：计算机可读或处理器可读的非临时存储介质、任何类型的盘（包括软盘、光盘、CD-ROM、磁光盘）、只读存储器（ROM）、随机存取存储器（RAM）、电可编程只读存储器（EPROM）、电可擦除及可编程只读存储器（EEPROM）、磁卡或光卡、或者适于存储电子指令的任何其他类型的介质。将理解的是，各种编程语言都能够被用于实施如本文所述的本发明的教导。本发明的示例能够包括例如非临时计算机或处理器可读的非临时存储介质之类的物品，例如编码有、包括有或存储有指令（例如计算机可执行指令，这些指令在由处理器或控制器执行时使得处理器或控制器执行本文所公开的方法）的存储器、磁盘驱动器或USB闪存。这些指令可以使处理器或控制器执行实施本文所公开的方法的过程。
本文公开不同示例。某些示例的特征能够与其他示例的特征结合；因而，某些示例可以是多个示例的特征的组合。对本发明的示例的前述说明仅仅出于描述和说明的目的而提出。该说明并不旨在是穷尽的或者将本发明局限于所公开的准确形式。本领域技术人员应当理解的是，鉴于上述教导，许多修改、变形、替换、变化和等同物都是可能的。因此，要理解的是，所附权利要求旨在覆盖了落入本发明实质精神内的所有这种变形和变化。
Claims (16)
1.一种驾驶员状态模块，用于与车辆、与车辆的周围环境以及与车辆驾驶员相接，所述驾驶员状态模块包括：
（i）帧存储器，用于使用相关文本存储行为表征；
（ii）评估系统，用于基于目标和奖励来排序帧；
（iii）工作存储器，包括：
前景子存储器、背景子存储器以及用于将帧分类到前景子存储器或背景子存储器中的控制器，前景子存储器存储最高级别行为，背景子存储器存储具有有限能力的较低实用性行为；以及
（iv）识别处理器，用于识别与由所述评估系统排序为最高的前景子存储器或背景子存储器中的帧有关的显著特征。
2.根据权利要求1所述的驾驶员状态模块，配置用于建模驾驶员的注意力焦点和专注度且用于预测驾驶员的即将动作。
3.根据权利要求1所述的驾驶员状态模块，其中，所述与车辆、与车辆的周围环境以及与车辆驾驶员相接经由传感器。
4.一种车辆，包括根据权利要求1所述的驾驶员状态模块。
5.一种用于在车辆周围环境中辅助车辆驾驶员的驾驶员辅助系统，所述驾驶员辅助系统包括：
（i）根据权利要求1所述的驾驶员状态模块；
（ii）车辆状态模块，用于在周围环境中描述车辆状态；
（iii）不匹配检测模块，用于将驾驶员状态模块和车辆状态模块进行比较且用于评估驾驶员状态模块和车辆状态模块之间是否存在不匹配；
（iv）驾驶员关联接口模块，用于确定在车辆状态模块检测不匹配时的所需动作；以及
（v）传感器预处理模块，用于融合来自于车辆上的多个传感器的数据且用于以适合于每个模块的格式输出所融合数据。
6.根据权利要求5所述的驾驶员辅助系统，配置用于包括如下中的至少一个的应用：
（i）在驾驶员注意力分散时在短时间段内控制车辆；
（ii）车辆的半自主控制；
（iii）接收来自于驾驶员行为的反馈，用于通过经验自学习；
（iv）学习具体驾驶员的驾驶特性，以优化具体驾驶员的响应；
（v）建模驾驶员的注意力焦点和专注度；以及
（vi）预测驾驶员的即将动作。
7.根据权利要求5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个车辆传感器，用于感测车辆有关参数。
8.根据权利要求7所述的驾驶员辅助系统，其中，所述至少一个车辆传感器选自如下组：速度表、发动机温度表、燃料表、转速计、注意是否配置风档刮水器的传感器、注意是否配置灯的传感器、注意是否配置危险系统的传感器、以及注意方向盘位置的传感器。
9.根据权利要求5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个驾驶员传感器，用于感测驾驶员有关参数。
10.根据权利要求9所述的驾驶员辅助系统，其中，所述至少一个驾驶员传感器选自如下组：感测驾驶员专注度的传感器；从昏昏欲睡提供驾驶员警觉性反馈的照相机；从闭眼提供驾驶员警觉性反馈的照相机；从凝视方向跟踪驾驶员注意力的眼睛跟踪器；安装在方向盘上的压力传感器；监测排汗的皮肤电反应传感器以及脑电图传感器。
11.根据权利要求5所述的驾驶员辅助系统，其中，所述多个传感器包括至少一个周围传感器，用于感测与车辆周围环境有关的变量。
12.根据权利要求11所述的驾驶员辅助系统，其中，所述至少一个周围传感器选自如下组：前视照相机；车道跟随传感器；在所有方向配置以确定附近目标距离的距离传感器；雷达；声纳、IR传感器；总体位置传感器；GPS；环境温度传感器和环境光线传感器。
13.根据权利要求5所述的驾驶员辅助系统，配置成在选自以下组的至少一个应用中使用：半自主控制、事故预防、报警、培训、驾驶员模拟和车辆设计优化。
14.一种车辆，包括根据权利要求5所述的驾驶员辅助系统。
15.一种与车辆、与车辆的周围环境以及与车辆驾驶员相接的方法，包括：
（i）使用相关文本将驾驶员行为表征在帧存储器中作为帧存储；
（ii）基于目标和奖励来排序帧；
（iii）在工作存储器中保持帧和将帧分类为工作存储器中的前景和背景帧，工作存储器包括前景子存储器和背景子存储器，前景子存储器存储最高级别行为，背景子存储器存储具有有限能力的较低实用性行为；以及
（iv）识别与具有最高排序的帧有关的显著特征。
16.根据权利要求15所述的方法，还包括：处理来自于车辆上的多个传感器的传感器输入，所述多个传感器与驾驶员、车辆和周围环境有关，处理来自于车辆上的多个传感器的传感器输入包括：
（i）融合来自于所述多个传感器的数据且将所融合数据以合适格式输出；
（ii）建模驾驶员的注意力焦点和专注度以预测驾驶员的即将动作；
（iii）在周围环境中描述车辆状态；
（iv）将从所预测即将动作和车辆状态获得的结果进行比较以确定不匹配；
（v）评估是否存在不匹配从而需要进一步动作；以及
（vi）确定在检测不匹配时的所需动作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/486,224 US20130325202A1 (en) | 2012-06-01 | 2012-06-01 | Neuro-cognitive driver state processing |
| US13/486224 | 2012-06-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103448719A CN103448719A (zh) | 2013-12-18 |
| CN103448719B true CN103448719B (zh) | 2016-08-10 |
Family
ID=49626047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310211552.2A Expired - Fee Related CN103448719B (zh) | 2012-06-01 | 2013-05-31 | 神经认知驾驶员状态处理 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130325202A1 (zh) |
| CN (1) | CN103448719B (zh) |
| DE (1) | DE102013210050B4 (zh) |
Families Citing this family (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11511757B2 (en) * | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
| JP5598411B2 (ja) * | 2011-04-20 | 2014-10-01 | 日産自動車株式会社 | 車両用情報提供装置 |
| US20140007010A1 (en) * | 2012-06-29 | 2014-01-02 | Nokia Corporation | Method and apparatus for determining sensory data associated with a user |
| US9355123B2 (en) * | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
| US9096199B2 (en) * | 2013-10-09 | 2015-08-04 | Ford Global Technologies, Llc | Monitoring autonomous vehicle braking |
| KR101539302B1 (ko) * | 2013-12-11 | 2015-07-30 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| EP2907730B1 (en) | 2014-01-29 | 2017-09-06 | Steering Solutions IP Holding Corporation | Hands on steering wheel detect |
| WO2015123647A1 (en) | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
| US10046793B2 (en) * | 2014-02-26 | 2018-08-14 | GM Global Technology Operations LLC | Methods and systems for automated driving |
| US10664749B1 (en) * | 2014-03-28 | 2020-05-26 | Hrl Laboratories, Llc | Prefrontal modulation of context-specific memory encoding and retrieval in the hippocampus |
| US20150302718A1 (en) * | 2014-04-22 | 2015-10-22 | GM Global Technology Operations LLC | Systems and methods for interpreting driver physiological data based on vehicle events |
| US9262924B2 (en) | 2014-07-09 | 2016-02-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adapting a warning output based on a driver's view |
| US9365218B2 (en) * | 2014-07-14 | 2016-06-14 | Ford Global Technologies, Llc | Selectable autonomous driving modes |
| JP6327994B2 (ja) * | 2014-07-28 | 2018-05-23 | ルネサスエレクトロニクス株式会社 | 制御システムおよび半導体装置 |
| US9747812B2 (en) | 2014-10-22 | 2017-08-29 | Honda Motor Co., Ltd. | Saliency based awareness modeling |
| US9904362B2 (en) * | 2014-10-24 | 2018-02-27 | GM Global Technology Operations LLC | Systems and methods for use at a vehicle including an eye tracking device |
| DE102015003348A1 (de) * | 2015-03-14 | 2016-09-15 | Audi Ag | Verfahren zum Betreiben eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug |
| US10589774B2 (en) | 2015-05-01 | 2020-03-17 | Steering Solutions Ip Holding Corporation | Counter rotation steering wheel |
| US10351159B2 (en) | 2015-05-01 | 2019-07-16 | Steering Solutions Ip Holding Corporation | Retractable steering column with a radially projecting attachment |
| EP3304520B1 (en) | 2015-05-27 | 2023-09-20 | Dov Moran | Alerting predicted accidents between driverless cars |
| US10031522B2 (en) | 2015-05-27 | 2018-07-24 | Dov Moran | Alerting predicted accidents between driverless cars |
| US9919724B2 (en) | 2015-05-29 | 2018-03-20 | Steering Solutions Ip Holding Corporation | Retractable steering column with manual retrieval |
| US10343706B2 (en) | 2015-06-11 | 2019-07-09 | Steering Solutions Ip Holding Corporation | Retractable steering column system, vehicle having the same, and method |
| US11560169B2 (en) | 2015-06-11 | 2023-01-24 | Steering Solutions Ip Holding Corporation | Retractable steering column system and method |
| DE102016110791A1 (de) | 2015-06-15 | 2016-12-15 | Steering Solutions Ip Holding Corporation | Gestensteuerung für ein einfahrbares Lenkrad |
| US10577009B2 (en) | 2015-06-16 | 2020-03-03 | Steering Solutions Ip Holding Corporation | Retractable steering column assembly and method |
| US9828016B2 (en) | 2015-06-24 | 2017-11-28 | Steering Solutions Ip Holding Corporation | Retractable steering column system, vehicle having the same, and method |
| US9493118B1 (en) * | 2015-06-24 | 2016-11-15 | Delphi Technologies, Inc. | Cognitive driver assist with variable warning for automated vehicles |
| DE102016111473A1 (de) | 2015-06-25 | 2016-12-29 | Steering Solutions Ip Holding Corporation | Stationäre lenkradbaugruppe und verfahren |
| US20160375931A1 (en) | 2015-06-25 | 2016-12-29 | Steering Solutions Ip Holding Corporation | Rotation control system for a steering wheel and method |
| US9944307B2 (en) | 2015-06-26 | 2018-04-17 | Steering Solutions Ip Holding Corporation | Steering assembly and method of monitoring a space within vehicle |
| US10112639B2 (en) | 2015-06-26 | 2018-10-30 | Steering Solutions Ip Holding Corporation | Vehicle steering arrangement and method of making same |
| US20160378112A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | Autonomous vehicle safety systems and methods |
| US9840271B2 (en) | 2015-06-29 | 2017-12-12 | Steering Solutions Ip Holding Corporation | Retractable steering column with rake limiter |
| US9845103B2 (en) | 2015-06-29 | 2017-12-19 | Steering Solutions Ip Holding Corporation | Steering arrangement |
| US9849904B2 (en) | 2015-07-31 | 2017-12-26 | Steering Solutions Ip Holding Corporation | Retractable steering column with dual actuators |
| CN105172598A (zh) * | 2015-08-13 | 2015-12-23 | 杭州纬恩电子科技有限公司 | 一种考虑个体反应时间的智能汽车碰撞预警装置及方法 |
| US9845106B2 (en) | 2015-08-31 | 2017-12-19 | Steering Solutions Ip Holding Corporation | Overload protection for belt drive mechanism |
| KR102147361B1 (ko) | 2015-09-18 | 2020-08-24 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
| US9809158B2 (en) | 2015-09-29 | 2017-11-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | External indicators and notifications for vehicles with autonomous capabilities |
| US10160472B2 (en) | 2015-10-20 | 2018-12-25 | Steering Solutions Ip Holding Corporation | Steering column with stationary hub |
| US9809155B2 (en) | 2015-10-27 | 2017-11-07 | Steering Solutions Ip Holding Corporation | Retractable steering column assembly having lever, vehicle having retractable steering column assembly, and method |
| DE102015221367A1 (de) | 2015-11-02 | 2017-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Ermitteln von Prior-Werten einer Überwachungsvorrichtung eines Fahrers eines Kraftfahrzeuges |
| KR102137213B1 (ko) * | 2015-11-16 | 2020-08-13 | 삼성전자 주식회사 | 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치 |
| US10053093B2 (en) | 2015-11-24 | 2018-08-21 | Bendix Commercial Vehicle Systems Llc | Method and system for controlling a cruise control system |
| US10029725B2 (en) | 2015-12-03 | 2018-07-24 | Steering Solutions Ip Holding Corporation | Torque feedback system for a steer-by-wire vehicle, vehicle having steering column, and method of providing feedback in vehicle |
| US10322682B2 (en) | 2016-03-03 | 2019-06-18 | Steering Solutions Ip Holding Corporation | Steering wheel with keyboard |
| US9849828B2 (en) | 2016-04-04 | 2017-12-26 | Cnh Industrial America Llc | Status indicator for an autonomous agricultural vehicle |
| WO2017177128A1 (en) | 2016-04-08 | 2017-10-12 | The Trustees Of Columbia University In The City Of New York | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface |
| US10496102B2 (en) | 2016-04-11 | 2019-12-03 | Steering Solutions Ip Holding Corporation | Steering system for autonomous vehicle |
| DE102017108692B4 (de) | 2016-04-25 | 2024-09-26 | Steering Solutions Ip Holding Corporation | Steuerung einer elektrischen Servolenkung unter Verwendung von Systemzustandsvorhersagen |
| US10065658B2 (en) * | 2016-05-23 | 2018-09-04 | International Business Machines Corporation | Bias of physical controllers in a system |
| US10351161B2 (en) | 2016-05-27 | 2019-07-16 | Steering Solutions Ip Holding Corporation | Steering column with manual retraction |
| US10421476B2 (en) | 2016-06-21 | 2019-09-24 | Steering Solutions Ip Holding Corporation | Self-locking telescope actuator of a steering column assembly |
| US10457313B2 (en) | 2016-06-28 | 2019-10-29 | Steering Solutions Ip Holding Corporation | ADAS wheel locking device |
| US10363958B2 (en) | 2016-07-26 | 2019-07-30 | Steering Solutions Ip Holding Corporation | Electric power steering mode determination and transitioning |
| US10160477B2 (en) | 2016-08-01 | 2018-12-25 | Steering Solutions Ip Holding Corporation | Electric power steering column assembly |
| US10189496B2 (en) | 2016-08-22 | 2019-01-29 | Steering Solutions Ip Holding Corporation | Steering assembly having a telescope drive lock assembly |
| US10384708B2 (en) | 2016-09-12 | 2019-08-20 | Steering Solutions Ip Holding Corporation | Intermediate shaft assembly for steer-by-wire steering system |
| US10160473B2 (en) | 2016-09-13 | 2018-12-25 | Steering Solutions Ip Holding Corporation | Steering column decoupling system |
| US10144383B2 (en) | 2016-09-29 | 2018-12-04 | Steering Solutions Ip Holding Corporation | Steering wheel with video screen and airbag |
| US10399591B2 (en) | 2016-10-03 | 2019-09-03 | Steering Solutions Ip Holding Corporation | Steering compensation with grip sensing |
| US10239552B2 (en) | 2016-10-14 | 2019-03-26 | Steering Solutions Ip Holding Corporation | Rotation control assembly for a steering column |
| US10481602B2 (en) | 2016-10-17 | 2019-11-19 | Steering Solutions Ip Holding Corporation | Sensor fusion for autonomous driving transition control |
| CN106502177A (zh) * | 2016-11-01 | 2017-03-15 | 合肥洛维信息科技有限公司 | 一种驾驶培训教练车的预警系统 |
| US10310605B2 (en) | 2016-11-15 | 2019-06-04 | Steering Solutions Ip Holding Corporation | Haptic feedback for steering system controls |
| US10421475B2 (en) | 2016-11-15 | 2019-09-24 | Steering Solutions Ip Holding Corporation | Electric actuator mechanism for retractable steering column assembly with manual override |
| US9862403B1 (en) | 2016-11-29 | 2018-01-09 | Steering Solutions Ip Holding Corporation | Manually retractable steering column assembly for autonomous vehicle |
| US10351160B2 (en) | 2016-11-30 | 2019-07-16 | Steering Solutions Ip Holding Corporation | Steering column assembly having a sensor assembly |
| US10780915B2 (en) | 2016-12-07 | 2020-09-22 | Steering Solutions Ip Holding Corporation | Vehicle steering system having a user experience based automated driving to manual driving transition system and method |
| US10370022B2 (en) | 2017-02-13 | 2019-08-06 | Steering Solutions Ip Holding Corporation | Steering column assembly for autonomous vehicle |
| US10385930B2 (en) | 2017-02-21 | 2019-08-20 | Steering Solutions Ip Holding Corporation | Ball coupling assembly for steering column assembly |
| EP3370085B1 (en) * | 2017-03-01 | 2021-10-13 | Aptiv Technologies Limited | Method of tracking a plurality of objects in the vicinity of a host vehicle |
| CN110381831B (zh) * | 2017-03-03 | 2022-08-02 | 福特全球技术公司 | 车辆事件识别 |
| US10449927B2 (en) | 2017-04-13 | 2019-10-22 | Steering Solutions Ip Holding Corporation | Steering system having anti-theft capabilities |
| DE102017206585B4 (de) * | 2017-04-19 | 2023-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Insassenunterstützungsverfahren, Insassenunterstützungssystem und Fahrzeug |
| CN107229973B (zh) * | 2017-05-12 | 2021-11-19 | 中国科学院深圳先进技术研究院 | 一种用于车辆自动驾驶的策略网络模型的生成方法及装置 |
| DE102017208971A1 (de) | 2017-05-29 | 2018-11-29 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur unterstützung eines in einem fahrzeug befindlichen fahrzeuginsassen |
| US10357195B2 (en) | 2017-08-01 | 2019-07-23 | Panasonic Intellectual Property Management Co., Ltd. | Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition |
| US10739774B2 (en) | 2017-10-06 | 2020-08-11 | Honda Motor Co., Ltd. | Keyframe based autonomous vehicle operation |
| US10379535B2 (en) | 2017-10-24 | 2019-08-13 | Lear Corporation | Drowsiness sensing system |
| EP3486140B1 (en) | 2017-11-20 | 2021-01-20 | Steering Solutions IP Holding Corporation | Vision based active steering system |
| US10836403B2 (en) | 2017-12-04 | 2020-11-17 | Lear Corporation | Distractedness sensing system |
| EP3720748A4 (en) * | 2017-12-08 | 2020-12-16 | Telefonaktiebolaget LM Ericsson (publ) | DETERMINING AN UNDERWANTED ACTION BY A VEHICLE |
| CN108146252A (zh) * | 2017-12-22 | 2018-06-12 | 南京越博电驱动系统有限公司 | 一种基于卫星信号的电动车辆能量回收系统 |
| US10210409B1 (en) * | 2018-02-07 | 2019-02-19 | Lear Corporation | Seating system with occupant stimulation and sensing |
| IT201700132925A1 (it) * | 2018-03-09 | 2019-09-09 | Davide Venditti | Sistema integrato di telemetria |
| US10875566B2 (en) | 2018-03-22 | 2020-12-29 | Steering Solutions Ip Holding Corporation | Stow release assembly for a manually adjustable steering column assembly |
| WO2019186560A1 (en) * | 2018-03-28 | 2019-10-03 | Adam Cogtech Ltd. | Cognitive state-based seamless stimuli |
| US10867218B2 (en) | 2018-04-26 | 2020-12-15 | Lear Corporation | Biometric sensor fusion to classify vehicle passenger state |
| US10974756B2 (en) | 2018-07-31 | 2021-04-13 | Steering Solutions Ip Holding Corporation | Clutch device latching system and method |
| CN109121108A (zh) * | 2018-08-01 | 2019-01-01 | 佛山市苔藓云链科技有限公司 | 一种基于物联网的感知控制系统 |
| US10347132B1 (en) * | 2018-10-30 | 2019-07-09 | GM Global Technology Operations LLC | Adjacent pedestrian collision mitigation |
| DE102018128550B4 (de) * | 2018-11-14 | 2022-03-17 | B-Horizon GmbH | Verfahren zum Überwachen eines Fahrers eines Fahrzeugs mittels eines Messsystems |
| US12059980B2 (en) | 2019-06-21 | 2024-08-13 | Lear Corporation | Seat system and method of control |
| CN114126943A (zh) * | 2019-07-08 | 2022-03-01 | 宝马汽车股份有限公司 | 应用于自主车辆中的方法和设备 |
| US11524691B2 (en) | 2019-07-29 | 2022-12-13 | Lear Corporation | System and method for controlling an interior environmental condition in a vehicle |
| JP7314813B2 (ja) * | 2020-01-29 | 2023-07-26 | トヨタ自動車株式会社 | 車両制御方法、車両用制御装置及びサーバ |
| CN111291812B (zh) * | 2020-02-11 | 2023-10-17 | 浙江大华技术股份有限公司 | 属性类别的获取方法及装置、存储介质、电子装置 |
| US11335104B2 (en) * | 2020-03-31 | 2022-05-17 | Toyota Research Institute, Inc. | Methods and system for predicting driver awareness of a feature in a scene |
| US20240130652A1 (en) * | 2021-02-23 | 2024-04-25 | Board Of Trustees Of Michigan State University | Systems, apparatus, and methods for assessing cognitive decline based upon monitored driving performance |
| US11760318B2 (en) * | 2021-03-11 | 2023-09-19 | GM Global Technology Operations LLC | Predictive driver alertness assessment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101537835A (zh) * | 2009-04-24 | 2009-09-23 | 清华大学 | 具有驾驶辅助功能的集成式电控制动系统 |
| KR20100030566A (ko) * | 2008-09-10 | 2010-03-18 | 네이셔널 치아오 텅 유니버시티 | 지능형 운전 보조 시스템들 |
| CN201882075U (zh) * | 2010-12-31 | 2011-06-29 | 惠州天缘电子有限公司 | 一种驾驶辅助系统 |
| CN102390320A (zh) * | 2011-08-22 | 2012-03-28 | 武汉理工大学 | 基于车载传感网络的车辆防撞预警系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10126224A1 (de) | 2001-05-30 | 2002-12-12 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges |
| DE10343683A1 (de) | 2003-09-20 | 2005-04-21 | Daimler Chrysler Ag | Informationssystem für Kraftfahrzeuge |
| US8085139B2 (en) * | 2007-01-09 | 2011-12-27 | International Business Machines Corporation | Biometric vehicular emergency management system |
| EP2316705B1 (en) * | 2009-10-28 | 2012-06-20 | Honda Research Institute Europe GmbH | Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems |
-
2012
- 2012-06-01 US US13/486,224 patent/US20130325202A1/en not_active Abandoned
-
2013
- 2013-05-29 DE DE102013210050.7A patent/DE102013210050B4/de not_active Expired - Fee Related
- 2013-05-31 CN CN201310211552.2A patent/CN103448719B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100030566A (ko) * | 2008-09-10 | 2010-03-18 | 네이셔널 치아오 텅 유니버시티 | 지능형 운전 보조 시스템들 |
| CN101537835A (zh) * | 2009-04-24 | 2009-09-23 | 清华大学 | 具有驾驶辅助功能的集成式电控制动系统 |
| CN201882075U (zh) * | 2010-12-31 | 2011-06-29 | 惠州天缘电子有限公司 | 一种驾驶辅助系统 |
| CN102390320A (zh) * | 2011-08-22 | 2012-03-28 | 武汉理工大学 | 基于车载传感网络的车辆防撞预警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130325202A1 (en) | 2013-12-05 |
| DE102013210050B4 (de) | 2022-03-31 |
| DE102013210050A1 (de) | 2013-12-12 |
| CN103448719A (zh) | 2013-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103448719B (zh) | 神经认知驾驶员状态处理 | |
| Wang et al. | Driving style analysis using primitive driving patterns with Bayesian nonparametric approaches | |
| CN108205731B (zh) | 情境评估车辆系统 | |
| US11900738B2 (en) | Systems and methods to obtain feedback in response to autonomous vehicle failure events | |
| US9956963B2 (en) | Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels | |
| Li et al. | Cognitive cars: A new frontier for ADAS research | |
| CN110103956A (zh) | 一种无人车自动超车轨迹规划方法 | |
| CN109421630A (zh) | 用于监测自主车辆的健康的控制器架构 | |
| Shirazi et al. | Detection of intoxicated drivers using online system identification of steering behavior | |
| Negash et al. | Driver behavior modeling toward autonomous vehicles: Comprehensive review | |
| KR20230069940A (ko) | 운전자 보조 시스템을 테스트하기 위한 방법 및 시스템 | |
| US20190263419A1 (en) | Autonomous vehicle control by comparative transition prediction | |
| Chu et al. | A review of driving style recognition methods from short-term and long-term perspectives | |
| KR20220089772A (ko) | 운전자의 주행 능력을 평가하는 주행 능력 평가 방법 및 그 방법을 수행하는 인적 요소 평가 시스템 | |
| Bauer | A driver specific maneuver prediction model based on fuzzy logic | |
| US11975728B1 (en) | Vehicle system and method for providing feedback based on occupant behavior and emotion | |
| Levermore et al. | A review of driver modelling | |
| Abdi Khojasteh et al. | An intelligent safety system for human-centered semi-autonomous vehicles | |
| US20220230081A1 (en) | Generation and presentation of explanations related to behavior of an automated control system | |
| Mandujano-Granillo et al. | Human-Machine Interfaces: A Review for Autonomous Electric Vehicles | |
| US20240157896A1 (en) | Vehicle system and method for adjusting interior control settings based on driver emotion and environmental context | |
| Barosan | CarESP: an emotion vehicle with stress, personality and embodiment of emotions | |
| Wang | Effecting the driver’s awareness: Options, bounds, limits | |
| de Nalda Tárrega et al. | Can Haptic Signals Aid to Solve ADAS Limitations? | |
| Zhu et al. | A Review of Cockpit-driving Integration for Human-centric Autonomous Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160810 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |