CN109941288A - 安全驾驶辅助装置和方法 - Google Patents

安全驾驶辅助装置和方法 Download PDF

Info

Publication number
CN109941288A
CN109941288A CN201811485733.3A CN201811485733A CN109941288A CN 109941288 A CN109941288 A CN 109941288A CN 201811485733 A CN201811485733 A CN 201811485733A CN 109941288 A CN109941288 A CN 109941288A
Authority
CN
China
Prior art keywords
index
driver
vehicle
passenger
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811485733.3A
Other languages
English (en)
Other versions
CN109941288B (zh
Inventor
秋在炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN109941288A publication Critical patent/CN109941288A/zh
Application granted granted Critical
Publication of CN109941288B publication Critical patent/CN109941288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Abstract

公开了安全驾驶辅助装置和方法。安全驾驶辅助装置可包括：情绪指数检测单元，被配置为使用驾驶员或乘客的视觉、语音和行为中的一个或多个来检测驾驶员或乘客的情绪指数；驾驶员危险指数检测单元，被配置为使用自我意识车辆驾驶信息和自我意识车辆的周围环境信息来检测驾驶员危险指数；驾驶难度等级检测单元，被配置为根据自我意识车辆的驾驶位置检测驾驶难度等级；车辆驾驶单元，被配置为控制自我意识车辆的自动驾驶；和控制单元，被配置为根据情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设安全区域中，控制车辆驾驶单元将自我意识车辆驾驶到安全区域。

Description

安全驾驶辅助装置和方法
相关申请的交叉引用
本申请要求于2017年12月18日提交的韩国申请号10-2017-0174623的优先权，其全部内容通过引用并入本文。
技术领域
本发明涉及安全驾驶辅助装置和方法，更具体地，涉及能够辅助驾驶员的安全驾驶的安全驾驶辅助装置和方法。
背景技术
使引起路怒症的压力和/或压力相关事故加重的因素有很多，各种因素包括道路上车辆数量的增加、道路容量有限以及与现代生活相关的压力源。
然而，传统的道路安全方法不能令人满意地减少这种类型的事故。
近来，自动驾驶控制系统已经公开了一种能够通过反映驾驶员的情绪特征来实现车辆自治的技术。然而，由于自动驾驶控制系统没有充分考虑驾驶条件或外部条件，因此自动驾驶控制系统可能不足以实现安全驾驶。
在2017年10月10日公布的题为“用于车辆的语音接口装置”的韩国专利公开号10-2017-0109758中公开了本发明的现有技术。
发明内容
本发明的实施例致力于这样的安全驾驶辅助装置和方法，即，可通过考虑驾驶员或乘客的情绪指数，驾驶员危险指数和驾驶员难度来确定运行中的车辆的安全性，以及根据确定结果，通过车辆的转向和制动控制将车辆移动到安全区域，从而防止事故。
在一个实施例中，一种安全驾驶辅助装置可包括：情绪指数检测单元，被配置为使用驾驶员或乘客的视觉、语音和行为中的一个或多个来检测驾驶员或乘客的情绪指数；驾驶员危险指数检测单元，被配置为使用自我意识车辆驾驶信息和自我意识车辆的周围环境信息来检测驾驶员危险指数；驾驶难度等级检测单元，被配置为根据自我意识车辆的行驶位置检测驾驶难度等级；车辆驾驶单元，被配置为控制自我意识车辆的自动驾驶；和控制单元，被配置为根据情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设的安全区域中，控制车辆驾驶单元将自我意识车辆驾驶到安全区域。
情绪指数检测单元可包括：第一情绪识别器，被配置为检测驾驶员或乘客的语音信号的特征值，并根据检测到的特征值检测语音指数；第二情绪识别器，被配置为拍摄驾驶员或乘客的图像，并通过分析拍摄的图像来检测驾驶员或乘客的视觉指数；第三情绪识别器，被配置为感测加速器或制动器的位置，并根据加速器或制动器的起动模式和乘客的动作来检测行为指数；和情绪指数计算器，被配置为使用语音指数、视觉指数和行为指数计算情绪指数。
第一情绪识别器可包括：语音信号感测单元，被配置为识别驾驶员或乘客的语音信号；语音指数检测单元，被配置为检测语音信号传感器检测到的语音信号的特征值，并检测与检测到的特征值对应的语音指数。
第二情绪识别器可包括：驾驶员面部拍摄单元，被配置为拍摄驾驶员的眼睛或面部；乘客面部拍摄单元，被配置为拍摄乘客的眼睛或面部；视觉指数检测单元，被配置为在驾驶员面部拍摄单元拍摄的图像中检测驾驶员的眼睛和面部，在乘客面部拍摄单元拍摄的图像中检测乘客的眼睛和面部，并根据驾驶员或乘客的眼球移动或面部表情来检测视觉指数。
第三情绪识别器可包括：起动模式感测单元，被配置为感测加速器或制动器的起动模式；乘客动作指数检测单元，被配置为使用乘客的手臂运动幅度和运动半径以及乘客的运动频率中的一个或多个来检测乘客动作指数；行为指数检测单元，被配置为使用与感测到的加速器或制动器的起动模式对应的起动指数或乘客移动指数检测单元检测到的乘客动作指数来检测驾驶员或乘客的行为指数。
安全驾驶辅助装置可进一步包括情绪状态控制单元，被配置为控制驾驶员和乘客的情绪状态稳定下来。
控制单元可将语音指数、视觉指数和行为指数应用于基于学习的情绪图，并且当情绪指数不包括在预设的稳定区域中时控制情绪状态控制单元。
基于学习的情绪图可根据语音指数、视觉指数和行为指数将驾驶员的情绪状态划分为稳定区域和危险区域。
驾驶员危险指数检测单元可包括：自我意识车辆驾驶轨迹生成器，被配置为使用从内部传感器接收的自我意识车辆驾驶信息生成自我意识车辆驾驶轨迹，所述内部传感器用于感测自我意识车辆的驾驶情况；邻近车辆轨迹生成器，被配置为使用从外部传感器接收的周围环境信息来生成邻近车辆轨迹，所述外部传感器用于感测车辆的周围情况；轨迹负载计算器，被配置为计算轨迹负载，该轨迹负载指示预设阈值与对应于邻近车辆轨迹和自我意识车辆行驶轨迹之间的差异的轨迹距离之间的比较结果；危险指数管理器，被配置为生成与计算出的轨迹负载对应的驾驶员危险指数。
驾驶难度等级检测单元可定义和量化各个区域的驾驶难度等级，并根据自我意识车辆的当前位置检测驾驶难度等级。
当情绪指数、驾驶员危险指数和驾驶难度等级不包括在安全区域中时，控制单元可控制车辆驾驶单元以将自我意识车辆驾驶到安全区域。
在另一实施例中，一种安全驾驶辅助方法可包括：由情绪指数检测单元使用驾驶员或乘客的视觉、语音和行为中的一个或多个，检测驾驶员或乘客的情绪指数；由驾驶员危险指数检测单元使用自我意识车辆驾驶信息和自我意识车辆的周围环境信息，检测驾驶员危险指数；由驾驶难度等级检测单元根据自我意识车辆的行驶位置来检测驾驶难度等级；以及由所述控制单元，确定所述情绪指数、驾驶员危险指数和驾驶等级难度是否包括在预设的安全区域中，并根据确定结果控制车辆驾驶单元将所述自我意识车辆驾驶至安全区域。
检测情绪指数可包括：检测驾驶员或乘客的语音信号的特征值，根据检测到的特征值检测语音指数，拍摄驾驶员或乘客的图像，通过分析拍摄的图像检测驾驶员或乘客的视觉指数，感测加速器或制动器的位置，根据加速器或制动器的起动模式或乘客的动作检测行为指数，并使用语音指数、视觉指数和行为指数计算情绪指数。
控制单元可控制情绪状态控制单元，以根据情绪指数是否包括在预设的稳定区域中，来控制驾驶员和乘客的情绪状态稳定下来。
检测驾驶员危险指数可包括：使用从内部传感器接收的自我意识车辆驾驶信息生成自我意识车辆驾驶轨迹，所述内部传感器用于感测自我意识车辆的驾驶情况；使用从外部传感器接收的周围环境信息生成邻近车辆轨迹，所述外部传感器用于感测车辆的周围情况；计算轨迹负载，所述轨迹负载指示预设阈值与对应于邻近车辆轨迹和自我意识车辆行驶轨迹之间的差异的轨迹距离之间的比较结果；并生成与计算出的轨迹负载对应的驾驶员危险指数。
检测驾驶困难等级可包括定义和量化各个区域的驾驶难度等级，以及根据自我意识车辆的当前位置检测驾驶难度等级。
控制车辆驾驶单元以将自我意识车辆驾驶到安全区域可包括将语音指数、视觉指数和行为指数应用于基于学习的情绪图，并确定情绪指数是否不包括在预设的稳定区域。
基于学习的情绪图可根据语音指数、视觉指数和行为指数将驾驶员的情绪状态划分为稳定区域和危险区域。
附图说明
图1是示出根据本发明的实施例的安全驾驶辅助装置的框图。
图2是示出根据本发明的实施例的情绪指数检测单元的框图。
图3是示出根据本发明实施例的情绪指数的稳定区域的情绪图。
图4是示出根据本发明的实施例的驾驶员危险指数检测单元的框图。
图5是示出图4的周围环境识别器的框图。
图6示意性地示出了由图5的邻近车辆负载计算器基于碰撞时间(TTC)划分的三种关键部分。
图7示出了用于检测图6的各个关键部分中的邻近车辆的传感器配置。
图8示出了通过图7的传感器配置检测邻近车辆。
图9是示出根据本发明实施例的针对情绪指数、驾驶员危险指数和驾驶难度等级的安全区域的情绪图。
图10是示出根据本发明的实施例的情绪状态控制单元的框图。
图11是示出根据本发明的实施例的车辆驾驶单元的框图。
图12是示出根据本发明的实施例的安全驾驶辅助方法的流程图。
图13是示出根据本发明的实施例的驾驶员危险指数检测过程的流程图。
具体实施方式
以下，将参照附图详细描述根据本发明的实施例的安全驾驶辅助装置和方法。应当注意，附图不是精确的比例，并且为了描述方便和清楚起见，可能夸大线的粗细或组件的幅度。此外，本文中使用的术语是通过考虑本发明的功能来定义的，并且可根据用户或操作者的习惯或意图来改变。因此，术语的定义应根据本文所述的总体公开内容进行。
图1是示出根据本发明的实施例的安全驾驶辅助装置的框图，图2是示出根据本发明的实施例的情绪指数检测单元的框图，图3是示出根据本发明的实施例的情绪指数的稳定区域的情绪图，图4是示出根据本发明的实施例的驾驶员危险指数检测单元的框图，图5是示出图4的周围环境识别器的框图，图6示意性地示出了由图5的邻近车辆负载计算器基于碰撞时间(TTC)划分的三种关键部分，图7示出了用于检测图6的各个关键部分中的邻近车辆的传感器配置，图8示出了通过图7的传感器配置检测邻近车辆，图9是示出根据本发明的实施例的针对情绪指数、驾驶员危险指数和驾驶难度等级的安全区域的情绪图，图10是示出根据本发明的实施例的情绪状态控制单元的框图，图11是示出根据本发明的实施例的车辆驾驶单元的框图。
参照图1，根据本发明的实施例的安全驾驶辅助装置可包括情绪指数检测单元10、驾驶员危险指数检测单元20、驾驶难度等级检测单元30、控制单元40、情绪状态控制单元50和车辆驾驶单元60。
情绪指数检测单元10可使用驾驶员或乘客的视觉、语音和行为中的一个或多个来检测驾驶员或乘客的情绪指数。
参照图2，情绪指数检测单元10可包括第一情绪识别器11、第二情绪识别器12、第三情绪识别器13和情绪指数计算器14。
第一情绪识别器11可用于使用驾驶员或乘客的语音信号来检测指示驾驶员或乘客的情绪状态的语音指数。第一情绪识别器11可检测驾驶员或乘客的语音信号的特征值，并根据检测到的特征值检测语音指数。
可通过量化基于语音检测到的驾驶员或乘客的情绪状态来获得语音指数。语音指数可被设置为驾驶员和乘客的语音声音的每个特征值。
第一情绪识别器11可包括语音信号感测单元111和语音指数检测单元112。
语音信号感测单元111可感测驾驶员或乘客的语音信号，并将驾驶员或乘客的语音声音转换为电语音信号。
语音信号感测单元111可包括麦克风等。
语音指数检测单元112可通过处理由语音信号感测单元111感测的语音信号来检测特征值，例如，驾驶员或乘客的音调或音高，并检测与检测到的驾驶员或乘客的音调或音高相对应的语音指数。
第二情绪识别器12可拍摄驾驶员或乘客的眼睛或面部的图像，并通过分析拍摄的图像来检测驾驶员或乘客的视觉指数。
可通过量化基于语音检测到的驾驶员或乘客的情绪状态来获得语音指数，并且语音指数可被设置于(附加于，to)驾驶员和乘客的眼睛或面部表情。
第二情绪识别器12可包括驾驶员面部拍摄单元121、乘客面部拍摄单元123和视觉指数检测单元122。
驾驶员面部拍摄单元121可拍摄驾驶员的眼睛或面部。驾驶员面部拍摄单元121的安装位置没有特别限制，但是设置于自我意识车辆的各种位置，只要驾驶员面部拍摄单元121可拍摄驾驶员的眼睛或面部即可。
乘客面部拍摄单元123可拍摄乘客的眼睛或面部。乘客面部拍摄单元123的安装位置没有特别限制，但是设置于自我意识车辆的各种位置，只要驾驶员面部拍摄单元121可拍摄乘客的眼睛或面部即可。
视觉指数检测单元122可在驾驶员面部拍摄单元121和乘客面部拍摄单元123拍摄的图像中检测驾驶员和乘客的眼睛和面部，并且根据驾驶员和乘客的面部表情或眼球移动来检测视觉指数。
视觉指数检测单元122可检测与驾驶员或乘客在兴奋状态下的眼睛或面部表情相对应的视觉指数。具体地，视觉指数检测单元122可跟踪眼睛的移动或方向或检测面部表情的变化，并且检测与眼睛的移动或方向或面部表情的变化相对应的驾驶员或乘客的视觉指数。
第三情绪识别器13可基于驾驶员或乘客的情绪状态来检测行为指数。
可通过量化基于行为检测到的驾驶员或乘客的情绪状态来获得行为指数。当驾驶员踩踏加速器踏板或制动踏板时，行为指数可被设置为乘客移动或起动模式。
第三情绪识别器13可包括起动模式检测单元131、乘客移动指数检测单元133和行为指数检测单元132。
起动模式检测单元131可通过加速器或制动器的位置来检测加速器或制动器的起动模式。
乘客移动指数检测单元133可基于乘客的移动来检测乘客移动指数。具体地，乘客移动指数检测单元133可拍摄乘客的图像，并且使用拍摄图像中的乘客的移动来检测乘客移动指数，例如，乘客的手臂移动幅度和移动半径以及乘客的运动频率中的一个或多个。此时，乘客的移动可通过用于拍摄车辆中的乘客的单独的摄像机拍摄。
也就是说，乘客移动指数检测单元133可预先存储与乘客的移动相对应的乘客移动指数，检测拍摄的图像中的乘客的手臂移动幅度和运动半径以及乘客的移动频率中的任何一个，然后检测与检测到的移动相对应的乘客移动指数。
行为指数检测单元132可使用由起动模式检测单元131感测到的与加速器或制动器的起动模式对应的起动指数以及乘客移动指数检测单元133检测到的乘客移动指数，来检测驾驶员和乘客的行为指数。
此时，可采用通过使用起动指数和乘客移动指数中的任何一个或两者获得的值作为行为指数。
例如，当行为指数是起动指数和乘客移动指数中的任何一个时，可采用具有它们之间的较大值的指数作为行为指数。
此外，当使用起动指数和乘客移动指数两者时，可将起动指数和乘客移动指数的平均值设置为行为指数，或者可将权重分别应用于起动指数和乘客移动指数，以便计算行为指数。
情绪指数计算器14可通过将语音指数、视觉指数和行为指数应用于基于学习的情绪图来计算情绪指数。
基于学习的情绪图是使用语音指数、视觉指数和行为指数的3D情绪图，并可用于根据语音指数、视觉指数和行为指数确定驾驶员的情绪状态是属于稳定区域还是危险区域。也就是说，基于学习的情绪图可根据语音指数、视觉指数和行为指数将驾驶员的情绪状态划分为稳定区域和危险区域。
如图3所示，情绪指数计算器14可使用语音指数、视觉指数和行为指数来检测情绪指数。
当在语音指数、视觉指数和行为指数已经应用于基于学习的情绪图之后情绪指数未包括在预设的稳定区域中时，可操作情绪状态控制单元50以保持驾驶员的情绪状态处于平衡状态。稍后将描述该过程。
驾驶员危险指数检测单元20可分析驾驶员的驾驶倾向，并且计算与驾驶倾向相对应的驾驶员危险指数(或周围危险指数)。计算结果可作为各种类型的信息提供给驾驶员，以便通知驾驶员危险情况。
驾驶员危险指数检测单元20可通过车辆的各种传感器实时感测自我意识车辆的当前驾驶情况和自我意识车辆周围的车辆的驾驶情况，并通过反映感测到的结果来确定车辆的危险情况。
参照图4，驾驶员危险指数检测单元20可包括内部传感器21、外部传感器22和周围环境识别器23。
内部传感器21可感测自我意识车辆24的驾驶情况，并且生成自我意识车辆驾驶信息。自我意识车辆驾驶信息可包括车辆速度信息、横摆率信息、转向角信息、加速度信息和车轮转速信息。
因此，内部传感器21可包括用于获取车速信息的车速传感器211，用于获取横摆率信息的横摆率传感器212，用于获取转向角信息的转向角传感器213，用于感测车辆的加速度和方向的G传感器214，以及用于获取车轮转速信息的车轮转速传感器215。
外部传感器22可感测自我意识车辆24的周围环境，并且生成周围环境信息。周围环境信息可包括前/后雷达信息、前/后图像信息、横向超声波信息、AVM(环视监视)图像信息和导航信息。
因此，外部传感器22可包括用于获取前/后雷达信息的前/后雷达221，用于获取前/后图像信息的前/后相机222，用于获取横向超声信息的横向超声传感器223，用于获取AVM图像信息的AVM相机224，以及用于获取导航信息的导航系统225。
周围环境识别器23可使用从内部传感器21提供的自我意识车辆驾驶信息和从外部传感器22提供的周围环境信息来计算轨迹负载，并且通过计算出的轨迹负载来管理驾驶员危险指数(或周围危险指数)。下面将参考图5详细描述该过程。
参见图5，周围环境识别器23可使用从内部传感器21提供的自我意识车辆驾驶信息和从外部传感器22提供的周围环境信息来计算轨迹负载，并且通过计算出的轨迹负载来管理驾驶员危险指数(或周围危险指数)。为了更准确地管理驾驶员危险指数，周围环境识别器23可通过进一步考虑邻近车辆负载和道路负载以及轨迹负载来管理驾驶员危险指数。因此，可以以各种方式设计用于管理驾驶员危险指数的系统，这依赖于考虑到系统负载和驾驶员危险指数之间的权衡关系时何时仅仅考虑轨迹负载，何时仅考虑轨迹负载和邻近车辆负载，以及何时仅考虑轨迹负载和道路负载。
图5示出了周围环境识别器23通过将轨迹负载、邻近车辆负载和道路负载全部考虑在内来管理驾驶员危险指数。然而，本发明不限于此。
周围环境识别器23可包括自我意识车辆驾驶轨迹生成器231、邻近车辆轨迹生成器232、轨迹负载计算器233、邻近车辆负载计算器234、道路负载计算器235和驾驶员危险指数管理器236。
自我意识车辆驾驶轨迹生成器231可使用车辆速度信息、转向角信息、加速/减速信息和横摆率信息来估计(获取或生成)自我意识车辆驾驶轨迹，所述各种信息包括在从内部传感器21提供的自我意识车辆驾驶信息中。另外，自我意识车辆驾驶轨迹生成器231可通过包括在从外部传感器22提供的周围环境信息中的导航信息来校正估计的自我意识车辆驾驶轨迹，所述周围环境信息例如驾驶道路信息。
邻近车辆轨迹生成器232可使用从外部传感器22提供的周围环境信息中包括的前/后雷达信息、图像信息和横向超声信息来估计(获取或生成)邻近车辆驾驶轨迹。
用于获取前/后雷达信息的前/后雷达221可获得准确的距离信息(纵向方向)，但具有稍低的物体识别精度。
然而，由于用于获取图像信息的相机222和224获取单眼图像，因此相机222和224可获得高物体识别精度和准确的横向信息，但距离信息(纵向方向)的精度劣化。
因此，为了获得邻近车辆轨迹，可通过前/后雷达221获取目标车辆模型等式中的纵向方向距离信息，并且可通过前/后相机222、AVM相机224和横向超声传感器223获取目标车辆模型等式中的横向距离信息。
下面的等式1表示车辆模型等式，其由邻近车辆轨迹生成器232用于估计邻近车辆轨迹。
【等式1】
在等式1中，x，Vx，y和Vy可表示目标车辆的状态变量，并且x和y可表示目标车辆的位置，其由图像相机测量。此外，Vx和Vy可表示目标车辆的速度。此外，A可表示车辆模型等式，H可表示测量值模型等式，并且状态变量可包括x轴方向上的距离和速度以及y轴方向上的距离和速度。假设系统噪声和测量噪声是白高斯噪声。
轨迹负载计算器233可计算轨迹负载WTrj，轨迹负载WTrj指示预设阈值与对应于邻近车辆轨迹和自我意识车辆轨迹之间的差异的轨迹距离之间的比较结果。
当自我意识车辆驾驶轨迹和邻近车辆轨迹的估计结果指示存在碰撞危险时，驾驶员需要非常注意。因此，可将碰撞危险计算为轨迹负载WTrj。
因此，可基于自我意识车辆轨迹13-1和邻近车辆轨迹13-3来计算轨迹负载WTrj，如下面的等式2所表示的。
【等式2】
WTrj(i)＝|TTrj(i)-DTrj(i)|如果WTrj(i)＞阈值，0
WTrj(i)＜阈值，1
在等式2中，DTrj表示自我意识车辆轨迹，并且TTrj表示邻近车辆轨迹。此外，i表示检测到的邻近车辆，其中i是1，2，……n。
根据等式1，当检测到的邻近车辆的轨迹与自我意识车辆的轨迹之间的比较结果指示轨迹距离小于阈值时，轨迹负载WTrj可被设置为1；当比较结果指示轨迹距离高于阈值时，轨迹负载WTrj可被设置为0。
邻近车辆负载计算器234可从周围环境信息确定其前/后/侧方的车辆的数量和关于是否发生变道的信息，并且通过车辆的数量和关于是否发生变道的信息来计算邻近车辆负载WS。当在运行中的自我意识车辆周围存在车辆并且车辆的轨迹显著改变时，这可充当驾驶员需要注意的负载。
可基于碰撞时间(TTC)将由邻近车辆负载计算器234执行的邻近车辆负载计算分成围绕自我意识车辆24的三个关键部分①，②和③，如图6所示。这里，TTC可被定义为当相应车辆的关闭速度恒定时直到相应车辆与目标车辆碰撞所消耗的时间。可通过从内部传感器21的车辆速度传感器211和转向角传感器213获取的车辆速度信息和转向角信息来计算TTC。
例如，如图7和图8中所示，邻近车辆负载计算器234可识别在自我意识车辆24周围的车辆271、272、273和274，其在前/后雷达221的检测区域262和263中检测到，在前/后相机222的检测区域261中检测到，以及在横向超声传感器223的检测区域25中检测到，并且通过将距离检测到的车辆的相对距离除以相对速度值来计算TTC值，以获取关键部分①，②和③。
当获取三个关键部分①，②和③时，邻近车辆负载计算器234可通过确定在各个部分中检测到的车辆的数量和关于是否发生变道的信息来计算邻近车辆负载WS。
在部分①中检测到的车辆的数量和变道的数量越高，计算的邻近车辆负载WS越高。
另一方面，当在自我意识车辆周围几乎没有检测到车辆或者在部分③中检测到车辆并且邻近车辆的轨迹没有显著改变时，邻近车辆负载WS可减小。
邻近车辆负载WS可表示为下面的等式3。
【等式3】
在等式3中，α和β表示加权因子，S表示检测到的车辆的位置(部分①，②和③)，并且L表示检测到的邻近车辆是否改变车道。此时，当相应的邻近车辆改变车道时，L可设置为1，或者当相应的邻近车辆不改变车道时，L设置为0。检测到的车辆可由1到n表示。
道路负载计算器235可使用包括在周围环境信息中的道路形状、路面状况和交通状况来计算道路负载。由于驾驶员在弯道应该比直道应该更消息，在交叉路口应该比一般道路更小心，并且当前方的交通状况不好时需要更加注意，因此需要计算道路负载。
道路负载计算器235可使用从车辆的导航系统225获取的导航信息识别自我意识车辆前方的道路的形状，并反映从前/后相机获取的路面状况信息(铺设后的道路或未铺设的道路)。计算可表示为下面的等式4。
【等式4】
WR＝α×A+β×B+γ×C
在等式4中，A表示道路状况。例如，随着前方道路的曲率更高，A可具有更大的值。此外，在交通标志改变，行人、限速或儿童保护区的情况下，A可能具有更大的值。此外，B表示反映铺设后道路或未铺设道路的路面状况值，C表示前方道路的交通，并且随着交通量越高，值越大。A、B和C可归一化在0至5的范围内。
驾驶员危险指数管理器236可向驾驶员提供驾驶员危险指数(在危险指数附近)，其中在各个步骤中计算的负载WTrj、WS和WR被整合。例如，驾驶员危险指数管理器236可将轨迹负载WTrj、邻近车辆负载WS和道路负载WR相加，并提供相加结果作为驾驶员危险指数。
驾驶员危险指数可表示为下面的等式5。
【等式5】
驾驶员危险指数＝WTrj+WS+WR
驾驶难度等级检测单元30可根据自我意识车辆24的驾驶位置来检测驾驶难度等级。即，驾驶难度等级检测单元30可预先定义和量化各个区域的驾驶难度等级，检查自我意识车辆24的当前位置包括在上述区域中的哪一个，然后检测与车辆24的当前位置相对应的驾驶难度等级。
当自我意识车辆24的当前位置包括在频繁发生事故的区域或者其中驾驶困难或发生实际事故的诸如隧道或山路的区域中时，驾驶难度等级可设置为相对较高的等级。
控制单元40可根据情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设安全区域中来控制车辆驾驶单元60将自我意识车辆24驾驶到安全区域。
也就是说，如图9所示，控制单元40可分析情绪指数、驾驶员危险指数和驾驶难度等级，并确定情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设安全区域中。当确定结果指示情绪指数、驾驶员危险指数和驾驶难度等级不包括在安全区域中时，控制单元40可控制车辆驾驶单元60将自我意识车辆驾驶到安全区域。此外，控制单元40可警告驾驶员情绪指数、驾驶员危险指数和驾驶难度等级不包括在安全区域中，或者将危险警告发送到预设电话号码，例如，驾驶员或乘客的朋友的电话号码。
当在语音指数、视觉指数和行为指数已经应用于基于学习的情绪图之后情绪指数未包括在预设安全区域中时，控制单元40可控制情绪状态控制单元50保持驾驶员或乘客的情绪状态平衡。
情绪状态控制单元50可控制驾驶员或乘客的情绪状态，使得驾驶员或乘客的情绪状态稳定下来。
参照图10，情绪状态控制单元50可包括图像输出单元51、语音输出单元52、空调53、气味释放单元54、按摩器55和环境光56。
作为参考，情绪状态控制单元50不限于上述实施例，而是可包括能够控制驾驶员的情绪的各种装置。
车辆驾驶单元60可通过自动导航方法将车辆驾驶到安全区域。
参见图11，车辆驾驶单元60可包括用于控制自我意识车辆24的发动机的发动机控制模块61，用于控制自我意识车辆24的制动的制动控制模块62，用于控制自我意识车辆24的转向的转向控制模块63，以及用于控制制动控制模块62和转向控制模块63以将车辆移动到安全区域的车辆控制模块64。
在下文中，将参考图12和13详细描述根据本发明的实施例的安全驾驶辅助方法。
图12是说明根据本发明的实施例的安全驾驶辅助方法的流程图，图13是示出根据本发明的实施例的驾驶员危险指数检测过程的流程图。
参照图12，在步骤S10，情绪指数检测单元10可使用驾驶员或乘客的视觉、语音和行为中的一个或多个来检测驾驶员或乘客的情绪指数。
在这种情况下，第一情绪识别器11可检测驾驶员或乘客的语音信号的特征值，并根据检测到的特征值检测语音指数。第二情绪识别器12可拍摄驾驶员或乘客的眼睛或面部的图像，检测拍摄图像中的驾驶员或乘客的眼睛和面部，并根据检测到的驾驶员或乘客的眼球移动或面部表情来检测视觉指数。第三情绪识别器13可感测加速器或制动器的位置，基于加速器或制动器的位置变化检测起动模式，检测与起动模式对应的起动指数，通过乘客移动指数检测单元133检测乘客移动指数，并且使用检测到的起动指数或乘客移动指数检测驾驶员或乘客的行为指数。
由于语音指数、视觉指数和行为指数由第一情绪识别器11至第三情绪识别器13检测，情绪指数计算器14可通过将语音指数、视觉指数和行为指数应用于基于学习的情绪图来计算情绪指数。
在步骤S20，驾驶员危险指数检测单元20可分析驾驶员的驾驶倾向，并计算与驾驶倾向相对应的驾驶员危险指数(或周围危险指数)。
参照图13，在步骤S210，周围环境识别器23可生成自我意识车辆24的驾驶轨迹，并且在步骤S220通过所生成的自我意识车辆驾驶轨迹估计自我意识车辆24的位置。可基于车辆速度信息、转向角信息、加速/减速信息和横摆率信息生成自我意识车辆驾驶轨迹。
然后，在步骤S230，周围环境识别器23可生成邻近车辆轨迹，并且在步骤S240估计邻近车辆的位置。可基于通过雷达221获取的纵向距离信息和通过相机和横向超声传感器获取的横向距离信息来生成邻近车辆轨迹。纵向距离信息可指示邻近车辆相对于自我意识车辆24的纵向距离信息，并且横向距离信息可指示邻近车辆相对于自我意识车辆24的横向距离信息。
在步骤S250，周围环境识别器23可计算轨迹负载。可通过自我意识车辆驾驶轨迹和邻近车辆驾驶轨迹来计算轨迹负载。例如，当自我意识车辆行驶轨迹与检测到的邻近车辆的行驶轨迹之间的比较结果表明与其间的差值对应的轨迹距离低于阈值时，轨迹负载可设置为1，并且当比较结果指示轨迹距离高于阈值时，轨迹负载可设置为0。
当计算轨迹负载时，在步骤S260，周围环境识别器23可计算邻近车辆负载。可基于TTC值，考虑关于是否发生变道的信息和围绕自我意识车辆24划分的多个关键区域(critical areas，危险区域)中的车辆数量来计算邻近车辆负载。此时，周围环境识别器23可使用超声波识别邻近车辆，并且通过将相距检测到的车辆的相对距离除以相对速度值来计算TTC值，以便获取关键部分。
在步骤S270，周围环境识别器23可计算道路负载。可通过导航信息、路面状况信息和交通信息来计算道路负载。
在步骤S280，周围环境识别器23可计算驾驶员危险指数。可通过将轨迹负载、邻近车辆负载和道路负载相加来计算驾驶员危险指数。
驾驶难度等级检测单元30可预先定义和量化各个区域的驾驶难度等级，检查自我意识车辆24的当前位置包括在上述区域中的哪一个，然后在步骤S30，检测对应于车辆24的当前位置的驾驶难度。
当自我意识车辆24的当前位置包括在频繁发生事故的区域或者其中驾驶困难或发生实际事故的诸如隧道或山路之类的区域时，驾驶难度等级可设置为相对较高的等级。
由于检测到情绪指数、驾驶员危险指数和驾驶难度等级，在步骤S40，控制单元40可确定情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设安全区域中。在步骤S50，根据情绪指数、驾驶员危险指数和驾驶难度等级是否包括在预设安全区域中，控制单元40可警告驾驶员或家庭成员，或者控制车辆驾驶单元60以将自我意识车辆24驾驶到安全区域。
在这种情况下，当情绪指数、驾驶员危险指数和驾驶难度等级不包括在安全区域中时，车辆驾驶单元60可将自我意识车辆24驾驶到安全区域。此外，控制单元40可警告驾驶员驾驶员情绪指数、驾驶员危险指数和驾驶难度等级不包括在安全区域中，或者向预设电话号码发送警告，例如，驾驶员或乘客的朋友的电话号码。
当在语音指数、视觉指数和行为指数已经应用于基于学习的情绪图之后情绪指数不包括在预设安全区域中时，控制单元40可控制情绪状态控制单元50控制驾驶员或乘客的情绪状态，使得驾驶员或乘客的情绪状态稳定下来。
这样，根据本发明的实施例的安全驾驶辅助装置和方法可通过考虑情绪指数、驾驶员危险指数和驾驶难度等级来确定运行中的自我意识车辆的安全性，并且根据确定结果，通过车辆的转向和制动控制将自我意识车辆移动到安全区域，从而防止事故。
尽管出于说明性目的公开了本发明的优选实施例，但是本领域技术人员将理解，在不脱离所附权利要求限定的本发明的范围和精神的情况下，可进行各种修改、添加和替换。

Claims (18)

1.一种安全驾驶辅助装置，包括：
情绪指数检测单元，被配置为使用驾驶员或乘客的视觉、语音和行为中的一个或多个来检测所述驾驶员或乘客的情绪指数；
驾驶员危险指数检测单元，被配置为使用自我意识车辆的自我意识车辆驾驶信息和所述自我意识车辆的周围环境信息来检测驾驶员危险指数；
驾驶难度等级检测单元，被配置为根据所述自我意识车辆的驾驶位置检测驾驶难度等级；
车辆驾驶单元，被配置为控制所述自我意识车辆的自动驾驶；
和
控制单元，被配置为根据所述情绪指数、所述驾驶员危险指数和所述驾驶难度等级是否包括在预设安全区域中来控制所述车辆驾驶单元以将所述自我意识车辆驾驶到安全区域。
2.根据权利要求1所述的安全驾驶辅助装置，其中，所述情绪指数检测单元包括：
第一情绪识别器，用于检测所述驾驶员或所述乘客的语音信号的特征值，并根据检测到的特征值检测语音指数；
第二情绪识别器，被配置为拍摄所述驾驶员或所述乘客的图像，并通过分析拍摄的图像来检测所述驾驶员或所述乘客的视觉指数；
第三情绪识别器，被配置为感测加速器或制动器的位置，并根据所述加速器或制动器的起动模式和所述乘客的移动来检测行为指数；和
情绪指数计算器，被配置为使用所述语音指数、所述视觉指数和所述行为指数来计算所述情绪指数。
3.根据权利要求2所述的安全驾驶辅助装置，其中，所述第一情绪识别器包括：
语音信号感测单元，被配置为识别所述驾驶员或所述乘客的语音信号；和
语音指数检测单元，被配置为检测所述语音信号传感器所检测到的语音信号的特征值，并检测与检测到的特征值对应的所述语音指数。
4.根据权利要求2所述的安全驾驶辅助装置，其中，所述第二情绪识别器包括：
驾驶员面部拍摄单元，被配置为拍摄所述驾驶员的眼睛或面部；
乘客面部拍摄单元，被配置为拍摄所述乘客的眼睛或面部；和
视觉指数检测单元，被配置为在由驾驶员面部拍摄单元拍摄的图像中检测所述驾驶员的眼睛和面部，在由所述乘客面部拍摄单元拍摄的图像中检测所述乘客的眼睛和面部，并根据所述驾驶员或所述乘客的眼球移动或面部表情检测所述视觉指数。
5.根据权利要求2所述的安全驾驶辅助装置，其中，所述第三情绪识别器包括：
起动模式感测单元，被配置为感测所述加速器或所述制动器的起动模式；
乘客移动指数检测单元，被配置为使用所述乘客的手臂移动幅度和移动半径以及所述乘客的移动频率中的一个或多个来检测乘客移动指数；和
行为指数检测单元，被配置为使用与感测到的所述加速器或所述制动器的所述起动模式对应的起动指数或由所述乘客移动指数检测单元检测到的所述乘客移动指数，来检测所述驾驶员或所述乘客的所述行为指数。
6.根据权利要求2所述的安全驾驶辅助装置，进一步包括情绪状态控制单元，所述情绪状态控制单元被配置为控制所述驾驶员和所述乘客的情绪状态稳定下来。
7.根据权利要求6所述的安全驾驶辅助装置，其中，所述控制单元将所述语音指数、所述视觉指数和所述行为指数应用于基于学习的情绪图，并且当所述情绪指数不包括在所述预设安全区域时控制所述情绪状态控制单元。
8.根据权利要求7所述的安全驾驶辅助装置，其中，所述基于学习的情绪图根据所述语音指数、所述视觉指数和所述行为指数将所述驾驶员的情绪状态划分为安全区域和危险区域。
9.根据权利要求1所述的安全驾驶辅助装置，其中，所述驾驶员危险指数检测单元包括：
自我意识车辆驾驶轨迹生成器，被配置为使用从内部传感器接收的所述自我意识车辆驾驶信息来生成自我意识车辆驾驶轨迹，所述内部传感器用于感测所述自我意识车辆的驾驶情况；
邻近车辆轨迹生成器，被配置为使用从外部传感器接收的周围环境信息来生成邻近车辆轨迹，所述外部传感器用于感测所述自我意识车辆的周围情况；
轨迹负载计算器，被配置为计算轨迹负载，所述轨迹负载指示预设阈值与对应于所述邻近车辆轨迹和所述自我意识车辆驾驶轨迹之间的差异的轨迹距离之间的比较结果；和
危险指数管理器，被配置为生成与计算的轨迹负载相对应的驾驶员危险指数。
10.根据权利要求1所述的安全驾驶辅助装置，其中，所述驾驶难度等级检测单元定义和量化各个区域的驾驶难度等级，并根据所述自我意识车辆的当前位置检测所述驾驶难度等级。
11.根据权利要求1所述的安全驾驶辅助装置，其中，当所述情绪指数、所述驾驶员危险指数和所述驾驶难度等级不包括在所述预设安全区域中时，所述控制单元控制所述车辆驾驶单元以将所述自我意识车辆驾驶到安全区域。
12.一种安全驾驶辅助方法，包括：
由情绪指数检测单元使用驾驶员或乘客的视觉、语音和行为中的一个或多个，检测所述驾驶员或所述乘客的情绪指数；
由驾驶员危险指数检测单元使用自我意识车辆的自我意识车辆驾驶信息和所述自我意识车辆的周围环境信息，检测驾驶员危险指数；
由驾驶难度等级检测单元根据所述自我意识车辆的驾驶位置检测驾驶难度等级；和
由控制单元确定所述情绪指数、所述驾驶员危险指数和所述驾驶等级难度是否包括在预设安全区域中，并根据确定结果控制车辆驾驶单元以将所述自我意识车辆驾驶到安全区域。
13.根据权利要求12所述的安全驾驶辅助方法，其中，检测所述情绪指数包括检测所述驾驶员或乘客的语音信号的特征值，根据检测到的特征值检测所述语音指数，拍摄所述驾驶员或乘客的图像，通过分析拍摄的图像检测所述驾驶员或乘客的视觉指数，感测加速器或制动器的位置，根据所述加速器或制动器的起动模式或所述乘客的运动检测行为指数，并使用所述语音指数、所述视觉指数和所述行为指数计算所述情绪指数。
14.根据权利要求12所述的安全驾驶辅助方法，其中，所述控制单元根据所述情绪指数是否包括在所述预设安全区域中，控制所述情绪状态控制单元以控制所述驾驶员和所述乘客的情绪状态。
15.根据权利要求12所述的安全驾驶辅助方法，其中，检测所述驾驶员危险指数包括：
使用从内部传感器接收的所述自我意识车辆驾驶信息来生成自我意识车辆驾驶轨迹，所述内部传感器用于感测所述自我意识车辆的驾驶情况；
使用从外部传感器接收的周围环境信息生成邻近车辆轨迹，所述外部传感器用于感测所述自我意识车辆的周围情况；
计算轨迹负载，所述轨迹负载指示预设阈值与对应于所述邻近车辆轨迹和所述自我意识车辆驾驶轨迹之间的差异的轨迹距离之间的比较结果；和
生成与计算出的轨迹负载对应的驾驶员危险指数。
16.根据权利要求12所述的安全驾驶辅助方法，其中，检测所述驾驶困难等级包括定义和量化各个区域的驾驶难度等级，并根据所述自我意识车辆的当前位置检测所述驾驶难度等级。
17.根据权利要求12所述的安全驾驶辅助方法，其中，控制所述车辆驾驶单元以将所述自我意识车辆驾驶到所述安全区域包括将所述语音指数、所述视觉指数和所述行为指数应用于基于学习的情绪图，并确定所述情绪指数是否不包括在所述预设安全区域中。
18.根据权利要求17所述的安全驾驶辅助方法，其中，所述基于学习的情绪图根据所述语音指数、所述视觉指数和所述行为指数将所述驾驶员的情绪状态划分为安全区域和危险区域。
CN201811485733.3A 2017-12-18 2018-12-06 安全驾驶辅助装置和方法 Active CN109941288B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0174623 2017-12-18
KR1020170174623A KR102302917B1 (ko) 2017-12-18 2017-12-18 안전운전 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
CN109941288A true CN109941288A (zh) 2019-06-28
CN109941288B CN109941288B (zh) 2022-03-04

Family

ID=66814172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485733.3A Active CN109941288B (zh) 2017-12-18 2018-12-06 安全驾驶辅助装置和方法

Country Status (3)

Country Link
US (1) US10759440B2 (zh)
KR (2) KR102302917B1 (zh)
CN (1) CN109941288B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
WO2021023064A1 (zh) * 2019-08-07 2021-02-11 北京全路通信信号研究设计院集团有限公司 一种列车安全驾驶监测系统及方法
CN112364882A (zh) * 2019-12-30 2021-02-12 致讯科技(天津)有限公司 一种基于感知赋能的增强自动驾驶方法和系统
CN112440950A (zh) * 2019-08-30 2021-03-05 天津天汽集团有限公司 一种车辆驾驶控制系统及其控制方法
CN112550306A (zh) * 2019-09-10 2021-03-26 奥迪股份公司 车辆驾驶辅助系统、包括其的车辆及相应方法和介质
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN113119894A (zh) * 2019-12-30 2021-07-16 上海仙豆智能机器人有限公司 一种车辆辅助驾驶方法及车辆
CN114148342A (zh) * 2020-09-07 2022-03-08 奥迪股份公司 自动驾驶判断系统、自动驾驶控制系统及车辆
CN114735010A (zh) * 2022-05-17 2022-07-12 中南大学 基于情绪识别的智能车辆行驶控制方法、系统及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7100471B2 (ja) * 2018-03-14 2022-07-13 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、走行状態推定方法、サーバ装置、情報処理方法、及び走行状態推定システム
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
US11358605B2 (en) * 2018-09-10 2022-06-14 Here Global B.V. Method and apparatus for generating a passenger-based driving profile
US11535262B2 (en) 2018-09-10 2022-12-27 Here Global B.V. Method and apparatus for using a passenger-based driving profile
WO2020122175A1 (ja) * 2018-12-12 2020-06-18 日本電気株式会社 運転支援装置、運転支援方法、プログラムを記憶する記憶媒体
KR102270731B1 (ko) * 2019-12-13 2021-06-30 주식회사 유라코퍼레이션 차량의 운전자를 위한 감성제어 시스템 및 그 방법
CN111208821B (zh) * 2020-02-17 2020-11-03 润通智能科技(郑州)有限公司 汽车自动驾驶控制方法、装置、自动驾驶装置及系统
US11564073B2 (en) 2020-03-16 2023-01-24 Honda Motor Co., Ltd. System and method for emotion detection and inter-vehicle communication
EP4130396A4 (en) * 2020-03-27 2023-05-10 Sumitomo Heavy Industries, Ltd. INFORMATION PROCESSING DEVICE FOR WORK MACHINE, INFORMATION MANAGEMENT SYSTEM AND INFORMATION PROCESSING PROGRAM FOR WORK MACHINE
KR102200807B1 (ko) * 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법
CN111605556B (zh) * 2020-06-05 2022-06-07 吉林大学 一种防路怒症识别及控制系统
GB2598309B (en) * 2020-08-24 2023-08-30 Continental Automotive Tech Gmbh Vehicle electronic control device for determining a safety risk level of a driver of a vehicle
TWI764709B (zh) * 2021-05-05 2022-05-11 神達數位股份有限公司 行車安全輔助方法及系統
KR102487860B1 (ko) * 2022-07-28 2023-01-13 박윤희 탑승자의 심리 상태를 이용한 차량 제어 장치, 방법 및 프로그램
FR3139402A1 (fr) * 2022-09-01 2024-03-08 Renault S.A.S Procede d’evaluation de la securite d’un vehicule a delegation de conduite
KR20240054622A (ko) 2022-10-19 2024-04-26 (주)딥인사이트 운전자 상태 분석 방법, 컴퓨터 프로그램 및 장치
CN116863708B (zh) * 2023-09-04 2024-01-12 成都市青羊大数据有限责任公司 一种智慧城市调度分配系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
CN105189241A (zh) * 2013-02-04 2015-12-23 英特尔公司 评估和管理车辆操作者的情绪状态
US20160009295A1 (en) * 2014-07-10 2016-01-14 Hyundai Mobis Co., Ltd. On-vehicle situation detection apparatus and method
WO2016047063A1 (ja) * 2014-09-25 2016-03-31 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム製品
KR20170018696A (ko) * 2015-08-10 2017-02-20 현대모비스 주식회사 감성 인식 차량 제어 장치, 시스템 및 방법
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5691237B2 (ja) * 2010-05-06 2015-04-01 トヨタ自動車株式会社 運転支援装置
US20120078509A1 (en) * 2010-09-27 2012-03-29 Honda Motor Co., Ltd Intelligent Navigation For A Motor Vehicle
DE102012104687B3 (de) * 2012-05-30 2013-09-19 Maurer Söhne Gmbh & Co. Kg Streckenabschnitt für ein Fahrgeschäft, Verfahren zur Durchfahrt eines Streckenabschnitts sowie Fahrgeschäft
US8821348B2 (en) * 2012-08-31 2014-09-02 Ford Global Technologies, Llc Dynamic filtering for stop/start vehicle launch preparation
US20150329108A1 (en) * 2012-12-11 2015-11-19 Toyota Jidosha Kabushiki Kaisha Driving assistance device and driving assistance method
KR20150044134A (ko) * 2013-10-16 2015-04-24 현대다이모스(주) 추월차로에서의 차선변경 유도장치 및 방법
US9383214B2 (en) * 2014-03-31 2016-07-05 Telenav, Inc. Navigation system with device recognition mechanism and method of operation thereof
CN105313898B (zh) * 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
KR20170109758A (ko) 2016-03-22 2017-10-10 현대자동차주식회사 차량 음성 인터페이스 장치
JP6373323B2 (ja) * 2016-09-30 2018-08-15 本田技研工業株式会社 移動体制御装置、及び移動体
US10252461B2 (en) * 2017-03-27 2019-04-09 International Business Machines Corporation Cognitive-based driving anomaly detection based on spatio-temporal landscape-specific driving models

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN105189241A (zh) * 2013-02-04 2015-12-23 英特尔公司 评估和管理车辆操作者的情绪状态
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle
US20160009295A1 (en) * 2014-07-10 2016-01-14 Hyundai Mobis Co., Ltd. On-vehicle situation detection apparatus and method
WO2016047063A1 (ja) * 2014-09-25 2016-03-31 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム製品
KR20170018696A (ko) * 2015-08-10 2017-02-20 현대모비스 주식회사 감성 인식 차량 제어 장치, 시스템 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021023064A1 (zh) * 2019-08-07 2021-02-11 北京全路通信信号研究设计院集团有限公司 一种列车安全驾驶监测系统及方法
CN112440950A (zh) * 2019-08-30 2021-03-05 天津天汽集团有限公司 一种车辆驾驶控制系统及其控制方法
CN112550306A (zh) * 2019-09-10 2021-03-26 奥迪股份公司 车辆驾驶辅助系统、包括其的车辆及相应方法和介质
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN112364882A (zh) * 2019-12-30 2021-02-12 致讯科技(天津)有限公司 一种基于感知赋能的增强自动驾驶方法和系统
CN113119894A (zh) * 2019-12-30 2021-07-16 上海仙豆智能机器人有限公司 一种车辆辅助驾驶方法及车辆
CN112364882B (zh) * 2019-12-30 2023-04-07 致讯科技(天津)有限公司 一种基于感知赋能的增强自动驾驶方法和系统
CN114148342A (zh) * 2020-09-07 2022-03-08 奥迪股份公司 自动驾驶判断系统、自动驾驶控制系统及车辆
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN114735010A (zh) * 2022-05-17 2022-07-12 中南大学 基于情绪识别的智能车辆行驶控制方法、系统及存储介质
CN114735010B (zh) * 2022-05-17 2022-12-13 中南大学 基于情绪识别的智能车辆行驶控制方法、系统及存储介质

Also Published As

Publication number Publication date
US20190185014A1 (en) 2019-06-20
KR102321100B1 (ko) 2021-11-03
US10759440B2 (en) 2020-09-01
CN109941288B (zh) 2022-03-04
KR20210117229A (ko) 2021-09-28
KR102302917B1 (ko) 2021-09-15
KR20190073207A (ko) 2019-06-26

Similar Documents

Publication Publication Date Title
CN109941288A (zh) 安全驾驶辅助装置和方法
CN106043299B (zh) 车辆控制装置
CN106573623B (zh) 用于自动选择机动车上的行驶模式的方法和设备
CN102754139B (zh) 车辆姿态角算出装置及使用了该装置的车道偏离警报系统
CN103287431B (zh) 车辆速度控制装置及方法
CN108240819A (zh) 驾驶辅助装置和驾驶辅助方法
JP4879189B2 (ja) 安全走行支援装置
JP5039765B2 (ja) 車両制御装置
CN108263279A (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN109195850A (zh) 用于产生用于基于规则进行驾驶员辅助的控制数据的方法
CN108238047A (zh) 驾驶辅助装置
US10338583B2 (en) Driving assistance device
US20080105482A1 (en) Dialogue System
CN110050301A (zh) 车辆控制装置
JP2017162406A (ja) 車両の自動運転制御システム
KR102546441B1 (ko) 안전운전 지원 장치 및 방법
JP6722400B2 (ja) 車両の運転支援装置
CN110182210A (zh) 车辆控制装置和车辆控制方法
CN109844840A (zh) 车辆控制装置
US8098887B2 (en) Face tracking device
JP5522082B2 (ja) 道路情報学習装置
JP2014080087A (ja) 運転診断装置、運転診断方法、プログラム及び媒体
US11904857B2 (en) System for controlling a driving speed of a vehicle and a method thereof
KR20200133859A (ko) 자율 주행 장치 및 방법
JP2018200701A (ja) 車両用制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant