CN113815625B - 车辆辅助驾驶控制方法、装置及智能方向盘 - Google Patents
车辆辅助驾驶控制方法、装置及智能方向盘 Download PDFInfo
- Publication number
- CN113815625B CN113815625B CN202010567354.XA CN202010567354A CN113815625B CN 113815625 B CN113815625 B CN 113815625B CN 202010567354 A CN202010567354 A CN 202010567354A CN 113815625 B CN113815625 B CN 113815625B
- Authority
- CN
- China
- Prior art keywords
- information
- driver
- steering wheel
- vehicle
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 230000008909 emotion recognition Effects 0.000 claims abstract description 124
- 230000008569 process Effects 0.000 claims abstract description 89
- 230000008921 facial expression Effects 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 31
- 230000008451 emotion Effects 0.000 claims description 55
- 230000004927 fusion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002996 emotional effect Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 8
- 210000004243 sweat Anatomy 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 102220588439 Keratin, type I cytoskeletal 18_S10A_mutation Human genes 0.000 description 1
- 102220588441 Keratin, type I cytoskeletal 18_S30A_mutation Human genes 0.000 description 1
- 102220477667 Mitochondrial inner membrane protease subunit 2_S40T_mutation Human genes 0.000 description 1
- 102220470087 Ribonucleoside-diphosphate reductase subunit M2_S20A_mutation Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 102220352372 c.148T>G Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
- B62D1/04—Hand wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
Abstract
本发明公开了一种车辆辅助驾驶控制方法、装置及智能方向盘，本发明实施例提供的智能方向盘中，功能更加丰富，通过该智能方向盘所探测到的驾驶员的相关信息更具备参考价值和准确性。方法部分包括：分别获取实际驾驶过程中智能方向盘的光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；分别获取实际驾驶过程中智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；根据光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中驾驶员的特征信息；将特征信息输入驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中驾驶员的情绪识别结果信息；根据情绪识别结果信息控制车辆进行辅助驾驶响应。
Description
技术领域
本发明涉及车辆辅助驾驶控制技术领域，尤其涉及车辆辅助驾驶控制方法、装置及智能方向盘。
背景技术
方向盘作为车辆在行驶过程中唯一与驾驶员身体器官直接且长时间接触的零件，一直以来其功能性比较单一，只具有机械转向和部分电子控制功能，有必要利用方向盘的特点对其功能进行更多的发掘。
为了体现方向盘的更多作用，现有的方案中常在方向盘上装上独立的智能方向盘套，其中，该智能方向盘套上通常携带有某种特殊功能，例如，常在智能方向盘套上布置有多个电极片，利用电极片进行检测得到用户的心电情况，然而，在上述方案中，智能方向盘套为独立的设备，需要在方向盘上另外加装套体，功能性单一，只能利用电极片检测驾驶员的心电情况，且电极片在工作时，需多个电极同时接触到才能检测，利用率较低，对识别用户状态不具备参考价值，识别率较低，对辅助驾驶作用不大。
发明内容
本发明提供一种车辆辅助驾驶控制方法、装置及智能方向盘，以解决现有的方向盘功能单一且方向盘获取的信息有限，对辅助驾驶作用不大的问题。
第一方面，提供了一种车辆辅助驾驶控制方法，应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，所述车辆辅助驾驶控制系统包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述方法包括：
分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；
分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
根据所述情绪识别结果信息控制车辆进行辅助驾驶响应。
可选地，在实际驾驶之前，所述方法还包括：
当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别；
当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静；
在预设时长之后，分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息；
分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和和声音信息；
根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取所述当前状态下所述驾驶员的特征信息；
将所述当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。
可选地，所述预设情绪识别通用模型通过如下方式获取：
通过所述智能方向盘的光电传感器和皮电传感器获取每个测试人员处于模拟驾驶过程的光电信息和皮电信息，其中，所述测试人员处于不同的情绪状态；
分别通过所述智能方向盘的摄像头和语音传感器获取每个测试人员处于模拟驾驶过程中的面部表情信息和和声音信息；
根据每个测试人员处于模拟驾驶过程中的光电信息、皮电信息、面部表情信息和声音信息，对应提取每个测试人员处于模拟驾驶过程中的特征信息；
根据所述每个测试人员处于模拟驾驶过程中的特征信息进行融合得到融合信息；
根据所述融合信息和标定信息建立预设情绪识别通用模型，其中，所述标定信息为标定人员为每个测试人员处于模拟驾驶过程中情绪进行标定的信息。
可选地，所述预设情绪识别通用模型可识别的情绪状态包括愤怒、平静和兴奋，每种不同情绪状态下包括情绪程度递进的情绪程度等级。
可选地，所述光电信息包括心率和血压，所述皮电信息包括汗水率。
可选地，所述根据所述情绪识别结果信息控制车辆进行辅助驾驶响应，包括：
若所述情绪识别结果信息指示所述驾驶员处于愤怒情绪状态，则控制车辆针对所述愤怒情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于平静情绪状态，则控制车辆针对所述平静情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于兴奋情绪状态，则控制车辆针对所述兴奋情绪状态进行辅助响应。
第二方面，提供了一种车辆辅助驾驶控制装置，应用于车辆辅助驾驶控制系统中，所述车辆辅助驾驶控制系统包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述车辆辅助驾驶控制装置包括：
获取模块，用于分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
特征提取模块，用于根据所述获取模块获取的所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
情绪识别模块，用于将所述特征提取模块提取的所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
辅助控制模块，用于根据所述情绪识别模块得到的所述情绪识别结果信息控制车辆进行辅助驾驶响应。
第三方面，提供了一种车辆辅助驾驶控制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述第一方面所述的方法的步骤。
第四方面，提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面所述的方法的步骤。
第五方面，提供了一种智能方向盘，应用于车辆辅助驾驶控制系统中，所述车辆辅助驾驶控制系统包括如上第四方面所述的车辆辅助驾驶控制装置，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述车辆辅助驾驶控制装置分别与光电传感器、皮电传感器、摄像头和语音传感器连接。
可选地，所述光电传感器和皮电传感器设置于所述智能方向盘手握区域的其中一侧端或所述智能方向盘手握区域的两侧端均设置有所述光电传感器和皮电传感器，所述摄像头和语音传感器相对于所述两侧端，分别设置于所述智能方向盘的上下端。
可见，本发明提供了一种车辆辅助驾驶控制方法，该车辆辅助驾驶控制方法应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，并通过智能方向盘上的光电传感器、皮电传感器、摄像头和语音传感器所检测到的各种信息进行驾驶员的情绪识别，最后依据识别出的驾驶员的情绪识别结果信息控制车辆进行辅助驾驶响应。由此可以看出，本发明所提供的智能方向盘并非是独立的方向盘套，而是一个整体，且该智能方向盘上的传感器布置有各种传感器，值得注意的是，直接在智能方向盘上部署摄像头，光电传感器等传感器，可以使得智能方向盘的功能更加丰富，并可以利用智能方向盘获取的各种传感器信息进行驾驶员的情绪识别和相应控制，相对利用电极片的方式，由于上述传感器是设置在智能方向盘上的，更接近于驾驶员，使得利用传感器所探测到的驾驶员的相关信息更具备参考价值和准确，且能根据传感器获取的信息识别驾驶员情绪，并可以控制车辆进行辅助驾驶响应，极大地提高辅助驾驶作用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中车辆辅助驾驶控制系统的一个结构示意图；
图2是本发明中智能方向盘驾驶员手握区域的一个局部放大示意图；
图3是本发明中车辆辅助驾驶控制方法的一个流程示意图；
图4是本发明中获取到预设情绪识别通用模型的一个流程示意图；
图5是本发明中匹配出驾驶员对应的情绪识别个性模型的一个流程示意图；
图6是本发明中车辆辅助驾驶控制装置的一个结构示意图；
图7是本发明中车辆辅助驾驶控制装置的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的车辆辅助驾驶控制方法，可应用在如图1所示的车辆辅助驾驶控制系统中，该车辆辅助驾驶控制系统包括智能方向盘和车辆辅助驾驶控制装置，该智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述车辆辅助驾驶控制装置分别与光电传感器、皮电传感器、摄像头和语音传感器连接。该车辆辅助驾驶装置可以获取光电传感器、皮电传感器、摄像头和语音传感器探测到的相关信息并实现本发明实施例所提供的车辆辅助驾驶控制方法。需要说明的是，该车辆辅助驾驶装置可以是独立的装置或设备，也可以是内嵌入车辆其他处理系统或设备的软件/硬件模块，例如，在实际应用中，该车辆辅助驾驶控制装置也可以是内嵌于智能方向盘上的硬件或软件模块，具体本发明实施例不做限定。
其中，在一些实施方式中，如图2所示，为智能方向盘手握区域的局部放大图，在智能方向盘的驾驶员手握区域的两侧或者两侧的其中一侧均设置有光电传感器5和皮电传感器6，也就是说，在图1中的1、2位置处均布置有光电传感器和皮电传感器；或者在1位置处光电传感器和皮电传感器；或者在2位置处布置光电传感器和皮电传感器，具体本发明不做限定。示例性的，可以在智能方向盘驾驶员手握区域1和2位置处的各自布置两个传感器，一个为光电传感器，另一个为皮电传感器。需要说明的是，在实际应用中，当在智能方向盘的两侧同时布置有光电传感器和皮电传感器时，左右两侧的传感器相同，可以单独检测，也可以同时检测，当同时检测时，可以提高对驾驶员的检测效率和提供更多的参考数据，便于后续计算，可提高效率和准确率。另外，可以理解的是，光电传感器采用光电容积脉搏描记法(photoplethysmography，PPG)，当驾驶员手握智能方向盘设置有光电传感器的区域时，光电传感器可以用于检测到驾驾驶员的光电信息，例如心率、血压等，光电皮电反应传感器可以检测驾驶员的汗水率等皮电信息。
在一实施方式中，相对于布置有光电传感器和皮电传感器的两侧端，摄像头和语音传感器分别设置于所述智能方向盘的上下端。在智能方向盘的上端，也就是如图1中所示的区域3位置布置有可用于获取和识别驾驶员的面部表情信息的摄像头，在智能方向盘的下端，也就是如图2所示的区域3位置布置有可用于获取车内的语音信息的语音传感器，该语音传感器可获取驾驶员说话的声音等信息。
下面，对本发明实施例所提供的车辆辅助驾驶控制方法进行描述：
请参阅图3，本发明实施例提供了一种车辆辅助驾驶控制方法，该车辆辅助驾驶控制方法应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，该车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，其中，需要说明的，该实施例中，在实际运用本发明实施例所提供的车辆辅助驾驶控制方法，会预先有建立预设所述方法包括如下步骤S10-S50：
S10：分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；
由于智能方向盘上布置有光电传感器和皮电传感器，因此，在实际驾驶过程中，智能方向盘上的光电传感器可以获取到驾驶员手握智能方向盘的光电信息，同理，智能方向盘上的皮电传感器也可以获取到驾驶员手握智能方向盘的皮电信息。对于车辆辅助驾驶控制装置而言，可以获取到实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息。
S20：分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
由于智能方向盘上布置有摄像头和语音传感器，因此，在实际驾驶过程中，智能方向盘上的摄像头可以实时获取到实际驾驶过程中驾驶员的面部表情信息，同理，智能方向盘上的语音传感器也可以获取到实际驾驶过程中驾驶员的声音信息。对于车辆辅助驾驶控制装置而言，可以获取到实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息。
需要说明的是，上述步骤S10-S20过程中，获取实际驾驶过程中驾驶员的光电信息、皮电信息和面部表情信息和和声音信息的顺序不做具体限定。
S30：根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
在获取到光电信息、皮电信息、面部表情信息和声音信息之后，需根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息。可以理解，上述光电信息、皮电信息、面部表情信息和声音信息均是反映实际驾驶过程中，驾驶员的状态特征的信息，因此，为了利用到上述信息，本发明实施例在获取到光电信息、皮电信息、面部表情信息和声音信之后，需根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中驾驶员的特征信息，以对后续情绪识别过程中提供有价值的参考信息。
S40：将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
S50：根据所述情绪识别结果信息控制车辆进行辅助驾驶响应。
对于步骤S40-S50，在根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息之后，便将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息。需要说明的是，上述情绪识别个性模型为该驾驶员相对应的情绪识别个性模型，用于识别当前驾驶员的情绪状态，情绪识别结果信息反映了驾驶员在实际驾驶过程中的情绪状态。最后，可以根据所述情绪识别结果信息控制车辆进行辅助驾驶响应。
可见，本发明实施例提供了一种本发明实施例提供了一种车辆辅助驾驶控制方法，该车辆辅助驾驶控制方法应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，并通过智能方向盘上的光电传感器、皮电传感器、摄像头和语音传感器所检测到的各种信息进行驾驶员的情绪识别，最后依据识别出的驾驶员的情绪识别结果信息控制车辆进行辅助驾驶响应。由此可以看出，本发明实施例所提供的智能方向盘并非是独立的方向盘套，而是一个整体，且该智能方向盘上的传感器布置有各种传感器，值得注意的是，直接在智能方向盘上部署摄像头，光电传感器等传感器，可以使得智能方向盘的功能更加丰富，并可以利用智能方向盘获取的各种传感器信息进行驾驶员的情绪识别和相应控制，相对利用电极片的方式，由于上述传感器是设置在智能方向盘上的，更接近于驾驶员，使得利用传感器所探测到的驾驶员的相关信息更具备参考价值和准确，且能根据传感器获取的信息识别驾驶员情绪，并可以控制车辆进行辅助驾驶响应，极大地提高辅助驾驶作用。
在一实施例中，预设情绪识别通用模型可识别的情绪状态下包括愤怒、平静和兴奋。具体地，每种不同情绪状态下包括不同情绪程度等级，具体地，可如下表1所示：
表1
如上表1所示，在一应用场景中，预设情绪识别通用模型可识别的情绪状态包括愤怒、平静和兴奋且每种情绪状态下又包括不同情绪程度等级。例如，对于愤怒情绪状态可以进一步包括一般愤怒、很愤怒还是和非常愤怒三个等级程度。需要说明的是，上述情绪状态类型和等级程度在这里只是举例说明，在实际应用中，还可以设置有多种情绪状态，例如高兴、不安等情绪，每种情绪也可以设置有其他的等级，例如除了上述“一般”、“很”和“非常”等级外，还可以根据程度的递进或递减，进一步划分等级程度，这里不做限定，也不一一举例。
需要说明的是，驾驶员对应的情绪识别个性模型是在实际驾驶之前从预设情绪识别通用模型中匹配得到，下面进行详细描述，为了便于描述，这里以愤怒、平静和兴奋为例说明如何获取到预设情绪识别通用模型的过程为例进行说明，在一实施例中，如图4所示，获取到预设情绪识别通用模型的过程包括如下步骤S10A-S60A：
S10A：通过所述智能方向盘的光电传感器和皮电传感器获取每个测试人员处于模拟驾驶过程的光电信息和皮电信息，其中，所述测试人员处于不同的情绪状态；
S20A：分别通过所述智能方向盘的摄像头和语音传感器获取每个测试人员处于模拟驾驶过程中的面部表情信息和和声音信息；
对于步骤S10A-S20A，首先，在一些应用场景中，组织若干名测试人员，其中，为了提高模型的准确率，可以选择具有驾驶经验，身心健康的测试人员，测试人员数量不定，为了更加准确，测试人员可以越多越好，并让所有测试人员在模拟驾驶舱进行模拟驾驶。在模拟驾驶过程中，可以通过视频、音频等手段诱发测试人员的愤怒、平静、兴奋情绪。在不同情绪状态下，利用智能方向盘上的传感器，收集测试人员对应的光电信息和皮电信息，例如心率、血压和汗水率，并获取测试人员的面部表情信息和声音信息，并提取各个部分的特征信息。
在模拟驾驶结束后，采用主观调查问卷的形式让测试人员对自己的情绪状态进行评价，再并通过第三方观察者对测试人员模拟驾驶过程中的情绪状态进行客观标定，以消除主观评价的偏差，经过上述步骤，可以获取所有的测试人员处于不同的情绪状态下的特征信息，以及得到对应的标定信息。
S30A：根据每个测试人员处于模拟驾驶过程中的光电信息、皮电信息、面部表情信息和声音信息，对应提取每个测试人员处于模拟驾驶过程中的特征信息；
S40A：根据所述每个测试人员处于模拟驾驶过程中的特征信息进行融合得到融合信息；
对于步骤S30A-S40A，在获取到每个测试人员处于模拟驾驶过程中的光电信息、皮电信息、面部表情信息和声音信息之后，对应提取每个测试人员处于模拟驾驶过程中的特征信息，并可以利用人工智能算法，对提取到的特征信息进行融合，得到每个测试人员在不同情绪下的融合信息。其中，上述人工智能算法具体可以采用主成分分析算法(PrincipalComponent Analysis，PCA))、支持向量机算法(Support Vector Machine,SVM)、或决策树算法、神经网络算法等，这里不做限定，也不具体介绍。
S50A：根据所述融合信息和标定信息建立预设情绪识别通用模型，其中，所述标定信息为标定人员为每个测试人员处于模拟驾驶过程中情绪进行标定的信息。
在根据所述每个测试人员处于模拟驾驶过程中的特征信息进行融合得到融合信息和标定信息之后，便根据所述融合信息和标定信息建立预设情绪识别通用模型，其中，所述标定信息为标定人员为每个测试人员处于模拟驾驶过程中情绪进行标定的信息。例如，有根据驾驶员的血压、心率等信息作为基线信息建立不同的情绪识别通用模型，得到多个情绪识别通用模型，从而得到预设情绪识别通用模型。不同人处于平静状态下时获取到的通用模型不同，具体表现为，例如：测试人员A处于心率40时，建立的情绪识别通用模型为模型1，测试人员B处于心率50时，建立的情绪识别通用模型为模型B，这样，便于后续可以将实际驾驶过程中驾驶员的特征信息作为基线信息，为不同的驾驶员匹配出对应的情绪识别个性模型，这样，获取到的预设情绪识别通用模型便可适应不同的驾驶员，以便在实际驾驶过程中，可从预设情绪识别通用模型中匹配出驾驶员对应的模型作为该驾驶员的情绪识别个性模型，提高了情绪识别准确率。
需要说明的是，驾驶员对应的情绪识别个性模型是在实际驾驶之前从预设情绪识别通用模型中匹配得到，因此，在获取到预设情绪识别通用模型之后，便可以对应匹配驾驶员的情绪识别个性模型，在一实施例中，如图5所示，从预设情绪识别通用模型中匹配出驾驶员对应的情绪识别个性模型的过程包括如下步骤S10B-S60B：
S10B：当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别；
在实际驾驶之前，当检测到驾驶员启动车辆时，会启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别。可以理解，由于每个驾驶员的性格不一，情绪变化状态是不同的，且每个驾驶员处于相同的情绪状态时，相应的反映驾驶员的情绪的各种信息，例如出汗率等皮电信息、心率和血压等光电信息会有所不同，因此，为了提高后续情绪识别的准确了，进一步为辅助驾驶提供有价值的参考，在本发实施例中，当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别，以便识别出当前的驾驶员是系统已经记录的驾驶员，还是新的驾驶员。
在一实施方式中，当驾驶员启动车辆，开启智能模式之后，若用手触摸方向盘任意一侧的传感器时，智能方向盘上部的摄像头首先会通过人眼定位，以锁定驾驶员的位置，然后进行人脸识别，以对所述驾驶员进行人脸识别，以便识别出当前的驾驶员是系统已经记录的驾驶员，还是新的驾驶员。
S20B：当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静；
当启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别之后，当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静。
S30B：在预设时长之后，分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息；
S40B：分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和和声音信息；
对于步骤S30B-S40B，当所述驾驶员为新驾驶员时，发出语音提示信息之后，由于该语音提示信息用于提示所述驾驶员保持平静，因此，驾驶员此时会根据指示使得自己处于平静状态，由于驾驶员保持平静的过程可能会花些时间，因此，在预设时长之后，才分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息，并分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和和声音信息。可以理解，此时获取到的光电信息、皮电信息、面部表情信息和声音信息为实际驾驶之前的相关信息。
S50B：根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取所述当前状态下所述驾驶员的特征信息；
S60B：将所述当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。
对于步骤S50B-S60B，在实际驾驶之前，当获取到驾驶员对应的光电信息、皮电信息、面部表情信息和声音信息之后，便可以根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取当前状态下所述驾驶员的特征信息，并将当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。需要说明的是，预设情绪识别通用模型是预先建立的情绪识别通用模型，对于不同的驾驶员的情绪具有不同的识别效果，以适应不同的驾驶员，因此，为了提高情绪识别率，会根据实际的驾驶员的相关特征信息作为基线信息从预设情绪识别通用模型中匹配出该驾驶员对应的情绪识别个性模型。例如，可以根据平静状态下驾驶员的心率、血压等信息匹配出对应的情绪识别个性模型，可以理解，预设情绪识别通用模型是根据不同的测试人员进行模拟驾驶和标定得到，因此，不同人处于平静状态下时获取到的通用模型不同，具体表现为，测试人员A处于心率40时，建立的情绪识别通用模型为模型1，测试人员B处于心率50时，建立的情绪识别通用模型为模型B，这样，可以为不同的驾驶员建立对应的情绪识别个性模型，通过驾驶员对应的情绪识别个性模型进行情绪识别，可以使得情绪识别结果更加准确，有助于辅助驾驶控制。另外，由于驾驶员处于平静状态下时，获取的相关信息更能反映出驾驶员的情况，因此，在该实施例中，可以在平静状态下获取驾驶员的特征信息并利用此状态下的特征信息作为基线信息进行模型匹配的过程。当然，在实际应用中，在未驾驶之前，也可以通过直接获取驾驶员的特征信息进行模型匹配的过程，这里不做限定。
需要说明的是，在一实施例中，在每一次识别出新驾驶员时，可以将匹配出的情绪识别个性模型建立对应关系并保存，这样，下一次实际驾驶之前，若识别到驾驶员为之前已建立对应关系的驾驶员，便可以直接根据之前建立的对应关系，直接确定出驾驶员对应的情绪识别个性模型，可以避免重复计算，减少重新确认驾驶员对应的情绪识别个性模型的步骤，减少了计算负担。
在一实施例中，若所述情绪识别结果信息指示所述驾驶员处于愤怒情绪状态，则控制车辆针对所述愤怒情绪状态进行辅助响应；例如，通过对话提示驾驶员保持克制，或者释放一些让人平静的气味等，具体不做限定。
若所述情绪识别结果信息指示所述驾驶员处于平静情绪状态，则控制车辆针对所述平静情绪状态进行辅助响应；例如，可以控制车辆播放令人感到放松和平静的轻音乐，具体不做限定，可以进一步提高驾驶员的体验，有助于促使驾驶员继续保持平静情绪状态，在一定程度上，可以提高安全驾驶性。
若所述情绪识别结果信息指示所述驾驶员处于兴奋情绪状态，则控制车辆针对所述兴奋情绪状态进行辅助响应。例如，也通过对话提示驾驶员保持冷静，或者释放一些让人平静的气味等，具体不做限定，需要说明的是，上述针对不同情绪状态下的措施在这里只是举例说明，实际根据其他情绪状态，也可以控制车辆进行对应的辅助响应，本发明实施例不一一举例。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种车辆辅助驾驶控制装置10，该车辆辅助驾驶控制装置10与上述实施例中车辆辅助驾驶控制方法一一对应，该车辆辅助驾驶控制装置10应用于车辆辅助驾驶控制系统中，车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，如图6所示，该车辆辅助驾驶控制装置10包括获取模块101、特征提取模块102、情绪识别模块103和辅助控制模块104。各功能模块详细说明如下：
获取模块101，用于分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
特征提取模块102，用于根据所述获取模块获取的所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
情绪识别模块103，用于将所述特征提取模块提取的所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
辅助控制模块104，用于根据所述情绪识别模块得到的所述情绪识别结果信息控制车辆进行辅助驾驶响应。
可选地，车辆辅助驾驶控制装置10还包括建立模块和融合模块，其中，
获取模块还用于：通过所述智能方向盘的光电传感器和皮电传感器获取每个测试人员处于模拟驾驶过程的光电信息和皮电信息，其中，所述测试人员处于不同的情绪状态；用于分别通过所述智能方向盘的摄像头和语音传感器获取每个测试人员处于模拟驾驶过程中的面部表情信息和和声音信息；
特征提取模块还用于：根据每个测试人员处于模拟驾驶过程中的光电信息、皮电信息、面部表情信息和声音信息，对应提取每个测试人员处于模拟驾驶过程中的特征信息；
融合模块，用于根据所述每个测试人员处于模拟驾驶过程中的特征信息进行融合得到融合信息；
建立模块，用于根据所述融合信息和标定信息建立预设情绪识别通用模型，其中，所述标定信息为标定人员为每个测试人员处于模拟驾驶过程中情绪进行标定的信息。
可选地，车辆辅助驾驶控制装置10还包括启动模块、输出模块和确定模块；
启动模块，用于在实际驾驶之前，当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别；
输出模块，用于当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静；
获取模块，还用于在预设时长之后，分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息；
分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和和声音信息；
特征提取模块，还用于根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取所述当前状态下所述驾驶员的特征信息；
确定模块，用于将所述当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。
可选地，所述预设情绪识别通用模型可识别的情绪状态包括愤怒、平静和兴奋，每种不同情绪状态下包括不同情绪程度等级的情绪识别通用模型。
可选地，所述光电信息包括心率和血压，所述皮电信息包括汗水率。
可选地，辅助控制模块具体用于：
若所述情绪识别结果信息指示所述驾驶员处于愤怒情绪状态，则控制车辆针对所述愤怒情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于平静情绪状态，则控制车辆针对所述平静情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于兴奋情绪状态，则控制车辆针对所述兴奋情绪状态进行辅助响应。
关于车辆辅助驾驶控制装置的具体限定可以参见上文中对于车辆辅助驾驶控制方法的限定，在此不再赘述。上述车辆辅助驾驶控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种车辆辅助驾驶控制装置20，该车辆辅助驾驶控制装置20的内部结构图可以如图7所示。该车辆辅助驾驶控制装置20包括通过系统总线连接的处理器、存储器和收发器。其中，该车辆辅助驾驶控制装置的处理器用于提供计算和控制能力。该计车辆辅助驾驶控制装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该车辆辅助驾驶控制装置的网络接口用于与外部的设备，例如与车辆的其他系统通过连接通信。该计算机程序被处理器执行时以实现一种车辆辅助驾驶控制方法。
在一个实施例中，提供了一种车辆辅助驾驶控制装置，应用于车辆辅助驾驶控制系统中，所述车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，该车辆辅助驾驶控制装置包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；
分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
根据所述情绪识别结果信息控制车辆进行辅助驾驶响应。
具体地，处理器执行计算机程序时的详细内容，可对应前述方法实施例的描述，这里不重复描述。
在一个实施例中，提供了一种计算机可读存储介质，应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，所述车辆辅助驾驶控制系统还包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
分别获取实际驾驶过程中智能方向盘的光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；
分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和和声音信息；
根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
根据所述情绪识别结果信息控制车辆进行辅助驾驶响应。
具体地，处理器执行计算机程序时的详细内容，可对应前述方法实施例的描述，这里不重复描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种车辆辅助驾驶控制方法，应用于车辆辅助驾驶控制系统中的车辆辅助驾驶控制装置，其特征在于，所述车辆辅助驾驶控制系统包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述方法包括：
分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；
分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和声音信息；
根据所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
将所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
根据所述情绪识别结果信息控制车辆进行辅助驾驶响应；所述辅助驾驶响应至少包括对话提示辅助驾驶，气味释放辅助驾驶；
其中，在所述实际驾驶之前，所述方法还包括：
当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别；
当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静；
在预设时长之后，分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息；
分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和声音信息；
根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取所述当前状态下所述驾驶员的特征信息；
将所述当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。
2.如权利要求1所述的车辆辅助驾驶控制方法，其特征在于，所述预设情绪识别通用模型通过如下方式获取：
通过所述智能方向盘的光电传感器和皮电传感器获取每个测试人员处于模拟驾驶过程的光电信息和皮电信息，其中，所述测试人员处于不同的情绪状态；
分别通过所述智能方向盘的摄像头和语音传感器获取每个测试人员处于模拟驾驶过程中的面部表情信息和声音信息；
根据每个测试人员处于模拟驾驶过程中的光电信息、皮电信息、面部表情信息和声音信息，对应提取每个测试人员处于模拟驾驶过程中的特征信息；
根据所述每个测试人员处于模拟驾驶过程中的特征信息进行融合得到融合信息；
根据所述融合信息和标定信息建立预设情绪识别通用模型，其中，所述标定信息为标定人员为每个测试人员处于模拟驾驶过程中情绪进行标定的信息。
3.如权利要求2所述的车辆辅助驾驶控制方法，其特征在于，所述预设情绪识别通用模型可识别的情绪状态包括愤怒、平静和兴奋，每种不同情绪状态下包括情绪程度递进的情绪程度等级。
4.如权利要求1-3任一项所述的车辆辅助驾驶控制方法，其特征在于，所述根据所述情绪识别结果信息控制车辆进行辅助驾驶响应，包括：
若所述情绪识别结果信息指示所述驾驶员处于愤怒情绪状态，则控制车辆针对所述愤怒情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于平静情绪状态，则控制车辆针对所述平静情绪状态进行辅助响应；
若所述情绪识别结果信息指示所述驾驶员处于兴奋情绪状态，则控制车辆针对所述兴奋情绪状态进行辅助响应。
5.如权利要求1-3任一项所述的车辆辅助驾驶控制方法，其特征在于，所述光电信息包括心率和血压，所述皮电信息包括汗水率。
6.一种车辆辅助驾驶控制装置，应用于车辆辅助驾驶控制系统中，其特征在于，所述车辆辅助驾驶控制系统包括智能方向盘，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述车辆辅助驾驶控制装置包括：
获取模块，用于分别获取实际驾驶过程中所述光电传感器和皮电传感器探测到的驾驶员的光电信息和皮电信息；分别获取实际驾驶过程中所述智能方向盘的摄像头和语音传感器探测到的驾驶员的面部表情信息和声音信息；
特征提取模块，用于根据所述获取模块获取的所述光电信息、皮电信息、面部表情信息和声音信息提取实际驾驶过程中所述驾驶员的特征信息；
情绪识别模块，用于将所述特征提取模块提取的所述特征信息输入所述驾驶员对应的情绪识别个性模型中，得到实际驾驶过程中所述驾驶员的情绪识别结果信息；
辅助控制模块，用于根据所述情绪识别模块得到的所述情绪识别结果信息控制车辆进行辅助驾驶响应；所述辅助驾驶响应至少包括对话提示辅助驾驶，气味释放辅助驾驶；
其中，在所述获取模块，还用于：
当检测到所述驾驶员启动车辆时，启动设置于所述智能方向盘的摄像头以对所述驾驶员进行人脸识别；
当所述驾驶员为新驾驶员时，发出语音提示信息，所述语音提示信息用于提示所述驾驶员保持平静；
在预设时长之后，分别通过设置于智能方向盘的光电传感器和皮电传感器获取当前状态下所述驾驶员的光电信息和皮电信息；
分别通过设置于所述智能方向盘的摄像头和语音传感器获取所述当前状态下驾驶员的面部表情信息和声音信息；
根据当前状态下驾驶员的光电信息、皮电信息、面部表情信息和声音信息提取所述当前状态下所述驾驶员的特征信息；
将所述当前状态下所述驾驶员的特征信息作为基线信息与预设情绪识别通用模型进行匹配，以得到所述驾驶员对应的情绪识别个性模型。
7.一种车辆辅助驾驶控制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法的步骤。
8.一种智能方向盘，应用于车辆辅助驾驶控制系统中，其特征在于，所述车辆辅助驾驶控制系统包括如权利要求7所述的车辆辅助驾驶控制装置，所述智能方向盘上设置有光电传感器、皮电传感器、摄像头和语音传感器，所述车辆辅助驾驶控制装置分别与光电传感器、皮电传感器、摄像头和语音传感器连接。
9.如权利要求8所述的智能方向盘，其特征在于，所述光电传感器和皮电传感器设置于所述智能方向盘手握区域的其中一侧端或所述智能方向盘手握区域的两侧端均设置有所述光电传感器和皮电传感器，所述摄像头和语音传感器相对于所述两侧端，分别设置于所述智能方向盘的上下端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567354.XA CN113815625B (zh) | 2020-06-19 | 2020-06-19 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567354.XA CN113815625B (zh) | 2020-06-19 | 2020-06-19 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113815625A CN113815625A (zh) | 2021-12-21 |
| CN113815625B true CN113815625B (zh) | 2024-01-19 |
Family
ID=78912066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010567354.XA Active CN113815625B (zh) | 2020-06-19 | 2020-06-19 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113815625B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114869284A (zh) * | 2022-05-11 | 2022-08-09 | 吉林大学 | 一种驾驶员驾驶情绪状态及驾驶姿势的监测系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
| KR20160109243A (ko) * | 2015-03-10 | 2016-09-21 | 주식회사 서연전자 | 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| JP2017109708A (ja) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | 車両走行支援装置 |
| CN107139868A (zh) * | 2017-05-15 | 2017-09-08 | 成都中技智慧企业管理咨询有限公司 | 一种自动驾驶汽车判断乘客身份的系统 |
| CN206885034U (zh) * | 2017-06-29 | 2018-01-16 | 吉林大学 | 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| WO2018147838A1 (en) * | 2017-02-08 | 2018-08-16 | Lin Zhuohua | Machine learning for olfactory mood alteration |
| CN108922564A (zh) * | 2018-06-29 | 2018-11-30 | 北京百度网讯科技有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN109941278A (zh) * | 2017-12-20 | 2019-06-28 | 广州汽车集团股份有限公司 | 一种基于监控驾驶员状态的车辆控制方法、装置和系统 |
| CN110103816A (zh) * | 2019-03-15 | 2019-08-09 | 河南理工大学 | 一种驾驶状态检测方法 |
| KR20190123403A (ko) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | 장치, 이를 포함하는 차량, 및 차량의 제어방법 |
| CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
| CN110641467A (zh) * | 2018-06-25 | 2020-01-03 | 广州汽车集团股份有限公司 | 一种自适应巡航系统车距控制方法及装置 |
| CN110941975A (zh) * | 2018-09-21 | 2020-03-31 | 广州汽车集团股份有限公司 | 图像获取方法、角度调整方法、装置及驾驶系统 |
| CN111267863A (zh) * | 2018-12-04 | 2020-06-12 | 广州汽车集团股份有限公司 | 驾驶员驾驶类型识别方法、装置、存储介质及终端设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9123035B2 (en) * | 2011-04-22 | 2015-09-01 | Angel A. Penilla | Electric vehicle (EV) range extending charge systems, distributed networks of charge kiosks, and charge locating mobile apps |
| JP5927054B2 (ja) * | 2012-06-11 | 2016-05-25 | 日立オートモティブシステムズ株式会社 | 車両の走行制御装置 |
| KR20140080727A (ko) * | 2012-12-14 | 2014-07-01 | 한국전자통신연구원 | 운전자 감성제어 장치 및 그 방법 |
| JP6558719B2 (ja) * | 2017-03-29 | 2019-08-14 | マツダ株式会社 | 車両運転支援システム及び車両運転支援方法 |
| JP6555645B2 (ja) * | 2017-03-29 | 2019-08-07 | マツダ株式会社 | 車両運転支援システム及び車両運転支援方法 |
| US11086317B2 (en) * | 2018-03-30 | 2021-08-10 | Intel Corporation | Emotional adaptive driving policies for automated driving vehicles |
| JP7115062B2 (ja) * | 2018-06-27 | 2022-08-09 | トヨタ自動車株式会社 | 車両制御装置 |
-
2020
- 2020-06-19 CN CN202010567354.XA patent/CN113815625B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160109243A (ko) * | 2015-03-10 | 2016-09-21 | 주식회사 서연전자 | 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치 |
| CN105303829A (zh) * | 2015-09-11 | 2016-02-03 | 深圳市乐驰互联技术有限公司 | 汽车驾驶员情绪识别方法及装置 |
| JP2017109708A (ja) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | 車両走行支援装置 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| WO2018147838A1 (en) * | 2017-02-08 | 2018-08-16 | Lin Zhuohua | Machine learning for olfactory mood alteration |
| CN107139868A (zh) * | 2017-05-15 | 2017-09-08 | 成都中技智慧企业管理咨询有限公司 | 一种自动驾驶汽车判断乘客身份的系统 |
| CN206885034U (zh) * | 2017-06-29 | 2018-01-16 | 吉林大学 | 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| CN109941278A (zh) * | 2017-12-20 | 2019-06-28 | 广州汽车集团股份有限公司 | 一种基于监控驾驶员状态的车辆控制方法、装置和系统 |
| KR20190123403A (ko) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | 장치, 이를 포함하는 차량, 및 차량의 제어방법 |
| CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
| CN110641467A (zh) * | 2018-06-25 | 2020-01-03 | 广州汽车集团股份有限公司 | 一种自适应巡航系统车距控制方法及装置 |
| CN108922564A (zh) * | 2018-06-29 | 2018-11-30 | 北京百度网讯科技有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN110941975A (zh) * | 2018-09-21 | 2020-03-31 | 广州汽车集团股份有限公司 | 图像获取方法、角度调整方法、装置及驾驶系统 |
| CN111267863A (zh) * | 2018-12-04 | 2020-06-12 | 广州汽车集团股份有限公司 | 驾驶员驾驶类型识别方法、装置、存储介质及终端设备 |
| CN110103816A (zh) * | 2019-03-15 | 2019-08-09 | 河南理工大学 | 一种驾驶状态检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于置信规则库的驾驶人愤怒情绪识别模型;万平;吴超仲;林英姿;马晓凤;黄珍;;交通运输系统工程与信息(05);97-101 * |
| 简化路况模式下驾驶员情绪模型的研究;解仑;王志良;任冬淳;滕少冬;;自动化学报(第12期);1732-1743 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113815625A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10160456B2 (en) | Apparatus and method for controlling vehicle based on degree of fatigue | |
| US10195748B2 (en) | Humanoid robot | |
| JP2002182680A (ja) | 操作指示装置 | |
| CN113815625B (zh) | 车辆辅助驾驶控制方法、装置及智能方向盘 | |
| KR102277811B1 (ko) | 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법 | |
| CN111125657A (zh) | 学生使用电子设备的控制方法、装置及电子设备 | |
| JP2017173546A (ja) | 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム | |
| KR101524918B1 (ko) | 생체 신호를 이용한 감정 인식 방법 및 그 장치 | |
| KR20200083901A (ko) | 자율주행차의 제어권 전환 hmi 평가 장치, 방법 및 저장 매체 | |
| JP2018190318A (ja) | データ収集装置及び学習装置 | |
| US10983808B2 (en) | Method and apparatus for providing emotion-adaptive user interface | |
| KR102239430B1 (ko) | 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치 | |
| Griol et al. | Towards emotionally sensitive conversational interfaces for e-therapy | |
| KR20220080275A (ko) | 오브젝트 연속 입력 결과에 기반한 스트레스 레벨 결정 장치, 방법 및 프로그램 | |
| CN112786151B (zh) | 一种语言功能训练系统以及方法 | |
| US20210259603A1 (en) | Method for evaluating a risk of neurodevelopmental disorder with a child | |
| KR20220005945A (ko) | 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| JP5244627B2 (ja) | 感情推定方法および装置 | |
| Putze et al. | Reliable subject-adapted recognition of EEG error potentials using limited calibration data | |
| RU2716461C2 (ru) | Способ определения достоверности информации, сообщаемой испытуемым человеком | |
| Sorrentino et al. | Exploring Human attitude during Human-Robot Interaction | |
| CN114617769B (zh) | 基于融合语音识别的失语症患者辅助康复训练装置 | |
| CN110015309A (zh) | 车辆驾驶辅助系统和方法 | |
| KR20150054637A (ko) | 감성 교사 정보에 기반한 감성인식 방법 | |
| KR102133775B1 (ko) | 인문학을 추상화로 해석한 이미지 연상학습을 통한 인문아트 메타인지 패럴랙스 학습을 위한 시스템, 시스템의 동작 방법, 프로그램, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |