CN112562267A - 车载安全机器人和安全驾驶辅助方法 - Google Patents
车载安全机器人和安全驾驶辅助方法 Download PDFInfo
- Publication number
- CN112562267A CN112562267A CN202011368289.4A CN202011368289A CN112562267A CN 112562267 A CN112562267 A CN 112562267A CN 202011368289 A CN202011368289 A CN 202011368289A CN 112562267 A CN112562267 A CN 112562267A
- Authority
- CN
- China
- Prior art keywords
- driver
- module
- real
- state
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000002996 emotional effect Effects 0.000 claims abstract description 45
- 230000008451 emotion Effects 0.000 claims description 37
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 34
- 239000008280 blood Substances 0.000 claims description 34
- 210000004369 blood Anatomy 0.000 claims description 34
- 229910052760 oxygen Inorganic materials 0.000 claims description 34
- 239000001301 oxygen Substances 0.000 claims description 34
- 238000013473 artificial intelligence Methods 0.000 claims description 12
- 206010048909 Boredom Diseases 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 7
- 206010016256 fatigue Diseases 0.000 description 61
- 238000010586 diagram Methods 0.000 description 9
- 230000036651 mood Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开一种车载安全机器人和安全驾驶辅助方法，车载安全机器人包括：驾驶员状态检测模块，用于检测驾驶员的疲劳状态和实时情绪状态；语音识别模块，用于采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；车载多媒体模块，与所述驾驶员状态检测模块或所述语音识别模块连接，用于根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；以及预警模块，与所述驾驶员状态检测模块连接，用于根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。本申请旨在降低意外事故风险和提高驾驶安全性。
Description
技术领域
本发明涉及驾驶安全领域，尤其涉及一种车载安全机器人和安全驾驶辅助方法。
背景技术
随着汽车保有数的增长和公路规模的不断扩大，疲劳分心驾驶引起交通事故的情况时有发生。实时评估驾驶员的疲劳状态，对驾驶员疲劳分心状态进行及时提醒，可有效减少相应的交通事故。但这种方式也只能是事故发生前进行预防，因此降低意外事故风险和提高驾驶安全性的效果不佳。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请实施例通过提供车载安全机器人和安全驾驶辅助方法，本申请旨在降低意外事故风险和提高驾驶安全性。
本申请实施例提供了一种车载安全机器人，包括：
驾驶员状态检测模块，用于检测驾驶员的疲劳状态和实时情绪状态；
语音识别模块，用于采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
车载多媒体模块，与所述驾驶员状态检测模块或所述语音识别模块连接，用于根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；以及
预警模块，与所述驾驶员状态检测模块连接，用于根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。
在一些实施例中，所述驾驶员状态检测模块包括：
驾驶员疲劳检测模块，用于通过检测驾驶员的血氧含量、驾驶里程、驾驶时间、脸部状态中的至少一种判断驾驶员是否疲劳；
驾驶员情绪检测模块，用于通过驾驶员的脸部状态判断驾驶员的情绪状态。
在一些实施例中，所述驾驶员疲劳检测模块包括以下至少一种：
血氧含量检测模块，用于获取驾驶员实时的血氧含量信息，当驾驶员实时的血氧含量信息达到预设阈值时判断为疲劳状态；
驾驶里程检测模块，用于获取驾驶员实时的驾驶里程信息，当驾驶员实时的驾驶里程信息达到预设阈值时判断为疲劳状态；
驾驶时间测模块，用于获取驾驶员实时的驾驶时间信息，当驾驶员实时的驾驶时间信息达到预设阈值时判断为疲劳状态；
脸部状态检测模块，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断是否为疲劳状态。
在一些实施例中，所述驾驶员情绪检测模块，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断驾驶员实时情绪状态。
在一些实施例中，所述预设娱乐模式包括用于驾驶员语音对谈聊天的聊天模块、用于播放笑话音频的笑话音频模块、用于播放广播节目的广播节目模块以及用于播放音乐的音乐播放模块。
在一些实施例中，所述聊天模块包括：
人工智能聊天模块，用于根据驾驶员的语音信息，从聊天数据库中找到与驾驶员的语音信息相匹配的人工智能对话结果，并语音播该放人工智能对话结果；或者
私聊模块，用于与服务器连接，并在服务器中搜索在线的其他用户，创建一对一的语音聊天；或者
群聊模块，用于将驾驶员社交账号加入到预设的语音群中，创建一对多的语音聊天。
在一些实施例中，车载安全机器人还包括：
用户配置获取模块，用于接收用户配置的不同的实时情绪状态与所述聊天模块、和/或所述笑话音频模块、和/或所述广播节目模块、和/或所述音乐播放模块对应的匹配关系。
在一些实施例中，所述实时情绪状态包括无聊、疲劳、悲伤、愤怒中的至少之一。
在一些实施例中，所述预警模块包括：
语音播放模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过语音播放提醒驾驶员注意驾驶安全的提醒或安抚信息；和/或
发光显示模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过光提示提醒驾驶员注意驾驶安全。
本申请还提出一种安全驾驶辅助方法，适用于所述的车载安全机器人，所述安全驾驶辅助方法包括：
通过获取驾驶员的血氧含量、和/或驾驶里程、和/或驾驶时间、和/或脸部状态检测驾驶员的疲劳状态，通过获取驾驶员的脸部状态检测驾驶员的实时情绪状态；
采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；
根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。
本申请的实施例通过驾驶员状态检测模块检测驾驶员的疲劳状态和实时情绪状态；当检测到驾驶员处于疲劳状态或者情绪不佳时，通过预警模块对所述疲劳状态对驾驶员进行提醒或安抚。再基于检测出的实时情绪状态触发车载多媒体模块中与实时情绪状态相匹配的预设娱乐模式；或者通过语音识别模块根据所述语音指令识别语义获知驾驶员的实时需求；再基于实时需求触发车载多媒体模块中与实时情绪状态相匹配的预设娱乐模式。从而当检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态、或者基于驾驶员的语音指令时，能够通过与驾驶员聊天对谈，或者播放相应的娱乐节目，放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
附图说明
图1为本申请的车载安全机器人的一实施例的结构框图；
图2为图1中驾驶员状态检测模块的一实施例的结构框图；
图3为图1中车载多媒体模块的一实施例的结构框图；
图4为图3中聊天模块的一实施例的结构框图；
图5为本申请的车载安全机器人的一实施例的电路原理图；
图6为本申请的安全驾驶辅助方法的一实施例的流程框图；
图7为本申请的安全驾驶辅助方法的另一实施例的流程框图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
随着汽车保有数的增长和公路规模的不断扩大，疲劳分心驾驶引起交通事故的情况时有发生。实时评估驾驶员的疲劳状态，对驾驶员疲劳分心状态进行及时提醒，可有效减少相应的交通事故。但这种方式也只能是事故发生前进行预防，因此降低意外事故风险和提高驾驶安全性的效果不佳。
因此，需要一种在事前能够与驾驶员沟通或提高驾驶员的兴趣，调动驾驶员的注意力和兴奋度的车载安全机器人和安全驾驶辅助方法，以便降低意外事故风险和提高驾驶安全性效果。基于上述发明构思，本申请提出一种车载安全机器人和安全驾驶辅助方法。
请参照图1，下面介绍一种车载安全机器人，该车载安全机器人包括：
驾驶员状态检测模块10，用于检测驾驶员的疲劳状态和实时情绪状态；
语音识别模块20，用于采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
车载多媒体模块30，与所述驾驶员状态检测模块10和所述语音识别模块20连接，用于根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；以及
预警模块40，与所述驾驶员状态检测模块10连接，用于根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。
在一些实施例中，请参照图2，所述驾驶员状态检测模块10包括：
驾驶员疲劳检测模块101，用于通过检测驾驶员的血氧含量、驾驶里程、驾驶时间、脸部状态中的至少一种判断驾驶员是否疲劳；
驾驶员情绪检测模块102，用于通过驾驶员的脸部状态判断驾驶员的情绪状态。
在一些实施例中，所述驾驶员疲劳检测模块101包括以下至少一种：
血氧含量检测模块，用于获取驾驶员实时的血氧含量信息，当驾驶员实时的血氧含量信息达到预设阈值时判断为疲劳状态。具体地，该血氧含量检测模块可与驾驶员佩戴的可穿戴设备通信连接，从而实时获取驾驶员的血氧含量。可穿戴设备可以是驾驶员佩戴的智能手表、智能手环等。驾驶员佩戴的智能手表、智能手环等设备检测到驾驶员实时的血氧含量信息，并将血氧含量信息实时发送至车载安全机器人的血氧含量检测模块，以便血氧含量检测模块判断驾驶员的疲劳状态。
血氧一般是指血液中的氧气含量，也就是通常所指的血氧饱和度，正常人的血氧饱和度机器监测一般在95％以上。当驾驶员长时间开车疲劳或者将空调调成内循环，车内无法补充新鲜空气，造成车内二氧化碳浓度过高，使人的血氧含量偏低。因此血氧含量可以作为判断驾驶员疲劳程度的依据之一。在一些实施例中，可以设置预设血氧含量阈值为94％，当接收到驾驶员的血氧含量(血氧饱和度)为小于或等于94％时，此时判断驾驶员为疲劳驾驶状态。此时需要通过预警模块进行预警或车载多媒体模块30触发相应的措施提高驾驶员的注意力。
在其他的实施例中，由于当驾驶员长时间开车疲劳也可能导致心率增高，也可通过检测心率，设置心率的阈值上限来判断驾驶员的疲劳状况。检测心率也可通过驾驶员佩戴的智能设备获取，原理与检测血氧含量类似，在此不赘述。
驾驶里程检测模块，用于获取驾驶员实时的驾驶里程信息，当驾驶员实时的驾驶里程信息达到预设阈值时判断为疲劳状态。
可以理解的，当驾驶员驾车的里程达到一定数值。驾驶员即会感到疲劳，精力不容易集中。所以可将驾驶里程作为判断驾驶员疲劳与否的标准之一。这里的预设阈值可以通过大数据收集驾驶员驾车的感到疲劳时的里程数的平均数、或众数、或中位数等。例如可设置预设里程阈值为150公里，当检测到驾驶员的驾驶里程达到150公里则需要通过预警模块进行预警或车载多媒体模块30触发相应的措施提高驾驶员的注意力。应理解，这里驾驶里程的具体数值只是为了本领域技术人员能够理解本申请的技术方案而进行的说明，不应该理解为对本申请的限制，这里的驾驶里程的预设阈值也可设置为其他里程数。
驾驶时间测模块，用于获取驾驶员实时的驾驶时间信息，当驾驶员实时的驾驶时间信息达到预设阈值时判断为疲劳状态。
可以理解的，当驾驶员驾车的时间达到一定数值。驾驶员即会感到疲劳，精力不容易集中。所以可将驾驶时间作为判断驾驶员疲劳与否的标准之一。这里驾驶时间的预设阈值可以通过大数据收集驾驶员驾车的感到疲劳时的驾驶时间的平均数、或众数、或中位数等。例如可设置驾驶时间预设阈值为2小时，当检测到驾驶员的驾驶时间达到2小时则需要通过预警模块进行预警或车载多媒体模块30触发相应的措施提高驾驶员的注意力。应理解，这里的驾驶时间的具体数值只是为了本领域技术人员能够理解本申请的技术方案而进行的说明，不应该理解为对本申请的限制，这里的驾驶时间的预设阈值也可设置为其他驾驶时间。
脸部状态检测模块，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断是否为疲劳状态。具体地，可通过车载机器人上自带的摄像头获取驾驶员实时的脸部照片，再通过对脸部照片进行灰度化和归一化处理，识别并标记出人脸、眼睛和嘴巴，对眼睛和嘴巴的大小进行判断并归类，从而得出驾驶员实时的情绪状态。在一些实施例中，所述实时情绪状态包括无聊、疲劳、悲伤、愤怒中的至少之一。当判断出驾驶员处于疲劳状态时需要通过预警模块进行预警或车载多媒体模块30触发相应的措施提高驾驶员的注意力。
驾驶员情绪检测模块102，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断驾驶员实时情绪状态。具体地，这里的驾驶员情绪检测模块通过获取驾驶员实时的脸部照片检测驾驶员的情绪的原理与脸部状态检测模块相同，在此不过多赘述。
在一些实施例中，请参照图3，车载多媒体模块30包括用于驾驶员语音对谈聊天的聊天模块301、用于播放笑话音频的笑话音频模块302、用于播放广播节目的广播节目模块303以及用于播放音乐的音乐播放模块304。其中，笑话音频模块302、广播节目模块303、音乐播放模块304通过车载安全机器人的扬声器播放音频信息。笑话音频模块302、广播节目模块303、音乐播放模块304中的笑话音频、广播节目以及音乐可以是驾驶员预先设置的内容也可以是与服务器连网获取的内容。在检测到驾驶员处于疲劳状态或者其他的情绪状态、或者基于驾驶员的指令，触发相应的预设娱乐模式，能够放松驾驶员的情绪，同时让驾驶员保持较高的专注度，降低意外事故风险和提高驾驶安全性。
进一步地，请参照图4，所述聊天模块301包括：人工智能聊天模块3011，或者私聊模块3012，或者群聊模块3013。聊天模块可通过车载安全机器人的麦克进行收集驾驶员语音，在通过扬声器播放对话信息。
人工智能聊天模块3011，用于根据驾驶员的语音信息，从聊天数据库中找到与驾驶员的语音信息相匹配的人工智能对话结果，并语音播放该人工智能对话结果。具体地，经过大数据的对话模型训练，聊天数据库中包含大多数日常对话内容，通过接收驾驶员的语音信息，即可产生对应的人工智能对话结果，从而实现在检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态或者基于驾驶员的指令时，能够与驾驶员聊天对谈，达到放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
私聊模块3012，用于与服务器连接，并在服务器中搜索在线的其他用户，创建一对一的语音聊天。具体地，可通过运营商网络(即5G、或4G、或3G)或者无线网络连接社交聊天软件的服务器，在服务器中搜索在线的其他用户，并创建一对一的语音聊天。应理解，在线的其他用户可以是在驾驶员的通讯录中的好友也可以是社交聊天软件匹配的随机用户。从而当检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态、或者基于驾驶员的指令时，能够通过真人与驾驶员聊天对谈，达到放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
群聊模块3013，用于将驾驶员社交账号加入到预设的语音群中，创建一对多的语音聊天。具体地，可通过运营商网络或者无线网络连接社交聊天软件的服务器，将驾驶员社交账号加入到预设的语音群中，实现一对多的群聊，从而当检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态、或者基于驾驶员的指令时，能够通过真人与驾驶员聊天对谈，达到放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
值得一提的是，车载安全机器人还包括：
用户配置获取模块50，用于接收用户配置的不同的实时情绪状态与所述聊天模块、和/或所述笑话音频模块、和/或所述广播节目模块、和/或所述音乐播放模块对应的匹配关系。
具体地，驾驶员可以在智能终端自行配置不同的实时情绪状态对应的预设娱乐模式，再将配置内容发送至车载机器人，车载机器人的用户配置获取模块该配置内容，以便基于驾驶员的实时情绪状态和语音指令而触发相应的车载多媒体模块中的预设娱乐模式。下面通过几个例子进行说明。例如，可以将无聊情绪对应的预设娱乐模式设置为通过笑话音频模块播放笑话，或者通过广播节目模块播放广播节目，或者通过音乐播放模块舒缓的、婉转的音乐。或者将愤怒情绪对应的预设娱乐模式设置为通过聊天模块触发私聊模块或群聊模块，从而帮助司机及时排解情绪，放松心情。或者将愤怒情绪对应的预设娱乐模式设置为通过音乐播放模块播放安静的音乐，从而帮助司机及时排解情绪，放松心情。
进一步地，预警模块用于在驾驶员处于疲劳状态或者处于无聊、悲伤、愤怒等状态时，及时发出提醒信息或者安抚信息。所述预警模块40包括：语音播放模块，和/或发光显示模块。
语音播放模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过语音播放提醒驾驶员注意驾驶安全的提醒或安抚信息；例如，可当驾驶员被处于疲劳状态时可播放“请不要犯困喔”的语音信息。可当驾驶员被处于愤怒状态时可播放“检测到您当前为路怒状态，稍安勿躁，请注意驾驶安全”的语音信息。
发光显示模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过光提示提醒驾驶员注意驾驶安全。例如，可当驾驶员被处于疲劳状态时可通过LED等发光提醒驾驶员注意驾驶安全。
需要说明的是，这里的语音播放模块和发光显示模块可以任选其一，或者都具备，当都具备时提醒驾驶员的效果最佳。
请参照图5，下面介绍一种车载安全机器人的电路原理图，该车载安全机器人可以包括：处理器1001，摄像头1002，扬声器1003，麦克风1004，信息接口1005。处理器1001分别与摄像头1002电连接，扬声器1003，麦克风1004电连接，处理器1001与信息接口1005双向通信连接，用于接收血氧含量、驾驶里程、驾驶时间等信息，或者与服务器进行数据通信。
本领域技术人员可以理解，图5中示出的车载安全机器人电路原理图并不构成对车载安全机器人的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请通过驾驶员状态检测模块检测驾驶员的疲劳状态和实时情绪状态；当检测到驾驶员处于疲劳状态或者情绪不佳时，通过预警模块对所述疲劳状态对驾驶员进行提醒或安抚。再基于检测出的实时情绪状态触发车载多媒体模块中与实时情绪状态相匹配的预设娱乐模式；或者通过语音识别模块根据所述语音指令识别语义获知驾驶员的实时需求；再基于实时需求触发车载多媒体模块中与实时情绪状态相匹配的预设娱乐模式。从而当检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态、或者基于驾驶员的语音指令时，能够通过与驾驶员聊天对谈，或者播放相应的娱乐节目，放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
请参照图6，基于上述车载安全机器人的电路原理图，下面提出本申请的安全驾驶辅助方法，该安全驾驶辅助方法包括：
S100、通过获取驾驶员的血氧含量、和/或驾驶里程、和/或驾驶时间、和/或脸部状态检测驾驶员的疲劳状态，通过获取驾驶员的脸部状态检测驾驶员的实时情绪状态；
具体地，通过血氧含量、和/或驾驶里程、和/或驾驶时间、和/或脸部状态可以实时获知驾驶员的疲劳状态。通过获取驾驶员的脸部拍照，再通过对脸部照片进行灰度化和归一化处理，识别并标记出人脸、眼睛和嘴巴，对眼睛和嘴巴的大小进行判断并归类，从而得出驾驶员实时的情绪状态。实时情绪状态包括无聊、疲劳、悲伤、愤怒中的至少之一。
S200、根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚；
具体地，当驾驶员被处于疲劳状态时可播放“请不要犯困喔”的语音信息。当驾驶员被处于愤怒状态时可播放“检测到您当前为路怒状态，稍安勿躁，请注意驾驶安全”的语音信息。
S300、根据所述实时情绪状态触发相匹配的预设娱乐模式。
具体地，当检测到驾驶员处于无聊情绪，通过笑话音频模块播放笑话，或者通过广播节目模块播放广播节目，或者通过音乐播放模块舒缓的婉转的音乐。当检测到驾驶员处于愤怒情绪，通过聊天模块触发私聊模块或群聊模块，从而帮助司机及时排解情绪，放松心情。或者将愤怒情绪对应的预设娱乐模式设置为通过音乐播放模块播放安静的音乐，从而帮助司机及时排解情绪，放松心情。
本实施例通过驾驶员状态检测模块检测驾驶员的疲劳状态和实时情绪状态；当检测到驾驶员处于疲劳状态或者情绪不佳时，通过预警模块对所述疲劳状态对驾驶员进行提醒或安抚。再基于检测出的实时情绪状态触发车载多媒体模块中与实时情绪状态相匹配的预设娱乐模式；从而当检测到驾驶员处于疲劳状态或者其他的无聊、或者悲伤、抑或愤怒状态时，能够通过与驾驶员聊天对谈，或者播放相应的娱乐节目，放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
请参照图7，在其他的实施例中，该安全驾驶辅助方法包括：
S100、通过获取驾驶员的血氧含量、和/或驾驶里程、和/或驾驶时间、和/或脸部状态检测驾驶员的疲劳状态，通过获取驾驶员的脸部状态检测驾驶员的实时情绪状态；
S200、根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚；
S400、采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
具体地，这里可通过各种语音识别算法识别驾驶员的语义，获知驾驶员的实时需求。例如，可基于动态时间规整(Dynamic Time Warping)的算法、基于参数模型的隐马尔可夫模型(HMM)的方法或者基于非参数模型的矢量量化(VQ)的方法等方法获知驾驶员的实时需求。
S500、根据所述实时需求触发相匹配的预设娱乐模式。
具体地，当驾驶员主动对着车载安全机器人说“我想听笑话”，车载安全机器人收集到驾驶员的语音指令，并根据语音指令识别语义获取驾驶员想听笑话，随机播放预设的笑话或者联网获取的效果内容。放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
又例如，当驾驶员主动对着车载安全机器人说“我想聊天”，车载安全机器人收集到驾驶员的语音指令，并根据语音指令识别语义获取驾驶员想聊天，触发机器人的聊天模块，驾驶员可选择进行与人工智能聊天，或者与服务器连接中在线的其他用户创建一对一的语音聊天、抑或将驾驶员社交账号加入到预设的语音群中创建一对多的语音聊天。
本实施例通过驾驶员状态检测模块检测驾驶员的疲劳状态和实时情绪状态；当检测到驾驶员处于疲劳状态或者情绪不佳时，通过预警模块对所述疲劳状态对驾驶员进行提醒或安抚。本实施例基于驾驶员的语音指令，通过与驾驶员聊天对谈，或者播放相应的娱乐节目，放松驾驶员的情绪，同时让驾驶员保持较高的专注度，或者对驾驶员的进行安抚，降低意外事故风险和提高驾驶安全性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种车载安全机器人，其特征在于，包括：
驾驶员状态检测模块，用于检测驾驶员的疲劳状态和实时情绪状态；
语音识别模块，用于采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
车载多媒体模块，与所述驾驶员状态检测模块或所述语音识别模块连接，用于根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；以及
预警模块，与所述驾驶员状态检测模块连接，用于根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。
2.根据权利要求1所述的车载安全机器人，其特征在于，所述驾驶员状态检测模块包括：
驾驶员疲劳检测模块，用于通过检测驾驶员的血氧含量、驾驶里程、驾驶时间、脸部状态中的至少一种判断驾驶员是否疲劳；
驾驶员情绪检测模块，用于通过驾驶员的脸部状态判断驾驶员的情绪状态。
3.根据权利要求2所述的车载安全机器人，其特征在于，所述驾驶员疲劳检测模块包括以下至少一种：
血氧含量检测模块，用于获取驾驶员实时的血氧含量信息，当驾驶员实时的血氧含量信息达到预设阈值时判断为疲劳状态；
驾驶里程检测模块，用于获取驾驶员实时的驾驶里程信息，当驾驶员实时的驾驶里程信息达到预设阈值时判断为疲劳状态；
驾驶时间测模块，用于获取驾驶员实时的驾驶时间信息，当驾驶员实时的驾驶时间信息达到预设阈值时判断为疲劳状态；
脸部状态检测模块，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断是否为疲劳状态。
4.根据权利要求2所述的车载安全机器人，其特征在于，所述驾驶员情绪检测模块，用于获取驾驶员实时的脸部图片，并通过人脸检测、表情分类后判断驾驶员实时情绪状态。
5.根据权利要求1所述的车载安全机器人，其特征在于，所述预设娱乐模式包括用于驾驶员语音对谈聊天的聊天模块、用于播放笑话音频的笑话音频模块、用于播放广播节目的广播节目模块以及用于播放音乐的音乐播放模块。
6.根据权利要求5所述的车载安全机器人，其特征在于，所述聊天模块包括：
人工智能聊天模块，用于根据驾驶员的语音信息，从聊天数据库中找到与驾驶员的语音信息相匹配的人工智能对话结果，并语音播该放人工智能对话结果；或者
私聊模块，用于与服务器连接，并在服务器中搜索在线的其他用户，创建一对一的语音聊天；或者
群聊模块，用于将驾驶员社交账号加入到预设的语音群中，创建一对多的语音聊天。
7.根据权利要求5所述的车载安全机器人，其特征在于，还包括：
用户配置获取模块，用于接收用户配置的不同的实时情绪状态与所述聊天模块、和/或所述笑话音频模块、和/或所述广播节目模块、和/或所述音乐播放模块对应的匹配关系。
8.根据权利要求1-7任一项所述的车载安全机器人，其特征在于，所述实时情绪状态包括无聊、疲劳、悲伤、愤怒中的至少之一。
9.根据权利要求8所述的车载安全机器人，其特征在于，所述预警模块包括：
语音播放模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过语音播放提醒驾驶员注意驾驶安全的提醒或安抚信息；和/或
发光显示模块，用于当驾驶员处于疲劳、无聊、悲伤、愤怒中的至少一种状态时通过光提示提醒驾驶员注意驾驶安全。
10.一种安全驾驶辅助方法，其特征在于，适用于权利要求1-9任一项所述的车载安全机器人，所述安全驾驶辅助方法包括：
通过获取驾驶员的血氧含量、和/或驾驶里程、和/或驾驶时间、和/或脸部状态检测驾驶员的疲劳状态，通过获取驾驶员的脸部状态检测驾驶员的实时情绪状态；
采集驾驶员的语音指令，并根据所述语音指令识别语义获知驾驶员的实时需求；
根据所述实时情绪状态或所述实时需求触发相匹配的预设娱乐模式；
根据所述疲劳状态或所述实时情绪状态对驾驶员进行提醒或安抚。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011368289.4A CN112562267A (zh) | 2020-11-27 | 2020-11-27 | 车载安全机器人和安全驾驶辅助方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011368289.4A CN112562267A (zh) | 2020-11-27 | 2020-11-27 | 车载安全机器人和安全驾驶辅助方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112562267A true CN112562267A (zh) | 2021-03-26 |
Family
ID=75045166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011368289.4A Pending CN112562267A (zh) | 2020-11-27 | 2020-11-27 | 车载安全机器人和安全驾驶辅助方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112562267A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439836A (zh) * | 2022-11-09 | 2022-12-06 | 成都工业职业技术学院 | 一种基于计算机的健康驾驶辅助方法及系统 |
| CN116820379A (zh) * | 2023-08-31 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 基于人因工程的装备显示控制方法、服务器及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011013023A1 (de) * | 2011-03-04 | 2012-09-06 | Audi Ag | Situationsabhängiges Verfahren zur Erkennung eines Lenkradkontakts durch einen Fahrer |
| CN106529421A (zh) * | 2016-10-21 | 2017-03-22 | 燕山大学 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN107554526A (zh) * | 2017-07-17 | 2018-01-09 | 成都安程通科技有限公司 | 一种感知驾驶员状态并调节控制的智能汽车 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108831460A (zh) * | 2018-06-15 | 2018-11-16 | 浙江吉利控股集团有限公司 | 一种基于疲劳监测的语音交互控制系统及方法 |
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN110472511A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于计算机视觉的驾驶员状态监测装置 |
| CN111547063A (zh) * | 2020-05-12 | 2020-08-18 | 武汉艾瓦客机器人有限公司 | 一种疲劳检测的智能车载情感交互装置 |
-
2020
- 2020-11-27 CN CN202011368289.4A patent/CN112562267A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011013023A1 (de) * | 2011-03-04 | 2012-09-06 | Audi Ag | Situationsabhängiges Verfahren zur Erkennung eines Lenkradkontakts durch einen Fahrer |
| CN106529421A (zh) * | 2016-10-21 | 2017-03-22 | 燕山大学 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN107554526A (zh) * | 2017-07-17 | 2018-01-09 | 成都安程通科技有限公司 | 一种感知驾驶员状态并调节控制的智能汽车 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108831460A (zh) * | 2018-06-15 | 2018-11-16 | 浙江吉利控股集团有限公司 | 一种基于疲劳监测的语音交互控制系统及方法 |
| CN110008879A (zh) * | 2019-03-27 | 2019-07-12 | 深圳市尼欧科技有限公司 | 车载个性化音视频内容推送方法及装置 |
| CN110472511A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于计算机视觉的驾驶员状态监测装置 |
| CN111547063A (zh) * | 2020-05-12 | 2020-08-18 | 武汉艾瓦客机器人有限公司 | 一种疲劳检测的智能车载情感交互装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439836A (zh) * | 2022-11-09 | 2022-12-06 | 成都工业职业技术学院 | 一种基于计算机的健康驾驶辅助方法及系统 |
| CN115439836B (zh) * | 2022-11-09 | 2023-02-07 | 成都工业职业技术学院 | 一种基于计算机的健康驾驶辅助方法及系统 |
| CN116820379A (zh) * | 2023-08-31 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 基于人因工程的装备显示控制方法、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10121075B2 (en) | Method and apparatus for early warning of danger | |
| CN111547063A (zh) | 一种疲劳检测的智能车载情感交互装置 | |
| CN112562267A (zh) | 车载安全机器人和安全驾驶辅助方法 | |
| US20190279629A1 (en) | Speech system | |
| CN203661267U (zh) | 一种汽车音响系统 | |
| JP2017007652A (ja) | 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置 | |
| CN112735440A (zh) | 车载智能机器人交互方法、机器人及车辆 | |
| CN110008879A (zh) | 车载个性化音视频内容推送方法及装置 | |
| Kashevnik et al. | Multimodal corpus design for audio-visual speech recognition in vehicle cabin | |
| CN113593184B (zh) | 一种抑制疲劳驾驶方法以及相关装置 | |
| JP2019123259A (ja) | 車両制御装置、車両制御方法、及び車両制御プログラム | |
| CN115088033A (zh) | 代表对话中的人参与者生成的合成语音音频数据 | |
| CN112071309A (zh) | 网约车安全监测装置及系统 | |
| CN111750885A (zh) | 控制装置、控制方法以及存储程序的存储介质 | |
| CN114708869A (zh) | 语音交互方法、装置及电器 | |
| CN111382665A (zh) | 信息处理装置以及计算机可读存储介质 | |
| CN111267759A (zh) | 一种实现ai互动的汽车智能交互系统 | |
| WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| JP7469467B2 (ja) | デジタルヒューマンに基づく車室インタラクション方法、装置及び車両 | |
| US20210327402A1 (en) | Sound Processing Apparatus, System, and Method | |
| Lashkov et al. | A multimodal approach to psycho-emotional state detection of a vehicle driver | |
| CN110083392B (zh) | 音频唤醒预录的方法、存储介质、终端及其蓝牙耳机 | |
| Lashkov et al. | Dangerous state detection in vehicle cabin based on audiovisual analysis with smartphone sensors | |
| CN115188395A (zh) | 车内争吵处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
| RJ01 | Rejection of invention patent application after publication |