CN112036329A - 具有人脸及情绪识别功能的车载人机界面 - Google Patents

具有人脸及情绪识别功能的车载人机界面 Download PDF

Info

Publication number
CN112036329A
CN112036329A CN202010911625.9A CN202010911625A CN112036329A CN 112036329 A CN112036329 A CN 112036329A CN 202010911625 A CN202010911625 A CN 202010911625A CN 112036329 A CN112036329 A CN 112036329A
Authority
CN
China
Prior art keywords
driver
vehicle
face
interface screen
wireless communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010911625.9A
Other languages
English (en)
Inventor
刘庆猛
沈磊
边卓越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai ISInstruments & System Co ltd
Original Assignee
Shanghai ISInstruments & System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai ISInstruments & System Co ltd filed Critical Shanghai ISInstruments & System Co ltd
Priority to CN202010911625.9A priority Critical patent/CN112036329A/zh
Publication of CN112036329A publication Critical patent/CN112036329A/zh
Priority to PCT/CN2021/083409 priority patent/WO2022048139A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

本发明公开一种具有人脸及情绪识别功能的车载人机界面，包括带有摄像头的车载人机界面屏，车载人机界面屏还含有CAN网络接口、液晶显示器、喇叭、处理器、存储设备和无线通讯模块。车载人机界面屏的处理器通过摄像头接收视频数据，将视频数据分解为图片数据。本发明对于整车而言不额外增加设备，在具有人脸识别与驾驶人情绪和状态监控系统的同时，不会对车辆系统功能安全构架造成影响，且本发明相关的远程驾驶人状态监控平台在确认驾驶人各种报警后，可通过各种方法推送到手机应用软件，以提醒相关人员关注报警状态。

Description

具有人脸及情绪识别功能的车载人机界面
技术领域
本发明涉及汽车电子技术应用领域、信息存储技术领域、图像识别领域、人工智能领域，具体地说，是具有人脸及情绪识别功能的车载人机界面。
背景技术
随着汽车和交通行业的蓬勃发展，人们对于汽车安全行驶及其管理的要求越来越高，需要对驾驶人在驾驶汽车过程中的身份和精神状态进行监控和提醒驾驶人在驾驶汽车过程中集中注意力。当前我国交通运输行业开始普及安装驾驶员身份识别和疲劳驾驶预警设备，但是市场上没有看到安装具有驾驶员精神情绪识别预警功能的设备报道，而由于公交车驾驶员精神情绪失常造成的事故的报道则特别多；另外一方面，作为一个单独的加装设备，相关的摄像头往往安装在仪表台上方，这样的设备既不美观，而且在车辆运动和产生碰撞事故时可能成为碰撞后的弹射物，也不太安全。
发明内容
本发明的目的就是提供具有人脸及情绪识别功能的车载人机界面，其可解决现有技术存在的上述问题。
为实现上述目的，本发明可通过以下技术方案予以实现:
本发明公开具有人脸及情绪识别功能的车载人机界面，包括带有摄像头的车载人机界面屏，所述车载人机界面屏还含有CAN网络接口、液晶显示器、喇叭、处理器、存储设备和无线通讯模块。
本发明还提出通过以上车载人机界面实现的方法，所述车载人机界面屏的处理器通过摄像头接收视频数据，将视频数据分解为图片数据。
进一步地，所述车载人机界面屏的处理器对所述图片数据进行初步人脸分析，如果所述图片数据中没有驾驶人人脸信息，那么产生无驾驶员信息，如果这时车辆在行驶中，那么所述车载人机界面屏通过所述CAN网络接口发送紧急停车指令，通过所述液晶显示器和喇叭产生无驾驶人声光报警信号，并通过所述无线通讯模块以无线通讯的方式将所述报警信号发送给远程驾驶人状态监控平台。
进一步地，所述车载人机界面屏的处理器对所述图片数据进行初步人脸分析，如果所述图片数据中有驾驶人人脸信息，那么获得含有驾驶人人脸的图片数据。
进一步地，所述车载人机界面屏的处理器将所述含有驾驶人人脸的图片数据进行驾驶人情绪检测，如果检测出驾驶人情绪处于极端负面情绪并且同时通过所述CAN网络接口接收到其他ADAS辅助驾驶报警信号，那么所述车载人机界面屏通过所述CAN网络接口发送紧急停车指令，通过所述液晶显示器和喇叭产生驾驶人极端负面情绪的声光报警信号，并通过所述无线通讯模块以无线通讯的方式将所述报警信号发送给远程驾驶人状态监控平台。
进一步地，所述车载人机界面屏的处理器将含有驾驶人人脸的图片数据进行驾驶人疲劳检测和驾驶行为识别检测，如果检测出驾驶人疲劳或者有不正当驾驶行为，那么所述车载人机界面屏通过所述液晶显示器和喇叭产生对应的声光报警信号，并通过所述无线通讯模块以无线通讯的方式发送给远程驾驶人状态监控平台。
进一步地，所述车载人机界面屏的处理器获得含有驾驶人人脸的图片数据后，通过所述存储设备获得对照的驾驶人人脸信息库，进行人脸识别，一一比对：当所述含有驾驶人人脸的图片数据能与存储设备的某个驾驶人人脸信息一致时，可确认驾驶人信息；否则将所述含有驾驶人人脸的图片数据通过所述无线通讯模块以无线通讯的方式发送给远程驾驶人人脸信息平台，让平台进行人脸识别比对，如果含有驾驶人人脸的图片数据与平台上某个驾驶人人脸信息一致时，平台以无线通讯的方式通过无线通讯模块将确认的驾驶人信息及其人脸信息一起发送到所述车载人机界面屏，所述车载人机界面屏处理器接收判断结果，并保存驾驶人人脸信息到所述存储设备；否则平台以无线通讯的方式通过无线通讯模块将无法识别驾驶人的结论和报警信号发送到所述车载人机界面屏，所述车载人机界面屏将通过所述液晶显示器和喇叭产生驾驶人无法识别声光报警信号。
进一步地，所述其他ADAS辅助驾驶报警信号为“车辆偏移车道报警”和“车辆前向碰撞预警”。
进一步地，
本发明的有益效果
1.本发明不仅具有驾驶员身份识别和疲劳驾驶预警功能，还具有驾驶员精神情绪识别预警和紧急停车功能，提醒驾驶员安全驾驶的同时防止重大事故发生。
2.本发明对于整车而言，通过人脸摄像头和人机界面一体化结构设计，美观可靠符合人体工学，不会对车辆功能安全构架产生不利影响，通过人脸识别进行身份认证可以实现无钥匙启动和驾驶，增加车辆驾驶数据管理的功能。
3.本发明可以通过相关的远程驾驶人状态监控平台在确认驾驶人各种报警后，可通过各种方法提醒相关人员关注报警状态。
附图说明
图1-图4为本发明的设备示意图，其中1为车载人机界面屏，2为车载人机界面屏上内置摄像头，内置摄像头布置在靠近驾驶员的上侧，图1-图4是四种具体的应用场景，其中图1为左驾驶位竖屏，图2为右驾驶位竖屏，图3为左驾驶位横屏，图4为右驾驶位横屏。
图5为本发明的驾驶人情绪和状态监控系统数据流程图
图6为本发明的人脸识别数据流程图
具体实施方式
下面结合附图对本发明作进一步详细描述：
参见图1-图4，本发明的设备示意图。本发明的设备包括带有摄像头的车载人机界面屏。车载人机界面屏还含有CAN网络接口、液晶显示器、喇叭、处理器、存储设备和无线通讯模块。
参见图5，本发明的驾驶人情绪和状态监控系统数据流程图。车载人机界面屏的处理器通过摄像头接收视频数据，将视频数据分解为图片数据。车载人机界面屏的处理器对图片数据进行初步人脸分析，如果图片数据中没有驾驶人人脸信息，那么产生无驾驶员信息，如果这时车辆在行驶中，那么车载人机界面屏将通过CAN网络接口发送紧急停车指令，将通过液晶显示器和喇叭产生无驾驶人声光报警信号，并通过无线通讯模块以无线通讯的方式发送给远程驾驶人状态监控平台；如果图片数据中有驾驶人人脸信息，那么获得含有驾驶人人脸的图片数据，将含有驾驶人人脸的图片数据进行驾驶人情绪检测、驾驶人疲劳检测和驾驶行为识别检测，如果检测出驾驶人情绪处于极端负面情绪而且同时通过所述CAN网络接口接收到其他ADAS辅助驾驶报警信号(如“车辆偏移车道报警”和“车辆前向碰撞预警”)，那么车载人机界面屏将通过CAN网络接口发送紧急停车指令，将通过液晶显示器和喇叭产生驾驶人极端负面情绪的声光报警信号，并通过无线通讯模块以无线通讯的方式将报警信号发送给远程驾驶人状态监控平台；如果检测出驾驶人疲劳或者有不正当驾驶行为，那么车载人机界面屏将通过液晶显示器和喇叭产生对应的声光报警信号，并通过无线通讯模块以无线通讯的方式将报警信号发送给远程驾驶人状态监控平台。
参见图6，本发明的人脸识别数据流程图。车载人机界面屏的处理器获得含有驾驶人人脸的图片数据后，通过存储设备获得对照的驾驶人人脸信息库，进行人脸识别，一一比对。当含有驾驶人人脸的图片数据能与存储设备的某个驾驶人人脸信息一致时，可确认驾驶人信息；否则将含有驾驶人人脸的图片数据通过无线通讯模块以无线通讯的方式发送给远程驾驶人人脸信息平台，让平台进行人脸识别比对，如果含有驾驶人人脸的图片数据与平台上某个驾驶人人脸信息一致时，平台以无线通讯的方式通过无线通讯模块将确认的驾驶人信息及其人脸信息一起发送到车载人机界面屏，车载人机界面屏处理器接收判断结果，并保存驾驶人人脸信息到存储设备；否则平台以无线通讯的方式通过无线通讯模块将无法识别驾驶人的结论和报警信号发送到车载人机界面屏，车载人机界面屏将通过液晶显示器和喇叭产生驾驶人无法识别声光报警信号。
但是，上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的范围。

Claims (8)

1.具有人脸及情绪识别功能的车载人机界面，其特征在于，包括带有摄像头的车载人机界面屏，该车载人机界面屏还含有CAN网络接口、液晶显示器、喇叭、处理器、存储设备和无线通讯模块。
2.根据权利要求1所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器通过所述摄像头接收视频数据，将所述视频数据分解为图片数据。
3.根据权利要求2所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器对所述图片数据进行初步人脸分析，如果所述图片数据中没有驾驶人人脸信息，那么产生无驾驶员信息，如果这时车辆在行驶中，那么所述车载人机界面屏通过所述CAN网络接口发送紧急停车指令，通过所述液晶显示器和喇叭产生无驾驶人声光报警信号，并通过所述无线通讯模块以无线通讯的方式将所述报警信号发送给远程驾驶人状态监控平台。
4.根据权利要求2所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器对所述图片数据进行初步人脸分析，如果所述图片数据中有驾驶人人脸信息，那么获得含有驾驶人人脸的图片数据。
5.根据权利要求4所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器将所述含有驾驶人人脸的图片数据进行驾驶人情绪检测，如果检测出驾驶人情绪处于极端负面情绪并且同时通过所述CAN网络接口接收到其他ADAS辅助驾驶报警信号，那么所述车载人机界面屏通过所述CAN网络接口发送紧急停车指令，通过所述液晶显示器和喇叭产生驾驶人极端负面情绪的声光报警信号，并通过所述无线通讯模块以无线通讯的方式将所述报警信号发送给远程驾驶人状态监控平台。
6.根据权利要求4所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器将含有驾驶人人脸的图片数据进行驾驶人疲劳检测和驾驶行为识别检测，如果检测出驾驶人疲劳或者有不正当驾驶行为，那么所述车载人机界面屏通过所述液晶显示器和喇叭产生对应的声光报警信号，并通过所述无线通讯模块以无线通讯的方式发送给远程驾驶人状态监控平台。
7.根据权利要求4所述的车载人机界面实现的方法，其特征在于，所述车载人机界面屏的处理器获得含有驾驶人人脸的图片数据后，通过所述存储设备获得对照的驾驶人人脸信息库，进行人脸识别，一一比对：当所述含有驾驶人人脸的图片数据能与存储设备的某个驾驶人人脸信息一致时，可确认驾驶人信息；否则将所述含有驾驶人人脸的图片数据通过所述无线通讯模块以无线通讯的方式发送给远程驾驶人人脸信息平台，让平台进行人脸识别比对，如果含有驾驶人人脸的图片数据与平台上某个驾驶人人脸信息一致时，平台以无线通讯的方式通过无线通讯模块将确认的驾驶人信息及其人脸信息一起发送到所述车载人机界面屏，所述车载人机界面屏处理器接收判断结果，并保存驾驶人人脸信息到所述存储设备；否则平台以无线通讯的方式通过无线通讯模块将无法识别驾驶人的结论和报警信号发送到所述车载人机界面屏，所述车载人机界面屏将通过所述液晶显示器和喇叭产生驾驶人无法识别声光报警信号。
8.根据权利要求5所述的方法，其特征在于，所述其他ADAS辅助驾驶报警信号为“车辆偏移车道报警”和“车辆前向碰撞预警”。
CN202010911625.9A 2020-09-02 2020-09-02 具有人脸及情绪识别功能的车载人机界面 Pending CN112036329A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010911625.9A CN112036329A (zh) 2020-09-02 2020-09-02 具有人脸及情绪识别功能的车载人机界面
PCT/CN2021/083409 WO2022048139A1 (zh) 2020-09-02 2021-03-26 具有人脸及情绪识别功能的车载人机界面

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010911625.9A CN112036329A (zh) 2020-09-02 2020-09-02 具有人脸及情绪识别功能的车载人机界面

Publications (1)

Publication Number Publication Date
CN112036329A true CN112036329A (zh) 2020-12-04

Family

ID=73591276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911625.9A Pending CN112036329A (zh) 2020-09-02 2020-09-02 具有人脸及情绪识别功能的车载人机界面

Country Status (2)

Country Link
CN (1) CN112036329A (zh)
WO (1) WO2022048139A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048139A1 (zh) * 2020-09-02 2022-03-10 上海本安仪表系统有限公司 具有人脸及情绪识别功能的车载人机界面

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800024A (zh) * 2012-07-11 2012-11-28 深圳市飞瑞斯科技有限公司 一种基于人脸识别的驾校考生全程身份验证方法及验证系统
CN103313033A (zh) * 2013-05-14 2013-09-18 浙江大学 工程机械远程及本地视频监控车载装置
CN104966359A (zh) * 2015-07-20 2015-10-07 京东方科技集团股份有限公司 防盗报警系统和方法
CN109606386A (zh) * 2018-12-12 2019-04-12 北京车联天下信息技术有限公司 智能车内座舱
CN208867942U (zh) * 2018-09-06 2019-05-17 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN110154757A (zh) * 2019-05-30 2019-08-23 电子科技大学 公交车多方位安全驾驶保障方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2528084B (en) * 2014-07-08 2018-05-09 Jaguar Land Rover Ltd Notification system and method
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN107776579A (zh) * 2017-09-14 2018-03-09 中国第汽车股份有限公司 一种直感式驾驶员状态提醒装置
CN112036329A (zh) * 2020-09-02 2020-12-04 上海本安仪表系统有限公司 具有人脸及情绪识别功能的车载人机界面

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800024A (zh) * 2012-07-11 2012-11-28 深圳市飞瑞斯科技有限公司 一种基于人脸识别的驾校考生全程身份验证方法及验证系统
CN103313033A (zh) * 2013-05-14 2013-09-18 浙江大学 工程机械远程及本地视频监控车载装置
CN104966359A (zh) * 2015-07-20 2015-10-07 京东方科技集团股份有限公司 防盗报警系统和方法
CN208867942U (zh) * 2018-09-06 2019-05-17 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109606386A (zh) * 2018-12-12 2019-04-12 北京车联天下信息技术有限公司 智能车内座舱
CN110154757A (zh) * 2019-05-30 2019-08-23 电子科技大学 公交车多方位安全驾驶保障方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048139A1 (zh) * 2020-09-02 2022-03-10 上海本安仪表系统有限公司 具有人脸及情绪识别功能的车载人机界面

Also Published As

Publication number Publication date
WO2022048139A1 (zh) 2022-03-10

Similar Documents

Publication Publication Date Title
US10054948B2 (en) Vehicle control apparatus
CN102541046B (zh) 一种汽车安全信息服务系统
CN107901828B (zh) 通过智能设备协作来实现的被超车提醒的方法和装置
RU153505U1 (ru) Устройство для маскирования входящего вызова с портативного устройства связи и устройство транспортного средства для взаимодействия с портативным устройством связи
CN109686124A (zh) 防碰撞提醒方法及系统、存储介质和电子设备
CN107807599A (zh) 车辆安全监控系统及其交通事故监控方法、碰撞及被盗报警方法
JP2014129037A (ja) 車載情報装置、通信端末、警告音出力制御装置、および警告音出力制御方法
CN205113247U (zh) 车辆行车安全自动监控与报警系统
CN203228747U (zh) 一种汽车防盗系统
CN106274693A (zh) 一种驾车行驶中进行提醒的方法、系统及电子设备
CN106394492A (zh) 车用动态人脸识别安全控制系统及其控制方法
CN112885031B (zh) 一种基于车联网的智能报警系统和方法
US11285966B2 (en) Method and system for controlling an autonomous vehicle response to a fault condition
US20170046952A1 (en) Dangerous Vehicle Warning Method and Dangerous Vehicle Warning System
CN202686270U (zh) 一种基于3g网络的汽车防盗系统
CN111016846A (zh) 一种安全驾驶主动防范管理方法及系统
CN203713575U (zh) 防酒驾系统及具有该防酒驾系统的汽车
CN111186435B (zh) 汽车的防碰撞方法、装置及存储介质
CN109955786A (zh) 车载主动安全监控装置
CN112036329A (zh) 具有人脸及情绪识别功能的车载人机界面
CN107472131A (zh) 汽车开门预警设备、汽车开门预警系统、汽车开门预警方法
CN108769427B (zh) 一种安全驾驶的方法、装置、存储介质及车载设备
CN105253062A (zh) 基于汽车高级驾驶辅助系统的图像显示系统及其实现方法
CN207241573U (zh) 全面屏智能后视镜及汽车
JP2020095356A (ja) 異常検出装置、異常検出システム及び異常検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination