CN113602280B - 一种驾驶员状态监测方法、装置及系统 - Google Patents

一种驾驶员状态监测方法、装置及系统 Download PDF

Info

Publication number
CN113602280B
CN113602280B CN202111041977.4A CN202111041977A CN113602280B CN 113602280 B CN113602280 B CN 113602280B CN 202111041977 A CN202111041977 A CN 202111041977A CN 113602280 B CN113602280 B CN 113602280B
Authority
CN
China
Prior art keywords
driver
feature data
head
time period
preset historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111041977.4A
Other languages
English (en)
Other versions
CN113602280A (zh
Inventor
成一诺
冉洪亮
郭健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202111041977.4A priority Critical patent/CN113602280B/zh
Publication of CN113602280A publication Critical patent/CN113602280A/zh
Application granted granted Critical
Publication of CN113602280B publication Critical patent/CN113602280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pulmonology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开一种驾驶员状态监测方法、装置及系统。该方法包括：获得驾驶员在预设历史时间段内的头部图像，其中，驾驶员的头部图像由图像采集装置生成；对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在预设历史时间段内的状态；如果驾驶员在预设历史时间段内为未移动且未说话状态，则将驾驶员在预设历史时间段内的心率和呼吸频率作为驾驶员的状态评价依据，其中，驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。基于本申请公开的技术方案，能够方便地测量驾驶员的心率和呼吸频率，并保证测量结果具有较高的准确性。

Description

一种驾驶员状态监测方法、装置及系统
技术领域
本申请属于行车安全控制技术领域，尤其涉及一种驾驶员状态监测方法、装置及系统。
背景技术
随着交通运输业和汽车制造业的持续快速发展，人们对出行的要求越来越高，汽车逐渐成为人们日常出行重要的代步工具之一。汽车给人们的日常生活带来舒适、便捷的同时，随之发生的交通事故直接危害驾驶员和他人的生命财产安全。
研究数据表明，患有心脑血管疾病的驾驶员比正常驾驶员发生交通事故的概率高23％，国外路面交通事故中，大约11％的事故跟驾驶员的心脏疾病有关。另外，疲劳驾驶也是造成交通事故的重要因素之一，据统计，超过30％的公路交通事故与疲劳驾驶有关。监测驾驶员的心率和呼吸频率是发现心脑血管疾病发作症状和疲劳驾驶症状的一个有效方法。
目前，主要通过以下方式测量驾驶员的心率和呼吸频率：第一，使用接触式检测设备测量驾驶员的心率和呼吸频率，例如，使用PPG(PhotoPlethysmoGraphic，光电容积脉搏波描记法)心率传感器、PVDF(Polyvinylidene Fluoride，聚偏氟乙烯)压电薄膜传感器、脉搏信号采集装置测量驾驶员的心率和呼吸频率；第二，使用非接触式检测设备测量驾驶员的心率和呼吸频率，如毫米波雷达。
但是，现有的测量驾驶员的心率和呼吸频率的方案存在弊端：采用第一种方案，驾驶员必须佩戴接触式检测设备，不够方便；采用第二种方案，往往存在测量结果准确性不足的问题。因此，如何方便地测量驾驶员的心率和呼吸频率，并保证测量结果具有较高的准确性，是本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种驾驶员状态监测方法、装置及系统，能够方便地测量驾驶员的心率和呼吸频率，并保证测量结果具有较高的准确性。
为实现上述目的，本申请提供如下技术方案：
一方面，本申请提供一种驾驶员状态监测方法，该方法应用于处理器，包括：
获得驾驶员在预设历史时间段内的头部图像，其中，所述驾驶员的头部图像由图像采集装置生成；
对所述驾驶员在所述预设历史时间段内的头部图像进行分析，确定所述驾驶员在所述预设历史时间段内的状态；
如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据，其中，所述驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
可选的，所述对所述驾驶员在所述预设历史时间段内的头部图像进行分析，确定所述驾驶员在所述预设历史时间段内的状态，包括：
从所述驾驶员在所述预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数；
对所述N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集，其中，每个头部特征数据集包括多种头部特征数据，所述头部特征数据为头部特征点的横坐标或者纵坐标，所述N个头部特征数据集中包含的头部特征数据的种类相同，每个嘴部特征数据集包括多种嘴部特征数据，所述嘴部特征数据为嘴部特征点的纵坐标，所述N个嘴部特征数据集中包含的嘴部特征数据的种类相同；
基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动；
基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话。
可选的，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
确定所述N个头部特征数据集中每一种头部特征数据的标准差值；
根据所述N个头部特征数据集中各种头部特征数据的标准差值确定所述N个头部特征数据集之间的最大标准差值；
如果所述最大标准差值小于或等于所述第一阈值，则确定所述驾驶员在所述预设历史时间段内未移动，否则，确定所述驾驶员在所述预设历史时间段内发生移动。
可选的，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
将所述N个头部特征数据集输入预先完成训练的第一判别模型，得到所述第一判别模型对所述N个头部特征数据集处理后输出的预测结果；
根据所述预测结果确定所述驾驶员在所述预设历史时间段内是否移动。
可选的，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
将所述N个头部特征数据集输入预先完成训练的第一判别模型，得到所述第一判别模型对所述N个头部特征数据集处理后输出的预测结果；
确定所述N个头部特征数据集中每一种头部特征数据的标准差值；
根据所述N个头部特征数据集中各种头部特征数据的标准差值确定所述N个头部特征数据集之间的最大标准差值；
如果所述最大标准差值小于或等于第一阈值，且所述预测结果指示所述驾驶员在所述预设历史时间段内未移动，则确定所述驾驶员在所述预设历史时间段内未移动，否则，确定所述驾驶员在所述预设历史时间段内发生移动。
可选的，所述基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
根据所述N个嘴部特征数据集确定所述驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值；
如果所述驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话。
可选的，所述基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
将所述N个嘴部特征数据集输入预先完成训练的第二判别模型，得到所述第二判别模型对所述N个嘴部特征数据集处理后输出的预测结果；
根据所述预测结果确定所述驾驶员在所述预设历史时间段内是否说话。
可选的，所述基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
将所述N个嘴部特征数据集输入预先完成训练的第二判别模型，得到所述第二判别模型对所述N个嘴部特征数据集处理后输出的预测结果；
根据所述N个嘴部特征数据集确定所述驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值；
如果所述驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，且所述预测结果指示驾驶员在预设历史时间段内未说话，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话。
另一方面，本申请提供一种驾驶员状态监测装置，包括：
头部图像获取模块，用于获得驾驶员在预设历史时间段内的头部图像，其中，所述驾驶员的头部图像由图像采集装置生成；
状态分析模块，用于对所述驾驶员在所述预设历史时间段内的头部图像进行分析，确定所述驾驶员在所述预设历史时间段内的状态；
数据处理模块，用于如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据，其中，所述驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
另一方面，本申请提供一种驾驶员状态监测系统，包括：
图像采集装置，用于采集驾驶员的头部图像；
检测装置，用于基于微波多普勒效应测量所述驾驶员的心率和呼吸频率；
处理器，用于获得驾驶员在预设历史时间段内的头部图像，对所述驾驶员在所述预设历史时间段内的头部图像进行分析，确定所述驾驶员在所述预设历史时间段内的状态，如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据。
由此可见，本申请的有益效果为：
本申请公开的驾驶员状态监测方法、装置及系统，利用检测设备测量驾驶员的心率和呼吸频率，利用图像采集装置采集驾驶员的头部图像，通过对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在该预设历史时间段内的状态，如果确定驾驶员在该预设历史时间段内未移动且未说话，那么检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率具有较高的准确性，将其作为驾驶员的状态评价依据。可以看到，检测设备基于微波多普勒效应测量驾驶员的心率和呼吸频率，能够方便地测量驾驶员的心率和呼吸频率；另外，通过对图像采集装置采集的驾驶员的头部图像进行分析，确定驾驶员在预设历史时间段内的状态，如果驾驶员在该预设历史时间段内未移动且未说话，那么表明检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率具有较高的准确性，将在该时间段内测量得到的驾驶员的心率和呼吸频率作为驾驶员的状态评价依据，能够准确地评价驾驶员的健康状态和驾驶状态。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请公开的一种驾驶员状态检测方法的流程图；
图2为本申请公开的驾驶员状态检测方法的应用场景示意图；
图3为本申请公开的确定驾驶员在预设历史时间段内的状态的方法的流程图；
图4为本申请公开的脸部特征点的示意图；
图5为本申请公开的头部区域顶点的示意图；
图6为本申请公开的训练第一判别模型的方法的流程图；
图7为本申请公开的一种驾驶员状态检测装置的结构示意图。
具体实施方式
本申请公开一种驾驶员状态监测方法、装置及系统，能够方便地测量驾驶员的心率和呼吸频率，并保证测量结果具有较高的准确性。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请公开的一种驾驶员状态检测方法的流程图。该方法应用于处理器，包括：
S101：获得驾驶员在预设历史时间段内的头部图像。
其中，驾驶员的头部图像由图像采集装置生成。
实施中，可以将图像采集装置布置于汽车的A柱上，以保证图像采集装置采集驾驶员完整的头部图像。
可选的，图像采集装置采用摄像机。当然，也可以采用其他的图像采集设备，如相机。
S102：对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在预设历史时间段内的状态。
S103：如果驾驶员在预设历史时间段内为未移动且未说话状态，则将驾驶员在预设历史时间段内的心率和呼吸频率作为驾驶员的状态评价依据。
其中，驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
当驾驶员位于检测设备的检测区域内时，检测设备可以测量得到驾驶员的心率和呼吸频率。实施中，可以将检测设备布置于驾驶员座椅的靠背处，如图2中所示。在图2中，201为汽车的A柱，202为图像采集装置，203为处理器，204为检测设备，205为驾驶员座椅。
需要说明的是，当驾驶员保持静止状态时，检测设备能够准确地测量驾驶员的心率和呼吸频率。如果驾驶员未处于静止状态，检测设备获得的驾驶员的心率和呼吸频率的准确性将无法保证。这是现有技术中的第二个方案不能保证测量结果的准确性的根本原因。
需要说明的是，本申请中的静止状态不是绝对静止状态，而是指：驾驶员未大幅度移动，也未说话。
可选的，检测设备采用毫米波雷达。当然，也可以采用其他的非接触式检测设备，具备测量驾驶员的心率和呼吸频率功能即可。
当驾驶员保持静止状态时，检测设备能够准确地测量驾驶员的心率和呼吸频率。通过对图像采集装置采集的驾驶员的头部图像进行分析，确定驾驶员在预设历史时间段内(如过去的2秒内)的状态，也就是确定驾驶员在该预设历史时间段内是否未移动且未说话。如果确定驾驶员在该预设历史时间段内处于未移动且未说话状态，那么检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率是准确的，因此，将检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率作为驾驶员的状态评价依据，以便对驾驶员的健康状态和驾驶状态进行准确的评价。
需要说明的是，驾驶员未移动是指驾驶员未发生大幅度的移动，而不是指驾驶员保持绝对的不动。
在一种可能的实现方式中，当确定驾驶员在预设历史时间段内为未移动且未说话状态时，利用驾驶员在该预设历史时间段内的心率和呼吸频率，确定驾驶员的状态。
在另一种可能的实现方式中，利用驾驶员在多个历史时间段内的心率和呼吸频率，确定驾驶员的状态，其中，驾驶员在前述多个历史时间段内均处于未移动且未说话状态，前述多个历史时间段可能是连续的，也可能是非连续的。其中，根据驾驶员的心率和呼吸频率确定驾驶员的状态的过程，可以基于现有的算法实现。
本申请公开的驾驶员状态监测方法，利用检测设备测量驾驶员的心率和呼吸频率，利用图像采集装置采集驾驶员的头部图像，通过对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在该预设历史时间段内的状态，如果确定驾驶员在该预设历史时间段内未移动且未说话，那么检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率具有较高的准确性，将其作为驾驶员的状态评价依据。可以看到，检测设备基于微波多普勒效应测量驾驶员的心率和呼吸频率，能够方便地测量驾驶员的心率和呼吸频率；另外，通过对图像采集装置采集的驾驶员的头部图像进行分析，确定驾驶员在预设历史时间段内的状态，如果驾驶员在该预设历史时间段内未移动且未说话，那么表明检测设备在该预设历史时间段内测量得到的驾驶员的心率和呼吸频率具有较高的准确性，将在该时间段内测量得到的驾驶员的心率和呼吸频率作为驾驶员的状态评价依据，能够准确地评价驾驶员的健康状态和驾驶状态。
在本申请的另一个实施例中，对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在预设历史时间段内的状态，采用如图3所示的方案。具体包括：
S301：从驾驶员在预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数。
实施中，可以获取该预设历史时间段内采集到的驾驶员的头部图像的全部，也可以获取该预设历史时间段内采集到的驾驶员的头部图像中的一部分。
S302：对N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集。
其中，每个头部特征数据集包括多种头部特征数据，头部特征数据为头部特征点的横坐标或者纵坐标，N个头部特征数据集中包含的头部特征数据的种类相同。每个嘴部特征数据集包括多种嘴部特征数据，嘴部特征数据为嘴部特征点的纵坐标，N个嘴部特征数据集中包含的嘴部特征数据的种类相同。
需要说明的是，头部特征点是在头部选定的特征点，嘴部特征点是在嘴部选定的特征点。可以理解的是，头部特征点和嘴部特征点应选定为便于机器识别的点，以便更准确地确定各个头部特征点和嘴部特征点的坐标。
另外，需要说明的是，驾驶员的嘴部特征点可以为驾驶员的头部特征点的一部分。
这里结合图4和图5进行说明。
预设的头部特征点为30个，包括28个脸部特征点和2个头部区域顶点。
在图4中，28个脸部特征点依次记为脸部特征点1至脸部特征点28。脸部特征点1为右侧眉毛的外侧顶点，脸部特征点2为右侧眉毛的中间点，脸部特征点3为右侧眉毛的内侧顶点，脸部特征点4为左侧眉毛的内侧顶点，脸部特征点5为左侧眉毛的中间点，脸部特征点6为左侧眉毛的外侧顶点，脸部特征点7为右眼的外眼角，脸部特征点8为右眼的上眼睑中点，脸部特征点9为右眼的内眼角，脸部特征点10为右眼的中心点，脸部特征点11为右眼的下眼睑中点，脸部特征点12为左眼的内眼角，脸部特征点13为左眼的上眼睑中点，脸部特征点14为左眼的外眼角，脸部特征点15为左眼的中心点，脸部特征点16为左眼的下眼睑中点，脸部特征点17为右鼻翼底部，脸部特征点18为鼻尖，脸部特征点19为左鼻翼底部，脸部特征点20为右侧嘴角，脸部特征点21为上唇的上边缘中点，脸部特征点22为左侧嘴角，脸部特征点23为上唇的下边缘中点，脸部特征点24为下唇的上边缘中点，脸部特征点25为下唇的下边缘中点，脸部特征点26为右颧部的边缘点，脸部特征点27为下巴的边缘点，脸部特征点28为左颧部的边缘点。
需要说明的是，图4仅是对脸部特征点的一个举例，实施中，脸部特征点可以为图4所示28个脸部特征点中的一部分，也可以多于图4所示的28个脸部特征点。
在图5中，2个头部区域顶点为头部最小外切框的左上顶点L1和右下顶点R1。实施中，2个头部区域顶点也可以为头部最小外切框的右上顶点和左下顶点。也就是说，优选头部最小外切框处于对角线位置的两个顶点作为头部特征点。需要说明的是，头部区域顶点并不限定为2个，也可以为1个或者多于2个。
可选的，嘴部特征点包括图4中所示的脸部特征点21、脸部特征点23、脸部特征点24和脸部特征点25。
S303：基于N个头部特征数据集确定驾驶员在预设历史时间段内是否移动。
S304：基于N个嘴部特征数据集确定驾驶员在预设历史时间段内是否说话。
可以理解的是，如果驾驶员移动，那么驾驶员的全部或者部分头部特征点的坐标会发生较大的变化，因此，基于N个头部特征数据集能够确定驾驶员在预设历史时间段内是否移动。另外，如果驾驶员说话，那么驾驶员的上唇和下唇之间的距离会发生变化，因此，基于N个嘴部特征数据及能够确定驾驶员在预设历史时间段内是否说话。
在本申请的另一个实施例中，基于N个头部特征数据集确定驾驶员在预设历史时间段内是否移动，采用如下方案：
A1：确定N个头部特征数据集中每一种头部特征数据的标准差值。
A2：根据N个头部特征数据集中各种头部特征数据的标准差值确定N个头部特征数据集之间的最大标准差值。
A3：如果最大标准差值大于第一阈值，则确定驾驶员在预设历史时间段内发生移动，如果最大标准差值小于或等于第一阈值，则确定驾驶员在预设历史时间段内未移动。
这里结合图4和图5进行说明。
利用图像采集装置在过去2秒内采集的驾驶员的头部图像进行分析，以确定驾驶员在前述2秒内是否移动。
首先，按照每秒15帧的频率，在图像采集装置在过去2秒内采集到的驾驶员的头部图像中获取30帧图像。针对30帧图像进行分析，得到30个头部特征数据集，记为：
Figure BDA0003249645900000111
其中：该矩阵中的第i行是对第i帧图像进行分析得到的头部特征数据集。针对矩阵中的任意一行，第1列为头部特征点1的横坐标，第2列为头部特征点1的纵坐标，第3列为头部特征点2的横坐标，第4列为头部特征点2的纵坐标，以此类推，第57列为头部特征点29的横坐标，第58列为头部特征点29的纵坐标，第59列为头部特征点30的横坐标，第60列为头部特征点30的纵坐标。
之后，分别确定30个头部特征数据集中每一种头部特征数据的标准差值，也就是分别计算上述矩阵中每一列的标准差值。具体的，按照公式(1)计算每一种头部特征数据的标准差值。
Figure BDA0003249645900000112
其中：
σj为N个头部特征数据集中第j种头部特征数据的标准差值，j＝1,2,3,…,60；N为头部特征数据集的数量，这里具体为30；ai,j为上述矩阵中位于第i行第j列的元素，也就是第i个头部特征数据集中的第j种头部特征数据；μj为上述矩阵中位于第j列的元素的平均值，也就是N个头部特征数据集中第j种头部特征数据的平均值。
在分别确定30个头部特征数据集中60种头部特征数据的标准差值后，确定这60个标准差值中的最大值，该最大值即为30个头部特征数据集之间的最大标准差。如果该最大标准差大于预设的第一阈值，则确定驾驶员在预设历史时间段内发生移动，如果该最大标准差小于或等于该第一阈值，则确定驾驶员在预设历史时间段内未移动。其中，第一阈值为经验值。
需要说明的是，本申请中所使用的坐标系，横坐标为左右方向，纵坐标为上下方向。
在本申请的另一个实施例中，基于N个头部特征数据集确定驾驶员在预设历史时间段内是否移动，采用如下方案：
B1：将N个头部特征数据集输入预先完成训练的第一判别模型，得到第一判别模型对N个头部特征数据集处理后输出的预测结果。
B2：根据预测结果确定驾驶员在预设历史时间段内是否移动。
其中，第一判别模型是经过大量头部样本数据训练得到的，每个头部样本数据包括被测人员的N个头部特征数据集，N个头部特征数据是根据被测人员在预设时间段内的头部图像生成的。另外，每个头部样本数据均具有标注信息，标注信息用于指示被测人员在预设时间段内是否发生移动。第一判别模型具备将预测结果趋于实际情况的能力。
可选的，第一判别模型输出的预测结果为驾驶员在预设历史时间段内移动的概率值。相应的，如果该概率值大于预设的阈值，则确定驾驶员在预设历史时间段内发生移动，否则，确定驾驶员在预设历史时间段内未移动。
在本申请的另一个实施例中，基于N个头部特征数据集确定驾驶员在预设历史时间段内是否移动，采用如下方案：
C1：将N个头部特征数据集输入预先完成训练的第一判别模型，得到第一判别模型对N个头部特征数据集处理后输出的预测结果。
C2：确定N个头部特征数据集中每一种头部特征数据的标准差值。
C3：根据N个头部特征数据集中各种头部特征数据的标准差值确定N个头部特征数据集之间的最大标准差值。
C4：如果最大标准差值小于或等于第一阈值，且预测结果指示驾驶员在预设历史时间段内未移动，则确定驾驶员在预设历史时间段内未移动；如果最大标准差值大于第一阈值，或者预测结果指示驾驶员在预设历史时间段内发生移动，则确定驾驶员在预设历史时间段内发生移动。
在上述实施例中，将N个头部特征数据集输入预先完成训练的第一判别模型，基于第一判别模型输出的预测结果得到一个初级结果，确定N个头部特征数据集之间的最大标准差值，通过比较最大标准差值和第一阈值得到另一个初级结果，如果两个初级结果均指示驾驶员在预设历史时间段内未移动，则确定驾驶员在预设历史时间段内未移动，否则确定驾驶员在预设历史时间段内发生移动，能够更加准确地确定出驾驶员在预设历史时间段内是否发生移动。
下面对本申请上述所使用的第一判别模型的训练过程进行说明。
参见图6，图6为本申请公开的训练第一判别模型的方法的流程图。该方法包括：
S601：获得多个头部样本数据。
其中，每个头部样本数据包括被测人员的N个头部特征数据集，N个头部特征数据集是根据被测人员在预设时间段内的头部图像生成的。另外，每个头部样本数据均具有标注信息，标注信息用于指示被测人员在预设时间段内是否发生移动。
优选的，多个头部样本数据包括正样本数据和负样本数据，以便第一判别模型更好地学习特征，从而提高预测准确度。其中，如果被测人员在预设时间段内发生移动，可以将生成的头部样本数据作为正样本，如果被测人员在预设时间段内未移动，可以将生的头部样本数据作为负样本。
S602：利用预先构建的学习模型对头部样本数据进行预测，获得预测结果。
S603：根据预测结果和标注信息调整学习模型，直至调整后的学习模型满足预设收敛条件，将满足预设收敛条件的学习模型确定为第一判别模型。
预先构建的学习模型的初始模型参数均为自定义数值，训练学习模型的过程就是优化模型参数，以使得学习模型逐渐收敛，且预测结果的准确率逐渐提高的过程。当学习模型满足预设收敛条件时，将当前的学习模型确定为第一判别模型。
在一种可能的实现方式中，预设收敛条件为：预设损失函数的值小于预设的阈值。其中，预设损失函数表征预测结果和标注信息之间的误差。预设的阈值为经验值。
在本申请的另一个实施例中，基于N个嘴部特征数据集确定驾驶员在预设历史时间段内是否说话，采用如下方案：
D1：根据N个嘴部特征数据集确定驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值。
D2：如果驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，则确定驾驶员在该预设历史时间段内未说话，如果驾驶员的双唇上边缘距离的标准差值大于第二阈值，或者驾驶员的双唇下边缘距离的标准差值大于第二阈值，则确定驾驶员在该预设历史时间段内说话。
这里仍结合图4进行说明。
嘴部特征点包括脸部特征点21(为上唇的上边缘中点)、脸部特征点23(上唇的下边缘中点)、脸部特征点24(为下唇的上边缘中点)和脸部特征点25(为下唇的下边缘中点)。
利用图像采集装置在过去2秒内采集的驾驶员的头部图像进行分析，以确定驾驶员在前述2秒内是否说话。
首先，按照每秒15帧的频率，在图像采集装置在过去2秒内采集到的驾驶员的头部图像中获取30帧图像。针对30帧图像进行分析，得到30个嘴部特征数据集，记为：
Figure BDA0003249645900000151
其中：该矩阵中的第i行是对第i帧图像进行分析得到的嘴部特征数据集。针对矩阵中的任意一行，第1列为嘴部特征点21的纵坐标，第2列为嘴部特征点23的纵坐标，第3列为嘴部特征点24的纵坐标，第4列为嘴部特征点25的纵坐标。
之后，按照公式(2)确定驾驶员的双唇上边缘距离的标准差值，按照公式(3)确定驾驶员的双唇下边缘距离的标准差值。
Figure BDA0003249645900000152
Figure BDA0003249645900000153
其中：
σ上为驾驶员的双唇上边缘距离的标准差值；
σ下为驾驶员的双唇下边缘距离的标准差值；
μ上为驾驶员的双唇上边缘距离的平均值，具体的，
Figure BDA0003249645900000154
μ下为驾驶员的双唇下边缘的平均值，具体的，
Figure BDA0003249645900000161
N为嘴部特征数据集的数量，这里具体为30。
如果驾驶员的双唇上边缘距离的标准差值小于或等于第二阈值，且驾驶员额双唇下边缘距离的标准差值小于或等于第二阈值，则确定驾驶员在该预设历史时间段内未说话，否则，确定驾驶员在该预设历史时间段内说话。
在本申请的另一个实施例中，基于N个嘴部特征数据集确定驾驶员在预设历史时间段内是否说话，采用如下方案：
E1：将N个嘴部特征数据集输入预先完成训练的第二判别模型，得到第二判别模型对N个嘴部特征数据集处理后输出的预测结果。
E2：根据预测结果确定驾驶员在预设历史时间段内是否说话。
其中，第二判别模型是经过大量嘴部样本数据训练得到的，每个嘴部样本数据包括被测人员的N个嘴部特征数据集，N个嘴部特征数据集是根据被测人员在预设时间段内的头部图像生成的。另外，每个嘴部样本数据均具有标注信息，标注信息用于指示被测人员在预设时间段内是否说话。第二判别模型具备将预测结果趋于实际情况的能力。
可选的，第二判别模型输出的预测结果为驾驶员在预设历史时间段内说话的概率值。相应的，如果该概率值大于预设的阈值，则确定驾驶员在预设历史时间段内说话，否则，确定驾驶员在预设历史时间段内未说话。
在本申请的另一个实施例中，基于N个嘴部特征数据集确定驾驶员在预设历史时间段内是否说话，采用如下方案：
F1：将N个嘴部特征数据集输入预先完成训练的第二判别模型，得到第二判别模型对N个嘴部特征数据集处理后输出的预测结果。
F2：根据N个嘴部特征数据集确定驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值。
F3：如果驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，且预测结果指示驾驶员在预设历史时间段内未说话，则确定驾驶员在该预设历史时间段内未说话；如果驾驶员的双唇上边缘距离的标准差值大于第二阈值、驾驶员的双唇下边缘距离的标准差值大于第二阈值，或者预测结果指示驾驶员在预设历史时间段内说话，则确定驾驶员在该预设历史时间段内说话。
在上述实施例中，将N个嘴部特征数据集输入预先完成训练的第二判别模型，基于第二判别模型输出的预测结果得到一个初级结果，根据N个嘴部特征数据集确定驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值，通过比较这两个标准差和第二阈值得到另一个初级结果，如果两个初级结果均指示驾驶员在预设历史时间段内未说话，则确定驾驶员在预设历史时间段内未说话，否则确定驾驶员在预设历史时间段内说话，能够更加准确地确定出驾驶员在预设历史时间段内是否说话。
下面对本申请上述所使用的第二判别模型的训练过程进行说明，具体包括：
G1：获得多个嘴部样本数据。
其中，每个嘴部样本数据包括被测人员的N个嘴部特征数据集，N个嘴部特征数据集是根据被测人员在预设时间段内的头部图像生成的。另外，每个嘴部样本数据均具有标注信息，标注信息用于指示被测人员在预设时间段内是否说话。
优选的，多个嘴部样本数据包括正样本数据和负样本数据，以便第二判别模型更好地学习特征，从而提高预测准确度。其中，如果被测人员在预设时间段内说话，可以将生成的嘴部样本数据作为正样本，如果被测人员在预设时间段内未说话，可以将生的嘴部样本数据作为负样本。
G2：利用预先构建的学习模型对嘴部样本数据进行预测，获得预测结果。
G3：根据预测结果和标注信息调整学习模型，直至调整后的学习模型满足预设收敛条件，将满足预设收敛条件的学习模型确定为第二判别模型。
预先构建的学习模型的初始模型参数均为自定义数值，训练学习模型的过程就是优化模型参数，以使得学习模型逐渐收敛，且预测结果的准确率逐渐提高的过程。当学习模型满足预设收敛条件时，将当前的学习模型确定为第二判别模型。
在一种可能的实现方式中，预设收敛条件为：预设损失函数的值小于预设的阈值。其中，预设损失函数表征预测结果和标注信息之间的误差。预设的阈值为经验值。
本申请上述公开了驾驶员状态监测方法，相应的，本申请还公开驾驶员状态监测装置，说明书中关于两者的描述可以相互参考。
参见图7，图7为本申请公开的一种驾驶员状态检测装置的结构示意图。该装置包括头部图像获取模块701、头部图像分析模块702和数据处理模块703。
头部图像获取模块701用于获得驾驶员在预设历史时间段内的头部图像。其中，驾驶员的头部图像由图像采集装置生成。
状态分析模块702用于对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在预设历史时间段内的状态。
数据处理模块703，用于如果驾驶员在预设历史时间段内为未移动且未说话状态，则将驾驶员在预设历史时间段内的心率和呼吸频率作为驾驶员的状态评价依据。其中，驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
在本申请的一个实施例中，状态分析模块702包括：
图像获取单元，用于从驾驶员在预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数；
数据集提取单元，用于对N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集，其中，每个头部特征数据集包括多种头部特征数据，头部特征数据为头部特征点的横坐标或者纵坐标，N个头部特征数据集中包含的头部特征数据的种类相同，每个嘴部特征数据集包括多种嘴部特征数据，嘴部特征数据为嘴部特征点的纵坐标，N个嘴部特征数据集中包含的嘴部特征数据的种类相同；
第一状态分析单元，用于基于N个头部特征数据集确定驾驶员在预设历史时间段内是否移动；
第二状态分析单元，用于基于N个嘴部特征数据集确定驾驶员在预设历史时间段内是否说话。
在本申请的一个实施例中，第一状态分析单元包括：
头部标准差确定子单元，用于确定N个头部特征数据集中每一种头部特征数据的标准差值；
最大标准差值确定子单元，用于根据N个头部特征数据集中各种头部特征数据的标准差值确定N个头部特征数据集之间的最大标准差值；
第一处理子单元，用于如果最大标准差值小于或等于第一阈值，则确定驾驶员在预设历史时间段内未移动，否则，确定驾驶员在预设历史时间段内发生移动。
在本申请的一个实施例中，第一状态分析单元包括：
第一预测子单元，用于将N个头部特征数据集输入预先完成训练的第一判别模型，得到第一判别模型对N个头部特征数据集处理后输出的预测结果；
第二处理子单元，用于根据预测结果确定驾驶员在预设历史时间段内是否移动。
在本申请的一个实施例中，第一状态分析单元包括：
第一预测子单元，用于将N个头部特征数据集输入预先完成训练的第一判别模型，得到第一判别模型对N个头部特征数据集处理后输出的预测结果；
头部标准差确定子单元，用于确定N个头部特征数据集中每一种头部特征数据的标准差值；
最大标准差值确定子单元，用于根据N个头部特征数据集中各种头部特征数据的标准差值确定N个头部特征数据集之间的最大标准差值；
第三处理子单元，用于如果最大标准差值小于或等于第一阈值，且预测结果指示驾驶员在预设历史时间段内未移动，则确定驾驶员在预设历史时间段内未移动，否则，确定驾驶员在预设历史时间段内发生移动。
在本申请的一个实施例中，第二状态分析单元包括：
嘴部标准差确定子单元，用于根据N个嘴部特征数据集确定驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值；
第四处理子单元，用于如果驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，则确定驾驶员在预设历史时间段内未说话，否则，确定驾驶员在预设历史时间段内说话。
在本申请的一个实施例中，第二状态分析单元包括：
第二预测子单元，用于将N个嘴部特征数据集输入预先完成训练的第二判别模型，得到第二判别模型对N个嘴部特征数据集处理后输出的预测结果；
第五处理子单元，用于根据预测结果确定驾驶员在预设历史时间段内是否说话。
在本申请的一个实施例中，第二状态分析单元包括：
第二预测子单元，用于将N个嘴部特征数据集输入预先完成训练的第二判别模型，得到第二判别模型对N个嘴部特征数据集处理后输出的预测结果；
嘴部标准差确定子单元，用于根据N个嘴部特征数据集确定驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值；
第六处理子单元，用于如果驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，且预测结果指示驾驶员在预设历史时间段内未说话，则确定驾驶员在预设历史时间段内未说话，否则，确定驾驶员在预设历史时间段内说话。
本申请还公开一种驾驶员状态检测系统。该系统包括图像采集装置202、检测设备204和处理器203，如图2中所示。
图像采集装置202，用于采集驾驶员的头部图像。
检测装置204，用于基于微波多普勒效应测量所述驾驶员的心率和呼吸频率。
处理器203，用于获得驾驶员在预设历史时间段内的头部图像，对驾驶员在预设历史时间段内的头部图像进行分析，确定驾驶员在预设历史时间段内的状态，如果驾驶员在预设历史时间段内为未移动且未说话状态，则将驾驶员在预设历史时间段内的心率和呼吸频率作为驾驶员的状态评价依据。
其中，处理器203的具体实现可以参见前文中的描述，这里不再赘述。另外，图像采集装置202和检测装置204的安装位置可以采用图2所示的方案。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置及系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种驾驶员状态监测方法，其特征在于，应用于处理器，包括：
获得驾驶员在预设历史时间段内的头部图像，其中，所述驾驶员的头部图像由图像采集装置生成；
从所述驾驶员在所述预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数；
对所述N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集；其中，每个头部特征数据集包括多种头部特征数据，所述头部特征数据为头部特征点的横坐标或者纵坐标，所述N个头部特征数据集中包含的头部特征数据的种类相同；所述头部特征点为：右侧眉毛的外侧顶点、左侧眉毛的内侧顶点、右侧眉毛的内侧顶点、左侧眉毛的内侧顶点、左侧眉毛的中间点、左侧眉毛的外侧顶点、右眼的外眼角、右眼的上眼睑中点、右眼的内眼角、右眼的中心点、右眼的下眼睑中点、左眼的内眼角、左眼的上眼睑中点、左眼的外眼角、左眼的中心点、左眼的下眼睑中点、右鼻翼底部、鼻尖、左鼻翼底部、右侧嘴角、上唇的上边缘中点、左侧嘴角、上唇的下边缘中点、下唇的上边缘中点、下唇的下边缘中点、右颧部的边缘点、下巴的边缘点、左颧部的边缘点、头部最小外切框的左上顶点和右下顶点；每个嘴部特征数据集包括多种嘴部特征数据，所述嘴部特征数据为嘴部特征点的纵坐标，所述N个嘴部特征数据集中包含的嘴部特征数据的种类相同；所述嘴部特征点为：上唇的上边缘中点、上唇的下边缘中点、下唇的上边缘中点和下唇的下边缘中点；
基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动；
基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
按照每秒15帧的频率，在所述图像采集装置过去2秒内采集到的驾驶员的头部图像中获取30帧图像，针对所述30帧图像进行分析，得到30个嘴部特征数据集，记为：
Figure FDA0003909717550000021
其中，所述矩阵中的第i行是对第i帧图像进行分析得到的嘴部特征数据集；针对矩阵中的任意一行，第1列为所述上唇的上边缘中点的纵坐标，第2列为所述上唇的下边缘中点的纵坐标，第3列为所述下唇的上边缘中点的纵坐标，第4列为所述下唇的下边缘中点的纵坐标；
按照
Figure FDA0003909717550000022
确定所述驾驶员的双唇上边缘距离的标准差值；
按照
Figure FDA0003909717550000023
确定所述驾驶员的双唇下边缘距离的标准差值；
其中，σ上为所述驾驶员的双唇上边缘距离的标准差值；σ下为所述驾驶员的双唇下边缘距离的标准差值；μ上为所述驾驶员的双唇上边缘距离的平均值，具体的，
Figure FDA0003909717550000024
μ下为所述驾驶员的双唇下边缘的平均值，具体的，
Figure FDA0003909717550000025
N为嘴部特征数据集的数量，N＝30；
若所述驾驶员的双唇上边缘距离的标准差值小于或等于第二阈值，且所述驾驶员的双唇下边缘距离的标准差值小于或等于第二阈值，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话；
如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据，其中，所述驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
2.根据权利要求1所述的方法，其特征在于，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
确定所述N个头部特征数据集中每一种头部特征数据的标准差值；
根据所述N个头部特征数据集中各种头部特征数据的标准差值确定所述N个头部特征数据集之间的最大标准差值；
如果所述最大标准差值小于或等于第一阈值，则确定所述驾驶员在所述预设历史时间段内未移动，否则，确定所述驾驶员在所述预设历史时间段内发生移动。
3.根据权利要求1所述的方法，其特征在于，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
将所述N个头部特征数据集输入预先完成训练的第一判别模型，得到所述第一判别模型对所述N个头部特征数据集处理后输出的预测结果；
根据所述预测结果确定所述驾驶员在所述预设历史时间段内是否移动。
4.根据权利要求1所述的方法，其特征在于，所述基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动，包括：
将所述N个头部特征数据集输入预先完成训练的第一判别模型，得到所述第一判别模型对所述N个头部特征数据集处理后输出的预测结果；
确定所述N个头部特征数据集中每一种头部特征数据的标准差值；
根据所述N个头部特征数据集中各种头部特征数据的标准差值确定所述N个头部特征数据集之间的最大标准差值；
如果所述最大标准差值小于或等于第一阈值，且所述预测结果指示所述驾驶员在所述预设历史时间段内未移动，则确定所述驾驶员在所述预设历史时间段内未移动，否则，确定所述驾驶员在所述预设历史时间段内发生移动。
5.根据权利要求1所述的方法，其特征在于，所述基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
将所述N个嘴部特征数据集输入预先完成训练的第二判别模型，得到所述第二判别模型对所述N个嘴部特征数据集处理后输出的预测结果；
根据所述预测结果确定所述驾驶员在所述预设历史时间段内是否说话。
6.根据权利要求1所述的方法，其特征在于，所述基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
将所述N个嘴部特征数据集输入预先完成训练的第二判别模型，得到所述第二判别模型对所述N个嘴部特征数据集处理后输出的预测结果；
根据所述N个嘴部特征数据集确定所述驾驶员的双唇上边缘距离的标准差值、以及双唇下边缘距离的标准差值；
如果所述驾驶员的双唇上边缘距离的标准差值和双唇下边缘距离的标准差值均小于或等于第二阈值，且所述预测结果指示驾驶员在预设历史时间段内未说话，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话。
7.一种驾驶员状态监测装置，其特征在于，包括：
头部图像获取模块，用于获得驾驶员在预设历史时间段内的头部图像，其中，所述驾驶员的头部图像由图像采集装置生成；
状态分析模块，用于从所述驾驶员在所述预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数；
对所述N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集；其中，每个头部特征数据集包括多种头部特征数据，所述头部特征数据为头部特征点的横坐标或者纵坐标，所述N个头部特征数据集中包含的头部特征数据的种类相同；所述头部特征点为：右侧眉毛的外侧顶点、左侧眉毛的内侧顶点、右侧眉毛的内侧顶点、左侧眉毛的内侧顶点、左侧眉毛的中间点、左侧眉毛的外侧顶点、右眼的外眼角、右眼的上眼睑中点、右眼的内眼角、右眼的中心点、右眼的下眼睑中点、左眼的内眼角、左眼的上眼睑中点、左眼的外眼角、左眼的中心点、左眼的下眼睑中点、右鼻翼底部、鼻尖、左鼻翼底部、右侧嘴角、上唇的上边缘中点、左侧嘴角、上唇的下边缘中点、下唇的上边缘中点、下唇的下边缘中点、右颧部的边缘点、下巴的边缘点、左颧部的边缘点、头部最小外切框的左上顶点和右下顶点；每个嘴部特征数据集包括多种嘴部特征数据，所述嘴部特征数据为嘴部特征点的纵坐标，所述N个嘴部特征数据集中包含的嘴部特征数据的种类相同；所述嘴部特征点为：上唇的上边缘中点、上唇的下边缘中点、下唇的上边缘中点和下唇的下边缘中点；
基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动；
基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
按照每秒15帧的频率，在所述图像采集装置过去2秒内采集到的驾驶员的头部图像中获取30帧图像，针对所述30帧图像进行分析，得到30个嘴部特征数据集，记为：
Figure FDA0003909717550000051
其中，所述矩阵中的第i行是对第i帧图像进行分析得到的嘴部特征数据集；针对矩阵中的任意一行，第1列为所述上唇的上边缘中点的纵坐标，第2列为所述上唇的下边缘中点的纵坐标，第3列为所述下唇的上边缘中点的纵坐标，第4列为所述下唇的下边缘中点的纵坐标；
按照
Figure FDA0003909717550000052
确定所述驾驶员的双唇上边缘距离的标准差值；
按照
Figure FDA0003909717550000053
确定所述驾驶员的双唇下边缘距离的标准差值；
其中，σ上为所述驾驶员的双唇上边缘距离的标准差值；σ下为所述驾驶员的双唇下边缘距离的标准差值；μ上为所述驾驶员的双唇上边缘距离的平均值，具体的，
Figure FDA0003909717550000061
μ下为所述驾驶员的双唇下边缘的平均值，具体的，
Figure FDA0003909717550000062
N为嘴部特征数据集的数量，N＝30；
若所述驾驶员的双唇上边缘距离的标准差值小于或等于第二阈值，且所述驾驶员的双唇下边缘距离的标准差值小于或等于第二阈值，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话；
数据处理模块，用于如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据，其中，所述驾驶员的心率和呼吸频率由基于微波多普勒效应的检测设备生成。
8.一种驾驶员状态监测系统，其特征在于，包括：
图像采集装置，用于采集驾驶员的头部图像；
检测装置，用于基于微波多普勒效应测量所述驾驶员的心率和呼吸频率；
处理器，用于获得驾驶员在预设历史时间段内的头部图像；
从所述驾驶员在所述预设历史时间段内的头部图像中获取N帧图像，N为大于2的整数；
对所述N帧图像进行分析，得到N个头部特征数据集和N个嘴部特征数据集；其中，每个头部特征数据集包括多种头部特征数据，所述头部特征数据为头部特征点的横坐标或者纵坐标，所述N个头部特征数据集中包含的头部特征数据的种类相同；所述头部特征点为：右侧眉毛的外侧顶点、左侧眉毛的内侧顶点、右侧眉毛的内侧顶点、左侧眉毛的内侧顶点、左侧眉毛的中间点、左侧眉毛的外侧顶点、右眼的外眼角、右眼的上眼睑中点、右眼的内眼角、右眼的中心点、右眼的下眼睑中点、左眼的内眼角、左眼的上眼睑中点、左眼的外眼角、左眼的中心点、左眼的下眼睑中点、右鼻翼底部、鼻尖、左鼻翼底部、右侧嘴角、上唇的上边缘中点、左侧嘴角、上唇的下边缘中点、下唇的上边缘中点、下唇的下边缘中点、右颧部的边缘点、下巴的边缘点、左颧部的边缘点、头部最小外切框的左上顶点和右下顶点；每个嘴部特征数据集包括多种嘴部特征数据，所述嘴部特征数据为嘴部特征点的纵坐标，所述N个嘴部特征数据集中包含的嘴部特征数据的种类相同；所述嘴部特征点为：上唇的上边缘中点、上唇的下边缘中点、下唇的上边缘中点和下唇的下边缘中点；
基于所述N个头部特征数据集确定所述驾驶员在所述预设历史时间段内是否移动；
基于所述N个嘴部特征数据集确定所述驾驶员在所述预设历史时间段内是否说话，包括：
按照每秒15帧的频率，在所述图像采集装置过去2秒内采集到的驾驶员的头部图像中获取30帧图像，针对所述30帧图像进行分析，得到30个嘴部特征数据集，记为：
Figure FDA0003909717550000071
其中，所述矩阵中的第i行是对第i帧图像进行分析得到的嘴部特征数据集；针对矩阵中的任意一行，第1列为所述上唇的上边缘中点的纵坐标，第2列为所述上唇的下边缘中点的纵坐标，第3列为所述下唇的上边缘中点的纵坐标，第4列为所述下唇的下边缘中点的纵坐标；
按照
Figure FDA0003909717550000072
确定所述驾驶员的双唇上边缘距离的标准差值；
按照
Figure FDA0003909717550000073
确定所述驾驶员的双唇下边缘距离的标准差值；
其中，σ上为所述驾驶员的双唇上边缘距离的标准差值；σ下为所述驾驶员的双唇下边缘距离的标准差值；μ上为所述驾驶员的双唇上边缘距离的平均值，具体的，
Figure FDA0003909717550000081
μ下为所述驾驶员的双唇下边缘的平均值，具体的，
Figure FDA0003909717550000082
N为嘴部特征数据集的数量，N＝30；
若所述驾驶员的双唇上边缘距离的标准差值小于或等于第二阈值，且所述驾驶员的双唇下边缘距离的标准差值小于或等于第二阈值，则确定所述驾驶员在所述预设历史时间段内未说话，否则，确定所述驾驶员在所述预设历史时间段内说话；
如果所述驾驶员在所述预设历史时间段内为未移动且未说话状态，则将所述驾驶员在所述预设历史时间段内的心率和呼吸频率作为所述驾驶员的状态评价依据。
CN202111041977.4A 2021-09-07 2021-09-07 一种驾驶员状态监测方法、装置及系统 Active CN113602280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111041977.4A CN113602280B (zh) 2021-09-07 2021-09-07 一种驾驶员状态监测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111041977.4A CN113602280B (zh) 2021-09-07 2021-09-07 一种驾驶员状态监测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113602280A CN113602280A (zh) 2021-11-05
CN113602280B true CN113602280B (zh) 2022-12-20

Family

ID=78342729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111041977.4A Active CN113602280B (zh) 2021-09-07 2021-09-07 一种驾驶员状态监测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113602280B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037399A1 (en) * 2011-09-12 2013-03-21 Ficomirrors, S.A. System and method for detecting a vital-related signal pattern
CN111325058B (zh) * 2018-12-14 2023-12-01 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、系统及存储介质
CN111345799A (zh) * 2018-12-24 2020-06-30 长城汽车股份有限公司 生命体征测量方法和装置
CN113139531A (zh) * 2021-06-21 2021-07-20 博泰车联网(南京)有限公司 困倦状态检测方法及装置、电子设备、可读存储介质

Also Published As

Publication number Publication date
CN113602280A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN106846734B (zh) 一种疲劳驾驶检测装置及方法
CN100462047C (zh) 基于全方位计算机视觉的安全驾驶辅助装置
CN106682603B (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
US20080212850A1 (en) Eyelid detection apparatus and programs therefor
US10806393B2 (en) System and method for detection of cognitive and speech impairment based on temporal visual facial feature
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
US20070291999A1 (en) Image processing system
CN111178276A (zh) 图像处理方法、图像处理设备及计算机可读存储介质
CN109002774A (zh) 一种基于卷积神经网络的疲劳监测装置及方法
US20240062582A1 (en) Method and Device for Dynamic Recognition of Emotion Based on Facial Muscle Movement Monitoring
KR102174345B1 (ko) 몰입도 측정장치 및 방법
CN108416304B (zh) 一种利用上下文信息的三分类人脸检测方法
CN113602280B (zh) 一种驾驶员状态监测方法、装置及系统
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
JP5493676B2 (ja) 眼位置認識装置
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
CN114792437A (zh) 一种基于面部特征的安全驾驶行为分析的方法及系统
CN116168374B (zh) 一种主动安全辅助驾驶方法及系统
CN115798019B (zh) 基于计算机视觉的实训驾驶平台智能预警方法
CN113457110B (zh) 一种智慧操场中的计数方法、系统及装置
CN118269999B (zh) 一种多模态交互的新能源汽车控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant