CN110705416B - 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 - Google Patents

一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 Download PDF

Info

Publication number
CN110705416B
CN110705416B CN201910905515.9A CN201910905515A CN110705416B CN 110705416 B CN110705416 B CN 110705416B CN 201910905515 A CN201910905515 A CN 201910905515A CN 110705416 B CN110705416 B CN 110705416B
Authority
CN
China
Prior art keywords
early warning
facial image
driver
historical
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910905515.9A
Other languages
English (en)
Other versions
CN110705416A (zh
Inventor
陈灯
魏巍
张彦铎
吴云韬
李晓林
刘玮
于宝成
周华兵
段功豪
卢涛
李迅
彭丽
徐文霞
谢良
王世勋
王司恺
王逸文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Chuang Yi Ling Technology Co ltd
Wuhan Yinxing Technology Co ltd
Wuhan Institute of Technology
Original Assignee
Wuhan Chuang Yi Ling Technology Co ltd
Wuhan Yinxing Technology Co ltd
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Chuang Yi Ling Technology Co ltd, Wuhan Yinxing Technology Co ltd, Wuhan Institute of Technology filed Critical Wuhan Chuang Yi Ling Technology Co ltd
Priority to CN201910905515.9A priority Critical patent/CN110705416B/zh
Publication of CN110705416A publication Critical patent/CN110705416A/zh
Application granted granted Critical
Publication of CN110705416B publication Critical patent/CN110705416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及汽车安全驾驶预警设备领域，尤其涉及一种基于驾驶员面部图像建模的安全驾驶预警方法及系统，方法包括：获取驾驶员的历史面部图像及与历史面部图像对应的汽车振动传感器的振动样本数据；并按预设规则对历史面部图像添加预警类别标签，获得安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；将实时面部图像作为训练后的安全预警分类模型的输入，并获得安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；根据预警类别，对应执行报警任务。本发明提供的技术方案无需人工选定特征，能够避免传统图像处理算法中特征提取不完备性的问题，具有更高的预测精度，减少误报率和漏报率。

Description

一种基于驾驶员面部图像建模的安全驾驶预警方法及系统
技术领域
本发明涉及汽车安全驾驶预警设备领域，尤其涉及一种基于驾驶员面部图像建模的安全驾驶预警方法及系统。
背景技术
随着汽车的大量普及，汽车安全驾驶问题日益成为社会关注的焦点。汽车安全辅助驾驶系统结合传感器技术和智能数据分析技术可在车祸发生前进行自主决策预警，已被证实可有效避免车祸的发生。例如：专利CN201510217830.4的“一种驾驶预警方法及装置”将连续驾驶时间和驾驶员眼睛作为特征数据。当驾驶时间超过阈值且驾驶员眼睛接近闭合状态时判定驾驶员为疲劳驾驶，主动发出预警。专利CN201310251715.X的“驾驶疲劳的检测和预警”以行车距离和停车特征作为输入，采用神经网络进行疲劳驾驶检测和预警。专利CN201410519609.X的“一种车辆驾驶时接打电话提醒装置”应用手机信号感应器、车速传感器和摄像器件，结合图像比较技术对开车接打电话的危险驾驶行为进行检测和预警。专利CN201310731617.6的“驾驶人注意力自动识别系统及其识别方法”对驾驶员图像进行分析，计算驾驶员相对姿态角，获取驾驶员注意力状态并进行预警。上述已有工作主要通过人工选取特征并进行预测和预警。由于人工选取特征存在不完备性，已有安全驾驶预警产品可能存在漏报和误报的情况。
发明内容
本发明针对现有技术中由于人工选取特征存在不完备性，已有安全驾驶预警产品可能存在漏报和误报的问题，提供一种基于驾驶员面部图像建模的安全驾驶预警方法及系统。
本发明一方面提供了一种基于驾驶员面部图像建模的安全驾驶预警方法，所述方法包括以下步骤：
获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据；
根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库；
将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；
实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；
根据所述预警类别，执行对应的报警任务。
进一步，根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库，包括如下步骤：
获取汽车振动传感器的振动数据的危险范围；
采集处于危险范围内对应的所述历史面部图像作为有效样本面部图像；
将所述有效样本面部图像添加预警类别标签后作为所述安全预警面部图像库的样本。
进一步，所述安全预警分类模型具体包括：
依次设置的卷积层一、池化层一、卷积层二、池化层二、卷积层三、卷积层四、卷积层五、池化层三、全连接层一、全连接层二、全连接层三、softmax输出层。
进一步，所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五的卷积核函数均为：
Figure GDA0003425915570000031
其中，
Figure GDA0003425915570000032
为卷积层l中像素点x输出的RGB颜色值，
Figure GDA0003425915570000033
为卷积层l-1中像素点y处的输入RGB颜色值；所述
Figure GDA0003425915570000034
为卷积层l中像素点x和卷积层l-1中像素点y之间的旋转过滤器；
Figure GDA0003425915570000035
为卷积层l中像素点x的偏置量；所述卷积层l为所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五中的任一个。
进一步，所述预设规则包括：
根据所述振动样本数据的震动幅度等级划分所述历史面部图像的预警类别。
进一步，所述预警类别包括：正常驾驶、超速驾驶、疲劳驾驶。
进一步，获取驾驶员的历史面部图像之后，还包括如下步骤：
对所述驶员的历史面部图像过滤图像中的噪声；
对所述驶员的历史面部图像进行亮度均衡处理；
对所述驶员的历史面部图像进行增强处理。
进一步，根据所述预警类别，执行对应报警任务，具体包括如下步骤：
根据所述预警类别获取与所述预警类别对应的预警信息；
将所述预警信息通过语音播报和/或将所述预警信息通过车载屏幕展示。
进一步，所述历史面部图像对应的汽车振动传感器的振动数据为距所述历史面部图像采集完毕后T时间间隔时采集的汽车振动传感器的振动数据。
本发明另一方面提供了一种基于驾驶员面部图像建模的安全驾驶预警，所述系统包括：摄像头、振动传感器、图像标记模块、分类模型训练模块、预警分类模块及报警任务执行模块；
所述摄像头用于获取驾驶员的历史面部图像；
所述振动传感器用于获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据；
所述图像标记模块用于根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库；
所述分类模型训练模块用于将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；
所述预警分类模块用于实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；
所述报警任务执行模块用于根据所述预警类别，执行对应的报警任务。
本发明提供的基于驾驶员面部图像建模的安全驾驶预警方法及系统的有益效果是：通过获取驾驶员的历史面部图像并通过汽车振动传感器的振动数据按照预设规则对所述历史面部图像添加预警类别标签后作为预设卷积神经网络的输入，训练生成安全预警分类模型对实时获取待检测驾驶员的实时面部图像进行分类；并根据所述预警类别对应执行报警任务。无需人工选定特征，能够避免传统图像处理算法中特征提取不完备性的问题，具有更高的预测精度，减少误报率和漏报率。
附图说明
图1为本发明实施例提供的基于驾驶员面部图像建模的安全驾驶预警方法的第一流程示意图；
图2为本发明实施例提供的另一种基于驾驶员面部图像建模的安全驾驶预警方法的第二流程示意图；
图3为本发明实施例提供的另一种基于驾驶员面部图像建模的安全驾驶预警方法的第三流程示意图；
图4为本发明实施例提供的另一种基于驾驶员面部图像建模的安全驾驶预警方法的第四流程示意图；
图5为本发明实施例提供的另一种基于驾驶员面部图像建模的安全驾驶预警方法中安全预警分类模型的结构示意图；
图6为本发明实施例提供的另一种基于驾驶员面部图像建模的安全驾驶预警系统的系统模块示意图。
具体实施方式
以下结合实例对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明针对现有技术中由于人工选取特征存在不完备性，已有安全驾驶预警产品可能存在漏报和误报的问题，提供一种基于驾驶员面部图像建模的安全驾驶预警方法及系统。
本发明一方面提供了一种基于驾驶员面部图像建模的安全驾驶预警方法，请参阅图1，在本发明的第一实施例中所述方法包括以下步骤：
S1，获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据。
本步骤中，所述历史面部图像由安装于驾驶座位正前方的车载摄像头采集，所述历史面部图像和所述汽车振动传感器采集的振动样本数据可在车载电脑的控制下通过车载无线通信模块发送至云端服务器。
S2，根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库。
本步骤中，云端服务器通过无线接收模块接收所述历史面部图像和所述汽车振动传感器采集的振动样本数据，并对历史面部图像和所述汽车振动传感器采集的振动样本数据进行格式统一。根据振动样本数据分类生成预警类别标签，并对所述历史面部图像添加对应的所述预警类别标签。
S3，将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型。
本步骤中所述安全预警分类模型以AlexNet作为基础网络，包括5个卷积层、3个池化层、3个全连接层和1个softmax层。
S4，实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别。
本步骤中，所述预警类别可包括：正常驾驶、超速驾驶、疲劳驾驶。
S5，根据所述预警类别，对应执行报警任务。
本步骤中，所述执行报警任务可以为语音提醒或在车载屏幕上显示报警信息。
本发明提供的基于驾驶员面部图像建模的安全驾驶预警方法及系统的有益效果是：通过获取驾驶员的历史面部图像并通过汽车振动传感器的振动数据按照预设规则对所述历史面部图像添加预警类别标签后作为预设卷积神经网络的输入，训练生成安全预警分类模型对实时获取待检测驾驶员的实时面部图像进行分类；并根据所述预警类别对应执行报警任务。无需人工选定特征，能够避免传统图像处理算法中特征提取不完备性的问题，具有更高的预测精度，减少误报率和漏报率。
具体地，请参阅图2，在本发明的第二实施例中所述S2：根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库包括如下步骤：
S21，获取汽车振动传感器的振动数据的危险范围。
本步骤中，所述危险范围值，由汽车厂商提供的振动传感器在模拟车祸实验时，记录的危险范围值预先录入云端服务器。
S22，采集处于危险范围内对应的所述历史面部图像作为有效样本面部图像。
本步骤可将振动数据不处于危险范围的历史面部图像剔除，减少了历史面部图像的无效样本，
S23，将所述有效样本面部图像添加预警类别标签后作为所述安全预警面部图像库的样本。
具体地，请参阅图5所示，所述安全预警分类模型具体包括：
依次设置的卷积层一、池化层一、卷积层二、池化层二、卷积层三、卷积层四、卷积层五、池化层三、全连接层一、全连接层二、全连接层三、softmax输出层。
具体地，所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五的卷积核函数均为：
Figure GDA0003425915570000071
其中，
Figure GDA0003425915570000072
为卷积层l中像素点x输出的RGB颜色值，
Figure GDA0003425915570000073
为卷积层l-1中像素点y处的输入RGB颜色值；所述
Figure GDA0003425915570000074
为卷积层l中像素点x和卷积层l-1中像素点y之间的旋转过滤器；
Figure GDA0003425915570000075
为卷积层l中像素点x的偏置量；所述卷积层l为所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五中的任一个；即卷积层l-1代表所述卷积层一时，卷积层l对应代表所述卷积层二；卷积层l-1代表所述卷积层二时，卷积层l对应代表所述卷积层三；卷积层l-1代表所述卷积层三时，卷积层l对应代表所述卷积层四；卷积层l-1代表所述卷积层四时，卷积层l对应代表所述卷积层五。
上述各卷积层均采用ReLU激活函数，公式如下：
ReLU(z)＝(z,0)
上述各池化层均采用采用最大池化方法；
上述全连接层进一步对图像特征进行下采用，最后一层全连接层输出4096维的图像特征向量；
上述卷积神经网络的输出作为softmax层输入，softmax层输出待检测驾驶员图片的所述预警类别，并输出预警结果。
具体地，在本发明的上述实施例中，所述预设规则包括：
根据所述振动样本数据的震动幅度等级划分所述历史面部图像的预警类别。
在本发明的实施例中，请参阅图3所示，获取驾驶员的历史面部图像之后还包括如下步骤：
S01，对所述驶员的历史面部图像过滤图像中的噪声。
本步骤中，所述过滤的方法可以为高斯滤波法、中值滤波法等。
S02，对所述驶员的历史面部图像进行亮度均衡处理。
本步骤中，对历史面部图像亮度进行均衡处理，可消除在不同天气采集的所述历史面部图像的亮度统一，减小了因亮度不同而造成的识别误差。
S03，对所述驶员的历史面部图像进行增强处理。
所述对图像的增强处理可以为基于对数Log变换的图像增强，对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节。能进一步提高识别准确度。
在本发明的实施例中，请参阅图4所示，所述步骤S5：根据所述预警类别，对应执行报警任务具体包括如下步骤：
S51，根据所述预警类别获取与所述预警类别对应的预警信息。
本步骤中所述预警信息与所述预警类别由服务器的管理终端预先录入。
S52，将所述预警信息通过语音播报和/或将所述预警信息通过车载屏幕展示。
本步骤中，所述预警信息首先通过服务器的无线通讯模块发送至车载电脑，车载电脑将预警信息发送至执行装置如车载扬声器和车载显示屏上。
具体地，在本发明的上述实施例中，所述历史面部图像对应的汽车振动传感器的振动数据为距所述历史面部图像采集完毕后T时间间隔时采集的汽车振动传感器的振动数据。
所述历史面部图像与对应传感器的振动数据的采样时间的T时间间隔设置，可以较好地预测待检测图片的T时间间隔后的汽车驾驶状态。具体地，所述采样时间间隔T可以为固定值，也可以根据采集所述历史面部图像时的车速来个性化选择，如车速快的就相应时间间隔T就长一些，车速慢就相对应的时间间隔就短一些，当然也可以按照其他规则个性化设置，以平衡驾驶人员在预警发出后的反应时间和安全反应距离。
请参阅图6，本发明实施例还提供一种基于驾驶员面部图像建模的安全驾驶预警，所述系统包括：摄像头、振动传感器、图像标记模块、分类模型训练模块、预警分类模块及报警任务执行模块；
所述摄像头用于获取驾驶员的历史面部图像；
所述振动传感器用于获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据；
所述图像标记模块用于根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库；
所述分类模型训练模块用于将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；
所述预警分类模块用于实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；
所述报警任务执行模块用于根据所述预警类别，执行对应的报警任务。
读者应理解，在本说明书的描述中，参考术语“方面”、“可选的实施方式”或“一些实施方式”等的描述意指结合该实施例或示例描述的具体特征、步骤或者特点包含于本发明的至少一个实施例或示例中，术语“第一”和“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”和“第二”等的特征可以明示或者隐含地包括至少一个该特征。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，包括以下步骤：
获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据；
根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库；
将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；
实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；
根据所述预警类别，执行对应的报警任务；
根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库，包括如下步骤：
获取汽车振动传感器的振动数据的危险范围；
采集处于危险范围内对应的所述历史面部图像作为有效样本面部图像；
将所述有效样本面部图像添加预警类别标签后作为所述安全预警面部图像库的样本。
2.根据权利要求1所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，所述安全预警分类模型具体包括：
依次设置的卷积层一、池化层一、卷积层二、池化层二、卷积层三、卷积层四、卷积层五、池化层三、全连接层一、全连接层二、全连接层三、softmax输出层。
3.根据权利要求2所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五的卷积核函数均为：
Figure FDA0003425915560000021
其中，
Figure FDA0003425915560000022
为卷积层l中像素点x输出的RGB颜色值，
Figure FDA0003425915560000023
为卷积层l-1中像素点y处的输入RGB颜色值；所述
Figure FDA0003425915560000024
为卷积层l中像素点x和卷积层l-1中像素点y之间的旋转过滤器；
Figure FDA0003425915560000025
为卷积层l中像素点x的偏置量；所述卷积层l为所述卷积层二、所述卷积层三、所述卷积层四和所述卷积层五中的任一个。
4.根据权利要求1所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，所述预设规则包括：
根据所述振动样本数据的震动幅度等级划分所述历史面部图像的预警类别。
5.根据权利要求4所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，所述预警类别包括：正常驾驶、超速驾驶、疲劳驾驶。
6.根据权利要求1所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，获取驾驶员的历史面部图像之后，还包括如下步骤：
对所述驶员的历史面部图像过滤图像中的噪声；
对所述驶员的历史面部图像进行亮度均衡处理；
对所述驶员的历史面部图像进行增强处理。
7.根据权利要求1至6任一项所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，根据所述预警类别，执行对应报警任务，具体包括如下步骤：
根据所述预警类别获取与所述预警类别对应的预警信息；
将所述预警信息通过语音播报和/或将所述预警信息通过车载屏幕展示。
8.根据权利要求1至6任一项所述的基于驾驶员面部图像建模的安全驾驶预警方法，其特征在于，所述历史面部图像对应的汽车振动传感器的振动数据为距所述历史面部图像采集完毕后T时间间隔时采集的汽车振动传感器的振动数据。
9.一种基于驾驶员面部图像建模的安全驾驶预警系统，其特征在于，包括：摄像头、振动传感器、图像标记模块、分类模型训练模块、预警分类模块及报警任务执行模块；
所述摄像头用于获取驾驶员的历史面部图像；
所述振动传感器用于获取驾驶员的历史面部图像及与所述历史面部图像对应的汽车振动传感器的振动样本数据；
所述图像标记模块用于根据所述振动样本数据按照预设规则对所述历史面部图像添加预警类别标签，获得安全预警面部图像库；
所述分类模型训练模块用于将所述安全预警面部图像库作为预设卷积神经网络的输入，训练生成安全预警分类模型；
所述预警分类模块用于实时获取待检测驾驶员的实时面部图像，将所述实时面部图像作为训练后的所述安全预警分类模型的输入，并获得所述安全预警分类模型输出的待检测驾驶员的实时面部图像对应的预警类别；
所述报警任务执行模块用于根据所述预警类别，执行对应的报警任务；
所述图像标记模块具体用于：
获取汽车振动传感器的振动数据的危险范围；
采集处于危险范围内对应的所述历史面部图像作为有效样本面部图像；
将所述有效样本面部图像添加预警类别标签后作为所述安全预警面部图像库的样本。
CN201910905515.9A 2019-09-24 2019-09-24 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 Active CN110705416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905515.9A CN110705416B (zh) 2019-09-24 2019-09-24 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905515.9A CN110705416B (zh) 2019-09-24 2019-09-24 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统

Publications (2)

Publication Number Publication Date
CN110705416A CN110705416A (zh) 2020-01-17
CN110705416B true CN110705416B (zh) 2022-03-01

Family

ID=69195048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905515.9A Active CN110705416B (zh) 2019-09-24 2019-09-24 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统

Country Status (1)

Country Link
CN (1) CN110705416B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159269A1 (zh) * 2020-02-11 2021-08-19 云图技术有限公司 基于视觉的安全驾驶预警方法、系统及存储介质
CN112558510B (zh) * 2020-10-20 2022-11-15 山东亦贝数据技术有限公司 一种智能网联汽车安全预警系统及预警方法
CN118506253A (zh) * 2024-07-18 2024-08-16 中汽数据(天津)有限公司 一种驾驶员安全驾驶监测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028405A (ko) * 2012-08-28 2014-03-10 (주)나노포인트 차량 상태 정보 처리 시스템 및 방법
CN104952121A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种行车记录仪
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
CN109017563A (zh) * 2018-08-02 2018-12-18 南京梵科智能科技有限公司 一种汽车安全行驶智能系统
CN109815884A (zh) * 2019-01-21 2019-05-28 深圳市能信安科技股份有限公司 基于深度学习的不安全驾驶行为检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028405A (ko) * 2012-08-28 2014-03-10 (주)나노포인트 차량 상태 정보 처리 시스템 및 방법
CN104952121A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种行车记录仪
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
CN109017563A (zh) * 2018-08-02 2018-12-18 南京梵科智能科技有限公司 一种汽车安全行驶智能系统
CN109815884A (zh) * 2019-01-21 2019-05-28 深圳市能信安科技股份有限公司 基于深度学习的不安全驾驶行为检测方法及装置

Also Published As

Publication number Publication date
CN110705416A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN110705416B (zh) 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
KR101912914B1 (ko) 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN103366506A (zh) 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN112744174B (zh) 车辆碰撞监测方法、装置、设备及计算机可读存储介质
CN110688883A (zh) 车辆和行人检测方法及装置
CN107066980B (zh) 一种图像变形检测方法及装置
US20180366000A1 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
CN112396023A (zh) 基于机器学习的火灾检测方法
CN111785050A (zh) 一种高速公路疲劳驾驶预警装置及方法
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测系统及方法
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
CN114973212A (zh) 一种基于视觉特征、方向盘操作检测并主动干预的制止疲劳驾驶方法
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN116363100A (zh) 图像质量评价方法、装置、设备及存储介质
Kavitha et al. Traffic Sign Recognition and Voice-Activated Driving Assistance Using Raspberry Pi
CN110556024B (zh) 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质
CN114692757A (zh) 一种异常驾驶行为的监测方法、装置及电子设备
CN113283286A (zh) 一种驾驶员异常行为检测方法和装置
US20220058416A1 (en) Printed character recognition
Alfinnur Charisma Modified YOLOv5-based License Plate Detection: an Efficient Approach for Automatic Vehicle Identification
CN113361340B (zh) 特征提示方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant