CN114038049A - 一种基于边缘计算的驾驶员行为特征提取及判别方法 - Google Patents

一种基于边缘计算的驾驶员行为特征提取及判别方法 Download PDF

Info

Publication number
CN114038049A
CN114038049A CN202111542354.5A CN202111542354A CN114038049A CN 114038049 A CN114038049 A CN 114038049A CN 202111542354 A CN202111542354 A CN 202111542354A CN 114038049 A CN114038049 A CN 114038049A
Authority
CN
China
Prior art keywords
data
driver
model
behavior
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111542354.5A
Other languages
English (en)
Inventor
严圣军
秦宇
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhiying Robot Technology Co ltd
Jiangsu Tianying Environmental Protection Energy Equipment Co Ltd
China Tianying Inc
Original Assignee
Shanghai Zhiying Robot Technology Co ltd
Jiangsu Tianying Environmental Protection Energy Equipment Co Ltd
China Tianying Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhiying Robot Technology Co ltd, Jiangsu Tianying Environmental Protection Energy Equipment Co Ltd, China Tianying Inc filed Critical Shanghai Zhiying Robot Technology Co ltd
Priority to CN202111542354.5A priority Critical patent/CN114038049A/zh
Publication of CN114038049A publication Critical patent/CN114038049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边缘计算的驾驶员行为特征提取及判别方法，采集驾驶员视频数据并转化为图片数据，建立人脸数据集和行为数据集，利用深度学习算法对人脸数据和行为数据进行训练，利用人脸认证模型进行驾驶员身份认证，利用检测模型获得目标检测的感兴趣区域和视频的时序信息，训练驾驶员异常行为识别模型ADM，根据视频流的检测结果和ADM模型，判断是否存在异常的行为。本发明提出了跨域的mobilenetv2模型，提高了推理速度，并通过新的异常行为判别模型，提出时间维度与空间维度结合，并且先提取空间维度中的感兴趣区域作为特征输入，同时共享检测模型特征空间，减少参数的学习时间，提高模型识别精度。

Description

一种基于边缘计算的驾驶员行为特征提取及判别方法
技术领域
本发明涉及一种驾驶行为判别方法，特别是一种基于边缘计算的驾驶员行为特征提取及判别方法，属于人工智能技术领域。
背景技术
随着我国社会经济的发展和人民生活水平的提高，以及国内道路基建发展的完善，在市政环卫领域，环卫领域的通勤车辆种类和数量日益增多，包括：道路清扫车、垃圾中转车、洒水车等。与此同时，人工智能技术近些年发展迅猛，技术发展需要实际应用场景落地的带动，其中环卫机动车辆安全辅助驾驶就是深度学习技术在机器视觉领取落地的一个代表性方向。环卫机动车辆辅助驾驶主要包括三个方面，首先环卫车辆在行驶过程中，交通事故的发生一部分来自于司机危险行为驾驶酿成的，这为社会经济发展和国计民生造成重大损失；其次，在环卫领域，例如洒水车在作业过程中，环卫司机需要路边停车装水、检查车辆，特别是在光线昏暗地段，在路边作业存在一定的安全隐患，所以需要严格要求环卫司机按照要求穿好工作服，给路边车辆提醒，我们可以利用视觉技术对未穿环卫工作服的环卫司机做一些提示报警；再次，为了公司的有效管理，需要对环卫司机做考勤管理，身份认证。
目前针对驾驶员行为判断的主要方案有以下几种：第一种方案如中国发明专利202010714640.4，本方案提供了一种基于深度学习的驾驶行为分析识别警示系统及其识别方法，该系统先采用高斯混合模型对图像进行预处理，再利用深度卷积神经网络对图像进行分类。采用高斯混合模型对图像进行预处理存在的最大缺陷是计算比较耗时，并且背景太复杂不容易突出特征，会直接影响分类的效果。如果部署到低配的边缘计算盒子，很难满足实时预警的效果。
第二种方案如中国发明专利2015106526501.5，本方案提供一种基于行为识别的车载智能提醒方法及系统，该系统采用两步法，首先需要搜索视频图像中不同位置及不同尺度，生成多个识别候选区域，此时需要消耗大量的计算资源；其次，再利用基于像素的级联决策树分类器判断候选区域是否为人脸，此方法在多变或者较复杂的环境下很难识别出人脸。
发明内容
本发明所要解决的技术问题是提供一种基于边缘计算的驾驶员行为特征提取及判别方法，减少的判断计算量且异常行为判断更加准确。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于包含以下步骤：
步骤一：采集驾驶员视频数据并将采集的视频数据转化为图片数据；
步骤二：裁剪出人脸数据建立人脸数据集，对图片驾驶行为数据进行标注建立行为数据集；
步骤三：利用深度学习算法对标注好的人脸数据和行为数据进行训练；
步骤四：利用人脸认证模型进行驾驶员身份认证；
步骤五：利用检测模型获得目标检测的感兴趣区域和视频的时序信息，训练驾驶员异常行为识别模型ADM；
步骤六：根据视频流的检测结果和ADM模型，判断是否存在异常的行为，如果存在，则进行实时语音提醒。
进一步地，所述步骤一具体为：通过驾驶舱内的摄像头实时采集车辆驾驶员的视频数据，然后将采集的视频数据以帧率15转换为图片数据，并且对每一张图片进行唯一命名。
进一步地，所述步骤二具体为：
将图片数据中存在的人脸裁剪出来，将同一个人的人脸数据放入至同一个文件夹中并对该文件夹进行唯一命名，从而建立人脸数据集FaceDB；
利用标注工具LableImg对图片数据中驾驶员危险驾驶行为进行标注，同时标注穿着工作服数据，将标注后的文件保存为xml格式并对应图片名称进行唯一命名，从而建立行为数据集ActionDB。
进一步地，所述步骤三具体为：
针对驾驶员行为，统计分析行为数据集ActionDB的分布状态，行为数据集ActionDB的分布状态包括每一类数据的数量以及标注数量、标注框的大小分布，保证每一类数据之间的关系为1：1，并且数据之间的数量差异不超过1：2，然后对数据做预处理，扩充数据；
基于Kmeans算法计算行为数据集ActionDB的9个预选框的大小，分别用于计算大目标、中目标和小目标；
基于改进的YOLOv4框架选择csmobilenetv2为主干网络悬链目标检测模型，设置基本参数，学习率初始值为0.001，学习率的变化采用余弦退火Cosine annealing，采用Xavier初始化网络参数，优化器使用Adam，损失函数使用Focal loss，解决物体的分类损失和物体置信度计算，同时针对样本不均衡的情况，做出调整，在坐标回归中采用CIOU loss，根据电脑配置设置bach_size的大小；
训练过程主要分为两步，第一步只学习yolov4的PAnet网络参数和用于预测输出的三个head网络参数，训练迭代的次数设置为10000次；第二步学习整个网络参数，训练迭代的次数为20000次；
针对司机身份认证，首先统计分析人脸数据集FaceDB的分布状态，清洗质量较差的数据，首先保证数据量尽量的大，其次每个人之间的数据保持平衡状态，并使用数据增强的方法，扩充数据；
基于FaceNet训练模型，主干网路采用Mobilenet，利用人脸数据集FaceDB训练司机身份认证模型，设置基本参数，网络参数初始值采用开源预训练模型，学习率初始值为0.000001，学习率的变化采用余弦退火Cosine annealing，优化器使用Adam，损失函数使用Cross-Entropy Loss和Triplet Loss，根据电脑配置设置bach_size的大小；
模型的训练主要方式是微调，用很小的初始学习率学习整个网络参数，训练迭代的次数设置为20000次。
进一步地，所述csmobilenetv2的网络结构包含：
保留mobilenetv2的前19层，去掉平均池化层avgpool层和最后一层卷积层，用保留的前19层提取图片的特征；其中针对mobilenetv2中的反残差模块进行改进，在输入特征层feature layers后，首先对该特征层进行两次卷积操作，分别为part1和part2,保留part1不变，将part2进行n次bottleneck操作后再进行transition layer输出结果为t2，再将part1与t2进行融合；
根据改进的网络结构，第一步，输入x0时，分别进行卷积，获得part1，part2；第二步，假设有k个bottleneck块，用公式表示为xk＝wk*[part2,x1,...,xk-1]，再经过transition层处理，可表示为xt＝wt*xk，最后将part1与xt进行融合，可表示为xc＝wc*[part1,xt]，同样在进行反向传播更新权重过程中，可表示如下，w'k＝f(wk,part2,g1,...,gk-1)，wt'＝f(wt,part2,g1,...,gk-1)，w'c＝f(wt,part1,...,gt)，从上述公式推算可以看出，k个bottleneck层的梯度会被单独整合起来，在更新权重梯度信息时，不会包含重复的梯度信息。
进一步地，所述步骤四具体为：
首先利用行为识别模型检测驾驶员的人脸信息，存入数据库D作为将来的人脸对比库；
当有型的视频流传入时，先利用行为识别模型检测人脸和危险驾驶行为以及是否穿着工作服检测，再利用人脸认证模型，对检测到的人脸与数据库D中的人脸进行对比，如果身份认证不通过，发出警告通知。
进一步地，所述步骤五具体为：检测T时间段视频流，对每帧信息中同一异常信息进行检测，并提取ROI区域，同时将ROI区域映射到提出的csmobilenetv2的特征空间，共享csmobilenetv2特征参数，融合每帧的特征空间可表示为[xroi1,xroi2,...,xroik]，T时间段可表示为[t1,t2,...,tk]，融合时间维度和空间维度特征feature＝[ti,xroii]，最后基于CNN网络建立异常行为识别模型ADM。
进一步地，所述步骤六具体为：利用异常行为识别模型ADM检测目标，包括人脸，再利用FaceNet训练模型进行司机身份认证，保存T时间段的视频检测结果，将检测结果映射到csmobilenetv2的feature层，将时序信息与特征信息进行融合并输入异常行为识别模型ADM，判断异常行为，存在异常行为则通过语音实时报警。
本发明与现有技术相比，具有以下优点和效果：
1、本发明提出了跨域的mobilenetv2模型，减少模型20％参数，减少模型10％左右的计算量，提高推理速度，并且适合在资源相对匮乏的边缘计算设备上部署，能够做到实时检测目标；
2、本发明提出了新的异常行为判别模型，提出时间维度与空间维度结合，并且先提取空间维度中的感兴趣区域作为特征输入，同时共享检测模型特征空间，减少参数的学习时间，建立高精度的异常行为判别模型ADM。
3、利用facenet模型，解决环卫司机考勤和异常行为与司机进行关联。同时针对环卫领域中，对司机是否穿工作服检测，保障工人作业的安全性。
附图说明
图1是本发明的一种基于边缘计算的驾驶员行为特征提取及判别方法的流程图。
图2是本发明的优化后的YOLOv4框架图。
图3是本发明的FaceNet网络结构图。
图4是本发明的行为判断推理示意图。
图5是本发明的原始bottleneck处理方式示意图。
图6是本发明的优化后的跨连接bottleneck处理方式示意图。
图7是本发明的T时间目标检测示意图。
图8是T时序信息与空间ROI信息融合示意图。
具体实施方式
为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明的一种基于边缘计算的驾驶员行为特征提取及判别方法，包含以下步骤：
步骤一：在环卫车驾驶舱安装任意型号网络摄像头，摄像头的镜头需要对着驾驶员，并且需要保证能够采集到驾驶员的上半身。通过驾驶舱内的摄像头实时采集车辆驾驶员的视频数据，然后将采集的视频数据以帧率15转换为图片数据，并且对每一张图片进行唯一命名。
步骤二：将图片数据中存在的人脸裁剪出来，将同一个人的人脸数据放入至同一个文件夹中并对该文件夹进行唯一命名，从而建立人脸数据集FaceDB。
利用标注工具LableImg对图片数据中驾驶员危险驾驶行为进行标注，同时标注穿着工作服数据，将标注后的文件保存为xml格式并对应图片名称进行唯一命名，从而建立行为数据集ActionDB。
步骤三：配置基础训练环境，基于pytorch框架，使用NVIDIA-gtx3070显卡。利用深度学习算法对标注好的人脸数据和行为数据进行训练。
3.1、针对驾驶员行为，统计分析行为数据集ActionDB的分布状态，行为数据集ActionDB的分布状态包括每一类数据的数量以及标注数量、标注框的大小分布，保证每一类数据之间的关系为1：1，并且数据之间的数量差异不超过1：2，然后对数据做预处理，扩充数据；
3.2、基于Kmeans算法计算行为数据集ActionDB的9个预选框的大小，分别用于计算大目标、中目标和小目标；
3.3、如图2所示，基于改进的YOLOv4框架选择csmobilenetv2为主干网络悬链目标检测模型，csmobilenetv2的网络结构包含：
保留mobilenetv2的前19层，去掉平均池化层avgpool层和最后一层卷积层，用保留的前19层提取图片的特征；其中针对mobilenetv2中的反残差模块进行改进，在输入特征层feature layers后，首先对该特征层进行两次卷积操作，分别为part1和part2,保留part1不变，将part2进行n次bottleneck操作后再进行transition layer输出结果为t2，再将part1与t2进行融合；如图5所示，从bottleneck原始的计算公式分析，前向传播x1＝w1*x0,x2＝w2*[x0,x1],...,xk＝wk*[x0,x1...xk]，在此基础上进行反向传播更新权重，可表示为w'1＝f(w1,g0),w'2＝f(w2,g0,g1),...,w'k＝f(wk,g0,g1,...gk-1)，xi表示每次bottleneck输出结果，gi表示回传到第i个bottleneck层的梯度，[x0,x1,...,xk-1]表示bottleneck输出结果进行concat操作。我们可以发现，在更新不同的bottleneck的权重时候，大量的梯度信息存在复用的情况。
在新设计的网络结构csbottleneck，在进行多个bottleneck结构块进行操作时，可以避免大量重复梯度的运算。如图6所示，根据改进的网络结构，第一步，输入x0时，分别进行卷积，获得part1，part2；第二步，假设有k个bottleneck块，用公式表示为xk＝wk*[part2,x1,...,xk-1]，再经过transition层处理，可表示为xt＝wt*xk，最后将part1与xt进行融合，可表示为xc＝wc*[part1,xt]，同样在进行反向传播更新权重过程中，可表示如下，w'k＝f(wk,part2,g1,...,gk-1)，wt'＝f(wt,part2,g1,...,gk-1)，w'c＝f(wt,part1,...,gt)，从上述公式推算可以看出，k个bottleneck层的梯度会被单独整合起来，在更新权重梯度信息时，不会包含重复的梯度信息。从而实现了减少模型的参数和计算量，提高推理速度，实验表明，基本保持原有的精度。
设置基本参数，学习率初始值为0.001，学习率的变化采用余弦退火Cosineannealing，采用Xavier初始化网络参数，优化器使用Adam，损失函数使用Focal loss，解决物体的分类损失和物体置信度计算，同时针对样本不均衡的情况，做出调整，在坐标回归中采用CIOU loss，根据电脑配置设置bach_size的大小，其中，行为检测模型可以检测人脸。
本发明基于mobilenetv2,提出了跨域反残差块的设计，提取目标特征。首先只保留mobilenetv2前19层，去掉平均池化层avgpool层和最后一层卷积层，用保留的前19层提取图片的特征；然后对第2层到第18层进行调整，其中bottleneck的设计为反残差块，对该模块改进如下，在输入特征层(feature layers)后，首先对该特征层进行两次卷积操作，分别为part1和part2,保留part1不变，将part2进行n次bottleneck操作后再进行transitionlayer输出结果为t2，再将part1与t2进行融合,以下简称该算法为csmobilenetv2。该发明使整个算法主要做到了对原模型减少了20％模型参数，并避免了计算过程中对梯度的重复计算，从而减少了10％左右的计算量，提高推理速度，并且保证了原有的精确度，达到资源消耗少，容易部署，实时的检测等效果。
3.4、训练过程主要分为两步，第一步只学习yolov4的PAnet网络参数和用于预测输出的三个head网络参数，训练迭代的次数设置为10000次；第二步学习整个网络参数，训练迭代的次数为20000次；
3.5、针对司机身份认证，首先统计分析人脸数据集FaceDB的分布状态，清洗质量较差的数据，首先保证数据量尽量的大，其次每个人之间的数据保持平衡状态，并使用数据增强的方法，扩充数据；
3.6、如图3所示，基于FaceNet训练模型，主干网路采用Mobilenet，利用人脸数据集FaceDB训练司机身份认证模型，设置基本参数，网络参数初始值采用开源预训练模型，学习率初始值为0.000001，学习率的变化采用余弦退火Cosine annealing，优化器使用Adam，损失函数使用Cross-Entropy Loss和Triplet Loss，根据电脑配置设置bach_size的大小；
3.7、模型的训练主要方式是微调，用很小的初始学习率学习整个网络参数，训练迭代的次数设置为20000次。
步骤四：利用人脸认证模型进行驾驶员身份认证。
4.1、首先利用行为识别模型检测驾驶员的人脸信息，存入数据库D作为将来的人脸对比库。在pytorch框架下训练好的行为识别模型和身份认证模型转化到ONNX框架下，再将ONNX框架下的模型移植到车载盒子上。车载盒子用的地平线X3M。地平线X3M的基本构成和配置如下：处理器为SOC X3(Cortex A53 x4,BPU x2)，存储为1GB/2GB LPDDR4，8GB/16GBEMMC，电源12V 2A适配器，以太网10/100/1000Mbps RJ45 x1。摄像头接入到车载盒子，启动摄像头，并启动车载盒子。检测驾驶员的人脸信息，存入数据库D，作为将来的人脸对比库。
4.2、当有型的视频流传入时，先利用行为识别模型检测人脸和危险驾驶行为以及是否穿着工作服检测，再利用人脸认证模型，对检测到的人脸与数据库D中的人脸进行对比，如果身份认证不通过，发出警告通知。
步骤五：如图4所示，利用检测模型获得目标检测的感兴趣区域和视频的时序信息，训练驾驶员异常行为识别模型ADM。
如图7所示，检测T时间段视频流，对每帧信息中同一异常信息进行检测，如图8所示，并提取ROI区域，同时将ROI区域映射到提出的csmobilenetv2的特征空间，共享csmobilenetv2特征参数，融合每帧的特征空间可表示为[xroi1,xroi2,...,xroik]，T时间段可表示为[t1,t2,...,tk]，融合时间维度和空间维度特征feature＝[ti,xroii]，最后基于CNN网络建立异常行为识别模型ADM。
在当前的算法研究中，对行为最终的判断的依据主要是利用单帧数据的分类算法，虽然该方法具有一定的准确性，但该方法主要存在两个方面的缺陷，第一，每个异常行为应该具有连续性，没有考虑时序信息；第二，我们采用的摄像头分辨率大部分为1080p，例如抽烟等行为在图像中，只有很小的一部分，图像中大部分信息是无效的，在多次卷积操作后，目标信息很有可能会丢失，本发明针对以上两种情况，提出了异常行为的判别方法ADM，在T时间内，利用改进的yolov4检测目标，有效定位感兴趣区域，减少无效信息的干扰，将感兴趣区域映射到csmobilenetv2特征空间，共享csmobilenetv2特征参数，有效减少参数的学习，最后将时序信息与特征信息进行融合，完成ADM模型，可以有效准确的判别异常行为。
步骤六：根据视频流的检测结果和ADM模型，判断是否存在异常的行为，如果存在，则进行实时语音提醒。
利用异常行为识别模型ADM检测目标，包括人脸，再利用FaceNet训练模型进行司机身份认证，保存T时间段的视频检测结果，将检测结果映射到csmobilenetv2的feature层，将时序信息与特征信息进行融合并输入异常行为识别模型ADM，判断异常行为，存在异常行为则通过语音实时报警。目前在环卫领域内，针对司机身份认证的方式主要是通过在移动终端下发预约信息，这种方式根本没法追踪到司机在作业过程中身份的认证，存在代考勤的风险。本发明采用深度学习FaceNet算法，建立身份认证模型，能够在任何时候对司机身份进行认证，以保证车辆能够正常运作。
本发明首先基于本发明提出的跨域反残差块的设计提取目标特征，在改进的YOLOV4模型框架下完成检测单帧图片中存在的异常目标(例如，手机，香烟等)，再将时序信息与检测的目标特征结合，建立行为判别模型，以下检测ADM，再利用建立完成ADM模型，预测司机的行为，从而达到实时检测司机异常行为。最后，利用facenet算法，对司机的身份进行认证，解决环卫领域内司机代考勤，随时对司机身份进行认证，以保证车辆进行正常运作。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (8)

1.一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于包含以下步骤：
步骤一：采集驾驶员视频数据并将采集的视频数据转化为图片数据；
步骤二：裁剪出人脸数据建立人脸数据集，对图片驾驶行为数据进行标注建立行为数据集；
步骤三：利用深度学习算法对标注好的人脸数据和行为数据进行训练；
步骤四：利用人脸认证模型进行驾驶员身份认证；
步骤五：利用检测模型获得目标检测的感兴趣区域和视频的时序信息，训练驾驶员异常行为识别模型ADM；
步骤六：根据视频流的检测结果和ADM模型，判断是否存在异常的行为，如果存在，则进行实时语音提醒。
2.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤一具体为：通过驾驶舱内的摄像头实时采集车辆驾驶员的视频数据，然后将采集的视频数据以帧率15转换为图片数据，并且对每一张图片进行唯一命名。
3.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤二具体为：
将图片数据中存在的人脸裁剪出来，将同一个人的人脸数据放入至同一个文件夹中并对该文件夹进行唯一命名，从而建立人脸数据集FaceDB；
利用标注工具LableImg对图片数据中驾驶员危险驾驶行为进行标注，同时标注穿着工作服数据，将标注后的文件保存为xml格式并对应图片名称进行唯一命名，从而建立行为数据集ActionDB。
4.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤三具体为：
针对驾驶员行为，统计分析行为数据集ActionDB的分布状态，行为数据集ActionDB的分布状态包括每一类数据的数量以及标注数量、标注框的大小分布，保证每一类数据之间的关系为1：1，并且数据之间的数量差异不超过1：2，然后对数据做预处理，扩充数据；
基于Kmeans算法计算行为数据集ActionDB的9个预选框的大小，分别用于计算大目标、中目标和小目标；
基于改进的YOLOv4框架选择csmobilenetv2为主干网络悬链目标检测模型，设置基本参数，学习率初始值为0.001，学习率的变化采用余弦退火Cosine annealing，采用Xavier初始化网络参数，优化器使用Adam，损失函数使用Focal loss，解决物体的分类损失和物体置信度计算，同时针对样本不均衡的情况，做出调整，在坐标回归中采用CIOU loss，根据电脑配置设置bach_size的大小；
训练过程主要分为两步，第一步只学习yolov4的PAnet网络参数和用于预测输出的三个head网络参数，训练迭代的次数设置为10000次；第二步学习整个网络参数，训练迭代的次数为20000次；
针对司机身份认证，首先统计分析人脸数据集FaceDB的分布状态，清洗质量较差的数据，首先保证数据量尽量的大，其次每个人之间的数据保持平衡状态，并使用数据增强的方法，扩充数据；
基于FaceNet训练模型，主干网路采用Mobilenet，利用人脸数据集FaceDB训练司机身份认证模型，设置基本参数，网络参数初始值采用开源预训练模型，学习率初始值为0.000001，学习率的变化采用余弦退火Cosine annealing，优化器使用Adam，损失函数使用Cross-Entropy Loss和Triplet Loss，根据电脑配置设置bach_size的大小；
模型的训练主要方式是微调，用很小的初始学习率学习整个网络参数，训练迭代的次数设置为20000次。
5.根据权利要求4所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述csmobilenetv2的网络结构包含：
保留mobilenetv2的前19层，去掉平均池化层avgpool层和最后一层卷积层，用保留的前19层提取图片的特征；其中针对mobilenetv2中的反残差模块进行改进，在输入特征层feature layers后，首先对该特征层进行两次卷积操作，分别为part1和part2,保留part1不变，将part2进行n次bottleneck操作后再进行transition layer输出结果为t2，再将part1与t2进行融合；
根据改进的网络结构，第一步，输入x0时，分别进行卷积，获得part1，part2；第二步，假设有k个bottleneck块，用公式表示为xk＝wk*[part2,x1,...,xk-1]，再经过transition层处理，可表示为xt＝wt*xk，最后将part1与xt进行融合，可表示为xc＝wc*[part1,xt]，同样在进行反向传播更新权重过程中，可表示如下，w′k＝f(wk,part2,g1,...,gk-1)，w′t＝f(wt,part2,g1,...,gk-1)，w′c＝f(wt,part1,...,gt)，从上述公式推算可以看出，k个bottleneck层的梯度会被单独整合起来，在更新权重梯度信息时，不会包含重复的梯度信息。
6.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤四具体为：
首先利用行为识别模型检测驾驶员的人脸信息，存入数据库D作为将来的人脸对比库；
当有型的视频流传入时，先利用行为识别模型检测人脸和危险驾驶行为以及是否穿着工作服检测，再利用人脸认证模型，对检测到的人脸与数据库D中的人脸进行对比，如果身份认证不通过，发出警告通知。
7.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤五具体为：检测T时间段视频流，对每帧信息中同一异常信息进行检测，并提取ROI区域，同时将ROI区域映射到提出的csmobilenetv2的特征空间，共享csmobilenetv2特征参数，融合每帧的特征空间可表示为[xroi1,xroi2,...,xroik]，T时间段可表示为[t1,t2,...,tk]，融合时间维度和空间维度特征feature＝[ti,xroii]，最后基于CNN网络建立异常行为识别模型ADM。
8.根据权利要求1所述的一种基于边缘计算的驾驶员行为特征提取及判别方法，其特征在于：所述步骤六具体为：利用异常行为识别模型ADM检测目标，包括人脸，再利用FaceNet训练模型进行司机身份认证，保存T时间段的视频检测结果，将检测结果映射到csmobilenetv2的feature层，将时序信息与特征信息进行融合并输入异常行为识别模型ADM，判断异常行为，存在异常行为则通过语音实时报警。
CN202111542354.5A 2021-12-14 2021-12-14 一种基于边缘计算的驾驶员行为特征提取及判别方法 Pending CN114038049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111542354.5A CN114038049A (zh) 2021-12-14 2021-12-14 一种基于边缘计算的驾驶员行为特征提取及判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111542354.5A CN114038049A (zh) 2021-12-14 2021-12-14 一种基于边缘计算的驾驶员行为特征提取及判别方法

Publications (1)

Publication Number Publication Date
CN114038049A true CN114038049A (zh) 2022-02-11

Family

ID=80146899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111542354.5A Pending CN114038049A (zh) 2021-12-14 2021-12-14 一种基于边缘计算的驾驶员行为特征提取及判别方法

Country Status (1)

Country Link
CN (1) CN114038049A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863192A (zh) * 2022-07-06 2022-08-05 武汉工程大学 基于图片-照片融合的动车组走行部异常识别方法及设备
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863192A (zh) * 2022-07-06 2022-08-05 武汉工程大学 基于图片-照片融合的动车组走行部异常识别方法及设备
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
Weld et al. Deep learning for automatically detecting sidewalk accessibility problems using streetscape imagery
CN110097109A (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN114038049A (zh) 一种基于边缘计算的驾驶员行为特征提取及判别方法
CN109935080B (zh) 一种交通线路上的车流量实时计算的监测系统及方法
JP2018523234A (ja) 乗客の混雑度の算出方法及びそのシステム
CN101567097B (zh) 基于双行视差时空图的公交车客流自动计数方法及其系统
CN109657581A (zh) 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN101216998A (zh) 基于模糊粗糙集的证据理论城市交通流信息融合方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN104504377A (zh) 一种公交车乘客拥挤程度识别系统及方法
CN103268498B (zh) 一种感兴趣区域模糊图像语义理解的方法
CN116168356B (zh) 一种基于计算机视觉的车辆损伤判别方法
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
Wang et al. Research on key technologies of intelligent transportation based on image recognition and anti-fatigue driving
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN105005773A (zh) 一种融合时域信息和空域信息的行人检测方法
Ghosh et al. An adaptive video-based vehicle detection, classification, counting, and speed-measurement system for real-time traffic data collection
CN115984537A (zh) 图像处理方法、装置及相关设备
CN109816022A (zh) 一种基于三支决策与cnn的图像识别方法
Dorrani Traffic Scene Analysis and Classification using Deep Learning
CN110210436A (zh) 一种车载摄像头巡线图像识别方法
Hammit et al. Radar-vision algorithms to process the trajectory-level driving data in the SHRP2 Naturalistic Driving Study
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN113239962A (zh) 一种基于单个固定摄像头的交通参与者的识别方法
CN112861682A (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination