CN111444843B - 一种多模态驾驶员及车辆违法行为监测方法及系统 - Google Patents

一种多模态驾驶员及车辆违法行为监测方法及系统 Download PDF

Info

Publication number
CN111444843B
CN111444843B CN202010224629.XA CN202010224629A CN111444843B CN 111444843 B CN111444843 B CN 111444843B CN 202010224629 A CN202010224629 A CN 202010224629A CN 111444843 B CN111444843 B CN 111444843B
Authority
CN
China
Prior art keywords
vehicle
driver
license plate
illegal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010224629.XA
Other languages
English (en)
Other versions
CN111444843A (zh
Inventor
曹玉社
许亮
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Zhongkehai Micro Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehai Micro Beijing Technology Co ltd filed Critical Zhongkehai Micro Beijing Technology Co ltd
Priority to CN202010224629.XA priority Critical patent/CN111444843B/zh
Publication of CN111444843A publication Critical patent/CN111444843A/zh
Application granted granted Critical
Publication of CN111444843B publication Critical patent/CN111444843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种多模态驾驶员及车辆违法行为监测方法及系统，通过建立集成算法模型，判断驾驶员是否处于违法驾驶状态；通过车辆属性检测算法模型检测车辆中的前置车窗和车牌位置，一方面，根据人脸检测算法检测前置车窗位置有无驾驶员，若有驾驶员，确认其驾驶员信息通过人脸比对算法，进而确认驾驶员身份是否异常，若驾驶员身份存在异常，则判断为驾驶员处于违法驾驶状态。另一方面，根据车牌识别算法得到驾驶车辆的车牌信息，进而确认驾驶车辆是否异常，若驾驶车辆存在异常情况，则判断驾驶员处于违法驾驶状态。本发明能够对多种违法行为同时检测，检测的准确率高，适合在现有的驾驶员违法行为监测装置上使用。

Description

一种多模态驾驶员及车辆违法行为监测方法及系统
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种多模态驾驶员及车辆违法行为监测方法及系统。
背景技术
目前，在交通事故中，因机动车驾驶员违法行为导致的死亡人数占比最高，因此如何尽可能多的减少交通事故的发生，构建准确的驾驶员违法行为检测技术刻不容缓。
现有的关于驾驶员违法行为监测的技术主要有：
1、闯红灯自动检测记录装置，包括：记录的文字信息部分和图片信息部分；其中：
文字信息包括闯红灯的发生时间、地点；
图像部分包括违法车辆的基本信息、发生地的交通情况。
2、车辆超速和超载违法记录装置
利用对视频的图像处理技术，结合GPS定位系统、车辆速度监控系统、违章拍照系统，并与微处理器相连接，有效监测、采集违章超速的行为，并对超速违法行为进行记录，进而获得超速车辆车速、车牌号码、违法照片等运行状态信息。
3、压黄线违法抓拍装置
通过第一汽车电子标识读卡器和第二汽车电子标识读卡器分别获得第一扫描区域与第二扫描区域，如果两区域部分重叠则得到压线检测区域；
采用控制器与上述两读卡器连接，判定通过压线检测区域的车辆压线行驶；
采用信息提示器与控制器连接，用于将压线行驶的车辆信息通知给车辆用户，解决了现有车辆压线行驶的过程中，不能及时通知驾驶人终止当前违法行为，严重影响行车安全和道路畅通的问题。
经过检索发现：
申请号为：201910813206.9，申请日为：2019-08-30的中国发明专利申请《基于人车关联分析的准驾不符违法行为预警方法》，公开了基于图像识别技术获取车辆信息，基于人脸识别技术获取驾驶人以及驾驶人持有的驾驶证信息；通过人车关联分析来判断驾驶人是否存在准驾不符的违法行为，从而有效的提高了准驾不符违法行为的查处效率和执行效率。
然而，上述现有技术仍然存在如下问题：
(1)关于驾驶员违法行为监测装置主要是以单一违法检测法为主，不能一次性系统的检测驾驶员的违法行为；且单一违法检测法耗时费力，监测效率低且所造成的成本较高。
(2)现有的违法监测技术，通常采用硬件设备进行监测，而硬件设备的监测过程对硬件的运行状态的要求较高，故因硬件故障而导致监测结果错误的情况也时有发生，这将直接影响监测行为的准确度；其次，现有交通监控检测大多采用红外线和感应线圈检测等，这些检测需要前期安装较多发射和接收输入设备，这将大大提高检测成本。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种多模态驾驶员及车辆违法行为监测方法及系统，采用多标签集成训练的方式识别违法行为，克服了单一违法检测法的缺点，提高了驾驶员违法行为的监测效率；同时，结合了驾驶员身份是否异常检测和驾驶车辆是否异常检测模块，组成多模态驾驶员违反行为监测系统。实践证明，这种多模态检测法准确度更高、更加智能化。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种多模态驾驶员及车辆违法行为监测方法，包括：
S1，获取车辆图像，构造多种违法行为标签，利用多种违法行为标签进行多标签集成训练，建立集成算法模型；
S2，获取车辆图像，标定车辆的前置车窗位置和车牌位置，利用前置车窗位置和车牌位置训练目标检测模型，建立车辆属性检测算法模型；
S3，获取往来车辆图像，进行如下处理：
将图像输入至S1中建立的集成算法模型，得到对应的违法行为结果，判断该驾驶员是否处于违法驾驶状态；
将图像输入至S2中建立的车辆属性检测算法模型，得到其前置车窗位置和车牌位置信息；
S4，采用人脸识别算法，对S3中获得的前置车窗位置进行人脸检测，得到人脸区域信息；通过人脸比对技术，将获得的人脸区域信息与已有的人脸库进行相似度计算，根据设定的阈值，返回相似度最高的匹配信息，进而获得驾驶员的身份证号码信息，并判断该身份证号码信息是否存在异常；
S5，采用车牌识别方法，识别S3中得到的车牌位置中的车牌字符，获得车牌号码信息，并判断该车牌号码信息对应的车辆是否存在违法行为；
S6，综合S3中得到的驾驶员违法驾驶状态信息、S4中得到的驾驶员身份证号码异常信息、S5中得到的车辆违法行为信息，形成多模态信息，通过多模态信息监测所获取的往来车辆图像中驾驶员及车辆是否存在违法行为。
优选地，所述S1中，违法行为标签包括：驾驶位是否有人、驾驶员是否打电话、驾驶员是否系安全带以及驾驶员是否吸烟。
优选地，所述S1中，建立的集成算法模型为DFL-CNN细粒度分类模型。
优选地，所述S2中，采用yoloV3作为目标检测模型。
优选地，所述S4中，人脸识别方法引入损失函数作为监督信号进行人脸识别；其中：
center损失函数为：
Figure BDA0002427232890000031
式中，xi为输入图像，yi为输入图像对应的类别，cyi表示一个类中心特征；
对center损失函数LC进行修改，得到：
Figure BDA0002427232890000032
Figure BDA0002427232890000033
其中，Δcj为Lc关于
Figure BDA0002427232890000034
的梯度，cj为第j个类中心，j取1,2,...n，
Figure BDA0002427232890000041
得到总体损失函数L为：
Figure BDA0002427232890000042
式中，Ls是Softmax交叉熵损失函数，标量λ用于平衡两种损失函数；m为最小批次尺寸批处理，
Figure BDA0002427232890000043
为全连接层的参数矩阵，T为转置的数学符号，/>
Figure BDA0002427232890000044
为偏置项，n为类的种类数，
Figure BDA0002427232890000045
为/>
Figure BDA0002427232890000046
的第j列，bj为/>
Figure BDA0002427232890000047
的第j列。
优选地，所述S5中，车牌识别方法，包括：
S51，获取车辆图像的训练样本；
S52，对S51中获取的样本进行数据增强处理，形成训练样本数据集；
S53，将S52中得到的样本数据进行预处理，并送至LPRNet网络，训练车牌识别模型；
S54，在应用过程中，把获取的车牌送至训练好的LPRNet模型，将识别得到的多个号码序列依次与车辆牌照标准规则相匹配，返回匹配成功的第一个号码序列。从而完成对车辆位置进行车牌识别的过程，得到对应的车牌字符。
优选地，所述S54中，采用Beam搜索算法对车牌进行后过滤识别，得到多个最可能的号码序列。
根据本发明的另一个方面，提供了一种多模态驾驶员及车辆违法行为监测系统，包括：
集成违法行为检测模块，通过集成算法模型，检测驾驶员的多种违法行为结果，判断驾驶员是否处于违法驾驶状态；
目标检测模块，通过车辆属性检测算法模型检测车辆的前置车窗和车牌，得到前置车窗和车牌的位置；
驾驶员身份异常检测模块，根据目标检测模块得到的前置车窗位置进行人脸检测，通过人脸比对，即将检测的人脸区域信息与已有的人脸库进行相似度计算，进而得到驾驶员的身份证号码信息，并判断该身份证号码信息是否存在异常；
驾驶车辆异常检测模块，根据目标检测模块得到的车牌位置，利用车牌识别模型，得到对应的车牌号码信息，并判断该车牌号码信息对应的车辆是否存在违法行为。
优选地，所述集成算法模型通过以下方式建立：获取车辆图像，构造多种违法行为标签，利用多种违法行为标签进行多标签集成训练，建立集成算法模型。
优选地，建立的集成算法模型为DFL-CNN细粒度分类模型；
优选地，所述车牌识别模型，采用LPRNet车牌识别网络对车牌进行识别，得到多个号码序列，并将得到的号码序列依次与车辆牌照标准规则相匹配，返回匹配成功的第一个序列，即为车牌号码信息。
优选地，所述系统还包括：
整合输出模块：综合集成违法行为检测模块、驾驶员身份异常检测模块和驾驶车辆异常检测模块得到的检测结果，形成多模态驾驶员及车辆违法行为并输出。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的多模态驾驶员违法行为监测方法及系统，多种违法行为同时检测且结合AI技术，这里AI技术体现在以下两个方面，第一，人脸识别方法中引入center损失函数，增强深度学习特征的判别力，提高了最终模型的最佳准确性。第二，集成算法模型采用DFL-CNN细粒度分类模型，是一种细粒度分类模型，能够有效的识别上述违法行为的细节部分，时间证明这技术检测的准确率高，适合在现有的驾驶人违法行为监测装置上使用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明优选实施例提供的驾驶员违法行为监测方法工作流程示意图。
图2为本发明优选实施例提供的驾驶员违法行为监测系统结构示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明实施例提供了一种驾驶人违法行为监测方法，包括如下步骤：
步骤S1，获取车辆图像，构造多种违法行为标签，其中，违法行为包括：驾驶位是否有人、驾驶人是否抽烟、驾驶人是否打电话、驾驶人是否系安全带4种，将4种违法行为作为4种标签，通过多标签集成训练方式，以此建立集成算法模型，其中集成算法模型为DFL-CNN(参考Wang Y,Morariu V I,Davis L S.Learning a discriminative filter bankwithin a cnn for fine-grained recognition[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2018:4148-4157.)，是一种细粒度分类模型，能够有效的识别上述4种违法行为的细节部分；
步骤S2，获取车辆图像，标定车辆的前置车窗位置和车牌位置。利用前置车窗位置和车牌位置训练目标检测模型，建立车辆属性检测算法模型；
步骤S3，在实际应用过程中，获取往来车辆图像，进行如下处理：
将图像输入至步骤S1中建立的集成算法模型，得到四种对应的违法行为结果，判断其是否满足其中一项或几项，若满足，则判断该驾驶员处于违法驾驶状态；
将图像输入至步骤S2中建立的车辆属性检测模型，得到其前置车窗位置和车牌位置信息；
步骤S4，采用人脸识别算法：首先，对步骤S3中获得的前置车窗位置进行人脸检测，得到人脸区域信息；其次，通过人脸比对技术，将获得的人脸区域信息与已有的人脸库进行相似度计算，根据设定的阈值，返回相似度最高的匹配信息，进而获得驾驶员的身份证号码信息，并判断该身份证号码对应的驾驶证信息是否存在异常；其中，驾驶证信息通过在机动车信息资源库中查找与身份证号码对应的驾驶证信息得到；
步骤S5，采用车牌识别方法，识别S3中得到的车牌位置中的车牌字符，获得车牌号码信息，并判断该车牌号码信息对应的车辆是否存在违法行为；其中，所述车辆违法行为信息通过在机动车信息资源库中查找与车牌号码对应的车辆信息得到；
步骤S6，综合多模态信息，这些多模态信息包含：S3中的驾驶员违法驾驶状态信息、S4中的驾驶证异常信息(是否尚处在由于违法驾驶被吊销资格状态)、S5中车辆违法行为信息(是否短时间内有过违法行为)，监测驾驶员及车辆是否存在违法驾驶状态，若满足违法模态其中一项以上，则判断其存在违法行为。
进一步地，所述步骤S2中，检测车辆图片中车牌位置及车窗位置的方法，具体为：采用yoloV3目标检测模型，将往来车辆图片输入到yoloV3目标检测模型中，并将输出结果进行结构化分析，得到每个输入具体的前置车窗位置和车牌位置。
进一步地，所述步骤S4中，人脸识别方法引入损失函数作为监督信号进行人脸识别。其中，center损失函数LC为：
Figure BDA0002427232890000071
式中，xi是输入图像，yi是输入图像对应的类别，cyi表示一个类中心特征。但在实际中，每次迭代复杂度太高，故上述损失函数LC不能直接利用，因此修改center损失函数LC如下所示：
Figure BDA0002427232890000072
Figure BDA0002427232890000073
其中，Δcj为Lc关于
Figure BDA0002427232890000074
的梯度，cj为第j个类中心，j取1,2,...n，
Figure BDA0002427232890000075
得到总体损失函数L如下：
Figure BDA0002427232890000076
式中，Ls是Softmax交叉熵损失函数，标量λ用于平衡两种损失函数；m为最小批次尺寸batch，
Figure BDA0002427232890000077
为全连接层的参数矩阵，T为转置的数学符号，/>
Figure BDA0002427232890000078
为偏置项，n为类的种类数，
Figure BDA0002427232890000079
为/>
Figure BDA00024272328900000710
的第j列，bj为/>
Figure BDA00024272328900000711
的第j列。
进一步地，所述步骤S4中，设定的阈值可以为：0.75。
进一步地，所述步骤S5中，车牌识别方法，包括：
S51，获取车辆图像的训练样本；
S52，对S51中获取的样本进行数据增强处理，形成训练样本数据集；
S53，将S52中得到的样本数据进行预处理，并送至LPRNet网络，训练车牌识别模型；
S54，在应用过程中，把获取的车牌送至训练好的LPRNet模型，将识别得到的多个号码序列依次与车辆牌照标准规则相匹配，返回匹配成功的第一个号码序列。从而完成对车辆位置进行车牌识别的过程，得到对应的车牌字符。
进一步地，采用Beam搜索算法对车牌进行后过滤识别，得到N个最可能的号码序列；其中，后过滤识别通过Beam搜索算法搜索获得最有可能的前N个车牌，之后从第一个开始，分别判断是否符合预定义模板集合中的规则，最后取第一个符合的号码序列。
当然，对车牌进行识别的方法，不限于Beam搜索算法，也可以采用其他方法，例如还可以使用贪心搜索算法，但是贪心搜索算法只能搜索出最优情况，而Beam搜索算法则可以得到前N种最优情况，用来之后的筛选。
进一步地，所述步骤S5中，车辆信息包括：车辆所属的类型、核定载客数量以及使用性质。
下面结合附图，对本发明实施例所提供的技术方案进一步详细描述。
本发明实施例可以从交通卡口摄像头中获得往来车辆图片，利用图像处理的技术来检测并分类这些图片。其中，所述的检测信息包括:车牌位置，车窗位置，车辆引擎盖位置，车顶行李架位置，车辆后视镜等；分类信息包括:卡车，轿车，摩托车，三轮车等。而检测信息中车牌位置和车窗位置最为重要，它们对车辆的身份信息识别和车辆是否具有违法行为记录具有重要意义。
如图1所示，本发明实施例所提供的驾驶人违法行为监测方法，具体包括：
一、车窗位置的违法行为检测
对于通过车窗位置信息的违法行为检测，本发明实施例采用：结合多标签集成算法和人脸识别技术来判断驾驶人车辆是否具有违法行为。
1、人脸识别技术
(1)通过人脸识别技术，从获得的车窗位置信息检测出人脸区域，得到有效的人脸区域信息。其中引入center loss作为监督信号，用于识别人脸，得到的准确率更高。
其参数更新和损失函数如下：
Figure BDA0002427232890000081
式中xi是输入图像，yi是输入图像对应的类别，cyi表示一个类中心特征。但在实际中，每次迭代复杂度太高，故上述损失函数不能直接利用，因此修改算法如下式：
Figure BDA0002427232890000091
Figure BDA0002427232890000092
其中，
Figure BDA0002427232890000093
而模型的总体损失函数如下：
Figure BDA0002427232890000094
式中，Ls是Softmax交叉熵损失函数，Lc是center损失函数，标量λ用于平衡两种损失函数。
(2)通过人脸比对技术，将有效的人脸区域信息和人脸库进行相似度计算，设定阈值(例如：设定为0.75)，返回相似度最高的记录，找到对应的身份证号码，并输出身份证号码；
(3)在所述机动车信息资源库中查找确认车辆的最低准驾驾驶证，判断驾驶员所持驾驶证是否相符，若不相符，则视为违法。
2、通过多标签集成训练的方式去识别违法行为，其中违法行为包括：驾驶位是否有人、是否抽烟、是否打电话、是否系安全带，将此4种违法行为作为多标签的方式输入到集成模型中，这里集成模型是指DFC-CNN细粒度集成分类算法。然后对上述模型结果进行分析，若具有以上4种违法行为，则将前面人脸识别获取的驾驶人信息和车辆信息作为预警信息推送给警务人员，辅助警务人员更加高效，更加准确的监测驾驶人违法行为。
二、车牌位置的违法行为检测
基于车牌识别方法定位车牌位置，获得车牌号码信息，然后登录机动车信息资源库，查询并输出车辆信息。这些车辆信息包括车辆所属的类型，核定载客数量，使用性质等。最后通过所获取的信息去判断是否具有违法行为，若有违法嫌疑，则把车辆号牌识别信息作为预警信息推给警务人员。
基于本发明实施例所提供的驾驶人违法行为监测方法，本发明实施例同时提供了一种驾驶人违法行为监测系统，用于执行上述方法。如图2所示，所述驾驶人违法行为监测系统，包括：
集成违法行为检测模块，通过集成算法模型，检测驾驶员的多种违法行为结果，若驾驶员满足一种或一种以上，则判断驾驶员处于违法驾驶状态；
目标检测模块，通过车辆属性检测算法模型检测车辆的前置车窗和车牌，得到前置车窗和车牌的位置(坐标)；
驾驶员身份异常检测模块，根据前置车窗位置裁剪输入图像得到车窗图像，对车窗图像进行人脸检测，判断车窗位置是否含有人脸，若存在人脸，进行人脸比对，即将检测的人脸与已有的人脸库进行相似度计算，设定阈值，得到驾驶员的身份证号码信息，并判断该身份证号码信息所对应的驾驶证信息是否存在异常；
驾驶车辆异常检测模块，根据得到的车牌位置，将其送入车牌识别模型，得到对应的车牌号码信息。通过车牌号码信息，通过机动车信息资源库查找匹配的车辆信息，判断该车牌号码信息对应的车辆是否存在违法行为。
进一步地，所述集成算法模型，通过以下方式建立：获取车辆图像，构造多种违法行为标签，利用多种违法行为标签进行多标签集成训练，建立集成算法模型；其中，建立的集成算法模型为DFL-CNN细粒度分类模型。
进一步地，违法行为标签包括：驾驶位是否有人，驾驶人是否抽烟，驾驶人是否打电话，驾驶人是否系安全带，将此4种违法行为作为4种标签，以此建立集成算法模型，这里集成算法模型是DFL-CNN，是一种细粒度分类模型，能够有效的识别上述4种违法行为的细节部分。
进一步地，所述车牌识别模型，采用LPRNet车牌识别网络对车牌进行识别，得到多个号码序列，并将得到的号码序列依次与预定义模板集合中的规则相匹配，返回匹配成功的第一个序列，即为车牌号码信息。
进一步地，所述系统还包括：
整合输出模块：综合集成违法行为检测模块、驾驶员身份是否异常检测模块、驾驶车辆是否异常检测模块得到的检测结果，形成多模态驾驶员及车辆违法行为并输出。
本发明上述实施例所提供的驾驶人违法行为监测方法及系统，采用多标签集成训练的方式识别违法行为，克服了单一违法检测法的缺点，提高了驾驶人违法行为的监测效率；同时，采用人脸识别和集成算法的AI技术，这里AI技术体现在以下两个方面，第一，人脸识别方法：在人脸识别过程中引入center损失函数，增强深度学习特征的判别力，提高了最终模型的最佳准确性。第二，建立集成算法模型：集成算法采用DFL-CNN细粒度分类模型，是一种细粒度分类模型，能够有效的识别上述违法行为的细节部分，实践证明这使得监测驾驶人违法行为更加智能化，提高了监测的准确度。本发明上述实施例将多种违法行为同时检测且结合前述的AI技术，检测的准确率高，适合在现有的驾驶人违法行为监测装置上使用。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种多模态驾驶员及车辆违法行为监测方法，其特征在于，包括：
S1，获取车辆图像，构造多种违法行为标签，利用多种违法行为标签进行多标签集成训练，建立集成算法模型；
S2，获取车辆图像，标定车辆的前置车窗位置和车牌位置，利用前置车窗位置和车牌位置训练目标检测模型，建立车辆属性检测算法模型；
S3，获取往来车辆图像，进行如下处理：
将图像输入至S1中建立的集成算法模型，得到对应的违法行为结果，判断该驾驶员是否处于违法驾驶状态；
将图像输入至S2中建立的车辆属性检测算法模型，得到其前置车窗位置和车牌位置信息；
S4，采用人脸识别算法，对S3中获得的前置车窗位置进行人脸检测，得到人脸区域信息；通过人脸比对技术，将获得的人脸区域信息与已有的人脸库进行相似度计算，根据设定的阈值，返回相似度最高的匹配信息，进而获得驾驶员的身份证号码信息，并判断该身份证号码信息对应的驾驶证信息是否存在异常；其中，所述人脸识别方法引入损失函数作为监督信号进行人脸识别；其中：
center损失函数为：
Figure FDA0004221590890000011
式中，xi为输入图像，yi为输入图像对应的类别，cyi表示一个类中心特征；
对center损失函数LC进行修改，得到：
Figure FDA0004221590890000012
Figure FDA0004221590890000013
其中，Δcj为Lc关于cyi的梯度，cj为第j个类中心，j取1,2,...n，
Figure FDA0004221590890000014
得到总体损失函数L为：
Figure FDA0004221590890000021
式中，Ls是Softmax交叉熵损失函数，标量λ用于平衡两种损失函数；m为最小批次尺寸批处理，
Figure FDA0004221590890000022
为全连接层的参数矩阵，T为转置的数学符号，/>
Figure FDA0004221590890000023
为偏置项，n为类的种类数，/>
Figure FDA0004221590890000024
为/>
Figure FDA0004221590890000025
的第j列，bj为/>
Figure FDA0004221590890000026
的第j列；
S5，采用车牌识别方法，识别S3中得到的车牌位置中的车牌字符，获得车牌号码信息，并判断该车牌号码信息对应的车辆是否存在违法行为；
S6，综合S3中得到的驾驶员违法驾驶状态信息、S4中得到的驾驶证异常信息、S5中得到的车辆违法行为信息，形成多模态信息，通过多模态信息监测所获取的往来车辆图像中驾驶员及车辆是否存在违法行为。
2.根据权利要求1所述的多模态驾驶员及车辆违法行为监测方法，其特征在于，所述S1中，违法行为标签包括：驾驶位是否有人、驾驶员是否打电话、驾驶员是否系安全带以及驾驶员是否吸烟。
3.根据权利要求1所述的多模态驾驶员及车辆违法行为监测方法，其特征在于，所述S1中，建立的集成算法模型为DFL-CNN细粒度分类模型。
4.根据权利要求1所述的多模态驾驶员及车辆违法行为监测方法，其特征在于，所述S2中，采用yoloV3作为目标检测模型。
5.根据权利要求1所述的多模态驾驶员及车辆违法行为监测方法，其特征在于，所述S5中，车牌识别方法，包括：
S51，获取车辆图像的训练样本；
S52，对S51中获取的样本进行数据增强处理，形成训练样本数据集；
S53，将S52中得到的样本数据进行预处理，并送至LPRNet网络，训练车牌识别模型；
S54，在应用过程中，把获取的车牌送至训练好的LPRNet模型，将识别得到的多个号码序列依次与车辆牌照标准规则相匹配，返回匹配成功的第一个号码序列；从而完成对车辆位置进行车牌识别的过程，得到对应的车牌字符。
6.根据权利要求5所述的多模态驾驶员及车辆违法行为监测方法，其特征在于，所述S54中，采用Beam搜索算法对车牌进行后过滤识别，得到多个最可能的号码序列。
7.一种用于执行权利要求1-6中任一项所述的多模态驾驶员及车辆违法行为监测方法的多模态驾驶员及车辆违法行为监测系统，其特征在于，包括：
集成违法行为检测模块，通过集成算法模型，检测驾驶员的多种违法行为结果，判断驾驶员是否处于违法驾驶状态；
目标检测模块，通过车辆属性检测算法模型检测车辆的前置车窗和车牌，得到前置车窗和车牌的位置；
驾驶员身份异常检测模块，根据目标检测模块得到的前置车窗位置进行人脸检测，通过人脸比对，即将检测的人脸区域信息与已有的人脸库进行相似度计算，进而得到驾驶员的身份证号码信息，并判断该身份证号码信息所对应的驾驶证信息是否存在异常；
驾驶车辆异常检测模块，根据目标检测模块得到的车牌位置，利用车牌识别模型，得到对应的车牌号码信息，并判断该车牌号码信息对应的车辆是否存在违法行为。
8.根据权利要求7所述的多模态驾驶员及车辆违法行为监测系统，其特征在于，所述系统还包括如下任意一项或任意多项：
-所述集成算法模型，通过以下方式建立：获取车辆图像，构造多种违法行为标签，利用多种违法行为标签进行多标签集成训练，建立集成算法模型；其中，建立的集成算法模型为DFL-CNN细粒度分类模型；
-所述车牌识别模型，采用LPRNet车牌识别网络对车牌进行识别，得到多个号码序列，并将得到的号码序列依次与车辆牌照标准规则相匹配，返回匹配成功的第一个序列，即为车牌号码信息。
9.根据权利要求7或8所述的多模态驾驶员及车辆违法行为监测系统，其特征在于，所述系统还包括：
整合输出模块：综合集成违法行为检测模块、驾驶员身份异常检测模块和驾驶车辆异常检测模块得到的检测结果，形成多模态驾驶员及车辆违法行为并输出。
CN202010224629.XA 2020-03-26 2020-03-26 一种多模态驾驶员及车辆违法行为监测方法及系统 Active CN111444843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010224629.XA CN111444843B (zh) 2020-03-26 2020-03-26 一种多模态驾驶员及车辆违法行为监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010224629.XA CN111444843B (zh) 2020-03-26 2020-03-26 一种多模态驾驶员及车辆违法行为监测方法及系统

Publications (2)

Publication Number Publication Date
CN111444843A CN111444843A (zh) 2020-07-24
CN111444843B true CN111444843B (zh) 2023-06-30

Family

ID=71648088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010224629.XA Active CN111444843B (zh) 2020-03-26 2020-03-26 一种多模态驾驶员及车辆违法行为监测方法及系统

Country Status (1)

Country Link
CN (1) CN111444843B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232273A (zh) * 2020-11-02 2021-01-15 上海翰声信息技术有限公司 一种基于机器学习识别图像的预警方法及系统
CN113326831B (zh) * 2021-08-04 2021-11-02 浙江力嘉电子科技有限公司 交通违法数据的筛选方法及装置、电子设备、存储介质
CN114333329B (zh) * 2022-01-26 2023-09-29 杭州海康威视数字技术股份有限公司 停车检测方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警系统
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN110321804A (zh) * 2019-06-11 2019-10-11 福建亿安智能技术有限公司 一种基于人脸和电动车牌识别结合进行身份认证的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148092A1 (en) * 2010-12-09 2012-06-14 Gorilla Technology Inc. Automatic traffic violation detection system and method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警系统
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN110321804A (zh) * 2019-06-11 2019-10-11 福建亿安智能技术有限公司 一种基于人脸和电动车牌识别结合进行身份认证的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向多维稀疏时空数据的可视化研究;赵凡;蒋同海;周喜;马博;程力;;中国科学技术大学学报(第07期);全文 *

Also Published As

Publication number Publication date
CN111444843A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111444843B (zh) 一种多模态驾驶员及车辆违法行为监测方法及系统
US6442474B1 (en) Vision-based method and apparatus for monitoring vehicular traffic events
Rashid et al. Automatic parking management system and parking fee collection based on number plate recognition
CN105488453B (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
US20230073717A1 (en) Systems And Methods For Electronic Surveillance
CN111369801B (zh) 车辆识别方法、装置、设备和存储介质
CN111444840A (zh) 一种套牌车辆自动检测方法及系统
CN110620760A (zh) 一种SVM和贝叶斯网络的FlexRay总线融合入侵检测方法和检测装置
CN114724122B (zh) 一种目标追踪方法、装置、电子设备及存储介质
Kiew et al. Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN111461124A (zh) 基于大数据的遮挡车牌识别方法、设备及存储介质
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
CN114973211A (zh) 对象识别方法、装置、设备及存储介质
CN115019263A (zh) 交通监管模型的建立方法、交通监管系统及方法
KR102435435B1 (ko) 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법
JP2003058980A (ja) 車両ナンバープレート認識システム及び車両ナンバープレート認識方法
CN114140025A (zh) 面向多模态数据的车险欺诈行为预测系统、方法和装置
CN112580736A (zh) 一种基于svm算法的醉酒驾驶车辆识别方法
Wu et al. Research and Implementation of Road Traffic Sign IdentiFIcation System.
CN111711661A (zh) 车辆智能监测方法及其系统
Umar et al. Traffic violation detection system using image processing
Tan et al. Intelligent car-searching system for large park
Roohullah et al. Accident detection in autonomous vehicles using modified restricted Boltzmann machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant