CN113158852B - 一种基于人脸与非机动车协同识别的交通卡口监控系统 - Google Patents

一种基于人脸与非机动车协同识别的交通卡口监控系统 Download PDF

Info

Publication number
CN113158852B
CN113158852B CN202110375857.1A CN202110375857A CN113158852B CN 113158852 B CN113158852 B CN 113158852B CN 202110375857 A CN202110375857 A CN 202110375857A CN 113158852 B CN113158852 B CN 113158852B
Authority
CN
China
Prior art keywords
face
motor vehicle
module
candidate list
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110375857.1A
Other languages
English (en)
Other versions
CN113158852A (zh
Inventor
孔祥杰
夏锋
王开来
侯明良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110375857.1A priority Critical patent/CN113158852B/zh
Publication of CN113158852A publication Critical patent/CN113158852A/zh
Application granted granted Critical
Publication of CN113158852B publication Critical patent/CN113158852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于人脸与非机动车协同识别的交通卡口监控系统,包括:图片采集模块,交通卡口监控摄像头采集违规人员正面和背面的图片,并传输到服务器;人脸识别模块,对正面图片进行人脸识别,生成一个候选人列表名单;非机动车识别模块,对背面图片进行非机动车车牌识别,得到一个车主的信息条目;协同识别模块,结合候选人列表名单和车主信息条目协同识别分析,得到最终名单并展示;人工审核模块,人工审核最终名单,确认违规人员身份信息。图片采集模块与交通卡口监控摄像头对接,人脸识别模块与人脸库数据连接,非机动车识别模块与非机动车信息库连接。本发明能对非机动车驾驶人,通过实时传输得到的抓拍图片,获得违规人员的信息,提高辨认效率。

Description

一种基于人脸与非机动车协同识别的交通卡口监控系统
技术领域
本发明涉及智能交通卡口监控系统领域,尤其涉及一种基于人脸与非机动车协同识别的交通卡口监控系统
背景技术
现如今,城乡交通基础设施不断完善,大多数市民也偏向于购买非机动用于出行。但同时交通事故中,非机动车参与的比例也越来越高,据相关部门统计,半数以上的交通事故由非机动车造成,包括闯红灯、占用机动车道、随意变道等。为了减少事故的发生次数,许多城乡也给非机动车挂上车牌,方便管理,但完全靠人工识别非机动车车牌也是困难的。
现在城市更加信息化和智能化,而深度学习在目标检测识别领域的应用也越发成熟。所以针对上述问题,使用人脸与非机动车车牌的协同识别,在交通卡口的监控上,识别违规行人的身份信息,对城市交通起到更好的管理和监督作用。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于人脸与非机动车协同识别的交通卡口系统,该系统包括:
图片采集模块,连接交通卡口监控摄像装置,并从中采集违规非机动车驾驶的正面和背面图片,传输到服务器中识别模块,将正面图片输出到人脸识别模块,将背面图片输出到非机动车识别模块;
人脸识别模块,接收图片采集模块的正面图片,进行人脸检测,得到人脸特征编码,并与人脸库中的人脸编码进行匹配对比计算相似度生成一个候选列表名单,之后将候选人列表名单输出到协同识别模块;
非机动车识别模块,接收图片采集模块的背面图片,进行非机动车车牌识别并检测车牌号得到对应登记的车主的信息条目,之后将车主信息条目输出到协同识别模块;
协同识别模块,协调控制人脸识别模块和非机动识别模块,接收候选列表名单和车主信息条目进行协同识别分析,得到最终名单并输出到人工审核模块;
审核模块,接收协同识别模块的最终名单,进行选择性的人工审核,确认违规人员身份信息,输出给应用程序。
所述的人脸识别模块具体包括:
2.1)人脸检测,将正面图片转化成RGB矩阵,使用CNN模型检测得到人脸位置,表示形式为location=(top,right,bottom,left),即为一个矩形方框;
2.2)人脸编码,根据人脸位置分析人脸特征,使用ResNet网络模型,得到一个128维特征向量的人脸特征编码;
2.3)编码匹配,人脸编码与人脸库中所有预先处理过的编码进行匹配,匹配计算使用的是欧氏距离,计算欧式距离的公式:
其中dij表示特征向量和/>间欧式距离,向量表示形式为/>
根据欧氏距离,计算相似度公式为函数公式:
其中sim(dij)表示根据欧式距离dij得到的一个相似度,结果为一个百分数形式;
2.4)生成一个相似度降序的候选人名单。
所述的非机动车识别模块具体包括:
3.1)车牌定位:利用Faster R-CNN截取出非机动车牌;
3.2)字符分割:对非机动车车牌进行倾斜校正后,使用二值化处理的方法对车牌中的字符进行分割;
3.3)字符识别:使用BP神经网络识别分割后的字符。
所述的步骤4)协同识别模块生成的最终名单包括以下三种可能结果:第一种,既有候选人名单,也有车主信息条目,且车主信息条目在候选人名单中,则最终名单为车主信息条目;第二种,既有候选人名单,也有车主信息条目,但车主信息条目不在候选人名单中,则最终名单为候选人名单加上车主信息条目;第三种,有候选人名单,但无车主信息条目,则最终名单为候选人名单。
本发明的有益效果是:
本发明一种基于人脸与非机动车协同识别的交通卡口监控系统,主要针对违规的行人和非机动车驾驶人,通过实时传输得到的抓拍图片,通过分析、识别、匹配和人工确认得到违规人员的信息,若人工确认完毕后,可以立刻根据违规人员的信息,生成罚单、短信给予警告等,有利于交通的管理和监督,大量节省了人力物力,提高交通巡逻的效率,构建一个和谐的、遵纪守法的城市。
附图说明
图1是本发明的整体结构示意图;
图2是本发明的人脸识别模块的识别流程图;
图3是本发明的人工审核模块的结果展示图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图和具体实施例对本发明做进一步的详细描述。
如图1所示的一种基于基于人脸与非机动车协同识别的交通卡口监控系统,其中包括:
1)图片采集模块,连接交通卡口监控摄像装置,并从中采集违规非机动车驾驶的正面和背面图片,传输到服务器中识别模块,将正面图片输出到人脸识别模块,将背面图片输出到非机动车识别模块;
2)人脸识别模块,接收图片采集模块的正面图片,进行人脸检测,得到人脸特征编码,并与人脸库中的人脸编码进行匹配对比计算相似度生成一个候选列表名单,之后将候选人列表名单输出到协同识别模块;
3)非机动车识别模块,接收图片采集模块的背面图片,进行非机动车车牌识别并检测车牌号得到对应登记的车主的信息条目,之后将车主信息条目输出到协同识别模块;
4)协同识别模块,协调控制人脸识别模块和非机动识别模块,接收候选列表名单和车主信息条目进行协同识别分析,得到最终名单并输出到人工审核模块;
5)人工审核模块,接收协同识别模块的最终名单,进行选择性的人工审核,确认违规人员身份信息,输出给应用程序。
其中图片采集模块与交通卡口监控摄像头对接,人脸识别模块与人脸库数据连接,非机动车识别模块与非机动车信息库连接。
图2示出步骤2)人脸识别模块内的具体识别流程,包括以下步骤:
2.1)人脸检测,取出正面图片(未处理图片),转化成RGB矩阵,其维度分布代表高、宽度和像素的RGB值,使用CNN模型检测得到人脸位置,表示形式为location=(top,right,bottom,left),即为一个矩形方框;
2.2)人脸编码,根据人脸位置分析人脸特征,比如眼睛、鼻子等位置,使用ResNet网络模型,得到一个128维特征向量的人脸编码;
2.3)编码匹配,将人脸编码与人脸库中所有预先处理过的编码进行匹配,匹配计算使用的是欧氏距离,计算欧式距离的公式:
其中dij表示特征向量和/>间欧式距离,向量表示形式为/>
根据欧氏距离,计算相似度公式为函数公式:
其中sim(dij)表示根据欧式距离dij得到的一个相似度,结果作为一个百分数形式;
2.4)最后得到一个根据相似度降序的候选人名单,其具体表示形式为字典, key为候选人唯一标识id(如身份证号),value为对应计算得到的相似度。
步骤3)非机动车识别模块内的具体识别流程,包括以下步骤:
3.1)车牌定位:利用Faster R-CNN截取出非机动车牌;
3.2)字符分割:对非机动车车牌进行倾斜校正后,使用二值化处理的方法对车牌中的字符进行分割;
3.3)字符识别:使用BP神经网络识别分割后的字符。
步骤4)协同识别模块生成的最终名单包括以下三种可能结果:既有候选人名单,也有车主信息条目,且车主信息条目在候选人名单中,则最终名单为车主信息条目;既有候选人名单,也有车主信息条目,但车主信息条目不在候选人名单中,则最终名单为候选人名单加上撑住信息条目;有候选人名单,但无车主信息条目,则最终名单为候选人名单。
图3示出步骤5)人工审核模块的具体结果展示界面:将原始抓拍图、检测到的人脸抠图、最终名单中人脸和信息和非机动车识别记过展示出来;人脸抠图将加载到区域1;原始抓拍的正面图和背面图将加载到区域2和3,同时显示识别出来的非机动车车牌、抓拍时间和卡口位置,截取的非机动车车牌图片加载到区域4;最终名单将加载到候选身份中,区域5、6、7、8为候选人照片,并对应着其相似度、身份信息和手机号等;确认键、无法确认键和稍后处理键,人工从最终名单中选择一个确认作为正确识别,若由于抓拍图片清晰度不够等原因,无法识别,可选择无法确认或者稍后处理。
本发明的有益效果是一种基于人脸与非机动车协同识别的交通卡口监控系统,主要针对违规的行人和非机动车驾驶人,通过实时传输得到的抓拍图片,通过分析、识别、匹配和人工确认得到违规人员的信息,若人工确认完毕后,可以立刻根据违规人员的信息,生成罚单、短信给予警告等,有利于交通的管理和监督,大量节省了人力物力,提高交通巡逻的效率,构建一个和谐的、遵纪守法的城市。
以上的所述为本发明的具体实施例及运用的技术原理,但并不限于上述实施方式,在所述技术领域的知识范围内,若依本发明的构想所作的改变,其所产生的功能作用仍为超出说明书及附图所涵盖的精神时,仍属于本发明的保护范围。

Claims (3)

1.一种基于人脸与非机动车协同识别的交通卡口监控系统,其特征在于:包括:
图片采集模块,连接交通卡口监控摄像装置,并从中采集违规非机动车驾驶的正面和背面图片,传输到服务器中识别模块,将正面图片输出到人脸识别模块,将背面图片输出到非机动车识别模块;
人脸识别模块,接收图片采集模块的正面图片,进行人脸检测,得到人脸特征编码,并与人脸库中的人脸编码进行匹配对比计算相似度生成一个候选列表名单,之后将候选人列表名单输出到协同识别模块;所述人脸识别模块包括:
2.1)人脸检测,将正面图片转化成RGB矩阵,使用CNN模型检测得到人脸位置,表示形式为location=(top,right,bottom,left),即为一个矩形方框;
2.2)人脸编码,根据人脸位置分析人脸特征,使用ResNet网络模型,得到一个128维特征向量的人脸特征编码;
2.3)编码匹配,人脸编码与人脸库中所有预先处理过的编码进行匹配,匹配计算使用的是欧氏距离,计算欧式距离的公式:
其中dij表示特征向量和/>间欧式距离,向量表示形式为/>
根据欧氏距离,计算相似度公式为函数公式:
其中sim(dij)表示根据欧式距离dij得到的一个相似度,结果为一个百分数形式;
2.4)生成一个相似度降序排序的候选人名单;
非机动车识别模块,接收图片采集模块的背面图片,进行非机动车车牌识别并检测车牌号得到对应登记的车主的信息条目,之后将车主信息条目输出到协同识别模块;
协同识别模块,协调控制人脸识别模块和非机动识别模块,接收候选列表名单和车主信息条目进行协同识别分析,得到最终名单并输出到人工审核模块;
人工审核模块,接收协同识别模块的最终名单,进行选择性的人工审核,确认违规人员身份信息,输出给应用程序;
其中图片采集模块与交通卡口监控摄像头对接,人脸识别模块与人脸库数据连接,非机动车识别模块与非机动车信息库连接。
2.根据权利要求1所述的一种基于人脸与非机动车协同识别的交通卡口监控系统,其特征在于:所述非机动车识别模块包括:
3.1)车牌定位:利用Faster R-CNN截取出非机动车牌;
3.2)字符分割:对非机动车车牌进行倾斜校正后,使用二值化处理的方法对车牌中的字符进行分割;
3.3)字符识别:使用BP神经网络识别分割后的字符。
3.根据权利要求1所述的一种基于人脸与非机动车协同识别的交通卡口监控系统,其特征在于,所述协同识别模块生成的最终名单包括以下三种可能结果:既有候选人名单,也有车主信息条目,且车主信息条目在候选人名单中,则最终名单为车主信息条目;既有候选人名单,也有车主信息条目,但车主信息条目不在候选人名单中,则最终名单为候选人名单加上车主信息条目;有候选人名单,但无车主信息条目,则最终名单为候选人名单。
CN202110375857.1A 2021-04-08 2021-04-08 一种基于人脸与非机动车协同识别的交通卡口监控系统 Active CN113158852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110375857.1A CN113158852B (zh) 2021-04-08 2021-04-08 一种基于人脸与非机动车协同识别的交通卡口监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110375857.1A CN113158852B (zh) 2021-04-08 2021-04-08 一种基于人脸与非机动车协同识别的交通卡口监控系统

Publications (2)

Publication Number Publication Date
CN113158852A CN113158852A (zh) 2021-07-23
CN113158852B true CN113158852B (zh) 2024-03-29

Family

ID=76889026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110375857.1A Active CN113158852B (zh) 2021-04-08 2021-04-08 一种基于人脸与非机动车协同识别的交通卡口监控系统

Country Status (1)

Country Link
CN (1) CN113158852B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756849B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 노상 무인정산 주차관제 시스템
WO2020093303A1 (zh) * 2018-11-08 2020-05-14 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN112418119A (zh) * 2020-11-27 2021-02-26 马鞍山昌亚智能科技有限公司 基于图像识别的非机动车违停监控系统及方法
CN112560711A (zh) * 2020-12-18 2021-03-26 深圳赛安特技术服务有限公司 非机动车交通违法判定方法、系统、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756849B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 노상 무인정산 주차관제 시스템
WO2020093303A1 (zh) * 2018-11-08 2020-05-14 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN112418119A (zh) * 2020-11-27 2021-02-26 马鞍山昌亚智能科技有限公司 基于图像识别的非机动车违停监控系统及方法
CN112560711A (zh) * 2020-12-18 2021-03-26 深圳赛安特技术服务有限公司 非机动车交通违法判定方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN113158852A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112447041B (zh) 识别车辆的营运行为的方法、装置及计算设备
CN110348463B (zh) 用于识别车辆的方法和装置
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN114332776B (zh) 非机动车占用人行道检测方法、系统、设备及存储介质
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
Tung et al. Large-scale object detection of images from network cameras in variable ambient lighting conditions
CN112712707A (zh) 车辆碳排放监测系统及方法
CN110852236A (zh) 目标事件的确定方法及装置、存储介质、电子装置
CN113971821A (zh) 驾驶员信息确定方法、装置、终端设备及存储介质
CN114817991A (zh) 一种车联网图像脱敏方法和系统
CN116229396B (zh) 高速路面病害识别及告警方法
CN113673527A (zh) 一种车牌识别方法及系统
CN113486885A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN113158852B (zh) 一种基于人脸与非机动车协同识别的交通卡口监控系统
CN115512315B (zh) 一种非机动车儿童搭乘检测方法、电子设备及存储介质
Tripathi et al. Automatic Number Plate Recognition System (ANPR): The Implementation
CN110428032A (zh) 基于光学识别技术实现rfid自动定向识别系统及方法
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN113378845A (zh) 一种场景分割方法、装置、设备及存储介质
Rahmani et al. IR-LPR: A Large Scale Iranian License Plate Recognition Dataset
Garg et al. License Number Plate Recognition (LNPR)
CN111275006A (zh) 信息交互方法、装置、系统、移动设备与电子设备
Gupta et al. A review paper on automatic number plate recognition system
KR102650518B1 (ko) 차량번호를 이용한 입주자 확인 서비스 제공 시스템
Tippannavar et al. License Plate Recognition for Indian Vehicles based on Image Processing using OpenCV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant