CN113158853A - 一种结合人脸与人体姿态的闯红灯行人识别系统 - Google Patents
一种结合人脸与人体姿态的闯红灯行人识别系统 Download PDFInfo
- Publication number
- CN113158853A CN113158853A CN202110375865.6A CN202110375865A CN113158853A CN 113158853 A CN113158853 A CN 113158853A CN 202110375865 A CN202110375865 A CN 202110375865A CN 113158853 A CN113158853 A CN 113158853A
- Authority
- CN
- China
- Prior art keywords
- face
- module
- human body
- red light
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract 2
- 238000012216 screening Methods 0.000 claims description 15
- 208000009144 Pure autonomic failure Diseases 0.000 claims description 8
- 239000013312 porous aromatic framework Substances 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 abstract description 12
- 238000013135 deep learning Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本系统发明了一种结合人脸与人体姿态的闯红灯行人识别方法。根据抓拍中的闯红灯照片，使用深度学习卷积神经网络(CNN)实现人脸的检测，能够快速定位找到人脸位置，再从进行编码，与人脸库进行相似度匹配。而该方法与一般的基于人脸识别的闯红灯方法不同的地方在于，针对一些脸部无法检测到的行人，比如戴口罩、头盔等，使用了一种人体姿态识别的方法，对人体的躯干、手部、脚部的关键点进行识别，从而进行人体行为识别，确定违规行人。通过两种方式对闯红灯行人进行识别，并会对结果做统计，在确认身份信息上，提高识别效率的同时还保证了准确性，在监督行人遵纪守法方面有重要的应用意义。
Description
技术领域
本发明属于图像识别领域，尤其涉及一种结合人脸与人体姿态的闯红灯行 人识别系统。
背景技术
随着现在技术的发展，图像识别领域的引用也越发成熟。针对交通违法行 为普遍及违规人数众多不易管理等问题，使用人脸和人体姿态识别，检测识别 闯红灯的违规行人，不仅起到警示作用，还能节约成本，让交通管理更加便捷 高效。
发明内容
为了解决上述问题，本发明提供了一种结合人脸与人体姿态的闯红灯行人 识别系统，该系统包括：
图片筛选模块，输入数据库中的抓拍数据，依据指定的筛选条件，选取需 要处理的原图输出到后续识别模块中；
人脸识别模块，收图片筛选模块的原图输出，进行人脸的检测和识别，将 检测到的人脸转化为编码特征与人脸特征库进行匹配对比得出识别结果和可信 度，之后输出检测人脸在图片中的位置、识别结果和可信度到图片标注模块；
人体姿态识别模块，接收图片筛选模块的原图输出，对人体关键点进行预 测并找到对应的肢体连接，之后输出肢体骨架位置到图片标注模块；
图片标注模块，接收人脸识别模块和人体姿态识别模块的位置信息，对原 图进行标注，可选择性进行可视化展示，并将原图信息和识别结果可信度传递 给统计模块；
统计模块，接收人脸识别结果和可信度，并根据原图信息进行统计，输出 给所述应用程序。
所述的图片筛选模块包括通过图片拍摄时间，判断是否已经处理过，对于 未处理的原图作为识别模块的输入。
所述的人脸识别模块包括以下步骤：
2.1)人脸检测，将原图数字化，使用卷积神经网络(CNN)模型，得到所 有人脸的矩形位置；
2.2)人脸库对比识别检测到的人脸，在编码后与人脸库中人脸编码匹配对 比，在特定阈值下识别判断是否为人脸库中的人。
所述的人体姿态识别模块包括：
3.1)神经网络预测，将原图转化为HxWx3(RGB3个通道)，首先使用10 层VGG19网络进行特征提取，再分成两个分支分别预测每个点的关键点置信度 图(Confidence Maps)和关键点对的亲和度(PAFs)的向量场；
3.2)找到关节，根据Confidence Maps，其最大值的位置坐标即对应人体某 个关键点(关节)的概率最高；
3.3)找到肢体连接，模型包含19个肢体，由3.2)得到的关节，用关节信息 和PAF获得肢体连接；
3.4)拼装肢体构成人，将有相同关节的肢体作为同一个人的肢体。
所述的统计模块包括根据原图对应的时间和拍摄的地理位置统计图中检测 识别的人数和能够确定的人的身份信息。
本发明的有益效果是：
本发明一种结合人脸与人体姿态的闯红灯行人识别系统，分为两个支线， 一方面能够根据传统需求，将闯红灯违规行人进行人脸识别，在人脸库足够的 情况下能够进行违规行人身份的识别；另一方面在特殊违规行人，例如口罩、 头盔等无法检测到人脸时，同时使用人体姿态识别，双向识别能够尽可能保证 识别结果的准确性，让交通的管理更加高效，省时省力，监督市民遵纪守法。
附图说明
图1是本发明的整体结构示意图。
图2是本发明的人脸识别模块流程图。
图3是本发明的人体姿态识别模块流程图。
具体实施方式
为了使本发明的目的、技术方案和有点更加清楚，下面结合附图和具体实 施对本发明做进一步的详细描述。
如图1所示的一种结合人脸与人体姿态的闯红灯行人识别系统，其中包括：
1)图片筛选模块，输入数据库中的抓拍数据，依据指定的筛选条件，选取需 要处理的原图输出到后续识别模块中；
2)人脸识别模块，接收图片筛选模块的原图输出，进行人脸的检测和识别， 将检测到的人脸转化为编码特征与人脸特征库进行匹配对比得出识别结果和可 信度，之后输出检测人脸在图片中的位置、识别结果和可信度到图片标注模块；
3)人体姿态识别模块，接收图片筛选模块的原图输出，对人体关键点进行预 测并找到对应的肢体连接，之后输出肢体骨架位置到图片标注模块；
4)图片标注模块，接收人脸识别模块和人体姿态识别模块的位置信息，对原 图进行标注，可选择性进行可视化展示，并将原图信息和识别结果可信度传递 给统计模块；
5)统计模块，接收人脸识别结果和可信度，并根据原图信息进行统计，输出 给所述应用程序。
所述的步骤1)图片筛选模块包括，数据集中图片ID，即图片名，包含图片 拍摄时间字段，系统将维护一个finished表，里面包含了所有已处理过的拍摄时 间，通过图片拍摄时间，判断是否已经处理过，对于未处理的原图作为识别模 块的输入。
图2示出步骤2)人脸识别模块内的具体流程，其中人脸库需要与人脸识别 模块连接，包括以下步骤：
2.1)人脸检测，根据原图的像素大小进行读取，将图片数字化，转换成一 个三维数组，维度含义分别代表高度、宽度和像素点的RGB的三个值，将使用 卷积神经网络(CNN)模型，得到所有人脸的矩形位置，每个矩形位置作为一 个元组组合成一个数组；
2.2)人脸库对比识别，人脸库中放入特定需要识别的人脸以及其编码，检 测到的人脸，同样进行编码后会与人脸库中人脸编码匹配对比，使用欧式距离 计算，阈值设定为0.6，在该特定阈值下识别判断是否为人脸库中的人。
图3示出步骤3)人体姿态识别模块内具体流程，包括以下步骤：
3.1)神经网络预测，将原图转化为HxWx3(RGB3个通道)，作为网络的 输入，首先使用10层VGG19网络进行特征提取，再分成两个分支分别预测每 个点的关键点置信度图(Confidence Maps)和关键点对的亲和度(PAFs)的向 量场；
3.2)找到关节，根据Confidence Maps，其最大值的位置坐标即对应人体某 个关键点的概率最高；
3.3)找到肢体连接，模型包含19个肢体，由3.2)得到的关节，用关节信息 和PAF获得肢体连接，根据每一个肢体的两个关节和该对关节的PAF，将PAF 信息进行积分，结果作为该肢体的置信度，最后根据置信度排序确定关节之间 是否有连接，从而得到所有的连接信息，每一个连接即为一个肢体；
3.4)拼装肢体构成人，将有相同关节的肢体作为同一个人的肢体。
所述的步骤4)图片标注模块，可以选择性的根据需求，对图片检测到的所 有人的肢体进行标注连线，增加可视性。
所述的步骤5)统计模块包括根据原图对应的时间和拍摄的地理位置统计图 中检测识别的人数和能够确定的人的身份信息，所统计的数据记录的属性如下 表所示：
| 编号 | 名称 | 注释 |
| 1 | ID | 图片名 |
| 2 | DETECTION_COUNT | 检测人数 |
| 3 | RECOGNITION_COUNT | 识别身份人数 |
| 4 | RECO_INFO | 识别身份信息 |
| 5 | LOCATION | 地理位置 |
| 6 | DATE_TIME | 日期时间 |
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明 的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围 也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (5)
1.一种结合人脸与人体姿态的闯红灯行人识别系统，其特征在于：包括：
图片筛选模块，输入数据库中的抓拍数据作为，依据指定的筛选条件，选取需要处理的原图输出到后续识别模块中；
人脸识别模块，接收图片筛选模块的原图输出，进行人脸的检测和识别，将检测到的人脸转化为编码特征与人脸特征库进行匹配对比得出识别结果和可信度，之后输出检测人脸在图片中的位置、识别结果和可信度到图片标注模块；
人体姿态识别模块，接收图片筛选模块的原图输出，对人体关键点进行预测并找到对应的肢体连接，之后输出肢体骨架位置到图片标注模块；
图片标注模块，接收人脸识别模块和人体姿态识别模块的位置信息，对原图进行标注，可选择性进行可视化展示，并将原图信息和识别结果可信度传递给统计模块；
统计模块，接收人脸识别结果和可信度，并根据原图信息进行统计，输出给所述应用程序。
2.根据权利要求1所述的一种结合人脸与人体姿态的闯红灯行人识别系统，其特征在于：图片筛选模块通过图片拍摄时间，判断是否已经处理过，对于未处理的原图作为识别模块的输入。
3.根据权利要求1所述的一种结合人脸与人体姿态的闯红灯行人识别系统，其特征在于：人脸识别模块具体包括：
2.1)人脸检测，将原图数字化，使用卷积神经网络(CNN)模型，得到所有人脸的矩形位置；
2.2)人脸库对比识别，检测到的人脸，在编码后与人脸库中人脸编码匹配对比，在特定阈值下识别判断是否为人脸库中的人。
4.根据权利要求1所述的一种结合人脸与人体姿态的闯红灯行人识别系统，其特征在于：人体姿态识别模块具体包括：
3.1)神经网络预测，将原图转化为HxWx3(RGB3个通道)，首先使用10层VGG19网络进行特征提取，再分成两个分支分别预测每个点的关键点置信度图(Confidence Maps)和关键点对的亲和度(PAFs)的向量场；
3.2)找到关节，根据Confidence Maps，其最大值的位置坐标即对应人体某个关键点(关节)的概率最高；
3.3)找到肢体连接，模型包含19个肢体，由3.2)得到的关节，用关节信息和PAF获得肢体连接；
3.4)拼装肢体构成人，将有相同关节的肢体作为同一个人的肢体。
5.根据权利要求1所述的一种结合人脸与人体姿态的闯红灯行人识别系统，其特征在于：统计模块根据原图对应的时间和拍摄的地理位置统计图中检测识别的人数和能够确定的人的身份信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375865.6A CN113158853A (zh) | 2021-04-08 | 2021-04-08 | 一种结合人脸与人体姿态的闯红灯行人识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375865.6A CN113158853A (zh) | 2021-04-08 | 2021-04-08 | 一种结合人脸与人体姿态的闯红灯行人识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158853A true CN113158853A (zh) | 2021-07-23 |
Family
ID=76889029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110375865.6A Pending CN113158853A (zh) | 2021-04-08 | 2021-04-08 | 一种结合人脸与人体姿态的闯红灯行人识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158853A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527012A (zh) * | 2017-07-14 | 2017-12-29 | 深圳云天励飞技术有限公司 | 闯红灯监控方法、装置及监控处理设备 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN110135319A (zh) * | 2019-05-09 | 2019-08-16 | 广州大学 | 一种异常行为检测方法及其系统 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN112464843A (zh) * | 2020-12-07 | 2021-03-09 | 上海悠络客电子科技股份有限公司 | 一种基于人脸人形的精准客流统计系统、方法、及其装置 |
-
2021
- 2021-04-08 CN CN202110375865.6A patent/CN113158853A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527012A (zh) * | 2017-07-14 | 2017-12-29 | 深圳云天励飞技术有限公司 | 闯红灯监控方法、装置及监控处理设备 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN110135319A (zh) * | 2019-05-09 | 2019-08-16 | 广州大学 | 一种异常行为检测方法及其系统 |
| CN112464843A (zh) * | 2020-12-07 | 2021-03-09 | 上海悠络客电子科技股份有限公司 | 一种基于人脸人形的精准客流统计系统、方法、及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104867B (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
| CN106845373A (zh) | 面向监控视频的行人属性预测方法 | |
| CN108764096B (zh) | 一种行人重识别系统和方法 | |
| CN109829418B (zh) | 一种基于背影特征的打卡方法、装置和系统 | |
| JPWO2008018398A1 (ja) | オブジェクト領域抽出装置 | |
| CN111310728B (zh) | 基于监控相机和无线定位的行人重识别系统 | |
| CN112487886A (zh) | 一种有遮挡的人脸识别方法、装置、存储介质及终端 | |
| CN112183438B (zh) | 基于小样本学习神经网络的违规行为的图像识别方法 | |
| CN107609515B (zh) | 一种基于飞腾平台的双重验证的人脸比对系统及方法 | |
| CN103839042A (zh) | 人脸识别方法和人脸识别系统 | |
| CN113269091A (zh) | 一种面向智慧园区的人员轨迹分析方法、设备及介质 | |
| CN111460884A (zh) | 基于人体跟踪的多人脸识别方法 | |
| CN114758362A (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
| CN112149494A (zh) | 一种多人姿态识别方法及系统 | |
| CN111611912B (zh) | 一种基于人体关节点的行人低头异常行为的检测方法 | |
| CN115661522A (zh) | 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质 | |
| CN110826449A (zh) | 基于轻量型卷积神经网络的非机动车再识别目标检索方法 | |
| Bastani et al. | Updating street maps using changes detected in satellite imagery | |
| CN113158853A (zh) | 一种结合人脸与人体姿态的闯红灯行人识别系统 | |
| CN109359543B (zh) | 一种基于骨骼化的人像检索方法及装置 | |
| CN115050044B (zh) | 一种基于MLP-Mixer的跨模态行人重识别方法 | |
| CN116246299A (zh) | 一种结合目标检测和姿态识别技术的“低头族”智能识别系统 | |
| CN116229511A (zh) | 基于金丝猴躯干特征提取的身份重识别方法 | |
| CN115761470A (zh) | 游泳场景下的运动轨迹追踪方法及系统 | |
| CN113378859B (zh) | 一种具有可解释性的图像隐私检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |