CN110245592A - 一种用于提升监控场景的行人重识别率的方法 - Google Patents
一种用于提升监控场景的行人重识别率的方法 Download PDFInfo
- Publication number
- CN110245592A CN110245592A CN201910475254.1A CN201910475254A CN110245592A CN 110245592 A CN110245592 A CN 110245592A CN 201910475254 A CN201910475254 A CN 201910475254A CN 110245592 A CN110245592 A CN 110245592A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- attribute
- branching networks
- picture
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于提升监控场景的行人重识别率的方法,包括:获取监控图片;利用faster‑rcnn目标检测模型进行检测获取行人图像;对行人图像先进行行人ID标注,再进行行人属性标注,获取行人训练数据集;搭建神经网络模型,神经网络模型包括基网络、行人属性分支网络和行人ID分支网络,输入行人训练数据集采用softmax‑loss损失函数分别对行人属性分支网络和行人ID分支网络进行训练,直至网络收敛;利用triple‑loss损失函数对行人ID分支网络进行微调,得到行人重识别网络模型。本发明对行人ID分支网络和行人属性分支网络进行多任务训练,并结合triple‑loss损失函数进行微调,从而大大提高了行人重识别模型的识别率,加快了刑侦案件中视频的分析速度,协助办案人员快速锁定嫌疑人。
Description
技术领域
本发明涉及监控场景下的行人重识别技术领域,特别涉及一种用于提升监控场景的行人重识别率的方法。
背景技术
为了保障人民群众的人身财产安全,街道和商场内的监控覆盖数量也越来越多。然而,想要从茫茫的人海中快速的找到某个特定的人,若只靠人工进行辨别,则工作量巨大,识别效率太低。为了能够快速从视频图像中识别出某个人,故而将人脸识别技术引入智能监控系统中。
然而,由于单个摄像头是有各自的不同角度和视角范围的,当需要切换多个摄像头画面查找一个行动中的人时,传统的人脸识别技术则无法做到快速而准确的找到一个人。特别是在刑侦场景中,对于跨摄像头出现的犯罪嫌疑人,需要及时对其进行尾随跟踪时,传统的人脸识别技术无法做到。
基于上述视频监控的技术需求,行人重识别技术被引入了智能监控系统中。行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。该技术是在给定一个监控行人图像,在跨设备的情况下对该行人图像进行检索,目的在于弥补目前监控摄像头的视觉局限。
然而,现有的行人重识别技术多数都是基于人脸识别或结合衣服颜色识别来做行人重识别的。然而,由于现有的监控摄像头像素普遍不是很高,尤其是远景摄像头里截取的人脸截取到的像素较少,当仅仅将其作为主要要素来进行人脸识别时经常容易出错。
另外,摄像头之间存在一定是色差,并且在不同的光线下会产生光影,且当两个行人着装颜色相同时,则极容易发生识别错误。
正是由于种种的技术缺陷问题,现在急需一种能够提高行人重识别识别率的方法,以满足现在智能监控系统的需求。
发明内容
本发明目的是:提出一种用于提升监控场景的行人重识别率的方法,其能够在多个视频画面中快速而准确的识别出特定的行人图像,且识别准确率较高。
本发明解决其技术问题所采用的技术方案是:
一种用于提升监控场景的行人重识别率的方法,包括如下步骤:
S1、通过监控摄像头获取监控图片;
S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测,并获取行人图像;
S3、对所述行人图像先进行行人ID标注,再进行行人属性标注,进而得到行人训练数据集;
S4、搭建神经网络模型,所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络,输入所述行人训练数据集,并利用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练,直至网络收敛;
S5、输入所述行人训练数据集,并利用triple-loss损失函数对所述行人ID分支网络进行微调,最终得到高识别率的行人重识别网络模型。
进一步优化技术方案,所述基网络采用googlenet网络结构。
进一步优化技术方案,所述行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。
进一步优化技术方案,所述步骤S3中获取行人训练数据集的具体步骤如下:
S31、预先为每个行人设置不同的行人ID,为每张行人图像标记上其相应的行人ID,并按所述行人ID进行分类,并将所述行人ID相同的所有行人图像归为一类,;
S32、在同一个行人ID分类中,选取一张图片进行行人属性标注,所述行人属性包括:性别、上下衣颜色、上下衣长短和是否拎东西或挎包;
S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性,从而使所有行人图片完成行人ID和行人属性的标注,得到行人训练数据集。
进一步优化技术方案,所述行人训练数据集中若某个分类中图片数目少于10张,则分别对该类中每张图片采用亮度调整、对比度变化、随机裁剪、放射变换和尺度变换进行图片处理,并采用随机值替换策略进行数据增益。
进一步优化技术方案,所述步骤S5中微调的具体步骤如下:
S51、在处理数据前,设计一个Batch处理模块,且每次训练均以一个Batch处理模块为单元;所述Batch处理模块内包含P个人,且每人K张图片,其中K≥2;
S52、利用所述行人ID分支网络对输入Batch处理模块内的图片分别提取全局特征与局部特征;其中,所述局部特征是将最后一层网络输出的feature map横向切割为N块,得到N组局部特征;
S53、在一个Batch处理模块内,对于所述全局特征与局部特征同时计算triple-loss损失函数,然后利用梯度下降反传梯度,进行参数更新;
S54、调整margin和学习率参数,直至网络收敛到一个最优解,从而得到高识别率的行人重识别网络模型。
本发明的有益效果是:本发明利用神经网络模型将行人ID和行人属性进行多任务训练,并结合triple-loss损失函数对神经网络模型进行微调,从而大大提高了行人重识别模型的识别率,加快了刑侦案件中视频的分析速度,协助办案人员快速锁定嫌疑人。
附图说明
图1是本发明中行人重识别模型训练流程图。
图2是获取行人训练数据集的流程图。
图3是行人ID分支网络的微调流程图。
具体实施方式
以下结合附图,对本发明做进一步说明。
本发明的方案是一种用于提升监控场景的行人重识别率的方法,其中主要涉及三个网络处理模块,包括faster-rcnn目标检测模块、行人属性标注模块和神经网络模块。
faster-rcnn目标检测模块用于从监控图片中检测行人,并获取行人图像,保存成图片。其中,监控图片通过监控摄像头从被监控场景内获取。
行人属性标注模块将行人图像,首先根据行人ID进行分类处理,然后对行人图片进行行人属性标注,其中,行人ID为预先为每个行人生成的不同的ID号,归类时根据ID判断行人图片是否为同一人,若是,则将其归为一类。而行人属性包括性别、上下衣颜色、上下衣长短和是否拎东西或挎包等要素。将归类后的行人图片集内,每一类内分别选取一张图片,然后进行行人属性标注,其他与该图片ID相同的图片自动获取其相应的行人属性,最终得到行人训练数据集。
在行人训练数据集中,对于单个分类中图片数据量少于10张的,需对该分类中的每个图片进行数据增益处理。其中,数据增益的方法包括亮度调整、对比度变化、随机裁剪、放射变换和尺度变换。
搭建神经网络模块,该神经网络模型具体由基网络、行人属性分支网络和行人ID分支网络三部分搭建而成;其中基网络采用googlenet网络结构,行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。
神经网络模块的训练过程:输入行人训练数据集,采用softmax-loss损失函数分别对行人属性分支网络和行人ID分支网络进行训练,直至网络收敛;
神经网络模块的微调过程:输入行人训练数据集,利用triple-loss损失函数对行人ID分支网络进行微调,具体实施方法包括,在处理数据之前,合理设计Batch处理模块大小,并保证一个Batch处理模块内包含P个人,每人K张图片,其中K>=2,每次训练均以一个Batch处理模块为单位。利用行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征,其中局部特征是将最后一层网络输出的feature map横向切割为N块,得到N组局部特征。在一个Batch处理模块内,对于全局特征与局部特征同时计算triple-loss,利用梯度下降反传梯度,更新网络参数,调整margin以及学习率等参数,直至网络收敛到一个最优解。
本发明的具体实施步骤如图1所示,包括如下步骤:
S1、通过监控摄像头获取监控图片;
S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测,并获取行人图像;
S3、对所述行人图像先进行行人ID标注,再进行行人属性标注,进而得到行人训练数据集;
S4、搭建神经网络模型,所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络,输入行人训练数据集,并采用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练,直至网络收敛;
S5、输入行人训练数据集,并利用triple-loss损失函数对所述行人ID分支网络进行微调,最终得到高识别率的行人重识别网络模型。
如图2所示,获取行人训练数据集的具体步骤如下:
S31、预先为每个行人设置不同的行人ID,为每张行人图像标记上其相应的行人ID,并按所述行人ID进行分类,并将所述行人ID相同的所有行人图像归为一类,;
S32、在同一个行人ID分类中,选取一张图片进行行人属性标注,所述行人属性包括:性别、上下衣颜色、上下衣长短和是否拎东西或挎包;
S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性,从而使所有行人图片完成行人ID和行人属性的标注,得到行人训练数据集。
如图3所示,行人ID分支网络的微调步骤如下:
S51、处理数据前,设计一个Batch处理模块,且每次训练均以一个Batch处理模块为单元;所述Batch处理模块内包含P个人,且每人K张图片,其中K≥2;
S52、利用行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征;其中,局部特征是将最后一层网络输出的feature map横向切割为N块,得到N组局部特征;
S53、在一个Batch处理模块内,对于全局特征与局部特征同时计算triple-loss损失函数,然后利用梯度下降反传梯度,进行参数更新;
S54、调整margin和学习率参数,直至网络收敛到一个最优解,从而得到高识别率的行人重识别网络模型。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解,本方案不受上述实施例的限制,上述实施例和说明书中描述的只是说明本方案的原理,在不脱离本方案精神和范围的前提下,本方案还会有各种变化和改进,这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种用于提升监控场景的行人重识别率的方法,其特征在于,包括如下步骤:
S1、通过监控摄像头获取监控图片;
S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测,并获取行人图像;
S3、对所述行人图像先进行行人ID标注,再进行行人属性标注,进而得到行人训练数据集;
S4、搭建神经网络模型,所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络,输入所述行人训练数据集,并采用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练,直至网络收敛;
S5、输入所述行人训练数据集,并利用triple-loss损失函数对所述行人ID分支网络进行微调,最终得到高识别率的行人重识别网络模型。
2.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法,其特征在于,所述基网络采用googlenet网络结构。
3.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法,其特征在于,所述行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。
4.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法,其特征在于,所述步骤S3中获取行人训练数据集的具体步骤如下:
S31、预先为每个行人设置不同的行人ID,为每张行人图像标记上其相应的行人ID,并按所述行人ID进行分类,并将所述行人ID相同的所有行人图像归为一类,;
S32、在同一个行人ID分类中,选取一张图片进行行人属性标注,所述行人属性包括:性别、上下衣颜色、上下衣长短和是否拎东西或挎包;
S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性,从而使所有行人图片完成行人ID和行人属性的标注,得到行人训练数据集。
5.如权利要求4所述的一种用于提升监控场景的行人重识别率的方法,其特征在于,所述行人训练数据集中若某个分类中图片数目少于10张,则分别对该类中每张图片采用亮度调整、对比度变化、随机裁剪、放射变换和尺度变换进行图片处理,并采用随机值替换策略进行数据增益。
6.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法,其特征在于,所述步骤S5中微调的具体步骤如下:
S51、设计一个Batch处理模块,且每次训练均以一个Batch处理模块为单元;所述Batch处理模块内包含P个人,且每人K张图片,其中K≥2;
S52、利用所述行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征;其中,所述局部特征是将最后一层网络输出的feature map横向切割为N块,得到N组局部特征;
S53、在一个Batch处理模块内,对于所述全局特征与局部特征同时计算triple-loss损失函数,然后利用梯度下降反传梯度,进行参数更新;
S54、调整margin和学习率参数,直至网络收敛到一个最优解,从而得到高识别率的行人重识别网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910475254.1A CN110245592A (zh) | 2019-06-03 | 2019-06-03 | 一种用于提升监控场景的行人重识别率的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910475254.1A CN110245592A (zh) | 2019-06-03 | 2019-06-03 | 一种用于提升监控场景的行人重识别率的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110245592A true CN110245592A (zh) | 2019-09-17 |
Family
ID=67885775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910475254.1A Pending CN110245592A (zh) | 2019-06-03 | 2019-06-03 | 一种用于提升监控场景的行人重识别率的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110245592A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717544A (zh) * | 2019-10-14 | 2020-01-21 | 中山大学 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
CN110807434A (zh) * | 2019-11-06 | 2020-02-18 | 威海若维信息科技有限公司 | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 |
CN111259786A (zh) * | 2020-01-14 | 2020-06-09 | 浙江大学 | 一种基于视频的外观和运动信息同步增强的行人重识别方法 |
CN113807200A (zh) * | 2021-08-26 | 2021-12-17 | 青岛文达通科技股份有限公司 | 基于动态拟合多任务推理网络的多行人识别方法及系统 |
CN114549906A (zh) * | 2022-02-28 | 2022-05-27 | 长沙理工大学 | 一种改进型Top-k损失函数分步训练的图像分类算法 |
-
2019
- 2019-06-03 CN CN201910475254.1A patent/CN110245592A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717544A (zh) * | 2019-10-14 | 2020-01-21 | 中山大学 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
CN110717544B (zh) * | 2019-10-14 | 2023-05-16 | 中山大学 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
CN110807434A (zh) * | 2019-11-06 | 2020-02-18 | 威海若维信息科技有限公司 | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 |
CN110807434B (zh) * | 2019-11-06 | 2023-08-15 | 威海若维信息科技有限公司 | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 |
CN111259786A (zh) * | 2020-01-14 | 2020-06-09 | 浙江大学 | 一种基于视频的外观和运动信息同步增强的行人重识别方法 |
CN111259786B (zh) * | 2020-01-14 | 2022-05-03 | 浙江大学 | 一种基于视频的外观和运动信息同步增强的行人重识别方法 |
CN113807200A (zh) * | 2021-08-26 | 2021-12-17 | 青岛文达通科技股份有限公司 | 基于动态拟合多任务推理网络的多行人识别方法及系统 |
CN113807200B (zh) * | 2021-08-26 | 2024-04-19 | 青岛文达通科技股份有限公司 | 基于动态拟合多任务推理网络的多行人识别方法及系统 |
CN114549906A (zh) * | 2022-02-28 | 2022-05-27 | 长沙理工大学 | 一种改进型Top-k损失函数分步训练的图像分类算法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245592A (zh) | 一种用于提升监控场景的行人重识别率的方法 | |
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
CN110070530B (zh) | 一种基于深度神经网络的输电线路覆冰检测方法 | |
CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN110472467A (zh) | 基于YOLO v3的针对交通枢纽关键物体的检测方法 | |
CN105701467B (zh) | 一种基于人体形态特征的多人异常行为识别方法 | |
CN109886141A (zh) | 一种基于不确定性优化的行人再辨识方法 | |
CN106339657B (zh) | 基于监控视频的秸秆焚烧监测方法、装置 | |
CN109522853A (zh) | 面向监控视频的人脸检测与搜索方法 | |
CN106778570B (zh) | 一种行人实时检测与跟踪方法 | |
CN111914761A (zh) | 一种热红外人脸识别的方法及系统 | |
CN109635750A (zh) | 一种复杂背景下的复合卷积神经网络手势图像识别方法 | |
CN109344842A (zh) | 一种基于语义区域表达的行人重识别方法 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
KR20160109761A (ko) | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 | |
CN110674886B (zh) | 一种融合多层级特征的视频目标检测方法 | |
CN116109950A (zh) | 一种低空域反无人机视觉检测、识别与跟踪方法 | |
CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
CN112464933A (zh) | 一种地基凝视红外成像弱小目标智能识别方法 | |
CN113065568A (zh) | 目标检测、属性识别与跟踪方法及系统 | |
CN114511592B (zh) | 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统 | |
CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN103927517B (zh) | 一种基于人体全局特征直方图熵的动作检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190917 |