CN113076917A - 行人质量评估方法及系统 - Google Patents

行人质量评估方法及系统 Download PDF

Info

Publication number
CN113076917A
CN113076917A CN202110421824.6A CN202110421824A CN113076917A CN 113076917 A CN113076917 A CN 113076917A CN 202110421824 A CN202110421824 A CN 202110421824A CN 113076917 A CN113076917 A CN 113076917A
Authority
CN
China
Prior art keywords
image
pedestrian
data set
task data
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110421824.6A
Other languages
English (en)
Other versions
CN113076917B (zh
Inventor
杨帆
朱莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202110421824.6A priority Critical patent/CN113076917B/zh
Publication of CN113076917A publication Critical patent/CN113076917A/zh
Application granted granted Critical
Publication of CN113076917B publication Critical patent/CN113076917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人质量评估方法及系统，涉及深度学习技术领域，解决了行人质量评估效率不高的技术问题，其技术方案要点是根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像，再使用遮挡图像和无遮挡图像共同训练行人质量评估模型，用以对行人图像进行评估识别。不仅可评估输入行人图像是否为完整的行人图像，同时也可评估输入行人图像是否有遮挡，进而用于筛选完整无遮挡的行人底库图像。

Description

行人质量评估方法及系统
技术领域
本公开涉及深度学习技术领域，尤其涉及一种行人质量评估方法及系统。
背景技术
行人重识别是基于人体信息进行身份识别的一种技术，输入行人图像与底库行人图像进行逐一特征对比，找出与输入行人图像特征相似度最高的底库行人图像，如果相似度大于预先设置的相似度阈值，则该底库行人图像与输入行人图像为同一个人，否则无法确定输入图像的身份。
底库行人图像的质量会直接影响行人重识别的效果，需要采用一张高质量的行人图像作为底库。随机选择行人底库图像，若行人图像为非完整行人，比如上半身，下半身，左半身，右半身，则无法进行有效地行人重识别；若行人图像有较大遮挡物，则会干扰行人重识别结果。因此，亟需筛选出一个高质量的行人底库图像以提高行人质量评估的效率。
发明内容
本公开提供了一种行人质量评估方法及系统，其技术目的是提高底库行人图像的质量，提高行人质量评估的效率。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种行人质量评估方法，包括：
输入行人图像，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像；
对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像，则所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；
将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像；
将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型；
根据所述行人质量评估模型对行人质量进行评估。
一种行人质量评估系统，包括：
图像合成模块，输入行人图像，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像；
标注模块，对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像；
分类模块，将所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；
将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像；
训练模块，将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型；
评估模块，根据所述行人质量评估模型对行人质量进行评估。
本公开的有益效果在于：本公开所述的行人质量评估方法及系统，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像，再使用遮挡图像和无遮挡图像共同训练行人质量评估模型，用以对行人图像进行评估识别。不仅可评估输入行人图像是否为完整的行人图像，同时也可评估输入行人图像是否有遮挡，进而用于筛选完整无遮挡的行人底库图像。
附图说明
图1为本公开所述方法的流程图；
图2为本公开所述系统的示意图；
图3为MobileNetV2网络的示意图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。
图1为本公开所述行人质量评估方法的流程图，如图1所示，包括步骤S1：输入行人图像，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像。
具体地，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像，包括步骤S11：分别选择不同的人体骨骼关键点为遮挡区域的中心点[x,y]，遮挡区域则为[x,y,w,h]；其中，w∈[0.2*width,0.5*width],h∈[0.2*height,0.5*height],width与height分别表示所述行人图像的宽度与高度。
S12：将所述遮挡物品覆盖在所述遮挡区域内，得到所述遮挡图像；其中，所述遮挡物品筛选为coco数据集中的物品图片。
步骤S2：对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像。
步骤S3：将所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像。
步骤S4：将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型。
具体地，这里的卷积神经网络模型为改进后的MobileNetV2网络，将该改进后的MobileNetV2网络的最后一个下采样块改进成两个下采样分支，一个下采样分支用于训练所述遮挡二分类任务数据集，另一个下采样分支用于训练所述人体五分类任务数据集。
人体五分类任务数据集采用softmax交叉熵损失函数进行训练，遮挡二分类任务数据集采用sigmiod交叉熵损失函数进行训练，则改进后的MobileNetV2网络的损失函数为：
Figure BDA0003028125860000031
其中，yn1i表示样本n1的第i个标签，yn2j表示样本n2的第j个标签，i＝1,2,3,4,5分别表示所述人体五分类任务数据集中上半身图像、下半身图像、左半身图像、右半身图像、全身图像的标签，j＝1,2分别表示所述遮挡二分类任务数据集中的有遮挡图像、无遮挡图像的标签，N1表示所述人体五分类任务数据集中的总样本数，N2表示所述遮挡二分类任务数据集中的总样本数，xi、zj分别表示各自对应模型的输出。
步骤S5：根据所述行人质量评估模型对行人质量进行评估。
图2为本公开所述行人质量评估系统的示意图，该系统包括图像合成模块、标注模块、分类模块、训练模块和评估模块。
图像合成模块在输入行人图像，用于根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像。
图像合成模块还用于：分别选择不同的人体骨骼关键点为遮挡区域的中心点[x,y]，遮挡区域则为[x,y,w,h]；其中，w∈[0.2*width,0.5*width],h∈[0.2*height,0.5*height],width与height分别表示所述行人图像的宽度与高度；将所述遮挡物品覆盖在所述遮挡区域内，得到所述遮挡图像；其中，所述遮挡物品筛选为coco数据集中的物品图片。
标注模块用于对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像
分类模块用于将所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；并将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像。
训练模块用于将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型。
训练模块中包括卷积神经网络模型，该卷积神经网络模型为改进后的MobileNetV2网络，该MobileNetV2网络的最后一个下采样块包括第一下采样分支和第二下采样分支，如图3所示，图3中(a)为未经改进的MobileNetV2网络的最后一个下采样块，(b)为改进后的最后一个下采样块。第一下采样分支用于训练所述人体五分类任务数据集，第二下采样分支用于训练所述遮挡二分类任务数据集。
第一下采样分支采用softmax交叉熵损失函数进行训练，第二下采样分支采用sigmiod交叉熵损失函数进行训练，则改进后的MobileNetV2网络的损失函数为：
Figure BDA0003028125860000032
其中，yn1i表示样本n1的第i个标签，yn2j表示样本n2的第j个标签，i＝1,2,3,4,5分别表示所述人体五分类任务数据集中上半身图像、下半身图像、左半身图像、右半身图像、全身图像的标签，j＝1,2分别表示所述遮挡二分类任务数据集中的有遮挡图像、无遮挡图像的标签，N1表示所述人体五分类任务数据集中的总样本数，N2表示所述遮挡二分类任务数据集中的总样本数，xi、zj分别表示各自对应模型的输出。
评估模块用于根据所述行人质量评估模型对行人质量进行评估。
在实际场景中，采集行人图像共55375张做为测试集，其中上半身图像、下半身图像、左半身图像、右半身图像、全身图像分别为11032张、10047张、11053张、10073张、13170张，遮挡图像与不遮挡图像分别为21350张和34025张。将这些图像投入到上述行人质量评估模型进行行人质量评估，其准确率如表1所示，可以知道，本公开所述的行人质量评估模型评估效率相对于其他模型准确率较高。
准确率
人体五分类 99.71％
遮挡二分类 99.86％
表1
以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。

Claims (8)

1.一种行人质量评估方法，其特征在于，包括：
输入行人图像，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像；
对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像；
将所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像；
将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型；
根据所述行人质量评估模型对行人质量进行评估。
2.如权利要求1所述的方法，其特征在于，所述根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像，包括：
分别选择不同的人体骨骼关键点为遮挡区域的中心点[x,y]，遮挡区域则为[x,y,w,h]；其中，w∈[0.2*width,0.5*width],h∈[0.2*height,0.5*height],width与height分别表示所述行人图像的宽度与高度；
将所述遮挡物品覆盖在所述遮挡区域内，得到所述遮挡图像；其中，所述遮挡物品筛选为coco数据集中的物品图片。
3.如权利要求2所述的方法，其特征在于，所述卷积神经网络模型为改进后的MobileNetV2网络，将所述MobileNetV2网络的最后一个下采样块改进成两个下采样分支，一个所述下采样分支用于训练所述遮挡二分类任务数据集，另一个所述下采样分支用于训练所述人体五分类任务数据集。
4.如权利要求3所述的方法，其特征在于，所述人体五分类任务数据集采用softmax交叉熵损失函数进行训练，所述遮挡二分类任务数据集采用sigmiod交叉熵损失函数进行训练，则所述MobileNetV2网络的损失函数为：
Figure FDA0003028125850000011
其中，yn1i表示样本n1的第i个标签，yn2j表示样本n2的第j个标签，i＝1,2,3,4,5分别表示所述人体五分类任务数据集中上半身图像、下半身图像、左半身图像、右半身图像、全身图像的标签，j＝1,2分别表示所述遮挡二分类任务数据集中的有遮挡图像、无遮挡图像的标签，N1表示所述人体五分类任务数据集中的总样本数，N2表示所述遮挡二分类任务数据集中的总样本数，xi、zj分别表示各自对应模型的输出。
5.一种行人质量评估系统，其特征在于，包括：
图像合成模块，输入行人图像，根据人体骨骼关键点和遮挡物品对所述行人图像进行合成，得到遮挡图像；
标注模块，对所述行人图像和所述遮挡图像进行标注，得到有遮挡图像和无遮挡图像；
分类模块，将所述有遮挡图像和所述无遮挡图像构成遮挡二分类任务数据集；
将所述有遮挡图像和所述无遮挡图像划分为人体五分类任务数据集，所述人体五分类任务数据集包括上半身图像、下半身图像、左半身图像、右半身图像和全身图像；
训练模块，将所述遮挡二分类任务数据集和所述人体五分类任务数据集投入到卷积神经网络模型进行多任务训练，得到行人质量评估模型；
评估模块，根据所述行人质量评估模型对行人质量进行评估。
6.如权利要求5所述的系统，其特征在于，所述图像合成模块用于：
分别选择不同的人体骨骼关键点为遮挡区域的中心点[x,y]，遮挡区域则为[x,y,w,h]；其中，w∈[0.2*width,0.5*width],h∈[0.2*height,0.5*height],width与height分别表示所述行人图像的宽度与高度；
将所述遮挡物品覆盖在所述遮挡区域内，得到所述遮挡图像；其中，所述遮挡物品筛选为coco数据集中的物品图片。
7.如权利要求6所述的系统，其特征在于，所述训练模块包括所述卷积神经网络模型，所述卷积神经网络模型为改进后的MobileNetV2网络，所述MobileNetV2网络的最后一个下采样块包括：
第一下采样分支，用于训练所述人体五分类任务数据集；
第二下采样分支，用于训练所述遮挡二分类任务数据集。
8.如权利要求7所述的系统，其特征在于，所述第一下采样分支采用softmax交叉熵损失函数进行训练，所述第二下采样分支采用sigmiod交叉熵损失函数进行训练，则所述MobileNetV2网络的损失函数为：
Figure FDA0003028125850000021
其中，yn1i表示样本n1的第i个标签，yn2j表示样本n2的第j个标签，i＝1,2,3,4,5分别表示所述人体五分类任务数据集中上半身图像、下半身图像、左半身图像、右半身图像、全身图像的标签，j＝1,2分别表示所述遮挡二分类任务数据集中的有遮挡图像、无遮挡图像的标签，N1表示所述人体五分类任务数据集中的总样本数，N2表示所述遮挡二分类任务数据集中的总样本数，xi、zj分别表示各自对应模型的输出。
CN202110421824.6A 2021-04-20 2021-04-20 行人质量评估方法及系统 Active CN113076917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421824.6A CN113076917B (zh) 2021-04-20 2021-04-20 行人质量评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421824.6A CN113076917B (zh) 2021-04-20 2021-04-20 行人质量评估方法及系统

Publications (2)

Publication Number Publication Date
CN113076917A true CN113076917A (zh) 2021-07-06
CN113076917B CN113076917B (zh) 2022-08-12

Family

ID=76618090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421824.6A Active CN113076917B (zh) 2021-04-20 2021-04-20 行人质量评估方法及系统

Country Status (1)

Country Link
CN (1) CN113076917B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240232A (zh) * 2022-09-22 2022-10-25 齐鲁空天信息研究院 人体头肩区域检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178557A1 (en) * 2013-12-19 2015-06-25 Institute For Information Industry Pedestrian detection system and method
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN110956158A (zh) * 2019-12-12 2020-04-03 中山大学 一种基于教师学生学习框架的遮挡行人再标识方法
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178557A1 (en) * 2013-12-19 2015-06-25 Institute For Information Industry Pedestrian detection system and method
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN110956158A (zh) * 2019-12-12 2020-04-03 中山大学 一种基于教师学生学习框架的遮挡行人再标识方法
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240232A (zh) * 2022-09-22 2022-10-25 齐鲁空天信息研究院 人体头肩区域检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113076917B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN105144239B (zh) 图像处理装置、图像处理方法
CN106815604B (zh) 基于多层信息融合的注视点检测方法
CN105224951B (zh) 一种车型分类方法及分类装置
CN106446933B (zh) 基于上下文信息的多目标检测方法
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109255284B (zh) 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
DE112009000485T5 (de) Objektvergleich für Verfolgung, Indizierung und Suche
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN108090429A (zh) 一种分级前脸卡口车型识别方法
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
JP2008159056A (ja) 画像中に生じる特徴の生成モデルによる分類
CN114332544B (zh) 一种基于图像块评分的细粒度图像分类方法和装置
CN104636755A (zh) 一种基于深度学习的人脸美丽评价方法
CN111461039A (zh) 基于多尺度特征融合的地标识别方法
CN105893971A (zh) 一种基于Gabor和稀疏表示的交通信号灯识别方法
CN109934216A (zh) 图像处理的方法、装置、计算机可读存储介质
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN110533068A (zh) 一种基于分类卷积神经网络的图像对象识别方法
CN113076917B (zh) 行人质量评估方法及系统
CN113936195A (zh) 敏感图像识别模型的训练方法、训练装置和电子设备
CN107657251A (zh) 确定身份证件显示表面的设备及方法，图像识别方法
Ilayarajaa et al. Text recognition in moving vehicles using deep learning neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: 568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.