CN110717544A - 一种垂直鱼眼镜头下行人属性分析方法及系统 - Google Patents
一种垂直鱼眼镜头下行人属性分析方法及系统 Download PDFInfo
- Publication number
- CN110717544A CN110717544A CN201910974378.4A CN201910974378A CN110717544A CN 110717544 A CN110717544 A CN 110717544A CN 201910974378 A CN201910974378 A CN 201910974378A CN 110717544 A CN110717544 A CN 110717544A
- Authority
- CN
- China
- Prior art keywords
- loss
- attribute
- pedestrian
- network
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 66
- 230000008569 process Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- HVVWZTWDBSEWIH-UHFFFAOYSA-N [2-(hydroxymethyl)-3-prop-2-enoyloxy-2-(prop-2-enoyloxymethyl)propyl] prop-2-enoate Chemical compound C=CC(=O)OCC(CO)(COC(=O)C=C)COC(=O)C=C HVVWZTWDBSEWIH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种垂直鱼眼镜头下行人属性分析方法及系统，将垂直鱼眼镜头获取的行人图片进行预处理，将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率；确定每张行人图片的体态分类损失和属性标签损失，对预设网络通过多次迭代的方式进行参数优化使得预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。通过垂直鱼眼镜头获取的行人图片对预设网络进行训练优化，使得训练后的网络的网络损失达到预设损失，利用了垂直鱼眼镜头下行人的特征对网络进行了改良，使得网络针对垂直鱼眼镜头下的行人有更好的属性分析结果，实现对垂直鱼眼镜头下的行人属性的分析。
Description
技术领域
本申请涉及行人属性分析技术领域，具体涉及一种垂直鱼眼镜头下行人属性分析方法及系统。
背景技术
行人属性分析也称为行人属性分类，是视频监控系统的关键技术之一，其任务是在远距离监控视频中通过识别行人属性分辨出行人。同时该技术也广泛运用于商业媒体智能和视觉监控，辅助行人监控、追踪和计数等领域，有重要的社会意义。
传统技术中行人属性分析多基于斜照标准镜头，在监控过程中经常会遇到障碍物遮挡导致属性分析准确率下降。而鱼眼镜头是近年来逐渐普遍于监控领域的一种镜头，其焦距一般为16mm或者更短，远小于50mm的标准镜头，这使得鱼眼镜头的视角范围大与标准镜头。即当鱼眼镜头与标准镜头在同一位置进行拍摄时，鱼眼镜头可拍摄更多的物体。而垂直设置鱼眼镜头，不仅能解决遮挡的问题，还能最大化利用鱼眼镜头的视角范围，能监控更多区域，有非常高的实用价值。
现有技术中基于斜照标准镜头的行人属性分析方法一般分为基于注意力机制与基于分割两大类。对于垂直鱼眼镜头获取的照片无法采用分割的分析方法，然而传统的斜照标准镜头的基于注意力机制的方法也无法完全使用垂直鱼眼镜头获取的照片，因此如何对垂直鱼眼镜头获取的照片的行人属性进行分析时一个亟待解决的问题。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种垂直鱼眼镜头下行人属性分析方法，所述方法包括：将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签；将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率；确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失；对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
采用上述实现方式，通过垂直鱼眼镜头获取的行人图片对预设网络进行训练优化，使得训练后的网络的网络损失达到预设损失，利用了垂直鱼眼镜头下行人的特征对网络进行了改良，使得网络针对垂直鱼眼镜头下的行人有更好的属性分析结果，实现对垂直鱼眼镜头下的行人属性的分析。
结合第一方面，在第一方面第一种可能的实现方式中，所述将垂直鱼眼镜头获取的行人图片进行预处理包括：对于所有训练数据中的行人图片，根据体态将行人图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签；对不同体态下的行人，标记对应的属性标签，其中不能表现的属性标识符为0；对选取的行人图片进行数据读取时，进行旋转操作；将数据进行归一化操作，以使得所述行人图片对应的数据符合预设网络的输入要求。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率包括：使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk，作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose，y2pose，y3pose，y4pose]T；根据所述体态概率矩阵Ypose从标注数据中已知其真正体态概率为
使用softmax loss计算体态损失
其中N为每个batch中的行人图片数量。
结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失，包括：获取四种体态对应的全连接层得到四种体态下的特征输出
将
与对应体态概率Ypose＝[y1pose，y2pose，y3pose，y4pose]T相乘得到最后整体图像特征Ffinal，最后将整体特征Ffinal输入softmax层得到属性概率矩阵Yc＝[y1 cy2 c，y3 c............yn c]T，其中n代表属性标签的数量，每个值代表一个属性标签的对应概率；通过所述属性概率矩阵Yc和已知的真正属性标签
在训练过程中通过带先验知识的交叉熵计算属性损失其中N为每个batch中的图片数量，C为属性标签的总数量，ωc为先验属性权值，ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比。
结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，包括：将所述体态分类损失和属性标签损失加权相加可计算得到网络总损失L＝αLpose+βLatt；使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛；将裁剪好的垂直鱼眼镜头拍摄的行人图片输入优化后的网络，如果网络的损失达到预设损失，则所述GoogleNet网络优化完毕。
第二方面，本申请实施例提供了一种所述系统包括包括：预处理模块，用于将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签；体态分类模块，用于将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率；确定模块，用于确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失；优化模块，用于对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
结合第二方面，在第二方面第一种可能的实现方式中，所述预处理模块包括：体态标签标记单元，用于对于所有训练数据中的行人图片，根据体态将行人图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签；属性标签标记单元，用于对不同体态下的行人，标记对应的属性标签，其中不能表现的属性标识符为0；旋转单元，用于对选取的行人图片进行数据读取时，进行旋转操作；归一化单元，用于将数据新型归一化操作，以使得所述行人图片对应的数据符合预设网络的输入要求。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述体态分类模块包括：
体态概率矩阵获取单元，用于使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk，作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose，y2pose，y3pose，y4pose]T；体态损失确定单元，用于根据所述体态概率矩阵Ypose从标注数据中已知其真正体态概率
使用softmax loss计算体态损失 
其中N为每个batch中的行人图片数量。
结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述确定模块包括：体态特征输出获取单元，用于获取四种体态对应的全连接层得到四种体态下的特征输出
属性概率矩阵获取单元，用于将
与对应体态概率Ypose＝[y1pose，y2pose，y3pose，y4pose]T相乘得到最后整体图像特征Ffinal，最后将整体特征Ffinal输入softmax层得到属性概率矩阵Yc＝[y1 cy2 c，y3 c............yn c]T，其中n代表属性标签的数量，每个值代表一个属性标签的对应概率；属性损失确定单元，用于通过所述属性概率矩阵Yc和已知的真正属性标签
在训练过程中通过带先验知识的交叉熵计算属性损失 
其中N为每个batch中的图片数量，C为属性标签的总数量，ωc为先验属性权值，ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比。
结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述优化模块包括：网络总损失确定单元，用于将所述体态分类损失和属性标签损失加权相加可计算得到网络总损失L＝αLpose+βLatt；优化单元，用于使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛；测试确定单元，用于将裁剪好的垂直鱼眼镜头拍摄的行人图片输入优化后的网络，如果网络的损失达到预设损失，则所述GoogleNet网络优化完毕
附图说明
图1为本申请实施例提供的一种垂直鱼眼镜头下行人属性分析方法的流程示意图；
图2为本申请实施例提供的GoogleNet网络的结构示意图；
图3为本申请实施例提供的GoogleNet网络中的Attention module的结构示意图
图4为本申请实施例提供的一种垂直鱼眼镜头下行人属性分析系统的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
对于垂直鱼眼下的行人，其体态姿势与斜照标准镜头下行人有较大区别，不适用于近年流行的先对人体区域进行分割后进行属性分析的方法，因此本申请提出一个先基于行人体态对行人进行分类，后加入注意力机制提高属性分析精度。
体态指的是行人在镜头下因为动作、视角不同，呈现的不同形态。垂直鱼眼镜头下的行人体态与斜照标准镜头所拍摄的行人体态存在非常大的区别。
在斜照标准镜头下，排除遮挡的因素，当行人在摄像区域中穿过时，行人体态相对比较单一，仅存在面向的区别没有剧烈变化。通过图片可较简单区分出行人头部与躯干、躯干与四肢。而在垂直鱼眼镜头下，由于鱼眼镜头引入的形变与垂直拍摄的特性，使得行人在摄像区域穿过时，其体态会呈现较大的变化。通过观察垂直鱼眼下的行人图片，能明确发现不同体态之间差异较大，对属性的表达效果也不相同。
在一般神经网络学习过程中，训练出的神经网络，对图片的全部特征其实是等价处理的，不会对指定区域有特别的关注。而行人的属性大多情况下是由行人的特定区域去表达，如果等价地对整张行人图片去做处理，可能会影响对特定属性的识别(如上半身服装、鞋子等出现在特定区域的属性)。因此加入注意力机制，对于现有行人特征生成一个掩膜(Mask)并与原特征相乘，使得特定区域的行人特征在整张图像中突出表示，便于行人属性分类器学习。
在具体实施方法前，基于在室内商场使用垂直鱼眼镜头所拍摄的行人视频，建立了一个垂直鱼眼行人数据库。数据库需要至少包含6000个不同的行人数据，将其中90％设定为训练数据，10％为验证数据。对于标注属性的选择可参考斜照标准数据库(如PETA、RAP)中的属性分类。
图1为本申请实施例提供的一种垂直鱼眼镜头下行人属性分析方法的流程示意图，参见图1，所述方法包括：
S101，将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签。
此阶段包含对数据进行标注于数据增强。由于现阶段不存在直接可用的使用垂直鱼眼镜头的行人数据库，因此需要对图片进行属性标注。同时垂直鱼眼摄像头可做到类似360°全视角，导致镜头下行人朝向的角度可能存在多样化，为了增强网络对不同朝向行人的分析准确率，使用随机旋转对数据进行增强：
标记行人体态：对于所有训练数据中的行人图片，根据体态将图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签。计算体态分类损失Lpose需要用到该标签数据。
标记行人属性：对不同体态下的行人，标记对应的属性标签，如某一种体态下不能表现某种属性，则将标识符都标为0。计算属性损失Latt需要用到该标签数据。
数据增强：对于每一个batch的图片，在读取数据时随机对batch中的图片进行旋转操作，实际操作中选用batch size＝10。
数据预处理：对数据进行归一化操作，然后处理为网络所需输入大小。此处使用GoogleNet为224x224x3，也可使用ResNet代替。
S102，将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率。
本申请所使用预设网络为使用ImageNet预训练好的GoogleNet模型，结构如图2所示，其中的Attention module如图3所示。输入图像为224x224x3，每一次随机读入10张图片对网络进行训练，每次训练的过程中计算两个损失体态分类损失Lpose和属性损失Latt，两个损失加权相加得到网络整体损失，使用Adam梯度下降函数对网络参数进行优化。网络权值衰减为0.003，学习率为1e-5。一共训练20000次，也可使用ResNet作为替代方案。
体态分类是本发明中重要环节之一，由于垂直鱼眼镜头下行人带有的体态多样性，准确对体态进行判断是分析准确行人属性的基础。因此引入了体态分类函数，帮助网络更好地对行人体态进行分类：
体态概率计算：使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk。作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose，y2pose，y3pose，y4pose]T。实际操作中使用k＝5作为池化层的输入，softmax层的输出为4。
体态损失：已获得体态概率矩阵Ypose，从标注数据中已知其真正体态概率为使用softmax loss计算体态损失
其中N为每个batch中的图片数量。
S103，确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失。
属性分析损失是网络中最重要的一个损失，由于实际库中存在标签分布不平均的情况，如100个人中只有一个人背包，那么一般学习的过程中网络对于所有输入图片都会更倾向于去认为行人没有背包，因为这种情况下仅有1％的概率会出现误判。为了避免这种情况发生，本发明才用了使用带先验知识的交叉熵计算属性损失：
属性特征计算：使用ImageNet预训练好的GoogleNet网络，删去最后的全连接层作为从输入垂直鱼眼行人图片I中提取的图片征图FL。在输入全连接层前，拷贝一份特征输入到注意力机制模块，使网络学习一个注意力掩膜M。将掩膜M与拷贝前的图像特征做内积得到特征
将结果分别输入到四种体态对应的全连接层得到四种体态下的特征输出
输出的大小为1x1x1024。将
与对应体态概率Ypose＝[y1pose，y2pose，y3pose，y4pose]T相乘得到最后整体图像特征Ffinal。最后将整体特征Ffinal输入softmax层得到属性的输出Yc＝[y1c y2c，y3c…………ync]T。其中n代表属性标签的数量，每个值代表一个属性标签的对应概率。
属性损失：已获得网络计算的属性概率矩阵Yc，已知其真正属性标签
在训练过程中通过带先验知识的交叉熵计算属性损失：
其中N为每个batch中的图片数量，C为属性标签的总数量。ωc为先验属性权值。ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比，这可以解决数据库中属性标签分布不平均的问题。
S104，对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
训练过程中获得两个损失，将两个损失加权相加可计算得到网络总损失L＝αLpose+β Latt，此处设定α＝0.1，β＝0.01。使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛。一共迭代20000次。
测试过程中，期望输入一张裁剪好的垂直鱼眼镜头拍摄的行人图片，系统将图片进行归一化处理后修改为网络所需输入大小，输入到网络中进行属性预测。网络输出为该图片中行人对应的属性与每个属性对应的概率值。此处设定属性可信度阈值为0.5，当某个标签预测的属性概率低于0.5时，判断其为不可信标签，不在结果中展示。为了方便观察，在输出时系统把属性文字标签打印在输入原图中直观显示。
由上述实施例可知，本实施例提供了一种垂直鱼眼镜头下行人属性分析方法通过垂直鱼眼镜头获取的行人图片对预设网络进行训练优化，使得训练后的网络的网络损失达到预设损失，利用了垂直鱼眼镜头下行人的特征对网络进行了改良，使得网络针对垂直鱼眼镜头下的行人有更好的属性分析结果，实现对垂直鱼眼镜头下的行人属性的分析。
与上述实施例提供的一种垂直鱼眼镜头下行人属性分析方法相对应，本申请还提供了一种垂直鱼眼镜头下行人属性分析系统的实施例。参见图4，本申请实施例提供的垂直鱼眼镜头下行人属性分析系统20包括：预处理模块201、体态分类模块202、确定模块203和优化模块204。
所述预处理模块201，用于将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签。
所述预处理模块201包括：体态标签标记单元、属性标签标记单元、旋转单元和归一化单元。所述体态标签标记单元，用于对于所有训练数据中的行人图片，根据体态将行人图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签。所述属性标签标记单元，用于对不同体态下的行人，标记对应的属性标签，其中不能表现的属性标识符为0。所述旋转单元，用于对选取的行人图片进行数据读取时，进行旋转操作。所述归一化单元，用于将数据新型归一化操作，以使得所述行人图片对应的数据符合预设网络的输入要求。
所述体态分类模块202，用于将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率。
所述体态分类模块202包括：体态概率矩阵获取单元和体态损失确定单元。
所述体态概率矩阵获取单元，用于使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk，作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose，y2pose，y3pose，y4pose]T。所述体态损失确定单元，用于根据所述体态概率矩阵Ypose从标注数据中已知其真正体态概率为
使用softmax loss计算体态损失
其中N为每个batch中的行人图片数量。
所述确定模块203，用于确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失。
所述确定模块203包括：体态特征输出获取单元、属性概率矩阵获取单元和属性损失确定单元。所述体态特征输出获取单元，用于获取四种体态对应的全连接层得到四种体态下的特征输出
所述属性概率矩阵获取单元，用于将
与对应体态概率Ypose＝[y1pose，y2pose，y3pose，y4pose]T相乘得到最后整体图像特征Ffinal，最后将整体特征Ffinal输入softmax层得到属性概率矩阵Yc＝[y1 cy2 c，y3 c............yn c]T，其中n代表属性标签的数量，每个值代表一个属性标签的对应概率。所述属性损失确定单元，用于通过所述属性概率矩阵Yc和已知的真正属性标签
在训练过程中通过带先验知识的交叉熵计算属性损失
其中N为每个batch中的图片数量，C为属性标签的总数量，ωc为先验属性权值，ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比。
所述优化模块204，用于对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
所述优化模块204包括：网络总损失确定单元、优化单元和测试确定单元。所述网络总损失确定单元，用于将所述体态分类损失和属性标签损失加权相加可计算得到网络总损失L＝αLpose+βLatt。所述优化单元，用于使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛。所述测试确定单元，用于将裁剪好的垂直鱼眼镜头拍摄的行人图片输入优化后的网络，如果网络的损失达到预设损失，则所述GoogleNet网络优化完毕
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。
Claims (10)
1.一种垂直鱼眼镜头下行人属性分析方法，其特征在于，所述方法包括：
将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签；
将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率；
确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失；
对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
2.根据权利要求1所述的垂直鱼眼镜头下行人属性分析方法，其特征在于，所述将垂直鱼眼镜头获取的行人图片进行预处理包括：
对于所有训练数据中的行人图片，根据体态将行人图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签；
对不同体态下的行人，标记对应的属性标签，其中不能表现的属性标识符为0；
对选取的行人图片进行数据读取时，进行旋转操作；
将数据进行归一化操作，以使得所述行人图片对应的数据符合预设网络的输入要求。
3.根据权利要求2所述的垂直鱼眼镜头下行人属性分析方法，其特征在于，所述将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率包括：
使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk，作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose,y2pose,y3pose,y4pose]T；
根据所述体态概率矩阵Ypose从标注数据中已知其真正体态概率为
使用softmax loss计算体态损失
其中N为每个batch中的行人图片数量。
4.根据权利要求3所述的垂直鱼眼镜头下行人属性分析方法，其特征在于，所述确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失，包括：
获取四种体态对应的全连接层得到四种体态下的特征输出
将
与对应体态概率Ypose＝[y1pose,y2pose,y3pose,y4pose]T相乘得到最后整体图像特征Ffinal，最后将整体特征Ffinal输入softmax层得到属性概率矩阵Yc＝[y1 cy2 c,y3 c…………yn c]T，其中n代表属性标签的数量，每个值代表一个属性标签的对应概率；
通过所述属性概率矩阵Yc和已知的真正属性标签
在训练过程中通过带先验知识的交叉熵计算属性损失
其中N为每个batch中的图片数量，C为属性标签的总数量，ωc为先验属性权值，ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比。
5.根据权利要求4所述的垂直鱼眼镜头下行人属性分析方法，其特征在于，所述对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，包括：
将所述体态分类损失和属性标签损失加权相加可计算得到网络总损失L＝αLpose+βLatt；
使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛；
将裁剪好的垂直鱼眼镜头拍摄的行人图片输入优化后的网络，如果网络的损失达到预设损失，则所述GoogleNet网络优化完毕。
6.一种垂直鱼眼镜头下行人属性分析系统，其特征在于，所述系统包括包括：
预处理模块，用于将垂直鱼眼镜头获取的行人图片进行预处理，以使得每张行人图片都携带有行人属性标签；
体态分类模块，用于将预处理后的行人图片输入预设网络进行体态分类，获得每张行人图片的不同体态特征对应的概率；
确定模块，用于确定每张行人图片的体态分类损失和属性标签损失，所述体态分类损失和属性标签损失用于确定所述预设网络的损失；
优化模块，用于对所述预设网络通过多次迭代的方式进行参数优化使得所述预设网络的损失进行收敛达到预设损失，通过优化后的所述预设网络确定行人图片的行人属性信息。
7.根据权利要求6所述的垂直鱼眼镜头下行人属性分析系统，其特征在于，所述预处理模块包括：
体态标签标记单元，用于对于所有训练数据中的行人图片，根据体态将行人图片分为垂直体、斜正体、斜侧体、斜背体四类，标记对应体态标签；
属性标签标记单元，用于对不同体态下的行人，标记对应的属性标签，其中不能表现的属性标识符为0；
旋转单元，用于对选取的行人图片进行数据读取时，进行旋转操作；
归一化单元，用于将数据新型归一化操作，以使得所述行人图片对应的数据符合预设网络的输入要求。
8.根据权利要求7所述的垂直鱼眼镜头下行人属性分析系统，其特征在于，所述体态分类模块包括：
体态概率矩阵获取单元，用于使用ImageNet预训练好的GoogleNet网络inception前K层作为从输入垂直鱼眼行人图片I中提取的体态特征图Fk，作为经过平均池化操作后输入softmax层，得到该行人图片四种体态对应的概率矩阵Ypose＝[y1pose,y2pose,y3pose,y4pose]T；
体态损失确定单元，用于根据所述体态概率矩阵Ypose从标注数据中已知其真正体态概率为
使用softmax loss计算体态损失
其中N为每个batch中的行人图片数量。
9.根据权利要求8所述的垂直鱼眼镜头下行人属性分析系统，其特征在于，所述确定模块包括：
体态特征输出获取单元，用于获取四种体态对应的全连接层得到四种体态下的特征输出
属性概率矩阵获取单元，用于将与对应体态概率Ypose＝[y1pose,y2pose,y3pose,y4pose]T相乘得到最后整体图像特征Ffinal，最后将整体特征Ffinal输入softmax层得到属性概率矩阵Yc＝[y1 cy2 c,y3 c…………yn c]T，其中n代表属性标签的数量，每个值代表一个属性标签的对应概率；
属性损失确定单元，用于通过所述属性概率矩阵Yc和已知的真正属性标签在训练过程中通过带先验知识的交叉熵计算属性损失
其中N为每个batch中的图片数量，C为属性标签的总数量，ωc为先验属性权值，ωc＝exp(ac)，ac为该属性标签数量在对应属性上的占比。
10.根据权利要求9所述的垂直鱼眼镜头下行人属性分析系统，其特征在于，所述优化模块包括：
网络总损失确定单元，用于将所述体态分类损失和属性标签损失加权相加可计算得到网络总损失L＝αLpose+βLatt；
优化单元，用于使用梯度下降算法Adam对网络中的参数进行优化，通过多次迭代，使得网络向损失变小的方向收敛；
测试确定单元，用于将裁剪好的垂直鱼眼镜头拍摄的行人图片输入优化后的网络，如果网络的损失达到预设损失，则所述GoogleNet网络优化完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910974378.4A CN110717544B (zh) | 2019-10-14 | 2019-10-14 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910974378.4A CN110717544B (zh) | 2019-10-14 | 2019-10-14 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717544A true CN110717544A (zh) | 2020-01-21 |
| CN110717544B CN110717544B (zh) | 2023-05-16 |
Family
ID=69211602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910974378.4A Active CN110717544B (zh) | 2019-10-14 | 2019-10-14 | 一种垂直鱼眼镜头下行人属性分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717544B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418261A (zh) * | 2020-09-17 | 2021-02-26 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344700A (zh) * | 2018-08-22 | 2019-02-15 | 浙江工商大学 | 一种基于深度神经网络的行人姿态属性识别方法 |
| CN110046553A (zh) * | 2019-03-21 | 2019-07-23 | 华中科技大学 | 一种融合属性特征的行人重识别模型、方法及系统 |
| CN110245592A (zh) * | 2019-06-03 | 2019-09-17 | 上海眼控科技股份有限公司 | 一种用于提升监控场景的行人重识别率的方法 |
-
2019
- 2019-10-14 CN CN201910974378.4A patent/CN110717544B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344700A (zh) * | 2018-08-22 | 2019-02-15 | 浙江工商大学 | 一种基于深度神经网络的行人姿态属性识别方法 |
| CN110046553A (zh) * | 2019-03-21 | 2019-07-23 | 华中科技大学 | 一种融合属性特征的行人重识别模型、方法及系统 |
| CN110245592A (zh) * | 2019-06-03 | 2019-09-17 | 上海眼控科技股份有限公司 | 一种用于提升监控场景的行人重识别率的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418261A (zh) * | 2020-09-17 | 2021-02-26 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
| CN112418261B (zh) * | 2020-09-17 | 2022-05-03 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717544B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416250B (zh) | 人数统计方法及装置 | |
| CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
| CN105469029A (zh) | 用于对象再识别的系统和方法 | |
| CN109902573A (zh) | 面向矿井下视频监控的多摄像机无标注行人重识别方法 | |
| CN110110601A (zh) | 基于多时空注意力模型的视频行人重识别算法及装置 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN110807434A (zh) | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 | |
| CN108427740B (zh) | 一种基于深度度量学习的图像情感分类与检索算法 | |
| JP2016110635A (ja) | 画像署名をフィッシャーベクトルとマッチングするための適応型語彙 | |
| CN111539351B (zh) | 一种多任务级联的人脸选帧比对方法 | |
| WO2022218396A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN108764018A (zh) | 一种基于卷积神经网络的多任务车辆再识别方法及装置 | |
| CN110728216A (zh) | 一种基于行人属性自适应学习的无监督行人再识别方法 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN116363738A (zh) | 一种基于多移动目标的人脸识别方法、系统及存储介质 | |
| CN112507853A (zh) | 一种基于互注意力机制的跨模态行人重识别方法 | |
| CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
| CN110717544A (zh) | 一种垂直鱼眼镜头下行人属性分析方法及系统 | |
| Roy et al. | AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network | |
| CN113920470B (zh) | 一种基于自注意力机制的行人检索方法 | |
| CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |