CN111461169A - 基于正反卷积和多层分支深度网络的行人属性识别方法 - Google Patents
基于正反卷积和多层分支深度网络的行人属性识别方法 Download PDFInfo
- Publication number
- CN111461169A CN111461169A CN202010142676.XA CN202010142676A CN111461169A CN 111461169 A CN111461169 A CN 111461169A CN 202010142676 A CN202010142676 A CN 202010142676A CN 111461169 A CN111461169 A CN 111461169A
- Authority
- CN
- China
- Prior art keywords
- attribute
- network
- convolution
- block
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于正反卷积和多层分支深度网络的行人属性识别方法,首先通过mix‑up数据增强方法对数据进行处理,提高训练数据的鲁棒性,然后提出了正反卷积模块,即将瓶颈网络(bottleneck)中的1×1卷积修改为3×3卷积,3×3卷积修改为3×3反卷积,用于需要改变通道数的特征提取,能够提高网络的分类精度,并将其应用于DenseNet网络中bottleneck结构的改造,用于构建基于多层分支的多任务行人属性识别网络。本发明方法可以提取到更丰富的特征,显著提高了分类精度,尤其是在小数据集的情况下,能够在尺度较小的属性上实现分类效果的提升。
Description
技术领域
本发明涉及计算机视觉监控技术领域,具体涉及一种基于正反卷积和多层分支深度网络的行人属性识别方法。
背景技术
近年来,智能视频监控技术已被用于对视频进行自动处理和分析以节省昂贵的人力资源。视频分析在视频商业智能和视觉监控等领域具有很高的应用潜力,其应用范围可以从寻找失踪儿童到虚拟现实。视频分析是智能视频监控系统的关键模块,其中就包括行人属性的视觉识别,如性别,着装、是否背包等。
行人属性识别在视频监控、智能商业视频、行人重识别、人脸识别等领域有着广泛的应用前景,受到了越来越多的研究者的关注。对于行人属性识别任务而言,不同属性任务之间需要使用的特征在一定程度上是可以重复利用的,所以这是一个典型的多任务学习的问题。但是现有的行人属性识别方法识别精度不够准确,需要进一步改进。
发明内容
本发明的目的是提供了一种能提升分类效果的行人属性识别方法,基于正反卷积结构和DenseNet多层分支网络可提取更加丰富的特征,显著提高分类精度。
为了达到上述目的,本发明通过以下技术方案来实现:
基于正反卷积和多层分支深度网络的行人属性识别方法,包括如下步骤:
S1)将所选择的行人属性都转化为多个二分类属性;
S2)构建新的网络模型
在DenseNet(密集连接卷积神经网络)中加入正反卷积结构,对网络结构进行改进,即将DenseNet中的瓶颈网络(bottleneck)结构修改为正反卷积结构的Basic Block结构,如图2所示,即将bottleneck中的1×1卷积修改为3×3卷积,3×3卷积修改为3×3反卷积。
在无预训练的情况下,将网络最末尾的线性分类器改为多个二分类线性分类器,进行训练;
S3)根据需求,对训练得到的分类结果较差的属性自底向上进行分支;对分类结果仍然不理想的属性,继续自底向上的分支过程,但需保持总深度不变;
重复步骤S3),直到网络输出的各属性分类性能满足要求或无法继续分支;
S4)迁移预训练模型参数,载入ImageNet预训练模型,固定特征提取参数进行训练;
S5)解除预训练模型参数的固定,进行综合微调的训练;
进一步地,步骤S3)中,对于DenseNet中的n个Dense Block结构,每个Dense Block有12层,自底向上进行分支,首先将最底层(第n层)的Dense Block改为两个结构一样的分支,分别表示为Dense_Blockn.1和Dense_Blockn.2;将步骤S2)中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面,将结果较差的属性分类器接在Dense_Blockn.2后面,对调整后的网络进行训练;若Dense_Blockn.2分支中仍有分类结果较差的属性,则将原网络中的第n-1层的Dense_Block(n-1)同样进行上述的分支操作,将分类效果不理想的属性分离出来,放入新的分支Dense_Blockn.3中,该新分支连接到第n-1层的第二个分支后面。依此类推,直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
本发明与现有技术相比,具有以下优点:
本发明提出的基于正反卷积和多层分支深度学习网络的多任务行人属性识别方法,与已有的方法相比,所提出的方法可以提取到更丰富的特征,显著提高了分类精度,尤其是在小数据集的情况下,能够在尺度较小的属性上实现分类效果的提升。本发明通过自然分支的多任务学习模型,迁移预训练模型的网络参数到行人属性识别网络,并将卷积神经网络最后一层线性分类器转化为多组二分类线性分类器,对这些二分类器的决策结果进行整合得到最终的分类结果,能够有效提高行人属性识别的准确率。
附图说明
图1是本发明正反卷积结构代替瓶颈结构的示意图。
图2是本发明构建行人属性识别深度网络模型的流程示意图。
图3是本发明基于正反卷积结构的Densenet网络示意图。
图4是本发明基于正反卷积结构的双分支Densenet网络示意图。
图5是本发明基于正反卷积结构的三分支Densenet网络示意图。
具体实施方式
下面结合附图,对本发明的实施例作进一步详细的描述。
本发明基于正反卷积和多层分支深度网络的行人属性识别方法,包括构建行人属性识别深度网络模型和可选择的正反卷积结构代替瓶颈结构两个部分。通过迁移预训练网络参数到行人属性识别上的方法,帮助行人属性识别网络进行学习,利用带分支的深度网络提取了行人属性样本的特征,再利用不同分支的深度特征构造多组二分类线性分类器,并对这些二分类器的决策结果进行整合得到最终的分类结果。
如图1所示,基于正反卷积和多层分支深度网络的行人属性识别方法,包括如下步骤:
S1)将所选择的行人属性都转化为多个二分类属性。
具体实现过程如下:以长短发三分类属性为例(长发、短发、不确定)转化为(有长发特征、无长发特征)、(有短发特征、无短发特征)两个二分类属性。原属性中的(不确定)意味着图片中没有具体的长短发特征,如戴了帽子,故归入(无长发特征)、(无短发特征)类别中;原属性中(长发)对应(有长发特征)、(无短发特征);原属性中(短发)对应(无长发特征)、(有短发特征)。
S2)构建新的网络模型
在DenseNet(密集连接卷积神经网络)中加入正反卷积结构,对网络结构进行改进,即将DenseNet中的瓶颈网络(bottleneck)结构修改为正反卷积结构的Basic Block结构,如图2所示,即将bottleneck中的1×1卷积修改为3×3卷积,3×3卷积修改为3×3反卷积。
正反卷积结构的灵感来自于图像分割领域中的先卷积再反卷积得到原图的分割图的思路,这里我们直觉上认为原图与分割图处于相近的层次,并试图通过这种方式避免特征图之间的特征层次的区别,并且因为在这个结构中使用了下采样接上采样两次的特征提取,使升降维后的特征被提取得更加充分。
在无预训练的情况下,将网络最末尾的线性分类器改为多个二分类线性分类器,进行训练。
具体实现过程如下:将原DenseNet中批归一化+激活函数+1×1卷积接批归一化+激活函数+3×3卷积(BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3))的瓶颈(bottleneck)网络结构,修改为:批归一化+激活函数+3×3卷积接批归一化+激活函数+3×3反卷积((BN-ReLU-Conv(3×3)-BN-ReLU-反卷积(3×3)))的结构。
S3)根据需求,对训练得到结果较差的属性自底向上进行分支。
具体实现过程如下:对于DenseNet中的n个Dense Block结构,如图3所示;每个Dense Block有12层,然后自底向上进行分支,首先将最底层(第n层)的Dense Block改为两个结构一样的分支,分别表示为Dense_Blockn.1和Dense_Blockn.2,如图4所示;将步骤S2)中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面,将结果较差的属性分类器接在Dense_Blockn.2后面,对调整后的网络进行训练;若Dense_Blockn.2分支中仍有分类结果较差的属性,则将原网络中的第n-1层的Dense_Block(n-1)同样进行上述的分支操作,将分类效果不理想的属性分离出来,放入新的分支Dense_Blockn.3中,该新分支连接到第n-1层的第二个分支后面,如图5所示;依此类推,直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
S4)迁移预训练模型参数,未经修改的densenet121预训练模型可以从torchvision官方提供的资源中进行下载,具体需要迁移的参数详见表1,如果因为版本原因无法载入可使用非严格模式,或者所有的BN层只载入weight,bias,running_mean,running_var参数即可。修改后的densenet也将对应的参数进行迁移即可。
表1 pytorch平台下torchvision官方densenet121预训练模型需要迁移的参数列表
载入ImageNet(A Large-Scale Hierarchical Image Database)预训练模型,固 定特征提取参数进行训练。
所述预训练网络的网络结构及其训练方法已有文献公开披露。若时间充足,还可将DenseNet结构中的瓶颈(bottleneck)结构更换为正反卷积结构,可以获得精度的增益,但目前尚无公开的ImageNet预训练模型,需要自行训练。
S5)解除预训练模型参数的固定,进行综合微调的训练。
S6)将结果转化回需要的属性空间。
具体实现过程如下:以长短发三分类属性为例,若输出的结果为(有长发特征)、(有短发特征),则根据两个二分类属性输出数值的大小作出判断;若(有长发特征)属性值大于(有短发特征)属性值,则判定为(长发),否则判定为(短发);若输出结果为(无长发特征)、(无短发特征),则判定为(不确定);若输出结果为(有长发特征)、(无短发特征),则判定为(长发);若输出结果为(无长发特征)、(有短发特征),则判定为(短发)。
以上所述仅是本发明优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.基于正反卷积和多层分支深度网络的行人属性识别方法,其特征在于包括如下步骤:
S1)将所选择的行人属性都转化为多个二分类属性;
S2)构建新的网络模型
在DenseNet中加入正反卷积结构,对网络结构进行改进,将DenseNet中的瓶颈网络结构修改为正反卷积结构的Basic Block结构,将bottleneck中的1×1卷积修改为3×3卷积,3×3卷积修改为3×3反卷积;
在无预训练的情况下,将网络最末尾的线性分类器改为多个二分类线性分类器,进行训练;
S3)根据需求,对训练得到的分类结果较差的属性自底向上进行分支;对分类结果仍然不理想的属性,继续自底向上的分支过程,但需保持总深度不变;
重复步骤S3),直到网络输出的各属性分类性能满足要求或无法继续分支;
S4)迁移预训练模型参数,载入ImageNet预训练模型,固定特征提取参数进行训练;
S5)解除预训练模型参数的固定,进行综合微调的训练;
2.根据权利要求1所属的基于正反卷积和多层分支深度网络的行人属性识别方法,其特征在于:
步骤S3)中,对于DenseNet中的n个Dense Block结构,每个Dense Block有12层,自底向上进行分支,首先将最底层的Dense Block改为两个结构一样的分支,分别表示为Dense_Blockn.1和Dense_Blockn.2;将步骤S2)中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面,将结果较差的属性分类器接在Dense_Blockn.2后面,对调整后的网络进行训练;若Dense_Blockn.2分支中仍有分类结果较差的属性,则将原网络中的第n-1层的Dense_Block同样进行上述的分支操作,将分类效果不理想的属性分离出来,放入新的分支Dense_Blockn.3中,该新分支连接到第n-1层的第二个分支后面;依此类推,直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010142676.XA CN111461169B (zh) | 2020-03-04 | 2020-03-04 | 基于正反卷积和多层分支深度网络的行人属性识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010142676.XA CN111461169B (zh) | 2020-03-04 | 2020-03-04 | 基于正反卷积和多层分支深度网络的行人属性识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111461169A true CN111461169A (zh) | 2020-07-28 |
CN111461169B CN111461169B (zh) | 2023-04-07 |
Family
ID=71681812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010142676.XA Active CN111461169B (zh) | 2020-03-04 | 2020-03-04 | 基于正反卷积和多层分支深度网络的行人属性识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111461169B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116562338A (zh) * | 2022-01-27 | 2023-08-08 | 美的集团(上海)有限公司 | 多分支卷积结构、神经网络模型及其确定方法、确定装置 |
CN116912680A (zh) * | 2023-06-25 | 2023-10-20 | 西南交通大学 | Sar舰船识别跨模态域迁移学习、识别方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203318A (zh) * | 2016-06-29 | 2016-12-07 | 浙江工商大学 | 基于多层次深度特征融合的摄像机网络行人识别方法 |
CN107992938A (zh) * | 2017-11-24 | 2018-05-04 | 清华大学 | 基于正反卷积神经网络的时空大数据预测方法和系统 |
KR101941994B1 (ko) * | 2018-08-24 | 2019-01-24 | 전북대학교산학협력단 | 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 |
CN109284733A (zh) * | 2018-10-15 | 2019-01-29 | 浙江工业大学 | 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 |
US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
CN109766873A (zh) * | 2019-02-01 | 2019-05-17 | 中国人民解放军陆军工程大学 | 一种混合可变形卷积的行人再识别方法 |
-
2020
- 2020-03-04 CN CN202010142676.XA patent/CN111461169B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203318A (zh) * | 2016-06-29 | 2016-12-07 | 浙江工商大学 | 基于多层次深度特征融合的摄像机网络行人识别方法 |
US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
CN107992938A (zh) * | 2017-11-24 | 2018-05-04 | 清华大学 | 基于正反卷积神经网络的时空大数据预测方法和系统 |
KR101941994B1 (ko) * | 2018-08-24 | 2019-01-24 | 전북대학교산학협력단 | 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 |
CN109284733A (zh) * | 2018-10-15 | 2019-01-29 | 浙江工业大学 | 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 |
CN109766873A (zh) * | 2019-02-01 | 2019-05-17 | 中国人民解放军陆军工程大学 | 一种混合可变形卷积的行人再识别方法 |
Non-Patent Citations (2)
Title |
---|
KAI HAN等: "Attribute Aware Pooling for Pedestrian Attribute Recognition" * |
夏开国;田畅;: "基于多辅助分支深度网络的行人再识别" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116562338A (zh) * | 2022-01-27 | 2023-08-08 | 美的集团(上海)有限公司 | 多分支卷积结构、神经网络模型及其确定方法、确定装置 |
CN116912680A (zh) * | 2023-06-25 | 2023-10-20 | 西南交通大学 | Sar舰船识别跨模态域迁移学习、识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111461169B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079795B (zh) | 基于cnn的分片多尺度特征融合的图像分类方法 | |
CN110766063B (zh) | 基于压缩激励和紧密连接卷积神经网络的图像分类方法 | |
CN111832546B (zh) | 一种轻量级自然场景文本识别方法 | |
CN112446388A (zh) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 | |
CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
CN111738303B (zh) | 一种基于层次学习的长尾分布图像识别方法 | |
CN108804453A (zh) | 一种视音频识别方法及装置 | |
CN109993100A (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
CN110705379A (zh) | 一种基于多标签学习的卷积神经网络的表情识别方法 | |
CN113449671B (zh) | 一种多尺度多特征融合的行人重识别方法及装置 | |
CN111461169B (zh) | 基于正反卷积和多层分支深度网络的行人属性识别方法 | |
CN111680739A (zh) | 一种目标检测和语义分割的多任务并行方法及系统 | |
CN106897667A (zh) | 一种人脸检索方法和系统 | |
CN109376763A (zh) | 基于多样本推理神经网络的样本分类方法、系统及介质 | |
CN115222950A (zh) | 一种面向嵌入式平台的轻量化目标检测方法 | |
CN112364705A (zh) | 基于多层次特征融合的轻量型cnn的表情识别方法 | |
CN112597919A (zh) | 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法 | |
CN115512357A (zh) | 一种基于部件拆分的零样本汉字识别方法 | |
CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN115359294A (zh) | 一种基于相似性正则化类内挖掘的跨粒度小样本学习方法 | |
CN114463340A (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN118038139A (zh) | 一种基于大模型微调的多模态小样本图像分类方法 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN106570514A (zh) | 一种基于词袋模型和支持向量机的汽车轮毂分类方法 | |
CN112785663A (zh) | 一种基于任意形状卷积核的图像分类网络压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |