CN111461169A - 基于正反卷积和多层分支深度网络的行人属性识别方法 - Google Patents

基于正反卷积和多层分支深度网络的行人属性识别方法 Download PDF

Info

Publication number
CN111461169A
CN111461169A CN202010142676.XA CN202010142676A CN111461169A CN 111461169 A CN111461169 A CN 111461169A CN 202010142676 A CN202010142676 A CN 202010142676A CN 111461169 A CN111461169 A CN 111461169A
Authority
CN
China
Prior art keywords
attribute
network
convolution
block
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010142676.XA
Other languages
English (en)
Other versions
CN111461169B (zh
Inventor
王慧燕
潘峥昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202010142676.XA priority Critical patent/CN111461169B/zh
Publication of CN111461169A publication Critical patent/CN111461169A/zh
Application granted granted Critical
Publication of CN111461169B publication Critical patent/CN111461169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于正反卷积和多层分支深度网络的行人属性识别方法，首先通过mix‑up数据增强方法对数据进行处理，提高训练数据的鲁棒性，然后提出了正反卷积模块，即将瓶颈网络（bottleneck）中的1×1卷积修改为3×3卷积，3×3卷积修改为3×3反卷积，用于需要改变通道数的特征提取，能够提高网络的分类精度，并将其应用于DenseNet网络中bottleneck结构的改造，用于构建基于多层分支的多任务行人属性识别网络。本发明方法可以提取到更丰富的特征，显著提高了分类精度，尤其是在小数据集的情况下，能够在尺度较小的属性上实现分类效果的提升。

Description

基于正反卷积和多层分支深度网络的行人属性识别方法
技术领域
本发明涉及计算机视觉监控技术领域，具体涉及一种基于正反卷积和多层分支深度网络的行人属性识别方法。
背景技术
近年来，智能视频监控技术已被用于对视频进行自动处理和分析以节省昂贵的人力资源。视频分析在视频商业智能和视觉监控等领域具有很高的应用潜力，其应用范围可以从寻找失踪儿童到虚拟现实。视频分析是智能视频监控系统的关键模块，其中就包括行人属性的视觉识别，如性别，着装、是否背包等。
行人属性识别在视频监控、智能商业视频、行人重识别、人脸识别等领域有着广泛的应用前景，受到了越来越多的研究者的关注。对于行人属性识别任务而言，不同属性任务之间需要使用的特征在一定程度上是可以重复利用的，所以这是一个典型的多任务学习的问题。但是现有的行人属性识别方法识别精度不够准确，需要进一步改进。
发明内容
本发明的目的是提供了一种能提升分类效果的行人属性识别方法，基于正反卷积结构和DenseNet多层分支网络可提取更加丰富的特征，显著提高分类精度。
为了达到上述目的，本发明通过以下技术方案来实现：
基于正反卷积和多层分支深度网络的行人属性识别方法，包括如下步骤：
S1）将所选择的行人属性都转化为多个二分类属性；
对于m种行人属性，每种属性分别有
Figure DEST_PATH_IMAGE001
个类别且包含不确定类别，能转化为
Figure 781901DEST_PATH_IMAGE002
个二分类属性；
S2）构建新的网络模型
在DenseNet（密集连接卷积神经网络）中加入正反卷积结构，对网络结构进行改进，即将DenseNet中的瓶颈网络（bottleneck）结构修改为正反卷积结构的Basic Block结构，如图2所示，即将bottleneck中的1×1卷积修改为3×3卷积，3×3卷积修改为3×3反卷积。
在无预训练的情况下，将网络最末尾的线性分类器改为多个二分类线性分类器，进行训练；
S3）根据需求，对训练得到的分类结果较差的属性自底向上进行分支；对分类结果仍然不理想的属性，继续自底向上的分支过程，但需保持总深度不变；
重复步骤S3），直到网络输出的各属性分类性能满足要求或无法继续分支；
S4）迁移预训练模型参数，载入ImageNet预训练模型，固定特征提取参数进行训练；
S5）解除预训练模型参数的固定，进行综合微调的训练；
S6）将结果转化回需要的属性空间，将输出的
Figure 574276DEST_PATH_IMAGE002
个二分类属性转化回原先的
Figure DEST_PATH_IMAGE003
种行人属性，每种属性分别有
Figure 511664DEST_PATH_IMAGE001
个类别。
进一步地，步骤S3）中，对于DenseNet中的n个Dense Block结构，每个Dense Block有12层，自底向上进行分支，首先将最底层（第n层）的Dense Block改为两个结构一样的分支，分别表示为Dense_Blockn.1和Dense_Blockn.2；将步骤S2）中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面，将结果较差的属性分类器接在Dense_Blockn.2后面，对调整后的网络进行训练；若Dense_Blockn.2分支中仍有分类结果较差的属性，则将原网络中的第n-1层的Dense_Block（n-1）同样进行上述的分支操作，将分类效果不理想的属性分离出来，放入新的分支Dense_Blockn.3中，该新分支连接到第n-1层的第二个分支后面。依此类推，直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
本发明与现有技术相比，具有以下优点：
本发明提出的基于正反卷积和多层分支深度学习网络的多任务行人属性识别方法，与已有的方法相比，所提出的方法可以提取到更丰富的特征，显著提高了分类精度，尤其是在小数据集的情况下，能够在尺度较小的属性上实现分类效果的提升。本发明通过自然分支的多任务学习模型，迁移预训练模型的网络参数到行人属性识别网络，并将卷积神经网络最后一层线性分类器转化为多组二分类线性分类器，对这些二分类器的决策结果进行整合得到最终的分类结果，能够有效提高行人属性识别的准确率。
附图说明
图1是本发明正反卷积结构代替瓶颈结构的示意图。
图2是本发明构建行人属性识别深度网络模型的流程示意图。
图3是本发明基于正反卷积结构的Densenet网络示意图。
图4是本发明基于正反卷积结构的双分支Densenet网络示意图。
图5是本发明基于正反卷积结构的三分支Densenet网络示意图。
具体实施方式
下面结合附图，对本发明的实施例作进一步详细的描述。
本发明基于正反卷积和多层分支深度网络的行人属性识别方法，包括构建行人属性识别深度网络模型和可选择的正反卷积结构代替瓶颈结构两个部分。通过迁移预训练网络参数到行人属性识别上的方法，帮助行人属性识别网络进行学习，利用带分支的深度网络提取了行人属性样本的特征，再利用不同分支的深度特征构造多组二分类线性分类器，并对这些二分类器的决策结果进行整合得到最终的分类结果。
如图1所示，基于正反卷积和多层分支深度网络的行人属性识别方法，包括如下步骤：
S1）将所选择的行人属性都转化为多个二分类属性。
如果选择的行人属性有
Figure 98503DEST_PATH_IMAGE003
种，每种属性分别有
Figure 321674DEST_PATH_IMAGE001
个类别且包含不确定类别，则能 转化为
Figure 652161DEST_PATH_IMAGE002
个二分类属性，不确定类别被隐含在了所有二分类属性都为非的类别中。
具体实现过程如下：以长短发三分类属性为例（长发、短发、不确定）转化为（有长发特征、无长发特征）、（有短发特征、无短发特征）两个二分类属性。原属性中的（不确定）意味着图片中没有具体的长短发特征，如戴了帽子，故归入（无长发特征）、（无短发特征）类别中；原属性中（长发）对应（有长发特征）、（无短发特征）；原属性中（短发）对应（无长发特征）、（有短发特征）。
S2）构建新的网络模型
在DenseNet（密集连接卷积神经网络）中加入正反卷积结构，对网络结构进行改进，即将DenseNet中的瓶颈网络（bottleneck）结构修改为正反卷积结构的Basic Block结构，如图2所示，即将bottleneck中的1×1卷积修改为3×3卷积，3×3卷积修改为3×3反卷积。
正反卷积结构的灵感来自于图像分割领域中的先卷积再反卷积得到原图的分割图的思路，这里我们直觉上认为原图与分割图处于相近的层次，并试图通过这种方式避免特征图之间的特征层次的区别，并且因为在这个结构中使用了下采样接上采样两次的特征提取，使升降维后的特征被提取得更加充分。
在无预训练的情况下，将网络最末尾的线性分类器改为多个二分类线性分类器，进行训练。
具体实现过程如下：将原DenseNet中批归一化+激活函数+1×1卷积接批归一化+激活函数+3×3卷积（BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)）的瓶颈（bottleneck）网络结构，修改为：批归一化+激活函数+3×3卷积接批归一化+激活函数+3×3反卷积（（BN-ReLU-Conv(3×3)-BN-ReLU-反卷积(3×3)））的结构。
S3）根据需求，对训练得到结果较差的属性自底向上进行分支。
具体实现过程如下：对于DenseNet中的n个Dense Block结构，如图3所示；每个Dense Block有12层，然后自底向上进行分支，首先将最底层（第n层）的Dense Block改为两个结构一样的分支，分别表示为Dense_Blockn.1和Dense_Blockn.2，如图4所示；将步骤S2）中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面，将结果较差的属性分类器接在Dense_Blockn.2后面，对调整后的网络进行训练；若Dense_Blockn.2分支中仍有分类结果较差的属性，则将原网络中的第n-1层的Dense_Block（n-1）同样进行上述的分支操作，将分类效果不理想的属性分离出来，放入新的分支Dense_Blockn.3中，该新分支连接到第n-1层的第二个分支后面，如图5所示；依此类推，直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
S4）迁移预训练模型参数，未经修改的densenet121预训练模型可以从torchvision官方提供的资源中进行下载，具体需要迁移的参数详见表1，如果因为版本原因无法载入可使用非严格模式，或者所有的BN层只载入weight,bias,running_mean,running_var参数即可。修改后的densenet也将对应的参数进行迁移即可。
表1 pytorch平台下torchvision官方densenet121预训练模型需要迁移的参数列表
Figure RE-GDA0002485679350000051
载入ImageNet(A Large-Scale Hierarchical Image Database)预训练模型，固 定特征提取参数进行训练。
所述预训练网络的网络结构及其训练方法已有文献公开披露。若时间充足，还可将DenseNet结构中的瓶颈（bottleneck）结构更换为正反卷积结构，可以获得精度的增益，但目前尚无公开的ImageNet预训练模型，需要自行训练。
S5）解除预训练模型参数的固定，进行综合微调的训练。
S6）将结果转化回需要的属性空间。
将输出的
Figure 503443DEST_PATH_IMAGE006
个二分类属性转化回原先的
Figure 402129DEST_PATH_IMAGE003
种行人属性，每种属性分别有
Figure DEST_PATH_IMAGE007
个类别。
具体实现过程如下：以长短发三分类属性为例，若输出的结果为（有长发特征）、（有短发特征），则根据两个二分类属性输出数值的大小作出判断；若（有长发特征）属性值大于（有短发特征）属性值，则判定为（长发），否则判定为（短发）；若输出结果为（无长发特征）、（无短发特征），则判定为（不确定）；若输出结果为（有长发特征）、（无短发特征），则判定为（长发）；若输出结果为（无长发特征）、（有短发特征），则判定为（短发）。
以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (2)

1.基于正反卷积和多层分支深度网络的行人属性识别方法，其特征在于包括如下步骤：
S1）将所选择的行人属性都转化为多个二分类属性；
对于m种行人属性，每种属性分别有
Figure 933385DEST_PATH_IMAGE001
个类别且包含不确定类别，能转化为
Figure 24838DEST_PATH_IMAGE002
个二分类属性；
S2）构建新的网络模型
在DenseNet中加入正反卷积结构，对网络结构进行改进，将DenseNet中的瓶颈网络结构修改为正反卷积结构的Basic Block结构，将bottleneck中的1×1卷积修改为3×3卷积，3×3卷积修改为3×3反卷积；
在无预训练的情况下，将网络最末尾的线性分类器改为多个二分类线性分类器，进行训练；
S3）根据需求，对训练得到的分类结果较差的属性自底向上进行分支；对分类结果仍然不理想的属性，继续自底向上的分支过程，但需保持总深度不变；
重复步骤S3），直到网络输出的各属性分类性能满足要求或无法继续分支；
S4）迁移预训练模型参数，载入ImageNet预训练模型，固定特征提取参数进行训练；
S5）解除预训练模型参数的固定，进行综合微调的训练；
S6）将结果转化回需要的属性空间，将输出的
Figure 265326DEST_PATH_IMAGE002
个二分类属性转化回原先的
Figure 809440DEST_PATH_IMAGE003
种行人属性，每种属性分别有
Figure 426366DEST_PATH_IMAGE001
个类别。
2.根据权利要求1所属的基于正反卷积和多层分支深度网络的行人属性识别方法，其特征在于：
步骤S3）中，对于DenseNet中的n个Dense Block结构，每个Dense Block有12层，自底向上进行分支，首先将最底层的Dense Block改为两个结构一样的分支，分别表示为Dense_Blockn.1和Dense_Blockn.2；将步骤S2）中得到的分类结果较好的属性分类器接在Dense_Blockn.1后面，将结果较差的属性分类器接在Dense_Blockn.2后面，对调整后的网络进行训练；若Dense_Blockn.2分支中仍有分类结果较差的属性，则将原网络中的第n-1层的Dense_Block同样进行上述的分支操作，将分类效果不理想的属性分离出来，放入新的分支Dense_Blockn.3中，该新分支连接到第n-1层的第二个分支后面；依此类推，直到网络输出的所有属性分类性能满足要求或无法继续分支为止。
CN202010142676.XA 2020-03-04 2020-03-04 基于正反卷积和多层分支深度网络的行人属性识别方法 Active CN111461169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142676.XA CN111461169B (zh) 2020-03-04 2020-03-04 基于正反卷积和多层分支深度网络的行人属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142676.XA CN111461169B (zh) 2020-03-04 2020-03-04 基于正反卷积和多层分支深度网络的行人属性识别方法

Publications (2)

Publication Number Publication Date
CN111461169A true CN111461169A (zh) 2020-07-28
CN111461169B CN111461169B (zh) 2023-04-07

Family

ID=71681812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142676.XA Active CN111461169B (zh) 2020-03-04 2020-03-04 基于正反卷积和多层分支深度网络的行人属性识别方法

Country Status (1)

Country Link
CN (1) CN111461169B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562338A (zh) * 2022-01-27 2023-08-08 美的集团(上海)有限公司 多分支卷积结构、神经网络模型及其确定方法、确定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203318A (zh) * 2016-06-29 2016-12-07 浙江工商大学 基于多层次深度特征融合的摄像机网络行人识别方法
CN107992938A (zh) * 2017-11-24 2018-05-04 清华大学 基于正反卷积神经网络的时空大数据预测方法和系统
KR101941994B1 (ko) * 2018-08-24 2019-01-24 전북대학교산학협력단 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
CN109284733A (zh) * 2018-10-15 2019-01-29 浙江工业大学 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN109766873A (zh) * 2019-02-01 2019-05-17 中国人民解放军陆军工程大学 一种混合可变形卷积的行人再识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203318A (zh) * 2016-06-29 2016-12-07 浙江工商大学 基于多层次深度特征融合的摄像机网络行人识别方法
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN107992938A (zh) * 2017-11-24 2018-05-04 清华大学 基于正反卷积神经网络的时空大数据预测方法和系统
KR101941994B1 (ko) * 2018-08-24 2019-01-24 전북대학교산학협력단 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
CN109284733A (zh) * 2018-10-15 2019-01-29 浙江工业大学 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN109766873A (zh) * 2019-02-01 2019-05-17 中国人民解放军陆军工程大学 一种混合可变形卷积的行人再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI HAN等: "Attribute Aware Pooling for Pedestrian Attribute Recognition" *
夏开国;田畅;: "基于多辅助分支深度网络的行人再识别" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562338A (zh) * 2022-01-27 2023-08-08 美的集团(上海)有限公司 多分支卷积结构、神经网络模型及其确定方法、确定装置

Also Published As

Publication number Publication date
CN111461169B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110766063B (zh) 基于压缩激励和紧密连接卷积神经网络的图像分类方法
CN111210443A (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111832546B (zh) 一种轻量级自然场景文本识别方法
CN110222634B (zh) 一种基于卷积神经网络的人体姿态识别方法
CN102314614B (zh) 一种基于类共享多核学习的图像语义分类方法
CN112446388A (zh) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN111881714A (zh) 一种无监督跨域行人再识别方法
CN111079795A (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN111738303B (zh) 一种基于层次学习的长尾分布图像识别方法
CN108804453A (zh) 一种视音频识别方法及装置
CN109993100A (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN111680739A (zh) 一种目标检测和语义分割的多任务并行方法及系统
CN115222950A (zh) 一种面向嵌入式平台的轻量化目标检测方法
CN112597919A (zh) 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法
CN113449671A (zh) 一种多尺度多特征融合的行人重识别方法及装置
CN115062727A (zh) 一种基于多阶超图卷积网络的图节点分类方法及系统
CN111461169B (zh) 基于正反卷积和多层分支深度网络的行人属性识别方法
CN114463340A (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN106570514A (zh) 一种基于词袋模型和支持向量机的汽车轮毂分类方法
CN111695450A (zh) 一种基于IMobileNet的人脸快速识别方法
CN110363198A (zh) 一种神经网络权重矩阵拆分与组合的方法
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant