CN111898510B - 一种基于渐进式神经网络的跨模态行人再识别方法 - Google Patents
一种基于渐进式神经网络的跨模态行人再识别方法 Download PDFInfo
- Publication number
- CN111898510B CN111898510B CN202010715795.XA CN202010715795A CN111898510B CN 111898510 B CN111898510 B CN 111898510B CN 202010715795 A CN202010715795 A CN 202010715795A CN 111898510 B CN111898510 B CN 111898510B
- Authority
- CN
- China
- Prior art keywords
- network
- pedestrian
- infrared
- layer
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一基于渐进式神经网络的跨模态行人再识别方法,其步骤包括:1、准备红外‑可见光的行人数据集,并做预处理;2、构建双路卷积神经网络分别提取红外图像和可见光图像特征;3、基于渐进式神经网络架构搜索的方法,使用HyperNet辅助,搜索最优特征嵌入网络架构;4、使用测试集进行测试。本发明能通过渐进式神经网络架构搜索的方法,更好的生成跨模态的特征空间,从而提高红外与可见光的行人再识别的准确度。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于渐进式神经网络架构搜索的红外与可见光跨模态行人再识别方法。
背景技术
近年来,随着视频监控系统在的普及,行人再识别技术引起了学术界和工业界的广泛关注,是计算机视觉领域的一个研究热点。现有的行人再识别技术仅利用一般可见光图像进行识别,然而单一的可见光行人再识别只能解决充足光照条件下的行人识别任务,在夜间或者是光照不足的情况下,识别效果并不尽人意。
与传统的行人再识别有所不同,红外与可见光跨模态行人再识别技术可以利用行人的可见光(红外)图像去搜索跨设备下该行人的红外(可见光)图像。如今的摄像机大多都将红外和可见光功能配在了一起,其中的红外摄像机在白天和夜晚都能够获取行人的红外图像,这为红外-可见光跨模态行人重识别的研究提供了有利的条件。
然而,由于跨模态信息之间的匹配问题,导致红外与可见光跨模态行人再识别的识别效果较差。
发明内容
本发明为克服上述现有技术中存在的问题,提出一种基于渐进式神经网络的跨模态行人再识别方法,以期能实现红外与可见光跨模态行人图像特征的有效融合,从而更好地构建跨模态特征空间,进而提高红外与可见光行人再识别的准确度。
本发明为解决技术问题采用如下技术方案:
本发明一种基于渐进式神经网络的跨模态行人再识别方法的特点包括如下步骤:
步骤1、获取红外行人图像和可见光行人图像,并构建红外与可见光行人再识别数据集,对数据集内所有图像进行相同的预处理,得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集;
步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络,并作为特征提取模块,分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征,从而作为所述特征提取模块的输出;
步骤3、构建特征嵌入模块的初始网络结构,并使用渐进式神经网络架构搜索的方法,搜索特征嵌入模块的最佳网络结构;
步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成;
所述红外分支网络中的第i层记为xi,所述可见光分支网络中的第j层为yj,所述第i层xi和第j层yj作为候选的连接层,并是卷积层、激活函数层、池化层、全连接层中的任意一种,其中,i=1,2,...,t,j=1,2,...,t,t是分支网络的最大层数;
步骤3.2、构建基于张量编码的动态超网络,用于为所述特征嵌入模块生成初期权重;
步骤3.3、采用基于序列模型优化的方法训练融合连接模型;
步骤3.3.1、初始化融合连接模型:
a、所述融合连接模型的损失函数采用三元组损失函数;
b、设定搜索迭代最大次数为Es,最大融合连接数为Lm,训练次数为Et;
定义当前连接数为L,并初始化L=2;
步骤3.3.2、执行当前连接数为L的连接操作:
所述连接操作是从将所述红外分支网络中每一层分别与所述可见光分支网络的每一层相连,从而得到t×t种连接结构所构成的特征嵌入模块的网络结构;
步骤3.3.3、使用所述训练集训练每一种连接结构所构成的特征嵌入模块的网络结构,共训练Et次,再使用验证集每一种网络结构的准确度,选取准确度最大的网络结构作为当前连接数为L的最优网络结构;
步骤3.3.4、将L+1赋值给L后,判断L>Lm是否成立,若成立,则表示获得所述特征嵌入模块的最佳网络结构,否则,执行步骤3.3.5;
步骤3.3.5、遍历所述红外分支网络和所述可见光分支网络中其余未连接的所有层,并依次选择一层与所述最优网络结构相连,从而得到当前连接数为L的所有网络结构;
步骤3.3.6、返回步骤3.3.3执行;
步骤4、由所述特征提取模块和所述特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络,并用测试集进行红外可见光跨模态行人再识别。
与已有技术相比,本发明有益效果体现在:
1.本发明利用神经网络架构搜索的方法,避免了依照经验手工设计跨模态特征嵌入模块的网络结构,实现了红外与可见光特征融合的高效率,取得了红外可见光跨模态行人再识别的较好识别效果。
2.本发明基于序列模型优化的方法,减小了神经网络架构搜索所需的搜索空间,降低了网络架构搜索的计算量,避免了传统神经网络架构搜索所需的昂贵硬件配置和漫长的训练时间。
3.本发明采用超网络HyperNet为特征嵌入模块生成初期权重,减少了学习权重的数量,使得最优融合架构搜索更加精准。
附图说明
图1为本发明红外与可见光跨模态行人再识别网络的结构图;
图2为本发明红外与可见光行人特征融合的神经网络架构搜索流程图;
图3为本发明特征嵌入模块结构图。
具体实施方式
本实施例中,一种基于渐进式神经网络的跨模态行人再识别方法,是先将红外可见光行人数据集进行预处理,然后将红外行人图像和可见光行人图像分别输入到两个相同的Resnet-50网络中逐层提取特征,最后使用渐进式神经网络架构的方法搜索最佳的特征嵌入网络结构,具体的说,如图1所示,是按如下步骤进行:
步骤1、获取红外行人图像和可见光行人图像,并构建红外与可见光行人再识别数据集,对数据集内所有图像进行相同的预处理,得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集;
在本实施例中,采用红外可见光行人数据集SYSU-MM01训练和评估模型,该数据集包括来自6个摄像机的491个有效行人ID的RGB和IR图像,给出了总共287,628张RGB图像和15,792张IR图像,选取包含296个行人ID的16,679张RGB图像和8,924张IR图像进行训练;选取96个行人ID的3803张IR图像和301张RGB图像用于测试;其余99个行人ID的图像用作验证集;
步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络,并作为特征提取模块,分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征,从而作为特征提取模块的输出;
本实施例中,选择的预训练模型为Resnet-50,包括5个下采样块和1个平均池化层,两个分支网络间实行参数共享;
步骤3、构建特征嵌入模块的初始网络结构,并使用渐进式神经网络架构搜索的方法,搜索特征嵌入模块的最佳网络结构;
步骤3.1、构建特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成;
特征嵌入模块的初始网络结构,红外分支与可见光分支间的融合连接由神经网络架构搜索确定,融合操作为加权加法融合;
如图3所示,红外分支网络中的第i层记为xi,可见光分支网络中的第j层为yj,第i层xi和第j层yj作为候选的连接层,并是卷积层、激活函数层、池化层、全连接层中的任意一种,其中,i=1,2,...,t,j=1,2,...,t,t是分支网络的最大层数;
步骤3.2、构建基于张量编码的动态超网络HyperNet,用于为特征嵌入模块生成初期权重,为早期迭代搜索提供初步指导,避免在早期网络架构搜索中仅基于部分观察做出有偏假设,使得寻找最优融合架构的搜索更加精准;
步骤3.3、采用基于序列模型优化的方法训练融合连接模型,流程如图2所示;
步骤3.3.1、初始化融合连接模型:
a、融合连接模型的损失函数采用三元组损失函数;
b、设定搜索迭代最大次数Es=27,最大融合连接数Lm=4,训练次数为Et=10;
定义当前连接数为L,并初始化L=2;
步骤3.3.2、执行当前连接数为L的连接操作:
连接操作是从将红外分支网络中每一层分别与可见光分支网络的每一层相连,从而得到t×t种连接结构所构成的特征嵌入模块的网络结构;
本实施例中,融合连接后经过激活函数ReLU处理合并为一个输出,当L=2时,连接红外分支的最后一层x5与可见光分支的最后一层y5,然后遍历连接数为L=2共4×4种可能连接:x5与y5、x5与y4、x5与y3、……、x4与y5、x4与y4、.......、x1与y1;
步骤3.3.3、使用训练集训练每一种连接结构所构成的特征嵌入模块的网络结构,共训练Et次,再使用验证集每一种网络结构的准确度,选取准确度最大的网络结构作为当前连接数为L的最优网络结构;
使用代理函数S(Θ,O)作为选出最优网络结构的依据,对每一种连接形成的特征嵌入架构Θ,使用训练集图像训练Et=10次,然后使用验证集得到当前准确度O,若当前架构的准确度大于上一次,则更新代理函数S(Θ,O),最终保留下准确度O最高的特征嵌入架构Θ;
步骤3.3.4、将L+1赋值给L后,判断L>Lm是否成立,若成立,则表示获得特征嵌入模块的最佳网络结构,否则,执行步骤3.3.5;
当连接数增加为L=3,L>Lm不成立,执行步骤3.3.5;当连接数增加为L=4,L>Lm不成立,执行步骤3.3.5;当连接数L=5,循环结束,从代理函数S(Θ,O)中得到特征嵌入模块的最佳网络结构;
步骤3.3.5、遍历红外分支网络和可见光分支网络中其余未连接的所有层,并依次选择一层与最优网络结构相连,从而得到当前连接数为L的所有网络结构;
连接数为L=3时,遍历新增12种可能的特征嵌入模块网络结构;连接数为连接数为L=4时,遍历新增9种可能的特征嵌入模块网络结构;
步骤3.3.6、返回步骤3.3.3执行;
步骤4、由特征提取模块和特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络,并用于红外可见光跨模态行人再识别;
本实施例中,使用测试集96个行人ID的图像,选取3803张IR图像用作query,301张RGB图像用作gallery,进行红外与可见光跨模态行人再识别。
Claims (1)
1.一种基于渐进式神经网络的跨模态行人再识别方法,其特征包括如下步骤:
步骤1、获取红外行人图像和可见光行人图像,并构建红外与可见光行人再识别数据集,对数据集内所有图像进行相同的预处理,得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集;
步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络,并作为特征提取模块,分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征,从而作为所述特征提取模块的输出;
步骤3、构建特征嵌入模块的初始网络结构,并使用渐进式神经网络架构搜索的方法,搜索特征嵌入模块的最佳网络结构;
步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成;
所述红外分支网络中的第i层记为xi,所述可见光分支网络中的第j层为yj,所述第i层xi和第j层yj作为候选的连接层,并是卷积层、激活函数层、池化层、全连接层中的任意一种,其中,i=1,2,...,t,j=1,2,...,t,t是分支网络的最大层数;
步骤3.2、构建基于张量编码的动态超网络,用于为所述特征嵌入模块生成初期权重;
步骤3.3、采用基于序列模型优化的方法训练融合连接模型;
步骤3.3.1、初始化融合连接模型:
a、所述融合连接模型的损失函数采用三元组损失函数;
b、设定搜索迭代最大次数为Es,最大融合连接数为Lm,训练次数为Et;
定义当前连接数为L,并初始化L=2;
步骤3.3.2、执行当前连接数为L的连接操作:
所述连接操作是从将所述红外分支网络中每一层分别与所述可见光分支网络的每一层相连,从而得到t×t种连接结构所构成的特征嵌入模块的网络结构;
步骤3.3.3、使用所述训练集训练每一种连接结构所构成的特征嵌入模块的网络结构,共训练Et次,再使用验证集验证每一种网络结构的准确度,选取准确度最大的网络结构作为当前连接数为L的最优网络结构;
步骤3.3.4、将L+1赋值给L后,判断L>Lm是否成立,若成立,则表示获得所述特征嵌入模块的最佳网络结构,否则,执行步骤3.3.5;
步骤3.3.5、遍历所述红外分支网络和所述可见光分支网络中其余未连接的所有层,并依次选择一层与所述最优网络结构相连,从而得到当前连接数为L的所有网络结构;
步骤3.3.6、返回步骤3.3.3执行;
步骤4、由所述特征提取模块和所述特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络,并用测试集进行红外可见光跨模态行人再识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010715795.XA CN111898510B (zh) | 2020-07-23 | 2020-07-23 | 一种基于渐进式神经网络的跨模态行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010715795.XA CN111898510B (zh) | 2020-07-23 | 2020-07-23 | 一种基于渐进式神经网络的跨模态行人再识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111898510A CN111898510A (zh) | 2020-11-06 |
CN111898510B true CN111898510B (zh) | 2023-07-28 |
Family
ID=73189762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010715795.XA Active CN111898510B (zh) | 2020-07-23 | 2020-07-23 | 一种基于渐进式神经网络的跨模态行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898510B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434654B (zh) * | 2020-12-07 | 2022-09-13 | 安徽大学 | 一种基于对称卷积神经网络的跨模态行人重识别方法 |
CN112926451B (zh) * | 2021-02-25 | 2022-05-03 | 厦门大学 | 基于自模仿互蒸馏的跨模态行人重识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2498364A1 (en) * | 2004-02-24 | 2005-08-24 | Dna 13 Inc. | System and method for real-time media searching and alerting |
CA2808918A1 (en) * | 2012-03-15 | 2013-09-15 | Fujitsu Limited | Path searching method and path search device |
CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
CN110909673A (zh) * | 2019-11-21 | 2020-03-24 | 河北工业大学 | 一种基于自然语言描述的行人再识别方法 |
CN110909656A (zh) * | 2019-11-18 | 2020-03-24 | 中电海康集团有限公司 | 一种雷达与摄像机融合的行人检测方法和系统 |
CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6915239B2 (en) * | 2001-01-19 | 2005-07-05 | International Business Machines Corporation | Method and apparatus for opportunistic decision support from intermittent interconnected sensors and data archives |
-
2020
- 2020-07-23 CN CN202010715795.XA patent/CN111898510B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2498364A1 (en) * | 2004-02-24 | 2005-08-24 | Dna 13 Inc. | System and method for real-time media searching and alerting |
CA2808918A1 (en) * | 2012-03-15 | 2013-09-15 | Fujitsu Limited | Path searching method and path search device |
CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
CN110852168A (zh) * | 2019-10-11 | 2020-02-28 | 西北大学 | 基于神经架构搜索的行人重识别模型构建方法及装置 |
CN110909656A (zh) * | 2019-11-18 | 2020-03-24 | 中电海康集团有限公司 | 一种雷达与摄像机融合的行人检测方法和系统 |
CN110909673A (zh) * | 2019-11-21 | 2020-03-24 | 河北工业大学 | 一种基于自然语言描述的行人再识别方法 |
Non-Patent Citations (5)
Title |
---|
图像分类卷积神经网络的进化设计;马永杰;刘培培;;西北师范大学学报(自然科学版)(第03期);全文 * |
基于YOLO模型的红外图像行人检测方法;谭康霞;平鹏;秦文虎;;激光与红外(第11期);全文 * |
基于多辅助分支深度网络的行人再识别;夏开国;田畅;;通信技术(第11期);全文 * |
基于深度学习和属性特征的行人再识别算法;姚品;万旺根;;电子测量技术(第12期);全文 * |
基于生成对抗网络的跨模态行人重识别研究;冯敏;张智成;吕进;余磊;韩斌;;现代信息科技(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111898510A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
CN106845487A (zh) | 一种端到端的车牌识别方法 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN104809443A (zh) | 基于卷积神经网络的车牌检测方法及系统 | |
CN112651262B (zh) | 一种基于自适应行人对齐的跨模态行人重识别方法 | |
CN111898510B (zh) | 一种基于渐进式神经网络的跨模态行人再识别方法 | |
CN104915643A (zh) | 一种基于深度学习的行人再标识方法 | |
CN112070010B (zh) | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 | |
CN113743544A (zh) | 一种跨模态神经网络构建方法、行人检索方法及系统 | |
CN110793529B (zh) | 一种快速匹配星图识别方法 | |
CN113177464A (zh) | 基于深度学习的端到端的多模态步态识别方法 | |
CN112949510A (zh) | 基于Faster R-CNN热红外影像人物探测方法 | |
CN114743128A (zh) | 一种基于异种神经网络的多模态东北虎再辨识方法及装置 | |
CN112861840A (zh) | 基于多特征融合卷积网络的复杂场景字符识别方法及系统 | |
CN117333908A (zh) | 基于姿态特征对齐的跨模态行人重识别方法 | |
CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
CN117422963A (zh) | 基于高维度特征映射和特征聚合的跨模态地点识别方法 | |
CN116052057A (zh) | 基于自监督学习和预训练模型的跨模态行人重识别方法 | |
CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 | |
CN115359067A (zh) | 一种基于连续卷积网络的逐点融合点云语义分割方法 | |
CN115147693A (zh) | 一种智能驾驶多任务学习模型构建方法、设备及介质 | |
CN113869151A (zh) | 一种基于特征融合的跨视角步态识别方法及系统 | |
CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
CN114565544A (zh) | 一种图像融合方法、设备、产品及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |