CN114898410B - 一种基于小波变换的跨分辨率行人重识别方法 - Google Patents

一种基于小波变换的跨分辨率行人重识别方法 Download PDF

Info

Publication number
CN114898410B
CN114898410B CN202210823175.7A CN202210823175A CN114898410B CN 114898410 B CN114898410 B CN 114898410B CN 202210823175 A CN202210823175 A CN 202210823175A CN 114898410 B CN114898410 B CN 114898410B
Authority
CN
China
Prior art keywords
resolution
pedestrian
low
pedestrian image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210823175.7A
Other languages
English (en)
Other versions
CN114898410A (zh
Inventor
万森
高东奇
朱前进
周志鹏
成皿
袁泽川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yunsen Internet Of Things Technology Co ltd
Original Assignee
Anhui Yunsen Internet Of Things Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yunsen Internet Of Things Technology Co ltd filed Critical Anhui Yunsen Internet Of Things Technology Co ltd
Priority to CN202210823175.7A priority Critical patent/CN114898410B/zh
Publication of CN114898410A publication Critical patent/CN114898410A/zh
Application granted granted Critical
Publication of CN114898410B publication Critical patent/CN114898410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小波变换的跨分辨率行人重识别方法，利用识别模型对待识别图像中的行人身份进行识别；识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像先经超分辨率网络进行处理后得到超分辨率行人图像，再经特征提取网络提取得到超分辨率行人特征，最后经身份预测网络预测得到该待识别图像中的行人预测身份；超分辨率网络利用小波变换的多频谱分析原理，分别从行人图像及该行人图像的高频分量和低频分量出发对图像分辨率进行提升，通过对待识别图像进行分辨率提升，以解决跨分辨率情况下的行人匹配问题，从而提高模型识别性能，使行人重识别的准确率得到提升。

Description

一种基于小波变换的跨分辨率行人重识别方法
技术领域
本发明涉及智能监控技术领域，尤其是一种基于小波变换的跨分辨率行人重识别方法。
背景技术
行人重识别是一项利用计算机视觉技术检索跨相机下图像或者视频序列中是否存在特定行人的技术。由于其在公共安全领域中的重要作用，行人重识别技术被广泛用于城市交通监控平台、大型商场、校园、大型超市、银行以及一些重要保密部门等平台。然而目前的行人重识别技术的研究重点仍放在匹配高分辨率行人图像或者视频序列中的目标行人，也即现有的行人重识别技术基于所有行人图像的分辨率都足够高这一假设来进行行人检索。但在现实生活中，由于成像设备的质量问题、明暗光线、行人距离相机较远等不利因素，导致摄像机捕获到的行人图像模糊不清，分辨率低下。上述情况会导致行人身份识别的准确度大打折扣。
发明内容
为了克服上述现有技术中的缺陷，本发明提供一种基于小波变换的跨分辨率行人重识别方法，通过对待识别图像进行分辨率提升，以解决跨分辨率情况下的行人匹配问题，从而提高模型识别性能，使行人重识别的准确率得到提升。
为实现上述目的，本发明采用以下技术方案，包括：
一种基于小波变换的跨分辨率行人重识别方法，利用识别模型对待识别图像中的行人身份进行识别；
所述识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像经超分辨率网络进行处理后得到超分辨率行人图像，超分辨率行人图像经特征提取网络进行特征提取得到超分辨率行人特征，身份预测网络根据超分辨率行人特征预测行人的身份，得到该待识别图像中的行人预测身份；
所述超分辨率网络包括：小波变换模块、低频外观增强模块、高频细节增强模块、整体增强模块；所述小波变换模块用于对待识别图像进行小波变换，得到该待识别图像的低频分量和高频分量；所述低频外观增强模块用于对低频分量即行人外轮廓信息进行增强；所述高频细节增强模块用于对高频分量即行人细节信息进行增强；所述整体增强模块用于对低分辨率行人图像、增强后的低频分量、增强后的高频分量进行融合，得到该待识别图像的超分辨率行人图像。
优选的，所述识别模型的训练方式如下所示：
S1，获取对应的即同相机角度下的高分辨率行人图像Ih和低分辨率行人图像Ir，构建对应的高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr；
S2，利用超分辨率网络对低分辨率行人图像数据集Cr中的低分辨率行人图像Ir进行处理，得到该低分辨率行人图像Ir的超分辨率行人图像Is；
步骤S2的具体过程如下所示：
S21，小波变换模块对低分辨率行人图像数据集Cr中的低分辨率行人图像Ir进行小波变换，得到该低分辨率行人图像Ir的低频分量Ir_LF和高频分量Ir_HF；
S22，将该低频分量Ir_LF输入至低频外观增强模块，得到增强后的低频分量Ir_LF’；将该高频分量Ir_HF输入至高频细节增强模块，得到增强后的高频分量Ir_HF’；
S23，将低分辨率行人图像Ir、增强后的低频分量Ir_LF’、增强后的高频分量Ir_HF’输入至整体增强模块，得到该低分辨率行人图像Ir的超分辨率行人图像Is；
S3，特征提取网络包括参数共享且结构相同的两个子网络，分别为第一子网络和第二子网络；
利用第一子网络提取超分辨率行人图像Is中的行人特征，得到超分辨率行人特征fs；利用第二子网络提取高分辨率行人图像数据集Ch中对应的高分辨率行人图像Ih的行人特征，得到高分辨率行人特征fh；
S4，身份预测网络根据超分辨率行人特征fs，对该低分辨率行人图像Ir中的行人身份进行预测，得到低分辨率行人图像Ir中的行人预测身份；
S5，构建识别模型的总损失函数T，总损失函数T包括超分辨率网络的损失函数T1、特征提取网络的损失函数T2、身份预测网络的损失函数T3；
所述超分辨率网络的损失函数T1用于表示处理得到的该低分辨率行人图像Ir的超分辨率行人图像Is与对应的高分辨率行人图像Ih之间的误差；
所述特征提取网络的损失函数T2用于表示提取得到的超分辨率行人特征fs与对应的高分辨率行人特征fh之间的误差；
所述身份预测网络的损失函数T3用于表示该低分辨率行人图像Ir中的行人预测身份与行人真实身份之间的误差；
S6，利用高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr对识别模型进行训练，在训练过程中，更新识别模型的网络参数，使总损失函数T趋于稳定。
优选的，小波变换的具体方式如下所示：
Figure 309495DEST_PATH_IMAGE001
；
其中，DWT(.)表示小波变换函数，Haar为小波变换时所使用的基函数，cA、cD、cH、cV均为低分辨率行人图像Ir经小波变换得到的分量，cA为近似分量，cH为水平分量、cV为垂直分量、cD为对角分量；Ir_LF为低分辨率行人图像Ir的低频分量，Ir_HF为低分辨率行人图像Ir的高频分量。
优选的，所述低频外观增强模块采用U-Net网络结构；所述高频细节增强模块和整体增强模块均采用带有残差连接的CNN网络结构。
优选的，所述特征提取网络的两个子网络均采用带有通道注意力机制的ResNet50网络，即SE-ResNet50网络。
优选的，所述身份预测网络包括全局平均池化层、全连接层；先对超分辨率行人特征进行全局平均池化层操作，再送入全连接层识别行人身份。
优选的，超分辨率网络的损失函数T1为：
Figure 582345DEST_PATH_IMAGE002
；
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量和高分辨率行人图像数据集Ch中的图像数量均为N；低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)与高分辨率行人图像数据集Ch中的第i张高分辨率行人图像Ih(i)相对应；Is(i)表示由第i张低分辨率行人图像Ir(i)转换得到的超分辨率行人图像。
优选的，特征提取网络的损失函数T2为：
Figure 498217DEST_PATH_IMAGE003
；
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量和高分辨率行人图像数据集Ch中的图像数量均为N；低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)与高分辨率行人图像数据集Ch中的第i张高分辨率行人图像Ih(i)相对应；fs(i)表示由第i张低分辨率行人图像Ir(i)转换并提取得到的超分辨率行人特征；fh(i)表示由相对应的第i张高分辨率行人图像Ih(i)提取得到的高分辨率行人特征。
优选的，身份预测网络的损失函数T3为：
Figure 45873DEST_PATH_IMAGE004
；
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量为N；行人身份的类别总数为M，c表示第c类行人身份类别；sign(.)为符号函数；y(i)为第i张低分辨率行人图像中的行人真实身份的类别号；p(i|c)为第i张低分辨率行人图像中的行人预测身份属于第c类行人身份类别的概率。
优选的，总损失函数T=T3+b1*T1+b2*T2；其中，b1表示超分辨率网络的损失函数T1的权值参数，b2表示特征提取网络的损失函数T2的权值参数；利用Adam优化策略对识别模型进行训练。
本发明的优点在于：
（1）本发明利用超分辨率技术对行人图像的分辨率进行提升。利用小波变换的多分辨率分析原理从行人图像的多个角度出发增强行人的重要视觉信息，有利于后续的识别任务。同时，小波变换是一种时频分析方法，将时域信号转换到频域中进行处理存在以下好处：首先RGB域与频域之间的相互转换不存在信息丢失；其次频域的能量排布更加紧凑，每个通道都代表了不同频带的信息，可以用卷积进一步融合。
（2）本发明利用特征提取网络分别对超分辨恢复后的超分辨率行人图像与对应的高分辨率行人图像进行行人特征提取，采用高分辨率行人图像进行监督，获得了更具鉴别性的超分辨率行人特征。
（3）由于经由超分辨恢复后的超分辨率行人图像与真实的高分辨率行人图像间存在域间差异，易产生协变量移位现象，因此，本发明引入了以高分辨率行人图像为指导的特征提取网络的损失函数，通过计算高分辨率行人特征与低分辨率行人特征之间的差值，在不同分辨率行人图像间传递知识，以缩小超分辨率行人特征和高分辨率行人特征间的差异，从而增强特征提取网络的学习能力，提取到更具鉴别性的超分辨率行人特征。
（4）本发明在特征提取网络中引入了通道注意力机制，通道注意力机制能够通过捕获各个特征通道间的关联性，自适应地为每个特征通道分配相应的权值，以关注信息量更为丰富的通道同时抑制一些干扰冗余信息，从而获得更具鉴别性、更具鲁棒性的行人特征。通道注意力机制能够使特征提取网络更加关注图像中的行人部分同时排除背景等其他因素的干扰，起到放大前景同时抑制背景的作用。
本发明实用性强，可应用于安防领域，如公安侦查、车站安检等场景。当确定了目标行人后，可根据目标行人的高分辨率图片，去监控视频库中目标行人出现的低分辨率视频片段，对目标行人的活动轨迹进行追踪。
附图说明
图1为本发明识别模型的结构图。
图2为本发明识别模型的训练方法流程。
图3为本发明超分辨率网络的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于小波变换的跨分辨率行人重识别方法，利用识别模型对待识别图像中的行人身份进行识别。
所述识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像经超分辨率网络进行处理后得到超分辨率行人图像，超分辨率行人图像经特征提取网络进行特征提取得到超分辨率行人特征，身份预测网络根据超分辨率行人特征预测行人的身份，得到该待识别图像中的行人预测身份；
如图1和图2所示，所述识别模型的训练过程为：对现有的、公开的高分辨率行人图像进行预处理，从而得到相对应的高分辨率行人图像数据集和低分辨率行人图像数据集；利用小波变换的多频谱分析原理，构建基于小波变换的超分辨网络，分别从低分辨率行人图像及该低分辨率行人图像的高频分量和低频分量出发对分辨率进行提升；利用注意力机制构建特征提取网络，分别获取高分辨率行人特征和超分辨率行人特征；基于超分辨率行人特征预测行人身份；在训练过程中，选择适当的损失函数与优化函数用于网络参数的更新。
如图2所示，所述识别模型的训练，具体包括以下步骤：
S1，获取对应的即同相机角度下的高分辨率行人图像Ih和低分辨率行人图像Ir，构建对应的高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr；
本实施例中，由5对同相机角度下的相机拍摄的得到1467个行人，共14000多张高分辨率行人图像，构成原始数据集C。从原始数据集C中，选择每对相机中的其中一个视角的高分辨率行人图像，并从下采样因子集合{2,3,4}中任意选取某一下采样因子对所选择的该高分辨率行人图像进行下采样，得到相应的低分辨率行人图像，构建低分辨率行人图像数据集Cr。每对相机中的另外一个视角的高分辨率行人图像不做处理，构成高分辨率行人图像数据集Ch。
同相机角度是指：相机拍摄的角度相同、画面相同。每对同相机角度下的相机拍摄的图像可认为是同一张图像。本发明也可以直接采用一个相机拍摄高分辨率行人图像，直接将该高分辨率行人图像进行下采样处理后得到低分辨率行人图像，从而获取对应的即同相机角度下的高分辨率行人图像和低分辨率行人图像。
S2，利用小波变换的多频谱分析原理，构建基于小波变换的超分辨网络；
如图3所示，所述超分辨率网络包括：小波变换模块、低频外观增强模块、高频细节增强模块、整体增强模块；所述小波变换模块用于对待识别图像进行小波变换，得到该待识别图像的低频分量和高频分量；所述低频外观增强模块用于对低频分量进行增强，低频分量主要包含行人外轮廓信息；所述高频细节增强模块用于对高频分量进行增强，高频分量主要包含行人细节信息；所述整体增强模块用于对低分辨率行人图像、增强后的低频分量、增强后的高频分量进行融合，得到该待识别图像的超分辨率行人图像。
其中，低频外观增强模块采用U-Net网络结构，沿输出输出方向依次连接有3个Conv+ReLU层，3个DConv+ReLU层1个Conv层。高频细节增强模块采用带有残差连接的CNN网络结构，沿输出输出方向依次连接有5个Conv+ReLU层，1个Conv层，1个Concat层。整体增强模块采用带有残差连接的CNN网络结构，沿输出输出方向依次连接有6个Conv+BN+ReLU层，1个Concat层。其中，Conv表示卷积层，ReLU表示激活层，BN是批标准归一化层，Concat表示连接层。
步骤S2的具体过程如下所示：
S21，对低分辨率行人图像数据集Cr中的低分辨率行人图像Ir进行小波变换，得到该低分辨率行人图像Ir的低频分量Ir_LF和高频分量Ir_HF。
小波变换的具体方式如下所示：
Figure 12692DEST_PATH_IMAGE001
；
其中，小波变换采用哈尔小波，Haar为小波变换时所使用的基函数，cA、cD、cH、cV均为低分辨率行人图像Ir经小波变换得到的分量，cA为近似分量，cH为水平分量、cV为垂直分量、cD为对角分量；Ir_LF为低分辨率行人图像Ir的低频分量，Ir_HF为低分辨率行人图像Ir的高频分量。
S22，将低分辨率行人图像Ir低频分量Ir_LF输入至低频外观增强模块，得到增强后的低频分量Ir_LF’。同时，将低分辨率行人图像Ir高频分量Ir_HF输入至高频细节增强模块，得到增强后的高频分量Ir_HF’。
S23，将低分辨率行人图像Ir、增强后的低频分量Ir_LF’、增强后的高频分量Ir_HF’输入至整体增强模块Q，用于对低分辨率行人图像Ir进行最终的分辨率提升，得到超分辨率行人图像Is。
本发明中，通过小波变换的多频谱分析原理保证了行人高频细节信息的恢复，同时对行人低频外轮廓信息进行增强，提高低分辨率行人图像的分辨率，得到超分辨率行人图像，为跨分辨率行人身份识别任务带来了足够的好处。
S3，利用通道注意力机制，构建基于通道注意力机制的特征提取网络。
如图1所示，所述特征提取网络包括参数共享且结构相同的两个子网络，分别为第一子网络和第二子网络。该两个子网络均采用带有通道注意力机制的SE-ResNet50作为基本网络骨干，第一子网络和第二子网络分别用于提取超分辨率行人图像Is和高分辨率行人图像Ih中的行人特征。
基于通道注意力机制的特征提取网络更加关注特征各通道间的交互并给予各个通道相应的权值，使网络能够充分利用信息量丰富的特征通道同时抑制无关的干扰信息，从而捕获更具辨别性的特征。
步骤S3的具体过程如下所示：
S31，将步骤S2得到的超分辨率行人图像Is输入至第一子网络进行超分辨率行人特征的提取，得到超分辨率行人特征fs。
S32，将高分辨率行人图像数据集Ch中对应的高分辨率行人图像Ih输入至第二子网络进行高分辨率行人特征的提取，得到高分辨率行人特征fh。
S4，身份预测网络根据超分辨率行人特征fs对低分辨率行人图像Ir中的行人身份进行预测。如图1所示，所述身份预测网络包括全局平均池化层GAP、全连接层FC。先将超分辨率行人特征fs进行全局平均池化层操作，然后再送入至全连接层FC进行行人身份的预测，得到低分辨率行人图像Ir中的行人预测身份。
S5，构建识别模型的总损失函数T，总损失函数T包括超分辨率网络的损失函数T1、特征提取网络的损失函数T2、身份预测网络的损失函数T3；
所述超分辨率网络的损失函数T1用于表示处理得到的该低分辨率行人图像Ir的超分辨率行人图像Is与对应的高分辨率行人图像Ih之间的误差；
所述特征提取网络的损失函数T2用于表示提取得到的超分辨率行人特征fs与对应的高分辨率行人特征fh之间的误差；
所述身份预测网络的损失函数T3用于表示该低分辨率行人图像Ir中的行人预测身份与行人真实身份之间的误差；
步骤S5的具体过程如下所示：
S51，通过高分辨率行人图像的约束，利用均方误差损失函数指导低分辨率行人图像的分辨率提升过程，超分辨率网络的损失函数T1即均方误差损失函数为：
Figure 253180DEST_PATH_IMAGE002
；
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量和高分辨率行人图像数据集Ch中的图像数量均为N，Is(i)表示由低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)转换得到的超分辨率行人图像；Ih(i)表示高分辨率行人图像数据集Ch中与第i张低分辨率行人图像Ir(i)相对应的第i张高分辨率行人图像。
S52，通过高分辨率行人图像进行监督，利用L1损失函数计算高分辨率行人特征fh和超分辨率行人特征fs之间的差值，以弱化高分辨率行人特征fh和超分辨率行人特征fs之间的特征差异，从而使得特征提取网络学习到更具甄别力的行人特征提取能力，特征提取网络的损失函数T2即L1损失函数为：
Figure 916069DEST_PATH_IMAGE003
；
其中，fs(i)表示由低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)转换并提取得到的超分辨率行人特征；fh(i)表示由高分辨率行人图像数据集Ch中相对应的第i张高分辨率行人图像Ih(i)提取得到的高分辨率行人特征。
S53，通过标准的交叉熵损失函数指导行人身份的预测过程，身份预测网络的损失函数T3即交叉熵损失函数为：
Figure 532995DEST_PATH_IMAGE004
；
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量为N；行人身份的类别总数为M，c表示第c类行人身份类别；sign(.)为符号函数；y(i)为第i张低分辨率行人图像中的行人真实身份的类别号；p(i|c)为第i张低分辨率行人图像中的行人预测身份属于第c类行人身份类别的概率。
S54，识别模型的总损失函数T为：
T=T3+b1*T1+b2*T2；
其中，b1表示超分辨率网络的损失函数T1的权值参数，b2表示特征提取网络的损失函数T2的权值参数。
S6，利用高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr对识别模型的训练，在训练过程中，更新识别模型的网络参数，使总损失函数T趋于稳定。其中，利用Adam优化策略对识别模型进行训练，直至总损失函数T收敛，从而得到较优的识别模型。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (8)

1.一种基于小波变换的跨分辨率行人重识别方法，其特征在于，利用识别模型对待识别图像中的行人身份进行识别；
所述识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像经超分辨率网络进行处理后得到超分辨率行人图像，超分辨率行人图像经特征提取网络进行特征提取得到超分辨率行人特征，身份预测网络根据超分辨率行人特征预测行人的身份，得到该待识别图像中的行人预测身份；
所述超分辨率网络包括：小波变换模块、低频外观增强模块、高频细节增强模块、整体增强模块；所述小波变换模块用于对待识别图像进行小波变换，得到该待识别图像的低频分量和高频分量；所述低频外观增强模块用于对低频分量即行人外轮廓信息进行增强；所述高频细节增强模块用于对高频分量即行人细节信息进行增强；所述整体增强模块用于对低分辨率行人图像、增强后的低频分量、增强后的高频分量进行融合，得到该待识别图像的超分辨率行人图像；
所述识别模型的训练方式如下所示：
S1，获取对应的即同相机角度下的高分辨率行人图像Ih和低分辨率行人图像Ir，构建对应的高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr；
S2，利用超分辨率网络对低分辨率行人图像数据集Cr中的低分辨率行人图像Ir进行处理，得到该低分辨率行人图像Ir的超分辨率行人图像Is；
步骤S2的具体过程如下所示：
S21，小波变换模块对低分辨率行人图像数据集Cr中的低分辨率行人图像Ir进行小波变换，得到该低分辨率行人图像Ir的低频分量Ir_LF和高频分量Ir_HF；
S22，将该低频分量Ir_LF输入至低频外观增强模块，得到增强后的低频分量Ir_LF’；将该高频分量Ir_HF输入至高频细节增强模块，得到增强后的高频分量Ir_HF’；
S23，将低分辨率行人图像Ir、增强后的低频分量Ir_LF’、增强后的高频分量Ir_HF’输入至整体增强模块，得到该低分辨率行人图像Ir的超分辨率行人图像Is；
S3，特征提取网络包括参数共享且结构相同的两个子网络，分别为第一子网络和第二子网络；
利用第一子网络提取超分辨率行人图像Is中的行人特征，得到超分辨率行人特征fs；利用第二子网络提取高分辨率行人图像数据集Ch中对应的高分辨率行人图像Ih的行人特征，得到高分辨率行人特征fh；
S4，身份预测网络根据超分辨率行人特征fs，对该低分辨率行人图像Ir中的行人身份进行预测，得到低分辨率行人图像Ir中的行人预测身份；
S5，构建识别模型的总损失函数T，总损失函数T包括超分辨率网络的损失函数T1、特征提取网络的损失函数T2、身份预测网络的损失函数T3；
所述超分辨率网络的损失函数T1用于表示处理得到的该低分辨率行人图像Ir的超分辨率行人图像Is与对应的高分辨率行人图像Ih之间的误差；
所述特征提取网络的损失函数T2用于表示提取得到的超分辨率行人特征fs与对应的高分辨率行人特征fh之间的误差；
所述身份预测网络的损失函数T3用于表示该低分辨率行人图像Ir中的行人预测身份与行人真实身份之间的误差；
S6，利用高分辨率行人图像数据集Ch和低分辨率行人图像数据集Cr对识别模型进行训练，在训练过程中，更新识别模型的网络参数，使总损失函数T趋于稳定；
所述特征提取网络的两个子网络均采用带有通道注意力机制的ResNet50网络，即SE-ResNet50网络。
2.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，小波变换的具体方式如下所示：
[cA,cD,cH,cV]=DWT(Ir,Haar)
Ir_LF=cA
Ir_HF=[cH,cV,cD]
其中，DWT(.)表示小波变换函数，Haar为小波变换时所使用的基函数，cA、cD、cH、cV均为低分辨率行人图像Ir经小波变换得到的分量，cA为近似分量，cH为水平分量、cV为垂直分量、cD为对角分量；Ir_LF为低分辨率行人图像Ir的低频分量，Ir_HF为低分辨率行人图像Ir的高频分量。
3.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，所述低频外观增强模块采用U-Net网络结构；所述高频细节增强模块和整体增强模块均采用带有残差连接的CNN网络结构。
4.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，所述身份预测网络包括全局平均池化层、全连接层；先对超分辨率行人特征进行全局平均池化层操作，再送入全连接层识别行人身份。
5.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，超分辨率网络的损失函数T1为：
Figure 881481DEST_PATH_IMAGE001
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量和高分辨率行人图像数据集Ch中的图像数量均为N；低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)与高分辨率行人图像数据集Ch中的第i张高分辨率行人图像Ih(i)相对应；Is(i)表示由第i张低分辨率行人图像Ir(i)转换得到的超分辨率行人图像。
6.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，特征提取网络的损失函数T2为：
Figure 533043DEST_PATH_IMAGE002
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量和高分辨率行人图像数据集Ch中的图像数量均为N；低分辨率行人图像数据集Cr中第i张低分辨率行人图像Ir(i)与高分辨率行人图像数据集Ch中的第i张高分辨率行人图像Ih(i)相对应；fs(i)表示由第i张低分辨率行人图像Ir(i)转换并提取得到的超分辨率行人特征；fh(i)表示由相对应的第i张高分辨率行人图像Ih(i)提取得到的高分辨率行人特征。
7.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，身份预测网络的损失函数T3为：
Figure 906255DEST_PATH_IMAGE003
其中，参与模型训练的低分辨率行人图像数据集Cr中的图像数量为N；行人身份的类别总数为M，c表示第c类行人身份类别；sign(.)为符号函数；y(i)为第i张低分辨率行人图像中的行人真实身份的类别号；p(i|c)为第i张低分辨率行人图像中的行人预测身份属于第c类行人身份类别的概率。
8.根据权利要求1所述的一种基于小波变换的跨分辨率行人重识别方法，其特征在于，总损失函数T=T3+b1*T1+b2*T2；其中，b1表示超分辨率网络的损失函数T1的权值参数，b2表示特征提取网络的损失函数T2的权值参数；利用Adam优化策略对识别模型进行训练。
CN202210823175.7A 2022-07-14 2022-07-14 一种基于小波变换的跨分辨率行人重识别方法 Active CN114898410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823175.7A CN114898410B (zh) 2022-07-14 2022-07-14 一种基于小波变换的跨分辨率行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823175.7A CN114898410B (zh) 2022-07-14 2022-07-14 一种基于小波变换的跨分辨率行人重识别方法

Publications (2)

Publication Number Publication Date
CN114898410A CN114898410A (zh) 2022-08-12
CN114898410B true CN114898410B (zh) 2022-10-11

Family

ID=82729639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823175.7A Active CN114898410B (zh) 2022-07-14 2022-07-14 一种基于小波变换的跨分辨率行人重识别方法

Country Status (1)

Country Link
CN (1) CN114898410B (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
CN101661616A (zh) * 2009-09-29 2010-03-03 北京科技大学 基于小波重构中多尺度边缘检测的图像增强方法
CN102262778A (zh) * 2011-08-24 2011-11-30 重庆大学 基于改进的分数阶微分掩模的图像增强方法
CN103500436A (zh) * 2013-09-17 2014-01-08 广东威创视讯科技股份有限公司 图像超分辨率处理方法和系统
CN105023004B (zh) * 2015-08-04 2018-05-04 南京信息工程大学 一种曲率与小波轮廓增强相结合的人脸识别算法
CN105184752A (zh) * 2015-09-23 2015-12-23 成都融创智谷科技有限公司 一种基于小波变换的图像处理方法
CN107133601B (zh) * 2017-05-13 2021-03-23 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107784625B (zh) * 2017-10-09 2019-03-08 平安科技（深圳）有限公司 电子装置、虚拟样本生成方法及存储介质
CN108549874B (zh) * 2018-04-19 2021-11-23 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质
US11651206B2 (en) * 2018-06-27 2023-05-16 International Business Machines Corporation Multiscale feature representations for object recognition and detection
US10685428B2 (en) * 2018-11-09 2020-06-16 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier
CN110363068B (zh) * 2019-05-28 2023-08-18 中国矿业大学 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN112115871B (zh) * 2020-09-21 2024-04-19 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法
CN113379661B (zh) * 2021-06-15 2023-03-07 中国工程物理研究院流体物理研究所 红外与可见光图像融合的双分支卷积神经网络装置

Also Published As

Publication number Publication date
CN114898410A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Liu et al. Beyond human-level license plate super-resolution with progressive vehicle search and domain priori GAN
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN116342596B (zh) 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法
CN110689482A (zh) 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110659333B (zh) 一种多层次视觉特征描述方法和视觉检索系统
CN110751018A (zh) 一种基于混合注意力机制的群组行人重识别方法
CN112183468A (zh) 一种基于多注意力联合多级特征的行人再识别方法
CN103164856B (zh) 一种基于稠密sift流的视频复制粘贴盲检测方法
CN112907598A (zh) 一种基于注意力cnn文档证件类图像篡改检测方法
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN114330529A (zh) 一种基于改进YOLOv4的遮挡行人实时检测方法
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
Li et al. CODAN: Counting-driven attention network for vehicle detection in congested scenes
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN115601723A (zh) 基于改进ResNet的夜间热红外图像语义分割增强方法
CN110348329B (zh) 基于视频序列帧间信息的行人检测方法
CN116188308A (zh) 一种联合空域频域双判别器的生成对抗去云雾方法
CN113537050A (zh) 一种基于局部图像增强的动态人脸识别算法
CN114898410B (zh) 一种基于小波变换的跨分辨率行人重识别方法
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN113378598B (zh) 一种基于深度学习的动态条码检测方法
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN116311026A (zh) 基于多层级信息融合Transformer的教室场景身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant