CN111931637A - 基于双流卷积神经网络的跨模态行人重识别方法和系统 - Google Patents

基于双流卷积神经网络的跨模态行人重识别方法和系统 Download PDF

Info

Publication number
CN111931637A
CN111931637A CN202010789561.XA CN202010789561A CN111931637A CN 111931637 A CN111931637 A CN 111931637A CN 202010789561 A CN202010789561 A CN 202010789561A CN 111931637 A CN111931637 A CN 111931637A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
cross
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010789561.XA
Other languages
English (en)
Other versions
CN111931637B (zh
Inventor
邓圣衡
丁长兴
李弘洋
王鹏飞
黄家荣
陈柏伶
郭思聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010789561.XA priority Critical patent/CN111931637B/zh
Publication of CN111931637A publication Critical patent/CN111931637A/zh
Application granted granted Critical
Publication of CN111931637B publication Critical patent/CN111931637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双流卷积神经网络的跨模态行人重识别方法和系统，该方法通过使用两个在大型图像识别数据集上预训练好的卷积神经网络中的特征提取部分，并采用交叉熵损失函数、跨模态三元组损失函数、相对熵损失函数和随机调换策略对两个网络在跨模态数据集上进行训练，分别提取两个模态图像的特征，再将两个模态的特征进行欧氏距离度量得到特征匹配结果，实现跨模态行人重识别。本发明针对跨模态行人重识别任务的需求，在双流卷积神经网络训练期间没有加大时间开销和增加额外人工工作量的条件下，拉近了深度神经网络提取的不同模态图像特征之间的距离，提高了行人重识别任务的匹配准确率。

Description

基于双流卷积神经网络的跨模态行人重识别方法和系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于双流卷积神经网络的跨模态行人重识别方法和系统。
背景技术
现有的跨模态行人重识别方法利用了双流卷积神经网络(不同的模态对应不同的卷积神经网络)或者单流卷积神经网络(两个模态共用一个卷积神经网络)，使用交叉熵损失函数和三元组损失函数训练网络，并使用生成对抗网络辅助训练，将训练好的网络用于提取图像特征，将提取的特征进行特征之间的匹配，从而达到跨模态行人重识别的目的。但这种方法忽略了跨模态应用中不同模态之间的差异，并且采用生成对抗网络加大了网络训练的时间和设备开销，且由于红外域与RGB域的颜色对应关系并不单一，红外域中的纹理信息丢失等原因，生成对抗神经网络难以学习到一个泛化能力强的映射使得红外域的图像很好地变换成RGB域图像。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于双流卷积神经网络的跨模态行人重识别方法和系统，本发明是在双流卷积神经网络的基础上，保留了交叉熵损失函数，加入了跨模态三元组损失函数和相对熵损失函数对网络进行训练，并采用了随机调换双流卷积神经网络输入的训练方法，在一定概率下将两个卷积神经网络的输入调换，从网络中去除了生成对抗神经网络，减轻了深度神经网络的训练难度，加快了深度神经网络的训练速度，使网络可以学习到泛化能力更强的特征，并对网络提取的特征进行特征之间的匹配，可以在已有摄像头拍摄到的不同模态图像的情况下，提高跨模态行人检索的准确率。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于双流卷积神经网络的跨模态行人重识别方法，包括下述步骤：
构建双流卷积神经网络；
对双流卷积神经网络进行参数初始化；
采集两个不同模态下的图像，并进行图像预处理，作为双流卷积神经网络的输入张量；
基于随机调换策略，双流卷积神经网络在跨模态数据集上进行训练，分别提取两个模态图像的特征向量，将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，完成跨模态行人重识别。
作为优选的技术方案，所述双流卷积神经网络包括两个结构一致的Resnet50网络和两个结构一致的全连接神经网络，两个Resnet50网络的参数各自独立，将两个Resnet50网络移除下采样。
作为优选的技术方案，所述对双流卷积神经网络进行参数初始化，具体步骤包括：
采用预训练好的Resnet50网络参数对双流卷积神经网络进行初始化，对两个全连接神经网络参数进行随机初始化。
作为优选的技术方案，所述采集两个不同模态下的图像，所述两个不同模态分别为：
第一模态中的图像为彩色的RGB图像，一张图像由三个彩色通道组成，每个通道对应位置的像素值表示对应颜色的量；
第二模态中的图像为单通道的红外相机灰度图像，图像中对应位置的像素值表示红外相机接收的反射回来的红外数值。
作为优选的技术方案，所述图像预处理的具体步骤包括：
将摄像机捕捉到的图像进行随机裁剪，将裁剪好的图像设定概率的水平翻转，将水平翻转后的图像进行归一化处理得到三维张量，随机将三维张量中的部分区域设置为图像均值，得到双流卷积神经网络的输入张量。
作为优选的技术方案，所述双流卷积神经网络在跨模态数据集上进行训练，具体步骤包括：
将双流卷积神经网络输出的两个模态图像的特征向量通过跨模态三元组损失函数计算得到三元组损失值；
将特征向量通过全连接神经网络计算和softmax函数归一化计算得到图像标签预测值，将图像标签预测值和图像标签真实值通过交叉熵和相对熵损失函数计算得到交叉熵损失值和相对熵损失值；
将三元组损失值、交叉熵损失值和相对熵损失值相加后得到总的损失值；
对损失值求导进行梯度计算，利用计算得到的梯度进行参数更新，进行网络训练。
作为优选的技术方案，所述交叉熵损失函数表示为：
Figure BDA0002623268310000031
所述相对熵损失函数表示为：
Figure BDA0002623268310000032
所述跨模态三元组损失函数表示为：
Figure BDA0002623268310000033
其中，P(yi)表示图像样本的真实分布，
Figure BDA0002623268310000034
表示网络输出样本的预测分布，n表示图像总类别数，
Figure BDA0002623268310000035
表示第一模态下的第i类类图像特征，
Figure BDA0002623268310000036
表示第二模态下的第i类类图像特征，
Figure BDA0002623268310000037
表示第二模态下的第j类图像特征，d表示两者之间的距离，m表示常数。
作为优选的技术方案，所述图像的特征向量通过对卷积神经网络输出的特征图采用全局平均池化得到。
作为优选的技术方案，所述将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，具体步骤包括：
在行人重识别的测试阶段，在第一模态下已有多个行人的特征向量的情况下，将第二模态中拍摄到的一张新的行人图像输入到双流卷积神经网络中，将双流卷积神经网络输出的特征向量通过批标准化得到输出特征向量，在两个模态的特征向量之间进行余弦距离计算并进行距离由小到大的排序，与新的特征向量余弦距离最近的特征向量所对应的行人图像ID即为匹配结果。
作为优选的技术方案，双流卷积神经网络构建模块、参数初始化模块、图像预处理模块、训练模块和特征匹配模块；
所述双流卷积神经网络构建模块用于构建双流卷积神经网络；
所述参数初始化模块用于对双流卷积神经网络进行参数初始化；
所述图像预处理模块用于采集两个不同模态下的图像，并进行图像预处理，作为双流卷积神经网络的输入张量；
所述训练模块用于双流卷积神经网络在跨模态数据集上基于随机调换策略进行训练；
所述特征匹配模块用于分别提取两个模态图像的特征向量，将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，完成跨模态行人重识别。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明针对现有跨模态行人重识别方法的缺陷，采用跨模态三元组损失函数，相对熵损失函数和随即调换双流卷积神经网络输入的网络训练方法，去除了生成对抗神经网络，强调了不同模态图像特征之间的差异，使得神经网络可以学习提取到泛化能力更强的图像特征，从而达到提高跨模态行人重识别准确率的效果。
(2)本发明针对现有跨模态行人重识别方法的缺陷，采用了不依赖生成对抗神经网络(GAN)对网络进行训练的技术方案，降低了网络训练时的训练时间复杂度，提高了行人重识别测试时的速度和效率，解决了使用GAN技术对网络进行训练时计算量大，训练时间长，测试时测试速度慢的技术问题，达到了高效率进行跨模态行人重识别的技术效果。
附图说明
图1为基于双流卷积神经网络的跨模态行人重识别方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于双流卷积神经网络的跨模态行人重识别方法，该方法通过使用两个在大型图像识别数据集上预训练好的卷积神经网络中的特征提取部分，并采用交叉熵损失函数、跨模态三元组损失函数、相对熵损失函数和随机调换策略对两个网络在跨模态数据集上进行训练，分别提取两个模态图像的特征，再将两个模态的特征进行欧氏距离度量得到特征匹配结果，实现跨模态行人重识别，具体包括下述步骤：
构建双流卷积神经网络：双流卷积神经网络包括两个结构一致的Resnet50网络和两个结构一致的全连接神经网络，两个Resnet50网络的参数各自独立，将两个Resnet50网络的layer4层的stride＝2改为stirde＝1，即移除下采样。两个Resnet50网络各自接受不同模态的图像张量作为输入，在同样的损失函数和优化器下进行训练，训练步骤按照顺序描述具体为：对双流卷积神经网络进行参数初始化，对训练数据集中的图像进行预处理，将预处理好的图像输入进网络中，两个模态的预处理过后的图像分别输入进两个网络中，网络接受输入的图像输出图像特征和ID预测值，图像特征和ID预测值经过损失函数(跨模态三元组损失函数，交叉熵损失函数，相对熵损失函数)计算损失值，对损失值求导进行梯度计算，利用计算得到的梯度对网络的参数进行更新，以此迭代，最后得到符合要求的网络；
对双流卷积神经网络进行参数初始化：双流卷积神经网络设有两个Resnet50网络，在参数初始化阶段，采用在ImageNet数据集上预训练好的Resnet50网络参数对双流卷积神经网络进行初始化，对两个全连接神经网络参数进行随机初始化，加快网络训练速度；
进行图像预处理：将摄像机捕捉到的图像随机地裁剪成尺寸为288*144的图像，将裁剪好的图像进行概率为0.5的水平翻转，将随机翻转后的图像进行归一化处理得到三维张量，随机将三维张量中的部分区域设置为图像均值(即随机擦除原图像中的部分区域)，得到适合神经网络处理的输入张量；
双流卷积神经网络训练方法：双流卷积神经网路中两个网络接受不同模态图像输入，采用了随机调换的图像输入策略。在Adam优化器的优化下，以梯度下降的方式对损失值求导，更新网络中的参数，在跨模态行人重识别公开数据集SYSU-MM01数据集上进行网络训练。损失值通过对网络的损失函数进行计算得出。双流卷积神经网络训练的损失函数为交叉熵损失函数、跨模态三元组损失函数和相对熵损失函数三个函数的和函数，将双流网络输出的两个模态图像的特征向量通过跨模态三元组损失函数计算得到三元组损失值，其中，图像的特征向量通过对卷积神经网络输出的特征图使用全局平均池化得到，将特征向量通过全连接神经网络计算和softmax函数归一化计算得到图像标签预测值，将图像标签预测值和图像标签真实值通过交叉熵和相对熵损失函数计算得到交叉熵和相对熵的损失值，三者以1：1：1的权重进行相加可得到总的损失值，在Adam优化器的优化下，以梯度下降的方式对损失值求导，对网络中的卷积核，矩阵权重等参数进行更新，进行网络训练；
网络训练中的随机调换方法：在双流卷积神经网络训练过程中，两个Resnet50网络的输入图像会进行概率为40％的调换，即有40％的概率将一个网络的输入换成另外一个网络的输入，通过随机调换输入，一个特定模态的网络将有概率地接受另一个模态的图像作为输入，使得网络可以适应两个模态之间的差异。
特征匹配：在行人重识别的测试阶段，在一个模态下已有多个行人的特征向量的情况下(已有的特征向量可通过已有的行人图像获得)，将另一个模态中拍摄到的一张新的行人图像输入到双流卷积神经网络中，将双流卷积神经网络输出的特征向量通过批标准化得到输出特征向量，在两个模态的特征向量之间进行余弦距离计算并进行距离由小到大的排序，排序结果第一的特征向量(即与新的特征向量余弦距离最近的已知特征向量)对应的行人图像ID即为匹配结果。
网络训练的损失函数为：
交叉熵损失函数：设真实图像标签为yi,预测标签为
Figure BDA0002623268310000071
图像总类别数为n，假设有p张第i类图像，则P(yi)为n/m，若预测的第i类图像有q张，则Q(yi)为q/m，依此类推，则可求得图像样本的真实分布P(yi)和网络输出样本的预测分布
Figure BDA0002623268310000081
则交叉熵损失函数可表示为：
Figure BDA0002623268310000082
相对熵损失函数：已知真实图像标签和预测标签可以求得图像样本的真实分布P(yi)和网络输出样本的预测分布
Figure BDA0002623268310000083
设总类别数为n，则相对熵损失函数可表示为：
Figure BDA0002623268310000084
跨模态三元组损失函数：设已知模态1下第i类类图像特征为
Figure BDA0002623268310000085
模态1中的图像为彩色的RGB图像，一张图像由三个彩色通道组成，每个通道对应位置的像素值表示对应颜色的量；
模态2下第i类图像特征为
Figure BDA0002623268310000086
模态2下第j类图像特征为
Figure BDA0002623268310000087
i≠j，模态2中的图像为单通道的红外相机灰度图像，图像中对应位置的像素值表示红外相机接收的反射回来的红外数值，则跨模态三元组损失函数可表示为：
Figure BDA0002623268310000088
其中，d(a,b)为a,b两者之间的距离，m为一常数。
本实施例针对跨模态行人重识别任务的需求，在双流卷积神经网络训练期间没有加大时间开销和增加额外人工工作量的条件下，拉近了深度神经网络提取的不同模态图像特征之间的距离，提高了行人重识别任务的匹配准确率。
以下为在SYSU-MM01数据集上，提出的方法与目前现有技术中其他识别方式的实验测试结果对比，其中R1，R10，R20表示Rank-1，10，20准确度(％)，mAP表示平均准确率(％)，为方法的性能评价指标，数值越高代表性能越好。
Figure BDA0002623268310000091
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，包括下述步骤：
构建双流卷积神经网络；
对双流卷积神经网络进行参数初始化；
采集两个不同模态下的图像，并进行图像预处理，作为双流卷积神经网络的输入张量；
基于随机调换策略，双流卷积神经网络在跨模态数据集上进行训练，分别提取两个模态图像的特征向量，将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，完成跨模态行人重识别。
2.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述双流卷积神经网络包括两个结构一致的Resnet50网络和两个结构一致的全连接神经网络，两个Resnet50网络的参数各自独立，将两个Resnet50网络移除下采样。
3.根据权利要求2所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述对双流卷积神经网络进行参数初始化，具体步骤包括：
采用预训练好的Resnet50网络参数对双流卷积神经网络进行初始化，对两个全连接神经网络参数进行随机初始化。
4.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述采集两个不同模态下的图像，所述两个不同模态分别为：
第一模态中的图像为彩色的RGB图像，一张图像由三个彩色通道组成，每个通道对应位置的像素值表示对应颜色的量；
第二模态中的图像为单通道的红外相机灰度图像，图像中对应位置的像素值表示红外相机接收的反射回来的红外数值。
5.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述图像预处理的具体步骤包括：
将摄像机捕捉到的图像进行随机裁剪，将裁剪好的图像设定概率的水平翻转，将水平翻转后的图像进行归一化处理得到三维张量，随机将三维张量中的部分区域设置为图像均值，得到双流卷积神经网络的输入张量。
6.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述双流卷积神经网络在跨模态数据集上进行训练，具体步骤包括：
将双流卷积神经网络输出的两个模态图像的特征向量通过跨模态三元组损失函数计算得到三元组损失值；
将特征向量通过全连接神经网络计算和softmax函数归一化计算得到图像标签预测值，将图像标签预测值和图像标签真实值通过交叉熵和相对熵损失函数计算得到交叉熵损失值和相对熵损失值；
将三元组损失值、交叉熵损失值和相对熵损失值相加后得到总的损失值；
对损失值求导进行梯度计算，利用计算得到的梯度进行参数更新，进行网络训练。
7.根据权利要求6所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述交叉熵损失函数表示为：
Figure FDA0002623268300000021
所述相对熵损失函数表示为：
Figure FDA0002623268300000022
所述跨模态三元组损失函数表示为：
Figure FDA0002623268300000023
其中，P(yi)表示图像样本的真实分布，
Figure FDA0002623268300000024
表示网络输出样本的预测分布，n表示图像总类别数，
Figure FDA0002623268300000031
表示第一模态下的第i类类图像特征，
Figure FDA0002623268300000032
表示第二模态下的第i类类图像特征，
Figure FDA0002623268300000033
表示第二模态下的第j类图像特征，d表示两者之间的距离，m表示常数。
8.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述图像的特征向量通过对卷积神经网络输出的特征图采用全局平均池化得到。
9.根据权利要求1所述的基于双流卷积神经网络的跨模态行人重识别方法，其特征在于，所述将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，具体步骤包括：
在行人重识别的测试阶段，在第一模态下已有多个行人的特征向量的情况下，将第二模态中拍摄到的一张新的行人图像输入到双流卷积神经网络中，将双流卷积神经网络输出的特征向量通过批标准化得到输出特征向量，在两个模态的特征向量之间进行余弦距离计算并进行距离由小到大的排序，与新的特征向量余弦距离最近的特征向量所对应的行人图像ID即为匹配结果。
10.一种基于双流卷积神经网络的跨模态行人重识别系统，其特征在于，包括：双流卷积神经网络构建模块、参数初始化模块、图像预处理模块、训练模块和特征匹配模块；
所述双流卷积神经网络构建模块用于构建双流卷积神经网络；
所述参数初始化模块用于对双流卷积神经网络进行参数初始化；
所述图像预处理模块用于采集两个不同模态下的图像，并进行图像预处理，作为双流卷积神经网络的输入张量；
所述训练模块用于双流卷积神经网络在跨模态数据集上基于随机调换策略进行训练；
所述特征匹配模块用于分别提取两个模态图像的特征向量，将两个模态的特征向量进行欧氏距离度量得到特征匹配结果，完成跨模态行人重识别。
CN202010789561.XA 2020-08-07 2020-08-07 基于双流卷积神经网络的跨模态行人重识别方法和系统 Active CN111931637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789561.XA CN111931637B (zh) 2020-08-07 2020-08-07 基于双流卷积神经网络的跨模态行人重识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789561.XA CN111931637B (zh) 2020-08-07 2020-08-07 基于双流卷积神经网络的跨模态行人重识别方法和系统

Publications (2)

Publication Number Publication Date
CN111931637A true CN111931637A (zh) 2020-11-13
CN111931637B CN111931637B (zh) 2023-09-15

Family

ID=73307034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789561.XA Active CN111931637B (zh) 2020-08-07 2020-08-07 基于双流卷积神经网络的跨模态行人重识别方法和系统

Country Status (1)

Country Link
CN (1) CN111931637B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364791A (zh) * 2020-11-17 2021-02-12 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统
CN112434654A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112529040A (zh) * 2020-11-16 2021-03-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
CN112597866A (zh) * 2020-12-16 2021-04-02 南京邮电大学 一种基于知识蒸馏的可见光-红外跨模态行人重识别方法
CN112836605A (zh) * 2021-01-25 2021-05-25 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112860870A (zh) * 2021-03-16 2021-05-28 云知声智能科技股份有限公司 一种噪音数据的识别方法和设备
CN112906605A (zh) * 2021-03-05 2021-06-04 南京航空航天大学 一种高准确率的跨模态行人重识别方法
CN112926451A (zh) * 2021-02-25 2021-06-08 厦门大学 基于自模仿互蒸馏的跨模态行人重识别方法
CN113283578A (zh) * 2021-04-14 2021-08-20 南京大学 一种基于标记风险控制的数据去噪方法
CN113283362A (zh) * 2021-06-04 2021-08-20 中国矿业大学 一种跨模态的行人重识别方法
CN113378620A (zh) * 2021-03-31 2021-09-10 中交第二公路勘察设计研究院有限公司 监控视频噪声环境下跨摄像头行人重识别方法
CN113408472A (zh) * 2021-07-06 2021-09-17 京东数科海益信息科技有限公司 目标重识别模型的训练方法、目标重识别方法及装置
CN113723236A (zh) * 2021-08-17 2021-11-30 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN113780243A (zh) * 2021-09-29 2021-12-10 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113887382A (zh) * 2021-09-29 2022-01-04 合肥工业大学 基于rgb-d跨模态行人再识别方法、存储介质、设备
CN113963150A (zh) * 2021-11-16 2022-01-21 北京中电兴发科技有限公司 一种基于多尺度孪生级联网络的行人重识别方法
CN114581838A (zh) * 2022-04-26 2022-06-03 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置和云设备
CN114663737A (zh) * 2022-05-20 2022-06-24 浪潮电子信息产业股份有限公司 物体识别方法、装置、电子设备及计算机可读存储介质
CN115859175A (zh) * 2023-02-16 2023-03-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于跨模态生成式学习的液压减震器设备异常检测方法
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480178A (zh) * 2017-07-01 2017-12-15 广州深域信息科技有限公司 一种基于图像与视频跨模态比对的行人重识别方法
CN109784182A (zh) * 2018-12-17 2019-05-21 北京飞搜科技有限公司 行人重识别方法和装置
CN109977882A (zh) * 2019-03-29 2019-07-05 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN110516737A (zh) * 2019-08-26 2019-11-29 南京人工智能高等研究院有限公司 用于生成图像识别模型的方法和装置
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111325115A (zh) * 2020-02-05 2020-06-23 山东师范大学 带有三重约束损失的对抗跨模态行人重识别方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480178A (zh) * 2017-07-01 2017-12-15 广州深域信息科技有限公司 一种基于图像与视频跨模态比对的行人重识别方法
CN109784182A (zh) * 2018-12-17 2019-05-21 北京飞搜科技有限公司 行人重识别方法和装置
CN109977882A (zh) * 2019-03-29 2019-07-05 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN110516737A (zh) * 2019-08-26 2019-11-29 南京人工智能高等研究院有限公司 用于生成图像识别模型的方法和装置
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111325115A (zh) * 2020-02-05 2020-06-23 山东师范大学 带有三重约束损失的对抗跨模态行人重识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯展祥;朱荣;王玉娟;赖剑煌;: "非可控环境行人再识别综述", 中山大学学报(自然科学版), no. 03, pages 1 - 4 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529040A (zh) * 2020-11-16 2021-03-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
WO2022100387A1 (zh) * 2020-11-16 2022-05-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
CN112364791B (zh) * 2020-11-17 2021-06-15 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统
CN112364791A (zh) * 2020-11-17 2021-02-12 中南民族大学 一种基于生成对抗网络的行人重识别方法和系统
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112434654A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112434654B (zh) * 2020-12-07 2022-09-13 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112597866A (zh) * 2020-12-16 2021-04-02 南京邮电大学 一种基于知识蒸馏的可见光-红外跨模态行人重识别方法
CN112597866B (zh) * 2020-12-16 2022-08-02 南京邮电大学 一种基于知识蒸馏的可见光-红外跨模态行人重识别方法
CN112836605B (zh) * 2021-01-25 2022-08-30 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112836605A (zh) * 2021-01-25 2021-05-25 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112926451A (zh) * 2021-02-25 2021-06-08 厦门大学 基于自模仿互蒸馏的跨模态行人重识别方法
CN112926451B (zh) * 2021-02-25 2022-05-03 厦门大学 基于自模仿互蒸馏的跨模态行人重识别方法
CN112906605A (zh) * 2021-03-05 2021-06-04 南京航空航天大学 一种高准确率的跨模态行人重识别方法
CN112906605B (zh) * 2021-03-05 2024-02-20 南京航空航天大学 一种高准确率的跨模态行人重识别方法
CN112860870A (zh) * 2021-03-16 2021-05-28 云知声智能科技股份有限公司 一种噪音数据的识别方法和设备
CN112860870B (zh) * 2021-03-16 2024-03-12 云知声智能科技股份有限公司 一种噪音数据的识别方法和设备
CN113378620A (zh) * 2021-03-31 2021-09-10 中交第二公路勘察设计研究院有限公司 监控视频噪声环境下跨摄像头行人重识别方法
CN113378620B (zh) * 2021-03-31 2023-04-07 中交第二公路勘察设计研究院有限公司 监控视频噪声环境下跨摄像头行人重识别方法
CN113283578A (zh) * 2021-04-14 2021-08-20 南京大学 一种基于标记风险控制的数据去噪方法
CN113283362B (zh) * 2021-06-04 2024-03-22 中国矿业大学 一种跨模态的行人重识别方法
CN113283362A (zh) * 2021-06-04 2021-08-20 中国矿业大学 一种跨模态的行人重识别方法
CN113408472B (zh) * 2021-07-06 2023-09-26 京东科技信息技术有限公司 目标重识别模型的训练方法、目标重识别方法及装置
CN113408472A (zh) * 2021-07-06 2021-09-17 京东数科海益信息科技有限公司 目标重识别模型的训练方法、目标重识别方法及装置
CN113723236B (zh) * 2021-08-17 2023-02-28 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN113723236A (zh) * 2021-08-17 2021-11-30 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN113780243B (zh) * 2021-09-29 2023-10-17 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113887382B (zh) * 2021-09-29 2024-02-23 合肥工业大学 基于rgb-d跨模态行人再识别方法、存储介质、设备
CN113887382A (zh) * 2021-09-29 2022-01-04 合肥工业大学 基于rgb-d跨模态行人再识别方法、存储介质、设备
CN113780243A (zh) * 2021-09-29 2021-12-10 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113963150B (zh) * 2021-11-16 2022-04-08 北京中电兴发科技有限公司 一种基于多尺度孪生级联网络的行人重识别方法
CN113963150A (zh) * 2021-11-16 2022-01-21 北京中电兴发科技有限公司 一种基于多尺度孪生级联网络的行人重识别方法
CN114581838A (zh) * 2022-04-26 2022-06-03 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置和云设备
CN114663737B (zh) * 2022-05-20 2022-12-02 浪潮电子信息产业股份有限公司 物体识别方法、装置、电子设备及计算机可读存储介质
CN114663737A (zh) * 2022-05-20 2022-06-24 浪潮电子信息产业股份有限公司 物体识别方法、装置、电子设备及计算机可读存储介质
CN115859175A (zh) * 2023-02-16 2023-03-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于跨模态生成式学习的液压减震器设备异常检测方法

Also Published As

Publication number Publication date
CN111931637B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN111931637A (zh) 基于双流卷积神经网络的跨模态行人重识别方法和系统
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN112800876A (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN112668648A (zh) 基于对称融合网络的红外可见光融合识别方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN111414875B (zh) 基于深度回归森林的三维点云头部姿态估计系统
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN112070010B (zh) 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN114360038A (zh) 基于深度学习的弱监督rpa元素识别方法及系统
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
Gu et al. A classification method for polsar images using SLIC superpixel segmentation and deep convolution neural network
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN116246305A (zh) 一种基于混合部件变换网络的行人检索方法
CN111666953B (zh) 一种基于语义分割的潮汐带测绘方法及设备
Wang et al. Hacloudnet: A ground-based cloud image classification network guided by height-driven attention
CN114581789A (zh) 一种高光谱图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant