CN117523609A - 基于特定和共享表示学习的可见光与近红外行人重识别方法 - Google Patents

Abstract

本发明公开一种基于特定和共享表示学习的可见光与近红外行人重识别方法，设计一个共享分支来弥合图像级别的域差异并学习模态共享表征，同时设计了一个特定分支来保留可见光图像的判别信息以学习模态特定表征。此外，还提出了类内聚合和类间分离学习策略，以在细粒度水平上优化特征嵌入的分布，进一步提高发明方法的泛化性能，本发明能够在消除颜色差异的同时，保留可见光图像中包含的颜色特定信息。

Description

基于特定和共享表示学习的可见光与近红外行人重识别方法

技术领域

本发明涉及计算机视觉处理技术，具体涉及一种基于特定和共享表示学习的可见光与近红外行人重识别方法。

背景技术

行人重识别是一种关键的技术，用于判断图像或者视频序列中是否存在特定行人。在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，行人重识别就成为了一个非常重要的替代品技术。在公共安全领域，行人重识别技术可以用于监控和预防犯罪。通过对监控视频中的行人进行重识别，可以快速找到嫌疑人的行踪，从而提高犯罪侦查的效率。在交通领域，通过行人重识别技术，可以更好地了解行人的行为，为交通管理提供更好的数据支持，实现交通信号的控制和优化。在商业领域，通过行人重识别技术，可以更好地了解顾客的行为习惯和购物喜好，为商家提供更好的服务，还可以用于广告投放。随着视频安防监控要求的不断提升，为了克服可见光摄像头无法全天候使用的缺点以及昼夜光照条件不同的问题，跨模态可见光近红外行人重识别被提出。

在早期的跨模态可见光近红外行人重识别工作中，研究人员旨在通过生成对抗网络去生成具体的跨模态图像来消除图像级间隙，将任务尽可能地减少为单模态任务。但是在生成的过程中难以避免会产生一定的噪声。因此，最近的一些工作使用灰度图像进行交叉模态匹配来消除可见光和近红外图像的颜色差异。一些研究人员提出了一种使用随机交换颜色通道来均匀地生成与颜色无关的图像从而缓解模态间的差异，另一些研究人员引入了一个辅助的X模态作为中间模态，并将可见光红外双模交叉模态学习重新表述为可见光红外和X模态的三模学习问题。然而，目前仍然存在不可忽视的问题：消除颜色差异的同时，可见光图像中包含的颜色特定信息会被一起丢弃；模态差异巨大，两种模态特征无法很好地投射到统一空间中。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于特定和共享表示学习的可见光与近红外行人重识别方法，本发明设计一个共享分支来弥合图像级别的域差异并学习模态共享表征，同时设计一个特定分支来保留可见光图像的判别信息以学习模态特定表征。此外，还提出类内聚合和类间分离学习策略，以在细粒度水平上优化特征嵌入的分布，进一步提高技术方案的泛化性能。

技术方案：本发明的一种基于特定和共享表示学习的可见光与近红外行人重识别方法，包括以下步骤：

步骤S1，获取可见光图像x_rgb∈R^H×W×3和近红外图像x_nir∈R^H×W×3，将可见光图像和近红外图像作为初始输入图像送入双分支共享特定联合学习网络模型；双分支共享特定联合学习网络模型包括通道转化模块、基于Resnet-50的共享分支和特定分支以及残差收缩融合模块；

步骤S2、使用通道转化模块将输入的可见光图像x_rgb∈R^H×W×3进行灰度化处理，得到灰度图像x_gray∈R^H×W×3；

步骤S3、使用基于Resnet-50的特定分支分别对可见光图像和近红外图像进行处理，提取获得可见光特定特征以及近红外特定特征，特定特征主要是颜色等一些特征，用来区分同一模态不同行人；使用基于Resnet-50的共享分支分别对近红外图像和灰度图像进行处理，提取获得可见光共享特征以及近红外共享特征，共享特征主要是纹理等一些特征，用来拉近不同模态同一行人；

上述共享分支的两个Resnet-50模块之间共享参数，每个Resnet-50模块均包含前置卷积层、残差块、50个卷积层、全局最大池化和全连接层，每个残差块均包含两个卷积层，每个卷积层后面接一个非线性激活函数，这种结构的共享分支可有效地保留并传递信息，从而避免梯度消失问题，显著提高图像识别等任务的性能；

上述特定分支的两个Resnet-50模块之间不共享参数；

步骤S4，使用部件级特征提取模块将所得可见光图像和近红外行人图像特征划分成水平条状，粗略提取人体部分特征；

步骤S5，使用残差收缩融合模块将同一行人每一部分的特定特征和共享特征进行融合，得到最终融合特征；最后，每一部分的融合特征都通过判别器进行分类任务；

步骤S6，使用类内聚合和类间分离学习策略来优化共享特征和特定特征的分布，类内聚合和类间分离学习策略包括类内聚合学习模块和类间分类学习模块；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征输入类内聚合学习模块；所述类内聚合学习模块限制每个类的距离，以增加跨模态的类内相似性，减少相同身份的不同模态中心之间的距离，从而抑制跨模态的变化，可见光特定特征、红外特定特征、可见光共享特征和红外共享特征映射更加集中；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征的特征中心作为初始输入特征，输入至类间分类学习模块；所述类问分类学习模块分离了不同身份的特征分布，增加同一模态不同身份中心之间的距离。

进一步地，通道转化模块将三通道可见光图像转化为单通道近红外图像，能够缓解可见光和近红外图像的模态差异，便于提高两种模态的共享特征，也即是说通过对可见光图像进行灰度变换操作以缓解和近红外图像的模态差异，可见光图像具有三个通道R、G、B；此处取R(x)，G(x)和B(x)值为可见光图像的每个像素；因此对应的灰度像素点Gray(x)可计算为：

Gray(x)＝R(X)*0.114+G(x)*0.587+B(x)*0.229。

进一步地，可见光图像和近红外图像的特定特征和共享特征的计算过程各自如下：

其中SSRL_specific()表示通过特定分支提取特定特征，SSRL_shared表示通过共享分支提取共享特征，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

进一步地，所述部件级特征提取模块采用均匀分割策略来获得粗体部位特征，将三维特征图在水平方向上均匀划分为6条，同时需要6个不同的不共享参数的分类器，在测试过程中，将所有6个部分级特征连接起来，形成用于相似性度量的最终人物特征。

进一步地，所述残差收缩融合模块将同一行人的共享特征和特定特征进行融合操作，具体的融合过程可表示为：

其中，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

通过残差收缩融合模块使最终融合特征既包含特定信息可帮助区分同一模态不同身份的行人特征又包含共享特征可以帮助找到不同模态同一身份的行人特征。本发明的残差收缩融合模块基于Resnet加入软阈值函数，能够有效消除噪声相关特征的影响。

进一步地，所述类内聚合模块用于限制每个类的距离，以增加跨模态的类内相似性，最终能够将同一身份的不同模态聚合在一起，具体的聚合过程可表示为：

进一步地，所述类间分离模块用于分离不同的身份，保证不同身份之间的差异性，最终能够将不同身份的身份特征分离开来，具体的分离过程表示为：

上式中，j表示表示非p的行人身份，c^p、c^j分布表示身份p和身份j的特征分布中心。

有益效果：本发明设计一个共享分支来弥合图像级别的域差异并学习模态共享表征，同时设计了一个特定分支来保留可见光图像的判别信息以学习模态特定表征。此外，还提出了类内聚合和类间分离学习策略，以在细粒度水平上优化特征嵌入的分布，进一步提高发明方法的泛化性能。本发明网络框架简单有效，在公开的SYSU-MM01数据集和RegDB数据集实现了非常好的效果。

附图说明

图1是本发明中双分支共享特定联合学习网络模型结构示意图；

图2是本发明中通道转化模块示意图；

图3是本发明中残差收缩融合模块示意图；

图4是本发明中类内聚合学习模块示意图；

图5是本发明中类间分离学习模块示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，一种基于特定和共享表示学习的可见光与近红外行人重识别方法，包括以下步骤：

步骤S1，获取可见光图像x_rgb∈R^H×W×3和近红外图像x_nir∈R^H×W×3，将可见光图像和近红外图像作为初始输入图像送入双分支共享特定联合学习网络模型；双分支共享特定联合学习网络模型包括通道转化模块、基于Resnet-50的共享分支和特定分支以及残差收缩融合模块；

步骤S2、使用通道转化模块将输入的可见光图像x_rgb∈R^H×W×3进行灰度化处理，得到灰度图像x_gray∈R^H×W×3；

步骤S3、使用基于Resnet-50的特定分支分别对可见光图像和近红外图像进行处理，提取获得可见光特定特征以及近红外特定特征；使用基于Resnet-50的共享分支分别对近红外图像和灰度图像进行处理，提取获得可见光共享特征以及近红外共享特征；

上述共享分支的两个Resnet-50模块之间共享参数，每个Resnet-50模块均包含前置卷积层、残差块、50个卷积层、全局最大池化和全连接层，每个残差块均包含两个卷积层，每个卷积层后面接一个非线性激活函数；

上述特定分支的两个Resnet-50模块之间不共享参数；

步骤S4，使用部件级特征提取模块将所得可见光图像和近红外行人图像特征划分成水平条状，粗略提取人体部分特征；

步骤S5，使用残差收缩融合模块将同一行人每一部分的特定特征和共享特征进行融合，得到最终融合特征；最后，每一部分的融合特征都通过判别器进行分类任务；

步骤S6，使用类内聚合和类间分离学习策略来优化共享特征和特定特征的分布，类内聚合和类问分离学习策略包括类内聚合学习模块和类间分类学习模块；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征输入类内聚合学习模块；类内聚合学习模块限制每个类的距离，使得可见光特定特征、红外特定特征、可见光共享特征和红外共享特征映射更加集中；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征的特征中心作为初始输入特征，输入至类间分类学习模块；类间分类学习模块分离不同身份的特征分布，增加同一模态不同身份中心之间的距离。

如图2所示，本实施例可见光图像x_rgb∈R^H×W×3具有三个通道R、G、B；此处取R(x)，G(x)和B(x)值为可见光图像的每个像素；因此对应的灰度像素点Gray(x)可计算为：

Gray(x)＝R(X)*0.114+G(x)*0.587+B(x)*0.229。

如图3所示，本实施例的可见光图像x_rgb∈R^H×W×3和近红外图像x_nir∈R^H×W×3的特定特征和共享特征的计算过程各自如下：

其中，SSRL_specific()表示通过特定分支提取特定特征，SSRL_shared表示通过共享分支提取共享特征，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

本实施例的部件级特征提取模块采用均匀分割策略来获得粗体部位特征，将三维特征图在水平方向上均匀划分为6条，同时需要6个不同的不共享参数的分类器，在测试过程中，将所有6个部分级特征连接起来，形成用于相似性度量的最终人物特征。

本实施例的残差收缩融合模块将同一行人的共享特征和特定特征进行融合操作，融合过程表示为：

其中，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

如图4所示，本实施例的类内聚合模块的具体聚合过程表示为：

如图5所示，本实施例的类间分离模块的具体分离过程表示为：

实施例

将本发明技术方案得到跨模态行人重识别方法在数据集SYSU-MM01和数据集RegDB上评估，并将其与最先进的方法进行比较，如表1所示。

表1

表1中最后一行为本发明技术方案，从表1中结果可以看出，本发明技术方案采用欧几里德距离度量来测量两个特征向量之间的相似度。使用多个指标来评估性能，包括平均精度(mAP)、累积匹配曲线(CMC)。从结果中可以得到，本发明技术方案应用在跨模态行人重识别识别数据集上，在各个评价指标上都有明显提升。

Claims (7)

1.一种基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，包括以下步骤：

步骤S1，获取可见光图像x_rgb∈R^H×W×3和近红外图像x_nir∈R^H×W×3，将可见光图像和近红外图像作为初始输入图像送入双分支共享特定联合学习网络模型；双分支共享特定联合学习网络模型包括通道转化模块、基于Resnet-50的共享分支和特定分支以及残差收缩融合模块；

步骤S2、使用通道转化模块将输入的可见光图像x_rgb∈R^H×W×3进行灰度化处理，得到灰度图像x_gray∈R^H×W×3；

步骤S3、使用基于Resnet-50的特定分支分别对可见光图像和近红外图像进行处理，提取获得可见光特定特征以及近红外特定特征；使用基于Resnet-50的共享分支分别对近红外图像和灰度图像进行处理，提取获得可见光共享特征以及近红外共享特征；

上述共享分支的两个Resnet-50模块之间共享参数；上述特定分支的两个Resnet-50模块之间不共享参数；

步骤S4，使用部件级特征提取模块将所得可见光图像和近红外行人图像特征划分成水平条状，粗略提取人体部分特征；

步骤S5，使用残差收缩融合模块将同一行人每一部分的特定特征和共享特征进行融合，得到最终融合特征；最后，每个部分的融合特征都通过判别器进行分类任务；

步骤S6，使用类内聚合和类间分离学习策略来优化共享特征和特定特征的分布，类内聚合和类间分离学习策略包括类内聚合学习模块和类间分类学习模块；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征输入类内聚合学习模块；类内聚合学习模块限制每个类的距离，使得可见光特定特征、红外特定特征、可见光共享特征和红外共享特征映射更加集中；

将同一行人的可见光特定特征、近红外特定特征、可见光共享特征、近红外共享特征的特征中心作为初始输入特征，输入至类间分类学习模块；类间分类学习模块分离不同身份的特征分布，增加同一模态不同身份中心之间的距离。

2.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，通道转化模块进行灰度化处理的方法为：可见光图像具有三个通道R、G、B；此处取R(x)，G(x)和B(x)值为可见光图像的每个像素；因此对应的灰度像素点Gray(x)可计算为：

Gray(x)＝R(X)*0.114+G(x)*0.587+B(x)*0.229。

3.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，

可见光图像和近红外图像的特定特征和共享特征的计算过程各自如下：

其中，SSRL_spevifiv()表示通过特定分支提取特定特征，SSRL_shared表示通过共享分支提取共享特征，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

4.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，所述部件级特征提取模块采用均匀分割策略来获得粗体部位特征，将三维特征图在水平方向上均匀划分为6条，同时需要6个不同的不共享参数的分类器，在测试过程中，将所有6个部分级特征连接起来，形成用于相似性度量的最终人物特征。

5.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，所述残差收缩融合模块将同一行人的共享特征和特定特征进行融合操作，融合过程表示为：

其中，C_vspe表示进行光特定特征，C_vsha表示可见光共享特征，C_ispe表示近红外特征特征，C_isha表示近红外共享特征。

6.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，所述类内聚合模块的具体聚合过程表示为：

其中P表示表示一个小批量训练数据中有P个身份行人特征，j表示表示非p的行人身份，分别表示身份p的可见特定特征、红外特定特征、可见共享特征、红外共享特征。

7.根据权利要求1所述的基于特定和共享表示学习的可见光与近红外行人重识别方法，其特征在于，所述类间分离模块的具体分离过程表示为：

上式中，j表示表示非p的行人身份，c^p、c^j分布表示身份p和身份j的特征分布中心。