CN112396000B - 一种多模态密集预测的深度信息传输模型的构建方法 - Google Patents

Abstract

本发明提供一种多模态密集预测的深度信息传输模型的构建方法，该方法首先，构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；然后，构建一个信息聚集‑分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输。本发明通过学习多模态对齐表示，建立一个包含信息聚合分布模块的多模态密集预测框架，能够充分捕捉不同模态之间的互补信息，很好的完成信息整合。在各种多模态密度预测任务中，该方案显示出了有效性和通用性。

Description

一种多模态密集预测的深度信息传输模型的构建方法

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种多模态密集预测的深度信息传输模型的构建方法。

背景技术

自动生成像素层级映射的密度预测是计算机视觉任务的基础问题，其在人群计数，突出目标检测、道路分割等方面的应用效果已引发广泛关注。密度预测需求丰富的信息来完成像素层级的推理，是一项具有挑战性的技术问题。目前各种任务受益于多模态数据的互补信息，即除RGB图像外，其它形式的一些数据可以提供补充信息，例如热影像和深度图像等。

RGB-T(热图像)人群计数。之前的大多数方法利用光学相机捕获的RGB图像信息进行计数估计。然而，在很多情况下(如曝光过度、模糊、黑暗)，光学信息很差，上述方法通常不能准确估计行人的数量。使用深度图像作为辅助信息，同时对人头进行计数和定位一定程度上解决了这一问题。但是，深度传感器的距离测量存在一定的误差，特别是在室外场景中，测量范围通常小于20米。因此，深度图像也不能为人群计数提供足够的信息。热传感器可以在野外精确测量人体表面温度，而产生的高对比度热图象对黑暗、远处模糊和杂波背景都很强健。因此，热图像对人群计数非常有利。RGB-D(深度图像)突出目标检测。作为一项经典的计算机视觉任务，显著目标检测的目的是识别给定图像中的视觉显著目标，通常被建模为像素级的神学院分类问题。文献中有很多模型被提出用于RGB显著性检测。但是，只能依靠RGB图像的信息这些方法可能无法从杂乱的背景中区分出显著的特征。特别是当它们外表相似的时候。最近一些技术方法将RGB图像和深度图像共同处理这个任务,因为深度信息可以使对象的边缘更明显。在这些模型中，不对称问题没有得到显式处理。RGB图像和深度图像的互补信息得不到有效的捕获。RGB-GPS道路分割。城市道路地图的自动构建在导航和交通中起着重要的作用。道路分割作为道路分割的关键组成部分，得到了广泛的研究。传统的方法可以分为基于图像的方法和基于轨迹的方法。通常采用图像分割技术从航拍图像中提取交通道路。但是，当遇到以下情况时，这些方法表现不佳。首先，一些道路被树木和建筑物遮挡，很难从航拍图像中识别它们。其次，一些基础设施(如铁路)与交通道路外观相似，难以通过视觉信息进行区分。基于轨迹的方法利用车辆GPS轨迹提取城市道路。有质量轨迹的区域可以视为潜在的道路。虽然这些方法可以避免视觉缺陷，但也提出了两个挑战。首先，质量轨迹记录可能会出现在一些非道路区域(如停车场)。二是GPS设备定位不精确，噪声点多，误差大。毫无疑问，这两种方法是互补的。然而，很少作品同时使用视觉信息和轨迹信息。直接将航空图像和GPS热图的拼接输入网络，或将其特征在不同层次上融合，由于考虑了不对称问题，无法有效地利用多模态信息。

部分技术仅利用RGB图像的视觉信息，在无约束情况下可能无法识别与任务相关的对象。例如光照条件较差的RGB图像中难以检测到行人，严重的图像遮挡问题如树木遮挡交通道路导致其难以从RGB图像中提取信息。在使用多模态的技术方法中，仍存在两个重要问题。其一，每种模式都是一个特殊的领域，多模态数据自然会存在或多或少的领域失调，传统方法未能显式处理域差距，因此无法很好的学习互补信息。其二，不同传感器捕获的多模态数据及其位置通常是非对齐的。领域和位置的非对称等问题，都导致了多模态的模型无法进行信息的正确整合。

专利号为201780030149.6的专利说明书中公开了一种用于生成多模态数字图像的方法和系统，：利用第一神经网络处理矢量，以生成所述数字图像的第一模态；以及利用第二神经网络处理所述矢量，以生成所述数字图像的第二模态。所述第一神经网络的结构和层数与所述第二神经网络的结构和层数相同。而且，所述第一神经网络的至少一层具有与所述第二神经网络的对应层的参数相同的参数，并且所述第一神经网络的至少一层具有与所述第二神经网络的对应层的参数不同的参数。然而，该专利无法实现充分捕捉不同模态之间的互补信息，很好的完成信息整合。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种+定语+名称。

为了达到上述技术效果，本发明的技术方案如下：

一种多模态密集预测的深度信息传输模型的构建方法，包括以下步骤：

S1：构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；

S2：构建一个信息聚集-分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输。

进一步地，所述步骤S1中，所有的子网络采用CSRNet开发，CSRNet由前端块和后端块组成，前端块包含VGG16模型的前10个卷积层，后端块包含6个扩展的卷积层。

进一步地，用于RGB图或热图表征学习的子网络基于CSRNet前端块，用于模式共享的子网络基于CSRNet的最后14个卷积层。

进一步地，若第j个扩张卷积层重命名为Conv5_j，同时在Convi_j中的RGB图特征、热图特征、以及模式共享的特征分别表示为

在特征提取后，应用信息聚集-分布模块IADM学习多模态对齐表示，以完整地利用多模态信息；IADM是分层嵌入在不同层之后的，Conv1_2、Conv2_2、Conv3_3和Conv4_3，提取并传递所有特征的平移不变信息，使其相互增强；该过程可表述为公式(1)：

其中分别是/>的增强特征；

增强的特征被送入下一层进行进一步的表征学习；由于信息聚集-分布模块IADM的存在，输入RGB图像和热图像的互补信息被逐步对齐并嵌入到模式共享特征中；增强的特性被提供给CSRNet结构的后端块。

进一步地，初始的模式共享特性被设置为0；模式共享特征/>通过1*1卷积层用于预测的人群密度图M。

进一步地，所述步骤S2中，平移不变的信息提取的过程是：

不同传感器捕获的RGB图像及其对应的热图像存在一定的平移错位，为了消除这个问题，使用金字塔最大池化操作从特征提取不变信息，对于特征F^i,j∈R^h×w×c，应用一个n×n(n＝2,4)的最大池化层来生成一个的特征，再使用最近邻插值将其上样至h×w，上采样特征记为F^i,j,n，最后计算得到该特征的信息I^i,j∈R^h×w×c，公式如式(2)所示：

I^i,j＝Conv_1*1(F^i,j∪F^i,j,2∪F^i,j,4) (2)

其中∪代表了特征连接操作。

进一步地，所述步骤S2中，信息聚合传输的过程是：

对于给定的特征和/>首先提取它们的平移不变信息/>和/>然后通过计算/>与/>之间的差值，得到两个对比信息/>和/>最后使用两个门控功能自适应地聚合多模式信息，以增强模式共享特征/>增强后的特征/>可以表示为如下公式：

其中和/>是限制权重，⊙指的是元素的乘法。在此转换过程中，位置对齐的信息被有效地嵌入到域对齐表示中，从而利用多模态信息。

进一步地，所述步骤S2中，信息分布传输的过程是：利用门控功能和残差学习以动态地分布翻译不变信息具体计算精细特征/>和/>如下

与现有技术相比，本发明技术方案的有益效果是：

本发明通过学习多模态对齐表示，建立一个包含信息聚合分布模块的多模态密集预测框架，能够充分捕捉不同模态之间的互补信息，很好的完成信息整合。在各种多模态密度预测任务中，该方案显示出了有效性和通用性。

附图说明

图1为本发明构建的模型框图；

图2为信息聚合传输意图；

图3为信息分布传输示意图；

图4、图5分别为常规的任意格式RGB图像；

图6为本专利对于图像中人群数量的统计结果，上方图像对应图像4，下方图像对应图像5；

图7为本专利中采用的图像人工标注的ground truth结果，上方图像对应图像4，下方图像对应图像5。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

一种多模态密集预测的深度信息传输模型的构建方法，包括以下步骤：

S1：构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；

S2：构建一个信息聚集-分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输。

如图1所示，本发明方法构建的多模态密集预测的深度信息传输模型的框架结构，该框架由三个并行子网络和一个信息聚集-分布模块(IADM)组成。前两个子网是为特定模式(RGB图或热图)表征学习而开发的，而最后一个子网是为模式共享表征学习而设计的。其中R代表原始RGB图像的输入，T代表热图。将给定的RGB图像R与热图像T，分别放入不同子网中，以提取特定模态的不同特征。然后将获取的特征聚合，以细化由模态共享子网生成的模态共享特征。如前所述所有子网都是使用CSRNet开发的，CSRNet由前端块和后端块组成，前端块包含VGG16模型的前10个卷积层，后端块包含6个扩展的卷积层。两个特定于模式的子网是基于CSRNet前端块，而模式共享的子网是基于CSRNet的最后14个卷积层的。

假定第j个扩张卷积层重命名为Conv5_j，同时在Convi_j中的RGB图特征、热图特征、以及模式共享的特征分别表示为在特征提取后，应用所提出的信息聚集-分布模块学习多模态对齐表示，以完整地利用多模态信息。IADM是分层嵌入在不同层之后的，比如Conv1_2、Conv2_2、Conv3_3和Conv4_3。提取并传递所有特征的平移不变信息，使其相互增强。该过程可表述为公式(1)。

其中分别是/>的增强特征。

这个增强的特征被送入下一层进行进一步的表征学习。在我们的工作中，初始的模式共享特性被设置为0。由于IADM的存在，输入RGB图像和热图像的互补信息被逐步对齐并嵌入到模式共享特征中。在第四个IADM之后，增强的特性/>被提供给CSRNet结构的后端块。最终的模式共享特征/>具有丰富的信息，可通过1*1卷积层用于预测的人群密度图M。

为了充分利用多模态信息的互补性，提出了一个用于多模态对齐表示学习的信息聚合和分布模块(IADM)。IADM与信息聚合传输和信息分发传输集成在一起。两者都传递平移不变信息，用于特征细化。

(1)平移不变的信息提取。

不同传感器捕获的RGB图像及其对应的热图像存在一定的平移错位。为了消除这个问题，我们使用金字塔最大池化操作从特征提取不变信息。对于特征F^i,j∈R^h×w×c，应用一个n×n(n＝2,4)的最大池化层来生成一个的特征。再使用最近邻插值将其上样至h×w。上采样特征记为F^i,j,n。最后计算得到该特征的信息I^i,j∈R^h×w×c。公式如式(2)所示

I^i,j＝Conv_1*1(F^i,j∪F^i,j,2∪F^i,j,4) (2)

其中∪代表了特征连接操作。

(2)信息聚合传输。

如图2所示，IAT旨在聚合互补信息，增强模式共享特性，如图2所示。IAT动态传输有益的信息，包括门控功能和残差学习。具体来说，对于给定的特征和/>我们首先提取它们的平移不变信息/>和/>然后通过计算/>与/>之间的差值，得到两个对比信息/>和/>最后使用两个门控功能自适应地聚合多模式信息，以增强模式共享特征增强后的特征/>可以表示为如下公式：

其中和/>是限制权重，⊙指的是元素的乘法。在此转换过程中，位置对齐的信息被有效地嵌入到域对齐表示中，从而更好地利用多模态信息。

(3)信息分布传输

如图3所示，在信息聚合后，我们还利用增强的特征的信息细化了模态特征因为精细的模态特征有助于进一步的表示学习。如图3所示，与IAT相似IDT也利用门控功能和残差学习以动态地分布翻译不变信息/>具体计算精细特征/>和/>如下

专利的应用实例，图4与图5分别为常规的任意格式RGB图像，图6为本专利对于图像中人群数量的统计结果，图7为本专利中采用的图像人工标注的ground truth结果。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种多模态密集预测的深度信息传输模型的构建方法，其特征在于，包括以下步骤：

S1：构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；

S2：构建一个信息聚集-分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输；

所述步骤S1中，所有的子网络采用CSRNet开发，CSRNet由前端块和后端块组成，前端块包含VGG16模型的前10个卷积层，后端块包含6个扩展的卷积层；

用于RGB图或热图表征学习的子网络基于CSRNet前端块，用于模式共享的子网络基于CSRNet的最后14个卷积层；

若第j个扩张卷积层重命名为Conv5_j，同时在Convi_j中的RGB图特征、热图特征、以及模式共享的特征分别表示为

在特征提取后，应用信息聚集-分布模块IADM学习多模态对齐表示，以完整地利用多模态信息；IADM是分层嵌入在不同层之后的，Conv1_2、Conv2_2、Conv3_3和Conv4_3，提取并传递所有特征的平移不变信息，使其相互增强；该过程表述为公式(1)：

其中分别是/>的增强特征；

增强的特征被送入下一层进行进一步的表征学习；由于信息聚集-分布模块IADM的存在，输入RGB图像和热图像的互补信息被逐步对齐并嵌入到模式共享特征中；增强的特性被提供给CSRNet结构的后端块。

2.根据权利要求1所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，初始的模式共享特性被设置为0。

3.根据权利要求2所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，模式共享特征通过1*1卷积层用于预测的人群密度图M。

4.根据权利要求3所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，所述步骤S2中，平移不变的信息提取的过程是：

不同传感器捕获的RGB图像及其对应的热图像存在平移错位，为了消除这个问题，使用金字塔最大池化操作从特征提取不变信息，对于特征F^i,j∈R^h×w×c，应用一个n×n的最大池化层来生成一个的特征，再使用最近邻插值将其上样至h×w，上采样特征记为F^i,j,n，最后计算得到该特征的信息I^i,j∈R^h×w×c，公式如式(2)所示：

I^i,j＝Conv_1*1(F^i,j∪F^i,j,2∪F^i,j,4) (2)

其中∪代表了特征连接操作。

5.根据权利要求4所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，n×n的最大池化层中n是2或4。

6.根据权利要求5所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，所述步骤S2中，信息聚合传输的过程是：

对于给定的特征和/>首先提取它们的平移不变信息/>和/>然后通过计算/>与/>之间的差值，得到两个对比信息/>和/>最后使用两个门控功能自适应地聚合多模式信息，以增强模式共享特征/>增强后的特征/>表示为如下公式：

其中和/>是限制权重，⊙指的是元素的乘法；在此转换过程中，位置对齐的信息被有效地嵌入到域对齐表示中，从而利用多模态信息。

7.根据权利要求6所述的多模态密集预测的深度信息传输模型的构建方法，其特征在于，所述步骤S2中，信息分布传输的过程是：利用门控功能和残差学习以动态地分布翻译不变信息具体计算精细特征/>和/>如下：