CN110263786A - 一种基于特征维度融合的道路多目标识别系统及方法 - Google Patents

Abstract

本发明提供一种基于特征维度融合的道路多目标识别系统及方法，包括：用于提取道路场景图像特征的全卷积网络单元；用于对提取到的特征进行初步目标位置预测的目标位置回归单元，用于融合道路场景图像外观特征的对称式融合网络单元，用于将融合后得到的特征利用区域位置热图表示空间信息的区域位置热图单元，用于将初步的目标位置预测结果与热图进行融合得到最终检测结果的融合单元。本发明将道路场景图像训练得到道路目标检测模型。通过引入特征维度融合的技术，将具有较高分辨率的浅层特征图与分辨率较低但语义特征明显的深层特征相连接，从而提高了模型对于多尺度目标的检测精度；同时利用全卷积检测网络，进一步平衡检测精度与速度两个指标。

Description

一种基于特征维度融合的道路多目标识别系统及方法

技术领域

本发明涉及智能交通技术领域，具体而言，尤其涉及一种基于特征维度融合的道路多目标识别系统及方法。

背景技术

交通是连接城市的重要纽带，对生产要素的流动、城镇体系的发展有着决定性的影响。随着经济社会的快速发展、城市化进程加快，以及高速增长的人口导致机动车数量呈现爆炸式的增长，这也对现有的交通体系提出了更高的要求。

在道路目标检测的研究初期，研究人员往往利用一些人工设计的特征描述算子进行目标识别，如尺度不变特征(SIFT)、局部二值模式(LBP)、梯度直方图(HOG)、局部特征聚合描述符(VLAD)等特征。传统的特征提取需要人工设计复杂的特征提取方法，提取到的特征维度较高，工作量大且效率较低。随着机器学习的发展，近年来深度学习成为机器学习研究领域的一大热点。通过深度卷积神经网络(DCNN)提取的图像特征被证明可以有效地应用于图像分类、分割或检索应用中。与传统的特征提取算法相比，DCNN有如下优势：

1)基于DCNN的检测和特征提取对于由于摄像机焦距变化、不同的光照条件、不同的姿势、部分遮挡、水平或垂直的偏移等引起的图像扭曲具有良好的鲁棒性；

2)基于DCNN的特征提取算法计算量相对较低，因为对于不同的输入图像，网络卷积层中的参数保持不变。

目前卷积神经网络是多类目标检测任务的首选解决方案，通过获取障碍物、车辆和行人等信息防止车辆碰撞和追尾,增加车辆行驶的安全性。然而，当前道路多目标识别网络有如下缺陷：

1)DCNN对RPN网络输出的感兴趣区域(Proposal Region)进行目标分类，大量感兴趣区域存在大范围的重叠，不必要的重复计算导致该方法的检测速度较慢。

2)为了得到较高的识别精度，现有目标检测网络层数普遍较多，大量的卷积运算降低了系统的运行速度。

发明内容

根据上述提出的技术问题，而提供一种基于特征维度融合的道路多目标识别系统及方法。本发明将道路场景图像训练得到道路目标检测模型，通过引入特征维度融合的技术，将具有较高分辨率的浅层特征图与分辨率较低但语义特征明显的深层特征相连接，从而提高了模型对于多尺度目标的检测精度。同时利用全卷积检测网络，进一步平衡检测精度与速度两个指标。

本发明采用的技术手段如下：

一种基于特征维度融合的道路多目标识别系统，包括：

全卷积网络单元，用于提取道路场景图像的特征；

目标位置回归单元，用于对通过所述全卷积网络单元提取到的特征进行初步的目标位置预测；

对称式融合网络单元，用于融合道路场景图像的外观特征；

区域位置热图单元，将通过所述对称式融合网络单元融合后得到的特征利用区域位置热图表示空间信息，提高定位精度；

融合单元，用于将所述目标位置回归单元输出的初步的目标位置预测结果与所述区域位置热图单元输出的热图进行融合，得到最终的检测结果。

进一步地，所述对称式融合网络单元包括编码器、解码器以及特征融合模块；

所述编码器，用于将所述对称式融合网络单元提取到的外观特征逐渐降低维度，提取更深层次的视觉特征；

所述解码器，用于逐步修复上述视觉特征的细节和空间维度；

所述特征融合模块，用于将编码器提取的更深层次的视觉特征与将解码器修复后的特征进行融合。

进一步地，所述编码器和解码器之间通过跨层连接实现不同视觉层次的特征图的融合。

进一步地，所述区域位置热图单元利用卷积层的输出结果生成热力图，其损失目标函数定义为：

其中，H_target表示ground truth的热图矢量，H_pred表示对称式融合网络单元输出的预测矢量。

本发明还提供了一种基于特征维度融合的道路多目标识别方法，包括如下步骤：

步骤S1：将道路场景图像缩放到统一尺寸；

步骤S2：将步骤S1统一尺寸后得到的测试图像，输入到已通过训练集训练后的全卷积网络单元，并提取最后一个全连接层的输出向量作为该图像的高层语义特征；经过全卷积网络单元，提取得到4096维的特征向量；通过目标位置回归单元对提取到的4096维特征向量进行初步的目标位置预测；

步骤S3：将步骤S1统一尺寸后得到的测试图像，输入到带有编码器-解码器结构的对称式融合网络单元，编码器逐渐减少特征空间的维度，提取得到1024维的特征向量；

步骤S4：将步骤S3得到的特征向量送入解码器，逐步提取特征，得到更多的目标细节；

步骤S5：将步骤S3和步骤S4提取到的特征向量通过特征融合模块进行逐层融合，得到显著特征描述向量；

步骤S6：将步骤S5得到的显著特征描述向量利用区域位置热图表示空间信息；

步骤S7：将步骤S2得到的预测位置信息和步骤S6得到的热图通过融合单元进行融合，得到最终的检测结果。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于特征维度融合的道路多目标识别系统，其网络模型在损失函数上进行训练，与基于分类器的方法不同，该函数直接对整个模型进行联合训练，有效地提高了系统的检测速度。

2、本发明当位置检测网络解释高级视觉特征时，将位置预测限制到特定的空间范围；对称特征融合网络在不同的视觉维度上学习，并将特征回归到特定视觉元素的位置，从而有效地提高了系统的检测精度。

3、本发明多目标识别系统构造简单，可成为其它目标检测应用程序的理想选择。

基于上述理由本发明可在智能交通等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明道路多目标识别系统利用特征维度融合的方法，全卷积网络和直接位置回归初步检测目标位置，对称式融合网络提取目标细节特征，最后再将两个网络提取的特征进行融合，得到最终的检测结果。

本发明提供了一种基于特征维度融合的道路多目标识别系统，包括：

全卷积网络单元，用于提取道路场景图像的特征；全卷积神经网络是一个自主监督学习的多层感知器，主要包括输入层、隐含层(卷积层和降采样层)和输出层等，通过反向传导优化网络来更新网络参数。卷积层上将得到多个特征图，每个特征图提取一种特征，特征图像的每一个神经元都与前一层的局部感受野相连接，共享一组权值。经过卷积运算，完成特征提取的过程。由于多个特征图有多个不同的权值，因而得到不同的特征。在训练的过程中，不断通过反向传导更新权值，使得最后的分类结果向着更准确的方向发展。

目标位置回归单元，用于对通过所述全卷积网络单元提取到的特征进行初步的目标位置预测；(本发明直接对目标位置回归和全卷积网络的策略进行网络设计，在保证快速检测速度的同时，提高了不同规模目标的网络检测精度。)

对称式融合网络单元，用于融合道路场景图像的外观特征；对称式融合网络单元包括编码器、解码器以及特征融合模块；编码器和解码器之间通过跨层连接实现不同视觉层次的特征图的融合，因此，能帮助解码器更好地修复目标的细节，用于识别道路场景下的运动目标。对称式融合网络单元结合卷积层提取的独特视觉特征，在多种视觉层次上进行整合，对图像的识别结果进行修正，有效地提高识别系统的识别精度。

编码器，用于将所述对称式融合网络单元提取到的外观特征逐渐降低维度，提取更深层次的视觉特征；

解码器，用于逐步修复上述视觉特征的细节和空间维度；浅层解码器保留了原有目标的大部分低层次视觉特征，同时解码器的重构特征则包含了丰富的语义信息。将不同特征所提供的互补信息进行融合，有效的提升了对目标的描述能力。

特征融合模块，用于将编码器提取的更深层次的视觉特征与将解码器修复后的特征进行融合。

区域位置热图单元，将通过所述对称式融合网络单元融合后得到的特征利用区域位置热图表示空间信息，提高定位精度；区域位置热图单元中，卷积层的输出结果生成热力图，其作用是突出显示输入图像中用于分类的重要像素，损失目标函数定义为：

其中，H_target表示ground truth的热图矢量，H_pred表示对称式融合网络单元输出的预测矢量。

融合单元，用于将所述目标位置回归单元输出的初步的目标位置预测结果与所述区域位置热图单元输出的热图进行融合，得到最终的检测结果；多维度特征图的融合特征能够更为全面的描述自然场景中目标的整体感官特征，将神经网络的学习和分析扩展到不同的视觉层次。位置检测网络解释高级视觉特征时，将位置预测限制到某个特定的空间范围内。对称式融合网络在不同视觉维度上进行学习以将特征回归到某个特定视觉元素的位置，从而有效地提高系统的检测精度。

实施例

如图1所示，本发明还提供了一种基于特征维度融合的道路多目标识别方法，包括如下步骤：

步骤S1：将道路场景图像缩放到统一尺寸；

本实施例中训练集包含来自城市、乡村和高速公路等场景的真实世界图像数据，在本实施例中选取道路场景图像2万张作为训练集；本实施例中测试集采用自主采集的5000张道路场景图片，将所有的图片统一采样缩放为224*224大小。

步骤S2：将步骤S1统一尺寸后得到的测试图像，输入到已通过训练集训练后的全卷积网络单元，并提取最后一个全连接层的输出向量作为该图像的高层语义特征；经过全卷积网络单元，提取得到4096维的特征向量；通过目标位置回归单元对提取到的4096维特征向量进行初步的目标位置预测；

在本实施例中，全卷积网络模型训练时采用多尺度输入训练策略，在训练过程中每间隔一定的迭代之后改变模型的输入图片大小，即在训练过程，每隔10个迭代随机选择一种输入图片大小，之后修改最后检测层的处理进行重新训练。

步骤S3：将步骤S1统一尺寸后得到的测试图像，输入到带有编码器-解码器结构的对称式融合网络单元，编码器逐渐减少特征空间的维度，提取得到1024维的特征向量；

步骤S4：将步骤S3得到的特征向量送入解码器，逐步提取特征，得到更多的目标细节；

步骤S5：将步骤S3和步骤S4提取到的特征向量通过特征融合模块进行逐层融合，得到显著特征描述向量；

步骤S6：将步骤S5得到的显著特征描述向量利用区域位置热图表示空间信息；

步骤S7：将步骤S2得到的预测位置信息和步骤S6得到的热图通过融合单元进行融合，得到最终的检测结果。

本实施例中，将自主采集的5000张测试图像作为待分类的道路场景图像。分别得到1024维的显著特征描述向量后，进行分类，分类精度为93.3％。

综上，本发明将底层特征和高层特征相融合、并进行显著性特征筛选，弥补了单一特征在语义层次上对道路场景目标特性描述能力的不足，有效提高了分类精度；通过对称特征融合网络在不同的视觉维度上学习，并将特征回归到特定视觉元素的位置，从而有效地提高了系统的检测精度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (5)

1.一种基于特征维度融合的道路多目标识别系统，其特征在于，包括：

全卷积网络单元，用于提取道路场景图像的特征；

目标位置回归单元，用于对通过所述全卷积网络单元提取到的特征进行初步的目标位置预测；

对称式融合网络单元，用于融合道路场景图像的外观特征；

区域位置热图单元，将通过所述对称式融合网络单元融合后得到的特征利用区域位置热图表示空间信息，提高定位精度；

融合单元，用于将所述目标位置回归单元输出的初步的目标位置预测结果与所述区域位置热图单元输出的热图进行融合，得到最终的检测结果。

2.根据权利要求1所述的基于特征维度融合的道路多目标识别系统，其特征在于，所述对称式融合网络单元包括编码器、解码器以及特征融合模块；

所述编码器，用于将所述对称式融合网络单元提取到的外观特征逐渐降低维度，提取更深层次的视觉特征；

所述解码器，用于逐步修复上述视觉特征的细节和空间维度；

所述特征融合模块，用于将编码器提取的更深层次的视觉特征与将解码器修复后的特征进行融合。

3.根据权利要求1或2所述的基于特征维度融合的道路多目标识别系统，其特征在于，所述编码器和解码器之间通过跨层连接实现不同视觉层次的特征图的融合。

4.根据权利要求1所述的基于特征维度融合的道路多目标识别系统，其特征在于，所述区域位置热图单元利用卷积层的输出结果生成热力图，其损失目标函数定义为：

其中，H_target表示ground truth的热图矢量，H_pred表示对称式融合网络单元输出的预测矢量。

5.一种基于特征维度融合的道路多目标识别方法，其特征在于，包括如下步骤：

步骤S1：将道路场景图像缩放到统一尺寸；

步骤S2：将步骤S1统一尺寸后得到的测试图像，输入到已通过训练集训练后的全卷积网络单元，并提取最后一个全连接层的输出向量作为该图像的高层语义特征；经过全卷积网络单元，提取得到4096维的特征向量；通过目标位置回归单元对提取到的4096维特征向量进行初步的目标位置预测；

步骤S3：将步骤S1统一尺寸后得到的测试图像，输入到带有编码器-解码器结构的对称式融合网络单元，编码器逐渐减少特征空间的维度，提取得到1024维的特征向量；

步骤S4：将步骤S3得到的特征向量送入解码器，逐步提取特征，得到更多的目标细节；

步骤S5：将步骤S3和步骤S4提取到的特征向量通过特征融合模块进行逐层融合，得到显著特征描述向量；

步骤S6：将步骤S5得到的显著特征描述向量利用区域位置热图表示空间信息；

步骤S7：将步骤S2得到的预测位置信息和步骤S6得到的热图通过融合单元进行融合，得到最终的检测结果。