CN115170467A - 基于多光谱行人检测与车速检测的交通指示方法及系统 - Google Patents

Abstract

本发明提供了一种基于多光谱行人检测与车速检测的交通指示方法，通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以获取关联路段的行车车速阈值；检测目标路口所关联路段的行车车速，当行车车速不位于行车车速阈值内时，在目标路口发出来车警示信号；基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将融合流的信息从神经网络的底部传输到顶部；还包括根据目标路口的照明条件融合颜色流和温度流。

Description

基于多光谱行人检测与车速检测的交通指示方法及系统

技术领域

本发明涉及多光谱行人检测领域，尤其涉及一种基于多光谱行人检测与车速检测的交通指示方法及系统。

背景技术

随着城市人口的增加，城市规划者和设计师必须更专注于设计智能城市，并解决交通问题和增加车辆使用的影响等主要挑战。必须开发智能交通系统和以人为本的交通方法，以保护我们的行人和骑自行车的人，并确保他们能够安全、高效和舒适地前往目的地。

近年来，行人检测技术，特别是基于可见光相机的行人检测，使用深卷积神经网络，发展迅速，行人检测器的性能也大大提高。行人检测技术是自动驾驶、机器人以及智能视频监控等研究领域的核心技术。行人检测通过图像处理、计算机视觉相关算法以及机器学习等技术对道路行人进行识别和追踪，在智能车辆、自动导航、运动分析等领域都有着广泛的应用前景。

现有的交通系统中，过街设施包括交叉口平面过街、路段平面过街和立体过街，一般应优先采用平面过街方式。然而，在实际驾驶场景中，周围的环境很复杂。周围建筑、交通标志和不同交通的背景对象存在差异。季节变化还将导致道路场景的重大变化，道路场景中最重要的变化是灯光。在白天，建筑物和树木可能会造成部分阴影。在雨天和雾霾天，整体环境的亮度会下降。晚上，由于缺乏光线，行人几乎融入了背景，由于光线条件差，众多的交通事故发生在晚上。

基于可见光图像的探测器通常仅适用于光线充足的道路场景，并且无法在夜间有效地检测行人。远红外(FIR)相机在行人检测中也发挥着重要作用，特别是在夜间或光线不足的情况下。FIR相机的有效波长范围为6-15微米，而人体发射的热量波长约为9.3微米。晚上，行人比图像中的周围环境更明亮。FIR图像具有将行人与周围环境隔离开的优势，适用于夜间或光线不足的行人检测，因此可以作为可见光传感器的补充。

行人检测技术是自动驾驶、机器人以及智能视频监控等研究领域的核心技术。行人检测通过图像处理、计算机视觉相关算法以及机器学习等技术对道路行人进行识别和追踪，在智能车辆、自动导航、运动分析等领域都有着广泛的应用前景。

在现实世界的对象检测应用程序中，环境通常是开放和动态的，需要模型和算法来应对开放带来的挑战，如雨、雾、遮挡、光线差、分辨率低等。在这些条件下，仅使用可见波段传感器数据的算法很难实现高精度。

并且，在现有交通系统中，行人使用过街设施时依赖于对向红绿灯的提示和自己对来车车速预估，当相邻路段有汽车车速出现异常时，行人仅仅依靠现有交通灯的提示无法很难及时规避。路段的建筑时间较早，并且无法低成本高质量改造该路段时，使得行人过街、车辆通过交叉路时出现视野限制，而过街信号灯等设备提供信息少，无法满足行人安全过街的需求。过街设施无法通过行人密集程度，给予来车有效提示。汽车驾驶员在可视距离小(如雾、霾、雨、雪、沙尘、冰雹等)的情况下，虽然在过街需求大的路段设置了行人过街信号灯，但也无法准确判断前方过街设施是否有行人使用。另外，在夜晚交叉路段、行人过街空间中缺乏照明或照明条件差的情况下，行人难以判断来车速度。基于网状的检测系统存在检测时延，长距离传输以及回传数据时易产生数据丢失，更提高了部署以及检修的成本。无法根据过街行人流量自动调整交通信号灯，易造成机动车等长时间等待。

现有技术的交通视觉系统可能面临一些主要挑战和困难：由于相机分辨率低、光线状况、镜头脏、未经调整或天气状况导致视频质量差；处理交通摄像头和广角镜头收集的拉伸的视频；相机的不理想角度、位置和方向；相机因风或汽车而振动和抖动路过；过往汽车在夜间失真光线；光线变化不一致，阴影效果；可能阻挡目标视图的移动或静止对象。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种针对在人流量变化大的交叉路口，为了降低行人发生意外的风险、减轻交通管制人力成本、并且减少行人稀少时路口车辆的等待时间的多光谱行人检测与车速检测的交通指示方法及系统。

本发明公开了一种基于多光谱行人检测与车速检测的交通指示方法，包括如下步骤：通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，在所述目标路口发出来车警示信号；所述基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；还包括根据所述目标路口的照明条件融合颜色流和温度流。

优选的，所述融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部包括：首先生成检测母本的提案，再对所述提案进行分类，以确定该提案是行人还是背景；采用全卷积架构的单级检测，并通过卷积神经网络预测每个空间位置的置信分数的边界框。

优选的，所述所述行人检测包括：使用维度集群作为三个不同比例的锚框来预测边界框；使用逻辑回归预测每个边界框的客观性分数；采用多标签分类用于预测每个框的类。

优选的，所述所述行人检测包括：进行数据增强过程来增加输入图像的可变性；并采用马赛克和对抗式训练为所述数据增强过程提供图像。

优选的，所述所述行人检测包括：采用卷积神经网络提取目标行人的特征检测；其中，根据所述特征的大小，将卷积层分为五个阶段。给定输入尺寸为H×W的图像，头部之前的三层尺寸分别为

通过空间金字塔池模块主干来增强接收场，并使用路径聚合网络作为检测颈，聚合来自不同主干级别的特征。

优选的，所述所述行人检测包括：生成三种不同比例的边界盒，对于每个头部使用维度集群作为锚框来预测边界框，并使用联合上的完全交集作为回归的损失函数；通过逻辑回归预测每个所述边界框的客观性分数；使用多标签分类来预测每个所述边界框的类。

优选的，所述根据所述目标路口的照明条件融合颜色流和温度流包括：输入融合、早期融合I、早期融合II、中途融合、后期融合和直接融合。

优选的，所述根据所述目标路口的照明条件融合颜色流和温度流包括：检测获取若干个顺序帧中的目标行人；使用最佳状态估计器根据目标行人当前位置和步行速度预测下一帧中的下一个位置；在收到下一帧后，将预测的所述下一个位置与下一帧中检测到的实际位置进行比较：若预测的所述下一个位置与下一帧中检测到的实际位置匹配，则将该目标行人视为前一个目标行人，并继续预测以获取该目标行人的轨迹；由此获取帧中所有目标行人的轨迹；而检测到目标行人的实际位置与之前预测的任何位置都不匹配的目标行人视为新的目标行人，并增加目标行人计数器。

优选的，所述根据所述目标路口的照明条件融合颜色流和温度流包括：颜色流和温度流的特征在通道维度中连接在一起。串联特征图可以显示为：F_i＝Concat(C_I，T_i)；其中Ci、Ti被定义为i级的颜色流和温度流。

r是步长，r＝2ⁱ；采用全局平均池和全局最大池生成通道特征向量F1；全局平均池和全局最大池的通道元素使用以下公式计算：

再创建一个新的紧凑模块F²，以学习颜色和热功能的融合权重；通过一个低维度的完全连接(FC)层实现：z＝F²＝FC(F¹)；采用softmax进行归一化处理，学习的权重αc和βc用于为最终融合Fc选择相应的特征；αc和βc为通道c和αc的标度值，αc,βc∈[0,1]；

Fc＝αc·Cci+ βc·Tci。

本发明还公开了一种基于多光谱行人检测与车速检测的交通指示系统，包括基于YOLOv4的行人检测模块、车速检测模块以及信号灯控制模块：通过所述基于YOLOv4的行人检测模块获取目标路口的等待行人数量和过街行人数量；所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；所述车速检测模块检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，所述信号灯控制模块在所述目标路口发出来车警示信号；所述基于 YOLOv4的行人检测模块包括通道特征融合单元和多光谱融合单元；所述通道特征融合单元融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；所述多光谱融合单元根据所述目标路口的照明条件融合颜色流和温度流。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.有行人通过过街设施时，能够通过行人检测从而提示来车前方路段过街情况；在出现车辆速度超过安全值，或有行人存在不遵守交通规则、无法分辨交通灯信息时，对车辆以及行人进行提示，有效减少事故发生几率；汽车驾驶员可视距离小的情况下，能提示驾驶员前方交叉路口、过街设施的行人状况；根据过街设施行人流量动态调整路口信号灯时间，优化等待时间与安全性；

2.本发明使用的融合算法能够根据不同光照环境，在各种气候条件下，都能做到低误差识别行人，预测行人轨迹，比起现有的识别方法，有着更高的鲁棒性和实用性；使用单级检测机制，硬件信息传输流程更直接，交通信号设备的提示信息输出无需经过复杂运算，使提示信息传递更为及时；

3.系统装置仅安装于行人过街设施以及相邻的车辆提示灯路段，无需长距离通信，易于更换检修；车辆测速使用多普勒测速仪，对实际使用场景要求不高，具有高适用性，并且维护成本低；系统装置均建立在业界可提供的成熟硬件之上，如用于车速检测的多普勒测速仪器，用于多光谱行人检测的摄像头等，交通提示灯更可基于现有设施的硬件，无需过多改造成本即可部署，故能够以高成效，少改造，不对路段做出较大变化同时做到对行人和汽车驾驶员进行有效提示。

附图说明

图1为本发明提供的基于多光谱行人检测与车速检测的交通指示方法的流程图；

图2为本发明提供的基于多光谱行人检测与车速检测的交通指示方法的YOLOv4一种优选算法图；

图3为本发明提供的基于多光谱行人检测与车速检测的交通指示方法的融合算法图；

图4为本发明提供的多光谱通道特征融合(MCFF)模块图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

鉴于多光谱成像技术能够提供来自多光谱相机(如可见光和热能)的组合编队，通过融合不同模式的互补性，可以进一步提高检测算法的可感知性、可靠性和鲁棒性。

车速检测器是指检验行驶中汽车速度的仪器，其原理基于多普勒效应，即车速与微波频率变化成正比。检测器发射微波，据反射波的多普勒效应立即可表明汽车的车速读数。

本发明公开了一种基于多光谱行人检测与车速检测的交通指示系统，包括基于YOLOv4的行人检测模块、车速检测模块以及信号灯控制模块。其中，信号灯控制模块包括处理器和路口信号灯装置。基于YOLOv4的行人检测模块、车速检测模块与处理器连接，用于接收来自基于YOLOv4的行人检测模块、车速检测模块的数据，并对其进行处理，以得到结果数据，通过该结果数据对路口信号灯装置进行控制。

一种优选的，路口信号灯装置包括红绿灯(信号灯)、来车提示灯、异常车速警示灯。

具体的，通过基于YOLOv4的行人检测模块检测获取目标路口的等待行人数量和过街行人数量。信号灯控制模块的处理器结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间，实现对信号灯的动态调整。

信号灯控制模块的处理器结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以获取关联路段的正常的行车车速阈值。车速检测模块检测目标路口所关联路段的行车车速，当行车车速不位于行车车速阈值内时，信号灯控制模块在目标路口发出来车警示信号，具体为通过异常车速警示灯和/或来车提示灯进行警示。

需要说明的是，本发明的目标路口所关联路段可以理解为，共用同一交通路口的多个路段(称为第一关联路段)，还可以包括不与目标交通路口连接、但与第一关联路段相互影响的路段(称为第二关联路段)。由此可以得到更多数据，形成一个实时的、动态的检测机制，数据的处理结果更加精确的接近实际交通。

道路信息包括路段长度、宽度、以及曲度等。

行人检测模块包括通道特征融合单元和多光谱融合单元。基于YOLOv4的通道特征融合单元融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将融合流的信息从神经网络的底部传输到顶部。sev-eral多光谱融合单元根据目标路口的照明条件融合颜色流和温度流。

本发明公开了一种基于多光谱行人检测与车速检测的交通指示方法，包括如下步骤：

通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；

结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以获取关联路段的行车车速阈值；

检测目标路口所关联路段的行车车速，当行车车速不位于行车车速阈值内时，在目标路口发出来车警示信号。

参见附图1，行人检测具体包括如下方法流程：首先获取摄像头的视频流，对视频进行质量增强处理，以及亮度和对比度调整，对于可能使图像凸起的广角镜头，还可以使用校正算法将视频转换为更自然的视图；再对视频中的前景、背景进行预估，再通过计算机进行视觉特征提取，对提取的特征进行人物轮廓检测，将检测结果输入至机器学习模型中。

对于该机器学习模型先前已经进行学习和训练，具体包括包括特征提取、特征选择和或降低数据维度。该机器学习模型包括R-CNN(基于区域的卷积网络)和YOLO算法。与其他经典机器学习算法相比，YOLO方法的一个巨大优势是无需为YOLO模型的生成做手动调整。该算法自动学习生成能够最好地表示图像的最佳卷积特征集。此外，当训练数据集不够大时，通常很难训练深层神经网络。在这种情况下，利用另一个数据集上预先训练的神经网络模型的传输学习方法可以非常有助于缓解和加快训练阶段。

学习后的机器学习模型将检测结果输出为序列帧的轨迹预测，通过该轨迹预测获取行人的轨迹图，由此对行人进行追踪和记数，并进行统计，获取最终的等待行人数量和过街行人数量结果。

具体的，在检测到几个顺序帧中的目标对象(例如行人或自行车手)后，使用最佳状态估计器来估计每个目标对象的轨迹。由于每个框架一次可能存在几个物体(例如，几个行人沿着同一方向或不同方向一起行走)，因此必须单独估计每个物体的轨迹。

首先检测获取若干个顺序帧中的目标行人。再使用卡尔曼过滤器作为最佳状态估计器根据目标行人当前位置和步行速度预测下一帧中的下一个位置。在收到下一帧后，将预测的下一个位置与下一帧中检测到的实际位置进行比较。若预测的下一个位置与下一帧中检测到的实际位置匹配，则将该目标行人视为前一个目标行人，并继续预测以获取该目标行人的轨迹；由此获取帧中所有目标行人的轨迹。而检测到目标行人的实际位置与之前预测的任何位置都不匹配的目标行人视为新的目标行人，并增加目标行人计数器，免在顺序帧中重复计数。

本发明提出了以对齐的色热图像为输入的多光谱行人探测器。在良好的光线条件下，彩色图像比热图像(如边缘、纹理和颜色信息)更详细。然而，当彩色图像在弱照明条件下或夜间捕获时，功能信息丢失，检测效果减少。热传感器对光线不敏感，可以在光线不足的情况下捕捉行人的轮廓。然而，热成像年龄的缺点也是缺乏纹理和颜色信息。因此，融合颜色和热图像有助于应对照明不足的挑战。融合彩色图像和热图像可用于丰富图像信息，降低行人检测的失误率，并提高模型在各种照明条件下的鲁棒性。

本发明的基于YOLOv4的行人检测可以取代目前最先进的两级快速RCNN进行多光谱行人检测，并直接预测具有置信分数的边界框。为了进一步提高检测性能，分析了现有的多光谱融合方法，并提出了一种新的多光谱通道特征融合(MCFF)模块，用于根据照明条件整合颜色流和温度流的特征。

具体，融合了颜色流和温度流，生成一个新的融合流，以提取特征，并在不同阶段将融合信息从卷积神经网络的底部传输到顶部。再根据照明条件整合颜色流和温度流的特征。由此可以显著减少基线的缺失，并为多光谱行人检测提供了更加优秀的性能。

卷积神经网络(CNN)类似于多层感知器，它是深度学习的一个子集，更经常用于分类和计算机视觉任务。卷积神经网络与其他神经网络的区别在于其在图像、语音或音频信号输入方面的卓越性能。它有三种主要类型的层：卷积层、池层和完全连接(FC) 层。

卷积层是卷积网络的第一层。虽然卷积层后面可以有额外的卷积层或池层，但完全连接的层是最终层。随着每一层的流，CNN的复杂性都会增加，识别图像的更大部分。早期的图层专注于简单的功能，如颜色和边缘。当图像数据通过CNN的层进行时，它开始识别对象的较大元素或形状，直到它最终识别预期对象。卷积层是CNN的核心构建块，也是大多数计算发生的地方。

无论使用一级还是两级多光谱行人检测，多模态信息融合贯穿整个检测阶段。不同模式和不同阶段的特征具有不同的表达能力。多光谱行人检测中最常用的融合方法是网络中网络(MIN)方法。MIN用于融合不同模式的特征，并减少串联后卷积层为1×1的多模态特征的维度。因此，聚变是如何和在哪里发生的问题是多光谱检测的支柱中的两个重要问题。针对上述两个问题，本专利提出了采用注意力融合方法，将颜色和热流融合在一起，在弱照明条件下检测行人。具体的，采用一级对象检测方法YOLOv4，从颜色和热流中提取特征，以提高性能，可以实现实时、高质量和令人信服的对象检测结果。

同时，为了进一步改善不同模式图像数据的融合，本专利提出了一种跨模式多光谱信道注意力融合机制，以融合颜色流和温度流之间的图像特征。

本专利的多光谱行人检测方法可以根据检测阶段的数量分为两阶段和单级方法。在两阶段的检测中，第一阶段用于生成检测母本的提案，第二阶段用于对提案进行分类，以确定它们是行人还是背景。

目前，最不易于操作的多光谱行人检测方法是基于快速RCNN，它们取得了显著的结果，但检测过程很复杂，锚点必须使用超参数(锚是手动预定义的，具有多个比例尺、比率和参数)，这很容易导致检测错误。而本发明采用全卷积架构的单级检测，并通过卷积神经网络预测每个空间位置的置信分数的边界框，边界框是根据正区域的预定义锚点或中心点的回归获得的。在单级方法中，只需一步就能获得最终检测结果；与两阶段检测相比，单级检测器由于结构简单，效率更高。与两级行人检测相比，单级的推理速度更快。单级多光谱物体探测器优选采用GFD-SSD、FusionCSPNe。

参见附图2，YOLOv4是一种基于锚的单级物体检测网络，它可以通过预测带有客观性分数和类的边界框来直接获得检测结果。YOLOv4使用维度集群作为三个不同比例的锚框来预测边界框。使用逻辑回归预测每个边界框的客观性分数。多标签分类用于预测每个框的类。优选可以由三个模块组成：数据增强、特征提取和检测头部。

数据增强模块增加输入图像的可变性，以便探测器对从不同环境获得的图像具有更高的鲁棒性。引入了马赛克和对抗式训练，为数据增强提供图像。

特征提取模块使用CNN提取行人特征地图检测。在这种检测方法中，CSPDarknet-53 被用作主干，其根据特征大小，卷积层分为五个阶段。给定一个输入尺寸为H×W的图像，头部之前的三层尺寸分别为

并有一个空间金字塔池(SPP)模块主干(BackBone)增强接收场，并使用路径聚合网络(PAN)作为检测颈(Neck)，聚合来自不同主干(BackBone)级别的特征，以提高特征的表达能力。

探测器头模块用于生成三种不同比例的边界盒。对于每个头部(Head)，使用维度集群作为锚框来预测边界框，并使用联合(CIoU)上的完全交集作为回归的损失函数。通过逻辑回归预测了每个边界框的客观性分数。使用多标签分类来预测每个框的类。

在多光谱行人检测中，以不同方式融合数据是一个非常重要的步骤。高效的融合方法应该能够监督不同模式的信息融合，并提高探测器的性能。现有的多光谱特征融合方法主要是SUM和MIN方法。SUM运算符表示特征的元素和，可以被视为具有相同权重的线性特征融合。MIN方法用于减少串联后1×1卷积核的多模态特征的维度；这是无监督的非线性特征融合。

颜色和热图像在不同照明条件下发挥着不同的作用。除了在某些情况下(站在阴影中)外，大多数行人在白天的照明条件良好；然而，热图像对照明不敏感。相比之下，热成像可以捕捉到夜间行人更好的视觉特征。本发明提出的MCFF可以自适应地调整不同照明条件下融合的颜色和热模式之间的通道特征。

具体参见附图3，比起其他的融合算法将不同的分支融合成一个分支，并且缺乏每种模式之间从底部到顶部的信息传输，本算法设计了一种基于颜色和热流的新颖特征融合架构来提取特征。它融合了颜色和热流，以生成一个新的融合流，以提取特征，并在不同阶段将融合信息从底部传输到顶部。为了便于插图，主干可以分为五个块，根据特征映射大小，它们命名为conv1-x、conv2-x、conv3-x、conv4-x和conv5-x。MCFF用于融合颜色流中的conv-c和热流中的conv-t特征，以获得用于行人检测的新分支conv-f。

本发明还基于MCFF设计了几种融合架构，包括输入融合、早期融合I、早期融合II、中途融合、后期融合和直接融合，以在不同阶段将特征信息从底部传输到顶部。KAIST和Utokyo行人基准的实验结果表明，使用中途融合来获得所有建筑的最佳性能。

输入融合是特征提取前的数据融合。MIN用于将颜色和热图像堆叠在通道维度中，然后将多模态彩色热图像的通道尺寸减少到输入的单色模态图像的通道尺寸，如图3中的a所示。MCFF用于融合输入层后面阶段的功能。

早期融合I在第一个卷积块conv1之后融合了这些特征；详细信息见图3b。MCFF用于融合颜色流中的conv1-c和热流中的conv1-t的特征，这将聚变层的尺寸减少到256，类似于新的聚变分支conv-f的输入。早期融合模型融合了低水平的功能。

早期融合II在新分支的第二个卷积块conv2之后融合了这些特征。MCFF还用于融合彩色图像分支中的conv2-c和热图像分支中的conv2-t的功能，如图3中的c所示。

如图3中的d所示，中途融合在特征提取的中间阶段开始融合。与早期融合不同，它在第三个卷积块融合3之后开始融合两个流。MCFF也用于串联层之后，原因与之前讨论的原因相同。Conv4层的功能比conv1功能包含更多的语义含义，尽管它们保留了一些精细的视觉细节。后期融合在末端阶段执行特征融合，如图3中的e所示。只有块conv5-f 用于传输信息Conv3、conv4和conv5-f的融合功能用于检测行人。

DirectFusion具有与FusionCSPNet相同的融合架构，但具有不同的融合方法。引入 MCFF而不是MIN来平衡两个流的功能。没有在不同阶段融合颜色和热流的新流。不同模式的特征与第3、4和5阶段直接融合，见图3中的f所示。

颜色流和温度流的特征在通道维度中连接在一起。串联特征图可以显示为：F_i＝Concat(C_I，T_i)；其中Ci、Ti被定义为i级的颜色流和温度流。

r是步长，r＝2ⁱ；采用全局平均池和全局最大池生成通道特征向量F1；全局平均池和全局最大池的通道元素使用以下公式计算：

再创建一个新的紧凑模块F²，以学习颜色和热功能的融合权重；通过一个低维度的完全连接(FC)层实现：z＝F²＝FC(F¹)；采用softmax进行归一化处理，学习的权重αc和βc用于为最终融合Fc选择相应的特征；αc和βc为通道c和αc的标度值，αc,βc∈[0,1]；

Fc＝αc·Cci+βc·Tci。

参见附图4，MCFF的输出可以作为新聚变分支的输入，用于特征提取。多模态特征融合在主干的第三阶段进行，输入图像大小为1×640×640×3。第3阶段热图像的特征是conv3-f，第3阶段彩色图像的特征是conv3-c，两种模式的特征大小为1×80×80×256。首先，conv3-c和conv3-f在通道维度上串联。然后，通过采用全局平均池和全局最大池获取特征的全局信息，使用FC层学习每个通道的权重和提取照明标度，标度大小为1×1 ×256×2。最后，根据每个信道参考公式的学习规模，融合了多模态特征。在充足的照明下，颜色特征的重量应该相对较大；否则，在夜间或光线不足的情况下，热特征的重量应该相对较大。根据第3阶段的特征融合方法，可以获得第4阶段和第5阶段不同模式的融合特征。融合特征分支还使用与主干相同的卷积模块来提取特征并学习模型。

本发明首先提出了一种基于单级对象检测方法的多光谱融合架构，将融合流的信息从底部传输到顶部，并在不同阶段融合了功能，以提高性能。并且提供了一种新的多光谱注意力融合方法，根据照明条件融合颜色流和温度流。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于多光谱行人检测与车速检测的交通指示方法，其特征在于，包括如下步骤：

通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；

结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；

结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，在所述目标路口发出来车警示信号；

所述基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；还包括根据所述目标路口的照明条件融合颜色流和温度流。

2.根据权利要求1所述的交通指示方法，其特征在于，所述融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部包括：

首先生成检测母本的提案，再对所述提案进行分类，以确定该提案是行人还是背景；

采用全卷积架构的单级检测，并通过卷积神经网络预测每个空间位置的置信分数的边界框。

3.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：

使用维度集群作为三个不同比例的锚框来预测边界框；使用逻辑回归预测每个边界框的客观性分数；采用多标签分类用于预测每个框的类。

4.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：

进行数据增强过程来增加输入图像的可变性；并采用马赛克和对抗式训练为所述数据增强过程提供图像。

5.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：

采用卷积神经网络提取目标行人的特征检测；其中，根据所述特征的大小，将卷积层分为五个阶段。给定输入尺寸为H×W的图像，头部之前的三层尺寸分别为

通过空间金字塔池模块主干来增强接收场，并使用路径聚合网络作为检测颈，聚合来自不同主干级别的特征。

6.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：

生成三种不同比例的边界盒，对于每个头部使用维度集群作为锚框来预测边界框，并使用联合上的完全交集作为回归的损失函数；

通过逻辑回归预测每个所述边界框的客观性分数；

使用多标签分类来预测每个所述边界框的类。

7.根据权利要求1所述的交通指示方法，其特征在于，所述根据所述目标路口的照明条件融合颜色流和温度流包括：

输入融合、早期融合I、早期融合II、中途融合、后期融合和直接融合。

8.根据权利要求1所述的交通指示方法，其特征在于，所述根据所述目标路口的照明条件融合颜色流和温度流包括：

检测获取若干个顺序帧中的目标行人；

使用最佳状态估计器根据目标行人当前位置和步行速度预测下一帧中的下一个位置；

在收到下一帧后，将预测的所述下一个位置与下一帧中检测到的实际位置进行比较：

若预测的所述下一个位置与下一帧中检测到的实际位置匹配，则将该目标行人视为前一个目标行人，并继续预测以获取该目标行人的轨迹；由此获取帧中所有目标行人的轨迹；

而检测到目标行人的实际位置与之前预测的任何位置都不匹配的目标行人视为新的目标行人，并增加目标行人计数器。

9.根据权利要求1所述的交通指示方法，其特征在于，所述根据所述目标路口的照明条件融合颜色流和温度流包括：

颜色流和温度流的特征在通道维度中连接在一起。串联特征图可以显示为：F_i＝Concat(C_I,T_i)；其中Ci、Ti被定义为i级的颜色流和温度流。

r是步长，r＝2ⁱ；

采用全局平均池和全局最大池生成通道特征向量F1；全局平均池和全局最大池的通道元素使用以下公式计算：

再创建一个新的紧凑模块F²，以学习颜色和热功能的融合权重；通过一个低维度的完全连接(FC)层实现：z＝F²＝FC(F¹)；

采用softmax进行归一化处理，学习的权重αc和βc用于为最终融合Fc选择相应的特征；αc和βc为通道c和αc的标度值，αc,βc∈[0,1]；

Fc＝αc·Cci+βc·Tci。

10.一种基于多光谱行人检测与车速检测的交通指示系统，其特征在于，包括基于YOLOv4的行人检测模块、车速检测模块以及信号灯控制模块：

通过所述基于YOLOv4的行人检测模块获取目标路口的等待行人数量和过街行人数量；

所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；

所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；所述车速检测模块检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，所述信号灯控制模块在所述目标路口发出来车警示信号；

所述基于YOLOv4的行人检测模块包括通道特征融合单元和多光谱融合单元；

所述通道特征融合单元融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；所述多光谱融合单元根据所述目标路口的照明条件融合颜色流和温度流。

Images