CN116631190A - 智能交通监控系统及其方法 - Google Patents

Abstract

一种智能交通监控系统及其方法，其获取由无人机采集的道路监控图像；采用基于深度学习的人工智能技术，进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

Description

智能交通监控系统及其方法

技术领域

本申请涉及智能化监控技术领域，并且更具体地，涉及一种智能交通监控系统及其方法。

背景技术

随着城市化进程的加速和汽车普及率的不断提高，交通拥堵问题已经成为了一个全球性的难题。现代城市中大量的车辆和行人流量，使得交通拥堵成为制约城市发展、影响人们生活质量的重要因素。传统上，采用人工调度或车辆GPS等技术进行实时路况监测，但这些方法存在着信息获取困难、精确度不高和成本巨大等问题，导致交通拥堵的问题得不到有效解决。

因此，期望一种优化的智能交通监控系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智能交通监控系统及其方法，其获取由无人机采集的道路监控图像；采用基于深度学习的人工智能技术，进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

第一方面，提供了一种智能交通监控系统，其包括：道路监控图像采集模块，用于获取由无人机采集的道路监控图像；图像预处理模块，用于对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；图像分块处理模块，用于对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；空间道路局部特征提取模块，用于将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；转移关联模块，用于计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；降维模块，用于分别计算所述多个转移矩阵的全局均值以得到分类特征向量；特征优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及道路拥堵评估模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

在上述智能交通监控系统中，所述图像分块处理模块，用于：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

在上述智能交通监控系统中，所述空间道路局部特征提取模块，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

在上述智能交通监控系统中，所述转移关联模块，用于：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。

在上述智能交通监控系统中，所述特征优化模块，用于：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：，其中，/>是所述分类特征向量的第 />个位置的特征值，和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。

在上述智能交通监控系统中，所述道路拥堵评估模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

第二方面，提供了一种智能交通监控方法，其包括：获取由无人机采集的道路监控图像；对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；分别计算所述多个转移矩阵的全局均值以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

在上述智能交通监控方法中，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列，包括：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

在上述智能交通监控方法中，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

在上述智能交通监控方法中，计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。

与现有技术相比，本申请提供的智能交通监控系统及其方法，其获取由无人机采集的道路监控图像；采用基于深度学习的人工智能技术，进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例的智能交通监控系统的应用场景图。

图2为根据本申请实施例的智能交通监控系统的框图。

图3为根据本申请实施例的智能交通监控系统中所述道路拥堵评估模块的框图。

图4为根据本申请实施例的智能交通监控方法的流程图。

图5为根据本申请实施例的智能交通监控方法的系统架构的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

如上所述，现代城市中大量的车辆和行人流量，使得交通拥堵成为制约城市发展、影响人们生活质量的重要因素。传统上，采用人工调度或车辆GPS等技术进行实时路况监测，但这些方法存在着信息获取困难、精确度不高和成本巨大等问题，导致交通拥堵的问题得不到有效解决。因此，期望一种优化的智能交通监控系统。

相应地，考虑到由于基于图像来进行路况拥堵程度监测是一种有效的交通信息获取和分析方法，可以为交通管理部门和驾驶员提供及时准确的路况信息，有助于缓解交通拥堵问题和提高交通效率。基于此，在本申请的技术方案中，期望通过对于道路监控图像进行分析来进行路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。但是，由于所述道路监控图像在采集的过程中可能会存在噪声，并且图像中还会存在有背景干扰信息，而关于交通道路的状态特征信息在图像中为小尺度的隐含特征，这就给交通的道路监测带来了困难。同时，由于道路之间的多关联性导致在实际进行道路交通状态监测时会出现精准度不高、误判漏判等问题，从而对于交通拥堵问题的缓解难以达到预期效果。因此，在此过程中，难点在于如何进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述道路监控图像中关于道路交通状态的隐含关联特征信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，获取由无人机采集的道路监控图像。应可以理解，在本申请的一个具体示例中，通过摄像头或无人机等方式获取道路上的实时图像，一般采用高清晰度和高帧率的图像，以保证图像的质量和连续性，有利于后续进行道路交通监测。

然后，考虑到在实际进行道路交通监测的过程中，采集的所述道路监控图像中可能会存在噪声干扰以及背景干扰，因此，在特征提取前需要对所述道路监控图像进行图像预处理以得到预处理后道路监控图像。特别地，这里，所述预处理包括去噪、增强、校正、分割等操作，以提高图像的对比度、清晰度和稳定性，同时剔除无关的背景信息，如天空、建筑物等，有利于后续进行道路交通状态特征的精准充分表达。

接着，考虑到由于所述预处理后道路监控图像中的道路错综复杂，而图像中关于道路交通状态的隐含特征为车辆的分布特征，为小尺度的细微隐含特征，即占有图像中的比例较小。因此，为了能够提高所述预处理后道路监控图像中关于道路交通中车辆分布隐含特征的表达能力，以此来提高对于道路交通状态监测的精准度，在本申请的技术方案中，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列。应可以理解，所述道路局部图像块的序列中的各个道路局部图像块的尺度相较于原图像被缩减，因此，所述预处理后道路监控图像中关于小尺寸的道路交通中车辆分布状态的隐含特征在所述各个道路局部图像块中不再是小尺寸对象，以便于后续进行道路交通拥堵的检测评估。

进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述道路局部图像块的序列中的各个道路局部图像块的特征提取，特别地，考虑到在进行所述道路交通状态监测时，应更加关注于空间位置上关于各个道路上的车辆分布特征信息而忽略与道路交通状态监测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述各个道路局部图像块中聚焦于空间上的关于所述道路上车辆分布状态的隐含特征分布信息，从而得到多个道路局部车辆分布特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于道路交通上的车辆分布状态特征信息。

然后，考虑到由于道路具有连通性，在所述各个道路局部图像块中关于道路车辆分布局部特征之间具有着关于道路整体的关联关系，因此，在本申请的技术方案中，为了提高对于道路状态评估的精准度，进一步计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵，以此来表示所述各个道路局部图像块中关于道路上车量分布状态特征的关联性特征分布信息，从而得到多个转移矩阵。

应可以理解，在智能交通监控系统中，利用所述卷积神经网络模型提取所述道路局部车辆分布特征矩阵并计算不同道路局部车辆分布特征矩阵之间的转移矩阵后，需要将这些所述转移矩阵综合起来得到一个可以表示道路拥堵程度等级标签的分类特征向量。也就是说，为了得到更加稳定和可靠的分类特征向量，采用对所述多个转移矩阵进行全局均值计算的方式。此方法可以去除所述转移矩阵中的随机噪声，减小多个转移矩阵之间的区别，进而提高所述分类特征向量的一致性和可解释性。同时，对所述多个转移矩阵进行全局均值计算也能够考虑到整个道路上车流的整体变化情况，有助于更好地评估道路的拥堵程度，为交通管理部门和驾驶员提供更加准确的路况信息。

接着，进一步再将所述分类特征向量通过分类器中进行分类处理，就能够得到用于表示道路拥堵等级标签的分类结果。也就是，在本申请的技术方案中，所述分类器的标签为道路拥堵等级标签，因此，在得到具有道路车流量状态特征的关联性特征分布信息后，以此来进行分类以对于道路路况的拥堵状况进行监测，从而缓解交通拥堵问题以提高交通效率。

特别地，在本申请的技术方案中，由于所述多个道路局部车辆分布特征矩阵表达各个道路局部图像块的空间强化的图像语义特征，因此所述多个道路局部车辆分布特征矩阵由于所述各个道路局部图像块之间的图像语义差异而存在图像特征语义差异，并且这种图像特征语义差异在每两个道路局部车辆分布特征矩阵之间是不均匀的，从而使得用于表示每两个道路局部车辆分布特征矩阵的特征域转移的多个转移矩阵的整体特征分布之间均匀性较低，而计算所述多个转移矩阵的全局均值又进一步加大了这种分布不均匀性，使得所述多个转移矩阵的全局均值组成的所述分类特征向量的整体特征分布的规则化程度低，影响了所述分类特征向量通过分类器得到的分类结果的准确性。

基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化，具体表示为：/>，其中/>和/>是特征值集合/>的均值和标准差，且/>是优化后的分类特征向量 />的第/>个位置的特征值。

具体地，为了解决所述分类特征向量的特征集合的高维特征分布在高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标回归概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的分类特征向量/>的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

图1为根据本申请实施例的智能交通监控系统的应用场景图。如图1所示，在该应用场景中，首先，获取由无人机采集的道路监控图像（例如，如图1中所示意的C）；然后，将获取的道路监控图像输入至部署有智能交通监控算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于智能交通监控算法对所述道路监控图像进行处理，以生成用于表示道路拥堵等级标签的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

在本申请的一个实施例中，图2为根据本申请实施例的智能交通监控系统的框图。如图2所示，根据本申请实施例的智能交通监控系统100，包括：道路监控图像采集模块110，用于获取由无人机采集的道路监控图像；图像预处理模块120，用于对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；图像分块处理模块130，用于对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；空间道路局部特征提取模块140，用于将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；转移关联模块150，用于计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；降维模块160，用于分别计算所述多个转移矩阵的全局均值以得到分类特征向量；特征优化模块170，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，道路拥堵评估模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

具体地，在本申请实施例中，所述道路监控图像采集模块110，用于获取由无人机采集的道路监控图像。如上所述，现代城市中大量的车辆和行人流量，使得交通拥堵成为制约城市发展、影响人们生活质量的重要因素。传统上，采用人工调度或车辆GPS等技术进行实时路况监测，但这些方法存在着信息获取困难、精确度不高和成本巨大等问题，导致交通拥堵的问题得不到有效解决。因此，期望一种优化的智能交通监控系统。

相应地，考虑到由于基于图像来进行路况拥堵程度监测是一种有效的交通信息获取和分析方法，可以为交通管理部门和驾驶员提供及时准确的路况信息，有助于缓解交通拥堵问题和提高交通效率。基于此，在本申请的技术方案中，期望通过对于道路监控图像进行分析来进行路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。但是，由于所述道路监控图像在采集的过程中可能会存在噪声，并且图像中还会存在有背景干扰信息，而关于交通道路的状态特征信息在图像中为小尺度的隐含特征，这就给交通的道路监测带来了困难。同时，由于道路之间的多关联性导致在实际进行道路交通状态监测时会出现精准度不高、误判漏判等问题，从而对于交通拥堵问题的缓解难以达到预期效果。因此，在此过程中，难点在于如何进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述道路监控图像中关于道路交通状态的隐含关联特征信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，获取由无人机采集的道路监控图像。应可以理解，在本申请的一个具体示例中，通过摄像头或无人机等方式获取道路上的实时图像，一般采用高清晰度和高帧率的图像，以保证图像的质量和连续性，有利于后续进行道路交通监测。

具体地，在本申请实施例中，所述图像预处理模块120，用于对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割。然后，考虑到在实际进行道路交通监测的过程中，采集的所述道路监控图像中可能会存在噪声干扰以及背景干扰，因此，在特征提取前需要对所述道路监控图像进行图像预处理以得到预处理后道路监控图像。特别地，这里，所述预处理包括去噪、增强、校正、分割等操作，以提高图像的对比度、清晰度和稳定性，同时剔除无关的背景信息，如天空、建筑物等，有利于后续进行道路交通状态特征的精准充分表达。

具体地，在本申请实施例中，所述图像分块处理模块130，用于对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列。接着，考虑到由于所述预处理后道路监控图像中的道路错综复杂，而图像中关于道路交通状态的隐含特征为车辆的分布特征，为小尺度的细微隐含特征，即占有图像中的比例较小。

因此，为了能够提高所述预处理后道路监控图像中关于道路交通中车辆分布隐含特征的表达能力，以此来提高对于道路交通状态监测的精准度，在本申请的技术方案中，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列。应可以理解，所述道路局部图像块的序列中的各个道路局部图像块的尺度相较于原图像被缩减，因此，所述预处理后道路监控图像中关于小尺寸的道路交通中车辆分布状态的隐含特征在所述各个道路局部图像块中不再是小尺寸对象，以便于后续进行道路交通拥堵的检测评估。

其中，所述图像分块处理模块130，用于：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

具体地，在本申请实施例中，所述空间道路局部特征提取模块140，用于将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵。进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述道路局部图像块的序列中的各个道路局部图像块的特征提取，特别地，考虑到在进行所述道路交通状态监测时，应更加关注于空间位置上关于各个道路上的车辆分布特征信息而忽略与道路交通状态监测无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。

因此，在本申请的技术方案中，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述各个道路局部图像块中聚焦于空间上的关于所述道路上车辆分布状态的隐含特征分布信息，从而得到多个道路局部车辆分布特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于道路交通上的车辆分布状态特征信息。

所述空间道路局部特征提取模块140，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。

具体地，在本申请实施例中，所述转移关联模块150，用于计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵。然后，考虑到由于道路具有连通性，在所述各个道路局部图像块中关于道路车辆分布局部特征之间具有着关于道路整体的关联关系，因此，在本申请的技术方案中，为了提高对于道路状态评估的精准度，进一步计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵，以此来表示所述各个道路局部图像块中关于道路上车量分布状态特征的关联性特征分布信息，从而得到多个转移矩阵。

所述转移关联模块150，用于：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。

具体地，在本申请实施例中，所述降维模块160，用于分别计算所述多个转移矩阵的全局均值以得到分类特征向量。应可以理解，在智能交通监控系统中，利用所述卷积神经网络模型提取所述道路局部车辆分布特征矩阵并计算不同道路局部车辆分布特征矩阵之间的转移矩阵后，需要将这些所述转移矩阵综合起来得到一个可以表示道路拥堵程度等级标签的分类特征向量。也就是说，为了得到更加稳定和可靠的分类特征向量，采用对所述多个转移矩阵进行全局均值计算的方式。此方法可以去除所述转移矩阵中的随机噪声，减小多个转移矩阵之间的区别，进而提高所述分类特征向量的一致性和可解释性。同时，对所述多个转移矩阵进行全局均值计算也能够考虑到整个道路上车流的整体变化情况，有助于更好地评估道路的拥堵程度，为交通管理部门和驾驶员提供更加准确的路况信息。

具体地，在本申请实施例中，所述特征优化模块170，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量。特别地，在本申请的技术方案中，由于所述多个道路局部车辆分布特征矩阵表达各个道路局部图像块的空间强化的图像语义特征，因此所述多个道路局部车辆分布特征矩阵由于所述各个道路局部图像块之间的图像语义差异而存在图像特征语义差异，并且这种图像特征语义差异在每两个道路局部车辆分布特征矩阵之间是不均匀的，从而使得用于表示每两个道路局部车辆分布特征矩阵的特征域转移的多个转移矩阵的整体特征分布之间均匀性较低，而计算所述多个转移矩阵的全局均值又进一步加大了这种分布不均匀性，使得所述多个转移矩阵的全局均值组成的所述分类特征向量的整体特征分布的规则化程度低，影响了所述分类特征向量通过分类器得到的分类结果的准确性。

基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化，具体表示为：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：/>，其中，/>是所述分类特征向量的第 />个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。

具体地，为了解决所述分类特征向量的特征集合的高维特征分布在高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标回归概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的分类特征向量/>的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

具体地，在本申请实施例中，所述道路拥堵评估模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。接着，进一步再将所述分类特征向量通过分类器中进行分类处理，就能够得到用于表示道路拥堵等级标签的分类结果。也就是，在本申请的技术方案中，所述分类器的标签为道路拥堵等级标签，因此，在得到具有道路车流量状态特征的关联性特征分布信息后，以此来进行分类以对于道路路况的拥堵状况进行监测，从而缓解交通拥堵问题以提高交通效率。

图3为根据本申请实施例的智能交通监控系统中所述道路拥堵评估模块的框图，如图3所示，所述道路拥堵评估模块180，包括：全连接编码单元181，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元182，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的智能交通监控系统100被阐明，其获取由无人机采集的道路监控图像；采用基于深度学习的人工智能技术，进行所述道路监控图像中关于道路交通状态的隐含关联特征的充分表达，以此来及时准确地进行道路路况的拥堵监测，从而缓解交通拥堵问题以提高交通效率。

如上所述，根据本申请实施例的智能交通监控系统100可以实现在各种终端设备中，例如用于智能交通监控的服务器等。在一个示例中，根据本申请实施例的智能交通监控系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能交通监控系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能交通监控系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该智能交通监控系统100与该终端设备也可以是分立的设备，并且该智能交通监控系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

在本申请的一个实施例中，图4为根据本申请实施例的智能交通监控方法的流程图。如图4所示，根据本申请实施例的智能交通监控方法，其包括：210，获取由无人机采集的道路监控图像；220，对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；230，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；240，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；250，计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；260，分别计算所述多个转移矩阵的全局均值以得到分类特征向量；270，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，280，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

图5为根据本申请实施例的智能交通监控方法的系统架构的示意图。如图5所示，在所述智能交通监控方法的系统架构中，首先，获取由无人机采集的道路监控图像；然后，对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；接着，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；然后，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；接着，计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；然后，分别计算所述多个转移矩阵的全局均值以得到分类特征向量；接着，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及，最后，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

在一个具体示例中，在上述智能交通监控方法中，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列，包括：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

在一个具体示例中，在上述智能交通监控方法中，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

在一个具体示例中，在上述智能交通监控方法中，计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。

在一个具体示例中，在上述智能交通监控方法中，对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：，其中，/>是所述分类特征向量的第 />个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。

在一个具体示例中，在上述智能交通监控方法中，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签，包括：使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

本领域技术人员可以理解，上述智能交通监控方法中的各个步骤的具体操作已经在上面参考图1到图3的智能交通监控系统的描述中得到了详细介绍，并因此，将省略其重复描述。

本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。

在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。

本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种智能交通监控系统，其特征在于，包括：道路监控图像采集模块，用于获取由无人机采集的道路监控图像；图像预处理模块，用于对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；图像分块处理模块，用于对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；空间道路局部特征提取模块，用于将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；转移关联模块，用于计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；降维模块，用于分别计算所述多个转移矩阵的全局均值以得到分类特征向量；特征优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及道路拥堵评估模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

2.根据权利要求1所述的智能交通监控系统，其特征在于，所述图像分块处理模块，用于：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

3.根据权利要求2所述的智能交通监控系统，其特征在于，所述空间道路局部特征提取模块，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

4.根据权利要求3所述的智能交通监控系统，其特征在于，所述转移关联模块，用于：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。

5.根据权利要求4所述的智能交通监控系统，其特征在于，所述特征优化模块，用于：以如下优化公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述优化公式为：，其中，/>是所述分类特征向量的第 />个位置的特征值，/>和/>是所述分类特征向量的各个位置特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。

6.根据权利要求5所述的智能交通监控系统，其特征在于，所述道路拥堵评估模块，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

7.一种智能交通监控方法，其特征在于，包括：获取由无人机采集的道路监控图像；对所述道路监控图像进行图像预处理以得到预处理后道路监控图像，其中，所述预处理包括去噪、增强、校正和分割；对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列；将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵；计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；分别计算所述多个转移矩阵的全局均值以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；以及将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示道路拥堵等级标签。

8.根据权利要求7所述的智能交通监控方法，其特征在于，对所述预处理后道路监控图像进行图像分块处理以得到道路局部图像块的序列，包括：对所述预处理后道路监控图像进行图像均匀分块处理以得到道路局部图像块的序列。

9.根据权利要求8所述的智能交通监控方法，其特征在于，将所述道路局部图像块的序列中的各个道路局部图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多个道路局部车辆分布特征矩阵，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得多个特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个道路局部车辆分布特征矩阵。

10.根据权利要求9所述的智能交通监控方法，其特征在于，计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：，其中， />和/>表示所述多个道路局部车辆分布特征矩阵中每两个道路局部车辆分布特征矩阵，/>表示所述多个转移矩阵，/>表示矩阵相乘。