CN112669346A - 一种路面突发状况确定方法及装置 - Google Patents

Abstract

本发明提供了一种路面突发状况确定方法及装置，其中，该方法包括：在同一目标场景下以预定时间间隔采集第一图像与第二图像；分别对该第一图像与该第二图像进行道路面提取，得到该第一图像的第一道路面图像与该第二图像的第二道路面图像；确定该第一道路面图像的超像素块特征与该第二道路面图像的超像素块特征的相似度图；根据该第一道路面图像的实例分割结果与该第二道路面图像的实例分割结果确定有效区域图；根据该有效区域图与该相似度图确定该目标场景中的突发状况，可以解决相关技术中基于深度学习方法进行路面突发性灾害预警存在准确性差、鲁棒性差的问题，提高路面状况确定的准确性与鲁棒性。

Description

一种路面突发状况确定方法及装置

技术领域

本发明涉及智能交通领域，具体而言，涉及一种路面突发状况确定方法及装置。

背景技术

随着科学技术的不断进步，计算机视觉技术越来越广泛的应用于国防、教育、金融等领域。近年来，应用计算机视觉解决道路交通问题一直是智慧交通重点关注的话题，而路面突发灾害的预警是其中重要的组成部分。

相关技术中基于深度学习的方法进行路面突发性灾害检测，基于深度学习的方法对训练样本的依赖性大，而路面突发性灾害的样本获取难度较大，同时路面突发性灾害存在很大的多样性，即使同一种灾害所产生的现象也存在很大的差异。

针对相关技术中基于深度学习方法进行路面突发性灾害预警存在准确性差、鲁棒性差的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种路面突发状况确定方法及装置，以至少解决相关技术中基于深度学习方法进行路面突发性灾害预警存在准确性差、鲁棒性差的问题。

根据本发明的一个实施例，提供了一种路面突发状况确定方法，包括：

在同一目标场景下以预定时间间隔采集第一图像与第二图像；

分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

在一个示例性实施例中，确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图包括：

对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块，获取超像素分割的掩膜，对所述第一道路面图像采用与所述超像素分割的掩膜相同的掩膜进行分割，得到所述第一道路面图像的超像素块；

分别对所述第一道路面图像的超像素块与所述第二道路面图像的超像素块进行特征向量提取，得到所述第一道路面图像的第一超像素块特征与所述第二道路面图像的第二超像素块特征；

确定所述第一超像素块特征与所述第二超像素块特征的相似度图。

在一个示例性实施例中，对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块包括：

按照设定的超像素个数，或者最小的超像素尺寸，在所述第二道路面图像中均匀分布种子点，并对所述种子点进行修正；

将所述第二道路面图像转入LAB色彩空间，在搜索区域内根据所有像素点与每个种子像素的距离确定所有像素点所属的超像素块；

重复更新每个超像素块的聚类种子点，在所述搜索区域内根据所有像素点与聚类种子点的距离确定所有像素点所属的超像素块，直到所述超像素块的聚类种子点不变，得到所述第二道路面图像的超像素块。

在一个示例性实施例中，确定所述第一超像素块特征与所述第二超像素块特征的相似度图包括：

确定所述第一超像素块特征与所述第二超像素块特征的相似度值；

将大于或等于预设阈值的所述相似度值对应的超像素块特征设置为1，将小于所述预设阈值的所述相似度值对应的超像素块特征设置为0，得到所述相似度图。

在一个示例性实施例中，根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图包括：

分别对所述第一道路面图像与所述第二道路面图像进行路面实例分割，得到所述第一道路面图像的第一实例分割结果与所述第二道路面图像的第二实例分割结果；

根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图。

在一个示例性实施例中，根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图包括：

分别将对所述第一实例分割结果与所述第二实例分割结果中有实例的区域置1，没有实例的区域置0，得到所述第一实例分割结果的第一分割图与所述第二实例分割结果的第二分割图；

将所述第一分割图与所述第二分割图取并集，得到所述有效区域图，其中并集为0的区域为有效区域，并集为1的区域为无效区域。

在一个示例性实施例中，根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况包括：

确定所述相似度图中所述有效区域图的无效区域与面积小于第一预设面积的区域不存在突发状况，其中，所述有效区域图包括无效区域与有效区域；

若所述有效区域图的有效区域大于或等于第二预设面积，确定所述相似度图中所述有效区域图的有效区域不存在突发状况；

若所述有效区域图的有效区域小于所述第二预设面积，确定所述相似度图中所述有效区域图的有效区域存在突发状况。

在一个示例性实施例中，在分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像之前，所述方法还包括：

基于surf特征点对所述第一图像或所述第二图像进行图像校正，使得校正后的所述第一图像与所述第二图像的拍摄角度相同。

在一个示例性实施例中，基于surf特征点对所述第一图像或所述第二图像进行图像校正包括：

分别获取所述第一图像与所述第二图像基于surf特征点的描述子向量；

对所述第一图像的描述子向量与所述第二图像的描述子向量进行特征匹配，得到所述第一图像的描述子向量与所述第二图像的描述子向量中匹配的特征点对；

根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵；

根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像。

在一个示例性实施例中，根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵包括：

分别获取所述特征点对在所述第一图像与所述第二图像中的对应坐标；

根据所述特征点对在所述第一图像与所述第二图像中的对应坐标生成从所述第一图像到所述第二图像的变换矩阵；

根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像包括：

将所述第一图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第一图像；或者将所述第二图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第二图像。

根据本发明的又一个实施例，还提供了一种路面突发状况确定装置，包括：

采集模块，用于在同一目标场景下以预定时间间隔采集第一图像与第二图像；

提取模块，用于分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

处理模块，用于确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

第一确定模块，用于根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

第二确定模块，用于根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

可选地，上述处理模块，还用于对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块，获取超像素分割的掩膜，对所述第一道路面图像采用与所述超像素分割的掩膜相同的掩膜进行分割，得到所述第一道路面图像的超像素块；分别对所述第一道路面图像的超像素块与所述第二道路面图像的超像素块进行特征向量提取，得到所述第一道路面图像的第一超像素块特征与所述第二道路面图像的第二超像素块特征；确定所述第一超像素块特征与所述第二超像素块特征的相似度图。

可选地，上述第一确定模块，还用于按照设定的超像素个数，或者最小的超像素尺寸，在所述第二道路面图像中均匀分布种子点，并对所述种子点进行修正；将所述第二道路面图像转入LAB色彩空间，在搜索区域内根据所有像素点与每个种子像素的距离确定所有像素点所属的超像素块；重复更新每个超像素块的聚类种子点，在所述搜索区域内根据所有像素点与聚类种子点的距离确定所有像素点所属的超像素块，直到所述超像素块的聚类种子点不变，得到所述第二道路面图像的超像素块。

可选地，上述处理模块，还用于确定所述第一超像素块特征与所述第二超像素块特征的相似度值；将大于或等于预设阈值的所述相似度值对应的超像素块特征设置为1，将小于所述预设阈值的所述相似度值对应的超像素块特征设置为0，得到所述相似度图。

可选地，上述第一确定模块，还用于分别对所述第一道路面图像与所述第二道路面图像进行路面实例分割，得到所述第一道路面图像的第一实例分割结果与所述第二道路面图像的第二实例分割结果；根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图。

可选地，上述第一确定模块，还用于分别将对所述第一实例分割结果与所述第二实例分割结果中有实例的区域置1，没有实例的区域置0，得到所述第一实例分割结果的第一分割图与所述第二实例分割结果的第二分割图；将所述第一分割图与所述第二分割图取并集，得到所述有效区域图，其中并集为0的区域为有效区域，并集为1的区域为无效区域。

可选地，上述第二确定模块，还用于确定所述相似度图中所述有效区域图的无效区域与面积小于第一预设面积的区域不存在突发状况，其中，所述有效区域图包括无效区域与有效区域；若所述有效区域图的有效区域大于或等于第二预设面积，确定所述相似度图中所述有效区域图的有效区域不存在突发状况；若所述有效区域图的有效区域小于所述第二预设面积，确定所述相似度图中所述有效区域图的有效区域存在突发状况。

可选地，上述装置还包括：校正模块，用于基于surf特征点对所述第一图像或所述第二图像进行图像校正，使得校正后的所述第一图像与所述第二图像的拍摄角度相同。

可选地，所述校正模块，还用于分别获取所述第一图像与所述第二图像基于surf特征点的描述子向量；对所述第一图像的描述子向量与所述第二图像的描述子向量进行特征匹配，得到所述第一图像的描述子向量与所述第二图像的描述子向量中匹配的特征点对；根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像。

可选地，所述校正模块，还用于分别获取所述特征点对在所述第一图像与所述第二图像中的对应坐标；根据所述特征点对在所述第一图像与所述第二图像中的对应坐标生成从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像包括：将所述第一图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第一图像；或者将所述第二图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第二图像。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，在同一目标场景下以预定时间间隔采集第一图像与第二图像；分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况，可以解决相关技术中基于深度学习方法进行路面突发性灾害预警存在准确性差、鲁棒性差的问题，提高路面状况确定的准确性与鲁棒性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的路面突发状况确定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的路面突发状况确定方法的流程图；

图3是根据本发明一实施例的路面突发状况确定方法流程示意图(一)；

图4是根据本发明一实施例的路面突发状况确定方法流程示意图(二)；

图5是根据本发明一实施例的路面突发状况确定方法流程示意图(三)；

图6是根据本发明一实施例的路面突发状况确定方法流程示意图(四)；

图7为本发明一可选实施例中对道路面进行提取的示意图；

图8为本发明一可选实施例中对道路面进行整合的示意图；

图9为本发明一可选实施例中对特征向量进行组合的示意图；

图10是根据本发明实施例的路面突发状况确定装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的路面突发状况确定方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的路面突发状况确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及路面突发状况确定，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的路面突发状况确定方法，图2是根据本发明实施例的路面突发状况确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，在同一目标场景下以预定时间间隔采集第一图像与第二图像；

步骤S204，分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

步骤S206，确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

步骤S208，根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

步骤S210，根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

通过上述步骤S202至步骤S210，在同一目标场景下以预定时间间隔采集第一图像与第二图像；分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况，可以解决相关技术中基于深度学习方法进行路面突发性灾害预警存在准确性差、鲁棒性差的问题，提高路面状况确定的准确性与鲁棒性。

图3是根据本发明一实施例的路面突发状况确定方法流程示意图(一)，如图3所示，上述步骤S206进一步包括：

步骤S302，对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块，获取超像素分割的掩膜，对所述第一道路面图像采用与所述超像素分割的掩膜相同的掩膜进行分割，得到所述第一道路面图像的超像素块；

步骤S304，分别对所述第一道路面图像的超像素块与所述第二道路面图像的超像素块进行特征向量提取，得到所述第一道路面图像的第一超像素块特征与所述第二道路面图像的第二超像素块特征；

步骤S306，确定所述第一超像素块特征与所述第二超像素块特征的相似度图。

即，通过对第一道路面图像与第二道路面图像进行超级分割得到的超像素块和对第一道路面图像与第二道路面图像进行提取得到的特征向量，确定超像素块特征的相似度图。

图4是根据本发明一实施例的路面突发状况确定方法流程示意图(二)，如图4所示，上述步骤S302进一步可以包括：

步骤S402，按照设定的超像素个数，或者最小的超像素尺寸，在所述第二道路面图像中均匀分布种子点，并对所述种子点进行修正；

步骤S404，将所述第二道路面图像转入LAB色彩空间，在搜索区域内根据所有像素点与每个种子像素的距离确定所有像素点所属的超像素块，其中，LAB中，L表示亮度，A、B表示颜色对立维度；

步骤S406，重复更新每个超像素块的聚类种子点，在所述搜索区域内根据所有像素点与聚类种子点的距离确定所有像素点所属的超像素块，直到所述超像素块的聚类种子点不变，得到所述第二道路面图像的超像素块。

简而言之，通过在第一道路面图像与第二道路面图像上分布种子点，进行分块修正，再转入LAB色彩空间，在搜索区域内确定超像素块，重复更新确定超像素块，直至聚类种子点不变，即可得到超像素块。

图5是根据本发明一实施例的路面突发状况确定方法流程示意图(三)，如图5所示，上述步骤S306进一步可以包括：

步骤S502，确定所述第一超像素块特征与所述第二超像素块特征的相似度值；

步骤S504，将大于或等于预设阈值的所述相似度值对应的超像素块特征设置为1，将小于所述预设阈值的所述相似度值对应的超像素块特征设置为0，得到所述相似度图。

即，通过判断相似度值与预设值的大小关系对超像素块特征进行设置，得到相似度图。

在一个可选的实施例中，上述步骤S208具体可以包括：分别对所述第一道路面图像与所述第二道路面图像进行路面实例分割，得到所述第一道路面图像的第一实例分割结果与所述第二道路面图像的第二实例分割结果；根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图。

即，通过对第一道路面图像与所述第二道路面图像进行路面实例分割得到的分割结果确定有效区域图。

在一个可选的实施例中，根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图包括：分别将对所述第一实例分割结果与所述第二实例分割结果中有实例的区域置1，没有实例的区域置0，得到所述第一实例分割结果的第一分割图与所述第二实例分割结果的第二分割图；将所述第一分割图与所述第二分割图取并集，得到所述有效区域图，其中并集为0的区域为有效区域，并集为1的区域为无效区域。

即，根据分割结果中的区域是否有实例进行设置后并集，得到有效区域图，图中分为有效区域和无效区域。

在一个可选的实施例中，上述步骤S210包括：确定所述相似度图中所述有效区域图的无效区域与面积小于第一预设面积的区域不存在突发状况，其中，所述有效区域图包括无效区域与有效区域；若所述有效区域图的有效区域大于或等于第二预设面积，确定所述相似度图中所述有效区域图的有效区域不存在突发状况；若所述有效区域图的有效区域小于所述第二预设面积，确定所述相似度图中所述有效区域图的有效区域存在突发状况。

即，有效区域图的无效区域与面积对比第一预设面积和第二预设面积的大小确定所述目标场景中的突发状况。

在一个可选的实施例中，在上述步骤S204之前，基于surf特征点对所述第一图像或所述第二图像进行图像校正，使得校正后的所述第一图像与所述第二图像的拍摄角度相同。

即，在对第一图像与第二图像进行道路面提取前，还基于surf特征点对其进行校正，使得第一图像与所述第二图像的拍摄角度相同。

在一个可选的实施例中，基于surf特征点对所述第一图像或所述第二图像进行图像校正具体可以包括：分别获取所述第一图像与所述第二图像基于surf特征点的描述子向量；对所述第一图像的描述子向量与所述第二图像的描述子向量进行特征匹配，得到所述第一图像的描述子向量与所述第二图像的描述子向量中匹配的特征点对；根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像。

即，通过第一图像与第二图像基于surf特征点的描述子向量匹配的特征点对进行矩阵变换，从而得到校正图像。

在一个可选的实施例中，根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵具体可以包括：分别获取所述特征点对在所述第一图像与所述第二图像中的对应坐标；根据所述特征点对在所述第一图像与所述第二图像中的对应坐标生成从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像包括：将所述第一图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第一图像；或者将所述第二图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第二图像。

简而言之，第一图像到第二图像的变换矩阵需要获取特征点对在第一图像和第二图像中的对应坐标，根据坐标进行矩阵变换；对描述子向量进行校正时，需要将描述子向量与变换矩阵相乘才可得到校正后的图像。

图6是根据本发明一实施例的路面突发状况确定方法流程示意图(四)，如图6所示，包括如下步骤：

步骤S1，采集前后俩帧图像；

步骤S2，基于surf特征点的图像校正；

步骤S3，基于U-Net分割网络道路面提取；

步骤S4，基于简单的线性迭代聚类(Simple Linear Iterative Clustering，简称为SLIC)超级像素分割；

步骤S5，基于超像素块的特征向量提取；

步骤S6，根据余弦距离获取前后两帧图像超像素块特征的相似度；

步骤S7，基于系数复数(You Only Look At CoefficienTs，简称为YOLACT++)路面实例分割；

步骤S8，根据分割结果获取有效区域；

步骤S9，根据相关逻辑确认路面是否发生突发性灾害。

上述步骤S1至步骤S9的具体说明如下：

步骤S1，采集前后俩帧同一场景的图像：应用相关的道路视频监控采集同一场景下前后两帧的图像数据，并采用去燥、增强等图像预处理技术对图像进行预处理，获取质量更高的图像。同时为保证图像的一致性，前后两帧图像时间间隔不能太长。

步骤S2，基于surf特征点的图像校正：由于相机拍摄角度存在一定的差异，前后两帧图像的角度和尺度存在一定的差异，此时需要对图像进行校正。而surf特征点对于角度旋转、尺度变化、光照变化等具备较好的鲁棒性，因此可以作为图像校正的关键点。基于surf特征点的图像校正可以包括：特征点检测：特征点检测首先需要通过构建Hessian矩阵，生成所有特征点；然后通过调整滤波器的尺寸，构造不同的尺度空间；接着把经过Hessian矩阵处理过的每个像素点与三维图像周围的26个点进行大小比较，选取极大值点作为区域极大值点；最后，通过分配特征点主方向以及生成描述子的方式，得到surf特征点的描述子向量。剔除误匹配：在得到两幅图像的特征点之后，可以进行特征匹配。特征匹配时，可以根据特征点之间的距离进行。如果一对特征点描述子之间距离最小，那么这对特征点就是对应的一对匹配点。然而这样的匹配之后会存在很多误配点，对所有成对特征点之间的距离进行排序，选取距离最小的10对特征点作为最后的特征点对。这样很大程度上可以消除错误的匹配点对。图像校正：得到特征点对之后，就可以获取特征点对在前后两帧图像中的对应坐标。此时，可以求得一个变换矩阵F将基准图A的特征点一一映射到实时图B上。变换矩阵获取之后，就可以采用原基准图A乘以变换矩阵的方式得到校正后的基准图C。校正后，图B和图C中同一地理位置，在图像中理论上处于同一坐标。

步骤S3，基于U-Net分割网络道路面提取，图7为本发明一可选实施例中对道路面进行提取的示意图，如图7所示，基于路面的突发灾害预警，为排除其他环境影响，将路面单独分割出来，由于实时图中路面可能发生了灾害存在路面信息不完整的情况，在校正后的基准图B中进行路面提取。提取道路面用到的是，基于U-Net的语义分割网络，首先提取各种环境下的道路面并进行标注，之后用标注好的数据作为样本，训练U-Net语义分割网络。道路面提取完成之后，之后所有的操作都是基于道路面进行的，不在关注周边环境。

步骤S4，基于SILC超级像素分割，如图8所示，图8为本发明一可选实施例中对道路面进行整合的示意图，基于像素的变化检测，虽然操作简单实时性高但同时具有鲁棒性差、要求图像配准精度高等缺陷。基于对象的变化检测，虽然效果较好，但是由于路面突发灾害现象很难定义一个对象，因此存在很大的局限性。针对上述情况，采用基于超级像素分割的变化检测方法。本文首先对实时图B进行超级像素分割，超级像素分割采用的是SLIC的方法，SLIC复杂度不高，计算速度较快，并且生成的超像素子块十分整齐紧凑，对于图像轮廓保持得完美，毛刺较少。具体包括：按照设定的超像素个数，或者最小的超像素尺寸，在图像B中均匀分布种子点。同时，为了避免第一次初始种子点落在梯度较大的轮廓边界上，影响后续的聚类结果，进行种子点修正。将图像B色彩空间转入LAB色彩空间，在搜索区域内根据每个种子点像素与当前像素的距离确定该像素所属于的超级像素块。距离计算公式如下：

其中x，y表示像素点坐标；S表示超像素搜索区域；l，a，b表示颜色空间的三个颜色参数份量；m为常数，一般取值10。迭代优化：更新聚类种子点，重复上述迭代，直到聚类中心点不发生明显变化。之后为保证超像素的完整性，对尺寸较小超级像素进行合并；将实时图的道路面按照SILC超级像素分割之后，对校正之后的基准图C采取相同的掩膜进行分割。

步骤S5，基于超像素块的特征向量提取，图9为本发明一可选实施例中对特征向量进行组合的示意图，如图9所示，超级像素块划分完成之后，可以对对应实时图B和校正之后的基准图C的超级像素块进行特征提取，主要提取Hog特征和LBP特征，Hog特征具备丰富的梯度信息，而局部二值模式(Local Binary Pattern，简称为LBP)具备丰富的纹理信息，俩者均具备一定的光照不变形，Hog特征和LBP特征一起组合的特征向量，可以很好反应道路面遇到突发灾害前后的变化。

步骤S6，根据余弦距离获取前后两帧图像超像素块特征的相似度：得到实时图和校正之后的基准图对应的超像素块的特征向量之后，可以计算俩者之间的相似度。计算相似度采用的是余弦距离。对应超像素块之间的相似度，可以很大程度上反应对应位置的实时图是否相对于基准图发生了变化。计算完所有成对超像素块之间的相似度之后，就可以获得实时图和校正之后的基准图之间的相似度图。

步骤S7，基于YOLACT++路面实例分割：由于道路面除突发灾害外，更常见的是交通日常参与者。这些交通参与者包括机动车、非机动车、行人、野生动物等。道路交通参与者会对基于变化检测的路面突发灾害预警带来干扰。为解决这一问题，本实施例首先案通过实例分割的手段，将交通参与者分割出来。对交通参与者的分割，采用的是YOLACT++实例分割网络。首先选取含大量路面交通参与者的图像，进行人工标注作为训练集；然后，用训练集对YOLACT++实例分割网络进行训练。

步骤S8，根据分割结果获取有效区域：应用YOLACT++对实时图和校正之后的基准图的老路面分割之后，对有实例的地方取1，没有实例的地方取0，分别得到分割图D和分割图E，然后D和E取并得到最终的有效区域图F。在有效区域图F中0代表有效区域，1代表无效区域。

步骤S9，根据相关逻辑确认路面是否发生突发性灾害。

在步骤S6中获取相似度图，如果直接根据超像素块之间的相似度判断是否发生突发性灾害会带来很多误报。针对这一问题，本实施例采用以下策略：

排除无效区域：无效区域是指拥有交通参与者的区域，根据Step8的结果，获取无效区域，并将相似度图中的无效区域的相似度置1。

排除小区域：当发生路面突发性灾害时，通常情况下灾害前后路面发生变化的面积较大，因此根据这一特性，可以将一些小区域的变化过滤掉，减少误报，如一些包装袋。

排除整体变化区域：当下雨或者降雪等情况发生时，整个路面的纹理梯度都会受到影响，而由于突发性路面灾害带来的影响范围不会这么广，此时将这种整体变化过滤掉，减少误报。

实施例2

根据本发明的另一个实施例，还提供了一种路面突发状况确定装置，图10是根据本发明实施例的路面突发状况确定装置的框图，如图10所示，包括：

采集模块102，用于在同一目标场景下以预定时间间隔采集第一图像与第二图像；

提取模块104，用于分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

处理模块106，用于确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

第一确定模块108，用于根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

第二确定模块110，用于根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

可选地，上述处理模块106，还用于对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块，获取超像素分割的掩膜，对所述第一道路面图像采用与所述超像素分割的掩膜相同的掩膜进行分割，得到所述第一道路面图像的超像素块；分别对所述第一道路面图像的超像素块与所述第二道路面图像的超像素块进行特征向量提取，得到所述第一道路面图像的第一超像素块特征与所述第二道路面图像的第二超像素块特征；确定所述第一超像素块特征与所述第二超像素块特征的相似度图。

即，通过对第一道路面图像与第二道路面图像进行超级分割得到的超像素块和对第一道路面图像与第二道路面图像进行提取得到的特征向量，确定超像素块特征的相似度图。

可选地，上述第一确定模块108，还用于按照设定的超像素个数，或者最小的超像素尺寸，在所述第二道路面图像中均匀分布种子点，并对所述种子点进行修正；将所述第二道路面图像转入LAB色彩空间，在搜索区域内根据所有像素点与每个种子像素的距离确定所有像素点所属的超像素块；重复更新每个超像素块的聚类种子点，在所述搜索区域内根据所有像素点与聚类种子点的距离确定所有像素点所属的超像素块，直到所述超像素块的聚类种子点不变，得到所述第二道路面图像的超像素块。

简而言之，通过在第一道路面图像与第二道路面图像上分布种子点，进行分块修正，再转入LAB色彩空间，在搜索区域内确定超像素块，重复更新确定超像素块，直至聚类种子点不变，即可得到超像素块。

可选地，上述处理模块106，还用于确定所述第一超像素块特征与所述第二超像素块特征的相似度值；将大于或等于预设阈值的所述相似度值对应的超像素块特征设置为1，将小于所述预设阈值的所述相似度值对应的超像素块特征设置为0，得到所述相似度图。

即，通过判断相似度值与预设值的大小关系对超像素块特征进行设置，得到相似度图。

可选地，上述第一确定模块108，还用于分别对所述第一道路面图像与所述第二道路面图像进行路面实例分割，得到所述第一道路面图像的第一实例分割结果与所述第二道路面图像的第二实例分割结果；根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图。

即，通过对第一道路面图像与所述第二道路面图像进行路面实例分割得到的分割结果确定有效区域图。

在一个可选的实施例中，上述第一确定模块108，还用于分别将对所述第一实例分割结果与所述第二实例分割结果中有实例的区域置1，没有实例的区域置0，得到所述第一实例分割结果的第一分割图与所述第二实例分割结果的第二分割图；将所述第一分割图与所述第二分割图取并集，得到所述有效区域图，其中并集为0的区域为有效区域，并集为1的区域为无效区域。

即，根据分割结果中的区域是否有实例进行设置后并集，得到有效区域图，图中分为有效区域和无效区域。

在一个可选的实施例中，上述第二确定模块110，还用于确定所述相似度图中所述有效区域图的无效区域与面积小于第一预设面积的区域不存在突发状况，其中，所述有效区域图包括无效区域与有效区域；若所述有效区域图的有效区域大于或等于第二预设面积，确定所述相似度图中所述有效区域图的有效区域不存在突发状况；若所述有效区域图的有效区域小于所述第二预设面积，确定所述相似度图中所述有效区域图的有效区域存在突发状况。

即，有效区域图的无效区域与面积对比第一预设面积和第二预设面积的大小确定所述目标场景中的突发状况。

在一个可选的实施例中，上述装置还包括：校正模块103，用于基于surf特征点对所述第一图像或所述第二图像进行图像校正，使得校正后的所述第一图像与所述第二图像的拍摄角度相同。

即，在对第一图像与第二图像进行道路面提取前，还基于surf特征点对其进行校正，使得第一图像与所述第二图像的拍摄角度相同。

在一个可选的实施例中，校正模块103，还用于分别获取所述第一图像与所述第二图像基于surf特征点的描述子向量；对所述第一图像的描述子向量与所述第二图像的描述子向量进行特征匹配，得到所述第一图像的描述子向量与所述第二图像的描述子向量中匹配的特征点对；根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像。

即，通过第一图像与第二图像基于surf特征点的描述子向量匹配的特征点对进行矩阵变换，从而得到校正图像。

在一个可选的实施例中，校正模块103，还用于分别获取所述特征点对在所述第一图像与所述第二图像中的对应坐标；根据所述特征点对在所述第一图像与所述第二图像中的对应坐标生成从所述第一图像到所述第二图像的变换矩阵；根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像包括：将所述第一图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第一图像；或者将所述第二图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第二图像。

简而言之，第一图像到第二图像的变换矩阵需要获取特征点对在第一图像和第二图像中的对应坐标，根据坐标进行矩阵变换；对描述子向量进行校正时，需要将描述子向量与变换矩阵相乘才可得到校正后的图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在同一目标场景下以预定时间间隔采集第一图像与第二图像；

S2分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

S3，确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

S4，根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

S5，根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在同一目标场景下以预定时间间隔采集第一图像与第二图像；

S2分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

S3，确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

S4，根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

S5，根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种路面突发状况确定方法，其特征在于，包括：

在同一目标场景下以预定时间间隔采集第一图像与第二图像；

分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

2.根据权利要求1所述的方法，其特征在于，确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图包括：

对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块，获取超级像素分割的掩膜，对所述第一道路面图像采用与所述超级像素分割的掩膜相同的掩膜进行超级像素分割，得到所述第一道路面图像的超像素块；

分别对所述第一道路面图像的超像素块与所述第二道路面图像的超像素块进行特征向量提取，得到所述第一道路面图像的第一超像素块特征与所述第二道路面图像的第二超像素块特征；

确定所述第一超像素块特征与所述第二超像素块特征的相似度图。

3.根据权利要求2所述的方法，其特征在于，对所述第二道路面图像进行超级像素分割，得到所述第二道路面图像的超像素块包括：

按照设定的超像素个数，或者最小的超像素尺寸，在所述第二道路面图像中均匀分布种子点，并对所述种子点进行修正；

将所述第二道路面图像转入LAB色彩空间，在搜索区域内根据所有像素点与每个种子像素的距离确定所有像素点所属的超像素块；

重复更新每个超像素块的聚类种子点，在所述搜索区域内根据所有像素点与聚类种子点的距离确定所有像素点所属的超像素块，直到所述超像素块的聚类种子点不变，得到所述第二道路面图像的超像素块。

4.根据权利要求2所述的方法，其特征在于，确定所述第一超像素块特征与所述第二超像素块特征的相似度图包括：

确定所述第一超像素块特征与所述第二超像素块特征的相似度值；

将大于或等于预设阈值的所述相似度值对应的超像素块特征设置为1，将小于所述预设阈值的所述相似度值对应的超像素块特征设置为0，得到所述相似度图。

5.根据权利要求1所述的方法，其特征在于，根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图包括：

分别对所述第一道路面图像与所述第二道路面图像进行路面实例分割，得到所述第一道路面图像的第一实例分割结果与所述第二道路面图像的第二实例分割结果；

根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图。

6.根据权利要求5所述的方法，其特征在于，根据所述第一实例分割结果与所述第二实例分割结果确定所述有效区域图包括：

分别将对所述第一实例分割结果与所述第二实例分割结果中有实例的区域置1，没有实例的区域置0，得到所述第一实例分割结果的第一分割图与所述第二实例分割结果的第二分割图；

将所述第一分割图与所述第二分割图取并集，得到所述有效区域图，其中并集为0的区域为有效区域，并集为1的区域为无效区域。

7.根据权利要求1所述的方法，其特征在于，根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况包括：

确定所述相似度图中所述有效区域图的无效区域与面积小于第一预设面积的区域不存在突发状况，其中，所述有效区域图包括无效区域与有效区域；

若所述有效区域图的有效区域大于或等于第二预设面积，确定所述相似度图中所述有效区域图的有效区域不存在突发状况；

若所述有效区域图的有效区域小于所述第二预设面积，确定所述相似度图中所述有效区域图的有效区域存在突发状况。

8.根据权利要求1至7中任一项所述的方法，其特征在于，在分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像之前，所述方法还包括：

基于surf特征点对所述第一图像或所述第二图像进行图像校正，使得校正后的所述第一图像与所述第二图像的拍摄角度相同。

9.根据权利要求8所述的方法，其特征在于，基于surf特征点对所述第一图像或所述第二图像进行图像校正包括：

分别获取所述第一图像与所述第二图像基于surf特征点的描述子向量；

对所述第一图像的描述子向量与所述第二图像的描述子向量进行特征匹配，得到所述第一图像的描述子向量与所述第二图像的描述子向量中匹配的特征点对；

根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵；

根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像。

10.根据权利要求9所述的方法，其特征在于，

根据所述特征点对确定从所述第一图像到所述第二图像的变换矩阵包括：

分别获取所述特征点对在所述第一图像与所述第二图像中的对应坐标；

根据所述特征点对在所述第一图像与所述第二图像中的对应坐标生成从所述第一图像到所述第二图像的变换矩阵；

根据所述变换矩阵对所述第一图像的描述子向量或所述第二图像的描述子向量进行校正，得到校正后的所述第一图像或第二图像包括：

将所述第一图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第一图像；或者将所述第二图像的描述子向量与所述变换矩阵相乘，得到校正后的所述第二图像。

11.一种路面突发状况确定装置，其特征在于，包括：

采集模块，用于在同一目标场景下以预定时间间隔采集第一图像与第二图像；

提取模块，用于分别对所述第一图像与所述第二图像进行道路面提取，得到所述第一图像的第一道路面图像与所述第二图像的第二道路面图像；

处理模块，用于确定所述第一道路面图像的超像素块特征与所述第二道路面图像的超像素块特征的相似度图；

第一确定模块，用于根据所述第一道路面图像的实例分割结果与所述第二道路面图像的实例分割结果确定有效区域图；

第二确定模块，用于根据所述有效区域图与所述相似度图确定所述目标场景中的突发状况。

12.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至10任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10中任一项所述的方法。

Images