CN112052822A - 基于图像多特征融合的公路能见度检测方法、系统及装置 - Google Patents

Abstract

本发明公开了一种基于图像多特征融合的公路能见度检测方法、系统及装置，基于图像多特征融合的公路团雾能见度等级评价方法，获取公路实时监控画面的图像特征，并构建基于支持向量机的团雾能见度等级分类方法，对公路能见度进行实时评价；本发明不需要进行繁琐的相机标定、提前设置目标物等操作，也不需要昂贵的能见度检测仪器，比如透射式或者散射式的能见度仪；通多公路能见度实时检测，可以有效地指导公路的交通，保障公路交通安全及人民生命财产安全。

Description

基于图像多特征融合的公路能见度检测方法、系统及装置

【技术领域】

本发明属于图像处理技术领域，涉及一种基于图像多特征融合的公路能见度检测方法、系统及装置。

【背景技术】

近年来，高速公路的发展尤为显著，大幅度提高了公路通行能力和运输效率，促进了经济社会持续健康发展。但随之而来的是交通事故不断增多，据统计，因团雾造成的交通事故占事故总数的1/4以上，雾天高速公路的事故发生率是平常的10倍。

团雾是受局部地区微气候环境影响出现的一种局部范围的大气状况，团雾的特点为：突发性较强，覆盖范围在一公里到五公里之间，覆盖范围内能见度较低。因团雾突发难以预测，气象部门难以给出准确的预警判断，常常会因此酿成重大交通事故。

目前，传统的能见度检测方法中仪器的安装不便且价格昂贵。另外，现有的基于图像的数字测量法多数都要预先设置目标物并进行摄像机标定，但是由于不同摄像机硬件型号与实际应用的不同场景，该类方法显得极为繁琐，操作复杂。

【发明内容】

本发明的目的在于解决现有技术中能见度检测方法使用的设备安装不便且价格昂贵，检测方法繁琐的问题，提供一种基于图像多特征融合的公路能见度检测方法、系统及装置。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于图像多特征融合的公路能见度检测方法，包括以下步骤：

S1，从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

S2，对各截取图像进行预处理；

S3，提取经步骤S2处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

S4，根据步骤S3提取的所述三种特征，构建能见度等级评价模型。

上述方法的进一步改进在于：

步骤S3中，

提取图像暗像素直方图分布中心特征具体为：通过下式计算像素点x处的暗像素值J_dark(x)：

其中，y∈Ω(x)为以像素点x为中心的邻域，c∈(R,G,B)为RGB三通道，J^c(y)为RGB三通道中任一通道的像素值；

根据各像素点处的J_dark(x)，得到图像暗像素直方图；

通过下式计算图像零阶矩m₀₀、图像暗像素直方图y方向分布区域总和m₀₁、图像暗像素直方图x方向分布区域总和m₁₀：

其中，x为像素值，y为分布频率，I(x,y)为分布密度；

通过下式计算得到图像暗像素直方图分布中心C：

步骤S3中，

提取图像平均梯度特征具体为：

通过下式计算图像点(i,j)处的梯度值：

其中，G_x和G_y分别为水平方向图像梯度和竖直方向图像梯度；

则，图像平均梯度A_grad为：

其中，M为图像的宽度，N为图像的高度。

步骤S3中，

提取图像相关性特征具体为：

采取人工选择的方式，选取一张景物清晰度最好的截取图像作为模板图像，使用ORB算法计算当前画面与模板图像之间的相关性，获取相关性系数。

所述步骤S2具体为：调整各截取图像尺寸，再进行灰度化处理和滤波处理。

所述调整各截取图像尺寸具体为将截取图像的宽度和高度均调整为二分之一；

所述进行灰度化处理具体为将图像处理为单通道的灰度图像；

所以滤波处理具体为进行双边滤波处理。

步骤S4具体为：

S4.1，设能见度等级评价模型的输入特征向量X为X＝[x₁,x₂,x₃,x₄,x₅]，其中，x₁、x₂为图像暗像素直方图分布中心的像素值及对应的频率，x₃为图像暗像素直方图最大分布频率，x₄代入图像平均梯度，x₅为图像相关性系数；

S4.2，设输出向量Y为Y＝[y₀,y₁,y₂,y₃,y₄]；其中，[1,0,0,0,0]表示能见度为好；[0,1,0,0,0]表示能见度为较好，[0,0,1,0,0]表示能见度为一般，[0,0,0,1,0]表示能见度为较差，[0,0,0,0,1]表示能见度为差；

S4.3，构建基于支持向量机的团雾能见度等级分类器，输入输出向量结构具体如步骤S4.1和S4.2所示，根据历史图像数据进行模型参数训练，进而完成分类器的构建。

一种基于图像多特征融合的公路能见度检测系统，包括：

图像获取单元，用于从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

图像预处理单元，用于对各截取图像进行预处理；

特征提取单元，用于提取预处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

模型建立单元，用于根据提取的三种特征，构建能见度等级评价模型。

一种基于图像多特征融合的公路能见度检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

与现有技术相比，本发明具有以下有益效果：

1.本发明基于图像多特征融合的公路能见度检测方法，基于图像多特征融合的公路团雾能见度等级评价方法，获取公路实时监控画面的图像特征，并构建基于支持向量机的团雾能见度等级分类方法，对公路能见度进行实时评价；本发明不需要进行繁琐的相机标定、提前设置目标物等操作，也不需要昂贵的能见度检测仪器，比如透射式或者散射式的能见度仪；通多公路能见度实时检测，可以有效地指导公路的交通，保障公路交通安全及人民生命财产安全。

2.本发明中对截取的图像进行尺寸调整，能够提高图像的处理效率，进行滤波处理能够在去除噪声影响的同时很好的保留图像的边缘信息。

3.本发明中通过团雾能见度等级分类器，根据模拟数据训练分类模型，能够将提取的三种特征作为输入向量，根据输出向量直接得到能见度分级结果，便捷高效。

4.本发明基于图像多特征融合的公路能见度检测系统，能够对上述方法进行模块化划分，结构简单，执行便捷。

5.本发明的存储设备和计算机可读存储介质，能够执行上述方法，实际应用时，可将上述方法以程序的方式进行内置，便于安装执行。

【附图说明】

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明基于图像多特征融合的公路能见度检测方法实施例的流程示意图；

图2为本发明实施例中高速公路灰度图；

图3为本发明实施例中高速公路暗通道像素图；

图4为本发明实施例中图像暗像素直方图。

【具体实施方式】

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

团雾对公路，尤其是高速公路的交通带来了巨大损失的隐患，因此构建一套完善的团雾检测系统意义重大，能够有效地保障低能见度天气条件下公路的通行安全和争取最大的经济效益。

如下，以高速公路为检测对象，对本发明的检测方法进行进一步说明：

步骤1，获取高速公路实时监控视频画面：现实中高速公路的能见度变化受大气的各种指标及所在地地形地貌等多种因素综合影响，能见度并不会发生突变，所以不必要时时刻刻对能见度进行检测，设置每隔预设时间间隔截取一帧高速公路的监控画面即可，预设时间间隔可根据实际情况进行调整，本实施例中设定为5min。

步骤2，图像预处理：去除图像中的噪声干扰及为后续步骤做准备，对图像进行调整尺寸、灰度化处理及滤波等预处理操作。

具体的：

调整图像尺寸：为了减少后续步骤花费的时间，提高图像的处理效率，将获取的图像的宽度和高度都调整为原来的二分之一；

图像灰度化：对图像进行灰度化处理，将三通道的RGB图像处理为单通道的灰度图像，得到如图2所示的高速公路灰度图；

图像滤波：可使用双边滤波，此滤波方法在去除噪声影响的同时可以很好保留图像的边缘信息。

步骤3，提取图像特征：为了更加准确的判断能见度等级，需要获取图像的多个特征，包括图像暗像素直方图分布中心特征、图像平均梯度特征及图像相关性特征三种特征。

如图3所示，图像暗像素直方图分布中心特征的获取：

提取图像暗像素直方图分布中心特征：图像暗像素是指以像素点x为中心，在r*r的矩形领域中求取三个通道的最小值，具体公式为

式中，J_dark(x)为像素点x处的暗像素值，y∈Ω(x)为以像素点x为中心的邻域，c∈(R,G,B)为RGB三通道，J^c(y)为某个通道的像素值，进一步地便可获取如图4所示的图像暗像素直方图。为了更好的描述图像暗像素特征，通过求取均质木板重心的方法进一步求出暗像素直方图的分布中心，具体公式为

式中，x为像素值，y为分布频率，I(x,y)为分布密度，这里设置为1即可，C即为直方图分布中心。m₀₀为图像零阶矩，表示直方图分布区域总和，m₀₁为图像一阶矩，表示直方图y方向分布区域总和，m₁₀为图像一阶矩，表示直方图x方向分布区域总和。

提取图像平均梯度特征：使用Scharr算子计算图像的平均梯度，具体公式为

式中，M、N为图像的宽高，G(i,j)为像素点(i,j)处的梯度值,G_x和G_y分别为水平方向图像梯度和竖直方向图像梯度。

提取图像的相关性特征：人工选取一张能见度等级为好的图像作为模板图像，使用ORB算法计算当前画面与模板图像之间相关性。

其中，提取图像暗像素直方图分布中心特征和提取图像的相关性特征，可仅对图像进行尺寸调整和滤波处理，提取图像平均梯度特征可仅对图像进行尺寸调整和灰度化处理。

步骤4，构建团雾能见度等级评价模型：依据步骤3中提取的图像特征，构建能见度等级评价模型，对高速公路监控画面中能见度进行评价。

具体的：步骤4-1，定义输入特征向量为X＝[x₁,x₂,x₃,x₄,x₅]，式中，x₁、x₂为暗像素直方图分布中心像素值及对应的频率，x₃为直方图最大分布频率，x₄代入图像平均梯度，x₅为图像相关性系数；

步骤4-2，定义输出向量为Y＝[y₀,y₁,y₂,y₃,y₄]，根据国家对能见度分级有“好、较好、一般、较差、差”五个等级，[1,0,0,0,0]表示能见度为“好”的理想输出，[0,1,0,0,0]表示能见度为“较好”的理想输出，[0,0,1,0,0]表示能见度为“一般”的理想输出，[0,0,0,1,0]表示能见度为“较差”的理想输出，[0,0,0,0,1]表示能见度为“差”的理想输出；

步骤4-3，构建基于支持向量机的团雾能见度等级分类器，根据模拟数据训练分类模型。

如表1，表1为本发明实施例中高速公路团雾能见度等级划分标准，表1评价的结果可与国家对低能见度分级标准QX/T111-2010进行对标，实现统一化。

表1高速公路团雾能见度等级划分标准

能见度等级	能见度范围(单位：m)	定性用语
			0级	大于500	好
1级	200-500	较好
			2级	100-200	一般
3级	50-100	较差
			4级	小于50	差

本发明还提供了一种基于图像多特征融合的公路能见度检测系统，包括：

图像获取单元，用于从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

图像预处理单元，用于对各截取图像进行预处理；

特征提取单元，用于提取预处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

模型建立单元，用于根据提取的三种特征，构建能见度等级评价模型。

另外，本发明一实施例提供的基于图像多特征融合的公路能见度检测装置。该实施例的基于图像多特征融合的公路能见度检测装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤，例如图1所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如上述基于图像多特征融合的公路能见度检测系统的图像获取单元、图像预处理单元、特征提取单元以及模型建立单元所实现的功能

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明的检测方法，所述方法包括以下步骤：

S1，从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

S2，对各截取图像进行预处理；

S3，提取经步骤S2处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

S4，根据步骤S3提取的所述三种特征，构建能见度等级评价模型。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于图像多特征融合的公路能见度检测装置的各种功能。

所述基于图像多特征融合的公路能见度检测系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像多特征融合的公路能见度检测方法，其特征在于，包括以下步骤：

S1，从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

S2，对各截取图像进行预处理；

S3，提取经步骤S2处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

S4，根据步骤S3提取的所述三种特征，构建能见度等级评价模型。

2.根据权利要求1所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，步骤S3中，

提取图像暗像素直方图分布中心特征具体为：通过下式计算像素点x处的暗像素值J_dark(x)：

其中，y∈Ω(x)为以像素点x为中心的邻域，c∈(R,G,B)为RGB三通道，J^c(y)为RGB三通道中任一通道的像素值；

根据各像素点处的J_dark(x)，得到图像暗像素直方图；

通过下式计算图像零阶矩m₀₀、图像暗像素直方图y方向分布区域总和m₀₁、图像暗像素直方图x方向分布区域总和m₁₀：

其中，x为像素值，y为分布频率，I(x,y)为分布密度；

通过下式计算得到图像暗像素直方图分布中心C：

3.根据权利要求2所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，步骤S3中，

提取图像平均梯度特征具体为：

通过下式计算图像点(i,j)处的梯度值：

其中，G_x和G_y分别为水平方向图像梯度和竖直方向图像梯度；

则，图像平均梯度A_grad为：

其中，M为图像的宽度，N为图像的高度。

4.根据权利要求3所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，步骤S3中，

提取图像相关性特征具体为：

采取人工选择的方式，选取一张景物清晰度最好的截取图像作为模板图像，使用ORB算法计算当前画面与模板图像之间的相关性，获取相关性系数。

5.根据权利要求1所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，所述步骤S2具体为：调整各截取图像尺寸，再进行灰度化处理和滤波处理。

6.根据权利要求5所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，所述调整各截取图像尺寸具体为将截取图像的宽度和高度均调整为二分之一；

所述进行灰度化处理具体为将图像处理为单通道的灰度图像；

所以滤波处理具体为进行双边滤波处理。

7.根据权利要求7所述一种基于图像多特征融合的公路能见度检测方法，其特征在于，步骤S4具体为：

S4.1，设能见度等级评价模型的输入特征向量X为X＝[x₁,x₂,x₃,x₄,x₅]，其中，x₁、x₂为图像暗像素直方图分布中心的像素值及对应的频率，x₃为图像暗像素直方图最大分布频率，x₄代入图像平均梯度，x₅为图像相关性系数；

S4.2，设输出向量Y为Y＝[y₀,y₁,y₂,y₃,y₄]；其中，[1,0,0,0,0]表示能见度为好；[0,1,0,0,0]表示能见度为较好，[0,0,1,0,0]表示能见度为一般，[0,0,0,1,0]表示能见度为较差，[0,0,0,0,1]表示能见度为差；

S4.3，构建基于支持向量机的团雾能见度等级分类器，输入输出向量结构具体如步骤S4.1和S4.2所示，根据历史图像数据进行模型参数训练，进而完成分类器的构建。

8.一种基于图像多特征融合的公路能见度检测系统，其特征在于，包括：

图像获取单元，用于从公路实时监控视频中按预设时间间隔截取监控画面，得到多幅截取图像；

图像预处理单元，用于对各截取图像进行预处理；

特征提取单元，用于提取预处理后的截取图像的三种特征，所述三种特征包括图像暗像素直方图分布中心特征、图像平均梯度特征和图像相关性特征；

模型建立单元，用于根据提取的三种特征，构建能见度等级评价模型。

9.一种基于图像多特征融合的公路能见度检测装置，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。

Images