发明内容
本发明提供一种公路路面病害检测方法、装置、设备及存储介质,用以解决现有技术中公路路面的病害检测效率低的缺陷,实现快速高效地完成对公路路面病害的检测。
本发明提供一种公路路面病害检测方法,包括:
获取待检测路面的图像信息;
输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
根据本发明提供的一种公路路面病害检测方法,所述获取待检测路面的图像信息之前,还包括:
采集预设数量的病害图像样本信息,并为每个所述病害图像样本信息标注对应的病害类型标签;
对所述病害图像样本信息进行图像识别处理,提取每个所述病害图像样本信息的特征值;
以每个所述病害图像样本信息的特征值和所述特征值对应的病害类型标签作为训练数据,对预构建的机器学习模型进行训练,得到病害检测模型。
根据本发明提供的一种公路路面病害检测方法,所述对所述病害图像样本信息进行图像识别处理,提取每个所述病害图像样本信息的特征值,包括:
确定病害图像样本信息的图像识别起点,并对所述病害图像样本信息以预设像素为单位进行网格划分;
以所述图像识别起点为原点,在预设半径内对所述网格划分后的图像中的每个像素进行深度值检测,得到深度值特征;
以所述图像识别起点为原点,在预设半径内对所述网格划分后的图像中的每个像素进行方向性检测,得到方向性特征;
以所述深度值特征和所述方向性特征作为每个所述病害图像样本信息的特征值。
根据本发明提供的一种公路路面病害检测方法,所述在预设半径内对所述网格划分后的图像中的每个像素进行方向性检测,得到方向性特征,包括:
分别计算中心像素两侧预设半径内的所有像素的第一深度值均值和第二深度值均值;
根据所述第一深度值均值和所述第二深度值均值,确定每个像素在预设方向上的深度变化;
根据所述深度变化的结果,确定最大深度变化值和最小深度变化值;
基于预设关系,根据所述最大深度变化值和最小深度变化值,得到方向性特征。
根据本发明提供的一种公路路面病害检测方法,所述得到方向性特征之后,还包括:
基于预设关系,确定所述深度值特征的连接路径;
以所述连接路径、所述深度值特征和所述方向性特征作为图像样本信息的特征值。
根据本发明提供的一种公路路面病害检测方法,当所述图像识别起点大于等于两个时,得到方向性特征之后,还包括:
对不同的所述图像识别起点得到的不同特征值进行融合,取融合后的并集作为每个所述病害图像样本信息的特征值。
根据本发明提供的一种公路路面病害检测方法,所述输出所述待检测路面的病害类型之后,还包括:
发送病害类型至目标终端,以使工作人员进行相关操作。
本发明还提供一种公路路面病害检测装置,包括:
获取模块,用于获取待检测路面的图像信息;
检测模块,用于输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述公路路面病害检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述公路路面病害检测方法的步骤。
本发明提供的一种公路路面病害检测方法、装置、设备及存储介质,方法通过获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的,通过将实时拍摄的待检测路面图像信息输入机器学习模型的方式输出病害类型,有效地缩短了病害类型确定的时间,同时通过机器学习模型即病害检测模型的方式对公路路面病害类型进行自动检测,解决了人工主观判断的影响问题,操作简单,检测结果准确且快速,有效地提高了公路路面病害的检测效率。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图4描述本发明的公路路面病害检测方法、装置、设备及存储介质。
图1是本发明实施例提供的公路路面病害检测方法的流程示意图之一。
如图1所示,本发明实施例提供的一种公路路面病害检测方法,包括以下步骤:
101、获取待检测路面的图像信息。
具体的,定义需要进行病害检测的路面为待检测路面,获取待检测路面的图像信息,可以是直接通过智能终端的方式进行拍照获取,例如通过手机进行拍照获取待检测路面的图像信息。当然,不限于手机拍摄的方式,也可以是其他的图像获取方式,例如可以是通过无人机远程进行照片拍摄获取等,在本实施例中不进行具体的限定,只要能够获取到待检测路面的图像信息即可。
102、输入图像信息至病害检测模型,输出待检测路面的病害类型,其中,病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
在获取到待检测路面的图像信息以后,直接将图像信息输入至病害检测模型,病害检测模型便会通过对图像信息的识别处理,直接输出对应的病害类型,包括横向裂缝、纵向裂缝、龟裂和坑槽等,不仅无需人工主观意识的参与,还能够保证识别的效率。其中,病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
本发明实施例提供的一种公路路面病害检测方法,通过获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的,通过将实时拍摄的待检测路面图像信息输入机器学习模型的方式输出病害类型,有效地缩短了病害类型确定的时间,同时通过机器学习模型即病害检测模型的方式对公路路面病害类型进行自动检测,解决了人工主观判断的影响问题,操作简单,检测结果准确且快速,有效地提高了公路路面病害的现场检测效率。
图2是本发明实施例提供的公路路面病害检测方法的流程示意图之二。
如图2所示,本发明实施例提供的一种公路路面病害检测方法,包括以下步骤:
201、采集预设数量的病害图像样本信息,并为每个病害图像样本信息标注对应的病害类型标签。
具体的,预设数量为人为确定的病害图像样本信息的数量,其中预设数量值越大,则最终训练得到的病害检测模型便越精确。病害样本图像信息包括了有病害的图像和无病害的图像,有病害的图像中又包括了各种各样的病害图像,例如横向裂缝、纵向裂缝、龟裂和坑槽等等病害类型。需说明的是,在采集到病害图像样本信息之后,病害图像样本信息是各种各样病害类型的图像,然后需要对每张图像进行类型标注,也就是为每张图像信息标注对应的病害类型,保证每张图像信息都有着固定的病害类型,当然也包括了无病害。
202、对病害图像样本信息进行图像识别处理,提取每个病害图像样本信息的特征值。
在采集到病害图像样本信息,并为每张病害图像样本信息标注对应的病害类型之后,便需要对每张的病害图像样本信息进行图像识别处理,提取到每个病害图像样本信息的特征值。也就是对病害样本图像信息的识别过程,以便区分出不同的病害样本图像信息。为了保证准确的识别到病害图像样本信息,便需要提取每个病害图像样本信息的特征值,从而根据不同的特征值来对不同的病害图像样本信息进行区分,从而实现每一个特征值对应一个病害类型,最终便可以根据识别到的待检测路面的图像信息的特征值确定出对应的病害类型。
具体的,对病害图像样本信息进行图像识别处理,提取每个病害图像样本信息的特征值,包括:首先,基于错位起始点的网格划分。确定病害图像样本信息的图像识别起点,并对病害图像样本信息以预设像素为单位进行网格划分,以两个图像识别起点为例进行说明,对于病害图像样本,选择距离相近两点P1(x,x)和P2(y,y)作为图像识别起始点,对整体图像以n×n像素为单位进行网格划分,网格单元的灰度值其所包含的n×n个像素的灰度值均值。
其次,对深度值特征进行判定。开展深度计算,以图像识别起点为原点,在预设半径内对网格划分后的图像中的每个像素进行深度值检测,得到深度值特征;在两个图像识别起始点的半径为r个像素的领域内,中心像素(i,j)的深度值I(i,j)应满足如下条件:
I(i,j)≤KIave (1)
式中,i,j分别为中心像素的行坐标、列坐标;K为参数,取值范围为0-1;Iave为网格内所有像素深度值的均值;x和y分别为像素的横坐标和纵坐标。
然后,验证方向性特征。以图像识别起点为原点,在预设半径内对网格划分后的图像中的每个像素进行方向性检测,得到方向性特征。在半径为r个元素的范围内计算每个像素预设方向为4个方向时的(0°,45°,90°和135°)的深度变化情况,若存在显著的变化,则具有较强的方向性。具体过程如下:分别计算中心像素两侧预设半径内的所有像素的第一深度值均值
和第二深度值均值
式中,w=1,2,3,4,分别0°,45°,90°和135°四个方向;I(u)为中心像素在0°,45°,90°和135°方向及其反向侧第u个像素的深度值,u∈[-r,-1]或u∈[1,r]。
根据第一深度值均值
和第二深度值均值
确定每个像素在预设方向上的深度变化d
w,即:
式中,gw表示方向w的2r+1个像素中的最低深度值。
根据深度变化的结果,确定最大深度变化值dmax和最小深度变化值dmin,即:
dmax=max{dw} (5)
dmin=min{dw} (6)
然后便确定出了每个病害样本图像信息的最大深度变化值dmax、最小深度变化值dmin、网格内所有像素深度值的均值Iave,同时也就表明当病害类型不同时对应的为不同的最大深度变化值dmax、最小深度变化值dmin、网格内所有像素深度值的均值Iave,从而将具体的数值大小与病害类型标签进行匹配,最终使得模型可以根据最大深度变化值dmax、最小深度变化值dmin、网格内所有像素深度值的均值Iave,得到每个病害图像样本信息的病害类型。还可以计算出最大深度变化值dmax、最小深度变化值dmin与预设阈值的关系,如下:
dmax≥t (7)
dmax-dmin≥s (8)
式中,t,s为模型基于深度学习所得的阈值参数。
以深度值特征和方向性特征作为每个病害图像样本信息的特征值。可以根据对病害样本图像的标注以及计算得到的最大深度变化值dmax、最小深度变化值dmin、网格内所有像素深度值的均值Iave,设定K、t和s的大小,从而根据不同的大小确定为不同的病害类型。
而为了更好地保证对图像识别的准确度,在得到方向性特征之后,还包括:基于预设关系,确定特征值的连接路径,以连接路径和特征值作为图像样本信息的特征值。对于任意病害种子a,定义集合B={b
i,i=1,2,....8},集合C={c
j,j=1,2,...,16},若
和
均为非病害像素,则a作为孤立噪声予以消除;若
为非病害像素,但
为病害种子,则定义集合C
s={c
j∈C且c
j是病害种子},然后进一步搜索病害连接路径a-b
i-C
j(c
j∈C
s)。
对于可能存在多条病害连接路径的情况,使用如下模型寻找最优路径。
b
i∈B;
c
j∈C
s;p
ij={a,b
i,c
j};i=1,2,...,8;j=1,2,...,16,Z表示由深度值特征推导的变量参数,然后根据minZ得到最佳路径P
ij如表1所示连接规律,I(g)表示相应像素的深度值,取值为0-255的整数。
c<sub>1</sub> |
c<sub>2</sub> |
c<sub>3</sub> |
c<sub>4</sub> |
c<sub>5</sub> |
c<sub>16</sub> |
b<sub>1</sub> |
b<sub>2</sub> |
b<sub>3</sub> |
c<sub>6</sub> |
c<sub>15</sub> |
b<sub>8</sub> |
a |
b<sub>4</sub> |
c<sub>7</sub> |
c<sub>14</sub> |
b<sub>7</sub> |
b<sub>6</sub> |
b<sub>5</sub> |
c<sub>8</sub> |
c<sub>13</sub> |
c<sub>12</sub> |
c<sub>11</sub> |
c<sub>10</sub> |
c<sub>9</sub> |
表1
从而最终实现了对每个病害图像样本信息的局部优化路径连接,以实现更加完整、全面的得到对应的图像特征,保证模型训练数据的准确性。
而为了更加精准的获取到每个病害图像样本信息的特征值,当图像识别起点大于等于两个时,确定每个病害图像样本信息的特征值之后,还包括对不同的图像识别起点得到的不同特征值进行融合,取融合后的并集作为每个病害图像样本信息的特征值。由于选择了不同起始点对整体图像进行网格划分,便可获得两组不同的图像识别结果Sx和Sy,且两组图像会存在重叠和错位。对Sx和Sy中的病害种子取并集,则可从不同角度融合所识别出的病害种子,能有效避免病害漏检情况,提高病害识别的完整性和连续性。
综合来说,也就是通过图像识别的方式对每一个的病害图像样本信息进行详细具体的特征值识别,通过深度的了解到每一个病害图像样本信息不同的特征值,从而更好地区分出不同的图像信息,然后也就得到了每一个病害图像样本信息对应的病害类型。
203、以每个病害图像样本信息的特征值和特征值对应的病害类型标签作为训练数据,对预构建的机器学习模型进行训练,得到病害检测模型。
在得到每个病害图像样本信息的特征值以后,加之已经对每个病害图像样本信息标注的病害类型,便可将其作为训练数据,对预构建的机器学习模型进行训练,从而得到病害检测模型。而最终检测到的病害检测模型的识别过程则是,得到待检测路面的图像信息以后,对待检测路面的图像信息进行识别,获取待检测路面图像信息的最大深度变化值dmax、最小深度变化值dmin和网格内所有像素深度值的均值Iave,然后判断各个值与预设阈值之间的关系,根据与预设阈值之间的关系确定该特征值对应的病害类型,也就是该待检测路面的病害类型,为了更好地保证病害类型识别的准确,还包括了对得到的深度值特征进行优化路径连接,得到更加全面的图像信息,然后再对多个起点识别得到的多个特征值进行融合,取并集的方式来保证输出的病害类型更加的准确。
当然,也可以基于不同的算法得到不同的模型,然后根据各个模型的准确度高低选择合适的模型作为均匀性检测模型,同时还可以实时的更新训练数据,以保证模型检测结果的准确度。
204、获取待检测路面的图像信息。
205、输入图像信息至病害检测模型,输出待检测路面的病害类型,其中,病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
其中,关于步骤204和步骤205在上述实施例的101和102中已经做了详细的介绍说明,因此,在本实施例中不再进行具体阐述。
进一步的,本实施例中在输出待检测路面的病害类型之后,还包括:发送病害类型至目标终端,以使工作人员进行相关操作。如果用户是手机拍摄的待检测路面的图像信息,便可以直接的将病害类型结果输出显示于用户的手机相关界面,如果是其他的终端拍摄的照片,还可以将其病害类型识别的结果发送至目标终端,从而保证工作人员可以方便的了解到病害类型。
本发明基于移动互联的网络架构,在移动终端通过APP拍照、记录和上传病害照片;在云端,通过公路路面病害自动检测服务实现对路面病害的自动智能检测,输出并向移动终端反馈照片中所包含的病害类型,包括横向裂缝、纵向裂缝、龟裂和坑槽等等。基于深度学习的公路路面病害自动检测方法,采用深度学习算法解决了传统算法依赖大量人工经验,且人工检验难以固化量化的问题,提升了公路路面病害检测的准确率,兼顾了检测效率和精度,实现10ms为单位的检测速度,可广泛适用于公路检测的多个场景,如嵌入式端、桌面端等;采用Python开发语言实现了算法的跨平台,可应用于WIN、Linux等操作系统环境。此外,此方法采用Restful的外部接口方式,可与手机端、客户端、嵌入式端等多种场景集成,能够充分发挥移动终端操作便捷、灵活的优势,依托云端提供路面病害自动识别服务,可以在提升病害识别准确性的同时,有效弥补移动终端在计算能力方面的不足,提升检测效率及识别准确率。本发明解决了传统检测方法依赖大量先验知识、泛化能力差问题,将用户在公路检测领域经验固化在实际数据中,用户只需将数据替换进行重训练即可得到面向新数据新场景的检测模型,实现了一次设计、多处使用的目的。
基于同一总的发明构思,本申请还保护一种公路路面病害检测装置,下面对本发明提供的公路路面病害检测装置进行描述,下文描述的公路路面病害检测装置与上文描述的公路路面病害检测方法可相互对应参照。
图3是本发明实施例提供的公路路面病害检测装置的结构示意图。
如图3所示,本发明实施例提供的一种公路路面病害检测装置,包括:
获取模块30,用于获取待检测路面的图像信息;
检测模块31,用于输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
本发明实施例提供的一种公路路面病害检测装置,通过获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的,通过将实时拍摄的待检测路面图像信息输入机器学习模型的方式输出病害类型,有效地缩短了病害类型确定的时间,同时通过机器学习模型即病害检测模型的方式对公路路面病害类型进行自动检测,解决了人工主观判断的影响问题,操作简单,检测结果准确且快速,有效地提高了公路路面病害的现场检测效率。
进一步的,本实施例中还包括模型训练模块,用于:
采集预设数量的病害图像样本信息,并为每个病害图像样本信息标注对应的病害类型标签;
对病害图像样本信息进行图像识别处理,提取每个病害图像样本信息的特征值;
以每个病害图像样本信息的特征值和特征值对应的病害类型标签作为训练数据,对预构建的机器学习模型进行训练,得到病害检测模型。
进一步的,本实施例中还包括模型训练模块,具体用于:
确定病害图像样本信息的图像识别起点,并对病害图像样本信息以预设像素为单位进行网格划分;
以图像识别起点为原点,在预设半径内对网格划分后的图像中的每个像素进行深度值检测,得到深度值特征;
以图像识别起点为原点,在预设半径内对网格划分后的图像中的每个像素进行方向性检测,得到方向性特征;
以深度值特征和方向性特征作为每个病害图像样本信息的特征值。
进一步的,本实施例中还包括模型训练模块,具体还用于:
分别计算中心像素两侧预设半径内的所有像素的第一深度值均值和第二深度值均值;
根据第一深度值均值和第二深度值均值,确定每个像素在预设方向上的深度变化;
根据深度变化的结果,确定最大深度变化值和最小深度变化值;
基于预设关系,根据最大深度变化值和最小深度变化值,得到方向性特征。
进一步的,本实施例中还包括模型训练模块,具体还用于:
基于预设关系,确定深度值特征的连接路径;
以连接路径、深度值特征和方向性特征作为图像样本信息的特征值。
进一步的,本实施例中还包括模型训练模块,具体还用于:
对不同的图像识别起点得到的不同特征值进行融合,取融合后的并集作为每个病害图像样本信息的特征值。
进一步的,本实施例中还包括:发送模块,用于:
发送病害类型至目标终端,以使工作人员进行相关操作。
图4是本发明实施例提供的电子设备的结构示意图。
如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行公路路面病害检测方法,该方法包括:获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的公路路面病害检测方法,该方法包括:获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的公路路面病害检测方法,该方法包括:获取待检测路面的图像信息;输入所述图像信息至病害检测模型,输出所述待检测路面的病害类型,其中,所述病害检测模型是基于病害图像样本信息和预先确定的病害类型标签进行训练后得到的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。