CN116563739B - 基于计算机视觉的公路施工进度检测方法 - Google Patents

Abstract

本发明涉及图像数据处理领域，具体涉及基于计算机视觉的公路施工进度检测方法，包括：采集图像；构建滑动窗口，根据滑动窗口确定出每个窗口的灰度均值和每个窗口的视觉误差程度；根据相邻窗口视觉误差程度得到窗口间的相关性；根据相邻窗口间的灰度差值得到窗口间的灰度变化程度；根据窗口间的相关性与窗口间的灰度变化程度得到每个窗口的权值系数；根据每个窗口的权值系数得到道路图像的列像素和；根据列像素和得到后一帧每一列的列像素差值曲线；根据列像素差值曲线得到区间的必要性；根据区间的必要性和第二预设阈值得到最终的图像。本发明用图像数据处理方式对前后帧图像进行分析处理，得到所有帧图像合并之后的图像，提高公路进度的检测。

Description

基于计算机视觉的公路施工进度检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于计算机视觉的公路施工进度检测方法。

背景技术

目前，基于计算机视觉的公路检测方法已经开始在公路施工行业中得到应用。例如，有些企业已经开始使用无人机和摄像头等设备进行施工进度监测；随着计算机视觉技术的不断发展和深入研究，各种新的算法和模型也不断涌现，这些算法和模型可以更准确地对施工进度进行监测和预测。随着技术的不断发展和应用，公路施工行业将会有更多的机遇和发展空间。

施工进度检测是公路建设项目中非常重要的一环，它可以帮助工程师和建筑师监督和评估工作的进展情况，以确保项目按照预期时间完成，实现对公路施工的进度检测，提高工作效率和准确性。

因此，本发明提出了一种基于计算机视觉的公路施工进度检测方法。通过获取道路施工的航拍视频，并提取视频中的每一帧图像，并进行预处理；根据结合施工道路特性调整后的像素描述，然后依次用后一帧图像的一列的像素和减去前一帧图像的每一列的像素和，得到后一帧图像每一列的列像素差值曲线。

根据分析列像素差值曲线，由峰值检测得到使得列像素差值为0或趋近为0的横坐标集合；从横坐标集合得到满足条件的横坐标区间。从而得到相邻两帧图像的重复部分，去除前一帧图像的重复部分，拼接后一帧图像，最终得到一张完整不重复的道路图像；根据完整的道路图像得出道路施工的进度。

发明内容

本发明提供基于计算机视觉的公路施工进度检测方法，以解决现有的问题。

本发明的基于计算机视觉的公路施工进度检测方法采用如下技术方案：

本发明一个实施例提供了基于计算机视觉的公路施工进度检测方法，该方法包括以下步骤：

采集道路的图像并进行预处理；

构建滑动窗口，根据滑动窗口中的灰度值得到滑动窗口的灰度均值；根据相邻帧的同一窗口的灰度均值得到每个窗口的视觉误差程度；

根据相邻窗口的视觉误差程度得到窗口之间的相关性；根据相邻窗口之间的灰度差值得到窗口之间的灰度变化程度；根据窗口之间的相关性与窗口之间的灰度变化程度得到每个窗口的像素匹配的权值系数；

根据每个窗口的像素匹配的权值系数得到道路图像中相邻两帧每一列的列像素和；根据每一列的列像素和得到后一帧每一列的列像素差值曲线；列像素差值曲线上所有极小值点的横坐标构成序列S；确定出序列S中每个数据趋近于0的程度；根据序列S中每个数据趋近于0的程度和第一预设阈值得到一组新的序列，记为序列A；根据序列A中每个数据趋近于0的程度和序列A中的数据得到横坐标区间的必要性；根据横坐标区间的必要性和第二预设阈值得到最终的图像。

进一步地，所述视觉误差程度的具体获取方法为：

视觉误差程度的公式为：

式中，表示上一帧图像中第/>个窗口中的灰度均值；/>表示下一帧图像中第/>个窗口中的灰度均值；/>表示相邻两帧图像中第/>个窗口的视觉误差程度。

进一步地，所述窗口之间的相关性的具体获取方法为：

窗口之间的相关性的公式为：

式中，表示相邻两帧图像中第/>个窗口帧差后的视觉误差程度，/>表示相邻两帧图像中第/>个窗口帧差后的视觉误差程度，/>表示相邻两帧图像中第个窗口帧差后的视觉误差程度，/>表示第n个窗口和相邻窗口之间的相关性。

进一步地，所述窗口之间的灰度变化程度的具体获取方法为：

根据任意一个窗口的灰度均值与分别与相邻两个窗口之间的差值绝对值的和得到窗口之间的灰度变化程度。

进一步地，所述每个窗口的像素匹配的权值系数的具体获取方法为：

每个窗口的像素匹配的权值系数的公式为：

式中，表示道路图像中第n个窗口与相邻窗口之间的相关性，/>表示道路图像中第n个窗口与相邻窗口之间的灰度变化程度，/>表示图像中第n个窗口中的像素匹配的权值系数。

进一步地，所述每一列的列像素和的具体获取方法为：

用每列中每个像素点的像素值乘以对应的权值系数，记为第一结果，然后将每列所有像素的第一结果求和得到列像素和。

进一步地，所述列像素差值曲线的具体获取方法为：

将后一帧内任意一列的列像素和记为，前一帧内每一列的列像素和分别记为，/>表示前一帧图像中第n列的列像素和，N表示前一帧的列数，/>分别与/>求差值，得到/>的列差值序列，以前一帧的每列为横坐标，以列差值序列中的元素值为纵坐标，用/>的列差值序列在构建的坐标系中得到/>的列像素差值曲线。

进一步地，所述趋近于0的程度的具体获取方法为：

趋近于0的程度的公式为：

式中，表示列像素差值曲线上在序列S中的第i个坐标对应的纵坐标值，/>表示在序列S中的第i-1个坐标对应的纵坐标值，/>表示在序列S中的第i+1个坐标对应的纵坐标值，/>表示在序列S中的第i个坐标的纵坐标的值趋近于0的程度。

进一步地，所述区间的必要性的具体获取方法为：

区间的必要性的公式为：

式中，表示相邻元素的第i个横坐标与第i-1个横坐标之间区间的必要性，/>表示第i个横坐标的值，/>表示第i-1个横坐标的值，/>表示第i个横坐标对应的纵坐标的值趋近于0的程度，/>表示第i-1个横坐标对应的纵坐标的值趋近于0的程度，exp是指以自然数为底的指数函数。

本发明的技术方案的有益效果是：通过获取道路施工的航拍视频，并提取视频中的每一帧图像，并进行预处理；根据结合施工道路特性调整后的像素描述，然后依次用后一帧图像的一列的像素和减去前一帧图像的每一列的像素和，得到后一帧图像每一列的列像素差值曲线；根据分析列像素差值曲线，得到相邻两帧图像的重复部分，去除前一帧图像的重复部分，拼接后一帧图像，最终得到一张完整不重复的道路图像；根据完整的道路图像得出道路施工进度。该发明可以提高监管效率、减少人工误差、提高施工安全、优化施工进度计划和提高施工质量，有益效果显著。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于计算机视觉的公路施工进度检测方法的步骤流程图；

图2为本发明基于计算机视觉的公路施工进度检测方法的列像素和示意图；

图3为本发明基于计算机视觉的公路施工进度检测方法的列像素和差值示意图；

图4为本发明基于计算机视觉的公路施工进度检测方法的列像素差值曲线示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于计算机视觉的公路施工进度检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于计算机视觉的公路施工进度检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于计算机视觉的公路施工进度检测方法的步骤流程图，该方法包括以下步骤：

步骤S001：采集数据并进行预处理操作。

首先，选择一个携带着高分辨率的数码相机和GPS定位器的无人机，让其平行于施工道路，匀速前进俯拍整个道路，得到航拍视频。

然后使用视频编辑软件或编程语言中的视频处理库，提取航拍视频中的每一帧图像。

最后，将每一帧图像沿着道路方向进行均值滤波，以去除噪声来图像进行增强处理。

至此，获取预处理后的每一帧道路图像。

步骤S002：对相邻的两帧图像结合施工道路特性，对图像的像素进行调整，对调整后的像素描述进行线性方向的列像素和相减，得到差值曲线。

需要说明的是，在分析道路施工航拍图像时，发现图像中不仅有道路，其两边也存在不同的场景，因此如果直接使用列像素和做差，会导致产生巨大的误差，所以需要去掉非道路场景的像素点，以减小误差。

进一步需要说明的是，滑动窗口在目标检测过程中的作用是定位目标在图像的位置。在计算机视觉中滑动窗口是一个矩形框，它沿着从左到右、从上到下的方向在图片上滑动以达到提取图片中每一个区域的目的。滑动窗口首先进行从左到右、从上到下的方向在图片上滑动，将图片进行分块；因为图像中存在着道路和非道路区域，道路在图像中的表现形式是平面的，而非道路区域的表现形式是三维的，越是平面区域，视差误差越小；所以可以根据相邻两帧同一窗口内部像素灰度化程度表示视觉误差程度，用于区分道路区域和非道路区域。

具体地，构建的滑窗窗口大小，该窗口以3为步长滑动该窗口。通过滑窗窗口，计算每一个滑窗帧差后的像素差，根据不同的滑窗帧差后的像素差变化程度判断出图像中的道路区域块。

计算第个窗口中的灰度均值公式如下：

式中，表示为图像中第/>个窗口中的灰度均值，/>表示为第/>个窗口中的第/>个像素点的灰度值。

计算第个窗口的帧差变化量表示视觉误差程度公式如下：

式中，表示上一帧图像中第/>个窗口中的灰度均值；/>表示下一帧图像中第/>个窗口中的灰度均值；/>表示相邻两帧图像中第/>个窗口帧差后的像素差变化程度，即视觉误差程度，视差误差越小，越是平面区域，越可能是道路区域。

需要说明的是，道路的特性是连续近似的区域，即计算滑窗块之间的相关性和灰度值变化，相邻道路区域块之间的灰度变化程度小的，其两边位置非道路的相邻区域块之间灰度变化程度大的特点，因此可以用窗口之间视觉误差程度近似和灰度变化程度得到像素匹配时的权值系数。

具体地，根据施工道路的特性，计算窗口之间视差误差程度，得到窗口之间的相关性公式如下：

式中，表示相邻两帧图像中第/>个窗口帧差后的像素差变化程度，/>表示相邻两帧图像中第/>个窗口帧差后的像素差变化程度，/>表示相邻两帧图像中第/>个窗口帧差后的像素差变化程度，/>表示第n个窗口和相邻窗口之间的相关性，其值越大，两窗口之间相关性越高。

图像中某个窗口的灰度变化程度的公式如下：

式中，表示道路图像中第/>个窗口中的灰度均值，/>表示道路图像中第个窗口中的灰度均值，/>表示道路图像中第/>个窗口中的灰度均值；/>表示道路图像中第n个窗口的灰度变化程度；/>表示道路图像中第/>个窗口与第个窗口之间的灰度差值，其值越大，说明其灰度梯度变化越大；/>表示道路图像中第/>个窗口与第/>个窗口之间的灰度差值，其值越大，说明其灰度梯度变化越大。

根据窗口之间的相关性和窗口之间的灰度变化程度得到像素匹配的权值系数，其公式如下：

式中，表示道路图像中第n个窗口与相邻窗口之间的相关性，/>表示道路图像中第n个窗口与相邻窗口之间的灰度变化程度，/>表示道路图像中第n个窗口中的像素匹配的权值系数。

其中，当的值越大时，即表示两窗口之间视差误差程度越小，两窗口中像素点为道路像素点的可能性越大；当/>的值越小，两窗口中像素点为道路像素点的可能性越大；当/>的值越大，使用列像素和时该窗口的像素占比越高。

至此，得到不同窗口的权值系数。

具体地，将每个窗口的权值系数赋予窗口内的每个像素点，让其作为每个像素点的权值系数，即能够得到图2中阴影区域中每列中所有像素点的权值系数。用每列中每个像素点的像素值乘以对应的权值系数，记为第一结果，然后将这列所有像素的第一结果求和得到列像素和。

后一帧内任意一列的列像素和记为，前一帧内每一列的列像素和分别记为，如图3所示，/>表示前一帧图像中第n列的列像素和，N表示前一帧的列数。/>分别与/>求差值，得到/>的列差值序列，以前一帧的每列为横坐标，以列差值序列中的元素值为纵坐标，用/>的列差值序列在构建的坐标系中得到的列像素差值曲线，如图4所示。

步骤S003：分析列像素差值曲线，得到相邻两帧图像的重复部分，去除前一帧图像的重复部分，拼接后一帧图像，最终得到一张完整不重复的道路图像，根据完整的道路图像得出道路施工进度。

需要说明的是，根据分析列像素差值曲线，由峰值检测得到使得列像素差值曲线上为极小值的坐标集合，按照横坐标的顺序得到一组序列，记为序列S。分析列像素差值曲线，可知存在前一帧图像的某一列的像素和与后一帧图像的列的像素和的值相等或相近，则说明前一帧图像中有与后一帧图像的/>列重复的一列。所以找到相邻两帧图像之间的重复部分只需要通过使用峰值检测得到列像素差值曲线上的极小值点，然后用相邻点进行计算中间点的趋近性。

具体地，分析列的列像素差值曲线，则第i个点的趋近性可有如下公式表示：

式中，表示列像素差值曲线在序列S中的第i个坐标对应的纵坐标值，/>表示在序列S中的第i-1个坐标对应的纵坐标值，/>表示在序列S中的第i+1个坐标对应的纵坐标值，/>表示在序列S中的第i个坐标的纵坐标的值趋近于0的程度，即为序列S中的第i个坐标的趋近性。

其中，当越大，当前点的横坐标是重复部分的横坐标概率越大；/>越小，对应表示当其值越大，该点趋近于0的程度/>越大；当前点的横坐标是重复部分的横坐标概率越大；/>表示当其值越大，该点趋近于0的程度/>越大；当前点的横坐标是重复部分的横坐标概率越大；/>表示/>点相邻两点的列像素差值的平均值，当值越大，该点趋近于0的程度/>越大；当前点的横坐标是重复部分的横坐标概率越大。

预设程度阈值C，其中本实施例以为例进行叙述，本实施例不进行具体限定，其中C可根据具体实施情况而定。此处将序列S中每个坐标的趋近性进行线性归一化，用归一化后的值与程度阈值进行比较，当该点的值大于程度阈值C，则将该点进行保留，如果该点不大于程度阈值，则不保留该点，最后确定出所有满足条件的横坐标，并对其从小到大的顺序排序，得到一组序列，用/>表示。

具体地，序列和其每一个横坐标都有与之对应的/>，则集合。相邻量两个元素构成一个横坐标区间，则所有数据的相邻元素构成多个横坐标区间，则横坐标区间的必要性/>的计算公式：

式中，表示相邻元素的第i个横坐标与第i-1个横坐标之间的区间的必要性，/>表示第i个横坐标的值，/>表示第i-1个横坐标的值，/>表示第i个横坐标对应的纵坐标的值趋近于0的程度，/>表示第i-1个横坐标对应的纵坐标的值趋近于0的程度，exp是指以自然数为底的指数函数。

其中，越大，则说明这两个相邻元素成为横坐标区间的成员概率越大；表示相邻元素的差值，差值越小，必要性/>越大；该相邻元素成为相邻两帧图像的重复部分的横坐标概率越大；/>表示相邻元素其趋近于0的程度的差值，趋近于0的程度的差值越小，必要性/>越大；该相邻元素成为相邻两帧图像的重复部分的横坐标概率越大。

预设必要性阈值B，其中本实施例以为例进行叙述，本实施例不进行具体限定，其中B可根据具体实施情况而定。当区间必要性/>大于阈值B，则表示这个区间的重复部分很多，可将该区间不进行保留，当区间必要性/>小于阈值B，则表示这个区间的重复部分很少，可将该区间进行保留，根据必要性/>的值确定出横坐标集合，在通过每一个横坐标的值确定出，连续区间的起点和终点；起点为元素中的最小值，终点为元素的最大值。

通过得到的连续横坐标区间，得出相邻两帧图像的重复位置在前一帧图像上的横坐标区间，将前一帧图像的重复位置去除，拼接后一帧图像。

根据上述确定出相邻两帧图像的合并，将所有帧图像按顺序进行排序，然后依次将单数帧图像作为前一帧，偶数帧图像作为后一帧图像进行合并，至此，得到第一轮相邻奇偶帧的合并，下一轮的合并继续进行上述操作，直至合并成最后一张图像

至此，得到一张没有重复的完整道路图像。

根据上述得到的一张完整图像，确定出公路施工位置，根据规定的公路施工长度和已施工的公路长度确定出此时公路施工的进度。

至此，本实施例结束。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于计算机视觉的公路施工进度检测方法，其特征在于，该方法包括以下步骤：

采集道路的图像并进行预处理；

构建滑动窗口，根据滑动窗口中的灰度值得到滑动窗口的灰度均值；根据相邻帧的同一窗口的灰度均值得到每个窗口的视觉误差程度；

根据相邻窗口的视觉误差程度得到窗口之间的相关性；根据相邻窗口之间的灰度差值得到窗口之间的灰度变化程度；根据窗口之间的相关性与窗口之间的灰度变化程度得到每个窗口的像素匹配的权值系数；

根据每个窗口的像素匹配的权值系数得到道路图像中相邻两帧每一列的列像素和；根据每一列的列像素和得到后一帧每一列的列像素差值曲线；列像素差值曲线上所有极小值点的横坐标构成序列S；确定出序列S中每个数据趋近于0的程度；根据序列S中每个数据趋近于0的程度和第一预设阈值得到一组新的序列，记为序列A；根据序列A中每个数据趋近于0的程度和序列A中的数据得到横坐标区间的必要性；根据横坐标区间的必要性和第二预设阈值得到最终的图像；根据最终的图像确定公路施工位置，根据规定的公路施工长度和已施工的公路长度确定公路施工进度。

2.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述视觉误差程度的具体获取方法为：

视觉误差程度的公式为：

式中，表示上一帧图像中第/>个窗口中的灰度均值；/>表示下一帧图像中第个窗口中的灰度均值；/>表示相邻两帧图像中第/>个窗口的视觉误差程度。

3.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述窗口之间的相关性的具体获取方法为：

窗口之间的相关性的公式为：

式中，表示相邻两帧图像中第/>个窗口帧差后的视觉误差程度，/>表示相邻两帧图像中第/>个窗口帧差后的视觉误差程度，/>表示相邻两帧图像中第/>个窗口帧差后的视觉误差程度，/>表示第n个窗口和相邻窗口之间的相关性。

4.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述窗口之间的灰度变化程度的具体获取方法为：

根据任意一个窗口的灰度均值与分别与相邻两个窗口之间的差值绝对值的和得到窗口之间的灰度变化程度。

5.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述每个窗口的像素匹配的权值系数的具体获取方法为：

每个窗口的像素匹配的权值系数的公式为：

式中，表示道路图像中第n个窗口与相邻窗口之间的相关性，/>表示道路图像中第n个窗口与相邻窗口之间的灰度变化程度，/>表示图像中第n个窗口中的像素匹配的权值系数。

6.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述每一列的列像素和的具体获取方法为：

用每列中每个像素点的像素值乘以对应的权值系数，记为第一结果，然后将每列所有像素的第一结果求和得到列像素和。

7.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述列像素差值曲线的具体获取方法为：

将后一帧内任意一列的列像素和记为，前一帧内每一列的列像素和分别记为，/>表示前一帧图像中第n列的列像素和，N表示前一帧的列数，/>分别与/>求差值，得到/>的列差值序列，以前一帧的每列为横坐标，以列差值序列中的元素值为纵坐标，用/>的列差值序列在构建的坐标系中得到/>的列像素差值曲线。

8.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述趋近于0的程度的具体获取方法为：

趋近于0的程度的公式为：

式中，表示列像素差值曲线上在序列S中的第i个坐标对应的纵坐标值，/>表示在序列S中的第i-1个坐标对应的纵坐标值，/>表示在序列S中的第i+1个坐标对应的纵坐标值，/>表示在序列S中的第i个坐标的纵坐标的值趋近于0的程度。

9.根据权利要求1所述基于计算机视觉的公路施工进度检测方法，其特征在于，所述区间的必要性的具体获取方法为：

区间的必要性的公式为：

式中，表示相邻元素的第i个横坐标与第i-1个横坐标之间区间的必要性，/>表示第i个横坐标的值，/>表示第i-1个横坐标的值，/>表示第i个横坐标对应的纵坐标的值趋近于0的程度，/>表示第i-1个横坐标对应的纵坐标的值趋近于0的程度，exp是指以自然数为底的指数函数。