CN115797311A - 一种基于深度强化学习的公路裂缝图像分割方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的公路裂缝图像分割方法。1)对公路裂缝图像进行预处理，提高其对比度；2)使用基于深度学习的分割网络算法获取公路裂缝图像的分割结果；3)设置由分割网络输出的分割结果作为DoubleDQN算法的初始状态；设置像素值范围[100,255]作为深度强化学习中智能体的动作空间，该空间也是分割结果调整的像素值基准点；4)通过DoubleDQN算法对裂缝图像的粗分割结果不断进行迭代优化；5)在获得最佳分割结果后使用分割算法的评价指标IoU、Recall和F1分数对算法的分割性能进行评估。本发明优化了分割结果，相比单纯使用深度学习方法获得的分割结果，使用本发明方法迭代优化后裂缝分割结果更加精细，这极大地提高了公路健康状态评估的准确性。

Description

一种基于深度强化学习的公路裂缝图像分割方法

技术领域

本发明涉及图像处理和智能算法技术领域，具体为一种基于深度强化学习的公路裂缝图像分割方法。

背景技术

公路是国家重要的基础设施之一，公路往往因为过载，老化，受热膨胀等因素，会造成公路路面出现一些裂缝，这给交通运输行业带来了很大的安全隐患。公路裂缝的分割识别存在如下挑战：

1)公路裂缝数据集较少，尤其是高质量的标注数据。

2)公路路面具有复杂的纹理，裂缝与路面背景对比度低，形成的公路裂缝形状多样，尺度大小不一，对于裂缝分割带来挑战。

传统的基于图像处理的分割方法容易受到噪声和背景的影响，基于深度学习的分割方法相较于传统方法效果更好，但是由于网络最终输出的原因导致其结果不能完全收敛到目标值，而往往需要通过阈值来调整结果。

深度强化学习是一种结合了深度学习和强化学习的算法。它通过构建一个马尔可夫决策过程，使得智能体与环境不断交互，来指导智能体在不同的状态下进行收益最大化的动作，从而得到最优决策。本发明采用深度强化学习算法，针对分割结果中对阈值的调整来迭代优化公路裂缝的分割结果。

发明内容

本发明为了克服现有技术存在的不足，提供了一种基于深度强化学习的公路裂缝图像分割方法，对公路裂缝的分割结果进行精细化处理，通过深度强化学习算法不断迭代优化结果，达到比单纯基于深度学习方法更好的分割结果。所述的深度强化学习方法为当前的分割结果构建一个马尔可夫决策过程，通过每一步迭代，利用分割结果的IoU值来引导智能体对分割结果进行优化，最终在IoU指标和F1分数上达到更好的效果。

为达到上述目的，本发明所采用的技术方案包括如下步骤：

一种基于深度强化学习的公路裂缝图像分割方法，包括如下步骤：

步骤1：对已标注的公路裂缝图像进行预处理，针对公路图像低对比度，复杂纹理的特点，使用ACE算法进行预处理，提高其裂缝和背景的对比度；对于预处理后的图像，计算整个数据集的均值和方差，使用均值和方差对数据集进行标准化；

步骤2：构建合适的深度学习模型对预处理后的公路裂缝图像进行训练，训练完成后使用该模型对公路裂缝图像进行前向推理，获取粗糙的裂缝分割结果；

步骤3：构建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值；

步骤4：使用合适的深度学习网络作为深度强化学习中的值网络和目标网络；将状态值作为深度Q网络的输入，阈值动作集合A中所有阈值对应的Q值作为输出；从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算值网络的参数，并在适当时刻将值网络的参数更新到目标Q网络；

步骤5：在Double DQN的迭代过程中，经验池中不断增加智能体探索的样本数据；深度强化学习将从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算目标Q值：

Q_target＝R_t+1+γQ(S_t+1,argmaxQ(S_t+1,a_t+1；w)；w') (1)

其中，S_t+1表示执行动作后的状态，R_t+1表示执行动作a的奖励，w表示估计值网络的参数，w’表示目标值网络的参数；γ表示奖励的折扣因子；t表示时刻，a_t+1表示t+1时刻的动作；

步骤6：计算深度Q网络输出的损失值；该损失根据步骤5所得的目标Q值和深度Q网络输出的Q值之间的均方误差获得；同时对深度Q网络中的权重参数使用截断正态分布随机初始化，网络最后的输出层使用Softmax；

其中，B表示一次迭代中的样本数量，i表示样本编号。

进一步地，所构步骤3建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值如下：

步骤3-1：设置T时刻的分割结果作为深度强化学习的状态值，而算法的初始状态是第一阶段中分割网络模型输出的图像分割结果，该状态也是Double DQN网络的输入；

步骤3-2：设置智能体的动作空间，该动作空间也是分割图像需要调整的阈值集合A，根据ε-greedy策略选取相应的动作：在动作集合A中选取一个整数，作为调整分割结果的基准，若选择的动作为a_i，则将分割图中像素值在[a_i-5,a_i+5]的像素置为255；

步骤3-3：设置采取动作前后IoU差值来作为深度强化学习中环境的奖励；若采取动作后分割图的IoU值比采取动作前的IoU大，则奖励设置为1；若是动作前后分割图的IoU相同，则奖励设置为0；若采取动作后分割图的IoU值比采取动作前的IoU小，则奖励设置为-1。

进一步地，所述步骤4中的经验池是由每个时间步Double DQN算法的智能体与环境交互得到的样本，该样本包含4部分：t时刻的状态S_t，采取的动作a，环境反馈的奖励R，采取动作a之后转变为状态S_t+1。

进一步地，所述使用的马尔可夫决策过程中奖励，公式为：

进一步地，所构建的深度Q网络是一种分类网络，最后一层的神经元数量等于动作空间的大小；深度Q网络作为动作价值函数的网络模型，网络的权重参数为w，用Q(s,a；w)模拟动作值函数Q*(s,a)，其中s表示当状态，a表示当前动作，即

Q^*(s,a)＝Q(s,a；w) (4)。

对于深度Q网络的训练使用Adam优化器进行梯度更新，深度Q网络训练完成后，使用分割算法的评价指标IoU和F1-score对算法的分割性能进行评估。

与现有技术相比，本发明具有如下的优点：

本发明极大地优化了分割结果，相比单纯使用深度学习方法获得的分割结果，使用本发明的深度强化学习方法迭代优化后裂缝分割结果更加精细，这极大地提高了公路健康状态评估的准确性。

附图说明

图1为本发明中两阶段分割整体架构图。

图2为使用ACE算法预处理图像的前后对比图：从左至右依次是原图，经过ACE处理后的图像，原图的groudtruth。

图3为使用本发明提供的方法后，在测试集上IoU的提高值：横轴表示样本编号，纵轴表示使用了DoubleDQN和未使用Double DQN的分割结果的IoU差值。

图4为本发明在测试集上计算的混淆矩阵：左侧是使用深度学习方法，右侧是本发明的方法。

图5为本发明实施例的分割结果可视化。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

本发明提供了一种基于深度强化学习的公路裂缝图像分割方法，该方法通过深度强化学习Double DQN对神经网络粗分割结果进行迭代优化，即对分割结果进行精细化处理，从而提升裂缝区域的分割精度。如图1所示，本发明共分为两个处理阶段：第一阶段使用基于深度学习的分割算法获取公路裂缝图像的粗分割结果图；第二阶段使用Double DQN算法对神经网络粗分割结果图进行迭代优化。

步骤1：对已标注的公路裂缝图像进行预处理，针对公路图像低对比度，复杂纹理的特点，使用ACE算法进行预处理，提高其裂缝和背景的对比度。对于预处理后的图像，计算整个数据集的均值和方差，使用均值和方差对数据集进行标准化。

ACE算法通过差分来计算目标点与周围像素点的相对明暗关系来校正最终像素值，有很好的增强效果。假设I是归一化到[0,1]之间的单通道图像，则ACE算法的计算公式为：

其中Ω\x表示{y∈Ω,y≠x}，d(x,y)表示距离度量函数，可以直接取欧式距离。其中，I(x)表示图像中当前位置的像素值，I(y)表示图像中其他位置的像素值，Ω表示整个图像的像素集合，，S(*)表示坡度函数，可以取为：

S(x)＝max(min(αx,1.0),-1.0) (6)

其中，α是控制参数，其值越大表示细节增强越明显。接着，对R(x)进行归一化就可得到最终的结果，如公式(7)。其中，R(x)表示图像中经过ACE算法运算后的像素值。

步骤2：构建合适的深度学习模型对预处理后的公路裂缝图像进行训练，训练完成后使用该模型对公路裂缝图像进行前向推理，获取粗糙的裂缝分割结果。这里以AttentionUNet分割网络模型为例。

步骤3：构建深度强化学习所需的状态值，动作值以及奖励值。

设置T时刻的分割结果作为深度强化学习的状态值，而算法的初始状态是AttentionUNet输出的图像分割结果。该状态也是Double DQN网络的输入。

设置智能体的动作空间为[100-255]，则智能体共有156个动作，这些动作表示智能体可以选择的分割图中的像素值，即动作空间是离散的像素值；[100-156]的动作空间也是分割图像需要调整的阈值集合A，根据ε-greedy策略选取相应的动作，对公路裂缝图像的粗分割结果进行迭代优化：在动作集合A中选取一个整数，作为调整分割结果的基准，若选择的动作为a_i，则将分割图中像素值在[a_i-5,a_i+5]的像素置为255。

设置采取动作前后IoU差值来作为深度强化学习中环境的奖励。若采取动作后分割图的IoU值比采取动作前的IoU大，则奖励设置为1；若是动作前后分割图的IoU相同，则奖励设置为0；若采取动作后分割图的IoU值比采取动作前的IoU小，则奖励设置为-1。奖励的公式如下：

步骤4：使用ResNet18作为深度强化学习算法中的值网络和目标网络。将状态值(初始状态是步骤2的输出)作为深度Q网络的输入，阈值动作集合A中所有阈值对应的Q值作为输出；从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算值网络的参数，并在适当时刻将值网络的参数更新到目标Q网络。

将上述ResNet18，也即深度强化学习中的深度Q网络，作为动作价值函数的网络模型，网络的权重参数为w，用Q(s,a；w)模拟动作值函数Q*(s,a)，其中s表示当状态，a表示当前动作，即

Q^*(s,a)＝Q(s,a；w) (4)

上述的经验池是由每个时间步Double DQN算法的智能体与环境交互得到的样本，该样本包含4部分：t时刻的状态S_t，采取的动作a，环境反馈的奖励R，采取动作a之后转变为状态S_t+1。

步骤5：在Double DQN的迭代过程中，经验池中不断增加智能体探索的样本数据。深度强化学习将从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算目标Q值：

Q_target＝R_t+1+γQ(S_t+1,argmaxQ(S_t+1,a；w)；w') (1)

其中，S_t+1表示执行动作后的状态，R_t+1表示执行动作a的奖励，w表示估计值网络的参数，w’表示目标值网络的参数。γ表示奖励的折扣因子；t表示时刻，a_t+1表示t+1时刻的动作。

步骤6：计算深度Q网络输出的损失值。该损失根据步骤5所得的目标Q值和深度Q网络输出的Q值之间的均方误差获得；同时对深度Q网络中的权重参数使用截断正态分布随机初始化，网络最后的输出层使用Softmax。对于深度Q网络的训练使用Adam优化器进行梯度更新。损失公式中B表示一次迭代中的样本数量，i表示样本编号。

实施例

在本发明的具体实施实例中，以CFD(Crack Forest Dataset)数据集为研究对象。第一阶段中使用AttentionUNet网络模型作为图像分割算法，来获取CFD数据集中裂缝图像的粗分割结果；第二阶段使用Double DQN算法对AttentionUNet网络粗分割结果进行迭代优化，该阶段中使用的深度Q网络是ResNet18网络模型。

1.对CFD数据集中的公路裂缝图像进行预处理，使用统一的均值和标准差进行标准化，并使用ACE算法提高图像对比度。预处理前后的具体效果可见图2。

2.使用预处理后的裂缝图像数据对AttentionUNet进行训练，然后使用训练好的模型获取该数据集中裂缝图像的粗分割结果。

3.根据步骤2所述，将分割结果图作为状态，CFD数据集中图像分辨率为448*448，因此状态的维度大小为448*448*1。

4.该实例中动作空间为[100-255]，该动作空间也是分割图像需要调整的阈值集合A，根据ε-greedy策略选取相应的动作：在动作集合A中选取一个整数，作为调整分割结果的基准，若选择的动作为ai，则将分割图中像素值在[ai-5,ai+5]的像素置为255。

5.DoubleDQN算法中智能体首先不断地探索环境，将探索时遇到的样本添加到经验池中，当经验池满了后开始训练深度Q网络。

其中深度Q网络的训练参数设置如下：

epoch大小设置为15，每个epoch中每张裂缝图像的分割结果执行动作的次数step设置为1000。随机抽取经验池中的样本数batch_size设置为16；

折扣因子γ设置为0.9，经验回放集合的大小replay_size设置为10000，深度Q网络的学习率设为0.001，选择动作的贪心策略∈＝0.85；

使用深度强化学习和没有使用深度强化学习在CFD测试集上的结果，如图4所示，从该混淆矩阵可以看出，没有使用强化学习的方法识别的裂缝像素数量为73145，使用深度强化学习后裂缝像素数增大到77812。

本发明将公路裂缝图像的分割任务分为两个阶段。第一阶段使用基于深度学习的分割算法(如UNet或AttentionUNet)，获取裂缝的粗分割结果；第二阶段使用深度强化学习Double DQN算法对神经网络粗分割结果进行迭代优化，相当于对分割结果进行精细化处理，进一步提高分割结果的准确性。通过在CFD数据集上研究实验，测试集裂缝图像的分割结果IoU值均有提高，可以从图3看出，横轴表示样本编号，纵轴表示使用了DoubleDQN和未使用Double DQN的分割结果的IoU差值。可视化的分割结果如图5所示，可以看出使用DoubleDQN后分割结果更加准确。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (5)

1.一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，包括如下步骤：

步骤1：对已标注的公路裂缝图像进行预处理，针对公路图像低对比度，复杂纹理的特点，使用ACE算法进行预处理，提高其裂缝和背景的对比度；对于预处理后的图像，计算整个数据集的均值和方差，使用均值和方差对数据集进行标准化；

步骤2：构建合适的深度学习模型对预处理后的公路裂缝图像进行训练，训练完成后使用该模型对公路裂缝图像进行前向推理，获取粗糙的裂缝分割结果；

步骤3：构建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值；

步骤4：使用合适的深度学习网络作为深度强化学习中的值网络和目标网络；将状态值作为深度Q网络的输入，阈值动作集合A中所有阈值对应的Q值作为输出；从经验池中随机抽取部分样本，通过DoubleDQN算法的更新公式计算值网络的参数，并在适当时刻将值网络的参数更新到目标Q网络；

步骤5：在DoubleDQN的迭代过程中，经验池中不断增加智能体探索的样本数据；深度强化学习将从经验池中随机抽取部分样本，通过DoubleDQN算法的更新公式计算目标Q值：

Q_target＝R_t+1+γQ(S_t+1,argmaxQ(S_t+1,a_t+1；w)；w′) (1)

其中，S_t+1表示执行动作后的状态，R_t+1表示执行动作a的奖励，w表示估计值网络的参数，w’表示目标值网络的参数；γ表示奖励的折扣因子，t表示时刻，a_t+1表示t+1时刻的动作；

步骤6：计算深度Q网络输出的损失值；该损失根据步骤5所得的目标Q值和深度Q网络输出的Q值之间的均方误差获得；同时对深度Q网络中的权重参数使用截断正态分布随机初始化，网络最后的输出层使用Softmax；

其中，B表示一次迭代中的样本数量，i表示样本编号。

2.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所构步骤3建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值如下：

步骤3-1：设置T时刻的分割结果作为深度强化学习的状态值，而算法的初始状态是第一阶段中分割网络模型输出的图像分割结果，该状态也是DoubleDQN网络的输入；

步骤3-2：设置智能体的动作空间，该动作空间也是分割图像需要调整的阈值集合A，根据ε-greedy策略选取相应的动作：在动作集合A中选取一个整数，作为调整分割结果的基准，若选择的动作为a_i，则将分割图中像素值在[a_i-5,a_i+5]的像素置为255；

步骤3-3：设置采取动作前后IoU差值来作为深度强化学习中环境的奖励；若采取动作后分割图的IoU值比采取动作前的IoU大，则奖励设置为1；若是动作前后分割图的IoU相同，则奖励设置为0；若采取动作后分割图的IoU值比采取动作前的IoU小，则奖励设置为-1。

3.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所述步骤4中的经验池是由每个时间步DoubleDQN算法的智能体与环境交互得到的样本，该样本包含4部分：t时刻的状态S_t，采取的动作a，环境反馈的奖励R，采取动作a之后转变为状态S_t+1。

4.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所述使用的马尔可夫决策过程中奖励，公式为：

5.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所构建的深度Q网络是一种分类网络，最后一层的神经元数量等于动作空间的大小；深度Q网络作为动作价值函数的网络模型，网络的权重参数为w，用Q(s,a；w)模拟动作值函数Q*(s,a)，其中s表示当状态，a表示当前动作，即

Q^*(s,a)＝Q(s,a；w) (4)

对于深度Q网络的训练使用Adam优化器进行梯度更新，深度Q网络训练完成后，使用分割算法的评价指标IoU和F1-score对算法的分割性能进行评估。

Images