CN109446566B - 一种基于强化学习的节点处钢筋智能避障排布方法 - Google Patents

Abstract

发明提供一种基于强化学习的节点处钢筋智能避障排布方法。该方法包括离散化表示钢筋、使用改进的Q‑learning算法进行主轴方向钢筋智能排布、使用改进的Q‑learning算法进行次轴方向钢筋智能排布、将排布结果保存为钢筋轨迹、对钢筋轨迹做出修正和输出修正钢筋轨迹等步骤。该方法解决了现有钢筋碰撞检测技术中存在的自动化程度较低、精准性不足以及仅仅能检测碰撞但是不能对碰撞情况做出修正等问题。

Description

一种基于强化学习的节点处钢筋智能避障排布方法

技术领域

本发明涉及信息技术领域，特别涉及一种基于强化学习的节点处钢筋智能避障排布方法。

背景技术

在建筑行业中，钢筋在建筑物中发挥着极为关键的作用。然而在设计阶段，因为建筑图纸繁多、设计人员交流不足以及其他种种原因，设计得到的钢筋图纸有时会出现施工阶段发现其钢筋设计并不符合实际应用的多种问题。其中，最常见的问题之一是设计得到的钢筋在实际排布时相互碰撞或者与其他构件相碰撞。这给施工造成了极大的阻碍，不仅延误了工期，还会造成巨大的经济损失。

因此，如何在设计阶段避免钢筋碰撞对于施工极为关键。各结构辅助设计软件开发厂商也为了解决该问题而付出大量的精力，开发了特定算法并且在软件中实现了一定的效果。当前阶段，解决方案中较为具有代表性的算法表述如下：基于构件中心，该算法采用某个特定形状和尺寸的几何外包盒去判断不同构件之间是否存在相交的状态。软件实现方面较具有代表性的则是REVIT软件，上述软件可以进行结构设计中的碰撞检测，进一步生成碰撞列表。

然而，上述方案仍然具有较大的局限性。该方案仅能进行结构的碰撞检测，生成的碰撞列表仍然需要由结构设计人员结合之前未产生碰撞的图纸，重新进行布筋设计。另外，若重新设计的结果经过碰撞检测仍然存在问题，则还需要进行重新设计。上述方案对某些工程的钢筋排布设计依旧不能产生很大的帮助。

节点是结构设计的基础而又较为复杂的部分。一方面，节点是普遍存在于结构设计中的，另一方面，节点的计算又是结构计算的基础。如果能够妥善解决节点处钢筋的碰撞问题，那么整个结构的智能化钢筋排布就是可期的。

发明内容

本发明的目的是提供一种基于强化学习的节点处钢筋智能避障排布方法，以解决现有技术中存在的问题。

为实现本发明目的而采用的技术方案是这样的，一种基于强化学习的节点处钢筋智能避障排布方法，包括以下步骤：

1)根据结构设计图纸，将待检测节点处的钢筋与构件离散化表示。其中，所述钢筋包括柱内纵筋、主轴方向钢筋和次轴方向钢筋。所述构件包括预埋件、型钢和连接板。

2)根据步骤1)的离散化结果，将柱内纵筋及构件视为障碍物，使用改进的Q-learning算法进行主轴方向钢筋的智能排布。

3)将步骤2)中主轴方向钢筋的排布结果、柱内纵筋和构件视为障碍物，使用改进的Q-learning算法进行次轴方向钢筋的智能排布。

4)将步骤2)和3)所得主轴方向钢筋和次轴方向钢筋的排布结果保存为钢筋轨迹。

5)对钢筋轨迹进行修正。

6)输出修正后的钢筋轨迹。

进一步，步骤1)中，根据原始设计图纸，将二维坐标建模为实际空间的三维坐标。并将钢筋的轨迹坐标和构件的外表面坐标离散化为以基本单位表示的若干坐标点。

进一步，离散化以钢筋最大直径为基本单位长度。对待排布钢筋的起始点及终止点坐标、柱内纵筋的全体坐标以及各构件的外表面坐标进行如下式处理：

式中，x_before表示该坐标点在次轴方向的值，y_before表示该坐标点在柱方向的值，z_before表示该坐标点在主轴方向的值，x_origin表示建模采用的原点坐标在次轴方向的值，y_origin表示建模采用的原点坐标在柱方向的值，Z_origin表示建模采用的原点坐标在主轴方向的值，x_after表示离散化得到的坐标在次轴方向的值，y_after表示离散化得到的坐标在柱方向的值，z_after表示离散化得到的坐标在主轴方向的值，round函数表示四舍五入的取整机制。

进一步，步骤2)中可动智能体从每根主轴方向钢筋的起点出发，寻找主轴方向钢筋的终点。在这个过程中需要以尽可能少的步数完成。智能体所处的状态为位置三维空间坐标(x，y，z)。行为集合为{左，右，上，下，前}。设定环境给出的报酬函数为：首先判断智能体是否到达终点，若结果肯定，则给予一定的正的奖励，同时更改终止状态值为1。否则进一步判断智能体是否与障碍物碰撞，若结果肯定，则给予一定的负奖励，同时更改终止状态值为1。否则进一步判断智能体的动作方向，并根据动作及状态值的改变给予一定的奖励。

进一步，步骤2)具体包括以下步骤：

2.1)对每根主轴方向钢筋，初始化一个Q值表。

2.2)可动智能体根据行为选择策略ε-greedy选择动作。

2.3)执行动作,观察报酬和下一时刻转移到的位置,该幕行走步数加l。

2.4)找到下一位置的行为值函数最大值，并进行迭代更新。

2.5)更新当前智能体所处状态位置。

2.6)判断当前位置是否为终点。

2.7)循环执行2.2)～2.6)，保留满足终止条件的路径作为主轴方向钢筋排布输出结果。

进一步，步骤5)具体包括以下步骤：

5.1)对于在主轴方向的钢筋的轨迹坐标，循环如下：若轨迹某一步的z坐标值与该轨迹下一步的z坐标值相等，则从轨迹中移除该步。循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的z坐标值与该轨迹上一步的z坐标值不相等，则以该点为中心点，按照给定角度对处于所述直线内的点的位置做出相应调整。

5.2)对于步骤5.1)得到的在次轴方向的钢筋输出结果路径，循环如下：若轨迹某一步的x坐标值与该轨迹下一步的x坐标值相等，则从轨迹中移除该步。循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的x坐标值与该轨迹上一步的x坐标值不相等，则以该点为中心点，按照给定角度对处于所述直线内的点的位置做出相应调整。

5.3)根据上述得到的轨迹的点的坐标，描画出其轨迹图像，将上述钢筋轨迹保留，等待输出。

本发明的技术效果是毋庸置疑的：

A.以设计工程图纸为基础，智能检测并修正节点处钢筋碰撞；

B.减少节点处钢筋的施工难度，保证工程质量；

C.降低技术交底要求，节约工期，加快施工进度；

D.推动数字化施工和精细化施工在实际工程中的发展。

附图说明

图1为排布方法流程图；

图2为存在缺陷的原设计钢筋示意图；

图3为1-1剖视图；

图4为2-2剖视图；

图5为3-3剖视图；

图6为4-4剖视图；

图7为改进的Q-learning算法流程图；

图8为未经修正的钢筋路径；

图9为修正过后的钢筋的路径。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

为了满足设计抗震要求而设置的密集的钢筋形成了复杂的干涉和碰撞关系，给施工带来了较大的难度。需要按照构件对于结构的重要程度及施工可行性进行避让。Q-learning通过不断尝试每个动作，并给出相应的评价参数监视采取动作的执行效果，最终将评价效果最好的作为学习经验，如此循环不断的试探，就会形成一个最优的动作序列，即认为是钢筋的最优轨迹。

参见图1，本实施例公开一种基于强化学习的节点处钢筋智能避障排布方法，包括以下步骤：

1)根据结构设计图纸，将建筑物节点处的钢筋与其他构件离散化表示。其中，所述钢筋包括柱内纵筋、主轴方向钢筋和次轴方向钢筋。所述构件包括预埋件、型钢和连接板。离散化以钢筋最大尺寸为基本单位。

参见图2～图6，原设计钢筋图纸存在节点处的主轴方向钢筋与次轴方向钢筋相碰撞的设计问题。根据需要设计排布钢筋的建筑物的原始设计图纸，将二维坐标建模为实际空间的三维坐标，并将上述三维坐标离散化为以基本单位表示的新坐标。对于每个节点，将柱子的排布钢筋及各类构件视为需要避开的障碍物。将待排布钢筋的起始及终止点坐标、柱内纵筋的全体坐标以及各构件的外表面坐标进行如下公式的处理：

式中，x_before表示该坐标点在次轴方向的值，y_before表示该坐标点在柱方向的值，z_before表示该坐标点在主轴方向的值，x_origin表示建模采用的原点坐标在次轴方向的值，y_origin表示建模采用的原点坐标在柱方向的值，z_origin表示建模采用的原点坐标在主轴方向的值，x_after表示离散化得到的坐标在次轴方向的值，y_after表示离散化得到的坐标在柱方向的值，z_after表示离散化得到的坐标在主轴方向的值，round函数表示四舍五入的取整机制。

在本实施例中，采用钢筋较大直径20mm为基本单位长度。采用上述公式可以将钢筋轨迹的每个坐标点离散化为特定的三维坐标，坐标在每个维度的值均在0～25之间。

2)根据步骤1)离散化表示结果，将柱内纵筋及构件视为障碍物，使用改进的Q-learning算法进行主轴方向钢筋智能排布。改进的Q-learning算法流程图如图7所示。将每根钢筋视为可动智能体，从每根主轴方向钢筋的起点出发，寻找主轴方向钢筋的终点；在这个过程中需要以尽可能少的步数完成；智能体所处的状态为位置三维空间坐标(x，y，z)；行为集合为{左，右，上，下，前}；设定环境给出的报酬函数为：首先判断智能体是否到达终点，若结果肯定，则给予一定的正的奖励，同时更改终止状态值为1；否则进一步判断智能体是否与障碍物碰撞，若结果肯定，则给予一定的负奖励，同时更改终止状态值为1；否则进一步判断智能体的动作方向，并根据动作及状态值的改变给予一定的奖励。

2.1)对每根主轴方向钢筋，初始化一个Q值表；

2.2)可动智能体根据行为选择策略ε-greedy选择动作；

2.3)执行动作,观察报酬和下一时刻转移到的位置,该幕行走步数加l；

2.4)找到下一位置的行为值函数最大值，并进行迭代更新；

2.5)更新当前智能体所处状态位置；

2.6)判断当前位置是否为终点；

2.7)循环执行2.2)～2.6)，保留满足终止条件的路径作为主轴方向钢筋排布输出结果。

具体实施时，该实施例中主轴方向的钢筋可以经由最简单的路径(直线不发生弯曲)即满足与柱钢筋不发生碰撞的条件。程序因此保留上述路径等待修正。

3)将上述钢筋排布结果、柱内纵筋与原有构件视为障碍物，使用改进的Q-learning算法进行在次轴方向钢筋智能排布。

3.1)对每根次轴方向钢筋，初始化一个Q值表；

3.2)可动智能体根据行为选择策略ε-greedy选择动作；

3.3)执行动作,观察报酬和下一时刻转移到的位置,该幕行走步数加l；

3.4)找到下一位置的行为值函数最大值，并进行迭代更新；

3.5)更新当前智能体所处状态位置；

3.6)判断当前位置是否为终点；

3.7)循环执行3.2)～3.6)，保留满足终止条件的路径作为次轴方向钢筋排布输出结果。

具体实施时，若次轴方向的钢筋按照原有设计图纸方案施工，将会与已布置的主轴方向钢筋发生碰撞。本文提出的算法可以对钢筋的排布位置重新进行修正，上述路径按照下述方式进行修正：沿着次轴方向，在钢筋智能体即将与其余构件或已布置钢筋发生碰撞时，钢筋智能体向某个能够让其能够不发生碰撞的方向弯曲并继续前进。

4)将上述钢筋排布路径结果保存为待修正钢筋轨迹；

具体实施时，如图8所示，为了保证结果的清晰度，在结果图中隐去了柱子的钢筋。因为在训练过程中，钢筋智能体仅能执行特定的动作，故在产生弯曲时，其原始输出轨迹也是沿90度弯曲。

5)基于土木学科知识对钢筋轨迹做出符合实际设计规范的修正，具体来说，有以下步骤：

5.1)对于在主轴方向的钢筋的轨迹坐标，循环如下：若轨迹某一步的z坐标值与该轨迹下一步的z坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的z坐标值与该轨迹上一步的z坐标值不相等，则以该点为中心点，按照给定角度对处于所述直线内的点的位置做出相应调整；

5.2)对于步骤5.1)得到的在次轴方向的钢筋输出结果路径，循环如下：若轨迹某一步的x坐标值与该轨迹下一步的x坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的x坐标值与该轨迹上一步的x坐标值不相等，则以该点为中心点，按照给定角度对处于所述直线内的点的位置做出相应调整；

5.3)根据上述得到的轨迹的点的坐标，描画出其轨迹图像，将上述钢筋轨迹保留，等待输出。

6)输出上述修正的钢筋轨迹；

具体实施时，如图9所示。同样为了保证图像的清晰度，在修正之后的结果图中隐去了柱子的钢筋。图像上的直角弯曲全部转化为按照特定的角度进行弯曲。

上述实验效果证明，钢筋确实在无外加人为干扰因素下进行了合理的排布，本发明公开的一种基于强化学习的节点处钢筋智能避障排布方法准确地将节点处设计图纸的钢筋修正为无碰撞且符合土木学科先验知识的排布轨迹，本发明所述方法是切实有效的。

Claims (4)

1.一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于，包括以下步骤：

1)根据结构设计图纸，将待检测节点处的钢筋与构件离散化表示；其中，所述钢筋包括柱内纵筋、主轴方向钢筋和次轴方向钢筋；所述构件包括预埋件、型钢和连接板；

2)根据步骤1)的离散化结果，将柱内纵筋及构件视为障碍物，使用改进的Q-learning算法进行主轴方向钢筋的智能排布；改进的Q-learning算法将每根钢筋视为可动智能体；可动智能体从每根主轴方向钢筋的起点出发，寻找主轴方向钢筋的终点；在这个过程中需要以尽可能少的步数完成；智能体所处的状态为位置三维空间坐标(x，y，z)；行为集合为{左，右，上，下，前}；设定环境给出的报酬函数为：首先判断智能体是否到达终点，若结果肯定，则给予一定的正的奖励，同时更改终止状态值为1；否则进一步判断智能体是否与障碍物碰撞，若结果肯定，则给予一定的负奖励，同时更改终止状态值为1；否则进一步判断智能体的动作方向，并根据动作及状态值的改变给予一定的奖励；步骤2)具体包括以下子步骤：

2.1)对每根主轴方向钢筋，初始化一个Q值表；

2.2)可动智能体根据行为选择策略ε-greedy选择动作；

2.3)执行动作,观察报酬和下一时刻转移到的位置,当前幕行走步数加l；

2.4)找到下一位置的行为值函数最大值，并进行迭代更新；

2.5)更新当前智能体所处状态位置；

2.6)判断当前位置是否为终点；

2.7)循环执行2.2)～2.6)，保留满足终止条件的路径作为主轴方向钢筋排布输出结果；

3)将步骤2)中主轴方向钢筋的排布结果、柱内纵筋和构件视为障碍物，使用改进的Q-learning算法进行次轴方向钢筋的智能排布；

4)将步骤2)和3)所得主轴方向钢筋和次轴方向钢筋的排布结果保存为钢筋轨迹；

5)对钢筋轨迹进行修正；

6)输出修正后的钢筋轨迹。

2.根据权利要求1所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于：步骤1)中，根据原始设计图纸，将二维坐标建模为实际空间的三维坐标，并将钢筋的轨迹坐标和构件的外表面坐标离散化为以基本单位表示的若干坐标点。

3.根据权利要求2所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于：离散化以钢筋最大直径为基本单位长度；对待排布钢筋的起始点及终止点坐标、柱内纵筋的全体坐标以及各构件的外表面坐标进行如下式处理：

式中，x_before表示该坐标点在次轴方向的值，y_before表示该坐标点在柱方向的值，z_before表示该坐标点在主轴方向的值，x_origin表示建模采用的原点坐标在次轴方向的值，y_origin表示建模采用的原点坐标在柱方向的值，z_origin表示建模采用的原点坐标在主轴方向的值，x_after表示离散化得到的坐标在次轴方向的值，y_after表示离散化得到的坐标在柱方向的值，z_after表示离散化得到的坐标在主轴方向的值，round函数表示四舍五入的取整机制，d为基本单位长度。

4.根据权利要求1所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于，步骤5)具体包括以下步骤：

5.1)对于在主轴方向的钢筋的轨迹坐标，循环如下：若轨迹某一步的z坐标值与该轨迹下一步的z坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的z坐标值与该轨迹上一步的z坐标值不相等，则以该点为中心点，按照给定角度对处于轨迹内的点的位置做出相应调整；

5.2)对于步骤5.1)得到的在次轴方向的钢筋输出结果路径，循环如下：若轨迹某一步的x坐标值与该轨迹下一步的x坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的x坐标值与该轨迹上一步的x坐标值不相等，则以该点为中心点，按照给定角度对处于轨迹内的点的位置做出相应调整；

5.3)根据上述得到的轨迹的点的坐标，描画出其轨迹图像，将上述钢筋轨迹保留，等待输出。

Images