CN109914843A - 基于bim和计算机视觉的室内混凝土裂缝维护装备及方法 - Google Patents

Abstract

本发明公开了一种基于BIM和计算机视觉的室内混凝土裂缝维护装备及方法，属于房屋室内建筑结构维护领域。该装备包括：智能移动单元、特征提取模块、机器人控制单元、自主修复单元；同时，移动装置根据自身特点，可以实现越障、自主定位等功能，探明地面缺陷及空洞信息，室内空间BIM建模，并通过计算机视觉检测裂缝的材质、长度、宽度、走向及位置等裂缝信息。这些信息经过电脑终端所搭载的裂缝决策支持模块处理，自动判断裂缝产生原因、对裂缝类型进行分类，并匹配出最佳修复工艺，最终将机械臂可执行的修复操作指令发送给机械臂，由机械臂对识别到的目标裂缝采取相应的自主修复措施。

Description

基于BIM和计算机视觉的室内混凝土裂缝维护装备及方法

技术领域

本发明属于房屋室内建筑结构维护领域，更具体地，涉及一种基于BIM 和计算机视觉的室内混凝土裂缝智能维护机器人系统及装备。

背景技术

在传统的人工维护房屋室内建筑结构过程中，由于检测范围大、环境 复杂，人工检测一般是抽样检测，检测不全面，且盲点和隐蔽部位病害难 以发现。

另外，人工方式进行裂缝修复，工作强度大，工作效率较低，并且部 分维护材料具有一定的毒性，危害工人身体健康。修复质量取决于工人的 经验，不同工人的修复质量参差不齐，修复效果无法得到有效保证。

目前建筑工程的施工过程已基本实现机械化，但对于完工后的维护阶 段，室内建筑结构维护机械化程度仍然较低，绝大部分仍是采用人工方式。 因此，如果能够使用机器人进行智能维护，自动检测地面、墙面问题，不 仅能使检测结果更精确，而且能够节省施工方成本。此外，如何使用机器 维护替代人工维护，也是当前亟待解决的难题之一。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出一种基于BIM和计 算机视觉的室内混凝土裂缝智能维护机器人装备及方法，其目的在于，基 于BIM和机器视觉等检测技术结合智能机器人修复技术，对室内混凝土病 害问题进行检测与修复，从而实现比人工方式具有更高效率、更安全、更 经济的室内混凝土病害问题的智能维护，克服室内裂缝检测工作强度大， 工作效率低，工作质量参差不齐的问题。

为实现上述目的，按照本发明的一个方面，提供了1.一种基于BIM和 计算机视觉的室内混凝土裂缝维护装备，其特征在于，包括：裂缝特征提 取单元、机器人控制单元、自主修复单元以及智能移动单元；

所述裂缝特征提取单元包括激光扫描仪、超声雷达、双目相机；所述 激光扫描仪被用于对整个室内环境的扫描建模；所述超声雷达用于探明裂 缝和/或空洞；所述双目相机用于采集裂缝深度信息图像及视觉导航；

所述机器人控制单元包括控制柜、控制及信号传输底板、裂缝决策支 持模块；所述控制柜被安装在履带车尾部，包括电源、电脑终端；所述电 源为履带车上搭载的各装置提供电力；所述控制及信号传输底板，用于接 收和发出控制指令；

所述电脑终端用于接收裂缝检测数据并调用所述裂缝决策支持模块通 过接收裂缝深度信息图像计算裂缝检测信息、匹配对应修复工艺，并向机 械臂发出相应修复指令；其中，所述裂缝检测信息包括裂缝位置、裂缝所 属构件的位置、材质、长度、宽度、深度、走向、性质；以及，用于获取 激光扫描仪的扫描建模结果，并与既有BIM模型进行对比，从而裂缝所属 的构件进行定位、判断所属构件的类型；

所述自主修复单元包括修复机械臂、修复工具、修复材料，修复机械 臂用于根据电脑终端发出的控制指令调用对应端修复工具及修复材料对裂 缝进行自动修复；

所述智能移动单元包括移动式履带车和SLAM智能导航设备；所述移 动式履带车作为裂缝修复机械臂、探底声波雷达及激光扫描仪的载体，通 过SLAM智能导航设备在室内制定线路自主移动路径。。

进一步地，所述裂缝特征提取单元还包括折叠延伸式顶板；所述折叠 延伸式顶板用于安装固定超声雷达，未使用时收缩在移动式履带车底板周 围；使用时延伸杆伸长送出，再安装超声雷达，使超声雷达能够在车外进 行地面检测。

进一步地，所述裂缝特征提取单元还包括伸缩式升降机；所述伸缩式 升降机包括升降台、可拆卸式底板，均安装在移动式履带车上；升降台为 金属折叠可承重式组件，上部安装所述可拆卸式底板；所述可拆卸式底板 用于安装激光扫描仪和/或机械臂。

为了实现上述目的，按照本发明的另一个方面，提供了一种基于BIM 和计算机视觉的室内混凝土裂缝维护方法，基于上述室内混凝土裂缝维护 装备进行如下操作：

第1步：通过SLAM智能导航设备在室内制定线路自主移动路径，并 通过声波雷达对室内地板进行探底声波检测，检测地板是否存在裂缝、空 洞等病害；

第2步：采用激光扫描仪对室内环境进行扫描并建立室内环境的三维 模型，从而与已有的BIM模型进行对比，判断室内混凝土裂缝和/或空洞所 属的构件的位置；

第3步：SLAM智能导航设备制定路线移动到检测到的裂缝处；

第4步：采用双目相机对裂缝拍摄照片，并在机器人控制单元中通过 控制及信号传输底板传输到裂缝决策支持模块；

第5步：裂缝决策支持模块根据裂缝照片提取裂缝特征信息，从而从 预设的裂缝知识库中匹配相应的裂缝修复方法及对应的指令，并将得出的 修复方式结果以指令发送给裂缝自主修复单元；

第6步：裂缝自主修复单元根据指令命令机械臂对目标裂缝进行修复。

进一步地，所述裂缝决策支持模块包括裂缝信息接收模块、裂缝信息 输入模块、裂缝修复工艺知识库模块、结果查询模块、推理匹配算法模块 以及修复指令输出模块；

裂缝决策支持模块的工作步骤如下：

5.1、裂缝信息接收模块接收并储存特征检测单元所检测的信息，包括 由激光扫描仪检测出的位置信息、由超声雷达检测出的地板空洞信息、由 双目相机获取出的裂缝深度信息图像，由裂缝识别算法对双目相机获取的 深度信息图像进行识别，获取裂缝位置、材质、宽度、长度、深度、走向、 性质信息；

5.2、裂缝信息输入模块对裂缝信息接收模块接收的信息进行编码和归 档，同时，也可以用人工的方式辅助输入部分信息，上述信息经裂缝信息 输入功能接收后进行处理编码，每一项裂缝信息都对应一项数据，传递给 推理匹配算法模块；

5.3、推理匹配算法模块接收经步骤5.2编码后的裂缝信息，根据推理 算法规则，得到推荐修复工艺方法，并由结果查询功能模块将获得的修复 工艺方法结果反馈给用户；

5.4、修复指令输出功能模块将步骤5.3得出的机械臂修复代码指令发 送给裂缝自主修复单元。

总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得 下列有益效果：

本发明结果简单、操作方便，具有以下优点：

(1)自主工作：本装置开启后能实现智能化、一体化的自主识别和修 复室内裂缝，一次性解决问题，极大程度节约人工成本和时间成本。

(2)提高效率：程序化的机器人检测修复，减少人工检测的视野盲区， 检测质量全面彻底，避免漏查后可能出现的隐患，修复过程速度快，质量 好，大大提高工作效率和修复质量。

(3)知识集成：将裂缝相关知识收集在一个平台，使知识集成化、共 享化，很大程度帮助裂缝相关工作人员解决知识盲区的问题。

附图说明

图1是本发明基于BIM和计算机视觉的室内混凝土裂缝智能维护机器 人模块及装备的正视图；

图2是本发明基于BIM和计算机视觉的室内混凝土裂缝智能维护机器 人模块及装备的俯视图。

图3是本发明基于BIM和计算机视觉的室内混凝土裂缝智能维护机器 人模块及装备的雷达折叠延伸式顶板平面示意图。

图4的(a)、(b)分别是本发明基于BIM和计算机视觉的室内混凝 土裂缝智能维护机器人模块及装备的可拆卸式底板：扫描仪安装底板、机 械臂安装底板的平面示意图。

图5是本发明裂缝决策支持模块流程图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：

1-雷达折叠延伸式顶板，2-延伸杆，3-控制柜，4-控制及信号传输底板， 5-自主导航移动式履带车，6-可拆卸式底板，7-伸缩式升降机，8-双目相机 夹具，9-斜撑；

101-雷达控制底板；102-雷达把手固定开关；

601-扫描仪安装底板；601’-机械臂安装底板，602-扫描仪承台；603- 扫描仪承台孔洞；604-扫描仪固定栓；605-扫描仪固定螺丝；606-机械臂承 台；607-机械臂固定安装接口。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。

如图1所示，本实施案例提供一种基于BIM和计算机视觉的室内混凝 土裂缝智能维护机器人模块及装备，其特征在于该机器人模块及装备包括： 智能移动单元、裂缝特征提取单元、机器人控制单元、自主修复单元；

所述智能移动单元，其特征在于包括移动式履带车、SLAM智能导航 设备；所述移动式履带车，用于室内移动、越障，通过SLAM智能导航设 备在室内制定线路自主移动路径，并作为裂缝修复机械臂、探底声波雷达 及激光扫描仪的载体，另外内部安装控制及信号传输底板，连接检测装置、 修复装置；

所述裂缝特征提取单元，其特征在于包括激光扫描仪，伸缩式升降机， 超声雷达，折叠延伸式顶板，双目相机；所述激光扫描仪被用于对整个室 内环境的扫描建模，并传输至电脑终端建立室内环境模型，电脑终端将室 内环境模型与既有BIM模型进行对比，对含裂缝的构件进行定位，判断所 属构件的类型；所述伸缩式升降机包括升降台、可拆卸式底板，均安装在 移动式履带车上，该升降台为金属折叠可承重式组件，例如车载剪叉式升 降机，其上部可安装符合安装要求的可拆卸式底板，如激光扫描仪安装底 板、机械臂安装底板，不限于此两类。该可拆卸方案可以先搭载激光扫描 仪进行缺陷检测，在获取缺陷信息及对应的维护方案及修复指令后，履带 车自动移动至操作人员处，由操作人员根据维护方案准备相应的工具及材 料，连同裂缝修复机械臂一起搭载至升降台上，再由履带车载至目标位置， 按照修复指令进行自动修复。这种方式可以最大限度地应对不同的缺陷形 式，更具有灵活性，同时减轻移动式履带车的负载及耗能。

在其他实施例中(未图示)，例如缺陷类型、修复材料比较单一或已 经预知的场合，也可将激光扫描仪和裂缝修复机械臂、修复工具、修复材 料全部搭载于移动式履带车上，实现全自动检测与修补，不需要人工更换 工具及材料。

所述超声雷达用于探明地面缺陷及空洞信息；所述折叠延伸式顶板， 为超声雷达的固定顶板，其特征在于：未使用时收缩在移动式履带车底板 周围，使用时延伸杆伸长送出，并安装雷达，使雷达能够在车外进行地面 检测；所述双目相机，用于采集裂缝照片及SLAM技术中的视觉导航，并 通过计算机视觉识别裂缝的材质、长度、宽度、走向及位置等信息；

所述机器人控制单元，其特征在于包括控制柜、控制及信号传输底板、 裂缝决策支持模块；所述控制柜被安装在移动式履带车尾部，包括电源、 电脑终端，并集成裂缝决策支持模块，所述电源为移动式履带车上搭载的 装置提供电力，所述控制及信号传输底板，用于接收和发出控制指令，所 述裂缝决策支持模块为开发模块，通过接收裂缝检测信息，匹配对应修复 工艺，并向机械臂发出相应修复指令；

所述自主修复单元，其特征在于包括修复机械臂、修复工具、修复材 料，根据电脑终端发出指令对裂缝进行自动修复；

本发明提供一种基于BIM和计算机视觉的室内混凝土裂缝智能维护机 器人模块及装备的工作方法步骤如下：

第一步，智能移动单元基于SLAM技术进行室内自主导航，并通过声 波雷达对室内地板进行探底声波检测，检测地板是否存在裂缝、空洞等病 害；由于裂缝及空洞位置相比于正常结构的反射界面发生突变，导致声波 反射信号发生了突变，声波雷达接收到的反馈信号也会发生相应的变化， 从而可以识别出裂缝、空洞。

第二步，移动装置搭载的激光扫描仪对室内环境进行扫描建模，与已 有的BIM模型进行对比，判断室内混凝土裂缝所属的构件及该构件所处位 置；

第三步，SLAM智能导航设备制定路线移动到检测到的裂缝处；

第四步，裂缝特征提取单元中的双目相机对裂缝进行拍摄照片，并在 机器人控制单元中通过控制及信号传输底板传输到裂缝决策支持模块；

第五步，裂缝决策支持模块处理照片，将提取到裂缝特征信息进行裂 缝修复方法的匹配，并将得出的修复方式结果以指令发送给裂缝自主修复 单元；

第六步，裂缝自主修复单元根据指令命令机械臂对目标裂缝进行修复；

第五步中，裂缝决策支持模块包括裂缝知识库功能模块，裂缝信息输 入功能模块，结果查询功能模块，匹配与识别功能模块，修复指令输出功 能模块；

裂缝决策支持模块的工作方法步骤如下，见图4所示：

5.1、裂缝决策支持模块接收并储存检测设备所检测的信息，包括由激 光扫描仪检测出的位置信息，由超声雷达检测出的地板空洞信息，由双目 相机检测出的裂缝基本信息；

5.2、裂缝信息输入功能用于接收检测设备检测到的信息，对上述信息 进行编码和归档，由裂缝识别算法对深度图像进行识别，同时，也可以用 人工的方式辅助输入部分信息，上述信息经裂缝信息输入功能接收后进行 处理编码，每一项裂缝信息都对应一项数据，传递给匹配与识别功能模块；

5.3、推理匹配算法模块接收编码裂缝信息，根据推理算法规则，得到 推荐修复工艺方法，并由结果查询功能模块将获得的修复工艺方法结果反 馈给用户；在一个优选的方案中，用户能从结果查询功能模块的功能界面 链接至裂缝知识库功能模块，能查询到裂缝分类识别信息、推荐修复方法 及匹配度排序、修复方法详细步骤名称、具体操作，以及对应的机械臂修 复代码；

5.4、修复指令输出功能模块得出的匹配度最高的修复方法，将该修复 方法对应命令指令发送给机械臂。

作为本实施例的优选方案，裂缝知识库功能模块包括裂缝分类知识库 和裂缝修复工艺知识库，以标准规范、期刊论文、专家经验为依据构建裂 缝知识库，所述匹配算法模块是以该知识库资料为依据编制推理算法；

其推理算法规则的基本形式为：

R_i＝IF e THEN h(CF(h,e),λ)

上表只是进行对推理算法规则的表现形式进行示意性的说明，不代表 对实际的规则的限制。

其中e为影响因素组合，由以下八个部分组成

1-构件(Component)：SLAM定位裂缝在环境中的构件位置信息CO₁， 及构件几何参数数值信息，包括长度CO₂，宽度CO₃，高度CO₄…；

2-材质(Materials)：构件材质信息M_i，M₁混凝土、M₂砌体、M₃抹灰；

3-位置(Location)：判定裂缝相对位置信息L_i，上部L₁，中部L₂，下 部L₃，端部L₄，层级L₅…；

4-性质(Character)：对应裂缝形态特征库图像模板，识别性裂缝质特 征CH_i，CH₁劈裂，CH₂贯穿性，CH₃受弯…；

5-宽度(Width)：识别裂缝宽度W_i，W₁范围(<0.2mm)、W₂范围 (0.2mm-0.5mm)、W₃范围(0.5mm-1mm)…；

6-长度(Length)：识别裂缝长度L，与对应数据1中构件数据计算比值；

7-深度(Depth)：识别裂缝深度D，与对应数据1中构件数据计算比值；

8-走向(Trend)：识别走向类型Ti，T₁垂直、T₂水平、T₃斜向。

获取Input裂缝信息(e_i)如下表：

h_i为修复方法，h₁表面封闭法，h₂压力灌浆法，h₃注射法，由裂缝修复 工艺知识库调用。

CF(e_i)为影响因素可信度，表示计算机根据图片判定为某属性的可能性 或满足条件的程度，(例如识别材质为混凝土可信度为0.85，砌体可信度为 0.15，宽度条件为WB范围，当实际宽度为WB范围时可信度为1，当实际 宽度为WA范围时可信度为0或其他值)

w_i为每一项影响因素权重(其和为1)，由 专家群决策确定，并基于参数灵敏度分析修正权重值，

λ为设置阈值，一般取值0.5～0.8，根据人们对于精确范围及计算速度 的要求进行调整，

当CF(e)>λ时该规则被调用，进入计算修复方法可信度计算序列，此方 法减少大量推理规则的计算量，

CF(h,e)为规则可信度，表示人们认为在e条件下应该使用h修复方法 的相信程度，根据规范标准，期刊论文，专家意见对该值进行模块内置，

选择修复方法可能性：CF(h)＝CF(h,e)*CF(e)，模块按CF(h)的数值大小 进行排序，输出CF(h)数值最大的修复方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于BIM和计算机视觉的室内混凝土裂缝维护装备，其特征在于，包括：裂缝特征提取单元、机器人控制单元、自主修复单元以及智能移动单元；

所述裂缝特征提取单元包括激光扫描仪、超声雷达、双目相机；所述激光扫描仪被用于对整个室内环境的扫描建模；所述超声雷达用于探明裂缝和/或空洞；所述双目相机用于采集裂缝深度信息图像及视觉导航；

所述机器人控制单元包括控制柜、控制及信号传输底板、裂缝决策支持模块；所述控制柜被安装在履带车尾部，包括电源、电脑终端；所述电源为履带车上搭载的各装置提供电力；所述控制及信号传输底板，用于接收和发出控制指令；

所述电脑终端用于接收裂缝检测数据并调用所述裂缝决策支持模块通过接收裂缝深度信息图像计算裂缝检测信息、匹配对应修复工艺，并向机械臂发出相应修复指令；其中，所述裂缝检测信息包括裂缝位置、裂缝所属构件的位置、材质、长度、宽度、深度、走向、性质；以及，用于获取激光扫描仪的扫描建模结果，并与既有BIM模型进行对比，从而裂缝所属的构件进行定位、判断所属构件的类型；

所述自主修复单元包括修复机械臂、修复工具、修复材料，修复机械臂用于根据电脑终端发出的控制指令调用对应端修复工具及修复材料对裂缝进行自动修复；

所述智能移动单元包括移动式履带车和SLAM智能导航设备；所述移动式履带车作为裂缝修复机械臂、探底声波雷达及激光扫描仪的载体，通过SLAM智能导航设备在室内制定线路自主移动路径。

2.根据权利要求1所述的一种基于BIM和计算机视觉的室内混凝土裂缝维护装备，其特征在于，所述裂缝特征提取单元还包括折叠延伸式顶板；所述折叠延伸式顶板用于安装固定超声雷达，未使用时收缩在移动式履带车底板周围；使用时延伸杆伸长送出，再安装超声雷达，使超声雷达能够在车外进行地面检测。

3.根据权利要求1或2所述的一种基于BIM和计算机视觉的室内混凝土裂缝维护装备，其特征在于，所述裂缝特征提取单元还包括伸缩式升降机；所述伸缩式升降机包括升降台、可拆卸式底板，均安装在移动式履带车上；升降台为金属折叠可承重式组件，上部安装所述可拆卸式底板；所述可拆卸式底板用于安装激光扫描仪和/或机械臂。

4.一种基于BIM和计算机视觉的室内混凝土裂缝维护方法，其特征在于，基于权利要求1～3任意一项所述的室内混凝土裂缝维护装备进行如下操作：

第1步：通过SLAM智能导航设备在室内制定线路自主移动路径，并通过声波雷达对室内地板进行探底声波检测，检测地板是否存在裂缝、空洞等病害；

第2步：采用激光扫描仪对室内环境进行扫描并建立室内环境的三维模型，从而与已有的BIM模型进行对比，判断室内混凝土裂缝和/或空洞所属的构件的位置；

第3步：SLAM智能导航设备制定路线移动到检测到的裂缝处；

第4步：采用双目相机对裂缝拍摄照片，并在机器人控制单元中通过控制及信号传输底板传输到裂缝决策支持模块；

第5步：裂缝决策支持模块根据裂缝照片提取裂缝特征信息，从而从预设的裂缝知识库中匹配相应的裂缝修复方法及对应的指令，并将得出的修复方式结果以指令发送给裂缝自主修复单元；

第6步：裂缝自主修复单元根据指令命令机械臂对目标裂缝进行修复。

5.根据权利要求4所述的一种基于BIM和计算机视觉的室内混凝土裂缝维护方法，其特征在于，所述裂缝决策支持模块包括裂缝信息接收模块、裂缝信息输入模块、裂缝修复工艺知识库模块、结果查询模块、推理匹配算法模块以及修复指令输出模块；

裂缝决策支持模块的工作步骤如下：

5.1、裂缝信息接收模块接收并储存特征检测单元所检测的信息，包括由激光扫描仪检测出的位置信息、由超声雷达检测出的地板空洞信息、由双目相机获取出的裂缝深度信息图像，由裂缝识别算法对双目相机获取的深度信息图像进行识别，获取裂缝位置、材质、宽度、长度、深度、走向、性质信息；

5.2、裂缝信息输入模块对裂缝信息接收模块接收的信息进行编码和归档，同时，也可以用人工的方式辅助输入部分信息，上述信息经裂缝信息输入功能接收后进行处理编码，每一项裂缝信息都对应一项数据，传递给推理匹配算法模块；

5.3、推理匹配算法模块接收经步骤5.2编码后的裂缝信息，根据推理算法规则，得到推荐修复工艺方法，并由结果查询功能模块将获得的修复工艺方法结果反馈给用户；

5.4、修复指令输出功能模块将步骤5.3得出的机械臂修复代码指令发送给裂缝自主修复单元。