CN113788405B - 用于智能塔吊作业状况监控的可视化图像处理系统和方法 - Google Patents

Abstract

本申请公开了用于智能塔吊作业状况监控的可视化图像处理系统和方法，包括集中传感器，用于采集智能塔吊的作业状况数据，并将其传输给中控管理平台，中控管理平台用于利用可视化图像处理模型将作业状况数据转化为可视化图像，并利用图像演示的方法进行智能塔吊的作业状况监控和异常状况预警。本申请通过中控管理平台对智能塔吊进行远程操控，保障了塔吊作业安全，实现了对塔吊的远程智能操控的可视化管理，同时解放了人力，实现了作业现场无人化管理。

Description

用于智能塔吊作业状况监控的可视化图像处理系统和方法

技术领域

本申请涉及塔吊领域，特别涉及用于智能塔吊作业状况监控的可视化图像处理的系统和方法。

背景技术

塔吊即塔式起重机，是一种重要的工程设施，通过起升、变幅、回转等动作，能够对大型物料执行垂直方向和水平方向的移动输运，在建筑工地等场景下广泛应用。

对于传统的塔吊来说，其作业过程中要利用各种传感器、摄像机等设施，进行作业状况的监控，并通过仪表、显示器向驾驶员进行展示，以便驾驶员判断和调整操控，通过仪表、显示器等显示塔吊的作业状况不够直观，可预见性教较差，且没有数据支撑，所以对驾驶员的驾驶熟练度及操作精确度要求较高，驾驶员需要爬至位于高处的操作间对塔吊进行操控，危险系数较高，且塔吊操作较单调、繁重、工作强度高，位于高空的驾驶员极易疲劳，存在安全隐患。

发明内容

(一)申请目的

基于此，为了保障塔吊作业安全，实现对塔吊的远程智能操控的可视化管理，同时解放人力，实现作业现场无人化管理，本申请公开了以下技术方案。

(二)技术方案

本申请公开了用于智能塔吊作业状况监控的可视化图像处理的系统，包括：

集成传感器，用于采集智能塔吊的作业状况数据，并将所述作业状况数据传输给中控管理平台；

中控管理平台，用于利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警。

在一种可能的实施方式中，所述集成传感器包括：称重传感器、小车变幅传感器、吊钩高度传感器、回转转角传感器、倾角传感器和塔身高度传感器，其中，称重传感器用于采集智能塔吊的吊臂吊重数据，所述小车变幅传感器用于采集小车幅度数据，所述吊钩高度传感器用于采集起吊高度数据，所述回转转角传感器用于采集工作回转角数据，所述倾角传感器用于采集塔体倾角数据，所述塔身高度传感器用于采集塔身高度。

在一种可能的实施方式中，所述可视化图像处理模型包括：作业状况专家模块和可视化引擎模块；

所述作业状况专家模块用于将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果；

所述可视化引擎模块用于将所述推理结果进行可视化演示。

在一种可能的实施方式中，所述作业专家状况模块包括：分类推理机单元和知识动态管理单元；

所述分类推理机单元用于根据所述作业状况数据与所述混合知识库进行匹配，进而输出作业状况描述和异常状况预警的推理结果；

所述知识动态管理单元用于补充和更新所述显式知识库中的实例和规则，并存储所述分类推理机单元的推理中间数据；

其中，所述混合知识库包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网络知识库包括神经网络，将所述作业状况数据作为知识样本，对所述神经网络进行训练形成隐式神经网络知识库。

在一种可能的实施方式中，所述可视化引擎模块包括：图形化解释接口和可视化单元；

所述图形化解释接口用于把分类推理机的推理结果解释为图形动态演示的脚本规则；

所述可视化单元用于根据所述脚本规则，调用图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

作为本申请的第二方面，本申请还公开了用于智能塔吊作业状况监控的可视化图像处理的方法，包括：

利用集成传感器采集智能塔吊作业状况数据，并将所述作业状况数据传输给中控管理平台；

所述中控管理平台利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警。

在一种可能的实施方式中，所述利用可视化图形处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警包括：

将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果；

将所述推理结果进行可视化演示。

在一种可能的实施方式中，所述将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果包括：

将所述智能塔吊的作业状况数据进行预处理；

分类推理机根据所述作业状况数据与所述混合知识库进行匹配，进而输出作业状况描述和异常状况预警的推理结果。

在一种可能的实施方式中，所述混合知识库包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网络知识库包括神经网络，将所述作业状况数据作为知识样本，对所述神经网络进行训练形成隐式神经网络知识库，所述利用混合知识库输出作业状况描述和异常状况预警的推理结果包括：

当所述经过预处理的作业状况数据与所述显式知识库匹配时，则所述分类推理机调用所述显式知识库进行推理；

当所述经过预处理的作业状况数据与所述显式知识库不匹配时，则所述分类推理机调用所述隐式神经网络知识库进行推理。

在一种可能的实施方式中，所述将所述推理结果进行可视化演示包括：

将所述分类推理机的推理结果解释为图形动态演示的脚本规则；

根据所述脚本规则，调用所述图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

(三)有益效果

本申请公开的用于智能塔吊作业状况监控的可视化图像处理系统和方法，通过中控管理平台对智能塔吊进行远程操控，保障了塔吊作业安全，实现了对塔吊的远程智能操控的可视化管理，同时解放了人力，实现了作业现场无人化管理。

附图说明

以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理解为对本申请的保护范围的限制。

图1是本申请公开的用于智能塔吊作业状况监控的可视化图像处理系统的结构框图。

图2是本申请公开的用于智能塔吊作业状况监控的可视化图像处理方法的流程示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。

下面参考图1详细描述本申请公开的用于智能塔吊作业状况监控的可视化图像处理系统实施例。如图1所示，本实施例公开的系统包括集成传感器100、中控管理平台200：

所述集成传感器100用于采集智能塔吊的作业状况数据，并将所述作业状况数据传输给中控管理平台。

具体的，所述集成传感器100包括称重传感器110、小车变幅传感器120、吊钩高度传感器130、回转转角传感器140、倾角传感器150和塔身高度传感器160，其中，所述称重传感器110用于采集智能塔吊的吊臂吊重数据，所述小车变幅传感器120用于采集小车幅度数据，所述吊钩高度传感器130用于采集起吊高度数据，所述回转转角传感器140用于采集工作回转角数据，所述倾角传感器150用于采集塔体倾角数据，所述塔身高度传感器用于采集塔身高度。

进一步，当集成传感器100采集智能塔吊的各种作业状况数据后，将所述作业状况数据传输给中控管理平台，中控管理平台设置于地面，工程管理人员只需要在远程的所述中控管理平台向工程现场的智能塔吊或者智能塔吊下达作业任务，则智能塔吊即根据作业任务，自主分析确定作业方案，并自动控制执行该方案的作业过程。

所述中控管理平台200用于利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警。

具体的，所述可视化图形处理模型300还包括作业状况专家模块310和可视化引擎模块320；

所述作业状况专家模块310用于将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果。

进一步，所述作业状况专家模块310集成了塔吊领域大量专门知识及经验，模拟塔吊领域专家对塔吊作业过程进行推理、判断及决策。将采集的作业状况数据转化为作业状况描述和异常状况预警的推理结果。

具体的，所述作业专家状况模块310包括：混合知识库311、分类推理机单元312和知识动态管理单元313。

所述混合知识库311包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网知识库包括神经网络，将所述作业状况数据作为知识样本，对所述隐式神经网络知识库中的神经网络进行训练形成隐式神经网络知识库。

具体的，所述混合知识库由专家知识系统和神经网络系统相结合，包括显式知识库和隐式神经网络知识库，所述显式知识库由若干塔吊领域专家根据自身专业知识结合专业书籍相关内容、塔吊的厂家说明、塔吊作业状况判断经验、异常实例等编辑定义而成的显式实例和显式规则组成，所述显式知识库包括知识获取子单元a、信息存储子单元b和编辑定义子单元c，所述知识获取子单元a用于将塔吊领域的专家的专业知识和经验以及专业书籍记载的相关专业内容转换为塔吊领域的计算机语言，进而再输入塔吊自身型号、规格参数。所述信息村存储子单元b用于存储所述信息知识获取子单元a所得到的所述计算机语言以及塔吊自身型号和规格参数。所述编辑定义子单元c用于根据所述信息存储子单元b中的信息编辑定义成显示实例和显式规则。所述隐式神经网络知识库作为当采集的所述现场作业数据不匹配显示知识库的规则和实例时的后备知识库，同时还可以为所述显式知识库提供模式识别、信号处理以及贮存知识能力，提高所述显示知识库的问题解决能力。所述隐式神经网络知识库包括神将网络，所述隐式神经网络知识库的建立包括预处理子单元d、训练子单元e、调整子单元f。所述预处理子单元d将所述作业状况数据经显式知识库进行预处理，过滤同类指标；所述训练子单元e用于将所述经过预处理的作业状况数据作为训练样本对所述隐式神经网络知识库中的神经网络进行训练，构造所述神经网络的输入层、隐含层、输出层的拓扑、权重等；所述调整子单元f用于将训练过程中所述神经网络的输出与所述显式知识库中的显式实例和显式规则进行比对，并调整拓扑、权重等，进而形成训练成熟的隐式神经网络知识库。所述隐式神经网络知识库根据所述训练样本的多样化随时进行更新。显式知识库与隐式神经网络知识库相辅相成，二者进行结合使得混合知识库更加丰富完善。

所述分类推理机单元312用于根据所述作业状况数据，利用所述混合知识库输出作业状况描述和异常状况预警的推理结果。

具体的，所述混合知识库311建立完成后，采集所述作业状况数据，将所述作业状况数据转化为所述混合知识库适用的计算机语言，进而判断其是否匹配所述显式知识库中的显式实例或者显式规则，如果匹配，则所述分类推理机单元调用显式知识库中存储的实例或规则进行处理，反之，则所述分类推理机单元调用隐式神经网络知识库，分类推理机的推理方向包括正向、反向、混合以及双向推理，所述分类推理机单元利用所述混合知识库的知识，按照既定的推理方法及预先设定的控制策略输出智能塔吊的作业状况描述和异常状况预警的推理结果。

所述知识动态管理单元313用于补充和更新所述显式知识库中的实例和规则，并存储所述分类推理机单元的推理中间数据。

具体的，所述知识动态管理单元根据塔吊领域专家及专业书籍不断对所述显式知识库中的实例和规则进行补充和更新，其中包括将所述隐式神经网络知识库的输出提供给专家，根据专家的反馈补充和更新所述显式知识库的实例和规则。

进一步，所述知识动态管理单元还用于存储所述分类推理单元在推理过程中产生的中间数据，所述分类推理机单元根据所述知识动态管理单元中存储的中间数据从所述混合知识库中选择合适的内容进行下一步推理，并将每一步推理的中间数据及最终的推理结果存储在所述知识动态管理单元，实现推理全过程管理及可视化。

所述可视化引擎模块320用于将所述推理结果进行可视化演示。

具体的，所述可视化引擎模块320包括图形化解释接口321和可视化单元322；

所述图形化解释接口321用于把分类推理机的推理结果，解释为图形动态演示的脚本规则。

具体的，利用所述图形化解释接口321将所述分类推理机单元得出的智能塔吊的作业状况描述和异常状况预警的推理结果解释为图形动态演示的脚本规则。

所述可视化单元322用于根据所述脚本规则，调用所述图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

设置图形原型库用于储存所述智能塔吊的作业状况和异常状况的可视化演示的图形原型，并根据实际需要不断进行更新和补充。

具体的，根据智能塔吊的作业状况描述和异常状况预警的图形动态演示的脚本规则，调用所述图形原型库中预先储存的图形原型，实现智能塔吊作业状况和异常状况的可视化演示。

下面参考图2详细描述本申请公开的用于智能塔吊作业状况监控的可视化图像处理方法实施例。如图2所示，本实施例公开的方法包括：

利用集成传感器采集智能塔吊作业状况数据，并将所述作业状况数据传输给中控管理平台；

所述中控管理平台利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警。

在至少一种实施方式中，所述利用可视化图形处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警包括：

将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果；

将所述推理结果进行可视化演示。

在至少一种实施方式中，所述将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果包括：

将所述智能塔吊的作业状况数据进行预处理；

分类推理机根据所述作业状况数据与所述混合知识库进行匹配，进而输出作业状况描述和异常状况预警的推理结果。

在至少一种实施方式中，所述混合知识库包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网络知识库包括神经网络，将所述作业状况数据作为知识样本，对所述神经网络进行训练形成隐式神经网络知识库，所述利用混合知识库输出作业状况描述和异常状况预警的推理结果包括：

当所述经过预处理的作业状况数据与所述显式知识库匹配时，则所述分类推理机调用所述显式知识库进行推理；

当所述经过预处理的作业状况数据与所述显式知识库不匹配时，则所述分类推理机调用所述隐式神经网络知识库进行推理。

在至少一种实施方式中，所述将所述推理结果进行可视化演示包括：

将所述分类推理机的推理结果解释为图形动态演示的脚本规则；

根据所述脚本规则，调用所述图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

进一步，所述智能塔吊可以实现自主决策、全自动操控，工程管理人员只需在位于地面所述中控管理平台向智能塔吊下达作业任务，则智能塔吊即可根据所述作业任务自主分析确定作业方案，并自动控制执行该方案的作业过程，本申请的系统和方法可对所述智能塔吊的作业状况进行实时监控，实现所述智能塔吊的作业全过程管理，解放人力，提高工作效率。

本文中的模块、单元或子单元的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元、子单元在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.用于智能塔吊作业状况监控的可视化图像处理系统，其特征在于，包括：

集成传感器，用于采集智能塔吊的作业状况数据，并将所述作业状况数据传输给中控管理平台；

中控管理平台，用于利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警；

所述可视化图像处理模型包括：作业状况专家模块和可视化引擎模块；

所述作业状况专家模块用于将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果；

所述可视化引擎模块用于将所述推理结果进行可视化演示；

所述作业状况专家模块包括：分类推理机单元和知识动态管理单元；

所述分类推理机单元用于根据所述作业状况数据与混合知识库进行匹配，进而输出作业状况描述和异常状况预警的推理结果；

所述知识动态管理单元用于补充和更新显式知识库中的实例和规则，并存储所述分类推理机单元的推理中间数据；

其中，所述混合知识库包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网络知识库包括神经网络，将所述作业状况数据作为知识样本，对所述神经网络进行训练形成隐式神经网络知识库；所述隐式神经网络知识库包括预处理子单元、训练子单元和调整子单元；所述预处理子单元将所述作业状况数据经显式知识库进行预处理，过滤同类指标；所述训练子单元用于将所述经过预处理的作业状况数据作为训练样本对所述隐式神经网络知识库中的神经网络进行训练，构造所述神经网络的输入层、隐含层和输出层的拓扑和权重；所述调整子单元用于将训练过程中所述神经网络的输出与所述显式知识库中的显式实例和显式规则进行比对，并调整拓扑和权重，进而形成训练成熟的隐式神经网络知识库；

所述可视化引擎模块包括：图形化解释接口和可视化单元；

所述图形化解释接口用于把分类推理机的推理结果解释为图形动态演示的脚本规则；

所述可视化单元用于根据所述脚本规则，调用图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

2.如权利要求1所述的系统，其特征在于，所述集成传感器包括：称重传感器、小车变幅传感器、吊钩高度传感器、回转转角传感器、倾角传感器和塔身高度传感器，其中，所述称重传感器用于采集智能塔吊的吊臂吊重数据，所述小车变幅传感器用于采集小车幅度数据，所述吊钩高度传感器用于采集起吊高度数据，所述回转转角传感器用于采集工作回转角数据，所述倾角传感器用于采集塔体倾角数据，所述塔身高度传感器用于采集塔身高度。

3.用于智能塔吊作业状况监控的可视化图像处理方法，其特征在于，包括：

利用集成传感器采集智能塔吊作业状况数据，并将所述作业状况数据传输给中控管理平台；

所述中控管理平台利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警；

所述利用可视化图像处理模型将所述作业状况数据转化为可视化图像，并利用图像演示的方法进行所述智能塔吊的作业状况监控和异常状况预警包括：

将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果；

将所述推理结果进行可视化演示；

将所述作业状况数据输出为作业状况描述和异常状况预警的推理结果，包括：

将所述智能塔吊的作业状况数据进行预处理；

分类推理机根据所述作业状况数据与混合知识库进行匹配，进而输出作业状况描述和异常状况预警的推理结果；

将所述推理结果进行可视化演示包括：

将分类推理机的推理结果解释为图形动态演示的脚本规则；

根据所述脚本规则，调用图形原型库的图形原型形成智能塔吊作业状况和异常状况的可视化演示。

4.如权利要求3所述的方法，其特征在于，所述混合知识库包括显式知识库和隐式神经网络知识库，其中所述显式知识库包括显式实例和显式规则，所述隐式神经网络知识库包括神经网络，将所述作业状况数据作为知识样本，对所述神经网络进行训练形成隐式神经网络知识库；所述隐式神经网络知识库包括预处理子单元、训练子单元和调整子单元；所述预处理子单元将所述作业状况数据经显式知识库进行预处理，过滤同类指标；所述训练子单元用于将所述经过预处理的作业状况数据作为训练样本对所述隐式神经网络知识库中的神经网络进行训练，构造所述神经网络的输入层、隐含层和输出层的拓扑和权重；所述调整子单元用于将训练过程中所述神经网络的输出与所述显式知识库中的显式实例和显式规则进行比对，并调整拓扑和权重，进而形成训练成熟的隐式神经网络知识库；

所述输出作业状况描述和异常状况预警的推理结果包括：

当经过预处理的作业状况数据与所述显式知识库匹配时，则所述分类推理机调用所述显式知识库进行推理；

当所述经过预处理的作业状况数据与所述显式知识库不匹配时，则所述分类推理机调用所述隐式神经网络知识库进行推理。

Images