CN117671447B - 一种面向复杂场景的数字孪生与智能传感器的融合系统 - Google Patents

一种面向复杂场景的数字孪生与智能传感器的融合系统 Download PDF

Info

Publication number
CN117671447B
CN117671447B CN202311740752.7A CN202311740752A CN117671447B CN 117671447 B CN117671447 B CN 117671447B CN 202311740752 A CN202311740752 A CN 202311740752A CN 117671447 B CN117671447 B CN 117671447B
Authority
CN
China
Prior art keywords
type
tower crane
intelligent sensor
vibration
construction area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311740752.7A
Other languages
English (en)
Other versions
CN117671447A (zh
Inventor
线登洲
张天平
马国伟
赵丽娅
陈辉
史国梁
贾立勇
袁赵婧
刘伟
檀思勤
张铭岐
李沛然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Construction Group Corp Ltd
Original Assignee
Hebei Construction Group Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Construction Group Corp Ltd filed Critical Hebei Construction Group Corp Ltd
Priority to CN202311740752.7A priority Critical patent/CN117671447B/zh
Publication of CN117671447A publication Critical patent/CN117671447A/zh
Application granted granted Critical
Publication of CN117671447B publication Critical patent/CN117671447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明涉及一种面向复杂场景的数字孪生与智能传感器的融合系统,涉及数据处理技术领域,包括:信息获取模块,用于获取塔机施工区域中多个实体的图像信息,建立实体对应的三维模型及虚拟场景,构建塔机施工区域对应的三维模型;数据获取模块,用于获取塔机施工区域的设备的运行参数及实时施工信息;模型建立模块,用于构建塔机施工区域对应的数字孪生模型;状态监测模块,用于基于智能传感器获取的塔机施工区域的实时施工信息,确定塔机施工区域的安全状态,将塔机施工区域的安全状态同步至塔机施工区域对应的数字孪生模型,具有提高建设工程安全监控的精度及实时性的优点。

Description

一种面向复杂场景的数字孪生与智能传感器的融合系统
技术领域
本发明涉及数据处理技术领域,尤其涉及一种面向复杂场景的数字孪生与智能传感器的融合系统。
背景技术
大型建设工程施工涉及大量高风险性,复杂流程逻辑和安全技术要求的施工过程,对该类施工过程进行安全监控是现场安全管理的重要一环。塔式起重机(简称塔机)作为建设中最为普遍的机械设备,一直是安全问题的重点关注对象,现有的塔式起重机工作监测方法主要依赖于人工巡检和经验判断,存在监测精度低、效率低和安全风险高等问题。数字孪生技术是一种将实际物理系统与数字模型相结合的技术,能够实现对物理系统的实时监测、预测和优化。然而,目前尚缺乏一种基于数字孪生的塔式起重机工作监测系统。
因此,需要提供一种面向复杂场景的数字孪生与智能传感器的融合系统,用于提高建设工程安全监控的精度及实时性。
发明内容
本说明书实施例之一提供本发明提供了一种面向复杂场景的数字孪生与智能传感器的融合系统,包括:信息获取模块,用于获取塔机施工区域中多个实体的图像信息,其中,所述多个实体至少包括塔机,对于每个所述实体,基于所述实体的图像信息建立所述实体对应的三维模型,建立所述塔机施工区域对应的虚拟场景,对所述虚拟场景和多个所述实体对应的三维模型进行融合,构建所述塔机施工区域对应的三维模型;数据获取模块,包括设备数据获取单元及状态数据获取单元,所述设备数据获取单元用于获取所述塔机施工区域中设备的运行参数,所述状态数据获取单元包括设置在所述塔机施工区域的多个智能传感器,其中,所述智能传感器用于获取所述塔机施工区域的实时施工信息;模型建立模块,用于基于所述设备数据获取单元获取的所述塔机施工区域中设备的运行参数及所述塔机施工区域对应的三维模型,构建所述塔机施工区域对应的数字孪生模型;状态监测模块,包括多个边缘计算单元及状态监测云平台,其中,所述边缘计算单元用于对所述智能传感器获取的所述塔机施工区域的实时施工信息进行预处理,并将预处理后的实时施工信息上传至所述状态监测云平台,所述状态监测云平台用于基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,将所述塔机施工区域的安全状态同步至所述塔机施工区域对应的数字孪生模型。
更进一步地,所述多个智能传感器至少包括多个第一类智能传感器、多个第二类智能传感器及多个第三类智能传感器,其中,所述第一类智能传感器用于获取所述塔机施工区域的人员位置信息,所述第二类智能传感器用于获取所述塔机施工区域的图像信息,所述第三类智能传感器用于获取所述塔机的运行状态信息;所述多个边缘计算单元至少包括至少一个第一类边缘计算单元、至少一个第二类边缘计算单元及至少一个第三类边缘计算单元,其中,所述第一类边缘计算单元用于对所述多个第一类智能传感器获取的人员位置信息进行预处理,所述第二类边缘计算单元用于对所述多个第二类智能传感器获取的图像信息进行预处理,所述第三类边缘计算单元用于对所述多个第三类智能传感器获取的运行状态信息进行预处理。
更进一步地,所述第三类智能传感器至少包括振动监测组件、声音采集组件、风速监测组件及无线通信组件,其中,所述振动监测组件的输出端、所述声音采集组件的输出端及所述风速监测组件的输出端均与所述无线通信组件的输入端电性连接,所述无线通信组件用于将所述振动监测组件的输出数据、所述声音采集组件的输出数据及所述风速监测组件的输出数据传输至所述第三类边缘计算单元。
更进一步地,所述第三类边缘计算单元对所述多个第三类智能传感器获取的运行状态信息进行预处理,包括:对于每个所述第三类智能传感器,基于所述第三类智能传感器的声音采集组件在当前监测周期内采集的声音信号,生成所述当前监测周期对应的声音序列,基于所述第三类智能传感器的风速监测组件在当前监测周期内采集的风速信息,生成所述当前监测周期对应的风速序列;对所述当前监测周期对应的声音序列进行经验模态分解,生成所述声音序列对应的多个声音IMF分量及声音残余分量;通过声音去噪模型基于所述声音序列对应的多个声音IMF分量及声音残余分量和所述当前监测周期对应的风速序列,对所述当前监测周期对应的声音序列进行去噪,生成去噪后的声音序列。
更进一步地,所述第三类边缘计算单元对所述多个第三类智能传感器获取的运行状态信息进行预处理,还包括:基于所述第三类智能传感器的振动监测组件在当前监测周期内采集的振动信号,生成所述当前监测周期对应的振动序列;基于所述当前监测周期对应的去噪后的声音序列对所述当前监测周期对应的振动序列进行异常数据清洗及数据补全,生成预处理后的振动序列。
更进一步地,所述第一类智能传感器包括多个红外热释电传感器,所述多个红外热释电传感器设置在所述塔机施工区域的不同位置处;所述第一类边缘计算单元对所述多个第一类智能传感器获取的人员位置信息进行预处理,包括:建立第一类智能传感器位置图谱,其中,所述第一类智能传感器位置图谱用于表征所述多个第一类智能传感器的位置关系;基于所述第一类智能传感器位置图谱,对所述多个第一类智能传感器获取的人员位置信息进行真实性校验,获取具备真实性的人员位置信息。
更进一步地,所述状态监测云平台基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,包括:在所述塔机作业之前或作业过程中,基于所述塔机的作业任务信息,确定所述塔机施工区域的至少一个作业区域;基于所述第一类边缘计算单元上传的具备真实性的人员位置信息,确定每个所述作业区域的运行风险值。
更进一步地,所述状态监测模块还包括多架无人机,所述无人机上搭载有图像采集装置;所述状态监测云平台还用于:将所述运行风险值大于预设运行风险值阈值的作业区域作为目标作业区域;基于所述第一类边缘计算单元上传的具备真实性的人员位置信息,确定所述目标作业区域的目标监测位置;基于所述目标监测位置、所述塔机的作业任务信息和所述塔机施工区域对应的数字孪生模型,生成至少一条监测轨迹,指示所述多架无人机基于所述至少一条监测轨迹,采集所述目标作业区域的图像信息;基于所述目标作业区域的图像信息,判断所述目标作业区域内是否存在人体,并在判断所述目标作业区域内存在人体时,指示所述目标作业区域内的无人机发出警示信息。
更进一步地,所述状态监测云平台基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,包括:建立第三类智能传感器关联图谱,其中,所述第三类智能传感器关联图谱用于表征所述多个第三类智能传感器之间的关联关系;根据所述第三类智能传感器关联图谱,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态。
更进一步地,所述状态监测云平台根据所述第三类智能传感器关联图谱,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态,包括:对于每个所述第三类智能传感器,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述第三类智能传感器对应的监测异常值,将监测异常值大于预设监测异常阈值的第三类智能传感器作为目标第三类智能传感器;基于所述第三类智能传感器关联图谱,确定所述目标第三类智能传感器关联的第三类智能传感器,调用所述目标第三类智能传感器对应的风险确定模型,通过所述风险确定模型基于所述目标第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列及所述目标第三类智能传感器关联的第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态。
相比于现有技术,本说明书提供的一种面向复杂场景的数字孪生与智能传感器的融合系统,至少具备以下有益效果:
1、通过获取塔机施工区域中多个实体的图像信息,建立实体对应的三维模型,进而建立塔机施工区域对应的三维模型,并对塔机施工区域中设备的运行参数及塔机施工区域对应的三维模型进行融合,构建塔机施工区域对应的数字孪生模型,从而形成可远程智能监管、施工多维度数据监测及工程任务分配调度的智慧建造体系,同时,在塔机施工区域设置多个智能传感器,实现塔机施工区域的实时施工信息的获取,并通过多个边缘计算单元及状态监测云平台,实现塔机施工区域的安全状态的确定,并将塔机施工区域的安全状态同步至塔机施工区域对应的数字孪生模型,实现塔机施工区域的安全状态的远程监控,提高了建设工程安全监控的精度及实时性;
2、通过振动监测组件、声音采集组件及风速监测组件,实现多维信息的采集,进而使得确定的塔机的运行状态更加准确;
3、基于第一类边缘计算单元上传的具备真实性的人员位置信息,确定每个作业区域的运行风险值后,确定目标作业区域,进而通过无人机采集目标作业区域的图像信息,对目标作业区域内是否存在人体进行更加准确的二次判定及风险提醒。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是本申请一实施例中示出的一种面向复杂场景的数字孪生与智能传感器的融合系统的模块图;
图2是本申请一实施例中示出的对多个第三类智能传感器获取的运行状态信息进行预处理的流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本申请一实施例中示出的一种面向复杂场景的数字孪生与智能传感器的融合系统的模块图,如图1所示,一种面向复杂场景的数字孪生与智能传感器的融合系统可以包括信息获取模块、数据获取模块、模型建立模块及状态监测模块。下面依次对各个模块进行说明。
信息获取模块可以用于获取塔机施工区域中多个实体的图像信息。
其中,多个实体至少包括塔机、建筑物、施工设备等。
对于每个实体,基于实体的图像信息建立实体对应的三维模型,建立塔机施工区域对应的虚拟场景,对虚拟场景和多个实体对应的三维模型进行融合,构建塔机施工区域对应的三维模型。
具体地,数据采集是数字孪生三维建模技术的第一步。数据来源包括产品图纸、照片、扫描数据、测量仪器等。在采集数据时,需要注意数据的精度和质量,以确保建模结果的准确性和可靠性。数字孪生技术的构建首先需要对塔机施工区域进行空间数据采集。通过街景浏览车、无人机等技术手段采集现实世界中的空间数据,将采集到的数据进行整合和加工,形成塔机施工区域的三维空间数据模型。这些数据包括但不限于环境数据、地理数据等,这些数据被整合形成一个空间数据库,为虚拟世界提供了参考和支持。
当采集到空间数据之后,利用图像处理技术对道路、建筑物进行分类和识别,从而实现对各种类型的建筑物的识别和区分。图像处理技术可以将原始数据转化为可视化的智能图像,可以较为直观地展示建筑物的结构和周边环境信息。数据处理是将采集的数据进行处理和格式化,以便于后续建模。数据处理包括点云数据去噪、表面重建、数据精简等。
建模是数字孪生三维建模技术的核心步骤。在建模过程中,可以使用各种建模软件,如AutoCAD、3ds Max、SketchUp等,来创建三维模型。在建模时,需要注意模型的精度、质量和比例,以确保建模结果的准确性。纹理映射是将图像映射到模型表面上,以增加模型的真实感。建筑物信息模型(BIM)是建筑行业较为流行的数字化技术之一,数字孪生技术的构建也可以采用BIM技术。BIM是一种将设计、施工和运营以数字化方式进行集成的方法,利用BIM模型能够精细化描述建筑物的功能、结构、材料、维护等信息。将采集到的空间数据与BIM模型进行整合。
仅作为示例的,可以通过以下步骤基于实体的图像信息建立实体对应的三维模型:
S1、图像处理:使用图像处理算法对收集到的图片进行处理,包括图像去噪、边缘检测、图像配准等。
S2、点云生成:通过图像处理算法将处理后的图片转换为点云数据,点云数据是三维建模的基础。
S3、点云处理:对点云数据进行滤波、合并、分割等处理,以提高点云数据的质量和精度。
S4、曲面重建:使用曲面重建算法将点云数据转换为三角网格模型,以便进行后续操作。
S5、优化与编辑:对生成的三维模型进行优化与编辑,以达到更好的效果和完整性。包括模型缝合、减少面数、平滑处理等。
S6、导出模型:将完成的三维模型导出到所需的文件格式,以便于后续的使用和处理。
数字孪生技术的核心是建立实体建筑与虚拟模型之间的联系,计算机模拟技术是机器语言与数学语言结合的数字化技术手段,可以对虚拟世界建立动态、交互式的模拟系统。根据实体建筑的数据,计算机模拟技术可以精细地建立建筑物的虚拟模型,实现精准地仿真。通过计算机模拟技术,我们可以模拟物理环境、气候和人类活动等变量,营造出更加真实的施工环境。模型验证包括模型精度验证、物理验证、功能验证等。通过模型验证,可以确保模型的准确性和可靠性,以满足特定的应用需求。
三维可视化是数字孪生三维建模技术的重要组成部分。通过三维可视化技术,可以将三维模型呈现出来,以便于用户进行交互式探索和分析。三维可视化技术可以为用户提供更加直观、生动、灵活的方式来了解产品设计和制造过程。
对已有的大量数据进行挖掘、分析和释放,可以为建筑施工提供多元化支持的策略、方案和实施方案。以数据挖掘为基础的技术可以发现数据中未知或隐藏的规律、关联性、趋势等,可以将原始数据转化为可视化、可理解的结构,为城市的智慧化提供科学依据。同时,数据挖掘技术也可以为建筑施工提供决策支持,通过对数据的挖掘和分析,可以实现精准化的建筑施工资源的协调和运营。
数据获取模块可以用于获取塔机施工区域中设备的运行参数和实时施工信息。
数据获取模块可以包括设备数据获取单元及状态数据获取单元,设备数据获取单元用于获取塔机施工区域中设备的运行参数,状态数据获取单元包括设置在塔机施工区域的多个智能传感器,其中,智能传感器用于获取塔机施工区域的实时施工信息。
具体地,设备数据获取单元可以与塔机施工区域中设备的控制器进行通信,获取塔机施工区域中设备的运行参数。
在一些实施例中,多个智能传感器至少包括多个第一类智能传感器、多个第二类智能传感器及多个第三类智能传感器,其中,第一类智能传感器用于获取塔机施工区域的人员位置信息,第二类智能传感器用于获取塔机施工区域的图像信息,第三类智能传感器用于获取塔机的运行状态信息。
在一些实施例中,第一类智能传感器包括多个红外热释电传感器,多个红外热释电传感器设置在塔机施工区域的不同位置处。
在一些实施例中,第三类智能传感器至少包括振动监测组件、声音采集组件、风速监测组件及无线通信组件,其中,振动监测组件的输出端、声音采集组件的输出端及风速监测组件的输出端均与无线通信组件的输入端电性连接,无线通信组件用于将振动监测组件的输出数据、声音采集组件的输出数据及风速监测组件的输出数据传输至第三类边缘计算单元。
模型建立模块可以用于基于设备数据获取单元获取的塔机施工区域中设备的运行参数及塔机施工区域对应的三维模型,构建塔机施工区域对应的数字孪生模型。
具体地,塔机施工区域对应的数字孪生模型融合塔机施工区域中设备的运行参数及塔机施工区域对应的三维模型,将塔机施工区域中设备的运行参数与塔机施工区域对应的三维模型进行全面关联,从而形成可远程智能监管、施工多维度数据监测及工程任务分配调度的智慧建造体系。
状态监测模块可以用于确定塔机施工区域的安全状态,将塔机施工区域的安全状态同步至塔机施工区域对应的数字孪生模型。
状态监测模块可以包括多个边缘计算单元及状态监测云平台,其中,边缘计算单元用于对智能传感器获取的塔机施工区域的实时施工信息进行预处理,并将预处理后的实时施工信息上传至状态监测云平台,状态监测云平台用于基于多个边缘计算单元上传的预处理后的实时施工信息,确定塔机施工区域的安全状态,将塔机施工区域的安全状态同步至塔机施工区域对应的数字孪生模型。
在一些实施例中,多个边缘计算单元至少包括至少一个第一类边缘计算单元、至少一个第二类边缘计算单元及至少一个第三类边缘计算单元,其中,第一类边缘计算单元用于对多个第一类智能传感器获取的人员位置信息进行预处理,第二类边缘计算单元用于对多个第二类智能传感器获取的图像信息进行预处理,第三类边缘计算单元用于对多个第三类智能传感器获取的运行状态信息进行预处理。
在一些实施例中,第一类边缘计算单元对多个第一类智能传感器获取的人员位置信息进行预处理,包括:
建立第一类智能传感器位置图谱,其中,第一类智能传感器位置图谱用于表征多个第一类智能传感器的位置关系;
基于第一类智能传感器位置图谱,对多个第一类智能传感器获取的人员位置信息进行真实性校验,获取具备真实性的人员位置信息。
具体地,对于任意两个第一类智能传感器,可以计算该两个第一类智能传感器之间的距离,对于某个第一类智能传感器,可以将其他的与该第一类智能传感器之间的距离小于预设距离阈值的第一类智能传感器作为该第一类智能传感器的相邻第一类智能传感器。
当某个第一类智能传感器在某个时间点感应到人体时,将该第一类智能传感器作为目标第一类智能传感器,将该时间点作为目标时间点,基于第一类智能传感器位置图谱,确定该目标第一类智能传感器的相邻第一类智能传感器,获取目标第一类智能传感器在当前感应周期输出信号,获取目标第一类智能传感器的相邻第一类智能传感器在当前感应周期输出信号,当前感应周期以该目标时间点为起始时间点。
基于目标第一类智能传感器的位置信息、在当前感应周期输出信号和目标第一类智能传感器的相邻第一类智能传感器的位置信息、在当前感应周期输出信号,确定人体移动速度,基于人体移动速度对获取的人员位置信息进行真实性校验。
本实施例可以基于以下公式计算人体移动速度:
其中,为人体移动速度,max()为取最大值运算,为第i个相邻第一类智能传感 器与目标第一类智能传感器之间的距离,为第i个相邻第一类智能传感器感应到人体的 时间点与目标时间点之间的差值,n为目标第一类智能传感器的相邻第一类智能传感器的 总数。
可以理解的,当人体移动速度大于预设人体移动速度阈值时,判断其他生物(例如,鸟等)干扰了监测,当前感应周期对应的人员位置信息不具备真实性。
图2是本申请一实施例中示出的对多个第三类智能传感器获取的运行状态信息进行预处理的流程图,如图2所示,在一些实施例中,第三类边缘计算单元对多个第三类智能传感器获取的运行状态信息进行预处理,包括:
对于每个第三类智能传感器,基于第三类智能传感器的声音采集组件在当前监测周期内采集的声音信号,生成当前监测周期对应的声音序列,基于第三类智能传感器的风速监测组件在当前监测周期内采集的风速信息,生成当前监测周期对应的风速序列;
对当前监测周期对应的声音序列进行经验模态分解,生成声音序列对应的多个声音IMF分量及声音残余分量;
通过声音去噪模型基于声音序列对应的多个声音IMF(Intrinsic ModeFunctions)分量及声音残余分量和当前监测周期对应的风速序列,对当前监测周期对应的声音序列进行去噪,生成去噪后的声音序列,其中,声音去噪模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
如图2所示,在一些实施例中,第三类边缘计算单元对多个第三类智能传感器获取的运行状态信息进行预处理,还包括:
基于第三类智能传感器的振动监测组件在当前监测周期内采集的振动信号,生成当前监测周期对应的振动序列;
基于当前监测周期对应的去噪后的声音序列对当前监测周期对应的振动序列进行异常数据清洗及数据补全,生成预处理后的振动序列。
具体地,可以对当前监测周期对应的振动序列进行分段,生成多个振动序列段,对于每个振动序列段,确定振动幅值方差,基于振动幅值方差和当前监测周期对应的去噪后的声音序列,判断该振动序列段是否为异常的振动序列段。
本实施例可以基于以下公式确定振动幅值方差:
其中,为振动序列段的振动幅值方差,为振动序列段中第j个时间点对应的振 动幅值,为振动序列段中第n个时间点对应的振动幅值,J为振动序列段中时间点的总 数。
可以理解的,将振动幅值方差大于预设振动幅值方差阈值的振动序列段为目标振动序列段,从当前监测周期对应的去噪后的声音序列中截取与目标振动序列段的时间对应的声音序列段,通过声音异常确定模型根据该声音序列段判断目标振动序列段的时间段内是否发生声音异常,若判断目标振动序列段的时间段内未发生声音异常,则将该目标振动序列段作为异常的振动序列段,清洗异常的振动序列段,并通过序列补全模型基于异常的振动序列段的相邻的振动序列段,生成异常的振动序列段对应的替换振动序列段,使用该替换振动序列段在当前监测周期对应的振动序列中替换异常的振动序列段。其中,声音异常确定模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent Neural Networks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型,序列补全模型可以为生成对抗网络(Generative Adversarial Nets,GAN)模型。
在一些实施例中,边缘计算单元、第二类边缘计算单元及第三类边缘计算单元的结构可以相似,下面以第三类边缘计算单元为例进行说明。第三类边缘计算单元可以包括外壳、接口、按键、屏幕等,通过以太网与第三类智能传感器进行数据交互,并通过互联网与状态监测云平台进行数据交互。外壳内设置有ARM处理器、时钟管理组件、可扩展接口、FPGA板及GPU板,其中,ARM处理器、时钟管理模块、可扩展接口封装到基板上,ARM处理器内部运行linux系统。
在一些实施例中,状态监测云平台基于多个边缘计算单元上传的预处理后的实时施工信息,确定塔机施工区域的安全状态,包括:
在塔机作业之前或作业过程中,基于塔机的作业任务信息,确定塔机施工区域的至少一个作业区域;
基于第一类边缘计算单元上传的具备真实性的人员位置信息,确定每个作业区域的运行风险值。
具体地,可以基于第一类边缘计算单元上传的具备真实性的人员位置信息,判断作业区域有人员,当判断作业区域有人员时,预测人员位置的变化趋势,进而预测人员进入作业区域的可能性,该预测的人员进入作业区域的可能性可以表征作业区域的运行风险值。
在一些实施例中,状态监测云平台基于多个边缘计算单元上传的预处理后的实时施工信息,确定塔机施工区域的安全状态,包括:
建立第三类智能传感器关联图谱,其中,第三类智能传感器关联图谱用于表征多个第三类智能传感器之间的关联关系,可以基于第三类智能传感器的安装位置确定第三类智能传感器之间的关联关系,例如,当任意两个第三类智能传感器安装在同一台塔机上时,该两个第三类智能传感器存在关联关系;
根据第三类智能传感器关联图谱,基于第三类智能传感器在当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定塔机在当前监测周期的运行状态。
在一些实施例中,状态监测云平台根据第三类智能传感器关联图谱,基于第三类智能传感器在当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定塔机在当前监测周期的运行状态,包括:
对于每个第三类智能传感器,基于第三类智能传感器在当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定第三类智能传感器对应的监测异常值,将监测异常值大于预设监测异常阈值的第三类智能传感器作为目标第三类智能传感器;
基于第三类智能传感器关联图谱,确定目标第三类智能传感器关联的第三类智能传感器,调用目标第三类智能传感器对应的风险确定模型,通过风险确定模型基于目标第三类智能传感器在当前监测周期对应的去噪后的声音序列和预处理后的振动序列及目标第三类智能传感器关联的第三类智能传感器在当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定塔机在当前监测周期的运行状态。风险确定模型可以为人工神经网络(Artificial Neural Network,ANN)模型、循环神经网络(Recurrent NeuralNetworks,RNN)模型、长短时记忆网络(Long Short-Term Memory,LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
具体地,状态监测云平台可以通过振动预测模型,基于第三类智能传感器在当前监测周期对应的去噪后的声音序列和第三类智能传感器的风速监测组件在当前监测周期内采集的风速信息,预测第三类智能传感器在当前监测周期对应的模板振动序列,计算预处理后的振动序列与预测的模板振动序列之间的相似度,确定第三类智能传感器对应的监测异常值,可以理解的,预处理后的振动序列与预测的模板振动序列之间的相似度越大,第三类智能传感器对应的监测异常值越小。
例如,可以基于以下公式计算预处理后的振动序列与预测的模板振动序列之间的相似度:
其中,为预处理后的振动序列与预测的模板振动序列之间的相似度,为预处理 后的振动序列对应的时间点的总数,为预处理后的振动序列中第m个时间点对应的振 动幅值,为预测的模板振动序列中第m个时间点对应的振动幅值。
在一些实施例中,状态监测模块还包括多架无人机,无人机上搭载有图像采集装置。
在一些实施例中,状态监测云平台还用于:
将运行风险值大于预设运行风险值阈值的作业区域作为目标作业区域,其中,当判断作业区域有人员时,可以直接将作业区域作为目标作业区域;
基于第一类边缘计算单元上传的具备真实性的人员位置信息,确定目标作业区域的目标监测位置,其中,目标监测位置可以为预测的人员的移动位置;
基于目标监测位置、塔机的作业任务信息和塔机施工区域对应的数字孪生模型,生成至少一条监测轨迹,指示多架无人机基于至少一条监测轨迹,采集目标作业区域的图像信息;
基于目标作业区域的图像信息,判断目标作业区域内是否存在人体,并在判断目标作业区域内存在人体时,指示目标作业区域内的无人机发出警示信息。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,包括:
信息获取模块,用于获取塔机施工区域中多个实体的图像信息,其中,所述多个实体至少包括塔机,对于每个所述实体,基于所述实体的图像信息建立所述实体对应的三维模型,建立所述塔机施工区域对应的虚拟场景,对所述虚拟场景和多个所述实体对应的三维模型进行融合,构建所述塔机施工区域对应的三维模型;
数据获取模块,包括设备数据获取单元及状态数据获取单元,所述设备数据获取单元用于获取所述塔机施工区域中设备的运行参数,所述状态数据获取单元包括设置在所述塔机施工区域的多个智能传感器,其中,多个所述智能传感器用于获取所述塔机施工区域的实时施工信息;
模型建立模块,用于基于所述设备数据获取单元获取的所述塔机施工区域中设备的运行参数及所述塔机施工区域对应的三维模型,构建所述塔机施工区域对应的数字孪生模型;
状态监测模块,包括多个边缘计算单元及状态监测云平台,其中,所述边缘计算单元用于对多个所述智能传感器获取的所述塔机施工区域的实时施工信息进行预处理,并将预处理后的实时施工信息上传至所述状态监测云平台,所述状态监测云平台用于基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,将所述塔机施工区域的安全状态同步至所述塔机施工区域对应的数字孪生模型;
所述多个智能传感器至少包括多个第一类智能传感器、多个第二类智能传感器及多个第三类智能传感器,其中,所述第一类智能传感器用于获取所述塔机施工区域的人员位置信息,所述第二类智能传感器用于获取所述塔机施工区域的图像信息,所述第三类智能传感器用于获取所述塔机的运行状态信息;
所述多个边缘计算单元至少包括至少一个第一类边缘计算单元、至少一个第二类边缘计算单元及至少一个第三类边缘计算单元,其中,所述第一类边缘计算单元用于对所述多个第一类智能传感器获取的人员位置信息进行预处理,所述第二类边缘计算单元用于对所述多个第二类智能传感器获取的图像信息进行预处理,所述第三类边缘计算单元用于对所述多个第三类智能传感器获取的运行状态信息进行预处理;
所述第三类智能传感器至少包括振动监测组件、声音采集组件、风速监测组件及无线通信组件,其中,所述振动监测组件的输出端、所述声音采集组件的输出端及所述风速监测组件的输出端均与所述无线通信组件的输入端电性连接,所述无线通信组件用于将所述振动监测组件的输出数据、所述声音采集组件的输出数据及所述风速监测组件的输出数据传输至所述第三类边缘计算单元。
2.根据权利要求1所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述第三类边缘计算单元对所述多个第三类智能传感器获取的运行状态信息进行预处理,包括:
对于每个所述第三类智能传感器,基于所述第三类智能传感器的声音采集组件在当前监测周期内采集的声音信号,生成所述当前监测周期对应的声音序列,基于所述第三类智能传感器的风速监测组件在当前监测周期内采集的风速信息,生成所述当前监测周期对应的风速序列;
对所述当前监测周期对应的声音序列进行经验模态分解,生成所述声音序列对应的多个声音IMF分量及声音残余分量;
通过声音去噪模型基于所述声音序列对应的多个声音IMF分量及声音残余分量和所述当前监测周期对应的风速序列,对所述当前监测周期对应的声音序列进行去噪,生成去噪后的声音序列。
3.根据权利要求2所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述第三类边缘计算单元对所述多个第三类智能传感器获取的运行状态信息进行预处理,还包括:
基于所述第三类智能传感器的振动监测组件在当前监测周期内采集的振动信号,生成所述当前监测周期对应的振动序列;
基于所述当前监测周期对应的去噪后的声音序列对所述当前监测周期对应的振动序列进行异常数据清洗及数据补全,生成预处理后的振动序列。
4.根据权利要求3所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述第一类智能传感器包括多个红外热释电传感器,所述多个红外热释电传感器设置在所述塔机施工区域的不同位置处;
所述第一类边缘计算单元对所述多个第一类智能传感器获取的人员位置信息进行预处理,包括:
建立第一类智能传感器位置图谱,其中,所述第一类智能传感器位置图谱用于表征所述多个第一类智能传感器的位置关系;
基于所述第一类智能传感器位置图谱,对所述多个第一类智能传感器获取的人员位置信息进行真实性校验,获取具备真实性的人员位置信息。
5.根据权利要求4所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述状态监测云平台基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,包括:
在所述塔机作业之前或作业过程中,基于所述塔机的作业任务信息,确定所述塔机施工区域的至少一个作业区域;
基于所述第一类边缘计算单元上传的具备真实性的人员位置信息,确定每个所述作业区域的运行风险值。
6.根据权利要求5所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述状态监测模块还包括多架无人机,所述无人机上搭载有图像采集装置;
所述状态监测云平台还用于:
将所述运行风险值大于预设运行风险值阈值的作业区域作为目标作业区域;
基于所述第一类边缘计算单元上传的具备真实性的人员位置信息,确定所述目标作业区域的目标监测位置;
基于所述目标监测位置、所述塔机的作业任务信息和所述塔机施工区域对应的数字孪生模型,生成至少一条监测轨迹,指示所述多架无人机基于所述至少一条监测轨迹,采集所述目标作业区域的图像信息;
基于所述目标作业区域的图像信息,判断所述目标作业区域内是否存在人体,并在判断所述目标作业区域内存在人体时,指示所述目标作业区域内的无人机发出警示信息。
7.根据权利要求6所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述状态监测云平台基于所述多个边缘计算单元上传的预处理后的实时施工信息,确定所述塔机施工区域的安全状态,包括:
建立第三类智能传感器关联图谱,其中,所述第三类智能传感器关联图谱用于表征所述多个第三类智能传感器之间的关联关系;
根据所述第三类智能传感器关联图谱,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态。
8.根据权利要求7所述的一种面向复杂场景的数字孪生与智能传感器的融合系统,其特征在于,所述状态监测云平台根据所述第三类智能传感器关联图谱,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态,包括:
对于每个所述第三类智能传感器,基于所述第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述第三类智能传感器对应的监测异常值,将监测异常值大于预设监测异常阈值的第三类智能传感器作为目标第三类智能传感器;
基于所述第三类智能传感器关联图谱,确定所述目标第三类智能传感器关联的第三类智能传感器,调用所述目标第三类智能传感器对应的风险确定模型,通过所述风险确定模型基于所述目标第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列及所述目标第三类智能传感器关联的第三类智能传感器在所述当前监测周期对应的去噪后的声音序列和预处理后的振动序列,确定所述塔机在所述当前监测周期的运行状态;
基于当前监测周期对应的去噪后的声音序列对当前监测周期对应的振动序列进行异常数据清洗及数据补全,生成预处理后的振动序列;
对当前监测周期对应的振动序列进行分段,生成多个振动序列段,对于每个振动序列段,确定振动幅值方差,基于振动幅值方差和当前监测周期对应的去噪后的声音序列,判断该振动序列段是否为异常的振动序列段;
基于以下公式确定振动幅值方差:
其中,V为振动序列段的振动幅值方差,Aj为振动序列段中第j个时间点对应的振动幅值,An为振动序列段中第n个时间点对应的振动幅值,J为振动序列段中时间点的总数。
CN202311740752.7A 2023-12-18 2023-12-18 一种面向复杂场景的数字孪生与智能传感器的融合系统 Active CN117671447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311740752.7A CN117671447B (zh) 2023-12-18 2023-12-18 一种面向复杂场景的数字孪生与智能传感器的融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311740752.7A CN117671447B (zh) 2023-12-18 2023-12-18 一种面向复杂场景的数字孪生与智能传感器的融合系统

Publications (2)

Publication Number Publication Date
CN117671447A CN117671447A (zh) 2024-03-08
CN117671447B true CN117671447B (zh) 2024-05-07

Family

ID=90078778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311740752.7A Active CN117671447B (zh) 2023-12-18 2023-12-18 一种面向复杂场景的数字孪生与智能传感器的融合系统

Country Status (1)

Country Link
CN (1) CN117671447B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210359A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 面向智能矿山场景的数字孪生演化机理及方法
CN114723187A (zh) * 2022-06-08 2022-07-08 杭州未名信科科技有限公司 一种智能塔机及智能塔机的故障预测方法、存储介质
CN115303946A (zh) * 2022-09-16 2022-11-08 江苏省特种设备安全监督检验研究院 基于数字孪生的塔式起重机工作监测方法、系统
CN115641426A (zh) * 2022-10-21 2023-01-24 燧光科技(北京)有限公司 环境信息的显示方法、装置和计算机可读存储介质
CN116258475A (zh) * 2023-02-08 2023-06-13 兰州兰石能源装备工程研究院有限公司 基于数字孪生和mr可视化环境压裂装备远程运维系统
CN116541570A (zh) * 2023-03-17 2023-08-04 安徽交泰智能技术有限公司 一种基于数字孪生的设备预测性维护系统
CN116700162A (zh) * 2023-05-23 2023-09-05 苏州思萃工业大数据技术研究所有限公司 一种基于数字孪生的工业生产系统
CN116810782A (zh) * 2023-06-25 2023-09-29 国网天津市电力公司建设分公司 一种组塔机器人数字孪生模型及构建方法
CN117034687A (zh) * 2023-07-26 2023-11-10 大连理工大学 一种基于数字孪生的塔式起重机结构性能监测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3123908B1 (fr) * 2021-06-14 2023-10-27 Manitowoc Crane Group France Procédé de sécurisation d’une grue à la survenue d’un évènement exceptionnel

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210359A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 面向智能矿山场景的数字孪生演化机理及方法
CN114723187A (zh) * 2022-06-08 2022-07-08 杭州未名信科科技有限公司 一种智能塔机及智能塔机的故障预测方法、存储介质
CN115303946A (zh) * 2022-09-16 2022-11-08 江苏省特种设备安全监督检验研究院 基于数字孪生的塔式起重机工作监测方法、系统
CN115641426A (zh) * 2022-10-21 2023-01-24 燧光科技(北京)有限公司 环境信息的显示方法、装置和计算机可读存储介质
CN116258475A (zh) * 2023-02-08 2023-06-13 兰州兰石能源装备工程研究院有限公司 基于数字孪生和mr可视化环境压裂装备远程运维系统
CN116541570A (zh) * 2023-03-17 2023-08-04 安徽交泰智能技术有限公司 一种基于数字孪生的设备预测性维护系统
CN116700162A (zh) * 2023-05-23 2023-09-05 苏州思萃工业大数据技术研究所有限公司 一种基于数字孪生的工业生产系统
CN116810782A (zh) * 2023-06-25 2023-09-29 国网天津市电力公司建设分公司 一种组塔机器人数字孪生模型及构建方法
CN117034687A (zh) * 2023-07-26 2023-11-10 大连理工大学 一种基于数字孪生的塔式起重机结构性能监测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Digital Twin for Safety and Security: Perspectives on Building Lifecycle;Siavash H. Khajavi等;《IEEE Access》;20230522;第11卷;52339-52356 *
Product family design and optimization: a digital twin-enhanced approach;Pai Zheng等;《Procedia CIRP》;20201231;第93卷;246-250 *
基于动态预测的塔机防碰撞系统研究;张琪;中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20190215(第02期);C038-1052 *
基于数字孪生技术的施工总平面管理研究;赵云辉等;《市政技术》;20201130(第006期);291-294 *

Also Published As

Publication number Publication date
CN117671447A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
KR102423561B1 (ko) 디지털 트윈 기반 지능형 댐 안전 관리 시스템
US10832478B2 (en) Method and system for virtual sensor data generation with depth ground truth annotation
CN109061703A (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN110009614A (zh) 用于输出信息的方法和装置
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
CN113592905B (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN113160395B (zh) 一种基于cim的城市多维信息交互及场景生成的方法、装置及介质
CN117351521B (zh) 基于数字孪生的输电线鸟类检测方法、系统、介质及设备
CN113688797A (zh) 一种基于骨架提取的异常行为识别方法及系统
Yu et al. Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management
CN112580428A (zh) 一种配电网设计方法及装置
Gadasin et al. Application of Convolutional Neural Networks for Three-Dimensional Reconstruction of the Geometry of Objects in the Image
CN113936210A (zh) 塔吊防撞方法
CN117593702A (zh) 远程监控方法、装置、设备及存储介质
CN117671447B (zh) 一种面向复杂场景的数字孪生与智能传感器的融合系统
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN117115063A (zh) 一种多源数据融合应用方法
CN115601684A (zh) 突发事件预警方法、装置、电子设备及存储介质
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
KR20230082185A (ko) 고해상도 영상과 LiDAR 점군 데이터를 활용한 하천 지형의 3차원 시각화 시스템 및 그 방법
Liang et al. Interactive Experience Design of Traditional Dance in New Media Era Based on Action Detection
CN116628829B (zh) 一种基于数字孪生的智慧建筑三维可视化系统
KR102603541B1 (ko) Bim을 이용한 건축설계 방법
JP7330114B2 (ja) 対象位置特定システムおよび対象位置特定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant