CN117290938B - 基于bim模型和深度学习的ai建筑工程交互系统和方法 - Google Patents
基于bim模型和深度学习的ai建筑工程交互系统和方法 Download PDFInfo
- Publication number
- CN117290938B CN117290938B CN202311527818.4A CN202311527818A CN117290938B CN 117290938 B CN117290938 B CN 117290938B CN 202311527818 A CN202311527818 A CN 202311527818A CN 117290938 B CN117290938 B CN 117290938B
- Authority
- CN
- China
- Prior art keywords
- construction
- deep learning
- module
- bim
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 102
- 238000013135 deep learning Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000005516 engineering process Methods 0.000 title abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 139
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000003058 natural language processing Methods 0.000 claims abstract description 19
- 238000013461 design Methods 0.000 claims abstract description 15
- 239000000463 material Substances 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 61
- 238000012549 training Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000013011 mating Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 abstract description 14
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 101100204458 Schizosaccharomyces pombe (strain 972 / ATCC 24843) svf2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Abstract
本发明涉及建筑工程技术领域，公开了基于BIM模型和深度学习的AI建筑工程师，依托AI建筑工程交互系统和方法进行，所述系统包括AI建筑工程师运算模块、深度学习模块、语音识别模块、自然语言处理模块、人机交互界面，将BIM模型与深度学习模块、人机交互界面分别建立数据连接；所述方法集成语音识别、深度学习、BIM模型技术，提供BIM施工设计图查询、交底与对话、关键工序三维模型技术交底与对话、安全交底与对话、工程造价及材料用量查询、施工合同交底与对话、法律询问等功能，结合BIM模型演示，准确回答施工人员疑问。本发明以AI替代人工，使项目设计与管理人员从繁琐的施工技术交底、施工过程指导中解脱出来，大大提高建筑工程项目实施的效率。
Description
技术领域
本发明涉及建筑工程技术领域，具体涉及基于BIM模型和深度学习的AI建筑工程交互系统和方法。
背景技术
现阶段，绝大部分施工现场是依据二维CAD施工蓝图组织施工，各专业的错漏碰缺，再加上施工过程的频繁设计变更，使得项目技术负责人，在施工过程中大部分时间用在指导班组按图施工，发现图纸问题与设计沟通上，同时也使得成本管控困难。
建筑工程完成设计后、正式实施前，需进行施工技术、安全交底，交底内容施工设计、施工方案、工艺工序、质量标准、安全要求、建筑材料，以及施工合同要求，乃至相关法律约定等等。只有充分进行施工前的交底，让施工单元人员熟悉了解建筑的结构和工艺要求；同时，上述施工建设所需依据的规范、要求、参数等，在施工过程中经常需要查询确认，对实际工作给出指导，这样才能确保在施工中按要求进行操作，保证建筑工程的稳定性和安全性。
当前，施工技术、安全交底一般采用建设局部实体建筑模型，结合工程图纸和设计人员的讲解来进行。施工过程中的技术指导和规范确认，往往是占用设计人员和管理人员的时间，必须现场反复沟通。这样的模式非常浪费物力和人力，效率很低。
施工法律法规、强制条文繁多，并且是跨专业知识，施工现场迫切希望一个集成的知识库。
建筑信息模型（BIM）技术通过几十年的普及，已彻底改变了建筑行业，作为建筑行业的计算机辅助设计工具，BIM整合了结构、机械、电气等多学科建筑信息和项目数据，能够在整个建筑生命周期中支持建筑施工管理活动。在大型建筑工程建设中，运用BIM技术来进行智能化工程管理，已成为一个发展方向。然而，由于BIM聚合了大量建筑信息和数据，结构越来越复杂，一般施工单位人员往往未掌握数据结构、BIM术语和结构化查询语言，缺乏BIM专业知识，难以有效地直接通过BIM检索信息。这使得通过BIM进行智能化工程管理存在障碍。
因此，需要引入人工智能的技术，与BIM模型相结合，来解决建筑工程技术交底与过程指导浪费人力物力、效率低下的问题。
发明内容
本发明公开基于BIM模型和深度学习的AI建筑工程交互系统和方法，提供一种与BIM模型深度结合，具备人工智能，通过人机交互实现智能化工程管理系统和方法，以克服现有技术所存在的上述问题。
本发明公开的基于BIM模型和深度学习的AI建筑工程交互系统和方法，提供智能化工程管理：
所述的AI建筑工程交互系统，包括AI建筑工程师运算模块、深度学习模块、语音识别模块、自然语言处理模块、人机交互界面，所述AI建筑工程师运算模块分别与所述深度学习模块、语音识别模块、自然语言处理模块、人机交互界面建立连接并交换数据，所述深度学习模块从文本数据库、图像数据库、BIM编码数据库获取数据，所述BIM编码数据库从BIM模型获取数据,所述BIM模型与所述人机交互界面建立数据连接；
所述AI建筑工程交互方法基于所述AI建筑工程交互系统展开，主要步骤包括：
S1，编制全专业BIM模型，在完成优化和校核的基础上，对BIM模型构件与参数信息进行自动编码，建立BIM模型编码数据库；
S2,创建文本数据库与深度学习模块连接，进行深度学习文本训练，建立信息映射；
S3,创建图像数据库与深度学习模块连接，进行深度学习图像训练，建立信息映射；
S4,将BIM模型编码数据库与深度学习模块连接进行训练，建立信息映射，并将BIM模型与人机交互界面连接进行调用呈现；
S5，开展建筑工程技术交底，操作用户通过语音输入提出操作或查询意图；
S6，对操作用户输入的语音进行识别，转换为自然语言文字；
S7，分析提取操作用户操作或查询意图关键词；
S8，根据操作用户输入需求的关键词进行数据推理，从深度学习模块已经建立的信息映射中找出对应信息或指令；
S9，通过人机交互界面呈现文字、语音、图像或BIM模型图像，向操作用户进行建筑工程技术交底和查询响应。
应用上述系统和方法在施工阶段提供智能化工程管理，内容包括：全专业BIM模型各构件详细信息交底、查询；三维施工安全、技术交底；施工合同、工程量查询；与该项目有关的建筑法规、施工强制性条文咨询等。
进一步地，所述AI建筑工程交互系统中的文本数据库包括建筑法规子数据库、施工方案子数据库、项目造价子数据库、合同条款子数据库；所述图像数据库包括工序图示子数据库、安全图示子数据库；
所述语音识别模块包括语音-文字转换模块和文字-语音转换模块；
所述人机交互界面包括触摸显示屏、语音输入设备、语音输出设备；所述触摸显示屏设有BIM显示区、控制按钮区、文字显示区、选项菜单区；
所述AI建筑工程师运算模块包括中央处理程序、人机交互接口、BIM模型控制器、语音处理接口、自然语言处理接口、深度学习模块接口和存储器。
进一步地，所述AI建筑工程交互方法的S1-S9步骤具体内容还包括：
S1，根据设计施工蓝图，编制全专业BIM施工图，BIM模型包含所有工序的材料属性、设计要求的施工方法信息，在完成优化和校核的基础上，使用 Autodesk平台应用程序接口Revit API提取BIM构件对象及其属性进行自动编码，使用 Python 清理提取的建筑物信息以确保数据质量、建筑对象的数据属性的准确性；将清理后的数据导入BIM模型编码数据库，允许查询；
S2,将建筑工程技术交底所需的建设法规、施工方案、项目造价、合同条款数据导入文本数据库，将文本数据库与深度学习模块连接，进行深度学习文本训练，建立关键词与建设法规、施工方案、项目造价、合同条款数据之间的信息映射；
S3,将根据施工方案编制的包括工序示意图、安全示意图的图像数据导入图像数据库，将图像数据库与深度学习模块连接，进行深度学习图像训练，建立索引关键词与工序示意图、安全示意图之间的信息映射；
S4,将BIM模型编码数据库与深度学习模块连接进行训练，建立索引关键词与BIM构件及其属性之间的信息映射；将 Revit 模型转换为可以在浏览器中渲染的格式；通过API接口，使人机交互界面能够通过 Web 浏览器访问 BIM，进行远程调用呈现；
S5，开展建筑工程技术交底和施工过程技术指导，系统通过在人机交互界面进行文字呈现和语音播报，提示系统可提供的功能，操作用户通过语音输入，提出查询或操作意图；
S6，AI建筑工程师运算模块调用语音识别模块，对操作用户输入的语音进行识别，转换为自然语言文字；
S7，AI建筑工程师运算模块调用自然语言处理模块，对操作用户语音输入转换的自然语言文字进行分析处理，提取反映查询或操作意图的关键词；
S8，AI建筑工程师运算模块进行数据推理，针对操作用户语音输入的内容，根据所提取的反映操作或查询意图的关键词，判断操作用户需操作或查询的内容与文本、图形、BIM哪一种信息相关，且属于建设规范、施工方案、项目造价、工序图示、安全图示、BIM模型操作中哪一种类型，再根据关键词，从深度学习模块已经建立的信息映射中，找出关键词对应的文本、图像信息或操作指令；
S9，根据步骤S8确定的文本、图像信息或操作指令，通过人机交互界面以文字形式、静态图片形式呈现数据信息，同时调用语音识别模块进行文字-语音转换，以语音播报配合文字呈现或图像变换，或控制BIM模型进行图像变换，向操作用户进行建筑工程技术交底或施工过程技术指导。
进一步地，所述步骤S7中，自然语言处理模块采用GPT模型，将需要分析的自然语言信息发送给GPT模型，通过已预先训练的GPT模型分析其含义并提取有用的关键词；并将有用的关键词分为以下五类：意图提示、参数提示、值提示、摘要提示和一般问题提示，其中，意图提示是与当前建筑工程项目直接相关的查询或操作意图，参数提示是与意图提示相关的参数名称，值提示是与参数提示相关的具体数值，摘要提示是包含多种意图提示的语句，一般问题提示是与当前建筑工程项目非直接相关的查询意图。
进一步地，所述步骤S8中，数据推理的具体方法为：根据步骤S7提取获得反映用户意图的关键词，若关键词包含项目查询意图提示，则通过相似度对比的方式，从深度学习模块中已形成的BIM模型操作、BIM数据信息、工序图示数据、安全图示数据之间的信息映射，找出最符合用户意图的映射；然后根据是否用户意图是否包含参数提示、值提示，给上述信息映射赋予参数或具体值，供下一步骤S9进行反馈呈现；若关键词未包含明确的项目查询意图提示，而是包含摘要提示，则以轮询的方式，从深度学习模块中已形成的项目数据库信息映射中，查询最接近的映射，并向用户呈现；若关键词未包含明确的项目查询意图提示和摘要提示，而是包含一般问题提示，则从深度学习模块中已形成的建设法规、施工方案、项目造价、合同条款数据信息映射中，查询最接近的映射，并向用户呈现；若未提取获得可识别关键词，则反馈需要操作用户再次输入。
进一步地，所述步骤S9中，当上一步骤S8确定用户意图为BIM操作指令时，通过人机交互界面呈现BIM模型，并按照BIM操作指令对BIM模型进行定位到具体模块、放大显示、旋转模型，或高亮指定结构的操作。
进一步地，所述步骤S9中，当上一步骤S8根据用户意图查询信息映射，获得需呈现给用户的文本信息时，AI建筑工程师模块调用自然语言处理模块，需呈现给用户的文本信息转换为自然语言，供人际交互界面进行显示呈现。
进一步地，所述AI建筑工程交互方法还包括数据推理容错机制：在所述步骤S8和S9中，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，则在人机交互界面呈现多层级选项，系统以语音提示操作用户进行逐层选择，选择方式包括语音输入选项序号、触摸点击选项，操作用户可通过逐层选择锁定所需查询或操作的指令。
进一步地，所述AI建筑工程交互方法还包括对深度学习模块进行补充训练：在操作用户进行语音输入并转换为自然语言后，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，需启用数据推理容错机制，则将出现的自然语言和提取结果进行记录，在完成一轮操作后进行人工标注，再将标注后的信息导入深度学习模块进行补充训练，以便补齐信息映射数据库。
与现有技术相比，本发明能够获得如下有益效果：
1、运用BIM技术、深度学习技术、互联网技术，将软件和硬件相结合，对建筑工程项目各类文本、图像、视频信息进行数据采集、分析和优化，实现建筑工程项目技术交底和过程指导的自动化、智能化，减少人力成本和提高工作效率，拓展了智能建造的范畴。
2、本发明系统和方法与建筑工程项目的BIM模型紧密连接，一方面将BIM模型进行编码，通过深度学习建立查询操作关键词与BIM数据信息的映射，便于识别用户意图，并反馈问题答案，另一方面将BIM模型与人机交互界面建立连接，能够在显示屏直观地显示BIM模型，并相应用户操作意图进行图像的动态显示，极大地方便非专业化的施工人员通过简单语音输入或操作，了解掌握BIM模型的关键信息。
3、本发明集成语音识别处理技术、深度学习模型技术，关联BIM模型，构成虚拟的数字工程师，即AI建筑工程师，提供了BIM施工设计图交底与对话、关键工序三维模型技术交底与对话、安全交底与对话、工程造价及材料用量查询、施工合同交底与对话、法律询问等功能，可以使项目经理、技术负责等主要管理人员从已确定的施工图管理、安全技术交底、材料用量计划、施工合同界限查询等繁琐简单的工作中解脱出来，更加关注项目目标管理、项目团队管理、控制质量、安全、成本，协调处理各班组需求。对一般管理人员来说，AI虚拟建筑工程师可以弥补自身的经验不足；对工人来说，通过AI建筑工程师可以准确回答每个部位设计要求，施工要求，合同界限等。基于BIM模型和深度学习的AI建筑工程师可以大大提高建筑施工的效率。
4、在预训练和项目专题往往做不到较高智能程度的深度学习，使得操作用户的语音输入无法完全得到系统准确响应的情况下，本发明系统和方法提供了数据推理容错机制，能够通过多层级选项供用户选择，实现数据信息的查询和BIM模型的操作。兼容了智能化服务与人工操作，使系统能够顺畅使用。
5、系统提供深度学习文本训练、图像训练、BIM编码信息训练以及补充训练，多方面的结合，使深度学习模块包含的信息映射数据库，在操作使用的频次增多过程中逐步完善，用户意图的识别准确度逐步提高，具备更高的可用性。
附图说明
图1为AI建筑工程交互系统的基本结构图；
图2为AI建筑工程交互系统的详细结构图。
具体实施方式
下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开的基于BIM模型和深度学习的AI建筑工程交互系统和方法，提供智能化的工程管理。
参见图1，所述的AI建筑工程交互系统，包括AI建筑工程师运算模块、深度学习模块、语音识别模块、自然语言处理模块、人机交互界面，所述AI建筑工程师运算模块分别与所述深度学习模块、语音识别模块、自然语言处理模块、人机交互界面建立连接并交换数据，所述深度学习模块从文本数据库、图像数据库、BIM编码数据库获取数据，所述BIM编码数据库从BIM模型获取数据,所述BIM模型与所述人机交互界面建立数据连接。
参见图2，作为更为具体的示意图，所述AI建筑工程交互系统中的文本数据库包括建筑法规子数据库、施工方案子数据库、项目造价子数据库、合同条款子数据库；所述图像数据库包括工序图示子数据库、安全图示子数据库；BIM模型还通过API接口与人机交互界面建立连接；
所述语音识别模块包括语音-文字转换模块和文字-语音转换模块，与AI建筑工程师运算模块进行数据交互，能够提供语音识别转换为文字功能，以及将需进行播报的文字转换为语音的功能；
所述AI建筑工程师运算模块包括中央处理程序、人机交互接口、BIM模型控制器、语音处理接口、自然语言处理接口、深度学习模块接口和存储器。
所述人机交互界面面向操作用户，接受用户的自然语音输入、触摸屏按键或手写文字及数据等形式的输入，给出文字展示、图像展示、语音播报、BIM模型变换视频等形式的输出；
AI建筑工程交互方法，依托所述AI建筑工程交互系统展开，通过文本数据库对深度学习模块进行文本训练，通过图像数据库对深度学习模块进行图像训练；AI建筑工程师模块接受人机交互界面的输入信息，进行数据推理，将需呈现的信息反馈给人机交互界面；AI建筑工程师模块还对深度学习模块进行补充训练。
下面给出本发明的具体实施例：
以某大型建筑工程项目为例，设计团队完成建筑设计和施工方案设计，确定项目造价，签订施工合同后，在工程实施前，需对施工单位人员进行技术交底；在施工过程中，随时可能出现施工人员需要查询确认工程相关信息，获得法规和技术指导。应用本发明提供的基于BIM模型和深度学习的AI建筑工程交互系统和方法进行技术交底及过程指导。
本实施例选用联想ThinkStation P620图形工作站作为主机，配备NVIDIAGeForce RTX 3060显卡、75吋触摸显示屏，可高精度地显示BIM模型，配备有麦克风作为语音输入设备、音响作为语音输出设备；安装运行软件包括：Autodesk Revit、Python编程环境及解释器、SQL Server等，连接局域网，通过网络访问云端提供的语音识别服务和自然语音处理服务；自定义人机交互界面，集成多个显示区，包括BIM显示区、控制按钮区、文字显示区、选项菜单区。
搭建并应用基于BIM模型和深度学习的AI建筑工程交互系统和方法进行建筑工程技术交底和施工过程中的技术指导，通过以下步骤实现：
S1，根据设计施工蓝图，编制全专业BIM施工图，BIM模型包含所有工序的材料属性、设计要求的施工方法信息，在完成优化和校核的基础上，使用 Autodesk平台应用程序接口Revit API提取BIM构件对象及其属性进行自动编码，使用 Python 清理提取的建筑物信息以确保数据质量、建筑对象的数据属性的准确性；将清理后的数据导入BIM模型编码数据库，允许查询；
S2,将建筑工程技术交底所需的建设法规、施工方案、项目造价、合同条款数据导入文本数据库，将文本数据库与深度学习模块连接，进行深度学习文本训练，建立关键词与建设法规、施工方案、项目造价、合同条款数据之间的信息映射；
S3,将根据施工方案编制的包括工序示意图、安全示意图的图像数据导入图像数据库，将图像数据库与深度学习模块连接，进行深度学习图像训练，建立索引关键词与工序示意图、安全示意图之间的信息映射；
S4,将BIM模型编码数据库与深度学习模块连接进行训练，建立索引关键词与BIM构件及其属性之间的信息映射；将 Revit 模型转换为可以在浏览器中渲染的格式；通过API接口，使人机交互界面能够通过 Web 浏览器访问 BIM，进行远程调用呈现；
S5，开展建筑工程技术交底和施工过程技术指导，系统通过在人机交互界面进行文字呈现和语音播报，提示系统可提供的功能，操作用户通过语音输入，提出查询或操作意图；
S6，AI建筑工程师运算模块调用语音识别模块，对操作用户输入的语音进行识别，转换为自然语言文字；
S7，AI建筑工程师运算模块调用自然语言处理模块，对操作用户语音输入转换的自然语言文字进行分析处理，提取反映查询或操作意图的关键词；自然语言处理模块采用GPT模型，将需要分析的自然语言信息发送给GPT模型，通过已预先训练的GPT模型分析其含义并提取有用的关键词；并将有用的关键词分为以下五类：意图提示、参数提示、值提示、摘要提示和一般问题提示，其中，意图提示是与当前建筑工程项目直接相关的查询或操作意图，参数提示是与意图提示相关的参数名称，值提示是与参数提示相关的具体数值，摘要提示是包含多种意图提示的语句，一般问题提示是与当前建筑工程项目非直接相关的查询意图；
S8，AI建筑工程师运算模块进行数据推理，针对操作用户语音输入的内容，根据所提取的反映操作或查询意图的关键词，判断操作用户需操作或查询的内容与文本、图形、BIM哪一种信息相关，且属于建设规范、施工方案、项目造价、工序图示、安全图示、BIM模型操作中哪一种类型，再根据关键词，从深度学习模块已经建立的信息映射中，找出关键词对应的文本、图像信息或操作指令；数据推理的具体方法为：根据步骤S7提取获得反映用户意图的关键词，若关键词包含项目查询意图提示，则通过相似度对比的方式，从深度学习模块中已形成的BIM模型操作、BIM数据信息、工序图示数据、安全图示数据之间的信息映射，找出最符合用户意图的映射；然后根据是否用户意图是否包含参数提示、值提示，给上述信息映射赋予参数或具体值，供下一步骤S9进行反馈呈现；若关键词未包含明确的项目查询意图提示，而是包含摘要提示，则以轮询的方式，从深度学习模块中已形成的项目数据库信息映射中，查询最接近的映射，并向用户呈现；若关键词未包含明确的项目查询意图提示和摘要提示，而是包含一般问题提示，则从深度学习模块中已形成的建设法规、施工方案、项目造价、合同条款数据信息映射中，查询最接近的映射，并向用户呈现；若未提取获得可识别关键词，则反馈需要操作用户再次输入；
S9，根据步骤S8确定的文本、图像信息或操作指令，通过人机交互界面以文字形式、静态图片形式呈现数据信息，同时调用语音识别模块进行文字-语音转换，以语音播报配合文字呈现或图像变换，或控制BIM模型进行图像变换，向操作用户进行建筑工程技术交底或施工过程技术指导；当上一步骤S8确定用户意图为BIM操作指令时，通过人机交互界面呈现BIM模型，并按照BIM操作指令对BIM模型进行定位到具体模块、放大显示、旋转模型，或高亮指定结构的操作；当上一步骤S8根据用户意图查询信息映射，获得需呈现给用户的文本信息时，AI建筑工程师模块调用自然语言处理模块，需呈现给用户的文本信息转换为自然语言，供人际交互界面进行显示呈现。
AI建筑工程交互方法还包括数据推理容错机制：在所述步骤S8和S9中，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，则在人机交互界面呈现多层级选项，系统以语音提示操作用户进行逐层选择，选择方式包括语音输入选项序号、触摸点击选项，操作用户可通过逐层选择锁定所需查询或操作的指令。
AI建筑工程交互方法还包括对深度学习模块进行补充训练：在操作用户进行语音输入并转换为自然语言后，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，需启用数据推理容错机制，则将出现的自然语言和提取结果进行记录，在完成一轮操作后进行人工标注，再将标注后的信息导入深度学习模块进行补充训练，以便补齐信息映射数据库。
具体实施本发明的过程如下：
步骤S1中，BIM由Autodesk Revit格式的建筑、结构和机电系统模型组成，使用Autodesk平台应用程序接口Revit API提取构建对象及其属性进行自动编码，并将 Revit模型转换为可以在浏览器中渲染的 SVF2 格式；使用 Python 清理提取的建筑物信息以确保数据质量，建筑对象的数据属性，包括：基本信息、位置信息、建筑系统信息、设备信息、标题信息、数字信息；将清理后的数据导入基于云的MongoDB数据库中，数据以 BSON 格式存储为文档，允许灵活高效的查询；
对BIM模型进行自动编码的具体实施过程：通过在Autodesk Revit软件中使用其自带的Dynamo可视化编程工具，结合Python语言，对BIM模型中的构件进行自动分类编码,通过以下方法实现：首先为构件创建实例属性参数，然后分别对各类子构件如墙体、楼板、楼梯板进行自动编码，通过Categories节点自动提取包含类别名的图元信息，传递给AllElements of Categories节点，得到返回的所有图元编号信息列表，再将图元编号信息列表同时输送给Element.Name节点和ParameterByName节点，得到返回的子类型列表，进一步得到参数值列表，最后，将图元编号列表、构件类型列表、参数值列表输入Python Script节点中，建立循环语句，每个循环处理一个图元的信息，每个循环中通过构件类型查询，按照编码的规定顺序，将参数值依次添加到编码中，形成完整的编码，将Python Script输出的编码列表和图元编号列表输入到SetParameterByname中，将编码值赋给相应的构件。使用SQL Server配置构件信息数据库，通过TCP/IP协议将Revit数据库信息载入，得到前述过程完成的构件及编码信息，并可对其进行进一步查询操作和应用。
步骤S2中的深度学习文本训练、步骤S3中的深度学习图像训练、步骤S4中的BIM编码信息训练，以及AI建筑工程交互方法还包括的深度学习补充训练，采用深度学习框架PyTorch，分别将经过清洗的文本数据、图像数据、BIM编码数据、容错机制记录的数据作为训练数据集，通过卷积神经网络（CNN）的方式训练得到能够所需的信息映射。
步骤S4中，通过Autodesk Forge API接口，建立的基于云的 BIM，使人机交互界面能够通过 Web 浏览器访问 BIM。
步骤S6中，调用语音识别模块将操作用户输入的语音转换为自然语言文字，具体使用Python中的SpeechRecognition库进行语音识别。
步骤S7中分析自然语言信息的含义并提取有用的关键词，步骤S8中将需呈现给用户的文本信息转换为自然语言，均采用GPT模型实现，具体实施方法：使用 ChatGPT 模型(gpt-3.5-turbo-0301), 实施过程中将ChatGPT 模型的温度参数设置为0,以最小化文本生成的随机性。ChatGPT模型已经在大量文本上进行了预训练，具有显著的上下文学习能力，能够在给定提示作为起点时预测最可能的后续词汇表达，使用Python语言与外部GPTserver 通信，建立与ChatGPT 模型之间的输入输出通道，通过ChatGPT 模型分析包含任务指令的用户输入信息，进行文本分类、信息提取、摘要编制、关键词提取。在需要反馈呈现建筑项目信息给用户时，通过ChatGPT 模型扩展生硬的项目信息数据，生成相关和连贯的文本，增加可读性并改善用户体验。
步骤S9中控制人机交互界面相应用户查询，具体使用Python中的pyttsx3库来实现语音回复提醒，并使用Pillow库来显示相关的图片提示。
步骤S9中控制人机交互界面显示BIM图像，并根据用户指令进行图像变换，包括旋转视图、缩放视图、高亮局部等等，通过Python与Revit进行人机对话来实现，具体方法包括：安装运行Python解释器，安装运行为Revit提供Python交互环境的插件RevitPythonShell，在其中编写Python脚本，一方面通过Revit API提供的功能获取用户输入的操作意图信息，另一方面与Revit中进行交互，进行BIM图像变换，包括旋转视图、缩放视图、高亮局部等操作，则实现BIM显示区的人机交互。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于：包括AI建筑工程师运算模块、深度学习模块、语音识别模块、自然语言处理模块、人机交互界面，所述AI建筑工程师运算模块分别与所述深度学习模块、语音识别模块、自然语言处理模块、人机交互界面建立连接并交换数据，所述深度学习模块从文本数据库、图像数据库、BIM编码数据库获取数据，所述BIM编码数据库从BIM模型获取数据,所述BIM模型与所述人机交互界面建立数据连接；
依托所述AI建筑工程交互系统的AI建筑工程交互方法，在施工阶段提供智能化工程管理，即全专业BIM模型各构件详细信息交底、查询，三维施工安全、技术交底，施工合同、工程量查询，与项目有关的建筑法规、施工强制性条文咨询，其步骤包括：
步骤S1，编制全专业BIM模型，在完成优化和校核的基础上，对BIM模型构件与参数信息进行自动编码，建立BIM模型编码数据库；
步骤S2,创建文本数据库，将所述文本数据库与所述深度学习模块连接，进行深度学习文本训练，建立信息映射；
步骤S3,创建图像数据库，将所述图像数据库与所述深度学习模块连接，进行深度学习图像训练，建立信息映射；
步骤S4,将BIM模型编码数据库与所述深度学习模块连接，对所述深度学习模块进行训练，建立信息映射，并将BIM模型与人机交互界面连接进行调用呈现；
步骤S5，开展建筑工程技术交底，操作用户通过语音输入提出操作或查询意图；
步骤S6，对操作用户输入的语音进行识别，将所述输入的语音转换为自然语言文字；
步骤S7，分析提取操作用户操作或查询意图关键词；
步骤S8，根据步骤S7所提取的反映操作用户输入需求的关键词进行数据推理，从深度学习模块已经建立的信息映射中找出对应信息或指令；
步骤S9，通过人机交互界面呈现文字、语音、图像或BIM模型图像，向操作用户进行建筑工程技术交底和查询响应。
2.根据权利要求1所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于：
所述文本数据库包括建筑法规子数据库、施工方案子数据库、项目造价子数据库、合同条款子数据库；所述图像数据库包括工序图示子数据库、安全图示子数据库；
所述语音识别模块包括语音-文字转换模块和文字-语音转换模块；
所述人机交互界面包括触摸显示屏、语音输入设备、语音输出设备；
所述触摸显示屏设有BIM显示区、控制按钮区、文字显示区、选项菜单区；
所述AI建筑工程师运算模块包括中央处理程序、人机交互接口、BIM模型控制器、语音处理接口、自然语言处理接口、深度学习模块接口和存储器；
所述AI建筑工程交互方法的步骤S1-S9具体内容还包括：
步骤S1，根据设计施工蓝图，编制全专业BIM施工图，BIM模型包含所有工序的材料属性、设计要求的施工方法信息，在完成优化和校核的基础上，使用 Autodesk平台应用程序接口Revit API提取BIM构件对象及其属性进行自动编码，使用 Python 清理提取的建筑物信息以确保数据质量、建筑对象的数据属性的准确性；将清理后的数据导入BIM模型编码数据库，允许查询；
步骤S2,将建筑工程技术交底所需的建设法规、施工方案、项目造价、合同条款数据导入文本数据库，将文本数据库与深度学习模块连接，进行深度学习文本训练，建立关键词与建设法规、施工方案、项目造价、合同条款数据之间的信息映射；
步骤S3,将根据施工方案编制的工序示意图、安全示意图的图像数据导入图像数据库，将图像数据库与深度学习模块连接，进行深度学习图像训练，建立索引关键词与工序示意图、安全示意图之间的信息映射；
步骤S4,将BIM模型编码数据库与深度学习模块连接进行训练，建立索引关键词与BIM构件及其属性之间的信息映射；将 Revit 模型转换为可以在浏览器中渲染的格式；通过API接口，使人机交互界面能够通过 Web 浏览器访问 BIM模型编码数据库，进行远程调用呈现；
步骤S5，开展建筑工程技术交底和施工过程技术指导，系统通过在人机交互界面进行文字呈现和语音播报，提示系统可提供的功能，操作用户通过语音输入，提出查询或操作意图；
步骤S6，AI建筑工程师运算模块调用所述语音识别模块，对操作用户输入的语音进行识别，转换为自然语言文字；
步骤S7，AI建筑工程师运算模块调用所述自然语言处理模块，对操作用户语音输入转换得到的自然语言文字进行分析处理，提取反映查询或操作意图的关键词；
步骤S8，AI建筑工程师运算模块进行数据推理，针对操作用户语音输入的内容，根据所提取的反映操作或查询意图的关键词，判断操作用户需操作或查询的内容与文本、图形、BIM模型中的哪一种信息相关，且属于建设规范、施工方案、项目造价、工序图示、安全图示、BIM模型操作中哪一种类型，再根据关键词，从深度学习模块已经建立的信息映射中，找出关键词对应的文本、图像信息或操作指令；
步骤S9，根据步骤S8确定的文本、图像信息或操作指令，通过人机交互界面以文字形式、静态图片形式呈现数据信息，同时调用语音识别模块进行文字-语音转换，以语音播报配合文字呈现或图像变换，或控制BIM模型进行图像变换，向操作用户进行建筑工程技术交底或施工过程技术指导。
3.根据权利要求2所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法所述步骤S7中，自然语言处理模块采用GPT模型，将需要分析的自然语言信息发送给GPT模型，通过已预先训练的GPT模型分析其含义并提取有用的关键词；并将有用的关键词分为以下五类：意图提示、参数提示、值提示、摘要提示和一般问题提示，其中，所述意图提示是与当前建筑工程项目直接相关的查询或操作意图，参数提示是与意图提示相关的参数名称，值提示是与参数提示相关的具体数值，摘要提示是包含多种意图提示的语句，一般问题提示是与当前建筑工程项目非直接相关的查询意图。
4.根据权利要求2所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法步骤S8中，数据推理的具体方法为：根据步骤S7提取获得反映用户意图的关键词，若关键词包含项目查询意图提示，则通过相似度对比的方式，从深度学习模块中已形成的BIM模型操作、BIM数据信息、工序图示数据、安全图示数据之间的信息映射，找出最符合用户意图的映射；然后根据用户意图是否包含参数提示、值提示，给上述信息映射赋予参数或具体值，供下一步骤S9进行反馈呈现；若关键词未包含明确的项目查询意图提示，而是包含摘要提示，则以轮询的方式，从深度学习模块中已形成的项目数据库信息映射中，查询最接近的映射，并向用户呈现；若关键词未包含明确的项目查询意图提示和摘要提示，而是包含一般问题提示，则从深度学习模块中已形成的建设法规、施工方案、项目造价、合同条款数据信息映射中，查询最接近的映射，并向用户呈现；若未提取获得可识别关键词，则反馈需要操作用户再次输入。
5.根据权利要求4所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法步骤S9中，当所述步骤S8确定用户意图为执行BIM操作指令时，通过人机交互界面呈现BIM模型，并按照BIM操作指令对BIM模型执行定位到具体模块、放大显示、旋转模型，或高亮指定结构的操作。
6.根据权利要求4所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法步骤S9中，当所述步骤S8根据用户意图查询信息映射，获得需呈现给用户的文本信息时，AI建筑工程师模块调用自然语言处理模块，将需呈现给用户的文本信息转换为自然语言，供人际交互界面进行显示呈现。
7.根据权利要求4所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法还包括数据推理容错机制：在所述步骤S8和S9中，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，则在人机交互界面呈现多层级选项，系统以语音提示操作用户进行逐层选择，选择方式包括语音输入选项序号、触摸点击选项，操作用户可通过逐层选择锁定所需查询或操作的指令。
8.根据权利要求7所述的基于BIM模型和深度学习的AI建筑工程交互系统，其特征在于，所述AI建筑工程交互方法还包括对深度学习模块进行补充训练：在操作用户进行语音输入并转换为自然语言后，如果用户意图无法提取到可与深度学习模块中现有信息映射对应的意图提示、摘要提示、一般问题提示，需启用数据推理容错机制，将出现的自然语言和提取结果进行记录，在完成一轮操作后进行人工标注，再将标注后的信息导入深度学习模块进行补充训练，以便补齐信息映射数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311527818.4A CN117290938B (zh) | 2023-11-16 | 2023-11-16 | 基于bim模型和深度学习的ai建筑工程交互系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311527818.4A CN117290938B (zh) | 2023-11-16 | 2023-11-16 | 基于bim模型和深度学习的ai建筑工程交互系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117290938A CN117290938A (zh) | 2023-12-26 |
| CN117290938B true CN117290938B (zh) | 2024-04-16 |
Family
ID=89253782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311527818.4A Active CN117290938B (zh) | 2023-11-16 | 2023-11-16 | 基于bim模型和深度学习的ai建筑工程交互系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117290938B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978727A (zh) * | 2019-03-28 | 2019-07-05 | 上海荷福人工智能科技（集团）有限公司 | 一种ai智能建筑运维平台 |
| CN113688459A (zh) * | 2021-08-31 | 2021-11-23 | 中国建筑第七工程局有限公司 | 基于bim与ai的施工现场安全管理系统 |
| WO2023012005A1 (en) * | 2021-08-03 | 2023-02-09 | Build Trust S.R.L. | Method and system for managing construction projects with automatic generation of smart contract |
| CN116186821A (zh) * | 2022-09-08 | 2023-05-30 | 比姆泰客信息科技(上海)有限公司 | 一种基于bim技术的ai自动化施工方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220215135A1 (en) * | 2021-01-02 | 2022-07-07 | Douglas Maurice Shortridge | Systems And Methods For Training Modelers In Journey-Working |
-
2023
- 2023-11-16 CN CN202311527818.4A patent/CN117290938B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978727A (zh) * | 2019-03-28 | 2019-07-05 | 上海荷福人工智能科技（集团）有限公司 | 一种ai智能建筑运维平台 |
| WO2023012005A1 (en) * | 2021-08-03 | 2023-02-09 | Build Trust S.R.L. | Method and system for managing construction projects with automatic generation of smart contract |
| CN113688459A (zh) * | 2021-08-31 | 2021-11-23 | 中国建筑第七工程局有限公司 | 基于bim与ai的施工现场安全管理系统 |
| CN116186821A (zh) * | 2022-09-08 | 2023-05-30 | 比姆泰客信息科技(上海)有限公司 | 一种基于bim技术的ai自动化施工方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于 BIM+智慧工地精细化项目管理 决策平台的研究与应用;沈夏磊;工程质量;20231110;第41卷(第11期);53-58 * |
| 基于信息化的工程总承包建设与运维;吴晓波等;中国勘察设计;20231115(第11期);58-61 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117290938A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Integrated application of BIM and eXtended reality technology: a review, classification and outlook | |
| CN111914074A (zh) | 基于深度学习与知识图谱的限定领域对话生成方法及系统 | |
| CN113886362A (zh) | 基于工作流引擎及低代码平台的数据存储系统及存储方法 | |
| Shin et al. | BIMASR: framework for voice-based BIM information retrieval | |
| Hmida et al. | Knowledge base approach for 3d objects detection in point clouds using 3d processing and specialists knowledge | |
| Martin et al. | A VR-CAD Data Model for Immersive Design: The cRea-VR Proof of Concept | |
| JP2001216142A (ja) | プログラム作成支援装置 | |
| JP2005004543A (ja) | ユーザインターフェース方法および装置、ならびにコンピュータ・プログラム | |
| CN114117645A (zh) | 一种舰船总体性能预报集成应用系统 | |
| CN117290938B (zh) | 基于bim模型和深度学习的ai建筑工程交互系统和方法 | |
| CN116860985A (zh) | 一种基于知识图谱的自然语言交互软件框架及其构建方法 | |
| CN115857930A (zh) | 一种基于实景模型的原型快速设计方法及系统 | |
| CN109857462A (zh) | 遥感图像可视化编辑器的后台Docker任务映射方法 | |
| US11386624B2 (en) | Artificial intelligence and augmented reality system and method | |
| CN112346736B (zh) | 一种数据处理方法和系统 | |
| CN111291444B (zh) | 飞机装配的建模方法、装置、设备及存储介质 | |
| CN114116779A (zh) | 基于深度学习的电网调控领域信息检索方法、系统和介质 | |
| Corneli et al. | Natural language processing for construction sites management | |
| CN115951882B (zh) | 一种基于vue实现的第三方接口格式转换平台及方法 | |
| Nikolaychuk et al. | Rule creation based on decision tables in knowledgebased systems development platform. | |
| Yalcinkaya et al. | Evolution of a BIM-based facilities management solution from a monolithic BIM-centric approach to a semantically rich granular 2D and 3D visualisation | |
| JPH01229321A (ja) | ユーザインタフェース作成装置 | |
| Alexandersson et al. | Ends-based dialogue processing | |
| Bottoni et al. | Principled design of visual languages for interaction | |
| CN114580055A (zh) | 一种基于bim技术的三维场地自动化布置方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |