CN115268646A - 一种人机协同建造过程感知系统、装置、分析方法和介质 - Google Patents
一种人机协同建造过程感知系统、装置、分析方法和介质 Download PDFInfo
- Publication number
- CN115268646A CN115268646A CN202210921530.4A CN202210921530A CN115268646A CN 115268646 A CN115268646 A CN 115268646A CN 202210921530 A CN202210921530 A CN 202210921530A CN 115268646 A CN115268646 A CN 115268646A
- Authority
- CN
- China
- Prior art keywords
- data
- virtual
- module
- environment
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000008569 process Effects 0.000 title claims abstract description 66
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 230000003993 interaction Effects 0.000 claims abstract description 102
- 230000006399 behavior Effects 0.000 claims abstract description 60
- 230000008447 perception Effects 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000011273 social behavior Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 230000036544 posture Effects 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000012300 Sequence Analysis Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 2
- 239000000470 constituent Substances 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000008676 import Effects 0.000 abstract description 8
- 238000002474 experimental method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012827 research and development Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种人机协同建造过程感知系统、装置、分析方法和介质，包括：模型建立模块，用于对机器人和建造环境进行建模；数据转换导入模块，用于将模型建立模块建立的模型导入虚实环境交互模块，感知模块，用于感知人员行为和虚拟环境信息；虚实环境交互模块，用于接收数据转换导入模块和感知模块的数据，根据接收的数据进行虚实环境交互，并将处理结果反馈至感知模块；数据融合模块，用于对不同感知模块的数据进行融合；数据分析输出模块，用于根据数据融合模块输出的数据中获得人机交互协同行为特征数据及其动态变化规律，并预测特征数据及动态变化规律对建造结果的影响。其为人机协同建造过程优化调度提供一种经济、高效、灵活的支撑平台。
Description
技术领域
本发明涉及一种人机协同建造过程感知系统、装置、分析方法和介质，属于建筑业信息技术领域。
背景技术
建筑业是国民经济的重要支柱产业。但我国建筑业长期存在高耗低效、管理粗放等问题，在新一代信息技术的渗透下，传统建造方式受到巨大冲击。同时，由于施工现场环境恶劣、风险高，建筑工人需求缺口日益巨大。在智能建造及劳动力短缺背景下，建筑机器人的研究与应用正在迅猛发展。
由于施工场景具有高度的动态性与复杂性，是典型的非结构化场景，机器人及人工智能尚不能完全理解和应对此类复杂场景。工程施工现场将长期处在工人与机器人共存并协同工作的状态。机器人具有工作高效、质量统一、适应恶劣环境等优势，但在灵活性、开放环境理解、应急响应等方面具有明显局限性。人类具有高度的灵活性、适应性及学习能力，但存在人身安全以及疲劳、遗忘等人因工程学方面的限制。建造过程中人机状态具有不同的演化特点、相互之间也具有复杂的交互协同关系，对建造效率、质量、安全等具有显著影响。如何研发高效的建造机器人、培训施工人员、优化人机协同建造过程，有效发挥人机各自的优势，实现高效高质量建造是未来智能建造领域面临的关键瓶颈之一。
当前，施工机器人研发、建造过程优化等仍然以单纯的机器人虚拟仿真、施工现场实地测试实验与经典优化方法为主，缺乏便捷、灵活的人机协同建造过程测试、分析技术与手段。另一方面，基于真实施工现场开展人机协同建造实验或人员培训面临难度大、可控性差、危险性高以及重复性低等系列挑战，完全采用实体机器人的实验环境同时也面临成本高、灵活性低等瓶颈。
综上所述，既有方法仅仅聚焦于机器人本身的仿真或测试，忽视了人员特征、人机协同模式等不同因素对建造效率、安全、质量等的影响，直接制约了未来人机协同建造技术的研发、推广及应用。
发明内容
针对上述问题，本发明的目的是提供了一种人机协同建造过程感知系统、装置、分析方法和介质，其实现了建造过程人员、机器人、建造环境(简称“人-机-环”)交互协同过程的动态推演、跟踪与分析，为建造机器人研发测试、人员培训以及人机协同建造过程优化调度提供一种经济、高效、灵活的方法和支撑平台。
为实现上述目的，本发明提出了以下技术方案：一种人机协同建造过程感知系统，其特征在于，包括：模型建立模块、数据转换导入模块、感知模块、虚实环境交互模块、数据融合模块和数据分析输出模块，所述感知模块，用于感知人员行为和虚拟环境信息；所述虚实环境交互模块，用于根据建立的机器人和建造环境模型，人员行为和虚拟环境信息，进行虚实环境交互，获得处理结果；所述数据融合模块，用于对不同所述感知模块的数据进行融合；所述数据分析输出模块，用于根据所述数据融合模块获得的处理结果，获得人机交互协同行为特征数据及其动态变化规律，并预测所述特征数据及动态变化规律对人机协同建造过程及其结果的影响。
进一步，系统还包括：模型建立模块，用于建立不同功能的建造机器人的三维数字模型和建立不同建造场景的三维数字模型。
进一步，所述不同功能包括不同运行状态和不同响应行为；所述不同建造场景包括已建成的建筑构成部分，以及由不同机器人或人员建造行为导致的建造环境变化；所述建造行为包括构配件、材料的增加、减少以及位置、路径以及外观显示效果变化。
进一步，所述感知模块用于实现人员相关虚实交互和人机协同建造行为的感知和数据采集，虚拟环境中机器人行为、状态以及建造环境状态变化的动态记录和数据采集。
进一步，所述人员行为感知模块采集的数据包括下述中的至少一种：不同时间的心电、脉搏、眼动、脑电、肌电信号、不同时间的人员姿态、动作、位置、路径、速度、频率和持续时长；所述虚拟环境感知模块采集的数据包括各时间点的机器人状态、位置、路径、运行效率、构配件位置、状态和路径变化。
进一步，所述虚实环境交互模块通过空间定位建立虚拟模型与人员所处真实环境的映射关系，实现虚实融合，并为人员提供虚实交互接口，同时根据真实环境中人员的交互操作或反馈，实现虚拟环境中机器人行为的更新调整以及建造环境状态和行为的更新。
进一步，所述数据融合模块将所述人员行为感知模块和虚拟环境感知模块采集到的多模态数据进行清洗和处理，并根据所述多模态数据的关联性实现多模态数据的融合和集成；所述数据融合模块通过时间序列分析、卡尔曼滤波以及深度学习方法实现。
本发明还公开了一种人机协同建造过程感知装置，用于上述的人机协同建造过程感知系统，包括：虚拟显示单元、人机交互单元、可穿戴感知单元、非侵入感知单元、数据存储单元和计算控制单元；虚拟显示单元，用于动态更新和显示虚拟场景信息，能够与真实环境相融合，形成增强现实或混合现实显示效果；人机交互单元，用于通过专用交互设备实现人与虚拟环境交互意图和命令的识别，并反馈到计算控制单元；可穿戴感知单元，用于对人员特征以及交互意图的感知和获取，并反馈到计算控制单元；非侵入感知单元，用于对实验环境空间及人员特征数据进行非侵入式感知和跟踪，并将数据传输到计算控制单元；数据存储单元，用于存储创建完成的建造机器人及建造环境的虚拟模型数据，人机交互单元、虚拟显示单元、可穿戴感知单元和非侵入单元产生的原始数据以及计算控制单元加工处理后的数据；计算控制单元，用于根据人机交互单元、可穿戴感知单元和非侵入感知单元产生的数据，对环境空间、人员特征和交互意图进行识别和记录；动态控制虚拟显示单元的显示内容和角度，同时动态记录虚拟空间中产生的数据。
本发明还公开了一种人机协同建造过程感知分析方法，用于上述任一项人机协同建造过程感知系统，包括以下步骤：根据环境虚拟模型、机器人虚拟模型和感知模块的数据构建或调整虚实交互环境；根据虚实交互环境，通过人机协同完成预设场景的工程建造工作，并通过感知模块获取人员行为、机器人以及建造环境的交互作用和状态变化数据；将上一步中不同感知模块采集到的不同模态的数据融合到一起，实现不同模态数据的互补和增强；基于上一步中经过互补和增强的数据，综合分析人员生理、心理和动作行为以及机器人性能状态的相互作用和交互机理，获得建造过程人机协同的基本规律和特征，并定性与定量分析人机协同建造行为对人机协同建造过程及其结果的影响。
本发明还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现上述人机协同建造过程感知分析方法。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明实现了建造过程人员、机器人、建造环境(简称“人-机-环”)交互协同过程的动态推演、跟踪与分析，为建造机器人研发测试、人员培训以及人机协同建造过程优化调度提供一种经济、高效、灵活的方法和支撑平台。
2、本发明中创新虚实融合的人机协同建造过程感知系统与分析可将建造环境、机器人及其特征、行为虚拟化，并通过多模态感知手段采集人员生理、交互行为以及人机协同特征等数据，既可以开展反复实验总结、发现人机协同的关键机理规律，也可以较低成本扩展不同工程场景、不同功能的建造机器人，甚至开展大规模多人多机协同实验；为建造人员培训教学、机器人研发测试以及人机协同调度优化等带来高效、便捷的手段和工具。
3、本发明可以掌握不同人员特征及行为对工程建造的影响，从而可引导和培训建造人员采用最优的人机协同与交互方式，提升建造效率质量等；可以建立拟研发的机器人的虚拟模型并通过系列实验发现机器人设计方案的不足与缺陷，或分析机器人的潜在价值，从而为机器人研发提供支持和指导；可以综合考虑人员特征及机器人特征，实现人员、机器人及其交互协同过程的动态调度调整，从而提升建造效率、质量与安全。
附图说明
图1是本发明一实施例中人机协同建造过程感知系统的结构示意图；
图2是本发明一实施例中人机协同建造过程感知装置的结构示意图；
图3是本发明另一实施例中人机协同建造过程感知装置的结构示意图；
图4是本发明一实施例中人机协同建造过程感知方法的流程图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
基于真实施工现场开展人机协同建造实验或人员培训面临难度大、可控性差、危险性高以及重复性低等系列挑战，完全采用实体机器人的实验环境同时也面临成本高、灵活性低等瓶颈；同时，现有方法仅仅聚焦于机器人本身的仿真或测试，忽视了人员特征、人机协同模式等不同因素对建造效率、安全、质量等的影响，直接制约了未来人机协同建造技术的研发、推广及应用。
为了解决现有技术中存在的问题，本发明提出了一种人机协同建造过程感知系统、装置、分析方法和介质，其通过构建机器人及建造环境的虚拟模型，并利用混合现实、人机交互等实现真实场景建造人员与虚拟场景机器人、建造环境的交互反馈，高效模拟人机协同建造过程；同时，通过多种传感器及虚拟环境数据记录等技术对人员行为(包括但不限于心率、眼动、肢体姿态、运动速度、施工动作等)、机器人行为(包括但不限于运行状态、效率、位置、路径等)、建造环境状态(包括但不限于构配件位置、状态、场地布置等)进行全方位感知和获取，允许对不同工人、机器人及其协同行为的分析、提取，并评估不同人机协同行为对建造质量、效率、安全的影响；最终，为机器人研发测试、建造人员培训教学以及人机协同建造过程优化调度提供支持。下面结合附图，通过实施例对本发明的方案进行详细阐述。
实施例一
本实施例公开了一种人机协同建造过程感知系统，如图1所示，包括：模型建立模块、数据转换导入模块、感知模块、虚实环境交互模块、数据融合模块和数据分析输出模块，通过各模块的感知、数据挖掘及分析算法、功能，支持创建、集成建造环境及机器人的虚拟模型，并根据人员交互反馈动态更新、显示机器人及建造环境状态，记录、分析人机协同的特征、规律及其对建造过程的影响。
具体的，模型建立模块，用于对机器人和建造环境进行建模；模型建立模块包括机器人虚拟建模子模块和建造环境虚拟建模模块，机器人虚拟建模子模块，用于建立装配、施工等不同功能的建造机器人的三维数字模型，不同功能包括不同运行状态，以及在不同建筑环境、人员交互反馈下的响应行为等。响应行为包括状态、位置、空间姿态的动态变化，可以采用不同机器人建模软件、工具或通用三维建模工具。
建造环境虚拟建模模块，用于建立构装配、施工等不同建造场景的三维数字模型。不同建造场景包括场地、材料、构配件以及其他已建成的建筑构成部分，以及由不同机器人或人员建造行为导致的建造环境变化行为。建造行为包括构配件、材料的增加、减少以及位置、路径以及外观显示效果变化等。该模块可以采用不同三维建模软件，如Revit、BIMMake等BIM软件或3ds max、maya等三维动画软件等创建。
数据转换导入模块，用于接入不同模型建立模块建立的模型，包括机器人数字模型和建造环境数字模型，并转换为虚实环境交互模块可以接收的数据格式，将该模型导入虚实环境交互模块。
感知模块，用于感知人员行为和虚拟环境信息。感知模块包括人员行为感知模块和虚拟环境感知模块，人员行为感知模块，用于实现人员相关虚实交互和人机协同建造行为的感知和数据采集，人员行为感知模块采集的数据既包括不同时间的心电、脉搏、眼动、脑电和肌电信号等生理数据，也包括不同时间的人员姿态、动作、位置、路径、速度、频率和持续时长等数据，具体可通过可穿戴感知单元及非侵入感知单元的相关传感器，如视觉传感器、定位传感器、可穿戴传感器以及其他传感器，实现数据采集。虚拟环境感知模块，用于虚拟环境中机器人行为、状态以及建造环境状态变化的动态记录和数据采集。虚拟环境感知模块采集的数据包括各时间点的机器人状态、位置、路径、运行效率、构配件位置、状态和路径变化等建造环境变化数据。具体可通过在虚实交互模块中二次开发有关软件模块等方法实现。
虚实环境交互模块，用于接收数据转换导入模块和感知模块的数据，根据接收的数据进行虚实环境交互，并将处理结果反馈至感知模块。虚实环境交互模块通过空间定位建立虚拟模型与人员所处真实环境虚实融合，并为人员提供直观的虚实交互接口，同时根据真实环境中人员的交互操作或反馈，实现虚拟环境中机器人行为的更新调整以及建造环境状态和行为的更新。人员的交互操作包括选取菜单、按钮等，也包括操作、移动虚拟环境中的机器人、建筑构配件等实现人机协同建造的行为，虚实环境交互模块以人机交互单元、虚拟显示单元和计算机控制单元为基础，可通过手势、语音等识别算法实现。
数据融合模块，用于对不同感知模块的数据进行融合。数据融合模块将人员行为感知模块和虚拟环境感知模块采集到的多模态数据进行清洗和处理，并根据多模态数据的关联性实现多模态数据的融合和集成，为后续数据分析和输出奠定基础；数据融合模块具体可以采用时间序列分析、卡尔曼滤波以及深度学习等方法实现。
数据分析输出模块，用于根据数据融合模块输出的数据中获得人员生理状态、机器人状态、建造环境状态以及人机交互协同行为特征数据及其动态变化规律，并预测特征数据及动态变化规律对建造效率、质量和安全的影响。该数据分析输出模块以可视化图表、动画等不同形式输出和显示，以便管理和决策者直观理解，具体可以采用统计分析、因果建模、机器学习、深度学习等各种数据分析算法实现。
以上系统各模块可以采用不同软件的形式存在，也可以为同一软件的多个模块或单个集成模块的形式存在；只要具有上述功能即可。
实施例二
基于相同的发明构思，本实施例公开了一种人机协同建造过程感知装置，用于上述的人机协同建造过程感知系统，如图2所示，包括：虚拟显示单元、人机交互单元、可穿戴感知单元、非侵入感知单元、数据存储单元和计算控制单元；其为虚拟模型显示、人员虚实互动以及虚实场景人员、机器人及建造数据的感知、分析、存储提供支持。
虚拟显示单元，用于基于计算控制单元发送的指令，动态更新和显示虚拟场景信息，能够与真实环境相融合，形成增强现实或混合现实显示效果，为人机交互提供基础；具体可以基于虚拟现实头盔、混合现实眼镜、裸眼三维显示等多种设备实现。
人机交互单元，用于通过虚拟手势、语音、姿态识别或手柄等专用交互设备实现人与虚拟环境交互意图和命令的识别，并反馈到计算控制单元；具体可通过Kinect、HTC Vive手柄等设备实现。
可穿戴感知单元，用于对人员特征以及交互意图的感知和获取，并反馈到计算控制单元；其中，人员特征包括脑电、肌电、眼动等生理状态以及运动姿态、位置和路径等。具体可采用脑电仪、肌电、眼动仪、触觉手套、腕带、虚拟现实头盔、混合现实眼镜等多种设备实现。
非侵入感知单元，用于对实验环境空间及人员位置、轨迹、运动姿态等人员特征数据进行非侵入式感知和跟踪，并将数据传输到计算控制单元；具体可采用摄像头、激光扫描仪等设备实现。
数据存储单元，用于存储创建完成的建造机器人及建造环境的虚拟模型数据，人机交互单元、虚拟显示单元、可穿戴感知单元和非侵入单元产生的原始数据以及计算控制单元加工处理后的数据；具体可采用不同类别的硬盘等具有存储功能的设备实现。
计算控制单元，实现人机交互单元、虚拟显示单元、可穿戴感知单元、非侵入感知单元和数据存储单元不同组成单元的数据交互与控制，用于根据人机交互单元、可穿戴感知单元和非侵入感知单元产生的数据，对环境空间、人员特征和交互意图进行识别和记录，并存储到数据存储单元；基于数据存储单元的虚拟模型数据及人机交互单元、可穿戴感知单元、非侵入感知单元产生的环境空间、人员特征与交互意图信息动态控制虚拟显示单元的显示内容和角度，同时动态记录虚拟空间中产生的施工环境、机器人状态等数据。具体可采用CPU、GPU、FPGA等不同计算芯片等实现。
以上多个单元可以单个设备或硬件装置的形式存在，如混合现实眼镜可兼具虚拟显示、人机交互、可穿戴感知、数据存储以及计算控制等多个单元；高性能图形工作站则可兼具数据存储、计算控制与虚拟显示等多个单元；这里不再一一列举。
实施例三
基于相同的发明构思，本实施例通过一个具体的实例对实施例二中方案进行详细说明，如图3所示，包括：虚拟显示单元、人机交互单元、可穿戴感知单元、非侵入感知单元、数据存储单元和计算控制单元。
虚拟显示单元、人机交互单元均基于HoloLens实现，可穿戴感知单元基于佩戴于各关节处的惯性传感器、力反馈手套实现，非侵入感知单元主要由摄像头实现，计算控制单元与数据存储单元则由高性能图形工作站与HoloLens实现；单元之间通过无线网络及有线网络传输实现指令、数据的互通；
建造环境虚拟建模及机器人虚拟建模模块分别基于Autodesk Revit、Unity3D创建，并通过Unity3D内置的数据接口实现数据转换导入模块，虚实环境交互模块及虚拟环境感知模块则通过Unity3D二次开发实现，利用Unity3D日志记录的形式动态采集虚拟环境的各类状态数据，并利用HoloLens及Unity3D软件接口记录人员姿态、交互命令、眼动等信息；人员行为感知模块、数据融合模块及数据分析输出模块均通过开发专用软件模块并部署于高性能图形工作站；具体的，人员行为感知模块采用了Mask-RCNN人员姿态识别算法、以及基于惯性传感器的三维位置估计算法，并通过力反馈手套的SDK获取手部触觉反馈数据；数据融合模块则利用卡尔曼滤波、长短期记忆网络等有关python算法及工具包开发实现；数据分析及输出模块则主要利用统计分析、贝叶斯网络等算法实现，并基于python开发有关图表数据可视化界面。
针对机器人砌砖场景，本申请基于以上装置与系统的实施例及所提出的方法建立了建造环境、机器人的虚拟模型，并选取单个机器人-单个工人、单个机器人-多个工人等场景，测试分析了不同人机交互特征以及机器人不同信息反馈方式对人机协同建造效率的影响，发现机器人主动信息反馈对效率提升影响显著，为机器人开发提供了有益的建议和支持。
实施例四
基于相同的发明构思，本实施例公开了一种人机协同建造过程感知分析方法，用于上述任一项人机协同建造过程感知系统，如图4所示，包括创建环境虚拟模型、创建机器人虚拟模型、加载机整合虚拟模型数据、构建或调整虚实交互环境、开展系列人机协同建造实验、动态采集人-机-环交互数据、融合人-机-环感知数据、人机协同建造行为与机理分析等步骤，并为人员培训、机器人评估测试及人机协同调度等多个场景提供支持。其具体包括以下步骤：
S1创建环境虚拟模型：通过建造环境虚拟建模模块，结合预设人机协同建造场景，创建建造环境的虚拟模型，包括但不限于场地或工厂设施布置、材料、构配件及其属性、位置等，并须设置建造环境各组成部分在不同人员交互行为、机器人行为作用下的动态变化，如位置、形态、材质、色泽等的变化。
S2创建机器人虚拟模型：通过机器人虚拟建模模块，针对特定人机协同建造场景，创建有关机器人的虚拟模型，包括但不限于机器人的形体、功能、工作模式以及对不同人员交互行为的响应、反馈方式等，同时也包括对其他机器人行为、状态以及建造环境状态变化的响应和变化。
S3加载及整合环境虚拟模型和机器人虚拟模型，并将其导入虚实环境交互模块；通过数据转换导入模块，将建造环境虚拟模型及机器人虚拟模型加载并整合到一起，导入虚实环境交互模块，为后续开展人机协同建造实验奠定基础。
S4根据环境虚拟模型、机器人虚拟模型和感知模块的数据构建或调整虚实交互环境；根据人机协同建造场景要求，对虚拟显示单元、人机交互单元、可穿戴感知单元和非侵入感知单元的空间位置、布局进行调整和修改，以更好地实现人机协同行为的跟踪和记录；同时，设置或调整虚拟环境中机器人、建造环境的默认参数、状态等初始条件并设置虚拟环境感知模块各项数据的采集、跟踪频率以及范围等，以满足后续实验要求。
S5根据虚实交互环境，开展系列人机协同建造实验，针对预设人机协同建造场景，选择多名建造人员参与实验，与虚拟环境中的机器人配合完成预设场景的工程建造工作，在以上实验开展过程中，通过感知模块动态采集和记录人员行为、机器人以及建造环境的交互作用和状态变化数据。
S6融合人-机-环多模态感知数据：利用数据融合模块，将上一步中不同感知模块采集到的不同模态的数据融合到一起，实现不同模态数据的互补和增强；
S7人机协同建造行为与机理分析：基于数据分析输出模块，综合分析人员生理、心理、动作行为以及机器人性能、状态的相互作用、交互机理，获得建造过程人机协同的基本规律和特征，并定性与定量分析人机协同建造行为对建造效率、质量和安全的影响。
基于以上分析，本实施例中方案可以掌握不同人员特征及行为对工程建造的影响，从而可引导和培训建造人员采用最优的人机协同与交互方式，提升建造效率质量等；可以建立拟研发的机器人的虚拟模型并通过系列实验发现机器人设计方案的不足与缺陷，或分析机器人的潜在价值，从而为机器人研发提供支持和指导；综合考虑人员特征及机器人特征，实现人员、机器人及其交互协同过程的动态调度调整，从而提升建造效率、质量与安全。
以上多个步骤可合并为单个步骤，或某单个步骤可拆分为多个步骤，并可根据实际情况取舍个别步骤。
实施例五
基于相同的发明构思，本实施例公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现上述人机协同建造过程感知分析方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人机协同建造过程感知系统，其特征在于，包括：感知模块、虚实环境交互模块、数据融合模块和数据分析输出模块，
所述感知模块，用于感知人员行为和虚拟环境信息；
所述虚实环境交互模块，用于根据建立的机器人和建造环境模型，人员行为和虚拟环境信息，进行虚实环境交互，获得处理结果；
所述数据融合模块，用于对不同所述感知模块的数据进行融合；
所述数据分析输出模块，用于根据所述数据融合模块获得的处理结果，获得人机交互协同行为特征数据及其动态变化规律，并预测所述特征数据及动态变化规律对人机协同建造过程及其结果的影响。
2.如权利要求1所述的人机协同建造过程感知系统，其特征在于，还包括：
模型建立模块，用于建立不同功能的建造机器人的三维数字模型和建立不同建造场景的三维数字模型。
3.如权利要求2所述的人机协同建造过程感知系统，其特征在于，所述不同功能包括不同运行状态和不同响应行为；所述不同建造场景包括已建成的建筑构成部分，以及由不同机器人或人员建造行为导致的建造环境变化；所述建造行为包括构配件、材料的增加、减少以及位置、路径以及外观显示效果变化。
4.如权利要求1所述的人机协同建造过程感知系统，其特征在于，所述感知模块用于实现人员相关虚实交互和人机协同建造行为的感知和数据采集，虚拟环境中机器人行为、状态以及建造环境状态变化的动态记录和数据采集。
5.如权利要求4所述的人机协同建造过程感知系统，其特征在于，所述人员行为感知模块采集的数据包括下述中的至少一种：不同时间的心电、脉搏、眼动、脑电、肌电信号、不同时间的人员姿态、动作、位置、路径、速度、频率和持续时长；所述虚拟环境感知模块采集的数据包括各时间点的机器人状态、位置、路径、运行效率、构配件位置、状态和路径变化。
6.如权利要求1所述的人机协同建造过程感知系统，其特征在于，所述虚实环境交互模块通过空间定位建立虚拟模型与人员所处真实环境的映射关系，实现虚实融合，并为人员提供虚实交互接口，同时根据真实环境中人员的交互操作或反馈，实现虚拟环境中机器人行为的更新调整以及建造环境状态和行为的更新。
7.如权利要求4所述的人机协同建造过程感知系统，其特征在于，所述数据融合模块将所述人员行为感知模块和虚拟环境感知模块采集到的多模态数据进行清洗和处理，并根据所述多模态数据的关联性实现多模态数据的融合和集成；所述数据融合模块通过时间序列分析、卡尔曼滤波以及深度学习方法实现。
8.一种人机协同建造过程感知装置，其特征在于，用于如权利要求1-7任一项所述的人机协同建造过程感知系统，包括：虚拟显示单元、人机交互单元、可穿戴感知单元、非侵入感知单元、数据存储单元和计算控制单元；
所述虚拟显示单元，用于动态更新和显示虚拟场景信息，能够与真实环境相融合，形成增强现实或混合现实显示效果；
所述人机交互单元，用于通过专用交互设备实现人与虚拟环境交互意图和命令的识别，并反馈到所述计算控制单元；
所述可穿戴感知单元，用于对人员特征以及交互意图的感知和获取，并反馈到所述计算控制单元；
所述非侵入感知单元，用于对实验环境空间及人员特征数据进行非侵入式感知和跟踪，并将数据传输到所述计算控制单元；
所述数据存储单元，用于存储创建完成的建造机器人及建造环境的虚拟模型数据，人机交互单元、虚拟显示单元、可穿戴感知单元和非侵入单元产生的原始数据以及计算控制单元加工处理后的数据；
所述计算控制单元，用于根据所述人机交互单元、可穿戴感知单元和非侵入感知单元产生的数据，对环境空间、人员特征和交互意图进行识别和记录；动态控制所述虚拟显示单元的显示内容和角度，同时动态记录虚拟空间中产生的数据。
9.一种人机协同建造过程感知分析方法，其特征在于，用于如权利要求1-7任一项所述的人机协同建造过程感知系统，包括以下步骤：
加载及整合环境虚拟模型和机器人虚拟模型，并将其导入虚实环境交互模块；
根据环境虚拟模型、机器人虚拟模型和感知模块的数据构建或调整虚实交互环境；
根据所述虚实交互环境，通过人机协同完成预设场景的工程建造工作，并通过感知模块获取人员行为、机器人以及建造环境的交互作用和状态变化数据；
将上一步中不同感知模块采集到的不同模态的数据融合到一起，实现不同模态数据的互补和增强；
基于上一步中经过互补和增强的数据，综合分析人员生理、心理和动作行为以及机器人性能状态的相互作用和交互机理，获得建造过程人机协同的基本规律和特征，并定性与定量分析人机协同建造行为对人机协同建造过程及其结果的影响。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求9所述的人机协同建造过程感知分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210921530.4A CN115268646A (zh) | 2022-08-02 | 2022-08-02 | 一种人机协同建造过程感知系统、装置、分析方法和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210921530.4A CN115268646A (zh) | 2022-08-02 | 2022-08-02 | 一种人机协同建造过程感知系统、装置、分析方法和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115268646A true CN115268646A (zh) | 2022-11-01 |
Family
ID=83746638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210921530.4A Pending CN115268646A (zh) | 2022-08-02 | 2022-08-02 | 一种人机协同建造过程感知系统、装置、分析方法和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115268646A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101920233A (zh) * | 2010-07-09 | 2010-12-22 | 广东工业大学 | 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法 |
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| CN108797669A (zh) * | 2018-06-20 | 2018-11-13 | 清华大学 | 一种自主3d挖掘施工机器人 |
| CN108920750A (zh) * | 2018-05-24 | 2018-11-30 | 武汉八维时空信息技术股份有限公司 | 工程建造多维动态信息融合及协同交互系统 |
| CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
| CN110989605A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 一种三体智能系统架构及探测机器人 |
| CN111340353A (zh) * | 2020-02-24 | 2020-06-26 | 张猛 | 一种建筑施工质量反馈系统及其使用方法 |
| CN112906118A (zh) * | 2021-03-12 | 2021-06-04 | 河北工业大学 | 一种虚实耦合环境下的建筑机器人远程作业方法 |
| CN114147706A (zh) * | 2021-11-25 | 2022-03-08 | 北京邮电大学 | 一种基于数字孪生的协作机器人远程监测系统与方法 |
-
2022
- 2022-08-02 CN CN202210921530.4A patent/CN115268646A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101920233A (zh) * | 2010-07-09 | 2010-12-22 | 广东工业大学 | 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法 |
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| CN108920750A (zh) * | 2018-05-24 | 2018-11-30 | 武汉八维时空信息技术股份有限公司 | 工程建造多维动态信息融合及协同交互系统 |
| CN108797669A (zh) * | 2018-06-20 | 2018-11-13 | 清华大学 | 一种自主3d挖掘施工机器人 |
| CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
| CN110989605A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 一种三体智能系统架构及探测机器人 |
| CN111340353A (zh) * | 2020-02-24 | 2020-06-26 | 张猛 | 一种建筑施工质量反馈系统及其使用方法 |
| CN112906118A (zh) * | 2021-03-12 | 2021-06-04 | 河北工业大学 | 一种虚实耦合环境下的建筑机器人远程作业方法 |
| CN114147706A (zh) * | 2021-11-25 | 2022-03-08 | 北京邮电大学 | 一种基于数字孪生的协作机器人远程监测系统与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Human Digital Twin in the context of Industry 5.0 | |
| Wang et al. | Symbiotic human-robot collaborative assembly | |
| Cárdenas-Robledo et al. | Extended reality applications in industry 4.0.–A systematic literature review | |
| Nee et al. | Augmented reality applications in design and manufacturing | |
| Tao et al. | A self-aware and active-guiding training & assistant system for worker-centered intelligent manufacturing | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| CN107193371A (zh) | 一种基于虚拟现实的实时人机交互系统及方法 | |
| CN111191322B (zh) | 一种基于深度感知手势识别的虚拟维修性仿真方法 | |
| Dallel et al. | Digital twin of an industrial workstation: A novel method of an auto-labeled data generator using virtual reality for human action recognition in the context of human–robot collaboration | |
| Liu et al. | Human-centric collaborative assembly system for large-scale space deployable mechanism driven by Digital Twins and wearable AR devices | |
| Martín-Barrio et al. | Application of immersive technologies and natural language to hyper-redundant robot teleoperation | |
| Wu et al. | Omnidirectional mobile robot control based on mixed reality and semg signals | |
| Riedelbauch et al. | Benchmarking teamwork of humans and cobots–an overview of metrics, strategies, and tasks | |
| Pan et al. | Robot teaching system based on hand-robot contact state detection and motion intention recognition | |
| CN115268646A (zh) | 一种人机协同建造过程感知系统、装置、分析方法和介质 | |
| Snider et al. | Integrated physical-digital workflow in prototyping–Inspirations from the digital twin | |
| Hoecherl et al. | Smartworkbench: Toward adaptive and transparent user assistance in industrial human-robot applications | |
| Stork et al. | A neuroergonomic approach for the investigation of cognitive processes in interactive assembly environments | |
| Cichon et al. | Simulation-based control and simulation-based support in erobotics applications | |
| Kolesnikov et al. | Architecture of a feedback system for human-machine interaction in a collaborative environment | |
| CN114417618A (zh) | 虚拟现实辅助的装配复杂度评价系统 | |
| Wang et al. | Research on Computer Aided Interaction Design based on Virtual reality Technology | |
| Wang et al. | Construction of Human-Robot Cooperation Assembly Simulation System Based on Augmented Reality | |
| Meng et al. | Virtual Reality Based Robot Teleoperation via Human-Scene Interaction | |
| Liu et al. | An agent-based collaborative information processing system for mixed reality applications—Part A: Agent-aware computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |