CN113393726A - 工业装配训练方法、装置、电子设备及可读存储介质 - Google Patents
工业装配训练方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113393726A CN113393726A CN202110667552.8A CN202110667552A CN113393726A CN 113393726 A CN113393726 A CN 113393726A CN 202110667552 A CN202110667552 A CN 202110667552A CN 113393726 A CN113393726 A CN 113393726A
- Authority
- CN
- China
- Prior art keywords
- virtual
- training
- target
- action
- assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 121
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 95
- 239000013589 supplement Substances 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 61
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000001502 supplementing effect Effects 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 64
- 230000001276 controlling effect Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000009183 running Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009184 walking Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000002898 library design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种工业装配训练方法、装置、电子设备及可读存储介质，其中方法包括：根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。本发明通过采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种工业装配训练方法、装置、电子设备及可读存储介质。
背景技术
在工业生产的装配领域，基于工业产品的尺寸、结构复杂程度和零件数目等特点，产品装配过程从零件、锻件、部件等装配到最后的总装对接，都需要装配人员具备大量的内容复杂、形式多样的专业知识。因此，通常需要对装配人员进行系统的装配训练或培训。
近年来，随着虚拟现实技术与三维可视化技术的蓬勃发展，其在装配训练应用实践中所起的作用越来越受到用户的一致认可。但是，在一些复杂的装配过程中，装配任务需要多人协同分工作业才能完成，因此训练过程也需要一定数量的参训人员都接入到系统中才能进行正常的训练流程。当训练参与人数不足时，则不能正常开展训练任务，局限性较大，训练效率较低。
发明内容
本发明提供一种工业装配训练方法、装置、电子设备及可读存储介质，用以解决现有技术训练局限性较大、效率低等问题的缺陷，实现有效提高训练灵活性和可扩展性，并进一步提高训练效率的目标。
本发明提供一种工业装配训练方法，包括：
根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；
根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；
根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
根据本发明提供的一种工业装配训练方法，在所述控制补位的虚拟角色选取所述目标装备对应的虚拟目标之前，还包括：
根据目标工业装配训练任务，通过配置训练参数，加载所述虚拟现实训练场景，并生成用于协同训练补位的所述虚拟角色。
根据本发明提供的一种工业装配训练方法，控制所述虚拟角色移动到所述目标位置，包括：
根据所述虚拟目标，预测所述虚拟角色的下一个操作点位，并将所述下一个操作点位作为所述目标位置；
根据所述虚拟角色的当前位置和所述目标位置，采用逐点靠近的方式，进行导航规划，产生虚拟路径，并控制所述虚拟角色沿所述虚拟路径移动到所述目标位置。
根据本发明提供的一种工业装配训练方法，所述控制所述虚拟角色通过智能寻路移动到对应操作点位，包括：
对所述虚拟现实训练场景内的阵地地图进行网格划分，获取多个网格单元；
以所述网格单元为单位，以所述网格单元内预设点为节点，由所述虚拟角色的当前位置开始，循环迭代搜索并控制所述虚拟角色移动至最近节点，直至到达所述对应操作点位；
其中，所述最近节点为由所述当前位置到达所述对应操作点位可经过的节点中距离所述当前位置最近的节点。
根据本发明提供的一种工业装配训练方法，采用有限状态机结合行为树的方式，控制所述虚拟角色的移动方式，所述控制所述虚拟角色的移动方式，包括：
根据所述虚拟角色可执行的运动方式，确定所述虚拟角色的状态集，并根据能够使所述虚拟角色的状态发生转换的输入，确定输入集；
确定根据所述输入将所述虚拟角色的现有状态转换为下一个状态的转换函数，并根据所述状态集、所述输入集和所述转换函数，构成有限状态机模型；
根据训练大纲及教学视频，设计所述虚拟角色的专业动作库，并基于所述专业动作库，利用行为树节点理论，构建行为树模型；
根据所述虚拟角色的当前状态，结合所述有限状态机模型和所述行为树模型，控制所述虚拟角色采用目标运动形式移动。
根据本发明提供的一种工业装配训练方法，在所述执行所述装配操作对应的虚拟动作之前，还包括：
根据所述参训人员当前的所述装配操作，确定所述虚拟角色的与所述装配操作对应的预置行为库，并从所述预置行为库中选取所述虚拟操作；
所述根据所述虚拟动作，确定所述虚拟角色的下一个动作，包括：
在所述预置行为库中选取所述虚拟操作对应的时刻的下一时刻对应的动作，作为所述下一个动作。
根据本发明提供的一种工业装配训练方法，还包括：
触发预置事件，并基于所述预置事件，通过视觉和声音检测，训练所述虚拟角色根据环境变化，作出自适应动作。
本发明还提供一种工业装配训练装置，包括：
第一控制模块，用于根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；
第二控制模块，用于根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；
第三控制模块，用于根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述处理器执行所述程序或指令时，实现如上述任一种所述的工业装配训练方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有程序或指令，所述程序或指令被计算机执行时，实现如上述任一种所述的工业装配训练方法的步骤。
本发明提供的工业装配训练方法、装置、电子设备及可读存储介质，通过采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的工业装配训练方法的流程示意图之一；
图2为根据本发明提供的工业装配训练方法中多人协同装配训练架构模型图；
图3为本发明提供的工业装配训练方法的流程示意图之二；
图4为根据本发明提供的工业装配训练方法中虚拟角色自主跟随的平面运动示意图；
图5为根据本发明提供的工业装配训练方法中虚拟角色智能寻路的平面运动示意图；
图6为根据本发明提供的工业装配训练方法中状态机模型示意图；
图7为根据本发明提供的工业装配训练方法中行为树模型示意图；
图8为本发明提供的工业装配训练装置的结构示意图；
图9为本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术训练局限性较大、效率低等的问题，通过采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。
具体的，本发明考虑到现有技术中虚拟训练需要对应的参与人数，人数不够则训练不能正常开展；单人训练模式下，无法进行多岗位的科目训练；多人协同训练存在部分岗位操作内容繁杂，部分岗位操作内容单一，导致各人训练强度不达标；虚拟训练过程中，缺少引导操作功能，学员无法短时间熟悉训练的全部流程等的问题，为了提升虚拟训练系统的灵活性及扩展性，利用人工智能技术智能协同参训人员完成相应岗位的操作动作及全流程训练。同时通过计算机生成具备决策、处理能力的虚拟角色，实现包括自主操作、自主行为、自主寻路等目标功能。
也就是说，为满足虚拟现实训练中人工智能辅助参训人员进行操作，本发明设计了虚拟角色的一些功能，其中包括感知、决策、移动等功能要求，最终使虚拟角色看上去像真实的人一样，协助参训人员完成相关的操作训练内容。为了实现这一目标，本发明采用了一些现有或需要研究的技术，例如开源库unitysteer操控行为；找到最短路径并避开障碍物——A*算法。同时，为使虚拟角色能够对训练场景环境信息进行感知，本发明采用轮询、事件驱动与触发器的方式进行感知，使虚拟角色做出相应的反应或行为。对于虚拟角色的自主决策能力，本发明采用有限状态机及行为树实现。以下将结合附图，具体通过多个实施例对本发明进行展开说明和介绍。
图1为本发明提供的工业装配训练方法的流程示意图之一，如图1所示，该方法包括：
S101，根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置。
可以理解为，本发明在进行基于虚拟现实技术的多人协同沉浸式装配训练时，当实际参训人员数量不足时，可如图2所示，图2为根据本发明提供的工业装配训练方法中多人协同装配训练架构模型图，即通过人工智能虚拟角色进行补位辅助训练，也即由人工智能虚拟角色配合参训人员完成多人协同的虚拟训练，使虚拟训练具备更高的适应性与灵活性。
具体在加载了虚拟现实训练场景和虚拟角色的情况下，实时监测实际参训人员当前正在操作的工业装备，也即目标装备，并根据该目标装备，控制用于补位的虚拟角色选取对应的虚拟装备，也即虚拟目标。也就是说，当参训人员操作某个目标装备时，虚拟角色会主动跟随参训人员选择当前目标，并通过运动系统移动到指定的目标位置。可选的，在训练过程中虚拟角色需要依据流程，跟随目标人物或是某个物体进行位置移动。
其中，虚拟仿真技术是用计算机系统模仿一个真实场景的技术。虚拟仿真构成的三维信息虚拟环境，可以逼真地模拟现实世界(甚至是不存在的)的事物和环境，还可以投入到这种环境中，体验到“亲临其境”的感觉，并可模拟人的视觉、听觉、触觉等感觉器官自然地和计算机虚拟环境系统进行交互。突破了空间、时间以及其他客观条件的限制，从而感受到真实世界中无法亲身经历的体验。
根据本发明提供的一种工业装配训练方法，在所述控制补位的虚拟角色选取所述目标装备对应的虚拟目标之前，还包括：根据目标工业装配训练任务，通过配置训练参数，加载所述虚拟现实训练场景，并生成用于协同训练补位的所述虚拟角色。
可以理解为，如图3所示，为本发明提供的工业装配训练方法的流程示意图之二，其中实际应用中可以由参训人员建立训练大厅并选择所属岗位角色，同时添加虚拟角色并赋予岗位及编号，之后参训人员点击开始训练模式或考核模式加载训练场景，等待场景加载完成后系统根据预置参数生成虚拟角色。
可选地，本发明在新建训练主机时，可对训练参数进行配置包括：训练科目、训练人数、训练时长、参与的AI数量、单机或联机模式等。在完成虚拟训练环境配置以后，可以选择相应的模式，训练模式可以提供文字和语音提示下一步的操作内容和操作方法。同时，参训人员在操作过程中可由虚拟角色帮助完成下一步操作。考核模式不提供任何提示帮助，但会记录操作步骤并进行考核评判。
S102，根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作。
可以理解为，在虚拟角色移动到目标位置后，本发明继续监测参训人员的装配操作，当参训人员进行装配操作时，虚拟角色选择与装配操作流程所对应的预置行为库，并通过智能寻路移动到对应操作点位。其中装配操作流程是参训人员当前进行的装配操作所关联的装配操作流程。
S103，根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
可以理解为，本发明在每轮确定虚拟角色当前需要进行的虚拟动作之后，还需要根据该虚拟动作，结合参训人员的当前装配操作，确定虚拟角色的下一个动作，并控制虚拟角色在下一时刻执行该动作，直至协同工业装配训练完成。也就是说，本发明还可以根据参训人员当前操作的步骤，结合虚拟角色当前的虚拟动作，判断虚拟角色的下一步骤，进行动作播放。
进一步的，当装配操作流程结束后，虚拟角色可以进入待命状态。待参训人员选择新的装备进行操作，虚拟角色则选择对应的行为列表进行响应。
本发明提供的工业装配训练方法，通过采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。同时，保证了虚拟训练系统协同能力的简单、易用、稳定和高效。
其中，根据上述各实施例提供的工业装配训练方法可选地，控制所述虚拟角色移动到所述目标位置，包括：根据所述虚拟目标，预测所述虚拟角色的下一个操作点位，并将所述下一个操作点位作为所述目标位置；根据所述虚拟角色的当前位置和所述目标位置，采用逐点靠近的方式，进行导航规划，产生虚拟路径，并控制所述虚拟角色沿所述虚拟路径移动到所述目标位置。
可以理解为，本发明的虚拟场景内，虚拟角色采用自主跟随的方式，跟随参训人员移动，如图4所示，为根据本发明提供的工业装配训练方法中虚拟角色自主跟随的平面运动示意图，其中虚拟角色需要像导航规划一样，产生一条虚拟路径，使虚拟角色沿着预先设置的轨迹约束向前走。
具体的，本发明中虚拟角色的路径跟随方式是将当前路点设置为路点列表中的第1个路点，用靠近行为产生操控力来靠近这个路点，直到非常接近这个点；然后寻找下一个路点，设置为当前路点，再次接近它。重复这样过程直到到达路点列表中的最后一个路点。本发明能够控制虚拟角色在运动过程中做出相应的动作为行，包括：走、跑、跳、爬及滚等。
其中，根据上述各实施例提供的工业装配训练方法可选地，所述控制所述虚拟角色通过智能寻路移动到对应操作点位，包括：对所述虚拟现实训练场景内的阵地地图进行网格划分，获取多个网格单元；以所述网格单元为单位，以所述网格单元内预设点为节点，由所述虚拟角色的当前位置开始，循环迭代搜索并控制所述虚拟角色移动至最近节点，直至到达所述对应操作点位。其中，所述最近节点为由所述当前位置到达所述对应操作点位可经过的节点中距离所述当前位置最近的节点。
可以理解为，本发明虚拟场景内，参训人员可任意移动到所有区域和操作节点，虚拟角色则需要根据参训人员的操作流程，通过智能寻路，移动到对应的操作节点进行协同装配。本发明虚拟角色智能寻路的基本原理是，将阵地地图划分为多个正方形单元或六边形单元组成的网格，网格点或网格单元的中点看作是节点，寻路方式是以网格单元为单位进行A*算法搜索最近节点。
其中，网格点或网格单元中点指的是：纵向线条与横向线条交叉后的“+”中心点位置。
其中，A*算法通过以下函数来计算每个节点的优先级：
f(n)＝g(n)+h(n)：
其中，f(n)是节点n的综合优先级，表示：当要选择下一个要遍历的节点时，总会选取综合优先级最高(值最小)的节点；g(n)是节点n距离起点的代价；h(n)是节点n距离终点的预计代价，这也就是A*算法的启发函数。
A*算法在运算过程中，每次从优先队列中选取f(n)值最小(优先级最高)的节点作为下一个待遍历的节点。
A*算法描述如下：
*初始化open_set和close_set；
*将起点加入open_set中，并设置优先级为0(优先级最高)；
*如果open_set不为空，则从open_set中选取优先级最高的节点n：
*如果节点n为终点，则：
*从终点开始逐步追踪parent节点，一直达到起点；
*返回找到的结果路径，算法结束；
*如果节点n不是终点，则：
*将节点n从open_set中删除，并加入close_set中；
*遍历节点n所有的邻近节点：
*如果邻近节点m在close_set中，则：
*跳过，选取下一个邻近节点
*如果邻近节点m也不在open_set中，则：
*设置节点m的parent为节点n；
*计算节点m的优先级；
*将节点m加入open_set中；
*完成计算。
例如，如图5所示，为根据本发明提供的工业装配训练方法中虚拟角色智能寻路的平面运动示意图，其中虚拟角色需要从A点移动到B点，采用单元导航方式，网格单元中斜线填充部分是可行走区域，无填充的空白区域是不可行走区域。
其中，根据上述各实施例提供的工业装配训练方法可选地，采用有限状态机结合行为树的方式，控制所述虚拟角色的移动方式，所述控制所述虚拟角色的移动方式，包括：根据所述虚拟角色可执行的运动方式，确定所述虚拟角色的状态集，并根据能够使所述虚拟角色的状态发生转换的输入，确定输入集；确定根据所述输入将所述虚拟角色的现有状态转换为下一个状态的转换函数，并根据所述状态集、所述输入集和所述转换函数，构成有限状态机模型；根据训练大纲及教学视频，设计所述虚拟角色的专业动作库，并基于所述专业动作库，利用行为树节点理论，构建行为树模型；根据所述虚拟角色的当前状态，结合所述有限状态机模型和所述行为树模型，控制所述虚拟角色采用目标运动形式移动。
可以理解为，本发明在控制虚拟角色的移动和行为动作时，采用有限状态机结合行为树的方式。具体虚拟角色的状态包括了：走、跑、跳、爬、滚等人体运动基本动作的转换。如图6所示，为根据本发明提供的工业装配训练方法中状态机模型示意图，其中有限状态机方法包括：首先定义一组状态，这组状态包括了初始状态，输入和根据输入及现有状态转换为一下个状态的转换函数组成。
在相对复杂的操作运动过程中，采用行为树的方法，如图7所示，为根据本发明提供的工业装配训练方法中行为树模型示意图，行为树的决策方法包括：首先根据训练大纲及教学视频进行专业动作库设计，然后利用行为树节点控制来设计虚拟角色的行为能力。
其中，行为树主要采用4节点模式，分别是顺序节点、选择节点、条件节点和行为节点。每一棵行为树表示一个虚拟逻辑。要执行这个逻辑，需要从根节点开始遍历执行整棵树。遍历执行过程中，父节点根据自身类别，确定需要如何执行、执行哪些子节点为并继而执行，子节点执行完毕后，会将执行结果返回父节点。
节点从结构中分为两类：组合节点、叶节点。组合节点就是树的中间节点，顺序节点和选择节点都是组合节点；叶节点一般昨来放置执行逻辑和条件判断，条件节点和行为节点都是叶节点。最终虚拟角色通过参训人员的动作或环境事件，选择相应的行为或动作。
其中，根据上述各实施例提供的工业装配训练方法可选地，在所述执行所述装配操作对应的虚拟动作之前，还包括：根据所述参训人员当前的所述装配操作，确定所述虚拟角色的与所述装配操作对应的预置行为库，并从所述预置行为库中选取所述虚拟操作。相应的，所述根据所述虚拟动作，确定所述虚拟角色的下一个动作，包括：在所述预置行为库中选取所述虚拟操作对应的时刻的下一时刻对应的动作，作为所述下一个动作。
可以理解为，本发明当参训人员进行装配操作时，根据参训人员当前进行的装配操作，确定对应的预置行为库，并从中确定出虚拟角色当前应该执行的行为动作，也即虚拟角色需进行的虚拟操作。
可以理解，该预置行为库是虚拟角色可以执行的行为动作的集合，且预置行为库与参训人员执行的装配操作流流程间存在对应关系。本发明事先设置了装配操作流流程与虚拟角色的预置行为库之间的对关系，即，对应参训人员多个不同的装配操作流程，存在多个不同的预置行为库。
例如，如果确定出参训人员当前进行的装配操作为锻件拼装，则可以据此确定出锻件拼装对应的虚拟角色的预置行为库，并从中确定出虚拟角色需要执行的当前行为当作(或称为虚拟操作)。
同时，可以控制虚拟角色通过智能寻路移动到对应操作点位，并且根据参训人员当前操作的步骤，结合预置行为库，判断虚拟角色的下一步骤动作，进行动作播放。
进一步的，本发明提供的一种工业装配训练方法，还包括：触发预置事件，并基于所述预置事件，通过视觉和声音检测，训练所述虚拟角色根据环境变化，作出自适应动作。
可以理解为，本发明在参训人员进行装配操作过程中，随机触发预置事件，使虚拟角色能够感知事件发生，并适当的做出反应进行事件的处置。具体的，当场景内出现随机事件(如装配损坏、环境起火、装配跌落或辐射扩散等)等状态时，虚拟角色能够通过观察与声音信息，感知事件的发生。其中，观察可以采用视线扫描的方法，如通过虚拟角色内置的相机旋转观察场景变化获得信息；声音信息则可通过参训人员发送的消息来获取。
本发明通过触发随机事件，能够训练虚拟角色的自主行为能力，使进行虚拟角色补位的装配训练更接近真实的装配训练场景，准确性更高。
基于相同的发明构思，本发明根据上述各实施例还提供一种工业装配训练装置，该装置用于在上述各实施例中实现工业装配训练。因此，在上述各实施例的工业装配训练方法中的描述和定义，可以用于本发明中各个执行模块的理解，具体可参考上述方法实施例，此处不在赘述。
根据本发明的一个实施例，工业装配训练装置的结构如图8所示，为本发明提供的工业装配训练装置的结构示意图，该装置可以用于实现上述各方法实施例中的工业装配训练，该装置包括：第一控制模块801、第二控制模块802和第三控制模块803。其中：
第一控制模块801用于根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；第二控制模块802用于根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；第三控制模块803用于根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
具体而言，在加载了虚拟现实训练场景和虚拟角色的情况下，第一控制模块801实时监测实际参训人员当前正在操作的工业装备，也即目标装备，并根据该目标装备，控制用于补位的虚拟角色选取对应的虚拟装备，也即虚拟目标。也就是说，当参训人员操作某个目标装备时，第一控制模块801控制虚拟角色主动跟随参训人员选择当前目标，并通过运动系统移动到指定的目标位置。可选的，在训练过程中虚拟角色需要依据流程，跟随目标人物或是某个物体进行位置移动。
然后，在虚拟角色移动到目标位置后，第二控制模块802继续监测参训人员的装配操作，当参训人员进行装配操作时，控制虚拟角色选择与装配操作流程所对应的预置行为库，并通过智能寻路移动到对应操作点位。其中装配操作流程是参训人员当前进行的装配操作所关联的装配操作流程。
最后，第三控制模块803在每轮确定虚拟角色当前需要进行的虚拟动作之后，需要根据该虚拟动作，结合参训人员的当前装配操作，确定虚拟角色的下一个动作，并控制虚拟角色在下一时刻执行该动作，直至协同工业装配训练完成。也就是说，第三控制模块803可以根据参训人员当前操作的步骤，结合虚拟角色当前的虚拟动作，判断虚拟角色的下一步骤，进行动作播放。
本发明提供的工业装配训练装置，通过采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。
进一步地，本发明的工业装配训练装置，还包括配置模块，用于：
根据目标工业装配训练任务，通过配置训练参数，加载所述虚拟现实训练场景，并生成用于协同训练补位的所述虚拟角色。
可选地，所述第一控制模块，在用于控制所述虚拟角色移动到所述目标位置时，用于：
根据所述虚拟目标，预测所述虚拟角色的下一个操作点位，并将所述下一个操作点位作为所述目标位置；
根据所述虚拟角色的当前位置和所述目标位置，采用逐点靠近的方式，进行导航规划，产生虚拟路径，并控制所述虚拟角色沿所述虚拟路径移动到所述目标位置。
可选地，所述第二控制模块，在用于所述控制所述虚拟角色通过智能寻路移动到对应操作点位时，用于：
对所述虚拟现实训练场景内的阵地地图进行网格划分，获取多个网格单元；
以所述网格单元为单位，以所述网格单元内预设点为节点，由所述虚拟角色的当前位置开始，循环迭代搜索并控制所述虚拟角色移动至最近节点，直至到达所述对应操作点位；
其中，所述最近节点为由所述当前位置到达所述对应操作点位可经过的节点中距离所述当前位置最近的节点。
可选地，所述第一控制模块或所述第二控制模块，用于：采用有限状态机结合行为树的方式，控制所述虚拟角色的移动方式，所述控制所述虚拟角色的移动方式，包括：
根据所述虚拟角色可执行的运动方式，确定所述虚拟角色的状态集，并根据能够使所述虚拟角色的状态发生转换的输入，确定输入集；
确定根据所述输入将所述虚拟角色的现有状态转换为下一个状态的转换函数，并根据所述状态集、所述输入集和所述转换函数，构成有限状态机模型；
根据训练大纲及教学视频，设计所述虚拟角色的专业动作库，并基于所述专业动作库，利用行为树节点理论，构建行为树模型；
根据所述虚拟角色的当前状态，结合所述有限状态机模型和所述行为树模型，控制所述虚拟角色采用目标运动形式移动。
可选地，所述第二控制模块，还用于：
根据所述参训人员当前的所述装配操作，确定所述虚拟角色的与所述装配操作对应的预置行为库，并从所述预置行为库中选取所述虚拟操作；
所述第三控制模块，在用于所述根据所述虚拟动作，确定所述虚拟角色的下一个动作时，用于：
在所述预置行为库中选取所述虚拟操作对应的时刻的下一时刻对应的动作，作为所述下一个动作。
进一步地，本发明的工业装配训练装置，还包括行为训练模块，用于：
触发预置事件，并基于所述预置事件，通过视觉和声音检测，训练所述虚拟角色根据环境变化，作出自适应动作。
综上而言，本发明基于人工智能的虚拟现实协同训练装置，由人工智能虚拟角色配合参训人员完成多人协同的虚拟训练，使虚拟训练具备更高的适应性与灵活性。本发明基于人工智能的虚拟现实协同训练装置可以包括以下功能模块：
自主行为模块：虚拟角色与受训人员的训练交互，实时响应受训人员的口令、手势及自我行为。
感知能力模块：虚拟角色在移动过程中，需要对周围环境的信息进行感知及行为决策。
路径跟随模块：在训练过程中虚拟角色需要依据流程，跟随目标人物或是某个物体进行位置移动。
规划引导模块：虚拟角色能够根据历史规划路径及时间节点引导进行移动。
寻路及避障模块：在训练过程中虚拟角色从某处移动到某处，同时需要对不同地型及障碍物进行处置，并进行避开、绕行、等待、回退等行为。
角色运动系统模块：虚拟角色的运动状态基于人物运动控制器组件，符合人体工学的肢体解算控制能力。
可以理解的是，本发明中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明的工业装配训练装置利用上述各程序模块，能够实现上述各方法实施例的工业装配训练流程，在用于实现上述各方法实施例中的工业装配训练时，本发明的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。
作为本发明的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的程序或指令，该处理器执行该程序或指令时，实现如上述各实施例所述的工业装配训练方法的步骤。
进一步的，本发明的电子设备还可以包括通信接口和总线。参考图9，为本发明提供的电子设备的实体结构示意图，包括：至少一个存储器901、至少一个处理器902、通信接口903和总线904。
其中，存储器901、处理器902和通信接口903通过总线904完成相互间的通信，通信接口903用于该电子设备与虚拟现实系统设备之间的信息传输；存储器901中存储有可在处理器902上运行的程序或指令，处理器902执行该程序或指令时，实现如上述各实施例所述的工业装配训练方法的步骤。
可以理解为，该电子设备中至少包含存储器901、处理器902、通信接口903和总线904，且存储器901、处理器902和通信接口903通过总线904形成相互间的通信连接，并可完成相互间的通信，如处理器902从存储器901中读取工业装配训练方法的程序指令等。另外，通信接口903还可以实现该电子设备与虚拟现实系统设备之间的通信连接，并可完成相互间信息传输，如通过通信接口903实现参训人员操作信息的读取等。
电子设备运行时，处理器902调用存储器901中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练等。
上述的存储器901中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有程序或指令，该程序或指令被计算机执行时，实现如上述各实施例所述的工业装配训练方法的步骤，例如包括：根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练等。
作为本发明的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的工业装配训练方法，该方法包括：根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
本发明提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的工业装配训练方法的步骤，采用基于人工智能的虚拟角色进行补位，配合参训人员完成多人协同的虚拟训练，能够使虚拟装配训练具备更高的灵活性和可扩展性，并能进一步提高训练效率。
可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种工业装配训练方法，其特征在于，包括：
根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；
根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；
根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
2.根据权利要求1所述的工业装配训练方法，其特征在于，在所述控制补位的虚拟角色选取所述目标装备对应的虚拟目标之前，还包括：
根据目标工业装配训练任务，通过配置训练参数，加载所述虚拟现实训练场景，并生成用于协同训练补位的所述虚拟角色。
3.根据权利要求1所述的工业装配训练方法，其特征在于，控制所述虚拟角色移动到所述目标位置，包括：
根据所述虚拟目标，预测所述虚拟角色的下一个操作点位，并将所述下一个操作点位作为所述目标位置；
根据所述虚拟角色的当前位置和所述目标位置，采用逐点靠近的方式，进行导航规划，产生虚拟路径，并控制所述虚拟角色沿所述虚拟路径移动到所述目标位置。
4.根据权利要求1所述的工业装配训练方法，其特征在于，所述控制所述虚拟角色通过智能寻路移动到对应操作点位，包括：
对所述虚拟现实训练场景内的阵地地图进行网格划分，获取多个网格单元；
以所述网格单元为单位，以所述网格单元内预设点为节点，由所述虚拟角色的当前位置开始，循环迭代搜索并控制所述虚拟角色移动至最近节点，直至到达所述对应操作点位；
其中，所述最近节点为由所述当前位置到达所述对应操作点位可经过的节点中距离所述当前位置最近的节点。
5.根据权利要求3或4所述的工业装配训练方法，其特征在于，采用有限状态机结合行为树的方式，控制所述虚拟角色的移动方式，所述控制所述虚拟角色的移动方式，包括：
根据所述虚拟角色可执行的运动方式，确定所述虚拟角色的状态集，并根据能够使所述虚拟角色的状态发生转换的输入，确定输入集；
确定根据所述输入将所述虚拟角色的现有状态转换为下一个状态的转换函数，并根据所述状态集、所述输入集和所述转换函数，构成有限状态机模型；
根据训练大纲及教学视频，设计所述虚拟角色的专业动作库，并基于所述专业动作库，利用行为树节点理论，构建行为树模型；
根据所述虚拟角色的当前状态，结合所述有限状态机模型和所述行为树模型，控制所述虚拟角色采用目标运动形式移动。
6.根据权利要求1所述的工业装配训练方法，其特征在于，在所述执行所述装配操作对应的虚拟动作之前，还包括：
根据所述参训人员当前的所述装配操作，确定所述虚拟角色的与所述装配操作对应的预置行为库，并从所述预置行为库中选取所述虚拟操作；
所述根据所述虚拟动作，确定所述虚拟角色的下一个动作，包括：
在所述预置行为库中选取所述虚拟操作对应的时刻的下一时刻对应的动作，作为所述下一个动作。
7.根据权利要求1-4、6中任一所述的工业装配训练方法，其特征在于，还包括：
触发预置事件，并基于所述预置事件，通过视觉和声音检测，训练所述虚拟角色根据环境变化，作出自适应动作。
8.一种工业装配训练装置，其特征在于，包括：
第一控制模块，用于根据虚拟现实训练场景下参训人员当前操作的目标装备，控制补位的虚拟角色选取所述目标装备对应的虚拟目标，并移动到指定的目标位置；
第二控制模块，用于根据所述参训人员当前对所述目标装备的装配操作，控制所述虚拟角色通过智能寻路移动到对应操作点位，并执行所述装配操作对应的虚拟动作；
第三控制模块，用于根据所述虚拟动作，确定所述虚拟角色的下一个动作，并控制所述虚拟角色执行所述下一个动作，直至完成协同工业装配训练。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1至7中任一项所述的工业装配训练方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被计算机执行时，实现如权利要求1至7中任一项所述的工业装配训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110667552.8A CN113393726A (zh) | 2021-06-16 | 2021-06-16 | 工业装配训练方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110667552.8A CN113393726A (zh) | 2021-06-16 | 2021-06-16 | 工业装配训练方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113393726A true CN113393726A (zh) | 2021-09-14 |
Family
ID=77621491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110667552.8A Pending CN113393726A (zh) | 2021-06-16 | 2021-06-16 | 工业装配训练方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393726A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2506098A1 (de) * | 2011-03-31 | 2012-10-03 | Siemens Aktiengesellschaft | Anordnung und Verfahren für den Betrieb einer industriellen Automatisierungsanordnung mit einer Mehrzahl programmierbarer Automatisierungskomponenten und einer Mehrzahl Automatisierungsprogramme |
| CN107214702A (zh) * | 2017-06-29 | 2017-09-29 | 中国科学院自动化研究所 | 利用虚拟现实手柄确定机器人轨迹的规划方法及系统 |
| CN207397530U (zh) * | 2017-04-18 | 2018-05-22 | 云南电网有限责任公司教育培训评价中心 | 用于变电站培训的虚拟现实头盔式的沉浸式多人协同训练装置 |
| CN109128812A (zh) * | 2018-09-14 | 2019-01-04 | 山东栋梁科技设备有限公司 | 一种工业机器人协同柔性装配系统及控制方法 |
| CN109520510A (zh) * | 2018-12-26 | 2019-03-26 | 安徽智恒信科技有限公司 | 一种基于虚拟现实技术的室内导航方法及系统 |
| CN109541634A (zh) * | 2018-12-28 | 2019-03-29 | 歌尔股份有限公司 | 一种路径规划方法、装置和移动设备 |
| CN109710069A (zh) * | 2018-12-25 | 2019-05-03 | 常州天眼星图光电科技有限公司 | 一种用于虚拟装配的三维零部件自动装配方法 |
| CN109901713A (zh) * | 2019-02-25 | 2019-06-18 | 山东大学 | 一种多人协同装配系统及方法 |
| CN111279394A (zh) * | 2020-01-06 | 2020-06-12 | 深圳信息职业技术学院 | 虚拟角色的任务执行方法、装置及终端设备 |
| CN111544889A (zh) * | 2020-04-27 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 虚拟对象的行为控制方法和装置及存储介质 |
| CN111667169A (zh) * | 2020-06-04 | 2020-09-15 | 成都飞机工业（集团）有限责任公司 | 一种基于多人协同装配角色智能补位方法 |
| CN112114910A (zh) * | 2020-09-25 | 2020-12-22 | 北京开云互动科技有限公司 | 一种基于导航标记的虚拟任务自动执行方法及系统 |
-
2021
- 2021-06-16 CN CN202110667552.8A patent/CN113393726A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2506098A1 (de) * | 2011-03-31 | 2012-10-03 | Siemens Aktiengesellschaft | Anordnung und Verfahren für den Betrieb einer industriellen Automatisierungsanordnung mit einer Mehrzahl programmierbarer Automatisierungskomponenten und einer Mehrzahl Automatisierungsprogramme |
| CN207397530U (zh) * | 2017-04-18 | 2018-05-22 | 云南电网有限责任公司教育培训评价中心 | 用于变电站培训的虚拟现实头盔式的沉浸式多人协同训练装置 |
| CN107214702A (zh) * | 2017-06-29 | 2017-09-29 | 中国科学院自动化研究所 | 利用虚拟现实手柄确定机器人轨迹的规划方法及系统 |
| CN109128812A (zh) * | 2018-09-14 | 2019-01-04 | 山东栋梁科技设备有限公司 | 一种工业机器人协同柔性装配系统及控制方法 |
| CN109710069A (zh) * | 2018-12-25 | 2019-05-03 | 常州天眼星图光电科技有限公司 | 一种用于虚拟装配的三维零部件自动装配方法 |
| CN109520510A (zh) * | 2018-12-26 | 2019-03-26 | 安徽智恒信科技有限公司 | 一种基于虚拟现实技术的室内导航方法及系统 |
| CN109541634A (zh) * | 2018-12-28 | 2019-03-29 | 歌尔股份有限公司 | 一种路径规划方法、装置和移动设备 |
| CN109901713A (zh) * | 2019-02-25 | 2019-06-18 | 山东大学 | 一种多人协同装配系统及方法 |
| CN111279394A (zh) * | 2020-01-06 | 2020-06-12 | 深圳信息职业技术学院 | 虚拟角色的任务执行方法、装置及终端设备 |
| CN111544889A (zh) * | 2020-04-27 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 虚拟对象的行为控制方法和装置及存储介质 |
| CN111667169A (zh) * | 2020-06-04 | 2020-09-15 | 成都飞机工业（集团）有限责任公司 | 一种基于多人协同装配角色智能补位方法 |
| CN112114910A (zh) * | 2020-09-25 | 2020-12-22 | 北京开云互动科技有限公司 | 一种基于导航标记的虚拟任务自动执行方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Inamura et al. | Simulator platform that enables social interaction simulation—SIGVerse: SocioIntelliGenesis simulator | |
| Riedl et al. | Believable agents and intelligent story adaptation for interactive storytelling | |
| US20090306823A1 (en) | Method and System for Robot Generation | |
| CN109529338A (zh) | 对象控制方法、装置、电子设计及计算机可读介质 | |
| Mehm et al. | Bat cave: A testing and evaluation platform for digital educational games | |
| Aluru et al. | Minecraft as an experimental world for AI in robotics | |
| Liu et al. | Multi-agent embodied visual semantic navigation with scene prior knowledge | |
| Cassola et al. | A novel tool for immersive authoring of experiential learning in virtual reality | |
| Querrec et al. | SécuRéVi: virtual environments for fire-fighting training | |
| CN111701246B (zh) | 一种游戏ai的决策配置方法和装置 | |
| Yuan et al. | Uni-RLHF: Universal Platform and Benchmark Suite for Reinforcement Learning with Diverse Human Feedback | |
| Savov et al. | Sensitive assembly: gamifying the design and assembly of façade wall prototypes | |
| CN113393726A (zh) | 工业装配训练方法、装置、电子设备及可读存储介质 | |
| Bitter et al. | Follow the Blue Butterfly–An Immersive Augmented Reality Museum Guide | |
| Allison et al. | Spontaneous interactions with a virtually embodied intelligent assistant in Minecraft | |
| Arroyo et al. | Adaptive fuzzy knowledge‐based systems for control metabots' mobility on virtual environments | |
| Ek | Design of simulator for researching autonomous marine vessels | |
| Braunschweiler et al. | A Two-Level Planning Framework for Mixed Reality Interactive Narratives with User Engagement | |
| Yan et al. | BIMGame: Integrating building information modeling and games to enhance sustainable design and education | |
| Marques et al. | RobARtics: Using Augmented Reality to enhance Robotics Competitions | |
| Briola et al. | Creating Virtual Reality Scenarios for Pedestrian Experiments Focusing on Social Interactions | |
| Mateus et al. | Intelligent virtual environment using a methodology oriented to agents | |
| Bigagli | Realistic path development in a virtual environment for detection and rehabilitation treatments of Alzheimer's disease patients | |
| Mugnai et al. | Towards Autonomous Firefighting UAVs: Online Planners for Obstacle Avoidance and Payload Delivery | |
| Cerqueira et al. | Serious game interaction techniques applied to an operational satellite simulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |
|
| RJ01 | Rejection of invention patent application after publication |