CN111667169B - 一种基于多人协同装配角色智能补位方法 - Google Patents

Abstract

本发明公开了一种基于多人协同装配角色智能补位方法,包括多人协同装配和多人协同装配角色智能补位两部分。本发明中多人协同装配角色智能补位为受训人员提供AI虚拟角色补位,此AI角色存在定义上，既能为协同人员在装配流程模拟中提供协同功能，也能在前期的演示模拟教学中，提供演示教学任务，通过反复的模拟训练，降低了人员学习成本，提高装配流程认知。

Description

一种基于多人协同装配角色智能补位方法

技术领域

本发明涉及计算机技术领域，具体的说，是一种基于多人协同装配角色智能补位方法。

背景技术

虚拟现实（VR）技术概念起源于20世纪60年代，综合了计算机图形学、人机交互技术、仿真技术、多媒体技术、网络技术等而迅速发展的计算机领域的新技术。随着计算机技术的快速发展，虚拟现实技术在现代工业中可以实现装配工艺的模拟和优化、提高概念设计的效率、精简设计以及更加有效的进行工业生产目的，达到虚拟现实与智能制造相融合，促进现代工业的发展和提升。

在工业生产的装配培训领域，基于工业产品的尺寸大小、结构复杂程度、零件数目等特点，产品装配从零件、组件、锻件、板件、部件到最后的总装对接过程中，需要大量内容复杂、形式多样的专业知识。而且在装配过程中，多种装配任务均需要多人协同分工作业才能完成。在使用虚拟现实技术进行工业装配培训前提下，为了提高培训效率，在当前参与培训人员数目未达到训练任务要求最少数量人员时，需提供基于人工智能技术的虚拟角色参与协同作业。

人工智能技术被广泛用于含有虚拟角色的虚拟现实（VR）、仿生机器人及游戏的研究。虚拟现实技术中虚拟角色拥有自主的行为模式，可与用户进行交互，当虚拟角色以接近智慧生命的方式进行决策和行动时，用户才能真正感受到虚拟角色的真实感和智能性。而虚拟角色的建模是人工智能和虚拟现实技术中亟待解决的理论难点和关键技术问题。虚拟角色的建模包含几何模型建立、物理特性设计和行为决策模块等内容。目前的几何建模和物理建模都已经比较成熟，然而对虚拟角色行为决策的建模研究还比较少，如何将行为建模与人工智能融合，构建真正的虚拟智能体是亟待解决的问题。

发明内容

本发明的目的在于提出一种基于多人协同装配角色智能补位方法，能将行为建模与人工智能融合，构建真正的虚拟智能体。

本发明通过下述技术方案实现：

一种基于多人协同装配角色智能补位方法，包括以下具体步骤：

步骤1）：权限使用者向装配人员主机系统发送一个多人协同装配任务；

步骤2）：权限使用者点选允许角色智能补位选项，既系统激活此任务允许角色智能补位；

步骤3）：权限使用者选择需要协同培训任务的人员，点击发送操作后，既向需协同装配人员主机系统发送成功；

步骤4）：协同装配人员通过主机系统选择接受的协同装配任务，点击开始后，穿戴VR交互设备，系统组网切换至虚拟装配场景，开始协同装配任务；

步骤5）：在协同装配任务开始后，在虚拟装配场景中，系统将依据协同装配任务配置内容及结构，生成AI补位角色；

步骤6）：AI补位角色生成后，角色处于AI等待指令行为；

步骤7）：在协同装配任务开始后，系统基于协同装配任务，遍历装配流程中任务节点，激活虚拟现实场景中虚拟交互对象，等待协同人员交互操作或AI补位角色交互操作；

步骤8）：在系统遍历虚拟交互对象装配流程中，当协同人员对任务节点指定的虚拟网格模型作交互操作时，碰撞事件响应并通过声音场事件等待AI补位角色或协同人员进一步交互操作；

步骤9）：当AI补位角色智能感知后，通过逻辑策略行为树决定其行为方式；

步骤10）：直至系统遍历协同装配任务装配流程结束，既系统认为该协同装配任务完成。

进一步的，所述步骤1）中，多人协同装配任务包含装配任务内容及结构、最大协同装配人数、选择的参与协同装配人员、培训时长、是否允许角色智能补位。

进一步的，在多人协同装配任务开始前，将由功能权限者对其选择的装配任务其它属性进行定义，其他属性包括：选择参与装配的人员信息、培训模式等。

进一步的，所述步骤9）中，逻辑策略行为树包括分支根节点、条件节点、平行节点、行为节点。

进一步的，所述分支根节点定义树形分支的根以及执行该分支子节点的基本规则。

进一步的，所述条件节点用于定义行为树中分支或单个任务节点是否可执行，它接收AI智能感知输入，根据AI智能感知输入条件决定该执行哪一节点或分支根节点。

进一步的，所述平行节点定义AI行为节点或分支根节点的状态监测及更新，定义了行为节点或分支根节点何时执行，以什么频率执行。

进一步的，所述行为节点定义AI补位角色的AI行为，最终指向VR虚拟交互角色，通过行为节点可以使得其角色移动至指定位置，推送AI角色交互动作，播放等待动画。

本发明与现有技术相比，具有的优点及有益效果：

在现有工业模拟装配领域中，常见于基于虚拟现实技术的单人单机或联机的装配流程模拟。在实际应用场景中，受培训人员配置不足，受训人员培训进度各异，降低人员受岗成本等情况限制下，本发明中多人协同装配角色智能补位为受训人员提供AI虚拟角色补位。此AI角色存在定义上，既能为协同人员在装配流程模拟中提供协同功能，也能在前期的演示模拟教学中，提供演示教学任务，通过反复的模拟训练，降低了人员学习成本，提高装配流程认知。

本发明多人协同装配角色智能基于AI行为树设计，与现有技术传统行为树相比，主要从以下方面进行了设计优化：

本发明基于传统行为树进行了主要两个方面的优化，主要表现优点在于基于此行为树作程序设计时创造的树更加明确，易于观察和理解，使得AI角色基于行为树的行为目的更加高效。如下：

1.基于事件驱动的行为树：传统行为树通过循环帧进行树形遍历迭代，始终一直检查所有相关的变化是否已发生，影响了AI响应效率及其性能。本发明中行为树优化使用外部事件驱动方式，被动监听可用于触发行为树中变化的事件。一旦此事件响应，使得当前行为树中所有低优先级任务被中止，或优先执行受当前事件响应的高优先级分级。这使得行为树避免了每帧进行不必要的遍历迭代，从而达到AI角色行为响应更加快速和明确的目的。

2．基于行为树中并发行为的优化：传统行为树基于并行合成节点处理AI 的并发行为，这意味着该节点会同时在其所有子项上执行。为了避免使用其节点的复杂性及提升效率，本发明使用平行节点对其优化，平行节点包含了一个主要且必须单点任务节点和一个次要且非必要的完整子树。从概念上讲，设计AI行为响应时，根据其任务需要，允许其只存在受事件监听的一个主要任务平行节点或包含一个次要任务子树。这样使得平行节点的概念相对于并行合成节点更加简单，更加轻松的使用事件驱动的优化。

附图说明

图1为本发明的流程示意图；

图2为本发明的多人协同装配示意图；

图3为本发明的多人协同装配角色智能补位示意图；

图4为本发明的AI补位角色智能感知示意图；

图5为本发明的AI逻辑决策行为树示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例：

如图1所示的本发明的详细流程如下：

步骤1）：权限使用者向装配人员主机系统发送一个多人协同装配任务。此任务包含了装配任务内容及结构，最大协同装配人数，选择的参与协同装配人员，培训时长，是否允许角色智能补位等内容。

步骤2）：权限使用者点选允许角色智能补位选项，既系统激活此任务允许角色智能补位。

步骤3）：权限使用者选择需要协同培训任务的人员，点击发送操作后，既向需协同装配人员主机系统发送成功。

步骤4）：协同装配人员通过主机系统选择接受的协同装配任务，点击开始后，穿戴VR交互设备，系统组网切换至虚拟装配场景，开始协同装配任务。

步骤5）：在协同装配任务开始后，在虚拟装配场景中，系统将依据协同装配任务配置内容及结构，生成AI补位角色。

步骤6）：AI补位角色生成后，角色处于AI等待指令行为。

步骤7）：在协同装配任务开始后，系统基于协同装配任务，遍历装配流程中任务节点，激活虚拟现实场景中虚拟交互对象，等待协同人员交互操作或AI补位角色交互操作。

步骤8）：在系统遍历虚拟交互对象装配流程中，当协同人员对任务节点指定的虚拟网格模型作交互操作时，碰撞事件响应并通过声音场事件等待AI补位角色或协同人员进一步交互操作。

步骤9）：进一步的，当AI补位角色智能感知后，通过逻辑策略行为树决定其行为方式。

步骤10）：直至系统遍历协同装配任务装配流程结束，既系统认为该协同装配任务完成。

本发明在多人协同装配任务中，参与的协同装配角色与多人协同装配任务中规定协同装配人数不满足，系统将自动启动AI装配角色智能补位响应，其包括多人协同装配和多人协同装配角色智能补位两部分。

关于多人协同装配：如图2所示，多人协同装配是指得根据现实装配流程在虚拟现实系统中已定义好的模拟装配任务，从而能在虚拟现实场景中为参与模拟培训人员提供匹配的任务流。在此任务定义里，角色智能补位主要关注其中的装配任务内容结构、装配协作人数两个定义项。除了以上本身已定义好的装配任务属性之外，在多人协同装配任务开始前，还将由功能权限者对其选择的装配任务其它属性进行定义，包括选择参与装配的人员信息、培训模式等。

多人协同装配角色智能补位：如图3所示，基于VR模式的多人协同装配交互框架设计，即系统提供用于补位的装配角色亦是在虚拟现实装配场景中的VR虚拟交互角色，此角色为AI属性定义，包含了骨骼模型、智能感知、逻辑决策及动作生成。以下对本系统中AI属性定义作解释：

骨骼模型：在多人协同装配中，虚拟现实系统将会为智能补位角色提供能在虚拟现实场景中显示的三维骨骼模型及动画，为参与的装配人员提供比较直观的协同感受。

智能感知：在虚拟现实场景中，AI补位角色如何感知交互对象响应要素其主要依赖于AI感知组件，其中主要使用AI触觉及AI听觉来实现协同装配任务中的响应及触发。

逻辑决策：在虚拟现实场景中，AI补位角色的通过智能感知接受外部环境关键要素，但如何做出下一步响应，主要使用行为树组件来决策AI角色何时移动，移动多远距离，播放骨骼动画，响应外部交互事件等等。

动作生成：在虚拟现实场景中，当AI补位角色感知并作出逻辑决策时，AI属性中动作生成模块会基于动画机响应播放对应动作，已给予协同人员良好的感官体验。

关于AI补位角色智能感知：如图4所示，在虚拟场景中，根据协同装配任务内容结构，系统以装配流程抽象生成多个虚拟交互对象，此对象包含了多个任务节点及一个声音场，每个节点对应一个具备碰撞属性的关键网格模型体。而对于AI补位角色来说，此类虚拟交互对象相当于刺激源。例如，在协同人员对虚拟交互物体中某一任务节点作交互操作，节点包含的网格模型碰撞体会响应当前装配事件，并通过声音场刺激虚拟场景中存在的AI补位角色，并等待AI补位角色响应。在AI补位角色智能感知中，系统主要基于AI感知组件。此组件包含了AI触觉、AI视觉、AI听觉、感知事件等要素，此类AI感知是为VR虚拟交互角色提供了一种从环境中接受数据的方式。在本发明中，主要使用AI触觉及AI听觉为AI感知方式。AI听觉：主要包含听觉范围、感知时长两个属性，听觉范围主要用于AI感知所能感知的听觉距离，这取决于虚拟交互对象的声音场产生刺激源后，AI补位角色是够能够在多远的距离听到；感知时长主要用于决定由交互对象声音场产生的刺激被遗忘的时长，这取决于在多个AI补位角色响应刺激源后，优先响应的AI补位角色将参与协同装配，而其它的补位角色将遗忘刺激源并等待。AI触觉：主要用于AI补位角色响应交互对象声音场刺激源后，通过逻辑决策作出交互响应操作的触觉感知；它包含了附加在AI补位角色骨骼手部的碰撞合体和一个触碰时长属性，碰撞合体用于影响触觉碰撞事件，而触碰时长属性用于触碰感知时产生的刺激遗忘时长，它取决于AI补位角色何时接触与交互对象的触碰。

关于AI补位角色逻辑决策：AI补位角色逻辑决策决定了AI补位角色的AI行为，主要基于行为数资源。行为数包含了一个用于执行AI行为逻辑的分支，此逻辑分支以树形结构分布，如图5所示，每个分支节点具备不同属性节点类型，分别为分支根节点、条件节点、平行节点、行为节点。分支根节点：在行为树中，分支根节点点表示定义了树形分支的根以及执行该分支子节点的基本规则。条件节点：在行为树中，条件节点用于定义行为树中分支或单个任务节点是否可执行，它接收AI智能感知输入，根据AI智能感知输入条件决定该执行哪一节点或分支根节点。平行节点：平行节点定义了AI行为节点或分支根节点的状态监测及更新，它定义了行为节点或分支根节点何时执行，以什么频率执行等等，本系统通过自定义平行节点监测在行为树中，条件节点响应其分支执行后的状态。行为节点：行为节点主要定义了AI补位角色的AI行为，它最终指向了VR虚拟交互角色。通过行为节点可以使得其角色移动至指定位置，推送AI角色交互动作，播放等待动画等等AI行为。在本发明中，AI逻辑决策行为树在接受AI智能感知输入后，主要表现行为有等待指令行为，移动指令行为，交互指令行为三个部分。其中等待指令行为主要是指在AI补位角色在未接到智能感知输入或交互执行行为结束后的等待状态。移动指令行为主要指AI补位角色在接到智能感知输入或交互执行行为结束后的移动指令行为。交互执行行为指得在接受智能感知输入后，通过触碰感知指令，AI行为角色作出的交互动作行为，例如拾取交互对象中物体，点击交互对象上面板按钮等等行为。

在多人协同装配角色智能补位中，主要包括虚拟交互对象事件响应AI补位角色智能感知交互数据和AI补位角色智能感知事件响应AI补位角色逻辑策略行为树交互数据。虚拟交互对象事件响应AI补位角色智能感知交互数据：在虚拟场景中，虚拟交互对象在装配流程驱动后，AI补位角色接受声音场世界位置三维向量类型数据输入，用以计算当前AI补位角色与虚拟交互对象世界位置距离，同时在AI补位角色AI感知与虚拟交互对象交互时，还将接受虚拟交互对象碰撞事件产生的布尔类型数据输入。AI补位角色智能感知事件响应AI补位角色逻辑策略行为树交互数据：在AI补位角色逻辑策略中，基于行为树遍历数中节点时，接受AI补位角色智能感知影响事件数据输入，包含了AI听觉事件中布尔类型及浮点类型数据输入，AI触觉中布尔类型及虚拟交互对象基于任务节点类型定义的枚举类型数据输入。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种基于多人协同装配角色智能补位方法，其特征在于：包括以下具体步骤：

步骤1）：权限使用者向装配人员主机系统发送一个多人协同装配任务；

步骤2）：权限使用者点选允许角色智能补位选项，既系统激活此任务允许角色智能补位；

步骤3）：权限使用者选择需要协同培训任务的人员，点击发送操作后，既向需协同装配人员主机系统发送成功；

步骤4）：协同装配人员通过主机系统选择接受的协同装配任务，点击开始后，穿戴VR交互设备，系统组网切换至虚拟装配场景，开始协同装配任务；

步骤5）：在协同装配任务开始后，在虚拟装配场景中，系统将依据协同装配任务配置内容及结构，生成AI补位角色；

步骤6）：AI补位角色生成后，角色处于AI等待指令行为；

步骤7）：在协同装配任务开始后，系统基于协同装配任务，遍历装配流程中任务节点，激活虚拟现实场景中虚拟交互对象，等待协同人员交互操作或AI补位角色交互操作；

步骤8）：在系统遍历虚拟交互对象装配流程中，当协同人员对任务节点指定的虚拟网格模型作交互操作时，碰撞事件响应并通过声音场事件等待AI补位角色或协同人员进一步交互操作；

步骤9）：当AI补位角色智能感知后，通过逻辑策略行为树决定其行为方式；

步骤10）：直至系统遍历协同装配任务装配流程结束，既系统认为该协同装配任务完成。

2.根据权利要求1所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述步骤1）中，多人协同装配任务包含装配任务内容及结构、最大协同装配人数、选择的参与协同装配人员、培训时长、是否允许角色智能补位。

3.根据权利要求1所述的一种基于多人协同装配角色智能补位方法，其特征在于：在多人协同装配任务开始前，将由功能权限者对其选择的装配任务其它属性进行定义，其他属性包括：选择参与装配的人员信息、培训模式。

4.根据权利要求1所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述步骤9）中，逻辑策略行为树包括分支根节点、条件节点、平行节点、行为节点。

5.根据权利要求4所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述分支根节点定义树形分支的根以及执行该分支子节点的基本规则。

6.根据权利要求4所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述条件节点用于定义行为树中分支或单个任务节点是否可执行，它接收AI智能感知输入，根据AI智能感知输入条件决定该执行哪一节点或分支根节点。

7.根据权利要求4所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述平行节点定义AI行为节点或分支根节点的状态监测及更新，定义了行为节点或分支根节点何时执行，以什么频率执行。

8.根据权利要求4所述的一种基于多人协同装配角色智能补位方法，其特征在于：所述行为节点定义AI补位角色的AI行为，最终指向VR虚拟交互角色，通过行为节点可以使得其角色移动至指定位置，推送AI角色交互动作，播放等待动画。

Images