CN111443619B - 一种虚实融合的人机协作仿真方法和系统 - Google Patents

Abstract

本发明公开了一种虚实融合的人机协作仿真方法，包括：根据人体三维姿态信息和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。本发明能够进行人机协作研究中各种控制算法的验证和实验，实验人‑机器人间的交互、碰撞、力、动作协调性等内容；更贴近现实场景，能够真实反映人体运动，在避免建立复杂的模型的同时，还具备确保人体安全、人能够真正感受协作过程、仿真更加准确等的优点。

Description

一种虚实融合的人机协作仿真方法和系统

技术领域

本发明涉及增强现实和机器人技术技术领域，具体而言涉及一种虚实融合的人机协作仿真方法和系统。

背景技术

机器人尤其是工业机器人是制造业的重要工具，考虑到安全问题，机器人过去总是围起来单独进行作业，但随着工业的发展和需求越来越复杂，受限于机器人的智能程度，单纯地依靠机器人已经无法完成复杂、细致的作业任务，机器人要和人协作起来才能完成更为复杂的生产要求，故近几年来，人机协作作业成为机器人应用的一个发展趋势。

在人机协作技术研究和实验的过程中，仿真技术是其中一个重要的研究手段。目前人机协作研究中的仿真方法主要有两种方案，一种是采用虚拟仿真环境进行人机协作仿真，即在计算环境中建立机器人的三维模型和人体的三维模型，通过驱动模型运动来进行人机交互、人机协作的研究，但是这种方法需要建立大量的模型，且模型都是简化模型，无法与真实场景相比，数据准确性差。另外一种采用真实机器人和真实人进行人机的交互、人机协作的研究，这种方式采用实际场景进行仿真，但存在着需要建造实体机器人，成本较高、人与机器人直接接触，实验的不确定性会给人体带来危险和伤害，无法保证人安全的缺点。

发明内容

本发明目的在于提供一种虚实融合的人机协作仿真方法和系统，基于增强现实技术，通过搭建真人-虚拟机器人或虚拟人-实体机器人的虚实结合的仿真环境来作为人机协作相关技术研究的验证和实验平台，通过该系统和方法，研究者可以进行人机协作研究中各种控制算法的验证和实验，实验人-机器人间的交互、碰撞、力、动作协调性等内容。另外，本发明使用真人虚机或者虚人真机协作实验，更贴近现实场景，能够真实反映人体的运动，在避免建立复杂的模型的同时，还具备确保人体安全、仿真更加准确、人能够真正感受协作过程等的优点。

为达成上述目的，结合图1，本发明提出一种虚实融合的人机协作仿真方法，所述仿真方法包括：

S1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；

S2，采集并生成人体三维姿态序列；

S3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据；

S4，根据人体三维姿态序列和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；

S5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

作为其中的一种优选例，步骤S2中，所述采集并生成人体三维姿态序列的过程包括以下步骤：

S21，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列；

S22，根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

作为其中的一种优选例，步骤S21中，采用多路相机或深度相机，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列。

作为其中的一种优选例，步骤S2中，采用穿戴式人体三维姿态采集设备，采集并生成人体三维姿态序列。

作为其中的一种优选例，步骤S1中，所述搭建虚拟机器人模型，驱动虚拟机器人模型运动的过程包括视觉设备以下步骤：

S11，在机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；

S12，针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；

S13，为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；

S14，基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；

S15，根据接收到的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动，仿真虚拟机器人的运动过程。

作为其中的一种优选例，所述视觉设备包括增强现实眼镜。

作为其中的一种优选例，所述方法还包括：

S6，结合人机协作过程的分析结果，对虚拟机器人模型进行改善。

结合图2，基于前述方法，本发明还提及一种虚实融合的人机协作仿真系统，所述人机协作仿真系统包括人体三维姿态采集设备、视觉设备、数据手套、图形工作站；

所述人体三维姿态采集设备用于采集并生成人体三维姿态序列，发送至图形工作站；

所述图形工作站用于搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；

所述视觉设备和数据手套穿戴在用户身上，与图形工作站连接，所述视觉设备用于为用户显示图形工作站发送的包括虚拟机器人模型在内的增强现实场景，所述数据手套用于将用户手部位置信息和对应的施力数据发送至图形工作站；

所述图形工作站还用于根据人体三维姿态和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；以及

结合所述人体、手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

作为其中的一种优选例，所述人体三维姿态采集设备包括多路相机、人体三维姿态采集装置和安装在图形工作站内的人体三维姿态检测模块；

所述多路相机用于采集至少三个方向上的人体的三维图像或三维点云数据；

所述人体三维姿态采集装置与多路相机连接，用于对多路相机发送的三维图像或三维点云数据进行分析，生成多路人体三维图像序列；

所述人体三维姿态检测模块根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

作为其中的一种优选例，所述图形工作站包括手位置和力信息模块、姿态序列生成模块、虚拟机器人组装模块、物理属性添加模块、运动建模模块、虚拟控制器模块、运动仿真模块和人机交互处理模块；

所述手位置和力信息模块用于获取数据手套返回数据，生成用户手部位置信息和对应的施力数据；

所述姿态序列生成模块用于根据人体三维姿态和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；

所述虚拟机器人组装模块用于从机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；

所述物理属性添加模块用于针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；

所述运动建模模块用于为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；

所述虚拟控制器模块内置在虚拟机器人模型中，用于根据接收到的虚拟机器人模型发送的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动；

所述运动仿真模块用于根据虚拟机器人模型的运动数据，仿真虚拟机器人的运动过程；

所述人机交互处理模块用于基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；以及

结合所述人体、手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)实现一种真人-虚拟机器人的真人虚机的人机协作仿真方法，通过该系统和方法，研究者可以进行人机协作研究中各种控制算法的验证和实验，实验人-机器人间的交互、碰撞、力、动作协调性等内容。

(2)人体三维姿态序列与虚拟机器人的运动仿真过程同步，更贴近现实场景，能够真实反映人体运动，在避免建立复杂的模型的同时，还具备确保人体安全、仿真更加准确等的优点。

(3)结合人体三维位姿序列，参考人体真实施力原理对数据手套提供的施力信息进行解析，考虑手腕、手臂甚至人体姿态对每个方向上的分量力的影响，并且引入时序因素，计算得到每个时间点的施力数据，整合后能够完成对用户真实施力过程的有效还原。

(3)能快速地建立仿真，并保证仿真的效果。

(4)可以反复使用，节省成本。

(5)真实人和虚拟机器人之间能够进行动作交互和协作，真人能够参与仿真过程，人能够真正感受协作过程。

(6)不局限于真人-虚拟机器人或虚拟人-实体机器人的虚实结合的仿真环境。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的虚实融合的人机协作仿真方法的流程图。

图2是本发明的虚实融合的人机协作仿真系统的结构示意图。

图3是本发明的其中一种虚实融合的人机协作仿真系统(真人虚机)实例示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

具体实施例一

结合图1，本发明提出一种虚实融合的人机协作仿真方法，所述仿真方法包括：

S1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备。

S2，采集并生成人体三维姿态序列。

S3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据。

S4，根据人体三维姿态序列和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息。

S5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

一、搭建虚拟机器人模型

作为其中的一种优选例，步骤S1中，所述搭建虚拟机器人模型，驱动虚拟机器人模型运动的过程包括视觉设备以下步骤：

S11，在机器人模型库中选择机器人组件，设计和组装虚拟机器人模型。

S12，针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性。

S13，为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型。

S14，基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景。

S15，根据接收到的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动，仿真虚拟机器人的运动过程。

结合图3，所述传感器信号可以来自于虚拟机器人模型自身，即虚拟机器人模型的虚拟控制器能够获取来自安装在虚拟机器人模型上的虚拟传感器信息，并做出控制反馈。

二、采集并生成人体三维姿态序列

人体三维姿态序列的获取方式包括穿戴式和非穿戴式两种。

(1)非穿戴式

步骤S2中，所述采集并生成人体三维姿态序列的过程包括以下步骤：

S21，采用多路相机或深度相机等设备，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列。

S22，根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

此处的相机可以采用工业相机或者深度相机，相机的数量至少3个，以充分采集生成最终三维姿态序列的数据基础。

优选的，相机布置在实验场景的上方，各个相机对准实验场景，相机的方位和距离需要经过测试才能确定。除此之外，还需要对多路相机进行标定后再进行人体三维姿态测量，以及在多路相机之间采用同步器进行时间的同步，以确保最终生成的人体三维姿态序列足够精确。

(2)穿戴式

步骤S2中，采用穿戴式人体三维姿态采集设备，采集并生成人体三维姿态序列。

在本发明中，既可以采用了多路多角度相机捕捉的方法实现人体三维姿态的检测，也可以通过人体穿戴装置实现人体的三维姿态检测。当采用非穿戴式方式时，在同步获取到多路图像或点云信息后，首先进行图像或点云的降噪等预处理，然后进行图像或点云信息的边缘提取、拼接、配准，姿态合成等算法生成人体三维姿态数据和图像。

此处的人体三维姿态序列是指一系列离散的人体、手臂、手等三维位姿和力信息。

三、获取用户手部位置信息和对应的施力数据

在本发明中，是通过穿戴在用户身上的数据手套实现相关数据的采集，包括人体手臂的位置、手指握力、人手位置等信息。

用户手臂和手部力的获取和运用是本发明的关键技术方案之一，本发明通过有效结合用户位姿信息和力信息，结合虚拟机器人模型的运动仿真，实现更加真实的人机协作仿真效果，而不只是停留在人机位置重叠或者碰撞分析上。

而当仿真需求只是仿真人机运动学上的协作关系时，也可以不用带数据手套，虚拟机器人只需要建立运动模型，运动仿真只需要建立运动学上的仿真，人机协作的相互作用只有相互的位置是否重叠(碰撞)，而没有力的作用。

四、计算得到人体、手臂和手部的三维位姿序列和对应的施力信息

具体的，通过合成人体三维姿态检测装置和数据手套的人手位置和姿态数据，合成综合的人体、手臂和手的三维位姿和对应力信息。

五、对人机协作过程进行仿真分析

结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

在本发明中，三维位姿序列和对应的施力信息与虚拟机器人模型生成的运动仿真应该要保持同步，但这个同步并不一定是实时同步，只需要能够真实反映人机协作的仿真过程即可，在确保人机协作仿真效果的前提下，这降低了对设备性能的要求，减轻了系统运行负荷。

作为其中的一种优选例，所述方法还包括：

S6，结合人机协作过程的分析结果，对虚拟机器人模型进行改善。对于改善后的虚拟机器人模型，再次重复前述仿真流程，对虚拟机器人模型的性能做再次判断。

本发明首先进行虚拟机器人模型的装配，通过在机器人组件库中选择对应的机器人组件，设计装配虚拟机器人三维模型，而后赋予虚拟机器人模型物理属性，进一步建立虚拟机器人的运动模型，基于标识物方法，将虚拟机器人放在实际场景中标识物的位置，形成增强现实场景，增强现实场景通过无线方式传递给增强现实眼镜；参与者通过佩戴的增强现实眼镜观察虚拟机器人及其运动。再通过人体周围布置的多路相机实时采集人体的三维图像信息，进行图像处理后，产生人体三维姿态数据，而人体穿戴的数据手套会随着人手臂和手的动作产生人手的位置和力信息，该信息与人体三维姿态数据相融合生成人体三维姿态的力和位置综合数据，产生三维位姿序列和对应的施力信息，在进行人机交互实验时与虚拟机器人的运动过程同步。

当进行人机交互实验时，参与者佩戴增强现实眼镜，将建好的虚拟机器人放置在指定的位置，将相应的控制算法下载到虚拟机器人控制器中驱动机器人模型运动，参与者一边通过增强现实眼镜观察虚拟机器人的运动，一边跟随虚拟机器人的运动姿态进行相互的协作动作，人机交互处理模块处理人的姿态序列与虚拟机器人运动间的相互运动和力关系，输出仿真结果，实验者根据反馈结果进行机器人模型和算法的改进。

结合一个简单实例对上述方法进行说明，假设虚拟机器人模块上设置有旋钮，如果没有力信息的参与，参与者在观察到虚拟机器人动作之后，移动到旋钮位置，做出旋转动作，系统根据参与者的动作判断参与者对该旋钮进行了“旋转”操作，但旋转到什么位置则难以判定，只能根据参与者动作中的旋转幅度来大致判定，在这一过程中，对参与者施力的方向也未加考虑，除了在画面上呈现出来的效果真实性极差之外，用户也很难真实的投入其中，用户体验不佳，同时，由于精度低，通常不会在虚拟机器人模块上设置过多挡位的旋钮。即使必须要设计多个档位的旋钮，每个档位之间的操作动作差别也较大，否则难以识别，而这明显和真实场景背道而驰。

而在本发明中，引入了力信息，并且在将力信息和人体三维姿态信息同步之后，参与者在做出旋转动作之后，系统计算得到人体三维位姿序列和对应的施力信息之后，结合人体三维位姿序列，参考人体真实施力原理对数据手套提供的施力信息进行解析(例如，坐姿和站姿状态下的用户的施力角度必然存在区别，即使施加了同样的力，造成的结果也不相同)，考虑手腕、手臂甚至人体姿态对每个方向上的分量力的影响，并且引入时序因素，计算得到每个时间点的施力数据，整合后完成对用户真实施力过程的有效还原。再将计算结果叠加至虚拟机器人旋钮模块的运动模型中，基于碰撞检测算法和物理仿真算法，检测得到旋钮模块和人体三维姿态序列间的位置交互信息和力交互信息，继而真实地模拟出虚拟旋钮受力旋转的运动状态，甚至当用户误操作时，例如旋转力方向施加错误、甚至反向旋转时，均可以真实地反应在增强现实场景中，使实验者具有更加直观的参与感，同时也有利于成功检测出虚拟机器人模型不合理或待改进之处。

在本发明中，力信息并不是简单的叠加在场景中，事实上简单的力的叠加并不能模拟真实情形，而是首先与人体三维姿态信息同步，再与虚拟机器人的运动模型同步，最后基于碰撞检测算法和物理仿真算法等，获得最终的虚拟交互结果。

具体实施例二

结合图2，基于前述方法，本发明还提及一种虚实融合的人机协作仿真系统，所述人机协作仿真系统包括人体三维姿态采集设备、视觉设备(例如增强现实眼镜)、数据手套、图形工作站。

所述人体三维姿态采集设备用于采集并生成人体三维姿态序列，发送至图形工作站。

所述图形工作站用于搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备。

所述视觉设备和数据手套穿戴在用户身上，与图形工作站连接，所述视觉设备用于为用户显示图形工作站发送的包括虚拟机器人模型在内的增强现实场景，所述数据手套用于将用户手部位置信息和对应的施力数据发送至图形工作站。

所述图形工作站还用于根据人体三维姿态序列和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体手臂和手部的三维位姿和对应的施力信息；以及

结合所述人体手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

整个人机协作仿真系统的工作流程为：首先在图形工作站软件上进行虚拟机器人模型的装配，通过在机器人组件库中选择机器人组件，设计装配虚拟机器人三维模型，而后赋予虚拟机器人模型物理属性，进一步建立虚拟机器人的运动模型，基于标识物方法，将虚拟机器人放在实际场景中的标识物位置，形成增强现实场景；参与者通过佩戴的增强现实眼镜观察虚拟机器人及其运动。人体周围布置的多路相机实时采集人体的三维姿态，将采集到的三维姿态图像传输给人体三维姿态采集设备，人体三维姿态采集设备对相机发送的图像进行图像处理，产生人体三维姿态数据，人体穿戴的数据手套随着人手臂和手的动作产生人手的位置和力信息，该信息与人体三维姿态数据相融合生成人体三维姿态的力和位置综合数据，产生人体手臂和手部的三维位姿和对应的施力信息，并且在进行人机交互实验时与虚拟机器人模型的运动过程同步。

当进行人机交互实验时，参与者佩戴增强现实眼镜，将建好的虚拟机器人模型放置在指定的位置，将相应的控制算法下载到虚拟机器人控制器中驱动机器人模型运动，参与者一边通过增强现实眼镜观察虚拟机器人模型的运动，一边跟随虚拟机器人模型的运动姿态进行相互的协作动作，人机交互处理模块处理人的姿态序列与虚拟机器人模型运动间的相互运动和力关系，输出验证的结果，实验者根据反馈结果进行虚拟机器人模型和相关人机交互控制算法的改进。

结合前述人体三维姿态序列的获取方式，作为其中的一种优选例，所述人体三维姿态采集设备包括多路相机、人体三维姿态采集装置和安装在图形工作站内的人体三维姿态检测模块。

所述多路相机用于采集至少三个方向上的人体的三维图像或三维点云数据。

所述人体三维姿态采集装置与多路相机连接，用于对多路相机发送的三维图像或三维点云数据进行分析，生成多路人体三维图像序列。

所述人体三维姿态检测模块根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

图形工作站是一种处理图像的专用计算机，图形工作站为本系统的核心工作计算机，其内部安装有配套软件，主要实现的功能包括但不仅限于：1、搭建虚拟机器人模型，并生成增强现实场景传递给增强现实眼镜；2、接收人体三维姿态采集装置传来的人体三维姿态序列，3、接收数据手套传来的人手位置和力数据，4、处理人与虚拟机器人的位置和力交互，检测人机碰撞、人机力交互关系等。增强现实眼镜由实验参与者佩戴，用以观察增强现实场景中的虚拟机器人及动作；数据手套佩戴在人手上主要用检测人体手臂的力、手指握力、人手位置等信息反馈给图形工作站。

作为其中的一种优选例，所述图形工作站包括手位置和力信息模块、姿态序列生成模块、虚拟机器人组装模块、物理属性添加模块、运动建模模块、虚拟控制器模块、运动仿真模块和人机交互处理模块。

所述手位置和力信息模块用于获取数据手套返回数据，生成用户手部位置信息和对应的施力数据。

所述姿态序列生成模块用于根据人体三维姿态序列和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体手臂和手部的三维位姿和对应的施力信息。

所述虚拟机器人组装模块用于从机器人模型库中选择机器人组件，设计和组装虚拟机器人模型。

所述物理属性添加模块用于针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性。

所述运动建模模块用于为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型。

所述虚拟控制器模块内置在虚拟机器人模型中，用于根据接收到的虚拟机器人模型发送的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动。

所述运动仿真模块用于根据虚拟机器人模型的运动数据，仿真虚拟机器人的运动过程；

所述人机交互处理模块用于基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；以及

结合所述人体手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

具体实施例三

本发明还可以对虚拟人-实体机器人之间的交互行为进行仿真，将采集人的三维位姿信息和力信息改为采集实体机器人的三维位姿信息和力信息，结合创建的虚拟人的运动模型，采用前述类似方法实现虚拟人-实体机器人的协作仿真过程。其中，采集实体机器人的三维位姿信息和力信息可以通过前述方法实现，也可以通过安装在实体机器人上的诸多传感器和控制器数据计算得到，而创建的虚拟人的运动模型通用需要赋予物理属性和运动属性，创建与前述虚拟机器人模型类似的运动模型。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种虚实融合的人机协作仿真方法，其特征在于，所述仿真方法包括：

S1，搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；

S2，采集并生成人体三维姿态序列；

S3，接收与所述视觉设备配套的数据手套返回的用户手部位置信息和对应的施力数据；

S4，根据人体三维姿态和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；

S5，结合所述人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

2.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S2中，所述采集并生成人体三维姿态序列的过程包括以下步骤：

S21，采集至少三个方向上的人体三维图像或三维点云数据，生成多路人体三维图像序列；

S22，根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

3.根据权利要求2所述的虚实融合的人机协作仿真方法，其特征在于，步骤S21中，采用多路相机或深度相机，采集至少三个方向上的人体的三维图像或三维点云数据，生成多路人体三维图像序列。

4.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S2中，采用穿戴式人体三维姿态采集设备，采集并生成人体三维姿态序列。

5.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，步骤S1中，所述搭建虚拟机器人模型，驱动虚拟机器人模型运动的过程包括以下步骤：

S11，在机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；

S12，针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；

S13，为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；

S14，基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；

S15，根据接收到的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动，仿真虚拟机器人的运动过程。

6.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，所述视觉设备包括增强现实眼镜。

7.根据权利要求1所述的虚实融合的人机协作仿真方法，其特征在于，所述方法还包括：

S6，结合人机协作过程的分析结果，对虚拟机器人模型进行改善。

8.一种虚实融合的人机协作仿真系统，其特征在于，所述人机协作仿真系统包括人体三维姿态采集设备、视觉设备、数据手套、图形工作站；

所述人体三维姿态采集设备用于采集并生成人体三维姿态序列，发送至图形工作站；

所述图形工作站用于搭建虚拟机器人模型，驱动虚拟机器人模型运动，生成增强现实场景，将生成的增强现实场景发送至相关视觉设备；

所述视觉设备和数据手套穿戴在用户身上，与图形工作站连接，所述视觉设备用于为用户显示图形工作站发送的包括虚拟机器人模型在内的增强现实场景，所述数据手套用于将用户手部位置信息和对应的施力数据发送至图形工作站；

所述图形工作站还用于根据人体三维姿态序列和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；以及

结合所述人体、手臂和手部的三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

9.根据权利要求8所述的虚实融合的人机协作仿真系统，其特征在于，所述人体三维姿态采集设备包括多路相机、人体三维姿态采集装置和安装在图形工作站内的人体三维姿态检测模块；

所述多路相机用于采集至少三个方向上的人体的三维图像或三维点云数据；

所述人体三维姿态采集装置与多路相机连接，用于对多路相机发送的三维图像或三维点云数据进行分析，生成多路人体三维图像序列；

所述人体三维姿态检测模块根据同步时间序列，将采集到的多路人体三维图像序列进行配准排序和姿态识别，生成人体三维姿态序列。

10.根据权利要求8所述的虚实融合的人机协作仿真系统，其特征在于，所述图形工作站包括手位置和力信息模块、姿态序列生成模块、虚拟机器人组装模块、物理属性添加模块、运动建模模块、虚拟控制器模块、运动仿真模块和人机交互处理模块；

所述手位置和力信息模块用于获取数据手套返回数据，生成用户手部位置信息和对应的施力数据；

所述姿态序列生成模块用于根据人体三维姿态序列和数据手套返回的用户手部位置信息和对应的施力数据，计算得到人体、手臂和手部的三维位姿和对应的施力信息；

所述虚拟机器人组装模块用于从机器人模型库中选择机器人组件，设计和组装虚拟机器人模型；

所述物理属性添加模块用于针对组装的虚拟机器人模型，赋予包括质量、质心、惯量、碰撞体在内的物理属性；

所述运动建模模块用于为虚拟机器人模型添加关节，设置运动关系，建立虚拟机器人运动模型；

所述虚拟控制器模块内置在虚拟机器人模型中，用于根据接收到的虚拟机器人模型发送的传感器信号和预设的控制算法，控制虚拟机器人模型开始运动；

所述运动仿真模块用于根据虚拟机器人模型的运动数据，仿真虚拟机器人的运动过程；

所述人机交互处理模块用于基于标识物方法，将虚拟机器人模型设置在实际场景中的标识物位置，生成增强现实场景；以及

结合所述人体、手臂和手部三维位姿和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。

Images