CN111863198A - 基于虚拟现实的康复机器人交互系统及方法 - Google Patents

Abstract

本发明涉及一种基于虚拟现实的康复机器人交互系统及方法，包括虚拟设备、机器人以及服务器；虚拟设备、机器人分别与服务器通信连接；本发明通过设置虚拟设备、机器人以及服务器，使用者既可以与虚拟狗交互，同时也可以与实体机器犬交互。使用者戴上VR头盔，对虚拟狗说话，虚拟狗会根据人说的话做出行为，真实机器犬也将做出相应行为；当人俯下身触摸机器犬时，机器犬将感受到人的触摸行为，虚拟狗将做出相应行为，从而达到了虚拟与现实同步互动的效果。对于损伤或失去行动能力的用户，在沉浸式的交互中可以得到锻炼并逐渐康复。

Description

基于虚拟现实的康复机器人交互系统及方法

技术领域

本发明属于虚拟现实技术领域，具体涉及一种基于虚拟现实的康复机器人交互系统及方法。

背景技术

康复医疗一直是现代医学的重要组成部分。随着国外康复医疗发展经验的不断影响，国内政策的不断完善和开放，康复医疗的新模式、新技术层出不穷，为康复医疗带来重要发展契机。对于很多疾病来说，并能自行痊愈，相反，还会因为疾病造成一系列并发症以及功能性障碍，不仅不会使用户恢复健康，还会对其造成更多病痛的折磨、心理上的打击，也为整个家庭增加沉重的经济负担。因此，病症后的康复治疗至关重要！

相关技术中，康复训练需用户在专业治疗师指导下在特定训练地点进行，因为效果不易评估，需要耗费大量医生精力而不能满足用户需求，同时又带给用户心理压力。在压力之下，用户无法全身心的投入到康复训练之中，从而耽误了康复的最佳时机。随着医疗水平技术的提高，在康复医疗方面人们逐渐采用新型治疗方法——宠物疗法来促进用户的康复，使用小鸟、小狗等宠物来陪伴长期卧病在身的用户。其中特别是犬类在康复治疗里扮演着越来越重要的角色。由于犬类生性活泼，往往需要人花费许多的时间和精力去培养训练才能成为合格的康复犬，日常生活中也需要进行照顾看护。

综上可知，现有的康复设备具有成本高，还需要后期的维护、修理等成本，且隐私保护性差、趣味性低、种类单一效果差的问题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于虚拟现实的康复机器人交互系统及方法，以解决现有技术中康复设备成本高、隐私保护性差、趣味性低、种类单一效果差的问题。

为实现以上目的，本发明采用如下技术方案：一种基于虚拟现实的康复机器人交互系统，包括：虚拟设备、机器人、服务器、两个定位基站；所述虚拟设备、机器人、两个所述定位基站分别与所述服务器通信连接；

所述服务器用于预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

所述虚拟设备包括：虚拟装置和定位装置；所述虚拟装置包括：

登录模块，用于登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

虚拟现实模块，根据选择的康复任务接收服务器中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

语音模块，用于接收用户的控制指令；

第一无线通信模块，用于将所述控制指令发送至服务器；

第一定位模块，用于对用户进行定位；

所述定位装置用于对用户的手部进行定位并将用户的手部位置发送至服务器；

所述服务器用于接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，实现用户、机器人、虚拟机器人的交互以完成康复任务；

所述机器人包括驱动模块、控制电路、第二定位模块以及第二无线通信模块，所述驱动模块、第二定位模块以及第二无线通信模块分别与所述控制电路连接；

所述控制电路用于通过所述第二无线通信模块接收所述运动指令并根据运动指令控制驱动模块；

所述驱动模块用于驱动机器人的运动；

所述第二定位模块用于对所述机器人进行定位并将机器人的位置发送至服务器；

所述服务器还用于将用户的康复任务的完成过程与完成情况进行记录，以便于医生查看；

两个所述定位基站用于对定位装置、第一定位模块、第二定位模块进行协同定位。

进一步的，所述虚拟装置还包括：

控制模块，用于通过第一无线通信模块将所述控制指令发送至服务器；

跟踪模块，用于采集用户的方位朝向，两个所述定位基站对所述跟踪模块进行协同定位；

两个所述定位基站均包括红外传感器阵列，所述红外传感器阵列包括两个转轴互相垂直的旋转的红外激光发射器。

进一步的，所述机器人采用机器狗、虚拟机器人采用虚拟狗、所述虚拟装置为虚拟现实头盔；所述机器狗上还设有：酒精传感器、气味传感器、摄像头和触摸感应模块，所述酒精传感器、气味传感器、摄像头和触摸感应模块分别与所述控制电路连接；

所述酒精传感器用于采集乙醇浓度信息；

所述气味传感器用于检测周围环境的气味；

所述摄像头用于采集用户图像；

所述触摸感应模块用于感应用户的触摸。

进一步的，所述驱动模块包括驱动舵机；所述驱动舵机在控制电路的控制下实现机器人的前进、后退、平移、转向、抬头低头、左仰右仰。

进一步的，还包括：智能终端；

所述智能终端中设有APP，用于登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

所述智能终端与所述服务器连接。

进一步的，所述控制模块采用STM32F405控制器。

本申请实施例提供一种基于虚拟现实的康复机器人交互方法，包括：

预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

根据选择的康复任务接收服务器中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，实现用户、机器人、虚拟机器人的交互以完成康复任务；

服务器将用户的康复任务的完成过程与完成情况进行记录，以便于医生查看。

进一步的，所述接收所述控制指令并进行解析获取用户交互意图，包括：

获取用户语音；

识别所述语音，并在识别后返回可执行的指令，将不可执行的指令丢弃；

根据虚拟装置的位置和朝向，分析用户在虚拟世界中所关注的对象；

根据用户双手的相对位置，以及机器人采集的图像，分析用户当前手势；

获取用户的触摸动作，生成对应的触摸反馈指令；

根据触摸反馈指令、语音指令、手势指令、关注对象的关系的顺序确认用户当前唯一的交互意图。

进一步的，所述根据用户交互意图生成虚拟机器人的行动轨迹，包括：

根据用户交互意图确认虚拟场景中的虚拟机器人的目标位置；

根据虚拟场景中的场景设置，利用自动找路算法，生成虚拟狗在虚拟场景中的行动路径。

进一步的，所述根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，包括：

将虚拟机器人的行动路径离散化，生成一系列有序的路点；

虚拟机器人在虚拟场景中行走至下一路点；

获取机器人当前位置与朝向，根据当前位置与朝向和路点位置与朝向的关系，计算机器人的原地转动角度和前进/后退距离并向机器人发送运动指令；

根据所述运动指令机器人先旋转，再行走，当动作指令完成后反馈执行成功指令；

再次获取机器人当前位置与朝向，判断机器人当前位置与路点位置的距离是否小于预设阈值；

如果大于，则继续计算机器人的原地转动角度和前进/后退距离并向机器人发送运动指令；

如果小于，则判断虚拟机器人是否到达虚拟场景中的目标位置；

如果未达到，则继续行走至下一路点；

如果到达，则根据用户的交互意图的目标动作进行执行。

本发明采用以上技术方案，能够达到的有益效果包括：

本申请提供的基于虚拟现实的康复机器人交互系统，通过设置虚拟设备、机器人以及服务器，使用者既可以与虚拟狗交互，同时也可以与实体机器犬交互。使用者戴上VR头盔，对虚拟狗说话，虚拟狗会根据人说的话做出行为，真实机器犬也将做出相应行为；当人俯下身触摸机器犬时，虚拟狗将追踪人与机器狗当前的相对空间位置，并做出相应行为，从而达到了虚拟与现实同步互动的效果。对于损伤或失去行动能力的用户，在沉浸式的交互中可以得到锻炼逐渐康复。本申请的成本相对较小，患者可以单独在虚拟世界中，具有独立的空间，保护隐私。除此之外，本申请提供的系统生动真实，趣味性高，还可以根据需求制定不同的虚拟场景，丰富多样。

用户戴上虚拟装置，面对一种三维的模拟现实，似乎置身于一个具有三维的视觉、听觉、触觉的感觉世界，并且通过虚拟环境可以和相应的设施进行信息交互。在VR场景中，用户与场景的中的虚拟狗进行互动，从而逐渐建立患者的自信，恢复以及锻炼大脑的运动神经细胞，在不知不觉中，可以让用户逐渐恢复自理和行动能力。从保护隐私的角度考虑，使用VR和硬件实体可以让患者在一个相对保密的虚拟空间中，心理压力以及隐私的担心都会减小数倍；从成本角度考虑，雇佣高级康复师并配备整套的物理康复训练设备其成本是非常高的，况且其训练的项目种类，趣味性，等等大打折扣，使用VR+硬件实体可以更加快速，经济，多样化，趣味化的展开康复训练。

本申请提供的康复机器人能一定程度上帮助长期瘫痪的中风用户或是其他病症恢复自身主动控制肢体的能力。用户可以在康复机器狗的帮助下，对肢体的患侧进行准确重复性的运动练习，从而加快运动功能的康复进程，同时给用户逐渐建立自信心，即使刚开始是没有效果的，但是随着时间的推移，用户会慢慢尝试，一步一步的恢复。根据脑神经可塑性理论，脑功能重组的恢复训练应该强调用户的主观参与，按照科学的运动学习方法对用户进行再教育以恢复其运动功能，用户积极参与到功能恢复训练中，能够获得更好的恢复效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于虚拟现实的康复机器人交互系统的结构示意图；

图2本发明基于虚拟现实的康复机器人交互系统的另一种结构示意图；

图3为本发明提供的虚拟场景和虚拟狗示意图；

图4为本发明提供的康复任务流程示意图；

图5为本发明提供的机器狗的结构示意图；

图6为本发明提供的虚拟现实头盔的结构示意图；

图7为本发明基于虚拟现实的康复机器人交互方法的步骤示意图；

图8为本发明获取用户交互意图流程示意图；

图9为本发明生成虚拟机器人行动轨迹流程图；

图10为本发明机器人与虚拟机器人同步流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的基于虚拟现实的康复机器人交互系统及方法。

如图1和图2所示，本申请实施例中提供的基于虚拟现实的康复机器人交互系统及方法，包括：虚拟设备1、机器人2、服务器3、两个定位基站4；所述虚拟设备1、机器人2、两个所述定位基站4分别与所述服务器3通信连接；

所述服务器3用于预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

如图2所示，所述虚拟设备1包括：虚拟装置11和定位装置12；所述虚拟装置11包括：

登录模块111，用于登录虚拟设备并通过虚拟设备选择服务器3中预设的康复任务；

虚拟现实模块112，根据选择的康复任务接收服务器3中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

语音模块113，用于接收用户的控制指令；

第一无线通信模块114，用于将所述控制指令发送至服务器3；

第一定位模块115，用于对用户进行定位；

所述定位装置12用于对用户的手部进行定位并将用户的手部位置发送至服务器3；

所述服务器3用于接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人2以同步机器人2的运动信息和位置信息，实现用户、机器人2、虚拟机器人的交互以完成康复任务；

所述机器人2包括驱动模块21、控制电路22、第二定位模块23以及第二无线通信模块24，所述驱动模块21、第二定位模块23以及第二无线通信模块24分别与所述控制电路22连接；

所述控制电路22用于通过所述第二无线通信模块24接收所述运动指令并根据运动指令控制驱动模块21；

所述驱动模块21用于驱动机器人2的运动；

所述第二定位模块23用于对所述机器人2进行定位并将机器人2的位置发送至服务器3；

所述服务器3还用于将用户的康复任务的完成过程与完成情况进行记录，以便于医生查看；

所述定位基站4用于对定位装置12、第一定位模块115、第二定位模块23进行协同定位。

优选的，本申请提供的系统还包括电源，用于向系统提供电能。

基于虚拟现实的康复机器人交互系统及方法的工作原理为：如图3所示，用户将虚拟装置11戴上，置身于一个具有三维的视觉、听觉、触觉的虚拟场景，虚拟场景中还设有虚拟机器人，用户可以对虚拟机器人说话，服务器3对用户的语音进行解析，例如判断出用户说的话为过来，则首先生成虚拟机器人的行动轨迹，然后采集用户与真实的机器人2的空间位置关系根据行动轨迹规划机器人2的行走路径和移动方位，然后发送指令至机器人2，机器人2接收到指令后会按照服务器3规划好的路线进行行走。直至走到用户的身边，用户还可以抚摸机器人2。需要说明的是，机器人2的运动信息和位置信息与虚拟机器人的运动信息和位置信息相同，能够给用户以真实感。也就是说，当用户被置身于一个具有三维的视觉、听觉、触觉的感觉世界后，在与虚拟中的机器人2进行互动的过程中，现实中的真实的机器人2，也会同步运动，旨在帮助用户有更加真实的体验，当用户去触碰机器人2时可以带来更加逼真的触觉体验。

除此之外，如图4所示，本申请设置了康复任务，用户通过个人信息登录后选择康复任务后，服务器3可以提取康复任务当前步骤，获取用户交互意图，在虚拟场景中生成虚拟机器人的行动轨迹，虚拟机器人沿路径行走并作出过渡性动作，而机器人2与虚拟机器人同步运动，这样完成用户的康复任务，在用户完成康复任务后会同步至服务器3进行保存，用户的个人医生可以通过服务器3获取用户的康复任务完成过程记录与完成情况，从而判断用户的康复情况。其中如图1所示，服务器中设有语音识别云和康复训练云，用于识别用户语音；康复训练云用于存储康复任务以及存储康复任务的完成过程与完成情况。

康复任务可以是站起来的时间、与虚拟狗进行互动、摆臂、踢腿、行走等。完成情况可以是用户的运动统计，例如用户站起来的的总时长、用户行走的总位移、摆臂时间等。

本申请让用户在虚拟的VR场景中，更有安全感，可以全心的投入到康复训练之中。在虚拟的场景中与康复犬互动，锻炼大脑的运动神经细胞，从而使用户逐渐恢复行动能力。除此之外，本申请采用VR技术，使用户足不出户，便能在家中治疗。用户只需有一套VR设备及硬件条件，没有后续可能增加的成本花费。无训练周期，可立即使用。

一些实施例中，所述虚拟装置11还包括：

控制模块，用于通过第一无线通信模块114将所述控制指令发送至服务器3；

跟踪模块，用于采集用户的方位朝向，两个所述定位基站4对所述跟踪模块进行协同定位；

两个所述定位基站4均包括红外传感器阵列，所述红外传感器阵列包括两个转轴互相垂直的旋转的红外激光发射器。

跟踪模块可以反馈当前佩戴者的方位朝向到虚拟场景中以及服务器3中，服务器3能够根据佩戴者的方位朝向规划机器人2的行走路径。例如：用户向虚拟机器人发出指令：跟着我，则服务器3根据佩戴者当前的方位朝向向机器人2规划向用户行走的路径以及移动方位，使得机器人2跟着用户行走，同时虚拟机器人也跟着用户。实现虚拟机器人的互动以及现实机器人2的互动。

可以理解的是，本申请中虚拟装置11中未设置控制模块时，可以由服务器3控制并在虚拟装置11中进行显示，虚拟装置11中设置控制模块时，可以根据需要进行相应处理，再将处理结果发送至服务器3。

具体的，本申请中定位基站4组成的定位系统名称为Lighthouse，由两个基站构成：每个基站里有一个红外LED阵列，两个转轴互相垂直的旋转的红外激光发射器。转速为10ms一圈。基站的工作状态是这样的：20ms为一个循环，在循环开始的时候红外LED闪光，10ms内X轴的旋转激光扫过整个空间，Y轴不发光；下10ms内Y轴的旋转激光扫过整个空间，X轴不发光。

本申请中中高速摄影机下的Lighthouse基站Valve在虚拟装置11上安装了很多光敏传感器。在基站的LED闪光之后就会同步信号，然后光敏传感器可以测量出X轴激光和Y轴激光分别到达传感器的时间。这个时间就正好是X轴和Y轴激光转到这个特定的，点亮传感器的角度的时间，于是传感器相对于基站的X轴和Y轴角度也就已知了；分布在虚拟装置11的光敏传感器的位置也是已知的，于是通过各个传感器的位置差，就可以计算出虚拟装置11的位置和运动轨迹。

本申请中采用的定位基站4为Lighthouse，其有很多优势。第一，其需要的计算能力非常小。一个光学系统需要进行成像，然后程序就需要通过图像处理的方法来将成像中的马克点分辨出来。成像的细节越丰富，需要的图像处理计算能力就越高。所以红外摄像头比单色摄像头简单，单色摄像头比彩色摄像头简单。Lighthouse使用的仅仅是时间参数，不涉及到图像处理，对于位置的计算在设备本地就可以完成。

第二，其延迟很小，计算能力需求高就意味着延迟会高：图形处理的大量数据要从摄像头27传输到电脑中，再从电脑传输到头显上，就会增加延迟。而Lighthouse可以直接将位置数据传输到电脑上，省略了从摄像头27到电脑的高数据传输的步骤。

一些实施例中，如图5所示，所述机器人2采用机器狗、虚拟机器人采用虚拟狗、所述虚拟装置11为虚拟现实头盔；如图1所示，所述机器狗上还设有：酒精传感器25、气味传感器26、摄像头27和触感感应模块28，所述酒精传感器25、气味传感器26、摄像头27和触感感应模块28分别与所述控制电路22连接；

所述酒精传感器25用于采集乙醇浓度信息；

所述气味传感器26用于检测周围环境的气味；

所述摄像头27用于采集用户图像；

所述触感感应模块28用于感应用户的触摸。

其中，所述酒精传感器25与所述控制电路22连接，所述控制电路22将乙醇浓度信息发送至服务器3，所述服务器3对所述乙醇浓度信息进行分析处理，判断乙醇浓度是否超过预设阈值，如果是，则发送信号至虚拟装置11，所述虚拟装置11中的虚拟机器人进行相应动作及声音展示。

酒精最明显且最直接的影响是心理上的：它是一种中枢神经系统的抑制剂，在低至中等剂量下，可以减少焦虑，提高社交能力，并且带来轻微的快感。在更高的剂量下，它可以损害知觉和判断，降低反应时间，并且导致昏迷、无意识。所以对于康复机构需要实时对用户进行酒精的监测；我们通过在机器狗中加装酒精传感器25，可以在一定程度上监测/阻止用户饮酒，同时这对于康复机构获取用户健康数据或者远程医疗监控是十分有帮助的。

具体的，用户喝酒后，机器狗靠近用户时可以检测到酒精浓度，识别并捕获分析该用户是否饮酒，从而完成对用户身体数据的有效监测。如果确认用户确实喝酒了，则虚拟机器狗会产生动作和声音进行干扰。例如，虚拟机器狗会挥爪以及产生汪汪的声音。本申请中加装酒精传感器25去仿生机器狗的鼻子，可以实时监控患者是否饮酒进行实时提醒，从而能够更好的使患者恢复健康。

需要说明的是，本申请提供的机器狗的硬件外壳由3D打印而来，最后安装固定。

具体的，如果用户患疾病时，可能发出其他的气味，气味传感器26采集气味上传至服务器3，服务器3对气味进行解析，判断疾病，可以及时对用户所患的疾病进行提醒，防止病情加重。

触感感应模块28可以感应用户的触摸，发送信号至控制电路22，控制电路22可以接收信号并驱动驱动模块21进行抬头或低头的动作，以给人以真实感。

优选的，所述驱动模块21包括驱动舵机；

所述驱动舵机在控制电路22的控制下实现机器人2的前进、后退、平移、转向、抬头低头、左仰右仰。

具体的，本申请中驱动舵机包括13组，用于实现机器人2的前进、后退、平移、转向、抬头低头、左仰右仰、抬爪、落爪等。可以理解的是，本申请中机器狗的运动可采用现有技术实现，本申请在此不再赘述。

优选的，所述第一无线通信模块114、第二无线通信模块24均采用蓝牙模块；

所述语音模块113采用麦克风。

本申请采用JDY-33蓝牙，基于蓝牙3.0SPP+BLE设计，这样可以支持Windows、Linux、android、IOS数据透传，工作频段2.4GHZ，调制方式GFSK，最大发射功率6db，最大发射距离30米，支持用户通过AT命令修改设备名、波特率等指令，方便快捷使用灵活。

如图6所示，虚拟装置11采用头盔的形式，可以直接戴在用户头上，方便用户行动以及与机器狗进行互动。当患者佩戴VR头盔后，可以通过使用麦克风接收患者的语音，实时识别成文字转为相应的指令，同时会加入一些真实的场景音效与狗吠声反馈给患者；想让患者更好的融入进训练系统，语音的交互是必不可少的，这也为帮助患者更快更愉悦的恢复起到了很大的作用。

优选的，所述控制模块采用STM32F405控制器。

本申请提供的基于虚拟现实的康复机器人交互系统，将机器狗应用在康复医疗，帮助运动障碍的患者进行康复训练；同时加装酒精乙醇传感器模块，根据测得数据，完成对患者的实时监控护理；同时将VR场景中的虚拟狗与实体联合起来，带给使用者更加声临其境的感觉。

优选的，本申请中实施例还包括：智能终端；

所述智能终端中设有APP，用于登录虚拟设备并通过虚拟设备选择服务器3中预设的康复任务；

所述智能终端与所述服务器3连接。

用户不仅可以通过虚拟装置11进行登录选择康复任务还可以通过手机进行登录选择康复任务。

一些实施例中，如图7所示，本申请提供的基于虚拟现实的康复机器人交互方法，包括：

S101，预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

S102，登录虚拟设备并通过虚拟设备选择服务器3中预设的康复任务；

S103，根据选择的康复任务接收服务器3中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

S104，接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人2以同步机器人2的运动信息和位置信息，实现用户、机器人2、虚拟机器人的交互以完成康复任务；

S105，服务器3将用户的康复任务完成情况进行记录，以便于医生查看。

优选的，如图8所示，所述接收所述控制指令并进行解析获取用户交互意图，包括：

S201，获取用户语音；

S202，识别所述语音，并在识别后返回可执行的指令，将不可执行的指令丢弃；

S203，根据虚拟装置11的位置和朝向，分析用户在虚拟世界中所关注的对象；

S204，根据用户双手的相对位置，以及采集的机器人2图像，分析用户当前手势；

S205，获取用户的触摸动作，生成对应的触摸反馈指令；

S206，根据触摸反馈指令、语音指令、手势指令、关注对象的关系的顺序确认用户当前唯一的交互意图。

具体的，下面以虚拟机器人为虚拟狗，机器人2为实体机器狗为例进行说明。

从虚拟现实头盔获取用户语音，服务器3将语音上传至语音识别云，识别后返回可执行的指令(比如：跟着我)，不可执行的指令将丢弃，在服务器3上根据虚拟现实头盔的位置和朝向，分析用户在虚拟世界中所关注的对象(比如：关注远方墙上的一幅画)，在服务器3上根据用户双手上的手部定位模块也就是定位装置12采集的相对位置，以及实体机器狗的摄像头27所采集的图像(通过蓝牙模块传输至服务器3)，分析用户当前手势(比如：向虚拟狗招手，示意它过来)，实体机器狗的触摸感应模块获取用户的触摸动作，生成对应的触摸反馈指令(如：拍拍实体机器狗的头部，生成虚拟狗抬头的触摸反馈指令)，根据触摸反馈指令>语音指令>手势指令>关注对象的关系，最终确认用户当前唯一的交互意图(在当前情况中，应为触摸反馈指令“抬头”)。

优选的，如图9所示，所述根据用户交互意图生成虚拟机器人的行动轨迹，包括：

S301，根据用户交互意图确认虚拟场景中的虚拟机器人的目标位置；

S302，根据虚拟场景中的场景设置，利用自动找路算法，生成虚拟狗在虚拟场景中的行动路径。

具体的，在服务器3上根据用户交互意图确认虚拟场景中的虚拟狗的目标位置，(如：当用户的交互意图为跟着我时，虚拟狗的目标位置即为虚拟现实头盔即用户头部的当前位置，该位置由虚拟现实头盔内置的定位模块获得)，在服务器3上根据虚拟场景中家具的摆放，利用自动找路算法，生成虚拟狗在虚拟场景中的行动路径。其中自动找路算法采用现有技术中的算法，本申请在此不再赘述。

优选的，如图10所示，所述根据所述行动轨迹发送运动指令至机器人2以同步机器人2的运动信息和位置信息，包括：

将虚拟机器人的行动路径离散化，生成一系列有序的路点；

虚拟机器人在虚拟场景中行走至下一路点；

获取机器人2当前位置与朝向，根据当前位置与朝向和路点位置与朝向的关系，计算机器人2的原地转动角度和前进/后退距离并向机器人2发送运动指令；

根据所述运动指令机器人2先旋转，再行走，当动作指令完成后反馈执行成功指令；

再次获取机器人2当前位置与朝向，判断机器人2当前位置与路点位置的距离是否小于预设阈值；

如果大于，则继续计算机器人2的原地转动角度和前进/后退距离并向机器人2发送运动指令；

如果小于，则判断虚拟机器人是否到达虚拟场景中的目标位置；

如果未达到，则继续行走至下一路点；

如果到达，则根据用户的交互意图的目标动作进行执行。

具体的，在服务器3上将虚拟狗的行动路径离散化，生成一系列有序的路点；虚拟狗在服务器3上的虚拟世界中行走至下一路点，使用实体机器狗身上的定位模块获取实体机器狗当前的位置与朝向，并传送给上服务器3，在服务器3上使用实体机器狗身上的定位模块获取实体机器狗当前的位置与朝向，根据当前位置与朝向与路点位置与朝向的关系，计算出实体机器狗的原地转动角度和前进/后退距离，服务器3向实体机器狗借助蓝牙无线模块发送动作指令，实体机器狗先旋转，再行走，当动作指令完成后通过蓝牙模块发送“执行成功”指令到服务器3，再次使用实体机器狗身上的第二定位模块23获取实体机器狗当前的位置与朝向，实体机器狗当前的位置与路点位置的距离小于指定的阈值，如果是，虚拟狗到达服务器3上的虚拟模块中的目标位置，虚拟狗/实体机器狗做出根据用户的交互意图的目标动作，执行下一个康复任务步骤或等待用户的下一个康复意图。

综上所述，本发明提供一种基于虚拟现实的康复机器人交互系统及方法，通过设置虚拟设备、机器人以及服务器，使用者既可以与虚拟狗交互，同时也可以与实体机器犬交互。使用者戴上VR头盔，对虚拟狗说话，虚拟狗会根据人说的话做出行为，真实机器犬也将做出相应行为；当人俯下身触摸机器犬时，虚拟狗将追踪人与机器狗当前的相对空间位置，并做出相应行为，从而达到了虚拟与现实同步互动的效果。对于损伤或失去行动能力的用户，在沉浸式的交互中可以逐渐恢复行动能力。除此之外，医生还可以获取用户的康复情况，从而针对用户的康复情况，指定适应的康复任务。

可以理解的是，上述提供的系统实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于虚拟现实的康复机器人交互系统，其特征在于，包括：虚拟设备、机器人、服务器、两个定位基站；所述虚拟设备、机器人、两个所述定位基站分别与所述服务器通信连接；

所述服务器用于预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

所述虚拟设备包括：虚拟装置和定位装置；所述虚拟装置包括：

登录模块，用于登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

虚拟现实模块，根据选择的康复任务接收服务器中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

语音模块，用于接收用户的控制指令；

第一无线通信模块，用于将所述控制指令发送至服务器；

第一定位模块，用于对用户进行定位；

所述定位装置用于对用户的手部进行定位并将用户的手部位置发送至服务器；

所述服务器用于接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，实现用户、机器人、虚拟机器人的交互以完成康复任务；

所述机器人包括驱动模块、控制电路、第二定位模块以及第二无线通信模块，所述驱动模块、第二定位模块以及第二无线通信模块分别与所述控制电路连接；

所述控制电路用于通过所述第二无线通信模块接收所述运动指令并根据运动指令控制驱动模块；

所述驱动模块用于驱动机器人的运动；

所述第二定位模块用于对所述机器人进行定位并将机器人的位置发送至服务器；

所述服务器还用于将用户的康复任务的完成过程与完成情况进行记录，以便于医生查看；

两个所述定位基站用于对定位装置、第一定位模块、第二定位模块进行协同定位。

2.根据权利要求1所述的基于虚拟现实的康复机器人交互系统，其特征在于，所述虚拟装置还包括：

控制模块，用于通过第一无线通信模块将所述控制指令发送至服务器；

跟踪模块，用于采集用户的方位朝向，两个所述定位基站对所述跟踪模块进行协同定位；

两个所述定位基站均包括红外传感器阵列，所述红外传感器阵列包括两个转轴互相垂直的旋转的红外激光发射器。

3.根据权利要求1所述的基于虚拟现实的康复机器人交互系统，其特征在于，所述机器人采用机器狗、虚拟机器人采用虚拟狗、所述虚拟装置为虚拟现实头盔；所述机器狗上还设有：酒精传感器、气味传感器、摄像头和触摸感应模块，所述酒精传感器、气味传感器、摄像头和触摸感应模块分别与所述控制电路连接；

所述酒精传感器用于采集乙醇浓度信息；

所述气味传感器用于检测周围环境的气味；

所述摄像头用于采集用户图像；

所述触摸感应模块用于感应用户的触摸。

4.根据权利要求1所述的基于虚拟现实的康复机器人交互系统，其特征在于，所述驱动模块包括驱动舵机；所述驱动舵机在控制电路的控制下实现机器人的前进、后退、平移、转向、抬头低头、左仰右仰。

5.根据权利要求1所述的基于虚拟现实的康复机器人交互系统，其特征在于，还包括：智能终端；

所述智能终端中设有APP，用于登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

所述智能终端与所述服务器连接。

6.根据权利要求2所述的基于虚拟现实的康复机器人交互系统，其特征在于，所述控制模块采用STM32F405控制器。

7.一种基于虚拟现实的康复机器人交互方法，其特征在于，包括：

预设康复任务、康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人；

登录虚拟设备并通过虚拟设备选择服务器中预设的康复任务；

根据选择的康复任务接收服务器中与所述康复任务对应的虚拟场景以及所述虚拟场景中的虚拟机器人，并以三维动态视景和声音的形式进行展示；

接收所述控制指令并进行解析获取用户交互意图，并根据所述用户交互意图生成虚拟机器人的行动轨迹，根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，实现用户、机器人、虚拟机器人的交互以完成康复任务；

服务器将用户的康复任务的完成过程与完成情况进行记录，以便于医生查看。

8.根据权利要求7所述的方法，其特征在于，所述接收所述控制指令并进行解析获取用户交互意图，包括：

获取用户语音；

识别所述语音，并在识别后返回可执行的指令，将不可执行的指令丢弃；

根据虚拟装置的位置和朝向，分析用户在虚拟世界中所关注的对象；

根据用户双手的相对位置，以及机器人采集的图像，分析用户当前手势；

获取用户的触摸动作，生成对应的触摸反馈指令；

根据触摸反馈指令、语音指令、手势指令、关注对象的关系的顺序确认用户当前唯一的交互意图。

9.根据权利要求7所述的方法，其特征在于，所述根据用户交互意图生成虚拟机器人的行动轨迹，包括：

根据用户交互意图确认虚拟场景中的虚拟机器人的目标位置；

根据虚拟场景中的场景设置，利用自动找路算法，生成虚拟狗在虚拟场景中的行动路径。

10.根据权利要求7所述的方法，其特征在于，所述根据所述行动轨迹发送运动指令至机器人以同步机器人的运动信息和位置信息，包括：

将虚拟机器人的行动路径离散化，生成一系列有序的路点；

虚拟机器人在虚拟场景中行走至下一路点；

获取机器人当前位置与朝向，根据当前位置与朝向和路点位置与朝向的关系，计算机器人的原地转动角度和前进/后退距离并向机器人发送运动指令；

根据所述运动指令机器人先旋转，再行走，当动作指令完成后反馈执行成功指令；

再次获取机器人当前位置与朝向，判断机器人当前位置与路点位置的距离是否小于预设阈值；

如果大于，则继续计算机器人的原地转动角度和前进/后退距离并向机器人发送运动指令；

如果小于，则判断虚拟机器人是否到达虚拟场景中的目标位置；

如果未达到，则继续行走至下一路点；

如果到达，则根据用户的交互意图的目标动作进行执行。

Images