CN205450970U - 一种全息投影向导机器人系统 - Google Patents

Abstract

本实用新型涉及一种全息投影向导机器人系统，包括上位机模块以及与其相连的全息投影模块、手势识别模块、云服务模块、远程同步模块；所述上位机模块包括语音模块、手部三维图形模块、机器人模型模块、3D图形模块；所述全息投影模块通过VGA接口与所述上位机模块连接，所述手势识别模块通过USB接口与所述上位机模块连接。本实用新型结构简单、成本低、操作便捷、拓展性高，重要的是带来全新的视觉体验感受，而且能带来新鲜的元素，展示方式独特而又鲜明。

Description

一种全息投影向导机器人系统

技术领域

本实用新型涉及全息投影、体感和语音交互领域，特别是一种全息投影向导机器人系统。

背景技术

如今在一些公园、景区、大型商场和学校等等类似的地区，存在一个同样的问题就是内部结构和信息的表示不清晰，当人们置身于此的时候想获取相应的内部信息时却无从下手。现在的地图软件对于特定地区的结构描述也是十分模糊的，对于建筑的内部结构分布的详细介绍是做不到的。即便一小部分地区是可以搜索到，但是过于表面的信息有时候很难让人理解。人们现在获取信息的方式无非网络和当地的平面信息，表达方式也过于死板缺乏新鲜元素。

本系统旨在解决以上的问题，针对不同地区，系统将拥有完整的地区信息，采用的是人机交互的方式来获取信息，交互包括手势和语音，人们可以通过手部的动作和语言上与机器人进行交流，更加的人性化贴近于真实与人之间的交流，计算机会通过对收到的信息进行处理进行信息反馈并且使用三维图形（地图、图标）配合反馈。显示方式采用的是当下流行的全息投影，画面更为立体形象带来全新的视觉体验感受，而且能带来新鲜的元素，展示方式独特而又鲜明。

发明内容

有鉴于此，本实用新型的目的是提供一种全息投影向导机器人系统，实现人机之间的交互包括语音交互和手势交互并且通过全息投影技术呈现出来。

本实用新型采用以下方案实现：一种全息投影向导机器人系统，包括上位机模块以及与其相连的全息投影模块、手势识别模块、云服务模块、远程同步模块；所述上位机模块包括语音模块、手部三维图形模块、机器人模型模块、3D图形模块；所述全息投影模块通过VGA接口与所述上位机模块连接，所述手势识别模块通过USB接口与所述上位机模块连接；所述语音模块用以实现语音交互，所述手部三维图形模块用以将手势识别模块采集的手势显示在显示界面上，所述机器人模型模块用以在显示界面上显示机器人模型的各种动作，所述3D图形模块用以在显示界面上显示3D地图与三维图形界面；所述3D图形模块与所述手势识别模块、所述语音模块相连。

进一步地，所述手势识别模块包括体感控制器。

进一步地，所述体感控制器采用两个120帧率的摄像头，模拟人眼的视差产生三维空间视觉，所述两个120帧率的摄像头中间设置有一红外LED灯，用以通过反射的红外光来计算手势位置，工作范围大约在设备前方的从0.025米到0.6米。

系统用于大型商场公园学校等地区为人们提供向导服务，人们可以站在全息影像前通过语言和手势动作与投影机器人交流，同时系统调用3D图形界面配合手势控制，计算机会通过识别动作和语言，提供相应的信息反馈。

较佳的，所述体感控制器采用了右手笛卡尔坐标系，返回的数值都是以真实世界的毫米为单位，远点在设备的中心，精确值达到0.1mm。

特别的，所述机器人模型模块的模型由三维骨架、皮肤和动作构成，三维骨架中又由手、脚、头等等这些肢体构成。通过对这些肢体进行移动编程形成动作，使用者的语言和肢体动作都会使人物模型产生不同的动作，而这些不同的动作是由对整体动画按帧数进行切割得来。

所述语音模块具备语音识别及语言答复功能，设备接收语音信号将其转化为特定语言，语言回答需要数据库，数据库存储收到特定语言和接收到这个特定语言后相应的回应语言，除此之外，还要针对这种特定语言存储相应的与人物模型动作相连接的参数值，当收到语言信息后与语音数据库中的数据进行比对，找到相应的回答以及应该执行的画面变化的程序。

所述手部三维图形模块的手部模型包含各个关节和骨骼的模型，设备感知使用者的手势形态，传输代表每个关节骨骼的节点信息到上位机，通过计算并且在界面上显示同样与使用者的手势，使用者能够知道双手所处在虚拟世界的位置，并且进行手势交互。

所述3D图形模块主要是由3D地图和三维图形界面构成。此模型与手势控制和语音相连接，特定的语音和手势会对其产生不同的影响，用于配合人机交互。

本实用新型采用全息投影技术，利用干涉和衍射原理记录并再现物体真实的三维图像。计算机通过VGA接口将图像信号传输到全息投影模块，形成各个方向可视的立体图像。

附图说明

图1为本实用新型的结构示意图。

图2为本实用新型的体感控制体原理图。

图3为本实用新型的上位机的三维图形界面。

图4为本实用新型的上位机手部模型图。

具体实施方式

下面结合附图及实施例对本实用新型做进一步说明。

如图1所示，本实施例提供了一种全息投影向导机器人系统，包括上位机模块以及与其相连的全息投影模块、手势识别模块、云服务模块、远程同步模块；所述上位机模块包括语音模块、手部三维图形模块、机器人模型模块、3D图形模块；所述全息投影模块通过VGA接口与所述上位机模块连接，所述手势识别模块通过USB接口与所述上位机模块连接；所述语音模块用以实现语音交互，所述手部三维图形模块用以将手势识别模块采集的手势显示在显示界面上，所述机器人模型模块用以在显示界面上显示机器人模型的各种动作，所述3D图形模块用以在显示界面上显示3D地图与三维图形界面；所述3D图形模块与所述手势识别模块、所述语音模块相连。上位机模块通过USB接口接收手势识别模块传来的信号计算机通过计算在显示界面上通过手部三维图形模块显示出相同的手势，语言模块与上位机模块之间互相传导信号（语音识别和语音回应），机器人模型模块会根据手势或者语音信号的不同执行不同程序从而控制模型的动作。

在本实施例中，所述手势识别模块包括体感控制器。

在本实施例中，所述体感控制器采用两个120帧率的摄像头，模拟人眼的视差产生三维空间视觉，所述两个120帧率的摄像头中间设置有一红外LED灯，用以通过反射的红外光来计算手势位置，工作范围大约在设备前方的从0.025米到0.6米。

由于摄像头的空间位置不同，观察到的物体位置会发生平移，称为视差，人为制造视差，产生三维空间错觉，这种用于立体视觉的测量方法称为三角测量法原理图为图2（图中：P为人手部坐标；Cx、Cy为光源垂直镜面交线的坐标点；f为焦距；C为光源；X、Y为坐标轴），控制器的双摄像头基线距离固定后，就可以进行设备校准，校准后的控制器可以精确计算出目标相对摄像头的空间坐标。当双手进入控制器的工作区时，双摄像头同时捕捉目标且实时计算目标视差，就可以得到目标空间信息。

既然实用摄像头，就必须要有反射光的进入其中，所以要使得在任何光线环境下都可以方便地识别目标，就需要中间的LED灯对目标进行照明，加强目标与背景的对比度。

本实施例用于大型商场公园学校等地区为人们提供向导服务，人们可以站在全息影像前通过语言和手势动作与投影机器人交流，同时系统调用3D图形界面配合手势控制，计算机会通过识别动作和语言，提供相应的信息反馈。

较佳的，在本实施例中，所述体感控制器采用了右手笛卡尔坐标系，返回的数值都是以真实世界的毫米为单位，远点在设备的中心，精确值达到0.1mm。

特别的，在本实施例中，所述机器人模型模块的模型由三维骨架、皮肤和动作构成，三维骨架中又由手、脚、头等等这些肢体构成。通过对这些肢体进行移动编程形成动作，使用者的语言和肢体动作都会使人物模型产生不同的动作，而这些不同的动作是由对整体动画按帧数进行切割得来。

在本实施例中，所述语音模块具备语音识别及语言答复功能，设备接收语音信号将其转化为特定语言，语言回答需要数据库，数据库存储收到特定语言和接收到这个特定语言后相应的回应语言，除此之外，还要针对这种特定语言存储相应的与人物模型动作相连接的参数值，当收到语言信息后与语音数据库中的数据进行比对，找到相应的回答以及应该执行的画面变化的程序。

语音模块主要实现的是语音交互，其中包含两个功能：语音识别和语音答复，基于Windows环境开发，包括的是win32语音编程接口、连续的语音识别引擎、文娱转换引擎。首先创建语音识别引擎，定义并激活语音识别文法，然后由事件来触发识别结果。使用两种的语音识别引擎：应用与引擎在同一进程InProc；引擎在独立进程中，所有进程共享同一引擎share-recognize。语音文法使用C&C（命令与控制）。有限自然语言识别使用XMLschema的方法。C&C支持的有限自然语言识别用XMLSchema的方法来定义上下文无关的语义文法，用XMLschema文件存储。系统将依据这些文法从识别结果中提取特定信息。当语音识别引擎识别出一个序列的词时，识别事件被触发，通过接口i可以获得引擎返回的结构化存储识别上下文，下文结果变量指向接口i，用于获取识别结果，并给出访问结果的代码片段。这样就实现了整个语音交互的过程。

在本实施例中，所述手部三维图形模块的手部模型包含各个关节和骨骼的模型，设备感知使用者的手势形态，传输代表每个关节骨骼的节点信息到上位机，通过计算并且在界面上显示同样与使用者的手势，使用者能够知道双手所处在虚拟世界的位置，并且进行手势交互。

在本实施例中，所述3D图形模块主要是由3D地图和三维图形界面构成。此模型与手势控制和语音相连接，特定的语音和手势会对其产生不同的影响，用于配合人机交互。

本实施例采用全息投影技术，利用干涉和衍射原理记录并再现物体真实的三维图像。计算机通过VGA接口将图像信号传输到全息投影模块，形成各个方向可视的立体图像。

值得一提的是，本实用新型保护的是硬件结构，至于设计通信软体不要求保护。以上仅为本实用新型实施例中一个较佳的实施方案。但是，本实用新型并不限于上述实施方案，凡按本实用新型方案所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本实用新型的保护范围。

Claims (3)

1.一种全息投影向导机器人系统，其特征在于：包括上位机模块以及与其相连的全息投影模块、手势识别模块、云服务模块、远程同步模块；所述上位机模块包括语音模块、手部三维图形模块、机器人模型模块、3D图形模块；所述全息投影模块通过VGA接口与所述上位机模块连接，所述手势识别模块通过USB接口与所述上位机模块连接；所述语音模块用以实现语音交互，所述手部三维图形模块用以将手势识别模块采集的手势显示在显示界面上，所述机器人模型模块用以在显示界面上显示机器人模型的各种动作，所述3D图形模块用以在显示界面上显示3D地图与三维图形界面；所述3D图形模块与所述手势识别模块、所述语音模块相连。

2.根据权利要求1所述的一种全息投影向导机器人系统，其特征在于：所述手势识别模块包括体感控制器。

3.根据权利要求2所述的一种全息投影向导机器人系统，其特征在于：所述体感控制器采用两个120帧率的摄像头，所述两个120帧率的摄像头中间设置有一红外LED灯，用以通过反射的红外光来计算手势位置。