CN204741528U - 立体沉浸式体感智能控制器 - Google Patents

Abstract

本实用新型公开了一种立体沉浸式体感智能控制器，该系统包含：立体显示模块和图像采集模块，以及体感控制终端三部分组成，立体显示模块包括手机、陀螺仪姿态传感器、两个凸透镜镜片及头盔框架；体感控制终端系统包括陀螺仪姿态传感器、单片机和舵机组成；图像采集模块由双目摄像头构成。本实用新型，提出了一种新颖的构建立体沉浸式智能体感控制器方法，利用两个相互之间呈一定角度的摄像头同时拍摄的视频来产生3D图像，并通过虚拟现实技术的显示设备来构建立体沉浸式环境；利用陀螺仪姿态传感设备、单片机和舵机组成的体感控制系统，实现对摄像头的沉浸式体感控制。本实用新型结构简单、成本低，在很大程度上可提高虚拟现实技术的普及。

Description

立体沉浸式体感智能控制器

技术领域

本实用新型涉及立体成像原理，沉浸式视频、体感控制等技术的基础和原理领域方面的应用。

背景技术

随着视觉技术和计算机科学的高速发展，具有交互性、自由化的沉浸式视频成为未来多媒体视频技术的重要组成部分，具有极其广泛的应用前景。

沉浸式视频，也叫做交互式立体视频，是最接近于人类视觉方式的三维视觉感知技术。其基本原理是使用两个或多个摄像机从不同角度同一时间拍摄的视频，来产生一个全面的3D数字视频，运用计算机视觉和计算机图形学为交互式视频和电视观察者提供一个“虚拟摄像机”，使观察者可以自由地选择观察方向和视角。

姿态传感环节由姿态传感器感知和获取人体头部的运动信息并将该信息传输至单片机进行处理，单片机根据不同的姿态信号发送相关指令至执行机构，控制电子双目做出相应的运动，实现具有人机交互性的体感控制。

现如今，双目立体成像技术以及体感控制技术已经成熟，而难点是怎么将两者在结合后提出立体沉浸式体感智能控制器的新概念以及构建出沉浸式环境、获取和控制姿态数据的系统。

虚拟现实技术现大都应用于游戏等娱乐领域，这种技术仍具有很大的应用前景，比如有很多具有危险性或者不适合人涉入的监测场合，观测者需要更直观的观测环境，并需要交互性的对场景进行动作；鉴于此，这种实用新型沉浸式智能控制器具有极大的运用价值。

发明内容

在双目立体成像技术以及体感控制技术已经成熟的条件下，本实用新型旨在提供一种可观测立体影像和可交互性控制选择观测范围的智能控制器系统。本实用新型是一种立体沉浸式体感智能控制器的系统，该系统包含：一立体显示系统(示意图参照图1)，包括手机、陀螺仪姿态传感器、两个凸透镜镜片及头盔框架,一图像采集系统和体感控制终端(示意图参照图2)，体感控制终端系统包括硬件部分：高性能单片机、检测芯片和舵机云台，软件部分：卡尔曼滤波器设计；

本实用新型提供一种将双目立体成像技术以及体感控制技术结合并应用于实时控制和观测的控制系统，观察者可自由的选择观察场景的方向与视角能够实现远程沉浸式操作，可结合轮式、履带式等移动机器人，更直观、自由实时地观察周围环境，工作更加安全、可靠和高效；

立体显示模块由头盔（1）、安置于头盔前的智能手机（4）、安置于头盔内的陀螺仪姿态传感器（3）和两片凸透镜（2）组成。使用者在观看时，左右眼透过镜片可分别看到手机上分屏显示的左右图像，从而在大脑中融合处理，产生立体的感知效果。同时，观察者可根据需要，转动头部，观察各个角度的图像。手机作为显示系统无线接收图像对的设备，对于使用者，是一种实用性强、可实施姓高的组合方案；

图像采集系统双目摄像头模块，在头部和两眼都处于放松状态情况下，眼睛观察的视线在水平视线下约25度-35度，结合人在自然观察状态下视线的特点，为使用者在观察时具有最佳的舒适度，对摄像头的俯仰角进行调试，两摄像头在水平面下夹角为25度，双目摄像头中心线夹角可调节，调节范围为1度-3度；图像采集系统双目摄像头模块的合理构建，使立体显示模块能接收到图片对，营造出合适的立体沉浸式环境；

体感控制终端模块，通过显示头盔采集人体姿态角度参数发送给体感控制终端系统，通过单片机对数据的处理，使舵机带动云台和双目摄像头转动，从而拍摄出具有视差的图像对，图像对数据通过无线技术发送给移动手机，在移动手机上分屏显示，通过显示头盔，产生立体效果的图像；单片机算法并不是直接通过加速度计和陀螺仪解算得到的角度进行融合，而是利用卡尔曼滤波原理，先用通过加速度计得到的角度和上一次融合后的角度对陀螺仪的角速度进行了修改后再积分，有效地抑制了加速度计和陀螺仪的偏差；将水平角度数据-90度至90度等分为19部分，将俯仰角度-90度至90度分为大致的4部分；并根据PWM高电平脉冲持续时间与舵机角度的关系，计算出相应的值，单片机发出的信号经过PWM脉宽调制，产生占空比不同的脉冲信号，该脉冲信号传递给舵机，控制电机作相应的转动及俯仰，使其上的电子双目采集视频信息体感控制表现在人体头部转过一定角度，控制电子双目的舵机也转过相应的角度；

本实用新型主要有益效果体现在：可根据人的需求，自由转动观看所需角度的场景，且使用者观察到的信息不再平面，而是具有深度、距离等空间信息的三维图像，在监测机器人的操控中，使用者可更加自由、直观的了解监测环境，达到很人性化的交互性使用体验，为未来人工智能和机器人控制提供了便捷的监测方式。

附图说明

图1为 立体显示头盔及立体显示部分头盔、移动手机、陀螺仪姿态传感器的组合示意图；

图2为图像采集系统中舵机、云台、单片机及双目摄像头组合示意图；

图3为本实用新型工作系统的示意图；

图4为本实用新型系统工作流程示意图。

具体实施方式

请参照图3和图4，图3为本实用新型整个系统组件的示意图，图4为工作流程图。一种基于虚拟现实技术和体感控制技术的具有实时控制的立体视觉系统；

按照图3进行安装，将图像采集系统安装在载体监测机器人（根据监测环境而定，为本系统的一个配合载体）上，将手机（4）安装在显示头盔1上；

摄像头（7）将安装在云台（6）上，使用舵机（8）转动实现摄像头（7）和云台（6）水平转动的基本功能，舵机在微机电系统中作为基本的输出执行机构，舵机的控制和输出与单片机系统（5）接口。使用过程中，头盔里的陀螺仪姿态传感器（3）采集人体头部的转动姿态数据，并发送到体感控制终端系统，系统中单片机对转动姿态数据进行处理并发送相对应的脉冲信号给舵机（8），舵机转过相应角度，以实现对摄像头拍摄范围和角度的调整。舵机云台将固定于载体机器人上，舵机云台完成对电子双目的水平转向的控制，方便灵活，与陀螺仪姿态传感器相连接，即可通过姿态和角度信息对电子双目进行体感控制。

两个摄像头拍摄的图像数据传送到手机（4）上，手机（4）上分屏显示两张具有一定视差的图像对，使用者在通过立体显示头盔观察时，左眼只看到左边的图像，右眼只看到右边的图像，根据双目立体视觉原理，两只眼睛看到的图像在大脑中进行融合，产生立体影像的沉浸式效果。

Claims (3)

1.一种立体沉浸式体感智能控制器，其特征在于，该控制器包括立体显示模块和图像采集模块，以及体感控制终端三部分；所述立体显示模块由普通智能手机、两个凸透镜镜片及头盔支架组成；所述凸透镜和智能手机依此安装在头盔支架中。

2.根据权利要求1所述的立体沉浸式体感智能控制器，其特征是它的图像采集模块由一个两自由度的云台和安装在云台上的两个成特定角度的摄像头组成，两摄像头中心线夹角度为1-3度。

3.根据权利要求1所述的立体沉浸式体感智能控制器，其特征是它的体感控制终端由陀螺仪姿态传感器、单片机和舵机组成；单片机接收陀螺仪传感器的原始数据，进行数据分析和处理，根据不同的角度，发出相应的控制命令，对被控对象实现实时控制。