CN113220126B - 一种基于Mavlink协议的自由立体显示器三维输入交互装置 - Google Patents

Abstract

本发明公开了一种基于Mavlink协议的自由立体显示器三维输入交互装置，属于立体显示与交互领域。该装置包括姿态获取模块、数据传输模块、立体图像处理模块。姿态获取模块利用pixhawk获取输入端的姿态信息，并借助WiFi模块进行模块间信息传递。数据传输模块借助Mavlink协议，将获取信息的命令从树莓派打包发送至pixhawk，同时pixhawk将采集到的各种信息按照协议约定打包从pixhawk串口发送至树莓派，树莓派再按照协议解码得到数据。立体图像处理模块将解码后的控制信号数据与外部输入的数字图像信息进行融合，将输入端的姿态变化显示在屏幕上，最终将输入姿态和立体图像结合，以达到立体交互的目的。本发明操作过程简单方便，信息传输安全可靠稳定，人机交互体验完善。

Description

一种基于Mavlink协议的自由立体显示器三维输入交互装置

技术领域

本申请涉及立体显示与交互领域，具体涉及一种基于Mavlink协议的自由立体显示器三维输入交互装置。

背景技术

目前，随着立体显示与交互的技术发展，传统的桌面鼠标键盘式控制方式已不足以满足新的需求，取而代之的是更为智能立体的方式。姿态、手势、语音、表情等交互技术正在迅速发展，立体显示和三维输入交互更是其中最具代表性的关键技术。

传统的人机交互装置，如光学鼠标，其原理大多数局限于二维平面上，利用光学设备，获取人手的当前相对坐标，将人的姿态移动映射到二维显示屏上的坐标，从而实现对光标的控制。

现有的空中鼠标与立体显示的交互方式，是将鼠标的水平坐标绘制一张视图，利用水平坐标及景深变化引起的像素点的累计变化量，计算出变化后的鼠标水平坐标，绘制另一张视图。利用视差原理将两幅视图传入立体显示器从而达到交互的效果。此种方法视觉信息较为单一，不够立体全面。

还有一种新的空中鼠标，是将双轴陀螺仪和重力加速度传感器内置于鼠标内，通过输出旋转角度变化的电压信号，利用单片机完成数模转换，动态计算出每个轴的旋转角度变化量，运动时各方向的角速度，并根据各方向的角速度与速度的对应关系确定鼠标在各方向上的移动速度，最后根据移动时间来确定空中鼠标在各方向上的位移完成鼠标空中的旋转控制。但这种方式没有明确的数据传输方法和立体显示所对应的参数映射。

另一种是采用模式识别或图像识别手势。采用图像识别需要配备一定清晰度的摄像模组和图像处理芯片，成本较高；在远距离时，图像识别手势的精度不高，容易造成误操作；在一些环境下(比如暗光、雾霾天气等)，图像识别效果很差。而且使用图像识别还意味着操控的手必须在摄像模组视野范围内，具有很大的局限性；同样模式识别手势在无人机控制领域有较多不足，无法完美满足控制需求。

由此可知，现有技术存在如下缺点：

(1)二维手势控制交互装置已经不能满足当前人们的需求，需要有更高维控制交互的技术。

(2)鼠标与立体显示交互模式单一，视觉信息不够全面，立体显示效果不足。

(3)采集到的数据传输给上位机时没有固定统一的传输协议，数据传输不可靠且不稳定。

(4)图像识别手势交互对硬件和环境要求太高，适用范围狭窄。

pixhawk是一款高性能自动驾驶仪，适用于固定翼，多旋翼，直升机，汽车，船只以及任何可移动的其他机器人平台。它针对高端研究，业余和行业需求，并结合了PX4FMU+PX4IO的功能。Pixhawk采用带有FPU的32位STM32F427芯片，它的采用Cortex M4内核，主主频为168M，具有252MIPS的运算能力、256KB的RAM以及2MB的闪存，同时具有一片型号为STM32F103的故障协处理器芯片。

在传感器的选用上面，它选用MicroL3GD20H 16位陀螺仪和MicroLSM303D 14位加速度计/磁力计，选用MPU 6000 3轴加速度计/陀螺仪，采用MS5611气压计。同时拥有非常丰富的硬件接口，它拥有5个UART(串行端口)，其中一个具有高功率，2个带HW流量控制，2个CAN(一个带内部3.3V收发器，一个带扩展连接器)接口，Spektrum DSM/DSM2/DSM-X卫星兼容输入接口，FutabaS.BUS兼容输入和输出接口，PPM和信号输入接口，RSSI(PWM或电压)输入接口，同时还有I2C、SPI、ADC、内部和外部microUSB接口等等。其丰富的接口可以满足任何可移动的机器人平台的需要。

在电力系统与保护方面，Pixhawk具有自动故障转移功能的理想二极管，能够适应大功率的伺服电机(最大10V)和大电流(10A+)，所有外围输出均过流保护，所有输入均受ESD保护。Pixhawk提供三个电源，它可以在电源上实现三重冗余。三个电源分别是：电源模块输入，伺服电机输入，USB输入。它优先使用电源模块的输入，电压范围为4.8V到5.4V，其次是伺服电机的电压输入，电压范围也为4.8V到5.4V，最后选择USB的电源输入，电压范围也是一样的。

选用pixhawk作为姿态获取模块，其有益方面在于，传感器测得的坐标与加速度等数据可直接转化为立体显示控制所需要的数据，不需要额外的算法进行相应转换。

发明内容

本申请实际解决的技术问题是如何实现三维人机交互，识别姿态以控制立体显示，如何稳定数据传输，优化交互体验。为解决上述问题，本申请提供一种基于Mavlink协议的自由立体显示器三维输入交互装置。

根据第一方面，本申请实施例提供一种基于Mavlink协议的自由立体显示器三维输入交互方法，由获取人手姿态数据、数据按照Mavlink协议传输、人手姿态和立体图像融合组成；

所述获取人手姿态数据，包括：

上位机将数据索取命令按照Mavlink协议约定的方法打包，通过串口向姿态获取模块发送数据索取命令，并持续监听接收端口；

所述数据按照Mavlink协议传输，包括：

姿态获取模块接收到数据索取命令后，自行按照协议解码，开始调用自身对应传感器进行实时测量，并将测得的数据仍按照协议约定，逐帧打包成消息包，串口发送回上位机。人手操控姿态获取模块的移动，不断地改变着当前姿态数据的值。上位机按照一定的时间间隔，将接收到的消息包按协议进行数据解码，得到姿态模块测量到的真实数据。

所述人手姿态和立体图像融合，包括：

将人手姿态的数据变化映射成立体显示变化；通过人手的移动方式，判断出人的控制意图，最终将输入姿态和立体图像相结合，以达到立体交互的目的。

根据第二方面，本申请实施例提供一种基于Mavlink协议的自由立体显示器三维输入交互装置，由姿态获取模块、数据传输模块、立体图像处理模块组成；

所述姿态获取模块由供电单元、升压模块与姿态获取模块组成。供电单元与升压模块相连，为所述姿态获取模块提供合适稳定的电压输入；

所述姿态获取模块利用pixhawk的陀螺仪传感器和加速度传感器采集姿态数据，并与串口WiFi模块相连；

所述数据传输模块由两个WiFi单元构成，一个与所述姿态获取模块相连，一个是上位机树莓派内置WiFi模块，所述两个WiFi模块采用mavlink协议串口传输数据；

所述立体图像处理模块由树莓派、立体显示控制单元、立体显示器组成。树莓派将WiFi模块接收到的数据按协议进行解码，获得姿态控制信号，通过千兆网口按照TCP/IP协议传至立体显示控制单元；所述立体显示控制单元将输入的数字图像信号与立体显示控制信号相结合，通过HDMI输出将图像信号传输至立体显示器，将其姿态变化显示在立体显示器上，完成整个装置的连接。

本申请的有益效果是：

依据上述实施例的一种基于Mavlink协议的自由立体显示器三维输入交互装置，该三维输入交互方法包括步骤：上位机打包索要数据命令发送给姿态获取模块，获取人手姿态数据，实时监测其变化，将姿态数据按照协议打包发回上位机，根据得到的实时数据变化进行立体显示，实现三维实时人机交互。第一方面，利用Mavlink通信协议进行传输数据，Mavlink协议是在串口通讯基础上的一种更高层的开源通讯协议，是一种非常轻量级的通信协议，本来主要用于与无人机(以及板载无人机组件之间)进行通信。将其应用在三位交互中，由于消息包每帧最少只有8个字节的数据，包括帧头和数据包丢弃检测，效率很高。而且它提供了检测数据包丢失，损坏和数据包身份验证的方法，数据传输非常可靠。此外，它还支持多种编程语言，可在不同操作系统上运行，支持网络上最多255个并发系统。第二方面，将原本pixhawk模块转化为人手姿态获取模块，作为输入端，既符合Mavlink协议的适用环境，又比一般的姿态获取模块测得的数据更加全面、多样、精确，利于立体显示的准确性与全面性，优化了人机交互的流畅性，避免了图像识别手势交互对硬件和环境要求太高，适用范围狭窄的缺点。

附图说明

图1为一种基于Mavlink协议的自由立体显示器三维输入交互装置的结构简图；

图2为本发明具体实施例中MT36082a升压模块的电路原理图；

图3为本发明具体实施例中Mavlink协议的消息包组成结构图；

图4为本发明具体实施例中数据传输模块的详细过程示意图；

图5为本发明具体实施例中用于避免读取冲突的两组数据缓冲区工作原理的结构简图；

图6为本发明具体实施例的测试流程图；

图7为本发明具体实施例的交互配置软件测试效果图；

图8为本发明姿态获取模块的概念图；

图9为本发明立体图像处理模块中姿态与命令的映射表；

具体实施方式

为使本发明的目的、特征、优点更加明显易懂，下面结合附图中所涉及的具体实施方式，对本发明的实施例进行清楚、完整地描述。显然，所描述的实施例仅为本发明的一部分实施例，而不是全部实施例。基于本发明的实施例，本领域技术人员在未进行创造性劳动前提下获得的所有其它实施例，如只改变用途而不改变权利要求涉及基本原理的实施例，都属于本发明保护的范围。

请参考图1，一种基于Mavlink协议的自由立体显示器三维输入交互装置，其包括姿态获取模块M1、数据传输模块M2和立体图像处理模块M3，下面分别说明。

姿态获取模块M1用于获取当前所需要的各种参数的实时数据，由供电单元101、升压模块102、pixhawk模块103组成。其中，供电单元采用专为Pixhawk设计的一款DC-DC供电模块，同时带有电压电流检测功能，使用专用的6P连接线经升压后连接到Pixhawk的“PM”插座。采用2S-6S电池，连接升压模块；

请参考图2，升压模块采用MT36082a升压模块，输入电压2-24V升5/9/12/28V可调；本实施例中的升压模块将3.7V升压为5V。其中1021的L1电感是BOOST升压电路的核心器件；其中1023、1024的电阻R3与R4组成了分压电路，将输出端的电压幅值反馈回开关器件1025；在充电过程中，开关1025导通，这时候输入电压流过电感1021，随着不断充电，电感上的电流线性增加，到达一定时候电感储存了一定能量；在这过程当中，1022的二极管D1反偏截止，由电容C1与C2给负载提供能量，维持负载工作；放电时，开关器件1025关闭，由于电感有反向电动势作用，电感的电流不能瞬时突变，而是会缓慢的逐渐放电。由于原来的电回路已经断开，电感只能通过D1、C1、C2回路放电，也就是说电感开始给电容C1、C2充电，加上给C2充电之前已经有C2提供电压，因此电容两端电压升高，达到升压效果。

姿态数据采集采用所述pixhawk模块103，将原本的各类测量参数转换为人手姿态移动变化。其可测量的参数与使用的传感器类型有关。在本实施例中，选用当前目标的位置信息，如空间坐标x，y，z；当前目标的坐标轴速度vx，vy，yz；当前目标的转轴加速度rollspeed，pitchspeed，yawspeed；当前高度h以及运动时间time_boot_ms。

使用对应传感器进行姿态采集，包括：

ST Micro L3GD20H 16位陀螺仪、InvenSense MPU6000六轴陀螺加速度仪、STMicro LSM303D 14位加速计、磁力计和MS5611气压计；

姿态获取模块连接WiFi传输模块201，本实施例中采用非凡Pixhawk无线wifi数传芯片在2.4G频道上串口传输数据；

数据传输模块M2用于将数据和命令按照Mavlink协议进行打包封装，通过串口在两个WiFi模块间传输，使得上位机和姿态获取模块可以建立联系并进行通信。

需要说明的是，按照Mavlink通信协议的规定，接受和发送的信息都是以帧为单位的，每帧遵循相同的结构。

请参考图3，帧的第一个字节是起始标志位(stx)，在v1.0版本中以“FE”作为起始标志。这个标志位在mavlink消息帧接收端进行消息解码时有用处。第二个字节是payload，称作有效载荷，代表要用的数据在有效载荷里面的字节长度(1en)，范围从0到255之间。在mavlink消息帧接收端可以用它和实际收到的有效载荷的长度比较，以验证有效载荷的长度是否正确。第三个字节代表的是本次消息帧的序号(seq)，每次发完一个消息，这个字节的内容会加1，加到255后会从0重新开始。这个序号用于mavlink消息帧接收端计算消息丢失比例用的，相当于是信号强度。第四个字节代表了发送本条消息帧的设备的系统编号(sys)，使用pixhawk刷PX4固件时默认的系统编号为1，用于mavlink消息帧接收端识别是哪个设备发来的消息。第五个字节代表了发送本条消息帧的设备的单元编号(comp)，使用pixhawk刷PX4固件时默认的单元编号为50，用于mavlink消息帧接收端识别是设备的哪个单元发来的消息。第六个字节代表了有效载荷中消息包的编号(msg)，它和序号是不同的，mavlink消息帧接收端要根据这个编号来确定有效载荷里到底放了什么消息包并根据编号选择对应的方式来处理有效载荷里的信息包。第七字节开始一直到倒数第三个字节都是实际测得的各种有效数据。最后两个字节是16位校验位，ckb是高八位，cka是低八位。校验码由crc16算法得到，算法将整个消息(从起始位开始到有效载荷结束，还要额外加上个MAVLINK_CRC_EXTRA字节)进行crc16计算，得出一个16位的校验码。之前提到的每种有效载荷里信息包(由消息包编号来表明是哪种消息包)会对应一个MAVLINK_CRC_EXTRA，这个MAVLINK_CRC_EXTRA是由生成mavlink代码的xml文件生成的，加入这个额外的东西是为了当飞行器和地面站使用不同版本的mavlink协议时，双方计算得到的校验码会不同，这样不同版本间的mavlink协议就不会在一起正常工作，避免了由于不同版本间通讯时带来的重大潜在问题。

立体图像处理模块M3由树莓派301、立体控制单元302、立体显示器303、图像信号输入模块304组成；

上位机采用Raspberry Pi 4 Model B，使用内置的WiFi模块202接收姿态获取模块发送过来的数据并依据mavlink协议解析得到姿态控制变化数据；

将姿态控制变化信号通过千兆网口按TCP/IP协议传输至所述立体图像控制单元302。此单元以FPGA作为主要处理芯片，FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；

立体图像控制单元结合HDMI图像信号输入模块304，最后通过HDMI输出将图像信号传输至立体显示器303，完成整个装置的连接。

请参考图4，下面描述上位机与姿态获取模块具体的数据传输交互过程，主要流程有S001-S009九个步骤。需要说明的是，这里采用的环境是在树莓派上的Qt开发，使用C语言。将mavlink.h头文件引入后，在通信中起主要作用的是pack函数，mavlink_msg_to_send_buffer函数与mavlink_parse_char函数。

S001，上位机首先进行串口初始化，使用serialOpen打开串口；

S002，将所需要发送的命令用属于此命令的特殊pack函数进行打包，如索要数据函数request_data_stream_pack，它将命令打包进一个通用结构体，此结构体包含了了命令的序号、主次设备号、传输通道等基本信息；

S003，将此结构体通过mavlink_msg_to_send_buffer函数传入串口传输的缓冲区；

S004，使用serialPutchar函数将缓冲区的数据逐位从WiFi模块202串口输入至pixhawk模块的WiFi模块201；之后，便用serialGetchar函数或者readall函数持续监听此端口，若有数据输入，将返回的数据逐位存回接收缓冲区数组；

S005，pixhawk模块接收到串口数据并按照mavlink协议自行解析，倘若pixhawk模块接受到上位机的命令，并与之建立联系之后，会不间断的向上位机发送心跳消息包heartbeat，代表着此模块的活跃性；

S006，pixhawk模块会根据接收到的命令调用相应的传感器进行相应的测量；

S007，将测得的数据依旧按照mavlink协议打包成不同的消息包通过WiFi模块201发回，测得一次数据发一个包，不同类型的数据消息包序列号不同；

S008，上位机通过WiFi模块202接收到串口数据并存入接收数据缓冲区；

S009，对于用于接收的缓冲区数组中的数据，首先利用mavlink_parse_char函数进行校验位的检查，并切割为一帧一帧的消息包，并将其解析为通用结构体的形式。再从中调出消息包的序号，根据不同的消息包序号进入不同的解码函数。比如，倘若消息包序号对应为姿态ATTITUDE，则使用mavlink_msg_attitude_decode函数进行解码，将数据存入对应的数据结构体，如mavlink_attitude_message_t*attitude。此时，完成一个消息包的解码过程。对于下一帧消息包，仍根据其消息包的序列，找出其对应的解码函数进行相应的解码操作。最后对所需要的数据，只需通过其所属的结构体进行调用成员操作即可。

所需要说明的是，在串口接收发送数据时会出现一系列的冲突问题。如读取串口速率过快，远远大于pixhawk返回串口数据的速度，则会导致读到多余的0x0。一种解决方法是利用usleep函数使得该线程每隔一段时间再读取端口，或者利用connect使用定时器来固定时间触发读取端口事件。

请参考图5，还有一种方法是采用两个接收缓冲区，一个在接收数据时，另一个用来解码，设置一个标志位让两个缓冲区轮换使用。分为S101～S104四个步骤。

S101，首先第一组数据用缓冲区1接收，将标志位置0；缓冲区1的数据达到缓冲区1的最大容量时，标志位置1；

S102，开始用缓冲区2接收数据；

S103，此时将缓冲区1中的数据进行解码；

S104，倘若缓冲区2的容量满，将标志位置0，清空缓冲区1中的数据，用缓冲区1接收数据，将缓冲区2中的数据进行解码，结束后回到S101。

请参考图6，利用Qt creator制作了一个自由立体显示器三维交互配置软件，一方面用来测试pixhawk对人体姿态改变的测量的灵敏度，另一方面可以方便用户直观的看到姿态变化，分为S201～203三个步骤。

S201，点击open按钮触发如图4所述上位机与姿态获取模块具体的数据传输交互过程；

S202，pixhawk根据接收的命令开始实时测量数据并返回，树莓派进行相应解码得到实时数据；

S203，将pixhawk模块测得的三个轴向加速度关于时间的变化曲线绘制在界面上。

请参考图7，模块401是一个combo box控件，下拉可以选择初始化串口或者关闭串口；模块402是一个命令发送区，在此框内填写所需要发送的命令，点击send按钮，触发将命令按协议打包串口发送给pixhawk等一系列事件；模块403是数据接收区，此模块将树莓派接收到的数据按协议解码后显示；模块404是将得到的数据按时间变化绘成曲线，分析此图像可以发现，以rollspeed为例，在0～4秒时间段，pixhawk模块放在桌面上，人手姿态在俯仰角度上没有任何变化，测得的数据在0°附近振荡，在测量误差范围内；在5～8秒时间段，人手操作pixhawk模块向仰角方向转动了180°，测得的数据逐渐上升至180°，反映了pixhawk模块对姿态变化数据的及时反映，由此可以看出选用pixhawk作为姿态获取模块，有着测量转换方便，数据准确有效的益处。

请参考图8，姿态获取模块概念图由外壳11、滚轮12、供电单元13、升压模块14、pixhawk 15和WiFi模块16组成；外壳与一般普通的鼠标类似，方便手持控制；滚轮也保留了普通鼠标的用途，在此基础上，增添了3D显示放大与缩小的功能；电源模块是由3.7V电池组成，与升压模块相连，升为5V接入pixhawk模块；pixhawk模块的telem2端口与WiFi模块相连。

请参考图9，立体图像处理模块将树莓派解码得到的姿态数据进行映射显示。具体映射关系如下：原本在二维平面上的映射关系保持不变，根据在水平面的坐标以及移动速度来确定显示屏上的原本二维的显示变化；在此基础上，根据三个轴上的角加速度与运动时间，来确定用户输入的旋转信号，由此，3D显示体根据连续旋转信号获得的旋转方向和旋转速率进行持续旋转，直至显示内容结束；接收用户的缩放信号，缩放信号包括缩小信号和放大信号，其中，缩小信号用于将3D显示体缩小显示；放大信号用于将3D显示体放大显示。缩放信号可根据用户滚轮的旋转方向来进行确定。若滚轮向前翻滚，代表缩小信号；滚轮向后翻滚，代表放大信号。接收用户的移动信号，根据姿态获取模块的高度数据，高度增加，代表向上移动；高度减少，代表向下移动。

综上所述，本申请提供的技术方案利用非常轻量级的通信协议Mavlink进行传输数据，将其应用在三位交互中，由于消息包每帧最少只有8个字节的数据，包括帧头和数据包丢弃检测，效率很高。而且它提供了检测数据包丢失，损坏和数据包身份验证的方法，数据传输非常可靠。此外，将原本pixhawk模块转化为人手姿态获取模块，作为输入端，既符合Mavlink协议的适用环境，又比一般的姿态获取模块测得的数据更加全面、多样、精确，利于立体显示的准确性与全面性，优化了人机交互的流畅性，避免了图像识别手势交互对硬件和环境要求太高，适用范围狭窄的缺点。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (2)

1.一种基于Mavlink协议的自由立体显示器三维输入交互装置，由姿态获取模块、数据传输模块、立体图像处理模块组成；

其中，所述姿态获取模块用于获取当前所需要的各种参数的实时数据，并将原本的各类测量参数转换为人手姿态移动变化，由外壳、滚轮、供电单元、升压模块、pixhawk和WiFi模块组成，外壳与一般普通的鼠标类似，供电单元与升压模块相连，为pixhawk模块提供合适稳定的电压输入；所述pixhawk模块利用pixhawk的陀螺仪传感器和加速度传感器采集姿态数据，并与串口WiFi模块相连；

所述数据传输模块用于将数据和命令按照Mavlink协议进行打包封装，通过串口在两个WiFi模块间传输，使得上位机和姿态获取模块可以建立联系并进行通信，由两个WiFi单元构成，一个与所述姿态获取模块相连，一个是上位机树莓派内置WiFi模块，所述两个WiFi模块采用mavlink协议串口传输数据；

所述立体图像处理模块用于将树莓派解码得到的姿态数据进行映射显示，由树莓派、立体显示控制单元、立体显示器组成；树莓派将WiFi模块接收到的数据按协议进行解码，获得姿态控制信号，通过千兆网口按照TCP/IP协议传至立体显示控制单元；所述立体显示控制单元将输入的数字图像信号与立体显示控制信号相结合，通过HDMI输出控制模块将图像信号传输至立体显示器，将其姿态变化显示在立体显示器上，完成整个装置的连接。

2.一种基于Mavlink协议的自由立体显示器三维输入交互方法，该方法采用如权利要求1所述的一种基于Mavlink协议的自由立体显示器三维输入交互装置，其特征在于，包括以下步骤：获取人手姿态数据、数据按照Mavlink协议传输、人手姿态和立体图像融合；

其中，获取人手姿态数据包括：姿态获取模块接收到数据索取命令后，自行按照协议解码，开始调用自身对应传感器进行实时测量，并将测得的数据仍按照协议约定，逐帧打包成消息包，串口发送回上位机；人手操控姿态获取模块的移动，不断地改变着当前姿态数据的值；上位机按照一定的时间间隔，将接收到的消息包按协议进行数据解码，得到姿态获取模块测量到的真实数据；

其中，数据按照Mavlink协议传输包括：上位机将数据索取命令按照Mavlink协议约定的方法打包，通过串口向姿态获取模块发送数据索取命令，并持续监听接收端口；

其中，人手姿态和立体图像融合包括：将人手姿态的数据变化映射成立体显示变化，通过人手的移动方式，判断出人的控制意图，最终将输入姿态和立体图像相结合，以达到立体交互的目的。

Images