CN109542218A - 一种移动终端、人机交互系统及方法 - Google Patents

Abstract

本发明公开一种移动终端、人机交互系统及方法，移动终端包括深度相机、存储器、处理器、主显示器以及输出接口；其中，所述深度相机用于获取目标深度图像；所述处理器用于对所述深度图像进行处理，并根据处理结果执行体感和/或手势交互应用程序；所述存储器用于存储所述体感和/或手势交互应用程序；所述主显示器用于显示所述体感和/或手势交互应用程序的显示界面或主显示界面；所述输出接口用于输出所述体感和/或手势交互应用程序的显示界面和/或所述主显示界面。本发明的人机交互系统本身具有通用性和可移动性，使得移动终端既能作为娱乐通信等设备，又能随时转变成体感操控设备供用户使用，极大促进了体感交互技术的发展。

Description

一种移动终端、人机交互系统及方法

技术领域

本发明涉及智能终端技术领域，尤其涉及一种移动终端、人机交互系统及方法。

背景技术

自微软KINECT始，深度相机给人们提供了利用身体与设备进行交互的可能，比如将Kinect与游戏机、电视等设备结合，可以进行体感交互、手势控制等沉浸式操控功能，由此基于深度相机的人机交互方式也被认为是继按键交互、触摸交互之后的更自然的人机交互方式。

现有的体感交互系统一般都是通过深度相机与处理设备如智能电视或计算机等智能终端相结合的方式来实现，即首先通过深度相机获取到目标人体骨架动作信息，然后通过有线或无线的方式传输到处理设备，由处理设备处理该骨架动作信息后来实现对体感动作的识别。然而，这类交互方式目前面临着众多局限：(1)不同种类以及不同型号的智能终端设备所匹配的深度相机并不相同，需要特制的深度相机与其匹配才能正常使用，无法实现体感交互设备的通用性；(2)现有的体感交互系统或设备本身体积或规模相对较大，需要在固定的场景中应用，可移动性差；(3)由于深度相机获取到人体骨架动作信息后需要与其连接的设备配合处理该骨架信息才能最终识别体感动作，这使得基于深度相机的体感交互设备功能单一，要想实现自然人机交互，与其连接的设备需要具有强大的处理能力，比如智能电视、电脑等的处理性能要求足够好。因此，这些问题都使得基于深度相机的人机交互难以普及。

发明内容

本发明为了解决现有技术中基于深度相机的体感交互设备功能单一以及通用性、可移动性差的问题，提供一种移动终端、人机交互系统及方法。

本发明所提出的移动终端包括深度相机、存储器、处理器、主显示器以及输出接口；其中，所述深度相机用于获取目标深度图像；所述处理器用于对所述深度图像进行处理，并根据处理结果执行体感和/或手势交互应用程序；所述存储器用于存储所述体感和/或手势交互应用程序；所述主显示器用于显示所述体感和/或手势交互应用程序的显示界面或主显示界面；所述输出接口用于输出所述体感和/或手势交互应用程序的显示界面和/或所述主显示界面。

在本发明的一些实施例中，该移动终端还可以包括如下特征：

所述移动终端还包括重力传感器和/或陀螺仪以及校准单元，所述存储器预存有基准坐标，所述重力传感器和/或陀螺仪用于获取所述移动终端相对于所述基准坐标的旋转角度，若所述旋转角度大于阈值，则所述校准单元将所述深度相机的坐标调整为所述基准坐标。

所述处理器可以同时执行多个体感和/或手势交互应用程序并分别生成其相应的显示界面；所述输出接口可同时输出所述多个体感和/或手势交互应用程序的显示界面。

所述处理器可接受用户的体感动作和/或手势并分别同时控制多个所述体感和/或手势交互应用程序。

本发明还公开一种移动人机交互系统，包括上述的移动终端、数据传输单元以及附加显示单元；其中：所述数据传输单元与所述移动终端的输出接口相连，用于将所述体感和/或手势交互应用程序的显示界面传输至所述附加显示单元；所述附加显示单元用于显示所述体感和/或手势交互应用程序的显示界面。

本发明还公开一种移动人机交互方法，包括如下步骤：

接收深度相机拍摄的深度图像；处理器基于所述深度图像进行体感和/或手势识别，生成体感和/或手势交互操作指令，执行体感和/或手势交互应用程序；将主显示器上的体感和/或手势交互应用程序的显示界面或主显示界面发送到输出接口，并通过数据传输单元输出到外接附加显示单元上显示；或者将所述主显示器上的同一个体感和/或手势交互应用程序的显示界面的不同部分或不同的窗口输出至所述附加显示单元上显示，以便用户在所述附加显示单元前进行体感和/或手势交互。

在本发明的一些实施例中，该方法还可以包括如下特征：

所述数据传输单元为有线和/或无线传输形式。

所述处理器可同时执行多个体感和/或手势交互应用程序，并通过所述数据传输单元向多个附加显示单元同时输出所述多个体感和/或手势交互应用程序的显示界面；所述处理器可分别同时控制多个附加显示单元上的多个体感和/或手势交互应用程序的显示界面。

所述处理器可接受用户的手势操控，以使所述多个附加显示单元上的体感和/或手势交互应用程序的显示界面在多个附加显示单元上相互转移；或者使所述主显示器上的显示界面与所述附加显示器上的显示界面相互转移。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使所述处理器执行上述的方法。

附图说明

图1为本发明实施例的移动人机交互系统示意图。

图2为本发明一个实施例的移动终端交互系统示意图。

图3为本发明一个实施例的移动终端识别真实的三维方向的示意图。

图4为本发明一个实施例的移动终端结构示意图。

图5为本发明另一个实施例的移动终端交互系统示意图。

图6为本发明又一个实施例的移动终端交互系统示意图。

图7为本发明一个实施例的两个显示屏内容之间的交互示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1是本发明实施例的一种移动人机交互系统示意图，该人机交互系统包括：移动终端101、数据传输单元102以及附加显示单元103等，其中，数据传输单元102分别与移动终端101以及附加显示单元103连接，用于传输数据。移动终端101可以是手机、平板等智能设备，包括深度相机、存储器、处理器、主显示器以及输出接口等。深度相机用于获取目标深度图像，比如人体的深度图像或者手部的深度图像，深度相机可以是结构光、双目、TOF等类型的深度相机。输出接口用于输出移动终端101内部的各种信息，包括输出移动终端101内的图像或者数据等。主显示器用于显示移动终端的主显示界面或者是某个应用程序。在一个实施例中，当移动终端101的深度相机获取目标人体的深度图像后，移动终端101内部的处理器则基于深度相机采集到的深度图像，进一步识别人体躯干和手的骨架等，从而进行体感和/或手势交互等操作，同时手机内部的存储器则用于保存体感和/或手势交互应用程序，也可以用于保存深度相机计算所用的数据以及终端运行临时数据等，以便处理器随时从存储器中调出这些数据执行相应的应用程序。

利用上述人机交互系统的人机交互方法包括如下步骤：

S1、接收深度相机所拍摄的深度图像；

S2、处理器基于深度相机采集到的深度图像，进行体感和/或手势识别，生成体感和/或手势交互操作指令，通过该指令操作体感和/或手势交互应用程序；

S3、将主显示器上的体感和/或手势交互应用程序的显示界面或主显示界面发送到输出接口，并通过数据传输单元102输出到外接附加显示单元103上显示；或者将所述主显示器上的同一个体感和/或手势交互应用程序的显示界面的不同部分或不同的窗口输出至所述附加显示单元103上显示，以便用户在所述附加显示单元103前进行体感和/或手势交互。

在一个实施例中，数据传输单元102连接移动终端101的输出接口后，可以使移动终端101与其他设备实现通信连接，从而进行数据传输。例如数据传输单元102为某个扩展坞设备，该扩展坞设备具有一个或多个与移动终端101以及附加显示单元103对应连接的接口，这些接口的类型取决于移动终端101、附加显示单元103接口的类型。一般当移动终端101与附加显示单元103的接口不同时，数据传输单元102需要借助扩展坞等独立的硬件进行有线数据传输，比如USB转HDMI数据转接装置等，或者是USB转HDMI数据线等。数据传输单元102也可以采用无线(例如蓝牙、WIFI等)的形式进行数据传输，无线的数据传输单元102包括接收端和发射端，分别设置在移动终端101和附加显示单元103上。此时数据传输单元102不是以独立的硬件形式存在的，而是通过在移动终端101以及附加显示单元103中分别设置数据的输出、输入端实现无线传输数据的。当然也可以通过其他方法进行数据传输，只要能够在移动终端101和附加显示单元103之间进行相应的图像或者数据等传输都属于本发明包含的范围，在此不做限定。

附加显示单元103可以是附加显示器、投影仪等，用于显示图像等应用程序的显示界面。移动终端101中的处理器在执行体感和/或手势交互等应用程序时，通过移动终端101的深度相机采集体感和/或手势数据等，并基于该数据执行相应待显示的应用程序，同时实时的通过输出接口输出该应用程序的显示界面，并通过数据传输单元102传输至附加显示单元103显示出来，方便用户在大屏幕前进行体感操作、体感游戏等。

本实施例相较于传统的体感操控设备，将深度图像信息采集、姿势或动作识别以及对识别结果转换的功能等都集成在独立存在的移动终端中，而附加显示单元仅仅起到放大显示的作用，从而使本发明的人机交互系统本身具有通用性，这不仅能够对完成体感交互操作设备的要求更低，使附加显示单元不必具有强大的处理功能，而且相较于现有技术需要特殊深度相机相匹配显示单元的方式，大大降低了研发人员的工作量和工作难度，降低了体感交互设备的成本，使得移动终端既能作为娱乐通信等设备，又能随时转变成体感操控设备供用户使用，将大大促进体感交互技术的发展。

图2是本发明一个实施例的移动终端交互系统示意图。在本实施例中，移动终端为智能手机201，将手机201前置摄像头设置成结构光深度相机、后置摄像头设置成TOF深度相机，也可以设置成其他形式的深度相机，在此不做限定。需要说明的是，由于前置摄像头一般只需要测量小范围的目标对象，但精度要求相对较高，所以采用结构光深度相机较合适，后置摄像头一般需要测量大范围但精度要求略低的目标对象，所以采用TOF深度相机更合适。

手机201放置在支架上，便于深度相机捕捉到用户204。手机201通过Type-C转HDMI线202与附加显示器203连接，同时手机201设置在附加显示器203前方，并处于用户204与附加显示器203之间。若手机201设置在附加显示器203后方很容易被附加显示器203遮挡住深度相机，若手机201放置在用户204背后，则会影响用户204操作的沉浸感以及姿势或动作方向的识别等。

附加显示器203可以为多个，分别与手机201有线或者无线连接，此时多个附加显示器203均位于手机201的后方。手机201可以同时输出多个相同或不同的应用程序显示界面至多个附加显示器203上分别显示出来，用户204面对手机201，通过手机201上的深度相机识别出用户204体感动作和/或手势的方向，从而来控制操作多个附加显示器203上的显示界面。这些体感动作和/或手势等可以同时控制多个附加显示器203上的显示界面，也可以分开控制。例如，手机201输出游戏、视频、通话等应用程序至多个附加显示器203上分别显示出游戏、视频、通话等应用程序的显示界面，用户204的体感动作和/或手势等可以使多个附加显示器203上的游戏、视频、通话等应用程序同时开始或者停止等。用户204的左右手或者其他躯干、姿势等也可以分别对应操控某个附加显示器203上的显示界面，比如，用户操控一个附加显示器上的游戏应用程序开始的同时控制另一个附加显示器上的游戏停止等，这可以通过设置手机201的分屏控制功能实现，当用户204的体感动作和/或手势等处于某个附加显示器203的显示区域时便可以对应控制该附加显示器上的应用程序显示界面，同时也要求手机深度相机的测量范围足够大。

一般手机201需要正对着用户204，以使深度相机能正确识别出体感动作和/或手势的方向。在一个实施例中，手机201只需使用一根简单的USB Type-C转HDMI连接线202作为数据传输单元，不需用到适配器或转换器之类。该Type-C转HDMI连接线202的电缆充当功率传输协议(USB-PD)节点，处理来自HDMI源端即手机201输出端的所有读/写信息，同时Type-C转HDMI连接线202的电缆也可用作数字控制(DDC)主机，将接收的来自手机201输出端的USB-PD命令转播至HDMI接收端即电视等附加显示单元203上，因此，手机201通过上述单根连接线就可以将包括未压缩的高清和4K视频等以及体感交互动作指令等需要显示的应用程序的显示界面传输至附加显示单元203上，然后使用户204在附加显示单元203前进行体感和/或手势操控等。上述USB Type-C转HDMI连接线202外形小巧，且具有多种用途，在移动智能终端等领域具有极大的应用，同时也进一步改善了人机交互设备的便携性。并且，手机输出的应用程序的显示界面以及指令等数据是未压缩的，在显示端也可以省去解压缩的步骤，从而可以提升数据传输效率，使数据传输过程更加流畅，解决了当前设备之间传输延时的问题。

图3显示了本发明一个实施例的移动终端识别真实的三维方向的示意图，如图所示，移动终端可以横屏302放置也可以竖屏303放置，不论是横屏302或竖屏303，移动终端302内部的重力传感器和/或陀螺仪均可以根据移动终端的旋转变化转化成正确的体感动作或手势方向。具体而言，移动终端内部设置了重力传感器和/或陀螺仪，其能检测出移动终端由纵向旋转为横向，然后深度相机的坐标也相应发生变化，重力传感器和/或陀螺仪便将移动终端的旋转变化通知给处理器，处理器则根据相应变化调整深度相机相应的坐标系，从而识别出真实的体感动作或手势的方向，而不会因移动终端自身的旋转方向影响体感交互。

进一步参见图4所示的一种移动终端结构示意图，该移动终端设备还包括：总线401、连接到总线401的处理器402、存储器403、重力传感器/陀螺仪404以及校准单元405。上述识别用户301真实的三维姿势或动作方向的具体方法包括：将当前用户301所处的三维空间起始位置设置为基准坐标方向，例如当前用户301头部方向为X轴方向，上肢体朝躯干两侧延伸的方向为Y轴方向，用户301朝向深度相机的方向为Z轴方向，并将该基准坐标方向预先存储在移动终端的存储器403中。需要说明的是，一般基准坐标的X轴平行于移动终端设备的长度方向、Y轴平行于移动终端设备的宽度方向，因此旋转角度θ通常指移动终端设备与基准坐标X轴之间的夹角。另外，该基准坐标方向也可以为移动终端旋转前深度相机的初始坐标方向，若移动终端发生了旋转变化，则深度相机的坐标方向随之发生变化，只有当深度相机坐标与用户起始的基准坐标方向一致时，深度相机才能正确识别出用户真实的三维姿势或动作方向，若不一致，例如用户做出向右的手势，对应到深度相机坐标系上的则可能是其他方向的手势。

重力传感器和/或陀螺仪404感应到移动终端发生旋转后通过与基准坐标方向对比后获取移动终端相对基准坐标方向旋转的角度θ，并将该旋转角度θ传递给处理器402，处理器402基于该角度θ确定是否需要调整深度相机的坐标方向，若该旋转角度θ大于某个阈值则处理器402将该角度变化进一步传递给校准单元405，并控制该校准单元405将深度相机的坐标调整为基准坐标方向，这样旋转后的移动终端深度相机通过采集用户相对基准坐标方向的三维空间位置变化后依然能正确识别出用户真实的三维姿势或动作方向。

当重力传感器和/或陀螺仪404将该夹角传递给处理器402后，为了降低资源损耗，一般设定旋转夹角θ大于某个阈值，比如10°，此时处理器402才会通知校准单元405调整深度相机坐标，否则，若旋转角度不大，比如在10°以内进行微小旋转而已，且在10°以内又不会对三维姿势或动作等的识别造成明显误差，这时便无需调整深度相机坐标，同样可以实现体感操作等。

图5是本发明另一个实施例的移动终端交互系统示意图。在本实施例中，移动终端为智能手机501，将手机501前置摄像头设置为结构光深度相机、后置摄像头设置为TOF深度相机，也可以设置成其他形式的深度相机，在此不做限定。手机501放置在支架上，便于深度相机捕捉到用户505。此时手机通过Type-C转USB线502与投影仪503连接，投影仪503便将手机501的内容投影至任何平面504上，投影仪503所投射的平面504设置在手机501后方，手机501、投影仪503设置在用户505以及投影平面504之间，方便用户505在投影屏幕504前进行体感交互操作。例如，手机501与投影仪503进行连接后，相应的游戏界面便投影至远处，此时手机交互系统扫描并建立用户505模型后，自动生成的虚拟形象便立即生成到相应的游戏中，然后用户505便可以进行一系列沉浸式体感操作体验。

图6是本发明又一个实施例的移动终端交互系统示意图。在本实施例中，移动终端为智能手机603，对于带有前置深度相机的手机603通过数据传输单元604与附加显示器605或投影仪等连接后，可以实现如下场景：手机603可以控制将不同的内容606和607分别呈现在手机显示屏603和外接的附加显示器605上，用户可以同时查看手机显示屏603、外接附加显示器605上的内容。在一个实施例中，手机屏幕603面对用户，用户站在手机603和外接的附加显示器605前面，可以一边看手机屏幕603显示的应用程序的显示界面606一边看附加显示器605上显示的另一个应用程序的显示界面607，并且只有当手机603的前置摄像头设置为深度相机时才能采集到用户的姿势或动作，从而进行体感和/或手势操控手机603以及附加显示器605上的内容。

上述场景的实现可以在手机603里面进行设置，例如在手机603的设置选项中选择显示功能，此时手机603开始检测附加显示器，然后具有独立显示芯片的处理器便可以控制多个应用程序独立运行，向两个或多个显示器同时输出不同的画面内容，比如将视频聊天应用程序的显示界面输出给手机，同时将游戏应用程序的显示界面通过数据传输单元输出给电视，用户可以一边进行游戏体感交互操作一边进行视频聊天，由此手机交互系统可以同步执行至少两个应用程序。

在另一个实施例中，手机603和外接的附加显示器605也可以分别显示同一个应用程序的显示界面的不同部分或不同的窗口等，例如某个视频应用程序的显示界面包含视频播放窗口和评论窗口，这两个窗口可以同时分别呈现在手机603和附加显示器605上，若视频播放窗口呈现在附加显示器605上，则评论窗口可以同时出现在手机603上，便于用户观看视频时随时发布评论。

另外，在体感和/或手势交互等方面，也可以设置用户不同的躯干、姿势或者动作等同时分别控制多个不同的应用程序，比如用户的左右手601和602分别手势控制呈现在手机和电视上的两个应用画面，右手601可以打开或者关闭手机603上的视频聊天等，同时左手602可以开启或者关闭电视机605上的游戏等，也可以采用其他任意的方式同时操控不同的应用程序，在此不做限定。除此之外，还可以将手机603和附加显示器605的两个屏幕作为主副屏，主副屏上的内容可以通过手势等进行相互转移，例如用手势将手机上的画面内容拖入电视屏幕显示区域使其成为主屏，反之电视屏幕上的画面内容也可以通过手势拖入手机屏幕显示区域成为副屏等，主副屏的相互转移方式可以为其他任意方式，在此不做限定。本实施例通过上述操作场景的实现，极大扩展了手机的功能，同时提升了用户体感和/或手势等操控体验。

传统单显示器或多显示器的设备，在交互时，需要首先选中或激活相应的显示器，体验效果不佳。而本发明的方案，手机屏幕以及附加显示器屏幕上的内容可以同时处于激活状态，且双手可以分别控制手机屏幕以及附加显示器屏幕上的内容，用户体验佳。

图7为两个显示屏内容之间的交互示意图，在一个实施例中，两个或多个显示屏的内容之间也可以进行交互。比如手机显示屏702上呈现的是手机主界面，附加显示器703上呈现的是视频程序，此时可以用手势701在主界面上选取一个程序704，例如聊天程序，直接朝附加显示器703的某一方向滑动，当该程序的边缘被移出手机显示界面702后，该边缘也慢慢在附加显示器703上显示出来，从而程序704从手机702转移到附加显示器703上，给人的感觉就像是从手机显示屏702拖到附加显示器703上，从而使手机702和附加显示器703上的内容可以通过手势701拖入拖出的方式实现交互。

在一些实施方式中，本发明的体感交互方法实现为一种程序产品的形式，包括程序代码，当程序产品在移动人机交互系统上运行时，程序代码用于使移动人机交互系统执行如上所述的方法。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。本发明的程序产品不限于此，在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本发明区别于现有技术，采用手机等移动终端作为体感操控设备，附加显示单元仅仅起到放大显示的作用，从而使本发明的人机交互系统本身具有通用性和可移动性，而且相较于现有技术需要特殊深度相机相匹配显示单元的方式，大大降低了研发人员的工作量和工作难度，降低了体感交互设备的成本，使得移动终端既能作为娱乐通信等设备，又能随时转变成体感操控设备供用户使用，并且本发明的人机交互系统还能同时控制多个应用程序分别显示在多个显示器上，双手可以分别控制多个应用程序，多个显示器上的应用程序的显示界面也可以通过手势等实现相互转移，极大促进了体感交互技术的发展。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种移动终端，其特征在于，包括：深度相机、存储器、处理器、主显示器以及输出接口；其中，所述深度相机用于获取目标深度图像；所述处理器用于对所述深度图像进行处理，并根据处理结果执行体感和/或手势交互应用程序；所述存储器用于存储所述体感和/或手势交互应用程序；所述主显示器用于显示所述体感和/或手势交互应用程序的显示界面或主显示界面；所述输出接口用于输出所述体感和/或手势交互应用程序的显示界面和/或所述主显示界面。

2.如权利要求1所述的移动终端，其特征在于：所述移动终端还包括重力传感器和/或陀螺仪以及校准单元，所述存储器预存有基准坐标，所述重力传感器和/或陀螺仪用于获取所述移动终端相对于所述基准坐标的旋转角度，若所述旋转角度大于阈值，则所述校准单元将所述深度相机的坐标调整为所述基准坐标。

3.如权利要求1所述的移动终端，其特征在于：所述处理器可以同时执行多个体感和/或手势交互应用程序并分别生成其相应的显示界面；所述输出接口可同时输出所述多个体感和/或手势交互应用程序的显示界面。

4.如权利要求3所述的移动终端，其特征在于：所述处理器可接受用户的体感动作和/或手势并分别同时控制多个所述体感和/或手势交互应用程序。

5.一种人机交互系统，其特征在于，包括：

如权利要求1-4所述的移动终端；

数据传输单元以及附加显示单元；其中：

所述数据传输单元与所述移动终端的输出接口相连，用于将所述体感和/或手势交互应用程序的显示界面传输至所述附加显示单元；所述附加显示单元用于显示所述体感和/或手势交互应用程序的显示界面。

6.一种人机交互方法，其特征在于，包括如下步骤：

接收深度相机拍摄的深度图像；处理器基于所述深度图像进行体感和/或手势识别，生成体感和/或手势交互操作指令，执行体感和/或手势交互应用程序；

将主显示器上的体感和/或手势交互应用程序的显示界面或主显示界面发送到输出接口，并通过数据传输单元输出到外接附加显示单元上显示；或者将所述主显示器上的同一个体感和/或手势交互应用程序的显示界面的不同部分或不同的窗口输出至所述附加显示单元上显示，以便用户在所述附加显示单元前进行体感和/或手势交互。

7.如权利要求6所述的人机交互方法，其特征在于：所述数据传输单元为有线和/或无线传输形式。

8.如权利要求6所述的人机交互方法，其特征在于：所述处理器可同时执行多个体感和/或手势交互应用程序，并通过所述数据传输单元向多个附加显示单元同时输出所述多个体感和/或手势交互应用程序的显示界面；所述处理器可分别同时控制多个附加显示单元上的多个体感和/或手势交互应用程序的显示界面。

9.如权利要求8所述的人机交互方法，其特征在于：所述处理器可接受用户的手势操控，以使所述多个附加显示单元上的体感和/或手势交互应用程序的显示界面在多个附加显示单元上相互转移；或者使所述主显示器上的显示界面与所述附加显示器上的显示界面相互转移。

10.一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使所述处理器执行权利要求6--9任一项所述的方法。