CN102693084A - 移动终端及其响应操作的方法 - Google Patents

Abstract

本发明提供一种移动终端，包括：检测模块，检测与显示屏相隔预定距离的指示物的运动轨迹；控制模块，根据所述指示物的运动轨迹控制所述移动终端。本发明还提供一种移动终端响应操作的方法。本发明移动终端及其响应操作的方法，不用通过实体按键或者是触摸实现，即可与移动终端进行交互。

Description

移动终端及其响应操作的方法

技术领域

本发明涉及移动通讯领域，尤其涉及一种移动终端及其响应操作的方法。

背景技术

人机交互技术（human-computer interaction techniques）是指通过获取机设备的输入、输入装置，以有效的方式实现人与获取设备对话，是获取机用户界面设计中的重要内容之一，它与认知学、人机工程学、心理学等学科领域有密切的联系，主要包括机器通过输出或显示设备同向人提供大量信息及提示请示、用户通过输入设备向机器输入信息及提示请示，以及人通过输入设备向机器输入有关信息回答问题等方面的内容。

现有的移动终端的人机交互技术，均是通过实体按键或者是触摸方式实现，上述交互方式通过与移动终端进行接触才能实现交互，因此需要提供一种不通过接触移动终端即可响应用户操作的移动终端及方法。

发明内容

本发明要解决的技术问题是提供一种移动终端及其响应操作的方法，不用接触移动终端即可响应用户操作。

为了解决上述问题，本发明提供一种移动终端，包括：检测模块，检测与显示屏相隔预定距离的指示物的运动轨迹；控制模块，根据所述指示物的运动轨迹控制所述移动终端。

进一步的，上述运动轨迹包括：在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动的第一运动轨迹，所述第一运动轨迹用于移动操作对象；以及在垂直于显示屏的第二平面上且沿第五方向移动的第二运动轨迹，所述第二运动轨迹用于打开或者关闭所述操作对象对应的程序或功能；其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，所述第五方向指向显示屏。

进一步的，上述控制模块还用于：当所述指示物在第一预设时间范围内只沿所述第一运动轨迹运动，则根据所述第一运动轨迹的起点的空间坐标对应于所述显示屏的坐标，确定所述第一运动轨迹在所述显示屏上对应的操作对象；当所述指示物在第二预设时间范围内首先沿所述第一运动轨迹运动，再在第二预设时间范围内沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；当所述指示物在第三预设时间范围内只沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；当所述指示物在第四预设时间范围内首先沿所述第二运动轨迹运动，再沿所述第一运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象。

进一步的，上述控制模块还用于根据预设距离范围及所述指示物的运动轨迹控制所述移动终端，所述预设距离范围包括第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

进一步的，上述控制模块还用于当所述指示物只沿所述第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭所述操作对象对应的程序或功能。

进一步的，上述控制模块还用于：当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，且在所述第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿所述第一轨迹运动，则以菜单列表切换的方式响应所述指示物运动；

当所述指示物首先在第三预设距离范围之内沿所述第二轨迹运动，再在第四预设距离范围之内沿所述第一轨迹运动，则以打开或关闭所述操作对象对应的程序或功能的方式响应所述指示物运动。

进一步的，上述控制模块还用于：当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，再在第五预设距离范围之内沿所述第一轨迹运动，则以菜单列表进行小幅弹动的方式响应所述指示物运动。

进一步的，上述检测模块为深度照相机，用于通过获取包含指示物的深度信息的图像序列检测所述指示物的运动轨迹。

进一步的，上述检测模块包括骨架模型获取子模块，用于通过所述图像序列获取所述手指的骨架模型，根据距离显示屏最近的手指的运动轨迹控制所述移动终端。

进一步的，上述检测模块还用于获取指示物的图像帧序列，并根据所述图像帧序列获取所述指示物的运动轨迹。

进一步的，上述检测模块还用于获取指示物的时空表观模型，并根据所述时空表观模型识别所述指示物的运动轨迹。

进一步的，上述检测模块还用于根据指示物的运动信息和指示物的颜色信息进行指示物分割。

本发明还提供一种移动终端响应操作的方法，包括：检测与显示屏相隔预定距离的指示物的运动轨迹；根据所述指示物的运动轨迹控制所述移动终端。

进一步的，上述运动轨迹包括：在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动的第一运动轨迹，所述第一运动轨迹用于移动操作对象；以及在垂直于显示屏的第二平面上且沿第五方向移动的第二运动轨迹，所述第二运动轨迹用于打开或者关闭所述操作对象对应的程序或功能；其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，所述第五方向指向显示屏。

进一步的，上述移动终端响应操作的方法，还包括：当所述指示物在第一预设时间范围内只沿所述第一运动轨迹运动，则根据所述第一运动轨迹的起点的空间坐标对应于所述显示屏的坐标，确定所述第一运动轨迹在所述显示屏上对应的操作对象；当所述指示物在第二预设时间范围内首先沿所述第一运动轨迹运动，再在第二预设时间范围内沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；当所述指示物在第三预设时间范围内只沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；当所述指示物在第四预设时间范围内首先沿所述第二运动轨迹运动，再沿所述第一运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象。

进一步的，上述移动终端响应操作的方法，还包括根据预设距离范围及所述指示物的运动轨迹控制所述移动终端，所述预设距离范围包括第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

进一步的，当所述指示物只沿所述第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭所述操作对象对应的程序或功能。

进一步的，上述移动终端响应操作的方法，还包括：当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，且在所述第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿所述第一轨迹运动，则以菜单列表切换的方式响应所述指示物运动；当所述指示物首先在第三预设距离范围之内沿所述第二轨迹运动，再在第四预设距离范围之内沿所述第一轨迹运动，则以打开或关闭所述操作对象对应的程序或功能的方式响应所述指示物运动。

进一步的，上述移动终端响应操作的方法，还包括：当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，再在第五预设距离范围之内沿所述第一轨迹运动，则以菜单列表以小幅弹动的方式响应所述指示物运动。

进一步的，上述移动终端响应操作的方法，通过获取指示物的包含深度信息的图像序列检测所述指示物的运动轨迹。

进一步的，上述移动终端响应操作的方法，还包括：获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹；其中，所述获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹包括：获取指示物的时空表观模型，并根据所述时空表观模型识别所述指示物的运动轨迹。

进一步的，上述获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹包括：根据指示物的运动信息和指示物的颜色信息进行指示物分割。

本发明还提供一种移动终端，包括：检测单元，用于检测并获取移动终端的环境信息；分析单元，分析所述环境信息，并从所述环境信息中提取外界动作信息；数据单元，存储标准动作信息；判断单元，将外界动作信息与所述数据库内的标准动作信息进行比较，并进行判断；控制单元，接收所述判断单元的判断结果，并根据所述判断结果，对移动终端进行指令控制。

进一步的，上述判断单元包括获取单元，用于获取外界动作信息的第一运动参数；所述获取单元包括：外界动作信息分解单元，数值获取单元、及动作分类单元；所述标准动作信息包括第二运动参数；所述第一运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合；所述第二运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合。

进一步的，上述判断单元通过将第一运动参数和第二运动参数进行比较，获取比较差值，根据所述比较差值判断所述分析单元获得的动作信息是否为有效的动作信息；所述判断单元设置容忍区间，当所述外界动作信息与所述标准动作信息的比较差值位于所述容忍范围内，则所述外界动作为有效动作；若位于所述容忍范围外，则判断结果为无效动作。

进一步的，当动作信息为有效动作时，则控制单元根据所述有效动作，对所述移动终端进行指令控制；所述标准动作信息包括单个标准动作信息及合成标准动作信息；所述数据单元还存储有指令，该指令包括：与所述单个标准动作信息对应的单个标准动作指令，及与所述合成标准动作信息对应的合成标准动作合成指令。

本发明还提供一种移动终端响应操作的方法，包括：检测并获取移动终端的环境信息；分析所述环境信息，并从所述环境信息中提取外界动作信息；存储标准动作信息；将外界动作信息与所述数据库内的标准动作信息进行比较，并进行判断；接收判断结果，并根据所述判断结果，对移动终端进行指令控制。

本发明移动终端及其响应操作的方法，不用通过实体按键或者是触摸实现，即可与移动终端进行交互。

附图说明

图1所示为本发明移动终端的第一模块图；

图2所示为本发明移动终端的第二模块图；

图3所示为本发明移动终端的第三模块图；

图4所示为本发明移动终端的第四模块图；

图5所示为本发明移动终端的第五模块图；

图6所示为本发明移动终端响应操作的方法一种实施例的流程图；

图7所示为本发明移动终端响应操作的方法另一种实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1所示为本发明移动终端的第一模块图。

本发明移动终端，包括：检测模块101，检测与显示屏相隔预定距离的指示物的运动轨迹；控制模块102，根据指示物的运动轨迹控制移动终端。本发明的检测模块101可以为传感器，也可以为深度照相机。传感器用于对距离移动终端预定距离内的指示物的运动轨迹进行检测。深度照相机，用于通过获取包含指示物的深度信息的图像序列检测所述指示物的运动轨迹。传感器与照相机可结合使用，也可以分别单独进行使用，本发明对此不作限定。本发明中的指示物可以为手掌，手指，或者戴有数据手套的手指或手掌。

在本发明一实施中，移动终端也可以不预设操作模式，而直接通过检测指示物的运动轨迹响应指示物的操作，具体为：

在简单的手机操作中，可将指示物的运动轨迹划分为：第一运动轨迹、第二运动轨迹，以及第一运动轨迹和第二运动轨迹的组合。

其中，在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动定义为第一运动轨迹，该第一运动轨迹用于移动操作对象；在垂直于显示屏的第二平面上且沿第五方向移动定义为第二运动轨迹，该第二运动轨迹用于打开或者关闭该操作对象对应的程序或功能；第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，第五方向指向显示屏。

为了根据指示物的运动轨迹控制移动终端，在本实施例中，检测模块101首先获取指示物相对于移动终端的显示屏的空间坐标，然后再根据指示物相对于显示屏的空间坐标确定指示物所要操作的操作对象。

控制模块102还用于根据指示物的运动轨迹控制移动终端，控制模块102控制的方式主要包括：当指示物在第一预设时间范围内只沿第一运动轨迹运动，则根据第一运动轨迹的起点的空间坐标对应于显示屏的坐标，确定第一运动轨迹在显示屏上对应的操作对象；当指示物在第二预设时间范围内首先沿第一运动轨迹运动，再在第二预设时间范围内沿第二运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象；当指示物在第三预设时间范围内只沿第二运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象；当指示物在第四预设时间范围内首先沿第二运动轨迹运动，再沿第一运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象。

在本实施例中，上述控制模块102还用于根据预设距离范围及指示物的运动轨迹控制移动终端，该预设距离范围主要包括五类预设距离范围，分别为第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

根据上述预设的距离范围，为了获得更好的操作体验，减少操作的失误率，本实施例的控制模块102还用于：当指示物只沿第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭操作对象对应的程序或功能；当指示物首先在第一预设距离范围之内沿述第二轨迹运动，且在第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿第一轨迹运动，则以菜单列表切换的方式响应指示物运动；当指示物首先在第三预设距离范围之内沿第二轨迹运动，再在第四预设距离范围之内沿第一轨迹运动，则以打开或关闭操作对象对应的程序或功能的方式响应指示物运动；当指示物首先在第一预设距离范围之内沿第二轨迹运动，再在第五预设距离范围之内沿所述第一轨迹运动，则以菜单列表进行小幅弹动的方式响应指示物的运动。

如图2所示，当指示物为手指时，本实施例的检测模块101还设置有骨架模型获取子模块1010，用于通过图像序列获取手指的骨架模型，根据距离显示屏最近的手指的运动轨迹控制所述移动终端。此时检测模块101优选为深度照相机，通过该深度照相机首先获取指示物的图像帧序列，再根据所述图像帧序列获取所述指示物的运动轨迹。检测模块101在根据图像帧序列获取指示物的运动轨迹时，首先获取指示物的时空表观模型，然后根据时空表观模型识别指示物的运动轨迹。

具体而言，检测模块101还用于获取指示物的图像帧序列，根据图像帧序列获取指示物的运动轨迹，检测模块101获取指示物的运动轨迹主要包括如下方式：

其中一种方式为：获取图像视频序列；对图像视频序列进行指示物区域检测，差分运动分析，以及边缘检测；对指示物区域检测的结果，差分运动分析的结果，以及边缘检测的结果，进行与运算；将与运算后的图像视频序列进行开运算；通过归一化的傅立叶描述子对开运算后的图像视频序列进行傅立叶运算，提取轮廓及区域标识，分割出指示物区域。每一帧图像中的分割后的指示物区域即为某一时刻指示物在该时刻的轨迹，一连串的图像帧序列中的分割后的指示物区域即为指示物在某一时间段内的运动轨迹。

另外一种方式为：根据指示物的运动信息和指示物的颜色信息进行指示物分割。具体为，获取指示物的彩色图像序列；将所述彩色图像序列转换为256级灰度图像序列；将所述256级灰度图像序列转换为粗略二值运动图像序列；将所述256级灰度图像序列与所述粗略二值运动图像序列的对应图像帧进行与运算，二值指示物运动区域图像序列。

其中，上述根据指示物的运动信息和指示物的颜色信息进行指示物分割还包括：将所述彩色图像序列转换为二值指示物色讯图像序列；通过种子算法获取所述二值指示物运动区域图像序列的参考块；将所述参考块映射至二值指示物运动区域图像序列对应区域；以所述对应区域为中心通过种子算法，将所述对应区域扩展得到指示物区域图像序列。

在根据指示物区域图像序列获取帧间运动表观参数和帧内形状表观参数后，可根据帧间运动表观参数和帧内形状表观参数获取时空表观模型；并根据动态时空规整算法对时空表观模型进行规整，获取时间长度相等的表观模式，并根据时间长度相等的表观模型识别指示物的运动轨迹。

如图3所示，在本发明另一个实施例中，移动终端预设有操作模式，该操作模式包括用户界面操作模式，游戏模式，文字输入模式。相应的，移动终端还设置有存储模块103，用于存储指示物的运动轨迹模型，该运动轨迹模型与用户界面操作模式，游戏模式，文字输入模式对应，并通过将指示物的运动轨迹与运动轨迹模型进行匹配，控制所述移动终端。

上述两个实施例的移动终端可进行相互结合，本发明对此不作限定。

图4所示为本发明移动终端的第四模块图。

移动终端，包括：检测单元201，用于检测并获取移动终端的环境信息；分析单元202，分析环境信息，并从环境信息中提取外界动作信息；数据单元203，存储标准动作信息；判断单元204，将外界动作信息与数据库内的标准动作信息进行比较，并进行判断；控制单元205，接收判断单元204的判断结果，并根据判断结果，对移动终端进行指令控制。

如图5所示，判断单元204包括获取单元2040，用于获取外界动作信息的第一运动参数。获取单元2040包括：外界动作信息分解单元2041，数值获取单元2042、及动作分类单元2043。数据单元203存储的标准动作信息包括第二运动参数。其中，第一运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合；第二运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合。判断单元204通过将第一运动参数和第二运动参数进行比较，获取比较差值，根据比较差值判断分析单元202获得的动作信息是否为有效的动作信息。判断单元204设置容忍区间，当外界动作信息与标准动作信息的比较差值位于容忍范围内，则外界动作为有效动作；若位于容忍范围外，则判断结果为无效动作。当动作信息为有效动作时，则根据有效动作，对移动终端进行指令控制。标准动作信息包括动作信息、文字信息、符号信息。标准动作信息包括“向上”、“向下”、“向左”、“向右”及“确认”之一或组合。标准动作信息中的“确认”为打勾、画圈、或使用者设定的图形。标准动作信息包括单个标准动作信息及合成标准动作信息。数据单元203还存储有指令，该指令包括：与单个标准动作信息对应的单个标准动作指令，及与合成标准动作信息对应的合成标准动作合成指令。移动终端还包括显示装置206，显示装置206上同步显示与指令对应的动作信息对应的标识。检测单元201为照相机，照相机通过获取指示物的深度图像检测所述指示物的运动轨迹。检测单元201还可以为传感器，对距离移动终端预定距离内的指示物的运动轨迹进行检测。

图1至图5中的移动终端也可根据实际需要进行相互组合，本发明对此不作限定。

图6所示为本发明移动终端响应操作的方法一种实施例的流程图。

步骤S101，检测与显示屏相隔预定距离的指示物的运动轨迹；

步骤S102，根据指示物的运动轨迹控制所述移动终端。

移动终端预设有操作模式，所述操作模式包括用户界面操作模式，游戏模式，文字输入模式。移动终端还存储有指示物的运动轨迹模型，运动轨迹模型与用户界面操作模式，游戏模式，文字输入模式对应，并通过将指示物的运动轨迹与所述运动轨迹模型进行匹配，控制所述移动终端。

指示物的运动轨迹包括：在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动的第一运动轨迹，第一运动轨迹用于移动操作对象；以及在垂直于显示屏的第二平面上且沿第五方向移动的第二运动轨迹，第二运动轨迹用于打开或者关闭操作对象对应的程序或功能；其中，第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，第五方向指向显示屏。

当所述指示物在第一预设时间范围内只沿第一运动轨迹运动，则根据第一运动轨迹的起点的空间坐标对应于显示屏的坐标，确定第一运动轨迹在显示屏上对应的操作对象；当指示物在第二预设时间范围内首先沿第一运动轨迹运动，再在第二预设时间范围内沿第二运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象；

当指示物在第三预设时间范围内只沿第二运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象；

当指示物在第四预设时间范围内首先沿第二运动轨迹运动，再沿第一运动轨迹运动，则根据第二运动轨迹的终点的空间坐标对应于显示屏的坐标，确定显示屏上的操作对象。

其中，根据预设距离范围及指示物的运动轨迹控制移动终端，该预设距离范围包括第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

当指示物只沿第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭操作对象对应的程序或功能。

当指示物首先在第一预设距离范围之内沿第二轨迹运动，且在第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿第一轨迹运动，则以菜单列表切换的方式响应指示物运动；

当指示物首先在第三预设距离范围之内沿第二轨迹运动，再在第四预设距离范围之内沿第一轨迹运动，则以打开或关闭操作对象对应的程序或功能的方式响应指示物运动。

当指示物首先在第一预设距离范围之内沿第二轨迹运动，再在第五预设距离范围之内沿第一轨迹运动，则以菜单列表以小幅弹动的方式响应指示物运动。

本实施例是通过获取指示物的包含深度信息的图像序列检测指示物的运动轨迹。当该指示物为手指时，则通过图像序列获取手指的骨架模型，根据骨架模型检测距离显示屏最近的手指，根据距离显示屏最近的手指的运动轨迹控制移动终端。

对于所有的指示物而言，均可通过获取指示物的图像帧序列，根据图像帧序列获取指示物的运动轨迹。本实施例，可通过获取指示物的时空表观模型，并根据时空表观模型识别指示物的运动轨迹。

具体而言，上述获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹包括：获取图像视频序列；对图像视频序列进行指示物区域检测，差分运动分析，以及边缘检测；对指示物区域检测的结果，差分运动分析的结果，以及边缘检测的结果，进行与运算；将与运算后的图像视频序列进行开运算；通过归一化的傅立叶描述子对开运算后的图像视频序列进行傅立叶运算，提取轮廓及区域标识，分割出指示物区域。

在其它实施例中，上述获取指示物的图像帧序列，根据图像帧序列获取指示物的运动轨迹包括：根据指示物的运动信息和指示物的颜色信息进行指示物分割。

上述根据指示物的运动信息和指示物的颜色信息进行指示物分割包括：获取指示物的彩色图像序列；将所述彩色图像序列转换为256级灰度图像序列；将所述256级灰度图像序列转换为粗略二值运动图像序列；将所述256级灰度图像序列与所述粗略二值运动图像序列的对应图像帧进行与运算，二值指示物运动区域图像序列。

上述根据指示物的运动信息和指示物的颜色信息进行指示物分割还包括：将彩色图像序列转换为二值指示物色讯图像序列；通过种子算法获取二值指示物运动区域图像序列的参考块；将参考块映射至二值指示物运动区域图像序列对应区域；以对应区域为中心通过种子算法，将对应区域扩展得到指示物区域图像序列。

为了更好的识别指示物的运动轨迹，本实施例还可根据指示物区域图像序列获取帧间运动表观参数和帧内形状表观参数，并根据帧间运动表观参数和帧内形状表观参数获取时空表观模型。获得时空表观模型之后，还可根据动态时空规整算法对时空表观模型进行规整，获取时间长度相等的表观模式，并根据时间长度相等的表观模型识别指示物的运动轨迹。

图7所示为本发明移动终端响应操作的方法另一种实施例的流程图。

本实施例移动终端响应操作的方法，包括：

步骤S201，检测并获取移动终端的环境信息；

步骤S202，分析环境信息，并从环境信息中提取外界动作信息；

步骤S203，存储标准动作信息；

步骤S204，将外界动作信息与数据库内的标准动作信息进行比较，并进行判断；

步骤S205，接收判断结果，并根据判断结果，对移动终端进行指令控制。

在将外界动作信息与数据库内的标准动作信息进行比较，并进行判断时，首先获取外界动作信息的第一运动参数。第一运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合；第二运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合。标准动作信息包括第二运动参数；

将外界动作信息与数据库内的标准动作信息进行比较即是通过将第一运动参数和第二运动参数进行比较，获取比较差值，根据比较差值判断分析单元获得的动作信息是否为有效的动作信息。

在将外界动作信息与数据库内的标准动作信息进行比较之前，可以首先设置容忍区间，当外界动作信息与标准动作信息的比较差值位于容忍范围内，则外界动作为有效动作；若位于容忍范围外，则判断结果为无效动作。当动作信息为有效动作时，则根据有效动作，对移动终端进行指令控制。

标准动作信息包括动作信息、文字信息、符号信息，还可以包括“向上”、“向下”、“向左”、“向右”及“确认”之一或组合。标准动作信息中的“确认”为打勾、画圈、或使用者设定的图形。标准动作信息还可以包括单个标准动作信息及合成标准动作信息。

本实施例中，移动终端还可以设置有指令，该指令包括：与单个标准动作信息对应的单个标准动作指令，及与合成标准动作信息对应的合成标准动作合成指令。合成标准动作可由多个单个标准动作组合而成，相应的合成标准动作指令可由多个单个标准动作指令组合而成。

本发明移动终端及其响应操作的方法，不用通过实体按键或者是触摸实现，即可与移动终端进行交互。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (27)

1.一种移动终端，其特征在于，包括：

检测模块，检测与显示屏相隔预定距离的指示物的运动轨迹；

控制模块，根据所述指示物的运动轨迹控制所述移动终端。

2.如权利要求1所述的移动终端，其特征在于，所述运动轨迹包括：

在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动的第一运动轨迹，所述第一运动轨迹用于移动操作对象；以及

在垂直于显示屏的第二平面上且沿第五方向移动的第二运动轨迹，所述第二运动轨迹用于打开或者关闭所述操作对象对应的程序或功能；

其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，所述第五方向指向显示屏。

3.如权利要求2所述的移动终端，其特征在于，控制模块还用于：

当所述指示物在第一预设时间范围内只沿所述第一运动轨迹运动，则根据所述第一运动轨迹的起点的空间坐标对应于所述显示屏的坐标，确定所述第一运动轨迹在所述显示屏上对应的操作对象；

当所述指示物在第二预设时间范围内首先沿所述第一运动轨迹运动，再在第二预设时间范围内沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；

当所述指示物在第三预设时间范围内只沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；

当所述指示物在第四预设时间范围内首先沿所述第二运动轨迹运动，再沿所述第一运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象。

4.如权利要求1至3任一项所述的移动终端，其特征在于，所述控制模块还用于根据预设距离范围及所述指示物的运动轨迹控制所述移动终端，所述预设距离范围包括第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

5.如权利要求4所述的移动终端，其特征在于，控制模块还用于当所述指示物只沿所述第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭所述操作对象对应的程序或功能。

6.如权利要求5所述的移动终端，其特征在于，控制模块还用于：

当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，且在所述第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿所述第一轨迹运动，则以菜单列表切换的方式响应所述指示物运动；

当所述指示物首先在第三预设距离范围之内沿所述第二轨迹运动，再在第四预设距离范围之内沿所述第一轨迹运动，则以打开或关闭所述操作对象对应的程序或功能的方式响应所述指示物运动。

7.如权利要求6所述的移动终端，其特征在于，控制模块还用于：

当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，再在第五预设距离范围之内沿所述第一轨迹运动，则以菜单列表进行小幅弹动的方式响应所述指示物运动。

8.如权利要求7所述的移动终端，其特征在于，所述检测模块为深度照相机，用于通过获取包含指示物的深度信息的图像序列检测所述指示物的运动轨迹。

9.如权利要求8所述的移动终端，其特征在于，所述检测模块包括骨架模型获取子模块，用于通过所述图像序列获取所述手指的骨架模型，根据距离显示屏最近的手指的运动轨迹控制所述移动终端。

10.如权利要求1所述的移动终端，其特征在于，检测模块还用于获取指示物的图像帧序列，并根据所述图像帧序列获取所述指示物的运动轨迹。

11.如权利要求10所述的移动终端，其特征在于，所述检测模块还用于获取指示物的时空表观模型，并根据所述时空表观模型识别所述指示物的运动轨迹。

12.如权利要求11所述的移动终端，其特征在于，所述检测模块还用于根据指示物的运动信息和指示物的颜色信息进行指示物分割。

13.一种移动终端响应操作的方法，其特征在于，包括：

检测与显示屏相隔预定距离的指示物的运动轨迹；

根据所述指示物的运动轨迹控制所述移动终端。

14.如权利要求13所述的移动终端响应操作的方法，其特征在于，所述运动轨迹包括：

在平行于显示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移动的第一运动轨迹，所述第一运动轨迹用于移动操作对象；以及

在垂直于显示屏的第二平面上且沿第五方向移动的第二运动轨迹，所述第二运动轨迹用于打开或者关闭所述操作对象对应的程序或功能；

其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向两两之间形成一夹角，所述第五方向指向显示屏。

15.如权利要求14所述的移动终端响应操作的方法，其特征在于：

当所述指示物在第一预设时间范围内只沿所述第一运动轨迹运动，则根据所述第一运动轨迹的起点的空间坐标对应于所述显示屏的坐标，确定所述第一运动轨迹在所述显示屏上对应的操作对象；

当所述指示物在第二预设时间范围内首先沿所述第一运动轨迹运动，再在第二预设时间范围内沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；

当所述指示物在第三预设时间范围内只沿所述第二运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象；

当所述指示物在第四预设时间范围内首先沿所述第二运动轨迹运动，再沿所述第一运动轨迹运动，则根据所述第二运动轨迹的终点的空间坐标对应于所述显示屏的坐标，确定所述显示屏上的操作对象。

16.如权利要求15所述的移动终端响应操作的方法，其特征在于，还包括根据预设距离范围及所述指示物的运动轨迹控制所述移动终端，所述预设距离范围包括第一预设距离范围、第二预设距离范围、第三预设距离范围、第四预设距离范围、第五预设距离范围。

17.如权利要求16所述的移动终端响应操作的方法，其特征在于，当所述指示物只沿所述第二轨迹运动，且运动距离在第一预设距离范围之内时，则打开或关闭所述操作对象对应的程序或功能。

18.如权利要求17所述的移动终端响应操作的方法，其特征在于：

当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，且在所述第二轨迹的终点停留第五预定时间，再在第二预设距离范围之内沿所述第一轨迹运动，则以菜单列表切换的方式响应所述指示物运动；

当所述指示物首先在第三预设距离范围之内沿所述第二轨迹运动，再在第四预设距离范围之内沿所述第一轨迹运动，则以打开或关闭所述操作对象对应的程序或功能的方式响应所述指示物运动。

19.如权利要求18所述的移动终端响应操作的方法，其特征在于：

当所述指示物首先在第一预设距离范围之内沿所述第二轨迹运动，再在第五预设距离范围之内沿所述第一轨迹运动，则以菜单列表以小幅弹动的方式响应所述指示物运动。

20.如权利要求13至19任一项所述的移动终端响应操作的方法，其特征在于，通过获取指示物的包含深度信息的图像序列检测所述指示物的运动轨迹。

21.如权利要求20所述的移动终端响应操作的方法，其特征在于，还包括：获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹；其中，所述获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹包括：获取指示物的时空表观模型，并根据所述时空表观模型识别所述指示物的运动轨迹。

22.如权利要求21所述的移动终端响应操作的方法，其特征在于，所述获取指示物的图像帧序列，根据所述图像帧序列获取所述指示物的运动轨迹包括：根据指示物的运动信息和指示物的颜色信息进行指示物分割。

23.一种移动终端，其特征在于，包括：

检测单元，用于检测并获取移动终端的环境信息；

分析单元，分析所述环境信息，并从所述环境信息中提取外界动作信息；

数据单元，存储标准动作信息；

判断单元，将外界动作信息与所述数据库内的标准动作信息进行比较，并进行判断；

控制单元，接收所述判断单元的判断结果，并根据所述判断结果，对移动终端进行指令控制。

24.如权利要求23所述的移动终端，其特征在于，所述判断单元包括获取单元，用于获取外界动作信息的第一运动参数；所述获取单元包括：外界动作信息分解单元，数值获取单元、及动作分类单元；所述标准动作信息包括第二运动参数；所述第一运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合；所述第二运动参数包括：速度、加速度、运动方向、运动位移、运动路径之一或组合。

25.如权利要求24所述的移动终端，其特征在于，所述判断单元通过将第一运动参数和第二运动参数进行比较，获取比较差值，根据所述比较差值判断所述分析单元获得的动作信息是否为有效的动作信息；所述判断单元设置容忍区间，当所述外界动作信息与所述标准动作信息的比较差值位于所述容忍范围内，则所述外界动作为有效动作；若位于所述容忍范围外，则判断结果为无效动作。

26.如权利要求25所述的移动终端，其特征在于，当动作信息为有效动作时，则控制单元根据所述有效动作，对所述移动终端进行指令控制；所述标准动作信息包括单个标准动作信息及合成标准动作信息；所述数据单元还存储有指令，该指令包括：与所述单个标准动作信息对应的单个标准动作指令，及与所述合成标准动作信息对应的合成标准动作合成指令。

27.一种移动终端响应操作的方法，其特征在于，包括：

检测并获取移动终端的环境信息；

分析所述环境信息，并从所述环境信息中提取外界动作信息；

存储标准动作信息；

将外界动作信息与所述数据库内的标准动作信息进行比较，并进行判断；

接收判断结果，并根据所述判断结果，对移动终端进行指令控制。

Images