CN105528060A - 终端设备和控制方法 - Google Patents

Abstract

本发明实施例提供了一种终端设备和控制方法。根据本发明实施例的终端设备，包括：双目图像采集单元，设置在终端设备的第一外表面上，包含：第一采集模块，配置来对终端设备的识别区域进行图像采集以获得第一图像，第二采集模块，配置来对识别区域进行图像采集以获得第二图像；图像处理单元，包括：位置获取模块，配置来对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，以及深度信息获取模块，配置来根据第一位置和第二位置，获得该操作体的深度信息；控制信号生成单元，配置来根据深度信息生成控制信号，以对终端设备进行控制。

Description

终端设备和控制方法

技术领域

本发明涉及一种终端设备和控制方法。更具体地，本发明涉及一种具有双目图像采集单元的终端设备和应用于这样的终端设备的控制方法。

背景技术

随着技术的发展和成本的降低，例如台式计算机、便携式计算机、平板式计算机、智能电话和便携式音乐播放器等各种终端设备已经被广泛应用。在这些便携式电子设备中，提供了诸如键盘、鼠标、触摸面板、触摸屏之类的各种输入单元以便于用户对终端设备进行控制。此外，近年来还提出了通过图像采集单元捕获用户的手势，以根据用户做出的手势来对终端设备进行控制，从而进一步方便了用户的操作。

然而，终端设备通过传统的图像采集单元所采集的平面图像只能获得用户手部的大小、形状等二维信息，并且基于这些二维信息对用户手势判断容易产生误差。

发明内容

本发明实施例的目的在于提供一种终端设备和相应的控制方法，以解决上述问题。

本发明实施例提供了一种终端设备，包括：双目图像采集单元，设置在终端设备的第一外表面上，包含：第一采集模块，配置来对终端设备的识别区域进行图像采集以获得第一图像，第二采集模块，配置来对识别区域进行图像采集以获得第二图像；图像处理单元，包括：位置获取模块，配置来对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，以及深度信息获取模块，配置来根据第一位置和第二位置，获得该操作体的深度信息；控制信号生成单元，配置来根据深度信息生成控制信号，以对终端设备进行控制。

本发明另一实施例提供了一种控制方法，应用于终端设备，其中终端设备包括设置在终端设备的第一外表面上并且包含第一采集模块和第二采集模块的双目图像采集单元。控制方法包括：通过第一采集模块对终端设备的识别区域进行图像采集以获得第一图像，通过第二采集模块对识别区域进行图像采集以获得第二图像；对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，根据第一位置和第二位置，获得该操作体的深度信息；以及根据深度信息生成控制信号，以对终端设备进行控制。

在上述本发明实施例提供的处理图像的方法和终端设备中，通过包含第一采集模块和第二采集模块的双目图像采集单元来捕获关于操作体的图像，从而能够基于所捕获的图像更加准确地识别用户的手势，以便于用户更加容易地对终端设备进行控制。此外，通过确定操作体在第一图像中的位置来获得该操作体在第二图像中的位置，并进而根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息，从而简化了深度信息的计算复杂度，减少了计算所需花费的时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1是示出了根据本发明的一个实施例的终端设备的示范性结构框图。

图2是示出了根据预定平面区域来确定平面识别区域和立体识别区域的一个示例情形的说明图。

图3a和图3b是示出了根据平面特征来确定参考平面，并进而确定平面识别区域和立体识别区域的示例情形的说明图。

图4是示出了当前用户界面的示例情形的说明图。

图5是描述了根据本发明实施例的控制方法的流程图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在本发明的以下实施例中，终端设备的具体形式包括但不限于台式计算机、便携式计算机、平板式计算机、智能电话、智能电视、游戏机和便携式音乐播放器等。图1是示出了根据本发明的一个实施例的终端设备100的示范性结构框图。

如图1中所示，本实施例的终端设备100包括双目图像采集单元110、图像处理单元120和控制信号生成单元130，其中双目图像采集单元110包括第一采集模块111和第二采集模块112，以及图像处理单元120包括位置获取模块121和深度信息获取模块122。

具体地，双目图像采集单元110可设置在终端设备100的第一外表面上。并且双目图像采集单元110中的第一采集模块111和第二采集模块112可具有实质相同的硬件配置。第一采集模块111可对终端设备的识别区域进行图像采集以获得第一图像，并且第二采集模块112对终端设备的识别区域进行图像采集以获得第二图像。

在本发明的一个示例中，第一采集模块111可将其采集的、未经处理的第一初始图像直接作为第一图像，并且第二采集模块112可将其采集的、未经处理的第二初始图像直接作为第二图像。可替换地，为了减少噪声、光照等因素造成的影响，在本发明的另一示例中，第一采集模块111可对其采集的第一初始图像进行第一预处理以获得第一图像，其中在第一预处理可包括滤波去噪处理、白平衡调整处理等。此外与第一采集模块111类似地，第二采集模块112可对其采集的第二初始图像进行第二预处理，以获得第二图像。

然后图像处理单元120中的位置获取模块121可对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置。根据本发明的一个示例，首先，位置获取模块121可使用利用任何图像识别方法来在第一图像中识别操作体。例如，操作体可以是手指、指示笔等。又例如，在第一图像中可以有一个操作体，例如一个手指或者一支指示笔。可替换地，在第一图像中可以有多个操作体，例如多个手指，并且多个手指可形成特定手势。然后，位置获取模块121可对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置。

由于在通过第一采集模块获得第一图像和通过第二采集模块获得第二图像中可能存在畸变，根据本发明的一个示例，可首选对第一图像和第二图像进行校正以消除畸变，再根据操作体在第一图像中的位置，确定该操作体在第二图像中的位置。

具体地，位置获取模块121可根据第一采集模块和第二采集模块之间的几何关系，将第二图像与第一图像行对齐。例如，可根据每个相机的内部参数获得该相机的内参矩阵和畸变向量，并根据内参矩阵和畸变向量计算两个相机之间的旋转矩阵、平移向量和/或本征矩阵等几何关系。然后，利用两相机间的几何关系把消除畸变后的第一图像和第二图像行对齐，即，对消除畸变后的第一图像和第二图像进行立体矫正。例如，可使得第一图像和第二图像的极线恰好在同一平面上。此外，可在消除畸变并且进行立体矫正之后，对第一图像和第二图像进行上述为了减少噪声、光照等因素造成的影响二进行的第一预处理和第二预处理，以便稍后更准确的地获得深度信息。然后，位置获取模块121可根据操作体在第一图像中的位置，获得该操作体在第一图像中所在的目标行，在第二图像中确定与目标行相应的行，并且根据相应的行在第二图像中确定该操作体在第二图像中的位置。

深度信息获取模块122可根据第一位置和第二位置，获得该操作体的深度信息。例如，深度信息可以是视差值。深度信息获取模块122可使用任何本领域技术人员所知晓的基于目标对象在第一图像中的位置和在第二图像中的位置而获得深度信息的方法。

然后，控制信号生成单元130可根据深度信息生成控制信号，以对终端设备进行控制。为了使得用户能够进行更多样的控制，识别区域可包括平面识别区域和立体识别区域，并且平面识别区域和立体识别区域可对应于不同的指令集合。在此情况下，图像处理单元120还可根据至少一个操作体在第一图像中的第一位置和/或在第二图像中的第二位置确定至少一个操作体位于平面识别区域中还是立体识别区域中。当图像处理单元120确定至少一个操作体位于平面识别区域中时，控制信号生成单元130可根据深度信息和/或例如操作体在平面识别区域中的位置等信息在与平面识别区域对应的指令集合中确定控制指令，以生成控制信号。平面识别区域可包括参考平面。根据本发明的一个示例，当至少一个操作体位于平面识别区域中时，控制信号生成单元130可根据深度信息确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值(例如，5cm)。当至少一个操作体与参考平面之间的距离小于或等于预定距离阈值时，控制信号生成单元130可确定操作体位于平面识别区域上，根据第一位置和/或第二位置确定至少一个操作体在平面识别区域上的操作位置，并且根据操作位置生成控制信号以对终端设备进行控制。另一方面，当图像处理单元120确定至少一个操作体位于立体识别区域中时，控制信号生成单元130可根据深度信息和/或例如操作体在立体识别区域中的位置等信息在与立体识别区域对应的指令集合中确定控制指令，以生成控制信号。

根据本发明的另一示例，参考平面可以是预定平面区域，图像处理单元120可通过对第一图像和第二图像进行图像识别来确定第一图像和第二图像中是否存在预定平面区域，进而确定平面识别区域和立体识别区域。具体地，当存在预定平面区域时，图像处理单元120将预定平面区域作为平面识别区域，并且将第一图像和第二图像中预定平面区域以外的区域作为立体识别区域。

图2是示出了根据预定平面区域来确定平面识别区域和立体识别区域的一个示例情形的说明图。在图2所示的实例中，终端设备200为腕戴式设备。如图2所示，终端设备200的第一外表面210为在当腕戴式设备被用户佩戴时靠近用户手部的侧面，并且终端设备200的双目图像采集单元设置在第一外表面210上。可预先设置当用户佩戴终端设备200时，用户的手背区域为预定平面区域。终端设备200的图像处理单元还可识别在第一图像和第二图像中是否存在用户的手背。在图2所示的示例中，用户将终端设备200佩戴在手腕上，并且第一图像和第二图像中存在用户的手背。当终端设备200的图像处理单元识别出第一图像和第二图像中存在用户的手背区域时，将用户的手背区域作为平面识别区域220，并且将第一图像和第二图像中除了用户的手背区域以外的区域作为立体识别区域230。

如图2所示，终端设备200的图像处理单元可识别到在终端设备200的立体识别区域230中，存在作为操作体的用户食指240。终端设备200的控制信号生成单元可根据图像处理单元获得的食指240的深度信息确定食指240沿箭头A所示的方向移动，并进一步确定食指240在立体识别区域230中形成了滑动手势，并且生成与在立体识别区域230进行的滑动手势相应的控制信号。

根据本发明的又一示例，图像处理单元120可根据多个平面特征确定第一图像和第二图像中是否包括参考平面。在此情况下，图像处理单元120还可包括平面方程生成模块和相对位置确定模块。具体地，平面方程生成模块可根据多个平面特征确定第一图像中是否包括参考平面，并且当确定第一图像中包括参考平面时，根据第一图像和第二图像生成指示参考平面相对于图像采集单元的空间位置的平面方程。相对位置确定模块可根据所获得的操作体的深度信息和平面方程，确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值。

图3a和图3b是示出了根据平面特征来确定参考平面，并进而确定平面识别区域和立体识别区域的示例情形的说明图。根据本发明的一个示例，平面特征可包括位于参考平面上的不在同一直线上的、颜色相互不同的至少三个特征点。此外，可预先设置这些特征点。在图3a所示的示例中，可预先设置参考平面(即，桌面)310上的特征点为不在同一直线上的浅灰色特征点311、深灰色特征点312和黑色特征点313。图像处理单元120可包括平面方程生成模块。具体地，平面方程生成模块可确定第一图像中是否包括特征点311-313，并且当确定第一图像中包括特征点311-313时，可进一步确定第一图像中包括参考平面310。此外当确定第一图像中包括参考平面时，平面方程生成模块可根据第一图像和第二图像生成指示参考平面310相对于图像采集单元的空间位置的平面方程。

可替换地，根据本发明的另一示例，平面特征可包括位于参考平面上物体的至少两条相互不平行的边所在的两条直线。此外，可预先设置这些直线。在图3b所示的示例中，可预先设置参考平面(即，桌面)310上的直线为笔321所在的直线a-a’和笔322所在的直线b-b’，并且直线a-a’和直线b-b’相互不平行。图像处理单元120可包括平面方程生成模块。具体地，平面方程生成模块可确定第一图像中是否包括直线a-a’和直线b-b’，并且当确定第一图像中包括直线a-a’和直线b-b’时，可进一步确定第一图像中包括参考平面310。此外当确定第一图像中包括参考平面时，平面方程生成模块可根据第一图像和第二图像生成指示参考平面310相对于图像采集单元的空间位置的平面方程。

此外，根据本发明的一个示例，除了深度信息之外，控制信号生成单元还根据第一位置和/或第二位置确定至少一个操作体在终端设备的当前用户界面中的映射位置，并根据映射位置生成控制信号，以对终端设备进行控制。图4是示出了当前用户界面的示例情形的说明图。在当前用户界面400中包括图标410至440。例如，在图3a和图3b所示的示例中，终端设备的当前用户界面如图4所示。控制信号生成单元可根据操作体在第一图像中的第一位置在第二图像中的第二位置确定操作体(即，手指)330在终端设备的当前用户界面中的映射位置为图标410所在的位置，并生成启动图标410所对应的应用的控制信号。

此外，根据本发明的一个示例，终端设备还可包括设置在第一外表面上的投影单元，以在平面识别区域的参考平面上投影出用户界面。例如，可在参考平面上投影出图4所示的用户界面400，从而进一步方便用户的操作。

在根据发明实施例的终端设备中，通过包含第一采集模块和第二采集模块的双目图像采集单元来捕获关于操作体的图像，从而能够基于所捕获的图像更加准确地识别用户的手势，以便于用户更加容易地对终端设备进行控制。此外，通过确定操作体在第一图像中的位置来获得该操作体在第二图像中的位置，并进而根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息，从而简化了深度信息的计算复杂度，减少了计算所需花费的时间。

下面，参照图5说明本发明的实施例的控制方法。图5是描述了根据本发明实施例的控制方法500的流程图。控制方法可用于上述包括设置在其第一外表面上并且包含第一采集模块和第二采集模块的双目图像采集单元终端设备。控制方法500的各个步骤可分别由图1所示的终端设备中的相应单元实现。因此，以下仅对控制方法500的主要步骤进行了描述，而省略了以上已经结合图1描述过的细节内容。

如图5所示，在步骤S501中，通过第一采集模块对终端设备的识别区域进行图像采集以获得第一图像，并且在步骤S502中，通过第二采集模块对终端设备的识别区域进行图像采集以获得第二图像。

在本发明的一个示例中，在步骤S501中，可将第一采集模块采集的、未经处理的第一初始图像直接作为第一图像，并且在步骤S502将第二采集模块采集的、未经处理的第二初始图像直接作为第二图像。可替换地，为了减少噪声、光照等因素造成的影响，在本发明的另一示例中，在步骤S501中，可将第一采集模块采集的第一初始图像进行第一预处理以获得第一图像，其中在第一预处理可包括滤波去噪处理、白平衡调整处理等，此外与第一采集模块类似地，在步骤S502中，可将第二采集模块采集的第二初始图像进行第二预处理，以获得第二图像。

然后在步骤S503中，可对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，然后根据第一位置和第二位置，获得该操作体的深度信息。根据本发明的一个示例，在步骤S503中，首先可使用利用任何图像识别方法来在第一图像中识别操作体。例如，操作体可以是手指、指示笔等。又例如，在第一图像中可以有一个操作体，例如一个手指或者一支指示笔。可替换地，在第一图像中可以有多个操作体，例如多个手指，并且多个手指可形成特定手势。在步骤S503中，然后可对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置。

由于在通过第一采集模块获得第一图像和通过第二采集模块获得第二图像中可能存在畸变，根据本发明的一个示例，可首选对第一图像和第二图像进行校正以消除畸变，再根据操作体在第一图像中的位置，确定该操作体在第二图像中的位置。

具体地，可根据第一采集模块和第二采集模块之间的几何关系，将第二图像与第一图像行对齐。例如，可根据每个相机的内部参数获得该相机的内参矩阵和畸变向量，并根据内参矩阵和畸变向量计算两个相机之间的旋转矩阵、平移向量和/或本征矩阵等几何关系。然后，利用两相机间的几何关系把消除畸变后的第一图像和第二图像行对齐，即，对消除畸变后的第一图像和第二图像进行立体矫正。例如，可使得第一图像和第二图像的极线恰好在同一平面上。此外，可在消除畸变并且进行立体矫正之后，对第一图像和第二图像进行上述为了减少噪声、光照等因素造成的影响二进行的第一预处理和第二预处理，以便稍后更准确的地获得深度信息。然后，可根据操作体在第一图像中的位置，获得该操作体在第一图像中所在的目标行，在第二图像中确定与目标行相应的行，并且根据相应的行在第二图像中确定该操作体在第二图像中的位置。

此外，深度信息可以是视差值。在步骤S503中，可使用任何本领域技术人员所知晓的基于目标对象在第一图像中的位置和在第二图像中的位置而获得深度信息的方法。

接下来在步骤S504中，可根据深度信息生成控制信号，以对终端设备进行控制。为了使得用户能够进行更多样的控制，识别区域可包括平面识别区域和立体识别区域，并且平面识别区域和立体识别区域可对应于不同的指令集合。在此情况下，控制方法500还可包括根据至少一个操作体在第一图像中的第一位置和/或在第二图像中的第二位置确定至少一个操作体位于平面识别区域中还是立体识别区域中的步骤。此外，当确定至少一个操作体位于平面识别区域中时，控制方法500还可包括根据例如操作体在平面识别区域中的位置等信息在与平面识别区域对应的指令集合中确定控制指令，以生成控制信号的步骤。平面识别区域可包括参考平面。

根据本发明的一个示例，当至少一个操作体位于平面识别区域中时，可根据深度信息确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值(例如，5cm)。当至少一个操作体与参考平面之间的距离小于或等于预定距离阈值时，可确定操作体位于平面识别区域上，根据第一位置和/或第二位置确定至少一个操作体在平面识别区域上的操作位置，并且处理先前获得的深度信息之外，还根据操作体在平面识别区域上的操作位置生成控制信号以对终端设备进行控制。另一方面，当确定至少一个操作体位于立体识别区域中时，可根据深度信息和/或例如操作体在立体识别区域中的位置等信息在与立体识别区域对应的指令集合中确定控制指令，以生成控制信号。

根据本发明的另一示例，参考平面可以是预定平面区域，图5所示的方法还可包括通过对第一图像和第二图像进行图像识别来确定第一图像和第二图像中是否存在预定平面区域，并且当存在预定平面区域时，将预定平面区域作为平面识别区域，而将第一图像和第二图像中预定平面区域以外的区域作为立体识别区域的步骤。

例如，如以上结合图2所描述的，终端设备可以是腕戴式设备。终端设备的第一外表面为在当腕戴式设备被用户佩戴时靠近用户手部的侧面，并且终端设备的双目图像采集单元设置在第一外表面上。可预先设置当用户佩戴终端设备时，用户的手背区域为预定平面区域。根据本示例中的控制方法，可识别在第一图像和第二图像中是否存在用户的手背，并且当识别出第一图像和第二图像中存在用户的手背区域时，将用户的手背区域作为平面识别区域，并且将第一图像和第二图像中除了用户的手背区域以外的区域作为立体识别区域。

根据本发明的又一示例，图5中的控制方法500可根据多个平面特征确定第一图像和第二图像中是否包括参考平面。具体地，控制方法500还可包括根据多个平面特征确定第一图像中是否包括参考平面的步骤，以及当确定第一图像中包括参考平面时，根据第一图像和第二图像生成指示参考平面相对于图像采集单元的空间位置的平面方程的步骤。在此情况下，在控制方法500中可根据所获得的操作体的深度信息和平面方程，确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值。如以上已经结合图3a和图3b所描述的，在根据本发明的示例中，平面特征可包括位于参考平面上的不在同一直线上的、颜色相互不同的至少三个特征点或者位于参考平面上物体的至少两条相互不平行的边所在的两条直线，为了简洁，在此不再赘述。

此外，根据本发明的一个示例，如上所述，除了深度信息之外，图5中所示的控制方法500还可包括当至少一个操作体位于平面识别区域中时，还根据第一位置和/或第二位置生成控制信号以对终端设备进行控制。例如，在终端设备的当前用户界面如图4所示的情况下，可根据操作体在第一图像中的第一位置在第二图像中的第二位置确定操作体(即，手指)330在终端设备的当前用户界面中的映射位置为图标410所在的位置，并生成启动图标410所对应的应用的控制信号。

此外，根据本发明的一个示例，终端设备还可包括设置在第一外表面上的投影单元。图5中所示的方法还可包括通过投影单元在平面识别区域的参考平面上投影出用户界面。例如，可在参考平面上投影出图4所示的用户界面400，从而进一步方便用户的操作。

在根据发明实施例的控制方法中，通过包含第一采集模块和第二采集模块的双目图像采集单元来捕获关于操作体的图像，从而能够基于所捕获的图像更加准确地识别用户的手势，以便于用户更加容易地对终端设备进行控制。此外，通过确定操作体在第一图像中的位置来获得该操作体在第二图像中的位置，并进而根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息，从而简化了深度信息的计算复杂度，减少了计算所需花费的时间。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。

Claims (14)

1.一种终端设备，包括：

双目图像采集单元，设置在终端设备的第一外表面上，包含：

第一采集模块，配置来对终端设备的识别区域进行图像采集以获得第一图像，

第二采集模块，配置来对识别区域进行图像采集以获得第二图像；图像处理单元，包括：

位置获取模块，配置来对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，以及

深度信息获取模块，配置来根据第一位置和第二位置，获得该操作体的深度信息；

控制信号生成单元，配置来根据深度信息生成控制信号，以对终端设备进行控制。

2.如权利要求1所述的终端设备，其中：

识别区域包括平面识别区域和立体识别区域；

平面识别区域包括参考平面；

图像处理单元还配置来根据第一位置和/或第二位置确定至少一个操作体位于平面识别区域中还是立体识别区域中；以及

当至少一个操作体位于平面识别区域中时，控制信号生成单元还根据第一位置和/或第二位置生成控制信号以对终端设备进行控制。

3.如权利要求2所述的终端设备，其中

当至少一个操作体位于平面识别区域中时，控制信号生成单元根据深度信息确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值；

当至少一个操作体与参考平面之间的距离小于或等于预定距离阈值时，控制信号生成单元根据第一位置和/或第二位置确定至少一个操作体在平面识别区域上的操作位置，并且根据操作位置生成控制信号以对终端设备进行控制。

4.如权利要求2或3所述的终端设备，其中

终端设备为腕戴式设备，

第一外表面为在当腕戴式设备被用户佩戴时靠近用户手部的侧面，

图像处理单元还配置来确定在第一图像和第二图像中是否存在预定平面区域，以及当存在预定平面区域时，将预定平面区域作为平面识别区域，并且将第一图像和第二图像中预定平面区域以外的区域作为立体识别区域。

5.如权利要求3的所述的终端设备，其中图像处理单元还包括：

平面方程生成模块，配置来根据多个平面特征确定第一图像中是否包括参考平面，并且当确定第一图像中包括参考平面时，根据第一图像和第二图像生成指示参考平面相对于图像采集单元的空间位置的平面方程；以及

相对位置确定模块，配置来根据操作体的深度信息和平面方程，确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值。

6.如权利要求2或3所述的终端设备，还包括：

投影单元，设置在第一外表面上，配置来在平面识别区域的参考平面上投影出用户界面。

7.如权利要求2或3所述的终端设备，其中

控制信号生成单元还根据第一位置和/或第二位置确定至少一个操作体在终端设备的当前用户界面中的映射位置，并根据映射位置生成控制信号，以对终端设备进行控制。

8.一种控制方法，应用于终端设备，其中终端设备包括设置在终端设备的第一外表面上并且包含第一采集模块和第二采集模块的双目图像采集单元，控制方法包括：

通过第一采集模块对终端设备的识别区域进行图像采集以获得第一图像，

通过第二采集模块对识别区域进行图像采集以获得第二图像；

对于在识别区域中出现的至少一个操作体的每一个获得该操作体在第一图像中的第一位置，并且根据第一位置获得该操作体在第二图像中的第二位置，根据第一位置和第二位置，获得该操作体的深度信息；以及

根据深度信息生成控制信号，以对终端设备进行控制。

9.如权利要求8所述的控制方法，其中：

识别区域包括平面识别区域和立体识别区域；

平面识别区域包括参考平面；

控制方法还包括：

根据第一位置和/或第二位置确定至少一个操作体位于平面识别区域中还是立体识别区域中；以及

当至少一个操作体位于平面识别区域中时，还根据第一位置和/或第二位置生成控制信号以对终端设备进行控制。

10.如权利要求9所述的控制方法，其中当至少一个操作体位于平面识别区域中时，还根据第一位置和/或第二位置生成控制信号以对终端设备进行控制包括：

当至少一个操作体位于平面识别区域中时，根据深度信息确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值；

当至少一个操作体与参考平面之间的距离小于或等于预定距离阈值时，控制信号生成单元根据第一位置和/或第二位置确定至少一个操作体在平面识别区域上的操作位置，并且根据操作位置生成控制信号以对终端设备进行控制。

11.如权利要求9或10的控制所述的控制方法，其中

终端设备为腕戴式设备，

第一外表面为在当腕戴式设备被用户佩戴时靠近用户手部的侧面，

控制方法还包括：

确定在第一图像和第二图像中是否存在预定平面区域，以及当存在预定平面区域时，将预定平面区域作为平面识别区域，并且将第一图像和第二图像中预定平面区域以外的区域作为立体识别区域。

12.如权利要求10所述的控制方法还包括：

根据多个平面特征确定第一图像中是否包括所述参考平面；

当确定第一图像中包括参考平面时，根据第一图像和第二图像生成指示参考平面相对于图像采集单元的空间位置的平面方程，其中

所述当至少一个操作体位于平面识别区域中时，根据深度信息确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值包括：

当至少一个操作体位于平面识别区域中时，根据操作体的深度信息和平面方程，确定至少一个操作体与参考平面之间的距离是否小于或等于预定距离阈值。

13.根据权利要求9或10的控制方法，其中终端设备还包括设置在第一外表面上的投影单元，控制方法还包括：

在平面识别区域的参考平面上投影出用户界面。

14.根据权利要求9或10的控制方法，当至少一个操作体位于平面识别区域中时，还根据第一位置和/或第二位置生成控制信号以对终端设备进行控制包括：

当至少一个操作体位于平面识别区域中时，根据第一位置和/或第二位置确定至少一个操作体在终端设备的当前用户界面中的映射位置，并根据映射位置生成控制信号，以对终端设备进行控制。