CN107589834A - 终端设备操作方法及装置、终端设备 - Google Patents

Abstract

本发明提出一种终端设备操作方法及装置、终端设备，其中方法包括：通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型并进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

Description

终端设备操作方法及装置、终端设备

技术领域

本发明涉及终端设备领域，尤其涉及一种终端设备操作方法及装置、终端设备。

背景技术

目前，人机交互技术是指通过输入输出设备，以有效的方式实现人与机器交互的技术。现有的人机交互的交互方式通常是通过鼠标、键盘、触摸屏或者手柄等外部设备与机器系统进行交互，机器系统再做出相应的响应。比如当需要控制屏幕滚动时，要么通过鼠标移动实现屏幕滚动，要么通过人体部位如手指等在触摸屏上进行滑动实现屏幕滚动。

现有的终端设备操作方式，都需要用户与输入设备比如触摸屏等进行接触才能完成各个操作，使得用户对终端设备进行操作时必须依赖于外部设备，束缚用户的行为方式，降低了终端设备的操作效率和操作体验。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种终端设备操作方法，以实现对终端设备进行有效、直观的操作，以及解决现有技术中用户对终端设备进行操作时必须依赖于外部设备，束缚用户的行为方式，降低了终端设备操作效率和操作体验的问题。

本发明的第二个目的在于提出一种终端设备操作装置。

本发明的第三个目的在于提出一种终端设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种终端设备操作方法，包括：

采用结构光设备向所述终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

根据所述终端设备用户的手势对所述终端设备进行操作。

作为本发明第一方面实施例的一种可能的实现方式，所述采用结构光设备向所述终端设备的周围用户进行投影，获取所述周围用户的手部3D模型，包括：

采用结构光设备向所述终端设备的周围用户进行投影；

采用摄像机对所述周围用户进行摄像，获取所述周围用户的深度图像；

结合所述周围用户的深度图像，以及所述结构光设备和所述摄像机之间的位置关系，计算获取所述周围用户的手部3D模型。

作为本发明第一方面实施例的一种可能的实现方式，所述结构光设备产生的结构光为非均匀结构光。

作为本发明第一方面实施例的一种可能的实现方式，所述对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围，包括：

对所述周围用户的手部3D模型进行分析，提取所述周围用户的手部3D模型中指纹区域的特征点信息；

将所述周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取所述指纹区域的特征点信息与所述指纹特征点信息之间的相似度；

将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据所述终端设备用户的手部3D模型的位置范围确定所述终端设备用户手部所在的位置范围。

作为本发明第一方面实施例的一种可能的实现方式，所述对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势，包括：

对各个时间点所述终端设备用户的手部3D模型进行分析，提取各个时间点所述终端设备用户的手部3D模型的特征点信息；

针对各个时间点，将所述终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定所述终端设备用户的手部姿态；

根据各个时间点所述终端设备用户的手部姿态，确定所述终端设备用户的手势。

作为本发明第一方面实施例的一种可能的实现方式，所述采用结构光设备向所述终端设备的周围用户进行投影，获取所述周围用户的手部3D模型之前，还包括：

获取终端设备用户的各手势与控制指令之间的对应关系；

根据所述终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储所述控制指令表；

对应的，所述根据所述终端设备用户的手势对所述终端设备进行操作，包括：

根据所述终端设备用户的手势查询所述控制指令表，获取与所述终端设备用户的手势匹配的控制指令；

根据所述控制指令对所述终端设备进行操作。

本发明实施例的终端设备操作方法，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

为达上述目的，本发明第二方面实施例提出了一种终端设备操作装置，包括：

第一投影模块，用于采用结构光设备向终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

第一识别模块，用于对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

第二投影模块，用于采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

第二识别模块，用于对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

操作模块，用于根据所述终端设备用户的手势对所述终端设备进行操作。

作为本发明第二方面实施例的一种可能的实现方式，所述第一投影模块包括：

投影单元，用于采用结构光设备向所述终端设备的周围用户进行投影；

摄像单元，用于采用摄像机对所述周围用户进行摄像，获取所述周围用户的深度图像；

计算单元，用于结合所述周围用户的深度图像，以及所述结构光设备和所述摄像机之间的位置关系，计算获取所述周围用户的手部3D模型。

作为本发明第二方面实施例的一种可能的实现方式，所述结构光设备产生的结构光为非均匀结构光。

作为本发明第二方面实施例的一种可能的实现方式，所述第一识别模块包括：

第一提取单元，用于对所述周围用户的手部3D模型进行分析，提取所述周围用户的手部3D模型中指纹区域的特征点信息；

第一比对单元，用于将所述周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取所述指纹区域的特征点信息与所述指纹特征点信息之间的相似度；

第一确定单元，用于将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据所述终端设备用户的手部3D模型的位置范围确定所述终端设备用户手部所在的位置范围。

作为本发明第二方面实施例的一种可能的实现方式，所述第二识别模块包括：

第二提取单元，用于对各个时间点所述终端设备用户的手部3D模型进行分析，提取各个时间点所述终端设备用户的手部3D模型的特征点信息；

第二比对单元，用于针对各个时间点，将所述终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定所述终端设备用户的手部姿态；

第二确定单元，用于根据各个时间点所述终端设备用户的手部姿态，确定所述终端设备用户的手势。

作为本发明第二方面实施例的一种可能的实现方式，所述的装置还包括：

获取模块，用于获取终端设备用户的各手势与控制指令之间的对应关系；

生成模块，用于根据所述终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储所述控制指令表；

对应的，所述操作模块具体用于，根据所述终端设备用户的手势查询所述控制指令表，获取与所述终端设备用户的手势匹配的控制指令；

根据所述控制指令对所述终端设备进行操作。

本发明实施例的终端设备操作装置，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

为达上述目的，本发明第三方面实施例提出了一种终端设备，包括：

壳体和位于所述壳体内的处理器和存储器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如本发明第一方面实施例所述的终端设备操作方法。

为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如第一方面实施例所述的终端设备操作方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种终端设备操作方法的流程示意图；

图2为本发明实施例提供的不同形式的结构光投影的示意图；

图3为本发明实施例提供的另一种终端设备操作方法的流程示意图；

图4为本发明实施例提供的另一种终端设备操作方法的流程示意图；

图5为本发明实施例提供的一种终端设备操作装置的结构示意图；

图6为本发明实施例提供的另一种终端设备操作装置的结构示意图；

图7为本发明实施例提供的另一种终端设备操作装置的结构示意图；

图8为本发明实施例提供的另一种终端设备操作装置的结构示意图；

图9为本发明实施例提供的另一种终端设备操作装置的结构示意图；

图10为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的终端设备操作方法及装置、终端设备。

以实现对终端设备进行有效、直观的操作，以及解决现有技术中用户对终端设备进行操作时必须依赖于外部设备，束缚用户的行为方式，降低了终端设备的操作效率和操作体验的问题。

图1为本发明实施例提供的终端设备操作方法的流程示意图。

如图1所示，该终端设备操作方法包括以下步骤：

S101、采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型。

本实施例提供的终端设备操作方法的执行主体为终端设备操作装置，终端设备操作装置具体可以为安装在终端设备上的硬件或者软件。该终端设备可以为智能手机、平板电脑、ipad等。

本实施例中，结构光指的是已知空间方向的投影光线的集合。结构光设备指的是生成结构光，可以将结构光投影到被测对象上的设备。结构光的模式可以包括：点结构光模式、线结构光模式、多线结构光模式、面结构光模式和相位法模式。点结构光模式指的是结构光设备发出的光束投射到被测对象上产生一个光点；光点经摄像机的镜头成像在摄像机的成像平面上，形成一个二维点。线结构光模式指的是结构光设备发出的光束投射到被测对象上产生一条光线；光线经摄像机的镜头成像在摄像机的成像平面上，形成一条可能发生畸变或者断裂的光线。多线结构光模式指的是结构光设备发出的光束投射到被测对象上产生多条光线。面结构光模式指的是结构光设备发出的光束投射到被测对象上产生光面。其中，光的畸变程度与被测对象上各部位的深度呈正比。光的断裂程度与被测对象上的裂缝等相关。

结合摄像机的成像平面上的光点、光线或者光面，以及摄像机与结构光设备的位置关系，可以得到三角几何约束关系，并由其可以唯一确定光点、光线或者光面在已知世界坐标系中的空间位置，即确定被测对象上各个部位、各个特征点在已知世界坐标系中的空间位置；进而结合摄像机采集的颜色信息，能够完成对被测对象的三维空间的复原。如图2所示，为不同的结构光设备在被测对象上形成的不同形式的结构光投影。

另外，还需要进行说明的是，本实施例中，结构光的模式还可以包括：散斑结构光模式，散斑结构光模式指的是结构光设备发出的光束投射到被测对象上产生非均匀光点阵列。

本实施例中，具体的，终端设备操作装置可以调用结构光设备向终端设备的周围用户进行投影；采用摄像机对周围用户进行摄像，获取周围用户的深度图像；结合周围用户的深度图像，以及结构光设备和摄像机之间的位置关系，计算获取周围用户的手部3D模型。

本实施例中，终端设备操作装置可以通过向能够观察到终端设备显示屏幕的特定范围内的周围用户进行投影，获取能够观察到终端设备显示屏幕的各周围用户的手部3D模型。需要进行说明的是，终端设备操作装置可以仅获取各周围用户的位于特定范围内的手部的3D模型，对于各周围用户的位于特定范围之外的手部的3D模型则不进行获取操作。

本实施例中，终端设备操作装置获取周围用户的深度图像的方式可以为，终端设备操作装置调用结构光设备向周围的场景进行投影，获取周围的场景中所有对象的深度图像，对所有对象的深度图像进行分析，获取所有对象的特征点信息，对所有对象的特征点信息进行分析，获取属于人的特征点信息，确定各个用户的位置，进而确定各个周围用户的深度图像。

S102、对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围。

本实施例中，终端设备操作装置预存有终端设备用户的指纹区域的特征点信息，以便根据终端设备用户的指纹区域的特征点信息对周围用户的手部3D模型中指纹区域的特征点信息进行识别，确定周围用户的手部3D模型中属于终端设备用户的手部3D模型，进而根据终端设备用户的手部3D模型的位置确定终端设备用户手部所在的位置范围。

本实施例中，终端设备用户的指纹区域可以指单个手指的指纹区域，或者多个手指、所有手指的指纹区域，可以根据需要进行设定，此处不做具体限定。

S103、采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型。

本实施例中，各个时间点、各个时间点之间的时间差值可以根据需要进行设定，例如根据终端设备用户的手部动作速度进行设定。

S104、对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势。

本实施例中，终端设备操作装置可以对各个时间点终端设备用户的手部3D模型进行识别，获取各个时间点终端设备用户的手部姿态；根据一段时间内终端设备用户的一系列手部姿态，确定终端设备用户的手势。

S105、根据终端设备用户的手势对终端设备进行操作。

进一步的，在上述实施例的基础上，步骤101之前，所述的方法还可以包括：获取终端设备用户的各手势与控制指令之间的对应关系；根据终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储控制指令表。对应的，步骤105具体可以为，根据终端设备用户的手势查询控制指令表，获取与终端设备用户的手势匹配的控制指令；根据控制指令对终端设备进行操作。

本实施例中，在人较多的场景下，例如地铁、公园等场景中，当终端设备用户需要对终端设备进行遥控时，采用本实施例提供的终端设备操作装置，可以使得终端设备能够准确获取到终端设备用户的手势，而排除其他用户的手势，根据终端设备用户的手势对终端设备进行操作，提高了终端设备操作的准确度。

本发明实施例的终端设备操作方法，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图3为本发明实施例提供的另一种终端设备操作方法的流程示意图。如图3所示，在图1所示实施例的基础上，步骤102具体可以包括：

S1021、对周围用户的手部3D模型进行分析，提取周围用户的手部3D模型中指纹区域的特征点信息。

S1022、将周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取指纹区域的特征点信息与指纹特征点信息之间的相似度。

本实施例中，在指纹区域为多个手指的指纹区域的情况下，终端设备操作装置可以将周围用户的手部3D模型中相应手指的指纹区域的特征点信息与终端设备用户相应手指的指纹区域的特征点信息进行比对，确定相应手指的指纹区域的相似度，根据各个手指的指纹区域的相似度，确定指纹区域的特征点信息与指纹特征点信息之间的相似度，即周围用户的手部3D模型中指纹区域与终端设备用户的指纹区域的相似度。

S1023、将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据终端设备用户的手部3D模型的位置范围确定终端设备用户手部所在的位置范围。

本实施例中，终端设备操作装置根据终端设备用户的手部3D模型中各个点的三维坐标就可以确定终端设备用户的手部3D模型的位置范围，进而确定终端设备用户手部所在的位置范围。

本发明实施例的终端设备操作方法，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行分析，提取周围用户的手部3D模型中指纹区域的特征点信息；将周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取指纹区域的特征点信息与指纹特征点信息之间的相似度；将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据终端设备用户的手部3D模型的位置范围确定终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图4为本发明实施例提供的另一种终端设备操作方法的流程示意图。如图4所示，在图1所示实施例的基础上，步骤104具体可以包括：

S1041、对各个时间点终端设备用户的手部3D模型进行分析，提取各个时间点终端设备用户的手部3D模型的特征点信息。

S1042、针对各个时间点，将终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定终端设备用户的手部姿态。

本实施例中，针对各个时间点，终端设备操作装置可以将终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，获取终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息之间的相似度；将对应的相似度大于预设相似度阈值的手部姿态确定为终端设备用户的手部姿态。

S1043、根据各个时间点终端设备用户的手部姿态，确定终端设备用户的手势。

本实施例中，终端设备操作装置可以根据各个时间点终端设备用户的手部姿态，确定终端设备用户在一段时间内的手部姿态序列，根据终端设备用户在一段时间内的手部姿态序列查询预设的手势表，获取与手部姿态序列匹配的手势，将所述手势确定为终端设备用户的手势。

本发明实施例的终端设备操作方法，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行分析，提取各个时间点终端设备用户的手部3D模型的特征点信息；针对各个时间点，将终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定终端设备用户的手部姿态；根据各个时间点终端设备用户的手部姿态，确定终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图5为本发明实施例提供的一种终端设备操作装置的结构示意图。如图5所示，该终端设备操作装置包括：第一投影模块51、第一识别模块52、第二投影模块53、第二识别模块54和操作模块55。

其中，第一投影模块51，用于采用结构光设备向终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

第一识别模块52，用于对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

第二投影模块53，用于采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

第二识别模块54，用于对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

操作模块55，用于根据所述终端设备用户的手势对所述终端设备进行操作。

本实施例提供的终端设备操作装置具体可以为安装在终端设备上的硬件或者软件。该终端设备可以为智能手机、平板电脑、ipad等。

本实施例中，终端设备操作装置预存有终端设备用户的指纹区域的特征点信息，以便根据终端设备用户的指纹区域的特征点信息对周围用户的手部3D模型中指纹区域的特征点信息进行识别，确定周围用户的手部3D模型中属于终端设备用户的手部3D模型，进而根据终端设备用户的手部3D模型的位置确定终端设备用户手部所在的位置范围。

本实施例中，终端设备用户的指纹区域可以指单个手指的指纹区域，或者多个手指、所有手指的指纹区域，可以根据需要进行设定，此处不做具体限定。

本实施例中，终端设备操作装置可以对各个时间点终端设备用户的手部3D模型进行识别，获取各个时间点终端设备用户的手部姿态；根据一段时间内终端设备用户的一系列手部姿态，确定终端设备用户的手势。

图5的基础之上，图6为本发明实施例提供的另一种终端设备操作装置的结构示意图。如图6所示，所述第一投影模块51包括：投影单元511、摄像单元512和计算单元513。

其中，投影单元511，用于采用结构光设备向所述终端设备的周围用户进行投影；

摄像单元512，用于采用摄像机对所述周围用户进行摄像，获取所述周围用户的深度图像；

计算单元513，用于结合所述周围用户的深度图像，以及所述结构光设备和所述摄像机之间的位置关系，计算获取所述周围用户的手部3D模型。

本实施例中，终端设备操作装置可以通过向能够观察到终端设备显示屏幕的特定范围内的周围用户进行投影，获取能够观察到终端设备显示屏幕的各周围用户的手部3D模型。需要进行说明的是，终端设备操作装置可以仅获取各周围用户的位于特定范围内的手部的3D模型，对于各周围用户的位于特定范围之外的手部的3D模型则不进行获取操作。

本实施例中，终端设备操作装置获取周围用户的深度图像的方式可以为，终端设备操作装置调用结构光设备向周围的场景进行投影，获取周围的场景中所有对象的深度图像，对所有对象的深度图像进行分析，获取所有对象的特征点信息，对所有对象的特征点信息进行分析，获取属于人的特征点信息，确定各个用户的位置，进而确定各个周围用户的深度图像。

本发明实施例的终端设备操作装置，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图5的基础之上，图7为本发明实施例提供的另一种终端设备操作装置的结构示意图。如图7所示，所述第一识别模块52包括：第一提取单元521、第一比对单元522和第一确定单元523。

其中，第一提取单元521，用于对所述周围用户的手部3D模型进行分析，提取所述周围用户的手部3D模型中指纹区域的特征点信息；

第一比对单元522，用于将所述周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取所述指纹区域的特征点信息与所述指纹特征点信息之间的相似度；

第一确定单元523，用于将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据所述终端设备用户的手部3D模型的位置范围确定所述终端设备用户手部所在的位置范围。

本实施例中，在指纹区域为多个手指的指纹区域的情况下，终端设备操作装置可以将周围用户的手部3D模型中相应手指的指纹区域的特征点信息与终端设备用户相应手指的指纹区域的特征点信息进行比对，确定相应手指的指纹区域的相似度，根据各个手指的指纹区域的相似度，确定指纹区域的特征点信息与指纹特征点信息之间的相似度，即周围用户的手部3D模型中指纹区域与终端设备用户的指纹区域的相似度。

本实施例中，终端设备操作装置根据终端设备用户的手部3D模型中各个点的三维坐标就可以确定终端设备用户的手部3D模型的位置范围，进而确定终端设备用户手部所在的位置范围。

本发明实施例的终端设备操作装置，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行分析，提取周围用户的手部3D模型中指纹区域的特征点信息；将周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取指纹区域的特征点信息与指纹特征点信息之间的相似度；将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据终端设备用户的手部3D模型的位置范围确定终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行识别，获取终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图5的基础之上，图8为本发明实施例提供的另一种终端设备操作装置的结构示意图。如图8所示，所述第二识别模块54包括：第二提取单元541、第二比对单元542和第二确定单元543。

其中，第二提取单元541，用于对各个时间点所述终端设备用户的手部3D模型进行分析，提取各个时间点所述终端设备用户的手部3D模型的特征点信息；

第二比对单元542，用于针对各个时间点，将所述终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定所述终端设备用户的手部姿态；

第二确定单元543，用于根据各个时间点所述终端设备用户的手部姿态，确定所述终端设备用户的手势。

本实施例中，针对各个时间点，终端设备操作装置可以将终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，获取终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息之间的相似度；将对应的相似度大于预设相似度阈值的手部姿态确定为终端设备用户的手部姿态。

本实施例中，终端设备操作装置可以根据各个时间点终端设备用户的手部姿态，确定终端设备用户在一段时间内的手部姿态序列，根据终端设备用户在一段时间内的手部姿态序列查询预设的手势表，获取与手部姿态序列匹配的手势，将所述手势确定为终端设备用户的手势。

本发明实施例的终端设备操作装置，通过采用结构光设备向终端设备的周围用户进行投影，获取周围用户的手部3D模型；对周围用户的手部3D模型进行识别，获取周围用户中终端设备用户的手部3D模型以及终端设备用户手部所在的位置范围；采用结构光设备向终端设备用户手部所在的位置范围进行投影，获取各个时间点终端设备用户的手部3D模型；对各个时间点终端设备用户的手部3D模型进行分析，提取各个时间点终端设备用户的手部3D模型的特征点信息；针对各个时间点，将终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定终端设备用户的手部姿态；根据各个时间点终端设备用户的手部姿态，确定终端设备用户的手势；根据终端设备用户的手势对终端设备进行操作，使得终端设备用户可以通过做出一定的手势来控制终端设备的操作，从而实现对终端设备进行有效、直观的隔空操作，不需要束缚用户的行为方式，提高了终端设备的操作效率和操作体验。

图5的基础之上，图9为本发明实施例提供的另一种终端设备操作装置的结构示意图。如图9所示，所述的装置还包括：获取模块56和生成模块57。

其中，获取模块56，用于获取终端设备用户的各手势与控制指令之间的对应关系；

生成模块57，用于根据所述终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储所述控制指令表；

对应的，所述操作模块55具体用于，根据所述终端设备用户的手势查询所述控制指令表，获取与所述终端设备用户的手势匹配的控制指令；

根据所述控制指令对所述终端设备进行操作。

本实施例中，在人较多的场景下，例如地铁、公园等场景中，当终端设备用户需要对终端设备进行遥控时，采用本实施例提供的终端设备操作装置，可以使得终端设备能够准确获取到终端设备用户的手势，而排除其他用户的手势，根据终端设备用户的手势对终端设备进行操作，提高了终端设备操作的准确度。

本发明实施例还提供一种终端设备。上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路900包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。

ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。

在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。

ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。

以下为运用图10中图像处理技术实现终端设备操作方法的步骤：

采用结构光设备向终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

根据所述终端设备用户的手势对所述终端设备进行操作。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的终端设备操作方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种终端设备操作方法，其特征在于，包括：

采用结构光设备向终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

根据所述终端设备用户的手势对所述终端设备进行操作。

2.根据权利要求1所述的方法，其特征在于，所述采用结构光设备向所述终端设备的周围用户进行投影，获取所述周围用户的手部3D模型，包括：

采用结构光设备向所述终端设备的周围用户进行投影；

采用摄像机对所述周围用户进行摄像，获取所述周围用户的深度图像；

结合所述周围用户的深度图像，以及所述结构光设备和所述摄像机之间的位置关系，计算获取所述周围用户的手部3D模型。

3.根据权利要求1或2所述的方法，其特征在于，所述结构光设备产生的结构光为非均匀结构光。

4.根据权利要求1所述的方法，其特征在于，所述对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围，包括：

对所述周围用户的手部3D模型进行分析，提取所述周围用户的手部3D模型中指纹区域的特征点信息；

将所述周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取所述指纹区域的特征点信息与所述指纹特征点信息之间的相似度；

将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据所述终端设备用户的手部3D模型的位置范围确定所述终端设备用户手部所在的位置范围。

5.根据权利要求1所述的方法，其特征在于，所述对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势，包括：

对各个时间点所述终端设备用户的手部3D模型进行分析，提取各个时间点所述终端设备用户的手部3D模型的特征点信息；

针对各个时间点，将所述终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定所述终端设备用户的手部姿态；

根据各个时间点所述终端设备用户的手部姿态，确定所述终端设备用户的手势。

6.根据权利要求1所述的方法，其特征在于，所述采用结构光设备向所述终端设备的周围用户进行投影，获取所述周围用户的手部3D模型之前，还包括：

获取终端设备用户的各手势与控制指令之间的对应关系；

根据所述终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储所述控制指令表；

对应的，所述根据所述终端设备用户的手势对所述终端设备进行操作，包括：

根据所述终端设备用户的手势查询所述控制指令表，获取与所述终端设备用户的手势匹配的控制指令；

根据所述控制指令对所述终端设备进行操作。

7.一种终端设备操作装置，其特征在于，包括：

第一投影模块，用于采用结构光设备向终端设备的周围用户进行投影，获取所述周围用户的手部3D模型；

第一识别模块，用于对所述周围用户的手部3D模型进行识别，获取所述周围用户中终端设备用户的手部3D模型以及所述终端设备用户手部所在的位置范围；

第二投影模块，用于采用结构光设备向所述终端设备用户手部所在的位置范围进行投影，获取各个时间点所述终端设备用户的手部3D模型；

第二识别模块，用于对各个时间点所述终端设备用户的手部3D模型进行识别，获取所述终端设备用户的手势；

操作模块，用于根据所述终端设备用户的手势对所述终端设备进行操作。

8.根据权利要求7所述的装置，其特征在于，所述第一投影模块包括：

投影单元，用于采用结构光设备向所述终端设备的周围用户进行投影；

摄像单元，用于采用摄像机对所述周围用户进行摄像，获取所述周围用户的深度图像；

计算单元，用于结合所述周围用户的深度图像，以及所述结构光设备和所述摄像机之间的位置关系，计算获取所述周围用户的手部3D模型。

9.根据权利要求7或8所述的装置，其特征在于，所述结构光设备产生的结构光为非均匀结构光。

10.根据权利要求7所述的装置，其特征在于，所述第一识别模块包括：

第一提取单元，用于对所述周围用户的手部3D模型进行分析，提取所述周围用户的手部3D模型中指纹区域的特征点信息；

第一比对单元，用于将所述周围用户的手部3D模型中指纹区域的特征点信息与预存的终端设备用户的指纹特征点信息进行比对，获取所述指纹区域的特征点信息与所述指纹特征点信息之间的相似度；

第一确定单元，用于将对应的相似度大于预设阈值的手部3D模型确定为终端设备用户的手部3D模型，并根据所述终端设备用户的手部3D模型的位置范围确定所述终端设备用户手部所在的位置范围。

11.根据权利要求7所述的装置，其特征在于，所述第二识别模块包括：

第二提取单元，用于对各个时间点所述终端设备用户的手部3D模型进行分析，提取各个时间点所述终端设备用户的手部3D模型的特征点信息；

第二比对单元，用于针对各个时间点，将所述终端设备用户的手部3D模型的特征点信息与预存的各手部姿态对应的特征点信息进行比对，确定所述终端设备用户的手部姿态；

第二确定单元，用于根据各个时间点所述终端设备用户的手部姿态，确定所述终端设备用户的手势。

12.根据权利要求7所述的装置，其特征在于，还包括：

获取模块，用于获取终端设备用户的各手势与控制指令之间的对应关系；

生成模块，用于根据所述终端设备用户的各手势与控制指令之间的对应关系，生成控制指令表，并存储所述控制指令表；

对应的，所述操作模块具体用于，根据所述终端设备用户的手势查询所述控制指令表，获取与所述终端设备用户的手势匹配的控制指令；

根据所述控制指令对所述终端设备进行操作。

13.一种终端设备，其特征在于，包括以下一个或多个组件：壳体和位于所述壳体内的处理器和存储器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6中任一所述的终端设备操作方法。

14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一所述的终端设备操作方法。