CN109358750A - 一种控制方法、移动终端、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种控制方法，应用于移动终端，所述方法包括：从目标区域的图像中识别出用户的手部信息；所述手部信息至少包括：至少一个指尖位置；基于所述目标区域与电子设备显示区域的坐标映射关系，确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位置；发送所述至少一个控制位置至所述电子设备，以使所述电子设备基于所述至少一个控制位置执行控制操作。本申请实施例还公开了一种移动终端、电子设备及存储介质。

Description

一种控制方法、移动终端、电子设备及存储介质

技术领域

本申请涉及控制技术，尤其涉及一种控制方法、移动终端、电子设备及存 储介质。

背景技术

手势识别作为计算机视觉的一个重要部分，是沟通现实世界和虚拟的数字 世界的桥梁，被广泛的应用于虚拟现实、增强现实、人机交互、数字娱乐、电 子商务等诸多行业。目前用户在使用手势与智能电视进行交互操作时，要求智 能电视必须具备手势识别技术，即需要在智能电视上额外配置摄像头等图像采 集设备和/或手势识别算法，才能实现手势控制功能。然而，通过增加额外硬件 单元和/或软件单元来实现智能电视的手势控制功能，增加了技术难度和经济成 本，不利于手势控制在智能电视上的普及。

发明内容

为解决上述技术问题，本申请实施例期望提供一种控制方法、移动终端、 电子设备及存储介质，通过移动终端实现对电子设备的手势控制，增加电子设 备的控制多样性。

本申请的技术方案是这样实现的：

本申请实施例提供了第一种控制方法，应用于移动终端，该方法包括：

从目标区域的图像中识别出用户的手部信息；所述手部信息至少包括：至 少一个指尖位置；

基于所述目标区域与电子设备显示区域的坐标映射关系，确定至少一个指 尖位置在所述电子设备显示区域中对应的至少一个控制位置；

发送所述至少一个控制位置至所述电子设备，以使所述电子设备基于所述 至少一个控制位置执行控制操作。

上述方案中，所述坐标映射关系为二维坐标映射关系；所述确定至少一个 指尖位置在所述电子设备显示区域中对应的至少一个控制位置，包括：确定所 述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标；或者， 将所述至少一个指尖位置的三维坐标映射到二维坐标系中，得到所述至少一个 指尖位置的二维坐标；确定所述至少一个指尖位置的二维坐标对应的至少一个 控制位置的二维坐标。

上述方案中，所述坐标映射关系为三维坐标映射关系；所述确定至少一个 指尖位置在所述电子设备显示区域中对应的至少一个控制位置，包括：确定所 述至少一个指尖位置的三维坐标对应的至少一个控制位置的三维坐标。

上述方案中，在发送所述至少一个控制位置至所述电子设备之后，所述方 法还包括：发送确认指令至所述电子设备，以使所述电子设备基于所述确认指 令和所述至少一个控制位置执行控制操作。

上述方案中，从目标区域的图像中识别出用户的手部信息之后，所述方法 还包括：基于所述至少一个指尖位置确定用户的手部姿态；发送所述手部姿态 至所述电子设备，以使所述电子设备基于所述手部姿态对应的控制指令执行控 制操作；或者，基于所述手部姿态对应的控制指令，对所述电子设备执行控制 操作。

本申请实施例中还提供了第二种控制方法，应用于电子设备，该方法包括：

接收移动终端发送的至少一个控制位置；其中，所述控制位置为所述移动 终端基于目标区域与电子设备显示区域的坐标映射关系确定在所述目标区域的 图像中用户的指尖位置在所述显示区域中对应的位置；

基于所述至少一个控制位置执行控制操作。

上述方案中，在接收移动终端发送的至少一个控制位置之后，所述方法还 包括：控制所述显示区域在所述至少一个控制位置处显示位置指示图标。

上述方案中，所述基于所述至少一个控制位置执行控制操作，包括：所述 位置指示图标在第一显示区域内停留时间超过时长阈值时，基于所述至少一个 控制位置执行控制操作；其中，所述第一显示区域为所述电子设备显示区域的 部分显示区域。

上述方案中，所述基于所述至少一个控制位置执行控制操作，包括：接收 到所述移动终端发送的确认指令时，基于所述确认指令和所述至少一个控制位 置执行控制操作。

上述方案中，所述方法还包括：接收所述移动终端发送的手部姿态；基于 所述手部姿态对应的控制指令执行控制操作。

本申请实施例中提供了第一种移动终端，所述移动终端包括：

图像识别单元，用于从目标区域的图像中识别出用户的手部信息；所述手 部信息至少包括：至少一个指尖位置；

第一处理单元，用于基于所述目标区域与电子设备显示区域的坐标映射关 系，确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位 置；

第一收发单元，用于发送所述至少一个控制位置至所述电子设备，以使所 述电子设备基于所述至少一个控制位置执行控制操作。

上述方案中，所述坐标映射关系为二维坐标映射关系；所述第一处理单元， 具体用于确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二 维坐标；或者，所述第一处理单元，具体用于将所述至少一个指尖位置的三维 坐标映射到二维坐标系中，得到所述至少一个指尖位置的二维坐标；确定所述 至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标。

上述方案中，所述坐标映射关系为三维坐标映射关系；所述第一处理单元， 具体用于确定所述指尖位置的三维坐标对应的控制位置的三维坐标。

上述方案中，所述第一收发单元，还用于发送确认指令至所述电子设备， 以使所述电子设备基于所述确认指令和所述至少一个控制位置执行控制操作。

上述方案中，所述第一处理单元，还用于基于所述至少一个指尖位置确定 用户的手部姿态；所述第一收发单元，还用于发送所述手部姿态至所述电子设 备，以使所述电子设备基于所述手部姿态对应的控制指令执行控制操作；或者， 所述第一处理单元，还用于基于所述手部姿态对应的控制指令，对所述电子设 备执行控制操作。

本申请实施例中提供了第一种电子设备，所述电子设备包括：

第二收发单元，用于接收移动终端发送的至少一个控制位置；其中，所述 控制位置为所述移动终端基于目标区域与电子设备显示区域的坐标映射关系确 定在所述目标区域的图像中用户的指尖位置在所述显示区域中对应的位置；

第二处理单元，用于所述至少一个控制位置执行控制操作。

上述方案中，所述第二处理单元，还用于控制所述显示区域在所述至少一 个控制位置处显示位置指示图标。

上述方案中，所述第二处理单元，具体用于所述位置指示图标在第一显示 区域内停留时间超过时长阈值时，基于所述至少一个控制位置执行控制操作； 其中，所述第一显示区域为所述电子设备显示区域的部分显示区域。

上述方案中，所述第二处理单元，具体用于，接收到所述移动终端发送的 确认指令时，基于所述确认指令和所述至少一个控制位置执行控制操作。

上述方案中，所述第二收发单元，还用于接收所述移动终端发送的手部姿 态；所述第二处理单元，还用于基于所述手部姿态对应的控制指令执行控制操 作。

本申请实施例中提供了第二种移动终端，所述移动终端包括：第一处理器 和配置为存储能够在处理器上运行的计算机程序的第一存储器，

其中，所述第一处理器配置为运行所述计算机程序时，执行前述第一种控 制方法中所述方法的步骤。

本申请实施例中提供了第二种电子设备，所述电子设备包括：第二处理器 和配置为存储能够在处理器上运行的计算机程序的第二存储器，

其中，所述第二处理器配置为运行所述计算机程序时，执行前述第二种控 制方法中所述方法的步骤。

本申请实施例中提供了第一种计算机可读存储介质，其上存储有计算机程 序，其特征在于，该计算机程序被处理器执行时实现前述第一种控制方法中所 述的方法的步骤。

本申请实施例中提供了第二种计算机可读存储介质，其上存储有计算机程 序，该计算机程序被处理器执行时实现前述第二种控制方法中所述的方法的步 骤。

采用上述技术方案，通过识别图像中用户的手部信息(包括指尖位置)，将 用户指尖在目标区域中的移动映射到在电子设备显示区域中的移动，从而基于 显示区域中映射出的控制位置，选择显示区域内的控制选项，以实现对电子设 备的控制。如此，通过移动终端便可实现对电子设备的手势控制，增加电子设 备的控制多样性。

附图说明

图1为本申请实施例中控制方法的第一流程示意图；

图2为本申请实施例中目标区域的三维坐标示意图；

图3为本申请实施例中坐标映射的第一示意图；

图4为本申请实施例中坐标映射的第二示意图；

图5为本申请实施例中手势结构示意图；

图6为本申请实施例中控制方法的第二流程示意图；

图7为本申请实施例中第一应用场景示意图；

图8为本申请实施例中第二应用场景示意图；

图9为本发明实施例中第三应用场景示意图；

图10为本申请实施例中移动终端的第一组成结构示意图；

图11为本申请实施例中电子设备的第一组成结构示意图；

图12为本申请实施例中移动终端的第二组成结构示意图；

图13为本申请实施例中电子设备的第二组成结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图 对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来 限定本申请实施例。

实施例一

如图1所示，控制方法包括：

步骤101：从目标区域的图像中识别出用户的手部信息；手部信息至少包 括：至少一个指尖位置；

步骤102：基于目标区域与电子设备显示区域的坐标映射关系，确定至少 一个指尖位置在电子设备显示区域中对应的至少一个控制位置；

步骤103：发送至少一个控制位置至电子设备，以使电子设备基于至少一 个控制位置执行控制操作。

这里，步骤101至步骤103的执行主体可以为移动终端的处理单元或收发 单元。移动终端可以为手机、平板电脑等可移动的智能终端，电子设备可以为 具有2D或3D图像显示功能的电视、投影仪、显示屏等。

实际应用中，执行步骤101之前该方法还包括：获取目标区域的图像。这 里，目标区域的图像可以为二维图像或三维图像，获取目标区域的图像之后再 对图像中用户的手部信息进行识别。

分别来说，当目标区域的图像为二维图像时，通过移动终端的摄像头获取 二维图像。当目标区域的图像为三维图像时，利用结构光模组、飞行时间(Time of flight，TOF)、双目摄像头等至少一种来获取三维图像的深度信息。

进一步地，基于目标区域与电子设备显示区域的坐标映射关系，将用户手 部在目标区域中的位置映射到电子设备显示区域中。示例性的，坐标映射关系 也可以为二维坐标映射关系或者三维坐标映射关系。

这里，当电子设备的显示区域显示2D图像，目标区域为真实的三维环境 空间时，手部在目标区域中的位置是以三维坐标来表示的，该三维坐标表示了 手部在垂直平面的位置以及手部与终端之间的距离。显示区域位置以二维坐标 来表示，则需要先将目标区域的三维坐标转化为二维坐标，再与显示区域进行 二维坐标映射。当目标区域为二维平面时，手部在目标区域中的位置以二维坐 标来表示，此时，直接将指尖位置与显示区域进行二维坐标映射。

当电子设备的显示区域显示3D图像目标区域为真实的三维环境空间时， 显示区域和目标区域均是以三维坐标来表示，则目标区域中的指尖位置可以直 接映射到显示区域的三维坐标系中。

具体的，所述坐标映射关系为二维坐标映射关系；确定所述至少一个指尖 位置的二维坐标对应的至少一个控制位置的二维坐标；或者，将所述至少一个 指尖位置的三维坐标映射到二维坐标系中，得到所述至少一个指尖位置的二维 坐标；确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维 坐标。

如图2所示，目标区域的三维坐标系中，手指指尖位置三维坐标为P(x， y，z)，可以将P映射到任意二维坐标面，包括xy平面、xz平面或yz平面。 其中，映射到xy平面，得到的指尖位置的二维坐标为P1(x，y)；映射到xz平面，得到的指尖位置的二维坐标为P2(x，z)；映射到yz平面，得到的指尖 位置的二维坐标为P3(y，z)。

进一步地，将得到指尖位置的二维坐标，通过指尖位置所在的二维平面与 显示区域的二维平面进行等比例映射，得到指尖位置在显示区域对应的控制位 置的二维坐标。

如图3所示，将目标区域的三维图像映射到xy二维坐标系中，其中，可识 别的目标区域在xy平面内的尺寸为m×n，电子设备的显示区域尺寸为a×b， m与a，n与b成一定比例。在确定指尖位置的二维坐标为P1(x，y)后，基 于目标区域与显示区域所成的比例关系进行等比例映射，x’＝x(m/a)，y’＝y(n/b)， 得到控制位置的二维坐标为Q(x’，y’)。

实际应用中，所述坐标映射关系为三维坐标映射关系；确定至少一个指尖 位置的三维坐标对应的至少一个控制位置的三维坐标。

也就是说，在进行三维坐标映射时，无需先对指尖位置坐标进行转换，直 接将指尖位置的三维坐标映射到显示区域的三维显示空间内。

如图4所示，移动终端设定可识别的目标区域尺寸为m×n×o，电子设备 的显示区域尺寸为a×b×c，m与a，n与b，o与c成一定比例。在确定指尖位 置坐标为P(x，y，z)后，基于目标区域与显示区域所成的比例关系进行等比 例映射，x’＝x(m/a)，y’＝y(n/b)，z’＝z(o/c)得到控制位置的二维坐标为Q(x’，y’， z’)。

实际应用中，在发送所述至少一个控制位置至所述电子设备之后，该方法 还包括：发送确认指令至所述电子设备，以使所述电子设备基于所述确认指令 和所述至少一个控制位置执行控制操作。

这里，确认指令可以是移动终端获取的触控指令、语音指令或其他控制指 令。

在一些实施例中，从目标区域的图像中识别出用户的手部信息之后，该方 法还包括：基于所述至少一个指尖位置确定用户的手部姿态；发送所述手部姿 态至所述电子设备，以使所述电子设备基于所述手部姿态对应的控制指令执行 控制操作；或者，基于所述手部姿态对应的控制指令，对所述电子设备执行控 制操作。

可以理解的是，通过预先设置不同手部姿态与不同控制指令的对应关系， 用户通过不同手势也可以直接对电子设备进行控制。

具体的，该方法包括：预先设置至少一种手部姿态与控制指令的对应关系， 移动终端根据识别出的手部姿态确定对应的控制指令，将控制指令发送至电子 设备，以使电子设备基于接收到的控制指令执行控制操作。

或者，移动终端将手部姿态发送至电子设备，由电子设备根据接收到的手 部姿态确定对应的控制指令，并执行控制指令。例如，手部姿态可以为图5中 示例性给出的一种或多种。

可选的，确认指令还可以是基于移动终端识别的手部姿态而生成的。

采用上述技术方案，通过识别图像中用户的手部信息(包括指尖位置)，将 用户指尖在目标区域中的移动映射到在电子设备显示区域中的移动，从而基于 显示区域中映射出的控制位置，选择显示区域内的控制选项，以实现对电子设 备的控制。如此，通过移动终端便可实现对电子设备的手势控制，增加电子设 备的控制多样性。

实施例二

本申请实施例中，还提供了另一种控制方法，该方法应用与电子设备，如 图6所示，该方法具体包括：

步骤601：接收移动终端发送的至少一个控制位置；其中，控制位置为移 动终端基于目标区域与电子设备显示区域的坐标映射关系确定在目标区域的图 像中用户的指尖位置在显示区域中对应的位置；

步骤602：基于至少一个控制位置执行控制操作。

这里，步骤601至步骤602的执行主体可以为电子设备的处理单元或收发 单元。移动终端可以为手机、平板电脑等可移动的智能终端，电子设备可以为 具有2D或3D图像显示功能的电视、投影仪、显示屏等。

实际应用中，步骤601之后，该方法还包括：控制所述显示区域在所述至 少一个控制位置处显示位置指示图标。这里，控制位置可以表示为显示区域中 像素点的位置坐标。

进一步地，所述位置指示图标在第一显示区域内停留时间超过时长阈值时， 基于至少一个控制位置执行控制操作；其中，所述第一显示区域为所述电子设 备显示区域的部分显示区域。

也就是说，当用户通过移动手指使显示区域上的位置指示图标移动时，并 不是位置指示图标移动到一处，该处对应的操作选项都会被执行，而是只有在 满足一定条件时，才会确认执行对应的操作选项。例如，当位置指示图标在某 一位置停留超过2秒时，执行对应的操作选项。

位置指示图标可以为如图3中所示的箭头图标，或者如图4中所示的手势 图标，还可以为其他具有指向性的标识，本申请不做具体限定。如图7所示， 当箭头图标在频道5所在的第一显示区域内停留超过2秒，则显示区域立刻显 示频道5正在播放的图像。

在一些实施例中，接收到移动终端发送的确认指令时，基于确认指令和至 少一个控制位置执行控制操作。

也就是说，当用户通过移动手指使显示区域上的位置指示图标移动时，若 要执行位置指示图标指向的操作选项，还可以通过移动终端向电子设备发送确 认指令来执行位置指示图标对应的操作选项。如图7所示，当箭头图标指向频 道5所在的第一显示区域后，用户按下移动终端上的确认按键，则显示区域立 刻显示频道5正在播放的图像。

实际应用中，该方法还包括：接收所述移动终端发送的手部姿态；基于所 述手部姿态对应的控制指令执行控制操作。

可以理解的是，通过预先设置不同手部姿态与不同控制指令的对应关系， 用户通过不同手势也可以直接对电子设备进行控制。

具体的，该方法包括：预先设置至少一种手部姿态与控制指令的对应关系， 电子设备根据接收到的手部姿态确定对应的控制指令，基于控制指令执行控制 操作。

这里，确认指令还可以是基于移动终端识别的手部姿态而生成的。也就是 说，当用户通过移动手指使显示区域上的位置指示图标移动时，若要执行位置 指示图标指向的操作选项，就需要用户再做出用于表示确认指令的确认手势。 确认手势可以为图5中示例性给出的任意一种。

采用上述技术方案，通过移动终端识别三维图像中用户的手部信息(包括 指尖位置)，将用户指尖在目标区域中的移动映射到在电子设备显示区域中的移 动，电子设备基于显示区域中映射的控制位置，选择显示区域内的控制选项， 以实现对电子设备的控制。如此，通过移动终端便可实现对电子设备的手势控 制，增加电子设备的控制多样性。

实施例三

为了能更加体现本申请的目的，在本申请实施例一和实施例二的基础上， 进行进一步的举例说明，在一些实施例中，该方法具体可以包括以下：

步骤71：移动终端从目标区域的图像中识别出用户的至少一个指尖位置；

步骤72：移动终端基于目标区域与电子设备显示区域的坐标映射关系，确 定至少一个指尖位置在电子设备显示区域中对应的至少一个控制位置；

步骤73：移动终端发送至少一个控制位置给电子设备；

步骤74：电子设备根据接收到的至少一个控制位置执行控制操作。

实际应用中，目标区域为三维空间时，移动终端通过3D结构光技术来识 别三维空间中物体，3D结构光的整个系统包含结构光投影设备、摄像机、图像 采集和处理系统。其过程就是投影设备发射光线到被测物体上，摄像机拍摄在 被测物体上形成的三维光图形，拍摄图像经采集处理系统处理后获得被测物体 表面数据。在这个系统中，当相机和投影设备相对位置一定时，投射在被测物 体上的光线畸变程度取决于物体表面的深度，所以在拍摄图像中可以得到一张 拥有深度的光线图像。根据拥有深度信息的光线图像可准确识别出目标区域中 的手部信息。

另外，还可以通过结构光模组，TOF，双目摄像头，等方案来获取三维图 像的深度信息。

如图8所示，移动终端的目标区域在垂直方向和水平方向均具有一定的识 别范围，假设目标区域为矩形区域，目标区域尺寸为m×n×o，当移动终端的 结构光模组识别到用户的手部放置于目标区域范围内时，移动终端通过识别出 手部，进一步确定指尖位置，一个指尖位置对应于电视屏幕上一个唯一的控制 位置，电视屏幕在该控制位置显示出一个位置指示图标。当用户移动手指时， 指尖在目标区域中的移动轨迹会映射成为电视屏幕上位置指示图标的移动轨迹。 当用户需要选择电视中的一个节目内容时，用户移动手指，便可使位置指示图 标移动到该节目选项处，停留一段时间(该时间为确定时间，例如，确定时间 设置为2秒)后，电视屏幕在显示界面中央出现一个计时标志，计时时间到系 统则判定用户选择该节目内容，电视屏幕立刻显示该节目内容。

在一些实施例中，该方法具体可以包括以下：

步骤81：移动终端与电子设备建立无线连接；

步骤82：移动终端从目标区域的图像中识别出用户的至少一个指尖位置；

步骤83：移动终端基于目标区域与电子设备显示区域的坐标映射关系，确 定至少一个指尖位置在电子设备显示区域中对应的至少一个控制位置；

步骤84：移动终端发送至少一个控制位置给电子设备；

步骤85：电子设备控制显示区域在至少一个控制位置处显示位置指示图标。

步骤86：电子设备接收移动终端发送的确认指令，并基于确认指令和至少 一个控制位置执行控制操作。

实际应用中，移动终端与电子设备可以通过蓝牙、ZigBee、无线局域网 (WirelessLocal Area Networks，WLAN)、蜂窝移动网络等进行无线连接。

在一些实施例中，该方法具体包括：

步骤91：移动终端从目标区域的图像中识别出用户的手部姿态；

步骤92：移动终端预先设置至少一种手部姿态与控制指令的对应关系，确 定手部姿态对应的控制指令；

步骤93：移动终端发送控制指令至电子设备。

步骤94：电子设备基于控制指令执行控制操作。

如图9所示，当移动终端的结构光模组识别到用户的手部放置于该目标区 域范围内时，识别出当前手势为五指张开，假设预先设置五指张开对应返回主 界面功能，则当移动终端检测到当前手势为五指张开时，控制电视屏幕跳转到 主界面。接着可以通过其他手势控制选择不同的控制选项，这里，控制选项有： 直播、推荐、动画、电影、电视剧和播放历史。

还可以通过手势控制和指尖位置的配合来控制电视，例如，在电视屏幕跳 转到主界面后，通过手指指尖的移动控制位置指示图标移动至动画选项处，继 而进入动画显示界面。

采用上述技术方案，移动终端通过识别三维图像中用户的手部信息(包括 指尖位置)，将用户指尖在目标区域中的移动映射到在电子设备显示区域中的移 动，从而基于显示区域中映射出的控制位置，选择显示区域内的控制选项，以 实现对电子设备的控制。如此，在不增加电子设备硬件配置的基础上，通过移 动终端便可实现对电子设备的手势控制，增加电子设备的控制多样性。

实施例四

基于与本申请第一种控制方法同一发明构思，本申请实施例还提供了一种 移动终端，如图10所示，该移动终端100包括：

图像识别单元1001，用于从目标区域的图像中识别出用户的手部信息；所 述手部信息至少包括：至少一个指尖位置；

第一处理单元1002，用于基于所述目标区域与电子设备显示区域的坐标映 射关系，确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控 制位置；

第一收发单元1003，用于发送所述至少一个控制位置至所述电子设备，以 使所述电子设备基于所述至少一个控制位置执行控制操作。

实际应用中，图像识别单元1001还用于获取目标区域的图像。这里，目标 区域的图像可以为二维图像或三维图像，图像识别单元1001获取目标区域的图 像之后再对图像中用户的手部信息进行识别。

分别来说，当目标区域的图像为二维图像时，图像识别单元1001利用摄像 头获取二维图像。当目标区域的图像为三维图像时，图像识别单元1001利用结 构光模组、TOF、双目摄像头等至少一种来获取三维图像的深度信息。

进一步地，基于目标区域与电子设备显示区域的坐标映射关系，将用户手 部在目标区域中的位置映射到电子设备显示区域中。示例性的，坐标映射关系 也可以为二维坐标映射关系或者三维坐标映射关系。

在一些实施例中，所述坐标映射关系为二维坐标映射关系；所述第一处理 单元1002，具体用于确定所述至少一个指尖位置的二维坐标对应的至少一个控 制位置的二维坐标；或者，所述第一处理单元1002，具体用于将所述至少一个 指尖位置的三维坐标映射到二维坐标系中，得到所述至少一个指尖位置的二维 坐标；确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维 坐标。

在一些实施例中，所述坐标映射关系为三维坐标映射关系；所述第一处理 单元1002，具体用于确定所述指尖位置的三维坐标对应的控制位置的三维坐标。

在一些实施例中，所述第一收发单元1003，还用于发送确认指令至所述电 子设备，以使所述电子设备基于所述确认指令和所述至少一个控制位置执行控 制操作。

在一些实施例中，所述第一处理单元1002，还用于基于所述至少一个指尖 位置确定用户的手部姿态；相应的，所述第一收发单元，还用于发送所述手部 姿态至所述电子设备，以使所述电子设备基于所述手部姿态对应的控制指令执 行控制操作；或者，所述第一处理单元，还用于基于所述手部姿态对应的控制 指令，对所述电子设备执行控制操作。

基于与本申请第二种控制方法同一发明构思，本申请实施例还提供了一种 电子设备，如图11所示，所述电子设备110包括：

第二收发单元1101，用于接收移动终端发送的至少一个控制位置；其中， 所述控制位置为所述移动终端基于目标区域与电子设备显示区域的坐标映射关 系确定在所述目标区域的图像中用户的指尖位置在所述显示区域中对应的位置；

第二处理单元1102，用于所述至少一个控制位置执行控制操作。

在一些实施例中，所述第二处理单元1102，还用于控制所述显示区域在所 述至少一个控制位置处显示位置指示图标。

在一些实施例中，所述第二处理单元1102，具体用于所述位置指示图标在 第一显示区域内停留时间超过时长阈值时，基于所述至少一个控制位置执行控 制操作；其中，所述第一显示区域为所述电子设备显示区域的部分显示区域。

在一些实施例中，所述第二收发单元1101，还用于接收所述移动终端发送 的手部姿态；相应的，所述第二处理单元1102，还用于基于所述手部姿态对应 的控制指令执行控制操作。

实施例五

基于与本申请第一种控制方法同一发明构思，本申请实施例还提供了另一 种移动终端，如图12所示，该移动终端120包括：第一处理器1201和配置为 存储能够在处理器上运行的计算机程序的第一存储器1202。

其中，所述第一处理器1201配置为运行所述计算机程序时，执行前述实施 例一中的方法的步骤。

当然，实际应用时，如图12所示，该移动终端中的各个组件通过第一总线 系统1203耦合在一起。可理解，第一总线系统1203用于实现这些组件之间的 连接通信。第一总线系统1203除包括数据总线之外，还包括电源总线、控制总 线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为第一 总线系统1203。

基于与本申请第二种控制方法同一发明构思，本申请实施例还提供了另一 种电子设备，如图13所示，该电子设备130包括：第二处理器1301和配置为 存储能够在处理器上运行的计算机程序的第二存储器1302，

其中，所述第二处理器1301配置为运行所述计算机程序时，执行前述实施 例二中的方法的步骤。

当然，实际应用时，如图13所示，该移动终端中的各个组件通过第二总线 系统1303耦合在一起。可理解，第二总线系统1303用于实现这些组件之间的 连接通信。第二总线系统1303除包括数据总线之外，还包括电源总线、控制总 线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为第二 总线系统1303。

在实际应用中，上述第一处理器或第二处理器可以为特定用途集成电路 (ASIC，Application Specific Integrated Circuit)、数字信号处理装置(DSPD， DigitalSignal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制 器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于 实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

上述第一存储器或第二存储器可以是易失性存储器(volatile memory)，例 如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器 (non-volatilememory)，例如只读存储器(ROM，Read-Only Memory)，快闪 存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD， Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。

在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例 如包括计算机程序的第一存储器1202，上述计算机程序可由移动终端的第一处 理器1201执行，以完成前述方法步骤。

在示例性实施例中，本申请实施例还提供了另一种计算机可读存储介质， 例如包括计算机程序的第二存储器1302，上述计算机程序可由移动终端的第二 处理器1301执行，以完成前述方法步骤。

本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备， 可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方 式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可 以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直 接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接， 可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为 单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可 以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来 实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单 元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集 成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬 件加软件功能单元的形式实现。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 变化或替换，都应涵盖在本申请的保护范围之内。

Claims (24)

1.一种控制方法，应用于移动终端，其特征在于，所述方法包括：

从目标区域的图像中识别出用户的手部信息；所述手部信息至少包括：至少一个指尖位置；

基于所述目标区域与电子设备显示区域的坐标映射关系，确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位置；

发送所述至少一个控制位置至所述电子设备，以使所述电子设备基于所述至少一个控制位置执行控制操作。

2.根据权利要求1所述的方法，其特征在于，所述坐标映射关系为二维坐标映射关系；

所述确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位置，包括：

确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标；

或者，将所述至少一个指尖位置的三维坐标映射到二维坐标系中，得到所述至少一个指尖位置的二维坐标；确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标。

3.根据权利要求1所述的方法，其特征在于，所述坐标映射关系为三维坐标映射关系；所述确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位置，包括：

确定所述至少一个指尖位置的三维坐标对应的至少一个控制位置的三维坐标。

4.根据权利要求1所述的方法，其特征在于，在发送所述至少一个控制位置至所述电子设备之后，所述方法还包括：

发送确认指令至所述电子设备，以使所述电子设备基于所述确认指令和所述至少一个控制位置执行控制操作。

5.根据权利要求1所述的方法，其特征在于，从目标区域的图像中识别出用户的手部信息之后，所述方法还包括：

基于所述至少一个指尖位置确定用户的手部姿态；

发送所述手部姿态至所述电子设备，以使所述电子设备基于所述手部姿态对应的控制指令执行控制操作；

或者，基于所述手部姿态对应的控制指令，对所述电子设备执行控制操作。

6.一种控制方法，应用于电子设备，其特征在于，所述方法包括：

接收移动终端发送的至少一个控制位置；其中，所述控制位置为所述移动终端基于目标区域与电子设备显示区域的坐标映射关系确定在所述目标区域的图像中用户的指尖位置在所述显示区域中对应的位置；

基于所述至少一个控制位置执行控制操作。

7.根据权利要求6所述的方法，其特征在于，在接收移动终端发送的至少一个控制位置之后，所述方法还包括：

控制所述显示区域在所述至少一个控制位置处显示位置指示图标。

8.根据权利要求7所述的方法，其特征在于，所述基于所述至少一个控制位置执行控制操作，包括：

所述位置指示图标在第一显示区域内停留时间超过时长阈值时，基于所述至少一个控制位置执行控制操作；其中，所述第一显示区域为所述电子设备显示区域的部分显示区域。

9.根据权利要求6所述的方法，其特征在于，所述基于所述至少一个控制位置执行控制操作，包括：

接收到所述移动终端发送的确认指令时，基于所述确认指令和所述至少一个控制位置执行控制操作。

10.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收所述移动终端发送的手部姿态；

基于所述手部姿态对应的控制指令执行控制操作。

11.一种移动终端，其特征在于，所述移动终端包括：

图像识别单元，用于从目标区域的图像中识别出用户的手部信息；所述手部信息至少包括：至少一个指尖位置；

第一处理单元，用于基于所述目标区域与电子设备显示区域的坐标映射关系，确定至少一个指尖位置在所述电子设备显示区域中对应的至少一个控制位置；

第一收发单元，用于发送所述至少一个控制位置至所述电子设备，以使所述电子设备基于所述至少一个控制位置执行控制操作。

12.根据权利要求11所述的移动终端，其特征在于，所述坐标映射关系为二维坐标映射关系；

所述第一处理单元，具体用于确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标；

或者，所述第一处理单元，具体用于将所述至少一个指尖位置的三维坐标映射到二维坐标系中，得到所述至少一个指尖位置的二维坐标；确定所述至少一个指尖位置的二维坐标对应的至少一个控制位置的二维坐标。

13.根据权利要求11所述的移动终端，其特征在于，所述坐标映射关系为三维坐标映射关系；

所述第一处理单元，具体用于确定所述指尖位置的三维坐标对应的控制位置的三维坐标。

14.根据权利要求11所述的移动终端，其特征在于，所述第一收发单元，还用于发送确认指令至所述电子设备，以使所述电子设备基于所述确认指令和所述至少一个控制位置执行控制操作。

15.根据权利要求14所述的移动终端，其特征在于，所述第一处理单元，还用于基于所述至少一个指尖位置确定用户的手部姿态；

所述第一收发单元，还用于发送所述手部姿态至所述电子设备，以使所述电子设备基于所述手部姿态对应的控制指令执行控制操作；

或者，所述第一处理单元，还用于基于所述手部姿态对应的控制指令，对所述电子设备执行控制操作。

16.一种电子设备，其特征在于，所述电子设备包括：

第二收发单元，用于接收移动终端发送的至少一个控制位置；其中，所述控制位置为所述移动终端基于目标区域与电子设备显示区域的坐标映射关系确定在所述目标区域的图像中用户的指尖位置在所述显示区域中对应的位置；

第二处理单元，用于所述至少一个控制位置执行控制操作。

17.根据权利要求16所述的电子设备，其特征在于，所述第二处理单元，还用于控制所述显示区域在所述至少一个控制位置处显示位置指示图标。

18.根据权利要求17所述的电子设备，其特征在于，所述第二处理单元，具体用于所述位置指示图标在第一显示区域内停留时间超过时长阈值时，基于所述至少一个控制位置执行控制操作；其中，所述第一显示区域为所述电子设备显示区域的部分显示区域。

19.根据权利要求16所述的电子设备，其特征在于，所述第二处理单元，具体用于，接收到所述移动终端发送的确认指令时，基于所述确认指令和所述至少一个控制位置执行控制操作。

20.根据权利要求16所述的电子设备，其特征在于，所述第二收发单元，还用于接收所述移动终端发送的手部姿态；

所述第二处理单元，还用于基于所述手部姿态对应的控制指令执行控制操作。

21.一种移动终端，其特征在于，所述移动终端包括：第一处理器和配置为存储能够在处理器上运行的计算机程序的第一存储器，

其中，所述第一处理器配置为运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。

22.一种电子设备，其特征在于，所述电子设备包括：第二处理器和配置为存储能够在处理器上运行的计算机程序的第二存储器，

其中，所述第二处理器配置为运行所述计算机程序时，执行权利要求6至10任一项所述方法的步骤。

23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5任一项所述的方法的步骤。

24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求6-10任一项所述的方法的步骤。