CN112363621B - 一种终端控制方法、装置、电子设备及存储介质 - Google Patents

一种终端控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112363621B
CN112363621B CN202011269909.9A CN202011269909A CN112363621B CN 112363621 B CN112363621 B CN 112363621B CN 202011269909 A CN202011269909 A CN 202011269909A CN 112363621 B CN112363621 B CN 112363621B
Authority
CN
China
Prior art keywords
mapping
area
point
target
abscissa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011269909.9A
Other languages
English (en)
Other versions
CN112363621A (zh
Inventor
王剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011269909.9A priority Critical patent/CN112363621B/zh
Publication of CN112363621A publication Critical patent/CN112363621A/zh
Application granted granted Critical
Publication of CN112363621B publication Critical patent/CN112363621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种终端控制方法、装置、电子设备及存储介质，该方法包括：采集图像并进行目标识别，确定目标中的关键点在控制区域的位置，及所述目标的倾角信息；根据所述位置及控制区域与映射区域间的位置映射关系，确定所述关键点在映射区域对应的第一映射点；将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；根据所述第一映射点与第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。利用本公开提供的方法，在操纵智能终端时，目标可以在任意位置通过小幅度的移动实现对智能终端的全屏控制。

Description

一种终端控制方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能领域，尤其涉及一种终端控制方法、装置、电子设备及存储介质。
背景技术
随着智能终端软硬件的发展，智能终端上可以承载出更多的画面特效以及AI(Artificial Intelligence，人工智能)能力，其中人脸识别是一个重要的技术维度。其中，人脸识别的一种应用是利用通过AI识别人脸信息的特征，如位移、旋转、角度等数据信息，对手机进行业务操控，实现类似个人电脑的鼠标的功能效果。这种操控实际是一种映射关系，将识别到脸部的关键点，映射到屏幕中一个坐标，将这个坐标称映射点。
一种现有技术方案是让操控元素与脸部的某个关键点紧紧跟随。在算法上此种方案的缺点是脸部识别点与映射点位置完全相同，如果想让映射点移动到特定的一些边缘位置，脸部也需要向对应位置做大幅度移动，如对应位置为左上角或右上角时，移动会变得非常困难，该问题在使用前置摄像头时尤其明显。
另一种现有技术方案是建立两个矩形，其中一个矩形M对应人脸的活动区域，另一个矩形N对应人脸映射点的活动区域。这两个矩形区域是基于业务预先规定的，矩形所对应的宽度、高度、位置信息都是已知的。在控制过程中根据脸部识别点在矩形N中的位置，确定其映射的映射点在矩形M中的位置。该方案的优点是可以小幅度移动头部，就可以控制映射点在较大空间中进行移动。可以解决上述需要大幅移动头部的弊端。但是在实际应用中，用户在录制视频时角度特殊，尤其时是在使用智能终端前置摄像头录制时，经常处于仰拍或俯拍状态，导致用户头部舒适的活动区域偏向于边缘，与矩形M有较大偏差，导致不便于操作。
发明内容
本公开提供一种终端控制方法、装置、电子设备及存储介质，可以解决现有技术中存在的用户活动区域偏向于边缘时，不便于操控智能终端的问题。
第一方面，本公开提供一种基于终端控制方法，该方法包括：
采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为控制元素的活动区域；
将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
可选地，还包括如下步骤：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
可选地，所述采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，包括：
根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息；或者
采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
可选地，所述倾角信息包括倾斜方向及倾斜角度，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
可选地，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
可选地，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
可选地，所述根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
可选地，所述确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
第二方面，本公开提供一种终端控制装置，包括：
信息采集单元，用于采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
第一映射单元，用于根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为控制元素的活动区域；
第二映射单元，用于将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
操控单元，用于根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
可选地，所述装置还用于：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
可选地，所述信息采集单元采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，包括：
根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息；或者
采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
可选地，所述倾角信息包括倾斜方向及倾斜角度，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
可选地，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
可选地，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
可选地，所述操控单元根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
可选地，所述第一映射单元确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
第三方面，本公开提供一种电子设备，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的程序并执行本公开第一方面提供的任一所述方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开第一方面提供的任一所述方法的步骤。
本公开提供的一种终端控制方法、装置、电子设备及存储介质，具有以下有益效果：
在进行终端控制时，目标可以在任意位置，比如特殊角度或边缘位置，通过小幅度的移动实现对智能终端的全屏控制，一方面降低了对智能终端操控的场景要求，另一方面提升了用户的操纵体验。
附图说明
图1为本公开实施例提供的一种终端控制方法的流程图；
图2为本公开实施例提供的一种区域建立示意图；
图3为本公开实施例提供的一种第一映射点的示意图；
图4为本公开实施例提供的一种倾角系数计算示意图；
图5为本公开实施例提供的一种第二映射点的示意图；
图6为本公开实施例提供的一种终端控制装置示意图；
图7为本公开实施例提供的一种终端控制设备示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下，对本公开实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(2)本公开实施例中术语“映射点”，描述人脸信息与屏幕中的坐标的映射关系，将人脸信息，映射到屏幕中一个坐标，人脸信息改变，映射的坐标也随之改变，在本公开实施例中，将上述坐标称为映射点。
(3)本公开实施例中术语“AI”(Artificial Intelligence，人工智能)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
(4)本公开实施例中术语“智能终端”，指的是具有多媒体功能的终端设备，这些设备可以是可支持拍摄的任何合适的电子设备，包括但不限于计算机、笔记本电脑、智能电话、平板电脑、穿戴设备、或是其它类型的终端。
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
现有技术中有两种实现终端控制的方案：
一种现有技术方案是让操控元素与脸部的某个关键点紧紧跟随。但是上述方案如果想让映射点移动到特定的一些边缘位置，目标也需要向对应位置做大幅度移动，移动会变得非常困难。
另一种现有技术方案是建立两个矩形，其中一个矩形M对应目标的活动区域，另一个矩形N对应目标映射点的活动区域。在控制过程中根据脸部识别点在矩形N中的位置，确定其映射的映射点在矩形M中的位置。该方案的优点是可以小幅度移动头部，就可以控制映射点在较大空间中进行移动。可以解决上述需要大幅移动头部的弊端。但是在实际应用中，用户在录制视频时角度特殊，尤其时是在使用智能终端前置摄像头录制时，经常处于仰拍或俯拍状态，导致用户头部舒适的活动区域偏向于边缘，与矩形M有较大偏差，导致不便于操作。
基于上述问题，本公开实施例提供一种终端控制方法、装置、电子设备及存储介质，上述终端控制方法可以应用在任意具有拍摄功能的合适的智能终端，目标触发操控请求后，智能终端将接受目标的操控。下面给出本公开实施例提供的一种终端控制方法、装置、电子设备及存储介质的实施方式。
实施例1
如图1所示，为本公开实施例提供的一种终端控制方法的流程图，主要包括如下步骤：
步骤S101，采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
上述目标可以是任意有位置或姿态数据的信息输入源，比如人脸信息，手部信息等，特别的，在本公开实施例中，将使用人脸信息进行具体的说明，本举例仅是为了便于理解，并不对本公开的方案进行任何限制。
上述采集图像并进行目标识别可以通过相机输入与人脸识别的方式，得到人脸在显示屏上的控制区域的位置。上述目标中的关键点可以是目标中的任意一点，通常是基于业务来进行选择，比较常用的选择是鼻头，下巴等。
预先建立两个区域，其中一个控制区域用作人脸的活动区域，另一个是映射区域用作映射点的活动区域。这两个区域是基于业务人为规定的，他们的形状、大小、位置信息都是已知的。
需要说明的是，上述控制区域为人脸的活动区域，是显示屏上的指定的一部分区域，例如可以是显示屏的右下角区域、显示屏的左上角区域等；上述映射区域为映射点的活动区域，可以为显示屏的全部区域。上述控制区域相对于上述映射区域来说较小，存在被上述映射区域全部包含或部分包含的位置关系。
作为一种可选地实施方式，如图2所示，为本公开实施例提供的一种区域建立示意图，将上述控制区域规定为矩形M，将上述映射区域规定为矩形N，将上述目标中的关键点规定为人脸的鼻头位置，即R点。上述控制区域可以有较多变体，并不局限于矩形，整体思路都是结合当前目标的位置进行适当的位置转换。
上述确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息，并不局限于同时获得，上述步骤S101仅是表示上述目标中的关键点的位置信息与倾角信息的获取的状态，可以通过不同的方式、手段及先后顺序获取上述信息。需要说明的是，上述倾角信息包括倾斜方向及倾斜角度，可以建立坐标轴，通过检测水平方向的倾角信息和垂直方向的倾角信息，表征上述倾角信息。
上述目标相对于所述显示屏的倾角信息包括在水平坐标轴左右方向的倾角、在垂直坐标轴上下方向的倾角两个维度，且所述水平坐标轴左右方向的倾角/垂直坐标轴上下方向的倾角，分别被处理为映射水平坐标轴左右方向的倾角对应的系数α，及垂直坐标轴上下方向的倾角对应的系数β。
具体处理时，可以将不同方向的最大倾斜角度范围量化为一个数值范围，以数值的大小表示倾斜的角度，数值的绝对值越大，倾斜角度越大，数值的绝对值越小，倾斜角度越小；以正值数值表示水平方向的左、垂直方向的上，以负值数值表示水平方向的右、垂直方向的下。确定倾角后，根据倾斜角度，确定量化的具体数值，根据倾斜方向确定系数的正负。
步骤S102，根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为控制元素的活动区域；
作为一种可选的实施方式，所述确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
需要说明的是，上述方法的原理为上述关键点在上述映射区域的相对位置与第一映射点在映射区域的相对位置相同，基于上述原理，可以实现所述关键点在所述映射区域对应的第一映射点的确定。
另外，上述确定方式可以进行适当的变形，例如，所述第一比值可以变形为所述关键点到所述控制区域一侧边界的距离与所述控制区域在水平坐标轴方向上的边界距离的比值，相应的上述第三比值可以变形为所述第一映射点到所述映射区域以侧边界的距离与所述映射区域在水平坐标轴方向上的边界距离的比值。
具体的，如图3所示，为本公开实施例提供的一种第一映射点的示意图。
实施方式1：根据所述关键点到所述控制区域两侧边界的距离的比值确定第一映射点。
在上述图3中，将关键点R在控制区域，即矩形M中的相对位置标示为两个比值：
水平坐标轴方向上比值为：AR/RB；
垂直坐标轴方向上比值为：CR/RD；
第一映射点Q需要满足在映射区域，即矩形N中，其在水平坐标轴与垂直坐标轴方向上的相对位置，都要与关键点R在控制区域，即矩形M中的相对位置一致。
即得到方程组：EQ/QF＝AR/RB，
GQ/QH＝CR/RD；
上述方程组中，AB、CD、EF、GH为矩形M、矩形N的宽高，均为已知数据。AR、RB、CR、RD可以根据矩形M的位置信息与点R的坐标求得，也属于已知信息。通过计算得到Q点坐标Q(xq，yq)。
需要说明的是，上述公式可以变形为：QF/EQ＝RB/AR，QH/GQ＝RD/CR，在此不再赘述。
实施方式2：根据所述关键点到所述控制区域一侧边界的距离与所述控制区域的边界距离的比值确定第一映射点。
在上述图3中，将关键点R在控制区域，即矩形M中的相对位置标示为两个比值：
水平坐标轴方向上比值为：AR/AB；
垂直坐标轴方向上比值为：CR/CD；
第一映射点Q需要满足在映射区域，即矩形N中，其在水平坐标轴与垂直坐标轴方向上的相对位置，都要与关键点R在控制区域，即矩形M中的相对位置一致。
即得到方程组：EQ/EF＝AR/AB，
GQ/GH＝CR/CD；
上述方程组中，AB、CD、EF、GH为矩形M、矩形N的宽高，均为已知数据。AR、CR可以根据矩形M的位置信息与点R的坐标求得，也属于已知信息。通过计算得到Q点坐标Q(xq，yq)。
需要说明的是，上述公式可以变形为：QF/EF＝RB/AB，QH/GH＝RD/CD，在此不再赘述。
步骤S103，将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
上述倾角信息包括左右倾角和上下倾角，根据上述倾角信息中左右倾角，对该参考点左右进行相应位移，即调整参考点在控制区域的横坐标，根据上述倾角信息中上下倾角，对参考点进行上下进行相应的位移，即调整参考点在控制区域的纵坐标。
步骤S104，根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
具体的，步骤S101～步骤S104实现了在小位移及不便于移动的情况下，通过倾角变化实现更大范围的控制。在具体实施过程中，如果将上述第二映射点的权重设置的较大，上述目标位置可以映射在控制区域的外部，也就是说操控元素的目标位置可能映射到映射区域的外部。
操控元素的目标位置M点的位置超出映射区域可能有多种场景，比如场景1，用户期望将操控元素的目标位置映射到映射区域之外；场景2，用户因为自身运动不便，默认的姿势恰好使操控元素的目标位置映射到映射区域之外，具体的，用户在自拍或录制固定角度的视频。
需要说明的是，若所述操控元素的目标位置超出所述映射区域，确定超出所述映射区域所在的坐标轴方向，将所述控制区域，整体向所述坐标轴方向移动固定值。
作为一种可选的实施方式，还包括如下步骤：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
基于上述情况，提出了一个控制区域运动规则：
当M点超出映射区域，即矩形ABCD时，根据M点的坐标，将超出认定为水平超出(即mx<ex或mx>fx)，或垂直超出(即my<ey或my>hy)时，将矩形EFGH整体移动。
其中，M点的坐标为(mx，my)，矩形ABCD中，A点的坐标为(ex，hy)，B点的坐标为(fx，hy)，C点的坐标为(ex，ey)，D点的坐标为(fx，ey)。
具体的：
当mx<ex，过于靠左，将EFGH整体向左移动，即x坐标减小。
当mx<fx，过于靠右，将EFGH整体向右移动，即x坐标增大。
当my<ey，过于靠下，将EFGH整体向下移动，即y坐标减小。
当my>hy，过于考上，将EFGH整体向上移动，即y坐标增大。
经过这样的调整，即使用户的脸部在一个很不适合的位置，经过短暂时间的控制区域的位移，控制区域会移动用户此时的脸部附近，后续在进行操控时会变得相对容易。
需要说明的是，具体修改数值时，可以设定一个恒定的值，每次修改只修改固定量。保证控制区域整体变化后，进行加权求和确定操控元素的目标位置的坐标M不会有巨大的变化。
需要说明的是，上述步骤S101～步骤S104值针对相机输入图像中的一帧进行处理，而上述规则涉及到图像中的多帧。
作为一种可选的实施方式，上述采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，可以采用如下任一实施方式或者两者结合：
实施方式1：根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息。
如图4所示，为本公开实施例提供的一种倾角系数计算示意图，指定上述目标上指定检测点为鼻尖的C点，指定两侧指定检测点为脸部两侧关键点A、B，设定α为标示目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，设定β为标示目标相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数。目标的倾角信息通过系数α与β的正负值反映目标的倾斜方向，通过系数α与β值的大小反映目标的倾斜程度。
上述α的计算公式为：α＝AC/AB-0.5，同理β也可以通过上述方法的原理求得。
上述α的范围为[-0.5，0.5]。α＝-a表示目标向左倾斜到最大程度，α＝0表示目标在水平方面正面屏幕，α＝a表示目标向右倾斜到最大程度；同样的，β＝-a表示目标向下倾斜到最大程度，β＝0表示目标在上下方向正面屏幕，β＝a表示目标向上倾斜到最大程度。图4中的效果是微微头部左倾，在上下方向上没有倾斜，对应的α系数是-0.1左右，对应的β系数为0。
需要说明的是，α与β的运算方式与取值范围不是固定的，只要可以表示出倾角信息即可，不同的值域结果后续会对应的适合的处理系数，得到的效果是一样的。
实施方式2：采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
所述目标倾角识别模型为以训练样本中目标图像为输入，以输出所述目标相对于所述显示屏的倾角信息为目标进行网络模型训练得到的。
具体的，上述目标倾角识别模型可以通过采用AI训练，基于二维图像得到三维结构，进而得到对应的倾角信息，将上述倾角信息转化为反映倾斜方向和倾斜角度的系数并输出。也可以采用其他技术手段。
通过上述实施方式，实现了包括倾斜方向及倾斜角度的倾角信息的获取，并将上述倾角信息映射为系数。
需要说明的是，上述两种实施方式只是对获得倾角信息的方式的举例说明，获得倾角信息的方式还有很多，可以采用任意一种方式获得倾斜的方向及角度，并将获得的倾斜的方向及角度应用到本公开实施例中。
作为一种可选的实施方式，所述倾角信息包括倾斜方向及倾斜角度，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
需要说明的是，根据上述倾角信息在水平坐标轴方向映射的系数α和在垂直坐标轴方向映射的系数β的正负和绝对值的大小，将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度，得到第二映射点。
如图5所示，为本公开实施例提供的一种第二映射点的示意图，将控制区域中心位置的参考点根据所述倾角信息在所述控制区域进行位移，得到第二映射点。
实施方式1：直接映射的确定方式。
作为一种可选的实施方式，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
预先设定映射区域为矩形ABCD，控制区域为矩形EFGH，cm为控制区域在水平坐标轴方向上的宽度，cn为控制区域在垂直坐标轴方向上的宽度，控制区域左上角顶点为E点，其坐标为E(xe，ye)。
首先根据上述位置映射算法求解出第一映射点Q(xq，yq)。
设第二映射点为基于人脸倾角的映射目标点P，其坐标为P(xp，yp)，则P的求解的具体算法为：
xp＝xe+cm/2+(cm*α)/(2*a)；
yp＝ye+cn/2+(cn*β)/(2*a)；
通过上述公式可以求解第二映射点的坐标，实现通过摆头将映射点移动到映射区域的任一位置，完成了本公开的基本任务，但是存在一定的问题，如果通过摆头将映射点移动到映射区域最边缘需要将头部转动到最大幅度，基于此提出了实施方式2。
实施方式2：使用映射增幅的确定方式。
作为一种可选的实施方式，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
在上述实施方式1的基础上，引入映射增幅，具体的，ix为所述倾角信息在水平坐标轴方向上的映射增幅，iy为所述倾角信息在垂直坐标轴方向上的映射增幅。上述ix与iy的值可以根据具体的应用情景与用户需求自行设定。则上述求解公式可以变为：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*β)；
通过等式计算得到第二映射点P的坐标。
当ix，iy值较大时，不需要将头部摆动到最大幅度既就可将映射点操控到边缘区域，实现了在任意位置通过小幅度的移动实现对智能终端的全屏控制。
作为一种可选的实施方式，所述根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
需要说明的是，上述权重wx、wy属于业务常量，其值可以根据具体的应用情景与用户需求自行设定。通过上述公式，可以根据不同权重比例的目标坐标和倾角信息，确定操控元素的目标位置。
需要说明的是，当wx，wy趋向于1时，操控元素的目标位置趋向于只受第二映射点，即倾角信息，wx，wy趋向于0时，操控元素的目标位置趋向于纯第一映射点，即目标坐标控制。
作为一种可选的实施方式，所述wx与wy的值均为1。采用该方式时，上述操控元素的目标位置的确定可以只受第二映射点，即倾角信息，不结合第一映射点的信息。
上述操控元素的目标位置的确定可以配合其他新逻辑生效，比如，在现有的第一映射点、第二映射点的基础上，增加一个或多个由其他任意方式获得映射点，将上述所有映射点进行加权求和得到操控元素的目标位置。
需要说明的是，上述论述中的矩形范围、各个常量变量的取值范围，坐标系方向等，都可以实际应用中有所变化，不影响整体算法的运算。
实施例2
本公开提供一种终端控制装置，如图6所示，包括：
信息采集单元601，用于采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
第一映射单元602，用于根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为控制元素的活动区域；
第二映射单元603，用于将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
操控单元604，用于根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
可选地，所述装置还用于：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
可选地，所述信息采集单元采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，包括：
根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息；或者
采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
可选地，所述倾角信息包括倾斜方向及倾斜角度，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
可选地，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
可选地，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
可选地，所述操控单元根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
可选地，所述第一映射单元确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
本公开提供一种终端控制电子设备700，包括存储器701和处理器702，如图7所示，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的程序并执行上述任一方法的步骤。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的基于目标信息操控智能终端的方法的步骤。
在示例性实施例中，还提供了一种包括指令的非易失性存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项信息推荐方法或任意一项信息推荐方法任一可能涉及的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (19)

1.一种终端控制方法，其特征在于，包括：
采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为操控元素的活动区域；
将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
2.根据权利要求1所述的方法，其特征在于，还包括如下步骤：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
3.根据权利要求1所述的方法，其特征在于，所述采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，包括：
根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息；或者
采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
4.根据权利要求1所述的方法，其特征在于，所述倾角信息包括倾斜方向及倾斜角度，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
5.根据权利要求1～4任一所述的方法，其特征在于，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
6.根据权利要求1～4任一所述的方法，其特征在于，所述将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
8.根据权利要求1所述的方法，其特征在于，所述确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
9.一种终端控制装置，其特征在于，包括：
信息采集单元，用于采集图像并进行目标识别，确定目标中的关键点在显示屏上的控制区域的位置，及所述目标相对于所述显示屏的倾角信息；
第一映射单元，用于根据所述位置，及所述控制区域与所述显示屏上的映射区域间的位置映射关系，确定所述关键点在所述映射区域对应的第一映射点，所述映射区域为操控元素的活动区域；
第二映射单元，用于将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标；
操控单元，用于根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到所述操控元素的目标位置，并控制所述操控元素移动到所述目标位置。
10.根据权利要求9所述的装置，其特征在于，还用于：
当所述目标位置的横坐标小于所述映射区域的最小横坐标时，将所述控制区域向横坐标值变小的方向移动，直至所述目标位置的横坐标不小于所述映射区域的最小横坐标；
当所述目标位置的横坐标大于所述映射区域的最大横坐标时，将所述控制区域向横坐标值变大的方向移动，直至所述目标位置的横坐标不大于所述映射区域的最大横坐标；
当所述目标位置的纵坐标小于所述映射区域的最小纵坐标时，将所述控制区域向纵坐标值变小的方向移动，直至所述目标位置的纵坐标不小于所述映射区域的最小纵坐标；
当所述目标位置的纵坐标大于所述映射区域的最大纵坐标时，将所述控制区域向纵坐标值变大的方向移动，直至所述目标位置的纵坐标不大于所述映射区域的最大纵坐标。
11.根据权利要求9所述的装置，其特征在于，所述信息采集单元采集图像并进行目标识别，确定所述目标相对于所述显示屏的倾角信息，包括：
根据所述目标上指定检测点与其两侧指定检测点的距离比例，确定所述目标相对于所述显示屏的倾角信息；或者
采用目标倾角识别模型，根据所述目标的二维图像得到所述目标的三维结构，根据所述目标的三维结构得到所述目标相对于所述显示屏的倾角信息。
12.根据权利要求9所述的装置，其特征在于，所述倾角信息包括倾斜方向及倾斜角度，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，包括：
将所述控制区域中心位置的参考点，朝向所述倾斜方向位移所述倾斜角度所对应的幅度。
13.根据权利要求9～12任一所述的装置，其特征在于，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
计算xp＝xe+cm/2+(cm*α)/(2*a)；
计算yp＝ye+cn/2+(cn*β)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为所述目标相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为所述α和所述β的取值阈值的绝对值。
14.根据权利要求9～12任一所述的装置，其特征在于，所述第二映射单元将所述控制区域中心位置的参考点，根据所述倾角信息在所述控制区域进行位移，得到第二映射点，并确定所述第二映射点在所述映射区域的坐标，包括：
xp＝xe+cm/2+(cm*α*ix)/(2*a)；
yp＝ye+cn/2+(cn*β*iy)/(2*a)；
其中，xp为所述第二映射点在所述映射区域的横坐标，yp为所述第二映射点在所述映射区域的纵坐标，xe为所述控制区域左上角顶点的横坐标，ye为所述控制区域左上角顶点的纵坐标，cm为所述控制区域的宽度，cn为所述控制区域的高度，α为相对于所述显示屏的倾角信息在水平坐标轴方向映射的系数，β为相对于所述显示屏的倾角信息在垂直坐标轴方向映射的系数，a为倾角信息的最大倾斜角度所映射的系数，ix为所述倾角信息在水平坐标轴方向上的映射增幅，所述iy为所述倾角信息在垂直坐标轴方向上的映射增幅。
15.根据权利要求9所述的装置，其特征在于，所述操控单元根据所述第一映射点与所述第二映射点在所述映射区域的坐标及相应的权重，得到操控元素的目标位置，包括：
mx＝xp*wx+xq*(1-wx)；
my＝yp*wy+yq*(1-wy)；
其中mx为所述目标位置在所述映射区域的横坐标，my为所述目标位置在所述映射区域的纵坐标，xp为所述第二映射点在所述映射区域的横坐标，yp为第二映射点在所述映射区域的纵坐标，xq为所述第一映射点在所述映射区域的横坐标，yq为所述第一映射点在所述映射区域的纵坐标，wx为所述第二映射点在水平坐标轴方向上的权重,wy为所述第二映射点在垂直坐标轴方向上的权重,1-wx为所述第一映射点在水平坐标轴方向上的权重，1-wy为所述第一映射点在垂直坐标轴方向上的权重。
16.根据权利要求9所述的装置，其特征在于，所述第一映射单元确定所述关键点在所述映射区域对应的第一映射点，包括：
在水平坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离的第一比值；
在垂直坐标轴方向上，确定所述关键点到所述控制区域两侧边界的距离第二比值；
根据第三比值与所述第一比值相等且第四比值与所述第二比值相等的关系，确定所述第一映射点的坐标，其中，所述第三比值为在水平坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值，所述第四比值为在垂直坐标轴方向上，所述第一映射点到所述映射区域两侧边界的距离的比值。
17.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的程序并执行权利要求1～8任一所述的终端控制方法。
18.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一所述方法的步骤。
19.一种计算机程序产品，包括存储在存储介质上的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的终端控制方法。
CN202011269909.9A 2020-11-13 2020-11-13 一种终端控制方法、装置、电子设备及存储介质 Active CN112363621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011269909.9A CN112363621B (zh) 2020-11-13 2020-11-13 一种终端控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011269909.9A CN112363621B (zh) 2020-11-13 2020-11-13 一种终端控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112363621A CN112363621A (zh) 2021-02-12
CN112363621B true CN112363621B (zh) 2024-05-14

Family

ID=74514852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011269909.9A Active CN112363621B (zh) 2020-11-13 2020-11-13 一种终端控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112363621B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760750B (zh) * 2022-11-15 2023-11-21 北京的卢铭视科技有限公司 Doe质量检测方法、系统、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868811A (zh) * 2012-09-04 2013-01-09 青岛大学 一种基于实时视频处理的手机屏幕操控方法
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN105117056A (zh) * 2015-08-17 2015-12-02 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
CN107493495A (zh) * 2017-08-14 2017-12-19 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN109934168A (zh) * 2019-03-13 2019-06-25 北京达佳互联信息技术有限公司 人脸图像映射方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295287B (zh) * 2015-06-10 2019-04-09 阿里巴巴集团控股有限公司 活体检测方法和装置以及身份认证方法和装置
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868811A (zh) * 2012-09-04 2013-01-09 青岛大学 一种基于实时视频处理的手机屏幕操控方法
CN103336580A (zh) * 2013-07-16 2013-10-02 卫荣杰 一种头戴装置的光标控制方法
CN105117056A (zh) * 2015-08-17 2015-12-02 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
CN107493495A (zh) * 2017-08-14 2017-12-19 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN109934168A (zh) * 2019-03-13 2019-06-25 北京达佳互联信息技术有限公司 人脸图像映射方法及装置

Also Published As

Publication number Publication date
CN112363621A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112256127B (zh) 球形视频编辑
US11636644B2 (en) Output of virtual content
CN105981368B (zh) 在成像装置中的照片构图和位置引导
CN109308469B (zh) 用于生成信息的方法和装置
US8330793B2 (en) Video conference
US10969949B2 (en) Information display device, information display method and information display program
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
KR20170098089A (ko) 전자 장치 및 그의 동작 방법
CN108269280A (zh) 一种深度图像的处理方法及移动终端
JP6610535B2 (ja) 画像処理装置および画像処理方法
US20220360707A1 (en) Photographing method, photographing device, storage medium and electronic device
WO2020259412A1 (zh) 展示资源的方法、装置、设备及存储介质
WO2018014517A1 (zh) 一种信息处理方法、装置及存储介质
US11449968B2 (en) System and method for synthetic depth-of-field effect rendering for videos
US20210250510A1 (en) Click-and-lock zoom camera user interface
CN106919246A (zh) 一种应用界面的显示方法和装置
CN112363621B (zh) 一种终端控制方法、装置、电子设备及存储介质
CN114449162A (zh) 一种播放全景视频的方法、装置、计算机设备及存储介质
CN110069125A (zh) 虚拟对象的控制方法和装置
KR20180111242A (ko) 채색 가능한 콘텐트를 제공하는 전자 장치 및 그 방법
CN110941327A (zh) 虚拟对象的显示方法和装置
US20160093109A1 (en) Image processing device, image processing method, and program
CN116188668B (zh) 一种基于ios平台的阴影渲染的方法、介质及电子设备
CN110941974B (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant