CN112639689A - 基于隔空手势的控制方法、装置及系统 - Google Patents

基于隔空手势的控制方法、装置及系统 Download PDF

Info

Publication number
CN112639689A
CN112639689A CN202080004890.7A CN202080004890A CN112639689A CN 112639689 A CN112639689 A CN 112639689A CN 202080004890 A CN202080004890 A CN 202080004890A CN 112639689 A CN112639689 A CN 112639689A
Authority
CN
China
Prior art keywords
gesture
air
distance
camera
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004890.7A
Other languages
English (en)
Inventor
张晔峰
韩振华
黄为
马瑞
施嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112639689A publication Critical patent/CN112639689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Abstract

本申请实施例提供一种基于隔空手势的控制方法、装置及系统，涉及自动驾驶技术领域。当用户在摄像头的拍摄范围内做出隔空手势后，摄像头采集该隔空手势。终端设备识别出该隔空手势对应的目标功能后，根据该隔空手势在拍摄范围内的保持时长、移动距离等持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单。另外，对于智能座舱副驾驶或后排用户而言，通过远程隔空手势输入即可准确调节目标功能，无需起身通过触摸等方式调节目标功能，极大程度提升了方便性与用户体验。

Description

基于隔空手势的控制方法、装置及系统
技术领域
本申请涉及自动驾驶(automated driving)技术领域，尤其涉及一种基于隔空手势的控制方法、装置及系统。
背景技术
目前，随着终端设备的智能化发展，用户与手机、平板电脑、车载终端等终端设备的交互方式也越来越多，隔空手势就是近年来兴起的一种交互形式。
常见的隔空手势操作过程中，预先设置隔空手势与功能的对应关系。之后，用户在终端设备的感知范围内做出隔空手势，则终端设备识别该隔空手势，然后确定出该隔空手势对应的功能并调节。例如，预先设置握拳对应的功能是截屏，则终端设备识别到用户握拳的隔空手势后，自动截屏。
上述基于隔空手势控制终端设备的过程中，隔空手势对应的功能比较单一。然而，随着终端设备上应用的种类和数量越来越多，需要利用隔空手势控制的功能也越来越多。显然，如何利用隔空手势控制终端设备，实为需要解决的问题。
发明内容
本申请实施例提供一种基于隔空手势的控制方法、装置及系统，通过持续监测用户做出的隔空手势的移动距离或保持时长，并根据移动距离或保持时长持续调节该隔空手势对应的功能，从而实现对终端设备的控制。
第一方面，本申请实施例提供一种基于隔空手势的控制方法，该方法可以由终端设备执行、也可以由终端设备中的芯片执行，下面以应用于终端设备为例对该方法进行描述，该方法包括：当用户在摄像头的拍摄范围内做出隔空手势后，摄像头采集该隔空手势。终端设备识别出该隔空手势对应的目标功能后，根据该隔空手势在拍摄范围内移动的第一距离等持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单；同时，减少用户调节目标功能时注视屏幕的时长，提高驾驶安全性。另外，对于智能座舱副驾驶或后排用户而言，通过远程隔空手势输入即可准确调节目标功能，无需起身通过触摸等方式调节目标功能，极大程度提升了方便性与用户体验。
一种可行的设计中，上述的第一距离可以至少根据摄像头的焦距、隔空手势与摄像头的光心之间的距离、第二距离确定，其中，第二距离用于指示隔空手势在拍摄范围内移动时，摄像头成像面中的隔空手势移动的距离。采用该种方案，实现准确确定出用户的隔空手势在拍摄范围内移动的第一距离的目的。
一种可行的设计中，为了确定出第一距离，终端设备还确定摄像头的成像面中的隔空手势移动过程中的第一位置和第二位置，根据第一位置和第二位置之间的像素个数以及像素大小，确定第二距离。采用该种方案，实现根据隔空手势在成像面中移动的第二距离，准确确定出用户的隔空手势在拍摄范围内移动的第一距离的目的。
一种可行的设计中，上述的第一距离小于或等于预设距离，该预设距离与用户的手臂的臂长正相关。采用该种方案，实现根据不同用户灵活调整目标功能的目的。
一种可行的设计中，终端设备识别用户的手腕骨骼点和手肘骨骼点，根据手腕骨骼点的三维坐标和手肘骨骼点的三维坐标，确定用户的臂长，根据臂长确定预设距离。采用该种方案，实现根据不同用户灵活调整目标功能的目的。
一种可行的设计中，持续调整过程中，终端设备自识别出隔空手势起，根据单位调节量持续调节隔空手势对应的目标功能，直到隔空手势移动第一距离。其中，单位距离调节量是目标功能的总调整量与预设距离的比值。采用该种方案，实现持续调节目标功能的目的。
一种可行的设计中，持续调整过程中，终端设备根据第一距离与预设距离的比值持续调节隔空手势对应的目标功能。采用该种方案，实现持续调节目标功能的目的。
一种可行的设计中，终端设备在确定第一距离时，将摄像头的焦距、隔空手势与摄像头的光心的距离、第二距离输入至预先训练好的预置模型，利用预置模型确定第一距离。采用该种方案，实现准确确定出用户的隔空手势在拍摄范围内移动的第一距离的目的。
一种可行的设计中，终端设备还获取样本数据集，样本数据集包含多组样本数据，一组样本数据包含样本摄像头的焦距、样本隔空手势与样本摄像头的光心的距离、样本第二距离；利用样本数据集中的多组样本数据训练出预置模型。采用该种方案，实现训练出预置模型的目的。
一种可行的设计中，终端设备识别出隔空手势后，还可以根据该隔空手势在空间移动的角度持续调节隔空手势对应的目标功能，持续调节的调节量与角度正相关。采用该种方案，终端设备能够根据隔空手势移动的角度持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单。
一种可行的设计中，当终端设备识别出隔空手势时，在显示器上显示功能原点，功能原点用于指示终端设备已识别出隔空手势并唤醒隔空手势功能。采用该种方案，实现提醒用户的目的。
一种可行的设计中，不同应用的可持续调节的功能对应相同的隔空手势。采用该种方案，通过对不同应用设置相同的隔空手势，避免隔空手势过多导致用户无法区分隔空手势的问题，减少了用户的学习成本，相似功能采用同一个隔空手势符合人机交互逻辑。
一种可行的设计中，应用不同的可持续调节调节功能对应不同的隔空手势。采用该种方案，通过对同一应用的不同可持续调节功能设置不同的隔空手势，实现方便快捷调整同一个应用的不同可持续调节功能的目的。
一种可行的设计中，上述的目标功能包括下述功能中的任意一个：音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节。采用该种方案，实现终端设备灵活调节任意一个可持续调节的功能的目的。
一种可行的设计中，终端设备识别用户在摄像头的拍摄范围内做出的隔空手势时，利用摄像头持续拍摄拍摄范围，判断最新拍摄到的图像帧中是否包含隔空手势，若最新拍摄到的图像帧中包含隔空手势，则识别出用户在摄像头的拍摄范围内做出的隔空手势。采用该种方案，实现终端设备识别出隔空手势的目的。
第二方面，本申请实施例提供一种基于隔空手势的控制方法，该方法可以应用于终端设备、也可以应用于终端设备中的芯片，下面以应用于终端设备为例对该方法进行描述，该方法包括：当用户在摄像头的拍摄范围内做出隔空手势后，摄像头采集该隔空手势。终端设备识别出该隔空手势对应的目标功能后，根据该隔空手势在拍摄范围内的保持时长等持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单；同时，减少用户调节目标功能时注视屏幕的时长，提高驾驶安全性。另外，对于智能座舱副驾驶或后排用户而言，通过远程隔空手势输入即可准确调节目标功能，无需起身通过触摸等方式调节目标功能，极大程度提升了方便性与用户体验。
一种可行的设计中，上述的保持时长包括第一时长和第二时长，第一时长对应的第一时间段内，隔空手势持续平移，第二时长对应的第二时间段内，隔空手势静止，第一时间段位于第二时间段之前。采用该种方案，实现根据隔空手势在拍摄范围内的保持时长调整目标功能的目的。
一种可行的设计中，终端设备在根据隔空手势在拍摄范围内的保持时长，持续调节隔空手势对应的目标功能时，先确定单位时间调节量；然后，自识别出隔空手势起，根据单位时间内的调节量持续调节隔空手势对应的目标功能，直到隔空手势不再出现在拍摄范围内。采用该种方案，实现根据隔空手势在拍摄范围内的保持时长调整目标功能的目的。
第三方面，本申请实施例提供一种基于隔空手势的控制方法，该方法由车载终端等终端设备上，车载终端设置在车辆上并与车辆上的摄像头、显示器等连接，当用户在车辆的屏幕上做出隔空手势后，摄像头采集该隔空手势，车载终端从摄像头获取到隔手势并识别出该隔空手势对应的目标功能后，根据该隔空手势在摄像头的拍摄范围内移动的距离或保持时长等持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单。其中，摄像头可以是车辆上驾驶员检测系统(driver monitoringsystems，DMS)的摄像头、碰撞缓解系统(collision mitigation system，CMS)等；车载终端可以通过蓝牙、WiFi等连接从摄像头获取隔空手势；屏幕可以是车辆上的中控显示屏(主屏)，还可以是设置于车辆座位后部的屏幕(副屏)、方向盘前方的仪表屏等。
第四方面，本申请实施例提供一种基于隔空手势的控制装置，包括显示单元和处理单元。
当该基于隔空手势的控制装置用于执行上述根据空间持续调整目标功能时，显示单元，用于使能显示器显示应用的用户界面；处理单元，用于获取摄像头采集的隔空手势，根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，所述隔空手势为与显示器之间的距离大于预设阈值的手势，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述第一距离正相关。
一种可行的设计中，所述第一距离至少根据所述摄像头的焦距、所述隔空手势与所述摄像头的光心之间的距离、第二距离确定，所述第二距离用于指示所述隔空手势在所述摄像头的拍摄范围内移动时，所述摄像头成像面中的隔空手势移动的距离。
一种可行的设计中，所述处理单元，在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于确定所述摄像头的成像面中的隔空手势移动过程中的第一位置和第二位置，根据所述第一位置和所述第二位置之间的像素个数以及像素大小，确定所述第二距离。
一种可行的设计中，所述第一距离小于或等于预设距离，所述预设距离与所述用户的手臂的臂长正相关。
一种可行的设计中，所述处理单元在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于识别所述用户的手腕骨骼点和手肘骨骼点，根据所述手腕骨骼点的三维坐标和所述手肘骨骼点的三维坐标，确定所述用户的臂长，根据所述臂长确定所述预设距离。
一种可行的设计中，所述处理单元在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能时，用于确定单位距离调节量，所述单位距离调节量是所述目标功能的总调整量与所述预设距离的比值，自识别出所述隔空手势起，根据所述单位调节量持续调节所述隔空手势对应的目标功能，直到所述隔空手势移动所述第一距离。
一种可行的设计中，所述处理单元在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能时，用于确定所述第一距离与所述预设距离的比值，根据所述比值，确定所述调节量，根据所述调整量，持续调节所述隔空手势对应的目标功能。
一种可行的设计中，所述处理单元在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于将所述摄像头的焦距、所述隔空手势与所述摄像头的光心的距离、所述第二距离输入至预先训练好的预置模型，利用所述预置模型确定所述第一距离。
一种可行的设计中，所述处理单元，还用于获取样本数据集，所述样本数据集包含多组样本数据，一组样本数据包含样本摄像头的焦距、样本隔空手势与样本摄像头的光心的距离、样本第二距离，利用所述样本数据集中的多组样本数据训练出所述预置模型。
当该基于隔空手势的控制装置用于执行上述根据空间持续调整目标功能时，显示单元，用于使能显示器显示应用的用户界面，处理单元，用于识别用户在终端设备摄像头的拍摄范围内做出的隔空手势，所述隔空手势为与显示器之间的距离大于预设阈值的手势，根据所述隔空手势在所述摄像头的拍摄范围内的保持时长，持续调节所述隔空手势对应的目标功能，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述保持时长正相关。
一种可行的设计中，所述保持时长包括第一时长和第二时长，所述第一时长对应的第一时间段内，所述隔空手势持续平移，所述第二时长对应的第二时间段内，所述隔空手势静止，所述第一时间段位于所述第二时间段之前。
一种可行的设计中，所述处理单元，在根据所述隔空手势在所述摄像头的拍摄范围内的保持时长，持续调节所述隔空手势对应的目标功能时，用于确定单位时间调节量；自识别出所述隔空手势起，根据所述单位时间内的调节量持续调节所述隔空手势对应的目标功能，直到所述隔空手势不再出现在所述摄像头的拍摄范围内。
一种可行的设计中，所述显示单元，还用于当终端设备识别出所述隔空手势时，在所述显示器上显示功能原点，所述功能原点用于指示所述终端设备已识别出所述隔空手势并唤醒隔空手势功能。
一种可行的设计中，不同应用的可持续调节的功能对应相同的隔空手势。
一种可行的设计中，同一个应用不同的可持续调节调节功能对应不同的隔空手势。
一种可行的设计中，所述目标功能包括下述功能中的任意一个：音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节。
一种可行的设计中，所述处理单元在识别用户在摄像头的拍摄范围内做出的隔空手势时，用于利用所述摄像头持续拍摄所述摄像头的拍摄范围，判断最新拍摄到的图像帧中是否包含所述隔空手势，若所述最新拍摄到的图像帧中包含所述隔空手势，则识别出所述用户在所述摄像头的拍摄范围内做出的隔空手势。
第五方面，本申请实施例提供一种终端设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述终端设备执行时，使得所述终端设备执行如第一方面中任一实施例所述的方法；或者，使得所述终端设备执行如第二方面中任一实施例所述的方法；或者，使得所述终端设备执行如第三方面中任一实施例所述的方法。
第六方面，本申请实施例还提供了一种计算机存储介质，包括计算机指令，当计算机指令在终端设备上运行时，使得终端设备执行前述任一实现方式所述的方法；或者，使得所述终端设备执行如第二方面中任一实施例所述的方法；或者，使得所述终端设备执行如第三方面中任一实施例所述的方法。
第七方面，本申请实施例还提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如前述任一实现方式所述的方法；或者，使得所述终端设备执行如第二方面中任一实施例所述的方法；或者，使得所述终端设备执行如第二方面中任一实施例所述的方法。
第八方面，本申请实施例提供一种终端设备，包括：逻辑电路和输入接口，其中，所述输入接口用于获取待处理的数据，所述逻辑电路用于对待处理的数据执行如第一方面任一项所述的方法；或者，如上第二方面任一项所述的方法，得到处理后的数据；或者，如上第三方面任一项所述的方法，得到处理后的数据。
一种可行的设计中，该终端设备还包括：输出接口，该输出接口用于输出所述处理后的数据。
第九方面，本申请实施例提供一种自动驾驶系统，包括：
车辆本体，设置在所述车辆本体上的摄像头、显示器以及基于隔空手势的控制装置，所述摄像头、所述显示器分别与所述基于隔空手势的控制装置连接，其中：
所述显示器，用于显示应用的用户界面；
所述摄像头，用于采集用户做出的隔空手势，所述隔空手势为与所述显示器之间的距离大于预设阈值的手势；
所述基于隔空手势的控制装置，用于执行如第一方面中任一实施例所述的方法；或者，所述基于隔空手势的控制装置用于执行如第二方面中任一实施例所述的方法；或者，所述基于隔空手势的控制装置用于执行如第三方面中任一实施例所述的方法。
综上，本申请所提供的基于隔空手势的控制方法、装置及系统，能够通过持续监测用户做出的隔空手势的移动距离或保持时长，并根据移动距离或保持时长持续调节该隔空手势对应的功能，从而实现对终端设备的控制。
附图说明
图1是用于执行本申请实施例提供的基于隔空手势的控制方法的车载终端的功能框图；
图2A是本申请实施例提供的基于隔空手势的控制方法的流程图；
图2B是设置了本申请实施例提供的基于隔空手势的控制装置的汽车座舱的示意图；
图3是本申请实施例提供的基于隔空手势的控制方法中功能原点的示意图；
图4A是本申请实施例提供的基于隔空手势的控制方法的一个过程示意图；
图4B是本申请实施例提供的基于隔空手势的控制方法的另一个过程示意图；
图5是本申请实施例提供的基于隔空手势的控制方法中显示屏和隔空手势的示意图；
图6是本申请实施例提供的基于隔空手势的控制方法中显示屏和隔空手势示意图；
图7是本申请实施例提供的基于隔空手势的控制方法的流程图；
图8是本申请实施例提供的基于隔空手势的控制方法中隔空手势的示意图；
图9是本申请实施例提供的基于隔空手势的控制方法中设置可持续调节方式的过程示意图；
图10是本申请实施例提供的基于隔空手势的控制方法中确定第一距离的过程示意图；
图11是本申请实施例提供的基于隔空手势的控制方法中确定F的过程示意图；
图12是本申请实施例提供的基于隔空手势的控制方法中确定第二距离的过程示意图；
图13是本申请实施例提供的基于隔空手势的控制方法中调节目标功能的过程示意图；
图14是本申请实施例提供的基于隔空手势的控制方法中检测臂长的过程示意图；
图15是本申请实施例提供的基于隔空手势的控制方法中调节目标功能的过程示意图；
图16是本申请实施例提供的基于隔空手势的控制方法中检测隔空手势的过程示意图；
图17是本申请实施例提供的一种基于隔空手势的控制装置的结构示意图；
图18为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
目前，随着车辆技术的突飞猛进，车辆越来越普遍，车辆已经成为了人们日常生活中的重要交通工具之一。同时，随着车载终端屏幕的增加，用户对汽车的功能使用不仅仅局限于驾驶。未来汽车的智能座舱中，人机智能交互是很重要的基本功能。人机交互中，隔空手势交互是近年来兴起的一种交互形式。
相较于手持移动终端，汽车领域中，车载终端固定位于汽车的中控台，车载终端的屏幕也可以称之为中控屏。汽车上的摄像头、仪表显示屏以及车辆座位后部的屏幕等与车载终端并未集成在一起。随着车机娱乐等的增多，这就要求除了支持驾驶员操控车载终端外，副驾驶上的乘客也能够通过中控显示屏操作车载终端，甚至后排乘客也可以通过副屏来操作车载终端上的目标功能。其中，副屏指设置在前排椅背上且面对后排乘客的屏幕。由于汽车上摄像头的位置比较灵活，如有的车辆上摄像头位于车辆中控显示屏的上方，有的车辆上摄像头位于车辆中控屏的左侧，DMS或CMS的摄像头的位置甚至和终端设备无关等；而且，不同用户如驾驶员、副驾驶上的乘客或后排乘客的位置不同，这就增加了利用隔空手势控制车载终端的目标功能的难度。显然，如何利用隔空手势进行持续性调节以控制终端设备，视为急待解决的问题。
有鉴于此，本申请实施例提供一种基于隔空手势的控制方法、装置及系统，利用隔空手势的保持时长、移动距离等持续调节该隔空手势对应的功能，使得该功能渐变，从而实现对终端设备的控制。
本申请实施例所述的基于隔空手势的控制方法可应用于智慧屏、车载终端等终端设备，用户可以在较大范围与该些终端设备进行人机交互。
图1是用于执行本申请实施例提供的基于隔空手势的控制方法的车载终端的功能框图。请参照图1，车载终端100可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地，车载终端100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，车载终端100的每个子系统和元件可以通过有线或者无线互连。
行进系统102可包括为安装了车载终端100的车辆提供动力运动的组件。在一个实施例中，行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。
能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车载终端100的其他系统提供能量。
传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
传感器系统104可包括感测关于车辆周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及摄像头130。传感器系统104还可包括被监视车辆的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。
定位系统122可用于估计车辆的地理位置。IMU124用于基于惯性加速度来感测车辆的位置和朝向变化。在一个实施例中，IMU124可以是加速度计和陀螺仪的组合。
雷达126可利用无线电信号来感测车辆的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达126还可用于感测物体的速度和/或前进方向。
激光测距仪128可利用激光来感测车辆所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
摄像头130可用于捕捉用户在该摄像头拍摄范围内做出的隔空手势，摄像头130可以是单目摄像头、双目摄像头、飞行时间(Time of flight，TOF)摄像头、DMS的摄像头或CMS的摄像头等。
控制系统106为控制车辆及其组件的操作。控制系统106可包括各种元件，其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物避免系统144。
转向系统132可操作来调整车辆的前进方向。例如在一个实施例中可以为方向盘系统。
油门134用于控制引擎118的操作速度并进而控制车辆的速度。
制动单元136用于控制车辆减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆的速度。
计算机视觉系统140可以操作来处理和分析由摄像头130捕捉的图像以便识别车辆周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(structure from motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
路线控制系统142用于确定车辆的行驶路线。在一些实施例中，路线控制系统142可结合来自传感器138、全球定位系统(global positioning system，GPS)122和一个或多个预定地图的数据以为车辆确定行驶路线。
障碍物规避系统144用于识别、评估和避开或者以其他方式越过车辆的环境中的潜在障碍物。
当然，在一个实例中，控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车载终端100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、显示屏148、麦克风150和/或扬声器152。
在一些实施例中，外围设备108提供车辆内的用户与用户接口116交互的手段。例如，显示屏148可向车辆内的用户展示信息。用户接口116还可操作车载电脑来接收用户的输入。在其他情况中，外围设备108可提供用于车载终端100与位于车内的其它设备通信的手段。例如，麦克风150可接收车辆内的用户的语音命令或其他音频输入。类似地，扬声器152可向车辆内的用户输出音频。
无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统146可使用3G蜂窝通信，例如码分多址(code division multipleaccess，CDMA)、EVD0、全球移动通信系统(global system for mobile communications，GSM)/通用分组无线服务(general packet radio service，GPRS)，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统146可利用无线保真(wireless-fidelity，WiFi)与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统146可利用红外链路、蓝牙或紫蜂协议(Zig Bee)与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统146可包括一个或多个专用短程通信(dedicated shortrange communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源110可向车辆的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。
车载终端100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113，处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车载终端100的个体组件或子系统的多个计算设备。
处理器113可以是任何常规的处理器，诸如商业可获得的中央处理器(centralprocessing unit，CPU)。替选地，该处理器可以是诸如用于供专门应用的集成电路(application specific integrated circuit，ASIC)或其它基于硬件的处理器的专用设备。本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，数据存储装置114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行车载终端100的各种功能，包括以上描述的那些功能。数据存储装置114也可包含额外的指令，包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外，数据存储装置114还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆在自主、半自主和/或手动模式中操作期间被车载终端100和计算机系统112使用。
用户接口116，用于向车辆内的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、显示屏148、麦克风150和扬声器152。
计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车载终端100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物避免系统144检测到的障碍物。在一些实施例中，计算机系统112可操作来对车载终端100及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车载终端100分开安装或关联。例如，数据存储装置114可以部分或完全地与车载终端100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。
可选地，车载终端100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、数据存储装置114)可以基于所识别的障碍物的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所述识别的障碍物的行为。可选地，每一个所识别的障碍物都依赖于彼此的行为，因此还可以将所识别的所有障碍物全部一起考虑来预测单个识别的障碍物的行为。车载终端100能够基于预测的障碍物的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的障碍物的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么状态。在这个过程中，也可以考虑其它因素来确定车辆的速度，诸如，车辆在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
上述车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本发明实施例不做特别的限定。
下面，以终端设备为上述图1所示车载终端为例，对本申请实施例所述的基于隔空手势的控制方法进行详细说明。示例性的，可参见图2A。
图2A是本申请实施例提供的基于隔空手势的控制方法的流程图。本实施例包括：
201、使能显示器显示应用的用户界面。
示例性的，应用可以是安装在终端设备上的系统应用或第三方应用等。终端设备识别用户点击显示器等输入的操作指令，使能显示器显示应用的用户界面。
202、获取摄像头采集的隔空手势，所述隔空手势为与所述显示器之间的距离大于预设阈值的手势。
其中，所述隔空手势为与显示器之间的距离大于预设阈值的手势。
本申请实施例中，隔空手势也可以称之为3D手势、3维手势、非接触手势等。终端设备的本地数据库或远程数据库中存储有手势集合，该手势集合中存储了隔空手势、该隔空手势对应的功能、隔空手势与功能的对应关系。当用户在摄像头的拍摄范围内做出隔空手势后，例如，副驾驶位置上的用户在摄像头前做出隔空手势。摄像头采集该隔空手势，终端设备获取摄像头采集的隔空手势并判断该隔空手势是否存在于手势集合中。若该隔空手势存在于手势集合中，则确定该隔空手势对应的目标功能；若手势集合中不存在该隔空手势，则认为该手势无法识别。
本申请实施例并不限定显示器、摄像头和终端设备的位置。例如，终端设备为车载终端设备，车载终端设备上设置有摄像头、显示器等，此时，显示器、摄像头和终端设备集成在一起。再如，终端设备为车载终端设备，而摄像头、显示器并未集成在车载终端上。图2B是设置了本申请实施例提供的基于隔空手势的控制装置的汽车座舱的示意图。请参照图2B基于隔空手势的控制装置集成在车载终端上，而显示器可以是车辆上的中控显示屏(主屏)，还可以是设置于车辆座位后部的屏幕(副屏)等。摄像头可以是汽车MDS或CMS的摄像头，图中未示意出。车载终端与摄像头、主屏和副屏通过WiFi等连接。
203、根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，该持续调节的调节量与隔空手势在拍摄范围内移动的第一距离正相关；或者，持续调节的调节量与隔空手势在拍摄范围内的保持时长正相关。
示例性的，终端设备自识别出隔空手势开始至隔空手势移除拍摄范围，持续调节隔空手势对应的目标功能，即在隔空手势在拍摄范围内保持的过程持续调节目标功能。例如，持续调节的调节量与隔空手势在拍摄范围内的保持时长正相关，比如隔空手势对应的目标功能是增加音量，则每秒调整10％；再如，该持续调节的调节量与第一距离正相关，比如该隔空手势对应的目标功能是快进，则隔空手势在拍摄范围内每移动3厘米，则视频快进10分钟。
本申请实施例提供的基于隔空手势的控制方法，当用户在摄像头的拍摄范围内做出隔空手势后，摄像头采集该隔空手势。终端设备识别出该隔空手势对应的目标功能后，根据该隔空手势在拍摄范围内的保持时长、移动距离等持续调节该隔空手势对应的目标功能，使得该目标功能逐渐变化以持续调节该目标功能，进而使得用户及时确定是否需要终止调节，避免用户无法一次性调节到位带来的反复调节，操作简单；同时，减少用户调节目标功能时注视屏幕的时长，提高驾驶安全性。另外，对于副驾驶或后排用户而言，通过远程隔空手势输入即可准确调节目标功能，无需起身通过触摸等方式调节目标功能，极大程度提升了方便性与用户体验。
可选的，为了提醒用终端设备已经识别出隔空手势并唤醒隔空手势功能，则显示器显示功能原点，功能原点用于指示终端设备已识别出隔空手势并唤醒隔空手势功能。示例性的，可参见图3。
图3是本申请实施例提供的基于隔空手势的控制方法中功能原点的示意图。请参照图3，车载终端的左上角设置有摄像头，如图中黑色圆圈所示。初始时，车载终端播放视频。当用户在摄像头的拍摄范围内做出双指向右平移的隔空手势时，车载终端识别出该隔空手势的功能为调节视频进度，则车载终端弹出进度条和当前播放进度，并在进度条上显示功能原点，如图中黑色圆环所示，从而使得用户获知：终端设备已识别出隔空手势并唤醒隔空手势功能。
需要说明的是，虽然图3中是以摄像头设置在车载终端的左上角为例对本申请实施例进行详细说明。然而，本申请实施例并不以此为限制，其他可选的实现方式中，车载终端厂商可以灵活设置摄像头的位置。
上述实施例中，隔空手势可以同时是唤醒手势和功能手势，唤醒手势用于唤醒隔空手势功能，功能手势用于调节目标功能；或者，唤醒手势和功能手势为不同的隔空手势。示例性的，可参见图4A和图4B。
图4A是本申请实施例提供的基于隔空手势的控制方法的一个过程示意图。请参照图4A，唤醒手势和功能手势为不同的隔空手势时，终端设备识别出唤醒手势后，唤醒隔空手势功能，隔空手势功能即为终端设备响应用户做出的功能手势，根据该功能手势的保持时长或移动距离等调节目标功能，根据保持时长的调节方式也可以称之为根据时间调节方式，根据移动距离的调节方式也可以称之为根据空间的调节方式。
隔空手势功能唤醒后，终端设备通过语音、动画等方式提示用户：已唤醒隔空手势功能，请做出功能手势。之后，用户做出功能手势，终端设备识别功能手势对应的目标功能，并根据功能手势在拍摄范围内的保持时长、移动距离等调节目标功能。目标功能可以是音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节中的任意一个。采用该种方案，实现终端设备灵活调节任意一个可持续调节的功能的目的。
另外，由于智能座舱环境内，用户的身体可能会由于刹车、道路颠簸等原因晃动，而且，智能座舱内摄像头的拍摄范围可能会比较大。为了防止终端设备错误的将用户拿中控屏前的水杯、挡风玻璃前方的纸巾等动作误判为用户想要做出隔空手势。图4A请实施例中，通过设置一个专用唤醒隔空手势功能的唤醒手势，比如五指竖直向上的隔空手势。如果终端设备检测出用户做出五指竖直向上的隔空手势，且该隔空手势的保持时长超过预设时长，如3秒钟，则认为用户想要唤醒隔空手势功能。此时，终端设备开启隔空手势功能并对摄像头采集到的隔空手势进行识别。
图4B是本申请实施例提供的基于隔空手势的控制方法的另一个过程示意图。请参照图4B，隔空手势同时为唤醒手势和功能手势时，终端设备识别出隔空手势后，唤醒隔空手势功能并确定目标功能，根据该隔空手势的保持时长或移动距离等调节目标功能。
上述实施例中，所述隔空手势对应的目标功能是所述屏幕当前显示的应用的可持续调节功能，不同应用的可持续调节的功能对应相同的隔空手势。
终端设备可持续调节的功能比较多时，若为不同的可持续调节功能设置不同的隔空手势，则导致隔空手势特别多，进而导致用户混淆各种各种手势。因此，可以针对不同应用的可持续调节功能设置相同的隔空手势。示例性的，可参见图5。
图5是本申请实施例提供的基于隔空手势的控制方法中显示屏和隔空手势的示意图。请参照图5，同样为双指右移的隔空手势，当车载终端处于视频播放界面时，该隔空手势对应的目标功能为快进，功能原点旁边的浮窗显示“快进”，供用户了解该隔空手势对应的目标功能；当车载终端处于空调界面时，该隔空手势对应的目标功能为增加温度，功能原点旁边的浮窗显示“增加温度”，供用户了解该隔空手势对应的目标功能。采用该种方案，通过对不同应用设置相同的隔空手势，避免隔空手势过多导致用户无法区分隔空手势的问题，减少了用户的学习成本，相似功能采用同一个隔空手势符合人机交互逻辑。
上述实施例中，所述隔空手势对应的目标功能是所述屏幕当前显示的应用的可持续调节功能，同一个应用不同的可持续调节调节功能对应不同的隔空手势。
终端设备同一个应用可持续调节的功能比较多，例如，视频播放应用的可持续调节功能包括音量、进度等；空调的可持续调节功能包括温度、风量等。为了方便对同一应用的不同可持续调节功能进行调节，可以针对同一个应用的不同可持续调节功能设置不同的隔空手势。示例性的，可参见图6。
图6是本申请实施例提供的基于隔空手势的控制方法中显示屏和隔空手势示意图。请参照图6，当车载终端处于视频播放界面时，双指右移的隔空手势对应的目标功能为快进，功能原点旁边的浮窗显示“快进”，供用户了解该隔空手势对应的目标功能；当车载终端处于视频播放界面时，双指上移的隔空手势对应的目标功能为增加音量，功能原点旁边的浮窗显示“增加音量”，供用户了解该隔空手势对应的目标功能。采用该种方案，通过对同一应用的不同可持续调节功能设置不同的隔空手势，实现方便快捷调整同一个应用的不同可持续调节功能的目的。
上述实施例中，终端设备在识别出隔空手势的目标功能后，可根据隔空手势在拍摄范围内的保持时长、移动距离等确定调整量，进而根据调整量调节目标功能。示例性的，请参照图7。
图7是本申请实施例提供的基于隔空手势的控制方法的流程图。请参照图7，本实施例包括如下步骤：
301、终端设备检测出用户做出隔空手势。
示例性的，摄像头将采集到的拍摄范围内的视频流发送给终端设备上的处理器，处理器对该些视频流进行分析，若终端设备判断出最新拍摄到的图像帧或连续几个图像帧中均包含隔空手势，则认为检出用户做出隔空手势。
302、从图像帧中确定隔空手势所在的位置区域。
示例性的，可参见图8，图8是本申请实施例提供的基于隔空手势的控制方法中隔空手势的示意图。
请参照图8，用户在拍摄范围内做出竖起食指和中指的手势，摄像头采集到该手势后，利用手部目标检测技术从采集到的图像中提取出隔空手势所在的位置区域，如图中虚线框所示。其中，手部目标检测技术例如为基于多框目标检测器(Single Shot MultiBoxDetector，SSD)等深度模型的手部目标检测技术。
303、从位置区域中提取出隔空手势的关键点。
再请参照图8，确定出位置区域后，终端设备将确定隔空手势所在的位置区域对应的图片输入至手部关键点检测模型，利用该手部关键点检测模型检测出关键点，如图中的黑点所示。该过程中，手部关键点检测模型例如为开放姿态(Open Pose)模型利用手部分割技术、手部关键点定位技术等训练出的模型。
304、激活隔空手势功能。
305、确定隔空手势的目标功能。
示例性的，终端设备利用检测出的关键点识别隔空手势，以识别用户做出单指竖起手势、双指手势等。然后，通过查询数据库等确定该隔空手势是否是当前界面的应用相关的隔空手势，若该隔空手势是当前界面的应用的某个功能对应的手势，则将该功能作为目标功能；若该隔空手势不是当前界面的应用的任何功能，则终端设备无反应或提示用户隔空手势不正确。
306、选择可持续调节的方式，若选定根据空间调节方式，则执行步骤307～步骤308；若选定根据时间调节方式，则执行步骤309-步骤310。
示例性的，根据空间调节方式指根据隔空手势在拍摄范围内移动的第一距离确定调节量的方式，该种方式下，持续调节的调节量与隔空手势在拍摄范围内移动的第一距离正相关；根据时间调整方式指根据隔空手势在拍摄范围内的保持时长确定调节量的方式，该种方式下，持续调节的调节量与隔空手势在拍摄范围内的保持时长正相关。
上述根据空间调节方式或根据时间调节方式可以在终端设备出厂前就设置好，或者，也可以开放出来供用户自主设置。示例性的，可参见图9。
图9是本申请实施例提供的基于隔空手势的控制方法中设置可持续调节方式的过程示意图。请参照图9，用户点击终端设备界面上的设置图标进入设置界面，在设置界面点击“可持续调节方式”的下拉菜单按钮，终端设备界面上弹出浮窗，供用户选择“根据时间调节方式”、“根据空间调节方式”或“关闭”。
307、确定第一距离。
示例性的，终端设备检测隔空手势移动的起点和终点，根据起点和终点确定出隔空手势在拍摄范围内移动的第一距离。
308、根据第一距离调节目标功能。
示例性的，终端设备在隔空手势移动过程中持续调节目标功能直到隔空手势移动第一距离。
309、确定隔空手势在拍摄范围内的保持时长。
310、根据保持时长调节目标功能。
示例性的，终端设备在隔空手势移动过程中持续调节目标功能，直到隔空手势移除拍摄范围。
下面，对上述实施例中，终端设备如何根据空间调节方式和根据空间调节方式进行可持续调节进行详细说明。
首先，根据空间调节方式进行可持续调节。
根据空间调节方式中，持续调节的调节量与所述隔空手势在所述摄像头的拍摄范围内移动的第一距离正相关。该第一距离至少根据所述摄像头的焦距、所述隔空手势与所述摄像头的光心之间的距离、第二距离确定，所述第二距离用于指示所述隔空手势在所述摄像头的拍摄范围内移动时，所述摄像头成像面中的隔空手势移动的距离。示例性的，可参见图10。
图10是本申请实施例提供的基于隔空手势的控制方法中确定第一距离的过程示意图。请参照图10，点填充部分为摄像头的成像面，直线AB所在的平面为与成像面平行的平面，O点为摄像头的光心，双点划线三角形的底边表示相机的最大视野，预设距离Lmax位于该视野内。第一距离L移为用户的隔空手势在拍摄范围内移动的距离，该第一距离L移不能超过预设距离Lmax，预设距离Lmax可以是一个固定值，也可以是一个与用户的臂长等相关的值。摄像头的焦距f和摄像头的型号、类型等有关。该预设距离Lmax对应一个最大成像面距离，也就是说，当用户的隔空手势的移动预设距离Lmax时，摄像头成像面中的隔空手势移动最大成像面距离。
第二距离l表示隔空手势在所述摄像头的拍摄范围内移动时，所述摄像头成像面中的隔空手势移动的距离。对于终端设备而言，该些参数中，摄像头的焦距f是已知的，隔空手势和摄像头的光心之间的距离F可通过测量得到，第二距离l可通过追踪隔空手势得到，而第一距离L移是待求解的量。求解出第一距离L移后，终端设备即可根据该第一距离L移确定出调节量。
需要说明是，虽然图10是以AB线段表示预设距离Lmax为例对本申请实施例进行详细说明，即隔空手势从点A移动至点B为例，然而，本申请实施例并不限制，其他可行的实现方式中，隔空手势也可以从点C移动至点D，即CD线段表示预设距离Lmax。
下面，对终端设备如何获得隔空手势和摄像头的光心之间的距离F、第二距离l、如何计算第一距离L移、如何根据第一距离L移确定进行持续性调节进行详细说明。
第一、获得隔空手势和摄像头的光心之间的距离F的过程。
示例性的，终端设备传感器确定出隔空手势和摄像头的光心之间的距离F。其中，传感器可以单独设置，也可以集成在摄像头上。下面，以摄像头上集成传感器为例，对终端设备如何获得隔空手势和摄像头的光心之间的距离F进行详细说明。
当摄像头为单目摄像头时，终端设备先通过图像匹配方式进行目标识别，以识别出隔空手势。然后，终端设备根据隔空手势在图像中的大小去估算该隔空手势和摄像头的光心之间的距离F。为估算出距离F，需要终端设备准确识别出隔空手势，该准确识别是估算距离的第一步。为实现准确识别出隔空手势，需要在终端本地或远程建立并不断维护一个样本特征数据库，以保证该样本特征数据库中包含全部的隔空手势。
当摄像头为双目摄像头时，终端设备利用双目摄像头对拍摄范围进行拍摄得到两幅图像，通过两幅图像确定隔空手势对应的视差，隔空手势距离摄像头越远，视差越小；反之，视差越大。然后，终端设备根据预设的视差和距离的对应关系，即可确定出隔空手势和摄像头的光心之间的距离F。示例性的，可参见图11。
图11是本申请实施例提供的基于隔空手势的控制方法中确定F的过程示意图。请参照图11，类似于人眼，双目摄像头拍摄的两幅图像中，隔空手势并不位于相同的位置。因此，当该两幅图像重合时，隔空手势并未重合在一起，两个隔空手势之间的距离称之为视差。终端设备得到视差后，即可根据该视差确定出距离F。
当摄像头为TOF镜头时，终端设备同给隔空手势连续发送光脉冲，然后利用传感器接收隔空手势返回的光，通过探测光脉冲的飞行时间来确定距离F。其中，光脉冲的飞行时间即为光脉冲的往返时间。
需要说明的是，当隔空手势位于图10中AB所在的平面的任意位置时，隔空手势和像头的光心之间的距离F是相同的。
第二、获得第二距离l的过程。
示例性的，该第二距离l可根据图像处理得到。获取第二距离l的过程中，用户的隔空手势在拍摄范围内移动时，摄像头的成像面中成像出的隔空手势也发生移动。终端设备利用深度学习技术得到手部位置区域。移动过程中，终端设备确定摄像头的成像面中的隔空手势移动过程中的第一位置和第二位置，根据该第一位置和第二位置之间的像素个数以及像素大小，确定第二距离l。示例性的，可参见图12。
图12是本申请实施例提供的基于隔空手势的控制方法中确定第二距离的过程示意图。请参照图12，用户在摄像头的拍摄范围内做出双指右移的隔空手势，移动过程中，成像面中成像出的隔空手势也发生移动。终端设备确定出成像面中隔空手势所在的位置区域，对该位置区域进行追踪，图中虚线所示为第一位置，实线所示为第二位置。终端设备确定第一位置对应的位置区域的中心(如图中灰色填充圆圈所示)和第二位置对应的位置区域的中心之间的像素个数，根据该像素个数和像素大小，即可确定出第二距离l。
采用该种方案，通过不断的追踪手部位置区域，根据该位置区域，即可确定出第二距离l。
第三、确定第一距离L移。
终端设备确定出距离F、第二距离l后，即可根据下述公式确定出第一距离L移：
Figure BDA0002959741530000151
该公式中，f表示摄像头的焦距，F表示隔空手势和摄像头的光心之间的距离，l表示第二距离。
本申请实施例中，为了确定出第一距离L移，可预先训练一个预置模型，将摄像头的焦距f、隔空手势与摄像头的光心的距离F、第二距离l输入至预先训练好的预置模型，利用预置模型确定第一距离L移。
训练预置模型的过程中，获取样本数据集，该些样本数据集包含多组样本数据，一组样本数据包含样本摄像头的焦距、样本隔空手势与样本摄像头的光心的距离、样本第二距离，利用所述样本数据集中的多组样本数据训练出所述预置模型。该训练过程可以由终端设备执行，也可以由集群服务器执行，本申请实施例并不限制。
第四、根据第一距离L移确定进行持续性调节的过程。
终端设备根据第一距离L移和单位距离调整量即可对隔空手势对应的目标功能进行持续性调节。
例如，终端设备上可以预先设置一个单位距离调整量，该单位距离调整量表示隔空手势每移动单位距离，目标功能的调整量。其中，单位距离例如可以是1厘米、1分米等，本申请实施例并不限制。该种方式中，无需设置预设距离Lmax。也就是说，无需考虑隔空手势在拍摄范围内移动的长度。
再如，终端设备上可以预先设置一个预设距离Lmax，根据该预设距离Lmax和目标功能的总调整量确定出一个单位距离调节量，该单位距离调节量是目标功能的总调整量与预设距离的比值。假设目标功能为快进，视频为90分钟的时长，即总调整量为90分钟，预设距离Lmax为30厘米，则单位距离调节量为90/30＝3。也就是说，隔空手势每移动1厘米，视频快进3分钟。假设第一距离L移为5厘米，则隔空手势从初始位置启动5厘米的过程中，视频快进15分钟。该调节过程可参见图13。
图13是本申请实施例提供的基于隔空手势的控制方法中调节目标功能的过程示意图。请参照图13，终端设备检测出隔空手势后，屏幕上出现功能原点。终端设备继续监测该隔空手势，当检测出隔空手势移动时，判断移动方向和第一距离，根据移动方向确定该隔空手势的目标功能，进而根据第一距离调节该目标功能。图中虚线功能原点与实线功能原点之间的部分即为最终的调整量。
根据上述可知：总的调节量实质上是第一距离L移与预设距离Lmax的比值，即总的调节量是预设距离Lmax中第一距离L移的比例、占比或百分比。
当单位距离调整量是根据预设距离Lmax和总的调节量确定时，预设距离Lmax可以是一个固定值，此时，该固定值表示用户移动胳膊时的一个舒适距离，具体可通过统计不同年龄、不同性别、不同身高的用户挥舞手臂时，手臂移动的距离得出，该固定值可以为大多数用户挥舞手臂时，手臂移动的距离的平均值；或者，预设距离Lmax也可以是一个与用户的手臂的臂长正相关的数值。
当预设距离Lmax和臂长正相关时，终端设备检测出隔空手势后，识别用户的手腕骨骼点和手肘骨骼点，根据手腕骨骼点和手肘骨骼点，确定用户的臂长，根据臂长确定预设距离。示例性的，可参见图14。
图14是本申请实施例提供的基于隔空手势的控制方法中检测臂长的过程示意图。请参照图14，用户做出隔空手势后，终端设备利用深度学习等检测出用户的手腕骨骼点和手肘骨骼点，该两个骨骼点如图中黑色填充原点所示。然后，终端设备利用三维视觉系统确定手腕骨骼点的三维坐标和手肘骨骼点三维坐标，根据该两个三维坐标确定手腕骨骼点和手肘骨骼点之间的距离，即可确定出用户的臂长(即前手臂臂长)。三维视觉系统可以为双目摄像头、多目摄像机、TOF相机等。确定出臂长后，查找数据库即可确定出臂长对应的预设距离Lmax。其中，数据库是指存储有臂长、臂长对应的预设距离Lmax的映射关系的数据库。示例性的，可参见表1。
表1
臂长(厘米) 预设距离L<sub>max</sub>(厘米)
35 27
36 27.5
37 28
38 28.5
39 29
40 30
41 30.5
42 31
43 32
44 33
表1中显示出部分臂长与预设距离Lmax的映射关系。根据表1可知：不同臂长对应的预设距离Lmax可能不同。
其次，根据时间调节方式进行可持续调节。
根据时间调节方式中，持续调节的调节量与隔空手势在拍摄范围内的保持时长正相关。用户可以在保持时长内持续移动隔空手势，也可以移动一段时间后，静止但保持在拍摄范围内。也就是说，保持时长包括第一时长和第二时长，第一时长对应的第一时间段内，隔空手势持续平移，第二时长对应的第二时间段内，隔空手势静止，第一时间段位于第二时间段之前。示例性的，可参见图15。
图15是本申请实施例提供的基于隔空手势的控制方法中调节目标功能的过程示意图。请参照图15，终端设备检测出隔空手势后，屏幕上出现功能原点。终端设备继续监测该隔空手势，当检测出隔空手势移动时，判断移动方向，根据移动方向确定该隔空手势的目标功能。之后，根据隔空手势的保持时长不断的调节目标功能。第一时长内，隔空手势一直向右平移，该段时长内调节量如图中两个虚线功能原点之间的距离。第一时长后，若用户觉得还需要继续调节，则继续保持隔空手势，该隔空手势不再平移而是静止，但是目标功能继续被调节。第二时长的调节量如图中第二个虚线功能原点和实线功能原点之间的距离。总调节量为第一时长内的调节量和第二时长内的调节量的总和。该过程中，摄像头每隔预设时长，如每隔0.1秒检测一帧画面，只要画面中还包括隔空手势则继续调节目标功能。也就是说，无论隔空手势继续移动还是静止，调节仍将继续。该过程中，第一时长至少为终端设备可以识别出隔空手势的时长，第二时长为自终端设备识别出隔空手势开始至用户感觉完成调节移出隔空手势的时间点之间的时长。另外，第二时长内，隔空手势也可以不一直静止，如持续移动或间歇移动等。
调节过程中，根据预设的单位时间调整量持续调节目标功能。例如，对于增加音量而言，单位时间调整量为10％每秒，则隔空手势每保持1秒，音量增加10％。再如，对于视频快进而言，单位时间调整量为2％每秒，则隔空手势每保持1秒，则音量被调整2％。之后，隔空手势移出摄像头的拍摄范围，持续调节结束。示例性的，可参见图16。
图16是本申请实施例提供的基于隔空手势的控制方法中检测隔空手势的过程示意图。请参照图16，摄像头每隔预设时长，如每隔0.1秒检测一帧画面，只要画面中还包括隔空手势则继续调节目标功能。若检测出画面中不包含隔空手势，说明用户认为已经目标功能调节到理想状态移出手势。
图17是本申请实施例提供的一种基于隔空手势的控制装置的结构示意图。本实施例所涉及的基于隔空手势的控制装置可以为终端设备，也可以为应用于终端设备的芯片。该基于隔空手势的控制装置可以用于执行上述实施例中终端设备的功能。如图17所示，该基于隔空手势的控制装置100可以包括：显示单元11和处理单元12。
当该基于隔空手势的控制装置100用于执行上述根据空间持续调整目标功能时，显示单元11，用于使能显示器显示应用的用户界面；处理单元12，用于获取摄像头采集的隔空手势，根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，所述隔空手势为与显示器之间的距离大于预设阈值的手势，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述第一距离正相关。
一种可行的设计中，所述第一距离至少根据所述摄像头的焦距、所述隔空手势与所述摄像头的光心之间的距离、第二距离确定，所述第二距离用于指示所述隔空手势在所述摄像头的拍摄范围内移动时，所述摄像头成像面中的隔空手势移动的距离。
一种可行的设计中，所述处理单元12，在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于确定所述摄像头的成像面中的隔空手势移动过程中的第一位置和第二位置，根据所述第一位置和所述第二位置之间的像素个数以及像素大小，确定所述第二距离。
一种可行的设计中，所述第一距离小于或等于预设距离，所述预设距离与所述用户的手臂的臂长正相关。
一种可行的设计中，所述处理单元12在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于识别所述用户的手腕骨骼点和手肘骨骼点，根据所述手腕骨骼点的三维坐标和所述手肘骨骼点的三维坐标，确定所述用户的臂长，根据所述臂长确定所述预设距离。
一种可行的设计中，所述处理单元12在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能时，用于自识别出所述隔空手势起，根据所述单位调节量持续调节所述隔空手势对应的目标功能，直到所述隔空手势移动所述第一距离，所述单位距离调节量是所述目标功能的总调整量与所述预设距离的比值。
一种可行的设计中，所述处理单元12在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能时，用于根据所述第一距离与所述预设距离的比值持续调节所述隔空手势对应的目标功能。
一种可行的设计中，所述处理单元12在根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能之前，还用于将所述摄像头的焦距、所述隔空手势与所述摄像头的光心的距离、所述第二距离输入至预先训练好的预置模型，利用所述预置模型确定所述第一距离。
一种可行的设计中，所述处理单元12，还用于获取样本数据集，所述样本数据集包含多组样本数据，一组样本数据包含样本摄像头的焦距、样本隔空手势与样本摄像头的光心的距离、样本第二距离，利用所述样本数据集中的多组样本数据训练出所述预置模型。
当该基于隔空手势的控制装置100用于执行上述根据空间持续调整目标功能时，显示单元11，用于使能显示器显示应用的用户界面，处理单元12，用于获取摄像头采集的隔空手势，所述隔空手势为与显示器之间的距离大于预设阈值的手势，根据所述隔空手势在所述摄像头的拍摄范围内的保持时长，持续调节所述隔空手势对应的目标功能，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述保持时长正相关。
一种可行的设计中，所述保持时长包括第一时长和第二时长，所述第一时长对应的第一时间段内，所述隔空手势持续平移，所述第二时长对应的第二时间段内，所述隔空手势静止，所述第一时间段位于所述第二时间段之前。
一种可行的设计中，所述处理单元12，在根据所述隔空手势在所述摄像头的拍摄范围内的保持时长，持续调节所述隔空手势对应的目标功能时，用于确定单位时间调节量；自识别出所述隔空手势起，根据所述单位时间内的调节量持续调节所述隔空手势对应的目标功能，直到所述隔空手势不再出现在所述摄像头的拍摄范围内。
一种可行的设计中，所述显示单元11，还用于当终端设备识别出所述隔空手势时，在所述显示器上显示功能原点，所述功能原点用于指示所述终端设备已识别出所述隔空手势并唤醒隔空手势功能。
一种可行的设计中，不同应用的可持续调节的功能对应相同的隔空手势。
一种可行的设计中，同一个应用不同的可持续调节调节功能对应不同的隔空手势。
一种可行的设计中，所述目标功能包括下述功能中的任意一个：音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节。
一种可行的设计中，所述处理单元12在识别用户在摄像头的拍摄范围内做出的隔空手势时，用于利用所述摄像头持续拍摄所述摄像头的拍摄范围，判断最新拍摄到的图像帧中是否包含所述隔空手势，若所述最新拍摄到的图像帧中包含所述隔空手势，则识别出所述用户在所述摄像头的拍摄范围内做出的隔空手势。
图18为本申请实施例提供的一种终端设备的结构示意图。如图18所示，该终端设备200包括：
处理器21和存储器22；
所述存储器22存储计算机执行指令；
所述处理器21执行所述存储器22存储的计算机执行指令，以实现上述终端设备执行的方法。
可选的，终端设备200还包括：显示器23(如图18中虚线框所示)用于显示应用的用户界面；
上述的处理器21、存储器22、显示器23可以通过总线24连接。
在上述在通信装置的实现中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互，也就是存储器和处理器可以通过接口连接，也可以集成在一起。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在上述基础上，本申请还提供一种芯片，包括：逻辑电路、输入接口，其中：所述输入接口用于获取待处理的数据；所述逻辑电路用于对待处理的数据执行前述方法实施例中终端设备侧的技术方案，得到处理后的数据。
可选的，该芯片还可以包括：输出接口，所述输出接口用于输出处理后的数据。
上述输入接口获取的待处理的数据包括隔空手势在拍摄范围内的第一移动距离等，输出接口输出的处理后的数据包括持续调整的调整量等。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序，所述程序在被处理器执行时用于执行前述实施例中终端设备的技术方案。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行前述实施例中的技术方案。
本领域普通技术人员应理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质，具体的介质类型本申请不做限制。

Claims (19)

1.一种基于隔空手势的控制方法，其特征在于，包括：
使能显示器显示应用的用户界面；
获取摄像头采集的隔空手势，所述隔空手势为与所述显示器之间的距离大于预设阈值的手势；
根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述第一距离正相关。
2.根据权利要求1所述的方法，其特征在于，所述第一距离至少根据所述摄像头的焦距、所述隔空手势与所述摄像头的光心之间的距离、第二距离确定，所述第二距离用于指示所述隔空手势在所述摄像头的拍摄范围内移动时，所述摄像头成像面中的隔空手势移动的距离。
3.根据权利要求1或2所述的方法，其特征在于，所述第一距离小于或等于预设距离，所述预设距离与所述用户的手臂的臂长正相关。
4.根据权利要求3所述的方法，其特征在于，所述根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，包括：
自识别出所述隔空手势起，根据单位调节量持续调节所述隔空手势对应的目标功能，直到所述隔空手势移动所述第一距离，所述单位距离调节量是所述目标功能的总调整量与所述预设距离的比值。
5.根据权利要求3所述的方法，其特征在于，所述根据所述隔空手势在所述摄像头的拍摄范围内移动的第一距离，持续调节所述隔空手势对应的目标功能，包括：
根据所述第一距离与所述预设距离的比值，持续调节所述隔空手势对应的目标功能。
6.根据权利要求1～5任一项所述的方法，其特征在于，还包括：
当终端设备识别出所述隔空手势时，使能所述显示器上显示功能原点，所述功能原点用于指示所述终端设备已识别出所述隔空手势并唤醒隔空手势功能。
7.根据权利要求1～6任一项所述的方法，其特征在于，
不同应用的可持续调节的功能对应相同的隔空手势。
8.根据权利要求1～7任一项所述的方法，其特征在于，
同一个应用不同的可持续调节调节功能对应不同的隔空手势。
9.根据权利要求1～8任一项所述的方法，其特征在于，
所述目标功能包括下述功能中的任意一个：音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节。
10.一种基于隔空手势的控制方法，其特征在于，包括：
使能显示器显示应用的用户界面；
获取摄像头采集的隔空手势，所述隔空手势为与所述显示器之间的距离大于预设阈值的手势；
根据所述隔空手势在所述摄像头的拍摄范围内的保持时长，持续调节所述隔空手势对应的目标功能，所述目标功能是所述应用的可持续调节功能，所述持续调节的调节量与所述保持时长正相关。
11.根据权利要求10所述的方法，其特征在于，所述保持时长包括第一时长和第二时长，所述第一时长对应的第一时间段内，所述隔空手势持续平移，所述第二时长对应的第二时间段内，所述隔空手势静止，所述第一时间段位于所述第二时间段之前。
12.根据权利要求10或11所述的方法，其特征在于，还包括：
当终端设备识别出所述隔空手势时，使能所述显示器显示功能原点，所述功能原点用于指示所述终端设备已识别出所述隔空手势并唤醒隔空手势功能。
13.根据权利要求10～12任一项所述的方法，其特征在于，
不同应用的可持续调节的功能对应相同的隔空手势。
14.根据权利要求10～13任一项所述的方法，其特征在于，
同一个应用不同的可持续调节调节功能对应不同的隔空手势。
15.根据权利要求10～14任一项所述的方法，其特征在于，
所述目标功能包括下述功能中的任意一个：音量调节、音视频进度调节、空调温度调节、椅背高度调节、360°环视视角调节、车窗高度调节、天窗大小调节、空调风量调节、氛围灯亮度调节。
16.一种电子设备，其特征在于，包括：
一个或多个处理器；
一个或多个存储器；
以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法；或者，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求10-15中任一项所述的方法。
17.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法；或者，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求10-15中任一项所述的方法。
18.一种芯片，其特征在于，所述芯片包括可编程逻辑电路和输入接口，所述输入接口用于获取待处理的数据，所述逻辑电路用于对待处理的数据执行如权利要求1-9中任一项所述的方法；或者，所述逻辑电路用于对待处理的数据执行如权利要求10-15中任一项所述的方法。
19.一种自动驾驶系统，其特征在于，包括：
车辆本体，设置在所述车辆本体上的摄像头、显示器以及基于隔空手势的控制装置，所述摄像头、所述显示器分别与所述基于隔空手势的控制装置连接，其中：
所述显示器，用于显示应用的用户界面；
所述摄像头，用于采集用户做出的隔空手势，所述隔空手势为与所述显示器之间的距离大于预设阈值的手势；
所述基于隔空手势的控制装置，用于执行如权利要求1-9中任一项所述的方法；或者，所述基于隔空手势的控制装置用于执行如权利要求10-15中任一项所述的方法。
CN202080004890.7A 2020-04-30 2020-04-30 基于隔空手势的控制方法、装置及系统 Pending CN112639689A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/088219 WO2021217570A1 (zh) 2020-04-30 2020-04-30 基于隔空手势的控制方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112639689A true CN112639689A (zh) 2021-04-09

Family

ID=75291259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004890.7A Pending CN112639689A (zh) 2020-04-30 2020-04-30 基于隔空手势的控制方法、装置及系统

Country Status (3)

Country Link
EP (1) EP4137914A4 (zh)
CN (1) CN112639689A (zh)
WO (1) WO2021217570A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542832A (zh) * 2021-07-01 2021-10-22 深圳创维－Rgb电子有限公司 显示控制方法、显示装置及计算机可读存储介质
WO2022247616A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器
WO2023123473A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种人机交互方法、系统以及处理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN106055098A (zh) * 2016-05-24 2016-10-26 北京小米移动软件有限公司 隔空手势操作方法及装置
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股（北京）有限公司 一种视频播放控制方法及装置
CN109947249A (zh) * 2019-03-15 2019-06-28 努比亚技术有限公司 穿戴式设备的交互方法、穿戴式设备和计算机存储介质
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN110058682A (zh) * 2019-03-15 2019-07-26 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN110058777A (zh) * 2019-03-13 2019-07-26 华为技术有限公司 快捷功能启动的方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20130159940A1 (en) * 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
CN102457688A (zh) * 2011-12-30 2012-05-16 四川长虹电器股份有限公司 一种电视音量和频道智能调节方法
US9141198B2 (en) * 2013-01-08 2015-09-22 Infineon Technologies Ag Control of a control parameter by gesture recognition
US10514768B2 (en) * 2016-03-15 2019-12-24 Fisher-Rosemount Systems, Inc. Gestures and touch in operator interface

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN106055098A (zh) * 2016-05-24 2016-10-26 北京小米移动软件有限公司 隔空手势操作方法及装置
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股（北京）有限公司 一种视频播放控制方法及装置
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN110058777A (zh) * 2019-03-13 2019-07-26 华为技术有限公司 快捷功能启动的方法及电子设备
CN109947249A (zh) * 2019-03-15 2019-06-28 努比亚技术有限公司 穿戴式设备的交互方法、穿戴式设备和计算机存储介质
CN110058682A (zh) * 2019-03-15 2019-07-26 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾峦等: "《侦查图像获取与融合技术》", 31 May 2015 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247616A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器
CN113542832A (zh) * 2021-07-01 2021-10-22 深圳创维－Rgb电子有限公司 显示控制方法、显示装置及计算机可读存储介质
WO2023123473A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种人机交互方法、系统以及处理装置

Also Published As

Publication number Publication date
EP4137914A1 (en) 2023-02-22
EP4137914A4 (en) 2023-05-24
WO2021217570A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
CN107776574B (zh) 一种自动驾驶车辆的驾驶模式切换方法和装置
CN112513787B (zh) 车内隔空手势的交互方法、电子装置及系统
CN113228620B (zh) 一种图像的获取方法以及相关设备
EP3909811A1 (en) Adaptive adjustment method and device for rear-view mirror
CN112639689A (zh) 基于隔空手势的控制方法、装置及系统
WO2018087877A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20230046258A1 (en) Method and apparatus for identifying object of interest of user
CN115239548A (zh) 目标检测方法、装置、电子设备及介质
CN115042821A (zh) 车辆控制方法、装置、车辆及存储介质
CN115170630B (zh) 地图生成方法、装置、电子设备、车辆和存储介质
CN115222791A (zh) 目标关联方法、装置、可读存储介质及芯片
CN112654547A (zh) 驾驶提醒的方法、装置及系统
CN114852092B (zh) 方向盘脱手检测方法、装置、可读存储介质及车辆
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115115707B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN114572219B (zh) 自动超车方法、装置、车辆、存储介质及芯片
CN114771514B (zh) 车辆行驶控制方法、装置、设备、介质、芯片及车辆
CN115535004B (zh) 距离生成方法、装置、存储介质及车辆
CN114842454B (zh) 障碍物检测方法、装置、设备、存储介质、芯片及车辆
CN115965947A (zh) 一种数据处理方法及装置
CN115675504A (zh) 一种车辆告警方法以及相关设备
CN115214629A (zh) 自动泊车方法、装置、存储介质、车辆及芯片
CN115223122A (zh) 物体的三维信息确定方法、装置、车辆与存储介质
CN114964294A (zh) 导航方法、装置、存储介质、电子设备、芯片和车辆
CN114802258A (zh) 车辆控制方法、装置、存储介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination