CN108519821B - 设备控制方法及装置 - Google Patents

设备控制方法及装置 Download PDF

Info

Publication number
CN108519821B
CN108519821B CN201810278246.3A CN201810278246A CN108519821B CN 108519821 B CN108519821 B CN 108519821B CN 201810278246 A CN201810278246 A CN 201810278246A CN 108519821 B CN108519821 B CN 108519821B
Authority
CN
China
Prior art keywords
face
control
frequency
coordinates
key area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810278246.3A
Other languages
English (en)
Other versions
CN108519821A (zh
Inventor
叶剑勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201810278246.3A priority Critical patent/CN108519821B/zh
Publication of CN108519821A publication Critical patent/CN108519821A/zh
Application granted granted Critical
Publication of CN108519821B publication Critical patent/CN108519821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及设备控制方法及装置。该方法包括：当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像的基准参考位置；若所述基准参考位置在所述屏幕中对应的控制位置从所述控制界面的第一按键区域外移动至所述第一按键区域中，则以第一频率执行所述第一按键区域对应的控制指令；若所述控制位置在所述第一按键区域中连续停留的时间达到第一阈值，则在所述第一按键区域中显示加速区域；若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率。本公开能够通过移动脸部控制设备，并能灵活调整控制指令的执行频率，从而能够利用人脸识别和跟踪技术方便地进行设备控制，提高了设备控制的灵活性和准确性。

Description

设备控制方法及装置
技术领域
本公开涉及信息技术领域，尤其涉及一种设备控制方法及装置。
背景技术
目前，人们主要通过遥控器控制电视、冰箱和空调等设备。由于各个设备的遥控器通常不兼容，因此需要通过各个设备相应的遥控器控制各个设备。为了解决该问题，相关技术通过万能遥控器或者手势交互进行设备控制。万能遥控器虽然统一了各个设备的遥控器，但还是需要利用手机等辅助工具来操作设备。另外，在万能遥控器的方案中，通常需要用户使用手机端的App(Application，应用)对万能遥控器进行配置。因此，用户初次使用万能遥控器时难度较大。在手势交互的方案中，为了设置足够多的遥控命令，需要开发较多的手势，导致用户需要记忆较多的手势动作，不方便用户使用。此外，手势交互需要用户频繁使用手部动作，不同的人的手部动作可能差别较大，因此难以达到较高的识别准确率。而且在有些情况下，用户可能不希望采用双手进行比划操作。
发明内容
有鉴于此，本公开提出了一种设备控制方法及装置。
根据本公开的一方面，提供了一种设备控制方法，包括：
当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定所述人脸图像的基准参考位置；
若所述基准参考位置在所述屏幕中对应的控制位置从所述控制界面的第一按键区域外移动至所述第一按键区域中，则以第一频率执行所述第一按键区域对应的控制指令；
若所述控制位置在所述第一按键区域中连续停留的时间达到第一阈值，则在所述第一按键区域中显示加速区域；
若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率。
在一种可能的实现方式中，所述基准参考位置为所述人脸图像中的人脸区域的几何中心；或者，
所述基准参考位置为所述人脸区域中两个瞳孔中心的中点。
在一种可能的实现方式中，所述方法还包括：
根据所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系，将所述基准参考位置映射到所述屏幕中，确定所述控制位置。
在一种可能的实现方式中，若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率，包括：
若所述控制位置位于所述加速区域中，则以第二频率执行所述第一按键区域对应的控制指令，其中，所述第二频率大于所述第一频率。
在一种可能的实现方式中，若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率，包括：
若所述控制位置位于所述加速区域中，则在所述控制位置停留在所述加速区域的过程中，执行所述第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。
在一种可能的实现方式中，在所述第一按键区域中显示加速区域之后，所述方法还包括：
若所述控制位置位于所述第一按键区域中所述加速区域以外的区域，则以所述第一频率执行所述第一按键区域对应的控制指令。
在一种可能的实现方式中，所述方法还包括：
确定所述人脸图像的人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系；
根据所述人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系，确定所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系。
在一种可能的实现方式中，所述方法还包括：
若根据连续N帧人脸图像中的基准参考位置，确定在采集所述连续N帧人脸图像时人脸静止，则根据所述连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；
根据所述人脸静止位置与人脸活动范围之间的位置关系，确定所述人脸静止位置对应的人脸活动范围。
根据本公开的另一方面，提供了一种设备控制装置，包括：
第一确定模块，用于当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定所述人脸图像的基准参考位置；
第一执行模块，用于若所述基准参考位置在所述屏幕中对应的控制位置从所述控制界面的第一按键区域外移动至所述第一按键区域中，则以第一频率执行所述第一按键区域对应的控制指令；
显示模块，用于若所述控制位置在所述第一按键区域中连续停留的时间达到第一阈值，则在所述第一按键区域中显示加速区域；
提高模块，用于若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率。
在一种可能的实现方式中，所述基准参考位置为所述人脸图像中的人脸区域的几何中心；或者，
所述基准参考位置为所述人脸区域中两个瞳孔中心的中点。
在一种可能的实现方式中，所述装置还包括：
映射模块，用于根据所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系，将所述基准参考位置映射到所述屏幕中，确定所述控制位置。
在一种可能的实现方式中，所述提高模块用于：
若所述控制位置位于所述加速区域中，则以第二频率执行所述第一按键区域对应的控制指令，其中，所述第二频率大于所述第一频率。
在一种可能的实现方式中，所述提高模块用于：
若所述控制位置位于所述加速区域中，则在所述控制位置停留在所述加速区域的过程中，执行所述第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。
在一种可能的实现方式中，所述装置还包括：
第二执行模块，用于若所述控制位置位于所述第一按键区域中所述加速区域以外的区域，则以所述第一频率执行所述第一按键区域对应的控制指令。
在一种可能的实现方式中，所述装置还包括：
第二确定模块，用于确定所述人脸图像的人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系；
第三确定模块，用于根据所述人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系，确定所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系。
在一种可能的实现方式中，所述装置还包括：
第四确定模块，用于若根据连续N帧人脸图像中的基准参考位置，确定在采集所述连续N帧人脸图像时人脸静止，则根据所述连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；
第五确定模块，用于根据所述人脸静止位置与人脸活动范围之间的位置关系，确定所述人脸静止位置对应的人脸活动范围。
根据本公开的另一方面，提供了一种设备控制装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
本公开的各方面的设备控制方法及装置通过当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像的基准参考位置，若基准参考位置在屏幕中对应的控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率，由此能够通过移动脸部控制设备，并能灵活调整控制指令的执行频率，从而能够利用人脸识别和跟踪技术方便地进行设备控制，提高了设备控制的灵活性和准确性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的设备控制方法的流程图。
图2示出根据本公开一实施例的设备控制方法的应用场景的示意图。
图3示出根据本公开一实施例的设备控制方法中控制位置位于控制界面的第一按键区域的示意图。
图4示出据本公开一实施例的设备控制方法的一示例性的流程图。
图5示出根据本公开一实施例的设备控制方法中唤醒控制界面的示意图。
图6示出根据本公开一实施例的设备控制方法中屏幕的第一区域的示意图。
图7示出根据本公开一实施例的设备控制方法的另一示例性的流程图。
图8示出根据本公开一实施例的设备控制方法中人脸活动范围中的坐标与控制界面中的坐标之间的对应关系的示意图。
图9示出根据本公开一实施例的设备控制方法中人脸活动范围中的坐标与控制界面中的坐标之间的对应关系的另一示意图。
图10示出根据本公开一实施例的设备控制装置的框图。
图11示出根据本公开一实施例的设备控制装置的一示例性的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的设备控制方法的流程图。该方法可以应用于电视、空调或者冰箱等任何需要控制的设备中，在此不作限定。如图1所示，该方法可以包括步骤S11至步骤S14。
在步骤S11中，当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像中的基准参考位置。
在本实施例中，可以通过设备的摄像头采集图像或者视频，摄像头所采集的图像或者视频帧可能为人脸图像，也可能不为人脸图像。
在一种可能的实现方式中，可以通过该设备的图像采集接口，获取摄像头采集的图像、视频或者视频帧。
在本实施例中，人脸图像可以指包含人脸的图像，或者可以指人脸区域在图像中的面积占比大于第二阈值的图像。
在一种可能的实现方式中，可以通过人脸识别模型判断采集的图像或者视频帧是否为人脸图像，并可以从采集的图像或者视频帧中确定人脸区域的位置。其中，人脸识别模型可以基于深度学习网络。例如，人脸识别模型可以为SSD-Mobilenet模型。
作为该实现方式的一个示例，若通过人脸识别模型判定采集的图像或者视频帧中包含人脸的概率大于第三阈值，则可以确定采集的图像或者视频帧为人脸图像；若通过人脸识别模型判定采集的图像或者视频帧中包含人脸的概率小于或等于第三阈值，则可以确定采集的图像或者视频帧不为人脸图像。
作为该实现方式的一个示例，从采集的图像或者视频帧中确定人脸区域的位置，可以为：从采集的图像或者视频帧中确定包含人脸的概率大于第三阈值的人脸区域的位置。
在一种可能的实现方式中，可以通过大量的训练图像训练人脸识别模型。其中，训练图像可以包括不同场景的人物图像。可以在各个训练图像中标注人脸区域，并采用各个标注了人脸区域的训练图像训练人脸识别模型。还可以基于SSD-Mobilenet模型进行迁移学习，经过多重的训练，从而得到用于人脸识别的人脸识别模型。通过迁移学习，能够提高训练人脸识别模型的效率。
在一种可能的实现方式中，将训练得到的人脸识别模型固化，可以将该人脸识别模型应用于该设备中。
图2示出根据本公开一实施例的设备控制方法的应用场景的示意图。如图2所示，可以在屏幕101上显示控制界面102。控制界面102可以悬浮在屏幕101上。摄像头103可以用于采集设备前方的图像或者视频。例如，当用户104在屏幕101前方时，摄像头103可以采集到包含用户的人脸的图像或者视频帧。摄像头103可以设置在设备的任意位置。
在一种可能的实现方式中，基准参考位置可以为人脸图像中的人脸区域的几何中心。
在另一种可能的实现方式中，基准参考位置可以为人脸区域中两个瞳孔中心的中点。
需要说明的是，尽管以人脸区域的几何中心和人脸区域中两个瞳孔中心的中点作为示例介绍了基准参考位置如上，但本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景需求和/或个人喜好灵活设置基准参考位置。例如，基准参考位置还可以为人脸区域中左嘴角和右嘴角的中点等。
在步骤S12中，若控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令。
例如，若第一按键区域的按键为音量加键，第一按键区域对应的控制指令可以为增加音量。
图3示出根据本公开一实施例的设备控制方法中控制位置位于控制界面的第一按键区域的示意图。如图3所示，控制界面可以分割为多个独立的区域，每个独立的区域可以分别为某一按键区域。用户在摄像头前移动脸部时，控制位置在控制界面中的位置将发生变化。例如，在图3中，控制位置105位于第一按键区域A2中。
在一种可能的实现方式中，该方法还包括：根据人脸图像中的坐标与屏幕中的坐标之间的对应关系，将基准参考位置映射到屏幕中，确定控制位置。在该实现方式中，可以将人脸图像中的基准参考位置映射到屏幕上，确定基准参考位置对应的控制位置在屏幕中的坐标。
在步骤S13中，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域。
在本实施例中，若该加速区域是由控制位置在第一按键区域中连续停留的时间达到第一阈值而触发显示的，则该加速区域可以位于第一按键区域中。其中，加速区域可以位于第一按键区间的中间、左上角、右上角、左下角或者右下角等，在此不作限定。
在步骤S14中，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率。
在一种可能的实现方式中，控制位置位于加速区域中，可以为：控制位置从加速区域外移动至加速区域中。
在另一种可能的实现方式中，控制位置位于加速区域中，可以为：控制位置在第一按键区域中的坐标不变，在第一按键区域中覆盖控制位置的区域显示加速区域，使控制位置位于加速区域中。
在一种可能的实现方式中，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率，包括：若控制位置位于加速区域中，则以第二频率执行第一按键区域对应的控制指令，其中，第二频率大于第一频率。例如，第二频率可以等于第一频率的2倍。
在另一种可能的实现方式中，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率，包括：若控制位置位于加速区域中，则在控制位置停留在加速区域的过程中，执行第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。例如，第三频率可以等于第一频率的4倍。
本实施例通过当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像的基准参考位置，若基准参考位置在屏幕中对应的控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率，由此能够通过移动脸部控制设备，并能灵活调整控制指令的执行频率，从而能够利用人脸识别和跟踪技术方便地进行设备控制，提高了设备控制的灵活性和准确性。。
图4示出据本公开一实施例的设备控制方法的一示例性的流程图。如图4所示，该方法可以包括步骤S11至步骤S15。
在步骤S11中，当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像中的基准参考位置。
在步骤S12中，若控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令。
在步骤S13中，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域。
在步骤S14中，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率。
在步骤S15中，若控制位置位于第一按键区域中加速区域以外的区域，则以第一频率执行第一按键区域对应的控制指令。
在一种可能的实现方式中，该方法还包括：当在屏幕上未显示控制界面时，若确定控制界面被唤醒，则在屏幕上显示控制界面。
在一种可能的实现方式中，该方法还包括：根据采集到的多帧人脸图像，确定人脸移动轨迹；在人脸移动轨迹满足条件时，确定控制界面被唤醒。
作为该实现方式的一个示例，可以按照指定帧率从采集的视频中提取视频帧，若提取的视频帧为人脸图像，则可以对各个人脸图像进行人脸跟踪，从而得到人脸移动轨迹。其中，人脸移动轨迹可以为基准参考位置的移动轨迹。
作为该实现方式的一个示例，人脸移动轨迹满足条件，可以包括：根据人脸移动轨迹，确定人脸在第一时长内左右摇头的次数达到第四阈值。
图5示出根据本公开一实施例的设备控制方法中唤醒控制界面的示意图。如图5所示，可以根据人脸静止位置，确定用于判断人脸向左摇头的左边界和用于判断人脸向右摇头的右边界。若人脸向左摇头超过左边界，在可以确定人脸向左摇头一次；若人脸向右摇头超过右边界，则可以确定人脸向右摇头一次。若在第一时长内，人脸向左摇头和向右摇头的次数各达到两次，则可以确定人脸移动轨迹满足条件。例如，第一时长为4秒。其中，用于判断人脸向左摇头的左边界的横坐标可以等于人脸静止位置的横坐标与第一值的差值，用于判断人脸向右摇头的右边界的横坐标可以等于人脸静止位置的横坐标与第一值之和。其中，第一值可以为预先设置的数值。
在本实施例中，若根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，则可以根据该连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数，例如，N等于10。例如，可以将该连续N帧人脸图像中的基准参考位置的坐标的平均值作为人脸静止位置的坐标。又如，可以将该连续N帧人脸图像中任意一帧人脸图像的基准参考位置作为人脸静止位置。。
作为该实现方式的另一个示例，人脸移动轨迹满足条件，可以包括：根据人脸移动轨迹，确定人脸在第二时长内上下点头的次数达到第五阈值。
在一种可能的实现方式中，可以根据第一视频帧中的人脸区域，确定第二视频帧中的人脸搜索范围。在第二视频帧中搜索人脸时，可以仅在该人脸搜索范围中搜索人脸，由此能够避免对整个第二视频帧进行人脸搜索，从而能够快速确定第二视频帧中的人脸区域以及基准参考位置。其中，第二视频帧可以为第一视频帧的下一个视频帧；或者，在从采集的视频中提取的视频帧中，第二视频帧可以为第一视频帧的下一个视频帧。
作为该实现方式的一个示例，第二视频帧中的人脸搜索范围的几何中心可以与第一视频帧中的人脸区域的几何中心重合，且第二视频帧中的人脸搜索范围的面积是第一视频帧中的人脸区域的S倍，其中，S大于1。
在该实现方式中，若在第二视频帧的人脸搜索范围内未检测到人脸区域，则可以扩大人脸搜索范围，或者可以在整个第二视频帧中进行人脸搜索。
在该实现方式中，若在第三视频帧中未检测到人脸区域，则在第四视频帧中进行人脸搜索时，可以在整个第四视频帧中进行人脸搜索。其中，第四视频帧可以为第三视频帧的下一个视频帧；或者，在从采集的视频中提取的视频帧中，第四视频帧可以为第三视频帧的下一个视频帧。
在一种可能的实现方式中，在屏幕上显示控制界面之前，该方法还包括：根据该设备的参数，获取该设备对应的控制界面的布局信息，其中，该设备的参数包括该设备的型号。在屏幕上显示控制界面，包括：根据该设备对应的控制界面的布局信息，在屏幕上显示控制界面。该实现方式中，控制界面的布局信息可以包括控制界面中各个按键的布局信息。
作为该实现方式的一个示例，根据该设备的参数，获取该设备对应的控制界面的布局信息，包括：若确定控制界面被唤醒，且该设备中不存在该控制界面的布局信息，则根据该设备的参数，获取该设备对应的控制界面的布局信息。
作为该实现方式的一个示例，该设备的参数还可以包括该设备的固件版本号。
在一种可能的实现方式中，若从服务器端获取不到该设备对应的控制界面的布局信息，则可以根据默认的布局信息显示控制界面。例如，影视列表的浏览页面对应的默认的布局信息可以包含上、下、左、右、确定和返回等基础按键的布局信息；影视的播放页面对应的默认的布局信息可以包含暂停、快进、快退、音量加、音量减和退出等基础按键的布局信息。
在一种可能的实现方式中，可以根据控制界面配置请求，配置控制界面。根据该实现方式，用户可以根据个人喜好配置控制界面。在该实现方式中，还可以针对控制界面配置请求配置得到的布局信息生成唯一标识符，并根据唯一标识符将该布局信息保存在设备中，或者上传至服务器。设备可以通过唯一标识符获取已配置的布局信息。
在一种可能的实现方式中，在屏幕上显示控制界面，包括：确定屏幕上显示的内容的类型；在屏幕上显示该类型对应的控制界面。
例如，若屏幕上显示的内容的类型为多媒体应用，则可以加载多媒体应用对应的控制界面并显示；若屏幕上显示的内容的类型为文本浏览页面，则可以加载文本浏览页面对应的控制界面并显示。其中，文本浏览页面对应的控制界面可以包含方向键和缩放键等按键。
在一种可能的实现方式中，该方法还包括：通过该设备上的摄像头采集视频；在屏幕的第一区域中实时展示采集的视频。在该实现方式中，该设备的摄像头可以为普通摄像头，也可以为支持焦距的缩放以及背景光补偿等功能的增强摄像头等，在此不作限定。若该设备的摄像头为增强摄像头，则有助于提高人脸识别的准确率。在该实现方式中，为了不影响用户观看屏幕，第一区域的面积可以较小。
在一种可能的实现方式中，还可以在第一区域中展示基准参考位置。
图6示出根据本公开一实施例的设备控制方法中屏幕的第一区域的示意图。如图6示，可以在屏幕101的第一区域106中实时展示采集的视频。本实施例不对第一区域106在屏幕101中的位置进行限定。例如，第一区域106可以位于屏幕101的左上角、左下角、右上角或者右下角等。
图7示出根据本公开一实施例的设备控制方法的另一示例性的流程图。如图7所示，该方法可以包括步骤S21至步骤S26。
在步骤S21中，确定人脸图像的人脸活动范围中的坐标与控制界面中的坐标之间的对应关系。
图8示出根据本公开一实施例的设备控制方法中人脸活动范围中的坐标与控制界面中的坐标之间的对应关系的示意图。如图8所示，人脸图像107中的人脸活动范围108的宽为w1、高为h1，屏幕101中的控制界面102的宽为w2、高为h2。人脸活动范围108的左上角坐标与控制界面102的左上角坐标相对应，人脸活动范围108的左下角坐标与控制界面102的左下角坐标相对应，人脸活动范围108的右上角坐标与控制界面102的右上角坐标相对应，人脸活动范围108的右下角坐标与控制界面102的右下角坐标相对应。人脸活动范围108中的其他坐标按比例与控制界面102中的坐标建立对应关系。由此，人脸活动范围108中的各个坐标均被映射到控制界面102中。
在一种可能的实现方式中，人脸活动范围在人脸图像中的位置可以预先设置。在该实现方式中，可以预先设置人脸图像中人脸活动范围的左上角坐标、右上角坐标、左下角坐标和右下角坐标。或者，可以预先设置人脸图像中人脸活动范围的长度、宽度以及其中一个顶点的坐标。
在另一种可能的实现方式中，该方法还可以包括：若根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，则根据该连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；根据人脸静止位置与人脸活动范围之间的位置关系，确定人脸静止位置对应的人脸活动范围。
作为该实现方式的一个示例，根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，可以包括：若该连续N帧人脸图像中的基准参考位置相同，则确定在采集该连续N帧人脸图像时人脸静止。
作为该实现方式的另一个示例，根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，可以包括：若该连续N帧人脸图像中任意两个人脸图像的基准参考位置之间的距离均小于第十阈值，则确定在采集该连续N帧人脸图像时人脸静止。
作为该实现方式的另一个示例，根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，可以包括：若该连续N帧人脸图像中任意相邻的两个人脸图像的基准参考位置之间的距离均小于第十一阈值，则确定在采集该连续N帧人脸图像时人脸静止。
作为该实现方式的一个示例，根据该连续N帧人脸图像中的基准参考位置确定人脸静止位置，可以包括：将该连续N帧人脸图像中的基准参考位置的坐标的平均值作为人脸静止位置的坐标。
作为该实现方式的另一个示例，根据该连续N帧人脸图像中的基准参考位置确定人脸静止位置，可以包括：将该连续N帧人脸图像中任意一帧人脸图像的基准参考位置作为人脸静止位置。
在该实现方式中，人脸静止位置与人脸活动范围之间的位置关系可以预先设置。例如，人脸静止位置与人脸活动范围之间的位置关系可以包括：人脸静止位置与人脸活动范围的左边界的距离，人脸静止位置与人脸活动范围的右边界的距离，人脸静止位置与人脸活动范围的上边界的距离，以及人脸静止位置与人脸活动范围的下边界的距离。
在该实现方式中，已知人脸静止位置，以及人脸静止位置与人脸活动范围之间的位置关系，可以确定人脸活动范围在人脸图像中的位置。
在步骤S22中，根据人脸活动范围中的坐标与控制界面中的坐标之间的对应关系，确定人脸图像中的坐标与屏幕中的坐标之间的对应关系。
在一种可能的实现方式中，根据人脸活动范围中的坐标与控制界面中的坐标之间的对应关系，可以按比例确定人脸图像中人脸活动范围外的坐标与屏幕中控制界面外的坐标之间的对应关系。根据人脸活动范围中的坐标与控制界面中的坐标之间的对应关系，以及人脸图像中人脸活动范围外的坐标与屏幕中控制界面外的坐标之间的对应关系，可以确定人脸图像中的各个坐标与屏幕中的坐标之间的对应关系。图9示出根据本公开一实施例的设备控制方法中人脸活动范围中的坐标与控制界面中的坐标之间的对应关系的另一示意图。如图9所示，可以将人脸图像107中区域A1的坐标按比例映射至屏幕101的区域B1中，可以将人脸图像107中区域A2的坐标按比例映射至屏幕101的区域B2中，可以将人脸图像107中区域A3的坐标按比例映射至屏幕101的区域B3中，可以将人脸图像107中区域A4的坐标按比例映射至屏幕101的区域B4中。在该实现方式中，虽然可以建立人脸图像107中人脸活动范围108外的坐标与屏幕101中控制界面102外的坐标之间的对应关系，但在屏幕101中显示控制位置时，为了不影响用户观看屏幕上的内容，可以采用如下方式显示控制位置：当基准参考位置从人脸活动范围的左边界离开时，控制位置可以显示在控制界面的左边界上；当基准参考位置从人脸活动范围的上边界离开时，控制位置可以显示在控制界面的上边界上；当基准参考位置从人脸活动范围的右边界离开时，控制位置可以显示在控制界面的右边界上；当基准参考位置从人脸活动范围的左边界离开时，控制位置可以显示在控制界面的右边界上。
在另一种可能的实现方式中，可以根据人脸图像的左上角顶点、人脸图像的左下角顶点、人脸活动范围的左上角顶点以及人脸活动范围的左下角顶点，确定第一人脸区域；根据人脸图像的左上角顶点、人脸图像的右上角顶点、人脸活动范围的左上角顶点以及人脸活动范围的右上角顶点，确定第二人脸区域；根据人脸图像的右上角顶点、人脸图像的右下角顶点、人脸活动范围的右上角顶点以及人脸活动范围的右下角顶点，确定第三人脸区域；根据人脸图像的左下角顶点、人脸图像的右下角顶点、人脸活动范围的左下角顶点以及人脸活动范围的右下角顶点，确定第四人脸区域。其中，第一人脸区域、第二人脸区域、第三人脸区域和第四人脸区域可以均为四边形。可以将第一人脸区域中的坐标映射到控制界面的左边界上，将第二人脸区域中的坐标映射到控制界面的上边界上，将第三人脸区域中的坐标映射到控制界面的右边界上，将第四人脸区域中的坐标映射到控制界面的下边界上。第一人脸区域与第二人脸区域重合的坐标，可以映射到控制界面的左上角顶点上；第二人脸区域与第三人脸区域重合的坐标，可以映射到控制界面的右上角顶点上；第三人脸区域与第四人脸区域重合的坐标，可以映射到控制界面的右下角顶点上；第四人脸区域与第一人脸区域重合的坐标，可以映射到控制界面的左下角顶点上。
在步骤S23中，当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像中的基准参考位置。
其中，对步骤S23参见上文对步骤S11的描述。
在步骤S24中，若控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令。
其中，对步骤S24参见上文对步骤S12的描述。
在步骤S25中，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域。
其中，对步骤S25参见上文对步骤S13的描述。
在步骤S26中，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率。
其中，对步骤S26参见上文对步骤S14的描述。
在一种可能的实现方式中，当屏幕中显示控制界面，且控制位置位于控制界面的边界的持续时长达到第六阈值时，可以隐藏控制界面，即，可以不再显示控制界面。
在另一种可能的实现方式中，当屏幕中显示控制界面，且控制位置离开控制界面中所有按键区域的持续时长均达到第七阈值时，可以隐藏控制界面。
在另一种可能的实现方式中，当屏幕中显示控制界面时，若接收到隐藏控制界面的指令，则隐藏控制界面。
图10示出根据本公开一实施例的设备控制装置的框图。如图10所示，该装置包括：第一确定模块91，用于当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像的基准参考位置；第一执行模块92，用于若基准参考位置在屏幕中对应的控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令；显示模块93，用于若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域；提高模块94，用于若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率。
在一种可能的实现方式中，基准参考位置为人脸图像中的人脸区域的几何中心；或者，基准参考位置为人脸区域中两个瞳孔中心的中点。
图11示出根据本公开一实施例的设备控制装置的一示例性的框图。如图11所示：
在一种可能的实现方式中，该装置还包括：映射模块95，用于根据人脸图像中的坐标与屏幕中的坐标之间的对应关系，将基准参考位置映射到屏幕中，确定控制位置。
在一种可能的实现方式中，提高模块94用于：若控制位置位于加速区域中，则以第二频率执行第一按键区域对应的控制指令，其中，第二频率大于第一频率。
在一种可能的实现方式中，提高模块94用于：若控制位置位于加速区域中，则在控制位置停留在加速区域的过程中，执行第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。
在一种可能的实现方式中，该装置还包括：第二执行模块96，用于若控制位置位于第一按键区域中加速区域以外的区域，则以第一频率执行第一按键区域对应的控制指令。
在一种可能的实现方式中，该装置还包括：第二确定模块97，用于确定人脸图像的人脸活动范围中的坐标与控制界面中的坐标之间的对应关系；第三确定模块98，用于根据人脸活动范围中的坐标与控制界面中的坐标之间的对应关系，确定人脸图像中的坐标与屏幕中的坐标之间的对应关系。
在一种可能的实现方式中，该装置还包括：第四确定模块99，用于若根据连续N帧人脸图像中的基准参考位置，确定在采集该连续N帧人脸图像时人脸静止，则根据该连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；第五确定模块90，用于根据人脸静止位置与人脸活动范围之间的位置关系，确定人脸静止位置对应的人脸活动范围。
本实施例通过当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定人脸图像的基准参考位置，若基准参考位置在屏幕中对应的控制位置从控制界面的第一按键区域外移动至第一按键区域中，则以第一频率执行第一按键区域对应的控制指令，若控制位置在第一按键区域中连续停留的时间达到第一阈值，则在第一按键区域中显示加速区域，若控制位置位于加速区域中，则提高执行第一按键区域对应的控制指令的频率，由此能够通过移动脸部控制设备，并能灵活调整控制指令的执行频率，从而能够利用人脸识别和跟踪技术方便地进行设备控制，提高了设备控制的灵活性和准确性。。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种设备控制方法，其特征在于，包括：
当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定所述人脸图像的基准参考位置；
若所述基准参考位置在所述屏幕中对应的控制位置从所述控制界面的第一按键区域外移动至所述第一按键区域中，则以第一频率执行所述第一按键区域对应的控制指令；
若所述控制位置在所述第一按键区域中连续停留的时间达到第一阈值，则在所述第一按键区域中显示加速区域；
若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率；
若控制位置位于第一按键区域中加速区域以外的区域，则以第一频率执行第一按键区域对应的控制指令。
2.根据权利要求1所述的方法，其特征在于，所述基准参考位置为所述人脸图像中的人脸区域的几何中心；或者，
所述基准参考位置为所述人脸区域中两个瞳孔中心的中点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系，将所述基准参考位置映射到所述屏幕中，确定所述控制位置。
4.根据权利要求1所述的方法，其特征在于，若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率，包括：
若所述控制位置位于所述加速区域中，则以第二频率执行所述第一按键区域对应的控制指令，其中，所述第二频率大于所述第一频率。
5.根据权利要求1所述的方法，其特征在于，若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率，包括：
若所述控制位置位于所述加速区域中，则在所述控制位置停留在所述加速区域的过程中，执行所述第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述人脸图像的人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系；
根据所述人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系，确定所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若根据连续N帧人脸图像中的基准参考位置，确定在采集所述连续N帧人脸图像时人脸静止，则根据所述连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；
根据所述人脸静止位置与人脸活动范围之间的位置关系，确定所述人脸静止位置对应的人脸活动范围。
8.一种设备控制装置，其特征在于，包括：
第一确定模块，用于当在设备的屏幕上显示控制界面时，若采集到人脸图像，则确定所述人脸图像的基准参考位置；
第一执行模块，用于若所述基准参考位置在所述屏幕中对应的控制位置从所述控制界面的第一按键区域外移动至所述第一按键区域中，则以第一频率执行所述第一按键区域对应的控制指令；
显示模块，用于若所述控制位置在所述第一按键区域中连续停留的时间达到第一阈值，则在所述第一按键区域中显示加速区域；
提高模块，用于若所述控制位置位于所述加速区域中，则提高执行所述第一按键区域对应的控制指令的频率；
第二执行模块，用于若所述控制位置位于所述第一按键区域中所述加速区域以外的区域，则以所述第一频率执行所述第一按键区域对应的控制指令。
9.根据权利要求8所述的装置，其特征在于，所述基准参考位置为所述人脸图像中的人脸区域的几何中心；或者，
所述基准参考位置为所述人脸区域中两个瞳孔中心的中点。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
映射模块，用于根据所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系，将所述基准参考位置映射到所述屏幕中，确定所述控制位置。
11.根据权利要求8所述的装置，其特征在于，所述提高模块用于：
若所述控制位置位于所述加速区域中，则以第二频率执行所述第一按键区域对应的控制指令，其中，所述第二频率大于所述第一频率。
12.根据权利要求8所述的装置，其特征在于，所述提高模块用于：
若所述控制位置位于所述加速区域中，则在所述控制位置停留在所述加速区域的过程中，执行所述第一按键区域对应的控制指令的频率逐渐增大，直至达到第三频率，其中，所述第三频率大于所述第一频率。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于确定所述人脸图像的人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系；
第三确定模块，用于根据所述人脸活动范围中的坐标与所述控制界面中的坐标之间的对应关系，确定所述人脸图像中的坐标与所述屏幕中的坐标之间的对应关系。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
第四确定模块，用于若根据连续N帧人脸图像中的基准参考位置，确定在采集所述连续N帧人脸图像时人脸静止，则根据所述连续N帧人脸图像中的基准参考位置确定人脸静止位置，其中，N为大于1的整数；
第五确定模块，用于根据所述人脸静止位置与人脸活动范围之间的位置关系，确定所述人脸静止位置对应的人脸活动范围。
15.一种设备控制装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至7中任意一项所述的方法。
16.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN201810278246.3A 2018-03-30 2018-03-30 设备控制方法及装置 Active CN108519821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810278246.3A CN108519821B (zh) 2018-03-30 2018-03-30 设备控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810278246.3A CN108519821B (zh) 2018-03-30 2018-03-30 设备控制方法及装置

Publications (2)

Publication Number Publication Date
CN108519821A CN108519821A (zh) 2018-09-11
CN108519821B true CN108519821B (zh) 2021-10-29

Family

ID=63431002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810278246.3A Active CN108519821B (zh) 2018-03-30 2018-03-30 设备控制方法及装置

Country Status (1)

Country Link
CN (1) CN108519821B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236013A (ja) * 2005-02-25 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN101632299A (zh) * 2007-04-24 2010-01-20 深圳Tcl新技术有限公司 带有手动触发元件的电视机遥控器系统和遥控方法
CN104020876A (zh) * 2014-05-13 2014-09-03 小米科技有限责任公司 触控组件、参数调整方法、控制器及电子设备
CN104571829A (zh) * 2013-10-15 2015-04-29 联想(北京)有限公司 一种终端的显示控制方法及终端
CN105260109A (zh) * 2015-08-27 2016-01-20 广东欧珀移动通信有限公司 一种播放速度调节方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236013A (ja) * 2005-02-25 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム
CN101632299A (zh) * 2007-04-24 2010-01-20 深圳Tcl新技术有限公司 带有手动触发元件的电视机遥控器系统和遥控方法
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN104571829A (zh) * 2013-10-15 2015-04-29 联想(北京)有限公司 一种终端的显示控制方法及终端
CN104020876A (zh) * 2014-05-13 2014-09-03 小米科技有限责任公司 触控组件、参数调整方法、控制器及电子设备
CN105260109A (zh) * 2015-08-27 2016-01-20 广东欧珀移动通信有限公司 一种播放速度调节方法及终端

Also Published As

Publication number Publication date
CN108519821A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
CN109683716B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
US11636644B2 (en) Output of virtual content
US10990226B2 (en) Inputting information using a virtual canvas
RU2613038C2 (ru) Способ управления оконечным устройством с использованием жеста и устройство
KR20220130197A (ko) 촬영 방법, 장치, 전자설비 및 저장매체
US8379098B2 (en) Real time video process control using gestures
CN115315679A (zh) 在多用户环境中使用手势来控制设备的方法和系统
CN103379274A (zh) 相机装置及其控制方法
KR20170064242A (ko) 영상통화를 제공하는 전자 장치 및 방법
US20170332064A1 (en) Content navigation
CN105393530A (zh) 用于显示全景照片的缩略图图像的设备、方法及计算机可读记录介质
CN111010510A (zh) 一种拍摄控制方法、装置及电子设备
KR102061867B1 (ko) 이미지 생성 장치 및 그 방법
EP2753094B1 (en) Method and apparatus for controlling contents in electronic device
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN112764845A (zh) 视频处理方法及装置、电子设备和计算机可读存储介质
US20200106967A1 (en) System and method of configuring a virtual camera
WO2018192094A1 (zh) 场景展示方法及装置
CN111491124B (zh) 视频处理方法、装置及电子设备
CN108519821B (zh) 设备控制方法及装置
JP2013080266A (ja) 入力装置
GB2513865A (en) A method for interacting with an augmented reality scene
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
US9761009B2 (en) Motion tracking device control systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200515

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant