CN106203299A - 一种可操控设备的控制方法和装置 - Google Patents

一种可操控设备的控制方法和装置 Download PDF

Info

Publication number
CN106203299A
CN106203299A CN201610509806.2A CN201610509806A CN106203299A CN 106203299 A CN106203299 A CN 106203299A CN 201610509806 A CN201610509806 A CN 201610509806A CN 106203299 A CN106203299 A CN 106203299A
Authority
CN
China
Prior art keywords
human body
operator
attitude information
information
personage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610509806.2A
Other languages
English (en)
Inventor
毛年
毛一年
刘新民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airlango Technology Co Ltd
Original Assignee
Beijing Airlango Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airlango Technology Co Ltd filed Critical Beijing Airlango Technology Co Ltd
Priority to CN201610509806.2A priority Critical patent/CN106203299A/zh
Publication of CN106203299A publication Critical patent/CN106203299A/zh
Priority to US15/627,506 priority patent/US10710244B2/en
Priority to PCT/CN2017/090357 priority patent/WO2018001245A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23021—Gesture programming, camera sees hand, displays it on screen, grasp buttons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种可操控设备的控制方法和装置，该方法包括：获取操作者的第一人体姿态信息；利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；执行所述第一人体姿态信息对应的操作指令。通过本发明的技术方案，可操控设备可以基于操作者的人体姿态信息，自动执行人体姿态信息对应的操作指令，不需要操作者使用手动遥控器控制可操控设备执行相关操作，操作者的操作难度较低，使可操控设备更容易的被消费者接受，可操控设备得到更广泛的使用。

Description

一种可操控设备的控制方法和装置
技术领域
本发明涉及智能技术领域，尤其涉及一种可操控设备的控制方法和装置。
背景技术
近年来，各种类型的机器人(Robot)，如民用无人机、工业类机器人、消费类机器人等，在技术和市场方面发展迅猛，机器人是自动执行工作的机器装置，是依靠自身动力和控制能力来实现各种功能的机器。机器人可以接受人类指挥，也可以运行预先编排的程序，还可以根据以人工智能制定的策略行动。
当前的机器人，都是操作者使用手动遥控器控制机器人执行相关操作。具体的，操作者使用手动遥控器，通过无线方式向机器人下发操作命令，机器人在接收到该操作命令后，执行该操作命令指定的操作，从而完成相关功能。
但是，上述方式对操作者的入门要求很高，操作者的操作难度很高。
发明内容
本发明提供一种可操控设备的控制方法，应用在可操控设备上，包括：
获取操作者的第一人体姿态信息；
利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
执行所述第一人体姿态信息对应的操作指令。
在一个例子中，所述可操控设备上还包括摄像头，所述获取操作者的第一人体姿态信息的过程，具体包括：
通过所述摄像头采集第一图像，并从所述第一图像中定位出待检测人物；
利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；
如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
在一个例子中，所述利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程，具体包括：
当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，
当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
在一个例子中，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
在一个例子中，所述基于所述第一图像分析出所述操作者的第一人体姿态信息的过程，具体包括：
从所述第一图像中定位出所述操作者对应的区域；
对所述区域进行特征提取，得到第一特征向量；
比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，且所述姿态模版包括所述姿态对应的第二特征向量；
选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
本发明提供一种可操控设备的控制装置，应用在可操控设备上，包括：
第一获取模块，用于获取操作者的第一人体姿态信息；
第二获取模块，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
操作模块，用于执行所述第一人体姿态信息对应的操作指令。
在一个例子中，所述可操控设备上还包括摄像头；所述第一获取模块，具体用于在获取操作者的第一人体姿态信息的过程中，通过所述摄像头采集第一图像，并从所述第一图像中定位出待检测人物；利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
在一个例子中，所述第一获取模块，具体用于在利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程中，当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
在一个例子中，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
在一个例子中，所述第一获取模块，具体用于在基于所述第一图像分析出所述操作者的第一人体姿态信息的过程中，从第一图像中定位出所述操作者对应的区域；对所述区域进行特征提取，得到第一特征向量；比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，所述姿态模版包括所述姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
本发明提供一种可操控设备的控制方法，应用于包括可操控设备和服务端的网络中，所述可操控设备上包括摄像头，该方法应用在服务端上，包括：
接收所述可操控设备通过所述摄像头采集到的图像；
利用所述图像获取操作者的第一人体姿态信息；
利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
本发明提供一种可操控设备的控制装置，应用于包括可操控设备和服务端的网络中，所述可操控设备上包括摄像头，该装置应用在服务端上，包括：
接收模块，用于接收所述可操控设备通过所述摄像头采集到的图像；
第一获取模块，用于利用所述图像获取操作者的第一人体姿态信息；
第二获取模块，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
发送模块，用于将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
基于上述技术方案，本发明实施例中，可操控设备可以基于操作者的人体姿态信息，自动执行该人体姿态信息对应的操作指令，而不需要操作者使用手动遥控器控制可操控设备执行相关操作，对操作者的入门要求较低，且操作者的操作难度较低，使可操控设备能够更容易的被消费者接受，使得可操控设备得到更广泛的使用。而且，可操控设备的执行效果更好，执行准确度很高。
附图说明
为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明一种实施方式中的可操控设备的控制方法的流程图；
图2是本发明另一种实施方式中的可操控设备的控制方法的流程图；
图3是本发明另一种实施方式中的可操控设备的控制方法的流程图；
图4是本发明一种实施方式中的可操控设备的硬件结构图；
图5是本发明一种实施方式中的可操控设备的控制装置的结构图；
图6是本发明一种实施方式中的服务端的硬件结构图；
图7是本发明另一种实施方式中的可操控设备的控制装置的结构图。
具体实施方式
在本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于确定”。
针对现有技术中存在的问题，本发明实施例中提出了一种可操控设备的控制方法，该方法可以应用在可操控设备上，该可操控设备具体可以包括但不限于：智能机器人、智能拍摄无人机、智能相机等。其中，该智能机器人可以为工业类机器人、消费类机器人等。该智能机器人是自动执行工作的机器装置，是依靠自身动力和控制能力来实现各种功能的机器，可以接受人类指挥，也可以运行预先编排的程序，还可以根据以人工智能制定的策略行动。在一个例子中，可操控设备可以应用在游戏场景、人像拍照(如航拍)、人机互动等场景。
在上述应用场景下，如图1所示，该可操控设备的控制方法包括以下步骤：
步骤101，获取操作者的第一人体姿态信息。
步骤102，利用该第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到该第一人体姿态信息对应的操作指令。
步骤103，执行该第一人体姿态信息对应的操作指令。
针对步骤101，在一个例子中，该第一人体姿态信息具体可以包括但不限于：静态姿态信息和/或动态姿态信息。其中，该静态姿态信息具体可以包括：肢体的状态信息，例如，一只手的大臂与小臂成90度弯曲。此外，该动态姿态信息具体可以包括：肢体的动作信息，例如，一只手从左向右的挥动。
针对步骤101，可操控设备上还可以包括摄像头，该摄像头可以是单目摄像头，或者双目摄像头，或者非可见光的摄像头(例如红外线感光成像)。
基于此摄像头，在该可操控设备的控制方法中，针对步骤101，如图2所示，获取操作者的第一人体姿态信息的过程，具体可以包括但不限于如下步骤：
步骤201，通过摄像头采集第一图像，并从第一图像中定位出待检测人物。
步骤202，利用该待检测人物的特征信息，判断该待检测人物是否为操作者。如果是，则执行步骤203；如果否，则返回步骤201，继续采集第一图像。
步骤203，基于该第一图像分析出操作者的第一人体姿态信息。
在一个例子中，当第一人体姿态信息为静态姿态信息时，可以通过一个图像就分析出操作者的静态姿态信息，因此，通过摄像头采集的第一图像的数量可以为一个，也可以为多个，并可以基于一个或者多个第一图像分析出操作者的第一人体姿态信息。当第一人体姿态信息为动态姿态信息时，需要通过多个图像才能够分析出操作者的动态姿态信息，因此，通过摄像头采集的第一图像的数量可以为多个，这多个第一图像是一组连续的图像，可以为一个视频，且可以基于这多个第一图像分析出操作者的第一人体姿态信息。
针对步骤201，操作者在控制可操控设备启动之后，可操控设备通过摄像头在目标区域内采集第一图像。如果第一图像中有人物出现，将该人物作为待检测人物，并从第一图像中定位出该待检测人物。如果第一图像中没有人物出现，则在目标区域内采集新的第一图像，以此类推，一直到采集到包含待检测人物的第一图像。其中，可操控设备在目标区域内采集新的第一图像的过程中，可以通过在目标区域内移动和/或转动方向，以在目标区域内采集新的第一图像。
针对可操控设备从第一图像中定位出待检测人物的过程，由于第一图像中除了包含待检测人物，还可能包含其它信息，如待检测人物后面的树木、旁边的花草、小河等，因此，可操控设备需要从第一图像中定位出待检测人物。其中，在从第一图像中定位出待检测人物的过程中，可以通过人体轮廓、人脸识别、或深度学习等方式，对第一图像进行全局人体搜索，以定位出待检测人物。
针对步骤202，利用该待检测人物的特征信息，判断该待检测人物是否为操作者的过程，具体可以包括但不限于如下方式：方式一、当该特征信息为待检测人物在第一图像中的人脸特征信息时，则可以比较待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定该待检测人物是操作者；否则，确定该待检测人物不是操作者。或者，方式二、当该特征信息为待检测人物在第二图像中的第二人体姿态信息时，则可以判断待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定该待检测人物是操作者；否则，确定该待检测人物不是操作者。
当然，在实际应用中，并不局限于上述两种方式来确定待检测人物是否为操作者，还可以使用其它特征，如人体特征(体态+步行的姿态)，衣服的颜色+帽子，身高+眉毛等等，来确定待检测人物是否为操作者，对此方式不做限制。
针对方式一，可以在可操控设备上预先配置操作者的人脸特征信息，在从第一图像中定位出待检测人物之后，基于人脸识别技术，比较该待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定该待检测人物是操作者；否则确定该待检测人物不是操作者。
在一个例子中，可以采用特征匹配算法，比较待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息。在一种可行的特征匹配算法中，从第一图像中提取待检测人物的人脸特征信息，如提取Haar(哈尔)特征、LBP(Local Binary Pattern，局部二值模式)特征、HOG(Histogram of Oriented Gradients，方向梯度直方图)特征等。之后，将提取出的待检测人物的人脸特征信息作为输入发送到分类器，如SVM(Support VectorMachine，支持向量机)分类器、CC(Cascade Classifier，级联分类器)等。分类器对待检测人物的人脸特征信息进行打分评判，得出待检测人物的人脸特征信息与预先配置的操作者的人脸特征信息的相似度，继而基于二者的相似度确定该待检测人物是否是操作者。
针对方式二，为了快速识别出待检测人物是否是操作者，可以在可操控设备上预先配置姿态密码，该姿态密码是用于表示操作者的姿态或者手势(如该姿态密码可以是一个不常用的特殊姿态或者手势)，且匹配到该姿态密码表示允许可操控设备开启操作指令。例如，该姿态密码可以是一只手大臂与小臂成90度弯曲，大臂与肩膀同高，小臂向上，同时另一只手伸直约成45度角斜向下，这样的姿态形成了一个姿态密码，当然，这只是姿态密码的一个示例，实际应用中可以任意配置，本申请实施例中对此姿态密码不做限制。基于此姿态密码，可操控设备可快速识别出操作者，同时家人、办公室同事等其它知道姿态密码的操作者，也可快速识别出操作者，时间效率和准确度都很高。
在通过摄像头采集第一图像之前，还可以通过摄像头采集第二图像，并从第二图像中定位出待检测人物，并基于第二图像分析出待检测人物的第二人体姿态信息。如果待检测人物的第二人体姿态信息匹配预先配置的姿态密码，则认为在之后的预设时间内(如3分钟)，采集到的第一图像中的待检测人物都是操作者，在预设时间之后，则需要重新采集第二图像。如果待检测人物的第二人体姿态信息不匹配预先配置的姿态密码，则需要重新采集第二图像。
在一个例子中，第一图像和第二图像只是为了区分方便，给出的一个示例。第二图像的作用是为了区分出待检测人物的第二人体姿态信息是否匹配预先配置的姿态密码。而第一图像的作用是为了分析出操作者的第一人体姿态信息。
在一个例子中，基于第二图像分析出待检测人物的第二人体姿态信息，并判断第二人体姿态信息是否匹配姿态密码的过程，可以包括但不限于如下方式：从第二图像中定位出待检测人物对应的区域；对该区域进行特征提取，得到第一特征向量，该第一特征向量就是待检测人物的第二人体姿态信息。进一步的，比较该第一特征向量与姿态密码对应的第二特征向量的相似度。如果二者的相似度大于预设阈值，则确定该第二人体姿态信息匹配姿态密码。如果二者的相似度不大于预设阈值，则确定该第二人体姿态信息不匹配姿态密码。
在一个例子中，姿态密码可以是用于识别操作者的一个标识，可以预先配置到可操控设备上(如由厂家直接配置在可操控设备上，也可以由用户自定义到可操控设备上)，也可以由可操控设备主动学习该姿态密码。针对可操控设备主动学习该姿态密码的过程，可以让操作者摆出该姿态密码的姿势或者手势，由可操控设备采集此时的图像，这个图像就是正样本图像。还可以让操作者摆出不是该姿态密码的姿势或者手势，由可操控设备采集此时的图像，这个图像就是负样本图像。可操控设备获得大量的正样本图像和大量的负样本图像后，就可以使用这些正样本图像和负样本图像训练SVM分类器，得到姿态密码对应的第二特征向量，对训练过程不再详加赘述。在将第一特征向量输入到SVM分类器后，SVM分类器就可以比较出第一特征向量与第二特征向量的相似度。
当然，在实际应用中，并不局限于采用上述SVM分类器来训练出姿态密码对应的第二特征向量，例如，还可以采用深度学习网络等其它方式，训练出姿态密码对应的第二特征向量，并使用深度学习网络来比较出第一特征向量与第二特征向量的相似度，本申请实施例中对此方式不做具体限制。
针对步骤202，在利用待检测人物的特征信息，判断待检测人物是否为操作者后，如果该待检测人物不是操作者，则在目标区域通过摄像头采集包含另一待检测人物的第一图像，并从第一图像中定位出待检测人物，继续执行步骤202。
针对步骤203，基于第一图像分析出操作者的第一人体姿态信息的过程，可以包括但不限于如下方式：从第一图像中定位出操作者对应的区域；对该区域进行特征提取，得到第一特征向量；比较第一特征向量与每个姿态模版的相似度，针对操作者的每个姿态维护一个姿态模版，且姿态模版包括姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为操作者的第一人体姿态信息。
在一个例子中，针对每个姿态(是指需要对应操作指令的每个姿态)，可以让操作者摆出该姿态，由可操控设备采集此时的图像，这个图像就是正样本图像。还可以让操作者不摆出该姿态，由可操控设备采集此时的图像，这个图像就是负样本图像。可操控设备在获得大量的正样本图像和大量的负样本图像后，就可以使用这些正样本图像和负样本图像训练SVM分类器，得到该姿态对应的第二特征向量，对训练过程不再详加赘述。进一步的，维护该姿态的姿态模版，且该姿态模版包括姿态对应的该第二特征向量。姿态模版可以是在用户使用可操控设备之前预先定义的，也可以是用户自身定义的。在将第一特征向量输入到SVM分类器之后，SVM分类器就可以比较出第一特征向量与第二特征向量的相似度，继而可以选取出相似度最大的姿态模版的姿态。针对相似度最大的姿态模版的姿态，如果第一特征向量与该姿态对应的第二特征向量的相似度大于预设阈值，则将该姿态确定为操作者的第一人体姿态信息；如果第一特征向量与该姿态对应的第二特征向量的相似度不大于预设阈值，则该姿态不是操作者的第一人体姿态信息，继续采集图像以分析出第一人体姿态信息。
当然，在实际应用中，并不局限于采用上述SVM分类器来训练出姿态对应的第二特征向量，例如，还可以采用深度学习网络等其它方式，训练出姿态对应的第二特征向量，并使用深度学习网络来比较出第一特征向量与第二特征向量的相似度，本申请实施例中对此方式不做具体限制。
针对步骤102，在利用第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到该第一人体姿态信息对应的操作指令之前，还可以在可操控设备上预先配置人体姿态信息与操作指令的对应关系，即需要首先定义一系列的人体姿态信息(即姿态)，以及每个人体姿态信息对应的操作指令。
在一个例子中，在可操控设备出厂前，可以在可操控设备上预先配置人体姿态信息和操作指令的对应关系。或者，可以在可操控设备出厂后，通过有线方式或者无线方式将人体姿态信息和操作指令的对应关系配置到可操控设备上。或者，在可操控设备出厂前，可以在可操控设备上预先配置人体姿态信息，在可操控设备出厂后，可以通过有线方式或者无线方式将人体姿态信息对应的操作指令配置到可操控设备上。或者，在可操控设备出厂前，可以在可操控设备上预先配置操作指令，在可操控设备出厂后，可以通过有线方式或者无线方式将操作指令对应的人体姿态信息配置到可操控设备上。
针对步骤103，在执行该第一人体姿态信息对应的操作指令的过程中，该操作指令可以包括但不限于：行动指令、拍照指令、自动充电指令、回到原点指令。例如，对于智能拍摄无人机来说，这个操作指令可以是行动指令(例如向某个方向飞行1米)，也可以是拍照指令，还可以是一组复杂动作的总体指令(例如原地转360度拍出多张照片，然后合成全景照片)。此外，对于智能机器人来说，这个操作指令可以是回到充电装置自动充电，还可以是把某个物品放置回到原点等。此外，对于智能相机来说，这个操作指令可以是拍照指令，例如在3秒后进行拍照或者在5秒后进行拍照等。当然，上述过程只是给出了操作指令的几个示例，在实际应用中，并不局限于上述操作指令，对于智能机器人、智能拍摄无人机、智能相机，操作指令等可操控设备，其对应的操作指令可以相同，也可以不同，本申请实施例对此操作指令不做限制。
在一个例子中，还可以在可操控设备上部署处理器，并由处理器完成上述各个步骤，即由处理器获取操作者的第一人体姿态信息；由处理器利用该第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到该第一人体姿态信息对应的操作指令；由处理器执行该第一人体姿态信息对应的操作指令；由处理器从第一图像中定位出待检测人物；由处理器利用该待检测人物的特征信息，判断该待检测人物是否为操作者；由处理器基于该第一图像分析出操作者的第一人体姿态信息等；对于处理器的操作，在此不再重复赘述。
在一个例子中，可操控设备上部署的处理器具体可以包括但不限于：专用处理器ASIC(Application Specific Integrated Circuit，专用集成电路)，半定制处理器FPGA(Field Programmable Gate Array，现场可编程门阵列)，或者通用处理器CPU(CentralProcessing Unit，中央处理器)等。
基于上述技术方案，本发明实施例中，可操控设备可以基于操作者的人体姿态信息，自动执行该人体姿态信息对应的操作指令，而不需要操作者使用手动遥控器控制可操控设备执行相关操作，对操作者的入门要求较低，且操作者的操作难度较低，使可操控设备能够更容易的被消费者接受，使得可操控设备得到更广泛的使用。而且，可操控设备的执行效果更好，执行准确度很高。
基于与上述方法同样的发明构思，本发明实施例中还提供了一种可操控设备的控制方法，应用于包括可操控设备和服务端的网络中，可操控设备上包括摄像头，该可操控设备的控制方法可以应用在服务端上，如图3所示，包括：
步骤301，接收所述可操控设备通过所述摄像头采集到的图像。
步骤302，利用所述图像获取操作者的第一人体姿态信息。
步骤303，利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令。
步骤304，将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
在一个例子中，服务端可以通过有线方式或者无线方式与可操控设备交互。
在一个例子中，服务端利用图像(后续将其称为第一图像)获取操作者的第一人体姿态信息的过程，可以包括但不限于如下方式：从第一图像中定位出待检测人物；利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
在一个例子中，服务端利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程，可以包括但不限于如下方式：当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则服务端比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则服务端确定所述待检测人物是操作者；或者，当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，服务端判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
在一个例子中，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
在一个例子中，服务端基于所述第一图像分析出所述操作者的第一人体姿态信息的过程，可以包括但不限于如下方式：从所述第一图像中定位出所述操作者对应的区域；对所述区域进行特征提取，得到第一特征向量；比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，且所述姿态模版包括所述姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
基于上述技术方案，本发明实施例中，可操控设备可以基于操作者的人体姿态信息，自动执行该人体姿态信息对应的操作指令，而不需要操作者使用手动遥控器控制可操控设备执行相关操作，对操作者的入门要求较低，且操作者的操作难度较低，使可操控设备能够更容易的被消费者接受，使得可操控设备得到更广泛的使用。而且，可操控设备的执行效果更好，执行准确度很高。
基于与上述方法同样的发明构思，本发明实施例中还提供了一种可操控设备的控制装置，应用在可操控设备上。该可操控设备的控制装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在的可操控设备的处理器，读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言，如图4所示，为本发明提出的可操控设备的控制装置所在的可操控设备的一种硬件结构图，除了图4所示的处理器、非易失性存储器外，可操控设备还包括其他硬件，如负责处理报文的转发芯片、网络接口、内存等；从硬件结构上来讲，该可操控设备还可能是分布式设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
如图5所示，为本发明提出的可操控设备的控制装置的结构图，所述可操控设备的控制装置应用在可操控设备上，且所述可操控设备的控制装置包括：
第一获取模块11，用于获取操作者的第一人体姿态信息；
第二获取模块12，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
操作模块13，用于执行所述第一人体姿态信息对应的操作指令。
在一个例子中，所述可操控设备上还包括摄像头；所述第一获取模块11，具体用于在获取操作者的第一人体姿态信息的过程中，通过所述摄像头采集第一图像，并从所述第一图像中定位出待检测人物；利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
在一个例子中，所述第一获取模块11，具体用于在利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程中，当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
在一个例子中，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
在一个例子中，所述第一获取模块11，具体用于在基于所述第一图像分析出所述操作者的第一人体姿态信息的过程中，从第一图像中定位出所述操作者对应的区域；对所述区域进行特征提取，得到第一特征向量；比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，所述姿态模版包括所述姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
基于与上述方法同样的发明构思，本发明实施例中还提供了一种可操控设备的控制装置，该可操控设备的控制装置应用在服务端上。该可操控设备的控制装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在的服务端的处理器，读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言，如图6所示，为本发明提出的可操控设备的控制装置所在的服务端的一种硬件结构图，除了图6所示的处理器、非易失性存储器外，服务端还包括其他硬件，如负责处理报文的转发芯片、网络接口、内存等；从硬件结构上来讲，该服务端还可能是分布式设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
如图7所示，为本发明提出的可操控设备的控制装置的结构图，应用于包括可操控设备和服务端的网络中，所述可操控设备上包括摄像头，所述可操控设备的控制装置应用在服务端上，且所述可操控设备的控制装置具体包括：
接收模块21，用于接收所述可操控设备通过所述摄像头采集到的图像；
第一获取模块22，用于利用所述图像获取操作者的第一人体姿态信息；
第二获取模块23，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
发送模块24，用于将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
在一个例子中，所述第一获取模块22，具体用于在利用所述图像获取操作者的第一人体姿态信息的过程中，从所述图像中定位出待检测人物；利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；如果是，则基于所述图像(后续将其称为第一图像)分析出所述操作者的第一人体姿态信息。
在一个例子中，所述第一获取模块22，具体用于在利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程中，当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
在一个例子中，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
在一个例子中，所述第一获取模块22，具体用于在基于所述第一图像分析出所述操作者的第一人体姿态信息的过程中，从第一图像中定位出所述操作者对应的区域；对所述区域进行特征提取，得到第一特征向量；比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，所述姿态模版包括所述姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (14)

1.一种可操控设备的控制方法，其特征在于，应用在可操控设备上，包括：
获取操作者的第一人体姿态信息；
利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
执行所述第一人体姿态信息对应的操作指令。
2.根据权利要求1所述的方法，其特征在于，所述可操控设备上还包括摄像头，所述获取操作者的第一人体姿态信息的过程，具体包括：
通过所述摄像头采集第一图像，并从所述第一图像中定位出待检测人物；
利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；
如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
3.根据权利要求2所述的方法，其特征在于，所述利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程，具体包括：
当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，
当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
4.根据权利要求3所述的方法，其特征在于，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像分析出所述操作者的第一人体姿态信息的过程，具体包括：
从所述第一图像中定位出所述操作者对应的区域；
对所述区域进行特征提取，得到第一特征向量；
比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，且所述姿态模版包括所述姿态对应的第二特征向量；
选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
7.一种可操控设备的控制装置，其特征在于，应用在可操控设备上，包括：
第一获取模块，用于获取操作者的第一人体姿态信息；
第二获取模块，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
操作模块，用于执行所述第一人体姿态信息对应的操作指令。
8.根据权利要求7所述的装置，其特征在于，所述可操控设备上还包括摄像头；所述第一获取模块，具体用于在获取操作者的第一人体姿态信息的过程中，通过所述摄像头采集第一图像，并从所述第一图像中定位出待检测人物；利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者；如果是，则基于所述第一图像分析出所述操作者的第一人体姿态信息。
9.根据权利要求8所述的装置，其特征在于，所述第一获取模块，具体用于在利用所述待检测人物的特征信息，判断所述待检测人物是否为操作者的过程中，当所述特征信息为所述待检测人物在所述第一图像中的人脸特征信息时，则比较所述待检测人物的人脸特征信息，与预先配置的操作者的人脸特征信息，如果二者的相似度大于预设阈值，则确定所述待检测人物是操作者；或者，当所述特征信息为所述待检测人物在第二图像中的第二人体姿态信息时，判断所述待检测人物的第二人体姿态信息，是否匹配预先配置的姿态密码；如果是，确定所述待检测人物是操作者；否则，确定所述待检测人物不是操作者。
10.根据权利要求9所述的装置，其特征在于，所述姿态密码是用于表示操作者的姿态或者手势，且匹配到所述姿态密码表示允许开启操作指令。
11.根据权利要求8所述的装置，其特征在于，所述第一获取模块，具体用于在基于所述第一图像分析出所述操作者的第一人体姿态信息的过程中，从第一图像中定位出所述操作者对应的区域；对所述区域进行特征提取，得到第一特征向量；比较所述第一特征向量与每个姿态模版的相似度，其中，针对操作者的每个姿态维护一个姿态模版，所述姿态模版包括所述姿态对应的第二特征向量；选取相似度最大的姿态模版的姿态为所述操作者的第一人体姿态信息。
12.根据权利要求7-11任一项所述的装置，其特征在于，
所述可操控设备具体为：智能机器人、智能拍摄无人机、智能相机；
所述第一人体姿态信息包括：静态姿态信息和/或动态姿态信息，其中，所述静态姿态信息包括肢体的状态信息，所述动态姿态信息包括肢体的动作信息；所述操作指令包括：行动指令、拍照指令、自动充电指令、回到原点指令。
13.一种可操控设备的控制方法，应用于包括可操控设备和服务端的网络中，可操控设备上包括摄像头，其特征在于，该方法应用在服务端上，包括：
接收所述可操控设备通过所述摄像头采集到的图像；
利用所述图像获取操作者的第一人体姿态信息；
利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
14.一种可操控设备的控制装置，应用于包括可操控设备和服务端的网络中，可操控设备上包括摄像头，其特征在于，该装置应用在服务端上，包括：
接收模块，用于接收所述可操控设备通过所述摄像头采集到的图像；
第一获取模块，用于利用所述图像获取操作者的第一人体姿态信息；
第二获取模块，用于利用所述第一人体姿态信息查询预先配置的人体姿态信息与操作指令的对应关系，得到所述第一人体姿态信息对应的操作指令；
发送模块，用于将所述第一人体姿态信息对应的操作指令发送给所述可操控设备，以使所述可操控设备执行所述第一人体姿态信息对应的操作指令。
CN201610509806.2A 2016-06-30 2016-06-30 一种可操控设备的控制方法和装置 Pending CN106203299A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610509806.2A CN106203299A (zh) 2016-06-30 2016-06-30 一种可操控设备的控制方法和装置
US15/627,506 US10710244B2 (en) 2016-06-30 2017-06-20 Robot control using gestures
PCT/CN2017/090357 WO2018001245A1 (en) 2016-06-30 2017-06-27 Robot control using gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610509806.2A CN106203299A (zh) 2016-06-30 2016-06-30 一种可操控设备的控制方法和装置

Publications (1)

Publication Number Publication Date
CN106203299A true CN106203299A (zh) 2016-12-07

Family

ID=57463342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610509806.2A Pending CN106203299A (zh) 2016-06-30 2016-06-30 一种可操控设备的控制方法和装置

Country Status (3)

Country Link
US (1) US10710244B2 (zh)
CN (1) CN106203299A (zh)
WO (1) WO2018001245A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018001245A1 (en) * 2016-06-30 2018-01-04 Beijing Airlango Technology Co., Ltd. Robot control using gestures
CN108108709A (zh) * 2017-12-29 2018-06-01 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
WO2018116028A1 (en) * 2016-12-21 2018-06-28 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN108247617A (zh) * 2018-04-02 2018-07-06 深圳了然视觉科技有限公司 一种智能机械臂系统
CN108459620A (zh) * 2018-03-25 2018-08-28 东莞市华睿电子科技有限公司 一种多旋翼无人飞行器的飞行控制方法
CN108537175A (zh) * 2018-04-08 2018-09-14 武汉灏存科技有限公司 基于姿态传感的肢体语言语义识别方法、装置及存储介质
EP3395510A3 (en) * 2017-04-28 2018-11-21 Omron Corporation Industrial robot, controller, and method thereof
CN109613930A (zh) * 2018-12-21 2019-04-12 中国科学院自动化研究所南京人工智能芯片创新研究院 无人飞行器的控制方法、装置、无人飞行器及存储介质
CN110826405A (zh) * 2019-09-30 2020-02-21 许昌许继软件技术有限公司 一种基于人体体态图像的设备控制方法及装置
CN111553179A (zh) * 2019-02-12 2020-08-18 阿里巴巴集团控股有限公司 服装质检状态确定方法、动作状态确定方法和装置以及电子设备
CN112740226A (zh) * 2020-04-28 2021-04-30 深圳市大疆创新科技有限公司 基于人体指示的可移动物体的操作系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093914B (zh) * 2021-04-21 2022-10-28 广东电网有限责任公司电力科学研究院 一种基于vr的高临场视觉感知方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及系统
CN103365294A (zh) * 2012-03-29 2013-10-23 鸿富锦精密工业（深圳）有限公司 无人飞行载具控制系统及方法
CN103903318A (zh) * 2013-11-29 2014-07-02 广州中大电讯科技有限公司 一种基于手势识别的居家养老中的身份认证系统及方法
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105095882A (zh) * 2015-08-24 2015-11-25 珠海格力电器股份有限公司 手势识别的识别方法和装置
CN105223957A (zh) * 2015-09-24 2016-01-06 北京零零无限科技有限公司 一种手势操控无人机的方法和装置
CN105653037A (zh) * 2015-12-31 2016-06-08 张小花 一种基于行为分析的交互系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
KR101312459B1 (ko) * 2012-05-23 2013-09-27 서울대학교산학협력단 의료영상의 잡음 저감 방법
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
EP3323715B1 (en) * 2013-12-13 2019-07-03 SZ DJI Technology Co., Ltd. Method for landing an unmanned aerial vehicle
EP3786742A1 (en) * 2014-05-30 2021-03-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
CN104049760B (zh) 2014-06-24 2017-08-25 深圳先进技术研究院 一种人机交互命令的获取方法及系统
US9459620B1 (en) * 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
CN110027709B (zh) * 2015-03-12 2022-10-04 奈庭吉尔智慧系统公司 自动化无人机系统
CN105182983A (zh) 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
US10168700B2 (en) * 2016-02-11 2019-01-01 International Business Machines Corporation Control of an aerial drone using recognized gestures
CN106203299A (zh) 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及系统
CN103365294A (zh) * 2012-03-29 2013-10-23 鸿富锦精密工业（深圳）有限公司 无人飞行载具控制系统及方法
CN103903318A (zh) * 2013-11-29 2014-07-02 广州中大电讯科技有限公司 一种基于手势识别的居家养老中的身份认证系统及方法
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105095882A (zh) * 2015-08-24 2015-11-25 珠海格力电器股份有限公司 手势识别的识别方法和装置
CN105223957A (zh) * 2015-09-24 2016-01-06 北京零零无限科技有限公司 一种手势操控无人机的方法和装置
CN105653037A (zh) * 2015-12-31 2016-06-08 张小花 一种基于行为分析的交互系统及方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10710244B2 (en) 2016-06-30 2020-07-14 Beijing Airlango Technology Co., Ltd. Robot control using gestures
WO2018001245A1 (en) * 2016-06-30 2018-01-04 Beijing Airlango Technology Co., Ltd. Robot control using gestures
US11340606B2 (en) 2016-12-21 2022-05-24 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN110687902B (zh) * 2016-12-21 2020-10-20 杭州零零科技有限公司 用于免控制器式用户无人机交互的系统和方法
WO2018116028A1 (en) * 2016-12-21 2018-06-28 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN110687902A (zh) * 2016-12-21 2020-01-14 杭州零零科技有限公司 用于免控制器式用户无人机交互的系统和方法
US10409276B2 (en) 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
EP3395510A3 (en) * 2017-04-28 2018-11-21 Omron Corporation Industrial robot, controller, and method thereof
US10800032B2 (en) 2017-04-28 2020-10-13 Omron Corporation Industrial robot, controller, and method thereof
CN108108709A (zh) * 2017-12-29 2018-06-01 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN108459620A (zh) * 2018-03-25 2018-08-28 东莞市华睿电子科技有限公司 一种多旋翼无人飞行器的飞行控制方法
CN108459620B (zh) * 2018-03-25 2021-06-04 东莞市华睿电子科技有限公司 一种多旋翼无人飞行器的飞行控制方法
CN108247617A (zh) * 2018-04-02 2018-07-06 深圳了然视觉科技有限公司 一种智能机械臂系统
CN108537175A (zh) * 2018-04-08 2018-09-14 武汉灏存科技有限公司 基于姿态传感的肢体语言语义识别方法、装置及存储介质
CN108537175B (zh) * 2018-04-08 2020-10-09 武汉灏存科技有限公司 基于姿态传感的肢体语言语义识别方法、装置及存储介质
CN109613930B (zh) * 2018-12-21 2022-05-24 中国科学院自动化研究所南京人工智能芯片创新研究院 无人飞行器的控制方法、装置、无人飞行器及存储介质
CN109613930A (zh) * 2018-12-21 2019-04-12 中国科学院自动化研究所南京人工智能芯片创新研究院 无人飞行器的控制方法、装置、无人飞行器及存储介质
CN111553179A (zh) * 2019-02-12 2020-08-18 阿里巴巴集团控股有限公司 服装质检状态确定方法、动作状态确定方法和装置以及电子设备
CN111553179B (zh) * 2019-02-12 2023-05-05 阿里巴巴集团控股有限公司 服装质检状态、动作状态确定方法和装置以及电子设备
CN110826405A (zh) * 2019-09-30 2020-02-21 许昌许继软件技术有限公司 一种基于人体体态图像的设备控制方法及装置
CN112740226A (zh) * 2020-04-28 2021-04-30 深圳市大疆创新科技有限公司 基于人体指示的可移动物体的操作系统和方法
WO2021217430A1 (en) * 2020-04-28 2021-11-04 SZ DJI Technology Co., Ltd. System and method for operating a movable object based on human body indications

Also Published As

Publication number Publication date
US20180001480A1 (en) 2018-01-04
WO2018001245A1 (en) 2018-01-04
US10710244B2 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
CN106203299A (zh) 一种可操控设备的控制方法和装置
Ballard Animat vision
Wang et al. Drpose3d: Depth ranking in 3d human pose estimation
Zhang et al. A novel method for user-defined human posture recognition using Kinect
Natarajan et al. Hand gesture controlled drones: An open source library
CN108304819B (zh) 姿态识别系统及方法、存储介质
JP7161572B2 (ja) ディープラーニング基盤の仮想イメージ生成方法及びシステム
CN110807391A (zh) 基于视觉的人-无人机交互用人体姿态指令识别方法
Ude et al. Making object learning and recognition an active process
WO2022159200A1 (en) Action recognition using pose data and machine learning
CN115862130B (zh) 基于人体姿态及其躯干运动场的行为识别方法
Arowolo et al. Development of a human posture recognition system for surveillance application
Byukusenge et al. Life detection based on uavs-thermal images in search and rescue operation
Aslanyan On mobile pose estimation design and implementation
Köser Affine Registration
Mesbahi et al. Hand Gesture Recognition Based on Various Deep Learning YOLO Models
Sultani et al. Action recognition in real-world videos
Feng et al. A gesture recognition method based on binocular vision system
Nagrale et al. A Review on Multi model-Deep Learning for Indoor-Outdoor Scene Recognition and Classification
JP7265656B2 (ja) 産業環境における人間活動を認識する方法及びシステム
Li et al. Activity Recognition
Hogue et al. Active Stereo Vision
Nguyen et al. Scene description for visually impaired in outdoor environment
Kawashima Active Appearance Models
Tonchev et al. Person and Face Re-Identification Using Semantic Information and Single Shot Face Identification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207