CN114879715A - 无人机的控制方法、设备和无人机 - Google Patents
无人机的控制方法、设备和无人机 Download PDFInfo
- Publication number
- CN114879715A CN114879715A CN202210589359.1A CN202210589359A CN114879715A CN 114879715 A CN114879715 A CN 114879715A CN 202210589359 A CN202210589359 A CN 202210589359A CN 114879715 A CN114879715 A CN 114879715A
- Authority
- CN
- China
- Prior art keywords
- target object
- unmanned aerial
- aerial vehicle
- hand
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 26
- 230000003993 interaction Effects 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/13—Propulsion using external fans or propellers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/19—Propulsion using electrically powered motors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种无人机的控制方法。此方法包括:获取拍摄装置拍摄的图像;确定所述图像中目标对象的手在所述图像中的位置;根据所述手在所述图像中的位置确定所述目标对象的手的位置信息,其中,位置信息为三维位置信息;根据所述目标对象的手的位置信息控制无人机的飞行。因此,本实施例可根据拍摄装置拍摄的图像中目标对象的手来控制无人机的飞行。避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。此外,本发明实施例还提供了一种无人机的控制设备。
Description
技术领域
本发明实施例涉及无人机技术领域,尤其涉及一种无人机的控制方法、设备和无人机。
背景技术
随着无人机应用的越来越广泛,对无人机的操控方式也变得越来越多样。从一开始利用遥控器手柄对无人机进行控制,慢慢也演化出了利用手机、平板电脑等触摸式设备对无人机进行控制。但是这些对无人机的操控方式均需要依赖除无人机之外的额外设备,不仅会增加成本,而且还需用户学会熟练操作这些设备才能控制无人机,控制方式复杂,对用户要求较高,还会使得人机互动性较差。
发明内容
本发明实施例提供一种无人机的控制方法、设备和无人机,以简化无人机的控制方式。
第一方面,本发明实施例提供一种无人机的控制方法,包括:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的手在所述图像中的位置;
根据所述手在所述图像中的位置确定所述目标对象的手的位置信息;
根据所述目标对象的手的位置信息控制无人机的飞行。
第二方面,本发明实施例提供一种无人机的控制方法,包括:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的特征部位;
识别所述图像中的手;
根据所述目标对象的特征部位从所述图像中识别的手中确定所述目标对象的手;
当所述目标对象的手的手势为控制手势时,控制无人机执行所述手势指示的动作。
第三方面,本发明实施例提供一种无人机的控制方法,包括:
获取拍摄装置拍摄的图像;
识别所述图像中目标对象的特征部位;
识别所述图像中所述目标对象的手;
当识别出所述目标对象的特征部位且识别不到所述目标对象的手时,控制无人机对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
第四方面,本发明实施例提供一种无人机的控制设备,包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的手在所述图像中的位置;
根据所述手在所述图像中的位置确定所述目标对象的手的位置信息;
根据所述目标对象的手的位置信息控制无人机的飞行。
第五方面,本发明实施例提供一种无人机的控制设备,包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的特征部位;
识别所述图像中的手;
根据所述目标对象的特征部位从所述图像中识别的手中确定所述目标对象的手;
当所述目标对象的手的手势为控制手势时,控制无人机执行所述手势指示的动作。
第六方面,本发明实施例提供一种无人机的控制设备,包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
识别所述图像中目标对象的特征部位;
识别所述图像中所述目标对象的手;
当识别出所述目标对象的特征部位且识别不到所述目标对象的手时,控制无人机对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
第七方面,本发明实施例提供一种无人机,包括:
如第四方面、第五方面、第六方面中至少一方面本发明实施例所述的无人机的控制设备;
拍摄装置,用于拍摄图像;
以及动力系统,用于提供飞行动力。
第八方面,本发明实施例提供一种可读存储介质,所述可读存储介质上存储有计算机程序;所述计算机程序在被执行时,实现如第一方面、第二方面、第三方面中至少一方面本发明实施例所述的无人机的控制方法。
本发明实施例提供的无人机的控制方法、设备和无人机,通过获取拍摄装置拍摄的图像,确定图像中目标对象的手在图像中的位置,根据手在图像中的位置确定目标对象的手的位置信息,根据所述目标对象的手的位置信息控制无人机的飞行。因此本实施例可根据拍摄装置拍摄的图像中目标对象的手来控制无人机的飞行。避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
附图说明
图1为根据本发明的实施例的无人机的示意性架构图;
图2为本发明一实施例提供的无人机的控制方法的流程图;
图3为本发明一实施例提供的拍摄装置拍摄的图像中目标对象的示意图;
图4为本发明另一实施例提供的无人机的控制方法的流程图;
图5为本发明一实施例提供的控制无人机的高度的示意图;
图6为本发明另一实施例提供的无人机的控制方法的流程图;
图7为本发明另一实施例提供的控制无人机的高度的示意图;
图8为本发明另一实施例提供的控制无人机的高度的示意图;
图9为本发明另一实施例提供的无人机的控制方法的流程图;
图10为本发明一实施例提供的控制无人机对目标对象环绕飞行的示意图;
图11为本发明另一实施例提供的控制无人机对目标对象环绕飞行的示意图;
图12为本发明另一实施例提供的无人机的控制方法的流程图;
图13为本发明一实施例提供的控制无人机远离或靠近目标对象飞行的示意图;
图14为本发明另一实施例提供的控制无人机远离或靠近目标对象飞行的示意图;
图15为本发明另一实施例提供的无人机的控制方法的流程图;
图16为本发明一实施例提供的控制无人机起飞的示意图;
图17为本发明一实施例提供的控制无人机降落的示意图;
图18为本发明另一实施例提供的无人机的控制方法的流程图;
图19为本发明一实施例提供的无人机的控制设备的一种结构示意图;
图20为本发明一实施例提供的无人机的一种结构示意图。
具体实施方式
本发明的实施例提供了无人机的控制方法、设备和无人机。其中无人机可以是旋翼飞行器(rotorcraft),例如,由多个推动装置通过空气推动的多旋翼飞行器,本发明的实施例并不限于此。
图1为根据本发明的实施例的无人机的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。
无人机100可以包括动力系统150、飞行控制系统160和机架。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接,用于在无人机100着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152,其中电机152连接在电子调速器151与螺旋桨153之间,电机152和螺旋桨153设置在无人机100的机臂上;电子调速器151用于接收飞行控制系统160产生的驱动信号,并根据驱动信号提供驱动电流给电机152,以控制电机152的转速。电机152用于驱动螺旋桨旋转,从而为无人机100的飞行提供动力,该动力使得无人机100能够实现一个或多个自由度的运动。在某些实施例中,无人机100可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机152可以是直流电机,也可以交流电机。另外,电机152可以是无刷电机,也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人机的姿态信息,即无人机100在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器161用于控制无人机100的飞行,例如,可以根据传感系统162测量的姿态信息控制无人机100的飞行。应理解,飞行控制器161可以按照预先编好的程序指令对无人机100进行控制,也可以通过拍摄画面对无人机100进行控制。
无人机100还包括云台120,云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地,作为另一实施例,云台120还可以包括控制器,用于通过控制电机122来控制云台120的运动。应理解,云台120可以独立于无人机100,也可以为无人机100的一部分。应理解,电机122可以是直流电机,也可以是交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。还应理解,云台可以位于无人机的顶部,也可以位于无人机的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置123可以与飞行控制器通信,并在飞行控制器的控制下进行拍摄,飞行控制器也可以根据拍摄装置123拍摄的图像控制无人机100。本实施例的拍摄装置123至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。可以理解,拍摄装置123也可直接固定于无人机100上,从而云台120可以省略。
应理解,上述对于无人机各组成部分的命名仅是出于标识的目的,并不应理解为对本发明的实施例的限制。
图2为本发明一实施例提供的无人机的控制方法的流程图,如图2所示,本实施例的方法可以包括:
S201、获取拍摄装置拍摄的图像。
其中,拍摄装置是无人机的重要组成部分,可以用于拍摄无人机周围的图像,在无人机进入手势控制模式下,无人机可以根据拍摄装置拍摄的图像来控制无人机。在拍摄装置拍摄到图像后,无人机获取拍摄装置拍摄的图像。其中拍摄设备可以为前述部分的拍摄装置123,此处不再赘述。
S202、确定图像中目标对象的手在图像中的位置。
本实施例主要是根据图像中的手来控制无人机,用户可以位于拍摄装置能拍摄到的地方,用户可称为目标对象,拍摄装置拍摄的图像中具有目标对象,因此,本实施例在获取拍摄装置拍摄的图像之后,确定图像中目标对象的手在图像中的位置,该位置可以用图像坐标系统UOV中的像素坐标来表示,其中,如图3所示,图3为本发明一实施例提供的拍摄装置拍摄的图像中目标对象的示意图,其中,可以将图像的左上角作为原点(0,0),图像的长和宽均用像素数为表示,基于此可以确定目标对象的手在图像中的像素坐标。其中,在获取拍摄装置拍摄的目标对象的图像后,可以通过已经训练好的能够识别手的神经网络来识别目标对象的手,具体地,神经网络可以返回目标对象的手在图像的位置。在某些情况中,神经网络可以返回图像中目标对象的手对应的图像区域左上角和右下角的坐标。
其中,在进入手势控制模式后,若图像中拍摄到多个人,则本实施例可以将位置最靠近图像中心位置的人确定为目标对象。
S203、根据手在图像中的位置确定目标对象的手的位置信息。
本实施例中,在确定图像中目标对象的手在图像中的位置之后,根据该手在图像中的位置确定目标对象的手的位置信息。该位置信息可以用三维坐标(x,y,z)来表示,该三维坐标例如可以是无人机的导航坐标系下的坐标,该导航坐标系下的原点O为无人机的起飞点,其中,导航坐标系的X轴的正轴指向朝北方向,导航坐标系的Y轴的正轴指向朝东方向,导航坐标系的Z轴垂直于XOY平面背离地面。在一些实施例中,该三维坐标也可以是其他坐标系统下的坐标,在这里,不作具体的限定。
S204、根据所述目标对象的手的位置信息控制无人机的飞行。
本实施例中,在确定目标对象的手的位置信息之后,根据目标对象的手的位置信息控制无人机的飞行,例如可以控制无人机执行各种飞行操作:控制无人机的飞行高度,或者,可以控制无人机对目标对象环绕飞行,或者,可以控制无人机远离或靠近目标对象飞行,其中,不同的飞行操作中无人机飞行轨迹、无人机实现的功能可以不一样。其中,目标对象的手的不同位置信息可以对应不同的飞行操作,因此,目标对象可以通过控制手处于不同的位置,来控制无人机执行不同的飞行操作。本实施例会控制无人机执行目标对象的手的位置信息对应的飞行操作。
本实施例提供的无人机的控制方法,通过获取拍摄装置拍摄的图像,确定图像中目标对象的手在图像中的位置,根据手在图像中的位置确定目标对象的手的位置信息,根据所述目标对象的手的位置信息控制无人机的飞行。因此本实施例可根据拍摄装置拍摄的图像中目标对象的手来控制无人机的飞行。避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
在一些实施例中,上述S203的一种可能的实现方式为:根据手在图像中的位置、承载拍摄装置的云台的姿态、目标对象与无人机之间的水平距离和无人机的位置信息确定目标对象的手的位置信息。其中,承载拍摄装置的云台的姿态决定了拍摄装置的姿态,即决定了拍摄装置的姿态角,如俯仰角和偏航角;因此,承载拍摄装置的云台的姿态不同,也会造成目标对象的手的位置信息不同。目标对象与无人机之间的水平距离决定了手与无人机之间的水平距离,从而影响到手的位置信息,因此,目标对象与无人机之间的水平距离不同,也会造成目标对象的手的位置信息不同。另外,本实施例需要参照无人机的位置信息得到目标对象的手的位置信息,其中,无人机的位置信息可以通过无人机上配置的定位传感器获取,其中,所述定位传感器可以为GPS接收机或北斗接收机,在某些情况下,定位传感器还可以包括惯性测量单元、视觉传感器等。综上,本实施例根据手在图像中的位置、承载拍摄装置的云台的姿态、目标对象与无人机之间的水平距离和无人机的位置信息来确定准确的目标对象的手的位置信息。
具体地,本实施例先根据手在图像中的位置、承载拍摄装置的云台的姿态确定手相对于无人机的朝向;再根据所述朝向、目标对象与无人机之间的水平距离和无人机的位置信息确定目标对象的手的位置信息。其中,拍摄装置具有的视场角(FOV)是已知的,根据手在图像中的位置可以确定手相对于拍摄装置的光轴的角度,例如:若手在图像的正中心,则说明手相对于拍摄装置的光轴的角度为0,若拍摄装置的FOV在水平方向为20度,若手在图像的最左边,则说明手相对于拍摄装置的光轴的水平角度为10度,垂直方向上也类似,此处不再赘述;而且拍摄装置的云台的姿态也决定了拍摄装置的光轴的朝向,结合手相对于拍摄装置的光轴的角度以及光轴的朝向,可以获得手相对于无人机的朝向。根据目标对象与无人机之间的水平距离可以获得手与无人机之间的水平距离,例如可以将目标对象与无人机之间的水平距离减去一个经验值(例如0.65米),即得到手与无人机之间的水平距离。再根据上述获得的朝向、手与无人机之间的距离以及无人机的位置信息,即可确定手的位置信息。
在一些实施例中,确定目标对象与无人机之间的水平距离可以通过如下方式实现:
一种可行的方式:确定图像中目标对象的脚部在图像中的位置,根据所述脚部在图像中的位置信息和承载拍摄装置的云台的姿态即可以确定目标对象的脚部相对于无人机的朝向,根据所述朝向即可以确定目标对象的脚部相对于无人机在俯仰方向上的角度,然后,可以获取无人机上配置的距离传感器测量的高度值,根据所述在俯仰方向上的角度和距离传感器测量的高度值即可以确定目标对象与无人机之间的水平距离。
另一种可行的方式:确定图像中目标对象的脚部和头部在图像中的位置,脚部和头部在图像中的位置和承载拍摄装置的云台的姿态即可以确定目标对象的脚部和头部相对于无人机的朝向,根据所述朝向即可以确定目标对象的脚部和脚部相对于无人机在俯仰方向上的角度,可以设定目标对象的身高可以为一个经验值,例如1.75m,根据目标对象的脚部和脚部相对于无人机在俯仰方向上的角度和所述设定的目标对象的身高即可以确定目标对象与无人机之间的水平距离。
可以理解的是,目标对象与无人机之间的水平距离可以是将以上两种可行的方式确定的水平距离进行融合之后得到的水平距离。
在一些实施例中,上述S204可以为:根据所述目标对象的手的位置信息控制无人机的飞行高度,例如:可以控制将无人机的飞行高度调高或者得调低。
在一种可能的实现方式中,本实施例可以根据上述S203中确定的目标对象的手的位置信息和无人机的位置信息确定所述手相对于无人机在俯仰方向上的角度;然后根据所述角度控制无人机的飞行高度。
其中,根据目标对象的手的位置信息以及无人机的位置信息,可以确定手相对于无人机在俯仰方向上的角度,
图4为本发明另一实施例提供的无人机的控制方法的流程图,如图4所示,本实施例的方法以根据手的位置信息控制无人机的飞行高度为例,本实施例的方法可以包括:
S301、获取拍摄装置拍摄的图像。
S302、确定图像中目标对象的手在图像中的位置。
S303、根据手在图像中的位置确定目标对象的手的位置信息。
本实施例中,S303的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S304、根据所述目标对象的手的位置信息和所述无人机的位置信息确定所述手相对于所述无人机在俯仰方向上的角度。
S305、根据所述角度控制无人机的飞行高度。
本实施例中,在确定目标对象的手的位置信息之后,根据目标对象的手的位置信息和无人机的位置信息确定手相对于无人机在俯仰方向上的角度,然后根据该角度确定无人机的期望高度,然后控制无人机飞行至该期望高度。其中,可以根据该角度以及目标对象与无人机之间的水平距离,确定该无人机的期望高度,例如:将目标对象与无人机之间的水平距离减去一个经验值,获得目标对象的手与无人机之间的水平距离,然后根据该角度和该目标对象的手与无人机之间的水平距离,确定无人机的期望高度,其中,该无人机的期望高度可以与目标对象的手处于同一高度。其中,图5为本发明一实施例提供的控制无人机的高度的示意图,如图5所示,根据目标对象的手的位置信息和无人机的位置信息可以确定目标对象的手相对于无人机在俯仰方向上的角度为α1,其中,目标对象与无人机之间的水平距离为D1,则可以获得目标对象的手与无人机之间的水平距离为d1,d1=D1-0.65m;另外,无人机的当前高度为Pc1,由图5可以获得无人机从当前高度Pc1飞行至期望高度Pt1的高度差为h1,其中,h1=d1*tanα1,因此,可以获得无人机的期望高度为Pt1=Pc1+h1。由图5可知,本实施例可以控制无人机飞行至与手处于同一高度。
在一些实施例中,在目标对象的状态参数满足第一预设要求时,本实施例执行上述S304。其中,所述目标对象的状态参数满足第一预设要求包括:目标对象在所述图像中的尺寸占比大于或等于预设第一占比阈值;和/或,所述目标对象与所述无人机的距离小于或等于预设第一距离。本实施例中,可以判断目标对象在图像中的尺寸占比是否小于预设第一占比阈值,在目标对象在图像中的尺寸占比大于或等于预设第一占比阈值时,执行上述S304,其中,目标对象在图像中的尺寸占比越大,说明目标对象与无人机之间的距离越近。也可以判断目标对象与无人机的距离是否大于预设第一距离,在目标对象与无人机的距离小于或等于预设第一距离时,执行上述S304,其中,目标对象与无人机的距离可以通过无人机上配置的双目摄像头进行测距的方式获得。因此,在目标对象的状态参数满足第一预设要求时,说明目标对象与无人机之间的距离较近,处于近场状态,此时无人机可以准确地获得手相对于无人机在俯仰方向上的角度,从而精确地控制无人机的飞行高度。
本实施例中,通过上述方案,实现了通过拍摄图像来控制无人机的飞行高度,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
图6为本发明另一实施例提供的无人机的控制方法的流程图,如图6所示,本实施例的方法以根据手的位置信息控制无人机的飞行高度为例,本实施例的方法可以包括:
S401、获取拍摄装置拍摄的图像。
S402、确定图像中目标对象的手在图像中的位置。
S403、根据手在图像中的位置确定目标对象的手的位置信息。
本实施例中,S403的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S404、根据目标对象的预设部位的位置信息和所述手的位置信息确定所述手相对于所述预设部位在俯仰方向上的角度。
S405、根据所述角度控制无人机的飞行高度。
本实施例中,在确定目标对象的手的位置信息之后,根据目标对象的手的位置信息和目标对象的预设部位的位置信息确定手相对于该预设部位在俯仰方向上的角度,然后根据该角度确定无人机的期望高度,然后控制无人机飞行至该期望高度。
其中,该预设部位例如可以是:头部、肩部、胸部中的至少一个部位。其中,目标对象的预设部位的位置信息可以根据目标对象的位置信息确定的,以预设部位为头部为例,则可以将目标对象的最上方的五分之一作为头部,从而根据目标对象的位置信息,确定目标对象中最上方的五分之一的位置信息。
在一些实施例中,本实施例在获取拍摄装置拍摄的图像之后,还确定图像中目标对象在图像中的位置,然后根据该目标对象在图像中的位置确定目标对象的位置信息。具体地,本实施例可以是根据所述目标对象在所述图像中的位置、承载所述拍摄装置的云台的姿态、所述目标对象与所述无人机之间的水平距离和所述无人机的位置信息确定目标对象的位置信息。其中,确定目标对象的位置信息与确定手的位置信息的过程类似,此处不再赘述。
其中,可以根据该角度以及目标对象与无人机之间的水平距离,确定该无人机的期望高度,例如:根据该角度和该目标对象与无人机之间的水平距离,确定无人机的期望高度。这里为了方便说明,以预设部位为头部为例来说明。
在一种实现方式中,图7为本发明另一实施例提供的控制无人机的高度的示意图,如图7所示,根据目标对象的手的位置信息和目标对象的预设部位的位置信息可以确定目标对象的手相对于预设部位在俯仰方向上的角度为α2,其中,目标对象与无人机之间的水平距离为D2,则可以获得无人机的期望高度与目标对象的预设部位之间的高度差为D2*tanα2,而且无人机的当前高度Pc2与目标对象的预设部位之间的高度差为△h,由图7可以获得无人机从当前高度Pc2飞行至期望高度Pt2的高度差为h2,其中,h2=△h+D2*tanα2,因此,可以获得无人机的期望高度为Pt2=Pc2+h2。由图7可知,本实施例可以控制无人机飞行至与目标对象的手与预设部位处于同一连线上。
在另一种实现方式中,可以根据手的移动来控制无人机的飞行高度。图8为本发明另一实施例提供的控制无人机的高度的示意图,如图8所示,根据目标对象的手移动前的位置信息和目标对象的预设部位的位置信息可以确定目标对象的手在移动前相对于预设部位在俯仰方向上的角度为α3,根据目标对象的手移动后的位置信息和目标对象的预设部位的位置信息可以确定目标对象的手在移动后相对于预设部位在俯仰方向上的角度为α3',因此,目标对的手相对于预设部位在俯仰方向上的角度的变化量为α3+α3',需要说明的是,若手在移动前和移动后均位于预设部位的下方或者上方,则上述角度的变化量为︱α3-α3'︱。其中,目标对象与无人机之间的水平距离为D3,因此,根据该角度的变化量以及目标对象与无人机之间的水平距离,可以获得手移动前与目标对象之间的连线在无人机所在垂直方向(Z坐标)上的交点P0,与,手移动后与目标对象之间的连线在无人机的垂直方向上的交点P0'之间的高度差为h3=P0'-P0。并将该高度差h3作为无人机的期望高度Pt3与无人机的当前高度Pc3之间的高度差,因此,可以获得无人机的期望高度为Pt3=Pc3+h3,其中,如图8所示,h3=D2*(tanα3+tanα3'),从而Pt3=Pc3+D2*(tanα3+tanα3')。由图8可知,本实施例可以根据手的高度变化映射到无人机所在垂直方向上的高度变化,从而根据该无人机所在垂直方向上的高度变化来控制无人机的飞行高度。
在一些实施例中,在目标对象的状态参数满足第二预设要求时,本实施例执行上述S404。其中,所述目标对象的状态参数满足第二预设要求包括:目标对象在所述图像中的尺寸占比小于或等于预设第二占比阈值;和/或,所述目标对象与所述无人机的距离大于或等于预设第二距离。本实施例中,可以判断目标对象在图像中的尺寸占比是否大于预设第二占比阈值,在目标对象在图像中的尺寸占比小于或等于预设第二占比阈值时,执行上述S404,其中,目标对象在图像中的尺寸占比越小,说明目标对象与无人机之间的距离越远。也可以判断目标对象与无人机的距离是否小于预设第二距离,在目标对象与无人机的距离大于或等于预设第二距离时,执行上述S404。因此,在目标对象的状态参数满足第二预设要求时,说明目标对象与无人机之间的距离较远,处于远场状态,此时无人机可以准确地获得手相对于目标对象的预设部位在俯仰方向上的角度,从而精确地控制无人机的飞行高度。
在一些实施例中,上述的预设第二占比阈值可以等于上述的预设第一占比阈值。上述的预设第二距离可以等于上述的预设第一距离。相应地,图4与图6所示的实施例可以结合,即在目标对象的状态参数满足第二预设要求时,执行图6所示实施例,在目标对象的状态参数满足第一预设要求时,执行图4所示实施例。
本实施例中,通过上述方案,实现了通过拍摄图像来控制无人机的飞行高度,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
图9为本发明另一实施例提供的无人机的控制方法的流程图,如图9所示,本实施例的方法以根据手的位置信息控制无人机对目标对象进行环绕飞行为例,本实施例的方法可以包括:
S501、获取拍摄装置拍摄的图像。
S502、确定图像中目标对象的手在图像中的位置。
S503、根据手在图像中的位置确定目标对象的手的位置信息。
本实施例中,S501-S503的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S504、根据目标对象的手的位置信息和目标对象的位置信息确定手相对于目标对象在偏航方向上的角度。
S505、根据所述角度控制无人机对目标对象进行环绕飞行。
本实施例中,在确定目标对象的手的位置信息之后,根据目标对象的手的位置信息和目标对象的位置信息确定手相对于该目标对象在偏航方向上的角度,然后根据该角度确定无人机相对于目标对象在偏航方向上的期望角度,然后控制无人机对目标对象环绕飞行至该期望角度。在某些实施例中,在确定目标对象的手的位置信息之后,根据目标对象的手的位置信息和目标对象的位置信息确定手相对于该目标对象在偏航方向上的角度,根据所述角度确定无人机的期望位置信息,然后再控制无人机然后控制无人机对目标对象环绕飞行至该期望位置信息。
在一种实现方式中,图10为本发明一实施例提供的控制无人机对目标对象环绕飞行的示意图,如图10所示,根据目标对象的手的位置信息和目标对象的位置信息可以确定目标对象的手相对于目标对象在偏航方向上的角度为β1,本实施例可以将该角度β1作为无人机相对于目标对象在偏航方向上的期望角度,然后本实施例将无人机从当前位置Pc4对目标对象环绕飞行至期望位置Pt4,无人机环绕飞行至期望位置Pt4时,该无人机相对于目标对象在偏航方向上的角度为β1。其中,无人机相对于目标对象在偏航方向上的当前角度为β2,由于已确定无人机相对于目标对象在偏航方向上的期望角度为β1,因此,可以获得无人机对目标对象环绕飞行的角度为△β=β1-β2。由图10可知,本实施例可以控制无人机飞行对目标对象环绕飞行至与目标对象的手相对于目标对象处于同一偏航方向上。
在另一种实现方式中,可以根据手的移动来控制无人机对目标对环绕飞行。图11为本发明另一实施例提供的控制无人机对目标对象环绕飞行的示意图,如图11所示,根据目标对象的手移动前的位置信息和目标对象的位置信息可以确定目标对象的手在移动前相对于目标对象在偏航方向上的角度为β3,根据目标对象的手移动后的位置信息和目标对象的位置信息可以确定目标对象的手在移动后相对于目标对象在偏航方向上的角度为β3',因此,目标对的手相对于目标对象在偏航方向上的角度的变化量△β=β3'-β3。本实施例可以将该角度变化量△β作为无人机对目标对象环绕飞行的角度。其中,无人机相对于目标对象在偏航方向上的当前角度为β4,然后本实施例将无人机从当前位置Pc5对目标对象环绕飞行至期望位置Pt5,无人机环绕飞行至期望位置Pt5时,该无人机相对于目标对象在偏航方向上的角度为β4',其中,β4'=β4+△β。由图11可知,本实施例可以根据手相对于目标对象在偏航方向上的角度变化来控制无人机对目标对象环绕飞行的角度。其中,无人机对目标对象环绕飞行的方向可以与手相对于目标对象移动的方向相同。
本实施例中,通过上述方案,实现了通过拍摄图像来控制无人机对目标对象环绕飞行,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
图12为本发明另一实施例提供的无人机的控制方法的流程图,如图12所示,本实施例的方法以根据手的位置信息控制无人机远离或靠近目标对象飞行为例,本实施例的方法可以包括:
S601、获取拍摄装置拍摄的图像。
本实施例中,S601-S603的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S602、确定图像中目标对象的两个手在图像中的位置。
本实施例中确定的是图像中目标对象的两个手(左手和右手)在图像中的位置,由于上述实施例中已描述了如何确定手在图像中的位置的方案,因此,确定两个手中每个手在图像的位置可以参见上述实施例的记载,此处不再赘述。
S603、根据两个手在图像中的位置确定目标对象的两个手的位置信息。
在确定两个手在图像中的位置之后,再根据每个手在图像中的位置确定每个手的位置信息,具体实现过程可以参见上述实施例中根据手在图像中的位置确定目标对象的手的位置信息的相关描述,此处不再赘述。
S604、根据两个手的位置信息控制无人机远离或靠近目标对象飞行。
本实施例中,在确定目标对象的两个手的位置信息之后,根据这两个手的位置信息控制无人机远离或靠近目标对象飞行。其中,本实施例可以根据所述两个手的位置信息确定两个手之间的距离,该两个手之间的距离例如可以是这两个手在水平方向上的距离;然后根据所述距离控制无人机远离或靠近目标对象飞行,例如:可以控制无人机沿与目标对象之间的连线方向远离或靠近目标对象飞行,或者,可以保持无人机的高度不变控制无人机沿水平方向远离或者目标对象飞行。
在一种可能的实现方式中,图13为本发明一实施例提供的控制无人机远离或靠近目标对象飞行的示意图,如图13所示,根据目标对象两个手之间的距离d2,确定无人机与目标对象之间的期望距离D4',其中d2与D4'满足一定的函数关系,例如:D4'=d2*C1,C1为预设值。若无人机与目标对象之间的当前距离D4大于期望距离D4',则距离差值△D=D4-D4',因此本实施例控制无人机从当前位置Pc6以靠近目标对象的方向飞行距离△D到达期望位置Pt6。若无人机与目标对象之间的当前距离D4小于期望距离D4',则距离差值△D=D4'-D4,因此本实施例控制无人机从当前位置Pc6以远离目标对象的方向飞行距离△D到达期望位置Pt6。其中,图13中示出无人机靠近目标对象飞行。
在另一种实现方式中,可以根据两个手的相对移动来控制无人机远离或靠近目标对象飞行。图14为本发明另一实施例提供的控制无人机远离或靠近目标对象飞行的示意图,如图14所示,根据目标对象的两个手相对移动前的位置信息,确定两个手相对移动前之间的距离;以及根据目标对象的两个手相对移动后的位置信息,确定两个手相对移动后之间的距离。若两个手相向移动,即两个手之间的距离减少,如图14所示,两个手相对移动前之间的距离为d3,两个手相对移后之间的距离d4,然后根据d3和d4可以确定两个手之间的距离的变化量△d=d3-d4,然后根据两个手之间的距离的变化量△d,确定无人机与目标对象之间的距离的变化量△D,其中△D与△d满足一定的函数关系,例如:△D=△d*C2,C2为预设值;然后再控制无人机靠近目标对象飞行△D。若两个手背向移动,即两个手之间的距离增加,如图14所示,两个手相对移动前之间的距离为d4,两个手相对移后之间的距离d3,然后根据d3和d4可以确定两个手之间的距离的变化量△d=d3-d4,然后根据两个手之间的距离的变化量△d,确定无人机与目标对象之间的距离的变化量△D,其中△D与△d满足一定的函数关系,例如:△D=△d*C2,C2为预设值;然后再控制无人机远离目标对象飞行△D。在一些实施例中,也可以是两个手之间的距离减少时,控制无人机远离目标对象飞行,两个手之间的距离增大时,控制无人机靠近目标对象飞行。
在一些实施例中,本实施例还限定了无人机远离目标对象的最大距离,以及无人机靠近目标对象的最小距离。在控制无人机远离目标对象飞行时,还检测无人机与目标对象之间的距离,若该距离大于或等于最大距离时,控制无人机停止远离目标对象飞行。在控制无人机靠近目标对象飞行时,还检测无人机与目标对象之间的距离,若该距离小于或等于最小距离时,控制无人机停止靠近目标对象飞行。
本实施例中,通过上述方案,实现了通过拍摄图像来控制无人机远离或者靠近目标对象飞行,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
在一些实施例中,在上述各实施例的基础上,本实施例还可以识别拍摄装置拍摄的图像中目标对象的手的手势。相应地,本实施例根据所述目标对象的手的位置信息控制无人机的飞行的一种方式为:当所述手的手势为预设手势时,根据所述目标对象的手的位置信息控制无人机的飞行。当识别到的目标对象的手的手势为预设手势时,本实施例再根据目标对象的手的位置信息控制无人机的飞行高度、控制无人机对目标对象环绕飞行、控制无人机远离或靠近目标对象飞行等。其中,该预设手势例如为:ok,yeah,伸出手掌等手势。
图15为本发明另一实施例提供的无人机的控制方法的流程图,如图15所示,本实施例的方法可以包括:
S701、获取拍摄装置拍摄的图像。
本实施例中,S701的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S702、确定图像中目标对象的特征部位。
本实施例中,需要从图像中识别目标对象,其中,目标对象的识别可以通过识别目标对象的身体的特征部位。因此,从拍摄装置拍摄的图像中确定图像中目标对象的特征部位,该特征部位可以用于表征目标对象,该目标对象为人时,该特征部位可以是人体的头部、人体的头部和肩部、人体中的至少一种。
在一些实施例中,在进入手势控制模式后,可以先识别图像中的特征部位,然后从图像中的特征部位确定目标对象的特征部位。某些情况中,有可能拍摄到的图像中存在多个人物,在识别特征部位时,也可能将这些人物的特征部位也识别到,因此,本实施例需要从图像中的特征部位确定目标对象的特征部位,例如可以是将距离图像的中心最近的特征部位确定为目标对象的特征部位,以使得目标对象最靠近图像的中心。通过这种方式,在进入手势控制模式后,即可以从图像中找到目标对象的特征部位。在图像中找到目标对象的特征部位后,当拍摄装置获取到新的图像后,即可以利用追踪算法从新的图像中找到目标对象的特征部位。例如,以上一帧图像中目标对象的特征部位在图像中的位置确定一个目标图像区域,在下一帧图像中的目标图像区域中找到一个与上一帧中目标对象的特征部位最相似的图像区域作为所述下一帧中的目标对象的特征部位。
S703、识别图像中的手。
本实施例中,还从拍摄装置拍摄的图像中识别图像中的手。其中,S702与S703的执行顺序不分先后。
S704、根据所述目标对象的特征部位从图像中识别的手中确定目标对象的手。
本实施例中,在确定图像中目标对象的特征部位以及识别图像中的手之后,根据目标对象的特征部位从图像中识别的手中确定目标对象的手。有可能拍摄到的图像中存在多个手,在识别手时,也可能将这些手均识别到,但是其中一些手并不是目标对象的手,因此,本实施例根据目标对象的特征部位从图像中的手中确定该目标对象的手。其中,本实施例可以根据目标对象的特征部位确定目标对象的关节点,这些关节点包括:手的关节点、胳膊的关节点、头的关节点、肩的关节点等,再根据目标对象的关节点从图像中识别的手中确定目标对象的手。其中,可以从目标对象的关节点中确定出目标对象的手的关节点,本实施例可以确定从图像中识别的手中距离该目标对象的关节点中手的关节点最近的手,然后将该距离手的关节点最近的手确定为目标对象的手。
S705、当所述目标对象的手的手势为控制手势时,控制无人机执行所述手势指示的动作。
本实施例中,在识别到目标对象的手之后,当该目标对象的手的手势为控制手势时,控制无人机执行手势指示的动作,例如:控制无人机起飞、降落、控制无人机的飞行高度、控制无人机对目标对象环绕飞行、控制无人机远离或靠近目标对象飞行、拍照或者录像等等。其中,该控制手势例如为ok,yeah,伸出手掌等手势。
其中,控制无人机的飞行高度、控制无人机对目标对象环绕飞行、控制无人机远离或靠近目标对象飞行可以参见上述各实施例中的记载。
下面对控制无人机起飞和降落进行描述。
在一些实施例中,在该目标对象的手的手势为起飞手势时,该起飞手势为控制手势,该起飞手势指示无人机起飞,本实施例根据手势为起飞手势,控制无人机起飞。可选地,本实施例控制无人机起飞并悬停在预设高度,其中,如图16所示,图16为本发明一实施例提供的控制无人机起飞的示意图。在一些实施例中,本实施例在执行上述S701之后还检测用户的第一操作,在检测到用户的第一操作后,控制承载拍摄装置的云台以带动拍摄装置在预设的角度范围内扫描,其中,云台的转动带动拍摄装置的转动,从而使得拍摄装置在预设的角度范围内扫描以拍摄预设的角度范围内的图像,以便执行后续S701-S705的操作。其中,所述第一操作包括:单击或双击电池开关、晃动所述无人机、向无人机发出语音指令中的至少一种,本实施例通过这些操作使得无人机进入手势识别模式,在无人机进行手势识别模式后控制承载拍摄装置的云台以带动拍摄装置在预设的角度范围内扫描,以便识别到目标对象的起飞手势。
在一些实施例中,在识别到起飞手势之后,还需要在该起飞手势为稳定的手势之后,才控制无人机起飞。其中,本实施例在执行S701时是获取拍摄装置的多帧图像。在获取到多帧图像之后,本实施例还确定多帧图像中每一帧中目标对象的手在图像中的位置,其中如何确定目标对象的手在图像中的位置可以参见上述各实施例中的描述,此处不再赘述。然后在目标对象的手为起飞手势时,确定每一帧图像中目标对象的手在图像的位置是否在参考位置的预设范围内,若每一帧图像中该目标对象的手在图像中的位置在参考位置的预设范围内时,说明该起飞手势为稳定的手势,目标对象要控制无人机起飞,然后本实施例控制无人机起飞;若每一帧图像中该目标对象的手在图像中的位置不在参考位置的预设范围内时,说明该起飞手势不是稳定的手势,目标对象是误操作,不是要控制无人机起飞,然后本实施例忽略该手势,即不控制无人机起飞。在一些实施例中,该参考位置为上一帧图像中目标对象的手在图像中的位置,也说明每一帧图像中手的位置稳定。
在一些实施例中,在该目标对象的手的手势为降落手势时,该降落手势为控制手势,该降落手势指示无人机降落,本实施例根据手势为降落手势,控制无人机降落,其中,如图17所示,图17为本发明一实施例提供的控制无人机降落的示意图。
在第一种可能的实现方式中,本实施例还获取距离传感器测量得到的高度值,该高度值表示无人机的飞行高度。本实施例还根据该高度值来判断无人机是否可以降落,具体过程为:在目标对象的手的手势为降落手势时并且该高度值小于或等于预设高度阈值时,控制无人机降落。若该高度值大于预设高度阈值时,说明该无人机的飞行高度较高,当前状况下不适合无人机降落,为了保证无人机的飞行安全,在该高度值大于预设高度阈值时,忽略该降落手势,即不控制无人机降落。
在第二种可能的实现方式中,本实施例还检测无人机下方地面的平整度,其中,该平整度可以通过双目摄像头来检测。本实施例还根据该平整度来判断无人机是否可以降落,具体过程为:在目标对象的手的手势为降落手势时并且该平整度大于或等于预设平整度阈值时,控制无人机降落。若该平整度小于预设平整度阈值时,说明该无人机的下方地面不够平整,无法保证无人机安全降落,因此,在该平整度小于预设平整度阈值时,忽略该降落手势,即不控制无人机降落。
在第三种可能的实现方式中,本实施例还检测无人机下方是否存在水面。本实施例还根据该无人机下方是否存在水面来判断无人机是否可以降落,具体过程为:在目标对象的手的手势为降落手势时并且该无人机下方不存在水面时,控制无人机降落。若该无人机下方存在水面时,无人机停在水面上后会掉入水中,造成无人机损坏,因此,在该无人机下方存在水面时,忽略该降落手势,即不控制无人机降落。
在第四种可能的实现方式中,本实施例还检测无人机的飞行速度,无人机的飞行速度可以通过速度传感器来检测。本实施例还根据该无人机的飞行速度来判断无人机是否降落,具体过程为:在目标对象的手的手势为降落手势时并且该无人机的飞行速度小于或等于预设速度阈值时,控制无人机降落。若该无人机的飞行速度大于预设速度阈值时,为了避免无人机在降落在地面上仍有飞行速度造成无人机损坏,因此,在该无人机的飞行速度大于预设速度阈值时,忽略该降落手势,即不控制无人机降落。
在第五种可能的实现方式中,本实施例还检测目标对象的手的高度是否低于目标对象的头部的高度,其中,手的高度可以通过手的位置信息来确定,目标对象的头部的高度可以通过目标对象的位置信息来确定,如何确定手的位置信息和目标对象的位置信息可以参见上述实施例中的相关描述,此处不再赘述。本实施例还根据手的高度与头部的高度之间的关系来判断无人机是否降落,具体过程为:在目标对象的手的手势为降落手势时并且该目标对象的手的高度低于目标对象的头部的高度时,控制无人机降落。若目标对象的手的手势为降落手势时并且该目标对象的手的高度不低于目标对象的头部的高度,则忽略该降落手势,即不控制无人机降落。
需要说明的是,上述第一种至第五种可能的实现方式中的至少两种可能的实现方式也可以结合来控制无人机降落。
图18为本发明另一实施例提供的无人机的控制方法的流程图,如图18所示,本实施例的方法可以包括:
S801、获取拍摄装置拍摄的图像。
本实施例中,S801的具体实现过程可以参见图2所示实施例中的相关描述,此处不再赘述。
S802、识别图像中目标对象的特征部位。
本实施例中,识别图像中目标对象的特征部位的具体实现过程可以参见图15所示实施例中的相关描述,此处不再赘述。
S803、识别图像中目标对象的手。
本实施例中,识别图像中目标对象的手的具体实现过程可以参见图15所示实施例中的相关描述,此处不再赘述。其中,S802与S803的执行顺序不分先后。
S804、当识别出目标对象的特征部位且识别不到目标对象的手时,控制无人机对目标对象进行跟踪以使所述目标对象在拍摄装置的拍摄画面中。
本实施例中,当通过S802识别目标对象的特征部位,识别出目标对象的特征部位,以及当通过S803识别目标对象的手,识别不到目标对象的手时,说明拍摄的图像中存在目标对象但不存在手,无需根据手来控制无人机,然后控制无人机进行无手跟随模式,即控制无人机对目标对象进行跟踪以使该拍摄装置能拍摄到该目标对象,并且该目标对象在拍摄装置的拍摄画面中。
在一些实施例中,为了使得目标对象在拍摄装置的拍摄画面中,本实施例可以通过调整无人机的位置信息、姿态和承载拍摄装置的云台的姿态中的至少一种,控制无人机对目标对象进行跟踪。
在一些实施例中,图18所示实施例可以与上述图2-图15任一实施例结合,即如果识别不到目标对象的手时,执行图18所示实施例的方案,如果识别到对目标对象的手,则执行上述图2-图15任一种实施例的方案。
本实施例中,通过上述方案,实现了通过拍摄图像来控制无人机对目标对象的跟随,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
在一些实施例中,上述各实施例中的特征部位可以是指:人体的头部、人体的头部和肩部、人体中的至少一种。
在一些实施例中,在目标对象的状态参数满足预设的第一状态参数条件时,所述特征部位为人体的头部和肩部。其中,所述预设的第一状态参数条件包括:所述目标对象在图像中的尺寸占比大于或等于预设第一占比阈值,和/或,所述目标对象与所述无人机的距离小于或等于预设第一距离。本实施例中,可以判断目标对象在图像中的尺寸占比是否小于预设第一占比阈值,在目标对象在图像中的尺寸占比大于或等于预设第一占比阈值时,上述各实施例中的特征部位为人体的头部和肩部。其中,目标对象在图像中的尺寸占比越大,说明目标对象与无人机之间的距离越近。也可以判断目标对象与无人机的距离是否大于预设第一距离,在目标对象与无人机的距离小于或等于预设第一距离时,上述各实施例中的特征部位为人体的头部和肩部,其中,目标对象与无人机的距离可以通过双目摄像头进行测距的方式获得。因此,在目标对象的状态参数满足第一预设要求时,说明目标对象与无人机之间的距离较近,处于近场状态,此时无人机可以准确识别到目标对象的头部和肩部。
在一些实施例中,在目标对象的状态参数满足预设的第二状态参数条件时,所述特征部位为人体。其中,所述预设的第二状态参数条件包括:目标对象在所述图像中的尺寸占比小于或等于预设第二占比阈值;和/或,所述目标对象与所述无人机的距离大于或等于预设第二距离。本实施例中,可以判断目标对象在图像中的尺寸占比是否大于预设第二占比阈值,在目标对象在图像中的尺寸占比小于或等于预设第二占比阈值时,上述各实施例的特征部位为人体,其中,目标对象在图像中的尺寸占比越小,说明目标对象与无人机之间的距离越远。也可以判断目标对象与无人机的距离是否小于预设第二距离,在目标对象与无人机的距离大于或等于预设第二距离时,上述各实施例的特征部位为人体。因此,在目标对象的状态参数满足第二预设要求时,说明目标对象与无人机之间的距离较远,处于远场状态,此时无人机可以识别到目标对象的人体。
在一些实施例中,上述的预设第一占比阈值可以等于上述的预设第二占比阈值。上述的预设第一距离可以等于上述的预设第二距离。
综上所述,本发明实施例中可以直接根据拍摄装置拍摄的图像中的手来控制无人机的飞行,包括起飞、飞行高度、环绕飞行、远离或靠近、跟随、降落等一系列过程,避免了用户必须操作控制设备才能控制无人机的情况,克服了用户不熟悉控制设备而无法控制无人机的缺陷,简化了控制无人机的控制方式和操作过程,提高了控制无人机飞行的效率,增强了人机互动的娱乐性。
本发明实施例中还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,所述程序执行时可包括上述各实施例中的无人机的控制方法的部分或全部步骤。
图19为本发明一实施例提供的无人机的控制设备的一种结构示意图,如图19所示,本实施例的无人机的控制设备1900可以包括:存储器1901和处理器1902。上述存储器1901与处理器1902通过总线连接。存储器1901可以包括只读存储器和随机存取存储器,并向处理器1902提供指令和数据。存储器1901的一部分还可以包括非易失性随机存取存储器。
上述处理器1902可以是中央处理单元(Central Processing Unit,CPU),该处理器1902还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,所述存储器1901用于存储程序代码;
在一些实施例中,所述处理器1902,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的手在所述图像中的位置;
根据所述手在所述图像中的位置确定所述目标对象的手的位置信息;
根据所述目标对象的手的位置信息控制无人机的飞行。
可选的,所述处理器1902,具体用于:
根据所述手在所述图像中的位置、承载所述拍摄装置的云台的姿态、所述目标对象与所述无人机之间的水平距离和所述无人机的位置信息确定所述目标对象的手的位置信息。
可选的,所述处理器1902,具体用于:
根据手在图像中的位置、承载拍摄装置的云台的姿态确定手相对于无人机的朝向;
根据所述朝向、目标对象与无人机之间的水平距离和无人机的位置信息确定目标对象的手的位置信息。
可选的,所述处理器1902,具体用于:根据所述目标对象的手的位置信息控制无人机的飞行高度。
可选的,所述处理器1902,具体用于:
根据所述目标对象的手的位置信息和所述无人机的位置信息确定所述手相对于所述无人机在俯仰方向上的角度;
根据所述角度控制所述无人机的飞行高度。
可选的,所述处理器1902,具体用于:
当所述目标对象的状态参数满足第一预设要求时,根据所述目标对象的手的位置和所述无人机的位置信息确定所述手相对于所述无人机在俯仰方向上的角度。
可选的,所述目标对象的状态参数满足第一预设要求包括:
所述目标对象在所述图像中的尺寸占比大于或等于预设第一占比阈值;和/或,
所述目标对象与所述无人机的距离小于或等于预设第一距离。
可选的,所述处理器1902,具体用于:
根据所述目标对象的预设部位的位置信息和所述手的位置信息确定所述手相对于所述预设部位在俯仰方向上的角度;
根据所述角度控制所述无人机的飞行高度。
可选的,所述预设部位包括头部、肩部、胸部中的至少一个部位。
可选的,所述处理器1902,具体用于:
当目标对象的状态参数满足第二预设要求时,根据目标对象的预设部位的位置信息和所述手的位置信息确定所述手相对于所述特征部位在俯仰方向上的角度。
可选的,所述目标对象的状态参数满足第二预设要求包括:
所述目标对象在所述图像中的尺寸占比小于或等于预设第二占比阈值;和/或,
所述目标对象与所述无人机的距离大于或等于预设第二距离。
可选的,所述预设部位的位置信息是根据所述目标对象的位置信息确定的。
可选的,所述处理器1902,具体用于:
根据所述目标对象的手的位置信息控制所述无人机对所述目标对象进行环绕飞行。
可选的,所述处理器1902,具体用于:
根据所述目标对象的手的位置信息和所述目标对象的位置信息确定所述手相对于所述目标对象在偏航方向上的角度;
根据所述角度控制所述无人机对所述目标对象进行环绕飞行。
可选的,所述处理器1902,具体用于:
根据所述目标对象的手的位置信息控制所述无人机远离或靠近所述目标对象飞行。
可选的,所述处理器1902具体用于:
确定所述目标对象的两个手在所述图像中的位置;
根据所述两个手在所述图像中的位置确定所述目标对象的两个手的位置信息;
根据所述两个手的位置信息控制所述无人机远离或靠近所述目标对象飞行。
可选的,所述处理器1902具体用于:
根据所述两个手的位置信息确定所述两个手之间的距离;
根据所述距离控制所述无人机远离或靠近所述目标对象飞行。
可选的,所述处理器还用于:
确定所述图像中所述目标对象在所述图像中的位置;
根据所述目标对象在所述图像中的位置确定所述目标对象的位置信息。
可选的,所述处理器1902具体用于:
根据所述目标对象在所述图像中的位置、承载拍摄装置的云台的姿态、所述目标对象与所述无人机之间的水平距离和所述无人机的位置信息确定所述目标对象的位置信息。
可选的,所述处理器1902还用于:识别图像中目标对象的手的手势;
所述处理器在根据所述目标对象的手的位置信息控制无人机的飞行时,具体用于:当所述手的手势为预设手势时,根据所述目标对象的手的位置信息控制无人机的飞行。
本实施例的设备,可以用于执行图2-图12及其对应实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在一些实施例中,所述处理器1902,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的特征部位;
识别所述图像中的手;
根据所述目标对象的特征部位从所述图像中识别的手中确定所述目标对象的手;
当所述目标对象的手的手势为控制手势时,控制无人机执行所述手势指示的动作。
可选的,所述处理器1902,具体用于:
当所述手势为起飞手势时,控制所述无人机起飞。
可选的,所述处理器1902,具体用于:
控制所述无人机起飞并悬停在预设高度。
可选的,所述处理器1902,还用于:在检测到用户的第一操作后,控制承载拍摄装置的云台以带动所述拍摄装置在预设的角度范围内扫描。
可选的,所述第一操作包括:单击或双击电池开关、晃动所述无人机、向所述无人机发出语音指令中的至少一种。
可选的,所述处理器1902,具体用于:
获取所述拍摄装置拍摄的多帧图像;
确定所述多帧图像中每一帧中所述目标对象的手在所述图像中的位置;
当所述目标对象的手势为起飞手势且每一帧图像中所述目标对象的手在所述图像中的位置在参考位置的预设范围内时,控制所述无人机起飞。
可选的,所述参考位置为上一帧图像中所述目标对象的手在所述图像中的位置。
可选的,所述处理器1902,具体用于:
当所述手势为降落手势时,控制所述无人机降落。
可选的,所述处理器1902还用于:
获取距离传感器测量得到的高度值;
所述处理器1902用于当所述手势为降落手势时,控制所述无人机降落,包括:所述处理器用于当所述手势为降落手势且所述高度值小于或等于预设高度阈值时,控制所述无人机降落。
可选的,所述处理器1902还用于:检测所述无人机下方地面的平整度;
所述处理器1902用于当所述手势为降落手势时,控制所述无人机降落包括:
所述处理器1902用于当所述手势为降落手势且所述平整度大于或等于预设平整度阈值时,控制所述无人机降落。
可选的,所述处理器1902还用于:检测所述无人机下方是否存在水面;
所述处理器1902用于当所述手势为降落手势时,控制所述无人机降落包括:
所述处理器1902用于当所述手势为降落手势且所述无人机下方不存在水面时,控制所述无人机降落。
可选的,所述处理器1902,还用于:检测所述无人机的飞行速度;
所述处理器1902用于当所述手势为降落手势时,控制所述无人机降落包括:
所述处理器1902用于当所述手势为降落手势且所述速度小于或等于预设速度阈值时,控制所述无人机降落。
可选的,所述处理器1902,具体用于:
识别所述图像中的特征部位;
从所述图像中识别的特征部位确定所述目标对象的特征部位。
可选的,所述处理器1902,具体用于:
将距离所述图像的中心最近的特征部位确定为所述目标对象的特征部位。
可选的,所述处理器1902,具体用于:
根据所述目标对象的特征部位确定所述目标对象的关节点;
根据所述目标对象的关节点从所述图像中识别的手中确定所述目标对象的手。
可选的,所述处理器1902,具体用于:
确定从所述图像中识别的手中距离所述目标对象的关节点中手的关节点最近的手;
将所述距离手的关节点最近的手确定为所述目标对象的手。
可选的,所述特征部位包括人体的头部、人体的头部和肩部、人体中的至少一种。
可选的,在所述目标对象的状态参数满足预设的第一状态参数条件时,所述特征部位为所述头部和肩部。
可选的,所述预设的第一状态参数条件包括:所述目标对象在图像中的尺寸占比大于或等于预设第一占比阈值,和/或,所述目标对象与所述无人机的距离小于或等于预设第一距离。
可选的,在所述目标对象的状态参数满足预设的第二状态参数条件时,所述特征部位为所述人体。
可选的,所述预设的第二状态参数条件包括:所述目标对象在图像中的尺寸占比小于或等于预设第二占比阈值,和/或,所述目标对象与所述无人机的距离大于或等于预设第二距离。
本实施例的设备,可以用于执行图15及其对应实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在一些实施例中,所述处理器1902,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
识别所述图像中目标对象的特征部位;
识别所述图像中所述目标对象的手;
当识别出所述目标对象的特征部位且识别不到所述目标对象的手时,控制无人机对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
可选的,所述处理器1902,具体用于:
调整所述无人机的位置信息、姿态和承载所述拍摄装置的云台的姿态中的至少一种对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
可选的,所述特征部位包括人体的头部、人体的头部和肩部、人体中的至少一种。
可选的,在所述目标对象的状态参数满足预设的第一状态参数条件时,所述特征部位为所述头部和肩部。
可选的,所述预设的第一状态参数条件包括:所述目标对象在图像中的尺寸占比大于或等于预设第一占比阈值,和/或,所述目标对象与所述无人机的距离小于或等于预设第一距离。
可选的,在所述目标对象的状态参数满足预设的第二状态参数条件时,所述特征部位为所述人体。
可选的,所述预设的第二状态参数条件包括:所述目标对象在图像中的尺寸占比小于或等于预设第二占比阈值,和/或,所述目标对象与所述无人机的距离大于或等于预设第二距离。
本实施例的设备,可以用于执行图18及其对应实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图20为本发明一实施例提供的无人机的一种结构示意图,如图20所示,本实施例的无人机可以包括:无人机的控制设备2001、拍摄装置2002和动力系统(图中未标示)。无人机的控制设备2201、拍摄装置2002和动力系统通过总线连接。其中,无人机的控制设备2201用于控制无人机的飞行,可以采用图19所示实施例的结构,其对应地,可以执行图2~图18中任一方法实施例及其对应实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。拍摄装置2002,用于拍摄图像。动力系统,用于提供飞行动力,动力驱动无人机飞行,其中,动力系统包括电调、电机、螺旋桨等。在一些实施例中,该无人机还可以包括云台2003,该云台2003用于承载拍摄装置2002。在一些实施例中,无人机还可以包括:定位传感器、距离传感器、速度传感器等。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:只读内存(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种无人机的控制方法,其特征在于,包括:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的手在所述图像中的位置;
根据所述手在所述图像中的位置确定所述目标对象的手的位置信息,其中,位置信息为三维位置信息;
根据所述目标对象的手的位置信息控制无人机的飞行。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述目标对象的手的位置信息控制无人机的飞行包括:
根据所述目标对象的手的位置信息控制无人机的飞行高度。
3.根据权利要求1所述的方法,其特征在于,
所述根据所述目标对象的手的位置信息控制无人机的飞行包括:
根据所述目标对象的手的位置信息控制所述无人机对所述目标对象进行环绕飞行。
4.根据权利要求1所述的方法,其特征在于,
所述根据所述目标对象的手的位置信息控制无人机的飞行包括:
根据所述目标对象的手的位置信息控制所述无人机远离或靠近所述目标对象飞行。
5.根据权利要求4所述的方法,其特征在于,
所述确定图像中目标对象的手在图像中的位置包括:
确定所述目标对象的两个手在所述图像中的位置;
根据手在图像中的位置确定目标对象的手的位置信息包括:
根据所述两个手在所述图像中的位置确定所述目标对象的两个手的位置信息;
所述根据所述目标对象的手的位置信息控制所述无人机远离或靠近所述目标对象飞行包括:
根据所述两个手的位置信息控制所述无人机远离或靠近所述目标对象飞行。
6.根据权利要求5所述的方法,其特征在于,
所述根据所述两个手的位置信息控制所述无人机远离或靠近目标对象飞行包括:
根据所述两个手的位置信息确定所述两个手之间的距离;
根据所述距离控制所述无人机远离或靠近所述目标对象飞行。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
识别图像中目标对象的手的手势;
所述根据所述目标对象的手的位置信息控制无人机的飞行包括:
当所述手的手势为预设手势时,根据所述目标对象的手的位置信息控制无人机的飞行。
8.一种无人机的控制设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
确定所述图像中目标对象的手在所述图像中的位置;
根据所述手在所述图像中的位置确定所述目标对象的手的位置信息,其中,位置信息为三维位置信息;
根据所述目标对象的手的位置信息控制无人机的飞行。
9.一种无人机的控制方法,其特征在于,包括:
获取拍摄装置拍摄的图像;
识别所述图像中目标对象的特征部位;
识别所述图像中所述目标对象的手;
当识别出所述目标对象的特征部位且识别不到所述目标对象的手时,控制无人机对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
10.根据权利要求9所述的方法,其特征在于,
所述特征部位包括人体的头部、人体的头部和肩部、人体中的至少一种。
11.根据权利要求9或10所述的方法,其特征在于,
在所述目标对象的状态参数满足预设的第一状态参数条件时,所述特征部位为所述头部和肩部;
在所述目标对象的状态参数满足预设的第二状态参数条件时,所述特征部位为所述人体。
12.一种无人机的控制设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序代码;
所述处理器,用于调用所述程序代码执行:
获取拍摄装置拍摄的图像;
识别所述图像中目标对象的特征部位;
识别所述图像中所述目标对象的手;
当识别出所述目标对象的特征部位且识别不到所述目标对象的手时,控制无人机对所述目标对象进行跟踪以使所述目标对象在所述拍摄装置的拍摄画面中。
13.根据权利要求12所述的控制设备,其特征在于,
所述特征部位包括人体的头部、人体的头部和肩部、人体中的至少一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210589359.1A CN114879715A (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880001655.7A CN109074168B (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
PCT/CN2018/073803 WO2019144271A1 (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
CN202210589359.1A CN114879715A (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880001655.7A Division CN109074168B (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114879715A true CN114879715A (zh) | 2022-08-09 |
Family
ID=64789396
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880001655.7A Active CN109074168B (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
CN202210589359.1A Pending CN114879715A (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880001655.7A Active CN109074168B (zh) | 2018-01-23 | 2018-01-23 | 无人机的控制方法、设备和无人机 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200346753A1 (zh) |
CN (2) | CN109074168B (zh) |
WO (1) | WO2019144271A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102032067B1 (ko) * | 2018-12-05 | 2019-10-14 | 세종대학교산학협력단 | 강화학습 기반 무인 항공기 원격 제어 방법 및 장치 |
CN110097592B (zh) * | 2019-04-07 | 2020-12-15 | 杭州晶一智能科技有限公司 | 地面信息的语义性描述方法 |
WO2020209167A1 (ja) * | 2019-04-08 | 2020-10-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110385324B (zh) * | 2019-06-03 | 2021-07-27 | 浙江大华技术股份有限公司 | 摄像装置的清洁方法、系统、可读存储介质和设备 |
CN110426970B (zh) * | 2019-06-25 | 2021-05-25 | 西安爱生无人机技术有限公司 | 一种无人机拍照系统及其控制方法 |
CN110262539A (zh) * | 2019-07-05 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 无人机起降控制方法、飞行控制器及无人机 |
CN112154390A (zh) * | 2019-07-30 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 飞行器的降落方法、无人飞行器及计算机可读存储介质 |
WO2021026782A1 (zh) * | 2019-08-13 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 手持云台的控制方法、控制装置、手持云台及存储介质 |
WO2021073733A1 (en) * | 2019-10-16 | 2021-04-22 | Supsi | Method for controlling a device by a human |
WO2022094860A1 (zh) * | 2020-11-05 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置、无人机及计算机可读存储介质 |
JP7174748B2 (ja) * | 2020-12-18 | 2022-11-17 | 楽天グループ株式会社 | 走行制御システム、制御方法、及び制御装置 |
US11615639B1 (en) * | 2021-01-27 | 2023-03-28 | Jackson Klein | Palm vein identification apparatus and method of use |
CN113091752A (zh) * | 2021-04-16 | 2021-07-09 | 中山大学 | 一种基于多无人机的目标位姿实时测量方法及系统 |
CN113870345B (zh) * | 2021-09-24 | 2022-10-18 | 埃洛克航空科技(北京)有限公司 | 基于三维场景的飞行定位方法以及装置、存储介质、电子装置 |
CN116189308B (zh) * | 2023-03-09 | 2023-08-01 | 杰能科世智能安全科技(杭州)有限公司 | 一种无人机飞手检测方法、系统及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8214098B2 (en) * | 2008-02-28 | 2012-07-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
WO2014210502A1 (en) * | 2013-06-28 | 2014-12-31 | Chia Ming Chen | Controlling device operation according to hand gestures |
US9836053B2 (en) * | 2015-01-04 | 2017-12-05 | Zero Zero Robotics Inc. | System and method for automated aerial system operation |
WO2017060782A1 (en) * | 2015-10-07 | 2017-04-13 | Lee Hoi Hung Herbert | Flying apparatus with multiple sensors and gesture-based operation |
US9758246B1 (en) * | 2016-01-06 | 2017-09-12 | Gopro, Inc. | Systems and methods for adjusting flight control of an unmanned aerial vehicle |
US10191496B2 (en) * | 2016-04-21 | 2019-01-29 | Foundation Of Soongsil University-Industry Cooperation | Unmanned aerial vehicle and a landing guidance method using the same |
CN106094861B (zh) * | 2016-06-02 | 2024-01-12 | 零度智控(北京)智能科技有限公司 | 无人机、无人机控制方法及装置 |
CN106200657B (zh) * | 2016-07-09 | 2018-12-07 | 东莞市华睿电子科技有限公司 | 一种无人机控制方法 |
CN106249888A (zh) * | 2016-07-28 | 2016-12-21 | 纳恩博(北京)科技有限公司 | 一种云台控制方法和装置 |
CN106339079A (zh) * | 2016-08-08 | 2017-01-18 | 清华大学深圳研究生院 | 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 |
CN106377228B (zh) * | 2016-09-21 | 2019-07-09 | 中国人民解放军国防科学技术大学 | 基于Kinect的无人机操作员状态监视与分层控制方法 |
KR20180051996A (ko) * | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 무인 비행 장치 및 이를 이용한 피사체 촬영 방법 |
US10409276B2 (en) * | 2016-12-21 | 2019-09-10 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
CN106843489B (zh) * | 2017-01-24 | 2019-02-19 | 腾讯科技(深圳)有限公司 | 一种飞行器的飞行路线控制方法及飞行器 |
CN107203215A (zh) * | 2017-05-04 | 2017-09-26 | 西北工业大学 | 一种手势及语音控制四旋翼飞行器方法 |
CN107463181A (zh) * | 2017-08-30 | 2017-12-12 | 南京邮电大学 | 一种基于AprilTag的四旋翼飞行器自适应追踪系统 |
-
2018
- 2018-01-23 CN CN201880001655.7A patent/CN109074168B/zh active Active
- 2018-01-23 WO PCT/CN2018/073803 patent/WO2019144271A1/zh active Application Filing
- 2018-01-23 CN CN202210589359.1A patent/CN114879715A/zh active Pending
-
2020
- 2020-07-21 US US16/934,910 patent/US20200346753A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200346753A1 (en) | 2020-11-05 |
CN109074168B (zh) | 2022-06-17 |
WO2019144271A1 (zh) | 2019-08-01 |
CN109074168A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109074168B (zh) | 无人机的控制方法、设备和无人机 | |
US11724805B2 (en) | Control method, control device, and carrier system | |
US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
US11604479B2 (en) | Methods and system for vision-based landing | |
JP2017065467A (ja) | 無人機およびその制御方法 | |
WO2021168819A1 (zh) | 无人机的返航控制方法和设备 | |
CN109154815B (zh) | 最高温度点跟踪方法、装置和无人机 | |
CN108450032B (zh) | 飞行控制方法和装置 | |
WO2020048365A1 (zh) | 飞行器的飞行控制方法、装置、终端设备及飞行控制系统 | |
CN110568860A (zh) | 一种无人飞行器的返航方法、装置及无人飞行器 | |
WO2019183789A1 (zh) | 无人机的控制方法、装置和无人机 | |
CN111567032A (zh) | 确定装置、移动体、确定方法以及程序 | |
CN113795805A (zh) | 无人机的飞行控制方法和无人机 | |
WO2019189381A1 (ja) | 移動体、制御装置、および制御プログラム | |
US20210181769A1 (en) | Movable platform control method, movable platform, terminal device, and system | |
WO2020042159A1 (zh) | 一种云台的转动控制方法、装置及控制设备、移动平台 | |
JP6910785B2 (ja) | 移動撮像装置およびその制御方法、ならびに撮像装置およびその制御方法、無人機、プログラム、記憶媒体 | |
WO2020225979A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
WO2020237429A1 (zh) | 遥控设备的控制方法和遥控设备 | |
CN110799922A (zh) | 拍摄控制方法和无人机 | |
CN110785997B (zh) | 控制装置、摄像装置、移动体以及控制方法 | |
CN111226170A (zh) | 控制装置、移动体、控制方法以及程序 | |
WO2021217372A1 (zh) | 可移动平台的控制方法和设备 | |
WO2022205294A1 (zh) | 无人机的控制方法、装置、无人机及存储介质 | |
CN111433815A (zh) | 图像特征点的评价方法和可移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |