CN105589466A - 无人飞行器的飞行控制装置及其飞行控制方法 - Google Patents
无人飞行器的飞行控制装置及其飞行控制方法 Download PDFInfo
- Publication number
- CN105589466A CN105589466A CN201610101950.2A CN201610101950A CN105589466A CN 105589466 A CN105589466 A CN 105589466A CN 201610101950 A CN201610101950 A CN 201610101950A CN 105589466 A CN105589466 A CN 105589466A
- Authority
- CN
- China
- Prior art keywords
- flight control
- unmanned vehicle
- flight
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000000712 assembly Effects 0.000 claims description 37
- 238000000429 assembly Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 32
- 238000004737 colorimetric analysis Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 239000005437 stratosphere Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241001310793 Podium Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 108010052322 limitin Proteins 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种无人飞行器的飞行控制装置及其飞行控制方法，无人飞行器的飞行控制装置包括拍摄模块(1)、图像识别模块(2)和处理模块(3)，所述拍摄模块(1)拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块(2)基于所述图像识别所述飞行控制参照物；所述处理模块(3)基于所述飞行控制参照物的姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器，飞行控制装置建立无人飞行器飞行控制和用户之间的互动联系，使得无人飞行器基于用户的动作进行预定的飞行，在保证安全性的前提下，提高用户操控无人飞行器的趣味性，且可以灵活地更换操控对象和飞行控制指令。
Description
技术领域
本发明属于无人飞行器领域，特别是涉及一种无人飞行器的飞行控制装置及其飞行控制方法。
背景技术
无人飞行器技术得到飞跃式发展，尤其是随着多旋翼式无人飞行器的普及，越来越多的人开始了解和使用多旋翼式无人飞行器。当前民用的无人飞行器主要分为消费级无人飞行器与工业级(行业级)无人飞行器两大类，这两类无人飞行器通常都是在人工或者自动控制下，精准控制无人飞行器完成一些飞行任务，这些飞行任务包括航拍、巡线、勘测、计量、货物运送等等。由于考虑到任务完成的精度以及飞行安全性，此类无人飞行器的设计对于飞行精度、控制精度要求极高。
但是，在民用消费级无人机领域，还存在另外一种需求。就是将无人飞行器用作娱乐用途，此时无人飞行器由于体积很小，对于飞行精度、飞行安全性、飞行控制等方面的要求也可以稍微放松一些，主要目的是要能够提供足够的趣味性。比如，使用此类无人飞行器进行自拍娱乐，就并不要求较高的续航时间、精准的飞行控制，较远的控制距离等等，所以实际上，发展成了另外一个技术需求进展方向。
在此类无人飞行器的技术发展中，对于其操控的改进是一个不断衍进的过程。现行主流操控方式包括，手柄式控制，通过多个手柄摇把和/或按钮(包括虚拟手柄和按键)来实施对无人飞行器的控制；或者是航线规划式控制，通过在电子地图上指定目标和飞行动作的方式来实施对无人飞行器的控制。上述无论哪种控制方式，都是以准确控制为主，或者准确控制飞行过程，或者准确控制飞行目的地。
现有技术中，也出现了利用手机作为无人飞行器的遥控设备控制其飞行，此时或者手机上设置有虚拟手柄，用来接收用户的输入指令，并将其转换为飞行控制指令，发送给无人飞行器；或者手机上设置有电子地图模块，根据无人飞行器当前位置，以及用户在电子地图上规定的无人飞行器拟将完成的飞行航线，将生成的飞行轨迹对应的飞行控制指令发送给无人飞行器，控制无人飞行器按照上述飞行轨迹飞行。
对于普通用户而言，在经过了首次上手后的新鲜感之后，就会带来一个问题，充满了工业设计严谨性的操作方式，让普通用户在熟悉了操作之后，会一定程度上丧失乐趣。普通用户的感受是，我能控制无人飞行器在空中自由飞行了，很不错，那么然后呢？好像也没有什么可做的了。
相较于传统控制方式对于控制专业性、精度、响应速度的不断追求，本申请在现有技术的基础上提出了一种视觉识别飞行控制装置及其飞行控制方法，能够让追求一种简单实用又有趣味的飞行控制，不熟悉操控的用户也能体会到控制无人飞行器的乐趣。这里，对于本发明的无人飞行器的飞行控制装置及其飞行控制方法所针对的那些对象来说，操控精准度不是最大的问题，他们需要的其实是无人飞行器相较于用户给出的指令，能够提供一定互动，另外，从产品设计来说，这种控制模式必须符合飞行的安全性。
专利文献CN104765360A公开的一种基于图像识别的无人机自主飞行系统，是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；其包括：飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；所述飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口；所述n个无人机通过自带的前置摄像头各自获取环境图像，并通过各自的飞行通信模块进行编码和封装形成TCP包后利用自身的TCP5555端口发送给所述地面通信模块的TCP5555端口；所述地面通信模块TCP5555端口接收所述TCP包并传递给所述输入模块进行预处理，获得H264基本图像，并将所述H264基本图像发送给FFMPEG模块；所述FFMPEG模块通过调用FFMPEG解码包对所接收的H264基本图像进行解码处理获得图像帧，再将所述图像帧发送给图像识别模块，同时所述FFMPEG模块对所述图像帧进行组装形成视频流后发送给所述视频显示模块用于实时显示；所述图像识别模块对所接收的图像帧进行二值化处理，获得黑白图像；对所述黑白图像利用循环校正算法来获得识别目标；对所述识别目标采用质心比对算法获取目标的实际质心，并将所述实际质心与所设定的质心阈值进行求差，获得调整量后发送给所述指令生成模块；所述指令生成模块利用监视器来接收所述调整量并对所述调整量进行AT指令的转义后发送给所述输出模块；所述输出模块对所接收到的转义后的AT指令进行封装，形成指令数据包后利用所述地面通信模块的UDP5556端口发送给所述飞行通信模块的UDP5556端口；所述飞行通信模块的UDP5556端口从所接收的指令数据包中提取AT指令，并根据所述AT指令执行自主飞行任务。该专利能够采用了实时图像信息作为控制调整依据，通过图像识别技术让飞行器能使其有效地了解复杂环境障碍物的情况，并根据实时信息作出飞行调整，使其能在复杂地形或多变环境中，具备更智能灵活的自主飞行控制能力，避免飞行受到影响；飞行器具有的实时视频显示功也能方便操作人员充分了解具体任务环境信息，但该专利结构复杂，目的在于提高飞行精确性，而不是无人飞行器飞行与用户之间的互动；该专利操控复杂无法让用户在保证安全性的前提下获得操控的趣味性；而且，该专利无法灵活地更换操控对象和飞行控制指令，不利于无人飞行器的操控通用性和推广。
专利文献CN104680522A公开的一种基于智能手机前后摄像头同时工作的视觉定位方法，其包括以下步骤：(1)视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10-20；对获得图像进行预处理；(2)IMU数据获取及预处理：获得IMU数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为n帧/秒；(3)根据步骤1预处理后的视觉数据和步骤2预处理后的IMU数据，进行设备位置和姿态估计，包括以下子步骤：(3.1)当仅有IMU数据，没有图像数据获得时，使用IMU数据扩展其状态和协方差矩阵；(3.2)当图像数据到达时，执行以下操作：(3.2.1)通过特征提取算法获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法减少特征匹配的误差；(3.2.2)根据步骤3.2.1获得的图像特征数据及步骤3.1获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波，获得摄像头的位置和姿态估计；(3.2.3)根据步骤3.2.2获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵；(3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。该专利使用智能手机实现IMU和视觉辅助室内定位，一方面简化了系统的开发，无须自己搭建复杂的软硬件平台，另一方面则可以将其与日常应用结合，实现部分增强现实应用，但该专利无法让无人飞行器飞行与用户之间的互动，仅是利用摄像头定位，无法让用户在保证安全性的前提下获得操控的趣味性；而且，该专利无法灵活地更换操控对象和飞行控制指令，不利于无人飞行器的操控通用性和推广。
因此，本领域急需要解决的技术问题在于：建立无人飞行器飞行控制和用户之间的互动联系，使得无人飞行器基于用户的动作进行预定的飞行，在保证安全性的前提下，提高用户操控无人飞行器的趣味性，且可以灵活地更换操控对象和飞行控制指令，提高无人飞行器的操控通用性和推广。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
本发明的目的是通过以下技术方案予以实现。
根据本发明的第一方面，本发明公开的一种无人飞行器的飞行控制装置包括拍摄模块、图像识别模块和处理模块，所述拍摄模块拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块基于所述图像识别所述飞行控制参照物，所述处理模块基于所述飞行控制参照物的姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
在无人机操控领域，通过识别飞行控制参照物的姿态生成无人飞行器的飞行控制指令实现了预想不到的技术效果，大大简化了操控的复杂性，提高了无人飞行器的趣味性，实现了飞行和用户之间的互动，这也是现有技术的本领域技术人员不易想到的。
优选地，所述拍摄模块为手机前置摄像头，所述飞行控制参照物为无人飞行器控制用户或无人飞行器控制用户身体的一部分，比如用户的手掌或手指，又或者用户的表情等。
优选地，所述图像识别模块设有图像景深计算单元，该图像景深计算单元基于所述图像识别所述飞行控制参照物。
优选地，所述图像识别模块设有色差计算单元，该色差计算单元基于所述图像识别所述飞行控制参照物。
优选地，所述图像识别模块设有人脸识别单元，该人脸识别单元基于所述图像识别所述无人飞行器控制用户。
根据本发明的第二方面，一种无人飞行器的飞行控制装置，其包括拍摄模块、图像识别模块和处理模块，所述拍摄模块拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。在无人机操控领域，进一步通过识别飞行控制参照物的动作生成无人飞行器的飞行控制指令不仅大大简化了操控的复杂性，提高了无人飞行器的趣味性，实现了飞行和用户之间的互动，而且丰富了互动的内容变换，这也是现有技术的本领域技术人员不易想到的。
优选地，所述图像识别模块基于连续的所述图像采集若干个特征点并计算所述特征点的变化量以识别所述飞行控制参照物的动作。
所述图像识别模块基于连续的所述图像采集所述飞行控制参照物的若干个特征点以识别所述飞行控制参照物的姿态，所述处理模块基于所述姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
优选地，处理模块包括存储单元和生成单元，所述存储单元存储与所述动作对应的飞行控制指令数据，当所述图像识别模块识别出所述动作，所述生成单元生成飞行控制指令。
优选地，所述处理模块设有无线通信模块，所述飞行控制指令经由所述无线通信模块发送到所述无人飞行器。
优选地，所述无人飞行器设有飞行限制模块以限定飞行参数处于预定范围内。
根据本发明的第三方面，本发明公开的一种使用所述的无人飞行器的飞行控制装置的飞行控制方法包括以下步骤。
第一步骤中，所述拍摄模块拍摄包含控制无人飞行器的飞行控制参照物的图像。
第二步骤中，所述图像识别模块基于所述图像识别所述飞行控制参照物，所述图像识别模块基于连续的所述图像识别所述飞行控制参照物的动作。
第三步骤中，所述处理模块基于所述动作生成无人飞行器的飞行控制指令发送到所述无人飞行器。
本发明提出的方案通过拍摄模块拍摄飞行控制参照物，利用图像识别模块识别飞行控制参照物的动作，生成无人飞行器的飞行控制指令，建立无人飞行器飞行控制和用户之间的互动联系，使得无人飞行器基于用户的动作进行预定的飞行，在保证安全性的前提下，提高用户操控无人飞行器的趣味性，且可以通过对处理模块的程序化设置灵活地更换操控对象和飞行控制指令，提高无人飞行器的操控通用性和推广。
附图说明
图1是根据本发明一个实施例的无人飞行器的飞行控制装置的结构示意图。
图2是根据本发明另一个实施例的无人飞行器的飞行控制装置的结构示意图。
图3是根据本发明另一个实施例的无人飞行器的飞行控制装置的结构示意图。
图4是根据本发明另一个实施例的无人飞行器的飞行控制装置的结构示意图。
图5是根据本发明一个实施例的使用无人飞行器的飞行控制装置的飞行控制方法的步骤示意图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
以下详细描述实际上仅是示例性的而并不意欲限制应用和使用。此外，并不意欲受以上技术领域、背景、简要概述或以下详细描述中呈现的任何明确或暗示的理论约束。如本文使用，术语“模块”或“单元”是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备单独地或者以任何组合，包括而不限于：专用集成电路ASIC、电子电路、执行一个或多个软件或固件程序的处理器共享、专用或成组的和存储器、组合逻辑电路和/或提供所描述的功能性的其他适合的部件。此外，除非明确地具有相反的描述，否则词语“包括”及其不同的变型应被理解为隐含包括所述的部件但不排除任意其他部件。
本发明的实施例描述了一种无人飞行器的飞行控制装置，如图1所示的根据本发明的一个实施例的无人飞行器的飞行控制装置的示意图，无人飞行器的飞行控制装置包括拍摄模块1、图像识别模块2和处理模块3。
在本领域中，无人飞行器优选地是多旋翼式无人飞行器。
所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像。在一个实施例中，拍摄模块1可以是可见光高清摄像机或摄像头，拍摄模块1也可以是数字移动终端设备上的摄像头，如手机或pad上的摄像头，进一步优选地，所述拍摄模块1为手机前置摄像头，所述飞行控制参照物为无人飞行器控制用户。
无人飞行器用户基于飞行控制参照物的动作控制无人飞行器的飞行，在一个实施例中，飞行控制参照物可以是无人飞行器用户本人或无人飞行器控制用户身体的一部分，比如用户的手掌或手指，又或者用户的表情等。在另一个例子中，飞行控制参照物可以是无人飞行器用户之外的其他人，在一个实施例中，飞行控制参照物是可以做出规范动作的物体，该物体可以例如是机器人、运行中的装置或能够做出规范动作的动物等。
图像识别模块2基于所述图像识别所述飞行控制参照物，所述处理模块3基于所述飞行控制参照物的姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
在一个实施例中，无人飞行器的飞行控制装置包括拍摄模块1、图像识别模块2和处理模块3，所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块2基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块3基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
图像识别模块2对所接收的图像进行二值化处理，获得黑白图像，对黑白图像利用循环校正算法来识别飞行控制参照物。在一个实施例中，所述图像识别模块2基于连续的所述图像采集若干个特征点并计算所述特征点的变化量以识别所述飞行控制参照物的动作，该特征点可以但不仅限于设在如用户的参照物的头、手臂和/或躯干。图像识别模块2可包括多个位置传感器和加速度传感器以计算特征点的变化量。所述动作包括在预定时间内静止的姿势。举例来说，本发明一旦通过图像识别模块2识别到一个比划出大拇指的拳头姿势，则将其转换一段飞行控制指令，使得无人飞行器向上方飞行一个预设距离；那么当手机摄像头朝向某控制用户时，该用户可以根据屏幕上的提示，在摄像头前比划出一个对应姿势，当用户比出的姿势距离摄像头足够近、足够清晰，方便摄像头能够轻易识别出该姿势时，则手机按照预设程序，将对应的飞行控制指令发送给无人飞行器。
在另一个实施例中，飞行控制参照物的动作可以设为速度大于阈值的奔跑或手臂伸展幅度等。飞行控制参照物的动作也可以是预定的姿势。
所述处理模块3基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
在一个实施例中，所述图像识别模块2基于连续的所述图像采集所述飞行控制参照物的若干个特征点以识别所述飞行控制参照物的姿态，所述处理模块3基于所述姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
在一个实施例中，用户A可以手持手机，用前置摄像头对着自己，然后用另一只手在摄像头前比划出各种随意的姿态或者动作，然后使得无人飞行器能够响应于这些姿态或者动作给出对应的互动飞行过程，会让用户A得到极大的娱乐体验；进一步的，用户A还可以将手机的摄像头朝向其他人，来读取其他人给出的姿态或者动作，通过简单的图像识别，即可转化为飞行控制指令，完成互动。
在一个实施例中，如图2所示，一种无人飞行器的飞行控制装置包括拍摄模块1、图像识别模块2和处理模块3，所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块2设有图像景深计算单元4，该图像景深计算单元4基于所述图像识别所述飞行控制参照物，所述图像识别模块2基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块3基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。图像景深计算单元4可以在图像中抠出位于同一景深的参照物以便图像识别模块2识别和锁定飞行控制参照物，其中，处理模块3包括存储单元7和生成单元8，所述存储单元7存储与所述动作对应的飞行控制指令数据，当所述图像识别模块2识别出所述动作，所述生成单元8生成飞行控制指令，在一个实施例中，处理模块3可比较、计算或分析在存储单元7中的数据以执行对数据的处理以及对相关部件的控制。处理模块3可以包括通用处理器、数字信号处理器、专用集成电路ASIC，现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。存储单元7可以是易失性存储器或非易失性存储器。存储单元7可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。
在一个实施例中，如图3所示，一种无人飞行器的飞行控制装置包括拍摄模块1、图像识别模块2和处理模块3，所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块2设有色差计算单元5，该色差计算单元5基于所述图像识别所述飞行控制参照物，所述图像识别模块2基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块3基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。色差计算单元5可以在图像中从单一背景色中抠出参照物以便图像识别模块2识别和锁定飞行控制参照物，其中，处理模块3包括存储单元7和生成单元8，所述存储单元7存储与所述动作对应的飞行控制指令数据，当所述图像识别模块2识别出所述动作，所述生成单元8生成飞行控制指令，在一个实施例中，处理模块3可比较、计算或分析在存储单元7中的数据以执行对数据的处理以及对相关部件的控制。处理模块3可以包括通用处理器、数字信号处理器、专用集成电路ASIC，现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。存储单元7可以是易失性存储器或非易失性存储器。存储单元7可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。
在一个实施例中，如图4所示，一种无人飞行器的飞行控制装置包括拍摄模块1、图像识别模块2和处理模块3，所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像所述图像识别模块2设有人脸识别单元6该人脸识别单元6基于所述图像识别飞行控制参照物，该飞行控制参照物可以是用户本人或其他人，所述图像识别模块2基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块3基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器，其中，处理模块3包括存储单元7和生成单元8，所述存储单元7存储与所述动作对应的飞行控制指令数据，当所述图像识别模块2识别出所述动作，所述生成单元8生成飞行控制指令，在一个实施例中，处理模块3可比较、计算或分析在存储单元7中的数据以执行对数据的处理以及对相关部件的控制。处理模块3可以包括通用处理器、数字信号处理器、专用集成电路ASIC，现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。存储单元7可以是易失性存储器或非易失性存储器。存储单元7可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器，所述处理模块3设有无线通信模块9，所述飞行控制指令经由所述无线通信模块9发送到所述无人飞行器。
在一个实施例中，所述无线通信模块9由选自具有不同优选级的无线局域网通信设备、移动通信网络设备、平流层通信网络设备和卫星网络通信设备组成的组中的一个或多个组成。
在一个实施例中，移动通信网络设备主要由2G/3G/4G无线通信芯片组构成，负责通过移动通信网络建立飞行控制装置和无人飞行器相互之间的无线通信。无线局域网通信设备可以是蓝牙、ZigBee或Wi-Fi器中的一个，无线局域设备可通过2.4GHz通信频率建立短距离通信，在室内或低速移动的室外环境会优选该设备建立无人飞行器与飞行控制装置之间的通信连接。平流层通信设备一般用充氦飞艇、气球作为安置转发站的平台，平台高度距地面17km～22km，无人飞行器在大范围野外飞行时，可以优选平流层通信建立无人飞行器与飞行控制装置之间的通信连接。卫星通信设备利用卫星通信信道建立无人飞行器与飞行控制装置之间的通信连接，一般是在无其他可用无线通信网络的情况下，会使用卫星通信器，作为应急通信。
在一个实施例中，依据无线网络成本或无线网络接入速度，选择无线传输网络，本申请设计以下为优先级方案，Wi-Fi网络：优先级为0；4G无线网络：优先级为1；3G无线网络：优先级为2；平流层通信网络：优先级为3；卫星通信网络：优先级为4；优先级别0-4，所选择无线网络优先级由高到低，即如果同时存在多种无线信号，且信号强度有效时，飞行控制装置和无人飞行器相互之间的无线通信会首先选择Wi-Fi网络作为无线接入网络；当Wi-Fi信号强度无效时，无线通信会次优选择4G网络作为无线接入网络；依次类推。
在一个实施例中，所述飞行控制装置是独立的装置，在另一个实施例中，所述飞行控制装置可设在如手机、pad登数字移动终端上，进一步地在一定的条件下，所述飞行控制装置可设在无人飞行器上。
另外，为了安全考虑，当无人飞行器转换进入飞行控制装置控制下，无人飞行器的飞行速度、飞行高度、飞行范围都被控制在一个适当的阈值范围内，从而避免无人飞行器因为接收到不适当的飞行控制指令，从而产生飞行安全事故。在一个实施例中，所述无人飞行器设有飞行限制模块以限定飞行参数处于预定范围内。由于无人飞行器的活动范围和活动方式，为了安全是被提前锁定在一个安全的阈值范围内，所以，此时无人飞行器的飞行控制过程的安全性也得到了保障。
参见图5，根据本发明一个实施例的使用所述的无人飞行器的飞行控制装置的飞行控制方法包括以下步骤。
第一步骤S1中，所述拍摄模块1拍摄包含控制无人飞行器的飞行控制参照物的图像。
第二步骤S2中，所述图像识别模块2基于所述图像识别所述飞行控制参照物，所述图像识别模块2基于连续的所述图像识别所述飞行控制参照物的动作。
第三步骤S3中，所述处理模块3基于所述动作生成无人飞行器的飞行控制指令发送到所述无人飞行器。
本方法中，用户可以通过上述方式拍摄飞行控制参照物的图像，通过图像识别模块2识别飞行控制参照物的动作且生成相应的飞行控制指令控制无人飞行器的飞行，首先，该方法操控简单方便，无需设计复杂的专用设备，特别是无需配备手柄进行操控；其次，该方法可以方便地设置飞行控制参照物和与动作对应的飞行控制指令，在预设模式下实施特定操控方式且飞行安全可靠，大大增强了飞行控制的便利性、通用性和趣味性，最后本方法采用的装置结构简单，可以是独立的飞行控制装置，也可以与日常使用的数字移动终端手机相结合。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (10)
1.一种无人飞行器的飞行控制装置，其包括拍摄模块(1)、图像识别模块(2)和处理模块(3)，其特征在于：
所述拍摄模块(1)拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块(2)基于所述图像识别所述飞行控制参照物，所述处理模块(3)基于所述飞行控制参照物的姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
2.根据权利要求1所述的无人飞行器的飞行控制装置，其特征在于：所述拍摄模块(1)为手机前置摄像头，所述飞行控制参照物为无人飞行器控制用户或无人飞行器控制用户身体的一部分。
3.根据权利要求1所述的无人飞行器的飞行控制装置，其特征在于：所述图像识别模块(2)设有图像景深计算单元(4)，该图像景深计算单元(4)基于所述图像识别所述飞行控制参照物。
4.根据权利要求1所述的无人飞行器的飞行控制装置，其特征在于：所述图像识别模块(2)设有色差计算单元(5)，该色差计算单元(5)基于所述图像识别所述飞行控制参照物。
5.根据权利要求2所述的无人飞行器的飞行控制装置，其特征在于：所述图像识别模块(2)设有人脸识别单元(6)，该人脸识别单元(6)基于所述图像识别所述无人飞行器控制用户。
6.根据权利要求1所述的无人飞行器的飞行控制装置，其特征在于：所述图像识别模块(2)基于所述图像采集所述飞行控制参照物的若干个特征点以识别所述飞行控制参照物的姿态，所述处理模块(3)基于所述姿态生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
7.一种无人飞行器的飞行控制装置，其包括拍摄模块(1)、图像识别模块(2)和处理模块(3)，其特征在于：
所述拍摄模块(1)拍摄包含控制无人飞行器的飞行控制参照物的图像；所述图像识别模块(2)基于连续的所述图像识别所述飞行控制参照物的动作；所述处理模块(3)基于所述动作生成无人飞行器的飞行控制指令且发送到所述无人飞行器。
8.根据权利要求7所述的无人飞行器的飞行控制装置，其特征在于：所述图像识别模块(2)基于连续的所述图像采集若干个特征点并计算所述特征点的变化量以识别所述飞行控制参照物的动作。
9.根据权利要求7所述的无人飞行器的飞行控制装置，其特征在于：处理模块(3)包括存储单元(7)和生成单元(8)，所述存储单元(7)存储与所述动作对应的飞行控制指令数据，当所述图像识别模块(2)识别出所述动作，所述生成单元(8)生成飞行控制指令。
10.一种使用根据权利要求1所述的无人飞行器的飞行控制装置的飞行控制方法，其包括以下步骤：
第一步骤(S1)中，所述拍摄模块(1)拍摄包含控制无人飞行器的飞行控制参照物的图像；
第二步骤(S2)中，所述图像识别模块(2)基于所述图像识别所述飞行控制参照物，所述图像识别模块(2)基于连续的所述图像识别所述飞行控制参照物的动作；
第三步骤(S3)中，所述处理模块(3)基于所述动作生成无人飞行器的飞行控制指令发送到所述无人飞行器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610101950.2A CN105589466A (zh) | 2016-02-24 | 2016-02-24 | 无人飞行器的飞行控制装置及其飞行控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610101950.2A CN105589466A (zh) | 2016-02-24 | 2016-02-24 | 无人飞行器的飞行控制装置及其飞行控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105589466A true CN105589466A (zh) | 2016-05-18 |
Family
ID=55929119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610101950.2A Pending CN105589466A (zh) | 2016-02-24 | 2016-02-24 | 无人飞行器的飞行控制装置及其飞行控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105589466A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686013A (zh) * | 2017-03-10 | 2017-05-17 | 湖北天专科技有限公司 | 一种无人飞行器身份识别装置、识别系统及其识别方法 |
| CN106774947A (zh) * | 2017-02-08 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种飞行器及其控制方法 |
| CN107077216A (zh) * | 2016-12-19 | 2017-08-18 | 深圳市阳日电子有限公司 | 一种画面显示的方法及移动终端 |
| CN107547793A (zh) * | 2016-06-23 | 2018-01-05 | 卡西欧计算机株式会社 | 飞行装置、方法以及存储程序的存储介质 |
| CN107636550A (zh) * | 2016-11-10 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
| WO2018023727A1 (en) * | 2016-08-05 | 2018-02-08 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
| CN108391047A (zh) * | 2018-01-23 | 2018-08-10 | 倪惠芳 | 一种电子信息技术领域的室内无人机多角度拍摄控制系统 |
| CN108459617A (zh) * | 2018-03-15 | 2018-08-28 | 深圳市乐升科技有限公司 | 一种基于投影手机的无人机飞行控制系统 |
| CN109479119A (zh) * | 2016-07-22 | 2019-03-15 | 深圳市大疆创新科技有限公司 | Uav交互视频广播的系统与方法 |
| CN109949657A (zh) * | 2019-04-19 | 2019-06-28 | 北方天途航空技术发展（北京）有限公司 | 无人机在线操作学习平台及学习方法 |
| CN110135728A (zh) * | 2019-05-14 | 2019-08-16 | 南京弘道软件有限公司 | 基于ads-b技术的飞行训练动作自动识别和打分系统 |
| WO2019165580A1 (zh) * | 2018-02-27 | 2019-09-06 | 深圳市大疆创新科技有限公司 | 移动设备控制方法以及控制终端 |
| CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
| US11340606B2 (en) * | 2016-12-21 | 2022-05-24 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130253733A1 (en) * | 2012-03-26 | 2013-09-26 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle in flight space |
| CN103985230A (zh) * | 2014-05-14 | 2014-08-13 | 深圳市大疆创新科技有限公司 | 一种基于图像的通知方法、装置及通知系统 |
| CN104516355A (zh) * | 2014-12-31 | 2015-04-15 | 深圳雷柏科技股份有限公司 | 一种自拍型飞行器及其自拍方法 |
| CN104808680A (zh) * | 2015-03-02 | 2015-07-29 | 杨珊珊 | 一种多旋翼飞行拍摄设备 |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN104850234A (zh) * | 2015-05-28 | 2015-08-19 | 成都通甲优博科技有限责任公司 | 一种基于表情识别的无人机控制方法及系统 |
| CN105223957A (zh) * | 2015-09-24 | 2016-01-06 | 北京零零无限科技有限公司 | 一种手势操控无人机的方法和装置 |
-
2016
- 2016-02-24 CN CN201610101950.2A patent/CN105589466A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130253733A1 (en) * | 2012-03-26 | 2013-09-26 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle in flight space |
| CN103985230A (zh) * | 2014-05-14 | 2014-08-13 | 深圳市大疆创新科技有限公司 | 一种基于图像的通知方法、装置及通知系统 |
| CN104516355A (zh) * | 2014-12-31 | 2015-04-15 | 深圳雷柏科技股份有限公司 | 一种自拍型飞行器及其自拍方法 |
| CN104808680A (zh) * | 2015-03-02 | 2015-07-29 | 杨珊珊 | 一种多旋翼飞行拍摄设备 |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN104850234A (zh) * | 2015-05-28 | 2015-08-19 | 成都通甲优博科技有限责任公司 | 一种基于表情识别的无人机控制方法及系统 |
| CN105223957A (zh) * | 2015-09-24 | 2016-01-06 | 北京零零无限科技有限公司 | 一种手势操控无人机的方法和装置 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107547793A (zh) * | 2016-06-23 | 2018-01-05 | 卡西欧计算机株式会社 | 飞行装置、方法以及存储程序的存储介质 |
| CN107547793B (zh) * | 2016-06-23 | 2020-07-03 | 卡西欧计算机株式会社 | 飞行装置、方法以及存储程序的存储介质 |
| US10944998B2 (en) | 2016-07-22 | 2021-03-09 | SZ DJI Technology Co., Ltd. | Systems and methods for UAV interactive video broadcasting |
| CN109479119B (zh) * | 2016-07-22 | 2021-03-05 | 深圳市大疆创新科技有限公司 | Uav交互视频广播的系统与方法 |
| CN109479119A (zh) * | 2016-07-22 | 2019-03-15 | 深圳市大疆创新科技有限公司 | Uav交互视频广播的系统与方法 |
| CN109564432A (zh) * | 2016-08-05 | 2019-04-02 | 深圳市大疆创新科技有限公司 | 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统 |
| US11691729B2 (en) | 2016-08-05 | 2023-07-04 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
| CN109564432B (zh) * | 2016-08-05 | 2022-02-15 | 深圳市大疆创新科技有限公司 | 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统 |
| US11042167B2 (en) | 2016-08-05 | 2021-06-22 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
| WO2018023727A1 (en) * | 2016-08-05 | 2018-02-08 | SZ DJI Technology Co., Ltd. | Methods and associated systems for communicating with/controlling moveable devices by gestures |
| WO2018086032A1 (zh) * | 2016-11-10 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
| CN107636550A (zh) * | 2016-11-10 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
| CN107077216A (zh) * | 2016-12-19 | 2017-08-18 | 深圳市阳日电子有限公司 | 一种画面显示的方法及移动终端 |
| US11340606B2 (en) * | 2016-12-21 | 2022-05-24 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
| CN106774947A (zh) * | 2017-02-08 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种飞行器及其控制方法 |
| CN106686013A (zh) * | 2017-03-10 | 2017-05-17 | 湖北天专科技有限公司 | 一种无人飞行器身份识别装置、识别系统及其识别方法 |
| CN108391047A (zh) * | 2018-01-23 | 2018-08-10 | 倪惠芳 | 一种电子信息技术领域的室内无人机多角度拍摄控制系统 |
| CN110622074A (zh) * | 2018-02-27 | 2019-12-27 | 深圳市大疆创新科技有限公司 | 移动设备控制方法以及控制终端 |
| WO2019165580A1 (zh) * | 2018-02-27 | 2019-09-06 | 深圳市大疆创新科技有限公司 | 移动设备控制方法以及控制终端 |
| CN108459617A (zh) * | 2018-03-15 | 2018-08-28 | 深圳市乐升科技有限公司 | 一种基于投影手机的无人机飞行控制系统 |
| CN109949657A (zh) * | 2019-04-19 | 2019-06-28 | 北方天途航空技术发展（北京）有限公司 | 无人机在线操作学习平台及学习方法 |
| CN110135728A (zh) * | 2019-05-14 | 2019-08-16 | 南京弘道软件有限公司 | 基于ads-b技术的飞行训练动作自动识别和打分系统 |
| CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
| CN112068587B (zh) * | 2020-08-05 | 2021-09-03 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105589466A (zh) | 无人飞行器的飞行控制装置及其飞行控制方法 | |
| CN108780325B (zh) | 用于调整无人飞行器轨迹的系统和方法 | |
| CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
| CN104808675B (zh) | 基于智能终端的体感飞行操控系统及终端设备 | |
| KR101569454B1 (ko) | 무인 비행체를 이용한 비행 체험 시스템 및 방법 | |
| US20190034776A1 (en) | Method and system for configurable and scalable unmanned aerial vehicles and systems | |
| CN105518555B (zh) | 目标追踪系统及方法 | |
| Chao et al. | Remote sensing and actuation using unmanned vehicles | |
| CN106339079A (zh) | 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 | |
| CN105980950A (zh) | 无人飞行器的速度控制 | |
| CN105652889A (zh) | 无人飞行器的远程控制装置及其控制方法 | |
| CN107589752A (zh) | 无人机与地面机器人协同编队实现方法及系统 | |
| CN107077152A (zh) | 控制方法、设备、系统、无人机和可移动平台 | |
| CN108351574A (zh) | 用于设置相机参数的系统、方法和装置 | |
| CN109219785A (zh) | 简单的多传感器校准 | |
| US9811083B2 (en) | System and method of controlling autonomous vehicles | |
| KR102239444B1 (ko) | 자율비행체의 실시간 비행경로 제어 시스템 및 제어 방법 | |
| JP2017015704A (ja) | ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 | |
| CN106444805A (zh) | 用于控制无人飞行器的控制终端、控制方法及其控制系统 | |
| TW201141759A (en) | Hand-launched unmanned aerial system | |
| CN205843675U (zh) | 信标导航装置及其信标和无人飞行器 | |
| Allen et al. | Flying smartphones: when portable computing sprouts wings | |
| WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
| CN111279284B (zh) | 控制方法和设备 | |
| Lieser et al. | A low-cost mobile infrastructure for compact aerial robots under supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160518 |