CN107065905A - 一种沉浸式无人机控制系统及其控制方法 - Google Patents
一种沉浸式无人机控制系统及其控制方法 Download PDFInfo
- Publication number
- CN107065905A CN107065905A CN201710176290.9A CN201710176290A CN107065905A CN 107065905 A CN107065905 A CN 107065905A CN 201710176290 A CN201710176290 A CN 201710176290A CN 107065905 A CN107065905 A CN 107065905A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- manipulator
- immersion
- aerial vehicle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
本发明公开了一种沉浸式无人机控制系统，包括无人机和动作采集装置，动作采集装置装配在控制者身上并与遥控器通过无线连接，控制者身上还配置有3D眼镜，3D眼镜上设置有图传系统，图传系统通过电信号与无人机连接。一种沉浸式无人机控制系统的控制方法，操控者首先到空旷的位置放置好无人机并佩戴好3D眼镜和动作采集装置；然后通过动作采集装置采集操控者发出的指令并控制无人机进行适当的动作。本发明可以使得操控者能够在操控无人机时有更好的感官体验。
Description
技术领域
本发明属于智能设备技术领域，特别涉及一种沉浸式无人机控制系统及其控制方法。
背景技术
近年来，民用无人机技术发展迅猛，在国内如大疆、零度等一系列民用无人机生产厂商的共同努力下，无人机的稳定性与易操作性日益提高。
随着民用无人机的普及，无人机的交互方式也不断发生着变化，从最开始的肉眼观测到现在的图像在手机、平板等客户端实时显示，再到近年来的无人机可以通过在客户端绘制路径控制无人机的飞行轨迹，无人机的交互方式正在发生天翻地覆的变化，随着控制技术的发展，穿戴式的无人机交互系统应运而生，它可以彻底改变传统的无人机交互方式，使得人们能够完全沉浸在飞行的世界中。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种可以使得操控者能够在操控无人机时有更好的感官体验的无人机控制系统及其控制方法。
技术方案：为解决上述技术问题，本发明提供一种沉浸式无人机控制系统，包括包括无人机和动作采集装置，动作采集装置装配在控制者身上并与遥控器通过无线连接，控制者身上还配置有3D眼镜，3D眼镜上设置有图传系统，图传系统通过电信号与无人机连接。
进一步的，所述无人机底部设置有云台电机，云台电机两侧分别设置有一个摄像头电机，每个摄像头电机底部均设置有一个摄像头。
进一步的，所述两个摄像头的焦点通过机械方式重合。
进一步的，所述3D眼睛佩戴在控制者头部。
一种如上所述的一种沉浸式无人机控制系统的控制方法，包括但不限于如下步骤：
步骤一：操控者首先到空旷的位置放置好无人机并佩戴好3D眼镜和动作采集装置；
步骤二：当操控者右臂抬起时，安装在右臂上的传感器采集到姿态角发生变化，通过遥控器向无人机发送上升命令，当上升到一定高度时，操控者可以放下右臂，此时无人机悬停，过程中图传系统将采集到的视频信息通过遥控器发送到3D眼镜上；
步骤三：当操控者双臂抬起时，可以改变摄像头的焦距，操控者双臂由中心向两侧平移时，摄像头焦距变远，同时无人机悬架上安装的两个电机带动摄像头旋转一定角度，使得摄像头始终保持同一焦点；
步骤四：当操控者的头部旋转时，安装在头部的传感器将姿态角数据通过遥控器发送到无人机，无人机通过控制云台电机，使得整个云台旋转到相应角度；
步骤五：当操控者向前走时，安装在操控者腿部的传感器将数据通过遥控器发送到无人机，无人机调整四个旋翼，使自身向前飞行，腿部运动越快，传感器检测到的变化越快，飞行速度越快，其他方向运动时与上述方式类似；
步骤六：当操控者绕自身旋转时，腰部的传感器姿态角发生变化，无人机通过旋翼的转速变化，与操控者保持相同的方位，此时云台电机通过旋转，始终保持整个云台和操控者头部方向一致；
步骤七：当操控者左臂抬起，无人机开始降落，操控结束。
与现有技术相比，本发明的优点在于：
本发明提出了一种全新的无人机交互方式，让操控者能够在操控无人机时有更好的感官体验；本发明利用操控者的头部位置信息对无人机的云台部分(即摄像头)进行控制，更方便且更有代入感，让无人机彻底变成操控者的一双眼睛；本发明给无人机开辟另一种应用方式，使其脱离航拍的禁锢，成为一种飞行体验方式。
本发明为双摄像头同焦，需要补充说明的是，现有的两个摄像头同步采集的方案一种是两摄像头切换，一种是后期进行图像合成，均不满足本专利的场景需求。另外现有技术中检测人体运动的技术称为动作捕捉，一般多采用光学为主要方式，成本十分昂贵，且不适用于此场景。而本发明节约了大量的成本，也能够达到动作捕捉和控制的效果。
附图说明
图1为本发明的结构示意图；
图2为图1中无人机的结构示意图；
图3为图1中无人机的仰视图；
图4为图3中摄像头的结构示意图；
图5为图1中动作采集装置的结构示意图。
1、无人机，2、遥控器，3、动作采集装置，4、3D眼镜，5、图传系统，6、旋翼，7、云台电机，8、摄像头，9、摄像头电机。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明特点如下：
1)无人机1的飞行状态通过操控者的动作、姿态进行控制
2)无人机1的视角方向(及云台方向)根据操控者的头部摆动进行调整；
3)无人机1的运动方向与人的移动方向同步
4)无人机1内置的摄像头8将图像传输到操控者所佩戴的3D眼镜4中；
5)所述无人机1包含两个摄像头8，且两个摄像头8焦点重合
整个方案所需要的设备包括：无人机1、遥控器2、3D眼镜4及其配套的图传系统5、人体动作采集装置3。
无人机1为执行终端，其云台上安装有两个摄像头8，且两个摄像头8的焦点重合；
图传系统5对无人机1传回的视频信号进行处理，分别将两个摄像头8采集到的视频信号显示到3D眼镜4的左右两个屏幕中；
人体动作采集装置3采用九轴传感器，在操控者的头部、腰部，左右大腿和小腿，左右手臂共放置8个九轴传感器，九轴传感器由陀螺仪、加速度计、磁力计组成，可以采集传感器在空间中旋转的姿态角，人体的肢体运动可以视为绕关节进行的旋转，因此可以由此得出操控者的肢体动作。
当人体的头部进行旋转时，安装在头部的传感器检测到自身的姿态角转过一定角度，通过遥控器2将数据发送到无人机1上，无人机1控制其上的云台电机7进行旋转，带动两个摄像头8同步旋转，旋转过程中保证焦点重合。
腰部的传感器控制无人机1自身的旋转，当操控者自身发生旋转时，数据通过遥控器2发送到无人机1，无人机1通过调整各个旋翼6的转速，实现绕自身轴线进行转动。
安装在操控者大腿和小腿的传感器监测操控者的移动情况，当操控者的腿部向前向上抬起并落下时，视为操控者向前移动，无人机1相应的向前飞行，向右向上抬起并落下时视为操控者向右横向移动，无人机1相应的向右横向移动，反之则运动方向相反。
安装在手臂的传感器监测操控者胳膊的运动，控制无人机1的上升和下降。
如图1至5所示，本发明提供一种无人机1控制系统，包括无人机1，无人机1上设置有遥控器2，遥控器2通过电信号与动作采集装置3连接，动作采集装置3装配在控制者身上，控制者身上还配置有3D眼镜4，3D眼镜4上设置有图传系统5，图传系统5通过电信号与无人机1连接。
其中无人机1底部设置有云台电机7，云台电机7两侧分别设置有一个摄像头电机9，每个摄像头电机9底部均设置有一个摄像头8。无人机1四周设置有四个旋翼6。
其中两个摄像头8的焦点重合。3D眼睛佩戴在控制者头部。
一种如上所述的一种无人机1控制系统的控制方法，包括但不限于如下步骤：
步骤一：操控者首先到空旷的位置放置好无人机1并佩戴好3D眼镜4和动作采集装置3；
步骤二：当操控者右臂抬起时，安装在右臂上的传感器采集到姿态角发生变化，通过遥控器2向无人机1发送上升命令，当上升到一定高度时，操控者可以放下右臂，此时无人机1悬停，过程中图传系统5将采集到的视频信息通过遥控器2发送到3D眼镜4上；
步骤三：当操控者双臂抬起时，可以改变摄像头8的焦距，操控者双臂由中心向两侧平移时，摄像头8焦距变远，同时无人机1悬架上安装的两个电机带动摄像头8旋转一定角度，使得摄像头8始终保持同一焦点；
步骤四：当操控者的头部旋转时，安装在头部的传感器将姿态角数据通过遥控器2发送到无人机1，无人机1通过控制云台电机7，使得整个云台旋转到相应角度；
步骤五：当操控者向前走时，安装在操控者腿部的传感器将数据通过遥控器2发送到无人机1，无人机1调整四个旋翼6，使自身向前飞行，腿部运动越快，传感器检测到的变化越快，飞行速度越快，其他方向运动时与上述方式类似；
步骤六：当操控者绕自身旋转时，腰部的传感器姿态角发生变化，无人机1通过旋翼6的转速变化，与操控者保持相同的方位，此时云台电机7通过旋转，始终保持整个云台和操控者头部方向一致；
步骤七：当操控者左臂抬起，无人机1开始降落，操控结束。
以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。
Claims (6)
1.一种沉浸式无人机控制系统，其特征在于：包括无人机和动作采集装置，动作采集装置装配在控制者身上并与遥控器通过无线连接，控制者身上还配置有3D眼镜，3D眼镜上设置有图传系统，图传系统通过电信号与无人机连接。
2.根据权利要求1所述的一种沉浸式无人机控制系统，其特征在于：所述无人机底部设置有云台电机，云台电机两侧分别设置有一个摄像头电机，每个摄像头电机底部均设置有一个摄像头。
3.根据权利要求1所述的一种沉浸式无人机控制系统，其特征在于：所述无人机四周设置有旋翼。
4.根据权利要求1所述的一种沉浸式无人机控制系统，其特征在于：所述两个摄像头的焦点重合。
5.根据权利要求1所述的一种沉浸式无人机控制系统，其特征在于：所述3D眼睛佩戴在控制者头部。
6.一种如权利要求1至5之一所述的一种沉浸式无人机控制系统的控制方法，其特征在于，包括如下步骤：
步骤一：操控者首先到空旷的位置放置好无人机并佩戴好3D眼镜和动作采集装置；
步骤二：当操控者右臂抬起时，安装在右臂上的传感器采集到姿态角发生变化，通过遥控器向无人机发送上升命令，当上升到一定高度时，操控者可以放下右臂，此时无人机悬停，过程中图传系统将采集到的视频信息通过遥控器发送到3D眼镜上；
步骤三：当操控者双臂抬起时，可以改变摄像头的焦距，操控者双臂由中心向两侧平移时，摄像头焦距变远，同时无人机悬架上安装的两个电机带动摄像头旋转一定角度，使得摄像头始终保持同一焦点；
步骤四：当操控者的头部旋转时，安装在头部的传感器将姿态角数据通过遥控器发送到无人机，无人机通过控制云台电机，使得整个云台旋转到相应角度；
步骤五：当操控者向前走时，安装在操控者腿部的传感器将数据通过遥控器发送到无人机，无人机调整四个旋翼，使自身向前飞行，腿部运动越快，传感器检测到的变化越快，飞行速度越快，其他方向运动时与上述方式类似；
步骤六：当操控者绕自身旋转时，腰部的传感器姿态角发生变化，无人机通过旋翼的转速变化，与操控者保持相同的方位，此时云台电机通过旋转，始终保持整个云台和操控者头部方向一致；
步骤七：当操控者左臂抬起，无人机开始降落，操控结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710176290.9A CN107065905A (zh) | 2017-03-23 | 2017-03-23 | 一种沉浸式无人机控制系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710176290.9A CN107065905A (zh) | 2017-03-23 | 2017-03-23 | 一种沉浸式无人机控制系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107065905A true CN107065905A (zh) | 2017-08-18 |
Family
ID=59619951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710176290.9A Pending CN107065905A (zh) | 2017-03-23 | 2017-03-23 | 一种沉浸式无人机控制系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107065905A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108289212A (zh) * | 2018-01-23 | 2018-07-17 | 北京易智能科技有限公司 | 一种无人机双目立体成像及与人眼实时交互的装置及方法 |
| CN108646776A (zh) * | 2018-06-20 | 2018-10-12 | 珠海金山网络游戏科技有限公司 | 一种基于无人机的成像系统和方法 |
| CN108769531A (zh) * | 2018-06-21 | 2018-11-06 | 深圳市道通智能航空技术有限公司 | 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备 |
| CN113534835A (zh) * | 2021-07-01 | 2021-10-22 | 湘南学院 | 一种旅游虚拟远程体验系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235599A (zh) * | 2013-04-10 | 2013-08-07 | 东南大学 | 基于智能手机的飞行控制系统 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN105739525A (zh) * | 2016-02-14 | 2016-07-06 | 普宙飞行器科技（深圳）有限公司 | 一种配合体感操作实现虚拟飞行的系统 |
| CN105763790A (zh) * | 2014-11-26 | 2016-07-13 | 鹦鹉股份有限公司 | 用于以沉浸模式来驾驶无人机的视频系统 |
| CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技（深圳）有限公司 | 一种沉浸式无人机驾驶飞行系统 |
-
2017
- 2017-03-23 CN CN201710176290.9A patent/CN107065905A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235599A (zh) * | 2013-04-10 | 2013-08-07 | 东南大学 | 基于智能手机的飞行控制系统 |
| CN105763790A (zh) * | 2014-11-26 | 2016-07-13 | 鹦鹉股份有限公司 | 用于以沉浸模式来驾驶无人机的视频系统 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN105739525A (zh) * | 2016-02-14 | 2016-07-06 | 普宙飞行器科技（深圳）有限公司 | 一种配合体感操作实现虚拟飞行的系统 |
| CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技（深圳）有限公司 | 一种沉浸式无人机驾驶飞行系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108289212A (zh) * | 2018-01-23 | 2018-07-17 | 北京易智能科技有限公司 | 一种无人机双目立体成像及与人眼实时交互的装置及方法 |
| CN108646776A (zh) * | 2018-06-20 | 2018-10-12 | 珠海金山网络游戏科技有限公司 | 一种基于无人机的成像系统和方法 |
| CN108646776B (zh) * | 2018-06-20 | 2021-07-13 | 珠海金山网络游戏科技有限公司 | 一种基于无人机的成像系统和方法 |
| CN108769531A (zh) * | 2018-06-21 | 2018-11-06 | 深圳市道通智能航空技术有限公司 | 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备 |
| CN113534835A (zh) * | 2021-07-01 | 2021-10-22 | 湘南学院 | 一种旅游虚拟远程体验系统及方法 |
| CN113534835B (zh) * | 2021-07-01 | 2022-05-31 | 湘南学院 | 一种旅游虚拟远程体验系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11385645B2 (en) | Remote control method and terminal | |
| JP6769001B2 (ja) | 遠隔制御方法および端末 | |
| CN107065905A (zh) | 一种沉浸式无人机控制系统及其控制方法 | |
| CN204527663U (zh) | 一种无人驾驶飞行器 | |
| CN105334864A (zh) | 一种用于控制无人机的智能眼镜及控制方法 | |
| US20200148352A1 (en) | Portable integrated uav | |
| WO2018178756A1 (en) | System and method for providing autonomous photography and videography | |
| CN105759833A (zh) | 一种沉浸式无人机驾驶飞行系统 | |
| CN109164829A (zh) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 | |
| CN106227231A (zh) | 无人机的控制方法、体感交互装置以及无人机 | |
| CN205121351U (zh) | 一种用于控制无人机的智能眼镜及系统 | |
| US20220350330A1 (en) | Remote control method and terminal | |
| CN108298084A (zh) | 一种自主抓取物体的带臂无人机 | |
| CN108731681A (zh) | 旋翼无人机领航方法、相关计算机程序、电子设备和无人机 | |
| WO2019073417A1 (en) | AERIAL SYSTEM COMPRISING A FOLDING FRAME ARCHITECTURE | |
| JP6844898B2 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
| CN110502103A (zh) | 基于脑机接口的脑控无人机系统及其控制方法 | |
| CN109044753A (zh) | 一种人机体感交互导盲机器人及工作方法 | |
| CN108712614A (zh) | 一种用于无人机控制及回传的智能眼镜 | |
| CN206021084U (zh) | 操纵装置 | |
| KR20180122566A (ko) | 무인 비행유닛을 이용한 항공영상 촬영 시스템 | |
| CN106973261A (zh) | 以第三方视角观察无人机的设备、系统和方法 | |
| CN109760840A (zh) | 一种无人机自主抓取控制系统及其控制方法 | |
| CN206885306U (zh) | 倾转短舱水下遥控潜艇 | |
| KR20170004407A (ko) | 무인정찰시스템 및 무인정찰방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |