CN110083241B - 一种用于vr头盔控制无人机运动的映射机制 - Google Patents

一种用于vr头盔控制无人机运动的映射机制 Download PDF

Info

Publication number
CN110083241B
CN110083241B CN201910344190.1A CN201910344190A CN110083241B CN 110083241 B CN110083241 B CN 110083241B CN 201910344190 A CN201910344190 A CN 201910344190A CN 110083241 B CN110083241 B CN 110083241B
Authority
CN
China
Prior art keywords
user
unmanned aerial
aerial vehicle
drone
mapping mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910344190.1A
Other languages
English (en)
Other versions
CN110083241A (zh
Inventor
高�浩
杨扬
岳东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910344190.1A priority Critical patent/CN110083241B/zh
Publication of CN110083241A publication Critical patent/CN110083241A/zh
Application granted granted Critical
Publication of CN110083241B publication Critical patent/CN110083241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种基于VR头盔(Head mounted display，HMD)的运动映射机制，用于控制无人机(Unmanned aerial vehicle，UAV)的飞行。通过对基本的速率控制运动映射机制进行改进，引入一种自适应的原点更新策略，在用户不借助任何辅助工具的情况下，解决了基本速率控制映射机制中固有的自归中问题。同时，在无人机上加入云台补充了相机的两个自由度，实现了全部6个自由度的视角控制，也补偿了无人机的飞行抖动，获得更稳定的视频流。

Description

一种用于VR头盔控制无人机运动的映射机制
技术领域
本发明涉及无人机和虚拟现实技术领域，尤其涉及通过改进运动映射机制，提升VR用户在进行无人机远程观景时的操控和观看体验，具体为一种用于VR头盔控制无人机运动的映射机制。
背景技术
远程观景是虚拟现实(VR)领域的一个新概念，它实现了用户在虚拟场景中与远程景观的实时交互。普通的VR技术向用户提供了计算机合成场景的沉浸式体验，而远程观景系统更有可能被用于现实世界。该项技术给予用户实时的在线观感，可以被应用于包括商业、科学、游戏、影视等各个领域。
近些年机器人正经历飞速发展，人们将其用于探索一些危险的或者人类难以到达的区域。无人机(UAV)具有足够的自由度和监测天空、山脉等广阔空间的可能性，与其他远程机器人相比，显示出优越的能力，尤其是在远程任务中。鉴于此，研究人员更感兴趣的是通过使用不同的自然用户界面(如手势和语音)和3D显示设备来开发无人机电传信息系统。
公开号CN105955470A的中国专利公开了一种头盔显示器的控制方法及装置，其技术方案是：判断头盔显示器中控制光标的位置是否落在虚拟界面中的可操作目标上；当所述控制光标落在所述可操作目标上时，弹出操作控制窗口，所述操作控制窗口中展示有确认选中所述可操作目标的头盔操作动作图形；判断所述控制光标的操作动作与所述操作控制窗口中的头盔操作动作是否一致，若一致则确认选中所述可操作目标。该专利主要用于VR头盔的界面操作控制，不能对无人机进行全部6个自由度的控制，用户体验感不佳。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种用于VR头盔控制无人机运动的映射机制，通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果。
为实现上述目的，本发明采用的技术方案是：
一种用于VR头盔控制无人机运动的映射机制，包括：一种引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；一种全部6个自由度的无人机视点控制机制。
优选地，在无人机上加入相机云台，利用相机云台实现滚转角和俯仰角旋转。
优选地，所述6个自由度包括无人机前后左右4个方向的平移、相机云台的滚转角旋转和俯仰角旋转。
优选地，所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1，以用户的初始位置作为原点，始终以用户面朝的方向为x轴的正方向，始终以用户左手的方向为y轴的正方向，以向上的方向为z轴的正方向；
S2，设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S3，当用户走出归中区域后，记用户的位置向量为
Figure BDA0002041745600000021
该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S4，当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能能正确返回归中区域。
优选地，当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
优选地，S3中，当用户走出归中区域后，无人机的具体速度为
Figure BDA0002041745600000022
其飞行方向为向量
Figure BDA0002041745600000023
的方向，该速度随着用户距原点的距离线性变化，其中，k为控制因子，一般设为1。
与现有技术相比，本发明的有益效果是：1)本发明通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果；2)本发明引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；3)本发明实现了全部6个自由度的运动映射，包括无人机各个方向的平移以及相机各个方向的灵活旋转，除了无人机自带的4个自由度，利用相机云台实现滚转角和俯仰角旋转，使得调节视点更加自由方便；4)本发明在无人机上加入相机云台，该相机云台补偿了无人机的震动，可以捕获更稳定的视频流。
附图说明
图1为根据实施例的本发明的整体系统框架示意图；
图2为根据实施例的运动映射机制的示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明主要目的在于通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果。
如附图所示，本发明提出了一种用于VR头盔控制无人机运动的映射机制，其引入了自适应原点更新策略改进后的速率控制映射机制，在该机制下，不借助任何辅助设备，就可以解决速率控制机制中固有的自归中问题。
具体地，所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1：以用户的初始位置作为原点，x轴和y轴的正方向始终为用户面朝的方向和左手的方向，向上的方向为z轴的正方向。设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化。
S2：当用户走出归中区域后，记用户的位置向量为
Figure BDA0002041745600000041
该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，无人机的具体速度为
Figure BDA0002041745600000042
其飞行方向为向量
Figure BDA0002041745600000043
的方向，该速度随着用户距原点的距离线性变化，k为控制因子，一般设为1。同时，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化。
S3：当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能能正确返回归中区域。当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
在具体实施中，本发明提供的方法实现了全部6个自由度的运动映射，包括无人机各个方向的平移以及相机各个方向的灵活旋转。除了无人机自带的4个自由度，还利用相机云台实现滚转角和俯仰角旋转，使得调节视点更加自由方便。此外，相机云台补偿了无人机的震动，可以捕获更稳定的视频流。
至此，基于VR头盔控制无人机飞行的运动映射机制全部流程结束，取上述过程获取的实际效果与用户体验，进行比较，我们可以得出如下结论：
首先该方法完全适用于VR头盔控制无人机飞行的问题，同未改进的基本映射机制相比，解决了后者固有的自归中问题，在实际用户测试中，用户在连续的运动后依然能够准确找到归中点的位置，且不借助任何辅助设备，同时引入了相机云台，实现了6自由度全向映射的同时，减小了因无人机的震动带来的视频模糊问题，获得更加清晰地观看体验，极大地提高了用户的操作舒适感以及VR沉浸感。
综上所述，基于VR头盔控制无人机运动的映射机制应用与VR远程观景，很大程度上改善了用户的操作舒适度以及沉浸式体验，有很强的实际应用意义。
本发明公开一种基于VR头盔(Head mounted display，HMD)的运动映射机制，用于控制无人机(Unmanned aerial vehicle，UAV)的飞行。通过对基本的速率控制运动映射机制进行改进，引入一种自适应的原点更新策略，在用户不借助任何辅助工具的情况下，解决了基本速率控制映射机制中固有的自归中问题。同时，在无人机上加入云台补充了相机的两个自由度，实现了全部6个自由度的视角控制，也补偿了无人机的飞行抖动，获得更稳定的视频流。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种用于VR头盔控制无人机运动的映射机制，其特征在于，包括：一种引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；一种全部6个自由度的无人机视点控制机制；
所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1，以用户的初始位置作为原点，始终以用户面朝的方向为x轴的正方向，始终以用户左手的方向为y轴的正方向，以向上的方向为z轴的正方向；
S2，设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S3，当用户走出归中区域后，记用户的位置向量为
Figure FDA0003414630410000011
该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S4，当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能够正确返回归中区域。
2.根据权利要求1所述的用于VR头盔控制无人机运动的映射机制，其特征在于，在无人机上加入相机云台，利用相机云台实现滚转角和俯仰角旋转。
3.根据权利要求2所述的用于VR头盔控制无人机运动的映射机制，其特征在于，所述6个自由度包括无人机前后左右4个方向的平移、相机云台的滚转角旋转和俯仰角旋转。
4.根据权利要求1所述的用于VR头盔控制无人机运动的映射机制，其特征在于，当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
5.根据权利要求1所述的用于VR头盔控制无人机运动的映射机制，其特征在于，S3中，当用户走出归中区域后，无人机的具体速度为
Figure FDA0003414630410000021
其飞行方向为向量
Figure FDA0003414630410000022
的方向，该速度随着用户距原点的距离线性变化，其中，k为控制因子，设为1。
CN201910344190.1A 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制 Active CN110083241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344190.1A CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344190.1A CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Publications (2)

Publication Number Publication Date
CN110083241A CN110083241A (zh) 2019-08-02
CN110083241B true CN110083241B (zh) 2022-02-11

Family

ID=67417029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344190.1A Active CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Country Status (1)

Country Link
CN (1) CN110083241B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游系统
CN113253750B (zh) * 2021-06-28 2021-11-05 北京科技大学 一种面向扑翼飞行器的多模态控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN105892472A (zh) * 2015-02-13 2016-08-24 Lg电子株式会社 移动终端及其控制方法
CN106022534A (zh) * 2016-05-27 2016-10-12 南京邮电大学 基于改进型差分算法的解决飞机着陆问题的方法
CN107544480A (zh) * 2016-06-24 2018-01-05 北京末元科技有限公司 一种控制无人机的头盔及其使用方法
CN108366208A (zh) * 2018-03-29 2018-08-03 燕山大学 一种应用于灾区搜索的无人机立体视觉随动系统
CN208760900U (zh) * 2018-06-29 2019-04-19 西安航空学院 一种环形翼无人飞行器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3335070B1 (en) * 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN105892472A (zh) * 2015-02-13 2016-08-24 Lg电子株式会社 移动终端及其控制方法
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN106022534A (zh) * 2016-05-27 2016-10-12 南京邮电大学 基于改进型差分算法的解决飞机着陆问题的方法
CN107544480A (zh) * 2016-06-24 2018-01-05 北京末元科技有限公司 一种控制无人机的头盔及其使用方法
CN108366208A (zh) * 2018-03-29 2018-08-03 燕山大学 一种应用于灾区搜索的无人机立体视觉随动系统
CN208760900U (zh) * 2018-06-29 2019-04-19 西安航空学院 一种环形翼无人飞行器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An adaptive unified artificial bee colony algorithm for global optimization;Yang Yang等;《IEEE》;20180709;全文 *
Drone were me: Flying drone as avatar by aligned stereo view and head pose;Xiaowei Wang等;《IEEE》;20161229;全文 *
基于Lyapunov的六旋翼无人机姿态镇定控制技术的研究;袁学敏等;《系统仿真学报》;20151231;全文 *

Also Published As

Publication number Publication date
CN110083241A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN107074348B (zh) 控制方法、装置、设备及无人飞行器
US11513511B2 (en) Techniques for image recognition-based aerial vehicle navigation
US10416666B2 (en) Methods and systems for collaborative control of a remote vehicle
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
CN109076249B (zh) 用于视频处理和显示的系统和方法
Smolyanskiy et al. Stereoscopic first person view system for drone navigation
CN108769531B (zh) 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
CN105759833A (zh) 一种沉浸式无人机驾驶飞行系统
CN108701362B (zh) 目标跟踪期间的障碍避免
EP3423914B1 (en) Vehicle trajectory determination to stabilize vehicle-captured video
CN105739525A (zh) 一种配合体感操作实现虚拟飞行的系统
CN110083241B (zh) 一种用于vr头盔控制无人机运动的映射机制
WO2017166723A1 (zh) 无人驾驶飞机系统及其飞行控制方法
US20180268612A1 (en) System and method of simulating first-person control of remote-controlled vehicles
CN111650967A (zh) 一种用于影视拍摄的无人机及云台操控系统
Zhao et al. The effects of visual and control latency on piloting a quadcopter using a head-mounted display
JP2020126666A (ja) 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
JP6744033B2 (ja) 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
Xia et al. A 6-DOF telexistence drone controlled by a head mounted display
CN113711162A (zh) 用于混合现实应用中机器人交互的系统和方法
KR101881227B1 (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
Soto-Guerrero et al. A human-machine interface with unmanned aerial vehicles
CN113467499A (zh) 飞行控制方法及飞行器
WO2022141122A1 (zh) 无人机的控制方法、无人机及存储介质
CN108646588A (zh) 一种基于传感器图像生成模型的电视制导武器仿真器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant