CN114935940A - 一种基于虚拟现实的多无人机远程控制方法 - Google Patents
一种基于虚拟现实的多无人机远程控制方法 Download PDFInfo
- Publication number
- CN114935940A CN114935940A CN202210527817.9A CN202210527817A CN114935940A CN 114935940 A CN114935940 A CN 114935940A CN 202210527817 A CN202210527817 A CN 202210527817A CN 114935940 A CN114935940 A CN 114935940A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- virtual
- network
- service end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 240000007651 Rubus glaucus Species 0.000 claims description 8
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 8
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 8
- 210000003811 finger Anatomy 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000013439 planning Methods 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 230000003993 interaction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于虚拟现实的多无人机远程控制方法，包括：构建物理端的无人机系统并获取实时环境信息；所述无人机系统包括四旋翼无人机及无人机控制系统；构建客服端的虚拟端，包括搭建虚拟场景以及设置虚拟无人机的操控方式；构建服务端网络，并构建客服端的网络架构；各客服端操作者在虚拟端完成虚拟无人机操作后，虚拟无人机信息和无人机控制命令将上传到服务端；服务端进行各客服端中虚拟无人机同步后，服务端再将经过坐标转换后的无人机控制命令利用现有的局域网、4G、5G模块或阿里云服务发送到物理端四旋翼无人机的控制系统中上，四旋翼无人机到达转换后的目标位置点执行无人机控制命令中的操作请求，实现虚拟端远程控制无人机。
Description
技术领域
本发明涉及虚拟现实领域，具体涉及一种基于虚拟现实的多无人机远程控制方法。
背景技术
近年来，机器人技术的最新趋势之一是身临其境的远程操作(遥操作)，即人类操作者发出的控制命令可以被远程物理系统精确地执行。同时，操作者在远程环境能够接收到丰富的物理系统反馈。但目前无人机的遥操作存在的主要问题是人机交互对系统的可控性水平低。在现实生活中，要成功与远程无人机交互，需要操作者具备敏捷操作和运动技能。这限制了远程交互在无人机中的应用。此外，还需要对操作人员进行一些额外的培训，使其能够像拆弹装置一样远程操作机器人。但是，在这种情况下，人与机器人之间的交互作用较弱，以及如果物理端缺乏足够的反馈可能会导致任务的失败。为了解决这些挑战，人们提出了许多方法，通过操纵杆、手势、可穿戴设备等来确保对机器人的控制。所有这些方法都有各自的优缺点。
控制操纵杆操控，其中一种方法是虚拟结构。该虚拟结构将无人机群体的整个编队任务作为一个整体，保持群体在运动过程中的几何构型稳定。3-5个四旋翼无人机机群由一名操作人员使用标准游戏操纵杆进行遥操作，群体中的每个无人机在避免碰撞的同时保持给定状态。然而，大多数遥控机器人的控制杆，如四旋翼无人机，环境都比较复杂，需要对非专业用户进行额外的训练。
人体姿态控制。通过视觉手势识别可以被认为是最自然的方式之一，手势在人-机交互的研究中被广泛采用，已经提出了各种各样的方法。比如，一群地面机器人以手势识别的形式从人类操作人员那里获得命令。机器人从人类的手势中学习，并根据每个机器人的观测信息做出统一的决定。虽然上述关于人机交互的工作已经得到了证实，但仍存在一些不可忽视的局限性。基于手势的交互需要复杂的基础设施设置，这缩小了可以使用它的应用程序范围。
利用可穿戴设备来控制。通过人类操作员和振动触觉反馈进行机器人的控制。在使用激光测距仪的机器人远程控制系统中，移动机器人能精确地识别出障碍物的形状、边界、运动方向、速度和距离。然后触觉带将检测到的信息传递给用户，用户通过身体姿态(操作者的躯干作为操纵杆)调节机器人的运动方向和速度。比如，触觉手环设备能够在运动受限的情况下传递一组移动机器人可行导引的触觉反馈。虽然触觉设备可能有一些优势，比如从视觉反馈难以获得的地方获得反馈，但由于一系列的限制，这些设备在现实生活中并没有广泛的应用。
发明内容
本发明的目的是提供一种基于虚拟现实的多无人机远程控制方法，不需要额外的先进控制设备、特殊的操作环境、专业的操作训练，在虚拟端即可远程操控物理端的多台无人机，操作员不需具备敏捷操作和专业技能就可远程便捷控制无人机。
为了实现上述任务，本发明采用以下技术方案：
一种基于虚拟现实的多无人机远程控制方法，包括以下步骤：
构建物理端的无人机系统并获取实时环境信息；所述无人机系统包括四旋翼无人机及无人机控制系统；
构建客服端的虚拟端，包括搭建虚拟场景以及设置虚拟无人机的操控方式，其中：
所述搭建虚拟场景，为在每个客服端上根据物理端的现实场景的环境信息构建与其相对应的虚拟场景，并在虚拟环境中设置平行光以模拟物理端的太阳光线；
所述设置虚拟无人机的操控方式，需要借助头戴式显示器，以接收虚拟场景的视觉反馈和一对带有触觉反馈和手指追踪的VR手柄；
VR手柄的左手柄上的大拇指控制方向轮盘操控虚拟场景中人体的移动，VR手柄的右手柄在虚拟场景中有一条红色的射线从手柄的正中心发出，右手柄的射线只需对准一次虚拟无人机后T秒后，无需按键控制，操控者即获得该虚拟无人机的控制权；若想更改操控的虚拟无人机，只需将射线对准需要更换的虚拟无人机目标T秒后，则失去对上一次控制的虚拟无人机的控制权，获取当前所对准的无人机的控制权；右手柄上还设置有用于控制虚拟无人机上升、下降、进行任务操作的按键；获得控制权后，此时的虚拟无人机还并不会移动，对该虚拟无人机的操控需要将射线对准需要到达的目标位置点，再按下右手柄的食指键，则被控制的虚拟无人机在路径规划算法，自动选择一条最优的路径移动到目标位置点；其中，目标位置点信息、对无人机的操作请求构成物理端的无人机控制命令；
构建服务端网络，并构建客服端的网络架构；
各客服端操作者在虚拟端完成虚拟无人机操作后，虚拟无人机信息和无人机控制命令将上传到服务端；在服务端中，虚拟无人机信息通过数据库保存用于后续的分析工作；同时将无人机控制命令中的目标位置点信息下发给所有客服端，使所有客服端虚拟场景中的各虚拟无人机位置同步；
之后，服务端将无人机控制命令中的目标位置点信息通过虚拟端与物理端之间的虚拟现实相对坐标转换，更新为物理端的物理坐标；服务端再将无人机控制命令利用现有的局域网、4G、5G模块或阿里云服务发送到物理端四旋翼无人机的控制系统中上，四旋翼无人机到达转换后的目标位置点执行无人机控制命令中的操作请求，实现虚拟端远程控制无人机。
进一步地，所述服务端包括逻辑层、中间层、底层，逻辑层中设有ConnMsg类、PlayerData类、PlayerTempData类、PlayerMsg类、PlayerEvent类，其中：
ConnMsg类用于将客服端与服务端关联起来，判断二者是否连接成功；PlayerTempData类用于接收虚拟端发来的虚拟无人机信息和通过VR设备发出的无人机控制命令，在无人机的控制命令中，需要将目标位置点信息经过坐标转换处理后发送给中间层；PlayerData类用于将客服端发送过来的虚拟无人机信息保存到服务端MySQL数据库中用于分析和预测无人机的飞行轨迹；PlayerMsg类用于操控者登入客服端前的逻辑；PlayerEvent类用于处理客服端的事件请求；其中，所述的虚拟无人机信息包括虚拟无人机的位置、速度、姿态等；无人机控制命令中的操作请求为无人机可执行的任务操作；
中间层设置了Player类，Player类代表虚拟场景中的虚拟无人机，它包含虚拟无人机的ID和位置、姿态、速度数据，虚拟端的每个虚拟无人机ID都与物理端中的四旋翼无人机的ID相对应，实时将从逻辑层中获取的无人机控制命令发送给物理端，该命令中的目标位置点信息已转换为物理端中的实际位置；
底层包含网络模块和数据库两个模块，网络模块以异步Socket处理TCP客服端连接，数据库模块封装MySQL数据库的操作。
进一步地，所述客服端的网络架构中，客服端的异步Socket回调函数把从需要发送到服务端的请求信息，包括虚拟无人机信息、无人机控制命令和服务端发送给客服端的虚拟无人机同步指令按顺序存入消息列表msgList中，Update方法将依次读取客服端要发送的请求信息和服务端发送过来的指令；客服端的各项操作请求都有对应的请求处理函数，而请求处理函数需要注册监听，Update根据请求处理函数注册的监听表和其相应的注册名就可调动请求处理函数来发送请求信息到服务端；同理，Updata也可以调用相关的处理函数来响应服务端发送过来的虚拟无人机同步指令。
进一步地，各操作者通过id和密码登入客服端，利用头戴式显示器和VR手柄操控虚拟无人机，虚拟无人机按照操作者的需求到达指定目标位置点，随即服务端PlayerTempData类将该虚拟无人机当前的位置发送给其他客服端实现虚拟无人机的位置同步后，PlayerTempData类再将无人机控制命令发给物理端无人机，从而实现多人实时操控多虚拟无人机。
进一步地，对于客服端发送给服务端的通信数据，包括虚拟无人机信息、无人机控制命令；首先对通信网络中当前虚拟无人机的QoS保留带宽Wi B、网络效用Wi U和链路价格Wi P进行更新，然后式3利用更新后的数据计算出各条网络路径的权重，然后判断：如果网络路径中的权重小于权重临界值则说明此时网络中的竞争较为激烈采用式4计算出新的传输窗口；如果网络路径中的权重大于权重临界值则说明此时网络中的竞争不激烈采用式5计算出传输窗口，最终实现网络中虚拟场景中不同ID无人机数据资源传输的合理分配，其中：
以QoS保留带宽、网络效用和链路价格为权重因子计算虚拟无人机的通信数据在网络中路径的权重P，在多条备用路径中权重越高的路径被无人机选择传输的概率越高，路径权重P的计算公式为：
式(3)中，α代表的是平衡链路价格的权重因子；β代表的是平衡网络效用的权重因子；γ代表的是平衡QoS带宽的权重因子；
设Pb代表的是权重临界值，用来区分当前网络通道的虚拟无人机通信数据传输的竞争程度；当P>Pb时，代表虚拟无人机的通信数据传输在网络中的价格较高，此时网络中的竞争较为激烈，此时传送虚拟无人机数据的新竞争窗口CWp的表达式为：
式中，CW代表的是上一个时刻的竞争窗口；
当P≤Pb时，代表此时无线网络中的竞争不激烈，此时传送虚拟无人机通信数据的新竞争窗口CWp的表达式为：
进一步地，所述下位机机载控制系统以STM32F103RCT6嵌入式芯片为系统的核心芯片，主要负责与莓派机载系统的无线通信、传感器数据读取、数据集成、控制算法拟合、电机控制和电池管理；无人机上的机载传感器包括采用MPU9250微惯导运动处理组件、BMP280高度气压传感器、无线通信模块和12V锂电池；四旋翼无人机控制系统主控芯片与超声波传感器和红外传感器之间采用USART串口通讯，主控芯片与微惯导运动组件和高度气压计之间采用I2C总线通讯协议实现姿态角和速度数据；莓派机载系统安装Ubuntu系统，运行ROS系统基于5G模块和虚拟端Unity进行数据双向传输；然后，树莓派机载系统将虚拟端发送的无人机控制命令通过串口传于下位机机载控制系统让其控制四旋翼无人机执行。
进一步地，所述四旋翼无人机所处现实场景的环境信息，包括空间信息、物体信息、地形地貌信息。
与现有技术相比，本发明具有以下技术特点：
1.基于5G的通信传输，操作者可以远程的操控无人机，并且本方案的网络框架是客服端-服务端的模式，告别了单人单机模式。该方法可以满足一些大型的多人实时操控无人机完成相关任务。
2.因虚拟现实的沉浸感强，虚拟环境甚至可以做到与真实环境无比接近，用户与无人机的交互感更强可到达到身临其境的效果。相比于操纵杆的遥操作而言，不需要用户进行专业的训练，而且基于5G的通信，远程操控的距离限制更小。在一些非宽敞、保证安全的环境下用户利用本方案的路径算法，任意用户都可以实现多机任务。
3.所需的设备简单便捷，只需一台头戴式显示器(HMD)用于接收现场的视觉反馈，和一对带有触觉反馈和手指追踪的手柄并可实时的远程操控无人机。无需像基于视觉的操控对设备和环境有严格要求。
附图说明
图1为本发明一个实施例中物理端的四旋翼无人机系统的示意图；
图2为本发明一个实施例中虚拟端搭建的虚拟场景示意图；
图3为本发明一个实施例中虚拟端控制虚拟无人机的示意图；
图4为本发明一个实施例中A*算法下形成的网格图；
图5为本发明中服务端网络架构；
图6为本发明中客服端网络架构；
图7为本发明一个实施例中在客服端登录操作虚拟无人机的界面示意图；
图8为本发明方法的整体架构示意图。
具体实施方式
与现有技术中的无人机控制方案不同，在本方法中，不需要额外的先进控制设备、特殊的操作环境、飞行员技能或高度集中的人员。通过VR头盔的视觉反馈和手柄，使每个客服端的操作者都可以很容易地精确控制多台四轴飞行器，在虚拟环境中只需由操作者控制手柄处发出一条射线，通过射线获得了无人机的控制权。接着再由手柄发出的射线与地面碰撞的目标位置，无人机将自动移动到的目标点，同时可将该坐标点通过5G或局域网发送给物理端对应的无人机，从而实现虚拟端控制物理端。
本方案的结构框架整体是由虚拟端和物理端组成，其中网络通信框架是由客服端和服务端组成。
本方案是基于Unity软件，构建了一个具有物理世界相似环境的虚拟系统，利用虚拟系统和物理系统的双向交互完成物理无人机的控制。Unity软件是一个强大的游戏引擎，具有实时3D互动内容创作和运营功能。本方案中物理系统是基于ROS机器人平台开发的物理端通过局域网或5G网络能够实时地接收到虚拟端指定的目标点(速度、姿态)，从而保持状态与虚拟端一致。
在虚拟端，每个操作员通过佩戴头盔设备和手柄去控制虚拟无人机。在本方案中，每个操作者都是一个独立的客户端，之间不存在耦合关系。并且，考虑到多操作员操作同多个无人机存在的资源冲突问题，本方案提出一个控制竞争策略，以在虚拟端实现更智能、便捷的操控。
参见附图，本发明的一种基于虚拟现实的多无人机远程控制方法，包括以下步骤：
步骤1，构建物理端的无人机系统并获取实际环境信息
在四旋翼无人机上搭载树莓派机载系统和下位机机载控制系统构成的无人机控制系统，其中下位机机载控制系统以STM32F103RCT6嵌入式芯片为系统的核心芯片，主要负责与莓派机载系统的无线通信、传感器数据读取、数据集成、控制算法拟合、电机控制和电池管理；无人机上的机载传感器包括采用MPU9250微惯导运动处理组件、BMP280高度气压传感器、无线通信模块和12V锂电池。四旋翼无人机控制系统主控芯片与超声波传感器和红外传感器之间采用USART串口通讯，主控芯片与微惯导运动组件和高度气压计之间采用I2C总线通讯协议实现姿态角和速度数据；莓派机载系统安装Ubuntu系统，运行ROS系统基于5G模块和虚拟端Unity进行数据双向传输；然后，树莓派机载系统将虚拟端发送的无人机控制命令通过串口传于下位机机载控制系统让其控制四旋翼无人机执行。
获取四旋翼无人机所处现实场景的环境信息，包括空间信息、物体信息、地形地貌信息等，如树木、山、地形的位置、大小、形状；所述环境信息用于虚拟端中的环境构建，物理端的环境与虚拟端的环境相对应。
步骤2，构建客服端的虚拟端
2.1搭建虚拟场景
在每个客服端上，利用unity根据物理端的现实场景的环境信息构建与其相对应的虚拟场景，并在虚拟环境中设置平行光以模拟物理端的太阳光线。场景中的三维模型除了Transform组件，还需设置网格过滤器和着色器以及障碍物Rigidbody、CharacterController等，尽量做到与现实场景无差。虚拟场景的效果图如图2所示。
2.2设置虚拟无人机的操控方式
虚拟无人机的操控需要借助VR设备，包括头戴式显示器(HMD)以接收虚拟场景的视觉反馈和一对带有触觉反馈和手指追踪的VR手柄，其中：
VR手柄的左手柄上的大拇指控制方向轮盘操控虚拟场景中人体的移动，由于每个虚拟无人机的状态在没发送到服务端同步之前都是独立互不影响的，而在unity所搭建的虚拟场景中每个刚体位置、姿态、速度都可由其所挂载的脚本随时读取，当按下食指部的按键，无人机所挂载的脚本才会发送当前无人机的位置、速度、姿态等信息到服务端，因为当无人机数量够多时无意义的自动实时发送会造成网络负载问题。
VR手柄的右手柄在虚拟场景中有一条红色的射线从手柄的正中心发出，设置该射线的目的是为了方便操控者在虚拟端也可以远距离随意的切换目标无人机和选择移动的目标点。右手柄的射线只需对准一次虚拟无人机后T(T为自行设置的时间参数)秒后，无需按键控制，操控者即获得该虚拟无人机的控制权；若想更改操控的虚拟无人机，只需将射线对准需要更换的虚拟无人机目标T秒后，则失去对上一次控制的虚拟无人机的控制权，获取当前所对准的无人机的控制权。右手柄上还设置有用于控制虚拟无人机上升、下降、进行任务操作的按键。
获得控制权后，此时的虚拟无人机还并不会移动，对该虚拟无人机的操控需要将射线对准需要到达的目标位置点，再按下右手柄的食指键，则被控制的虚拟无人机在路径规划算法，例如A*算法下自动选择一条最优的路径移动到目标位置点。通过将虚拟场景的物体网格化后利用该算法可实现避障和路径规划，该算法有较好的性能和准确度。其中，目标位置点信息、对无人机的操作请求构成物理端的无人机控制命令。
步骤3，构建服务端网络
本方案中的服务端包括逻辑层、中间层、底层，逻辑层中设有ConnMsg类、PlayerData类、PlayerTempData类、PlayerMsg类、PlayerEvent类，其中：
ConnMsg类用于将客服端与服务端关联起来，判断二者是否连接成功；PlayerTempData类用于接收虚拟端发来的虚拟无人机信息和通过VR设备发出的无人机控制命令，在无人机的控制命令中，目标位置点信息是虚拟端的信息，不能直接用于物理端的无人机，需要将目标位置点信息经过坐标转换处理后发送给中间层；PlayerData类用于将客服端发送过来的虚拟无人机信息保存到服务端MySQL数据库中，随着这些信息的累积，大量的历史数据有利于分析和预测无人机的飞行轨迹；PlayerMsg类用于操控者登入客服端前的逻辑，例如操控者需要进行密码校验；PlayerEvent类用于处理客服端的事件请求，例如：操作者登入、登出、虚拟无人机的急停请求。其中，上述的虚拟无人机信息包括虚拟无人机的位置、速度、姿态等；无人机控制命令包括需要到达的目标点位置信息、操作请求等；其中操作请求为无人机可执行的任务操作，例如拍照、控制搭载的其他外设等。
中间层设置了Player类，Player类代表虚拟场景中的虚拟无人机，它包含虚拟无人机的ID和位置、姿态、速度等数据，虚拟端的每个虚拟无人机ID都与物理端中的四旋翼无人机的ID相对应，实时将从逻辑层中获取的无人机控制命令发送给物理端，该命令中的目标位置点信息已转换为物理端中的实际位置；
底层包含网络模块和数据库两个模块，网络模块以异步Socket处理TCP客服端连接，数据库模块封装MySQL数据库的操作。
步骤4，客服端的网络架构
服务端在将无人机控制命令发送给物理端之前要先向各客服端发送位置同步请求，这是因为客服端有多个，如果每个客服端的操控者更改自己虚拟场景中虚拟无人机的位置后发送到服务端后，服务端就直接发给物理端无人机，那每个客服端的虚拟场景中的无人机位置、速度都是不一样的。因此，服务端收到某个客服端的虚拟无人机信息后，必须先发给其他客服端，以在所有客服端中同步所述虚拟无人机的位置，之后才可将其对应的无人机控制命令发给物理端。
相对服务端，客服端不需要处理大量的网络数据，单线程就足以满足其发送无人机信息、请求操作到服务器以及接收服务器发出的虚拟场景中无人机位置速度同步的需求。
客服端的异步Socket回调函数ReceiveCb把从需要发送到服务端的请求信息，包括虚拟无人机信息、无人机控制命令和服务端发送给客服端的虚拟无人机同步指令按顺序存入消息列表msgList中，Update方法将依次读取客服端要发送的请求信息和服务端发送过来的指令。客服端的各项操作请求都有对应的请求处理函数，请求包括虚拟无人机位置速度获取、操作者登入、登出、虚拟无人机的控制等；而请求处理函数需要注册监听，Update根据请求处理函数注册的监听表和其相应的注册名就可调动请求处理函数来发送请求信息到服务端。同理，Updata也可以调用相关的处理函数来响应服务端发送过来的虚拟无人机同步指令。
各操作者通过id和密码登入客服端，利用头戴式显示器和VR手柄操控虚拟无人机，虚拟无人机按照操作者的需求到达指定目标位置点，随即服务端PlayerTempData类将该虚拟无人机当前的位置发送给其他客服端实现虚拟无人机的位置同步后，PlayerTempData类再将无人机控制命令发给物理端无人机，从而实现多人实时操控多虚拟无人机。
步骤5，多无人机环境下的网络资源分配
基于服务端与客服端的通信时，当操作者的人数和操控的虚拟无人机过过多时，通信数据发送和接受过于频繁会给服务端造成较大的网络负载，通信数据包括无人机的位置、速度等信息，尤其一些不同ID的虚拟无人机数据同时上传时可能会造成服务端数据丢失。
为了解决虚拟场景中多无人机在多任务多目标环境下的网络资源分配冲突问题，本方案中通过对网络路径中无人机数据传输的QOS保留带宽、通信网络效用和链路价格进行更新，在更新结果的基础上计算该无人机数据传输在网络中路径的权重，根据路径权重结合网络的竞争程度，给不同ID的虚拟无人机选择不同的竞争窗口传输数据，完成无线网络跨层资源的分配，具体步骤如下：
设λf代表的是虚拟场景中虚拟无人机f在服务端与客服端通信网络中的尾随价，其计算公式为：
式中，q代表的是虚拟场景中的所有虚拟无人机所有通信数据；l为虚拟无人机f的通信数据；μ代表的是拉格朗日乘子；μq代表的是q链路在服务端与客服端通信网络中的尾随价格；
设μq(t+1)代表的是第t+1次迭代时价格供需在网络中的规律：
式中，t代表的是迭代步数，γ代表的是迭代步长，Cq代表的是虚拟场景中无人机数据传输带宽供给；xf代表的是虚拟场景中无人机数据传输在网络中资源的分配速率，λf(t)表示第t次迭代时虚拟无人机f在服务端与客服端通信网络中的尾随价。
根据式(2)可知，当q的带宽需求大于其本身的Cq时，不符合通信网络中的资源约束条件，对应μq会增加；当q的带宽需求小于其本身的Cq时，对应的μq会减少。
式(1)和式(2)为网络跨层资源分配方法的基础，对网络中当前无人机的QoS保留带宽Wi B、网络效用Wi U和链路价格Wi P进行更新。
以QoS保留带宽、网络效用和链路价格为权重因子计算虚拟无人机的通信数据在网络中路径的权重P，在多条备用路径中权重越高的路径被无人机选择传输的概率越高，路径权重P的计算公式为：
式(3)中，α代表的是平衡链路价格的权重因子；β代表的是平衡网络效用的权重因子；γ代表的是平衡QoS带宽的权重因子。
设Pb代表的是权重临界值，用来区分当前网络通道的虚拟无人机通信数据传输的竞争程度；当P>Pb时，代表虚拟无人机的通信数据传输在网络中的价格较高，此时网络中的竞争较为激烈，此时传送虚拟无人机数据的新竞争窗口CWp的表达式为：
式中，CW代表的是上一个时刻的竞争窗口；
当P≤Pb时，代表此时无线网络中的竞争不激烈，此时传送虚拟无人机通信数据的新竞争窗口CWp的表达式为：
实际应用时，对于客服端发送给服务端的通信数据(虚拟无人机信息、无人机控制命令)，首先通过式1和式2对通信网络中当前虚拟无人机的QoS保留带宽Wi B、网络效用Wi U和链路价格Wi P进行更新，然后式3利用更新后的数据计算出各条网络路径的权重，然后判断：如果网络路径中的权重小于权重临界值则说明此时网络中的竞争较为激烈采用式4计算出新的传输窗口；如果网络路径中的权重大于权重临界值则说明此时网络中的竞争不激烈采用式5计算出传输窗口，最终实现网络中虚拟场景中不同ID无人机数据资源传输的合理分配。
步骤6，实现虚拟交互
各客服端操作者在虚拟端完成虚拟无人机操作后，虚拟无人机信息和无人机控制命令将上传到服务端；在服务端中，虚拟无人机信息通过数据库保存用于后续的分析工作；同时将无人机控制命令中的目标位置点信息下发给所有客服端，使所有客服端虚拟场景中的各虚拟无人机位置同步；
之后，服务端将无人机控制命令中的目标位置点信息通过虚拟端与物理端之间的虚拟现实相对坐标转换，更新为物理端的物理坐标；服务端再将无人机控制命令利用现有的局域网、4G，5G模块以及阿里云服务发送到物理端四旋翼无人机的控制系统中上，四旋翼无人机到达转换后的目标位置点执行无人机控制命令中的操作请求，实现虚拟端远程控制无人机。
例如，一个多无人机在森林搜索场景，操作员不必身处现场，在远程并可利用VR设备进入一个与现场环境极其相似的虚拟现场。多名操控者可实时利用手柄发送指令操控任意无人机，每个用户虚拟端指令都执行完后，服务器实时地将各操作者虚拟场景中的无人机完成位置、姿态同步。之后，服务器再将同步后的各无人机的数据通过5G传输给森林中对应的无人机，从而实现远程实时操控。同时，森林中的无人机也可利用ROS平台将自身状态数据传给虚拟端的无人机，双通道的数据传输可以更好的实现虚实交互，防止突发状况。并且，还可利用深度学习和大数据采样预测，实现更好的控制效果。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于虚拟现实的多无人机远程控制方法，其特征在于，包括以下步骤：
构建物理端的无人机系统并获取实时环境信息；所述无人机系统包括四旋翼无人机及无人机控制系统；
构建客服端的虚拟端，包括搭建虚拟场景以及设置虚拟无人机的操控方式，其中：
所述搭建虚拟场景，为在每个客服端上根据物理端的现实场景的环境信息构建与其相对应的虚拟场景，并在虚拟环境中设置平行光以模拟物理端的太阳光线；
所述设置虚拟无人机的操控方式，需要借助头戴式显示器，以接收虚拟场景的视觉反馈和一对带有触觉反馈和手指追踪的VR手柄；
VR手柄的左手柄上的大拇指控制方向轮盘操控虚拟场景中人体的移动，VR手柄的右手柄在虚拟场景中有一条红色的射线从手柄的正中心发出，右手柄的射线只需对准一次虚拟无人机后T秒后，无需按键控制，操控者即获得该虚拟无人机的控制权；若想更改操控的虚拟无人机，只需将射线对准需要更换的虚拟无人机目标T秒后，则失去对上一次控制的虚拟无人机的控制权，获取当前所对准的无人机的控制权；右手柄上还设置有用于控制虚拟无人机上升、下降、进行任务操作的按键；获得控制权后，此时的虚拟无人机还并不会移动，对该虚拟无人机的操控需要将射线对准需要到达的目标位置点，再按下右手柄的食指键，则被控制的虚拟无人机在路径规划算法，自动选择一条最优的路径移动到目标位置点；其中，目标位置点信息、对无人机的操作请求构成物理端的无人机控制命令；
构建服务端网络，并构建客服端的网络架构；
各客服端操作者在虚拟端完成虚拟无人机操作后，虚拟无人机信息和无人机控制命令将上传到服务端；在服务端中，虚拟无人机信息通过数据库保存用于后续的分析工作；同时将无人机控制命令中的目标位置点信息下发给所有客服端，使所有客服端虚拟场景中的各虚拟无人机位置同步；
之后，服务端将无人机控制命令中的目标位置点信息通过虚拟端与物理端之间的虚拟现实相对坐标转换，更新为物理端的物理坐标；服务端再将无人机控制命令利用现有的局域网、4G、5G模块或阿里云服务发送到物理端四旋翼无人机的控制系统中上，四旋翼无人机到达转换后的目标位置点执行无人机控制命令中的操作请求，实现虚拟端远程控制无人机。
2.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，所述服务端包括逻辑层、中间层、底层，逻辑层中设有ConnMsg类、PlayerData类、PlayerTempData类、PlayerMsg类、PlayerEvent类，其中：
ConnMsg类用于将客服端与服务端关联起来，判断二者是否连接成功；PlayerTempData类用于接收虚拟端发来的虚拟无人机信息和通过VR设备发出的无人机控制命令，在无人机的控制命令中，需要将目标位置点信息经过坐标转换处理后发送给中间层；PlayerData类用于将客服端发送过来的虚拟无人机信息保存到服务端MySQL数据库中用于分析和预测无人机的飞行轨迹；PlayerMsg类用于操控者登入客服端前的逻辑；PlayerEvent类用于处理客服端的事件请求；其中，所述的虚拟无人机信息包括虚拟无人机的位置、速度、姿态等；无人机控制命令中的操作请求为无人机可执行的任务操作；
中间层设置了Player类，Player类代表虚拟场景中的虚拟无人机，它包含虚拟无人机的ID和位置、姿态、速度数据，虚拟端的每个虚拟无人机ID都与物理端中的四旋翼无人机的ID相对应，实时将从逻辑层中获取的无人机控制命令发送给物理端，该命令中的目标位置点信息已转换为物理端中的实际位置；
底层包含网络模块和数据库两个模块，网络模块以异步Socket处理TCP客服端连接，数据库模块封装MySQL数据库的操作。
3.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，所述客服端的网络架构中，客服端的异步Socket回调函数把从需要发送到服务端的请求信息，包括虚拟无人机信息、无人机控制命令和服务端发送给客服端的虚拟无人机同步指令按顺序存入消息列表msgList中，Update方法将依次读取客服端要发送的请求信息和服务端发送过来的指令；客服端的各项操作请求都有对应的请求处理函数，而请求处理函数需要注册监听，Update根据请求处理函数注册的监听表和其相应的注册名就可调动请求处理函数来发送请求信息到服务端；同理，Updata也可以调用相关的处理函数来响应服务端发送过来的虚拟无人机同步指令。
4.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，各操作者通过id和密码登入客服端，利用头戴式显示器和VR手柄操控虚拟无人机，虚拟无人机按照操作者的需求到达指定目标位置点，随即服务端PlayerTempData类将该虚拟无人机当前的位置发送给其他客服端实现虚拟无人机的位置同步后，PlayerTempData类再将无人机控制命令发给物理端无人机，从而实现多人实时操控多虚拟无人机。
5.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，对于客服端发送给服务端的通信数据，包括虚拟无人机信息、无人机控制命令；首先对通信网络中当前虚拟无人机的QoS保留带宽Wi B、网络效用Wi U和链路价格Wi P进行更新，然后式3利用更新后的数据计算出各条网络路径的权重，然后判断：如果网络路径中的权重小于权重临界值则说明此时网络中的竞争较为激烈采用式4计算出新的传输窗口；如果网络路径中的权重大于权重临界值则说明此时网络中的竞争不激烈采用式5计算出传输窗口，最终实现网络中虚拟场景中不同ID无人机数据资源传输的合理分配，其中：
以QoS保留带宽、网络效用和链路价格为权重因子计算虚拟无人机的通信数据在网络中路径的权重P，在多条备用路径中权重越高的路径被无人机选择传输的概率越高，路径权重P的计算公式为：
式(3)中，α代表的是平衡链路价格的权重因子；β代表的是平衡网络效用的权重因子；γ代表的是平衡QoS带宽的权重因子；
设Pb代表的是权重临界值，用来区分当前网络通道的虚拟无人机通信数据传输的竞争程度；当P>Pb时，代表虚拟无人机的通信数据传输在网络中的价格较高，此时网络中的竞争较为激烈，此时传送虚拟无人机数据的新竞争窗口CWp的表达式为：
式中，CW代表的是上一个时刻的竞争窗口；
当P≤Pb时，代表此时无线网络中的竞争不激烈，此时传送虚拟无人机通信数据的新竞争窗口CWp的表达式为：
6.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，所述下位机机载控制系统以STM32F103RCT6嵌入式芯片为系统的核心芯片，主要负责与莓派机载系统的无线通信、传感器数据读取、数据集成、控制算法拟合、电机控制和电池管理；无人机上的机载传感器包括采用MPU9250微惯导运动处理组件、BMP280高度气压传感器、无线通信模块和12V锂电池；四旋翼无人机控制系统主控芯片与超声波传感器和红外传感器之间采用USART串口通讯，主控芯片与微惯导运动组件和高度气压计之间采用I2C总线通讯协议实现姿态角和速度数据；莓派机载系统安装Ubuntu系统，运行ROS系统基于5G模块和虚拟端Unity进行数据双向传输；然后，树莓派机载系统将虚拟端发送的无人机控制命令通过串口传于下位机机载控制系统让其控制四旋翼无人机执行。
7.根据权利要求1所述的基于虚拟现实的多无人机远程控制方法，其特征在于，所述四旋翼无人机所处现实场景的环境信息，包括空间信息、物体信息、地形地貌信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210527817.9A CN114935940B (zh) | 2022-05-16 | 2022-05-16 | 一种基于虚拟现实的多无人机远程控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210527817.9A CN114935940B (zh) | 2022-05-16 | 2022-05-16 | 一种基于虚拟现实的多无人机远程控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114935940A true CN114935940A (zh) | 2022-08-23 |
| CN114935940B CN114935940B (zh) | 2023-05-23 |
Family
ID=82864228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210527817.9A Active CN114935940B (zh) | 2022-05-16 | 2022-05-16 | 一种基于虚拟现实的多无人机远程控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114935940B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515467A (zh) * | 2019-08-30 | 2019-11-29 | 贵州电网有限责任公司 | 一种虚拟现实培训领域中的多人协同交互系统 |
| CN111427453A (zh) * | 2020-03-30 | 2020-07-17 | 上海盛翔信息科技有限公司 | 一种医疗虚拟现实培训场景下多人协同交互与感知的方法 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
-
2022
- 2022-05-16 CN CN202210527817.9A patent/CN114935940B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515467A (zh) * | 2019-08-30 | 2019-11-29 | 贵州电网有限责任公司 | 一种虚拟现实培训领域中的多人协同交互系统 |
| CN111427453A (zh) * | 2020-03-30 | 2020-07-17 | 上海盛翔信息科技有限公司 | 一种医疗虚拟现实培训场景下多人协同交互与感知的方法 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
Non-Patent Citations (2)
| Title |
|---|
| 陈晓: "无线传感网络基于实时业务QoS保障的MAC协议研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 韩冰青: "移动Ad Hoc网络中资源分配及跨层技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114935940B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109613931B (zh) | 基于生物社会力的异构无人机集群目标跟踪系统及方法 | |
| US11276325B2 (en) | Systems and methods for flight simulation | |
| CN109131908A (zh) | 用于执行紧急降落和着陆的系统和方法 | |
| CN105912980A (zh) | 无人机以及无人机系统 | |
| CN105980950A (zh) | 无人飞行器的速度控制 | |
| CN106125747A (zh) | 基于vr交互的无人机机载第一视角随动吊舱系统 | |
| CN110187700B (zh) | 基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法 | |
| CN115951598B (zh) | 一种多无人机的虚实结合仿真方法、装置及系统 | |
| CN109557880A (zh) | 一种基于无人机的生态巡检系统 | |
| Lin et al. | Development of an unmanned coaxial rotorcraft for the DARPA UAVForge challenge | |
| CN110045750A (zh) | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 | |
| De Nardi et al. | Swarmav: A swarm of miniature aerial vehicles | |
| Chen et al. | A multichannel human-swarm robot interaction system in augmented reality | |
| CN116661497A (zh) | 一种智能飞行汽车 | |
| CN211529000U (zh) | 一种基于激光雷达和摄像头的无人驾驶小车 | |
| Sanchez-Lopez et al. | A vision based aerial robot solution for the mission 7 of the international aerial robotics competition | |
| Chen et al. | Multivr: Digital twin and virtual reality based system for multi-people remote control unmanned aerial vehicles | |
| Betancourt et al. | Exocentric control scheme for robot applications: An immersive virtual reality approach | |
| CN110309883A (zh) | 一种基于视觉slam的无人机自主定位方法 | |
| CN109491510A (zh) | 一种无人机控制方法、装置、设备及存储介质 | |
| Gromov et al. | Guiding quadrotor landing with pointing gestures | |
| CN114935940B (zh) | 一种基于虚拟现实的多无人机远程控制方法 | |
| Popov et al. | Control of the flight of a small quadrotor using gestural interface | |
| Choi et al. | Wearable gesture control of agile micro quadrotors | |
| Punpigul et al. | A Flight Formation Control of a Micro Aerial Vehicle Swarm using a Motion Capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |