CN114842056A - 多机位第一机器视角追随方法、系统、装置及设备 - Google Patents

Abstract

本发明公开了一种多机位第一机器视角追随方法、系统、装置及设备。本发明通过获取第一视角追踪FVT的运行指令；根据所述运行指令，识别无人机搭载的附件设备的设备信息；基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。在无人机进行作业的过程中，避免安全隐患，提高安全性，降低工作成本，工作更加高效。

Description

多机位第一机器视角追随方法、系统、装置及设备

技术领域

本发明涉及无人机技术领域，尤其涉及一种多机位第一机器视角追随方法、系统、装置及设备。

背景技术

现有的无人机第一人称视角控制技术，通常是使用者利用无人机的控制设备，比如手机或是相关的遥控设备，对无人机进行有线或者无线的通讯控制，无人机上搭载的默认摄像机所拍摄的画面达到与无人机为第一人称的视角效果，进而将上述第一人称视角效果的拍摄画面传输至显示设备，使用者通过显示设备上第一人称的显示画面，可以在操纵控制设备的同时实时、直观地感受第一人称显示画面中反馈的实时场景画面。

然而，上述使用者利用无人机的控制设备对无人机进行通讯控制，得到第一人称场景画面的方式仍存在如下问题：一方面，无人机设备通过在其结构上搭载的附件设备，如摄像机和声学设备，获取实时画面，当上述附件设备数量、种类过多时，无人机上搭载的多种附件设备朝向不一致，部分附件设备与无人机的艏向不一致，且上述附件设备的安装方向并不能修改、变换，造成无人机控制设备的方向记忆出错，造成无人机碰撞和其他意外风险；另一方面，当无人机自由移动时，无人机上搭载的附件设备在移动过程中的任意时间内无法保持自身的第一人称视角，进而也无法对附件设备的方向进行第一人称视角控制。

综上所述，现有的无人机第一人称视角控制技术的无人机只能搭载一个或多个与无人机头部朝向一致的附件设备，且不能自动识别附件设备的方向位置，在多机位情况下，第一机器的视角追随效果差。

发明内容

本发明的主要目的在于提出一种多机位第一机器视角追随方法、系统、装置及设备，旨在优化多机位第一机器的视角追随效果。

为实现上述目的，本发明提供一种多机位第一机器视角追随方法，所述多机位第一机器视角追随方法包括如下步骤：

获取第一视角追踪FVT的运行指令；

根据所述运行指令，识别无人机搭载的附件设备的设备信息；

基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

优选地，所述基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系的步骤包括：

通过所述无人机内置的惯导传感器IMU，确定所述无人机在世界坐标系中的机体坐标信息；

将所述机体坐标信息作为基坐标系，建立所述无人机对应的机体坐标系；

通过所述附件设备内置的IMU，确定所述附件设备在世界坐标系中的的附件设备坐标信息；

将所述附件设备坐标信息作为基坐标系，确定所述附件设备对应的附件设备坐标系。

优选地，所述基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系的步骤包括：

基于所述附件设备的所述设备信息，确定所述附件设备的设备类型，并确定所述设备类型对应的附件设备进行作业的设备部件；

分别获取所述设备部件在所述机体坐标系与所述附件设备坐标系中的坐标系信息，并根据所述坐标系信息确定所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系。

优选地，所述基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度的步骤包括：

根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态；

基于所述附件设备的运动姿态，确定所述附件设备进行动态调整的调整参数；

基于预先设置的动态调整算法，根据所述调整参数对所述附件设备进行动态调整，确定所述附件设备与所述无人机一致的朝向角度。

优选地，所述根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态的步骤包括：

获取所述无人机的运动轨迹；

基于所述坐标系对应关系与附件设备的设备信息，根据所述无人机的运动轨迹，确定所述附件设备的运动朝向和所述运动朝向的角度；

基于所述运动朝向和所述运动朝向的角度，确定所述附件设备的运动姿态。

优选地，在所述基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度的步骤之后，所述多机位第一机器视角追随方法还包括：

基于所述附件设备相对与所述无人机的朝向角度，确定所述附件设备获取的第一机器视角画面；

将所述第一机器视角画面传输至与所述第一视角追踪FVT连接的显示设备上进行显示。

优选地，在所述将所述第一机器视角画面传输至与所述第一视角追踪FVT连接的显示设备上进行显示的步骤之后，所述多机位第一机器视角追随方法还包括：

接收与所述无人机通信连接的控制设备的控制信息；

基于所述预先设置的控制算法，根据所述控制信息对所述无人机搭载的附件设备进行调整，确定所述附件设备进行作业的朝向角度。

此外，为实现上述目的，本发明还提供一种多机位第一机器视角追随装置，所述多机位第一机器视角追随装置包括：

获取模块，用于获取第一视角追踪FVT的运行指令；

识别模块，用于根据所述运行指令，识别无人机搭载的附件设备的设备信息；

确定模块，用于基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

构建模块，用于基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

调整模块，用于基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

优选地，确定模块还用于：

通过所述无人机内置的惯导传感器IMU，确定所述无人机在世界坐标系中的机体坐标信息；

将所述机体坐标信息作为基坐标系，建立所述无人机对应的机体坐标系；

通过所述附件设备内置的IMU，确定所述附件设备在世界坐标系中的的附件设备坐标信息；

将所述附件设备坐标信息作为基坐标系，确定所述附件设备对应的附件设备坐标系。

优选地，构建模块还用于：

基于所述附件设备的所述设备信息，确定所述附件设备的设备类型，并确定所述设备类型对应的附件设备进行作业的设备部件；

分别获取所述设备部件在所述机体坐标系与所述附件设备坐标系中的坐标系信息，并根据所述坐标系信息确定所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系。

优选地，调整模块还用于：

根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态；

基于所述附件设备的运动姿态，确定所述附件设备进行动态调整的调整参数；

基于预先设置的动态调整算法，根据所述调整参数对所述附件设备进行动态调整，确定所述附件设备与所述无人机一致的朝向角度。

优选地，调整模块还用于：

获取所述无人机的运动轨迹；

基于所述坐标系对应关系与附件设备的设备信息，根据所述无人机的运动轨迹，确定所述附件设备的运动朝向和所述运动朝向的角度；

基于所述运动朝向和所述运动朝向的角度，确定所述附件设备的运动姿态。

此外，为实现上述目的，本发明还提供一种多机位第一机器视角追随设备，所述多机位第一机器视角追随设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多机位第一机器视角追随程序，所述多机位第一机器视角追随控程序被所述处理器执行时实现如上所述的多机位第一机器视角追随方法的步骤。

此外，为实现上述目的，本发明还提供一种多机位第一机器视角追随系统，所述多机位第一机器视角追随系统为第一视角追踪FVT，所述多机位第一机器视角追随系统上包括了多机位第一机器视角追随设备以及多机位第一机器视角追随程序，所述多机位第一机器视角追随程序被处理器执行时实现如上所述的多机位第一机器视角追随方法的步骤。

本发明提出的多机位第一机器视角追随方法、系统、装置及设备，通过获取第一视角追踪FVT的运行指令；根据所述运行指令，识别无人机搭载的附件设备的设备信息；基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。本发明通过第一视角追踪FVT实现无人机上搭载的一件或多件附件设备，以第一机器视角为第一人称视角进行视角追随，基于第一视角追踪FVT的运行指令，获取搭载在无人机上的附件设备的设备信息，通过内置IMU分别确定机体坐标系和附件设备坐标系，进而确定两坐标系的坐标系对应关系，基于预先设置的动态调整算法，根据该坐标系对应关系对附件设备的工作姿态进行动态调整，确定附件设备第一机器的视角一致。本发明通过自动对附件设备的朝向角度进行动态调整，不仅可以做到减少、甚至避免未知的安全隐患，也降低了使用无人机进行作业的工作成本，提高了无人机作业的安全性，使无人机作业更加高效。

附图说明

图1是本发明多机位第一机器视角追随实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明多机位第一机器视角追随方法第一实施例的流程示意图；

图3为本发明多机位第一机器视角追随方法第一实施例中以无人机机体为基坐标系的无人机作业系统架构示意图；

图4为本发明多机位第一机器视角追随方法第二实施例的流程示意图；

图5为本发明多机位第一机器视角追随方法第三实施例的流程示意图；

图6为本发明多机位第一机器视角追随方法第四实施例的流程示意图；

图7为本发明多机位第一机器视角追随方法第四实施例中步骤S51的子流程示意图；

图8为本发明多机位第一机器视角追随方法第五实施例中步骤S500的细化流程示意图；

图9为本发明多机位第一机器视角追随方法第五实施例的流程示意图；

图10为本发明多机位第一机器视角追随方法第六实施例中步骤S5020的细化流程示意图；

图11为本发明多机位第一机器视角追随方法第六实施例的流程示意图；

图12为本发明多机位第一机器视角追随方法第六实施例中以附件设备为基坐标系的无人机作业系统架构示意图；

图13为本发明多机位第一机器视角追随方法第一实施例涉及到的多机位第一机器视角追随装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例设备可以是终端或服务器。

如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多机位第一机器视角追随程序。

其中，操作系统是管理和控制多机位第一机器视角追随设备与软件资源的程序，支持网络通信模块、用户接口模块、多机位第一机器视角追随程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的多机位第一机器视角追随设备中，所述多机位第一机器视角追随设备通过处理器1001调用存储器1005中存储的多机位第一机器视角追随程序，并执行下述多机位第一机器视角追随方法各个实施例中的操作。

基于上述硬件结构，提出本发明多机位第一机器视角追随方法实施例。

参照图2，图2为本发明多机位第一机器视角追随方法第一实施例的流程示意图，所述方法包括：

步骤S10，获取第一视角追踪FVT的运行指令；

步骤S20，根据所述运行指令，识别无人机搭载的附件设备的设备信息；

步骤S30，基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

步骤S40，基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

步骤S50，基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

本实施例多机位第一机器视角追随的通信方法，本发明通过第一视角追踪FVT实现无人机上搭载的一件或多件附件设备，以第一机器视角为第一人称视角进行视角追随，基于第一视角追踪FVT的运行指令，获取搭载在无人机上的附件设备的设备信息，通过内置IMU分别确定机体坐标系和附件设备坐标系，进而确定两坐标系的坐标系对应关系，基于预先设置的动态调整算法，根据该坐标系对应关系对附件设备的工作姿态进行动态调整，确定附件设备第一机器的视角一致。本发明通过自动对附件设备的朝向角度进行动态调整，不仅可以做到减少、甚至避免未知的安全隐患，也降低了使用无人机进行作业的工作成本，提高了无人机作业的安全性，使无人机作业更加高效。

以下将对各个步骤进行详细说明：

步骤S10，获取第一视角追踪FVT的运行指令；

在一些具体的实施例中，获取上述第一视角追踪First Visual Tracking的运行指令可以是通过第一机器，比如无人机，内部预设的运行指令，也可以是开启第一视角追踪FVT的开机指令，也可以是根据用户在实现通信连接的交互设备上的实时指令，还可以是无人机根据其机体所处的作业环境自动开启第一视角追踪的自动指令等。

需要进一步解释的是，上述运行指令是实现第一机器上搭载的附件设备能与该第一设备的视野角度始终保持一致的指令。而上述附件设备与第一设备的视野角度始终保持一致的目的，是为了让用户在使用第一视角追踪FVT的过程中，始终都能获取第一设备的第一人称视角画面，并且根据该第一人称视角画面以第一机器的第一人称视角为参考，轻松识别第一机器的运动方向，并基于该运动方向直观地反映第一机器所在的实时场景情况，更好地基于第一机器的第一视角完成第一机器作业，上述第一机器在本实施例中可以是无人机。

步骤S20，根据所述运行指令，识别无人机搭载的附件设备的设备信息；

在一具体实施例中，在获取到运行指令后，可以得到运行指令中相对应的运行信息，并根据该运行信息确定第一机器，比如无人机所搭载的附件设备的设备信息。

需要进行具体解释的是，上述运行信息包括运行指令中进行作业的运行设备、运行内容、运行轨迹以及实施位置等内容。根据上述运行信息，确定能够完成上述运行内容的运行设备，该设备对应的设备信息比如设备种类，设备高度、设备大小、设备进行工作的工作姿态、工作朝向、工作角度等。

例如，在获取到“使用第一机器无人机上的附件设备机械手抓取左上方10m处的一枚羽毛球”的运行指令，则该运行指令中所对应的设备信息则包括附件设备机械手的设备信息以及进行作业的作业信息等。

步骤S30，基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

在一具体实施例中，可以通过无人机和附件设备分别内置的惯导传感器IMU，分别确定对应的机体坐标系和附件设备坐标系，也可以通过单置于无人机或附件设备中的惯导传感器IMU，获取无人机和附件设备对应的机体坐标系和附件设备坐标系。

需要进行具体解释的是，上述惯导传感器IMU是可以在短时间内给出置信度较高的相对位移和航向角变化的传感器，包括陀螺仪、重力感应器、磁力计、GPS以及视觉激光V2X。具体地，上述陀螺仪获得三维角速度，通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角，计算角速度，通过夹角和角速度来判别物体在三维空间的运动状态；重力感应器获得移动加速度，通过测量组件在某个轴向的受力情况来得到结果，表现形式为轴向的加速度大小和方向(ZYX)加速计则主要是测量设备的受力情况，也就是三轴运动情况；磁力计获得绝对方向，通过测试磁场强度和方向，定位设备的方位；GPS则获取精准的绝对航向角和位置；视觉激光V2X也可以充当协助惯导仪器。

进一步地，上述获取无人机和附件设备对应的机体坐标系和附件设备坐标系的方式可以是分别根据内置的惯导传感器IMU建立一个ZYX机体坐标系和ZYX附件设备坐标系，在世界坐标系中分别以ZYX机体坐标系和ZYX附件设备坐标系为参考系，实现世界坐标系与ZYX机体坐标系和ZYX附件设备坐标系的互相转换，确定对应的机体坐标系以及附件设备坐标系。

步骤S40，基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

在一具体实施例中，基于上述获取到的设备信息，并根据确定好的机体坐标系以及附件设备坐标系，构建机体坐标系以及附件设备坐标系之间的坐标系对应关系。具体地，上述设备信息包括进行作业的运行设备、运行内容、运行轨迹以及实施位置等，根据运行设备可以确定运行设备进行作业的工作姿态、工作朝向、工作角度等，并且进一步地确定其对应关系，其中，上述根据不同运行设备、运行内容、运行轨迹和实施位置得出的坐标系对应关系，可以是通过开发者预先设置存储，也可以是根据特定算法计算得出并设置好其对应关系，还可以是处理器根据实时的作业内容计算得出。

步骤S50，基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

在一具体实施例中，根据获取到的实时坐标系对应关系，对不满足于该坐标系对应关系的第一机器无人机和附件设备的位置关系、朝向角度进行调整，直到上述附件设备的朝向角度与第一机器无人机的朝向角度一致，达到第一机器视角追随的目的。具体地，在获取到实时坐标系对应关系之后，可以确定无人机搭载的上述附件设备具体调整参数，将该调整参数输入预先设置的动态调整算法，完成对附件设备的动态调整。

参照图3，图3为本实施例多机位第一机器视角追随方法中以无人机机体为基坐标系的无人机作业系统，本实施例多机位第一机器视角追随方法提供一种无人机系统，该系统包括主机机体上接入的附件设备和内置设备，通过有线或是无线方式接入的显示设备，无人机系统能够自动识别附件设备的设备信息，包括朝向、角度等，在开启第一视角追踪FVT之后，建立附件设备坐标系与无人机机体坐标系的对应关系，再以无人机机体为基坐标运动，附件设备视角根据坐标系对应的关系自动调整，保持附件设备始终为第一人称视角。另外，在接入显示设备之后，可以通过手动设置附件设备的朝向和角度，并通过有线或无线方式将手动设置的附件设备信息传输至主机机体进行操作。

本实施例多机位第一机器视角追随方法通过第一视角追踪FVT实现无人机上搭载的一件或多件附件设备，以第一机器视角为第一人称视角进行视角追随，基于第一视角追踪FVT的运行指令，获取搭载在无人机上的附件设备的设备信息，通过内置IMU分别确定机体坐标系和附件设备坐标系，进而确定两坐标系的坐标系对应关系，基于预先设置的动态调整算法，根据该坐标系对应关系对附件设备的工作姿态进行动态调整，确定附件设备第一机器的视角一致。本发明通过自动对附件设备的朝向角度进行动态调整，不仅可以做到减少、甚至避免未知的安全隐患，也降低了使用无人机进行作业的工作成本，提高了无人机作业的安全性，使无人机完成各种作业更加高效。

进一步地，基于本发明多机位第一机器视角追随方法第一实施例，提出本发明多机位第一机器视角追随方法第二实施例。

多机位第一机器视角追随方法的第二实施例与多机位第一机器视角追随方法的第一实施例的区别在于，本实施例是对步骤S30，基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系的细化，参照图4，具体包括：

步骤S31，通过所述无人机内置的惯导传感器IMU，确定所述无人机在世界坐标系中的机体坐标信息；

步骤S32，将所述机体坐标信息作为基坐标系，建立所述无人机对应的机体坐标系；

在一具体实施例中，通过单置于无人机中的惯导传感器IMU，获取无人机对应的机体坐标系，具体地，通过惯导传感器IMU获取机体在世界坐标系中的坐标信息，并通过机体在世界坐标系中的坐标信息与机体的ZYX坐标轴实现转换，构建机体坐标系。

步骤S33，通过所述附件设备内置的IMU，确定所述附件设备在世界坐标系中的的附件设备坐标信息；

步骤S34，将所述附件设备坐标信息作为基坐标系，确定所述附件设备对应的附件设备坐标系。

在一具体实施例中，通过单置于附件设备中的惯导传感器IMU，获取附件设备对应的附件设备坐标系，具体地，通过惯导传感器IMU获取附件设备在世界坐标系中的坐标信息，并通过附件设备在世界坐标系中的坐标信息与附件设备的ZYX坐标轴实现转换，构建辅机设备坐标系。

在一些具体实施例中，通过内置的惯导传感器IMU，分别确定机体坐标系和附件设备坐标系，上述通过惯导传感器IMU确定对应的坐标系，可以是通过无人机和附件设备分别内置的惯导传感器IMU，分别确定对应的机体坐标系和附件设备坐标系；也可以是通过单置于无人机或附件设备中的惯导传感器IMU，获取无人机和附件设备对应的机体坐标系和附件设备坐标系。

具体地，通过惯导传感器IMU中的陀螺仪、重力感应器、磁力计、GPS以及视觉激光V2X，分别获取无人机和附件设备在世界坐标系中的机体坐标信息和附件设备坐标信息，机体坐标信息和附件设备坐标信息的存在于三维立体ZYX轴的坐标轴标中。根据无人机和附件设备在世界坐标系中的机体坐标信息和附件设备坐标信息分别与以机体坐标信息为基坐标的机体坐标系和以附件设备坐标信息为基坐标的附件设备坐标系进行转换，分别获得对应的机体坐标系和附件设备坐标系。

在本实施例中，通过惯导传感器IMU，分别确定机体坐标系和附件设备坐标系，可以在短时间内给出置信度较高的相对位移和航向角变化，提升了本方案实施例在应用过程中的测量精度和实用性，提高附件设备调整数据的准确性，进而提高无人机在进行作业时的安全性。

进一步地，基于本发明多机位第一机器视角追随方法第一、第二实施例，提出本发明多机位第一机器视角追随方法第三实施例。

多机位第一机器视角追随方法的第三实施例与多机位第一机器视角追随方法的第一、第二实施例的区别在于，本实施例是对步骤S40，基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系的细化，参照图5，具体包括：

步骤S41，基于所述附件设备的所述设备信息，确定所述附件设备的设备类型，并确定所述设备类型对应的附件设备进行作业的设备部件；

步骤S42，分别获取所述设备部件在所述机体坐标系与所述附件设备坐标系中的坐标系信息，并根据所述坐标系信息确定所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系。

在一具体实施例中，基于上述获取到的设备信息，并根据确定好的机体坐标系以及附件设备坐标系，构建机体坐标系以及附件设备坐标系之间的坐标系对应关系。具体地，上述设备信息包括进行作业的运行设备、运行内容、运行轨迹以及实施位置等，根据运行设备可以确定运行设备进行作业的工作姿态、工作朝向、工作角度等，并且进一步地确定其对应关系。

本实施例多机位第一机器视角追随方法通过获取无人机的机体坐标系与附件设备的附件设备坐标系的对应关系进行无人机作业，提高无人机在进行作业时设备调整数据的准确性与可靠性。

进一步地，基于本发明多机位第一机器视角追随方法第一、第二、第三实施例，提出本发明多机位第一机器视角追随方法的第四实施例。

多机位第一机器视角追随方法的第四实施例与多机位第一机器视角追随方法的第一、第二、第三实施例的区别在于，本实施例是对步骤S50，基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度的细化，参照图6，具体包括：

步骤S51，根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态；

参照图7，步骤S51具体包括：

步骤S511，获取所述无人机的运动轨迹；

步骤S512，基于所述坐标系对应关系与附件设备的设备信息，根据所述无人机的运动轨迹，确定所述附件设备的运动朝向和所述运动朝向的角度；

步骤S513，基于所述运动朝向和所述运动朝向的角度，确定所述附件设备的运动姿态。

在一具体实施例中，根据附件设备的设备信息确定进行作业的运行设备、运行内容、运行轨迹以及实施位置等内容，根据无人机完成作业的动作姿态。

步骤S52，基于所述附件设备的运动姿态，确定所述附件设备进行动态调整的调整参数；

步骤S53，基于预先设置的动态调整算法，根据所述调整参数对所述附件设备进行动态调整，确定所述附件设备与所述无人机一致的朝向角度。

在一具体实施例中，根据获取到的实时坐标系对应关系，对不满足于该坐标系对应关系的第一机器无人机和附件设备的位置关系、朝向角度进行调整，直到上述附件设备的朝向角度与第一机器无人机的朝向角度一致，达到第一机器视角追随的目的。具体地，在获取到实时坐标系对应关系之后，可以确定无人机搭载的上述附件设备具体调整参数，将该调整参数输入预先设置的动态调整算法，完成对附件设备的动态调整，进而确定所述附件设备与所述无人机一致的朝向角度。

进一步地，上述确定所述附件设备与所述无人机一致的朝向角度的目的是为了让用户在使用第一视角追踪FVT的过程中，始终都能获取无人机的第一人称视角画面，并且根据该第一人称视角画面以无人机的第一人称视角为参考，轻松识别无人机的运动方向，并基于该运动方向直观地反映无人机所在的实时场景情况，更好地基于无人机的第一视角完成无人机作业。

本实施例多机位第一机器视角追随方法通过控制算法控制附件设备相对无人机进行第一人称视角控制以更加安全的方式避免各种碰撞和意外发生，结果就是以更低成本、更加高效的使用无人机来完成各种作业，同时极大简化操控者的操控行为，无需调整操控摇杆行为。

进一步地，基于本发明多机位第一机器视角追随方法第一、第二、第三、第四实施例，提出本发明多机位第一机器视角追随方法的第五实施例。

多机位第一机器视角追随方法的第五实施例与多机位第一机器视角追随方法的第一、第二、第三、第四实施例的区别在于，本实施例是在步骤S50之后，所述多机位第一机器视角追随方法还包括在显示设备上显示第一机器视角画面的方案。

步骤S500，显示第一机器视角画面。

参照图8，图8为本实施例多机位第一机器视角追随方法步骤S500的具体步骤，步骤S200是在确定附件设备的机器视角与第一机器的视角一致后，还需要将获取到的第一机器视角追随的视角画面传输至与第一视角追踪FVT连接的显示设备上进行显示。

参照图9，步骤S500具体包括：

步骤S501，基于所述附件设备相对与所述无人机的朝向角度，确定所述附件设备获取的第一机器视角画面；

步骤S502，将所述第一机器视角画面传输至与所述第一视角追踪FVT连接的显示设备上进行显示。

在一具体实施例中，无人机在自动识别接入的附件设备的位置朝向后，通过该控制方法及系统，会根据该摄像机位的位置朝向通过自适应控制方法选择相应的模式对无人机进行姿态运动；显示设备通过有线或无线或中继设备与无人机进行通信，并提供软件交互，使用者可以通过显示设备获取第一机器视角画面，使得使用者能够以附件设备的位置方向来对无人机进行控制并直观的看到对应的实时图像。

本实施例多机位第一机器视角追随方法通过将摄像头的第一人称视角实时画面通过有线或无线传输给无人机的显示设备，从而达到使用者可以很轻松且直观的感受并控制无人机的运行方向，以更加安全的方式避免各种碰撞和意外发生，用户可以通过显示设备直观地看到对应的实时图像，大大提高了无人机进行作业的效率。

进一步地，基于本发明多机位第一机器视角追随方法第一、第二、第三、第四、第五实施例，提出本发明多机位第一机器视角追随方法的第六实施例。

多机位第一机器视角追随方法的第六实施例与多机位第一机器视角追随方法的第一、第二、第三、第四、第五实施例的区别在于，本实施例是在步骤S502之后，所述多机位第一机器视角追随方法还包括在通过控制端设备提供交互来设置无人机上附件设备的朝向角度的方案。

步骤S5020，通过控制端设备提供交互来设置无人机上附件设备的朝向角度。

参照图10，图10是本实施例多机位第一机器视角追随方法步骤S5020的具体步骤，步骤S5020是在获取到第一机器视角画面之后，通过控制端设备提供交互来设置无人机上附件设备的朝向角度，即用户通过交互设备主动操作附件设备的朝向角度。

参照图11，步骤S5020具体包括：

步骤S5021，接收与所述无人机实现通信连接的控制设备的控制信息；

步骤S5022，基于所述预先设置的控制算法，根据所述控制信息对所述无人机搭载的附件设备进行调整，确定所述附件设备进行作业的朝向角度。

在一具体实施例中，通过软件交互让使用者主动选择对应附件所安装的位置，进而通过无人机的控制设备依据附件的位置动态选择相应的控制算法控制无人机的运动，如果搭载摄像头，还可以将摄像头的第一人称视角实时画面通过有线或无线传输给无人机的显示设备。

具体地，多机位第一人称视角控制方法是通过无人机的控制设备根据无人机上搭载的附件，诸如摄像头、声纳、机械臂等设备的安装位置方向来使用相应的动态算法来控制无人机的姿态运动，识别搭载在无人机上的附件设备的位置方向，可以通过无人机自动识别，也可以通过控制端，比如，手机或相关遥控器设备，提供交互来设置附件安装的位置方向，来对无人机的姿态运动进行第一人称视角控制，即控制端控制无人机姿态运动的方向与附件设备安装方向的运动轨迹保持一致。

例如，无人机上安装的附件摄像头位置与无人机的尾部朝向一致，通过无人机自动识别或者软件交互的方式开启此附件摄像头的第一人称视角控制功能后，无人机的控制端，比如手机或相关遥控器设备，控制无人机进行前方平移运动时，实际上经过控制设备中存储的动态算法使得无人机朝附件摄像头朝向的方向移动，也就是无人机朝尾部后方做平移运动，这样通过摄像头传输给显示设备的图像在运动方向上也是以第一人称视角的方向运动，如果附件摄像头安装在无人机的其他位置方向，那么同理开启附件设备的第一人称视角控制后，该控制方法及系统一样会控制无人机朝附件设备安装位置的朝向去进行姿态运动。

参照图12，本实施例多机位第一机器视角追随方法提供一种无人机系统，该系统包括主机机体上接入的附件设备和内置设备，通过有线或是无线方式接入的显示设备，无人机系统能够自动识别附件设备的设备信息，包括朝向、角度等，在开启第一视角追踪FVT之后，用户通过交互设备正常操控无人机，无人机以当前附件设备朝向为基坐标系运动。另外，在接入显示设备之后，可以通过手动设置附件设备的朝向和角度，并通过有线或无线方式将手动设置的附件设备信息传输至主机机体进行操作，具体如下：

无人机自动识别多个机位的设备信息：该控制方法及系统将自动识别接入的每个摄像机位(光学或声学)所有的信息，包括该摄像机位信息以及其在无人机上的位置朝向；

无人机自动开启每个摄像机位(光学或声学)第一人称视角控制：无人机在自动识别接入的附件设备的位置朝向后，通过该控制方法及系统，会根据该摄像机位的位置朝向通过自适应控制方法选择相应的模式对无人机进行姿态运动；

软件交互设置摄像机位(光学或声学)位置方向：显示设备通过有线或无线或中继设备与无人机进行通信，并提供软件交互，使用者可以手动指定无人机的附件设备所安装的位置方向；

软件交互手动开启该摄像机位(光学或声学)第一人称视角控制：不管是无人机自动识别附件设备的位置方向还是软件交互手动设置附件设备的位置方向，都可以通过软件交互手动开启附件设备的第一人称视角控制，承载软件的设备会通过与无人机的线路进行通信，使得无人机依据附件设备的位置方向动态选择相应的算法进行附件设备的第一人称视角控制无人机的姿态运动，如果有实时图像信息，还可以通过连接的线路传输给显示设备，使得使用者能够以附件设备的位置方向来对无人机进行控制并直观的看到对应的实时图像，大大提高作业效率。

本实施例多机位第一机器视角追随方法实现了任意附件设备的任意安装位置方向的第一人称视角控制技术，不仅可以减少甚至避免未知的安全隐患，也会使得用无人机进行作业时，更加安全、更低成本，更加高效。

本发明还提供一种多机位第一机器视角追随装置。参照图13，本发明的多机位第一机器视角追随装置包括：

获取模块10，用于获取第一视角追踪FVT的运行指令；

识别模块20，用于根据所述运行指令，识别无人机搭载的附件设备的设备信息；

确定模块30，用于基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

构建模块40，用于基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

调整模块50，用于基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

此外，为实现上述目的，本发明还提供一种多机位第一机器视角追随系统，所述多机位第一机器视角追随系统为第一视角追踪FVT，所述多机位第一机器视角追随系统上包括了多机位第一机器视角追随设备以及多机位第一机器视角追随程序，所述多机位第一机器视角追随程序被处理器执行时实现如上所述的多机位第一机器视角追随方法的步骤。

在本发明多机位第一机器视角追随设备和系统的实施例中，包含了上述多机位第一机器视角追随方法各实施例的全部技术特征，说明和解释内容与上述多机位第一机器视角追随方法各实施例基本相同，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多机位第一机器视角追随方法，其特征在于，所述多机位第一机器视角追随方法包括如下步骤：

获取第一视角追踪FVT的运行指令；

根据所述运行指令，识别无人机搭载的附件设备的设备信息；

基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

2.如权利要求1所述的多机位第一机器视角追随方法，其特征在于，所述基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系的步骤包括：

通过所述无人机内置的惯导传感器IMU，确定所述无人机在世界坐标系中的机体坐标信息；

将所述机体坐标信息作为基坐标系，建立所述无人机对应的机体坐标系；

通过所述附件设备内置的IMU，确定所述附件设备在世界坐标系中的的附件设备坐标信息；

将所述附件设备坐标信息作为基坐标系，确定所述附件设备对应的附件设备坐标系。

3.如权利要求1所述的多机位第一机器视角追随方法，其特征在于，所述基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系的步骤包括：

基于所述附件设备的所述设备信息，确定所述附件设备的设备类型，并确定所述设备类型对应的附件设备进行作业的设备部件；

分别获取所述设备部件在所述机体坐标系与所述附件设备坐标系中的坐标系信息，并根据所述坐标系信息确定所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系。

4.如权利要求1所述的多机位第一机器视角追随方法，其特征在于，所述基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度的步骤包括：

根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态；

基于所述附件设备的运动姿态，确定所述附件设备进行动态调整的调整参数；

基于预先设置的动态调整算法，根据所述调整参数对所述附件设备进行动态调整，确定所述附件设备与所述无人机一致的朝向角度。

5.如权利要求4所述的多机位第一机器视角追随方法，其特征在于，所述根据所述坐标系对应关系与所述附件设备的设备信息，确定所述附件设备能实现与所述无人机朝向角度一致的运动姿态的步骤包括：

获取所述无人机的运动轨迹；

基于所述坐标系对应关系与附件设备的设备信息，根据所述无人机的运动轨迹，确定所述附件设备的运动朝向和所述运动朝向的角度；

基于所述运动朝向和所述运动朝向的角度，确定所述附件设备的运动姿态。

6.如权利要求1所述的多机位第一机器视角追随方法，其特征在于，在所述基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度的步骤之后，所述多机位第一机器视角追随方法还包括：

基于所述附件设备相对与所述无人机的朝向角度，确定所述附件设备获取的第一机器视角画面；

将所述第一机器视角画面传输至与所述第一视角追踪FVT连接的显示设备上进行显示。

7.如权利要求6所述的多机位第一机器视角追随方法，其特征在于，在所述将所述第一机器视角画面传输至与所述第一视角追踪FVT连接的显示设备上进行显示的步骤之后，所述多机位第一机器视角追随方法还包括：

接收与所述无人机通信连接的控制设备的控制信息；

基于所述预先设置的控制算法，根据所述控制信息对所述无人机搭载的附件设备进行调整，确定所述附件设备进行作业的朝向角度。

8.一种多机位第一机器视角追随装置，其特征在于，所述多机位第一机器视角追随装置包括：

获取模块，用于获取第一视角追踪FVT的运行指令；

识别模块，用于根据所述运行指令，识别无人机搭载的附件设备的设备信息；

确定模块，用于基于内置的惯导传感器IMU，确定所述无人机对应的机体坐标系以及所述无人机搭载的所述附件设备对应的附件设备坐标系；

构建模块，用于基于所述设备信息，根据所述机体坐标系与所述附件设备坐标系构建所述机体坐标系与所述附件设备坐标系之间的坐标系对应关系；

调整模块，用于基于预先设置的动态调整算法，根据所述坐标系对应关系，对所述附件设备进行动态调整，确定所述附件设备相对于所述无人机的朝向角度。

9.一种多机位第一机器视角追随设备，其特征在于，所述多机位第一机器视角追随设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多机位第一机器视角追随程序，所述多机位第一机器视角追随程序被所述处理器执行时实现如权利要求1至7中任一项所述的多机位第一机器视角追随方法的步骤。

10.一种多机位第一机器视角追随系统，所述多机位第一机器视角追随系统为第一视角追踪FVT，其特征在于，所述多机位第一机器视角追随系统上包括了多机位第一机器视角追随设备以及多机位第一机器视角追随装置，所述多机位第一机器视角追随系统实现如权利要求1至7中任一项所述的多机位第一机器视角追随方法的步骤。

Images