CN102628690A - 两架无人机任务协同可视导航方法 - Google Patents

Abstract

本发明提出一种两架无人机任务协同可视导航方法。该方法包括以下步骤：确定第一无人机和第二无人机之间的交互通信方式，其中，第一无人机用于进行视觉定位，第二无人机用于进行环境识别路径规划；融合处理第一无人机产生的视觉定位信息和第二无人机产生的路径信息以产生各个时刻第一和第二无人机的各自的飞行控制指令信息；通过交互通信方式将飞行控制指令信息分别传递给相应第一和第二无人机，以进行可视导航安全飞行。本发明可以有效控制无人机协作可视导航中实时视频、图像传输的信息传输量，匹配性好，可靠性高，是实现无人机集群协作可视导航以避险避障等的有效技术。

Description

两架无人机任务协同可视导航方法

技术领域

本发明涉及无人机可视导航技术领域，特别涉及一种两架无人机任务协同可视导航方法。

背景技术

无人机的重要应用趋势是集群化，即由多个无人机所组成的群体共同执行任务，在侦察/监视、通信中继、电子对抗、灾害防治、应急搜救等领域有着广泛需求。无人机集群的优点是：具有更大的控制范围、相互补足、任务分担等。可视导航中存在需要传感设备多，视觉信息数据量大，数据融合处理实时性要求高等问题。多架无人机协作可视导航成为一个重要的发展趋势，从而多架无人机之间的任务协同成为协作可视导航中迫切需要解决的关键问题之一。

近年来，无人机可视导航相关方法蓬勃发展，尤其表现在对无人机状态控制进行避险、避障等的导航飞行和执行监视搜索等任务方面。但大量文献研究多是针对无人机单机的，且仅适用于某些简单环境结构条件，精确度有待提高。在复杂未知环境或执行复杂任务时还存在的问题是除了所需视觉传感设备一般较多较重，消耗能量过多外，计算机视觉的算法也相当复杂，容易在无人机的制导与控制环节产生瓶颈。在基于视觉的多架无人机协作导航方面，研究较多的是SLAM(Simultaneous Localization And Mapping，及时定位与地图构建)技术，该技术中无人机协作主要是融合每架无人机创建的不同范围的地图，每架无人机均需通过自身机载视觉传感设备获取视觉定位和导航信息独立规划，仍存在所需视觉传感设备较多较重，信息处理量大，消耗能量过多等问题。

目前多架无人机任务分配协作的相关研究主要集中在空间和时间两个方面，即一方面是针对分布式的感知任务进行配置协作，另一方面是针对不同时间段需要完成的任务进行配置协作。而多架无人机协作可视导航中，为了解决视觉传感设备一般较多较重，消耗能量过多等问题，需要无人机在空间和时间上的同时协作，任务协同性要求高。

发明内容

本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种匹配性好、可靠性高的两架无人机任务协同可视导航方法。

为了实现上述目的，根据本发明的两架无人机任务协同可视导航方法包括以下步骤：A.确定第一无人机和第二无人机之间的交互通信方式，其中，第一无人机用于进行视觉定位，第二无人机用于进行环境识别路径规划；B.融合处理第一无人机产生的视觉定位信息和第二无人机产生的路径信息以产生各个时刻第一和第二无人机的各自的飞行控制指令信息；C.通过交互通信方式将飞行控制指令信息分别传递给相应第一和第二无人机，以进行可视导航安全飞行。

根据本发明的两架无人机任务协同可视导航方法，通过任务分工将视觉定位和环境识别路径规划分配给两架无人机完成，同时无人机交互通信时将可视导航信息所对应的发生时间作为一个重要的参数包含在数据发送格式中以利于无人机状态匹配和预测，从而达到空间和时间上的两架无人机可视导航任务协同。根据环境复杂度和通信状况，本发明可以有效控制无人机协作可视导航中实时视频、图像传输的信息传输量，匹配性好，可靠性高，是实现无人机集群协作可视导航以避险避障等的有效技术。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，步骤A进一步包括：A1.确定无人机之间的交互通信方式为直接交互模式或第三方协助交互模式；A2.对不同航行环境的设置多档环境复杂系数；A3.根据多档环境复杂系数，对应地确定多种数据传输包的结构，以便于在不同环境下采取多尺度的交互通信方式。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，步骤A3中数据传输包的结构包括无人机ID、时间标识、数据区标识、数据区大小和数据区。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，步骤A进一步包括：A4.第一无人机根据其相机传感设备拍摄场景选取临时参考点对第一和第二无人机进行视觉定位，以产生第一和第二无人机在临时参考坐标系中的位置，并航行一段距离后，更新临时参考点及更新视觉定位信息；A5.第二无人机根据其相机传感设备拍摄场景进行特征提取、识别航行环境中的障碍物，并进行路径规划避障。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，第一无人机和第二无人机之间具有一定相对位置，并且在航行过程中，第一无人机和第二无人机的相对位置和任务分工可相互替换。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，步骤B中，融合处理的过程由其中一架无人机完成或第三方协助完成。

在本发明的一个实施例的两架无人机任务协同可视导航方法中，进一步包括步骤：D.在航行过程中存储环境主要特征信息和航行路线信息，并在学习到新的图形或图像时更新图形图像模型库。

根据本发明的两架无人机任务协同可视导航方法，通过任务分工将视觉定位和环境识别路径规划分配给两架无人机完成，同时无人机交互通信时将可视导航信息所对应的发生时间作为一个重要的参数包含在数据发送格式中以利于无人机状态匹配和预测，从而达到空间和时间上的两架无人机可视导航任务协同。根据环境复杂度和通信状况，本发明可以有效控制无人机协作可视导航中实时视频、图像传输的信息传输量，匹配性好，可靠性高，是实现无人机集群协作可视导航以避险避障等的有效技术。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1为本发明实施例的两架无人机任务协同可视导航方法的流程图；

图2a至图2c为本发明实施例的两架无人机任务协同可视导航方法的信息交互示意图；

图3为本发明实施例的两架无人机任务协同可视导航方法的数据传输包结构示意图；

图4为本发明实施例的两架无人机任务协同可视导航方法的信息处理框架设计示意图；以及

图5为本发明实施例的两架无人机任务协同可视导航方法的数据时间匹配流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考附图描述根据本发明实施例的两架无人机任务协同可视导航方法。

图1为本发明实施例的两架无人机任务协同可视导航方法的流程图。

如图1所示，根据本发明实施例的两架无人机任务协同可视导航方法包括下述步骤：

步骤S101，确定第一无人机和第二无人机之间的交互通信方式，其中，第一无人机用于进行视觉定位，第二无人机用于进行环境识别路径规划。

具体地，在本发明的一个实施例中，步骤S101还包括以下几步：

首先，确定无人机之间的交互通信方式为直接交互模式或第三方协助交互模式。

根据具体环境和无人机状况，两架无人机可直接进行信息交互，即双方均连续监听，信息融合过程在该两架无人机上的机载处理机上完成；也可以由第三方协助进行信息处理和通信，如地面站，三方均连续监听，相应两架无人机获取视觉信息并发送到地面站，地面站对该视觉信息进行融合处理生成所需的可视导航信息，再由地面站将可视导航信息分别传递给相应两架无人机。例如，图2a至图2c为本发明实施例的两架无人机任务协同可视导航方法的信息交互示意图。图2a表示两架无人机直接相互通信；图2b表示两架无人机通过第三方相互通信；图2c表示两架无人机既可通过第三方相互通信也可直接通信，在这种情况下，可使大量的信息处理工作由第三方完成，然后第三方将相关有效信息传递给两架无人机，而两架无人机之间可传递少量优先级较高的数据信息，如惯导数据等，该方法能够减少两架无人机之间信息传输的时延，同时也分担了一部分通信量。

其次，对不同航行环境的设置多档环境复杂系数。

环境复杂系数是一个重要的参考数值。在环境复杂系数高的地方，应提高无人机协作可视导航中实时视频、图像传输的信息传输量；在环境复杂系数低的地方，在保证无人机安全飞行的情况下，可相对减少无人机协作可视导航中实时视频、图像传输的信息传输量。

再次，根据所述多档环境复杂系数，对应地确定多种数据传输包的结构，以便于在不同环境下采取多尺度的交互通信方式。

为更有效率地进行导航，需要为多档环境复杂系数对应匹配地确定多种尺度的数据传输包的结构，例如，在环境复杂系数较高时该数据传输包的容量较大内容较丰富，在环境复杂系数较低时该数据传输包的容量较小内容较简洁。在数据传输包的结构中包含多种信息，其中可视信息所对应的发生时间作为一个重要参数以利于无人机状态匹配和预测，这一点将在下文中结合附图5进行具体阐述。在本发明的一个实施例中，如图3所示，数据传输包的结构包括无人机ID、时间标识、数据区标识、数据区大小和数据区。具体地，图3中的无人机ID的定义为：当发送方为无人机时，无人机ID表示发送方无人机ID；当发送方为第三方时，无人机ID为接收方无人机ID。图3中的时间标识表示可视导航信息(如：图像数据视觉信息或惯导数据信息)所对应的发生时间，它作为一个重要的参数包含在数据发送格式中以利于无人机状态匹配和预测。图3中的数据区标识表示该数据传输包所传输的数据类型，例如图像数据、惯导数据、定位信息、路径信息或者飞行控制指令等，以便于无人机或第三方对数据的区分和匹配。图3中的数据区大小表示该数据传输包所传输的数据量的多少，以便于接收和存储。图3中的数据区表示该数据传输包所传输的具体数据。

以及，根据环境及两架无人机状况进行任务分工，第一无人机进行视觉定位，第二无人机进行环境识别路径规划。第一和第二无人机分别携带相关相机传感设备，如单目相机、双目相机等。在利于协作可视导航的前提下，第一和第二无人机具有一定的相对位置，在其飞行过程中相对位置和任务分工可相互交替互换。具体地，第一无人机根据其相机传感设备拍摄场景选取临时参考点对此两架无人机进行视觉定位，产生两架无人机的相对位置信息及两架无人机在临时参考坐标系中的位置信息，飞行一段距离后，更新临时参考点，更新视觉定位信息；第二无人机根据其相机传感设备拍摄场景进行特征提取与环境识别以路径规划可靠避障，主要识别飞行环境中妨碍飞行的障碍物的形状，大小，运动状态等特征信息或者获得有效飞行路径相对尺寸范围等进行路径矫正；在利于协作可视导航的前提下，两架无人机具有一定的相对位置(如一前一后)，通常后面的无人机为第一无人机用于进行视觉定位，通常前面的无人机为第二无人机用于进行环境识别路径规划，需要注意的是，飞行过程中相对位置和任务分工可相互交替互换。

步骤S102，根据第一无人机产生的视觉定位信息和第二无人机产生的路径信息，通过步骤S101中确定的交互通信方式进行通讯，对视觉定位信息和路径信息进行融合处理，产生各个时刻两架无人机的各自的飞行控制指令信息。该融合处理的过程可以由第一无人机和/或第二无人机完成，也可借助第三方完成。

步骤S103，通过步骤S101中确定的交互通信方式，将飞行控制指令信息分别传递给第一无人机和第二无人机，以进行可视导航安全飞行。

在本发明的一个优选实施例中，还进一步包括：

步骤S104，存储识别的环境主要特征信息和飞行路线信息，学习到新的图形或图像时更新图形图像模型库。

根据上述的两架无人机任务协同可视导航方法，通过任务分工将视觉定位和环境识别路径规划分配给两架无人机完成，同时无人机交互通信时将可视导航信息所对应的发生时间作为一个重要的参数包含在数据发送格式中以利于无人机状态匹配和预测，从而达到空间和时间上的两架无人机可视导航任务协同。根据环境复杂度和通信状况，本发明可以有效控制无人机协作可视导航中实时视频、图像传输的信息传输量，匹配性好，可靠性高，是实现无人机集群协作可视导航以避险避障等的有效技术。

下面结合图4与图5具体描述本发明实施例的两架无人机任务协同可视导航方法。

图4为本发明实施例的两架无人机任务协同可视导航方法的信息处理框架设计示意图。图4中融合处理A、融合处理B和融合处理C可由第一无人机和/或第二无人机完成，也可由第三方完成。图4中两架无人机的相对位置和任务分工是：第一无人机相对位置在后面，进行视觉定位；第二无人机相对位置在前面，进行环境识别路径规划。具体过程如下：第一无人机对其相机传感设备获得的图像数据和其惯导系统获得的惯导数据进行接收处理；第二无人机对其相机传感设备获得的图像数据和其惯导系统获得的惯导数据进行接收处理；第一无人机的图像数据，惯导数据和第二无人机的惯导数据相融合处理可获得两架无人机的视觉定位信息，在此融合处理过程中在第一无人机的视觉信息图像数据较充分的情况下，第一无人机的图像数据和惯导数据相融合处理即可获得两架无人机的视觉定位信息，则第二无人机的惯导数据等可不用；第二无人机的图像数据和惯导数据相融合处理可对飞行环境进行识别，如获得障碍物尺寸、大小、相对位置等信息或者获得有效飞行路径相对尺寸范围等；获得的视觉定位信息和飞行环境识别信息相融合处理可进行路径规划获得第一无人机和第二无人机的飞行控制指令，从而将该指令信息传递给相应无人机进行可视导航安全飞行。其中必要的情况下，如第一无人机找不到临时参考点的情况下，飞行环境识别信息也可加入融合处理A帮助获得无人机定位信息如图4中虚线所示。飞行过程中第一无人机和第二无人机的相对位置和任务分工可相互交替互换，如若相对位置为后面的无人机进行视觉定位；相对位置为前面的无人机进行环境识别路径规划，则飞行过程中当第一无人机和第二无人机的相对位置发生变化，第二无人机在第一无人机的后面时，第二无人机进行视觉定位，第一无人机进行环境识别路径规划。

图5为本发明实施例的两架无人机任务协同可视导航方法的数据时间匹配流程图。本发明中可选择一种数据类型的数据传输包的时间标识为基准，如图5选择定位信息的时间标识为基准对其他数据传输包进行判断。飞行过程中定位信息周期性地进行更新，其他数据传输包根据无人机状态和环境复杂度，可采取多尺度的传输策略，本实施例中所需数据传输包在飞行过程中根据相应策略不断更新。可视导航信息处理过程中，检测所需数据传输包时间标识t_d是否与定位信息时间标识t_p一致，即是否满足|t_d-t_p|≤ε，其中ε为系统允许的时间延迟。若一致，则认为时间匹配，利用该数据传输包数据执行下一步所需执行的程序。若不一致，则判断该数据传输包时间标识是否早于定位信息时间标识。若不早于，则转去更新定位信息及其相应的时间标识，然后再做判断。若早于，在没有获得更新的所需数据传输包的情况下，则基于无人机与识别环境的历史相对状态对该数据类型的数据进行预测得到与定位信息时间一致的数据，利用该预测数据执行下一步所需执行的程序。

本发明还提出以下几种两架无人机任务协同可视导航方法：

1、一种两架无人机任务协同可视导航方法，包括上文所述的两架无人机任务协同可视导航方法的特征，其中，除机载视觉传感设备，无人机还可通过其他传感设备获得导航信息，如：GPS，惯性导航系统，速度传感器，雷达高度表等。信息融合包括由机载相机采集的视觉信息获得的定位信息和环境信息与惯导数据等的融合，其中，惯导数据等包括，无人机飞行状态，速度，姿态角，高度信息，电池信息等。

2、一种两架无人机任务协同可视导航方法，包括上文所述的两架无人机任务协同可视导航方法的特征，其中，无人机之间的通信数据或者无人机与第三方之间的通信数据包括机载视觉传感设备采集的视觉信息和无人机通过其他传感设备获得导航信息。

3、一种两架无人机任务协同可视导航方法，包括上文所述的两架无人机任务协同可视导航方法的特征，其中，一架无人机根据其相机传感设备拍摄场景选取临时参考点对此两架无人机进行视觉定位，优先选取其机载相机拍摄场景中绝对位置已知的参考物为临时参考点和具有先验的特征参考物为临时参考点，同时选取新的参考物为备用临时参考点，除绝对位置已知的参考物和具有先验的特征参考物具有最高和较高优先选取外，备用临时参考点以最晚出现在场景中的参考物为次优先选取对象，随着无人机的飞行不断更新，当临时参考点即将从拍摄场景中消失时，备用临时参考点更新为临时参考点，原临时参考点信息存入过时临时参考点数据库以备检索和使用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种两架无人机任务协同可视导航方法，其特征在于，包括如下步骤：

A.确定第一无人机和第二无人机之间的交互通信方式，其中，所述第一无人机用于进行视觉定位，所述第二无人机用于进行环境识别路径规划；

B.融合处理所述第一无人机产生的视觉定位信息和所述第二无人机产生的路径信息以产生各个时刻所述第一和第二无人机的各自的飞行控制指令信息；

C.通过所述交互通信方式将所述飞行控制指令信息分别传递给相应所述第一和第二无人机，以进行可视导航安全飞行。

2.如权利要求1所述的两架无人机任务协同可视导航方法，其特征在于，所述步骤A进一步包括：

A1.确定所述无人机之间的交互通信方式为直接交互模式或第三方协助交互模式；

A2.对不同航行环境的设置多档环境复杂系数；

A3.根据所述多档环境复杂系数，对应地确定多种数据传输包的结构，以便于在不同环境下采取多尺度的所述交互通信方式。

3.如权利要求2所述的两架无人机任务协同可视导航方法，其特征在于，步骤A3中所述数据传输包的结构包括无人机ID、时间标识、数据区标识、数据区大小和数据区。

4.如权利要求1所述的两架无人机任务协同可视导航方法，其特征在于，所述步骤A还包括：

A4.所述第一无人机根据其相机传感设备拍摄场景选取临时参考点对所述第一和第二无人机进行视觉定位，以产生所述第一和第二无人机在临时参考坐标系中的位置，并航行一段距离后，更新所述临时参考点及更新视觉定位信息；

A5.所述第二无人机根据其相机传感设备拍摄场景进行特征提取、识别航行环境中的障碍物，并进行路径规划避障。

5.如权利要求4所述的两架无人机任务协同可视导航方法，其特征在于，其中，所述第一无人机和第二无人机之间具有一定相对位置，并且在航行过程中，所述第一无人机和第二无人机的相对位置和任务分工可相互替换。

6.如权利要求1所述的两架无人机任务协同可视导航方法，其特征在于，所述步骤B中，所述融合处理的过程由其中一架所述无人机完成或第三方协助完成。

7.如权利要求1所述的两架无人机任务协同可视导航方法，其特征在于，进一步包括步骤：

D.在航行过程中存储环境主要特征信息和航行路线信息，并在学习到新的图形或图像时更新图形图像模型库。

Images