CN112818788B - 一种基于无人机集群的分布式卷积神经网络分层匹配方法 - Google Patents

Abstract

本发明公开一种基于无人机集群的分布式卷积神经网络分层匹配方法，应用于面向物联网的无人机网络领域，针对无人机在计算能力有限的情况下，单一无人机使用卷积神经网络对感知到的高清图像进行识别计算需要花费很长时间的问题，本发明将卷积神经网络解耦成不同层，将不同卷积神经网络层交由各个无人机进行协同计算，有效减少单一图片在单架无人机上的处理时间，同时通过深度强化学习算法综合考虑无人机的位置、计算能力，确定各张图片的分布式卷积神经网络与无人机最优匹配方案，使得多张图片在无人机集群内交错流动进行计算处理，有效提升了无人机的计算资源利用率，达到最小化任务完成时间的目标。

Description

一种基于无人机集群的分布式卷积神经网络分层匹配方法

技术领域

本发明属于面向物联网的无人机网络领域，特别涉及一种无人机集群使用卷积神经网络协同计算的图像识别技术。

背景技术

无人机集群作为一种新型技术，被广泛用于民事领域，包括森林火灾监测、地形地貌观测、灾后救援等，这些应用中大量出现需要无人机对摄像头拍摄的图片信息进行识别和处理的情况。为了保证感知视野的开阔，一架感知无人机上携带多个摄像头同时从不同角度完成可疑任务点的拍摄工作，将多张感知图片交由计算无人机进行处理。

当前一种比较准确的图像识别方式是采用卷积神经网络技术来完成图像识别工作。卷积神经网络的处理过程中涉及到大量的计算处理工作，在无人机的计算能力限制下，一架计算无人机在本地完成多张图片的卷积神经网络的计算过程需要很长的时间，因此采用多架计算无人机协同的方式共同完成多张图片卷积神经网络的计算过程。另外，无人机集群执行监测任务要求无人机发现可疑任务点之后，尽快完成可疑任务点的确认和排除，因此要求无人机集群尽快完成感知无人机拍摄的多张图片的计算处理工作。现阶段，无人机网络中许多技术还不能够恰当解决由于无人机计算能力不足，单一计算无人机处理多张图片的卷积神经网络计算过程需要很长时间，如何采用无人机集群来协同完成一架感知无人机一次性拍摄的多张图片的卷积神经网络计算过程以最小化任务完成时间的问题。

发明内容

为解决上述技术问题，本发明采用一种基于无人机集群的分布式卷积神经网络分层匹配方法，通过将一张图片的卷积神经网络解耦成不同层交由多架无人机协同计算形成处理流水线，感知无人机一次性拍摄的多张图片形成的处理流水线相互交错，提高了图像识别计算的效率。

本发明采用的技术方案为：一种基于无人机集群的分布式卷积神经网络分层匹配方法，包括：

A1、感知无人机计算单张图片的处理完成时间，其中包含该单张图片完成对应的整个卷积神经网络所需要的计算时间、传输时间以及等待时间；

A2、针对感知无人机一次拍摄的多张图片，感知无人机以任务完成时间最小为目标，采用深度强化学习算法得到各张图片对应的卷积神经网络的分层匹配策略；

A3、感知无人机根据分层匹配策略，下发图片及对应分层匹配策略到具体的计算无人机；所述计算无人机按照卷积神经网络的层顺序进行先后计算；当某个计算无人机完成计算后，按照卷积神经网络的层顺序将计算结果传输至下一层对应的计算无人机；最后一层对应的计算无人机计算完成后，将结果返回对应的感知无人机；

A4、如果感知无人机不再发现需要识别的位置并不再拍摄图像，则结束，否则感知无人机确定奖励函数，完成本次深度强化学习算法迭代过程，然后转入步骤A2，进入下一轮任务。

针对某一张图片，在卷积神经网络的分层时，按照该卷积神经网络的卷积层数量进行划分，每架匹配到卷积层的计算无人机至少匹配一层卷积层，即匹配到卷积层的计算无人机数量小于或等于该卷积神经网络的卷积层数量；该卷积神经网络的池化层和全连接层放置在匹配有该卷积神经网络卷积层的计算无人机上。

步骤A1所述的感知无人机计算单张图片完成其对应的整个卷积神经网络所需要的计算时间，具体为该图片对应的卷积神经网络被分层划分到多个计算无人机上，这多个计算无人机执行各自匹配的卷积神经网络层的时间之和。

单个计算无人机计算所分配的卷积神经网络层所需要的计算时间根据该计算无人机执行一次所分配的卷积神经网络层所需的CPU运转周期与该计算无人机的CPU频率确定。

根据卷积层的时间复杂度，确定计算无人机执行一次所分配的卷积层所需要的CPU运转周期。

步骤A1所述的感知无人机计算单张图片完成对应的整个卷积神经网络所需要的传输时间，具体为包括：感知无人机将单张图片的原始图片传输至匹配第一层卷积层的计算无人机所需要的传输时延、匹配卷积神经网络某层的计算无人机将输出结果传输到匹配卷积神经网络下一层的计算无人机的传输时延。

步骤A1所述的感知无人机计算单张图片完成其对应的整个卷积神经网络计算过程所需要的等待时间，具体包括：计算无人机上计算某层卷积神经网络需要的计算等待时间、计算无人机完成某层卷积神经网络的计算后，将结果传输出去的传输等待时间。

本发明的有益效果：本发明在无人机计算能力的限制下，综合考虑感知无人机和计算无人机的位置，计算无人机的计算能力，针对每张图片，将卷积神经网络拆解成不同层匹配到多架无人机上，以流水线方式无人机集群协同完成单张图片的处理工作，针对多张图片的卷积神经网络匹配方式相互关联，不同图片的形成的流水线在不同无人机上相互交错，相互影响处理时间的问题，采用深度强化学习算法确定多张图片的分布式卷积神经网络分层匹配策略，使得不同图片的处理流水线相互交错，有效减少无人机集群的整体任务完成时间。

附图说明

图1为本发明的无人机集群智能计算资源协作方法流程示意图；

图2为本发明的感知无人机以最小化任务完成时间建立优化模型的流程示意图；

图3为本发明中感知无人机得到匹配策略和策略下发，计算无人机执行过程系统框图。

具体实施方式

为了便于本领域的普通技术人员理解本发明，首先对本发明中涉及的技术术语做出如下定义：

1、卷积神经网络

卷积神经网络包括三种不同的层，分别是卷积层、池化层和全连接层，其中卷积层主要负责完成对输入数据的特征提取；池化层负责对卷积层输出的特征图像进行特征选择和信息过滤，一般而言每一层卷积层后都会跟随一层池化层(除最后一层卷积层)；全连接层位于卷积神经网络的最后部分，一般跟随在最后一层卷积层之后。

2、无人机集群

由一架感知无人机和N架计算无人机组成，感知无人机携带多个摄像头从不同角度一次性拍摄多张图片，计算无人机负责对感知无人机拍摄的图像进行计算处理。

3、计算时间

具体为某张图片对应的卷积神经网络被分层划分到多个计算无人机上，这多个计算无人机执行各自匹配的卷积神经网络层的时间之和。

4、传输时间：

在单张图片计算过程中，无人机之间相互传输图片的时间。

5、等待时间

每架无人机维护两个队列，一个是计算队列，一个是传输队列(感知无人机只有传输队列)，这里的等待时间包括计算等待时间和传输等待时间；即某图片在计算队列中等待被计算的时间，与计算完成后等待被传输出去的时间。

本发明主要包括两部分内容：第一，针对单一无人机计算能力不足的问题，针对每张图片，将卷积神经网络解耦成不同层交由多架无人机分别计算，单张图片以流水线方式在无人机集群中依照卷积神经网络各层的顺序执行，有效降低了单张图片在单架无人机上的计算时间；第二，针对感知无人机一次性拍摄多张图片的特性，考虑到各张图片神经网络的匹配方式相互关联，相互影响处理时间，通过深度强化学习算法，为一次性拍摄的多张图片确定分布式卷积神经网络匹配策略，使得多张图片在多架无人机上形成不同的处理流水线，不同处理流水线在不同无人机上相互交错，有效降低了处理多张图片所需要的任务完成时间。

如图1所示，为本发明的无人机集群智能计算资源协作方法流程示意图。一种基于无人机集群的分布式卷积神经网络分层匹配，包括以下步骤：

S1、感知无人机确定单张图片的完成时间，其中包含图片完成对应卷积神经网络的所需要的计算时间、传输时间以及等待时间；

S2、感知无人机以最小化任务完成时间为目标，建立优化模型；

S3、感知无人机收集全网计算无人机状态信息；

S4、感知无人机利用深度强化学习算法确定分布式卷积神经网络分层匹配策略，感知无人机下发策略和图片，计算无人机按照策略执行图片的计算过程；

S5、对于每一张图片，匹配最后一层卷积层的计算无人机将完整的图片处理时间告知至感知无人机；

S6、如果感知无人机不再发现需要识别的位置并不再拍摄图像，即所有任务已经全部完成，则结束，否则感知无人机根据每张图片的图片处理时间确定奖励函数，完成本次深度强化学习算法迭代过程，转入S3，进入下一轮任务。

图2为本发明的感知无人机以最小化任务完成时间建立优化模型的流程示意图，其中包含了S1和S2两个过程。

在步骤S1中，感知无人机确定单张图片的完成时间，其中包含图片完成对应卷积神经网络的所需要的计算时间、传输时间以及等待时间，具体包括以下分步骤：

S11、根据不同卷积层的时间复杂度，确定不同层卷积层所需要的CPU运转周期。由于卷积神经网络中池化层和全连接层只占整个卷积神经网络5-10％的计算时间，因此忽略池化层和全连接层所需要的计算时间，并将池化层和全连接层放置在匹配卷积层的无人机上，卷积神经网络的拆解只考虑卷积层的拆解。一共包含L层卷积层，使用序号{1,2,…,L}表示。第l层卷积层的时间复杂度为

确定执行一次第l层卷积神经网络所需的CPU运转周期，表示为

其中c_l-1为第l层卷积层的输入通道数(即为上一层的输出通道数)，也就是上一层的输出通道数，s_l是卷积核的长度，c_l为第l层卷积层的输出通道数，m_l是输出特征图尺寸(正方形)，CPU执行一次计算需要μ个周期，k为常数系数。其中输出特征图长度m_l由输入特征图大小i_l，填充

和步长

共同决定。i₁为感知无人机传输到计算无人机的原始特征图尺寸。

S12、根据卷积神经网络每一层的时间复杂度来计算单张图片所需要的计算时间；

具体的步骤S12包括以下分步骤：

S121、计算对于第k张图片，无人机i执行第l层卷积层所需要的计算时间，表示为

其中，f_i为无人机i的CPU频率，用于表征无人机的计算能力。

S122、计算单张图片所需要的完整计算时间。单张图片所需要的计算时间实际上包括它被划分到多个无人机上执行不同卷积神经网络层的时间，表示为

其中，除了一架感知无人机外，一共包含N架计算无人机，用序号{1,2,…,N}表示。卷积神经网络一共包含L层卷积层，用序号{1,2,…,L}表示。一次感知无人机可以拍摄K张图片，用序号{1,2,…,K}表示。

表示对于图片k无人机i上完成第l层卷积层的计算过程，

表示对于图片k无人机i上不完成第l层卷积层的计算过程。由于一层必须放置在一架无人机上且只能放置在一个无人机上，因此

S13、根据无人机之间的传输速率，来计算单张图片在不同无人机上传播所需要的传输时间；

具体的步骤S13包括以下分步骤：

S131、确定上一层卷积神经网络匹配无人机传输到下一层卷积神经网络匹配无人机的图片尺寸。由于在每一层卷积层之后都先经过尺寸为ε·ε，步长为s的池化层池化处理后再输出到下一层卷积神经网络，输入到下一层卷积神经网络的输入特征图片尺寸为

S132、计算第k张图片，放置第l层卷积层的无人机i将输出特征图片传输到放置第l+1层卷积层的无人机j的传输时延：

其中，

为无人机i和无人机j之间的传输速率。b是每单位输出特征图像所包含的比特数，w为可用带宽，P_i为无人机发送功率，g为信道增益，ξ为路径损失，κ是路径损耗指数，σ²是噪声功率，d为无人机i和无人机j之间的距离。注意，对于当连续的两层卷积神经网络被匹配到同一架无人机时，不需要传输，因此所需要的传输时延为0。

S133、单张图片所需要的传输时间实际上就是单张图片从感知无人机开始，传输到其对应的最后一层卷积神经网络匹配无人机过程中，维持卷积神经网络正常工作的正向传播的时间。对于第k张图片，完整传输时延可以表示为

其中，

表示感知无人机将第k张图片的原始图片传输至匹配第一层卷积层的无人机所需要的时间，c₀为感知无人机把原始图片发送至第一层卷积层匹配无人机的输出通道数。

表示计算无人机之间的传输时间，由于匹配最后一层卷积层的计算无人机不需要再将图片传输至匹配下一层的神经网络的计算无人机，因此匹配最后一层卷积层的计算无人机不含传输时间；

S14、确定单张图片所需要的等待时间，包括计算等待时间和传输等待时间。具体的步骤S14包括以下分步骤：

S141、计算单张图片所需要的计算等待时间。我们用

表示图片k在无人机i上计算第l层卷积神经网络需要的计算等待时间，则对于第k张图片，其完整计算等待时间表示为

S142、计算单张图片所需要的传输等待时间。

表示第k张图片在无人机i上所需要的传输等待时间。则对于第k张图片，其完整传输等待时间表示为

其中，

表示第k张图片在感知无人机上等待前k-1张图片传输至其对应的第一层卷积神经网络匹配无人机所需要的时间。由于在最后一层卷积神经只需要执行计算过程而不需要再被传输至下一层，因此不包含最后一层卷积层匹配无人机上的传输等待时间。

S143、计算第k张图片所需要的总的等待时间，表示为

W_k＝Ω_k+Ψ_k,k＝1,2,…,K

在步骤S2中，感知无人机以最小化任务完成时间为目标，建立优化模型，具体包括：任务完成时间实际上就是最大图片完成时间，以最小化任务完成时间为目标，建立优化模型：

其中，k表示第k张图片，C_k,D_k和W_k分别表示完成第k张图片卷积神经网络所需要的计算时间，传输时间和等待时间，

为二值决策变量，用于决策是否将第k张图片第l层卷积神经网络交由无人机i计算。

在步骤S3中，感知无人机收集全网计算无人机状态信息，具体包括：感知无人机收集全网计算无人机的当前位置(x_i,y_i,h)，计算能力信息。计算能力采用无人机CPU频率f_i来表征。

如图3所示，在无人机集群中，包括一架感知无人机与多架计算无人机，感知无人机得到匹配策略并将策略下发，计算无人机执行计算任务。在步骤S4中，感知无人机确定分布式卷积神经网络匹配策略，计算无人机按照策略执行计算过程，主要包括三个阶段：阶段一，感知无人机确定分布式卷积神经网络匹配策略；阶段二，感知无人机下发控制命令；阶段三，计算无人机执行计算过程。

步骤S4具体包括以下分步骤：

S41、感知无人机采用深度强化学习算法确定分布式卷积神经网络匹配策略，针对当前任务所有图片，将计算对应图片的卷积神经网络的不同层分解到多个无人机上。具体的步骤S41包括以下分步骤：

S411、感知无人机以每架无人机的当前位置(x_i,y_i,h)和计算无人机的CPU频率f_i作为深度强化学习算法的状态集合；

S412、动作集合为分布式卷积神经网络匹配策略，定义为：

其中，

表示对于图片k无人机i上完成第l层卷积层的计算过程，

0表示对于图片k无人机i上不完成第l层卷积层的计算过程。

S413、奖励定义为本次任务的任务完成时间的负值，即为

用于评判分布式卷积神经网络策略的优劣程度，任务完成时间越少，则奖励越高，说明在该状态下选用该分布式卷积神经网络策略越好；

S414、感知无人机根据当前任务的状态，使用深度强化学习算法中的Deep Q-Network(DQN)，确定最大Q值对应的动作，将该动作作为本次任务的分布式卷积神经网络分层匹配策略；

S42、感知无人机下发控制指令，告知每架计算无人机对于每一张图片，应该执行哪一层卷积神经网络和下一层卷积神经网络匹配的无人机；

S43、感知无人机将原始图片传输至其对应的第一层卷积神经网络匹配无人机，对于单张图片，计算无人机按照神经网络各层顺序，在无人机集群中按照流水线方式依次执行对应图片的卷积神经网络计算过程，不同图片的流水线在不同无人机上相互交错。

在步骤S5中，对于每一张图片，匹配最后一层卷积层的计算无人机将完整的图片处理时间告知至感知无人机。

步骤S5中的完整的图片处理时间用于步骤S6中感知无人机确定奖励函数，感知无人机需要将比较各张图片的处理时间，将最大图片处理时间作为任务完成时间，负值的任务完成时间作为奖励来训练DQN中的神经网络参数，来完成迭代过程

本发明DQN中的奖励是来判断在当前计算无人机位置和计算能力的情况下，选取这种分布式卷积神经网络匹配策略的好坏的指标，需要的任务完成时间越少，就认为在这种情况下选取该策略越好。通过不断探索学习，深度强化学习算法会找到一个比较好的策略使得任务完成时间小。

在步骤S6中，判定任务是否完成，若完成则结束，否则返回S3。

步骤S6具体包括以下分步骤：

S61、感知无人机不再发现任何需要识别的位置并不再拍摄图像，即所有任务已经全部完成，则结束；

S62、如果当前还没有执行完所有任务，感知无人机将比较本轮任务中所有图片的处理时间，将最大图片处理时间作为本轮任务的任务完成时间，将其作为奖励函数，按照DQN中的参数更新方法，完成本轮DQN的迭代过程，并返回S3，进入下一轮任务的执行。

步骤S6中实际为无人机集群具体完成多少次任务可以根据需要进行设定，主要考虑使用深度强化学习算法进行求解，通过执行很多次任务保证深度强化学习算法中的参数收敛，参数收敛为现有已知技术，本发明中不展开说明。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (7)

1.一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，包括：

A1、感知无人机计算单张图片的处理完成时间，其中包含该单张图片完成对应的整个卷积神经网络所需要的计算时间、传输时间以及等待时间；

A2、针对感知无人机一次拍摄的多张图片，记任务完成时间为这多张图片各自的处理完成时间中的最大值，感知无人机以任务完成时间最小为目标，采用深度强化学习算法得到各张图片对应的卷积神经网络的分层匹配策略；步骤A2所述采用深度强化学习算法得到各张图片对应的卷积神经网络的分层匹配策略，具体包括以下分步骤：

S411、感知无人机以每架无人机的当前位置(x_i,y_i,h)和计算无人机的CPU频率f_i作为深度强化学习算法的状态集合；

S412、动作集合为分布式卷积神经网络匹配策略，定义为：

其中，

表示对于图片k无人机i上完成第l层卷积层的计算过程，

表示对于图片k无人机i上不完成第l层卷积层的计算过程；

S413、奖励定义为本次任务的任务完成时间的负值，即为

用于评判分布式卷积神经网络策略的优劣程度，任务完成时间越少，则奖励越高，说明在该状态下选用该分布式卷积神经网络策略越好；

S414、感知无人机根据当前任务的状态，使用深度强化学习算法中的Deep Q-Network，确定最大Q值对应的动作，将该动作作为本次任务的分布式卷积神经网络分层匹配策略；

A3、感知无人机根据分层匹配策略，下发图片及对应分层匹配策略到具体的计算无人机；所述计算无人机按照卷积神经网络的层顺序进行先后计算；当某个计算无人机完成计算后，按照卷积神经网络的层顺序将计算结果传输至下一层对应的计算无人机；最后一层对应的计算无人机计算完成后，将结果返回对应的感知无人机；

A4、如果感知无人机不再发现需要识别的位置并不再拍摄图像，则结束，否则感知无人机确定奖励函数，完成本次深度强化学习算法迭代过程，然后转入步骤A2，进入下一轮任务。

2.根据权利要求1所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，针对某一张图片，在卷积神经网络的分层时，按照该卷积神经网络的卷积层数量进行划分，每架匹配到卷积层的计算无人机至少匹配一层卷积层，即匹配到卷积层的计算无人机数量小于或等于该卷积神经网络的卷积层数量；该卷积神经网络的池化层和全连接层放置在匹配有该卷积神经网络卷积层的计算无人机上。

3.根据权利要求2所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，步骤A1所述的感知无人机计算单张图片完成其对应的整个卷积神经网络所需要的计算时间，具体为该图片对应的卷积神经网络被分层划分到多个计算无人机上，这多个计算无人机执行各自匹配的卷积神经网络层的时间之和。

4.根据权利要求3所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，单个计算无人机计算所分配的卷积神经网络层所需要的计算时间根据该计算无人机执行一次所分配的卷积神经网络层所需的CPU运转周期与该计算无人机的CPU频率确定。

5.根据权利要求4所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，根据卷积层的时间复杂度，确定计算无人机执行一次所分配的卷积层所需要的CPU运转周期。

6.根据权利要求5所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，步骤A1所述的感知无人机计算单张图片完成对应的整个卷积神经网络所需要的传输时间，具体为包括：感知无人机将单张图片的原始图片传输至匹配第一层卷积层的计算无人机所需要的时间、匹配卷积神经网络某层的计算无人机将输出结果传输到匹配卷积神经网络下一层的计算无人机的传输时延。

7.根据权利要求5所述的一种基于无人机集群的分布式卷积神经网络分层匹配方法，其特征在于，步骤A1所述的感知无人机计算单张图片完成其对应的整个卷积神经网络计算过程所需要的等待时间，具体包括：计算无人机上计算某层卷积神经网络需要的计算等待时间、计算无人机完成某层卷积神经网络的计算后将结果传输出去的传输等待时间。

Images