CN112925348B - 无人机控制方法、无人机控制装置、电子设备及介质 - Google Patents

Abstract

本公开实施例提供了一种无人机控制方法、无人机控制装置、电子设备及计算机可读介质；涉及无人机技术领域。该无人机控制方法包括：从无人机集群的不同位置实时采集所述无人机集群的多个表演图像；通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态；如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。本公开实施例的技术方案能够在无人机集群中无人机表演状态存在异常时对无人机进行替换，减少无人机故障率。

Description

无人机控制方法、无人机控制装置、电子设备及介质

技术领域

本公开涉及无人机技术领域，具体而言，涉及一种无人机控制方法、无人机控制装置、电子设备和计算机可读介质。

背景技术

随着科技的进步，无人机编队表演作为新型的传媒手段，越来越收到欢迎和喜爱。无人机编队表演是由多架编队无人机在空中组成各种图案，通过无人机上的灯光来在夜空中显示各种图案。由于无人机可以通过程序精确的控制，因此无人机编队表演可以完成各种高难度的精细的图案，给人们带来更震撼的感受。

随着对无人机表演效果的要求越来越高，参与编队表演的无人机数量越来越多。数量这么多的无人机同时在空中飞行，不可避免的会出现一些意外或者存在一定的故障率，导致一些无人机在编队表演过程中坠毁或者位置偏移较大。当编队无人机中出现一些故障时，无人机在空中组成的灯光图案将会有缺损或者变形，影响编队表演效果，甚至有一些无人机出现故障后会导致其他无人机也出故障，影响整个编队。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种无人机控制方法、无人机控制装置、电子设备和计算机可读介质，能够在无人机集群存在异常时，及时识别出异常的目标无人机，并对目标无人机进行替换，提高无人机集群的稳定性，减少无人机故障率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种无人机控制方法，包括：从无人机集群的不同位置实时采集所述无人机集群的多个表演图像；通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态；如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。

在本公开的示例性实施方式中，通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态包括：获取所述无人机集群对应的模拟效果模型；通过所述多个表演图像构建所述无人机集群当前的三维模型；通过所述模拟效果模型与所述三维模型进行对比，确定所述无人机集群中包含的各个无人机的表演状态。

在本公开的示例性实施方式中，通过所述模拟效果模型与所述三维模型进行对比包括：对所述模拟效果模型中的第一特征点与所述三维模型中的第二特征点进行位置、颜色对比，以获得对比差异；如果所述第一特征点与所述第二特征点的对比差异超出阈值，则确定所述第二特征点对应的表演状态存在异常。

在本公开的示例性实施方式中，基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群包括：向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻；将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后。

在本公开的示例性实施方式中，其中，所述表演脚本包含无人机在表演过程中的各个表演时刻以及所述表演时刻对应的表演位置和灯光信息；基于所述表演脚本替换所述目标无人机包括：在所述备用无人机起飞后，更新所述备用无人机的位置信息，当所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，控制所述备用无人机执行所述表演脚本，以显示所述灯光信息。

在本公开的示例性实施方式中，该无人机控制方法还包括：控制所述备用无人机以避障模式加入所述无人机集群；在所述备用无人机的所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，关闭所述避障模式。

在本公开的示例性实施方式中，获取所述目标无人机的表演脚本包括：通过所述目标无人机的无人机编号获取所述目标无人机的表演脚本，以替换所述目标无人机。

根据本公开实施例的第二方面，提供了一种无人机控制装置，可以包括图像采集模块、无人机状态识别模块以及无人机替换模块。

其中，图像采集模块，用于从无人机集群的不同位置实时采集所述无人机集群的多个表演图像。

无人机状态识别模块，用于通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态。

无人机替换模块，用于如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。

在本公开的示例性实施方式中，该无人机状态识别模块可以包括模型获取模块、模型构建模块以及模型对比模块。

模型获取模块，用于获取所述无人机集群对应的模拟效果模型。

模型构建模块，用于通过所述多个表演图像构建所述无人机集群当前的三维模型。

模型对比模块，用于通过所述模拟效果模型与所述三维模型进行对比，确定所述无人机集群中包含的各个无人机的表演状态。

在本公开的示例性实施方式中，上述模型对比模块具体包括位置颜色对比模块以及差异确定模块。

其中，位置颜色对比模块，用于对所述模拟效果模型中的第一特征点与所述三维模型中的第二特征点进行位置、颜色对比，以获得对比差异。

差异确定模块，用于如果所述第一特征点与所述第二特征点的对比差异超出阈值，则确定所述第二特征点对应的表演状态存在异常。

在本公开的示例性实施方式中，上述无人机替换模块具体包括目标无人机返航模块以及备用无人机起飞模块。

其中，目标无人机返航模块，用于向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻。

备用无人机起飞模块，用于将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后。

在本公开的示例性实施方式中，其中，所述表演脚本包含无人机在表演过程中的各个表演时刻以及所述表演时刻对应的表演位置和灯光信息；上述无人机替换模块可配置为：在所述备用无人机起飞后，更新所述备用无人机的位置信息，当所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，控制所述备用无人机执行所述表演脚本，以显示所述灯光信息。

在本公开的示例性实施方式中，该无人机控制装置还包括避障模式开启模块以及避障模式关闭模块。

其中，避障模式开启模块，用于控制所述备用无人机以避障模式加入所述无人机集群。

避障模式关闭模块，用于在所述备用无人机的所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，关闭所述避障模式。

在本公开的示例性实施方式中，上述无人机替换模块被配置为：通过所述目标无人机的无人机编号获取所述目标无人机的表演脚本，以替换所述目标无人机。

根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的无人机控制方法。

根据本公开实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的无人机控制方法。

在本公开实施例所提供的无人机控制方法、无人机控制装置、电子设备和计算机可读介质，通过实时采集无人机集群的表演图像识别各个无人机的表演状态，能够及时发现表演状态存在异常的目标无人机，对该目标无人机进行替换，降低无人机集群的故障率；并且，在发现目标无人机时可以根据目标无人机的表演脚本替换目标无人机，重新构成无人机集群，使得无人机集群保持完整性，提高无人机集群的稳定性；同时，在无人机集群表演过程中，存在异常的目标无人机可以被及时替换，避免影响表演效果，能够提高无人机集群的表演效果，提高用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了应用于本公开实施例的方法或无人机控制装置的示例性系统架构示意图；

图2示意性示出了根据本公开的一实施例的无人机控制方法的流程图；

图3示意性示出了根据本公开的另一实施例中无人机控制方法的流程图；

图4示意性示出了根据本公开的一实施例中无人机控制方法的流程图；

图5示意性示出了根据本公开的一实施例中无人机控制方法的流程图；

图6示意性示出了根据本公开的一实施例的无人机控制装置的框图；

图7示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思，并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”、“第三”等仅作为标记使用，不是对其对象的数量限制。

下面结合附图对本公开示例实施方式进行详细说明。

图1示出了可以应用于本公开实施例的无人机控制方法或无人机控制装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括无人机设备101、102、103中的一个或多个，网络104和终端设备105。网络104用以在无人机设备101、102、103和终端设备105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

无人机设备101、102、103通过网络104可以与终端设备105交互，以接收或发送数据等。其中，无人机设备101、102、103可以是各种类型的无人机，例如旋翼无人机、固定翼无人机等等，再例如具有摄像头的无人机、具有语音控制的无人机等等。

终端设备105可以是控制无人机101、102、103的各种电子设备，可以具有显示屏并且支持网页浏览，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑、可穿戴设备、虚拟现实设备、智能家居等等。

应该理解，图1中的终端设备、网络和无人机设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和无人机设备。比如无人机101、102、103可以是多个无人机组成的无人机集群等。

本公开实施例所提供的无人机控制方法一般由终端设备105执行，相应地，无人机控制装置一般设置于终端设备105中。

基于此，本公开实施例提供一种无人机控制方法的技术方案，可以通过实时采集无人机集群的表演图形，识别出无人机集群中表演状态存在异常的目标无人机，从而对目标无人机进行替换，保证无人机集群的稳定性。

如图2所示，本公开实施例提供的无人机控制方法可以包括步骤S21、步骤S22以及步骤S23。

在步骤S21中，从无人机集群的不同位置实时采集所述无人机集群的多个表演图像。

无人机集群可以由多架无人机构成，例如由一百台无人机构成的无人机集群、由一千台无人机构成的无人机集群等等。无人机集群中每架无人机可以通过唯一的编号进行标识，预先可以确定每架无人机的编号，从而通过无人机编号对每架无人机进行精准的控制。由于无人机起飞后会根据脚本中的程序自动执行各种任务，因此在进行无人机编队表演时需要确定无人机集群中的每架无人机的表演脚本，每一架参与编队表演的无人机都预先设定好的飞行航线以及灯光设置。预先通过编写代码可以生成无人机的表演脚本。将表演脚本写入每架无人机后，无人机集群中所有的无人机可以根据各自脚本的内容执行对应的任务，例如进行编队灯光表演等任务。

预先可以设置不同位置的摄像头，在无人机集群表演时可以采集不同角度的表演图像。示例性的，摄像头可以设置在无人机集群表演的飞行区域的周围，例如可以在无人机集群的上、下、左、右等处设置摄像头等；还可以在一个平面的不同位置处分别设置摄像头，例如设置在无人机集群表演区域的地面上不同距离处。举例而言，如果无人机集群在高空100米处进行表演，则预先可以在地面设置摄像头、再通过其他不参与表演的无人机在俯视角度150米处、以及距离无人机集群表演区域的侧视角度50米处进行摄像等；再例如，在表演区域的地面四周设置四个摄像头分别对空中的飞行区域进行摄像等。通过相对于无人机集群所在位置的不同位置处，从不同的角度对无人机集群进行图像采集，得到无人机集群在表演时的各个角度的表演图像，不同位置处采集的表演图像可以覆盖整个无人机集群表演的飞行区域。

在步骤S22中，通过所述多个表演图像识别所述无人机集群中包含的无人机的表演状态。

其中，表演状态可以包括无人机的表演位置以及灯光信息。正常情况下，每个无人机在特定的位置会显示特定颜色或者亮度的灯光，构成灯光点阵，从而显示出整体图案的表演效果。无人机集群需要根据预先设计好的图案进行位置以及灯光的变换，可以将预先设计的图案与采集到的表演图像进行对比，从而确定无人机集群的表演状态。示例性的，如图3所示，该方法具体可以包括步骤S31、步骤S32以及步骤S33。

在步骤S31中，获取无人机集群对应的模拟效果模型。该效果模型可以通过图像处理工具进行模拟，并存储在特定的文件目录中。该效果模型可以包括二维图像、三维图像。每个表演时刻无人机集群的表演状态可以不同，因此该模拟效果模型可以包括动态变化的动画。此外，模拟效果模型可以包括灯光点阵的信息，具体由多个点构成，每个点在不同时刻具有不同的位置以及颜色。在正常的表演过程中每个点对应一无人机，点与点之间的相对位置对应无人机之间的相对位置，点的颜色则为对应无人机的灯光颜色。

在步骤S32中，通过多个表演图像构建无人机集群当前的三维模型。得到无人机集群不同位置处的表演图像后，可以以采集表演图像的摄像头的位置为准构建坐标平面，从而得到的多个平面构建成三维的模型。例如，将无人机集群的俯视角度的表演图像、左视角度的表演图像以及正视角度的表演图像作为三视图，通过三维图像处理工具合成对应的三维模型。无人机集群的表演图像可以实时更新，例如每30秒更新一次，采集的表演图像可以通过摄像头实时上传至终端设备中，根据实时更新的表演图像构建三维模型，得到每次更新对应的三维模型。

在步骤S33中，通过模拟效果模型与三维模型进行对比，确定无人机集群中包含的各个无人机的表演状态。示例性的，可以先对比模拟效果模型与三维模型中的特征点的数量，其中特征点指像素变化的点、例如物体边缘、灯光点等。通过特征点匹配的方式确定模拟效果模型与三维模型中的特征点的对应关系，如果三维模型与模拟效果模型之间的特征点互相对应，则无人机的表演状态正常。如果特征点中存在不匹配的情况，可以标识出不匹配的区域，以便于确定出该区域中存在异常的目标无人机。

示例性实施方式中，检测出模拟效果模型以及三维模型中的特征点之后，可以对模拟效果模型中的第一特征点与三维模型中的第二特征点进行位置对比、颜色对比，以获得对比差异；如果第一特征点与第二特征点的对比差异超出阈值，则确定第二特征点对应的表演状态存在异常。

其中，对比差异包括颜色差异以及位置差异，该位置差异可以指特征点在模型中的相对位置之间的差异。将三维模型中的第二特征点与模拟效果模型中的第一特征点的位置、颜色进行对比，例如可以先对比颜色，如果颜色不相同则可以确定差异超出阈值，如果颜色相同可以继续对比位置，如果第二特征点在三维模型中的相对位置与第一特征点在模拟效果模型中的相对位置相同，或者相差不超过一定范围就可以确定差异不超出阈值，否则确定差异超出阈值。如果通过对比发现三维模型中有特征点缺失或者位置偏差较大、或者灯光不相同，则可以通过图像对比识别出存在异常的特征点，并输出该特征点的标识信息，例如编号ID等。异常的特征点对应的无人机可以为目标无人机。例如第一特征点A1与第二特征点A2对比之后，A2与A1的颜色不相同，则A2对应的无人机为目标无人机。

此外，识别出表演状态存在异常的目标无人机还可以通过其他多种图像处理方式进行，例如机器学习模型、深度学习模型等，再例如基于模板匹配的图像匹配识别方法等等，本实施方式不限于此。

继续参考图2，在步骤S23中，如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。

示例性的，无人机集群中每个无人机均具有用于唯一标识的无人机编号，通过相应的无人机编号来控制各个无人机完成编队表演。识别出无人机集群中表演状态的异常的目标无人机后，可以确定目标无人机的无人机编号，进而获取该无人机编号对应的表演脚本。

示例性实施方式中，替换目标无人机的方法可以具体包括步骤S41以及步骤S42，如图4所示。

在步骤S41中，向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻。具体而言，得到目标无人机的表演脚本后，可以通过无人机的控制端，例如手机、电脑等，向目标无人机发送返航指令，强制该目标无人机返航降落。

在步骤S42中，将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后。其中，开始时间点为备用无人机的起飞时间，通过设置开始时间点可以使得备用无人机在固定的时间点起飞执行表演脚本。目标无人机返航时其表演脚本从第一时刻停止执行，备用无人机需要替补目标无人机继续执行剩下的任务，因此开始时间点晚于第一时刻或者与第一时刻相同。目标无人机降落的同时可以将目标无人机的表演脚本以及无人机编号写入备用无人机。写入完成后可以设置备用无人机的开始时间点，当时间达到开始时间点时，备用无人机将会起飞达到表演脚本中设定的位置。或者可以将表演脚本写入备用无人机后通过发送起飞指令的方式使得备用无人机起飞，替补目标无人机的表演航线。

备用无人机起飞后，可以通过GPS模块更新备用无人机的位置信息。其中，GPS模块是用于为无人机提供实时位置信息的装置，其通过GPS天线接收卫星信号以及基站的信号对无人机进行精确定位。在飞行过程中，无人机通过不断更新的位置信息来控制飞行航线。例如，位置信息可以每秒钟更新一次，每两秒更新一次、每90秒更新一次等等。当备用无人机的位置信息与表演脚本中一表演位置相同，并且当前更新该位置信息的时间点与该表演位置对应的表演时刻也相同时，则运行表演脚本，按照表演脚本中的设定显示对应的灯光信息。也就是说，如果备用无人机的位置和时间与表演脚本中一组表演位置和表演时刻相重合，则可以控制备用无人机从该表演位置开始执行表演脚本，直到执行完表演脚本中的所有内容。

在备用无人机未达到表演脚本中设定的表演位置时，备用无人机可以不显示灯光，即灯光关闭，避免对表演造成干扰。当备用无人机的位置与表演脚本重合时，根据表演脚本中该位置对应的灯光来显示对应的灯光，从而替补目标无人机完成表演任务。

举例而言，目标无人机的表演脚本中包括时间点1时在位置P1处显示红色灯光，时间点2时在位置P2处显示蓝色灯光，时间3时在位置P3处显示绿色灯光，时间4时在位置P4处显示红色灯光等，如目标无人机执行至时间点1时发生故障导致表演状态存在异常，则向其发送返航指令，并将其表演脚本写入备用无人机，控制备用无人机起飞。在备用无人机起飞后不断判断备用无人机的位置信息以及当前时间点是否与表演脚本中一组表演位置和表演时刻重合，当备用无人机的位置信息与对应的时间点与表演脚本重合时，例如备用无人机在时间点4时其位置信息为P4，则从重合的位置和时间开始执行表演脚本，显示P4位置处对应的红色灯光，并且继续执行表演脚本中剩余的航线以及灯光显示。需要理解的是，表演脚本中的表演时刻也可以为一时间段，例如在“8点10分05秒至8点10分10秒时在位置P处显示红色灯光”，即该表演时刻从8点10分05秒开始至8点10分10结束。当表演时刻为一时间段时，可以判断备用无人机当前的位置信息对应的时间点是否落在表演时刻的时间段内，在相同的时间内备用无人机的位置信息与表演脚本的表演位置相同，则执行表演脚本，显示灯光信息。

示例性实施方式中，如图5所示，替换目标无人机时还可以包括步骤S51以及步骤S52。

在步骤S51中，控制所述备用无人机以避障模式加入所述无人机集群。由于备用无人机一开始处于地面，当备用无人机需要替补目标无人机时，无人机集群已经在一定高度的空中，备用无人机到达该高度需要一定时间。在备用无人机起飞到其开始执行表演脚本的时间段内，即备用无人机还未达到指定的表演位置，在此过程中可以打开备用无人机的避障模式，使得备用无人机躲避其他正在表演的无人机。避障模式可以通过指令开启和关闭，也可以设置程序自动执行，例如通过脚本设置备用无人机起飞后启用避障模式，在达到无人机集群中时关闭该避障模式等等。

备用无人机中需要安装避障传感器，该避障传感器可以包括多个，覆盖无人机的各个方向，例如设定避障距离阈值为1米，则无人机的避障范围为以无人机为中心1米半径内的球体，只要有障碍物进入该球体则无人机将向其他方向进行躲避，保证无人机在飞行时能够绕开障碍物。

在步骤S52中，在所述备用无人机的所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，关闭所述避障模式。也就是说，当备用无人机的位置与表演脚本中重合时，备用无人机需要开始执行表演脚本，此时如果仍然保持在避障模式可能会导致无法与其他无人机一起进行表演，因此可以将避障模式关闭，使其加入无人机集群，与其他无人机共同进行编队表演。

以下介绍本公开的装置实施例，可以用于执行本公开上述的无人机控制方法。参考图6，本公开实施例提供的无人机控制装置60可以包括图像采集模块、无人机状态识别模块以及无人机替换模块。

其中，图像采集模块61，用于从无人机集群的不同位置实时采集所述无人机集群的多个表演图像。

无人机状态识别模块62，用于通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态。

无人机替换模块63，用于如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。

在本公开的示例性实施方式中，该无人机状态识别模块62可以包括模型获取模块、模型构建模块以及模型对比模块。

模型获取模块，用于获取所述无人机集群对应的模拟效果模型。

模型构建模块，用于通过所述多个表演图像构建所述无人机集群当前的三维模型。

模型对比模块，用于通过所述模拟效果模型与所述三维模型进行对比，确定所述无人机集群中包含的各个无人机的表演状态。

在本公开的示例性实施方式中，上述模型对比模块具体包括位置颜色对比模块以及差异确定模块。

其中，位置颜色对比模块，用于对所述模拟效果模型中的第一特征点与所述三维模型中的第二特征点进行位置、颜色对比，以获得对比差异。

差异确定模块，用于如果所述第一特征点与所述第二特征点的对比差异超出阈值，则确定所述第二特征点对应的表演状态存在异常。

在本公开的示例性实施方式中，上述无人机替换模块63具体包括目标无人机返航模块以及备用无人机起飞模块。

其中，目标无人机返航模块，用于向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻。

备用无人机起飞模块，用于将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后。

在本公开的示例性实施方式中，其中，所述表演脚本包含无人机在表演过程中的各个表演时刻以及所述表演时刻对应的表演位置和灯光信息；上述无人机替换模块63可配置为：在所述备用无人机起飞后，更新所述备用无人机的位置信息，当所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，控制所述备用无人机执行所述表演脚本，以显示所述灯光信息。

在本公开的示例性实施方式中，该无人机控制装置60还包括避障模式开启模块以及避障模式关闭模块。

其中，避障模式开启模块，用于控制所述备用无人机以避障模式加入所述无人机集群。

避障模式关闭模块，用于在所述备用无人机的所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，关闭所述避障模式。

在本公开的示例性实施方式中，上述无人机替换模块63被配置为：通过所述目标无人机的无人机编号获取所述目标无人机的表演脚本，以替换所述目标无人机。

由于本公开的示例实施例的无人机控制装置的各个功能模块与上述无人机控制方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的疫情防控有效性确定的实施例。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备的计算机系统700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的无人机控制方法。

例如，所述的电子设备可以实现如图2中所示的：步骤S21，从无人机集群的不同位置实时采集所述无人机集群的多个表演图像；步骤S22，通过所述多个表演图像识别所述无人机集群中包含的各个无人机的表演状态；步骤S23，如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并基于所述表演脚本替换所述目标无人机，重新构成所述无人机集群。

又如，所述的电子设备可以实现如图3-5所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种无人机控制方法，其特征在于，包括：

从无人机集群的不同位置实时采集所述无人机集群的多个表演图像；不同位置处采集的所述多个表演图像覆盖整个无人机集群表演的飞行区域；

获取所述无人机集群对应的模拟效果模型，所述模拟效果模型包括动态变化的动画；通过所述多个表演图像构建所述无人机集群当前的三维模型；通过所述模拟效果模型与所述三维模型进行特征点匹配，以确定所述无人机集群中包含的各个无人机的表演状态；其中，所述特征点为像素变化的点，所述表演状态包括所述无人机的表演位置和灯光信息；所述特征点匹配包括数量比对、位置比对、颜色比对；

如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻；将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后，且若所述备用无人机的位置和时间与所述表演脚本中一组表演位置和表演时刻重合，则控制所述备用无人机从所述表演位置开始执行表演脚本。

2.根据权利要求1所述的方法，其特征在于，通过所述模拟效果模型与所述三维模型进行特征点匹配，以确定所述无人机集群中包含的各个无人机的表演状态包括：

对所述模拟效果模型中的第一特征点与所述三维模型中的第二特征点进行位置、颜色对比，以获得对比差异；

如果所述第一特征点与所述第二特征点的对比差异超出阈值，则确定所述第二特征点对应的表演状态存在异常。

3.根据权利要求1所述的方法，其特征在于，其中，所述表演脚本包含无人机在表演过程中的各个表演时刻以及所述表演时刻对应的表演位置和灯光信息；所述若所述备用无人机的位置和时间与所述表演脚本中一组表演位置和表演时刻重合，则控制所述备用无人机从所述表演位置开始执行表演脚本包括：

在所述备用无人机起飞后，更新所述备用无人机的位置信息，当所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，控制所述备用无人机执行所述表演脚本，以显示所述灯光信息。

4.根据权利要求3所述的方法，其特征在于，还包括：

控制所述备用无人机以避障模式加入所述无人机集群；

在所述备用无人机的所述位置信息与所述表演脚本中一表演位置相同，且所述位置信息对应的时间点与所述表演位置对应的表演时刻相同时，关闭所述避障模式。

5.根据权利要求1所述的方法，其特征在于，获取所述目标无人机的表演脚本包括：

通过所述目标无人机的无人机编号获取所述目标无人机的表演脚本，以替换所述目标无人机。

6.一种无人机控制装置，其特征在于，包括：

图像采集模块，用于从无人机集群的不同位置实时采集所述无人机集群的多个表演图像；不同位置处采集的所述多个表演图像覆盖整个无人机集群表演的飞行区域；

无人机状态识别模块，用于获取所述无人机集群对应的模拟效果模型，所述模拟效果模型包括动态变化的动画；通过所述多个表演图像构建所述无人机集群当前的三维模型；通过所述模拟效果模型与所述三维模型进行特征点匹配，以确定所述无人机集群中包含的各个无人机的表演状态；其中，所述特征点为像素变化的点，所述表演状态包括所述无人机的表演位置和灯光信息；所述特征点匹配包括数量比对、位置比对、颜色比对；

无人机替换模块，用于如果识别出所述表演状态存在异常的目标无人机，获取所述目标无人机的表演脚本，并向所述目标无人机发送返航指令，以使所述目标无人机退出所述无人机集群，并记录发送所述返航指令的第一时刻；将所述目标无人机的表演脚本写入备用无人机，并确定所述备用无人机的开始时间点，以使所述备用无人机从所述开始时间点起飞加入所述无人机集群，其中，所述开始时间点在所述第一时刻之后，且若所述备用无人机的位置和时间与所述表演脚本中一组表演位置和表演时刻重合，则控制所述备用无人机从所述表演位置开始执行表演脚本。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的无人机控制方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的无人机控制方法。