CN113452912B - 巡视机器人的云台摄像机的控制方法、装置、设备及介质 - Google Patents

Abstract

本说明书实施例公开了一种安装于巡视机器人的云台摄像机的控制方法，用于解决现有巡视机器人无法根据环境动态调节云台摄像机姿态的问题。方法包括：将云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；若确定出图像中存在预设的目标图像，则根据目标图像所处的位置确定出云台需要调节的位置参数与摄像头需要调节的镜头焦点参数；其中，位置参数包括云台的水平转动角度与上下转动角度；根据云台需要调节的位置参数与摄像头需要调节的镜头焦点参数，调节云台与所述摄像头，以使目标图像处于所述云台摄像机的视野中心。

Description

巡视机器人的云台摄像机的控制方法、装置、设备及介质

技术领域

本说明书涉及云台技术领域，尤其涉及一种安装于巡视机器人的云台摄像机的控制方法、装置、设备及介质。

背景技术

云台是安装、固定摄像机的支撑设备，通过对云台的调整，可以调整摄像机的镜头朝向，从而跟踪监视对象。伴随着我国社会经济稳步增长，越来越多的巨型企业厂区、高新园区、巨型商场不断的出现在国民生活中，这些场所对安全保卫工作提出了新的特殊需求。通常情况下这些场所中的安保任务都是由保安人员来完成，但是随着巡检范围不断扩大，室内外混合环境，用人成本的持续走高等因素，仅仅依靠保安人员己经不能满足日益复杂化的安保需求。另外在一些危检的环境中，保安人员也不适合执行巡检工作。随着人工智能技术、移动机器人技术、通讯技术等迅速发展，移动综合巡检机器人顺势而生。

园区安防机器人的一个重要功能是在园区巡逻，同时利用负载云台拍摄巡逻时的画面传输到云端存储和分析。现有的巡逻机器人的云台一般在巡逻过程中会按照预先设定好的轨迹转动，这种转动是机械的，与巡视环境中的内容变化毫无关系。而一个智能云台应该具备像安保人员一样自动关注一些敏感事件的能力，例如：行驶的汽车、车牌号、行人、群体事件、跌倒、火情等等，以便更好的对巡检危险隐患进行监测。

基于此，现需要一种可以动态调整安装于巡视机器人上的云台位置参数，及摄像头镜头焦点参数的智能控制方法。

发明内容

本说明书一个或多个实施例提供了一种安装于巡视机器人的云台摄像机的控制方法、装置、设备及介质，用于解决如下技术问题：如何提供一种可以动态调整安装于巡视机器人上的云台位置参数，及摄像头镜头焦点参数的智能控制方法。

本说明书一个或多个实施例采用下述技术方案：

本说明书一个或多个实施例提供了一种安装于巡视机器人的云台摄像机的控制方法，包括：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

可选地，本说明书一个或多个实施例中所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，所述方法还包括：

控制巡检机器人进行巡检，获取所述云台摄像机拍摄的图像；

若确定所述目标图像处于所述云台摄像机拍摄的图像的视野中心，则记录所述云台的位置参数与所述摄像头的镜头焦点；

将所述云台的位置参数与所述摄像头的镜头焦点作为样本进行收集，以获得所述云台摄像机控制模型的云台数据集；

根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型。

可选地，本说明书一个或多个实施例中根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型，具体包括：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征值矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数。

可选地，本说明书一个或多个实施例中将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之后，若确定出所述图像中存在多个预设的目标图像，所述方法还包括：

根据预先设定的所述目标图像的重要性等级，对所述目标图像进行排序，以确定出重要性等级最高的目标图像；

根据所述重要性等级最高的目标图像所处的位置，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述重要性等级高的目标图像处于所述云台摄像机的视野中心。

可选地，本说明书一个或多个实施例中所述根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数具体包括：

根据所述目标图像所处的位置，确定所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离；

若所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离超过预设阈值，则基于所述云台摄像机控制模型中的长短期记忆网络对所述云台的水平转动角度与上下转动角度进行分析，确定出所述云台需要调节的位置参数；

若所述目标图像在所述拍摄图像中的大小不在预设范围内，则基于所述云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析，确定出所述摄像机需要调节的镜头焦点参数。

可选地，本说明书一个或多个实施例中根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心，具体包括：

根据所述云台需要调节的位置参数调节所述云台的水平转动焦点、上下转动角度，以控制云台进行相应的运动，得到调节后的云台摄像机的第一图像；

其中，所述水平转动角度以所述云台的旋转点为原点，当所述云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]；所述上下转动参数以所述云台摄像机的旋转点为原点，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]；

若根据所述调节后的第一图像，确定所述目标图像的位置与所述拍摄图像的垂直距离、水平距离未超过预设距离使得感兴趣事件处于拍摄图像的视野中心，则根据所述摄像头需要调节的焦点参数对所述摄像头的镜头焦点进行调整，以使目标图像居于所述云台摄像机的视野中心并以合适的大小充满空间，以便识别所述目标图像的细节状态。

可选地，本说明书一个或多个实施例中根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，所述方法还包括：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

本说明书一个或多个实施例提供了一种安装于巡视机器人的云台摄像机的控制装置，包括：

输入单元，用于将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

第一确定单元，用于确定出所述图像中存在预设的目标图像时，根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

调节单元，用于根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

可选地，本说明书一个或多个实施例中，所述装置还包括：

控制单元，用于控制巡检机器人进行巡检，获取所述云台摄像机拍摄的图像；

样本收集单元，用于确定所述目标图像处于所述云台摄像机拍摄的图像的视野中心，则记录所述云台的位置参数与所述摄像头的镜头焦点；将所述云台的位置参数与所述摄像头的镜头焦点作为样本进行收集，以获得所述云台摄像机控制模型的云台数据集；

模型训练单元，用于根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型。

可选地，本说明书一个或多个实施例中，所述模型训练单元由：提取单元、划分单元、组合单元、生成单元、变换单元、加权单元、输出单元组成；

所述提取单元用于通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

所述划分单元用于通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

所述组合单元用于将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

所述生成单元用于基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

所述变换单元用于根据所述关键值矩阵和查询矩阵对所述特征值矩阵进行变换，以得到注意力矩阵；

所述加权单元用于将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

所述输出单元用于选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数。

可选地，本说明书一个或多个实施例中，所述装置还包括：

第二确定单元，用于确定出所述图像中存在多个预设的目标图像时，根据预先设定的所述目标图像的重要性等级，对所述目标图像进行排序，以确定出重要性等级最高的目标图像；根据所述重要性等级最高的目标图像所处的位置，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述重要性等级高的目标图像处于所述云台摄像机的视野中心。

可选地，本说明书一个或多个实施例中，所述第一确定单元包括：距离确定单元、云台参数确定单元、焦点参数确定单元；

所述距离确定单元用于根据所述目标图像所处的位置，确定所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离；

所述云台参数确定单元用于所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离超过预设阈值时，基于所述云台摄像机控制模型中的长短期记忆网络对所述云台的水平转动角度与上下转动角度进行分析，确定出所述云台需要调节的位置参数；

所述焦点参数确定单元用于所述目标图像在所述拍摄图像中的大小不在预设范围内时，基于所述云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析，确定出所述摄像机需要调节的镜头焦点参数。

可选地，本说明书一个或多个实施例中，所述调节单元包括：云台调节单元、镜头调节单元；

所述云台调节单元用于根据所述云台需要调节的位置参数调节所述云台的水平转动焦点、上下转动角度，以控制云台进行相应的运动，得到调节后的云台摄像机的第一图像；其中，所述水平转动角度以所述云台的旋转点为原点，当所述云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]；所述上下转动参数以所述云台摄像机的旋转点为原点，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]；

所述镜头调节单元用于根据所述调节后的第一图像，确定所述目标图像的位置与所述拍摄图像的垂直距离、水平距离未超过预设距离使得感兴趣事件处于拍摄图像的视野中心时，根据所述摄像头需要调节的焦点参数对所述摄像头的镜头焦点进行调整，以使目标图像居于所述云台摄像机的视野中心并以合适的大小充满空间，以便识别所述目标图像的细节状态。

可选地，本说明书一个或多个实施例中，所述

本说明书一个或多个实施例提供一种安装于巡视机器人的云台摄像机的控制设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

将注意力机制引入深度学习中，当巡视机器人所巡视的环境发生动态改变时，注意力机制能够指引深度神经网络模型重点关注对完成任务有帮助的图像区域，忽视对任务无关的信息。通过包含注意力机制的云台摄像机控制模型对拍摄图像进行分析后，对云台的位置参数和摄像头的镜头焦点参数进行调节，有效实现了对目标图像的跟踪巡视，实现了对目标图像的重点观察。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1为本说明书一个或多个实施例提供的一种安装于巡视机器人的云台摄像机的控制方法的流程示意图；

图2(a)为本说明书一个或多个实施例提供的一种云台的水平转动示意图；

图2(b)为本说明书一个或多个实施例提供的一种云台的上下转动示意图；

图2(c)为本说明书一个或多个实施例提供的一种云台摄像头的镜头焦点远近拉伸示意图；

图3为本说明书一个或多个实施例提供的一种安装于巡视机器人的鱼台摄像机的控制装置的内部结构示意图；

图4为本说明书一个或多个实施例提供的一种安装于巡视机器人的云台摄像机的控制设备的内部结构示意图；

图5为本说明书一个或多个实施例提供的一种非易失性存储介质的内部结构示意图。

具体实施方式

本说明书实施例提供一种安装于巡视机器人的云台摄像机控制方法、装置、设备及介质。

伴随着越来越多的巨型企业厂区、高新园区、巨型商场不断地出现在国民生活单重，这些场所对安全保卫工作提出了新的特殊要求。通常情况下这些场所的安保任务都是由安保人员来完成，但是随着巡检范围不断扩大，室内外环境不断变换以及用人成本逐渐升高等因素，仅仅依靠保安人员已经不能满足日益复杂化的安保需求。此外，在一些危险的环境中，保安人员也不适合执行巡检工作，比如变电所范围内布满高压电弧，对保安人员来说十分危险。随着人工智能技术、移动机器人技术等迅速发展，移动综合巡视机器人顺势而生，针对重要单位、场所、仓库、小区等，可以通过人工控制巡视机器人或是巡视机器人自动对环境进行巡视。

现有的巡视机器人一般在巡逻过程中按照预先设定好的轨迹进行机械转动，是的巡视机器人上安装的云台摄像机拍摄的画面无法与周围环境的变换一致，即无法自动调整巡视机器人上的云台姿态及摄像机镜头参数。巡视机器人无法具备向安保人员一样的自动关注敏感事件的能力，从而使得巡视过程中可能具有隐患的事件被忽略，无法做到及时的预警。

为了解决上述技术问题，本申请提出了一种安装于巡视机器人的云台摄像机的控制方法，通过将注意力机制引入云台摄像机控制模型，是的巡视机器人可以根据云台摄像机输入的内容自动提取包含目标图像的感兴趣区域，使得巡视机器人重点关注对巡视过程有帮助的图像区域，护士与任务无关的信息，避免了对无关信息的分析处理。根据所提取的区域进行分析，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，使得需要关注的目标区域可以按照重要性等级在云台摄像机的视野中心展现，以便观察目标图像的详细数据，实现对目标图像的精准分析，从而使得巡视机器人可以及时发现隐患信息进行报警处理。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本说明书一个或多个实施例由控制巡视机器人云台摄像头进行调整的服务器终端或所述服务器终端所对应的各执行单元进行操作。

以下结合附图，详细说明本说明书提供的技术方案。

如图1所示，本说明书一个或多个实施例提供了一种安装于巡视机器人的云台摄像机控制方法的方法流程示意图。

图1中的流程可以包括以下步骤：

S101：将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型。

在本说明书一个或多个实施例中，所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，所述方法还包括：

控制巡检机器人进行巡检，获取所述云台摄像机拍摄的图像；

若确定所述目标图像处于所述云台摄像机拍摄的图像的视野中心，则记录所述云台的位置参数与所述摄像头的镜头焦点；

将所述云台的位置参数与所述摄像头的镜头焦点作为样本进行收集，以获得所述云台摄像机控制模型的云台数据集；

根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型。

在本说明书一个或多个实施例中，所述根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型，具体包括：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征值矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数。

在本说明书一个或多个实施例中，所述将所述巡台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之后，若确定出所述图像中存在多个预设的目标图像，所述方法还包括：

根据预先设定的所述目标图像的重要性等级，对所述目标图像进行排序，以确定出重要性等级最高的目标图像；

根据所述重要性等级最高的目标图像所处的位置，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述重要性等级高的目标图像处于所述云台摄像机的视野中心。

深度神经网络中的注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐，从而增加部分区域的观察精度的机制。注意力机制可以快速提取稀疏数据的重要特征。而自注意力机制是对注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。为了使云台能够根据环境中的感兴趣内容自主控制云台的姿态，本说明书一个或多个实施例中将自注意力机制引入深度网络中得到云台摄像机控制模型，从而对云台摄像机的拍摄画面进行分析。

在对云台摄像机控制模型的训练过程中，首先需要对云台数据样本进行收集。将巡视机器人放置在待巡视的园区环境中，人为控制机器人在园区进行巡视。其中，巡视机器人的行进路线和云台摄像机的视线都模拟正常的安保人员视线进行。在模拟正常保安人员的视线时，如果预先设定的目标图像例如：火灾、人群、行驶的车辆、跌倒等出现在云台摄像机的视野中心，则记录下该过程中所有的拍摄图像及当前云台的位置参数与摄像头的镜头焦点，作为云台摄像机控制模型的训练样本。如果预先设定的目标图像，出现在云台摄像机的视野中但并不处于视野中心，则人为控制调整云台的位置参数，使得目标图像尽可能出现在云台摄像机的视野中心，进而通过调整摄像头的镜头焦点参数使得目标图像以合适的大小进行展现。记录下所有的拍摄图像及经过调整后的云台的位置参数与摄像头的镜头焦点参数，作为云台摄像机控制模型的训练样本。继续人为控制巡视机器人进行巡逻，将如上述情况的当预设目标图像清晰地出现在视野中心中，同时记录下所有的拍摄图像、云台的位置信息以及摄像机镜头焦点参数作为训练样本，当所述训练样本可以使的训练样本的误差足够小时停止人为控制巡视机器人进行巡逻监视。其中需要说明的是：巡视机器人在t₀时刻开始巡逻，此时对应的云台摄像机的拍摄画面可以记为frame₀，云台的位置参数与摄像头的镜头焦点参数作为姿态信息记为pose₀＝(x₀,y₀,z₀)，在任意时刻t_i，有frame_i、pose_i＝(x_i,y_i,z_i)。由此可以得到巡视过程中的云台数据集D＝{(framei，posei)|posei＝(xi,yi,zi)}。其中，云台的水平转动角度为x，云台的上下转动角度为y，镜头的焦点为z。

将所有的训练样本统计后作为云台数据集，并将云台数据集输入云台摄像机控制模型。在云台摄像机控制模型中通过特征提取网络，对输入的拍摄图像进行特征提取以获得拍摄图像的特征图。通过预设M×N大小的滑动窗口对特征图进行划分，每一次横向滑动后的区域作为一个子区域。划分完成后获得多个特征图的子区域，其中每个子区域包含有若干个图像目标的特征值，需要将特征值进行排列为一个一维向量。例如：子区域A中包含的特征值为

则排列后得到子区域A所对应的一维向量为[1 0 3 4 1 2 2 01]。将经过滑动窗口划分的所有的子区域对应的一维向量进行叠加组合，得到目标图像的特征矩阵。例如，除子区域A之外，子区域B所对应的一维向量为[1 0 1 2 4 5 3 0 0]，子区域C所对应的一维向量为[4 0 1 2 0 2 1 3 1]则将子区域A、B、C所对应的一维向量进行叠加组合后得到的特征矩阵为：

基于自注意力机制随机生成与所述特征矩阵相兼容的关键值矩阵K和查询矩阵Q。假设每一个样本有一个d_q维的查询向量，则n个样本所构成的查询矩阵为n×d_q的查询矩阵；每个样本中每条有用信息所对应d_q维的关键值向量，每个样本包含n_v条信息则关键值矩阵为n_v×d_q。通过查询矩阵与关键值矩阵的转置矩阵相乘可以获得样本特征与信息特征之间的相似度，即

对

施加激活函数w(.)。以得到样本和信息之间的相似程度分布。将

与特征矩阵V相乘得到注意力矩阵。将注意力矩阵中每列的和作为该列对应的子区域的重要等级。以便选取重要性高的子区域作为特征输入云台摄像机控制模型中的长短期记忆网络，以获得所需要的云台摄像机控制模型。使得该云台摄像机控制模型可以根据输入的云台摄像机的拍摄图像，分析得出所需要调整的位置参数与所述摄像头需要调整的镜头焦点参数。

在巡视机器人的巡视过程中，云台摄像机拍摄的图像中可能包含有多个预设的目标图像，比如同时包含了行驶的汽车和跌倒的行人。如果判断出图像中存在有多个预设的目标图像则可以根据上述过程中设定的重要等级，对目标图像进行排序，确定出重要性等级高的图像进行云台及摄像头的动态调整，以使重要性等级高的目标图像处于云台摄像机的视野中心，使得重要性高的事件可以进行优先监视以便对可能出现的隐患进行预警。

S102：若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度。

在本说明书一个或多个实施例中，所述根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数具体包括：

根据所述目标图像所处的位置，确定所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离；

若所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离超过预设阈值，则基于所述云台摄像机控制模型中的长短期记忆网络对所述云台的水平转动角度与上下转动角度进行分析，确定出所述云台需要调节的位置参数；

若所述目标图像在所述拍摄图像中的大小不在预设范围内，则基于所述云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析，确定出所述摄像机需要调节的镜头焦点参数。

在将云台摄像机拍摄的图像输入云台摄像机控制模型之后，可以获得所述图像中目标图像的位置信息。根据目标图像的位置信息和预设的拍摄的图像的长宽参数，可以确定出该目标图像与拍摄图像中心位置的垂直距离以及水平距离。如果目标图像与拍摄图像中心位置的垂直距离以及水平距离在预设的范围之内，则不需要云台的位置参数进行调节也可以实现目标图像的跟踪监测。如果目标图像与拍摄图像中心位置的垂直距离以及水平距离超过了预设范围的阈值，即目标图像处于云台摄像机的视野边缘，无法清晰的观察目标图像的细节状态。则需要基于云台摄像机控制模型中的长短期记忆网络对云台的水平转动角度与上下转动角度进行分析，确定出云台需要调节的位置参数。

经过云台的位置参数的调节，目标图像会处于云台摄像机的视野中心，但是未对目标图像的大小进行分析。如果目标图像距离巡视机器人距离过远，则在云台摄像机视野中的画面会过小。此时需要将摄像头的镜头焦点向靠近目标图像的位置移动，即向远离摄像头的方向进行调整。基于云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析后，可以确定出摄像机需要调节的镜头焦点参数，以便对摄像头的镜头焦点进行调节。

S103：根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

在本说明书一个或多个实施例中，所述根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心，具体包括：

根据所述云台需要调节的位置参数调节所述云台的水平转动焦点、上下转动角度，以控制云台进行相应的运动，得到调节后的云台摄像机的第一图像；

其中，所述水平转动角度以所述云台的旋转点为原点，当所述云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]；所述上下转动参数以所述云台摄像机的旋转点为原点，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]；

若根据所述调节后的第一图像，确定所述目标图像的位置与所述拍摄图像的垂直距离、水平距离未超过预设距离使得感兴趣事件处于拍摄图像的视野中心，则根据所述摄像头需要调节的焦点参数对所述摄像头的镜头焦点进行调整，以使目标图像居于所述云台摄像机的视野中心并以合适的大小充满空间，以便识别所述目标图像的细节状态。

在本说明书一个或多个实施例中，若根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，所述方法还包括：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

通过步骤102中记载的云台摄像机控制模型所确定出的云台需要调节的位置参数，以云台的旋转点为原点控制云台的水平转动角度调节到与需要调节的位置参数一致，如图2(a)所示为某实施例场景中，云台进行水平转动时的示意图。同时以云台的旋转点为原点控制云台的上下转动角度到确定出的参数值，得到调整云台参数后云台摄像机拍摄的第一图像，如图2(b)所示为某实施例场景中，云台进行上下转动时的示意图。

云台的位置参数调节是针对目标图像在云台摄像机拍摄视野中的位置进行的调节，而当目标图像中的发生的感兴趣事件距离巡视机器人距离较远时，仅将目标图像放置到视野中心也无法获得目标图像中的详细信息。因此，需要根据云台摄像机控制模型确定的需要调节的镜头焦点参数，对摄像机的焦点进行调节，使得目标图像可以以合适的大小呈现在云台摄像机视野中，方便对其包含的事件进行详细观察分析，为后续巡视机器人做出预警提供信息基础。

其中需要说明的是，在对云台的位置参数进行调节时，需要对云台的水平转动角度和上下转动角度进行归一化处理，使得云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]。而对镜头焦点进行调节时，需要将焦点允许调节范围的最远处记为1，允许范围最近处记为0，其调节的示意图如图2(c)所示。

因为巡视机器人的多样性，云台的类型种类可能存在不同。当云台的旋转角度有限，当经过云台的位置参数调整之后，目标图像在云台摄像机中的位置距离视野中心依然超过了预设范围的阈值时，则需要通过控制巡视机器人的移动辅助进行图像获取。首先，需要根据目标图像获得图像中事件发生点的位置信息，结合巡视机器人自身的地理位置，通过历史经验模型的分析获得巡视机器人在该范围内的局部路径规划。通过自动获得的路径移动巡视机器人到合适的位置，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对目标图像中感兴趣事件的监视与跟踪拍摄。

如图3所示，本说明书一个或多个实施例提供了一种安装于巡视机器人的云台摄像机的控制装置的内部结构示意图。

由图3可知，本说明书一个或多个实施例中，安装于巡视机器人的云台摄像机的控制装置包括：

输入单元301，用于将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

第一确定单元302，用于确定出所述图像中存在预设的目标图像时，根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

调节单元303，用于根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

本说明书一个或多个实施例中，所述装置还包括：

控制单元，用于控制巡检机器人进行巡检，获取所述云台摄像机拍摄的图像；

样本收集单元，用于确定所述目标图像处于所述云台摄像机拍摄的图像的视野中心，则记录所述云台的位置参数与所述摄像头的镜头焦点；将所述云台的位置参数与所述摄像头的镜头焦点作为样本进行收集，以获得所述云台摄像机控制模型的云台数据集；

模型训练单元，用于根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型。

本说明书一个或多个实施例中，所述模型训练单元由：提取单元、划分单元、组合单元、生成单元、变换单元、加权单元、输出单元组成；

所述提取单元用于通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

所述划分单元用于通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

所述组合单元用于将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

所述生成单元用于基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

所述变换单元用于根据所述关键值矩阵和查询矩阵对所述特征值矩阵进行变换，以得到注意力矩阵；

所述加权单元用于将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

所述输出单元用于选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数。

本说明书一个或多个实施例中，所述装置还包括：

第二确定单元，用于确定出所述图像中存在多个预设的目标图像时，根据预先设定的所述目标图像的重要性等级，对所述目标图像进行排序，以确定出重要性等级最高的目标图像；根据所述重要性等级最高的目标图像所处的位置，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述重要性等级高的目标图像处于所述云台摄像机的视野中心。

在本说明书一个或多个实施例中，所述第一确定单元包括：距离确定单元、云台参数确定单元、焦点参数确定单元；

所述距离确定单元用于根据所述目标图像所处的位置，确定所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离；

所述云台参数确定单元用于所述目标图像与所述拍摄图像中心位置的垂直距离、水平距离超过预设阈值时，基于所述云台摄像机控制模型中的长短期记忆网络对所述云台的水平转动角度与上下转动角度进行分析，确定出所述云台需要调节的位置参数；

所述焦点参数确定单元用于所述目标图像在所述拍摄图像中的大小不在预设范围内时，基于所述云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析，确定出所述摄像机需要调节的镜头焦点参数。

在本说明书一个或多个实施例中，所述调节单元包括：云台调节单元、镜头调节单元；

所述云台调节单元用于根据所述云台需要调节的位置参数调节所述云台的水平转动焦点、上下转动角度，以控制云台进行相应的运动，得到调节后的云台摄像机的第一图像；其中，所述水平转动角度以所述云台的旋转点为原点，当所述云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]；所述上下转动参数以所述云台摄像机的旋转点为原点，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]；

所述镜头调节单元用于根据所述调节后的第一图像，确定所述目标图像的位置与所述拍摄图像的垂直距离、水平距离未超过预设距离使得感兴趣事件处于拍摄图像的视野中心时，根据所述摄像头需要调节的焦点参数对所述摄像头的镜头焦点进行调整，以使目标图像居于所述云台摄像机的视野中心并以合适的大小充满空间，以便识别所述目标图像的细节状态。

在本说明书一个或多个实施例中，所述装置还包括：局部路径规划单元，用于获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；根据历史经验模型对所述标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

如图4所示，本说明书一个或多个实施例中提供了一种安装于巡视机器人的云台摄像机的设备的内部结构示意图。

由图4可知，所述设备包括：

至少一个处理器401，以及，

与所述至少一个处理器401通信连接的存储器402，其中，

所述存储器402存储有可被所述至少一个处理器401的执行指令，所述指令被所述至少一个处理器401执行，以使所述至少一个处理器401能够：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

如图5所示，本说明书一个或多个实施例中提供了一种非易失性计算机存储介质的内部结构示意图。

由图5可知，本说明书实施例提供了一种非易失性计算机存储介质，存储有计算机可执行指令501，所述计算机可执行指令501设置为：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (8)

1.一种安装于巡视机器人的云台摄像机的控制方法，其特征在于，所述云台摄像机包括云台与安装于所述云台的摄像头，所述方法包括：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心；

所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，方法还包括：根据云台数据集对所述云台摄像机控制模型进行训练获得所需要的云台摄像机控制模型；其中，所述根据云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型，具体包括：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数；

若根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，所述方法还包括：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

2.根据权利要求1所述的一种安装于巡视机器人的云台摄像机的控制方法，其特征在于，所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，所述方法还包括：

控制巡检机器人进行巡检，获取所述云台摄像机拍摄的图像；

若确定所述目标图像处于所述云台摄像机拍摄的图像的视野中心，则记录所述云台的位置参数与所述摄像头的镜头焦点；

将所述云台的位置参数与所述摄像头的镜头焦点作为样本进行收集，以获得所述云台摄像机控制模型的云台数据集；

根据所述云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型。

3.根据权利要求1所述的一种安装于巡视机器人的云台摄像机的控制方法，其特征在于，所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之后，若确定出所述图像中存在多个预设的目标图像，所述方法还包括：

根据预先设定的所述目标图像的重要性等级，对所述目标图像进行排序，以确定出重要性等级最高的目标图像；

根据所述重要性等级最高的目标图像所处的位置，确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述重要性等级高的目标图像处于所述云台摄像机的视野中心。

4.根据权利要求1所述的一种安装于巡视机器人的云台摄像机的控制方法，其特征在于，所述根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数具体包括：

根据所述目标图像所处的位置，确定所述目标图像与所述云台摄像机拍摄的图像中心位置的垂直距离、水平距离；

若所述目标图像与所述云台摄像机拍摄的图像中心位置的垂直距离、水平距离超过预设阈值，则基于所述云台摄像机控制模型中的长短期记忆网络对所述云台的水平转动角度与上下转动角度进行分析，确定出所述云台需要调节的位置参数；

若所述目标图像在所述云台摄像机拍摄的图像中的大小不在预设范围内，则基于所述云台摄像机控制模型中的长短期记忆网络对所述摄像头的镜头焦点进行分析，确定出所述摄像机需要调节的镜头焦点参数。

5.根据权利要求1所述的一种安装于巡视机器人的云台摄像机的控制方法，其特征在于，所述根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心，具体包括：

根据所述云台需要调节的位置参数调节所述云台的水平转动角度、上下转动角度，以控制云台进行相应的运动，得到调节后的云台摄像机的第一图像；

其中，所述水平转动角度以所述云台的旋转点为原点，当所述云台摄像机水平方向由左到右转动时，所述水平转动角度对应的参数范围为[-1,1]；所述上下转动参数以所述云台摄像机的旋转点为原点，当所述云台摄像机竖直方向由下到上转动时，所述上下转动角度对应的参数范围为[-1,1]；

若根据所述调节后的第一图像，确定所述目标图像的位置与所述云台摄像机拍摄的图像的垂直距离、水平距离未超过预设距离使得感兴趣事件处于所述云台摄像机拍摄的图像的视野中心，则根据所述摄像头需要调节的焦点参数对所述摄像头的镜头焦点进行调整，以使目标图像居于所述云台摄像机的视野中心并以合适的大小充满空间，以便识别所述目标图像的细节状态。

6.一种安装于巡视机器人的云台摄像机的控制装置，其特征在于，所述云台摄像机包括云台与安装于所述云台的摄像头，所述装置包括：

输入单元，用于将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

第一确定单元，用于确定出所述图像中存在预设的目标图像时，根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

调节单元，用于根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心；

所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，还包括：训练模块，用于根据云台数据集对所述云台摄像机控制模型进行训练获得所需要的云台摄像机控制模型；其中，所述训练模块，具体用于：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数；

第二调节模块用于，若根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，则：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

7.一种安装于巡视机器人的云台摄像机的控制设备，其特征在于，所述云台摄像机包括云台与安装于所述云台的摄像头，所述设备包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器，其中，

所述存储器存储有可被所述至少一个处理器的执行指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心；

所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，方法还包括：根据云台数据集对所述云台摄像机控制模型进行训练获得所需要的云台摄像机控制模型；其中，所述根据云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型，具体包括：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数；

若根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，所述方法还包括：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

8.一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

将云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型；其中，所述云台摄像机包括云台与安装于所述云台的摄像头；

若确定出所述图像中存在预设的目标图像，则根据所述目标图像所处的位置确定出所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数；其中，所述位置参数包括所述云台的水平转动角度与上下转动角度；

根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头，以使所述目标图像处于所述云台摄像机的视野中心；

所述将所述云台摄像机拍摄的图像输入至预先训练的云台摄像机控制模型之前，方法还包括：根据云台数据集对所述云台摄像机控制模型进行训练获得所需要的云台摄像机控制模型；其中，所述根据云台数据集对所述云台摄像机控制模型进行训练，获得所需要的云台摄像机控制模型，具体包括：

通过所述云台摄像机控制模型中的特征提取网络，获取所述云台摄像机拍摄的图像所对应的特征图；

通过预设大小的滑动窗口对所述特征图进行划分，获得所述特征图的多个子区域；其中，每个子区域包含若干个目标图像的特征值；

将每个子区域所包含的特征值排列为一维向量，并通过把每个子区域所对应的一维向量进行叠加组合得到所述目标图像的特征矩阵；

基于自注意力机制随机生成所述特征矩阵对应的关键值矩阵和查询矩阵；

根据所述关键值矩阵和查询矩阵对所述特征矩阵进行变换，以得到注意力矩阵；

将所述注意力矩阵每一列的和作为与该列对应的子区域的重要性等级；其中，所述子区域的重要性等级为所述子区域中所包含的目标图像的重要性等级；

选取重要性等级高的子区域作为特征输入所述云台摄像机控制模型的长短期记忆网络进行训练，获得所需要的云台摄像机控制模型，以便输出所述云台需要调整的位置参数与所述摄像头需要调整的镜头焦点参数；

若根据所述云台需要调节的位置参数与所述摄像头需要调节的镜头焦点参数，调节所述云台与所述摄像头之后，不能使所述目标图像处于所述云台摄像机的视野中心，所述方法还包括：

获取调节所述云台与摄像头之后，所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标；

根据历史经验模型对所述目标图像在所述云台摄像机拍摄的图像中的位置坐标与巡视机器人当前的地理位置坐标进行分析，以获得所述巡视机器人的局部路径规划；

根据所述局部路径规划控制所述巡视机器人进行移动，以使所述目标图像处于所述巡视机器人上的云台摄像机的视野中心，实现对所述目标图像的跟踪拍摄。

Images