CN112734759B

CN112734759B - 飞拍拍摄触发点的确定方法和装置

Info

Publication number: CN112734759B
Application number: CN202110337162.4A
Authority: CN
Inventors: 顾徐波; 王闯; 马元巍; 赵威峰; 潘正颐; 侯大为
Original assignee: Changzhou Weiyizhi Technology Co Ltd
Current assignee: Changzhou Weiyizhi Technology Co Ltd
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2021-06-29
Anticipated expiration: 2041-03-30
Also published as: CN112734759A

Abstract

本发明提供一种飞拍拍摄触发点的确定方法和装置，所述方法包括以下步骤：S1，构建强化学习网络；S2，以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对所述强化学习网络进行训练，得到飞拍控制模型，其中，每个所述飞拍状态具有对应的拍摄触发点；S3，通过所述飞拍控制模型确定实际拍摄触发点。本发明能够自动、快速且准确地确定飞拍过程中相机的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

Description

飞拍拍摄触发点的确定方法和装置

技术领域

本发明涉及视觉检测技术领域，具体涉及一种飞拍拍摄触发点的确定方法、一种飞拍拍摄触发点的确定装置、一种计算机设备和一种非临时性计算机可读存储介质。

背景技术

传统的利用工业相机进行视觉检测的过程中，工业相机固定于机械臂末端，当待检测工件传送至拍摄位置后，机械臂携相机移动至工件拍摄点，停止运动后进行静态拍摄。接下来，以同样的方式，机械臂携相机进行下一个点位的静态拍摄，直至全部待拍摄位置拍摄完毕。该过程中工业相机在每次到达拍摄点之后均需停止运动，导致整个拍摄周期长，效率低。

鉴于此，相关技术中提出了飞拍的方案，即相机在到达拍摄位置处不停止运动，而是以一定的速度持续运动，从而缩短拍摄周期，提高拍摄效率。飞拍过程虽然缩短了拍摄周期，但同时也带来误差。由于相机触发拍照的时延以及控制系统整体的传输时延等因素，飞拍（动态拍摄）相比静态拍摄，相机触发拍照信号的位置需要提前，这样拍摄出来的照片才有可能与静态拍摄照片保持一致。由于相机、系统的总体时延未知，因此相机触发拍摄信号的位置提前量也难以确定。如果采用人工的方式来寻找这个提前量，由于调试的流程复杂，需要耗费大量的人力。

发明内容

本发明为解决上述技术问题，提供了一种飞拍拍摄触发点的确定方法和装置，能够自动、快速且准确地确定飞拍过程中相机的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

本发明采用的技术方案如下：

一种飞拍拍摄触发点的确定方法，包括以下步骤：S1，构建强化学习网络；S2，以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对所述强化学习网络进行训练，得到飞拍控制模型，其中，每个所述飞拍状态具有对应的拍摄触发点；S3，通过所述飞拍控制模型确定实际拍摄触发点。

所述强化学习网络包括主评价网络、主动作网络、目标评价网络、目标动作网络和记忆库。

步骤S2具体包括：S21，初始化一个飞拍状态；S22，所述主动作网络根据当前飞拍状态确定对拍摄触发点进行调整的动作，并在执行所述动作后进入下一飞拍状态；S23，计算所述当前飞拍状态下拍摄的图像与目标图像之间的第一相似度、所述下一飞拍状态下拍摄的图像与目标图像之间的第二相似度，并根据所述第一相似度和所述第二相似度计算奖励；S24，将包含所述当前飞拍状态、所述动作、所述奖励、所述下一飞拍状态的样本序列存储至所述记忆库；S25，判断所述记忆库的存储量是否达到存储阈值，如果是，则执行步骤S26，如果否，则返回步骤S22；S26，从所述记忆库中选取预设数量的样本序列更新所述主评价网络、所述主动作网络、所述目标评价网络和所述目标动作网络；S27，判断步骤S22至S26的重复执行次数是否达到第一次数阈值，如果是，则执行步骤S28，如果否，则返回步骤S22；S28，判断步骤S21至S27的重复执行次数是否达到第二次数阈值，如果是，则结束训练，如果否，则返回步骤S21。

所述奖励通过以下公式计算：

其中，r _t为所述奖励，i表示被拍摄目标的至少一个拍摄点的序号，i为正整数，

为所述飞拍设备在第i个拍摄点当前飞拍状态下拍摄的图像与目标图像之间的第一相似度，

为所述飞拍设备在第i个拍摄点下一飞拍状态下拍摄的图像与目标图像之间的第二相似度。

步骤S3具体包括：将所述飞拍设备启动后随机初始化的飞拍状态输入所述飞拍控制模型，并由所述飞拍控制模型输出所述实际拍摄触发点。

一种飞拍拍摄触发点的确定装置，包括：构建模块，用于构建强化学习网络；训练模块，用于以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对所述强化学习网络进行训练，得到飞拍控制模型，其中，每个所述飞拍状态具有对应的拍摄触发点；确定模块，用于通过所述飞拍控制模型确定实际拍摄触发点。

所述训练模块具体执行以下步骤：S21，初始化一个飞拍状态；S22，通过所述主动作网络根据当前飞拍状态确定对拍摄触发点进行调整的动作，并在执行所述动作后进入下一飞拍状态；S23，计算所述当前飞拍状态下拍摄的图像与目标图像之间的第一相似度、所述下一飞拍状态下拍摄的图像与目标图像之间的第二相似度，并根据所述第一相似度和所述第二相似度计算奖励；S24，将包含所述当前飞拍状态、所述动作、所述奖励、所述下一飞拍状态的样本序列存储至所述记忆库；S25，判断所述记忆库的存储量是否达到存储阈值，如果是，则执行步骤S26，如果否，则返回步骤S22；S26，从所述记忆库中选取预设数量的样本序列更新所述主评价网络、所述主动作网络、所述目标评价网络和所述目标动作网络；S27，判断步骤S22至S26的重复执行次数是否达到第一次数阈值，如果是，则执行步骤S28，如果否，则返回步骤S22；S28，判断步骤S21至S27的重复执行次数是否达到第二次数阈值，如果是，则结束训练，如果否，则返回步骤S21。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述飞拍拍摄触发点的确定方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述飞拍拍摄触发点的确定方法。

本发明的有益效果：

本发明通过构建强化学习网络，并以飞拍设备在多个飞拍状态下拍摄到的图像来训练该强化学习网络，得到飞拍控制模型，该飞拍控制模型具有自动将拍摄触发点调整到合适位置的能力，由此，能够自动、快速且准确地确定飞拍过程中相机的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

附图说明

图1为本发明一个实施例的飞拍设备的结构示意图；

图2为本发明一个实施例的静态和动态拍摄位置示意图；

图3为本发明实施例的飞拍拍摄触发点的确定方法的流程图；

图4为本发明一个具体实施例的飞拍控制模型的获取流程示意图；

图5为本发明实施例的飞拍拍摄触发点的确定装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例中的飞拍设备可包括机械臂1及设置于机械臂1末端的相机支架2、相机3和光源4，并包括分别与机械臂1和相机3相连的可运行中控程序的算力机5。机械臂1、相机支架2、相机3和光源4可对应放置被拍摄目标的平台6设置。算力机5可用以实现对机械臂1、相机3的控制及图像的接收存储，还用以执行本发明实施例的飞拍拍摄触发点的确定方法。

如图2所示，在被拍摄目标，例如某工件边框存在六个拍摄点，在拍摄点进行静态拍摄所得到的图像即为该拍摄点的符合应用需求的图像。而假设相机3沿工件边框逆时针移动，则需要在相机3到达拍摄点前向相机3发送触发信号，即到达图2所示的六个动态拍摄位置，即拍摄触发点时向相机3发送触发信号。本发明实施例的飞拍拍摄触发点的确定方法可用以确定飞拍过程中的拍摄触发点，在相机3到达拍摄触发点时向相机3发送触发信号，以控制相机3在响应触发信号时启动拍摄。

如图3所示，本发明实施例的飞拍拍摄触发点的确定方法包括以下步骤：

S1，构建强化学习网络。

在本发明的一个实施例中，强化学习网络包括主评价网络Q、主动作网络μ、目标评价网络Q'、目标动作网络μ'和记忆库R。

S2，以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对强化学习网络进行训练，得到飞拍控制模型，其中，每个飞拍状态具有对应的拍摄触发点。

具体地，步骤S2包括：S21，初始化一个飞拍状态；S22，主动作网络μ根据当前飞拍状态s _t确定对拍摄触发点进行调整的动作a _t，并在执行动作a _t后进入下一飞拍状态s _t+1（在本发明的实施例中的下标t表示与当前飞拍状态对应，t+1表示与下一飞拍状态对应）；S23，计算当前飞拍状态s _t下拍摄的图像与目标图像之间的第一相似度、下一飞拍状态下拍摄的图像与目标图像之间的第二相似度，并根据第一相似度和第二相似度计算奖励r _t；S24，将包含当前飞拍状态、动作、奖励、下一飞拍状态的样本序列（s_t,a_t,r_t,s_t+1）存储至记忆库R；S25，判断记忆库R的存储量是否达到存储阈值，如果是，则执行步骤S26，如果否，则返回步骤S22；S26，从记忆库R中选取预设数量的样本序列更新主评价网络Q、主动作网络μ、目标评价网络Q'和目标动作网络μ'；S27，判断步骤S22至S26的重复执行次数是否达到第一次数阈值，如果是，则执行步骤S28，如果否，则返回步骤S22；S28，判断步骤S21至S27的重复执行次数是否达到第二次数阈值，如果是，则结束训练，如果否，则返回步骤S21。

其中，在不同的S21至S27循环中，飞拍状态均是随机设定的，即多个飞拍状态所分别对应的拍摄触发点是随机赋予的。在每一飞拍状态下，飞拍设备启动，相机3沿预设的路径移动，在相机3到达相应的拍摄触发点时向相机3发送触发信号，以控制相机3在响应触发信号时启动拍摄。

在步骤S22中，可基于当前飞拍状态s _t下拍摄的图像，利用强化学习网络中主动作网络的当前既定策略由s _t确定a _t，例如可以是根据确定性策略，将触发点向前调整一定的距离，或向后调整一定的距离；也可以是根据随机性策略，依照向前调整不同的距离、向后调整不同的距离各自对应的概率，将触发点向前或向后调整。拍摄触发点调整后的状态即为下一飞拍状态。

在本发明的一个实施例中，可在执行步骤S2之前选取一个样本工件，并根据应用需求确定至少一个拍摄点，以及将样本工件放置于飞拍设备上，在各个拍摄点进行静态拍摄，拍摄得到的至少一个图像即是符合后续视觉检测等应用需求的图像，也作为本发明实施例中的目标图像。

应当理解的是，本发明实施例中飞拍与静态拍摄时相机3的光轴角度、焦距等拍摄参数相同，区别仅在于飞拍时相机3是运动的。

在本发明的一个实施例中，可通过图像比较算法将飞拍拍摄的图像与目标图像进行比较以得到相似度数值。例如可采用结构相似性算法等得到相似度数值。结构相似性算法可将目标图像和飞拍拍摄的图像在亮度、对比度和结构三个维度进行比较，比较结果是介于0到1之间的一个数值，数值越大表明两者之间越相似。

在本发明的一个实施例中，奖励r _t通过以下公式计算：

其中，i表示被拍摄目标的至少一个拍摄点的序号，i为正整数，

为飞拍设备在第i个拍摄点当前飞拍状态下拍摄的图像与目标图像之间的第一相似度，

为飞拍设备在第i个拍摄点下一飞拍状态下拍摄的图像与目标图像之间的第二相似度。

也就是说，当被拍摄目标具有多个拍摄点时，例如图2所示的6个拍摄点，可对每个拍摄点计算奖励

-，然后求和得到总的奖励。

通过上述奖励的计算公式不难看出，如果从当前飞拍状态到下一飞拍状态，飞拍拍摄的图像与目标图像之间的相似度变差，则会得到一个负的奖励，反之，奖励为正。

在本发明的一个实施例中，记忆库R具有存储上限，存储阈值可以为记忆库R的上限值，即可重复执行步骤S22至S25，直至记忆库R存满后执行步骤S26。

在本发明的一个实施例中，可通过随机采样从记忆库R中选取预设数量的样本序列，以降低样本冗余度，例如可从包含400组（s_t,a_t,r_t,s_t+1）的记忆库R中随机采样64组（s_t,a_t,r_t,s_t+1），得到一个子集B，然后利用子集B更新主评价网络Q、主动作网络μ、目标评价网络Q'和目标动作网络μ'。

在本发明的一个实施例中，步骤S22至S26的重复执行次数与步骤S21至S27的重复执行次数，即第一次数阈值和第二次数阈值可根据对于飞拍控制模型精度的需求进行设定，在此不便限定为某具体数值。应当理解的是，一般地，第一次数阈值和第二次数阈值越大，所训练得到的飞拍控制模型精度越高，但是所耗费的时间和运算量会加大。

S3，通过飞拍控制模型确定实际拍摄触发点。

将飞拍设备启动后随机初始化的飞拍状态输入飞拍控制模型，并由飞拍控制模型输出实际拍摄触发点。具体地，在模型应用阶段，可随机初始化一个飞拍状态，即随机确定一个或一组拍摄触发点，并将其导入飞拍控制模型中的目标动作网络，最终输出实际的一个或一组拍摄触发点。

依照上述实施例的飞拍拍摄触发点的确定方法确定出每个拍摄点所对应的实际拍摄触发点，在后续对与样本工件具有相同拍摄点的待检测工件进行飞拍时，均在实际拍摄触发点向相机3发送触发信号。

为进一步清楚地说明本发明实施例的飞拍拍摄触发点的确定方法，下面结合一个具体实施例来描述本发明中飞拍控制模型的获取流程，即上述步骤S1和S2所对应的具体流程，如图4所示，飞拍控制模型的获取流程包括：

S401，获取样本工件的目标图像。

S402，初始化主评价网络Q和主动作网络μ。

S403，初始化目标评价网络Q'和目标动作网络μ'。

S404，初始化记忆库R。

S405，进入一个M步大循环。

S406，初始化飞拍状态s ₁。

S407，进入一个T步小循环。

S408，主动作网络μ根据当前飞拍状态s _t确定动作a _t。

S409，执行动作a _t，进入下一飞拍状态s _t+1，计算奖励r _t。

S410，将（s_t,a_t,r_t,s_t+1）存入记忆库R。

S411，判断R是否存满。如果是，则执行步骤S412；如果否，则返回步骤S408。

S412，从R中通过随机采样得到一个子集B。

S413，更新主评价网络Q和主动作网络μ。

S414，更新目标评价网络Q'和目标动作网络μ'。

S415，判断是否达到T步。即S408至S414的循环次数是否达到T。如果是，则执行步骤S416；如果否，则返回步骤S408。

S416，判断是否达到M步。即S406至S415的循环次数是否达到M。如果是，则结束当前流程；如果否，则返回步骤S406，初始化另一个飞拍状态。

综上所述，根据本发明实施例的飞拍拍摄触发点的确定方法，通过构建强化学习网络，并以飞拍设备在多个飞拍状态下拍摄到的图像来训练该强化学习网络，得到飞拍控制模型，该飞拍控制模型具有自动将拍摄触发点调整到合适位置的能力，由此，能够自动、快速且准确地确定飞拍过程中相机3的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

对应上述实施例的飞拍拍摄触发点的确定方法，本发明还提出一种飞拍拍摄触发点的确定装置。

如图5所示，本发明实施例的飞拍拍摄触发点的确定装置包括构建模块10、训练模块20和确定模块30。其中，构建模块10用于构建强化学习网络；训练模块20用于以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对强化学习网络进行训练，得到飞拍控制模型，其中，每个飞拍状态具有对应的拍摄触发点；确定模块30用于通过飞拍控制模型确定实际拍摄触发点。

训练模块20具体执行以下步骤：S21，初始化一个飞拍状态；S22，通过主动作网络μ根据当前飞拍状态s _t确定对拍摄触发点进行调整的动作a _t，并在执行动作a _t后进入下一飞拍状态s _t+1（在本发明的实施例中的下标t表示与当前飞拍状态对应，t+1表示与下一飞拍状态对应）；S23，计算当前飞拍状态s _t下拍摄的图像与目标图像之间的第一相似度、下一飞拍状态下拍摄的图像与目标图像之间的第二相似度，并根据第一相似度和第二相似度计算奖励r _t；S24，将包含当前飞拍状态、动作、奖励、下一飞拍状态的样本序列（s_t,a_t,r_t,s_t+1）存储至记忆库R；S25，判断记忆库R的存储量是否达到存储阈值，如果是，则执行步骤S26，如果否，则返回步骤S22；S26，从记忆库R中选取预设数量的样本序列更新主评价网络Q、主动作网络μ、目标评价网络Q'和目标动作网络μ'；S27，判断步骤S22至S26的重复执行次数是否达到第一次数阈值，如果是，则执行步骤S28，如果否，则返回步骤S22；S28，判断步骤S21至S27的重复执行次数是否达到第二次数阈值，如果是，则结束训练，如果否，则返回步骤S21。

进一步地，构建模块10和训练模块20通过执行上述图4所示的流程来得到飞拍控制模型。确定模块30可将飞拍设备启动后随机初始化的飞拍状态输入飞拍控制模型，并由飞拍控制模型输出实际拍摄触发点。

本发明实施例的飞拍拍摄触发点的确定装置更具体的实施方式可参照上述飞拍拍摄触发点的确定方法的实施例，在此不再赘述。

根据本发明实施例的飞拍拍摄触发点的确定装置，通过构建强化学习网络，并以飞拍设备在多个飞拍状态下拍摄到的图像来训练该强化学习网络，得到飞拍控制模型，该飞拍控制模型具有自动将拍摄触发点调整到合适位置的能力，由此，能够自动、快速且准确地确定飞拍过程中相机3的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

对应上述实施例，本发明还提出一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的飞拍拍摄触发点的确定方法。

根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过构建强化学习网络，并以飞拍设备在多个飞拍状态下拍摄到的图像来训练该强化学习网络，得到飞拍控制模型，该飞拍控制模型具有自动将拍摄触发点调整到合适位置的能力，由此，能够自动、快速且准确地确定飞拍过程中相机3的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的飞拍拍摄触发点的确定方法。

根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过构建强化学习网络，并以飞拍设备在多个飞拍状态下拍摄到的图像来训练该强化学习网络，得到飞拍控制模型，该飞拍控制模型具有自动将拍摄触发点调整到合适位置的能力，由此，能够自动、快速且准确地确定飞拍过程中相机3的拍摄触发点，从而快速、高效地得到高质量的待检测工件图像。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种飞拍拍摄触发点的确定方法，其特征在于，包括以下步骤：

S1，构建强化学习网络，所述强化学习网络包括主评价网络、主动作网络、目标评价网络、目标动作网络和记忆库；

S2，以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对所述强化学习网络进行训练，得到飞拍控制模型，其中，每个所述飞拍状态具有对应的拍摄触发点；

S3，通过所述飞拍控制模型确定实际拍摄触发点，

步骤S2具体包括：

S21，初始化一个飞拍状态；

S22，所述主动作网络根据当前飞拍状态确定对拍摄触发点进行调整的动作，并在执行所述动作后进入下一飞拍状态；

S23，计算所述当前飞拍状态下拍摄的图像与目标图像之间的第一相似度、所述下一飞拍状态下拍摄的图像与目标图像之间的第二相似度，并根据所述第一相似度和所述第二相似度计算奖励；

S24，将包含所述当前飞拍状态、所述动作、所述奖励、所述下一飞拍状态的样本序列存储至所述记忆库；

S25，判断所述记忆库的存储量是否达到存储阈值，如果是，则执行步骤S26，如果否，则返回步骤S22；

S26，从所述记忆库中选取预设数量的样本序列更新所述主评价网络、所述主动作网络、所述目标评价网络和所述目标动作网络；

S27，判断步骤S22至S26的重复执行次数是否达到第一次数阈值，如果是，则执行步骤S28，如果否，则返回步骤S22；

S28，判断步骤S21至S27的重复执行次数是否达到第二次数阈值，如果是，则结束训练，如果否，则返回步骤S21。

2.根据权利要求1所述的飞拍拍摄触发点的确定方法，其特征在于，所述奖励通过以下公式计算：

3.根据权利要求1或2所述的飞拍拍摄触发点的确定方法，其特征在于，步骤S3具体包括：

将所述飞拍设备启动后随机初始化的飞拍状态输入所述飞拍控制模型，并由所述飞拍控制模型输出所述实际拍摄触发点。

4.一种飞拍拍摄触发点的确定装置，其特征在于，包括：

构建模块，用于构建强化学习网络，所述强化学习网络包括主评价网络、主动作网络、目标评价网络、目标动作网络和记忆库；

训练模块，用于以飞拍设备在多个飞拍状态下拍摄到的图像作为训练数据，对所述强化学习网络进行训练，得到飞拍控制模型，其中，每个所述飞拍状态具有对应的拍摄触发点；

确定模块，用于通过所述飞拍控制模型确定实际拍摄触发点，

所述训练模块具体执行以下步骤：

S21，初始化一个飞拍状态；

S22，通过所述主动作网络根据当前飞拍状态确定对拍摄触发点进行调整的动作，并在执行所述动作后进入下一飞拍状态；

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-3中任一项所述的飞拍拍摄触发点的确定方法。

6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-3中任一项所述的飞拍拍摄触发点的确定方法。