CN115657265B - 镜头的变焦控制方法及其系统 - Google Patents

Abstract

本申请公开了一种镜头的变焦控制方法及其系统，其挖掘出变温组件的温度变化特征与图像质量变化特征质量的关联性特征信息，并以此来确定温度调节策略。具体地，在本申请的技术方案中，采用基于深度学习的人工智能控制算法来提取出所述变温组件的温度在时序上的动态特征以及在变温调节过程中的所述变焦图像质量的动态变化特征信息，进一步再计算这两者的响应性估计来将温度变化特征和图像变化特征进行关联，以此来进行变温组件的功率值的实时动态智能控制。这样，能够提高温度调节的响应性速度和精准度，进而提高变焦后图像的质量。

Description

镜头的变焦控制方法及其系统

技术领域

本申请涉及光学镜头技术领域，且更为具体地，涉及一种镜头的变焦控制方法及其系统。

背景技术

随着时代的发展，人们对图像采集的要求日益提高，其中，图像采集装置的透镜对最终所采集的图像的效果尤为关键。变焦透镜通过改变透镜的折射率或曲率半径来使自身的焦距发生变化，具有体积小、响应速度快、操作简单、无磨损、寿命长、功耗低等优点，因此在手机、数码相机、网络摄像头、内窥镜等追求轻、薄、短、小的光学系统中具有很好的应用前景。

现有的变焦镜头多通过机械力实现变焦，尤其是变焦透镜中的液体透镜，其通过一个额外的泵提供压力来改变液体顶面薄膜曲率，但是，当压力过大时，会给弹性薄膜造成毁灭性的破坏。

针对上述技术问题，中国专利CN114114484A提供了新型的变焦镜头和变焦控制方案，其通过变温组件来改变透明液体的温度，以此来改变所述透明流体的体积从而改变所述透明气囊的曲率半径，从而改变其焦距。

但是，在该产品的运行中，发现其变焦响应速度慢且变焦之后的图像质量会存在波动，究其原因在于温度控制的滞后性和不确定性。

因此，期待一种优化的变焦控制方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种镜头的变焦控制方法及其系统，其挖掘出变温组件的温度变化特征与图像质量变化特征质量的关联性特征信息，并以此来确定温度调节策略。具体地，在本申请的技术方案中，采用基于深度学习的人工智能控制算法来提取出所述变温组件的温度在时序上的动态特征以及在变温调节过程中的所述变焦图像质量的动态变化特征信息，进一步再计算这两者的响应性估计来将温度变化特征和图像变化特征进行关联，以此来进行变温组件的功率值的实时动态智能控制。这样，能够提高温度调节的响应性速度和精准度，进而提高变焦后图像的质量。

根据本申请的一个方面，提供了一种镜头的变焦控制方法，其包括：

获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；

将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；

将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；

将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；

计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和

将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

在上述的镜头的变焦控制方法中，所述将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，包括：

使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示；以及

使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值。

在上述的镜头的变焦控制方法中，所述使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示，包括：

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第一卷积层以得到多个第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第二卷积层以得到多个第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第三卷积层以得到多个第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第四卷积层以得到多个第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；

分别融合所述多个第一尺度特征图、所述多个第二尺度特征图、所述多个第三尺度特征图和所述多个第四尺度特征图中相对应预定时间点处的特征图以得到所述多个图像特征表示。

在上述的镜头的变焦控制方法中，所述使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值，包括：

使用所述解码器以如下公式对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

其中，所述公式为：

表示所述多个图像特征表示中各 个图像特征表示，

表示所述多个图像质量解码值中各个图像质量解码值，

表示权重矩 阵，

表示偏置向量，

表示矩阵乘。

在上述的镜头的变焦控制方法中，所述将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量，包括：

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度图像质量特征向量和所述第二尺度图像质量特征向量进行级联以得到所述多尺度图像质量特征向量。

在上述的镜头的变焦控制方法中，所述将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量，包括：

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度功率特征向量和所述第二尺度功率特征向量进行级联以得到所述多尺度功率特征向量。

在上述的镜头的变焦控制方法中，所述计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量，包括：

以如下公式计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

其中，所述公式为：

=

其中

表示所述多尺度功率特征向量，

表示所述多尺度图像质量特征向量，

表 示所述分类特征向量，

表示按位置点除。

在上述的镜头的变焦控制方法中，所述对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：

以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；

其中，所述公式为：

其中

表示是所述分类特征向量的第

个位置的特征值，

表示所述优化分类特 征向量的第

个位置的特征值，

表示以2为底的对数函数值。

在上述的镜头的变焦控制方法中，所述将所述优化分类特征向量通过分类器以得到分类结果，包括：

使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；

将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，提供了一种镜头的变焦控制系统，其包括：

数据获取模块，用于获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；

编解码模块，用于将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；

多尺度图像质量特征向量提取模块，用于将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；

多尺度功率特征向量提取模块，用于将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；

响应性估计模块，用于计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

特征分布优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和

分类结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

与现有技术相比，本申请提供的镜头的变焦控制方法及其系统，其挖掘出变温组件的温度变化特征与图像质量变化特征质量的关联性特征信息，并以此来确定温度调节策略。具体地，在本申请的技术方案中，采用基于深度学习的人工智能控制算法来提取出所述变温组件的温度在时序上的动态特征以及在变温调节过程中的所述变焦图像质量的动态变化特征信息，进一步再计算这两者的响应性估计来将温度变化特征和图像变化特征进行关联，以此来进行变温组件的功率值的实时动态智能控制。这样，能够提高温度调节的响应性速度和精准度，进而提高变焦后图像的质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的镜头的变焦控制方法的场景示意图。

图2为根据本申请实施例的镜头的变焦控制方法的流程图。

图3为根据本申请实施例的镜头的变焦控制方法的架构示意图。

图4为根据本申请实施例的镜头的变焦控制方法中步骤S120的子步骤的流程图。

图5为根据本申请实施例的镜头的变焦控制方法中步骤S121的子步骤的流程图。

图6为根据本申请实施例的镜头的变焦控制方法中步骤S130的子步骤的流程图。

图7为根据本申请实施例的镜头的变焦控制方法中步骤S140的子步骤的流程图。

图8为根据本申请实施例的镜头的变焦控制方法中步骤S170的子步骤的流程图。

图9为根据本申请实施例的镜头的变焦控制系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，现有的变焦镜头多通过机械力实现变焦，尤其是变焦透镜中的液体透镜，其通过一个额外的泵提供压力来改变液体顶面薄膜曲率，但是，当压力过大时，会给弹性薄膜造成毁灭性的破坏。

针对上述技术问题，中国专利CN114114484A提供了新型的变焦镜头和变焦控制方案，其通过变温组件来改变透明液体的温度，以此来改变所述透明流体的体积从而改变所述透明气囊的曲率半径，从而改变其焦距。

但是，在该产品的运行中，发现其变焦响应速度慢且变焦之后的图像质量会存在波动，究其原因在于温度控制的滞后性和不确定性。因此，期待一种优化的变焦控制方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为镜头的智能变焦控制提供了新的解决思路和方案。

相应地，考虑到由于其原理是通过变温组件中透明液体的温度变化来控制所述透明流体的体积变化从而改变所述透明气囊的曲率半径，进而改变其焦距。但是，由于温度控制的滞后性和不确定性，导致随着温度的变化，实现变焦响应后的图像质量会发生变化，因此，为了能够提高变焦后的图像质量以及避免响应速度过慢的情况，需要挖掘出所述变温组件的温度变化特征与图像质量变化特征质量的关联性特征信息，并以此来确定温度调节策略。具体地，在本申请的技术方案中，采用基于深度学习的人工智能控制算法来提取出所述变温组件的温度在时序上的动态特征以及在变温调节过程中的所述变焦图像质量的动态变化特征信息，进一步再计算这两者的响应性估计来将温度变化特征和图像变化特征进行关联，以此来进行变温组件的功率值的实时动态智能控制。这样，能够提高温度调节的响应性速度和精准度，进而提高变焦后图像的质量。

具体地，在本申请的技术方案中，首先，获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像。接着，考虑到在实际的变焦过程图像拍摄过程中，会由于变焦镜头所处的外界环境的干扰等因素造成采集到的不同时间点的变焦过程图像受到不同程度的影响。因此，为了能够在后续的变温组件温度控制中排除别的因素的干扰以提高温度调节的精准度，进一步将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器中进行降噪处理以通过所述自动编解码器来评估变焦过程中的图像质量，从而得到多个图像质量解码值。

特别地，这里，所述自动编解码器包括编码器和与所述编码器级联的解码器。具体地，所述编码器采用包含多个混合卷积层的深度卷积神经网络来对于所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像进行处理，以分别提取出所述各个预定时间点的变焦过程图像的图像质量多尺度隐含特征分布，从而得到多个图像特征表示。这里，通过所述混合卷积层的编码能够提取到更多尺度的特征以提高后续图形特征解码的精度。然后，再使用所述自动编解码器的解码器分别将所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值。

然后，考虑到在实际的使用变温组件进行变焦的过程中，由于变焦之后的图像质量会存在波动性，因此，在本申请的技术方案中，将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块中进行编码，以提取出所述变焦过程图像在不同时间跨度下的多尺度邻域关联特征，也就是，捕捉变温调节过程中的所述图像质量的变化特征，从而得到多尺度图像质量特征向量。

同样地，考虑到对于所述温度变化隐含特征提取就是对于所述变温组件的功率动态特征提取，因此，也将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块中进行编码处理，以提取出所述变温组件的功率在所述预定时间段的不同时间跨度下的多尺度邻域关联特征，即所述变温组件的温度在时序上的多尺度动态特征，从而得到多尺度功率特征向量。

进一步地，计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计，以此来将所述温度变化特征和图像质量变化特征进行关联，从而得到具有所述变温组件的温度在时序上的动态特征信息和所述变焦图像质量的动态变化特征信息之间的关联特征的分类特征向量。接着，再将所述优化分类特征向量通过分类器以得到用于表示当前时间点的变温组件的功率值应增大或应减小的分类结果。

特别地，在本申请的技术方案中，由于多个预定时间点的变温组件的功率值和变焦过程图像并不一定在时序方向上具有完全对应的时序排列关系，而在通过编解码器和多尺度邻域特征提取模块转换为特征向量后，其高阶关联关系的提取会进一步放大时序方向上的分布不对应性，导致计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计得到的分类特征向量中存在局部异常分布，使得在分类时导致分类的归纳偏差。

因此，优选地，对所述分类特征向量进行分类偏差的可微算子转换优化，表示为：

其中

是所述分类特征向量的第

个位置的特征值。

这里，针对所述分类特征向量的高维特征分布在分类问题下的归纳偏差，基于归纳收敛速率的可导约束形式将该归纳偏差转换为可微算子的信息化表达组合，以基于分类问题的归纳约束对于类概率限定下的决策域进行收敛，从而提升目标问题下的归纳结果的确定性，即，在存在归纳偏差的情况下提高了分类特征向量通过分类器的分类结果的准确性。这样，能够对于变温组件的功率值进行实时动态地智能控制，进而提高温度调节的响应性速度和精准度，以及提高变焦后图像的质量。

基于此，本申请提供了一种镜头的变焦控制方法，其包括：获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

图1为根据本申请实施例的镜头的变焦控制方法的应用场景图。如图1所示，在该应用场景中，获取预定时间段多个预定时间点的变温组件（例如，如图1中所示意的F）的功率值（例如，如图1中所示意的D1）以及所述多个预定时间点的变焦过程图像（例如，如图1中所示意的D2）然后，将所述多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像输入至部署有镜头的变焦控制算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于所述镜头的变焦控制算法生成用于表示当前时间点的变温组件的功率值应增大或应减小的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2为根据本申请实施例的镜头的变焦控制方法的流程图。如图2所示，根据本申请实施例的镜头的变焦控制方法，包括步骤：S110，获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；S120，将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；S130，将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；S140，将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；S150，计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；S160，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和，S170，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

图3为根据本申请实施例的镜头的变焦控制方法的架构示意图。如图3所示，在该网络架构中，首先，获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；然后，将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；接着，将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；然后，将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；接着，计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；然后，对所述分类特征向量进行特征分布优化以得到优化分类特征向量；最后，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

更具体地，在步骤S110中，获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像。变焦透镜通过变温组件中透明液体的温度变化来控制所述透明流体的体积变化从而改变所述透明气囊的曲率半径，进而改变其焦距。但是，由于温度控制的滞后性和不确定性，导致随着温度的变化，实现变焦响应后的图像质量会发生变化，因此，为了能够提高变焦后的图像质量以及避免响应速度过慢的情况，需要挖掘出所述变温组件的温度变化特征与图像质量变化特征质量的关联性特征信息，并以此来确定温度调节策略。

更具体地，在步骤S120中，将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器。考虑到在实际的变焦过程图像拍摄过程中，会由于变焦镜头所处的外界环境的干扰等因素造成采集到的不同时间点的变焦过程图像受到不同程度的影响。因此，为了能够在后续的变温组件温度控制中排除别的因素的干扰以提高温度调节的精准度，进一步将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器中进行降噪处理以通过所述自动编解码器来评估变焦过程中的图像质量，从而得到多个图像质量解码值。

具体地，所述编码器采用包含多个混合卷积层的深度卷积神经网络来对于所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像进行处理，以分别提取出所述各个预定时间点的变焦过程图像的图像质量多尺度隐含特征分布，从而得到多个图像特征表示。这里，通过所述混合卷积层的编码能够提取到更多尺度的特征以提高后续图形特征解码的精度。然后，再使用所述自动编解码器的解码器分别将所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值。

相应地，在一个具体示例中，如图4所示，在所述的变焦控制方法中，所述将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，包括：S121，使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示；以及，S122，使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值。

相应地，在一个具体示例中，如图5所示，在所述的变焦控制方法中，所述使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示，包括：S1211，将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第一卷积层以得到多个第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；S1212，将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第二卷积层以得到多个第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；S1213，将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第三卷积层以得到多个第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；S1214，将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第四卷积层以得到多个第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；S1215，分别融合所述多个第一尺度特征图、所述多个第二尺度特征图、所述多个第三尺度特征图和所述多个第四尺度特征图中相对应预定时间点处的特征图以得到所述多个图像特征表示。

相应地，在一个具体示例中，在所述的变焦控制方法中，所述使用所述自动编解码 器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述 多个图像质量解码值，包括：使用所述解码器以如下公式对所述多个图像特征表示中各个 图像特征表示进行解码回归以得到所述多个图像质量解码值；其中，所述公式为：

表示所述多个图像特征表示中各个图像特征表示，

表示所述 多个图像质量解码值中各个图像质量解码值，

表示权重矩阵，

表示偏置向量，

表示矩 阵乘。

更具体地，在步骤S130中，将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量。考虑到在实际的使用变温组件进行变焦的过程中，由于变焦之后的图像质量会存在波动性，因此，在本申请的技术方案中，将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块中进行编码，以提取出所述变焦过程图像在不同时间跨度下的多尺度邻域关联特征，也就是，捕捉变温调节过程中的所述图像质量的变化特征，从而得到多尺度图像质量特征向量。

相应地，在一个具体示例中，如图6所示，在所述的变焦控制方法中，所述将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量，包括：S131，将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;S132，将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，S133，将所述第一尺度图像质量特征向量和所述第二尺度图像质量特征向量进行级联以得到所述多尺度图像质量特征向量。

相应的，在一个具体示例中，所述将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，进一步包括：使用所述第一多尺度邻域特征提取模块的第一卷积层以如下公式对所述图像质量输入向量进行一维卷积编码以得到所述第一尺度图像质量特征向量；其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、

为第一卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，

表示所述图像质量输入向 量；

所述将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，进一步包括：使用所述第一多尺度邻域特征提取模块的第二卷积层以如下公式对所述图像质量输入向量进行一维卷积编码以得到所述第二尺度图像质量特征向量；其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、

为第二卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，

表示所述图像质量输入向 量。

更具体地，在步骤S140中，将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量。考虑到对于所述温度变化隐含特征提取就是对于所述变温组件的功率动态特征提取，因此，也将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块中进行编码处理，以提取出所述变温组件的功率在所述预定时间段的不同时间跨度下的多尺度邻域关联特征，即所述变温组件的温度在时序上的多尺度动态特征，从而得到多尺度功率特征向量。

相应地，在一个具体示例中，如图7所示，在所述的变焦控制方法中，所述将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量，包括：S141，将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;S142，将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，S143，将所述第一尺度功率特征向量和所述第二尺度功率特征向量进行级联以得到所述多尺度功率特征向量。

相应的，在一个具体示例中，所述将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，进一步包括：使用所述第二多尺度邻域特征提取模块的第一卷积层以如下公式对所述功率输入向量进行一维卷积编码以得到所述第一尺度功率特征向量；其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、

为第一卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，

表示所述功率输入向量；

所述将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，进一步包括：使用所述第二多尺度邻域特征提取模块的第二卷积层以如下公式对所述功率输入向量进行一维卷积编码以得到所述第二尺度功率特征向量；其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、

为第二卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，

表示所述功率输入向量。

更具体地，在步骤S150中，计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量。以此来将所述温度变化特征和图像质量变化特征进行关联，从而得到具有所述变温组件的温度在时序上的动态特征信息和所述变焦图像质量的动态变化特征信息之间的关联特征的分类特征向量。

相应地，在一个具体示例中，在所述的变焦控制方法中，所述计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量，包括：以如下公式计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；其中，所述公式为：

=

其中

表示所述多尺度功率特征向量，

表示所述多尺度图像质量特征向量，

表 示所述分类特征向量，

表示按位置点除。

特别地，在本申请的技术方案中，由于多个预定时间点的变温组件的功率值和变焦过程图像并不一定在时序方向上具有完全对应的时序排列关系，而在通过编解码器和多尺度邻域特征提取模块转换为特征向量后，其高阶关联关系的提取会进一步放大时序方向上的分布不对应性，导致计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计得到的分类特征向量中存在局部异常分布，使得在分类时导致分类的归纳偏差。因此，优选地，对所述分类特征向量进行分类偏差的可微算子转换优化。

更具体地，在步骤S160中，对所述分类特征向量进行特征分布优化以得到优化分类特征向量。

相应地，在一个具体示例中，在所述的变焦控制方法中，所述对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：

其中

表示是所述分类特征向量的第

个位置的特征值，

表示所述优化分类特 征向量的第

个位置的特征值，

表示以2为底的对数函数值。

这里，针对所述分类特征向量的高维特征分布在分类问题下的归纳偏差，基于归纳收敛速率的可导约束形式将该归纳偏差转换为可微算子的信息化表达组合，以基于分类问题的归纳约束对于类概率限定下的决策域进行收敛，从而提升目标问题下的归纳结果的确定性，即，在存在归纳偏差的情况下提高了分类特征向量通过分类器的分类结果的准确性。这样，能够对于变温组件的功率值进行实时动态地智能控制，进而提高温度调节的响应性速度和精准度，以及提高变焦后图像的质量。

更具体地，在步骤S170中，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

相应地，在一个具体示例中，如图8所示，在所述的变焦控制方法中，所述将所述优化分类特征向量通过分类器以得到分类结果，包括：S171，使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；S172，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的镜头的变焦控制方法，其首先将获得的多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器并排列后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量，接着，将所述多个预定时间点的变温组件的功率值排列后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；然后，计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计并进行特征分布优化以得到优化分类特征向量，最后，将所述优化分类特征向量通过分类器以得到用于表示当前时间点的变温组件的功率值应增大或应减小的分类结果。这样，可以提高温度调节的响应性速度和精准度。

示例性系统

图9为根据本申请实施例的镜头的变焦控制系统100的框图。如图9所示，根据本申请实施例的镜头的变焦控制系统100，包括：数据获取模块110，用于获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；编解码模块120，用于将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；多尺度图像质量特征向量提取模块130，用于将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；多尺度功率特征向量提取模块140，用于将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；响应性估计模块150，用于计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；特征分布优化模块160，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和，分类结果生成模块170，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小。

在一个示例中，在上述镜头的变焦控制系统100中，所述编解码模块120，包括：编码单元，用于使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示；以及，解码单元，用于使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值。

在一个示例中，在上述镜头的变焦控制系统100中，所述编码单元，进一步用于：将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第一卷积层以得到多个第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第二卷积层以得到多个第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第三卷积层以得到多个第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第四卷积层以得到多个第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；分别融合所述多个第一尺度特征图、所述多个第二尺度特征图、所述多个第三尺度特征图和所述多个第四尺度特征图中相对应预定时间点处的特征图以得到所述多个图像特征表示。

在一个示例中，在上述镜头的变焦控制系统100中，所述解码单元，进一步用于：使用所述解码器以如下公式对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

其中，所述公式为：

表示所述多个图像特征表示中各 个图像特征表示，

表示所述多个图像质量解码值中各个图像质量解码值，

表示权重矩 阵，

表示偏置向量，

表示矩阵乘。

在一个示例中，在上述镜头的变焦控制系统100中，所述多尺度图像质量特征向量提取模块，进一步包括：图像第一卷积单元，用于将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;图像第二卷积单元，用于将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，图像级联单元，用于将所述第一尺度图像质量特征向量和所述第二尺度图像质量特征向量进行级联以得到所述多尺度图像质量特征向量。

相应的，在一个具体示例中，所述图像第一卷积单元，进一步用于：使用所述第一多尺度邻域特征提取模块的第一卷积层以如下公式对所述图像质量输入向量进行一维卷积编码以得到所述第一尺度图像质量特征向量；其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、

为第一卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，表示所述图像质量输入向量；

所述图像第二卷积单元，进一步用于：使用所述第一多尺度邻域特征提取模块的第二卷积层以如下公式对所述图像质量输入向量进行一维卷积编码以得到所述第二尺度图像质量特征向量；其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、

为第二卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，

表示所述图像质量输入向 量。

在一个示例中，在上述镜头的变焦控制系统100中，所述多尺度功率特征向量提取模块，进一步包括：功率第一卷积单元，用于将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;功率第二卷积单元，用于将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，功率级联单元，用于将所述第一尺度功率特征向量和所述第二尺度功率特征向量进行级联以得到所述多尺度功率特征向量。

相应的，在一个具体示例中，所述功率第一卷积单元，进一步用于：使用所述第二多尺度邻域特征提取模块的第一卷积层以如下公式对所述功率输入向量进行一维卷积编码以得到所述第一尺度功率特征向量；其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、

为第一卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，

表示所述功率输入向量；

所述功率第二卷积单元，进一步用于：使用所述第二多尺度邻域特征提取模块的第二卷积层以如下公式对所述功率输入向量进行一维卷积编码以得到所述第二尺度功率特征向量；其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、

为第二卷积核参数向量、

为 与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，

表示所述功率输入向量。

在一个示例中，在上述镜头的变焦控制系统100中，所述响应性估计模块，进一步用于：以如下公式计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；其中，所述公式为：

=

其中

表示所述多尺度功率特征向量，

表示所述多尺度图像质量特征向量，

表 示所述分类特征向量，

表示按位置点除。

在一个示例中，在上述镜头的变焦控制系统100中，所述特征分布优化模块，进一步用于：以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；其中，所述公式为：

其中

表示是所述分类特征向量的第

个位置的特征值，

表示所述优化分类特 征向量的第

个位置的特征值，

表示以2为底的对数函数值。

在一个示例中，在上述镜头的变焦控制系统100中，所述分类结果生成模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；分类单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述镜头的变焦控制系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图8的镜头的变焦控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的镜头的变焦控制系统100可以实现在各种无线终端中，例如镜头的变焦控制算法的服务器等。在一个示例中，根据本申请实施例的镜头的变焦控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该镜头的变焦控制系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该镜头的变焦控制系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该镜头的变焦控制系统100与该无线终端也可以是分立的设备，并且该镜头的变焦控制系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (5)

1.一种镜头的变焦控制方法，其特征在于，包括：

获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；

将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；

将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；

将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；

计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和

将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小；

所述将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，包括：

使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示；以及

使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

所述使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值，包括：

使用所述解码器以如下公式对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

其中，所述公式为：

其中F_d表示所述多个图像特征表示中各个图像特征表示，Y表示所述多个图像质量解码值中各个图像质量解码值，W表示权重矩阵，B表示偏置向量，/>

表示矩阵乘；

所述将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量，包括：

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度图像质量特征向量和所述第二尺度图像质量特征向量进行级联以得到所述多尺度图像质量特征向量；

所述将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量，包括：

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度功率特征向量和所述第二尺度功率特征向量进行级联以得到所述多尺度功率特征向量；

所述计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量，包括：

以如下公式计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

其中，所述公式为：

其中V₁表示所述多尺度功率特征向量，V₂表示所述多尺度图像质量特征向量，V₃表示所述分类特征向量，

表示按位置点除。

2.根据权利要求1所述的镜头的变焦控制方法，其特征在于，所述使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示，包括：

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第一卷积层以得到多个第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第二卷积层以得到多个第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第三卷积层以得到多个第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；

将所述各个预定时间点的变焦过程图像分别输入所述编码器的多个混合卷积层的第四卷积层以得到多个第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；

分别融合所述多个第一尺度特征图、所述多个第二尺度特征图、所述多个第三尺度特征图和所述多个第四尺度特征图中相对应预定时间点处的特征图以得到所述多个图像特征表示。

3.根据权利要求2所述的镜头的变焦控制方法，其特征在于，所述对所述分类特征向量进行特征分布优化以得到优化分类特征向量，包括：

以如下公式对所述分类特征向量进行特征分布优化以得到所述优化分类特征向量；

其中，所述公式为：

其中v_i表示是所述分类特征向量的第i个位置的特征值，v_i′表示所述优化分类特征向量的第i个位置的特征值，log表示以2为底的对数函数值。

4.根据权利要求3所述的镜头的变焦控制方法，其特征在于，所述将所述优化分类特征向量通过分类器以得到分类结果，包括：

使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

5.一种镜头的变焦控制系统，其特征在于，包括：

数据获取模块，用于获取预定时间段多个预定时间点的变温组件的功率值以及所述多个预定时间点的变焦过程图像；

编解码模块，用于将所述多个预定时间点的变焦过程图像中各个预定时间点的变焦过程图像分别通过自动编解码器以得到多个图像质量解码值，其中，所述自动编解码器包括编码器和与所述编码器级联的解码器；

多尺度图像质量特征向量提取模块，用于将所述多个图像质量解码值排列为图像质量输入向量后通过第一多尺度邻域特征提取模块以得到多尺度图像质量特征向量；

多尺度功率特征向量提取模块，用于将所述多个预定时间点的变温组件的功率值排列为功率输入向量后通过第二多尺度邻域特征提取模块以得到多尺度功率特征向量；

响应性估计模块，用于计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

特征分布优化模块，用于对所述分类特征向量进行特征分布优化以得到优化分类特征向量；和

分类结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示当前时间点的变温组件的功率值应增大或应减小；

所述编解码模块还用于：

使用所述自动编解码器的编码器分别对所述各个预定时间点的变焦过程图像进行图像编码以得到多个图像特征表示；以及

使用所述自动编解码器的解码器分别对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

所述编解码模块还用于：

使用所述解码器以如下公式对所述多个图像特征表示中各个图像特征表示进行解码回归以得到所述多个图像质量解码值；

其中，所述公式为：

其中F_d表示所述多个图像特征表示中各个图像特征表示，Y表示所述多个图像质量解码值中各个图像质量解码值，W表示权重矩阵，B表示偏置向量，/>

表示矩阵乘；

所述多尺度图像质量特征向量提取模块还用于：

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第一卷积层以得到第一尺度图像质量特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

将所述图像质量输入向量输入所述第一多尺度邻域特征提取模块的第二卷积层以得到第二尺度图像质量特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度图像质量特征向量和所述第二尺度图像质量特征向量进行级联以得到所述多尺度图像质量特征向量；

所述多尺度功率特征向量提取模块还用于：

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第一卷积层以得到第一尺度功率特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

将所述功率输入向量输入所述第二多尺度邻域特征提取模块的第二卷积层以得到第二尺度功率特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

将所述第一尺度功率特征向量和所述第二尺度功率特征向量进行级联以得到所述多尺度功率特征向量；

所述响应性估计模块还用于：

以如下公式计算所述多尺度功率特征向量相对于所述多尺度图像质量特征向量的响应性估计以得到分类特征向量；

其中，所述公式为：

其中V₁表示所述多尺度功率特征向量，V₂表示所述多尺度图像质量特征向量，V₃表示所述分类特征向量，

表示按位置点除。/>

Images