CN105680827A - 一种腔体滤波器智能调谐算法及使用该算法的调谐方法 - Google Patents

Abstract

一种使用腔体滤波器智能调谐算法的调谐方法，其特征在于，包括：安装连接调谐系统，所述调谐系统包括工控机系统、机械执行机构、腔体滤波器、及矢量网络分析仪；采样当前待调腔体滤波器的S参数波形；将采样的S参数波形降维处理得到该S参数波形的降维特征；将当前S参数波形的降维特征输入预先训练好的调谐策略模型计算出待调腔体滤波器需执行的调谐动作；输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆。本申请实现了滤波器的自动调谐，解决了现有人工调谐低效率、高成本的缺陷。

Description

一种腔体滤波器智能调谐算法及使用该算法的调谐方法

技术领域

本申请涉及工业机器人和自动化领域，尤其涉及一种腔体滤波器智能调谐算法及使用该算法的调谐方法。

背景技术

腔体滤波器是一种无源微波器件，广泛应用于卫星通信、中继通信、雷达、电子对抗及微波测量仪表中，它的使用对于分离频谱信息、提高通信质量、防止信号串扰有着十分重要的作用。在腔体滤波器生产过程中，由于工件存在生产误差，需要调整调谐螺杆的位置，即调整滤波器内的形状，从而使得腔体滤波器符合规格要求——这一工序简称为“滤波器调谐工序”。

当前，“滤波器调谐工序”主要采用人工操作，即工人使用螺丝刀，观察矢量网络分析仪显示的散射参数(S参数)波形的变化，根据自己的调谐经验进行判断，逐个手动调谐腔体滤波器上的调谐螺杆，直到矢量网络分析仪显示的S参数波形符合要求。现有的人工调试工序极为复杂：一个腔体滤波器由多路谐振腔构成，每路谐振腔均有不同的波形输出的要求，需要通过几个至十几个调谐杆的高度来调谐。每个调谐杆的高度对整体的波形输出均有不同的影响，调谐杆的高度的不同组合也会影响输出，且所产生影响的规律难以把握。且调试工序还没有一套规范固定的程序，能实现快速的调谐，只能通过人工观察S参数波形，凭借经验，不断循环尝试。据统计，对于一个调谐经验比较丰富的工人，调好一个腔体滤波器产品，也需要花费30到40分钟，调试效率极低。

且由于受到前段生产工艺、机械加工精度、手工作业等的影响，同一款腔体滤波器产品也存在个体差异。作为一种十分敏感的电子产品，同种腔体滤波器产品的个体差异会对滤波波形输出产生较大影响，即同一款腔体滤波器产品并不适用同一种调谐方式，同一款产品中的每个个体均需不一样的调谐方式。

发明内容

本申请实施例提供一种腔体滤波器智能调谐方法，用以解决现有技术中无法实现自动化调谐腔体滤波器，人工调谐腔体滤波器效率低下、成本高昂的问题。

本申请实施例采用下述技术方案：

一种腔体滤波器智能调谐算法，其特征在于，包括：

设定目标数据并获取实际数据，所述目标数据包括待调腔体滤波器的调谐指标、腔体滤波器的调谐螺杆分布位置、可调位置限制、调谐螺杆数量，所述实际数据包括当前腔体滤波器的S参数波形；

随机采集S参数波形样本数据并获取特征向量；

训练获得调谐策略模型，所述调谐策略模型是增强学习模型与神经网络系统的融合，包括状态、环境、奖励、动作和策略，其中状态为当前S参数波形的降维特征，环境为待调滤波器，动作为滤波器调谐过程中调谐螺杆的执行动作，策略为“ε-贪婪机制”，根据策略挑选动作、执行动作获得新状态和对应新奖励值以不断优化策略，使奖励值达到最佳。

优选地，随机采集S参数波形样本数据并获取特征向量，包括：

随机调整腔体滤波器的调谐螺杆的高度，采集若干状态下S参数波形的原始样本数据，该样本数据包含各种螺杆高度组合对应的S参数波形；

计算采集到的样本数据的协方差矩阵；

利用奇异值分解求出协方差矩阵的特征向量和特征值，并将特征值按大到小排序；

选取前k个最大的特征值对应的特征向量得到S参数波形的特征向量。

优选地，选取前k个最大的特征值对应的特征向量得到S参数波形的特征向量，其中，所述k为5。

优选地，训练获得调谐策略模型，包括：

初始化调谐策略模型，包括设置待调滤波器的调谐指标、神经网络的各参数、数据储存空间大小、样本抽取数量、训练周期数、最大调谐步数；

从数据空间中随机采样以获取训练样本；每组样本数据包括“原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)”四部分，其中“原状态”为某时刻的S参数波形经数据降维后的特征，“动作”为某个可执行的调谐螺杆的调谐动作，“新状态”为相对于“原状态”，指在执行“动作”后得到的S参数波形降维后的特征，“该动作的奖励值”为经过以上动作获取到的奖励值，根据当前S参数波形与调谐目标S参数波形的欧氏距离计算得到；

用训练样本数据训练并更新Q网络，其中输入为训练样本数据中的“原状态”，输出目标为各执行动作对应的Q值，依据如下公式计算：

$y_t=r_t+\mathrm{\γ}max\hat{Q}(s_{t+1},a_{t+1};w,b),$

其中，r_t表示第t步的奖励值，w和b为Q网络的参数，即神经网络各层的权值和偏置，s_t+1为“新状态”，a_t+1为“新状态”下可执行的有效动作，γ为设定的折扣因子；

采样待调滤波器的当前状态的S参数波形，输入当前状态S参数波形降维后特征，经过Q网络预测获得各个执行动作对应的Q值；

以“ε-贪婪机制”选取合适的Q值对应的执行动作并作用于调谐螺杆，完成本次的滤波器调谐动作；

采样待调滤波器执行调谐动作后的S参数波形，计算与调谐目标S参数波形的欧氏距离，计算出本次动作执行的奖励值。

对执行调谐动作后获得的S参数波形进行数据降维处理；

保存本次执行动作的数据组到数据存储空间，数据组包括原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)。

优选地，在保存执行调谐动作的数据组到存储空间后，还包括步骤：

判断当前的S参数波形是否达到目标S参数波形：

若当前的S参数波形达到目标S参数波形，则退出本周期的训练过程；

若当前的S参数波形未达到目标S参数波形，且未超出最大执行步数，则跳转至步骤“从数据空间中随机采样以获取训练样本”继续优化；

若当前的S参数波形未达到目标S参数波形，且已超出最大执行步数，则退出本周期训练过程。

优选地，从数据空间中随机采样以获取训练样本，包括：

若存储空间中无样本数据，则设置本次的样本数据全为0；

若存储空间中样本数据不足预设数量，则进行重复抽取直至达到预设数量。

优选地，调谐策略模型的Q网络是通过一个单隐层前向传播神经网络来实现的，即具有一个输入层、一个输出层，一个中间隐藏层，其中神经网络的隐藏层神经元个数为m个，输入层为数据存储空间中抽取的样本数据的“原状态”，输出层为每个可执行动作对应的Q值，激活函数为S型函数，神经网络参数的优化方法为随机梯度下降的方法。

优选地，定义每根调谐螺杆以某个固定角度顺、逆时针旋转，Q网络输出单元的个数为调谐螺杆根数的2倍。

一种使用腔体滤波器智能调谐算法的调谐方法，包括：

安装连接调谐系统，所述调谐系统包括工控机系统、连接工控机系统的机械执行机构、置于所述机械执行机构内的腔体滤波器、连接工控机系统与腔体滤波器的矢量网络分析仪；

采样当前待调腔体滤波器的S参数波形；

将采样的S参数波形降维处理得到该S参数波形的降维特征；

将当前S参数波形的降维特征输入预先训练好的调谐策略模型计算出待调腔体滤波器需执行的调谐动作；选择动作的方式仍然为“ε-贪婪机制”，此时ε固定为一个较小的数值，如0.1；

输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆。

优选地，在输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆之后，还包括步骤：

采样执行所述调谐动作后的腔体滤波器的S参数波形并与目标S参数波形进行比较：

若执行所述调谐动作后采样的S参数波形达到目标S参数波形的要求，则完成当前腔体滤波器的调谐工作；

若执行所述调谐动作后采样的S参数波形未达到目标S参数波形的要求，则跳转至步骤“将采样的S参数波形降维处理得到该S参数波形的降维特征”继续调谐工作。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过训练一个调谐策略模型来寻找腔体滤波器调谐动作的最优控制策略，通过训练一个Q网络，该网络以S参数波形状态为输入，滤波器各螺杆的调节动作所对应的Q值为输出，然后以ε-贪婪机制和各动作对应的Q值来选择动作。Q网络训练完成后即可获得某一种波器的最佳调谐动作的调谐策略模型，将该调谐策略模型应用于同种滤波器的任意个体的实际调谐作业中，能够快速调谐腔体滤波器，解决了现有技术中依靠人工经验调谐效率低、成本高的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例一提供的腔体滤波器智能调谐算法流程图；

图2为本申请实施例二提供的使用调谐算法的腔体滤波器智能调谐方法流程图；

图3为本申请腔体滤波器调谐系统的安装图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

实施例1

图1为本申请实施例1提供的腔体滤波器智能调谐算法的流程图，本案通过训练一个调谐策略模型来寻找最优控制策略，基本方法是首先训练一个Q网络，该网络以S参数波形状态为输入，滤波器各螺杆的调节动作所对应的Q值为输出。然后以ε-贪婪机制和各动作对应的Q值来选择动作。训练完成后，即可将该调谐策略模型应用于同种滤波器任意个体的实际调谐作业中。包括以下步骤：

S11：设定目标数据并获取实际数据。

本步骤所述目标数据包括待调腔体滤波器的调谐指标(即需要达成的S参数波形范围)、腔体滤波器的调谐螺杆分布位置、可调位置限制、调谐螺杆数量等数据。该等目标数据由滤波器设计者提供，并在该类滤波器的初次调谐时由技术人员输入系统。所述实际数据包括当前腔体滤波器的对应调谐螺杆的位置分布数据、及从连接系统矢量网络分析仪获取的当前待调腔体滤波器的S参数波形。

S12：随机采集S参数波形样本数据并获取特征向量。

本步骤是指随机采集滤波器若干状态下的S参数波形作为样本数据，并处理该样本数据获得S参数波形的特征向量。

本步骤中实际获取的S参数波形数据一般为401维或801维等(即矢量网络分析仪对S参数波形采样的频率点个数)，该实际获取的S参数波形作为模型的输入数据，S参数波形的维度很高，需要利用数据降维方法对S参数波形的特征进行提取(即数据降维)，以降低模型的复杂度，提高模型的执行效率。而对S参数波形进行降维处理，需要计算出S参数波形的特征向量，然后利用特征向量对实际采样的S参数波形数据进行降维处理。本步骤所述特征向量的提取，包括步骤：

S121：随机调整腔体滤波器的调谐螺杆的高度，采集若干状态下S参数波形的原始样本数据，该样本数据包含各种螺杆高度组合对应的S参数波形；

S122：计算采集到的样本数据的协方差矩阵；

S123：利用奇异值分解求出协方差矩阵的特征向量和特征值，并将特征值按大到小排序；

S124：选取前k个最大的特征值对应的特征向量得到S参数波形的特征向量，本实施例中k的最佳值为5。

S13：训练获得调谐策略模型。

本步骤调谐策略模型的训练融合了增强学习模型与神经网络系统，增强学习的过程是不断与环境交互以获得状态和奖励值，并根据策略挑选动作、执行动作获得新状态和对应新奖励值的过程，在该过程的反复执行中不断优化策略，从而尽可能地选择最佳的动作，使未来的预计奖励值达到最大。本步骤中的调谐策略模型是由状态、环境、奖励、动作和策略组成的增强学习模型，其中状态为当前S参数波形的降维特征，环境为待调滤波器，动作为滤波器调谐过程中调谐螺杆的执行动作，策略为用“ε-贪婪机制”根据Q网络输出的各执行动作的Q值选择合适的执行动作。包括如下步骤：

S131：初始化调谐策略模型，主要包括设置待调滤波器的调谐指标(即目标S参数波形范围)、神经网络的各参数、数据储存空间大小、样本抽取数量、训练周期数、最大调谐步数等。

所述神经网络中的参数包括权值、偏置、及神经网络结构。所述神经网络参数的权值与偏置表示为如公式(1)中的w和b，预先根据经验对其值进行初始化，该参数将在训练中被不断更新。所述神经网络结构包括神经网络的层数，以及各层的神经元个数，这属于模型选择问题，可通过多次实验结合经验选取最合适的模型。

S132：从数据空间中随机采样以获取训练样本：若存储空间中无样本数据，则设置本次的样本数据全为0，若存储空间中样本数据不足预设数量，则进行重复抽取直至达到预设数量。所述样本数据的数量依据设备的计算能力设置，如32组数据为本实施例的最佳数量。

其中，每组样本数据包括“原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)”四部分，其中“原状态”为某时刻的S参数波形经数据降维后的特征(k维向量)，“动作”为某个可执行的调谐螺杆的调谐动作(各根螺杆固定步长的正、反转调谐)，“新状态”为相对于“原状态”，指在执行“动作”后得到的S参数波形降维后的特征，可通过特征矩阵反算为对应的S参数波形，“该动作的奖励值”为经过以上动作获取到的奖励值，根据当前S参数波形与调谐目标S参数波形的欧氏距离计算得到，当距离减小时，奖励值为正，表明波形在向目标迈进；当距离增大时，奖励值为负，表明波形正在远离目标。

S133：用训练样本数据训练并更新Q网络，其中输入为训练样本数据中的“原状态”(即S参数波形降维后的特征)，输出目标为各执行动作对应的Q值(即Q＝f(x；w,b)，其中w,b分别为神经网络的权值和偏置)，激活函数为S型函数(sigmoid函数，即g(x)＝1/(1+e^-x)，为神经网络各中间层的激活函数)，神经网络参数的优化方法为随机梯度下降的方法；调谐策略模型的Q网络是通过一个单隐层前向传播神经网络来实现的(即具有一个输入层、一个输出层，一个中间隐藏层)，其中神经网络的隐藏层神经元个数为m个(这里m取10)，输入层为数据存储空间中抽取的样本数据的“原状态”(即S参数波形经降维后的特征)，输出层为每个可执行动作对应的Q值，目标输出的计算遵循公式(1)：

$y_t=r_t+\mathrm{\γ}max\hat{Q}(s_{t+1},a_{t+1};w,b)---\left(1\right),$

其中，r_t表示第t步的奖励值，w和b为Q网络的参数(即神经网络的权值和偏置，在训练过程中不断优化)，s_t+1为“新状态”，a_t+1为“新状态”下可执行的有效动作，γ为设定的折扣因子，其范围在0到1之间，本实施例中设为0.9。

S134：采样当前待调滤波器的当前状态的S参数波形，输入当前状态S参数波形降维后特征，经过Q网络预测获得各个执行动作对应的Q值。

本步骤是指系统直接使用当前调谐步的S参数波形数据(通过网络分析仪获取)经降维后的特征作为输入输送到Q网络，得到对应的各Q值。即首先获取当前S参数波形、将S参数波形数据输送给训练过的Q网络、得到各Q值。本案中，输出单元的个数与调谐螺杆根数有关，因为我们定义合法的调节动作，为每根螺杆以某个固定角度顺、逆时针旋转，所以输出单元的个数，即Q值的个数，也即合法的动作总数，为调谐螺杆根数的2倍。

S135：以“ε-贪婪机制”选取合适的Q值对应的执行动作并作用于调谐螺杆，完成本次的滤波器调谐动作；其中，ε-贪婪机制是指以ε概率随机选择动作，以1-ε的概率选择Q值最大的动作执行；ε为0到1之间的一个参数。在模型的训练过程中，ε的值根据公式(2)逐渐减小：

$\mathrm{\ϵ}=0.99-\frac{N_s}{1000000}---\left(2\right),$

其中，N_s表示本周期训练中已探索到的S参数波形总数，也即存入数据存储空间的数据组的数量。

S136：采样待调滤波器执行调谐动作后的S参数波形，计算与调谐目标S参数波形的欧氏距离，计算出本次动作执行的奖励值。

所述奖励值的定义不唯一，其主要反映S参数波形的变化是变好还是变差，如果变差奖励值为负，如果变好，奖励值为正。变差或变好的定义，根据波形的变化与目标S参数波形的欧式距离决定。

S137：对执行调谐动作后获得的S参数波形进行数据降维处理；

S138：保存本次执行动作的数据组到数据存储空间，数据组包括原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)；

S139：判断当前的S参数波形是否达到目标S参数波形：

若当前的S参数波形达到目标S参数波形，则退出本周期的训练过程；

若当前的S参数波形未达到目标S参数波形，且未超出最大执行步数，则返回步骤S132继续执行；

若当前的S参数波形未达到目标S参数波形，且已超出最大执行步数，则退出本周期训练过程。

经过上述多个训练周期的Q网络更新后，将得到快速调谐滤波器的最优调谐策略模型。

实施例2

图2为本申请实施例2提供的使用前述调谐算法的腔体滤波器智能调谐方法的流程图，主要是指利用前述通过调谐算法获得的调谐策略模型作为腔体滤波器调谐动作的计算依据以快速调谐腔体滤波器。具体包括：

S21：安装连接调谐系统。

本步骤的调谐系统如图3所示，包括工控机系统1-1、腔体滤波器(双工器或合路器)1-3、连接所述工控机系统1-1与腔体滤波器1-3的矢量网络分析仪1-2、连接所述工控机系统1-1的机械执行机构1-5、及设于所述机械执行机构1-1内用于腔体滤波器1-3的定位点1-4。

所述工控机系统1-1主要用于运行定位数据采集、矢量网络分析仪的波形数据提取、调谐策略模型的训练、调谐动作的预测、执行机械控制等程序。工控机系统直接采用普通高性能工控机，工控机系统应具备串口、网络接口、PCI-E、DVI等接口。所述机械执行机构1-5采用的是由四轴以上的工业机械臂、电动螺丝刀、电动摆手组成的工业机器手，该机械执行机构在调整调谐螺杆高度的同时能够松/紧对应调谐螺杆的螺母。所述矢量网络分析仪用于实时测量待调滤波器的S参数波形，其频率可按照实际调试滤波器的需求选定，需要支持网络接口或其它方式向工控机传输测量得到的S参数波形数据，数据格式可以是CSV(Comma-SeparatedValues)格式、S参数文件格式等。一种解决方案是：采用是德科技/Keysight公司生产的E5071C型号矢量网络分析仪，该仪器直接通过网络接口向工控机系统1-1传输数据。

S22：采样当前待调腔体滤波器的S参数波形。

S23：将采样的S参数波形降维处理得到该S参数波形的降维特征。

S24：将当前S参数波形的降维特征输入预先训练好的调谐策略模型计算出待调腔体滤波器需执行的调谐动作。选择动作的方式仍然为“ε-贪婪机制”，此时ε固定为一个较小的数值，优选地，为0.1。

本步骤所述调谐策略模型为实施例1中通过样本数据训练得到的适用于同一种腔体滤波器调谐的调谐策略。本步骤具体是指通过调谐策略模型与当前S参数波形进行比较，并计算出当前腔体滤波器需要达成目标输出的S参数波形所需的调谐动作，所述调谐动作是指腔体滤波器的调谐螺杆所需调节的范围。本步骤具体由工控机系统执行。

S25：输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆。

S26：采样执行所述调谐动作后的腔体滤波器的S参数波形并与目标S参数波形进行比较：

若执行所述调谐动作后采样的S参数波形达到目标S参数波形的要求，则当前腔体滤波器调谐完成；

若执行所述调谐动作后采样的S参数波形未达到目标S参数波形的要求，则跳转步骤S23继续调谐工作。

本申请通过训练一个调谐策略模型来寻找腔体滤波器调谐动作的最优控制策略，通过训练一个Q网络，该网络以S参数波形状态为输入，滤波器各螺杆的调节动作所对应的Q值为输出，然后以ε-贪婪机制和各动作对应的Q值来选择动作。Q网络训练完成后即可获得某一种滤波器的最佳调谐动作的调谐策略模型，将该调谐策略模型应用于同种滤波器的任意个体的实际调谐作业中，能够快速调谐腔体滤波器，解决了现有技术中依靠人工经验调谐效率低、成本高的问题。

需要说明的是，实施例一所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程对象聚类设备的处理器以产生一个机器，使得通过计算机或其他可编程对象聚类设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程对象聚类设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程对象聚类设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种腔体滤波器智能调谐算法，其特征在于，包括：

设定目标数据并获取实际数据，所述目标数据包括待调腔体滤波器的调谐指标、腔体滤波器的调谐螺杆分布位置、可调位置限制、调谐螺杆数量，所述实际数据包括当前腔体滤波器的S参数波形；

随机采集S参数波形样本数据并获取特征向量；

训练获得调谐策略模型，所述调谐策略模型是增强学习模型与神经网络系统的融合，包括状态、环境、奖励、动作和策略，其中状态为当前S参数波形的降维特征，环境为待调滤波器，动作为滤波器调谐过程中调谐螺杆的执行动作，策略为“ε-贪婪机制”，根据策略挑选动作、执行动作获得新状态和对应新奖励值以不断优化策略，使奖励值达到最佳。

2.如权利要求1所述的调谐算法，其特征在于，随机采集S参数波形样本数据并获取特征向量，包括：

随机调整腔体滤波器的调谐螺杆的高度，采集若干状态下S参数波形的原始样本数据，该样本数据包含各种螺杆高度组合对应的S参数波形；

计算采集到的样本数据的协方差矩阵；

利用奇异值分解求出协方差矩阵的特征向量和特征值，并将特征值按大到小排序；

选取前k个最大的特征值对应的特征向量得到S参数波形的特征向量。

3.如权利要求2所述的调谐算法，其特征在于，选取前k个最大的特征值对应的特征向量得到S参数波形的特征向量，其中，所述k为5。

4.如权利要求2所述的调谐算法，其特征在于，训练获得调谐策略模型，包括：

初始化调谐策略模型，包括设置待调滤波器的调谐指标、神经网络的各参数、数据储存空间大小、样本抽取数量、训练周期数、最大调谐步数；

从数据空间中随机采样以获取训练样本；每组样本数据包括“原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)”四部分，其中“原状态”为某时刻的S参数波形经数据降维后的特征，“动作”为某个可执行的调谐螺杆的调谐动作，“新状态”为相对于“原状态”，指在执行“动作”后得到的S参数波形降维后的特征，“该动作的奖励值”为经过以上动作获取到的奖励值，根据当前S参数波形与调谐目标S参数波形的欧氏距离计算得到；

用训练样本数据训练并更新Q网络，其中输入为训练样本数据中的“原状态”，输出目标为各执行动作对应的Q值，依据如下公式计算：

$y_t=r_t+\mathrm{\γ}max\hat{Q}(s_{t+1},a_{t+1};w,b),$

其中，r_t表示第t步的奖励值，w和b为Q网络的参数，即神经网络各层的权值和偏置，s_t+1为“新状态”，a_t+1为“新状态”下可执行的有效动作，γ为设定的折扣因子；

采样待调滤波器的当前状态的S参数波形，输入当前状态S参数波形降维后特征，经过Q网络预测获得各个执行动作对应的Q值；

以“ε-贪婪机制”选取合适的Q值对应的执行动作并作用于调谐螺杆，完成本次的滤波器调谐动作；

采样待调滤波器执行调谐动作后的S参数波形，计算与调谐目标S参数波形的欧氏距离，计算出本次动作执行的奖励值。

对执行调谐动作后获得的S参数波形进行数据降维处理；

保存本次执行动作的数据组到数据存储空间，数据组包括原状态(s_t)、动作(a_t)、新状态(s_t+1)、该动作的奖励值(r_t)。

5.如权利要求4所述的调谐算法，其特征在于，在保存执行调谐动作的数据组到存储空间后，还包括步骤：

判断当前的S参数波形是否达到目标S参数波形：

若当前的S参数波形达到目标S参数波形，则退出本周期的训练过程；

若当前的S参数波形未达到目标S参数波形，且未超出最大执行步数，则跳转至步骤“从数据空间中随机采样以获取训练样本”继续优化；

若当前的S参数波形未达到目标S参数波形，且已超出最大执行步数，则退出本周期训练过程。

6.如权利要求4所述的调谐算法，其特征在于，从数据空间中随机采样以获取训练样本，包括：

若存储空间中无样本数据，则设置本次的样本数据全为0；

若存储空间中样本数据不足预设数量，则进行重复抽取直至达到预设数量。

7.如权利要求4所述的调谐算法，其特征在于，调谐策略模型的Q网络是通过一个单隐层前向传播神经网络来实现的，即具有一个输入层、一个输出层，一个中间隐藏层，其中神经网络的隐藏层神经元个数为m个，输入层为数据存储空间中抽取的样本数据的“原状态”，输出层为每个可执行动作对应的Q值，激活函数为S型函数，神经网络参数的优化方法为随机梯度下降的方法。

8.如权利要求7所述的调谐算法，其特征在于，定义每根调谐螺杆以某个固定角度顺、逆时针旋转，Q网络输出单元的个数为调谐螺杆根数的2倍。

9.一种使用如权利要求1-7任一项所述的腔体滤波器智能调谐算法的调谐方法，其特征在于，包括：

安装连接调谐系统，所述调谐系统包括工控机系统、连接工控机系统的机械执行机构、置于所述机械执行机构内的腔体滤波器、连接工控机系统与腔体滤波器的矢量网络分析仪；

采样当前待调腔体滤波器的S参数波形；

将采样的S参数波形降维处理得到该S参数波形的降维特征；

将当前S参数波形的降维特征输入预先训练好的调谐策略模型计算出待调腔体滤波器需执行的调谐动作；

输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆。

10.如权利要求9所述的调谐方法，其特征在于，在输出计算得到的调谐动作指令并依据所述调谐动作指令调节所述腔体滤波器的调谐螺杆之后，还包括步骤：

采样执行所述调谐动作后的腔体滤波器的S参数波形并与目标S参数波形进行比较：

若执行所述调谐动作后采样的S参数波形达到目标S参数波形的要求，则完成当前腔体滤波器的调谐工作；

若执行所述调谐动作后采样的S参数波形未达到目标S参数波形的要求，则跳转至步骤“将采样的S参数波形降维处理得到该S参数波形的降维特征”继续调谐工作。