CN113065284A - 一种基于q学习的三重四极质谱仪参数优化策略计算方法 - Google Patents

Abstract

本发明提供了一种基于Q学习的三重四极质谱仪参数优化策略计算方法，质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关。本发明有益效果：应用Q学习算法计算三重四极质谱仪参数调节的最佳策略，这是一种基于强化学习的参数优化方法，在三重四极质谱仪调谐的过程中，需要优化的参数较多，可能的组合多达上千万，如果每一个参数都优化，则将陷入难以接受的等待中，应用Q学习算法则可以使用较短的时间达到全局最优组合的附近，以使得三重四极质谱仪工作在较好的状态。

Description

一种基于Q学习的三重四极质谱仪参数优化策略计算方法

技术领域

本发明属于质谱仪技术领域，尤其是涉及一种基于Q学习的三重四极质谱仪参数优化策略计算方法。

背景技术

三重四极杆质谱仪是当下药物公司研发部门、大学实验室、研究所和医院对物质定性分析的重要工具。顾名思义，四极杆即为四根平行或呈一定角度排列的金属棒构成的模块，三重四极杆质谱仪由若干这样的模块串联而成。根据马修方程，在四极杆上加相应直流电压和射频电压，可以筛选出特定的质荷比的离子，而其他质荷比的离子将偏离轨道，撞在四极杆上。被选中的特定质荷比的离子在四极杆中做螺旋前进运动，直到通过四个串联的四极杆，打在后端的检测器上，形成信号，常用的检测器有电子倍增器等。

化合物被离子化后，进入腔体后，首先进入Q0，Q0的主要作用在于引导离子进入Q1，Q1则可以筛选特定质荷比的离子，被筛选的离子进入Q2中，在Q2中，这些离子会被打碎成若干子离子，再进入Q3，Q3和Q1的作用相同，用于筛选特定质荷比的离子通过，而通过Q3的离子进入电子倍增器，得到信号，如此就可以对化合物进行定性分析。

为了使离子能够最大数量的通过三重四极杆，操作人员需要优化多个参数，才能保证离子最大化的飞过四极杆，进入检测器。而各类参数的组合数目庞大，找到最优的参数组合往往取决于操作人员的经验和对仪器的理解，而且找到相对最优的参数组合耗时也比较长。寻找质谱仪最优参数组合的过程是质谱仪调谐的一部分。在实际应用中，应用人员或调试人员需要花费大量的时间和精力确定参数的最佳组合。一些仪器生产商也提出了一些自动调谐的方法，大多采用固定其余参数，遍历单一参数的方法，这样的好处是能够缩短调谐时间，然而显著的缺点是：难以收敛到质谱仪的全局最优参数组合，质谱仪可能无法在相对较好的状态工作。

发明内容

有鉴于此，本发明旨在提出一种基于Q学习的三重四极质谱仪参数优化策略计算方法，该方法使用了Q学习的基本思想，这是一种基本强化学习方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于Q学习的三重四极质谱仪参数优化策略计算方法，包括：

质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关；

基于Q学习算法计算得到的质谱仪参数优化方法，所述Q学习即为Q-learning，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，用于提升了仪器的调谐效率，节省了实验人员的精力和时间。

进一步的，定义(p₁,…,p_M)^T为质谱仪待优化的M个参数组合，(p_1n,…,p_Mn)^T为在时刻n时的参数组合，定义g(i,a,j)为从状态i经过操作a后转移到状态j的单次代价函数，其中i为一种参数组合，j为另一种参数组合；

定义Q^*(i,a)为状态-操作对(i,a)的Q因子，其中b∈A，根据Bellman方程可以得到下式：

其中p_ij(a)为状态i经过操作a转移到状态j的转移概率，γ是折扣因子，为小于1的正数，近似式(1)得到式(2)：

对式(2)应用逼近算法，得到式(3)，其中η为学习率参数：

简化式(3)算法，忽略转移概率，得出下面的迭代算法式(4)～式(6)：

Q_n+1(i,a)＝(1-η_n(i,a))Q_n(i,a)+η_n(i,a)[g(i,a,j)+γJ_n(j)] (4)

Q(i,a)＝Q_n+1(i,a) (6)。

进一步的，迭代算法的具体实现步骤如下：

S1、初始化算法中所有状态-操作对(i,a)的Q因子Q₀(i,a)；

S2、执行式(4)和式(5)，计算所有的Q因子Q_n(i,a)；

S3、更新所有状态-操作对(i,a)的Q因子，式(6)，即更新Q值表；

S4、是否满足算法终止条件，满足则算法终止，否则返回步骤2。

进一步的，算法的终止条件为：|Q_n+1(i,a)-Q_n(i,a)|≤ρ，其中ρ为预先设定的一个正数，在确定了状态-操作对(i,a)的Q因子后，即可确定优化参数的最佳策略：

操作集合A中有2M+1种操作，参数组合(p₁,…,p_M)^T的操作分别有：(0,…,0)^T、(±1,…,0)^T、……、(0,…,±1)^T。

相对于现有技术，本发明所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法具有以下有益效果：

(1)本发明所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法应用Q学习算法计算三重四极质谱仪参数调节的最佳策略，这是一种基于强化学习的参数优化方法，在三重四极质谱仪调谐的过程中，需要优化的参数较多，可能的组合多达上千万，如果每一个参数都优化，则将陷入难以接受的等待中，应用Q学习算法则可以使用较短的时间达到全局最优组合的附近，以使得三重四极质谱仪工作在较好的状态；

(2)本发明所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法传统的优化方法一般采用单参数扫描其余参数固定，轮换扫描参数的方式进行优化，该算法优化会导致陷入到局部最优解中，难以使仪器达到比较好的状态工作。而基于本专利的方法进行参数优化则可以逼近甚至达到全局的最优解，使质谱仪可以工作在比较好的状态，从而能够得到满意的实验结果。理论也证明，当迭代次数趋于无穷时，Q学习算法可以达到全局最优解；

(3)本发明所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法一旦使用Q学习算法确定了参数优化的最佳策略后，在一段时间内，在调节参数时都可以采用该策略，这样一来大大简化了调谐过程，节省了人力物力。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的参数优化过程示意图；

图2为本发明实施例所述的Q学习算法迭代示意图；

图3为本发明实施例所述的Q值表示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

本专利引入一种新的三重四极质谱仪参数优化策略，该方法使用了Q学习的基本思想，这是一种基本强化学习方法。

首先质谱仪的参数优化过程，即参数不断调整的过程，可以抽象成马尔可夫决策过程。图1为参数优化过程的示意图，从示意图中可以看出，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关。根据这一特点，能够抽象出本过程为马尔可夫决策过程，这是Q学习算法的基础。

基于Q学习算法计算得到的质谱仪参数优化策略，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，这样大大提升了仪器的调谐效率，节省了实验人员的精力和时间。

我们定义(p₁,…,p_M)^T为质谱仪待优化的M个参数组合，(p_1n,…,p_Mn)^T为在时刻n时的参数组合。定义g(i,a,j)为从状态i(一种参数组合)经过操作a后转移到状态j(另一种参数组合)的单次代价函数。定义Q^*(i,a)为状态-操作对(i,a)的Q因子，其中b∈A。根据Bellman方程可以得到下式:

其中p_ij(a)为状态i经过操作a转移到状态j的转移概率，γ是折扣因子，为小于1的正数。我们近似式(1)，得到式(2)：

对式(2)应用逼近算法，得到式(3)，其中η为学习率参数：

简化式(3)算法，忽略转移概率，可以得出下面的迭代算法式(4)～式(6)：

Q_n+1(i,a)＝(1-η_n(i,a))Q_n(i,a)+η_n(i,a)[g(i,a,j)+γJ_n(j)] (4)

Q(i,a)＝Q_n+1(i,a) (6)

迭代算法的具体实现步骤如下所示：

步骤1：初始化算法中所有状态-操作对(i,a)的Q因子Q₀(i,a)。

步骤2：执行式(4)和式(5)，计算所有的Q因子Q_n(i,a)。

步骤3：更新所有状态-操作对(i,a)的Q因子，式(6)，即更新Q值表。

步骤4：是否满足算法终止条件，满足则算法终止，否则返回步骤2。

算法的终止条件为：|Q_n+1(i,a)-Q_n(i,a)|≤ρ，其中ρ为预先设定的一个正数。在确定了状态-操作对(i,a)的Q因子后，即可确定优化参数的最佳策略；

操作集合A中有2M+1种操作，参数组合(p₁,…,p_M)^T的操作分别有：(0,…,0)^T、(±1,…,0)^T、……、(0,…,±1)^T；

图2为Q学习算法迭代示意图；

图3为Q值表，每执行完成一次迭代算法后，Q值表被更新一次，直至算法终止；

例如，针对三重四极杆质谱仪Q1 POS模式的调谐，需要优化的参数为DP和EP两个参数，即选择这两个参数的最佳组合。在Q1 POS模式下应用本专利提出的优化策略计算方法示例如下：

Q1 POS模式下需要优化的参数有2个，则对参数操作共有5种，分别为：

(0,0)^T、(1,0)^T、(-1,0)^T、(0,1)^T和(0,-1)^T，且分别记作a₀～a₄，计算参数优化策略的方法步骤如下：

步骤1：初始化Q值表，设状态x_n＝[dp(n),ep(n)]^T，其Q值表中的Q因子等于g(i,a,j)，此时每一个状态有5个对应的Q值，分别为：g(i,a₀,j)、g(i,a₁,j)、g(i,a₂,j)、g(i,a₃,j)和g(i,a₄,j)；即Q₀(i,a_k)＝g(i,a_k,j_k)且令n＝0。

步骤2：按照式(4)和式(5)，可以计算出每一个状态当前时刻的Q因子，此时将之记作Q_n+1(i,a_k)。直到所有状态-操作对(i,a_k)的Q因子计算完成后，更新时间索引，令n＝n+1。然后反复执行步骤2的运算，直到所有的Q因子都满足终止条件，即|Q_n+1(i,a)-Q_n(i,a)|≤ρ时，Q值表停止更新，在得到最终的Q值表后，即可由式(7)得到每一个状态的最优操作。

例如在状态(75,5)(含义为DP＝75，EP＝5)时，最佳操作为(1,0)，则我们就可以依据策略轻易得出更好的状态(76,5)，这个状态对应的操作为(0,1)，则下一个状态即为(76,6)，而假定该状态的最优操作为(0,0)，则系统会在(76,6)一直停留，此时这个状态即为一个最优状态。

在本专利中，将Q学习算法应用于三重四极质谱仪的参数优化，在应用三重四极质谱仪的过程中，需要优化的参数较多，其参数的可能组合多达上千万，如果观测每一种参数组合下的谱图，则将陷入长时间的优化中。而针对适当规模的参数组合使用Q学习算法则可以在较短的时间获得近似的全局最优组合，理论也曾证明，使用Q学习算法最终将以概率1达到全局最优解。

本专利针对单一参数优化迭代算法导致的优化过程陷入到局部最优解而无法跳出的缺陷，应用Q学习算法，在适当范围内使用Q学习算法，不断迭代更新Q值表，直至满足终止条件，由最终的Q值表则可以确定最终的优化策略。在得到参数的优化策略后，即可应用该策略对参数进行优化，优化后的参数已经比较接近全局最优组合。在优化过程中，规定了参数单次转移的代价函数以及终止条件。

基于Q学习算法计算得到的质谱仪参数优化策略，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，这样大大提升了仪器的调谐效率，节省了实验人员的精力和时间。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于包括：

质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关；

基于Q学习算法计算得到的质谱仪参数优化方法，所述Q学习即为Q-learning，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，用于提升了仪器的调谐效率，节省了实验人员的精力和时间。

2.根据权利要求1所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于：定义(p₁,…,p_M)^T为质谱仪待优化的M个参数组合，(p_1n,…,p_Mn)^T为在时刻n时的参数组合，定义g(i,a,j)为从状态i经过操作a后转移到状态j的单次代价函数，其中i为一种参数组合，j为另一种参数组合；

定义Q^*(i,a)为状态-操作对(i,a)的Q因子，其中b∈A，根据Bellman方程可以得到下式：

其中p_ij(a)为状态i经过操作a转移到状态j的转移概率，γ是折扣因子，为小于1的正数，近似式(1)得到式(2)：

对式(2)应用逼近算法，得到式(3)，其中η为学习率参数：

简化式(3)算法，忽略转移概率，得出下面的迭代算法式(4)～式(6)：

Q_n+1(i,a)＝(1-η_n(i,a))Q_n(i,a)+η_n(i,a)[g(i,a,j)+γJ_n(j)] (4)

Q(i,a)＝Q_n+1(i,a) (6)。

3.根据权利要求2所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于：迭代算法的具体实现步骤如下：

S1、初始化算法中所有状态-操作对(i,a)的Q因子Q₀(i,a)；

S2、执行式(4)和式(5)，计算所有的Q因子Q_n(i,a)；

S3、更新所有状态-操作对(i,a)的Q因子，式(6)，即更新Q值表；

S4、是否满足算法终止条件，满足则算法终止，否则返回步骤2。

4.根据权利要求3所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法，其特征在于：算法的终止条件为：|Q_n+1(i,a)-Q_n(i,a)|≤ρ，其中ρ为预先设定的一个正数，在确定了状态-操作对(i,a)的Q因子后，即可确定优化参数的最佳策略：

操作集合A中有2M+1种操作，参数组合(p₁,…,p_M)^T的操作分别有：(0,…,0)^T、(±1,…,0)^T、……、(0,…,±1)^T。

Images