CN112154464B - 参数搜索方法、参数搜索装置以及参数搜索用程序 - Google Patents

参数搜索方法、参数搜索装置以及参数搜索用程序 Download PDF

Info

Publication number
CN112154464B
CN112154464B CN201980033718.1A CN201980033718A CN112154464B CN 112154464 B CN112154464 B CN 112154464B CN 201980033718 A CN201980033718 A CN 201980033718A CN 112154464 B CN112154464 B CN 112154464B
Authority
CN
China
Prior art keywords
parameter
model
observation data
value
fluctuation amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980033718.1A
Other languages
English (en)
Other versions
CN112154464A (zh
Inventor
田川雄介
石川勇树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN112154464A publication Critical patent/CN112154464A/zh
Application granted granted Critical
Publication of CN112154464B publication Critical patent/CN112154464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02—Column chromatography
    • G01N30/86—Signal analysis
    • G01N30/8658—Optimising operation parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

模型估计部(11)基于对象观测数据和参照观测数据来估计分析系统(20)的模型函数，此时，首先基于对象观测数据和参照观测数据来估计对象系统的模型与参照系统的模型的变动量。然后基于估计出的变动量来校正观测数据，之后估计对象系统的模型函数。参数决定部(12)基于模型函数的均值和方差来计算采集函数，通过该采集函数来决定下一次观测时的参数值。数据获取部(13)将参数值设定给分析系统(20)，获取与其对应的观测值。通过重复进行反馈了观测数据的循环来求出最佳的参数值。由此，在通过多任务贝叶斯优化法来进行参数搜索时，即使在对象观测数据与参照观测数据之间的相关性低的情况下，也能够改善参数搜索的效率。

Description

参数搜索方法、参数搜索装置以及参数搜索用程序
技术领域
本发明涉及一种在变更了作为分析条件的参数值时观测值会发生变化的分析装置等系统中搜索最佳的参数值或者与其接近的参数值的参数搜索方法、参数搜索装置以及参数搜索用的计算机程序。
背景技术
例如在液相色谱质量分析装置(LC-MS)中，当使分别施加于质量分析装置中包括的离子源、各种离子输送光学系统、或者离子检测器等的电压发生变化时，与相同的试样相对的信号强度值发生变化。因此，将这些施加电压分别作为参数，在测定之前进行对各参数的值进行调整的作业，以使测定灵敏度尽可能高。在进行这样的调整作业时，通常较多采用以下方法：针对一个参数，一边使其值在规定的范围内且以规定的步幅来变化，一边分别执行测定，并将在该各测定中获得的信号强度值进行比较，由此将给出最高的信号强度的值选择为最佳的参数值。
在如上所述那样搜索某个参数的最佳值时，期望的是，能够以尽可能少的测定次数来搜索最佳的值。究其原因是由于，若测定次数多则既花费时间又花费劳动，在用于搜索参数的测定中使用标准试样的情况下，若测定次数多则所使用的标准试样的量也多。
如搜索使观测值变得最大(根据情况不同，有时为变得最小)的参数的值这样的作业不限于在LC-MS中进行，一般来说在各种各样的分析装置、测定装置、测量装置、进一步地说包括这种装置的各种系统中进行。另外，在并非进行实际的测定或分析而是执行基于分子动力学等的计算机仿真的系统、在计算机上执行深度学习等机器学习算法的系统等各种各样的装置和系统中也广泛地进行着同样的参数搜索。
若将上述问题一般化，则为“在重复实验中，搜索能够获得尽可能良好的观测值的参数的值”这样的问题。此处所说的良好的观测值一般是指最大的观测值，但是根据实验、观测的目的等，也有时是指SN比最大的观测值、最小的观测值等。
作为一例，如图10的(a)所示，设为：针对与某个参数(例如电压)有关的不同的四个值进行的观测结束，获得了在图中用黑色圆点表示的四个观测值。现在考虑以下情况：想要搜索能够期待获得比这四个观测值更高的观测值的下一个参数值。
在作业者根据自己的判断来选择接下来要设定的参数值的情况下，如图10的(b)中用点线和点划线分别表示的那样，根据设想了怎样的实验对象模型，下一个参数值的选择不可避免地会有所偏差(图中的A、B)。
与此相对地，作为广为人知的参数搜索的一个方法，存在贝叶斯优化(BayesianOptimization)(参照专利文献1等)。根据贝叶斯优化法，能够基于已获取的观测数据来决定在概率上能够期待良好的结果的下一个参数值(实验条件)。图10的(c)是表示基于上述四个观测值并通过贝叶斯优化法来估计实验对象的模型并搜索接下来要进行观测的参数值而得到的结果的图。在图10的(c)中，用实线表示的曲线示出了通过贝叶斯优化法估计出的模型函数的后验分布的平均值，用斜线填充的范围示出了该模型函数后验分布的不确定度(或者方差)，记载为“下一个”的纵粗实线示出了自动选择出的下一个参数值。
更详细地说，在贝叶斯优化法中，在实验对象的模型遵循高斯过程这一假设下，基于已获取的观测数据来计算模型函数的后验分布的平均值和方差值。然后，基于这些计算值，来决定能够期待将模型改善得与真实模型更为接近的下一个实验条件(参数值)。然后，在所决定的实验条件下进行下一个实验来获取新的观测数据，并将该数据加入到已经获取的观测数据来再次估计模型函数的后验分布。通过重复进行这样的处理，能够获得用于获得更高的观测值的参数值。
图11是表示使用了贝叶斯优化的参数搜索的一例的图，图11的(a)是在初始的四个观测值(与图10的(a)相同)上进一步加上一个观测值之后的状态的图，图11的(b)是在初始的四个观测值(与图10的(a)相同)上进一步加上七个观测值之后的状态的图。在图11中，黑色圆点示出了观测值，实线的曲线示出了估计出的模型函数后验分布的平均值，点线的曲线示出了真实模型，用斜线填充的范围示出了模型函数后验分布的不确定度，记载为“下一个”的纵粗实线示出了自动选择出的下一个参数值。如图11的(b)所示，当一边变更参数值一边重复进行实验时，在观测值变得最高的参数值的附近的范围内优先地进行参数搜索。由此，能够最终找出使观测值变得最高或者与其接近的参数值。
然而，在上述的一般性的贝叶斯优化法中存在如下问题：观测点的数量少的搜索初期的模型函数的后验分布的估计精度低，因此难以进行高效的搜索。针对该问题，近年来提出了对贝叶斯优化法进行改良而得到的多任务贝叶斯优化(Multi-Task BayesianOptimization)法(参照非专利文献1)。在多任务贝叶斯优化法中，以在作为观测对象的实验(以下称为“对象实验”)和与其相关联的实验(以下称为“参照实验”)中分别完成数据的获取为前提，在对象实验的对象观测数据与参照实验的参照观测数据之间存在相关性这样的假设之下，估计对象实验的模型。如非专利文献1所示的那样，在多任务贝叶斯优化中存在如下优点：即使在观测点数少的搜索初期的阶段也能够基于参照观测数据来以相当高的精度估计对象实验的模型，因此特别是能够改善搜索初期的搜索的效率。
现有技术文献
专利文献
专利文献1：日本特开2018-73360号公报
非专利文献
非专利文献1：K.Swersky及其他2人，“Multi-Task Bayesian Optimizatio n(多任务贝叶斯优化)，”[online]，[2018年6月1日检索]，NIPS，2013，因特网<https://papers.nips.cc/paper/5086-multi-task-bayesian-optimization.pdf>
非专利文献2：J.Snoek及其他2人，“Practical Bayesian Optimization ofMachine Learning Algorithms(机器学习算法的实用贝叶斯优化)”，NIPS，2012
发明内容
发明要解决的问题
以往提出的多任务贝叶斯优化法是以对象实验的模型与参照实验的模型之间的相关性高为前提的。这是基于设想为如下的情况：例如说到分析装置，进行对象实验的分析装置与进行参照实验的分析装置为个体虽不同但是机型相同的分析装置，或者为机型虽不同但是方式相同的分析装置。然而，实际上，不一定总是能够准备相关性足够高的对象观测数据和参照观测数据。
现在，作为一例，将在图12中以粗实线表示的遵循高斯函数的模型作为原始模型，来考虑分别变更其增益、标准偏差(σ)以及平均值(μ)而得到的3种模型。这3种模型与原始模型之间的相关系数分别为1、0.96以及0.36。变更后的模型的函数的形状均与原始模型类似，但是特别是在使模型以在横轴方向上、也就是说在参数值发生变化的方向上移位的方式变化情况下(图12的(c))，原始模型与变更后的模型之间的相关系数大幅下降。
根据本发明的发明人们的研究得知，当使用如上述那样相关性低的参照观测数据和对象观测数据来进行多任务贝叶斯优化时，有时无法正确地估计对象实验的模型，从而参数的搜索效率会下降。在图13中表示这一例子。图13是表示对象实验的真实模型相对于参照实验的真实模型发生了移位的情况下试行多任务贝叶斯优化的结果的图。在图中，粗点线示出了参照实验的真实模型，粗点划线示出了对象实验的真实模型，黑色方点示出了参照实验的观测点，黑色圆点示出了对象实验的观测点，粗实线示出了对象实验模型的后验分布的平均值，用斜线表示的范围示出了对象实验模型的后验分布的不确定度。
图13的(a)是在对象观测数据为1个点的情况下的结果，图13的(b)是在对象观测数据增加为5个点的情况下的结果。如果进行了适当的参数搜索，则只要对象观测数据的点数增加，对象实验模型的后验分布的不确定度就应该减少。然而，在该例子中，未能进行正确的模型估计，因此错误地优先搜索了参照实验中的最佳条件的附近，即使对象实验的观测点增加也未决定出最佳的参数值。像这样，在以往的多任务贝叶斯优化法中，当对象观测数据与参照观测数据之间的相关性低时，有时不再能够将该参照观测数据有效地利用于模型估计，从而参数搜索效率的改善程度下降，在最坏的情况下，甚至存在与仅使用对象观测数据来进行参数搜索的情况相比搜索效率变差的情况。
本发明是为了解决上述问题而完成的，其目的在于提供一种即使在通过参照实验获得的数据相对于通过对象实验获得的数据在参数空间中发生了变化从而两者的相关性低的情况下、也能够使用多任务贝叶斯优化法来高效地搜索最佳的参数的参数搜索方法、装置以及程序。
用于解决问题的方案
为了解决上述问题而完成的本发明所涉及的参数搜索方法在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索方法包括以下步骤：
模型估计步骤，基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计步骤包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计步骤，在所述模型估计步骤中，估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定步骤，基于在所述模型估计步骤中获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；以及
数据获取步骤，将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据，
通过重复进行所述模型估计步骤、所述参数决定步骤以及所述数据获取步骤的处理，来搜索更适当的参数值。
为了解决上述问题而完成的本发明所涉及的参数搜索装置是用于实施本发明所涉及的参数搜索方法的装置，在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索装置具备：
模型估计部，其基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计部包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计部，所述模型估计部估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定部，其基于由所述模型估计部获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；
数据获取部，其将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据；以及
控制部，其控制所述模型估计部、所述参数决定部以及所述数据获取部，使得重复执行由该模型估计部、该参数决定部以及该数据获取部进行的处理。
为了解决上述问题而完成的本发明所涉及的参数搜索用程序是用于在计算机上执行本发明所涉及的参数搜索方法的计算机程序，用于在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索用程序使计算机作为以下各功能部进行动作：
模型估计功能部，其基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计功能部包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计功能部，所述模型估计功能部估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定功能部，其基于由所述模型估计功能部获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；
数据获取功能部，其将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据；以及
控制功能部，其控制所述模型估计功能部、所述参数决定功能部以及所述数据获取功能部，使得重复执行由该模型估计功能部、该参数决定功能部以及该数据获取功能部进行的处理。
在本发明中搜索参数值的对象的系统除了包括各种分析装置或测定装置、测量装置、观察装置等用物理方法或化学方法进行测定或观察的装置、系统以外，还包括能够通过基于分子动力学等的仿真、基于深度学习等机器学习算法的运算处理等仅计算机上的处理来获取观测值的系统。
另外，本发明所涉及的参数搜索用程序是使通用个人计算机、更高性能的计算机、或者嵌入于各种系统的专用的计算机等进行动作的程序。这种程序能够被记录于CD-ROM、DVD-ROM、存储卡、USB存储器(盾)等非暂时性的记录介质来提供给用户。或者，也能够以经由因特网等通信线路的数据传输的形式来提供给用户。当然，也能够是，在用户新购买系统的情况下，在该系统所包括的计算机中预先嵌入本发明所涉及的程序。
在本发明所涉及的参数搜索方法中，参数搜索的基本算法是多任务贝叶斯优化。即，为了估计对象系统的模型函数的后验分布，除了使用由该对象系统观测到的对象观测数据以外，还使用由参照系统观测到的参照观测数据。但是，并不是将给出的参照观测数据直接用于模型函数的后验分布的估计，而是基于对象观测数据和参照观测数据来估计这两个观测数据之间在参数空间中的变动量。该参数空间具有与参数的种类数相同的维度。因而，如果参数有2种，则参数空间为2维空间。
作为对象观测数据与参照观测数据之间的变动、也就是说对象系统的模型与参照系统的模型之间的变动的方式，能够想到参数空间中的旋转、移位(移动)、伸缩等。也可以针对所有这些变动的方式来考虑模型函数形状的变动，但是在很多情况下，对两个数据之间的相关性的下降起到大的作用的是移位，因此作为变动的方式仅考虑移位就够了的情况多。即，作为本发明的一个方式，优选设为：所述变动量是参数空间中的对象观测数据与参照观测数据之间的移位量。
在变动量为上述移位量、例如参数空间为1维的情况下，在变动量估计步骤中，只要仅设想该1维方向上的移位来估计移位量即可。作为变动量的估计方法，只要采用以下两个方法中的任一个即可。
即，一个变动量估计方法是如下方法：用对象观测数据和参照观测数据来独立地估计各自的系统的模型函数的后验分布，对任一方的模型函数给出参数空间中的多个不同的变动量来分别求出两个模型的相关性，将呈现最高的相关性的变动量作为估计值。
在该方法中，存在如下优点：能够抑制花费计算时间的情况，也就是说能够将计算成本高的模型函数的后验分布的计算抑制为2次。但是，准确地求出模型函数的后验分布需要某种程度的数据点数，因此在数据点数少的情况下难以采用该方法。
另一个变动量估计方法是如下方法：对对象观测数据和参照观测数据中的任一方的数据给出参数空间中的多个不同的变动量来分别估计模型函数的后验分布，将各个后验分布的平均值模型与观测数据之间的误差最小的变动量作为估计值。
在该第二个方法中，虽然与第一个方法相比花费计算时间，但是基于对象观测数据及参照观测数据这两方与模型函数之间的误差来估计变动值，因此存在即使在数据点数少的情况下也能够高精度地估计变动量这样的优点。
特别是，在第二个变动量估计方法中，能够采用如下方法：在模型函数遵循高斯过程的前提下计算该模型函数的后验分布，将在对高斯过程的超参数进行最大似然估计时呈现最大的似然度的变动量作为估计值。
据此，同时进行基于高斯过程的超参数最大似然估计而得到的模型函数的估计、以及参数空间中的变动量的指标、例如采集函数的计算，因此能够缩短计算时间。
通过上述任一方法均能够估计妥当的变动量。如果已估计出变动量，则例如将该变动量作为校正值，基于对象观测数据和参照观测数据来校正要估计的对象系统的模型函数的后验分布。因而，此时获得的模型函数的后验分布反映出对象观测数据与参照观测数据之间的变动量。在参数决定步骤中，基于如上所述那样获得的校正完成的模型函数的后验分布，来决定作为下一次观测时的条件的参数值。
在数据获取步骤中，将所决定出的参数值设定为对象系统中的下一个条件，获取包含由该对象系统观测的观测值来作为信息的对象观测数据。由此，对象观测数据增加。然后，将上述的模型估计步骤、参数决定步骤以及数据获取步骤中的处理重复执行，直到满足规定的结束条件为止，由此获取估计为最佳的参数值。在该重复执行时，在模型估计步骤中利用对象观测数据与参照观测数据之间的变动量被校正之后的模型，因此即使在对象观测数据与参照观测数据之间的相关性低的情况下，也能够以少的重复次数来搜索适当的参数值。
此外，当要考虑的变动的要素多时，需要针对每个该要素设定多个变动量来估计哪个是适当的。针对该情况，如上所述那样将变动的要素限定为对相关性的下降起到最大作用的移位，由此能够确保关于变动量的校正的充分的效果并且缩短运算时间。
发明的效果
根据本发明，通过校正对象观测数据与参照观测数据的变动量，两个数据的相关性实质性地变大，模型函数的后验分布的估计精度提高。由此，特别是，即使在对象观测数据的数量少的情况下，也能够有效地利用参照观测数据来高效地进行参数搜索。即，能够以更少的重复次数来找出最佳的参数值或者与其接近的状态的参数值。
附图说明
图1是作为本发明的一个实施例的参数搜索装置的概要模块结构图。
图2是表示在图1示出的参数搜索装置中进行参数搜索时的处理的流程的流程图。
图3是本实施例的参数搜索装置中的模型估计部的模块结构图。
图4是表示本实施例的参数搜索装置中的第一变动量估计方法的处理的流程的流程图。
图5是表示本实施例的参数搜索装置中的第二变动量估计方法的处理的流程的流程图。
图6是表示处于参照系统的模型与对象系统的模型相互发生了移位的状态时的各模型的一例的图。
图7是表示针对由图6示出的系统获得的数据的、无移位校正的情况下(以往法)的参数搜索结果与有移位校正的情况下(本发明法)的参数搜索结果的比较的图。
图8是表示参照系统的模型的模型函数与对象系统的模型的模型函数不同的例子的图。
图9是表示针对由图8示出的系统获得的数据的、无移位校正的情况下(以往法)的参数搜索结果与有移位校正的情况下(本发明法)的参数搜索结果的比较的图。
图10是表示参数搜索中的问题设定及其解法的一例的图。
图11是表示基于贝叶斯优化法的参数搜索的一例的图。
图12是表示以高斯函数为原始模型来变更增益、标准偏差以及平均值而得到的3种模型的图。
图13是表示通过多任务贝叶斯优化法进行参数搜索不适当的情况下的一例的图。
具体实施方式
下面，参照附图来说明本发明所涉及的参数搜索方法、以及用于实施该方法的装置及计算机程序的一个实施例。
图1是本实施例的参数搜索装置的概要模块结构图。
作为功能模块，该参数搜索装置10具备模型估计部11、参数决定部12、数据获取部13以及重复控制部14。本发明的一个实施例中的与对象系统相当的分析系统20不包含于参数搜索装置10，该分析系统20以给出的参数值为条件来执行规定的分析、例如质量分析和色谱分析，并获得其分析结果来作为观测值。例如在分析系统20为质量分析装置的情况下，参数值例如是施加于一个离子输送光学元件的电压的值，观测值是通过对标准试样进行质量分析而获得的特定的质量电荷比中的信号强度值。当然，这是一个例子，分析系统20的分析方法不限于此，另外，也能够如后所述那样置换为其它系统。
模型估计部11基于参照观测数据和对象观测数据，来估计作为对象系统的分析系统20的模型函数的后验分布。对象观测数据是包含由分析系统20获得的观测值的数据，参照观测数据是包含由参照系统获得的观测值的数据，该参照系统虽然与对象系统不同，但是与其类似。
参数决定部12基于估计出的对象系统的模型函数后验分布，来决定作为在该对象系统中进行下一次观测(也就是说分析)时的条件的参数值。数据获取部13将决定出的该参数值作为分析条件输入到分析系统20，并接受在该分析系统20中通过以该参数值作为条件的规定的分析来获得的观测值。
重复控制部14将包含由数据获取部13获取到的观测值以及所设定的参数值的观测数据追加到对象观测数据中，并对模型估计部11、参数决定部12以及数据获取部13的动作进行控制以使这些各部重复执行相同的处理。参数搜索装置10通过大量地重复执行该反馈的例程，来搜索最佳的参数值或者与其接近的参数值。
此外，构成参数搜索装置10的各部的功能也不是不能够通过例如包括数字信号处理器在内的硬件电路构成，但是实际上最好是由计算机来执行安装于该计算机的程序，由此来实现该功能的一部分或者除了与分析系统20的接口部分等以外的大部分。这种程序能够收录于CD-ROM、DVD-ROM、存储卡、USB存储器(盾)等非暂时性的记录介质来提供给用户。或者，也能够以经由因特网等通信线路的数据传输的形式来提供给用户。
下面，参照图2示出的流程图来详细说明进行参数搜索时的处理的流程及各部的动作。
此外，基于下面的说明也能够明确，基本的处理的过程是非专利文献1等所公开的多任务贝叶斯优化法的算法。
首先，在系统的模型函数f(x)例如遵循高斯过程这样的假设之下，模型估计部11估计该模型函数的后验分布。根据非专利文献2已知，如接下来的(1)式所示那样，遵循高斯过程的函数f(x)是由函数平均值m(x)和协方差矩阵k(x，x’)表示的函数。
f(x)～GP(m(x)，k(x，x’))…(1)
上述协方差矩阵是表示“在两个变量位置x、x’处，输出f(x)、f(x’)采取以怎样的程度相同的行为”的函数。协方差矩阵通常由两个变量位置x、x’越接近就取越大的值的连续性的单调函数定义，例如使用RBF核函数、Matern5/2核函数等。在(2)式中表示RFB核函数的例子。
kRBF(x，x’)＝θ0exp(-||x-x’||2/2θ1 2)…(2)
在简化计算的情况下，也能够将(1)式中的函数平均值模型m(x)设为0，但是通常最好使用观测数据的平均值来作为函数平均值模型m(x)。
当设为现在已获取n个观测数据(xn，yn)时，模型估计部11基于该观测数据来求出模型函数的后验分布的平均值μ和方差值σ2(步骤S1)。利用变量正态分布(Multivariatenormal distribution：多元正态分布)的公式来通过以下的(3)、(4)式计算平均值μ和方差值σ2。
μ(x；{xn，yn})＝K(X，x)TK(X，X)-1(y-m(X))…(3)
σ2(x；{xn，yn})＝k(x，x)-K(X，x)TK(X，X)-1K(X，x)…(4)
在此，将参照观测数据和对象观测数据一同利用，因此引入多任务中的任务间的协方差矩阵Kt(t、t’)，来如下那样扩展协方差函数。
Kmulti＝((x，t)，(x’，t’))＝Kt(t、t’)[×]Kx(x，x’)…(5)
在此，[×]表示克罗内克积。
用上述(2)式等表示的核函数中的超参数θ需要设定为符合模型函数的妥当的值。因此，例如通过最大似然估计来计算超参数θ，以使表示给出该超参数θ时的y的估计值的似真度(日语：尤もらしさ)的似然度函数L(θ)变得最大。用接下来的(6)式来表示函数f(x)的对数似然度函数logL(θ)。
logL(θ)＝(-1/2)yTK(X，X)-1y-(1/2)log|K(X，X)|-(n/2)log2π…(6)
在此，argmaxθL(θ)是一般性的优化问题，例如能够利用如拟牛顿法那样的梯度法来求出。
参数决定部12从模型估计部11接受模型函数f(x)的后验分布的平均函数值μ(x)和方差值σ2(x)，基于它们来计算用于评价的采集函数a(x)。然后，找出使该采集函数a(x)变得最大的参数值x，将其作为能够期待观测值的改善的用于下一个分析条件的参数值来输出(步骤S2)。作为采集函数a(x)，能够使用在贝叶斯优化法中一般使用的Probabilityof Improvement(改善概率，PI)、Expected Improvement(预期改善，EI)、UpperConfidence Bound(上限置信度，UCB)等中的任一个。
作为一例，在(7)式中表示Expected Improvement的式子(参照非专利文献2)。
其中，Z＝(μ(x)-f(x+))/σ(x)
f(x+)表示观测数据的最大值，Φ(*)是表示标准正态分布的累积分布函数的算子，是表示标准正态分布的算子。Expected Improvement用于计算函数f(x)的后验概率模型之中的超过观测数据的最大值的函数的期望值，作为均衡地实施全局搜索和局部搜索的函数而被公知。
数据获取部13将如上所述那样从参数决定部12给出的参数值设定为分析系统20中的分析条件，获取与其相对的观测值(步骤S3)。分析系统20除了是分析/测量系统、控制系统之类的实验系的系统以外，只要是在被输入的参数值的情况下观测某种值的系统、如执行如分子动力学那样的仿真的系统、或者、执行如深度学习那样的机器学习算法的系统等即可。
接着，重复控制部14判定是否满足预先决定的重复的结束条件(步骤S4)。重复的结束条件例如只要设为例程的重复次数达到预先设定的值时、或者观测值达到预先决定的目标时(进入到目标的范围时)等即可。然后，如果尚未满足重复结束条件，则将包含新获得的观测值及当时的参数值的对象观测数据加入到观测数据，在此基础上从步骤S4返回到步骤S1，重复进行上述的步骤S1～S3的处理。另一方面，如果满足了重复结束条件，则将最终的参数值输出为作为搜索结果的最佳值(步骤S5)，结束处理。
以上说明的内容与在一般性的多任务贝叶斯优化法中进行的处理相同。与此相对地，在本实施例的参数搜索装置10中作为特征的是以下方面：在参照观测数据与对象观测数据之间的相关性低的情况下，在模型估计部11中进行数据校正。关于这一点，进一步参照图3～图5来详细说明。图3是本实施例的参数搜索装置中的模型估计部11的详细的功能模块结构图。
在参照观测数据与对象观测数据之间的相关性低的情况下，与任务间的数据(x，t)、(x’，t’)分别相对的输出f(x，t)和输出f(x’，t’)采取类似的行为的情况少。因此，在估计对象系统的模型函数这方面上，参照观测数据的有用性变低。具体地说，当将协方差矩阵Kt(t，t’)作为相关性强的协方差矩阵时会估计出错误的模型，另一方面，当将协方差矩阵Kt(t，t’)作为相关性低的协方差矩阵时多任务被当作独立的任务来处理，不再是实质上的多任务。
因此，在本实施例的参数搜索装置中，作为功能模块，模型估计部11具备变动量估计部111、校正处理部112以及校正完成模型估计部113。变动量估计部111在计算的基础上给出参数空间中的旋转、移位、伸缩等变动，来预测参照观测数据与对象观测数据的变动量。校正处理部112将观测数据校正所预测的变动量，校正完成模型估计部113基于校正后的观测数据来如上所述那样进行模型估计。
列举应用于如下系统的情况为例来具体地进行说明：该系统与2种参数相对应地获得观测值。图6是对横轴、纵轴分别取不同的参数(参数1、参数2)、以灰度(实际上为颜色标度)来示出与这2种参数的值的组合相对应的观测值的图。这表示了如下的系统的模型：在怎样的参数值之下获得怎样的观测值。图6的(b)示出参照系统的模型，在此设为已获取到与以规则分布的白圆点示出的16个点的位置对应的参数值的组合之下的观测值来作为参照观测数据。另一方面，图6的(a)示出作为参数搜索对象的对象系统的模型，设为仅获取到与随机的3个点的位置对应的参数值的组合之下的观测值。从该状态起高效地搜索最佳的参数值的组合是在此给出的命题。
此外，图6的(a)示出的对象系统的模型是将图6的(b)示出的参照系统的模型中的各参照观测数据沿参数1的方向(在图6中为横轴方向)在-1～-4的范围内偏移、由此人为地制作出对象系统与参照系统之间的相关性低的模型而得到的。作为结果，对象系统的模型是将参照系统的模型沿参数1的方向偏移-2而得到的。
在给出上述那样的参照观测数据和对象观测数据的情况下，变动量估计部111能够利用以下两个方法中的任一个来估计参数空间中的变动量。
[第一变动量估计方法]
该第一变动量估计方法是以下方法：利用对象观测数据和参照观测数据来独立地估计各自的系统的模型函数的后验分布，在覆盖所预测的变动量的参数范围内对一方的模型函数给出变动，在此基础上计算两个模型间的相关值，并将表示最高的相关性的变动量作为估计值。在图4中表示该方法中的处理的流程。
首先，针对给出的对象观测数据和参照观测数据分别独立地进行高斯过程的超参数最大似然估计，来估计模型函数的后验分布(步骤S11)。接着，生成变形模型，该变形模型是由使基于估计出的参照系统的模型的数据沿参数1和参数2的方向分别在-5～+5的范围内1步1步地移位而得到的移位数据形成的(步骤S12)。由此，生成与两个参数的移位量的组合的总数相同的数量的参照系统的变形模型。
之后，计算参照系统的各变形模型与对象系统的模型之间的相关值(步骤S13)。作为该相关值，例如只要使用相同参数值的组合中的观测值之间的相关值的总和等即可。然后，将表示所获得的多个相关值之中最大的相关值的移位量的组合采用为变动量的估计值(步骤S14)。如果像这样估计出了变动量，则只要如下即可：校正处理部112基于该变动量来校正对象观测数据，校正完成模型估计部113基于校正后的该对象观测数据和参照观测数据来如上所述那样估计对象系统的模型函数。
在该方法中，在进行一次求出变动量的处理时仅执行2次模型估计即可。通常，用于模型估计的计算量多，因此模型估计的次数越多则计算时间越长，但是由于模型估计进行2次即可，因此存在计算量可以减少这样的优点。
[第二变动量估计方法]
第二变动量估计方法是以下方法：对对象观测数据和参照观测数据之中的任一方给出几个不同的变动，在此基础上估计模型函数的后验分布，将该后验分布的平均值模型与观测数据之间的误差最小的变动量作为估计值。在图5中表示该方法中的处理的流程。
首先，生成使给出的参照观测数据沿参数1和参数2这两个的方向分别在-5～+5的范围内1步1步地移位而得到的变形数据(步骤S21)。由此，生成基于参照观测数据的、与两个参数的移位量的组合的总数相同的数量的变形数据组。然后，基于所生成的各变形数据和给出的对象观测数据，进行一般性的多任务贝叶斯优化法中的高斯过程的超参数最大似然估计，来估计对象系统的模型函数的后验分布(步骤S22)。即，在该情况下，需要进行与两个参数的移位量的组合的总数相同的次数的模型估计。在进行该模型估计时获得最大似然估计的似然度函数，因此求出使该似然度函数最大的移位量的组合，将其采用为变动量的估计值(步骤S23)。
如果像这样估计出了变动量，则只要如下即可：校正处理部112基于该变动量来校正对象观测数据，校正完成模型估计部113基于校正后的该对象观测数据和参照观测数据来如上所述那样估计对象系统的模型函数。
在图7中表示采用上述第二变动量估计方法来估计观测数据的变动量并对该变动进行校正、在此基础上实施多任务贝叶斯优化法来求出最佳参数值时的效果。在图7中，横轴示出搜索次数(图2中的步骤S1～S4的循环的重复次数)，纵轴示出在求出的参数值之下获得的观测值的最大值，(a)是未对移位量进行校正的情况下(也就是说以往的多任务贝叶斯优化法的情况下)的结果，(b)是对移位量进行了校正的情况下(也就是说本发明的一个实施例的方法的情况下)的结果。根据该结果可知，在本发明的一个实施例的方法中，即使在参照系统与对象系统之间的相关性低的情况(在图7中为移位幅度是3V、5V的情况)下，也能够以少的搜索次数来搜索最佳的参数值。
在上述具体例中，作为模型或者数据的变动，仅设想了单纯的移位。关于此，以图12来说，相当于如图12的(c)示出的那样平均值从原始信号发生了变更的情况。但是，在很多情况下，参数空间是2维以上的多维，也会产生参数空间中的伸缩、旋转等变动。然而，参照系统与对象系统相关联，这两个系统的模型的相关性下降的主要原因是移位，因此即使仅考虑移位作为变动来进行校正，也在提高参数搜索的效率上足够有效。
图8与图6同样地表示了参照系统和对象系统的模型，但是在该例中，设为不仅是单纯的移位，在参照系统与对象系统中模型本身也不同。图9是将针对图8示出的模型实施一般性的贝叶斯优化法、以往的多任务贝叶斯优化法(无校正处理)以及本发明的一个实施例的方法(有校正处理)来求出最佳参数值时的效果进行比较而得到的结果。其中，变动量估计方法与上述第二变动量估计方法相同，关于变动，仅考虑移位。
如根据图9而明确的那样，在本发明的一个实施例的方法中即使在搜索次数少的状态下也得以搜索到最佳参数。像这样，能够确认：即使在参照系统与对象系统之间的模型的变动不仅是移位的情况下，通过视为变动是移位来进行变动量的估计及其校正，也能够充分地改善参数搜索的效率。
当然，也可以考虑旋转、伸缩等来作为参照系统与对象系统之间的模型的变动，但是越增加该变动原因，则在上述步骤S12中要生成的变形模型或者在步骤S21中要生成的变形数据越多。因此，计算量大幅增加，计算时间延长。相对于这样的负荷的增大，参数搜索的效率的改善程度小，因此即使考虑了移位以外的变动也没那么有效。
在图1示出的上述实施例中，作为分析系统20，设想质量分析装置、色谱装置等各种各样的装置(系统)，但是作为特别需要高效的参数搜索的装置的具体例，存在使用串联型质量分析装置的LC-MS、GC-MS中的MRM(多反应监测)测定时的参数优化。在MRM测定中，基于实测结果来搜索能够进行高灵敏度的测定的参数，但是在用于使作为测定对象的试样离子化的部分的接口参数中，需要等到温度、气体流量等变为稳定状态为止的等待时间的参数多，而且最佳的参数按化合物、移动相等每个条件而不同，因此存在参数的搜索需要长的时间或者消耗大量的试样这样的问题。这样，在要搜索的参数的数量多、而且用于找出一个参数的测定需要时间的情况下，当使用本发明时，能够以少的测定次数来高效地搜索参数，因此削减时间和节约试样的效果特别大。
另外，上述实施例不过是本发明的一例，即使在本发明的主旨的范围内适当进行变形、修正、追加等也包含在本申请的权利要求的范围内，这是理所当然的。
例如如上所述，本发明所涉及的参数搜索方法的作为对象的系统不限于分析系统，只要是在某种参数条件下获得观测值的系统、或者基于所获得的观测值来计算SN比、动态范围等某种指标值的系统，则能够应用于任何系统。因而，只要其参数的种类也能够数值化即可，没有特别限定。
附图标记说明
10：参数搜索装置；11：模型估计部；111：变动量估计部；112：校正处理部；113：模型估计部；12：参数决定部；13：数据获取部；14：重复控制部。

Claims (15)

1.一种参数搜索方法，在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索方法包括以下步骤：
模型估计步骤，基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计步骤包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计步骤，在所述模型估计步骤中，估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定步骤，基于在所述模型估计步骤中获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；以及
数据获取步骤，将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据，
通过重复进行所述模型估计步骤、所述参数决定步骤以及所述数据获取步骤的处理，来搜索更适当的参数值。
2.根据权利要求1所述的参数搜索方法，其特征在于，
所述变动量是参数空间中的对象观测数据与参照观测数据之间的移位量。
3.根据权利要求1所述的参数搜索方法，其特征在于，
在所述变动量估计步骤中，用对象观测数据和参照观测数据来独立地估计各自的系统的模型函数的后验分布，对任一方的模型函数给出参数空间中的多个不同的变动量来分别求出两个模型的相关性，将呈现最高的相关性的变动量作为估计值。
4.根据权利要求1所述的参数搜索方法，其特征在于，
在所述变动量估计步骤中，对对象观测数据和参照观测数据中的任一方的数据给出参数空间中的多个不同的变动量来分别估计模型函数的后验分布，将各个后验分布的平均值模型与观测数据之间的误差最小的变动量作为估计值。
5.根据权利要求4所述的参数搜索方法，其特征在于，
在所述变动量估计步骤中，在模型函数遵循高斯过程的前提下计算该模型函数的后验分布，将在对高斯过程的超参数进行最大似然估计时呈现最大的似然度的变动量作为估计值。
6.一种参数搜索装置，在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索装置具备：
模型估计部，其基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计部包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计部，所述模型估计部估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定部，其基于由所述模型估计部获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；
数据获取部，其将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据；以及
控制部，其控制所述模型估计部、所述参数决定部以及所述数据获取部，使得重复执行由该模型估计部、该参数决定部以及该数据获取部进行的处理。
7.根据权利要求6所述的参数搜索装置，其特征在于，
所述变动量是参数空间中的对象观测数据与参照观测数据之间的移位量。
8.根据权利要求6所述的参数搜索装置，其特征在于，
所述变动量估计部用对象观测数据和参照观测数据来独立地估计各自的系统的模型函数的后验分布，对任一方的模型函数给出参数空间中的多个不同的变动量来分别求出两个模型的相关性，将呈现最高的相关性的变动量作为估计值。
9.根据权利要求6所述的参数搜索装置，其特征在于，
所述变动量估计部对对象观测数据和参照观测数据中的任一方的数据给出参数空间中的多个不同的变动量来分别估计模型函数的后验分布，将各个后验分布的平均值模型与观测数据之间的误差最小的变动量作为估计值。
10.根据权利要求9所述的参数搜索装置，其特征在于，
所述变动量估计部在模型函数遵循高斯过程的前提下计算该模型函数的后验分布，将在对高斯过程的超参数进行最大似然估计时呈现最大的似然度的变动量作为估计值。
11.一种记录有参数搜索用程序的非易失性计算机可读介质，所述参数搜索用程序用于在以给出的参数值为条件进行观测并输出观测值的对象系统中搜索使该观测值或者指标值成为规定的状态的参数值，所述指标值是基于该观测值求出的，所述参数搜索用程序使计算机作为以下功能部进行动作：
模型估计功能部，其基于由所述对象系统观测到的对象观测数据以及由与该对象系统相关联的参照系统观测到的参照观测数据，来估计所述对象系统的模型函数的后验分布，所述模型估计功能部包括基于所述对象观测数据和所述参照观测数据来估计参数空间中的这两个观测数据之间的变动量的变动量估计功能部，所述模型估计功能部估计进行了与估计出的该变动量相当的校正而得到的模型函数的后验分布；
参数决定功能部，其基于由所述模型估计功能部获得的模型函数的后验分布，来决定作为下一次观测时的条件的参数值；
数据获取功能部，其将决定出的所述参数值设定给所述对象系统，从该对象系统获取对象观测数据；以及
控制功能部，其控制所述模型估计功能部、所述参数决定功能部以及所述数据获取功能部，使得重复执行由该模型估计功能部、该参数决定功能部以及该数据获取功能部进行的处理。
12.根据权利要求11所述的记录有参数搜索用程序的非易失性计算机可读介质，其特征在于，
所述变动量是参数空间中的对象观测数据与参照观测数据之间的移位量。
13.根据权利要求11所述的记录有参数搜索用程序的非易失性计算机可读介质，其特征在于，
所述变动量估计功能部用对象观测数据和参照观测数据来独立地估计各自的系统的模型函数的后验分布，对任一方的模型函数给出参数空间中的多个不同的变动量来分别求出两个模型的相关性，将呈现最高的相关性的变动量作为估计值。
14.根据权利要求11所述的记录有参数搜索用程序的非易失性计算机可读介质，其特征在于，
所述变动量估计功能部对对象观测数据和参照观测数据中的任一方的数据给出参数空间中的多个不同的变动量来分别估计模型函数的后验分布，将各个后验分布的平均值模型与观测数据之间的误差最小的变动量作为估计值。
15.根据权利要求14所述的记录有参数搜索用程序的非易失性计算机可读介质，其特征在于，
所述变动量估计功能部在模型函数遵循高斯过程的前提下计算该模型函数的后验分布，将在对高斯过程的超参数进行最大似然估计时呈现最大的似然度的变动量作为估计值。
CN201980033718.1A 2018-06-19 2019-04-24 参数搜索方法、参数搜索装置以及参数搜索用程序 Active CN112154464B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-116364 2018-06-19
JP2018116364 2018-06-19
PCT/JP2019/017373 WO2019244474A1 (ja) 2018-06-19 2019-04-24 パラメータ探索方法、パラメータ探索装置、及びパラメータ探索用プログラム

Publications (2)

Publication Number Publication Date
CN112154464A CN112154464A (zh) 2020-12-29
CN112154464B true CN112154464B (zh) 2024-01-02

Family

ID=68984008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033718.1A Active CN112154464B (zh) 2018-06-19 2019-04-24 参数搜索方法、参数搜索装置以及参数搜索用程序

Country Status (4)

Country Link
US (1) US20210089952A1 (zh)
JP (1) JP6919770B2 (zh)
CN (1) CN112154464B (zh)
WO (1) WO2019244474A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450212B2 (ja) * 2020-02-28 2024-03-15 日立造船株式会社 情報処理装置、制御システム、制御変数決定方法、および制御変数決定プログラム
WO2021221130A1 (ja) * 2020-05-01 2021-11-04 味の素株式会社 タンパク質のリフォールディング条件の探索方法ならびにタンパク質のリフォールディング条件の探索を支援するための情報処理装置、情報処理方法およびプログラム
WO2022131336A1 (ja) * 2020-12-17 2022-06-23 株式会社堀場製作所 測定条件探索方法、コンピュータプログラム、測定条件探索装置、及び測定システム
CA3232628A1 (en) * 2021-09-15 2023-03-23 The Dun & Bradstreet Corporation Interactive system to assist a user in building a machine learning model
CN114757291B (zh) * 2022-04-26 2023-05-23 国网四川省电力公司电力科学研究院 基于机器学习算法的单相故障识别优化方法、系统及设备
WO2024080012A1 (ja) * 2022-10-12 2024-04-18 日本電気株式会社 情報処理装置、情報処理方法および記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046677A (ja) * 2002-07-15 2004-02-12 Matsushita Electric Ind Co Ltd パラメータ推定装置、パラメータ推定プログラム及びパラメータ推定方法
CN103902819A (zh) * 2014-03-21 2014-07-02 哈尔滨工程大学 基于变分滤波的粒子优化概率假设密度多目标跟踪方法
CN106096646A (zh) * 2016-06-07 2016-11-09 衢州学院 一种支持向量回归机模型选择方法
CN106605225A (zh) * 2014-08-27 2017-04-26 日本电气株式会社 仿真设备、仿真方法和存储器介质
CN107004160A (zh) * 2014-11-27 2017-08-01 隆沙有限公司 采用多个二进制支持向量机计算类的后验概率
CN107464017A (zh) * 2017-08-01 2017-12-12 浙江大学 基于带时间差分贝叶斯网络的自适应软测量预测方法
CN107844627A (zh) * 2017-09-25 2018-03-27 北京理工大学 一种仅输出时变结构模态参数贝叶斯估计方法
JP2018073360A (ja) * 2016-11-04 2018-05-10 日本電信電話株式会社 入力パラメータ探索装置、入力パラメータ探索方法、及び入力パラメータ探索プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1598751B1 (en) * 2004-01-12 2014-06-25 Honda Research Institute Europe GmbH Estimation of distribution algorithm (EDA)
WO2006087854A1 (ja) * 2004-11-25 2006-08-24 Sharp Kabushiki Kaisha 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム
KR102219346B1 (ko) * 2013-05-30 2021-02-23 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 베이지안 최적화를 수행하기 위한 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046677A (ja) * 2002-07-15 2004-02-12 Matsushita Electric Ind Co Ltd パラメータ推定装置、パラメータ推定プログラム及びパラメータ推定方法
CN103902819A (zh) * 2014-03-21 2014-07-02 哈尔滨工程大学 基于变分滤波的粒子优化概率假设密度多目标跟踪方法
CN106605225A (zh) * 2014-08-27 2017-04-26 日本电气株式会社 仿真设备、仿真方法和存储器介质
CN107004160A (zh) * 2014-11-27 2017-08-01 隆沙有限公司 采用多个二进制支持向量机计算类的后验概率
CN106096646A (zh) * 2016-06-07 2016-11-09 衢州学院 一种支持向量回归机模型选择方法
JP2018073360A (ja) * 2016-11-04 2018-05-10 日本電信電話株式会社 入力パラメータ探索装置、入力パラメータ探索方法、及び入力パラメータ探索プログラム
CN107464017A (zh) * 2017-08-01 2017-12-12 浙江大学 基于带时间差分贝叶斯网络的自适应软测量预测方法
CN107844627A (zh) * 2017-09-25 2018-03-27 北京理工大学 一种仅输出时变结构模态参数贝叶斯估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Scalable Bayesian Optimization Using Deep Neural Networks;Jasper Snoek;Proceedings of the 32 nd International Conference on Machine Learning;第1-10页 *

Also Published As

Publication number Publication date
CN112154464A (zh) 2020-12-29
JPWO2019244474A1 (ja) 2020-10-22
WO2019244474A1 (ja) 2019-12-26
JP6919770B2 (ja) 2021-08-18
US20210089952A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112154464B (zh) 参数搜索方法、参数搜索装置以及参数搜索用程序
Hallak et al. Consistent on-line off-policy evaluation
US20110029469A1 (en) Information processing apparatus, information processing method and program
JP2015210750A (ja) 検出装置、検出方法、およびプログラム
JP2014102578A (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
CN117236084B (zh) 一种木工机械加工生产智能管理方法及系统
US10482351B2 (en) Feature transformation device, recognition device, feature transformation method and computer readable recording medium
US7529651B2 (en) Accurate linear parameter estimation with noisy inputs
CN114567288B (zh) 基于变分贝叶斯的分布协同非线性系统状态估计方法
CN115019128A (zh) 图像生成模型训练方法、图像生成方法及相关装置
CN114830137A (zh) 用于生成预测模型的方法和系统
CN115438590A (zh) 一种基于bp神经网络的降水预报订正方法及系统
JP2018142200A (ja) 状態推定方法、及び状態推定装置
Qian et al. Reliever: Relieving the burden of costly model fits for changepoint detection
US20210232656A1 (en) Calculation apparatus, calculation method and program
Zhu et al. Stochastic parallel block coordinate descent for large-scale saddle point problems
US20210365838A1 (en) Apparatus and method for machine learning based on monotonically increasing quantization resolution
US20230280318A1 (en) Learning data producing method, waveform analysis device, waveform analysis method, and recording medium
Mantravadi et al. Adaptive Exon Prediction for Disease Identification using Higher Order Algorithms
KR102319015B1 (ko) 정밀 점유 지도 작성을 위한 적응형 커널 추론 방법 및 장치
WO2023188286A1 (ja) 学習装置、推定装置、学習方法および記録媒体
CN115809398A (zh) 计算设备及计算方法
US20230316094A1 (en) Systems and methods for heuristic algorithms with variable effort parameters
CN111368861B (zh) 在图像物体检测过程中确定子部件顺序的方法和装置
JP2023167633A (ja) 情報処理装置、情報処理方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant