CN111381495A - 优化装置及优化装置的控制方法 - Google Patents

优化装置及优化装置的控制方法 Download PDF

Info

Publication number
CN111381495A
CN111381495A CN201911133464.9A CN201911133464A CN111381495A CN 111381495 A CN111381495 A CN 111381495A CN 201911133464 A CN201911133464 A CN 201911133464A CN 111381495 A CN111381495 A CN 111381495A
Authority
CN
China
Prior art keywords
state
constraint term
value
energy
constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911133464.9A
Other languages
English (en)
Other versions
CN111381495B (zh
Inventor
松原聪
高津求
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111381495A publication Critical patent/CN111381495A/zh
Application granted granted Critical
Publication of CN111381495B publication Critical patent/CN111381495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1917—Control of temperature characterised by the use of electric means using digital means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本公开涉及优化装置及优化装置的控制方法。根据本公开的优化装置包括：状态保持单元，用于保持表示能量的评估函数中包括的多个状态变量的值；目标函数计算单元，用于当响应于多个状态变量的值中的任何值的变化而发生状态转变时，针对多个状态转变中的每一个来计算评估函数中包括的目标函数的能量变化值；约束项计算单元，用于针对多个状态转变中的每一个来计算约束项评估值，约束项评估值是评估函数中包括的约束项的评估值；温度控制器，用于控制指示温度的温度值；以及转变控制器，用于基于温度值、随机数值以及变化值与约束项评估值之和来随机地确定是否接受多个状态转变中的任何状态转变。

Description

优化装置及优化装置的控制方法
技术领域
本文讨论的实施方式涉及优化装置及优化装置的控制方法。
背景技术
在当今社会的几乎每个领域中都执行信息处理。使用诸如计算机的算术设备来执行信息处理，并且通过计算和处理各种数据来执行诸如预测、确定、控制等的各种处理以获得有意义的结果。信息处理的领域之一是视为重要领域的优化问题。例如，存在使执行特定处理所需的资源和成本最小化的问题，或者找到使处理的效果最大化的解决方案的问题。显然，这样的问题非常重要。
线性规划问题是优化问题的代表。线性规划问题在由线性和表示的约束条件下获得使由多个连续变量的线性和表示的评估函数最大化或最小化的变量的值，并且被用于各种领域，例如生产计划。对于线性规划问题，已知极好的解决方法，例如，单纯形法和内点法，并且甚至可以通过线性规划问题有效地解决具有成千上万个变量的问题。
同时，已知许多优化问题采用离散值而不是连续值。例如，可能存在当依次穿过多个城市返回时寻找最短路线的旅行推销员问题或者当将不同物品收拾到背包中时寻找使价值之和最大化的组合的背包问题。这样的问题称为离散优化问题、组合优化问题等，并且已知很难获得最优解。
难以解决离散优化问题的最大原因在于，由于每个变量仅采用离散值，所以不可以使用沿改进评估函数的方向连续改变变量以达到最优解的方法。此外，除了给出原始最佳值的变量的值(最佳解、全局解)以外，还存在局部地给出评估函数的极值(最小(大)解、局部解)的很多值。因此，必须采取穷举法以确保获得最优解，并且因此计算时间可能大大延长。离散优化问题有很多问题，这些问题在计算复杂度理论中称为NP(非确定性多项式)难问题，可以预期，找到最优解的计算时间可能随着问题的大小(即，变量的数目)呈指数增长。旅行推销员问题和背包问题也是NP难问题。
如上所述，难以可靠地获得离散优化问题的最优解。因此，针对对于实际应用重要的离散优化问题，已经设计出使用该问题固有性质的解决方案。如上所述，由于预期许多离散优化问题会花费指数增长的计算时间来获得精确解，所以最实际的解不是最优解，而是可以获得其中评估函数的值接近于最佳值的解决方案的近似解。
针对特定于问题的近似算法，还已知可以处理大范围的问题以便在不使用问题性质的情况下解决问题的近似解决方案。这样的解决方案称为元启发解决方案，并且可以包括模拟退火方法(SA方法)、遗传算法、神经网络等。尽管这些方法的效率可能不及利用问题性质的解决方案，但是可以期望这些方法比获得精确解的解决方案更快地获得解。
例如，在日本特开专利公布第2003-223322号和日本特开专利公布第08-153085号中公开了相关技术。
惩罚系数是约束项的比例系数，不能被设置得太小，使得最小能量的解不包括约束违反。同时，当惩罚系数被设置的太大时，至约束违反状态的转变的接受概率变得更低，使得解达到最优解的时间变得更长。在许多组合优化问题中，使用包括与多个约束条件对应的多个约束项的评估函数。在许多情况下，解决方案可能经历多次违反多个约束条件的约束违反状态，并且达到最优解。在这样的问题中，由于约束项而导致潜在峰进一步增大，并且向约束违反状态的转变的接受概率进一步减小，这花费了较长的时间来搜索最优解(基态)。
实施方式的一个方面的目的是提供可以加速对基态的搜索的优化装置和该优化装置的控制方法。
发明内容
根据实施方式的一个方面，一种优化装置包括：状态保持单元，用于保持表示能量的评估函数中包括的多个状态变量的值；目标函数计算单元，用于当响应于多个状态变量的值中的任何值的变化而发生状态转变时，针对多个状态转变中的每一个来计算评估函数中包括的目标函数的能量变化值；约束项计算单元，用于针对多个状态转变中的每一个来计算约束项评估值，约束项评估值是评估函数中包括的约束项的评估值；温度控制器，用于控制指示温度的温度值；以及转变控制器，用于基于温度值、随机数值以及变化值与约束项评估值之和来随机地确定是否接受多个状态转变中的任何状态转变。
附图说明
图1是示出根据第一实施方式的优化装置的示例的视图；
图2是示出优化装置的操作的示例的流程的流程图；
图3是示出非线性函数的示例的视图；
图4是示出根据第二实施方式的优化装置的示例的视图；
图5是示出由优化装置执行的操作的示例的流程的流程图，其中操作包括将加权因子和偏差因子分离的处理；
图6是示出目标函数分量和约束项分量的分离的示例的视图；以及
图7是示出通过模拟退火方法的优化装置的概念配置的视图。
具体实施方式
以下将描述模拟退火方法。
模拟退火方法是一种蒙特卡洛方法，并且是使用随机数值随机地获得解的方法。在下文中，将描述使要优化的评估函数的值最小化的问题作为示例，并且将该评估函数的值称为能量。在最大化的情况下，可以改变评估函数的符号。
从用离散值之一代替每个变量的初始状态开始，从当前状态(变量值的组合)中选择接近初始状态的状态(例如，仅一个变量改变的状态)，并且考虑其状态转变。计算状态转变的能量变化，并且根据值来采用状态转变，以随机地确定是改变状态还是保持原始状态而不采用状态转变。当能量下降的情况的采用概率被选择为大于能量上升的情况时，平均而言，沿能量减小的方向发生状态变化，并且可以预期随着时间的过去发生向更合适的状态的状态转变。最后，可以获得最优解或给出接近最优值的能量的近似解。当针对能量确定地下降的情况采用这样的解决方案时，或者当针对能量上升的情况不采用这样的解决方案时，能量变化随着时间变得宽的单调减小，但是一旦能量变化达到局部解，则不再发生变化。如上所述，由于离散优化问题具有大量的局部解，因此通常由不接近最优值的局部解捕获状态。因此，重要的是随机地确定是否采用状态。
在模拟退火方法中，已经证明，当如下确定状态转变的采用(接受)概率时，状态在时间(迭代次数)无穷大的极限处达到最优解。
针对伴随状态转变的能量变化值(ΔE)，通过由等式(1)表示的以下函数f(x)来确定状态转变的接受概率p。等式(2)是Metropolis方法。等式(3)是Gibbs方法。
[等式1]
Figure BDA0002278959700000041
[等式2]
fmetro(x)＝min(1，ex) (2)
[等式3]
Figure BDA0002278959700000042
此处，符号“T”是称为温度值的参数，并且进行如下改变。即，如由以下等式表示的，温度值T关于迭代次数t对数地减小。
[等式4]
Figure BDA0002278959700000043
此处，符号“T0”是初始温度，根据问题其需要足够大。
当使用由等式(1)至(3)表示的接受概率时，假设状态在充分重复之后达到稳定状态，则每个状态的占有概率遵循关于热力学中的热平衡状态的玻尔兹曼分布。另外，由于当温度从高温逐渐降低时低能量状态的占有概率增加，因此当温度充分降低时可以获得低能量状态。该方法被称为模拟退火方法，因为该方法与材料退火时的状态变化非常相似。此时，能量升高的状态转变的随机发生对应于物理学中的热激发。
在上述模拟退火方法中，当迭代次数取无限时，可以获得最佳解，但是实际上，由于需要通过有限迭代次数来获得解，因此不能可靠地确定最佳解。在以上等式中，由于温度非常缓慢地下降，因此温度在有限时间内不会充分地下降。因此，在实际的模拟退火方法中，温度通常比对数温度变化更快地降低。
图7示出通过模拟退火方法的优化装置的概念配置。在以下描述中将描述生成多个状态转变候选的情况，但是原始的基本模拟退火方法是逐个生成转变候选。
优化装置10包括状态保持单元11，该状态保持单元11保持当前状态S(多个状态变量的值)。优化装置10还包括评估函数计算单元12，该评估函数计算单元12在由于多个状态变量的值之一的改变而发生从当前状态S的状态转变时，计算每个状态转变的能量变化值{-ΔEi}。优化装置10还包括温度控制器13和转变控制器14，该温度控制器13控制温度值T，该转变控制器14控制状态变化。该转变控制器14基于温度值T、能量变化值{-ΔEi}和随机数值，根据能量变化值{-ΔEi}与热激发能量之间的相对关系来随机地确定是否接受多个状态转变中的任何状态转变。优化装置10还包括能量比较单元15，该能量比较单元15在由状态转变产生的状态中指定最小能量状态S。
一次迭代中的操作如下。首先，转变控制器14生成从状态保持单元11中保持的当前状态s到下一状态的状态转变的一个或更多个候选(候选数{Ni})。评估函数计算单元12使用当前状态S和状态转变候选来计算被列为候选的每个状态转变的能量变化值{-ΔEi}。响应于每个状态转变的能量变化值{-ΔEi}，转变控制器14使用由温度控制器13生成的温度值T和由转变控制器14中的随机数产生器单元生成的随机变量(随机数值)以允许具有以上等式(1)至(3)的接受概率的状态转变。然后，转变控制器14计算指示是否接受每个状态转变的转变适当性{fi}(在下文中，也称为状态转变的适当性(propriety))。当存在多个允许的状态转变时，转变控制器14使用随机数值来随机地选择允许的状态转变之一。然后，转变控制器14输出所选择的状态转变的转变数N和转变适当性F。当存在多个允许的状态转变时，根据所选择的状态转变来更新存储在状态保持单元11中的状态变量的值。
从初始状态开始，温度控制器13在降低温度值的同时重复以上重复，并且当重复次数达到某个数目或当满足诸如能量达到某个值的条件之类的结束确定条件时，操作结束。由优化装置10输出的答案是最后的状态。然而，实际上，由于温度T不会通过有限的迭代次数变为0，因此状态的占有概率即使在最后也具有由玻耳兹曼分布表示的分布，这不一定是最优值或好的解。因此，现实的解决方案是保持迭代期间到目前为止获得的最小能量的状态并且最终输出这样的状态。
此处，将对到目前为止尚未描述的机制进行补充描述，该机制通过转变控制器14允许具有由等式(1)至(3)表示的接受概率的状态转变。
可以通过具有两个输入“a”和“b”的比较器——当a＞b时输出1，并且当a<b时输出0——来实现以接受概率“p”输出1并且以接受概率(1-p)输出0的电路，其中将接受概率“p”输入到输入“a”中，并且将取区间[0，1)的值的均匀随机数输入到输入“b”中。因此，以上函数可以通过将根据能量变化值和温度T使用等式(1)计算出的接受概率“p”的值输入到比较器的输入“a”来实现。
也就是说，当“f”是在等式(1)中使用的函数并且“u”是取区间[0，1)的值的均匀随机数时，以上函数可以以当f(ΔE/T)大于“u”时输出1作为转变适当性F的电路来实现。
该方案可以保持不变，但是即使进行以下修改，也可以实现相同的函数。即使当将同一单调递增函数应用于两个数时，大小关系也不会改变。因此，即使当将同一单调递增函数应用于比较器的两个输入时，比较器的输出也不会改变。当采用f的反函数f-1作为单调递增函数时，当-ΔE/T大于f-1(u)时输出1的电路或者当ΔE/T等于或小于f-1(u)时输出1的电路是足够的。此外，由于温度T为正，所以当-ΔE大于Tf-1(u)时输出1的电路或者当ΔE等于或小于Tf-1(u)时输出1的电路是足够的。转变控制器14生成均匀随机数“u”，并且使用将均匀随机数“u”转换为f-1(u)的值的转换表来输出f-1(u)的值。当应用Metropolis方法时，f-1(u)由以下等式(5)给出。此外，当应用Gibbs方法时，f-1(u)由以下等式(6)给出。
[等式4]
Figure BDA0002278959700000061
[等式5]
Figure BDA0002278959700000062
当通过如上所述的模拟退火方法来解决优化问题时，要被最小化的评估函数通常包括表示要被最小化的数值的目标函数和用于限制对解需要满足的约束条件的违反的约束项。在伊辛模型(Ising model)的评估函数中，约束项以二次形式表示。
在下文中，将参照附图描述本公开内容的实施方式。
(第一实施方式)
图1是示出根据第一实施方式的优化装置的示例的视图。
优化装置20包括状态保持单元21、目标函数计算单元22、约束项计算单元23、温度控制器24、转变控制器25和能量比较单元26。
状态保持单元21保持表示能量的评估函数中包括的状态“s”(多个状态变量的值)。此外，状态保持单元21基于由转变控制器25输出的转变适当性F和转变数N来更新状态变量的值。状态保持单元21可以使用例如保持多个状态变量的值的寄存器或存储器(例如，RAM(随机存取存储器))以及逻辑电路来实现，该逻辑电路基于转变适当性F和转变数N将状态变量的值从1取反为0或从0取反为1。当转变适当性F为允许转变数N的状态转变的值(例如，1)时，与转变数N对应的状态变量的值被取反。
当响应于多个状态变量的值中的任何值的变化而发生状态转变时，目标函数计算单元22针对多个状态转变中的每一个计算评估函数中包括的目标函数的能量变化值。在下文中，针对多个状态转变中的每一个计算出的目标函数中的能量变化值被表示为能量变化{-ΔEoi}。
基于多个状态变量的值、偏差因子以及与目标函数有关的加权因子(也称为耦合系数)通过以下等式(7)表示目标函数的能量Eo。
[等式7]
Figure BDA0002278959700000071
在等式(7)中，xi和xj是状态变量，Wo_ij是目标函数中的状态变量xi与xj之间的加权因子，并且βo_i是目标函数中的状态变量xi与xj之间的偏差因子。
目标函数计算单元22计算当前目标函数的能量和当多个状态转变(由稍后描述的候选数{Ni}指定的状态转变)中的每一个发生时目标函数的能量。然后，目标函数计算单元22计算能量变化{-ΔEoi}，该能量变化是当前目标函数的能量与当多个状态转变中的每一个发生时目标函数的能量之间的差。例如，当xi的值取反时的目标函数的能量变化ΔEoi由以下等式(8)表示。
[等式8]
ΔEoi＝Eo_i-Eo_current (8)
在等式(8)中，Eo_i是xi的值取反之后目标函数的能量，以及Eo_current是当前目标函数(在xi改变之前)的能量。目标函数计算单元22例如使用诸如积和运算电路的逻辑电路、保持加权因子和偏差因子的寄存器或存储器(例如，RAM)等来实现。保持加权因子和偏差因子的寄存器或存储器可以在目标函数计算单元22之外。
当响应于多个状态变量值中的任何状态变量值的变化而发生状态转变时，约束项计算单元23针对多个状态转变中的每一个来计算约束项评估值，该约束项评估值是评估函数中约束项的评估值。例如，如下计算约束项评估值。在下文中，针对多个状态转变中的每一个计算出的约束项评估值可以表示为能量变化{-ΔEpi_nl}。
基于多个状态变量的值以及与约束项有关的偏差因子和加权因子通过以下等式(9)表示约束项的能量Ep。
[等式9]
Figure BDA0002278959700000081
在等式(9)中，Wp_ij是约束项中的状态变量xi与xj之间的加权因子，以及βp_i是约束项中的状态变量xi的偏差因子。
约束项计算单元23计算多个状态变量中的任何状态变量改变之前和之后的约束项的能量。也就是说，约束项计算单元23计算当前约束项的能量和当多个状态转变(由稍后描述的候选数{Ni}指定的状态转变)中的每一个发生时约束项的能量。
此外，约束项计算单元23针对多个状态转变中的每一个，通过在多个状态变量中的任何状态变量改变之前对约束项执行非线性处理来计算第一非线性约束项，并且通过在多个状态变量中的任何状态变量改变之后对约束项执行非线性处理来计算第二非线性约束项，其中非线性处理限制约束项的能量的量。此后，约束项计算单元23针对多个状态转变中的每一个计算能量变化{-ΔEpi_nl}，该能量变化是第一非线性约束项与第二非线性约束项之间的差。例如，作为当xi的值改变时的约束项评估值的能量变化ΔEpi_nl由以下等式(10)表示。
[等式10]
ΔEpi_nl＝f(Ep_i)-f(Ep_current) (10)
在等式(10)中，f(Ep_i)是通过对xi的值改变之后的约束项的能量Ep_i执行非线性处理计算出的非线性约束项。f(Ep_current)是通过对(xi改变之前的)当前约束项的能量Ep_current执行非线性处理计算出的非线性约束项。
此外，约束项计算单元23可以输出计算出的约束项的能量Ep(例如，能量Ep_current)。
约束项计算单元23例如使用诸如积和运算电路的逻辑电路、保持加权因子和偏差因子的寄存器或存储器、执行非线性处理的电路(例如，选择电路，该选择电路选择并且输出与约束项的能量对应的值)等来实现。保持加权因子和偏差因子的寄存器或存储器可以在约束项计算单元23之外。
温度控制器24控制温度T。为了实现模拟退火方法，温度控制器24根据预定时间表来执行例如降低温度T的控制。
温度控制器24可以由用于特定应用的电子电路(例如，ASIC(专用集成电路)或FPGA(现场可编程门阵列))来实现。温度控制器24可以是诸如CPU(中央处理单元)或DSP(数字信号处理器)的处理器。在这种情况下，处理器通过执行在存储器(未示出)中存储的程序来控制温度T。
转变控制器25基于作为能量变化{-ΔEoi}和能量变化{-ΔEpi_nl}之和的评估值、温度T以及随机数值来随机地确定是否接受多个状态转变中的任何状态转变。例如，转变控制器25使用随机数值来生成并且输出候选数{Ni}。另外，转变控制器25针对由候选数{Ni}指定的多个状态转变中的每一个来计算评估值{-ΔEi}＝{-ΔEoi}+{-ΔEpi_nl}。此外，转变控制器25计算温度T和随机数值(对应于热激发能量)的积Tf-1(u)。然后，转变控制器25基于Tf-1(u)与{-ΔEi}之间的比较结果来随机地确定是否接受多个状态转变中的任何状态转变。在转变控制器25是输出指示当{-ΔEi}＜Tf-1(u)时接受状态转变的转变适当性F的电路的情况下，随着{-ΔEi}正向变大，状态转变接受概率变小。当存在多个允许的状态转变时，转变控制器25使用随机数值来随机地选择允许的状态转变之一。然后，转变控制器25输出所选择的状态转变的转变数N和转变适当性F。
当不存在允许的状态转变时，转变控制器25可以向或从能量变化{-ΔEoi}和Tf-1(u)中的一个加上或减去偏移值，使得状态转变接受概率增加(参见例如日本特开专利公布第2018-063626号)。
如上所述的转变控制器25可以使用例如加法器电路、乘法器电路、选择器、比较器、随机数生成电路、存储与随机数值对应的f-1(u)的存储器(例如，RAM)等来实现。
能量比较单元26接收当前状态“s”，并且使用关于目标函数和约束项的加权因子和偏差因子来计算当前状态“s”的能量。另外，能量比较单元26保持最小能量和获得最小能量时的状态(最小能量状态S)。当从当前状态“s”获得的能量低于到目前为止获得的最小能量时，能量比较单元26更新最小能量并且将状态“s”存储为最小能量状态S。此外，能量比较单元输出最小能量状态S。
这样的能量比较单元26可以使用例如比较器、寄存器或存储器(例如，RAM)来实现。
在下文中，将描述优化装置20的操作示例。
图2是示出由优化装置执行的操作的示例的流程的流程图。
首先，在优化装置20中，通过管理迭代次数的控制器(控制器)(未示出)初始化迭代次数(步骤S1)。此后，通过目标函数计算单元22和约束项计算单元23的上述处理来计算能量变化{-ΔEoi}和能量变化{-ΔEpi_nl}(约束项评估值)(步骤S2)。
然后，转变控制器25计算评估值{-ΔEi}＝{-ΔEoi}+{-ΔEpi_nl}，该评估值是变化值{-ΔEoi}与约束项评估值{-ΔEpi_nl}之和(步骤S3)，并且执行随机搜索(步骤S4)。随机搜索包括转变控制器25基于{-ΔEi}、温度T和随机数值来随机地确定是否接受多个状态转变中的任何状态转变的上述处理，以及状态保持单元21基于转变适当性F和转变数目N来更新状态变量的上述处理。
此后，控制器增大迭代次数(步骤S5)，并且确定迭代次数是否已达到预定次数(步骤S6)。当确定迭代次数尚未达到预定次数时，重复从步骤S2开始的处理。当确定迭代次数已经达到预定次数时，控制器使能量比较单元26输出最小能量状态S(步骤S7)并且结束处理。尽管未在图2中示出，但是为了实现模拟退火方法，温度控制器24例如每当迭代次数达到某个次数(小于预定次数)时执行降低温度T的控制。因此，温度控制器24可以执行管理重复次数的控制器(控制器)的处理。
如上所述的优化装置20不使用多个状态变量中的任何状态变量变化之前与之后的约束项之间的能量差来确定转变适当性，而是针对多个状态转变中的每一个来计算作为约束项的评估值的约束项评估值，以使用约束项评估值来确定转变适当性。例如，当违反多个约束条件的约束违反状态下的约束项的能量变大并且使用约束项之间的能量差来确定转变适当性时，该差也变大并且向约束违反状态的转变的接受概率变小。
相比之下，通过使用如上所述的约束项评估值，即使当约束项的能量大时，优化装置20也可以限制{-ΔEi}的增加，并且向约束违反状态的转变的接受概率可以增加。这可以经由约束违反状态加速从某个能量状态到较低能量状态的转变(超过势峰的转变)，从而加快对基态的搜索。也就是说，可以缩短达到优化的时间。
此外，约束项计算单元23可以通过输出计算的约束项能量Ep来容易地检查当前状态是否包括约束违反。这是因为可以基于能量Ep是否为0来确定约束违反的存在或不存在。可以将获得最小能量状态S时的约束项能量Ep存储在寄存器或存储器中。从而，可以容易地检查最小能量状态S是否包括约束违反。
(非线性处理示例)
在下文中，将描述在计算约束项评估值中的能量变化{-ΔEpi_nl}时执行的非线性处理的示例。
使用例如以下三个非线性函数之一来执行非线性处理。
图3是示出非线性函数的示例的视图。
第一非线性函数(非线性函数1)的示例是可以最简单地限制约束项能量Ep的上限的函数。
非线性函数1使上述非线性约束项f(Ep_i)和f(Ep_current)(在下文中统称为f(Ep))变平(以一级阶梯形式)。例如，如图3所示，当约束项能量Ep大于0时(即，处于约束违反状态)时，或者当f(Ep)＝pa时，也就是说，当能量Ep为0时(即，未处于约束违反状态)，非线性函数1是f(Ep)＝0的函数。
符号Pa是惩罚系数参数，是大于零的恒定值。惩罚系数参数pa小于约束项的能量的最大值，并且被适当地设置，使得最小能量状态S不违反任何约束条件。
在使用这样的非线性函数1的情况下，即使当任何条件违反某些约束条件时，作为该状态下约束项的能量Ep的非线性约束项的f(Ep)也变为恒定的上限值(＝pa)。
第二非线性函数示例(非线性函数2)是根据能量Ep跃升f(Ep)(呈多级阶梯形式)。例如，如图3所示，非线性函数2是下述函数：当约束项能量Ep为0时，将f(Ep)设置为0；当0<Ep≤a时，将f(Ep)设置为pA；当a<Ep≤b时，将f(Ep)设置为pB；以及当b<Ep时，将f(Ep)设置为pC。
符号pA、pB和pC是惩罚系数参数，具有0<pA<pB<pC的关系。惩罚系数参数pC是惩罚系数参数pA、pB和pC中最大的，小于约束项的能量的最大值，并且被适当地设置在其中状态转移接受概率被保持在一定程度的范围内。
当使用这样的非线性函数2时，由于可以获得与约束项能量Ep对应的多个f(Ep)，因此状态转变接受概率可以根据状态约束违反的数目以多个级变化。此外，在使用非线性函数2的情况下，即使当某个状态违反某些约束条件时，作为该状态下的约束项能量Ep的非线性约束项的f(Ep)也不会增加超过惩罚系数参数pC(上限值)。
在图3中的非线性函数2的示例中，f(Ep)根据能量Ep以四个阶梯变化。然而，f(Ep)可以以三个台梯或者五个或更多个阶梯变化。
第三非线性函数示例(非线性函数3)是根据能量Ep将f(Ep)改变为弯曲形状。非线性函数3是随着能量Ep增加而使f(Ep)收敛到预定上限值的函数，例如如图3所示。这样的非线性函数3可以由指示能量Ep与能量函数f(Ep)之间的对应关系的信息(表信息)来实现，该信息预先存储在可以由约束项计算单元23引用的存储器中。非线性函数3还可以通过约束项计算单元23执行单调递增函数计算来实现。
当使用这样的非线性函数3时，由于可以根据约束项能量Ep来更精细地表示f(Ep)，因此可以有效地优化约束项。
(第二实施方式)
图4是示出根据第二实施方式的优化装置的示例的视图。在图4中，与图1所示的优化装置20中的元件相同的元件用相同的附图标记表示。
在根据第二实施方式的优化装置30中，约束项计算单元23a具有与根据优化装置20的约束项计算单元23相同的功能，并且还具有根据使能信号EN使计算能量{-ΔEpi_nl}的函数有效或无效的功能。
例如，约束项计算单元23a在使能信号EN为1时使计算能量变化{-ΔEpi_nl}的功能有效，并且在使能信号EN为0时使计算能量变化{-ΔEpi_nl}的功能无效。例如，这样的函数可以通过诸如以下选择器的电路来实现，该选择器基于使能信号EN来选择是将计算出的能量变化{-ΔEpi_nl}提供给转变控制器25还是将0而不是能量变化{-ΔEpi_nl}提供给转变控制器25。约束项计算单元23a在使能信号EN为0时将0提供给转变控制器25，以及在使能信号EN为1时将计算出的能量变化{-ΔEpi_nl}提供给转变控制器25。
如图4所示，从例如模式切换控制器31输入使能信号EN。模式切换控制器31和温度控制器24可以是相同的控制器(控制器)。
在随机搜索期间状态经常经历违反多个约束条件的约束违反状态的组合优化问题中，通过根据第一实施方式的优化装置20的约束项计算单元23执行的处理是有效的。然而，状态很少经历违反多个约束条件的约束违反状态的问题可以通过如图7所示的优化装置10充分地解决。当求解这样的问题时，约束项计算单元23a使如上所述的计算能量变化{-ΔEpi_nl}的功能无效。然后，当目标函数计算单元22将用于包括约束项的评估函数的能量变化{-ΔEi}输出为能量变化{-ΔEoi}时，优化装置30可以用作图7所示的优化装置10。
(将加权因子和偏差因子分离的处理的示例)
在以上描述中，与目标函数有关的加权因子和偏差因子以及与约束项有关的加权因子和偏差因子彼此分离。然而，该分离处理可以通过优化装置20和优化装置30执行。
图5是示出优化装置的包括将加权因子和偏差因子分离的处理的操作的示例的流程的流程图。
首先，通过优化装置20和优化装置30中的控制器(未示出)将从优化装置20和优化装置30外部提供的加权因子和偏差因子分离成目标函数分量和约束项分量(步骤S10)。
图6是示出目标函数分量和约束项分量的分离的示例的视图。
例如，如图6所示，控制器将加权因子和偏差因子中的低位分离为目标函数分量，并且将其中的高位分离为约束项分量。然后，控制器将目标函数分量的加权因子和偏差因子存储在目标函数计算单元22的寄存器或存储器中，并且将约束项分量的加权因子和偏差因子存储在约束项计算单元23或约束项计算单元23a的寄存器或存储器中。
在图5中，步骤S11至S17的处理与图2所示的步骤S1至S7的处理相同。
通过在优化装置20和优化装置30中执行如上所述的分离处理，不可以从优化装置20和优化装置30之外的存储器分别接收加权因子和偏差因子的目标函数分量和约束项分量。
根据实施方式的一个方面，可以加快对基态的搜索。

Claims (6)

1.一种优化装置，包括：
状态保持单元，用于保持表示能量的评估函数中包括的多个状态变量的值；
目标函数计算单元，用于当响应于所述多个状态变量的值中的任何值的变化而发生状态转变时，针对多个状态转变中的每一个来计算所述评估函数中包括的目标函数的能量变化值；
约束项计算单元，用于针对所述多个状态转变中的每一个来计算约束项评估值，所述约束项评估值是所述评估函数中包括的约束项的评估值；
温度控制器，用于控制指示温度的温度值；以及
转变控制器，用于基于所述温度值、随机数值以及所述变化值与所述约束项评估值之和来随机地确定是否接受所述多个状态转变中的任何状态转变。
2.根据权利要求1所述的优化装置，其中，
所述约束项计算单元还用于：
针对所述多个状态转变中的每一个，通过在所述多个状态变量中的任何状态变量变化之前对所述约束项执行非线性处理来计算第一非线性约束项，并且通过在所述多个状态变量中的任何状态变量变化之后对所述约束项执行所述非线性处理来计算第二非线性约束项，所述非线性处理限制所述约束项的能量的量，以及
针对所述多个状态转变中的每一个来计算所述约束项评估值，所述约束项评估值是所述第一非线性约束项与所述第二非线性约束项之间的差。
3.根据权利要求2所述的优化装置，其中，
所述第一非线性约束项和所述第二非线性约束项中的每一个根据所述约束项的能量以阶梯形状或弯曲形状增加，并且具有预定的上限值。
4.根据权利要求1所述的优化装置，其中，
所述约束项计算单元还用于：
基于所述多个状态变量的值以及与所述约束项有关的加权因子和偏差因子来计算所述约束项的能量；以及
输出所述约束项的能量。
5.根据权利要求1所述的优化装置，其中，
所述约束项计算单元还用于：
基于输入使能信号来选择是将所述约束项评估值提供给所述转变控制器还是将0而不是所述约束项评估值提供给所述转变控制器。
6.一种优化装置的控制方法，所述控制方法包括：
通过所述优化装置中包括的状态保持单元来保持表示能量的评估函数中包括的多个状态变量的值；
当响应于所述多个状态变量的值中的任何值的变化而发生状态转变时，通过所述优化装置中包括的目标函数计算单元、针对多个状态转变中的每一个来计算所述评估函数中包括的目标函数的能量变化值；
通过所述优化装置中包括的约束项计算单元、针对所述多个状态转变中的每一个来计算约束项评估值，所述约束项评估值是所述评估函数中包括的约束项的评估值；
通过所述优化装置中包括的温度控制器来控制指示温度的温度值；以及
通过所述优化装置中包括的转变控制器，基于所述温度值、随机数值以及所述变化值与所述约束项评估值之和来随机地确定是否接受所述多个状态转变中的任何状态转变。
CN201911133464.9A 2018-12-26 2019-11-19 优化装置及优化装置的控制方法 Active CN111381495B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018242600A JP7174244B2 (ja) 2018-12-26 2018-12-26 最適化装置及び最適化装置の制御方法
JP2018-242600 2018-12-26

Publications (2)

Publication Number Publication Date
CN111381495A true CN111381495A (zh) 2020-07-07
CN111381495B CN111381495B (zh) 2022-12-27

Family

ID=68424679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133464.9A Active CN111381495B (zh) 2018-12-26 2019-11-19 优化装置及优化装置的控制方法

Country Status (4)

Country Link
US (1) US11150615B2 (zh)
EP (1) EP3674821A1 (zh)
JP (1) JP7174244B2 (zh)
CN (1) CN111381495B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7174244B2 (ja) * 2018-12-26 2022-11-17 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7201911B2 (ja) * 2019-05-13 2023-01-11 富士通株式会社 最適化装置および最適化装置の制御方法
WO2022085133A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 求解システムおよび求解方法
CN114997388B (zh) * 2022-06-30 2024-05-07 杭州知存算力科技有限公司 存算一体芯片用基于线性规划的神经网络偏置处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05120252A (ja) * 1991-10-25 1993-05-18 A T R Shichiyoukaku Kiko Kenkyusho:Kk 制御装置
CN104238368A (zh) * 2014-10-12 2014-12-24 刘岩 一种基于模拟退火粒子群的空调能耗模型参数辨识方法
CN105556401A (zh) * 2013-09-25 2016-05-04 西门子公司 用于计算机辅助地控制和/或调节技术系统的方法
JP2018063626A (ja) * 2016-10-14 2018-04-19 富士通株式会社 最適化装置及び最適化装置の制御方法
CN108171318A (zh) * 2017-11-30 2018-06-15 河南大学 一种基于模拟退火—高斯函数的卷积神经网络集成方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
JPH08153085A (ja) * 1994-11-28 1996-06-11 Ricoh Co Ltd 配送計画問題の最適解探索方法及びその装置
JP4088398B2 (ja) 2000-03-08 2008-05-21 独立行政法人科学技術振興機構 時間符号化装置
JP2003223322A (ja) 2002-01-30 2003-08-08 Mitsubishi Electric Corp 組合せ最適化問題の解析装置
JP2005258609A (ja) 2004-03-10 2005-09-22 Yokogawa Electric Corp 画像処理手順探索方法
JP5585654B2 (ja) 2010-08-20 2014-09-10 富士通株式会社 情報処理システム、管理装置、および情報処理装置の管理方法
JP6923790B2 (ja) * 2017-07-06 2021-08-25 富士通株式会社 最適化装置及び最適化装置の制御方法
JP6993571B2 (ja) * 2018-01-17 2022-01-13 富士通株式会社 最適化装置及び最適化装置の制御方法
JP6465231B1 (ja) * 2018-03-12 2019-02-06 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7100254B2 (ja) * 2018-08-10 2022-07-13 富士通株式会社 最適化システム、最適化システムの制御方法及び最適化システムの制御プログラム
JP7063211B2 (ja) * 2018-09-19 2022-05-09 富士通株式会社 最適化問題演算プログラム、最適化問題演算方法および最適化問題演算装置
JP7100257B2 (ja) * 2018-10-04 2022-07-13 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7193707B2 (ja) * 2018-10-11 2022-12-21 富士通株式会社 最適化装置、最適化装置の制御方法、サンプリング装置およびサンプリング装置の制御方法
JP7181454B2 (ja) * 2018-11-12 2022-12-01 富士通株式会社 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム
JP7108185B2 (ja) * 2018-11-22 2022-07-28 富士通株式会社 最適化装置および最適化装置の制御方法
JP7174244B2 (ja) * 2018-12-26 2022-11-17 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7197789B2 (ja) * 2019-03-01 2022-12-28 富士通株式会社 最適化装置及び最適化装置の制御方法
JP7185140B2 (ja) * 2019-04-11 2022-12-07 富士通株式会社 最適化装置及び最適化装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05120252A (ja) * 1991-10-25 1993-05-18 A T R Shichiyoukaku Kiko Kenkyusho:Kk 制御装置
CN105556401A (zh) * 2013-09-25 2016-05-04 西门子公司 用于计算机辅助地控制和/或调节技术系统的方法
CN104238368A (zh) * 2014-10-12 2014-12-24 刘岩 一种基于模拟退火粒子群的空调能耗模型参数辨识方法
JP2018063626A (ja) * 2016-10-14 2018-04-19 富士通株式会社 最適化装置及び最適化装置の制御方法
CN108171318A (zh) * 2017-11-30 2018-06-15 河南大学 一种基于模拟退火—高斯函数的卷积神经网络集成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. KIRKPATRICK.ETC: "《Optimization by Simulated Annealing》", 《SCIENCE》 *

Also Published As

Publication number Publication date
US11150615B2 (en) 2021-10-19
JP2020106917A (ja) 2020-07-09
JP7174244B2 (ja) 2022-11-17
US20200209813A1 (en) 2020-07-02
EP3674821A1 (en) 2020-07-01
CN111381495B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN111381495B (zh) 优化装置及优化装置的控制方法
JP6892599B2 (ja) 最適化装置及び最適化装置の制御方法
US10209683B2 (en) Optimization apparatus and optimization apparatus control method
JP6465231B1 (ja) 最適化装置及び最適化装置の制御方法
CN111008696B (zh) 优化装置和控制优化装置的方法
CN111639780A (zh) 优化装置和优化装置的控制方法
US11551062B2 (en) Optimization apparatus and control method thereof
Yuan et al. Persistency of excitation and performance of deterministic learning
JP6923790B2 (ja) 最適化装置及び最適化装置の制御方法
WO2019176647A1 (ja) 連続最適化問題の大域的探索装置及びプログラム
CN111611126A (zh) 采样设备和用于控制采样设备的方法
JP2020064535A (ja) 最適化装置及び最適化装置の制御方法
WO2016151620A1 (ja) シミュレートシステム、シミュレート方法およびシミュレート用プログラム
JP2022032703A (ja) 情報処理システム
JP2021043787A (ja) 最適化装置、最適化プログラム、及び最適化方法
CN111045325A (zh) 优化装置及优化装置的控制方法
JP2019194765A (ja) 最適化装置及び最適化装置の制御方法
JP2020038435A (ja) 最適化装置及び最適化装置の制御方法
Kumar et al. Importance Sampling based Exploration in Q Learning
Moradi Solving ill-conditioned linear equations using simulated annealing method
Chatting A Comparison of Exact and Heuristic Algorithms to Solve the Travelling Salesman Problem
Anagnostopoulos et al. Dynamic trees for streaming and massive data contexts
Chang et al. Markov Decision Processes
Tschöpe Beyond SGD: Recent Improvements of Gradient Descent Methods
CN115936164A (zh) 存储优化程序的计算机可读记录介质、优化方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant