CN112750500A - 装置、方法及存储介质 - Google Patents

装置、方法及存储介质 Download PDF

Info

Publication number
CN112750500A
CN112750500A CN202011177931.0A CN202011177931A CN112750500A CN 112750500 A CN112750500 A CN 112750500A CN 202011177931 A CN202011177931 A CN 202011177931A CN 112750500 A CN112750500 A CN 112750500A
Authority
CN
China
Prior art keywords
state parameter
parameter set
control model
unit
operation content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011177931.0A
Other languages
English (en)
Inventor
山本顺二
鹿子木宏明
小渕惠一郎
古川阳太
唐泽岭
安部裕人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa System Engineering Corp
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa System Engineering Corp, Yokogawa Electric Corp filed Critical Yokogawa System Engineering Corp
Publication of CN112750500A publication Critical patent/CN112750500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/026—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system using a predictor

Abstract

本发明提供装置、方法及存储介质。其中，本发明的一种装置具备：设定部，其对制造制造对象物的制造系统设定动作内容；第一取得部，其获取表示设定动作内容后的制造系统及制造对象物中的至少一方的状态的事后状态参数集；学习处理部，其使用包含动作内容和事后状态参数集的学习数据，执行制造系统的控制模型的学习处理，所述控制模型根据表示制造系统及制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。由此，能够解决现有技术有时得不到制造系统的适当的动作内容的问题。

Description

装置、方法及存储介质
技术领域
本发明涉及装置、方法及存储介质。
背景技术
目前，在细胞等的制造系统中，提出了提高制造效率的各种方法(例如参照非专利文献1～4)。
非专利文献1：龟仓晃一等，“バイオ医薬品製造プラント(外文文献中文译名：生物医药品制造设备)”，《IHI技報(外文刊物中文译名：IHI技报)》，第49卷，第2号，2009年，p.67～p.73
非专利文献2：盐屋舍明，“培養操作の最適化とその実現(外文文献中文译名：培养操作的最佳化及其实现)”，《計測と制御(外文刊物中文译名：测量与控制)》，第34卷，第1号，1995年，p.11～p.17
非专利文献3：大政健史，“バイオ医薬品生産におけるプロダクションサイエンス(外文文献中文译名：生物医药品生产中的生产科学)”，《生物工学(外文刊物中文译名：生物工程学)》，第91卷，第9号，2013年，p.507～p.510
非专利文献4：松崎淳一，“バイオ医薬品産業の現状と課題(外文文献中文译名：生物医药品行业的现状和课题)”，《生物工学(外文刊物中文译名：生物工程学)》，第91卷，第9号，2013年，p.495～p.498
发明内容
但是，在现有的方法中，有时得不到制造系统的适当的动作内容。
为了解决上述课题，本发明的第一方面提供一种装置。装置可以具备设定部，该设定部对制造制造对象物的制造系统设定动作内容。装置可以具备第一取得部，该第一取得部获取表示设定动作内容后的制造系统及制造对象物中的至少一方的状态的事后状态参数集。装置可以具备学习处理部，该学习处理部使用包含动作内容和事后状态参数集的学习数据，执行制造系统的控制模型的学习处理，所述控制模型根据表示制造系统及制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。
在根据一状态参数集向控制模型的输入而输出的一动作内容的设定结果所对应的奖励值的增加幅度低于基准幅度的情况下，学习处理部可以执行控制模型的学习处理，以不根据该一状态参数集的输入而输出该一动作内容。
动作内容可以具有对制造系统可主动地设定的多个种类的主动变量。根据一状态参数集向控制模型的输入，输出仅多个种类的主动变量中的一主动变量的值不同的第一动作内容及第二动作内容，在由一状态参数集表示的状态下分别设定第一动作内容及第二动作内容，在分别进行该第一动作内容及该第二动作内容的设定之后对应的奖励值彼此的差值低于基准幅度的情况下，学习处理部可以执行控制模型的学习处理，以根据一状态参数集的输入而输出不包含多个种类的主动变量中的一主动变量的动作内容。
装置可以还具备第一存储部，该第一存储部存储动作内容的多个变动模式。在根据一状态参数集向控制模型的输入而获取了多个动作内容的情况下，设定部可以以第一存储部内的各变动模式和由该设定部设定的动作内容的变动模式不一致的方式，设定多个动作内容中的任一个。
装置可以还具备第一存储部，该第一存储部存储动作内容的多个变动模式。对于在由设定部设定的情况下呈与第一存储部内的任一变动模式一致的变动模式的动作内容，可以算出更低的奖励值。
装置可以还具备环境信息取得部，该环境信息取得部获取表示制造系统的外部环境的环境信息。学习处理部可以按照外部环境执行控制模型的学习处理。
学习处理部可以使用对于一外部环境执行了学习处理的控制模型进行迁移学习，执行对于其它外部环境的学习处理。
装置可以还具备第二取得部，该第二取得部获取状态参数集。装置可以还具备参数输入部，该参数输入部对控制模型输入由第二取得部获取的状态参数集。装置可以还具备第三取得部，该第三取得部获取控制模型根据状态参数集向控制模型的输入而输出的动作内容。设定部可以对制造系统设定由第三取得部获取的动作内容。
装置可以还具备算出部，该算出部根据事后状态参数集中包含的至少一个事后状态参数算出奖励值。学习处理部可以进一步使用由算出部算出的奖励值来执行学习处理。
在根据一状态参数集向控制模型的输入而输出的一动作内容被设定于制造系统，结果由算出部算出的奖励值满足目标条件的情况下，学习处理部可以执行控制模型的学习处理，以根据该一状态参数集的输入而输出该一动作内容。装置可以还具备输出部，该输出部将该一动作内容及该一状态参数集相对应地输出。
装置可以还具备控制部，该控制部依次重复执行由第二取得部进行的状态参数集的获取、由第三取得部进行的动作内容的获取和由设定部进行的动作内容的设定而制造制造对象物。
装置可以还具备第二存储部，在根据一状态参数集向控制模型的输入而输出的一动作内容被设定于制造系统并获取一事后状态参数集，且基于该一事后状态参数集算出的奖励值满足目标条件的情况下，该第二存储部将该一动作内容、一状态参数集和一事后状态参数集相对应地累积存储起来。装置可以还具备预测部，该预测部基于第二存储部的存储内容，预测从由第二取得部获取的状态参数集表示的状态起逐次设定奖励值满足目标条件的动作内容的情况下的、各事后状态参数集中包含的至少一个事后状态参数所对应的值的推移。
事后状态参数集可以包含存在于制造系统及制造对象物中的至少一方的异物的量。预测部可以在预测为异物的量超过上限值的情况下通知该情况。
装置可以还具备第三存储部，该第三存储部累积存储学习数据。装置可以还具备检测部，该检测部检测第三存储部内的多个事后状态参数集中的不满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容、以及满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容中的至少一方。
本发明第二方面提供一种装置。装置可以具备第二取得部，该第二取得部获取表示制造系统及制造系统的制造对象物中的至少一方的状态的状态参数集。装置可以具备参数输入部，该参数输入部对制造系统的控制模型输入由第二取得部获取的状态参数集，所述控制模型根据状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。装置可以具备第三取得部，该第三取得部获取控制模型根据状态参数集向控制模型的输入而输出的动作内容。
制造系统可以是培养细胞的系统。
本发明第三方面提供一种方法。方法可以具备设定阶段：对制造制造对象物的制造系统设定动作内容。方法可以具备第一取得阶段：获取表示设定动作内容后的制造系统及制造对象物中的至少一方的状态的事后状态参数集。方法可以具备学习处理阶段：使用包含动作内容和事后状态参数集的学习数据，执行制造系统的控制模型的学习处理，所述控制模型根据表示制造系统及制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。
本发明第四方面提供一种方法。该方法可以具备第二取得阶段：获取表示制造系统及制造系统的制造对象物中的至少一方的状态的状态参数集。方法可以具备参数输入阶段：对制造系统的控制模型输入由第二取得阶段获取的状态参数集，所述控制模型根据状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。方法可以具备第三取得阶段：获取控制模型根据状态参数集向控制模型的输入而输出的动作内容。
本发明第五方面提供一种存储介质，该存储介质存储有程序。程序可以使计算机作为设定部发挥作用，该设定部发挥作用对制造制造对象物的制造系统设定动作内容。程序可以使计算机作为第一取得部发挥作用，该第一取得部获取表示设定动作内容后的制造系统及制造对象物中的至少一方的状态的事后状态参数集。程序可以使计算机作为学习处理部发挥作用，该学习处理部使用包含动作内容和事后状态参数集的学习数据，执行制造系统的控制模型的学习处理，所述控制模型根据表示制造系统及制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。
本发明第六方面提供一种存储介质，该存储介质存储有程序。程序可以使计算机作为第二取得部发挥作用，该第二取得部获取表示制造系统及制造系统的制造对象物中的至少一方的状态的状态参数集。程序可以使计算机作为参数输入部发挥作用，该参数输入部对制造系统的控制模型输入由第二取得部获取的状态参数集，所述控制模型根据状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。程序可以使计算机作为第三取得部发挥作用，该第三取得部获取控制模型根据状态参数集向控制模型的输入而输出的动作内容。
此外，上述发明内容并未举出本发明的所有必要特征。另外，这些特征组的子组合也可成为发明。
附图说明
图1表示本实施方式的系统1。
图2表示在学习的初始阶段的控制模型312的输入输出。
图3表示完成学习后的控制模型312的输入输出。
图4表示第二存储部322的存储内容。
图5表示控制部318的控制内容。
图6表示装置3的动作。
图7表示装置3的另一动作。
图8表示可以整体或局部地具化本发明的多个方式的计算机2200的例子。
标记说明
1：系统
2：生物反应器
3：装置
300：第一存储部
302：设定部
304：参数取得部
306：算出部
308：环境信息取得部
310：参数输入部
312：控制模型
314：学习处理部
316：动作内容取得部
318：控制部
320：输出部
322：第二存储部
324：预测部
326：第三存储部
328：检测部
2200：计算机
2201：DVD-ROM
2210：主机控制器
2212：CPU
2214：RAM
2216：图形控制器
2218：显示器件
2220：输入/输出控制器
2222：通信接口
2224：硬盘驱动器
2226：DVD-ROM驱动器
2230：ROM
2240：输入/输出芯片
2242：键盘
具体实施方式
以下，通过发明的实施方式说明本发明，但以下的实施方式不限定权利要求书的发明。另外，实施方式中说明的特征的组合不一定全部都是发明的解决方案所必须的。
[1.系统1]
图1表示本实施方式的系统1。系统1具备生物反应器2和装置3。
[1.1.生物反应器2]
生物反应器2是制造制造对象物的制造系统的一例。生物反应器2可以对具有特定功能(作为一例，生成特定的蛋白质的功能)的细胞进行培养，并将其作为制造对象物制造出来。生物反应器2根据从外部输入的动作内容进行动作，使该生物反应器2的状态、进而使细胞的状态变化。
动作内容表示在生物反应器2中进行的动作的内容，在本实施方式中，作为一例，动作内容表示在基准时间内持续进行的动作内容。动作内容可以具有对生物反应器2可主动地设定的至少一个种类(在本实施方式中为多个种类)主动变量。各动作内容中包含的主动变量可以相互为相同种类，也可以至少一部分不同。主动变量可以包含工艺值(processvalue)的设定值(set point，目标值)、操作变量(Manipulate Variable)、用于制造的设备要件、及处理顺序(顺序，程序)中的至少一项。作为一例，工艺值的设定值可以是温度设定值或pH设定值等。作为一例，操作变量可以是向加热器的供给电力或培养基投入量、酸碱溶液投入量、用于搅拌培养液或内部气体的搅拌翼的转速、反应槽的通气量等。作为一例，设备要件可以是反应槽的结构或材质、用于搅拌培养液的搅拌翼的形状、反应槽的通气方法等。
作为一例，生物反应器2的状态可以是培养液的温度或pH、培养液的流速、培养液中的氧浓度、二氧化碳浓度、营养素的浓度、存在于生物反应器2内的异物的量、反应槽的压力等。细胞的状态可以是被培养的细胞的收率、均质性、功能性(作为一例，生成特定的蛋白质的性能)、浓度、个数、分布、尺寸、重量、生产量(增加量)、由于对培养液进行搅拌等而施加于细胞的剪切应力、存在于细胞内的异物的量等。异物的量可以是绝对的量，还可以是相对于整体量的相对的量(作为一例为比例)。
[1.2.装置3]
装置3辅助生物反应器2的细胞培养。装置3具有第一存储部300、设定部302、参数取得部304、算出部306、环境信息取得部308、参数输入部310、一个或多个控制模型312、学习处理部314、动作内容取得部316、控制部318、输出部320、第二存储部322、预测部324、第三存储部326和检测部328。
[1.2.1.第一存储部300]
第一存储部300存储多个动作内容的变动模式。作为一例，所存储的变动模式可以是已知的变动模式。
[1.2.2.设定部302]
设定部302对生物反应器2设定动作内容。设定部302可以按照基准时间设定动作内容。设定部302可以将从动作内容取得部316供给的动作内容设定于生物反应器2。在对于一个基准时间从动作内容取得部316供给多个动作内容的情况下，设定部302可以基于第一存储部300内的变动模式选择一个动作内容并设定于生物反应器2，对此详见后述。设定部302可以将设定的动作内容供给至学习处理部314、第二存储部322及第三存储部326。
[1.2.3.参数取得部304]
参数取得部304是第一取得部及第二取得部的一例，获取表示生物反应器2及细胞中的至少一方的状态的状态参数集。状态参数集可以表示被获取的时刻(作为一例为当前)的状态。在利用设定部302设定了动作内容后的时刻获取状态参数集的情况下，状态参数集可以被称为事后状态参数集，在利用设定部302设定动作内容之前的时刻获取状态参数集的情况下，状态参数集可以被称为事前状态参数集。状态参数集中可以包含至少一个表示生物反应器2及细胞中的至少一方的状态的状态参数。
参数取得部304可以通过观测生物反应器2而获取状态参数集，也可以从设置于生物反应器2的传感器(未图示)获取状态参数集，也可以从确认生物反应器2或传感器的操作员获取状态参数集，还可以通过将组合它们而获取的多个状态参数汇总来获取状态参数集。从操作员获取的状态参数可以是数值范围。另外，从操作员获取的状态参数中可以包含所培养的细胞的种类。参数取得部304可以将获取的状态参数集供给至算出部306、参数输入部310、学习处理部314、第二存储部322及第三存储部326。
[1.2.4.算出部306]
算出部306根据参数集(作为一例为事后状态参数集)中包含的至少一个状态参数(作为一例为事后状态参数)算出奖励值。算出部306可以将算出的奖励值供给至学习处理部314。
奖励值是通过预先制定的奖励函数确定的，可以用于学习处理部314进行的控制模型312的强化学习。奖励值可以是所谓的KPI(Key Performance Indicater)，例如可以表示从生物反应器2得到的收益、所培养的细胞的品质、生物反应器2动作时的安全性、及环境负荷的高低程度中的任一项，也可以是对它们中的多个进行综合评价的值。奖励值可以是单一的状态参数的值本身。
此外，算出部306可以根据事后状态参数集算出KPI，并检测其是否达到目标值，也可以算出其相对于目标值的实现比例。算出部306可以将这些结果输出至装置3的外部。此外，就输出至装置3的外部而言，可以利用显示屏(未图示)显示，也可以利用打印机(未图示)印刷，还可以存储于存储介质。
[1.2.5.环境信息取得部308]
环境信息取得部308获取表示生物反应器2的外部环境的环境信息。外部环境可以是生物反应器2的设置环境的气温及湿度中的至少一项。取而代之，或者在此基础上，外部环境可以包含供给至生物反应器2的原材料的特性。环境信息取得部308可以从设置于生物反应器2的设置位置的传感器(未图示)获取环境信息，也可以从操作员获取环境信息，还可以使它们组合来获取环境信息。环境信息取得部308可以将获取的环境信息供给至参数输入部310及学习处理部314。
[1.2.6.参数输入部310]
参数输入部310对控制模型312及预测部324输入由参数取得部304获取的状态参数集(作为一例为事后状态参数集)。参数输入部310可以将从环境信息取得部308获取的环境信息一并输入控制模型312及预测部324。
[1.2.7.控制模型312]
控制模型312是用于控制生物反应器2的模型，其根据状态参数集的输入，输出提高奖励值的动作内容。在从参数输入部310除了输入状态参数集之外还输入环境信息的情况下，控制模型312可以输出与输入的状态参数集及环境信息对应的动作内容。所输出的动作内容可以是在由状态参数集表示的状态下应该设定的动作内容。控制模型312可以将动作内容供给至动作内容取得部316。
控制模型312可以接受学习处理部314进行的学习处理。在学习为初始阶段的情况下，控制模型312可以根据一个状态参数集的输入而输出相互不同的多个动作内容。
此外，本实施方式中，作为一例，装置3具备根据所培养的细胞的种类或外部环境而不同的多个控制模型312。所谓控制模型312根据外部环境而不同，可以是在环境信息中包含的至少一个参数超过基准范围而不同的情况下，控制模型312相应地不同。
[1.2.8.学习处理部314]
学习处理部314使用被输入的学习数据，执行控制模型312的学习处理。学习数据可以包含从设定部302供给的动作内容的数据和从参数取得部304供给的事后状态参数集的数据。学习数据可以还包含从参数取得部304供给的事前状态参数集的数据，也可以还包含事前状态参数集和事后状态参数集的差值数据。
学习处理部314可以进一步使用由算出部306算出的奖励值执行学习处理。换句话说，学习处理部314可以进行强化学习。
在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，且根据表示其结果的状态的事后状态参数集算出的奖励值满足目标条件的情况下，学习处理部314可以执行控制模型312的学习处理以根据该一状态参数集的输入输出该一动作内容。由此，相对于由一个状态参数集表示的状态，唯一地确定奖励值满足目标条件的动作内容(也称为适当的动作内容)。学习处理部314可以使该一状态参数集和相对于该状态参数集唯一地确定的适当的动作内容相对应地供给至输出部320。
此外，目标条件可以是奖励值比基准值高，也可以达到最大值。所谓奖励值达到最大值，在相对于一状态参数集的输入从控制模型312输出多个动作内容的情况下，可以表示在分别设定该多个动作内容的情况下得到的多个奖励值中最大的值。
学习处理部314可以根据所培养的细胞的种类进行各个控制模型312的学习处理。另外，学习处理部314可以根据外部环境进行各个控制模型312的学习处理。例如，在来自环境信息取得部308的环境信息中包含的至少一个参数超过基准范围变动的情况下，学习处理部314可以在变动前后进行各个控制模型312的学习处理。此外，在控制模型312不按照外部环境分别设置的情况下，学习处理部314可以使环境信息也包含于学习数据并对单一的控制模型312进行学习处理。
在按照外部环境进行学习处理的情况下，在相对于一外部环境下的由一状态参数集表示的状态，唯一地确定了奖励值满足目标条件的适当的动作内容的情况下，学习处理部314可以进一步使表示该一外部环境的环境信息与一状态参数集和一动作内容相对应地供给至输出部320。学习处理部314可以使用对于一外部环境执行了学习处理的控制模型312进行迁移学习，执行对于其它外部环境的学习处理。
[1.2.9.动作内容取得部316]
动作内容取得部316为第三取得部的一例，其获取控制模型312根据状态参数集向控制模型312的输入而输出的一个或多个动作内容。动作内容取得部316可以将获取的一个或多个动作内容供给至设定部302。
[1.2.10.控制部318]
控制部318至少控制设定部302、参数取得部304、参数输入部310及动作内容取得部316。例如，控制部318可以依次重复执行由参数取得部304进行的状态参数集的获取、由动作内容取得部316进行的动作内容的获取和由设定部302进行的动作内容的设定，从而使生物反应器2培养细胞。此外，为了简化图示，图中省略了从控制部318输出的控制信号的路径。控制部318可以进一步控制装置3内的其它结构。
[1.2.11.输出部320]
输出部320使一状态参数集和相对于该一状态参数集唯一地确定的适当的动作内容相对应地输出。在自学习处理部314相对应地供给了一环境信息、一状态参数集和一动作内容的情况下，输出部320可以将它们相对应地输出。输出部320可以将动作内容输出至装置3的外部。
[1.2.12.第二存储部322]
第二存储部322存储奖励值满足目标条件的情况下的学习履历。在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2并获取一事后状态参数集，且基于该一事后状态参数集算出的奖励值满足目标条件的情况下，第二存储部322可以将该一动作内容、该一状态参数集和该一事后状态参数集相对应地累积存储起来。第二存储部322可以根据来自参数取得部304或环境信息取得部308的输入，按照所培养的细胞的种类或外部环境存储学习履历，也可以与细胞的种类或外部环境无关系地存储学习履历。
[1.2.13.预测部324]
预测部324预测从由参数取得部304获取的状态参数集所表示的状态起逐次设定奖励值满足目标条件的动作内容的情况下的、至少一个事后状态参数所对应的值的推移。
预测部324可以基于第二存储部322的存储内容进行预测。例如，预测部324可以对于由参数取得部304获取的状态参数集检测第二存储部322中相对应的第一事后状态参数集，对于与第一事后状态参数集相同内容的状态参数集检测第二存储部322中相对应的第二事后状态参数集，以后同样对于与第n-1事后状态参数集(其中，n为2以上的整数)相同内容的状态参数集顺序地检测第二存储部322中相对应的第n事后状态参数集。预测部324可以通过确定从这些第一事后状态参数集到第n事后状态参数集各自中包含的至少一个事后状态参数所对应的值的推移，进行推移的预测。在学习履历按照细胞的种类或外部环境存储于第二存储部322的情况下，预测部324可以根据从参数输入部310输入的细胞的种类或环境信息，基于第二存储部322内的存储内容中与该细胞的种类及外部环境对应的存储内容预测推移。
预测推移的值可以是事后状态参数的值(作为一例，是细胞的生产量)本身，也可以是上述的奖励值或KPI。预测部324可以进一步预测与所预测的推移对应的其它评价指标，作为一例，可以根据细胞的生产量的推移预测培养目标数的细胞所需的所需时间。预测部324可以将预测结果输出至装置3的外部。
在对存在于生物反应器2及细胞中的至少一方的异物的量进行预测的情况下，在预测为异物的量超过上限值的情况下，预测部324可以将该情况通知给操作员。此外，异物根据压力条件而混入生物反应器2内，并根据温度条件而增殖，因此从设定这些条件的动作内容可预测异物的量。
[1.2.14.第三存储部326]
第三存储部326累积存储学习数据。第三存储部326可以累积存储将设定于生物反应器2的动作内容和表示设定该动作内容后的状态的事后状态参数集建立对应关系而成的组。第三存储部326可以根据来自参数输入部310或环境信息取得部308的输入，按照所培养的细胞的种类或按照外部环境存储学习数据，也可以与细胞的种类或外部环境无关系地存储学习数据。
[1.2.15.检测部328]
检测部328检测第三存储部326内的多个事后状态参数集中特定的两个以上的事后状态参数集所对应的动作内容之间的共同内容。检测部328可以检测不满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容。取而代之，或者在此基础上，检测部328可以检测满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容。在按照细胞的种类或外部环境向第三存储部326存储学习数据的情况下，检测部328可以根据从参数输入部310或环境信息取得部308输入的细胞的种类或环境信息，利用第三存储部326的存储内容中与该细胞的种类及外部环境对应的存储内容进行检测。检测部328也可以与细胞的种类无关系地进行检测。在该情况下，可检测在各个细胞的培养中用于学习的动作内容之间的共同内容。检测部328可以将检测结果输出至装置3的外部。
所谓事后状态参数集不满足基准条件，可以是事后状态参数集内的任一事后状态参数或由事后状态参数集内的任一事后状态参数确定的KPI不包含在其允许范围内。作为一例，所谓事后状态参数集不满足基准条件，可以是细胞的生产量不包含在1.1倍以上这一允许范围内。动作内容之间的共同内容例如可以是向加热器的供给电力为某个值以上。
[1.2.16.通过装置3可得到的效果]
根据以上的装置3，由于使用包含生物反应器2的动作内容和设定动作内容后的事后状态参数集的学习数据，执行控制模型312的学习处理，该控制模型312根据状态参数集的输入，输出提高奖励值的动作内容，因此，通过输入状态参数集，能够得到奖励值变高的动作内容。因此，不需要由熟练的操作员进行试误，就能够可靠地得到适当的动作内容。
另外，由于生物反应器2为细胞的培养系统，因此能够在制造对象物的制造中持续获取与收率及生产量对应的奖励值。因此，与未完成制造就不能确定收率及生产量的其它制造领域相比，能够有效地进行学习。
另外，按照外部环境执行控制模型312的学习处理，因此，即使在外部环境变化的情况下，也能够得到适当的动作内容。
另外，由于使用对一外部环境执行了学习处理的控制模型312进行迁移学习而对其它外部环境执行学习处理，因此能够提前完成学习。
另外，由于对生物反应器2设定根据状态参数集向控制模型312的输入而输出的动作内容，因此，能够使生物反应器2以与状态参数集对应的动作内容进行动作，从而重复执行学习处理。
另外，由于依次重复执行状态参数集的获取、动作内容的获取和动作内容的设定并培养细胞，因此能够使用控制模型312进行细胞的培养。因此，在完成了控制模型312的学习的情况下，能够使用从控制模型312输出的适当的动作内容自动地进行细胞的培养。另外，在未完成控制模型312的学习的情况下，能够以从控制模型312输出的动作内容进行细胞的培养，并自动地重复执行学习处理。
另外，预测从由所获取的状态参数集表示的状态起逐次设定奖励值满足目标条件的动作内容的情况下的事后状态参数所对应的值的推移。因此，能够使生物反应器2的管理较为容易。
另外，由于在预测为异物的量超过上限值的情况下通知该情况，因此能够在异物量变高的情况下中断培养而提高品质。
另外，由于根据事后状态参数集中包含的至少一个事后状态参数算出奖励值，并使用算出的奖励值执行学习处理，因此与将在装置3的外部算出的奖励值向装置供给的情况相比，能够提高学习处理的速度。
另外，在根据一状态参数集的输入而从控制模型312输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件的情况下，根据该一状态参数集的输入执行学习处理以输出一动作内容。因此，能够完成输入该一状态参数集的情况下的学习处理，并防止无效地重复进行学习处理。
另外，由于与满足目标条件的奖励值对应的动作内容和应该设定该动作内容的状态的状态参数集相对应地输出，因此能够在装置3的外部确认各状态下的适当的动作内容。
另外，由于检测多个事后状态参数集中不满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容，因此能够掌握引起不适当的状态的动作内容的内容。另外，由于检测多个事后状态参数集中满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容，因此能够掌握引起适当的状态的动作内容的内容。
[2.控制模型312的输入输出]
图2表示在学习的初始阶段的控制模型312的输入输出。
在本实施方式中，作为一例，状态参数集中包含状态参数IA的值和作为KPI的状态参数IB的值。另外，动作内容中包含主动变量OA的值和主动变量OB的值。在同一栏内列举的主动变量(例如OA1，OA2’，…)是可供选择的主动变量的候补。所输出的动作内容可以从各栏以任意组合选择主动变量。如该图所示，在学习为初始阶段的情况下，根据一状态参数集的输入，输出相互不同的多个动作内容。
此外，状态参数IA1，IA2，…，IAN表示关于状态参数IA的各值。另外，主动变量OA1，OA1’，OA1”，OA2表示关于主动变量OA的各值。在此，状态参数IA、IB的可取值的个数不限于N，可以是相互不同的个数。
图3表示完成学习后的控制模型312的输入输出。如该图所示，在完成学习后，根据一状态参数集的输入，输入单一的动作内容。
[3.第二存储部322的存储内容]
图4表示第二存储部322的存储内容。第二存储部322可以存储多个使事前状态参数集、通过在由该事前状态参数集表示的状态下进行设定而使奖励值满足目标条件的动作内容、设定该动作内容后的事后状态参数集建立对应关系而成的组。由此，在预测部324中，可进行事后状态参数集的推移(在本图中作为一例是事后状态参数集(IA2，IB2)→(IA4，IB4)→(IAN，IBN))、进而是与某一事后状态参数对应的值的推移的预测。
[4.控制部318的控制]
图5表示控制部318的控制内容。控制部318可以依次重复执行由参数取得部304进行的状态参数集的获取、由动作内容取得部316进行的动作内容的获取和由设定部302进行的动作内容的设定，从而使生物反应器2培养细胞。在相对于一状态参数集的输入而从控制模型312输出多个动作内容的情况下，控制部318可以对由该一个状态参数集表示的状态的生物反应器2，利用设定部302分别设定该多个动作内容，从而进行适当的动作内容的探索。控制部318也可以根据外部环境进行适当的动作内容的探索。
[5.动作]
[5.1.学习时的动作]
图6表示装置3的动作。装置3通过进行步骤S11～S23的处理，利用生物反应器2培养细胞且使控制模型312学习。此外，该动作可以按照所培养的细胞来进行。
在步骤S11中，参数取得部304获取状态参数集。参数取得部304可以获取当前时刻的状态参数集、例如由设定部302设定动作内容之前的事前状态参数集。此外，步骤S11中，环境信息取得部308也可以进一步获取环境信息。
在步骤S13中，参数输入部310将获取的状态参数集输入到控制模型312。在利用环境信息取得部308获取了环境信息的情况下，步骤S13中，参数输入部310可以将该环境信息一并输入到控制模型312。
由此，从控制模型312输出提高奖励值的动作内容。在此，所谓提高奖励值的动作内容，可以是使与设定该动作内容后的事后状态参数集对应的奖励值(也称为事后奖励值)比与设定该动作内容前的事前状态参数集对应的奖励值(也称为事前奖励值)高的动作内容。
在步骤S15中，动作内容取得部316从控制模型312获取动作内容。
在步骤S17中，设定部302对生物反应器2设定所获取的动作内容。由此，生物反应器2进行与动作内容对应的动作，其结果，推进细胞的培养，生物反应器2及细胞中的至少一方的状态变化。
在步骤S19中，参数取得部304获取在步骤S17中设定动作内容后的事后状态参数集。
在步骤S21中，算出部306根据事后状态参数集中包含的至少一个事后状态参数算出奖励值。
步骤S23中，学习处理部314使用包含在步骤S17中设定的动作内容的数据和在步骤S19中获取的事后状态参数集的学习数据，执行控制模型312的学习处理。学习处理部31也可以执行与在步骤S11中获取的外部环境对应的控制模型312的学习处理。学习处理部314也可以进一步使用在步骤S21中算出的奖励值执行学习处理。
例如，在设定步骤S17中的一动作内容，且根据表示其结果的状态的事后状态参数集算出的奖励值的增加幅度低于基准幅度的情况下，学习处理部314可以执行控制模型312的学习处理，以便在通过步骤S13输入的一状态参数集被重新输入到控制模型312时，不输出该一动作内容。所谓与设定一动作内容的结果对应的奖励值的增加幅度，可以是从设定该一动作内容之前的事前奖励值到设定该一动作内容之后的事后奖励值为止的增加幅度。基准幅度可以是任意的正值。
另外，在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件的情况下，学习处理部314可以完成关于由该一状态参数集表示的状态的学习。此外，在学习处理部314根据外部环境执行学习处理的情况下，在根据一外部环境下的一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件时，学习处理部314可以完成关于该一外部环境下的由该一状态参数集表示的状态的学习。
此外，在本实施方式中，作为一例，控制模型312是递归型或延时型等的神经网络，但也可以是包含随机森林、梯度提升、逻辑回归以及支持向量机(SVM)等的其它的机械学习算法。例如，控制模型312也可以使与学习数据的各要素对应的节点包含于输入层，且使与推荐的动作内容的各主动变量对应的节点包含于输出层。输入层相对于学习数据的一个要素的节点可以是一个，也可以是多个。在输入层及输出层之间，也可以夹设包含一个或多个节点的中间层(隐藏层)。学习处理部314可以通过调整将节点之间连接的边缘的权重以及输出节点的偏差值，而执行学习处理。
如果步骤S23的学习处理结束，则装置3将处理转移至上述的步骤S13。由此，重复进行步骤S13～S23的处理。
在此，在未完成控制模型312的学习的情况下，在步骤S13～S15的处理中，根据一状态参数集向控制模型312的输入，可获取多个动作内容。在该情况下，在步骤S17中，设定部302也可以以使第一存储部300内的各变动模式与由该设定部302设定的动作内容的变动模式不一致的方式，设定所获取的多个动作内容中的任一个动作内容。
所谓由设定部302设定的动作内容的变动模式，可以是将到目前为止在步骤S17中设定的动作内容和接着在步骤S17中设定的动作内容并列的变动模式。所谓设定的变动模式和第一存储部300内的变动模式一致，可以是两者的变动模式完全一致，也可以是至少局部一致。所谓设定的变动模式和第一存储部300内的变动模式局部一致，可以是所设定的变动模式中的最近的至少两个动作内容的变动模式与第一存储部300内的变动模式中连续地包含的至少两个动作内容的变动模式一致。
另外，通过反复进行步骤S13～S23的处理，可多次产生由一状态参数集表示的同一状态。而且，在未完成控制模型312的学习的情况下，根据该一状态参数集向控制模型312的输入，可输出仅一主动变量的值不同的第一动作内容及第二动作内容。在这种情况下，在由该一状态参数集表示的状态下设定第一动作内容后有一事后状态参数集，根据该一事后状态参数集算出一事后奖励值，在由该一状态参数集表示的状态下设定第二动作内容后有另一事后状态参数集，根据该另一事后状态参数集算出另一事后奖励值，在该一事后奖励值与另一事后奖励值的差值低于基准幅度的情况下，在步骤S23中，学习处理部314执行控制模型312的学习处理，以根据该一状态参数集的输入而输出不包含多个种类的主动变量中的该一主动变量的动作内容。
作为一例，向控制模型312输入一事后状态参数集(IA1，IB2，…)而输出第一动作内容(OA1，OB1，…)及第二动作内容(OA2，OB1，…)，第一动作内容和第二动作内容之间仅主动变量OA的值不同，在事后奖励值的差值低于基准幅度时，可以执行学习处理，以根据一状态参数集(IA1，IB2，…)的重新输入而输出不包含主动变量OA的动作内容。
而且，通过反复进行步骤S13～S23的处理，对于在步骤S11中获取的一状态参数集确定一适当的动作内容，并对于设定了该一适当的动作内容的情况下的事后状态参数集确定另一适当的动作内容。以后，同样地，依次确定适当的动作内容。在该情况下，输出部320可以将在步骤S11中获取的状态参数集和一系列的适当的动作内容相对应地输出。在学习处理部314按照外部环境执行学习处理的情况下，输出部320可以在以相同的外部环境确定了一系列的适当的动作内容的情况下，将在步骤S11中获取的状态参数集及外部信息和一系列的适当的动作内容相对应地输出。输出部320可以还输出存储于第二存储部322的学习履历和控制模型312本身。
根据以上的动作，在根据一状态参数集向控制模型312的输入而输出的一动作内容的设定结果所对应的奖励值的增加幅度低于基准幅度的情况下，执行控制模型312的学习处理，以便不根据该一状态参数集的输入而输出该一动作内容。因此，能够防止设定对于提高奖励值而言不需要的动作内容。因此，能够提高奖励值且简化制造顺序。
另外，在向控制模型312输入一状态参数集，输出仅一主动变量的值不同的第一动作内容及第二动作内容的情况下，在根据由该一状态参数集表示的状态分别设定第一动作内容和第二动作内容后，可能出现事后奖励值的差值低于基准幅度的情况。在该情况下，执行控制模型312的学习处理，以根据该一状态参数集的输入而输出不包含该一主动变量的动作内容。因此，能够防止设定对于提高奖励值而言不需要的主动变量，能够从生物反应器2省下设定不需要的主动变量的作为对象的设备(作为一例为多个加热器中的一个)。因此，能够提高奖励值且简化生物反应器2。
另外，在根据一状态参数集向控制模型312的输入而获取了多个动作内容的情况下，以使存储于第一存储部300的各变动模式和所设定的动作内容的变动模式不一致的方式，设定任一个动作内容。因此，能够通过将应该避开的变动模式(例如，原有的变动模式)预先存储于第一存储部300，来探索与这些变动模式不同的新的变动模式。
此外，上述的动作既可以在外部环境不变化的期间内进行，作为一例，可以在一天中的相同时间(作为一例为夜间的0时到4时等)内分周期地进行，还可以在通过操作员的指示而指定的期间内进行。另外，上述的动作可以是每当外部环境变化时进行。
取而代之，上述的动作也可以在外部环境变化的期间持续地进行。在该情况下，环境信息取得部308可以在步骤S11、S19中获取环境信息，在步骤S11中获取的环境信息和在其之后的步骤S19中获取的环境信息可能不同。另外，通过重复进行步骤S13～S23，在步骤S19中获取的环境信息和在其之后的步骤S19中获取的环境信息可能不同。在连续获取的环境信息不同的情况下，学习处理部314可以对与前后各自的环境信息对应的各个控制模型312中的至少一方的控制模型312执行学习处理。取而代之，学习处理部314也可以在连续获取的环境信息不同的情况下不执行学习处理，而是结束步骤S23的处理，仅在连续获取的环境信息相同的情况下，执行与该环境信息对应的控制模型312的学习处理。
[5.2.运用时的动作]
图7表示装置3的另一动作。装置3通过进行步骤S31～S37的处理，使用完成学习的控制模型312在生物反应器2中培养细胞。
在步骤S31中，参数取得部304获取状态参数集。参数取得部304可以获取当前时刻的状态参数集、例如利用设定部302设定动作内容之前的事前状态参数集。此外，步骤S31中，环境信息取得部308也可以进一步获取环境信息。
在步骤S33中，参数输入部310将获取的状态参数集输入到控制模型312。在利用环境信息取得部308获取了环境信息的情况下，在步骤S33中，参数输入部310也可以将该环境信息一并输入到控制模型312。由此，从控制模型312输出与状态参数集对应的适当的一动作内容。
在步骤S35中，动作内容取得部316从控制模型312获取动作内容。
在步骤S37中，设定部302对生物反应器2设定所获取的动作内容。由此，生物反应器2进行与动作内容对应的动作，其结果，推进细胞的培养，生物反应器2及细胞中的至少一方的状态变化。
如果步骤S37的处理结束，则装置3将处理转移至上述的步骤S31。以后，通过重复进行步骤S31～S37的处理，完成细胞的培养。此外，本实施方式中，作为一例，在步骤S37中对生物反应器2设定动作内容，但也可以通过向操作员进行显示而使操作员进行对生物反应器2的设定。
根据以上的动作，通过输入状态参数集，能够得到奖励值变高的动作内容。因此，不需要由熟练的操作员进行试误，能够得到适当的动作内容。
[6.变形例]
此外，在上述的实施方式中，说明了装置3具有第一存储部300、设定部302、参数取得部304、算出部306、环境信息取得部308、参数输入部310、一个或多个控制模型312、学习处理部314、动作内容取得部316、控制部318、输出部320、第二存储部322、预测部324、第三存储部326和检测部328。但是，装置3既可以不具有设定部302、参数取得部304及学习处理部314以外的至少一个结构，也可以不具有参数取得部304、参数输入部310及动作内容取得部316以外的结构。另外，说明了装置3具有控制模型312，但控制模型312也可以为装置3的外部装置所具备。
另外，说明了为了避开存储于第一存储部300的变动模式，设定部302以使第一存储部300内的各变动模式和由该设定部302设定的动作内容的变动模式不一致的方式设定从控制模型312获取的多个动作内容中的任一个动作内容，但也可以通过其它的方法来避开。例如，可以是：多个动作内容中，对于在由设定部302设定的情况下呈与第一存储部300内的任一变动模式一致的变动模式的动作内容，将其奖励值计算为比呈与第一存储部300内的任一变动模式不一致的变动模式的动作内容的奖励值低。该情况下也能够避开存储于第一存储部300的变动模式来探索新的变动模式。
另外，将第一取得部及第二取得部作为单一的参数取得部304进行了说明，但可以设为获取状态参数的各个结构。
另外，说明了生物反应器2培养细胞，但也可以通过生物工艺制造食品及酶等。另外，将制造系统设为生物反应器2进行了说明，但也可以设为饮料或金属(作为一例为铁)、LNG、石油、化妆品、纸、纸浆等的制造设备。
另外，本发明的各种实施方式可以参照流程图及框图来记载，在此，框可以表示：(1)执行操作的工艺的阶段；或者(2)具有执行操作的作用的装置的分区。特定的阶段及分区可以通过专用电路、与储存于计算机可读介质上的计算机可读指令一起供给的可编程电路和/或与储存于计算机可读介质上的计算机可读指令一起供给的处理器来安装。专用电路可以包含数字和/或模拟硬件电路，也可以包含集成电路(IC)和/或分立电路。可编程电路可以包含包括逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR、及其它的逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等的存储器要素等的可重构硬件电路。
计算机可读介质可以包含可存储由适当的器件执行的指令的任意的有形器件，其结果，具有储存于此的指令的计算机可读介质所具备的产品包含为了实现用于执行流程图或框图中指定的操作的方案而被执行的指令。作为计算机可读介质的例子，可以包含电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的例子，可以包含FLOPPY DISC(软磁盘)(注册商标)、软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、蓝光光盘(RTM)、记忆棒、集成电路卡等。
计算机可读指令可以包含汇编程序指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设定数据、或通过包含Smalltalk、JAVA(注册商标)、C++等之类的面向对象编程语言、以及“C”编程语言或同样的编程语言之类的现有的程序型编程语言在内的一个或多个编程语言的任意组合编写的源代码或目标代码中的任一种。
计算机可读指令在本地或者经由局域网(LAN)、因特网等之类的广域网(WAN)提供给通用计算机、特殊目的的计算机、或其它可编程数据处理装置的处理器或可编程电路，为了实现用于执行流程图或框图中指定的操作的方案，可以执行计算机可读指令。作为处理器的例子，包含计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图8表示可以整体或局部地具化本发明的多个方式的计算机2200的例子。安装于计算机2200的程序能够使计算机2200作为与本发明的实施方式的装置相关联的操作或该装置的一个或多个分区发挥作用、或者能够使计算机2200执行该操作或该一个或多个分区，和/或能够使计算机2200执行本发明的实施方式的工艺或该工艺的阶段。为了使计算机2200执行与本说明书所记载的流程图及框图的框中的几个框或全部框相关联的特定的操作，可以利用CPU2212执行这种程序。
本实施方式的计算机2200包含CPU2212、RAM2214、图形控制器2216及显示器件2218，它们利用主机控制器2210相互连接。计算机2200还包含通信接口2222、硬盘驱动器2224、DVD-ROM驱动器2226及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器2220与主机控制器2210连接。计算机还包含ROM2230及键盘2242之类的传统的输入/输出单元，它们经由输入/输出芯片2240与输入/输出控制器2220连接。
CPU2212根据储存于ROM2230及RAM2214内的程序进行动作，由此控制各单元。图形控制器2216获取向RAM2214内提供的帧缓冲等或在其本身中由CPU2212生成的图像数据，并在显示器件2218上显示图像数据。
通信接口2222经由网络与其它的电子器件进行通信。硬盘驱动器2224储存由计算机2200内的CPU2212使用的程序及数据。DVD-ROM驱动器2226从DVD-ROM2201读取程序或数据，并经由RAM2214向硬盘驱动器2224提供程序或数据。IC卡驱动器从IC卡读取程序及数据和/或将程序及数据写入IC卡。
ROM2230在它之中储存在激活时由计算机2200执行的引导程序等和/或依存于计算机2200的硬件的程序。另外，输入/输出芯片2240还可以将各种输入/输出单元经由并行端口、串行端口、键盘端口、鼠标端口等与输入/输出控制器2220连接。
程序由DVD-ROM2201或IC卡之类的计算机可读介质来提供。程序被从计算机可读介质读取出来，安装于硬盘驱动器2224、RAM2214或ROM2230，并由CPU2212执行，硬盘驱动器2224、RAM2214或ROM2230也是计算机可读介质的例子。编写在这些程序内的信息处理被计算机2200读取，带来程序和上述各种类型的硬件资源之间的协同。装置或方法可以以随着计算机2200的使用而实现信息的操作或处理的方式构成。
例如，在计算机2200及外部器件之间执行通信的情况下，CPU2212可以执行向RAM2214中载入的通信程序，基于通信程序中编写的处理对通信接口2222指令通信处理。通信接口2222在CPU2212的控制下，读取RAM2214、硬盘驱动器2224、DVD-ROM2201或IC卡之类的存储介质内提供的发送缓冲处理区中储存的发送数据，并将所读取的发送数据发送至网络，或者将从网络接收的接收数据写入存储介质上提供的接收缓冲处理区等。
另外，CPU2212可以使储存于硬盘驱动器2224、DVD-ROM驱动器2226(DVD-ROM2201)、IC卡等之类的外部存储介质的文件或数据库的全部或必要部分读取到RAM2214，并对RAM2214上的数据执行各种类型的处理。接着，CPU2212将经过处理的数据回写于外部存储介质。
各种类型的程序、数据、表以及数据库之类的各种类型的信息被储存于存储介质，并可以接受信息处理。CPU2212可以对从RAM2214读取的数据，执行本公开的各处所记载的、包含根据程序的指令顺序指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等在内的各种类型的处理，并对RAM2214回写结果。另外，CPU2212可以检索存储介质内的文件、数据库等中的信息。例如，在分别具有与第二属性的属性值相关联的第一属性的属性值的多个条目被储存于存储介质内的情况下，CPU2212可以从该多个条目中检索被指定第一属性的属性值的与条件一致的条目，读取储存于该条目内的第二属性的属性值，由此，获取与满足预先制定的条件的第一属性相关联的第二属性的属性值。
以上说明的程序或软件模块可以储存于计算机2200上或计算机2200附近的计算机可读介质中。另外，与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的存储介质能够用作计算机可读介质，由此，经由网络向计算机2200提供程序。
以上使用实施方式说明了本发明，但本发明的技术范围不限定于上述实施方式所记载的范围。可以对上述实施方式进行各种变更或改良，这一点对于本领域技术人员来说不言自明。从权利要求书的记载可知，进行了该各种变更或改良的方式也可包含于本发明的技术范围中。
注意，对于权利要求书、说明书及附图中所示的装置、系统、程序及方法的动作、流程、步骤及阶段等各处理的执行顺序，只要未特别明示为“更前”、“之前”等，且只要未将前一处理的输出用于后一处理，就可以按任意顺序实现。关于权利要求书、说明书及附图中的动作流程，即使为了方便起见而使用了“首先”、“接着”等进行说明，但并非意味着必须按该顺序实施。

Claims (20)

1.一种装置，其特征在于，所述装置具备：
设定部，其对制造制造对象物的制造系统设定动作内容；
第一取得部，其获取表示设定所述动作内容后的所述制造系统及所述制造对象物中的至少一方的状态的事后状态参数集；
学习处理部，其使用包含所述动作内容和所述事后状态参数集的学习数据，执行所述制造系统的控制模型的学习处理，所述控制模型根据表示所述制造系统及所述制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的所述动作内容。
2.如权利要求1所述的装置，其特征在于，
在根据一所述状态参数集向所述控制模型的输入而输出的一所述动作内容的设定结果所对应的所述奖励值的增加幅度低于基准幅度的情况下，所述学习处理部执行所述控制模型的学习处理，以不根据该一状态参数集的输入而输出该一动作内容。
3.如权利要求1或2所述的装置，其特征在于，
所述动作内容具有对所述制造系统可主动地设定的多个种类的主动变量，
根据一所述状态参数集向所述控制模型的输入，输出仅所述多个种类的主动变量中的一主动变量的值不同的第一动作内容及第二动作内容，在由所述一状态参数集表示的状态下分别设定所述第一动作内容及所述第二动作内容，在分别进行该第一动作内容及该第二动作内容的设定之后对应的奖励值彼此的差值低于基准幅度的情况下，所述学习处理部执行所述控制模型的学习处理，以根据所述一状态参数集的输入而输出不包含所述多个种类的主动变量中的所述一主动变量的所述动作内容。
4.如权利要求1～3中任一项所述的装置，其特征在于，
所述装置还具备第一存储部，该第一存储部存储所述动作内容的多个变动模式，
在根据一所述状态参数集向所述控制模型的输入而获取了多个动作内容的情况下，所述设定部以所述第一存储部内的各变动模式和由该设定部设定的所述动作内容的变动模式不一致的方式，设定所述多个动作内容中的任一个。
5.如权利要求1～3中任一项所述的装置，其特征在于，
所述装置还具备第一存储部，该第一存储部存储所述动作内容的多个变动模式，
对于在由所述设定部设定的情况下呈与所述第一存储部内的任一所述变动模式一致的变动模式的所述动作内容，算出更低的所述奖励值。
6.如权利要求1～5中任一项所述的装置，其特征在于，
所述装置还具备环境信息取得部，该环境信息取得部获取表示所述制造系统的外部环境的环境信息，
所述学习处理部按照外部环境执行所述控制模型的学习处理。
7.如权利要求6所述的装置，其特征在于，
所述学习处理部使用对于一外部环境执行了学习处理的所述控制模型进行迁移学习，执行对于其它外部环境的学习处理。
8.如权利要求1～7中任一项所述的装置，其特征在于，
所述装置还具备：
第二取得部，其获取所述状态参数集；
参数输入部，其对所述控制模型输入由所述第二取得部获取的所述状态参数集；
第三取得部，其获取所述控制模型根据所述状态参数集向所述控制模型的输入而输出的所述动作内容；
所述设定部对所述制造系统设定由所述第三取得部获取的所述动作内容。
9.如权利要求8所述的装置，其特征在于，
所述装置还具备算出部，该算出部根据所述事后状态参数集中包含的至少一个事后状态参数算出所述奖励值，
所述学习处理部进一步使用由所述算出部算出的所述奖励值来执行学习处理。
10.如权利要求9所述的装置，其特征在于，
在根据一所述状态参数集向所述控制模型的输入而输出的一所述动作内容被设定于所述制造系统，结果由所述算出部算出的所述奖励值满足目标条件的情况下，所述学习处理部执行所述控制模型的学习处理，以根据该一状态参数集的输入而输出该一动作内容，
所述装置还具备输出部，该输出部将该一动作内容及该一状态参数集相对应地输出。
11.如权利要求8～10中任一项所述的装置，其特征在于，
所述装置还具备控制部，该控制部依次重复执行由所述第二取得部进行的所述状态参数集的获取、由所述第三取得部进行的所述动作内容的获取和由所述设定部进行的所述动作内容的设定而制造所述制造对象物。
12.如权利要求9～11中任一项所述的装置，其特征在于，
所述装置还具备：
第二存储部，在根据一所述状态参数集向所述控制模型的输入而输出的一所述动作内容被设定于所述制造系统并获取一所述事后状态参数集，且基于该一事后状态参数集算出的所述奖励值满足目标条件的情况下，该第二存储部将该一动作内容、所述一状态参数集和所述一事后状态参数集相对应地累积存储起来；
预测部，其基于所述第二存储部的存储内容，预测从由所述第二取得部获取的所述状态参数集表示的状态起逐次设定所述奖励值满足所述目标条件的所述动作内容的情况下的、各事后状态参数集中包含的至少一个事后状态参数所对应的值的推移。
13.如权利要求12所述的装置，其特征在于，
所述事后状态参数集包含存在于所述制造系统及所述制造对象物中的至少一方的异物的量，
所述预测部在预测为所述异物的量超过上限值的情况下通知该情况。
14.如权利要求1～13中任一项所述的装置，其特征在于，
所述装置还具备：
第三存储部，其累积存储所述学习数据；
检测部，其检测所述第三存储部内的多个所述事后状态参数集中的不满足基准条件的两个以上的所述事后状态参数集所对应的所述动作内容之间的共同内容、以及满足基准条件的两个以上的所述事后状态参数集所对应的所述动作内容之间的共同内容中的至少一方。
15.一种装置，其特征在于，所述装置具备：
第二取得部，其获取表示制造系统及所述制造系统的制造对象物中的至少一方的状态的状态参数集；
参数输入部，其对所述制造系统的控制模型输入由所述第二取得部获取的所述状态参数集，所述控制模型根据所述状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容；
第三取得部，其获取所述控制模型根据所述状态参数集向所述控制模型的输入而输出的所述动作内容。
16.如权利要求1～15中任一项所述的装置，其特征在于，
所述制造系统为培养细胞的系统。
17.一种方法，其特征在于，所述方法具备：
设定阶段，对制造制造对象物的制造系统设定动作内容；
第一取得阶段，获取表示设定所述动作内容后的所述制造系统及所述制造对象物中的至少一方的状态的事后状态参数集；
学习处理阶段，使用包含所述动作内容和所述事后状态参数集的学习数据，执行所述制造系统的控制模型的学习处理，所述控制模型根据表示所述制造系统及所述制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的所述动作内容。
18.一种方法，其特征在于，所述方法具备：
第二取得阶段，获取表示制造系统及所述制造系统的制造对象物中的至少一方的状态的状态参数集；
参数输入阶段，对所述制造系统的控制模型输入由所述第二取得阶段获取的所述状态参数集，所述控制模型根据所述状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容；
第三取得阶段，获取所述控制模型根据所述状态参数集向所述控制模型的输入而输出的所述动作内容。
19.一种存储介质，其特征在于，所述存储介质记录有程序，该程序使计算机作为如下各部发挥作用：
设定部，其对制造制造对象物的制造系统设定动作内容；
第一取得部，其获取表示设定所述动作内容后的所述制造系统及所述制造对象物中的至少一方的状态的事后状态参数集；
学习处理部，其使用包含所述动作内容和所述事后状态参数集的学习数据，执行所述制造系统的控制模型的学习处理，所述控制模型根据表示所述制造系统及所述制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的所述动作内容。
20.一种存储介质，其特征在于，所述存储介质记录有程序，该程序使计算机作为如下各部发挥作用：
第二取得部，其获取表示制造系统及所述制造系统的制造对象物中的至少一方的状态的状态参数集；
参数输入部，其对所述制造系统的控制模型输入由所述第二取得部获取的所述状态参数集，所述控制模型根据所述状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容；
第三取得部，其获取所述控制模型根据所述状态参数集向所述控制模型的输入而输出的所述动作内容。
CN202011177931.0A 2019-10-31 2020-10-29 装置、方法及存储介质 Pending CN112750500A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019198308A JP7181849B2 (ja) 2019-10-31 2019-10-31 装置、方法およびプログラム
JP2019-198308 2019-10-31

Publications (1)

Publication Number Publication Date
CN112750500A true CN112750500A (zh) 2021-05-04

Family

ID=73043081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011177931.0A Pending CN112750500A (zh) 2019-10-31 2020-10-29 装置、方法及存储介质

Country Status (4)

Country Link
US (1) US20210132556A1 (zh)
EP (1) EP3816735B1 (zh)
JP (1) JP7181849B2 (zh)
CN (1) CN112750500A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3111632A1 (en) * 2018-09-05 2020-03-12 WEnTech Solutions Inc. System and method for anaerobic digestion process assessment, optimization and/or control

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131383A (zh) * 2008-06-26 2011-07-20 Solix生物燃料公司 用于生物反应器的基于模型的控制
CN106202997A (zh) * 2016-06-29 2016-12-07 四川大学 一种基于深度学习的细胞分裂检测方法
US20170016354A1 (en) * 2015-07-17 2017-01-19 Nec Laboratories America, Inc. Output efficiency optimization in production systems
US20180276339A1 (en) * 2017-01-06 2018-09-27 Mantra Bio, Inc. System and method for algorithmic extracellular vesicle population discovery and characterization
US20190018374A1 (en) * 2017-07-13 2019-01-17 Yokogawa Electric Corporation Plant control supporting apparatus, plant control supporting method, and recording medium
CN109243528A (zh) * 2018-08-14 2019-01-18 张旭蓓 基于知识图谱有向图的生物过程控制方法
CN109840671A (zh) * 2017-11-27 2019-06-04 横河电机株式会社 运行改进效果计算设备、运行改进效果计算方法和记录介质
US20190265686A1 (en) * 2018-02-23 2019-08-29 Kabushiki Kaisha Yaskawa Denki Product quality management system and method for managing quality of product
US20190317472A1 (en) * 2018-04-17 2019-10-17 Fanuc Corporation Controller and control method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992015964A1 (en) * 1991-02-28 1992-09-17 The Board Of Trustees Of The University Of Illinois On-line image processing for real-time control of a process
JPH0581230A (ja) * 1991-09-24 1993-04-02 Toyoda Mach Works Ltd ニユーラルネツトワークの学習装置
JP3924974B2 (ja) * 1999-02-03 2007-06-06 オムロン株式会社 制御パラメータ決定方法及び装置
DE602004019537D1 (de) * 2003-07-24 2009-04-02 Cognitens Ltd System und verfahren zur überwachung und visualisierung der ausgabe eines produktionsprozesses
JP2011107885A (ja) * 2009-11-16 2011-06-02 Toshiba Corp ニューラルネットワーク学習における前処理装置
JP5794034B2 (ja) * 2011-08-18 2015-10-14 富士ゼロックス株式会社 障害予測システム及びプログラム
US9971329B2 (en) * 2015-07-31 2018-05-15 Fanuc Corporation Cell control system, manufacturing system, and control method which control manufacturing cell including plurality of manufacturing machines
JP6140262B1 (ja) * 2015-12-25 2017-05-31 ファナック株式会社 製造セルの作業の遅れを修正する製造管理装置
EP3605405A4 (en) * 2017-03-21 2020-12-02 Preferred Networks, Inc. SERVER DEVICE, TRAINED MODEL DELIVERY PROGRAM, TRAINED MODEL DELIVERY PROCESS, AND DRIVEN MODEL DELIVERY SYSTEM
DE102017110997A1 (de) * 2017-05-19 2018-11-22 Homag Plattenaufteiltechnik Gmbh Vorrichtung und Verfahren zur Bearbeitung von Erzeugnissen
US20200202051A1 (en) * 2017-06-16 2020-06-25 Ge Healthcare Bio-Sciences Ab Method for Predicting Outcome of an Modelling of a Process in a Bioreactor
JP6499720B2 (ja) * 2017-06-22 2019-04-10 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
WO2019126535A1 (en) * 2017-12-21 2019-06-27 The University Of Chicago Combined learned and dynamic control system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131383A (zh) * 2008-06-26 2011-07-20 Solix生物燃料公司 用于生物反应器的基于模型的控制
US20170016354A1 (en) * 2015-07-17 2017-01-19 Nec Laboratories America, Inc. Output efficiency optimization in production systems
CN106202997A (zh) * 2016-06-29 2016-12-07 四川大学 一种基于深度学习的细胞分裂检测方法
US20180276339A1 (en) * 2017-01-06 2018-09-27 Mantra Bio, Inc. System and method for algorithmic extracellular vesicle population discovery and characterization
US20190018374A1 (en) * 2017-07-13 2019-01-17 Yokogawa Electric Corporation Plant control supporting apparatus, plant control supporting method, and recording medium
CN109840671A (zh) * 2017-11-27 2019-06-04 横河电机株式会社 运行改进效果计算设备、运行改进效果计算方法和记录介质
US20190265686A1 (en) * 2018-02-23 2019-08-29 Kabushiki Kaisha Yaskawa Denki Product quality management system and method for managing quality of product
US20190317472A1 (en) * 2018-04-17 2019-10-17 Fanuc Corporation Controller and control method
CN109243528A (zh) * 2018-08-14 2019-01-18 张旭蓓 基于知识图谱有向图的生物过程控制方法

Also Published As

Publication number Publication date
JP2021071932A (ja) 2021-05-06
EP3816735A1 (en) 2021-05-05
JP7181849B2 (ja) 2022-12-01
US20210132556A1 (en) 2021-05-06
EP3816735B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
Gernaey et al. Application of mechanistic models to fermentation and biocatalysis for next-generation processes
JP6956884B2 (ja) 細胞培養支援装置の作動プログラム、細胞培養支援装置、細胞培養支援装置の作動方法
Williams et al. Precision manufacturing for clinical-quality regenerative medicines
JP2020523030A (ja) バイオリアクタにおいてのプロセスのアウトカムを予測するための、および、そのプロセスのモデリングのための方法
Liao et al. Artificial intelligence: a solution to involution of design–build–test–learn cycle
de Wilde Building performance simulation in the brave new world of artificial intelligence and digital twins: A systematic review
McBride et al. Design of genetic circuits that are robust to resource competition
CN112750500A (zh) 装置、方法及存储介质
Chopda et al. Bridging the gap between PAT concepts and implementation: An integrated software platform for fermentation
CN111566574A (zh) 用于动态模型生成的设备、方法和程序
WO2022186980A1 (en) Multi-level machine learning for predictive and prescriptive applications
JP2024054170A (ja) 装置、方法、およびプログラム
Darlington et al. Architectures for combined transcriptional and translational resource allocation controllers
JP7144462B2 (ja) プラント運転条件設定支援システム及び運転条件設定支援装置
JP2021056730A (ja) システム、方法、および、プログラム
Rashedi et al. Machine learning‐based model predictive controller design for cell culture processes
Mai et al. Random parameter sampling of a generic three-tier MAPK cascade model reveals major factors affecting its versatile dynamics
Bardini et al. Computational methods for biofabrication in tissue engineering and regenerative medicine-a literature review
JP2021016359A (ja) 情報処理装置、細胞培養システム、情報処理方法、及びコンピュータプログラム
Irani et al. Approximate predictive control of a distillation column using an evolving artificial neural network coupled with a genetic algorithm
US20230129189A1 (en) Apparatus, method, and computer readable medium
WO2024048079A1 (ja) 有用物質を産生するクローンの産生安定性を予測する方法、情報処理装置、プログラムおよび予測モデル生成方法
Gao et al. OWFD-UCPM: An open-world fault diagnosis scheme based on uncertainty calibration and prototype management
Sarna Data-Driven Modeling and Model Predictive Control of Monoclonal Antibody Process
JP2023078694A (ja) 装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221013

Address after: Tokyo, Japan

Applicant after: Yokogawa Electric Corp.

Address before: Tokyo, Japan

Applicant before: Yokogawa Electric Corp.

Applicant before: YOKOGAWA SYSTEM ENGINEERING Corp.

TA01 Transfer of patent application right