JP2021071932A - 装置、方法およびプログラム - Google Patents

装置、方法およびプログラム Download PDF

Info

Publication number
JP2021071932A
JP2021071932A JP2019198308A JP2019198308A JP2021071932A JP 2021071932 A JP2021071932 A JP 2021071932A JP 2019198308 A JP2019198308 A JP 2019198308A JP 2019198308 A JP2019198308 A JP 2019198308A JP 2021071932 A JP2021071932 A JP 2021071932A
Authority
JP
Japan
Prior art keywords
state parameter
parameter set
operation content
unit
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019198308A
Other languages
English (en)
Other versions
JP7181849B2 (ja
Inventor
順二 山本
Junji Yamamoto
順二 山本
鹿子木 宏明
Hiroaki Kaneki
宏明 鹿子木
恵一郎 小渕
Keiichiro Obuchi
恵一郎 小渕
陽太 古川
Yota Furukawa
陽太 古川
嶺 唐澤
Rei Karasawa
嶺 唐澤
安部 裕人
Hiroto Abe
裕人 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Yokogawa Solution Service Corp
Original Assignee
Yokogawa Electric Corp
Yokogawa Solution Service Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp, Yokogawa Solution Service Corp filed Critical Yokogawa Electric Corp
Priority to JP2019198308A priority Critical patent/JP7181849B2/ja
Priority to US17/074,648 priority patent/US12117784B2/en
Priority to CN202011177931.0A priority patent/CN112750500B/zh
Priority to EP20204966.4A priority patent/EP3816735B1/en
Publication of JP2021071932A publication Critical patent/JP2021071932A/ja
Application granted granted Critical
Publication of JP7181849B2 publication Critical patent/JP7181849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/026Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system using a predictor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Sustainable Development (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】製造システムの好適な動作内容を得られる製造システムを提供する。【解決手段】製造対象物を製造する製造システムに対して動作内容を設定する設定部と、動作内容の設定後での製造システムおよび製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得部と、動作内容と、事後状態パラメータセットとを含む学習データを用いて、製造システムおよび製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルの学習処理を実行する学習処理部と、を備える装置。【選択図】図1

Description

本発明は、装置、方法およびプログラムに関する。
従来、細胞などの製造システムにおいて、製造を効率化する種々の手法が提案されている(例えば非特許文献1〜4参照)。
非特許文献1 亀倉晃一ほか、「バイオ医薬品製造プラント」、IHI技報、第49巻、第2号、2009年、p.67〜p.73
非特許文献2 塩屋捨明、「培養操作の最適化とその実現」、計測と制御、第34巻、第1号、1995年、p.11〜p.17
非特許文献3 大政健史、「バイオ医薬品生産におけるプロダクションサイエンス」、生物工学、 第91巻、 第9号、2013年、p.507〜p.510
非特許文献4 松崎淳一、「バイオ医薬品産業の現状と課題」、生物工学、第91巻、第9号、2013年、p.495〜p.498
しかしながら、従来の手法では、製造システムの好適な動作内容を得られない場合がある。
上記課題を解決するために、本発明の第1の態様においては、装置が提供される。装置は、製造対象物を製造する製造システムに対して動作内容を設定する設定部を備えてよい。装置は、動作内容の設定後での製造システムおよび製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得部を備えてよい。装置は、動作内容と、事後状態パラメータセットとを含む学習データを用いて、製造システムおよび製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルの学習処理を実行する学習処理部を備えてよい。
学習処理部は、一の状態パラメータセットが制御モデルに入力されたことに応じて出力される一の動作内容の設定結果に応じた報酬値の増加幅が基準幅未満であった場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容を出力しないよう制御モデルの学習処理を実行してよい。
動作内容は、製造システムに対して能動的に設定可能な複数種類の能動変数を有してよい。学習処理部は、一の状態パラメータセットが制御モデルに入力されたことに応じて、複数種類の能動変数のうち一の能動変数の値のみが相違する第1の動作内容および第2の動作内容が出力され、一の状態パラメータセットで示される状態で第1の動作内容および第2の動作内容それぞれを別々に設定した結果に応じた報酬値同士の差分が基準幅未満である場合に、一状態パラメータセットの入力に応じて複数種類の能動変数のうち一の能動変数を含まない動作内容を出力するよう制御モデルの学習処理を実行してよい。
装置は、動作内容の変動パターンを複数記憶する第1記憶部をさらに備えてよい。設定部は、一の状態パラメータセットが制御モデルに入力されたことに応じて複数の動作内容が取得された場合に、第1記憶部内の各変動パターンと、当該設定部によって設定される動作内容の変動パターンとが一致しないように、複数の動作内容のいずれか1つを設定してよい。
装置は、動作内容の変動パターンを複数記憶する第1記憶部をさらに備えてよい。報酬値は、設定部によって設定される場合に第1記憶部内の何れかの変動パターンと一致する変動パターンをなす動作内容に対して、より低く算出されてよい。
装置は、製造システムの外部環境を示す環境情報を取得する環境情報取得部をさらに備えてよい。学習処理部は、外部環境ごとに制御モデルの学習処理を実行してよい。
学習処理部は、一の外部環境に対して学習処理が実行された制御モデルを用いて転移学習を行い、他の外部環境に対する学習処理を実行してよい。
装置は、状態パラメータセットを取得する第2取得部をさらに備えてよい。装置は、制御モデルに対し、第2取得部により取得された状態パラメータセットを入力するパラメータ入力部をさらに備えてよい。装置は、状態パラメータセットを制御モデルに入力したことに応じて制御モデルが出力する動作内容を取得する第3取得部をさらに備えてよい。設定部は、第3取得部により取得された動作内容を製造システムに対して設定してよい。
装置は、事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータから報酬値を算出する算出部をさらに備えてよい。学習処理部は、算出部によって算出された報酬値をさらに用いて学習処理を実行してよい。
学習処理部は、一の状態パラメータセットを制御モデルに入力したことに応じて出力された一の動作内容が製造システムに設定された結果、算出部により算出される報酬値が目標条件を満たす場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容が出力されるよう制御モデルの学習処理を実行してよい。装置は、これら一の動作内容および一の状態パラメータセットを対応付けて出力する出力部をさらに備えてよい。
装置は、第2取得部による状態パラメータセットの取得と、第3取得部による動作内容の取得と、設定部による動作内容の設定とを順に繰り返し実行させて製造対象物を製造させる制御部をさらに備えてよい。
装置は、一の状態パラメータセットが制御モデルに入力されたことに応じて出力された一の動作内容が製造システムに設定されて一の事後状態パラメータセットが取得され、当該一の事後状態パラメータセットに基づいて算出される報酬値が目標条件を満たす場合に、当該一の動作内容と、一の状態パラメータセットと、一の事後状態パラメータセットとを対応付けて蓄積記憶する第2記憶部をさらに備えてよい。装置は、第2取得部により取得された状態パラメータセットで示される状態から、報酬値が目標条件を満たす動作内容を逐次設定する場合での、各事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータに応じた値の推移を、第2記憶部の記憶内容に基づいて予測する予測部をさらに備えてよい。
事後状態パラメータセットには、製造システムおよび製造対象物中の少なくとも一方に存在する異物の量が含まれてよい。予測部は、異物の量が上限値を超えると予測される場合に、その旨を報知してよい。
装置は、学習データを蓄積記憶する第3記憶部をさらに備えてよい。装置は、第3記憶部内の複数の事後状態パラメータセットのうち、基準条件を満たさない2以上の事後状態パラメータセットに対応する動作内容の間での共通内容、および、基準条件を満たす2以上の事後状態パラメータセットに対応する動作内容の間での共通内容の少なくとも一方を検出する検出部をさらに備えてよい。
本発明の第2の態様においては、装置が提供される。装置は、製造システムおよび製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得部を備えてよい。装置は、状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルに対し、第2取得部により取得された状態パラメータセットを入力するパラメータ入力部を備えてよい。装置は、状態パラメータセットを制御モデルに入力したことに応じて制御モデルが出力する動作内容を取得する第3取得部を備えてよい。
製造システムは、細胞を培養するシステムであってよい。
本発明の第3の態様においては、方法が提供される。方法は、製造対象物を製造する製造システムに対して動作内容を設定する設定段階を備えてよい。方法は、動作内容の設定後での製造システムおよび製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得段階を備えてよい。方法は、動作内容と、事後状態パラメータセットとを含む学習データを用いて、製造システムおよび製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルの学習処理を実行する学習処理段階を備えてよい。
本発明の第4の態様においては、方法が提供される。方法は、製造システムおよび製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得段階を備えてよい。方法は、状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルに対し、第2取得段階により取得された状態パラメータセットを入力するパラメータ入力段階を備えてよい。方法は、状態パラメータセットを制御モデルに入力したことに応じて制御モデルが出力する動作内容を取得する第3取得段階を備えてよい。
本発明の第5の態様においては、プログラムが提供される。プログラムは、コンピュータを、製造対象物を製造する製造システムに対して動作内容を設定する設定部として機能させてよい。プログラムは、コンピュータを、動作内容の設定後での製造システムおよび製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得部として機能させてよい。プログラムは、コンピュータを、動作内容と、事後状態パラメータセットとを含む学習データを用いて、製造システムおよび製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルの学習処理を実行する学習処理部として機能させてよい。
本発明の第6の態様においては、プログラムが提供される。プログラムは、コンピュータを、製造システムおよび製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得部として機能させてよい。プログラムは、コンピュータを、状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する製造システムの制御モデルに対し、第2取得部により取得された状態パラメータセットを入力するパラメータ入力部として機能させてよい。プログラムは、コンピュータを、状態パラメータセットを制御モデルに入力したことに応じて制御モデルが出力する動作内容を取得する第3取得部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係るシステム1を示す。 学習の初期段階での制御モデル312の入出力を示す。 学習の完了後での制御モデル312の入出力を示す。 第2記憶部322の記憶内容を示す。 制御部318による制御内容を示す。 装置3の動作を示す。 装置3の他の動作を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.システム1]
図1は、本実施形態に係るシステム1を示す。システム1は、バイオリアクタ2と装置3とを備える。
[1.1.バイオリアクタ2]
バイオリアクタ2は、製造対象物を製造する製造システムの一例である。バイオリアクタ2は、特定の機能(一例として特定のタンパク質を生成する機能)を有する細胞を培養し、製造対象物として製造してよい。バイオリアクタ2は、外部から入力される動作内容に応じて動作して、当該バイオリアクタ2の状態、ひいては細胞の状態を変化させる。
動作内容は、バイオリアクタ2において行われる動作の内容を示し、本実施形態では一例として、基準時間内で継続して行われる動作内容を示す。動作内容は、バイオリアクタ2に対して能動的に設定可能な少なくとも1種類(本実施形態では複数種類)の能動変数を有してよい。各動作内容に含まれる能動変数は互いに同種であってもよいし、少なくとも一部が異なってもよい。能動変数は、プロセス値(process value)の設定値(set point、目標値)、操作変数(Manipulate Variable)、製造のための設備要件、および、処理順序(手順、プロシジャ)の少なくとも1つを含んでよい。プロセス値の設定値は、一例として、温度設定値やpH設定値などであってよい。操作変数は、一例として、ヒータへの供給電力や、培地投入量、酸・アルカリ溶液投入量、培養液や内部気体を撹拌するための撹拌翼の回転数、反応槽の通気量などであってよい。設備要件は、一例として、反応槽の構造や材質、培養液を撹拌するための撹拌翼の形状、反応槽の通気方法などであってよい。
バイオリアクタ2の状態は、一例として、培養液の温度や、pH、培養液の流速、培養液中の酸素濃度、二酸化炭素濃度、栄養素の濃度、バイオリアクタ2内に存在する異物の量、反応槽の圧力などであってよい。細胞の状態は、培養される細胞の収率、均質性、機能性(一例として特定のタンパク質を生成する性能)、濃度、個数、分布、サイズ、重量、生産量(増加量)、培養液の撹拌などにより細胞に加わるせん断応力、細胞内に存在する異物の量などであってよい。異物の量は絶対的な量であってもよいし、全体量に対する相対的な量(一例として割合)であってもよい。
[1.2.装置3]
装置3は、バイオリアクタ2における細胞培養を支援する。装置3は、第1記憶部300と、設定部302と、パラメータ取得部304と、算出部306と、環境情報取得部308と、パラメータ入力部310と、1または複数の制御モデル312と、学習処理部314と、動作内容取得部316と、制御部318と、出力部320と、第2記憶部322と、予測部324と、第3記憶部326と、検出部328とを有する。
[1.2.1.第1記憶部300]
第1記憶部300は、動作内容の変動パターンを複数記憶する。記憶される変動パターンは、一例として既知の変動パターンであってよい。
[1.2.2.設定部302]
設定部302は、バイオリアクタ2に対して動作内容を設定する。設定部302は、基準時間ごとに動作内容を設定してよい。設定部302は、動作内容取得部316から供給される動作内容をバイオリアクタ2に設定してよい。一の基準時間について複数の動作内容が動作内容取得部316から供給される場合には、詳細は後述するものの、設定部302は第1記憶部300内の変動パターンに基づいて一の動作内容を選択してバイオリアクタ2に設定してよい。設定部302は、設定した動作内容を学習処理部314、第2記憶部322および第3記憶部326に供給してよい。
[1.2.3.パラメータ取得部304]
パラメータ取得部304は、第1取得部および第2取得部の一例であり、バイオリアクタ2および細胞の少なくとも一方の状態を示す状態パラメータセットを取得する。状態パラメータセットは、取得された時点(一例として現時点)での状態を示してよい。状態パラメータセットは、設定部302による動作内容の設定後の時点で取得されている場合には事後状態パラメータセットと称されてもよいし、設定部302による動作内容の設定前の時点で取得されている場合には事前状態パラメータセットと称されてもよい。状態パラメータセットには、バイオリアクタ2および細胞の少なくとも一方の状態を示す状態パラメータが少なくとも1つ含まれてよい。
パラメータ取得部304は、バイオリアクタ2を観測することで状態パラメータセットを取得してもよいし、バイオリアクタ2に設けられたセンサ(図示せず)から状態パラメータセットを取得してもよいし、バイオリアクタ2やセンサを確認したオペレータから状態パラメータセットを取得してもよいし、これらを組み合わせて取得された複数の状態パラメータを纏めることで状態パラメータセットを取得してもよい。オペレータから取得される状態パラメータは、数値範囲であってもよい。また、オペレータから取得される状態パラメータには、培養する細胞の種類が含まれてよい。パラメータ取得部304は、取得した状態パラメータセットを算出部306、パラメータ入力部310、学習処理部314、第2記憶部322および第3記憶部326に供給してよい。
[1.2.4.算出部306]
算出部306は、パラメータセット(一例として事後状態パラメータセット)に含まれる少なくとも1つの状態パラメータ(一例として事後状態パラメータ)から報酬値を算出する。算出部306は、算出した報酬値を学習処理部314に供給してよい。
報酬値は、予め定められた報酬関数によって定まるものであり、学習処理部314による制御モデル312の強化学習に用いられてよい。報酬値は、いわゆるKPI(Key Performance Indicater)であってよく、例えばバイオリアクタ2から得られる利益、培養される細胞の品質、バイオリアクタ2の動作時の安全性、および、環境負荷の低さの何れか1つを示してもよいし、これらの複数を総合的に評価した値でもよい。報酬値は、単一の状態パラメータの値そのものであってもよい。
なお、算出部306は、事後状態パラメータセットからKPIを算出し、目標値に達したか否かを検出してもよいし、目標値に対する達成割合を算出してもよい。算出部306は、これらの結果を装置3の外部に出力してよい。なお、装置3の外部に出力するとは、ディスプレイ(図示せず)から表示することであってもよいし、プリンタ(図示せず)から印刷することであってもよいし、記録媒体に記録することであってもよい。
[1.2.5.環境情報取得部308]
環境情報取得部308は、バイオリアクタ2の外部環境を示す環境情報を取得する。外部環境は、バイオリアクタ2の設置環境の気温および湿度の少なくとも1つであってよい。これに代えて、またはこれに加えて、外部環境はバイオリアクタ2に供給される原材料の特性を含んでよい。環境情報取得部308は、バイオリアクタ2の設置位置に設けられたセンサ(図示せず)から環境情報を取得してもよいし、オペレータから環境情報を取得してもよいし、これらを組み合わせて環境情報を取得してもよい。環境情報取得部308は、取得した環境情報をパラメータ入力部310および学習処理部314に供給してよい。
[1.2.6.パラメータ入力部310]
パラメータ入力部310は、制御モデル312および予測部324に対し、パラメータ取得部304により取得された状態パラメータセット(一例として事後状態パラメータセット)を入力する。パラメータ入力部310は、環境情報取得部308から取得した環境情報を併せて制御モデル312および予測部324に入力してよい。
[1.2.7.制御モデル312]
制御モデル312は、バイオリアクタ2を制御するためのモデルであり、状態パラメータセットの入力に応じ、報酬値を高める動作内容を出力する。パラメータ入力部310から状態パラメータセットに加えて環境情報も入力される場合には、制御モデル312は、入力された状態パラメータセットおよび環境情報に応じた動作内容を出力してよい。出力する動作内容は、状態パラメータセットで示される状態において設定されるべき動作内容であってよい。制御モデル312は、動作内容を動作内容取得部316に供給してよい。
制御モデル312は、学習処理部314による学習処理を受けてよい。制御モデル312は、学習が初期段階の場合には、一の状態パラメータセットの入力に応じ、互いに異なる複数の動作内容を出力してよい。
なお、本実施形態では一例として、装置3には、培養する細胞の種類や外部環境ごとに異なる複数の制御モデル312が具備されている。外部環境ごとに制御モデル312が異なるとは、環境情報に含まれる少なくとも1つのパラメータが基準範囲を超えて異なるごとに、制御モデル312が異なることであってよい。
[1.2.8.学習処理部314]
学習処理部314は、入力される学習データを用いて制御モデル312の学習処理を実行する。学習データは、設定部302から供給される動作内容のデータと、パラメータ取得部304から供給される事後状態パラメータセットのデータとを含んでよい。学習データは、パラメータ取得部304から供給される事前状態パラメータセットのデータをさらに含んでもよいし、事前状態パラメータセットと事後状態パラメータセットとの差分データをさらに含んでもよい。
学習処理部314は、算出部306によって算出された報酬値をさらに用いて学習処理を実行してよい。別言すれば、学習処理部314は強化学習を行ってよい。
学習処理部314は、一の状態パラメータセットを制御モデル312に入力したことに応じて出力された一の動作内容がバイオリアクタ2に設定され、その結果の状態を示す事後状態パラメータセットから算出される報酬値が目標条件を満たす場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容が出力されるよう制御モデル312の学習処理を実行してよい。これにより、一の状態パラメータセットで示される状態に対し、報酬値が目標条件を満たすような動作内容(好適な動作内容とも称する)が一意に定まる。学習処理部314は、このような一の状態パラメータセットと、当該状態パラメータセットに対して一意に定まった好適な動作内容とを対応付けて出力部320に供給してよい。
なお、目標条件は、報酬値が基準値より高くなることであってもよいし、最大値になることであってもよい。報酬値が最大値になるとは、一の状態パラメータセットの入力に対して制御モデル312から複数の動作内容が出力される場合に、これら複数の動作内容を別々に設定した場合に得られる複数の報酬値のなかでが最も大きい値を示すことであってよい。
学習処理部314は、培養する細胞の種類ごとに別々の制御モデル312の学習処理を行ってよい。また、学習処理部314は、外部環境ごとに別々の制御モデル312の学習処理を行ってよい。例えば、学習処理部314は、環境情報取得部308からの環境情報に含まれる少なくとも1つのパラメータが基準範囲を超えて変動した場合に、変動前後で別々の制御モデル312の学習処理を行ってよい。なお、制御モデル312が外部環境ごとに別々に設けられない場合には、学習処理部314は、環境情報も学習データに含めて単一の制御モデル312に対して学習処理を行ってよい。
学習処理部314は、外部環境ごとに学習処理を行う場合には、一の外部環境において一の状態パラメータセットで示される状態に対し、報酬値が目標条件を満たすような好適な動作内容が一意に定まった場合に、一の状態パラメータセットと、一の動作内容とに当該一の外部環境を示す環境情報をさらに対応付けて出力部320に供給してよい。学習処理部314は、一の外部環境に対して学習処理が実行された制御モデル312を用いて転移学習を行い、他の外部環境に対する学習処理を実行してよい。
[1.2.9.動作内容取得部316]
動作内容取得部316は、第3取得部の一例であり、状態パラメータセットを制御モデル312に入力したことに応じて制御モデル312が出力する一または複数の動作内容を取得する。動作内容取得部316は、取得した一または複数の動作内容を設定部302に供給してよい。
[1.2.10.制御部318]
制御部318は、少なくとも設定部302、パラメータ取得部304、パラメータ入力部310、および、動作内容取得部316を制御する。例えば、制御部318は、パラメータ取得部304による状態パラメータセットの取得と、動作内容取得部316による動作内容の取得と、設定部302による動作内容の設定とを順に繰り返し実行させて、バイオリアクタ2に細胞を培養させてよい。なお、図示の簡略化のため、図中では制御部318から出力される制御信号の経路を省略している。制御部318は、装置3内の他の構成をさらに制御してもよい。
[1.2.11.出力部320]
出力部320は、一の状態パラメータセットと、当該一の状態パラメータセットに対して一意に定まった好適な動作内容とを対応付けて出力する。学習処理部314から一の環境情報と、一の状態パラメータセットと、一の動作内容とが対応付けて供給された場合には、出力部320は、これらを対応付けて出力してよい。出力部320は、動作内容を装置3の外部に出力してよい。
[1.2.12.第2記憶部322]
第2記憶部322は、報酬値が目標条件を満たす場合の学習履歴を記憶する。第2記憶部322は、一の状態パラメータセットが制御モデル312に入力されたことに応じて出力された一の動作内容がバイオリアクタ2に設定されて一の事後状態パラメータセットが取得され、当該一の事後状態パラメータセットに基づいて算出される報酬値が目標条件を満たす場合に、当該一の動作内容と、当該一の状態パラメータセットと、当該一の事後状態パラメータセットとを対応付けて蓄積記憶してよい。第2記憶部322は、パラメータ取得部304や環境情報取得部308からの入力に応じて、培養する細胞の種類や外部環境ごとに学習履歴を記憶してもよいし、細胞の種類や外部環境とは無関係に学習履歴を記憶してもよい。
[1.2.13.予測部324]
予測部324は、パラメータ取得部304により取得された状態パラメータセットで示される状態から、報酬値が目標条件を満たす動作内容を逐次設定する場合での、少なくとも1つの事後状態パラメータに応じた値の推移を予測する。
予測部324は、第2記憶部322の記憶内容に基づいて予測を行ってよい。例えば、予測部324は、パラメータ取得部304により取得された状態パラメータセットに対して第2記憶部322において対応付けられた第1の事後状態パラメータセットを検出し、第1の事後状態パラメータセットと同内容の状態パラメータセットに対して第2記憶部322において対応付けられた第2の事後状態パラメータセットを検出し、以降、同様にして、第n−1の事後状態パラメータセット(但しnは2以上の整数)と同内容の状態パラメータセットに対して第2記憶部322において対応付けられた第nの事後状態パラメータセットを順に検出してよい。予測部324は、これら第1の事後状態パラメータセットから第nの事後状態パラメータセットまでのそれぞれに含まれる少なくとも1つの事後状態パラメータに応じた値の推移を特定することで、推移の予測を行ってよい。細胞の種類や外部環境ごとに学習履歴が第2記憶部322に記憶される場合には、予測部324は、パラメータ入力部310から入力される細胞の種類や環境情報に応じて、第2記憶部322内の記憶内容のうち、該当する細胞の種類および外部環境に対応する記憶内容に基づいて推移を予測してよい。
推移が予測される値は、事後状態パラメータの値(一例として細胞の生産量)そのものであってもよいし、上述の報酬値やKPIであってもよい。予測部324は、予測される推移に応じた他の評価指標をさらに予測してもよく、一例として、細胞の生産量の推移から、目標数の細胞の培養に要する所要時間を予測してよい。予測部324は、予測結果を装置3の外部に出力してよい。
予測部324は、バイオリアクタ2および細胞の少なくとも一方に存在する異物の量を予測する場合には、異物の量が上限値を超えると予測される場合に、その旨をオペレータに報知してよい。なお、異物は圧力条件によってバイオリアクタ2内に混入し、温度条件に応じて増殖するため、これらの条件を設定する動作内容から異物の量が予測され得る。
[1.2.14.第3記憶部326]
第3記憶部326は、学習データを蓄積記憶する。第3記憶部326は、バイオリアクタ2に設定された動作内容と、当該動作内容の設定後の状態を示す事後状態パラメータセットと、を対応付けた組を蓄積記憶してよい。第3記憶部326は、パラメータ入力部310や環境情報取得部308からの入力に応じて、培養する細胞の種類ごとや、外部環境ごとに学習データを記憶してもよいし、細胞の種類や外部環境とは無関係に学習データを記憶してもよい。
[1.2.15.検出部328]
検出部328は、第3記憶部326内の複数の事後状態パラメータセットのうち、特定の2以上の事後状態パラメータセットに対応する動作内容の間での共通内容を検出する。検出部328は、基準条件を満たさない2以上の事後状態パラメータセットに対応する動作内容の間での共通内容を検出してよい。これに代えて、または、これに加えて、検出部328は、基準条件を満たす2以上の事後状態パラメータセットに対応する動作内容の間での共通内容を検出してよい。細胞の種類や外部環境ごとに学習データが第3記憶部326に記憶される場合には、検出部328は、パラメータ入力部310または環境情報取得部308から入力される細胞の種類や環境情報に応じて、第3記憶部326の記憶内容のうち、該当する細胞の種類および外部環境に対応する記憶内容から検出を行ってよい。検出部328は、細胞の種類とは無関係に検出を行ってもよい。この場合には、別々の細胞の培養で学習に用いられた動作内容の間での共通内容が検出され得る。検出部328は、検出結果を装置3の外部に出力してよい。
事後状態パラメータセットが基準条件を満たさないとは、事後状態パラメータセット内の何れかの事後状態パラメータ、あるいは、事後状態パラメータセット内の何れかの事後状態パラメータから定まるKPIがその許容範囲に含まれないことであってよい。一例として、事後状態パラメータセットが基準条件を満たさないとは、細胞の生産量が1.1倍以上という許容範囲に含まれないことであってよい。動作内容の間での共通内容は、例えばヒータへの供給電力が或る値以上であることであってよい。
[1.2.16.装置3により得られる効果]
以上の装置3によれば、バイオリアクタ2の動作内容と、動作内容の設定後での事後状態パラメータセットとを含む学習データを用いて、状態パラメータセットの入力に応じ報酬値を高める動作内容を出力する制御モデル312の学習処理が実行されるので、状態パラメータセットを入力することで、報酬値が高まる動作内容を得ることができる。従って、熟練したオペレータによる試行錯誤を必要とせずに、好適な動作内容を確実に得ることができる。
また、バイオリアクタ2は細胞の培養システムであるので、製造対象物の製造中に継続して収率や生産量に応じた報酬値を取得することができる。従って、製造が完了しないと収率や生産量が定まらない他の製造分野と比較して、効率的に学習を行うことができる。
また、外部環境ごとに制御モデル312の学習処理が実行されるので、外部環境が変化する場合にも好適な動作内容を得ることができる。
また、一の外部環境に対して学習処理が実行された制御モデル312を用いて転移学習が行われ他の外部環境に対する学習処理が実行されるので、学習を早期に完了することができる。
また、状態パラメータセットが制御モデル312に入力されたことに応じて出力される動作内容がバイオリアクタ2に対して設定されるので、状態パラメータセットに応じた動作内容でバイオリアクタ2を動作させて、学習処理を繰り返し実行することができる。
また、状態パラメータセットの取得と、動作内容の取得と、動作内容の設定とが順に繰り返し実行されて細胞が培養されるので、制御モデル312を用いて細胞の培養を行うことができる。そのため、制御モデル312の学習が完了している場合には、制御モデル312から出力される好適な動作内容を用いて細胞の培養を自動的に行うことができる。また、制御モデル312の学習が完了していない場合には、制御モデル312から出力される動作内容で細胞の培養を行い、学習処理を自動的に繰り返し実行することができる。
また、取得された状態パラメータセットで示される状態から、報酬値が目標条件を満たす動作内容を逐次設定する場合での事後状態パラメータに応じた値の推移が予測される。従って、バイオリアクタ2の管理を容易化することができる。
また、異物の量が上限値を超えると予測される場合に、その旨が報知されるので、異物量が高まる場合に培養を中断して品質を高めることができる。
また、事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータから報酬値が算出され、算出された報酬値を用いて学習処理が実行されるので、装置3の外部で算出される報酬値を装置に供給する場合と比較して、学習処理の速度を向上させることができる。
また、一の状態パラメータセットの入力に応じて制御モデル312から出力された一の動作内容がバイオリアクタ2に設定された結果の報酬値が目標条件を満たす場合に、当該一の状態パラメータセットの入力に応じて一の動作内容が出力されるよう学習処理が実行される。従って、当該一の状態パラメータセットが入力される場合の学習処理を完了させ、学習処理が無駄に繰り返されてしまうのを防止することができる。
また、目標条件を満たす報酬値に対応する動作内容が、当該動作内容を設定すべき状態の状態パラメータセットと対応付けて出力されるので、各状態下での好適な動作内容を装置3の外部で確認することができる。
また、複数の事後状態パラメータセットのうち、基準条件を満たさない2以上の事後状態パラメータセットに対応する動作内容の間での共通内容が検出されるので、不適当な状態を引き起こす動作内容の内容を把握することができる。また、複数の事後状態パラメータセットのうち、基準条件を満たす2以上の事後状態パラメータセットに対応する動作内容の間での共通内容が検出されるので、好適な状態を引き起こす動作内容の内容を把握することができる。
[2.制御モデル312の入出力]
図2は、学習の初期段階での制御モデル312の入出力を示す。
本実施形態では一例として、状態パラメータセットには状態パラメータIの値と、KPIとしての状態パラメータIの値とが含まれる。また、動作内容には、能動変数Oの値と、能動変数Oの値とが含まれる。1つの欄内に列挙された能動変数(例えばOA1,OA2',…は、選択可能な能動変数の候補である。出力される動作内容は、各欄から任意の組み合わせで能動変数を選択したものであってよい。この図に示されるように、学習が初期段階の場合には、一の状態パラメータセットの入力に応じ、互いに異なる複数の動作内容が出力される。
なお、状態パラメータIA1,IA2,…,IANは、状態パラメータIについての別々の値を示す。また、能動変数OA1,OA1',OA1'',OA2は能動変数Oについての別々の値を示す。ここで、状態パラメータI,Iのとり得る値の個数はNに限らず、互いに別々の個数であってもよい。
図3は、学習の完了後での制御モデル312の入出力を示す。この図に示されるように、学習の完了後には、一の状態パラメータセットの入力に応じ、単一の動作内容が出力される。
[3.第2記憶部322の記憶内容]
図4は、第2記憶部322の記憶内容を示す。第2記憶部322は、事前状態パラメータセットと、当該事前状態パラメータセットで示される状態で設定されることで報酬値が目標条件を満たす動作内容と、当該動作内容の設定後の事後状態パラメータセットとを対応付けた組を複数記憶してよい。これにより、予測部324において事後状態パラメータセットの推移(本図では一例として、事後状態パラメータセット(IA2,IB2)→(IA4,IB4)→(IAN,IBN))、ひいては何れかの事後状態パラメータに応じた値の推移の予測が可能となる。
[4.制御部318による制御]
図5は、制御部318による制御内容を示す。制御部318は、パラメータ取得部304による状態パラメータセットの取得と、動作内容取得部316による動作内容の取得と、設定部302による動作内容の設定とを順に繰り返し実行させて、バイオリアクタ2に細胞を培養させてよい。制御部318は、一の状態パラメータセットの入力に対して制御モデル312から複数の動作内容が出力される場合に、当該一の状態パラメータセットで示される状態のバイオリアクタ2に対し、これら複数の動作内容をそれぞれ設定部302によって設定させて、好適な動作内容の探索を行ってよい。制御部318は、外部環境ごとに好適な動作内容の探索を行ってよい。
[5.動作]
[5.1.学習時の動作]
図6は、装置3の動作を示す。装置3は、ステップS11〜S23の処理を行うことにより、バイオリアクタ2で細胞を培養しつつ制御モデル312を学習させる。なお、この動作は、培養する細胞ごとに行われてよい。
ステップS11においてパラメータ取得部304は、状態パラメータセットを取得する。パラメータ取得部304は、現時点での状態パラメータセット、例えば設定部302によって動作内容が設定される前の事前状態パラメータセットを取得してよい。なお、ステップS11においては、環境情報取得部308が環境情報をさらに取得してもよい。
ステップS13においてパラメータ入力部310は、取得された状態パラメータセットを制御モデル312に入力する。環境情報取得部308によって環境情報が取得されている場合には、ステップS13においてパラメータ入力部310は、当該環境情報を併せて制御モデル312に入力してもよい。
これにより、報酬値を高める動作内容が制御モデル312から出力される。ここで、報酬値を高める動作内容とは、当該動作内容の設定前の事前状態パラメータセットに応じた報酬値(事前報酬値とも称する)よりも、当該動作内容の設定後の事後状態パラメータセットに応じた報酬値(事後報酬値とも称する)が高くなるような動作内容であってよい。
ステップS15において、動作内容取得部316は、制御モデル312から動作内容を取得する。
ステップS17において設定部302は、取得された動作内容をバイオリアクタ2に対して設定する。これにより、バイオリアクタ2が動作内容に応じた動作を行う結果、細胞の培養が進めされ、バイオリアクタ2および細胞の少なくとも一方の状態が変化する。
ステップS19において、パラメータ取得部304は、ステップS17での動作内容の設定後での事後状態パラメータセットを取得する。
ステップS21において、算出部306は、事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータから報酬値を算出する。
ステップS23において学習処理部314は、ステップS17で設定した動作内容のデータと、ステップS19で取得した事後状態パラメータセットとを含む学習データを用いて制御モデル312の学習処理を実行する。学習処理部314は、ステップS11で取得された外部環境に応じた制御モデル312の学習処理を実行してよい。学習処理部314は、ステップS21で算出された報酬値をさらに用いて学習処理を実行してよい。
例えば、学習処理部314は、ステップS17における一の動作内容が設定され、その結果の状態を示す事後状態パラメータセットから算出される報酬値の増加幅が基準幅未満であった場合に、ステップS13で入力された一の状態パラメータセットが改めて制御モデル312に入力されることに応じて当該一の動作内容を出力しないように、制御モデル312の学習処理を実行してよい。一の動作内容の設定の結果に応じた報酬値の増加幅とは、当該一の動作内容の設定前の事前報酬値から、当該一の動作内容の設定後の事後報酬値までの増加幅であってよい。基準幅とは、任意の正の値であってよい。
また、一の状態パラメータセットを制御モデル312に入力したことに応じて出力された一の動作内容がバイオリアクタ2に設定された結果、報酬値が目標条件を満たす場合には、学習処理部314は、当該一の状態パラメータセットで示される状態についての学習を完了してよい。なお、学習処理部314が外部環境ごとに学習処理を実行する場合には、一の外部環境において一の状態パラメータセットを制御モデル312に入力したことに応じて出力された一の動作内容がバイオリアクタ2に設定された結果、報酬値が目標条件を満たすときに、学習処理部314は、当該一の外部環境下において当該一の状態パラメータセットで示される状態についての学習を完了してよい。
なお、本実施形態では一例として、制御モデル312は、リカレント型またはタイムディレイ型などのニューラルネットワークであるが、ランダムフォレスト、勾配ブースティング、ロジスティック回帰、および、サポートベクタマシン(SVM)などを含む他の機械学習アルゴリズムであってもよい。例えば、制御モデル312は、学習データの各要素に対応するノードを入力層に含み、推奨する動作内容の各能動変数に対応するノードを出力層に含んでよい。学習データの1つの要素に対する入力層のノードは1つでもよいし複数でもよい。入力層および出力層の間には、1または複数のノードを含む中間層(隠れ層)が介在してよい。学習処理部314は、ノード間をつなぐエッジの重み、および、出力ノードのバイアス値を調整することで学習処理を実行してよい。
ステップS23の学習処理が終了したら、装置3は処理を上述のステップS13に移行する。これにより、ステップS13〜S23の処理が繰り返される。
ここで、制御モデル312の学習が完了していない場合には、ステップS13〜S15の処理において、一の状態パラメータセットが制御モデル312に入力されたことに応じて複数の動作内容が取得され得る。この場合に、ステップS17において設定部302は、第1記憶部300内の各変動パターンと、当該設定部302によって設定される動作内容の変動パターンとが一致しないように、取得された複数の動作内容のいずれか1つを設定してよい。
設定部302によって設定される動作内容の変動パターンとは、これまでにステップS17で設定された動作内容と、次にステップS17で設定される動作内容とを並べた変動パターンであってよい。設定される変動パターンと、第1記憶部300内の変動パターンとが一致するとは、両者の変動パターンが完全に一致することであってもよいし、少なくとも一部において一致することであってもよい。設定される変動パターンと、第1記憶部300内の変動パターンとが一部において一致するとは、設定される変動パターンのうち、直近の少なくとも2つの動作内容の変動パターンと、第1記憶部300内の変動パターンに連続して含まれる少なくとも2つの動作内容の変動パターンとが一致することであってよい。
また、ステップS13〜S23の処理が繰り返されることにより、一の状態パラメータセットで示される同一の状態が複数回生じ得る。そして、制御モデル312の学習が完了していない場合には、当該一の状態パラメータセットが制御モデル312に入力されたことに応じて、一の能動変数の値のみが相違する第1の動作内容および第2の動作内容が出力され得る。このような場合に、当該一の状態パラメータセットで示される状態で第1の動作内容を設定した結果の事後状態パラメータセットから算出される事後報酬値と、当該一の状態パラメータセットで示される状態で第2の動作内容を設定した結果の事後状態パラメータセットから算出される事後報酬値との差分が基準幅未満である場合には、ステップS23において学習処理部314は、当該一の状態パラメータセットの入力に応じて複数種類の能動変数のうち当該一の能動変数を含まない動作内容を出力するように、制御モデル312の学習処理を実行してよい。
一例として、一の事後状態パラメータセット(IA1、IB2,…)が制御モデル312に入力されて第1の動作内容(OA1,OB1,…)および第2の動作内容(OA2,OB1,…)が出力され、第1,第2の動作内容の間で能動変数Oの値のみが異なり、事後報酬値の差分が基準幅未満であるときには、改めて一の状態パラメータセット(IA1、IB2,…)が入力されることに応じて、能動変数Oを含まない動作内容が出力されるように学習処理が実行されてよい。
そして、ステップS13〜S23の処理が繰り返されることにより、ステップS11で取得された一の状態パラメータセットに対する一の好適な動作内容が定まり、当該一の好適な動作内容を設定した場合の事後状態パラメータセットに対する他の一の好適な動作内容が定まる。以降、同様にして、好適な動作内容が順に定まる。この場合に、出力部320は、ステップS11で取得された状態パラメータセットと、一連の好適な動作内容とを対応付けて出力してよい。学習処理部314が外部環境ごとに学習処理を実行する場合には、出力部320は、同じ外部環境下で一連の好適な動作内容が定まった場合に、ステップS11で取得された状態パラメータセットおよび外部情報と、一連の好適な動作内容とを対応付けて出力してもよい。出力部320は、第2記憶部322に記憶された学習履歴や、制御モデル312そのものをさらに出力してもよい。
以上の動作によれば、一の状態パラメータセットが制御モデル312に入力されたことに応じて出力される一の動作内容の設定結果に応じた報酬値の増加幅が基準幅未満であった場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容を出力しないよう制御モデル312の学習処理が実行される。従って、報酬値を高めるのに不要な動作内容の設定を防止することができる。よって、報酬値を高めつつ製造手順を簡略化することができる。
また、一の状態パラメータセットが制御モデル312に入力され、一の能動変数の値のみが相違する第1の動作内容および第2の動作内容が出力される場合には、当該一の状態パラメータセットで示される状態から第1、第2の動作内容を別々に設定した結果、事後報酬値の差分が基準幅未満である場合が生じ得る。この場合には、当該一の状態パラメータセットの入力に応じて当該一の能動変数を含まない動作内容を出力するよう制御モデル312の学習処理が実行される。従って、報酬値を高めるのに不要な能動変数の設定を防止することができ、不要な能動変数を設定する対象である設備(一例として複数のヒータのうちの1つ)をバイオリアクタ2から省くことができる。よって、報酬値を高めつつバイオリアクタ2を簡略化することができる。
また、一の状態パラメータセットが制御モデル312に入力されたことに応じて複数の動作内容が取得された場合に、第1記憶部300に記憶された各変動パターンと、設定される動作内容の変動パターンとが一致しないようにいずれか1つの動作内容が設定される。従って、回避するべき変動パターン(例えば、既存の変動パターン)を予め第1記憶部300に記憶しておくことにより、それらの変動パターンとは異なる新たな変動パターンを探索することができる。
なお、上記の動作は、外部環境が変化しない期間内に行われてよく、一例として、一日のなかの同じ時間(一例として夜間の0時から4時までなど)内で周期的に行われてもよいし、オペレータの指示によって指定される期間内に行われてもよい。また、上記の動作は、外部環境が変化するごとに行われてよい。
これに代えて、上記の動作は、外部環境が変化する間に継続して行われてよい。この場合には、環境情報取得部308はステップS11,S19において環境情報を取得してよく、ステップS11で取得された環境情報と、その直後のステップS19で取得された環境情報とは相違し得る。また、ステップS13〜S23が繰り返されることで、ステップS19で取得された環境情報と、その直後のステップS19で取得された環境情報とは相違し得る。連続して取得された環境情報が相違する場合に、学習処理部314は、前後それぞれの環境情報に応じた別々の制御モデル312のうち、少なくとも一方の制御モデル312に対して学習処理を実行してもよい。これに代えて、学習処理部314は、連続して取得された環境情報が相違する場合には学習処理を行わずにステップS23の処理を終了し、連続して取得された環境情報が同じである場合にのみ、当該環境情報に応じた制御モデル312の学習処理を実行してもよい。
[5.2.運用時の動作]
図7は、装置3の他の動作を示す。装置3は、ステップS31〜S37の処理を行うことにより、学習の完了した制御モデル312を用いてバイオリアクタ2で細胞を培養する。
ステップS31においてパラメータ取得部304は、状態パラメータセットを取得する。パラメータ取得部304は、現時点での状態パラメータセット、例えば設定部302によって動作内容が設定される前の事前状態パラメータセットを取得してよい。なお、ステップS31においては、環境情報取得部308が環境情報をさらに取得してもよい。
ステップS33においてパラメータ入力部310は、取得された状態パラメータセットを制御モデル312に入力する。環境情報取得部308によって環境情報が取得されている場合には、ステップS33においてパラメータ入力部310は、当該環境情報を併せて制御モデル312に入力してもよい。これにより、状態パラメータセットに対応する好適な一の動作内容が制御モデル312から出力される。
ステップS35において、動作内容取得部316は、制御モデル312から動作内容を取得する。
ステップS37において設定部302は、取得された動作内容をバイオリアクタ2に対して設定する。これにより、バイオリアクタ2が動作内容に応じた動作を行う結果、細胞の培養が進めされ、バイオリアクタ2および細胞の少なくとも一方の状態が変化する。
ステップS37の処理が終了したら、装置3は処理を上述のステップS31に移行する。以降、ステップS31〜S37の処理を繰り返すことにより、細胞の培養が完了する。なお、本実施形態では一例として、ステップS37で動作内容をバイオリアクタ2に対して設定したが、オペレータに対して表示することにより、バイオリアクタ2への設定をオペレータに行わせてもよい。
以上の動作によれば、状態パラメータセットを入力することで、報酬値が高まる動作内容を得ることができる。従って、熟練したオペレータによる試行錯誤を必要とせずに、好適な動作内容を得ることができる。
[6.変形例]
なお、上記の実施形態においては、装置3は第1記憶部300と、設定部302と、パラメータ取得部304と、算出部306と、環境情報取得部308と、パラメータ入力部310と、1または複数の制御モデル312と、学習処理部314と、動作内容取得部316と、制御部318と、出力部320と、第2記憶部322と、予測部324と、第3記憶部326と、検出部328とを有することとして説明した。しかしながら、装置3は、設定部302、パラメータ取得部304および学習処理部314以外の少なくとも1つの構成を有しないこととしてもよいし、パラメータ取得部304、パラメータ入力部310および動作内容取得部316以外の構成を有しないこととしてもよい。また、装置3は、制御モデル312を有することとして説明したが、制御モデル312は装置3の外部装置に具備されてもよい。
また、第1記憶部300に記憶された変動パターンを回避するべく、設定部302は第1記憶部300内の各変動パターンと、当該設定部302によって設定される動作内容の変動パターンとが一致しないように、制御モデル312から取得された複数の動作内容のいずれか1つを設定することとして説明したが、他の手法によって回避してもよい。例えば、複数の動作内容のうち、設定部302によって設定される場合、第1記憶部300内の何れかの変動パターンと一致する変動パターンをなす動作内容に対しては、一致しない変動パターンをなす動作内容よりも報酬値が低く算出されるようにしてもよい。この場合にも第1記憶部300に記憶された変動パターンを回避して新たな変動パターンを探索することができる。
また、第1取得部および第2取得部を単一のパラメータ取得部304として説明したが、状態パラメータを取得する別々の構成としてもよい。
また、バイオリアクタ2が細胞を培養することとして説明したが、食品や酵素などをバイオプロセスによって製造してもよい。また、製造システムをバイオリアクタ2として説明したが、飲料や金属(一例として鉄)、LNG、石油、化粧品、紙、パルプなどの製造プラントとしてもよい。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図8は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD−ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD−ROMドライブ2226は、プログラムまたはデータをDVD−ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD−ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD−ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD−ROMドライブ2226(DVD−ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 システム、 2 バイオリアクタ、 3 装置、 300 第1記憶部、 302 設定部、 304 パラメータ取得部、 306 算出部、 308 環境情報取得部、 310 パラメータ入力部、 312 制御モデル、 314 学習処理部、 316 動作内容取得部、 318 制御部、 320 出力部、 322 第2記憶部、 324 予測部、 326 第3記憶部、 328 検出部、 2200 コンピュータ、 2201 DVD−ROM、 2210 ホストコントローラ、 2212 CPU、 2214 RAM、 2216 グラフィックコントローラ、 2218 ディスプレイデバイス、 2220 入/出力コントローラ、 2222 通信インタフェース、 2224 ハードディスクドライブ、 2226 DVD−ROMドライブ、 2230 ROM、 2240 入/出力チップ、 2242 キーボード

Claims (20)

  1. 製造対象物を製造する製造システムに対して動作内容を設定する設定部と、
    前記動作内容の設定後での前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得部と、
    前記動作内容と、前記事後状態パラメータセットとを含む学習データを用いて、前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める前記動作内容を出力する前記製造システムの制御モデルの学習処理を実行する学習処理部と、
    を備える装置。
  2. 前記学習処理部は、
    一の前記状態パラメータセットが前記制御モデルに入力されたことに応じて出力される一の前記動作内容の設定結果に応じた前記報酬値の増加幅が基準幅未満であった場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容を出力しないよう前記制御モデルの学習処理を実行する、請求項1に記載の装置。
  3. 前記動作内容は、前記製造システムに対して能動的に設定可能な複数種類の能動変数を有し、
    前記学習処理部は、
    一の前記状態パラメータセットが前記制御モデルに入力されたことに応じて、前記複数種類の能動変数のうち一の能動変数の値のみが相違する第1の動作内容および第2の動作内容が出力され、前記一の状態パラメータセットで示される状態で前記第1の動作内容および前記第2の動作内容それぞれを別々に設定した結果に応じた報酬値同士の差分が基準幅未満である場合に、前記一の状態パラメータセットの入力に応じて前記複数種類の能動変数のうち前記一の能動変数を含まない前記動作内容を出力するよう前記制御モデルの学習処理を実行する、請求項1または2に記載の装置。
  4. 前記動作内容の変動パターンを複数記憶する第1記憶部をさらに備え、
    前記設定部は、
    一の前記状態パラメータセットが前記制御モデルに入力されたことに応じて複数の動作内容が取得された場合に、前記第1記憶部内の各変動パターンと、当該設定部によって設定される前記動作内容の変動パターンとが一致しないように、前記複数の動作内容のいずれか1つを設定する、請求項1から3のいずれか一項に記載の装置。
  5. 前記動作内容の変動パターンを複数記憶する第1記憶部をさらに備え、
    前記報酬値は、前記設定部によって設定される場合に前記第1記憶部内の何れかの前記変動パターンと一致する変動パターンをなす前記動作内容に対して、より低く算出される、請求項1から3のいずれか一項に記載の装置。
  6. 前記製造システムの外部環境を示す環境情報を取得する環境情報取得部をさらに備え、
    前記学習処理部は、外部環境ごとに前記制御モデルの学習処理を実行する、請求項1から5のいずれか一項に記載の装置。
  7. 前記学習処理部は、一の外部環境に対して学習処理が実行された前記制御モデルを用いて転移学習を行い、他の外部環境に対する学習処理を実行する、請求項6に記載の装置。
  8. 前記状態パラメータセットを取得する第2取得部と、
    前記制御モデルに対し、前記第2取得部により取得された前記状態パラメータセットを入力するパラメータ入力部と、
    前記状態パラメータセットを前記制御モデルに入力したことに応じて前記制御モデルが出力する前記動作内容を取得する第3取得部と、
    をさらに備え、
    前記設定部は、前記第3取得部により取得された前記動作内容を前記製造システムに対して設定する、請求項1から7のいずれか一項に記載の装置。
  9. 前記事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータから前記報酬値を算出する算出部をさらに備え、
    前記学習処理部は、前記算出部によって算出された前記報酬値をさらに用いて学習処理を実行する、請求項8に記載の装置。
  10. 前記学習処理部は、一の前記状態パラメータセットを前記制御モデルに入力したことに応じて出力された一の前記動作内容が前記製造システムに設定された結果、前記算出部により算出される前記報酬値が目標条件を満たす場合に、当該一の状態パラメータセットの入力に応じて当該一の動作内容が出力されるよう前記制御モデルの学習処理を実行し、
    当該装置は、これら一の動作内容および一の状態パラメータセットを対応付けて出力する出力部をさらに備える、請求項9に記載の装置。
  11. 前記第2取得部による前記状態パラメータセットの取得と、前記第3取得部による前記動作内容の取得と、前記設定部による前記動作内容の設定とを順に繰り返し実行させて前記製造対象物を製造させる制御部をさらに備える、請求項8〜10のいずれか一項に記載の装置。
  12. 一の前記状態パラメータセットが前記制御モデルに入力されたことに応じて出力された一の前記動作内容が前記製造システムに設定されて一の前記事後状態パラメータセットが取得され、当該一の事後状態パラメータセットに基づいて算出される前記報酬値が目標条件を満たす場合に、当該一の動作内容と、前記一の状態パラメータセットと、前記一の事後状態パラメータセットとを対応付けて蓄積記憶する第2記憶部と、
    前記第2取得部により取得された前記状態パラメータセットで示される状態から、前記報酬値が前記目標条件を満たす前記動作内容を逐次設定する場合での、各事後状態パラメータセットに含まれる少なくとも1つの事後状態パラメータに応じた値の推移を、前記第2記憶部の記憶内容に基づいて予測する予測部と、
    をさらに備える、請求項9から11のいずれか一項に記載の装置。
  13. 前記事後状態パラメータセットには、前記製造システムおよび前記製造対象物中の少なくとも一方に存在する異物の量が含まれ、
    前記予測部は、前記異物の量が上限値を超えると予測される場合に、その旨を報知する、請求項12に記載の装置。
  14. 前記学習データを蓄積記憶する第3記憶部と、
    前記第3記憶部内の複数の前記事後状態パラメータセットのうち、基準条件を満たさない2以上の前記事後状態パラメータセットに対応する前記動作内容の間での共通内容、および、基準条件を満たす2以上の前記事後状態パラメータセットに対応する前記動作内容の間での共通内容の少なくとも一方を検出する検出部と、
    をさらに備える、請求項1から13のいずれか一項に記載の装置。
  15. 製造システムおよび前記製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得部と、
    前記状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する前記製造システムの制御モデルに対し、前記第2取得部により取得された前記状態パラメータセットを入力するパラメータ入力部と、
    前記状態パラメータセットを前記制御モデルに入力したことに応じて前記制御モデルが出力する前記動作内容を取得する第3取得部と、
    を備える装置。
  16. 前記製造システムは、細胞を培養するシステムである、請求項1から15のいずれか一項に記載の装置。
  17. 製造対象物を製造する製造システムに対して動作内容を設定する設定段階と、
    前記動作内容の設定後での前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得段階と、
    前記動作内容と、前記事後状態パラメータセットとを含む学習データを用いて、前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める前記動作内容を出力する前記製造システムの制御モデルの学習処理を実行する学習処理段階と、
    を備える方法。
  18. 製造システムおよび前記製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得段階と、
    前記状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する前記製造システムの制御モデルに対し、前記第2取得段階により取得された前記状態パラメータセットを入力するパラメータ入力段階と、
    前記状態パラメータセットを前記制御モデルに入力したことに応じて前記制御モデルが出力する前記動作内容を取得する第3取得段階と、
    を備える方法。
  19. コンピュータを、
    製造対象物を製造する製造システムに対して動作内容を設定する設定部と、
    前記動作内容の設定後での前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す事後状態パラメータセットを取得する第1取得部と、
    前記動作内容と、前記事後状態パラメータセットとを含む学習データを用いて、前記製造システムおよび前記製造対象物の少なくとも一方の状態を示す状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める前記動作内容を出力する前記製造システムの制御モデルの学習処理を実行する学習処理部
    として機能させるプログラム。
  20. コンピュータを、
    製造システムおよび前記製造システムによる製造対象物の少なくとも一方の状態を示す状態パラメータセットを取得する第2取得部と、
    前記状態パラメータセットの入力に応じ、予め設定された報酬関数により定まる報酬値を高める動作内容を出力する前記製造システムの制御モデルに対し、前記第2取得部により取得された前記状態パラメータセットを入力するパラメータ入力部と、
    前記状態パラメータセットを前記制御モデルに入力したことに応じて前記制御モデルが出力する前記動作内容を取得する第3取得部
    として機能させるプログラム。
JP2019198308A 2019-10-31 2019-10-31 装置、方法およびプログラム Active JP7181849B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019198308A JP7181849B2 (ja) 2019-10-31 2019-10-31 装置、方法およびプログラム
US17/074,648 US12117784B2 (en) 2019-10-31 2020-10-20 Apparatus, method and storage medium
CN202011177931.0A CN112750500B (zh) 2019-10-31 2020-10-29 装置、方法及存储介质
EP20204966.4A EP3816735B1 (en) 2019-10-31 2020-10-30 Apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198308A JP7181849B2 (ja) 2019-10-31 2019-10-31 装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021071932A true JP2021071932A (ja) 2021-05-06
JP7181849B2 JP7181849B2 (ja) 2022-12-01

Family

ID=73043081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198308A Active JP7181849B2 (ja) 2019-10-31 2019-10-31 装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US12117784B2 (ja)
EP (1) EP3816735B1 (ja)
JP (1) JP7181849B2 (ja)
CN (1) CN112750500B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651117B2 (en) * 2018-09-05 2023-05-16 WEnTech Solutions Inc. System and method for anaerobic digestion process assessment, optimization and/or control
CN118020568B (zh) * 2024-03-05 2024-07-26 南京康之春生物科技有限公司 一种灵芝栽培方法及其培养基制作

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581230A (ja) * 1991-09-24 1993-04-02 Toyoda Mach Works Ltd ニユーラルネツトワークの学習装置
JP2000222002A (ja) * 1999-02-03 2000-08-11 Omron Corp 制御パラメータ決定方法及び装置
JP2011107885A (ja) * 2009-11-16 2011-06-02 Toshiba Corp ニューラルネットワーク学習における前処理装置
JP2013041173A (ja) * 2011-08-18 2013-02-28 Fuji Xerox Co Ltd 障害予測システム及びプログラム
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP2019020885A (ja) * 2017-07-13 2019-02-07 横河電機株式会社 プラント制御支援装置、プラント制御支援方法、プラント制御支援プログラム及び記録媒体
JP2019145042A (ja) * 2018-02-23 2019-08-29 株式会社安川電機 製品品質管理システム及び製品品質管理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1577392A (en) 1991-02-28 1992-10-06 Biotechnology Research And Development Corporation On-line image processing for real-time control of a process
DE602004019537D1 (de) * 2003-07-24 2009-04-02 Cognitens Ltd System und verfahren zur überwachung und visualisierung der ausgabe eines produktionsprozesses
CN102131383B (zh) * 2008-06-26 2014-07-23 Solix生物燃料公司 用于生物反应器的基于模型的控制
US10161269B2 (en) 2015-07-17 2018-12-25 Nec Corporation Output efficiency optimization in production systems
US9971329B2 (en) * 2015-07-31 2018-05-15 Fanuc Corporation Cell control system, manufacturing system, and control method which control manufacturing cell including plurality of manufacturing machines
JP6140262B1 (ja) * 2015-12-25 2017-05-31 ファナック株式会社 製造セルの作業の遅れを修正する製造管理装置
CN106202997B (zh) * 2016-06-29 2018-10-30 四川大学 一种基于深度学习的细胞分裂检测方法
WO2018129481A2 (en) * 2017-01-06 2018-07-12 Mantra Bio, Inc. Systems and methods for algorithmic extracellular vesicle population discovery and characterization
DE102017110997A1 (de) * 2017-05-19 2018-11-22 Homag Plattenaufteiltechnik Gmbh Vorrichtung und Verfahren zur Bearbeitung von Erzeugnissen
US20200202051A1 (en) 2017-06-16 2020-06-25 Ge Healthcare Bio-Sciences Ab Method for Predicting Outcome of an Modelling of a Process in a Bioreactor
JP6499720B2 (ja) 2017-06-22 2019-04-10 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6773012B2 (ja) * 2017-11-27 2020-10-21 横河電機株式会社 操業改善効果算出装置、操業改善効果算出方法、操業改善効果算出プログラム、および記録媒体
EP4174590A3 (en) 2017-12-21 2023-07-26 The University of Chicago Combined learned and dynamic control method
DE102019002644A1 (de) 2018-04-17 2019-10-17 Fanuc Corporation Steuerung und Steuerverfahren
CN109243528B (zh) * 2018-08-14 2022-02-08 张旭蓓 基于知识图谱有向图的生物过程控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581230A (ja) * 1991-09-24 1993-04-02 Toyoda Mach Works Ltd ニユーラルネツトワークの学習装置
JP2000222002A (ja) * 1999-02-03 2000-08-11 Omron Corp 制御パラメータ決定方法及び装置
JP2011107885A (ja) * 2009-11-16 2011-06-02 Toshiba Corp ニューラルネットワーク学習における前処理装置
JP2013041173A (ja) * 2011-08-18 2013-02-28 Fuji Xerox Co Ltd 障害予測システム及びプログラム
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP2019020885A (ja) * 2017-07-13 2019-02-07 横河電機株式会社 プラント制御支援装置、プラント制御支援方法、プラント制御支援プログラム及び記録媒体
JP2019145042A (ja) * 2018-02-23 2019-08-29 株式会社安川電機 製品品質管理システム及び製品品質管理方法

Also Published As

Publication number Publication date
EP3816735A1 (en) 2021-05-05
US12117784B2 (en) 2024-10-15
JP7181849B2 (ja) 2022-12-01
CN112750500A (zh) 2021-05-04
EP3816735B1 (en) 2023-04-05
US20210132556A1 (en) 2021-05-06
CN112750500B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
JP7331660B2 (ja) 装置、方法およびプログラム
CN102831269A (zh) 一种流程工业过程工艺参数的确定方法
Khan et al. Robust extreme gradient boosting regression model for compressive strength prediction of blast furnace slag and fly ash concrete
CN110945593A (zh) 用于预测生物反应器中的过程的产出和对生物反应器中的过程建模的方法
JP2021071932A (ja) 装置、方法およびプログラム
CN111461406B (zh) 一种基于混合建模的乙烯生产原料优化方法
CN102184287B (zh) 一种废塑料炼油燃烧优化的建模方法
US20220282199A1 (en) Multi-level machine learning for predictive and prescriptive applications
KR102660544B1 (ko) 제어 장치, 컨트롤러, 제어 시스템, 제어 방법, 및 제어 프로그램
CN113568379B (zh) 控制辅助装置、控制辅助方法、计算机可读介质及控制系统
KR20220032599A (ko) 세포 배양 프로세스에서 프로세스 변수를 결정하기 위한 방법
He et al. A decomposition-based multi-objective particle swarm optimization algorithm with a local search strategy for key quality characteristic identification in production processes
CN100370453C (zh) 稀土串级萃取分离组分含量软测量方法
US20230045222A1 (en) Learning device, learning method, recording medium having recorded thereon learning program, and control device
JP2021056730A (ja) システム、方法、および、プログラム
TWI801502B (zh) 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置
Julien et al. Bioreactor monitoring, modeling, and simulation
Sun et al. Blade sequencing optimization of aero-engine based on deep reinforcement learning
Banerjee et al. Multi-objective optimization of continuous CHO cell clarification using acoustic wave separation
JP2020047245A (ja) 分析装置および分析方法
JP2022055231A (ja) データ処理システム、データ処理方法、および、データ処理プログラム
EP4129621A1 (en) Apparatus, method, and program
JP2022148258A (ja) シミュレーション装置、シミュレーションシステム、シミュレーション方法、およびシミュレーションプログラム
Sun et al. Multiple feature fusion transformer for modeling penicillin fermentation process with unequal sampling intervals
JP2022151358A (ja) 解析装置、解析方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221118

R150 Certificate of patent or registration of utility model

Ref document number: 7181849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350