JP2019143386A - 操作推定装置、及び操作推定方法 - Google Patents

Abstract

【課題】掘進する地山に応じて、シールド掘削機に対して設定すべき操作の設定値をより適切に推定することができる操作推定装置を提供する。【解決手段】シールド掘削機が掘削した状況を示す状況データを操作推定モデルに入力することにより、前記シールド掘削機に対して行う操作の設定値を推定する操作推定部と、前記操作推定部により推定された前記操作の設定値に対する評価を示す評価データを取得する評価データ取得部と、前記評価データ取得部により取得された前記評価データに基づいて、学習データを生成する学習データ生成部を有し、前記操作推定モデルは、シールド掘削機が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ、前記学習データ生成部により生成された学習データを用いて追加学習を実行することにより更新されるモデルである。【選択図】図２

Description

本発明は、シールド掘削機の操作の設定値を推定する操作推定装置、及び操作推定方法に関する。

従来、土圧式シールド工法（泥土圧シールド工法）によりトンネルなどを築造している。シールド掘削機が掘削する現場の施工環境（土質、水圧など地山の状態）は、現場の掘削する位置により刻々と変化する。このため、予め計画されている掘進指示と、施工環境に対応して測定される各種測定装置からの測定データとを比較したり、測定データを監視したりしながら、オペレータが手動でシールド掘削機の操作を行う。
すなわち、施工環境の異なる現場の各々に対応して、オペレータがシールド掘削機の制御を適切に行わなければ、掘削されたトンネルの設計に対する精度や安全性が低下する。

また、オペレータは、様々な現場においてトンネルの施工を行うことで、施工環境の変化に対応したシールド掘削機の制御の経験を養い、熟練度を向上させている。
熟練したオペレータは、掘削中の現場におけるシールド掘削機の制御を行う際、現在の現場の施工環境に対応した制御を、過去の似たような施工環境における制御の知識を応用して行っている。しかし、施工した現場の数の少ないオペレータの場合、経験したことのない施工環境においては、乏しい経験と基礎的な操作知識では、その施工環境における適切なシールド掘削機の制御を行うことができない。

このため、オペレータの各々のシールド掘削機の制御の熟練度によって、掘削されるトンネルの設計に対する精度や安全性がばらついてしまう。
この問題を解決するため、掘削の際におけるシールド掘削機のカッターの回転状態及び推進ジャッキの推進状態を示す計測データにより、シールド掘削機を自動運転させる構成がある（例えば、特許文献１参照）。

特開平０７−７１１８９号公報

上述した特許文献１においては、熟練したオペレータによるシールド掘削機の操作を十分に再現することができない。すなわち、測定したデータと設定値とを比較することにより制御が行われるため、熟練したオペレータの経験に基づいた制御と異なり、時々刻々と変化する現場の施工環境に対応した制御が適切に行われているとは限らず、掘削されたトンネルの設計に対する精度や安全性が向上するとは言えない。

また、人間の感情解析や装置の操作などを、予め教師データにより学習させた機械学習モデルを用いて、教師データと同様の測定値を入力して、解析結果や操作の設定値を推定することが一般的に行われている。
そのため、熟練したオペレータの操作を教師データとして機械学習によりシールド掘削機の操作を学習させた機械学習モデル（以下、学習モデルという）を用いることで、より熟練したオペレータに近い操作を行う設定値を推定することが考えられる。

上述した学習モデルにおいては、シールド掘削機から得られる測定値を含む複数のデータを元に、シールド掘削機を操作するために次に与える操作量としての設定値を求める構成となる。

しかしながら、熟練したオペレータの操作に近い操作であっても、実際の地山は地域により地質が様々であるため、ある地域では適切な操作であったとしても、別の地域でも適切な操作となるとは限らない。このため、シールド掘削機に対する操作が適切に行われない場合には掘削されたトンネルの設計に対する精度や安全性が低下してしまう懸念があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、掘進する地山に応じて、シールド掘削機に対して設定すべき操作の設定値を適切に推定することができる操作推定装置、及び操作推定方法を提供することである。

上述した課題を解決するために本発明の一実施形態の操作推定装置は、シールド掘削機が掘削した状況を示す状況データを操作推定モデルに入力することにより、前記シールド掘削機に対して行う操作の設定値を推定する操作推定部と、前記操作推定部により推定された前記操作の設定値に対する評価を示す評価データを取得する評価データ取得部と、前記評価データ取得部により取得された前記評価データに基づいて、学習データを生成する学習データ生成部を有し、前記操作推定モデルは、シールド掘削機が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ、前記学習データ生成部により生成された学習データを用いて追加学習を実行することにより更新されるモデルであることを特徴とする。

また、本発明の一実施形態の操作推定装置では、前記学習データ生成部は、前記評価データに前記操作の設定値を否定的に評価することが示されている場合、前記状況データに前記シールド掘削機に対する操作の設定値の実績を示す操作実績データを対応付けた学習データを生成することを特徴とする。

また、本発明の一実施形態の操作推定装置では、前記状況データには、土圧に関する状況を示すデータが含まれ、前記操作推定部は、前記シールド掘削機における掘削土の土圧を制御するための操作の設定値を推定することを特徴とする。

また、本発明の一実施形態の操作推定装置では、前記状況データには、方向に関する状況を示すデータが含まれ、前記操作推定部は、前記シールド掘削機における掘進の方向を制御するための操作の設定値を推定することを特徴とする。

また、本発明の一実施形態の操作推定方法は、操作推定部が、シールド掘削機が掘削した状況を示す状況データを操作推定モデルに入力することにより、前記シールド掘削機に対して行う操作の設定値を推定する工程と、評価データ取得部が、前記操作推定部により推定された前記操作の設定値に対する評価を示す評価データを取得する工程と、学習データ生成部が、前記評価データ取得部により取得された前記評価データに基づいて、学習データを生成する工程を有し、前記操作推定モデルは、シールド掘削機が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ前記学習データ生成部により生成された学習データを用いて追加学習を実行することにより更新されるモデルであることを特徴とする。

以上説明したように、この発明によれば、掘進する地山に応じて、シールド掘削機に対して設定すべき操作の設定値をより適切に推定することができる。これにより、掘進する地山の地質が様々であっても適切な推定を行い、操作支援や操作の均一化を図ることができる。

実施形態の操作推定装置３０に適用されるシールド掘削機１０の構成例を示す概略構成図である。 実施形態の操作推定装置３０の構成例を示すブロック図である。 実施形態の操作状況データ記憶部３５が記憶する情報の構成例を示す図である。 実施形態の操作推定装置３０に評価データを取得させる画面の例を示す図である。 実施形態の操作推定装置３０の動作例を示すフローチャートである。

以下、実施形態の、操作推定装置を、図面を参照して説明する。

図１は、本実施形態の操作推定装置３０が適用されるシールド掘削機１０の構成例を示す概略構成図である。図１（ａ）は、シールド掘削機１０を側面から見た概念図、図１（ｂ）は、シールド掘削機１０を推進させるシールドジャッキ２０を正面からみた概念図をそれぞれ示している。
図１（ａ）に示すように、シールド掘削機１０は、円筒形のスキンプレート１１のｙ軸の負方向の後部において、エレクタ（不図示）によりセグメントを組み立てて、一次覆工Ｓを施工しつつ、地山を掘削するための機構である。シールド掘削機１０においては、カッタービット１５を備えた環状かつ面板型のカッター１６のｙ軸の負方向の後部にチャンバー１２が設けられている。チャンバー１２内の側壁には複数の土圧計Ｄが設置される。土圧計Ｄは、チャンバー１２における泥土の圧力を測定する。
チャンバー１２には作泥土材注入管１３から作泥土材１４が注入される。チャンバー１２内に堆積された掘削土は、練混ぜ翼（不図示）により、作泥土材１４と撹拌することで練混ぜられ、泥土に変換される。
スクリューコンベア１７は、チャンバー１２の泥土を、排土ゲートＧを介してコンベア１８に排土する。そして、コンベア１８は、スクリューコンベア１７より排出された泥土を、コンベア１９を介してトンネルの外部に搬出する。架台Ｍは、スクリューコンベア１７と、コンベア１８、及び１９とを支持している。

また、図１（ｂ）に示すように、シールドジャッキ２０は、スキンプレート１１の内周を囲むようにして複数設けられ、スキンプレート１１とセグメントとの間に配置される。シールドジャッキ２０が油圧操作により推進（伸長）されることでスキンプレート１１の面が押されシールド掘削機１０が推進する。

図２は、実施形態の操作推定装置３０の構成例を示すブロック図である。
操作推定装置３０は、操作実績データ取得部３１と、状況データ取得部３２と、操作推定データ出力部３３と、評価データ取得部３４と、学習済みモデル記憶部３５と、操作推定部３６と、操作状況データ記憶部３７と、学習データ生成部３８と、を備える。

操作実績データ取得部３１は、シールド掘削機１０に対する操作の設定値の実績を示す操作実績データを取得する。
ここで、シールド掘削機１０に対して行う操作には、土圧制御のために行う操作と、方向制御のために行う操作とがある。土圧制御は、チャンバー１２内の泥土圧を、掘削面の土圧・水圧とバランスさせることにより地山を安定させるための制御である。また、方向制御は、予め計画された方向に沿って実際に掘進するためのシールド掘削機１０の掘進方向の制御である。

土圧制御のために行う操作には、例えば、チャンバー１２内の掘削土に添加する作泥土材１４の注入量の操作、チャンバー１２内の泥土を排出するスクリューコンベア１７のスクリューの回転速度の操作、およびスクリューコンベア１７の排土ゲートＧの開閉度の操作等がある。つまり、土圧制御のために行う操作の設定値とは、例えば、チャンバー１２内の掘削土に添加する作泥土材１４の注入量、チャンバー１２内の泥土を排出するスクリューコンベア１７のスクリューの回転速度、およびスクリューコンベア１７の排土ゲートＧの開閉度の操作等である。

方向制御のために行う操作には、例えば、シールドジャッキ２０の選択する操作、選択したシールドジャッキを伸長させる操作等がある。つまり、方向制御のために行う操作の設定値とは、例えば、掘進方向の力点の位置、あるいはシールドジャッキ２０の選択、選択したシールドジャッキに設定する推進力等である。

操作実績データ取得部３１は、このようなシールド掘削機１０に対する操作の設定値の実績を示す操作実績データを取得する。操作実績データ取得部３１は、取得した操作実績データを操作状況データ記憶部３７に記憶させる。

状況データ取得部３２は、シールド掘削機１０が掘削した状況を示す状況データを取得する。状況データ取得部３２は、取得した状況データを操作状況データ記憶部３７に記憶させる。
ここで、シールド掘削機１０が掘削した状況には、土圧に関する状況と、方向に関する状況とがある。
土圧に関する状況には、チャンバー１２内の泥土圧の状況、および掘削面の土圧・水圧の状況がある。つまり、土圧に関する状況データは、土圧計Ｄにより計測されたチャンバー１２内の泥土圧、掘削面に垂直な方向にシールド掘削機１０に対して作用する圧力（指示土圧）を示すデータである。指示土圧は、掘削指示書により予め提示され、例えば、掘削の対象となる地山の深度や地質に基づいて導出される土圧に、地盤の沈下等を考慮して決定される。

方向に関する状況には、予め計画された掘進方向の状況、および実際のシールド掘削機１０の掘進方向の状況がある。つまり、方向に関する状況データは、予め計画された掘進方向を示すデータ、及び実際のシールド掘削機１０の掘進方向を示すデータである。予め計画された掘進方向を示すデータには、計画指示書によりリング毎に指示される指示方位（水平方向の方位）、指示ピッチ（鉛直方向の方位）がある。また、実際のシールド掘削機１０の掘進方向を示すデータには、シールド掘削機１０のジャイロスコープ（不図示）により測定した測定方位（水平方向の方位）、測定ピッチ（鉛直方向の方位）がある。

操作推定データ出力部３３は、操作推定部３６により推定された操作の設定値を示す操作推定データを出力する。操作推定データ出力部３３は、例えば、シールド掘削機１０の操作室（不図示）の操作画面に推定結果を出力することにより、推定される操作の設定値をオペレータに認識させる。

評価データ取得部３４は、操作推定部３６により推定された操作の設定値に対する評価を示す評価データを取得する。評価データ取得部３４は、取得した評価データを操作状況データ記憶部３７に記憶させる。
評価データ取得部３４は、例えば、シールド掘削機１０の操作室の入力装置（例えば、タッチパネル）を介してオペレータにより入力された評価の内容を示す評価データを取得する。オペレータは、例えば、シールド掘削機１０の操作室の操作画面に表示された操作の設定値(推定値）を視認し、その値が熟練のオペレータが操作しようとした設定値と同様である場合には、肯定的な評価を行う。また、オペレータは、例えば、操作画面に表示された操作の設定値(推定値）を視認し、その値が、熟練のオペレータが操作しようとした設定値とは異なる場合には、否定的な評価を行う。オペレータは、例えば、推定した操作の設定値をそのまま設定した場合に、チャンバー１２内の土圧と、指示土圧との差分が増加してしまうと予測された場合には、否定的な評価を行う。
評価データ取得部３４は、取得した評価データを学習データ生成部３８に出力する。

学習済みモデル記憶部３５は、操作推定モデルを記憶する。操作推定モデルは、シールド掘削機１０における掘削の状況に関連するデータを入力データとし、当該入力データにシールド掘削機１０における操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成されたモデルである。ここで、学習データにおける入力データとするシールド掘削機１０における掘削の状況に関連するデータは、例えば、一般的なシールドマシンにおいて状況データ取得部３２により取得される状況データに対応するデータである。この場合、学習データにおける出力データは、例えば、一般的なシールドマシンにおいて、掘削の状況を示すデータに対応して行われる操作の設定値である。
なお、推定モデルを作成する機械学習の技法としては、決定木学習、ニューラルネットワーク、遺伝的プログラミング、サポートベクタマシンなどの一般的に用いられている技法のいずれが用いられてもよい。

操作推定部３６は、学習済みモデル記憶部３５に記憶された操作推定モデルを用いて、シールド掘削機１０の操作の設定値を推定する。操作推定部３６は、推定したシールド掘削機１０の操作の設定値を、操作推定データとして操作状況データ記憶部３７に記憶させる。
操作推定部３６は、状況データ取得部３２により取得された状況データを操作推定モデルに入力し、操作推定モデルから出力された操作の設定値を、シールド掘削機１０の操作の設定値とする。

操作推定部３６は、例えば、状況データ取得部３２により取得された土圧に関する状況を示すデータを操作推定モデルに入力し、操作推定モデルにより推定された土圧の制御に関する操作の設定値を、シールド掘削機１０における土圧の制御に関する操作の設定値とする。この場合、土圧に関する状況を示すデータは、土圧計Ｄにより計測されたチャンバー１２内の泥土圧、指示土圧、現状の作泥土材１４の注入量、スクリューコンベア１７のスクリューの回転速度、および排土ゲートＧの開閉度等である。また、推定される土圧の制御に関する操作の設定値は、今後設定されるべき作泥土材１４の注入量、スクリューコンベア１７のスクリューの回転速度、および排土ゲートＧの開閉度等の設定値である。

操作推定部３６は、例えば、状況データ取得部３２により取得された方向に関する状況を示すデータを操作推定モデルに入力し、操作推定モデルから出力された方向の制御に関する操作の設定値を、シールド掘削機１０における方向の制御に関する操作の設定値として推定する。この場合、方向に関する状況を示すデータは、計画指示書により指示される指示方位、指示ピッチ、シールド掘削機１０のジャイロスコープにより測定した現状の測定方位、測定ピッチ等である。また、推定される方向の制御に関する操作の設定値は、今後設定されるべきシールド掘削機１０の掘進方向の力点の位置、あるいは選択されるべきシールドジャッキ２０、およびその推進力等である。

操作状況データ記憶部３７は、状況データ取得部３２により取得された状況データ、操作推定部３６により推定された操作推定データ、評価データ取得部３４により取得された評価データ、および操作実績データ取得部３１により取得された操作実績データ、をそれぞれ記憶する。

学習データ生成部３８は、学習データを生成する。学習データ生成部３８により生成される学習データは、シールド掘削機１０が実際に掘削した状況を示すデータ（状況データ）に、実際に行われた操作の設定値（操作実績データ）が対応付けられたデータである。
学習データ生成部３８は、生成した学習データを用いて操作推定モデルを更新する。具体的には、学習データ生成部３８は、生成した学習データを用いて機械学習を実行することで、操作推定モデルにシールド掘削機１０が実際に掘削する地山の状況とその状況に対応する操作の設定値を学習（追加学習）させる。これにより、操作推定モデルは、シールド掘削機１０が実際に掘削する地山の地質等の状況に応じた操作の設定値をより適切に推定することが可能となる。

学習データ生成部３８は、学習データを生成する場合、操作状況データ記憶部３７を参照し、学習データとして用いる状況データと、操作実績データとを取得する。学習データ生成部３８は、操作状況データ記憶部３７に記憶された状況データの全てを用いて学習データを生成してもよいし、操作状況データ記憶部３７に記憶された状況データのうちの一部を選択して学習データを生成してもよい。
学習データ生成部３８が、操作状況データ記憶部３７に記憶された状況データのうちの一部を選択して学習データを生成する場合、例えば、評価データに基づいて状況データを選択する。学習データ生成部３８は、例えば、否定的な評価が示された評価データに対応する状況データを抽出し、抽出した状況データに対応する操作実績データを対応付けた学習データを生成する。つまり、学習データ生成部３８は、過去に推定した操作推定データに対し否定的な評価が行われたものについて、より理想的な操作の設定値である操作実績データを対応付けた学習データを生成する。こうすることで、操作推定モデルによる推定が適切ではない否定的な評価を受けたものについて、操作推定モデルに再度学習させることが可能な学習データを生成することができる。

図３は、実施形態の操作状況データ記憶部３７が記憶するデータの構成例を示す図である。
図３に示すように、例えば、操作状況データ記憶部３７に記憶されるデータは、データ種別ごとに、タイムスタンプ毎のデータが記憶される。
データ種別には、データの種別として、状況データ、操作推定データ、評価データ、操作実績データが記憶される。データ種別に記憶される各データに対応付けて一つ以上のデータ項目が記憶される。
この例では、状況データに対応づけて、データ項目＃１〜＃Ｎ（ただし、Ｎは任意の自然数）のＮ個のデータ項目が記憶される。例えば、状況データのデータ項目＃１はチャンバー１２内の泥土圧、＃２は指示土圧、…等である。
また、操作推定データに対応づけて、＃１〜＃Ｍ（ただし、Ｍは任意の自然数）のＭ個のデータ項目が記憶される。例えば、操作推定データのデータ項目＃１は作泥土材１４の注入量、＃２はスクリューコンベア１７のスクリューの回転速度、…等である。
また、評価データに対応づけて、＃１〜＃Ｍ（ただし、Ｍは任意の自然数）のＭ個のデータ項目が記憶される。評価データのデータ項目＃１は操作推定データのデータ項目＃１に対する評価である。
また、評価実績データに対応づけて、＃１〜＃Ｍ（ただし、Ｍは任意の自然数）のＭ個のデータ項目が記憶される。操作実績データのデータ項目＃１は操作推定データのデータ項目＃１に対応する操作の実績を示すデータである。
タイムスタンプには、時刻Ｔ１〜Ｔ４…毎にデータ項目に対応するデータについて測定された値またはデータ項目に対応するデータについて取得された値が記憶される。

図４は、実施形態の操作推定装置３０に評価データを取得させる画面（評価画面）の例を示す図である。
図４に示すように、例えば、評価画面にはデータ種別を示す画像Ｇ−１、データ種別ごとの時系列変化を示す画像Ｇ−２、および評価を入力するタッチパネルの画像Ｇ−３が含まれる。例えば、オペレータは、画像Ｇ−１、Ｇ−２を視認し、操作推定データと操作実績データとのかい離度合や、状況データの時系列変化を監視して、操作推定データに適切な推定値が示されているか否かを判定する。オペレータは、例えば、操作推定データに適切な推定値が示されている場合には、画像Ｇ−３の肯定的な評価を示す箇所（図４の例では「Ｇｏｏｄ」と表示されたタッチパネル）をタッチする等して肯定的な評価を示す評価データを入力する。また、オペレータは、操作推定データに適切な推定値が示されていない場合には、画像Ｇ−３の否定的な評価を示す箇所（図４の例では「Ｂａｄ」と表示されたタッチパネル）をタッチする等して否定的な評価を示す評価データを入力する。

図５は、実施形態の操作推定装置３０の動作例を示すフローチャートである。
まず、操作推定装置３０は、操作推定モデルに基づいて、操作推定データを出力する（ステップＳ１０）。操作推定装置３０の操作推定部３６は、状況データを操作推定モデルに入力し、操作推定モデルから出力された操作の設定値を操作推定データとし、操作推定データ出力部３３を介して出力する。
次に、評価データ取得部３４は、オペレータ等により入力された操作推定データに対する評価をしめす評価データを取得する（ステップＳ１１）。評価データ取得部３４は、例えば、シールド掘削機１０の操作室（不図示）のに表示されたタッチパネルの操作画面を操作することにより入力された評価データを取得する。
次に、学習データ生成部３８は、評価データが否定的な評価を示すもの（「Ｂａｄ」）か否かを判定する（ステップＳ１２）。
評価データが否定的な評価を示すものである場合、学習データ生成部３８は、その否定的な評価を受けた推定値を生成する際に操作推定モデルに入力した状況データに、オペレータにより実際に操作された操作実績データを対応付けた学習データを生成する（ステップＳ１３）。

以上説明したように、実施形態の操作推定装置３０は、シールド掘削機１０が掘削した状況を示す状況データを操作推定モデルに入力することにより、シールド掘削機１０に対して行う操作の設定値を推定する操作推定部３６と、操作推定部３６により推定された操作の設定値に対する評価を示す評価データを取得する評価データ取得部３４と、評価データ取得部３４により取得された評価データに基づいて、学習データを生成する学習データ生成部３８を有し、操作推定モデルは、シールド掘削機（例えば、シールド掘削機１０やその他のシールドマシン）が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ、学習データ生成部３８により生成された学習データを用いて追加学習を実行することにより更新されるモデルである。これにより、実施形態の操作推定装置３０は、シールド掘削機１０が実際に掘削する場合の状況データに基づいて追加学習することができるため、掘進する地山に応じて、シールド掘削機に対して設定すべき操作の設定値を推定することが可能となる。

また、実施形態の操作推定装置３０では、学習データ生成部３８は、評価データに操作の設定値を否定的に評価することが示されている場合、状況データにシールド掘削機１０に対する操作の設定値の実績を示す操作実績データを対応付けた学習データを生成する。これにより、実施形態の操作推定装置３０は、評価の内容を考慮した追加学習のための学習データを生成することができ、否定的な評価を受けたものについて重点的に追加学習を行うことで、操作推定モデルの精度を向上させることができる。

また、実施形態の操作推定装置３０では、評価データ取得部３４は、オペレータの入力操作による評価データを取得してもよい。オペレータにより評価されることで、統計分析等による追加学習のためのデータ分類が必要なくなり、追加学習にかかる負担が軽減される。また、オペレータにより評価されることで、リング毎の追加学習のための学習データの作成や、日ごとの追加学習のための学習データの作成が可能になる。

なお、上述した実施形態では、「肯定的な評価」と「否定的な評価」の二段階の評価が行われる場合を例示して説明したが、必ずしも二段階の評価である必要はなく，例えば四段階（例えば、図４の画像Ｇ−３において「Ｖｅｒｙ Ｇｏｏｄ」と、「Ｖｅｒｙ Ｂａｄ」とを追加した四段階とする）などとしてもよい。

また、上述した実施形態では、操作状況データ記憶部３７が、評価データとして、評価の内容（「肯定的な評価」か「否定的な評価」か）を記憶する場合を例示して説明したが、これに限定されない。操作状況データ記憶部３７は、評価の内容だけでなく、評価データが否定的であった場合に、その評価に対応する実際の操作の設定値が設定されたタイミングを記憶するようにしてもよい。操作の設定値が設定されてから、土圧などの状況が実際に変化するまでには、遅延が発生する。このため、実際の操作の設定値が設定されたタイミングを用いて学習データを生成することにより、操作の設定値が設定されてから、実際に状況が変化するまでの時間を考慮した追加学習を行うことができる。

また、評価データは所定の時間間隔で取得されてもよいし、任意のタイミングで取得されるようにしてもよい。例えば、オペレータが一定時間ごと（１分、１０分、１リングなど）に評価するようにしてもよいし、オペレータの任意のタイミングで評価するようにしてもよい。

また、上述した実施形態では、学習データ生成部３８が、否定的な評価をうけた操作推定データについて追加学習用の学習データを生成する場合を例示して説明したが、これに限定されない。例えば、学習データ生成部３８は、否定的な評価をうけた操作推定データが、肯定的な評価をうけた操作推定データの階数よりも多い場合に、そのリングについて否定的な評価をうけた操作推定データについて追加学習用の学習データを生成するようにしてもよい。

また、学習データ生成部３８は、肯定的な評価をうけたか否定的な評価をうけたかに関わらず、全ての操作推定データについて追加学習用の学習データを生成するようにしてもよい。この場合、学習データ生成部３８は、肯定的な評価をうけたか否定的な評価をうけたかに応じた重みづけを行って追加学習用の学習データを生成するようにしてもよい。

上述した実施形態における操作推定装置３０が行う処理の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…シールド掘削機、２０…シールドジャッキ、３０…操作推定装置、３１…操作実績データ取得部、３２…状況データ取得部、３３…操作推定データ出力部、３４…評価データ取得部、３５…学習済みモデル記憶部、３６…操作推定部、３７…操作状況データ記憶部、３８…学習データ生成部。

Claims (5)

1. シールド掘削機が掘削した状況を示す状況データを操作推定モデルに入力することにより、前記シールド掘削機に対して行う操作の設定値を推定する操作推定部と、
   前記操作推定部により推定された前記操作の設定値に対する評価を示す評価データを取得する評価データ取得部と、
   前記評価データ取得部により取得された前記評価データに基づいて、学習データを生成する学習データ生成部
   を有し、
   前記操作推定モデルは、シールド掘削機が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ、前記学習データ生成部により生成された学習データを用いて追加学習を実行することにより更新されるモデルである
   ことを特徴とする操作推定装置。
2. 前記学習データ生成部は、前記評価データに前記操作の設定値を否定的に評価することが示されている場合、前記状況データに前記シールド掘削機に対する操作の設定値の実績を示す操作実績データを対応付けた学習データを生成する
   ことを特徴とする請求項１に記載の操作推定装置。
3. 前記状況データには、土圧に関する状況を示すデータが含まれ、
   前記操作推定部は、前記シールド掘削機における掘削土の土圧を制御するための操作の設定値を推定する
   ことを特徴とする請求項１又は請求項２に記載の操作推定装置。
4. 前記状況データには、方向に関する状況を示すデータが含まれ、
   前記操作推定部は、前記シールド掘削機における掘進の方向を制御するための操作の設定値を推定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の操作推定装置。
5. 操作推定部が、シールド掘削機が掘削した状況を示す状況データを操作推定モデルに入力することにより、前記シールド掘削機に対して行う操作の設定値を推定する工程と、
   評価データ取得部が、前記操作推定部により推定された前記操作の設定値に対する評価を示す評価データを取得すると工程、
   学習データ生成部が、前記評価データ取得部により取得された前記評価データに基づいて、学習データを生成する工程
   を有し、
   前記操作推定モデルは、シールド掘削機が掘削した状況を示すデータにシールド掘削機に対して行う操作の設定値が対応づけられた学習データを用いて機械学習を実行することにより作成され、尚且つ、前記学習データ生成部により生成された学習データを用いて追加学習を実行することにより更新されるモデルである
   ことを特徴とする操作推定方法。

Images