JP2023040453A - 操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラム - Google Patents

Abstract

【課題】船舶の行動空間を抑制できる操縦パターン特定装置、制御装置、操縦パターン特定方法、及びプログラムを提供することを目的とする。【解決手段】操縦パターン特定装置は、入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納する格納部と、航行中の船体の船体状態を含む航行船体状態を取得する取得部と、トラッキング制御プログラムに基づき、航行船体状態に関連する操縦パターンを特定する特定部と、を備える。【選択図】図１

Description

本開示は、操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラムに関する。

特許文献１には次のような操船支援装置が記載されている。すなわち、この文献に記載されている操船支援装置は、予め、船舶が接岸・離岸する度に、船速、進入角、推進力、推力及び操舵角の実績値を取り込み、データベースに蓄積する。また、この操船支援装置は、接岸・離岸の過程で、操船者による操作部の操作に応じて設定された推進力、推力及び操舵角の値（以下、操作に応じた値とする）との相関が最大の実績値を判別し、操作に応じた値と実績値との偏差を算出する。そして、この操船支援装置は、操作部の操作に応じて設定された推進力、推力及び操舵角を、偏差に応じて修正する。

特開２０２０－２６２０８号公報

上記先行技術文献の操船支援装置では、操作者による操作部の操作に応じて設定された推進力、推力及び操舵角を、実績値との偏差に応じて修正した上で、船体の推進装置（推進源、スラスタ及び舵）が制御される。そのため、操作者による操作部に対する操作で設定される偏差の範囲外に外れてしまうという可能性がある。この場合、操作部による設定の範囲内に船舶の状態空間を留めることができなくなる可能性があるという課題がある。

本開示は、船舶の行動空間を抑制できる操縦パターン特定装置、制御装置、操縦パターン特定方法、及びプログラムを提供することを目的とする。

上記課題を解決するために、本開示に係る操縦パターン特定装置は、入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納する格納部と、航行中の船体の船体状態を含む航行船体状態を取得する取得部と、前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定する特定部と、を備える。

本開示に係る操縦パターン特定方法は、入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納し、航行中の船体の船体状態を含む航行船体状態を取得し、前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定する。

本開示に係るプログラムは、コンピュータに、入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納し、航行中の船体の船体状態を含む航行船体状態を取得し、前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定することを実行させる。

本開示の操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラムによれば、船舶の行動空間を抑制することができる。

本開示の実施形態に係る船舶の構成例を示すブロック図である。 本開示の実施形態に係る船舶の着岸時における動作例を模式的に示す平面図である。 本開示の実施形態に係る船舶の離岸時における動作例を模式的に示す平面図である。 本開示の実施形態に係る入出港航路データの構成例を示す模式図である。 本開示の実施形態に係る学習モデルの学習例を説明するためのブロック図である。 本開示の実施形態に係る学習モデルの学習例を説明するための模式図である。 本開示の実施形態に係る学習モデルの学習例を説明するための模式図である。 本開示の実施形態に係る操縦パターン特定部を説明するための模式図である。 本開示の実施形態に係る制御装置の動作例を示すフローチャートである。 本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。

＜第一実施形態＞
（船舶、制御装置及び操縦パターン特定部の構成例）
以下、本開示の実施形態に係る操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラムについて、図１～図１０を参照して説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。図１は、本開示の実施形態に係る船舶１００の構成例を示すブロック図である。図２は、本開示の実施形態に係る船舶１００の着岸時における動作例を模式的に示す平面図である。図３は、本開示の実施形態に係る船舶１００の離岸時における動作例を模式的に示す平面図である。図４は、本開示の実施形態に係る入出港航路データ８１の構成例を示す模式図である。図５は、本開示の実施形態に係る学習モデル８３ｕの学習例を説明するためのブロック図である。図６は、本開示の実施形態に係る学習モデル８３ｕの学習例を説明するための模式図である。図７は、本開示の実施形態に係る学習モデル８３ｕの学習例を説明するための模式図である。図８は、本開示の実施形態に係る操縦パターン特定部２を説明するための模式図である。図９は、本開示の実施形態に係る制御装置１の動作例を示すフローチャートである。図１０は、本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。

図１に示す船舶１００は、制御装置１と、計測装置４と、操縦装置５と、推進装置６とを備える。制御装置１は、例えば、コンピュータ、そのコンピュータの周辺装置等からなるハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、操縦パターン特定部（操縦パターン特定装置）２と、制御部３とを備える。また、操縦パターン特定部２は、機能的構成として、格納部２１と、取得部２２と、特定部２３と、復帰航路設定部２４と、偏差算出部２５とを備える。

計測装置４は、衛星測位装置４１と、ジャイロコンパス４２とを備える。衛星測位装置４１は、人工衛星から発射された信号を利用して船舶１００の位置を計測し、計測した位置を示す情報を出力する。ジャイロコンパス４２は、船舶１００の方位を計測し、計測した方位を示す情報を出力する。

操縦装置５は、ジョイスティック５１と、回頭ダイヤル５２とを備える。ジョイスティック５１は、前後左右等、３６０度の全方向に傾倒させることができるレバーを有し、レバーの傾倒方向と傾倒角度に応じた信号を出力する入力装置である。操作者は、ジョイスティック５１の傾倒方向と傾倒角度を調節することで、船舶１００の推力の方向と大きさを指示することができる。回頭ダイヤル５２は、ダイヤルを有し、ダイヤルの回転方向と角度に応じた信号を出力する入力装置である。操作者は、回頭ダイヤル５２の回転方向と角度を調節することで、船舶１００の回頭方向を指示することができる。操縦装置５は、操作者によるジョイスティック５１と回頭ダイヤル５２の操作状態に応じて、船舶１００の推力の方向及び大きさの指令値と回頭モーメントの指令値に対応する信号を出力する。本実施形態では、ジョイスティック５１と回頭ダイヤル５２の操作状態に応じて決定される情報（あるいは信号）を、操縦パターンと称する。また、操作者の実際の操作に応じて操縦装置５が決定する操縦パターンを手動操縦パターンといい、後述するようにして操縦パターン特定部２が手動操縦パターンとは別に自動で生成する操縦パターンを自動操縦パターンという。

推進装置６は、プロペラ６１と、スラスタ６２と、舵６３とを備える。プロペラ６１は、船舶１００が備える図示していない発動機の動力を船舶１００の前後方向の推力に変換する装置である。本実施形態において、プロペラ６１は、可変ピッチプロペラ（ＣＰＰ）であり、プロペラ翼角を制御することで船舶１００の前後進の速度（推力）を調節することができる。スラスタ６２は、船舶１００が備える図示していない発動機の動力を船舶１００の横方向の推力に変換する装置である。本実施形態において、スラスタ６２は、可変ピッチプロペラであり、スラスタ翼角を調節することで船舶１００の左右方向の速度（推力）を制御することができる。舵６３は、プロペラ６１が発生した推力の方向を制御するための船具であり、舵角を調節することで船舶１００の進行方向を制御することができる。

一方、制御装置１内の操縦パターン特定部２において、格納部２１は、トラッキング制御プログラム８を格納する。トラッキング制御プログラム８は、船舶１００の離岸時及び着岸時における航行を自動制御するためのソフトウェアである。トラッキング制御プログラム８は、複数の入出港航路データ８１と、学習済みモデル８３と、特定部２３が処理を実行する際に基準とするプログラム等を含む。また、各入出港航路データ８１は、複数の目標船体状態（を表すデータ）８２を含む。

入出港航路データ８１は、例えば、図２に示すような入港時に船舶１００が目標とする入港航路３００を示すデータ、図３に示すような出港時に船舶１００が目標とする出港航路４００を示すデータ等である。入出港航路データ８１は、例えば、船舶１００の運航実績を有する熟練した船長等の船乗りの監修の下で作成したり、実際の航行時の実績値に基づいて作成したりすることができる。図２に示す入港航路３００は、複数の目標点３０１を結ぶ航路である。目標点３０１ｓは、入港航路３００の開始点であり、例えば港２０１内の入港位置に対応して設定される。目標点３０１ｅは、入港航路３００の終了点であり、例えば岸壁２００の着岸位置に対応して設定される。図３に示す出港航路４００は、複数の目標点４０１を結ぶ航路である。目標点４０１ｓは、出港航路４００の開始点であり、例えば岸壁２００からの離岸位置に対応して設定される。目標点４０１ｅは、出港航路４００の終了点であり、例えば港２０１内の出港位置に対応して設定される。

図４は、入出港航路データ８１の構成例を示す。図４に示す入出港航路データ８１は、例えば図２に示す入港航路３００を示すデータである。この場合、図４に示す入出港航路データ８１は、目標点３０１ｓ（番号＝０；開始点）から目標点３０１ｅ（番号＝Ｍ；終了点）までの各目標点３０１における船体状態の目標値（目標船体状態８２という）の時系列を含む。船体状態は、船舶１００（船体）の状態を表す情報であり、例えば、船体位置と船体方位（船首方位）とを表す情報を含む。あるいは、船体状態は、船体位置と船体方位とを表す情報と、船体速度を表す情報とを含む。ただし、船体速度を表す情報は、移動距離や回頭角度と、移動時間や回頭に要した時間等、船体速度を計算するための情報に代えてもよい。また、船体状態が含む船体速度を表す情報は、船舶１００の前進速度、横流れ速度、回頭角速度等の複数の速度成分から構成してもよい。また、後述する航行時の船体状態は、船体位置と船体方位とを表す情報に代えて、目標とする船体位置と船体方位からの航行中の船体位置と船体方位の偏位を表す情報を含んでいてもよい。

図４に示す例では、各目標点３０１の船体状態が、各目標点３０１における船舶１００の位置（ｘ座標値、ｙ座標値）と船舶１００の方位（角度ψの値）と、当該目標点３０１の通過時刻に対応する開始点（目標点３０１ｓ）の通過時刻からの経過時間Ｔとで表される。この場合、当該目標点３０１における速度は、例えば、前後の目標点３０１までの距離や方位角の差と各通過時刻の時間差から算出することができる。なお、図４に示す例では、例えば、番号０の目標点３０１ｓの時間は０秒、位置はｘ０とｙ０、方位はψ０である。また、例えば、番号Ｍの目標点３０１ｅの時間はＴＭ秒、位置はｘＭとｙＭ、方位はψＭである。なお、座標値ｘと座標値ｙは、例えば、平面直角座標系等のＸＹ座標系の座標値、緯度経度座標系の緯度と経度、他のローカル座標系の座標値等とすることができる。

学習済みモデル８３は、航行船体状態の入力に対し、入力された航行船体状態に関連する操縦パターンを出力する学習済みの機械学習モデルである。航行船体状態は、実際の航行時における船体状態に対応する情報である。図１に示す構成例では、学習済みモデル８３は、自船と目標の位置と方位の偏差を示す情報と、航行船体状態に含まれる前進速度と横流れ速度と回頭角速度を示す情報と、推進装置６の操作量（プロペラ翼角、スラスタ翼角、舵角）を示す情報とを入力し、操縦パターンを示す情報を出力する。操縦パターンは、上述した自動操縦パターンであり、ジョイスティック５１と回頭ダイヤル５２の操作状態に応じて決定される情報を模擬した情報である。学習済みモデル８３は、例えば、ニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。学習済みモデル８３は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。

学習済みモデル８３は、例えば、深層強化学習アルゴリズムを利用して学習することができる。図５は、学習済みモデル８３の学習前（あるいは学習中）の状態である学習モデル８３ｕの学習処理の流れを示す。なお、学習モデル８３ｕは、強化学習において外部から与えられる報酬に応じて行動価値や行動方策に関する重み付け係数を最適化するプログラムを含んでいる。実船を用いた強化学習は現実的には不可能であるため、船舶１００（制御対象）と同等の操縦運動特性を持つモデルである仮想船５０３を使用する。仮想船５０３は、例えば、ステップ毎にデータの入力と出力とを行う。

仮想船５０３は、操作量算出部５０２が算出した操作量を入力し、船舶１００の前進速度ｕ、横流れ速度ｖ、回頭角速度ｒ、位置及び方位を算出して出力する。操作量は、図１に示すプロペラ翼角と、スラスタ翼角と、舵角とを含む。仮想船５０３が出力した前進速度ｕ、横流れ速度ｖ及び回頭角速度ｒは、プロペラ翼角、スラスタ翼角及び舵角とともに学習モデル８３ｕへ入力される。仮想船５０３が出力した位置と方位は、偏差算出部５０４へ入力される。

偏差算出部５０４は、例えばランダム操縦により作成した入出港航路データが含む目標位置及び目標方位と、仮想船５０３が出力した位置及び方位とを入力し、現ステップと未来のｎステップ（ｎは自然数）分の位置と方位の偏差（Δｘ、Δｙ、Δψ）を算出して、学習モデル８３ｕへ出力する。

学習モデル８３ｕは、例えば仮想船５０３の前進速度ｕ、横流れ速度ｖ、回頭角速度ｒと、操作量（プロペラ翼角、スラスタ翼角、舵角）と、自船と目標との位置の偏差と方位の偏差の現在及び将来のｎステップ分の値を入力し、自動操縦パターンを出力する。
例えば、入力には、過去からの履歴や航跡の履歴を含めてもよい。このような履歴を入力すれば、実際の動きの予測精度を向上させることができる。
なお、学習モデル８３ｕが出力する自動操縦パターンは、行動空間を抑制するため、代表的なＫケース（Ｋは自然数）に限定してもよい。図６に示すように例えばジョイスティック５１の操作状態を、停止Ａ０と、左斜め前Ａ１、前Ａ２、右斜め前Ａ３、左Ａ４、右Ａ５、左斜め後ろＡ６、後ろＡ７、及び、右斜め後ろＡ８の８方向への２段階の傾倒状態に限定し、また、回頭ダイヤル５２については、左方向Ａ１１の２段階と、右方向Ａ１２の２段階の操作状態に限定する場合、ジョイスティック５１の操作状態は１７ケースとなり、回頭ダイヤル５２の操作状態は４ケースとなる。学習モデル８３ｕは、これらの操作状態のいずれかを選択して、自動操縦パターンとして出力する。このＫのケース数は、船舶や港湾に応じて個別に適切に設定されるものである。

操作量算出部５０２は、学習モデル８３ｕが出力した自動操縦パターンを入力し、操作量を算出して仮想船５０３へ出力する。

一方、報酬算出部５０１は、例えば現ステップの位置と方位の偏差に基づいて報酬を算出し、学習モデル８３ｕへ出力する。報酬算出部５０１は、例えば、図７に示すように、位置偏差がＰＤ１より小さく、かつ、位置偏差が±ＤＤ１より小さい場合、報酬ＲＥ１を出力し、位置偏差がＰＤ２より小さく、かつ、位置偏差が±ＤＤ２より小さい場合、報酬ＲＥ２を出力し、位置偏差がＰＤ３より小さく、かつ、位置偏差が±ＤＤ３より小さい場合、報酬ＲＥ３を出力する。なお、ＰＤ１＜ＰＤ２＜ＰＤ３、ＤＤ１＜ＤＤ２＜ＤＤ３、ＲＥ１＞ＲＥ２＞ＲＥ３である。

学習モデル８３ｕの強化学習では、計算の効率化を図るため、エピソード（試行）の終了条件を以下の（１）～（３）とした。

（１）位置偏差が所定の第１閾値以上となる。
（２）方位偏差の絶対値が所定の第２閾値以上となる。
（３）ステップ数が所定の第３閾値以上となる。

なお、（１）と（２）の終了条件を設定した場合、位置偏差が第１閾値以上のとき又は方位偏差の絶対値が第２閾値以上のときには、学習モデル８３ｕ（及び学習済みモデル８３）へは、学習の範囲から逸脱する入力が与えられることになる。

図１へ戻り、取得部２２は、航行中の船舶１００（船体）の船体状態を含む航行船体状態を表す情報を取得する。取得部２２は、衛星測位装置４１が出力した位置を示す情報と、ジャイロコンパス４２が計測した方位を示す情報とを、航行船体状態を表す情報として取得する。そして、取得部２２は、取得した位置と方位を示す情報に基づき、航行船体状態に含まれる位置と方位を偏差算出部２５へ出力するとともに、航行船体状態に含まれる前進速度と横流れ速度と回頭角速度を算出して、学習済みモデル８３へ出力する。

偏差算出部２５は、入出港航路データ８１を参照し、航行船体状態に含まれる位置と方位と、入出港航路データ８１に含まれる目標位置と目標方位との偏差を算出し、学習済みモデル８３へ出力する。その際、偏差算出部２５は、航行中の船舶１００の位置と方位から、入出港航路データ８１内の現在から未来のｎステップまでの目標位置と目標方位との偏差を算出し、学習済みモデル８３へ出力する。また、偏差算出部２５は、後述するようにして復帰航路設定部２４が復帰航路を設定した場合、設定された復帰航路を目標位置と目標方位として、現在及び未来の位置と方位の偏差を算出して、学習済みモデル８３へ出力する。

復帰航路設定部２４は、入出港航路データ８１から航行船体状態が逸脱する可能性がある場合、入出港航路データ８１内へ復帰させる航路を設定する。学習済みモデル８３が、上述した（１）と（２）の終了条件で学習された場合、位置偏差が第１閾値未満かつ方位偏差の絶対値が第２閾値未満であることが学習の範囲内となる条件である。そこで、復帰航路設定部２４は、入出港航路データ８１から航行船体状態（位置及び方位）が学習の範囲外に逸脱する可能性が生じた場合、入出港航路データ８１内へ復帰させる復帰航路を設定し、設定した復帰航路に基づいて目標位置と目標方位を設定し、航行船体状態が学習の範囲外に逸脱することを抑制する。復帰航路設定部２４は、例えば偏差算出部２５から位置と方位の偏差を示す情報と入出港航路データ８１を入手し、位置の偏差が第１閾値より小さい所定の第１Ｌ閾値以上となった場合、又は、方位の偏差の絶対値が第２閾値より小さい所定の第２Ｌ閾値以上となった場合、現在の位置及び方位を始点として、位置と方位の偏差が減少するように入出港航路データ８１へ復帰する経路を設定する。

図８は、復帰航路の設定例を模式的に示す。図８に示す入港航路３００は、目標点３０１ａの船体状態の目標値と、目標点３０１ｂの船体状態の目標値とを含む。なお、目標点３０１ｂはすでに通過した目標点であり、目標点３０１ａはこれから通過しようとする目標点である。目標点３０１ｂと目標点３０１ａの間には他の１または複数の目標点が設定されていてもよい。復帰航路設定部２４は、現在の入港航路３００から船舶１００の重心（基準点）１０１までの位置偏差（距離）ｐｄ１が第１Ｌ閾値以上となった場合、現在の重心（基準点）１０１を始点として目標点３０１ａへ復帰する航路を算出し、復帰航路ｗｒ１として設定する。その際、復帰航路設定部２４は、復帰航路ｗｒ１上の速度が、入港航路３００に設定された速度より低速となるように、復帰航路ｗｒ１を設定してもよい（通過時刻を調整してもよい）。また、復帰航路設定部２４は、回頭角度を復帰させる場合にも回頭角速度が、入港航路３００に設定された角速度より低速となるように、復帰航路ｗｒ１を設定してもよい。

また、図１に示す特定部２３は、トラッキング制御プログラム８に基づき、航行船体状態に関連する操縦パターンである自動操縦パターンを特定する。特定部２３は、学習済みモデル８３に対して、位置と方位の偏差を示す情報、航行船体状態（前進速度、横流れ速度及び回頭角速度）を示す情報、プロペラ翼角、スラスタ翼角及び舵角を示す情報を入力し、学習済みモデル８３から出力された操縦パターンを制御部３へ入力する自動操縦パターンとして特定する。

また、図１に示す制御部３は、操縦装置５が出力した手動操縦パターン又は操縦パターン特定部２によって特定された自動操縦パターンに従って船舶１００（船体）の推進装置６を制御する。制御部３は、例えば、港外の航行時には手動操縦パターンに従って、着岸時又は離岸時に自動操縦の実行が指示された場合には自動操縦パターンに従って、プロペラ翼角、スラスタ翼角及び舵角を算出して出力する。制御部３が出力したプロペラ翼角、スラスタ翼角及び舵角を示す情報は、推進装置６と学習済みモデル８３へ入力される。

（船舶、制御装置及び操縦パターン特定部の動作例）
次に、図９を参照して制御装置１及び操縦パターン特定部２の動作例について説明する。例えば、操作者が、制御装置１が有する図示していない入出力装置等に対して所定の操作を行い、自動操縦の開始を指示すると、制御装置１は、入出港航路データ８１の終了点に達するまで、所定の周期で繰り返し図９に示す処理を実行する。

図９に示す処理では、まず、取得部２２が、航行船体状態を取得する（ステップＳ１）。次に、偏差算出部２５が、入出港航路データ８１からの位置と方位の偏差を算出する（ステップＳ２）。次に、復帰航路設定部２４が、位置偏差又は方位偏差が所定の範囲内から逸脱しているか否かを判断する（ステップＳ３）。

逸脱していた場合（ステップＳ３：ＹＥＳ）、復帰航路設定部２４が、入出港航路データ８１内へ復帰させる航路を設定する（ステップＳ４）。次に、偏差算出部２５が、復帰航路と入出港航路データ８１からの位置および方位の偏差を算出する（ステップＳ５）。

逸脱していなかった場合（ステップＳ３：ＮＯ）、又はステップＳ５の処理の後、特定部２３が、航行船体状態と、推進装置６の操作量と、位置および方位の偏差とを学習済みモデル８３へ入力し、学習済みモデル８３の出力に基づき操縦装置５の操縦パターンを特定する（ステップＳ６）。次に、制御部３が、特定された操縦パターンに基づき推進装置６の操作量を決定し、決定した推進装置６の操作量に基づき推進装置６を制御する（ステップＳ７）。

（作用効果）
本実施形態の操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラムは、入出港航路に対する目標船体状態を含む入出港航路データ８１と、操縦装置５の操縦パターンと、が関連付けられたトラッキング制御プログラム８を格納し、航行中の船舶１００の船体の船体状態を含む航行船体状態を取得し、トラッキング制御プログラム８に基づき、航行船体状態に関連する操縦パターンを特定する。したがって、本実施形態の操縦パターン特定装置、制御装置、操縦パターン特定方法及びプログラムによれば、操縦装置５の操縦パターンの特定により行動空間を抑制することができる。

また、本実施形態の操縦パターン特定装置は、入出港航路データ８１から航行船体状態が逸脱する可能性がある場合、入出港航路データ８１内へ復帰させる航路を設定する復帰航路設定部２４をさらに備えることで、航路への復帰により例えば、学習した状態空間の中での操船が可能となる。

ところで、船舶においても、安全性向上、船員負担減、熟練船員の減少の理由により、近年自動運航のニーズが高まっている。自動運航に必要な技術は多岐に亘るが、衝突回避と並び、航路を正確にトラッキングする技術が重要な技術である。特に、狭い領域や港湾内での操船、離着岸の操船は、精度が高くかつ外乱などに強いロバストな航路トラッキングのシステムが必要である。

本実施形態では、この入出港航路トラッキングに対し、深層強化学習によるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）技術を適用する事で、上記を達成するもので、以下の特徴等を有する。

［１］ジョイスティックや回頭ダイヤルの操縦パターンをＡＩが選択することにより推進装置を自動制御する。

［２］ＡＩの学習範囲内に船体の位置と方位をとどめておく航路補正機能を有する。

本実施形態では、例えば、１）ベテラン船長などによる、入出港時の、岸壁への進入、離脱の各時刻での船舶の位置、船舶の船首方位、速度から構成される入出港航路データをあらかじめ作成する。他の方法で作成されたものでも良い。

２）また、船舶は、プロペラ推進装置、舵、横移動のためのスラスタという操縦のための装置と、それを統合制御する操縦装置を備える。これらは一般的な装置である。

３）また、上記とは別に、深層強化学習手法により作成されたＡＩ（学習済みモデル）を用いてジョイスティックや回頭ダイヤルの操縦パターンを選択するトラッキング制御プログラムを作成する。

４）また、１）で作成された入出港航路に沿って、２）で構成された船舶の推進装置を、３）で作成されたＡＩによるトラッキング制御プログラムを作動させることによって、入出港の自動操船を行う。

５）また、この仕組みによれば、航路自体は経験のある船長や信頼のできる航路計画法等により作成することで安全で実際的な航路を確保し、それに沿って細かなアクチュエータ制御を行う部分を自動化させる事にＡＩを使用する事で、風や波等の外乱に対して冗長性のある強力な制御を行うことができる。

６）また、細かな制御を行うにあたり、操縦のための装置を統合的に作動させるジョイスティック等に対しその操作値を指令する事に、設定された航路からのずれに対し逐次ずれをなくすような操船をするＡＩプログラムを使用し、及びもし何らかの状況で、船体の航路からのずれがＡＩの学習範囲を逸脱する場合には、強制的に航路の一部を書き換えることで、常に学習範囲に留めておく仕組みを備えたＡＩプログラムである。すなわち、航路ずれを学習範囲内に戻す仕組み（航路再設定）では、例えば、突発的な要因により制御対象が学習範囲から逸脱する場合には、逸脱時の状態を初期値として、元の航路に滑らかに接続する航路を再設定することで、ＡＩの学習範囲に船位と方位を留めることができる。

（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、上記実施形態では推進装置６が１組のプロペラ６１とスラスタ６２と舵６３とを備えるが、この組み合わせには限定されない。例えば、推進装置６は、２個のプロペラと、２個のバウスラスタと、２個のスターンスラスタと、２個の舵等を備えていてもよい。また、図４を参照して説明した例では、入出港航路データ８１が含む目標船体状態８２が、船体の位置と方位と開始点からの経過時間（目標点の通過時刻）を表す情報を含むものとしたがこれに限定されない。例えば、目標船体状態８２は、目標点における位置と方位と通過時刻に加えて、前進速度、横流れ速度、回頭角速度等の速度を表す情報を含んでいてもよい。また、操縦装置５は、例えば、ダイヤル機能を備えた１本のレバーを有する１個のジョイスティックを備える構成としてもよい。あるいは、操縦装置５は、ジョイスティックに代えて、さらに１又は複数のダイヤルやスライダー等を備えるものであってもよい。さらに、操縦装置５は、手動操船のためのジョイスティックやダイヤルを備えていないものであっても良い。

本実施形態の一例では、復帰航路設定部２４により入出港航路データ８１内へ復帰させるような、航路復帰のアルゴリズムを加えているが、変形例として、目標点への到達の設定時間を調節するような、時間を調節するアルゴリズムを加えてもよい。
例えば、単純に将来の目標点の経過時間を進めたり、遅らせたりしてもよい。
例えば、将来の目標点の経過時間に対して船舶１００が遅れている場合は、目標点の経過時間を遅らせてもよい。
例えば、将来の目標点の経過時間に対して船舶１００が進んでいる場合は、目標点の経過時間を早めてもよい。
本変形例によれば、もともと設定航路の各到達ポイントの情報として経過時間を設定しているのに対し、経過時間との乖離が大きくなりすぎると制御範囲から“時間的に”外れてしまう場合への対処が可能となる。

〈コンピュータ構成〉
図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、及び、インタフェース９４を備える。
上述の制御装置１（操縦パターン特定部２及び制御部３）、は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

＜付記＞
上記実施形態に記載の操縦パターン特定装置（操縦パターン特定部２）は、例えば以下のように把握される。

（１）第１の態様に係る操縦パターン特定装置（操縦パターン特定部２）は、入出港航路に対する目標船体状態を含む入出港航路データ８１と、操縦装置５の操縦パターンと、が関連付けられたトラッキング制御プログラム８を格納する格納部２１と、航行中の船体（船舶１００）の船体状態を含む航行船体状態を取得する取得部２２と、前記トラッキング制御プログラム８に基づき、前記航行船体状態に関連する前記操縦パターンを特定する特定部２３と、を備える。この態様及び以下の各態様によれば、操縦パターン特定装置（操縦パターン特定部２）は、操縦装置５の操縦パターンの特定により行動空間を抑制することができる。

（２）第２の態様に係る操縦パターン特定装置（操縦パターン特定部２）は、（１）の操縦パターン特定装置（操縦パターン特定部２）であって、前記操縦装置５が、ジョイスティック５１又はダイヤル（回頭ダイヤル５２）を含む。

（３）第３の態様に係る操縦パターン特定装置（操縦パターン特定部２）は、（１）又は（２）の操縦パターン特定装置（操縦パターン特定部２）であって、前記トラッキング制御プログラム８が、前記航行船体状態の入力に対し、入力された前記航行船体状態に関連する前記操縦パターンを出力する学習済みモデル８３を含む。

（４）第４の態様に係る操縦パターン特定装置（操縦パターン特定部２）は、（１）～（３）いずれかの操縦パターン特定装置（操縦パターン特定部２）であって、前記入出港航路データ８１から前記航行船体状態が逸脱する可能性がある場合、前記入出港航路データ８１内へ復帰させる航路を設定する復帰航路設定部２４をさらに備える。この態様によれば、航路への復帰により例えば、学習した状態空間の中での操船が可能である。

（５）第５の態様に係る操縦パターン特定装置（操縦パターン特定部２）は、（１）～（４）いずれかの操縦パターン特定装置（操縦パターン特定部２）であって、前記航行船体状態が、船体位置と、船首方位と、船体速度と、を含む。

（６）第６の態様に係る制御装置１は、（１）～（５）いずれかの操縦パターン特定装置（操縦パターン特定部２）と、特定された前記操縦パターンに従って前記船体（船舶１００）の推進装置６を制御する制御部３と、を備える。この態様によれば、制御装置１は、操縦装置５の操縦パターンの特定により行動空間を抑制することができる。

（７）第７の態様に係る操縦パターン特定方法は、入出港航路に対する目標船体状態を含む入出港航路データ８１と、操縦装置５の操縦パターンと、が関連付けられたトラッキング制御プログラム８を格納し、航行中の船体（船舶１００）の船体状態を含む航行船体状態を取得し、前記トラッキング制御プログラム８に基づき、前記航行船体状態に関連する前記操縦パターンを特定する。この態様によれば、操縦パターン特定方法は、操縦装置５の操縦パターンの特定により行動空間を抑制することができる。

（８）第８の態様に係るプログラムは、入出港航路に対する目標船体状態を含む入出港航路データ８１と、操縦装置５の操縦パターンと、が関連付けられたトラッキング制御プログラム８を格納し、航行中の船体（船舶１００）の船体状態を含む航行船体状態を取得し、前記トラッキング制御プログラム８に基づき、前記航行船体状態に関連する前記操縦パターンを特定することを実行させる。この態様によれば、プログラムは、操縦装置５の操縦パターンの特定により行動空間を抑制することができる。

１…制御装置
２…操縦パターン特定部（操縦パターン特定装置）
３…制御部
４…計測装置
５…操縦装置
６…推進装置
８…トラッキング制御プログラム
２１…格納部
２２…取得部
２３…特定部
２４…復帰航路設定部
２５…偏差算出部
４１…衛星測位装置
４２…ジャイロコンパス
５１…ジョイスティック
５２…回頭ダイヤル（ダイヤル）
６１…プロペラ
６２…スラスタ
６３…舵
８１…入出港航路データ
８２…目標船体状態
８３…学習済みモデル
８３ｕ…学習モデル
９０…コンピュータ
９１…プロセッサ
９２…メインメモリ
９３…ストレージ
９４…インタフェース
１００…船舶（船体）
１０１…重心（基準点）
２００…岸壁
２０１…港
３００…入港航路
３０１…目標点
３０１ａ…目標点
３０１ｂ…目標点
３０１ｅ…目標点
３０１ｓ…目標点
４００…出港航路
４０１…目標点
４０１ｅ…目標点
４０１ｓ…目標点
５０１…報酬算出部
５０２…操作量算出部
５０３…仮想船
５０４…偏差算出部
Ａ０…停止
Ａ１…左斜め前
Ａ２…前
Ａ３…右斜め前
Ａ４…左
Ａ５…右
Ａ６…左斜め後ろ
Ａ７…後ろ
Ａ８…右斜め後ろ
Ａ１１…左方向
Ａ１２…右方向
ｐｄ１…位置偏差（距離）
ｗｒ１…復帰航路

Claims (8)

1. 入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納する格納部と、
   航行中の船体の船体状態を含む航行船体状態を取得する取得部と、
   前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定する特定部と、
   を備える操縦パターン特定装置。
2. 前記操縦装置が、ジョイスティック又はダイヤルを含む
   請求項１に記載の操縦パターン特定装置。
3. 前記トラッキング制御プログラムが、前記航行船体状態の入力に対し、入力された前記航行船体状態に関連する前記操縦パターンを出力する学習済みモデルを含む請求項１又は２に記載の操縦パターン特定装置。
4. 前記入出港航路データから前記航行船体状態が逸脱する可能性がある場合、前記入出港航路データ内へ復帰させる航路を設定する復帰航路設定部をさらに備える請求項１から３のいずれか一項に記載の操縦パターン特定装置。
5. 前記航行船体状態が、船体位置と、船首方位と、船体速度と、を含む
   請求項１から４のいずれか一項に記載の操縦パターン特定装置。
6. 請求項１から５のいずれか一項に記載の操縦パターン特定装置と、
   特定された前記操縦パターンに従って前記船体の推進装置を制御する制御部と、
   を備える制御装置。
7. 入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納し、
   航行中の船体の船体状態を含む航行船体状態を取得し、
   前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定する
   操縦パターン特定方法。
8. コンピュータに、
   入出港航路に対する目標船体状態を含む入出港航路データと、操縦装置の操縦パターンと、が関連付けられたトラッキング制御プログラムを格納し、
   航行中の船体の船体状態を含む航行船体状態を取得し、
   前記トラッキング制御プログラムに基づき、前記航行船体状態に関連する前記操縦パターンを特定する
   ことを実行させるプログラム。

Images