JP2000080673A - 浚渫船向け経路計画法 - Google Patents

Abstract

(57)【要約】 【課題】 船の動特性モデル、風や潮流等の外乱モデル
の影響を考慮しながら複数の評価項目を準最適化するよ
うな経路計画が自動的に行える浚渫船向け経路計画法を
提供する。 【解決手段】 浚渫領域内で浚渫船１０を航行させなが
ら浚渫を行うに際して、浚渫領域内の深度マップ３０等
を作業マップ５０とし、その作業マップ５０と船体運動
シミュレータ５５とから強化学習を用いて準最適化した
経路を計画するようにしたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ドラグサクション
型で浚渫する浚渫船向け経路計画法に係り、特に、浚
渫、捨土のサイクルを複数回行う経路を複数の評価項目
を考慮しながら強化学習を用いて自動的に準最適化する
浚渫船向け経路計画法に関するものである。

【０００２】

【従来の技術】浚渫対象の海域をメッシュ状に分割し指
定深度よりも浅い部分のあるメッシュについては、浚渫
作業を行い、そのエリア中の全体が指定深度よりも深く
なるようにする。

【０００３】浚渫船は、船体側部にドラグアームを俯仰
自在に設け、そのドラグアームをワイヤを介してスエル
コンペンセータ（Swell Compensator ）で保持してドラ
グヘッドの接地圧を調整し、船体内に設けたドレージポ
ンプよりドラグアームを介し先端のドラグヘッドから海
底泥を吸い込んで船体内の泥槽に揚土するようになって
いる。

【０００４】この浚渫船による浚渫作業の計画は、浚渫
すべき区域の地図に基づき、経験を積んだ乗船員が風や
潮流などを勘案して実現可能で能率的な作業船の経路を
計画する。

【０００５】

【発明が解決しようとする課題】しかしながら、一般に
浚渫は浅い海で遅い速度で行われるため船の安定性が低
く、運動特性の時間遅れ、非線形性などにより実現可能
な経路を表現するのは難しく、風、潮流等の外乱の影響
により操船に対する船の動きが変化し、また浚渫作業自
体の最適化のために、主推進器の推力やドラグヘッド部
での抵抗が変化するために、最適な経路の決定が困難で
ある。

【０００６】また特に、複数回の浚渫を行う場合、どの
ような経路をとれば評価値が最適化されるのかは容易に
わからないと共に評価量が複数ある場合、どのような経
路をとれば複数の評価量が同時に最適化されるのかは容
易にわからない。

【０００７】そこで、本発明の目的は、上記課題を解決
し、船の動特性モデル、風や潮流等の外乱モデルの影響
を考慮しながら複数の評価項目を準最適化するような経
路計画が自動的に行える浚渫船向け経路計画法を提供す
ることにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、浚渫エリア内で浚渫船を航行させ
ながら浚渫を行うに際して、浚渫領域内の深度マップ等
を作業マップとし、その作業マップと船体運動のシミュ
レータとから強化学習を用いて準最適化した経路を計画
する浚渫船向け経路計画法である。

【０００９】請求項２の発明は、浚渫・捨土のサイクル
を１回の浚渫と呼ぶときに、複数回の浚渫を準最適化す
るように大局的経路を計画すると共に、局所的な領域に
ついて任意の深度マップに対して準最適化した局所的経
路を求めておき、計画した大局的経路がトレースできな
かったとき、局所的経路を用いて経路を設定する請求項
１記載の浚渫船向け経路計画法である。

【００１０】請求項３の発明は、船体運動のシミュレー
タを用いてある時点の浚渫船の「状態」に対して実現可
能な１つ以上の針路を求め、これらを「行動」としてそ
の中から１つを選びながら浚渫・捨土サイクルを繰り返
し行わせ、そのときの状態と選択した行動に対して「報
酬」を与え、強化学習により経路計画を行う請求項１又
は２記載の浚渫船向け経路計画法である。

【００１１】請求項４の発明は、浚渫領域をメッシュに
区切り、各メッシュにおける水深等のデータを取り込ん
だ後に、浚渫船の位置・向きと各メッシュの「状態」に
対して最適な行動を行ったときの期待値−有用性−を浚
渫船が適当に「行動」したときの「報酬」から繰り返し
計算により推定し、これらから最も有用性の高い「行
動」を選択していくことにより、行動マップを作成し、
この行動マップから航路プランを作成して経路を計画す
る請求項１〜３いずれかに記載の浚渫船向け経路計画法
である。

【００１２】

【発明の実施の形態】以下、本発明の好適一実施の形態
を添付図面に基づいて詳述する。

【００１３】先ず、図１２により浚渫船１０の概要を説
明する。

【００１４】船体１１の側部には、先端下部にドラグヘ
ッド１２を有するドラグアーム１３が俯仰自在に設けら
れ、そのドラグアーム１３がワイヤ１４を介してスエル
コンペンセータ１５に支持され、そのスエルコンペンセ
ータ１５により、ワイヤ１４の張力を調整し、ドラグヘ
ッド１２の接地圧を調整できるようになっている。

【００１５】船体１１内には、ドラグヘッド１２からド
ラグアーム１３を介して海底１６の泥や砂を吸い込むド
レージポンプ１７が設けられると共に、そのドレージポ
ンプ１７で揚土された泥等を貯留する泥槽（図示せず）
が設けられる。

【００１６】また、船体１１の後方には、スラスタ１８
とラダー１９が設けられ、また船体１１の前後に横向き
の推進力を作り出して船を高速に回頭させるバウスラス
タ２０が設けられる。

【００１７】この浚渫船１０での浚渫作業は、ＧＰＳ２
１から浚渫船１０の位置を検出しながらスラスタ１８で
航行し、スエルコンペンセータ１５で、ドラグヘッド１
２が所定の接地圧となるようにワイヤ１４の張力を調整
し、さらにドレージポンプ１７が所定の回転となるよう
にし、そのドレージポンプ１７で、海底１６の泥等を吸
い込み、その吸い込んだ泥を船体１１内の泥槽に貯留し
て海底１６を浚渫するようになっている。

【００１８】この浚渫船１０には、後述するシステムに
スエルコンペンセータ１５の操作量と圧力、ドラグヘッ
ド１１の接地圧、ドレージポンプ１７の回転数とポンプ
吸入圧力、そのドレージポンプ１７で揚土した泥の含泥
率、スラスタ１８、バウスラスタ１９の操作量、ＧＰＳ
２１からの浚渫船の位置（ｘ，ｙ）や風等の外乱、等が
入力されるようになっている。

【００１９】さて、図１は本発明のシステムブロック図
を示したものである。

【００２０】先ず、図中の太線の矢印はオンライン入力
を示している。

【００２１】本システムは、基本的には、制御対象（浚
渫船）２５を、風，潮流等の外乱２６下でアクチュエー
タ操作部２７で操作したときに船の状態がどう変化する
かという浚渫船動特性ニューロモデル２８を求め、これ
をシステム予測状態２９とし、そのシステム予測状態２
９を、強化学習による大局的経路計画部３０と強化学習
による局所的経路計画部３１に入力し、大局的経路計画
部３０が、初期水深マップ３２ａから伝送された深度マ
ップより大局的針路マップ３３を作成し、局所的経路計
画部３１が、最新水深マップ３２ｂから伝送された最新
水深マップを基に局所的経路マップ３４を作成し、これ
ら針路マップ３３，３４がナビゲーション（大局的／局
所的）手動切替部３５に入力され、コンソール３６にて
自動針路モードが表示されるようになっている。

【００２２】この場合、大局的経路計画部３０と局所的
経路計画部３１には、外乱モデル４８が入力され、外乱
２６を考慮した経路計画が行えるようになっている。

【００２３】また、ナビゲーション（大局的／局所的）
手動切替部３５では、ユーザ入力部３７より、自動／手
動・大局／局所のモード切替、手動モード時の針路設定
などができるようになっている。

【００２４】ナビゲーション（大局的／局所的）手動切
替部３５は、大局的／局所的の設定モードに応じて大局
的針路マップ３３又は局所的針路マップ３４より、計画
した経路上の１次元深度水深マップを作成し、これを深
度一定制御，ニューロ制御部３８に入力する。

【００２５】深度一定制御，ニューロ制御部３８には、
システム予想状態２９から含泥量，ポンプ圧，接地圧，
深度が入力され、これにより、スラスタ量，針路，船速
を制御して深度一定制御を行うように含泥量一定ファジ
ィ制御部３９を介してパイロットＰＩＤ制御部４０に目
標船速・目標針路を出力する。

【００２６】含泥量一定ファジィ制御部３９では、ドレ
ージポンプで吸引する土砂の含泥率が一定となるよう，
ポンプ回転数，スエルコンペンセータの操作量を決定
し、アクチュエータ操作部２７に出力する。

【００２７】アクチュエータ操作部２７で、制御対象と
しての浚渫船２５を操作したときの、各種操作量（スラ
スタ操作量、ポンプ回転数、スエルコンペンセータ操作
量、バウスラスタ操作量、操舵操作量）は、状態推定の
ためにカルマンフィルタ４１に入力され、また浚渫船２
５が操作されたときの水深，ポンプ圧，含泥率，接地
圧，位置，速度などのセンサ生データがカルマンフィル
タ４１に入力され、さらにセンサモデル４３がカルマン
フィルタ４１で使用される。

【００２８】カルマンフィルタ４１には、浚渫船動特性
ニューロモデル２８からの動特性、浚渫船動特性モデル
４５からの動特性が入力され、これらを基にシステム状
態４６を生成し、そのシステム状態４６を浚渫船動特性
ニューロモデル２８と浚渫船動特性モデル４５に入力す
る。

【００２９】この図１のシステムにおける経路計画法
は、基本的には、経路の計画と計画された経路のトレー
スとからなっている。

【００３０】経路の計画段階では、作業マップを基に強
化学習を用いて大局的経路計画と任意の局所地形に対し
て局所的経路計画の二つの経路計画を行う。

【００３１】大局的経路計画では与えられた浚渫領域の
水深マップにおける複数回の浚渫を準最適化するように
経路計画を行う。

【００３２】局所的経路計画では、より局所的な領域に
ついて経路計画を行うが任意の水深マップについての経
路計画を行い、どのような海底地形における経路に対し
ても準最適な経路を求めておく。局所的経路計画で求め
られた経路は大局的経路計画の経路がトレースできなか
った場合に使用される。

【００３３】経路のトレース段階では、経路計画で作成
した経路に従う自動モードと針路もしくは推進器、舵角
の指示値を手動で設定する手動モードの選択が随時行え
る。

【００３４】自動モードは基本的には対局的経路計画を
トレースするモードだが、衝突回避等で計画された経路
から大きく離れた場合には、局所的経路計画により計画
された経路に切り替えることができる。

【００３５】作業マップは、浚渫領域の水深マップ、港
の位置、土砂処分場の領域、浚渫領域の潮流分布モデ
ル、風向風速分布モデルからなる。

【００３６】水深マップは経路計画時でもトレース時で
も浚渫作業を行うことで新たな水深に更新される。

【００３７】また計画経路をトレース時に計画から外れ
た場合は、元の経路計画に従って水深の更新は行わず、
トレースした通りに水深マップの更新を行う。船を中心
とする局所水深マップも浚渫が行われた通りに更新を行
う。

【００３８】浚渫船の運動特性モデルは、計画される経
路を実現可能なものとするために使用する。この運動特
性モデルは、運動特性の写像を精度よく近似できる何ら
かの方法で作成する、例えば微分方程式モデル、ニュー
ラルネットワークモデル、ファジィモデル等を使用す
る。

【００３９】次に、図２により、大局的経路計画を説明
する。

【００４０】図２において、大局的経路計画部３０に
は、作業マップ５０である浚渫領域水深マップ３２，外
乱としての潮流分布モデル，風向風速分布モデル５１，
港の位置５２、土砂処分場の領域５３等が入力され、ま
たユーザ入力３７から報酬設定部５４より適宜定めた報
酬が入力され、さらに船体運動シミュレータ５５より入
力される可能針路範囲から、状態、位置、方位５６を定
めて大局的経路計画部３０が強化学習によって最も報酬
の高い大局的針路マップ３３を作成する。

【００４１】船体運動のシミュレータ５５は、浚渫最適
化モジュール５７からメインスラスタ翼角，浚渫部抵抗
が、実現可能制御量生成部５８からバウスラスタ翼角，
舵角が浚渫船運動特性モデル５９に入力されて、位置と
方位と速度と角速度が決定され、これを基に実現可能針
路推定部６０が可能針路範囲を決定し、これを大局的経
路計画部３０に入力する。

【００４２】大局的経路計画部３０は、この船体運動の
シミュレータ５５を使用して浚渫領域に対して浚渫の状
態を得ることを繰り返し行わせ、状態値の更新を行い、
最終的に浚渫領域全体で準最適な行動をとった場合の報
酬の期待値を得、これから順次針路を決定して大局的針
路マップ３３を得る。また大局的針路マップ３３で計画
した経路で浚渫作業を行った場合の総作業時間等をコン
ソール３６に表示する。

【００４３】なお、針路を決定し、浚渫したときに、深
度更新を行い浚渫後の新たな深度を浚渫領域水深マップ
３２に入力する。

【００４４】強化学習の具体的な方法は、ある状態Ｓに
おいて行為ａを実行し、その後、最適な政策の基に動作
したときに得られるであろう価値の期待値を有用性−：
（Utility)と呼び、これをＵ( Ｓ,a) とし、状態Ｓの
時、行為ａを行った後に最適（と思われる）政策に則っ
て行動したｔ番目の状態と行動をＳ_t ，ａ_t とする。

【００４５】このとき有用性Ｕ( Ｓ, ａ) は、

【００４６】

【数１】

【００４７】と表すことができる。

【００４８】この数１において、状態Ｓ_t での行為ａ_t
についての報酬をｒ( Ｓ_t , ａ_t )とする。

【００４９】しかし、Ｕ( Ｓ,a) は、予め与えられてい
るわけではなく、強化学習では、Ｕ( Ｓ,a) の値は、学
習アルゴリズム内で経験に基づいて推測する。

【００５０】今、すでに学習されたデータを基に推測し
たUtiltyの推定値をＵold,今回の行為や試行の結果から
新たに推測したＵの推定値をＵ_* とする。

【００５１】Ｕの推定値を報酬ｒ_t 、行為ａ_t の結果の
状態Ｓ_t+1 及び関数Ｕold(Ｓ,a) からＱ学習と呼ばれる
強化学習のアルゴリズムを用いて求めると、

【００５２】

【数２】

【００５３】となる。

【００５４】この数２を図式で、図１０に示した。

【００５５】この推定されたＵ_* とすでに学習されたＵ
old から数３に示されている計算法にてＵを更新する。
ここでＵnew は更新後のＵの値、αは学習率である。

【００５６】

【数３】

【００５７】次に、浚渫における状態Ｓと行為としての
行動と報酬をより具体的に説明する。

【００５８】状態；先ず、各種アクチュエータの操作量
も状態として扱う。この場合、操作量であっても浚渫自
体の最適化のために任意の値がとれない場合もあるが、
その場合は経路計画と浚渫の最適化の間で重み付けを行
い操作量の値を決定する。

【００５９】以下の項目が本システムで使用する強化学
習における状態である。

【００６０】○浚渫領域全体のマップ ○浚渫領域全体の潮流、風の分布モデル ○港の位置 ○浚渫部抵抗とその履歴 ○船の位置、向き ○メインスラスタ操作量 ○バウスラスタ操作量 ○ラダー操作量 行動； ○針路 船体運動のシミュレータによりある状態におい
て実現可能な針路を求め、ある状態においてその範囲の
針路だけが行動として選択できる。船体運動のシミュレ
ータの浚渫最適化モジュールに対しては、これからとる
行動から計算される経路上の海底の凹凸を与え、それに
対して浚渫の最適化を行わせて、その経路上のメインス
ラスタ翼角、浚渫部抵抗を求める。

【００６１】報酬；行動を行った結果目的とする浚渫作
業が進められるほど高い数値を与える。評価項目が複数
ある場合は、目的に応じて重み付けを行い数値を与え
る。

【００６２】どのような値を報酬として与えるかはユー
ザが目的に応じて設定する。

【００６３】報酬例 ○短時間に設定深度よりも浅い部分がなくなった場合に
報酬を与える。

【００６４】次に図３により局所的経路計画を説明す
る。

【００６５】この局所的経路計画は、大局的経路計画と
基本的には同じであり、強化学習によって行うもので、
図において局所経路計画部３１には、作業マップ５０で
ある任意海底形状生成部６２、外乱としての潮流分布モ
デル，風向風速分布モデル５１，港の位置５２、土砂処
分場の領域５３が入力され、またユーザ入力３７から報
酬設定部５４より適宜定めた報酬が入力され、さらに船
体運動シミュレータ５５より入力される可能針路範囲か
ら、状態、位置、方位５６を定めて局所的経路計画部３
１にて任意海底面形状に対する最も報酬の高い局所的針
路マップ３４を作成する。

【００６６】船体運動のシミュレータ５５は、浚渫最適
化モジュール５７からメインスラスタ翼角，浚渫部抵抗
が、実現可能制御量生成部５８からバウスラスタ翼角，
舵角が浚渫船運動特性モデル５９に入力されて、位置と
方位と速度と角速度が決定され、これを基に実現可能針
路推定部６０が可能針路範囲を決定し、これを局所的経
路計画部３１に入力する。

【００６７】局所的経路計画部３１は、この船体運動の
シミュレータ５５を使用して浚渫領域に対して浚渫の状
態を得ることを繰り返し行わせ、状態値の更新を行い、
最終的に浚渫領域全体で準最適な行動をとった場合の報
酬の期待値を得、これから局所的針路を決定し、任意海
底形状に対する局所的針路マップ３４を作成する。

【００６８】強化学習における、その他の行動、報酬に
ついては大局的経路計画モジュールのものに準ずる。

【００６９】次に、強化学習による大局的経路計画と局
所的経路計画を、さらに具体的に説明する。

【００７０】図１２は、浚渫船１０が浚渫作業しながら
航行をする状態を海底面形状と共に概略斜視図で示した
ものである。

【００７１】先ず、経路計画を行うにおいて、図１３に
示すように浚渫領域Ｒを測船等で計測して深度を計測す
ると共に、浚渫領域Ｒをメッシュ状に区切り、各メッシ
ュ内の最も浅い所の深度を、そのメッシュの深度として
格納して水深マップ３０とし、これを適宜オンライン等
で取り込む。

【００７２】この水深マップ３２から、水深の浅い位置
Ｐ1 ，Ｐ2 ，…Ｐn を探し出し、大局的経路計画部３０
での経路の計画を行うと共に、局所的経路計画では、そ
の水深マップ３２の局所的な深度データに対する経路を
生成し、大局的な経路計画から大きくずれた場合には、
局所的経路計画部３１で、計画された経路に沿うように
航行する。

【００７３】図５は、強化学習による経路計画の基本的
フローを示したものである。

【００７４】先ず計画が開始７０され、浚渫領域データ
取り込み７１がなされ、有用性マップの各点の有用性を
推定７２することがなされ、有用性マップ再評価７３が
なされGreed Policy Map作成７４がなされ、ｓｔｅｐ１
で推定が十分に行えたかどうかの判断がなされ、十分行
われていない（ｎｏ）ときは、再度有用性マップの各点
の有用性を推定７２がなされ、十分行われた（ｙｅｓ）
ときは、現在位置からのプラン生成（経路計画）７５を
行って計画を終了７６する。

【００７５】図６は、図５の有用性マップの各点の有用
性（Utility ）推定７２の具体的フローを示したもので
ある。

【００７６】有用性推定開始８０がなされると、初期状
態設定８１がなされる。この設定８１は、探索行動確率
設定，結果の評価方法設定，浚渫船シミュレータ初期化
８２からなる。

【００７７】初期状態設定８１がなされた後は、乱数発
生８３がなされ、その乱数に基づいて行動がなされ、ｓ
ｔｅｐ２で探索行動確率以下かどうかの判断がなされ、
以下でなければ（ｎｏ）、最も有用性が高い行動を選択
８４し、以下であれば（ｙｅｓ）、現状でとれる行動の
中からランダムに選択８５し、シミュレータ上で行動を
実施し行動完了後の状態および行動を完了するまでの時
間を得る８６ようになる。この際、行動，状態の履歴を
記録８７しておく。

【００７８】次に行動が完了したときの時間の変更，状
態変更，浚渫地図更新８８を行い、ｓｔｅｐ３で、浚渫
終了か、すなわち浚渫領域内の浚渫を終えたかどうか判
断を行い、終了でなければ（ｎｏ）、乱数発生８３に戻
して有用性の推定を行い、終了したなら（ｙｅｓ）、合
計浚渫量、浚渫時間の集計８９を行い、この集計値を外
部から与えられた評価式に基づき評価を決定９０し、評
価を行動終了状態から順次伝搬させ有用性を再推定９１
する。この場合、行動と状態の履歴を順次読み出し９２
して再推定９１を行う、再推定９１を終えた後は、有用
性推定終了９３として、図５のフローに戻る。

【００７９】次に、図７により、図５のフローにおける
有用性マップについて簡略化したモデルで説明する。

【００８０】図７は、メッシュに区分けした海底面１０
０を現在時間から将来にわたって示したものであり、海
底面１００上の点線で囲った部分は、水深の浅い箇所Ｐ
1 ，Ｐ2 ，Ｐn を示している。

【００８１】海底面１００の海面上の任意のメッシュ１
０１の位置に浚渫船が位置し、そのときの浚渫船の向き
を、東西南北（Ｅ，Ｗ，Ｓ，Ｎ）に８方向で規定したと
き、例えば図で東Ｅ方向に向いているときの船の向きの
状態１０２とし、その向き状態１０２における回頭針路
マップ１０３中、位置、針路、時刻を状態とし、移動方
向を行動として、行動×状態毎に有用性を持つとし、こ
れに基づいて８方向での有用性マップ１０４の値を計算
する。

【００８２】この有用性マップ１０４の各要素Ｅ，Ｗ，
Ｓ，Ｎは、メッシュ１０１の位置における船の状態１０
２にあって、そのときに行える行動に対する行動の有用
性（最適な行動の結果どのくらい報酬を得ることが予想
されるかを示す値）を格納している。

【００８３】このマップに割り振られた有用性はシミュ
レーション上の繰り返し計算により更新され、徐々に実
際の有用性に近づく。

【００８４】有用性のマップの更新は、シミュレーショ
ン上での行動の結果をもとにマップ上の各メッシュ１０
１毎の点について推定した推定値Ｕ_* ( Ｓ,a) （数２に
基づき計算）と既存の有用性Ｕold(Ｓ,a) を用いて新た
な有用性マップ値Ｕnew(Ｓ,a) を数３に基づいて計算す
る。

【００８５】図７においては、浚渫船は、海底面１００
の海面上の深度の浅い箇所Ｐ2 近くのメッシュ１０１に
位置し、かつ船の向きが東Ｅを向いており、この状態
で、浅い箇所Ｐ2 に向かう方向（例では南東方向）が有
用性が最も高く、次に南Ｓの方向が次に有用性が高いこ
とを表しており、また北西の方向の針路は行動として取
ることができないことを示している。

【００８６】図７により有用性マップの推定と再評価を
終えたならば、次に図５のフローチャートで説明したよ
うにGreedly Policy Map作成を図８のように行う。

【００８７】Greedly Policy Mapは、浚渫船の状態に対
応した要素から成り立ち、各要素には、その状態で最も
有用性の高い行動が格納される。

【００８８】すなわち、図７と同様に海底面１００の海
面上の深度の浅い箇所Ｐ2 近くのメッシュ１０１に位置
にしているとき、そのメッシュ１０１で船が東方向を向
いているときの回頭針路マップ１０３に対して、有用性
マップ１０４が定められており、有用性マップ１０４に
格納された有用性のうち最適と推定された行動（針路南
東方向）が、その位置で東方向を向いているときにとる
べき行動１０５として格納される。

【００８９】このGreedly Policy Mapは、有用性マップ
評価によって各行動の有用性が変化するので、再評価後
にGreedly Policy Mapの更新を行う。

【００９０】図９は、航路プランの作成を説明するもの
で、図８でのGreedly Policy Mapに格納された最も有用
な行動１０５を選択し続けて船の状態を遷移させた結果
が航路プランＳＰとなることを示したものである。

【００９１】このように強化学習によって大局的経路或
いは局所的経路を設定した後は、その計画された経路を
トレースするように浚渫船を制御する。

【００９２】この計画された経路のトレース時のシステ
ムを図４により説明する。

【００９３】図４において、ナビゲーション大局的／局
所的／手動の切替部３５には、大局的針路マップ３３と
任意海底形状に対する局所的針路マップ３４が入力され
ると共に、図１に示したシステム状態４６から位置、方
位、速度、角速度等のセンサ入力６５が入力される。

【００９４】また、手動切替部３５は、ユーザ入力３７
にて、大局的と局所的モードを切替えるモード切替，手
動設定針路設定が行えるようになっている。また大局的
経路と局所的経路の切替は、予め定められた許容値を元
に自動で切り替えることができるようになっている。

【００９５】このユーザ入力３７では、ユーザが随時自
動モード、手動モードの選択を行える。手動モードでは
ユーザが手動で、速度・方位の指定もしくは、各スラス
タ，ラダーの操作量の指定を行い、衝突回避等に使用す
る。

【００９６】自動モードでは計画された大局的針路マッ
プ３３からの大局的計画経路に従って、経路と浚渫船の
位置における針路が示され３６ａ、経路は浚渫船最適化
モジュール６６（図１の深度一定制御３８と含泥量一定
ファジィ制御３９）に渡され、針路はパイロット部４０
に渡され、パイロット部４０で、浚渫船最適化モジュー
ル６６からの主スラスタ翼角が考慮された上で、その針
路へ向くようにラダー，バウスラスタが操作される。セ
ンサ入力６５から得られる位置と方位が、計画された経
路から設定された許容値よりも大きくずれた場合は、ナ
ビゲーション大局的／局所的／手動の切替部３５は、そ
のずれた位置から局所的針路マップ３４で設定された局
所的経路に従って針路をパイロット部４０に渡す。

【００９７】また針路により、経路が定まり、経路上の
浚渫が行われることにより、深度の更新がなされて浚渫
領域水深マップ３２に入力されてナビゲーション大局的
／局所的／手動の切替部３５と浚渫船最適化モジュール
６６に入力される。

【００９８】次に、計画された経路に追従できなかった
場合、もしくは回避衝突等のために手動で異なった経路
を航行した場合は、経路計画モードに応じて経路の再選
択を行う。大局的経路計画モードで経路の再選択を行う
場合は、事前の計画経路において状態空間中でもっとも
近い点から始めるが、その点が状態空間中で予め決めら
れた距離よりも遠い場合は局所的経路計画モードで経路
の再選択を行うこともできる。

【００９９】このように、浚渫船により移動しながら浚
渫を行うときに、浚渫、捨土のサイクルを複数回行う時
の経路を、複数の評価項目を考慮しながら強化学習を用
いて自動的に準最適化することで、掘り残し、浅くなっ
た箇所をねらって効率よく浚渫が行える。

【０１００】浚渫の最適化のために主推進器の推力、浚
渫部の抵抗等が変化するが、そのことを考慮して準最適
化が行える。

【０１０１】風、潮流等の外乱モデルを与えた場合で
も、実現可能な経路計画が行える。

【０１０２】浚渫時に予め作成した大局的な経路から大
きくずれてしまった場合は、予め作成してある局所的な
任意の海底形状に対する経路を用いて作業を続行するこ
ともできる。

【０１０３】

【発明の効果】以上要するに本発明によれば、浚渫領域
内を浚渫船が移動しながら浚渫を行うとき、強化学習に
より自動的に準最適化した経路を自動的に計画できる。

【図面の簡単な説明】

【図１】本発明における浚渫船向け経路計画法のシステ
ム構成を示す図である。

【図２】本発明において、大局的経路計画の学習時のシ
ステム構成を示す図である。

【図３】本発明において、局所的経路計画の学習時のシ
ステム構成を示す図である。

【図４】本発明において、計画経路トレース時のシステ
ム構成を示す図である。

【図５】本発明において、経路計画のフローチャートを
示す図である。

【図６】図５の有用性マップの各点の有用性の推定を説
明するフローチャートを示す図である。

【図７】本発明において、有用性マップを説明する図で
ある。

【図８】本発明において、Greedly Policy Mapの作成を
説明する図である。

【図９】本発明において、航路プラン作成を説明する図
である。

【図１０】本発明において、強化学習を説明する図であ
る。

【図１１】本発明における浚渫船の概略を示す図であ
る。

【図１２】本発明において、浚渫領域での浚渫船の浚渫
状況を示す概略斜視図である。

【図１３】本発明において、浚渫領域の深度マップを示
す図である。

【符号の説明】

３０ 大局的経路計画部 ３２ 浚渫領域深度マップ ３３ 大局的針路マップ ５５ 船体運動のシミュレータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 河野 幸弘 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 木通 秀樹 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 高橋 義明 東京都江東区豊洲二丁目１番１号 石川島 播磨重工業株式会社東京第一工場内 (72)発明者 出川 定男 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 Ｆターム(参考） 5H004 GB14 GB20 HA07 HB07 HB08 JA03 JA22 JB07 JB08 JB23 KB02 KB04 KB06 KC02 KC08 KC27 KC28 KD03 KD18 KD23 KD33 KD36 KD43 LA15 LA18 LB01 MA60 5H301 AA05 AA10 BB20 CC03 CC06 CC08 GG16 HH01 HH02 HH04 QQ06 9A001 FF07 GG08 HH06 HH08 HH09 HH32 KK27 KK33 KK53

Claims (4)

【特許請求の範囲】
1. 【請求項１】 浚渫エリア内で浚渫船を航行させながら
   浚渫を行うに際して、浚渫領域内の深度マップ等を作業
   マップとし、その作業マップと船体運動のシミュレータ
   とから強化学習を用いて準最適化した経路を計画するこ
   とを特徴とする浚渫船向け経路計画法。
2. 【請求項２】 浚渫・捨土のサイクルを１回の浚渫と呼
   ぶときに、複数回の浚渫を準最適化するように大局的経
   路を計画すると共に、局所的な領域について任意の深度
   マップに対して準最適化した局所的経路を求めておき、
   計画した大局的経路がトレースできなかったとき、局所
   的経路を用いて経路を設定する請求項１記載の浚渫船向
   け経路計画法。
3. 【請求項３】 船体運動のシミュレータを用いてある時
   点の浚渫船の「状態」に対して実現可能な１つ以上の針
   路を求め、これらを「行動」としてその中から１つを選
   びながら浚渫・捨土サイクルを繰り返し行わせ、そのと
   きの状態と選択した行動に対して「報酬」を与え、強化
   学習により経路計画を行う請求項１又は２記載の浚渫船
   向け経路計画法。
4. 【請求項４】 浚渫領域をメッシュに区切り、各メッシ
   ュにおける水深等のデータを取り込んだ後に、浚渫船の
   位置・向きと各メッシュの「状態」に対して最適な行動
   を行ったときの期待値−有用性−を浚渫船が適当に「行
   動」したときの「報酬」から繰り返し計算により推定
   し、これらから最も有用性の高い「行動」を選択してい
   くことにより、行動マップを作成し、この行動マップか
   ら航路プランを作成して経路を計画する請求項１〜３い
   ずれかに記載の浚渫船向け経路計画法。