JP2003182854A - コンテナターミナル運用最適化システム - Google Patents
コンテナターミナル運用最適化システムInfo
- Publication number
- JP2003182854A JP2003182854A JP2001388533A JP2001388533A JP2003182854A JP 2003182854 A JP2003182854 A JP 2003182854A JP 2001388533 A JP2001388533 A JP 2001388533A JP 2001388533 A JP2001388533 A JP 2001388533A JP 2003182854 A JP2003182854 A JP 2003182854A
- Authority
- JP
- Japan
- Prior art keywords
- container
- yard
- area
- buffer
- containers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 短時間で荷役作業を行うことができるコンテ
ナターミナル運用最適化システムとその方法を提供する
ことである。 【解決手段】 シミュレーション部は、Ｑ−ｌｅａｒｎ
ｉｎｇ法を用いて、ヤードエリアに保管されているコン
テナの配置位置を示すヤード配置データとバッファエリ
アに保管されるべき移動対象コンテナの希望配置位置を
示すバッファ配置データから最小移動回数で移動対象コ
ンテナをヤードエリアからバッファエリアに移動する手
順を決定する。制御装置は、決定された手順に従って、
移動対象コンテナをヤードエリアからバッファエリアに
移動するための指示をトランスファクレーンに出力す
る。
ナターミナル運用最適化システムとその方法を提供する
ことである。 【解決手段】 シミュレーション部は、Ｑ−ｌｅａｒｎ
ｉｎｇ法を用いて、ヤードエリアに保管されているコン
テナの配置位置を示すヤード配置データとバッファエリ
アに保管されるべき移動対象コンテナの希望配置位置を
示すバッファ配置データから最小移動回数で移動対象コ
ンテナをヤードエリアからバッファエリアに移動する手
順を決定する。制御装置は、決定された手順に従って、
移動対象コンテナをヤードエリアからバッファエリアに
移動するための指示をトランスファクレーンに出力す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、コンテナターミナ
ル運用最適化システムに関し、特にコンテナを効率良く
コンテナ船に積み込む技術に関する。
ル運用最適化システムに関し、特にコンテナを効率良く
コンテナ船に積み込む技術に関する。
【０００２】
【従来の技術】船舶を利用した貨物輸送は世界各国の港
で従来から盛んに行われてきた。通常、各貨物はコンテ
ナによって管理されるため、港では船舶に対してコンテ
ナの荷役作業が不可欠である。コンテナを船舶に積み込
む場合、各コンテナの輸送先が決まっており、船舶内で
はコンテナを移動することができないので、予め決定さ
れた積載順にコンテナを並べておく必要がある。コンテ
ナは各地からトラックによって運び込まれ、所定の領域
に積み上げられる。この領域をベイ、ベイの集合をヤー
ドエリアと呼ぶ。ヤードエリアのコンテナは積載順を無
視して並べられるため、船舶への積み込み前にコンテナ
を配置換えする必要が生じる。配置換え後、コンテナは
バッファエリアと呼ばれる領域に保管される。
で従来から盛んに行われてきた。通常、各貨物はコンテ
ナによって管理されるため、港では船舶に対してコンテ
ナの荷役作業が不可欠である。コンテナを船舶に積み込
む場合、各コンテナの輸送先が決まっており、船舶内で
はコンテナを移動することができないので、予め決定さ
れた積載順にコンテナを並べておく必要がある。コンテ
ナは各地からトラックによって運び込まれ、所定の領域
に積み上げられる。この領域をベイ、ベイの集合をヤー
ドエリアと呼ぶ。ヤードエリアのコンテナは積載順を無
視して並べられるため、船舶への積み込み前にコンテナ
を配置換えする必要が生じる。配置換え後、コンテナは
バッファエリアと呼ばれる領域に保管される。
【０００３】一方、港に停泊する船舶からは停泊料が徴
収される。料金は停泊時間を基準にして決定されるた
め、長時間停泊すると料金が高額になってしまう。この
ためコンテナの配置替えを効率よく行うことによって停
泊時間をできるだけ短くする方法が求められている。
収される。料金は停泊時間を基準にして決定されるた
め、長時間停泊すると料金が高額になってしまう。この
ためコンテナの配置替えを効率よく行うことによって停
泊時間をできるだけ短くする方法が求められている。
【０００４】コンテナの配置替えを行う場合、コンテナ
の配置と移動の組み合わせを全部記憶しておくことによ
って、最短時間の配置替え順序を探索することができ
る。しかし、配置と移動の組み合わせ数は、コンテナ数
が増加するにつれて指数関数的に増大するため、コンテ
ナ数が大きい場合は全ての組み合わせを記憶・利用する
ことは困難である。そこで、初期状態から局所的な探索
をはじめ、解の改善を行う手法が必要になる。
の配置と移動の組み合わせを全部記憶しておくことによ
って、最短時間の配置替え順序を探索することができ
る。しかし、配置と移動の組み合わせ数は、コンテナ数
が増加するにつれて指数関数的に増大するため、コンテ
ナ数が大きい場合は全ての組み合わせを記憶・利用する
ことは困難である。そこで、初期状態から局所的な探索
をはじめ、解の改善を行う手法が必要になる。
【０００５】上記説明と関連して、特開平９−１２１１
６号公報には、コンテナ配置替え計画作成方法が開示さ
れている。この引例では、Ｎ台の搬送手段が同期して搬
送物をセットとして一度に運ぶ場合において、セットの
搬送時間を最小にすることを目的としている。
６号公報には、コンテナ配置替え計画作成方法が開示さ
れている。この引例では、Ｎ台の搬送手段が同期して搬
送物をセットとして一度に運ぶ場合において、セットの
搬送時間を最小にすることを目的としている。
【０００６】また、特開平９−２６７９１８号公報には
コンテナターミナルにおける本線荷役計画作成方法が開
示されている。この引例では、岸壁荷役用クレーンの作
業時間とコンテナヤード荷役用クレーンの作業時間の調
整について述べている。
コンテナターミナルにおける本線荷役計画作成方法が開
示されている。この引例では、岸壁荷役用クレーンの作
業時間とコンテナヤード荷役用クレーンの作業時間の調
整について述べている。
【０００７】
【発明が解決しようとする課題】従って、本発明の課題
は、短時間で荷役作業を行うことができるコンテナター
ミナル運用最適化システムとその方法を提供することで
ある。
は、短時間で荷役作業を行うことができるコンテナター
ミナル運用最適化システムとその方法を提供することで
ある。
【０００８】本発明の他の課題は、コンテナの最小移動
を通して荷役作業を完了することができるように荷役作
業をシミュレーションし、その結果に基づいて荷役作業
を行うことができるコンテナターミナル運用最適化シス
テムとその方法を提供することである。
を通して荷役作業を完了することができるように荷役作
業をシミュレーションし、その結果に基づいて荷役作業
を行うことができるコンテナターミナル運用最適化シス
テムとその方法を提供することである。
【０００９】本発明の他の課題は、上記シミュレーショ
ンにQ-Learning法を適用してシミュレーションの効率を
改善したコンテナターミナル運用最適化システムとその
方法を提供することである。
ンにQ-Learning法を適用してシミュレーションの効率を
改善したコンテナターミナル運用最適化システムとその
方法を提供することである。
【００１０】本発明の他の課題は、Q-Learning法の適用
に際し、必要とされるメモリ容量を減らすことができる
コンテナターミナル運用最適化システムとその方法を提
供することである。
に際し、必要とされるメモリ容量を減らすことができる
コンテナターミナル運用最適化システムとその方法を提
供することである。
【００１１】
【課題を解決するための手段】以下に、［発明の実施の
形態］で使用する番号・符号を用いて、課題を解決する
ための手段を説明する。これらの番号・符号は、[特許
請求の範囲]の記載と［発明の実施の形態］の記載との
対応関係を明らかにするために付加されたものである
が、［特許請求の範囲］に記載されている発明の技術的
範囲の解釈に用いてはならない。
形態］で使用する番号・符号を用いて、課題を解決する
ための手段を説明する。これらの番号・符号は、[特許
請求の範囲]の記載と［発明の実施の形態］の記載との
対応関係を明らかにするために付加されたものである
が、［特許請求の範囲］に記載されている発明の技術的
範囲の解釈に用いてはならない。
【００１２】本発明の第１の観点で、コンテナターミナ
ル運用最適化システムは、ヤードエリアに保管されてい
るコンテナの配置位置を示すヤード配置データを格納す
るヤード配置データベース（３６）と、バッファエリア
に保管されるべき移動対象コンテナの希望配置位置を示
すバッファ配置データを格納するバッファ配置データベ
ース（３８）と、コンテナ船の輸送先を示すデータから
前記バッファ配置データを作成し、Ｑ−ｌｅａｒｎｉｎ
ｇ法を用いて、前記ヤード配置データと前記バッファ配
置データから最小移動回数で前記移動対象コンテナを前
記ヤードエリアから前記バッファエリアに移動する手順
を決定する制御部（４０）とを具備するコンテナターミ
ナル運用最適化システムは、前記移動対象コンテナを移
動するためのトランスファクレーン（１０）を更に具備
し、前記制御部（４０）は、前記決定された手順に従っ
て、前記移動対象コンテナを前記ヤードエリア（４）か
ら前記バッファエリア（６）に移動する順番を前記トラ
ンスファクレーン（１０）に指示する制御指示装置（４
４）を更に具備する。
ル運用最適化システムは、ヤードエリアに保管されてい
るコンテナの配置位置を示すヤード配置データを格納す
るヤード配置データベース（３６）と、バッファエリア
に保管されるべき移動対象コンテナの希望配置位置を示
すバッファ配置データを格納するバッファ配置データベ
ース（３８）と、コンテナ船の輸送先を示すデータから
前記バッファ配置データを作成し、Ｑ−ｌｅａｒｎｉｎ
ｇ法を用いて、前記ヤード配置データと前記バッファ配
置データから最小移動回数で前記移動対象コンテナを前
記ヤードエリアから前記バッファエリアに移動する手順
を決定する制御部（４０）とを具備するコンテナターミ
ナル運用最適化システムは、前記移動対象コンテナを移
動するためのトランスファクレーン（１０）を更に具備
し、前記制御部（４０）は、前記決定された手順に従っ
て、前記移動対象コンテナを前記ヤードエリア（４）か
ら前記バッファエリア（６）に移動する順番を前記トラ
ンスファクレーン（１０）に指示する制御指示装置（４
４）を更に具備する。
【００１３】前記トランスファクレーン（１０）は、前
記ヤードエリアに沿って設けられたレール（１２）上を
移動する。
記ヤードエリアに沿って設けられたレール（１２）上を
移動する。
【００１４】前記制御部（４０）は、Ｑ−ｌｅａｒｎｉ
ｎｇ法を実行するシミュレーション部（４２）を具備
し、前記シミュレーション部（４２）は、Ｑ−ｌｅａｒ
ｎｉｎｇ法を実行するとき、移動可能な前記異動対象コ
ンテナを前記ヤードエリア（４）から前記バッファエリ
ア（６）に移動し、残りの前記コンテナに前記Ｑ−ｌｅ
ａｒｎｉｎｇ法を実行する。このとき、前記残りのコン
テナ中の残りの前記移動対象コンテナの順列をについて
前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
ｎｇ法を実行するシミュレーション部（４２）を具備
し、前記シミュレーション部（４２）は、Ｑ−ｌｅａｒ
ｎｉｎｇ法を実行するとき、移動可能な前記異動対象コ
ンテナを前記ヤードエリア（４）から前記バッファエリ
ア（６）に移動し、残りの前記コンテナに前記Ｑ−ｌｅ
ａｒｎｉｎｇ法を実行する。このとき、前記残りのコン
テナ中の残りの前記移動対象コンテナの順列をについて
前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
【００１５】本発明の第２の観点では、コンテナターミ
ナル運用最適化方法は、コンテナ船の輸送先を示すデー
タからバッファ配置データを作成するステップと、前記
バッファ配置データは、バッファエリアに保管されるべ
き移動対象コンテナの希望配置位置を示し、Ｑ−ｌｅａ
ｒｎｉｎｇ法を用いて、ヤード配置データと前記バッフ
ァ配置データから最小移動回数で移動対象コンテナをヤ
ードエリアからバッファエリアに移動する手順を決定す
るステップと、前記ヤード配置データは、前記ヤードエ
リアに保管されているコンテナの配置位置を示し、前記
決定された手順に従って、前記移動対象コンテナを前記
ヤードエリアから前記バッファエリアに移動するステッ
プとを具備する。
ナル運用最適化方法は、コンテナ船の輸送先を示すデー
タからバッファ配置データを作成するステップと、前記
バッファ配置データは、バッファエリアに保管されるべ
き移動対象コンテナの希望配置位置を示し、Ｑ−ｌｅａ
ｒｎｉｎｇ法を用いて、ヤード配置データと前記バッフ
ァ配置データから最小移動回数で移動対象コンテナをヤ
ードエリアからバッファエリアに移動する手順を決定す
るステップと、前記ヤード配置データは、前記ヤードエ
リアに保管されているコンテナの配置位置を示し、前記
決定された手順に従って、前記移動対象コンテナを前記
ヤードエリアから前記バッファエリアに移動するステッ
プとを具備する。
【００１６】前記決定するステップは、移動可能な前記
移動対象コンテナを前記ヤードエリアから前記バッファ
エリアに移動し、残りの前記コンテナに前記Ｑ−ｌｅａ
ｒｎｉｎｇ法を実行するステップを具備する。
移動対象コンテナを前記ヤードエリアから前記バッファ
エリアに移動し、残りの前記コンテナに前記Ｑ−ｌｅａ
ｒｎｉｎｇ法を実行するステップを具備する。
【００１７】前記実行するステップは、残りのコンテナ
中の残りの前記異動対象コンテナの順列をについて前記
Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
中の残りの前記異動対象コンテナの順列をについて前記
Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
【００１８】本発明の第３の観点では、コンテナターミ
ナル運用最適化方法は、（ａ）配置替え可能な移動対象
コンテナが存在するか否かを判定するステップと、
（ｂ）配置替え可能な前記移動対象コンテナが存在する
とき、全ての前記移動可能コンテナをヤードエリアから
バッファエリアに移動するステップと、（ｃ）配置替え
可能ではない前記移動対象コンテナの特定のものを選択
するステップと、（ｄ）Ｑ値を更新しながら前記移動対
象コンテナを前記ヤードエリアから前記バッファエリア
に移動するステップと、（ｅ）前記移動対象コンテナが
前記ヤードエリアに存在しなくなるまで、前記ステップ
（ａ）から（ｄ）までを繰り返すステップとを具備す
る。
ナル運用最適化方法は、（ａ）配置替え可能な移動対象
コンテナが存在するか否かを判定するステップと、
（ｂ）配置替え可能な前記移動対象コンテナが存在する
とき、全ての前記移動可能コンテナをヤードエリアから
バッファエリアに移動するステップと、（ｃ）配置替え
可能ではない前記移動対象コンテナの特定のものを選択
するステップと、（ｄ）Ｑ値を更新しながら前記移動対
象コンテナを前記ヤードエリアから前記バッファエリア
に移動するステップと、（ｅ）前記移動対象コンテナが
前記ヤードエリアに存在しなくなるまで、前記ステップ
（ａ）から（ｄ）までを繰り返すステップとを具備す
る。
【００１９】前記ステップ（ａ）から（ｅ）までを、前
記移動対象コンテナを並べたときの全ての順列に対して
実行して、コンテナの移動回数が最も少ない順列を決定
する。また、前記ステップ（ｄ）は、前記移動対象コン
テナ以外のコンテナをヤード内で移動して前記特定の移
動対象コンテナを見いだし、前記特定の移動対象コンテ
ナを前記ヤードエリアから前記バッファエリアに移動す
るステップを具備する。
記移動対象コンテナを並べたときの全ての順列に対して
実行して、コンテナの移動回数が最も少ない順列を決定
する。また、前記ステップ（ｄ）は、前記移動対象コン
テナ以外のコンテナをヤード内で移動して前記特定の移
動対象コンテナを見いだし、前記特定の移動対象コンテ
ナを前記ヤードエリアから前記バッファエリアに移動す
るステップを具備する。
【００２０】近年、わが国のコンテナターミナルの整備
の立ち遅れやサービス水準の低下が指摘されており、中
枢国際港湾の整備が緊急の課題となっている。このよう
な状況の中でコンテナターミナルのオペレーションに着
目し、そのスピードアップを図るために、試行錯誤を通
じて最適解を導出する強化学習の一手法であるQ-Learni
ng法をコンテナの配置替え荷役作業に適用し、短時間で
荷役作業を終えることができる最適な運用化システムが
提供される。
の立ち遅れやサービス水準の低下が指摘されており、中
枢国際港湾の整備が緊急の課題となっている。このよう
な状況の中でコンテナターミナルのオペレーションに着
目し、そのスピードアップを図るために、試行錯誤を通
じて最適解を導出する強化学習の一手法であるQ-Learni
ng法をコンテナの配置替え荷役作業に適用し、短時間で
荷役作業を終えることができる最適な運用化システムが
提供される。
【００２１】
【発明の実施の形態】以下に添付図面を参照して、本発
明のコンテナターミナル運用最適化システムについて詳
細に説明する。
明のコンテナターミナル運用最適化システムについて詳
細に説明する。
【００２２】図１は、本発明の実施の形態が適用される
コンテナターミナルと最適化システムを示している。コ
ンテナターミナルは、ヤードエリア４とバッファエリア
６とを有する。ヤードエリア４は、複数のベイ８からな
る。ヤードエリア４とバッファエリア６の両側にはトラ
ンスファクレーン１０用のレール１２が設けられてい
る。トランスファクレーン１０は、レール１２に沿っ
て、ヤードエリア４とバッファエリア６とを移動する。
最適化システムは、制御装置２を含み、制御装置２は、
トランスファークレーン１０の動作を監視し、制御す
る。
コンテナターミナルと最適化システムを示している。コ
ンテナターミナルは、ヤードエリア４とバッファエリア
６とを有する。ヤードエリア４は、複数のベイ８からな
る。ヤードエリア４とバッファエリア６の両側にはトラ
ンスファクレーン１０用のレール１２が設けられてい
る。トランスファクレーン１０は、レール１２に沿っ
て、ヤードエリア４とバッファエリア６とを移動する。
最適化システムは、制御装置２を含み、制御装置２は、
トランスファークレーン１０の動作を監視し、制御す
る。
【００２３】コンテナトラックで運ばれてきたコンテナ
は、トランスファクレーン１０によりいずれかのベイ８
に積み上げられる。コンテナ船２０の入港が予定される
ときには、制御装置２は、輸送先を示すデータからコン
テナの最適な荷役作業を計画し、その計画に従ってトラ
ンスファクレーン１０にヤードエリア４からバッファエ
リア６にコンテナを移動する順番を指示する。その後、
コンテナ船２０が埠頭に着岸したときには、トランスフ
ァクレーン１０は、制御装置２からの指示に従ってヤー
ドシャーシ１４にコンテナを積む。ヤードシャーシ１４
は、コンテナを積んだまま埠頭に移動する。岸壁荷役用
クレーン２２は、ヤードシャーシ１４に積載されていた
コンテナをコンテナ船２０の内部に順番に移動する。こ
うして、効率よくコンテナはヤードエリア４からコンテ
ナ船２０に積み込まれることができる。
は、トランスファクレーン１０によりいずれかのベイ８
に積み上げられる。コンテナ船２０の入港が予定される
ときには、制御装置２は、輸送先を示すデータからコン
テナの最適な荷役作業を計画し、その計画に従ってトラ
ンスファクレーン１０にヤードエリア４からバッファエ
リア６にコンテナを移動する順番を指示する。その後、
コンテナ船２０が埠頭に着岸したときには、トランスフ
ァクレーン１０は、制御装置２からの指示に従ってヤー
ドシャーシ１４にコンテナを積む。ヤードシャーシ１４
は、コンテナを積んだまま埠頭に移動する。岸壁荷役用
クレーン２２は、ヤードシャーシ１４に積載されていた
コンテナをコンテナ船２０の内部に順番に移動する。こ
うして、効率よくコンテナはヤードエリア４からコンテ
ナ船２０に積み込まれることができる。
【００２４】制御装置２は、ヤード配置データベース３
６、バッファ配置データベース３８、制御部４０、入力
装置３２、出力装置３４とを有する。制御部４０は、シ
ミュレータ４２と制御指示装置４４とを備えている。ヤ
ード配置データベース３６は、各コンテナのヤードエリ
ア４での保管位置を示すヤード配置データを格納してい
る。また、バッファ配置データベース３８は、バッファ
エリア６に移動されたコンテナの一時保管位置を示すバ
ッファ配置データを格納している。コンテナ船２０の入
港が予定されるときには、コンテナ船２０の輸送先を示
すデータが入力装置３２からシミュレータ４２に入力さ
れる。シミュレータ４２は、輸送先データとヤード配置
データとからバッファ配置データを作成する。その後、
シミュレータ４２は、ヤード配置データとバッファ配置
データから、コンテナ船２０に積み込まれるべきコンテ
ナの最適な順番をシミュレートして配置替え計画を立案
する。立案された計画は出力装置３４に出力される。ま
た、制御指示装置４４は、その計画に従って指示をトラ
ンスファクレーン１０に出力する。こうして、コンテナ
の移動回数が最小となる最適な順番でコンテナはヤード
エリア４からバッファエリア８に配置替えされることが
できる。
６、バッファ配置データベース３８、制御部４０、入力
装置３２、出力装置３４とを有する。制御部４０は、シ
ミュレータ４２と制御指示装置４４とを備えている。ヤ
ード配置データベース３６は、各コンテナのヤードエリ
ア４での保管位置を示すヤード配置データを格納してい
る。また、バッファ配置データベース３８は、バッファ
エリア６に移動されたコンテナの一時保管位置を示すバ
ッファ配置データを格納している。コンテナ船２０の入
港が予定されるときには、コンテナ船２０の輸送先を示
すデータが入力装置３２からシミュレータ４２に入力さ
れる。シミュレータ４２は、輸送先データとヤード配置
データとからバッファ配置データを作成する。その後、
シミュレータ４２は、ヤード配置データとバッファ配置
データから、コンテナ船２０に積み込まれるべきコンテ
ナの最適な順番をシミュレートして配置替え計画を立案
する。立案された計画は出力装置３４に出力される。ま
た、制御指示装置４４は、その計画に従って指示をトラ
ンスファクレーン１０に出力する。こうして、コンテナ
の移動回数が最小となる最適な順番でコンテナはヤード
エリア４からバッファエリア８に配置替えされることが
できる。
【００２５】次に、コンテナの配置替え作業について説
明する。
明する。
【００２６】先ず、図３を参照して、ヤードエリア４と
バッファエリア６について説明する。一例として、図３
（ａ）に示されるように、ヤードエリア４に２つのベイ
８が存在するとする。この場合、ベイ８に積み上げられ
ているコンテナには、図示のように番号がつけられてい
る。また、輸送先はヤード配置データとリンクされてい
る。コンテナ船２０の輸送先データに基づいて、バッフ
ァエリア８に積み上げられるべきコンテナの位置が図３
（ｂ）に示されるとおりであるとする。実際にベイ８に
積み上げられているコンテナの状態が図３（ｃ）に示さ
れている。このとき、コンテナを図３（ｂ）に示される
ようにコンテナを最も効率よく積み上げることを考え
る。
バッファエリア６について説明する。一例として、図３
（ａ）に示されるように、ヤードエリア４に２つのベイ
８が存在するとする。この場合、ベイ８に積み上げられ
ているコンテナには、図示のように番号がつけられてい
る。また、輸送先はヤード配置データとリンクされてい
る。コンテナ船２０の輸送先データに基づいて、バッフ
ァエリア８に積み上げられるべきコンテナの位置が図３
（ｂ）に示されるとおりであるとする。実際にベイ８に
積み上げられているコンテナの状態が図３（ｃ）に示さ
れている。このとき、コンテナを図３（ｂ）に示される
ようにコンテナを最も効率よく積み上げることを考え
る。
【００２７】図７は、荷繰り、配置替え操作の第１例を
示している。この例では、バッファエリア８に移動され
配置されるコンテナの順番は、Ｃ１、Ｃ２，Ｃ３、Ｃ
４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順である。このた
めの操作を図４と図５を参照して説明する。
示している。この例では、バッファエリア８に移動され
配置されるコンテナの順番は、Ｃ１、Ｃ２，Ｃ３、Ｃ
４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順である。このた
めの操作を図４と図５を参照して説明する。
【００２８】図４（ａ）から（ｆ）と図５（ｇ）から
（ｍ）は、図７に示される荷役作業計画のステップに対
応している。左２つは、ベイ８でのコンテナの保管状況
を示し、右端はバッファエリア８でのコンテナの一時保
管状況を示している。
（ｍ）は、図７に示される荷役作業計画のステップに対
応している。左２つは、ベイ８でのコンテナの保管状況
を示し、右端はバッファエリア８でのコンテナの一時保
管状況を示している。
【００２９】図４（ａ）は、最初のステップを示してい
る。図３（ｃ）に示される状態から、コンテナＣ１を配
置替えするためにコンテナＣ９が荷繰りされる。次に、
第２ステップでは、コンテナＣ１は移動可能であるの
で、コンテナＣ１がバッファエリア８に移動される。次
に、第３ステップでは、コンテナＣ２のためにコンテナ
Ｃ７が荷繰りされる。続いて第４ステップでは、コンテ
ナＣ２がバッファエリア８に配置替えされる。第５ステ
ップでは、コンテナＣ５が荷繰りされ、第６ステップで
は、コンテナＣ３がバッファエリア８に配置替えされ
る。第７ステップでは、コンテナＣ４がバッファエリア
８に配置替えされ、続いて第８ステップではコンテナＣ
５がバッファエリア８に配置替えされる。次に、第９ス
テップでは、コンテナＣ９が荷繰りされ、第１０ステッ
プではコンテナＣ６がバッファエリア８に配置替えされ
る。続いて、第１１ステップでは、コンテナＣ７が配置
替えされ、第１２ステップではコンテナＣ８がバッファ
エリア８に配置替えされる。最後に、第１３ステップで
コンテナＣ９がバッファエリア８に配置替えされる。荷
役作業計画の第１例では、コンテナは、Ｃ１、Ｃ２、Ｃ
３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順で配置替
えされている。このように、Ｃ１からＣ９までのコンテ
ナを、図３（ｂ）に示される所望の順番に積み上げるた
めに、１３ステップを要することになる。
る。図３（ｃ）に示される状態から、コンテナＣ１を配
置替えするためにコンテナＣ９が荷繰りされる。次に、
第２ステップでは、コンテナＣ１は移動可能であるの
で、コンテナＣ１がバッファエリア８に移動される。次
に、第３ステップでは、コンテナＣ２のためにコンテナ
Ｃ７が荷繰りされる。続いて第４ステップでは、コンテ
ナＣ２がバッファエリア８に配置替えされる。第５ステ
ップでは、コンテナＣ５が荷繰りされ、第６ステップで
は、コンテナＣ３がバッファエリア８に配置替えされ
る。第７ステップでは、コンテナＣ４がバッファエリア
８に配置替えされ、続いて第８ステップではコンテナＣ
５がバッファエリア８に配置替えされる。次に、第９ス
テップでは、コンテナＣ９が荷繰りされ、第１０ステッ
プではコンテナＣ６がバッファエリア８に配置替えされ
る。続いて、第１１ステップでは、コンテナＣ７が配置
替えされ、第１２ステップではコンテナＣ８がバッファ
エリア８に配置替えされる。最後に、第１３ステップで
コンテナＣ９がバッファエリア８に配置替えされる。荷
役作業計画の第１例では、コンテナは、Ｃ１、Ｃ２、Ｃ
３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順で配置替
えされている。このように、Ｃ１からＣ９までのコンテ
ナを、図３（ｂ）に示される所望の順番に積み上げるた
めに、１３ステップを要することになる。
【００３０】次に、図８は、荷役作業計画の第２例を示
している。この例では、バッファエリア８に移動され配
置されるコンテナの順番は、Ｃ２、Ｃ５，Ｃ３、Ｃ６、
Ｃ９、Ｃ１、Ｃ４、Ｃ７、Ｃ８の順である。このための
操作を図６を参照して説明する。図６（ａ）から（ｊ）
は、図８のステップに対応している。左２つは、ベイ８
でのコンテナの保管状況を示し、右端はバッファエリア
８でのコンテナの一時保管状況を示している。
している。この例では、バッファエリア８に移動され配
置されるコンテナの順番は、Ｃ２、Ｃ５，Ｃ３、Ｃ６、
Ｃ９、Ｃ１、Ｃ４、Ｃ７、Ｃ８の順である。このための
操作を図６を参照して説明する。図６（ａ）から（ｊ）
は、図８のステップに対応している。左２つは、ベイ８
でのコンテナの保管状況を示し、右端はバッファエリア
８でのコンテナの一時保管状況を示している。
【００３１】図６（ａ）は、最初のステップを示してい
る。図３（ｃ）に示される状態から、コンテナＣ２を配
置替えするためにコンテナＣ５が荷繰りされる。第１ス
テップで、ヤードエリア４で荷替え可能コンテナは、Ｃ
６、Ｃ９、Ｃ４、Ｃ８、Ｃ７、Ｃ５であるが、バッファ
エリア８では荷替え可能コンテナはＣ１、Ｃ２、Ｃ３で
あり、実際に荷替え可能なコンテナは存在しない。そこ
で、コンテナＣ７が荷繰りされる。ここで、コンテナＣ
７が選択されたのは、Ｑ−ｌｅａｒｎｉｎｇ法による学
習の結果である。
る。図３（ｃ）に示される状態から、コンテナＣ２を配
置替えするためにコンテナＣ５が荷繰りされる。第１ス
テップで、ヤードエリア４で荷替え可能コンテナは、Ｃ
６、Ｃ９、Ｃ４、Ｃ８、Ｃ７、Ｃ５であるが、バッファ
エリア８では荷替え可能コンテナはＣ１、Ｃ２、Ｃ３で
あり、実際に荷替え可能なコンテナは存在しない。そこ
で、コンテナＣ７が荷繰りされる。ここで、コンテナＣ
７が選択されたのは、Ｑ−ｌｅａｒｎｉｎｇ法による学
習の結果である。
【００３２】第２ステップでは、ヤードエリア４で荷替
え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ２、Ｃ
５であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ２、Ｃ３であり、コンテナＣ２は配置替え可
能である。従って、第２ステップでコンテナＣ２がバッ
ファエリア８に配置替えされる。
え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ２、Ｃ
５であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ２、Ｃ３であり、コンテナＣ２は配置替え可
能である。従って、第２ステップでコンテナＣ２がバッ
ファエリア８に配置替えされる。
【００３３】次に、第３ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ
５であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ５、Ｃ３であり、コンテナＣ５は配置替え可
能である。従って、第３ステップでコンテナＣ５がバッ
ファエリア８に配置替えされる。
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ
５であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ５、Ｃ３であり、コンテナＣ５は配置替え可
能である。従って、第３ステップでコンテナＣ５がバッ
ファエリア８に配置替えされる。
【００３４】次に、第４ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ
３であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ８、Ｃ３であり、コンテナＣ３は配置替え可
能である。従って、第４ステップでコンテナＣ３がバッ
ファエリア８に配置替えされる。
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ
３であるが、バッファエリア８では荷替え可能コンテナ
はＣ１、Ｃ８、Ｃ３であり、コンテナＣ３は配置替え可
能である。従って、第４ステップでコンテナＣ３がバッ
ファエリア８に配置替えされる。
【００３５】次に、第５ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７であ
るが、バッファエリア８では荷替え可能コンテナはＣ
１、Ｃ８、Ｃ６であり、コンテナＣ６は配置替え可能で
ある。従って、第５ステップでコンテナＣ６がバッファ
エリア８に配置替えされる。
で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７であ
るが、バッファエリア８では荷替え可能コンテナはＣ
１、Ｃ８、Ｃ６であり、コンテナＣ６は配置替え可能で
ある。従って、第５ステップでコンテナＣ６がバッファ
エリア８に配置替えされる。
【００３６】次に、第６ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ９、Ｃ４、Ｃ７であるが、
バッファエリア８では荷替え可能コンテナはＣ１、Ｃ
８、Ｃ９であり、コンテナＣ９は配置替え可能である。
従って、第６ステップでコンテナＣ９がバッファエリア
８に配置替えされる。
で荷替え可能コンテナは、Ｃ９、Ｃ４、Ｃ７であるが、
バッファエリア８では荷替え可能コンテナはＣ１、Ｃ
８、Ｃ９であり、コンテナＣ９は配置替え可能である。
従って、第６ステップでコンテナＣ９がバッファエリア
８に配置替えされる。
【００３７】次に、第７ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ１、Ｃ４、Ｃ７であるが、
バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８
であり、コンテナＣ１は配置替え可能である。従って、
第７ステップでコンテナＣ１がバッファエリア８に配置
替えされる。
で荷替え可能コンテナは、Ｃ１、Ｃ４、Ｃ７であるが、
バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８
であり、コンテナＣ１は配置替え可能である。従って、
第７ステップでコンテナＣ１がバッファエリア８に配置
替えされる。
【００３８】次に、第８ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ４、Ｃ７であるが、バッフ
ァエリア８では荷替え可能コンテナはＣ４、Ｃ８であ
り、コンテナＣ４は配置替え可能である。従って、第８
ステップでコンテナＣ４がバッファエリア８に配置替え
される。
で荷替え可能コンテナは、Ｃ４、Ｃ７であるが、バッフ
ァエリア８では荷替え可能コンテナはＣ４、Ｃ８であ
り、コンテナＣ４は配置替え可能である。従って、第８
ステップでコンテナＣ４がバッファエリア８に配置替え
される。
【００３９】次に、第９ステップでは、ヤードエリア４
で荷替え可能コンテナは、Ｃ７であるが、バッファエリ
ア８では荷替え可能コンテナはＣ７、Ｃ８であり、コン
テナＣ７は配置替え可能である。従って、第９ステップ
でコンテナＣ７がバッファエリア８に配置替えされる。
で荷替え可能コンテナは、Ｃ７であるが、バッファエリ
ア８では荷替え可能コンテナはＣ７、Ｃ８であり、コン
テナＣ７は配置替え可能である。従って、第９ステップ
でコンテナＣ７がバッファエリア８に配置替えされる。
【００４０】最後に、第１０ステップでは、ヤードエリ
ア４で荷替え可能コンテナは、Ｃ８であるが、バッファ
エリア８では荷替え可能コンテナはＣ８であり、コンテ
ナＣ８は配置替え可能である。従って、第１０ステップ
でコンテナＣ８がバッファエリア８に配置替えされる。
ア４で荷替え可能コンテナは、Ｃ８であるが、バッファ
エリア８では荷替え可能コンテナはＣ８であり、コンテ
ナＣ８は配置替え可能である。従って、第１０ステップ
でコンテナＣ８がバッファエリア８に配置替えされる。
【００４１】こうして、荷役作業計画の第２例では、１
０ステップでコンテナＣ１からコンテナＣ９が所望の位
置に配置替えされている。一方、第１例では、１３ステ
ップかかっている。このように、配置替えの手順を考え
るだけで最小の移動回数でコンテナをヤードエリア４か
らバッファエリア６に配置替えすることができる。
０ステップでコンテナＣ１からコンテナＣ９が所望の位
置に配置替えされている。一方、第１例では、１３ステ
ップかかっている。このように、配置替えの手順を考え
るだけで最小の移動回数でコンテナをヤードエリア４か
らバッファエリア６に配置替えすることができる。
【００４２】次にこのような効率の良い配置替えをシミ
ュレーションするために強化学習法としてのＱ−ｌｅａ
ｒｎｉｎｇ法を適用することを考える。このために、Ｑ
−ｌｅａｒｎｉｎｇ法におけるQ値は、ある状態とある
動作の評価値を有する。ここで、配置替え問題の場合に
は、Q値（Q(s,a)）は、コンテナの配置状態(s)と、この
コンテナをヤードエリア４内での荷繰り操作、ヤードエ
リア４からバッファエリア８への配置替え操作(a)によ
り定義される。Ｑ値（Q(s,a)）が最適値を持つように以
下に示すアルゴリズムで更新していくことにより、コン
テナの移動回数を最小にするコンテナの配置換え荷役を
計画する。 （１） コンテナ状態sを観測する。 （２） 任意の行動選択方法に従ってコンテナの移動行
動aを実行する。 （３） 移動行動に対する報酬rを受け取る。 （４） 配置換え後のコンテナ状態s'を観測する。 （５） 以下の更新式よりQ値を更新する。 Q(s,a)←(1−α)×Q(s,a)＋α［r+γ・max Q(s',a')］ ただし、αは学習率（0<α<1）、γは割引率(0<γ<1) （６） 時間ステップtをt+1へ進めて手順(1)へ戻る。
ュレーションするために強化学習法としてのＱ−ｌｅａ
ｒｎｉｎｇ法を適用することを考える。このために、Ｑ
−ｌｅａｒｎｉｎｇ法におけるQ値は、ある状態とある
動作の評価値を有する。ここで、配置替え問題の場合に
は、Q値（Q(s,a)）は、コンテナの配置状態(s)と、この
コンテナをヤードエリア４内での荷繰り操作、ヤードエ
リア４からバッファエリア８への配置替え操作(a)によ
り定義される。Ｑ値（Q(s,a)）が最適値を持つように以
下に示すアルゴリズムで更新していくことにより、コン
テナの移動回数を最小にするコンテナの配置換え荷役を
計画する。 （１） コンテナ状態sを観測する。 （２） 任意の行動選択方法に従ってコンテナの移動行
動aを実行する。 （３） 移動行動に対する報酬rを受け取る。 （４） 配置換え後のコンテナ状態s'を観測する。 （５） 以下の更新式よりQ値を更新する。 Q(s,a)←(1−α)×Q(s,a)＋α［r+γ・max Q(s',a')］ ただし、αは学習率（0<α<1）、γは割引率(0<γ<1) （６） 時間ステップtをt+1へ進めて手順(1)へ戻る。
【００４３】従来のQ-learning法では、xi,uj,(i=
1,．．．,m,j=1,・・・,n)をそれぞれのプラントの状態
変数、入力とする。各(xi,uj)の組み合わせに対応する
評価としてQ値を与える。Q値の集合をQ値表といい、各u
jは対応する1Q値表を持つ。よって全ての(xi,uj)の組み
合わせに対する評価を行うために、n個のQ値表が必要で
ある。Q値表の入力はxi、出力はQ(xi,uj)である。プラ
ントの特性が未知の場合、Q(xi,uj)も未知である。従っ
てQ(xi,uj)の時刻tにおける推定値をQt(xi,uj)として、
次の式（１）でこれを更新する：
1,．．．,m,j=1,・・・,n)をそれぞれのプラントの状態
変数、入力とする。各(xi,uj)の組み合わせに対応する
評価としてQ値を与える。Q値の集合をQ値表といい、各u
jは対応する1Q値表を持つ。よって全ての(xi,uj)の組み
合わせに対する評価を行うために、n個のQ値表が必要で
ある。Q値表の入力はxi、出力はQ(xi,uj)である。プラ
ントの特性が未知の場合、Q(xi,uj)も未知である。従っ
てQ(xi,uj)の時刻tにおける推定値をQt(xi,uj)として、
次の式（１）でこれを更新する：
【数１】
ここで、0<γ<1は割引率、αは学習率である。また、Rt
は報酬で、時刻t−1の制御入力がuj、時刻tのプラント
状態がx'の場合に与える。このとき、式(1)によって更
新されるのは、(xi,uj)に対応する1Q値のみである。
は報酬で、時刻t−1の制御入力がuj、時刻tのプラント
状態がx'の場合に与える。このとき、式(1)によって更
新されるのは、(xi,uj)に対応する1Q値のみである。
【００４４】学習初期には、多くの(xi,uj)に対するQ(x
i,uj)を繰り返し更新する必要がある。このため以下の
式（２）のボルツマン分布によって入力ujを選択する方
法が広く使われている。
i,uj)を繰り返し更新する必要がある。このため以下の
式（２）のボルツマン分布によって入力ujを選択する方
法が広く使われている。
【数２】
ただし、Tは温度定数である。
【００４５】ここで、k個のコンテナの配置替え問題を
考える。各コンテナはc1からckまでの固有の識別子を持
つ。コンテナは１個のベイ８にランダムに積み上げられ
ている。船舶に荷積みするコンテナの順序が決まってい
るため、コンテナをベイ８からバッファエリア６と呼ば
れる領域に配置替えする。バッファエリア６の配置はコ
ンテナの荷積み順に従って予め決定する。ベイの大きさ
はmy行ny列、コンテナの高さがｌ、バッファエリアの大
きさはmb行nb列とする。ヤードエリア内の位置は1からm
y×ny×lまでの整数で識別する。また、コンテナci(i=
1，．．．，k)のヤードエリア内の位置をxi(xiは、1以
上かつmy×ny×l以下の数)とし、ヤードエリアの配置を
x=[x1，．．．，xk]と表す。ただし、ciがバッファエリ
アにある場合はxi=0とする。バッファエリアにはベイか
らコンテナを移動し、下から積み上げる。このため、バ
ッファエリアに移動可能なコンテナはバッファエリアの
列数nbに制限される。コンテナを配置替えする場合、ま
ず対象コンテナcTを配置替え候補ucj(j=ny，．．．，nb
+ny−1)から決定する。次に、cTの上に他のコンテナが
存在する場合、これらをすべてベイ内の他の列[u
m1，．．．，umny−1]のうち１列に移動する。これを荷
繰りと呼び、荷繰り対象コンテナをcMとする。そしてcT
をバッファエリアに配置替えする。このとき、荷繰り先
は１コンテナ当りny−1通り、配置替えはnb通りの選択
肢があり、荷繰りまたは配置替えを行うとヤードエリア
の状態が変化する。そこで、プラントの動作を、以下の
ように表す。 uj = umj (1≦ｊ≦ny-1） = ucj (ny≦j≦nb+ny-1) この場合、プラントを以下の式（３）で表現できる。
考える。各コンテナはc1からckまでの固有の識別子を持
つ。コンテナは１個のベイ８にランダムに積み上げられ
ている。船舶に荷積みするコンテナの順序が決まってい
るため、コンテナをベイ８からバッファエリア６と呼ば
れる領域に配置替えする。バッファエリア６の配置はコ
ンテナの荷積み順に従って予め決定する。ベイの大きさ
はmy行ny列、コンテナの高さがｌ、バッファエリアの大
きさはmb行nb列とする。ヤードエリア内の位置は1からm
y×ny×lまでの整数で識別する。また、コンテナci(i=
1，．．．，k)のヤードエリア内の位置をxi(xiは、1以
上かつmy×ny×l以下の数)とし、ヤードエリアの配置を
x=[x1，．．．，xk]と表す。ただし、ciがバッファエリ
アにある場合はxi=0とする。バッファエリアにはベイか
らコンテナを移動し、下から積み上げる。このため、バ
ッファエリアに移動可能なコンテナはバッファエリアの
列数nbに制限される。コンテナを配置替えする場合、ま
ず対象コンテナcTを配置替え候補ucj(j=ny，．．．，nb
+ny−1)から決定する。次に、cTの上に他のコンテナが
存在する場合、これらをすべてベイ内の他の列[u
m1，．．．，umny−1]のうち１列に移動する。これを荷
繰りと呼び、荷繰り対象コンテナをcMとする。そしてcT
をバッファエリアに配置替えする。このとき、荷繰り先
は１コンテナ当りny−1通り、配置替えはnb通りの選択
肢があり、荷繰りまたは配置替えを行うとヤードエリア
の状態が変化する。そこで、プラントの動作を、以下の
ように表す。 uj = umj (1≦ｊ≦ny-1） = ucj (ny≦j≦nb+ny-1) この場合、プラントを以下の式（３）で表現できる。
【数３】
ここで、f()はヤード・バッファエリアに対する動作uj
の適用関数である。図３において、my=ny=mb=nb=3，l=
2，k=9であり、コンテナの位置は1から18までの整数で
識別される、このプラントに対して図６（ａ）で配置替
え対象cTを[c1,c2,c3]の中からc2に決定し、c2上のコン
テナc7を荷繰りしている。また、その荷繰り先を[um1,u
m2]=[13,18]から決定し、次の配置替え対象をc5として
いる。このときc7の荷繰り先を18にするよりも13にした
方がc5を配置替えするための荷繰り回数が1回少なくな
っている。また配置替え順序を第１例の1,2,3,4,5,6,7,
8,9とするよりも、第２例の2,5,3,6,9,1,4,7,8とする方
が少ない荷繰り回数で配置替えを行うことができる。2
通りの配置替え順序に対するxの変化は、上記図７と８
に示したとおりである。
の適用関数である。図３において、my=ny=mb=nb=3，l=
2，k=9であり、コンテナの位置は1から18までの整数で
識別される、このプラントに対して図６（ａ）で配置替
え対象cTを[c1,c2,c3]の中からc2に決定し、c2上のコン
テナc7を荷繰りしている。また、その荷繰り先を[um1,u
m2]=[13,18]から決定し、次の配置替え対象をc5として
いる。このときc7の荷繰り先を18にするよりも13にした
方がc5を配置替えするための荷繰り回数が1回少なくな
っている。また配置替え順序を第１例の1,2,3,4,5,6,7,
8,9とするよりも、第２例の2,5,3,6,9,1,4,7,8とする方
が少ない荷繰り回数で配置替えを行うことができる。2
通りの配置替え順序に対するxの変化は、上記図７と８
に示したとおりである。
【００４６】コンテナ配置替え問題に対するQ-learning
法の適用に関し、従来では実現困難だったQ-learning法
を用いた解の探索方法を説明する。
法の適用に関し、従来では実現困難だったQ-learning法
を用いた解の探索方法を説明する。
【００４７】Q-learning法では、全ての状態と動作の組
み合わせが評価（Ｑ値）を持つ必要がある。コンテナ配
置替え問題にQ-learningを適用する場合、荷繰りを行う
際にプラントの状態を表現するためにはxに加えて荷繰
りコンテナcＴが必要になる。そこで、xを拡張したx+=
[x1,…,xk,cＴ]とuj(j=1,…,ny+nb−1)の組み合わせに
対してQ値を割り当てる。このとき、1以上my×ny×l以
下のxi(i=1,…,k)に対して、cＴはｎｂ通りであるた
め、x+は、以下の式のように、
み合わせが評価（Ｑ値）を持つ必要がある。コンテナ配
置替え問題にQ-learningを適用する場合、荷繰りを行う
際にプラントの状態を表現するためにはxに加えて荷繰
りコンテナcＴが必要になる。そこで、xを拡張したx+=
[x1,…,xk,cＴ]とuj(j=1,…,ny+nb−1)の組み合わせに
対してQ値を割り当てる。このとき、1以上my×ny×l以
下のxi(i=1,…,k)に対して、cＴはｎｂ通りであるた
め、x+は、以下の式のように、
【数４】
通り存在し、Q値数は
【数５】
である。つまり、kが増加するとQ値の数が指数関数的に
増加する。従来、Q-learningではQ値数が大きくなると
学習速度が低下し、また、Q値を格納するために必要な
記憶領域も大きくなってしまう。
増加する。従来、Q-learningではQ値数が大きくなると
学習速度が低下し、また、Q値を格納するために必要な
記憶領域も大きくなってしまう。
【００４８】そこで、学習速度を改善するためにプラン
トの性質を利用したQ-learningのアルゴリズムと、必要
な記憶領域を減少させるためのデータ構造を以下で説明
する。
トの性質を利用したQ-learningのアルゴリズムと、必要
な記憶領域を減少させるためのデータ構造を以下で説明
する。
【００４９】従来のQ-learningでは、Q値が(1)式によっ
て更新され、γによって割り引かれつつ伝播する。配置
替え問題の目的は荷繰り回数をできる限り小さくするこ
とであるので、Q値は荷繰り回数を表す指標であれば良
い。そこで、荷繰り回数uj(j=1,．．．,ny−1)に対して
ヤードエリアの2状態x,x'に、
て更新され、γによって割り引かれつつ伝播する。配置
替え問題の目的は荷繰り回数をできる限り小さくするこ
とであるので、Q値は荷繰り回数を表す指標であれば良
い。そこで、荷繰り回数uj(j=1,．．．,ny−1)に対して
ヤードエリアの2状態x,x'に、
【数６】
の関係が成り立つ場合に、以下の式（４）
【数７】
によってQ値を更新／伝播する。報酬Rtを配置替えがす
べて完了した場合のみ与え、式(4)を用いてQ値を伝播す
ると、荷繰り回数の増加に伴って割り引き回数が増える
ため対応するQ値が小さくなる。つまり、各状態で、Q値
が相対的に大きくなる荷繰りを選択することによって荷
繰り回数を小さくすることができる。また、各uj(j=
1,．．．,ny−1)の選択確率を次式（５）で計算する。
べて完了した場合のみ与え、式(4)を用いてQ値を伝播す
ると、荷繰り回数の増加に伴って割り引き回数が増える
ため対応するQ値が小さくなる。つまり、各状態で、Q値
が相対的に大きくなる荷繰りを選択することによって荷
繰り回数を小さくすることができる。また、各uj(j=
1,．．．,ny−1)の選択確率を次式（５）で計算する。
【数８】
【００５０】一方、配置替え順序は総荷繰り回数に影響
を与える。すべての(x,uj)（jは1以上ny−1以下の整
数）に対してQ値が求まっていれば、各配置順序に対す
る総荷繰り回数の最小値が計算できる。また、配置替え
対象コンテナの選択は状態xに影響しない。これらの性
質を利用し、cTを決定する場合には割引を行うことなく
Q値を伝播する。つまりQ'(x,uj)（jは1以上ny−1以下の
整数）をヤードエリアの状態xと配置替え対象コンテナu
jの組に対するQ値として、次式（６）で更新する。
を与える。すべての(x,uj)（jは1以上ny−1以下の整
数）に対してQ値が求まっていれば、各配置順序に対す
る総荷繰り回数の最小値が計算できる。また、配置替え
対象コンテナの選択は状態xに影響しない。これらの性
質を利用し、cTを決定する場合には割引を行うことなく
Q値を伝播する。つまりQ'(x,uj)（jは1以上ny−1以下の
整数）をヤードエリアの状態xと配置替え対象コンテナu
jの組に対するQ値として、次式（６）で更新する。
【数９】
式(6)によって配置替えしてもQ値の荷繰り回数の指標と
し、各xに対して荷繰り回数を最も小さくするcTを求め
ることができる。ny以上nb(ny−1)以下を示す各u jの選
択確率は次式（７）とする。
し、各xに対して荷繰り回数を最も小さくするcTを求め
ることができる。ny以上nb(ny−1)以下を示す各u jの選
択確率は次式（７）とする。
【数１０】
ただし、複数の配置替え候補が同一列に存在する場合、
最も上にある候補を配置替え対象とする。これは、総繰
り回数を増加させることが明らかな動作を除外するため
である。
最も上にある候補を配置替え対象とする。これは、総繰
り回数を増加させることが明らかな動作を除外するため
である。
【００５１】さらに、他のコンテナが配置替え対象コン
テナの上に存在しない場合には無条件に配置替えでき
る。この場合には、動作の選択肢が1通りのみであり、
学習を行う必要がないため、Q値の伝播は配置替え直前
と配置替え直後の状態に対応するQ値間で行う。つま
り、時刻t−1，状態xで荷繰り、時刻t+i，状態x'i(i=
1,．．．,K−1)（ただしKはコンテナの数）で配置替え
候補コンテナをバッファに移動、時刻t+K，状態x'Kも新
たな配置替え候補コンテナを決定した場合、以下の式
（８）
テナの上に存在しない場合には無条件に配置替えでき
る。この場合には、動作の選択肢が1通りのみであり、
学習を行う必要がないため、Q値の伝播は配置替え直前
と配置替え直後の状態に対応するQ値間で行う。つま
り、時刻t−1，状態xで荷繰り、時刻t+i，状態x'i(i=
1,．．．,K−1)（ただしKはコンテナの数）で配置替え
候補コンテナをバッファに移動、時刻t+K，状態x'Kも新
たな配置替え候補コンテナを決定した場合、以下の式
（８）
【数１１】
となる。
【００５２】図１０と図１１に上記式(4)〜(8)を考慮し
たQ値の伝播方法の例を示す。図１０において、パター
ン１では、プラントに入力uj1,uj2が順に与えられ、ヤ
ードエリアの状態がx,x',x"の順に変化している。そし
て、荷繰りのみを繰り返しているので、式(4)によって2
回Q値が伝播している。また、図１１において、パター
ン２では、入力uj1,uj2,uj3が順に与えられているが、u
2は配置替え対象の決定であるために状態が変化してい
ない。また、x'→x"は配置替えでありx＋'に対してQ値
の伝播が行われない。従って(x＋”,uj2)に対して式
(6)，(x+,uj1)に対して式(8)を用いてQ値が伝播されて
いる。この結果、割引を伴ったQ値の伝播は荷繰りを行
った場合のみに行われる。
たQ値の伝播方法の例を示す。図１０において、パター
ン１では、プラントに入力uj1,uj2が順に与えられ、ヤ
ードエリアの状態がx,x',x"の順に変化している。そし
て、荷繰りのみを繰り返しているので、式(4)によって2
回Q値が伝播している。また、図１１において、パター
ン２では、入力uj1,uj2,uj3が順に与えられているが、u
2は配置替え対象の決定であるために状態が変化してい
ない。また、x'→x"は配置替えでありx＋'に対してQ値
の伝播が行われない。従って(x＋”,uj2)に対して式
(6)，(x+,uj1)に対して式(8)を用いてQ値が伝播されて
いる。この結果、割引を伴ったQ値の伝播は荷繰りを行
った場合のみに行われる。
【００５３】以上の説明に基づいて、以下に荷役作業最
適化手順の決定方法を図９を参照して説明する。
適化手順の決定方法を図９を参照して説明する。
【００５４】最初に、すべてのQ値を0に初期化する。ス
テップＳ２とＳ４で、配置替え可能なコンテナを全てバ
ッファエリアに移動する。これにより、試行すべき順列
の数が減少する。続いて、ステップＳ６で、配置替え対
象コンテナcTを決定し、式(8)によってQ値を伝播した
後、(x,uj)を記憶する。ステップＳ８では、Ｑ値を更新
する。続いて、ステップＳ１０と１２では、cMが存在す
れば、式(6)によってQ値を更新した後(x',uj)を記憶す
る。さらにcMがあれば荷繰りし、式(4)によってQ値を更
新した後、(x+,uj)を記憶する。これをcMがなくなるま
で繰り返す。ステップＳ１４では、cTを配置替えする。
コンテナがヤードエリアに残っていれば制御フローは、
ステップＳ１６からステップＳ２に戻る。配置替えが完
了すれば、ステップＳ１８で報酬を受け取る。
テップＳ２とＳ４で、配置替え可能なコンテナを全てバ
ッファエリアに移動する。これにより、試行すべき順列
の数が減少する。続いて、ステップＳ６で、配置替え対
象コンテナcTを決定し、式(8)によってQ値を伝播した
後、(x,uj)を記憶する。ステップＳ８では、Ｑ値を更新
する。続いて、ステップＳ１０と１２では、cMが存在す
れば、式(6)によってQ値を更新した後(x',uj)を記憶す
る。さらにcMがあれば荷繰りし、式(4)によってQ値を更
新した後、(x+,uj)を記憶する。これをcMがなくなるま
で繰り返す。ステップＳ１４では、cTを配置替えする。
コンテナがヤードエリアに残っていれば制御フローは、
ステップＳ１６からステップＳ２に戻る。配置替えが完
了すれば、ステップＳ１８で報酬を受け取る。
【００５５】以上によって、Q値の繰り返し回数の指標
とすることができる。
とすることができる。
【００５６】提案方法の有効性を示すために、規模の異
なる3つのプラントに対して計算機シミュレーションを
行った。プラント1はl=1,k=4,my=3,ny=4,mb=1,nb=4，プ
ラント2はl=1,k=5,my=3,ny=4,mb=2,nb=3，プラント3はl
=2,k=36,my=ny=mb=nb=6とし、ヤードエリアの初期配列
とバッファエリアの目標配列を図１２に示す。プラント
1、プラント2の状態数はそれぞれ47,520、380,160であ
る。またプラント3の状態数は
なる3つのプラントに対して計算機シミュレーションを
行った。プラント1はl=1,k=4,my=3,ny=4,mb=1,nb=4，プ
ラント2はl=1,k=5,my=3,ny=4,mb=2,nb=3，プラント3はl
=2,k=36,my=ny=mb=nb=6とし、ヤードエリアの初期配列
とバッファエリアの目標配列を図１２に示す。プラント
1、プラント2の状態数はそれぞれ47,520、380,160であ
る。またプラント3の状態数は
【数１２】
であり、Q値数は
【数１３】
となる。
【００５７】1Q値を記憶するために4Byteが必要と仮定
すると、全てのQ値を記憶するために記憶容量が約9.2×
1066Byte必要であり、従来のQ-tableを用いる手法は構
成できなかった。本発明の手法の設定パラメータは、α
=0.99、γ=0.8、T=0.1とした。プラント１，２の最適解
は荷繰り回数が1であり、どちらのプラントに対しても
提案方法は最適解を発見できた。また、初期状態から配
置替え完了までを1試行とし、プラント１に対して50試
行、プラント２に対して200試行で全てのQ値の値が収束
し、学習が終了した。このとき、プラント１に対して提
案手法が学習した全ての状態・動作・Ｑ値を図１３に示
す。
すると、全てのQ値を記憶するために記憶容量が約9.2×
1066Byte必要であり、従来のQ-tableを用いる手法は構
成できなかった。本発明の手法の設定パラメータは、α
=0.99、γ=0.8、T=0.1とした。プラント１，２の最適解
は荷繰り回数が1であり、どちらのプラントに対しても
提案方法は最適解を発見できた。また、初期状態から配
置替え完了までを1試行とし、プラント１に対して50試
行、プラント２に対して200試行で全てのQ値の値が収束
し、学習が終了した。このとき、プラント１に対して提
案手法が学習した全ての状態・動作・Ｑ値を図１３に示
す。
【００５８】図１３からプラント１に対して記憶した状
態はxε，xωのみであり、各状態に対して2Q値を学習し
ていることが分かる。プラント２に対して、記憶した状
態数は11であり、従来のQ-learningに比べQ-tableの構
成に必要な状態数が削減できた。また、各状態において
学習したQ値のうちで最大の値を持つ動作を選択するこ
とによって、荷繰り・配置替えの合計回数を最小にでき
ることが分かった。プラント１，２では状態数が小さ
く、全ての状態・動作について学習が行えるため、初期
状態から配置替え完了にいたるまでの全ての経路に対し
て、荷繰り・配置替え回数に応じたQ値が獲得できてい
る。
態はxε，xωのみであり、各状態に対して2Q値を学習し
ていることが分かる。プラント２に対して、記憶した状
態数は11であり、従来のQ-learningに比べQ-tableの構
成に必要な状態数が削減できた。また、各状態において
学習したQ値のうちで最大の値を持つ動作を選択するこ
とによって、荷繰り・配置替えの合計回数を最小にでき
ることが分かった。プラント１，２では状態数が小さ
く、全ての状態・動作について学習が行えるため、初期
状態から配置替え完了にいたるまでの全ての経路に対し
て、荷繰り・配置替え回数に応じたQ値が獲得できてい
る。
【００５９】プラント１に対して学習した全てのQ値の
試行回数に対する変化を調べ、異なった初期に対して行
った30回のシミュレーション結果の空間平均をとったと
ころ、学習した全てのQ値の値が収束していることが分
かった。また状態xεの動作完了後、荷繰り0回または1
回で配置替えが完了するため、各動作に対応するQ値は
0.8または1.0となる。xωに対してはいずれの動作後も
荷繰り0回で配置替えが完了するためQ値は1.0となる。
従って、全てのQ値が真値に収束していることが分かっ
た。
試行回数に対する変化を調べ、異なった初期に対して行
った30回のシミュレーション結果の空間平均をとったと
ころ、学習した全てのQ値の値が収束していることが分
かった。また状態xεの動作完了後、荷繰り0回または1
回で配置替えが完了するため、各動作に対応するQ値は
0.8または1.0となる。xωに対してはいずれの動作後も
荷繰り0回で配置替えが完了するためQ値は1.0となる。
従って、全てのQ値が真値に収束していることが分かっ
た。
【００６０】図１４は、プラント３に本発明の手法を適
用した結果を示す。図１４において、横軸は試行回数、
縦軸は各試行の荷繰り数と配置替え数の合計を表す。結
果は(A)30試行ごとの荷繰り・配置替え数の平均、(B)各
試行までで最も小さい荷繰り・配置替えの合計回数につ
いて、行動選択アルゴリズムの初期値を変えて行った30
回の独立したシミュレーションの結果の空間平均をとっ
た。試行を重ねて学習が進行するとともに荷繰り・配置
替え数が減少していることが分かった。また、全てのシ
ミュレーションにおいて、最も少ない荷繰り・配置替え
数は43(荷繰り数7)、1シミュレーションあたりの計算時
間はＣＰＵがPentiumＩＩＩ850MHzのパーソナルコンピ
ュータを用いて約1分30秒、使用メモリは約6×106Byte
だった。
用した結果を示す。図１４において、横軸は試行回数、
縦軸は各試行の荷繰り数と配置替え数の合計を表す。結
果は(A)30試行ごとの荷繰り・配置替え数の平均、(B)各
試行までで最も小さい荷繰り・配置替えの合計回数につ
いて、行動選択アルゴリズムの初期値を変えて行った30
回の独立したシミュレーションの結果の空間平均をとっ
た。試行を重ねて学習が進行するとともに荷繰り・配置
替え数が減少していることが分かった。また、全てのシ
ミュレーションにおいて、最も少ない荷繰り・配置替え
数は43(荷繰り数7)、1シミュレーションあたりの計算時
間はＣＰＵがPentiumＩＩＩ850MHzのパーソナルコンピ
ュータを用いて約1分30秒、使用メモリは約6×106Byte
だった。
【００６１】このように、本発明は、強化学習の一手法
であるQ-learning法を用いたコンテナターミナル運用最
適化システムが提供する。本発明では、コンテナの配置
をシステムの状態、コンテナの移動を制御入力ととら
え、コンテナの移動回数を小さくするように学習・記憶
を行う。通常状態数が大きいプラントにQ-learning法を
用いると状態と行動の組み合わせ数が大きくなり、必要
な記憶容量が膨大になることが知られているが、本発明
の手法は探索済みデータのみを記憶するため、必要な配
置・移動の組み合わせ数を小さくできる。また、探索済
みデータが再利用できるため、解の高速な探索・改善が
可能である。
であるQ-learning法を用いたコンテナターミナル運用最
適化システムが提供する。本発明では、コンテナの配置
をシステムの状態、コンテナの移動を制御入力ととら
え、コンテナの移動回数を小さくするように学習・記憶
を行う。通常状態数が大きいプラントにQ-learning法を
用いると状態と行動の組み合わせ数が大きくなり、必要
な記憶容量が膨大になることが知られているが、本発明
の手法は探索済みデータのみを記憶するため、必要な配
置・移動の組み合わせ数を小さくできる。また、探索済
みデータが再利用できるため、解の高速な探索・改善が
可能である。
【００６２】上記のように、本発明では、コンテナ荷役
計画に対して、状態・動作の組み合わせ数の爆発のため
に従来困難だったQ-learning法による学習法が提供され
る。その際、荷繰り回数のみをQ値の値に反映すること
によって学習効果を高めるとともに、必要な状態のみを
Q-tableに記憶することによって必要な記憶容量を削減
した。また、計算機シミュレーションによって、小規模
な問題に対して最適解が求まることを確認した。さら
に、実用規模の問題に対して，良好な結果が小さい記憶
容量と短い計算時間で得られることが分かった。
計画に対して、状態・動作の組み合わせ数の爆発のため
に従来困難だったQ-learning法による学習法が提供され
る。その際、荷繰り回数のみをQ値の値に反映すること
によって学習効果を高めるとともに、必要な状態のみを
Q-tableに記憶することによって必要な記憶容量を削減
した。また、計算機シミュレーションによって、小規模
な問題に対して最適解が求まることを確認した。さら
に、実用規模の問題に対して，良好な結果が小さい記憶
容量と短い計算時間で得られることが分かった。
【００６３】今回対象にしたコンテナターミナルは、本
来荷役のための専用バッファ（一時保管場所）を有す
る。運用面では、翌朝船積みされるコンテナを前日夜間
にヤードからバッファに配置換えし、バッファにおいて
は本船荷役中に荷繰りする必要がないように船積み順に
合わせて積みつけるという運用になる。本発明のメリッ
トは、船積み中に荷繰りを行う必要がない、ヤード
シャーシはバッファとコンテナクレーンの間のみで搬送
し走行距離が短縮される、ヤードで搬出入を行う外来
シャーシとの干渉がない、といったメリットがある。
来荷役のための専用バッファ（一時保管場所）を有す
る。運用面では、翌朝船積みされるコンテナを前日夜間
にヤードからバッファに配置換えし、バッファにおいて
は本船荷役中に荷繰りする必要がないように船積み順に
合わせて積みつけるという運用になる。本発明のメリッ
トは、船積み中に荷繰りを行う必要がない、ヤード
シャーシはバッファとコンテナクレーンの間のみで搬送
し走行距離が短縮される、ヤードで搬出入を行う外来
シャーシとの干渉がない、といったメリットがある。
【００６４】本研究の類似問題として古くから人工知能
分野などで扱われた積み木問題があり、最近GAやニュー
ラルネットワーク、マルチエージェント手法などによる
解法が提案されている。積み木問題と本研究のプラント
とはバッファエリアが存在し、バッファエリアへ積むコ
ンテナの順序を荷繰り順に加えて学習することが異な
る。
分野などで扱われた積み木問題があり、最近GAやニュー
ラルネットワーク、マルチエージェント手法などによる
解法が提案されている。積み木問題と本研究のプラント
とはバッファエリアが存在し、バッファエリアへ積むコ
ンテナの順序を荷繰り順に加えて学習することが異な
る。
【００６５】
【発明の効果】この前日夜間に行われる配置換え荷役に
おいて、試行錯誤を通じて最適解を導出する強化学習の
一手法であるQ-Learning法をコンテナの配置換え荷役作
業に適用し、短時間で荷役作業を終えることができる最
適な運用を計画する。
おいて、試行錯誤を通じて最適解を導出する強化学習の
一手法であるQ-Learning法をコンテナの配置換え荷役作
業に適用し、短時間で荷役作業を終えることができる最
適な運用を計画する。
【図１】図１は、本発明が適用されるコンテナターミナ
ルを示す図である。
ルを示す図である。
【図２】図２は、本発明のコンテナターミナル運用最適
化システムのうちの制御装置の構成を示すブロック図で
ある。
化システムのうちの制御装置の構成を示すブロック図で
ある。
【図３】図３は、コンテナの移動の最適化を説明する一
例を示す図であり、（ａ）は、２つのヤードからヤード
エリアにおけるコンテナの配置を示すヤード配置位置デ
ータであり、（ｂ）は、バッファエリアに配置されるべ
きコンテナの位置を示すバッファ配置位置データを示す
図であり、（ｃ）はコンテナの初期状態を示す図であ
る。
例を示す図であり、（ａ）は、２つのヤードからヤード
エリアにおけるコンテナの配置を示すヤード配置位置デ
ータであり、（ｂ）は、バッファエリアに配置されるべ
きコンテナの位置を示すバッファ配置位置データを示す
図であり、（ｃ）はコンテナの初期状態を示す図であ
る。
【図４】図４の（ａ）から（ｆ）は、第１例におけるコ
ンテナの移動を示す図である。
ンテナの移動を示す図である。
【図５】図５の（ｇ）から（ｍ）は、第１例におけるコ
ンテナの移動を示す図である。
ンテナの移動を示す図である。
【図６】図６の（ａ）から（ｊ）は、第２例におけるコ
ンテナの移動を示す図である。
ンテナの移動を示す図である。
【図７】図７は、第１例におけるコンテナの荷繰りと配
置替えの順序を示す図である。
置替えの順序を示す図である。
【図８】図８は、第２例におけるコンテナの荷繰りと配
置替えの順序を示す図である。
置替えの順序を示す図である。
【図９】図９は、本発明のコンテナターミナル運用最適
化の方法を示すフローチャートである。
化の方法を示すフローチャートである。
【図１０】図１０は、Q値の伝播方法の例を示す図であ
る。
る。
【図１１】図１１は、Q値の伝播方法の例を示す図であ
る。
る。
【図１２】図１２は、ヤードエリアの初期配列とバッフ
ァエリアの目標配列を示す図である。
ァエリアの目標配列を示す図である。
【図１３】図１３は、プラント１に対して提案手法が学
習した全ての状態・動作・Ｑ値を示す図である。
習した全ての状態・動作・Ｑ値を示す図である。
【図１４】図１４は、プラント３に本発明の手法を適用
した結果を示す図である。
した結果を示す図である。
２：制御装置
４：ヤードエリア
６：バッファエリア
８：ベイ
１０：トランスファクレーン
１２：レール
１４：ヤードシャーシ
２０：コンテナ船
２２：コンテナクレーン
３２：入力装置
３４：出力装置
３６：ヤード配置データベース
３８：バッファ配置データベース
４０：制御部
４２：シミュレータ
４４：制御指示装置
Claims (11)
- 【請求項１】ヤードエリアに保管されているコンテナの
配置位置を示すヤード配置データを格納するヤード配置
データベースと、 バッファエリアに保管されるべき移動対象コンテナの希
望配置位置を示すバッファ配置データを格納するバッフ
ァ配置データベースと、 コンテナ船の輸送先を示すデータから前記バッファ配置
データを作成し、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、前
記ヤード配置データと前記バッファ配置データから最小
移動回数で前記移動対象コンテナを前記ヤードエリアか
ら前記バッファエリアに移動する手順を決定する制御部
とを具備するコンテナターミナル運用最適化システム。 - 【請求項２】 請求項１において、 前記移動対象コンテナを移動するためのトランスファク
レーンを更に具備し、 前記制御部は、 前記決定された手順に従って、前記移動対象コンテナを
前記ヤードエリアから前記バッファエリアに移動する順
番を前記トランスファクレーンに指示する制御指示装置
を更に具備するコンテナターミナル運用最適化システ
ム。 - 【請求項３】 請求項１又は２において、 前記トランスファクレーンは、前記ヤードエリアに沿っ
て設けられたレール上を移動するコンテナターミナル運
用最適化システム。 - 【請求項４】 請求項１乃至３のいずれかにおいて、 前記制御部は、前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する
シミュレーション部を具備し、 前記シミュレーション部は、前記Ｑ−ｌｅａｒｎｉｎｇ
法を実行するとき、移動可能な前記移動対象コンテナを
前記ヤードエリアから前記バッファエリアに移動し、残
りの前記コンテナに前記Ｑ−ｌｅａｒｎｉｎｇ法を実行
するコンテナターミナル運用最適化システム。 - 【請求項５】 請求項４において、 前記残りのコンテナ中の残りの前記移動対象コンテナの
順列をについて前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する
コンテナターミナル運用最適化システム。 - 【請求項６】コンテナ船の輸送先を示すデータからバッ
ファ配置データを作成するステップと、前記バッファ配
置データは、バッファエリアに保管されるべき移動対象
コンテナの希望配置位置を示し、 Ｑ−ｌｅａｒｎｉｎｇ法を用いて、ヤード配置データと
前記バッファ配置データから最小移動回数で移動対象コ
ンテナをヤードエリアからバッファエリアに移動する手
順を決定するステップと、前記ヤード配置データは、前
記ヤードエリアに保管されているコンテナの配置位置を
示し、 前記決定された手順に従って、前記移動対象コンテナを
前記ヤードエリアから前記バッファエリアに移動するス
テップとを具備するコンテナターミナル運用最適化方
法。 - 【請求項７】請求項６において、 前記決定するステップは、 移動可能な前記移動対象コンテナを前記ヤードエリアか
ら前記バッファエリアに移動し、残りの前記コンテナに
前記Ｑ−ｌｅａｒｎｉｎｇ法を実行するステップを具備
するコンテナターミナル運用最適化方法。 - 【請求項８】 請求項７において、 前記実行するステップは、 残りのコンテナ中の残りの前記異動対象コンテナの順列
をについて前記Ｑ−ｌｅａｒｎｉｎｇ法を実行するコン
テナターミナル運用最適化方法。 - 【請求項９】（ａ）ヤードエリアからバッファエリアに
配置替え可能な移動対象コンテナが存在するか否かを判
定するステップと、 （ｂ）配置替え可能な前記移動対象コンテナが存在する
とき、全ての前記移動可能コンテナを前記ヤードエリア
から前記バッファエリアに移動するステップと、 （ｃ）配置替え可能ではない前記移動対象コンテナの特
定のものを選択するステップと、 （ｄ）Ｑ−ｌｅａｒｎｉｎｇ法のＱ値を更新しながら前
記移動対象コンテナを前記ヤードエリアから前記バッフ
ァエリアに移動するステップと、 （ｅ）前記移動対象コンテナが前記ヤードエリアに存在
しなくなるまで、前記ステップ（ａ）から（ｄ）までを
繰り返すステップとを具備するコンテナターミナル運用
最適化方法。 - 【請求項１０】 請求項９において、 前記ステップ（ａ）から（ｅ）までを、前記移動対象コ
ンテナを並べたときの全ての順列に対して実行して、コ
ンテナの移動回数が最も少ない順列を決定するコンテナ
ターミナル運用最適化方法。 - 【請求項１１】 請求項９において、 前記ステップ（ｄ）は、前記移動対象コンテナ以外のコ
ンテナを前記ヤードエリア内で移動して前記特定の移動
対象コンテナを見いだし、前記特定の移動対象コンテナ
を前記ヤードエリアから前記バッファエリアに移動する
ステップを具備するコンテナターミナル運用最適化方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001388533A JP4209109B2 (ja) | 2001-12-20 | 2001-12-20 | コンテナターミナル運用最適化システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001388533A JP4209109B2 (ja) | 2001-12-20 | 2001-12-20 | コンテナターミナル運用最適化システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003182854A true JP2003182854A (ja) | 2003-07-03 |
| JP4209109B2 JP4209109B2 (ja) | 2009-01-14 |
Family
ID=27597001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001388533A Expired - Fee Related JP4209109B2 (ja) | 2001-12-20 | 2001-12-20 | コンテナターミナル運用最適化システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4209109B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007039235A (ja) * | 2005-08-05 | 2007-02-15 | Ns Solutions Corp | 情報処理装置、情報処理方法及びプログラム |
| KR100993308B1 (ko) | 2008-09-30 | 2010-11-09 | 부산대학교 산학협력단 | 자동화 컨테이너 터미널의 수직 배치 장치장 재정돈 계획방법 |
| KR101099700B1 (ko) | 2009-11-26 | 2011-12-28 | 부산대학교 산학협력단 | 컨테이너의 유출 작업 특성을 고려한 효율적인 장치위치 결정 방법 |
| JP2012242888A (ja) * | 2011-05-16 | 2012-12-10 | Kawasaki Heavy Ind Ltd | 物体再配置計画装置、方法およびプログラム |
| KR20150026521A (ko) * | 2013-09-03 | 2015-03-11 | 주식회사 엘지화학 | 충방전기 크레인의 최적화 방법 및 이를 이용하는 시스템 |
| JP2019104578A (ja) * | 2017-12-11 | 2019-06-27 | 国土交通省港湾局長 | 人工知能を活用した包括的コンテナターミナルシステム及びオペレーション方法 |
| CN110888903A (zh) * | 2019-11-21 | 2020-03-17 | 苏州大学应用技术学院 | 起重机自动化连续搬运作业的方法及系统 |
| JP2021143048A (ja) * | 2020-03-12 | 2021-09-24 | 株式会社三井Ｅ＆Ｓマシナリー | コンテナターミナル及びその運用方法 |
| KR20230081057A (ko) * | 2021-11-30 | 2023-06-07 | 주식회사 컨테인어스 | 인공 지능을 이용한 화물 장치 및 리핸들링 관리 시스템 및 방법 |
| CN116679726A (zh) * | 2023-08-01 | 2023-09-01 | 山东中建众力设备租赁有限公司 | 基于边缘计算的无人驾驶塔机自主决策系统 |
-
2001
- 2001-12-20 JP JP2001388533A patent/JP4209109B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007039235A (ja) * | 2005-08-05 | 2007-02-15 | Ns Solutions Corp | 情報処理装置、情報処理方法及びプログラム |
| KR100993308B1 (ko) | 2008-09-30 | 2010-11-09 | 부산대학교 산학협력단 | 자동화 컨테이너 터미널의 수직 배치 장치장 재정돈 계획방법 |
| KR101099700B1 (ko) | 2009-11-26 | 2011-12-28 | 부산대학교 산학협력단 | 컨테이너의 유출 작업 특성을 고려한 효율적인 장치위치 결정 방법 |
| JP2012242888A (ja) * | 2011-05-16 | 2012-12-10 | Kawasaki Heavy Ind Ltd | 物体再配置計画装置、方法およびプログラム |
| KR20150026521A (ko) * | 2013-09-03 | 2015-03-11 | 주식회사 엘지화학 | 충방전기 크레인의 최적화 방법 및 이를 이용하는 시스템 |
| KR101653341B1 (ko) * | 2013-09-03 | 2016-09-09 | 주식회사 엘지화학 | 충방전기 크레인의 최적화 방법 및 이를 이용하는 시스템 |
| JP7165902B2 (ja) | 2017-12-11 | 2022-11-07 | 国土交通省港湾局長 | 人工知能を活用した包括的コンテナターミナルシステム及びオペレーション方法 |
| JP2019104578A (ja) * | 2017-12-11 | 2019-06-27 | 国土交通省港湾局長 | 人工知能を活用した包括的コンテナターミナルシステム及びオペレーション方法 |
| CN110888903A (zh) * | 2019-11-21 | 2020-03-17 | 苏州大学应用技术学院 | 起重机自动化连续搬运作业的方法及系统 |
| CN110888903B (zh) * | 2019-11-21 | 2022-11-22 | 苏州大学应用技术学院 | 起重机自动化连续搬运作业的方法及系统 |
| JP2021143048A (ja) * | 2020-03-12 | 2021-09-24 | 株式会社三井Ｅ＆Ｓマシナリー | コンテナターミナル及びその運用方法 |
| JP7109495B2 (ja) | 2020-03-12 | 2022-07-29 | 株式会社三井Ｅ＆Ｓマシナリー | コンテナターミナル及びその運用方法 |
| KR20230081057A (ko) * | 2021-11-30 | 2023-06-07 | 주식회사 컨테인어스 | 인공 지능을 이용한 화물 장치 및 리핸들링 관리 시스템 및 방법 |
| WO2023101306A1 (ko) * | 2021-11-30 | 2023-06-08 | 주식회사 컨테인어스 | 인공 지능을 이용한 화물 장치 및 리핸들링 관리 시스템 및 방법 |
| KR102544350B1 (ko) * | 2021-11-30 | 2023-06-16 | 주식회사 컨테인어스 | 인공 지능을 이용한 화물 장치 및 리핸들링 관리 시스템 및 방법 |
| CN116679726A (zh) * | 2023-08-01 | 2023-09-01 | 山东中建众力设备租赁有限公司 | 基于边缘计算的无人驾驶塔机自主决策系统 |
| CN116679726B (zh) * | 2023-08-01 | 2023-11-03 | 山东中建众力设备租赁有限公司 | 基于边缘计算的无人驾驶塔机自主决策系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4209109B2 (ja) | 2009-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Skinner et al. | Optimisation for job scheduling at automated container terminals using genetic algorithm | |
| Ottjes et al. | Simulation of a multiterminal system for container handling | |
| Robenek et al. | A branch-and-price algorithm to solve the integrated berth allocation and yard assignment problem in bulk ports | |
| Liu et al. | Bi-objective optimization for the container terminal integrated planning | |
| Zeng et al. | Integrating simulation and optimization to schedule loading operations in container terminals | |
| Fügenschuh et al. | Single-car routing in rail freight transport | |
| Parreño-Torres et al. | Integer programming models for the pre-marshalling problem | |
| CN110363380B (zh) | 一种集装箱堆场双场桥动态协同调度方法 | |
| JP2003182854A (ja) | コンテナターミナル運用最適化システム | |
| Wang et al. | Tree based searching approaches for integrated vehicle dispatching and container allocation in a transshipment hub | |
| Caserta et al. | Container rehandling at maritime container terminals: A literature update | |
| Verma et al. | A reinforcement learning framework for container selection and ship load sequencing in ports | |
| Rashidi et al. | Vehicle scheduling in port automation: advanced algorithms for minimum cost flow problems | |
| Hirashima et al. | A Q-learning for group-based plan of container transfer scheduling | |
| Xing et al. | Integrated automated guided vehicle dispatching and equipment scheduling with speed optimization | |
| Booyavi et al. | An improved optimization method based on the intelligent water drops algorithm for the vehicle routing problem | |
| KR100841682B1 (ko) | 안벽크레인의 양적하 작업 계획 산출 방법 | |
| Jin et al. | Container port truck dispatching optimization using Real2Sim based deep reinforcement learning | |
| CN113408988A (zh) | 仓储系统的调度优化方法、电子设备及存储介质 | |
| Raggl et al. | Solving a real world steel stacking problem | |
| Vidal et al. | Building agent-based models of seaport container terminals | |
| Li et al. | Solving inland container ship stowage planning problem on full route through a two-phase approach | |
| CN113837628B (zh) | 一种基于深度强化学习的冶金工业车间天车调度方法 | |
| JP5658085B2 (ja) | 物体再配置計画装置、方法およびプログラム | |
| US11426871B1 (en) | Automated robotic floor map generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080522 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080702 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081022 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |