JP2020142880A - クレーンの運転支援システム及び運転支援方法 - Google Patents

Abstract

【課題】所定の荷役操作を行うタイミングでその荷役操作に必要な付加情報を示す画像を運転手の判断を要せずに表示できるクレーンの運転支援システムの提供。【解決手段】撮像装置１６を備えるクレーン１の運転支援システム２７であって、撮像装置１６が撮像した映像１４を表示する映像表示領域１５を備えるモニタ２３、クレーン１の所定の荷役操作を支援する情報を含む付加情報を取得する付加情報取得部１９、クレーン１の荷役の進行状況を示す進行情報を取得する進行情報取得部２２、付加情報を示す画像である処理画像４１を付加情報を基に生成し、進行情報を基に、所定の荷役操作を行うタイミングが来たか否かを判断し、タイミングが来た場合に処理画像４１を映像１４に重ねて映像表示領域１５の一部として予め設定された領域である付加情報表示領域１７に表示させる制御部２１を備える。【選択図】図２

Description

本発明はクレーンの運転支援システム及び運転支援方法に関する。

クレーンには、運転手の死角となる位置や、運転手から遠方にある位置のように、運転手が目視し難い位置の映像を表示するため、該位置を撮像する撮像装置をクレーンに設け、さらに撮像した映像を表示するモニタを運転室に設ける場合がある。
また、遠隔操作を行うクレーンは、クレーンから離れた場所に運転室を設ける場合が多く、運転室から荷役対象を目視し難いため、表示装置を運転室に設ける必要がある。
このようなモニタには、運転手の作業負担の軽減や作業性の向上を目的として、撮像した映像に加えて、荷役作業を支援するための付加情報も表示することで、クレーンの運転を支援する場合がある。
付加情報とは、吊り具の位置、振れ、移動速度、あるいは撮像装置が複数ある場合、他の撮像装置が撮像した映像等が挙げられる。
特許文献１には、カメラ映像と、作業状態を示す付加情報を表示するタッチパネル式のモニタが記載されている。この構成では、運転手が画面上の切替ボタンを押すことで、付加情報の表示位置、大きさ又は表示の有無を変更できる。
付加情報は、撮像装置が撮像した映像に重ねて表示する場合もある。特許文献２には、吊荷の底面形状に沿って枠状に囲った吊荷モデル、及び吊荷と障害物間の距離を付加情報として撮像画像に重ねて表示する技術が記載されている。

特開２０１８−３４９４５号公報 特開２０１１−６３３５８号公報

ここで、付加情報には、所定の荷役操作を行う場合のみ必要な情報も含まれる。しかしながら、特許文献１、２の構造では、付加情報を運転手自身が選択して表示させる必要があるため、熟練者でなければ適切な付加情報を速やかに選択できず、荷役効率が向上し難いという問題がある。
また、特許文献１、２の構造では、所定の荷役操作に必要な付加情報と必要でない付加情報が画面上に混在する場合があり、荷役操作に必要な付加情報を運転手が画面から見つけ難いという問題もある。
本発明は上記課題に鑑みてなされたものであり、所定の荷役操作を行うタイミングでその荷役操作に必要な付加情報を示す画像を運転手の判断を要せず表示できるクレーンの運転支援システムの提供を目的とする。

本発明のクレーンの運転支援システムは、周囲を撮像する撮像装置を備えるクレーンの運転支援システムであって、前記撮像装置が撮像した映像を表示する映像表示領域を備えるモニタと、前記クレーンの所定の荷役操作を支援する情報を含む付加情報を取得する付加情報取得部と、前記クレーンの荷役の進行状況を示す進行情報を取得する進行情報取得部と、前記モニタ、前記付加情報取得部、前記進行情報取得部及び前記撮像装置に接続され、前記付加情報を示す画像である処理画像を前記付加情報を基に生成し、前記進行情報を基に、前記所定の荷役操作を行うタイミングが来たか否かを判断し、タイミングが来た場合に前記処理画像を前記映像に重ねて前記映像表示領域の一部として予め設定された領域である付加情報表示領域に表示させる制御部と、を備えることを特徴とする。

本発明のクレーンの運転支援方法は、クレーンの周囲を撮像した映像をモニタの表示領域に表示し、前記クレーンの荷役の進行状況を示す進行情報を取得し、所定の荷役操作を行うタイミングが来たか否かを前記進行情報を基に判断し、タイミングが来たと判断した場合は、前記所定の荷役操作を支援する情報を含む付加情報を取得して前記付加情報を示す画像である処理画像を前記付加情報を基に生成し、前記処理画像を、前記表示領域の一部として予め設定した領域である付加情報表示領域に前記映像に重ねて表示させることを特徴とする。

本発明では、所定の荷役操作を行うタイミングで、その荷役操作を支援する情報を含む処理画像を映像の一部に重ねて表示する。
そのため、処理画像が表示されると、表示された画像に含まれる付加情報に関わる操作を行うべきタイミングが来たことを運転手が知ることができ、当該操作を速やかに開始できるので、荷役効率が向上する。

本発明によれば、所定の荷役操作を行うタイミングでその荷役操作に必要な付加情報を示す画像を運転手の判断を要せず表示できるクレーンの運転支援システムを提供できる。

本実施形態に係るクレーンの運転支援システムの適用対象であるクレーンの構成を示す図である。 モニタに表示される映像及び処理画像の例を示す図である。 本実施形態に係るクレーンの運転支援システムの機能ブロック図である。 モニタに表示される映像及び処理画像の他の例を示す図である。 本実施形態に係るクレーンの運転支援システムを用いた運転支援方法の手順を示すフロー図である。

以下、図面に基づき本発明に好適な実施形態を詳細に説明する。
まず図１を参照して、本実施形態に係るクレーンの運転支援システムの適用対象であるクレーンの概略構成を説明する。ここではクレーンとして、コンテナ船４８との間でコンテナの荷役を行う岸壁クレーンが例示されている。

図１に示すようにクレーン１は、陸脚３ａ、海脚３ｂ及びこれらを連結するポータルタイ３ｃを備える一対の脚構造体３を備える。クレーン１は、脚構造体３の下端に設けられ、Ｙ方向（走行方向）に走行する走行装置７、脚構造体３の上部に支持され、走行方向に直交するＸ方向（横行方向）に延在する桁９も備える。クレーン１は、桁９に支持されて横行方向に走行するトロリ１１、トロリ１１に支持されて上下方向（Ｚ方向）に移動してコンテナ１０を吊り上げる吊り具であるスプレッダ１３も備える。クレーン１は、スプレッダ１３を見下ろすようにトロリ１１に設けられ、スプレッダ１３及びその着床目標である着床目標面１０ａを撮像する撮像装置１６も備える。図１のクレーン１は遠隔操作方式であり、運転室１８がクレーン１から離れた位置に設けられる。
撮像装置１６が撮像した映像１４の例を図２に示す。映像１４は、撮像装置１６が吊体３０及び着床目標面１０ａをトロリ１１から見下す向きで撮像した映像であり、着床操作の際に運転手が参照する。ただし撮像装置１６の設置位置及び撮像方向は図１に限定されない。

吊体３０とは、スプレッダ１３がコンテナ１０を掴んでいない場合はスプレッダ１３を示し、スプレッダ１３がコンテナ１０を掴んでいる場合には一体となっているスプレッダ１３及びコンテナ１０を示す。以下の説明も同様である。
以上がクレーン１の概略構成の説明である。

次に図１〜図３を参照して本実施形態に係るクレーンの運転支援システム２７の構成を説明する。
図３に示すように、運転支援システム２７は、モニタ２３、付加情報取得部１９、進行情報取得部２２、及び制御部２１を備える。

図２に示すようにモニタ２３は、撮像装置１６が撮像した映像１４と、付加情報を示す画像である処理画像４１を表示する装置である。
付加情報とは、クレーン１の所定の荷役操作を支援する情報であり、より具体的には所定の荷役操作の際に運転手が参照する情報である。
所定の荷役操作とは、クレーン１を用いてコンテナ１０の荷役を行う際に運転手が実施する操作を意味する。例えば吊体３０を着床目標面１０ａに着床させる直前の位置確認操作を所定の荷役操作の１つとして例示できる。
位置確認操作とは、着床直前の吊体３０の位置が着床目標面１０ａの位置に合っているか否かを判断し、合っている場合はそのまま着床操作を続行し、合っていない場合は位置を修正するか着床を中止する操作を意味する。
位置が合っていない場合とは、着床直前の吊体３０の着床目標面１０ａに対するＸ、Ｙ方向の位置ズレ又はスキュー等が、そのまま吊体３０を着床させるとツイストロックができない程度に大きい場合を意味する。
ただし、所定の荷役操作は位置確認操作には限定されない。トロリ１１の横行操作、クレーン１の走行操作等、コンテナ１０の荷役を行う際に運転手が実施する操作であれば、所定の荷役操作に該当する。

所定の荷役操作が吊体３０の着床時の位置確認操作である場合、位置確認操作の際に運転手が参照する情報が付加情報になる。具体的には着床面４３（図１参照）付近の拡大画像を例示できる。ただし付加情報は画像には限定されず、数値でもよい。例えば所定の荷役操作が吊体３０の着床時の位置確認操作である場合、付加情報として、吊体３０と着床目標面１０ａのＸ方向、Ｙ方向の位置ズレやスキューの値を示す数値を用いてもよい。
処理画像４１は、付加情報を示す画像であって、モニタ２３に表示される画像である。処理画像４１は、付加情報をそのまま表示した画像でもよい。例えば付加情報が数値である場合は、数値を画像化したものを処理画像４１としてもよい。付加情報が映像である場合、処理画像４１は映像そのものでもよい。処理画像４１は、付加情報を基に画像処理等の何等かの処理を行った画像でもよい。例えば付加情報が映像である場合は、映像の一部を抽出して拡大縮小等の処理を行ったものを処理画像４１としてもよい。あるいは、付加情報が数値である場合は、数値をもとに当該数値を示すメータ等の画像を生成して処理画像４１としてもよい。
以下の説明では所定の荷役操作として、位置確認操作を例に本実施形態を説明する。

図２に示すように、モニタ２３は映像表示領域１５を備える。また、付加情報表示領域１７が映像表示領域１５の一部に設定されている。
映像表示領域１５は映像１４を表示する領域である。図２の映像表示領域１５はモニタ２３の画面全体である。ただし、映像表示領域１５は必ずしもモニタ２３の画面全体を領域とする必要はない。モニタ２３の画面の一部を映像表示領域１５としてもよい。

付加情報表示領域１７は処理画像４１を表示する領域である。付加情報表示領域１７は、図２に示すように映像表示領域１５の一部として予め設定された領域である。

図２では付加情報である映像１４の一部を抽出して拡大する画像処理を行った処理画像４１ａ〜４１ｃが、処理画像４１として例示されている。
具体的には、処理画像４１ａは映像１４における、スプレッダ１３の上端近傍の部分拡大映像であり、付加情報表示領域１７ａに表示されている。処理画像４１ｂは映像１４における、スプレッダ１３の左端近傍の部分拡大映像であり、付加情報表示領域１７ｂに表示されている。処理画像４１ｃは映像１４における、スプレッダ１３の右端近傍の部分拡大映像であり、付加情報表示領域１７ｃに表示されている。このような処理画像４１が着床直前の位置確認操作の際に有用である理由を簡単に説明する。

図２に示す映像１４は着床操作の際に運転手が参照する映像である。着床操作の際には、吊体３０が降下して着床目標面１０ａに近づくほど、吊体３０と撮像装置１６の距離が離れるため、映像１４における吊体３０の表示が小さくなり、運転手が吊体３０の細部を見難くなる。特に、吊体３０が着床目標面１０ａに対してトロリ１１の横行方向又はクレーン１の走行方向に位置ズレが生じている場合に、映像１４における吊体３０の表示が小さ過ぎると、位置ズレが見難く、位置確認操作が困難な場合がある。

そこで、吊体３０付近の映像１４の部分拡大映像を処理画像４１ａ〜４１ｃとしてモニタ２３に表示することで、吊体３０が着床目標面１０ａに対して図１のＸ方向又はＹ方向に位置ズレが生じている場合に、運転手がそのズレを確認できる。さらに、ズレが生じている場合は吊体３０の位置ズレを修正する操作を行える。

付加情報は、映像１４の一部の拡大画像に限定されない。例えば、撮像装置１６以外の撮像装置２５が撮像した画像を付加情報としてもよい。
このような例としては、図４に示すように、図１に示す撮像装置２５ａ、２５ｂが着床目標面１０ｃを側面から撮像した画像を例示できる。撮像装置２５ａは図１では陸脚３ａに、Ｘ方向海側に向けてクレーン１を撮像可能な向きに設けられている。撮像装置２５ｂは海脚３ｂに、Ｘ方向陸側に向けてクレーン１を撮像可能な向きに設けられている。ただし撮像装置２５の設置位置は特に限定されず、他のシャシやクレーン等に設置してもよい。

例えば、図１に示すように着床目標面１０ｃが、岸壁１２に停車中のシャシ３１のトレーラに蔵置されたコンテナ１０ｂの上面であったとする。
撮像装置１６が撮像した映像１４ｂは、図４に示すように、シャシ３１及び吊体３０を上方から見下ろした画像であるため、本来は着床目標面１０ｃと着床面４３の鉛直方向距離は映像１４ｂから把握できるはずである。しかしながら、吊体３０と撮像装置１６の距離が離れるほど、撮像装置１６の鉛直方向に対する光軸の傾きが小さくなり、映像１４ｂが平面図に近づくため、着床目標面１０ｃと着床面４３の鉛直方向距離が分かり難くなる。

そこで、撮像装置２５ａ又は２５ｂがシャシ３１及び吊体３０をＸ方向陸側又は海側に向けて撮像した映像を付加情報として、図４に示すように処理画像４１ｄに加工して映像１４に重ねて表示することで、着床目標面１０ｃと着床面４３の鉛直方向距離も運転手が把握できる。撮像装置２５ａと撮像装置２５ｂのいずれを用いてシャシ３１を撮像するかは、シャシ３１の位置や周囲の環境に応じて選択すればよい。例えば撮像装置２５ａ、２５ｂのうち、シャシ３１との距離が近い方を選択すればよい。又は撮像装置２５ａ、２５ｂの一方とシャシ３１の間に他のシャシ等がある場合は、他方の撮像装置を選択すればよい。
なお、図４の映像は地切り確認操作に用いることもできる。地切り確認操作とは、シャシ３１上のコンテナ１０ｂをスプレッダ１３で吊り上げる際に、シャシ３１ごと吊り上げていないかを確認する操作をいう。通常、シャシ３１上に蔵置されたコンテナ１０ｂはシャシ３１に設けられたツイストロック等でシャシ３１に固定されているため、コンテナ１０ｂを吊り上げる前にツイストロックを解除する。しかしながら、何等かの理由でツイストロックを解除できなかった場合、シャシ３１ごとコンテナ１０ｂを吊り上げる可能性があるため、地切り確認操作が必要になる。地切り確認操作を行う際には、撮像装置２５ａ、２５ｂのいずれかを用いて図４に示すようにシャシ３１及び吊体３０をＸ方向から撮像させ、所定の高さ（例えばポータルタイ３ｃより下）までスプレッダ１３が巻下げされたらこの映像を処理画像４１として映像１４に重ねて表示させ、所定の高さよりも高い位置にスプレッダ１３が巻上されたら表示を消去すればよい。

図２及び図４では、付加情報表示領域１７の位置、大きさ、数は予め制御部２１によって設定されている。例えば図２では付加情報表示領域１７ａ〜１７ｃの３つの付加情報表示領域１７が設定されている。付加情報表示領域１７ａは映像表示領域１５の上端近傍に設定された長方形の領域である。付加情報表示領域１７ｂは映像表示領域１５の左端近傍に設定された正方形の領域であり、表示面積は付加情報表示領域１７ａよりも小さい。付加情報表示領域１７ｃは映像表示領域１５の右端近傍に設定された正方形の領域であり、表示面積は付加情報表示領域１７ａよりも小さい。図４では１つの長方形の付加情報表示領域１７ｄが映像表示領域１５の上端近傍に設定されている。

ただし、付加情報表示領域１７の位置や大きさは運転手の操作に基づき、制御部２１が変更可能としてもよい。変更のための操作手段としては、運転室１８に設けられた操縦桿等を用いてもよいが、モニタ２３がタッチパネルの場合、付加情報表示領域１７を運転手が指でタッチすることで、位置や大きさを設定する画面がモニタ２３に表示されるように構成してもよい。あるいは付加情報表示領域１７を運転手が指でドラッグすることでその位置を変えられるように構成してもよい。あるいは付加情報表示領域１７を２本の指でタッチした状態で、２本の指の間の距離を変えることでズームを行う、所謂ピンチイン／ピンチアウト機能をモニタ２３が有してもよい。

また、付加情報表示領域１７の数は、表示すべき処理画像４１の数に応じて制御部２１が設定する。
このように、運転支援システム２７では、付加情報表示領域１７の位置、大きさ、数を映像表示領域１５の範囲内で任意に設定できるため、付加情報を、そのサイズや数によらず表示できる。
なお、モニタ２３は映像１４と処理画像４１を重ねて表示できる装置であれば構造は特に限定されない。公知の液晶表示装置等を用いればよい。モニタ２３の設置位置は特に限定しないが、運転手が参照できる位置が好ましい。図１では運転室１８内に設けられている。

付加情報取得部１９は、付加情報を取得する装置であり、制御部２１に有線又は無線で電気的に接続される。
付加情報取得部１９は付加情報を取得できるものであれば特に構造は限定されない。例えば付加情報が映像である場合は、撮像装置１６、２５が付加情報取得部１９になる。付加情報が映像の撮像条件（パン、チルト、ズーム等）を示す情報である場合は、撮像装置１６、２５から制御部２１が当該撮像条件を付加情報として取得するので、この場合は制御部２１が付加情報取得部１９を兼ねる。付加情報がトロリ１１、スプレッダ１３等の可動部の位置を示す情報である場合は、これらの位置を検出する位置センサやエンコーダ等が付加情報取得部１９になる。

進行情報取得部２２は、進行情報を取得する装置であり、制御部２１に有線又は無線で電気的に接続される。
進行情報とは、クレーン１の荷役の進行状況に係る情報であり、所定の荷役操作を行うタイミングを判断する際に用いられる情報である。

所定の荷役操作を行うタイミングとは、運転手が所定の荷役操作を行うに際して、付加情報を必要とする期間の始期か、それよりも前の時点を意味する。例えば所定の荷役操作が着床直前の位置確認操作である場合、吊体３０が所定の高さまで降下した時点を例示できる。この場合、進行情報は吊体３０の高さを示す情報であり、進行情報取得部２２は、トロリ１１に設けられ、吊体３０の高さを検出する図示しない位置センサになる。

所定の高さとは、図２のように処理画像４１が映像１４の拡大映像である場合、拡大映像を参照しないと映像１４における吊体３０と着床目標面１０ａの位置関係、特にＸ、Ｙ方向の位置ズレを運転手が把握し難くなる高さである。具体的な高さは撮像装置１６が設けられている高さ、映像１４の撮像倍率、又は吊体３０の降下速度によって異なるが、例えば着床目標面１０ａから鉛直方向に数ｍ程度の高さである。この高さは運転手が任意に設定できるように構成してもよい。

付加情報取得部１９と進行情報取得部２２は必ずしも別の装置である必要はない。例えば処理画像４１が映像１４の拡大映像であり、進行情報が吊体３０の高さである場合、吊体３０の高さは映像１４を画像解析することでも求められる。この場合は撮像装置１６が付加情報取得部１９と進行情報取得部２２を兼ねる。

制御部２１は、進行情報を基に所定の荷役操作を行うタイミングで、処理画像４１を付加情報表示領域１７に表示させる装置であり、モニタ２３、撮像装置１６、付加情報取得部１９、及び進行情報取得部２２に有線又は無線で電気的に接続される。

所定の荷役操作を行うタイミングであるか否かは、制御部２１が、クレーン１の荷役の進行状況を示す進行情報を進行情報取得部２２から取得し、取得した進行情報に基づき判断する。例えば所定の荷役操作が着床直前の位置確認操作である場合、進行情報としての吊体３０の高さを、付加情報取得部１９としての図示しない位置センサで取得する。さらに取得した高さが一定値以下となった場合に、所定の荷役操作を行うタイミングであると制御部２１が判断する。

このように、所定の荷役操作を行うタイミングで、その荷役操作に必要な付加情報を含む処理画像４１が自動でモニタ２３に表示されることで、処理画像４１に含まれる付加情報に関わる操作を行うべきタイミングが来たことを運転手が知ることができる。その結果、運転手が当該荷役操作を速やかに開始できるので、荷役効率が向上する。
また、映像１４の最前面に処理画像４１を重ねて表示することで、１つの画面に映像１４と付加情報を表示できる。

制御部２１は、所定の荷役操作を行うタイミング以外では、処理画像４１を非表示にして映像１４のみをモニタ２３の映像表示領域１５に表示させるのが好ましい。
処理画像４１は所定の荷役操作を行うタイミング以外では運転手が参照しない情報を表示する場合があるため、所定の荷役操作を行うタイミング以外は、処理画像４１を非表示とすることで、運転手に必要な場合のみ付加情報が表示される。
そのため、所定の荷役操作を行うタイミング以外は、運転手が映像１４の全体を見ることができる。

また、所定の荷役操作を行うタイミング以外では、処理画像４１を非表示とすることで、ある処理画像４１が非表示の場合は、その処理画像４１を参照する荷役操作を行うタイミングでないことも運転手が把握でき、荷役効率が益々向上する。

制御部２１は、付加情報を取得する際の条件を変更することもできる。例えば図４に示すように、撮像装置２５が取得した映像が付加情報である場合、撮像に際して、撮像装置２５のパン、チルト、ズーム等の撮像条件を変更して撮像装置２５に映像を撮像させてもよい。
このように、付加情報を取得する際の条件を制御部２１が変更することで、所定の荷役作業中に、その進行状況や運転手の必要に応じて、より作業の支援に資する情報を付加情報として取得でき、荷役効率が益々向上する。

所定の荷役操作は複数あってもよい。この場合は、個々の荷役操作に対応するタイミング毎に、その荷役操作に必要な付加情報を含む処理画像４１が生成され、モニタ２３に表示される。

所定の荷役操作は位置確認操作に限定されない。位置確認操作以外の所定の荷役操作の例を以下に列挙するが、所定の荷役操作は列挙した操作に限定されない。
まずトロリ１１の横行操作が所定の荷役操作として挙げられる。
所定の荷役操作がトロリ１１の横行操作である場合、トロリ１１の横行開始時点を所定のタイミングとし、クレーン１におけるトロリ１１の現在位置のＸ座標等を付加情報とし、横行開始時点で付加情報を処理画像４１に加工して、モニタ２３に表示してもよい。この場合、トロリ１１が横行を開始したか否かの情報及び、クレーン１におけるトロリ１１の現在位置の情報は、トロリ１１を駆動する図示しないドラムに設けられたエンコーダ等から取得できる。
次に所定の荷役操作として、船舶のハッチカバーを荷役する際の操作も例示できる。
例えば、ハッチカバーが着脱式の場合、船倉を開放する際にはハッチカバーをスプレッダ１３で吊り上げて岸壁１２に蔵置する必要がある。この際、スプレッダ１３を桁９の陸側の張り出し部分であるバックリーチ側まで移動する必要があるため、バックリーチの下方の岸壁１２の映像が必要となる。そこで、ハッチカバーの荷役を行う際には、バックリーチの下方の岸壁１２の映像を処理画像４１として制御部２１が常時表示させるのが好ましい。バックリーチ側の映像は、例えば桁９のバックリーチ上部に撮像部を設けて下方の岸壁１２を撮像することで得られるが、陸脚３ａからバックリーチの下方の岸壁１２を撮像する撮像部を備えてもよい。

モニタ２３に表示される情報は映像１４と処理画像４１に限定されない。例えばクレーン１に接近するシャシや作業員を示す情報のように、クレーン１の運転の安全に関わる情報を示す画像である安全表示画像４５を映像表示領域１５に表示してもよい。図２では安全表示画像４５として、クレーン１の周囲に作業員が接近していることを示す画像が表示されている。

図２の安全表示画像４５は作業員の移動に伴い、表示位置が移動するため、付加情報表示領域１７と安全表示画像４５の表示領域が重なる場合がある。
この場合、制御部２１は安全表示画像４５が表示されている領域の範囲外に付加情報表示領域１７の位置を設定するのが好ましい。図２では、付加情報表示領域１７ｃと安全表示画像４５が表示されている領域が重なる場合、白矢印で示すように、付加情報表示領域１７ｃの表示位置を、安全表示画像４５が表示されている領域の範囲外、図２では右斜め下に変更する。

付加情報表示領域１７ｃの表示位置を変更することで、安全表示画像４５が付加情報表示領域１７ｃの背後に隠れることがないので、安全表示画像４５を常にモニタ２３の最前面に表示でき、荷役の安全性を確保できる。また、付加情報表示領域１７ｃが安全表示画像４５の背後に隠れることもないので、付加情報表示領域１７も常にモニタ２３の最前面に表示でき、荷役効率を向上させられる。
なお、安全表示画像４５を処理画像４１として扱ってもよい。例えば脚構造体３の間に進入するシャシ３１を二次元センサで検出する構成とし、該センサがシャシ３１を検出したときに、ポータルタイ３ｃ等に設けた図示しない撮像装置が撮像したシャシ３１の映像、又はシャシ３１の位置を示す矢印等の図形を、処理画像４１として、映像１４に重ねて表示させてもよい。なお撮像装置が複数ある場合、個々の撮像装置とシャシとの距離等に基づき制御部２１が表示する映像を選択すればよい。例えばシャシ３１自身にＧＰＳなどの位置取得装置があれば、ＴＯＳ（Terminal Operating System）経由で制御部２１がシャシ３１の位置情報を取得して、取得した位置情報をもとに映像を表示させる撮像装置を制御部２１が決定できる。また安全表示画像４５を処理画像４１として扱う場合でも、処理画像４１同士の表示範囲が重なる場合は、一方の表示範囲を移動させるのが好ましい。
制御部２１は進行情報を基に所定の荷役操作を行うタイミングで、処理画像４１を付加情報表示領域１７に表示させられる装置であれば、構造は特に限定されない。例えば汎用コンピュータを用いることができる。また、クレーン１の動作を制御する装置が制御部２１を兼ねてもよい。制御部２１の設置位置も特に限定されない。図１では運転室１８に設けられている。
以上がクレーン１の運転支援システム２７の構成の説明である。

次に、図５を参照して本実施形態に係るクレーン１の運転支援システム２７を用いた運転支援方法の手順を説明する。ここでは運転支援方法の適用事例として、吊体３０の着床直前の位置確認操作時を例に説明するが、運転支援方法の適用事例は着床直前の位置確認操作時に限定されない。

まず前提として、着床操作が開始されたとする（図５のＳ０）。着床操作の開始時点は、吊体３０が着床目標面１０ａの上方に位置した時点、運転手が何らかの開始操作を行った時点、吊体３０及び着床目標面１０ａの両方が撮像装置１６の撮像範囲内に入った時点を例示できるが、これらに限定されない。
この場合、制御部２１は、映像１４を撮像装置１６から取得し、モニタ２３の映像表示領域１５に表示する（図５のＳ１）。映像１４が表示されると、運転手は運転室１８の操縦桿を操作する等して、映像１４を参照して吊体３０を着床目標面１０ａに向けて降下させる巻き下げ操作を開始する。なお、映像１４は処理画像４１の表示タイミングよりも前に表示されていればよいので、表示を開始する時期は、着床操作の前でもよいし、常にモニタ２３に表示してもよい。

巻き下げ操作が開始されると制御部２１は、位置センサ等を用いて吊体３０の着床面４３の高さを検出させ、進行情報として取得する（図５のＳ２）。

着床面４３の高さを取得した制御部２１は、着床面４３の高さが所定以下であるか否かを判断し、所定の高さを超える場合はＳ４に進み、所定の高さ以下である場合はＳ５に進む（図５のＳ３）。Ｓ３は、進行情報である着床面４３の高さを基に、所定の荷役操作である位置確認操作を行うタイミングが来たか否かを判断するステップである。
Ｓ３で着床面４３の高さが所定の高さを超えると制御部２１が判断した場合は、制御部２１はモニタ２３に処理画像４１を表示せずＳ２に戻る。この場合は巻き下げ操作が続行される（図５のＳ４）。

所定の高さ以下である場合は、まず制御部２１は処理画像４１を生成する（図５のＳ５）。具体的には、制御部２１は着床直前の位置確認操作に必要な付加情報を取得する。ここでは撮像装置１６から撮像した映像１４を取得する。次に制御部２１は付加情報に必要な処理を施して処理画像４１を生成する。ここでは、映像１４の一部を抽出して、付加情報表示領域１７に対応する形状、寸法に拡大／縮小した画像を処理画像４１として生成する。図２の例では、吊体３０の上端、左端、右端の映像を抽出、拡大して処理画像４１ａ〜４１ｃを生成する。

次に制御部２１は、付加情報表示領域１７と、安全表示画像４５の表示領域が重なっているか否かを判断し、重なっていると判断した場合はＳ７に進み、重なっていないと判断した場合はＳ８に進む（図５のＳ６）。
重なっていると判断した場合は、制御部２１は、安全表示画像４５が表示されている領域の範囲外に付加情報表示領域１７の位置を変更してＳ８に進む（図５のＳ７）。
例えば図２では、付加情報表示領域１７ｃと安全表示画像４５が表示されている領域が重なっているので、白矢印で示すように、付加情報表示領域１７ｃの表示位置を、安全表示画像４５が表示されている領域の範囲外、図２では右斜め下に変更する。

次に制御部２１は、処理画像４１を映像１４に重ねて付加情報表示領域１７に表示する（図５のＳ８）。
運転手は付加情報表示領域１７に処理画像４１が表示されることで、着床直前の位置確認操作を行うべき時期が来たことを認識できる。運転手は処理画像４１を参照して位置確認を行い、吊体３０の位置ズレが許容範囲であれば吊体３０を着床目標面１０ａに着床させる。吊体３０の位置ズレや振れが大きすぎる等の理由で着床できないと運転手が判断した場合は、巻き下げ操作を停止する等の操作を行い、着床操作を中止する。

次に、制御部２１は、吊体３０の着床直前の位置確認操作が終了したか否かを判断し、終了していないと判断した場合はＳ１０に進み、終了したと判断した場合はＳ１１に進む（図５のＳ９）。
吊体３０の位置確認操作が終了したか否かの判断基準は特に限定しないが、以下の基準が例示できる。
まず、吊体３０の巻き上げ操作が開始された時点を例示できる。巻き上げ操作が開始されるのは着床の後か、位置ズレが大きすぎる等の理由で吊体３０を着床させられなかった場合であるため、位置確認操作も終了しているとみなせるためである。
次に、ツイストロック操作が完了した後も基準にできる。より具体的にはツイストロックピンの回転動作が完了した後を基準にする。ツイストロック操作は位置確認操作の後で実施されるため、ツイストロック操作が完了した時点では、当然に位置確認操作も終了しているとみなせるためである。
さらに、片吊りが検出されずに吊体３０が所定距離だけ巻き上げられた時点も基準にできる。この基準は位置ズレなく着床操作が完了したことを意味するため、当然に位置確認操作が終了しているとみなせるためである。

Ｓ９で吊体３０の位置確認操作が終了していないと制御部２１が判断した場合は、制御部２１は処理画像４１を表示したままでＳ９に戻る。この場合は巻き下げ操作が続行される（図５のＳ１０）。
吊体３０の位置確認操作が終了したと判断した場合、制御部２１は処理画像４１を非表示にする（図５のＳ１１）。
以上がクレーン１の運転支援システム２７を用いた運転支援方法の手順の説明である。

このように本実施形態によれば、クレーン１の運転支援システム２７は、所定の荷役操作を行うタイミングで、当該荷役操作を支援する情報を含む処理画像４１をモニタ２３の付加情報表示領域１７に映像１４に重ねて表示させる。
そのため、処理画像４１が表示されると、表示された画像に含まれる付加情報に関わる操作を行うべきタイミングが来たことを運転手が知ることができ、当該操作を速やかに開始できるので、荷役効率が向上する。
また、本実施形態は、処理画像４１の表示の有無を制御部２１が判断する。そのため、所定の荷役操作を行うタイミングでその荷役操作に必要な付加情報を示す画像を、運転手の判断を要せずに表示できる。

以上、実施形態に基づき本発明を説明したが本発明は実施形態に限定されない。当業者であれば本発明の技術思想の範囲内において各種変形例及び改良例に想到するのは当然のことであり、これらも本発明に含まれる。

例えば本実施形態では運転支援システム２７の適用対象として岸壁クレーンを例示したが、本発明の適用対象は岸壁クレーンに限定されない。クレーンであれば、ジブクレーン、門型クレーン、アンローダ等にも本発明は適用できる。

また、本実施形態ではクレーンの運転支援システム２７の適用対象として遠隔操作方式のクレーンを例示したが、本発明の適用対象は遠隔操作方式のクレーンに限定されない。例えばトロリ１１に運転席が設けられたクレーンにも本発明は適用できる。

１ クレーン
３ 脚構造体
３ａ 陸脚
３ｂ 海脚
７ 走行装置
９ 桁
１０、１０ｂ コンテナ
１０ａ、１０ｃ 着床目標面
１１ トロリ
１２ 岸壁
１３ スプレッダ
１４、１４ｂ 映像
１５ 映像表示領域
１６ 撮像装置
１７、１７ａ、１７ｂ、１７ｃ 付加情報表示領域
１８ 運転室
１９ 付加情報取得部
２０ 運転室
２１ 制御部
２２ 進行情報取得部
２３ モニタ
２５、２５ａ、２５ｂ 撮像装置
２７ 運転支援システム
３０ 吊体
３１ シャシ
４１、４１ａ、４１ｂ、４１ｃ 処理画像
４３ 着床面
４５ 安全表示画像
４８ コンテナ船

Claims (5)

1. 周囲を撮像する撮像装置を備えるクレーンの運転支援システムであって、
   前記撮像装置が撮像した映像を表示する映像表示領域を備えるモニタと、
   前記クレーンの所定の荷役操作を支援する情報を含む付加情報を取得する付加情報取得部と、
   前記クレーンの荷役の進行状況を示す進行情報を取得する進行情報取得部と、
   前記モニタ、前記付加情報取得部、前記進行情報取得部及び前記撮像装置に接続され、前記付加情報を示す画像である処理画像を前記付加情報を基に生成し、前記進行情報を基に、前記所定の荷役操作を行うタイミングが来たか否かを判断し、タイミングが来た場合に前記処理画像を前記映像に重ねて前記映像表示領域の一部として予め設定された領域である付加情報表示領域に表示させる制御部と、
   を備えることを特徴とするクレーンの運転支援システム。
2. 前記制御部は、
   前記所定の荷役操作を行うタイミング以外は、前記処理画像を非表示にして前記映像を前記映像表示領域に表示させ、
   前記所定の荷役操作を行うタイミングで、前記映像の最前面に前記処理画像を重ねて前記付加情報表示領域に表示させる請求項１に記載のクレーンの運転支援システム。
3. 前記付加情報は、前記撮像装置とは異なる他の撮像装置が撮像した映像である請求項１又は２に記載の運転支援システム。
4. 前記制御部は、
   前記付加情報表示領域と、荷役の安全に関わる情報を示す画像である安全表示画像の表示領域が重なる場合は、前記安全表示画像が表示されている領域の範囲外に前記付加情報表示領域の位置を変更する請求項１〜３のいずれかに記載の運転支援システム。
5. クレーンの周囲を撮像した映像をモニタの表示領域に表示し、
   前記クレーンの荷役の進行状況を示す進行情報を取得し、
   所定の荷役操作を行うタイミングが来たか否かを前記進行情報を基に判断し、
   タイミングが来たと判断した場合は、前記所定の荷役操作を支援する情報を含む付加情報を取得して前記付加情報を示す画像である処理画像を前記付加情報を基に生成し、
   前記処理画像を、前記表示領域の一部として予め設定した領域である付加情報表示領域に前記映像に重ねて表示させることを特徴とするクレーンの運転支援方法。

Images