JP2018188250A - 荷役機械の操作支援方法及び装置並びに保守作業支援方法及び装置 - Google Patents

Abstract

【課題】クレーンを含む荷役機械の操作や保守作業を支援する。【解決手段】カメラ７０Ｃを備えたドローン７０を、コンテナクレーン２０の吊荷１２付近や荷役作業付近、及び、次に移動する付近に飛ばし、前記カメラ７０Ｃからの映像を運転者３７が確認できるようにして、運転者３７の死角が生じないようにする。また、カメラ７０Ｃを備えたドローン７０を点検が必要な位置に飛ばし、前記カメラ７０Ｃからの映像を運転者３７及び保守作業者が確認できるようにする。【選択図】図８

Description

本発明は、クレーンを含む荷役機械の操作支援方法及び装置並びに保守作業支援方法及び装置に関する。なお、本発明におけるクレーンとは、橋型クレーンなどの大型クレーンを含むが、これに限定されない。

例えば、図１（斜視図）、図２（コンテナを荷役している状態を示す正面図）、図３（側面図）に示すように、一般に大型のコンテナクレーン（以下、単にクレーンとも称する）２０やアンローダなどでは、その脚部２６が門型に構成されたクレーン本体２２が、その四隅の下端部に設けられた走行装置２４により、岸壁６に設けられたエプロン１４と平行に敷設されたレール１６に沿って走行できるようになっている。又、レール１６上を走行装置２４で走行するクレーン本体２２の脚部２６に支持された長い水平桁（起伏ブーム又は単にブームと称する）３０に、吊荷であるコンテナ１２専用の吊具（スプレッダと称する）３４を垂下させるトロリ３２を備えている。このトロリ３２は、例えばコンテナクレーン２０では、クレーン本体２２の走行方向とは直角に走行する（以下横行と称する）。

前記コンテナクレーン２０は、岸壁６に接岸された、水面８に浮かぶ船舶（コンテナ船と称する）１０の船長方向に対して平行に走行することが可能であり、更に、ブーム３０上のトロリ３２がコンテナクレーン２０の走行方向、つまりレール１６の敷設方向に対して直角に横行することにより、コンテナ船１０上の全域にわたって、コンテナ１２に対する荷役が可能とされている。

前記ブーム３０は、コンテナ船１０が接岸する時、図２に二点鎖線で示すように、上方に跳ね上げて退避するようにされている。

前記トロリ３２には、図４に例示するような運転室３６が装備され、該運転室３６内の運転者３７が、コンテナクレーン２０の操作を上方から行って、コンテナ船１０と地上運搬車（トレーラと称する）１１間のコンテナ１２の積み替えを行っている。

トレーラ１１としては、例えば、図５（Ａ）に示すような、トラクタ１１Ａに牽引されるシャーシ１１Ｂに短尺コンテナ１２Ａを一台積載したもの、図５（Ｂ）に示すような、トラクタ１１Ａに牽引されるシャーシ１１Ｂに長尺コンテナ１２Ｂを一台積載したもの、あるいは、図５（Ｃ）に示すような、トラクタ１１Ａに牽引されるシャーシ１１Ｂに短尺コンテナ１２Ａを二台積載したものがある。

大型のクレーンでは、走行、横行操作や巻上、巻下等の操作を、地上５０ｍ程度の運転室３６の中から運転者３７が行うため、直視は勿論、監視カメラや、接触防止用センサ、衝突防止用センサなどを設けると共に、玉掛等を行う船上作業者３８、地上作業者３９と連絡をとり、周囲の状況や安全を確認しながら操作を行っている。

例えば特許文献１や２には、カメラからの映像情報を用いることが記載されている。又、特許文献３には物体高さ分布データを生成して死角の範囲の物体高さのデータを修正する技術が記載されている。

特開２０１６−１６００８１号公報（図３） 特開２０１５−１８９５２８号公報 ＷＯ２０１４／０８３６１１号公報 特開２０１６−１８１１１９号公報 特開２０１７−２７３９６号公報 特開２０１６−９５８４１号公報

しかしながら死角となる箇所も多く存在し、運転者３７の負担は大きい。更に、吊り上げて移動中のコンテナ１２が万が一障害物に接触した場合、視覚と衝突音などで、どのような状況かをある程度把握できるものの、コンテナ１２などを吊るスプレッダ３４が遠く離れた場所にあるため、詳細を知ることは困難である。

近年のコンテナクレーンに代表される港湾荷役機械では、コンテナ船の大型化に伴い、コンテナクレーンが大型化し、吊荷の位置が遠くなり、周囲の状況が視認できにくくなっているなどの問題点を有する。従って、このようなクレーンを操作する場合の安全確認などの支援が不可欠となる。

なお、特許文献４、５には、ドローンを用いて重機や作業用車両などの周囲状況を視覚的に把握する技術が記載され、特許文献６には、ドローンに搭載されたカメラの目標軌道を生成するための技術が記載されているが、ドローンを荷役機械に用いることは考えられていなかった。

本発明は、前記従来の問題点を解決するべくなされたもので、荷役機械の操作を支援することを第１の課題とする。

本発明は又、荷役機械の保守作業を支援することを第２の課題とする。

本発明は、カメラを備えたドローンを、荷役機械の吊荷付近や荷役作業付近、及び、次に移動する付近に飛ばし、前記カメラからの映像を運転者が確認できるようにして、運転者の死角が生じないようにすることにより、前記第１の課題を解決したものである。

ここで、前記ドローンの飛行パターンを、クレーンの吊具やトロリの位置、速度等の荷役機械の運転状態、荷の積みつけ状態等の荷役情報、荷役機械及びドローンへの操作入力信号、ドローンの位置、カメラの視野を含む入力情報から深層学習によって学習して、ドローンの飛行位置を自動的に指示することができる。

又、前記入力情報が、晴雨、気温等の天候に関する情報、血圧、心拍数を含む健康状態、癖等の運転者に関する情報、他の作業者との通信内容から抽出したキーワードの少なくともいずれか一つを含むことができる。

本発明は、又、カメラを備えたドローンを点検が必要な位置に飛ばし、前記カメラからの映像を運転者及び保守作業者が確認できるようにすることにより、前記第２の課題を解決したものである。

ここで、前記ドローンを事故や故障、異常を検出した時に飛ばすことができる。

本発明は、又、カメラを備えたドローンと、該ドローンを、荷役機械の吊荷付近や荷役作業付近、及び、次に移動する付近に飛ばす手段と、前記カメラからの映像を運転者が確認できるようにするモニタと、を備え、運転者の死角が生じないようにしたことを特徴とする荷役機械の操作支援装置により、前記第１の課題を解決したものである。

ここで、前記ドローンの飛行パターンを、クレーンの吊具やトロリの位置、速度等の荷役機械の運転状態、荷の積みつけ状態等の荷役情報、荷役機械及びドローンへの操作入力信号、ドローンの位置、カメラの視野を含む入力情報から深層学習によって学習して、ドローンの飛行位置を自動的に指示する手段を備えることができる。

又、前記入力情報が、晴雨、気温等の天候に関する情報、血圧、心拍数を含む健康状態、癖等の運転者に関する情報、他の作業者との通信内容から抽出したキーワードの少なくともいずれか一つを含むことができる。

本発明は、又、カメラを備えたドローンと、前記ドローンを点検が必要な位置に飛ばす手段と、前記カメラからの映像を運転者及び保守作業者が確認できるようにするモニタと、を備えたことを特徴とする荷役機械の保守作業支援装置により、前記第２の課題を解決したものである。

ここで、事故や故障、異常を検出する手段と、事故や故障、異常を検出した時に、前記ドローンを飛ばす手段と、を更に備えることができる。

本願の第１の発明によれば、ドローンを適切な位置に飛ばすことにより、運転者の死角が無いようにすることができ、荷役作業を安全に行うことが可能となる。

又、本願の第２の発明によれば、定期点検箇所や、事故や故障箇所の状況を撮影して、運転者と保守作業者に送ることができ、定期点検作業を省力化したり、事故や故障箇所の状況を迅速かつ的確に把握して、適切な対策を行うことが可能となる。

本発明の適用対象の一つであるコンテナクレーンの全体構成を示す斜視図 同じくコンテナ船とトレーラ間でコンテナの移載を行っている状態を示す正面図 同じく側面図 同じくトロリに取付けられた運転室を示す拡大断面図 同じくトレーラの例を示す側面図及び背面図 本発明の実施形態におけるコンテナの移載状況を示すコンテナクレーンの正面図 同じく固定監視カメラ及びメンテナンス室の配置例を示す正面図 同じく要部構成を示すブロック図 同じく運転者／点検支援制御装置の構成を示すブロック図 同じく単純化したニューラルネットワークの概念図 同じく学習システムを示す図 同じく手動飛行の手順を示す流れ図 同じく自動飛行の手順を示す流れ図 同じく巻上用ワイヤロープ系の配置例を示す斜視図 同じく横行用ワイヤロープ系の配置例を示す斜視図 同じく起伏用ワイヤロープ系の配置例を示す斜視図 同じくスプレッダを示す拡大斜視図 同じくツイストロックのリミットスイッチ部分を示す拡大断面図 同じく事故や異常時の飛行手順を示す流れ図 同じく定期点検時の飛行手順を示す流れ図

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本発明は以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例における構成要件には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は適宜組み合わせてもよいし、適宜選択して用いてもよい。

本実施形態におけるコンテナ１２の移載状況を図６に、同じく固定監視カメラ（以下、固定カメラと称する）６０及びメンテナンス室６８の配置を図７に、同じく要部構成を図８に、同じく運転者／点検支援制御装置７６の構成を図９に示す。

本実施形態では、図８中に示したような、本体７０Ａ、浮上用の例えばプロペラ（浮上用プロペラと称する）７０Ｂ、及びカメラ７０Ｃを備えたドローン７０を用いる。

コンテナクレーン２０に対しては、図６に例示するように、ドローンの充電ステーション（ドローンステーションと称する）７１を設け、そこから荷役開始時にドローン７０を発進する。

本実施形態の運転室３６には、図４に示した如く、周囲の状況を的確に映し出す画像表示装置（モニタと称する）７８を備えており、その映像は、図７に例示したような固定カメラ６０及びドローン７０のカメラ７０Ｃからのものになる。図において、６２はセンサである。

本実施形態は、図８に示す如く、本体７０Ａ、浮上用プロペラ７０Ｂ及びカメラ７０Ｃを備えたドローン７０と、操作盤７２と、クレーンの各動作状況や故障アラームが入力されるクレーン制御装置（例えばＰＬＣ）（以下クレーンＰＬＣと称する）７４と、該クレーンＰＬＣ７４から入力される操作情報、クレーン情報、及び荷役システム６４から入力される荷役情報に応じて、ドローン７０に位置を指示すると共に、ドローン７０から得られた画像をモニタ７８に表示する、本発明に係る運転者／点検支援制御装置７６と、ドローン７０、船上作業者３８、地上作業者３９及びメンテナンス室６８と通信するための無線通信装置８０と、を備えている。図において、ドローン７０側、メンテナンス室６８側、作業者３８、３９側の無線通信装置は図示を省略している。

本実施形態において、前記クレーンＰＬＣ７４、前記運転者／点検支援制御装置７６、および前記無線通信装置８０は、電気室４０に設置されている。

前記運転者／点検支援制御装置７６は、図９に例示する如く、入力装置７６Ａと、深層学習装置７６Ｂと、出力装置７６Ｃと、位置補正装置７６Ｄとを備えている。

そして、出力装置７６Ｃから出力されるドローン７０の座標やカメラ７０Ｃの状態（向きやズーム率）の目標値に対して、障害物の状態に応じて位置補正を加え、更に、必要に応じて操作盤７２からの指令による修正を加えて、ドローン７０に指示を与える。ドローン７０の位置座標は、例えばＧＰＳ等により測位すると共に、クレーン２０との相対位置補正（ＤＧＰＳ）によって精度を上げることもできる。

前記深層学習装置７６Ｂは、図１０に例示するような入力層、中間層及び出力層を有するニュートラルネットワークを多層積み重ねて複合した構成となっている。

本実施形態におけるニューラルネットワークの入力層と出力層の例を図１１に示す。

最低限の学習システムでは、入力層を、横行位置・速度、巻上位置・速度、走行位置・速度、船の荷の積みつけ情報（現在の荷役する船のコンテナ位置）、トレーラ位置、操作入力（指令、横行速度）、操作入力（指令、巻上速度）、操作入力（指令、走行速度）、ドローンの現在位置、ドローンの位置修正操作、カメラの視野修正操作とし、出力層を、ドローンの姿勢、カメラ姿勢、次の指令位置（３Ｄ位置Ｘ、３Ｄ位置Ｙ、３Ｄ位置Ｚ、カメラ視線位置Ｘ１、カメラ視線位置Ｙ１、カメラ視線位置Ｚ１、視野大きさα（ズーム率））として、中間層で、教師信号を開いて教師あり学習を行うことができる。ここで、学習初期状態には幾何学的、想定により、トロリやクレーン走行位置、速度などからドローンの位置、カメラ視野を決めておくことができる。

又、オプション１として、入力層に、日照情報、風向、風速、荷物荷重、偏芯を加えることができる。更に、オプション２として、入力層に、荷役作業者との会話（キーワード抽出）、運転者の視線、運転者の血圧、心拍数等の健康状態を加えることができる。オプション１、２は、いずれか一方のみとすることもできる。

出力層や学習方法は、いずれも、基本的に同じである。

運転者３７が自身のデータをＩＤカードなどでクレーンＰＬＣ７４に投入し荷役が開始される。船側のデータは予め荷役システム６４から与えられており、荷役スケジュールも運転者／点検支援制御装置７６に入力されている。又、運転者３７の特性（例えば上から見る、横から見るなど）も過去の指示から学習されているので、運転者／点検支援制御装置７６からの指示によってドローン７０が適切な位置に飛行し、適切な画像を送る。例えば、上段のコンテナは上から映し、中段のコンテナは横から映す。運転者３７の要望がある場合には、運転室３６内の操作盤７２から指示することができる。又、そのデータは深層学習の入力となり、次に学習される。

前記ドローン７０を、クレーン２０の吊荷であるコンテナ１２付近や荷役作業付近、及び、次に移動する付近に飛ばし、前記カメラ７０Ｃからの映像を運転者３７が確認できるようにして、運転者の死角が生じないようにする。

最初に行う手動飛行の手順の例を図１２に示す。

具体的には、まず、運転者３７の指示した位置にドローン７０を飛ばす（ステップ１００）。

次いで、運転者３７の指示に従ってカメラ７０Ｃを制御する（ステップ１１０）。

次いで、画像を取得して送信し（ステップ１２０）、運転室３６のモニタ７８に表示する（ステップ１３０）。

そして、全ての画像を表示するまで、上記ステップ１００〜１３０を繰り返す（ステップ１４０）。

学習後の自動飛行の手順の例を図１３に示す。

具体的には、まず、図１２に示したような手動飛行の飛行パターンを学習する（ステップ２００）。

次いで、学習した位置にドローン７０を飛ばす（ステップ２１０）。

次いで、学習結果に従ってカメラ７０Ｃを制御する（ステップ２２０）。

次いで、画像を取得して送信し（ステップ２３０）、運転室３６のモニタ７８に表示する（ステップ２４０）。

次いで、場合により、運転者３７によるドローン７０やカメラ７０Ｃの微調整操作を行い（ステップ２５０）、必要に応じて学習して、学習効果を高めることができる。

そして、全ての画像を表示するまで、上記ステップ２１０〜２５０を繰り返す（ステップ２６０）。

コンテナ１２に加わる荷重の検出は、図１４に示す如く、巻上用（ワイヤ）ロープ系のロープ車４４に張られた巻上用（ワイヤ）ロープ４２Ａに荷重計４６を設け、張力を計測することにより行う。

ドローン７０による点検対象は、例えば図１４に示した巻上用ロープ４２Ａの状態、図１５に示す横行用（ワイヤ）ロープ系の横行用ロープ４２Ｂの状態、図１６に示す起伏用（ワイヤ）ロープ系の起伏用ロープ４２Ｃの状態がある。又、例えば図５（Ｃ）に示した短尺コンテナ１２Ａを二つ積んだ場合の短尺コンテナ１２Ａ間の状態を点検することもできる。又、図１７に示すスプレッダ３４の四隅に設けられた吊り上げラグ３４Ａには、図１８に示すようなツイストロックリミットスイッチ３４Ｂが設けられているが、コンテナ１２が変形していると４つのコーナキャスティング１２Ｃが不整となり、ツイストロックリミットスイッチ３４ＢがＯＮとならない。従ってそのような箇所が判明した場合には、その近傍にドローン７０を飛ばして状態を点検することができる。

又、例えば衝撃音や作業者３８、３９の声で吊荷であるコンテナ１２が何かに接触した状態になった場合には、直ちにドローン７０をその近くに飛ばして、状況を映像として運転者３７やメンテナンス室６８に送ることができる。

このような事故や異常時の飛行手順の一例を図１９に示す。

具体的には、まず、事故や異常が検出される（ステップ３００）と、事故や異常を検出するのに適した位置にドローン７０を飛ばす（ステップ３１０）。

次いで、設定値又は学習値によりカメラ７０Ｃを制御する（ステップ３２０）。

次いで、画像を取得して送信し（ステップ３３０）、運転室３６のモニタ７８とメンテナンス室６８のモニタ（図示省略）に表示する（ステップ３４０）。

又、保守点検時に通常足場が必要な場所などの、例えばボルトやロープを点検するために、映像を送ることができる。

定期点検すべき位置としては、図１４に例示したような巻上用ロープ４２Ａの状態や、図１５に例示したような横行用ロープ４２Ｂの状態、図１６に例示したような起伏用ロープ４２Ｃの状態がある。

その際、メンテナンスパターンを記録・学習することで、必要な場所に定期的に飛び、撮影して、メンテナンス記録を作成することもできる。

定期点検時の飛行手順の一例を図２０に示す。

具体的には、まず、予め設定した位置又は学習した位置にドローン７０を飛ばす（ステップ４００）。

次いで、設定値又は学習値によりカメラ７０Ｃを制御する（ステップ４１０）。

次いで、画像を取得して送信し（ステップ４２０）、運転室３６のモニタ７８とメンテナンス室６８のモニタ（図示省略）に表示する（ステップ４３０）。

次いで、場合により、保守点検者によるドローン７０の位置やカメラ７０Ｃの画像の微調整を行い（ステップ４４０）、必要に応じて学習して、学習効果を高めることができる。

次いで、ドローン７０の位置に対応させて画像を記録する（ステップ４５０）。

そして、全ての画像を記録するまで、上記ステップ４００〜４５０を繰り返す（ステップ４６０）。

なお、前記実施形態においては、本発明が橋形のコンテナクレーンに適用されていたが、本発明の適用対象はこれに限定されず、クレーンやアンローダを含む荷役機械一般に適用できる。荷もコンテナに限定されない。

１０…コンテナ船（船舶）
１１…トレーラ（地上運搬車）
１２、１２Ａ、１２Ｂ…コンテナ（吊荷）
２０…コンテナクレーン
３０…ブーム
３２…トロリ
３４…スプレッダ（吊具）
３６…運転室
３７…運転者
３８…船上作業者
３９…地上作業者
４０…電気室
４２Ａ…巻上用（ワイヤ）ロープ
４２Ｂ…横行用（ワイヤ）ロープ
４２Ｃ…起伏用（ワイヤ）ロープ
４６…荷重計
６０…固定（監視）カメラ
６４…荷役システム
６８…メンテナンス室
７０…ドローン
７０Ｂ…浮上用プロペラ
７０Ｃ…カメラ
７１…ドローンステーション
７２…操作盤
７４…クレーン制御装置（ＰＬＣ）
７６…運転者／点検支援制御装置
７６Ａ…入力装置
７６Ｂ…深層学習装置
７６Ｃ…出力装置
７６Ｄ…位置補正装置
７８…モニタ（画像表示装置）
８０…無線通信装置

Claims (10)

1. カメラを備えたドローンを、荷役機械の吊荷付近や荷役作業付近、及び、次に移動する付近に飛ばし、前記カメラからの映像を運転者が確認できるようにして、運転者の死角が生じないようにすることを特徴とする荷役機械の操作支援方法。
2. 前記ドローンの飛行パターンを、荷役機械の運転状態、荷役情報、荷役機械及びドローンへの操作入力信号、ドローンの位置、カメラの視野を含む入力情報から深層学習によって学習して、ドローンの飛行位置を自動的に指示することを特徴とする請求項１に記載の荷役機械の操作支援方法。
3. 前記入力情報が、天候に関する情報、運転者に関する情報、他の作業者との通信内容から抽出したキーワードの少なくともいずれか一つを含むことを特徴とする請求項２に記載の荷役機械の操作支援方法。
4. カメラを備えたドローンを点検が必要な位置に飛ばし、前記カメラからの映像を運転者及び保守作業者が確認できるようにすることを特徴とする荷役機械の保守作業支援方法。
5. 前記ドローンを事故や故障、異常を検出した時に飛ばすことを特徴とする請求項４に記載の荷役機械の保守作業支援方法。
6. カメラを備えたドローンと、
   該ドローンを、荷役機械の吊荷付近や荷役作業付近、及び、次に移動する付近に飛ばす手段と、
   前記カメラからの映像を運転者が確認できるようにするモニタと、を備え、
   運転者の死角が生じないようにしたことを特徴とする荷役機械の操作支援装置。
7. 前記ドローンの飛行パターンを、荷役機械の運転状態、荷役情報、荷役機械及びドローンへの操作入力信号、ドローンの位置、カメラの視野を含む入力情報から深層学習によって学習して、ドローンの飛行位置を自動的に指示する手段を備えたことを特徴とする請求項６に記載の荷役機械の操作支援装置。
8. 前記入力情報が、天候に関する情報、運転者に関する情報、他の作業者との通信内容から抽出したキーワードの少なくともいずれか一つを含むことを特徴とする請求項７に記載の荷役機械の操作支援装置。
9. カメラを備えたドローンと、
   前記ドローンを点検が必要な位置に飛ばす手段と、
   前記カメラからの映像を運転者及び保守作業者が確認できるようにするモニタと、
   を備えたことを特徴とする荷役機械の保守作業支援装置。
10. 事故や故障、異常を検出する手段と、
    事故や故障、異常を検出した時に、前記ドローンを飛ばす手段と、
    を更に備えたことを特徴とする請求項９に記載の荷役機械の保守作業支援装置。

Images