JP2023147883A - 表示装置及びクレーンシステム - Google Patents

Abstract

【課題】外部作業員がクレーンに対して予測に基づく行動を採ることを可能とする。【解決手段】クレーン１のフック３４の予測経路Ｒ１をクレーン１の外部に対して表示する表示装置７からなる。外部作業員は、表示装置７によって表示される予測経路Ｒ１により、クレーン１の動作に対して予測に基づく行動を採ることができる。また、表示装置７は、当該表示装置７からの視界に重ね合わせて予測経路Ｒ１を表示したり、フック３４の現在地を表示したりすると、外部作業員は、クレーン１の挙動をより的確に認識することができる。【選択図】図４

Description

本発明は、表示装置及びクレーンシステムに関する。

従来のクレーンは、作業領域内に警報信号を発する発信器を備え、作業員のヘルメットに装着された警報信号の受信器を通じて、クレーン側からの警報を送っていた（例えば、特許文献１参照）。

特開２０００－１９１２７８号公報

しかしながら、上記従来技術は、作業員がクレーンの動作開始や動作中であることを認識するに過ぎず、作業員は、クレーンの動作を予測して行動を採ることが難しかった。

本発明は、作業員がクレーンの動作をより容易に予測できるようにすることを目的とする。

本発明は、表示装置において、クレーンのフックの予測経路を前記クレーンの外部に対して表示する、という構成としている。

また、他の発明は、クレーンシステムにおいて、前記表示装置と、前記予測経路に従って前記フックを自動で移動させる前記クレーンとを備える、という構成としている。

本発明によれば、作業員がクレーンの動作をより容易に予測することが可能となる。

本発明の実施形態に係るクレーンシステムに含まれるクレーンの側面図である。 クレーンの制御装置及びその周辺の構成を示すブロック図である。 経路生成部によって生成された移動経路の例を示す平面図である。 図４（Ａ）は表示装置における表示例を示し、図４（Ｂ）は表示装置を使用する作業員の例を示す。 表示装置の表示を行う構成を上から見た概略構成を示す説明図である。 表示装置の制御系を示すブロック図である。 障害物によって予測経路に非遮蔽部となる領域と遮蔽部となる領域とが生じることを示す説明図である。 干渉警告処理部による警告表示される進入禁止範囲の表示例である。 経路予測部による経路の予測内容を示す説明図である。 他の表示装置による表示例である。

［発明の実施形態の概略］
本発明の実施形態としてクレーン１と当該クレーン１の外部に対してフック３４の予測経路を表示する表示装置７とを備えるクレーンシステムについて説明を行う。

［クレーン］
図１はクレーン１の側面図である。クレーン１として、いわゆる移動式のクローラクレーンを例示する。クレーン１の記載に関して、クレーン本体としての下部走行体２のから見た前後左右方向をクレーン１の前後左右方向として説明する。なお、特に言及しない場合には、原則として、下部走行体２は、上部旋回体３と前後方向が一致した状態（基準姿勢とする）にあるものとして各部の方向を説明する。
また、以下の説明において、クレーン１は、水平面上に位置していることを前提とし、「平面視」という場合には、クレーン１が位置する水平面に対して垂直な方向、即ち、鉛直方向から見た状態を示すものとする。

図１に示すように、クレーン１は、自走可能なクローラ式の下部走行体２と、下部走行体２上に旋回可能に搭載された上部旋回体３と、上部旋回体３の前側に起伏可能に取付けられたブーム４とを含んで構成されている。

下部走行体２は、本体ボディ２１と、本体ボディ２１の左右両側に設けられたクローラ２２とを備えている。左右のクローラ２２は、それぞれ図示しない走行用油圧モータによって回転駆動される。

上部旋回体３の前側には、ブーム４が起伏可能に取り付けられている。ブーム４の上側の先端近傍には、巻上ロープ３２をガイドするシーブ４３が回転可能に取付けられている。
また、上部旋回体３におけるブーム４よりも後側には、マスト３１の下端部が支持されている。
また、上部旋回体３は、図示しない旋回用油圧モータによって下部走行体２に対して鉛直上下方向の軸回りに旋回動作が行われる。

上部旋回体３の後部には、ブーム４及び吊荷Ｌとの重量バランスをとるカウンタウエイト５が取付けられる。カウンタウエイト５は、必要に応じて枚数を増減させることができる。

カウンタウエイト５近傍には、ブーム４の起伏動作を行う起伏ウインチ４２が配設され、その前側には、巻き上げロープ３２の巻取り、巻出しを行う巻上ウインチ３６が配設されている。巻上ウインチ３６は、巻上用油圧モータ（図示略）により、巻上ロープ３２の巻取り、巻出しを行い、フック３４及び吊荷Ｌの巻き上げ、巻き下げを行う。
また、上部旋回体３の右前側にはキャブ３３が配置されている。

マスト３１は、上端部に上部スプレッダ３５を備え、上部スプレッダ３５は、一端部がブーム４の上端部に接続されたペンダントロープ４４の他端部に接続されている。上部スプレッダ３５の下方には下部スプレッダ（図示略）が設けられ、これらの間に複数回掛け回された起伏ロープ３７が起伏ウインチ４２により巻取り又は巻出されると上部スプレッダ３５と下部スプレッダとの間隔が変化してブーム４が起伏する。起伏ウインチ４２は、起伏用油圧モータ（図示略）により駆動する。

［クレーンの制御系］
上部旋回体３のキャブ３３等には、クレーンの制御装置６０が併設されている。図２は制御装置６０及びその周辺の構成を示すブロック図である。制御装置６０は、クレーン１に搭載された制御端末であり、主に、クレーン１の走行、旋回、ブーム４の起伏回動、吊
荷の巻き上げ、巻き下げ等の各種動作の制御を行う。
制御装置６０は、ＣＰＵや記憶装置であるＲＯＭ、その他の周辺回路などを有する演算処理装置を含んで構成されているコントローラ６１を備えている。
コントローラ６１は、後述する経路生成部６１１、自動操縦制御部６１２等のソフトウェアモジュールを備える。なお、これらのソフトウェアモジュールの一部または全部をハードウェアから構成してもよい。

コントローラ６１には、入力部６２１、表示装置６２２、警報器６２３、操作レバー６２４、メモリ６２５、不揮発性記憶部６２６、通信部６２７が接続され、これらが制御装置６０を構成している。
さらに、コントローラ６１には、ロードセル６３１、ブーム角度センサ６３２、旋回量センサ６３３、第１測位部６４１、第２測位部６４２及びコントロールバルブ６３５が接続されている。

上記メモリ６２５は、コントローラ６１が処理するデータを一時的に記憶するワークエリアを構成する。

入力部６２１は、例えば、タッチパネルのような入力インターフェイスであり、作業員からの操作に対応する各種の設定情報をコントローラ６１に入力する。作業員は、入力部６２１を操作してブーム４の長さ、吊荷の重量、吊荷運搬のためのフック３４の移動の開始位置や目的位置その他の各種の設定や操縦に必要な各種の入力を行うことができる。

表示装置６２２は、例えば、入力部６２１としても利用されるタッチパネル式のディスプレイを備え、コントローラ６１から出力される制御信号に基づいて、表示画面に吊荷の重量、ブーム角度、上部旋回体３の旋回角度等の情報を表示する。
不揮発性記憶部６２６は、周囲の建造物等の障害物の位置、寸法、高さ等を示すマップデータを保有している。上記表示装置６２２は、マップデータに基づくマップ画像、さらには、設定された吊荷運搬のためのフック３４の移動の開始位置や目的位置等の表示を行う。

警報器６２３は、コントローラ６１から出力される制御信号に基づいて、警報を発生する。

操作レバー６２４は、例えば、クレーン１に各種の動作を行わせる操作を手動入力し、操作レバー６２４の操作量に対応する制御信号をコントローラ６１に入力する。
例えば、操作レバー６２４は、下部走行体２の走行動作、上部旋回体３の旋回動作、ブーム４の起伏動作、吊荷の昇降動作の操作入力を行うことができる。
なお、クレーン１は、自動操縦制御部６１２を備えており、吊荷Ｌの運搬等のフック３４の移動動作については、クレーン１に搭乗する作業員による操作レバー６２４の操縦を伴うことなく実行することも可能である。

ロードセル６３１は、上部スプレッダ３５と下部スプレッダに複数掛け回された起伏ロープ３７の末端に取付けられており、ブーム４を起伏させる際に起伏ロープに作用する張力を検出し、検出した張力に対応する制御信号をコントローラ６１に出力する。
なお、ロードセル６３１は、ブーム４の起伏力を間接的に計測できればどこに配置されていてもよい。例えば、ブーム４先端のペンダントロープ４４の取付位置（不図示）に設けて、ペンダントロープ４４に掛かる張力を検出してもよい。

ブーム角度センサ６３２は、図１に示すように、ブーム４の基端近傍に取付けられており、ブーム４の起伏角度（以下、ブーム角度とも記す）を検出し、検出したブーム角度に
対応する制御信号をコントローラ６１に出力する。ブーム角度センサ６３２は、例えば、重りや液面等の重力の影響を受ける物質を利用して重力方向に対する傾斜方向からブーム４の絶対的な水平面に対する起伏角度をブーム角度として検出するセンサを例示する。
なお、ブーム角度センサ６３２は、上記対地角度を検出する場合に限らず、下部走行体２や上部旋回体３に対するブーム４の傾斜角度を検出するセンサを使用してもよい。

旋回量センサ６３３は、下部走行体２と上部旋回体３の間に取付けられており、上部旋回体３の旋回角度を検出し、検出した旋回角度に対応する制御信号をコントローラ６１に出力する。旋回量センサ６３３は、例えば、垂直となる上部旋回体３の中心軸回りの角度を旋回角度として検出し、下部走行体２の前方と上部旋回体３の前方とが一致した状態を0°としている。

コントロールバルブ６３５は、コントローラ６１からの制御信号に応じて切り替えが可能な複数のバルブから構成されている。
例えば、コントロールバルブ６３５は、下部走行体２の左右のクローラ２２の回転駆動を制御するバルブ、上部旋回体３の旋回動作を制御するバルブ、起伏ウインチ４２の回転駆動を制御するバルブ、巻上ウインチ３６の回転駆動を制御するバルブ等を含んでいる。

第１測位部６４１と第２測位部６４２は、それぞれ、フック３４と上部旋回体３のキャブ３３とに設けられている。これらは、例えば、それぞれの位置を検出するＧＮＳＳ受信機からなる。各測位部６４１，６４２は、それぞれの取り付け位置の現在位置（緯度、経度、高度）を計測し、当該現在位置等を示す測位データを周期的にコントローラ６１に出力する。

通信部６２７は、無線のデータ通信装置からなり、制御装置６０と後述する外部の表示装置７との間で無線通信を行う。通信部６２７は、表示装置７との間でのみ無線通信可能なデータ通信装置であっても良いし、基地局を介してネットワーク回線を通じて広く他の通信機器と通信を行うデータ通信装置であっても良い。
この通信部６２７は、例えば、前述したマップデータ、クレーン１における各種の検出情報、後述する経路生成部６１１が生成するフック３４の予測経路と予測経路に関する各種の検出データを表示装置７に送信する。

ここで、コントローラ６１が備える経路生成部６１１及び自動操縦制御部６１２について順番に説明する。

［経路生成部］
経路生成部６１１は、吊荷Ｌの移動又は吊荷Ｌを受け取りに行く等の目的で、入力部６２１からフック３４の移動の開始位置と目的位置とが設定されると、当該開始位置から目的位置までのフック３４の予測経路（移動経路）を生成する。さらに、経路生成部６１１は、生成された予測経路に沿ってフック３４を移動させるために必要となるクレーン１の各部の動作（上部旋回体３の旋回、ブーム４の起伏、フック３４の巻き上げ、巻き下げ等）からなる複数のステップと各ステップの動作速度並びに各ステップの所要時間の導出を行う。

経路生成部６１１は、第１測位部６４１と第２測位部６４２の検出に基づいて、クレーン１の待機位置、フック３４の現在位置を検出し、移動の開始位置と目的位置とにおけるクレーン１の姿勢を決定し、一方の姿勢から他方の姿勢に至るまでに必要な動作のステップを決定する。
また、不揮発性記憶部６２６に、周囲の建造物等の障害物の位置、寸法、高さ等を示す前述のマップデータが用意されている場合には、ブーム４やフック３４、吊荷Ｌが障害物
と干渉しないように、開始位置と目的位置とにおけるクレーン１の姿勢や各ステップが決定される。

また、各ステップの動作速度は、任意の速度又は段階的な速度（高速、中速、低速等）を予め選択設定してもよい。さらに、速度は、吊荷Ｌの重量や寸法等、動作に影響するパラメータに応じて調整されてもよい。
また、経路生成部６１１は、各ステップの動作速度から各ステップの所要時間を求めることができ、これらの合計からフック３４の移動の開始位置から目的位置までの移動の所要時間も求めることができる。
さらに、経路生成部６１１は、各ステップごとの所要時間を取得するので、例えば、フック３４の移動の開始位置から目的位置までの移動動作中において、現在のフック位置から現在実行中のステップを認識することにより、現在のフック位置から目的位置に到達するまでの残り時間を求めることができる。

図３は経路生成部６１１によって生成された予測経路Ｒ１，Ｒ２の例を示す。
予測経路Ｒ１は、障害物ｈを有するエリアに対して入力部６２１からフック３４の移動の開始位置Ｓ１と目的位置Ｇ１とが設定された場合に生成されたものであり、予測経路Ｒ２は、同エリアに対して入力部６２１からフック３４の移動の開始位置Ｓ２と目的位置Ｇ２とが設定された場合に生成されたものである。
これらに示すように、経路生成部６１１は、マップデータに示す障害物ｈを回避する予測経路Ｒ１，Ｒ２の生成を行う。

経路生成部６１１によって生成された予測経路と予測経路を構成する各ステップの動作、当該各ステップごとの所要時間及びフック３４の移動の開始位置から目的位置までの移動の所要時間を示す全てのデータは、通信部６２７を通じて表示装置７に送信される。

なお、経路生成部６１１による経路生成に限らず、フック３４の移動の開始位置から目的位置までの移動経路を作業員が決めて予測経路として入力部６２１から入力可能としてもよい。
その場合、前述のマップデータの平面上に、入力部６２１によりフック３４の移動の開始位置を入力し、目的位置までのステップごとに移動方向、移動距離を順番に入力する。この時、各ステップの動作速度も入力してもよい。
この場合も、予測経路と予測経路に関する各種のデータは、通信部６２７を通じて表示装置７に送信される。

［自動操縦制御部］
自動操縦制御部６１２は、作業員からの操作レバー６２４による操作入力ではなく経路生成部６１１によって生成された予測経路又は作業員が入力部６２１から入力した予測経路及び予測経路に関する各種のデータに基づいて、コントロールバルブ６３５を介してクレーン１の各部を制御し、各ステップの動作を実行し、フック３４を開始位置から目的位置まで移動させて吊荷Ｌの移動又は受け取り等を実行する。

［表示装置］
図４（Ａ）は表示装置７における表示例を示し、図４（Ｂ）は表示装置７を使用する作業員の例を示す。
表示装置７は、クレーン１の作業エリア又はその周辺であって当該クレーン１に搭乗しないで外部で作業を行っている作業員（以下、外部作業員とする）に対して、クレーン１のフック３４の予測経路を表示する。
このクレーンシステムでは、表示装置７として、人体装着型の表示装置、例えば、外部作業員が頭部眼前に装着して使用する、いわゆるヘッドマウントディスプレイ装置（頭部
装着型表示装置）を例示する。

図５は表示装置７の表示を行う構成を上から見た概略構成を示す説明図であり、図中のＥｌ，Ｅｒはそれぞれ外部作業員の左眼と右眼を示す。即ち、この図５では、外部作業員に装着された状態での左右の眼Ｅｌ，Ｅｒに対する表示装置７の各構成の配置を示している。
表示装置７は、外部作業員の頭部に装着される装着体であり、ゴーグル形状を有する。表示装置７は、左表示ユニット７１と右表示ユニット７２と左導光板７３と右導光板７４とを備える。

左導光板７３は、外部作業員の左眼Ｅｌの眼前に配置され、左眼Ｅｌに画像を視認させる。右導光板７４は、外部作業員の右眼Ｅｒの眼前に配置され、右眼Ｅｒに画像を視認させる。
左表示ユニット７１は、左導光板７３による画像の表示を行い、右表示ユニット７２は、右導光板７４による画像の表示を行う。

左導光板７３および右導光板７４は、光透過性材料（例えば、樹脂、ガラス等）によって形成される光学素子（例えば、プリズム）であり、左表示ユニット７１および右表示ユニット７２が出力する画像光を外部作業員の左右の眼に個別に導光する。
また、左導光板７３と右導光板７４は、左眼Ｅｌと右眼Ｅｒのそれぞれの正面部において外部光を透過し、外部作業員の正面の視界の風景を視認させることができる。このため、左導光板７３と右導光板７４は、外部作業員の正面の視界の風景に重畳させて左表示ユニット７１の画像光と右表示ユニット７２の画像光とをそれぞれ視認させることができる。なお、外部作業員の正面の視界の風景がこの場合の表示装置からの視界に相当する。即ち、表示装置からの視界とは、表示装置を通じて又は表示装置の所在地から見ることができる風景や光景或いはそれらを示す画像である。
左表示ユニット７１の画像光と右表示ユニット７２の画像光によって視認させる画像は、それぞれ実際に視界内の風景に存在する画像ではなく、拡張現実感（Augmented Reality、ＡＲ）画像である。本実施形態の表示装置７は、拡張現実感画像として、クレーン１のフック３４の予測経路や現在位置にあるフック３４（及び吊荷Ｌ）を表示する。

左表示ユニット７１は、ＬＥＤ（Light Emitting Diode）の発光素子７１１と左光学系７１２とを有する。
発光素子７１１は、任意の画像を形成する液晶パネルと光源からなり、所定の画像光を出射する。
左光学系７１２は、発光素子７１１の画像光を平行光化して左導光板７３に入射する。

右表示ユニット７２は、ＬＥＤの発光素子７２１と右光学系７２２とを有する。
発光素子７２１は、任意の画像を形成する液晶パネルと光源からなり、所定の画像光を出射する。
右光学系７２２は、発光素子７２１の画像光を平行光化して右導光板７４に入射する。

また、表示装置７は、外部作業員の視界の前方を撮像するカメラ７７を備えている。このカメラ７７は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラであり、表示装置７を装着した状態で正面を向いた状態で配置され、外部作業員の視界のほぼ全域を撮像する。例えば、このカメラ７７の撮像画像は、視界内においてクレーン１のフック３４が周囲の物体に遮蔽されることなく視認可能であるか否かの判定等に使用される。

また、表示装置７では、左導光板７３及び右導光板７４の透光性により左右の眼Ｅｌ，
Ｅｒによる前方の視界の風景を視認可能としているが、図５の二点鎖線で示した、前方の視界の風景を表示する左右の表示部７５，７６を備える構成としてもよい。
その場合、左右の表示部７５，７６に、カメラ７７の撮像画像を表示装置７からの視界として表示しても良い。また、左右の眼Ｅｌ，Ｅｒのそれぞれの視線に近い位置から撮像する左右のカメラを備え、各カメラの撮像画像を表示装置７からの視界として左右の表示部７５，７６に個別に表示してもよい。

［表示装置の制御系］
図６は表示装置７の制御系を示すブロック図である。表示装置７は、ＣＰＵや記憶装置であるＲＯＭ、その他の周辺回路などを有する演算処理装置を含んで構成されているコントローラ８１を備えている。
コントローラ８１は、後述する経路画像生成部８１１、フック遮蔽判定部８１２、経路遮蔽判定部８１３、経路予測部８１４、干渉警告処理部８１５等のソフトウェアモジュールを備える。なお、これらのソフトウェアモジュールの一部または全部をハードウェアから構成してもよい。

また、コントローラ８１には、メモリ８６、データ記憶部８７、通信部８２、左表示ユニット７１、右表示ユニット７２、カメラ７７に接続された画像処理部７７１、第３測位部８３、方位センサ８４及び姿勢センサ８５が接続されている。

上記メモリ８６は、コントローラ８１が処理するデータを一時的に記憶するワークエリアを構成する。
データ記憶部８７には、クレーン１の制御装置６０から取得したマップデータ、クレーン１における各種の検出情報、フック３４の予測経路と予測経路に関する各種のデータ、等が格納される。

通信部８２は、無線のデータ通信装置からなり、表示装置７とクレーン１の制御装置６０との間で無線通信を行う。通信部８２は、クレーン１の制御装置６０との間でのみ無線通信可能なデータ通信装置であっても良いし、基地局を介してネットワーク回線を通じて広く他の通信機器と通信を行うデータ通信装置であっても良い。
この通信部８２は、主に、クレーン１における検出情報や制御装置６０が生成又は保有する各種のデータを受信する。また、表示装置７における検出情報やコントローラ８１が生成又は保有する各種のデータをクレーン１の制御装置６０等の外部に送信してもよい。

画像処理部７７１は、後述するフック遮蔽判定部８１２の処理において、カメラ７７によってフック３４が撮像されているか否かを判定するために、撮像画像内からフック３４を検出するための画像処理を行う。

第３測位部８３は、表示装置７の位置を検出するＧＮＳＳ受信機からなる。第３測位部８３は、表示装置７の現在位置（緯度、経度、高度）を計測し、当該現在位置等を示す測位データを周期的にコントローラ８１に出力する。

方位センサ８４は、三軸のジャイロ方位角センサであり、表示装置７に定められたＸ軸、Ｙ軸、Ｚ軸の各軸回りの角速度を検出する。これにより、表示装置７が水平に正面を向いた基準状態からの各軸回りの傾斜角度を検出する。
姿勢センサ８５は、三次元の加速度センサからなり、表示装置７に定められたＸ軸、Ｙ軸、Ｚ軸の各方向の加速度を検出する。これら各軸について検出される重力加速度から表示装置７の姿勢を検出することができる。
方位センサ８４と姿勢センサ８５とは、ＩＭＵ（Inertial Measurement Unit)から構成してもよい。

ここで、コントローラ８１が備える経路画像生成部８１１、フック遮蔽判定部８１２、経路遮蔽判定部８１３、経路予測部８１４及び干渉警告処理部８１５について順番に説明する。

［経路画像生成部］
経路画像生成部８１１は、図４（Ａ）に示すように、クレーン１から取得したフック３４の予測経路（例えば、前述の予測経路Ｒ１とする）の情報から、表示装置７の左表示ユニット７１及び右表示ユニット７２によりフック３４の予測経路Ｒ１を示す矢印線を、左表示ユニット７１及び右表示ユニット７２によって外部作業員の視界に重ねて仮想的に表示させる処理を行う。

クレーン１から取得したフック３４の予測経路Ｒ１の情報には、フック３４の移動の開始位置Ｓ１から目的位置Ｇ１までの予測経路Ｒ１に沿った複数個所の位置をＧＮＳＳ受信機の座標系（緯度、経度、高さを含む地球上の絶対的な座標系。以下、「絶対座標系」とする。）で示した位置座標のデータが含まれている。
経路画像生成部８１１は、第３測位部８３によって絶対座標系における表示装置７の位置座標を取得し、方位センサ８４及び姿勢センサ８５により表示装置７の向きと姿勢とを取得する。
そして、経路画像生成部８１１は、予測経路Ｒ１に沿った複数個所の絶対座標系の位置座標を、表示装置７を装着した外部作業員の左眼Ｅｌから見た視界の座標系の位置座標と右眼Ｅｒから見た視界の座標系の位置座標とに変換する。
さらに、予測経路Ｒ１の複数個所について変換された位置座標をたどる矢印線で表示装置７の左表示ユニット７１及び右表示ユニット７２に予測経路Ｒ１を表示させることで、外部作業員の視界に重ねて、当該視界内にあるべき配置で仮想的に予測経路Ｒ１の表示が行われる。また、予測経路Ｒ１の開始位置Ｓ１、目的位置Ｇ１がそれぞれ視界の範囲内に位置する場合には、開始位置Ｓ１を示すアイコン（図示略）と目的位置Ｇ１を示すアイコンとを予測経路Ｒ１の矢印線と共に表示する。

また、予測経路Ｒ１に従ってフック３４が移動中である場合には、クレーン１の制御装置６０は、第１測位部６４１によって検出されるフック３４の現在位置の絶対座標系における位置座標を、通信部６２７により連続的に表示装置７に送信する。
これに対して、経路画像生成部８１１は、フック３４の絶対座標系における現在位置の位置座標を、表示装置７を装着した外部作業員の左眼Ｅｌから見た視界の座標系の位置座標と右眼Ｅｒから見た視界の座標系の位置座標とに変換する。そして、フック３４の現在位置について変換された位置座標に従って、フック３４（さらに吊荷Ｌ）の現在位置を示すアイコンを表示装置７の左表示ユニット７１及び右表示ユニット７２に表示させる。これにより、外部作業員の視界に重ねて、当該視界内にあるべき配置で仮想的にフック３４の現在位置の表示が行われる。

また、経路画像生成部８１１は、予測経路Ｒ１に沿って移動するフック３４の現在位置を受信すると、予測経路Ｒ１を構成する複数のステップのいずれに位置するかを判定し、目的地までの残りのステップの所要時間を合計し、フック３４の現在位置から目的位置までの所要時間Ｔｒを算出して、左表示ユニット７１及び右表示ユニット７２によって外部作業員の視界内に表示させる。

［経路遮蔽判定部］
経路遮蔽判定部８１３は、クレーン１の制御装置６０からマップデータを取得可能である場合に実行される。
経路遮蔽判定部８１３は、表示装置７からの視界で予測経路（予測経路Ｒ１を例示する
）が周囲の物体に遮られる部分と遮られない部分とで異なる形態で表示する。具体的には、図４（Ａ）に示すように、表示装置７からの視界で予測経路Ｒ１が周囲の物体である障害物ｈに遮られる部分と遮られない部分とで異なる形態で表示する表示処理を実行する。

例えば、図７に示すように、障害物ｈの近傍を予測経路Ｒ１が通過するにあたって、図示の外部作業員ｗの位置から予測経路Ｒ１を見た場合、その一部が障害物ｈに遮蔽される。マップデータに障害物ｈの位置と形状及び寸法を示すデータが含まれている場合、表示装置７の位置を特定することで、予測経路Ｒの障害物ｈによる非遮蔽部Ｒ１ａとなる領域と遮蔽部Ｒ１ｂとなる領域とを特定することが可能である。

経路遮蔽判定部８１３は、上記特定を行った上で、表示装置７の左表示ユニット７１及び右表示ユニット７２により、予測経路Ｒにおける非遮蔽部Ｒ１ａと遮蔽部Ｒ１ｂとを異なる形態、例えば、非遮蔽部Ｒ１ａを実線矢印で表示し、遮蔽部Ｒ１ｂを破線で表示させる。なお、表示の形態はこれに限らず、視覚的に非遮蔽部Ｒ１ａと遮蔽部Ｒ１ｂとを識別可能なあらゆる形態を選択することができる。例えば、非遮蔽部Ｒ１ａと遮蔽部Ｒ１ｂとで色彩、明るさ、透明度を変えたり、一方のみを点滅させてもよい。

［フック遮蔽判定部］
フック遮蔽判定部８１２は、表示装置７からの視界でフック３４が周囲の物体である障害物ｈに遮られる場合にも、当該フック３４の現在地を視覚的に認識可能に表示する。
例えば、クレーン１の制御装置６０からマップデータを取得可能である場合に、フック遮蔽判定部８１２は、クレーン１の第１測位部６４１によって検出されたフック３４の現在位置が、経路遮蔽判定部８１３によって導出された非遮蔽部Ｒ１ａと遮蔽部Ｒ１ｂのいずれに属するかを判定する。この判定は、フック３４の現在位置と障害物ｈの位置及び寸法と第３測位部８３によって検出される表示装置７の現在位置とに基づいて行われる。

そして、フック３４の現在位置が非遮蔽部Ｒ１ａに属する場合には、表示装置７の左表示ユニット７１及び右表示ユニット７２により、通常通りにフック３４のアイコンを実体的に表示させ、フック３４の現在位置が遮蔽部Ｒ１ｂに属する場合には、遮蔽状態であることがわかるようにフック３４のアイコンの形態を変更して表示させる。
遮蔽部Ｒ１ｂに属する場合には、フック３４のアイコンは、非遮蔽部Ｒ１ａに属する場合と視覚的に識別可能であればよく、例えば、遮蔽部Ｒ１ｂに属する場合には、アイコンを破線で表示させる、色彩、明るさ、透明度を変更する、点滅させる等の表示が行われる。
これにより、表示装置７は、障害物ｈに遮られる場合にも、フック３４の現在地を視覚的に認識可能に表示することができる。

また、クレーン１の制御装置６０からマップデータの取得ができない場合には、フック遮蔽判定部８１２は、別の処理を実行する。
具体期には、クレーン１のフック３４の表面に、光学的に認識可能な固有の表示（例えば、バーコードや２次元コード）を付すると共に、表示装置７のカメラ７７による撮像画像に対して、常に、フック３４の固有の表示の検出を行う。その結果、撮像画像中にフック３４の固有の表示が検出された場合には、フック３４のアイコンを通常通りに実体的に表示させ、固有の表示が検出されない場合には、フック３４のアイコンを前述した視覚的に異なる形態で表示する。

なお、固有の表示は、フック３４に限らず、吊荷Ｌに付してもよい。光学的に認識可能な固有の表示は、バーコードや２次元コードに限らず、例えば、固有の色をフック３４または吊荷Ｌに付してもよい。また、固有の表示の検出に限らず、フック３４の外観や吊荷Ｌの外観を検出してもよい。

［干渉警告処理部］
干渉警告処理部８１５は、予測経路Ｒ１について外部作業員の進入禁止範囲Ｆが設定されている前提において、外部作業員が進入禁止範囲Ｆに侵入した場合に、表示装置７の左表示ユニット７１及び右表示ユニット７２により警告表示を行う処理を実行する。

例えば、フック３４の周囲の半径1[m]の範囲内が進入禁止領域と定められている場合、図８に示すように、予測経路Ｒ１に沿って当該予測経路Ｒ１の左右両側にそれぞれ1[m]の幅で進入禁止範囲Ｆが展開される。なお、進入禁止領域の大きさは、任意に設定入力可能とすることが好ましい。例えば、吊り荷の大きさに基づいて決定してもよい。

そして、干渉警告処理部８１５は、表示装置７の第３測位部８３によって得られた現在位置が禁止範囲Ｆ内であるか否かを判定し、表示装置７の現在位置が禁止範囲Ｆ外である場合には、左表示ユニット７１及び右表示ユニット７２により、予測経路Ｒ１のみを通常の矢印線で表示する（フック３４、開始位置Ｓ１、目的位置Ｇ１のアイコンは表示してもよい）。一方、表示装置７の現在位置が禁止範囲Ｆ内である場合には、左表示ユニット７１及び右表示ユニット７２により、図８に示すように予測経路Ｒ１の矢印線に加えて進入禁止範囲Ｆも視覚的に認識可能に表示することで、外部作業員が進入禁止範囲Ｆに侵入したことを警告する。この場合の進入禁止範囲Ｆの表示は、当該進入禁止範囲Ｆによって視界が遮られないような表示を行うことが好ましい。例えば、進入禁止範囲Ｆを半透明で表示することで、進入禁止範囲Ｆの表示範囲に重なる視界も認識可能であるような表示を行うことが好ましい。

なお、外部作業員が進入禁止範囲Ｆに侵入した場合の警告は、当該警告が外部作業員に認識可能であればよく、上記の表示例に限定されない。例えば、進入禁止範囲Ｆに侵入した場合に警告の文字やメッセージを表示してもよいし、表示画面全体の色彩を変更する、警告音を発する等の手法を選択してもよい。

［経路予測部］
経路予測部８１４は、クレーン１から予測経路Ｒ１，Ｒ２の情報が得られなかった場合に、予測経路（以下、予測経路Ｒとする）を生成する。
例えば、経路予測部８１４は、予測経路Ｒ１の情報は得られないが、予測経路Ｒ１の開始位置Ｓ１と目的位置Ｇ１の情報が得られた場合、さらに、マップデータを取得している場合には、前述した経路生成部６１１と同じ手法により予測経路Ｒ１を生成する。

また、経路予測部８１４は、クレーン１から予測経路Ｒ１，Ｒ２の情報も開始位置Ｓ１，Ｓ２及び目的位置Ｇ１，Ｇ２の情報も得られない場合には、クレーン１の第１測位部６４１の検出によるフック３４の現在位置の情報を取得する。この場合、短周期的（連続的）にフック３４の現在位置の情報を取得して、経時的な位置変化を取得する。
そして、経路予測部８１４は、経時的なフック３４の位置変化の情報を取得すると、図９に示すように、フック３４の現在地とその直前の位置とに基づいてフック３４の移動方向及び移動速度を導出する。さらに、フック３４の移動方向及び移動速度に基づいて現在よりも規定時間先のフック３４の位置を予測して導出すると共に、フック３４の現在位置と予測位置及びこれらを結ぶ予測経路Ｒを生成する。

そして、経路予測部８１４は、予測経路Ｒを左眼Ｅｌと右眼Ｅｒの視界の座標系に変換して、表示装置７の左表示ユニット７１及び右表示ユニット７２により矢印表示し、フック３４の現在位置と規定時間先の予測位置のアイコンも表示する。
このとき、フック３４の現在位置より前の移動経路Ｒｂも左表示ユニット７１及び右表示ユニット７２により矢印表示してもよい。その場合、予測経路Ｒと移動経路Ｒｂとは、
視覚的に識別できるように表示の形態を変えてもよい。例えば、予測経路Ｒと移動経路Ｒｂとで矢印の線種を変えて表示する等である。予測経路Ｒと移動経路Ｒｂとで色彩、明るさ、透明度を変えたり、一方のみを点滅させてもよい。

［発明の実施形態の技術的効果］
以上のように、クレーンシステムは、クレーン１のフック３４の予測経路Ｒ、Ｒ１、Ｒ２をクレーン１の外部に対して表示する表示装置７を備えているので、外部作業員がクレーン１のフック３４の予測経路Ｒ、Ｒ１、Ｒ２を視覚的に認識することが可能となる。これにより、外部作業員がクレーン１の動作に対して予測しやすくなる。また、予測に基づいた行動を採ることが可能となる。

また、表示装置７は、当該表示装置７からの視界に重ね合わせて予測経路Ｒ、Ｒ１、Ｒ２を表示することができるので、外部作業員は、自分に対する予測経路Ｒ、Ｒ１、Ｒ２の相対的な位置を視覚的に容易かつ速やかに認識することが可能となる。
これにより、外部作業員は、クレーン１の動作に対してより速やかに予測することができ、当該予測に基づく行動を採ることが可能となる。

また、表示装置７は、フック３４の現在地をアイコンで表示するので、外部作業員は、自分に対するフック３４の相対的な位置を認識することが可能となる。これにより、外部作業員は、フック３４に対してより速やかに動作を予測することができ、当該予測に基づく行動を採ることが可能となる。

また、表示装置７は、当該表示装置７からの視界でフック３４が障害物ｈに遮られる場合であっても当該フック３４の現在地を視覚的に認識可能に表示する。
これにより、外部作業員は、自分に対する死角にあるフック３４の相対的な位置を認識することが可能となり、フック３４に対してより速やかに動作を予測することができ、また、より的確に予測に基づく行動を採ることが可能となる。

また、表示装置７は、当該表示装置７からの視界で予測経路Ｒ１、Ｒ２が障害物ｈに遮られる部分と遮られない部分とで異なる形態で表示する。
このため、外部作業員は、予測経路Ｒ１、Ｒ２と障害物ｈとの位置関係を明確に認識することができ、フック３４に対してより速やかに動作を予測することができ、また、より的確に予測に基づく行動を採ることが可能となる。

また、表示装置７は、クレーンの目的位置Ｇ１、Ｇ２を表示するので、外部作業員は、フック３４がどこで停止するかを速やかに認識することができ、フック３４に対してより速やかに動作を予測することができ、また、より的確に予測に基づく行動を採ることが可能となる。

また、表示装置７は、現在位置から予測経路Ｒ１、Ｒ２上の目的位置Ｇ１、Ｇ２までに移動する所要時間を表示するので、フック３４に対してより速やかに動作を予測することができ、より的確に予測に基づく行動を採ることが可能となる。

［その他］
上記発明の実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、上記クレーン１は、クローラクレーンを例示したがこれに限らず、タワーアタッチメントを取り付けたクレーン、ホイールクレーン、トラッククレーン等の移動式クレーンに加えて、港湾クレーン、天井クレーン、ジブクレーン、門型クレーン、アンローダ等、あらゆるクレーンに適用可能である。

また、表示装置７の機能構成の一部又は全部についてクレーン１が行って、その処理結果を表示装置７が受信して表示する構成としてもよい。また、クレーン１の制御装置６０の経路生成部６１１の機能を表示装置７が行ってもよい。
クレーン１と表示装置７の機能構成の一部又は全部について実施する制御端末をシステムに別途加えてもよい。その場合、制御端末は、クレーン１や表示装置７との通信機能を具備する構成とすべきである。

また、表示装置は、ヘッドマウントディスプレイ装置のような人体装着型の形態に限らず、画像を表示可能なあらゆる表示装置を対象とする。
例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の携帯型又は据え置き型の情報処理端末等は、上記表示装置７を同一の機能を持たせることが可能である。これらの場合、外部作業員は、端末を透過して外部作業員の正面の視界の風景を視認させる構成ではなく、カメラによる撮像画像から外部作業員の視界の風景を視認させて、拡張現実感画像を重畳表示させる構成とすることが好ましい。この場合、カメラによる撮像画像から視認させる外部作業員の視界の風景が表示装置からの視界に相当する。

また、他の表示装置としては、当該表示装置からの視界に各種の情報を示す画像を重ね合わせなくともよい。図１０は他の表示装置による表示例を示す。この表示装置では、予測経路（例えば、予測経路Ｒ１）、障害物ｈ、フック３４の現在位置、外部作業員ｗの現在位置等を平面視でそれぞれの配置を表示している。
このような表示を行う表示装置の場合も、予測経路（例えば、予測経路Ｒ１）、障害物ｈ、フック３４の現在位置、外部作業員ｗの相対的な位置関係を容易かつ迅速に認識することができ、外部作業員ｗは、フック３４に対してより速やかに、また、より的確に予測に基づく行動を採ることが可能となる。
また、上述した表示装置からの視界に各種の情報を示す画像を重ね合わせない外部表示は、クレーンの現場にある表示装置ではなく、複数のクレーンを管理する管理者がいる場所に配置される表示装置に表示させてもよい。この場合も管理者は、現場から離れた場所でクレーン１の動作を速やかに予測して、現場にいる外部作業員に無線で指示するなどの予測に基づいた行動を採ることが可能である。

なお、本明細書に示す表示装置は、「クレーンの外部に対して表示する表示装置」である。ここでいう、「クレーンの外部に対して表示する」と、クレーンの操作するキャブ内以外において予測経路を表示することを示す。従って、例えば、クレーンの外側の外装にディスプレイを置いて、作業員に対して表示するもの表示装置も含まれる。但し、「表示装置」は、ヘッドマウントディスプレイやタブレット、スマートフォンのようにクレーンとは別体の表示装置であることがより好ましい。

また、上記「クレーンの外部に対して表示する」予測経路の表示には、クレーンが遠隔操作される場合の遠隔操作画面での表示は含まないことが好ましい。

また、上記発明の実施の形態では、経路画像生成部８１１が、フック３４の現在位置から目的位置までの所要時間Ｔｒを算出することを例示したが、この場合の目的位置は、フック３４の荷上げ、荷下ろし作業の到着点に限られない。
例えば、予測経路Ｒ１上の任意の中間点を目的位置に設定する入力部６２１等の設定手段を設け、経路画像生成部８１１が、フック３４の現在位置から任意の中間点までの所要時間Ｔｒを算出する構成としてもよい。

１ クレーン
２ 下部走行体
３ 上部旋回体
３４ フック
６０ 制御装置
６１ コントローラ
７ 表示装置
７１ 左表示ユニット
７２ 右表示ユニット
７７ カメラ
６１１ 経路生成部
６１２ 自動操縦制御部
６２１ 入力部
６２２ 表示装置
６２４ 操作レバー
６２６ 不揮発性記憶部
６４１ 第１測位部
６４２ 第２測位部
８１ コントローラ
８１１ 経路画像生成部
８１１ 経路画像生成部
８１２ フック遮蔽判定部
８１３ 経路遮蔽判定部
８１４ 経路予測部
８１５ 干渉警告処理部
８４ 方位センサ
８５ 姿勢センサ
Ｆ 進入禁止範囲
Ｇ１，Ｇ２ 目的位置
Ｌ 吊荷
Ｒ，Ｒ１，Ｒ２ 予測経路
Ｒ１ａ 非遮蔽部
Ｒ１ｂ 遮蔽部
Ｓ１，Ｓ２ 開始位置
Ｔｒ 所要時間
ｈ 障害物
ｗ 外部作業員

Claims (10)

1. クレーンのフックの予測経路を前記クレーンの外部に対して表示する表示装置。
2. 前記表示装置からの視界に重ね合わせて前記予測経路を表示する請求項１に記載の表示装置。
3. 前記表示装置からの視界を撮像するカメラを備え、
   前記カメラの撮像画像に重ね合わせて前記予測経路を表示する請求項２に記載の表示装置。
4. 前記表示装置が人体装着型であり、
   前記表示装置からの視界とは、前記表示装置を人が装着した場合の人の視界であり、
   前記人の視界に重ね合わせて前記予測経路を表示する請求項２に記載の表示装置。
5. 前記フックの現在地を表示する請求項２から請求項４のいずれか一項に記載の表示装置。
6. 前記表示装置からの視界で前記フックが周囲の物体に遮られる場合に、当該フックの現在地を表示する請求項５に記載の表示装置。
7. 前記表示装置からの視界で前記予測経路が周囲の物体に遮られる部分と遮られない部分とで異なる形態で表示する請求項２から請求項６のいずれか一項に記載の表示装置。
8. 前記クレーンの目的位置を表示する請求項１から７のいずれか一項に記載の表示装置。
9. 請求項１から請求項８のいずれか一項に記載の表示装置と、
   前記予測経路に従って前記フックを自動で移動させる前記クレーンとを備えるクレーンシステム。
10. 前記表示装置が、前記クレーンが現在位置から予測経路上の目的位置までに移動する時間を表示する
    請求項９に記載のクレーンシステム。

Images