JP2023121468A - クレーンの操縦支援システム及び操縦支援システムを有するクレーン - Google Patents

Abstract

【課題】クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができるクレーンの操縦支援システム及び操縦支援システムを備えるクレーンを提供する。【解決手段】透過型表示装置２と、虚像画像Ｉｍに関する情報Ｉｆを生成する画像処理装置９とを備える操縦支援システム１である。画像処理装置９は、メインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒについての画像を示す第１虚像画像Ｉｍ１を表示するための第１虚像画像Ｉｍ１に関する情報Ｉｆ１を生成する。画像処理装置９は、ブームカメラ１９ｂが撮像した画像Ｐにおいて特定の対象物についての画像を判別し、特定の対象物についての画像を示す第２虚像画像Ｉｍ２を表示するための第２虚像画像Ｉｍ２に関する情報Ｉｆ２を生成する。透過型表示装置２は、使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示する。【選択図】図９

Description

本発明は、クレーンの操縦支援システム及び操縦支援システムを有するクレーンに関する。

従来、作業車両である移動式クレーンを用いて荷物を搬送する場合、移動式クレーンの操縦者は、移動式クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具、荷物を吊り上げまたは吊り下げるためのウインチ用操作具等の複数の操作具を操作する。また、操縦者は、複数の操作具を同時に操作しつつ、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。そこで、移動式クレーンは、操縦者が操縦席から認識し難い領域の情報を取得するためにブームカメラ等を有している。移動式クレーンは、搬送中の荷物及び周囲の建造物等の上方からの画像をブームカメラによって取得することができる。例えば、特許文献１の如くである。

特許文献１に記載のクレーンは、ブームの先端に設けられているブームカメラで作業現場の画像及び前記フックに吊り下げられている荷物の画像を取得するとともに、前記画像に荷物を中心とする基準線、目盛、荷物の移動方向を示す有向線分及びフックの旋回軌道等の少なくとも一つを重ねて表示させる。クレーンの操縦者は、操縦者自身の視覚情報、指示者からの情報に加え、ブームカメラの画像情報を総合的に判断してクレーンを操縦する。

特開２０１９－１５６５３８号公報

ブームカメラは、撮像方向及び撮像範囲が限定されている。また、ブームカメラの画像は、操縦者が肉眼よって視認する画像と撮像条件が異なる。よって、クレーンの操縦者は、ブームカメラによってフックの旋回軌道等と人との位置関係を把握した上で、肉眼で周囲の状況を確認しながらクレーンを操縦するために熟練した技術を要する。さらに、ブームの先端に位置するブームカメラの画像では、地上の人など視認することが難しい場合がある。従って、クレーンの操縦者は、ブームカメラからの画像等によって荷物を所望する場所に移動させるために必要な情報を十分に取得することができない。

本発明の目的は、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができるクレーンの操縦支援システム及び操縦支援システムを備えるクレーンの提供を目的とする。

本発明者らは、任意の位置から直感的な操作によって基準部材を所望する方向に所望する速度で移動させることができるクレーンの操縦支援システム及び操縦支援システムを備えるクレーンの構成について検討した。本発明者らは、鋭意検討の結果、以下のような構成に想到した。

本発明に係るクレーンの操縦支援システムは、背景を透過させる表示画面に使用者の視点から見た虚像画像を前記表示画面に表示する透過型表示装置と、旋回台に起伏自在の伸縮ブームを有するクレーンにおけるフックの可動範囲の少なくとも一部を含む範囲における特定の対象物の位置情報を取得する位置情報取得装置と、前記透過型表示装置に表示する虚像画像に関する情報を生成する画像処理装置と、前記位置情報取得装置と前記画像処理装置との間、前記クレーンの制御装置と前記画像処理装置との間及び前記透過型表示装置と前記画像処理装置との間で情報を送信及び受信する通信装置とを備える。

前記画像処理装置は、前記通信装置を介して取得した前記クレーンの位置に関する情報及び前記クレーンの姿勢に関する情報に基づいて、前記フックの現在位置及び前記ブームの旋回中心を基準とする前記フックの旋回方向軌道及び径方向軌道を算出する。また、前記画像処理装置は、前記通信装置を介して取得した前記使用者の位置に関する情報に基づいて、前記使用者の視点から見て前記フックの現在位置及び前記フックの旋回方向軌道及び径方向軌道についての画像を示す第１虚像画像を前記表示画面上に表示するための第１虚像画像に関する情報を生成する。また、前記画像処理装置は、前記通信装置を介して取得した前記位置情報取得装置が取得した位置情報において特定の対象物についての位置情報を検出し、前記位置情報取得装置が位置情報を取得する際の条件に関する情報及び前記使用者の位置に関する情報に基づいて、前記特定の対象物の位置を算出し、前記使用者の視点から見て前記特定の対象物についての画像を示す第２虚像画像を前記表示画面上に表示するための第２虚像画像に関する情報を生成する。

前記透過型表示装置は、前記通信装置を介して前記画像処理装置から前記第１虚像画像に関する情報及び前記第２虚像画像に関する情報を取得し、前記使用者の視点から見た前記第１虚像画像及び記第２虚像画像を前記表示画面上に表示する。

上述の操縦支援システムは、透過型表示装置の使用者が視認している前記表示画面の背景に、使用者の視点から見たフックの現在位置及びフックの旋回方向軌道及び径方向軌道である第１虚像画像及び特定の対象物の位置を示す画像である第２虚像画像が重なるように表示画面に表示する。つまり、前記操縦支援システムは、フックの軌道及びフックの軌道に対する人、車両等の特定の対象物の位置を透過型表示装置の使用者である操縦者が把握するための図形情報、文字情報等を前記使用者の視野内の特定の対象物に重ね合わせて表示する。透過型表示装置を使用しているクレーンの操縦者は、フックの現在位置、フックの旋回方向軌道または径方向軌道及び、前記旋回方向軌道及び径方向軌道の近傍に位置する人、車両等の存在を肉眼によって見ている実風景上において認識する。また、前記クレーンの操縦者は、キャビンのピラー等により死角になっている領域においても人、車両等の存在を認識する。更に、透過型表示装置を使用している玉掛者等は、フックの旋回方向軌道及び径方向軌道の位置を肉眼によって見ている実風景上において認識する。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、本発明のクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に位置する前記特定の対象物についての強調表示した画像を示す第３虚像画像を前記表示画面上に表示するための第３虚像画像に関する情報を生成する。

上述の構成では、前記操縦支援システムは、透過型表示装置の前記表示画面と重なる背景に使用者の視点から見た第３虚像画像が更に重なるように前記表示画面に表示する。つまり、前記操縦支援システムは、フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に位置する人、車両等を強調表示する。透過型表示装置の使用者であるクレーンの操縦者は、フックの現在位置、フックの旋回方向軌道及び径方向軌道と人、車両等との位置関係を個別に確認することなく、クレーンによる荷物の搬送時に荷物、フック等に接触する可能性がある人、車両等の存在を肉眼によって見ている実風景上で認識する。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、クレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に前記使用者が位置する場合、前記使用者に旋回方向軌道及び径方向軌道の近傍に位置している旨の画像を示す第４虚像画像に関する情報を生成する。前記透過型表示装置は、前記通信装置を介して前記画像処理装置から前記第４虚像画像に関する情報を取得すると、前記使用者の視点から見た前記第４虚像画像を前記表示画面上に表示する。

上述の構成では、前記操縦支援システムは、前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に透過型表示装置の使用者が位置する場合、透過型表示装置の使用者が視認している背景に使用者の視点から見た第４虚像画像が更に重なるように前記表示画面に表示する。前記透過型表示装置の使用者は、第４虚像画像を視認することで、フックの旋回方向軌道または径方向軌道の近傍に位置することを認識する。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、本発明の一実施形態に係るクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記使用者の視点から見て、前記表示画面と重なる背景の範囲外であって前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に前記特定の対象物が位置する場合、前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に位置する前記特定の対象物の方向を表示する画像を示す第５虚像画像を生成する。前記透過型表示装置は、前記通信装置を介して前記画像処理装置から前記第５虚像画像に関する情報を前記使用者の視点から見た前記第５虚像画像を前記表示画面上に表示する。

上述の構成では、前記操縦支援システムは、透過型表示装置の使用者の視点から見て、前記表示画面と重なる背景の範囲外であって前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に前記特定の対象物が位置する場合、前記使用者が肉眼で見ている背景に使用者の視点から見た第５虚像画像が更に重なるように前記表示画面に表示する。前記使用者であるクレーンの操縦者は、第５虚像画像を視認することで、肉眼によって見ている実風景の範囲外においてフックの旋回方向軌道または径方向軌道の近傍に位置する人、車両等が存在することを認識する。また、クレーンの操縦者は、視線を第５虚像画像が示す方向に向けることで、フックの旋回方向軌道または径方向軌道の近傍に位置する人、車両等を肉眼によって確認することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、本発明の一実施形態に係るクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記位置情報取得装置は、レーザによって前記特定の対象物までの距離及び方位を取得するＬＩＤＡＲである。

上述の構成では、前記操縦支援システムは、人、車両等の特定の対象物の距離及び方位をＬＩＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）によって取得する。よって、前記操縦支援システムは、ＬＩＤＡＲから特定の対象物までの距離が異なっていても距離の差を検出する。前記操縦支援システムは、例えば、地上に位置する人と構造物の上に位置する人との距離及び方位をＬＩＤＡＲで容易に取得することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、本発明の一実施形態に係るクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記位置情報取得装置は、旋回台に起伏自在の伸縮ブームを有するクレーンにおけるフックの可動範囲の少なくとも一部を含む範囲を撮像する撮像装置である。前記画像処理装置は、前記通信装置を介して、前記撮像装置の画角及び撮像位置に関する情報及び前記撮像装置が撮像した画像を取得する。前記画像処理装置は、前記撮像装置が撮像した画像において特定の対象物についての画像を検出し、前記撮像装置の画角及び撮像位置に関する情報及び前記使用者の位置に関する情報に基づいて、前記特定の対象物の位置を算出し、前記使用者の視点から見て前記特定の対象物についての画像を示す第２虚像画像を前記表示画面上に表示するための第２虚像画像に関する情報を生成する。

上述の構成では、前記操縦支援システムは、撮像装置によってクレーンにおけるフックの可動範囲の少なくとも一部を含む範囲の画像に基づいてフック、人、車両等の現在位置を検出する。フック、人、車両等が移動していてもリアルタイムで現在位置を検出することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

また、本発明の一実施形態に係るクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記撮像装置は、ステレオカメラである。

上述の構成では、前記操縦支援システムは、人、車両等の特定の対象物の位置を複数のカメラの視差によって認識する。よって、前記操縦支援システムは、ステレオカメラから特定の対象物までの距離が異なっていても距離の差を検出する。前記操縦支援システムは、例えば、地上に位置する人と構造物の上に位置する人とが異なる距離に位置していると認識し、虚像画像の表示態様に反映させる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

他の観点によれば、本発明に係るクレーンの操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記特定の対象物の画像についての教師データ有する。前記画像処理装置は、前記教師データに基づいて機械学習により前記撮像装置が撮像した画像から前記特定の対象物についての画像を検出する。

上述の構成では、前記操縦支援システムは、特定の対象物である人、車両等に関する教師データに基づいて機械学習した結果を用いて、撮像装置が撮像した画像から特定の対象物を識別する。よって、前記操縦支援システムは、前記画像から特定の対象を識別する回数を重ねる度に特定の対象物の識別精度が向上する。よって、前記操縦支援システムは、撮像装置による画像の撮像条件等に左右されることなく特定の対象物を識別する。これにより、クレーンのフックの軌道と特定の対象物との位置関係を精度よく把握することができる。

本発明の一実施形態に係るクレーンは、上述した前記操縦者支援システムのいずれかを有する。

前記操縦支援システムのいずれか一つを有するクレーンは、前記透過型表示装置を装着した使用者がクレーンの操縦者である場合、クレーンの操縦席から肉眼によって見ている実風景内に、フックの旋回方向軌道または径方向軌道と人、車両等の特定の対象物とがそれぞれ虚像画像として重ねて表示される。クレーンの操縦者は、前記クレーンの操縦席から肉眼で見える風景内において旋回方向軌道または径方向軌道と特定の対象物との位置を虚像画像によって視認できる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握することができる。

本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。

本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、操作、要素、成分、及び／または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び／または、それらのグループのうちの１つまたは複数を含むことができる。

本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な電気的接続または結合を含むことができる。

他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。

一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

［虚像画像］
本明細書において、虚像画像とは、透過型表示装置において使用者が視認している背景以外の画像、映像であって、透過型表示装置が表示している線、図形、画像、映像、３次元画像、３次元映像を意味する。つまり、虚像画像は、実際に存在しない物体の画像を前記使用者の視点から見た形状の画像に変換することで使用者が視認している背景に重ねて表示しても違和感なく表示可能な画像である。虚像画像は、透過型表示装置において使用者が視認している背景に重ねて表示される。

［視点］
本明細書において、視点とは、対象を見るときの立脚点を意味する。使用者の視点とは、使用者が対象物を視認している際の使用者の対象物に対する位置を意味する。

［虚像画像に関する情報］
本明細書において、虚像画像に関する情報とは、透過型表示装置の使用者の視点から見た任意の基準面上の画像として透過型表示装置の表示画面に虚像画像を表示するために必要な情報を意味する。虚像画像に関する情報は、虚像画像の座標、表示の状態等を含む。

［通信装置］
本明細書において、通信装置とは、画像処理装置と表示装置用制御装置、画像処理装置と入力装置、画像処理装置とクレーンの制御装置との間で情報を送受信する装置を意味する。通信装置は、表示装置用制御装置及び画像処理装置と一体に構成されていてもよい。

［画角］
本明細書において、画角とは、前記撮像素子に実際に撮像される範囲を示す角度を意味する。具体的には、前記画角は、前記光学レンズの光学的中心が撮像素子における受光面の対角をなす二点と作る角度を示す対角画角である。つまり、前記対角画角は、前記光学レンズの焦点距離と前記受光面の対角線の長さとから定まる。前記対角画角は、受光面の大きさが同じ場合、前記光学レンズの焦点距離が長くなるほど小さくなり、前記受光面の対角線が短くなるほど小さくなる。

本発明の一実施形態によれば、操縦支援システム及び操縦支援システムを備えるクレーンは、任意の位置から直感的な操作によって前記クレーンを操縦することができる。

図１は、本発明の１実施形態に係るクレーンの操縦支援システムにおける透過型表示装置が使用者に装着された斜視図を示す。 図２は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおける透過型表示装置の斜視図を示す。 図３は、本発明の１実施形態に係に係るクレーンの操縦支援システムの制御ブロック図を示す。 図４は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおいて機械学習によって画像から人及び車両を判別する過程の模式図を示す。 図５は、本発明の１実施形態に係に係るクレーンの操縦支援システムが接続されるクレーンの側面図を示す。 図６は、本発明の１実施形態に係に係るクレーンの操縦支援システムが接続されるクレーンの制御ブロック図を示す。 図７は、本発明の１実施形態に係に係るクレーンの操縦支援システムが第１虚像画像、第２虚像画像、第３虚像画像、第４虚像画像、第５虚像画像を表示するための情報に必要な情報を生成する際のブロック図を示す。 図８は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおいてブームカメラが撮像した画像を示す。 図９は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおいて使用者が透過型表示装置において第１虚像画像、第２虚像画像及び第３虚像画像を視認している状態の模式図を示す。 図１０は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおいて使用者が透過型表示装置において第４虚像画像を視認している状態の模式図を示す。 図１１は、本発明の１実施形態に係に係るクレーンの操縦支援システムにおいて使用者が透過型表示装置において第５虚像画像を視認している状態の模式図を示す。

以下に、図１から図４を用いて、本発明の一実施形態に係るクレーンの操縦支援システムについて説明する。図１は、本発明の１実施形態に係るクレーン１１の操縦支援システム１における透過型表示装置２が使用者に装着された斜視図である。図２は、クレーン１１の操縦支援システム１における透過型表示装置２の斜視図である。図３は、クレーン１１の操縦支援システム１の制御ブロック図である。図４は、クレーン１１の操縦支援システム１において機械学習によって画像Ｐから人Ｈ及び車両Ｖを判別する過程の模式図を示す。なお、本実施形態においては、クレーンとしてラフテレーンクレーン（以下、単に「クレーン」と記す）ついて説明を行う。しかしながら、クレーンは、オールテレーンクレーン、トラッククレーンまたは高所作業車等の旋回台を介して起伏可能なブームが設けられた作業車両であればよい。また、以下の説明において、使用者とは、透過型表示装置２を装着している者をいう。

図１と図２とに示すように、作業車両であるクレーン１１（図５参照）の操縦支援システム１は、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を用いてクレーン１１の操縦を支援するシステムである。操縦支援システム１は、透過型表示装置２と、位置情報取得装置であるブームカメラ１９ｂと、通信装置８と、画像処理装置９とを有する。操縦支援システム１は、透過型表示装置２にクレーン１１の基準部材であるメインフック２０ａ（図５参照）の現在位置Ｌｐ及びメインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを示す第１虚像画像Ｉｍ１と、特定の対象物である人Ｈ、車両Ｖの位置を示す第２虚像画像Ｉｍ２を表示する。なお、特定の対象物は、人Ｈ、車両Ｖに限定するものではない。

透過型表示装置２は、使用者から見て透過型表示装置２の透過型ディスプレイ４の背景Ｌｓ（図９参照）を使用者が透過型ディスプレイ４を通じて視認可能な表示装置である。透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。本実施形態において、透過型表示装置２は、眼鏡型のウェアラブル端末として説明する。透過型表示装置２は、使用者であるクレーン１１の操縦者に装着されている。透過型表示装置２は、フレーム３と、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを有する。

フレーム３は、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを支持する。フレーム３は、眼鏡型フレームとして構成されている。フレーム３は、使用者の頭部に装着される。フレーム３は、使用者の鼻と両耳とによって支持される。

透過型ディスプレイ４は、透過率が概ね５０％以上のディスプレイである。透過型ディスプレイ４は、バックライト、偏光フィルタ及びカラーフィルタを有さない液晶ディスプレイ、有機ＥＬディスプレイまたは無機ＥＬディスプレイ等から構成されている。つまり、透過型ディスプレイ４は、使用者と対向している表示画面の背面を覆うバックライト及びフィルタ等の部材が存在しない。従って、透過型ディスプレイ４は、使用者の視点から見て表示画面と重複している背景Ｌｓが透過している。また、透過型ディスプレイ４は、表示画面に透過型ディスプレイ４の機能によって生成された画像である第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を含む虚像画像を表示することができる。

透過型ディスプレイ４は、第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示させない部分において背面から入光した光を透過させる。また、透過型ディスプレイ４は、第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示させる部分において背面から入光した光の少なくとも一部を遮光する。更に、透過型ディスプレイ４は、遮光した部分に第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示する。この際、透過型ディスプレイ４には、使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２が表示される。これにより、透過型ディスプレイ４は、使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２が背景Ｌｓに重ねられた状態を使用者に視認させる。

透過型ディスプレイ４は、フレーム３に設けられている。透過型ディスプレイ４は、フレーム３を装着している使用者の右目の視野範囲と左目の視野範囲とを覆うように位置している。透過型ディスプレイ４は、右目用と左目用との第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を視差画像としてそれぞれ透過型ディスプレイ４に表示可能に構成されている。これにより、透過型ディスプレイ４は、使用者の視野範囲のほぼ全域において立体的な第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を含む虚像画像を表示させることができる。なお、透過型表示装置２において、使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を使用者の視野内に表示させる技術は公知である。

表示装置用ＧＮＳＳ受信機５は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。表示装置用ＧＮＳＳ受信機５は、衛星から測距電波を受信し、表示装置用ＧＮＳＳ受信機５の絶対座標である緯度、経度、標高、方位等を検出するものである。表示装置用ＧＮＳＳ受信機５は、使用者が装着しているフレーム３に設けられている。表示装置用ＧＮＳＳ受信機５は、使用者（操縦者）の位置に関する情報Ｉｆａを検出する（図３参照）。使用者の位置に関する情報Ｉｆａは、透過型表示装置２の緯度、経度、標高及び方位等を含む。つまり、使用者の位置に関する情報Ｉｆａは、透過型表示装置２の位置及び透過型ディスプレイ４が透過させている背景Ｌｓの方向に関する情報を含む。なお、本実施形態において、表示装置用ＧＮＳＳ受信機５は、フレーム３に設けられているが、使用者の位置に関する情報Ｉｆａを検出することができる位置であればよい。例えば、表示装置用ＧＮＳＳ受信機５は、透過型表示装置２を装着している使用者の身体に装着されていればよい。

表示装置用カメラ６は、透過型表示装置２を装着している使用者の視線の方向を撮像する。表示装置用カメラ６は、フレーム３に設けられている。表示装置用カメラ６は、使用者の視点と略等しい位置から使用者の視野範囲と略等しい範囲の画像を撮像するように構成されている。なお、本実施形態において、表示装置用カメラ６は、フレーム３に設けられているが、使用者の視点から使用者の視野範囲を撮像することができる位置であればよい。

図３に示すように、表示装置用制御装置７は、透過型ディスプレイ４に第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示させる制御装置である。表示装置用制御装置７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。または、表示装置用制御装置７は、ワンチップのＬＳＩ等からなる構成であってもよい。表示装置用制御装置７は、透過型ディスプレイ４、表示装置用ＧＮＳＳ受信機５及び表示装置用カメラ６と接続されている。表示装置用制御装置７は、通信装置８を介して画像処理装置９と接続されている。表示装置用制御装置７は、第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示させる基準面Ｓ１に関する情報Ｉｆｄを有している。本実施形態において、基準面Ｓ１は、地表面に設定されている。基準面Ｓ１に関する情報Ｉｆｄとは、使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示する位置の基準となる基準面Ｓ１の位置、傾きを含む。基準面Ｓ１は、使用者が任意に設定することができる。

表示装置用制御装置７は、表示装置用ＧＮＳＳ受信機５から使用者の位置に関する情報Ｉｆａを取得することができる。表示装置用制御装置７は、表示装置用カメラ６から画像を取得することができる。また、表示装置用制御装置７は、画像処理装置９から第１虚像画像Ｉｍ１に関する情報Ｉｆ１及び第２虚像画像Ｉｍ２に関する情報Ｉｆ２を取得することができる。表示装置用制御装置７は、取得した第１虚像画像Ｉｍ１に関する情報Ｉｆ１及び第２虚像画像Ｉｍ２に関する情報Ｉｆ２に基づいて第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を生成することができる。また、表示装置用制御装置７は、透過型ディスプレイ４に第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示させることができる。

このように構成される透過型表示装置２は、使用者の頭部に装着された状態で透過型ディスプレイ４の表示画面（以下、単に「透過型ディスプレイ４」と記す）に第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示することができる。また、透過型表示装置２は、第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得することができる。使用者の位置に関する情報Ｉｆａとは、透過型表示装置２の使用者が位置する緯度、経度、標高及び車両の方位等を含む。透過型表示装置２は、第１虚像画像Ｉｍ１に関する情報Ｉｆ１及び第２虚像画像Ｉｍ２に関する情報Ｉｆ２と使用者の位置に関する情報Ｉｆａとに基づいて、背景Ｌｓが透過している透過型ディスプレイ４に使用者の視点から見た第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を表示することができる。これにより、使用者は。透過型表示装置２を通じて第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２が透過型ディスプレイ４の背景Ｌｓに重ね合わせられた状態の画像を視認することができる。

通信装置８は、透過型表示装置２と、画像処理装置９と、クレーン１１のクレーン用制御装置３０との間で情報を送受信する装置である。通信装置８は、透過型表示装置２の表示装置用制御装置７及び画像処理装置９にそれぞれ設けられている。通信装置８は、クレーン用制御装置３０と画像処理装置９との間で情報を送信及び受信する。また、通信装置８は、表示装置用制御装置７と画像処理装置９との間で情報を送信及び受信する。

画像処理装置９は、透過型表示装置２に表示させる第１虚像画像Ｉｍ１に関する情報Ｉｆ１及び第２虚像画像Ｉｍ２に関する情報Ｉｆ２を生成する制御装置である。画像処理装置９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。または画像処理装置９は、ワンチップのＬＳＩ等からなる構成でもよい。本実施形態において、画像処理装置９は、透過型表示装置２に設けられている。画像処理装置９は、透過型表示装置２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。なお、画像処理装置９は、表示装置用制御装置７またはクレーン用制御装置３０と一体に構成されていてもよい。画像処理装置９は、位置情報取得装置であり、撮像装置でもあるクレーン１１のブームカメラ１９ｂが撮像した画像Ｐに含まれる人Ｈ及び車両Ｖ（図９参照）を判別する判別部９ａを有する。画像Ｐには、地表面等に位置する人Ｈ及び車両Ｖが含まれている。人Ｈ及び車両Ｖは、例えばブームカメラ１９ｂの撮像範囲内の地表面に位置する玉掛者、土木作業員等の人、トラック、建設作業機械等の車両を含む。

画像処理装置９は、通信装置８を介して透過型表示装置２の表示装置用制御装置７に接続されている。画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用ＧＮＳＳ受信機５が検出した使用者の位置に関する情報Ｉｆａを取得する。また、画像処理装置９は、通信装置８を介して表示装置用制御装置７から基準面Ｓ１に関する情報Ｉｆｄを取得する。画像処理装置９は、ブームカメラ１９ｂの画角、焦点距離等のブームカメラ１９ｂに関する情報を有している。

画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂを取得する。クレーン１１の位置に関する情報Ｉｆｂとは、クレーン１１の旋回中心が位置する緯度、経度、標高及び車両の方位等を含む。

画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の姿勢に関する情報Ｉｆｃを取得する。クレーン１１の姿勢に関する情報Ｉｆｃとは、クレーン１１の旋回角度、ブームの起伏角度、ブーム長さ、メインワイヤロープ２４の繰り出し長さ、サブワイヤロープ２６の繰り出し長さ、クレーン１１の各操作具の操作方向及び操作量を含む。また、クレーン１１の姿勢に関する情報Ｉｆｃは、クレーン１１の基準部材であるメインフック２０ａの現在位置Ｌｐに関する情報及び位置情報取得装置であるブームカメラ１９ｂが位置情報を含む画像Ｐを取得する際の条件であるブームカメラ１９ｂの画角、位置等に関する情報を含む。

画像処理装置９は、通信装置８を介してクレーン用制御装置３０からブームカメラ１９ｂが撮像した現在の画像Ｐを単位時間毎に連続して取得する。画像Ｐには、特定の対象物である人Ｈ及び車両Ｖの画像が含まれる。

画像処理装置９は、使用者の位置に関する情報Ｉｆａ、取得したクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ及び基準面Ｓ１に関する情報Ｉｆｄに基づいて、第１虚像画像Ｉｍ１を透過型表示装置２の使用者の視点から見た第１虚像画像Ｉｍ１として透過型ディスプレイ４上の基準面Ｓ１に表示するための第１虚像画像Ｉｍ１に関する情報Ｉｆ１を生成する。画像処理装置９は、生成した第１虚像画像Ｉｍ１に関する情報Ｉｆ１を表示装置用制御装置７に送信する。

図４に示すように、画像処理装置９の判別部９ａは、取得した画像Ｐから機械学習の一つであるディープラーニングにより人Ｈ及び車両Ｖを判別する。更に、画像処理装置９は、判別部９ａが判別した人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅを生成する。人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅとは、人Ｈ及び車両Ｖがそれぞれ位置する緯度、経度、標高及び車両の方位等を含む。判別部９ａは、クレーン１１のブームカメラ１９ｂによって撮像された人Ｈ及び車両Ｖの画像が多数含まれる教師データである学習データセットによって公知のパラメータ学習済モデルを学習させた人及び車両画像判別モデルＭを有している。判別部９ａは、人及び車両画像判別モデルＭを用いたディープラーニングにより入力データである画像Ｐから人Ｈ及び車両Ｖを判別し、出力データとして人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅを生成する。

画像処理装置９は、ブームカメラ１９ｂに関する情報、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、基準面Ｓ１に関する情報Ｉｆｄ及び人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅに基づいて、第２虚像画像Ｉｍ２を透過型表示装置２の使用者の視点から見た第２虚像画像Ｉｍ２として透過型ディスプレイ４上の基準面Ｓ１に表示するための第２虚像画像Ｉｍ２に関する情報Ｉｆ２を生成する。画像処理装置９は、生成した第２虚像画像Ｉｍ２に関する情報Ｉｆ２を表示装置用制御装置７に送信する。

透過型表示装置２の表示装置用制御装置７は、通信装置８を介して第１虚像画像Ｉｍ１に関する情報Ｉｆ１及び第２虚像画像Ｉｍ２に関する情報Ｉｆ２を取得する。表示装置用制御装置７は、使用者が視認している透過型ディスプレイ４上の基準面Ｓ１に第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２及び背景Ｌｓを重ねて表示する。

このように構成される操縦支援システム１の画像処理装置９は、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ及び基準面Ｓ１に関する情報Ｉｆｄを取得する。また、画像処理装置９は、画像Ｐからディープラーニングにより人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅを生成する。画像処理装置９は、取得した情報に基づいて、第１虚像画像Ｉｍ１に関する情報Ｉｆ１を生成する。また、画像処理装置９は、取得した情報及び生成した情報に基づいて、第２虚像画像Ｉｍ２に関する情報Ｉｆ２を生成する。操縦支援システム１の表示装置用制御装置７は、第１虚像画像Ｉｍ１に関する情報Ｉｆ１から第１虚像画像Ｉｍ１を表示し、第２虚像画像Ｉｍ２に関する情報Ｉｆ２から第２虚像画像Ｉｍ２を表示する。

以下に、図５と図６とを用いて、本発明の第１実施形態に係るクレーン１１について説明する。図５は、操縦支援システム１が接続されるクレーン１１の全体構成を示す。図６は、操縦支援システム１が接続されるクレーン１１の制御ブロック図を示す。

図５と図６とに示すように、クレーン１１は、任意の場所に移動可能な移動式クレーンである。クレーン１１は、クレーン用車両１２、クレーン装置１６、クレーン用制御装置３０（図７参照）を有する。

クレーン用車両１２は、クレーン装置１６を搬送する走行体である。クレーン用車両１２は、複数の車輪１３を有する。クレーン用車両１２は、エンジン１４を動力源として走行する。クレーン用車両１２は、アウトリガ１５を有する。アウトリガ１５は、クレーン用車両１２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとを有する。

クレーン装置１６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置１６は、旋回台１７、ブーム１９、メインフックブロック２０、サブフックブロック２１、起伏用油圧シリンダ２２、メインウインチ２３、メインワイヤロープ２４、サブウインチ２５、サブワイヤロープ２６、キャビン２７等を具備する。

旋回台１７は、クレーン装置１６を旋回可能に構成する回転装置である。旋回台１７は、円環状の軸受を介してクレーン用車両１２のフレーム上に設けられる。旋回台１７には、アクチュエータである油圧式の旋回用油圧モータ１７ａを有する。旋回台１７は、旋回用油圧モータ１７ａによって一方向と他方向とに旋回可能に構成されている。

クレーン用ＧＮＳＳ受信機１８（図６参照）は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。クレーン用ＧＮＳＳ受信機１８は、衛星から測距電波を受信し、クレーン用ＧＮＳＳ受信機１８の絶対座標である緯度、経度、標高、方位等を検出するものである。クレーン用ＧＮＳＳ受信機１８は、旋回台１７に設けられている。クレーン用ＧＮＳＳ受信機１８は、クレーン１１の位置に関する情報Ｉｆｂを検出する。

ブーム１９は、メインワイヤロープ２４およびサブワイヤロープ２６を支持する伸縮ブームである。ブーム１９は、複数のブーム部材から構成されている。ブーム１９は、ベースブーム部材の基端が旋回台１７の略中央に揺動可能に設けられている。ブーム１９は、各ブーム部材を伸縮させるアクチュエータである伸縮用油圧シリンダ１９ａ（図６参照）とブーム部材を起伏させる起伏用油圧シリンダ２２を有する。ブーム１９は、伸縮用油圧シリンダ１９ａによって軸方向に伸縮される。また、ブーム１９は、撮像装置であるブームカメラ１９ｂ及び延長用部材であるジブ１９ｃを有する。ブームカメラ１９ｂは、ブーム１９の先端部に位置している。ブームカメラ１９ｂは、ブーム１９の起伏角度に関わらずブーム１９の先端部から鉛直下方を撮像する。ブーム１９の先端部から撮像した鉛直下方の画像Ｐは、メインフック２０ａの可動範囲の少なくとも一部を含む範囲を地上よりも障害物が少ない上方から撮像するので、障害物等によりオペレータから把握し難い吊荷、吊荷周辺の情報をより多く得ることができる。

メインフックブロック２０とサブフックブロック２１とは、荷物Ｗを吊る部品である。メインフックブロック２０は、メインワイヤロープ２４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック２０ａとを有する。サブフックブロック２１は、荷物Ｗを吊るサブフック２１ａを有する。

起伏用油圧シリンダ２２は、ブーム１９を起立および倒伏させ、ブーム１９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ２２のシリンダ部の端部は、旋回台１７に起伏自在に連結されている。起伏用油圧シリンダ２２のロッド部の端部は、ブーム１９のベースブーム部材に揺動自在に連結されている。

メインウインチ２３は、メインワイヤロープ２４の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う装置である。サブウインチ２５は、サブワイヤロープ２６の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う装置である。

キャビン２７は、操縦席を覆う筐体である。キャビン２７は、旋回台１７に搭載されている。キャビン２７には、図示しない操縦席が設けられている。操縦席には、クレーン用車両１２を走行操作するための走行用操作具２８、クレーン装置１６のクレーン装置用操作具２９等が設けられている（図６参照）。

図６に示すように、クレーン用制御装置３０は、クレーン１１の各アクチュエータを制御する。クレーン用制御装置３０は、キャビン２７内に設けられている。クレーン用制御装置３０は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。またはクレーン用制御装置３０は、ワンチップのＬＳＩ等から構成される。クレーン用制御装置３０は、各アクチュエータ、切換え弁等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。クレーン用制御装置３０は、クレーン用通信装置３０ａを有している。クレーン用通信装置３０ａは、操縦支援システム１の画像処理装置９との間で情報を送信及び受信する。

クレーン用制御装置３０は、クレーン用ＧＮＳＳ受信機１８に接続されている。クレーン用制御装置３０は、クレーン１１の位置に関する情報Ｉｆｂを取得する。クレーン用制御装置３０は、ブームカメラ１９ｂに接続されている。クレーン用制御装置３０は、通信装置８を介してブームカメラ１９ｂが撮像した現在の画像Ｐを単位時間毎に連続して取得する。クレーン用制御装置３０は、走行用操作具２８およびクレーン装置用操作具２９に接続されている。クレーン用制御装置３０は、クレーン装置用操作具２９の操作により生成される操作信号に基づいて、クレーン装置１６の制御信号を生成する。クレーン用制御装置３０は、生成した制御信号を各アクチュエータに送信する。

クレーン用制御装置３０は、クレーン用通信装置３０ａを介して操縦支援システム１の画像処理装置９に接続されている。クレーン用制御装置３０は、画像処理装置９にクレーン１１の位置に関する情報Ｉｆｂとクレーン１１の姿勢に関する情報Ｉｆｃとを送信する。

このように構成されるクレーン１１は、走行用操作具２８の操作によってクレーン用車両１２を任意の位置に移動させることができる。また、クレーン１１は、クレーン装置用操作具２９の操作によって、ブーム１９を旋回、起伏、伸縮させることで荷物Ｗを任意の位置に搬送することができる。また、クレーン１１は、クレーン装置用操作具２９の操作によって、メインウインチ２３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。

次に、図７から図１１を用いて、操縦支援システム１による操縦支援について説明する。図７は、クレーン１１の操縦支援システム１が第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２、第３虚像画像Ｉｍ３、第４虚像画像Ｉｍ４、第５虚像画像Ｉｍ５を表示するための情報に必要な情報を生成する際のブロック図を示す。図８は、クレーン１１の操縦支援システム１においてブームカメラ１９ｂが撮像した画像を示す。図９は、クレーン１１の操縦支援システム１において使用者が透過型表示装置２において第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２及び第３虚像画像Ｉｍ３を視認している状態の模式図を示す。図１０は、クレーン１１の操縦支援システム１において使用者が透過型表示装置２において第４虚像画像Ｉｍ４を視認している状態の模式図を示す。図１１は、クレーン１１の操縦支援システム１において使用者が透過型表示装置２において第５虚像画像Ｉｍ５を視認している状態の模式図を示す。

本実施形態において、軌道の基準となる基準部材は、クレーン１１のメインフック２０ａとする。なお、基準部材は、クレーン１１によって搬送される荷物Ｗでもよい。クレーン１１の操縦者は、透過型表示装置２の使用者である。使用者は、透過型表示装置２を頭部に装着した状態でクレーン１１を操縦する。さらに、メインフック２０ａに吊り下げられている荷物Ｗの設置予定位置の近傍に位置する玉掛者は、透過型表示装置２を頭部に装着している。つまり、玉掛者は、透過型表示装置２の使用者である。

本実施形態において、操縦支援システム１は、画像処理装置９によってディープラーニングにより画像Ｐから人Ｈ及び車両Ｖを判別する。画像処理装置９は、ブームカメラ１９ｂが撮像した画像Ｐを取得すると、取得した画像Ｐから人及び車両画像判別モデルＭを用いてディープラーニングにより人Ｈ及び車両Ｖを判別する。画像処理装置９は、判別した人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅを生成する。

＜メインフック２０ａの現在位置Ｌｐ及び旋回方向軌道Ｔｔ及び径方向軌道Ｔｒ表示＞
図７から図９に示すように、操縦支援システム１は、基準部材であるメインフック２０ａの現在位置Ｌｐ、メインフック２０ａの旋回方向軌道Ｔｔまたは径方向軌道Ｔｒを第１虚像画像Ｉｍ１として透過型表示装置２に表示する。第１虚像画像Ｉｍ１は、メインフック２０ａの現在位置Ｌｐを基準として、ブーム１９が旋回した際にメインフック２０ａが通過する軌道である旋回方向軌道Ｔｔ、またはブーム１９が起伏または伸縮した際にメインフック２０ａが通過する軌道である径方向軌道Ｔｒの少なくとも一つを含む。なお、第１虚像画像Ｉｍ１は、メインフック２０ａの現在位置Ｌｐから目標位置までの直線軌道等、操縦者が任意に設定した軌道を表示させてもよい。

図７に示すように、操縦支援システム１の画像処理装置９は、通信装置８を介して表示装置用制御装置７から使用者の位置に関する情報Ｉｆａ、基準面Ｓ１に関する情報Ｉｆｄ及び現在の画像Ｐを取得する。また、画像処理装置９は、クレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃを取得する。また、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からブームカメラ１９ｂが撮像した現在の画像Ｐを単位時間毎に連続して取得する。

画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ及び基準面Ｓ１に関する情報Ｉｆｄに基づいて、メインフック２０ａの現在位置Ｌｐ、メインフック２０ａの現在位置Ｌｐを基準としてメインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを表示するための絶対座標の集合である第１基準座標Ｃ１を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及び算出した第１基準座標Ｃ１に基づいて、メインフック２０ａの現在位置Ｌｐを基準として使用者の視点から見た第１虚像画像Ｉｍ１を透過型ディスプレイ４上に表示するための第１虚像画像Ｉｍ１に関する情報Ｉｆ１を生成する。画像処理装置９は、生成した第１虚像画像Ｉｍ１に関する情報Ｉｆ１を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第１虚像画像Ｉｍ１に関する情報Ｉｆ１を取得する。

図８に示すように、画像処理装置９の判別部９ａは、人及び車両画像判別モデルＭを用いたディープラーニングを用いて、画像Ｐに人Ｈ及び車両Ｖが含まれているか否かを判別する。画像処理装置９は、判別部９ａが画像Ｐに人Ｈまたは車両Ｖの少なくとも一つが含まれていると判別した場合、出力データとして人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅを生成する。

図７に示すように、画像処理装置９は、ブームカメラ１９ｂに関する情報、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、基準面Ｓ１に関する情報Ｉｆｄ及び人Ｈ及び車両Ｖの位置に関する情報Ｉｆｅに基づいて、画像Ｐに含まれる人Ｈ及び車両Ｖを囲い枠で囲んで表示するための絶対座標の集合である第２基準座標Ｃ２を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及び算出した第２基準座標Ｃ２に基づいて、使用者の視点から見た第２虚像画像Ｉｍ２を透過型ディスプレイ４上の基準面Ｓ１に表示するための第２虚像画像Ｉｍ２に関する情報Ｉｆ２を生成する。画像処理装置９は、第２虚像画像Ｉｍ２に関する情報Ｉｆ２を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第２虚像画像Ｉｍ２に関する情報Ｉｆ２を取得する。

図９に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第１虚像画像Ｉｍ１に関する情報Ｉｆ１に基づいて第１虚像画像Ｉｍ１を表示する。表示装置用制御装置７は、透過型ディスプレイ４を通して使用者が視認しているメインフック２０ａを中心として透過型ディスプレイ４における基準面Ｓ１と重なる部分に使用者の視点から見たメインフック２０ａの現在位置Ｌｐ、メインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを表示する。表示装置用制御装置７は、第１虚像画像Ｉｍ１に関する情報Ｉｆ１を取得する度に、新たな第１虚像画像Ｉｍ１を表示する。

表示装置用制御装置７は、透過型ディスプレイ４上に第２虚像画像Ｉｍ２に関する情報Ｉｆ２に基づいて第２虚像画像Ｉｍ２を表示する。表示装置用制御装置７は、透過型ディスプレイ４を通して使用者が視認している人Ｈ及び車両Ｖと重なる透過型ディスプレイ４上の一部に使用者の視点から見たＨ及び車両Ｖを囲い枠によって表示する。表示装置用制御装置７は、第２虚像画像Ｉｍ２に関する情報Ｉｆ２を取得する度に、新たな第２虚像画像Ｉｍ２を表示する。表示装置用制御装置７は、メインフック２０ａの移動に合わせて第１虚像画像Ｉｍ１の表示位置を変更する。

使用者は、透過型表示装置２によって透過型ディスプレイ４の背景Ｌｓに含まれるメインフック２０ａを基準として基準面Ｓ１である地表面に第１虚像画像Ｉｍ１であるメインフック２０ａの現在位置Ｌｐ、旋回方向軌道Ｔｔ及び径方向軌道Ｔｒが表示されているように認識する。使用者は、メインフック２０ａの移動に合わせて第１虚像画像Ｉｍ１の表示位置が変更されているように認識する。

使用者は、透過型表示装置２によって透過型ディスプレイ４の背景Ｌｓに含まれる基準面Ｓ１である地表面上の人Ｈ及び車両Ｖに第２虚像画像Ｉｍ２である囲み枠が重ねて表示されているように認識する。また、使用者は、人Ｈ及び車両Ｖの移動に合わせて第２虚像画像Ｉｍ２の表示位置が変更されているように認識する。

上述の操縦支援システム１は、使用者が視認している透過型ディスプレイ４の背景Ｌｓに使用者の視点から見たメインフック２０ａの軌道である第１虚像画像Ｉｍ１が重なるように透過型ディスプレイ４に表示する。また、操縦支援システム１は、使用者が視認している透過型ディスプレイ４の背景Ｌｓに使用者の視点から見た人Ｈ及び車両Ｖを囲む囲み枠である第２虚像画像Ｉｍ２が重なるように透過型ディスプレイ４に表示する。操縦支援システム１は、メインフック２０ａの軌道に対する人Ｈ及び車両Ｖの位置関係についての視覚情報を任意の位置にいる使用者に提供する。つまり、操縦支援システム１は、透過型表示装置２を使用しているクレーン１１の操縦者がメインフック２０ａの移動に際して周囲の人Ｈ及び車両Ｖの存在を肉眼によって見ている実風景上において予め確認することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握するこができる。

＜基準部材の近傍に位置する人Ｈ及び車両Ｖの強調表示＞
図７と図９とに示すように、操縦支援システム１は、メインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを基準とする所定の範囲Ａ内（以下、単に「所定の範囲Ａ内」と記す）に位置する人Ｈ及び車両Ｖを強調表示する第３虚像画像Ｉｍ３を透過型表示装置２に表示してもよい。所定の範囲Ａ内とは、メインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒに対して水平に直交する方向に所定の幅を有する領域における鉛直方向の投影空間である。

図７に示すように、画像処理装置９は、算出した第１基準座標Ｃ１に基づいてメインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを基準とする所定の範囲Ａを示す絶対座標の集合である所定範囲座標Ｃ１Ａを算出する。画像処理装置９は、判別部９ａが画像Ｐから判別した人Ｈ及び車両Ｖが所定範囲座標Ｃ１Ａ内に位置しているか否かを判定する。画像処理装置９は、人Ｈ及び車両Ｖが所定範囲座標Ｃ１Ａ内に位置している場合、所定範囲座標Ｃ１Ａ内に位置する人Ｈ及び車両Ｖの位置に関する情報Ｉｆｆを生成する。所定範囲座標Ｃ１Ａ内に位置する人Ｈ及び車両Ｖの位置に関する情報Ｉｆｆとは、所定範囲座標Ｃ１Ａ内の人Ｈ及び車両Ｖがそれぞれ位置する緯度、経度、標高及び車両の方位等を含む。

画像処理装置９は、ブームカメラ１９ｂに関する情報、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、基準面Ｓ１に関する情報Ｉｆｄ及び所定範囲座標Ｃ１Ａ内に位置する人Ｈ及び車両Ｖの位置に関する情報Ｉｆｆに基づいて、所定の範囲Ａ内に位置する人Ｈ及び車両Ｖを囲い枠で囲んで表示するための絶対座標の集合である第３基準座標Ｃ３を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及び算出した第３基準座標Ｃ３に基づいて、使用者の視点から見た第３虚像画像Ｉｍ３を透過型ディスプレイ４上の基準面Ｓ１に表示するための第３虚像画像Ｉｍ３に関する情報Ｉｆ３を生成する。画像処理装置９は、第３虚像画像Ｉｍ３に関する情報Ｉｆ３を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第３虚像画像Ｉｍ３に関する情報Ｉｆ３を取得する。

図９に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第３虚像画像Ｉｍ３に関する情報Ｉｆ３に基づいて第３虚像画像Ｉｍ３を表示する。第３虚像画像Ｉｍ３は、人Ｈ及び車両Ｖの位置を示す第１虚像画像Ｉｍ１に更に重ねて強調表示する囲み枠等の図形である。表示装置用制御装置７は、透過型ディスプレイ４を通して使用者が視認している人Ｈ及び車両Ｖと重なる透過型ディスプレイ４上の一部に使用者の視点から見た人Ｈ及び車両Ｖを更に囲い枠によって囲む。表示装置用制御装置７は、第３虚像画像Ｉｍ３に関する情報Ｉｆ３を取得する度に、新たな第３虚像画像Ｉｍ３を表示する。

使用者は、透過型表示装置２によって透過型ディスプレイ４の背景Ｌｓに含まれる基準面Ｓ１上の人Ｈ及び車両Ｖに第３虚像画像Ｉｍ３である囲み枠が重ねて表示されているように認識する。よって、使用者は、複数の人Ｈ及び車両Ｖのうち第３虚像画像Ｉｍ３によって強調表示された一部の人Ｈ及び車両Ｖに注視する。また、使用者は、人Ｈ及び車両Ｖの移動に合わせて第３虚像画像Ｉｍ３の表示位置が変更されているように認識する。

上述の操縦支援システム１は、使用者が視認している透過型ディスプレイ４の背景Ｌｓに使用者の視点から見た所定の範囲Ａ内に位置する人Ｈ及び車両Ｖに第３虚像画像が重なるように透過型ディスプレイ４に表示する。操縦支援システム１は、透過型表示装置２を使用しているクレーン１１の操縦者が肉眼によって見ている複数の人Ｈ及び車両Ｖのうち、メインフック２０ａまたはメインフック２０ａが搬送している荷物Ｗに接触する可能性がある人Ｈ及び車両Ｖの位置についての視覚情報を使用者に提供する。つまり、操縦支援システム１は、透過型表示装置２を使用しているクレーン１１の操縦者がメインフック２０ａの移動に際してより注意を払う必要がある人Ｈ及び車両Ｖの存在を肉眼によって見ている実風景上において予め確認することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握するこができる。

＜基準部材の軌道近傍に位置する使用者への警告表示＞
図７と図１０とに示すように、操縦支援システム１は、所定の範囲Ａ内に位置する透過型表示装置２の使用者に所定の範囲Ａ内に位置している旨を伝える第４虚像画像Ｉｍ４を透過型表示装置２に表示してもよい。

図７に示すように、画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａと算出した所定範囲座標Ｃ１Ａ内に基づいて、透過型表示装置２の使用者が所定の範囲Ａ内に位置しているか否かを判定する。画像処理装置９は、透過型表示装置２の使用者が所定の範囲Ａ内に位置する場合、所定の範囲Ａ内に位置する使用者の位置に関する情報Ｉｆｇを生成する。所定の範囲Ａ内に位置する使用者に関する情報Ｉｆｇとは、所定の範囲Ａ内の使用者がそれぞれ位置する緯度、経度、標高及び車両の方位等を含む。

画像処理装置９は、使用者の位置に関する情報Ｉｆａ及び所定の範囲Ａ内に位置する使用者の位置に関する情報Ｉｆｇに基づいて、所定の範囲Ａ内に位置する旨の警告を示す第４虚像画像Ｉｍ４を透過型ディスプレイ４に表示するための第４虚像画像Ｉｍ４に関する情報Ｉｆ４を生成する。画像処理装置９は、生成した第４虚像画像Ｉｍ４に関する情報Ｉｆ４を、所定の範囲Ａ内に位置する使用者の表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第４虚像画像Ｉｍ４に関する情報Ｉｆ４を取得する。

図１０に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第４虚像画像Ｉｍ４に関する情報Ｉｆ４に基づいて第４虚像画像Ｉｍ４を表示する。第４虚像画像Ｉｍ４は、メインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒ（不図示）を基準とする所定の範囲Ａに位置していることを示す図形、文字情報等である。表示装置用制御装置７は、透過型ディスプレイ４に使用者が容易に視認できる位置、態様で第４虚像画像Ｉｍ４を表示する。表示装置用制御装置７は、一定期間以上、第４虚像画像Ｉｍ４に関する情報Ｉｆ４を取得しない時間が継続すると、第４虚像画像Ｉｍ４の表示を停止する。

上述の操縦支援システム１は、透過型表示装置２の使用者が所定の範囲Ａ内に位置する場合、その使用者が使用する透過型表示装置２に警告を示す表示である第４虚像画像Ｉｍ４を表示する。操縦支援システム１は、透過型表示装置２を使用している玉掛者等に対して、メインフック２０ａの現在位置Ｌｐ、メインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを示す第１虚像画像Ｉｍ１と、メインフック２０ａまたはメインフック２０ａが搬送している荷物Ｗに接触する可能性がある範囲に位置する旨の第４虚像画像Ｉｍ４を表示する。つまり、操縦支援システム１は、メインフック２０ａに対してより注意を払う必要がある透過型表示装置２の使用者が肉眼によって見ている実風景上においてメインフック２０ａとの位置関係を予め確認することができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握するこができる。

＜基準部材の近傍に位置する人Ｈ及び車両Ｖの方向表示＞
図７と図１１に示すように、操縦支援システム１は、所定の範囲Ａ内に位置する人Ｈ及び車両Ｖの使用者から見た方向を表示する第５虚像画像Ｉｍ５を透過型表示装置２に表示してもよい。

図７に示すように、画像処理装置９は、人Ｈ及び車両Ｖが所定の範囲Ａ内に位置している場合、所定の範囲Ａ内に位置する人Ｈ及び車両Ｖの位置に関する情報Ｉｆｆを生成する。画像処理装置９は、使用者の位置に関する情報Ｉｆａ及び所定の範囲Ａ内に位置する人Ｈ及び車両Ｖの位置に関する情報Ｉｆｆに基づいて、透過型表示装置２の使用者の視点から見て表示画面である透過型ディスプレイ４と重なる背景Ｌｓの範囲内において所定の範囲Ａ内に位置する人Ｈ及び車両Ｖ含まれるか否か判定する。画像処理装置９は、使用者の視点から見て透過型ディスプレイ４と重なる背景Ｌｓの範囲内において所定の範囲Ａ内に位置する人Ｈ及び車両Ｖ含まれない場合、所定の範囲Ａ内に位置する人Ｈ及び車両Ｖの方向を示す第５虚像画像Ｉｍ５を透過型ディスプレイ４に表示するための第５虚像画像Ｉｍ５に関する情報Ｉｆ５を生成する。画像処理装置９は、第５虚像画像Ｉｍ５に関する情報Ｉｆ５を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第５虚像画像Ｉｍ５に関する情報Ｉｆ５を取得する。

図１１に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第５虚像画像Ｉｍ５に関する情報Ｉｆ５に基づいて第５虚像画像Ｉｍ５を表示する。第５虚像画像Ｉｍ５は、所定の範囲Ａ内に含まれる人Ｈ及び車両Ｖの方向を表示する矢印等の図形である。表示装置用制御装置７は、透過型ディスプレイ４に使用者が確実に視認できる位置、態様で第５虚像画像Ｉｍ５を表示する。表示装置用制御装置７は、一定期間以上、第５虚像画像Ｉｍ５に関する情報Ｉｆ５を取得しない時間が継続すると、第５虚像画像Ｉｍ５の表示を停止する。

上述の操縦支援システム１は、所定の範囲Ａ内に位置する人Ｈ及び車両Ｖを透過型表示装置２の使用者が肉眼によって見ることができない場合、その使用者の位置を基準としてメインフック２０ａの旋回方向軌道Ｔｔ及び径方向軌道Ｔｒを基準とする所定範囲内に位置する人Ｈ及び車両Ｖの方向を示す図形である第５虚像画像Ｉｍ５を表示する。つまり、操縦支援システム１は、メインフック２０ａの移動に際してより注意を払う必要がある人Ｈ及び車両Ｖが使用者の肉眼によって見ている実風景上に位置しない場合、使用者に人Ｈ及び車両Ｖを視認するように促すことができる。これにより、クレーンのフックの軌道と特定の対象物との位置関係を直感的に把握するこができる。

＜他の実施形態＞
上述の実施形態において、操縦支援システム１は、単眼カメラであるブームカメラ１９ｂを撮像装置として画像Ｐを取得している。しかしながら、ブームカメラ１９ｂは、ブームカメラ１９ｂと人Ｈ及び車両Ｖとの距離を画像Ｐから検出するために撮像装置をステレオカメラで構成してもよい。ステレオカメラで構成された撮像装置は、例えば地表面に位置している特定の対象物と建造物の屋上に位置している特定の対象物とが含まれている画像からそれぞれの特定の対象物の位置関係を検出することができる。つまり、操縦支援システムは、画像処理装置によって撮像装置から特定の対象物までの距離を考慮した第２虚像画像Ｉｍ２、第３虚像画像Ｉｍ３及び第４虚像画像Ｉｍ４を透過型表示装置に表示する。これにより、クレーンのフックの軌道と特定の対象物との位置関係をより正確に検出し、直感的に把握するこができる。

上述の構成では、操縦支援システム１は、人Ｈ、車両Ｖ等の特定の対象物の距離及び方位をブームカメラ１９ｂが撮像した画像Ｐに基づいて算出している。しかしながら、操縦支援システムは、位置情報取得装置としてレーザによって人、車両等の特定の対象物の距離及び方位をＬＩＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）によって取得する構成でもよい。ＬＩＤＡＲは、レーザを走査しながら対象物に対して照射し、レーザの散乱、反射光を観測することで、レーザの発振源から対象物までの距離、方位を計測したり対象物の性質を特定したりする公知の技術である。なお、ＬＩＤＡＲを使用する場合、クレーン１１の姿勢に関する情報Ｉｆｃには、ＬＩＤＡＲが特定の対象物の距離及び方位を位置情報として取得する際の条件に関する情報であるＬＩＤＡＲの位置、レーザの照射条件、照射範囲等を含む。

上述の実施形態において、画像処理装置９の判別部９ａは、機械学習に含まれるディープラーニングにより人Ｈ及び車両Ｖを判別する。しかしながら、操縦支援システムは、それぞれを識別するマーカを有する人Ｈ及び車両Ｖを撮像した画像Ｐから人Ｈ及び車両Ｖを検出する構成でもよい。操縦支援システムは、教師データである学習データセットによる機械学習を行う必要がない。また、人Ｈの性別、年齢、所属など画像から判別できない情報によって人Ｈ及び車両Ｖを判別することができる。

上述の実施形態において、操縦支援システム１は、人Ｈ及び車両Ｖを示す第１虚像画像Ｉｍ１として囲み枠を透過型表示装置２に表示する。しかしながら、操縦支援システム１は、人及び車両の存在を示すものであれば文字、矢印、着色等でもよい。

上述の実施形態において、操縦支援システム１は、クレーン１１のブームカメラ１９ｂを撮像装置として画像Ｐを取得している。しかしながら、操縦支援システムは、撮像装置としてブームカメラ１９ｂ以外のカメラを撮像装置としてもよい。操作支援システムは、例えば、撮像装置として、表示装置用カメラ６、クレーン１１の車体カメラ、工事現場に設置したカメラ及びドローンに搭載したカメラ等が撮像した画像を取得してもよい。

上述の実施形態において、周囲の構造物等との接触を抑制するためにクレーン装置１６の可動範囲が抑制されている場合、画像処理装置９は、使用者の視点から見て透過型ディスプレイ４上にメインフック２０ａの可動範囲を示す虚像画像に関する情報を生成してもよい。画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の可動範囲の制限に関する情報を取得する。画像処理装置９は、画像Ｐにおいて判別部９ａが判別した人Ｈ及び車両Ｖがクレーン装置１６の可動範囲外に位置する場合、第３虚像画像Ｉｍ３に関する情報Ｉｆ３、第４虚像画像Ｉｍ４に関する情報Ｉｆ４、第５虚像画像Ｉｍ５に関する情報Ｉｆ５を生成しない。すなわち、操縦支援システム１は、使用者の透過型表示装置２に第３虚像画像Ｉｍ３、第４虚像画像Ｉｍ４、第５虚像画像Ｉｍ５を表示しない。これにより、クレーン１１の操縦者である使用者は、可動範囲外に位置する人Ｈ及び車両Ｖについて注意を払うことがない。

上述の各実施形態において、クレーン１１の操縦支援システム１は、第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２、第３虚像画像Ｉｍ３、第４虚像画像Ｉｍ４及び第５虚像画像Ｉｍ５のいずれかを透過型表示装置２に表示させている。しかしながら、操縦支援システム１は、第１虚像画像Ｉｍ１から第５虚像画像Ｉｍ５の少なくとも一つを透過型表示装置２の使用者が任意に選択して表示させてもよい。また、操縦支援システム１は、上述の実施形態で表示している虚像画像に限らず、クレーン１１の操縦を支援する虚像画像を表示するものであればよい。

また、上述の各実施形態において、クレーン１１の操縦支援システム１の透過型表示装置２は、クレーン１１の操縦者に装着されている。しかしながら、透過型表示装置２は、クレーン１１の操縦者とクレーン１１の操縦者以外の作業者の少なくとも一人が装着してもよい。例えば、クレーン１１の操縦者と玉掛者とがそれぞれ透過型表示装置２を装着している場合、操縦支援システム１は、それぞれの透過型表示装置２に同一のクレーン１１の姿勢に関する情報Ｉｆｃに基づいた同一または異なる種類の虚像画像を表示させる。これにより、クレーン１１の操縦者と玉掛者は、それぞれの位置における視野内において同一のクレーン１１の姿勢に関する情報Ｉｆｃに基づいた虚像画像を視認しているので、荷物Ｗに対するメインフック２０ａの位置等をより正確に共有することができる。

また、上述の実施形態として、操縦支援システム１は、クレーン１１の操縦支援システム１として構成されている。しかしながら、操縦支援システム１は、作業車両である高所作業車の操縦支援システムとして構成されていてもよい。高所作業車の操縦支援システムは、通信装置を介して使用者の位置に関する情報、高所作業車の位置に関する情報、高所作業車の姿勢に関する情報及び虚像画像を表示する基準となる基準面の位置と姿勢とを含む基準面に関する情報を取得する。前記高所作業車の操縦支援システムの画像処理装置は、高所作業車によって移動される基準部材であるバケットの現在位置において使用者の視点から見たバケットの旋回方向軌道及び径方向軌道を示す虚像画像を前記透過型表示装置上に表示させるための虚像画像に関する情報を生成する。前記透過型表示装置は、高所作業車についての虚像画像に関する情報を取得し、虚像画像を表示画面上に表示する。

また、上述の各実施形態において、クレーン１１の操縦支援システム１は、透過型表示装置２によって第１虚像画像Ｉｍ１から第５虚像画像Ｉｍ５の少なくとも一つを表示している。しかしながら、クレーン１１の操縦支援システムは、基準部材を撮像しているブームカメラ１９ｂの撮像画像上に第１虚像画像から第５虚像画像の少なくとも一つを表示してもよい。第１虚像画像から第５虚像画像の少なくとも一つは、タッチパネル等の表示画面上で操作することができる。

また、上述の各実施形態において、透過型表示装置２は、第１虚像画像Ｉｍ１及び第２虚像画像Ｉｍ２を透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得している。しかしながら、透過型表示装置は、特定位置のマーカを認識することで透過型表示装置の位置を算出してもよい。透過型表示装置は、例えばクレーン１１のキャビン２７内に位置するマーカを認識することで透過型表示装置の位置を算出する。また、透過型表示装置は、算出した位置を基準として慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）による位置の算出を行う。

また、上述の各実施形態において、透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。しかしなら、透過型表示装置は、使用者の視点から見て背景Ｌｓを透過させる表示画面に前記使用者の視点から見た虚像画像を重畳して視認させる表示装置であればよい。透過型表示装置は、例えばキャビンのフロントガラスを表示画面として、操縦席の操縦者の視点から見た虚像画像を表示させるヘッドアップディスプレイでもよい。

また、上述の各実施形態において、画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ及び基準面Ｓ１に関する情報Ｉｆｄに基づいて、メインフック２０ａの現在位置Ｌｐ等を表示するための絶対座標の集合である第１基準座標Ｃ１を算出している。しかしながら、画像処理装置は、クレーンの位置に関する情報、クレーンの姿勢に関する情報及び基準面に関する情報に加えて、ブームカメラが撮像した画像Ｐに基づいてメインフックの現在位置等を表示するための絶対座標の集合である第１基準座標を算出してもよい。これにより、画像処理装置は、メインフックが揺れていてもメインフックの位置を検出することができる。

また、上述の各実施形態において、操縦支援システム１は、透過型表示装置２の使用者が所定の範囲Ａ内に位置する場合、その使用者が使用する透過型表示装置２に警告を示す表示である第４虚像画像Ｉｍ４を表示する。しかしながら、操縦支援システムは、前記操縦支援システムに登録されているスマートフォン、ウェアラブル端末等の携帯端末に所定の範囲に位置する旨の信号を送信してもよい。前記操縦支援システムは、取得した携帯端末の位置情報から携帯端末が所定の範囲内に位置すると判断した場合、該当する携帯端末に対して振動、警告音等の信号を送信する。

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

１ 操縦支援システム
２ 透過型表示装置
３ フレーム
４ 透過型ディスプレイ
５ 表示装置用ＧＮＳＳ受信機
６ 表示装置用カメラ
７ 表示装置用制御装置
８ 通信装置
９ 画像処理装置
１１ クレーン
１９ｂ ブームカメラ
２１ａ メインフック（基準部材）
３０ クレーン用制御装置
Ｌｐ 現在位置
Ｉｆａ 使用者の位置に関する情報
Ｉｆｂ クレーンの位置に関する情報
Ｉｆｃ クレーンの姿勢に関する情報
Ｉｆｄ 基準面に関する情報
Ｉｆｅ 人及び車両の位置に関する情報
Ｉｆｆ 所定の範囲内に位置する人及び車両の位置に関する情報
Ｉｍ１ 第１虚像画像
Ｉｍ２ 第２虚像画像
Ｉｍ３ 第３虚像画像
Ｉｍ４ 第４虚像画像
Ｉｍ５ 第５虚像画像
Ｃ１ 第１基準座標
Ｃ２ 第２基準画像
Ｃ３ 第３基準座標
Ｉｆ１ 第１虚像画像に関する情報
Ｉｆ２ 第２虚像画像に関する情報
Ｉｆ３ 第３虚像画像に関する情報
Ｉｆ４ 第４虚像画像に関する情報
Ｉｆ５ 第５虚像画像に関する情報

Claims (9)

1. 背景を透過させる表示画面に使用者の視点から見た虚像画像を表示する透過型表示装置と、
   旋回台に起伏自在の伸縮ブームを有するクレーンにおけるフックの可動範囲の少なくとも一部を含む範囲における特定の対象物の位置情報を取得する位置情報取得装置と、
   前記透過型表示装置に表示する虚像画像に関する情報を生成する画像処理装置と、
   前記位置情報取得装置と前記画像処理装置との間、前記クレーンの制御装置と前記画像処理装置との間及び前記透過型表示装置と前記画像処理装置との間で情報を送信及び受信する通信装置とを備える、クレーンの操縦支援システムであって、
   前記画像処理装置は、
   前記通信装置を介して取得した前記クレーンの位置に関する情報及び前記クレーンの姿勢に関する情報に基づいて、前記フックの現在位置及び前記ブームの旋回中心を基準とする前記フックの旋回方向軌道及び径方向軌道を算出し、
   前記通信装置を介して取得した前記使用者の位置に関する情報に基づいて、前記使用者の視点から見て前記フックの現在位置及び前記フックの旋回方向軌道及び径方向軌道についての画像を示す第１虚像画像を前記表示画面上に表示するための第１虚像画像に関する情報を生成し、
   前記位置情報取得装置が取得した位置情報において特定の対象物についての位置情報を検出し、前記通信装置を介して取得した前記位置情報取得装置が位置情報を取得する際の条件に関する情報及び前記使用者の位置に関する情報に基づいて、前記特定の対象物の位置を算出し、前記使用者の視点から見て前記特定の対象物についての画像を示す第２虚像画像を前記表示画面上に表示するための第２虚像画像に関する情報を生成し、
   前記透過型表示装置は、
   前記通信装置を介して前記画像処理装置から前記第１虚像画像に関する情報及び前記第２虚像画像に関する情報を取得し、前記使用者の視点から見た前記第１虚像画像及び記第２虚像画像を前記表示画面上に表示する、
   クレーンの操縦支援システム。
2. 請求項１に記載のクレーンの操縦支援システムにおいて、
   前記画像処理装置は、
   前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に位置する前記特定の対象物についての強調表示した画像を示す第３虚像画像を前記表示画面上に表示するための第３虚像画像に関する情報を生成する、
   クレーンの操縦支援システム。
3. 請求項１または２に記載のクレーンの操縦支援システムにおいて、
   前記画像処理装置は、
   前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に前記使用者が位置する場合、旋回方向軌道及び径方向軌道の近傍に位置している旨の画像を示す第４虚像画像を前記表示画面上に表示するための第４虚像画像に関する情報を生成し、前記通信装置を介して前記使用者の前記画像処理装置に前記第４虚像画像に関する情報を送信し、
   前記透過型表示装置は、
   前記通信装置を介して前記画像処理装置から前記第４虚像画像に関する情報を取得すると、前記使用者の視点から見た前記第４虚像画像を前記表示画面上に表示する、
   クレーンの操縦支援システム。
4. 請求項１から３のいずれか一項に記載のクレーンの操縦支援システムにおいて、
   前記画像処理装置は、
   前記使用者の視点から見て、前記表示画面と重なる背景の範囲外であって前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に前記特定の対象物が位置する場合、前記フックの旋回方向軌道及び径方向軌道を基準とする所定の範囲内に位置する前記特定の対象物の方向を表示する画像を示す第５虚像画像を前記表示画面上に表示するための第５虚像画像に関する情報を生成し、
   前記透過型表示装置は、
   前記通信装置を介して前記画像処理装置から前記第５虚像画像に関する情報を取得すると、前記使用者の視点から見た前記第５虚像画像を前記表示画面上に表示する、
   クレーンの操縦支援システム。
5. 請求項１から４のいずれか一項に記載のクレーンの操縦支援システムにおいて、
   前記位置情報取得装置は、
   レーザによって前記特定の対象物までの距離及び方位を取得するＬＩＤＡＲである、
   クレーンの操縦支援システム。
6. 請求項１から４のいずれか一項に記載のクレーンの操縦支援システムにおいて、
   前記位置情報取得装置は、
   旋回台に起伏自在の伸縮ブームを有するクレーンにおけるフックの可動範囲の少なくとも一部を含む範囲を撮像する撮像装置であり、
   前記画像処理装置は、
   前記通信装置を介して、前記撮像装置の画角及び撮像位置に関する情報及び前記撮像装置が撮像した画像を取得し、
   前記撮像装置が撮像した画像において特定の対象物についての画像を検出し、前記撮像装置の画角及び撮像位置に関する情報及び前記使用者の位置に関する情報に基づいて、前記特定の対象物の位置を算出し、前記使用者の視点から見て前記特定の対象物についての画像を示す第２虚像画像を前記表示画面上に表示するための第２虚像画像に関する情報を生成する、
   クレーンの操縦支援システム。
7. 請求項６に記載のクレーンの操縦支援システムにおいて、
   前記撮像装置は、
   ステレオカメラである、
   クレーンの操縦支援システム。
8. 請求項６または７に記載のクレーンの操縦支援システムにおいて、
   前記画像処理装置は、
   前記特定の対象物の画像についての教師データを有し、前記教師データに基づいて機械学習により前記撮像装置が撮像した画像から前記特定の対象物についての画像を判別する、
   クレーンの操縦支援システム。
9. 請求項１から請求項８のいずれか一項に記載の操縦支援システムを有するクレーン。

Images