以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の実施例に係るジブクレーンに搭載される画像生成装置100の構成例を概略的に示すブロック図である。
画像生成装置100は、ジブクレーンの周辺を監視する周辺監視装置の1例であり、主に、制御装置1、カメラ2、記憶装置4、無線通信装置5a、5b、及び表示装置6で構成される。具体的には、画像生成装置100は、ジブクレーンに搭載されるカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を表示装置6に表示する。
図2は、画像生成装置100が搭載されるジブクレーン60の構成例を示す図であり、図2左図がジブクレーン60の側面視であり、図2右図がジブクレーン60の前面視である。
ジブクレーン60は、屋外に設置される走行クレーンであり、主に、レールRA上を走行する走行体61と、走行体61上に設置される塔体62と、塔体62上に設置される旋回体63と、旋回体63に取り付けられるジブ64とを有する。
走行体61は、一対の脚部61a、61bとそれら一対の脚部61a、61bを接続する桁部61cとで構成される門型形状のフレームを有し、駆動源61dによって駆動される。旋回体63は、図2の状態において、−X側端部の+Y側に運転室63aを備え、−X側端部の中央部にジブ64が取り付けられる。なお、走行体61には制御装置1、カメラ2、及び無線通信装置5aが設置され、旋回体63には無線通信装置5bが設置され、運転室63a内の操作者が視認し易い位置には表示装置6が設置される。
次に、画像生成装置100の各構成要素について説明する。
制御装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御装置1は、走行体61又は塔体62に設置され、例えば、後述する座標対応付け部10及び画像生成部11のそれぞれの機能要素に対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各機能要素に対応する処理をCPUに実行させる。なお、制御装置1は、旋回体63に設置されてもよい。
カメラ2は、ジブクレーン60の周囲を映し出す入力画像を取得するための装置であり、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子で構成される。本実施例では、カメラ2は、例えば、運転室63aにいる操作者の死角となる領域を撮像できるよう、走行体61に取り付けられる複数の走行体用カメラ(後述)、及び、旋回体63に取り付けられる複数の旋回体用カメラ(後述)を含む。なお、カメラ2は、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。
また、カメラ2は、制御装置1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御装置1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御装置1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御装置1に対して出力してもよい。その場合には、制御装置1がその見掛け上の歪曲やアオリを補正する。
記憶装置4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
無線通信装置5a、5bは、情報を無線で送受信するための装置である。本実施例では、無線通信装置5aは、走行体61に設置され、制御装置1に有線接続される。また、無線通信装置5bは、旋回体63に設置され、表示装置6に有線接続される。そして、無線通信装置5aは、カメラ2の入力画像に基づいて制御装置1が生成する出力画像を無線通信装置5bに対して無線で送信する。無線通信装置5bは、無線通信装置5aから送信される出力画像を無線で受信すると、受信した出力画像を表示装置6に対して出力する。なお、無線通信装置5a、5bは、制御装置1とカメラ2との間に配置されてもよい。この場合、無線通信装置5aは、走行体61又は塔体62に設置され、カメラ2に有線接続される。また、無線通信装置5bは、旋回体63に設置され、旋回体63に設置された制御装置1に有線接続される。この構成により、画像生成装置100は、有線接続を採用する際に生じるケーブルの取り回し、ケーブルの保護等に関する問題を排除できる。例えば、塔体62には、運転者若しくは作業者の昇降用の階段、エレベータ等が設置される。また、塔体62には、走行体61に設置される機器と旋回体63に設置される機器とを繋ぐ多くの配線が設置される。そのため、さらなるケーブルを設置するためのスペースの確保が困難な場合がある。このような状況においても、画像生成装置100は、無線通信装置5a、5bを用いることにより、カメラ2と表示装置6との間で画像を送受信できる。
表示装置6は、画像情報を表示するための装置であり、例えば、ジブクレーン60の運転室63a(図2参照。)内に設置される液晶ディスプレイ又はプロジェクタ等であって、制御装置1が出力する各種画像を表示する。
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成し、その出力画像を表示装置6上に表示させてもよい。
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、画像生成装置100は、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影する。そして、画像生成装置100は、その空間モデルに投影した投影画像を別の二次元平面に再投影することによって処理対象画像を生成する。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、走行体61を側方から見たときの走行体61と空間モデルMDとの間の関係を示し、図3右図は、走行体61を上方から見たときの走行体61と空間モデルMDとの間の関係を示す。
図3に示すように、空間モデルMDは、円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。
また、図4は、空間モデルMDと処理対象画像平面R3との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
次に、制御装置1が有する各種機能要素について説明する。
座標対応付け部10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け部10は、例えば、予め設定された、或いは、動的に入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け部10は、それらの対応関係を記憶装置4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
なお、座標対応付け部10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
画像生成部11は、出力画像を生成するための手段である。本実施例では、画像生成部11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成部11は、その対応関係を記憶装置4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
また、画像生成部11は、予め設定された、或いは、動的に入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成部11は、その対応関係を記憶装置4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、画像生成部11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。
また、画像生成部11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成部11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成部11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
次に、座標対応付け部10及び画像生成部11による具体的な処理の一例について説明する。
座標対応付け部10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。
最初に、座標対応付け部10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「−W軸」の符号「−」は、Z軸の方向と−W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け部10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け部10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
で表される。
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
で表されることとなる。
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
で表され、四元数Qの共役四元数は、
で表される。
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
で表される。
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
で表される。
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
で表される。また、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け部10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け部10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。
また、座標対応付け部10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け部10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
その後、座標対応付け部10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、
で表される。
このようにして、座標対応付け部10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
また、座標対応付け部10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け部10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け部10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
図6は、座標対応付け部10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け部10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
F6Aの例では、座標対応付け部10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け部10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
具体的には、座標対応付け部10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。
F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け部10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け部10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
F6Bの例では、座標対応付け部10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。
なお、座標対応付け部10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。
このようにして、座標対応付け部10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
F6Cの例では、画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成部11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
具体的には、画像生成部11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。
このようにして、画像生成部11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、F6Dは、F6A〜F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの作用について説明する。
図7左図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。また、図7左図における座標La〜Ldのそれぞれの間隔は、図7右図における座標La〜Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。
図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの代替例について説明する。
図8左図は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La〜Ldのそれぞれの間隔は、図8右図における座標La〜Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。
図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、走行体61の近傍の路面画像(走行体61を真上から見たときの仮想画像)に影響を与えることなく、走行体61の周囲に位置する物体(走行体61から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ジブクレーン60の死角領域の視認性を向上させることができる。
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。
最初に、制御装置1は、座標対応付け部10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
具体的には、座標対応付け部10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得する。そして、座標対応付け部10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け部10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶装置4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
また、座標対応付け部10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
その後、制御装置1は、座標対応付け部10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
具体的には、座標対応付け部10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け部10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け部10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
その後、制御装置1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御装置1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。
一方、制御装置1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御装置1は、画像生成部11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
具体的には、画像生成部11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成部11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
或いは、画像生成部11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
或いは、画像生成部11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成部11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成部11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成部11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
その後、制御装置1の画像生成部11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成部11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成部11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成部11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
その後、制御装置1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御装置1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。
一方、制御装置1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
以上の構成により、画像生成装置100は、走行体61の周囲の物体と走行体61との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
次に、図10〜図14を参照しながら、走行体61に取り付けられる8台のカメラの入力画像を用いて画像生成装置100が出力画像としての走行体監視画像を生成する処理について説明する。なお、図10は、ジブクレーン60の走行体61の上面視、側面視、及び前面視を用いた8台のカメラの配置図である。また、図11は、走行体61の上面視、側面視、及び前面視を用いた8台のカメラの撮像範囲の概略図である。また、図12は、8つの入力画像から4つの部分画像を経て1つの出力画像を生成する処理の流れを示すブロック図である。また、図13は、図12の処理における入力画像、部分画像、及び出力画像の例を示す図である。また、図14は、走行体監視画像の特徴を説明する図である。
図10に示すように、ジブクレーン60の走行体61には8台のカメラ2−1〜2−8が取り付けられる。具体的には、走行体61の上面視F10A、側面視F10B、及び前面視F10Cで示すように、走行体61には、脚部61aの外側(+Y側)を撮像する2つのカメラ2−1、2−5と、レール延在方向の一方の側(+X側)を撮像するカメラ2−2と、一対の脚部61a、61bの間の空間を撮像する2つのカメラ2−3、2−7と、レール延在方向の他方の側(−X側)を撮像するカメラ2−6と、脚部61bの外側(−Y側)を撮像する2つのカメラ2−4、2−8とが取り付けられる。
カメラ2−1は、桁部61cの+Y側の上端部に取り付けられ、図11の上面視F11A及び前面視F11Cにおける二点鎖線で示す光軸を有し、その光軸は点CP1において路面と交差する。また、上面視F11A及び前面視F11Cにおける粗いドットパターンで示す領域CR1は、カメラ2−1の撮像範囲の一部を表す。なお、図11では、図の明瞭化のため、カメラの図示を省略する。また、側面視F11Bは、上面視F11Aにおける点線で示す鉛直面をDB方向から見た部分断面図であり、前面視F11Cは、側面視F11Bにおける点線で示す鉛直面をDC方向から見た部分断面図である。また、側面視F11Bでは、図の明瞭化のため、脚部61a、61bの一部の図示を省略する。
カメラ2−2は、桁部61cの下面に取り付けられ、上面視F11A及び側面視F11Bにおける破線で示す光軸を有し、その光軸は点CP2において路面と交差する。また、上面視F11A及び側面視F11Bにおける左下がり斜線パターンで示す領域CR2は、カメラ2−2の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR1−2は、カメラ2−1の撮像範囲とカメラ2−2の撮像範囲とが重複する領域を表す。また、カメラ2−2は、桁部61cの上面又は側面に取り付けられてもよい。
カメラ2−3は、桁部61cの下面に取り付けられ、側面視F11Bにおける一点鎖線で示す光軸を有し、その光軸は点CP3において路面と交差する。また、上面視F11A、側面視F11B、及び前面視F11Cにおける右下がり斜線パターンで示す領域CR3は、カメラ2−3の撮像範囲の一部を表す。なお、上面視F11A及び側面視F11Bにおける領域CR2−3は、カメラ2−2の撮像範囲とカメラ2−3の撮像範囲とが重複する領域を表す。
カメラ2−4は、桁部61cの−Y側の上端部に取り付けられ、上面視F11A及び前面視F11Cにおける二点鎖線で示す光軸を有し、その光軸は点CP4において路面と交差する。また、上面視F11A及び前面視F11Cにおける粗いドットパターンで示す領域CR4は、カメラ2−4の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR2−4は、カメラ2−2の撮像範囲とカメラ2−4の撮像範囲とが重複する領域を表す。
カメラ2−5は、桁部61cの+Y側の上端部に取り付けられ、上面視F11Aにおける二点鎖線で示す光軸を有し、その光軸は点CP5において路面と交差する。また、上面視F11Aにおける細かいドットパターンで示す領域CR5は、カメラ2−5の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR1−5は、カメラ2−1の撮像範囲とカメラ2−5の撮像範囲とが重複する領域を表す。
カメラ2−6は、桁部61cの下面に取り付けられ、上面視F11A及び側面視F11Bにおける破線で示す光軸を有し、その光軸は点CP6において路面と交差する。また、上面視F11A及び側面視F11Bにおける右下がり斜線パターンで示す領域CR6は、カメラ2−6の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR5−6は、カメラ2−5の撮像範囲とカメラ2−6の撮像範囲とが重複する領域を表す。また、カメラ2−6は、桁部61cの上面又は側面に取り付けられてもよい。
カメラ2−7は、桁部61cの下面に取り付けられ、側面視F11Bにおける一点鎖線で示す光軸を有し、その光軸は点CP7において路面と交差する。また、上面視F11A及び側面視F11Bにおける左下がり斜線パターンで示す領域CR7は、カメラ2−7の撮像範囲の一部を表す。なお、上面視F11A及び側面視F11Bにおける領域CR6−7は、カメラ2−6の撮像範囲とカメラ2−7の撮像範囲とが重複する領域を表す。
カメラ2−8は、桁部61cの−Y側の上端部に取り付けられ、上面視F11Aにおける二点鎖線で示す光軸を有し、その光軸は点CP8において路面と交差する。また、上面視F11Aにおける細かいドットパターンで示す領域CR8は、カメラ2−8の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR6−8は、カメラ2−6の撮像範囲とカメラ2−8の撮像範囲とが重複する領域を表す。また、上面視F11Aにおける領域CR4−8は、カメラ2−4の撮像範囲とカメラ2−8の撮像範囲とが重複する領域を表す。
上述のように配置される8台のカメラ2−1〜2−8はそれぞれ、制御装置1に対して入力画像G1〜G8を出力する。
次に、図12及び図13を参照しながら、8台のカメラ2−1〜2−8が出力する8つの入力画像G1〜G8から4つの部分画像を経て1つの出力画像を生成する処理の流れについて説明する。
本実施例では、制御装置1は、3つの入力画像を用いて、最終的な出力画像の一部を構成する部分画像の1つを生成する部分画像生成装置としての3画像合成装置20−1〜20−4と、4つの部分画像を用いて1つの出力画像を生成する出力画像生成装置としての4画像合成装置21−1とを有する。
なお、図13上段は、8台のカメラ2−1〜2−8のそれぞれが出力する8つの入力画像G1〜G8の例を示す。また、図13中段は、4台の3画像合成装置20−1〜20−4のそれぞれが出力する4つの部分画像G11〜G14の例を示す。また、図13下段は、4画像合成装置21−1が出力する出力画像G20の例を示す。
3画像合成装置20−1は、カメラ2−1からの入力画像G1と、カメラ2−2からの入力画像G2と、カメラ2−3からの入力画像G3とに基づいて中間画像G11を生成する。そして、3画像合成装置20−1は、生成した中間画像G11を4画像合成装置21−1に対して出力する。
同様に、3画像合成装置20−2は、カメラ2−2からの入力画像G2と、カメラ2−3からの入力画像G3と、カメラ2−4からの入力画像G4とに基づいて中間画像G12を生成する。また、3画像合成装置20−3は、カメラ2−5からの入力画像G5と、カメラ2−6からの入力画像G6と、カメラ2−7からの入力画像G7とに基づいて中間画像G13を生成する。また、3画像合成装置20−4は、カメラ2−6からの入力画像G6と、カメラ2−7からの入力画像G7と、カメラ2−8からの入力画像G8とに基づいて中間画像G14を生成する。そして、3画像合成装置20−2、20−3、20−4は、生成した中間画像G12、G13、G14を4画像合成装置21−1に対して出力する。
4画像合成装置21−1は、3画像合成装置20−1〜20−4からの部分画像G11〜G14に基づいて出力画像G20を生成する。そして、4画像合成装置21−1は、無線通信装置5a、5bを介して、生成した出力画像G20を表示装置6に対して出力する。
その結果、図13中段の中間画像G11は、入力画像G1の一部が対応付けられる画像部分G1Pと、入力画像G2の一部が対応付けられる画像部分G2P1と、入力画像G3の一部が対応付けられる画像部分G3P1とを含む。
また、図13中段の中間画像G12は、入力画像G2の別の一部が対応付けられる画像部分G2P2と、入力画像G3の別の一部が対応付けられる画像部分G3P2と、入力画像G4の一部が対応付けられる画像部分G4Pとを含む。
また、図13中段の中間画像G13は、入力画像G5の一部が対応付けられる画像部分G5Pと、入力画像G6の一部が対応付けられる画像部分G6P1と、入力画像G7の一部が対応付けられる画像部分G7P1とを含む。
また、図13中段の中間画像G14は、入力画像G6の別の一部が対応付けられる画像部分G6P2と、入力画像G7の別の一部が対応付けられる画像部分G7P2と、入力画像G8の一部が対応付けられる画像部分G8Pとを含む。
また、図13下段の出力画像G20は、中間画像G11〜G14のそれぞれが対応付けられる画像部分G11P〜G14Pを含む。
ここで、図13及び図14を参照しながら、画像生成装置100によって生成される出力画像G20の詳細について説明する。なお、図14は、出力画像G20の1例であり、図13下段の出力画像G20に対応する。また、図14中の点線で示す円は、空間モデルMDの平面領域R1と処理対象画像平面R3との間の境界を表す。また、図14中の点線で示す4つの線分LS1〜LS4は、走行体61の側方を撮像する側方用カメラ(カメラ2−1、2−4、2−5、2−8)の入力画像の一部が対応付けられる画像部分と、レールRAに沿った遠方の走行路を撮像する遠方用カメラ(カメラ2−2、2−6)の入力画像の一部が対応付けられる画像部分との間の境界線を表す。また、図14中の白丸は、円筒中心CTRを表す。なお、図14中の点線及び白丸は、実際の出力画像G20では表示されない。
図13及び図14に示すように、画像生成装置100は、8台のカメラ2−1〜2−8のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影し、曲面領域R2に投影した画像を処理対象画像平面R3に再投影する。そして、画像生成装置100は、平面領域R1に投影した画像と処理対象画像平面R3に再投影した画像とに基づいて出力画像G20を生成する。
具体的には、画像生成装置100は、空間モデルMDを底面が四半円となる4つの部分空間モデルに分割し、且つ、処理対象画像平面R3を対応する4つの部分処理対象画像平面に分割する。そして、画像生成装置100は、3台のカメラの入力画像を1つの部分空間モデルの平面領域及び曲面領域に投影し、曲面領域に投影した画像を対応する部分処理対象画像平面に再投影する(図13中段参照。)。そして、画像生成装置100は、4つの平面領域に投影した画像と4つの部分処理対象画像平面に再投影した画像とに基づいて出力画像G20を生成する(図13下段参照。)。このようにして、画像生成装置100は、走行体61の近傍を上空から見下ろした画像(平面領域R1における画像)と、走行体61から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する走行体監視画像を出力画像G20として生成する。
また、本実施例では、画像生成装置100は、図13及び図14に示すように、一対の脚部61a、61bの間の空間の路面画像(画像部分G3P1、G3P2、G7P1、G7P2)と、走行体61の側方の空間の画像(画像部分G1P、G4P、G5P、G8P)とを直接的に隣接させる。すなわち、画像生成装置100は、走行体61の脚部61a、61bがあたかも存在しないように出力画像G20を生成する。
また、本実施例では、画像生成装置100は、図14に示すように、走行体61のX軸方向長さと空間モデルMDの円筒の直径とが一致するように出力画像G20を生成する。また、画像生成装置100は、その円筒面が脚部61a、61bの両端部(上面視における脚部61aの2つの端部と脚部61bの2つの端部の合計4つの端部)を通過するように出力画像G20を生成する。
さらに、本実施例では、画像生成装置100は、図14で示すように、円筒中心CTRと脚部61aの上面視における+X側の端部とを通る直線の一部である線分LS1を画像部分G1Pと画像部分G2P1との境界線(図13中段参照。)に設定する。同様に、画像生成装置100は、円筒中心CTRと脚部61bの上面視における+X側の端部とを通る直線の一部である線分LS2を画像部分G4Pと画像部分G2P2との境界線(図13中段参照。)に設定する。また、画像生成装置100は、円筒中心CTRと脚部61aの上面視における−X側の端部とを通る直線の一部である線分LS3を画像部分G5Pと画像部分G6P1との境界線(図13中段参照。)に設定する。また、画像生成装置100は、円筒中心CTRと脚部61bの上面視における−X側の端部とを通る直線の一部である線分LS4を画像部分G8Pと画像部分G6P2との境界線(図13中段参照。)に設定する。なお、円筒中心CTRは、カメラ2−2、2−3、2−6、2−7の取り付け位置である。この画像配置により、画像生成装置100は、画像部分G2P1、G2P2、G6P1、G6P2(図13中段参照。)において、脚部61a、61bの端部を円筒中心CTRから見た水平画像を表示でき、脚部61a、61bの端部の延在方向外側を操作者に提示できる。
以上の構成により、画像生成装置100が搭載されるジブクレーン60は、走行体監視画像を操作者に提示することによって、ジブクレーン60の操作者による安全確認を促進できる。その結果、ジブクレーン60は、操作者が走行体61を走行させる際の周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。また、ジブクレーン60は、一対の脚部61a、61bの間の空間内の様子を操作者に提示することによって、操作者が走行体61を走行させる際の、その空間内における周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。また、ジブクレーン60は、一対の脚部61a、61bのそれぞれの外側の空間の様子を操作者に提示することによって、操作者が走行体61を走行させる際の、その外側の空間における周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。
また、画像生成装置100は、レールRAに沿った遠方の走行路を撮像する遠方用カメラと、走行体61の一対の脚部61a、61bの間にある近傍の走行路の路面を撮像する近傍用カメラとを別々に用意する。具体的には、画像生成装置100は、遠方用カメラとしてカメラ2−2及び2−6を備え、近傍用カメラとしてカメラ2−3及び2−7を備える。そのため、画像生成装置100は、遠方の走行路の撮像環境(例えば、周囲の明るさである。)と、近傍の走行路の撮像環境とが異なる場合であっても、個々のカメラのオートゲインコントロール機能、デイナイト機能等を有効に利用できる。すなわち、画像生成装置100は、一方の撮像環境への適応のために他方の撮像環境への適応が犠牲になるのを防止できる。例えば、一対の脚部61a、61bの間の空間の明るさが一対の脚部61a、61bの外側の空間の明るさと異なる場合に1つのカメラでそれら明るさの異なる2つの空間を撮像すると、何れか一方の空間に対応する画像部分が露出オーバー又は露出アンダーとなる。しかしながら、明るさの異なる2つの空間を別々のカメラで撮像すれば、2つの空間のそれぞれに対応する画像部分を適正露出で撮像できる。
また、本実施例では、図11の側面視F11Bに示すように、路面高さにおける、交点CP2と交点CP3との間の距離D2−3、交点CP6と交点CP7との間の距離D6−7、及び、点CP3と点CP7との間の距離D3−7が、走行体61のX軸方向長さを3等分するように、4台のカメラ2−2、2−3、2−6、及び2−7が配置される。入力画像の画素数を一定とした場合、距離D2−3が大きくなると、部分画像G2P1、G2P2の解像度が低下するためであり、距離D3−7が大きくなると、部分画像G3P1、G3P2、G7P1、G7P2の解像度が低下するためであり、また、距離D6−7が大きくなると、部分画像G6P1、G6P2の解像度が低下するためである。なお、交点CP2は、カメラ2−2の光軸と路面との交点であり、交点CP3は、カメラ2−3の光軸と路面と交点であり、交点CP6は、カメラ2−6の光軸と路面と交点であり、交点CP7は、カメラ2−7の光軸と路面との交点である。このカメラ配置により、画像生成装置100は、部分画像G2P1、G2P2、G3P1、G3P2、G6P1、G6P2、G7P1、及びG7P2における解像度を高め、各カメラの入力画像を効率的に利用できる。
また、本実施例では、図11の前面視F11Cに示すように、右下がり斜線パターンで示すカメラ2−3の撮像範囲CR3は、一対の脚部61a、61bの対向する2つの内壁61a1、61b1の下部領域を含むように設定される。具体的には、カメラ2−3の撮像範囲CR3は、例えば、仮に脚部61a、61bが存在しなければ、路面高さにおいてカメラ2−1の撮像範囲CR1及びカメラ2−4の撮像範囲CR4と接するように設定される。この場合、下部領域の高さH1は、例えば2メートルである。このカメラ配置により、画像生成装置100は、内壁61a1、61b1に沿うように存在する人の頭部を確実に入力画像内に捉えることができ、その人の足下のみを捉えるといった状況が発生してしまうのを回避できる。その結果、画像生成装置100は、内壁61a1、61b1に沿うように存在する物体(特に人物)の上面視を出力画像に表示することができ、その物体が出力画像から消失するのを抑制或いは防止できる。
次に、図15〜図19を参照しながら、旋回体63に取り付けられる6台のカメラの入力画像を用いて画像生成装置100が出力画像としての旋回体監視画像を生成する処理について説明する。なお、図15は、ジブクレーン60の旋回体63の上面視、側面視、及び前面視を用いた6台のカメラの配置図である。また、図16は、旋回体63の上面視、側面視、及び前面視を用いた空間モデルの配置図である。また、図17は、6つの入力画像から4つの部分画像を経て1つの出力画像を生成する処理の流れを示すブロック図である。また、図18は、図17の処理における入力画像、部分画像、及び出力画像の例を示す図である。また、図19は、旋回体監視画像の特徴を説明する図である。
図15に示すように、ジブクレーン60の旋回体63には6台のカメラ2−11〜2−16が取り付けられる。具体的には、旋回体63の上面視F15A、側面視F15B、及び前面視F15Cで示すように、旋回体63には、機械室63cから−Z方向を撮像する4つのカメラ2−11、2−12、2−14、2−15と、マスト63bから+X方向を撮像する2つのカメラ2−13、2−16とが取り付けられる。なお、マスト63bには、ワイヤロープの向きを変えるための滑車が設けられ、機械室63cには、ワイヤロープを巻き取り或いは送り出すための巻き取り装置が設けられる。ジブ64の先端から吊り下げられる荷は、巻き取り装置がワイヤロープを巻き取り或いは送り出すことで、巻き上げられ或いは巻き下げられる。
カメラ2−11は、機械室63cの+X側の側面上部に取り付けられ、図15の側面視F15B及び前面視F15Cにおける破線で示す鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F15A、側面視F15B、及び前面視F15Cにおける右下がり斜線パターンで示す領域CR11は、カメラ2−11の撮像範囲の一部を表す。
カメラ2−12は、機械室63cの−Y側の側面上部に取り付けられ、図15の側面視F15B及び前面視F15Cにおける破線で示す鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F15A、側面視F15B、及び前面視F15Cにおける左下がり斜線パターンで示す領域CR12は、カメラ2−12の撮像範囲の一部を表す。
カメラ2−13は、マスト63bの+X側の頂部に取り付けられ、図15の上面視F15A、側面視F15B及び前面視F15Cにおける破線で示す斜め下方に延びる光軸を有する。また、上面視F15A、側面視F15B、及び前面視F15Cにおける左下がり斜線パターンで示す領域CR13は、カメラ2−13の撮像範囲の一部を表す。
カメラ2−14は、機械室63cの+X側の側面上部に取り付けられ、図15の前面視F15Cにおける破線で示す鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F15A及び前面視F15Cにおける右下がり斜線パターンで示す領域CR14は、カメラ2−14の撮像範囲の一部を表す。
カメラ2−15は、機械室63cの+Y側の側面上部に取り付けられ、図15の前面視F15Cにおける破線で示す鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F15A及び前面視F15Cにおける左下がり斜線パターンで示す領域CR15は、カメラ2−15の撮像範囲の一部を表す。
カメラ2−16は、マスト63bの+X側の頂部に取り付けられ、図15の上面視F15A及び前面視F15Cにおける破線で示す斜め下方に延びる光軸を有する。また、上面視F15A及び前面視F15Cにおける右下がり斜線パターンで示す領域CR16は、カメラ2−16の撮像範囲の一部を表す。
上述のように配置される6台のカメラ2−11〜2−16はそれぞれ、制御装置1に対して入力画像G31〜G36を出力する。
次に、図16を参照しながら、旋回体監視画像を生成する際に用いる空間モデルについて説明する。
旋回体監視画像を生成する際に用いる空間モデルは、図16の上面視F16A、側面視F16B、及び前面視F16Cにおける点線で示される平面領域R1a1、R1a2と、曲面領域R2aとを含む。
平面領域R1a1は、機械室63cの+X側及び−Y側のコーナー部CN1の鉛直下方(−Z方向)にある点を中心とする上面視で円形の領域であり、円領域R1a2は、機械室63cの+X側及び+Y側のコーナー部CN2の鉛直下方(−Z方向)にある点を中心とする上面視で円形の領域である。また、曲面領域R2aは、マスト63bと機械室63cとの間の空間に、マスト63bに沿ってZ軸方向に延びる上面視で円弧形状の領域である。なお、平面領域R1a1、R1a2は、図3の平面領域R1に対応し、曲面領域R2aは、図3の曲面領域R2に対応する。
次に、図17及び図18を参照しながら、6台のカメラ2−11〜2−16が出力する6つの入力画像G31〜G36から4つの部分画像G41〜G44を経て1つの出力画像G50を生成する処理の流れについて説明する。
本実施例では、制御装置1は、3つの入力画像を用いて、最終的な出力画像の一部を構成する部分画像の1つを生成する4台の3画像合成装置20−11〜20−14と、4つの部分画像を用いて出力画像を生成する4画像合成装置21−11とを有する。
なお、図18上段は、6台のカメラ2−11〜2−16のそれぞれが出力する6つの入力画像G31〜G36の例を示す。また、図18中段は、4台の3画像合成装置20−11〜20−14のそれぞれが出力する4つの部分画像G41〜G44の例を示す。また、図18下段は、4画像合成装置21−11が出力する出力画像G50の例を示す。
3画像合成装置20−11は、カメラ2−11からの入力画像G31と、カメラ2−12からの入力画像G32と、カメラ2−13からの入力画像G33とに基づいて中間画像G41を生成する。そして、3画像合成装置20−11は、生成した中間画像G41を4画像合成装置21−11に対して出力する。
同様に、3画像合成装置20−12は、入力画像G31〜G33に基づいて中間画像G42を生成する。また、3画像合成装置20−13は、カメラ2−14からの入力画像G34と、カメラ2−15からの入力画像G35と、カメラ2−16からの入力画像G36とに基づいて中間画像G43を生成する。また、3画像合成装置20−14は、入力画像G34〜G36に基づいて中間画像G44を生成する。そして、3画像合成装置20−12、20−13、20−14は、生成した中間画像G42、G43、G44を4画像合成装置21−11に対して出力する。
4画像合成装置21−11は、3画像合成装置20−11〜20−14からの部分画像G41〜G44に基づいて出力画像G50を生成する。そして、4画像合成装置21−11は、無線通信装置5a、5bを介して、生成した出力画像G50を表示装置6に対して出力する。この例では、制御装置1、無線通信装置5a、5bは何れも旋回体63に設置される。そして、無線通信装置5aは制御装置1に有線接続され、無線通信装置5bは表示装置6に有線接続される。そして、無線通信装置5aは、カメラ2(カメラ2−11〜2−16)の入力画像に基づいて制御装置1が生成する出力画像G50を無線通信装置5bに対して無線で送信する。無線通信装置5bは、無線通信装置5aから送信される出力画像G50を無線で受信すると、受信した出力画像G50を表示装置6に対して出力する。なお、無線通信装置5a、5bは、制御装置1とカメラ2との間に配置されてもよい。この場合、無線通信装置5aはカメラ2に有線接続され、無線通信装置5bは制御装置1に有線接続され、制御装置1は表示装置6に有線接続される。なお、無線通信を用いずに有線通信のみを用いて画像の送受信が行われてもよい。
その結果、図18中段の中間画像G41は、入力画像G31の一部が対応付けられる画像部分G31P1と、入力画像G32の一部が対応付けられる画像部分G32P1と、入力画像G33の一部が対応付けられる画像部分G33P1とを含む。
また、図18中段の中間画像G42は、入力画像G31の別の一部が対応付けられる画像部分G31P2と、入力画像G32の別の一部が対応付けられる画像部分G32P2と、入力画像G33の別の一部が対応付けられる画像部分G33P2とを含む。
また、図18中段の中間画像G43は、入力画像G34の一部が対応付けられる画像部分G34P1と、入力画像G35の一部が対応付けられる画像部分G35P1と、入力画像G36の一部が対応付けられる画像部分G36P1とを含む。
また、図18中段の中間画像G44は、入力画像G34の別の一部が対応付けられる画像部分G34P2と、入力画像G35の別の一部が対応付けられる画像部分G35P2と、入力画像G36の別の一部が対応付けられる画像部分G36P2とを含む。
また、図18下段の出力画像G50は、中間画像G41〜G44のそれぞれが対応付けられる画像部分G41P〜G44Pを含む。
ここで、図18及び図19を参照しながら、画像生成装置100によって生成される出力画像G50の詳細について説明する。なお、図19は、出力画像G50の1例であり、図18下段の出力画像G50に対応する。また、図19中の点線で示す2つの円は、空間モデルの平面領域R1a1、R1a2を表す。また、それら2つの円の上にある領域は、曲面領域R2a上の座標が対応付けられる処理対象画像平面R3aを表す。なお、処理対象画像平面R3aは、図4の処理対象画像平面R3に対応する。
また、図19中の2つの四角形は、機械室63cの+X側及び−Y側のコーナー部CN1を表し、2つの白丸は、機械室63cの+X側及び+Y側のコーナー部CN2を表す。なお、図19中の点線、2つの白丸、及び2つの四角形は、実際の出力画像G50では表示されない。
図18及び図19に示すように、画像生成装置100は、6台のカメラ2−11〜2−16のそれぞれの入力画像を空間モデルの平面領域R1a1、R1a2、及び曲面領域R2a上に投影し、曲面領域R2aに投影した画像を処理対象画像平面R3aに再投影する。そして、画像生成装置100は、平面領域R1a1、R1a2に投影した画像と処理対象画像平面R3aに再投影した画像とに基づいて出力画像G50を生成する。
具体的には、画像生成装置100は、空間モデルを4つの部分空間モデルに分割し、且つ、処理対象画像平面R3aを対応する4つの部分処理対象画像平面に分割する。そして、画像生成装置100は、3台のカメラの入力画像を1つの部分空間モデルの平面領域及び曲面領域に投影し、曲面領域に投影した画像を対応する部分処理対象画像平面に再投影する(図18中段参照。)。そして、画像生成装置100は、4つの平面領域に投影した画像と4つの部分処理対象画像平面に再投影した画像とに基づいて出力画像G50を生成する(図18下段参照。)。このようにして、画像生成装置100は、機械室63cの近傍を上空から見下ろした画像(平面領域R1a1、R1a2における画像)と、マスト63bから水平方向に周囲を見た画像(処理対象画像平面R3aにおける画像)とを同時に表示する旋回体監視画像を出力画像G50として生成する。
また、本実施例では、画像生成装置100は、図19に示すように、機械室63cの+X側及び−Y側のコーナー部CN1、及び、機械室63cの+X側及び+Y側のコーナー部CN2のそれぞれを2通りの態様で表示する。具体的には、画像生成装置100は、コーナー部CN1を真上から見下ろす平面領域R1a1における画像と、コーナー部CN1の周囲をマスト63bから見た処理対象画像平面R3aにおける画像とを表示する。同様に、画像生成装置100は、コーナー部CN2を真上から見下ろす平面領域R1a2における画像と、コーナー部CN2の周囲をマスト63bから見た処理対象画像平面R3aにおける画像とを表示する。この画像配置により、画像生成装置100は、旋回体監視画像において、コーナー部CN1、CN2を上から見た鳥瞰画像と、コーナー部CN1、CN2をマスト63bから見た水平画像とを同時に表示でき、運転室63aの死角にあるコーナー部CN1、CN2の周辺画像を操作者に提示できる。
以上の構成により、画像生成装置100が搭載されるジブクレーン60は、旋回体監視画像を操作者に提示することによって、操作者が旋回体63を旋回させる際の周辺障害物(例えば、隣接する別のジブクレーン等である。)と旋回体63との衝突を防止できる。例えば、旋回体63の一端側に運転室63aが設置される場合、機械室63cのある旋回体63の他端側が運転室63aから見て死角となる。このような状況においても、ジブクレーン60は、旋回体63の他端側の周辺を撮像するカメラを備えることによってその死角を減らし、他の物体との衝突を抑制できる。
また、上述の実施例において、画像生成装置100は、4台の3画像合成装置を用いて4つの部分画像を生成した後、4画像合成装置を用いてそれら4つの部分画像を合成して出力画像を生成する。このように、画像生成装置100は、同じ構成を有する複数台の画像合成装置を利用することによって、カメラ台数の変化に柔軟に対応することができる。また、画像生成装置100は、同じ構成を有する複数台の画像合成装置を利用することによって、複数の入力画像から1つの出力画像を生成するために必要な画像合成装置の全体としてのコストを低減させることができる。また、画像生成装置100は、画像の合成を複数の画像合成装置に分担させることによって、出力画像生成の高速化、リアルタイム化をより容易に実現できるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、部分画像を生成することなく、8つの入力画像から直接的に1つの出力画像を生成してもよい。或いは、画像生成装置100は、2つの入力画像又は4つ以上の入力画像を用いて1つの部分画像を生成する画像合成装置を用いてもよく、2つ、3つ、又は5つ以上の部分画像を用いて1つの出力画像を生成する画像合成装置を用いてもよい。また、画像生成装置100は、3画像合成装置、4画像合成装置、及び5画像合成装置の組み合わせといったように、部分画像を生成する際に、受け入れる入力画像の数が異なる2種類以上の画像合成装置を併用してもよい。
また、画像生成装置100は、走行体61に取り付けられた8台の走行体用カメラ(カメラ2−1〜2−8)のそれぞれが出力する8つの入力画像G1〜G8から走行体監視画像G20を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、8台のカメラ2−1〜2−8のうちの1又は複数のカメラを省略してもよい。例えば、画像生成装置100は、遠方用カメラ(カメラ2−2、2−6)を省略してもよく、近傍用カメラ(カメラ2−3、2−7)を省略してもよく、或いは、側方用カメラ(カメラ2−1、2−4、2−5、2−8)を省略してもよい。
また、画像生成装置100は、旋回体63に取り付けられる6台の旋回体用カメラ(カメラ2−11〜2−16)のそれぞれが出力する6つの入力画像G31〜G36から旋回体監視画像G50を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、6台のカメラ2−11〜2−16のうちの1又は複数のカメラを省略してもよい。
また、ジブクレーン60は、走行体用カメラ(カメラ2−1〜2−8)及び旋回体用カメラ(カメラ2−11〜2−16)の2組のカメラを備える。しかしながら、本発明はこの構成に限定されるものではない。例えば、ジブクレーン60は、何れか一方の組のカメラを省略してもよい。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
また、上述の実施例では、画像生成装置100は、レール上を走行するジブクレーン60に搭載される。そして、画像生成装置100は、走行体監視画像を操作者に提示しながら走行体61の移動を支援する操作支援システムを構成する。また、画像生成装置100は、旋回体監視画像を操作者に提示しながら旋回体63の旋回を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、レール上を走行する他の屋外用の走行クレーンに搭載され、走行クレーンの操作を支援する操作支援システムを構成してもよい。さらに、画像生成装置100は、レール上を走行するアンローダに搭載され、アンローダの操作を支援する操作支援システムを構成してもよい。
具体的には、図20に示すように、画像生成装置100は、アンローダ70の走行体71に取り付けられる8台のカメラ2−21〜2−28の入力画像を用いて出力画像としての走行体監視画像を生成してもよい。なお、アンローダ70は、船舶SHから石炭等のバラ荷Mを陸揚げする装置である。図20の例では、アンローダ70は、バケットエレベータ式の船舶用連続アンローダであり、岸壁QWに平行に敷設された2本のレールRA上を岸壁QWに沿って走行可能な走行体71と、走行体71上に設置される旋回体73と、ブーム72を介して旋回体73に取り付けられるバケットエレベータ74とを有する。また、画像生成装置100は、旋回体73に取り付けられる複数台のカメラを用いて出力画像としての旋回体監視画像を生成してもよい。なお、アンローダ70は、バケットエレベータを用いた連続アンローダに限らず、グラブバケット等を用いたアンローダであってもよい。
また、ジブクレーン60に搭載される画像生成装置100は、図21に示すように、より少ない数のカメラで構成されてもよい。図21は、ジブクレーン60に搭載される画像生成装置100の別の構成例を示す図である。また、図21のF21Aはジブクレーン60の上面視であり、F21Bはジブクレーン60の側面視であり、F21Cはジブクレーン60の前面視である。なお、図の明瞭化のため、F21Aは走行体61の図示を省略し、F21Cは塔体62の上部及び旋回体63の図示を省略する。
図21の画像生成装置100は、主に、制御装置1、マストトップカメラ2−31、右側コーナーカメラ2−32、左側コーナーカメラ2−33、前側走行路カメラ2−34、後側走行路カメラ2−35、無線通信装置5a1、5a2、5b1、5b2、表示装置6、3画像合成装置20−21、2画像合成装置20−22で構成される。
マストトップカメラ2−31は、旋回体63のマスト63bの+X側の頂部に取り付けられ、上面視F21A及び側面視F21Bにおける破線で示す斜め下方に延びる光軸を有する。また、上面視F21A及び側面視F21Bにおける右下がり斜線パターンで示す領域CR31は、カメラ2−31の撮像範囲の一部を表す。
右側コーナーカメラ2−32は、旋回体63の機械室63cの+X側の側面と+Y側の側面とで形成されるコーナー部CN2の上部に取り付けられ、側面視F21Bにおける破線で示す鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F21Aにおける左下がり斜線パターンで示す領域CR32は、右側コーナーカメラ2−32の撮像範囲の一部を表す。
左側コーナーカメラ2−33は、機械室63cの+X側の側面と−Y側の側面とで形成されるコーナー部CN1の上部に取り付けられ、右側コーナーカメラ2−32と同様、鉛直下方(−Z方向)に延びる光軸を有する。また、上面視F21A及び側面視F21Bにおける右下がり斜線パターンで示す領域CR33は、左側コーナーカメラ2−33の撮像範囲の一部を表す。
上述のように配置される3台のカメラ2−31〜2−33はそれぞれ、3画像合成装置20−21に対して入力画像を出力する。
前側走行路カメラ2−34は、走行体61の桁部61cの+X側の側面の中央上部に取り付けられ、側面視F21Bにおける破線で示す光軸を有する。また、側面視F21B及び前面視F21Cにおける左下がり斜線パターンで示す領域CR34は、前側走行路カメラ2−34の撮像範囲の一部を表す。
後側走行路カメラ2−35は、桁部61cの−X側の側面の中央上部に取り付けられ、側面視F21Bにおける破線で示す光軸を有する。また、側面視F21Bにおける右下がり斜線パターンで示す領域CR35は、後側走行路カメラ2−35の撮像範囲の一部を表す。
上述のように配置される2台のカメラ2−34、2−35はそれぞれ、2画像合成装置20−22に対して入力画像を出力する。
3画像合成装置20−21は、カメラ2−31からの入力画像と、カメラ2−32からの入力画像と、カメラ2−33からの入力画像とに基づいて出力画像G60aを生成する。出力画像G60aは、望ましくは、動画像である。そして、3画像合成装置20−21は、生成した出力画像G60aを制御装置1に対して出力する。なお、3画像合成装置20−21は、3台のカメラのそれぞれが出力する入力画像のノイズを除去するノイズフィルタを有していてもよい。
図22は、出力画像G60aの一例である。なお、図22の画像部分G61Pは、カメラ2−31からの入力画像に基づいて生成される部分である。また、図22の画像部分G62Pは、カメラ2−32からの入力画像に基づいて生成される部分であり、画像部分G63Pは、カメラ2−33からの入力画像に基づいて生成される部分である。
また、画像部分G62Pは、コーナー部CN2の鉛直下方(−Z方向)にある点を中心とする上面視で円形の領域であり、画像部分G63Pは、コーナー部CN1の鉛直下方(−Z方向)にある点を中心とする上面視で円形の領域である。また、画像部分G62P、画像部分G63Pの縁部(枠部)のそれぞれは強調表示される。画像部分G61Pとの境界を明確にするためである。但し、画像部分G62P、画像部分G63Pは、矩形領域として表示されてもよい。
出力画像G60aを見ることで、ジブクレーン60の操作者は、画像部分G61Pを通じて旋回体63の後方の周囲全体を監視しながら、画像部分G62P、画像部分G63Pを通じて旋回体63のコーナー部CN1、CN2を詳細に監視することができる。例えば、操作者は、旋回体63の後方の広範囲の障害物を把握しながら、機械室63cの端部と特定の障害物との距離を詳細に確認できる。
2画像合成装置20−22は、カメラ2−34からの入力画像と、カメラ2−35からの入力画像とに基づいて出力画像G60bを生成する。出力画像G60bは、出力画像G60aと同様、望ましくは動画像である。そして、2画像合成装置20−22は、生成した出力画像G60bを制御装置1に対して出力する。なお、2画像合成装置20−22は、2台のカメラのそれぞれが出力する入力画像のノイズを除去するノイズフィルタを有していてもよい。また、2画像合成装置20−22は、3つ以上の入力画像を受け入れ可能な3画像合成装置、4画像合成装置等の多画像合成装置で代用されてもよい。
図23は、出力画像G60bの一例である。なお、図23の画像部分G64Pは、カメラ2−34からの入力画像に基づいて生成される部分である。また、画像部分G65Pは、カメラ2−35からの入力画像に基づいて生成される部分である。
出力画像G60bを見ることで、ジブクレーン60の操作者は、画像部分G64Pを通じて走行体61の前方を監視しながら、画像部分G65Pを通じて走行体61の後方を監視することができる。例えば、操作者は、走行体61の走行を制限するためにレールRAの前端に設置されるリミッタまでの余裕を確認しながら、走行体61の後方に伸びるレールRAを横切る作業者の存在を確認できる。
無線通信装置5a1は、塔体62の上部に設置され、側面視F21Bの点線で示すように塔体62の下部に設置される2画像合成装置20−22に有線接続される。そして、無線通信装置5a1は、2画像合成装置20−22が出力する出力画像G60bを無線通信装置5b1、5b2に対して無線で送信する。
同様に、無線通信装置5a2は、塔体62の上部に設置され、2画像合成装置20−22に有線接続される。そして、無線通信装置5a2は、2画像合成装置20−22が出力する出力画像G60bを無線通信装置5b1、5b2に対して無線で送信する。
無線通信装置5b1は、旋回体63に設置され、制御装置1に有線接続される。そして、無線通信装置5b1は、無線通信装置5a1、5a2の少なくとも一方から送信される出力画像G60bを無線で受信すると、受信した出力画像G60bを制御装置1に対して出力する。
同様に、無線通信装置5b2は、旋回体63に設置され、制御装置1に有線接続される。そして、無線通信装置5b2は、無線通信装置5a1、5a2の少なくとも一方から送信される出力画像G60bを無線で受信すると、受信した出力画像G60bを制御装置1に対して出力する。
この構成により、画像生成装置100は、塔体62と旋回体63との間で有線接続を採用する際に生じるケーブルの取り回し、ケーブルの保護等に関する問題を排除できる。また、画像生成装置100は、無線通信装置を複数備えることにより、旋回体63の旋回中であっても、2画像合成装置20−22から制御装置1への出力画像G60bの送信をより確実なものとすることができる。
制御装置1は、3画像合成装置20−21が出力する出力画像G60a、及び、2画像合成装置20−22が出力する出力画像G60bを取得し、運転室63aの表示装置6に出力する。本実施例では、制御装置1は、出力画像G60a及び出力画像G60bの何れか一方を表示装置6に対して出力する。具体的には、制御装置1は、操作者の入力に応じ、表示装置6に対して出力する画像を切り替える。但し、制御装置1は、出力画像G60a及び出力画像G60bを同時に表示装置6に表示させてもよい。また、制御装置1は、出力画像のノイズを除去するノイズフィルタを有していてもよい。
以上の構成により、図21の画像生成装置100は、必要最小限である5台のカメラでジブクレーン60の高リスク範囲をカバーすることができる。そのため、低コストで、ジブクレーン60の周囲を監視するための出力画像を操作者に提示できる。
また、図21の画像生成装置100は、出力画像G60aを表示することで、旋回体63の周囲の状況をシンプルで且つ分かり易く操作者に提示することができる。また、図21の画像生成装置100は、出力画像G60bを表示することで、走行体61の先端部の状況をシンプルで且つ分かり易く操作者に提示することができる。