JP2012030949A - 画像生成システム - Google Patents

Abstract

【課題】フックの周辺を見下ろしながらクレーンを操作する操作者に対して有益な画像情報を提示できる画像生成システムを提供すること。
【解決手段】クレーン６０の操作を支援する画像生成システム３００は、鉛直方向に上下するつり具６９を鉛直斜め上方から撮像する第一の撮像装置２０と、そのつり具６９を鉛直斜め上方から撮像する第二の撮像装置２２であり、第一の撮像装置２０の死角を撮像する第二の撮像装置２２と、第一の撮像装置２０及び第二の撮像装置２２のそれぞれが撮像した画像群を組み合わせ且つ視点変換処理を施し、つり具６９の鉛直下方にある面を鉛直上方から見た出力画像を生成する出力画像生成手段１１とを備える。
【選択図】図１１

Description

本発明は、クレーンに取り付けられた撮像装置が撮像した入力画像に基づいてクレーン操作者に提示するための出力画像を生成する画像生成システムに関する。

従来、移動式クレーンの上部旋回体に取り付けられたカメラ１が撮像した画像を鳥瞰図画像に変換し、且つ、その移動式クレーンのブームの先端が旋回時に描く軌跡を地面に投影したものであるガイドラインをその鳥瞰図画像上に描画することによって、その旋回体の周辺状況の確認を容易にするカメラシステムが知られている（例えば、特許文献１参照。）。

また、Ｘ軸方向に走行する天井クレーンのガーダに固定的に取り付けられたカメラが撮像する画像に含まれる、そのガーダのランウェイを支持する建屋の壁面に描かれた走行目印、そのガーダ上をＹ軸方向に横行するトロリの表面に描かれた横行目印、及び、そのトロリ上に設置された巻上装置から垂下されるフックの画像に基づいて、そのトロリの位置を表すＸＹ座標値、及びそのフックの位置を表す上下座標値を算出し、その算出した値を操作者に提示するクレーン位置検出システムが知られている（例えば、特許文献２参照。）。

また、ヤードクレーンのトロリに取り付けられた二次元レーザセンサの出力に基づいてハンドリングコンテナの底面エッジとスタックコンテナの天井面エッジとを検出しながらコンテナ同士の衝突を防止するコンテナ衝突防止装置が知られている（例えば、特許文献３参照。）。

特開２００８−３１２００４号公報 特許第４２０９５３２号明細書 特許第４２９５５９１号明細書

しかしながら、特許文献１に記載のカメラシステムは、旋回体と共に旋回するフックを水平方向から視認しながらクレーンを操作する操作者（地面に近いところに位置する操縦席にいる操作者）に対して、その旋回体が旋回した場合のそのフックの旋回軌道を事前に提示するためのものであって、フックを斜め上方から見下ろしながらクレーンを操作する操作者に対して有益な画像情報を提示することができない。

また、特許文献２に記載のクレーン位置検出システムは、カメラが撮像した画像を表示することなく各種座標値を操作者に提示するのみであり、特許文献３に記載のコンテナ衝突防止装置もコンテナ周囲を撮像することなく二次元レーザセンサの出力に応じて巻上装置の回転速度を制御するのみであるため、そのフック又はスプレッダの周辺を斜め上方から見下ろしながらクレーンを操作する操作者に対して有益な画像情報を提示することができない。

上述の点に鑑み、本発明は、フックの周辺を鉛直斜め上方から見下ろしながらクレーンを操作する操作者に対して有益な画像情報を提示できる画像生成システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る画像生成システムは、クレーンの操作を支援する画像生成システムであって、鉛直方向に上下するつり具を鉛直斜め上方から撮像する第一の撮像装置と、前記つり具を鉛直斜め上方から撮像する第二の撮像装置であり、前記第一の撮像装置の死角を撮像する第二の撮像装置と、前記第一の撮像装置及び前記第二の撮像装置のそれぞれが撮像した画像群を組み合わせ且つ視点変換処理を施し、前記つり具の鉛直下方にある面を鉛直上方から見た出力画像を生成する出力画像生成手段と、を備えることを特徴とする。

上述の手段により、本発明は、フックの周辺を見下ろしながらクレーンを操作する操作者に対して有益な画像情報を提示できる画像生成システムを提供することができる。

本発明の第一実施例に係る画像生成システムの構成例を概略的に示すブロック図である。 図１の画像生成システムが搭載される天井クレーンの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図（その１）である。 図３の空間モデルと天井クレーンとの間の位置関係を示す図である。 カメラが撮像した入力画像の一例である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 入力画像平面上の座標と空間モデル上の座標と出力画像平面上の座標との対応付けを説明するための図である。 図３の空間モデルと図５の入力画像とに基づく出力画像の一例（その１）である。 図３の空間モデルと図５の入力画像とに基づく出力画像の一例（その２）である。 入力画像が投影される空間モデルの一例を示す図（その２）である。 図１０の空間モデルと図５の入力画像とに基づく出力画像の一例である。 出力画像生成処理の流れを示すフローチャートである。 本発明の第二実施例に係る画像生成システムの構成例を概略的に示すブロック図である。 本発明の第三実施例に係る画像生成システムの構成例を概略的に示すブロック図である。 視点変換により仮想的な見下ろし画像を生成する処理を説明するための図（その１）である。 視点変換により仮想的な見下ろし画像を生成する処理を説明するための図（その２）である。 仮想的な見下ろし画像と仮想的な水平画像とを生成する処理を説明するための図（その１）である。 仮想的な見下ろし画像と仮想的な水平画像とを生成する処理を説明するための図（その２）である。 本発明の第四実施例に係る画像生成システムの構成例を概略的に示すブロック図である。 図１９の画像生成システムが搭載される天井クレーンの構成例を示す図である。 目盛り描画手段による目盛り描画処理を説明するための図（その１）である。 目盛り描画手段による目盛り描画処理を説明するための図（その２）である。 目盛り描画手段による目盛り描画処理を説明するための図（その３）である。 特徴の異なる複数の画像を含む出力画像の例を示す図（その１）である。 特徴の異なる複数の画像を含む出力画像の例を示す図（その２）である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の第一実施例に係る画像生成システム１００の構成例を概略的に示すブロック図である。

画像生成システム１００は、例えば、天井クレーン６０に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示するシステムであって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。

図２は、画像生成システム１００が搭載される天井クレーン６０の構成例を示す図であり、図２（Ａ）が天井クレーン６０の上面図を示し、図２（Ｂ）が図２（Ａ）のＩＩＢ−ＩＩＢ方向から見た天井クレーン６０の正面図を示し、図２（Ｃ）が図２（Ｂ）のＩＩＣ−ＩＩＣ方向から見た天井クレーン６０の側面図を示す。なお、図２（Ａ）〜（Ｃ）における破線で表される領域は、カメラ２の撮像範囲である。

天井クレーン６０は、建屋の左壁ＷＬ及び右壁ＷＲのそれぞれに設置されたランウェイ６１Ｌ、６１Ｒ上を車輪６２Ｌ（前車輪６２ＬＦ及び後車輪６２ＬＢを含む。）、６２Ｒ（図示しない前車輪６２ＲＦ及び図示しない後車輪６２ＲＢを含む。）を用いてＸ軸方向に走行するガーダ６３を有する。

また、天井クレーン６０は、ガーダ６３上に設置されたランウェイ６４Ｆ、６４Ｂ上を車輪６５Ｌ（前車輪６５ＬＦ及び図示しない後車輪６５ＬＢを含む。）、６５Ｒ（前車輪６５ＲＦ及び後車輪６５ＲＢを含む。）を用いてＹ軸方向に横行するトロリ６６を有する。

また、天井クレーン６０は、トロリ６６に取り付けられる巻上装置６７を有し、巻上装置６７は、モータ（図示せず。）を用いてドラム（図示せず。）にワイヤロープ６８を巻き上げ或いは巻き下げてフック６９をＺ軸方向に上下させる。

なお、本実施例において、天井クレーン６０は、クラブトロリ式天井クレーンであるが、ロープトロリ式天井クレーンであってもよく、ホイスト式天井クレーンであってもよい。

次に、画像生成システム１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、フック６９の周辺を映し出す入力画像を取得するための装置であり、例えば、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備え、トロリ６６から鉛直下方に延びた後Ｘ軸方向に延びるブラケットＢＲの先端に取り付けられてトロリ６６と共にＹ軸方向に横行し、且つ、ガーダ６３と共にＸ軸方向に走行する（図２（Ａ）及び図２（Ｃ）参照。）。

カメラ２は、鉛直斜め上方からフック６９を撮像するように配置され、フック６９が凹部（周りを他の物体や壁で取り囲まれた空間である。）に進入した場合であってもフック６９を確実に撮像するのに十分な俯角をその光軸が形成するよう配置される。

カメラ２は、その光軸が形成する俯角が大きい程、より狭い凹部にフック６９が進入した場合にも、周りの物体に視界が遮られることなく、フック６９を撮像することができ、一方、その光軸が形成する俯角が小さい程、後述の視点変換画像（あたかもフック６９を水平方向から見たような画像である。）をより鮮明に提示することができる（カメラ２の光軸と仮想カメラの光軸との間の角度差が小さくなるためである。）。

なお、カメラ２は、操作者がその光軸の方向を動的に調整できるものであってもよく、公知の技術によりフック６９の位置を検出しながら、その光軸の方向がフック６９に向かうようにフック６９を自動的に追尾するものであってもよい。

なお、カメラ２は、ガーダ６３の側面に取り付けられていてもよく（この場合、トロリ６６と共に横行することはない。）、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。

入力部３は、操作者が画像生成システム１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、操作室７０内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

また、画像生成システム１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによってフック６９と吊り荷との間の位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示する。

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、フック６９を上方から撮像するカメラによる入力画像を空間モデルに投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、空間モデルＭＤは、直交する二つの平面（水平面Ｒ１及び垂直面Ｒ２）によって形成される。なお、説明の便宜上、水平面Ｒ１は、縦方向及び横方向に等間隔に描画される複数の直線で形成されるグリッドパターンを有し、垂直面Ｒ２は、縦方向及び横方向に等間隔に配置されるドット（円）で形成されるドットパターンを有するものとするが、これらのパターンが画像上に実際に表示されることはない。

図４は、空間モデルＭＤと天井クレーン６０との間の位置関係を示す図であり、図４（Ａ）は、図２（Ａ）の上面図で示される天井クレーン６０の鉛直下方にある床面ＦＦに空間モデルＭＤの水平面Ｒ１を配置した状態を示し、図４（Ｂ）は、図２（Ｂ）の正面図で示される天井クレーン６０のガーダ６３の中央線を含む鉛直面ＶＳに空間モデルＭＤの垂直面Ｒ２を配置した状態を示す。

図５は、カメラ２が撮像した入力画像の一例を示す図であり、ワイヤロープ６８で吊されたフック６９を斜め上から見下ろした状態を示す。なお、空間モデルＭＤの水平面Ｒ１及び垂直面Ｒ２は説明の便宜上表示されるものであり、実際の画像には存在しないものである。

また、図５は、床面ＦＦ（水平面Ｒ１）に近づく程、垂直面Ｒ２のドットパターンが小さく且つその間隔が狭くなることを示す。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面及び空間モデルＭＤの間の位置関係とに基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０に記憶する。

出力画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、空間モデルＭＤ上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の空間モデル・出力画像対応マップ４１に記憶し、且つ、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図６は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面Ｒ４は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルＭＤは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、座標対応付け手段１０は、空間モデルＭＤ上の座標（ＸＹＺ座標系上の座標）を入力画像平面Ｒ４上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点Ｏを光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表されることとなり、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。なお、カメラ２の光軸が固定である場合には四元数Ｒ及びその共役四元数Ｒ^＊は不変であるが、カメラ２の光軸が調整される場合には、四元数Ｒ及びその共役四元数Ｒ^＊は再計算される必要がある点に留意すべきである。
四元数Ｒがカメラ２のそれぞれで不変であることから、
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

で表されることとなる。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、空間モデルＭＤ上の一座標を複数の入力画像平面上の座標へ対応付けることが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面上の座標に対応付けるようにしてもよく、或いは、画像生成システム１００が自動的に選択した入力画像平面上の座標に対応付けるようにしてもよい。

次に、図７を参照しながら、座標対応付け手段１０による座標間の対応付けについて説明する。

図７（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして両座標を対応付ける。

図７（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

図７（Ｂ）は、空間モデルＭＤ上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図７（Ｂ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、空間モデルＭＤ上の座標とを対応付け、出力画像平面Ｒ５上の座標及び空間モデルＭＤ上の座標を関連付けて空間モデル・出力画像対応マップ４１に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

図８は、図５の入力画像に基づく出力画像の一例を示す図であり、ワイヤロープ６８で吊されたフック６９を水平方向から見た状態を示す。なお、空間モデルＭＤの水平面Ｒ１及び垂直面Ｒ２は、図５の場合と同様に説明の便宜上表示されるものであり、実際の画像には存在しないものである。

また、図８は、図５の場合と異なり、床面ＦＦ（水平面Ｒ１）からの距離に関係なく、垂直面Ｒ２のドットパターンの大きさ及びその間隔がほぼ均一であることを示す。

図９は、図５の入力画像に基づく出力画像の別の一例を示す図であり、フック６９の位置を示す目盛りが重畳表示された点で、図８の出力画像と異なる。なお、図９において、鉛直面ＶＳ（垂直面Ｒ２）のドットパターンは、明瞭化のために省略されている。

距離を示す目盛りは、例えば、視点変換による拡大率が大きくなる領域程に（この場合、床面ＦＦに近い程に）太くなるように表示されるが、視点変換による拡大率に関係なく均一の太さで表示されてもよい。また、フック６９のレベルを分かり易く示すための矢印画像ＡＲが表示されてもよい。

なお、目盛りの値は、好適には、巻上装置６７からの距離（巻上装置６７のレベルでメモリの値がゼロとなるもの）を表すが、フック６９の先端からの距離を表すもの（フック６９のレベルで目盛りの値がゼロとなるもの）であってもよく、床面ＦＦからの距離を表すもの（床面ＦＦのレベルで目盛りの値がゼロとなるもの）であってもよい。

図１０は、入力画像が投影される空間モデルの別の一例を示す図であり、空間モデルＭＤＡは、図３の空間モデルＭＤと同様、直交する二つの平面（水平面Ｒ１Ａ及び垂直面Ｒ２Ａ）によって形成される。水平面Ｒ１Ａがグリッドパターンを有し、垂直面Ｒ２Ａがドットパターンを有する点、及び、それらのパターンが画像上に実際に表示されることはない点についても図３の場合と同様である。

図１１は、図１０の空間モデルＭＤＡと図５の入力画像とに基づく出力画像の一例を示す図であり、ワイヤロープ６８で吊されたフック６９を水平方向から見た画像と床面ＦＦを鉛直上方から見た画像とを組み合わせて斜めから見た状態を示す。

なお、図１１で示される出力画像は、図９で示される出力画像と同様、フック６９の位置を示す目盛りが重畳表示されてもよい。

このように、画像生成システム１００は、フック６９をあたかも水平方向から撮像したような画像（以下、「仮想的な水平画像」とする。）を操作者に提示することができ、フック６９と床面ＦＦとの間の距離をその操作者に容易に認識させることができ、その操作者によるフック６９の上げ下げの操作を支援することができる。

また、画像生成システム１００は、入力画像のうちフック６９が存在する部分を仮想的な水平画像として操作者に提示し、一方で、入力画像の他の部分については、その部分をあたかも鉛直上方から撮像したような画像として操作者に提示することができ、フック６９と床面ＦＦ上に存在する物体との間の関係をその操作者に容易に認識させることができ、その操作者によるフック６９の上げ下げの操作を支援することができる。

次に、図１２を参照しながら、画像生成システム１００が入力画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図１２は、出力画像生成処理の流れを示すフローチャートであり、カメラ２（入力画像平面Ｒ４）、空間モデルＭＤ（水平面Ｒ１及び垂直面Ｒ２）、並びに仮想カメラ２Ｖ（出力画像平面Ｒ５）の配置は予め決定されているものとする。

最初に、制御部１は、出力画像生成手段１１により、出力画像平面Ｒ５上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて出力画像平面Ｒ５上の座標から空間モデルＭＤ上の座標を算出し、その対応関係を空間モデル・出力画像対応マップ４１に記憶する。

より具体的には、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が空間モデルＭＤと交差する点を算出し、算出した点に対応する空間モデルＭＤ上の座標を、出力画像平面Ｒ５上のその一座標に対応する空間モデルＭＤ上の一座標として導き出し、その対応関係を空間モデル・出力画像対応マップ４１に記憶する。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を空間モデル上の座標の値に対応付けたか否かを判定し（ステップＳ２）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ２のＮＯ）、ステップＳ１の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ２のＹＥＳ）、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の座標のそれぞれと入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ３）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、上述の処理によって導き出された
空間モデルＭＤ上の座標のそれぞれから延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、その空間モデルＭＤ上の一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、上述の処理によって導き出された空間モデルＭＤ上の全ての座標を入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ４）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ４のＮＯ）、ステップＳ３の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ４のＹＥＳ）、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０及び空間モデル・出力画像対応マップ４１を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、及び、空間モデルＭＤ上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して一又は複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に関連付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を関連付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ５の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を関連付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成し、生成した出力画像を表示部５に対し出力して（ステップＳ７）、この一連の処理を終了させる。

以上の構成により、画像生成システム１００は、ワイヤロープ６８で吊されたフック６９と床面ＦＦとの間の位置関係を操作者に直感的に把握させることが可能な出力画像を生成することができ、その出力画像を提示してその操作者によるフック６９の上げ下げの操作を支援することができる。

また、画像生成システム１００は、出力画像平面Ｒ５から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、出力画像平面Ｒ５上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て出力画像平面Ｒ５に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を出力画像平面Ｒ５上の一又は複数の座標に確実に対応させることができるが、出力画像平面Ｒ５上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら出力画像平面Ｒ５上の座標の一部に補間処理等を施す必要がある。）、より良質な出力画像を迅速に生成することができる。

また、画像生成システム１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して空間モデル・出力画像対応マップ４１を書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

次に、図１３を参照しながら、本発明の第二実施例について説明する。

図１３は、本発明の第二実施例に係る画像生成システム２００の構成例を概略的に示すブロック図である。

画像生成システム２００は、制御部１につり具位置検出手段１２を有する点で図１の画像生成システム１００と相違するが、その他の点で共通する。そのため、共通点に関する説明を省略しながら、相違点を詳細に説明することとする。

つり具位置検出手段１２は、つり具の鉛直位置を検出するための手段であり、例えば、巻上装置６７におけるドラムの回転角を計測する回転角センサの出力に基づいてワイヤロープ６８の繰り出し量を導き出し、その繰り出し量に基づいて現時点におけるフック６９の鉛直位置（例えば、地面からの高さである。）を検出し、検出したフック６９の鉛直位置に関する情報を出力画像生成手段１１に対して出力する。

また、つり具位置検出手段１２は、巻上装置６７に取り付けられた距離センサ（例えば、光、電波、又は超音波を用いた距離センサである。）の出力に基づいて巻上装置６７（距離センサ）とフック６９との間の距離を導き出し、その距離に基づいて現時点におけるフック６９の鉛直位置を検出するようにしてもよい。

第二実施例において、出力画像生成手段１１は、つり具位置検出手段１２から受けたフック６９の鉛直位置に関する情報に基づいて、仮想カメラの光学中心の鉛直位置及び光軸方向を決定し、フック６９の仮想的な水平画像を出力画像として生成する。

具体的には、出力画像生成手段１１は、例えば、現時点におけるフック６９の鉛直位置と仮想カメラの光学中心の鉛直位置とを同じにし、且つその光軸方向をフック６９に向けるようにし、フック６９の鉛直位置の変化に応じて仮想カメラの光学中心の鉛直位置を変化させるようにする。

以上の構成により、画像生成システム２００は、フック６９の鉛直位置の変化にかかわらず、常にフック６９を真横から見た出力画像を操作者に提示することができ、ワイヤロープ６８で吊されたフック６９と床面ＦＦとの間の位置関係を操作者により直感的に把握させることができる。

次に、図１４〜図１８を参照しながら、本発明の第三実施例について説明する。

図１４は、本発明の第三実施例に係る画像生成システム３００の構成例を概略的に示すブロック図である。

画像生成システム３００は、三台のカメラ２０、２１、及び２２を有し、且つ、制御部１に凹凸検出手段１３を有する点で図１の画像生成システム１００と相違するが、その他の点で共通する。そのため、共通点に関する説明を省略しながら、相違点を詳細に説明することとする。

カメラ２０及びカメラ２２はそれぞれ、図１５（Ａ）で示されるように、ガーダ６３に取り付けられ、天井クレーン６０の下の床面ＦＦを撮像するカメラであり、撮像した画像を入力画像として制御部１に対して出力する。なお、カメラ２０及びカメラ２２は、トロリ６６の横行方向にトロリ６６を挟むようにトロリ６６に取り付けられていてもよい。

カメラ２１は、画像生成システム１００におけるカメラ２と同様、トロリ６６に取り付けられトロリ６６と共に横行するカメラであり、撮像した画像を入力画像として制御部１に対して出力する。

凹凸検出手段１３は、床面ＦＦの凹凸を検出するための手段であり、例えば、トロリ６６に取り付けられトロリ６６と共に横行する図示しない距離センサ（例えば、光、電波、又は超音波を用いた距離センサであり、横行方向に巻上装置６７を挟んで取り付けられ、トロリ６６と共に横行しながら床面ＦＦを走査する距離センサである。）の出力に基づいて、床面ＦＦの凹凸を検出し、その検出結果を座標対応付け手段１０に対して出力する。

また、凹凸検出手段１３は、ＲＯＭ等に予め記憶された床面ＦＦの凹凸に関するデータ（例えば、ＸＹ座標と所定の基準レベルに対する床面ＦＦの高さとの組み合わせからなるデータである。）と現在位置のＸＹ座標（例えば、公知の手段によって得られるトロリ６６の現在位置である。）とに基づいて床面ＦＦの凹凸を検出し、その検出結果を座標対応付け手段１０に対して出力するようにしてもよい。

第三実施例において、座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある面の高さが周囲の床面ＦＦの高さと異なるか否かを判定し、その面の高さが周囲の床面ＦＦの高さと異なると判定した場合には、その面と床面ＦＦとの間の段差のところで、カメラ２１の死角となり且つカメラ２０若しくはカメラ２２の一方の死角となる領域が存在するとして、カメラ２１の撮像画像（フック６９の鉛直下方にある面を鉛直斜め上方から撮像した画像であり、以下「見下ろし画像」とする。）の代わりに、カメラ２０及びカメラ２２のそれぞれの撮像画像を入力画像としながら、カメラ２０及びカメラ２２のそれぞれの入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。なお、上述の説明は、カメラ２１が存在しない場合にも適用され得る。

また、座標対応付け手段１０は、カメラ２１単独の撮像画像（見下ろし画像）の代わりに、カメラ２０〜２２のそれぞれの撮像画像を入力画像としながら、カメラ２０〜２２のそれぞれの入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付けるようにしてもよい。

図１５は、視点変換により仮想的な見下ろし画像を生成する処理を説明するための図であり、図１５（Ａ）は、図２（Ｂ）と同様のクレーン６０の正面図を示し、図１５（Ｂ）は、カメラ２０〜２２のそれぞれの撮像画像を示し、図１５（Ｃ）は、カメラ２０及びカメラ２２のそれぞれの撮像画像と空間モデルＭＤとの間の関係並びにそれら撮像画像の組み合わせ及び視点変換の結果として得られる出力画像を示し、図１５（Ｄ）は、カメラ２０、カメラ２１及びカメラ２２のそれぞれの撮像画像と空間モデルＭＤとの間の関係並びにそれら撮像画像の組み合わせ及び視点変換の結果として得られる出力画像を示す。

図１５（Ａ）は、フック６９の鉛直下方に吊り荷ＯＢＪが置かれ、その吊り荷ＯＢＪの脇に作業者ＨＭが存在する状態を示す。なお、図の一点鎖線、破線及び二点鎖線はそれぞれ、カメラ２０〜２２のそれぞれの撮像範囲を示す。

この場合、図１５（Ｂ）で示されるように、カメラ２０の撮像画像ＩＭ１及びカメラ２１の撮像画像ＩＭ２は何れも作業者ＨＭの存在を分かり易く捉えることができておらず、カメラ２２の撮像画像ＩＭ３のみが作業者ＨＭの存在を分かり易く捉えることができている。

座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある吊り荷ＯＢＪの頂面の高さが周囲の床面ＦＦの高さより高いと判定すると、図１５（Ｃ）で示されるように、空間モデルＭＤの水平面Ｒ１における領域ＳＲ１（ワイヤロープ６８を通る直線と床面ＦＦとの交点を含みＸ軸方向に延びる直線を境界とした水平面Ｒ１の左側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、且つ、空間モデルＭＤの水平面Ｒ１における領域ＳＲ２（水平面Ｒ１の右側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶する。

また、出力画像生成手段１１は、仮想的な見下ろし画像を生成するための仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータを決定し（例えば、仮想カメラのパラメータは、カメラ２１のパラメータと同じ値に設定される。）、出力画像平面上の座標と空間モデルＭＤ上の座標とを対応付け、その対応関係を空間モデル・出力画像対応マップ４１に記憶し、且つ、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と二つの入力画像における各画素の値とを関連付けて図１５（Ｃ）で示されるような出力画像を生成する。

或いは、座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある吊り荷ＯＢＪの頂面の高さが周囲の床面ＦＦの高さより高いと判定すると、図１５（Ｄ）で示されるように、空間モデルＭＤの水平面Ｒ１における領域ＳＲ３（水平面Ｒ１の左側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、空間モデルＭＤの水平面Ｒ１における領域ＳＲ４（水平面Ｒ１の中央の領域）上の座標とカメラ２１の入力画像平面上の座標とを対応付け、且つ、空間モデルＭＤの水平面Ｒ１における領域ＳＲ５（水平面Ｒ１の右側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶するようにしてもよい。この場合、出力画像生成手段１１は、図１５（Ｄ）で示されるような出力画像を生成する。

図１６は、視点変換により仮想的な見下ろし画像を生成する別の処理を説明するための図であり、図１６（Ａ）は、図２（Ｂ）と同様のクレーン６０の正面図を示し、図１６（Ｂ）は、カメラ２０〜２２のそれぞれの撮像画像を示し、図１６（Ｃ）は、カメラ２０及びカメラ２２のそれぞれの撮像画像と空間モデルＭＤとの間の関係並びにそれら撮像画像の組み合わせ及び視点変換の結果として得られる出力画像を示し、図１６（Ｄ）は、カメラ２０、カメラ２１及びカメラ２２のそれぞれの撮像画像と空間モデルＭＤとの間の関係並びにそれら撮像画像の組み合わせ及び視点変換の結果として得られる出力画像を示す。

図１６（Ａ）は、フック６９の鉛直下方に溝ＧＲが形成され、その溝ＧＲの脇に作業者ＨＭが存在する状態を示す。なお、図の一点鎖線、破線及び二点鎖線はそれぞれ、カメラ２０〜２２のそれぞれの撮像範囲を示す。

この場合、図１６（Ｂ）で示されるように、カメラ２０の撮像画像ＩＭ１及びカメラ２１の撮像画像ＩＭ２は何れも作業者ＨＭの存在を分かり易く捉えることができておらず、カメラ２２の撮像画像ＩＭ３のみが作業者ＨＭの存在を分かり易く捉えることができている。

座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある溝ＧＲの底面の高さが周囲の床面ＦＦの高さより低いと判定すると、図１６（Ｃ）で示されるように、空間モデルＭＤの水平面Ｒ１における領域ＳＲ１（水平面Ｒ１の左側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、且つ、空間モデルＭＤの水平面Ｒ１における領域ＳＲ２（水平面Ｒ１の右側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶する。なお、この配置は、図１５（Ｃ）で示された配置と比較すると、対応付けが左右で正反対となっている。

また、出力画像生成手段１１は、仮想的な見下ろし画像を生成するための仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータを決定し（例えば、仮想カメラのパラメータは、カメラ２１のパラメータと同じ値に設定される。）、出力画像平面上の座標と空間モデルＭＤ上の座標とを対応付け、その対応関係を空間モデル・出力画像対応マップ４１に記憶し、且つ、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と二つの入力画像における各画素の値とを関連付けて図１６（Ｃ）で示されるような出力画像を生成する。

或いは、座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある溝ＧＲの底面の高さが周囲の床面ＦＦの高さより低いと判定すると、図１６（Ｄ）で示されるように、空間モデルＭＤの水平面Ｒ１における領域ＳＲ３（水平面Ｒ１の左側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、空間モデルＭＤの水平面Ｒ１における領域ＳＲ４（水平面Ｒ１の中央の領域）上の座標とカメラ２１の入力画像平面上の座標とを対応付け、且つ、空間モデルＭＤの水平面Ｒ１における領域ＳＲ５（水平面Ｒ１の右側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶するようにしてもよい。この場合、出力画像生成手段１１は、図１６（Ｄ）で示されるような出力画像を生成する。

なお、座標対応付け手段１０は、凹凸検出手段１３の出力によらず、予め定められた対応関係に基づいて空間モデルＭＤ上の座標と複数のカメラのそれぞれの入力画像平面上の座標とを対応付け、或いは、入力部３を介した操作者の入力に応じて空間モデルＭＤ上の座標と複数のカメラのそれぞれの入力画像平面上の座標との間の対応関係を切り換えて、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶するようにしてもよい。この場合、凹凸検出手段１３は、省略されることとなる。

図１７は、図１５におけるカメラ２０〜２２のそれぞれの撮像画像に基づいて仮想的な見下ろし画像と仮想的な水平画像とを生成する処理を説明するための図である。

座標対応付け手段１０は、凹凸検出手段１３の出力に基づいてフック６９の鉛直下方にある吊り荷ＯＢＪの頂面の高さが周囲の床面ＦＦの高さより高いと判定すると、空間モデルＭＤの水平面Ｒ１における領域ＳＲ３（水平面Ｒ１の左側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、空間モデルＭＤの水平面Ｒ１における領域ＳＲ４（水平面Ｒ１の中央の領域）上の座標とカメラ２１の入力画像平面上の座標とを対応付け、空間モデルＭＤの水平面Ｒ１における領域ＳＲ５（水平面Ｒ１の右側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、空間モデルＭＤの垂直面Ｒ２における領域ＳＲ６（垂直面Ｒ１の左側の領域）上の座標とカメラ２０の入力画像平面上の座標とを対応付け、空間モデルＭＤの垂直面Ｒ２における領域ＳＲ７（垂直面Ｒ１の中央の領域）上の座標とカメラ２１の入力画像平面上の座標とを対応付け、且つ、空間モデルＭＤの垂直面Ｒ２における領域ＳＲ８（垂直面Ｒ１の右側の領域）上の座標とカメラ２２の入力画像平面上の座標とを対応付け、それらの対応関係を入力画像・空間モデル対応マップ４０に記憶する。

また、出力画像生成手段１１は、仮想的な見下ろし画像を生成するための第一の仮想カメラのパラメータを決定し（例えば、第一の仮想カメラのパラメータは、カメラ２１のパラメータと同じ値に設定される。）、且つ、仮想的な水平画像を生成するための第二の仮想カメラのパラメータを決定し、二つの出力画像（仮想的な見下ろし画像及び仮想的な水平画像である。）のそれぞれに対応する出力画像平面上の座標と空間モデルＭＤ上の座標とを対応付け、それらの対応関係を空間モデル・出力画像対応マップ４１に記憶し、且つ、入力画像・空間モデル対応マップ４０を参照しながら、それら二つの出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と三つの入力画像における各画素の値とを関連付けて図１７で示されるような二つの出力画像を生成する。

図１８は、図１６におけるカメラ２０〜２２のそれぞれの撮像画像に基づいて仮想的な見下ろし画像と仮想的な水平画像とを生成する処理を説明するための図であり、フック６９の鉛直下方にある溝ＧＲの底面の高さが周囲の床面ＦＦの高さより低い点、領域ＳＲ３及び領域ＳＲ６上の座標とカメラ２２の入力画像平面上の座標とを対応付ける点、並びに、領域ＳＲ５及び領域ＳＲ８上の座標とカメラ２０の入力画像平面上の座標とを対応付ける点において図１７の場合と異なるがその他の点で共通する。なお、図１８の仮想的な水平画像における斜線ハッチング領域は、床面ＦＦの断面を表すコンピュータグラフィックである。

なお、画像生成システム３００は、Ｙ軸方向（横行方向）に巻上装置６７を挟んで取り付けられるカメラ２０及びカメラ２２を用いて仮想的な見下ろし画像を生成するが、それらカメラ２０及び２２に代えて或いは加えて、Ｘ軸方向（走行方向）に巻上装置６７を挟んで取り付けられる二つのカメラを用いて仮想的な見下ろし画像を生成するようにしてもよい。

また、画像生成システム３００は、それら四つのカメラのうちの任意の二つ又は三つを用いて仮想的な見下ろし画像を生成するようにしてもよく、五つ以上のカメラを用いて仮想的な見下ろし画像を生成するようにしてもよい。また、それらのカメラは、必ずしも、巻上装置６７を通る一直線上に配置される必要はなく、互いの死角を補うように配置されるのであれば任意の位置関係で配置されてもよい。

以上の構成により、画像生成システム３００は、フック６９を用いた作業が行われる領域における死角や見難さを排除した仮想的な見下ろし画像を提示することができ、その操作者によるフック６９の上げ下げの操作を支援することができる。

次に、図１９〜図２５を参照しながら、本発明の第四実施例について説明する。

図１９は、本発明の第四実施例に係る画像生成システム４００の構成例を概略的に示すブロック図であり、図２０は、画像生成システム４００がそれぞれ搭載される三台の天井クレーン６０Ａ〜６０Ｃを示す図である。なお、図２０（Ａ）は、一対のランウェイ６１Ｌ、６１Ｒ上を走行する三台の天井クレーン６０Ａ〜６０Ｃの上面図を示し、図２０（Ｂ）は、図２０（Ａ）のＸＶＩＩＢ−ＸＶＩＩＢ方向から見た天井クレーン６０Ａの正面図を示す。

天井クレーン６０Ａ〜６０Ｃのそれぞれに搭載される画像生成システム４００は、カメラ２（図２０（Ａ）におけるカメラ２Ａ〜２Ｃのうちの一つである。）以外に二台のカメラ２３（図２０（Ａ）におけるカメラ２３Ａ〜２３Ｃのうちの一つである。）及び２４（図２０（Ａ）におけるカメラ２４Ａ〜２４Ｃのうちの一つである。）を有し、且つ、制御部１に目盛り描画手段１４を有する点で図１の画像生成システム１００と相違するが、その他の点で共通する。そのため、共通点に関する説明を省略しながら、相違点を詳細に説明することとする。なお、本実施例において、画像生成システム４００は、天井クレーン６０Ｂに搭載されたものを代表として説明するが、天井クレーン６０Ａ及び６０Ｃに搭載されたものにも同様の説明が適用されるものとする。

カメラ２３Ｂは、天井クレーン６０Ｂの後隣にある天井クレーン６０Ａにおけるガーダ６３Ａの表面（天井クレーン６０Ｂを向く面である。）に描画されたマーク２５Ａ（図２０（Ｂ）参照。）を撮像するためのカメラであり、天井クレーン６０Ｂにおけるガーダ６３Ｂの表面（天井クレーン６０Ａを向く面である。）に固定的に取り付けられ、好適には、その光軸が天井クレーン６０Ａにおけるガーダ６３Ａのその表面と直交するように設置される。

同様に、カメラ２４Ｂは、天井クレーン６０Ｂの前隣にある天井クレーン６０Ｃにおけるガーダ６３Ｃの表面（天井クレーン６０Ｂを向く面である。）に描画されたマーク２５Ｃ（図示せず。）を撮像するためのカメラであり、天井クレーン６０Ｂにおけるガーダ６３Ｂの表面（天井クレーン６０Ｃを向く面である。）に固定的に取り付けられ、好適には、その光軸が天井クレーン６０Ｃにおけるガーダ６３Ｃのその表面と直交するように設置される。

マーク２５Ａは円形形状を有し、カメラ２３Ｂの光軸がその中心点に当たるものとし、マーク２５Ｃも同様に円形形状を有し、カメラ２４Ｂの光軸がその中心点に当たるものとする。

目盛り描画手段１４は、カメラ２３及びカメラ２４のそれぞれの撮像画像を用いて、Ｘ軸方向（走行方向）における天井クレーン間の距離を分かり易く提示するための手段であり、具体的には、カメラ２３及びカメラ２４のそれぞれの撮像画像上に目盛りを重畳表示させて天井クレーン間の距離を分かり易く提示する。

図２１は、目盛り描画手段１４による目盛り描画処理を説明するための図であり、カメラ２３Ｂが撮像した三つの画像と、目盛り描画手段１４により目盛りが重畳表示された出力画像とを示す。

図２１は、カメラ２３Ｂが撮像した三つの画像において、右側の画像、中央の画像、左側の画像の順に、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離が徐々に小さくなり、マーク２５Ａがカメラ２３Ｂに接近してマーク２５Ａの画像が徐々に大きくなることを示し、カメラ２３Ｂの光軸が常にマーク２５Ａの中心に当たり、マーク２５Ａの画像における画像中心点ＣＣを中心とする外周円の半径が徐々に大きくなることを示す。

目盛り描画手段１４は、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離Ｌメートル（可変値）と、半径α_０メートル（固定値）の外周円の画像であり、カメラ２３Ｂによる撮像画像における画像中心点ＣＣを中心とするその外周円の画像の半径の大きさに対応する画素数（可変値）との対応関係を予め記憶したルックアップテーブルを参照し、例えば、クレーン間距離７メートルに対応する外周円半径４０ピクセル、クレーン間距離３メートルに対応する外周円半径８０ピクセル、及び、クレーン間距離１メートルに対応する外周円半径１２０ピクセルといったクレーン間距離と外周円半径との複数の組み合わせを読み出し、読み出した情報に基づいて出力画像上に目盛りを重畳表示する。

クレーン間距離と外周円半径との複数の組み合わせを決定するに際し、実際の外周円半径をα_０メートル、クレーン間距離をＬメートルとすると、カメラ２３Ｂの光学中心とその外周円上の一点とを結ぶ線分が光軸となす角θは、

で表され、画像上の外周円半径をＸ_OBJピクセル、カメラ２３Ｂの画角をθ_cam、カメラ２３Ｂの画角θ_camに応じて決定される画像中心点ＣＣから撮像画像の端までの画素数をＸピクセルとすると、画像上の外周円半径Ｘ_OBJは、

で表される。

このように、外周円半径α_０（メートル）、画角θ_cam、及び画像中心点ＣＣから撮像画像の端までの画素数Ｘ（ピクセル）が既知であることから、クレーン間距離Ｌ（メートル）が決まれば、画像上の外周円半径Ｘ_OBJ（ピクセル）は、一意に決定されることとなる。

なお、画像生成システム４００は、複数の画角θ_camに対応する複数のルックアップテーブルを準備しておき、ズーム機能を備えたカメラ２３Ｂの画角θ_camが変更された場合に、その変更後の画角θ_camに対応するルックアップテーブルを選択して参照することによって、重畳表示される目盛りの幅を動的に調節するようにしてもよい。

図２１の出力画像は、目盛りが重畳表示された出力画像であり、破線で示された三つの円とそれぞれの円に対応するクレーン間距離（メートル）の値とを含む目盛りが重畳表示され、それら三つの円の半径は、内側から順にそれぞれ、４０ピクセル、８０ピクセル、及び１２０ピクセルとなっており、７メートル、３メートル、及び１メートルのクレーン間距離を表す。また、図２１の出力画像は、現時点におけるクレーン間距離がおよそ５メートルであることを表す。

図２２は、目盛り描画手段１４による別の目盛り描画処理を説明するための図であり、図２１と同様、カメラ２３Ｂが撮像した三つの画像と、目盛り描画手段１４により目盛りが重畳表示された出力画像とを示す。

図２２は、円形のマーク２５Ａの代わりに矩形のマーク２５Ａ１がガーダ６３Ａの表面に描画されている点、カメラ２３Ｂの光軸がマーク２５Ａ１の中心と一致しない点、カメラ２３Ｂが撮像した三つの画像において、右側の画像、中央の画像、左側の画像の順に、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離が徐々に小さくなり、マーク２５Ａ１がカメラ２３Ｂに接近してマーク２５Ａ１の画像が徐々に大きくなるにつれて、マーク２５Ａ１の画像の右端と画像中心点ＣＣとの間の距離が徐々に大きくなることを利用する点において図２１の場合と異なる。

目盛り描画手段１４は、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離Ｌメートル（可変値）と、カメラ２３Ｂの光軸が当たるガーダ６３Ａの表面上の点から距離α_１メートル（固定値）の位置にあるマーク２５Ａ１の画像であり、カメラ２３Ｂによる撮像画像における画像中心点ＣＣとそのマーク２５Ａ１の画像との間の離隔距離の大きさに対応する画素数（可変値）との対応関係を予め記憶したルックアップテーブルを参照し、例えば、クレーン間距離７メートルに対応する離隔距離６０ピクセル、クレーン間距離３メートルに対応する離隔距離１２０ピクセル、及び、クレーン間距離１メートルに対応する離隔距離１８０ピクセルといったクレーン間距離と離隔距離との複数の組み合わせを読み出し、読み出した情報に基づいて出力画像上に目盛りを重畳表示する。

クレーン間距離と離隔距離との複数の組み合わせを決定する方法は、クレーン間距離と外周円半径との複数の組み合わせを決定する上述の方法と同様である。

図２２の出力画像は、目盛りが重畳表示された出力画像であり、破線で示された三つの縦線とそれぞれの縦線に対応するクレーン間距離（メートル）の値とを含む目盛りが重畳表示され、それら三つの縦線の離隔距離は、右から順にそれぞれ、６０ピクセル、１２０ピクセル、及び１８０ピクセルとなっており、７メートル、３メートル、及び１メートルのクレーン間距離を表す。また、図２２の出力画像は、現時点におけるクレーン間距離がおよそ５メートルであることを表す。

図２３は、目盛り描画手段１４による更に別の目盛り描画処理を説明するための図であり、図２１と同様、カメラ２３Ｂが撮像した三つの画像と、目盛り描画手段１４により目盛りが重畳表示された出力画像とを示す。

図２３は、マークがガーダ６３Ａの表面上に存在しない点、及びカメラ２３Ｂが撮像した三つの画像において、右側の画像、中央の画像、左側の画像の順に、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離が徐々に小さくなるにつれて、ガーダ６３Ａの画像の上端と画像中心点ＣＣとの間の距離が徐々に大きくなることを利用する点において図２１の場合と異なる。

目盛り描画手段１４は、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離Ｌメートル（可変値）と、カメラ２３Ｂの光軸が当たるガーダ６３Ａの表面上の点から距離α_２メートル（固定値）の位置にその上端を有するガーダ６３Ａの画像であり、カメラ２３Ｂによる撮像画像における画像中心点ＣＣとそのガーダ６３Ａの画像の上端との間の離隔距離の大きさに対応する画素数（可変値）との対応関係を予め記憶したルックアップテーブルを参照し、例えば、クレーン間距離７メートルに対応する離隔距離３０ピクセル、クレーン間距離３メートルに対応する離隔距離７０ピクセル、及び、クレーン間距離１メートルに対応する離隔距離１１０ピクセルといったクレーン間距離と離隔距離との複数の組み合わせを読み出し、読み出した情報に基づいて出力画像上に目盛りを重畳表示する。

クレーン間距離と離隔距離との複数の組み合わせを決定する方法は、クレーン間距離と外周円半径との複数の組み合わせを決定する上述の方法と同様である。

図２３の出力画像は、目盛りが重畳表示された出力画像であり、破線で示された三つの横線とそれぞれの横線に対応するクレーン間距離（メートル）の値とを含む目盛りが重畳表示され、それら三つの横線の離隔距離は、下から順にそれぞれ、３０ピクセル、７０ピクセル、及び１１０ピクセルとなっており、７メートル、３メートル、及び１メートルのクレーン間距離を表す。また、図２３の出力画像は、現時点におけるクレーン間距離がおよそ５メートルであることを表す。

図２４及び図２５はそれぞれ、特徴の異なる複数の画像を含む出力画像の例を示す図である。

図２４は、左側に後隣の天井クレーンまでの距離を提示する画像、右側に前隣の天井クレーンまでの距離を提示する画像、上側に仮想的な水平画像、下側に仮想的な見下ろし画像を配置する出力画像を示す。

図２５は、中央に仮想的な見下ろし画像、上側に前隣の天井クレーンまでの距離を提示する画像、下側に後隣の天井クレーンまでの距離を提示する画像、右側に仮想的な水平画像を配置する出力画像を示す。

以上の構成により、画像生成システム４００は、カメラ２３Ｂの撮像画像に対して複雑な画像処理を施すことなく目盛りを重畳表示するだけで、隣り合う天井クレーンまでの距離を操作者に直感的に把握させることが可能な出力画像を生成することができ、その出力画像を提示することによって、隣り合う天井クレーン同士の接触を防止することができる。

なお、画像生成システム４００は、公知の手段により隣の天井クレーンまでの距離が所定距離未満となったことを検出した場合に、アラームや注意喚起メッセージを音声出力したり表示したりするようにしてもよい。

また、カメラ２３Ｂは、好適には、その光軸が天井クレーン６０Ａにおけるガーダ６３Ａのその表面と直交するように設置されるが、その光軸がその表面に対して所定の角度で傾斜するように設置されてもよい。この場合であっても、目盛り描画手段１４は、その所定の角度を考慮して（例えば、所定の投影関数を用いて）導き出された、天井クレーン６０Ａと天井クレーン６０Ｂとの間のクレーン間距離Ｌメートル（可変値）と、画像中心点ＣＣから所定のマークまでの画素数（可変値）との間の対応関係を記憶するルックアップテーブルを参照し、クレーン間距離とその画素数との複数の組み合わせを読み出し、読み出した情報に基づいて出力画像上に目盛りを重畳表示する。光軸がガーダ６３Ａの表面と直交するように配置されたカメラ２３Ｂのその光軸に対して傾斜する表面に描かれたマークを用いる場合も同様である。更に、画像生成システム４００は、カメラ２３Ｂの光軸に対して傾斜する表面に描かれたその所定のマークがあたかもその光軸に直交する表面に描かれたものとして扱えるよう、カメラ２３Ｂの撮影画像に画像変換を施すようにしてもよい。

なお、上述の目盛り描画処理は、カメラ２３Ｂの撮像画像を参照しながら説明されたが、カメラ２４Ｂに対しても同様の説明が適用されるものとする。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像生成システム１００は、空間モデルＭＤを用いることなく（カメラ２の光学中心Ｃの座標と仮想カメラ２Ｖの光学中心ＣＶの座標とを用いながら空間モデルＭＤを介して入力画像平面Ｒ４上の画素群と出力画像平面Ｒ５上の画素群とを間接的に関連付けることなく）、カメラ２の光学中心Ｃの座標や仮想カメラ２Ｖの光学中心ＣＶの座標とは無関係に、入力画像平面Ｒ４上の画素群と出力画像平面Ｒ５上の画素群との間の所定の直接的な対応関係に基づいて出力画像を生成するようにしてもよい。

この場合、画像生成システム１００は、その所定の直接的な対応関係に基づいて、入力画像平面Ｒ４上の画素群の一部を出力画像平面Ｒ５上の画素群の一部に（空間モデルＭＤを介することなく直接的に）関連付けてフック６９の仮想的な水平画像を生成し、入力画像平面Ｒ４上の画素群の別の一部を出力画像平面Ｒ５上の画素群の別の一部に（空間モデルＭＤを介することなく直接的に）関連付けて床面ＦＦの仮想的な見下ろし画像を生成し、その仮想的な水平画像とその仮想的な見下ろし画像とを合成して最終的な出力画像を生成するようにしてもよい。

また、カメラ２は、図２で示されるように、トロリ６６から鉛直下方に延びた後Ｘ軸方向に延びるブラケットＢＲの先端に取り付けられ、それに合わせて空間モデルＭＤの垂直面Ｒ２が、天井クレーン６０のガーダ６３の中央線を含む鉛直面ＶＳに配置されるが、カメラ２は、トロリ６６からＹ軸方向に延びるブラケットの先端に取り付けられてもよく、その場合、空間モデルＭＤの垂直面Ｒ２は、天井クレーン６０のガーダ６３の中央線に直交する鉛直面に配置され得る。なお、垂直面Ｒ２は、必ずしもガーダ６３の中央線に対し平行又は直交する関係にある必要はなく、その中央線と任意の角度を形成する面であってもよい。更に、カメラ２は、追加的に、ブラケットＢＲとは別の方向に延びる一又は複数の別のブラケットの先端に取り付けられてもよい。フック６９が障害物の裏に隠れて一つのカメラがフック６９を撮像することができなくなったとしても、別のカメラが、そのフック６９を代わりに撮像することができるようにするためである。

また、画像生成システム１００は、トロリ６６からＸ軸方向に延びるブラケットＢＲの先端に取り付けられたカメラ２が撮像した入力画像、及び、トロリ６６からＹ軸方向に延びるブラケットの先端に取り付けられたカメラが撮像した入力画像を含む複数の入力画像を選択的に用いながら出力画像を生成するようにしてもよく、複数の入力画像のそれぞれを用いて複数の出力画像を生成し、それら複数の出力画像のそれぞれを並べて表示するようにしてもよい。

また、カメラ２は、トロリ６６と共に横行し且つ鉛直方向に上下するフック６０を鉛直斜め上方から撮像できるよう光軸方向を操作者が動的に調整できるようにしながら、ガーダ６３又は操作室７０の所定位置に取り付けられていてもよい。この場合、カメラ２は、トロリ６６の横行方向（Ｙ軸方向）に沿って所定の間隔を空けながらガーダ６３に複数設置され、現時点におけるフック６９との間の横行方向（Ｙ軸方向）における距離が最小となるカメラの撮像画像を入力画像として採用するようにしてもよく、それら複数のカメラからの複数の撮像画像を組み合わせた画像を入力画像として採用するようにしてもよい。

また、上述の実施例において、画像生成システム１００は、天井クレーン６０におけるフックの操作を支援するために用いられるが、アンローダのグラブバケットの操作を支援するために用いられてもよく、橋形クレーン、ケーブルクレーン、若しくはテルハのフック、又はスタッカークレーンのフォークの操作を支援するために用いられてもよく、起伏装置や旋回装置を備えたジブクレーンのフックの操作を支援するために用いられてもよい。

また、天井クレーン６０のフックは、リフティングマグネット、バキュームリフター、クロー、又はスプレッダ等であってもよい。

また、上述の実施例のそれぞれにおいて個別に説明されたカメラ２、２０、２１、２２、２３Ａ〜Ｃ、及び２４Ａ〜Ｃ、並びに、つり具位置検出手段１２、凹凸検出手段１３、及び目盛り描画手段１４は、上述の任意の実施例に任意の組み合わせで導入され得るものとする。

１・・・制御部 ２・・・カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 １０・・・座標対応付け手段 １１・・・出力画像生成手段 １２・・・つり具位置検出手段 １３・・・凹凸検出手段 １４・・・目盛り描画手段 ２０、２１、２２、２３Ａ〜Ｃ、２４Ａ〜Ｃ・・・カメラ ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・出力画像対応マップ ６０、６０Ａ〜６０Ｃ・・・天井クレーン ６１・・・ランウェイ ６２・・・車輪 ６３・・・・ガーダ ６４・・・ランウェイ ６５・・・車輪 ６６・・・トロリ ６７・・・巻上装置 ６８・・・ワイヤロープ ６９・・・フック ７０・・・操作室 １００、２００、３００、４００・・・画像生成システム

Claims (3)

1. クレーンの操作を支援する画像生成システムであって、
   鉛直方向に上下するつり具を鉛直斜め上方から撮像する第一の撮像装置と、
   前記つり具を鉛直斜め上方から撮像する第二の撮像装置であり、前記第一の撮像装置の死角を撮像する第二の撮像装置と、
   前記第一の撮像装置及び前記第二の撮像装置のそれぞれが撮像した画像群を組み合わせ且つ視点変換処理を施し、前記つり具の鉛直下方にある面を鉛直上方から見た出力画像を生成する出力画像生成手段と、
   を備えることを特徴とする画像生成システム。
2. 前記クレーンは、建屋の壁に沿って走行するガーダと、該ガーダ上を横行するトロリと、該トロリに取り付けられる巻上装置とを有する天井クレーンであり、
   前記つり具は、前記巻上装置が巻き上げ或いは巻き下げることによって鉛直方向に上下し、
   前記第一の撮像装置及び前記第二の撮像装置はそれぞれ、前記ガーダに取り付けられて該ガーダと共に走行する、
   ことを特徴とする請求項１に記載の画像生成システム。
3. 前記つり具の鉛直下方にある面の凹凸を検出する凹凸検出手段を更に備え、
   前記出力画像生成手段は、前記つり具の鉛直下方にある面の凹凸に応じて、前記第一の撮像装置及び前記第二の撮像装置のそれぞれが撮像した画像群の組み合わせ方を変更する、
   ことを特徴とする請求項１又は２に記載の画像生成システム。

Images