<本発明について>
本発明は、例えばクレーンシステムに少なくとも1つのカメラ(撮像手段)を設け、吊荷周辺の映像(画像も含む)を取得し、取得したカメラ映像を、例えば吊荷の正面(水平方向)の視点となるように画像変換を行い、オペレータ(クレーン操作者)の作業場所に設けたモニタ(表示手段)等に表示する。
また、本発明は、複数のカメラで撮影された映像からそれぞれ視点変換を行い、変換された画像を合成して1つの画面で表示させることもできる。なお、カメラは、例えば天井クレーン本体と別々に移動できるように設けてよく、天井クレーン本体を移動させるためのガントリー(移動手段)に設け、天井クレーンと一体に移動させてもよく、更にガントリーに対して所定範囲で相対的に移動可能に設けてもよい。
以下に、上述したような特徴を有する本発明におけるクレーンシステムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下に示す説明においては、吊荷であるスラブを持ち上げて搬送するために、ガントリーの先端部にあるハンドリング部の形状を、把持タイプ(掴みタイプ)としているが、本発明においてはこれに限定されるものではなく、例えばフックタイプでもよい。
<第1の実施例>
まず、第1の実施例におけるクレーンシステムの概略構成例について図を用いて説明する。図1は、第1の実施例におけるクレーンシステムの概略構成例を説明するための図である。なお、以下の説明では、クレーンシステムの一例として天井クレーンシステムを用いるが、本発明においてはこれに限定されるものではない。
図1(A)に示す天井クレーンシステム10は、例えば工場建屋等の施設内に、ガントリー11と、ガーダー(天井クレーン用横行手段)12と、カメラ(撮像手段)13と、ランウェイ(走行レーン)14と、操作手段15と、視覚補助表示装置(クレーン用表示装置)16とを有するよう構成されている。また、ガントリー11は、トロリー11−1と、ハンドリング部(把持手段)11−2とが設けられている。
また、図1の天井クレーンシステム10内には、スラブ(吊荷)17がそれぞれの枚数で積み重ねられており、所定の間隔で配置されている(図1(A)の例では、スラブ17−1〜17−5(以下、必要に応じて「スラブ17」と総称する))。
ここで、スラブ17は、例えば図1(B)に示すように薄い板状に形成されている。また、スラブ17の各板の側面には、図1(C)に示すように識別番号が配置されている(例えば、A―1,A−2,・・・,A20)。
ガントリー11は、オペレータ18による操作手段15の操作により、ガーダー12を用いてハンドリング部11−2を支持するトロリー11−1がハンドリング部11−2と共に移動し、ガントリー11を所定の位置に移動させる。
また、ハンドリング部11−2は、昇降、旋回等の動作が可能であり、オペレータ18の操作手段15による操作により、吊持対象のスラブ17まで移動し、その後、昇降、旋回等により対象のスラブ17を把持し、持ち上げて所定の位置に搬送する。
カメラ13は、オペレータ18による操作手段15の操作により、ガーダー12を移動してスラブ17を上方から撮影する。つまり、カメラ13は、移動対象であるスラブ17周辺の映像を取得する。なお、上述したスラブ17周辺の映像とは、例えば積み上げられたスラブ17全体を含む映像であってもよく、またスラブ17のある注視領域を含む映像であってもよい。第1の実施例では、カメラ13によりスラブ17を撮影することで、例えば図1(D)のように上方から見下ろした画像を取得する。
なお、本実施形態におけるカメラ13は、ガントリー11とは別々に移動させてもよく、またガントリー11と一体に移動させてもよい。更に、ガントリー11と一体に移動させながら、所定の範囲内で相対的に移動できるように設置されていてもよい。
また、ランウェイ14は、例えば工場建屋内の壁や天井等に、工場設備の一部として設けられている(図1(A)の例では、ランウェイ14−1,14−2)。ランウェイ14を用いることで、ガーダー12の工場建屋内での走行を可能とする。
つまり、図1(A)に示す例では、ランウェイ14がガーダー12を支持し、例えばガーダー12に設けられた車輪等を用いて、ガーダー12がランウェイ14上を走行する。また、ガーダー12は、トロリー11−1を支持し、トロリー11−1に設けられた車輪等を用いて、トロリー11−1がガーダー12上を横行する。また、トロリー11−1は、ハンドリング部11−2を支持し、ハンドリング部11−2がトロリー11−1上で上下の移動を行う。
操作手段15は、オペレータ18によりガントリー11の移動、ハンドリング部11−2の操作、カメラ13の移動、撮影開始・終了の制御等を行う。つまり、操作手段15により指定された内容に基づいて、ガントリー11やカメラ13が所定の速度で移動したり、スラブ17を搬送するための所定の動作を行う。なお、操作手段15は、オペレータ18が操作するために、例えば操作レバーや各種スイッチ群が設けられているが、本発明においてはこれに限定されるものではない。
視覚補助表示装置16は、例えばガントリー11やカメラ13を操作するための各種設定や、カメラ13から撮影された映像を表示する。なお、視覚補助表示装置16は、映像を表示する際には、後述するような画像変換等を行うことができる。また、視覚補助表示装置16は、カメラ13のパラメータの設定や表示された画像の一部を選択して拡大表示させることができる。なお、上述した操作手段15と視覚補助表示装置16とは一体に構成されていてもよく、別体に構成されていてもよい。
<ガントリーとカメラの移動例>
次に、上述したガントリー11とカメラ13の移動例について図を用いて説明する。図2は、第1の実施例におけるガントリーとカメラの移動例について説明するための図である。なお、図2の例では、説明の便宜上、概略的な図を示している。
第1の実施例では、オペレータ18の操作手段15への操作により、ガーダー12上を、車輪等を設けたトロリー11−1が横行する。また、図2のガーダー12は、ガントリー11と共にランウェイ14−1,14−2上を走行することができる。なお、この場合には、オペレータ18がいる作業場所(操作手段15、視覚補助表示装置16)もガーダー12と一体として移動する。これにより、ガントリー11は、工場建屋内を横行及び走行することができ、所定の位置に移動することができる。
また、第1の実施例では、上述したガーダー12に、カメラ13が移動するためのレーン(カメラ用レーン)が設けられている。このレーンは、例えば図2に示すようにガーダー12の下部等に設けられるが、これに限定されるものではない。つまり、カメラ13は、横行でのみ位置調整を行い、走行自体はクレーン全体の移動で調整する。
このように、図2の例では、ガントリー11と、カメラ13とを別々に移動させることができ、更にそれぞれがガーダー12を基準として横行させることができる。また、第1の実施例では、図2に示す構成を用いてガントリー11とカメラ13とを同時に同一方向へ移動させることもでき、更にカメラ13をガントリー11の位置を基準として所定範囲で相対的に移動可能とすることができる。
上述した構成により、横行レーン及び走行レーンを用いて所定の位置に移動しスラブ17を撮影することができる。上述した第1の実施例では、ガントリー11とカメラ13とが別々に移動することができる。
<他の移動例>
ここで、上述した移動例とは異なる他の移動例として、ガントリー11にカメラ13を設けて一体で移動させることができる。図3は、ガントリーとカメラの他の移動例について説明するための図である。なお、上述した図2の例と同様の内容については、同一符号を付するものとし、ここでの具体的な説明は省略する。
図3の例では、ガントリー11とカメラ13とを一体に移動させるため、一例としてトロリー11−1にカメラ13が設けられている。カメラ13は、上述した図1(D)に示すように、スラブ17を撮影する。第2の実施例によれば、カメラ13の移動操作を行う必要がなくガントリー11の移動に連動させてカメラ13を移動させることができる。
なお、第2の実施例におけるガントリー11とカメラ13とを一体に移動させるためのカメラ13の設置位置については、これに限定されるものではなく、例えばハンドリング部11−2のアーム部分や、トロリー11−1から所定のポール状の管や棒状の柱を伸ばし、その先端部にカメラ13を設けてもよい。
<視覚補助表示装置16の機能構成例>
次に、上述したクレーン用表示装置としての視覚補助表示装置16の機能構成例について図を用いて説明する。図4は、第1の実施例における視覚補助表示装置の機能構成の一例を示す図である。図4に示す視覚補助表示装置16は、情報処理装置21と、視覚補助表示装置22とを有するよう構成されている。情報処理装置21は、パラメータ設定手段31と、画像変換手段32と、縮小画像生成手段33と、表示位置指定手段34と、画像切り出し手段35と、画面生成手段36とを有するよう構成されている。
パラメータ設定手段31は、画像変換手段32に入力されるカメラ13からの画像を変換するパラメータを設定する。具体的には、パラメータ設定手段31は、例えばカメラの位置情報、角度情報等の姿勢情報や、レンズ等の光学系のパラメータ(例えば、倍率等)を設定する。なお、上述した各種パラメータの入力は、例えばオペレータ18等による操作手段15の操作により行われてもよく、視覚補助表示装置16内に専用の操作手段を設けてもよく、予め設定されメモリ(記憶手段)等に記憶されていてもよい。なお、パラメータ設定手段31は、上述したパラメータをカメラ13に直接出力してもよい。
画像変換手段32は、カメラから取得した映像に含まれる画像フレームに対し、上述したパラメータに基づいて画像変換を行う。カメラ13で撮影される映像は、例えば図1(D)に示すように、上方からスラブ17を撮影するものであるため、その側面に記載されたスラブ17の識別情報を撮影画面から見えない場合がある。そこで、画像変換手段32は、スラブ17を正面視点(水平方向)から見えるように視点変換を行う。なお、視点変換の具体例については、後述する。
また、画像変換手段32は、上述した画像処理の他にも、例えばレンズ歪みの補正(光学モデルによる歪み補正)や予め設定されたフィルタによる平滑化等を行ってもよい。
縮小画像生成手段33は、画像変換手段33により得られる変換画像の全体を表示手段22に表示させるため、例えば予め設定された表示手段22の画面サイズに合わせて変換画像全体を縮小する。縮小画像生成手段33は、得られた縮小画像を画面生成手段36に出力する。なお、本発明においては、上述した縮小に限定されるものではなく、例えば全体の画像サイズの25%等のように、予め設定された倍率で縮小してもよい。
表示位置指定手段34は、上述した変換画像に対して、一部の領域を表示するための表示位置(領域)の指定を行う。なお、切り出し位置の指定は、例えばオペレータ18が行ってもよく、また予め切り出し領域が設定されていてもよい。
画像切り出し手段35は、画像変換手段32により得られた変換画像に対して、表示位置指定手段34により指定された位置の画像を切り出す。また、画像切り出し手段35は、切り出した画像を画面生成手段36に出力する。
画面生成手段36は、カメラ13から得られる元画像と、縮小画像生成手段33により得られる縮小画像と、画像切り出し手段35により得られる切り出し画像とを入力し、入力された画像のうち、少なくとも1つの画像を有する表示画面を生成する。なお、表示される画面のレイアウトは、オペレータ18により指定可能にしてもよく、また、予め設定されていてもよいが、生成される表示画面には、上述の視点変換された画像が含まれることが好ましい。画面生成手段36は、生成された画像を表示手段22に出力する。
表示手段22は、画面生成手段36により得られる画面等を表示する。なお、表示手段22は、例えば液晶カラーモニタ等があるが、本発明においてはこれに限定されるものではない。また、第1の実施例では、表示手段22にタッチパネル機能等を有していてもよく、その場合には、タッチパネルによりオペレータ18からの指示を入力し、情報処理装置21に送信し、各種の制御(例えば、パラメータ設定、表示位置指定、縮小率の設定等)を行うことができる。
<視覚補助表示装置16における表示処理手順>
次に、上述したクレーン用表示装置としての視覚補助表示装置16における表示処理手順の一例について、フローチャートを用いて説明する。図5は、第1の実施例における表示処理手順の一例を示すフローチャートである。
図5に示すフローチャートにおいて、表示処理は、まずオペレータ18等により設定されたカメラ13のパラメータ等を入力し(S01)、オペレータ18等の指示により所定位置(例えば、スラブ17周辺)に対するカメラ13での撮像を開始する(S02)。なお、S01の処理におけるパラメータ等は、予め設定されている場合には、改めて入力しなくてもよい。カメラ13は、例えば、上述したようにガントリー11と共に移動可能であり、例えば工場建屋等の施設内を所定速度で移動しながらスラブ17周辺を撮影することができる。
次に、表示処理は、カメラ13の画像(映像も含む)を取得し(S03)、取得した画像に対する画像変換を行う(S04)。S04の処理は、具体的は、上方からスラブ17を撮影した画像に対して、スラブ17の正面(水平方向)から見たように視点を変換した画像を生成する。
次に、表示処理は、変換画像をパラメータ等で設定した所定の倍率等で縮小する(S05)。また、表示処理は、例えばオペレータ18から入力された表示対象である切り出し位置を取得し(S06)、取得した切り出し位置に基づいて変換画像の切り出しを行う(S07)。
次に、表示処理は、S02の処理により得られるカメラ13からの撮影画像、S05の処理により得られる縮小画像、S07の処理により得られる切り出し画像のうち、少なくとも1つの画像を用いた表示画面を生成し(S08)、生成した表示画面を表示手段22等に出力する(S09)。
ここで、表示処理は、画面表示を終了するか否かを判断し(S09)、画面表示を終了しない場合(S09において、NO)、S03の処理に戻る。また、表示処理は、S09の処理において、例えばオペレータ18等の指示等により画面表示を終了する場合(S09において、YES)、カメラ13による撮像を終了し(S11)、表示処理を終了する。
<画像変換の具体例>
次に、上述した画像変換手段32における画像変換(視点変換)の具体例について図を用いて説明する。図6は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図6において、カメラ13の入力画像平面R3は、カメラ13の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルMDは、XYZ直交座標系における立体面として表されるものとする。
最初に、画像変換手段32は、空間モデルMD上の座標(XYZ座標系上の座標)を入力画像平面R3上の座標(UVW座標系上の座標)に変換する。そのため、画像変換手段32は、XYZ座標系の原点Oを光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸にそれぞれ一致させるようXYZ座標系を回転させる。なお、上述の符号「−」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。
なお、カメラ13が複数存在する場合には、カメラ13のそれぞれが個別のUVW座標系を有することとなるので、画像変換手段32は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させることとなる。
上述の変換は、カメラ13の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、画像変換手段32は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
で表されることとなる。
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から、
で表されることとなる。
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
で表されるものとし、四元数Qの共役四元数は、
で表されるものとする。
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
で表されることとなる。
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
で表されることとなる。
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
で表されることとなり、画像変換手段32は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。なお、カメラ13の光軸が固定である場合には四元数R及びその共役四元数R*は不変であるが、カメラ13の光軸が調整される場合には、四元数R及びその共役四元数R*は再計算される必要がある点に留意すべきである。
四元数Rがカメラ13のそれぞれで不変であることから、空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、画像変換手段32は、カメラ13の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ13の光軸Gとが形成する入射角αを算出する。
また、画像変換手段32は、カメラ13の入力画像平面R3(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P'とを結ぶ線分EP'と、平面HにおけるU'軸とが形成する偏角φ、及び線分EP'の長さを算出する。
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、画像変換手段32は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
その後、画像変換手段32は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R3の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルMD上の座標P(P')と入力画像平面R3上の座標とを対応付けることができる。
なお、入力画像平面R3のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R3のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R3上の座標(u,v)は、
で表されることとなる。
このようにして、画像変換手段32は、空間モデルMD上の座標と、カメラ毎に存在する1又は複数の入力画像平面R3上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R3上の座標を関連付けて入力画像・空間モデル対応マップとして記憶する。
また、画像変換手段32は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、画像変換手段32は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
なお、空間モデルMD上の一座標を複数の入力画像平面上の座標へ対応付けることが可能な場合、画像変換手段32は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面上の座標に対応付けるようにしてもよく、オペレータ18が選択した入力画像平面上の座標に対応付けるようにしてもよく、或いは、視覚補助表示装置16が自動的に選択した入力画像平面上の座標に対応付けるようにしてもよい。
<画像変換手段32による座標間の対応付けについて>
次に、画像変換手段32による座標間の対応付けについて説明する。図7は、画像変換手段による座標間の対応付けについて説明するための図である。図7(A)は、一例として通常射影(h=ftanα)を採用するカメラ13の入力画像平面R3上の座標と空間モデルMD上の座標との間の対応関係を示す図であり、画像変換手段32は、カメラ13の入力画像平面R3上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ13の光学中心Cを通過するようにして両座標を対応付ける。
図7(A)の例において、画像変換手段32は、カメラ13の入力画像平面R3上の座標K1を空間モデルMDの水平面R1上の座標L1に対応付け、カメラ13の入力画像平面R3上の座標K2を空間モデルMDの垂直面R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ13の光学中心Cを通過する。
なお、カメラ13が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像変換手段32は、それぞれの射影方式に応じて、カメラ13の入力画像平面R3上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付けるようにする。
具体的には、画像変換手段32は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ13の光学中心Cを通過することはない。
また、図7(B)は、空間モデルMD上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ13Vの変換後の出力画像平面R4上の座標との間の対応関係を示す図であり、画像変換手段32は、仮想カメラ13Vの変換後の出力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれが仮想カメラ13Vの光学中心CVを通過するようにして、両座標を対応付ける。
図7(B)の例では、画像変換手段32は、仮想カメラ13Vの変換後の出力画像平面R4上の座標N1を空間モデルMDの水平面R1上の座標L1に対応付け、仮想カメラ13Vの変換後の出力画像平面R4上の座標N2を空間モデルMDの垂直面R2上の座標L2に対応付ける。このとき、線分L1−N1及び線分L2−N2は共に仮想カメラ13Vの光学中心CVを通過する。
なお、仮想カメラ13Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像変換手段32は、それぞれの射影方式に応じて、仮想カメラ13Vの変換後の出力画像平面R4上の座標N1、N2を空間モデルMD上の座標L1、L2に対応付けるようにする。
具体的には、画像変換手段32は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、変換後の出力画像平面R4上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分L1−N1及び線分L2−N2が仮想カメラ13Vの光学中心CVを通過することはない。
このようにして、画像変換手段32は、変換後の出力画像平面R4上の座標と、空間モデルMD上の座標とを対応付け、変換後の出力画像平面R4上の座標及び空間モデルMD上の座標を関連付けて空間モデル・変換後の出力画像対応マップとして記憶し、画像変換手段32が記憶した入力画像・空間モデル対応マップを参照しながら、変換後の出力画像における各画素の値と入力画像における各画素の値とを関連付けて変換後の出力画像を生成する。
これにより、視覚補助表示装置16は、スラブ17をあたかも正面(水平方向)から撮像したような視点の画像(以下、「仮想的な水平画像」という)をオペレータ18に提示することができ、ハンドリング部11−2と床面FFとの間の距離をそのオペレータ18に容易に確認させることができ、そのオペレータ18によるハンドリング部11−2の上げ下げの操作を補助することができる。
また、視覚補助表示装置16は、入力画像のうちハンドリング部11−2が存在する部分を仮想的な水平画像としてオペレータ18に提示し、一方で、入力画像の他の部分については、その部分をあたかも鉛直上方から撮像したような画像として操作者に提示することができ、ハンドリング部11−2と床面FF上に存在する物体との間の関係をその操作者に容易に確認させることができ、そのオペレータによるハンドリング部11−2の上げ下げの操作を補助することができる。
<視点変換後の画像(変換画像)生成処理>
次に、視覚補助表示装置16が入力画像を用いて視点変換後の画像(変換画像)を生成する処理(以下、「変換画像生成処理」という)について説明する。図8は、変換画像生成処理の一例を示すフローチャートである。なお、図8は、変換画像生成処理の流れを示すフローチャートであり、カメラ13(入力画像平面R3)、空間モデルMD(水平面R1及び垂直面R2)、並びに仮想カメラ13V(変換後の出力画像平面R4)の配置は予め決定されているものとする。
最初に、変換画像生成処理は、変換後の出力画像平面R4上の座標と空間モデルMD上の座標とを対応付ける(S21)。
具体的には、変換画像生成処理は、仮想カメラ13Vを用いて変換後の出力画像を生成する場合には、採用した射影方式に応じて変換後の出力画像平面R4上の座標から空間モデルMD上の座標を算出し、その対応関係を予め設定された空間モデル・変換後の出力画像対応マップに記憶する。
より具体的には、変換画像生成処理は、通常射影(h=ftanα)を採用する仮想カメラ13Vを用いて変換後の出力画像を生成する場合には、その仮想カメラ13Vの光学中心CVの座標を取得した上で、変換後の出力画像平面R4上の一座標から延びる線分であり、光学中心CVを通過する線分が空間モデルMDと交差する点を算出し、算出した点に対応する空間モデルMD上の座標を、変換後の出力画像平面R4上のその一座標に対応する空間モデルMD上の一座標として導き出し、その対応関係を空間モデル・変換後の出力画像対応マップに記憶する。
その後、変換画像生成処理は、変換後の出力画像平面R4上の全ての座標の値を空間モデル上の座標の値に対応付けたか否かを判断し(S22)、未だ全ての座標の値を対応付けていないと判断した場合(S22において、NO)、S21の処理を繰り返すようにする。
一方、変換画像生成処理は、全ての座標の値を対応付けたと判断した場合(S52において、YES)、上述の処理によって導き出された空間モデルMD上の座標のそれぞれと入力画像平面R3上の座標とを対応付ける(S23)。
具体的には、変換画像生成処理は、通常射影(h=ftanα)を採用するカメラ13の光学中心Cの座標を取得し、上述の処理によって導き出された空間モデルMD上の座標のそれぞれから延びる線分であり、光学中心Cを通過する線分が入力画像平面R3と交差する点を算出し、算出した点に対応する入力画像平面R3上の座標を、その空間モデルMD上の一座標に対応する入力画像平面R3上の一座標として導き出し、その対応関係を予め設定された入力画像・空間モデル対応マップに記憶する。
その後、変換画像生成処理は、上述の処理によって導き出された空間モデルMD上の全ての座標を入力画像平面R3上の座標に対応付けたか否かを判断し(S24)、未だ全ての座標を対応付けていないと判断した場合(S24において、NO)、S23の処理を繰り返すようにする。
一方、変換画像生成処理は、全ての座標を対応付けたと判断した場合(S24において、YES)、入力画像・空間モデル対応マップ及び空間モデル・変換後の出力画像対応マップを参照しながら入力画像平面R3上の座標と空間モデルMD上の座標との対応関係、及び、空間モデルMD上の座標と変換後の出力画像平面R4上の座標との対応関係を辿り、変換後の出力画像平面R4上の各座標に対応する入力画像平面R3上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する変換後の出力画像平面R4上の各座標の値として採用する(S25)。なお、変換後の出力画像平面R4上の一座標に対して1又は複数の入力画像平面R3上の複数の座標が対応する場合、変換画像生成処理は、それら複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、変換後の出力画像平面R4上のその一座標の値としてその統計値を採用するようにしてもよい。
その後、変換画像生成処理は、変換後の出力画像平面R4上の全ての座標の値を入力画像平面R3上の座標の値に関連付けたか否かを判断し(S26)、未だ全ての座標の値を関連付けていないと判断した場合(S26において、NO)、S25の処理を繰り返すようにする。
一方、変換画像生成処理は、全ての座標の値を関連付けたと判断した場合(S26において、YES)、変換後の出力画像を生成し、生成した変換後の出力画像を出力して(S27)、この一連の処理を終了させる。
以上の構成により、視覚補助表示装置16は、ガントリー11の先端に設けられたハンドリング部11−2と床面FFとの間の位置関係をオペレータ18に直感的に把握させることが可能な変換後の出力画像を生成することができ、その変換後の出力画像を提示してそのオペレータ18によるハンドリング部11−2の上げ下げの操作を補助することができる。
また、視覚補助表示装置16は、変換後の出力画像平面R4から空間モデルMDを経て入力画像平面R3に遡るように座標の対応付けを実行することにより、変換後の出力画像平面R4上の各座標を入力画像平面R3上の1又は複数の座標に確実に対応させることができ、入力画像平面R3から空間モデルMDを経て変換後の出力画像平面R4に至る順番で座標の対応付けを実行する場合と比べ、より良質な変換後の出力画像を迅速に生成することができる。
また、視覚補助表示装置16は、変換後の出力画像の視点を変更する場合には、仮想カメラ13Vの各種パラメータの値を変更して空間モデル・変換後の出力画像対応マップを書き換えるだけで、入力画像・空間モデル対応マップの内容を書き換えることなく、所望の視点から見た変換後の出力画像(視点変換画像)を生成することができる。
なお、上述の例では、カメラ13から撮影位置から平面の視点に変換した例を示したが本発明においてはこれに限定されるものではなく、例えば同様の観点に基づいて垂直方向からの視点変換も同様の手法を適用することができる。これにより、オペレータ16に対してより見やすい映像を提供することができる。
また、上述した各種対応マップ等については、例えば画像変換手段32内のメモリに記憶されていてもよく、新たに蓄積手段を設けて蓄積させてもよい。また、上述の視点変換では、正面(水平)方向に視点変換する例を示しているが、本発明においては、上述した変換手法を用いて上(垂直)方向からの視点に変換させることができる。更に、上述した視点変換は、複数のカメラから得られる複数の画像を合成した合成画像を用いることもできる。
<画像変換後の画像例>
ここで、第1の実施例における画像変換後の画像例について図を用いて説明する。図9は、第1の実施例における画像変換後の画像例について説明するための図である。なお、図9(A)は、カメラ13から撮影される元画像の一例を示し、図9(B)は、カメラ13からの画像を正面視点に変換した画像の一例を示している。また、図9の例では、吊荷として上述したスラブ17を模した擬似的なスラブを用いている。
上述したように、スラブ17の上方から図9(A)に示すように撮影されるため、側面のスラブ17の識別情報を容易に確認することができない場合がある。そこで、第1の実施例では、上述したように正面(水平方向)視点となるように視点変換を行うことにより、図9(B)に示すような画像を取得することができる。第1の実施例では、図9(B)に示すような画面を表示手段22に表示させることで、オペレータ19は、スラブ17の積み重なり状態や、搬送対象のスラブ17(吊荷)がどこにあるかを容易に把握することができる。
<表示手段22に表示される画面例>
次に、表示手段22に表示される画面例について図を用いて説明する。図10は、表示手段に表示される画面例について説明するための図である。図10に示す表示画面40は、と、切り出し領域表示領域(第1表示領域)41と、縮小画像表示領域(第2表示領域)42と、元画像表示領域(第3表示領域)43と、カメラパラメータ表示領域44と、切り出し位置指定領域45を有するよう構成されている。
切り出し領域表示領域41は、例えば上述した変換画像に対して予め設定された一部の領域(例えば、注視領域等)を表示する。なお、一部の領域は、例えば切り出し位置指定領域45により設定された領域でもよく、予め固定に設定された領域(例えば、画像の下方領域)であってもよい。更に、切り出し領域表示領域41は、例えば切り出し位置指定領域45により設定された領域に対応させて表示できる領域を変更してもよい。その場合には、例えば表示手段22の画面サイズや解像度に応じて他の領域が1画面に含まれるように相対的に変更される。つまり、第1の実施例では、切り出し位置指定領域45により設定された領域の大きさと表示画面40の画面サイズとに基づいて、1つの画面で表示できるように、少なくとも切り出し領域表示領域41及び縮小画像表示領域42の表示面積を変更可能にする。
縮小画像表示領域42は、予め設定された領域に合わせて変換画像を縮小し、変換画像の全体を領域内に表示する。なお、縮小画像表示領域42に表示される画像は、上述した図9(B)に相当する。
なお、本実施形態では、上述した表示処理を行うことにより、変換画像として、少なくとも切り出し領域表示領域41や縮小画像表示領域42がオペレータ18に確認できるように、1つの表示画面40に表示させるようにする。なお、本発明においては、上述した1つの画面に限定されるものではなく、例えば各領域を確認できるそれぞれの画面を生成して表示させてもよい。
元画像表示領域43は、カメラ13が撮影した画像(元画像)であり、視点変換する前の撮像画像を表示する。なお、元画像表示領域43に表示される画像は、上述した図9(A)に相当する。
カメラパラメータ表示領域44は、カメラパラメータ(具体的には、3次元(XYZ)の座標及び角度等の姿勢情報や、レンズ等の光学系パラメータ、視点変換時に用いられるテーブル(マップ)の設定、更新等を行う領域である。
切り出し位置指定領域45は、切り出し領域表示領域41に所定の領域(例えば、注視領域)を表示させるための領域であり、図10の例では、縮小画像表示領域42上に枠状に表示されている。オペレータ18は、表示画面40に表示される切り出し位置指定領域45を、例えば画面に表示されるカーソル等を用いて移動させることで、所定の切り出し表示位置を設定することができる。なお、本発明においてはこれに限定されるものではなく、例えば表示手段22がタッチパネル機能を有する場合には、そのタッチパネルを用いてオペレータ18が指等を用いて切り出し位置を設定することができる。
図10の表示画面40に示すように、上述した本実施例を適用することで、元画像のみでは見えにくいスラブ17の側面の識別情報を高精度に把握することができる。また、本実施形態では、縮小画像表示領域42に対して切り出し領域を設定することができ、切り出し位置指定領域45の位置や範囲をオペレータ18が操作手段15や画面上(タッチパネル)を用いて指定することにより、指定した部分を切り出して切り出し領域表示領域41に表示させることができる。これにより、オペレータ18は、より明確に必要な情報を取得することができ、搬送対象のスラブ17に対し、トロリー11−1を移動させ、ハンドリング部11−2により把持し、目的の場所に移動させることができる。
なお、第1の実施例においては、少なくとも切り出し領域表示領域41と、縮小画像表示領域とが表示されているのが好ましく、例えば元画像表示領域43やカメラパラメータ表示領域44は表示されなくてもよい。
<第2の実施例>
ここで、上述した実施例では、1台のカメラ13を用いて得られた画像に対して視点変換等の画像変換を行い、その結果から得られる変換画像等を用いて表示等を行ったが、本発明においてはこれに限定されるものではない。例えば、上述した視点変換は、複数のカメラから得られる複数の画像に対してそれぞれの注視領域に基づいて視点変換等を行い、変換された画像を部分的に合成して1つの合成画像を生成してもよい。
これにより、例えば多段に積み重なったスラブ17については、下方のスラブの識別情報が読みにくい場合には、1つのカメラからでは見えないフラグの下方の領域について拡大させて撮影可能な望遠レンズ付カメラを併設して同一平面に視点変換し、得られた変換画像を合成することで、よりオペレータに見やすい画像を提供することができる。上述した内容を第2の実施例として図を用いて説明する。
図11は、第2の実施例におけるクレーンシステムの概略構成例を説明するための図である。なお、図11に示すクレーンシステムについて、上述した図1に示す天井クレーンと同様の構成については、同一符号を付するものとし、ここでの具体的な構成は省略する。
図11(A)に示す天井クレーンシステム10は、ガントリー11と、ガーダー12と、複数のカメラ13(図11(A)の例では、カメラ13−1,13−2)と、ランウェイ14と、操作手段15と、視覚補助表示装置50とを有するよう構成されている。
第2の実施例において、2台のカメラ13−1,13−2は、両方とも異なるカメラパラメータを用いてもよく、また同一のカメラパラメータを用いてもよい。したがって、2台のカメラ13−1,13−2のうち、一方のカメラ(例えば、カメラ13−1)を広域カメラとし、もう一方のカメラ(例えば、カメラ13−2)を詳細(拡大・望遠)カメラとすることができる。これにより、詳細カメラで撮影した画像を用いてスラブ17の下方の側面の識別情報を読み取ることで、より鮮明な画像を表示することができる。なお、本発明においてはこれに限定されるものではなく、複数のカメラを詳細カメラ又は広域カメラにしてもよい。また、2台のカメラ13−1,13−2が同一のカメラパラメータを用いる場合には、例えば1台のカメラでは画角等不十分な場合に補助的に2台目カメラを用いるといった対応が可能となる。
したがって、例えば、図11(B)に示すように、例えば20段(例えば、識別情報C−1〜C−20)に積み重なったスラブ17については、例えば多段スラブの上段(例えば、「C−1」〜「C−12」)と下段(例えば、「C−13」〜「C−20」)について、別々のカメラで撮影した画像を合成することで、より高精細な画像を表示させることができ、オペレータ18に対する視覚補助をより高精度に行うことができる。
なお、第2の実施例におけるカメラの配置については、座標情報の差があまりでないようにするため、例えば図11(C)に示すように、カメラ13を上下に重ねて配列されていることが好ましいが、本発明においてはこれに限定されるものではない。また、複数のカメラのうち、広域カメラと詳細カメラのどちらを下に配置するかについても、特に限定されるものではない。また、配置方法は、上下に限定されるものではなく、例えば左右に配置されてもよく、重ねて配置されていなくてもよい。またそれぞれのカメラ13は、一体で移動されることが好ましいが、本発明においてはこれに限定されるものではなく、それぞれのカメラ13が、他のカメラと別々に移動できるように構成されていてもよい。
<視覚補助表示装置50の機能構成例>
次に、上述したクレーン用表示装置としての視覚補助表示装置50の機能構成例について図を用いて説明する。なお、以下の説明では、2台のカメラを有する例について説明するが、本発明においてはこれに限定されるものではなく、例えば3台以上のカメラを有していてもよい。図12は、第2の実施例における視覚補助表示装置の機能構成の一例を示す図である。なお、図12に示す視覚補助表示装置50については、上述した視覚補助表示装置16と同一の構成については、同一符号を付するものとし、ここでの具体的な説明は省略する。
図12に示す視覚補助表示装置50は、情報処理装置51と、視覚補助表示装置22とを有するよう構成されている。情報処理装置51は、パラメータ設定手段31と、画像変換手段32と、縮小画像生成手段33と、表示位置指定手段34と、画像切り出し手段35と、画面生成手段36と、画像合成手段52とを有するよう構成されている。
パラメータ設定手段31は、画像変換手段32−1,32−2にそれぞれ入力されるカメラ13−1,13−2からの画像を変換するパラメータを設定する。具体的には、パラメータ設定手段31は、例えば各カメラが撮影する注視領域に対応する位置情報、角度情報等の姿勢情報や、レンズ等の光学系のパラメータ(例えば、倍率等)等を入力する。なお、各種パラメータの入力は、オペレータ18等による操作手段15の操作により行われてもよく、視覚補助表示装置16内に専用の操作手段を設けてもよく、更に予め設定されていてもよい。なお、パラメータ設定手段31は、上述したパラメータをカメラ13−1,13−2に直接出力してもよい。
画像変換手段32−1,32−2は、それぞれに割り当てられたカメラ13−1,13−2から取得した映像に含まれる画像フレームに対し、上述したパラメータに基づいて画像変換を行う。なお、画像変換手段32−1,32−2は、スラブ17を正面(水平方向)から見えるように上述した手法を用いてカメラ13−1,13−2から得られるそれぞれの画像に対して、例えば視点変換等の画像の変換を行う。なお、画像変換手段32−2,32−2は、図12に示すようにカメラ毎に設けられていてもよく、また1つの画像変換手段で複数のカメラからの画像に対する視点変換等を行ってもよい。
また、画像変換手段32−1,32−2は、上述した画像処理の他にも、例えばレンズ歪みの補正(光学モデルによる歪み補正)や予め設定されたフィルタによる平滑化等を行ってもよい。
画像合成手段52は、視点変換された2つの変換画像をお互いの画像の座標情報や角度情報等の姿勢情報等に基づいて合成を行う。具体的には、画像合成手段52は、カメラ13−1,13−2から得られる複数の画像に対して、画像変換手段32−1,32−2によりそれぞれの注視領域に基づいて視点変換された画像を部分的に合成して1つの合成画像を生成する。例えば、画像合成手段52は、広域カメラ(例えば、カメラ13−1)により撮影された画像の視点変換後の画像に対して、詳細カメラ(例えば、カメラ13−2)により撮影された画像の視点変換後の画像の下方スラブ17の撮影部分の予め設定された領域(注視領域)を抽出し、その抽出した画像から得られる座標に合わせて合成する。
ここで、上述した合成手法の具体例としては、例えばカメラパラメータを正確に指定できれば、各映像の座標系が統一されるため、重複領域(複数のカメラに写っている領域)で、どのカメラの映像を表示するのかを指定することで合成画像が出力される。重複領域の選択方法としては、より解像度の高い方のカメラを選択する方法や、撮像領域からカメラまでの距離が近いものを選択する方法、投影面からの角度が実角度に近いものを選択する方法、また、上述した複数の選択方法から選択的に決定する方法等を用いることができるが、これに限定されるものではない。
なお、カメラ性能等の差異により、複数のカメラ13から得られる画像の輝度に誤差が生じる場合がある。その場合、合成した画像の境界付近の画像の輝度差が目立つ場合がある。そこで、画像合成手段52は、例えば、境界付近の画素値同士を比較し、所定数以上の差があった場合には、それらの画素を平均化し、平均化した画素を重ねることで、合成部の境界を目立ちにくくするような補正処理を行ってもよい。
縮小画像生成手段33は、画像合成手段52により得られる合成画像に基づいて、上述したように、合成画像全体を縮小する処理を行う。縮小画像生成手段33は、得られた縮小画像を画面生成手段36に出力する。
表示位置指定手段34は、画像合成手段52より得られた合成画像に対して上述したように一部の領域を表示するための表示位置(領域)の指定を行う。
画像切り出し手段35は、画像合成手段52より得られた合成画像に対して、表示位置指定手段34により指定された位置の画像を切り出す。また、画像切り出し手段35は、切り出した画像を画面生成手段36に出力する。
画面生成手段36は、カメラ13から得られる元画像と、縮小画像生成手段33により得られる縮小画像と、画像切り出し手段35により得られる切り出し画像とを入力し、入力された画像のうち、上述した第1の実施例と同様に少なくとも1つの画像を有する表示画面を生成する。なお、表示される画面のレイアウトは、オペレータ18により指定可能にしてもよく、また、予め設定されていてもよいが、生成される表示画面には、上述の視点変換された画像が含まれることが好ましい。画面生成手段36は、生成された画像を表示手段22に出力する。
表示手段22は、画面生成手段36により得られる画面等を表示する。なお、第2の実施例において、例えば3台以上のカメラを設置し、それぞれのカメラから画像データを取得する場合には、例えば各カメラに予め割り当てられた注視領域の撮影画像に対応する座標情報に基づいて、他の画像と合成して1つの画像を生成してもよく、また例えば3台以上のカメラのうちの2つを選択し、その選択されたカメラを用いて上述した画像合成処理を行ってもよい。
<視覚補助表示装置50における表示処理手順>
次に、上述したクレーン用表示装置としての視覚補助表示装置50における表示処理手順の一例について、フローチャートを用いて説明する。図13は、第2の実施例における表示処理手順の一例を示すフローチャートである。なお、以下の説明では、2台のカメラを「カメラ1」、「カメラ2」と簡略化して説明するが、これらは、上述したカメラ13−1と、カメラ13−2に相当する。
図13に示すフローチャートにおいて、表示処理は、まずオペレータ18等により設定されたカメラ1,2に対して設定されたカメラのパラメータ等を入力し(S31)、オペレータ18等の指示により所定位置(例えば、スラブ17周辺)に対するカメラ13−1,13−2での撮像を開始する(S32)。なお、S31の処理におけるパラメータ等は、予め設定されている場合には、改めて入力しなくてもよい。カメラ13−1,13−2は、上述したガントリー11等と共に移動可能であり、天井クレーンシステム10内を所定速度で移動しながらスラブ17周辺を撮影することができる。
次に、表示処理は、カメラ13−1の画像(映像も含む)を取得し(S33)、取得した画像に対して上述したような画像変換を行う(S34)。また、表示処理は、上述したS33,34の処理と平行してカメラ13−2の画像(映像も含む)を取得し(S35)、取得した画像に対して上述したような画像変換を行う(S36)。
次に、表示処理は、2つの変換画像を合成し(S37)、合成画像に対して所定の倍率等で縮小する(S38)。また、表示処理は、例えばオペレータ18等から入力された表示対象である切り出し位置を取得し(S39)、取得した切り出し位置に基づいて変換画像の切り出しを行う(S40)。
次に、表示処理は、S32の処理により得られるカメラ13−1からの撮影画像、S38の処理により得られる縮小画像、S40の処理により得られる切り出し画像のうち、少なくとも1つの画像を用いた画面を生成し(S41)、生成した画面を表示手段22等に出力する(S42)。
ここで、表示処理は、画像表示を終了するか否かを判断し(S43)、画面表示を終了しない場合(S43において、NO)、S33の処理に戻る。また、表示処理は、S43の処理において、例えばオペレータ18等の指示等により画像表示を終了する場合(S43において、YES)、カメラ13における撮像を終了し(S44)、表示処理を終了する。
<画像合成後の画像例>
ここで、第2の実施例における画像合成後の画像例について図を用いて説明する。図14は、第2の実施例における画像合成後の画像例について説明するための図である。なお、図14(A)は、カメラ13−1から撮影される元画像の一例を示し、図14(B)は、合成画像の一例を示している。また、図14の例では、吊荷として上述したスラブ17を模した擬似的なスラブを用いている。
例えば、第2の実施例では、図14(A)に示すようにカメラ13−1,13−2からそれぞれの注視領域を基準に撮影された画像に対して、それぞれ正面視点となるように視点変換され、その視点変換後のそれぞれの画像を、画像の座標に対応させて合成することで、図14(B)に示すような合成画像50を得ることができる。
つまり、合成画像60は、例えば広域カメラ(例えば、カメラ13−1)で得られた画像に対して視点変換された画像61の下方の領域に対して、詳細カメラ(例えば、カメラ13−2)で得られた画像62が合成されている。なお、図14(B)の例では、説明の便宜上、合成部分の境界53を示しているが、実際の合成画像には、境界53を設けていなくてもよい。
このように、広域カメラの画像を用いることで、積み重ねられたスラブ17を把握することができ、更に、詳細カメラの画像を用いることで、スラブ17の識別情報を鮮明に表示させることができる。これにより、オペレータ18は、搬送対象のスラブ17の位置を容易且つ確実に取得することができる。
つまり、第2の実施例によれば、単一のカメラではカバーできない領域や識別情報等を複数のカメラを設置して、その画像を同一平面で取り扱うことにより、吊荷をハンドリング部11−2によりハンドリングするために直感的に分かり易い映像を1つの画面内で表現することができる。
ここで、第2の実施例において表示手段22に表示される画面例については、上述した図10に示す表示画面40と同様であるため、ここでの具体的な説明は省略する。なお、第2の実施例において、切り出し領域表示領域41に表示される画像や、縮小画像表示領域42に表示される画像は、上述した合成画像が基準となる。また、元画像表示領域43には、複数のカメラから撮影されたそれぞれの元画像が表示される。また、カメラパラメータ表示領域44は、複数のカメラ(例えば、カメラ13−1,13−2)に対するカメラパラメータの設定、更新等を行う領域である。
第2の実施例により、オペレータ18は、より明確に必要な情報を取得することができ、搬送対象のスラブ17に対し、ガントリー11を移動させ、ハンドリング部11−2により把持し、目的の場所に移動させることができる。
なお、複数のカメラからの映像を表示する場合、従来では、カメラ数に対応させたモニタを用意し、対応するモニタ画面にカメラ映像を表示することがあるが、このような場合には、モニタが複数必要となり、更に注視領域がそれぞれの画面に分散してしまう。そのため、オペレータ18は、吊荷の確認を容易に行うことができず、クレーン操作に支障をきたす可能性がある。また、複数の映像を1つのモニタを分割して同時に表示する方法も考えられるが、複数のカメラ映像を1つの画面に表示する場合には、解像度を圧縮することになり、注視したい領域の画像の鮮明さを損なうことになる。そこで、上述した第2の実施例に示すように複数の画像から視点変換を行い、変換した画像を合成して画面に表示することで、オペレータ18が最も注視すべき画像を表示することができる。つまり、第2の実施例によれば、複数のカメラ映像を用いて生成される合成映像で、吊荷全体の様子を1画面で表示しながら、注視領域での解像度を失わずに、吊荷の確認を容易に行うことができ、これによりオペレータ18のクレーン操作を補助することができる。
上述したように、本発明によれば、クレーン操作者(オペレータ)が作業場所から画面を用いて吊荷の確認を容易に行うことができる。つまり、本発明によれば、天井クレーン等による吊荷周辺(作業部周辺)の確認を容易に行うことができ、オペレータの負担を軽減し、高精度なクレーン操作を実現することができる。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。