JP2018186574A - ショベル - Google Patents

Abstract

【課題】ショベルに比較的近い地物、すなわち、接触の可能性が比較的高い地物をより認識し易くすることができるショベルを提供すること。【解決手段】本発明の実施例に係るショベル６０は、下部走行体６１と、下部走行体６１に旋回自在に搭載された上部旋回体６３と、上部旋回体６３に配置された複数のステレオカメラ６と、を有する。【選択図】図１

Description

本発明は、二次元配列の距離情報を利用して出力画像を生成するショベルに関する。

従来、ショベルの上部旋回体に取り付けられるレーザレーダを用いて、ショベルの周囲に存在する物体のショベルに対する距離及び方向を取得しながら周囲を監視する周囲監視装置が知られている（例えば、特許文献１参照。）。

この周囲監視装置は、物体のショベルに対する距離及び方向が所定時間にわたって変化しない場合にその物体を静止障害物と判定し、距離及び方向が変化する場合にその物体を移動障害物と判定する。その上で、周囲監視装置は、ショベル及びその周囲を上空から見たイラスト画像を生成し、障害物の実在位置に対応するイラスト画像上の位置にその障害物を表すイラストを表示する。また、周囲監視装置は、静止障害物と移動障害物とを異なる態様のイラストで表示する。

このようにして、周囲監視装置は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えることができるようにしている。

特開２００８−１６３７１９号公報

しかしながら、特許文献１に記載のレーザレーダは、１本のレーザ光を物体に照射し、その反射光から物体の距離及び方向を検出する。そのため、特許文献１に記載のレーザレーダは、物体表面の極めて限られた部分と自身との間の距離を検出するのみであり、その検出結果は、物体を表すイラストの位置を大まかに決めるために利用されるのみである。したがって、特許文献１に記載の周囲監視装置が提示する出力画像は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えるには未だ不十分である。

上述の点に鑑み、本発明は、ショベルに比較的近い地物、すなわち、接触の可能性が比較的高い地物をより認識し易くすることができるショベルを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回自在に搭載された上部旋回体と、前記上部旋回体に配置された複数のステレオカメラと、を有する。

上述の手段により、本発明は、ショベルに比較的近い地物、すなわち、接触の可能性が比較的高い地物をより認識し易くすることができるショベルを提供することができる。

本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 出力画像の表示例（その１）である。 画像生成装置が搭載されるショベルの上面図（その１）である。 ショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。 ２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止する画像消失防止処理を説明するための図である。 図１２で示される出力画像と、図１２の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図である。 ショベルに搭載された３台のステレオカメラのそれぞれの入力距離画像と、それら入力距離画像を用いて生成される出力距離画像とを示す図である。 図１５で示される出力距離画像と、図１５の出力距離画像に距離画像消失防止処理を適用することで得られる出力距離画像との違いを表す対比図である。 出力画像に出力距離画像を合成して得られる合成後出力画像の一例を示す図である。 出力画像に出力距離画像を合成して得られる合成後出力画像の別の一例を示す図である。 画像生成装置を搭載するショベルの部分右側面図である。 図１９における隆起部の拡大図である。 出力距離画像の例を示す図である。 出力画像の例を示す図である。 第１画素抽出処理の流れを示すフローチャートである。 画像生成装置を搭載するショベルの部分右側面図である。 図２４における浅陥没部の拡大図である。 出力距離画像の例を示す図である。 出力画像の例を示す図である。 第２画素抽出処理の流れを示すフローチャートである。 運転支援処理の流れを示すフローチャートである。 画像生成装置が搭載されるショベルを示す図である。 補正前出力距離画像と補正済出力距離画像との違いを表す対比図である。 補正前合成後出力画像と補正済合成後出力画像との違いを表す対比図（その１）である。 補正前合成後出力画像と補正済合成後出力画像との違いを表す対比図（その２）である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例に係る画像生成装置１００の構成例を概略的に示すブロック図である。

画像生成装置１００は、作業機械の周辺を監視する作業機械用周辺監視装置の１例であり、制御部１、カメラ２、入力部３、記憶部４、表示部５、及びステレオカメラ６で構成される。具体的には、画像生成装置１００は、作業機械に搭載されたカメラ２が撮像した入力画像とステレオカメラ６が出力する入力距離画像とに基づいて出力画像を生成しその出力画像を操作者に提示する。

図２は、画像生成装置１００が搭載される作業機械としてのショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。

また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）及びステレオカメラ６（右側方ステレオカメラ６Ｒ、後方ステレオカメラ６Ｂ）を備えている。なお、キャブ６４内の操作者が視認し易い位置には表示部５が設置されている。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０、画像生成手段１１、画素抽出手段１２、距離補正手段１３、距離画像合成手段１４、及び、運転支援手段１５のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。

カメラ２は、ショベル６０の周囲を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる操作者の死角となる領域を撮像できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。

入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、ショベル６０のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。

ステレオカメラ６は、ショベル６０の周囲に存在する物体の距離情報の二次元配列を取得するための装置であり、例えば、キャブ６４にいる操作者の死角となる領域を撮像できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）。なお、ステレオカメラ６は、上部旋回体６３の前面、左側面、右側面、及び後面のうちの何れか１つに取り付けられていてもよく、全ての面に取り付けられていてもよい。

ステレオカメラ６は、複数台のカメラの撮像機能を備える装置である。本実施例では、ステレオカメラ６は、２台のカメラの撮像機能を一体的に備える装置であり、２組の撮像機構（撮像素子とレンズ機構との組み合わせ）と、１つの共用シャッタ機構とを１つの筐体内に備える。但し、ステレオカメラ６は、別個独立の複数台のカメラによって構成されてもよい。

また、ステレオカメラ６における複数組の撮像機構は、互いに所定の間隔を空けて配置される。本実施例では、２組の撮像機構は、縦方向（鉛直方向）に所定の間隔を空けて並置される。なお、２組の撮像機構は、横方向（水平方向）に所定の間隔を空けて並置されてもよく、縦方向（鉛直方向）及び横方向（水平方向）のそれぞれで所定の間隔を空けて並置されてもよい。

また、ステレオカメラ６は、カメラ２が画素毎に輝度、色相値、彩度値等を取得するのに対し、画素毎に距離情報を取得する。本実施例では、ステレオカメラ６は、２組の撮像機構のそれぞれが出力する画像間の視差に基づいて、１つの撮像機構が出力する画像（以下、「基本画像」とする。）の各画素に写る物体とステレオカメラ６との間の距離を導き出す。そして、ステレオカメラ６は、基本画像の各画素の値にその導き出した距離を代入して二次元配列の距離情報を生成し、制御部１に対して出力する。そのため、以下では、ステレオカメラ６による二次元配列の距離情報は、カメラ２の入力画像、出力画像と対比させ、入力距離画像、出力距離画像と称する。また、ステレオカメラ６の入力距離画像、出力距離画像の解像度（画素数）は、カメラ２の入力画像、出力画像における解像度と同じであってもよく、異なるものであってもよい。また、カメラ２の入力画像、出力画像における１又は複数の画素と、ステレオカメラ６の入力距離画像、出力距離画像における１又は複数の画素とは予め対応付けられていてもよい。また、入力距離画像は、ステレオカメラ６の各撮像機構が出力する複数の画像に基づいて制御部１が生成してもよい。

また、ステレオカメラ６を構成する複数の撮像機構のそれぞれの入力画像平面は、望ましくは互いに平行であり、最も望ましくは同一平面を形成する。視差から距離を導き出すための処理が容易且つ高精度に行われ得るためである。

また、ステレオカメラ６は、カメラ２と同様、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。

また、ステレオカメラ６は、カメラ２と同様、制御部１からの制御信号に応じて入力距離画像を取得し、取得した入力距離画像を制御部１に対して出力する。なお、ステレオカメラ６は、カメラ２と同様、魚眼レンズ又は広角レンズを用いて入力距離画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力距離画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力距離画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。

また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の地物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。

画像生成装置１００は、入力距離画像についても同様の処理を行う。その場合、処理対象画像は、処理対象距離画像で読み替えられる。以下の記載においても同様である。

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。）を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。

なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。

図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。

図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。

また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。

次に、制御部１が有する各種手段について説明する。

座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。

なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。

また、座標対応付け手段１０は、ステレオカメラが出力する入力距離画像に対しても同様の処理を行う。その場合、カメラ、入力画像平面、処理対象画像平面は、ステレオカメラ、入力距離画像平面、処理対象距離画像平面で読み替えられる。以下の記載においても同様である。

画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

また、画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。

また、画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。

また、画像生成手段１１は、入力距離画像又は処理対象距離画像に対しても同様の処理を行う。その場合、出力画像平面は、出力距離画像平面で読み替えられる。以下の記載においても同様である。

画素抽出手段１２は、ステレオカメラ６の入力距離画像から所定の条件を満たす画素を抽出するための手段である。例えば、画素抽出手段１２は、入力距離画像における、ショベル６０の周囲の地物とステレオカメラ６との間の距離を表す画素値を有する画素から所定の条件を満たす画素を抽出する。

具体的には、画素抽出手段１２は、ショベル６０が位置する平面（以下、「設置面」とする。）とステレオカメラ６との間の距離（以下、「設置面距離」とする。）との差が所定距離以上となる画素を抽出する。なお、設置面は、傾斜面であってもよい。また、設置面距離は、ステレオカメラ６の設置位置及び設置角度に基づいて、ステレオカメラ６の入力距離画像における画素毎に予め設定される。そして、画素抽出手段１２は、抽出しなかった画素の画素値を所定値（例えば、最小値としてのゼロである。）で置き換え、抽出した画素の画素値をそのまま維持することによって入力距離画像を補正する。なお、画素抽出手段１２についてはその詳細を後述する。

距離補正手段１３は、ステレオカメラが取得する距離情報を補正するための手段である。例えば、距離補正手段１３は、画素抽出手段１２が抽出した画素の値を補正する。具体的には、距離補正手段１３は、ショベル６０の周囲の地物とステレオカメラ６との間の距離を表す画素の値を、ステレオカメラ６の外部にある基準とその地物との間の距離を表す値に補正する。また、距離補正手段１３は、画素抽出手段１２による抽出の前に、ステレオカメラ６が出力する入力距離画像における画素の値を補正してもよい。なお、距離補正手段１３についてはその詳細を後述する。

距離画像合成手段１４は、カメラに関する画像と、ステレオカメラに関する画像とを合成するための手段である。例えば、距離画像合成手段１４は、画像生成手段１１が生成した、カメラ２の入力画像に基づく出力画像と、ステレオカメラ６の入力距離画像に基づく出力距離画像とを合成する。出力距離画像は、画素抽出手段１２による抽出、及び、距離補正手段１３による補正の少なくとも一方が施された後の出力距離画像である。但し、出力距離画像は、画素抽出手段１２による抽出、及び、距離補正手段１３による補正が施される前の出力距離画像であってもよい。なお、距離画像合成手段１４についてはその詳細を後述する。

運転支援手段１５は、ショベル６０の運転を支援する手段である。例えば、運転支援手段１５は、ショベル６０の移動方向に所定の地物が存在すると判定した場合にショベル６０の運転を支援する機能を実行する。

「所定の地物」は、例えば、ショベル６０と衝突するおそれのある作業員等の人物、ショベル６０の移動を阻む障害物、ショベル６０を滑落、転倒、或いは立ち往生させるおそれのある崖、陥没部、斜面、穴等を含む。

運転を支援する機能（以下、「運転支援機能」とする。）は、例えば、警報の出力、表示部５における警告の表示、警告灯の点灯・点滅、ショベル６０の減速、ショベル６０の走行速度の制限、ショベル６０の走行の停止等を含む。

具体的には、運転支援手段１５は、ショベル６０が移動（後退）しているときにショベル６０の移動方向（後方）に崖があると判定した場合に、表示部５に崖の存在を知らせる警告を表示する。なお、ショベル６０の移動方向は、例えば、操作レバーの操作内容（例えば、操作方向、操作量等である。）に基づいて検出される。

また、運転支援手段１５は、ショベル６０と崖との間の距離が短くなるにつれてショベル６０の移動（後退）速度を低下させてもよく、ショベル６０と崖との間の距離が所定距離以下となった場合にショベル６０の移動（後退）を停止させてもよい。

また、運転支援手段１５は、ステレオカメラ６の出力に基づいて、所定の地物が存在するか否かを判定する。例えば、運転支援手段１５は、設置面から所定距離以上の深さを有する地物がステレオカメラ６によって検出された場合に、ショベル６０を滑落させるおそれのある陥没部が存在すると判定する。また、運転支援手段１５は、入力距離画像に基づいて算出される実際の陥没部の深さ、開口面積、幅、及び奥行きの少なくとも１つが所定の条件を満たす場合に限り、ショベル６０を滑落させるおそれのある陥没部が存在すると判定してもよい。また、運転支援手段１５は、入力距離画像における所定方向（ショベル６０の移動方向）に沿った画素値の増加勾配に基づいて、ショベル６０を滑落させるおそれのある陥没部が存在するか否かを判定してもよい。

或いは、運転支援手段１５は、設置面から所定距離以上の高さを有する地物がステレオカメラ６によって検出された場合に、ショベル６０と衝突するおそれのある障害物が存在すると判定してもよい。また、運転支援手段１５は、入力距離画像における所定方向（ショベル６０の移動方向）に沿った画素値の減少勾配に基づいて、ショベル６０と衝突するおそれのある障害物が存在するか否かを判定してもよい。

次に、座標対応付け手段１０及び画像生成手段１１による具体的な処理の一例について説明する。

座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。

図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、座標対応付け手段１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。

なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表されることとなり、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。

空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。

また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。

なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａ_Ｕとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａ_Ｖとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、

で表されることとなる。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。

また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。

次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。

図６は、座標対応付け手段１０による座標間の対応付けを説明するための図であり、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であって、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。

図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。

なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。

図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。

図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。

なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。

このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。

図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図６（Ｃ）の例では、画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。

具体的には、画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。

このようにして、画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。

次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。

図７（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図７（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７（Ａ）及び図７（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし、図７（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、この場合のＺ軸を「再投影軸」と称することとする。

図７（Ａ）及び図７（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。

次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。

図８（Ａ）は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図であり、図８（Ｂ）は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８（Ａ）及び図８（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし（図８（Ａ）の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。）、図８（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、図７と同様、この場合のＺ軸を「再投影軸」と称することとする。

図８（Ａ）及び図８（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。

これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。

このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する地物（ショベル６０から水平方向に周囲を見たときの画像における地物）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。

次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。

最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。

具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出し、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。

また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。

その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。

具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。

その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。

一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。

具体的には、画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。

或いは、画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

或いは、画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出し、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。

その後、制御部１は、画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。

なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。

以上の構成により、画像生成装置１００は、ショベル６０の周囲の地物とショベル６０との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。

また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。）、より良質な処理対象画像を迅速に生成することができる。

また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。

また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。

同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

図１０は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。

画像生成装置１００は、それら二台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示している。

なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成されるものとする。

また、出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。

なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に地物（例えば、作業員である。）が存在する場合にその地物が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。

更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。ショベル６０と出力画像に現れる地物との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。

次に、図１１〜図１８を参照しながら、画像生成装置１００が生成する出力画像の詳細について説明する。

図１１は、画像生成装置１００を搭載するショベル６０の上面図である。図１１に示す実施例では、ショベル６０は、３台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）と３台のステレオカメラ６（左側方ステレオカメラ６Ｌ、右側方ステレオカメラ６Ｒ、及び後方ステレオカメラ６Ｂ）とを備える。なお、図１１の一点鎖線で示す領域ＣＬ、ＣＲ、ＣＢは、それぞれ、左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像範囲を示す。また、図１１の点線で示す領域ＺＬ、ＺＲ、ＺＢは、それぞれ、左側方ステレオカメラ６Ｌ、右側方ステレオカメラ６Ｒ、後方ステレオカメラ６Ｂの撮像範囲を示す。

なお、本実施例では、ステレオカメラ６の撮像範囲がカメラ２の撮像範囲よりも狭いが、ステレオカメラ６の撮像範囲は、カメラ２の撮像範囲と同じでもよく、カメラ２の撮像範囲より広くてもよい。また、ステレオカメラ６の撮像範囲は、カメラ２の撮像範囲内において、ショベル６０の近傍に位置するが、ショベル６０からより遠い領域にあってもよい。

図１２は、ショベル６０に搭載された３台のカメラ２のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。

画像生成装置１００は、３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。また、画像生成装置１００は、生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。その結果、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する。なお、出力画像の中央に表示される画像は、ショベル６０のＣＧ画像６０ＣＧである。

図１２において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域内に人物を捉えている（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）。

しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複領域内の人物を消失させてしまう（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。

そこで、画像生成装置１００は、重複領域に対応する出力画像部分において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域とを混在させ、重複領域内の物体が消失するのを防止する。

図１３は、２つのカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止する画像消失防止処理を説明するための図である。

図１３（Ａ）は、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に対応する出力画像部分を示す図であり、図１２の点線で示す矩形領域Ｒ１３に対応する。

また、図１３（Ａ）において、灰色で塗り潰された領域ＰＲ１は、後方カメラ２Ｂの入力画像部分が配置される画像領域であり、領域ＰＲ１に対応する出力画像平面上の各座標には後方カメラ２Ｂの入力画像平面上の座標が対応付けられる。

一方、白色で塗り潰された領域ＰＲ２は、右側方カメラ２Ｒの入力画像部分が配置される画像領域であり、領域ＰＲ２に対応する出力画像平面上の各座標には右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる。

本実施例では、領域ＰＲ１と領域ＰＲ２とが縞模様を形成するように配置され、領域ＰＲ１と領域ＰＲ２とが縞状に交互に並ぶ部分の境界線は、ショベル６０の旋回中心を中心とする水平面上の同心円によって定められる。

図１３（Ｂ）は、ショベル６０の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ２Ｂ及び右側方カメラ２Ｒの双方によって撮像される空間領域の現在の状況を示す。また、図１３（Ｂ）は、ショベル６０の右斜め後方に棒状の立体物ＯＢが存在することを示す。

図１３（Ｃ）は、図１３（Ｂ）が示す空間領域を後方カメラ２Ｂ及び右側方カメラ２Ｒで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。

具体的には、画像ＯＢ１は、後方カメラ２Ｂの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、後方カメラ２Ｂと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ１は、後方カメラ２Ｂの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。

また、画像ＯＢ２は、右側方カメラ２Ｒの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、右側方カメラ２Ｒと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ２は、右側方カメラ２Ｒの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。

このように、画像生成装置１００は、重複領域において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域ＰＲ１と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域ＰＲ２とを混在させる。その結果、画像生成装置１００は、１つの立体物ＯＢに関する２つの画像ＯＢ１及び画像ＯＢ２の双方を出力画像上に表示させ、立体物ＯＢが出力画像から消失するのを防止する。

図１４は、図１２の出力画像と、図１２の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図であり、図１４（Ａ）が図１２の出力画像を示し、図１４（Ｂ）が画像消失防止処理を適用した後の出力画像を示す。図１４（Ａ）における一点鎖線で囲まれる領域Ｒ１２では人物が消失しているのに対し、図１４（Ｂ）における一点鎖線で囲まれる領域Ｒ１４では人物が消失せずに表示されている。

次に、図１５を参照しながら、画像生成装置１００が生成する出力距離画像について説明する。なお、図１５は、ショベル６０に搭載された３台のステレオカメラ６のそれぞれの入力距離画像と、それら入力距離画像を用いて生成される出力距離画像とを示す図である。

画像生成装置１００は、それら３台のステレオカメラ６のそれぞれの入力距離画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象距離画像平面Ｒ３に再投影して処理対象距離画像を生成する。また、画像生成装置１００は、生成した処理対象距離画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力距離画像を生成する。そして、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした距離画像（平面領域Ｒ１における距離画像）と、ショベル６０から水平方向に周囲を見た距離画像（処理対象距離画像平面Ｒ３における画像）とを同時に表示する。なお、出力距離画像の中央に表示される画像は、ショベル６０のＣＧ画像６０ＣＧである。

なお、図１５の入力距離画像及び出力距離画像は、画素値（ステレオカメラ６からの距離）が小さいほど白く（薄く）、画素値が大きいほど黒く（濃く）なるように表示される。なお、路面及び上部旋回体６３のそれぞれに相当する部分の画素値（距離）は、ショベル６０の周囲に存在する地物の出力距離画像における視認性を高めるため、最大値（無限遠）に設定される。すなわち、路面及び上部旋回体６３のそれぞれに相当する部分は黒色で表される。

図１５において、右側方ステレオカメラ６Ｒの入力距離画像、及び、後方ステレオカメラ６Ｂの入力距離画像はそれぞれ、右側方ステレオカメラ６Ｒの撮像範囲と後方ステレオカメラ６Ｂの撮像範囲との重複領域内に人物を捉えている（右側方ステレオカメラ６Ｒの入力距離画像における二点鎖線で囲まれる領域Ｒ１５、及び、後方ステレオカメラ６Ｂの入力距離画像における二点鎖線で囲まれる領域Ｒ１６参照。）。

しかしながら、出力距離画像平面上の座標が、最も近い位置にあるステレオカメラに関する入力距離画像平面上の座標に対応付けられるものとすると、出力距離画像は、重複領域内の人物を消失させてしまう（出力距離画像内の一点鎖線で囲まれる領域Ｒ１７参照。）。

そこで、画像生成装置１００は、重複領域に対応する出力距離画像部分では、後方ステレオカメラ６Ｂの入力距離画像平面上の座標、及び、右側方ステレオカメラ６Ｒの入力距離画像平面上の座標のうち、画素値（距離）が小さい方の座標を、出力距離画像平面上の座標に対応付けるようにする。その結果、画像生成装置１００は、１つの立体物に関する２つの距離画像を出力距離画像上に表示させ、立体物が出力距離画像から消失するのを防止する。なお、以下では、２つのステレオカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止するこの処理を距離画像消失防止処理と称する。

図１６は、図１５の出力距離画像と、図１５の出力距離画像に距離画像消失防止処理を適用することで得られる出力距離画像との違いを表す対比図であり、図１６（Ａ）が図１５の出力画像を示し、図１６（Ｂ）が距離画像消失防止処理を適用した後の出力距離画像を示す。図１６（Ａ）における一点鎖線で囲まれる領域Ｒ１７では人物が消失しているのに対し、図１６（Ｂ）における一点鎖線で囲まれる領域Ｒ１７では人物が消失せずに表示されている。

次に、図１７及び図１８を参照しながら、画像生成装置１００が出力画像に出力距離画像を合成する処理（以下、「距離画像合成処理」とする。）について説明する。

図１７は、出力画像に出力距離画像を合成して得られる合成後出力画像の一例を示す図である。

画像生成装置１００の距離画像合成手段１４は、例えば、図１６（Ｂ）に示すように、画素抽出手段１２が抽出した抽出画素の画素値（距離）を輝度値、色相値、彩度値等に変換した上で、図１４（Ｂ）に示す出力画像にその抽出画素を重畳表示させる。重畳表示される抽出画素は、例えば、ステレオカメラ６からの距離に応じた色を有し、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階にその色を変化させる。なお、重畳表示される抽出画素は、ステレオカメラ６からの距離に応じた輝度を有し、距離が大きくなるにつれて、その輝度を段階的に或いは無段階に減少させるようにしてもよい。図１７の領域ＥＸ１〜ＥＸ５は、それら抽出画素によって形成される領域であり、以下では、地物領域と称する。

また、距離画像合成手段１４は、所定数以上の隣接する抽出画素によって形成される地物領域ＥＸ１〜ＥＸ５の距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段１４は、例えば、地物領域ＥＸ１を構成する画素の画素値（距離）の最小値、最大値、平均値、中間値等を、地物領域ＥＸ１までの距離を表す代表値として出力画像上に重畳表示させる。なお、距離画像合成手段１４は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示するようにしてもよい。ショベル６０に比較的近い地物、すなわち接触の可能性が比較的高い地物をより認識し易くするためである。

図１８は、出力画像に出力距離画像を合成して得られる合成後出力画像の別の一例を示す図である。

図１８では、距離画像合成手段１４は、抽出画素の色や輝度を変更して重畳表示する代わりに、図１７の地物領域ＥＸ１〜ＥＸ５のそれぞれに対応する枠ＲＦ１〜ＲＦ５を重畳表示する。なお、枠の線種は、点線、実線、破線、一点鎖線等を含め任意であり、枠の形状も、矩形、円形、楕円形、多角形を含め任意である。

また、距離画像合成手段１４は、枠ＲＦ１〜ＲＦ５のそれぞれに対応する距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段１４は、例えば、枠ＲＦ１に対応する地物領域ＥＸ１を構成する画素の画素値（距離）の最小値、最大値、平均値、中間値等を、枠ＲＦ１に対応する距離の代表値として出力画像上に重畳表示させる。なお、距離画像合成手段１４は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示するようにしてもよい。ショベル６０に比較的近い地物、すなわち接触の可能性が比較的高い地物をより認識し易くするためである。

また、距離画像合成手段１４は、対応する距離情報に応じて枠の色を変化させてもよい。具体的には、距離画像合成手段１４は、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階に枠の色を変化させる。なお、距離画像合成手段１４は、距離が大きくなるにつれて、枠の輝度を段階的に或いは無段階に減少させるようにしてもよい。

上述のような合成後出力画像を見ることによって、ショベル６０の操作者は、ショベル６０の周囲に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。また、ショベル６０の操作者は、操作者から見て死角となる領域に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。

以上の構成により、画像生成装置１００は、ステレオカメラ６が撮像する入力距離画像に基づいて生成される出力距離画像を、カメラ２が撮像する入力画像に基づいて生成される出力画像上に合成する。そのため、画像生成装置１００は、ショベル６０の周囲の比較的広い範囲に存在する各地物までの距離を比較的高い分解能で測定することができる。その結果、画像生成装置１００は、信頼性の高い合成後出力画像を生成することができる。

また、カメラ２及びステレオカメラ６は、それぞれの撮像範囲がショベル６０の周囲を取り囲むように配置される。そのため、画像生成装置１００は、ショベル６０の周囲を上空から見たときの様子を表す合成後出力画像を生成することができる。その結果、ショベル６０の操作者は、ショベル６０の周囲に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。

また、画像生成装置１００は、処理対象画像に対して施される画像変換処理と同じ画像変換処理を処理対象距離画像に対して施すようにする。そのため、画像生成装置１００は、出力画像平面における座標と出力距離画像平面における座標を容易に対応付けることができる。

また、画像生成装置１００は、ステレオカメラ６からの距離に応じて、すなわち、ショベル６０からの距離に応じて、抽出画素又は枠の色を段階的に或いは無段階に変化させる。そのため、ショベル６０の操作者は、感覚的に接触の危険の有無を判断することができる。

また、画像生成装置１００は、ステレオカメラ６を用いて二次元配列の距離情報を取得する。そのため、画像生成装置１００は、投光用ＬＥＤ及び受光用ＣＣＤで構成される距離画像センサを用いて二次元配列の距離情報を取得する場合に比べ、撮像範囲における熱源、光源、光吸収材料等による影響を受けにくい。

次に、図１９〜図２３を参照しながら、画像生成装置１００が入力距離画像から所定の条件を満たす画素を抽出して入力距離画像を補正する処理（以下、「第１画素抽出処理」とする。）について説明する。なお、本実施例では、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、設置面距離に等しいか、設置面距離より小さいものとする。

図１９は、画像生成装置１００を搭載するショベル６０の部分右側面図である。図１９に示す実施例では、ショベル６０は、１台のカメラ２（後方カメラ２Ｂ）と１台のステレオカメラ６（後方ステレオカメラ６Ｂ）とを備える。なお、図１９の点線で示す領域ＺＢは、後方ステレオカメラ６Ｂの撮像範囲を示す。

また、図１９は、ショベル６０の後方に、地面から鉛直上方に伸びる物体Ｐ３と地面の隆起部Ｐ４とが存在することを示す。さらに、図１９は、後方ステレオカメラ６Ｂにより、物体Ｐ３までの距離Ｅ１ａが検出され、且つ、隆起部Ｐ４までの距離Ｅ２ａが検出されたことを示す。

また、図１９は、仮に物体Ｐ３及び隆起部Ｐ４が存在しなかった場合には、後方ステレオカメラ６Ｂが、距離Ｅ１ａ、Ｅ２ａの代わりに、設置面距離Ｅ１、Ｅ２を検出していたことを示す。

また、図１９は、設置面距離Ｅ１と距離Ｅ１ａとの差（Ｅ１−Ｅ１ａ）が距離（以下、設置面距離Ｅ１が距離Ｅ１ａより大きい場合の差を「第１差分距離」とする。）Ｅ１ｂであり、設置面距離Ｅ２と距離Ｅ２ａとの差（Ｅ２−Ｅ２ａ）が第１差分距離Ｅ２ｂであることを示す。

図２０は、図１９における隆起部Ｐ４の拡大図である。図１９及び図２０に示すように、後方ステレオカメラ６Ｂから見た隆起部Ｐ４上の点と後方ステレオカメラ６Ｂとを結ぶ線分は、設置面との間に角度（以下、「設置面角度」とする。）γ４を形成する。この場合、隆起部Ｐ４の設置面からの高さ（以下、「推定高さ」とする。）Ｈ１ｂは、第１差分距離Ｅ２ｂ×ｓｉｎ（γ４）で表される。また、設置面角度は、設置面距離と同様、後方ステレオカメラ６Ｂの設置位置及び設置角度に基づいて、後方ステレオカメラ６Ｂの入力距離画像における画素毎に予め設定される。

また、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、地物と後方ステレオカメラ６Ｂとの間の距離を表す。そのため、入力距離画像における各画素の値と各画素に対応する設置面距離との差である第１差分距離に、各画素に対応する設置面角度の正弦を乗算することによって、その地物の推定高さを求めることができる。本実施例では、第１差分距離Ｅ２ｂにｓｉｎ（γ４）を乗算することによって隆起部Ｐ４の推定高さＨ１ｂを求めることができる。

ところで、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、上述のように、地物と後方ステレオカメラ６Ｂとの間の距離を表す。そのため、後方ステレオカメラ６Ｂからの距離に応じて色又は輝度を変化させる処理を入力距離画像に施して出力距離画像を生成する場合、入力距離画像における画素値をそのまま用いると出力距離画像の視認性を損なうおそれがある。具体的には、その出力距離画像は、ショベル６０から離れるにつれて段階的に変化する色又は輝度で地面（設置面）を表すこととなり、物体Ｐ３及び隆起部Ｐ４の存在を分かり難くするおそれがある。

そこで、画像生成装置１００の画素抽出手段１２は、例えば、後方ステレオカメラ６Ｂの入力距離画像から所定の条件を満たす画素を抽出し、その抽出結果に基づいて入力距離画像を補正する。具体的には、画素抽出手段１２は、入力距離画像における各画素のうち、各画素に対応する設置面距離より小さい画素値を有する画素を抽出する。そして、画素抽出手段１２は、設置面距離に等しい画素値を有する画素のその画素値を所定値（例えば、最小値としてのゼロである。）で置き換える。一方で、画素抽出手段１２は、設置面距離より小さい画素値を有する画素の画素値をそのまま維持する。この場合、設置面距離に等しい画素値は、所定の幅を有する値であってもよい。

また、画素抽出手段１２は、入力距離画像における各画素のうち、第１差分距離が所定距離以上の画素を抽出してもよい。この場合、画素抽出手段１２は、第１差分距離が所定距離未満の画素の画素値を所定値（例えば、最小値としてのゼロである。）で置き換え、第１差分距離が所定距離以上の画素の画素値をそのまま維持する。例えば、図２０に示すように、画素抽出手段１２は、第１差分距離Ｅ２ｂが所定距離Ｅ２ｂ１未満であるため、第１差分距離Ｅ２ｂに対応する画素の画素値をゼロに設定する。なお、所定距離Ｅ２ｂ１は、所定高さＨ１に対応する距離である。或いは、図２０に示すように、画素抽出手段１２は、設置面高さＨ１ｂが所定高さＨ１未満であると判断し、設置面高さＨ１ｂに対応する画素の画素値をゼロに置き換えてもよい。或いは、画素抽出手段１２は、設置面距離Ｅ２に占める第１差分距離Ｅ２ｂの比率（以下、設置面距離Ｅ２が距離Ｅ２ａより大きい場合の比率を「第１差分比率」とする。）が所定比率未満であると判断し、対応する画素の画素値をゼロに置き換えてもよい。なお、所定距離、所定高さ、所定比率等は、後方ステレオカメラ６Ｂの設置位置及び設置角度に基づいて、後方ステレオカメラ６Ｂの入力距離画像における画素毎又は画素行毎若しくは画素列毎に予め設定される。また、所定高さ、所定比率は、入力距離画像における全ての画素に関して共通であってもよい。

図２１は、後方ステレオカメラ６Ｂの出力距離画像の例を示す図である。図２１（Ａ）は、画素抽出手段１２による抽出を行わずに入力距離画像における全ての画素の画素値をそのまま用いた場合の出力距離画像を示す。図２１（Ｂ）は、画素抽出手段１２により、入力距離画像における各画素のうち、各画素に対応する設置面距離より小さい画素値を有する画素が抽出された場合の出力距離画像を示す。また、図２１（Ｃ）は、画素抽出手段１２により、入力距離画像における各画素のうち、第１差分距離が所定距離以上となる画素、又は、推定高さが所定高さ以上となる画素が抽出された場合の出力距離画像を示す。

図２１（Ａ）に示すように、画素の抽出が行われない場合、出力距離画像は、ショベル６０から離れるにつれて段階的に輝度が減少する態様で設置面を表し、物体Ｐ３及び隆起部Ｐ４の存在を分かり難くする。

一方、図２１（Ｂ）に示すように、入力距離画像における各画素のうち設置面距離より小さい画素値を有する画素の抽出を行う場合、出力距離画像は、設置面上に存在する地物の視認性を向上させる。具体的には、図２１（Ｂ）の出力距離画像は、設置面距離に等しい画素値を有する全ての画素の画素値がゼロに置き換えられるため、ショベル６０からの距離にかかわらず、設置面の色及び輝度を一様にする。その結果、図２１（Ｂ）の出力距離画像は、物体Ｐ３及び隆起部Ｐ４の距離画像を設置面の距離画像から際立たせ、その視認性を向上させることができる。

さらに、図２１（Ｃ）に示すように、入力距離画像における各画素のうち第１差分距離が所定距離以上となる画素の抽出を行う場合、出力距離画像は、設置面高さが所定高さ以上の地物の視認性を向上させる。具体的には、図２１（Ｃ）の出力距離画像は、第１差分距離が所定距離未満の全ての画素の画素値がゼロに設定されるため、ショベル６０からの距離にかかわらず、設置面高さが所定高さ未満の地物（設置面を含む。）の色及び輝度を一様にする。その結果、図２１（Ｃ）の出力距離画像は、設置面高さＨ１ｂが所定高さＨ１未満である隆起部Ｐ４の距離画像を設置面の距離画像とともに単一の色及び輝度にする。そして、図２１（Ｃ）の出力距離画像は、設置面高さが所定高さＨ１以上である物体Ｐ３の距離画像のみを他の距離画像から際立たせ、その視認性を向上させることができる。

なお、図２１（Ｃ）の出力距離画像は、物体Ｐ３の付け根部分（設置面高さが所定高さＨ１未満の部分）に対応する画素の画素値をゼロにしてその部分の距離画像を設置面の距離画像とともに単一の色及び輝度にする。しかしながら、物体Ｐ３の一部であると判断される部分に対応する画素は、第１差分距離が所定距離未満であっても、或いは、設置面高さが所定高さＨ１未満であっても、入力距離画像における画素値をそのまま維持してもよい。なお、特定の画素が物体Ｐ３の距離画像の一部に属するか否かは、例えば、周囲の画素に関する第１差分距離又は設置面高さとその特定の画素に関する第１差分距離又は設置面高さとに基づいて判断され得る。

図２２は、後方カメラ２Ｂの出力画像の例を示す図である。図２２（Ａ）は、図２１（Ａ）の出力距離画像を重畳させた場合の出力画像を示す。図２２（Ｂ）は、図２１（Ｂ）の出力距離画像を重畳させた場合の出力画像を示す。また、図２２（Ｃ）は、図２１（Ｃ）の出力距離画像を重畳させた場合の出力画像を示す。

図２２（Ａ）に示すように、図２１（Ａ）の出力距離画像を重畳した出力画像は、ショベル６０から離れるにつれて段階的に輝度が減少する態様で設置面を表し、物体Ｐ３及び隆起部Ｐ４の存在を際立たせることができない。

一方、図２２（Ｂ）に示すように、ショベル６０からの距離にかかわらず設置面の色及び輝度を一様にした出力距離画像を重畳した出力画像は、物体Ｐ３及び隆起部Ｐ４の画像を設置面の画像から際立たせ、その視認性を向上させる。また、図２２（Ｂ）の出力画像は、物体Ｐ３及び隆起部Ｐ４のそれぞれと後方ステレオカメラ６Ｂとの間の距離の値を重畳表示する。これにより、物体Ｐ３及び隆起部Ｐ４の存在をさらに際立たせることができる。なお、物体Ｐ３と後方ステレオカメラ６Ｂとの間の距離の値には、例えば、距離補正手段１３によって補正された値が採用される。また、物体Ｐ３と後方ステレオカメラ６Ｂとの間の距離の値は、所定値以下の場合に限り、重畳表示されるようにしてもよい。ショベル６０に近いところにある地物の存在をさらに際立たせるためである。また、その距離（画素値）の値の輝度又は色は、その距離（画素値）の大きさに応じて決定される。例えば、その距離（画素値）の値の色は、その距離（画素値）が小さくなるにつれて、紫、青、緑、黄、赤のように変化する。また、その距離の値は、画素抽出手段１２が抽出した、入力距離画像における物体Ｐ３の距離画像領域に含まれる画素の画素値のうちの最小値であってもよい。隆起部Ｐ４と後方ステレオカメラ６Ｂとの間の距離の値についても同様である。

さらに、図２２（Ｃ）に示すように、ショベル６０からの距離にかかわらず設置面高さが所定高さ未満の地物（設置面を含む。）の色及び輝度を一様にした出力距離画像を重畳した出力画像は、物体Ｐ３の視認性を向上させる。具体的には、その出力画像は、設置面高さが所定高さ以上である物体Ｐ３の画像の上部のみを他の画像から際立たせ、その視認性を向上させる。また、図２２（Ｃ）の出力画像は、設置面高さが所定高さ以上である物体Ｐ３と後方ステレオカメラ６Ｂとの間の距離の値のみを重畳表示する。これにより、設置面高さが所定高さ以上である物体Ｐ３の存在のみをさらに際立たせることができる。

また、上述において、画像生成装置１００は、後方ステレオカメラ６Ｂの出力距離画像を後方カメラ２Ｂの出力画像に重畳させて表示部５に表示する。しかしながら、画像生成装置１００は、出力距離画像のみを表示部５に表示させてもよく、出力距離画像と出力画像とを並べて表示部５に表示させてもよい。

また、画像生成装置１００は、物体Ｐ３及び隆起部Ｐ４のそれぞれと後方ステレオカメラ６Ｂとの間の距離の値を表示する代わりに、或いは、その距離の値の表示に加えて、図１８に示すような枠を表示してもよい。

また、画像生成装置１００は、距離（画素値）と色又は輝度との関係を表す距離目盛り付きの棒状インジケータ等の指標（図示せず。）を出力距離画像又は出力画像の端部に表示してもよい。

次に、図２３を参照しながら、第１画素抽出処理の流れについて説明する。なお、図２３は、第１画素抽出処理の流れを示すフローチャートである。画像生成装置１００の画素抽出手段１２は、例えば、入力距離画像を取得する度にこの第１画素抽出処理を実行する。

最初に、画素抽出手段１２は、入力距離画像における１つの画素（以下、「対象画素」とする。）に関する設置面距離をＲＯＭ等から読み出して取得する（ステップＳ１１）。なお、画素抽出手段１２は、設置面角度をＲＯＭ等から読み出して取得してもよい。

その後、画素抽出手段１２は、設置面距離からその対象画素の画素値を減算することによって第１差分距離を算出する（ステップＳ１２）。なお、画素抽出手段１２は、算出した第１差分距離と設置面距離とに基づいて第１差分比率を算出してもよく、算出した第１差分距離と設置面角度とに基づいて推定高さを算出してもよい。

その後、画素抽出手段１２は、算出した第１差分距離とＲＯＭ等に記憶された所定距離とを比較する（ステップＳ１３）。なお、画素抽出手段１２は、算出した第１差分比率とＲＯＭ等に記憶された所定比率とを比較してもよく、算出した推定高さとＲＯＭ等に記憶された所定高さとを比較してもよい。

第１差分距離が所定距離以上の場合（ステップＳ１３のＹＥＳ）、画素抽出手段１２は、現在の画素値をそのまま維持する画素としてその対象画素を抽出する。第１差分比率が所定比率以上の場合、或いは、推定高さが所定高さ以上の場合についても同様である。

一方、第１差分距離が所定距離未満の場合（ステップＳ１３のＮＯ）、画素抽出手段１２は、現在の画素値をそのまま維持する画素としてその対象画素を抽出しない。具体的には、画素抽出手段１２は、その対象画素の画素値をＲＯＭ等に記憶された所定値で置き換える（ステップＳ１４）。第１差分比率が所定比率未満の場合、或いは、推定高さが所定高さ未満の場合についても同様である。

なお、上述の実施例では、抽出しなかった対象画素の画素値を所定値に置き換える処理は、各対象画素について抽出の要否を判断したときに行われるが、複数の或いは全ての対象画素について抽出の要否を判断した後で一括して行われてもよい。

その後、画素抽出手段１２は、取得した入力距離画像における全ての画素について抽出要否の判断を行ったか否かを判定する（ステップＳ１５）。

未だ全ての画素について抽出要否の判断を行っていないと判定した場合（ステップＳ１５のＮＯ）、画素抽出手段１２は、別の対象画素に関してステップＳ１１以降の処理を実行する。

全ての画素について抽出要否の判断を行ったと判定した場合（ステップＳ１５のＹＥＳ）、画素抽出手段１２は、今回の第１画素抽出処理を完了する。

以上の構成により、画像生成装置１００は、設置面に関する距離画像の詳細表示を省略することで、ショベル６０が接触するおそれのある地物に関する距離画像の視認性を向上させることができる。

また、画像生成装置１００は、設置面高さが所定高さ未満の地物の詳細表示を省略することで、設置面高さが所定高さ以上の地物（例えば、作業員）の視認性を向上させることができる。

その結果、画像生成装置１００は、ショベル６０が地物に衝突するのをより確実に防止することができる。

次に、図２４〜図２８を参照しながら、画像生成装置１００が入力距離画像から所定の条件を満たす画素を抽出して入力距離画像を補正する処理の別の例（以下、「第２画素抽出処理」とする。）について説明する。なお、本実施例では、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、設置面距離に等しいか、設置面距離より大きいものとする。

図２４は、画像生成装置１００を搭載するショベル６０の部分右側面図であり、図１９に対応する。図２４に示す実施例では、ショベル６０は、１台のカメラ２（後方カメラ２Ｂ）と１台のステレオカメラ６（後方ステレオカメラ６Ｂ）とを備える。なお、図２４の点線で示す領域ＺＢは、後方ステレオカメラ６Ｂの撮像範囲を示す。

また、図２４は、ショベル６０の後方に、地面の浅陥没部ＰＫ１と深陥没部（崖）ＰＫ２とが存在することを示す。さらに、図２４は、後方ステレオカメラ６Ｂにより、浅陥没部ＰＫ１の底までの距離Ｅ３ａが検出され、且つ、深陥没部ＰＫ２の底までの距離Ｅ４ａが検出されたことを示す。

また、図２４は、仮に浅陥没部ＰＫ１及び深陥没部ＰＫ２が存在しなかった場合には、後方ステレオカメラ６Ｂが、距離Ｅ３ａ、Ｅ４ａの代わりに、設置面距離Ｅ３、Ｅ４を検出していたことを示す。

また、図２４は、距離Ｅ３ａと設置面距離Ｅ３との差（Ｅ３ａ−Ｅ３）が距離（以下、設置面距離Ｅ３が距離Ｅ３ａより小さい場合の差を「第２差分距離」とする。）Ｅ３ｂであり、距離Ｅ４ａと設置面距離Ｅ４との差（Ｅ４ａ−Ｅ４）が第２差分距離Ｅ４ｂであることを示す。

図２５は、図２４における浅陥没部ＰＫ１の拡大図である。図２４及び図２５に示すように、後方ステレオカメラ６Ｂから見た浅陥没部ＰＫ１の底の点と後方ステレオカメラ６Ｂとを結ぶ線分は、設置面との間に設置面角度γ５を形成する。この場合、浅陥没部ＰＫ１の設置面からの深さ（以下、「推定深さ」とする。）ＤＰ１ｂは、第２差分距離Ｅ３ｂ×ｓｉｎ（γ５）で表される。

また、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、地物と後方ステレオカメラ６Ｂとの間の距離を表す。そのため、入力距離画像における各画素の値と各画素に対応する設置面距離との差である第２差分距離に、各画素に対応する設置面角度の正弦を乗算することによって、その地物の推定深さを求めることができる。本実施例では、第２差分距離Ｅ３ｂにｓｉｎ（γ５）を乗算することによって浅陥没部ＰＫ１の推定深さＤＰ１ｂを求めることができる。

ところで、後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、上述のように、地物と後方ステレオカメラ６Ｂとの間の距離を表す。そのため、後方ステレオカメラ６Ｂからの距離に応じて色又は輝度を変化させる処理を入力距離画像に施して出力距離画像を生成する場合、入力距離画像における画素値をそのまま用いると出力距離画像の視認性を損なうおそれがある。具体的には、その出力距離画像は、ショベル６０から離れるにつれて段階的に変化する色又は輝度で地面（設置面）を表すこととなり、浅陥没部ＰＫ１及び深陥没部ＰＫ２の存在を分かり難くするおそれがある。

そこで、画像生成装置１００の画素抽出手段１２は、例えば、後方ステレオカメラ６Ｂの入力距離画像から所定の条件を満たす画素を抽出し、その抽出結果に基づいて入力距離画像を補正する。具体的には、画素抽出手段１２は、入力距離画像における各画素のうち、各画素に対応する設置面距離より大きい画素値を有する画素を抽出する。そして、画素抽出手段１２は、設置面距離に等しい画素値を有する画素のその画素値を所定値（例えば、最小値としてのゼロである。）で置き換える。一方で、画素抽出手段１２は、設置面距離より大きい画素値を有する画素の画素値をそのまま維持する。この場合、設置面距離に等しい画素値は、所定の幅を有する値であってもよい。

また、画素抽出手段１２は、入力距離画像における各画素のうち、第２差分距離が所定距離以上の画素を抽出してもよい。この場合、画素抽出手段１２は、第２差分距離が所定距離未満の画素の画素値を所定値（例えば、最小値としてのゼロである。）で置き換え、第２差分距離が所定距離以上の画素の画素値をそのまま維持する。例えば、図２５に示すように、画素抽出手段１２は、第２差分距離Ｅ３ｂが所定距離Ｅ３ｂ１未満であるため、第２差分距離Ｅ３ｂに対応する画素の画素値をゼロに設定する。なお、所定距離Ｅ３ｂ１は、所定深さＤＰ１に対応する距離である。或いは、図２５に示すように、画素抽出手段１２は、設置面深さＤＰ１ｂが所定深さＤＰ１未満であると判断し、設置面深さＤＰ１ｂに対応する画素の画素値をゼロに置き換えてもよい。或いは、画素抽出手段１２は、距離Ｅ３ａに占める第２差分距離Ｅ３ｂの比率（以下、設置面距離Ｅ３が距離Ｅ３ａより小さい場合の比率を「第２差分比率」とする。）が所定比率未満であると判断し、対応する画素の画素値をゼロに置き換えてもよい。なお、所定距離、所定深さ、所定比率等は、後方ステレオカメラ６Ｂの設置位置及び設置角度に基づいて、後方ステレオカメラ６Ｂの入力距離画像における画素毎又は画素行毎若しくは画素列毎に予め設定される。また、所定深さ、所定比率は、入力距離画像における全ての画素に関して共通であってもよい。

図２６は、後方ステレオカメラ６Ｂの出力距離画像の例を示す図である。図２６（Ａ）は、画素抽出手段１２による抽出を行わずに入力距離画像における全ての画素の画素値をそのまま用いた場合の出力距離画像を示す。図２６（Ｂ）は、画素抽出手段１２により、入力距離画像における各画素のうち、各画素に対応する設置面距離より大きい画素値を有する画素が抽出された場合の出力距離画像を示す。また、図２６（Ｃ）は、画素抽出手段１２により、入力距離画像における各画素のうち、第２差分距離が所定距離以上となる画素、又は、推定深さが所定深さ以上となる画素が抽出された場合の出力距離画像を示す。

図２６（Ａ）に示すように、画素の抽出が行われない場合、出力距離画像は、ショベル６０から離れるにつれて段階的に輝度が減少する態様で設置面を表し、浅陥没部ＰＫ１及び深陥没部ＰＫ２の存在を分かり難くする。

一方、図２６（Ｂ）に示すように、入力距離画像における各画素のうち設置面距離より大きい画素値を有する画素の抽出を行う場合、出力距離画像は、設置面下に存在する陥没部の視認性を向上させる。具体的には、図２６（Ｂ）の出力距離画像は、設置面距離に等しい画素値を有する全ての画素の画素値がゼロに置き換えられるため、ショベル６０からの距離にかかわらず、設置面の色及び輝度を一様にする。その結果、図２６（Ｂ）の出力距離画像は、浅陥没部ＰＫ１及び深陥没部ＰＫ２の距離画像を設置面の距離画像から際立たせ、その視認性を向上させることができる。

さらに、図２６（Ｃ）に示すように、入力距離画像における各画素のうち第２差分距離が所定距離以上となる画素の抽出を行う場合、出力距離画像は、設置面深さが所定深さ以上の地物の視認性を向上させる。具体的には、図２６（Ｃ）の出力距離画像は、第２差分距離が所定距離未満の全ての画素の画素値がゼロに設定されるため、ショベル６０からの距離にかかわらず、設置面深さが所定深さ未満の地物（設置面を含む。）の色及び輝度を一様にする。その結果、図２６（Ｃ）の出力距離画像は、設置面深さＤＰ１ｂが所定深さＤＰ１未満である浅陥没部ＰＫ１の距離画像を設置面の距離画像とともに単一の色及び輝度にする。そして、図２６（Ｃ）の出力距離画像は、設置面深さが所定深さＤＰ１以上である深陥没部ＰＫ２の距離画像のみを他の距離画像から際立たせ、その視認性を向上させることができる。

なお、図２６（Ｃ）の出力距離画像は、深陥没部ＰＫ２の縁部分（設置面深さが所定深さＤＰ１未満の部分）に対応する画素の画素値をゼロにしてその部分の距離画像を設置面の距離画像とともに単一の色及び輝度にする。しかしながら、深陥没部ＰＫ２の一部であると判断される部分に対応する画素は、第２差分距離が所定距離未満であっても、或いは、設置面深さが所定深さＤＰ１未満であっても、入力距離画像における画素値をそのまま維持してもよい。なお、特定の画素が深陥没部ＰＫ２の距離画像の一部に属するか否かは、例えば、周囲の画素に関する第２差分距離又は設置面深さとその特定の画素に関する第２差分距離又は設置面深さとに基づいて判断され得る。

図２７は、後方カメラ２Ｂの出力画像の例を示す図である。図２７（Ａ）は、図２６（Ａ）の出力距離画像を重畳させた場合の出力画像を示す。図２７（Ｂ）は、図２６（Ｂ）の出力距離画像を重畳させた場合の出力画像を示す。また、図２７（Ｃ）は、図２６（Ｃ）の出力距離画像を重畳させた場合の出力画像を示す。

図２７（Ａ）に示すように、図２６（Ａ）の出力距離画像を重畳した出力画像は、ショベル６０から離れるにつれて段階的に輝度が減少する態様で設置面を表し、浅陥没部ＰＫ１及び深陥没部ＰＫ２の存在を際立たせることができない。

一方、図２７（Ｂ）に示すように、ショベル６０からの距離にかかわらず設置面の色及び輝度を一様にした出力距離画像を重畳した出力画像は、浅陥没部ＰＫ１及び深陥没部ＰＫ２の画像を設置面の画像から際立たせ、その視認性を向上させる。また、図２７（Ｂ）の出力画像は、浅陥没部ＰＫ１及び深陥没部ＰＫ２のそれぞれと後方ステレオカメラ６Ｂとの間の距離の値を重畳表示する。これにより、浅陥没部ＰＫ１及び深陥没部ＰＫ２の存在をさらに際立たせることができる。なお、浅陥没部ＰＫ１と後方ステレオカメラ６Ｂとの間の距離の値には、例えば、距離補正手段１３によって補正された値が採用される。また、浅陥没部ＰＫ１と後方ステレオカメラ６Ｂとの間の距離の値は、所定値未満の場合に限り、重畳表示されるようにしてもよい。ショベル６０に近いところにある陥没部の存在をさらに際立たせるためである。また、その距離（画素値）の値の輝度又は色は、その距離（画素値）の大きさに応じて決定される。例えば、その距離（画素値）の値の色は、その距離（画素値）が小さくなるにつれて、紫、青、緑、黄、赤のように変化する。また、その距離の値は、画素抽出手段１２が抽出した、入力距離画像における浅陥没部ＰＫ１の距離画像領域に含まれる画素の画素値のうちの最小値であってもよい。深陥没部ＰＫ２と後方ステレオカメラ６Ｂとの間の距離の値についても同様である。

さらに、図２７（Ｃ）に示すように、ショベル６０からの距離にかかわらず設置面深さが所定深さ未満の地物（設置面を含む。）の色及び輝度を一様にした出力距離画像を重畳した出力画像は、深陥没部ＰＫ２の視認性を向上させる。具体的には、その出力画像は、設置面深さが所定深さ以上である深陥没部ＰＫ２の画像のみを他の画像から際立たせ、その視認性を向上させる。また、図２７（Ｃ）の出力画像は、設置面深さが所定深さ以上である深陥没部ＰＫ２と後方ステレオカメラ６Ｂとの間の距離の値のみを重畳表示する。これにより、設置面深さが所定深さ以上である深陥没部ＰＫ２の存在のみをさらに際立たせることができる。

また、上述において、画像生成装置１００は、後方ステレオカメラ６Ｂの出力距離画像を後方カメラ２Ｂの出力画像に重畳させて表示部５に表示する。しかしながら、画像生成装置１００は、出力距離画像のみを表示部５に表示させてもよく、出力距離画像と出力画像とを並べて表示部５に表示させてもよい。

また、画像生成装置１００は、浅陥没部ＰＫ１及び深陥没部ＰＫ２のそれぞれと後方ステレオカメラ６Ｂとの間の距離の値を表示する代わりに、或いは、その距離の値の表示に加えて、図１８に示すような枠を表示してもよい。

次に、図２８を参照しながら、第２画素抽出処理の流れについて説明する。なお、図２８は、第２画素抽出処理の流れを示すフローチャートである。画像生成装置１００の画素抽出手段１２は、例えば、入力距離画像を取得する度にこの第２画素抽出処理を実行する。

最初に、画素抽出手段１２は、入力距離画像における１つの画素（以下、「対象画素」とする。）に関する設置面距離をＲＯＭ等から読み出して取得する（ステップＳ２１）。なお、画素抽出手段１２は、設置面角度をＲＯＭ等から読み出して取得してもよい。

その後、画素抽出手段１２は、その対象画素の画素値から設置面距離を減算することによって第２差分距離を算出する（ステップＳ２２）。なお、画素抽出手段１２は、算出した第２差分距離とその対象画素の画素値とに基づいて第２差分比率を算出してもよく、算出した第２差分距離と設置面角度とに基づいて推定深さを算出してもよい。

その後、画素抽出手段１２は、算出した第２差分距離とＲＯＭ等に記憶された所定距離とを比較する（ステップＳ２３）。なお、画素抽出手段１２は、算出した第２差分比率とＲＯＭ等に記憶された所定比率とを比較してもよく、算出した推定深さとＲＯＭ等に記憶された所定深さとを比較してもよい。

第２差分距離が所定距離以上の場合（ステップＳ２３のＹＥＳ）、画素抽出手段１２は、現在の画素値をそのまま維持する画素としてその対象画素を抽出する。第２差分比率が所定比率以上の場合、或いは、推定深さが所定深さ以上の場合についても同様である。

一方、第２差分距離が所定距離未満の場合（ステップＳ２３のＮＯ）、画素抽出手段１２は、現在の画素値をそのまま維持する画素としてその対象画素を抽出しない。具体的には、画素抽出手段１２は、その対象画素の画素値をＲＯＭ等に記憶された所定値で置き換える（ステップＳ２４）。第２差分比率が所定比率未満の場合、或いは、推定深さが所定深さ未満の場合についても同様である。

なお、抽出しなかった対象画素の画素値を所定値に置き換える処理は、複数の或いは全ての対象画素について抽出の要否を判断した後で一括して行われてもよい。

その後、画素抽出手段１２は、取得した入力距離画像における全ての画素について抽出要否の判断を行ったか否かを判定する（ステップＳ２５）。

未だ全ての画素について抽出要否の判断を行っていないと判定した場合（ステップＳ２５のＮＯ）、画素抽出手段１２は、別の対象画素に関してステップＳ２１以降の処理を実行する。

全ての画素について抽出要否の判断を行ったと判定した場合（ステップＳ２５のＹＥＳ）、画素抽出手段１２は、今回の第２画素抽出処理を完了する。

以上の構成により、画像生成装置１００は、設置面に関する距離画像の詳細表示を省略することで、ショベル６０を滑落させるおそれのある陥没部（例えば、路肩、崖等である。）の距離画像の視認性を向上させることができる。

また、画像生成装置１００は、設置面深さが所定深さ未満の陥没部の詳細表示を省略することで、設置面深さが所定深さ以上の陥没部の視認性を向上させることができる。

その結果、画像生成装置１００は、ショベル６０が陥没部へ滑落するのをより確実に防止することができる。

また、上述では、第１画素抽出処理と第２画素抽出処理とが別々に説明されたが、２つの画素抽出処理を組み合わせてもよい。

次に、図２９を参照しながら、運転支援手段１５が運転支援機能を実行する処理（以下、「運転支援処理」とする。）について説明する。なお、図２９は、運転支援処理の流れを示すフローチャートであり、運転支援手段１５は、ショベル６０の走行中に所定周期で繰り返しこの運転支援処理を実行する。

最初に、運転支援手段１５は、ショベル６０の走行用操作レバー（図示せず。）の操作方向に基づいてショベル６０の移動方向を検出する（ステップＳ３１）。

その後、運転支援手段１５は、ショベル６０の移動方向に所定の地物が存在するか否かを判定する（ステップＳ３２）。本実施例では、運転支援手段１５は、後方ステレオカメラ６Ｂが取得した入力距離画像に基づいて、後退するショベル６０の後方に、ショベル６０を滑落させるおそれのある陥没部が存在するか否かを判定する。

ショベル６０を滑落させるおそれのある陥没部が存在すると判定した場合（ステップＳ３２のＹＥＳ）、運転支援手段１５は、運転支援機能を実行する（ステップＳ３３）。本実施例では、運転支援手段１５は、警報を吹鳴させるとともに、陥没部が存在する旨を通知する警告メッセージを表示部５に表示する。また、運転支援手段１５は、陥没部までの距離が短くなるにつれてショベル６０の後退速度を低減させてもよく、陥没部までの距離が所定値を下回った場合にショベル６０を停止させてもよい。

一方、ショベル６０を滑落させるおそれのある陥没部が存在しないと判定した場合（ステップＳ３２のＮＯ）、運転支援手段１５は、運転支援機能を実行することなく、今回の運転支援処理を終了させる。

以上の構成により、画像生成装置１００は、ステレオカメラ６の出力に基づいて所定の地物の存否を自動的に判定し、必要に応じて運転支援機能を実行することで、ショベル６０の操作の安全性をさらに向上できる。

次に、図３０〜図３３を参照しながら、画像生成装置１００が入力距離画像の画素値（距離）を補正する処理（以下、「距離補正処理」とする。）について説明する。

図３０は、画像生成装置１００を搭載するショベル６０を示す図であり、図３０（Ａ）がその上面図であり、図３０（Ｂ）がその部分右側面図である。図３０に示す実施例では、ショベル６０は、１台のカメラ２（後方カメラ２Ｂ）と１台のステレオカメラ６（後方ステレオカメラ６Ｂ）とを備える。なお、図３０の一点鎖線で示す領域ＣＢは、後方カメラ２Ｂの撮像範囲を示す。また、図３０の点線で示す領域ＺＢは、後方ステレオカメラ６Ｂの撮像範囲を示す。

図３０に示すように、ショベル６０の後方には、地面から鉛直上方に伸びる２つの物体Ｐ１、Ｐ２が存在する。２つの物体Ｐ１、Ｐ２は、高さの異なる棒状の物体であり、後方ステレオカメラ６Ｂから見て異なる方向に存在する。具体的には、図３０（Ｂ）で示すように、物体Ｐ１の高さは、物体Ｐ２の高さよりも低い。しかしながら、２つの物体Ｐ１、Ｐ２のそれぞれと後方ステレオカメラ６Ｂとの間の最短距離は、何れも距離Ｄで等しいものとなっている。低いほうの物体Ｐ１が、高いほうの物体Ｐ２よりもショベル６０に近いところに存在するためである。

また、図３０（Ｂ）に示すように、後方ステレオカメラ６Ｂから見た物体Ｐ１上の最も近い点と後方ステレオカメラ６Ｂとを結ぶ線分は、水平面との間に角度γ１を形成する。同様に、後方ステレオカメラ６Ｂから見た物体Ｐ２上の最も近い点と後方ステレオカメラ６Ｂとを結ぶ線分は、水平面との間に角度γ２を形成する。この場合、物体Ｐ１とショベル６０の後面を含む平面との間の水平距離Ｄ１は、Ｄ×ｃｏｓ(γ１)で表され、物体Ｐ２とショベル６０の後面を含む平面との間の水平距離Ｄ２は、Ｄ×ｃｏｓ(γ２)で表される。なお、水平距離Ｄ２は、水平距離Ｄ１より大きい。

後方ステレオカメラ６Ｂが撮像する入力距離画像における画素の値は、地物と後方ステレオカメラ６Ｂとの間の距離を表す。そのため、入力距離画像における画素値をそのまま用いた場合、後方ステレオカメラ６Ｂからの距離に応じて表示色又は輝度を変化させる処理では、物体Ｐ１の頂部と物体Ｐ２の頂部が同じ色又は同じ輝度で表示されることとなる。この表示は、上述のように物体Ｐ２に比べ物体Ｐ１がショベル６０により近いところにある場合であっても、物体Ｐ１及び物体Ｐ２がショベル６０の後面から同じ距離に存在するものと操作者に誤認させるおそれがある。

このような状況が生じるのは、後方ステレオカメラ６Ｂが、上部旋回体６３の上部に取り付けられた状態で斜め下方を撮像することに起因する。すなわち、操作者が認識する距離がショベル６０からの水平距離であるのに対し、ステレオカメラ６が取得する距離は、ステレオカメラ６からの直線距離であることに起因する。なお、後方ステレオカメラ６Ｂの取り付け位置は、周囲の地物との接触からセンサを保護できるよう、上部旋回体６３の上部とされている。

そこで、画像生成装置１００の距離補正手段１３は、例えば、物体Ｐ１、Ｐ２のそれぞれと後方ステレオカメラ６Ｂとの間の距離を表す画素値を、物体Ｐ１、Ｐ２のそれぞれとショベル６０の後面を含む平面との間の水平距離を表す画素値に補正する。

具体的には、距離補正手段１３は、後方ステレオカメラ６Ｂから見た物体Ｐ１上の任意の点に対応する入力距離画像における画素の座標から、後方ステレオカメラ６Ｂと物体Ｐ１上の任意の点とを結ぶ線分が水平面との間に形成する角度γを導き出す。後方ステレオカメラ６Ｂの取り付け位置、取り付け角度が既知であるため、距離補正手段１３は、その画素の座標から角度γを導き出すことができる。

その後、距離補正手段１３は、その地物上の任意の点に対応する画素の座標から導き出した角度γの余弦ｃｏｓ(γ)に、その画素の画素値、すなわち、後方ステレオカメラ６Ｂと物体Ｐ１上の任意の点との間の距離を乗じる。このようにして、距離補正手段１３は、後方ステレオカメラ６Ｂと物体Ｐ１上の任意の点との間の水平距離を算出し、その任意の点に対応する画素の画素値を、算出した水平距離で置き換える。

同様に、距離補正手段１３は、後方ステレオカメラ６Ｂと物体Ｐ２上の任意の点とを結ぶ線分が水平面との間に形成する角度γを導き出す。そして、角度γの余弦ｃｏｓ(γ)に、その画素値、すなわち、後方ステレオカメラ６Ｂと物体Ｐ２上の任意の点との間の距離を乗じる。そして、後方ステレオカメラ６Ｂと物体Ｐ２上の任意の点との間の水平距離を算出し、その任意の点に対応する画素の画素値を、算出した水平距離で置き換える。

ここで、図３１及び図３２を参照しながら、距離補正手段１３による補正の効果について説明する。

図３１は、距離補正処理が施されていない入力距離画像に基づく出力距離画像（以下、「補正前出力距離画像」とする。）と、距離補正処理が施された入力距離画像に基づく出力距離画像（以下、「補正済出力距離画像」とする。）との違いを表す対比図であり、図３１（Ａ）が補正前出力距離画像を示し、図３１（Ｂ）が補正済出力距離画像を示す。なお、本実施例では、入力距離画像に対して画素抽出処理が既に施されている。

また、図３２は、後方カメラ２Ｂの入力画像に基づいて生成される出力画像に補正前出力距離画像を合成した合成後出力画像（以下、「補正前合成後出力画像」とする。）と、その出力画像に補正済出力距離画像を合成した合成後出力画像（以下、「補正済合成後出力画像」とする。）との違いを表す対比図であり、図３２（Ａ）が補正前合成後出力画像を示し、図３２（Ｂ）が補正済合成後出力画像を示す。

図３１（Ａ）及び図３２（Ａ）に示すように、補正前出力距離画像及び補正前合成後出力画像では、物体Ｐ１と物体Ｐ２が同じような配色で表される。具体的には、物体Ｐ１及び物体Ｐ２は何れも、頂部に近いほど白く（薄く）、底部近いほど黒く（濃く）表示される。そのため、操作者は、何れの物体がショベル６０により近いのかを判断し難い。

これに対し、図３１（Ｂ）及び図３２（Ｂ）に示すように、補正済出力距離画像及び補正済合成後出力画像では、物体Ｐ１と物体Ｐ２が異なる色で表される。具体的には、物体Ｐ１が全体的に薄く表示され、物体Ｐ２が全体的に濃く表示される。そのため、操作者は、物体Ｐ２よりも物体Ｐ１のほうがショベル６０により近い位置にあることを容易に認識することができる。

図３３は、補正前合成後出力画像と補正済合成後出力画像との違いを表す対比図の別の例であり、枠が重畳表示される場合の例を示す。

図３３（Ａ）に示すように、補正前合成後出力画像では、地物領域に含まれる画素の画素値の最小値がその地物領域の代表値として採用された場合、物体Ｐ１と物体Ｐ２が何れもショベル６０から１メートルの距離にあるものとして表示される。

これに対し、図３３（Ｂ）に示すように、補正済合成後出力画像では、物体Ｐ１、Ｐ２のそれぞれとショベル６０の後面を含む平面との間の水平距離Ｄ１、Ｄ２が表示される。すなわち、物体Ｐ１がショベル６０の後面から１メートルの距離にあり、物体Ｐ２がショベル６０の後面から１．５メートルの距離にあることが表示される。そのため、操作者は、物体Ｐ２よりも物体Ｐ１のほうがショベル６０により近い位置にあることを容易に認識することができる。

以上の構成により、画像生成装置１００は、ステレオカメラ６が撮像する入力距離画像における画素値がショベル６０からの水平距離を表すように画素値を補正する。その結果、画像生成装置１００は、周囲の地物の状況をより分かり易く操作者に伝えることができる。

また、上述の実施例では、距離補正手段１３は、画素抽出手段１２が抽出した画素の画素値を個別に補正する。しかしながら、本発明はこれに限定されるものではない。例えば、距離補正手段１３は、上述のように余弦を用いて水平距離を算出することなく、入力距離画像平面における画素行毎、画素列毎、又は予め区分された領域毎に所定の補正を纏めて行うようにしてもよい。演算負荷を抑制しながら、簡易な補正により、余弦を用いて水平距離を算出する場合と同様の効果を得るためである。具体的には、距離補正手段１３は、例えば、入力距離画像平面の上方にある画素行ほど距離の増大補正が大きくなるように、或いは、入力距離画像平面の下方にある画素行ほど距離の減少補正が大きくなるように、所定の補正量による補正を一括して実行するようにしてもよい。

また、上述の実施例では、距離補正手段１３は、後方ステレオカメラ６Ｂが上部旋回体６３の後面上部に取り付けられて斜め下方を撮像する場合の補正を実行する。しかしながら、本発明はこれに限定されるものではない。例えば、距離補正手段１３は、ステレオカメラが水平方向を撮像する場合の補正を実行してもよく、ステレオカメラが斜め上方を撮像する場合の補正を実行してもよい。

また、上述の実施例では、距離補正手段１３は、ショベル６０の後面を含む平面を基準とし、地物領域に含まれる画素の画素値を、その地物とショベル６０の後面を含む平面との間の水平距離を表す画素値に補正する。しかしながら、本発明はこれに限定されることはない。例えば、距離補正手段１３は、ショベル６０の旋回軸ＰＶを基準とし、地物領域に含まれる画素の画素値を、その地物とショベル６０の旋回軸ＰＶとの間の水平距離を表す画素値に補正してもよい。

また、距離補正手段１３は、地物領域に含まれる画素の画素値を、その地物とショベル６０との間の最短水平距離を表す画素値に補正してもよい。この場合、距離補正手段１３は、その地物の実在位置に応じて、ショベル６０の右側面を含む平面、ショベル６０の左側面を含む平面、ショベル６０の後面を含む平面等から基準を選択する。

なお、最短水平距離は、ショベル６０の移動方向、すなわち、下部走行体６１の前後方向に平行な方向における最短水平距離であってもよい。この場合、ショベル６０の移動方向にない地物に関する画素の値は、その地物がショベル６０の近くにあったとしても、最大値（無限遠）に補正される。その結果、操作者は、ショベル６０の移動方向にある地物をより容易に認識することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。

また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及びステレオカメラと共に搭載され、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置１００は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械、又は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及びステレオカメラと共に搭載され、それら作業機械の操作を支援する操作支援システムを構成してもよい。

また、上述の実施例において、距離画像合成手段１４は、出力距離画像を生成した上で、生成した出力距離画像を出力画像に合成する。しかしながら、本発明はこれに限定されるものではない。距離画像合成手段１４は、例えば、入力画像と入力距離画像とを合成して合成後入力画像を生成し、距離画像に関する情報が重畳表示された合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。また、距離画像合成手段１４は、例えば、処理対象画像と処理対象距離画像とを合成して合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。

また、上述の実施例において、画像生成装置１００は、カメラ２とステレオカメラ６とを別々に備える。そして、画像生成装置１００は、カメラ２からの複数の入力画像に基づいて１つの出力画像（視点変換画像）を生成し、且つ、ステレオカメラ６からの複数の入力距離画像に基づいて１つの出力距離画像（視点変換距離画像）を生成する。その上で、画像生成装置１００は、出力距離画像を出力画像に合成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、左側方ステレオカメラ６Ｌ、後方ステレオカメラ６Ｂ、右側方ステレオカメラ６Ｒのそれぞれにおける各１つの撮像機構が出力する３つの画像に基づいて出力画像（視点変換画像）を生成し、且つ、それら３つのステレオカメラの３つの入力距離画像に基づいて１つの出力距離画像（視点変換距離画像）を生成してもよい。この場合、カメラ２は省略され得る。また、この場合、撮像範囲が偏らないよう、左側方ステレオカメラ６Ｌ、後方ステレオカメラ６Ｂ、右側方ステレオカメラ６Ｒはそれぞれ、上部旋回体６３の左側面、後面、右側面のそれぞれのほぼ中央に設置されることが望ましい。そのため、各ステレオカメラにおける複数組の撮像機構は、縦方向に所定の間隔を空けて並置される。その並置間隔の大きさにかかわらず、ステレオカメラを各面のほぼ中央に設置し易いためである。また、複数組の撮像機構を横方向に並置すると、その並置間隔によっては、ステレオカメラを各面のほぼ中央に設置することが困難になるためである。

また、上述の実施例において、ステレオカメラ６は、２組の撮像機構のそれぞれが出力する画像間の視差に基づいて基本画像の各画素に写る物体とステレオカメラ６との間の距離を導き出す。そして、ステレオカメラ６は、基本画像の各画素の値に、導き出した距離を代入して二次元配列の距離情報としての入力距離画像を生成し、生成した入力距離画像を制御部１に対して出力する。そして、制御部１は、複数のステレオカメラ６からの複数の入力距離画像を用いて１つの出力距離画像を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、３つのステレオカメラのそれぞれにおける第１撮像機構が出力する３つの画像に基づいて第１出力画像（第１視点変換画像）を生成し、且つ、それら３つのステレオカメラのそれぞれにおける第２撮像機構が出力する３つの画像に基づいて第２出力画像（第２視点変換画像）を生成する。その上で、画像生成装置１００は、第１視点変換画像と第２視点変換画像との間の視差に基づいて第１視点変換画像の各画素に写る物体と所定の基準点との間の距離を導き出すことにより、入力距離画像を用いることなく、出力距離画像を生成してもよい。

１・・・制御部 ２・・・カメラ ２Ｌ・・・左側方カメラ ２Ｒ・・右側方カメラ ２Ｂ・・後方カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 ６・・・ステレオカメラ ６Ｌ・・・左側方ステレオカメラ ６Ｒ・・・右側方ステレオカメラ ６Ｂ・・・後方ステレオカメラ １０・・・座標対応付け手段 １１・・・画像生成手段 １２・・・画素抽出手段 １３・・・距離補正手段 １４・・・距離画像合成手段 １５・・・運転支援手段 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ １００・・・画像生成装置

Claims (7)

1. 下部走行体と、
   前記下部走行体に旋回自在に搭載された上部旋回体と、
   前記上部旋回体に配置された複数のステレオカメラと、を有する、
   ショベル。
2. 第１のステレオカメラは、前記上部旋回体の後方に配置され、
   第２のステレオカメラは、前記上部旋回体の側方に配置される、
   請求項１に記載のショベル。
3. 前記ステレオカメラは、前記上部旋回体の上面において、斜め下方を向いて配置されている、
   請求項１又は２に記載のショベル。
4. 前記ステレオカメラは、前記上部旋回体の側面から突出しない、
   請求項１乃至３の何れかに記載のショベル。
5. 複数の前記ステレオカメラの撮像範囲は、互いに重複する領域がある、
   請求項１乃至４の何れかに記載のショベル。
6. 前記ステレオカメラは、複数台のカメラの撮像機能を一体的に備える装置である、
   請求項１乃至５の何れかに記載のショベル。
7. 前記ステレオカメラは、別個独立の複数台のカメラによって構成されている、
   請求項１乃至５の何れかに記載のショベル。