JP2006171964A - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】実際に仮想視点から見た映像と共通するように視点変換処理を行う。
【解決手段】撮像装置２００により撮像された対象物の画像データを取得する画像データ取得部１０と、測距装置３００により測距された撮像装置２００から対象物までの測定距離を取得する測定距離取得部２０と、撮像された画像データを予め設定した２以上の基準座標に投射し、基準座標における画素ごとの投射座標値を算出する投射部３０と、撮像装置２００の高さ情報と、取得された測定距離とに基づいて、対象物の高さ成分を画素ごとに抽出する高さ成分抽出部４０と、高さ成分と各投射座標値とに基づいて、撮像された画像データの視点変換処理を画素ごとに行う視点変換処理部５０と、視点変換処理後の各画素データの有無を判断し、画素データのない画素を陰領域として特定するとともに、陰領域の画素に他の領域と識別可能なデータを補完する画像編集部６０とを有する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理システム及び画像処理方法に関し、特に、画像に含まれる対象物の高さ成分を考慮した視点変換を行う装置及び方法に関する。

高さ成分を持つ物体を検知する手法として、一のカメラにより撮像された映像と、この映像を他のカメラの設置位置を視点とした視点変換映像とを比較し、これらの映像の相違部分に基づいて、道路上の高さ成分を持つ物体の存在を検知するという、ステレオ映像を利用した検知手法が知られている（特許文献１参照）。

しかしながら、一の視点から撮像した画像データを他の視点から見た画像データに変換した場合、高さ成分のない路面等は正確な位置に変換できるが、高さ成分を有する他車両、設置物等を正確な位置に変換することができず、変換処理された画像データと仮想視点から実際に見た映像とが異なり、ユーザは正確に周囲の状況を認識することができないという問題があった。特に、基準となる画像データの視点を相対的に高い位置に移動させて俯瞰画像を得る場合、この問題は顕著となるという不都合があった。
特開２０００−６５９４８号公報

本発明は、以上の課題を鑑みてなされたものであり、高さ成分を有する物体の視点変換後の画像が、その視点から見た実際の画像と一致するように視点変換を行う画像処理装置及び画像処理方法を提供することを目的とする。
本発明によれば、所定の位置に設けられた１又は２以上の視点から撮像された周囲の対象物の画像データと、測距された視点から対象物までの測定距離とを取得し、視点から対象物までの測定距離に基づいて画像データの対象物の高さ成分を画素ごとに抽出し、当該抽出された画素ごとの高さ成分を変換因子として、撮像された画像データの視点変換処理を行う画像処理装置、画像処理システム及び画像処理方法が提供される。

本発明の画像処理装置又は画像処理方法は、撮像される物体の高さ成分を考慮して視点変換処理を行うことにより、実際に見た映像に近い視点変換を提供することができる。

＜第１実施形態＞
以下、図面に基づいて、本発明に係る画像処理装置１００を備えた画像提示システム１０００を説明する。

図１に画像提示システム１０００のブロック構成図を示した。図１に示すように、画像提示システム１０００は、画像処理装置１００と、撮像装置２００と、測距装置３００と、外部装置４００とを有する。特に限定されないが、ここでは車両に搭載され、車両周囲の対象物の画像データを処理する画像提示システム１０００を例にして説明する。

「撮像装置２００」は、１又は２以上の所定の位置に設けられ、周囲の対象物を撮像する。撮像装置２００は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサや、ＣＣＤ(Charge Coupled Device)等の撮像素子をそなえたカメラである。撮像装置２００は、撮像した対象物の画像データを画像処理装置１００へ送出する。対象物には高さ成分を有する立体的な物体、高さ成分を有さない平面的な物体（道路等）の双方を含む。

「測距装置３００」は、撮像装置２００に併設され、撮像装置２００から対象物までの距離を測定する。対象物までの距離の測定手法は特に限定されず、通常の手法を用いることができる。例えば、本実施形態の測距装置３００として、ステレオカメラの映像、レーザレーダの反射波、ＬＥＤ（Light Emitting Diode）の不可視領域波等を利用した測距ユニットを用いることができる。

「画像処理装置１００」は、画像データ取得部１０と、測定距離取得部２０と、高さ成分抽出部３０と、投射部４０と、視点変換処理部５０と、画像編集部６０とを有し、取得した画像データの視点変換処理を行う。具体的に、画像処理装置１００は、画素ごとに対象物の高さ成分を算出する処理と、基準座標における画素ごとの投射座標値を算出する処理と、取得した画像データの視点変換処理を行う処理を実行するＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）を備える。もちろん、これらの処理を実行させるプログラムを格納したＲＯＭ(Read Only Memory)等と、このＲＯＭ等に格納されたプログラムを実行させることで、投射部３０、高さ成分抽出部３０、視点変換処理部５０、画像編集部６０として機能するＣＰＵ（Central Processing Unit）等と、アクセス可能な記憶手段として機能するＲＡＭ(Random Access Memory)等とを備える構成にしてもよい。

以下、画像処理装置１００の各構成について説明する。
「画像データ取得部１０」は、撮像装置２００が撮像した対象物の画像データを取得する。「測定距離取得部２０」は、測距装置３００が測定した撮像装置２００から対象物までの距離を取得する。

「投射部３０」は、撮像された画像データを予め設定した２以上の基準座標に投射し、各基準座標における画素ごとの投射座標値を算出する。本実施形態の投射部３０は、第１投射部３１と第２投射部３２とを有している。第１投射部３１は、取得した画像データを対象物の高さ成分を無視した第１基準座標に投射する第１投射対応情報を有し、この第１投射対応情報を参照して、取得した画像データを第１基準座標に投射した場合の第１投射座標値を画素ごとに算出する。第２投射部３２は、取得した画像データを所定の高さの基準視点から対象物を見た場合の第２基準座標に投射する第２投射対応情報を有し、この第２投射対応情報を参照して、取得した画像データを第２基準座標に投射した場合の第２投射座標値を画素ごとに算出する。画像データにおける画素の座標値が、(X_im,Y_im)である場合、第１投射部３１は、対象物の高さ成分を無視した第１基準座標に投射した第１座標値（X₀,Y₀）を算出し、第２投射部３２は、所定の高さの基準視点から対象物を見た場合の第２基準座標に投射した第２座標値（X_s,Y_s）を算出する。この投射処理は、対象物の高さ成分を考慮しない視点変換処理に相当する。

「高さ成分抽出部４０」は、撮像装置２００から対象物までの測定距離に基づいて、画像データ内の対象物の高さ成分を画素ごとに抽出する。本実施形態の高さ成分抽出部４０は、測定距離取得部２０により取得された撮像装置２００から対象物までの測定距離と、対象物の高さ成分を無視した場合の撮像装置２００から対象物までの距離の比に、撮像装置２００の高さを乗じることにより、対象物の高さ成分を画素ごとに抽出する。

特に限定されないが、本実施形態の高さ成分抽出部４０は、以下の手法により対象物の高さ成分を抽出する。高さ成分抽出部４０は、画像データの各画素について、画像データ中の対象物までの距離（L_target）を測定距離取得部２０を介して取得する。撮像装置２００から対象物までの測定距離（L_target）は測距装置３００が測定する。高さ成分抽出部４０は、この測定距離（L_target）に基づいて、高さ成分抽出部４０は、対象物の高さ成分が０であるときの理論的な撮像装置２００から対象物までの距離（L₀）を求め、これらの比に撮像装置２００が設置されている位置の高さ（h_camera）を乗じて、対象物の高さ（h_target）を求める。具体的な式を以下に示した。撮像装置２００の高さ（h_camera）は予め記憶しておくことが好ましい。

「視点変換処理部５０」は、抽出された画素ごとの高さ成分を変換因子として、撮像された画像データの視点変換処理を行う。視点変換処理部５０は、高さ成分抽出部４０により抽出された画素ごとの対象物の高さ成分と、投射部３０により算出された画素ごとの各投射座標値とに基づいて、撮像された画像データの視点変換処理を画素ごとに行う。

本実施形態の視点変換処理部５０は、投射部３０の第１投射部３１が算出した高さ成分がない場合の第１座標（X₀,Y₀）と、第２投射部３２が算出した基準高さh_stdでの第２座標（X_s,Y_s）と、高さ成分抽出部４０が算出した画素ごとの対象物の高さ成分とを取得し、これらに基づいて高さh_targetにおける対象物の座標（X,Y）を算出する。

特に限定されないが、本実施形態の視点変換処理部５０は、以下の演算式により高さh_targetにおける対象物の座標（X,Y）を求める。

高さ成分を抽出し、抽出した高さ成分を変換因子として画像データの視点変換を行うことにより、高さ成分のない路面等はもちろんのこと、高さ成分を有する他車両、設置物等を正確な位置に変換することができる。このため、変換処理された画像データと仮想視点から実際に見た映像とが一致し、ユーザは正確に周囲の状況を認識することができる。撮像された画像データの視点を相対的に高い位置に移動させて俯瞰画像を得る場合においても、同様の効果を奏する。

このような視点変換処理の結果、撮像された画像データ中の複数の画素データが変換後同じ座標値（X,Y）をとり、変換後の画像データの１画素に複数の画素データが重複して存在する場合がある。この場合１画素に対して１の画素データを決定する必要がある。本実施形態の視点変換処理部５０は、第１画素データ選択機能５１と、第２画素データ選択機能５２とを有する。第１画素データ選択機能５１は、高さ成分抽出部４０により抽出された対象物の高さ成分が高い画素のデータ値を、その画素の画素データとして決定する。一方、第２画素データ選択機能５２は、測距装置３００により測定され、測定距離取得部２０により取得された撮像装置２００から対象物までの距離が短い画素のデータ値を、その画素の画素データとして決定する。これにより、正確な変換処理を行うことができる。なお、第１画素データ選択機能５１及び第２画素データ選択機能５２はいずれか一方を備えてもよいし、処理の優先順位を設定した上で、第１画素データ選択機能５１及び第２画素データ選択機能５２の両方を備えてもよい。

上述したように高さ成分を変換因子とした視点変換処理を行うと、撮像された画像データ中の複数の画素データが変換後同じ座標値（X,Y）をとることがあるため、変換後の画像データには画素データが存在しない画素がある。本実施形態の画像処理装置１００は、取得できなかった画素データについては、不正確な出力をすることなく、取得できなかった旨が識別されるように画像データの処理を行う。

具体的に、「画像編集部６０」は、陰領域特定部６１と、地面領域特定部６２と、データ補完部６３とを有する。陰領域特定部６１は視点変換処理後の画像データにおける各画素データの有無を判断し、画素データのない画素を陰領域として特定し、データ補完部６３は特定された陰領域の画素に他の領域と識別可能な第１識別データを補完する。この場合、画素データに他の画素データと識別可能な識別子を含ませることが好ましい。必要に応じて、地面領域特定部６２は対象物の高さ成分がゼロ乃至ゼロ近傍の値である画素を地面領域としてさらに特定し、データ補完部６３は特定された地面領域の画素に第１識別データとは異なる第２識別データを補完する。この場合、画素データに他の画素データと識別可能な識別子を含ませることが好ましい。

このように、高さ成分を有する対象物の陰となって画像データが取得できない部分については、不正確な出力をすることなく、対象物に遮られることなく画像データが取得された部分と識別できるような画像データを編集することができる。つまり、変換処理後の画像データのうち、信頼性の高いデータと信頼性の低いデータ（現実には撮像できなかった陰の部分の画像データ）とが識別できる画像データを編集することができる。これらの画像データは、表示装置４１０、障害物検知装置４２０、運転／駐車支援装置４３０等の外部装置４００へ送出される。外部装置４００は、高さ成分を変換因子とした正確な視点変換処理後の画像データに基づいて、正確な障害物検知、適切な運転／駐車支援等を行うことができる。

特に、画像提示システム１０００の外部装置４００が、画像データをユーザが視認可能なように表示する液晶ディスプレイ等の表示装置４１０である場合、画像編集部６０はユーザが陰領域を視認できるように画像データを編集する。

具体的に、画像編集部６０の陰領域特定部６１は視点変換処理後の画像データにおける各画素データの有無を判断し、画素データのない画素を陰領域として特定し、データ補完部６３は特定された陰領域の画素に第１の所定色の画像データを補完する。必要に応じて、地面領域特定部６２は対象物の高さ成分がゼロ乃至ゼロ近傍の値である画素を地面領域としてさらに特定し、データ補完部６３は特定された地面領域の画素に第１の所定色とは異なる色の画像データを補完する。

このように、高さ成分を有する対象物の陰となって画像データが取得できない部分については、不正確な表示をすることなく、他に遮られることなく画像データが取得できた部分と異なる色で表示することができるため、ユーザは画像データが取得できなかった領域を認識することができ、変換後の視点から見た映像を正確に把握することができる。つまり、ユーザは、変換処理後の画像データのうち、信頼性の高いデータと信頼性の低いデータ（現実には撮像できなかった陰の部分の画像データ）とを識別することができる。

本実施形態の画像提示システム１０００の処理を図２から図５に基づいて説明する。図２は本実施形態の画像提示システムの動作手順を示すフローチャート図である。

図２に示すように、撮像装置２００が車両周囲の対象物を撮像し、画像処理装置１００の画像データ取得部１０が対象物の画像データを取得する（S1000）。測距装置３００が撮像装置２００から対象物までの距離を測定し、画像処理装置１００の測定距離取得部２０が測定距離を取得する(S1001）。

高さ成分抽出部４０は、撮像装置２００から対象物までの測定距離に基づいて画像対象物の高さ成分を画素ごとに抽出する（S1002）。

投射部３０は、撮像された画像データを予め設定した２以上の基準座標（高さ成分を無視した第１基準座標及び所定の高さの基準視点から対象物を見た場合の第２基準座標）に投射し、基準座標ごとの投射座標値を算出する（S1003）。

視点変換処理部５０は、高さ成分抽出部４０により抽出された対象物の高さ成分を変換因子として、撮像された画像データの視点変換処理を行う（S1004）。

視点変換処理部５０は、視点変換処理の対象となった画素について、すでに画素データが設定されているか否かを判断する（S1005）。すでに画素の値が設定されている場合は（S1005でYES）、１画素に複数の画素データが重複して存在すると判断し、その画素の高さ成分と現在処理対象となっている画像データの高さ成分を比較し（S1006）、今処理を行っている映像の対象範囲の高さが高い場合は（S1006でYES）、現在処理している画素のデータ値（高さ成分が高い画素のデータ値）を、その画素の画素データとして決定する（S1007）。他方、S1005において、視点変換処理の対象となった画素について、未だ画素データが設定されていない場合は（S1005でNo）、現在処理している画素のデータ値を、その画素の画素データとして決定する（S1007）。本処理では画素の高さ成分に基づいて、画素データを選択するが、対象物までの距離に基づいて画素データを選択してもよい。

次に、画素データの補完が必要であるか否かを判断する（S1008）。視点変換処理によって画像を拡大表示する場合、視点変換処理後、隣接する画素の画素データが連続した値とならないため、間隔のあいてしまった画素については最も近い画素の値をその画素の値として補完する（S1009）。補間処理が必要でなければ（S1008でNo）、Ｓ１０１０へ進む。

全画素の視点変換処理が終わるまで、S1003〜S1009を繰り返す。全画素についての視点変換処理が終了したら（S1010でYes）、画像データの編集を行う。

画像編集部６０は、高さ成分のある物体の陰となって画像データがない陰領域を特定するとともに、陰領域の色を特定する（S1011）。編集された画像情報は表示装置４１０に向けて出力され（S1012）、表示装置４１０を介してユーザに提示される（S1013）。

図３〜図５に基づいて、本実施形態の画像処理装置１００により得られた画像データの一例を説明する。図３は所定位置に設けられた撮像手段２００と対象物との位置関係を示す図である。図３（Ａ）は撮像手段２００と対象物とを上面から見た図であり、図３（Ｂ）は撮像手段２００と対象物とを斜視した図である。本例において撮像される対象物は、高さ成分を有する物体Ａと、高さ成分がゼロの物体Ａの置載面である。図４は、図３に示した配置において撮像装置２００が撮像した画像データである。図５（A）は高さ成分を無視して視点変換（視点を真上にした）された画像データである。図５（B）は本実施形態の画像提示システム１０００により、対象物の高さ成分を変換因子とした変換処理が行われた画像データの一例である。図５（B）のO´，P´，Q´， R´は図５（A）のO，P，Q， Rに相当する。図５（B）の斜線の領域は物体Ａの陰となって画像データが得られなかった陰領域である。図５（Ｂ）の無地の領域は高さ成分が抽出されなかった部分である。

本実施形態では、車載カメラで撮像した画像データを、高さ成分を変換因子として視点変換を行い、高さ成分をもつ対象物の陰となって画像データが得られなかった領域については、図５（Ｂ）に示すように陰領域として他の領域と識別可能に表示することにより、高さ成分のある物体を変形させることなく、高さ成分のある物体で陰となった領域を他の領域と識別可能に表示することができる。

一般的な視点変換処理において、一の視点から撮像した画像データを他の視点から見た画像データに変換した場合、高さ成分を有する物体によって隠れた部分の画像データが欠けているため、視点変換後の画像データは他の視点から見た実際の映像と相違してしまうという問題があったが、本実施形態の画像提示システム１０００によれば、高さ成分を有する物体の視点変換後の画像データが、その視点から見た実際の映像と一致するように視点変換を行うことができる。

＜第２実施形態＞
第２実施形態は、異なる位置に設けられた複数の撮像装置２００により撮像された複数の画像データに基づいて視点変換処理を行う点を特徴とする。基本的な構成及び動作は第１実施形態と共通するため、ここでは異なる点を中心に説明する。

本実施形態の画像処理装置１１０は、重畳合成部７０を有する。重畳合成部７０は、異なる位置に設けられた複数の撮像装置２００により撮像された複数の画像データ、すなわち異なる複数の視点から対象物を見た場合の画像データに基づいて、高さ成分を変換因子とした視点変換処理がなされた複数の画像データを、所定の座標軸を基準として重畳合成する。視点の異なる複数の画像データを重畳合成することにより、１の視点（撮像装置２００の設置位置）からでは対象物の陰となって見えない部分を、他の視点から撮像した画像データにより補うことができる。

他方、重畳合成処理を行った結果、１画素に複数の画素データが重複して存在する場合は、高さ成分抽出部４０により抽出された対象物の高さ成分が高い画素のデータ値を、その画素の画素データとして決定してもよいし、測定距離取得部２０により取得された撮像装置２００から対象物までの距離が短い画素のデータ値を、その画素の画素データとして決定してもよい。

図７は本実施形態の提示システム１１００の動作手順を示すフローチャート図である。

本実施形態では撮像装置２００として複数のカメラ１〜Ｎが設けられ、画像データ取得部１０は複数のカメラ（１〜Ｎ）から複数の画像データを取得する(Ｓ1200)。Ｓ１００１〜Ｓ１０１０は図２に示した第１実施形態の処理と共通する。１のカメラ２００が撮像した画像データの全画素について処理が終了したらＳ１２０１へ進む。Ｓ１２０１において、重畳合成部７０は、重畳処理の対象となるカメラ１〜Ｎが撮像したすべての画像データについて処理が終了したか否かを判断し（S1201)、すべての画像データについての処理が終了するまでＳ１００１からの処理を繰り返す。重畳処理の対象となるカメラ１〜Ｎの画像データの処理が終了したら（S1201でY）、複数の画像データを所定の座標軸を基準に重畳する(S1202)。重畳により発生した重複する画素データを調整し、重畳合成された画像データを画像編集部６０へ送出する。その後の処理（S1011〜S1013）は、第１実施形態の処理と共通する。

図８〜図１０に基づいて、本実施形態の画像処理装置１１０により得られた画像データの一例を説明する。図８は２つの所定位置に設けられたカメラ２００−１，カメラ２００−２と対象物との位置関係を示す図である。図８（Ａ）は２つのカメラ２００−Ｎと対象物とを上面から見た図であり、図８（Ｂ）はカメラ２００−１と対象物とを斜視した図である。ここではカメラ２００−２と対象物との斜視図を省略したが、図（Ｂ）を９０度回転させればよい。本例において撮像される対象物は、高さ成分を有する物体Ａと、高さ成分がゼロの物体Ａの置載面である。

本実施形態のカメラ２００−１及び２００−２が撮像する画像データは、第１実施形態の図４に示した画像データと共通する。図９（Ａ）はカメラ２００−１により撮像された画像データに基づいて、対象物の高さ成分を変換因子とした変換処理が行われた画像データの一例である。図９（Ｂ）はカメラ２００−２により撮像された画像データに基づいて、対象物の高さ成分を変換因子とした変換処理が行われた画像データの一例である。これらの変換処理は視点変換処理部５０が行う。図９（Ａ）及び（B）の斜線の領域は物体Ａの陰となって画像データが得られなかった陰領域であり、無地の領域は高さ成分が抽出されなかった部分である。

図９（Ａ）及び（Ｂ）に示す変換処理後の画像データが得られたら、重畳合成部７０はこれらを所定の座標軸を基準に重畳合成する。重畳合成処理がされた画像データを図１０に示した。図１０の斜線の領域は物体Ａの陰となって、カメラ２００−１からもカメラ２０−２からも画像データが得られなかった陰領域であり、無地の領域は高さ成分が抽出されなかった部分である。

本実施形態では、複数の車載カメラで撮像した画像データを、高さ成分を変換因子として視点変換を行い、所定の座標軸を基準に重畳させて、高さ成分をもつ対象物の陰となって画像データが得られなかった領域については、図１０に示すように陰領域として他の領域と識別可能に表示することにより、ユーザは画像データを見たとき、高さ成分のある物体が変形して見えることもなく、高さ成分のある物体で陰となった領域を正確に把握することができる。しかも、異なる位置に設けられた複数のカメラから異なるアングルの画像データを得ることにより、あるカメラでは陰になって見えない部分となっていても、他のカメラから正確な画像データを得ることができるため、これらを重畳合成することによって陰となる部分をより少なくすることができ、そのアングルから実際に見える映像との差異をなくすことができる。

本明細書では、画像処理装置１００，１１０を含む画像提示システム１０００ を例に説明したが、本発明に係る画像処理方法を使用した場合も、同様の作用及び効果を奏する。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

第１実施形態の画像提示システムのブロック図である。 第１実施形態に係る画像提示システムの制御手順を示す図である。 （Ａ）は撮像装置と対象物とを上面から見た図、（Ｂ）は撮像対象と対象物とを斜視した図である。 撮像された画像データを示す図である。 （Ａ）は高さ成分を無視して視点変換処理をした場合の上面からの俯瞰図、（Ｂ）は高さ成分を考慮して視点変換処理をした場合の上面からの俯瞰図である。 第２実施形態の画像提示システムのブロック図である。 第２実施形態に係る画像提示システムの制御手順を示す図である。 撮像装置と対象物とを示す図である。 （Ａ）はカメラ２００−１が撮像した画像データに基づいて、高さ成分を考慮して視点変換処理をした場合の上面からの俯瞰図、（Ｂ）はカメラ２００−２が撮像した画像データに基づいて、高さ成分を考慮して視点変換処理をした場合の上面からの俯瞰図である。 重畳構成処理をした画像データの一例を示す図である。

符号の説明

１０００…画像提示システム
１００…画像処理装置
１０・・・画像データ取得部
２０・・・測定距離取得部
３０・・・投射部
３１・・・第１投射部
３２・・・第２投射部
４０・・・高さ成分抽出部
５０・・・視点変換処理部
６０・・・画像編集部
７０・・・重畳合成部
２００・・・撮像装置，カメラ（１〜Ｎ）
３００・・・測距装置
４００・・・外部装置
４１０・・・表示装置
４２０・・・障害物検知装置
４３０・・・運転／駐車支援装置

Claims (13)

1. 所定の位置に設けられた１又は２以上の撮像装置により撮像された周囲の対象物の画像データと、前記撮像装置に併設された測距装置により測距された前記撮像装置から対象物までの測定距離とを取得し、取得した画像データの視点変換処理を行う画像処理手段を備えた画像処理装置であって、
   前記画像処理手段は、前記撮像装置から前記対象物までの測定距離に基づいて前記画像の対象物の高さ成分を画素ごとに抽出するとともに、当該抽出された画素ごとの高さ成分を変換因子として、前記撮像された画像データの視点変換処理を行う画像処理装置。
2. 前記画像処理手段は、
   前記撮像装置により撮像された対象物の画像データを取得する画像データ取得部と、
   前記測距装置により撮像された撮像装置から対象物までの測定距離を取得する測定距離取得部と、
   前記撮像装置が設けられた位置の高さ情報と、前記測定距離取得部により取得された測定距離とに基づいて、前記画像データにおける対象物の高さ成分を画素ごとに抽出する高さ成分抽出部と、
   前記撮像された画像データを予め設定した２以上の基準座標に投射し、基準座標における画素ごとの投射座標値を算出する投射部と、
   前記高さ成分抽出部により抽出された画素ごとの高さ成分と、前記投射部により算出された画素ごとの各投射座標値とに基づいて、前記撮像された画像データの視点変換処理を画素ごとに行う視点変換処理部とを有する請求項１に記載の画像処理装置。
3. 前記高さ成分抽出部は、前記測定距離取得部により取得された測定距離と前記対象物の高さ成分を無視した場合の撮像装置から対象物までの距離との比に、前記撮像装置の高さを乗じて、前記対象物の高さ成分を画素ごとに抽出する請求項２に記載の画像処理装置。
4. 前記投射部は、画像データ取得部により取得された画像データを、対象物の高さ成分を無視した第１基準座標に投射する第１投射対応情報と、画像データ取得部により取得された画像データを、所定の高さの基準視点から対象物を見た場合の第２基準座標に投射する第２投射対応情報とを参照して、前記画像データ取得部により取得された画像データに基づいて、第１基準座標における第１投射座標値と、第２基準座標における第２投射座標値とを画素ごとに算出する請求項２又は３に記載の画像処理装置。
5. 前記視点変換処理部は、前記高さ成分抽出部により抽出された画素ごとの高さ成分と、前記投射部により算出された画素ごとの各投射座標値に基づいて、撮像された画像データの視点変換処理を画素ごとに行った結果、１画素に複数の画素データが重複して存在する場合は、前記高さ成分抽出部により抽出された対象物の高さ成分が高い画素のデータ値を、その画素の画素データとして決定する請求項２〜４のいずれかに記載の画像処理装置。
6. 前記視点変換処理部は、前記高さ成分抽出部により抽出された画素ごとの高さ成分と、前記投射部により算出された画素ごとの投射座標値に基づいて、前記撮像された画像データの視点変換処理を画素ごとに行った結果、１画素に複数の画素データが重複して存在する場合は、前記測定距離取得部により取得された撮像装置から対象物までの距離が短い画素のデータ値を、その画素の画素データとして決定する請求項２〜４のいずれかに記載の画像処理装置。
7. 前記画像処理手段は、異なる位置に設けられた前記複数の撮像装置により撮像された複数の画像データに基づいて視点変換処理がされた複数の画像データを、所定の座標軸を基準に重畳する重畳合成部をさらに備えた請求項１〜６のいずれかに記載の画像処理装置。
8. 前記画像処理手段は、前記視点変換処理後の画像データにおける各画素データの有無を判断し、画素データのない画素を陰領域として特定するとともに、当該特定された陰領域の画素に他の領域と識別可能な第１識別データを補完する画像編集部をさらに備えた請求項１〜７のいずれかに記載の画像処理装置。
9. 前記画像処理手段の画像編集部は、前記画素ごとに抽出された、対象物の高さ成分がゼロ乃至ゼロ近傍の値である画素を地面領域としてさらに特定するとともに、当該特定された地面領域の画素に第１識別データとは異なる第２識別データを補完する請求項８に記載の画像処理装置。
10. 請求項１〜８のいずれかに記載の画像処理装置により処理された画像データを、ユーザが視認可能なように表示する表示装置をさらに備えた画像処理システム。
11. 前記画像処理手段は、前記視点変換処理後の画像データにおける各画素データの有無を判断し、画素データのない画素を陰領域として特定するとともに、当該特定された陰領域の画素に第１の所定色の画像データを補完する画像編集部をさらに備えた請求項１０に記載の画像処理システム。
12. 前記画像処理手段の画像編集部は、前記画素ごとに抽出された、対象物の高さ成分がゼロ乃至ゼロ近傍の値である画素を地面領域としてさらに特定するとともに、当該特定された地面領域の画素に第１の所定色とは異なる色の画像データを補完する請求項１１に記載の画像処理システム。
13. 所定の位置に設けられた１又は２以上の視点から撮像された周囲の対象物の画像データを取得するステップと、
    測距された前記視点から対象物までの測定距離を取得するステップと、
    前記視点から前記対象物までの測定距離に基づいて前記画像データの対象物の高さ成分を画素ごとに抽出するステップと、
    当該抽出された画素ごとの高さ成分を変換因子として、前記撮像された画像データの視点変換処理を行うステップとを有する画像処理方法。