JP2011061588A - 画像処理装置、画像処理方法及び車載カメラ装置 - Google Patents

Abstract

【課題】車載カメラ装置において、小規模な回路構成、低コストで、異なる変形画像間のマーカー（車幅線、距離線など）の対応点を自動的に演算する。
【解決手段】座標変換により入力画像を変形するための座標計算を行う座標計算手段を用いて、異なる変形画像間のマーカー位置の対応点を求める。例えば、魚眼画像に起因する画像の歪みを補正した変形画像（ノーマルモード）におけるマーカーの座標値を、視点変換により真上から見た変形画像（見下ろしモード）に反映させる場合、座標計算手段を用いて、ノーマルモードにおけるマーカーの座標値（Ｂ）を一度、画像変形前の魚眼画像における対応する座標値（Ａ）に変換し、その後、この座標値（Ａ）を見下ろしモードにおける対応する座標値（Ｃ）に変換する。
【選択図】図９

Description

本発明は、入力画像を種々変形処理すると共に、変形処理された画像に車幅線や距離線などのマーカーを重畳する画像処理装置及び方法、並びに画像処理装置を備えた車載カメラ装置に関する。

従来から車の後ろ部分を見るバックモニターなどにおいて、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像に変形することにより、ドライバーに見やすい画像を表示する車載カメラシステムが知られている。さらに表示画像に車の車幅を示す車幅線や、車からの距離を示す距離線を表示することで、ドライバーの安全な駐車を助ける車載カメラシステムが知られている（例えば、特許文献１）。

通常、このような車載カメラシステムにおいては多数の車種に対応可能なように車幅線や距離線などのマーカーの位置を変更することが可能となっている場合がある。しかしながら、例えば魚眼画像に起因する画像の歪みを補正した表示モード（以下ノーマルモードと呼ぶ）と、視点変換に基づいた画像変形により真上から見た画像に変形する表示モード（以下見下ろしモードと呼ぶ）において、マーカー位置をユーザーが変更する場合、各モード毎にマーカー位置を独立に設定する構成では、ユーザーは２回マーカー位置を調整する必要があり、操作が煩雑である。

そのためには、例えばノーマルモードで設定したマーカー位置から自動的に見下ろしモードに対応する位置を演算により求めて反映する方法が考えられる。しかし、その対応位置演算のためには画像変形を考慮した複雑な位置計算が必要となる。マーカー位置設定などのユーザーインタフェースや種々の制御を司るＣＰＵ等がソフトウエアでこの対応位置計算の処理を行うとすると、高速・大規模なＣＰＵが必要であり、コストの増加を招く問題がある。

本発明は、小規模な回路構成で、コストの増加を招くことなく、簡単に複数の変形画像に対応するマーカー位置を求めることができる画像処理装置及び方法、並びに該画像処理装置を備えた車載カメラ装置を提供することにある。

本発明では、座標変換により入力画像を変形するための座標計算を行うハードウエアによる座標計算手段を用いて、複数の変形画像の一つ（以下、第１の変形画像）において設定されたマーカーの位置情報を他の変形画像（以下、第２の変形画像）に反映させるためのマーカーの対応位置を求める演算を行うようにする。

詳しくは、座標計算手段を用いて、一度、第１の変形画像におけるマーカーの座標値を画像変形前の入力画像における対応する座標値に変換し、次に前記変換された入力画像の座標値を第２の変形画像における対応する座標値に変換することで、第１の変形画像において設定されたマーカーの位置情報を第２の変形画像に自動的に反映させる。

具体的構成としては、座標計算手段における第１の変形画像の座標計算において、前記第１の変形画像におけるマーカーの座標値に一致する前記座標計算手段の入力の座標変換先の座標値に対応する前記座標計算手段の出力の座標変換元の座標値を取得する手段、前記座標計算手段における前記第２の変形画像の座標計算において、前記取得した座標値に一致する前記座標計算手段の出力の座標変換元の座標値に対応する前記座標計算手段の入力の座標変換先の座標値を取得する手段を、座標計算手段に追加する。

そして、前記第１の変形画像の座標計算を１フレーム期間実施し、その後第２の変形画像の座標計算を１フレーム期間実施するようにする。また、これらの期間中は画面がちらちらしないように画面をマスクするようにする。

本発明の画像処理装置及び方法によれば、座標変換により入力画像を変形するための座標計算を行うハードウエアによる座標計算手段を用いて、小規模な回路構成で、コストの増加を招くことなく、各変形画像間のマーカー位置の対応点を自動的に求めることが可能になる。したがって、本発明の画像処理装置を車載カメラに備えることで、安価で利便性のよい車載カメラ装置を実現できる。

本発明による画像撮像装置を備えた車載カメラ装置の一実施例の構成図である。 ベイヤー配列カラーフィルタを示す図である。 ＭＴＦ補正部の概略構成図である。 ＦＩＲフィルタの一例を示す図である。 車幅線や距離線等のマーカーのノーマルモードと見下ろしモードの関係を示す図である。 図１中の画像変形及びマーカー重畳部、制御部、ＲＯＭの構成例を示す図である。 図６中のマーカー座標値取得手段の構成例を示す図である。 調整画面の一例を示す図である。 ノーマルモードのマーカー頂点を見下ろしモードに反映させる手順を示す図である。 図９の手順を本発明のハードウエア構成で実施する際の処理フロー例である。

以下、本発明の一実施形態について図面を用いて説明する。

図１は、本発明に係る画像処理装置を備えた車載カメラ装置の全体的機能ブロック図を示す。センサユニット１００は、車の後方等を撮影してアナログ画像信号を取得し、それをアナログ・デジタル変換して画像データとして出力する。画像処理装置としての画像処理ユニット２００は、センサユニット１００が出力する画像データを入力して所定の画像処理を施すと共に、画像データに車幅線や距離線などのマーカーを重畳し、マーカー重畳画像データを出力する。操作装置３００は、利用者が画像処理ユニット２００に対して種々の処理を指示するユーザーインタフェースである。後述するように、利用者が操作装置３００を操作することによって、画像処理ユニット２００では画像データに重畳するマーカーを調整する。図１では省略したが、画像処理ユニット２００には表示装置（モニタ）が接続され、画像処理ユニット２００から出力されたマーカー重畳画像データがＮＴＳＣ信号などに変換されて表示される。

センサユニット１００及び画像処理ユニット２００は、一つの筐体内に構成され、車の後部等に設置されて使用される。以下に、センサユニット１００及び画像処理ユニット２００について更に詳しく説明する。

センサユニット１００は撮像素子１１０及びＡ／Ｄ変換器１２０を備えている。撮像素子１１０はＣＣＤやＣＭＯＳセンサ等で構成され、魚眼光学系などの広角で歪曲収差の大きい光学系（不図）を用いて撮影された光学像を電気信号のアナログ信号に変換する。撮像素子１１０にはベイヤー配列の色フィルタが設けられており、撮像素子１１０からはベイヤー配列のＲＧＢアナログ信号が出力される。Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたベイヤー配列のＲＧＢアナログ信号をデジタル信号に変換する。例えば、デジタル信号はＲＧＢそれぞれ８ビットで構成される。以下、ＲＧＢデジタル信号を画像データと称す。なお、一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、図１では省略してある。

画像処理ユニット（画像処理装置）２００はベイヤー補間部２１０、ＭＴＦ補正部２２０、ガンマ補正部３３０、画像変形及びマーカー重畳部２４０、各部の動作を制御する制御部（ＣＰＵ）２５０、各部の処理に必要な種々のパラメータ、テーブル、その他の情報を記憶するＲＯＭ２６０などを有している。このうち、画像変形及びマーカー重畳部２４０が本発明に関係する。制御部２５０は画像変形切替え手段及びマーカー位置調整手段として機能し、ＲＯＭ２６０は座標変換係数テーブル、マーカー位置情報テーブルを記憶している。なお、これらについては後述する。

ベイヤー補間部２１０は、センサユニット１００からベイヤー配列の画像データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補間によって生成する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。

ＭＴＦ補正部２２０は、ベイヤー補間された画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正された画像データを出力する。

図３にＭＴＦ補正部２２０の構成例を示す。変換部２２２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （９）

ＦＩＲフィルタ（５×５フィルタ）２２４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。

逆変換部２２６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ （12）

ガンマ補正部２３０は、ＭＴＦ補正された画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正された画像データを出力する。

画像変形及びマーカー重畳部２４０は、ガンマ補正された画像データを入力し、センサユニット１００の魚眼光学系に起因する画像の歪みを補正する（ノーマルモード）。また、利用者からの切替指示などにより、視点変換に基づいて画像変形により真上から見た画像データに変形する（見下ろしモード）。そして、この歪み補正あるいは視点変換された画像データに対して車幅線や距離線などのマーカーを重畳する。

画像変形及びマーカー重畳部２４０から出力されたマーカーの重畳された画像データは、ＮＳＴＣ方式などの映像信号に変換されて表示装置にモニタ表示される。図５は表示画面の具体例で、図５（ａ）はノーマルモードの表示画面、図５（ｂ）は見下ろしモードの表示画面を示したものである。

以上、図１の全体的動作を説明したが、以下では本発明に関係する画像変形及びマーカー重畳部２４０について詳述する。

図６は、画像変形及びマーカー重畳部の構成例と共に、制御部２５０の関係する機能、ＲＯＭ２６０の関係するテーブル類を示したものである。ここで、画像変形及びマーカー重畳部２４０は、メモリインターフェース２４１、フレームバッファメモリ２４２、座標計算手段２４３、マーカー座標値取得手段２４４、マーカー重畳手段２４５などからなる。制御部２５０は画像変形切替え手段２５２とマーカー位置調整手段２５４の機能（ソフトウエア）を有する。ＲＯＭ２６０は、座標変換係数テーブル２６２及びマーカー位置情報テーブル２６４を保持している。これらのテーブルは表示モード毎に存在するが、ここではノーマルモードと見下ろしモードの２種類とする。

図７はマーカー座標値取得手段２４４の詳細構成を示したもので、取得座標判断手段（１）２４５１、取得座標判断手段（２）２４５２、記憶手段（１）２４５３、記憶手段（２）２４５４からなる。このマーカー座標値取得手段２４４については後述する。

電源投入時など、通常では、ＲＯＭ２６０からノーマルモードの座標係数テーブル２６２−１とマーカー位置情報テーブル２６４−１が読み出されて、座標変換係数テーブル２６４−１は画像変形切替え手段２５２を通して座標計算手段２４３に設定され、マーカー位置情報テーブル２６４−１はマーカー位置調整手段２５４を通してマーカー重畳手段２４５に設定される。利用者から見下ろしモードへの切り替えが指示されると、ＲＯＭ２６０から見下ろしモードの座標変換係数テーブル２６２−２とマーカー位置情報テーブル２６４−２が読み出されて、それぞれ座標計算手段２４３、マーカー重畳手段２４５に設定される。

前段（ガンマ補正部）からの画像データは、メモリインターフェース２４１を通り、入力画像の位置に合わせたアドレスでフレームバッファメモリ２４２へ格納される。フレームバッファメモリ２４２に格納された画像データは、出力画像の出力タイミングに合わせて、座標計算手段２４３により計算された入力画像の画像変形を反映した座標変換元の座標のアドレスに従い、メモリインターフェース２４１によりフレームバッフアメモリ２４１から読み出される。

ここで、座標計算手段２４３では、ノーマルモードの場合、例えば以下のような座標変換式により、入力画像の画像変形（歪補正）を反映した座標計算を行う。すなわち、出力画像の各画素に対応するに入力画像の座標を計算する。

ｘ，ｙ：画面中心を原点とした座標変換先の座標
Ｘ，Ｙ：画面中心を原点とした座標変換元の座標
ａ，ｂ：座標変換係数
先の座標変換係数テーブル２６２−１には、座標変換係数ａ，ｂが保持されている。

同様に、見下ろしモードの場合には、所望の座標変換式により視点変換を行い、見下ろし画像を反映した座標計算を行う。そのために必要な座標変換係数は座標変換係数テーブル２６２−２に保持されている。

マーカー重畳手段２４５では、メモリインターフェース２４１を通してフレームバッファメモリ２４２から読み出された、歪補正あるいは視点変換された画像データに対して、マーカー位置情報テーブル２６４−１や２６４−２を用いて車幅線や距離線といったマーカーを重畳し、マーカー重畳画像データを出力する。マーカー位置情報テーブル２６４−１，２６４−２には、車幅線や距離線の各始点／終点座標値が保持されている。マーカー重畳手段２４５は、これら始点／終点座標値をもとに車幅線や距離線を描画し、画像データに重畳する。

なお、座標計算手段２４３では、座標変換式の代わりに、ノーマルモード及び見下ろしモード毎に、出力画像の各頂点画素に対応する入力画像上の座標変換元の座標値を保持した座標変換テーブル（ＬＵＴ）を用いて、出力画像に対応するに入力画像の座標値を計算することも可能である。頂点画素間の座標値は双方向補間処理により求める。このような座標変換テーブルを用いる方法は、例えば特許文献２に記載されている。この場合は、座標変換係数テーブル２４２−１，２４２−２に替えて、ノーマルモード及び見下ろしモードの座標変換テーブルがＲＯＭ２６０に格納され、その一方の座標変換テーブルが画像変形切替え手段２５２を通して座標計算手段２４３に設定されることになる。

ここで、画像変形及びマーカー重畳部２４０は、高速な動作が必要とされるため、一般にベイヤー補間部２１０、ＭＴＦ補正部２２０、ガンマ補正部２３０と一緒にハードウエア（ＦＧＰＡ，ＡＳＩＣなど）で構成される。例えば、座標計算手段２４３においては、１画素（ピクセル）に対して、一つの座標値を計算する必要があるため、先の（１３）式のような式を用いる場合、ＶＧＡ６０ｆｐｓでは６４０×４８０×６０＝１８ＭＨｚの周波数で演算する必要がある。実際にはブランキング期間があるため、より高い周波数が必要となる。このため、画像変形及びマーカー重畳部２４０、特に、座標計算手段２４３はハードウエアで構成される。

画像変形切替え手段２５２は、例えばノーマルモードを見下ろしモードに切り替える場合、ＲＯＭ２６０にアクセスして、座標計算手段２４３にて演算される座標変換式の係数テーブルの変更や座標変換テーブルの変更を行う。また、それに合わせてマーカー位置調整手段２５４でもＲＯＭ２６０にアクセスして、マーカー重畳手段２４５で用いられるマーカー位置情報テーブルの変更を行う。これらの処理は、仕様変更に対する柔軟性の面やステートマシンはソフトによる記述の方が回路規模が少なくてすむため、制御部（ＣＰＵ）２５０の機能の一つとして一般的にソフトウエア処理で行われる。

さて、車載カメラ装置では、搭載する車種に合わせて車幅線等の調整行う必要がある。この場合、図８に示すように、調整画面を表示し、該調整画面上で利用者が実際に車幅線等を調整することで、マーカー位置調整手段２５４がＲＯＭ２６４のマーカー位置情報テーブルの内容を更新し、該更新されたマーカー位置情報テーブルをあらためてマーカー重畳手段２４５に設定する。図８は、ノーマルモードにて車幅線を調整する場合を示している。一般に、このようなノーマルモードにて調整した車幅線等を見下ろしモードにも反映させる必要がある。この場合、見下ろしモードの調整画面を設けておき、利用者が調整するようにすると、利用者は２回調整する必要があり、操作が煩雑である。

ここで、見下ろしモードの調整画面を用いないで、ノーマルモードにて設定した車幅線等を見下ろしモードにも反映される場合、図９に示すような処理が考えられる。まず、ノーマルモードにおける車幅線等の頂点座標（図９ではＢで示す）を一度、画像変形前（歪補正前）の魚眼画像における対応する座標値（図９ではＡで示す）に変換する（手順１）。その後、この変換した座標点を見下ろしモードにおける対応する座標値（図９ではＣで示す）に変換する（手順２）。これを各頂点座標毎に繰り返す。これにより、ノーマルモードで設定された車幅線等の位置が見下ろしモードの車幅線等の対応する位置に反映される。

この処理を、例えばマーカー位置調整手段２５４においてソフトウエア処理で実施し、対応点の計算も全て行うとすると、ソフトウエア処理では座標変換式の演算や座標変換テーブルによる補間処理が重く、制御部２５４０として高速・大規模な高コストのＣＰＵが必要となる。

そこで、本発明では、図６に示す画像変形及びマーカー重畳部２４０内の座標計算手段２４３を画像変形のための座標計算のみならず、ノーマルモードと見下ろしモードの車幅線等の対応点の演算にも用いるようにして、部品の追加は図７に示すようなマーカー座標値取得手段２４４のみとし、高価なＣＰＵ等の搭載を不要としたものである。

図７において、取得座標判断手段２４５１，２４５２には、求めたい対応点の座標値がマーカー位置調整手段２５４から設定される。座標計算手段２４３は、画像変形の場合と同様に、ノーマルモード及び見下ろしモードでの座標計算を行う。その際、取得座標判断手段２４５１，２４５２は、求めたい対応点の座標値がメモリインターフェース２４１あるいは座標計算手段２４３から入ってきた場合、トリガー信号をアサートする。このアサートされたトリガー信号により、記憶手段２４５３，２４５４は、変換先座標値または変換元座標値を記憶する。この記憶手段２４５３，２４５４に記憶された値が変形前、変形後（座標変換元・座標変換先）の対応点座標値であり、マーカー位置調整手段２５４へと転送される。

図６及び図７の構成において、図９のようなノーマルモードにて調整した車幅線等のマーカーを見下ろしモードにも反映される処理は、具体的に図１０に示すような処理手順で行われる。図１０中、手順１，２は図９の同手順１，２に対応する。

いま、ＲＯＭ２６０のマーカー位置情報テーブル２６４−１には、ノーマルモードにて調整した車幅線や距離線等のマーカー位置情報がすでに格納されているとする。これは、先に図８で説明したように、調整画面上で利用者が実際に車幅線等を調整した値が反映される。このノーマルモードにて調整されたマーカー位置情報テーブル２６４−１の内容は、以下のようにして自動的に見下ろしモードのマーカー位置情報テーブル２６４−２に反映される。

まず、画面を真黒などにマスクする（ステップ１００１）。図１０の手順１，２はマーカーの頂点の数だけ繰り返すことになるが、その数だけ、ノーマルモードと見下ろしモードの変形画面の変更が繰り返されるので、画面がちらちらする。画面がモード変更時にちらちらしないように、処理中は画面を真黒ななどにマスクすることが望ましい。

次に、画面表示をノーマルモードに設定する（ステップ１００２）。そして、マーカー位置調整手段２５４を通し、ノーマルモードのマーカー位置情報テーブル２６４−１から調整済みのマーカー位置情報（以下、マーカー頂点座標値）の内の一つを取得座標判断手段（１）２４５１に設定する（ステップ１００３）。このマーカー頂点座標値が、図９の例えばＢ点である。その後、１フレーム分の時間待つ（ステップ１００４）。この間、座標計算手段２４３では、画像データの出力タイミングに合わせて、順次、メモリインターフェース２４１より座標変換先の座標値を入力して、先の式（１３）の座標変換式あるいは座標変換テーブルを用いて、魚眼画像に起因する画像の歪み補正のための座標変換計算を行い、座標変換先の座標値をメモリインターフェース２４１に出力する動作を繰り返している。取得座標判断手段（１）２４５１は、メモリインターフェース２４１から入力される座標先の座標値を監視し、該座標変換先の座標値が、先に設定されたマーカー頂点座標値と一致した場合、トリガー信号をアサートする。記憶手段（１）２４５３は、このアサートされたトリガー信号により、その時、座標計算手段２４３から出力されているところの、上記座標変換先の座標値に対応する座標変換元の座標値を取り込んで記憶する。この座標変換元の座標値が、図９の例えばＡ点である。１フレーム分の時間経過後、記憶手段（１）２５４３に記憶されている座標変換元の座標値を読み出す（ステップ１００５）。この記憶手段（１）２４５３から読み出した座標変換元の座標値は、マーカー位置調整手段２５４で保持しておくようにする。

次に、画面表示を見下ろしモードに変更する（ステップ１００６）。そして、マーカー位置調整手段２５４で保持しておいた座標変換元の座標値を取得座標判断手段（２）２４５２に設定する（ステップ１００７）。ここで、この座標変換元の座標値は、図９のＡ点に対応する。その後、１フレーム分の時間待つ（ステップ１００８）。この間、座標計算手段２４３では、画像データの出力タイミングに合わせて、順次、メモリインターフェース２４１より座標変換先の座標値を入力して、所定の座標変換式あるいは座標変換テーブルを用いて、視点変換に基づいた見下ろし画像変形のための座標変換計算を行い、座標変換先の座標値をメモリインターフェース２４１に出力する動作を繰り返している。取得座標判断手段（２）２４５２は、座標計算手段２４３から出力される座標変換元の座標値を監視して、該座標変換元の座標値が、先に設定された座標変換元の座標値と一致した場合、トリガー信号をアサートする。記憶手段（２）２４５４は、このアサートされたトリガー信号により、そのとき座標計算手段２４３に入力されているところの、上記座標変換元の座標値に対応する座標変換先の座標値を取り込んで記憶する。ここで、この座標変換先の座標値が、図９のＣ点である。１フレーム分の時間経過後、記憶手段（２）２４５４に記憶されている座標変換先の座標値を読み出す（ステップ１００９）。そして、この記憶手段（２）２４５４から読み出された座標変換先の座標値をマーカー位置調整手段２５４を通して見下ろしモードのマーカー位置情報テーブル２６４−２に格納する。

以下、ノーマルモードのマーカー位置情報テーブル２６４−１内のすべてのマーカー位置情報（マーカー頂点座標値）について、図１０のステップ１００２〜１００９の処理を繰り返すことで、見下ろしモードのマーカー位置情報テーブル２６４−２には、ノーマルモードのマーカー位置情報テーブル２６４−１内のノーマルモードにて設定された各マーカー位置情報に対応する見下ろしモードの各マーカー位置情報が格納されることとなる。

なお、ここではマーカーの頂点の数だけ図１０のステップ１００２〜１００９の処理（手順１，２）を繰り返すとしたが、取得座標判断手段２４５１，２４５２に、求めたい対応点の数だけの座標値を一度に設定するようにし、記憶手段２４５３，２４５４にはその数だけの記憶領域を持たせることで、図１０のステップ１００２〜１００９の処理を１回行うだけで、必要なすべてのマーカー頂点の対応する座標値を求めることができる。

以上、本発明の一実施の形態について説明したが、本発明は、ノーマルモードと見下ろしモードとの間のマーカー頂点に対応する座標値を求める場合に限られるものではなく、一般に種々の異なる変形画像モード間において広く適用可能である。

１００ センサユニット
２００ 画像処理ユニット
２４０ 画像変形及びマーカー重畳部
２４１メモリインターフェース
２４２ フレームバッファメモリ
２４３ 座標計算手段
２４４ マーカー座標値取得手段
２４５ マーカー重畳手段
２５０ 制御部
２５２ 画像変形切替え手段
２５４ マーカー位置調整手段
２６０ ＲＯＭ
２４５１ 取得座標判断手段（１）
２４５２ 取得座標判断手段（２）
２４５３ 記憶手段（１）
２４５４ 記憶手段（２）

特開２００２−３４４９５９号公報 特開２００９−０１０７３０号公報

Claims (13)

1. 座標変換により入力画像を変形するための座標計算を行う座標計算手段と、
   前記変形された画像にマーカーを重畳するマーカー重畳手段と、
   複数の異なる変形画像を切り替える画像変形切替え手段と、
   前記画像に重畳されるマーカーの位置を調整するマーカー位置調整手段と、
   を有する画像処理装置において、
   前記複数の変形画像の一つ（以下、第１の変形画像）において設定されたマーカーの位置情報を他の変形画像（以下、第２の変形画像）の対応する位置に反映させるために、前記座標計算手段を用いて、前記マーカーの対応位置を求める演算を行うことを特徴とする画像処理装置。
2. 前記座標計算手段を用いて、第１の変形画像におけるマーカーの座標値を画像変形前の入力画像における対応する座標値に変換し、前記変換された入力画像の座標値を第２の変形画像における対応する座標値に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記座標計算手段における第１の変形画像の座標計算において、前記第１の変形画像におけるマーカーの座標値に一致する前記座標計算手段の入力の座標変換先の座標値に対応する前記座標計算手段の出力の座標変換元の座標値を取得する手段と、
   前記座標計算手段における前記第２の変形画像の座標計算において、前記取得した座標値に一致する前記座標計算手段の出力の座標変換元の座標値に対応する前記座標計算手段の入力の座標変換先の座標値を取得する手段と、
   を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の変形画像の座標計算を１フレーム期間実施し、その後第２の変形画像の座標計算を１フレーム期間実施することを特徴とする請求項３に記載の画像処理装置。
5. 前記座標計算手段を用いてマーカーの対応位置を演算する期間中は画面をマスクすることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の変形画像は魚眼画像である入力画像の歪みを補正した歪補正画像であり、前記第２の変形画像は視点変換により真上から見た画像に変形した見下ろし画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像に重畳されるマーカーは車幅線と距離線のいずれか一方あるいは両方であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 座標変換により入力画像を変形するための座標計算を行う座標計算手段と、前記変形された画像にマーカーを重畳するマーカー重畳手段と、複数の異なる変形画像を切り替える画像変形切替え手段と、前記画像に重畳されるマーカーの位置を調整するマーカー位置調整手段とを有する画像処理装置において、
   前記複数の変形画像の一つ（以下、第１の変形画像）において設定されたマーカーの位置情報を他の変形画像（以下、第２の変形画像）の対応する位置に反映させるために、前記座標計算手段を用いて、前記マーカーの対応位置を求める演算を行うことを特徴とする画像処理方法。
9. 前記座標計算手段を用いて、第１の変形画像におけるマーカーの座標値を画像変形前の入力画像における対応する座標値に変換する第１のステップ、
   前記座標計算手段を用いて、前記変換された入力画像の座標値を第２の変形画像における対応する座標値に変換する第２のステップ、
   を有することを特徴とする請求項８に記載の画像処理方法。
10. 前記第１のステップでは、前記座標計算手段における第１の変形画像の座標計算において、前記第１の変形画像におけるマーカーの座標値に一致する前記座標計算手段の入力の座標変換先の座標値に対応する前記座標計算手段の出力の座標変換元の座標値を取得し、
    前記第２のステップでは、前記座標計算手段における前記第２の変形画像の座標計算において、前記取得した座標値に一致する前記座標計算手段の出力の座標変換元の座標値に対応する前記座標計算手段の入力の座標変換先の座標値を取得する、
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記第１の変形画像の座標計算を１フレーム期間実施し、その後第２の変形画像の座標計算を１フレーム期間実施することを特徴とする請求項１０に記載の画像処理方法。
12. 前記座標計算手段を用いてマーカーの対応位置を演算する期間中は画面をマスクすることを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理方法。
13. 車の周辺を撮影して魚眼画像を取得するセンサユニットと、請求項１乃至７のいずれか１項に記載の画像処理装置とを具備してなる車載カメラ装置。

Images