JP2014165638A - 画像処理装置、撮像装置、移動体制御システム及びプログラム - Google Patents

Abstract

【課題】歪曲収差の補正処理に起因して付着物検知領域での雨滴などの付着物の検知精度の低下が生じないようにすることができる撮像装置を提供する。
【解決手段】撮像素子７の受光面は、フロントガラス越しに撮像レンズ４で撮像する際に、フロントガラスの外側前方が撮像された画像を取得するための第１の領域と、フロントガラスに付着した雨滴などの付着物の画像を取得するための第２の領域とを有し、画像処理装置３で取得された画像に対して撮像レンズ４の光学特性に応じた歪補正を行う歪補正処理部１０は、第１の領域に対応する画像には第１の歪補正処理を行い、第２の領域に対応する画像には歪補正処理を行わない、又は第１の領域での歪補正処理の影響を受けないようにして、第１の歪補正処理と異なる第２の歪補正処理を行う。
【選択図】図１

Description

本発明は、自動車等の車両のウィンドウガラス（例えばフロントウィンドウガラス）越しに車両外側を撮像する車載用カメラなどに適用される画像処理装置、撮像装置、移動体制御システム及びプログラムに関する。

近年、運転者の運転支援のために、一つの車載カメラによって自車両のフロントウィンドウガラス越しに車両外側を撮像し、撮像した画像からフロントウィンドウガラス表面に付着した雨滴等の付着物を検知して、検知した雨滴情報に基づいて例えばワイパー動作やウォッシャー液の噴出動作などを制御する技術が知られている（例えば、特許文献１）。

更に、この特許文献１の技術では、撮像した画像全体のうちの付着物検知領域に光学フィルタによって例えば特定波長領域（赤外線波長領域）の光を透過させるようにして、撮像した画像全体のうちの付着物検知領域でフロントウィンドウガラス表面に付着した雨滴等の付着物を検知するとともに、前記付着物検知領域以外の画像領域である前方認識領域から例えば走行方向前方側の車線を検知する機能も同時に実現できるようにしたことが記載されている。

特許文献１のように撮像素子の前方側にレンズを有するカメラでは、レンズを通して入射した被写体像（フロントウィンドウガラス表面に付着した雨滴や車両前方の車線など）が撮像素子上に結像する。ところで、レンズの光学特性上、撮像素子上に結像する被写体像には周知の歪曲収差（ディストーション）が生じる。

撮像した画像に歪曲収差が生じていると、撮像した画像から車両前方の対象物（車線や先行車など）を認識する処理において、対象物の認識精度に悪影響を及ぼすことがある。このため、撮像した画像に生じた歪曲収差を補正処理する技術が、従来より知られている（例えば、特許文献２）。

ところで、特許文献１では、撮像素子で撮像した画像全体を、雨滴検知用の付着物検知領域と車線等の車両前方認識処理用の前方認識領域とに分割しているが、特許文献２のような歪曲収差の補正処理を行うと、撮像した画像全体に対して歪曲収差の補正処理が実行される。この際、車線等の車両前方認識処理を行う場合には、対象物の認識精度を高めるために前記前方認識領域に対して歪曲収差を高精度に補正する必要があるが、雨滴の検知には前記付着物検知領域に対して特に歪曲収差を補正する必要はない。なお、前記特定画像領域に対しても所定の歪曲収差の補正を行ってもよい。

そして、特許文献２のような歪曲収差の補正処理を行うと、撮像素子で撮像した画像全体に対して歪曲収差の補正処理が実行されるために、歪曲収差の補正によって前記前方認識領域の一部が前記付着物検知領域側に移動して割り込むことがある。

このため、前記したように光学フィルタによって特定波長領域（赤外線波長領域）の光成分の輝度信号が抽出されている付着物検知領域の一部に、前方認識領域に入射される前記特定波長領域以外の波長領域の光成分の輝度信号が入り込むため、付着物検知領域から出力される雨滴検知のための輝度信号の値に誤差が生じて、雨滴の検知精度が低下する。

そこで、本発明は、歪曲収差の補正処理に起因して付着物検知領域での雨滴などの付着物の検知精度の低下が生じないようにすることができる画像処理装置、撮像装置、移動体制御システム及びプログラムを提供することを目的とする。

前記目的を達成するために本発明に係る画像処理装置は、受光面に、第１の用途に用いるための画像を撮像するための第１の領域と、第２の用途に用いるための画像を取得するための第２の領域と、を有する撮像素子によって取得された画像に対して、前記撮像素子に被写体像を結像させる撮像レンズの光学特性に応じた歪補正を行う歪補正処理部を備えた画像処理装置であって、前記歪補正処理部は、前記第１の領域に対応する画像には、第１の歪補正処理を行い、前記第２の領域に対応する画像には、歪補正処理を行わない、又は前記第１の歪補正処理と異なる第２の歪補正処理を行うことを特徴としている。

本発明に係る撮像装置は、受光素子が２次元配置された撮像素子と該撮像素子に被写体像を結像させる撮像レンズを有する撮像部と、前記撮像部で取得された画像に対して前記撮像レンズの光学特性に応じた歪補正を行う歪補正処理部と、を備え、前記撮像部が光透過性を有する板状部材の内側に配置された撮像装置であって、前記撮像素子の受光面は、前記板状部材越しに前記撮像レンズで撮像する際に、前記板状部材の外側前方が撮像された画像を取得するための第１の領域と、前記板状部材に付着した付着物の画像を取得するための第２の領域とを有し、前記歪補正処理部は、前記第１の領域に対応する画像には、第１の歪補正処理を行い、前記第２の領域に対応する画像には、歪補正処理を行わない、又は前記第１の歪補正処理と異なる第２の歪補正処理を行うことを特徴としている。

本発明に係る移動体制御システムは、ガラスの内側に配置され前記ガラス越しの画像を取得するための請求項２乃至５のいずれか一項に記載の撮像装置と、前記撮像装置に設けた撮像素子の受光面の第１の領域に対応する画像に基づいて移動体の前方認識処理を行う前方認識処理部と、前記撮像装置に設けた撮像素子の受光面の第２の領域に対応する画像に基づいて前記ガラスに付着物が付着しているか否かを検知する付着物検知処理部と、前記前方認識処理部で得られた前方認識情報に基づいて移動体に対して所定の動作制御を行うとともに、前記付着物検知処理部で得られた付着物検知情報に基づいて付着物が付着していると検知した場合には、ワイパーの作動動作又はウォッシャー液の噴射動作を制御する制御部と、を備えたことを特徴としている。

本発明に係るプログラムは、請求項４に記載の歪補正処理部の前記画像ラインデータバッファ部、前記歪補正領域判別部、前記歪補正座標演算部及び前記画素補間部の処理をコンピュータに実行させるためのプログラムである。

本発明によれば、第１の領域に対応する画像には第１の歪補正処理を行い、第２の領域に対応する画像には歪補正処理を行わない、又は第１の領域での歪補正処理の影響を受けないようにして、第１の歪補正処理と異なる第２の歪補正処理を行うことにより、撮像レンズの光学特性に応じた歪補正処理に起因して第２の領域での雨滴などの付着物の検知精度の低下が生じないようにすることができる。

本発明の実施形態に係る画像処理装置を備えた撮像装置を示す概略構成図。 本発明の実施形態に係る車両制御システムに前記画像処理装置を備えた撮像装置を適用した一例を示す概略ブロック図。 撮像レンズを通して撮像素子に結像する画像の全領域を示した図。 撮像レンズを通して撮像素子に結像する画像の一例を示した図。 歪補正処理部の構成を示すブロック図。 撮像部で撮像された画像全領域を撮像素子の受光面に対応させた図。 補正元の４画素と移動先画素の位置関係の例を示した図。 補正元の４画素と移動先画素の位置関係を詳細に示した図。 歪補正処理部による歪補正処理動作の一例を示したフローチャート。 上下に２分割された２つの領域を有する画像の一例を示した図。 上下に２分割された２つの領域を有する画像の一例を示した図。 左右に３分割された３つの領域を有する画像の一例を示した図。 下側の中央領域（矩形の分割領域）に分割された領域を有する画像の一例を示した図。 上下に３分割された３つの領域を有する画像の一例を示した図。 歪補正処理部による歪補正処理動作の一例を示したフローチャート。

以下、本発明を図示の実施形態に基づいて説明する。
図１は、本発明の実施形態に係る画像処理装置を備えた撮像装置を示す概略構成図、図２は、移動体制御システムとしての車両制御システムに前記画像処理装置を備えた撮像装置を適用した一例を示す概略ブロック図である。

（撮像装置の構成）
図１に示すように、本実施形態に係る撮像装置１は撮像部２と画像処理装置３を備えている。

撮像部２は、撮像レンズ４と、光学フィルタ５と、センサ基板６に実装された撮像素子（ＣＣＤイメージセンサなど）７を有している。光学フィルタ５は、例えば、上面領域５ａでは特定波長領域としての特定の赤外線波長域のみの赤外光を透過させ、他の領域５ｂでは可視光波長域の光を透過させるように構成されている。撮像素子７は、受光素子（画素）が２次元配置されている。なお、図１では、撮像レンズ４は１枚のレンズしか示していないが、実際は複数枚のレンズによって構成されている。

このように、この光学フィルタ５を撮像素子７の前面側に配置している。よって、図３に示しように、撮像レンズ４を通して撮像素子７に結像する画像の全領域は、例えば、上面領域５ａに対応した赤外線透過画像領域としての後述する雨滴検知領域（第２の領域）８と、他の領域５ｂに対応した可視光透過画像領域としての後述する前方認識領域（第１の領域）９とに分割される。

なお、撮像レンズ４を通して撮像素子７に結像する画像は倒立像となるため、光学フィルタ５の上面領域５ａが、図３のように画像の下側の雨滴検知領域８に対応する。

撮像素子７に結像された画像は電気信号に変換されて、画像処理装置３に入力される。画像処理装置３は、入力した電気信号に周知の信号処理を行って、表示や記録が可能な画像データを生成する。

ところで、撮像レンズ４は構成しているレンズの光学特性上、撮像素子７上に結像する被写体像には周知の歪曲収差（ディストーション）が生じる。このため、画像処理装置３には、生成される画像データに対して信号処理によって歪み補正する歪補正処理部１０を有している。歪補正処理部１０の構成、歪補正処理の詳細については後述する。

（車両制御システムの構成、制御動作）
図２に示すように本実施形態に係る車両制御システム２０は、前記した撮像装置１、光源部２１、光源制御部２２、付着物検知処理部としての雨滴検知処理部２３、車両前方認識処理部２４、車載ＥＣＵ（制御部）２５、ワイパー制御部２６、ランプ制御部２７等を備えている。

この車両制御システム２０では、車両（移動体）のフロントガラス（光透過性を有する板状部材）２８越しに前記撮像装置１の撮像部２で車両前方側を撮像することで、画像処理装置３によって雨滴検知領域８と前方認識領域９とに分割された画像（図３参照）を得る。なお、撮像部２で撮像された画像（雨滴検知領域８と前方認識領域９を含む画像）には、上記した歪曲収差（ディストーション）が生じているので、後述する歪補正処理部１０で歪み補正する。

この際、撮像装置１の撮像動作に同期させて、光源制御部２２からの発光制御に基づいて光源部２１からフロントガラス２８側に向けて赤外光を照射する。なお、前記撮像部２内の光学フィルタ５の上面領域５ａは、光源部２１から照射された赤外光の波長域を選択して透過させる。これにより、フロントガラス２８表面に雨滴２９が付着している場合、光源部２１から照射された赤外光は、雨滴２９が付着しているフロントガラス２８表面で反射し、その反射光が撮像レンズ４、光学フィルタ５の上面領域５ａを通して撮像素子７に結像する。

一方、フロントガラス２８越しに前記撮像装置１の撮像部２で車両前方側を撮像することで、車両前方画像が撮像レンズ４、光学フィルタ５の他の領域５ｂを通して撮像素子７に結像する。

図４は、フロントガラス２８越しに撮像装置１で撮像したときの、雨滴検知領域８での雨滴２９と前方認識領域９での車両前方の路面３０の画像の一例を示した図である。このように、光学フィルタ５の上面領域５ａは、光源部２１から照射された赤外光の波長域を選択して透過させる。これにより、光源部２１からフロントガラス２８側に向けて赤外光を照射することによって、太陽光や街灯などの影響を抑制して雨滴検知領域８に雨滴２９を良好に映し出すことができる。

そして、雨滴検知処理部２３は、撮像装置１（画像処理装置３）から雨滴検知領域８の画像データを入力する。雨滴の検知方法としては、例えば以下のような手法がある。

例えば光源部２１からフロントガラス２８側に向けて赤外光を照射して、撮像装置１でフロントガラス２８側を撮像しているときにおいて、フロントガラス２８に雨滴が付着しているときと付着していないときでは、雨滴検知領域８全体での輝度に差が生じる。フロントガラス２８に多数の雨滴が付着しているほど、雨滴による反射光が増すので輝度値が高くなる。そこで、この輝度値の閾値を予め実験等で求めてメモリに記憶しておき、雨滴検知処理部２３は、雨滴検知領域８全体の画像データから得られた輝度値が閾値を超えていると判断することで、雨滴の付着を検知する。

また、車両前方認識処理部２４は、撮像装置１（画像処理装置３）から入力された前方認識領域９の画像データに対して所定の画像処理を行い、例えば、路面上の車線（白線）、先行車などを検出する。

そして、車載ＥＣＵ２５は、雨滴検知処理部２３から入力される雨滴検知情報に基づいてワイパー制御部２６に信号を出力して、ワイパー（不図示）を作動させる。これにより、フロントガラス２８表面の雨滴が除去される。なお、ワイパーを作動させる代わりにウォッシャー液をフロントガラス２８表面に噴射させるようにしてもよい。

また、車載ＥＣＵ２５は、車両前方認識処理部２４から入力される前方認識情報（例えば、夜間等での先行車のテールライトの認識情報）に基づいてランプ制御部２７に信号を出力して、ヘッドライトがハイビームになっていたときはロービームに切替え制御する。なお、車載ＥＣＵ２５は、車両前方認識処理部２４から入力される前方認識情報によって先行車の近接を認識した場合には、例えばブレーキ制御部に信号を出力して、ブレーキを制動させる制御を行うようにしてもよい。

（歪補正処理部１０の構成、歪補正処理動作）
車両前方認識処理部２４での車線や先行車等の車両前方認識処理には、高い認識精度が要求されるので、特に撮像された画像のうちの前方認識領域９に対しては、撮像レンズ４のレンズ特性によって生じている歪曲収差を補正する必要がある。この歪曲収差を補正する歪補正処理部１０の構成を、図５を参照して説明する。

図５に示すように、歪補正処理部１０は、画像ラインデータバッファ部３０、歪補正領域判別部３１、歪補正座標演算部３２、画素補間部３３、及びＲＯＭ（記憶手段）３４を備えている。ＲＯＭ３４には、撮像レンズ４に応じた画像領域別の歪補正用のパラメータ、画像領域識別用のＩＤ、この領域ＩＤ毎の画像領域左上基点の全有効画像領域における（Ｘ，Ｙ）座標、画像領域の幅及び高さなどの補正対象情報が格納されている。

歪補正処理部１０において、画像ラインデータバッファ部３０は、撮像部２から入力される同期信号と画像データを取り込み、歪補正に必要なライン数分の画素データをリングバッファ形式で保持する。そして、後述する画素補間部３３へ読み出される場合は、歪補正座標演算部３２から指定されたバッファアドレスをもとにその右隣画素・下画素・右斜め下画素の計４画素（隣接４画素）データを、画素補間部３３に出力する。

そして、歪補正領域判別部３１は、撮像部２からの同期信号をもとに現在の画像の座標を計測し、ＲＯＭ３４からの前記補正対象情報と比較して歪補正対象の画素か否かを判別した後、領域識別のための領域ＩＤと歪補正対象か否かを示す歪補正有効信号と同期信号とを、歪補正座標演算部３２に出力する。

そして、歪補正座標演算部３２は、ＲＯＭ３４から歪補正用パラメータを読み出し、歪み補正座標演算に使用する。そして、歪補正前の画素位置に対して、歪補正後に移動する画素座標位置を、画素単位としてラインデータバッファのアドレスとサブピクセル精度の輝度位置補正量として算出する。その際、前記歪補正領域判別部３１からの領域ＩＤ、歪補正有効信号及び同期信号に応じて、各領域の画素毎に補正元となる前記画像ラインデータバッファ部３０のアドレスと、サブピクセル精度の輝度を算出するための補正量とを出力する。

そして、前記画像ラインデータバッファ部３０に対して、歪補正で移動させる画素の基準となる画素データアドレスを指定してラインバッファ読み出しを制御し、歪補正量の画素単位未満の移動量分の補間値（４画素データの中間的な値）を、画像の水平方向にＸ補正量、画像の垂直方向にＹ補正量として、画素補間部３３に出力する。

そして、画素補間部３３は、画像ラインデータバッファ部３０から読み出された移動元の４画素データと、歪補正座標演算部３２からの画素未満移動量分の補間値を取り込み、バイリニア補間で移動先の画素値を算出して、画素補間処理する。

図６は、撮像部２で撮像された画像全領域を、撮像素子７上の複数の画素が配列された受光面に対応させた図であり、この受光面に撮像部２で撮像した歪曲収差を有する被写体像が結像する。

図６に示した受光面（画像全領域）において、領域１は前記した前方認識領域９に対応した領域（第１の領域）であり、領域２は前記した雨滴検知領域８に対応した領域（第２の領域）である。また、受光面上の破線で囲った部分Ａは歪曲収差が生じている画像の最外領域部であり、歪曲収差が生じていない理想的な画像の最外部は受光面の最外部の各画素上に位置している。また、矢印の方向は、歪補正によって移動する輝度値の移動方向を示している。なお、図６は、前方認識領域９に対応した領域１のみで、歪曲収差で歪んだ画像の歪補正を行う場合である。

図７は、例えば図６の左上側の領域における、補正元の４画素（歪補正の対象画素）と移動先画素の位置関係の例を示した図であり、歪補正の対象画素である補正元の４画素の輝度値からサブピクセル精度での輝度算出値を移動することを示している。

図８は、図７に示した歪補正の対象画素である補正元の４画素と移動先画素の位置関係を詳細に示した図であり、画素補間部３３での画素補間処理を模式的に示したものである。

即ち、図８では、画像ラインデータバッファ部３０から読み出した補正元の４画素データの中間的な値をサブピクセル補正量として、歪補正座標演算部３２から画像の水平方向にＸ補正量、画像の垂直方向にＹ補正量として与え、補正先の画素値をバイリニア補間する画素補間処理を模式的に示している。

補正先の画素値をバイリニア補間する際の補間値は、以下のようにして算出される。

歪補正座標演算部３２から指定されるアドレスを、補正元の４画素データの左上(0,0)に置いたときの歪補正後の補正先に移動したい画素値ａ（図８参照）は、
(0,0)画素値＝a00
(1,0)画素値＝a10
(0,1)画素値＝a01
(1,1)画素値＝a11
Ｘ補正量（小数点以下成分）＝△Ｘ
Ｙ補正量（小数点以下成分）＝△Ｙ
画素未満での成分の分解能＝Ｔ
とすると、以下の式（１）で表される。
補正先に移動したい画素値（ａ）＝（（Ｔ−△Ｙ）×Ａ＋△Ｙ×Ｂ）／Ｔ …式（１）
ただし、
Ａ＝（（Ｔ−△Ｘ）×a00＋△Ｘ×a10）／Ｔ
Ｂ＝（（Ｔ−△Ｘ）×a01＋△Ｘ×a11）／Ｔ
である。

なお、図８において、所定のライン以降を歪み補正しない場合は、読み出しアドレスを移動量ゼロとした歪補正前と同じ画素アドレスを歪補正座標演算部３２から指定し、かつＸ補正量、Ｙ補正量をゼロで与えることで、移動のない元の画素値が出力される。

次に、歪補正処理部１０による歪補正処理動作の詳細を、図９に示すフローチャートを参照して説明する。なお、図９の歪補正処理では、図６に示したように、前方認識領域９に対応した領域１と雨滴検知領域８に対応した領域２とに分割されており、領域１（前方認識領域９）のみに歪補正処理する例である。

先ず、歪補正処理部１０による歪補正処理動作が開始されると、歪補正座標演算部３２は、ＲＯＭ３４から読み込んだ撮像レンズ４に応じた画像領域別の歪補正用のパラメータによって、歪補正の座標演算のための初期値を算出する（ステップＳ１）。

そして、歪補正領域判別部３１は、ＲＯＭ３４から補正対象情報（前記領域１（前方認識領域９）に対応した基点（Ｘ，Ｙ）座標、画像領域の幅及び高さなど）を読み出す（ステップＳ２）。

そして、歪補正領域判別部３１は、撮像部２からの同期信号をもとに現在取り込んでいる画像の座標を計測し、ＲＯＭ３４から読み出した補正対象情報と比較して、歪補正対象の座標（画素）か否かを判定する（ステップＳ３）。そして、ステップＳ３で、歪補正対象の座標（画素）であると判定した場合（ステップＳ３：ＹＥＳ）、歪補正座標演算部３２によって、補正データのバッファアドレスと、前記したサブピクセル精度のＸ，Ｙ補正量を算出する（ステップＳ４）。

なお、ステップＳ３で、歪補正対象の座標（画素）ではないと判定した場合（ステップＳ３：ＮＯ）、未補正データのバッファアドレスと、サブピクセル精度のＸ，Ｙ補正量は算出しない（ステップＳ５）。

そして、画像ラインデータバッファ部３０は、バッファアドレス指定で前記した補正元の４画素データを読み出す（ステップＳ６）。そして、画素補間部３３は、ステップＳ６で読出したデータと、ステップＳ４で算出したサブピクセル精度のＸ，Ｙ補正量に基づいて、前記した画素補間処理を行う（ステップＳ７）。

そして、前記領域１内での画素補間処理による歪補正処理が終了した場合（ステップＳ８：ＹＥＳ）には、上記した一連の歪補正処理動作を終了し、まだ歪補正処理が終了していない場合（ステップＳ８：ＮＯ）には、更に次の画素を補正処理対象に設定して（ステップＳ９）、一連の歪補正処理動作（ステップＳ３〜Ｓ７）を実行する。

このように、撮像した画像に対して、前方認識領域９である領域１と雨滴検知領域８である領域２とに分割したときに、車両前方認識処理のための領域１（前方認識領域９）では領域１内の対象物を高精度に認識する必要がある。そこで、上記したように、この領域１（前方認識領域９）のみに歪曲収差の歪補正を行うようにしたので、領域２（雨滴検知領域８）側に領域１（前方認識領域９）の一部が移動して割り込むことを防止することができる。

これにより、光学フィルタ５の上面領域５ａによって特定波長領域（赤外線波長領域）の光成分の輝度信号が抽出されている領域２（雨滴検知領域８）の一部に、領域１（前方認識領域９）に入射される前記特定波長領域以外の波長領域の光成分の輝度信号が入り込むことが防止される。これにより、検知精度の低下が防止されて、安定した雨滴の検知精度を保持することができる。

ところで、図９の歪補正処理では、図６のように領域１のみを歪補正処理し、領域２は歪補正処理を行わない例であったが、分割された複数の領域に対してそれぞれ補正量の異なる歪補正処理を行うようにしてもよい。

例えば、図１０では、撮像された画像に対して、前記した前方認識領域９に対応した領域１と雨滴検知領域８に対応した領域２とに上下に分割された領域を有し、領域１と領域２に対してそれぞれ補正量の異なる歪補正処理を行う。図１１では、上下に分割された領域の上側が前記した雨滴検知領域８に対応した領域２で、下側が前記した前方認識領域９に対応した領域１であり、領域１と領域２に対してそれぞれ補正量の異なる歪補正処理を行う。

また、図１２では、撮像された画像に対して、横方向に３分割された領域（前方認識領域９に対応した中央の領域１と左右の雨滴検知領域８に対応した領域２ａ，２ｂ）を有し、領域１と領域２ａ，２ｂに対してそれぞれ補正量の異なる歪補正処理を行う。なお、左右の領域２ａ，２ｂに対しては、それぞれ補正量が同じでもよく、或いは補正量が異なるようにしてもよい。

また、図１３では、撮像された画像に対して、前方認識領域９に対応した領域１と、下側の中央領域（矩形の分割領域）に前記した雨滴検知領域８に対応した領域２を有し、領域１と領域２に対してそれぞれ補正量の異なる歪補正処理を行う。

更に、図１４では、撮像された画像に対して、上下方向に３分割された領域（前方認識領域９に対応した中央の領域１と上下の雨滴検知領域８に対応した領域２ａ，２ｂ）を有し、領域１と領域２ａ，２ｂに対してそれぞれ補正量の異なる歪補正処理を行う。なお、上下の領域２ａ，２ｂに対しては、それぞれ補正量が同じでもよく、或いは補正量が異なるようにしてもよい。

なお、図１０〜図１４において、受光面（画像全領域）上の破線で囲った部分は歪曲収差が生じている画像の最外領域部であり、歪曲収差が生じていない理想的な画像の最外部は受光面の最外部の各画素上に位置している。また、矢印の方向は、歪補正によって移動する輝度値の移動方向を示している。

次に、上記したように分割された複数の領域に対してそれぞれ補正量の異なる歪補正処理を行う場合における歪補正処理動作の詳細を、図１５に示すフローチャートを参照して説明する。

先ず、歪補正処理部１０による歪補正処理動作が開始されると、歪補正座標演算部３２は、ＲＯＭ３４から読み出した補正対象領域毎の歪補正用のパラメータによって、補正対象領域毎の歪補正の座標演算のための初期値を算出する（ステップＳ１１）。

そして、歪補正領域判別部３１は、ＲＯＭ３４から補正対象情報（補正対象領域（例えば前記した領域１や領域２）を識別するＩＤ（１〜ｎ）別の補正有効フラグ、基点（Ｘ，Ｙ）座標、画像領域の幅及び高さなど）を読み出す（ステップＳ１２）。

そして、歪補正座標演算部３２は、撮像部２からの同期信号をもとに現在取り込んでいる画像の座標を計測し、ＲＯＭ３４から読み出した補正対象情報に基づいて、歪補正対象の座標（Ｘ，Ｙ）を算出し（ステップＳ１３）、この座標（Ｘ，Ｙ）が歪補正対象の領域であるか否かを判定する（ステップＳ１４）。

ステップＳ１４での判定には、以下のような３つの判定式を用いる。
Ｘｎ≦Ｘ<（Ｘｎ＋Ｗｎ）
Ｙｎ≦Ｙ<（Ｙｎ＋Ｈｎ）
ＥＮｎ：領域ｎの補正有効フラグ
ただし、
Ｘｎ：領域ｎの基点Ｘ座標
Ｙｎ：領域ｎの基点Ｙ座標
Ｗｎ：領域ｎの幅
Ｈｎ：領域ｎの高さ

そして、ステップＳ１４で上記の３つの判定式による判定で、座標Ｘ，Ｙが領域１（例えば図１０の領域１）で、ＥＮ１＝１（補正有効）であると判定した場合は、ステップＳ１５に進み、歪補正座標演算部３２によって、補正データのバッファアドレスと、サブピクセル精度のＸ，Ｙ補正量を算出する。なお、算出したこのＸ，Ｙ補正量は、領域１に対応する補正パラメータによる。

また、ステップＳ１４で上記の３つの判定式による判定で、座標Ｘ，Ｙが領域２（例えば図１０の領域２）で、ＥＮ２＝１（補正有効）であると判定した場合は、ステップＳ１６に進み、歪補正座標演算部３２によって、補正データのバッファアドレスと、サブピクセル精度のＸ，Ｙ補正量を算出する。なお、算出したこのＸ，Ｙ補正量は、領域２に対応する補正パラメータによる。

また、ステップＳ１４で上記の３つの判定式による判定で、座標Ｘ，Ｙが領域ｎ（この場合は、歪補正をしない領域である）で、ＥＮｎ＝０（補正無効）であると判定した場合は、ステップＳ１７に進み、未補正データのバッファアドレスと、サブピクセル精度のＸ，Ｙ補正量は算出しない。

そして、画像ラインデータバッファ部３０は、ステップＳ１５やＳ１６での算出結果に基づいて、バッファアドレス指定で前記した補正元の４画素データを読み出す（ステップＳ１８）。そして、画素補間部３３は、ステップＳ１８で読出したデータと、ステップＳ１５やＳ１６で算出したサブピクセル精度のＸ，Ｙ補正量に基づいて、前記した画素補間処理を行う（ステップＳ１９）。

そして、各領域内での画素補間処理による歪補正処理が終了した場合（ステップＳ２０：ＹＥＳ）には、上記した一連の歪補正処理動作を終了し、まだ歪補正処理が終了していない場合（ステップＳ２０：ＮＯ）には、更に次の画素を補正処理対象に設定して（ステップＳ２１）、一連の歪補正処理動作（ステップＳ１３〜Ｓ１９）を実行する。

このように、撮像した画像に対して、前方認識領域９である領域１と雨滴検知領域８である領域２（この領域２は複数設定していてもよい（例えば、図１２、図１４の領域２ａ，２ｂ））とに分割したときに、領域１と領域２に対して、それぞれ歪補正量が異なる歪補正処理を行うようにしてもよい。

これにより、前記同様に、光学フィルタ５の上面領域５ａによって特定波長領域（赤外線波長領域）の光成分の輝度信号が抽出されている領域２（雨滴検知領域８）の一部に、領域１（前方認識領域９）に入射される前記特定波長領域以外の波長領域の光成分の輝度信号が入り込むことが防止される。よって、検知精度の低下が防止されて、安定した雨滴の検知精度を保持することができる。

なお、前記した車両制御システム２０では、撮像装置１の撮像部２でフロントガラス２８に付着した雨滴を、画像の領域２（雨滴検知領域８）において検知する構成であったが、これ以外にも、例えばフロントガラスの内側面の曇り、フロントガラスの外側面の凍結状態や、汚れなどの付着物検知においても同様にして検知することができる。

また、本発明では、図９又は／及び図１５のフローチャートで示した歪補正処理部１０による歪補正処理の機能を実現するソフトウェア（プログラム）を、例えばネットワーク又は各種記憶媒体を介して撮像装置１又は車両制御システム２０に供給する。そして、撮像装置１又は車両制御システム２０のコンピュータのＣＰＵが前記プログラムを読み出して、実行処理することもできる。

１ 撮像装置
２ 撮像部
３ 画像処理装置
４ 撮像レンズ
５ 光学フィルタ
７ 撮像素子
８ 雨滴検知領域
９ 前方認識領域
１０ 歪補正処理部
２０ 車両制御システム
２１ 光源部
２２ 光源制御部
２３ 雨滴検知処理部
２４ 車両前方認識処理部
２５ 車載ＥＣＵ
３０ 画像ラインデータバッファ部
３１ 歪補正領域判別部
３２ 歪補正座標演算部
３３ 画素補間部
３４ ＲＯＭ

特許第４３２６９９９号公報 特開２００７−１８９３６１号公報

Claims (7)

1. 受光面に、第１の用途に用いるための画像を撮像するための第１の領域と、第２の用途に用いるための画像を取得するための第２の領域と、を有する撮像素子によって取得された画像に対して、前記撮像素子に被写体像を結像させる撮像レンズの光学特性に応じた歪補正を行う歪補正処理部を備えた画像処理装置であって、
   前記歪補正処理部は、前記第１の領域に対応する画像には、第１の歪補正処理を行い、前記第２の領域に対応する画像には、歪補正処理を行わない、又は前記第１の歪補正処理と異なる第２の歪補正処理を行うことを特徴とする画像処理装置。
2. 受光素子が２次元配置された撮像素子と該撮像素子に被写体像を結像させる撮像レンズを有する撮像部と、前記撮像部で取得された画像に対して前記撮像レンズの光学特性に応じた歪補正を行う歪補正処理部と、を備え、前記撮像部が光透過性を有する板状部材の内側に配置された撮像装置であって、
   前記撮像素子の受光面は、前記板状部材越しに前記撮像レンズで撮像する際に、前記板状部材の外側前方が撮像された画像を取得するための第１の領域と、前記板状部材に付着した付着物の画像を取得するための第２の領域とを有し、
   前記歪補正処理部は、前記第１の領域に対応する画像には、第１の歪補正処理を行い、前記第２の領域に対応する画像には、歪補正処理を行わない、又は前記第１の歪補正処理と異なる第２の歪補正処理を行うことを特徴とする撮像装置。
3. 前記撮像部側から前記板状部材に向けて特定波長領域の光を照射する光源と、
   前記撮像レンズと前記撮像素子との間に設けられ、前記特定波長領域の光のみを透過させる領域を一部に有する光学フィルタとをさらに備え、
   前記光源から照射された光が前記板状部材で反射して、その反射光が前記光学フィルタの前記特定波長領域の光のみを透過させる領域を通して前記撮像素子に入射した領域が、前記第２の領域に対応していることを特徴とする請求項２に記載の撮像装置。
4. 前記歪補正処理部は、前記撮像レンズに応じた画像領域別の歪補正用のパラメータ、画像領域識別用のＩＤ、全有効画像領域におけるＸ座標，同Ｙ座標，画像領域の幅及び高さを含む補正対象情報を記憶した記憶手段と、
   前記撮像部から入力される同期信号と画像データを取り込み、歪補正に必要なライン数分の画素データをリングバッファ形式で保持する画像ラインデータバッファ部と、
   前記撮像部からの同期信号をもとに現在の画像の座標を計測し、前記記憶手段からの前記補正対象情報と比較して歪補正対象の画素か否かを判別した後、領域識別のための領域ＩＤと歪補正対象か否かを示す歪補正有効信号と同期信号とを出力する歪補正領域判別部と、
   前記記憶手段から歪補正用のパラメータを読み出し、歪補正前の画素位置に対して、歪補正後に移動する画素座標位置を、画素単位としてラインデータバッファのアドレスとサブピクセル精度の輝度位置補正量として算出し、前記画像ラインデータバッファ部に対して、歪補正で移動させる画素の基準となる画素データアドレスを指定してラインバッファ読み出しを制御し、歪補正量の画素単位未満の移動量分の補間値を、画像の水平方向にＸ補正量、画像の垂直方向にＹ補正量として算出する歪補正座標演算部と、
   前記画像ラインデータバッファ部から読み出された移動元の４画素データと前記歪補正座標演算部で算出された前記補間値とを取り込み、バイリニア補間で移動先の画素値を算出する画素補間部と、を有することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記第２の領域は、一つの領域又は複数に分割された領域を有することを特徴とする請求項２乃至４のいずれか一項に記載の撮像装置。
6. ガラスの内側に配置され前記ガラス越しの画像を取得するための請求項２乃至５のいずれか一項に記載の撮像装置と、
   前記撮像装置に設けた撮像素子の受光面の第１の領域に対応する画像に基づいて移動体の前方認識処理を行う前方認識処理部と、
   前記撮像装置に設けた撮像素子の受光面の第２の領域に対応する画像に基づいて前記ガラスに付着物が付着しているか否かを検知する付着物検知処理部と、
   前記前方認識処理部で得られた前方認識情報に基づいて移動体に対して所定の動作制御を行うとともに、前記付着物検知処理部で得られた付着物検知情報に基づいて付着物が付着していると検知した場合には、ワイパーの作動動作又はウォッシャー液の噴射動作を制御する制御部と、を備えたことを特徴とする移動体制御システム。
7. 請求項４に記載の歪補正処理部の前記画像ラインデータバッファ部、前記歪補正領域判別部、前記歪補正座標演算部及び前記画素補間部の処理をコンピュータに実行させるためのプログラム。