JP2008166902A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラの焦点ずれを煩雑な操作を要することなく判定する。
【解決手段】固定焦点式の車載カメラによって撮像される自車両の撮像画像データを処理する画像処理装置は、前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両の一部の撮像画像の第１の特徴データが記憶される記憶部と、前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記自車両の一部の撮像画像の第２の特徴データを抽出する画像処理部とを有し、前記画像処理部は、前記第１、第２の特徴データを比較する。よって、検査用チャートを用いることなく、前記比較結果に基づき前記車載カメラの焦点ずれを判定することができる。
【選択図】図２

Description

本発明は、撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラにより撮像された自車両の撮像画像データを処理する画像処理装置及び画像処理方法に関する。

近年、車両の安全な走行を支援するために、自車両に搭載したデジタルカメラ（以下、車載カメラという）で撮像した車両前方の撮像画像を処理して画像内のエッジ（輪郭）を抽出し、そのエッジの形状に基づいて先行車両や障害物、あるいは路面の表示などの被写体を認識して、自車両のスロットルやブレーキを制御する車両走行支援システムが提案されている。かかる車両走行支援システムにあっては、車両前方の至近距離から数十メートル程度の距離までの範囲で精度よく画像認識を行うことが求められる。そして、画像認識の精度は撮像画像から抽出されるエッジの鮮明度、つまり撮像画像の鮮明度に大きく影響される。

被写体を鮮明に撮像するための手段としては、撮像レンズを駆動させて被写体の距離に対し自動的に焦点距離を合わせるオートフォーカス機構などが知られており、特許文献１にはかかる機構を備えたデジタルカメラの例が記載されている。しかし、かかるオートフォーカス機構を備えると車載カメラの構造が複雑化するので、コスト高となる。また、車載カメラの撮像画像はドライバーに表示出力するためではなく、画像処理装置により先行車両や障害物などを画像認識することを目的として撮像される。よって、特定の被写体に焦点を合わせて鮮明に撮像するよりも、可能な限り多くの被写体を画像認識に支障のない程度の鮮明度で撮像する方が望ましい。

こうしたことから、車両走行支援システムにおいては、被写体像を結像する撮像レンズが予め決められた位置に設定され、一定の距離範囲内の被写体を有る程度の鮮明度で撮像できるように焦点が固定された固定焦点式の車載カメラが用いられる。
特開２００３−１０７３３３号公報

上記のような固定焦点式の車載カメラでは、車両の走行にともなう振動や衝撃により、撮像レンズの設定位置が微妙にずれる場合がある。すると、当初設定された焦点がずれ、焦点が近距離あるいは遠距離に偏った状態となり、焦点の合っていない部分の画像が極めて不鮮明になる。すると、そのような不鮮明な画像からは被写体が的確に認識されず、結果として車両の安全な走行の支援に支障を来たす。よって、かかる焦点ずれが生じた場合には、ドライバーは整備工場へ車両を入庫して、車載カメラの点検・整備を受けることが望ましい。

しかしながら、撮像画像は画像処理装置で処理され通常は表示出力されないので、ドライバーはこれを見る機会が無く、ドライバーが運転中に焦点ずれに起因する撮像画像の悪化に気づくことはない。よって、焦点ずれを判定するためには、検査用の図形パターンが描かれたチャートを利用して、車載カメラから所定の距離に設置された検査用チャートを撮像し、その撮像画像の特徴データと、当初設定された焦点で得られる同じチャートの撮像画像の特徴データとを比較して、撮像状態が悪化したかを判定することが必要となる。かといって、かかるチャートを携行し、正確な位置にこれを設置して車載カメラで撮像するといった煩雑な操作を、定期的かつ自発的に行うことをドライバーに期待することも困難である。

そこで、本発明の目的は、固定焦点式の車載カメラの焦点ずれを煩雑な操作を必要とせず判定することが可能な画像処理装置及び画像処理方法を提供することにある。

上記の目的を達成するために、本発明の第１の側面によれば、撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像される自車両の撮像画像データを処理する画像処理装置において、前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両の一部の撮像画像の第１の特徴データが記憶される記憶部と、前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記自車両の一部の撮像画像の第２の特徴データを抽出する画像処理部とを有する。そして、前記画像処理部は、前記第１、第２の特徴データを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする。

また、本発明の第２の側面によれば、撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像される自車両周囲の撮像画像データを処理する画像処理装置において、前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データが、自車両と当該被写体との複数の距離ごとに記憶される記憶部と、前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記被写体の撮像画像の第２の特徴データを抽出する画像処理部とを有する。そして、前記画像処理部は、被写体距離検知部にて検知された自車両と前記被写体との距離データに対応する前記第１の特徴データと、前記第２の特徴データとを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする。

また、本発明の第３の側面によれば、撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両周囲の撮像画像データを処理する画像処理装置において、前記撮像レンズが前記設定位置のときに所定の撮像地点から前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データが記憶される記憶部と、前記第１の特徴データが記憶された後に自車両位置検知部にて自車両が前記撮像地点に位置することが検知されたときに、前記車載カメラにより撮像される前記被写体の撮像画像の第２の特徴データを抽出する画像処理部とを有する。そして、前記画像処理部は、前記第1、第２の特徴データを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする。

上記第１の側面によれば、車載カメラの撮像レンズが当初の設定位置のときに、車載カメラとの距離が固定されたボンネット上のエンブレムなどの自車両の一部を検査用チャートの代わりに撮像し、前記被写体画像の特徴データを基準データとして記憶しておく。その後撮像される撮像画像データから、前記自車両の一部の撮像画像の特徴データを抽出して基準データと比較する。よって、検査用チャートを所定位置に設置して撮像するという操作をドライバーが行うことなく、車載カメラの焦点ずれを判定することができる。

上記第２の側面によれば、前記撮像レンズが当初の設定位置のときに、自車両以外の先行車両などを検査用チャートの代わりに被写体として撮像し、自車両と被写体との複数の距離ごとに被写体画像の特徴データを抽出して、その特徴データを基準データとして記憶しておく。その後撮像される撮像画像データから、当該被写体画像の特徴データを抽出して、自車両と被写体との距離に対応する基準データと比較する。よって、自車両の形状や車載カメラの取り付け位置によって自車両の一部を被写体とすることが困難な場合であっても、検査用チャートの設置や撮像といった操作をドライバーが行うことなく、車載カメラの焦点ずれを判定することが可能となる。

上記第３の側面によれば、前記撮像レンズが当初の設定位置のときに、所定の撮像地点から既知の検査用チャートなどの被写体を撮像し、その被写体画像の特徴データを抽出して、その特徴データを基準データとして記憶しておく。その後、自車両が所定の撮像地点に位置するときにその地点から被写体を撮像し、被写体画像の特徴データを抽出して基準データと比較する。よって、所定の撮像地点に車両を移動させることで、検査用チャートを所定位置に設置して撮像するという操作をドライバーが行うことなく、車載カメラの焦点ずれを判定することができる。

以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は、本実施形態における車載カメラ２と画像処理装置３が車両に搭載される例を説明する図である。図２は、本実施形態における車載カメラ２、画像処理装置３の構成を説明する図である。車載カメラ２と、画像処理装置３は一体となって画像センサ４を構成し、図１に示すように、画像センサ４は、車両１の車室内のフロントガラス上部に設置される。かかる位置から、車載カメラ２はフロントガラス越しに車両前方の撮像範囲２ａにおいて先行車両、各種障害物、路面の車線表示等を撮像する。そして、車載カメラ２による撮像画像データに基づいて、画像処理装置３が後述するエッジ抽出処理及び画像認識処理を行う。

車載カメラ２は、被写体像を結像する撮像レンズ２１と、ＣＭＯＳイメージセンサなどで構成され撮像レンズ２１から入力される被写体像を撮像して撮像画像データを出力する撮像部２２とを備える。撮像レンズ２１は予め決められた位置に設定されており、そのため撮像レンズ２１と撮像部２２の距離により規定される車載カメラ２の焦点は撮像範囲２ａ内で所定の距離と位置に固定して初期設定される。すなわち、車載カメラ２は固定焦点式のカメラとして構成される。

画像処理装置３の画像処理部３２は、撮像部２２が出力する撮像画像の画像データを処理して撮像画像からエッジを抽出する。ここで、「エッジ」とは撮像画像の明暗の境界線をいい、被写体の輪郭線、または輪郭と輪郭内部の領域の形状や模様を構成する線がエッジに対応する。よって、画像処理部３２は各画素の隣接画素との濃度階調の差を求めることにより画像の明暗の変化点を求め、一定以上の明暗差の変化点をエッジとして抽出する。そして、画像処理部３２は、抽出されたエッジの形状を記憶部３３に記憶されるエッジ形状のパターンデータと照合して被写体の画像認識を行う。なお、画像処理部３２は、内蔵のＲＯＭに格納される画像処理プログラムで動作するマイクロコンピュータで構成される。あるいは、画像処理部３２は、エッジ抽出処理を行うエッジ抽出処理用のＬＳＩと画像認識を行うマイクロコンピュータとで構成される。また、記憶部３３は、書換え可能な不揮発性の記憶装置により構成される。

画像処理部３２による画像認識結果データは車両１の制御ＥＣＵ（Electronic Control Unit）６へ入力される。制御ＥＣＵ ６はマイクロコンピュータで構成され、画像センサ４の画像処理部３２から入力される画像認識結果データ、後述する車載レーダ５から入力される自車両の物体の状態データ、または不図示の各種センサにより検知される車両１の走行状態データに基づき、車両１のスロットルやブレーキ等を制御するＥＣＵに制御信号を出力する。その結果、車両１走行が制御され、車両１の先行車両への追従や障害物の回避が行われる。

本実施形態では、上述のように撮像レンズ２１は予め決められた位置に設定される。しかしながら、車両の走行にともなう振動や衝撃により撮像レンズ２１の設定位置がずれる場合がある。すると、初期設定された焦点がずれ、焦点が近距離あるいは遠距離に偏った状態となる。すると、焦点が近距離に偏った場合は遠距離の被写体の画像、焦点が遠距離に偏った場合は近距離の被写体の画像の鮮明度が低下する。すると、不鮮明な画像から抽出されるエッジも不鮮明となる。

ここで、図３を用いて撮像画像から抽出されるエッジの状態について説明する。図３（Ａ）は、車載カメラ２で撮像した車両前方の撮像画像を模式的に示している。図３（Ａ）において、被写体である先行車両１００の輪郭は、被写体画像の色と被写体以外の画像との明暗差で表現される。また、路面１１０の輪郭も、路面１１０とそれ以外の画像との明暗差で表現される。よって、画像処理部３２で図３（Ａ）の撮像画像からエッジ抽出を行うと、車載カメラ２の焦点が初期設定の状態では、図３（Ｂ）に示すように一定以上の明暗差の変化点が鮮明なエッジとして抽出される。

これに対し、車載カメラ２の焦点がずれると、撮像画像の明暗差がぼやけるため、図３（Ｃ）に示すように、エッジが太く不鮮明となる。すなわち、エッジの抽出量が増加する。このように車載カメラ２の焦点ずれは、エッジ抽出量の増大として把握される。よって、通常、焦点ずれを判定するためには、検査用の図形パターンが描かれたチャートを利用して、車載カメラ２から所定の距離に設置されたチャートを被写体とし、撮像された被写体画像から抽出されるエッジ抽出量を、初期設定された焦点で撮像した被写体画像のエッジ抽出量と比較することが必要となる。そして、初期設定のときのエッジ抽出量を上回る量のエッジが抽出された場合は、焦点ずれと判定する。

しかしながら、かかる検査用チャートを携行し、正確な位置にこれを設置して車載カメラ２で撮像するといった煩雑な操作を定期的かつ自発的に行うことをドライバーに期待することは困難である。そこで、本実施形態では、以下のようにして車載カメラ２の焦点ずれを判定する。

図４は、本実施形態における第１の実施例について説明する図である。図５は、第１の実施例での画像処理装置３等の動作手順を説明する図である。第１の実施例では、図４（Ａ）に示すように、車両１のボンネットに取り付けられたエンブレムＥ１が画像の一部として撮像されるように、車載カメラ２が設置される。ここで、エンブレムＥ１と車載カメラ２はいずれも車両１に固定されており、互いの距離は常に一定である。よって、先行車両１００の画像や背景画像は時々刻々変化するが、車載カメラ２の初期設定された焦点がずれていない限りはエンブレムＥ１の画像は常に一定である。すなわち、エンブレムＥ１の撮像画像からは図４（Ｂ）に示すように鮮明なエッジが抽出される。しかし、車載カメラ２の焦点がずれると、エンブレムＥ１の撮影画像からは図４（Ｃ）に示すように不鮮明な太いエッジが抽出される。

そこで、被写体画像のエッジ抽出量を「特徴データ」とし、初期設定された焦点のときに撮像したエンブレムＥ１の撮像画像からエッジを抽出し、そのエッジ抽出量を基準値として記憶部３３に記憶しておく（図５のＳ５１）。その後、車両の走行中などに車載カメラ２により定期的にエンブレムＥ１を撮像する（図５のＳ５２）。そして、画像処理部３２は、撮像画像からエッジを抽出し（図５のＳ５３）、エンブレムＥ１の撮像画像から抽出されるエッジ抽出量と、記憶部３３に記憶されたエッジ抽出量とを比較する（図５のＳ５４）。そして、抽出されたエッジ量の方が大きければ（図５のＳ５５のＹＥＳ）、画像処理部３２は車載カメラ２の焦点ずれを判定する。そして、画像処理部３２は、ナビゲーション装置７を介して表示部７１によりドライバーへの警告表示を出力して（図５のＳ５６）、ドライバーに車載カメラ２の点検を促すことができる。

このように、ドライバーは、検査用チャートを携行し、正確な位置にこれを設置して撮像を行うといった煩雑な操作を行うことなく、車載カメラ２の焦点ずれを適時に知ることができる。

図６は、本実施形態における第２の実施例について説明する図である。第２の実施例では、車両１の車室内のインスツルメントパネル７１ａに設置されるナビゲーション装置７の表示部７１が常に撮像されるように車載カメラ２を設置する。そして、画像処理部３２はナビゲーション装置７を介して表示部７１に検査用の図形パターンを表示させる。かかる図形パターンデータは記憶部３３に予め格納される。そして、車載カメラ２が図形パターンを表示する表示部７１を撮像する。すなわち、図形パターンを表示する表示部７１が被写体となる自車両の一部に対応する。

ここでも、表示部７１と車載カメラ２はいずれも車両１に固定されており、相対距離は常に一定である。よって、先行車両１００の画像や背景画像は時々刻々変化するが、車載カメラ２の初期設定された焦点がずれていない限りは図形パターンを表示した表示部７１の撮像画像は常に一定である。

これを利用して、車載カメラ２が予め初期設定された焦点のときに表示部７１に表示される図形パターンの画像を撮像し、画像処理部３２は図形パターンのエッジを抽出する。そして、そのエッジ抽出量を記憶部３３に記憶する。そして、画像処理部３２は、その後の撮像画像から表示部７１に表示される図形パターンの画像のエッジを抽出し、そのエッジ抽出量を、記憶部３３に記憶されたエッジ抽出量と比較する。そしてその比較結果に基づいて、車載カメラ２の焦点ずれを判定することができる。

あるいは、画像処理部３２は、図形パターンの画像のエッジを抽出したら、その抽出結果から車載カメラ２の解像度を計算するように構成することもできる。すなわち、解像度が特徴データに対応する。この場合は、既知の図形パターンを用いるので、初期設定の焦点で車載カメラ２が表示部７１の図形パターンを撮像したときの解像度を示す基準データを予め記憶部３３に記憶しておき、エッジ抽出の結果から求められる解像度をこれと比較する。そうすることにより、算出された解像度が基準データにより示される解像度より低い場合は、焦点ずれを判定する。このようにして、ドライバーによる煩雑な操作を必要とせずに、車載カメラ２の焦点ずれを判定することができる。

図７は、本実施形態における第３の実施例について説明する図である。図８は、第３の実施例での画像処理装置３等の動作手順を説明する図である。第３の実施例では、図７（Ａ）に示すように、車載カメラ２が先行車両１００などを被写体として撮像する。

まず、予め車載カメラ２が初期設定された焦点のときに先行車両を撮像し、自車両と先行車両との距離ごとに、撮像画像から抽出される先行車両のエッジ抽出量の大まかな基準値を基準値テーブル３５として記憶部３３に格納しておく（図８のＳ８１）。さらに、この基準値テーブル３５は、撮像画像の明るさをパラメータとし、明るさと距離との組合せに応じた基準値が得られるように構成してもよい。

基準値テーブル３５が記憶された後、車両の走行中に、車載カメラ２は先行車両１００を撮像する（図８のＳ８２）。そして、画像処理部３２はその被写体画像のエッジ抽出量を特徴データとして抽出する（図８のＳ８３）。

ここで、自車両１と先行車両１００との距離を検知する「被写体距離検知部」により自車両１と先行車両１００との距離を検知する（図８のＳ８４）。被写体距離検知部は、図１、２、及び図７（Ｂ）に示すように、車両１の前面のフロントグリル近傍に搭載され、車両１前方の一定の角度方向５ａにレーダビームを射出し、反射ビームを受信することにより車両１前方の車両１００の相対距離Ｄ１や、角度方向を検知する車載レーダ５により構成される。この車載レーダ５からは、検知された先行車両１００までの距離Ｄ１の距離データが画像処理部３２に入力される。

画像処理部３２は、車載レーダ５から入力される先行車両１００の距離データに基づき、その距離をパラメータとして基準値テーブル３５を参照して、距離に対応する基準値を抽出する（図８のＳ８５）。そして画像処理部３２は、撮像画像から抽出した被写体のエッジの抽出量と基準値テーブルから抽出した基準値とを比較する（図８のＳ８６）。そして、抽出されたエッジ抽出量が基準値を上回る場合には（図８のＳ８７のＹＥＳ）、車載カメラ２の焦点ずれと判定し、判定結果を出力する（図８のＳ８８）。

なお、その際、被写体が移動しているため一回の撮像により得られた撮像画像のみでは正確な判定が困難な場合がある。よって、一定時間継続して撮像された画像からエッジ抽出を行い、所定時間内に基準値を上回るエッジ量が抽出される場合に焦点ずれと判断する。そうすることにより、より正確な判定を行うことができる。

また、焦点ずれが大きいと、撮像画像全体が不鮮明となり、画像全体としてのエッジ抽出量が低下する場合がある。例えば、図９（Ａ）に示す初期設定された焦点での車両１００のエッジ抽出量に対し、焦点ずれが大きいと図９（Ｂ）に示すように極端に少ないエッジ抽出量となる場合がある。しかし、基準値を上回るエッジ抽出量のときにのみ焦点ずれと判定すると、エッジ抽出量が少ない場合は焦点ずれと判定されない。よって、車載レーダ５で一定時間継続して被写体の角度方向を観測し、検知された角度方向に対応する撮像画像内の位置に一定量のエッジ抽出量が抽出されない場合には、焦点ずれと判定する。そうすることにより、焦点ずれが大きいことによりエッジ抽出量が少ない場合でも、焦点ずれを判定することができる。

このように、第３の実施例によれば、車両の形状と車載カメラ２の設置位置によって自車両の一部を被写体として撮像することが困難な場合であっても、自車両以外の物体を被写体として車載カメラ２の焦点ずれを判定することができる。

図１０は、本実施形態における第４の実施例について説明する図である。図１１は、第４の実施例での画像処理装置３等の動作手順を説明する図である。第４の実施例では、図１０に示すように、車載カメラ２が自車両以外の物体として整備工場などに設置される検査用チャート１２０を被写体として撮像する。自車両１が整備工場に入庫されると、所定の撮像地点からチャート１２０を撮像するので、車載カメラ２の初期設定された焦点がずれていない限りは、図形パターンの撮像画像は常に一定である。

よって、まず予め車載カメラ２が初期設定された焦点のときに所定の撮像地点からチャート１２０を撮像し、画像処理部３２は図形パターンの撮像画像からエッジ抽出を行い、そのエッジ抽出量を記憶部３３に記憶しておく（図１１のＳ１１１）。

その後、「自車両位置検知部」により自車両１の位置を検知する（図１１のＳ１１２）。自車両位置検知部は、図２に示すように車両１に搭載されるナビゲーション装置７により構成される。ナビゲーション装置７は、通信手部７２によりＧＰＳ信号を受信し、ＧＰＳ信号と内蔵のハードディスクに格納される地図情報とから自車両が位置する地点を検出する。さらに、ナビゲーション装置７には、検査用チャートが設置された所定の整備工場の地点を予め記憶させてある。よってナビゲーション装置７は、かかる整備工場に自車両が位置することを検知して、画像処理装置３の画像処理部３２へ通知する。

そうすることで、画像処理部３２は自車両が所定の撮像地点に位置しており、車載カメラ２とチャート１２０とが所定の相対位置に固定された状態にあることを検知できる（図１１のＳ１１８のＹＥＳ）。そして、車載カメラ２により検査用チャート１２０を撮像する（図１１のＳ１１３）。そして、画像処理部３２は、チャート１２０の撮像画像から図形パターンの画像のエッジを抽出し（図１１のＳ１１４）、そのエッジ抽出量を記憶部３３に記憶される基準値と比較して（図１１のＳ１１５）、車載カメラ２の焦点ずれを判定し（図１１のＳ１１６）、焦点ずれ判定結果を出力する（図１１のＳ１１７）。

なお、この場合も第２の実施例同様、既知の図形パターンを用いるので、初期設定された焦点での車載カメラ２の解像度を予め記憶部３３に記憶しておき、エッジ抽出の結果から求められる解像度をこれと比較するように構成することもできる。

このように、自車両が整備工場へ入庫され、所定の撮像地点に位置しているときは、車載カメラ２と整備工場のチャート１２０とは所定の相対位置に固定された状態である。よって、ドライバー自ら検査用チャートを設置するなど煩雑な操作をする必要がない。そして、画像処理部３２によりチャート１２０の撮像画像に基づいて車載カメラ２の撮像画像が悪化したことを判定でき、焦点ずれを判定することができる。

図１２は本実施形態における第５の実施例を説明する図である。図１２では、図２の車載カメラ２に、撮像レンズ２１と撮像部２２との距離を測定するレーザ距離センサにより構成される監視センサ２３が追加された構成が示される。この監視センサ２３が、「レンズ距離測定部」に対応する。そして、監視センサ２３からの測定された距離データは画像処理部３２に入力される。すると、画像処理部３２は、この測定された距離と、記憶部３３に予め記憶された撮像レンズ２１が初期設定された位置のときの距離データとを比較して、撮像レンズ２１と撮像部２２との距離が変化したこと、すなわち焦点がずれたことを検知できる。

このように、画像処理部３２は焦点ずれを直接的に検知することができ、ナビゲーション装置７の表示部７１により、ドライバーに焦点ずれを通知することができる。

なお、第５の実施例の変形例としては、図１２に示すように撮像レンズ２１を焦点方向に駆動する駆動機構２４をさらに設け、焦点ずれが抽出された場合に、駆動機構２４は画像処理部３２からの制御信号に従って当初の設定位置まで撮像レンズ２１を駆動するようにしてもよい。

本実施形態における第６の実施例として、図２に示すように画像処理装置３はナビゲーション装置７の通信部７２を介して、撮像画像データを遠隔の制御センタ８へ通信する。そうすることにより、制御センタ８ではオペレータが撮像画像を肉眼で確認することができ、画像の鮮明さを判断することができる。そして、その判断結果を制御センタ８から受信することにより、画像処理装置３は焦点ずれの通知を出力することができる。このように、オペレータの視覚に基づく判断を用いることで、より直接的に焦点ずれに起因する撮像画像の撮像状態の悪化を検知でき、かつ画像処理部３２の処理負荷を軽減できる。

なお、上述の説明においては、エッジ抽出量を撮像状態として説明したが、一定時間におけるエッジ位置の変化量を特徴データとしてもよい。その際は変化量の基準値を基準データとして記憶部３３に格納しておき、エッジ位置の変化量が基準値より大きければ、撮像画像が悪化していると判断でき、その場合は焦点ずれと判定することができる。

また、上述の各実施例において基準データは記憶部３３に記憶される場合を説明した。しかし、第３の実施例での大まかな基準値を格納したテーブルや、第２、第４の実施例での既知の図形パターンのエッジ量の基準値などは、予め画像処理部３２の内蔵ＲＯＭに書き込まれる構成としてもよい。
以上説明したとおり、本発明によれば、固定焦点式の車載カメラの焦点ずれを煩雑な操作を必要とせず判定することが可能となる。

本実施形態における車載カメラ２と画像処理装置３が車両に搭載される例を説明する図である。 本実施形態における車載カメラ２、画像処理装置３の構成を説明する図である。 撮像画像のエッジ状態について説明する図である。 本実施形態における第１の実施例について説明する図である。 第１の実施例での画像処理装置３等の動作手順を説明する図である。 本実施形態における第２の実施例について説明する図である。 本実施形態における第３の実施例について説明する図である。 第３の実施例での画像処理装置３等の動作手順を説明する図である。 焦点ずれが大きい場合のエッジ抽出量について説明する図である。 本実施形態における第４の実施例について説明する図である。 第４の実施例での画像処理装置３等の動作手順を説明する図である。 本実施形態における第５の実施例を説明する図である。

符号の説明

２：車載カメラ、３画像処理装置、５：車載レーダ、７：ナビゲーション装置、
８：制御センタ、３２：画像処理部、３３：記憶部、３５：基準値テーブル、
７１：表示部、７２：通信部

Claims (8)

1. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像される自車両の撮像画像データを処理する画像処理装置において、
   前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両の一部の撮像画像の第１の特徴データが記憶される記憶部と、
   前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記自車両の一部の撮像画像の第２の特徴データを抽出する画像処理部とを有し、
   前記画像処理部は、前記第１、第２の特徴データを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする画像処理装置。
2. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像される自車両周囲の撮像画像データを処理する画像処理装置において、
   前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データが、自車両と当該被写体との複数の距離ごとに記憶される記憶部と、
   前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記被写体の撮像画像の第２の特徴データを抽出する画像処理部とを有し、
   前記画像処理部は、被写体距離検知部にて検知された自車両と前記被写体との距離データに対応する前記第１の特徴データと、前記第２の特徴データとを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする画像処理装置。
3. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両周囲の撮像画像データを処理する画像処理装置において、
   前記撮像レンズが前記設定位置のときに所定の撮像地点から前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データが記憶される記憶部と、
   前記第１の特徴データが記憶された後に自車両位置検知部にて自車両が前記撮像地点に位置することが検知されたときに、前記車載カメラにより撮像される前記被写体の撮像画像の第２の特徴データを抽出する画像処理部とを有し、
   前記画像処理部は、前記第１、第２の特徴データを比較し、当該比較結果に基づき前記車載カメラの焦点ずれを判定することを特徴とする画像処理装置。
4. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両の撮像画像データを処理する画像処理装置において、
   前記撮像レンズが前記設定位置のときの前記撮像レンズと前記車載カメラの撮像部との第１の距離データを記憶する記憶部と、
   前記第１の距離データが記憶された後に前記撮像レンズと前記車載カメラの撮像部との距離を測定するレンズ距離測定部にて測定された第２の距離データと前記第１の距離データとを比較して、当該比較結果に基づき前記車載カメラの焦点ずれを判定する画像処理部とを有することを特徴とする画像処理装置。
5. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両周囲の撮像画像データを処理する画像処理方法において、
   前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両の一部の撮像画像の第１の特徴データを記憶する工程と、
   前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記自車両の一部の撮像画像の第２の特徴データを抽出する工程と、
   前記第１、第２の特徴データを比較して、当該比較結果に基づき前記車載カメラの焦点ずれを判定する工程とを有することを特徴とする画像処理方法。
6. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両周囲の撮像画像データを処理する画像処理方法において、
   前記撮像レンズが前記設定位置のときに前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データを、自車両と当該被写体との複数の距離ごとに記憶する工程と、
   前記第１の特徴データが記憶された後に前記車載カメラにより撮像される前記被写体の撮像画像の第２の特徴データを抽出する工程と、
   自車両と前記被写体との距離を検知する工程と、
   前記自車両と前記被写体との距離データに対応する前記第１の特徴データと、前記第２の特徴データとを比較して、当該比較結果に基づき前記車載カメラの焦点ずれを判定する工程とを有することを特徴とする画像処理方法。
7. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両の撮像画像データを処理する画像処理方法において、
   前記撮像レンズが前記設定位置のときに所定の撮像地点から前記車載カメラにより撮像される自車両以外の被写体の撮像画像の第１の特徴データを記憶する工程と、
   前記第１の特徴データが記憶された後に自車両が前記撮像地点に位置することを検知する工程と、
   自車両が前記撮像地点に位置するときに前記車載カメラにより撮像される撮像画像データから前記被写体の撮像画像の第２の特徴データを抽出する工程と、
   前記第１、第２の特徴データを比較して、当該比較結果に基づき前記車載カメラの焦点ずれを判定する工程とを有することを特徴とする画像処理方法。
8. 撮像レンズが予め決められた位置に設定される固定焦点式の車載カメラによって撮像された自車両の撮像画像データを処理する画像処理方法において、
   前記撮像画像データを遠隔の制御センタへ送信する工程と、
   当該制御センタにてオペレータが判断する当該撮像画像の鮮明度を示す判断結果データを送信する工程と、
   前記判断結果データに基づいて前記車載カメラの焦点ずれを判定する工程とを有することを特徴とする画像処理方法。

Images