JP2014182475A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ショットノイズの影響を低減させることができ、かつ、被写体のエッジを適切に検出することができる画像処理装置を提供する。
【解決手段】光を照射する投光手段２０と、輝度画像を出力する撮像手段３０と、輝度画像を記憶する画像記憶手段４０と、輝度画像に対して同期検波処理を施すことで検波処理画像を生成する同期検波処理手段１０と、投光手段２０により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段１０と、プロファイル情報に基づいて検波処理画像の輝度を補正する補正手段１０と、検波処理画像から被写体のエッジを検出するエッジ検出手段１０と、を備え、補正手段１０は、検波処理画像のうち、信号強度の低い位置ほど輝度の補正度合いを大きくし、信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関するものである。

従来より、異なる時刻に撮像された２つの輝度画像の差分に基づいて、差分画像を生成し、生成した差分画像に基づいて、移動する被写体を検出する技術が知られている。しかしながら、差分画像は２つの輝度画像の差分に基づいて生成されるものであるため、輝度画像の輝度が高い場合でも、差分画像の輝度は低くなり、差分画像において、ショットノイズの影響が大きくなる場合があった。そこで、このようなショットノイズの影響を低減するために、ショットノイズが画素の輝度値の平方根に比例して大きくなることに鑑みて、差分画像の各画素の輝度値を、該輝度値の平方根で除算する補正を行い、輝度値を補正した差分画像から被写体を検出する技術が知れている（特許文献１参照）。

特願２００８−２３４６１９号

同期検波処理により、投光量の異なる２つの輝度画像の差分から、投光された光成分に基づく画像を検波処理画像として生成する場合も、従来技術と同様に、ショットノイズの影響が問題となる場合があった。しかしながら、ショットノイズの影響を低減するために、従来技術のように、各画素の輝度値を該輝度値の平方根で除算してしまうと、被写体のコントラストが低下してしまい、その結果、被写体のエッジを適切に抽出することができず、被写体を適切に検出できない場合があった。

本発明が解決しようとする課題は、ショットノイズの影響を低減させることができ、かつ、被写体のエッジを適切に検出することができる画像処理装置を提供することである。

本発明は、同期検波処理により生成された検波処理画像から被写体のエッジを検出する際に、撮像範囲内に照射された光成分に起因する輝度画像上の信号強度の分布情報を、プロファイル情報として取得し、検波処理画像のうち、プロファイル情報において信号強度が低い位置ほど輝度の補正度合いを大きくし、信号強度が高い位置ほど輝度の補正度合いを小さくして、検波処理画像の輝度を補正することで、上記課題を解決する。

本発明によれば、検波処理画像のうち、プロファイル情報において信号強度が低い位置ほど、ショットノイズの影響が大きいために、輝度の補正度合いを大きくし、プロファイル情報において信号強度の高い位置ほど、ショットノイズの影響が小さいために、輝度の補正度合いを小さくすることで、ショットノイズの影響を有効に低減させることができ、その結果、被写体のエッジを適切に検出することができる。

本実施形態に係る画像処理装置１のブロック構成図である。 カメラの撮像範囲と、投光装置による光の照射範囲との関係を示す図である。 投光装置の投光量および投光タイミングと、カメラの露光タイミングの一例を示す図である。 検波処理画像の生成方法を説明するための図である。 プロファイル情報を説明するための図である。 第１実施形態に係る画像処理方法を示すフローチャートである。 第２実施形態に係る画像処理方法を示すフローチャートである。 被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域を設定する方法を説明するための図である。

以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、路面を撮像した撮像画像に基づいて白線などの対象被写体のエッジを検出することで、白線などの対象被写体を検出する画像処理装置１を例示して説明する。

《第１実施形態》
図１は、第１実施形態に係る画像処理装置１のブロック構成図である。図１に示すように、第１実施形態に係る画像処理装置１は、制御装置１０、投光装置２０、カメラ３０およびメモリ４０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができるようになっている。

投光装置２０は、たとえば、ＬＥＤとＬＥＤ制御回路とで構成され、制御装置１０からの指令に基づいて、周期的に光の照射を行う。また、カメラ３０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を備えており、撮像素子により撮像された輝度画像を、制御装置１０に出力する。

ここで、図２は、カメラ３０の撮像範囲と投光装置２０の照射範囲との関係を示す図である。図２に示すように、投光装置２０とカメラ３０とは、投光装置２０による光の照射範囲がカメラ３０の撮像範囲内となるように配置されており、これにより、カメラ３０は、投光装置２０により照射された被写体の像を撮像することができる。

また、制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

そして、制御装置１０は、カメラ３０により撮像された輝度画像から被写体を検出するために、露光・投光制御機能と、輝度画像記憶機能と、同期検波処理機能と、プロファイル記憶機能と、補正領域設定機能と、補正機能と、エッジ抽出機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以下に、画像処理装置１の制御装置１０が実現する各機能についてそれぞれ説明する。

まず、制御装置１０の露光・投光制御機能について説明する。本実施形態の制御装置１０は、投光装置２０による光の照射動作およびカメラ３０による露光動作を制御する。具体的には、制御装置１０は、まず、図３（Ａ）に示すように、所定の投光周期の正弦波信号ｓｉｎωＦを生成する。なお、正弦波信号ｓｉｎωＦにおいて、ωは一周期当たりの投光数（フレーム数）、Ｆは１秒当たりのフレーム数である。また、図３（Ａ）は、投光装置２０による投光量および投光タイミングの一例を示す図である。

そして、露光・投光制御機能は、生成した正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作を制御する。具体的には、露光・投光制御機能は、正弦波信号ｓｉｎωＦの周期に応じた投光タイミングで、投光装置２０に光を照射させる。たとえば、図３（Ａ）に示す例では、露光・投光制御機能により、１周期に８回の照射を行う正弦波信号ｓｉｎωＦが生成され、この正弦波信号ｓｉｎωＦに基づいて、１周期において８回の照射光の照射が、一定間隔で行われる。たとえば、図３（Ａ）に示す例では、時刻ｔ_０から時刻ｔ_８までの１周期において、時刻ｔ_０〜時刻ｔ_８の各タイミングで照射光を照射させる。

また、露光・投光制御機能は、正弦波信号ｓｉｎωＦの周期に応じた投光量の光を、投光装置２０に照射させる。たとえば、図３（Ａ）に示す例では、投光装置２０の投光量の最大値を１００％とした場合に、露光・投光制御機能は、時刻ｔ_０においては０％の投光量で投光させ（すなわち、投光装置２０による投光を禁止し）、時刻ｔ_１においては３０％程度の投光量で投光させ、時刻ｔ_２においては５０％程度の投光量で投光させ、時刻ｔ_３においては７０％の投光量で投光させ、時刻ｔ_４においては、１００％の投光量で投光させる。同様に、露光・投光制御機能は、時刻ｔ_５〜時刻ｔ_１０においても、正弦波信号ｓｉｎωＦの周期に応じた投光量の光を、投光装置２０に照射させる。

また、制御装置１０の露光・投光制御機能は、投光装置２０の投光タイミングに合わせて、カメラ３０に備えられた撮像素子の電子シャッタまたは機械シャッタの動作を制御することで、カメラ３０に露光動作を実行させる。ここで、図３（Ｂ）は、カメラ３０による撮像光量および露光タイミングの一例を示す図である。なお、図３（Ａ）の時刻ｔ_０〜時刻ｔ_１０と、図３（Ｂ）の時刻ｔ_０〜時刻ｔ_１０とはそれぞれ同一の時刻を示す。

具体的には、制御装置１０の露光・投光制御機能は、図３（Ｂ）に示すように、投光装置２０により光の照射が行われる時刻ｔ_０〜時刻ｔ_１０と同一のタイミングで、カメラ３０に露光を行わせる。また、図３（Ａ）に示すように、投光装置２０の投光量は、正弦波信号ｓｉｎωＦの周期に応じて変化するため、カメラ３０の撮像素子で受光される光量も、正弦波信号ｓｉｎωＦの周期に応じて変化する。たとえば、図３（Ｂ）に示す例では、時刻ｔ_０において、投光装置２０による投光量が０％であるため、カメラ３０の撮像素子で受光される光量は太陽光（自然光）に基づく光量となる。

そのため、図３（Ｂ）に示す例において、太陽光（自然光）による輝度画像の輝度が７０００ｃｄ／ｍ^２である場合には、投光装置２０による照射が行われていない時刻ｔ_０においては、撮像される輝度画像の輝度は７０００ｃｄ／ｍ^２となる。一方、時刻ｔ_１〜時刻ｔ_７では、投光装置２０による光の照射が行われているため、投光装置２０による投光量に応じた、太陽光（自然光）よりも大きい輝度値の輝度画像が撮像される。たとえば、図３（Ｂ）に示す例において、投光装置２０の投光量が５０％の時刻ｔ_２において撮像される輝度画像の輝度値は７５００ｃｄ／ｍ^２となり、投光装置２０の投光量が１００％の時刻ｔ_４で撮像される輝度画像の輝度値は８０００ｃｄ／ｍ^２となる。

なお、投光装置２０の投光時間は、カメラ３０の露光時間よりも長い時間に設定される。すなわち、本実施形態において、露光・投光制御機能は、カメラ３０の露光時間よりも投光装置２０の投光時間の方が長くなるように、投光装置２０の投光動作およびカメラ３０の露光動作の制御を行う。

次に、制御装置１０の輝度画像記憶機能について説明する。本実施形態の制御装置１０は、カメラ３０による露光動作の結果、得られた輝度画像を取得し、取得した輝度画像の画像信号を、投光装置２０の光の照射パターンの情報とともに、メモリ４０に記憶させる。また、制御装置１０は、カメラ３０から画像信号を取得した際に、取得した画像信号に対応する輝度画像が、投光装置２０によって光が照射された状態で撮像された輝度画像である場合には、光照射フラグｆとともに画像信号をメモリ４０に記憶させる。たとえば、図３（Ｂ）に示す例においては、時刻ｔ_０（第１フレーム）で得られる輝度画像の画像信号は、照射パターンが８フレームで１周期であるとの情報、および該周期における１フレーム目の画像であるとの情報（照射パターンの情報）とともにメモリ４０に記憶される。また、時刻ｔ_１（第２フレーム）で得られた輝度画像の画像信号は、照射パターンが８フレームで１周期であるとの情報、および該周期における２フレーム目の画像であるとの情報（照射パターンの情報）および光照射フラグｆとともにメモリ４０に記憶される。

なお、輝度画像記憶機能は、取得した画像信号に対応する輝度画像が、投光装置２０によって光が照射された状態で撮像された輝度画像であるか否かを、たとえば、露光・投光を制御するための正弦波信号に基づいて判定することができる。あるいは、投光装置２０から、光の照射を実行した旨の信号を受信することにより判定する構成としてもよいし、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置２０によって光が照射された状態で撮像された輝度画像であるか否かの判断を行う構成としてもよい。また、メモリ４０としては、たとえば、ＲＡＭ（Randam Access Memory）や、ＦｌａｓｈＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）など各種記憶装置、記憶媒体を用いることができる。

次に、制御装置１０の同期検波処理機能について説明する。本実施形態の制御装置１０は、メモリ４０から読み出された１周期分の輝度画像の画像信号（たとえば、図３（Ｂ）に示す例では、連続する８フレーム分の輝度画像の画像信号）に基づいて、投光装置２０の照射タイミングに同期した同期検波処理を行い、投光装置２０からの照射光に対する撮像対象からの反射光を抽出する処理を行う。

たとえば、同期検波処理機能は、投光量の異なる２つの輝度画像の各画素の信号出力の差分を、対応する画素ごとに算出することで、投光装置２０により照射された光成分を、２つの輝度画像の投光量の差に応じた量だけ抽出することができる。そして、同期検波処理機能は、正弦波信号ｓｉｎωＦの１周期分の輝度画像から、投光装置２０により照射された光成分を抽出することで、投光装置２０により照射された光成分に基づく検波処理画像を生成する。

たとえば、同期検波処理機能は、図４（Ａ）に示すように、投光装置２０により光が照射されていない場合の輝度画像と、図４（Ｂ）に示すように、投光装置２０により光が照射されている場合の輝度画像とから、図４（Ｃ）に示すように、投光装置２０により照射された光成分に基づく画像を、検波処理画像として生成することができる。特に、同期検波処理機能により生成される検波処理画像は、投光装置２０から照射された光成分に基づくものであるため、図４（Ｃ）に示すように、他車両の影や路面の傷など、太陽光により生じた非検出対象を除去することができる。

このように、検波処理画像は、他車両の影や路面の傷など、太陽光により生じる被写体を除去することができるため、検波処理画像から被写体のエッジを検出することで、白線などの検出対象被写体を適切に検出することができる。

一方で、検波処理画像からエッジを検出する場合には、以下のような問題があった。すなわち、カメラ２０の撮像素子には一定の頻度でショットノイズが発生することが知られており、一定の輝度の被写体を撮像した場合でも、被写体の輝度がバラついてしまう場合があった。特に、ショットノイズの標準偏差は輝度値の平方根に比例するため、輝度画像の輝度が高いほどショットノイズによる輝度のバラつきが大きくなる。一方で、輝度画像の輝度が高いほどＳ／Ｎ比は大きくなるため、輝度画像においては、輝度画像の輝度が高いほど、ショットノイズの影響は相対的に小さくなる。そのため、輝度画像では、被写体の輝度が高い場合ほど、被写体のエッジを高い精度で検出することができる。

これに対して、検波処理画像は、投光量の異なる２つの輝度画像の差に基づいて生成されるため、たとえ輝度画像自体の輝度が高い場合でも、検波処理画像の輝度が低くなってしまう場合がある。一方で、元の輝度画像の輝度が高い場合には、輝度画像において、ショットノイズによる輝度のバラつきが大きくなり、投光量の異なる２つの輝度画像の差から生成した検波処理画像においても、ショットノイズによる輝度のバラつきが生じやすい。そのため、元の輝度画像の輝度が高いが、検波処理画像の輝度が低い場合には、検波処理画像において、ショットノイズの影響が大きくなり、その結果、検波処理画像において、被写体の輪郭がぼやけたり、切れてしまい、検波処理画像から被写体のエッジを適切に抽出することができないという問題があった。

そこで、本実施形態に係る制御装置１０は、このようなショットノイズの影響を低減し、検波処理画像から被写体のエッジを適切に検出するために、以下に説明するような機能を備えている。

まず、制御装置１０のプロファイル記憶機能について説明する。プロファイル記憶機能は、投光装置２０により照射された光成分に起因する輝度の分布情報を、プロファイル情報としてＲＯＭ１２に記憶する。たとえば、プロファイル記憶機能は、撮像範囲内の輝度が均一である場合に、投光装置２０により光が照射されている場合の輝度画像の輝度と、投光装置２０により光が照射されていない場合の輝度画像の輝度との差分を算出することで、投光装置２０により照射された光成分に起因する輝度の分布情報を、プロファイル情報として生成し、生成したプロファイル情報を、ＲＯＭ１２に記憶することができる。

このように、プロファイル情報は、投光装置２０により照射された光成分に起因する輝度の分布情報であり、たとえば、撮像範囲における照射光の反射率が均一の場合に、所定の投光量で光を照射した場合の輝度画像の輝度の分布情報でもあってもよいし、検波処理画像の輝度の分布情報であってもよい。また、投光装置２０が撮像範囲内に投光する光の投光量の分布情報であってもよい。

ここで、図５は、プロファイル情報を説明するための図である。たとえば、プロファイル記憶機能は、図５に示すように、投光装置２０により照射された光成分に起因する輝度の大きさを数段階に分け、数段階に分けた輝度の分布情報を、プロファイル情報として記憶する。たとえば、図５に示す例では、輝度を高い順にＡ〜Ｅの５段階に分け、それぞれの輝度の大きさに対応する領域を、領域Ａ〜領域Ｅとして示している。プロファイル記憶機能は、このような投光装置２０により照射された光成分に起因する輝度の大きさと、その座標位置との関係を、プロファイル情報として、ＲＯＭ１２に記憶する。

なお、プロファイル記憶機能は、たとえば、製品出荷時において、投光装置２０により照射された光成分に起因する輝度の分布を計測することで、プロファイル情報を生成し、生成したプロファイル情報を予めＲＯＭ１２に記憶しておく構成としてもよいし、あるいは、画像処理装置１が起動される度に、プロファイル情報を生成し、生成したプロファイル情報をＲＯＭ１２に記憶する構成としてもよい。

次に、制御装置１０の補正領域設定機能について説明する。補正領域設定機能は、制御装置１０のＲＯＭ１２に記憶されているプロファイル情報に基づいて、検波処理画像上において、輝度を補正するための領域を、補正領域として設定する。

具体的には、補正領域設定機能は、検波処理画像のうち、プロファイル情報において輝度が高い領域ほど補正領域を狭く設定し、プロファイル情報において輝度が低い領域ほど補正領域を広く設定する。たとえば、図５に示す例では、プロファイル情報において領域Ａにおける輝度が最も高いため、検波処理画像のうち領域Ａに対応する領域においては２×２画素単位で補正領域を設定する。一方、補正領域設定機能は、検波処理画像のうち、プロファイル情報において領域Ａより輝度の低い領域Ｂに対応する領域においては３×３画素単で補正領域を設定する。同様に、検波処理画像のうち、領域Ｃ〜領域Ｅに対応する領域においても、輝度が低くなるほど、補正領域を構成する画素数を多くして、補正領域を設定する。たとえば、プロファイル情報における輝度が最も低い領域Ｅに対応する領域では、最も大きい９×９画素単位で補正領域を設定する。

次に、制御装置１０の補正機能について説明する。補正機能は、検波処理画像において、補正領域内の輝度のバラツキが低減するように、補正領域内の輝度を補正する。具体的には、補正機能は、検波処理画像において、補正領域内の各画素の輝度値をこれら画素の輝度値の平均値で均一化し、あるいは、補正領域内の輝度値を該補正領域内の輝度値のうちの最小値で均一化する。これにより、検波処理画像において、ショットノイズによる輝度のバラツキを低減することができる。

ここで、投光装置２０から照射される光の投光量が小さい位置では、検波処理画像の輝度が低くなり易く、ショットノイズの影響が相対的に大きくなる傾向にある。そのため、本実施形態では、投光装置２０から照射される光成分に起因する輝度の分布情報をプロファイル情報として取得し、検波処理画像のうち、プロファイル情報において輝度の低い領域、すなわち、ショットノイズの影響が大きい領域ほど、補正領域を広く設定することで、ショットノイズの影響を有効に低減させることができ、その結果、被写体のエッジを適切に検出することができる。

一方、投光装置２０から照射される光の投光量が大きい位置では、検波処理画像の輝度が高くなり易く、ショットノイズの影響が相対的に小さくなる傾向にある。そのため、本実施形態では、検波処理画像のうち、プロファイル情報において輝度の高い領域、すなわち、ショットノイズの影響が小さい領域ほど、補正領域を狭く設定することで、ショットノイズの影響を抑えつつ、補正領域を広く設定する場合と比べて、エッジを検出するための検出精度（解像度）を高くすることができる。たとえば、図５に示す例において、輝度が最も高い領域Ａでは２×２画素単位で補正領域が設定されるため、２×２画素単位でエッジの検出が行われる。一方、輝度が最も低い領域Ｅでは９×９画素単位で補正領域が設定されるため、９×９画素単位でエッジの検出が行われる。このように、領域Ｅよりも、領域Ａの方がエッジを検出するための解像度が高くなり、高い検出精度（解像度）でエッジを検出することができる。

次に、制御装置１０のエッジ抽出機能について説明する。エッジ抽出機能は、補正機能により補正された検波処理画像から、隣接する画素間の輝度差の大きさが所定値以上となる画像特徴部を、白線などの対象被写体のエッジとして抽出する。上述したように、エッジ抽出の対象となる検波処理画像は、投光装置２０により照射された光成分に起因する輝度に応じて、ショットノイズの影響が低減するように補正されているため、このような検波処理画像から対象被写体のエッジを抽出することで、対象被写体のエッジを適切に抽出することができる。

続いて、図６を参照して、第１実施形態に係る画像処理方法について説明する。図６は、第１実施形態に係る画像処理方法を示すフローチャートである。なお、図６に示す画像処理方法は、たとえば、画像処理装置１の電源がオンの間、繰り返し実行される。

ステップＳ１０１では、制御装置１０の露光・投光制御機能により、図３（Ａ）に示すように、所定周期の正弦波信号ｓｉｎωＦの生成が行われる。そして、ステップＳ１０２では、露光・投光制御機能により、ステップＳ１０１で生成された正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作、および、カメラ３０の露光動作の制御が行われる。具体的には、投光装置２０により、正弦波信号ｓｉｎωＦに応じた投光タイミングおよび投光量で光が照射されるとともに、カメラ３０により、投光装置２０の投光タイミングに合わせて露光が行われる。

ステップＳ１０３では、制御装置１０の輝度画像記憶機能により、ステップＳ１０２において撮像された輝度画像がメモリ４０に記憶される。そして、ステップＳ１０４では、輝度画像記憶機能により、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶されたか否かの判断が行われる。たとえば、図３（Ｂ）に示す例では、正弦波信号ｓｉｎωＦに基づいて、一周期に８フレームの輝度画像が撮像されるため、連続する８フレーム分の輝度画像が撮像され、これら８フレーム分の輝度画像がメモリ４０に記憶された場合に、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶されたと判断される。一周期分の輝度画像が記憶された場合には、ステップＳ１０５に進み、一方、一周期分の輝度画像が記憶されていない場合には、ステップＳ１０２に戻る。

ステップＳ１０５では、制御装置１０の同期検波処理機能により、ステップＳ１０３で記憶された一周期分の輝度画像に対して同期検波処理が施されることで、図４（Ｃ）に示すように、投光装置２０により照射された光成分に起因する画像が、検波処理画像として生成される。

ステップＳ１０６では、補正領域設定機能により、制御装置１０のＲＡＭ１２に記憶されたプロファイル情報の読み出しが行われる。そして、ステップＳ１０７では、補正領域設定機能により、ステップＳ１０６で取得されたプロファイル情報に基づいて、ステップＳ１０５で生成された検波処理画像上に補正領域が設定される。具体的には、補正領域設定機能は、検波処理画像のうち、プロファイル情報において輝度が低い位置ほど、１つの補正領域を構成する画素数を多くすることで、補正領域を広く設定し、プロファイル情報において輝度が低い位置ほど、１つの補正領域を構成する画素数を少なくすることで、補正領域を狭く設定する。

ステップＳ１０８では、制御装置１０の補正機能により、検波処理画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度の補正が行われる。これにより、検波処理画像におけるショットノイズの影響を低減することができる。そして、ステップＳ１０９では、ステップＳ１０８で補正された検波処理画像から、被写体のエッジの検出が行われる。すなわち、ステップＳ１０９では、ショットノイズの影響が低減された検波処理画像から、被写体のエッジを検出することで、被写体のエッジを適切に検出することができる。

以上のように、第１実施形態では、検波処理画像から被写体のエッジを検出する際に、検波処理画像上に、投光装置２０により投光された光成分の輝度に応じて補正領域を設定し、補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正する。具体的には、検波処理画像のうち、プロファイル情報において輝度の低い位置、すなわち、ショットノイズの影響が大きい位置ほど、補正領域を広く設定することで、検波処理画像において、ショットノイズの影響を有効に低減することができるともに、検波処理画像のうち、プロファイル情報において輝度の高い位置、すなわち、ショットノイズの影響が小さい位置ほど、補正領域を狭く設定することで、エッジを検出するための解像度を高くすることができ、その結果、高い検出精度でエッジを検出することができる。

《第２実施形態》
続いて、第２実施形態に係る画像処理装置を説明する。第２実施形態における画像処理装置１は、図１に示す第１実施形態に係る画像処理装置１と同様の構成を備え、以下に説明するように、動作すること以外は、第１実施形態に係る画像処理装置１と同様である。

具体的には、第２実施形態に係る制御装置１０の補正領域設定機能は、制御装置１０のＲＯＭ１２に記憶されているプロファイル情報に基づいて、輝度画像上の輝度を補正するための領域を、補正領域として設定する。なお、第２実施形態においても、補正領域設定機能は、第１実施形態と同様に、プロファイル情報における輝度に応じて、補正領域を設定することができる。たとえば、図５に示す例では、プロファイル情報において領域Ａにおける輝度が最も高いため、領域Ａに対応する輝度画像上の領域においては、２×２画素単位で補正領域を設定し、領域Ａより輝度の低い領域Ｂに対応する輝度画像上の領域においては、３×３画素単で補正領域を設定し、同様に、プロファイル情報における輝度が低くなるほど、輝度画像における補正領域を広くする。

また、第２実施形態において、制御装置１０の補正機能は、輝度画像上に設定された補正領域内の輝度のバラつきを補正し、制御装置１０の同期検波処理画像は、輝度が補正された輝度画像に対して同期検波処理を施すことで、検波処理画像を生成する。その結果、第２実施形態では、ショットノイズの影響が低減された輝度画像に基づいて、ショットノイズの影響が低減された検波処理画像が生成されることとなる。

次に、図７を参照して、第２実施形態に係る画像処理方法について説明する。なお、図７は、第２実施形態に係る画像処理方法を示すフローチャートである。

ステップＳ２０１〜Ｓ２０４では、第１実施形態のステップＳ１０１〜Ｓ１０４と同様に、正弦波信号ｓｉｎωＦの生成が行われ（ステップＳ２０１）、生成された正弦波信号ｓｉｎωＦに基づいて、投光装置２０の投光動作およびカメラ３０の露光動作の制御が行われ（ステップＳ２０２）、生成された輝度画像がメモリ４０に記憶される（ステップＳ２０３）。そして、正弦波信号ｓｉｎωＦの一周期分の輝度画像が記憶された場合には（ステップＳ２０４＝Ｙｅｓ）、ステップＳ２０５に進み、一周期分の輝度画像が記憶されていない場合には（ステップＳ２０４＝Ｎｏ）、ステップＳ２０２に戻る。

ステップＳ２０５では、制御装置１０の補正領域設定機能により、制御装置１０のＲＯＭ１２に記憶されたプロファイル情報の読み出しが行われる。そして、ステップＳ２０６〜Ｓ２０９では、ステップＳ２０５で読み出したプロファイル情報に基づいて、輝度画像の補正が行われる。なお、ステップＳ２０６〜Ｓ２０９の処理は、ステップＳ２０３で記憶された一周期分の輝度画像のそれぞれについて行われる。

まず、ステップＳ２０６では、制御装置１０の補正領域設定機能により、プロファイル情報に基づいて、輝度画像上に補正領域が設定される。すなわち、補正領域設定機能は、輝度画像のうち、プロファイル情報において輝度が高い位置ほど補正領域を広く設定し、プロファイル情報において輝度が低い位置ほど補正領域が狭く設定する。そして、ステップＳ２０７では、制御装置１０の補正機能により、ステップＳ２０６で設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度の補正が行われる。これにより、輝度画像におけるショットノイズの影響を低減することができる。そして、ステップＳ２０８では、ステップＳ２０７で補正された輝度画像が、メモリ４０に記憶される。

ステップＳ２０９では、一周期分の輝度画像の全てについて、ステップＳ２０６〜Ｓ２０８の処理が行われたか否かの判断が行われる。たとえば、図３（Ｂ）に示す例では、一周期で８フレーム分の輝度画像が撮像されるため、この８フレーム分の輝度画像の全てについて、補正領域の設定および補正領域内の輝度の補正が行われたか否かの判断が行われる。一周期分の輝度画像の全てについて、ステップＳ２０６〜Ｓ２０８の処理が行われたと判断された場合には、ステップＳ２１０に進み、一方、一周期分の輝度画像の全てについて、ステップＳ２０６〜Ｓ２０８の処理が行われていないと判断された場合には、ステップＳ２０６に戻り、処理が行われていない輝度画像について、ステップＳ２０６〜Ｓ２０８の処理が行われる。

ステップＳ２１０では、ステップＳ２０７で補正された一周期分の輝度画像がメモリ４０から読み出され、読み出された一周期分の輝度画像に対して同期検波処理が施される。これにより、ショットノイズの影響が低減された輝度画像に基づいて、ショットノイズの影響が低減された検波処理画像が生成される。そして、ステップＳ２１１では、ステップＳ２１０で生成された検波処理画像から、被写体のエッジの抽出が行われる。

以上のように、第２実施形態では、輝度画像のうち、プロファイル情報において輝度の低い位置、すなわち、ショットノイズの影響が大きい位置ほど、補正領域を広く設定して、補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正する。これにより、輝度画像において、ショットノイズによる輝度のバラつきを有効に低減することができ、その結果、補正後の輝度画像に基づいて生成される検波処理画像においても、ショットノイズによる輝度のバラつきを有効に低減することができる。輝度画像のうち、プロファイル情報において輝度の高い位置、すなわち、ショットノイズの影響が小さい位置ほど、補正領域を狭く設定することで、補正後の輝度画像に基づいて生成される検波処理画像において、被写体のエッジの解像度を高くすることができ、その結果、被写体のエッジをより適切に検出することができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した第１実施形態では、検波処理画像のうち、プロファイル情報において輝度が低い位置ほど補正領域を広く設定し、反対に、プロファイル情報において輝度が高い位置ほど、補正領域を狭く設定する構成を例示したが、この構成に加えて、被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域の広さを設定する構成としてもよい。ここで、図８は、被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域を設定する方法を説明するための図である。なお、図８においては、説明の便宜のために、補正領域を通常設定される補正領域よりも大きく記載している。

たとえば、図８（Ａ）に示すように、プロファイル情報おける輝度に応じて、車両の進行方向と車幅方向とで同じ長さの補正領域（たとえば、画素数が９×９単位の補正領域）が設定される場合に対して、白線から車両がはみ出していないかを検出するために白線を検出する場合など、車幅方向においてエッジの検出精度が必要とされる場合には、図８（Ｂ）に示すように、車両の進行方向よりも車両の車幅方向の長さが短くなるように、補正領域を設定することができる。これにより、たとえば、図８（Ａ）に示す例では、補正領域Ｏと補正領域Ｐ、および、補正領域Ｑと補正領域Ｐとの境が白線のエッジとして検出され、実際の白線の輪郭と検出された白線のエッジとの間に一定の誤差が生じてしまうが、図８（Ｂ）に示す例では、各補正領域の車幅方向の長さが短いために、実際の白線の輪郭と白線のエッジとの誤差が小さくなり、エッジを精度良く検出することができる。このように、エッジの検出精度が必要される検出方向（図８では車幅方向）において、補正領域の長さを短くすることで、エッジの検出精度（解像度）を高くすることができ、その結果、被写体のエッジを必要とする検出精度で検出することができる。

また、上述した実施形態では、投光装置２０により照射された光成分に起因する輝度の分布情報を、プロファイル情報として取得する構成を例示したが、この構成に限定されず、たとえば、投光装置２０により照射された光成分に起因するＳ／Ｎ信号の分布情報を、プロファイル情報として用いる構成としてもよい。この場合も、プロファイル情報においてＳ／Ｎ信号の高い位置ほど、ショットノイズの影響が相対的に小さくなるため、補正領域を狭く設定し、反対に、プロファイル情報におけるＳ／Ｎ信号の低い位置ほど、ショットノイズの影響が相対的に大きくなるため、補正領域を広く設定することで、検波処理画像におけるショットノイズの影響を有効に低減させることができる。

さらに、上述した実施形態では、検波処理画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正することで、検波処理画像におけるショットノイズの影響を低減させる構成を例示したが、この構成に限定されず、たとえば、以下のように、検波処理画像の輝度を補正する構成としてもよい。すなわち、たとえば、図３（Ｂ）に示すように、時刻ｔ１〜ｔ７に撮像された一周期分の輝度画像から検波処理画像ｐ１を生成し、時刻ｔ２〜ｔ８に撮像された１周期分の輝度画像から検波処理画像ｐ２を生成し、同様に、異なる時刻に撮像された１周期分の輝度画像から複数の検波処理画像ｐ３〜ｐｎを生成して、生成した複数の検波処理画像ｐ１〜ｐｎを位置合わせし、位置合わせをした複数の検波処理画像において、同じ位置に対応する画素間において、輝度のバラつきが低減するように輝度を補正する（以下、時間方向の補正処理ともいう。）ことで、検波処理画像におけるショットノイズの影響を低減させる構成としてもよい。

また、この場合に、検波処理画像のうち、プロファイル情報において輝度の低い位置ほど、時間方向の補正処理に用いる検波処理画像の数を多くし、プロファイル情報において輝度の高い位置ほど、時間方向の補正処理に用いる検波処理画像の数を少なくすることで、検波処理画像のうち、プロファイル情報において輝度の低い位置ほど、輝度の補正度合い大きくし、プロファイル情報において輝度の低い位置ほど輝度の補正度合いを小さくする構成とすることができる。この場合も、検波処理画像におけるショットノイズの影響を適切に低減させることができる。

なお、上述した実施形態の投光装置２０は本発明の投光手段に、カメラ３０は本発明の撮像手段に、メモリ４０は本発明の画像記憶手段に、制御装置１０のＲＯＭ１２は本発明のプロファイル記憶機能に、制御装置１０の同期検波処理機能は本発明の同期検波処理手段に、制御装置１０の補正領域設定機能は本発明の補正領域設定手段に、制御装置１０の補正機能は本発明の補正手段に、制御装置１０のエッジ検出機能は本発明のエッジ検出手段に、それぞれ対応する。

１…画像処理装置
１０…制御装置
２０…投光装置
３０…カメラ
４０…メモリ

Claims (10)

1. 投光量を変化させながら、所定の投光領域に光を照射する投光手段と、
   前記投光手段の投光タイミングに合わせて、前記投光領域を含む撮像範囲を撮像し、撮像した輝度画像を出力する撮像手段と、
   前記撮像手段により撮像された前記輝度画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶された前記輝度画像に対して同期検波処理を施すことで、前記投光手段により照射された光成分に基づく画像を、検波処理画像として生成する同期検波処理手段と、
   前記投光手段により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段と、
   ノイズによる前記検波処理画像上の輝度のバラツキが低減するように、前記プロファイル情報に基づいて、前記検波処理画像の輝度を補正する補正手段と、
   前記補正手段により補正された前記検波処理画像から、被写体のエッジを検出するエッジ検出手段と、を備え、
   前記補正手段は、前記検波処理画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記検波処理画像上に、輝度を補正するための補正領域を設定する補正領域設定手段をさらに備え、
   前記補正領域設定手段は、前記検波処理画像に前記補正領域を設定する際に、前記プロファイル情報において前記信号強度が低い位置ほど前記補正領域を広く設定し、前記プロファイル情報において前記信号強度が高い位置ほど前記補正領域を狭く設定し、
   前記補正手段は、前記補正領域設定手段により設定された前記補正領域内の輝度のバラつきが低減するように、前記補正領域内の輝度を補正することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記補正手段は、異なる時刻に生成された複数の前記検波処理画像を位置合わせした場合に、位置合わせした前記複数の検波処理画像が相互に対応する位置において、輝度のバラつきが低減するように、前記複数の検波処理画像の輝度を補正する時間方向の補正処理を行い、
   前記補正手段は、前記時間方向の補正処理を行う場合に、前記プロファイル情報において前記信号強度の低い位置ほど、前記時間方向の補正処理に用いる前記検波処理画像の数を多くし、前記プロファイル情報において前記信号強度の高い位置ほど、前記時間方向の補正処理に用いる前記検波処理画像の数を少なくすることを特徴とする画像処理装置。
4. 投光量を変化させながら、所定の照射領域に光を照射する投光手段と、
   前記投光手段の投光タイミングに合わせて、前記投光領域を含む撮像範囲を撮像し、撮像した輝度画像を出力する撮像手段と、
   前記投光手段により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段と、
   ノイズによる前記輝度画像の輝度のバラツキが低減するように、前記プロファイル情報に基づいて、前記輝度画像の輝度を補正する補正手段と、
   前記補正手段により補正された前記輝度画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶された前記輝度画像に対して同期検波処理を施すことで、前記投光手段により照射された光成分に基づく画像を、検波処理画像として生成する同期検波処理手段と、
   前記検波処理画像から、被写体のエッジを検出するエッジ検出手段と、を備え、
   前記補正手段は、前記輝度画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記撮像画像上に、輝度を補正するための補正領域を設定する補正領域設定手段をさらに備え、
   前記補正領域設定手段は、前記輝度画像に前記補正領域を設定する際に、前記プロファイル情報において前記信号強度が低い位置ほど前記補正領域を広く設定し、前記プロファイル情報において前記信号強度が高い位置ほど前記補正領域を狭く設定し、
   前記補正手段は、前記補正領域設定手段により設定された前記補正領域内の輝度のバラつきが低減するように、前記補正領域内の輝度を補正することを特徴とする画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記補正手段は、異なる時刻に撮像された複数の前記輝度画像を位置合わせした場合に、位置合わせした前記複数の輝度画像が相互に対応する位置において、輝度のバラつきが低減するように、前記輝度画像の輝度を補正する時間方向の補正処理を行い、
   前記補正手段は、前記時間方向の補正処理を行う場合に、前記プロファイル情報において前記信号強度の低い位置ほど、前記時間方向の補正処理に用いる前記輝度画像の数を多くし、前記プロファイル情報において前記信号強度の高い位置ほど、前記時間方向の補正処理に用いる前記輝度画像の数を少なくすることを特徴とする画像処理装置。
7. 請求項２または４に記載の画像処理装置において、
   前記補正領域設定手段は、前記エッジ検出手段によるエッジの検出方向のうち、高い検出精度が必要とされる検出方向ほど、前記補正領域の長さを短く設定することを特徴とする画像処理装置。
8. 請求項１〜７のいずれかに記載の画像処理装置において、
   前記プロファイル情報は、前記投光手段により照射される光成分に起因する輝度の分布情報、または、前記投光手段による照射される光成分に起因するＳ／Ｎ信号の分布情報であることを特徴とする画像処理装置。
9. 投光量を変化させながら光を照射した撮像範囲を連続して撮像し、撮像した輝度画像に対して同期検波処理を行うことで、照射された光成分に基づく画像を検波処理画像として生成し、生成した前記検波処理画像の輝度を補正し、補正した前記輝度画像から被写体のエッジを検出する画像処理方法であって、
   前記撮像範囲内に照射された光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として取得し、前記検波処理画像の輝度を補正する際に、前記検波処理画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど、輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度が高い位置ほど、輝度の補正度合いを小さくすることを特徴とする画像処理方法。
10. 投光量を変化させながら光を照射した撮像範囲を連続して撮像し、撮像した輝度画像の輝度を補正し、補正した前記輝度画像に対して同期検波処理を行うことで、照射された光成分に基づく画像を検波処理画像として生成し、生成した前記検波処理画像から被写体のエッジを検出する画像処理方法であって、
    前記撮像範囲内に照射された光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として取得し、前記輝度画像の輝度を補正する際に、前記輝度画像のうち、前記プロファイル情報において前記信号強度が低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度が高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理方法。

Images