JP2014182475A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2014182475A
JP2014182475A JP2013055302A JP2013055302A JP2014182475A JP 2014182475 A JP2014182475 A JP 2014182475A JP 2013055302 A JP2013055302 A JP 2013055302A JP 2013055302 A JP2013055302 A JP 2013055302A JP 2014182475 A JP2014182475 A JP 2014182475A
Authority
JP
Japan
Prior art keywords
image
luminance
correction
light
detection processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013055302A
Other languages
English (en)
Other versions
JP6079342B2 (ja
Inventor
Yosuke Matsuno
洋介 松野
Atsushi Matsumoto
淳 松本
Koki Mitsuishi
広喜 三ッ石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013055302A priority Critical patent/JP6079342B2/ja
Publication of JP2014182475A publication Critical patent/JP2014182475A/ja
Application granted granted Critical
Publication of JP6079342B2 publication Critical patent/JP6079342B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ショットノイズの影響を低減させることができ、かつ、被写体のエッジを適切に検出することができる画像処理装置を提供する。
【解決手段】光を照射する投光手段20と、輝度画像を出力する撮像手段30と、輝度画像を記憶する画像記憶手段40と、輝度画像に対して同期検波処理を施すことで検波処理画像を生成する同期検波処理手段10と、投光手段20により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段10と、プロファイル情報に基づいて検波処理画像の輝度を補正する補正手段10と、検波処理画像から被写体のエッジを検出するエッジ検出手段10と、を備え、補正手段10は、検波処理画像のうち、信号強度の低い位置ほど輝度の補正度合いを大きくし、信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
【選択図】図1

Description

本発明は、画像処理装置および画像処理方法に関するものである。
従来より、異なる時刻に撮像された2つの輝度画像の差分に基づいて、差分画像を生成し、生成した差分画像に基づいて、移動する被写体を検出する技術が知られている。しかしながら、差分画像は2つの輝度画像の差分に基づいて生成されるものであるため、輝度画像の輝度が高い場合でも、差分画像の輝度は低くなり、差分画像において、ショットノイズの影響が大きくなる場合があった。そこで、このようなショットノイズの影響を低減するために、ショットノイズが画素の輝度値の平方根に比例して大きくなることに鑑みて、差分画像の各画素の輝度値を、該輝度値の平方根で除算する補正を行い、輝度値を補正した差分画像から被写体を検出する技術が知れている(特許文献1参照)。
特願2008−234619号
同期検波処理により、投光量の異なる2つの輝度画像の差分から、投光された光成分に基づく画像を検波処理画像として生成する場合も、従来技術と同様に、ショットノイズの影響が問題となる場合があった。しかしながら、ショットノイズの影響を低減するために、従来技術のように、各画素の輝度値を該輝度値の平方根で除算してしまうと、被写体のコントラストが低下してしまい、その結果、被写体のエッジを適切に抽出することができず、被写体を適切に検出できない場合があった。
本発明が解決しようとする課題は、ショットノイズの影響を低減させることができ、かつ、被写体のエッジを適切に検出することができる画像処理装置を提供することである。
本発明は、同期検波処理により生成された検波処理画像から被写体のエッジを検出する際に、撮像範囲内に照射された光成分に起因する輝度画像上の信号強度の分布情報を、プロファイル情報として取得し、検波処理画像のうち、プロファイル情報において信号強度が低い位置ほど輝度の補正度合いを大きくし、信号強度が高い位置ほど輝度の補正度合いを小さくして、検波処理画像の輝度を補正することで、上記課題を解決する。
本発明によれば、検波処理画像のうち、プロファイル情報において信号強度が低い位置ほど、ショットノイズの影響が大きいために、輝度の補正度合いを大きくし、プロファイル情報において信号強度の高い位置ほど、ショットノイズの影響が小さいために、輝度の補正度合いを小さくすることで、ショットノイズの影響を有効に低減させることができ、その結果、被写体のエッジを適切に検出することができる。
本実施形態に係る画像処理装置1のブロック構成図である。 カメラの撮像範囲と、投光装置による光の照射範囲との関係を示す図である。 投光装置の投光量および投光タイミングと、カメラの露光タイミングの一例を示す図である。 検波処理画像の生成方法を説明するための図である。 プロファイル情報を説明するための図である。 第1実施形態に係る画像処理方法を示すフローチャートである。 第2実施形態に係る画像処理方法を示すフローチャートである。 被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域を設定する方法を説明するための図である。
以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、路面を撮像した撮像画像に基づいて白線などの対象被写体のエッジを検出することで、白線などの対象被写体を検出する画像処理装置1を例示して説明する。
《第1実施形態》
図1は、第1実施形態に係る画像処理装置1のブロック構成図である。図1に示すように、第1実施形態に係る画像処理装置1は、制御装置10、投光装置20、カメラ30およびメモリ40を備えている。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができるようになっている。
投光装置20は、たとえば、LEDとLED制御回路とで構成され、制御装置10からの指令に基づいて、周期的に光の照射を行う。また、カメラ30は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子を備えており、撮像素子により撮像された輝度画像を、制御装置10に出力する。
ここで、図2は、カメラ30の撮像範囲と投光装置20の照射範囲との関係を示す図である。図2に示すように、投光装置20とカメラ30とは、投光装置20による光の照射範囲がカメラ30の撮像範囲内となるように配置されており、これにより、カメラ30は、投光装置20により照射された被写体の像を撮像することができる。
また、制御装置10は、図1に示すように、各種プログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
そして、制御装置10は、カメラ30により撮像された輝度画像から被写体を検出するために、露光・投光制御機能と、輝度画像記憶機能と、同期検波処理機能と、プロファイル記憶機能と、補正領域設定機能と、補正機能と、エッジ抽出機能とを備えている。制御装置10は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以下に、画像処理装置1の制御装置10が実現する各機能についてそれぞれ説明する。
まず、制御装置10の露光・投光制御機能について説明する。本実施形態の制御装置10は、投光装置20による光の照射動作およびカメラ30による露光動作を制御する。具体的には、制御装置10は、まず、図3(A)に示すように、所定の投光周期の正弦波信号sinωFを生成する。なお、正弦波信号sinωFにおいて、ωは一周期当たりの投光数(フレーム数)、Fは1秒当たりのフレーム数である。また、図3(A)は、投光装置20による投光量および投光タイミングの一例を示す図である。
そして、露光・投光制御機能は、生成した正弦波信号sinωFに基づいて、投光装置20の投光動作を制御する。具体的には、露光・投光制御機能は、正弦波信号sinωFの周期に応じた投光タイミングで、投光装置20に光を照射させる。たとえば、図3(A)に示す例では、露光・投光制御機能により、1周期に8回の照射を行う正弦波信号sinωFが生成され、この正弦波信号sinωFに基づいて、1周期において8回の照射光の照射が、一定間隔で行われる。たとえば、図3(A)に示す例では、時刻tから時刻tまでの1周期において、時刻t〜時刻tの各タイミングで照射光を照射させる。
また、露光・投光制御機能は、正弦波信号sinωFの周期に応じた投光量の光を、投光装置20に照射させる。たとえば、図3(A)に示す例では、投光装置20の投光量の最大値を100%とした場合に、露光・投光制御機能は、時刻tにおいては0%の投光量で投光させ(すなわち、投光装置20による投光を禁止し)、時刻tにおいては30%程度の投光量で投光させ、時刻tにおいては50%程度の投光量で投光させ、時刻tにおいては70%の投光量で投光させ、時刻tにおいては、100%の投光量で投光させる。同様に、露光・投光制御機能は、時刻t〜時刻t10においても、正弦波信号sinωFの周期に応じた投光量の光を、投光装置20に照射させる。
また、制御装置10の露光・投光制御機能は、投光装置20の投光タイミングに合わせて、カメラ30に備えられた撮像素子の電子シャッタまたは機械シャッタの動作を制御することで、カメラ30に露光動作を実行させる。ここで、図3(B)は、カメラ30による撮像光量および露光タイミングの一例を示す図である。なお、図3(A)の時刻t〜時刻t10と、図3(B)の時刻t〜時刻t10とはそれぞれ同一の時刻を示す。
具体的には、制御装置10の露光・投光制御機能は、図3(B)に示すように、投光装置20により光の照射が行われる時刻t〜時刻t10と同一のタイミングで、カメラ30に露光を行わせる。また、図3(A)に示すように、投光装置20の投光量は、正弦波信号sinωFの周期に応じて変化するため、カメラ30の撮像素子で受光される光量も、正弦波信号sinωFの周期に応じて変化する。たとえば、図3(B)に示す例では、時刻tにおいて、投光装置20による投光量が0%であるため、カメラ30の撮像素子で受光される光量は太陽光(自然光)に基づく光量となる。
そのため、図3(B)に示す例において、太陽光(自然光)による輝度画像の輝度が7000cd/mである場合には、投光装置20による照射が行われていない時刻tにおいては、撮像される輝度画像の輝度は7000cd/mとなる。一方、時刻t〜時刻tでは、投光装置20による光の照射が行われているため、投光装置20による投光量に応じた、太陽光(自然光)よりも大きい輝度値の輝度画像が撮像される。たとえば、図3(B)に示す例において、投光装置20の投光量が50%の時刻tにおいて撮像される輝度画像の輝度値は7500cd/mとなり、投光装置20の投光量が100%の時刻tで撮像される輝度画像の輝度値は8000cd/mとなる。
なお、投光装置20の投光時間は、カメラ30の露光時間よりも長い時間に設定される。すなわち、本実施形態において、露光・投光制御機能は、カメラ30の露光時間よりも投光装置20の投光時間の方が長くなるように、投光装置20の投光動作およびカメラ30の露光動作の制御を行う。
次に、制御装置10の輝度画像記憶機能について説明する。本実施形態の制御装置10は、カメラ30による露光動作の結果、得られた輝度画像を取得し、取得した輝度画像の画像信号を、投光装置20の光の照射パターンの情報とともに、メモリ40に記憶させる。また、制御装置10は、カメラ30から画像信号を取得した際に、取得した画像信号に対応する輝度画像が、投光装置20によって光が照射された状態で撮像された輝度画像である場合には、光照射フラグfとともに画像信号をメモリ40に記憶させる。たとえば、図3(B)に示す例においては、時刻t(第1フレーム)で得られる輝度画像の画像信号は、照射パターンが8フレームで1周期であるとの情報、および該周期における1フレーム目の画像であるとの情報(照射パターンの情報)とともにメモリ40に記憶される。また、時刻t(第2フレーム)で得られた輝度画像の画像信号は、照射パターンが8フレームで1周期であるとの情報、および該周期における2フレーム目の画像であるとの情報(照射パターンの情報)および光照射フラグfとともにメモリ40に記憶される。
なお、輝度画像記憶機能は、取得した画像信号に対応する輝度画像が、投光装置20によって光が照射された状態で撮像された輝度画像であるか否かを、たとえば、露光・投光を制御するための正弦波信号に基づいて判定することができる。あるいは、投光装置20から、光の照射を実行した旨の信号を受信することにより判定する構成としてもよいし、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置20によって光が照射された状態で撮像された輝度画像であるか否かの判断を行う構成としてもよい。また、メモリ40としては、たとえば、RAM(Randam Access Memory)や、FlashROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)など各種記憶装置、記憶媒体を用いることができる。
次に、制御装置10の同期検波処理機能について説明する。本実施形態の制御装置10は、メモリ40から読み出された1周期分の輝度画像の画像信号(たとえば、図3(B)に示す例では、連続する8フレーム分の輝度画像の画像信号)に基づいて、投光装置20の照射タイミングに同期した同期検波処理を行い、投光装置20からの照射光に対する撮像対象からの反射光を抽出する処理を行う。
たとえば、同期検波処理機能は、投光量の異なる2つの輝度画像の各画素の信号出力の差分を、対応する画素ごとに算出することで、投光装置20により照射された光成分を、2つの輝度画像の投光量の差に応じた量だけ抽出することができる。そして、同期検波処理機能は、正弦波信号sinωFの1周期分の輝度画像から、投光装置20により照射された光成分を抽出することで、投光装置20により照射された光成分に基づく検波処理画像を生成する。
たとえば、同期検波処理機能は、図4(A)に示すように、投光装置20により光が照射されていない場合の輝度画像と、図4(B)に示すように、投光装置20により光が照射されている場合の輝度画像とから、図4(C)に示すように、投光装置20により照射された光成分に基づく画像を、検波処理画像として生成することができる。特に、同期検波処理機能により生成される検波処理画像は、投光装置20から照射された光成分に基づくものであるため、図4(C)に示すように、他車両の影や路面の傷など、太陽光により生じた非検出対象を除去することができる。
このように、検波処理画像は、他車両の影や路面の傷など、太陽光により生じる被写体を除去することができるため、検波処理画像から被写体のエッジを検出することで、白線などの検出対象被写体を適切に検出することができる。
一方で、検波処理画像からエッジを検出する場合には、以下のような問題があった。すなわち、カメラ20の撮像素子には一定の頻度でショットノイズが発生することが知られており、一定の輝度の被写体を撮像した場合でも、被写体の輝度がバラついてしまう場合があった。特に、ショットノイズの標準偏差は輝度値の平方根に比例するため、輝度画像の輝度が高いほどショットノイズによる輝度のバラつきが大きくなる。一方で、輝度画像の輝度が高いほどS/N比は大きくなるため、輝度画像においては、輝度画像の輝度が高いほど、ショットノイズの影響は相対的に小さくなる。そのため、輝度画像では、被写体の輝度が高い場合ほど、被写体のエッジを高い精度で検出することができる。
これに対して、検波処理画像は、投光量の異なる2つの輝度画像の差に基づいて生成されるため、たとえ輝度画像自体の輝度が高い場合でも、検波処理画像の輝度が低くなってしまう場合がある。一方で、元の輝度画像の輝度が高い場合には、輝度画像において、ショットノイズによる輝度のバラつきが大きくなり、投光量の異なる2つの輝度画像の差から生成した検波処理画像においても、ショットノイズによる輝度のバラつきが生じやすい。そのため、元の輝度画像の輝度が高いが、検波処理画像の輝度が低い場合には、検波処理画像において、ショットノイズの影響が大きくなり、その結果、検波処理画像において、被写体の輪郭がぼやけたり、切れてしまい、検波処理画像から被写体のエッジを適切に抽出することができないという問題があった。
そこで、本実施形態に係る制御装置10は、このようなショットノイズの影響を低減し、検波処理画像から被写体のエッジを適切に検出するために、以下に説明するような機能を備えている。
まず、制御装置10のプロファイル記憶機能について説明する。プロファイル記憶機能は、投光装置20により照射された光成分に起因する輝度の分布情報を、プロファイル情報としてROM12に記憶する。たとえば、プロファイル記憶機能は、撮像範囲内の輝度が均一である場合に、投光装置20により光が照射されている場合の輝度画像の輝度と、投光装置20により光が照射されていない場合の輝度画像の輝度との差分を算出することで、投光装置20により照射された光成分に起因する輝度の分布情報を、プロファイル情報として生成し、生成したプロファイル情報を、ROM12に記憶することができる。
このように、プロファイル情報は、投光装置20により照射された光成分に起因する輝度の分布情報であり、たとえば、撮像範囲における照射光の反射率が均一の場合に、所定の投光量で光を照射した場合の輝度画像の輝度の分布情報でもあってもよいし、検波処理画像の輝度の分布情報であってもよい。また、投光装置20が撮像範囲内に投光する光の投光量の分布情報であってもよい。
ここで、図5は、プロファイル情報を説明するための図である。たとえば、プロファイル記憶機能は、図5に示すように、投光装置20により照射された光成分に起因する輝度の大きさを数段階に分け、数段階に分けた輝度の分布情報を、プロファイル情報として記憶する。たとえば、図5に示す例では、輝度を高い順にA〜Eの5段階に分け、それぞれの輝度の大きさに対応する領域を、領域A〜領域Eとして示している。プロファイル記憶機能は、このような投光装置20により照射された光成分に起因する輝度の大きさと、その座標位置との関係を、プロファイル情報として、ROM12に記憶する。
なお、プロファイル記憶機能は、たとえば、製品出荷時において、投光装置20により照射された光成分に起因する輝度の分布を計測することで、プロファイル情報を生成し、生成したプロファイル情報を予めROM12に記憶しておく構成としてもよいし、あるいは、画像処理装置1が起動される度に、プロファイル情報を生成し、生成したプロファイル情報をROM12に記憶する構成としてもよい。
次に、制御装置10の補正領域設定機能について説明する。補正領域設定機能は、制御装置10のROM12に記憶されているプロファイル情報に基づいて、検波処理画像上において、輝度を補正するための領域を、補正領域として設定する。
具体的には、補正領域設定機能は、検波処理画像のうち、プロファイル情報において輝度が高い領域ほど補正領域を狭く設定し、プロファイル情報において輝度が低い領域ほど補正領域を広く設定する。たとえば、図5に示す例では、プロファイル情報において領域Aにおける輝度が最も高いため、検波処理画像のうち領域Aに対応する領域においては2×2画素単位で補正領域を設定する。一方、補正領域設定機能は、検波処理画像のうち、プロファイル情報において領域Aより輝度の低い領域Bに対応する領域においては3×3画素単で補正領域を設定する。同様に、検波処理画像のうち、領域C〜領域Eに対応する領域においても、輝度が低くなるほど、補正領域を構成する画素数を多くして、補正領域を設定する。たとえば、プロファイル情報における輝度が最も低い領域Eに対応する領域では、最も大きい9×9画素単位で補正領域を設定する。
次に、制御装置10の補正機能について説明する。補正機能は、検波処理画像において、補正領域内の輝度のバラツキが低減するように、補正領域内の輝度を補正する。具体的には、補正機能は、検波処理画像において、補正領域内の各画素の輝度値をこれら画素の輝度値の平均値で均一化し、あるいは、補正領域内の輝度値を該補正領域内の輝度値のうちの最小値で均一化する。これにより、検波処理画像において、ショットノイズによる輝度のバラツキを低減することができる。
ここで、投光装置20から照射される光の投光量が小さい位置では、検波処理画像の輝度が低くなり易く、ショットノイズの影響が相対的に大きくなる傾向にある。そのため、本実施形態では、投光装置20から照射される光成分に起因する輝度の分布情報をプロファイル情報として取得し、検波処理画像のうち、プロファイル情報において輝度の低い領域、すなわち、ショットノイズの影響が大きい領域ほど、補正領域を広く設定することで、ショットノイズの影響を有効に低減させることができ、その結果、被写体のエッジを適切に検出することができる。
一方、投光装置20から照射される光の投光量が大きい位置では、検波処理画像の輝度が高くなり易く、ショットノイズの影響が相対的に小さくなる傾向にある。そのため、本実施形態では、検波処理画像のうち、プロファイル情報において輝度の高い領域、すなわち、ショットノイズの影響が小さい領域ほど、補正領域を狭く設定することで、ショットノイズの影響を抑えつつ、補正領域を広く設定する場合と比べて、エッジを検出するための検出精度(解像度)を高くすることができる。たとえば、図5に示す例において、輝度が最も高い領域Aでは2×2画素単位で補正領域が設定されるため、2×2画素単位でエッジの検出が行われる。一方、輝度が最も低い領域Eでは9×9画素単位で補正領域が設定されるため、9×9画素単位でエッジの検出が行われる。このように、領域Eよりも、領域Aの方がエッジを検出するための解像度が高くなり、高い検出精度(解像度)でエッジを検出することができる。
次に、制御装置10のエッジ抽出機能について説明する。エッジ抽出機能は、補正機能により補正された検波処理画像から、隣接する画素間の輝度差の大きさが所定値以上となる画像特徴部を、白線などの対象被写体のエッジとして抽出する。上述したように、エッジ抽出の対象となる検波処理画像は、投光装置20により照射された光成分に起因する輝度に応じて、ショットノイズの影響が低減するように補正されているため、このような検波処理画像から対象被写体のエッジを抽出することで、対象被写体のエッジを適切に抽出することができる。
続いて、図6を参照して、第1実施形態に係る画像処理方法について説明する。図6は、第1実施形態に係る画像処理方法を示すフローチャートである。なお、図6に示す画像処理方法は、たとえば、画像処理装置1の電源がオンの間、繰り返し実行される。
ステップS101では、制御装置10の露光・投光制御機能により、図3(A)に示すように、所定周期の正弦波信号sinωFの生成が行われる。そして、ステップS102では、露光・投光制御機能により、ステップS101で生成された正弦波信号sinωFに基づいて、投光装置20の投光動作、および、カメラ30の露光動作の制御が行われる。具体的には、投光装置20により、正弦波信号sinωFに応じた投光タイミングおよび投光量で光が照射されるとともに、カメラ30により、投光装置20の投光タイミングに合わせて露光が行われる。
ステップS103では、制御装置10の輝度画像記憶機能により、ステップS102において撮像された輝度画像がメモリ40に記憶される。そして、ステップS104では、輝度画像記憶機能により、正弦波信号sinωFの一周期分の輝度画像が記憶されたか否かの判断が行われる。たとえば、図3(B)に示す例では、正弦波信号sinωFに基づいて、一周期に8フレームの輝度画像が撮像されるため、連続する8フレーム分の輝度画像が撮像され、これら8フレーム分の輝度画像がメモリ40に記憶された場合に、正弦波信号sinωFの一周期分の輝度画像が記憶されたと判断される。一周期分の輝度画像が記憶された場合には、ステップS105に進み、一方、一周期分の輝度画像が記憶されていない場合には、ステップS102に戻る。
ステップS105では、制御装置10の同期検波処理機能により、ステップS103で記憶された一周期分の輝度画像に対して同期検波処理が施されることで、図4(C)に示すように、投光装置20により照射された光成分に起因する画像が、検波処理画像として生成される。
ステップS106では、補正領域設定機能により、制御装置10のRAM12に記憶されたプロファイル情報の読み出しが行われる。そして、ステップS107では、補正領域設定機能により、ステップS106で取得されたプロファイル情報に基づいて、ステップS105で生成された検波処理画像上に補正領域が設定される。具体的には、補正領域設定機能は、検波処理画像のうち、プロファイル情報において輝度が低い位置ほど、1つの補正領域を構成する画素数を多くすることで、補正領域を広く設定し、プロファイル情報において輝度が低い位置ほど、1つの補正領域を構成する画素数を少なくすることで、補正領域を狭く設定する。
ステップS108では、制御装置10の補正機能により、検波処理画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度の補正が行われる。これにより、検波処理画像におけるショットノイズの影響を低減することができる。そして、ステップS109では、ステップS108で補正された検波処理画像から、被写体のエッジの検出が行われる。すなわち、ステップS109では、ショットノイズの影響が低減された検波処理画像から、被写体のエッジを検出することで、被写体のエッジを適切に検出することができる。
以上のように、第1実施形態では、検波処理画像から被写体のエッジを検出する際に、検波処理画像上に、投光装置20により投光された光成分の輝度に応じて補正領域を設定し、補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正する。具体的には、検波処理画像のうち、プロファイル情報において輝度の低い位置、すなわち、ショットノイズの影響が大きい位置ほど、補正領域を広く設定することで、検波処理画像において、ショットノイズの影響を有効に低減することができるともに、検波処理画像のうち、プロファイル情報において輝度の高い位置、すなわち、ショットノイズの影響が小さい位置ほど、補正領域を狭く設定することで、エッジを検出するための解像度を高くすることができ、その結果、高い検出精度でエッジを検出することができる。
《第2実施形態》
続いて、第2実施形態に係る画像処理装置を説明する。第2実施形態における画像処理装置1は、図1に示す第1実施形態に係る画像処理装置1と同様の構成を備え、以下に説明するように、動作すること以外は、第1実施形態に係る画像処理装置1と同様である。
具体的には、第2実施形態に係る制御装置10の補正領域設定機能は、制御装置10のROM12に記憶されているプロファイル情報に基づいて、輝度画像上の輝度を補正するための領域を、補正領域として設定する。なお、第2実施形態においても、補正領域設定機能は、第1実施形態と同様に、プロファイル情報における輝度に応じて、補正領域を設定することができる。たとえば、図5に示す例では、プロファイル情報において領域Aにおける輝度が最も高いため、領域Aに対応する輝度画像上の領域においては、2×2画素単位で補正領域を設定し、領域Aより輝度の低い領域Bに対応する輝度画像上の領域においては、3×3画素単で補正領域を設定し、同様に、プロファイル情報における輝度が低くなるほど、輝度画像における補正領域を広くする。
また、第2実施形態において、制御装置10の補正機能は、輝度画像上に設定された補正領域内の輝度のバラつきを補正し、制御装置10の同期検波処理画像は、輝度が補正された輝度画像に対して同期検波処理を施すことで、検波処理画像を生成する。その結果、第2実施形態では、ショットノイズの影響が低減された輝度画像に基づいて、ショットノイズの影響が低減された検波処理画像が生成されることとなる。
次に、図7を参照して、第2実施形態に係る画像処理方法について説明する。なお、図7は、第2実施形態に係る画像処理方法を示すフローチャートである。
ステップS201〜S204では、第1実施形態のステップS101〜S104と同様に、正弦波信号sinωFの生成が行われ(ステップS201)、生成された正弦波信号sinωFに基づいて、投光装置20の投光動作およびカメラ30の露光動作の制御が行われ(ステップS202)、生成された輝度画像がメモリ40に記憶される(ステップS203)。そして、正弦波信号sinωFの一周期分の輝度画像が記憶された場合には(ステップS204=Yes)、ステップS205に進み、一周期分の輝度画像が記憶されていない場合には(ステップS204=No)、ステップS202に戻る。
ステップS205では、制御装置10の補正領域設定機能により、制御装置10のROM12に記憶されたプロファイル情報の読み出しが行われる。そして、ステップS206〜S209では、ステップS205で読み出したプロファイル情報に基づいて、輝度画像の補正が行われる。なお、ステップS206〜S209の処理は、ステップS203で記憶された一周期分の輝度画像のそれぞれについて行われる。
まず、ステップS206では、制御装置10の補正領域設定機能により、プロファイル情報に基づいて、輝度画像上に補正領域が設定される。すなわち、補正領域設定機能は、輝度画像のうち、プロファイル情報において輝度が高い位置ほど補正領域を広く設定し、プロファイル情報において輝度が低い位置ほど補正領域が狭く設定する。そして、ステップS207では、制御装置10の補正機能により、ステップS206で設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度の補正が行われる。これにより、輝度画像におけるショットノイズの影響を低減することができる。そして、ステップS208では、ステップS207で補正された輝度画像が、メモリ40に記憶される。
ステップS209では、一周期分の輝度画像の全てについて、ステップS206〜S208の処理が行われたか否かの判断が行われる。たとえば、図3(B)に示す例では、一周期で8フレーム分の輝度画像が撮像されるため、この8フレーム分の輝度画像の全てについて、補正領域の設定および補正領域内の輝度の補正が行われたか否かの判断が行われる。一周期分の輝度画像の全てについて、ステップS206〜S208の処理が行われたと判断された場合には、ステップS210に進み、一方、一周期分の輝度画像の全てについて、ステップS206〜S208の処理が行われていないと判断された場合には、ステップS206に戻り、処理が行われていない輝度画像について、ステップS206〜S208の処理が行われる。
ステップS210では、ステップS207で補正された一周期分の輝度画像がメモリ40から読み出され、読み出された一周期分の輝度画像に対して同期検波処理が施される。これにより、ショットノイズの影響が低減された輝度画像に基づいて、ショットノイズの影響が低減された検波処理画像が生成される。そして、ステップS211では、ステップS210で生成された検波処理画像から、被写体のエッジの抽出が行われる。
以上のように、第2実施形態では、輝度画像のうち、プロファイル情報において輝度の低い位置、すなわち、ショットノイズの影響が大きい位置ほど、補正領域を広く設定して、補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正する。これにより、輝度画像において、ショットノイズによる輝度のバラつきを有効に低減することができ、その結果、補正後の輝度画像に基づいて生成される検波処理画像においても、ショットノイズによる輝度のバラつきを有効に低減することができる。輝度画像のうち、プロファイル情報において輝度の高い位置、すなわち、ショットノイズの影響が小さい位置ほど、補正領域を狭く設定することで、補正後の輝度画像に基づいて生成される検波処理画像において、被写体のエッジの解像度を高くすることができ、その結果、被写体のエッジをより適切に検出することができる。
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した第1実施形態では、検波処理画像のうち、プロファイル情報において輝度が低い位置ほど補正領域を広く設定し、反対に、プロファイル情報において輝度が高い位置ほど、補正領域を狭く設定する構成を例示したが、この構成に加えて、被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域の広さを設定する構成としてもよい。ここで、図8は、被写体のエッジを検出する際に必要とされる検出精度に応じて、補正領域を設定する方法を説明するための図である。なお、図8においては、説明の便宜のために、補正領域を通常設定される補正領域よりも大きく記載している。
たとえば、図8(A)に示すように、プロファイル情報おける輝度に応じて、車両の進行方向と車幅方向とで同じ長さの補正領域(たとえば、画素数が9×9単位の補正領域)が設定される場合に対して、白線から車両がはみ出していないかを検出するために白線を検出する場合など、車幅方向においてエッジの検出精度が必要とされる場合には、図8(B)に示すように、車両の進行方向よりも車両の車幅方向の長さが短くなるように、補正領域を設定することができる。これにより、たとえば、図8(A)に示す例では、補正領域Oと補正領域P、および、補正領域Qと補正領域Pとの境が白線のエッジとして検出され、実際の白線の輪郭と検出された白線のエッジとの間に一定の誤差が生じてしまうが、図8(B)に示す例では、各補正領域の車幅方向の長さが短いために、実際の白線の輪郭と白線のエッジとの誤差が小さくなり、エッジを精度良く検出することができる。このように、エッジの検出精度が必要される検出方向(図8では車幅方向)において、補正領域の長さを短くすることで、エッジの検出精度(解像度)を高くすることができ、その結果、被写体のエッジを必要とする検出精度で検出することができる。
また、上述した実施形態では、投光装置20により照射された光成分に起因する輝度の分布情報を、プロファイル情報として取得する構成を例示したが、この構成に限定されず、たとえば、投光装置20により照射された光成分に起因するS/N信号の分布情報を、プロファイル情報として用いる構成としてもよい。この場合も、プロファイル情報においてS/N信号の高い位置ほど、ショットノイズの影響が相対的に小さくなるため、補正領域を狭く設定し、反対に、プロファイル情報におけるS/N信号の低い位置ほど、ショットノイズの影響が相対的に大きくなるため、補正領域を広く設定することで、検波処理画像におけるショットノイズの影響を有効に低減させることができる。
さらに、上述した実施形態では、検波処理画像上に設定された補正領域内の輝度のバラつきが低減するように、補正領域内の輝度を補正することで、検波処理画像におけるショットノイズの影響を低減させる構成を例示したが、この構成に限定されず、たとえば、以下のように、検波処理画像の輝度を補正する構成としてもよい。すなわち、たとえば、図3(B)に示すように、時刻t1〜t7に撮像された一周期分の輝度画像から検波処理画像p1を生成し、時刻t2〜t8に撮像された1周期分の輝度画像から検波処理画像p2を生成し、同様に、異なる時刻に撮像された1周期分の輝度画像から複数の検波処理画像p3〜pnを生成して、生成した複数の検波処理画像p1〜pnを位置合わせし、位置合わせをした複数の検波処理画像において、同じ位置に対応する画素間において、輝度のバラつきが低減するように輝度を補正する(以下、時間方向の補正処理ともいう。)ことで、検波処理画像におけるショットノイズの影響を低減させる構成としてもよい。
また、この場合に、検波処理画像のうち、プロファイル情報において輝度の低い位置ほど、時間方向の補正処理に用いる検波処理画像の数を多くし、プロファイル情報において輝度の高い位置ほど、時間方向の補正処理に用いる検波処理画像の数を少なくすることで、検波処理画像のうち、プロファイル情報において輝度の低い位置ほど、輝度の補正度合い大きくし、プロファイル情報において輝度の低い位置ほど輝度の補正度合いを小さくする構成とすることができる。この場合も、検波処理画像におけるショットノイズの影響を適切に低減させることができる。
なお、上述した実施形態の投光装置20は本発明の投光手段に、カメラ30は本発明の撮像手段に、メモリ40は本発明の画像記憶手段に、制御装置10のROM12は本発明のプロファイル記憶機能に、制御装置10の同期検波処理機能は本発明の同期検波処理手段に、制御装置10の補正領域設定機能は本発明の補正領域設定手段に、制御装置10の補正機能は本発明の補正手段に、制御装置10のエッジ検出機能は本発明のエッジ検出手段に、それぞれ対応する。
1…画像処理装置
10…制御装置
20…投光装置
30…カメラ
40…メモリ

Claims (10)

  1. 投光量を変化させながら、所定の投光領域に光を照射する投光手段と、
    前記投光手段の投光タイミングに合わせて、前記投光領域を含む撮像範囲を撮像し、撮像した輝度画像を出力する撮像手段と、
    前記撮像手段により撮像された前記輝度画像を記憶する画像記憶手段と、
    前記画像記憶手段に記憶された前記輝度画像に対して同期検波処理を施すことで、前記投光手段により照射された光成分に基づく画像を、検波処理画像として生成する同期検波処理手段と、
    前記投光手段により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段と、
    ノイズによる前記検波処理画像上の輝度のバラツキが低減するように、前記プロファイル情報に基づいて、前記検波処理画像の輝度を補正する補正手段と、
    前記補正手段により補正された前記検波処理画像から、被写体のエッジを検出するエッジ検出手段と、を備え、
    前記補正手段は、前記検波処理画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記検波処理画像上に、輝度を補正するための補正領域を設定する補正領域設定手段をさらに備え、
    前記補正領域設定手段は、前記検波処理画像に前記補正領域を設定する際に、前記プロファイル情報において前記信号強度が低い位置ほど前記補正領域を広く設定し、前記プロファイル情報において前記信号強度が高い位置ほど前記補正領域を狭く設定し、
    前記補正手段は、前記補正領域設定手段により設定された前記補正領域内の輝度のバラつきが低減するように、前記補正領域内の輝度を補正することを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記補正手段は、異なる時刻に生成された複数の前記検波処理画像を位置合わせした場合に、位置合わせした前記複数の検波処理画像が相互に対応する位置において、輝度のバラつきが低減するように、前記複数の検波処理画像の輝度を補正する時間方向の補正処理を行い、
    前記補正手段は、前記時間方向の補正処理を行う場合に、前記プロファイル情報において前記信号強度の低い位置ほど、前記時間方向の補正処理に用いる前記検波処理画像の数を多くし、前記プロファイル情報において前記信号強度の高い位置ほど、前記時間方向の補正処理に用いる前記検波処理画像の数を少なくすることを特徴とする画像処理装置。
  4. 投光量を変化させながら、所定の照射領域に光を照射する投光手段と、
    前記投光手段の投光タイミングに合わせて、前記投光領域を含む撮像範囲を撮像し、撮像した輝度画像を出力する撮像手段と、
    前記投光手段により照射される光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として記憶するプロファイル記憶手段と、
    ノイズによる前記輝度画像の輝度のバラツキが低減するように、前記プロファイル情報に基づいて、前記輝度画像の輝度を補正する補正手段と、
    前記補正手段により補正された前記輝度画像を記憶する画像記憶手段と、
    前記画像記憶手段に記憶された前記輝度画像に対して同期検波処理を施すことで、前記投光手段により照射された光成分に基づく画像を、検波処理画像として生成する同期検波処理手段と、
    前記検波処理画像から、被写体のエッジを検出するエッジ検出手段と、を備え、
    前記補正手段は、前記輝度画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度の高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理装置。
  5. 請求項4に記載の画像処理装置において、
    前記撮像画像上に、輝度を補正するための補正領域を設定する補正領域設定手段をさらに備え、
    前記補正領域設定手段は、前記輝度画像に前記補正領域を設定する際に、前記プロファイル情報において前記信号強度が低い位置ほど前記補正領域を広く設定し、前記プロファイル情報において前記信号強度が高い位置ほど前記補正領域を狭く設定し、
    前記補正手段は、前記補正領域設定手段により設定された前記補正領域内の輝度のバラつきが低減するように、前記補正領域内の輝度を補正することを特徴とする画像処理装置。
  6. 請求項4または5に記載の画像処理装置において、
    前記補正手段は、異なる時刻に撮像された複数の前記輝度画像を位置合わせした場合に、位置合わせした前記複数の輝度画像が相互に対応する位置において、輝度のバラつきが低減するように、前記輝度画像の輝度を補正する時間方向の補正処理を行い、
    前記補正手段は、前記時間方向の補正処理を行う場合に、前記プロファイル情報において前記信号強度の低い位置ほど、前記時間方向の補正処理に用いる前記輝度画像の数を多くし、前記プロファイル情報において前記信号強度の高い位置ほど、前記時間方向の補正処理に用いる前記輝度画像の数を少なくすることを特徴とする画像処理装置。
  7. 請求項2または4に記載の画像処理装置において、
    前記補正領域設定手段は、前記エッジ検出手段によるエッジの検出方向のうち、高い検出精度が必要とされる検出方向ほど、前記補正領域の長さを短く設定することを特徴とする画像処理装置。
  8. 請求項1〜7のいずれかに記載の画像処理装置において、
    前記プロファイル情報は、前記投光手段により照射される光成分に起因する輝度の分布情報、または、前記投光手段による照射される光成分に起因するS/N信号の分布情報であることを特徴とする画像処理装置。
  9. 投光量を変化させながら光を照射した撮像範囲を連続して撮像し、撮像した輝度画像に対して同期検波処理を行うことで、照射された光成分に基づく画像を検波処理画像として生成し、生成した前記検波処理画像の輝度を補正し、補正した前記輝度画像から被写体のエッジを検出する画像処理方法であって、
    前記撮像範囲内に照射された光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として取得し、前記検波処理画像の輝度を補正する際に、前記検波処理画像のうち、前記プロファイル情報において前記信号強度の低い位置ほど、輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度が高い位置ほど、輝度の補正度合いを小さくすることを特徴とする画像処理方法。
  10. 投光量を変化させながら光を照射した撮像範囲を連続して撮像し、撮像した輝度画像の輝度を補正し、補正した前記輝度画像に対して同期検波処理を行うことで、照射された光成分に基づく画像を検波処理画像として生成し、生成した前記検波処理画像から被写体のエッジを検出する画像処理方法であって、
    前記撮像範囲内に照射された光成分に起因する画像信号の信号強度の分布情報を、プロファイル情報として取得し、前記輝度画像の輝度を補正する際に、前記輝度画像のうち、前記プロファイル情報において前記信号強度が低い位置ほど輝度の補正度合いを大きくし、前記プロファイル情報において前記信号強度が高い位置ほど輝度の補正度合いを小さくすることを特徴とする画像処理方法。
JP2013055302A 2013-03-18 2013-03-18 画像処理装置および画像処理方法 Expired - Fee Related JP6079342B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013055302A JP6079342B2 (ja) 2013-03-18 2013-03-18 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013055302A JP6079342B2 (ja) 2013-03-18 2013-03-18 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2014182475A true JP2014182475A (ja) 2014-09-29
JP6079342B2 JP6079342B2 (ja) 2017-02-15

Family

ID=51701153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055302A Expired - Fee Related JP6079342B2 (ja) 2013-03-18 2013-03-18 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6079342B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2008009745A (ja) * 2006-06-29 2008-01-17 Mitsubishi Electric Corp 顔検出装置
JP2008177801A (ja) * 2007-01-18 2008-07-31 Sony Corp 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
JP2010114849A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 車両周辺監視装置
JP2012161036A (ja) * 2011-02-02 2012-08-23 Nissan Motor Co Ltd カメラ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2008009745A (ja) * 2006-06-29 2008-01-17 Mitsubishi Electric Corp 顔検出装置
JP2008177801A (ja) * 2007-01-18 2008-07-31 Sony Corp 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
JP2010114849A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 車両周辺監視装置
JP2012161036A (ja) * 2011-02-02 2012-08-23 Nissan Motor Co Ltd カメラ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016048288; 山口 直人、外2名: '"適応エッジ保存平滑化を用いた白線検出手法"' 電子情報通信学会論文誌 Vol.J88-D-II, No.8, 20050801, pp.1421-1431, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
JP6079342B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
CN105721797B (zh) 用于卷帘快门条形码成像的方法和系统
US10755417B2 (en) Detection system
US20150204662A1 (en) Three-dimensional-shape measurement apparatus, three-dimensional-shape measurement method, and non-transitory computer-readable storage medium
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
US20150116582A1 (en) Image processing apparatus and image processing method
US10026156B2 (en) Information processing apparatus, information processing method, and medium
JP6335011B2 (ja) 計測装置およびその方法
US10078907B2 (en) Distance measurement apparatus, distance measurement method, and storage medium
US20180335298A1 (en) Three-dimensional shape measuring apparatus and control method thereof
KR20150079638A (ko) 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치
WO2015057098A1 (en) Motion compensation method and apparatus for depth images
JP6525543B2 (ja) 画像処装置および画像処理方法、並びにプログラム
JP6418884B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
JP6784130B2 (ja) フリッカ検出装置及び方法
JP5822463B2 (ja) 三次元計測装置、三次元計測方法、およびプログラム
JP7281775B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
JP6079342B2 (ja) 画像処理装置および画像処理方法
JP6455596B2 (ja) 灯火器検出装置及び灯火器検出方法
JP2020193957A (ja) 測距異常を補正する距離画像生成装置
US20160232679A1 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
JP6127620B2 (ja) 画像処理装置および画像処理方法
JP2014126943A (ja) 画像中の対象物を検出するために画像処理を行う画像処理装置及び方法
JP2014035294A (ja) 情報取得装置および物体検出装置
TWI618031B (zh) 影像邊緣偵測方法
US20170124683A1 (en) Super-resolution processing method, super-resolution processing apparatus, and super-resolution processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170102

R151 Written notification of patent or utility model registration

Ref document number: 6079342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees