JP2012253704A - カメラシステムおよび画像生成方法 - Google Patents

Abstract

【課題】被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができるカメラシステムを提供すること。
【解決手段】所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する際において、撮像画像上における前記被検物の移動速度に基づいて、画像信号の読出し画素位置を変更するとともに、単位画素未満の移動量が検出された場合には、検出した単位画素未満の移動量に基づいて、読出し画素位置を変更した画像信号の信号出力を補正するカメラシステム。
【選択図】 図１

Description

本発明は、カメラシステムおよび画像生成方法に関するものである。

従来、被検物に対して光を所定の周期で照射し、光が照射される領域を含む領域をカメラにより繰り返し撮像し、カメラにより撮像された画像を用いて、照射した光の同期検波処理を行なう方法が知られている（たとえば、特許文献１参照）。この従来技術においては、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なっている。

Y. Oike, M. Ikeda, K. Asada, "Smart Image Sensor with High-Speed and High-Sensitivity ID Beacon Detection for Augmented Reality System", Journal of Image Information and Television Engineers, Vol. 58, No. 6, pp. 835 - 841

しかしながら、上記従来技術は、カメラに備えられた撮像素子の各画素で検出された輝度値に基づいて、画素単位で照射した光の同期検波処理を行なうものであるため、被検物が撮像画像上を移動した場合に、同期検波処理を行なう撮像画像間において、同じ画素で異なる部位からの輝度値が検出されてしまい、異なる部位からの輝度値に基づいて、同期検波処理が行なわれてしまう場合があった。そして、このような場合においては、照射する光の有無に起因する輝度変化と、異なる部位からの輝度値を用いることに起因する輝度変化とが区別できなくなり、得られる検波処理画像にノイズ成分が生じてしまうという課題があった。

本発明が解決しようとする課題は、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができるカメラシステムおよび画像生成方法を提供することにある。

本発明は、所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する際において、撮像画像上における前記被検物の移動速度に基づいて、画像信号の読出し画素位置を変更するとともに、単位画素未満の移動量が検出された場合には、検出した単位画素未満の移動量に基づいて、読出し画素位置を変更した画像信号の信号出力を補正することで、上記課題を解決する。

本発明によれば、被検物が撮像画像上を移動することにより前記検波処理画像内に発生するノイズ成分を低減することができ、これにより、被検物が撮像画像上を移動した場合でも、良好な検波処理画像を得ることができる。

図１は、本実施形態に係るカメラシステム１のブロック構成図である。 図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。 図３は、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す図である。 図４は、投光装置３０による光の照射パターンの一例を示す図である。 図５（Ａ）は、カメラ２０により撮像された画像の一例を示す図、図５（Ｂ）は、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す図である。 図６は、撮像画像上における撮像対象の移動速度の一例を示す図である。 図７（Ａ）および図７（Ｂ）は、光照射時画像においてカメラ２０の撮像画素で撮像される撮像対象と、非照射時画像においてカメラ２０の撮像画素で撮像される撮像対象との関係を示す図である。 図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。 図９（Ａ）は、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図、図９（Ｂ）は、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図である。 図１０（Ａ）は、光照射時画像の一例を示す図、図１０（Ｂ）は、非照射時画像の一例を示す図、図１０（Ｃ）は、図１０（Ａ）に示す光照射時画像および図１０（Ｂ）に示す非照射時画像に基づいて生成される検波処理画像の一例を示す図である。 図１１は、本実施形態に係る同期検波処理を示すフローチャートである。

以下、図面に基づいて、本発明の実施形態について説明する。

図１は、本実施形態に係るカメラシステム１のブロック構成図である。図１に示すように、本実施形態に係るカメラシステム１は、制御装置１０、投光装置２０、カメラ３０およびメモリ４０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができるようになっている。なお、本実施形態のカメラシステム１は、たとえば、車両に備えられ、車両用の撮影システムとして用いられる。以下においては、本実施形態のカメラシステム１が車両用の撮影システムとして用いられる場合を例示して説明する。ただし、本実施形態のカメラシステム１は、車両用の撮影システムに特に限定されるものではない。

カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を備え、撮像素子により撮像された画像の画像信号を、制御装置１０に出力する。

投光装置３０は、たとえば、ＬＥＤとＬＥＤ制御回路とで構成され、制御装置１０からの指令に基づいて、周期的に光の照射を行なう。図２は、カメラ２０の撮像範囲と、投光装置３０による光の照射範囲との関係を示す図である。図２に示すように、投光装置３０による光の照射範囲は、カメラ２０の撮像範囲内となるように配置される。言い換えると、カメラ２０の撮像範囲は、投光装置３０による光の照射範囲を含む所定の範囲に設定される。

また、制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

そして、制御装置１０は、投光装置３０に周期的に光の照射を行わせながら、カメラ２０に繰り返し撮像を行なわせて、これにより得られた撮像画像について同期検波処理を行なうことで、投光装置３０による光の照射タイミングに同期した検波処理画像を得るために、露光・投光制御機能と、画像信号記憶機能と、撮像対象移動速度算出機能と、読出画素位置変更機能と、信号出力補正機能と、同期検波処理機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。

以下に、カメラシステム１の制御装置１０が実現する各機能についてそれぞれ説明する。

まず、制御装置１０の露光・投光制御機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作および投光装置３０による光の照射動作を制御する。具体的には、制御装置１０は、カメラ２０に備えられた撮像素子の電子シャッタまたは機械シャッタを制御し、所定の間隔でカメラ２０に露光動作を実行させる。また、制御装置１０は、カメラ２０による撮像のタイミングに応じて、投光装置３０を制御し、投光装置３０に所定の検波周期に応じたタイミングで光を照射させる。図３に、カメラ２０による露光のタイミング、および投光装置３０による光の照射タイミングの一例を示す。図３に示すように、本実施形態では、投光装置３０により光を照射するタイミングは、カメラ２０の露光が開始された時点ｔ１から露光が終了するまでの時点ｔ４の間に行なわれる。なお、図３においては、次のような場面を例示して示している。すなわち、まず、時間ｔ１にて、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始された後、時間ｔ２にて、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始される。そして、時間ｔ３において、制御装置１０から投光装置３０に照射終了信号が送出され、これにより投光装置３０による光の照射が終了された後、時間ｔ４にて、制御装置１０からカメラ２０に露光終了信号が送出され、これによりカメラ２０による露光が終了する。

本実施形態では、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、図４に示すように、カメラ２０により繰り返し撮像を行なう際に、特定の撮像フレームの画像のみに、照射光が含まれるように、所定の照射パターンにより照射光の照射を行なわせる。具体的には、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する。すなわち、２フレームを１周期とし、１フレーム目に照射光の照射を行い、２フレーム目に照射光の照射を行なわないという照射パターンにて、投光装置３０による光の照射を繰り返し実行させる。そして、図４に示すように、第１フレームおよび第３フレームの露光時には、投光装置３０による光の照射が行なわれ、そのため、第１フレームおよび第３フレームにおいては、光が照射された状態における画像が得られ、一方、第２フレームおよび第４フレームの露光時には、投光装置３０による光の照射が行なわれず、そのため、第２フレームおよび第４フレームにおいては、光が照射されていない状態における画像が得られることとなる。すなわち、本実施形態では、光が照射された状態における画像、および光が照射されていない状態における画像が交互に得られることとなる。

なお、本実施形態では、図４に示すように、１フレームおきに照射／非照射が切り替わるように、投光装置３０による照射光の照射パターンを制御する例を示したが、投光装置３０による照射光の照射／非照射の切り替えパターンは、このような態様に特に限定されず、たとえば、４フレームを１周期とし、１フレーム目〜３フレーム目にて連続して光の照射を行い、４フレーム目に光の照射を行なわないという照射パターンを採用してもよい。また、１フレーム目〜３フレーム目にて連続して光の照射を行なう等複数のフレームにおいて連続して光の照射を行なう場合には、照射する光の強度をフレームごとに変化させるような態様としてもよい。

次に、制御装置１０の画像信号記憶機能について説明する。本実施形態の制御装置１０は、カメラ２０による露光動作の結果、得られた撮像画像の画像信号を取得し、取得した画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる。また、制御装置１０は、カメラ２０から画像信号を取得した際に、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像である場合には、光照射フラグｆとともに画像信号をメモリ４０に記憶させる。たとえば、図４に示す例においては、第１フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における１フレーム目の画像であるとの情報（照射パターンの情報）および光照射フラグｆとともにメモリ４０に記憶される。また、第２フレームで得られた撮像画像の画像信号は、照射パターンが２フレームで１周期であるとの情報、および該周期における２フレーム目の画像であるとの情報（照射パターンの情報）とともにメモリ４０に記憶される。

なお、取得した画像信号に対応する画像が、投光装置３０によって光が照射された状態で撮像された画像であるか否かは、たとえば、投光装置３０から、光の照射を実行した旨の信号を受信することにより判定することができる。あるいは、取得した画像信号に対応する画像の輝度平均値などの画像情報に基づいて、投光装置３０によって光が照射された状態で撮像された画像であるか否かの判断を行なうような構成としてもよい。また、メモリ４０としては、たとえば、ＲＡＭ（Randam Access Memory）や、ＦｌａｓｈＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）など各種記憶装置、記憶媒体を用いることができる。

次に、制御装置１０の撮像対象移動速度算出機能について説明する。本実施形態の制御装置１０は、カメラ２０で撮像され、メモリ４０に記憶された画像信号を読出し、読み出した画像信号から、撮像画像上における撮像対象の移動速度を算出する。ここで、図５（Ａ）に、カメラ２０により撮像された画像の一例を、図５（Ｂ）に、図５（Ａ）に続くフレームにて、カメラ２０により撮像された画像の一例を示す。制御装置１０は、撮像画像上における撮像対象の移動速度を算出するために、まず、図５（Ａ）に示す画像中における特定領域を選定し、選定した特定領域における輝度情報の配置を輝度プロファイルとして記憶する。なお、特定領域の選定方法としては特に限定されないが、たとえば、投光装置３０の光の照射領域の中央付近に存在する被写体の領域を、特定領域として選定するような構成としてもよいし、あるいは、投光装置３０の光の照射領域において最も輝度の高い被写体の領域を特定領域としても選定するような構成としてもよいし、さらには、予め定められた特定の被写体（たとえば、先行車両等）の領域を特定領域として選定するような構成としてもよい。図５（Ａ）においては、先行車両が存在する領域が特定領域として選定された場面を例示している。

そして、制御装置１０は、図５（Ａ）に続くフレームにて撮像された画像、すなわち、図５（Ｂ）に示す画像中において、図５（Ａ）に示す画像中において選定された特定領域の輝度プロファイルに対して最も相関値の高い画像領域を探索する処理を行なう。具体的には、図５（Ｂ）に示す画像中において、特定領域と同じ大きさを有する領域を、一画素ずつずらしながら、特定領域の輝度プロファイルに対する相関値を算出し、相関値の最も高い画像領域（特定領域の輝度プロファイルに最も近い輝度プロファイルを有する画像領域）を検出する。そして、図５（Ａ）に示す画像中において選定された特定領域の位置と、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の位置とに基づいて、撮像画像上における撮像対象の移動速度の算出を行なう。

具体的には、たとえば、Ｘ方向のみの移動速度について着目した場合において、図５（Ａ）に示す画像中において選定された特定領域の画像位置（特定領域の中心位置）をＸ’_０とし、図５（Ｂ）に示す画像中において検出された最も相関値の高い画像領域の画像位置（最も相関値の高い画像領域の中心位置）をＸ_０とし、画像位置Ｘ_０における特定領域の輝度プロファイルに対する相関値をＣ_０とする。また、最も相関値の高い画像領域からＸ方向負方向に１画素分ずれた領域の画像位置をＸ_０−１、画像位置Ｘ_０−１における特定領域の輝度プロファイルに対する相関値をＣ_−１、最も相関値の高い画像領域からＸ方向正方向に１画素分ずれた領域の画像位置をＸ_０＋１、画像位置Ｘ_０＋１における特定領域の輝度プロファイルに対する相関値をＣ_＋１とする。そして、撮像対象の画像上の移動速度Ｖ_０（単位：画素／フレーム）は、Ｘ’_０、Ｘ_０、Ｃ_０、Ｃ_−１、およびＣ_＋１を用いて、下記式（１）にしたがって算出することができる。
Ｖ_０＝Ｘ_０−Ｘ’_０＋（Ｃ_＋１−Ｃ_−１）／２（２Ｃ_０−Ｃ_＋１−Ｃ_−１） ・・・（１）

そして、上記方法にしたがい、図５（Ａ）、図５（Ｂ）に示す場面例においては、図６に示すように、撮像対象としての先行車両の撮像画像上のＸ方向の移動速度を、たとえば、５．４画素／フレームと算出することができる。すなわち、図５（Ａ）、図５（Ｂ）に示す場面例においては、図５（Ａ）に示す画像中の撮像対象としての先行車両は、これに続く図５（Ｂ）に示す画像中において、５．４画素だけＸ方向正方向に移動したと算出することができる。また、上記方法では、Ｘ方向のみの移動速度について着目して説明したが、Ｙ方向についても同様に移動速度を算出し、本実施形態では、Ｘ方向およびＹ方向の移動速度を、撮像対象の移動速度として検出する。

あるいは、撮像画像上における撮像対象の移動速度は、たとえば、輝度勾配法などの公知の画像速度算出法を用いて算出してもよいし、カメラシステム１が搭載される車両の移動速度を用いて算出してもよい。

次に、制御装置１０の読出画素位置変更機能について説明する。制御装置１０は、後述する同期検波処理により、投光装置３０からの照射光に対する撮像対象からの反射光を抽出するために、メモリ４０に記憶された画像信号の読出しを行なう。具体的には、制御装置１０は、後述する同期検波処理を行なうために、投光装置３０によって光が照射された状態で撮像された画像（以下、適宜、「光照射時画像」とする。）の画像信号と、該画像に続いて、投光装置３０によって光が照射されない状態で撮像された画像（以下、適宜、「非照射時画像」とする。）の画像信号とを読み出す。たとえば、図４に示す第３フレームの画像の画像信号と、これに続く第４フレームの画像の画像信号を読み出す。なお、メモリ４０に記憶された画像信号が、光照射時画像の画像信号であるか否かは、画像信号とともに記憶された光照射フラグｆに基づいて、判断することができる。

ここで、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とにおいて、ある撮像対象に着目すると、撮像対象の移動速度が１画素／フレーム以上である場合には、この撮像対象の画像中における位置は、光照射時画像と、これに続くフレームにおいて撮像された非照射時画像とで１画素以上ずれた位置となってしまうこととなる。たとえば、撮像対象のＸ方向の移動速度が、５画素／フレームである場合には、図７（Ａ）に示すように、光照射時画像においてカメラ２０の撮像素子の画素２０ａ〜２０ｄにより撮像された撮像対象は、図７（Ｂ）に示すように、続くフレームにおいて撮像された非照射時画像においては、画素２０ｆ〜２０ｉでそれぞれ撮像されることとなる。すなわち、このような場合においては、同じ画素同士（たとえば、画素２０ａ同士）の出力を比較しても、撮像対象が異なってしまうため、後述する同期検波処理を良好に行なうことができなくなってしまう。

これに対して、本実施形態では、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が、１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、画像信号を読み出す際に画素位置を変更して読み出しを行なう。具体的には、撮像対象のＸ方向の移動速度が５画素／フレームである場合には、光照射時画像の画像信号はそのまま読み出す一方で、続くフレームにおいて撮像された非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。同様に、撮像対象のＸ方向の移動速度が１０画素／フレームである場合には、非照射時画像の画像信号を、Ｘ方向に１０画素ずらして読み出す。

ただし、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、非照射時画像の画像信号を、Ｘ方向に５画素ずらして読み出す。すなわち、本実施形態では、画像信号を読み出す際に画素ずらしを行なう際の画素のずらし数は、小数点以下を切り捨てたものとする。あるいは、画素のずらし数を、小数点以下を切り捨てたものとする代わりに、最も近い整数を選択するような態様としてもよい。すなわち、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、画素のずらし数を５とし、撮像対象のＸ方向の移動速度が５．６画素／フレームである場合には、画素のずらし数を６としてもよい。なお、この場合においては、撮像対象の移動速度が１画素／フレーム未満である場合でも、撮像対象の移動速度の値が、０よりも１に近いような場合には、画素のずらし数を１とし、画素位置を変更して読み出す処理を行なってもよい。

また、本実施形態では、このような画素位置を変更して読み出す処理は、Ｘ方向だけでなく、同様にしてＹ方向についても行うものとする。

次いで、制御装置１０の信号出力補正機能について説明する。本実施形態の制御装置１０は、上述した画素位置を変更して読み出す処理に加えて、撮像対象の小数点以下の移動量（単位画素未満の移動量）を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を補正する処理を行なう。ここで、図５（Ａ）、図５（Ｂ）に示す場面例のように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には（図６参照）、画素位置を変更して読み出す処理により、５画素分の移動量に対する補正が可能となるものの、小数点以下の移動量である０．４画素分の補正については行なうことはできず、そのため、このような小数点以下の移動量の影響により、後述する同期検波処理を良好に行なうことができなくなってしまう。

これに対し、本実施形態では、このような小数点以下の移動量を補正するために、画素位置を変更して読み出した非照射時画像の画像信号に対して、信号出力を補正する処理を行なう。以下、図８、図９（Ａ）、図９（Ｂ）を参照して、このような信号出力を補正する処理について説明する。図８は、本実施形態に係る照射光の光量と、撮像対象の反射率と、カメラ２０で撮像される反射光との関係を示すモデル図である。図８に示すように、本実施形態においては、投光装置３０および投光装置３０以外の光源から光量ｉの光が、撮像対象に照射され、撮像対象により反射された反射光をカメラ２０で撮像することにより、撮像画像を得るものである。なお、図８に示すように、撮像対象の反射率をｒとすると、カメラ２０で撮像される反射光の光量はｉ・ｒとなる。

ここで、図９（Ａ）に、光照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を、図９（Ｂ）に、続くフレームにおいて非照射時画像を撮像した際における撮像対象と、各撮像画素との関係を示すモデル図を示す。

図９（Ａ）に示すように、光照射時画像を撮像した際における撮像対象に照射された光（主として、投光装置３０からの光）の光量をｉとすると、カメラ２０の撮像画素Ｐ_０は、撮像対象Ｓ_０（反射率ｒ_０）からの反射光ｉ・ｒ_０を受光し、撮像画素Ｐ_０により得られる輝度値（出力値）Ｉ_０は、Ｉ_０＝ｉ・ｒ_０となる。また、同様に、撮像画素Ｐ_１は、撮像対象Ｓ_１（反射率ｒ_１）からの反射光ｉ・ｒ_１を受光し、撮像画素Ｐ_１により得られる輝度値Ｉ_１は、Ｉ_１＝ｉ・ｒ_１となり、さらに、撮像画素Ｐ_２は、撮像対象Ｓ_２（反射率ｒ_２）からの反射光ｉ・ｒ_２を受光し、撮像画素Ｐ_２により得られる輝度値Ｉ_２は、Ｉ_２＝ｉ・ｒ_２となる。

その一方で、図９（Ｂ）に示すように、図９（Ａ）に続くフレームにおいて非照射時画像を撮像した際においては、撮像対象に照射された光（主として、投光装置３０以外からの光）の光量をｉ’とした場合に、カメラ２０の撮像画素Ｐ_１に着目すると、小数点以下の移動量Δの影響により、撮像対象Ｓ_１からの反射光ｉ’・ｒ_１の一部に加えて、撮像対象Ｓ_０からの反射光ｉ’・ｒ_０の一部が入射してしまうこととなる。すなわち、撮像画素Ｐ_１で得られる輝度値Ｉ’_１は、撮像対象Ｓ_１からの反射光ｉ’・ｒ_１の一部および撮像対象Ｓ_０からの反射光ｉ’・ｒ_０の一部に基づくものとなり、図９（Ａ）に示す光照射時画像を撮像したときから比較して、撮像対象がずれてしまうこととなる。具体的には、「撮像対象Ｓ_０からの反射光ｉ’・ｒ_０」：「撮像対象Ｓ_１からの反射光ｉ’・ｒ_１」＝Δ：１−Δの比率で、撮像画素Ｐ_１に反射光が入射することとなる。たとえば、図５（Ａ）、図５（Ｂ）に示す場面例においては、撮像対象のＸ方向の移動速度が５．４画素／フレームであり（図６参照）、小数点以下の値は０．４であるため、「撮像対象Ｓ_０からの反射光ｉ’・ｒ_０」：「撮像対象Ｓ_１からの反射光ｉ’・ｒ_１」＝０．４：０．６の比率で、撮像画素Ｐ_１に反射光が入射することとなる。そして、撮像画素Ｐ_０，Ｐ_２についても、撮像画素Ｐ_１と同様に、小数点以下の移動量Δの影響を受けることとなる。なお、図９（Ｂ）中においては、撮像画素Ｐ_０で得られる輝度値をＩ’_０とし、撮像画素Ｐ_２で得られる輝度値をＩ’_２とした。また、非照射時画像を読み出す際に、上述したように、画像信号を読み出す際に画素位置を変更して読み出す処理を行なった場合には、図９（Ｂ）における撮像画素Ｐ_０〜Ｐ_２は、図９（Ａ）における撮像画素Ｐ_０〜Ｐ_２に対応する（画素ずらしを行なった後の）撮像画素である。すなわち、画素のずらし数を５とした場合には、図９（Ｂ）における撮像画素Ｐ_０〜Ｐ_２は、図９（Ａ）における撮像画素Ｐ_０〜Ｐ_２よりも、それぞれ５画素ずれた位置にある撮像画素となる。

そして、本実施形態では、以下の方法にしたがって、このような小数点以下の移動量Δの影響を補正する。まず、図９（Ａ）において、撮像画素Ｐ_０で得られる輝度値Ｉ_０は、照射光の光量ｉおよび撮像対象Ｓ_０の反射率ｒ_０を用いて、下記式（２）で表される。同様に、撮像画素Ｐ_１で得られる輝度値Ｉ_１は、照射光の光量ｉおよび撮像対象Ｓ_１の反射率ｒ_１を用いて、下記式（３）で表される。
Ｉ_０＝ｉ・ｒ_０ ・・・（２）
Ｉ_１＝ｉ・ｒ_１ ・・・（３）

ここで、撮像対象Ｓ_０および撮像対象Ｓ_１は、極めて隣接した位置にあると判断できるため、これら撮像対象Ｓ_０および撮像対象Ｓ_１に照射される光の光量ｉは同じであるとみなすことができ、そのため、上記式（２）、（３）から、下記式（４）を得ることができる。
ｒ_０／Ｉ_０＝ｒ_１／Ｉ_１ ・・・（４）

また、上記式（４）より、撮像対象Ｓ_０の反射率ｒ_０は、撮像対象Ｓ_１の反射率ｒ_１を用いて、下記式（５）で表すことができる。
ｒ_０＝（Ｉ_０／Ｉ_１）・ｒ_１ ・・・（５）

一方、図９（Ｂ）において、非照射時画像を撮像した際における撮像画素Ｐ_１の輝度値Ｉ’_１は、下記式（６）で表される。
Ｉ’_１＝Δ・ｒ_０・ｉ’＋（１−Δ）・ｒ_１・ｉ’ ・・・（６）

ここで、小数点以下の移動量Δが存在しないとした場合には、撮像画素Ｐ_１で得られる輝度値は、撮像対象Ｓ_１のみからの反射光ｒ_１・ｉ’と等しくなることとなる。そして、撮像対象Ｓ_１のみからの反射光ｒ_１・ｉ’は、上記式（５）、上記式（６）より、下記式（７）で求めることができる。そのため、本実施形態では、下記式（７）にしたがって、撮像画素Ｐ_１の輝度値を補正し、これにより、小数点以下の移動量Δを補正することができる。具体的には、下記式（７）にしたがって、撮像対象Ｓ_１のみからの反射光ｒ_１・ｉ’を算出し、撮像画素Ｐ_１の補正後の輝度値Ｉ’_１＝ｒ_１・ｉ’とする。また、撮像画素Ｐ_０，Ｐ_２についても、撮像画素Ｐ_１と同様に補正することができる。
ｒ_１・ｉ’＝Ｉ’_１／｛（Ｉ_０／Ｉ_１−１）・Δ＋１｝ ・・・（７）

なお、上記式（７）において、ｒ_１・ｉ’は補正の対象となる画像の補正後の画素Ｐ_１の出力、Ｉ’_１は補正の対象となる画像の補正前の画素Ｐ_１の出力、Ｉ_１は前のフレームで撮像された画像の対応する画素Ｐ_１の出力、Ｉ_０は前のフレームで撮像された画像の対応する画素Ｐ_１の隣の画素Ｐ_０の出力、Δは単位画素未満の移動量ということができる。また、本実施形態では、図９（Ａ）、図９（Ｂ）に示すように、上記式（７）においては、画素Ｐ_１の両隣の画素Ｐ_０、Ｐ_２のうち、撮像対象に対するカメラ２０の移動方向（Ｘ方向負方向）側の画素であるＰ_０の輝度値Ｉ_０を用いて、撮像画素Ｐ_１の補正後の輝度値Ｉ’を算出するものである。

なお、図９（Ａ）、図９（Ｂ）および上述した説明では、Ｘ方向における小数点以下の移動量Δを補正する方法について説明したが、本実施形態では、Ｙ方向における小数点以下の移動量についても、同様に補正を行なう。

次に、制御装置１０の同期検波処理機能について説明する。本実施形態の制御装置１０は、メモリ４０から読み出された光照射時画像の画像信号と、これに続くフレームで撮像された非照射時画像の画像信号とに基づいて、投光装置３０の照射タイミングに同期した同期検波処理を行ない、投光装置３０からの照射光に対する撮像対象からの反射光を抽出する処理を行なう。具体的には、制御装置１０は、光照射時画像の各撮像画素の信号出力と、これに続くフレームで撮像された光照射時画像の各撮像画素の信号出力との差分を、対応する画素ごとに算出し、これにより、投光装置３０からの照射光に対する撮像対象からの反射光を抽出することで、投光装置３０からの照射光に対する撮像対象からの反射光からなる検波処理画像を生成する。これにより、たとえば、図１０（Ａ）に示すような光照射時画像と、図１０（Ｂ）に示すような非照射時画像とから、図１０（Ｃ）に示すような検波処理画像を生成することができる。図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）に示すように、本実施形態で生成する検波処理画像は、投光装置３０からの照射光に対する撮像対象からの反射光成分を抽出したものであるため、先行車両などの被写体の陰など、太陽光などの投光装置３０からの照射光以外の光の影響を除去したものとすることができる。

なお、本実施形態においては、同期検波処理を行なう際において、上述した制御装置１０の読出画素位置変更機能により、画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、画素位置が変更された画像信号を用い、さらに、上述した制御装置１０の信号出力補正機能により、小数点以下の移動量Δの影響を除去するために、信号出力の補正が行なわれている場合には、補正後の信号出力を用いて、同期検波処理を行なう。

そして、このようにして得られた検波処理画像は、たとえば、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力され、距離計測やその他の用途に用いられる。

次いで、本実施形態の動作について、説明する。図１１は、本実施形態に係る同期検波処理を示すフローチャートである。以下に説明する動作は、カメラシステム１の電源がＯＮとされることによって開始される。なお、以下に説明する動作は、制御装置１０により実行される。また、以下においては、図４に示すように、投光装置３０による光の照射パターンを、１フレームおきに照射／非照射を切り替えるパターンとする場合を例示して説明する。

まず、ステップＳ１では、制御装置１０からカメラ２０に露光開始信号が送出され、これによりカメラ２０により露光が開始される。

次いで、ステップＳ２では、制御装置１０により、今回処理時において撮像するフレームが、投光装置３０によって光の照射を行なうフレームであるか否かの判断が行なわれ、投光装置３０によって光の照射を行なうフレームである場合には、ステップＳ３に進む。一方、投光装置３０によって光の照射を行なうフレームでない場合には、ステップＳ６に進む。たとえば、図４に示す例において、今回処理時において撮像するフレームが第１フレームに該当する場合には、ステップＳ３に進み、一方、第２フレームに該当する場合には、ステップＳ６に進む。

ステップＳ３では、制御装置１０から投光装置３０に照射開始信号が送出され、これにより投光装置３０により光の照射が開始され、予め定められた所定の照射時間が経過した後（ステップＳ４＝Ｙｅｓ）、ステップＳ５に進み、制御装置１０から投光装置３０に照射終了信号が送出され、投光装置３０による光の照射が終了する。

次いで、ステップＳ６では、制御装置１０により、ステップＳ１でカメラ２０により露光が開始されてから予め定められた所定の露光時間が経過したか否かの判定が行なわれ、所定の露光時間がしたと判断されると、ステップＳ７に進み、制御装置１０からカメラ２０に露光終了信号が送出され、カメラ２０による露光を終了する。

カメラ２０による露光を終了した後、ステップＳ８に進み、ステップＳ８では、カメラ２０により露光を行なった結果、得られた撮像画像の画像信号を、投光装置３０の光の照射パターンの情報とともに、メモリ４０に記憶させる処理が行なわれる。なお、この際において、ステップＳ３にて投光装置３０により光の照射を行なった場合には、画像信号とともに、光照射フラグｆが併せてメモリ４０に記憶されることとなる。

ステップＳ９では、今回処理時において、上述したステップＳ１〜Ｓ７にて撮像された撮像画像が、投光装置３０により光の照射を行なった光照射時画像であるか、あるいは、投光装置３０により光の照射を行なわなかった非照射時画像であるか否かの判断が行なわれる。光照射時画像であると判断された場合には、ステップＳ１５に進み、一方、非照射時画像であると判断された場合には、ステップＳ１０に進む。

ステップＳ９において、今回処理時において撮像された撮像画像が非照射時画像であると判断された場合には、ステップＳ１０に進み、今回処理時において撮像された非照射時画像と、前回処理時において撮像された光照射時画像とに基づいて、上述した方法にしたがい、撮像対象の画像上の移動速度の算出が行なわれる。

次いで、ステップＳ１１では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数を算出する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、Ｘ方向の画素のずらし数は５とされる。また、Ｙ方向についても同様に画素のずらし数の算出が行なわれる。

次いで、ステップＳ１２では、今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号を読み出す処理が行なわれる。なお、ステップＳ１１にて、今回処理時において撮像された非照射時画像の画像信号を読み出す際における画素のずらし数が算出されている場合には、非照射時画像の画像信号を読み出す際には、算出された画素のずらし数に基づいて、画素位置を変更して読み出しを行なう。

ステップＳ１３では、上述したステップＳ１０で算出された撮像対象の画像上の移動速度に基づいて、上述した方法にしたがって、今回処理時において撮像された非照射時画像の画像信号について、小数点以下の移動量Δの影響を除去するために、信号出力を補正する処理が行なわれる。たとえば、図６に示すように、撮像対象のＸ方向の移動速度が５．４画素／フレームである場合には、０．４画素分の移動量の影響を除去するために信号出力の補正が行なわれる。また、Ｙ方向についても同様に信号出力の補正が行なわれる。

ステップＳ１４では、ステップＳ１２においてメモリ４０から読み出された今回処理時において撮像された非照射時画像の画像信号、および前回処理時において撮像された光照射時画像の画像信号に基づいて、投光装置３０の照射タイミングに同期した同期検波処理が行なわれ、投光装置３０からの照射光に対する撮像対象からの反射光を抽出し、これにより、検波処理画像を生成する処理が行なわれる。そして、生成された検波処理画像は、ＮＴＳＣ方式に準拠した画像信号に変換され、車両に備えられたディスプレイなどに表示されたり、あるいは、対象物までの距離を計測するための距離計測装置などに出力される。なお、上述したステップＳ１２において、今回処理時において撮像された非照射時画像の画像信号を読み出す際に画素位置を変更して読み出す処理が行なわれている場合には、非照射時画像として、画素位置が変更された画像信号を用いて、同期検波処理が行なわれる。さらに、上述したステップＳ１３において、小数点以下の移動量Δの影響を除去するために、信号出力の補正が行なわれている場合には、補正後の信号出力を用いて、同期検波処理が行なわれる。

そして、ステップＳ１５において、制御装置１０は、カメラシステム１の電源をオフとする指令を受信しているか否かの判断を行ない、カメラシステム１の電源をオフとする指令を受信していない場合には、ステップＳ１に戻り、ステップＳ１〜Ｓ１４の処理を繰り返し行ない、一方、カメラシステム１の電源をオフとする指令を受信した場合には、カメラシステム１の電源をオフとする処理を行ない、本処理を終了する。

本実施形態においては、光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とを読み出し、読み出した光照射時画像の画像信号と、これに続くフレームにおいて撮像された非照射時画像の画像信号とに基づいて、同期検波処理を行なって、検波処理画像を生成する際に、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを、撮像対象の移動速度に応じた補正を行なうものであり、これにより、良好な検波処理画像を得ることができるものである。

特に、本実施形態によれば、撮像対象の移動速度の演算を行なった結果、撮像対象の移動速度が１画素／フレーム以上である場合には、撮像対象の移動速度に応じて、非照射時画像の画像信号を読み出す際における画素位置を変更して読み出すことにより、撮像対象の１画素以上の移動量を補正することができるものである。加えて、本実施形態によれば、撮像対象の移動速度から、撮像対象の小数点以下の移動量（単位画素未満の移動量）を検出し、検出した小数点以下の移動量の影響を補正するために、検出した小数点以下の移動量に応じて、非照射時画像の画像信号の信号出力を補正するものである。具体的には、上記式（７）にしたがって、非照射時画像の画像信号の信号出力を補正するものである。そのため、本実施形態によれば、撮像対象の１画素以上の移動量に加えて、小数点以下の移動量、すなわち、１画素未満の移動量を補正することができるものである。そして、本実施形態によれば、撮像対象が撮像画像中を移動することにより検波処理画像中に生じるノイズを有効に低減することができ、これにより、良好な検波処理画像を得ることができるものである。

なお、上述した実施形態において、投光装置３０は本発明の投光手段に、カメラ２０は本発明の撮像手段に、メモリ４０は本発明の記憶手段に、制御装置１０の同期検波処理機能は本発明の同期検波処理手段に、制御装置１０の撮像対象移動速度算出機能は本発明の移動速度算出手段に、制御装置１０の読出画素位置変更機能は本発明の読出画素位置変更手段に、制御装置１０の信号出力補正機能は本発明の信号出力補正手段に、それぞれ相当する。

以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…カメラシステム
１０…制御装置
２０…カメラ
３０…投光装置
４０…メモリ

Claims (4)

1. 所定周期で点灯消灯するパルス光を被検物に照射する投光手段と、
   前記パルス光が照射される領域を含む領域を繰り返し撮像する撮像手段と、
   前記撮像手段で撮像された画像の画像信号を記憶する記憶手段と、
   前記記憶手段に記憶された画像信号を読み出して、読み出した画像信号に対して、画素ごとに同期検波処理を行なって、前記投光手段から照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する同期検波処理手段と、
   前記撮像手段により撮像される撮像画像上における前記被検物の移動速度を算出する移動速度算出手段と、
   前記移動速度算出手段により算出された前記被検物の移動速度に基づいて、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段に記憶された画像信号を読み出す際における、画像信号の読出し画素位置を変更する読出画素位置変更手段と、
   前記移動速度算出手段により算出された前記被検物の移動速度に応じて、前記被検物の前記撮像画像上における単位画素未満の移動量を検出し、検出した単位画素未満の移動量に基づいて、前記同期検波処理手段により同期検波処理を行なうために前記記憶手段から読み出された画像信号の信号出力を補正する信号出力補正手段と、を備えることを特徴とするカメラシステム。
2. 請求項１に記載のカメラシステムにおいて、
   前記読出画素位置変更手段は、前記移動速度算出手段により検出された前記被検物の移動速度に基づいて、前記被検物の前記撮影画面上における単位画素以上の移動量を検出し、検出した単位画素以上の移動量に基づいて、画像信号の読出し画素位置を変更することを特徴とするカメラシステム。
3. 請求項１または２に記載のカメラシステムにおいて、
   前記信号出力補正手段は、補正の対象となる画像の画像信号の信号出力を、該補正の対象となる画像の前のフレームで撮像された画像の画像信号の信号出力を用いて、下記式（Ａ）にしたがって、補正することを特徴とするカメラシステム。
   Ｉ’_{１＿ａｄｊ}＝Ｉ’_１／｛（Ｉ_０／Ｉ_１−１）・Δ＋１｝ ・・・（Ａ）
   （上記式（Ａ）において、Ｉ’_{１＿ａｄｊ}は補正の対象となる画像の補正後の画素出力、Ｉ’_１は補正の対象となる画像の補正前の画素出力、Ｉ_１は前のフレームで撮像された画像の対応する画素の画素出力、Ｉ_０は前のフレームで撮像された画像の対応する画素の隣の画素の出力、Δは単位画素未満の移動量である。）
4. 所定周期で点灯消灯するパルス光を被検物に照射し、前記パルス光が照射される領域を含む領域を繰り返し撮像し、
   撮像された画像の画像信号に対して、画素ごとに同期検波処理を行なって、照射される前記パルス光の点灯消灯のタイミングに同期した検波処理画像を生成する画像生成方法において、
   同期検波処理を行ない、前記検波処理画像を生成する際に、撮像画像上における前記被検物の移動速度に基づいて、画像信号の読出し画素位置を変更するとともに、単位画素未満の移動量が検出された場合には、検出した単位画素未満の移動量に基づいて、読出し画素位置を変更した画像信号の信号出力を補正することを特徴とする画像生成方法。

Images