JP2018005391A - 点滅物体検出方法及び点滅物体検出装置 - Google Patents

Abstract

【課題】予め定めた周期でカメラ画像上の輝度が変動する物体と、当該周期とは異なる周期でカメラ画像上の輝度が変動する他の物体とを区別することができる点滅物体検出方法及び点滅物体検出装置を提供する。【解決手段】点滅物体検出方法は、連続する複数のカメラ画像を構成する画素信号の各々に対して、予め定めた所定周期で変動する信号を乗算する。乗算後の各画素信号から所定周波数以下の信号成分を抽出して、連続する複数の同期画像を生成する。そして、連続する複数の同期画像のうち周期的に輝度が変動する画像領域から、周期的に輝度が変動する点滅物体の点滅周期を検出する。【選択図】図６

Description

本発明は、点滅物体検出方法及び点滅物体検出装置に関するものである。

従来から、道路標識の位置を判定する技術が知られている（特許文献１参照）。特許文献１では、先ず、近赤外線の照射時の画像と非照射時の画像との差分を算出することで差分画像を生成する。そして、差分画像から反射強度が所定値以上であり且つ対象標識の面積に相当する標識領域を検出し、道路標識の画像上の位置に基づいて、道路標識の地図上の位置を特定している。

特開２００９−１６３７１４号公報

しかし、近赤外線の照射周期とは異なる周期で繰り返し点滅する光源が撮像された場合、差分画像では、光源と道路標識とを区別できないという課題がある。

本発明は、上記課題に鑑みて成されたものであり、その目的は、予め定めた周期でカメラ画像上の輝度が変動する物体と、当該周期とは異なる周期でカメラ画像上の輝度が変動する他の物体とを区別することができる点滅物体検出方法及び点滅物体検出装置を提供することである。

本発明の一態様に係わる点滅物体検出方法は、連続する複数のカメラ画像を構成する画素信号の各々に対して、予め定めた所定周期で変動する信号を乗算する。乗算後の各画素信号から所定周波数以下の信号成分を抽出して、連続する複数の同期画像を生成する。そして、連続する複数の同期画像のうち周期的に輝度が変動する画像領域から、周期的に輝度が変動する点滅物体の点滅周期を検出する。

本発明によれば、予め定めた周期でカメラ画像上の輝度が変動する物体と、当該周期とは異なる周期でカメラ画像上の輝度が変動する他の物体とを区別することができる点滅物体検出方法及び点滅物体検出装置を提供することができる。

図１は、実施形態に係わる点滅物体検出装置の構成を示すブロック図である。 図２は、図１の同期画像生成部１５の詳細な構成を示すブロック図である。 図３は、ＬＰＦ２３の低域通過（ローパス）特性Ｇｎに対して、２つの周波数成分（Ｕ_Ｌ、Ｕ_ｈ）を重畳したグラフである。 図４は、連続する複数の同期画像における、反射物体Ｐが写っている部分の輝度（同期検波出力２５）及び点滅物体Ｂが写っている部分の輝度（同期検波出力２６ａ）の変動の様子を示すグラフである。 図５は、連続する複数の同期画像における、点滅物体Ｂが写っている部分の輝度（同期検波出力２６ｂ及び輝度の差分和（２７）を示すグラフである。 図６は、図１の点滅物体検出装置を用いた点滅物体検出方法の一例を示すフローチャートである。 図７は、第２実施形態に係わる点滅物体検出部１６の詳細な構成を示す図である。 図８は、テクスチャ検知部３１が検知したテクスチャを有する推定領域３４の例を示す模式図である。 図９は、第２実施形態に係わる点滅物体検出部１６の動作を説明するフローチャートである。 図１０は、第３実施形態に係わる電子回路１８の回路構成を示すブロック図である。 図１１Ａは、連続する複数の同期画像（ｆｒ０〜ｆｒ１０、・・・）の推定領域、正規化後の推定領域、及び各推定領域から選択されるベルト領域３６を示す模式図である。 図１１Ｂは、図１１Ａの各推定領域から選択されたベルト領域３６をつなぎ合わせた合成画像（間引き画像）を示す模式図である。 図１１Ｃは、図１１Ｂの縦ライン（Ｌ１、ＬＫ）に沿った輝度の変化を示すグラフである。 図１２は、第３実施形態に係わるオクルージョン検出部１９の動作を説明するフローチャートである。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（第１実施形態）
図１を参照して、実施形態に係わる点滅物体検出装置の構成を説明する。実施形態に係わる点滅物体検出装置は、車両に搭載されたカメラ１２を用いて取得されたカメラ画像から、例えば、反射物体Ｐを検出する。反射物体Ｐは、カメラ画像上の輝度が予め定めた所定周期で変動する物体であって、例えば、道路標識が含まれる。

実施形態に係わる点滅物体検出装置は、カメラ画像から、反射物体Ｐのみならず、道路周辺に設置された点滅物体Ｂの点滅周期も検出する。点滅物体Ｂは、カメラ画像上の輝度が予め定めた所定周期とは異なる周期（以後、「点滅周期」という）で変動する物体であって、例えば、点滅周期で点滅する光源（ネオンサイン又は電光掲示板）を有する看板及び広告、点滅周期で点滅する信号機及び発光パネルが含まれる。

なお、実施形態では、所定周期で強度が変動する所定の光を車両の周囲に投光し、反射物体Ｐで反射した反射光をカメラ１２で撮像することにより、反射物体Ｐを検出する場合を説明する。しかし、これに限らず、反射物体Ｐの代わりに、所定周期で輝度が変動する光源を有する物体（例えば、信号機、発光式標識など）を検出する場合にも適用することができる。つまり、点滅物体検出装置は、所定周期で点滅する光源を有する物体（例えば、信号機）と、所定周期とは異なる点滅周期で点滅する点滅物体Ｂ（例えば、看板や広告）の点滅周期とを、同じカメラ画像から、同時に検出することができる。この場合、点滅物体検出装置は、投光器１１及び投光制御部１３を備えていなくても構わない。

点滅物体検出装置は、投光器１１と、カメラ１２と、投光制御部１３と、メモリ１４と、電子回路１８とを備える。投光器１１は、車両の周囲の路面に所定の光を投光する。カメラ１２は、投光された領域を含む車両の周囲の情景を繰り返し撮像して、連続する複数のカメラ画像を取得する。投光制御部１３は、所定の光の強度が予め定めた所定周期で変動するように投光器１１を制御する。メモリ１４は、カメラ１２により取得されたカメラ画像を一時的に記憶する。電子回路１８は、カメラ１２により取得されたカメラ画像に対して画像処理を施すことにより反射物体及び点滅周期を検出する。投光制御部１３は、予め定めた所定周期を、電子回路１８により検出された点滅周期から所定の基準値以上離れた周期に設定する。

投光器１１は、例えば、車両５１に搭載された、プロジェクタヘッドライトやリフレクタを備えたヘッドライトであり、車両の周囲の路面に向けて光を照射する。また、投光器１１の発光源として、可視光、赤外光、或いは紫外光の発光源を用いることができる。ヘッドライトの光源の種類は、特に問わず、ＬＥＤ、ＨＩＤ、ハロゲンのいずれであってもよい。

投光制御部１３は、投光器１１が投光する光の強度をＰＷＭ制御にて変調する。また、投光制御部１３は、カメラ１２による撮像タイミングのトリガ信号と、シャッター時間（露出時間）の制御信号とを出力する。更に、投光制御部１３は、ＰＷＭ制御で使用した搬送波信号（参照信号）を電子回路１８（同期画像生成部１５）に出力する。なお、搬送波信号（参照信号）は、予め定めた所定周期で変動する信号である。

カメラ１２は、車両５１に搭載され、車両５１の周囲を撮像してカメラ画像を取得する撮像部である。カメラ１２は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるデジタルカメラであって、画像処理が可能なデジタル画像を取得する。カメラ１２は、所定の時間間隔で繰り返し車両の前方を撮像して、連続する複数のカメラ画像（フレーム）を取得する。ここでは、カメラ１２として、高速度撮影（例えば、毎秒１０００フレーム）が可能なハイスピードカメラ（高速度カメラ）を用いる。カメラ１２は、投光器１１が投光する光の１周期の間に、複数回（例えば、１０回）の撮像を行う。取得したカメラ画像は、メモリ１４に画像データとして記憶される。

具体的に、カメラ１２が備える撮像素子には、投光器１１が投光する光が反射物体Ｐで反射した反射光と、点滅物体Ｂから射出される点滅光と、光背景光とが入射する。カメラ１２が備える撮像素子は、所定の輝度感度特性にしたがって、入射する各光の強度に応じた輝度を出力する。また、投光器１１より、可視光、赤外光、紫外光等が使用される場合には、カメラ１２が備える撮像素子は、可視光、赤外光、紫外光の波長を観測可能な素子を使用したものとする。

メモリ１４は、カメラ１２より出力されるカメラ画像を所定枚数保存する容量を備えている。メモリ１４には、カメラ１２より時系列で撮像された複数の画像データが保存される。

電子回路１８は、例えば、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータを電子回路１８として機能させるためのコンピュータプログラム（点滅物体検出プログラム）を、マイクロコンピュータにインストールして実行する。これにより、汎用のマイクロコンピュータは、電子回路１８として機能する。なお、ここでは、ソフトウェアによって電子回路１８を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、電子回路１８を構成することも可能である。また、電子回路１８に含まれる複数のユニット（１５、１６、１７、１９）を個別のハードウェアにより構成してもよい。更に、電子回路１８のみならず、投光制御部１３の各々も、同様にして、ソフトウェア或いは専用のハードウェアとして実現可能である。更に、電子回路１８は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

電子回路１８は、機能的な構成要素として、同期画像生成部１５と、点滅物体検出部１６と、反射物体検出部１７とを備える。

同期画像生成部１５は、投光制御部１３から出力される参照信号を用いて、メモリ１４に保存されたカメラ画像の各画素値に対して同期検波処理を施し、処理後の信号を再び画像（同期画像）として構成し、連続する複数の同期画像を出力する。これにより、同期画像生成部１５は、カメラ１２が取得したカメラ画像から、所定の光の強度の周期的変化と同期する反射光を抽出することができる。即ち、同期画像生成部１５は、投光器１１が照射する照射光の強度変調と同期して輝度が変動する画素を抽出した同期画像を出力する。換言すれば、同期画像生成部１５は、カメラ１２が備える撮像素子に入射する光のうち背景光を除去し、投光器１１が投光する光が反射物体Ｐで反射した反射光を取り出すことができる。

同期検波処理は、既知の方法を用いることができる。同期検波処理は、メモリ１４に記憶されている複数のカメラ画像中の全画素、或いは、カメラ画像中に処理領域を制限した場合は、画像処理領域中の全画素において実施される。

図２を参照して、同期画像生成部１５の詳細な構成の一例を説明する。同期画像生成部１５は、直流成分除去部２１と、波形乗算部２２（乗算回路）と、低域通過フィルタ２３（画像生成回路）とを備える。直流成分除去部２１は、メモリ１４に記憶されているカメラ画像から、投光制御の変調周期（予め定めた所定周期）に相当する枚数分のカメラ画像を読み出す。そして、読み出したカメラ画像を構成する各画素について、画素信号のうち直流成分を除去して交流成分のみを出力する。例えば、読み出したカメラ画像中の画素ごとに時系列に沿った輝度の平均処理を行って、各画素の輝度から平均値を除去する。

波形乗算部２２は、各画素信号の交流成分に対して、投光制御部１３から送信される参照信号（搬送波信号）を乗算する。ＬＰＦ２３は、乗算後の信号に含まれる参照信号の高調波成分（交流成分）を除去して出力する。参照信号の所定周期と反射光の変調周期は一致するため、ＬＰＦ２３からは直流成分のみが出力される。ＬＰＦ２３から所定の閾値以上の輝度の信号が出力される場合、投光器１１が投光する光の強度の周期的変化と同期する反射光である、即ち画像上に反射物体Ｐが写っていると推定できる。

しかしながら、輝度が所定の閾値以上の信号は、反射物体Ｐが写っている部分のみならず、次に示すように、所定周期とは異なる点滅周期で点滅する点滅物体Ｂからも出力される。

波形乗算部２２から出力される乗算後の画像信号には、参照信号の所定周期（所定周波数：ｆ_Ｒ）とカメラ画像上の輝度の変動周期（変動周波数：ｆ）との和（ｆ_Ｒ＋ｆ）及び差（｜ｆ_Ｒ−ｆ｜）の２つの周波数成分が含まれる。反射物体Ｐの輝度の変動周波数（ｆ１）は参照信号の所定周波数（ｆ_Ｒ）と一致するため、乗算後の画像信号には、１つの周波数成分（ｆ_Ｒ＋ｆ１）のみが現れる。周波数成分（ｆ_Ｒ＋ｆ１）は、ＬＰＦ２３により除去される。よって、図４に示すように、反射物体Ｐが写っている部分から、同期検波出力として、直流成分からなる信号２５が出力される。

一方、点滅物体Ｂの点滅周期（点滅周波数：ｆ２）は参照信号の所定周期（所定周波数：ｆ_Ｒ）と相違するため、乗算後の画像信号には、２つの周波数成分（Ｕ_ｈ＝ｆ_Ｒ＋ｆ２、（Ｕ_Ｌ＝｜ｆ_Ｒ−ｆ２｜）が現れる。そして、図３に示すように、高周波数成分（ｆ_Ｒ＋ｆ２）はＬＰＦ２３により除去されるが、低周波数成分（｜ｆ_Ｒ−ｆ２｜）はＬＰＦ２３を通過する。よって、点滅物体Ｂが写っている部分から、同期検波出力として、図４に示すように、低周波数成分（｜ｆ_Ｒ−ｆ２｜）を含む信号２６ａが出力される。

このように、予め定めた所定周期（ｆ_Ｒ＝ｆ１）でカメラ画像上の輝度が変動する物体（反射物体Ｐ）は、同期画像において、周期的な輝度の変動は無く、安定している。一方、所定周期（ｆ_Ｒ＝ｆ１）とは異なる点滅周期（点滅周波数：ｆ２）でカメラ画像上の輝度が変動する他の物体（点滅物体Ｂ）は、同期画像において周期的に輝度が変動する。

よって、時間的に連続する又は所定の時間間隔で連続する複数の同期画像において、周期的な輝度変動がなければ、反射物体Ｐであり、周期的な輝度変動があれば、点滅物体Ｂであると判断することができる。詳細には、同期画像において、時間軸上における周期的な輝度変化が所定の基準以上であれば、反射物体Ｐではなく、点滅物体Ｂであると判断することができる。時間軸上における周期的な輝度変化に基づく判断基準は、様々な手法を用いることができる。

（点滅物体及び点滅周期の検出）
点滅物体検出部１６（点滅周期検出回路）は、連続する複数の同期画像から輝度が変動する画像領域を検出する。そして、周期的に輝度が変動する画像領域から、点滅物体Ｂの点滅周期（点滅周波数：ｆ２）を検出する。

具体的には、先ず、点滅物体検出部１６は、同期画像のうち所定の閾値以上の輝度の信号が出力される画像領域を、反射物体Ｐ又は点滅物体Ｂのいずれかが存在する領域として推定する。そして、この推定領域の各々における輝度の総和及び差分和を求める。

例えば、点滅物体検出部１６は、図４及び図５に示すように、各推定領域における輝度の時間変化（２５、２６ａ、２６ｂ）を求める。そして、各推定領域において、時間軸上で隣接する同期画像間（画像フレーム間）の輝度差の絶対値を積分することにより輝度の差分和を算出する。更に、各同期画像（各画像フレーム）における推定領域の輝度を積分することにより輝度の総和を算出する。

もし推定領域に反射物体Ｐが存在する場合、図４の同期検波出力２５に示すように、輝度は安定し、輝度の周期的変化が無い。このため、差分和はほとんど生じず、光源のムラに応じてゼロに近い値を取りうる。よって、輝度の差分和を総和で除した値（商）は、おおよそ０．１未満となる。一方、もし推定領域に点滅物体Ｂが存在する場合、図４及び図５の同期検波出力（２６ａ、２６ｂ）に示すように、輝度の周期的変化があるため、図５に示すように一定の差分和（２７）が生じる。総和は、撮像時の風景の輝度に応じて出力される。よって、前記した商は、おおよそ０．１以上となる。

なお、ここでは、商を基準として差分和を評価したが、これに限らない。例えば、差分和を、撮像時の風景の輝度或いは画像全体の平均輝度に基づいて定められた閾値と比較して、点滅物体Ｂであるか、反射物体Ｐであるかを判断してもよい。差分和と総和との差を基準として差分和を評価してもよい。

点滅物体検出部１６は、前記した商が所定の閾値（０．１）よりも大きい場合に、輝度が周期的に変動しているため、推定領域には点滅物体Ｂが存在すると判別する。一方、反射物体検出部１７は、前記した商が所定の閾値（０．１）以下である場合に、輝度が周期的に変動していないため、推定領域には反射物体Ｐが存在すると判別する。

なお、差分和及び総和を算出するフレーム数、つまり積分範囲は、点滅物体Ｂが写っている部分の輝度の変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）の１周期分のフレーム数とすればよい。検出時に点滅物体Ｂの点滅周波数（ｆ２）を予測しておくことにより、フレーム数、つまり積分範囲を定めることができる。

また、時間軸上で隣接する同期画像（フレーム）間の輝度差の絶対値を積分することにより、差分和を算出した。本発明はこれに限らない。所定周期と点滅周期の差に応じて、同期画像における輝度変化の変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）が変化する。よって、カメラ１２のフレームレートに対して変動周波数：｜ｆ_Ｒ−ｆ２｜が十分小さければ、連続する複数の同期画像から所定枚数の間隔をおいて抽出した同期画像間の輝度差の絶対値を積分してもよい。積分回数を減らして、処理速度を向上させることができる。

次に、点滅物体検出部１６は、図４に示すグラフから、連続する複数の同期画像における輝度の変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）を求める。そして、既知の所定周期（所定周波数：ｆ_Ｒ）及び変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）から点滅物体Ｂの点滅周期（点滅周波数：ｆ２）を算出する。点滅物体検出部１６は、算出した点滅物体Ｂの点滅周期（点滅周波数：ｆ２）を示す信号を投光制御部１３へ送信する。

投光制御部１３は、予め定めた所定周期（所定周波数：ｆ_Ｒ）を、点滅物体検出部１６により検出された点滅周期（点滅周波数：ｆ２）から所定の基準値以上離れた周期に変更する。これにより、点滅物体Ｂが写っている部分の輝度の変動周期が短くなり、つまり、変動周波数（｜ｆ_Ｒ−ｆ２｜）が高くなり、点滅物体Ｂと反射物体Ｐとを区別しやすくなる。

このように、車両に搭載されたヘッドライト（投光器１１）が投光する所定の光の強度を所定周期（所定周波数：ｆ_Ｒ）で変動させ、所定の光が照射される領域を撮像してカメラ画像を取得する。カメラ画像から、所定周期に同期して点滅する道路標識（反射物体Ｐ）のみならず、所定周期とは異なる点滅周期で点滅する看板及び広告（点滅物体Ｂ）及びその点滅周期（点滅周波数：ｆ２）を検出することができる。更に、点滅周期を投光制御部１３にフィードバックすることにより、点滅物体Ｂと反射物体Ｐとの分離性能を向上させることができる。

（点滅物体検出方法）
図６を参照して、図１の点滅物体検出装置の動作手順の一例を説明する。

先ず、ステップＳ０１において、投光器１１は、予め定めた所定周期（所定周波数：ｆ_Ｒ）で強度が変動する所定の光を車両の周囲の路面に投光する。また同時に、カメラ１２は、投光された領域を含む車両の周囲の情景を繰り返し撮像して、連続する複数のカメラ画像を取得する。

ステップＳ０３に進み、波形乗算部２２は、連続する複数のカメラ画像を構成する画素信号の各々に対して、所定周期（所定周波数：ｆ_Ｒ）で変動する参照信号を乗算する。ステップＳ０５に進み、ＬＰＦ２３は、乗算後の各画素信号から所定周波数以下の信号成分を抽出して、連続する複数の同期画像を生成する。

ステップＳ０７に進み、点滅物体検出部１６は、同期画像のうち所定の閾値以上の輝度の信号が出力される推定領域の各々において、輝度の総和及び差分和を求める。ステップＳ０９に進み、点滅物体検出部１６は、輝度の差分和を総和で除した値（商）が所定の閾値（１０％）よりも大きいか否かを判断する。

商が所定の閾値（１０％）よりも大きい場合（Ｓ０９でＹＥＳ）、ステップＳ１０に進み、点滅物体検出部１６は、輝度が周期的に変動しているため、推定領域には点滅物体Ｂが存在すると判別する。そして、ステップＳ１１に進み、点滅物体検出部１６は、図４に示す輝度（同期検波出力２６ａ）の変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）から、点滅物体Ｂの点滅周期（点滅周波数：ｆ２）を算出する。更にステップＳ１２に進み、投光制御部１３は、予め定めた所定周期（所定周波数：ｆ_Ｒ）を、点滅物体検出部１６により検出された点滅周期（点滅周波数：ｆ２）から所定の基準値以上離れた周期に設定する。

一方、商が所定の閾値（１０％）以下である場合（Ｓ０９でＮＯ）、ステップＳ１３に進み、反射物体検出部１７は、輝度が周期的に変動していないため、推定領域には反射物体Ｐが存在すると判別する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

予め定めた所定周期でカメラ画像上の輝度が変動する物体（反射物体Ｐ）は、同期画像において、周期的な輝度の変動は無く、安定している。一方、所定周期とは異なる周期（点滅周期）でカメラ画像上の輝度が変動する他の物体（点滅物体Ｂ）は、同期画像において周期的に輝度が変動する。よって、連続する複数の同期画像のうち周期的に輝度が変動する画像領域から、点滅物体Ｂの点滅周期を検出することができる。したがって、所定周期でカメラ画像上の輝度が変動する物体と、当該周期とは異なる周期でカメラ画像上の輝度が変動する点滅物体Ｂとを区別することができる。

予め定めた所定周期（ｆ１）を、検出された点滅周期（ｆ２）から所定の基準値以上離れた周期に設定することにより、点滅物体Ｂと反射物体Ｐとの分離性能を向上させることができる。

（第２実施形態）
点滅物体Ｂがテクスチャ（模様を含む）を有する場合、点滅物体Ｂの輝度そのものが変動しているのか、或いは点滅物体Ｂの模様が画像上で動くことにより輝度が変動しているように見えるのか、を判断することは難しい。

第２実施形態では、点滅物体Ｂの中から、テクスチャの影響を受けない輝度一定領域を検出することにより、テクスチャの影響による点滅物体Ｂの誤検知を抑制する方法を説明する。

図７に示すように、第２実施形態に係わる点滅物体検出部１６は、テクスチャ検知部３１と、領域設定部３２と、変動検知部３３とを備える。

テクスチャ検知部３１は、輝度の総和及び差分和を求めるための推定領域の各々について、テクスチャを有するか否かを判断する。図８は、テクスチャ検知部３１が検知したテクスチャを有する推定領域３４の例を示す。ここでは、電光掲示板により縦縞の背景に「Ｃａｆｅ」という文字が表記された看板を示す。図８の例は、文字及び背景の間に所定値以上の輝度差があり、縦縞の模様にも所定値以上の輝度差がある。

領域設定部３２は、この推定領域の中から、テクスチャの影響を受けない輝度一定領域を検出する。具体的には、例えば縦５画素×横５画素からなる微少領域を設定する。微少領域は、車両及び物体のフレームレート当たりの移動量に基づき、画素内に物体が留まる領域である。微少領域を推定領域の中で走査して、輝度の分散値が所定の基準値以下になる箇所、すなわちテクスチャが無い箇所を探索する。図８の例では、左上の角部に位置する微少領域３５において、輝度の分散値が所定の基準値以下になるため、領域設定部３２は、この位置に、テクスチャの影響が無い輝度一定領域を設定する。

そして、変動検知部３３は、第１実施形態における推定領域を、輝度一定領域に置き換えて、領域の各々における輝度の総和及び差分和を求める。そして、例えば、輝度の差分和を総和で除した値（商）に基づいて、輝度一定領域に、反射物体Ｐ又は点滅物体Ｂのいずれが存在するかを判断する。テクスチャが検知されなかった推定領域については、第１実施形態と同様に、推定領域について、点滅物体Ｂの有無を判断すればよい。

図９を参照して、第２実施形態に係わる点滅物体検出部１６の動作を説明する。図９のフローチャートは、図６のステップＳ０５とステップＳ０７の間において実施される。

先ず、ステップＳ２１において、テクスチャ検知部３１は、テクスチャを有するか否かを判断する。推定領域３４がテクスチャを有する場合（Ｓ２１でＹＥＳ）、ステップＳ２３に進み、領域設定部３２は、縦５画素×横５画素からなる微少領域３５の分散値を取得する。ステップＳ２５に進み、微少領域３５を推定領域３４の中で走査して、輝度の分散値が所定の基準値以下になる微少領域３５を探索する。ステップＳ２７に進み、領域設定部３２は、推定領域３４の中に、輝度一定領域を設定する。その後、ステップＳ０７に戻る。推定領域３４がテクスチャを有さない場合（Ｓ２１でＮＯ）、ステップＳ０７に戻る。

同期画像の中に反射物体Ｐ又は点滅物体Ｂのいずれかが存在する領域として推定された領域（推定領域）に、テクスチャが含まれているか否かを判断する。そして、テクスチャの影響を受けない輝度一定領域を検出し、この輝度一定領域に対して、輝度の周期的変動の有無を判定する。これにより、反射物体Ｐ又は点滅物体Ｂにテクスチャが含まれている場合であっても、テクスチャの影響による誤検出を抑制することができる。

（第３実施形態）
例えば、カメラ画像上において、道路標識（反射物体Ｐ）とその後方にある電光掲示板（点滅物体Ｂ）とが重なった場合、重なった部分の輪郭を検出することは難しい。このため、異なる物体として認識できない場合がある。

第３実施形態では、連続する複数の同期画像から一部の画像を間引いた間引き画像を生成することにより、点滅周期（ｆ２）のみならず、異なる周波数（ｆ_Ｒ＝ｆ１、ｆ２）で輝度が変動する反射物体Ｐと点滅物体Ｂとの重畳の有無を検出する方法を説明する。

図１０を参照して、第３実施形態に係わる電子回路１８の回路構成を説明する。電子回路１８は、図１に示す構成要素（１５、１６、１７）の他に、輝度変動の周期が異なる２以上の物体が画像上において重畳しているか否かを検出するオクルージョン検出部１９を更に備える。

オクルージョン検出部１９は、テクスチャ補正部４５と、画像合成部４６と、波形乱れ検知部４７とを備える。テクスチャ補正部４５は、テクスチャ検知部３１により検知されたテクスチャを有する推定領域について、テクスチャの影響を無くすための正規化処理を実施する。具体的には、テクスチャに変化が無い範囲において、連続する複数の同期画像（ｆｒ０〜ｆｒ１０、・・・）の推定領域を正規化する。具体的には、図１１Ａに示すように、同期画像ｆｒ０を基準にして、他の同期画像（ｆｒ１〜ｆｒ１０、・・・）の各々を正規化する。これにより、図１１Ａに示すように、正規化した後の同期画像における周期的な輝度変化を、テクスチャの影響を受けることなく、検出することができる。なお、図１１Ａに示す例では、道路標識４１の全体が後方にある看板３４に重畳している。

そして、画像合成部４６及び波形乱れ検知部４７は、フレームシフトによる画像合成処理により、時間軸上における周期的な輝度変化を、空間軸上における周期的な輝度変化として検出する。

本実施形態ではハイスピードカメラを用いた高速度撮影を行う。このため、図１１Ａに示す正規化後の同期画像（ｆｒ１〜ｆｒ１０、・・・）を、リアルタイムに処理して、時間軸上における周期的な輝度変化を検出することができる。だたし、より計算コストを低く抑えるため、時間軸上における周期的な輝度変化を、空間軸上における周期的な輝度変化として検出してもよい。その一例として、以下にフレームシフトによる画像合成について、説明する。

先ず、画像合成部４６は、図１１Ａに示す正規化した後の同期画像を、画像の縦ライン又は横ラインに沿って複数のベルト領域に分割する。そして、図１１Ａに示すように、正規化後の同期画像の各々から選ばれたベルト領域３６を合成して、図１１Ｂに示す１つの合成画像（間引き画像）３７を作成する。すなわち、正規化後の同期画像の各々から選ばれたベルト領域３６以外の画像部分が間引かれる。換言すれば、画像合成部４６は、連続する複数の同期画像から異なる位置の画素を抽出することにより、同期画像から一部の画像を間引いた間引き画像を生成する。図１１Ａ及び図１１Ｂの例では、横ラインに沿って分割された１０個のベルト領域３６を正規化した後の同期画像の各々から選択し、時間軸上で１０個のベルト領域３６を並べ、つなぎ合わせる。これにより、画像合成部４６は、図１１Ａに示す時間軸上における周期的な輝度変化を、図１１Ｂに示す１つの合成画像上において、空間軸上における周期的な輝度変化へ変換することができる。よって、図１１Ａに示す正規化後の同期画像において、周期的に輝度が変化する看板３４の様子を、１つの画像（空間軸）上において表現することができる。更に、輝度が安定している道路標識４１の様子を、同じ１つの画像（空間軸）上において表現することができる。すなわち、１つの合成画像（間引き画像）から、互いに重畳する道路標識４１及び看板３４を個別に検出することができる。更に、後述するように、１つの合成画像（間引き画像）から、看板３４の点滅周期（点滅周波数ｆ２）を検出することもできる。

なお、画像合成部４６は、同期画像のうち周期的に輝度が変動する画像領域の輝度に基づいて、間引き間隔を調整することができる。間引き間隔は、ベルト領域３６の幅（点滅画像の高さ）であって、例えば、画素のライン数として調整することができる。所定周期と点滅周期の差に応じて、同期画像における輝度変化の変動周期（変動周波数：｜ｆ_Ｒ−ｆ２｜）が変化する。よって、カメラ１２のフレームレートに対して変動周波数：｜ｆ_Ｒ−ｆ２｜が小さいほど、間引き間隔（ベルト領域３６の幅）を小さくして、つなぎ合わせるベルト領域の数を増やす。これにより、１枚の合成画像に周期的な輝度変化を現れるようにできる。また、カメラ１２のフレームレートに対して変動周波数：｜ｆ_Ｒ−ｆ２｜が十分小さければ、連続する複数の同期画像から所定枚数の間隔をおいて、抽出した同期画像をつなぎ合わせて、間引き画像を生成する。１枚の合成画像（間引き画像）に、周期的な輝度変化が現れるようにできる。

なお、連続する複数の同期画像から異なる位置の画素を抽出する例を示したが、これに限らず、時間軸上における周期的な輝度変化を、空間軸上における周期的な輝度変化として検出できればよく、時間軸上で連続する複数の同期画像から同一領域の画素を抽出して、空間軸上にずらして並べて、つなぎ合わせて１つの合成画像（間引き画像）としてもよい。

次に、波形乱れ検知部４７は、図１１Ｂに示す合成画像３７における空間軸上の輝度の周期的変化に基づいて、道路標識３８（反射物体Ｐ）及び看板（点滅物体Ｂ）及び点滅周期ｆ２を検出する。具体的には、波形乱れ検知部４７は、推定領域において、空間軸上の輝度が周期的に変化している（例えば、縞状）場合、点滅物体Ｂが存在すると判別する。逆に、空間軸上の輝度が周期的に変化していない場合、反射物体Ｐが存在すると判別する。

先ず、ベルト領域３６の幅方向、図１１Ｂに示す合成画像における縦ライン（Ｌ１、ＬＫ）の各々について、輝度の変化を評価する。縦ラインＬ１には、看板（点滅物体Ｂ）のみが存在するため、図１１Ｃに示すように、縦ライン（Ｌ１）沿った輝度の変化は、一定周期の波形を形成する。一方、縦ラインＬＫには、看板（点滅物体Ｂ）及び道路標識３８（反射物体Ｐ）が存在する。合成画像３７において、道路標識３８（反射物体Ｐ）の輝度は空間軸上で安定している。換言すれば、道路標識３８がある部分に、輝度の周期的変化（例えば、縞模様）は生じない。よって、図１１Ｃに示すように、縦ライン（ＬＫ）沿った輝度の変化は、一定周期の波形を形成せず、波形に乱れが生じる。道路標識３８（反射物体Ｐ）が存在する部分４１で、輝度が一定値を取る。

このようにして、波形乱れ検知部４７は、波形の乱れから、看板（点滅物体Ｂ）に重なった道路標識３８（反射物体Ｐ）を検出することができる。具体的には、前述した差分和及び総和を用いて周期的な輝度変化の有無を判断する方法を適用することができる。更に、図１１Ｃに示す一定周期の波形から、図４に示した波形２６ａと同様にして、看板（点滅物体Ｂ）の点滅周期（ｆ２）を求めることができる。

図１２を参照して、第３実施形態に係わるオクルージョン検出部１９の動作を説明する。図１２のフローチャートは、図６のステップＳ０５とステップＳ０７の間において実施される。

先ず、ステップＳ２１において、テクスチャ検知部３１は、テクスチャを有するか否かを判断する。推定領域３４がテクスチャを有する場合（Ｓ２１でＹＥＳ）、ステップＳ３１に進み、テクスチャ補正部４５は、テクスチャ検知部３１により検知されたテクスチャを有する推定領域３４について、図１１Ａに示すように、テクスチャの影響を無くすための正規化処理を実施する。

ステップＳ３３に進み、画像合成部４６は、正規化後の複数の同期画像から異なる位置の画素を抽出することにより、図１１Ｂに示す１つの間引き画像３７を生成する。ステップＳ３５に進み、波形乱れ検知部４７は、図１１Ｃに示すように、波形の乱れから、看板（点滅物体Ｂ）に重なった道路標識３８（反射物体Ｐ）を検出する。具体的には、波形乱れ検知部４７は、図１１Ｂに示す合成画像３７における空間軸上の輝度の周期的変化に基づいて、道路標識３８（反射物体Ｐ）及び看板（点滅物体Ｂ）及び点滅周期ｆ２を検出する。その後、図６のステップＳ１２へ戻る。一方、推定領域３４がテクスチャを有さない場合（Ｓ２１でＮＯ）、図６のステップＳ０７に戻る。

以上説明したように、第３実施形態によれば、以下の作用効果が得られる。

間引き画像３７を生成することにより、連続する複数の同期画像における点滅周期（点滅周波数ｆ２）を１枚の画像（間引き画像）から検出することができる。

連続する複数の同期画像から異なる位置の画素を抽出することによって、間引き画像を生成することにより、１枚の画像（間引き画像）に、連続する複数の同期画像における周期的な輝度の変動を表すことができる。

同期画像の推定領域の輝度に基づいて間引き間隔を調整することにより、１枚の画像（間引き画像）に、連続する複数の同期画像における周期的な輝度の変動を表すことができる。位置を抽出し、輝度の変動について積算することで、他の光源点滅の振幅が正負に存在していることを検知することができる。

連続する複数の同期画像から所定枚数の間隔をおいて抽出した同期画像を用いて、間引き画像を生成する。所定周期と点滅周期の差に応じて、同期画像における輝度変化の周期が変化する。連続する複数の同期画像から所定枚数の間隔をおいて抽出した同期画像を用いて間引き画像を生成することにより、同期画像における輝度変化の周期に適した間引き画像を生成することができる。

なお、画像合成部４６は、連続する複数の同期画像から輝度の変動がある同期画像を抽出し、抽出された同期画像を用いて、間引き画像３７を生成してもよい。輝度変動がある同期画像から間引く画像を生成するので、同期画像における輝度変化の周期に適した間引き画像を生成することができる。間引き画像の空間周波数解析から周波数解析の帯域を低周波化できる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、実施形態において、点滅周期（点滅周波数ｆ２）が１つである場合を説明したが、点滅周期（点滅周波数ｆ２）が２つ以上ある場合であっても、同時に２以上の点滅周期（点滅周波数ｆ２_１、ｆ２_２、・・・）を検出することもできる。

上述の各実施形態で示した各機能は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

１１ 投光器
１２ カメラ
１３ 投光制御部
１５ 同期画像生成部
１６ 点滅物体検出部
１７ 反射物体検出部
２２ 波形乗算部（乗算回路）
２３ 低域通過フィルタ
３１ テクスチャ検知部
３２ 領域設定部
３３ 変動検知部
３４ 看板（点滅物体）
３７ 合成画像（間引き画像）
３８、４１ 道路標識（反射物体）
４５ テクスチャ補正部
４６ 画像合成部
４７ 波形乱れ検知部
Ｂ 点滅物体
ｆ１ 所定周波数（所定周期）
ｆ２ 点滅周波数（点滅周期）
Ｐ 反射物体

Claims (8)

1. 車両に搭載され、前記車両の周囲の情景を繰り返し撮像して、連続する複数のカメラ画像を取得するカメラを用いて、周期的に輝度が変動する点滅物体の点滅周期を検出する点滅物体検出方法であって、
   前記連続する複数のカメラ画像を構成する画素信号の各々に対して、予め定めた所定周期で変動する信号を乗算し、
   乗算後の各画素信号から所定周波数以下の信号成分を抽出して、連続する複数の同期画像を生成し、
   前記連続する複数の同期画像のうち周期的に輝度が変動する画像領域から前記点滅物体の点滅周期を検出する
   ことを特徴とする点滅物体検出方法。
2. 前記連続する複数の同期画像から一部の画像を間引いた間引き画像を生成し、
   前記間引き画像から、前記点滅周期を検出する
   ことを特徴とする請求項１に記載の点滅物体検出方法。
3. 前記連続する複数の同期画像から異なる位置の画素を抽出することによって、前記間引き画像を生成することを特徴とする請求項２に記載の点滅物体検出方法。
4. 前記画像領域の輝度に基づいて、間引き間隔を調整することを特徴とする請求項３に記載の点滅物体検出方法。
5. 前記連続する複数の同期画像から所定枚数の間隔をおいて抽出した同期画像を用いて、前記間引き画像を生成することを特徴とする請求項２〜４のいずれか一項に記載の点滅物体検出方法。
6. 前記連続する複数の同期画像から輝度の変動がある同期画像を抽出し、
   前記抽出された同期画像を用いて、前記間引き画像を生成する
   ことを特徴とする請求項５に記載の点滅物体検出方法。
7. 車両の周囲の路面に所定の光を投光し、
   前記所定の光の強度を前記予め定めた所定周期で変化させ、
   前記カメラを用いて、投光された領域を含む車両の周囲の情景を繰り返し撮像し、
   前記予め定めた所定周期を、前記検出された点滅周期から所定の基準値以上離れた周期に設定する
   ことを特徴とする請求項１〜５のいずれか一項に記載の点滅物体検出方法。
8. 車両に搭載され、前記車両の周囲の情景を繰り返し撮像して、連続する複数のカメラ画像を取得するカメラと、
   前記連続する複数のカメラ画像を構成する画素信号の各々に対して、予め定めた所定周期で変動する信号を乗算する乗算回路と、
   乗算後の各画素信号から所定周波数以下の信号成分を抽出して、連続する複数の同期画像を生成する画像生成回路と、
   前記連続する複数の同期画像のうち周期的に輝度が変動する画像領域から、周期的に輝度が変動する点滅物体の点滅周期を検出する点滅周期検出回路と、
   を備えることを特徴とする点滅物体検出装置。