JP2017228131A - 反射物標検出方法及び反射物標検出装置 - Google Patents

Abstract

【課題】急激な画素値の時間軸変動による反射物標の誤検出を抑制する反射物標検出方法及び反射物標検出装置を提供する。【解決手段】反射物標検出方法は、車両に搭載されたカメラが取得したカメラ画像から投光器が投光する光の強度の周期的変化と同期する反射光を抽出する。反射光の輝度に基づいて、画像上の反射物標の存在領域を推定する。そして、画像上の反射物標の存在領域内における画像の空間軸上の前記した輝度の周期的変化に基づいて、反射物標か否かを判別して、反射物標を検出する。【選択図】図９

Description

本発明は、反射物標検出方法及び反射物標検出装置に関するものである。

従来から、道路標識の位置を判定する技術が知られている（特許文献１参照）。特許文献１では、先ず、近赤外線の照射時の画像と及び非照射時の画像との差分を算出することで差分画像を生成する。そして、差分画像から反射強度が所定値以上であり且つ対象標識の面積に相当する標識領域を検出し、道路標識の画像上の位置に基づいて、道路標識の地図上の位置を特定している。

特開２００９−１６３７１４号公報

しかし、車両の走行に伴って、道路標識を含む反射物標以外の物標、特に、立体物のエッジが画像上を移動する。この移動によりエッジが通過する画素の輝度値がステップ状に変化するため、画素の輝度値に周波数応答が発生ため、エッジの移動部分に周期変化する画素が発生ため、反射物標に周期変化させた光を投光させて、周期変化と同期する反射光を用いて反射物標を検出しようとした場合に、反射物標以外の物標を反射物標として誤って検出してしまう場合があった。

本発明は、上記課題に鑑みて成されたものであり、その目的は、急激な画素の輝度値の周期的変化による反射物標の誤検出を抑制する反射物標検出方法及び反射物標検出装置を提供することである。

本発明の一態様に係わる反射物標検出方法は、車両に搭載されたカメラが取得したカメラ画像から投光器が投光する光の強度の周期的変化と同期する反射光を抽出し、反射光の輝度に基づいて、画像上の反射物標の存在領域を推定し、画像上の反射物標の存在領域内における画像の空間軸上の前記した輝度の周期的変化に基づいて、反射物標か否かを判別して、反射物標を検出する。

本発明によれば、急激な画素値の時間軸変動による反射物標の誤検出を抑制する反射物標検出方法及び反射物標検出装置を提供することができる。

図１は、実施形態に係わる反射物標検出装置の構成を示すブロック図である。 図２は、図１の反射光抽出部１５の詳細な構成を示すブロック図である。 図３Ａは、直線道路２７を車両が走行している時のカメラ画像に写る立体物２８の動きを示す模式図である。 図３Ｂは、反射光抽出部１５から出力される反射光抽出画像の一例であって、図３Ａの立体物２８のエッジ２９を含む示す模式図である。 図４Ａは、ステップ信号の周波数スペクトルに、ＬＰＦ２３の低域通過（ローパス）特性を重畳したグラフである。 図４Ｂは、ＬＰＦ２３を通過した図４Ａのステップ信号の周波数スペクトルを示すグラフである。 図５Ａは、図３Ａの立体物２８のエッジが通過する部分の画素において、急激な輝度変動（ステップ状の輝度変化）が生じる様子を示すグラフである。 図５Ｂは、エッジが通過する部分の各画素に関して、反射光抽出部１５に図５Ａのステップ信号が入力された時に反射光抽出部１５から出力される信号（ステップ応答）の波形の一例を示すグラフである。 図６は、カメラにより取得された複数のカメラ画像を時間軸上に並べた図である。 図７は、図６のカメラ画像に対応する反射光抽出画像を示す図である。 図８は、図７の反射光抽出画像の各々から選ばれたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を示す図である。 図９は、図８のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を合成した合成画像を示す図である。 図１０は、道路標識３５及び立体物３０を包含する反射物標の存在領域の境界線軌跡Ｌａを示す図である。 図１１Ａは、立体物２８の上端のエッジ及び地平線３１の垂直方向への移動を示すカメラ画像を示す。 図１１Ｂは、水平方向のエッジの移動領域３２に一定間隔の縞状の模様（グラデーション）が現れる合成画像を示す図である。 図１２Ａは、垂直方向のエッジの移動領域３６に一定間隔の縞状の模様（グラデーション）が現れる合成画像を示す図である。 図１２Ｂは、図１２Ａのベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎの幅を広げた変形例を示す図である。 図１３は、図１の反射物標検出装置を用いた反射物標検出方法の一例を示すフローチャートである。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（第１実施形態）
図１を参照して、実施形態に係わる反射物標検出装置の構成を説明する。反射物標検出装置は、車両５１に搭載されたカメラ１１を用いて取得されたカメラ画像から、道路周辺に設置された反射物標を検出する。反射物標は、地上に固定されたものであって、例えば、道路標識が含まれる。本例では、道路標識を例に取り説明を続ける。

反射物標検出装置は、車両周囲に所定の光を投光する投光部１１と、投光された領域を含む車両周囲を撮像してカメラ画像を取得するカメラ１２と、投光器１１を制御する投光制御部１３と、カメラ１２により取得されたカメラ画像を一時的に記憶するメモリ１４と、カメラ１２により取得されたカメラ画像に対して画像処理を施すことにより反射物標を検出する電子回路１８とを備える。

投光部１１は、例えば、車両５１に搭載された、プロジェクタヘッドライトやリフレクタを備えたヘッドライトであり、車両周囲に向けて光を照射する。また、投光部１１の発光源として、可視光、赤外光、或いは紫外光の発光源を用いることができる。ヘッドライトの光源の種類は、特に問わず、ＬＥＤ、ＨＩＤ、ハロゲンのいずれであってもよい。

投光制御部１３は、投光部１１が投光する光の強度をＰＷＭ制御にて変調する。また、投光制御部１３は、カメラ１２による撮像タイミングのトリガ信号と、シャッター時間（露出時間）の制御信号とを出力する。更に、投光制御部１３は、ＰＷＭ制御で使用した搬送波信号（参照信号）を電子回路１８（反射光抽出部１５）に出力する。なお、搬送波信号（参照信号）は、投光部１１が投光する光の強度の周期的変化に同期した信号である。

カメラ１２は、車両５１に搭載され、車両５１の周囲を撮像してカメラ画像を取得する撮像部である。カメラ１２は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるデジタルカメラであって、画像処理が可能なデジタル画像を取得する。カメラ１２は、所定の時間間隔で繰り返し車両の前方を撮像して、連続する複数のカメラ画像（フレーム）を取得する。ここでは、カメラ１２として、高速度撮影（例えば、毎秒１０００フレーム）が可能なハイスピードカメラ（高速度カメラ）を用いる。カメラ１２は、投光器１１が投光する光の１周期の間に、複数回（例えば、１０回）の撮像を行う。取得したカメラ画像は、メモリ１４に画像データとして記憶される。

具体的に、カメラ１２が備える撮像素子には、投光部１１が投光する光が反射物標Ｐで反射した反射光と、背景光とが入射する。カメラ１２が備える撮像素子は、所定の輝度感度特性にしたがって、入射する光の強度に応じた輝度を出力する。また、投光部１１より、可視光、赤外光、紫外光等が使用される場合には、カメラ１２が備える撮像素子は、可視光、赤外光、紫外光の波長を観測可能な素子を使用したものとする。

メモリ１４は、カメラ１２より出力されるカメラ画像を所定枚数保存する容量を備えている。メモリ１４には、カメラ１２より時系列で撮像された複数の画像データが保存される。

電子回路１８は、例えば、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータを電子回路１８として機能させるためのコンピュータプログラム（反射物標検出プログラム）を、マイクロコンピュータにインストールして実行する。これにより、汎用のマイクロコンピュータは、電子回路１８として機能する。なお、ここでは、ソフトウェアによって電子回路１８を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、電子回路１８を構成することも可能である。また、電子回路１８に含まれる複数のユニット（１５、１６、１７）を個別のハードウェアにより構成してもよい。更に、電子回路１８のみならず、投光制御部１３の各々も、同様にして、ソフトウェア或いは専用のハードウェアとして実現可能である。更に、電子回路１８は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

電子回路１８は、機能的な構成要素として、反射光抽出部１５と、領域推定部１６と、反射物標検出部１７とを備える。

反射光抽出部１５は、投光制御部１３から出力される参照信号を用いて、メモリ１４に保存されたカメラ画像の各画素値に対して同期検波処理を施し、処理後の信号を再び画像（反射光抽出画像）として構成して出力する。これにより、反射光抽出部１５は、カメラ１２が取得したカメラ画像から光の強度の周期的変化と同期する反射光を抽出することができる。即ち、反射光抽出部１５は、投光器１１が照射する照射光の強度の周期的変化と同期して輝度が変動する画素のみを抽出した反射光抽出画像を出力する。換言すれば、反射光抽出部１５は、カメラ１２が備える撮像素子に入射する光のうち背景光を除去し、投光部１１が投光する光が反射物標Ｐで反射した反射光のみを取り出すことができる。

同期検波処理は、既知の方法を用いることができる。同期検波処理は、メモリ１４に記憶されている複数のカメラ画像中の全画素、或いは、カメラ画像中に処理領域を制限した場合は、画像処理領域中の全画素において実施される。

図２を参照して、反射光抽出部１５の詳細な構成の一例を説明する。反射光抽出部１５は、直流成分除去部２１と、波形乗算部２２と、低域通過フィルタ（ＬＰＦ）２３とを備える。直流成分除去部２１は、メモリ１４に記憶されているカメラ画像から、投光制御の変調周期に相当する枚数分のカメラ画像を読み出す。そして、読み出したカメラ画像を構成する各画素について、画素値のうち直流成分を除去して交流成分のみを出力する。例えば、読み出したカメラ画像中の画素ごとに時系列に沿った輝度の平均処理を行って、各画素の輝度から平均値を除去する。

波形乗算部２２は、各画素値の交流成分に、投光制御部１３から送信される参照信号（搬送波信号）を乗算する。ＬＰＦ２３は、乗算後の信号に含まれる参照信号の高調波成分（交流成分）を除去して出力する。参照信号の周期と反射光の変調周期は一致するため、ＬＰＦ２３からは直流成分のみが出力される。ＬＰＦ２３から所定の閾値以上の輝度の信号が出力される場合、投光器１１が投光する光の強度の周期的変化と同期する反射光である、即ち画像上に反射物標Ｐが写っていると推定できる。

しかしながら、輝度が所定の閾値以上の信号は、反射物標Ｐが写っている部分のみならず、次に示すように、立体物２８のエッジの移動部分からも出力されてしまう。

例えば、図３Ａに示すように、直線道路２７を車両が走行している時、道路２７の左脇に設置された立体物（例えば、柱）２８は、画像内で左方向に移動する。立体物２８の背景には、立体物２８の明るさに比べて十分に明るい例えば青空又は路面が写っている。なお、立体物２８は反射物標ではない。この場合、画像上の立体物２８の輪郭に、ステップ状に輝度が変化するエッジが発生する。この画像の空間軸上のエッジも車両の走行により画像内で移動するため、エッジが移動して通過する部分の画素の画素値或いは輝度は、時間軸上でステップ状に変化する。例えば、図５Ａに示すように、図３Ａの立体物２８のエッジが通過する部分の画素において、時間的に連続する又は所定の時間間隔で連続する複数のフレームの間で、２５５、１０、１０、２５５、・・・という急激な輝度の変動（ステップ状の輝度変化）が生じて、図４Ａのような広い周波数スペクトルを含んだ画素値となる。

図５Ａに示すステップ信号が反射光抽出部１５に入力された時、図４Ａのような広い周波数スペクトルを含んでいるため、このため、図３Ｂに示す反射光抽出画像において、立体物のエッジ２９が移動して通過する部分の画素に、投光器１１が投光する光の強度の周期的変化と同期する同期画素が発生してしまう。よって、図５Ｂに示すような波形の信号（同期検波出力）が反射光抽出部１５から出力される。反射光抽出部１５は、所定の閾値以上の輝度の信号が出力される場合、反射物標以外の物標であるエッジ２９の移動部分を反射物標として誤って検出してしまうという課題が生じる。

そこで、第１実施形態では、領域推定部１６及び反射物標検出部１７が、反射光抽出部１５から出力された信号が、投光器１１が投光した自発光の反射であるか、或いはエッジの移動であるかを判別する。これにより、急激な画素値の時間軸変動による反射物標Ｐの誤検知を抑制する。以下に、詳細を説明する。

（ステップ応答について）
先ず、図５Ａ及び図５Ｂに示したステップ応答について説明する。図５Ａに示すステップ信号に参照信号を乗算すると、波形乗算部２２から正負を伴う信号が出力され、ＬＰＦ２３に入力される。

図４Ａに示すように、ステップ信号の周波数スペクトルＵは、周波数軸上で均一な振幅を示す。周波数スペクトルＵにＬＰＦ２３の低域通過特性を重ねると、高周波領域２５と、低周波領域２６に分かれる。ＬＰＦ２３の低域通過特性により高周波領域２５はカットされ、低周波領域２６のみが残り、図４Ｂに示す周波数スペクトルＵ’となる。よって、図５Ｂに示すような振動波形を有する信号がＬＰＦ２３から出力される。ステップ信号の波形は時間軸上で間延びし、且つ、立ち下がりが緩やかになる。

すなわち、投光器１１の変調周期と同期する反射光の同期検波出力は、直流成分からなり安定している。一方、立体物２８のエッジの移動部分に表れる同期検波出力は、時間軸上において周期的に変化している。したがって、反射光抽出部１５から出力される反射光抽出画像において、エッジの移動部分は、“瞬きながら小さくなる”又は“ちらつきながら小さくなる”ように見える。

よって、時間的に連続する又は所定の時間間隔で連続する複数の反射光抽出画像（図３Ｂ）において、周期的な輝度変動があれば、投光による反射光であり、周期的な輝度変動がなければ、エッジ２９の移動であると判断することができる。詳細には、反射光抽出画像において、時間軸上における周期的な輝度変化が所定の基準以上であれば、反射光ではなく、ステップ応答であると判断することができる。時間軸上における周期的な輝度変化に基づく判断基準は、様々な手法を用いることができる。

（フレームシフトによる画像合成）
次に、ステップ応答による時間軸上における周期的な輝度変化を、画像の空間軸上における周期的な輝度変化として検出する具体的な方法について説明する。

本実施形態ではハイスピードカメラを用いた高速度撮影を行う。このため、ステップ応答による時間軸上における周期的な輝度変化を、リアルタイムに処理して検出することができる。だたし、より計算コストを低く抑えるため、ステップ応答による時間軸上における周期的な輝度変化を、画像の空間軸上における周期的な輝度変化として検出してもよい。その一例として、以下にフレームシフトによる画像合成について、説明する。

領域推定部１６は、反射光抽出部１５が抽出した反射光の輝度に基づいて、画像上の反射物標の存在領域を推定する。具体的に、領域推定部１６は、ＬＰＦ２３から所定の閾値以上の強度の信号が出力された画素に対応する反射光抽出画像上の領域を、反射物標Ｐの存在領域として推定する。例えば、領域推定部１６は、図３Ｂのエッジ２９で囲まれた領域を、反射物標Ｐの存在領域として推定する。なお、反射物標Ｐの存在領域は、図３Ｂのエッジ２９のように、線で囲まれた領域とは限らない。これ以外にも、例えば、領域推定部１６は、直線状或いは曲線状の線分、或いは複数の線分の集合を、反射物標Ｐの存在領域として推定する。

反射物標検出部１７は、ステップ応答による時間軸上における周期的な輝度変化を、画像の空間軸上における周期的な輝度変化として検出する。図６は、カメラ１１により取得された複数のカメラ画像を時間軸上に並べた図である。図６のカメラ画像には、立体物２８及び立体物２８の上端に固定された反射物標からなる道路標識３３が写っている。道路標識３３は、投光器１１の光を強く反射する。このため、道路標識３３から、投光器１１の光の強度の周期的変化と同期して点滅する反射光が検出される。一方、立体物２８は、投光器１１の光を強く反射しない。このため、立体物２８から、投光器１１の光の強度の周期的変化と同期して点滅する反射光は検出されない。

図７は、図６のカメラ画像に対応する反射光抽出画像を示す。道路標識３３は反射物標であるため、安定して反射光が検出され、時間軸上における周期的な輝度変化は観測できない。一方、立体物２８は反射物標でないため、立体物２８のエッジの移動によって、立体物のエッジ２９に時間軸上における周期的な輝度変化が観測される。

領域推定部１６は、道路標識３３及び立体物２８を１つの反射物標の存在領域として推定する。反射物標検出部１７は、図７の反射光抽出画像のうち少なくとも反射物標の存在領域を、画像の縦ライン又は横ラインに沿って複数のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・に分割する。そして、図８に示すように、時間軸上で連続する反射光抽出画像の各々から選ばれたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を合成して、図９に示す１つの合成画像（間引き画像）を作成する。図８及び図９の例では、横ラインに沿って分割されたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を反射光抽出画像の各々から選択し、時間軸上でベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を並べ、つなぎ合わせる。これにより、反射物標検出部１７は、図７に示す時間軸上におけるエッジ２９の周期的な輝度変化を、図９に示す１つの合成画像上において、画像の空間軸上における周期的な輝度変化へ変換することができる。よって、図７の反射光抽出画像において、瞬く又はちらつくエッジ２９の様子を、１つの画像（空間軸）上において表現することができる。

なお、ベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・の幅は、例えば、次のようにして画素のライン数として求めることができる。反射物標検出部１７は、画像上の反射物標の存在領域の高さ又は幅を算出する。具体的に、反射物標検出部１７は、反射物標の存在領域の縦ラインの数又は横ラインの数を計数する。縦ラインの数又は横ラインの数を所定値（既知のインパルス応答分周数）で除して得られたライン数を、ベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・の幅とする。

（画像の空間軸上の輝度の周期的変化の検出）
次に、反射物標検出部１７は、図９の合成画像における画像の空間軸上の輝度の周期的変化に基づいて、反射物標か否かを判別して、反射物標を検出する。具体的には、反射物標検出部１７は、推定された反射物標の存在領域において、画像の空間軸上の輝度の周期的変化が縞状である場合、反射物標ではないと判別する。例えば、反射物標検出部１７は、画像の空間軸上の輝度の周期的変化の振幅中心に対する正負方向の合算値が所定値以下である場合、反射物標ではないと判別する。

先ず、反射物標検出部１７は、合成画像の反射物標の存在領域における輝度の総和及び差分和を求める。図１０に示すように、輝度の差分和は、反射物標の存在領域の境界線軌跡Ｌａに沿って、隣接する画素間の輝度差の絶対値を積分することにより算出される。輝度の総和は、反射物標の存在領域の境界線軌跡Ｌａに沿って、画素の輝度を積分することにより算出される。

反射物標である場合、輝度は安定し、輝度の周期的変化が無いため、差分和はほとんど生じず、光源のムラに応じてゼロに近い値を取りうる。よって、輝度の差分和を総和で除した値（商）は、おおよそ０．１未満となる。一方、反射物標でない場合、輝度の周期的変化があるため、差分和が生じる。総和は、撮像時の風景の輝度に応じて出力される。よって、前記した商は、おおよそ０．１以上となる。

なお、ここでは、商を基準として差分和を評価したが、これに限らない。例えば、差分和を、撮像時の風景の輝度或いは画像全体の平均輝度に基づいて定められた閾値と比較して、反射物標であるか否かを判断してもよい。差分和と総和との差を基準として差分和を評価してもよい。

反射物標検出部１７は、前記した商が所定の閾値よりも大きい場合に、画像の空間軸上の輝度の周期的変化の振幅中心に対する正負方向の合算値は所定値以下であると判断する。そして、この場合、反射物標検出部１７は、反射物標の存在領域において、画像の空間軸上の輝度の周期的変化が一定間隔の縞状であるため、反射物標ではないと判別する。

なお、反射物標検出部１７は、反射物標の存在領域を囲む境界線軌跡Ｌａ全体で差分和を取る必要はなく、境界線軌跡Ｌａの一部であってもよい。図１０の場合、少なくとも、道路標識３５の境界線軌跡の一部と、立体物３０の境界線軌跡の一部とを含む範囲を積分すればよい。また、領域推定部１６は、道路標識３５及び立体物３０を異なる反射物標の存在領域として推定してもよい。これにより、道路標識３５及び立体物３０について、反射物標であるか否かを個別に判別することができる。

以上のように、反射物標検出部１７は、画像上の反射物標の存在領域内における画像の空間軸上の反射光の輝度の周期的変化に基づいて、反射物標か否かを判別することができる。

なお、反射物標検出部１７は、画像の空間軸上の輝度の周期的変化があるか否かを判断する際に用いる画像は、図９の合成画像には限定されず、例えば、図７に示す反射光抽出画像であってもよい。その理由を以下に述べる。

画像を構成する複数の画素は縦方向及び横方向に配列されている。画素の縦ライン上又は横ライン上に、立体物２８の全てのエッジが並ぶ可能性は低い。カメラが備えるレンズの収差により画像に歪みや傾きが生じる。特に、広角レンズを用いた場合や、画像の外周付近では、レンズの収差が大きくなり、画像の歪みや傾きも大きくなる。このため、図３Ａに示す立体物２８のように、直線で輪郭が構成される人工物であって、目視では垂直に見える物であっても、画素レベルで見ると、その線状のエッジ全体が、画像の同じ縦ライン上に位置する可能性は極めて低い。つまり、画像の縦ラインに対して、図２３Ｂのエッジ２９は傾斜している可能性が高い。

立体物２８のエッジが傾斜している場合、ステップ応答のタイミングに各画素の微少な時間差が生じ、１つの反射光抽出画像においてエッジ２９の輝度差及び時間差が縞模様（グラデーション）で観測される。

立体物２８のエッジが傾斜している場合、エッジの画像上の位置に応じて、ステップ応答のタイミングが変化する。すると、図３Ｂのエッジ２９には図５Ｂの振動波形が反映される。つまり、１つの反射光抽出画像において、エッジ２９に沿って輝度の周期的変化が生じ、エッジ２９には縞状の輝度変化（グラデーション）が生じる。エッジ２９が傾斜した直線状であれば、縞状の輝度変化は一定の間隔で発生する。換言すれば、エッジ２９の輝度変化の画像上の空間周波数は一定となる。

このように、図３Ｂのエッジ２９は、立体物２８のエッジが移動して通過する部分お画素に表れる同期検波出力であるため、時間軸上において周期的に輝度が変化している。更に、立体物２８のエッジが画像の縦ライン又は横ラインから傾斜していれば、１つの反射光抽出画像において、図３Ｂのエッジ２９に、画像の空間軸上の輝度の周期的変化が発生する。

以上説明した理由から、反射物標検出部１７は、１つの反射光抽出画像内における画像の空間軸上の反射光の輝度の周期的変化に基づいて、反射物標か否かを判別することができる。反射光抽出画像であっても、図１０を参照して説明した合成画像における差分和を用いた判別方法を援用することができる。

（反射物標検出方法の一例）
図１３を参照して、図１の反射物標検出装置のうち電子回路１８の動作手順の一例を説明する。

先ず、ステップＳ０１において、反射光抽出部１５は、カメラ１２で取得されたカメラ画像から投光器１１が投光する光の強度の周期的変化と同期する反射光を抽出し、図３Ｂ又は図７に示す反射光抽出画像を生成する。図７に示すように、反射光抽出部１５は、時間的に連続する複数の反射光抽出画像を生成する。

ステップＳ０３に進み、領域推定部１６は、抽出した反射光の輝度に基づいて、画像上の反射物標の存在領域を推定する。図３Ｂの例では、所定の閾値以上の輝度を有するエッジ２９を反射物標の存在領域として推定する。図７の例では、所定の閾値以上の輝度を有する道路標識３４及び立体物のエッジ２９を含む領域を反射物標の存在領域として推定する。

ステップＳ０５に進み、反射物標検出部１７は、画像上の反射物標の存在領域内における画像の空間上の輝度の周期的変化に基づいて、反射物標Ｐか否かを判別して、反射物標Ｐを検出する。ステップＳ０５は、詳細には、ステップＳ５１〜Ｓ６５からなる。

先ず、ステップＳ５１において、図１０に示したように、境界線軌跡Ｌａに沿って、輝度の総和及び差分和を算出する。ステップＳ５３に進み、差分和を総和で除した値（商）が０．１よりも大きいか否かを判断する。商が０．１よりも大きい場合、境界線軌跡Ｌａに沿って輝度が安定していない、つまり周期的に輝度が変化している、と判断できる。よって、この場合（Ｓ５３でＹＥＳ）、反射物標であるとは判断せず、ステップＳ５５以降において、合成画像を用いて、反射物標であるか否かを詳細に検討する。

一方、除算値が０．１以下である場合（Ｓ５３でＮＯ）、ステップＳ６３に進み、反射光抽出部１５は、合成画像を用いた詳細な検討（Ｓ５５〜）を実施せずに、反射物標であると判断し、フローを終了する。

ステップＳ５５において、先ず、反射物標検出部１７は、反射物標の存在領域の高さ又は幅を算出する。具体的には、反射物標の存在領域の縦又は横のライン数を求める。高さ又は幅の選択は、長い方を選択すればよい。

ステップＳ５７に進み、反射物標検出部１７は、図７の各反射光抽出画像を、縦ライン又は横ラインに沿って複数のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・に分割する。そして、図８に示すように、反射光抽出画像の各々から選ばれたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、ｆ_４、・・・を合成して、図９に示す１つの合成画像（間引き画像）を取得する。

ステップＳ５９に進み、ステップＳ５１と同様にして、境界線軌跡Ｌａに沿って、輝度の総和及び差分和を算出する。ステップＳ６１に進み、ステップＳ５３と同様にして、商が０．１よりも大きいか否かを判断する。商が０．１よりも大きい場合、反射光抽出画像だけでなく合成画像においても、周期的に輝度が変化している、と判断できる。よって、この場合（Ｓ６１でＹＥＳ）、ステップＳ６５に進み、反射物標Ｐではなく、立体物２８のエッジの移動によるステップ信号の周波数応答であると判断する。一方、商が０．１以下である場合（Ｓ６１でＮＯ）、合成画像における輝度の周期的変化は認められないため、ステップＳ６３に進み、反射物標Ｐであると判断する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

反射物標検出部１７は、推定された画像上の反射物標の存在領域内における画像の空間軸上の反射光の輝度の周期的変化に基づいて、反射物標Ｐか否かを判別して、反射物標Ｐを検出する。これにより、投光による反射光であるか或いはエッジの移動であるかを判別できる。よって、急激な画素値の時間軸変動による反射物標の誤検知を抑制することができる。

反射物標検出部１７は、推定された画像上の反射物標の存在領域において、画像の空間軸上の輝度の周期的変化が縞状である場合、反射物標ではないと判別する。エッジの移動があった場合、反射物標の存在領域の輪郭に沿って、画像上に縞状の模様（グラデーション）が表れる。そこで、画像の空間軸上の輝度の周期的変化がある場合、反射物標ではなく、エッジの移動による輝度の周期的変動であると判別できる。

反射物標検出部１７は、画像の空間軸上の輝度の周期的変化が一定間隔の縞状である場合、反射物標ではないと判別する。このように、縞状の模様（グラデーション）が画像上の一定間隔で検知された場合、急激な変動があった画素値であることを判定する。より正確に、急激な輝度変動が生じた画素を特定することができる。

反射物標検出部１７は、画像の空間軸上の輝度の周期的変化の振幅中心に対する正負方向の合算値が所定値以下である場合、反射物標ではないと判別する。画像上の一定間隔を検知し、急激な変動があった際の低域通過フィルタ２３の影響による変動を検知することができる。

（第２実施形態）
第１実施形態では、図３Ａの直線道路の走行時を例に取り、一般的な反射物標検出方法を例示した。第２及び第３の実施形態では、車両の姿勢変化に応じた反射物標検出方法を説明する。

第２実施形態では、車両のピッチングを検知した時に、反射物標か否かを判別する方法について説明する。反射物標検出装置は、図１と同じハードウェア構成を有する。更に、反射物標検出装置は、車両からピッチングに関する情報を受信するための入出力制御ユニットを更に備える。例えば、反射物標検出装置は、ブレーキ油圧センサ、サスペンションストロークセンサ、或いはジャイロセンサからのセンサ出力、或いはこれらから算出された車両の姿勢変化（ピッチング）を受信する。

車両の姿勢変化（ピッチング）を算出、或いは受信した場合、反射物標検出装置は、第１実施形態で説明した反射物標検出方法を実行する。具体的には、反射物標検出部１７は、推定された画像上の反射物標の存在領域内における画像の空間軸上の輝度の周期的変化に基づいて、反射物標か否かを判別する。換言すれば、反射物標検出部１７は、図１３のステップＳ０５を実行する。

ここで、車両にピッチングが生じると、画像上でエッジが鉛直方向（縦方向）に移動して急激な画素値の時間軸変動が生じる。このとき、水平方向（横方向）の移動は、鉛直方向（縦方向）の移動に比べて十分に小さい。そこで、領域推定部１６は、ステップＳ０３において、画像上のエッジのうち、水平方向に延在するエッジに、反射物標の存在領域を設定する。なお、垂直方向に延在するエッジには反射物標の存在領域を設定しなくてもよい。これにより、演算負荷を軽減できる。例えば、図１１Ａに示すカメラ画像において、立体物２８の上端のエッジ及び地平線３１だけに、反射物標の存在領域を設定する。

また、ステップＳ０３で垂直方向のエッジにも反射物標の存在領域を設定した場合、ステップＳ５１において、境界線軌跡Ｌａのうち水平方向の境界線軌跡Ｌａのみに沿って、輝度の差分和を算出してもよい。これにより、演算負荷を軽減できる。このように、反射光抽出部１５の同期検波出力のうち、水平方向のエッジのみに反射物標の存在領域を設定してもよいし、或いは、境界線軌跡Ｌａのうち水平方向の境界線軌跡Ｌａのみに沿って差分和を算出してもよい。ステップＳ５９においても同様に実施することができる。

更に、エッジの移動方向が予め特定されているため、画像合成に関しても以下のような処理を実施可能である。ステップＳ５５において、反射物標検出部１７は、画像上の水平方向の周期的な輝度変化を検出するために、反射物標の存在領域の幅を算出する。そして、ステップＳ５７において、各反射光抽出画像を、縦ラインに沿って複数のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎに分割する。そして、反射光抽出画像の各々から選ばれたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎを合成して、図１１Ｂに示す１つの合成画像（間引き画像）を取得する。

図１１Ａの地平線３１に対応する合成画像上の領域３２に、一定間隔の縞状の模様（グラデーション）が現れる。

なお、ここでは、車両のピッチング検知をトリガとして、図１３のステップＳ０３移行を実施する実施例を説明した。つまり、ステップＳ０１の同期検波処理は、車両のピッチングを検知する前から実施する例を示した。しかし、これに限ることはなく、ステップＳ０１の同期検波処理も含めてもよい。さらには、車両周囲への光の投光及び撮像まで含めて、車両のピッチング検知をきっかけとして、各動作を開始してもよい。

以上説明したように、反射物標検出装置は、車両のピッチングを検知した時、推定された画像上の反射物標の存在領域内における画像の空間軸上の輝度の周期的変化に基づいて、反射物標か否かを判別する。車両のピッチングが生じると、画像上でエッジが鉛直方向（縦方向）に移動して急激な画素値の時間軸変動が生じる。車両のピッチングを検知した時に、画像上の水平方向（横方向）に輝度の周期的変化を検知して、反射物標か否かを精度良く判別することができる。

（第３実施形態）
第３実施形態では、車両の旋回を検知した時、反射物標か否かを判別する方法について説明する。反射物標検出装置は、図１と同じハードウェア構成を有する。更に、反射物標検出装置は、車両から旋回に関する情報を受信するための入出力制御ユニットを更に備える。例えば、反射物標検出装置は、操舵角センサ、ヨーレートセンサ或いはジャイロセンサからのセンサ出力、或いはこれらから算出された車両の姿勢変化（旋回：ヨーイング）を受信する。

車両の姿勢変化（旋回）を算出、或いは受信した場合、反射物標検出装置は、第１実施形態で説明した反射物標検出方法を実行する。具体的には、反射物標検出部１７は、推定された画像上の反射物標の存在領域内における画像の空間軸上の輝度の周期的変化に基づいて、反射物標か否かを判別する。換言すれば、反射物標検出部１７は、図１３のステップＳ０５を実行する。

ここで、ステアリングホールの操作により車両が旋回すると、画像上でエッジが水平方向（横方向）に移動して急激な画素値の時間軸変動が生じる。このとき、垂直方向（縦方向）の移動は、水平方向（横方向）の移動に比べて十分に小さい。そこで、領域推定部１６は、ステップＳ０３において、画像上のエッジのうち、垂直方向に延在するエッジに、反射物標の存在領域を設定する。なお、水平方向に延在するエッジには反射物標の存在領域を設定しなくてもよい。これにより、演算負荷を軽減できる。

また、ステップＳ０３で水平方向のエッジにも反射物標の存在領域を設定した場合、ステップＳ５１において、境界線軌跡Ｌａのうち垂直方向の境界線軌跡Ｌａのみに沿って、輝度の差分和を算出してもよい。これにより、演算負荷を軽減できる。このように、反射光抽出部１５の同期検波出力のうち、垂直方向のエッジのみに反射物標の存在領域を設定してもよいし、或いは、境界線軌跡Ｌａのうち垂直方向の境界線軌跡Ｌａのみに沿って差分和を算出してもよい。ステップＳ５９においても同様に実施することができる。

更に、エッジの移動方向が予め特定されているため、画像合成に関しても以下のような処理を実施可能である。ステップＳ５５において、反射物標検出部１７は、画像上の垂直方向の周期的な輝度変化を検出するために、反射物標の存在領域の高さを算出する。そして、ステップＳ５７において、各反射光抽出画像を、横ラインに沿って複数のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎに分割する。そして、反射光抽出画像の各々から選ばれたベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎを合成して、図１２Ａに示す１つの合成画像（間引き画像）を取得する。

図１２Ａに示すように、合成画像上の垂直方向のエッジの移動領域３６に、一定間隔の縞状の模様（グラデーション）が現れる。

更に、車両の旋回半径及び車速に応じて、画像上のエッジの移動速度が変化する。移動速度が速まるほど、同期検波出力の強度が高まり、同期検波出力の周期が短くなる。そこで、ステップＳ５７において、図１２Ｂに示すように、同期検波出力の周期が短いほど、のベルト領域ｆ_０、ｆ_１、ｆ_２、ｆ_３、・・・ｆ_Ｎの幅を広くする。或いは、同期検波出力の周期が短いほど、間引く反射光抽出画像の時間間隔を広げる。

以上説明したように、反射物標検出装置は、車両の旋回を検知した時、推定された画像上の反射物標の存在領域内における画像の空間軸上の輝度の周期的変化に基づいて、反射物標か否かを判別する。車両が旋回すると、画像上でエッジが水平方向（横方向）に移動して急激な画素値の時間軸変動が生じる。車両の旋回を検知した時に、画像上の鉛直方向（縦方向）に輝度の周期的変化を検知して、反射物標か否かを精度良く判別することができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

上述の各実施形態で示した各機能は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

１１ 投光器
１２ カメラ
１３ 投光制御部
１４ メモリ
１５反射光抽出部
１６ 領域推定部
１７ 反射物標検出部
１８ 電子回路
２２ 波形乗算部
２３ 低域通過フィルタ（ＬＰＦ）
２８、３０ 立体物（例えば、柱）
２９ エッジ
３２、３６ 移動領域
３３〜３５ 道路標識
Ｌａ 境界線軌跡
Ｐ 反射物標

Claims (7)

1. 車両周囲に所定の光を投光する投光器と、前記所定の光の強度が周期的に変化するように前記投光器を制御する投光制御部と、前記車両に搭載され、投光された領域を含む車両周囲を撮像してカメラ画像を取得するカメラとを用いて、反射物標を検出する反射物標検出方法であって、
   前記カメラが取得したカメラ画像から前記強度の周期的変化と同期する反射光を抽出し、
   抽出した反射光の輝度に基づいて、画像上の反射物標の存在領域を推定し、
   推定された画像上の反射物標の存在領域内における画像の空間軸上の前記輝度の周期的変化に基づいて、前記反射物標か否かを判別して、前記反射物標を検出する
   ことを特徴とする反射物標検出方法。
2. 推定された画像上の反射物標の存在領域において、画像の空間軸上の輝度の周期的変化が縞状である場合、反射物標ではないと判別することを特徴とする請求項１に記載の反射物標検出方法。
3. 画像の空間軸上の輝度の周期的変化が一定間隔の縞状である場合、反射物標ではないと判別することを特徴とする請求項２に記載の反射物標検出方法。
4. 画像の空間軸上の輝度の周期的変化の振幅中心に対する正負方向の合算値が所定値以下である場合、反射物標ではないと判別することを特徴とする請求項２又は３に記載の反射物標検出方法。
5. 前記車両の旋回を検知した時、推定された画像上の反射物標の存在領域内における画像の空間軸上の前記輝度の周期的変化に基づいて、前記反射物標か否かを判別することを特徴とする請求項１〜４のいずれか一項に記載の反射物標検出方法。
6. 車両のピッチングを検知した時、推定された画像上の反射物標の存在領域内における画像の空間軸上の前記輝度の周期的変化に基づいて、前記反射物標か否かを判別することを特徴とする請求項１〜４のいずれか一項に記載の反射物標検出方法。
7. 車両周囲に所定の光を投光する投光器と、
   前記所定の光の強度が周期的に変化するように前記投光器を制御する投光制御部と、
   前記車両に搭載され、投光された領域を含む車両周囲を撮像してカメラ画像を取得するカメラと、
   前記カメラが取得したカメラ画像から反射物標を検出する電子回路と、
   を備える反射物標検出装置であって、
   前記電子回路は、
   前記カメラが取得したカメラ画像から前記強度の周期的変化と同期する反射光を抽出し、
   抽出した反射光の輝度に基づいて、画像上の反射物標の存在領域を推定し、
   推定された画像上の反射物標の存在領域内における画像の空間軸上の前記輝度の周期的変化に基づいて、前記反射物標か否かを判別して、前記反射物標を検出する
   ことを特徴とする反射物標検出装置。