JP2018206035A - 移動量推定装置、移動量推定システムおよび移動量推定方法 - Google Patents

Abstract

【課題】撮像画像の輝度が変化した場合であっても、移動量を精度よく推定すること。【解決手段】実施形態に係る移動量推定装置は、推定部と、検出部と、補正部とを備える。推定部は、車両の周囲が撮像された時系列的な撮像画像における同一の特徴点を結んだオプティカルフローに基づいて車両の移動量を推定する。検出部は、推定部によって推定される移動量が周期的な変動を繰り返す変動期間を検出する。補正部は、検出部によって変動期間が検出された場合に、撮像画像の輝度値を補正する。【選択図】図２

Description

本発明は、移動量推定装置、移動量推定システムおよび移動量推定方法に関する。

従来、車両の周囲を撮像した撮像画像に基づいて車両の移動量を推定する移動量推定装置がある。かかる移動量推定装置では、時系列的な撮像画像から同一の特徴点を結んだベクトルであるオプティカルフローに基づいて移動量を推定する（例えば、特許文献１参照）。

特開２０１６−０２１７１２号公報

しかしながら、従来技術では、撮像画像の輝度が変化した場合、オプティカルフローの精度が低下し、車両の移動量の推定精度が低下するおそれがあった。

本発明は、上記に鑑みてなされたものであって、撮像画像の輝度が変化した場合であっても、移動量を精度よく推定することができる移動量推定装置、移動量推定システムおよび移動量推定方法を提供することを目的とする。

本発明は、移動量推定装置において、推定部と、検出部と、補正部とを備える。推定部は、車両の周囲が撮像された時系列的な撮像画像における同一の特徴点を結んだオプティカルフローに基づいて前記車両の移動量を推定する。検出部は、前記推定部によって推定される前記移動量が周期的に変動を繰り返す変動期間を検出する。補正部は、前記検出部によって前記変動期間が検出された場合に、前記撮像画像の輝度値を補正する。

本発明によれば、撮像画像の輝度が変化した場合であっても、移動量を精度よく推定することができる。

図１Ａは、移動量推定装置の搭載例を示す図である。 図１Ｂは、移動量推定方法の概要を示す図（その１）である。 図１Ｃは、移動量推定方法の概要を示す図（その２）である。 図２は、移動量推定システムのブロック図である。 図３Ａは、推定部による処理の具体例を示す図（その１）である。 図３Ｂは、推定部による処理の具体例を示す図（その２）である。 図３Ｃは、推定部による処理の具体例を示す図（その３）である。 図４は、変動期間の検出処理の具体例を示す図である。 図５は、補正部のブロック図である。 図６は、点滅期間の判定処理の具体例を示す図である。 図７は、補正部の動作を説明する図である。 図８は、抽出部による処理の具体例を示す図である。 図９は、減算部による処理の具体例を示す図である。 図１０は、算出部による処理の具体例を示す図である。 図１１は、移動量推定装置が実行する処理手順を示すフローチャートである。 図１２は、補正部が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る移動量推定装置、移動量推定システムおよび移動量推定方法を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１Ａ〜図１Ｃを用いて実施形態に係る移動量推定装置および移動量推定方法の概要について説明する。図１Ａは、移動量推定装置の搭載例を示す図である。図１Ｂおよび図１Ｃは、移動量推定方法の概要を示す図である。

図１Ａに示すように、移動量推定装置１は、車両Ｃに搭載される。また、車両Ｃは、車両Ｃの後方領域を撮像するカメラ１０を備える。移動量推定装置１は、カメラ１０によって車両Ｃの周囲が撮像された撮像画像から同一の特徴点を結んだオプティカルフローに基づいて車両Ｃの移動量を推定する。

ここで、従来の移動量推定方法では、例えば、車両のハザードランプが点滅した場合など撮像画像の輝度が変化した場合に、移動量の推定精度が低下する場合があった。具体的には、従来の移動量推定方法では、ハザードランプが点灯している期間である点灯期間の撮像画像に基づく、移動量の推定精度が低下する場合があった。

これは、カメラ１０によって撮像された撮像画像において毎回略同じ画素がハザードランプの照射範囲に対応するためである。このため、従来の移動量推定方法では、点灯期間においてかかる照射範囲に対応する画素の輝度値等の時系列的な変化が少なくなる。

具体的には、図１Ｂに示すように、ハザードランプが消灯している期間である消灯期間の時系列的な撮像画像では、車両が移動している場合、特徴点Ｐ１と特徴点Ｐ２とを異なる画素として検出し、特徴点Ｐ１と特徴点Ｐ２とを結んだオプティカルフローＦを導出することができる。

一方、点灯期間においては、ハザードランプのランプカバや反射鏡により特有パターン（図１Ｂに破線で示す部分）が路面に投影される。かかる特有パターンは、輝度が高いため、特有パターンに基づく特徴点が多く抽出される。また、かかる特有パターンは、車両Ｃの移動にともなって移動するため、点灯期間において常に略同じ位置にあるように見える。

このため、特有パターンの特徴点を基にオプティカルフローＦを導出すると、車両Ｃが移動しているにもかかわらず、移動量が「０」または実際の移動量よりも小さく導出されてしまうことがある。

このため、消灯期間および点灯期間に導出したオプティカルフローＦについてそれぞれヒストグラムを作成すると、消灯期間のヒストグラムでは、オプティカルフローＦが車両Ｃの実際の移動量を反映した分布を示す。

一方、点灯期間のヒストグラムでは、車両Ｃの実際の移動量が反映されず、車両Ｃの実際の移動量よりも小さい値（例えば、「０」）で分布が最も多くなる。このため、点灯期間における移動量は、実際の車両Ｃの移動量よりも小さく推定される場合がある。

そこで、実施形態に係る移動量推定方法では、撮像画像の輝度値を補正することで、移動量の推定精度の低下を抑えることとした。

具体的には、図１Ｃに示すように、実施形態に係る移動量推定方法では、まず、オプティカルフローＦに基づいて車両Ｃの移動量を推定する（ステップＳ１）。

続いて、移動量推定方法では、移動量が周期的な変動を繰り返す期間である変動期間を検出する（ステップＳ２）。例えば、移動量推定方法では、移動量が周期的に低下および上昇を繰り返す期間を変動期間として抽出する。なお、変動期間において移動量が低下した期間は、上記の点灯期間に対応し、かかる移動量が上昇した期間は、上記の消灯期間に対応する。

つまり、実施形態に係る移動量推定方法では、ハザードランプの点滅を移動量に基づいて検出することができる。換言すると、実施形態に係る移動量推定方法では、移動量の推移に基づいて撮像画像における輝度の周期的な変化を検出することができる。

そして、実施形態に係る移動量推定方法では、変動期間を検出した場合に、撮像画像の輝度値を補正する（ステップＳ３）。例えば、実施形態に係る移動量推定方法では、点灯期間における撮像画像の各画素の輝度値を消灯期間における撮像画像の各画素の輝度値へ近づけることで撮像画像を補正する。

これにより、実施形態に係る移動量推定方法では、点灯期間におけるオプティカルフローＦを消灯期間におけるオプティカルフローＦと同等の精度で導出することができる。すなわち、図１Ｃのグラフに破線で示すように、点灯期間および消灯期間で移動量の変動を抑えることができる。

つまり、実施形態に係る移動量推定方法では、撮像画像の輝度が変化した場合であっても、移動量を精度よく推定することができる。

次に、図２を用いて実施形態に係る移動量推定システム１００の構成について説明する。図２は、移動量推定システム１００のブロック図である。図２に示すように、移動量推定システム１００は、移動量推定装置１と、カメラ１０とを備える。

なお、図２には、表示装置１５を併せて示す。かかる表示装置１５は、例えば、液晶パネルであり、移動量推定装置１から出力される情報を表示する。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラである。

また、カメラ１０は、例えば、車両Ｃからリバース信号が入力される場合に、所定のフレームレートで車両Ｃ後方を撮像し、撮像画像を移動量推定装置１へ出力する。また、カメラ１０は、魚眼レンズ等の広角レンズを備えており、車両Ｃの周囲を広範囲に撮像することが可能である。なお、カメラ１０は、車両Ｃ後方を撮像する場合に限らず、車両Ｃの前方や側方を撮像する位置に設けられてもよい。

移動量推定装置１は、制御部２および記憶部３を備える。制御部２は、推定部２１と、検出部２２と、補正部２３と、算出部２４と、生成部２５とを備える。また、記憶部３は、画像情報３１を記憶する。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Desk Drive）、入出力ポートなどを有するコンピュータや各種回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶された各種プログラムを読み出して実行することによって、制御部２の推定部２１、検出部２２、補正部２３、算出部２４および生成部２５として機能する。

また、制御部２の推定部２１、検出部２２、補正部２３、算出部２４および生成部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＯＭ、ＲＡＭおよびＨＤＤに対応する。ＲＯＭ、ＲＡＭおよびＨＤＤは、画像情報３１や各種プログラムの情報等を記憶することができる。なお、制御部２は、有線や無線のネットワークで接続された他のコンピュータや可搬型記憶媒体を介して画像情報３１や各種情報を取得することとしてもよい。

推定部２１は、補正部２３から入力される撮像画像に基づいてオプティカルフローＦを導出し、車両Ｃの移動量を推定する。具体的には、まず、推定部２１は、カメラ１０から入力される時系列的な撮像画像から特徴点を抽出する。

推定部２１は、例えばソベルフィルタ等の既知の手法を特徴点の抽出処理に用いることができる。続いて、推定部２１は、時系列的な撮像画像から抽出した特徴点に基づいてオプティカルフローＦを導出する。

推定部２１は、例えば勾配法であるLucas-Kaneda法やHorn-Schunk法等の既知の手法によってオプティカルフローＦを生成することができる。なお、推定部２１は、勾配法に限らず、ブロックマッチング法によってオプティカルフローＦを導出することにしてもよい。

そして、推定部２１は、導出したオプティカルフローＦに基づいて車両Ｃの移動量を推定する。ここで、図３Ａ〜図３Ｃを用いて推定部２１による処理の詳細について説明する。図３Ａ〜図３Ｃは、推定部２１による処理の詳細を説明する図である。

なお、図３Ａは、撮像画像Ｉと座標平面Ｒとの対応関係を模式的に示し、図３Ｂは、移動量の推定に用いる推定領域Ｒｂを模式的に示す。そして、図３Ｃは、路面ベクトルＶの大きさに関するヒストグラムを示す。また、図３Ｃでは、横軸を路面ベクトルＶの大きさ（例えば、１ｍｍ間隔）とし、縦軸を路面ベクトルＶの個数としている。

図３Ａに示すように、推定部２１は、カメラ１０の視点位置１０ａに基づいてオプティカルフローＦを座標平面Ｒに投影することで路面ベクトルＶへ変換する。具体的には、推定部２１は、カメラ１０の取り付け高さおよび取り付け俯角によって設定される視点位置１０ａを仮想視点に変換することで、オプティカルフローＦを路面ベクトルＶへ変換する。

より詳細には、推定部２１は、撮像画像Ｉを等距離射影方式により変換した平面を取り付け俯角だけ回転させることで、オプティカルフローＦを路面座標系である座標平面Ｒの路面ベクトルＶへ変換する。

続いて、推定部２１は、路面ベクトルＶに基づいて車両Ｃの移動量を推定する。ここで、推定部２１は、図３Ｂに示す撮像画像Ｉの下側の領域Ｉｂに対応する座標平面Ｒの推定領域Ｒｂの路面ベクトルＶに基づいて車両Ｃの移動量を推定する。

換言すると、座標平面Ｒにおける推定領域Ｒｂ以外の路面ベクトルＶを車両Ｃの移動量の推定に用いるベクトルから除外する。これは、推定部２１は、路面に対応する路面ベクトルＶに基づいて車両Ｃの移動量を推定するためである。

すなわち、撮像画像Ｉの領域Ｉｂ以外には、路面以外の物体が写り込みやすいためであり、推定領域Ｒｂ以外の路面ベクトルＶは、路面以外のベクトルである可能性が高いためである。このため、推定部２１は、例えば、路面ベクトルＶの初期座標が推定領域Ｒｂ内にある路面ベクトルＶのみを対象として移動量の推定を行う。

このように、推定部２１は、推定領域Ｒｂの路面ベクトルＶに絞り込んで車両Ｃの移動量を推定することで、移動量の推定精度を向上させることができる。

そして、推定部２１は、図３Ｃに示すように、推定領域Ｒｂの路面ベクトルＶについてヒストグラムを作成し、ヒストグラムにおいて個数が最も多くなる箇所を代表ベクトルとし、かかる代表ベクトルに基づいて車両Ｃの移動量として推定する。

同図に示す例では、推定部２１は、路面ベクトルＶの大きさの最も個数が多くなる距離Ｄ８を代表ベクトルとし、かかる代表ベクトルに基づいて車両Ｃの移動量として推定することとなる。また、推定部２１は、推定した移動量および路面ベクトルＶを含むベクトル情報を撮像画像に対応付けて検出部２２へ出力する。

なお、図３Ｂに示す推定領域Ｒｂは、一例であって、これに限定されるものではなく、任意に変更することができる。また、推定領域Ｒｂの下端は、撮像画像Ｉの下端と一致している必要はなく、かかる下端から任意の幅を持たすことにしてもよい。具体的には、推定領域Ｒｂをカメラ１０の撮像領域においてリアバンパなど車両Ｃが写る領域を除外した領域にすることにしてもよい。

また、推定領域Ｒｂの形状も矩形である必要はなく、円形や三角形など他の形状とすることにしてもよい。また、推定部２１は、推定領域Ｒｂを設けず、全ての路面ベクトルＶから車両Ｃの移動量を推定するようにしてもよい。

図２の説明に戻り、検出部２２について説明する。検出部２２は、推定部２１によって推定される移動量が周期的な変動を繰り返す変動期間を検出する。そして、検出部２２は、変動期間を検出した場合、補正部２３へ補正処理の開始指示を出力する。また、検出部２２は、推定部２１から入力されるベクトル情報を算出部２４へ出力する。

ここで、図４を用いて検出部２２による変動期間の検出処理の詳細について説明する。図４は、変動期間の検出処理の具体例を示す図である。なお、図４では、横軸に撮像画像のフレーム、すなわち、時間変化を示し、縦軸に１フレーム当たりの移動量を示す。

まず、検出部２２は、１フレーム当たりの移動量が変動閾値ＴＨａ１を超えて上昇した場合に、ハザードランプの１周期分の点滅周期に対応するフレーム間隔を移動量に基づいて測定する（ステップＳ２１）。

例えば、検出部２２は、移動量が変動閾値ＴＨａ１を超えて減少した後に、変動閾値ＴＨａ１を超えて再度上昇するまでのフレーム数を１周期分の点滅周期に対応するフレーム間隔として測定する。

そして、検出部２２は、測定したフレーム間隔に基づいて変動期間の検出を開始する。ここで、検出部２２は、測定したフレーム間隔が所定範囲から逸脱していた場合、変動期間の検出処理に移行しないようにしてもよい。すなわち、検出部２２は、点滅周期が極端に早い場合、または、遅い場合に変動期間の検出処理を行わないようにすることにしてもよい。

なお、カメラ１０の１秒当たりのフレームレートが約３０フレームである場合、上記の所定範囲は、５〜２０フレームの範囲であり、変動閾値ＴＨａ１は、８ｍｍである。なお、上記の値は、任意に変更することもできる。

続いて、検出部２２は、測定したフレーム間隔に基づいてフレーム範囲ＴＨａ２を設定し（ステップＳ２２）、変動期間の検出を開始する（ステップＳ２３）。かかるフレーム範囲ＴＨａ２は、例えば、測定したフレーム間隔±２フレームの範囲である。すなわち、検出部２２は、測定したフレーム間隔から所定の誤差を許容して変動期間を検出することができる。

そして、検出部２２は、移動量がフレーム範囲ＴＨａ２を満たしつつ、２周期以上続けて変動した場合、変動期間として検出することができる。検出部２２は、変動期間を検出すると、図７にて後述する検出フラグをオンにする。これにより、後述する補正部２３による撮像画像に対する補正処理が開始されることとなる。また、検出部２２は、上記の条件を満たさなくなった場合、検出フラグをオンからオフに切り替える。

なお、上記の例では、検出部２２が、移動量が変動閾値ＴＨａ１を超えて上昇した場合に、点滅周期の測定を開始する場合について説明したが、移動量が変動閾値ＴＨａ１より減少した場合に、点滅周期の測定を開始することにしてもよい。

図２の説明に戻り、補正部２３について説明する。補正部２３は、検出部２２によって変動期間が検出された場合に、撮像画像の輝度値を補正する。ここで、図５を用いて補正部２３の構成の詳細について説明する。図５は、補正部２３のブロック図である。図５に示すように、補正部２３は、決定部２３ａと、判定部２３ｂと、予測部２３ｃと、抽出部２３ｄと、減算部２３ｅとを備える。

決定部２３ａは、撮像画像の特定領域の画素から最も輝度値が高いピーク画素を決定する。かかる特定領域は、例えば、撮像画像において路面を含む領域（例えば、図３Ｂに示した推定領域Ｒｂに相当）である。すなわち、特定領域は、撮像画像において、ハザードランプの照射範囲であり、かつ、路面以外の物体が写り込みにくい領域である。また、決定部２３ａは、フレームごとのピーク画素の輝度値を判定部２３ｂおよび予測部２３ｃへ出力する。なお、かかるピーク画素は、例えば、１つであるが２つ以上であってもよい。

判定部２３ｂは、決定部２３ａより入力されるピーク画素の輝度値の推移に基づいて点滅期間の有無を判定する。ここで、図６を用いて判定部２３ｂによる判定処理の詳細について説明する。図６は、点滅期間の判定処理を説明する図である。なお、図６の横軸に、撮像画像のフレーム、すなわち、時間経過を示し、縦軸にフレームごとのピーク画素の輝度値を示す。

図６に示すように、判定部２３ｂは、まず、ハザードランプの１周期分の点滅周期に対応するフレーム間隔をピーク画素の輝度値に基づいて測定する（ステップＳ３１）。具体的には、判定部２３ｂは、１フレーム当たりの輝度値が変動閾値ＴＨｂ１を超えて上昇した場合に、ハザードランプの１周期分の点滅周期の測定を開始する。

例えば、判定部２３ｂは、点滅周期の測定を開始してから、輝度値が変動閾値ＴＨｂ１より減少した後に、変動閾値ＴＨｂ１を超えて再度上昇するまでのフレーム数を１周期分の点滅周期に対応するフレーム間隔として測定することができる。

なお、例えば、ピーク画素の輝度値が８ビット（０〜２５６）で示される場合、変動閾値ＴＨｂ１は、１６であるが、任意に変更することができる。また、判定部２３ｂは、測定したフレーム間隔が所定範囲から逸脱していた場合、点滅期間の判定処理に移行しないようにしてもよい。すなわち、判定部２３ｂは、点滅周期が極端に早い場合、または、遅い場合に点滅期間の判定処理を行わないようにすることにしてもよい。

続いて、判定部２３ｂは、測定したフレーム間隔に基づいてフレーム範囲ＴＨｂ２を設定し（ステップＳ３２）、点滅期間の有無を判定する（ステップＳ３３）。

かかるフレーム範囲ＴＨｂ２は、例えば、図４に示したフレーム範囲ＴＨａ２と同様に、測定したフレーム間隔±２フレームの範囲である。そして、判定部２３ｂは、点滅期間の有無の判定を開始した後に、輝度値がフレーム範囲ＴＨｂ２を満たしつつ、２周期以上続けて変動した場合、変動期間有りと判定する。

判定部２３ｂは、点滅期間有りと判定すると、図７にて後述する判定フラグをオンにする。また、判定部２３ｂは、輝度値が上記の条件を満たさなくなった場合、すなわち、ハザードランプの点滅が終了した場合に、判定フラグをオンからオフに切り替える。

また、判定部２３ｂは、点灯期間において輝度値が上昇した後に減少するまでの期間を点灯期間とし、減少した後に上昇するまでの期間を消灯期間とした点滅周期を示す周期情報を抽出部２３ｄへ出力する。これにより、抽出部２３ｄでは、後述する点滅領域ＦＲの抽出処理が開始される。

次に、図７を用いて補正部２３による動作について説明する。図７は、補正部２３の動作を説明する図である。なお、図７のＡには、検出部２２によって変動期間が検出された場合にオンとなる検出フラグを示し、図７のＢには、判定部２３ｂによって点滅期間が有ると判定された場合にオンとなる判定フラグを示す。また、図７のＣには、補正部２３による補正処理の動作状況を示す補正フラグを示す。

図７のＡに示すように、検出フラグがオフからオンとなる時刻ｔ１において、図７のＣに示す補正フラグがオンとなる。そして、図７のＢに示すように、判定フラグがオフとなる時刻ｔ４において補正フラグは、オンからオフとなる。

つまり、補正部２３は、移動量の変動量に基づいて撮像画像に対する輝度値の補正を開始し、輝度値の変動量に基づいてかかる補正を終了する。これにより、推定部２１によって移動量が正常に推定されなくなった場合にのみ、かかる補正が開始されることとなる。

一方、補正が開始された後は、推定部２１によって推定される移動量は次第に安定するため、検出フラグがオフとなる。しかしながら、ハザードランプが継続して点滅している場合があるため、輝度値に基づいて補正を終了させることで、点滅期間における補正を継続して行うことができる。

仮に、輝度値の変化に基づいて補正を開始した場合、車両Ｃが止まっている場合等の移動量を算出する必要がない場合に、補正を行うことになる。

また、別の例として、輝度値の変化に基づいて補正を開始すると、点滅する光源（例えば、点滅信号等）が撮像画像に写り込む場合、かかる光源が移動量の推定に影響を与えない場合であっても、補正を行うことになる。さらに、上記の場合に、補正された撮像画像に基づいて移動量を推定することで、移動量の推定精度が低下する場合も考えられる。

実施形態に係る移動量推定装置１では、移動量の変化に基づいて補正を開始することで、上記の不具合を回避することができる。また、輝度値に基づいて補正を終了することで、移動量が安定した後もかかる補正を継続して行うことが可能となる。

すなわち、補正が開始された後は、消灯期間における移動量と点灯期間における移動量との差が小さくなり、変動期間は検出されなくなる。しかしながら、変動期間が検出されなくなった場合であっても、ハザードランプが継続して点滅がしている場合も考えられる。

仮に、移動量の変化に基づいて補正を終了した場合に、ハザードランプが継続して点滅していると、消灯期間および点灯期間における移動量の変化が大きくなる。このため、検出部２２は、再度変動期間を検出し、補正部２１による補正処理が開始されることとなる。

すなわち、移動量の変化に基づいて撮像画像に対する補正を終了すると、補正の開始と終了とをハザードランプの点滅が終了するまで繰り返してしまうこととなる。

このように、実施形態に係る移動量推定装置１は、移動量の変化に基づいて撮像画像に対する補正を開始し、輝度値の変化に基づいてかかる補正を終了することで、撮像画像に対して適切なタイミングで補正することができる。

次に、図５の説明に戻り、予測部２３ｃについて説明する。予測部２３ｃは、ピーク画素の輝度値について点滅期間の１周期あたりの波形を学習し、学習結果に基づいて撮像画像ごとにピーク画素の輝度値を予測する。

例えば、予測部２３ｃは、ピーク画素の輝度値の推移をルックアップテーブルに書き込むことで１周期分の波形を学習する。具体的には、予測部２３ｃは、ピーク画素の輝度値について、例えば、所定の比率を超えて上昇し始めてから、所定の比率を超えて減少し終わるまでの期間の波形を１周期分の波形として学習する。

予測部２３ｃは、かかる波形に基づいて現在のピーク画素の輝度値を予測し、予測した輝度値である予測値を減算部２３ｅへ出力する。これにより、減算部２３ｅは、かかる予測値に基づいて撮像画像における輝度値を補正することとなる。

また、予測部２３ｃは、波形の学習時において加重平均を用いることで平均化する処理を行う。例えば、予測部２３ｃは、輝度値の立ち上がりを開始点として「学習する輝度変化＝係数１×前回までに学習した輝度変化＋係数２×現在の輝度変化」を算出する。例えば、係数１および係数２は、それぞれ０．５であるが仕様等により任意に変更することができる。

図５の説明に戻り、抽出部２３ｄについて説明する。抽出部２３ｄは、判定部２３ｂから入力される周期情報に基づいて撮像画像から点滅領域ＦＲを抽出する。ここで、図８を用いて抽出部２３ｄによる処理の具体例について説明する。図８は、点滅領域ＦＲの抽出処理の具体例を示す図である。

図８に示すように、抽出部２３ｄは、点灯期間の撮像画像の輝度値から消灯期間の撮像画像の輝度値を差し引くことで、点滅領域ＦＲを抽出する。すなわち、点滅領域ＦＲは、点灯期間における撮像画像の輝度値が消灯期間における撮像画像の輝度値よりも大きい値となる画素である。

具体的には、抽出部２３ｄは、点灯期間における撮像画像の画素の輝度値を画素ごとに積算した積算値から、消灯期間における撮像画像の画素の輝度値を積算した積算値を減算することで、点滅領域ＦＲを抽出する。

ここで、抽出部２３ｄは、例えば、点灯期間における積算値と、消灯期間における積算値とのそれぞれに対して加重平均を用いることで平均化する処理を行う。

抽出部２３ｄは、「積算値＝係数１×前回までの積算値＋係数２×今回の輝度値」を点灯期間および消灯期間でそれぞれ算出することで点灯期間および消灯期間のそれぞれに対応する積算値を算出することができる。なお、例えば、係数１は、０．７５であり、係数２は、０．２５であるが、任意に変更することができる。

そして、抽出部２３ｄは、抽出した点滅領域ＦＲの各画素について点灯期間および消灯期間における積算値の差分であるピーク輝度を対応付けて減算部２３ｅへ出力する。なお、ピーク輝度は、点灯期間および消灯期間の輝度値の差分の最大値に対応する。

このように、抽出部２３ｄは、ハザードランプの影響により輝度値が変化する画素のみを抽出することで、全ての画素の輝度値を補正する場合に比べて処理負荷を抑制することができる。

図５の説明に戻り、減算部２３ｅについて説明する。減算部２３ｅは、撮像画像における点滅領域ＦＲの輝度値を補正することで、補正画像Ｉｃを生成する。ここで、図９を用いて減算部２３ｅによる処理の詳細について説明する。図９は、減算部２３ｅによる処理の具体例を示す図である。

図９に示すように、まず、減算部２３ｅは、フレームごとに点滅領域ＦＲの輝度値を調整した調整画像Ｉａを生成する。かかる調整画像Ｉａは、撮像画像の点滅領域ＦＲにおける各画素の輝度値に対して「予測値÷ピーク輝度」を乗算した画像である。

調整画像Ｉａにおける各画素の輝度値は、ハザードランプの点灯の影響による輝度値を示す。すなわち、ハザードランプが点滅する場合、所定の変化率をもって上昇または減少する。このため、輝度値が上昇している期間や、減少している期間の輝度値と、ピーク輝度とのズレが生じる。

つまり、減算部２３ｅは、予測値に基づいて調整画像Ｉａの輝度値を調整することで、フレームごとの輝度変化に応じて輝度値を適切に調整することができる。

そして、減算部２３ｅは、撮像画像Ｉにおける点滅領域ＦＲに対応する各画素の輝度値から調整画像Ｉａの各画素の輝度値を減算することで、補正画像Ｉｃを生成し、図２に示した推定部２１へ出力する。これにより、推定部２１は、撮像画像Ｉの輝度値が変化した場合であっても、車両Ｃの移動量を精度よく推定することができる。

このように、実施形態に係る移動量推定装置１では、１つのピーク画素に着目して予測値を導出し、かかる予測値に基づいて点滅領域ＦＲの全ての画素の輝度値を補正する。

このため、点滅領域ＦＲの全ての画素について予測値を導出する場合に比べて、処理負荷を抑えることができる。換言すると、実施形態に係る移動量推定装置１は、処理負荷を抑えつつ、移動量の推定精度を向上させることが可能である。

図２の説明に戻り、算出部２４について説明する。算出部２４は、検出部２２から入力されるベクトル情報に基づいて撮像画像Ｉに写る障害物の位置を算出する。

ここで、図１０を用いて算出部２４による算出処理の具体例について説明する。図１０は、算出部２４による処理の具体例を説明する図である。図１０には、路面である座標平面Ｒからカメラ１０の視点位置１０ａまでの高さＨＡと、障害物２００の高さＨと、高さＨＡおよび高さＨの差分である高さＨＢを示している。

ここでは、車両Ｃが距離Ｄ１だけ障害物２００に近づいたものとする。すなわち、推定部２１によって車両Ｃの移動量が距離Ｄ１として推定されたものとする。かかる場合に、高さがある障害物２００の頂点の特徴点に対応する路面ベクトルＶｃは、幾何学的関係から距離Ｄ１よりも長い距離Ｄ２として算出される。

このため、算出部２４は、距離Ｄ１よりも大きい路面ベクトルＶｃに対応する特徴点を障害物２００として検出することができる。このとき、三角比の関係により、ＨＡ：ＨＢ＝Ｄ２：Ｄ１となる。また、高さＨＢは、ＨＡ−Ｈであるため、障害物２００の高さＨは、Ｈ＝ＨＡ−（ＨＡ×Ｄ１）／Ｄ２となる。

なお、高さＨＡ、距離Ｄ１および距離Ｄ２は、既知であるため、算出部２４は、これらを上記式に代入することで障害物２００の高さＨを求めることができる。算出部２４は、障害物２００の特徴点に対応する路面ベクトルＶｃの終点から距離Ｄ１分だけカメラ１０側に近づけた値を障害物２００の位置として算出する。そして、算出部２４は、算出した障害物２００の位置に関する位置情報を生成部２５へ出力する。

このように、算出部２４は、障害物の位置を算出することで、例えば、図示しない緊急ブレーキシステムを作動させたり、ユーザへ障害物の位置を通知することにより、車両Ｃの衝突を事前に回避することができる。

図２の説明に戻り、生成部２５について説明する。生成部２５は、例えば、上記した位置情報等に基づいて報知画像を生成し、表示装置１５へ出力する。例えば、生成部２５は、車両Ｃの進行予測線や撮像画像に含まれる障害物２００を囲った枠画像等の重畳画像を生成し、かかる重畳画像を撮像画像Ｉに重畳することで、報知画像を生成することができる。

次に、図１１を用いて実施形態に係る移動量推定装置１が実行する処理手順について説明する。図１１は、移動量推定装置１が実行する処理手順を示すフローチャートである。かかる処理手順は、移動量推定装置１の制御部２によって繰り返し実行される。

図１１に示すように、まず、推定部２１は、時系列的な撮像画像に基づいて車両Ｃの移動量を推定する（ステップＳ１０１）。続いて、検出部２２は、変動期間を検出したか否かを判定する（ステップＳ１０２）。

かかる判定において、検出部２２が変動期間を検出できなかった場合（ステップＳ１０２，Ｎｏ）、算出部２４は、障害物の位置を算出し（ステップＳ１０３）、生成部２５は、報知画像を生成して（ステップＳ１０４）、処理を終了する。

一方、検出部２２によって変動期間が検出された場合（ステップＳ１０２，Ｙｅｓ）、補正部２３は、撮像画像の輝度値を補正し（ステップＳ１０５）、推定部２１は、輝度値が補正された撮像画像に基づいて移動量を推定し（ステップＳ１０６）、ステップＳ１０３以降の処理を行う。

次に、図１２を用いて補正部２３による処理手順について説明する。図１２は、補正部２３による処理手順を示すフローチャートである。なお、かかる処理手順は、図１１に示したステップＳ１０５に対応し、上記した検出フラグがオンになった後の手順を示す。

まず、決定部２３ａは、ピーク画素を決定し（ステップＳ２０１）、抽出部２３ｄは、点滅領域ＦＲを抽出する（ステップＳ２０２）。続いて、予測部２３ｃは、予測値を予測する（ステップＳ２０３）。

次に、減算部２３ｅは、調整画像Ｉａを生成し、撮像画像から減算し（ステップＳ２０４）、補正画像Ｉｃを出力する（ステップＳ２０５）。そして、補正部２３は、判定部２３ｂによる判定フラグがオフであるか否かを判定し（ステップＳ２０６）、判定フラグがオフである場合（ステップＳ２０６，Ｙｅｓ）、処理を終了する。一方、補正部２３は、判定フラグがオンであった場合（ステップＳ２０６，Ｎｏ）、ステップＳ２０３以降の処理を継続する。

上述したように、実施形態に係る移動量推定装置１は、推定部２１と、検出部２２と、補正部２３とを備える。推定部２１は、車両Ｃの周囲が撮像された時系列的な撮像画像における同一の特徴点を結んだオプティカルフローＦに基づいて車両Ｃの移動量を推定する。検出部２２は、推定部２１によって推定される移動量が周期的に変動を繰り返す変動期間を検出する。補正部２３は、検出部２２によって変動期間が検出された場合に、撮像画像の輝度値を補正する。したがって、移動量推定装置１によれば、撮像画像の輝度が変化した場合であっても、移動量を精度よく推定することができる。

また、実施形態に係る移動量推定装置１は、撮像画像から得られる情報に基づいて光源の点滅を特定し、かかる点滅による影響を排除して正しい移動量を推定することができる。換言すると、車両Ｃからハザードランプの点灯状態を取得することなく、車両Ｃの移動量を正しく推定することが可能である。このため、移動量推定装置１は、車両Ｃに対して取り付けが容易であるとともに、特に後付けで車両Ｃに取り付ける場合に優れた効果を奏する。

ところで、上述した実施形態では、カメラ１０が車両Ｃの後方を撮像するバックカメラである場合について説明したが、これに限定されるものではない。すなわち、カメラ１０は、例えば、車両Ｃの周囲を撮像するフロントカメラ、サイドカメラであってもよい。

かかる場合に、例えば、移動量推定装置１は、複数のカメラ１０からそれぞれ入力される撮像画像に基づき、車両Ｃの移動量をそれぞれ推定し、推定した移動量を統合した結果に基づいて最終的に移動量を決定することもできる。

また、上述した実施形態では、点滅する光源が、車両Ｃのハザードランプである場合について説明したが、これに限定されるものではない。かかる光源は、例えば、車両Ｃのウインカ―ランプなど、周期的に点滅を繰り返すものであれば、本発明を適用することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 移動量推定装置
１０ カメラ
２１ 推定部
２２ 検出部
２３ 補正部
２３a 決定部
２３ｂ 判定部
２３ｃ 予測部
２３ｄ 抽出部
２３e 減算部

Claims (7)

1. 車両の周囲が撮像された時系列的な撮像画像における同一の特徴点を結んだオプティカルフローに基づいて前記車両の移動量を推定する推定部と、
   前記推定部によって推定される前記移動量が周期的な変動を繰り返す変動期間を検出する検出部と、
   前記検出部によって前記変動期間が検出された場合に、前記撮像画像の輝度値を補正する補正部と
   を備えることを特徴とする移動量推定装置。
2. 前記撮像画像における任意の画素について輝度値が周期的に変化する点滅期間の有無を判定する判定部
   をさらに備え、
   前記補正部は、
   前記検出部によって前記変動期間が検出された場合に前記補正を開始し、前記判定部によって前記点滅期間が終了したと判定されるまで当該補正を継続すること
   を特徴とする請求項１に記載の移動量推定装置。
3. 前記判定部によって前記点滅期間が有ると判定された場合に、輝度値が高い期間における撮像画像の輝度値から当該輝度値が低い期間における撮像画像の輝度値を差し引くことにより点滅領域を抽出する抽出部を
   さらに備え、
   前記補正部は、
   前記点滅領域の輝度値を補正すること
   を特徴とする請求項２に記載の移動量推定装置。
4. 前記補正部は、
   前記点滅期間における１周期分の輝度値の波形に基づいて前記撮像画像ごとに前記任意の画素の輝度値を予測する予測部と、
   前記撮像画像における前記点滅領域の輝度値から前記予測部によって予測された前記輝度値に基づいて調整された前記点滅領域の各画素の輝度値を減算する減算部
   を備えること
   を特徴とする請求項３に記載の移動量推定装置。
5. 前記推定部は、
   前記オプティカルフローを路面座標に投影することで路面ベクトルに変換し、
   前記推定部によって推定された前記路面ベクトルに基づいて前記撮像画像に写る障害物の位置を算出する算出部
   をさらに備えること
   を特徴とする請求項１〜４のいずれか一つに記載の移動量推定装置。
6. 請求項１〜５のいずれか一つに記載の移動量推定装置と、
   前記撮像画像を撮像する撮像装置と
   を備えることを特徴とする移動量推定システム。
7. 車両の周囲が撮像された時系列的な撮像画像における同一の特徴点を結んだオプティカルフローに基づいて前記車両の移動量を推定する推定工程と、
   前記推定工程によって推定される前記移動量が周期的な変動を繰り返す変動期間を検出する検出工程と、
   前記検出工程によって前記変動期間が検出された場合に、前記撮像画像の輝度値を補正する補正工程と
   を含むことを特徴とする移動量推定方法。

Images