JP2010002326A

JP2010002326A - 移動ベクトル検出装置

Info

Publication number: JP2010002326A
Application number: JP2008162024A
Authority: JP
Inventors: Takashi Kawada; 任史河田; Hideki Urabe; 秀樹浦邊; Ryohei Ikeno; 良平池野
Original assignee: Stanley Electric Co Ltd
Current assignee: Stanley Electric Co Ltd
Priority date: 2008-06-20
Filing date: 2008-06-20
Publication date: 2010-01-07

Abstract

【課題】３次元方向（奥行き方向）の動きベクトルを検出することが可能な移動ベクトル検出装置を提供する。
【解決手段】距離画像を用いて移動ベクトルを検出する移動ベクトル検出装置において、撮像素子を用いて、所定タイミングごとに、画素値が測距対象物までの距離値である距離画像を生成する距離画像生成手段と、前記距離画像生成手段により異なるタイミングで生成された二枚の距離画像それぞれに含まれる特定の測距対象物までの距離値及び前記特定の測距対象物の前記二枚の距離画像中それぞれの位置に基づいて、前記特定の測距対象物の奥行き方向の移動ベクトルを算出する第１ベクトル算出手段と、を備えることを特徴とする。
【選択図】図４

Description

本発明は、移動ベクトル検出装置に係り、特に距離画像を用いて奥行き方向の移動ベクトルを検出する移動ベクトル検出装置に関する。

従来、ある時間の画像（エッジ検出、モデルマッチング等により当該画像から抽出される特徴量）と一定時間経過後の画像（エッジ検出、モデルマッチング等により当該画像から抽出される特徴量）とのパターンマッチングにより対応点を検出し、その動きベクトル（画像面内の動きベクトル）を検出することが行われている（例えば、特許文献１参照）。
特開平８−２９１２６号公報

しかしながら、上記特許文献１においては、検出される動きベクトルは画像面内（２次元方向）の動きベクトルであり、３次元方向（奥行き方向）の動きベクトルを検出することができないという問題がある。

本発明は、このような事情に鑑みてなされたものであり、３次元方向（奥行き方向）の動きベクトルを検出することが可能な移動ベクトル検出装置を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、距離画像を用いて移動ベクトルを検出する移動ベクトル検出装置において、撮像素子を用いて、所定タイミングごとに、画素値が測距対象物までの距離値である距離画像を生成する距離画像生成手段と、前記距離画像生成手段により異なるタイミングで生成された二枚の距離画像それぞれに含まれる特定の測距対象物までの距離値及び前記特定の測距対象物の前記二枚の距離画像中それぞれの位置に基づいて、前記特定の測距対象物の奥行き方向の移動ベクトルを算出する第１ベクトル算出手段と、を備えることを特徴とする。

請求項１に記載の発明によれば、距離画像生成手段により異なるタイミングで生成された二枚の距離画像それぞれに含まれる特定の測距対象物までの距離値及び前記特定の測距対象物の前記二枚の距離画像中それぞれの位置に基づいて、前記特定の測距対象物の奥行き方向の移動ベクトルを算出することが可能となる。

この算出された特定の測距対象物の奥行き方向の移動ベクトルを用いることで、例えば、測距対象物（物体）の奥行き方向の移動距離や移動方向等を把握することが可能となる。

請求項２に記載の発明は、請求項１に記載の発明において、撮像素子を用いて、所定タイミングごとに、画素値が輝度値である通常画像を生成する通常画像生成手段と、前記通常画像生成手段により異なるタイミングで生成された二枚の通常画像に含まれる前記特定の測距対象物の前記通常画像面内の移動ベクトルを算出する第２ベクトル算出手段と、を備えることを特徴とする。

請求項２に記載の発明によれば、特定の測距対象物の３次元の移動ベクトル（特定の測距対象物の奥行き方向の移動ベクトル及び特定の測距対象物の通常画像面内の移動ベクトルを成分とする三次元ベクトル）を得ることが可能となる。

この３次元ベクトルを用いることにより、従来のように２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルのみ用いていた場合と比べて、各種処理（例えば消失点の演算処理、物体の動き推定）の精度を向上させることが可能となる。また、この３次元ベクトルを用いることにより、時間変化後の距離情報を把握することが可能であるため、移動ベクトル検出装置又は移動ベクトル検出装置が搭載された車両等の移動体との相対速度を検出することが可能となる。また、この３次元ベクトルを用いることで、測距対象物（物体）が今後どのような動きをするかを推定することが可能となる。

また、従来技術によれば、通常画像のみを用いて動きベクトルを検出しているため、エッジ検出等により画像から特徴量の抽出が何らかの原因でできなかった場合（例えば、光が当たっていた物体に光が当たらなくなった、一つの物体の濃淡の差が大きく一つの物体と認識されない、均一なテクスチャ又は均一な色（例えば白い壁の前に白い物体）である、物体の大きさ自体が変化する等）、動き推定ができなくなる。

しかし、請求項２に記載の発明によれば、仮に、何らかの原因で通常画像から特徴量の抽出ができなくなったとしても、距離画像を用いて動きベクトルを検出することが可能であるため、測距対象物（物体）が今後どのような動きをするかを推定することが可能となる。

請求項３に記載の発明は、請求項１又は２に記載の発明において、対象空間に変調光を照射する光源をさらに備え、前記撮像素子は、前記光源から照射され対象空間内の測距対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えていることを特徴とする。

請求項３に記載の発明によれば、一つの撮像素子を用いて、画素値が距離値である距離画像及び画素値が輝度値である通常画像を生成することが可能となる。

本発明によれば、３次元方向（奥行き方向）の動きベクトルを検出することが可能な移動ベクトル検出装置を提供することが可能となる。

〔第一実施形態〕
以下、本発明の一実施形態である移動ベクトル検出装置について図面を参照しながら説明する。

〔データ通信装置の構成〕
まず、本実施形態の移動ベクトル検出装置の構成について説明する。

図１は、本実施形態の移動ベクトル検出装置のブロック図である。

移動ベクトル検出装置１は、図１に示すように、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、距離画像生成部１７、通常画像生成部１８等を備えている。

光源１１は、対象空間に基準周波数ｆｓの光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する光源であり、ＬＥＤやレーザー等の高速変調が可能なデバイスが用いられる。

撮像素子１５は、光源１１から照射され対象空間内の物体で反射した反射光を含む入射光１４を受光して電荷に変換する複数の光電変換素子（画素又はピクセルともいう）、この光電変換素子ごとに設けられた複数の電荷蓄積部（本実施形態では四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４を例示。以下、Ｃ１、Ｃ２、Ｃ３、Ｃ４は、数式において用いた場合、該電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷量を表す）、及び、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける手段等を備えている（いずれも図示せず）。

制御部１６は、光源１１と撮像素子１５を同期制御する。撮像素子１５は、基準周波数ｆｓに基づいて電荷振り分けを行う。具体的には、撮像素子１５は、図２に示すように、制御部１６から供給されるゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、基準周波数ｆｓに同期した時間Ｔ１、Ｔ２、Ｔ３、Ｔ４ごとに、ゲートを開閉し、光電変換素子により変換された電荷を、電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。撮像素子１５は、時間Ｔ１〜Ｔ４のサイクルを数千〜数十万回繰り返すことで、一枚の画像を取得する。この一枚の画像を取得する時間のことを、１フレームという。なお、電荷蓄積部は、四つに限定されない。二つ以上の電荷蓄積部であれば、同様に適用することが可能である。

距離画像生成部１７は、上記のように振り分けられた電荷（電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷）に基づいて所定演算（後述の式１を用いる）を行い、画素値が測距対象物までの距離値である距離画像を生成する。距離画像は、２次元（ＸＹ方向）の位置情報に加え、その画素の距離情報も含んだ３次元（ＸＹＺ方向）情報となる。距離画像によれば、通常画像では輝度値の変化が少なくエッジ検出等で特徴量を抽出することができない場合であっても、距離情報により物体の形状を検出することが可能となる。

通常画像生成部１８は、上記のように振り分けられた電荷（電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷）に基づいて所定演算（後述の式２を用いる）を行い、画素値が輝度値である距離画像を生成する。

以上のように、本実施形態では、一つの撮像素子１５を用いて距離画像及び通常画像の両方を取得できるようになっている。

〔距離画像を生成する原理〕
次に、距離画像を生成する原理について説明する。

図３は、距離画像を生成する原理を説明するための図である。図３中、正弦波２１は光源１１から照射された基準周波数ｆｓの光を表しており、正弦波２２は撮像素子１５への入射光を表している。正弦波２１と正弦波２２との位相差φは、光源１１から照射された基準周波数ｆｓの光の測距対象物までの飛行時間によって生じる遅延を表している。

図３では、光源１１からの照射光の一周期を四つの期間に分けて四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。

光の速度は既知であるから、この位相差φを求めることで測距対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。例えば、光源１１を１０ＭＨｚで変調させた場合、発光側から往復で１５ｍまでの距離を計測することが可能である。

なお、一般的な画像データ（通常画像）として用いる電荷量平均Ａは、次の式で表される。

また、測距対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。

一般的に発光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。

〔移動ベクトル検出装置１の動作例１〕
次に、上記構成の移動ベクトル検出装置１の動作例１について図面を参照しながら説明する。

図４は、移動ベクトル検出装置１の動作例を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）等が行う。

まず、移動ベクトル検出装置１は、撮像素子１５で周囲環境を撮像し、距離画像を取得する処理を行う（ステップＳ１）。具体的には、次の処理を行う。

光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する。撮像素子１５は、その光源１１から照射され対象空間内の物体Ｂ１〜Ｂ３等で反射した反射光を含む入射光を受光し、複数の光電変換素子により電荷に変換し、制御部１６のゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、その変換された電荷を、複数の電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。以上の処理を光蓄積時間が終了（経過）するまで継続する。

距離画像生成部１７は、振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、光源１１との位相差φを算出し、画素値が距離値である距離画像を生成する。

例えば、図５及び図６に示すように、三つの物体Ｂ１〜Ｂ３と撮像素子１５とが相対的に接近する方向に移動しており、時間ｔ−ｄｔにおいては図５の位置関係、ｄｔ経過後の時間ｔにおいては図７の位置関係となる状況を想定する。各図中、Ｘ軸は撮像素子１５を通りかつ撮像素子１５の光軸に直交する水平軸、Ｙ軸は鉛直軸、Ｚ軸は撮像素子１５の光軸方向（奥行き方向）を表している。この場合、距離画像生成部１７は、時間ｔ−ｄｔにおいては図８に示す距離画像を生成し、時間ｔにおいては図９に示す距離画像を生成する。

次に、移動ベクトル検出装置１は、物体Ｂ１〜Ｂ３のＺ軸方向（奥行き方向）の移動ベクトルを求める処理を行う（ステップＳ２〜ステップＳ６）。具体的には、次の処理を行う。

移動ベクトル検出装置１は、距離画像が生成された場合、その距離画像から距離情報を抽出し（ステップＳ２）、その抽出した距離情報が閾値距離内であるか否か（ステップＳ３）、及び、ｄｔ時間前の距離情報があるか否かを判定する（ステップＳ４）。

この判定の結果、その抽出した距離情報が閾値距離内であり（ステップＳ３：Ｙｅｓ）、かつ、ｄｔ時間前の距離情報があると判定した場合（ステップＳ４：Ｙｅｓ）、移動ベクトル検出装置１は、ステップＳ１で取得した距離画像のうち物体Ｂ１〜Ｂ３の距離値を表す画素（画素群）を特徴量として抽出する（ステップＳ５）。

例えば、上記のように、時間ｔ−ｄｔにおいて図８に示す距離画像が生成された場合、移動ベクトル検出装置１は、図１０に示すように、その距離画像のうち物体Ｂ１〜Ｂ３の距離値を表す画素（画素群）を特徴量ｂ１〜ｂ３として抽出する。図１０は、縦軸がＺ軸（撮像素子１５の光軸方向（奥行き方向））、横軸がＸ軸（撮像素子１５を通りかつ撮像素子１５の光軸に直交する水平軸）である座標系に、図８に示す距離画像（時間ｔ−ｄｔにおける距離画像）から抽出された特徴量ｂ１〜ｂ３（物体Ｂ１〜Ｂ３の距離値）をプロットした図である。

同様に、時間ｄｔ経過後の時間ｔにおいて図９に示す距離画像が生成された場合、移動ベクトル検出装置１は、図１１に示すように、その距離画像のうち物体Ｂ１〜Ｂ３の距離値を表す画素（画素群）を特徴量ｂ１〜ｂ３として抽出する。図１１は、縦軸がＺ軸、横軸がＸ軸である座標系に、図９に示す距離画像（時間ｔにおける距離画像）から抽出された特徴量ｂ１〜ｂ３（物体Ｂ１〜Ｂ３の距離値）をプロットした図である。これらの特徴量ｂ１〜ｂ３を用いることで、物体１〜３の表面形状（輪郭形状）、ＺＸ方向の位置及び距離を求めることが可能となる。

次に、移動ベクトル検出装置１は、図１２に示すように、時間ｔ−ｄｔにおける距離画像（特徴量ｂ１〜ｂ３）と時間ｔにおける距離画像（特徴量ｂ１〜ｂ３）の差分を演算（例えば、パターンマッチングにより特徴量の対応点を検出し、両者の差分を演算）することで、物体Ｂ１、Ｂ２のＺ軸方向（奥行き方向）の移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２を求める（ステップＳ６）。この移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２を用いることにより、物体Ｂ１、Ｂ２のＺ軸方向（奥行き方向）の移動距離と移動方向を把握することが可能となる。

なお、図１２は、物体Ｂ３についてはＺ軸方向（奥行き方向）のベクトルＶ_Ｚ３を求めることができなかったことを表している。しかし、実際は、反射波を検出するために、撮像素子１５で高速撮影を行う（例えば１０ＭＨｚで動作させた場合、単位時間１０ｎｓ。時速１００ｋｍで移動する物体でもこの時間で移動する距離は約３μｍである）。このため、実際には部分的なマッチングを行うことで物体Ｂ３の移動ベクトルＶ_Ｚ３の検出が可能と考えられる。

次に、移動ベクトル検出装置１は、物体Ｂ１〜Ｂ３の２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルを求める処理を行う（ステップＳ７〜Ｓ８）。具体的には、次の処理を行う。

移動ベクトル検出装置１は、通常画像の取得タイミングであるか否かを判定する（ステップＳ７）。通常画像生成部１８は、通常画像の取得タイミングであると判定された場合（ステップＳ７：Ｙｅｓ）、振り分けられた電荷Ｃ１、Ｃ２、Ｃ３、Ｃ４に基づいて所定演算（上記式２の演算）を行い、画素値が輝度値である通常画像を生成する。

例えば、通常画像生成部１８は、時間ｔ−ｄｔに図８に示す距離画像が生成された直後の時間においては図１３に示す通常画像を生成し、時間ｔに図９に示す距離画像が生成された直後の時間においては図１４に示す通常画像を生成する。

次に、移動ベクトル検出装置１は、従来と同様、エッジ検出等によりそれぞれの通常画像（例えば図８及び図９に示す距離画像）から特徴量を抽出し（ステップＳ８）、図１５に示すように、パターンマッチングにより対応点を検出等することで、物体Ｂ１の２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルＶ_ＸＹ１を求める。この移動ベクトルＶ_ＸＹ１を用いることにより、物体Ｂ１のＸ軸及びＹ軸を含む平面内における移動距離と移動方向を把握することが可能となる。

なお、図１５は、物体Ｂ２、物体Ｂ３については特徴量の対応点が検出されなかったため、２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルＶ_ＸＹ２、Ｖ_ＸＹ３を求めることができなかったことを表している。しかし、本実施形態では、Ｚ軸方向（奥行き方向）の移動ベクトルＶ_Ｚ１〜Ｖ_Ｚ３を算出することが可能であり、移動ベクトルＶ_Ｚ１〜Ｖ_Ｚ３を用いることにより、物体Ｂ２、Ｂ３の検出が可能となる。

次に、移動ベクトル検出装置１は、図１６に示すように、移動ベクトルＶ_ＸＹ１の交点Ｐ（消失点）を演算する（ステップＳ９）。この演算された消失点Ｐを用いることにより、移動ベクトル検出装置１（撮像素子１５）の進行方向を推定することが可能となる。

次に、移動ベクトル検出装置１は、Ｚ軸方向（奥行き方向）の移動ベクトル及び２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルを成分とする３次元ベクトルを抽出する（ステップＳ１０）。

この３次元ベクトルを用いることにより、２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルのみ用いていた場合と比べて、各種処理（例えば消失点の演算処理）の精度を向上させることが可能となる。また、この３次元ベクトルを用いることにより、時間変化後の距離情報を把握することが可能であるため、移動ベクトル検出装置１（撮像素子１５）との相対速度を検出することが可能となる。また、この３次元ベクトルを用いることで、物体Ｂ１が今後どのような動きをするかを推定することが可能となる。

以後、移動ベクトル検出装置１は、３次元ベクトルの取得を続ける場合（ステップＳ１１：Ｙｅｓ）、以上のステップＳ１〜Ｓ１０の処理を繰り返し実行する。

〔移動ベクトル検出装置１の動作例２〕
次に、上記構成の移動ベクトル検出装置１の動作例２について図面を参照しながら説明する。本動作例２においては、移動ベクトル検出装置１は、例えば、車両前方の監視を目的として、車室内のダッシュボード、ルームミラー、車室外のヘッドランプ内部、バンパー、エアダクト等に装着されている。

移動ベクトル検出装置１は、撮像素子１５で図１７に示すような車両前方環境を撮像し、距離画像を取得する処理を行う（ステップＳ１）。具体的には、次の処理を行う。

例えば、四つの物体Ｂ４〜Ｂ７と車両等の移動体（この移動体に搭載された移動ベクトル検出装置１）とが相対的に移動しており、距離画像生成部１７は、時間ｔ−ｄｔにおいては図１８に示す距離画像を生成し、時間ｔにおいては図１９に示す距離画像を生成したとする（ステップＳ１）。

移動ベクトル検出装置１は、その生成された距離画像を用いて、物体Ｂ４〜Ｂ７のＺ軸方向（奥行き方向）の移動ベクトルを求める処理を行う（ステップＳ２〜ステップＳ６）。具体的には、次の処理を行う。

この判定の結果、その抽出した距離情報が閾値距離内であり（ステップＳ３：Ｙｅｓ）、かつ、ｄｔ時間前の距離情報があると判定した場合（ステップＳ４：Ｙｅｓ）、移動ベクトル検出装置１は、ステップＳ１で取得した距離画像のうち物体Ｂ４〜Ｂ７の距離値を表す画素（画素群）を特徴量として抽出する（ステップＳ５）。

例えば、上記のように、時間ｔ−ｄｔにおいて図１８に示す距離画像が生成された場合、移動ベクトル検出装置１は、図２０に示すように、その距離画像のうち物体Ｂ４〜Ｂ７の距離値を表す画素（画素群）を特徴量ｂ４〜ｂ７として抽出する。図２０は、縦軸がＺ軸（撮像素子１５の光軸方向（奥行き方向））、横軸がＸ軸（撮像素子１５を通りかつ撮像素子１５の光軸に直交する水平軸）である座標系に、図１８に示す距離画像（時間ｔ−ｄｔにおける距離画像）から抽出された特徴量ｂ４〜ｂ７（物体Ｂ４〜Ｂ７の距離値）をプロットした図である。

同様に、時間ｄｔ経過後の時間ｔにおいて図１９に示す距離画像が生成された場合、移動ベクトル検出装置１は、図２１に示すように、その距離画像のうち物体Ｂ４〜Ｂ７の距離値を表す画素（画素群）を特徴量ｂ４〜ｂ７として抽出する。図２１は、縦軸がＺ軸、横軸がＸ軸である座標系に、図１９に示す距離画像（時間ｔにおける距離画像）から抽出された特徴量ｂ４〜ｂ７（物体Ｂ４〜Ｂ７の距離値）をプロットした図である。これらの特徴量ｂ４〜ｂ７を用いることで、物体Ｂ４〜Ｂ７の表面形状（輪郭形状）、ＺＸ方向の位置及び距離を求めることが可能となる。

次に、移動ベクトル検出装置１は、図２２に示すように、時間ｔ−ｄｔにおける距離画像（特徴量ｂ４〜ｂ７）と時間ｔにおける距離画像（特徴量ｂ４〜ｂ７）の差分を演算（例えば、パターンマッチングにより特徴量の対応点を検出し、両者の差分を演算）することで、物体Ｂ４〜Ｂ７のＺ軸方向（奥行き方向）の移動ベクトルＶ_Ｚ４〜、Ｖ_Ｚ７を求める（ステップＳ６）。この移動ベクトルＶ_Ｚ４〜、Ｖ_Ｚ７を用いることにより、物体Ｂ４〜Ｂ７のＺ軸方向（奥行き方向）の移動距離と移動方向を把握することが可能となる。また、移動ベクトルＶ_Ｚ４〜、Ｖ_Ｚ７は、相対速度を表すため、自車への危険度を表す指標として用いることが可能である。

例えば、物体Ｂ６（特徴量ｂ６で表される先行車両）に注目すると、時間ｄｔ経過後に自車から距離が離れているため、衝突の危険は無いことを把握できる。また、物体Ｂ７（特徴量ｂ７で表される歩行者）に注目すると、時間ｄｔ経過後に自車に近づいているため、衝突の危険があることを把握できる。また、物体Ｂ４、Ｂ５（特徴量ｂ４で表される歩行者、特徴量ｂ５で表される信号機）に注目すると、自車方向へ移動していないので、衝突の危険は少ないことを把握できる。

次に、移動ベクトル検出装置１は、物体Ｂ４〜Ｂ３の２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルを求める処理を行う（ステップＳ７〜Ｓ８）。具体的には、次の処理を行う。

例えば、通常画像生成部１８は、時間ｔ−ｄｔに図１８に示す距離画像が生成された直後の時間においては図１７に示す通常画像を生成し、時間ｔに図１９に示す距離画像が生成された直後の時間においては通常画像を生成する。

次に、移動ベクトル検出装置１は、従来と同様、エッジ検出等によりそれぞれの通常画像から特徴量を抽出し（ステップＳ８）、パターンマッチングにより対応点を検出等することで、物体Ｂ４〜Ｂ７の２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルＶ_ＸＹ４〜Ｖ_ＸＹ７を求める。この移動ベクトルＶ_ＸＹ４〜Ｖ_ＸＹ７を用いることにより、物体Ｂ４〜Ｂ７のＸ軸及びＹ軸を含む平面内における移動距離と移動方向を把握することが可能となる。

次に、移動ベクトル検出装置１は、図１６に示すように、移動ベクトルＶ_ＸＹ４〜Ｖ_ＸＹ７の交点Ｐ（消失点）を演算する（ステップＳ９）。この演算された消失点Ｐを用いることにより、移動ベクトル検出装置１（撮像素子１５）が搭載された車両等の移動体の進行方向を推定することが可能となる。

この３次元ベクトルを用いることにより、従来のように２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルのみ用いていた場合と比べて、各種処理（例えば消失点の演算処理）の精度を向上させることが可能となる。また、この３次元ベクトルを用いることにより、時間変化後の距離情報を把握することが可能であるため、移動ベクトル検出装置１（撮像素子１５）が搭載された車両等の移動体との相対速度を検出することが可能となる。また、この３次元ベクトルを用いることで、物体Ｂ１が今後どのような動きをするかを推定することが可能となる。

以上説明したように、本実施形態の移動ベクトル検出装置１によれば、距離画像生成部１７により異なるタイミング（時間ｔ−ｄｔ、時間ｔ）で生成された二枚の距離画像それぞれに含まれる特定の測距対象物（例えば、物体Ｂ１〜Ｂ３、又は、物体Ｂ４〜Ｂ７）までの距離値及び特定の測距対象物の二枚の距離画像中それぞれの位置（例えば、図１２に示す特徴量ｂ１〜ｂ３、又は、図２２に示す特徴量ｂ４〜ｂ７）に基づいて、特定の測距対象物の奥行き方向の移動ベクトル（例えば、図１２に示す移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２、又は、図２２に示す移動ベクトルＶ_Ｚ４〜Ｖ_Ｚ７）を算出することが可能となる。この算出された特定の測距対象物の奥行き方向の移動ベクトル（例えば、図１２に示す移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２、又は、図２２に示す移動ベクトルＶ_Ｚ４〜Ｖ_Ｚ７）を用いることで、例えば、測距対象物（例えば、物体Ｂ１〜Ｂ３、又は、物体Ｂ４〜Ｂ７）の奥行き方向の移動距離や移動方向等を把握することが可能となる。

また、本実施形態の移動ベクトル検出装置１によれば、特定の測距対象物の３次元の移動ベクトル（特定の測距対象物の奥行き方向の移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２、Ｖ_Ｚ４〜Ｖ_Ｚ７及び特定の測距対象物の通常画像面内の移動ベクトルＶ_ＸＹ１等を成分とする三次元ベクトル）を得ることが可能となる。

この３次元ベクトル等を用いることにより、従来のように２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルのみ用いていた場合と比べて、各種処理（例えば消失点Ｐの演算処理、物体Ｂ１〜Ｂ７等の動き推定）の精度を向上させることが可能となる。また、この３次元ベクトル等を用いることにより、時間変化後の距離情報を把握することが可能であるため、移動ベクトル検出装置１又は移動ベクトル検出装置１が搭載された車両等の移動体との相対速度を検出することが可能となる。また、この３次元ベクトルＶ_ＸＹ１等を用いることで、測距対象物（物体Ｂ１〜Ｂ７等）が今後どのような動きをするかを推定することが可能となる。

しかし、本実施形態の移動ベクトル検出装置１によれば、仮に、何らかの原因で通常画像から特徴量の抽出ができなくなったとしても、距離画像を用いて動きベクトルＶ_Ｚ１、Ｖ_Ｚ２、Ｖ_Ｚ４〜Ｖ_Ｚ７を検出することが可能であるため、測距対象物（物体Ｂ１〜Ｂ７）が今後どのような動きをするかを推定することが可能となる。

上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。

本実施形態の移動ベクトル検出装置のブロック図である。撮像素子１５における電荷振り分けを説明するための図である。距離画像を生成する原理を説明するための図である。移動ベクトル検出装置１の動作例を説明するためのフローチャートである。三つの物体Ｂ１〜Ｂ３の形状、及び、三つの物体Ｂ１〜Ｂ３と撮像素子１５の位置関係を説明するための上面図である。三つの物体Ｂ１〜Ｂ３の形状、及び、三つの物体Ｂ１〜Ｂ３と撮像素子１５の位置関係を説明するための側面図である。図５に示した時点から時間ｄｔ経過後の三つの物体Ｂ１〜Ｂ３と撮像素子１５の位置関係を説明するための上面図である。時間ｔ＋ｄｔにおいて生成された距離画像の例である。時間ｔにおいて生成された距離画像の例である。縦軸がＺ軸、横軸がＸ軸である座標系に、図８に示す距離画像から抽出された特徴量ｂ１〜ｂ３（物体Ｂ１〜Ｂ３の距離値）をプロットした図である。縦軸がＺ軸、横軸がＸ軸である座標系に、図９に示す距離画像から抽出された特徴量ｂ１〜ｂ３（物体Ｂ１〜Ｂ３の距離値）をプロットした図である。物体Ｂ１、Ｂ２のＺ軸方向（奥行き方向）の移動ベクトルＶ_Ｚ１、Ｖ_Ｚ２を説明するための図である。時間ｔ−ｄｔにおいて生成された通常画像の例である。時間ｔにおいて生成された通常画像の例である。物体Ｂ１の２次元方向（Ｘ軸及びＹ軸方向）の移動ベクトルＶ_ＸＹ１を説明するための図である。消失点を説明するための図である。時間ｔ−ｄｔにおいて生成された通常画像の例である。時間ｔ−ｄｔにおいて生成された距離画像の例である。時間ｔにおいて生成された距離画像の例である。縦軸がＺ軸、横軸がＸ軸である座標系に、図１８に示す距離画像から抽出された特徴量ｂ４〜ｂ７（物体Ｂ４〜Ｂ７の距離値）をプロットした図である。縦軸がＺ軸、横軸がＸ軸である座標系に、図１９に示す距離画像から抽出された特徴量ｂ４〜ｂ７（物体Ｂ４〜Ｂ７の距離値）をプロットした図である。物体Ｂ４〜Ｂ７のＺ軸方向（奥行き方向）の移動ベクトルＶ_Ｚ４〜Ｖ_Ｚ７を説明するための図である。

符号の説明

１…移動ベクトル検出装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１４…入射光、１５…撮像素子、１６…制御部、１７…距離画像生成部、１８…通常画像生成部、Ｂ１〜Ｂ７…物体、ｂ１〜ｂ７…特徴量、φ…位相

Claims

距離画像を用いて移動ベクトルを検出する移動ベクトル検出装置において、
撮像素子を用いて、所定タイミングごとに、画素値が測距対象物までの距離値である距離画像を生成する距離画像生成手段と、
前記距離画像生成手段により異なるタイミングで生成された二枚の距離画像それぞれに含まれる特定の測距対象物までの距離値及び前記特定の測距対象物の前記二枚の距離画像中それぞれの位置に基づいて、前記特定の測距対象物の奥行き方向の移動ベクトルを算出する第１ベクトル算出手段と、
を備えることを特徴とする移動ベクトル検出装置。
撮像素子を用いて、所定タイミングごとに、画素値が輝度値である通常画像を生成する通常画像生成手段と、
前記通常画像生成手段により異なるタイミングで生成された二枚の通常画像に含まれる前記特定の測距対象物の前記通常画像面内の移動ベクトルを算出する第２ベクトル算出手段と、
を備えることを特徴とする請求項１に記載の移動ベクトル検出装置。
対象空間に変調光を照射する光源をさらに備え、
前記撮像素子は、前記光源から照射され対象空間内の測距対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えていることを特徴とする請求項１又は２に記載の移動ベクトル検出装置。