JP2016004382A - 動き情報推定装置 - Google Patents

Abstract

【課題】撮像対象の境界付近における動きの推定精度を向上させること。【解決手段】自車両の周辺の撮像対象を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列毎に出力する撮像装置１０と、撮像画像の輝度値情報に基づいて撮像装置１０から撮像対象までの奥行距離情報を画素毎に算出する距離情報算出部２３と、撮像画像における注目点に対応する注目画素と当該注目画素の周囲の画素とからなる局所領域を設定する領域設定部２４と、輝度値情報と奥行距離情報に基づいて注目画素に対する周囲の画素の類似度を算出する類似度算出部２５と、類似度に基づいて注目点の動きを推定し、その推定を撮像画像内の各注目点に対して行うことで撮像対象の動きを推定する動き推定部２６と、を備えること。【選択図】図１

Description

本発明は、入力画像内の注目点が次の瞬間に何処へ移動しているのかを推定する動き情報推定装置に関する。

従来、この種の動き情報推定装置が知られている。例えば、下記の特許文献１には、入力画像における広範囲な領域でオプティカルフロー（注目点の動きがベクトル表示されたもの）を生成するための技術が開示されている。この技術では、入力画像として輝度画像データ及び距離画像データを生成可能な外部カメラを備え、その輝度画像データと距離画像データと輝度勾配の拘束条件（微小時間経過の前後で撮像対象の輝度が変化しないとする条件）とに基づいて第１運動パラメータ拘束条件を生成すると共に、距離画像データと距離情報の拘束条件（微小時間経過の前後で外部カメラから撮像対象までの距離が変化しないとする条件）に基づいて第２運動パラメータ拘束条件を生成する。そして、この技術では、その第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータを算出し、この運動パラメータに基づいて入力画像の二次元オプティカルフローを生成する。このように、この技術では、そのような拘束条件をオプティカルフローの生成の際に考慮しているので、入力画像における所定の領域内の撮像対象の動きを高精度に推定することができる。

特開２０１２−２３８１６３号公報

その従来の技術では、上記のように距離情報の拘束条件を付加しているので、所定の領域内の各画素における撮像対象が同じものを表しているときに、その撮像対象の動きを高精度に推定することができる。しかしながら、この従来の技術においては、例えば撮像対象の境界付近のように所定の領域内の各画素における撮像対象が異なるものを表している場合、それぞれの撮像対象毎に外部カメラからの距離が違うので、その撮像対象の動きの推定精度が低下してしまう可能性がある。

そこで、本発明は、かかる従来例の有する不都合を改善し、撮像対象の境界付近における動きの推定精度を向上させることが可能な動き情報推定装置を提供することを、その目的とする。

上記目的を達成する為、本発明は、自車両の周辺の撮像対象を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列毎に出力する撮像装置と、前記撮像画像の輝度値情報に基づいて前記撮像装置から前記撮像対象までの奥行距離情報を画素毎に算出する距離情報算出部と、前記撮像画像における注目点に対応する注目画素と当該注目画素の周囲の画素とからなる局所領域を設定する領域設定部と、前記輝度値情報と前記奥行距離情報に基づいて前記注目画素に対する前記周囲の画素の類似度を算出する類似度算出部と、前記類似度に基づいて前記注目点の動きを推定し、該推定を前記撮像画像内の各注目点に対して行うことで前記撮像対象の動きを推定する動き推定部と、を備えることを特徴としている。

ここで、前記領域設定部は、前記注目画素の奥行距離情報に応じて大きさを変更することが望ましい。

また、前記類似度算出部は、類似度を算出する際に、前記注目画素の奥行距離情報に応じた重み付けを前記輝度値情報や前記奥行距離情報に対して行うことが望ましい。

また、前記撮像画像の中の互いに異なる撮像対象を区分けして検出する撮像対象検出部を設け、前記領域設定部は、前記撮像対象検出部の検出結果を用いて前記局所領域の大きさや形状を変更することが望ましい。

また、前記類似度算出部は、前記撮像対象検出部の検出結果を用いて前記類似度を算出することが望ましい。

また、前記動き推定部で推定された前記撮像対象の動きの情報に基づいて前記撮像画像の各画素における１フレーム後の動き情報を予測する動き予測部を設けた場合、前記類似度算出部は、前記撮像対象検出部の検出結果と前記動き予測部の予測結果の内の少なくとも一方を用いて前記類似度を算出することが望ましい。

本発明に係る動き情報推定装置は、撮像画像の中から注目画素を含む局所領域を設定し、その局所領域の中で注目画素に対する類似度の高い画素と類似度の低い画素との識別を行うことができる。そして、この動き情報推定装置は、その類似度の高い画素と注目画素とを用いて、その局所領域内の注目点（注目画素）の動きを推定する。このため、この動き情報推定装置は、注目点（注目画素）の動きを推定する際に、その注目点（注目画素）と動きが一致しない局所領域内における周囲の画素の影響を低減させることができる。よって、この動き情報推定装置は、局所領域内に複数の動きの異なる撮像対象が混在している場合に、その撮像対象の境界付近における動きを高精度に推定することができる。

図１は、本発明に係る動き情報推定装置の実施例の構成の一例を示すブロック図である。 図２は、局所領域について説明する図である。 図３は、ブロックマッチング法について説明する図である。 図４は、実施例の動きの推定について説明するフローチャートである。 図５は、本発明に係る動き情報推定装置の変形例の構成の一例を示すブロック図である。 図６は、変形例の動きの推定について説明するフローチャートである。

以下に、本発明に係る動き情報推定装置の実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。

［実施例］
本発明に係る動き情報推定装置の実施例を図１から図４に基づいて説明する。

図１の符号１は、本実施例の動き情報推定装置を示す。この動き情報推定装置１は、取得した自車両の周辺情報に基づいて、自車両の周辺の物体の動きを推定するものである。

この動き情報推定装置１は、図１に示すように、自車両の周辺を撮像する撮像装置１０と、動きの推定に関わる演算処理を行う電子制御装置（以下、「動き推定ＥＣＵ」という。）２０と、を備える。

撮像装置１０は、自車両の周辺の撮像対象を撮像して、その撮像領域の画像（以下、「撮像画像」という。）の情報を時系列毎に（つまり撮像したフレーム毎に）動き推定ＥＣＵ２０へと出力する。その撮像対象とは、路面、区画線、立体物（他車両等の動的物体や建築物等の静的物体）、背景（空等）などである。また、撮像画像とは、輝度値情報が含まれた画素の集合体である。その動き推定ＥＣＵ２０は、受信した撮像画像の情報を画像情報取得部２１に渡す。

ここで、その撮像画像の情報からは、撮像画像の各位置が輝度毎に表された輝度画像を生成することができる。その輝度画像の情報は、それぞれの画素毎に輝度値情報を有している。このため、撮像装置１０が輝度画像生成部を有している場合には、撮像画像の情報と共に又は当該撮像画像の情報に替えて、この輝度画像生成部で生成された輝度画像の情報を動き推定ＥＣＵ２０に出力させてもよい。この例示では、撮像装置１０が輝度画像生成部を有しており、撮像装置１０が撮像画像の情報と輝度画像の情報の内の何れか一方を出力させる。尚、その輝度画像生成部は、動き推定ＥＣＵ２０に設けてもよい。

動き推定ＥＣＵ２０には、時系列毎に撮像画像の情報又は輝度画像の情報が送られてくる。画像情報取得部２１は、その受信した撮像画像の情報又は輝度画像の情報を画像情報保存部２２に記憶させる。そして、この画像情報取得部２１は、演算処理対象のフレームを撮像時間の古いものから順に画像情報保存部２２から読み込んで、後述する距離情報算出部２３や類似度算出部２５に渡す。その画像情報保存部２２とは、例えば、動き推定ＥＣＵ２０が有する一時記憶装置のことである。

動き推定ＥＣＵ２０においては、受信した撮像画像又は輝度画像の何れかの情報における各画素の輝度値情報を用いて、撮像画像内又は輝度画像内における撮像対象の識別を行うことができる。例えば、輝度値情報は、路面と区画線との識別に利用することができる。一方、路面と立体物と背景との識別には、その輝度値情報に基づいて算出される奥行距離情報を利用することができる。その奥行距離情報は、路面と区画線との識別に利用することもできる。これらの各種識別は、この技術分野における周知の方法で実施することができる。

このように、撮像対象の識別を行うためには、撮像画像又は輝度画像における各画素の輝度値情報と、その輝度値情報から得られる撮像画像又は輝度画像における各画素の奥行距離情報と、が必要になる。よって、この例示の撮像装置１０には、ステレオカメラを利用する。何故ならば、ステレオカメラを用いた場合には、右側カメラ１１と左側カメラ１２とでそれぞれに同一撮像領域内の撮像画像の情報（各画素の輝度値情報）を取得することができるので、そのそれぞれの撮像画像の情報から当該撮像領域内の視差値情報を得ることができ、その視差値情報に基づいて奥行距離情報を算出することができるからである。その撮像画像は、モノクロでもカラーでもよい。また、撮像波長帯については、可視領域でも近赤外領域でもよい。尚、その撮像装置１０は、撮像画像又は輝度画像における各画素の輝度値情報と奥行距離情報とを取得できるものであればよい。このため、撮像装置１０には、例えば、そのような各画素の輝度値情報と奥行距離情報の取得が可能なＴＯＦ（Time Of Flight）カメラや単眼カメラを用いてもよい。また、この撮像装置１０に替えて、例えばレーザスキャナの複合センサを用いてもよい。

ここで、奥行距離情報とは、撮像装置１０から撮像領域内（撮像画像内又は輝度画像内）における撮像対象までの奥行の距離を表す情報のことである。その奥行距離の方向は、例えば撮像画像や輝度画像の水平方向（横方向）及び垂直方向（縦方向）を各々Ｘ座標及びＹ座標と定義した場合に、そのＸＹ平面に直交する方向であり、かつ、撮像装置１０の撮像方向において当該撮像装置１０から遠方に向かって離れていく方向のことである。このため、撮像装置１０には、少なくとも自車両の進行方向を撮像させる。

動き推定ＥＣＵ２０には、撮像画像又は輝度画像における各画素の奥行距離情報を算出する距離情報算出部２３が設けられている。その距離情報算出部２３は、その各画素の奥行距離情報を算出し、その奥行距離情報に基づいて撮像領域の奥行距離画像を生成することができる。この距離情報算出部２３は、この技術分野における周知の方法（例えばＳＧＭ法やＥＬＡＳ法等のdense stereo技術）で奥行距離情報の算出を行う。例えば、その周知の方法としては、ＳＧＭ法やＥＬＡＳ法等のdense stereo技術を利用することができる。また、この距離情報算出部２３は、撮像領域の各位置の奥行距離を表した距離画像の生成も行う。その距離画像は、画素毎の奥行距離情報を有している。この距離画像の生成は、この技術分野における周知の方法によって行う。

動き推定ＥＣＵ２０は、動きの推定対象となる注目点を撮像領域（撮像画像又は輝度画像又は距離画像）の中から選び出し、その注目点を含む所定領域（以下、「局所領域」という。）を設定する。そして、この動き推定ＥＣＵ２０は、その局所領域内での注目点に対する他の点の類似度を算出し、その類似度に応じて注目点の動きを推定する。このため、動き推定ＥＣＵ２０には、注目点を含む局所領域を設定する領域設定部２４と、その局所領域における類似度を算出する類似度算出部２５と、その注目点の動きを推定することで撮像領域（撮像画像又は輝度画像又は距離画像）内の撮像対象の動きを推定する動き推定部２６と、が設けられている。

領域設定部２４は、例えば、撮像領域（撮像画像又は輝度画像又は距離画像）の左上の隅の画素を注目点として設定し、その注目点の画素（以下、「注目画素」という。）を含む局所領域（ウインドウ）を設定する。その局所領域は、例えば、Ｎ×Ｎの画素数又はＭ×Ｎの画素数（Ｎ，Ｍ：整数）の矩形領域とする。ここで、この局所領域は、その注目画素の奥行距離情報に応じて大きさを変更することが望ましい。何故ならば、撮像装置１０は、その特性上、近くの撮像対象ほど大きく写すからである。このため、領域設定部２４には、注目点（注目画素）が撮像領域の下部側に設定されるほど（つまり撮像装置１０に近いほど）画素数の多い局所領域を設定させることが好ましい。

この領域設定部２４は、設定した注目点（注目画素）の動きが推定された後、次の推定対象の注目点と局所領域を設定する。例えば、この領域設定部２４は、左上の隅の画素から順に右方向（水平方向）へとラスタースキャンし、次の注目点（注目画素）と局所領域を設定する。そして、この領域設定部２４は、その注目点（注目画素）の動きが推定されたら、同じように次の推定対象の注目点と局所領域を設定する。領域設定部２４は、その設定を撮像領域（撮像画像又は輝度画像又は距離画像）の全ての画素に対して繰り返し実施していく。尚、右上の隅まで走査した後は、その直ぐ下の画素を次の注目点（注目画素）に設定し、この注目点（注目画素）から左方向（水平方向）へとラスタースキャンしてもよく、左上の隅の画素の直ぐ下の画素を次の注目点（注目画素）に設定し、この注目点（注目画素）から右方向（水平方向）へとラスタースキャンしてもよい。

このように、次々に注目点（注目画素）を変更して局所領域を設定していくのだが、その局所領域の設定に際しては、可能な限り注目点（注目画素）を領域の中央側に配置することが望ましい。図２には、５×５の画素数の局所領域を一例として表している。

類似度算出部２５は、類似度判定対象の画素（以下、「判定対象画素」という。）を局所領域の中の注目画素以外の画素から選択し、その判定対象画素の注目画素に対する類似度ｗ（ｍ，ｎ）を算出する。その類似度ｗ（ｍ，ｎ）の算出は、撮像領域（撮像画像又は輝度画像又は距離画像）における注目画素以外の全ての画素に対して実施する。

その類似度ｗ（ｍ，ｎ）は、判定対象画素の注目画素からの距離と、判定対象画素と注目画素の輝度値の差と、判定対象画素と注目画素の奥行距離の差と、に基づいて算出することができる。例えば、この類似度算出部２５は、下記の式１の指数関数を用いて類似度ｗ（ｍ，ｎ）の算出を行う。

「ｍ」は、注目画素から起算した判定対象画素のｘ方向の距離である。「ｎ」は、注目画素から起算した判定対象画素のｙ方向の距離である。「ｆ」は、注目画素の輝度値である。「ｆ’」は、判定対象画素の輝度値である。「ｄ」は、注目画素の奥行距離である。「ｄ’」は、判定対象画素の奥行距離である。「σ１」と「σ２」は、それぞれの項の分散値である。類似度ｗ（ｍ，ｎ）は、この式１からも明らかなように、判定対象画素の注目画素からの距離が近いほど、また、判定対象画素と注目画素の輝度値の差が小さいほど、また、判定対象画素と注目画素の奥行距離の差が小さいほどに高くなる。

ここで、算出される奥行距離情報は、撮像対象が遠方のものであるほど精度が低下する。そこで、類似度算出部２５には、類似度ｗ（ｍ，ｎ）を算出させる際に、注目点（注目画素）の奥行距離情報に応じた重み付けを輝度値情報や奥行距離情報に対して実施させることが望ましい。具体的には、注目点（注目画素）が撮像領域（撮像画像又は輝度画像又は距離画像）における近傍の領域（例えば下半分の領域）にある場合、奥行距離による類似性が強くなり、注目点（注目画素）が撮像領域（撮像画像又は輝度画像又は距離画像）における遠方の領域（例えば上半分の領域）にある場合、輝度値による類似性が強くなるように、例えば式１の第２項における分子の第２項に対して、注目点（注目画素）の奥行距離によって変化する重みｗ（ｄ）を乗算する（式２）。その重みｗ（ｄ）は、注目点（注目画素）の奥行距離に応じた多段階の値となるように設定してもよい。また、この重みｗ（ｄ）は、シグモイド関数等で連続的に変化するように設定してもよい。

動き推定部２６は、この技術分野における周知の方法で注目点（注目画素）の動きを推定する。但し、その推定を行う際には、類似度ｗ（ｍ，ｎ）を考慮する。つまり、本実施例の動き推定部２６は、判定対象画素の類似度ｗ（ｍ，ｎ）に基づいて注目点（注目画素）の動きを推定し、この推定を撮像領域内（撮像画像内又は輝度画像内又は距離画像内）で設定した各注目点に対して行うことで撮像対象の動きを推定する。例えば、その注目点（注目画素）の動きの推定には、勾配法やブロックマッチング法を用いることができる。

勾配法を適用する場合には、下記の式３のオプティカルフロー拘束方程式を局所領域内の各画素から構成する。そして、従来の勾配法においては、その画素毎の拘束方程式を連立させた式４の連立方程式を解くことで、注目点（注目画素）の動きを推定する。

本実施例の動き推定部２６は、その連立方程式に類似度ｗ（ｍ，ｎ）を乗算することで、注目点（注目画素）と動きが一致しない画素の影響を低減させることができる（式５）。また、この動き推定部２６は、類似度ｗ（ｍ，ｎ）が所定値よりも低い画素に関して連立方程式から除外することで、注目点（注目画素）と動きが一致しない画素の影響を低減させることができる。

座標（ｘ，ｙ）における画素の時間ｔにおける輝度をＩ（ｘ，ｙ，ｔ）とする。「ｕ（＝ｄｘ／ｄｔ）」は、座標（ｘ，ｙ）における画素の動きベクトルのｘ成分である。「ｖ（＝ｄｙ／ｄｔ）」は、座標（ｘ，ｙ）における画素の動きベクトルのｙ成分である。「Ｉ_ｘ（＝∂Ｉ／∂ｘ）」や「Ｉ_ｙ（＝∂Ｉ／∂ｙ）」は、空間的な輝度勾配を表している。「Ｉ_ｔ（＝∂Ｉ／∂ｔ）」は、時間的な輝度勾配を表している。式４，５の「ｆ」と「Ａ」は、各々下記の式６，７で表される。

ブロックマッチング法では、時間ｔの画像（撮像画像又は輝度画像又は距離画像）と時間ｔ−１の画像（時間ｔの１つ前に撮像された撮像画像又は輝度画像又は距離画像）との間において、時間ｔ−１の画像（撮像画像又は輝度画像又は距離画像）の注目点（注目画素）に対応する時間ｔの画像内（撮像画像内又は輝度画像内又は距離画像内）の点（以下、「対応点」という。）を直接的に探索する。従来のブロックマッチング法においては、その対応点の確からしさについて下記の式８を用いて評価する。

本実施例の動き推定部２６は、その式８に類似度ｗ（ｍ，ｎ）を乗算した下記の式９で対応点の確からしさを評価することによって、時間ｔの撮像画像内又は輝度画像内又は距離画像内で時間ｔ−１の注目点（注目画素）に近い動きを持つ画素の推定結果への寄与度を高めることができる。つまり、この動き推定部２６は、局所領域内の判定対象画素の注目画素に対する類似度ｗ（ｍ，ｎ）に基づいて、注目点（注目画素）の動き推定の演算処理に対する寄与度を制御することができる。

図３は、ブロックマッチング法について説明する図である。本実施例の動き推定部２６は、式９のｗＳＡＤが最小になる（ｕ，ｖ）を注目点（注目画素）の動き（オプティカルフロー）として推定する。

動き推定部２６は、撮像領域内（撮像画像内又は輝度画像内又は距離画像内）の全ての注目点（注目画素）に対して動きの推定を行う。動き推定ＥＣＵ２０には、その推定結果（推定した撮像対象の動きの情報）を出力する動き情報出力部２７が設けられている。その動き情報出力部２７は、最新の（つまり最後に推定した）推定結果の出力を行う。その出力先は、例えば、自車両の周囲画像の認識システムや自動ブレーキ等の運転支援システムなどである。

この動き情報推定装置１の演算処理について、図４のフローチャートに簡単にまとめる。

この演算処理は、例えば、画像情報取得部２１による時系列毎の画像情報（撮像画像の情報又は輝度画像の情報）の取得を契機にして始める（ステップＳＴ１）。

距離情報算出部２３は、その撮像画像の情報又は輝度画像の情報を画像情報取得部２１から受け取ると、撮像画像又は輝度画像における各画素の奥行距離情報を算出し、その各位置の奥行距離を表した距離画像を生成する（ステップＳＴ２）。

領域設定部２４は、撮像画像又は輝度画像又は距離画像の中から注目画素を設定し（ステップＳＴ３）、その注目画素を含む局所領域を設定する（ステップＳＴ４）。

類似度算出部２５は、その局所領域内の注目画素以外の全ての判定対象画素の注目画素に対する類似度ｗ（ｍ，ｎ）を算出する（ステップＳＴ５）。

動き推定部２６は、例えば前述した勾配法を利用し、その局所領域内の類似度ｗ（ｍ，ｎ）の高い判定対象画素｛類似度ｗ（ｍ，ｎ）が所定値以上の判定対象画素｝と注目画素とを用いて、その局所領域内の注目画素の動きを推定する（ステップＳＴ６）。

動き推定部２６は、撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定を終えたのか否かを判定する（ステップＳＴ７）。

撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定を終えていない場合、領域設定部２４は、ステップＳＴ３に進み、撮像画像又は輝度画像又は距離画像の中から動き推定が済んでいない注目画素を設定する。以降、動き推定ＥＣＵ２０は、全ての注目画素の動き推定を終えるまで、同様の演算処理を繰り返す。そして、撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定が終わった場合、動き情報出力部２７は、その推定結果（推定した撮像領域内の撮像対象の各画素における動きの情報）を出力する（ステップＳＴ８）。

このように、本実施例の動き情報推定装置１は、撮像画像又は輝度画像又は距離画像の中から注目画素を含む局所領域を設定し、その局所領域の中で注目画素に対する類似度ｗ（ｍ，ｎ）の高い画素と類似度ｗ（ｍ，ｎ）の低い画素との識別を行う。そして、この動き情報推定装置１は、その類似度ｗ（ｍ，ｎ）の高い画素と注目画素とを用いて、その局所領域内の注目点（注目画素）の動きを推定する。このため、この動き情報推定装置１は、注目点（注目画素）の動きを推定する際に、その注目点（注目画素）と動きが一致しない画素（判定対象画素）の影響を低減させることができる。よって、この動き情報推定装置１は、局所領域内に複数の動きの異なる撮像対象が混在している場合に、その撮像対象の境界付近における動きを高精度に推定することができる。故に、その推定した動きの情報を利用するシステムにおいては、自車両の周囲の物体の認識精度を向上させることができる。尚、複数の動きの異なる撮像対象が混在している場合とは、複数の動きの異なる動的物体が混在している場合だけでなく、動的物体と動きの無い撮像対象（静的物体や背景等）とが混在している場合も含む。

ここで、動き推定部２６は、各画素の動きベクトルを算出した後、類似度ｗ（ｍ，ｎ）を重みとした局所領域内の加重平均を算出することによって、最終的な動きベクトルを決定してもよい。

［変形例］
図５の符号２は、本変形例の動き情報推定装置を示す。本変形例の動き情報推定装置２は、前述した実施例の動き情報推定装置１に対して以下の点を変更したものである。具体的に、本変形例の動き推定ＥＣＵ２０は、実施例に対して、動き予測部２８と撮像対象検出部２９とを新たに設けると共に、領域設定部２４と類似度算出部２５を後述するように変更する。

動き予測部２８は、動き推定部２６で推定された撮像対象の動きの情報（つまり撮像画像又は輝度画像又は距離画像の各画素の動きの情報）に基づいて、その撮像画像又は輝度画像又は距離画像の各画素における１フレーム後の動き情報を予測する。その予測を行う際には、撮像装置１０における１フレーム毎の撮像時間差の情報を考慮に入れる。また、その予測を行う際には、各画素の奥行距離情報（距離画像）に基づき撮像装置１０の運動（自車両のピッチ運動等の３次元的な運動）を考慮に入れて算出することで、予測結果（予測した撮像画像又は輝度画像又は距離画像の各画素における１フレーム後の動きの情報）の精度を高めることができる。

この動き予測部２８は、その予測結果を類似度算出部２５と動き情報出力部２７とに渡す。類似度算出部２５においては、後述するように、その予測結果をも利用して類似度ｗ（ｍ，ｎ）の算出を行う。また、動き情報出力部２７は、その予測結果を動き推定部２６の推定結果と共に出力する。

撮像対象検出部２９は、撮像画像又は輝度画像又は距離画像の中の互いに異なる撮像対象を区分けして検出する。このため、この撮像対象検出部２９は、動き推定部２６で推定された各画素における動きの情報と各画素における奥行距離情報（距離情報算出部２３が生成した距離画像）とを用いて、撮像画像又は輝度画像又は距離画像の中で同一の撮像対象である可能性が高い画素をグループ化する。ここでは、距離画像を用いて行う。これにより、この撮像対象検出部２９は、距離画像において、異なる撮像対象の存在している領域を区分けすることができる。例えば、この撮像対象検出部２９は、距離画像の中の複数の画素を比較し、互いに動きの情報が同等であり、かつ、互いに奥行距離が同等である場合、これらの画素を同一のグループとして判定する。また、この撮像対象検出部２９は、更に輝度画像から得られるエッジ情報（異なる撮像対象同士の境界の情報）をも考慮に入れることで、区分けされた領域の境界（グループの境界）を高精度に検出することができる。この撮像対象検出部２９は、その検出結果を領域設定部２４と類似度算出部２５と動き情報出力部２７とに渡す。動き情報出力部２７は、その検出結果を動き推定部２６の推定結果等と共に出力する。

本変形例の領域設定部２４は、撮像対象検出部２９の検出結果を用いて、局所領域の大きさや形状を変更することができる。例えば、領域設定部２４は、撮像対象検出部２９の検出結果に基づいて、注目画素の属している撮像対象の形状を判定し、その形状と大きさに合わせた局所領域を設定する。具体的に、注目画素の属している撮像対象が縦長形状又は横長形状の場合には、その縦長形状又は横長形状と大きさとに合わせた縦長形状又は横長形状の局所領域を設定する。類似度算出部２５による類似度ｗ（ｍ，ｎ）の算出には多量の演算処理が必要になるが、この領域設定部２４は、注目画素との間で類似度ｗ（ｍ，ｎ）を比較する必要の無い領域（画素）を予め除外しておくことができるので、類似度ｗ（ｍ，ｎ）の算出量を減らすことができる。一方、この領域設定部２４は、撮像対象検出部２９の検出結果によって周囲の画素が注目画素と同じ撮像対象であると判っているならば、同じ撮像対象の画素が多く含まれるように局所領域を広く設定することによって、動きの推定精度を向上させることができる。

本変形例の類似度算出部２５は、動き予測部２８で予測された撮像対象の各画素における１フレーム後の動きの情報や撮像対象検出部２９の検出結果を類似度ｗ（ｍ，ｎ）の算出結果に反映させる。

例えば、この類似度算出部２５は、動き予測部２８の予測結果を用いる場合、注目画素と判定対象画素との間の動きの予測が近いほど類似度ｗ（ｍ，ｎ）が高くなるように算出する。つまり、この類似度算出部２５は、注目画素と判定対象画素との間の動きの予測結果を利用して、類似度ｗ（ｍ，ｎ）を算出する。具体的には、下記の式１０に基づいて類似度ｗ（ｍ，ｎ）の算出を行う。

「ｕ」は、座標（ｘ，ｙ）における注目画素の動きベクトルのｘ成分である。「ｕ’」は、座標（ｘ，ｙ）における判定対象画素の動きベクトルのｘ成分である。「ｖ」は、座標（ｘ，ｙ）における注目画素の動きベクトルのｙ成分である。「ｖ’」は、座標（ｘ，ｙ）における判定対象画素の動きベクトルのｙ成分である。「σ３」は、第２項の分散値である。

また、撮像対象検出部２９の検出結果を用いる場合には、注目画素と同一の撮像対象であるのか否かの２値化が可能である。このため、この場合には、類似度算出部２５に類似度ｗ（ｍ，ｎ）についても２値で表現させることで、同一の撮像対象を示す画素のみを利用して、動き推定部２６に注目画素の動きを推定させてもよい。

ここで、撮像対象検出部２９においては、その検出結果の精度が低くなってしまっている可能性もある。このため、本変形例の類似度算出部２５は、下記の式１１に基づいて類似度ｗ（ｍ，ｎ）の算出を行ってもよい。その式１１とは、上記の式１０の第２項の分子に、注目画素と判定対象画素とが同一の撮像対象であるのか否かを表す項（例えば数値化したもの）Ｐｘを加算したものである。

本変形例の動き情報推定装置２の演算処理について、図６のフローチャートに簡単にまとめる。

本変形例においても、この演算処理は、画像情報取得部２１による時系列毎の画像情報（撮像画像の情報又は輝度画像の情報）の取得を契機にして始める（ステップＳＴ１１）。

距離情報算出部２３は、前述した実施例と同じように、撮像画像又は輝度画像における各画素の奥行距離情報を算出し、その各位置の奥行距離を表した距離画像を生成する（ステップＳＴ１２）。

撮像対象検出部２９は、現時刻における距離画像内の撮像対象を区分けする（ステップＳＴ１３）。その区分けは、後述するステップＳＴ２０のグループ化の結果を利用して行う。このため、そのグループ化の結果が未だ出ていないときは、このステップＳＴ１３の演算処理を飛ばして、次のステップＳＴ１４に進む。

領域設定部２４は、撮像画像又は輝度画像又は距離画像の中から注目画素を設定し（ステップＳＴ１４）、その注目画素を含む局所領域を設定する（ステップＳＴ１５）。その際、領域設定部２４は、ステップＳＴ１３で撮像対象検出部２９の検出結果を得ているのであれば、その検出結果に基づいて、注目画素の属している撮像対象の形状と大きさに合わせた局所領域を設定する。

類似度算出部２５は、その局所領域内の注目画素以外の全ての判定対象画素の注目画素に対する類似度ｗ（ｍ，ｎ）を算出する（ステップＳＴ１６）。その際、類似度算出部２５は、動き予測部２８の予測結果や撮像対象検出部２９の検出結果を得ているのであれば、その予測結果や検出結果も利用して類似度ｗ（ｍ，ｎ）の算出を行う。

動き推定部２６は、実施例と同じように、その局所領域内の類似度ｗ（ｍ，ｎ）の高い判定対象画素と注目画素とを用いて、その局所領域内の注目画素の動きを推定する（ステップＳＴ１７）。

動き推定部２６は、撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定を終えたのか否かを判定する（ステップＳＴ１８）。

撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定を終えていない場合、領域設定部２４は、ステップＳＴ１４に進み、撮像画像又は輝度画像又は距離画像の中から動き推定が済んでいない注目画素を設定する。以降、動き推定ＥＣＵ２０は、全ての注目画素の動き推定を終えるまで、同様の演算処理を繰り返す。

撮像画像又は輝度画像又は距離画像の全ての注目画素の動き推定が終わった場合、動き予測部２８は、動き推定部２６で推定された撮像対象の各画素における動きの情報に基づいて、撮像対象の各画素における１フレーム後の動き情報を予測する（ステップＳＴ１９）。そして、撮像対象検出部２９は、距離画像の中で同一の撮像対象である可能性が高い画素をグループ化する（ステップＳＴ２０）。

動き情報出力部２７は、動き推定部２６の推定結果と動き予測部２８の予測結果と撮像対象検出部２９の検出結果（撮像対象の区分情報）を出力する（ステップＳＴ２１）。

本変形例の動き情報推定装置２は、実施例の動き情報推定装置１と同様の効果が得られるだけでなく、次のような効果も得ることができる。先ず、この動き情報推定装置２は、予測した動き情報を利用しているので、算出された類似度ｗ（ｍ，ｎ）の精度を実施例よりも向上させることが可能になり、その結果、動きの推定精度についても向上させることができる。また、この動き情報推定装置２は、撮像対象検出部２９の検出結果を利用しているので、不要な画素を省略した局所領域の設定が可能になり、類似度ｗ（ｍ，ｎ）の算出を簡素化することができる。また、この動き情報推定装置２は、撮像対象検出部２９の検出結果を利用しているので、適切な局所領域の設定が可能になり、動きの推定精度を向上させることができる。

ここで、本変形例の類似度算出部２５は、撮像対象検出部２９の検出結果と動き予測部２８の予測結果の両方を用いて類似度ｗ（ｍ，ｎ）の算出を行うものとして説明した。但し、この類似度算出部２５は、その撮像対象検出部２９の検出結果と動き予測部２８の予測結果の内の少なくとも一方を用いて類似度類似度ｗ（ｍ，ｎ）を算出するものであってもよい。また、動き推定ＥＣＵ２０が動き予測部２８と撮像対象検出部２９の内、動き予測部２８のみを有する場合、類似度算出部２５は、その動き予測部２８の予測結果を用いて類似度類似度ｗ（ｍ，ｎ）を算出すればよい。また、動き推定ＥＣＵ２０が動き予測部２８と撮像対象検出部２９の内、撮像対象検出部２９のみを有する場合、類似度算出部２５は、その撮像対象検出部２９の検出結果を用いて類似度類似度ｗ（ｍ，ｎ）を算出すればよい。

１，２ 動き情報推定装置
１０ 撮像装置
２０ 動き推定ＥＣＵ
２１ 画像情報取得部
２２ 画像情報保存部
２３ 距離情報算出部
２４ 領域設定部
２５ 類似度算出部
２６ 動き推定部
２７ 動き情報出力部
２８ 動き予測部
２９ 撮像対象検出部

Claims (6)

1. 自車両の周辺の撮像対象を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列毎に出力する撮像装置と、
   前記撮像画像の輝度値情報に基づいて前記撮像装置から前記撮像対象までの奥行距離情報を画素毎に算出する距離情報算出部と、
   前記撮像画像における注目点に対応する注目画素と当該注目画素の周囲の画素とからなる局所領域を設定する領域設定部と、
   前記輝度値情報と前記奥行距離情報に基づいて前記注目画素に対する前記周囲の画素の類似度を算出する類似度算出部と、
   前記類似度に基づいて前記注目点の動きを推定し、該推定を前記撮像画像内の各注目点に対して行うことで前記撮像対象の動きを推定する動き推定部と、
   を備えることを特徴とした動き情報推定装置。
2. 前記領域設定部は、前記注目画素の奥行距離情報に応じて大きさを変更することを特徴とした請求項１に記載の動き情報推定装置。
3. 前記類似度算出部は、類似度を算出する際に、前記注目画素の奥行距離情報に応じた重み付けを前記輝度値情報や前記奥行距離情報に対して行うことを特徴とした請求項１又は２に記載の動き情報推定装置。
4. 前記撮像画像の中の互いに異なる撮像対象を区分けして検出する撮像対象検出部を設け、
   前記領域設定部は、前記撮像対象検出部の検出結果を用いて前記局所領域の大きさや形状を変更することを特徴とした請求項１，２又は３に記載の動き情報推定装置。
5. 前記類似度算出部は、前記撮像対象検出部の検出結果を用いて前記類似度を算出することを特徴とした請求項４に記載の動き情報推定装置。
6. 前記動き推定部で推定された前記撮像対象の動きの情報に基づいて前記撮像画像の各画素における１フレーム後の動き情報を予測する動き予測部を設けた場合、前記類似度算出部は、前記撮像対象検出部の検出結果と前記動き予測部の予測結果の内の少なくとも一方を用いて前記類似度を算出することを特徴とした請求項４に記載の動き情報推定装置。

Images