JP2013142668A

JP2013142668A - 位置推定装置及び位置推定方法

Info

Publication number: JP2013142668A
Application number: JP2012004126A
Authority: JP
Inventors: Asako Hamada; 麻子浜田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2012-01-12
Filing date: 2012-01-12
Publication date: 2013-07-22

Abstract

【課題】ステレオカメラを用いて検出した物体の位置、特に物体端点の位置を高精度に推定すること。
【解決手段】物体側面位置抽出部１０４は、物体の画像上の存在領域のうち最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二物体端点の位置とを抽出し、視差誤差特性判定部１０５はステレオカメラの光軸上に物体が存在するか否かを判定し、基準軌跡推定部１０６は、ステレオカメラの光軸上に物体が存在していない画像における第一物体端点の位置及び第二物体端点の位置を用いて複数画像に渡る第一物体端点の第一軌跡及び複数画像に渡る第二物体端点の第二軌跡を推定し、第一軌跡と第二軌跡とから１つの基準軌跡を推定し、補正値算出部１０７は、基準軌跡を用いて第一物体端点の位置の補正値及び第二物体端点の位置の補正値を算出する。
【選択図】図２

Description

本発明は、ステレオカメラを用いて検出した物体の位置を高精度に推定する位置推定装置及び位置推定方法に関する。

今後、交通事故自動記録装置（ＴＡＡＭＳ：Traffic Accident Auto Memory System）又は突発事象検知システム等の交通事故防止及び事故原因究明に関する高度道路交通システム（ＩＴＳ：Intelligent Transport Systems）の普及が拡大すると予想される。

例えば、現在、交通事故多発交差点に設置されているＴＡＡＭＳは、交通事故後の迅速な捜査又は交通事故の未然防止対策のために、交通事故を検出し、交通事故前後の映像を記録する機能を備えている。交通事故の更なる削減のために、検出漏れとなっている交通事故又は交通事故に至らないが危険であった事象、所謂、ヒヤリハットを検出・記録することにより、事故状況の詳細分析及び事故対策前後の評価に活用することが期待されている。

事故を検出する際には、衝突音及びブレーキ音等、事故時に発生する音により検出を行うシステムが一般的である。しかし、低速での衝突、人と車両との接触などの交通事故又はヒヤリハットは必ずしも音が伴わないため、現在のシステムでは検出されない。そこで、道路上で発生するそれらの事象を検出するためには、音による検出ではなく、車両の速度、車両同士の距離又は車両と歩行者との間の接近距離等の情報を用いて危険であったか否かを判断する必要がでてくる。つまり、道路上で発生する低速での衝突など又はヒヤリハットを検出するためには、車両の大きさ及び位置がより正確に特定される必要がある。

近年、ＩＴＳ等の路側のシステムのみならず、衝突防止等の安全運転支援のためにステレオカメラを搭載する車両が登場している。それに伴い、ステレオカメラによる物体の位置検出技術の実用化開発も活発化している。

しかしながら、ステレオカメラによる物体の位置検出技術を路側のシステムへ適用しようとすると、用途の違いから解決しなければならない課題が発生する。例えば、車載の衝突防止システムでは、自車両と前車両との距離を測定可能であることが重要であり、前車両の大きさ及び位置の精度はそれほど重要ではない。つまり、ステレオカメラで撮影した前車両の車体領域のうち、精度良く算出できた視差値のみを採用して車両間の距離を特定できればよい。これに対して、前述した路側のシステムであるＴＡＡＭＳでは、ヒヤリハット及び低速での衝突などの検出には車両の大きさ及び位置の精度が求められ、その要件を満たすためには車両の端点位置の推定精度が重要となる。

ステレオ画像処理による測距では、ブロック画像内にカメラからの距離が異なる物体が含まれてしまうため、物体間の境界部分（実座標平面において測距対象物の端点の位置に変換される画素列）に誤差が含まれやすい傾向にある。このような課題に対し、特許文献１には、測距対象物の境界部分の位置を補正する方法が開示されている。

特許文献１に記載の技術（以下「従来技術」という）は、ステレオ画像処理により得られる視差値を確からしい値に補正する技術である。具体的には、従来技術は、ステレオ画像処理における対応点検出の信頼性が低い画素が存在する場合、対応点検出の信頼性が高い周辺画素の視差値を当該画素の視差値として採用することで、信頼性の低い視差値を補正する技術である。

特許第３８６４４９１号公報

しかしながら、従来技術では、物体の境界部分の視差値として、測距対象の後景側に存在する物体の視差値が、当該測距対象の視差値として採用されてしまうケースが発生する。物体の境界部分以外の物体領域内部の視差値を見ると、測距対象の物体が車両の場合、車両のボディ部分又は窓等はテクスチャに特徴が無く、ステレオ画像処理における対応点の検出ができずに視差値が得られない可能性がある。つまり、車両領域内部の特定箇所について信頼性の高い視差値が安定して取れる可能性は小さい。そのため、ステレオ視（ステレオビジョン）により車両の位置検出を行う際には、物体の境界部分の視差値がより重要である。誤って後景側の視差値を採用してしまうと物体の位置が実際の位置よりもカメラから遠ざかる方向に出てしまい、ヒヤリハット及び低速での衝突などの検出に漏れが生じやすくなる。このように、ステレオ視により車両の位置検出を行う際には、車両の端点の視差値をより正確に得ることが重要となる。

本発明の目的は、ステレオカメラを用いて検出した物体の実平面座標上の位置、特に物体端点の位置を高精度に推定することができる位置推定装置及び位置推定方法を提供することを目的とする。

本発明の一態様の位置推定装置は、ステレオカメラで取得された画像を用いて算出された視差値の分布に基づいて特定される物体の画像上の存在領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置と、を画像毎に抽出する抽出部と、前記ステレオカメラの光軸上に前記物体が存在するか否かを画像毎に判定する判定部と、前記ステレオカメラの光軸上に前記物体が存在していない画像における前記第一の物体端点の位置及び前記第二の物体端点の位置を用いて、複数の時系列画像に渡る前記第一の物体端点の第一の軌跡、及び、複数の時系列画像に渡る前記第二の物体端点の第二の軌跡を推定し、前記第一の軌跡と前記第二の軌跡とから１つの基準軌跡を推定する推定部と、前記第一の物体端点の位置、前記第二の物体端点の位置、及び、前記基準軌跡を用いて、前記第一の物体端点の位置の第一の補正値及び前記第二の物体端点の位置の第二の補正値を算出する補正値算出部と、を具備する構成を採る。

本発明の一態様の位置推定方法は、ステレオカメラで取得された画像を用いて算出された視差値の分布に基づいて特定される物体の画像上の存在領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置と、を画像毎に抽出し、前記ステレオカメラの光軸上に前記物体が存在するか否かを画像毎に判定し、前記ステレオカメラの光軸上に前記物体が存在していない画像における前記第一の物体端点の位置及び前記第二の物体端点の位置を用いて、複数の時系列画像に渡る前記第一の物体端点の第一の軌跡、及び、複数の時系列画像に渡る前記第二の物体端点の第二の軌跡を推定し、前記第一の軌跡と前記第二の軌跡とから１つの基準軌跡を推定し、前記第一の物体端点の位置、前記第二の物体端点の位置、及び、前記基準軌跡を用いて、前記第一の物体端点の位置の第一の補正値及び前記第二の物体端点の位置の第二の補正値を算出する。

本発明によれば、ステレオカメラを用いて検出した物体の位置、特に物体端点の位置を高精度に推定することができる。

本発明の一実施の形態に係る位置推定装置の要部構成を示すブロック図本発明の一実施の形態に係る位置推定装置の構成を示すブロック図本発明の一実施の形態に係る視差値の算出例を示す図本発明の一実施の形態に係る物体領域の算出例を示す図本発明の一実施の形態に係る物体側面位置の算出例を示す図本発明の一実施の形態に係る位置推定装置の処理を示すフロー図本発明の一実施の形態に係る視差誤差特性の判定例を示す図本発明の一実施の形態に係る視差誤差特性の判定処理を示すフロー図本発明の一実施の形態に係る視差誤差特性判定部から出力される情報の一例を示す図本発明の一実施の形態に係る基準軌跡の作成例を示す図本発明の一実施の形態に係る物体端点の補正値算出の一例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

なお、ステレオカメラで同時刻に撮影された２つの画像（基準画像及び参照画像）において、基準画像上の画素である基準点に対応した参照画像上の画素を「対応点」と呼ぶ。ステレオ画像処理において、この対応点を検出する際に算出されるのが、基準点と対応点との画素位置の差であり、この差を「視差値」と呼ぶ。カメラから対象物までの距離は、ステレオ視の原理により視差値を用いて算出可能である。また、画像上の対象物の位置とカメラから対象物までの距離とにより、当該対象物の実座標平面上の位置を求めることもできる。

また、以下の説明では、物体の存在領域（以下、物体領域と呼ぶ）は実座標平面上に多角形で表現される。例えば、車両は長方形で表され、当該車両の端点は４つの候補となる。すなわち、車両の端点のうち少なくとも３つの端点の位置が決まれば、物体領域を特定することが可能となる。

図１は、本発明の実施の形態に係る位置推定装置１００の要部構成を示すブロック図である。図１に示す位置推定装置１００において、物体側面位置抽出部１０４は、ステレオカメラで取得された画像を用いて算出された視差値の分布に基づいて特定される物体の画像上の存在領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置と、を画像毎に抽出する。視差誤差特性判定部１０５は、ステレオカメラの光軸上に物体が存在するか否かを画像毎に判定する。基準軌跡推定部１０６は、ステレオカメラの光軸上に物体が存在していない画像における第一の物体端点の位置及び第二の物体端点の位置を用いて、複数の画像に渡る第一の物体端点の第一の軌跡、及び、複数の時系列画像に渡る第二の物体端点の第二の軌跡を推定し、第一の軌跡と第二の軌跡とから１つの基準軌跡を推定する。補正値算出部１０７は、第一の物体端点の位置、第二の物体端点の位置、及び、基準軌跡を用いて、第一の物体端点の位置の第一の補正値及び第二の物体端点の位置の第二の補正値を算出する。

［位置推定装置１００の構成］
図２は、本発明の実施の形態に係る位置推定装置１００の構成を示すブロック図である。図２において、位置推定装置１００は、画像取得部１０１と、視差算出部１０２と、物体検出部１０３と、物体側面位置抽出部１０４と、視差誤差特性判定部１０５と、基準軌跡推定部１０６と、補正値算出部１０７とを有する。

図２に示す位置推定装置１００において、画像取得部１０１は、外部のステレオカメラから基準画像及び参照画像を取得する。具体的には、画像取得部１０１は、外部のステレオカメラで同期して撮影された２つの映像ストリーム（つまり、基準画像となる映像ストリーム及び参照画像となる映像ストリーム）を取得する。画像取得部１０１は、取得した映像ストリームを時系列画像に展開し、画素毎の輝度値を画像データとして、視差算出部１０２に出力する。画像取得部１０１は、映像ストリームを、リアルタイムで取得してもよく、ファイルの読み出しにより取得してもよい。

視差算出部１０２には、画像取得部１０１から入力される画像データ（基準画像及び参照画像）を用いて画像毎に視差値を算出する。具体的には、視差算出部１０２は、同期した各画像の画像データを抽出し、各画素に対して視差値を算出する。視差値の算出範囲は、全画像領域でもよく、予め定められた物体領域のみでもよく、移動体のみを対象とするのであれば動きベクトル等で検出された範囲の領域のみでもよい。視差算出部１０２は、算出した画素毎の視差値を示す視差情報を物体検出部１０３に出力する。

例えば、視差算出部１０２は、ブロックマッチングを用いて視差値を算出する。例えば、視差算出部１０２は、輝度差の総和（ＳＡＤ：Sum of Absolute Differences）又は輝度差の二乗和（ＳＳＤ：Sum of Squared Differences）等の評価関数を用いて、画像間の相関度を評価し、相関度が最も高い評価値となったときの画素差（比較した基準画像と参照画像との画素位置の差）を求める。そして、視差算出部１０２は、折れ線近似又は放物線近似等の近似式を用いて、最も評価値が高くなる視差値をサブピクセル単位で推定し、より詳細な画素差を視差値として算出する。

物体検出部１０３は、視差算出部１０２から入力される視差情報（画素毎の視差値）を用いて、物体領域を検出する。具体的には、物体検出部１０３は、視差算出部１０２で算出された視差値の分布に基づいて、画像上の物体領域（物体の画像上の存在領域）を画像毎に検出する。物体検出部１０３における物体領域の検出処理の一例を図３及び図４を用いて説明する。

図３Ａは、或る１枚の画像を示す。図３Ａに示す画像内の画素の配置は、左上を原点として、横軸u[pixel]、縦軸v[pixel]で表される。図３Ａに示す画像では、縦軸の中央（v=vmax/2の位置。vmaxは縦の画像サイズ）が路面となるように、路面に対し水平にカメラを設置した際に表示される画像であり、路面上にカメラに正対する一枚の板が写っている。つまり、ここでは、図３Ａに示す板を上記物体の一例として説明する。

図３Ｂは、図３Ａに示す縦軸の或る１列（u=u_a）を抽出して、u=u_aにおいて算出された視差値（d）を示す図である。図３Ｂに示すように、図３Ａに示す一枚の板に対応する画素の位置付近（u=u_a、v=56〜240）のみで視差値がそれぞれ得られる。なお、俯角付ステレオカメラ等により地面に対し傾きがある状態で撮影された映像の場合には、視点変換により仮想的に地面に対して水平に設置された状態で得られる視差値に変換した値が用いられる。また、通常、検出したい物体以外の物体も画像内に存在する。そのため、検出したい物体がない状態の画像を事前に後景画像として取得し、同様に、後景画像の視差値を仮想的に地面に対して水平に設置された状態で得られる視差値に変換しておく。後景画像の視差値は、後述の後景差分処理に用いる。

図３Ｃは、視差値の分布を示す図である。図３Ｃでは、横軸をu[pixel]とし、縦軸をd[pixel]とし、それぞれの軸をある間隔で刻みメッシュを作成する。メッシュの一つ一つは視差値の投票箱を表すものである。また、図３Ｃはu=u_aにおける視差値ｄの分布を一例として示す。図３Ｃに示すように、図３Ｂに示す視差値ｄはvの個数（vが56から240まで）である１８５個分、(u_a, 3)〜(u_a, 4)の範囲の投票箱に投票される。この場合、投票された１８５個を投票数と表現する。

これにより、物体検出部１０３は、u=u_aにおいてほぼ同一の視差値（3≦d≦4）を有する物体がどれくらいの大きさ（路面からの高さで１８５画素分）で存在しているかを特定する。

次いで、図４Ａは、路面上に存在する車両が写っている画像を示す。つまり、ここでは、図４Ａに示す車両を上記物体の一例として説明する。なお、図４Ａに示す画像内の画素の配置は図３Ａと同様である。

図４Ｂは、図４Ａに示す車両のu領域、u_a≦u≦u_bの範囲で算出された視差値の分布を示す。実際には図４Ａに示す画像上には、後景画像の視差値が存在するため、物体検出部１０３は、車両が写っている画像で算出された視差値の分布から、後景画像に相当する視差値の分布を取り除く処理（後景差分処理）を行う。その後、物体検出部１０３は、図４Ｂに示すような、連続的に存在する領域を物体領域として認識し、グルーピングする。なお、車両領域内部はテクスチャが均一である箇所が多いため視差値が求められず、投票された投票箱の分布が離散的になる場合がある。その場合、物体検出部１０３は、隣り合う投票箱間の距離（u値の差）又は投票数の類似度などにより連続性を判断し、離散的な投票箱の分布を同じグループとして認識する。

物体検出部１０３は、グルーピングした物体を示すＩＤ（物体ＩＤ）と、領域情報である視差値の分布図のu-dリスト（例えば、図４Ｃ参照）とを含む物体領域情報を物体側面位置抽出部１０４に出力する。

なお、図３及び図４では、物体検出部１０３が１つの物体を検出する場合について例示したが、検出される物体は複数であってもよい。

物体側面位置抽出部１０４は、物体検出部１０３から入力される物体領域情報を用いて、物体の実座標平面上の位置（物体の俯瞰図）を検出する。物体の実座標平面は、カメラの位置を原点に角度方向（光軸に垂直な軸）をx軸、距離方向（光軸）をｙ軸とし、カメラ位置からの物体までの相対位置を示すものである。例えば、物体側面位置抽出部１０４は、次式（１）に示す変換式に従って、物体領域情報に示される画像内の物体の領域（u, d）を、実座標平面上の位置（x, y）に変換する。

次いで、物体側面位置抽出部１０４は、カメラからの距離が最も短い点（以下、第一の物体端点と呼ぶ）と、最も長い点（以下、第二の物体端点と呼ぶ）とを抽出する。例えば、図５は、物体検出部１０３で検出された物体領域（図４Ｂ参照）を、式（１）に示す変換式を用いて実座標平面上の位置に変換した結果を示す。図５に示すように、物体側面位置抽出部１０４は、カメラからの距離が最も近い点（xs, ys）を第一の物体端点として抽出し、カメラからの距離が最も遠い点（xl, yl）を第二の物体端点として抽出する。換言すると、物体側面位置抽出部１０４は、物体検出部１０３で検出された物体領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置（xs, ys）と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置（xl, yl）と、を画像毎に抽出する。物体側面位置抽出部１０４は、物体ＩＤ、抽出した第一の物体端点（xs, ys）、及び、第二の物体端点（xl, yl）を視差誤差特性判定部１０５に出力する。

なお、物体側面位置抽出部１０４は、物体がカメラの光軸上を移動する場合以外は、車両側面の先端部分及び後端部分のように進行方向に平行に移動する物体の端点を第一の物体端点及び第二の物体端点としてそれぞれ抽出することができる。

視差誤差特性判定部１０５は、物体側面位置抽出部１０４から入力される第一の物体端点及び第二の物体端点を用いて、視差誤差特性を判定する。ここで、「視差誤差特性」は、物体端点における視差値の誤差（真値との差。以下、視差誤差と呼ぶ）Δdの符号の出現傾向を表す。例えば、真値と比較してカメラ寄りに現れる視差値（つまり、真値よりも大きい値）に含まれる視差誤差Δdの符号は「正」となり、真値と比較してカメラの奥行きに現れる視差値（つまり、真値よりも小さい値）に含まれる視差誤差Δdの符号は「負」となる。

例えば、視差誤差特性判定部１０５は、ステレオカメラの光軸上に物体が存在するか否かを画像毎に判定し、ステレオカメラの光軸上に物体が存在しない場合を「視差誤差特性が適合」と表し、ステレオカメラの光軸上に物体が存在する場合を「視差誤差特性が非適合」と表す。視差誤差特性判定部１０５は、物体ＩＤ、各時刻における、視差誤差特性の判定結果（適合性）、第一の物体端点の位置、第二の物体端点の位置を、基準軌跡推定部１０６に出力する。なお、視差誤差特性判定部１０５における視差誤差特性の判定処理の詳細については後述する。

基準軌跡推定部１０６は、視差誤差特性判定部１０５から入力される視差誤差特性が適合の画像（例えばステレオカメラの光軸上に物体が存在していない画像）における第一の物体端点の時系列位置及び第二の物体端点の時系列位置を用いて、複数の時系列画像に渡る第一の物体端点の軌跡及び複数の時系列画像に渡る第二の物体端点の軌跡を推定する。次いで、基準軌跡推定部１０６は、推定した２つの軌跡を統合することにより、１つの基準軌跡を推定する。基準軌跡推定部１０６は、物体ＩＤ、推定した基準軌跡、及び、第一の物体端点及び第二の物体端点の実座標平面上の位置を補正値算出部１０７に出力する。また、基準軌跡推定部１０６は、時間領域又は実座標平面上の領域を所定の間隔で分割した複数の区間毎に基準軌跡を推定してもよい。なお、基準軌跡推定部１０６における基準軌跡の推定処理の詳細については後述する。

補正値算出部１０７は、基準軌跡推定部１０６から入力される、第一の物体端点及び第二の物体端点の実座標平面上の位置及び基準軌跡を用いて、第一の物体端点の位置の補正値及び第二の物体端点の位置の補正値をそれぞれ算出する。なお、補正値算出部１０７における補正値の算出処理の詳細については後述する。

［位置推定装置１００の動作］
以上の構成を有する位置推定装置１００の動作について説明する。図６は、位置推定装置１００の処理フローを示す図である。

ステップ（以下、単に「Ｓ」とする）１で、画像取得部１０１は、ステレオカメラから映像ストリーム（基準画像及び参照画像となる映像ストリーム）を取得し、画像毎に各画素の輝度値を取り出し画像データとして格納する。

Ｓ２で、視差算出部１０２は、Ｓ１で取得した画像データを用いて、各画素の視差値を画像毎に算出する。

Ｓ３で、物体検出部１０３は、Ｓ２で求めた視差値の投票箱を用いて、物体領域を検出する。

Ｓ４で、物体側面位置抽出部１０４は、Ｓ３で求めた物体領域の中の物体端点のうち少なくとも第一の物体端点及び第二の物体端点を含む２点を抽出する。

Ｓ５で、視差誤差特性判定部１０５は、Ｓ４で抽出した物体端点（第一の物体端点及び第二の物体端点）について視差誤差特性の適合性を判定する。視差誤差特性の適合性が有る場合（Ｓ５：有）、Ｓ６の処理に進み、視差誤差特性の適合性が無い場合（Ｓ５：無）、Ｓ９の処理に進む。

Ｓ６で、基準軌跡推定部１０６は、時間領域又は実座標平面上の領域を所定間隔で分割して得られる複数の区間（範囲）での全ての処理が終了したか否かを判断する。全ての区間の処理が終了した場合（Ｓ６：Ｙｅｓ）、Ｓ９の処理に進み、全ての区間の処理が終了していない場合（Ｓ６：Ｎｏ）、Ｓ７の処理に進む。つまり、基準軌跡推定部１０６は、区間毎にＳ７及びＳ８の処理（後述する）を行う。

Ｓ７で、基準軌跡推定部１０６は、Ｓ４で抽出された２つの物体端点（第一の物体端点及び第二の物体端点）の時系列位置を用いて各物体端点の軌跡をそれぞれ作成する。Ｓ８で、基準軌跡推定部１０６は、Ｓ７で作成された各物体端点の軌跡を用いて、基準軌跡を作成する。このように、基準軌跡推定部１０６は、区間毎に２つの物体端点の軌跡を作成し、更に、その２つの物体端点の軌跡を用いて１つの基準軌跡を作成する。

一方、Ｓ９で、基準軌跡推定部１０６は、各区間で推定された複数の基準軌跡を用いて、一つの連続した基準軌跡を推定する。この際、基準軌跡推定部１０６は、Ｓ５において視差誤差特性が非適合と判定された区間では、当該区間に隣接する区間で作成された基準軌跡を用いて、作成する基準軌跡を補間する。

Ｓ１０で、補正値算出部１０７は、Ｓ９で作成された基準軌跡を用いて、物体端点の位置の補正値を算出する。

次に、視差誤差特性判定部１０５における視差誤差特性の判定処理の詳細について説明する。

一般的に、ステレオカメラでは、カメラの光軸に近いほど画像の歪みが少なく、結果、算出される視差値の精度は良いとされている。視差値の精度がカメラの光軸からの距離に依存するのに対し、各物体端点における視差誤差特性（物体端点における視差誤差Δdの符号の出現傾向）は、カメラから各物体端点までの距離の長短により決定される。

具体的には、カメラからの距離が近い第一の物体端点は、物体領域のうち、カメラ側に最も突起した領域に相当する。また、第一の物体端点の周辺は、連続した同一物体領域内となる可能性が高い。そのため、物体側面位置抽出部１０４において物体の端点を抽出する際、第一の物体端点の視差値は、後景の影響が小さく、真値よりもカメラ寄りに出力された視差値（Δdが正符号）が採用される傾向にある。

一方、カメラからの距離が遠い第二の物体端点は、物体領域の端（つまり、当該物体と後景との境界）に相当するので、第二の物体端点の周辺には当該物体以外の被写体が存在し、視差値を求める際のブロック画像には当該物体以外の被写体が必ず含まれる。そのため、物体側面位置抽出部１０４において物体の端点を抽出する際、第二の物体端点の視差値は、後景の影響が大きく、真値よりもカメラの奥行き方向に出力された視差値（Δdが負符号）が採用される傾向にある。

そこで、以下の説明では、第一の物体端点の視差誤差Δdが正符号となり、第二の物体端点の視差誤差Δdが負符号となり、双方の物体端点における視差誤差の傾向に差が生じる場合を、「視差誤差特性が適合」と表現する。また、上記以外の場合を、「視差誤差特性が非適合」と表現する。つまり、視差誤差特性判定部１０５は、各物体端点の視差誤差Δdの符号の出現傾向（各物体端点の視差誤差の特性）がカメラから各物体端点までの距離（長短）に基づく上記傾向である場合を、「視差誤差特性が適合」と判定する。

また、物体がカメラの光軸を横切って移動する瞬間、若しくは、物体がカメラの光軸上を移動する場合、第一の物体端点及び第二の物体端点のカメラからの距離の差がほとんどなくなる。この場合、第一の物体端点の視差誤差Δdが正符号となり、第二の物体端点の視差誤差Δdが負符号となる視差誤差特性が顕著に表れなくなってしまう。具体的には、物体がカメラの光軸付近に位置する場合には、第一の物体端点及び第二の物体端点の双方とも、物体領域の端（当該物体と後景との境界）に相当する可能性が高く、双方の物体端点の視差誤差Δdが負符号となりやすい。

図７は、一例として、第一の物体端点の位置と視差誤差特性の適合性との関係を示す。図７では、物体の位置を時系列順（T=t0〜t3）に右から左へ並べており、物体は光軸の右側から左側へ光軸を交差して移動するものとする。また、第一の物体端点は、物体領域のうち、カメラからの距離が最も近い位置であるため、図７に示すように、T=t0〜t1では物体の進行方向左前の端点が第一の物体端点となるのに対して、T=t2〜t3では物体の進行方向左後の端点が第一の物体端点となる。つまり、T=t0〜t1では物体の進行方向左後の端点が第二の物体端点となるのに対して、T=t2〜t3では物体の進行方向左前の端点が第二の物体端点となる（図示せず）。

図７に示すように、T=t0〜t1及びT=t2〜t3では視差誤差特性が適合する。一方、図７に示すように、T=t1〜t2の間では、上述した第二の物体端点のみでなく、第一の物体端点でも後景の影響が比較的大きくなるので、第一の物体端点及び第二の物体端点の双方の視差誤差Δdの符号が負符号になる可能性が高い。つまり、T=t1〜t2の間では、各物体端点の視差誤差Δdの符号に差が出ない可能性が高くなるため、視差誤差特性は適合しない（視差誤差特性が非適合）。

そこで、視差誤差特性判定部１０５は、物体がカメラの光軸上に存在するか否かに基づいて、視差誤差特性の適合性を判定する。図７では、一例として、視差誤差特性判定部１０５は、光軸横断フラグを用いて物体のカメラ光軸上の横断を判定する。すなわち、光軸横断フラグは、物体が光軸を横断しているか否かを管理するためのフラグである。物体が光軸を横断している状態の光軸横断フラグを「ＯＮ」とし、物体が光軸を横断していない状態の光軸横断フラグを「ＯＦＦ」とする。つまり、物体が光軸を横断する前の状態では光軸横断フラグはＯＦＦとなり、初期状態（例えば、図７に示すT=t0）では光軸横断フラグはＯＦＦとなる。

図８は、視差誤差特性判定部１０５における視差誤差特性の判定処理を示すフロー図である。図８に示すＳ１０１で、視差誤差特性判定部１０５は、第一の物体端点の位置が入力されると、物体毎に管理される光軸横断フラグの状態がＯＮであるかＯＦＦであるかを判断する。光軸横断フラグがＯＦＦの場合（Ｓ１０１：ＯＦＦ）、Ｓ１０２の処理に進み、光軸横断フラグがＯＮの場合（Ｓ１０１：ＯＮ）、Ｓ１０６の処理に進む。

Ｓ１０２で、視差誤差特性判定部１０５は、第一の物体端点の位置が光軸付近であるか否かを判断する。例えば、視差誤差特性判定部１０５は、第一の物体端点の位置が光軸付近であるか否かについて、第一の物体端点の位置のx座標値が０（つまり、光軸上）であるか否かで判断することができる。

第一の物体端点の位置が光軸付近ではない場合（Ｓ１０２：Ｎｏ）、Ｓ１０３で、視差誤差特性判定部１０５は、視差誤差特性が適合と判定し、判定処理を終了する。一方、第一の物体端点の位置が光軸付近である場合（Ｓ１０２：Ｙｅｓ）、視差誤差特性判定部１０５は、Ｓ１０４で視差誤差特性が非適合と判定し、Ｓ１０５で光軸横断フラグをＯＮに設定し、判定処理を終了する。

一方、Ｓ１０６で、視差誤差特性判定部１０５は、視差誤差特性が非適合と判定する。

Ｓ１０７で、視差誤差特性判定部１０５は、Ｓ１０２と同様、第一の物体端点が光軸付近であるか否かを判断する。

第一の物体端点の位置が光軸付近である場合（Ｓ１０７：Ｙｅｓ）、Ｓ１０８で、視差誤差特性判定部１０５は、光軸横断フラグをＯＦＦに設定し、判定処理を終了する。一方、第一の物体端点の位置が光軸付近ではない場合（Ｓ１０７：Ｎｏ）、視差誤差特性判定部１０５は何もせずに判定処理を終了する。

なお、Ｓ１０２及びＳ１０７において第一の物体端点が光軸付近に位置するか否かを判定する際、位置のサンプリング間隔によっては物体端点のx座標値がちょうど０にならない場合、又は、視差誤差の影響により一度物体端点のx座標値が０となったとしても次の時刻にはx座標値が前時刻に通過したはずのx座標値に戻ってしまう場合もある。又は、物体端点が光軸上（y軸上）を移動する場合、視差誤差の影響により光軸横断フラグがＯＮとＯＦＦとの切替を繰り返す場合もある。そのため、Ｓ１０２及びＳ１０７の処理では、判定間隔及び評価値（xの閾値）にマージンを持たせるなどの工夫が必要となる。例えば、図８に示すＳ１０２とＳ１０３／Ｓ１０４との間、及び、Ｓ１０７とＳ１０８との間に、カウンタ又はタイマーによって一定期間経過後にＳ１０２／Ｓ１０４の処理、及び、Ｓ１０８の処理へそれぞれ移行する処理を追加してもよい。なお、路面に水平に設置されたスレテオカメラにより撮影された映像では、物体がカメラから等距離に弧を描くように移動すると、光軸付近の移動と同様に、第一の物体端点と第二の物体端点おける視差誤差の傾向に差が生じにくい。その場合、第一の物体端点と第二の物体端点それぞれの位置の差又は双方の軌跡の差を用い、その差が小さい場合は視差誤差特性を非適合とするなどの処理を行う。

図９は、視差誤差特性判定部１０５が基準軌跡推定部１０６へ出力する情報の一例を示す。なお、図９に示すx,y座標値の単位は１０ｃｍである。図９に示すように、視差誤差特性判定部１０５から出力される情報には、時刻、第一の物体端点の位置（x,y）、第二の物体端点の位置（x,y）、視差誤差特性の適合性が含まれる。なお、図９では、視差誤差特性が適合の場合を「１」で示し、非適合の場合を「０」で示している。これにより、位置推定装置１００は、視差誤差特性の適合性が「１」となっている範囲（図９では時間領域の区間）で、各物体端点の視差誤差を推定することが可能となる。

次に、基準軌跡推定部１０６における基準軌跡の推定処理の詳細について説明する。

ここで、基準軌跡は、時間領域を所定の間隔で分割した区間（範囲）、又は、x及びyの領域を所定の間隔で分割した区間（範囲）毎に作成されることを想定している。また、同一区間内には視差誤差特性の適合性が異なる位置情報は含まないものとする。

図１０は、３秒間分の基準軌跡の作成処理の説明に供する図である。また、図１０は、一例として、視差誤差特性が適合の場合（例えば、図９に示す適合性：「１」）の各物体端点の時系列位置（位置情報）を用いた場合の基準軌跡を示す。図１０において、第一の物体端点の時系列位置を「◇」で表し、第二の物体端点の時系列位置を「■」で表す。

まず、基準軌跡推定部１０６は、図１０に示す、第一の物体端点の時系列位置（◇）の軌跡、及び、第二の物体端点の時系列位置（■）の軌跡を作成する。具体的には、基準軌跡推定部１０６は、第一の物体端点（及び第二の物体端点）の時系列位置の近似式（例えば、最小二乗法等で一次関数等に近似した式）を、第一の物体端点の軌跡（及び第二の物体端点の軌跡）として作成する。

次いで、図１０に示すように、基準軌跡推定部１０６は、作成した第一の物体端点の軌跡及び第二の物体端点の軌跡を用いて、基準軌跡を作成する。

視差誤差特性が適合している区間では、第一の物体端点のΔdが正符号（カメラ寄り方向）となり、第二の物体端点のΔdが負符号（カメラの奥行き方向）となる。つまり、第一の物体端点位置の真値は視差算出部１０２で算出された視差値よりもカメラの奥行き方向にあるはずである。また、第二の物体端点位置の真値は視差算出部１０２で算出された視差値よりもカメラ寄り方向にあるはずである。また、物体側面位置抽出部１０４で抽出された第一の物体端点及び第二の物体端点は、車両側面（図５では左側）のように進行方向に対して平行に移動する物体の先端部分と後端部分である。このため、第一の物体端点及び第二の物体端点のそれぞれが描く軌跡は、本来、同一直線上に存在するはずである。これらのことから、各物体端点の本来の軌跡は、それぞれの軌跡を表す直線の間に存在すると推定できる。

そこで、例えば、図１０に示すように、基準軌跡推定部１０６は、第一の物体端点の軌跡を表す一次式と、第二の物体端点の軌跡を表す一次式との中間線を、基準軌跡として作成する。

なお、基準軌跡推定部１０６は、第一の物体端点の軌跡を表す一次式、及び、第二の物体端点の軌跡を表す一次式に関して、それぞれの傾き及びy切片（つまり、y軸との交点）のそれぞれの平均を用いて基準軌跡である中間線を作成してもよい。また、基準軌跡推定部１０６は、第一の物体端点の軌跡と第二の物体端点の軌跡との間で、各軌跡を表す一次式の傾きの差が所定の値以上である場合には、双方の軌跡を表す一次式の間に存在する各物体端点の時系列位置のみを用いて作成される近似式を基準軌跡としてもよい。また、基準軌跡推定部１０６は、視差誤差のモデルによりΔdを推定し、推定したΔdを補正した物体端点位置を用いて作成した近似式を基準軌跡としてもよい。

また、基準軌跡推定部１０６は、各物体端点の信頼度又はカメラからの距離等の条件に基づいて、第一の物体端点の軌跡及び第二の物体端点の軌跡に対して重み付けをして、傾き及びy切片の値を決定してもよい。

上記物体端点の軌跡に対する重み付けについて補足する。この重み付けは、物体端点の信頼性を示す値であり、重み付けの数値が大きいほど物体端点の信頼性が高いことになる。一般的に、第一の物体端点と第二の物体端点とを比較した場合、後景の影響を受けやすい第二の物体端点の方が視差誤差は大きくなる。これにより、第一の物体端点と第二の物体端点とを比較した場合、第一の物体端点の信頼性の方が高く、位置を補正する際も第二の物体端点よりは第一の物体端点寄りに補正をした方が精度は良くなる。しかしながら、カメラから一定の距離以上、または光軸から離れた位置では、第一の物体端点の視差誤差も大きくなり、第二の物体端点と比較して第一の物体端点の方が信頼性は高いとは言えない。そこで、基準軌跡推定部１０６は、カメラからの距離又は光軸からの距離に応じて第一の物体端点と第二の物体端点とに関する重み付けを決定してもよい。重み付けは、カメラからの距離又は光軸からの距離などをパラメタとする算出式により求められてもよく、実座標平面上の領域ごとの重み情報をテーブルとして持っていてもよい。

重み付けを用いて中間線の式を算出する例を示す。基準軌跡推定部１０６は、第一の物体端点の軌跡を表す一次式、及び、第二の物体端点の軌跡を表す一次式に関して、それぞれの傾き及びy切片（つまり、y軸との交点）のそれぞれに対し重み付けをした値を算出する。具体的には、第一の物体端点及び第二の物体端点の軌跡を表す一次式の傾きをそれぞれａ１, ａ２とし、y切片をそれぞれｂ１, ｂ２とし、第一の物体端点への重みが０．９であった場合、中間線の傾きaは、０．９*ａ１＋０．１*ａ２となり、y切片は０．９*ｂ１＋０．１*ｂ２となる。

複数画像間で重みが異なる場合、重みは、画像間の重みの平均値もしくは最頻値のどちらか予め決められた方を用いてもよい。

また、基準軌跡推定部１０６において、所定の間隔で区切った範囲（区間）毎に基準軌跡が推定されると、各区間の境界では軌跡が非連続となる場合があり得る。この場合、基準軌跡推定部１０６は、複数の区間の基準軌跡を用いて、連続性のある基準軌跡を作成して、最終的な基準軌跡とする。例えば、基準軌跡推定部１０６は、隣り合う区間の基準軌跡の傾きに差がない場合は、隣り合う区間の基準軌跡の中間線を作成することで基準軌跡を結合してもよいし、隣り合う区間の基準軌跡の傾きに差がある場合は、隣り合う区間の基準軌跡の交点を求めることで基準軌跡を結合してもよい。

また、上述したように、基準軌跡推定部１０６は、視差誤差特性が適合した区間でのみ上記基準軌跡の算出を行う。一方、基準軌跡推定部１０６は、視差誤差特性が非適合の区間（基準軌跡を推定できない区間）では、当該区間に隣接する区間の基準軌跡を用いて当該区間の軌跡を補間する。例えば、基準軌跡推定部１０６は、視差誤差特性が非適合の区間の前後の区間における基準軌跡の中間線を作成し、当該区間の基準軌跡としてもよい。

次に、補正値算出部１０７における補正値の算出処理の詳細について説明する。

補正値算出部１０７は、第一の物体端点及び第二の物体端点が基準軌跡上に位置するような補正値を算出する。なお、補正値算出部１０７で算出される「補正値」は、実座標平面上の補正位置（x, y）でもよく、補正後の視差値でもよく、補正後の視差値と視差算出部１０２で算出された物体端点の視差値との差でもよい。

図１１は、補正値算出部１０７における補正値算出処理の説明に供する図である。

図１１に示すように、補正値算出部１０７は、（x1, y1）で表される端点（第一の物体端点又は第二の物体端点）の実座標平面上の位置が基準軌跡上の位置となるような補正値を算出する。具体的には、端点の基準軌跡上の位置（補正後の端点の位置）は、基準軌跡（図１１に示す実線）と、端点位置（x1, y1）とカメラとを結ぶ直線（図１１に示す破線）と、の交点である。すなわち、図１１に示すように、基準軌跡の一次式をy=ax+bとすると、補正後の端点の位置は、（b/((y1/x1)-a), by1/(y1-ax1)）となる。つまり、補正値算出部１０７は、ステレオカメラの位置と第一の物体端点（第二の物体端点）の位置とを結ぶ直線と、基準軌跡との交点が第一の物体端点（第二の物体端点）の補正後の位置となるように、補正値を算出する。

また、端点（第一の物体端点又は第二の物体端点）の視差値dは、d=B*fx/yで表すことができる。Bは基線長[m]を示し、fxはx軸の焦点距離[pixel]を示し、yは端点のyの値を示す。

このように、本実施の形態は、車両側面のように進行方向に平行に移動する物体の先端部分及び後端部分に対応する２つの物体端点において相反する視差誤差特性（視差誤差Δdの符号の出現傾向）があることに基づく。すなわち、位置推定装置１００は、視差誤差特性が適合する範囲（時間領域又は空間領域）の各物体端点の位置情報を用いて、各物体端点の本来の軌跡に近似する基準軌跡を推定する。これにより、位置推定装置１００は、各物体端点の位置における特性（視差誤差が現れるのがカメラ寄りであるか、奥行き方向であるか）に応じて補正値を推定することができる。

また、本実施の形態は、車両側面のように進行方向に平行に移動する物体の２つの物体端点の軌跡が同一直線上となることに着目した。すなわち、位置推定装置１００は、視差誤差特性が適合する区間の複数の画像の画像データを用いて、各物体端点の位置の軌跡を推定し、各物体端点の軌跡から基準軌跡を推定し、推定した基準軌跡を用いて２つの物体端点の位置（又は視差値）の誤差を相殺するような補正値を算出する。これにより、位置推定装置１００は、物体の本来の位置を精度良く推定することができる。

このようにして、位置推定装置１００が物体端点の軌跡を推定して、物体端点の位置の補正値を推定することにより、物体端点の位置を精度良く求めることが可能となる。よって、本実施の形態によれば、ステレオカメラを用いて検出した物体の位置、特に物体端点の位置を高精度に推定することができる。

なお、上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本発明は、ステレオカメラを用いて検出した物体の位置、特に物体端点の位置を高精度に推定するものとして有用である。

１００位置推定装置
１０１画像取得部
１０２視差算出部
１０３物体検出部
１０４物体側面位置抽出部
１０５視差誤差特性判定部
１０６基準軌跡推定部
１０７補正値算出部

Claims

ステレオカメラで取得された画像を用いて算出された視差値の分布に基づいて特定される物体の画像上の存在領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置と、を画像毎に抽出する抽出部と、
前記ステレオカメラの光軸上に前記物体が存在するか否かを画像毎に判定する判定部と、
前記ステレオカメラの光軸上に前記物体が存在していない画像における前記第一の物体端点の位置及び前記第二の物体端点の位置を用いて、複数の時系列画像に渡る前記第一の物体端点の第一の軌跡、及び、複数の時系列画像に渡る前記第二の物体端点の第二の軌跡を推定し、前記第一の軌跡と前記第二の軌跡とから１つの基準軌跡を推定する推定部と、
前記第一の物体端点の位置、前記第二の物体端点の位置、及び、前記基準軌跡を用いて、前記第一の物体端点の位置の第一の補正値及び前記第二の物体端点の位置の第二の補正値を算出する補正値算出部と、
を具備する位置推定装置。
前記推定部は、前記第一の軌跡と前記第二の軌跡との中間線を前記基準軌跡とする、
請求項１記載の位置推定装置。
前記中間線は、前記第一の軌跡と前記第二の軌跡とに対する重み付けを用いて算出する、
請求項２記載の位置推定装置。
前記推定部は、時間領域又は実座標平面上の領域を所定の間隔で分割した複数の区間毎に前記基準軌跡を推定する、
請求項１記載の位置推定装置。
前記推定部は、前記複数の区間のうち、前記ステレオカメラの光軸上に前記物体が存在している特定の区間に隣接する区間の前記基準軌跡を用いて、前記特定の区間の基準軌跡を補間する、
請求項４記載の位置推定装置。
前記補正値算出部は、
前記ステレオカメラの位置と前記第一の物体端点の位置とを結ぶ直線と、前記基準軌跡との交点が前記第一の物体端点の補正後の位置となるように、前記第一の補正値を算出し、
前記ステレオカメラの位置と前記第二の物体端点の位置とを結ぶ直線と、前記基準軌跡との交点が前記第二の物体端点の補正後の位置となるように、前記第二の補正値を算出する、
請求項１記載の位置推定装置。
ステレオカメラで取得された画像を用いて算出された視差値の分布に基づいて特定される物体の画像上の存在領域のうち、最も大きい視差値を有する画像上の位置に対応する実座標平面上の第一の物体端点の位置と、最も小さい視差値を有する画像上の位置に対応する実座標平面上の第二の物体端点の位置と、を画像毎に抽出し、
前記ステレオカメラの光軸上に前記物体が存在するか否かを画像毎に判定し、
前記ステレオカメラの光軸上に前記物体が存在していない画像における前記第一の物体端点の位置及び前記第二の物体端点の位置を用いて、複数の時系列画像に渡る前記第一の物体端点の第一の軌跡、及び、複数の時系列画像に渡る前記第二の物体端点の第二の軌跡を推定し、前記第一の軌跡と前記第二の軌跡とから１つの基準軌跡を推定し、
前記第一の物体端点の位置、前記第二の物体端点の位置、及び、前記基準軌跡を用いて、前記第一の物体端点の位置の第一の補正値及び前記第二の物体端点の位置の第二の補正値を算出する、
位置推定方法。