JP2015118706A - 物体追跡方法と装置 - Google Patents

Abstract

【課題】連続する視差画像に基づいて複数の同類物体を追跡する物体追跡装置と方法を提供する。【解決手段】該物体追跡方法は、現在フレーム視差画像から検出した第一識別対象物体の第一境界領域を取得し；第一識別対象物体の画素確率マップを算出し；各追跡対象の識別子情報と、一つまたは複数の画素確率マップを取得し；第一識別対象物体の画素確率マップと追跡対象の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定するとともに、第一識別対象物体の画素確率マップを更新し；及び、更新した第一識別対象物体の画素確率マップに基づいて、第一境界領域を更新し、第二境界領域を取得することを含む。本発明の物体追跡装置と物体追跡方法は、履歴追跡結果による現在検出結果の修正が可能になり、実際の対象に対する対象検出結果の境界矩形枠のずれや縮小といった問題を解消または軽減することができる。【選択図】図５

Description

本発明は全体として画像処理に関し、具体的には画像処理に基づく物体追跡方法と装置に関するものである。

画像処理に基づく物体追跡は例えば車両支援運転、ショッピングモールの人員監視、病院の患者監視などの分野に応用することができる。

画像処理に基づく移動対象の持続的な追跡技術が提案されている。

「Detection and tracking of moving objects from a moving platform in presence of strong parallax」という発明名称の米国特許US8073196B2では、結合確率モデルを使用して現在と過去の観察を反映し、スライドバッファ域から、対象の表示、運動及び視差画像内からの抽出境界枠を含む区別点を収集することで結合確率を最大化し、それによって適切なデータ関連性を定義する、移動対象の検出と追跡技術が開示されている。

「METHOD OF MOBILE PLATFORM DETECTING AND TRACKING DYNAMIC OBJECTS AND COMPUTER-READABLE MEDIUM THEREOF」という発明名称の米国特許出願公開US20110052043A1では、移動プラットフォームが飛行時間センサーを用いて三次元画像を取得し、ランダムサンプルコンセンサスアルゴリズムによって三次元画像から基本平面を取得し、三次元から対象を分離し、結合確率データ関連フィルター（JPDAF）を用いてこれらの対象の運動を推測する動的対象検出と追跡技術が開示されている。

本発明の目的は、画像処理に基づく物体追跡方法と装置を提供することにある。

本発明の一つの面においては、現在フレーム視差画像から検出した第一識別対象物体の現在フレーム視差画像内の第一境界領域を取得し；該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属す確率を計算し、第一識別対象物体の画素確率マップを取得し；各追跡対象の履歴追跡データを取得し、各追跡対象の履歴追跡データは追跡対象の識別子情報、現在フレームの前の一つまたは複数の前視差画像のそれぞれと関連のある画素確率マップを取得し；第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新し；そして、更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得することを含むコンピュータで実現可能な、連続する視差画像に基づいて複数の同類物体を追跡する物体追跡方法を提供する。

本発明の別の面においては、現在フレーム視差画像から検出した第一識別対象物体の現在フレーム視差画像内の第一境界領域を取得する識別対象物体境界領域取得部；該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算することにより、第一識別対象物体の画素確率マップを取得する識別対象物体画素確率マップ計算部；各追跡対象の履歴追跡データを取得し、各追跡対象の履歴追跡データが追跡対象の識別子情報、現在フレーム画像の前の一つまたは複数の前視差画像の各々に関連する画素確率マップを含む追跡対象履歴画素確率マップ取得部；第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新する識別対象物体識別及び画素確率マップ更新部；及び、更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得する識別対象物体境界領域更新部を含むコンピュータで実現可能な、連続する視差画像に基づいて複数の同類物体を追跡する物体追跡装置を提供する。

前記実施例の物体追跡装置及び物体追跡方法は、履歴追跡結果に基づいて現在検出結果を修正し、実際の対象に対する対象検出結果の境界矩形枠のずれや縮小といった問題の解消と軽減が可能になる。言い換えると、できる限り対象の輪郭全体を囲むように、対象の境界の矩形枠を補完することができる。

本発明のこれら及び/またはその他方面と長所をより明確にかつ理解しやすくするために、以下、図面と併せて本発明の実施例を詳細に説明する。
従来技術の、各フレーム対象検出結果の不正確に起因する対象追跡結果の不正確を示す状況概念図である。 本発明の実施例の本発明を応用可能な例示的場面の概念図である。 本発明の基本的考え方を説明するために用いる図である。 本発明の実施例の連続する視差画像に基づいて複数の同類物体を追跡する物体追跡装置100の構成ブロック図である。 本発明の実施例の連続する視差画像に基づいて複数の同類物体を追跡する物体追跡方法200の全体フローチャートである。 本発明の実施例の該第一境界領域内の各有効画素が第一識別対象物体を構成する画素に属する確率を計算する例示的方法220のフローチャートである。 現在フレーム検出対象の境界領域と抽出した視差主平面の視差画像例である。 各ユニット値が第一境界領域内の各画素が該第一識別対象物体を構成する画素である確率を表した表である。 本発明の別の実施例の第一境界領域内の各有効画素が第一識別対象物体を構成する画素に属する確率を計算する例示的方法220’のフローチャートである。 初期境界領域を拡張後に取得した境界領域及び対応する算出した画素確率マップであり、図10（a）は初期境界領域（実線の矩形枠）、図10（b）は拡張後の境界領域（破線の矩形枠）、図10（c）は抽出した拡張後の境界領域、図10（d）は拡張後の境界領域に対応する画素確率マップである。 本発明の別の実施例の第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づき、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新する例示的方法240のフローチャートである。 抽出した視差主平面と視差主平面のX座標上の投影（即ち水平投影ヒストグラム）であり、図12（a）は抽出した視差主平面、図12（b）は主平面水平投影である。 識別対象物体の水平投影ヒストグラムを該追跡対象の該画素確率マップに関連する境界領域の水平投影ヒストグラム上で水平方向にスライドさせ、各マッチング度を計算し、最大マッチング度を探し出し、最もマッチングする部分を探し出すプロセスの概念図である。 識別対象物体の画素確率マップと該追跡対象の画素確率マップ間の揃え位置に基づいて、第一識別対象物体の画素確率マップと該追跡対象の該画素確率マップを組み合わせ、該第一識別対象物体を該追跡対象の該画素確率マップに基づいて更新した後の画素確率マップとして取得する例示的なプロセスである。 識別対象物体の該追跡対象に関する各画素確率マップ更新後の各画素確率マップを累計し、識別対象物体の該追跡対象に関する画素確率マップを取得する操作概念図である。 該追跡対象pに関する更新後の識別対象物体の画素確率マップ及び第一識別対象物体の第一境界領域から該追跡対象pの現在フレーム内の予測する領域位置までの距離に基づいて、第一識別対象物体と該追跡対象p間の類似度を計算する概念図である。 （a）は取得した検出物体の視差確率マップが所定の閾値よりも大きくなる部分、（b）は視差画像内の対応する境界領域、即ち第二境界領域である。 本発明の実施形態を実現するのに用いる例示的コンピュータシステム600のブロック図である。

当業者の本発明への容易な理解のために、以下、図面と発明を実施するための形態を組み合わせて本発明を詳しく説明する。

以下、図1を参考に本発明の動機を説明する。

図1は、従来技術の、各フレーム対象検出結果が不正確であるために起こる対象追跡結果の不正確な状況の概念図である。

ここで、各フレーム対象結果とは、単独（その他のフレーム画像と組み合わせない）で各フレームに画像処理を施して取得した対象検出結果を指している。例えば、第N-2フレーム画像に関しては、その他フレームの履歴情報を参考することなく、第N-2フレーム画像のみを処理して対象検出結果を取得する。同様に、第N-1フレーム画像に関しては、その他フレームの履歴情報を参考することなく、第N-1フレーム画像のみを処理して対象検出結果を取得する。第Nフレーム画像に関しては、その他フレームの履歴情報を参考することなく、第Nフレーム画像のみを処理して対象検出結果を取得する。ここでは、対象検出技術については制限がなく、いかなる対象検出、位置決め及び/または識別技術をも採用することができる。

それに対して、各フレーム対象追跡結果とは、当該フレームの対象検出結果と各対象の前フレームの履歴追跡情報を組み合わせて取得した各フレームの対象追跡結果を指している。例えば、第N-2フレーム画像においては、第N-3フレーム、第N-4フレーム画像内の各対象の履歴追跡情報を組み合わせて、該第N-2フレームの対象追跡結果を取得する。第N-1フレーム画像に関しては、第N-2フレーム、第N-3フレーム画像内の各対象の履歴追跡情報を組み合わせて、該第N-1フレームの対象追跡結果を取得する。第Nフレーム画像に関しては、第N-1フレーム、第N-2フレーム画像内の各対象の履歴追跡情報を組み合わせて、該第Nフレームの対象追跡結果を取得する。

図1からわかるように、各フレーム対象検出結果が正確でないと、取得した対応する追跡結果も正確ではない。特に、第N-2フレーム、第N-3フレーム、第Nフレームの検出結果からわかるように、検出中に徐々に位置決めの境界の矩形枠のずれや縮小が出現し、囲まれる対象の部分が次第に小さくなる。即ち対象の全てを境界の矩形枠内に取り囲めず、またこのような傾向が徐々に深刻になっている。これにより、対応する追跡結果も徐々に境界の矩形枠のずれや縮小が起きてしまう。以上からわかるように追跡の過程は不安定なものである。

対象検出結果の境界の矩形枠のずれや縮小による追跡結果に同様の傾向が出現する問題に対し、履歴追跡結果に基づいて現在の検出結果を修正することで、前記境界の矩形枠が実際の対象よりもずれたり、縮小したりする問題の除去と軽減を達成可能な、つまり、対象の輪郭全体を囲むように、できる限り対象の境界の矩形枠を補完することが望まれる。

図2は、本発明の実施例の本発明を応用可能な例示的場面の概念図である。

図2に示すように、双眼カメラを車両の上部に設置して、左画像と右画像を撮影し、該左画像と右画像を車載コンピュータに送信し（例えばチップの形式で実現する）、車載コンピュータにより、例えば路面上の車両についての検出と追跡を行うことができる。

図3は、本発明の基本的考え方を説明するために用いる図である。ここで、現在第Nフレーム画像については、識別すべき対象の視差確率マップを取得し、追跡対象の履歴視差確率マップに基づいて、該視差確率マップを更新し、最後に更新後の第Nフレーム追跡対象の位置結果を得る。

図4は、本発明の実施例の連続する視差画像に基づいて複数の同類物体を追跡する物体追跡装置100の構成ブロック図である。

ここでの同類物体とは、同種類型の物体を指す。例えば、道路上では、各歩行者が同類対象に属し、各車両が同類対象に属し、各建物が同類対象に属す。

本発明における物体追跡は複数の同類対象の追跡を指し、同類対象の身分識別に関わっている。例えば、仮にかつて3つの対象1、2、3を追跡したことがあったとすると、現在フレームから同類対象を検出したとき、該対象が新たに出現した対象であるか、それとも3つの対象のどれかであるかを判断する必要があり、該検出した対象に識別子（ID）を与えることができる。

ここでの連続する視差画像は時間上前後関係のある視差画像を指すが、時間が近接する視差画像に限るものではなく、例えば一フレームまたは複数フレーム間隔の方式で抽出した連続的視差画像でもよい。

図4に示すように、物体追跡装置100は、識別対象物体境界領域取得部110、識別対象物体画素確率マップ計算部120、追跡対象履歴画素確率マップ取得部130、識別対象物体識別及び画素確率マップ更新部140、及び識別対象物体境界領域更新部150を含む。

識別対象物体境界領域取得部110は、現在フレーム視差画像から検出した第一識別対象物体の現在フレーム視差画像内の第一境界領域を取得する。

現在フレーム視差画像から検出した物体は前に追跡した某対象なのか、それとも新たに出現した対象なのか、まだ識別されていないため、それらを識別対象物体と称する。本文では、それらを検出物体と称することもあるが、両者は同じ意味を指し、どちらも現在フレームから検出した対象であるが、まだ前の履歴追跡データを用いて識別を行っていない物体を指す。

識別対象物体画素確率マップ計算部120は、該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算することにより、第一識別対象物体の画素確率マップを取得する。

追跡対象履歴画素確率マップ取得部130は、各追跡対象の履歴追跡データを取得し、各追跡対象の履歴追跡データが追跡対象の識別子情報、現在フレーム画像の前の一つまたは複数の前視差画像の各々に関連する画素確率マップを含む。履歴追跡データはさらに追跡対象の前視差画像内の位置情報、例えば境界点の座標などを含むこともできる。

識別対象物体識別及び画素確率マップ更新部140は、第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新する。

識別対象物体境界領域更新部150は、更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得する。例では、該第二境界領域の大きさは第一境界領域の大きさ以上である。

識別対象物体境界領域取得部110、識別対象物体画素確率マップ計算部120、追跡対象履歴画素確率マップ取得部130、識別対象物体識別及び画素確率マップ更新部140、及び識別対象物体境界領域更新部150は、例えばバスシステム（図示せず）を通じて一つに接続することができ、またコンピュータハードウェアシステム内のCPU、RAM、ROM及びその中の実行または記憶しているコードを通じて実現できる。

前記各部の構造と数は、本発明の範囲を制限するものではない。前記各部の中の二つ以上を一つに合わせた独立したユニットで相応の機能と操作を実行、実現する、または識別対象物体境界領域取得部110、識別対象物体画素確率マップ計算部120、追跡対象履歴画素確率マップ取得部130、識別対象物体識別及び画素確率マップ更新部140、及び識別対象物体境界領域更新部150をさらに小さなユニットに分解してそれらの各自の機能と操作を実現することもできる。

図5は、本発明の実施例の連続する視差画像に基づく複数の同類物体を追跡する物体追跡方法200の全体フローチャートである。図5の物体追跡方法200は、図4に示す物体追跡装置300により実現し、図4の各部は図5の中の対応するステップを実現できる。しかす図5に示す方法はその他のコンピュータ、例えば、デスクトップパソコン、タブレットPC、ワークステーションなどで実現することもできる。

図5に示すように、ステップS210では、現在フレーム視差画像から検出した第一識別対象物体の現在フレーム内の第一境界領域を取得する。

ここでは、第一境界領域に関する情報は、例えば左上角と右下角の座標として表すことができる。また、現在フレーム視差画像は取得済みの画像データとする。該画像データは視差画像取得部（図4には示されず）が双眼カメラから入力した左画像と右画像から計算して取得したものであり、直接外部装置（図示せず）から取得できるものでもある。

ここでの第一境界領域は現在フレーム視差画像の対象検出の結果から取得し、例えば図1の中の第Nフレーム視差画像内の矩形枠の形式とする。対象検出の結果に関しては、現地対象検出部（図4には示されず）が現地で取得した視差画像に基づき（任意で、グレースケール画像に基づき）リアルタイムで対象検出を行い取得したもの、または外部装置（図示せず）から取得したものでもよい。

本発明は対象検出方法について制限がなく、いかなる対象検出方法、例えば、Zhengcheng Hu, Francisco Lamosa, Keiichi Uchimura: A Complete U-V-Disparity Study for Stereoviosion Based 3D Driving Environment Analysis. 3DIM 2500: 204-211の文章で説明されている対象検出方法も本発明に用いることができる。

ステップS220では、該第一境界領域内の各有効画素が第一識別対象物体を構成する画素に属する確率を計算し、第一識別対象物体の画素確率マップを取得する。

図6は、本発明の実施例の該第一境界領域内の各有効画素が第一識別対象物体を構成する画素に属する確率を計算する例示的方法220のフローチャートであり、該例示的方法は図5に示すステップS220に応用できる。

図6に示すように、ステップS221では、第一識別対象物体の視差方向に垂直な平面を視差主平面として抽出する。

ここでの視差方向は、深度方向と称することもでき、対応するグレースケール画像平面に垂直な方向である。

例では、該第一識別対象物体の第一境界領域内の各視差値を取る画素の数を統計し、その値を取る画素の数が最も多い視差値を確定し、該視差値に対応する平面を視差主平面とすることができる。分かりやすく言うと、仮に深度方向に沿って、多くの視差平面が存在し、画素の数の最も多い視差平面が視差主平面とする。

該視差主平面の選択方法は例に過ぎない。代替として、例えば境界視差平面の中間平面を選択することもでき、例えば第一境界領域内に出現する最小の視差値をdminとし、最大の視差値をdmaxとすると、dm=（dmin+dmax）/2の視差値のある平面を視差主平面とすることもできる。

物理的意義からは、理想的には、視差主平面が第一識別対象物体の深度方向上の位置を表すと認識する。

図7は現在フレーム検出対象の境界領域と抽出した視差主平面の視差画像例である。

ステップS222では、第一境界領域内の各有効画素から該視差主平面までの距離に基づいて、第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を確定し、その中のある画素から視差主平面までの距離が小さいほど、該画素が該第一識別対象物体を構成する画素に属する確率は高くなる。

ここでの有効画素は、視差値がゼロではなく、視差値の存在する画素を表す。

例では、下記公式（1）を採用して第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算できる。

ここで、distanceは視差がdの画素から視差主平面（その対応する視差値はdm）までの距離を表し、該距離は視差dと視差dmから求めることができる。C1＞0は予め定義した常数である。

該公式（1）は１例に過ぎず、必要に応じて異なる公式を採用して第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算してもよい。

図8は、第一境界領域内の各画素が該第一識別対象物体を構成する画素である確率を表した表である。図面の各行はX座標に対応し、各列はY座標に対応する。そして各セルは位置（x,y）に対応する。セル内の値は、この位置の画素点の該第一識別対象物体を構成する画素である確率を表す。

図9は、本発明の別の実施例の第一境界領域内の各有効画素が第一識別対象物体を構成する画素に属する確率を計算する例示的方法220’のフローチャートであり、該例示的方法は図5に示すステップS220に応用できる。

図9に示す画素確率マップ計算方法の図6に示す画素確率マップ計算方法との違いは、ステップS223 が多いことにあり、ステップS221とステップS222 は図6に示す対応するステップと同じであり、ここでは詳しくは述べない。

ステップS223では、第一境界領域を計算して得た拡張される画素が第一識別対象物体を構成する画素に属する確率が所定の閾値よりも低くなるまで漸進式に拡張する。

例では、所定の歩幅で画像の幅方向（図面内の紙面横方向）に沿って第一境界領域を拡張し、拡張される画素が第一識別対象物体を構成する画素に属する確率を計算し、該確率が所定の閾値よりも高い場合、拡張を継続し、そうでない場合は以前に拡張した領域の境界に戻る。

ここで拡張を行うのは、初期検出結果として境界領域がやや小さい可能性を考慮しているからであり、そのため初期の拡張を行うことができる。故に、例では、現在フレームの初期検出結果の境界領域と前フレームの検出結果の境界領域の寸法を比較し、現在フレームの初期検出結果の境界領域が前フレームの検出結果の境界領域の寸法よりも小さく、かつ減少度が所定の閾値よりも大きくなる場合は、前記境界領域の拡張操作を行うことができる。

図10は、初期境界領域を拡張後に取得した境界領域及び対応する算出した画素確率マップである。ここで、図10（a）は初期境界領域（実線の矩形枠）、図10（b）は拡張後の境界領域（破線の矩形枠）、図10（c）は抽出した拡張後の境界領域、図10（d）は拡張後の境界領域に対応する画素確率マップである。

以上、図6から図10を参考に、第一識別対象物体の画素確率マップを計算する方法例を記載した。

図5に戻り、ステップS220にて識別対象物体の画素確率マップを計算し終えた後、ステップS230に進む。

ステップS230では、各追跡対象の履歴追跡データを取得し、各追跡対象の履歴追跡データは追跡対象の識別子情報、現在フレームの前の一つまたは複数の前視差画像の各々に関連する画素確率マップを含む。

ここでは、追跡対象は唯一のIDを与えられ、該追跡対象は各フレーム内で位置を定められ、例えば図5に示す方法で、各フレームに関連付けられた画素確率マップを繰り返し計算する。例えば、第一フレームにおいて、検出した各対象は、位置を定められ、IDを付与され、さらに例えば前記ステップS220内の操作に基づいて画素確率マップが算出される。第二フレームに関しては、例えば図5に示すステップS210-S250に基づいて各検出物体の識別子を取得し、各検出対象に関連づけられた現在フレームに関する画素確率マップを計算してもよい。第三フレーム、第四フレーム、……に関して、同様の処理を行うことができる。

ステップS240では、第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新する。

図11は、本発明の別の実施例の第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新する例示的方法240のフローチャートである。該例示的方法240は図5に示すステップS240に応用できる。

図11に示すように、その中の各追跡対象に対して、ステップS241-S243を実行し、第一識別対象物体と各追跡対象間の類似度を計算する。第一識別対象物体と各追跡対象間の類似度を求めた後、ステップS244に進み、その中で識別子付与と第一識別対象物体の現在フレームに関連する画素確率マップの更新操作を行う。

具体的には、S241では、第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々の間の揃え位置を確定する。

この操作は、第一識別対象物体が該追跡対象であると仮定した場合、互いの画素確率マップは接近する必要があるが、両者の画素確率マップは寸法が異なる可能性があり、このときは、いかに照準合わせを行うかを確定する必要があり、相互の照準合わせを行ってはじめて、以降の相互の組み合わせ操作が可能になるという考えからである。

この揃え位置に関して、検出対象の違いにより、注目する次元も異なることがある。例えば、追跡対象が車両である場合、注目するのは主に車両の幅方向上の位置であり、高さ方向上の位置ではない。この理由の一つは車両の高さ方向の特徴が相対的に突出し、異なるフレーム間の位置が基本的に一致していることにある。一方、車両追跡はずれが生じ、通常は車両の幅方向上に出現する。

１例では、第一識別対象物体の現在フレーム視差画像上の視差主平面の投影及び追跡対象の各履歴フレーム内の主平面図の投影の照準合わせを行うことで、識別対象物体の画素確率マップと追跡対象の対応フレームに関連する画素確率マップの照準合わせを実現する。

前述したように、第一識別対象物体の第一境界領域内の出現頻度が最も高い視差値のある平面を視差主平面とし、それから視差主平面を水平X座標に投影する。もっと正確に言えば、第一識別対象物体の第一境界領域内の出現頻度が最も高い視差値に対応する各画素点の水平X座標における投影した数の累計を取得し、水平投影ヒストグラムを取得し、ここで該ヒストグラムの一次元はX座標であり、他方の一次元は、X座標上の対応する位置の頻度が最高となる値の視差値の画素点の数を表す。

図12は、抽出した視差主平面と視差主平面のX座標上の投影（即ち前記の水平投影ヒストグラム）である。ここで図12（a）は抽出した視差主平面、図12（b）は主平面水平投影で、楕円形で投影中のピークを囲み、主平面水平投影図では、水平次元はX-座標とし、垂直次元はX位置における視差値のある点の個数を表す。

１例では、以下の操作によって第一識別対象物体の境界領域と追跡対象の履歴フレーム内の境界領域の間の揃え位置を確定することができる。

（1）第一識別対象物体の境界領域と追跡対象の履歴フレーム内の境界領域に対して、水平投影ヒストグラムを生成する。

（2）第一識別対象物体の水平投影ヒストグラムを該追跡対象の該画素確率マップに関連する境界領域の水平投影ヒストグラム上でスライドさせ、両者が異なる位置でマッチングしたときのマッチング度を計算する。

１例では、下記公式（2）によって識別対象物体Dobjが異なる位置posにあるときの追跡対象Tobj_kとのマッチング度を計算する。

ここで、MatchDegree_k(Dobj,Tobj_k,pos)は識別対象物体Dobjの水平投影ヒストグラムと追跡対象Tobj_kの間の候補揃え位置pos（該候補揃え位置posは水平方向上の移動に伴い、例えば歩幅に応じて増加する）に関するマッチング度（以下、MDと略す）であり、iは追跡対象Tobjkの水平方向ヒストグラム上の水平軸上の座標を表し、pos≦i≦pos+Dobj＿Widthで、Dobj＿Width幅は検出対象の境界領域の幅を表す。Tobj_kは第kフレーム内の該追跡対象であり、w_iはi位置に対応するウェイト、tは識別対象物体Dobjの水平投影ヒストグラム幅であり、h_D,iはx＝iのときの識別対象物体Dobjの水平投影ヒストグラムの垂直座標、即ち画素数であり、h_Tiはx=iのときの追跡対象Tobj_kの水平投影ヒストグラムの垂直座標、即ち画素数である。

（3）マッチング度が最高となる、即ちMatchDegree＝Max｛MatchDegreek(pos)｝となる位置を揃え位置として選択する。

図13は、識別対象物体の水平投影ヒストグラムを該追跡対象の該画素確率マップに関連する境界領域の水平投影ヒストグラム上で水平方向に沿ってスライドさせ、各マッチング度を計算し、最大マッチング度を探し出し、最もマッチングする部分を探し出すプロセスの概念図である。

図13に示すように、検出対象の水平投影ヒストグラムを移動し、各位置において追跡対象との間のマッチング度を計算し、MD1、MD2、…、MDm‐1を得る。ここでの移動はposが1から追跡対象の水平投影ヒストグラム幅と検出対象の水平投影ヒストグラム幅の差、即ち（追跡対象の水平投影ヒストグラム幅-検出対象の水平投影ヒストグラム幅）に変わることを意味する。マッチング度最大時の位置posに対応するマッチング度値をSSposで表す。

図11に戻り、ステップS241で、第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々の間の揃え位置を確定後、ステップS242に進む。

ステップS242では、確定した第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々の間の揃え位置に基づいて、第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々を組み合わせることにより、該追跡対象に関連する更新した第一識別対象物体の画素確率マップを取得する。

１例では、某IDが表す追跡対象に対して、その各履歴フレームの画素確率マップと識別対象物体の画素確率マップを揃え、それから両者の画素確率マップを組み合わせ、最後に全ての該追跡対象に関する履歴フレームを組み合わせた画素確率マップを累計し、最後に該追跡対象に関して取得した識別対象物体の更新した画素確率マップを取得する。

例えば、某追跡対象の第k履歴フレームの画素確率マップTobj_kに対して、下記公式（3）から、Dobjの視差確率マップDPM（Dobj,Tobj_k）を計算する。

DPM（Dobj,Tobj_k）=F（Dobjの初期視差確率マップ,Tobj_kの視差確率マップ） （3）
式中、Fは、所定の関数であり、そのパラメータはDobjの初期視差確率マップとTobj_kの視差確率マップである。

１例では、関数Fの対応する出力は、対応するDobjの初期視差確率マップとTobj_kの視差確率マップ内の値と正比例する。例えばFは二つの視差確率マップ内の対応する画素点の値の積とすることができる。しかし、公式Fはこれに限らず、必要に応じてその他の公式形式を設計、使用してもよい。

図14は、第一識別対象物体の画素確率マップと該追跡対象の画素確率マップの間の揃え位置に基づいて、第一識別対象物体の画素確率マップと該追跡対象の該画素確率マップを組み合わせ、該第一識別対象物体を該追跡対象の該画素確率マップに基づいて更新した後の画素確率マップとして取得する例示的なプロセスである。

ここで、図14（a）は、該追跡対象の視差主平面の水平投影ヒストグラム上の識別対象物体の視差主平面の水平投影ヒストグラムと最もマッチングする部分である。図14（b）は該識別対象物体の視差確率マップを示し、図14（c）は該追跡対象の第kフレーム画像に関する視差確率マップかつ図14（b）に示す識別対象物体の視差確率マップと揃っていることを示し、図14（d）は該識別対象物体の視差確率マップを図14（c）の追跡対象の視差確率マップに基づいて更新して取得した視差確率マップである。

図14の（a）、（b）、（c）の三つの表において、各行はx座標に対応し、各列はy座標に対応し、各セルは（x,y）の位置に対応し、各セル内の値は該位置における画素が対応する対象に属する確率を表す。

該IDが表す追跡対象に関する各々の画素確率マップに関しては、いずれも対応的に第一識別対象物体の確率マップを更新することができる。

１例では、識別対象物体の該追跡対象に関する各画素確率マップ更新後の各画素確率マップを累計し、識別対象物体の該追跡対象に関する画素確率マップを取得することができる、それから、その後のステップS243で識別対象物体の該追跡対象に関する画素確率マップに基づいて、識別対象物体と追跡対象間の類似度を計算する。

１例では、以下のように識別対象物体の該追跡対象に関する画素確率マップを計算することができる。

前述したように、あるID（そのIDをPと仮定する）が表す追跡対象に関して、該追跡対象は、前フレームkに対応する各視差確率マップが存在し、0≦k≦N-1であり、対応する各第一識別対象物体の画素確率マップ
（外１）
を更新して取得する。１例では、例えば下記公式（4）に基づいて識別対象物体Dobjの該追跡対象
（外２）
に関する視差確率マップ
（外３）
を取得することができる。

式中、wiはウェイトであり、１例では
（外４）
即ちフレームは時間次元上で現在フレームに近くなるほど、ウェイトが大きくなり、例では、
（外５）
と設定する。

図15は、識別対象物体の該追跡対象に関する各画素確率マップ更新後の各画素確率マップを累計し、識別対象物体の該追跡対象に関する各画素確率マップを取得する操作概念図である。

図11に戻り、ステップS242では、識別対象物体の該追跡対象に関する画素確率マップを取得し、ステップS243に進む。

ステップS243では、識別対象物体の該追跡対象に関する画素確率マップに基づいて、第一識別対象物体と該追跡対象の間の類似度を計算する。

識別対象物体Dobjの該追跡対象pに関する画素確率マップ
（外６）

を取得後、下記公式（5）で該識別対象物体Dobjと該追跡対象Tobj_p間の類似度similarityscore(Dobj,Tobj_p)を計算できる。

式中、
（外７）
は更新後の位置（x,y）の画素が識別対象物体を構成する画素に属する確率を表す。distanceは識別対象物体の境界領域の代表的位置と該追跡対象の現在フレーム内の予測位置までの間のリアル世界における距離を表し、例えば識別対象物体の境界領域の中心点をその代表的位置とすることができる。履歴追跡情報に基づいて追跡対象の現在フレーム内の位置を予測し、例えば追跡対象の一つ前のフレーム内の位置と推定の移動速度に基づいて実現できる。

図16は、該追跡対象pに関する更新後の識別対象物体の画素確率マップ及び第一識別対象物体の第一境界領域から該追跡対象pの現在フレーム内の予測する領域位置までの距離に基づいて、第一識別対象物体と該追跡対象p間の類似度を計算する概念図である。

図11に戻り、各追跡対象1、2、…、p、…に対して、図11に示すステップS241からS243を実行し、これによって第一識別対象物体と各追跡対象1、2、…、p、…の間の類似度を取得する。以上からわかるように、各追跡対象に関してステップS241からS243を行うのは、並行して実施することもできる。全ての追跡対象に対して、ステップS241からS243を実行後、ステップS244に進む。

S244では、第一識別対象物体との類似度が最も高い追跡対象の識別子を第一識別対象物体に付与し、そして類似度が最も高い追跡対象に関連する更新した第一識別対象物体の画素確率マップを取得する。

例えば、仮に該識別対象物体Dobjと該追跡対象の間の類似度similarityscore(Dobj,Tobj_p)が各類似度の中で最も高いとすると、第一識別対象物体が追跡対象pと考えられる。即ち識別子pを該識別対象物体に付与し、該第一識別対象物体の該追跡対象pに関する画素確率マップ
（外８）
を該追跡対象pの履歴追跡データに追加する。

例では、該最高類似度が所定の閾値よりも大きいかどうか検査できる。該最高類似度が所定の閾値よりも大きく場合、識別対象物体に似た追跡対象が存在しないと考えることができ、そのため該識別対象物体は新しく出現した対象であり、新しい唯一のIDを該識別対象物体に付与する。このような状況では、追跡対象に基づいて識別対象物体の視差確率マップを更新しない。

以上、図11から図16は図5内のステップS240を実現する方法例を説明した。

図11に示す図5内のステップS240の実現方法では、まず某IDが表す追跡対象の各履歴視差確率マップに基づいて、第一識別対象物体の該追跡対象に関する更新した視差確率マップを取得し、それから該識別対象物体と該追跡対象の間の類似度を計算する。

別の例では、以下の操作（1）−（3）で図5のステップS240を実現できる。

（1）現在フレームの第一識別対象物体の視差主平面と各追跡対象IDがあわす追跡対象の一つまたは複数の前視差画像に関連する視差主平面の全部または一部の間のマッチング度に基づいて、第一識別対象物体と各追跡対象IDが表す追跡対象の間の類似度を計算する。

例では、図13に示すように、識別対象物体の視差主平面（の水平投影ヒストグラム）とある追跡対象の履歴フレーム視差画像の各視差主平面（の水平投影ヒストグラム）の最大マッチング度とマッチング部分を確定する。それから該識別対象物体と該追跡対象の類似度を確定し、例えば該類似度は該識別対象物体と該追跡対象の各履歴フレーム視差画像の視差主平面の各最大マッチング度の加重平均であってもよい。

（2）第一識別対象物体との類似度が最も高い追跡対象と関連する追跡対象IDを確定する。

（3）第一識別対象物体との類似度が最も高い追跡対象の識別子を第一識別対象物体に与え、そして第一識別対象物体の画素確率マップと第一識別対象物体との類似度が最も高い追跡対象の画素確率マップに基づいて、第一識別対象物体の画素確率マップを更新する。

第一識別対象物体の画素確率マップと第一識別対象物体との類似度が最も高い追跡対象の画素確率マップに基づいて、第一識別対象物体の画素確率マップを更新する。

図5に戻り、ステップS240で第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新後、ステップS250に進む。

ステップS250では、更新後の第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得する。

例では、所定の閾値に基づいて、更新後の第一識別対象物体の画素確率マップ内の画素確率が所定の閾値よりも大きい画素を抽出し、このように抽出した画素の最も小さい矩形境界を第二境界領域とする。

別の例では、所定の閾値に基づいて、更新後の第一識別対象物体の画素確率マップ内の画素確率が所定の閾値よりも大きい画素を抽出後、残っている画素点を検査し、外れ値（outlier）を除去し、それから残ったがその最小外接矩形を第二境界領域とすることができる。

例では、第二境界領域を取得するとき、該第二境界領域の大きさが第一境界領域の大きさ以上であることを確保する。これにより、できる限り現在フレーム内の対象が漏れた部分を補完できる。

図17（a）は取得した検出物体の視差確率マップが所定の閾値（例えば、0.1）よりも大きい部分で、図17（b）は視差画像内の対応する境界領域、即ち第二境界領域である。

例えば第二境界領域を示す矩形枠を視差画像上に重ね合わせ、追跡結果としてモニター上に表示できる。また、境界領域付近にその他情報、例えば対象の識別子指示を表示することもできる。

前記実施例の物体追跡装置と物体追跡方法は、履歴追跡結果に基づいて現在検出結果を修正し、実際の対象に対する対象検出結果の境界矩形枠のずれや縮小といった問題の解消と軽減が可能になる。言い換えると、できる限り対象の境界の矩形枠を補完し、対象の輪郭全体をその中に包囲することができる。

また、本発明は連続する視差画像に基づいて複数の同類物体を追跡することに用いる物体追跡のコンピュータシステムを通じて実施できる。図18は、本発明実施方式を実現するのに用いる例示的コンピュータシステム600のブロック図である。図18に示すように、コンピュータシステム600は、CPU（中央処理装置）601、RAM（ランダムアクセスメモリ）602、ROM（リードオンリーメモリ）603、システムバス604、ハードウェア制御器605、キーボード制御器606、シリアルインターフェース制御器607、パラレルインターフェース制御器608、モニタ制御器609、ハードディスク610、キーボード611、シリアル周辺機器612、パラレル周辺機器613、モニタ614を含む。これらの設備のうち、システムバス604と連結するものは、CPU601、RAM602、ROM603、ハードディスク制御器605、ハードディスク制御器605、キーボード制御器606、シリアルインターフェース制御器607、パラレルインターフェース制御器608、モニタ制御器609がある。ハードディスク610はハードディスク制御器605と連結し、キーボード611はキーボード制御器606と連結し、シリアル周辺機器612はリアルインターフェース制御器607と連結し、パラレル周辺機器613はパラレルインターフェース制御器608と連結し、モニタ114はモニタ制御器609と連結する。理解すべきは、図20に示す構造ブロック図は例示するためだけのものであり、本発明の範囲を制限するものではない。ある状況では、具体的な状況に応じて一部設備を増加、減少できる。

当業者であれば、本発明はシステム、装置、方法またはコンピュータプログラム製品として実現できることを知っている。そのため、本発明は具体的に以下の形式で実現できる。即ち、完全なハードウェアでもよく、また完全なソフトウェア（ファームウェア、常駐ソフト、マイクロコードなどを含む）でもよく、さらにハードウェアとソフトウェアを組合せた形式でもよく、本文では通常、「回路」、「モジュール」、「装置」または「システム」と称している。また、一部実施例では、本発明は一つまたは複数のコンピュータ読取可能媒体内のコンピュータプログラム製品の形式で実現することもでき、該コンピュータ読取可能媒体にはコンピュータが読み取ることのできるプログラムコードが含まれている。

一つまたは複数のコンピュータ読取可能媒体の任意の組合せを採用できる。コンピュータ読取可能記録媒体はコンピュータ読取可能信号媒体またはコンピュータ読取可能記録媒体でもよい。コンピュータ読取可能記録媒体は例えば電気、磁気、光、電磁、赤外線または半導体のシステム、装置、機器、または以上の任意の組合せを含むが、それだけに限らない。コンピュータ読取可能記録媒体の具体的な例は（非包括的なリスト）は、一つまたは複数の導線を有する電気的接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、消去及びプログラム可能読取り専用メモリ（EPROMまたはフラッシュメモリ）、光ファイバー、コンパクトディスク読取り専用メモリ（CD-ROM）、光学記憶装置、磁気記憶装置、または上記の任意の適切な組合せを含む。本文書では、コンピュータ読取可能記録媒体はいずれかのプログラムを含むか記録する有形の媒体でよく、該プログラムは、コマンド実行システム、装置または機器に用いられ、またはそれらの組合せに用いられる。

コンピュータ読取可能信号媒体はベースバンドの中でまたは搬送波の一部分として伝播するデータ信号を含み、コンピュータが読み取ることのできるプログラムコードをロードしている。このような伝播するデータ信号は様々な形式を採用でき、電磁信号、光信号または上記の任意のデータの適切な組合せを含むが、それだけに限らない。コンピュータ読取可能信号媒体はコンピュータ読取可能記録媒体以外のいかなるコンピュータ読取可能媒体でもよく、該コンピュータ読取可能媒体はコマンド実行システム、装置または機器に用いられ、またはそれらの組み合わせに用いられるプログラムを送信、伝播または伝送できる。

コンピュータ読取可能媒体に含まれるプログラムコードはいかなる適切な媒体でも伝送でき、無線、電線、光ケーブル、RFなど、または上記の任意の適切な組合せを含むが、それだけに限らない。

一種または複数のプログラミング言語またはその組合せによって本発明操作の実行に用いるコンピュータプログラムコードを生成し、前記プログラミング言語はオブジェクト指向のプログラミング言語―例えばJava（登録商標）、Smalltalk、C++を含み、さらに通常の手続き型プログラミング言語―例えば「C」言語または類似のプログラミング言語を含む。プログラムコードは完全にユーザーコンピュータ上で実行することも、部分的にユーザーコンピュータ上で実行することも、独立したソフトウェアパッケージとして実行することも、一部をユーザーコンピュータ上で実行して一部をリモートコンピュータ上で実行することも、または完全にリモートコンピュータまたはサーバで実行することもできる。リモートコンピュータに関わる状況では、リモートコンピュータはローカルエリアネットワーク（LAN）、広域ネットワーク（WAN）を含む任意のネットワークを通じてユーザーコンピュータに接続、または外部コンピュータに接続できる（例えばインターネットサービスプロバイダを利用したインターネットを通じて接続する）。

以上、本発明の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び/またはブロック図を参考に本発明を説明した。理解すべきは、フローチャート及び/またはブロック図の各四角い枠及びフローチャート及び/またはブロック図の各四角い枠の組合せは、コンピュータプログラムコマンドを通じて実現できることである。これらのコンピュータプログラムコマンドは汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これらのコンピュータプログラムコマンドはコンピュータまたはその他プログラマブルデータ処理装置を通じて実行し、フローチャート及び/またはブロック図の角い枠の中で規定している機能/操作を実現する装置を生み出した。

これらコンピュータプログラムコマンドはコンピュータまたはその他プログラマブルデータ処理装置を特定方式で作動させるコンピュータ読取可能媒体に記録することができる。このようにして、コンピュータ読取可能媒体に記録したコマンドはフローチャート及び/またはブロック図の四角い枠の中で規定している機能/操作を実現するコマンド装置を含む製造品を生み出すことができる。

コンピュータプログラムコマンドをコンピュータ、その他プログラマブルデータ処理装置、またはその他設備にロードして、コンピュータ、その他プログラマブルデータ処理装置、またはその他設備上で一連の操作ステップを実行し、コンピュータが実現する過程を生み出し、それによってコンピュータ、その他プログラマブルデータ処理装置上で実行するコマンドはフローチャート及び/またはブロック図の角い枠の中で規定している機能/操作を実現する過程を提供することができる。

図面内のフローチャート及びブロック図は本発明の複数の実施例のシステム、方法及びコンピュータプログラム製品の実現可能な体系構造、機能及び操作を示している。この点では、フローチャートまたはブロック図の各四角い枠はモジュール、プログラムセグメント、コードの一部分を表すことができ、前記ジュール、プログラムセグメント、コードの一部分は一つまたは複数の規定の論理機能を実現するのに用いる実行可能なコマンドを含む。注意すべきことは、一部の代替として実現中に、四角い枠内に記された機能が図面の中に記されている順序と異なる順序で発生できることである。例えば、二つの連続する四角い枠は実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。また注意すべきことは、ブロック図及び/またはフローチャートの各四角い枠、及びブロック図及び/またはフローチャートの四角い枠の組合せは、規定の機能または操作を実行する専用のハードウェアに基づくシステム、または、専用ハードウェアとコンピュータコマンドの組合せから実現できる。

以上、本発明の各実施例を説明してきたが、前記説明は例であり、非包括的なものであり、公開された各実施例に限定するものではない。説明された各実施例の範囲と考え方から逸脱していない場合、当業者であれば多くの修正と変更は自明のことである。本文で用いている用語の選択は、各実施例の原理、実際の応用または市場での技術の改良を最も適切に解釈するため、または当業者に本文が公開している各実施例を理解してもらうためである。

Claims (10)

1. コンピュータで実現可能な、連続する視差画像に基づいて複数の同類物体を追跡する物体追跡方法において、
   現在フレーム視差画像から検出した第一識別対象物体の現在フレーム視差画像内の第一境界領域を取得し、
   該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属す確率を計算することにより、第一識別対象物体の画素確率マップを取得し、
   追跡対象の識別子情報と、現在フレームの前の一つまたは複数の前視差画像の各々に関連付けられた画素確率マップとが含まれている各追跡対象の履歴追跡データを取得し、
   第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定するとともに、第一識別対象物体の画素確率マップを更新し、及び
   更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得することを含む、物体追跡方法。
2. 前記該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算することにより、第一識別対象物体の画素確率マップを取得することは、
   第一識別対象物体の視差方向と垂直な平面を視差主平面として抽出し、及び
   第一境界領域内の各有効画素から該視差主平面までの距離に基づいて、第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を確定し、１画素から該視差主平面までの距離が小さくなるほど、該画素が該第一識別対象物体を構成する画素に属する確率が高くなることを含む、請求項1に記載の物体追跡方法。
3. 第一識別対象物体の有効画素数が最も多くなる視差方向と垂直な平面を視差主平面として抽出する、請求項2に記載の物体追跡方法。
4. 拡張された画素が該第一識別対象物体を構成する画素に属する確率が所定の閾値未満になるまで、第一境界領域を漸進式に拡張することを含む、請求項3に記載の物体追跡方法。
5. 前記第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定し、第一識別対象物体の画素確率マップを更新することは、
   追跡対象の各々に対して、
   第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々の間の揃え位置を確定し、
   確定した第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの間の揃え位置に基づいて、第一識別対象物体の画素確率マップと追跡対象の一つまたは複数の画素確率マップの各々を組み合わせることにより、該追跡対象に関連する更新した第一識別対象物体の画素確率マップを取得し、
   該追跡対象に関連する更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体と該追跡対象間の類似度を計算し、及び
   第一識別対象物体との類似度が最高になる追跡対象の識別子を第一識別対象物体に与え、類似度が最高になる追跡対象に関連する更新した第一識別対象物体の画素確率マップを取得することを含む、請求項1〜４のいずれかに記載の物体追跡方法。
6. 前記第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々を組み合わせることにより、該追跡対象に関連する更新した第一識別対象物体の画素確率マップを得ることは、
   第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々を乗算するとともに加重累計することを含み、
   追跡対象の１画素確率マップの第一識別対象物体の画素確率マップとの、時間におけるフレーム間隔が近ければ近いほど、加重累計におけるウェイトが大きくなる、請求項5に記載の物体追跡方法。
7. 前記第一識別対象物体の画素確率マップと該追跡対象の一つまたは複数の画素確率マップの各々の間の揃え位置を確定することは、
   第一識別対象物体の第一境界領域内の出現頻度が最も高い視差値に対応する各画素点の水平X座標における投影数の累計を取得し、水平投影ヒストグラムを取得し、該ヒストグラムの一次元はX座標であり、他方の一次元はX座標上の対応する位置の値が頻度最高の視差値となる画素点の数を表し、
   該追跡対象の該画素確率マップに関連する境界領域の水平投影ヒストグラムを取得し、
   第一識別対象物体の水平投影ヒストグラムを該追跡対象の該画素確率マップに関連する境界領域の水平投影ヒストグラム上でスライドさせ、両者が異なる位置でマッチングしたときのマッチング度を計算し、及び
   マッチング度が最高の位置を前記揃え位置として確定することを含む、請求項5に記載の物体追跡方法。
8. 前記該追跡対象に関連する更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体と該追跡対象間の類似度を計算することは、
   前記画素確率マップ及び第一識別対象物体の第一境界領域から該追跡対象の現在フレーム予測領域位置までの距離から、第一識別対象物体と該追跡対象間の類似度を計算し、該追跡対象の現在フレーム予測領域位置は、該追跡対象の履歴追跡情報から予測された該追跡対象の現在フレーム画像内の位置であることを含む、請求項5に記載の物体追跡方法。
9. 前記第一識別対象物体の画素確率マップと該追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づき、第一識別対象物体の識別子情報を確定するとともに、第一識別対象物体の画素確率マップを更新することは、
   現在フレームの第一識別対象物体の視差主平面と各追跡対象IDが表す追跡対象の一つまたは複数の前視差画像に関連する視差主平面の全部または一部間のマッチング度に基づき、第一識別対象物体と各追跡対象IDが表す追跡対象間の類似度を計算し、
   第一識別対象物体との類似度が最高になる追跡対象と、関連する追跡対象IDを確定し、及び
   第一識別対象物体との類似度が最高になる追跡対象の識別子を第一識別対象物体に与え、第一識別対象物体の画素確率マップと、第一識別対象物体との類似度が最高になる追跡対象の画素確率マップに基づいて、第一識別対象物体の画素確率マップを更新することを含む、請求項1〜4のいずれかに記載の物体追跡方法。
10. コンピュータで実現可能な、連続する視差画像に基づいて複数の同類物体を追跡する物体追跡装置において、
    現在フレーム視差画像から検出した第一識別対象物体の現在フレーム視差画像における第一境界領域を取得する識別対象物体境界領域取得部と、
    該第一境界領域内の各有効画素が該第一識別対象物体を構成する画素に属する確率を計算することにより、第一識別対象物体の画素確率マップを取得する識別対象物体画素確率マップ計算部と、
    追跡対象の識別子情報、現在フレーム画像の前の一つまたは複数の前視差画像の各々に関連する画素確率マップを含む、各追跡対象の履歴追跡データを取得する追跡対象履歴画素確率マップ取得部と、
    第一識別対象物体の画素確率マップと追跡対象の各々の一つまたは複数の画素確率マップ間のマッチングに基づいて、第一識別対象物体の識別子情報を確定するとともに、第一識別対象物体の画素確率マップを更新する識別対象物体識別及び画素確率マップ更新部と、
    更新した第一識別対象物体の画素確率マップに基づいて、第一識別対象物体の第一境界領域を更新し、第二境界領域を取得する識別対象物体境界領域更新部と、を含む、物体追跡装置。