JP2017016356A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】物体の三次元位置を推定する際に虚像を効果的に削減する。
【解決手段】連続して撮影されたフレーム画像群を、視野が重複している複数の撮像部のそれぞれから取得する。フレーム画像群上の物体を追尾する。物体のフレーム画像上の位置と複数の撮像部間の位置関係とに基づいて着目時刻における物体の三次元位置の候補を生成する。着目時刻における三次元位置の候補と、着目時刻より前の過去時刻における物体の三次元位置の候補とを対応付ける。着目時刻におけるフレーム画像に基づいて求められた着目時刻における三次元位置の候補が物体に対応する確度を示す局所対応確度と、過去時刻における三次元位置の候補が物体に対応する確度を示す積算対応確度と、の双方に基づいて、着目時刻における三次元位置の候補が物体に対応する確度を示す積算対応確度を求める。積算対応確度に基づいて着目時刻における物体の三次元位置を判定する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

監視カメラシステムにおいて、視野が重複している複数のカメラを用いて物体を撮影することで、物体の三次元位置を推定する手法が提案されている。この手法によれば、ステレオ視の原理に従い、位置が既知のカメラで被写体を撮影することで、カメラ画像上の被写体の位置から被写体の三次元位置が推定される。

このとき、実際には物体が存在しない三次元位置において物体が存在すると推定されることが問題となる。以下では、物体が存在する三次元位置、すなわち正しく推定された三次元位置のことを実像と呼び、物体が存在しない三次元位置、すなわち誤って推定された三次元位置のことを虚像と呼ぶ。虚像は、カメラと人物との位置関係により生じる。図２は、虚像が生じるカメラと人物との位置関係を示している。図２においては、カメラ１が人物Ｂを、カメラ２が人物Ａと人物Ｂとをそれぞれ捉えている。カメラと人物とを結ぶ直線の交点が物体の三次元位置として推定されるため、カメラ１と人物Ｂとを結ぶ直線と、カメラ２と人物Ｂとを結ぶ直線との交点に実像が生じる。その一方で、カメラ１と人物Ｂとを結ぶ直線と、カメラ２と人物Ａとを結ぶ直線との交点にも虚像が生じる。

この問題の解決方法として、特許文献１では、像の動きの連動性に基づいて虚像を低減する方法を提案している。具体的には、虚像に連動して動く像が多いという性質を利用して、ある像に連動して動く像を計数し、計数された値が多いと像は虚像として判別される。また、特許文献２は、人物の三次元移動軌跡を求め、これらの三次元移動軌跡の断片を連結して、それぞれの人物の完全な移動軌跡を算出する方法を開示している。特許文献２の方法によれば、一定時間の長さにわたる軌跡同士を連結することにより虚像を削減することができる。

特許第５４５４５７３号公報 特開２０１０−０６３００１号公報

特許文献１の方法には、カメラ数又は物体数が多いと虚像が増えるため、連動性に基づいて虚像を判別することが容易ではないという課題があった。また、特許文献２の方法は、一定時間の長さの軌跡同士を連結するため、即応性が要求される場合には利用しにくいとともに、計算量が大きくなるという課題があった。

本発明は、物体の三次元位置を推定する際に虚像を効果的に削減することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
連続して撮影されたフレーム画像群を、視野が重複している複数の撮像部のそれぞれから取得する取得手段と、
前記フレーム画像群上の物体を追尾する追尾手段と、
前記物体のフレーム画像上の位置と前記複数の撮像部間の位置関係とに基づいて着目時刻における前記物体の三次元位置の候補を生成する生成手段と、
前記着目時刻における三次元位置の候補と、前記着目時刻より前の過去時刻における前記物体の三次元位置の候補とを対応付ける対応付け手段と、
前記着目時刻におけるフレーム画像に基づいて求められた前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す局所対応確度と、前記過去時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度と、の双方に基づいて、前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度を求める算出手段と、
前記積算対応確度に基づいて前記着目時刻における前記物体の三次元位置を判定する判定手段と、
を備える。

本発明によれば、物体の三次元位置を推定する際に虚像を効果的に削減することができる。

一実施形態に係る画像処理装置の機能構成例を示すブロック図。 虚像について説明する図。 一実施形態に係る画像処理装置のハードウェア構成例を示す図。 一実施形態に係る処理のフローチャート。 三次元位置の候補を生成する処理のフローチャート。 三次元位置の候補を生成する処理を説明する図。 三次元位置の候補を生成する処理を説明する図。 対応確度を算出する処理のフローチャート。 画像に投影された三次元位置の候補と物体との距離を説明する図。 三次元位置の候補と物体とを対応付ける処理のフローチャート。 一実施形態における表示画像例を示す図。

以下、本発明の実施形態について説明する。以下では人物を検出対象とする場合について説明するが、検出対象は他の物体であってもよい。

図３は、本実施形態に係る画像処理装置１００のハードウェア構成例を示す。撮像素子３０１は撮像部に相当し、光学的な被写体像を電気信号に変換する。撮像素子３０１としては、例えばＣＣＤ又はＣＭＯＳ等を用いることができる。信号処理回路３０２は、撮像素子３０１から得られた時系列の電気信号をデジタル信号に変換する。撮像素子３０１及び信号処理回路３０２により、被写体像を含む画像を生成することができる。以下の説明においては、画像処理装置１００は複数のカメラを有しており、それぞれのカメラが撮像素子３０１を備えているものとする。

ＣＰＵ３０３は、ＲＯＭ３０４に格納されている制御プログラムを実行することにより、画像処理装置１００全体の制御を行う。より具体的には、ＣＰＵ３０３が制御プログラムを実行することにより、図１に示される各機能が実現され、及び後述するフローチャートに示される各処理が行われる。ＲＯＭ３０４は、ＣＰＵ３０３が実行する制御プログラム及び各種パラメータデータを格納する記憶媒体である。ＲＡＭ３０５は、画像及び各種情報を記憶する。また、ＲＡＭ３０５は、ＣＰＵ３０３のワークエリア、又はデータの一時待避領域として機能する。ディスプレイ３０６は画像を表示する。

画像処理装置１００の構成は図３に示すものには限られない。例えば、画像処理装置１００は汎用のＰＣを用いて実現することもできる。この場合、画像処理装置１００が撮像素子３０１、信号処理回路３０２及びディスプレイ３０６を有する必要はない。一実施形態において、撮像素子３０１及び信号処理回路３０２はカメラのような撮像装置に含まれ、この撮像装置は画像処理装置１００と通信可能である。このような実施形態において画像処理装置１００は、２つ以上の撮像素子３０１のそれぞれにより得られた電気信号を取得することができる。

また、コンピュータ等の処理装置において、ＣＰＵ３０３のようなプロセッサが、ネットワーク又は記憶媒体を介して取得したソフトウェア（プログラム）を実行することにより、図１に示される機能及び後述するフローチャートに示す各処理を実現してもよい。一方で、これらの機能及び処理のうち１以上を、電子回路等の専用のハードウェアを用いて実現することもできる。例えば、画像処理装置１００は物体検出専用のハードウェアで構成された物体検出専用装置であってもよい。

画像処理装置１００の機能構成を図１に示す。画像処理装置１００は、情報保持部１０３、物体追尾部１０２、位置記憶部１２３、確度算出部１０９及び位置確定部１１５を備える。画像処理装置１００はさらに、画像取得部１０１、位置生成部１０４、位置併合部１２４、対応記憶部１２５、位置更新部１１９、位置削除部１２２及び表示制御部１２６を備える。

以下の説明においては、画像処理装置１００は、視野が重複している２台のカメラを有しているものとする。上述のように、それぞれのカメラは撮像素子３０１を備えている。もっとも、カメラの台数は２台以上であれば特に制限されない。

情報保持部１０３は、キャリブレーションを行うことにより得られた各カメラの内部パラメータ及び位置姿勢に関する情報を保持する。キャリブレーション方法としては公知の方法を採用することができる。例えば、環境中に設置されたキャリブレーションボードをカメラで撮像することにより得られた画像を用いて、各カメラの内部パラメータを求めることができる。具体的な方法としては、Zhengyou Zhang. "A flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.に記載の方法が挙げられる。その後、環境中に設置された位置姿勢が既知であるキャリブレーションマーカーをカメラで撮像することにより得られた画像を用いて、各カメラの位置姿勢を推定することができる。

別の方法として、カメラによって撮像された画像からコーナーやＳＩＦＴ特徴等の特徴点を抽出し、それぞれの画像から抽出された特徴点を対応づけることにより、カメラの位置姿勢を推定する方法を用いることもできる。具体的な方法としては、Pierre Moulon, Pascal Monasse, and Renaud Marlet. "Adaptive structure from motion with a contrario model estimation", Computer Vision - ACCV 2012: 11th Asian Conference on Computer Vision, Part IV, pp. 257-270, 2013.に記載の方法が挙げられる。また、カメラの内部パラメータと位置姿勢とを同時に求めてもよい。

画像取得部１０１は、連続して撮影されたフレーム画像群を複数の撮像部のそれぞれから取得する。例えば、画像取得部１０１は、各カメラから、連続して撮影されたフレーム画像群で構成される映像を取得することができる。本実施形態においては２台のカメラが用いられるため、画像取得部１０１は２つの映像を取得する。画像処理装置が備える各部は、ほぼ同時に各カメラにより撮像された複数のフレーム画像を参照して処理を行う。

物体追尾部１０２は、画像取得部１０１が取得したフレーム画像群上の物体を追尾する。例えば、物体追尾部１０２は、画像取得部１０１により取得されたそれぞれのフレーム画像に対して追尾処理を行うことができる。この結果、追尾対象物体の画像領域がそれぞれのフレーム画像から検出される。本実施形態では人物の追尾が行われるため、物体追尾部１０２は、画像から人物領域を抽出し、着目時刻の画像から抽出された人物領域と、同一の人物に関して過去の画像から抽出された人物領域と、を対応付ける。こうして、複数の時刻にわたって同一人物を追尾することができる。追尾処理の方法としては公知の方法を用いることができる。例えば、連続する画像のそれぞれに対して人物検出処理を行い、それぞれの画像から検出された人物をマッチングスコアに基づいて対応づけることにより、人物追尾を行うことができる。具体的な方法としては、M. D. Breitenstein et al. "Robust tracking-by-detection using a detector confidence particle filter", 2009 IEEE 12th International Conference on Computer Vision (ICCV), pp. 1515-1522.に記載の方法が挙げられる。

物体追尾部１０２による追尾処理の結果、それぞれの画像に含まれる追尾対象物体の二次元位置と、追尾対象物体の識別子とのセットが得られる。以下では、追尾対象物体の画像領域のことを追尾結果又は単に物体と呼び、追尾対象物体の識別子のことを追尾結果の識別子と呼ぶ。本実施形態においては、それぞれの画像に含まれる人物の二次元位置と、人物の識別子とのセットが得られる。より具体的には、それぞれの画像に含まれる人物領域の二次元位置と、人物領域の識別子とのセットが得られる。本実施形態において人物領域は矩形領域であり、人物領域の二次元位置としては矩形領域の代表点座標（ｘ，ｙ）、矩形領域の高さｈ、及び矩形領域の幅ｗが得られる。代表点座標は、例えば検出された顔領域の中心座標、又は矩形領域の中心座標等でありうる。また、追尾結果の識別子として、２Ｄ追尾ラベルｉが得られる。２Ｄ追尾ラベルｉは、それぞれのカメラについて、画像中で追尾されている人物を識別するための符号である。同じカメラにより得られた画像において、異なる人物に対しては異なる２Ｄ追尾ラベルｉが付されるように、２Ｄ追尾ラベルｉは決定される。

位置記憶部１２３は、三次元位置の情報を記憶する。詳細は後述する。

位置生成部１０４は、物体のフレーム画像上の位置と複数の撮像部間の位置関係とに基づいて着目時刻における物体の三次元位置の候補を生成する。例えば、位置生成部１０４は、物体追尾部１０２による追尾処理により得られた人物の二次元位置に基づいて、三次元位置の候補を新規に生成することができる。具体的には、位置生成部１０４は、それぞれの画像から検出された人物の二次元位置を対応付けることにより、三次元位置の候補を作成する。三次元位置とは三次元空間中の人物の位置を示すものであり、座標（ｘ，ｙ，ｚ）で表される。また、位置生成部１０４は、三次元位置の候補に対して、識別子と、属性情報とを割り当てる。以下では、三次元位置の候補を単に三次元位置と呼ぶことがある。

識別子とは、生成された三次元位置の候補を識別するための符号であり、例えば３Ｄ追尾ラベルｊを用いることができる。異なる三次元位置に対しては異なる３Ｄ追尾ラベルｊが付されるように、３Ｄ追尾ラベルｊは決定される。また、属性情報とは、三次元位置の性質を表す値又は符号である。本実施形態においては、三次元位置に対応する追尾結果の属性（物体の属性）を用いて三次元位置の属性が決定される。例えば、人物の色（色属性）を属性として用いることができる。別の実施形態においては、色属性の代わりに、人物の年齢、性別、身長、向き若しくは大きさ、又は追尾結果から抽出した特徴量等を、属性として用いることができる。具体的な一例として、位置生成部１０４は、三次元位置の候補を生成する際に参照された各フレーム画像上の追尾結果から特徴量を抽出し、三次元位置の属性として、各フレーム画像について抽出された特徴量の統計量、例えば平均値、を算出することができる。

位置生成部１０４は、対応付け部１０５、位置推定部１０６及び属性抽出部１０７を備える。対応付け部１０５は、物体追尾部１０２により追尾されている人物を画像間で対応付ける。位置推定部１０６は、対応付け部１０５により対応付けられた人物の三次元位置の候補を生成する。属性抽出部１０７は、対応付け部１０５により対応付けられた人物の属性を取得する。これらの詳細については後に説明する。

位置記憶部１２３は、三次元位置の情報を記憶する。例えば、位置記憶部１２３は、位置生成部１０４により生成された三次元位置の候補と、この三次元位置についての３Ｄ追尾ラベルｊと、この三次元位置についての属性と、のセットを記憶することができる。

位置併合部１２４は、着目時刻における三次元位置の候補と、着目時刻より前の過去時刻における物体の三次元位置の候補とを対応づける。本実施形態においては、位置併合部１２４は、物体のフレーム画像上の位置と複数の撮像部間の位置関係とに基づいて生成された着目時刻における三次元位置の候補と、過去時刻における三次元位置の候補と、を併合する。こうして、位置併合部１２４は、着目時刻における三次元位置の候補を過去時刻における三次元位置の候補と対応づける。

例えば、位置併合部１２４は、位置生成部１０４により生成された複数の三次元位置の候補を１つに併合することができる。この処理により、同一人物に対応すると判定された三次元位置同士が併合される。また、この処理の結果、着目時刻における三次元位置の候補と、着目時刻より前の過去時刻における物体の三次元位置の候補と、の対応付けが実現できる。もっとも、三次元位置を併合することにより対応付けを行うことは必ずしも必須ではなく、着目時刻における三次元位置の候補と過去時刻における三次元位置の候補とが同一人物に対応すると判定されたことを示す情報を記録することもできる。

位置生成部１０４による処理の結果、同一人物の三次元位置が複数生成されることがある。また、図４に示す処理全体により生じる推定誤りによって、同一人物の三次元位置が複数存在することがある。そこで、位置併合部１２４は、同一人物の三次元位置を１つに限定するために、同一人物とみなせる複数の三次元位置を探索して１つに併合する。また、位置併合部１２４は、現在処理対象となっている着目時刻におけるフレーム画像を用いて生成された三次元位置の候補と、着目時刻よりも前の過去時刻におけるフレーム画像を用いて生成された三次元位置の候補と、も併合する。対応記憶部１２５は、位置併合部１２４により併合された三次元位置が同一人物であることを示す情報を記憶する。これらの詳細については後に説明する。

確度算出部１０９は、着目時刻における三次元位置の候補が物体に対応する積算対応確度を求める。この処理は、着目時刻におけるフレーム画像に基づいて求められた着目時刻における三次元位置の候補が物体に対応する確度を示す局所対応確度と、過去時刻における三次元位置の候補が物体に対応する確度を示す積算対応確度と、の双方に基づいて行われる。本実施形態において、確度算出部１０９は、着目時刻ｔのみを考慮した三次元位置ｊと追尾結果ｉとの間の対応確度（局所対応確度）と、過去のフレーム画像に基づく三次元位置ｊと追尾結果ｉとの間の対応確度（積算対応確度）とに基づいて対応確度を計算する。対応確度の計算方法については後に詳しく説明する。

これらの対応確度とは、三次元位置の候補が示す物体が、追尾されている物体と同一である可能性を示す指標であり、三次元位置と追尾結果とが同一人物に対応する度合いを示すものである。こうして、確度算出部１０９は、三次元位置と追尾結果間の対応確度を計算する。ここで、三次元位置とは位置併合部１２４による併合処理により得られた三次元位置のことを指し、それぞれの三次元位置を３Ｄ位置ラベルｊを用いて三次元位置ｊと呼ぶ。また、追尾結果とは物体追尾部１０２による処理によりそれぞれの画像において追尾されている人物のことを指し、それぞれの追尾結果を２Ｄ位置ラベルｉを用いて追尾結果ｉと呼ぶ。

確度算出部１０９は、距離計算部１１０、相違度計算部１１１、局所確度計算部１１２、積算確度計算部１１３及び積算確度記憶部１１４を備える。距離計算部１１０は、三次元位置と物体追尾部の結果とカメラの位置関係とから物体距離を計算する。具体的には、画像に投影された三次元位置と追尾結果の画像上の距離を計算する。相違度計算部１１１は、三次元位置の持つ色属性と追尾結果の人物検出領域から抽出される色属性の相違度を計算する。局所確度計算部１１２は、着目時刻ｔのみを考慮した三次元位置と追尾結果間の対応確度（局所対応確度）を計算するものであり、詳細は後述する。積算確度計算部１１３は、積算確度記憶部１１４に記憶された積算対応確度を局所確度計算部１１２で取得された局所対応確度で更新するものであり、詳細は後述する。積算確度記憶部１１４は、求められた積算対応確度を、着目時刻における三次元位置の候補が物体に対応する確度を示す積算対応確度として記録する。記録される積算対応確度は、局所対応確度を積算して得られる値に相当する。

位置確定部１１５は、積算対応確度に基づいて前目時刻における物体の三次元位置を判定する。本実施形態において位置確定部１１５は、記録された積算対応確度がより高い、着目時刻における三次元位置の候補を、着目時刻における物体の三次元位置に対応すると判定する。このようにして位置確定部１１５は、対応確度から三次元位置を確定する。本実施形態では、三次元位置の実像らしさを表わす実像信頼度を計算し、それを用いて実像であることを確定する。さらに三次元位置と追尾結果の対応関係を求める。位置確定部１１５は、信頼度算出部１１６、位置選択部１１７及び結果選択部１１８を備える。信頼度算出部１１６は、三次元位置の実像らしさを表わす実像信頼度を計算する。位置選択部１１７は、実像信頼度が大きな三次元位置を求め、実像として確定する。結果選択部１１８は、三次元位置に対応する追尾結果を確定する。これらの処理の詳細は後述する。

位置更新部１１９は、位置確定部１１５で求めた三次元位置と追尾結果の対応関係を用いて、三次元位置及び属性を更新する。位置更新部１１９は、座標更新部１２０及び属性更新部１２１を備える。座標更新部１２０及び属性更新部１２１は、それぞれ三次元位置及びそれが持つ属性を更新する。位置削除部１２２は、不要な三次元位置を削除する。表示制御部１２６は、物体の検出結果や三次元位置をカメラ画像とともにディスプレイに表示させる。

以下で、図４のフローチャートを参照して、画像処理装置１００の動作について説明する。ステップＳ４０１においては、上述のようにキャリブレーションを行うことにより、各カメラの内部パラメータ及び位置姿勢が推定され、これらの情報が情報保持部１０３に保持される。ステップＳ４０２において画像取得部１０１は、上述のように各カメラからフレーム画像を取得する。以下では、画像取得部１０１は時刻ｔにおけるフレーム画像を取得するものとする。ステップＳ４０３において物体追尾部は、上述のように人物追尾処理を行い、それぞれの追尾結果に代表点座標（ｘ，ｙ）、高さｈ、幅ｗ、及び２Ｄ追尾ラベルｉを割り当てる。

ステップＳ４０４において、位置生成部１０４は、上述のように人物の三次元位置の候補を生成し、位置記憶部１２３に三次元位置の情報を格納する。ステップＳ４０４の処理の詳細について、図５を参照して説明する。ステップＳ５０１において、位置推定部１０６は、ある画像から検出された追尾結果が、他の画像のどの追尾結果に対応するかを探索する。画像間での追尾結果の対応付け方法は特に限定されないが、例えばエピポーラ幾何を用いる方法が挙げられる。以下では、エピポーラ幾何を用いて追尾結果を対応づける方法について説明する。説明のために、以下ではカメラ１及びカメラ２の２つのカメラが用いられるものとし、一方のカメラにより撮像された画像をカメラ画像１、他方のカメラにより撮像された画像をカメラ画像２と呼ぶ。

図６（Ａ）はカメラ画像１を示す。カメラ画像１には、人物Ａが映っている。情報保持部１０３は、それぞれのカメラの相対的位置姿勢及び内部パラメータを示す情報を有しているため、この情報を参照して、カメラ画像１において所定の位置に映っている人物Ａは、カメラ画像２においてどの位置に映るのかを知ることができる。具体的には、人物Ａがカメラ画像２に映っている場合、その位置はエピポーラ線と呼ばれる直線上のどこかになる。

カメラ１，２の位置姿勢及び内部パラメータから得られる、カメラ画像１とカメラ画像２との間での位置関係の情報を含む行列である基礎行列をＦとする。さらに、カメラ画像１における人物Ａの次元座標を表わすベクトルをｘとする。すると、従来より知られているように、ると、エピポーラ線ｌは次式で表わされる。

対応付け部１０５は、カメラ画像２において、代表点とエピポーラ線間の距離が閾値以下となる人物を、人物Ａに対応する人物として判定する。例えば、図６において、人物Ａには、人物Ｂ及び人物Ｃが対応する。もっとも、人物Ａと同一の人物はカメラ画像２中にはせいぜい１人しかいないから、人物Ｂと人物Ｃとの少なくとも一方は、人物Ａに対応する人物として誤検出されている。

ステップＳ５０２において位置推定部１０６は、ステップＳ５０１で対応づけられた人物の組に基づいて、この人物の三次元位置を推定する。この推定は、三角測量の原理に従って行うことができる。例えば、三次元空間中において、カメラＡの光学中心から人物Ａの代表点の方向へと向かう直線と、カメラＢの光学中心から人物Ｂの代表点の方向へと向かう直線と、の交点を、同一人物と推定される人物Ａ，Ｂの推定三次元位置として取得することができる。具体例としては、位置推定部１０６は、図７に示すように、各カメラ画像における人物の代表点の座標とカメラの中心座標とを結ぶ三次元空間中の直線を取得する。そして、位置推定部１０６は、複数のカメラから得られたこれらの直線が交差する座標を取得する。厳密にはこれらの直線が交差することは稀であるから、位置推定部１０６は、交点の座標の代わりに、これらの直線の共通垂線の中点座標を人物の推定三次元位置として取得することができる。

ステップＳ５０３において属性抽出部１０７は、ステップＳ５０１で対応づけられた人物の組について属性を取得する。本実施形態において、属性抽出部１０７は、それぞれのカメラ画像に含まれる追尾結果の属性を取得し、得られた属性値に基づいて人物の組についての属性を取得する。具体例としては、属性抽出部１０７は、カメラ画像１における人物Ａの追尾結果の色属性と、カメラ画像２における人物Ｂの追尾結果の色属性とを計算することができる。この色属性は、例えば追尾結果の色の平均でありうる。そして、属性抽出部１０７は、それぞれの追尾結果の色属性の平均を、人物Ａ，Ｂについての色属性として用いることができる。

別の実施形態において対応付け部１０５は、エピポーラ幾何の代わりに、又はエピポーラ幾何に加えて、追尾結果の属性を参照して人物の対応付けを行うこともできる。具体例としては、各追尾結果の属性の誤差が閾値以下である場合に、各人物を対応づけることができる。この場合、ステップＳ５０１の前に、属性抽出部１０７は、各追尾結果の属性（例えば色属性）を取得することができる。また、ステップＳ５０３において属性抽出部１０７は、既に求められている、対応するカメラ画像に含まれる追尾結果の色属性を平均することにより、人物の色属性を取得することができる。

ステップ４０４では、２台のカメラ間での対応付けについて説明した。しかしながら、３台以上のカメラを用いる場合も、同様に対応付けを行うことができる。例えば、複数のカメラから選択された２台のカメラの組み合わせのそれぞれについて、対応付け及び三次元位置の候補の生成を行うことができる。また、多視点の幾何拘束を用いて対応付け及び三次元位置の候補の生成を行うこともできる。

ステップＳ４０４によれば、ステップＳ４０３で検出された追尾結果に基づいて新しい三次元位置が作成される。この処理により、以前のフレーム画像では検出されていない新しい実像候補を探し出すことができる。

ステップＳ４０５において位置併合部１２４は、上述のように、同一人物に対応すると判定される三次元位置同士を１つに併合する。本実施形態では、三次元位置同士の距離が短い場合にそれぞれの三次元位置は同一人物を表すものとみなし、位置併合部１２４はそれぞれの三次元位置を併合する。具体例としては、位置併合部１２４は、互いの距離が一定値以下である三次元位置を探索し、距離が短い三次元位置同士のグループを作成する。こうして１つのグループに入れられた三次元位置が併合される。位置併合部１２４は、そして、それぞれのグループについて三次元位置の平均座標をもとめ、これを併合後の三次元位置の座標とする。

本実施形態においては、着目時刻のフレーム画像に基づいて位置生成部１０４により生成された三次元位置と、過去のフレーム画像に基づいて位置生成部１０４により生成された三次元位置との距離が短い場合も、それぞれの三次元位置を併合する。具体例としては、位置併合部１２４は、前回のステップＳ４０５により過去のフレーム画像を参照して得られた併合後の三次元位置と、今回のステップＳ４０４において着目時刻のフレーム画像を参照して生成された三次元位置の候補と、を併合することができる。別の実施形態においては、過去のフレーム画像に基づいて過去のステップＳ４０４において生成された三次元位置の候補と、着目時刻のフレーム画像に基づいて今回のステップＳ４０４において生成された三次元位置の候補と、を併合することもできる。

併合後の三次元位置の属性及び３Ｄ追尾ラベルｊとしては、併合前のいずれかの三次元位置のものが採用される。本実施形態においては、最も古い時刻から存在する三次元位置の属性及び３Ｄ追尾ラベルｊが採用される。このような構成は、三次元位置に生成された時刻を示す情報を付加することにより実現できる。しかしながら、他の採用基準を用いることもできる。位置併合部１２４は、さらに、それぞれ異なる物体に対応すると判定された過去時刻における２以上の三次元位置の候補を併合した場合、２以上の三次元位置が同一物体に対応することを示す情報を記録することができる。例えば、位置併合部１２４は、採用されなかった３Ｄ追尾ラベルを有する三次元位置と、採用された３Ｄ追尾ラベルを有する三次元位置とが、同一人物を表すことを示す情報を記録することができる。具体例としては、位置併合部１２４は、これらの３Ｄ追尾ラベルが同一であることを示す情報を対応記憶部１２５に記録することができる。

本実施形態では距離が短い三次元位置同士を併合したが、併合方法はこの方法には限られず、他の基準に従って併合する三次元位置を決定することもできる。例えば、着目時刻における三次元位置の候補と過去時刻における三次元位置の候補との間の距離を用いることができる。また、着目時刻における三次元位置の候補に対応する物体の属性と過去時刻における三次元位置の候補に対応する物体の属性との相違度を用いることもできる。これらのうちの少なくとも一方に基づいて、着目時刻における三次元位置の候補と過去時刻における三次元位置の候補とを併合することができる。例えば、属性が類似する三次元位置同士を併合することもできるし、三次元位置間の距離と属性の相違とに基づいて併合する三次元位置を決定することもできる。ここで、現在時刻又は過去時刻における三次元位置の候補に対応する物体とは、三次元位置の候補を生成する際に参照された各フレーム画像上の物体（追尾結果）であってもよい。一方で、過去時刻における三次元位置の候補に対応する物体は、三次元位置の候補に対応する積算対応確度が所定値以上でありかつ積算対応確度が最も高い物体としてフレーム画像毎に選択された物体（追尾結果）であってもよい。

ステップＳ４０５によれば、同一人物である可能性のある複数の実像候補を１つに絞り込むことができる。この処理により、実像の特定精度の向上が見込まれる。また、冗長な三次元位置を削除することにより、計算量削減の効果が見込まれる。

ステップＳ４０６で確度算出部１０９は、上述のように、三次元位置と追尾結果間の対応確度を計算する。ステップＳ４０６の詳細を図８のフローチャートを参照して説明する。本実施形態においては着目時刻における三次元位置の候補と過去時刻における三次元位置の候補とを併合して得られた三次元位置ｊのそれぞれについて対応確度が計算される。しかしながら、着目時刻における三次元位置の候補、又は着目時刻における複数の三次元位置の候補を併合して得られる三次元位置の候補、のそれぞれについて対応確度が計算されてもよい。

ステップＳ８０１において距離計算部１１０は、図９（ａ）に示すように、三次元位置ｊのそれぞれを、それぞれのカメラ画像に投影する。次にステップＳ８０２で距離計算部１１０は、図９（ｂ）に示すように、カメラ画像に投影された三次元位置ｊと追尾結果ｉとの画像上の距離を計算する。例えば、カメラ画像１上で人物Ａ，Ｂが追尾されており、カメラ画像２上で人物Ｃ，Ｄが追尾されている場合について考える。この場合、まずカメラ画像１に投影された三次元位置ｊと人物Ａの追尾結果との距離、及びカメラ画像１に投影された三次元位置ｊと人物Ｂの追尾結果との間の距離が計算される。また、カメラ画像２に投影された三次元位置ｊと人物Ｃの追尾結果との間の距離、及びカメラ画像２に投影された三次元位置ｊと人物Ｄの追尾結果との間の距離も計算される。また、これらの計算がそれぞれの三次元位置ｊについて行われる。

ステップＳ８０３で相違度計算部１１１は、三次元位置ｊの持つ属性と追尾結果ｉの属性との相違度を計算する。ここで、追尾結果ｉの属性とは、追尾結果ｉに対応する人物検出領域から抽出された属性のことを指す。本実施形態において、三次元位置ｊの持つ属性、及び追尾結果ｉの属性は色属性のことを指す。また、本実施形態において、三次元位置ｊの持つ色属性と追尾結果ｉの色属性との相違度としては、三次元位置ｊの持つ色属性のＲＧＢ値と追尾結果ｉの色属性のＲＧＢ値との２乗誤差を用いる。カメラ画像１上で人物Ａ，Ｂが追尾されており、カメラ画像２上で人物Ｃ，Ｄが追尾されている上記の場合、三次元位置ｊと、人物Ａ，Ｂ，Ｃ，Ｄのそれぞれとの間で相違度が計算される。また、これらの計算がそれぞれの三次元位置ｊについて行われる。

ステップＳ８０４で局所確度計算部１１２は、三次元位置ｊと追尾結果ｉが対応している確度を表す局所対応確度を求める。この際、着目時刻におけるフレーム画像上での着目時刻における三次元位置の候補に対応する位置と物体の位置との間の距離と、着目時刻における三次元位置の候補に対応する物体の属性と物体の属性との相違度と、の少なくとも一方を用いることができる。具体的な例としては、局所確度計算部１１２は、ステップＳ８０２で計算された距離と、ステップＳ８０３で計算された属性の相違度との少なくとも一方に基づいて、局所対応確度を求めることができる。ここで、三次元位置の候補に対応する物体は、三次元位置の候補を生成する際に参照された各フレーム画像上の物体でありうる。

例えば、局所確度計算部１１２は、ステップＳ８０２で計算された距離と、ステップＳ８０３で計算された属性の相違度とに基づいて局所対応確度s^t _i,jを計算する。局所確度計算部１１２は、距離及び相違度が小さいほど局所対応確度が大きくなるように、局所対応確度を計算することができる。具体例としては、局所確度計算部１１２は、ステップＳ８０２で計算された距離とステップＳ８０３で計算された相違度との重み付き平均を任意の重みを用いて求め、さらに局所対応確度として得られた重み付け平均の逆数を求めることができる。本実施形態において、局所確度計算部１１２は、局所対応確度を距離と相違度との双方から求めるが、どちらか１つだけを用いて局所対応確度を求めてもよい。ステップＳ８０４により、三次元位置ｊと、人物Ａ，Ｂ，Ｃ，Ｄのそれぞれとの間で局所対応確度が計算される。また、これらの計算がそれぞれの三次元位置ｊについて行われる。このように、局所対応確度は、着目時刻におけるフレーム画像に基づいて求められる。

ステップＳ８０５で積算確度計算部１１３は、三次元位置ｊと追尾結果ｉとの現在の積算対応確度を、ステップＳ８０４で求めた局所対応確度s^t _i,jと、過去に求めた積算対応確度a^t-1 _i,jとから求める。こうして求められる現在の積算対応確度a^t _i,jは、着目時刻ｔにおけるフレーム画像を用いて算出された積算対応確度に相当する。また、過去に求めた積算対応確度a^t-1 _i,jとは、時刻ｔ−１におけるフレーム画像を用いて算出された積算対応確度のことを指す。

積算確度計算部１１３は、局所対応確度s^t _i,j及び過去の積算対応確度a^t-1 _i,jが大きいほど現在の積算対応確度が大きくなるように、現在の積算対応確度a^t _i,jを求めることができる。例えば、積算確度計算部１１３は、現在の積算対応確度a^t _i,jとして、局所対応確度s^t _i,jと過去の積算対応確度a^t-1 _i,jとの任意の重みを用いた重み付き平均を求めることができる。具体例としては、下式を用いる方法が挙げられる。

上式においてｗは更新重みを表し、通常０＜ｗ＜１である。

ステップＳ８０５において積算確度計算部１１３はさらに、閾値以上の値を有する現在の積算対応確度a^t _i,jを、積算確度記憶部１１４に記録する。次回のステップＳ４０７において時刻ｔ＋１におけるフレーム画像を用いて積算対応確度a^t+1 _i,jを算出する際には、こうして記録された積算対応確度a^t _i,jは、過去の積算対応確度として参照される。一方で、積算確度計算部１１３は、現在の積算対応確度が所定値未満である場合、この積算対応確度を記録しない。三次元位置ｊと追尾結果ｉとの間の積算対応確度a^t _i,jが閾値未満である場合には、積算確度計算部１１３は三次元位置ｊと追尾結果ｉとの関係は薄いものと判断し、積算対応確度a^t _i,jを記録せず破棄する。

ステップＳ４０７において位置確定部１１５は、それぞれの三次元位置ｊについて、三次元位置ｊと追尾結果ｉとの間の積算対応確度a^t _i,jを用いて、実像らしさを表す実像信頼度L_jを求める。そして、位置確定部１１５は、実像信頼度L_jに基づいて、三次元位置ｊを実像を表す三次元位置として確定する。具体的には、位置確定部１１５は、実像として確定された三次元位置ｊの実像信頼度が高くなるように、三次元位置ｊのうちいくつかを実像を表す三次元位置として確定する。そして、位置確定部１１５、実像として確定した三次元位置に対して対応する追尾結果を割り当て、実像として確定された三次元位置ｊと追尾結果ｉとの対応関係を記録する。ステップＳ４０７の詳細を図１０に示す。図１０の処理においては、ステップＳ１００４で処理を継続しないと判定されるまで、ステップＳ１００１からステップＳ１００４までが繰り返し実行される。

ステップＳ１００１において信頼度算出部１１６は、三次元位置ｊの実像らしさを表す実像信頼度L_jを求める。信頼度算出部１１６は、積算対応確度a^t _i,jがより高い追尾結果ｉを有しているほど実像信頼度L_jが高くなるように、三次元位置ｊの実像信頼度L_jを算出する。具体例としては次のような方法が挙げられる。以下の処理は、ステップＳ１００３において実像として確定されていない全ての三次元位置ｊと、ステップＳ１００３において実像に対応する追尾結果として確定されていない全ての追尾結果ｉを用いて行われる。

まず、信頼度算出部１１６は、着目時刻における三次元位置の候補のそれぞれについて、１つのフレーム画像群上で追尾されている物体に対応して記録されている積算対応確度を取得する。例えば、信頼度算出部１１６は、それぞれのカメラ画像について、積算対応確度a^t _i,jが最も高くなる追尾結果ｉを探索する。

ここでは、１つの三次元位置ｊに対応する、それぞれのカメラ画像上の追尾結果ｉは１つであるとする。例えば、カメラ画像１上で人物Ａ，Ｂが追尾されており、カメラ画像２上で人物Ｃ，Ｄが追尾されている上記の場合であって、まだ三次元位置ｊが実像として確定されていない場合について説明する。この場合、信頼度算出部１１６は、フレーム画像群上で追尾されている１以上の物体のうち積算対応確度が最も高くなる物体を選択する。そして、フレーム画像群についての積算対応確度として、選択された物体に対応して記録されている積算対応確度が選択される。例えば、人物Ａと人物Ｂとのうち、三次元位置ｊとの積算対応確度がより大きくなる人物の追尾結果が、カメラ画像１上の追尾結果として選択される。また、人物Ｃと人物Ｄとのうち、三次元位置ｊとの積算対応確度がより大きくなる人物の追尾結果が、カメラ画像２上の追尾結果として選択される。

そして、信頼度算出部１１６は、複数のフレーム画像群のそれぞれについて取得された積算対応確度に応じて三次元位置の候補の実像信頼度を求める。例えば、信頼度算出部１１６は、三次元位置ｊの実像信頼度L_jとして、それぞれのカメラ画像について選択された追尾結果と三次元位置ｊとの間の積算対応確度を合計する。具体的には、三次元位置ｊの実像信頼度L_jは下式で表すことができる。

上式において、A_jは三次元位置ｊに対応する追尾結果の集合である。１つの三次元位置ｊに対応するそれぞれのカメラ画像上の追尾結果ｉは１つであるから、A_jに含まれる追尾結果はカメラ１つにつき最大１つであり、A_jの要素数の最大値はカメラ数である。このように、実像信頼度L_jは、それぞれの三次元位置ｊについて、実像信頼度L_jが高くなるように追尾結果ｉを仮に対応づけることにより求められる。以上のように、信頼度算出部１１６は、それぞれの三次元位置ｊについて実像信頼度L_jを求める。

ステップＳ１００２において、位置選択部１１７は、より高い実像信頼度を有する三次元位置の候補を、着目時刻における物体の三次元位置に対応すると判定する。例えば、位置選択部１１７は、ステップＳ１００１で求めた実像信頼度L_jが最大となる三次元位置ｊを選択する。選択された三次元位置ｊは、実像を表す三次元位置として確定される。こうして確定された三次元位置は、続くステップＳ１００１では選択されない。

位置選択部１１７は、実像信頼度が最も高い三次元位置の候補であって、三次元位置の候補に対応する物体が所定数以上存在する三次元位置の候補を選択して、着目時刻における物体の三次元位置に対応すると判定することができる。ここで、所定数は２以上であれば特に限定されない。三次元位置の候補に対応する物体が１つしかない、すなわち三次元位置の候補に対応する物体が写っているフレーム画像が１つしかない場合、この三次元位置は正確に算出されていない可能性が高い。

ステップＳ１００３において結果選択部１１８は、ステップＳ１００２で選択された三次元位置ｊについて、ステップＳ１００１でそれぞれのカメラ画像について選択された追尾結果を、三次元位置ｊに対応する追尾結果として確定する。もっとも、別の実施形態において、三次元位置ｊを生成するために用いられた追尾結果を、三次元位置ｊに対応する追尾結果として確定してもよい。このように、三次元位置の候補に対応する物体は、三次元位置の候補を生成する際に参照された各フレーム画像上の物体であってもよい。また、三次元位置の候補に対応する物体は、三次元位置の候補に対応する積算対応確度が所定値以上でありかつ積算対応確度が最も高い物体としてフレーム画像毎に選択された物体であってもよい。

ステップＳ１００３においてはさらに除外処理が行われ、選択された三次元位置の候補と、三次元位置の候補に対応する物体（追尾結果）と、はステップＳ１００２における選択処理の選択の対象から外される。例えば、こうして確定された追尾結果は、続くステップＳ１００２では選択されない。

ステップＳ１００４で信頼度算出部１１６は、未確定の三次元位置及び追尾結果のうち、対応付け可能なものが存在するか否かを判定する。存在する場合、処理はステップＳ１００１に戻る。また、存在しない場合、図１０の処理は終了する。

例えば、ステップＳ８０５では積算対応確度が高い三次元位置と追尾結果との組み合わせが記録される。一方で、三次元位置との対応確度が高い追尾結果が２以上のカメラ画像に存在することにより、三次元位置を精度良く求めることができる。このような観点から、三次元位置について、対応確度が高い追尾結果が存在するカメラ画像の数が１以下である場合に、この三次元位置については追尾結果を対応付けられないものと判定することができる。そして、全ての三次元位置について追尾結果を対応付けできない場合、未確定の三次元位置及び追尾結果のうち対応付け可能なものは存在しないと判定することができる。

以上のステップＳ１００１〜Ｓ１００４においては、実像信頼度が最大となる三次元位置を選択及び確定し、この三次元位置に対応する追尾結果を確定する選択処理と、選択された三次元位置及び追尾結果を除外する除外処理と、が繰り返される。このように、三次元位置に割り当てる追尾結果の組み合わせを探索することで、実像として確定される三次元位置の実像信頼度を高くすることができるため、三次元位置と追尾結果との照合精度向上の効果が見込まれる。このような繰り返し処理を行うことは、仮に過去時刻における積算対応確度を考慮しない場合であっても、高い信頼性をもって実像を表す三次元位置を選択することができる点で有利である。一方で、三次元位置と追尾結果との照合方法は、実像として確定された三次元位置の実像信頼度が高くなるのであれば特に限定されない。本実施形態ではグリーディな方法で組み合わせを探索したが、他の組み合わせ探索の方法を用いてもよい。また、それぞれの三次元位置の実像信頼度の和が大きくなるように、総当たり又は他の探索方法で三次元位置に割り当てる追尾結果の組み合わせを探索してもよい。

以上のように、ステップＳ４０６においては、三次元位置と追尾結果とを照合することにより、これらが同一の物体であることを示す指標である積算対応確度が算出される。さらにステップＳ４０７では、この積算対応確度を用いて三次元位置が実像か否かが判定される。これらの処理により、虚像である三次元位置を効果的に削減できるため、三次元位置推定の精度向上を見込むことができる。特に、積算対応確度の算出の際には、着目時刻ｔのフレーム画像に基づいて得られる局所対応確度に加えて、過去の複数フレームの対応確度も参照される。このため、過去の長期間のフレーム画像に基づく三次元位置と追尾結果との照合が可能となるため、効果的に虚像を削減する効果が見込まれる。

また、本実施形態によれば、三次元位置と追尾結果との組み合わせに結びつけて積算対応確度が記録され、記録された積算対応確度を用いて三次元位置と追尾結果との照合が行われる。このため、過去のカメラ画像自体を参照することは必須ではなく、過去の物体追尾で得られる追尾結果の位置及び２Ｄ追尾ラベル等を記憶し、毎フレーム参照することは必須ではない。このような構成によれば、記憶領域サイズを削減する効果及び計算量を削減する効果が見込まれる。

さらに、ステップＳ４０６では、カメラ画像上に投影された三次元位置と追尾結果との画像上の距離と、属性の相違度と、の双方を用いて三次元位置と追尾結果との照合が行われた。このような構成によれば、距離と属性の相違度とのどちらかだけでは照合が難しい場合あっても、両方を用いることにより効果的に照合を行うことができる。もっとも、距離と属性の相違度との双方を用いることは必須ではなく、どちらか一方を用いて照合を行ってもよいし、別のさらなる情報を用いてもよい。

また、ステップＳ４０７では、実像信頼度L_jが対応確度a^t _i,jの和として計算される。そのため、三次元位置に対応する追尾結果の数が多いほど実像信頼度L_jは大きくなる。このように、一実施形態においては、積算対応確度が取得されたフレーム画像群の数が多いほど実像信頼度が大きくなるように、三次元位置の候補の実像信頼度が求められる。多視点幾何においては、より多くのカメラに物体が映っているほど対応付けの曖昧性が減少するという性質がある。本実施形態の方法では、三次元位置に対応する追尾結果の数が多いほど大きくなるように実像信頼度L_jが計算されるため、より多くのカメラ画像上の追尾結果に対応づけられた三次元位置が実像として確定されやすくなり、精度向上の効果が見込まれる。

ステップＳ４０８において位置更新部１１９は、着目時刻における物体の三次元位置に対応すると判定された三次元位置の候補に対応する物体の各フレーム画像上の位置と、複数の撮像部間の位置関係とに基づいて、物体の三次元位置を求める。例えば、位置更新部１１９は、ステップＳ４０７で求めた三次元位置と追尾結果の対応関係を用いて、三次元位置の座標を求めることができる。位置更新部１１９はさらに、着目時刻における三次元位置の候補を、対応すると判定された物体の三次元位置で更新することができる。こうして更新された三次元位置の候補は、次のステップＳ４０５における併合処理において用いることができる。

例えば座標更新部１２０は、三次元位置に対応するそれぞれのカメラ画像上の追尾結果を用いて、三次元位置の座標を再度算出することができる。ここでは、着目時刻ｔにおけるフレーム画像から検出された追尾結果の座標を用いて三次元位置の座標が算出される。具体的には、ステップＳ５０２と同様に、カメラ画像上の追尾結果の代表点の座標とカメラ中心の座標とに基づいて、三角測量の原理で座標を求めることができる。３つ以上のカメラ画像上の追尾結果を用いて三次元位置の座標を算出する場合には、カメラ中心の座標とカメラ画像上の追尾結果の代表点の座標とを結ぶ三次元空間中の直線をそれぞれ求め、これらの直線に最も近い座標を求めることができる。具体例としては、これらの直線との距離の二乗和が最も小さくなる座標を、カメラ画像上の追尾結果に対応する三次元位置の座標として求めることができる。

また、属性更新部１２１は、三次元位置の属性を、追尾結果の属性に基づいて更新することができる。例えば、それぞれのカメラ画像上の追尾結果の画素値に基づいて、三次元位置の属性を求めることができる。具体例としては、それぞれのカメラ画像上の追尾結果の画素値の平均値を三次元位置の属性として求めることができる。

このように、ステップＳ４０８の処理によって、位置記憶部１２３に記録されている三次元位置の候補の座標及び属性が更新される。こうして更新された三次元位置の候補の座標及び属性は、続くステップＳ４０５における併合処理において用いることができる。もっとも、位置記憶部１２３に記録されている三次元位置の候補の座標及び属性を更新することは必ずしも必須ではない。

ステップＳ４０９において位置削除部１２２は、不要な三次元位置を削除する。例えば、位置削除部１２２は、所定期間以上物体に対応すると判定されておらず、所定期間以上三次元位置の候補と併合されていない、過去の時刻において生成された三次元位置の候補を削除することができる。具体例としては、一定フレーム数以上の期間、ステップＳ４０７で実像として確定されなかった三次元位置を削除の対象とすることができる。不要な三次元位置を削除することで、記憶領域の削減、及びステップＳ４０５からステップＳ４０８での計算量の効果が見込まれる。

ステップＳ４１０において表示制御部１２６は、以上の処理で求められた人物追尾結果及び三次元位置推定結果を表示機器に表示させる。例えば表示制御部１２６は、ステップＳ４０７で実像として確定された三次元位置と、実像として確定された三次元位置に対応する各カメラ画像上の追尾結果の位置を、表示機器に表示させることができる。

図１１には、表示機器に表示される画面の構成例を示す。図１１に示す画面は、１つ以上のカメラ画像１１０１と三次元マップ１１０４とを含む。図１１には、４台のカメラを用いた場合の表示例を示し、４つのカメラ画像１１０１はそれぞれのカメラで撮像された画像である。

カメラ画像１１０１には、ステップ４０３での追尾結果を示すシンボル（枠）が重畳表示される。本実施形態においては、ステップＳ４０７で実像として確定された三次元位置に対応する各カメラ画像上の追尾結果を示す枠が、それぞれのカメラ画像１１０１に重畳される。異なるカメラに映っている人物が同一であるか否かをユーザが容易に識別できるように、異なるカメラ画像においても同一の人物を示す枠は同じ色で表示される。

三次元マップ１１０４には、位置記憶部１２３から取得された人物の三次元位置を示すシンボル１１０３と、カメラの位置及び向きを示すシンボル１１０２とが、床面とともに三次元画像として表示されている。本実施形態においては、ステップＳ４０７で実像として確定された三次元位置が、三次元マップ１１０４に表示される。カメラ画像１１０１上の人物と三次元マップ１１０４上の人物が同一であるか否かをユーザが容易に識別できるように、カメラ画像１１０１上の追尾結果を示す枠と三次元マップ１１０４上の三次元位置を示すシンボルとは同じ色で表示される。

ステップＳ４０５では、併合された三次元位置が同一人物を表すことを示す情報が対応記憶部１２５に記憶される。このように、いくつかの三次元位置が同一の人物を表すことを示す情報が対応記憶部１２５に記憶されている場合、これらの三次元位置が同一の人物を表すことがと分かるように三次元マップ１１０４を表示することができる。例えば、ステップＳ４０５においていくつかの三次元位置が併合された場合、ステップ４０５で併合された後の三次元位置に対応する人物を表すシンボルの近くに、併合前の三次元位置に対応する人物を表すシンボルと同じ色の印を表示することができる。このように、対応記憶部１２５を設けることで、異なる三次元位置が同じ人物を表すことを示すことが可能となる。このような構成は、単に追跡結果を表示する場合の他に、例えば映像解析処理により人物の長期間の三次元軌跡を算出する場合又は人物を同定する場合等に有効に適用可能である。

図１１の例では、人物が同一であるか否かを表現するためにそれぞれの人物を異なる色で表示した。別の例においては、視認性を高めるために、人物固有の番号、文字又は記号等を、カメラ画像１１０１又は三次元マップ１１０４に重畳表示してもよい。また、図１１の例では、三次元マップ１１０４を用いて三次元位置を三次元空間中に表示したが、三次元位置を二次元マップ上に表示することもできる。三次元位置を三次元マップ上に表す場合には、三次元マップから人物の床面上の位置に加えて高さ方向の位置を知ることができる。特に、物体追尾を顔認識に基づいて行う場合等、人物の位置が頭部を基準として決定される場合には、三次元マップから人物の身長を知ることができる。一方で、三次元位置を二次元マップ上に表す場合には、人物の床面上での位置が視認しやすくなるという効果がある。

また、三次元マップ１１０４の視点は固定されていてもよいし、ユーザが視点を変更できる機構が設けられていてもよい。三次元マップ１１０４に表示できるものは以上で挙げたものには限られない。例えば、家具等の配置を示す見取り図を床面に重畳表示してもよいし、その他の物体を重畳表示してもよい。このようにすることで、人物と、人物の周囲にある物体との位置関係をわかりやすく提示することができる。

ステップＳ４１１で、画像取得部１０１は、処理を継続するか否かを判定する。新たなフレーム画像をカメラから取得可能である場合、処理はステップＳ４０２に戻り、新たに取得されたフレーム画像を用いて処理が繰り返される。一方で、新たなフレーム画像をカメラから取得可能ではない場合、又は終了を示すユーザ指示があった場合、図４の処理は終了する。

実像信頼度L_jを求める際には、積算対応確度a^t _i,j以外のパラメータを参照することもできる。例えば、本実施形態においては、長期間実像として確定されなかった三次元位置は削除される。このため、三次元位置の存在時間が長いことは、追尾結果が対応づけられる頻度が高い、すなわち実像である尤もらしさが高いことを意味する。このため、三次元位置ｊの存在時間が長いほど実像信頼度L_jが増加するように、実像信頼度L_jを求めてもよい。一実施形態においては、より古い時刻に生成された三次元位置の候補と併合されているほど実像信頼度が大きくなるように、三次元位置の候補の実像信頼度が求められる。より古い時刻に生成された三次元位置の候補と併合されていることは、三次元位置ｊの存在時間が長いことを意味する。例えば、三次元位置ｊの存在時間をT_jとすると、実像信頼度L_jを次式のように求めることができる。

上式において、αは定数である。このような構成によれば、実像を示す三次元位置をより正確に選択し、虚像を削減する効果が見込まれる。

本実施形態においては、積算対応確度を局所対応確度と過去の積算対応確度との和として、実像信頼度を積算対応確度の和として、それぞれ計算している。一方で、積算対応確度を局所対応確度と過去の積算対応確度との積として、実像信頼度を積算対応確度の積として、それぞれ計算してもよい。この場合、積算対応確度及び実像信頼度は尤度ではなく確率として計算できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：画像取得部、１０２：物体追尾部、１０４：位置生成部、１０９：確度算出部、１１５：位置確定部、１２３：位置記憶部、１２４：位置併合部

Claims (19)

1. 連続して撮影されたフレーム画像群を、視野が重複している複数の撮像部のそれぞれから取得する取得手段と、
   前記フレーム画像群上の物体を追尾する追尾手段と、
   前記物体のフレーム画像上の位置と前記複数の撮像部間の位置関係とに基づいて着目時刻における前記物体の三次元位置の候補を生成する生成手段と、
   前記着目時刻における三次元位置の候補と、前記着目時刻より前の過去時刻における前記物体の三次元位置の候補とを対応付ける対応付け手段と、
   前記着目時刻におけるフレーム画像に基づいて求められた前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す局所対応確度と、前記過去時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度と、の双方に基づいて、前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度を求める算出手段と、
   前記積算対応確度に基づいて前記着目時刻における前記物体の三次元位置を判定する判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記着目時刻における三次元位置の候補のそれぞれについて、
   １つのフレーム画像群上で追尾されている物体に対応して記録されている前記積算対応確度を取得し、
   複数のフレーム画像群のそれぞれについて前記取得された積算対応確度に応じて前記三次元位置の候補の実像信頼度を求め、
   前記判定手段はさらに、前記実像信頼度に基づいて前記着目時刻における前記物体の三次元位置を判定する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記判定手段は、前記フレーム画像群上で追尾されている１以上の物体のうち前記積算対応確度が最も高くなる物体を選択し、当該フレーム画像群についての積算対応確度として、当該選択された物体に対応して記録されている前記積算対応確度を選択することを特徴とする、請求項２に記載の画像処理装置。
4. 前記算出手段は、前記積算対応確度が所定値未満である場合、当該積算対応確度を記録しないことを特徴とする、請求項２又は３に記載の画像処理装置。
5. 前記判定手段は、前記積算対応確度が取得された前記フレーム画像群の数が多いほど前記実像信頼度が大きくなるように、前記三次元位置の候補の実像信頼度を求めることを特徴とする、請求項４に記載の画像処理装置。
6. 前記対応付け手段は、前記物体のフレーム画像上の位置と前記複数の撮像部間の位置関係とに基づいて生成された前記着目時刻における三次元位置の候補と、前記過去時刻における三次元位置の候補と、を併合することにより、前記着目時刻における三次元位置の候補と前記過去時刻における三次元位置の候補とを対応付けることを特徴とする、請求項２乃至５の何れか１項に記載の画像処理装置。
7. 前記判定手段は、より古い時刻に生成された三次元位置の候補と併合されているほど前記実像信頼度が大きくなるように、前記三次元位置の候補の実像信頼度を求めることを特徴とする、請求項６に記載の画像処理装置。
8. 前記対応付け手段は、前記着目時刻における三次元位置の候補と前記過去時刻における三次元位置の候補との間の距離と、前記着目時刻における三次元位置の候補に対応する物体の属性と前記過去時刻における三次元位置の候補に対応する物体の属性との相違度と、の少なくとも一方に基づいて、前記着目時刻における三次元位置の候補と前記過去時刻における三次元位置の候補とを併合することを特徴とする、請求項６又は７に記載の画像処理装置。
9. 前記対応付け手段は、それぞれ異なる物体に対応すると判定された前記過去時刻における２以上の三次元位置の候補を併合した場合、当該２以上の三次元位置が同一物体に対応することを示す情報を記録することを特徴とする、請求項６乃至８の何れか１項に記載の画像処理装置。
10. 前記対応付け手段は、所定期間以上前記物体に対応すると判定されておらず、所定期間以上前記三次元位置の候補と併合されていない、過去の時刻において生成された前記三次元位置の候補を削除することを特徴とする、請求項６乃至９の何れか１項に記載の画像処理装置。
11. 前記判定手段は、
    前記実像信頼度が最も高い三次元位置の候補であって、当該三次元位置の候補に対応する物体が所定数以上存在する三次元位置の候補を選択して、前記着目時刻における前記物体の三次元位置に対応すると判定する選択処理と、
    前記選択された三次元位置の候補と、当該三次元位置の候補に対応する物体と、を前記選択処理における考慮の対象から外す除外処理と、
    を繰り返すことを特徴とする、請求項２乃至１０の何れか１項に記載の画像処理装置。
12. 前記算出手段は、前記着目時刻におけるフレーム画像上での前記着目時刻における三次元位置の候補に対応する位置と前記物体の位置との間の距離と、前記着目時刻における三次元位置の候補に対応する物体の属性と前記物体の属性との相違度と、の少なくとも一方に基づいて前記局所対応確度を求めることを特徴とする、請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記三次元位置の候補に対応する物体は、前記三次元位置の候補を生成する際に参照された各フレーム画像上の物体と、前記三次元位置の候補に対応する積算対応確度が所定値以上でありかつ当該積算対応確度が最も高い物体としてフレーム画像毎に選択された物体と、のうちの何れかであることを特徴とする、請求項８乃至１２の何れか１項に記載の画像処理装置。
14. 前記着目時刻における前記物体の三次元位置に対応すると判定された前記三次元位置の候補に対応する物体の各フレーム画像上の位置と、前記複数の撮像部間の位置関係とに基づいて、当該物体の三次元位置を求める手段をさらに備えることを特徴とする、請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 前記着目時刻における三次元位置の候補を、対応すると判定された前記物体の三次元位置で更新する手段をさらに備えることを特徴とする、請求項１４に記載の画像処理装置。
16. 前記積算対応確度は、前記三次元位置の候補が示す物体が、前記追尾されている物体と同一である可能性を示す指標であることを特徴とする、請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 連続して撮影されたフレーム画像群を、視野が重複している複数の撮像部のそれぞれから取得する取得手段と、
    前記フレーム画像群上の物体を追尾する追尾手段と、
    前記物体のフレーム画像上の位置と前記複数の撮像部間の位置関係とに基づいて前記物体の三次元位置の候補を生成する生成手段と、
    前記三次元位置の候補が前記物体に対応する対応確度を求める算出手段と、
    前記対応確度が最も高い三次元位置の候補であって、当該三次元位置の候補に対応する物体が所定数以上存在する三次元位置の候補を選択して、前記物体の三次元位置に対応すると判定する選択処理と、
    前記選択された三次元位置の候補と、当該三次元位置の候補に対応する物体と、を前記選択処理における選択の対象から除外する除外処理と、
    を繰り返す判定手段と、
    を備えることを特徴とする画像処理装置。
18. 画像処理装置が行う画像処理方法であって、
    連続して撮影されたフレーム画像群を、視野が重複している複数の撮像部のそれぞれから取得する取得工程と、
    前記フレーム画像群上の物体を追尾する追尾工程と、
    前記物体のフレーム画像上の位置と前記複数の撮像部間の位置関係とに基づいて着目時刻における前記物体の三次元位置の候補を生成する生成工程と、
    前記着目時刻における三次元位置の候補と、前記着目時刻より前の過去時刻における前記物体の三次元位置の候補とを対応付ける対応付け工程と、
    前記着目時刻におけるフレーム画像に基づいて求められた前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す局所対応確度と、前記過去時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度と、の双方に基づいて、前記着目時刻における三次元位置の候補が前記物体に対応する確度を示す積算対応確度を求める算出工程と、
    前記積算対応確度に基づいて前記着目時刻における前記物体の三次元位置を判定する判定工程と、
    を備えることを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images