JP2009236569A - 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ - Google Patents

Abstract

【課題】被写体の影や被写体の周囲の物体の存在にかかわらず、被写体の接地面における接地点や被写体の移動する動線を、正確に推定する接地点推定装置、接地点推定方法、動線表示システムおよびサーバを提供する。
【解決手段】 複数のカメラ６〜８で撮影された被写体の複数の画像を記憶する記憶手段２と、被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段３と、複数の画像の各々に含まれる各被写体同士の重複する重複領域であって補助平面における重複領域を、重複点として検出する検出手段４と、重複点に基づいて、被写体の接地面における接地点を推定する推定手段５と、を備える。
【選択図】 図１

Description

本発明は、被写体の接地面における接地点および被写体の移動により形成される動線を推定する接地点推定装置、接地点推定方法、動線表示システムおよびサーバに関する。

近年、犯罪の増加および凶悪化に伴い、様々な場所に監視カメラが設置されている。この監視カメラの映像から、不審者の特定や追跡のために、被写体となる不審者の位置や動線の推定が求められている。

あるいは、スポーツやレクレーション競技において、選手の位置や動線を推定することが求められている。選手の位置や動線が推定されることで、選手のトレーニングや競技の戦術の策定が容易になると考えられるからである。

このような被写体の接地点（被写体の接地面に対する接地点）や動線の推定を行う場合、単体のカメラによる単視点映像のみでは、被写体が視野外に存在する場合の推定ができない問題がある。

このため、複数のカメラが、異なる視点（多視点）や異なる角度から被写体を撮影し、被写体が視野外に存在したり障害物に隠れてしまったりした場合でも、被写体の撮影を可能とすることが行われている。被写体が障害物に隠れたとしても、複数のカメラのいずれかに被写体が撮影されている可能性が高いので、被写体の接地点や動線の推定が継続できるメリットがある（例えば、非特許文献１参照）。

非特許文献１による技術では、複数のカメラで撮影された被写体の接地面における座標を、接地点として推定する。この接地点の推定が所定時間毎に行われれば、接地点のつながりが動線として推定される。

このように推定された動線は、不審者の特定や競技の戦術材料に用いられる。
Saad M. Khan, Mubarak Shah, A Multiview Approach to Tracking People in Crowded Scenes using a Planar Homography Constraint, 9th European Conference on Computer Vision, Graz, Austria, 2006.

従来の技術では、被写体が実際に接している接地面を基準として接地点の推定および動線の推定が行われる。このとき、接地面には被写体（人間であることが多い）の影が映っていることが多い。

この影は、接地面上にある被写体の一部としてみなされるので、接地点推定の精度を著しく損なう問題がある。接地点推定が不正確であると、複数の接地点を繋げて形成される動線も不正確になってしまう。

例えば、撮影画像に含まれる被写体の影が非常に大きい場合には、影同士の重複している領域が接地点として推定されてしまい、被写体の本来の接地点と異なる位置が接地点として推定されてしまうことも生じうる。撮影中に照明や日光の度合いが変わると影の方向や大きさも変化してしまい、ある時刻では影の影響を受け、ある時刻では影の影響を受けないということも生じ、複数の接地点を繋げてできる動線も不正確になる問題がある。

また被写体の影以外であっても、接地面に描かれた模様や競技に使われるボールなどが被写体と重なって、これら模様やボールなどの被写体と関係ないものが被写体の一部として認識されてしまう問題も生じうる。このような場合でも、接地点および動線推定が不正確になる問題がある。

そこで本発明は、被写体の影や被写体の周囲の物体の存在にかかわらず、被写体の接地面における接地点や被写体の移動する動線を、正確に推定する接地点推定装置、接地点推定方法、動線表示システムおよびサーバを提供することを目的とする。

上記課題に鑑み、本発明の接地点推定装置は、複数のカメラで撮影された被写体の複数の画像を記憶する記憶手段と、被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段と、複数の画像の各々に含まれる各被写体同士の重複する重複領域であって、補助平面における重複領域を、重複点として検出する検出手段と、重複点に基づいて、被写体の接地面における接地点を推定する推定手段と、を備える。

本発明によれば、被写体の接地点や動線の推定において、被写体の影や障害物の影響を排除できる。結果として、被写体の接地点や動線を、高い精度で推定できる。

また、補助平面の高さや角度が種々に制御されることで、接地点推定の精度が更に向上する。

また、接地点が高い精度で推定されることで、被写体の動線も高い精度で推定され、推定された動線が、競技の戦術や練習メニュー策定に効果的に利用できる。

第１の発明に係る接地点推定装置は、複数のカメラで撮影された被写体の複数の画像を記憶する記憶手段と、被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段と、複数の画像の各々に含まれる各被写体同士の重複する重複領域であって補助平面における重複領域を、重複点として検出する検出手段と、重複点に基づいて、被写体の接地面における接地点を推定する推定手段と、を備える。

この構成により、被写体の影や被写体の周囲の物体の存在にかかわらず、被写体の接地面における接地点を正確に推定できる。

第２の発明に係る接地点推定装置では、第１の発明に加えて、複数の画像は、被写体に対して異なる角度から撮影されている。

この構成により、接地点を推定する精度が更に向上する。

第３の発明に係る接地点推定装置では、第１から第２のいずれかの発明に加えて、検出手段は、重複領域の面積が所定値以下および重複領域の色味が所定以上の少なくとも一方の場合に、重複領域を重複点として検出する。

この構成により、重複領域が被写体に基づくものであるのか、被写体以外に基づくものであるのかを区別しやすくなる。特に、複数の人物が接近している場合には、被写体とそれ以外を区別して、重複領域を検出できる。結果として、接地点を推定する精度が更に向上する。

第４の発明に係る接地点推定装置では、第３の発明に加えて、検出手段は、被写体の種類に応じた判定テーブルを有し、重複領域の面積および色味の少なくとも一方と判定テーブルとの比較に基づいて、重複領域を重複点として検出する。

この構成により、重複領域の検出が容易になる。

第５の発明に係る接地点推定装置では、第１から第４のいずれかの発明に加えて、補助平面は、被写体の腰から胸にかけての高さを、接地面に対して有している。

この構成により、被写体が人物である場合の重複領域の検出が容易になる。

第６の発明に係る接地点推定装置では、第１から第４のいずれかの発明に加えて、設定手段は、被写体の状況に応じて、補助平面の高さおよび接地面との角度の少なくとも一方を変更する。

この構成により、被写体の動きや状態に応じた接地点推定が可能となる。特に、被写体が大人である場合と子供である場合で補助平面の高さを切り替えて、接地点の推定精度が向上する。

第７の発明に係る接地点推定装置では、第１から第６のいずれかの発明に加えて、検出手段は、補助平面における被写体の第１重複点および接地面における被写体の第２重複点のそれぞれを検出し、推定手段は、第１重複点および第２重複点のいずれかを選択する。

この構成により、重複領域の検出におけるノイズを減少できる。

第８の発明に係る接地点推定装置では、第１から第７のいずれかの発明に加えて、推定手段は、所定時間間隔毎に接地点を推定して複数の接地点を出力し、
複数の接地点に基づいて、被写体の動線を推定する動線推定手段を更に備える。

この構成により、高い精度で、被写体が移動する動線を推定できる。

第９の発明に係る接地点推定装置では、第８の発明に加えて、動線推定手段は、複数の接地点同士の重なりにより、動線を推定する。

この構成により、容易で簡易な構成により動線を推定できる。

第１０の発明に係る接地点推定装置では、第９の発明に加えて、複数の接地点の内、隣接する接地点同士が重なっていない欠落部分がある場合には、動線推定手段は、隣接する接地点の座標に基づいて、欠落部分を補間推定する。

この構成により、接地点推定に不十分な場合があっても、動線推定が可能となる。

第１１の発明に係る接地点推定装置では、第８から第１０のいずれかの発明に加えて、動線を表示する表示部を更に備える。

この構成により、被写体の移動する動線を、観察者が容易に視認できる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
まず、接地点推定装置の全体概要について説明する。

（全体概要）
図１は、本発明の実施の形態１における接地点推定装置のブロック図である。

接地点推定装置１は、記憶手段２、設定手段３、検出手段４および推定手段５を備える。

記憶手段２は、複数のカメラ６〜８で撮影された、被写体の複数の画像を記憶する。設定手段３は、被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する。検出手段４は、この補助平面上において複数の画像のそれぞれに含まれる被写体同士が重複する領域を、重複点として検出する。推定手段５は、重複点に基づいて、被写体の接地面における接地点を推定する。

ここで、従来の技術においては、接地面よりも所定分だけ高い位置にある仮想の補助平面を用いずに、被写体が接している接地面における被写体の重複点をそのまま接地点として推定していた。

この場合には、接地面に生じうる被写体の影や障害物なども、被写体の一部として認識されてしまい、接地点は正確に推定できない。

実施の形態１における接地点推定装置１は、設置面よりも所定分だけ高い位置にある仮想の補助平面における被写体の重複点をまず検出する。この補助平面は、実際の接地面よりも高い位置にあるので、補助平面においては、被写体の影や障害物が画像に写りこむことがほとんどない。このため、補助平面上における被写体の重複点の検出では、被写体の影や障害物の影響（ノイズの影響）がほとんどない。

推定手段５は、この影や障害物の影響を受けずに検出された重複点の座標を、接地面における座標に置き換えることで、接地点を推定する。この結果、実施の形態１における接地点推定装置１は、正確に接地点を推定できる。従来の問題にあったような被写体の影や障害物の影響を受けずに、実施の形態１における接地点推定装置１は、被写体の接地点を推定できる。

すなわち、実施の形態１における接地点推定装置１は、従来の問題点を解決し、正確に接地点を推定できる。

（詳細説明）
次に、図１〜４を用いて接地点推定装置の詳細について説明する。

（システム全体像）
図２は、本発明の実施の形態１における接地点推定装置の使用態様を示す模式図である。

図２は、室内運動場（体育館などの室内競技施設）で、競技を行っている競技者を被写体としてその接地点を推定する状態を示している。

コート１１には２名の競技者がおり、２名の競技者をそれぞれ被写体１２、１３とする。被写体１２、１３は、コート１１内を動き回りながら競技を行う。

コート１１の周囲に、異なる角度から被写体１２、１３を撮影できるように、複数のカメラ１０が設置されている。複数のカメラ１０のそれぞれは、それぞれの角度から、被写体１２、１３を撮影する。なお、複数のカメラ１０の全てが撮影を行う必要はなく、必要なカメラが、撮影を行えば十分である。

被写体１２、１３のそれぞれは、競技内容に従って移動するので、被写体１２、１３のそれぞれがコート１１の接地面（ここでは、コート１１の床が該当する）における接地点は刻々と変化しうる。また、接地点が刻々と変化するということは、被写体１２、１３の移動する動線が形成されることである。

図２に示される競技は、例えば１オン１のバスケットボールの試合だとすると、被写体１２と被写体１３の少なくとも一方はバスケットボールを操っている。また両者が接近したり離れたりする。加えて、両者の角度も刻々と変化する。このような状況では、照明やその他の条件によって、コート１１の床面（接地面）には被写体１２、１３およびバスケットボールの影が生じ、影の形、大きさ、角度などが刻々と変化する。

このため、被写体１２あるいは被写体１３の接地点や動線を推定する場合には、これらの影が推定に対して悪影響を及ぼす。

実施の形態１における接地点推定装置１は、実際に影が写りこんでいる床面（接地面）よりも仮想的に高い位置にある補助平面を基準に接地点を推定するので、影による悪影響を低減できる。

なお、本発明の使用者は、推定された接地点や動線を解析することにより、競技者の競技の特性や的確性を解析し、競技者に対する指導ポイントを検討したり、競技における作戦や戦術を立案したりできる。このとき、推定される接地点や動線が不正確であると、正確な解析が困難となるが、本発明の接地点推定装置では、影などの影響を低減できるのでこのような問題も生じにくい。

勿論、本発明は、不審人物の監視や追跡調査などに応用することも好適である。

（記憶手段）
次に、記憶手段２について図１を用いて説明する。

記憶手段２は、カメラ６〜８により撮影された被写体の複数の画像を記憶する。

記憶手段２は、ハードディスクドライブ、半導体メモリ、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの光学メモリなど、電子データを記憶できるデバイスなどを広く含む。記憶手段２は、接地点推定装置１の内部に設けられてもよく外部に設けられても良い。例えば、記憶手段２がハードディスクドライブである場合には、接地点推定装置１の外部に備えられてもよいし、記憶手段２が半導体メモリである場合には、接地点推定装置１の内部に備えられても良い。

記憶手段２は、カメラ６〜８で撮影された画像をリアルタイムで記憶してもよいし、予め撮影されて記憶されていた画像データを事後的に記憶しても良い。

記憶手段２は、被写体の画像を記憶するだけでなく、接地点の推定に必要となる中間データや推定結果なども含めて記憶することができる。また、記憶手段２は、記憶している被写体の画像を、検出手段４に出力できる。

なお、カメラ６〜８は、図２に示されるように被写体を異なる角度から撮影するように設置されており、被写体の複数の画像は、被写体に対して異なる角度から撮影された多角画像を含んでいる。

（設定手段）
次に、設定手段３について、図１、図３を用いて説明する。

図３は、本発明の実施の形態１における補助平面を説明する概念図である。

図２に示されていた被写体１２は、コート１１において競技を行っている。コート１１の床面は接地面１５である。

設定手段３は、接地面１５に対して所定分だけ高い位置にある仮想の補助平面１６を設定する。補助平面１６は、仮想的に形成された面であって接地面１５よりも高い位置にあるので、補助平面１６には、被写体１２の影が写ることはない。

このため、被写体１２の接地点を推定するに際して、被写体１２などの影の影響を受けることがほとんどない。補助平面１６の接地面１５に対する高さは、任意に定められれば良いが、被写体１２の腰から胸にかけての高さであることが好適である。補助平面１６が腰から胸の辺りと交差するということは、補助平面１６が、被写体１２の胴体部分と交差することになる。補助平面上で接地点推定の基準となる重複点を検出する際に、一点に定まりやすい。これに対して、補助平面１６が被写体１２の足の部分と交差する場合には、重複点が２つになりうるので、接地点推定の精度に影響が出る可能性がある。

以上のことから、補助平面１６は、被写体１２の腰から胸程度の高さを、接地面１５に対して有していることが好適である。勿論、それ以外の高さであっても実施の形態１における接地点推定は可能である。

また、設定手段３は、被写体１２の動作や位置の変化に応じて補助平面１６の接地面１５に対する高さおよび補助平面１６と接地面１５との交差角度を変更することも好適である。

例えば、被写体１２が屈み込んだり座ったりする場合には、設定手段３は、補助平面１６の高さを下げたり、角度を変えることで、被写体１２が確実に補助平面１６と交差するようにする。補助平面１６が被写体１２の胴体部分と交差することが、重複点の検出には好適であるので、設定手段３は、被写体１２の動作や位置の変化に応じて、補助平面１６の高さや角度を変更する。

（検出手段）
次に、検出手段４について、図１、図３、図４を用いて説明する。図４は、本発明の実施の形態１における重複点検出を説明する概念図である。

まず、図３、図４に基づいて、重複点の検出についての概念を説明する。

検出手段４は、記憶手段２から被写体の複数の画像を読み出す。複数の画像は、被写体を異なる角度から撮影した多角画像を含んでおり、これらの多角画像を重ねると、図４に示すように異なる角度に写る被写体像２０〜２３が画像上に見える。このとき、被写体像２０〜２３は補助平面１６上に想定されているので、複数の画像が重ねあわされても、被写体の影の影響はない。

なお、このとき複数の画像を重ね合わせる際に背景差分を行い、被写体以外の動きのない画面領域（被写体以外の壁や床などの時間毎に動きの無い部分の領域）をキャンセルして、動きのある被写体のみが残るようにする。このような背景差分により被写体のみに着目できる。

異なる角度に写る被写体像２０〜２３は、同一の被写体を異なる角度から撮影した場合に写っているものであり、被写体像２０〜２３同士が重複する重複領域が存在する。この重複領域が、被写体が存在する位置を示していると考えられるので、検出手段４は、この重複領域を重複点２４として検出する。ここで、重複点２４は、補助平面１６における重複領域である。

なお、検出手段４は、重複領域の面積が所定値以下および重複領域の色味が所定以上の少なくとも一方の場合に、重複領域を重複点２４として検出しても良い。重複領域の面積が所定値以上であるということは、影や障害物などの影響を受けている可能性もあり、重複領域の検出が正確でない可能性もある。あるいは、重複領域の色味が所定以下である場合には、複数の被写体像２０〜２３の重複が不十分である可能性もある。

このような場合には、重複点２４の検出および接地点の推定における精度を損なう可能性もあるので、検出手段４は、重複領域の面積が所定値以下および重複領域の色味が所定以上の少なくとも一方の場合に、重複領域を重複点２４として検出することも好適である。

また、検出手段４は、被写体の種類に応じた判定テーブルを有しておき、重複領域の面積および色味の少なくとも一方を判定テーブルと比較した上で、重複点２４を検出しても良い。

例えば、判定テーブルには、被写体が大人である場合、子供である場合のそれぞれにおける重複領域の面積および色味の閾値が定義されており、被写体が大人である場合で重複領域の面積を基準に重複点を検出する場合には、検出手段４は、重複領域の面積と判定テーブルで定義されている閾値（大人の面積についての閾値）とを比較した上で、重複点２４を検出する。あるいは、被写体が子供である場合であって重複領域の色味を基準に重複点を検出する場合には、検出手段４は、重複領域の色味と判定テーブルで定義されている閾値（子供の色味についての閾値）とを比較した上で、重複点２４を検出する。

このように、検出手段４が判定テーブルを用いて、重複点２４を検出することで、重複点２４の検出精度、ひいては接地点の推定精度が向上する。

なお、検出手段４は、重複点２４を３次元の座標表示により検出し、この座標を推定手段５に出力する。

（推定手段）
次に、推定手段５について、図１、図３を用いて説明する。

推定手段５は、検出手段４で検出された補助平面における重複点を基に、被写体の接地面における接地点を推定する。重複点は、接地面よりも所定分だけ高い位置にある補助平面上にある。推定手段５は、この重複点を示す座標の値の内、Ｚ軸（空間における高さ方向）の値を設定手段３で設定された高さ分だけ下方に補正することで、接地点を推定する。

図３に示されるように、重複点２４は、補助平面１６上に存在する。接地点３０は、接地面１５上に存在するが、接地面３０は、補助平面１６よりＺ軸上において所定分だけ低い位置にある。この高低差は設定手段３により設定された大きさである。

このため、推定手段５は、重複点２４のＺ軸（空間における高さ方向）の値をこの高低差だけ補正することで、接地点３０の座標の値を推定する。推定手段５は、この高低差についての情報を、設定手段３もしくは記憶手段２（記憶手段２が設定手段３で設定された高低差を記憶している場合）より得ることができる。

推定手段５は、推定した接地点３０の値を外部や記憶手段２に出力する。

なお、設定手段３、検出手段４、推定手段５は、それぞれ接地点推定装置１内部に設けられたハードウェア、電子回路、ソフトウェアおよびハードウェアとソフトウェアの両者による要素の少なくとも１つにより実現されれば良い。また、接地点推定装置１内部に備えられてもよいし、外部に備えられても良い。

以上のように、検出手段４で得られた重複点２４は、被写体１２の影などが写りこむことのない補助平面１６で得られる。このため、検出された重複点２４の検出精度は高い。推定手段５は、この影などの影響を受けずに検出精度の高い重複点２４の座標値を補正するだけで、接地点３０を推定できる。基となった重複点２４の精度が高いので、この推定された接地点３０の精度も高く、実施の形態１の接地点推定装置は、正確な接地点推定を行える。

（詳細説明）
次に、重複点の検出および接地点の推定の詳細を説明する。

まず、多視点間における平面のＨｏｍｏｇｒａｐｈｙ行列を用いた検出方法について説明する。

被写体についての複数の画像からある平面における被写体の重複点（あるいは接地点でも同様である）を検出（あるいは推定）するには、多視点間における平面のＨｏｍｏｇｒａｐｈｙ行列を用いて各視点の対応付けが行われ、被写体の情報を一つに統合し、ある平面と被写体とが接する点を検出することが行われる。

まず、Ｈｏｍｏｇｒａｐｈｙ行列について説明する。

Ｈｏｍｏｇｒａｐｈｙ行列とは、２つの画像間の対応関係を表す行列である。

重複点検出において、Ｈｏｍｏｇｒａｐｈｙ行列は各視点画像同士を対応付けるために用いられている。また、Ｈｏｍｏｇｒａｐｈｙ行列は、対応付ける２つの画像間で４組以上の点対応を取ることで、線形計算により算出される。但し、４組の点の内３組以上が同じ直線上にあってはならない。

図５は、本発明の実施の形態１におけるＨｏｍｏｇｒａｐｈｙ行列による視点間の投影を示す模式図である。図５に示されるＶｉｅｗ１、Ｖｉｅｗ２は被写体を撮影するカメラの視点を基準とした視点画像である。図５（ａ）の筒状の物体を被写体としてみなしている。

視点画像Ｖｉｅｗ１のある点を点ｐとし、視点画像Ｖｉｅｗ２に含まれる点ｐに対応する点をｐ’とする。このとき点ｐ、ｐ’は、斉次座標で表現される。また、２つの視点間には平面πのＨｏｍｏｇｒａｐｈｙ行列Ｈが成立する。この行列Ｈは、最大階数の３ｘ３行列を有しており、２つの点ｐ、ｐ’を、ｐ’＝Ｈｐで関係付けることができる。

次に、点Ｐが点ｐ’へ行列Ｈを用いて投影される過程を幾何学的に考える。まず、視点画像Ｖｉｅｗ１のカメラ視点の中心から点ｐを通過する線を描く。この線が平面πと交差する交点は、点ｐのＰｉｅｒｃｉｎｇ Ｐｏｉｎｔと呼ばれる。次に、このＰｉｅｒｃｉｎｇ Ｐｏｉｎｔから視点画像Ｖｉｅｗ２のカメラ視点の中心に向かって線が描かれたばあいに、この線と視点画像Ｖｉｅｗ２との交点が点ｐ’である。実質的に、点ｐ’は、点ｐのＰｉｅｒｃｉｎｇ ＰｏｉｎｔがＶｉｅｗ２で描画されたものである。

また、Ｈｏｍｏｇｒａｐｈｙ行列による点の投影にはＰｌａｎｅ Ｐａｒａｌｌａｘという現象が生じる。Ｐｌａｎｅ Ｐａｒａｌｌａｘとは、３次元のある同一の点を視点画像で見た点と、Ｈｏｍｏｇｒａｐｈｙ行列を用いて他の視点画像から投影した点との間にあるズレのことを言う。図５（ｂ）のように、視点画像Ｖｉｅｗ１の点ｑ１を、ｑ１＝（ｘ、ｙ、１）とし、視点画像Ｖｉｅｗ２上の点ｑ２をｑ２＝（ｘ’、ｙ’、１）とする。２つの視点間に平面πに対応する行列Ｈが成立し、この行列Ｈの第３行をＨ３とする。行列Ｈを用いて点ｑ１をＶｉｅｗ２に投影した点をｑ１’とすると、

が成立する。

このとき、ｑ１’！＝ｑ２となってしまうＰｌａｎｅ Ｐａｒａｌｌａｘが生じている。これは３次元の点ｑ１が、平面π上に存在しないからである。このＰｌａｎｅ Ｐａｒａｌｌａｘという現象から、床面拘束の理論を見出すことができる。

（床面拘束）
床面拘束とは、Ｈｏｍｏｇｒａｐｈｙ行列にある制約の一つである平面拘束について、特に拘束平面を床面にとった場合のことを指す。なお、以下床面拘束について述べるが、床面拘束における床面を、補助平面にすれば補助平面に拘束を行って被写体の重複点を検出することにつながる。

図６は、本発明の実施の形態１における床面拘束を説明する概念図である。

図６（ａ） のような，被写体を多視点で平面πを含む状態で見ていると考える。各視点では背景差分を行うことで前景領域を求めており、この前景領域は黒い背景の上に白で示されている。図６においては、前景領域として表されているのは人物である被写体である。

対象物体内に存在する任意の３次元の点はすべての視点で前景領域内に投影される。また、各視点画像はＨｏｍｏｇｒａｐｈｙ行列によって関連付けられている。以上のことから，次の２つの定義が導かれる。

（定義１）
点Ｐ は３ 次元の実空間中の平面π上にあり、被写体の内側にあるとする。このとき視点画像において点Ｐ は、以下の２つの条件を満たす任意ｎ の視点画像中の点ｐ１、ｐ２、...、ｐｎ の集合である。

条件１：φｉが視点ｉの前景領域をあらわすとき，（数２） が成立する。

条件２：Ｈｉ，ｊが視点ｊからｉへの平面πのＨｏｍｏｇｒａｐｈｙ行列を表すとき、∀ｉ，ｊｐｉ＝Ｈｉ，ｊｐｊが成立する。

Ｈｏｍｏｇｒａｐｈｙ行列について説明したとおり、各視点画像間でＨｏｍｏｇｒａｐｈｙ行列を用いて投影するということは、ある視点のカメラ中心から投影する点のＰｉｅｒｃｉｎｇ Ｐｏｉｎｔに向かって線が描かれる。次に、Ｐｉｅｒｃｉｎｇ Ｐｏｉｎｔから他方の視点画像のカメラ中心に向かって線が描かれる。もし、この線が通過するＰｉｅｒｃｉｎｇ Ｐｏｉｎｔが被写体内部の平面πにあるとき、定義１からその点は全ての視点で前景領域内に投影される。以上のことから定義２が導かれる。

（定義２）
φを参照視点上にある全ての画素の点とし、行列Ｈｉは、参照視点から視点ｉへの平面πに対応するＨｏｍｏｇｒａｐｈｙ行列とする。もし（数３）として、点ｐのＰｉｅｒｃｉｎｇ Ｐｏｉｎｔが対象物体と平面πが接する領域内に存在するとき、（数４）が成立する。ここでｐ’ｉ＝Ｈｉｐでありφｉは視点ｉの前景領域である。

この定義２が床面拘束を表す。

図６（ｂ）に示されるように、被写体である人の足の部分は、平面と接する部分にＰｉｅｒｃｉｎｇ Ｐｏｉｎｔを持っている。床面拘束によって、Ｐｉｅｒｃｉｎｇ Ｐｏｉｎｔは全ての視点で前景領域内に投影される。このことは、図６（ｂ）における人の足から延びている線４０により表されている。

一方、床面拘束を満たさない、すなわち接地面と接していない前景領域の点は、Ｐｌａｎｅ Ｐａｒａｌｌａｘから、他の視点では前景領域外に投影される。すなわち、視点画像Ｖｉｅｗ１の人の腰部分（接地面に接していない部分である）から伸ばされた線４１が、他の視点画像Ｖｉｅｗ２やＶｉｅｗ３においては、前景領域である人体部分から外れたところに交差する。

このように、床面拘束の理論により、撮影された複数の画像から、被写体がある面に接している点の座標を得ることができる。

（補助平面を用いた接地点推定）
以上のＨｏｍｏｇｒａｐｈｙ行列や床面拘束の理論に基づいて、補助平面を用いた接地点推定について説明する。

補助平面を用いた接地点推定は、上述の通り、まず補助平面上の重複点を検出し、ついで重複点のＺ軸の座標値を高低差（補助平面と接地面の高低差）だけ補正することで行われる。

ここでは、接地面での座標を利用した上での補助平面での重複点の座標の算出方法について説明する。上述の通り、被写体の影の影響を排除するために、被写体の接地点を推定するには、まず影の影響のない補助平面での重複点を検出し、その後に重複点の補正によって接地点が推定される。しかし、補助平面は仮想の平面に過ぎないので、重複点を求める際には、実際に存在する接地面の座標を利用する必要がある。このため、下記に説明するのは、補助平面における重複点の算出において接地面の座標を利用する方法である。

補助平面を用いた接地点推定には、補助平面のＨｏｍｏｇｒａｐｈｙ行列を求める必要がある。このため、補助平面の点を４つ以上求める必要がある。このために、接地面を基準にカメラパラメータを用いて必要な基準点を生成する。

補助平面における重複点を求めるには、補助平面のＨｏｍｏｇｒａｐｈｙ行列を求める必要がある。Ｈｏｍｏｇｒａｐｈｙ行列は、対応付ける視点画像間で４組以上の点対応をとることで生成できる。ここでは、Ｈｏｍｏｇｒａｐｈｙ行列を生成するのに必要な４組の点を基準点と呼ぶことにする。

補助平面は、図３に示されるように、被写体が実際に接している接地面（床面）より所定分だけ高い位置にある接地面と平行な平面である。図７を用いて説明する。図７は、本発明の実施の形態１における基準点の推定過程を示す説明図である。

まず、図７（ａ）のように、視点画像上の点ｍ１（Ｕ１、Ｖ１）、ｍ２（Ｕ２、Ｖ２）から、カメラパラメータＰ１，Ｐ２を用いて地面上にある点Ｍ（Ｘ、Ｙ、Ｚ）を求める。この点Ｍを元に図７（ｂ）のような基準点Ｍ’（Ｘ’、Ｙ’，Ｚ’）を決定する。次に、各視点のカメラパラメータＰを用いて、この３次元空間にある基準点を視点画像に投影し、視点画像上の基準点ｍ’（Ｕ’、Ｖ’）を求める。なお、実際の接地面における点は、基準点をＺ軸方向に下げたものである。

まず接地面の点の座標推定について説明し、つぎに基準点の座標推定について説明する
（接地面での点の座標推定）
２つの視点から地面上の点の３次元空間での座標を求める。視点画像Ｖｉｅｗ１、Ｖｉｅｗ２における各カメラパラメータをＰ１、Ｐ２とし、各視点画像上の座標をｍ１（Ｕ１，Ｖ１）、ｍ２（Ｕ２，Ｖ２）とする。また、求める接地面上の基準点の座標をＭ（Ｘ，Ｙ，Ｚ）とする。視点画像のカメラパラメータＰｉを（数５）のように定義する。

カメラパラメータＰｉと視点画像の座標（Ｕｉ、Ｖｉ）から（数６）が定義できる。

カメラパラメータについて解くと、（数７）が導出される。

各視点画像のカメラパラメータＰｉと、対応する画像上の座標ｍ１（Ｕ１，Ｖ１）、ｍ２（Ｕ２，Ｖ２）から、（数８）のようにその点の３次元空間での座標を求めることができる。

また、（数８）は、未知数が方程式の数より少ない過剰な条件の方程式となっている。このため、最小２乗法による連立１次方程式の近似解法を用いる。解法は（数９）で表される。

このように解くと、（ｍ＞ｎ）の場合の解は、（数１０）で表される。

（基準点の座標）
このようにして求めた地面上の点Ｍを基に基準点が求められる。この基準点が求まれば、４組の基準点が求まって重複点算出に必要なＨｏｍｏｇｒａｐｈｙ行列が求まり、結果として補助平面における重複点が算出される。

なお、地面上の点ＭをＺ軸方向に所定の高さまで上げることで、補助平面上での基準点が定まる。この基準点についてカメラパラメータを用いて、（数１１）により視点画像上の点を求めることができる。

こうして得られる各視点画像上の対応する基準点４組を用いれば、補助平面上での重複点の算出に必要なＨｏｍｏｇｒａｐｈｙ行列が得られる。

なお、上述において視点画像とは、カメラを視点とした場合の画像を指す。

以上のように、Ｈｏｍｏｇｒａｐｈｙ行列を算出することで、補助平面における重複点が算出され、重複点の座標補正により接地点が推定される。

なお、重複点は仮想平面上にあって影などの影響を受けないので、実施の形態１における接地点推定装置は、高い精度により、正確な接地点を推定できる。

（実施の形態２）
次に実施の形態２について、図１、図８を用いて説明する。図８は、本発明の実施の形態２における重複点推定の説明図である。

実施の形態２では、検出手段４が、補助平面１６での第１重複点２５と接地面１５での第２重複点２６を検出する。第１重複点２５は、被写体の複数の画像から、補助平面上で得られる重複点であり、第２重複点２６は、被写体の複数の画像から、接地面上で得られる重複点である。

第１重複点２５および第２重複点２６の検出方法は、実施の形態１で説明したのと同様である。被写体の複数の画像の重ね合わせにより生じる重複領域は、補助平面１６であっても、接地面１５であっても形成されるので、それぞれの重複領域から第１重複点２５と第２重複点２６が検出できる。

検出手段４は、検出した第１重複点２４と第２重複点２５のそれぞれを、推定手段５に出力する。

推定手段５は、第１重複点２５および第２重複点２６のいずれかを選択する。例えば、推定手段５は、第１重複点２５と第２重複点２６を形成する面積や色味の比較により、いずれかを選択する。例えば、重複点を形成する面積の小さい方を精度が高いとみなす場合には、推定部５は、第１重複点２５と第２重複点２６の内、面積の小さいほうを選択する。逆に、面積が大きい方を精度が高いとみなす場合には、推定部５は、第１重複点２５と第２重複点２６の内、面積の大きいほうを選択する。面積が小さい方が影などの影響を受けてないと考えられる場合と、面積が大きい方が被写体１２を捉えているのであって、被写体１２以外の障害物を捉えているわけではないと考えられる場合とがあり、基準は適宜決められればよい。

接地面１５における第２重複点２６は、被写体１２の影の影響を受けていることが多いが、必ずしも受けているとは限らない。逆に補助平面１６の設定の不具合（被写体１２よりも高い位置に設定してしまうなど）などによっては、第１重複点２５の検出精度が悪いこともありうる。

このため、推定手段５は、第１重複点２５および第２重複点２６のいずれかを選択した上で、接地点を推定することも好適である。

推定手段５は、第１重複点２５を選択した場合には、実施の形態１で説明したとおり、第１重複点２５のＺ軸方向の座標を補正することで接地点を推定する。逆に、推定手段５は、第２重複点２６を選択した場合には、この第２重複点２６が接地点そのものになるので、第２重複点２６を接地点として推定する。いずれの場合も、接地点は３次元座標で表されて、外部および記憶手段２の少なくとも一方に出力される。

（実施の形態３）
次に実施の形態３について説明する。

実施の形態３では、接地点推定装置１が、所定時間毎に接地点を推定して、同一被写体に関する複数の接地点を出力した上で、被写体の動線を推定する接地点推定装置について説明する。

図９は、本発明の実施の形態３における接地点推定装置のブロック図である。

図１と同じ符号については説明を省略する。図１で説明された接地点推定装置１に対して、動線推定手段５０および表示部５１が追加されている。

動線推定手段５０は、推定手段５から出力される複数の接地点を繋ぎ合わせることで、被写体の動線を推定する。図１０を用いて説明する。図１０は、本発明の実施の形態３における動線推定を説明する概念図である。

図１０に示されるように、推定手段５は同一の被写体についての複数の接地点６０を推定して出力する。隣接する接地点６０は、推定手段５における接地点推定の所定時間間隔に対応する。また、接地点６０の個数は、推定手段５での推定の処理回数に対応する。

動線推定手段５０は、推定した動線を表示部５１に出力する。表示部５１は、後述する図１０に示されるような動線を表示する。表示部５１は、液晶やＣＲＴなどの表示機能を有するデバイスであれば何でも良く、接地点推定装置１と一体で備えられても良く、別のデバイスとして備えられても良い。なお、動線推定手段５０は、必要に応じて、推定した動線の結果を記憶手段２に出力しても良い。

図１０においては、隣接する接地点６０同士が接するか重なるかしており、これら複数の接地点６０を数珠繋ぎにすることで、動線推定手段５０は、動線６１を推定する。図１０においては、複数の接地点６０の数珠繋ぎのラインに沿って、動線６１が推定されている。図１０に描かれている動線６１は、表示部５１に表示される。

なお、動線推定手段５０は、複数の接地点６０の内、隣接する接地点６０同士が重なっていたり接していたりすることを基準に、動線６１を推定する。このとき、推定手段５での処理に問題があったりして、隣接する接地点６０同士が重なっても接してもいない場合もありうる。この場合には、複数の接地点６０を数珠繋ぎにした曲線の途中で、欠落部分が生じることになりうる。

このような欠落部分が生じている場合には、動線推定手段５０は、隣接する接地点６０同士から補間して、欠落部分を埋めて動線６１を推定する。補間は、単純補間や最大比補間などが用いられれば良く、公知の技術により行われれば十分である。

また、動線推定手段５０は、欠落部分がある場合には、補間を行わずに、離隔している隣接接地点６０同士を繋いで、動線６１を推定しても良い。

推定された動線６１は、被写体の移動の軌跡を示している。例えば被写体がスポーツ競技の競技者である場合には、この動線６１を解析することで、競技者の動きの良し悪しを確認でき、あるいは戦術の立案ができる。

特に、この推定される動線６１の基準となる複数の接地点６０は、実施の形態１〜２で説明した通り高い精度を有しているので、推定される動線６１の精度も高い。例えば、従来技術のように、接地面における被写体の影の影響を受けた接地点６０であると、数珠繋ぎにする際に幾通りもの繋ぎ方が生じるので、当然ながら動線６１の精度は低くなる。これに対して実施の形態３における接地点推定装置１では、接地点６０の推定精度が高いので、接地点６０同士を繋ぐ際の繋ぎ方の選択肢は少なく、結果として推定される動線６１の精度は高くなる。

このような高い精度で得られた動線６１によって、本発明の使用者は、不審者の追跡や競技者の動作の良し悪しなどを、高い精度で解析できる。

なお、実施の形態１から３における接地点推定装置１は、専用の装置で実現されても良く、汎用のコンピュータにより実現されてもよい。また、電子回路や半導体集積回路などのハードウェアで実現されてもよく、中央演算処理装置（以下、「ＣＰＵ」という）がプログラムを読み込んで処理を行うソフトウェアで実現されてもよく、ハードウェアとソフトウェアの混在により実現されても良い。

ソフトウェアで実現される場合には、ＲＯＭやＲＡＭに記憶されたプログラムが、ＣＰＵによって読み出されて処理が実行される。

図１１を用いて説明する。

図１１は、本発明の実施の形態３における接地点推定方法を実現する装置のブロック図である。

装置は、例えば汎用コンピュータなどであり、入力部７０、ＣＰＵ７１、制御部７２、ＲＯＭ７３、ＲＡＭ７４、出力部７５、表示部７６を備えている。

入力部７０は、カメラ（図示せず）から送信される被写体の複数の画像を受け付ける。入力部７０が、画像を記憶しても良く、ＲＡＭ７４が記憶しても良い。

ＲＯＭ７３は、接地点推定方法を実現するプログラムを記憶している。ＣＰＵ７１は、ＲＯＭ７３からこのプログラムを読み出し、プログラムに従って処理を実行する。

制御部７２は、装置全体を制御する。

ＲＡＭ７４は、ＣＰＵ７１での処理結果を記憶したり、入力部７０から入力する被写体の複数の画像を記憶したりする。出力部７５は、推定された動線を、表示部７６に出力する。表示部７６は、図１０のように、推定された動線を表示する。

処理手順について説明する。

入力部７０は、カメラからの被写体に関する複数の画像を受け取る。ＲＡＭ７４は、この複数の画像を記憶する。

ＣＰＵ７１は、ＲＯＭ７３からプログラムを読み出す。

ＣＰＵ７１は、プログラムに従って、ＲＡＭ７４もしくは入力部７０から、被写体の複数の画像を読み出す。ついで、ＣＰＵ７１は、被写体の実際に接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する。次に、ＣＰＵ７１は、複数の画像を背景差分させつつ重ね合わせる。更に、ＣＰＵ７１は、重ねあわされた画像から抽出される被写体が重複する重複領域を、重複点として検出する。ついで、ＣＰＵ７１は、重複点に基づいて、被写体の接地面における接地点を推定する。推定された接地点は、ＲＡＭ７４で記憶される。

更に、ＣＰＵ７１は、推定された接地点に基づいて、被写体が移動する動線を推定し、推定結果をＲＡＭ７４に出力する。

出力部７５は、ＲＡＭ７４に記憶されている動線を、表示部７６に出力する。表示部７６は、動線を表示して、使用者の便益に供する。

このように、本発明の接地点推定装置は、その処理手順の少なくとも一部がソフトウェアで実現されても良い。

なお、ここで説明した処理手順の一部のみが、ソフトウェアで実現されても良い。

（実施の形態４）
次に、実施の形態４について説明する。実施の形態４では、実施の形態１〜４で説明した接地点推定および動線推定を行う動線表示システムおよびサーバについて説明する。

図１２は、本発明の実施の形態４における動線表示システムのブロック図である。

図９と同じ符号の要素については説明を省略するが、同じ符号の要素は、実施の形態１〜３で説明したのと同様の機能を有する。

図１２で表される全体が、動線表示システムである。

動線表示システムは、複数のカメラ６〜８と動線表示装置８０を備えている。動線表示装置８０は、更にサーバ８１と表示部５１を備えている。図１２では説明の便宜上、サーバ８１と表示部５１が別のブロックとなっているが、一体であっても別体であってもかまわない。またサーバ８１は、専用の装置であっても汎用のコンピュータが使用されてもいずれでもよい。また、動線表示装置８０がサーバ８１を備えるものとして図１２では示されているが、サーバ８１という概念の要素を必要としているのではなく、動線表示装置８０が、サーバ８１内部の、記憶手段２、設定手段３、検出手段４、推定手段５、動線推定手段５０を備えておればよいものである。但し、様々な使用状況に応じたシステムとして構築する場合には、汎用コンピュータによるサーバとして構成する方が適当である。

動線表示装置８０には、複数のカメラ６〜８から撮影された被写体の画像が送信される。このため、カメラ６〜８と動線表示装置８０が電気的に接続されていても良いが、記憶媒体などを用いて転送されてもよいものである。

複数のカメラ６〜８は、被写体を異なる角度から撮影する。

記憶手段２は、被写体の複数の画像を記憶する。設定手段３は、被写体が実際に接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する。

検出手段４は、複数の画像を、背景差分を取りながら重ね合わせ、被写体同士が重複する重複領域であって仮想平面上での重複領域を、重複点として検出する。検出手段４は、検出した重複点を推定手段５に出力する。

推定手段５は、重複点に基づいて、被写体の接地面における接地点を推定する。なお、検出手段４および推定手段５は、所定時間毎に（定期的な間隔でもランダムな間隔でもよい）、重複点の検出および接地点の推定を行う。最終的には、推定手段５は、複数の接地点を推定して、動線推定手段５０に出力する。

動線推定手段５０は、複数の接地点を数珠繋ぎにして、被写体が実際に動いた線を示す動線を推定する。動線推定手段５０は、表示部５１に推定した動線を出力する。

表示部５１は、動線を表示して、使用者の便益に供する。

ここで、実施の形態１〜３で説明したとおり、補助平面は、実際の接地面よりも所定分だけ高い位置にある仮想の平面であるので、被写体の影などが写りこんでいない。このため、補助平面を基準に検出される重複点は、影などの影響がなく精度が高い。この結果、接地点および動線も、高い精度で推定される。

動線表示装置８０は、必要に応じてカメラ６〜８の撮影角度を切り替える切り替え手段８２を備えていることも好適である。

切り替え手段８２は、検出手段４、推定手段５および動線推定手段５０の少なくとも一つの結果に基づいて、カメラ６〜８の少なくとも一つの撮影角度を切り替える。

例えば、検出手段４で重複点の検出エラーが頻発した場合には、被写体を撮影するカメラ６〜８の少なくとも一部の撮影角度が悪いことを示している可能性がある（いずれかのカメラの撮影角度では、被写体がアングルから外れているなどによる）。あるいは、動線推定手段５０で、動線を推定する際に接地点の欠落部分が多くて、動線推定が十分に行えない状況の場合にも、被写体を撮影するカメラ６〜８の少なくとも一部の撮影角度が悪いことを示している可能性がある。

切り替え手段８２は、このような結果に基づいて、カメラ６〜８の少なくとも一部の撮影角度を切り替える。例えば、カメラ６の高さ角度を切り替えて、被写体を確実にアングルに収めるようにするなどである。

このように、切り替え手段８２により複数のカメラ６〜８の少なくとも一部の撮影角度が調整されるので、接地点および動線の推定における精度が更に向上する。

なお、動線表示システムに備えられているカメラの台数は適宜定められれば良く、動線表示装置８０やサーバ８１の台数も適宜定められれば良い。

このような動線表示システムは、スポーツ競技の戦術立案に用いられたり、セキュリティシステムの一部として用いられたりする。前者の場合には、サッカーやバスケットボールなどのスポーツ競技における、戦術スタッフが、動線表示システムを利用する。後者の場合には、警察や警備会社などが、動線表示システムを利用する。

（実施の形態５）
次に実施の形態５について説明する。

実施の形態５では、発明者が実際に行ったシミュレーション実験結果について説明する。

実験環境として、被写体は、高さ２ｍ（メートル）、直径１ｍの４つの円錐であり、４台のカメラが設置された。図１３に示されるとおり、４台のカメラは、ワールド座標上の原点から３５ｍ、３２．５ｍ、３５ｍ、３５ｍにそれぞれ置かれた。図１３は、本発明の実施の形態５における実験環境の斜視図である。

なお、補助平面として接地面から高さ１ｍの位置を設定した。

４台のカメラのそれぞれからの視点画像は、図１４に示されるとおりである。図１４は、本発明の実施の形態５における各カメラの視点画像の模式図である。

（カメラキャリブレーション）
まず、各視点でＣａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ Ｆｏｒ Ｍａｔｌａｂを用いてキャリブレーションを行う。内部パラメータは、図１５（ａ）に示される１９枚の平面パターンの写った画像を用いる。外部パラメータは、図１５（ｂ）に示される接地面上に描かれたパターンを用いて行う。

図１５は、本発明の実施の形態５におけるカメラキャリブレーション画像の模式図である。

ここで、カメラキャリブレーションとは、画像生成過程におけるモデル化を行った際の各種パラメータを推定する方法である。ここで推定を行うパラメータは、焦点距離などの情報を含む内部パラメータと、カメラの位置や姿勢の情報を含む外部パラメータである。一般に、カメラキャリブレーションという言葉を用いる場合には、内部パラメータのみの推定をさす場合もあるが外部パラメータの推定も含めてさすことにする。

（補助平面のＨｏｍｏｇｒａｐｈｙ行列生成）
補助平面を用いた接地点推定を行うために、補助平面のＨｏｍｏｇｒａｐｈｙ行列を生成する。まず、カメラキャリブレーションによって得られたカメラパラメータを用いて、３次元空間における接地上の点と基準点を求めた。この結果を図１６（ａ）に示す。図１６は、本発明の実施の形態５における接地面上の点と基準点を示す模式図である。

次に、この接地面上の点と基準点について、それぞれのカメラパラメータを用いて各視点に投影する。この結果は、図１６（ｂ）に示される。

（背景差分）
各カメラの視点画像について背景差分を行い、視点画像での対象物体の前景領域を得る。その結果は、図１７に示される。図１７は、本発明の実施の形態５における各カメラの視点画像の背景差分の結果を示す模式図である。

（接地点推定）
求めた基準点を基にＨｏｍｏｇｒａｐｈｙ行列を求め、実際に接地点推定を行った。また、同じ環境下で地面のＨｏｍｏｇｒａｐｈｙ行列での接地点推定も行った。それぞれの結果を図１８に示す。なお、結果を比較しやすくするために、実験環境を真上から見た状態に変換している。

図１８は、本発明の実施の形態５における接地点推定を比較する説明図である。図１８（ａ）は補助平面を用いた接地点推定の結果を示し、図１８（ｂ）は従来技術どおりの接地面を直接用いた接地点推定結果を示す。図１８から明らかな通り、補助平面を用いた接地点推定においては、接地面を直接用いた場合に比べてノイズが少なく、精度の高い接地点推定が行われている。接地点が高い精度で推定されていることから、接地点に基づいて推定される動線も、高い精度で推定される。

このように、シミュレーション実験からも、本発明の接地点推定装置の効果が明確である。

本発明は、セキュリティシステムやスポーツ競技の戦術策定などに必要となる、被写体の接地点や動線を推定する装置などの分野において好適に利用できる。

本発明の実施の形態１における接地点推定装置のブロック図 本発明の実施の形態１における接地点推定装置の使用態様を示す模式図 本発明の実施の形態１における補助平面を説明する概念図 本発明の実施の形態１における重複点検出を説明する概念図 本発明の実施の形態１におけるＨｏｍｏｇｒａｐｈｙ行列による視点間の投影を示す模式図 本発明の実施の形態１における床面拘束を説明する概念図 本発明の実施の形態１における基準点の推定過程を示す説明図 本発明の実施の形態２における重複点推定の説明図 本発明の実施の形態３における接地点推定装置のブロック図 本発明の実施の形態３における動線推定を説明する概念図 本発明の実施の形態３における接地点推定方法を実現する装置のブロック図 本発明の実施の形態４における動線表示システムのブロック図 本発明の実施の形態５における実験環境の斜視図 本発明の実施の形態５における各カメラの視点画像の模式図 本発明の実施の形態５におけるカメラキャリブレーション画像の模式図 本発明の実施の形態５における接地面上の点と基準点を示す模式図 本発明の実施の形態５における各カメラの視点画像の背景差分の結果を示す模式図 本発明の実施の形態５における接地点推定を比較する説明図

符号の説明

１ 接地点推定装置
２ 記憶手段
３ 設定手段
４ 検出手段
５ 推定手段
６、７、８ カメラ
５０ 動線推定手段

Claims (15)

1. 複数のカメラで撮影された被写体の複数の画像を記憶する記憶手段と、
   前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段と、
   前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって前記補助平面における重複領域を、重複点として検出する検出手段と、
   前記重複点に基づいて、前記被写体の前記接地面における接地点を推定する推定手段と、を備える接地点推定装置。
2. 前記複数の画像は、前記被写体に対して異なる角度から撮影されている請求項１記載の接地点推定装置。
3. 前記検出手段は、前記重複領域の面積が所定値以下および前記重複領域の色味が所定以上の少なくとも一方の場合に、前記重複領域を前記重複点として検出する請求項１から２のいずれか記載の接地点推定装置。
4. 前記検出手段は、被写体の種類に応じた判定テーブルを有し、前記重複領域の面積および色味の少なくとも一方と前記判定テーブルとの比較に基づいて、前記重複領域を前記重複点として検出する請求項３記載の接地点推定装置。
5. 前記補助平面は、被写体の腰から胸にかけての高さを、前記接地面に対して有している請求項１から４のいずれか記載の接地点推定装置。
6. 前記設定手段は、前記被写体の状況に応じて、前記補助平面の高さおよび前記接地面との角度の少なくとも一方を変更する請求項１から４のいずれか記載の接地点推定装置。
7. 前記検出手段は、前記補助平面における前記被写体の第１重複点および前記接地面における前記被写体の第２重複点のそれぞれを検出し、
   前記推定手段は、前記第１重複点および前記第２重複点のいずれかを選択する請求項１から６のいずれか記載の接地点推定装置。
8. 前記推定手段は、所定時間間隔毎に前記接地点を推定して複数の接地点を出力し、
   前記複数の接地点に基づいて、前記被写体の動線を推定する動線推定手段を更に備える請求項１から７のいずれか記載の接地点推定装置。
9. 前記動線推定手段は、前記複数の接地点同士の重なりにより、前記動線を推定する請求項８記載の接地点推定装置。
10. 前記複数の接地点の内、隣接する接地点同士が重なっていない欠落部分がある場合には、前記動線推定手段は、隣接する接地点の座標に基づいて、前記欠落部分を補間推定する請求項９記載の接地点推定装置。
11. 前記動線を表示する表示部を更に備える請求項８から１０のいずれか記載の接地点推定装置。
12. 複数のカメラで撮影された被写体の複数の画像を記憶するステップと、
    前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定するステップと、
    前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって、前記補助平面における重複領域を、重複点として検出するステップと、
    前記重複点に基づいて、前記被写体の前記接地面における接地点を推定するステップと、を備える接地点推定方法。
13. 被写体を異なる角度から撮影する複数のカメラと、
    前記複数のカメラが撮影した被写体の複数の画像から、前記被写体の動線を表示する動線表示装置を備え、
    前記動線表示装置は、
    前記複数のカメラが撮影した前記被写体の複数の画像を記憶する記憶手段と、
    前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段と、
    前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって、前記補助平面における重複領域を、重複点として検出する検出手段と、
    前記重複点に基づいて、所定時間間隔毎に、前記被写体の前記接地面における接地点を推定して複数の接地点を出力する推定手段と、
    前記複数の接地点に基づいて、前記被写体の動線を推定する動線推定手段と、
    前記動線を表示する表示部を備える、動線表示システム。
14. 前記検出手段、前記推定手段および前記動線推定手段の少なくとも一つの結果に基づいて、前記複数のカメラの少なくとも一部のカメラの撮影角度を切り替える切り替え手段を更に備える請求項１３記載の動線表示システム。
15. 複数のカメラが撮影した被写体についての複数の画像を処理するサーバであって、
    前記サーバは、前記複数の画像を記憶し、
    前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定し、
    前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって、前記補助平面における重複領域を、重複点として検出し、
    前記重複点に基づいて、所定時間間隔毎に、前記被写体の前記接地面における接地点を推定して複数の接地点を出力し、
    前記複数の接地点に基づいて、前記被写体の動線を推定するサーバ。