JP2003279315A - カメラの自動校正方法 - Google Patents
カメラの自動校正方法Info
- Publication number
- JP2003279315A JP2003279315A JP2003004247A JP2003004247A JP2003279315A JP 2003279315 A JP2003279315 A JP 2003279315A JP 2003004247 A JP2003004247 A JP 2003004247A JP 2003004247 A JP2003004247 A JP 2003004247A JP 2003279315 A JP2003279315 A JP 2003279315A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- cameras
- observation
- information
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 この発明は、全てのカメラが基準カメラと観
測を共有する必要がなく、基準カメラと共有されない局
所的な観測もカメラの位置・姿勢推定に利用することが
できるようになるカメラの自動校正方法を提供すること
を目的とする。 【解決手段】 複数のカメラを備えたシステムにおける
カメラの自動校正方法において、各カメラ毎に、周囲の
カメラと共有する観測情報と、周囲のカメラの現在の位
置および姿勢推定値とに基づいて、自己のカメラの位置
および姿勢推定値を更新するようにした。
測を共有する必要がなく、基準カメラと共有されない局
所的な観測もカメラの位置・姿勢推定に利用することが
できるようになるカメラの自動校正方法を提供すること
を目的とする。 【解決手段】 複数のカメラを備えたシステムにおける
カメラの自動校正方法において、各カメラ毎に、周囲の
カメラと共有する観測情報と、周囲のカメラの現在の位
置および姿勢推定値とに基づいて、自己のカメラの位置
および姿勢推定値を更新するようにした。
Description
【０００１】
【発明の属する技術分野】この発明は、カメラの自動校
正方法に関する。
正方法に関する。
【０００２】
【従来の技術】本発明者らは、計算機との非接触インタ
フェースを目指し、人間の動きを画像処理によって検出
する手法を検討している（文献１，２，３参照）。
フェースを目指し、人間の動きを画像処理によって検出
する手法を検討している（文献１，２，３参照）。
【０００３】文献１： Hiroki Mori, Akira Utsumi, Ju
n Ohya, and Masahiko Yachida. Human tracking syste
m using adaptive camera selection. In Proc. of RO
＿MAN '98, pp. 494-499, 1998．文献２：森大樹，内海
章，大谷淳，谷内田正彦．非同期多視点情報を用いた複
数人物追跡手法の検討．信学技報，ＰＲＭＵ98-178, p
p. 15-22, 1999.文献３： Howard Yang, 内海章，大谷
淳. 非同期多視点画像を用いた複数人物追跡の安定化.
信学技報，ＰＲＭＵ99-150, pp. 1-7, 1999.
n Ohya, and Masahiko Yachida. Human tracking syste
m using adaptive camera selection. In Proc. of RO
＿MAN '98, pp. 494-499, 1998．文献２：森大樹，内海
章，大谷淳，谷内田正彦．非同期多視点情報を用いた複
数人物追跡手法の検討．信学技報，ＰＲＭＵ98-178, p
p. 15-22, 1999.文献３： Howard Yang, 内海章，大谷
淳. 非同期多視点画像を用いた複数人物追跡の安定化.
信学技報，ＰＲＭＵ99-150, pp. 1-7, 1999.
【０００４】人間の動き情報としては種々のものが考え
られるが、ここでは、各人物の同定に必要な顔画像、背
丈、服の色等の抽出、追跡に必要な位置・移動方向の検
出、さらに着座動作を含むいくつかの動作について検討
している。これらの動作情報を検出することにより、仮
想環境でのインタラクション、監視システムといった応
用が可能となる。
られるが、ここでは、各人物の同定に必要な顔画像、背
丈、服の色等の抽出、追跡に必要な位置・移動方向の検
出、さらに着座動作を含むいくつかの動作について検討
している。これらの動作情報を検出することにより、仮
想環境でのインタラクション、監視システムといった応
用が可能となる。
【０００５】従来から画像を用いた人物追跡については
多くの提案があったが、その多くは単眼または２眼画像
によるものであり（文献４，５，６，７参照）、オクル
ージョンに対応できない、検出エリアが狭い、といった
問題があった。
多くの提案があったが、その多くは単眼または２眼画像
によるものであり（文献４，５，６，７参照）、オクル
ージョンに対応できない、検出エリアが狭い、といった
問題があった。
【０００６】文献４：D. M. Gavrila and L. S. Davis.
3-d model-based tracking of humans in action: a m
ulti-view approach. In Proc. of CVPR '96, pp. 73-8
0, 1996. 文献５：Ali Azarbayejani and Alex Pentland. Real-t
ime self-calibratingstereo person tracking using 3
-d shape estimation from blob features. In 13th In
ternational Conference on Pattern Recognition, pp.
627-632, 1996. 文献６：C. Wren, A. Azarbayejani, T. Darrell, and
A. Pentland. P finder: Real-time tracking of the h
uman body. In SPIE proceeding vol. 2615, pp. 89-9
8, 1996. 文献７：M. Patrick Johnson, P. Maes,and T. Darrel
l. Evolving visual routines. In Proc. of Artificia
l Life IV, pp. 198-209, 1994.
3-d model-based tracking of humans in action: a m
ulti-view approach. In Proc. of CVPR '96, pp. 73-8
0, 1996. 文献５：Ali Azarbayejani and Alex Pentland. Real-t
ime self-calibratingstereo person tracking using 3
-d shape estimation from blob features. In 13th In
ternational Conference on Pattern Recognition, pp.
627-632, 1996. 文献６：C. Wren, A. Azarbayejani, T. Darrell, and
A. Pentland. P finder: Real-time tracking of the h
uman body. In SPIE proceeding vol. 2615, pp. 89-9
8, 1996. 文献７：M. Patrick Johnson, P. Maes,and T. Darrel
l. Evolving visual routines. In Proc. of Artificia
l Life IV, pp. 198-209, 1994.
【０００７】これらの問題を解決するため、近年、多視
点画像を利用した人物追跡システムが盛んに研究されて
いる（文献８，９，１０参照）。多視点画像を利用する
ことで、オクルージョンの発生を低減し、より安定した
検出が可能になると考えられる。
点画像を利用した人物追跡システムが盛んに研究されて
いる（文献８，９，１０参照）。多視点画像を利用する
ことで、オクルージョンの発生を低減し、より安定した
検出が可能になると考えられる。
【０００８】文献８：Jakub Segen and Sarma Pingali.
A camera-based system for tracking people in real
time. In Proc. of 13th International Conference o
n Pattern Recognition, pp. 63-67, 1996. 文献９：Q. Cai, A. Mitiche, and J. K. Aggarwal. Tr
acking human motionin an indoor environment. In Pr
oc. of 2nd International Conference on Image Proce
ssing, pp. 215-218, 1995. 文献１０：Q. Cai, J. K. Aggarwal. Tracking human m
otion using multiplecameras. In Proc. of 13th Inte
rnational Conference on Pattern Recognition, pp. 6
8-72, 1996.
A camera-based system for tracking people in real
time. In Proc. of 13th International Conference o
n Pattern Recognition, pp. 63-67, 1996. 文献９：Q. Cai, A. Mitiche, and J. K. Aggarwal. Tr
acking human motionin an indoor environment. In Pr
oc. of 2nd International Conference on Image Proce
ssing, pp. 215-218, 1995. 文献１０：Q. Cai, J. K. Aggarwal. Tracking human m
otion using multiplecameras. In Proc. of 13th Inte
rnational Conference on Pattern Recognition, pp. 6
8-72, 1996.
【０００９】しかし、このようなシステムで広範囲の人
間の動きを追跡するには検出エリアに合わせて多くのカ
メラが必要になり、そのために生じる問題も多い。例え
ば、多くのビジョンシステムは、３次元計測のために各
カメラが同時刻に観測を行うことを前提としており、そ
のための同期機構の導入によりシステムが複雑化する。
さらに、複数の観測を同時に行うことは観測間の冗長性
を増大させ、システムの処理効率を低下させる。また、
多数のカメラの全てをあらかじめ校正しておくことは、
視点数（カメラ数）が増えるにしたがって困難になる。
間の動きを追跡するには検出エリアに合わせて多くのカ
メラが必要になり、そのために生じる問題も多い。例え
ば、多くのビジョンシステムは、３次元計測のために各
カメラが同時刻に観測を行うことを前提としており、そ
のための同期機構の導入によりシステムが複雑化する。
さらに、複数の観測を同時に行うことは観測間の冗長性
を増大させ、システムの処理効率を低下させる。また、
多数のカメラの全てをあらかじめ校正しておくことは、
視点数（カメラ数）が増えるにしたがって困難になる。
【００１０】これらの問題は、利用する視点数が増加す
るに伴ってより顕著になると考えられる。本発明者ら
は、多視点画像による追跡システムにおいては、これら
規模の拡大によって生じる問題が本質的であると考えて
いる。
るに伴ってより顕著になると考えられる。本発明者ら
は、多視点画像による追跡システムにおいては、これら
規模の拡大によって生じる問題が本質的であると考えて
いる。
【００１１】そこで、多視点画像による追跡システムに
おけるカメラの位置・姿勢推定（カメラ校正）について
考えることにする。多視点画像による追跡システムで
は、事前のカメラ校正に加えて、運用中の障害によるカ
メラ位置・姿勢の変化への対応など維持・管理のための
手法の確立も重要となる。
おけるカメラの位置・姿勢推定（カメラ校正）について
考えることにする。多視点画像による追跡システムで
は、事前のカメラ校正に加えて、運用中の障害によるカ
メラ位置・姿勢の変化への対応など維持・管理のための
手法の確立も重要となる。
【００１２】多視点画像による追跡システムにおけるカ
メラ校正については既にいくつかの手法が提案されてい
る。
メラ校正については既にいくつかの手法が提案されてい
る。
【００１３】文献１１において、斉藤らは２台の基準カ
メラと他のカメラ間の基礎行列を両者間で共有する観測
を用いて求めることで、大規模な３次元映像システムの
構築を容易にした。
メラと他のカメラ間の基礎行列を両者間で共有する観測
を用いて求めることで、大規模な３次元映像システムの
構築を容易にした。
【００１４】文献１１： Hideo Saito and Takeo Kanad
e. Shape reconstruction in projective grid space f
rom large number of images. In Proc. of CVPR, pp.
49-54, 1999.
e. Shape reconstruction in projective grid space f
rom large number of images. In Proc. of CVPR, pp.
49-54, 1999.
【００１５】また、文献１２において、Lee らは、平面
上を運動する対象物体を利用して基準カメラと各カメラ
とで共有する観測により、基準カメラからの相対位置・
姿勢を求める手法を提案した。
上を運動する対象物体を利用して基準カメラと各カメラ
とで共有する観測により、基準カメラからの相対位置・
姿勢を求める手法を提案した。
【００１６】文献１２： L. Lee, R. Romano, and G. S
tein. Monitoring activities frommultiple video str
eams: Establishing a common coordinate frame. IEEE
Pattern Anal. Machine Intell., Vol. 22, No. 8, p
p. 758-767, 2000.
tein. Monitoring activities frommultiple video str
eams: Establishing a common coordinate frame. IEEE
Pattern Anal. Machine Intell., Vol. 22, No. 8, p
p. 758-767, 2000.
【００１７】しかしながら、これらの手法は、校正対象
のカメラと基準カメラとが観測を共有していない場合に
は、適用できないという問題がある。
のカメラと基準カメラとが観測を共有していない場合に
は、適用できないという問題がある。
【００１８】これに対して、本発明者らは、追跡中の人
物の３次元運動を利用してカメラの位置・姿勢を推定す
る手法を提案した（文献１３参照）。しかしながら、こ
の手法では、人物の運動を求めるために複数の校正済カ
メラを要する。
物の３次元運動を利用してカメラの位置・姿勢を推定す
る手法を提案した（文献１３参照）。しかしながら、こ
の手法では、人物の運動を求めるために複数の校正済カ
メラを要する。
【００１９】文献１３： Hirotake Yamazoe, Akira Utu
mi, Nobuji Tetsutani, and Masahiko Yachida. Automa
tic camera calibration method for multiple camera
based human tracking system. In Proc. of IWAIT 200
1, pp. 77-82, 2001.
mi, Nobuji Tetsutani, and Masahiko Yachida. Automa
tic camera calibration method for multiple camera
based human tracking system. In Proc. of IWAIT 200
1, pp. 77-82, 2001.
【００２０】
【発明が解決しようとする課題】この発明は、全てのカ
メラが基準カメラと観測を共有する必要がなく、基準カ
メラと共有されない局所的な観測もカメラの位置・姿勢
推定に利用することができるようになるカメラの自動校
正方法を提供することを目的とする。
メラが基準カメラと観測を共有する必要がなく、基準カ
メラと共有されない局所的な観測もカメラの位置・姿勢
推定に利用することができるようになるカメラの自動校
正方法を提供することを目的とする。
【００２１】また、この発明は、多視点画像による移動
物体追跡システムにおいて、観測部の追加削除を容易に
行うことが可能となる、カメラの自動校正方法を提供す
ることを目的とする。
物体追跡システムにおいて、観測部の追加削除を容易に
行うことが可能となる、カメラの自動校正方法を提供す
ることを目的とする。
【００２２】
【課題を解決するための手段】この発明は、複数のカメ
ラを備えたシステムにおけるカメラの自動校正方法にお
いて、各カメラ毎に、周囲のカメラと共有する観測情報
と、周囲のカメラの現在の位置および姿勢推定値とに基
づいて、自己のカメラの位置および姿勢推定値を更新す
るようにしたことを特徴とする。
ラを備えたシステムにおけるカメラの自動校正方法にお
いて、各カメラ毎に、周囲のカメラと共有する観測情報
と、周囲のカメラの現在の位置および姿勢推定値とに基
づいて、自己のカメラの位置および姿勢推定値を更新す
るようにしたことを特徴とする。
【００２３】観測情報は、たとえば、カメラの画像面上
での観測対象像の２次元座標値および観測対象像の大き
さである。
での観測対象像の２次元座標値および観測対象像の大き
さである。
【００２４】自己のカメラの位置および姿勢推定値を更
新するための処理は、たとえば、周囲の他のカメラと共
有する観測情報と、自己のカメラおよび当該他のカメラ
の現在の位置および姿勢推定値とに基づいて、自己のカ
メラと当該他のカメラとの相対姿勢および相対位置に関
する情報を算出する第１ステップ、ならびに第１ステッ
プによって算出された相対姿勢および相対位置に関する
情報に基づいて、自己のカメラの位置および姿勢推定値
を更新する第２ステップを備えている。
新するための処理は、たとえば、周囲の他のカメラと共
有する観測情報と、自己のカメラおよび当該他のカメラ
の現在の位置および姿勢推定値とに基づいて、自己のカ
メラと当該他のカメラとの相対姿勢および相対位置に関
する情報を算出する第１ステップ、ならびに第１ステッ
プによって算出された相対姿勢および相対位置に関する
情報に基づいて、自己のカメラの位置および姿勢推定値
を更新する第２ステップを備えている。
【００２５】各カメラは、周囲の各カメラの姿勢推定
値、自己のカメラと周囲の各カメラとの姿勢推定精度に
関する情報、周囲の各カメラの位置推定値および自己の
カメラと周囲の各カメラとの位置推定精度に関する情報
を保持している。そして、上記第２ステップは、上記第
１ステップによって算出された相対姿勢に関する情報
と、自己のカメラが保持している周囲の各カメラの姿勢
推定値および自己のカメラと周囲の各カメラとの姿勢推
定精度に関する情報とに基づいて、自己の姿勢推定値を
更新するステップ、ならびに上記第１ステップによって
算出された相対位置に関する情報と、自己のカメラが保
持している周囲の各カメラの位置推定値および自己のカ
メラと周囲の各カメラとの位置推定精度に関する情報と
に基づいて、自己の位置推定値を更新するステップを備
えている。
値、自己のカメラと周囲の各カメラとの姿勢推定精度に
関する情報、周囲の各カメラの位置推定値および自己の
カメラと周囲の各カメラとの位置推定精度に関する情報
を保持している。そして、上記第２ステップは、上記第
１ステップによって算出された相対姿勢に関する情報
と、自己のカメラが保持している周囲の各カメラの姿勢
推定値および自己のカメラと周囲の各カメラとの姿勢推
定精度に関する情報とに基づいて、自己の姿勢推定値を
更新するステップ、ならびに上記第１ステップによって
算出された相対位置に関する情報と、自己のカメラが保
持している周囲の各カメラの位置推定値および自己のカ
メラと周囲の各カメラとの位置推定精度に関する情報と
に基づいて、自己の位置推定値を更新するステップを備
えている。
【００２６】自己のカメラの位置および姿勢推定値を更
新するための処理は、各カメラにおいて新たな観測情報
が得られる度に行われることが好ましい。世界座標を決
定するために、最低限１台のカメラの世界座標系での姿
勢と、最低限２台のカメラの世界座標系での位置とが基
準として与えられていることが好ましい。
新するための処理は、各カメラにおいて新たな観測情報
が得られる度に行われることが好ましい。世界座標を決
定するために、最低限１台のカメラの世界座標系での姿
勢と、最低限２台のカメラの世界座標系での位置とが基
準として与えられていることが好ましい。
【００２７】観測情報は、たとえば、最低２台のカメラ
間で共有されるカメラの画像面上での観測対象像の２次
元座標値である。この場合には、自己のカメラの位置お
よび姿勢推定値を更新するための処理においては、たと
えば、周囲の他のカメラと共有する観測情報と、当該他
のカメラの現在の位置および姿勢推定値とに基づいて、
自己のカメラの位置および姿勢推定値を更新するといっ
た処理が、各カメラ毎に分散的に行われる。
間で共有されるカメラの画像面上での観測対象像の２次
元座標値である。この場合には、自己のカメラの位置お
よび姿勢推定値を更新するための処理においては、たと
えば、周囲の他のカメラと共有する観測情報と、当該他
のカメラの現在の位置および姿勢推定値とに基づいて、
自己のカメラの位置および姿勢推定値を更新するといっ
た処理が、各カメラ毎に分散的に行われる。
【００２８】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
の実施の形態について説明する。
【００２９】まず、本発明者らが既に開発している非同
期多視点画像による人物追跡システムについて説明し、
その後に本願発明の特徴であるカメラの自動校正方法に
ついて説明する。
期多視点画像による人物追跡システムについて説明し、
その後に本願発明の特徴であるカメラの自動校正方法に
ついて説明する。
【００３０】〔１〕人物追跡システムについての説明
〔１−１〕人物追跡システムの全体的な構成についての
説明
説明
【００３１】図１は、人物追跡システムの全体的な構成
を示している。
を示している。
【００３２】人物追跡システムは、カメラ２＃１、２＃
２、…、２＃ｎ（以下、総称的にはカメラ２という）、
各カメラに対応して設けられた観測部４＃１、４＃２、
…、４＃ｎ（以下、総称的には観測部４という）、発見
部６および追跡部８を備えている。各観測部４、発見部
６および追跡部８は、たとえば、異なる計算機で構成さ
れ、それぞれの計算機はＬＡＮによって接続されてい
る。
２、…、２＃ｎ（以下、総称的にはカメラ２という）、
各カメラに対応して設けられた観測部４＃１、４＃２、
…、４＃ｎ（以下、総称的には観測部４という）、発見
部６および追跡部８を備えている。各観測部４、発見部
６および追跡部８は、たとえば、異なる計算機で構成さ
れ、それぞれの計算機はＬＡＮによって接続されてい
る。
【００３３】各観測部４は、対応するカメラ２から得ら
れた入力画像に基づいて特徴量抽出処理を行う。各観測
部４で得られた特徴量（代表点位置、頭頂点位置、服領
域の色等）は、追跡部８から送られてくる予測位置情報
をもとに追跡モデルと対応付けられた後、観測時刻情報
とともに追跡部８に送られる。追跡モデルと対応付けら
れた後に、各観測部４から追跡部８に送られる情報を対
応点の観測情報ということにする。
れた入力画像に基づいて特徴量抽出処理を行う。各観測
部４で得られた特徴量（代表点位置、頭頂点位置、服領
域の色等）は、追跡部８から送られてくる予測位置情報
をもとに追跡モデルと対応付けられた後、観測時刻情報
とともに追跡部８に送られる。追跡モデルと対応付けら
れた後に、各観測部４から追跡部８に送られる情報を対
応点の観測情報ということにする。
【００３４】追跡モデルとの対応がとれなかった特徴量
は発見部６に送られる。追跡モデルとの対応がとれなか
ったときに、各観測部４から発見部６に送られる情報を
未対応点の観測情報ということにする。なお、各観測部
４は独立に動作する。
は発見部６に送られる。追跡モデルとの対応がとれなか
ったときに、各観測部４から発見部６に送られる情報を
未対応点の観測情報ということにする。なお、各観測部
４は独立に動作する。
【００３５】発見部６では、観測部４から送られてきた
未対応点の観測情報を用いて、シーン中に新たに現れた
人物の検出を行う。新規人物の位置情報（初期値）は追
跡部８に送信され、追跡部８による追跡が開始される。
未対応点の観測情報を用いて、シーン中に新たに現れた
人物の検出を行う。新規人物の位置情報（初期値）は追
跡部８に送信され、追跡部８による追跡が開始される。
【００３６】追跡部８は、新規人物の位置情報を初期値
とし、対応点の観測情報を入力値として、カルマンフィ
ルタを用いて人物状態（位置・方向角・背丈等）を更新
し、さらに後述する観測モデルに基づいて位置を予測す
る。予測位置情報は観測部４に送信される。
とし、対応点の観測情報を入力値として、カルマンフィ
ルタを用いて人物状態（位置・方向角・背丈等）を更新
し、さらに後述する観測モデルに基づいて位置を予測す
る。予測位置情報は観測部４に送信される。
【００３７】〔１−２〕観測部についての説明
【００３８】観測部４によって行なわれる処理について
説明する。まず、入力画像を人物領域と背景領域に分割
する。領域分割手法としては、文献１４に記載されてい
る手法を用いることができる。
説明する。まず、入力画像を人物領域と背景領域に分割
する。領域分割手法としては、文献１４に記載されてい
る手法を用いることができる。
【００３９】文献１４：内海章，大谷淳. 画素値分布の
推定による時系列画像からの動物体領域抽出. 信学論，
Vol.J81-D-II, No. 8, pp. 1768-1775, 1998.
推定による時系列画像からの動物体領域抽出. 信学論，
Vol.J81-D-II, No. 8, pp. 1768-1775, 1998.
【００４０】次に、得られた人物領域に対して距離変換
を行う。つまり、人物領域を構成する各画素毎に、各画
素から人物領域の境界までの最短距離を求めて、得られ
た距離を当該画素の距離変換値とする。この結果、距離
変換された画像における人物領域内の各画素は、最近傍
の領域境界までの距離に応じた距離変換値を持つ。
を行う。つまり、人物領域を構成する各画素毎に、各画
素から人物領域の境界までの最短距離を求めて、得られ
た距離を当該画素の距離変換値とする。この結果、距離
変換された画像における人物領域内の各画素は、最近傍
の領域境界までの距離に応じた距離変換値を持つ。
【００４１】図２（ａ）は領域分割によって得られた２
値化画像を示し、図２（ｂ）は距離変換によって得られ
た距離変換画像を示している。図２（ｂ）では、距離変
換値が大きい画素ほど黒く表されている。
値化画像を示し、図２（ｂ）は距離変換によって得られ
た距離変換画像を示している。図２（ｂ）では、距離変
換値が大きい画素ほど黒く表されている。
【００４２】次に、人物領域内で距離変換値が最大とな
る点（重心点）Ｇをその領域の代表点（特徴点）として
選択する。さらに、画像中から頭頂点と足先点の位置、
胴体部分の色情報を抽出する。色情報は異なるカメラ間
での画像特徴の対応付けに用いられる。頭頂点と足先点
との画像上での距離は、特徴点（代表点）の大きさとし
て利用される。この後、抽出された特徴点と既に発見さ
れている追跡モデルとの間の対応付けを行なう。
る点（重心点）Ｇをその領域の代表点（特徴点）として
選択する。さらに、画像中から頭頂点と足先点の位置、
胴体部分の色情報を抽出する。色情報は異なるカメラ間
での画像特徴の対応付けに用いられる。頭頂点と足先点
との画像上での距離は、特徴点（代表点）の大きさとし
て利用される。この後、抽出された特徴点と既に発見さ
れている追跡モデルとの間の対応付けを行なう。
【００４３】抽出された特徴点と既に発見されている追
跡モデルと間の対応付けの方法について説明する。後述
するように、追跡部８では人物が等速運動をしていると
仮定しており、時刻ｔにおける人物ｈj の予測位置は２
次元のガウス分布で表される。ここでは、時刻ｔにおけ
る人物ｈj の世界座標（Ｘ，Ｙ）系での予測位置をＸ
hj,t、その平均をＸ￣hj,t、共分散行列をＳ￣hj,tとす
る。
跡モデルと間の対応付けの方法について説明する。後述
するように、追跡部８では人物が等速運動をしていると
仮定しており、時刻ｔにおける人物ｈj の予測位置は２
次元のガウス分布で表される。ここでは、時刻ｔにおけ
る人物ｈj の世界座標（Ｘ，Ｙ）系での予測位置をＸ
hj,t、その平均をＸ￣hj,t、共分散行列をＳ￣hj,tとす
る。
【００４４】予測位置の分布Ｎ（Ｘ￣hj,t，Ｓ￣hj,t）
を画像ｉに弱透視投影した結果は、次式（１）で示され
る確率Ｐi （ｘi ）からなる１次元ガウス分布ｎ（ｘ￣
hj,t ,i，ｓ￣hj,t,i）となり、これは画像ｉ上での人物
の存在確率を示している。ここで、ｘ￣hj,t,iは、Ｘ￣
hj,tを画像面上に投影したものを表し、ｓ￣hj,t,iはＳ
￣hj,tを画像面上に投影したものを表している。
を画像ｉに弱透視投影した結果は、次式（１）で示され
る確率Ｐi （ｘi ）からなる１次元ガウス分布ｎ（ｘ￣
hj,t ,i，ｓ￣hj,t,i）となり、これは画像ｉ上での人物
の存在確率を示している。ここで、ｘ￣hj,t,iは、Ｘ￣
hj,tを画像面上に投影したものを表し、ｓ￣hj,t,iはＳ
￣hj,tを画像面上に投影したものを表している。
【００４５】
【数１】
【００４６】頭頂点の高さおよび服の色の分布も考慮
し、追跡モデルに対して観測値の生起確率を最大にする
特徴点を観測時間での人物ｈj に対応する観測とし、ｈ
j のラベルを付ける（上記文献３参照）。
し、追跡モデルに対して観測値の生起確率を最大にする
特徴点を観測時間での人物ｈj に対応する観測とし、ｈ
j のラベルを付ける（上記文献３参照）。
【００４７】ラベル付けられた特徴点は、対応点の観測
情報として追跡部８に送信される。ただし、複数の人物
に対応付けられた特徴点は、観測時にオクルージョンが
発生していると判断し、送信されない。
情報として追跡部８に送信される。ただし、複数の人物
に対応付けられた特徴点は、観測時にオクルージョンが
発生していると判断し、送信されない。
【００４８】これらの処理の後、対応付けがされていな
い特徴点が存在する場合には、これらの特徴点は、新規
人物に属すると考えられるので、未対応点の観測情報
（位置・時刻）として発見部６に送られる。
い特徴点が存在する場合には、これらの特徴点は、新規
人物に属すると考えられるので、未対応点の観測情報
（位置・時刻）として発見部６に送られる。
【００４９】〔１−３〕発見部についての説明
【００５０】発見部６は、新たにシーンに登場した人物
を検出し、対応するモデルを追跡部８に追加する。
を検出し、対応するモデルを追跡部８に追加する。
【００５１】観測情報は非同期に獲得されるため、通常
のステレオ対応をそのまま適用することはできない。そ
こでカルマンフィルタを利用した時系列情報による対応
（発見）手法を用いる（上記文献２参照）。
のステレオ対応をそのまま適用することはできない。そ
こでカルマンフィルタを利用した時系列情報による対応
（発見）手法を用いる（上記文献２参照）。
【００５２】観測部４から発見部６に送られてきた未対
応点の観測情報のうち、異なる４時刻の観測情報を各１
点ずつ選出してカルマンフィルタの更新処理を行い、得
られた予測軌跡と各観測情報の誤差が一定の閾値以内で
あれば、新規人物に属する特徴点集合とし、最新観測時
刻における推定位置を初期発見位置として追跡部８に送
信する。
応点の観測情報のうち、異なる４時刻の観測情報を各１
点ずつ選出してカルマンフィルタの更新処理を行い、得
られた予測軌跡と各観測情報の誤差が一定の閾値以内で
あれば、新規人物に属する特徴点集合とし、最新観測時
刻における推定位置を初期発見位置として追跡部８に送
信する。
【００５３】〔１−４〕追跡部についての説明
【００５４】追跡中の人物モデルは、各観測部４におい
て追跡モデルと対応付けられた画像特徴を用いて更新さ
れる（上記文献２参照）。
て追跡モデルと対応付けられた画像特徴を用いて更新さ
れる（上記文献２参照）。
【００５５】図３は、位置推定に用いられる観測モデル
を示している。図３において、ｌiはカメラ２＃ｉとそ
の画像面２０＃ｉとの距離（焦点距離）を示し、Ｌhj,i
はカメラ２＃ｉと人物ｈｊとの距離を示している。ま
た、ψhj,iはカメラ２＃ｉと人物ｈｊとを結ぶ線とＹ軸
とのなす角度を示している。
を示している。図３において、ｌiはカメラ２＃ｉとそ
の画像面２０＃ｉとの距離（焦点距離）を示し、Ｌhj,i
はカメラ２＃ｉと人物ｈｊとの距離を示している。ま
た、ψhj,iはカメラ２＃ｉと人物ｈｊとを結ぶ線とＹ軸
とのなす角度を示している。
【００５６】ここでは、人物ｈｊは等速度運動をしてい
るものと仮定し、時刻ｔにおける人物ｈj の状態を、世
界座標（Ｘ，Ｙ）系上で、次式（２）で表す。
るものと仮定し、時刻ｔにおける人物ｈj の状態を、世
界座標（Ｘ，Ｙ）系上で、次式（２）で表す。
【００５７】
【数２】
【００５８】上部に”・”が付けられた記号ＸhjはＸ方
向の速度を、上部に”・”が付けられた記号ＹhjはＹ方
向の速度をそれぞれ表している。ただし初期状態は、発
見部６から送信される新規モデル情報によって決定され
る。行列に付される”’”は転置を表している。
向の速度を、上部に”・”が付けられた記号ＹhjはＹ方
向の速度をそれぞれ表している。ただし初期状態は、発
見部６から送信される新規モデル情報によって決定され
る。行列に付される”’”は転置を表している。
【００５９】ここで観測部４＃ｉにより、１回の観測が
行われたとする。観測部４＃ｉから送られてきた観測情
報により、この観測は次式（３）のように表すことがで
きる。
行われたとする。観測部４＃ｉから送られてきた観測情
報により、この観測は次式（３）のように表すことがで
きる。
【００６０】
【数３】
【００６１】ここでＣi はカメラ位置、Ｒψhj,t,iはエ
ピポーラ線とＹ軸のなす角度ψhj,t ,iの時計回りの回転
である（Ｈ＝［１０００］）。ｅは観測誤差で平均０、
標準偏差σhj,t,iとする。σhj,t,iはカメラからの距離
が大きくなるほど増加すると考え、次式（４）のように
表す。
ピポーラ線とＹ軸のなす角度ψhj,t ,iの時計回りの回転
である（Ｈ＝［１０００］）。ｅは観測誤差で平均０、
標準偏差σhj,t,iとする。σhj,t,iはカメラからの距離
が大きくなるほど増加すると考え、次式（４）のように
表す。
【００６２】
【数４】
【００６３】ここで、カメラＣi と人物Ｘhj,tとの間の
距離Ｌhj,t,iは未知のため、Ｘhj,tの予測位置Ｘ￣hj,t
により計算したＬ￣hj,t,iで近似する。
距離Ｌhj,t,iは未知のため、Ｘhj,tの予測位置Ｘ￣hj,t
により計算したＬ￣hj,t,iで近似する。
【００６４】以上の観測モデルによりカルマンフィルタ
を構成し、人物ｈj の状態を更新する。
を構成し、人物ｈj の状態を更新する。
【００６５】各カメラ毎に独立に更新処理を行い、人物
状態予測を行う。時刻ｔ＋１における人物ｈj の状態予
測は、平均をＸ￣hj,t+1、共分散行列をＳ￣hj,t+1とす
るガウス分布で与えられる。状態予測結果は、観測部４
の要求に応じて計算・送信され、上述したように特徴点
の対応付けに利用される。検出範囲外へ移動した人物モ
デルは削除し、その人物の追跡を中止する。
状態予測を行う。時刻ｔ＋１における人物ｈj の状態予
測は、平均をＸ￣hj,t+1、共分散行列をＳ￣hj,t+1とす
るガウス分布で与えられる。状態予測結果は、観測部４
の要求に応じて計算・送信され、上述したように特徴点
の対応付けに利用される。検出範囲外へ移動した人物モ
デルは削除し、その人物の追跡を中止する。
【００６６】上記人物追跡システムでは、各カメラ２に
よる観測を独立した観測部４によって処理しており、カ
メラの追加、削除が容易に行えるという利点を持ってい
る。このような分散型の追跡システムでは、カメラの位
置・姿勢情報についても、各カメラが独立に維持・管理
することが処理効率・対障害性の確保から望ましいとい
える。以下、本発明の特徴である分散型のカメラ位置・
姿勢推定アルゴリズムについて説明する。
よる観測を独立した観測部４によって処理しており、カ
メラの追加、削除が容易に行えるという利点を持ってい
る。このような分散型の追跡システムでは、カメラの位
置・姿勢情報についても、各カメラが独立に維持・管理
することが処理効率・対障害性の確保から望ましいとい
える。以下、本発明の特徴である分散型のカメラ位置・
姿勢推定アルゴリズムについて説明する。
【００６７】〔２〕カメラ位置・姿勢推定アルゴリズム
（カメラ校正アルゴリズム）の説明
（カメラ校正アルゴリズム）の説明
【００６８】多数のカメラの位置・姿勢を同時に推定す
るためには、現在の推定値、共分散行列等の校正情報を
保持する必要があるが、カメラ数の増加とともに保持す
べき校正情報量も増加し、大規模なシステムで全てのカ
メラの位置・姿勢推定に関する情報を一元的に保持する
ことは困難となる。
るためには、現在の推定値、共分散行列等の校正情報を
保持する必要があるが、カメラ数の増加とともに保持す
べき校正情報量も増加し、大規模なシステムで全てのカ
メラの位置・姿勢推定に関する情報を一元的に保持する
ことは困難となる。
【００６９】そこで、カメラの位置・姿勢推定に関する
情報は、各カメラ（観測部）毎に分散して保持される。
情報は、各カメラ（観測部）毎に分散して保持される。
【００７０】図４は、カメラ位置・姿勢推定の流れを示
している。
している。
【００７１】図４において、Ｃi （ｉ＝１，２，…ｋ，
…，Ｎ）はカメラを、ｔi は各カメラの位置を、Ｒi は
各カメラの姿勢を、Σiiは位置推定値に関する共分散行
列を、Ｍijは姿勢推定値に関する行列を示している。
…，Ｎ）はカメラを、ｔi は各カメラの位置を、Ｒi は
各カメラの姿勢を、Σiiは位置推定値に関する共分散行
列を、Ｍijは姿勢推定値に関する行列を示している。
【００７２】各カメラＣi は、新たな観測が得られるた
びに周囲のカメラと共有する観測情報と、周囲のカメラ
のその時点での位置推定値および姿勢推定値を用いて自
身の位置および姿勢を修正する。ここで、周囲のカメラ
とは、自己のカメラと観測情報を共有する可能性がある
カメラをいう。位置および姿勢を修正する際、基準カメ
ラの位置・姿勢にはより高い重みが与えられる。なお、
この実施の形態では、世界座標を決定するために、カメ
ラ１台の姿勢と、カメラ２台の位置が基準として与えら
れる。
びに周囲のカメラと共有する観測情報と、周囲のカメラ
のその時点での位置推定値および姿勢推定値を用いて自
身の位置および姿勢を修正する。ここで、周囲のカメラ
とは、自己のカメラと観測情報を共有する可能性がある
カメラをいう。位置および姿勢を修正する際、基準カメ
ラの位置・姿勢にはより高い重みが与えられる。なお、
この実施の形態では、世界座標を決定するために、カメ
ラ１台の姿勢と、カメラ２台の位置が基準として与えら
れる。
【００７３】〔２−１〕位置・姿勢推定に用いられる観
測情報についての説明
測情報についての説明
【００７４】位置・姿勢推定値の更新に利用する観測情
報について説明する。
報について説明する。
【００７５】ここでは、カメラＣk について、カメラＣ
l と共有する複数回の観測から、カメラＣk とカメラＣ
l との間の相対姿勢（Ｒl Ｒk -1）に関する行列ｍ
klと、カメラＣk のカメラ座標系でのカメラＣl の方向
（相対位置）ｙkl（＝Ｒk （ｔl−ｔk ））とが観測情
報として得られるものとする。なお、相対姿勢に関する
行列ｍklと相対位置ｙklとは、上述した画像特徴（代表
点位置、頭頂点と足先点との画像上での距離）から求め
られるが、その方法については後述する。
l と共有する複数回の観測から、カメラＣk とカメラＣ
l との間の相対姿勢（Ｒl Ｒk -1）に関する行列ｍ
klと、カメラＣk のカメラ座標系でのカメラＣl の方向
（相対位置）ｙkl（＝Ｒk （ｔl−ｔk ））とが観測情
報として得られるものとする。なお、相対姿勢に関する
行列ｍklと相対位置ｙklとは、上述した画像特徴（代表
点位置、頭頂点と足先点との画像上での距離）から求め
られるが、その方法については後述する。
【００７６】相対姿勢に関する行列ｍklは、次のように
定義される。
定義される。
【００７７】カメラＣk ，Ｃl と同じ姿勢を持つカメラ
Ｃk ’，Ｃl ’がともに世界座標原点にあるとする。カ
メラＣk ，Ｃl の姿勢をＲk ，Ｒl とすると、Ｃk ’の
カメラ座標系上での方向Ｘk,d に観測される観測点ｄ
は、カメラＣl ’上では次式（５）で示す方向Ｘl,d に
観測される。
Ｃk ’，Ｃl ’がともに世界座標原点にあるとする。カ
メラＣk ，Ｃl の姿勢をＲk ，Ｒl とすると、Ｃk ’の
カメラ座標系上での方向Ｘk,d に観測される観測点ｄ
は、カメラＣl ’上では次式（５）で示す方向Ｘl,d に
観測される。
【００７８】
【数５】
【００７９】上記式（５）において、ｅは観測誤差であ
る。
る。
【００８０】相対姿勢に関する行列ｍklは、次式（６）
に基づいて算出される。
に基づいて算出される。
【００８１】
【数６】
【００８２】上記式（６）において、Ｘl,d に付された
記号”’”は転置を表している。ｆは観測回数を表して
いる。カメラＣk ，Ｃl 間の相対姿勢Ｒl Ｒk -1は、上
記式（６）から、特異値分解を利用して求めることがで
きる（文献１５参照）。
記号”’”は転置を表している。ｆは観測回数を表して
いる。カメラＣk ，Ｃl 間の相対姿勢Ｒl Ｒk -1は、上
記式（６）から、特異値分解を利用して求めることがで
きる（文献１５参照）。
【００８３】文献１５： F．Landis Markley. Attitude
determination using vector observations and the s
ingular value decomposition. the Journal of the As
tronautical Sciences, Vol. 36, No.3, pp. 245-258,
1988.
determination using vector observations and the s
ingular value decomposition. the Journal of the As
tronautical Sciences, Vol. 36, No.3, pp. 245-258,
1988.
【００８４】図５に示すように、カメラＣk と各カメラ
について求まった相対姿勢に関する行列ｍkiおよび相対
位置ｙkiから、カメラＣk の位置ｔk および姿勢Ｒk が
推定される。
について求まった相対姿勢に関する行列ｍkiおよび相対
位置ｙkiから、カメラＣk の位置ｔk および姿勢Ｒk が
推定される。
【００８５】〔２−２〕位置・姿勢の更新についての説
明
明
【００８６】以下、カメラＣk から見たカメラＣk ，Ｃ
l 間の相対姿勢に関する行列ｍklおよび相対位置ｙklを
用いてカメラＣk の位置ｔk および姿勢Ｒk を更新する
ことについて説明する。
l 間の相対姿勢に関する行列ｍklおよび相対位置ｙklを
用いてカメラＣk の位置ｔk および姿勢Ｒk を更新する
ことについて説明する。
【００８７】〔２−２−１〕初期状態
まず、各カメラの位置ｔi 、位置推定値に関する共分散
行列Σii、姿勢Ｒi 、姿勢推定に関する行列Ｍijの初期
状態について説明する。
行列Σii、姿勢Ｒi 、姿勢推定に関する行列Ｍijの初期
状態について説明する。
【００８８】位置の基準となる基準カメラＣt1, … Ｃ
tn（ｎ≧２）については、世界座標上での位置ｔt1 ,…
ｔtnを初期値として与える。
tn（ｎ≧２）については、世界座標上での位置ｔt1 ,…
ｔtnを初期値として与える。
【００８９】共分散行列Σiiについては、次式（７）に
示すような初期値を与える。
示すような初期値を与える。
【００９０】
【数７】
【００９１】上記式（７）において、ｐ1 ，ｐ2 は重み
付け定数であり、ｐ1 ≪ｐ2 である。また、Ｉは単位行
列である。
付け定数であり、ｐ1 ≪ｐ2 である。また、Ｉは単位行
列である。
【００９２】姿勢の基準となる基準カメラＣr1, … Ｃ
rm（ｍ≧１）については、世界座標上での姿勢Ｒr1 ,…
Ｒrmを初期として与える。
rm（ｍ≧１）については、世界座標上での姿勢Ｒr1 ,…
Ｒrmを初期として与える。
【００９３】姿勢推定値に関する行列Ｍijについては、
次式（８）に示すような初期値を与える。
次式（８）に示すような初期値を与える。
【００９４】
【数８】
【００９５】上記式（８）において、ｑ1 ，ｑ2 は重み
付け定数であり、ｑ1 ≫ｑ2 である。また、Ｉは単位行
列である。
付け定数であり、ｑ1 ≫ｑ2 である。また、Ｉは単位行
列である。
【００９６】〔２−２−２〕位置・姿勢の更新
新たに観測が得られる度に、各カメラでの推定値を局所
的に最適化することにより、最終的に全カメラの位置・
姿勢推定値を得る。
的に最適化することにより、最終的に全カメラの位置・
姿勢推定値を得る。
【００９７】図５に示すように、カメラＣk は、自己の
周囲にある全てのカメラＣi （ｉ≠ｋ）の位置推定値ｔ
i 、姿勢推定値Ｒi 、位置推定値に関する共分散行列
（位置推定精度に関する情報）Σii、自己の姿勢に関す
る行列Ｍkk、さらに自己とカメラＣi との間の相対姿勢
に関する行列（姿勢推定精度に関する情報）Ｍkiを保持
している。
周囲にある全てのカメラＣi （ｉ≠ｋ）の位置推定値ｔ
i 、姿勢推定値Ｒi 、位置推定値に関する共分散行列
（位置推定精度に関する情報）Σii、自己の姿勢に関す
る行列Ｍkk、さらに自己とカメラＣi との間の相対姿勢
に関する行列（姿勢推定精度に関する情報）Ｍkiを保持
している。
【００９８】カメラＣk において、新たな観測ｙkl、ｍ
klが得られたときの姿勢推定値Ｒiおよび位置推定値ｔ
i の更新方法について説明する。
klが得られたときの姿勢推定値Ｒiおよび位置推定値ｔ
i の更新方法について説明する。
【００９９】まず、姿勢推定値Ｒi の更新について説明
する。
する。
【０１００】カメラＣk は、周囲のカメラの姿勢推定値
Ｒi と、カメラＣk と各カメラＣiとの相対姿勢に関す
る行列Ｍklを保持している。
Ｒi と、カメラＣk と各カメラＣiとの相対姿勢に関す
る行列Ｍklを保持している。
【０１０１】ここで、観測により得られた相対姿勢に関
する行列ｍklと次式（９）とを用いて、行列Ｍklを更新
する。次式（９）において添字（ｔ）および（ｔ−１）
は、時点を表している。
する行列ｍklと次式（９）とを用いて、行列Ｍklを更新
する。次式（９）において添字（ｔ）および（ｔ−１）
は、時点を表している。
【０１０２】
【数９】
【０１０３】上記式（９）において、ｕは忘却係数であ
る。
る。
【０１０４】次に、次式（１０）を用いて、自己の姿勢
に関する行列Ｍkkを更新する。この際、Ｍkl (t) として
は、更新された行列Ｍklが用いられる。
に関する行列Ｍkkを更新する。この際、Ｍkl (t) として
は、更新された行列Ｍklが用いられる。
【０１０５】
【数１０】
【０１０６】新たな姿勢推定値Ｒk は、Ｍkkを特異値分
解することによって得られる。
解することによって得られる。
【０１０７】次に、位置推定値ｔi の更新について説明
する。
する。
【０１０８】カメラＣk は、各カメラの位置に関して現
時点での位置推定値ｔi と、各カメラとの共分散行列Σ
iiを保持している。
時点での位置推定値ｔi と、各カメラとの共分散行列Σ
iiを保持している。
【０１０９】観測により得られた相対位置ｙklと次式
（１１）とを用いて、新たな位置推定値ｔk を求める。
（１１）とを用いて、新たな位置推定値ｔk を求める。
【０１１０】
【数１１】
【０１１１】上記式（１１）において、Ｈは、次式（１
２）で表される。
２）で表される。
【０１１２】
【数１２】
【０１１３】Ｒklは、次式（１３）を満たす回転行列で
ある。
ある。
【０１１４】
【数１３】
【０１１５】また、位置推定値に関する共分散行列Σkk
を、次式（１４）を用いて、更新する。
を、次式（１４）を用いて、更新する。
【０１１６】
【数１４】
【０１１７】ただし、Ｋは、次式（１５）で表される。
【０１１８】
【数１５】
【０１１９】上記式（１５）において、Ｇは、観測誤差
である。
である。
【０１２０】なお、上記式（１１）、（１２）、（１
４）、（１５）は、カルマンフィルタの更新式である。
４）、（１５）は、カルマンフィルタの更新式である。
【０１２１】〔２−３〕画像特徴からｍkl，ｙklを求め
る方法についての説明 図６に示すように、世界座標系（ＸＹＺ）における人物
（特徴点）の３次元位置ＸのカメラＣk の画像面上の観
測位置をｘk とし、３次元位置ＸのカメラＣlの画像面
上の観測位置をｘl とする。
る方法についての説明 図６に示すように、世界座標系（ＸＹＺ）における人物
（特徴点）の３次元位置ＸのカメラＣk の画像面上の観
測位置をｘk とし、３次元位置ＸのカメラＣlの画像面
上の観測位置をｘl とする。
【０１２２】カメラＣk の内部パラメータ行列Ａk を既
知とすると、世界座標系における人物の３次元位置Ｘ
と、カメラＣk の画像面上での当該人物の観測位置ｘk
との関係は、世界座標系に対するカメラＣk の姿勢を表
す回転行列Ｒk と位置を表す並進ベクトルｔk とにより
次式（１６）のように表される。
知とすると、世界座標系における人物の３次元位置Ｘ
と、カメラＣk の画像面上での当該人物の観測位置ｘk
との関係は、世界座標系に対するカメラＣk の姿勢を表
す回転行列Ｒk と位置を表す並進ベクトルｔk とにより
次式（１６）のように表される。
【０１２３】
【数１６】
【０１２４】ここで、カメラＣk のカメラ座標系（Ｘck
ＹckＺck）での上記人物の３次元位置をＸckとすると、
ＸckとＸとの間には次式（１７）の関係が成立する。
ＹckＺck）での上記人物の３次元位置をＸckとすると、
ＸckとＸとの間には次式（１７）の関係が成立する。
【０１２５】
【数１７】
【０１２６】つまり、カメラＣk の画像面上での人物の
観測位置ｘk と、カメラＣk のカメラ座標系での当該人
物の３次元位置Ｘckとの関係は、次式（１８）で表され
る。
観測位置ｘk と、カメラＣk のカメラ座標系での当該人
物の３次元位置Ｘckとの関係は、次式（１８）で表され
る。
【０１２７】
【数１８】
【０１２８】上記式（１８）を変形することによって、
次式（１９）が得られる。
次式（１９）が得られる。
【０１２９】
【数１９】
【０１３０】Ｘck のｚ成分をＺxck とすると、Ｚxck
は次式（２０）で表される。
は次式（２０）で表される。
【０１３１】
【数２０】
【０１３２】一方、画像特徴に関して弱透視変換を仮定
し、画像面上での特徴点ｘk の大きさ（この実施の形態
では、頭頂点と足先点との画像上での距離）をｗk とす
ると、Ｚxck は次式（２１）で表される。
し、画像面上での特徴点ｘk の大きさ（この実施の形態
では、頭頂点と足先点との画像上での距離）をｗk とす
ると、Ｚxck は次式（２１）で表される。
【０１３３】
【数２１】
【０１３４】上記式（２０）と上記式（２１）とによ
り、次式（２２）が成立する。
り、次式（２２）が成立する。
【０１３５】
【数２２】
【０１３６】ａ3 ＝〔０ ０ １〕であるため、式（２
２）は、次式（２３）に書き換えられる。
２）は、次式（２３）に書き換えられる。
【０１３７】
【数２３】
【０１３８】上記式（１８）と上記式（２３）から、次
式（２４）が得られる。
式（２４）が得られる。
【０１３９】
【数２４】
【０１４０】カメラＣl のカメラ座標系（ＸclＹ
clＺcl）での上記人物の３次元位置をＸclとすると、Ｘ
clもＸckと同様に求められ、次式（２５）で表される。
clＺcl）での上記人物の３次元位置をＸclとすると、Ｘ
clもＸckと同様に求められ、次式（２５）で表される。
【０１４１】
【数２５】
【０１４２】上記式（２５）において、Ａl はカメラＣ
l の内部パラメータ行列であり、ｗ l はカメラＣl の画
像面上での特徴点ｘl の大きさ（この実施の形態では、
頭頂点と足先点との画像上での距離）である。
l の内部パラメータ行列であり、ｗ l はカメラＣl の画
像面上での特徴点ｘl の大きさ（この実施の形態では、
頭頂点と足先点との画像上での距離）である。
【０１４３】Ｒl を世界座標に対するカメラＣl の姿勢
を表す回転行列とし、ｔl を世界座標に対するカメラＣ
l の位置を表す並進ベクトルとする。そして、ｆ回の観
測について考えると、次式（２６）が得られる。
を表す回転行列とし、ｔl を世界座標に対するカメラＣ
l の位置を表す並進ベクトルとする。そして、ｆ回の観
測について考えると、次式（２６）が得られる。
【０１４４】
【数２６】
【０１４５】上記式（２６）から、ｆ回分のＸckの平均
を求めると、次式（２７）が得られる。
を求めると、次式（２７）が得られる。
【０１４６】
【数２７】
【０１４７】上記式（２６）、（２７）から、次式（２
８）が求められる。
８）が求められる。
【０１４８】
【数２８】
【０１４９】上記式（２８）を満たす回転行列は、次式
（２９）を最小とするＲk ＲL -1である。
（２９）を最小とするＲk ＲL -1である。
【０１５０】
【数２９】
【０１５１】この解は、次式（３０）の行列ｍklを特異
値分解することによって求められる。
値分解することによって求められる。
【０１５２】
【数３０】
【０１５３】一方、カメラＣk のカメラ座標系から見た
カメラＣl の方向ベクトルｙkl（＝Ｒk （ｔl −
ｔk ））は、得られた相対姿勢Ｒk ＲL -1を、上記式
（２７）に代入することにより、求められる。
カメラＣl の方向ベクトルｙkl（＝Ｒk （ｔl −
ｔk ））は、得られた相対姿勢Ｒk ＲL -1を、上記式
（２７）に代入することにより、求められる。
【０１５４】〔２−４〕検証実験
【０１５５】上記校正方法の有効性を確かめるために、
次のような実験を行った。
次のような実験を行った。
【０１５６】５台のカメラ（カメラ1 〜5)を用い、世界
座標系を決めるためにカメラ1 の位置および姿勢と、カ
メラ2 の位置は予め与えた。
座標系を決めるためにカメラ1 の位置および姿勢と、カ
メラ2 の位置は予め与えた。
【０１５７】シーン中の150 ×150 ×150[cm] の領域か
ら10000 点をランダムに選択し、各点について、５台の
カメラからランダムに２台のカメラを選択した。その２
台による２次元観測位置と２次元の大きさを計算し、さ
らにガウス誤差を加えたものを、各カメラでの観測とし
た。
ら10000 点をランダムに選択し、各点について、５台の
カメラからランダムに２台のカメラを選択した。その２
台による２次元観測位置と２次元の大きさを計算し、さ
らにガウス誤差を加えたものを、各カメラでの観測とし
た。
【０１５８】各カメラに保存されている位置・姿勢に関
する校正情報を、各観測によって更新した。
する校正情報を、各観測によって更新した。
【０１５９】図７は、全カメラのカメラパラメータの推
定結果を示している。
定結果を示している。
【０１６０】図７において、左側のグラフはカメラ位置
Ｘ、Ｙ、Ｚの推定結果を示している。図７において、右
側のグラフはカメラ姿勢を表すオイラー角α、β、γの
推定結果を示している。なお、これらのグラフの横軸は
データ数を表している。
Ｘ、Ｙ、Ｚの推定結果を示している。図７において、右
側のグラフはカメラ姿勢を表すオイラー角α、β、γの
推定結果を示している。なお、これらのグラフの横軸は
データ数を表している。
【０１６１】図７からわかるように、校正の初期段階で
は、位置・姿勢とも大きな誤差を含んでいる。しかし、
データ数の増加に伴い推定誤差が減少しており、最終的
には位置で平均７．３５[cm]、姿勢で平均０．８５[de
g] の高い推定精度が得られていることがわかる。以上
の結果から、上記実施の形態で示した校正手法によって
多数のカメラの位置・姿勢推定が行えることが示され
た。
は、位置・姿勢とも大きな誤差を含んでいる。しかし、
データ数の増加に伴い推定誤差が減少しており、最終的
には位置で平均７．３５[cm]、姿勢で平均０．８５[de
g] の高い推定精度が得られていることがわかる。以上
の結果から、上記実施の形態で示した校正手法によって
多数のカメラの位置・姿勢推定が行えることが示され
た。
【０１６２】〔３〕カメラ位置・姿勢推定アルゴリズム
（カメラ校正アルゴリズム）の変形例の説明
（カメラ校正アルゴリズム）の変形例の説明
【０１６３】この変形例では、２台のカメラ間で共有さ
れる観測情報を用いて、カメラ間の幾何学的整合性をと
のながらシステム内の全てのカメラの位置・姿勢を推定
する。世界座標系を与えるための基準としては、２台の
カメラ位置、１台のカメラ姿勢を与えることが必要であ
る。これらの基準カメラは必ずしも校正対象の全てのカ
メラと観測を共有する必要はない。
れる観測情報を用いて、カメラ間の幾何学的整合性をと
のながらシステム内の全てのカメラの位置・姿勢を推定
する。世界座標系を与えるための基準としては、２台の
カメラ位置、１台のカメラ姿勢を与えることが必要であ
る。これらの基準カメラは必ずしも校正対象の全てのカ
メラと観測を共有する必要はない。
【０１６４】各カメラ上で得られる２次元観測情報は、
次のようにして得られる。まず、入力画像を人物領域と
背景領域とに分割する。人物領域からカメラ位置・姿勢
推定に用いる２次元観測情報として、頭頂点と足先点を
抽出する。
次のようにして得られる。まず、入力画像を人物領域と
背景領域とに分割する。人物領域からカメラ位置・姿勢
推定に用いる２次元観測情報として、頭頂点と足先点を
抽出する。
【０１６５】以下、上述した人物追跡システムのような
多視点システムにおいて、２台のカメラ間で共有される
観測情報を用いて、カメラ間の幾何学的整合性をとのな
がらシステム内の全てのカメラの位置・姿勢を推定する
手法について説明する。
多視点システムにおいて、２台のカメラ間で共有される
観測情報を用いて、カメラ間の幾何学的整合性をとのな
がらシステム内の全てのカメラの位置・姿勢を推定する
手法について説明する。
【０１６６】カメラの位置・姿勢を推定するためには、
各カメラの位置・姿勢の推定値を保持する必要がある。
しかし、カメラ数の増加にともない保持すべき情報は増
加し、一元的に管理するのは困難となる。そのため、本
手法では、観測情報を各カメラ毎に分散して保持し、カ
メラの位置・姿勢推定を分散的に行うことを考える。
各カメラの位置・姿勢の推定値を保持する必要がある。
しかし、カメラ数の増加にともない保持すべき情報は増
加し、一元的に管理するのは困難となる。そのため、本
手法では、観測情報を各カメラ毎に分散して保持し、カ
メラの位置・姿勢推定を分散的に行うことを考える。
【０１６７】まず、Tsai（文献１６参照）のアルゴリズ
ムにより各カメラの内部パラメータを計算する。内部パ
ラメータは他のカメラの存在や位置・姿勢の変化とは独
立であるため、内部パラメータと位置・姿勢を分離して
計算しても問題ないものと考えられる。以後の処理で
は、各カメラの内部パラメータは既知・一定であるとし
て、カメラの位置・姿勢のみを推定する。
ムにより各カメラの内部パラメータを計算する。内部パ
ラメータは他のカメラの存在や位置・姿勢の変化とは独
立であるため、内部パラメータと位置・姿勢を分離して
計算しても問題ないものと考えられる。以後の処理で
は、各カメラの内部パラメータは既知・一定であるとし
て、カメラの位置・姿勢のみを推定する。
【０１６８】文献１６： Roger Y.Tsai. A versatile c
amera calibration technique forhigh-accuracy 3d ma
chine vision metrology using off-the shelf tv came
ras and lenses. IEEE Journal of Robotics and Autom
ation, Vol. 3, No.4, pp.323-344, 1987.
amera calibration technique forhigh-accuracy 3d ma
chine vision metrology using off-the shelf tv came
ras and lenses. IEEE Journal of Robotics and Autom
ation, Vol. 3, No.4, pp.323-344, 1987.
【０１６９】図８は、カメラ位置・姿勢推定の流れを示
している。
している。
【０１７０】各カメラでは、観測を共有する周囲のカメ
ラの観測情報、位置・姿勢推定値を利用して、自己のカ
メラの位置・姿勢を推定する。新たな観測が得られる度
に推定を繰り返す。全てのカメラで上記処理を分散的に
繰り返すことにより、システム全体のカメラ位置・姿勢
を求めることができる。
ラの観測情報、位置・姿勢推定値を利用して、自己のカ
メラの位置・姿勢を推定する。新たな観測が得られる度
に推定を繰り返す。全てのカメラで上記処理を分散的に
繰り返すことにより、システム全体のカメラ位置・姿勢
を求めることができる。
【０１７１】以下、カメラ位置・姿勢推定の詳細につい
て説明する。
て説明する。
【０１７２】〔３−１〕２カメラ間の幾何学的拘束
【０１７３】ここでは、２カメラ間で得られる観測に関
するエピポーラ幾何について簡単に説明する。
するエピポーラ幾何について簡単に説明する。
【０１７４】カメラＣk とカメラＣl が同じ３次元点ｉ
を観測しているとし、カメラＣk 、Ｃl 上での２次元観
測位置をそれぞれｘk,i ＝（ｘk,i,ｙk,i ），ｘl,i ＝
（ｘ l,i,ｙl,i ）t とする。
を観測しているとし、カメラＣk 、Ｃl 上での２次元観
測位置をそれぞれｘk,i ＝（ｘk,i,ｙk,i ），ｘl,i ＝
（ｘ l,i,ｙl,i ）t とする。
【０１７５】これらの観測を同次座標系で次式（３
１）、（３２）のように表す。
１）、（３２）のように表す。
【０１７６】
【数３１】
【０１７７】ただし、ｆk,ｆl はカメラＣk 、Ｃl の焦
点距離である。
点距離である。
【０１７８】ここで、ｔklとｒklをカメラＣk の座標系
におけるカメラＣl の相対位置、姿勢とすると、ｍk,i
とｍl,i は、次式（３３）を満たす。
におけるカメラＣl の相対位置、姿勢とすると、ｍk,i
とｍl,i は、次式（３３）を満たす。
【０１７９】
【数３２】
【０１８０】ここで、Ｅklは、次式（３４）で表され
る。
る。
【０１８１】
【数３３】
【０１８２】〔３−２〕分散カメラの位置・姿勢推定
【０１８３】上記〔３−１〕で述べた関係を用いてシス
テム内の全てのカメラの世界座標系での位置・姿勢を推
定する手法について説明する。
テム内の全てのカメラの世界座標系での位置・姿勢を推
定する手法について説明する。
【０１８４】ここでは、Ｎ個のカメラについて考える。
Ｔk ，Ｒk （ｋ＝１，…，Ｎ）を世界座標系でのカメラ
Ｃk の姿勢および位置とする。上記〔３−１〕で述べた
ようにカメラＣp ，Ｃq が３次元点ｉを観測している
時、各カメラ上での２次元観測位置をｘp,i ，ｘq,i と
すると、上記式（３３）を満たす必要がある。
Ｔk ，Ｒk （ｋ＝１，…，Ｎ）を世界座標系でのカメラ
Ｃk の姿勢および位置とする。上記〔３−１〕で述べた
ようにカメラＣp ，Ｃq が３次元点ｉを観測している
時、各カメラ上での２次元観測位置をｘp,i ，ｘq,i と
すると、上記式（３３）を満たす必要がある。
【０１８５】カメラＣp ，Ｃq 間でｎpq個の共有する観
測が得られたとすると、カメラＣpの座標系におけるカ
メラＣq の相対位置・姿勢ｔpq, ｒpqは、次式（３５）
を満たす。
測が得られたとすると、カメラＣpの座標系におけるカ
メラＣq の相対位置・姿勢ｔpq, ｒpqは、次式（３５）
を満たす。
【０１８６】
【数３４】
【０１８７】カメラＣp ，Ｃq 間で８点以上の観測が得
られたとすると、次式（３６）に示すように、上記式
（３５）の左辺を最小化することにより、ｔpq, ｒpqを
求めることができる。
られたとすると、次式（３６）に示すように、上記式
（３５）の左辺を最小化することにより、ｔpq, ｒpqを
求めることができる。
【０１８８】
【数３５】
【０１８９】システム全体のカメラについて考えた場合
には、システム内の全ての２カメラ間の観測について考
える必要があり、次式（３７）に示すように、システム
全体に関する誤差Ｊall を最小化することになる。
には、システム内の全ての２カメラ間の観測について考
える必要があり、次式（３７）に示すように、システム
全体に関する誤差Ｊall を最小化することになる。
【０１９０】
【数３６】
【０１９１】カメラＣp ，Ｃq の世界座標系での位置Ｔ
p ，Ｔq 、姿勢Ｒp ，Ｒq より、カメラＣp の座標系に
おけるカメラＣq の相対位置・姿勢ｔpq, ｒpqは次式
（３８）、（３９）のように表すことができる。
p ，Ｔq 、姿勢Ｒp ，Ｒq より、カメラＣp の座標系に
おけるカメラＣq の相対位置・姿勢ｔpq, ｒpqは次式
（３８）、（３９）のように表すことができる。
【０１９２】
【数３７】
【０１９３】したがって、上記式（３７）は、次式（４
０）となる。
０）となる。
【０１９４】
【数３８】
【０１９５】したがって、Ｊall を最小化することによ
り、全カメラの位置・姿勢Ｒ1,…，ＲN 、Ｔ1,…, ＴN
を計算することができる。
り、全カメラの位置・姿勢Ｒ1,…，ＲN 、Ｔ1,…, ＴN
を計算することができる。
【０１９６】Ｊall の最小化を行うためには、システム
全体の観測情報が必要となるが、カメラ数の増加にとも
ない最小化に必要な観測情報の量は増加し、カメラ間で
観測情報をやりとりするための通信コストも増加する。
そこで、Ｊall を全カメラの位置・姿勢Ｒ1,…，ＲN 、
Ｔ1,…, ＴN に関して、一度に最小化するのではなく、
各カメラに関して分散的に最小化を行うことにより、最
終的にＪall を最小化することを考える。
全体の観測情報が必要となるが、カメラ数の増加にとも
ない最小化に必要な観測情報の量は増加し、カメラ間で
観測情報をやりとりするための通信コストも増加する。
そこで、Ｊall を全カメラの位置・姿勢Ｒ1,…，ＲN 、
Ｔ1,…, ＴN に関して、一度に最小化するのではなく、
各カメラに関して分散的に最小化を行うことにより、最
終的にＪall を最小化することを考える。
【０１９７】ここでは、カメラＣk に関するＪall の最
小化について考える。まず、ＪallをカメラＣk に関す
る情報（カメラＣk の位置・姿勢、観測情報）を含む項
と含まない項とに分割する。それぞれを、ＪK , Ｊ
other とする。ＪK ，Ｊother ，Ｊall は、次式（４
１）、（４２）、（４３）に示すようになる。
小化について考える。まず、ＪallをカメラＣk に関す
る情報（カメラＣk の位置・姿勢、観測情報）を含む項
と含まない項とに分割する。それぞれを、ＪK , Ｊ
other とする。ＪK ，Ｊother ，Ｊall は、次式（４
１）、（４２）、（４３）に示すようになる。
【０１９８】
【数３９】
【０１９９】次に、Ｒk,Ｔk についてＪk の最小化を行
う。ここで、Ｊother には、カメラＣk に関する項が含
まれていないため、Ｊk の最小化によってＲk,Ｔk が変
化しても、Ｊother は変化しない。
う。ここで、Ｊother には、カメラＣk に関する項が含
まれていないため、Ｊk の最小化によってＲk,Ｔk が変
化しても、Ｊother は変化しない。
【０２００】カメラＣk 上でのＪk の最小化には、カメ
ラＣk 上で得られる観測と、カメラＣk と観測を共有す
るカメラの観測だけが必要となる。そのため、各カメラ
では、図８に示すように、それぞれのカメラに関する情
報だけを保存すればよいことになり、各カメラで保存す
べきカメラ位置・姿勢推定に必要な情報量を減らすこと
ができる。
ラＣk 上で得られる観測と、カメラＣk と観測を共有す
るカメラの観測だけが必要となる。そのため、各カメラ
では、図８に示すように、それぞれのカメラに関する情
報だけを保存すればよいことになり、各カメラで保存す
べきカメラ位置・姿勢推定に必要な情報量を減らすこと
ができる。
【０２０１】全てのカメラＣk （ｋ＝１，…，Ｎ）に関
してそれぞれ独立に最小化を行うことにより、最終的に
システム全体の誤差Ｊall を最小化することが可能とな
る。
してそれぞれ独立に最小化を行うことにより、最終的に
システム全体の誤差Ｊall を最小化することが可能とな
る。
【０２０２】以上のように、本手法では位置・姿勢推定
に必要な観測データの保存やカメラ位置・姿勢の推定処
理が各カメラで分散して行えるため、分散システムに適
していると考えられる。
に必要な観測データの保存やカメラ位置・姿勢の推定処
理が各カメラで分散して行えるため、分散システムに適
していると考えられる。
【０２０３】次に、各カメラで分散して行われるＪk の
最小化について説明する。
最小化について説明する。
【０２０４】〔３−２−１〕周囲のカメラ情報によるカ
メラの位置・姿勢推定
メラの位置・姿勢推定
【０２０５】ここでは、カメラＣk に関する誤差Ｊk を
最小化し、カメラＣk の位置，姿勢Ｔk ，Ｒk を推定す
る方法について説明する。
最小化し、カメラＣk の位置，姿勢Ｔk ，Ｒk を推定す
る方法について説明する。
【０２０６】（１）Ｒk ，Ｔk の初期推定値Ｒk (1) の
計算
計算
【０２０７】カメラＣk の周囲のカメラのうち位置・姿
勢が既知または位置・姿勢初期推定値が決定済であり、
一定数以上の観測を共有するカメラ群Ｇ（Ｇ＝｛Ｃg1,
Ｃg2 , …, Ｃgm｝）を選択する。
勢が既知または位置・姿勢初期推定値が決定済であり、
一定数以上の観測を共有するカメラ群Ｇ（Ｇ＝｛Ｃg1,
Ｃg2 , …, Ｃgm｝）を選択する。
【０２０８】カメラ群Ｇのうち、カメラＣk と最も多く
の観測を共有するカメラＣl との相対関係から、カメラ
Ｃk の世界座標系での姿勢推定値Ｒk を、次式（４４）
に基づいて計算する。
の観測を共有するカメラＣl との相対関係から、カメラ
Ｃk の世界座標系での姿勢推定値Ｒk を、次式（４４）
に基づいて計算する。
【０２０９】
【数４０】
【０２１０】ここで、ｒlkは、上記式（３６）を満たす
Ｅklを固有値分解、特異値分解を用いてｒklとｔklに分
解することにより計算できる（文献１７参照）。
Ｅklを固有値分解、特異値分解を用いてｒklとｔklに分
解することにより計算できる（文献１７参照）。
【０２１１】文献１７： M.E. Spetsakis and J.(Y.)Al
oimonos. Optimal computing of structure from motio
n using point corrspondences in two frames. In Pro
c. of ICCV, pp. 449-453, 1998.
oimonos. Optimal computing of structure from motio
n using point corrspondences in two frames. In Pro
c. of ICCV, pp. 449-453, 1998.
【０２１２】カメラ群Ｇと共有する観測のみを利用し
て、Ｊk ’を次式（４５）のように定義する。
て、Ｊk ’を次式（４５）のように定義する。
【０２１３】
【数４１】
【０２１４】次に、次式（４６）に示すように、Ｊk ’
を最小とするＴk を算出する。
を最小とするＴk を算出する。
【０２１５】
【数４２】
【０２１６】Ｊk ’＜ε（εはしきい値）の場合、以上
のようにして計算したカメラＣk の位置・姿勢推定値Ｔ
k ，Ｒk を、初期の位置・姿勢推定値Ｔk (1) ，Ｒk
(1) とする。
のようにして計算したカメラＣk の位置・姿勢推定値Ｔ
k ，Ｒk を、初期の位置・姿勢推定値Ｔk (1) ，Ｒk
(1) とする。
【０２１７】（２）Ｒk (t-1) におけるＴk (t) の計算
【０２１８】Ｊk を最小とするＴk は、次式（４７）を
満たすＴk を求めれば良い。
満たすＴk を求めれば良い。
【０２１９】
【数４３】
【０２２０】上記式（４７）を満たすＴk は、次式（４
８）に示すように、Ｒ1,…, ＲN ，Ｔ1,…, ＴN の関数
として計算することができる。
８）に示すように、Ｒ1,…, ＲN ，Ｔ1,…, ＴN の関数
として計算することができる。
【０２２１】
【数４４】
【０２２２】（３）Ｒk (t) の更新
【０２２３】Ｒk に関するＪk の最小化は数値計算によ
り行う。
り行う。
【０２２４】Ｘ軸、Ｙ軸、Ｚ軸まわりの微小回転を（Δ
ω1 Δω2 Δω3 ）、微小回転行列をΔＲとする
と、ΔＲは次式（４９）で表される。
ω1 Δω2 Δω3 ）、微小回転行列をΔＲとする
と、ΔＲは次式（４９）で表される。
【０２２５】
【数４５】
【０２２６】ここで、Ｒk (t) ＝ΔＲＲk (t-1) とし
て、次式（５０）を満たすような（Δω1 Δω2 Δ
ω3 ）を計算する（上記文献１７参照）。
て、次式（５０）を満たすような（Δω1 Δω2 Δ
ω3 ）を計算する（上記文献１７参照）。
【０２２７】
【数４６】
【０２２８】以上の計算を繰り返すことにより、Ｊk を
最小とするＲk を求めることができる。
最小とするＲk を求めることができる。
【０２２９】ここで述べた手順により、カメラＣk の位
置、姿勢を求めることができる。さらに全てのカメラで
以上の手順を繰り返すことにより、上記式（４０）を満
たす全カメラの位置・姿勢を求めることができる。
置、姿勢を求めることができる。さらに全てのカメラで
以上の手順を繰り返すことにより、上記式（４０）を満
たす全カメラの位置・姿勢を求めることができる。
【０２３０】〔３−３〕新規カメラの設置、カメラの削
除
除
【０２３１】上述した人物追跡システムのような多視点
システムに新規カメラを設置する場合には、初期校正時
と同様に観測を共有する姿勢既知の周囲のカメラとの相
対関係から初期姿勢を計算し、位置・姿勢推定を開始す
る。
システムに新規カメラを設置する場合には、初期校正時
と同様に観測を共有する姿勢既知の周囲のカメラとの相
対関係から初期姿勢を計算し、位置・姿勢推定を開始す
る。
【０２３２】カメラを削除する場合には、評価値Ｊall
から削除するカメラに関する項を削除する。
から削除するカメラに関する項を削除する。
【０２３３】〔３−４〕観測間の時間差補正
【０２３４】本手法によるカメラ位置・姿勢推定では、
２カメラ間での同時刻の観測結果が必要である。しかし
ながら、上記〔１〕で述べた人物追跡システムは非同期
システムであり、一般に各観測の起こる時刻は異なる。
そのため、２カメラ間での観測の時間差を補正する必要
がある。
２カメラ間での同時刻の観測結果が必要である。しかし
ながら、上記〔１〕で述べた人物追跡システムは非同期
システムであり、一般に各観測の起こる時刻は異なる。
そのため、２カメラ間での観測の時間差を補正する必要
がある。
【０２３５】カメラＣk について、時刻ｔにおける２次
元観測位置をｘk （ｔ）とする。カメラＣk による観測
ｘk （ｔ1 ），ｘk （ｔ3 ）、カメラＣl による観測ｘ
l （ｔ2 ）が得られたとする。ここで、ｔ1 ＜ｔ2 ＜ｔ
3 、ｔ3 −ｔ1 ＜εとする。
元観測位置をｘk （ｔ）とする。カメラＣk による観測
ｘk （ｔ1 ），ｘk （ｔ3 ）、カメラＣl による観測ｘ
l （ｔ2 ）が得られたとする。ここで、ｔ1 ＜ｔ2 ＜ｔ
3 、ｔ3 −ｔ1 ＜εとする。
【０２３６】この時、カメラＣk における補正された観
測位置をハット記号（∧）付きのｘ k （ｔ2 ）を、次式
（５１）から求める。そして、得られたハット記号
（∧）付きのｘk （ｔ2 ）と、ｘl （ｔ2 ）とをカメラ
Ｃk ，Ｃl 間での対応する観測として、カメラ位置・姿
勢推定に用いる。
測位置をハット記号（∧）付きのｘ k （ｔ2 ）を、次式
（５１）から求める。そして、得られたハット記号
（∧）付きのｘk （ｔ2 ）と、ｘl （ｔ2 ）とをカメラ
Ｃk ，Ｃl 間での対応する観測として、カメラ位置・姿
勢推定に用いる。
【０２３７】
【数４７】
【０２３８】〔３−５〕実験
【０２３９】まず、４台のカメラの実システムにより実
験を行った。４台のカメラ（camera1-4)が図９のように
配置されており、世界座標系を決めるためにcamera1 の
位置・姿勢と、camera2 の位置を予め与えた。また、推
定値の推定値の精度評価を行うため、各カメラの位置・
姿勢を手作業により求めておく。
験を行った。４台のカメラ（camera1-4)が図９のように
配置されており、世界座標系を決めるためにcamera1 の
位置・姿勢と、camera2 の位置を予め与えた。また、推
定値の推定値の精度評価を行うため、各カメラの位置・
姿勢を手作業により求めておく。
【０２４０】５台のカメラにより、シーン内を移動する
人物について約３分の観測を行った。このとき各カメラ
（camera1-4)で得られた２次元観測情報を図１０に示
す。
人物について約３分の観測を行った。このとき各カメラ
（camera1-4)で得られた２次元観測情報を図１０に示
す。
【０２４１】ここで、得られた観測情報から２カメラ間
で共有される観測情報を約５００組得た。各カメラの位
置・姿勢は、この観測情報により更新される。
で共有される観測情報を約５００組得た。各カメラの位
置・姿勢は、この観測情報により更新される。
【０２４２】図１１に全カメラパラメータの推定結果を
示す。図１１において、左側のグラフはカメラ位置Ｘ、
Ｙ、Ｚの推定結果を示している。図１１において、右側
のグラフはカメラ姿勢を表すオイラー角α、β、γの推
定結果を示している。なお、これらのグラフの横軸はデ
ータ数を表している。
示す。図１１において、左側のグラフはカメラ位置Ｘ、
Ｙ、Ｚの推定結果を示している。図１１において、右側
のグラフはカメラ姿勢を表すオイラー角α、β、γの推
定結果を示している。なお、これらのグラフの横軸はデ
ータ数を表している。
【０２４３】ここに見られるように、校正の初期段階で
は位置・姿勢ともに大きな誤差を含んでいる。しかし、
データ数の増加に伴い推定誤差が減少しており、最終的
には位置で約１０[cm]未満、姿勢で約３[deg] 未満の高
い推定精度が得られていることがわかる。
は位置・姿勢ともに大きな誤差を含んでいる。しかし、
データ数の増加に伴い推定誤差が減少しており、最終的
には位置で約１０[cm]未満、姿勢で約３[deg] 未満の高
い推定精度が得られていることがわかる。
【０２４４】
【発明の効果】この発明によれば、全てのカメラが基準
カメラと観測を共有する必要がなく、基準カメラと共有
されない局所的な観測もカメラの位置・姿勢推定に利用
することができるようになる。
カメラと観測を共有する必要がなく、基準カメラと共有
されない局所的な観測もカメラの位置・姿勢推定に利用
することができるようになる。
【０２４５】また、この発明によれば、多視点画像によ
る移動物体追跡システムにおいて、観測部の追加削除を
容易に行うことが可能となる。
る移動物体追跡システムにおいて、観測部の追加削除を
容易に行うことが可能となる。
【図１】人物追跡システムの全体的な構成を示すブロッ
ク図である。
ク図である。
【図２】観測部による特徴点抽出処理を説明するための
模式図である。
模式図である。
【図３】追跡部の位置推定に用いられる観測モデルを示
す模式図である。
す模式図である。
【図４】カメラ位置・姿勢推定の流れを示す模式図であ
る。
る。
【図５】カメラ位置・姿勢の更新方法を説明するための
模式図である。
模式図である。
【図６】画像特徴から、ｍkl、ｙklを求める方法を説明
するための模式図である。
するための模式図である。
【図７】実験結果を示すグラフである。
【図８】カメラ位置・姿勢推定の流れを示す模式図であ
る。
る。
【図９】実験で用いたカメラの配置例を示す模式図であ
る。
る。
【図１０】図９の各カメラ（camera1-4)で得られた２次
元観測情報を示すグラフである。
元観測情報を示すグラフである。
【図１１】実験結果を示すグラフである。
２＃１〜２＃ｎ カメラ
４＃１〜４＃ｎ 観測部
６ 発見部
８ 追跡部
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 2F065 AA00 AA01 AA31 FF04 JJ02
JJ05 JJ19 JJ26 QQ17
5B057 AA19 DA07 DB02 DC04 DC06
DC22 DC36
5C022 AB61 AB63 AB64
5L096 BA02 CA04 FA14 FA59 FA60
FA66 FA69 HA05
Claims (8)
- 【請求項１】 複数のカメラを備えたシステムにおける
カメラの自動校正方法において、各カメラ毎に、周囲の
カメラと共有する観測情報と、周囲のカメラの現在の位
置および姿勢推定値とに基づいて、自己のカメラの位置
および姿勢推定値を更新するようにしたことを特徴とす
るカメラの自動校正方法。 - 【請求項２】 観測情報が、カメラの画像面上での観測
対象像の２次元座標値および観測対象像の大きさである
ことを特徴とする請求項１に記載のカメラの自動校正方
法。 - 【請求項３】 自己のカメラの位置および姿勢推定値を
更新するための処理は、 周囲の他のカメラと共有する観測情報と、自己のカメラ
および当該他のカメラの現在の位置および姿勢推定値と
に基づいて、自己のカメラと当該他のカメラとの相対姿
勢および相対位置に関する情報を算出する第１ステッ
プ、ならびに第１ステップによって算出された相対姿勢
および相対位置に関する情報に基づいて、自己のカメラ
の位置および姿勢推定値を更新する第２ステップ、 を備えていることを特徴とする請求項１および２のいず
れかに記載のカメラの自動校正方法。 - 【請求項４】 各カメラは、周囲の各カメラの姿勢推定
値、自己のカメラと周囲の各カメラとの姿勢推定精度に
関する情報、周囲の各カメラの位置推定値および自己の
カメラと周囲の各カメラとの位置推定精度に関する情報
を保持しており、 上記第２ステップは、上記第１ステップによって算出さ
れた相対姿勢に関する情報と、自己のカメラが保持して
いる周囲の各カメラの姿勢推定値および自己のカメラと
周囲の各カメラとの姿勢推定精度に関する情報とに基づ
いて、自己の姿勢推定値を更新するステップ、ならびに
上記第１ステップによって算出された相対位置に関する
情報と、自己のカメラが保持している周囲の各カメラの
位置推定値および自己のカメラと周囲の各カメラとの位
置推定精度に関する情報とに基づいて、自己の位置推定
値を更新するステップを備えていることを特徴とする請
求項３に記載のカメラの自動校正方法。 - 【請求項５】 自己のカメラの位置および姿勢推定値を
更新するための処理は、各カメラにおいて新たな観測情
報が得られる度に行われることを特徴とする請求項１、
２、３および４のいずれかに記載のカメラの自動校正方
法。 - 【請求項６】 世界座標を決定するために、最低限１台
のカメラの世界座標系での姿勢と、最低限２台のカメラ
の世界座標系での位置とが、基準として与えられている
ことを特徴とする請求項１、２、３、４および５のいず
れかに記載のカメラの自動校正方法。 - 【請求項７】 観測情報が、最低２台のカメラ間で共有
されるカメラの画像面上での観測対象像の２次元座標値
であることを特徴とする請求項１に記載のカメラの自動
校正方法。 - 【請求項８】 自己のカメラの位置および姿勢推定値を
更新するための処理においては、周囲の他のカメラと共
有する観測情報と、当該他のカメラの現在の位置および
姿勢推定値とに基づいて、自己のカメラの位置および姿
勢推定値を更新するといった処理が、各カメラ毎に分散
的に行われることを特徴とする請求項７に記載のカメラ
の自動校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004247A JP2003279315A (ja) | 2002-01-16 | 2003-01-10 | カメラの自動校正方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-7904 | 2002-01-16 | ||
| JP2002007904 | 2002-01-16 | ||
| JP2003004247A JP2003279315A (ja) | 2002-01-16 | 2003-01-10 | カメラの自動校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003279315A true JP2003279315A (ja) | 2003-10-02 |
Family
ID=29252940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003004247A Pending JP2003279315A (ja) | 2002-01-16 | 2003-01-10 | カメラの自動校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003279315A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005233639A (ja) * | 2004-02-17 | 2005-09-02 | Mitsubishi Electric Corp | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
| JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
| JP2006226965A (ja) * | 2005-02-21 | 2006-08-31 | Sumitomo Electric Ind Ltd | 画像処理装置、コンピュータプログラム、及び画像処理方法 |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009186288A (ja) * | 2008-02-05 | 2009-08-20 | Canon Inc | 画像処理装置、画像処理方法 |
| JP2010510697A (ja) * | 2006-11-20 | 2010-04-02 | アデレード リサーチ アンド イノヴェーション ピーティーワイ エルティーディー | ネットワーク監視システム |
| JP2010119117A (ja) * | 2009-12-25 | 2010-05-27 | Panasonic Corp | 撮影システム、移動カメラおよび撮影方法 |
| JP2011076573A (ja) * | 2009-10-02 | 2011-04-14 | Fujitsu Ltd | 監視カメラシステム及びその異常検出方法 |
| JP2012522231A (ja) * | 2009-03-31 | 2012-09-20 | アルカテル−ルーセント | 第１の画像デバイスおよび第２の画像デバイスの相対位置を決定する方法及びこれらデバイス |
| JP2013515959A (ja) * | 2009-12-24 | 2013-05-09 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
| WO2016111066A1 (ja) * | 2015-01-07 | 2016-07-14 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理システム |
| JP2019095345A (ja) * | 2017-11-24 | 2019-06-20 | 国立大学法人 岡山大学 | 物体識別システム |
| JP2020042028A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348181A (ja) * | 1999-03-26 | 2000-12-15 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
| JP2002005625A (ja) * | 2000-06-27 | 2002-01-09 | Atr Media Integration & Communications Res Lab | カメラの自動校正方法 |
-
2003
- 2003-01-10 JP JP2003004247A patent/JP2003279315A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348181A (ja) * | 1999-03-26 | 2000-12-15 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
| JP2002005625A (ja) * | 2000-06-27 | 2002-01-09 | Atr Media Integration & Communications Res Lab | カメラの自動校正方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005233639A (ja) * | 2004-02-17 | 2005-09-02 | Mitsubishi Electric Corp | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
| JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
| JP2006226965A (ja) * | 2005-02-21 | 2006-08-31 | Sumitomo Electric Ind Ltd | 画像処理装置、コンピュータプログラム、及び画像処理方法 |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2014078962A (ja) * | 2006-11-20 | 2014-05-01 | Adelaide Research And Innovation Pty Ltd | ネットワーク監視システム |
| US9185355B2 (en) | 2006-11-20 | 2015-11-10 | Snap Network Surveillance Pty Limited | Network surveillance system |
| JP2010510697A (ja) * | 2006-11-20 | 2010-04-02 | アデレード リサーチ アンド イノヴェーション ピーティーワイ エルティーディー | ネットワーク監視システム |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2009186288A (ja) * | 2008-02-05 | 2009-08-20 | Canon Inc | 画像処理装置、画像処理方法 |
| JP2012522231A (ja) * | 2009-03-31 | 2012-09-20 | アルカテル−ルーセント | 第１の画像デバイスおよび第２の画像デバイスの相対位置を決定する方法及びこれらデバイス |
| JP2011076573A (ja) * | 2009-10-02 | 2011-04-14 | Fujitsu Ltd | 監視カメラシステム及びその異常検出方法 |
| JP2013515959A (ja) * | 2009-12-24 | 2013-05-09 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
| US11699247B2 (en) | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
| JP2010119117A (ja) * | 2009-12-25 | 2010-05-27 | Panasonic Corp | 撮影システム、移動カメラおよび撮影方法 |
| WO2016111066A1 (ja) * | 2015-01-07 | 2016-07-14 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理システム |
| US10489929B2 (en) | 2015-01-07 | 2019-11-26 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
| JP2019095345A (ja) * | 2017-11-24 | 2019-06-20 | 国立大学法人 岡山大学 | 物体識別システム |
| JP2020042028A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 |
| US10984556B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for calibrating relative parameters of collector, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7212228B2 (en) | Automatic camera calibration method | |
| WO2021035669A1 (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
| CN108829232B (zh) | 基于深度学习的人体骨骼关节点三维坐标的获取方法 | |
| JP2023175052A (ja) | ３次元空間内の姿勢推定 | |
| CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
| JP2003279315A (ja) | カメラの自動校正方法 | |
| JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
| CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
| JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
| Cheng et al. | Improving visual localization accuracy in dynamic environments based on dynamic region removal | |
| JP2019185557A (ja) | 画像解析装置、方法およびプログラム | |
| KR101193223B1 (ko) | 인체 동작의 3ｄ 모션 구현방법 | |
| JP3411889B2 (ja) | カメラの自動校正方法 | |
| CN111489392B (zh) | 多人环境下单个目标人体运动姿态捕捉方法及系统 | |
| Martínez-González et al. | Residual pose: A decoupled approach for depth-based 3D human pose estimation | |
| JP3520050B2 (ja) | 移動物体追跡装置 | |
| JP3401512B2 (ja) | 移動物体追跡装置 | |
| Zhu et al. | Enhancing accuracy in visual slam by tightly coupling sparse ranging measurements between two rovers | |
| JP2007109126A (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム | |
| CN111583331B (zh) | 用于同时定位和地图构建的方法及装置 | |
| CN111598927A (zh) | 一种定位重建方法和装置 | |
| JPH07302341A (ja) | 姿勢検出装置および方法 | |
| Datta et al. | Linearized motion estimation for articulated planes | |
| Li et al. | IMU-Assisted Uncertainty-Weighted Attitude Estimation Algorithm from Non-Corresponding Points | |
| CN116385663B (zh) | 动作数据生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080710 |