JP2002008040A

JP2002008040A - 三次元情報検出装置及び三次元情報検出方法

Info

Publication number: JP2002008040A
Application number: JP2000181612A
Authority: JP
Inventors: Shogo Hamazaki; 省吾濱崎; Hiroyuki Yoshida; 裕之吉田; Masabumi Yoshizawa; 正文吉澤; Eiji Fukumiya; 英二福宮; Takaaki Nishi; 隆暁西
Original assignee: Japan Science and Technology Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Japan Science and Technology Agency; Panasonic Holdings Corp
Priority date: 2000-06-16
Filing date: 2000-06-16
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】汎用性が高く、かつ、処理負担が軽い三次元
情報検出装置を提供する。【解決手段】互いに異なる方向から検出対象を撮像す
る少なくとも３つのカメラ１，２，３と、指示に従っ
て、これらのカメラから複数のカメラを部分選択する選
択手段２０と、選択されたカメラによる画像情報から検
出対象の三次元空間における位置情報を求める三次元情
報演算手段２４と、求めた位置情報から直後における動
き予測を行う動き予測手段２６と、動き予測結果を参照
して適正な撮像手段を決定し選択手段へ指示を与える決
定手段２７を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元空間におけ
る検出対象の位置や速度などの情報を検出する三次元情
報検出装置及びその方法に関するものである。

【０００２】

【従来の技術】検出対象の三次元空間における位置など
を検出するには、２台のステレオカメラを撮像手段とし
て固定し、このカメラで撮像した画像において、検出対
象の対応点の視差を利用する手法が一般的である。

【０００３】しかしながら、このものでは、検出対象同
士が画像において干渉し、検出対象の一部又は全部が影
に隠れてしまう、オクルージョン（隠蔽）が発生しやす
いし、検出対象がカメラの光軸方向に移動すると、検出
精度が著しく低下するという問題点がある。

【０００４】このため、３台以上、できるだけ多くの、
カメラを用いて、この問題点を解消することも行われて
いる。

【０００５】しかしながら、このようにすると、処理す
べき画像データが膨大になって、処理に要する負担及び
コストが増大する。その結果、実時間で処理することが
困難になる。

【０００６】この点を考慮した技術が、特開平８−２６
３６２９号公報として、開示されている。このもので
は、３つ以上の撮像手段から、好ましい２つの撮像手段
が選択される。つまり、処理すべき画像データを少なく
している。

【０００７】そして、選択にあたっては、（１）検出対
象の法線ベクトルとカメラの光軸ベクトルとのなす角が
小さいものを優先する、又は、（２）検出対象の法線ベ
クトルとカメラの光軸ベクトルとの内積が大きいものを
優先する、という基準を採用している。

【０００８】

【発明が解決しようとする課題】しかしながら、このも
のでは、法線ベクトルを利用するために、検出対象を平
面的なものに限定しており、平面的な近似になじまない
検出対象には、適用できないという問題点がある。実際
には、球状のマーカや、腕、頭のように人体の一部な
ど、平面的な近似になじまないが、検出の要望が強いも
のも多く、このものは、汎用性が低いといわざるを得な
い。

【０００９】そこで本発明は、汎用性が高く、かつ、処
理負担が軽い三次元情報検出装置及びその方法を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】第１の本発明では、互い
に異なる方向から検出対象を撮像する少なくとも３つの
撮像手段と、指示に従って、少なくとも３つの撮像手段
から複数の撮像手段を部分選択する選択手段と、選択さ
れた撮像手段による画像情報から検出対象の三次元空間
における位置情報を求める三次元情報演算手段と、求め
た位置情報から直後における動き予測を行う動き予測手
段と、動き予測結果を参照して適正な撮像手段を決定し
選択手段へ指示を与える決定手段を備える。

【００１１】また、第２の本発明では、撮像手段毎に、
撮像適性の指標として予め定義された画像特徴量を求め
る画像特徴量抽出手段と、求めた画像特徴量を参照して
適正な撮像手段を決定し、選択手段へ指示を与える決定
手段を備える。

【００１２】また、第３の本発明では、検出対象の移動
経路を入力する動き入力手段と、入力された移動経路に
基づいて、複数の撮像手段の配置を求める配置演算手段
と、求めた配置を出力する出力手段を備える。

【００１３】これらの構成により、汎用性が高く、か
つ、処理負担が軽い三次元情報検出装置を実現できる。

【００１４】

【発明の実施の形態】請求項１、１８記載の発明では、
少なくとも３つの撮像手段により、互いに異なる方向か
ら検出対象を撮像する。また、指示に従って、少なくと
も３つの撮像手段から複数の撮像手段を部分選択する。
選択された撮像手段による画像情報から検出対象の三次
元空間における位置情報を求める。求めた位置情報から
直後における動き予測を行う。そして、動き予測結果を
参照して適正な撮像手段を決定し選択手段へ指示を与え
る。

【００１５】この構成により、動き予測結果を反映し
て、検出対象を正しく撮像できる蓋然性が高い、撮像手
段が選択され、処理すべき画像データを少なくすること
ができる。しかも、検出対象は、平面的近似性を持つも
のに限られないため、汎用性を向上できる。

【００１６】請求項２、１９記載の発明では、検出対象
は、移動する物体そのもの、移動する物体に取り付けら
れたマーカ、人体の一部又は全部のうちの、いずれかで
ある。

【００１７】この構成により、平面的な近似になじま
ず、しかも検出の要望が高い検出対象にも対応できる。

【００１８】請求項３、２０記載の発明では、動き予測
は、検出対象の位置、速度、加速度又は法線ベクトルの
一種又は二種以上に基づく。

【００１９】この構成により、動き予測を検出対象の動
きに追随させ、適正な撮像手段を選択できる。

【００２０】請求項４、２１記載の発明では、動き予測
は、線形外挿による。

【００２１】この構成により、簡単な計算により高速に
動き予測できる。

【００２２】請求項５、２２記載の発明では、決定手段
は、検出対象毎に適正な撮像手段を決定する。

【００２３】この構成により、各検出対象の動きにあわ
せて、適正な撮像手段を選択できる。

【００２４】請求項６、２３記載の発明では、該当撮像
手段の画像中において、検出対象同士のオクルージョン
の発生条件を検討し、発生するおそれがあるときは、該
当撮像手段を選択しない。

【００２５】この構成により、オクルージョンの発生を
未然に予防して、検出精度の低下を抑制できる。

【００２６】請求項７、２４記載の発明では、該当撮像
手段の光軸ベクトルと検出対象の速度ベクトルのなす角
又はこの角の関数値を参照し、この角が大きい順に優先
的に選択する。

【００２７】この構成により、この角が大きいものが優
先されるので、検出精度の低下を防止できると共に、画
像中における検出対象の移動が比較的大きめになるか
ら、より精密に動きを検出できる。

【００２８】請求項８、２５記載の発明では、適正な撮
像手段を撮像時毎に決定する。

【００２９】この構成により、時々刻々に変化する検出
対象の動きにあわせて、適正な撮像手段による検出を行
える。

【００３０】請求項９、２６記載の発明では、少なくと
も３つの撮像手段により、互いに異なる方向から検出対
象を撮像する。また、指示に従って、少なくとも３つの
撮像手段から複数の撮像手段を部分選択する。選択され
た撮像手段による画像情報から検出対象の三次元空間に
おける位置情報を求める。撮像手段毎に、撮像適性の指
標として予め定義された画像特徴量を求める。そして、
求めた画像特徴量を参照して適正な撮像手段を決定し、
選択手段へ指示を与える。

【００３１】この構成により、予め定義された画像特徴
量を選択指標とすることにより、適正な撮像手段を選択
でき、処理すべき画像データを少なくすることができ、
しかも、動き予測を省略してもよい。さらに、この画像
特徴量は、検出対象の平面近似性を前提としないので、
広い用途に適用できる。

【００３２】請求項１０、２７記載の発明では、検出対
象は、移動する物体そのもの、移動する物体に取り付け
られたマーカ、人体の一部又は全部のうちの、いずれか
である。

【００３３】この構成により、請求項２と同様の効果が
ある。

【００３４】請求項１１、２８記載の発明では、画像特
徴量は、画像に含まれる検出対象の面積である。

【００３５】この構成により、検出対象を多くの画素に
よって、精密に撮像でき、その結果、位置精度高く、検
出できる。

【００３６】請求項１２、２９記載の発明では、画像特
徴量は、検出対象のフレーム間移動距離である。

【００３７】この構成により、移動距離が大きい方を優
先しているため、検出対象がある撮像手段の光軸方向又
はそれに近い方向に移動している場合、この撮像手段
は、選択されないこととなり、検出精度の低下を抑制で
きる。

【００３８】請求項１３、３０記載の発明では、画像特
徴量は、画像に含まれる検出対象の個数である。

【００３９】この構成により、検出対象を捉えていない
撮像手段を選択しないようにすることができる。

【００４０】請求項１４、３１記載の発明では、画像特
徴量は、画像に含まれる検出対象の面積、検出対象のフ
レーム間移動距離、画像に含まれる検出対象の個数のう
ち、二種以上を組み合わせたものである。

【００４１】この構成により、請求項１１から請求項１
３の効果を複合的に得ることができる。

【００４２】請求項１５、３２記載の発明では、複数の
撮像手段により、互いに異なる方向から検出対象を撮像
する。また、検出対象の移動経路を入力し、入力された
移動経路に基づいて、複数の撮像手段の配置を求め、求
めた配置を出力する。

【００４３】この構成により、予め検出対象の移動経路
が既知であるとき、各撮像手段の合理的な配置をオペレ
ータに知らせることができ、より少ない撮像手段でも、
つまり処理すべき画像データを少なくしながら、検出が
でき、しかも、不慣れなオペレータであっても、精度よ
く検出が行える。

【００４４】請求項１６、３３記載の発明では、入力さ
れた移動経路上の一点を頂点とする正三角形の、他の二
つの頂点に撮像手段を配置する。

【００４５】この構成により、簡単な演算により、２つ
の撮像手段を、理想的な位置に配置できる。

【００４６】請求項１７、３４記載の発明では、入力さ
れた移動経路の始点から終点に至る線分を底辺とする二
等辺三角形の頂角を、等分する軸上に複数の撮像手段を
配置する。

【００４７】この構成により、簡単な演算により、２つ
又は３つ以上の撮像手段を、理想的な位置に配置でき
る。

【００４８】次に図面を参照しながら、本発明の実施の
形態を説明する。さて、各形態の説明に先立ち、各形態
で共通して使用する、ハードウエア構成を、図１を用い
て説明する。図１は、本発明の一実施の形態における三
次元情報検出装置の構成図である。

【００４９】図１に示すように、この三次元情報検出装
置は、第１カメラ１、第２カメラ２、…、第ｎカメラ３
を備える。これらのカメラ１、２、３は、撮像手段に相
当し、互いに異なる方向から検出対象を撮像する。後述
する実施の形態１、２では、これらのカメラは、３台以
上必要だが、実施の形態３では、２台のみでも十分な場
合もある。

【００５０】さて、これらのカメラ１、２、３が撮像し
た画像データは、第１キャプチャ装置４、第２キャプチ
ャ装置５、第ｎキャプチャ装置６を経由し、バス７へ取
り込まれる。バス７には、オペレータの入力を受け取る
キーボード８及びマウス９の他、後述するフローチャー
トに沿って処理を行う中央処理装置１０、中央処理装置
１０により必要な情報が読み書きされる主記憶装置１１
及び記録媒体１２が接続されている。さらに、バス７に
は、オペレータに動作状況などを表示するために、グラ
フィック装置１３が接続され、グラフィック装置１３に
ディスプレイ１４が接続されている。そして、図２、図
９、図１１における各手段（出力手段を除く）は、中央
処理装置１０が後述するフローチャートに沿ったプログ
ラムを実行することにより実現される。

【００５１】なお、本発明における検出対象は、検出対
象となりうる全ての要素であってもよいし、これら全て
の要素から選ばれた特定の要素のみであってもよい。ま
た、移動する物体そのもの、移動する物体に取り付けら
れたマーカ、人体の一部（例えば、腕や頭など）又は全
部のように、平面近似性が低いものであっても良い。勿
論、平面近似性が良いものも、検出対象にすることがで
きる。これは、後述するように、本発明が検出対象の平
面近似性に依存しないように構成されているためであ
り、本発明は広い用途に適用できる。

【００５２】（実施の形態１）以下、検出対象として、
人体などの特定箇所に取り付けたマーカを用いた例を説
明する。さらにその後、他の検出対象の例に論及する。

【００５３】図２は、本発明の実施の形態１における三
次元情報検出装置のブロック図である。図２において、
カメラ選択手段２０は、最適カメラ決定手段２７の指示
に従って３台以上のカメラ１、２、３（台数：ｎ）か
ら、処理を行うべき複数（台数：ｍ）のカメラを部分選
択する。即ち、選択されるカメラの台数ｍは、全カメラ
の台数ｎより小さく、処理すべき画像データの量を減ら
して、高速な検出が行えるようになっている。

【００５４】第１二次元情報演算手段２１、第２二次元
情報演算手段２２、第ｍ二次元情報演算手段２３は、選
択された各カメラの画像データから検出対象の二次元的
な位置を求める。二次元的な位置を求めるには、例え
ば、ＲＧＢ色空間における抽出を行うなど、周知の手法
を用いることができる。

【００５５】三次元情報演算手段２４は、第１二次元情
報演算手段２１、第２二次元情報演算手段２２、第ｍ二
次元情報演算手段２３が出力する二次元的な位置から検
出対象の三次元空間における位置情報を求める。

【００５６】ｍ＝２の場合、２つの画像データ間の対応
関係から、三角測量の原理で物体の三次元的位置を計算
する一般的手法を用いることができる。この手法は、例
えば、金谷：「空間データの数理」（朝倉書店、１９９
５年）または、出口：「コンピュータビジョンのための
幾何学」（情報処理、Ｖｏｌ．３７，Ｎｏ．７，ｐｐ．
６６２−６７０，１９９６年）などに詳細に記載されて
いる。

【００５７】また、ｍ≧３の場合、例えば、米元ら：
「多視点カメラを用いた実時間全身モーションキャプチ
ャシステム ‐視覚に基づいた仮想世界との実時間イン
タラクション‐」，ＰＲＭＵ９８−２４８，ｐｐ４
９，１９９９に記載の手法を用いることができる。
この手法では、キャリブレーション情報を用いて各画像
データ上の検出対象の２次元位置とカメラ原点とを結ぶ
直線（視線）を求め、ｍ本の視線の交点を三次元位置と
する。各視点が交わらない場合は、これら直線からの最
小距離の点を交点とみなす。

【００５８】動き予測手段２６は、三次元情報演算手段
２４が求めた三次元空間における位置情報から、その直
後（カメラの次の撮影時刻）における動き予測を行う。
本例では、動き予測手段２６は、次式により直後の検出
対象の位置Ｐと速度ベクトルＶを計算する。

【００５９】

【数１】

【００６０】このように、線形外挿による動き予測を行
っているため、簡単な計算により、高速に動き予測でき
る。また、動き予測は、検出対象の位置、速度、加速度
を利用しているため、検出対象の動きを良好に追従でき
る。なお、平面近似性が良い検出対象にあっては、動き
予測に法線ベクトルの履歴を利用しても良い。さらに、
線形外挿に代えて、スプライン補間等を行っても良い。

【００６１】最適カメラ決定手段２７は、動き予測手段
２６の動き予測結果を参照して、適正なカメラを決定
し、カメラ選択手段２０へその旨の指示を与える。この
決定手法を、以下図３〜図５を参照しながら説明する。

【００６２】まず、最適カメラ決定手段２７は、次の要
領で、検出対象（ここではマーカ）同士のオクルージョ
ン発生のおそれを検討する。そして、このおそれがある
カメラを除外する。図３に示すように、あるカメラｉが
撮像を行っている際、カメラｉの光学中心に対してマー
カＭ１、Ｍ２がなす角φｉを求める。この角φｉが比較
的大きいときは、図４（ａ）に示すように、画像上でマ
ーカＭ１、Ｍ２は離れており、オクルージョンは発生し
ない。逆に、この角φｉが小さいとき、図４（ｂ）に示
すように、画像上でマーカＭ１、Ｍ２が重なってオクル
ージョンが発生する。オクルージョンが発生すると、マ
ーカＭ１、Ｍ２の画像を分離することが困難になって、
検出精度が低下する。

【００６３】このため、経験的にこれ以上小さくなると
オクルージョンの発生のおそれがある、閾値φｓを、予
め定めておき、求めた角φと閾値φｓとを、大小比較す
ると良い。あるいは、図４（ｃ）に示すように、カメラ
ｉにおける視直径が既知であるときは、視直径による角
（最大値でも平均値でも良い）を閾値φｓとしてもよ
い。即ち、条件φ＜φｓを満たすとき、該当カメラを選
択しないようにする。

【００６４】次に、オクルージョンの発生のおそれがな
いカメラが、台数ｍよりも多く存在した場合、最適カメ
ラ決定手段２７は、次の要領で、より好ましいｍ台のカ
メラに絞り込む。図５に示すように、オクルージョンの
発生のおそれなしとされた、カメラ１、２が、いま、三
次元空間内のマーカＭ１、Ｍ２を撮像しており、カメラ
１、２について担当するマーカを定めたいとする。

【００６５】ここで、カメラｉの光軸ベクトルＬｉと、
マーカＭｊの速度ベクトルＶｊのなす角をθｉｊとす
る。そして、カメラｉについて、全てのマーカにつき、
求めた角θｉｊの総和を、和Θｉとする。このとき、和
Θｉが大きい順にカメラを選択する。

【００６６】このようにすることにより、マーカの動き
が画像中に大きく現れるカメラが優先的に選択され、検
出精度が向上する。なぜなら、マーカがカメラの光軸方
向又はそれに近い方向に移動していると、和Θｉが小さ
くなり、測定精度が低下するが、その逆の関係（最善は
直交する方向）になるカメラが優先的に選択されること
となるからである。

【００６７】以上のように、最適カメラ決定手段２７
は、好ましい適正なカメラを決定し、カメラ選択手段２
０に指示する。そして、これらの処理は、撮影の都度、
つまり撮影のサンプリング間隔毎に、行うのが望まし
い。こうすると、時々刻々と変化するマーカの動きに、
的確に追従した検出ができる。また、図２から明らかな
ように、本形態は、動き予測結果に基づくカメラ決定の
流れを、フィードバックしている点に特徴がある。

【００６８】次に、図６のフローチャートに沿って、本
形態の三次元情報検出装置の動作を説明する。さてま
ず、動作に移る前に、次の準備を行っておく。

【００６９】本例では、人の追跡したい部位にそれぞれ
色の異なる球状のマーカをｅ個装着し、検出対象をこれ
らのマーカとする。また、このとき、装着部位とマーカ
色の対応はあらかじめ入力しておく。そして、図５に示
すように、人を囲むようにｎ台（ｎ≧３）のカメラを配
置する。このとき、人が動いても、各カメラの視野に常
に人が含まれるように光軸等を設定する。

【００７０】さらに、この状態でカメラキャリブレーシ
ョン作業を行ない、カメラの位置、姿勢、レンズ特性等
の、いわゆるカメラパラメータを、記録媒体１２に記録
しておく。

【００７１】次に、図６（ａ）のステップ１に示すよう
に、最適カメラ決定手段２７は、選択するｍ台のカメラ
識別子Ｄ１〜Ｄｍに初期値（当初は、オペレータが指示
してもよい）を指定する。

【００７２】次に、ステップ２において、全てのカメラ
で同時に撮影し画像データとして出力する。

【００７３】ステップ３では、カメラ選択手段２０が、
最適カメラ決定手段２７によって指示されたカメラ識別
子Ｄ１〜Ｄｍのｍ個の画像データのみを選択し、二次元
情報演算手段２１〜２３へ送る。二次元情報演算手段２
１〜２３では、各々の入力した画像データを走査して色
情報、輝度情報から全てのマーカ領域を抽出し、その重
心位置を各マーカの二次元位置とする（図６（ｂ）のス
テップ９〜ステップ１１）。なお、各画像データ間での
マーカの対応は、色情報により容易に対応づけられる。

【００７４】次に、ステップ５にて、三次元情報演算手
段２４が、各マーカの二次元位置とカメラパラメータか
ら三次元位置を演算する（図６（ｃ）のステップ１２〜
ステップ１３）。

【００７５】次に、ステップ６にて、各マーカの三次元
位置が出力手段２５に表示される。

【００７６】次に、ステップ７にて、動き予測手段２６
は、過去のマーカの位置から速度および加速度を計算
し、これらの履歴から、（数１）により、次の瞬間（カ
メラによる次の撮影時刻）のマーカの位置Ｐと速度ベク
トルＶ（運動方向と速さ）を計算する。

【００７７】そして、ステップ８にて、最適カメラ決定
手段２７は、図７（ａ）、（ｂ）、（ｃ）に示すよう
に、ｎ台のカメラからマーカ同士のオクルージョンが発
生する可能性のあるカメラを除外し、つぎにマーカの動
きが画像データの変化量として大きく現れると予想され
るカメラをｍ台決定し、適正なカメラ識別子Ｄ１〜Ｄｍ
を決定する。以上の処理を、全てのカメラでの撮影毎に
繰り返す。

【００７８】以上の手法に代えて、想定される最適カメ
ラ決定手段２７の入力と出力の関係をあらかじめデータ
ベースに蓄えておいても良い。

【００７９】つまり、図８（ａ）に示すように、想定さ
れるマーカ位置を幾つかの領域（ここでは、１０＊１０
＊１０）に分けて、全ての領域について想定されるマー
カ速度と組み合わせて、それぞれの組合せについて最適
なカメラ識別子Ｄ１〜Ｄｍをあらかじめ前述したアルゴ
リズムおよび経験で決定して、その結果を、図８（ｂ）
に示すように、最適カメラテーブルに保存しておく。

【００８０】そして、動作時に、動き予測手段２６が出
力した予測位置をキーとして、最適カメラテーブルを検
索し、最適なカメラ識別子Ｄ１〜Ｄｍを決定する。

【００８１】こうすると、最適カメラの決定を短時間で
高速に処理することが可能となる。またアルゴリズムで
は表現しにくい経験則的なカメラ選択のノウハウもシス
テムに容易に組み込むことができる。なお、図８（ａ）
では、マーカ数ｅ＝１の場合を示したが、マーカが複数
の場合も、全てのマーカの予測位置と予測速度を組み合
わせたテーブルを用意すれば同様に対応できる。

【００８２】また、本例では、人にマーカを取り付けて
マーカを検出対象としたが、マーカを取り付けず、例え
ば顔、手、足の部位に着目しこれらの着目部位のみ露出
した服を装着し、検出対象をこれらの着目部位の肌色領
域として追跡することもできる。

【００８３】この場合、以上の説明において、「マー
カ」を「肌色領域」と置き換えれば、上記アルゴリズム
をそのまま適用できる。ただし、肌色の単色となるた
め、マーカの色情報を使っている二次元情報演算手段２
１〜２３は別なアルゴリズムに置き換える必要がある。

【００８４】例えば、肌色領域を追跡する手法として、
Ｐｆｉｎｄｅｒがある。（Ｃ．Ｒ．Ｗｒｅｎ，Ａ．Ａ
ｚａｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅｌｌ，Ａ
ｎｄＡ．Ｐ．Ｐｅｎｔｌａｎｄ： ”Ｐｆｉｎｄｅ
ｒ：Ｒｅａｌ−ＴｉｍｅＴｒａｃｋｉｎｇｏｆｔｈ
ｅＨｕｍａｎＢｏｄｙ”，ＩＥＥＥＴｒａｎ
ｓ．ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭ
ａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．
１９，Ｎｏ．７，ｐｐ．７８０−７８５，Ｊｕｌ
ｙ１９９７）。Ｐｆｉｎｄｅｒによれば、色情報と位
置情報とを使うことにより、肌色単色であっても、部位
の追跡およびラベリングが可能で、各部位の二次元の位
置情報をリアルタイムに計算することが可能である。

【００８５】なお、検出対象が手の平や板状マーカなど
の平面に近似できる場合は、近似した平面の重心点を位
置Ｐとし、平面に垂直な法線Ｕを三次元情報として復元
することができる。

【００８６】平面の位置と法線を三次元情報として算出
するアルゴリズムは、上述の「物体の形状姿勢検出装
置」の記載によればよい。このとき、動き予測手段２６
では、次の瞬間の検出対象の重心位置Ｐおよび速度ベク
トルＶ（運動方向と速さ）を（数１）で求め、さらに法
線ベクトルＵは、過去の法線ベクトルの履歴から外補す
ることにより容易に求めることができる。

【００８７】最適カメラ決定手段２７では、法線ベクト
ルＵと各カメラ光軸Ｌとのなす角が小さいものから順に
ｍ台を選ぶか、または法線ベクトルＵと各カメラの光軸
Ｌとの内積が大きいものから順にｍ台を選ぶ。

【００８８】なお、本例では、ある瞬間における最適な
ｎ台のカメラを決定し、そのカメラ画像から全ての検出
対象の二次元情報を演算しているが、これを、ある瞬間
において、全ての検出対象の１つ１つについてｎ台の最
適なカメラを決定し、それぞれのカメラ画像からそれぞ
れの二次元情報を演算することもできる。

【００８９】本形態によれば、次の効果がある。まず、
検出対象の位置と速度を予測し、予測した位置・速度と
各カメラの光軸との位置関係からカメラを選択すること
により、オクルージョンの発生を最低限に押え、さらに
最適な画像データを取捨選択することができ、少ないデ
ータ量から三次元情報の高精度な検出が可能となる。

【００９０】データベースに予測した位置と速度とそれ
に対応したカメラを前もって記述しておくことにより、
オクルージョン発生の可能性等を毎回演算することな
く、最適なカメラを高速に決定することができる。さら
に、アルゴリズムでは表現しにくい経験則的なカメラ選
択のノウハウもシステムに容易に組み込むことができ
る。

【００９１】（実施の形態２）図９に示すように、本形
態の三次元情報検出装置は、実施の形態１に対し、動き
予測手段がなく、各カメラ１、２、３毎に、第１画像特
徴量抽出手段３０、第２画像特徴量抽出手段３１、第ｎ
画像特徴量抽出手段３２が設けられ、最適カメラ決定手
段３３が第１画像特徴量抽出手段３０、第２画像特徴量
抽出手段３１、第ｎ画像特徴量抽出手段３２が求めた画
像特徴量を参照する点が異なる。

【００９２】第１画像特徴量抽出手段３０、第２画像特
徴量抽出手段３１、第ｎ画像特徴量抽出手段３２は、カ
メラ１、２、３から入力した画像データに基づいて、図
１０（ｂ）、（ｃ）、（ｄ）のいずれか１つ又は２以上
組み合わせた画像特徴量を計算する。図１０（ｂ）で
は、画像に含まれる全マーカの面積（画素数）を画像特
徴量とする（ステップ３７〜ステップ３９）。このよう
にすると、二次元情報演算手段２１〜２３において画像
データからマーカの重心位置を求める場合、マーカの画
素数が大きいほど位置の誤差が小さくなるため、検出精
度を向上できる。

【００９３】図１０（ｃ）では、マーカのフレーム間移
動距離を画像特徴量とする（ステップ４０〜ステップ４
３）。ここで、マーカの移動距離が少ない画像データ
は、カメラの光軸方向にマーカが移動している可能性が
あり、その場合、検出精度が低下する。このため、でき
るだけ検出対象の移動方向と垂直に近いカメラ光軸を持
つ画像データ、すなわちマーカの移動距離が大きいもの
を優先的に選択することにより、検出精度を向上させ
る。

【００９４】図１０（ｄ）では、マーカとみなす画素に
対して、クラスタリング処理を行い、得られたクラスタ
の個数を画像特徴量とする（ステップ４４〜ステップ４
５）。これにより、検出対象を効率的に捉えていないカ
メラを排除できる。

【００９５】さらに、上記画像特徴量は、いずれも検出
対象の平面近似性を前提としないので、広範な用途に適
用できる。

【００９６】次に、図１０（ａ）のフローチャートに沿
って、本形態の三次元情報検出装置の動作を説明する。
さてまず、動作に移る前に、次の準備を行っておく。

【００９７】本例では、人の追跡したい部位にそれぞれ
色の異なる球状のマーカをｅ個装着し、検出対象をこれ
らのマーカとする。また、このとき、装着部位とマーカ
色の対応はあらかじめ入力しておく。そして、人を囲む
ようにｎ台（ｎ≧３）のカメラを配置する。このとき、
人が動いても、各カメラの視野に常に人が含まれるよう
に光軸等を設定する。

【００９８】さらに、この状態でカメラキャリブレーシ
ョン作業を行ない、カメラの位置、姿勢、レンズ特性等
の、いわゆるカメラパラメータを、記録媒体１２に記録
しておく。

【００９９】ステップ３０にて、全てのカメラ１、２、
３で撮影を行い、第１画像特徴量抽出手段３０、第２画
像特徴量抽出手段３１、第ｎ画像特徴量抽出手段３２が
上述の画像特徴量を求める（ステップ３１）。

【０１００】次に、最適カメラ決定手段３３が画像特徴
量が大きい順に、カメラをｍ台部分選択する決定を行い
（ステップ３２）、カメラ選択手段２０に指示を与え
る。そして、カメラ選択手段２０は、指示されたカメラ
の画像データを第１二次元情報演算手段２１、第２二次
元情報演算手段２２、第ｍ二次元情報演算手段２３に渡
し（ステップ３３）、第１二次元情報演算手段２１、第
２二次元情報演算手段２２、第ｍ二次元情報演算手段２
３は、マーカの二次元位置を計算する（ステップ３
４）。

【０１０１】次に、三次元情報演算手段２４がこれらの
二次元位置からマーカの三次元位置を計算し（ステップ
３５）、結果が出力手段２５に表示される（ステップ３
６）。

【０１０２】以上の処理が、撮像サンプリング間隔毎に
繰り返される。

【０１０３】さらに、本形態は、実施の形態１と同様
に、マーカに代えて肌色領域を検出対象とすることがで
きる。

【０１０４】（実施の形態３）本形態は、実施の形態
１、２と異なり、検出対象の移動経路が想定できること
を前提とする。このとき、想定される移動経路を入力し
て、最適なカメラ配置を提示する構成である。さらに、
指示にしたがってオペレータが配置したカメラの画像か
ら、正しい配置とのずれを計算し、状況に応じて再設定
を指示することも可能である。

【０１０５】図１１は、本発明の実施の形態３における
三次元情報検出装置のブロック図である。但し、要点の
みを記載してある。このうち、動き入力手段４０は、オ
ペレータが想定する検出対象の移動経路を入力するため
のものである。

【０１０６】最適カメラ配置決定手段４１は、入力され
た移動経路から、後述する要領で、最適なカメラ配置を
決定する。また、出力手段４２は、決定した最適カメラ
配置をオペレータに表示する。

【０１０７】次に、図１２のフローチャートに沿って、
動作を説明する。まず、オペレータは、検出対象の動き
をあらかじめ想定し、動き入力手段４０で移動経路とし
て入力する（ステップ１０１）。ここでは、図１３に示
すように、移動経路が入力されたものとし、この移動経
路のうち、特に動き始めの点を動き始点Ｓ、動き終りの
点を動き終点Ｔ、経路の中央の点を中間点Ｑとする。

【０１０８】すると、最適カメラ配置決定手段４１は、
最適なカメラＦ１、Ｆ２の位置と姿勢を計算する。つま
り、中間点Ｑを頂点とし、線分ＳＴに平行な底辺（線分
Ｂ１Ｂ２）となる正三角形を設定する（ステップ１０
２）。このとき、正三角形の一辺の長さは、カメラの画
素数等から決定される値をあらかじめ与えておいてもよ
いし、線分ＳＴの長さの整数倍としてもよい。

【０１０９】そして、最適カメラ配置決定手段４１は、
点Ｂ１および点Ｂ２を、カメラＦ１、Ｆ２の光学中心と
なるようにそれぞれの位置を決める。また、正三角形の
辺Ｂ１Ｍおよび辺Ｂ２Ｍと、カメラＦ１、Ｆ２の光軸と
を一致するように、カメラの姿勢をそれぞれ決定する
（ステップ１０３、１０４）。

【０１１０】そして、決定した２つのカメラＦ１および
Ｆ２の位置および姿勢を座標値やグラフィックスで出力
手段４２に表示し、オペレータにカメラの配置を促す
（ステップ１０５）。なお、正三角形の頂点を中間点Ｍ
としたが、動き始点Ｓや動き終点Ｔを頂点としてもよ
い。

【０１１１】また、図１４に示すようにしてもよい。即
ち、動き始点Ｓと動き終点Ｔを底辺とする正三角形（頂
点Ｒ）を想定し、辺ＲＳの延長線上に点Ｂ１、辺ＲＴの
延長線上に点Ｂ２を設定し、点Ｂ１および点Ｂ２を、カ
メラＦ１、Ｆ２の光学中心となるようにそれぞれの位置
を決める。また、線分Ｂ１Ｓおよび線分Ｂ２Ｔ、カメラ
Ｆ１、Ｆ２の光軸とを一致するように、カメラの姿勢を
それぞれ決定する。

【０１１２】また、カメラをｎ台配置する場合には、図
１５に示すように、頂点角（角ＳＲＴ）をｎ―１等分し
た線分上にＢｉ（ｉ＝１〜ｎ）をとり、カメラＦｉの位
置と姿勢を決めても良い。

【０１１３】なお、検出対象の実際の移動経路は、オペ
レータが想定した移動経路と必ずしも一致する必要はな
く、大きくずれなければ一定の効果が得られる。

【０１１４】本形態によれば、次の効果がある。即ち、
検出対象の動き経路をあらかじめ想定して入力し、入力
した経路から最適なカメラ配置を計算し、オペレータに
提示することにより、不慣れなオペレータでも最適なカ
メラ配置が行える。

【０１１５】なお、最適なカメラ配置の決定要領は、種
々変更しても差し支えない。

【０１１６】

【発明の効果】第１発明では動き予測を利用し、第２発
明では画像特徴量を利用することにより、複数のカメラ
から少なくかつ最適なカメラを常に選択することがで
き、（１）オクルージョンの発生を極力防止し、安定し
た検出ができる。（２）カメラの台数を増やしても画像
処理負担を軽減できる。（３）平面近似できない対象物
体についても適用できる。

【０１１７】第３発明では、対象物体の動き経路をあら
かじめ想定して入力し、入力した経路から最適なカメラ
配置を計算し、ユーザに提示することにより、不慣れな
ユーザでも最適なカメラ配置を行える。

【図面の簡単な説明】

【図１】本発明の一実施の形態における三次元情報検出
装置の構成図

【図２】本発明の実施の形態１における三次元情報検出
装置のブロック図

【図３】同角φの説明図

【図４】（ａ）同オクルージョン非発生時の画像例示図（ｂ）同オクルージョン発生時の画像例示図（ｃ）同視直径の説明図

【図５】同角θの説明図

【図６】（ａ）同フローチャート（ｂ）同フローチャート（ｃ）同フローチャート

【図７】（ａ）同フローチャート（ｂ）同フローチャート（ｃ）同フローチャート

【図８】（ａ）同領域分割説明図（ｂ）同最適カメラテーブルの例示図

【図９】本発明の実施の形態２における三次元情報検出
装置のブロック図

【図１０】（ａ）同フローチャート（ｂ）同フローチャート（ｃ）同フローチャート（ｄ）同フローチャート

【図１１】本発明の実施の形態３における三次元情報検
出装置のブロック図

【図１２】同フローチャート

【図１３】同配置例示図

【図１４】同配置例示図

【図１５】同配置例示図

【符号の説明】

１、２、３カメラ２０カメラ選択手段２１、２２、２３二次元情報演算手段２４三次元情報演算手段２５出力手段２６動き予測手段２７最適カメラ決定手段

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 ３１５Ｇ０６Ｔ 1/00 ３４０Ｂ５Ｌ０９６３４０ 7/00 Ｃ 7/00 Ｈ０４Ｎ 5/225 ＦＨ０４Ｎ 5/225 Ｚ 13/02 13/02 Ｇ０１Ｐ 15/00 Ａ (72)発明者吉田裕之大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者吉澤正文大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者福宮英二大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者西隆暁大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 2F065 AA04 BB15 BB27 CC16 FF09 FF27 FF64 FF67 HH02 JJ03 JJ05 JJ26 MM02 QQ00 QQ08 QQ17 QQ21 QQ24 QQ32 2F112 AC02 AC06 BA06 CA08 CA12 FA03 FA21 FA45 5B057 AA20 BA02 BA19 DA07 DA20 DB02 DB03 DC04 DC08 DC30 DC36 5C022 AA01 AB61 AB68 AC01 AC69 5C061 AA20 AB04 AB24 5L096 AA02 AA09 BA18 CA05 DA02 FA46 FA52 FA59 FA66 FA67 FA69 HA04 HA05 MA07

Claims

【特許請求の範囲】

【請求項１】移動可能な検出対象の三次元空間における
位置情報を検出する三次元情報検出装置であって、互いに異なる方向から検出対象を撮像する少なくとも３
つの撮像手段と、指示に従って、前記少なくとも３つの撮像手段から複数
の撮像手段を部分選択する選択手段と、選択された撮像手段による画像情報から検出対象の三次
元空間における位置情報を求める三次元情報演算手段
と、求めた位置情報から直後における動き予測を行う動き予
測手段と、動き予測結果を参照して適正な撮像手段を決定し前記選
択手段へ指示を与える決定手段を備えることを特徴とす
る三次元情報検出装置。
【請求項２】前記検出対象は、移動する物体そのもの、
移動する物体に取り付けられたマーカ、人体の一部又は
全部のうちの、いずれかであることを特徴とする請求項
１記載の三次元情報検出装置。
【請求項３】前記動き予測は、検出対象の位置、速度、
加速度又は法線ベクトルの一種又は二種以上に基づくこ
とを特徴とする請求項１から２記載の三次元情報検出装
置。
【請求項４】前記動き予測は、線形外挿によることを特
徴とする請求項１から３記載の三次元情報検出装置。
【請求項５】前記決定手段は、検出対象毎に適正な撮像
手段を決定することを特徴とする請求項１から４記載の
三次元情報検出装置。
【請求項６】前記決定手段は、該当撮像手段の画像中に
おいて、検出対象同士のオクルージョンの発生条件を検
討し、発生するおそれがあるときは、該当撮像手段を選
択しないことを特徴とする請求項１から５記載の三次元
情報検出装置。
【請求項７】前記決定手段は、該当撮像手段の光軸ベク
トルと検出対象の速度ベクトルのなす角又はこの角の関
数値を参照し、この角が大きい順に優先的に選択するこ
とを特徴とする請求項１から６記載の三次元情報検出装
置。
【請求項８】前記決定手段は、適正な撮像手段を撮像時
毎に決定することを特徴とする請求項１から７記載の三
次元情報検出装置。
【請求項９】移動可能な検出対象の三次元空間における
位置情報を検出する三次元情報検出装置であって、互いに異なる方向から検出対象を撮像する少なくとも３
つの撮像手段と、指示に従って、前記少なくとも３つの撮像手段から複数
の撮像手段を部分選択する選択手段と、選択された撮像手段による画像情報から検出対象の三次
元空間における位置情報を求める三次元情報演算手段
と、前記撮像手段毎に、撮像適性の指標として予め定義され
た画像特徴量を求める画像特徴量抽出手段と、求めた画像特徴量を参照して適正な撮像手段を決定し、
前記選択手段へ指示を与える決定手段を備えることを特
徴とする三次元情報検出装置。
【請求項１０】前記検出対象は、移動する物体そのも
の、移動する物体に取り付けられたマーカ、人体の一部
又は全部のうちの、いずれかであることを特徴とする請
求項９記載の三次元情報検出装置。
【請求項１１】前記画像特徴量は、画像に含まれる検出
対象の面積であることを特徴とする請求項９から１０記
載の三次元情報検出装置。
【請求項１２】前記画像特徴量は、検出対象のフレーム
間移動距離であることを特徴とする請求項９から１１記
載の三次元情報検出装置。
【請求項１３】前記画像特徴量は、画像に含まれる検出
対象の個数であることを特徴とする請求項９から１２記
載の三次元情報検出装置。
【請求項１４】前記画像特徴量は、画像に含まれる検出
対象の面積、検出対象のフレーム間移動距離、画像に含
まれる検出対象の個数のうち、二種以上を組み合わせた
ものであることを特徴とする請求項９から１０記載の三
次元情報検出装置。
【請求項１５】移動可能な検出対象の三次元空間におけ
る位置情報を検出する三次元情報検出装置であって、互いに異なる方向から検出対象を撮像する複数の撮像手
段と、検出対象の移動経路を入力する動き入力手段と、入力された移動経路に基づいて、複数の撮像手段の配置
を求める配置演算手段と、求めた配置を出力する出力手段を備えることを特徴とす
る三次元情報検出装置。
【請求項１６】前記配置演算手段は、入力された移動経
路上の一点を頂点とする正三角形の、他の二つの頂点に
撮像手段を配置することを特徴とする請求項１５記載の
三次元情報検出装置。
【請求項１７】前記配置演算手段は、入力された移動経
路の始点から終点に至る線分を底辺とする二等辺三角形
の頂角を、等分する軸上に複数の撮像手段を配置するこ
とを特徴とする請求項１５記載の三次元情報検出装置。
【請求項１８】移動可能な検出対象の三次元空間におけ
る位置情報を検出する三次元情報検出方法であって、少なくとも３つの撮像手段により、互いに異なる方向か
ら検出対象を撮像するステップと、指示に従って、前記少なくとも３つの撮像手段から複数
の撮像手段を部分選択するステップと、選択された撮像手段による画像情報から検出対象の三次
元空間における位置情報を求めるステップと、求めた位置情報から直後における動き予測を行うステッ
プと、動き予測結果を参照して適正な撮像手段を決定し前記選
択手段へ指示を与えるステップを備えることを特徴とす
る三次元情報検出方法。
【請求項１９】前記検出対象は、移動する物体そのも
の、移動する物体に取り付けられたマーカ、人体の一部
又は全部のうちの、いずれかであることを特徴とする請
求項１８記載の三次元情報検出方法。
【請求項２０】前記動き予測は、検出対象の位置、速
度、加速度又は法線ベクトルの一種又は二種以上に基づ
くことを特徴とする請求項１８から１９記載の三次元情
報検出方法。
【請求項２１】前記動き予測は、線形外挿によることを
特徴とする請求項１８から２０記載の三次元情報検出方
法。
【請求項２２】検出対象毎に適正な撮像手段を決定する
ことを特徴とする請求項１８から２１記載の三次元情報
検出方法。
【請求項２３】該当撮像手段の画像中において、検出対
象同士のオクルージョンの発生条件を検討し、発生する
おそれがあるときは、該当撮像手段を選択しないことを
特徴とする請求項１８から２２記載の三次元情報検出方
法。
【請求項２４】該当撮像手段の光軸ベクトルと検出対象
の速度ベクトルのなす角又はこの角の関数値を参照し、
この角が大きい順に優先的に選択することを特徴とする
請求項１８から２３記載の三次元情報検出方法。
【請求項２５】適正な撮像手段を撮像時毎に決定するこ
とを特徴とする請求項１８から２４記載の三次元情報検
出方法。
【請求項２６】移動可能な検出対象の三次元空間におけ
る位置情報を検出する三次元情報検出方法であって、少なくとも３つの撮像手段により、互いに異なる方向か
ら検出対象を撮像するステップと、指示に従って、前記少なくとも３つの撮像手段から複数
の撮像手段を部分選択するステップと、選択された撮像手段による画像情報から検出対象の三次
元空間における位置情報を求めるステップと、前記撮像手段毎に、撮像適性の指標として予め定義され
た画像特徴量を求めるステップと、求めた画像特徴量を参照して適正な撮像手段を決定し、
前記選択手段へ指示を与えるステップを備えることを特
徴とする三次元情報検出方法。
【請求項２７】移動する物体そのもの、移動する物体に
取り付けられたマーカ、人体の一部又は全部のうちの、
いずれかであることを特徴とする請求項２６記載の三次
元情報検出方法。
【請求項２８】前記画像特徴量は、画像に含まれる検出
対象の面積であることを特徴とする請求項２６から２７
記載の三次元情報検出方法。
【請求項２９】前記画像特徴量は、検出対象のフレーム
間移動距離であることを特徴とする請求項２６から２８
記載の三次元情報検出方法。
【請求項３０】前記画像特徴量は、画像に含まれる検出
対象の個数であることを特徴とする請求項２６から２９
記載の三次元情報検出方法。
【請求項３１】前記画像特徴量は、画像に含まれる検出
対象の面積、検出対象のフレーム間移動距離、画像に含
まれる検出対象の個数のうち、二種以上を組み合わせた
ものであることを特徴とする請求項２６から２７記載の
三次元情報検出方法。
【請求項３２】移動可能な検出対象の三次元空間におけ
る位置情報を検出する三次元情報検出方法であって、少なくとも３つの撮像手段により、互いに異なる方向か
ら検出対象を撮像するステップと、検出対象の移動経路を入力するステップと、入力された移動経路に基づいて、複数の撮像手段の配置
を求めるステップと、求めた配置を出力するステップを備えることを特徴とす
る三次元情報検出方法。
【請求項３３】入力された移動経路上の一点を頂点とす
る正三角形の、他の二つの頂点に撮像手段を配置するこ
とを特徴とする請求項３２記載の三次元情報検出方法。
【請求項３４】入力された移動経路の始点から終点に至
る線分を底辺とする二等辺三角形の頂角を、等分する軸
上に複数の撮像手段を配置することを特徴とする請求項
３２記載の三次元情報検出方法。