JP2002022444A - 座標情報収集システム、座標情報収集方法及びマーク部材 - Google Patents

Abstract

(57)【要約】 【課題】 大規模空間においても多数の位置に簡易にラ
ンドマークポイントを配置することができると共に、配
置されたランドマークポイントの座標情報を簡易かつ高
精度に得ることができる座標情報収集システム及び座標
情報収集方法を得る。 【解決手段】 表面に複数のランドマークポイントを示
すマーク（市松模様）を付した板状のキャリブレーショ
ンボード３０を用意し、撮影対象空間５２内の所定位置
にキャリブレーションボード３０を配置した際の各ラン
ドマークポイントの３次元位置を示す座標情報を３次元
測量器２４によって取得すると共に、各ビデオカメラ１
２の撮影によって得られた画像中の各ランドマークポイ
ントの２次元位置を示す座標情報を取得し、同一ランド
マークポイントの上記３次元位置を示す座標情報と上記
２次元位置を示す座標情報とを対応付けて記憶する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、座標情報収集シス
テム、座標情報収集方法及びマーク部材に係り、より詳
しくは、座標情報の収集対象とする領域内の任意の位置
における座標情報を簡易かつ高精度に得ることができる
座標情報収集システム及び座標情報収集方法と、該座標
情報収集システム及び座標情報収集方法に用いられるマ
ーク部材に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】近年の
コンピュータの処理能力やビデオ機器の発達に伴い、多
視点カメラによって撮影された映像データをコンピュー
タ内部で融合し、その情報を用いて自由視点からの見え
方を提示する研究が盛んに行われている。

【０００３】多視点映像データの融合には、３次元形状
推定やモデリングといったコンピュータビジョンの技術
等が用いられ、自由視点映像の生成には、イメージベー
ス、又はモデルベースのレンダリングに基づくコンピュ
ータ・グラフィクス技術等が用いられている。

【０００４】しかしながら、撮影対象とする空間が大き
くなると、完全に同期のとれた多視点映像の撮影や、正
確なカメラ校正（キャリブレーション）が困難になるた
め、ほとんどの研究は、数ｍ四方の空間内でのイベント
を対象に行われている。

【０００５】すなわち、ビデオカメラによって撮影され
た画像の画像データを処理するためには、実世界と、ビ
デオカメラによって得られた画像データが示す２次元画
像との位置関係を予め得ておく必要があり、このために
は、ビデオカメラの画像の中に正確な実世界の位置座標
が分かる特徴点（以下、「ランドマークポイント」とい
う）が複数存在する必要がある。

【０００６】一方、ビデオカメラによる画像の解像度に
は限界があるので、カメラ校正には必然的に誤差が生じ
る。従って、正確なカメラ校正を行うためには、なるべ
く多くの正確なランドマークポイントを実空間中に均一
に配置することが求められる。

【０００７】しかしながら、イベントホールやスタジア
ムといった大規模な空間に、そのようなランドマークポ
イントを配置することは著しく困難であり、従来は、机
上、或いは５ｍ程度の立方体空間でのランドマークポイ
ントの配置に留まっていた。

【０００８】本発明は上記事実に鑑みて成されたもので
あり、大規模空間においても多数の位置に簡易にランド
マークポイントを配置することができると共に、配置さ
れたランドマークポイントの座標情報を簡易かつ高精度
に得ることができる座標情報収集システム及び座標情報
収集方法を提供すると共に、該座標情報収集システム及
び座標情報収集方法に好適に用いることができるマーク
部材を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の座標情報収集システムは、座標情報
の収集対象となる位置を示すマークが付された移動可能
なマーク部材と、座標情報の収集対象とする領域内に配
置された前記マーク部材の前記マークの３次元位置を計
測するための３次元測量器と、各々異なる位置に配置さ
れると共に、前記３次元測量器によって前記マークの３
次元位置が計測された前記マーク部材の前記マークを含
む領域を撮影して画像信号として出力する複数の撮像器
と、前記複数の撮像器の各々から出力された画像信号が
示す画像における前記マークの２次元位置を示す座標情
報を前記撮像器毎に導出する２次元座標導出手段と、前
記２次元座標導出手段によって導出された前記マークの
２次元位置を示す座標情報と、前記３次元測量器によっ
て計測された前記マークの３次元位置を示す座標情報と
を対応付ける対応付手段と、前記対応付手段によって対
応付けられた座標情報を記憶する記憶手段と、を備えて
いる。

【００１０】請求項１記載の座標情報収集システムによ
れば、座標情報の収集対象とする領域内に配置された、
座標情報の収集対象となる位置を示すマークが付された
移動可能なマーク部材の前記マークの３次元位置が３次
元測量器によって計測され、各々異なる位置に配置され
た複数の撮像器により、上記３次元測量器によって上記
マークの３次元位置が計測されたマーク部材のマークを
含む領域が撮影されて画像信号として出力される。

【００１１】ここで、上記マークは前述のランドマーク
ポイントに相当するものであり、該マークとしては、円
形図形、矩形図形、×印等の位置を示すことができる全
ての形状のマークを適用することができる。また、上記
３次元測量器としては、レーザ光等の所定波長の光の反
射光に基づいて計測対象の３次元位置を計測するタイプ
の測量器や、三角測量に基づいて計測対象の３次元位置
を計測するタイプの測量器等の、あらゆる３次元測量器
を適用することができる。また、上記撮像器には、撮影
対象の動画像を撮影するビデオカメラの他、撮影対象の
静止画像を撮影するカメラが含まれる。なお、撮像器が
ビデオカメラの場合は、デジタル方式及びアナログ方式
の何れのものも適用することができる。

【００１２】また、本発明では、上記複数の撮像器の各
々から出力された画像信号が示す画像における上記マー
クの２次元位置を示す座標情報が２次元座標導出手段に
よって撮像器毎に導出され、導出された上記マークの２
次元位置を示す座標情報と、上記３次元測量器によって
計測された上記マークの３次元位置を示す座標情報とが
対応付手段によって対応付けられ、更に該対応付けられ
た座標情報が記憶手段によって記憶される。ここで、上
記記憶手段には、ＲＡＭ（Random Access Memory）、Ｅ
ＥＰＲＯＭ（Electrically Erasable and Programmable
Read Only Memory）、フラッシュＥＥＰＲＯＭ（Flash
ＥＥＰＲＯＭ）等の記憶素子、フロッピィディスク、
ＣＤ−ＲＯＭ、光磁気ディスク、磁気テープ等の可搬記
録媒体やハードディスク等の固定記録媒体、或いはネッ
トワークに接続されたサーバーコンピュータ等に設けら
れた外部記憶装置等を適用することができる。

【００１３】このように、請求項１に記載の座標情報収
集システムによれば、ランドマークポイントを示すもの
として座標情報の収集対象となる位置を示すマークが付
された移動可能なマーク部材を用いているので、多数の
位置に簡易にランドマークポイントを配置することがで
きると共に、座標情報の収集対象とする領域内に配置さ
れたマーク部材のマークの３次元位置を３次元測量器に
よって計測して、複数の撮像器によって得られた画像に
おける上記マークの２次元位置を示す座標情報と３次元
測量器によって計測された上記マークの３次元位置を示
す座標情報とを対応付けているので、配置されたランド
マークポイントの座標情報を簡易かつ高精度に得ること
ができる。

【００１４】また、本発明によれば、上述のように多数
の位置に簡易にランドマークポイントを配置することが
できる結果、座標情報の収集対象とする空間の形状や広
さの自由度を増大させることができる。

【００１５】また、請求項２記載の座標情報収集システ
ムは、請求項１記載の発明において、前記マーク部材の
前記マークを含む領域に、前記マークが付されている位
置の基準となる基準マークを付し、前記３次元測量器に
よって、前記基準マークの３次元位置を計測すると共
に、前記３次元測量器によって計測された前記基準マー
クの３次元位置を基準として前記マークの３次元位置を
示す座標情報を導出する３次元座標導出手段を更に備え
たものである。

【００１６】請求項２記載の座標情報収集システムで
は、請求項１に記載の発明におけるマーク部材の上記マ
ークを含む領域に、該マークが付されている位置の基準
となる基準マークが付され、３次元測量器によって上記
基準マークの３次元位置が計測され、更に、該計測され
た基準マークの３次元位置を基準として上記マークの３
次元位置を示す座標情報が３次元座標導出手段によって
導出される。なお、上記基準マークとしては、円形図
形、矩形図形、×印等の位置を示すことができる全ての
形状のマークを適用することができる。ここで、３次元
測量器がレーザ光の反射光に基づいて計測対象の３次元
位置を計測するタイプの測量器である場合には、レーザ
光を反射するための反射板に上記基準マークを付する形
態を適用することもできる。

【００１７】このように、請求項２に記載の座標情報収
集システムによれば、請求項１記載の発明と同様の効果
を奏することができると共に、マーク部材に対してマー
クが付されている位置の基準となる基準マークを付して
おき、３次元測量器によって上記基準マークの３次元位
置を計測して、該計測した３次元位置を基準として上記
マークの３次元位置を示す座標情報を導出しているの
で、基準マークのみが３次元測量器によって計測できる
状態にマーク部材を配置することが可能となり、マーク
部材の配置の自由度を増すことができる。

【００１８】また、請求項３記載の座標情報収集システ
ムは、請求項２記載の発明における前記マーク部材を、
表面に前記マークと少なくとも３箇所の前記基準マーク
とが付された板状部材とするものである。

【００１９】すなわち、マーク部材の形状を、移動の簡
易性や設置の容易性を向上するために板状とし、かつ表
面にマークを付した場合、基準マークの３次元位置を基
準としてマークの３次元位置を導出するためには、マー
クを付した面の３次元測量器に対する傾斜を知る必要が
ある。

【００２０】一方、上記傾斜は、マークを付した面の最
低３箇所の３次元位置に基づいて導出することが可能で
ある。従って、本発明では、マーク部材のマークが付さ
れた面の少なくとも３箇所に上記基準マークを付してお
くことによって、これらの基準マークの３次元位置を３
次元測量器で計測して上記傾斜を導出し、該傾斜に基づ
いて上記マークの３次元位置を導出することができるよ
うにしている。

【００２１】このように請求項３に記載の座標情報収集
システムによれば、請求項２記載の発明と同様の効果を
奏することができると共に、マーク部材の形状を板状と
したので、マーク部材の移動の簡易性や設置の容易性を
向上することができる。

【００２２】また、請求項４記載の座標情報収集システ
ムは、請求項１乃至請求項３の何れか１項記載の発明に
おいて、前記マーク部材に複数の前記マークを付し、前
記対応付手段は、前記複数のマークの２次元位置を示す
座標情報と前記複数のマークの３次元位置を示す座標情
報との間で、同一マーク同士の座標情報を対応付けるも
のである。

【００２３】請求項４記載の座標情報収集システムによ
れば、座標情報の収集対象とする領域内に配置された、
座標情報の収集対象となる位置を示す複数のマークが付
された移動可能なマーク部材の上記複数のマークの３次
元位置が３次元測量器によって計測され、各々異なる位
置に配置された複数の撮像器により、上記３次元測量器
によって上記複数のマークの３次元位置が計測されたマ
ーク部材のマークを含む領域が撮影されて画像信号とし
て出力される。

【００２４】また、この発明では、上記複数の撮像器の
各々から出力された画像信号が示す画像における上記複
数のマークの２次元位置を示す座標情報が２次元座標導
出手段によって撮像器毎に導出され、導出された上記複
数のマークの２次元位置を示す座標情報と、上記複数の
マークの３次元位置を示す座標情報との間で、同一マー
ク同士の座標情報が対応付手段によって対応付けられ
る。

【００２５】このように請求項４に記載の座標情報収集
システムによれば、請求項１乃至請求項３の何れか１項
記載の発明と同様の効果を奏することができると共に、
マーク部材を複数のマークが付されたものとしているの
で、マーク部材の設置毎に収集できる座標情報の位置数
を複数とすることができ、より短時間に多数の座標情報
を収集することができる。

【００２６】更に、請求項５記載の座標情報収集システ
ムは、請求項４記載の発明において、前記マーク部材の
前記マークを含む領域に、前記複数のマークの座標情報
の順位を決定するための起点となる起点マークを付し、
前記対応付手段は、前記撮像器から出力された画像信号
から前記起点マークの位置を検出し、所定ルールに基づ
いて、前記検出した位置を起点として前記複数のマーク
の２次元位置を示す座標情報と前記複数のマークの３次
元位置を示す座標情報との間で、同一マーク同士の座標
情報を対応付けるものである。

【００２７】請求項５記載の座標情報収集システムによ
れば、請求項４に記載の発明におけるマーク部材のマー
クを含む領域に、上記複数のマークの座標情報の順位を
決定するための起点となる起点マークが付される。な
お、上記起点マークとしては、円形図形、矩形図形、×
印等の位置を示すことができる全ての形状のマークを適
用することができる。

【００２８】また、請求項５記載の発明では、対応付手
段によって、上記撮像器から出力された画像信号から起
点マークの位置が検出され、所定ルールに基づいて、上
記検出された位置を起点として上記複数のマークの２次
元位置を示す座標情報と上記複数のマークの３次元位置
を示す座標情報との間で、同一マーク同士の座標情報が
対応付けられる。なお、上記所定ルールとしては、起点
マークの最近傍に位置するマークを起点として、上記複
数のマークの座標情報の順位を決定することができるル
ールであれば、如何なるルールも適用することができ
る。

【００２９】このように請求項５に記載の座標情報収集
システムによれば、請求項４記載の発明と同様の効果を
奏することができると共に、マーク部材に対して複数の
マークの座標情報の順位を決定するための起点となる起
点マークを付しておき、所定ルールに基づいて、上記起
点マークの位置を起点として上記複数のマークの２次元
位置を示す座標情報と上記複数のマークの３次元位置を
示す座標情報との間で、同一マーク同士の座標情報の対
応付けを行っているので、該対応付けを人手を介在させ
ることなく自動的に行うことができる。

【００３０】一方、上記目的を達成するために、請求項
６記載の座標情報収集方法は、座標情報の収集対象とす
る領域内に配置された、座標情報の収集対象となる位置
を示すマークが付された移動可能なマーク部材の前記マ
ークの３次元位置を３次元測量器によって計測すると共
に、各々異なる位置に配置された複数の撮像器により、
前記３次元測量器によって前記マークの３次元位置が計
測された前記マーク部材の前記マークを含む領域を撮影
して画像信号として出力し、前記複数の撮像器の各々か
ら出力された画像信号が示す画像における前記マークの
２次元位置を示す座標情報を前記撮像器毎に導出し、導
出された前記マークの２次元位置を示す座標情報と、前
記３次元測量器によって計測された前記マークの３次元
位置を示す座標情報とを対応付け、対応付けられた座標
情報を記憶するものである。

【００３１】従って、請求項６に記載の座標情報収集方
法によれば、請求項１記載の発明と同様に作用するの
で、多数の位置に簡易にランドマークポイントを配置す
ることができると共に、配置されたランドマークポイン
トの座標情報を簡易かつ高精度に得ることができる。

【００３２】また、上記目的を達成するために、請求項
７記載のマーク部材は、空間内の任意位置における座標
情報を収集する際に前記任意位置を示すために用いられ
るマーク部材であって、板状部材と、前記板状部材の表
面に付された前記任意位置を示すマークと、前記マーク
が付された面の予め定めた少なくとも３箇所に付される
と共に、前記マークが付されている位置の基準となる基
準マークと、を備えている。

【００３３】すなわち、空間内の任意位置における座標
情報を収集する際に上記任意位置を示すために用いられ
るマーク部材の形状を、移動の簡易性や設置の容易性を
向上するために板状とし、かつ表面に上記任意位置を示
すマークを付した場合、基準マークの３次元位置を基準
としてマークの３次元位置を導出する場合には、マーク
を付した面の３次元位置計測位置に対する傾斜を知る必
要がある。

【００３４】一方、上記傾斜は、マークを付した面の最
低３箇所の３次元位置に基づいて導出することが可能で
ある。従って、本発明では、マーク部材のマークが付さ
れた面の少なくとも３箇所に上記基準マークを付してお
くことによって、これらの基準マークの３次元位置を計
測して上記傾斜を導出し、該傾斜に基づいて上記マーク
の３次元位置を導出することができるようにしている。

【００３５】このように請求項７に記載のマーク部材に
よれば、マーク部材の形状を板状としたので、マーク部
材の移動の簡易性や設置の容易性を向上することができ
る。

【００３６】なお、請求項８記載の発明のように、請求
項７記載のマーク部材において、前記少なくとも３箇所
に付された基準マークは、前記板状部材の外周近傍でか
つ互いに離間する位置に付されていることが好ましい。

【００３７】これによって、マークを付した面の３次元
位置計測位置に対する傾斜を高精度に導出することがで
き、この結果としてマークの３次元位置を高精度に導出
することができる。

【００３８】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について詳細に説明する。まず、図１を参照
して、本実施の形態に係る多視点映像撮影システム１０
の構成について説明する。なお、図１は、本実施の形態
に係る多視点映像撮影システム１０の全体構成を示すブ
ロック図である。

【００３９】同図に示すように、本実施の形態に係る多
視点映像撮影システム１０は、撮影対象とする空間内を
撮影して画像信号として出力する複数（本実施の形態で
は１５台）のビデオカメラ１２と、各ビデオカメラ１２
から出力された画像信号の同期をとるための同期信号を
発生する同期信号発生器１４と、各ビデオカメラ１２か
ら出力された画像信号に書込むべき撮影時刻を示すタイ
ムコードを発生するＬＴＣ（Longitudinal Time Code）
発生器１８と、各々ＬＴＣ発生器１８によって発生され
たタイムコードに応じた撮影時刻を対応するビデオカメ
ラ１２から出力された画像信号に書込む複数（本実施の
形態では１５台）のタイムスタンパ１６と、各々３枚の
画像ボード２６が装着された画像信号取り込み用のパー
ソナル・コンピュータ（以下、「取込用ＰＣ」という）
２０と、撮影対象とする空間内の任意点の３次元位置を
計測するための３次元測量器２４と、本多視点映像撮影
システム１０全体の動作を司る制御用のパーソナル・コ
ンピュータ（以下、「制御用ＰＣ」という）２２と、を
含んで構成されている。

【００４０】なお、本実施の形態では、上記ビデオカメ
ラ１２として、ソニー株式会社製、商品名ＤＸＣ−９０
００というプログレッシブ・スキャン３ＣＣＤカメラを
適用している。また、本実施の形態では、上記３次元測
量器２４として、株式会社ニコン製、商品名ＧＦ−ＥＸ
１を適用している。

【００４１】各ビデオカメラ１２には同期信号発生器１
４が接続されており、同期信号発生器１４によって発生
された共通の同期信号が各ビデオカメラ１２に供給され
るように構成されている。これによって、デジタイズさ
れたフレームにおいてインターレース・スキャン撮影時
のようなブレが発生することなく、かつ完全に同期した
多視点映像の撮影が可能となる。

【００４２】また、各ビデオカメラ１２の画像信号を出
力する出力端子は、各々ＬＴＣ発生器１８が接続された
対応するタイムスタンパ１６に接続されており、ＬＴＣ
発生器１８によって発生されたタイムコードを各タイム
スタンパ１６によってＶＩＴＣ（Vertical Interval Ti
me Code）に変換した後、対応するビデオカメラ１２か
ら入力された画像信号の垂直ブランク領域に書き込むこ
とによって、フレームの撮影時刻の特定を可能としてい
る。

【００４３】更に、各タイムスタンパ１６のタイムコー
ドが書込まれた画像信号を出力する出力端子は各々対応
する画像ボード２６を介して対応する取込用ＰＣ２０に
入力されるように構成されており、各タイムスタンパ１
６によってタイムコードが書込まれた画像信号は対応す
る画像ボード２６によって取込用ＰＣ２０に内蔵された
図示しないメモリ上に、デジタルカラー画像データとし
て、フルサイズ（６４０×４８０画素）、ビデオレート
（毎秒３０フレーム）で取り込まれる。

【００４４】また、各取込用ＰＣ２０は制御用ＰＣ２２
に１００Ｂａｓｅ−ＴＸ Ｅｔｈｅｒネットワーク経由
で接続されており、各取込用ＰＣ２０によって取り込ま
れたデジタルカラー画像データを制御用ＰＣ２２に入力
できるように構成されている。このように、取込用ＰＣ
２０と制御用ＰＣ２２が独立したシステム構成であるた
め、ビデオカメラ１２や取込用ＰＣ２０の増減設が容易
に行える。

【００４５】ビデオカメラ１２と取込用ＰＣ２０は比較
的近接した位置に配置され、信号が劣化しやすいアナロ
グビデオ信号は短いビデオケーブルで伝送される。一
方、各ビデオカメラ１２間の距離は、１００Ｂａｓｅ−
ＴＸ Ｅｔｈｅｒケーブルの最大延長可能距離によって
決定されるが、このケーブルには時間的制約の大きい信
号が流れ込まないため、ハブなどによるケーブルの延長
が可能であり、大規模空間への拡張が容易に行える。

【００４６】一方、３次元測量器２４は制御用ＰＣ２２
にＲＳ２３２Ｃケーブルによって接続されており、３次
元測量器２４によって計測された３次元位置を示す座標
情報が必要に応じて制御用ＰＣ２２に入力されるように
構成されている。

【００４７】次に、図２を参照して、本実施の形態にお
いてカメラ校正用に用いられるキャリブレーションボー
ド３０の構成について説明する。図２（Ａ）に示すよう
に、本実施の形態に係るキャリブレーションボード３０
は、市松模様と、黒色の×印とされた起点マーカー３６
とが付された矩形状の板状部材に対して、市松模様が付
された面の外周近傍でかつ互いに離間する予め定められ
た３箇所に反射板取付部材３２が設置されて構成されて
いる。

【００４８】本実施の形態では、キャリブレーションボ
ード３０の上記板状部材に付された市松模様の格子点を
ランドマークポイントＬｉ（ｉ＝１〜２８）として適用
するものとしており、該ランドマークポイントＬｉが本
発明のマークに相当する。

【００４９】なお、本実施の形態に係るキャリブレーシ
ョンボード３０では、上記板状部材を長手方向長さが１
８０ｃｍ、短手方向長さが９０ｃｍの剛性の高いホワイ
トボードで構成しており、上記市松模様は、２０ｃｍ四
方の黒紙を上記ホワイトボードに２０ｃｍ間隔で交互に
貼り付けることによって構成している。

【００５０】一方、図２（Ｂ）に示すように、キャリブ
レーションボード３０に設置されている各反射板取付部
材３２には、３次元測量器２４による３次元位置の計測
の際のターゲットとなる基準マーク３８が付された反射
板３４Ａ及び反射板３４Ｂが取り付けられている。３次
元測量器２４は、反射板３４Ａ又は反射板３４Ｂに対し
てレーザ光を射出し、反射板３４Ａ又は反射板３４Ｂに
よって反射されたレーザ光を受光することによって、３
次元測量器２４による測量位置を原点座標（０、０、
０）としたターゲットの３次元位置を示す座標情報を取
得する。

【００５１】上述したように、本実施の形態に係るキャ
リブレーションボード３０は、剛性の高い板状部材をベ
ースとして構成されているので、キャリブレーションボ
ード３０自身の歪みは無視できる。そのため、キャリブ
レーションボード３０上の個々のランドマークポイント
Ｌｉについて３次元座標位置を測定する必要はなく、最
低３点の基準点の測定値から、全てのランドマークポイ
ントＬｉの３次元座標値を求めることができる。

【００５２】すなわち、上記最低３点の基準点のうちの
１つの基準点の２次元座標位置を基準位置（０、０）と
した場合の各ランドマークポイントＬｉの２次元座標値
を予め記憶しておく。そして、各ランドマークポイント
Ｌｉの３次元位置を示す座標情報を導出する際には、ま
ず、上記最低３個の基準点の３次元座標位置を３次元測
量器２４によって計測し、次に、キャリブレーションボ
ード３０のランドマークポイントが付された面の３次元
測量器２４に対する傾きを、計測した上記最低３個の基
準点の３次元座標位置に基づいて求め、最後に、上記傾
きと、上記１つの基準点の３次元座標位置と、上記予め
記憶しておいた各ランドマークポイントＬｉの２次元座
標値と、に基づいて、各ランドマークポイントの３次元
位置を示す座標情報を導出する。

【００５３】本実施の形態では、反射板取付部材３２の
３箇所の設置位置が上記基準点の位置に対応している。
従って、３次元測量器２４によって反射板取付部材３２
に設けられている反射板３４Ａ又は反射板３４Ｂに付さ
れた基準マーク３８の３次元位置を計測することによっ
て、上述した手順により、各ランドマークポイントＬｉ
の３次元位置を示す座標情報を導出することができる。

【００５４】次に、図３を参照して、本実施の形態に係
る撮影対象と、各ビデオカメラ１２及び３次元測量器２
４の配置位置について説明する。同図に示すように、本
実施の形態では、イベントホール５０内の略中央に位置
する撮影対象空間５２を撮影対象としている。

【００５５】また、同図に示すように、本実施の形態で
は、イベントホール５０の図３紙面前後位置に位置する
２面の壁面の各々に４台づつ、残りの２面の壁面に３台
づつ、天井の中心近傍に１台、各々ビデオカメラ１２が
設置されている。

【００５６】更に、同図に示すように、本実施の形態で
は、３次元測量器２４をイベントホール５０内の天井近
傍の壁面に設置しており、これによって、キャリブレー
ションボード３０を撮影対象空間５２のどの位置に配置
した場合であっても、キャリブレーションボード３０上
の基準マーク３８の３次元位置を３次元測量器２４によ
って計測することができる。

【００５７】次に、図４を参照して、本実施の形態にお
けるキャリブレーションボード３０の配置位置について
説明する。本実施の形態では、図４（Ａ）に示すよう
に、平面視矩形状とされた撮影対象空間５２の２箇所の
角部近傍位置及び該２箇所の角部に対向する２箇所の角
部の略中心位置の３箇所の位置の各々について、図４
（Ｂ）に示すように、撮影対象空間５２の上端部近傍、
中心部近傍及び下端部近傍の３箇所づつ、合計９箇所に
キャリブレーションボード３０を配置する。

【００５８】多視点映像撮影システム１０が本発明の座
標情報収集システムに、キャリブレーションボード３０
が本発明のマーク部材に、３次元測量器２４が本発明の
３次元測量器に、ビデオカメラ１２が本発明の撮像器
に、制御用ＰＣ２２に内蔵されたハードディスク（図示
省略）が本発明の記憶手段に、基準マーク３８が本発明
の基準マークに、起点マーカー３６が本発明の起点マー
クに、各々相当する。

【００５９】次に、図５〜図７を参照して、本実施の形
態に係る多視点映像撮影システム１０の作用について説
明する。なお、図５〜図７は、多視点映像撮影システム
１０における各ビデオカメラ１２の撮影によって得られ
たデジタルカラー画像データが示す画像上のランドマー
クポイントＬｉの２次元位置を示す座標情報（ｕ、ｖ）
と、３次元測量器２４による計測によって得られたラン
ドマークポイントＬｉの３次元位置を示す座標情報
（Ｘ、Ｙ、Ｚ）との位置関係、すなわち、各ビデオカメ
ラ１２によって得られたデジタルカラー画像データが示
す画像と実世界との位置関係を導出する際に多視点映像
撮影システム１０において行われる処理の流れを示すフ
ローチャートである。

【００６０】まず、図５のステップ１００では、計測者
により、図４に示したキャリブレーションボード３０の
各配置位置のうちの何れか一箇所にキャリブレーション
ボード３０を配置する。このとき、キャリブレーション
ボード３０は必ずしもランドマークポイントＬｉが付さ
れた面を水平とする必要はない。

【００６１】次のステップ１０２では、実世界ランドマ
ークポイント取得処理を行う。以下、図６を参照して、
本実施の形態に係る実世界ランドマークポイント取得処
理について説明する。

【００６２】同図のステップ２００では、計測者により
キャリブレーションボード３０の３箇所に設けられてい
る反射板３４Ａ又は反射板３４Ｂのうちの何れか１つの
基準マーク３８の中心位置を３次元測量器２４によって
計測し、該計測によって得られた３次元位置を示す座標
情報（Ｘ、Ｙ、Ｚ）を制御用ＰＣ２２に送信する。

【００６３】そこで、次のステップ２０２では、制御用
ＰＣ２２により、上記ステップ２００によって３次元測
量器２４から受信された３次元位置を示す座標情報
（Ｘ、Ｙ、Ｚ）を制御用ＰＣ２２に内蔵された図示しな
いメモリに記憶する。

【００６４】次のステップ２０４では、３箇所全ての反
射板３４における基準マーク３８の中心位置の計測及び
制御用ＰＣ２２のメモリへの記憶が終了したか否かを判
定し、終了していない場合（否定判定の場合）は上記ス
テップ２００へ戻って、残りの反射板３４の基準マーク
３８に対する中心位置の計測及び上記メモリへの記憶を
繰り返して実行し、全ての反射板３４について終了した
時点（肯定判定となった時点）でステップ２０６へ移行
する。

【００６５】ステップ２０６では、制御用ＰＣ２２によ
り、上記ステップ２００乃至ステップ２０４の繰り返し
処理によって得られた３箇所の反射板３４における基準
マーク３８の３次元位置を示す座標情報（Ｘ、Ｙ、Ｚ）
に基づいて、キャリブレーションボード３０に付された
全てのランドマークポイントＬｉの３次元位置を示す座
標情報を演算する。

【００６６】すなわち、前述したように、キャリブレー
ションボード３０のランドマークポイントが付された面
の３次元測量器２４に対する傾きは、３箇所に設けられ
た反射板３４における基準マーク３８の３次元位置座標
に基づいて得ることができる。そして、キャリブレーシ
ョンボード３０の１つの反射板３４における基準マーク
３８の中心位置を基準点とした各ランドマークポイント
Ｌｉの２次元座標値は予め記憶されているので、上記傾
きと上記１つの反射板３４における基準マーク３８の３
次元位置を示す座標情報と、上記予め記憶されている各
ランドマークポイントＬｉの２次元座標値と、に基づい
て、各ランドマークポイントＬｉの３次元位置を示す座
標情報を導出することができる。

【００６７】具体的には、まず、キャリブレーションボ
ード３０の３次元測量器２４に対する傾きを求め、次に
上記各ランドマークポイントの２次元座標値を上記傾き
に応じた３次元座標値に変換し、最後に、上記変換によ
って得られた各ランドマークポイントＬｉの３次元座標
値を上記１つの反射板３４における基準マーク３８の３
次元位置を示す座標情報に加算する。

【００６８】次のステップ２０８では、制御用ＰＣ２２
により、上記ステップ２０６で得られた各ランドマーク
ポイントＬｉの３次元位置を示す座標情報を、キャリブ
レーションボード３０に付されている起点マーカー３６
の位置を基準として一定のルールに従って並び替える。

【００６９】なお、本実施の形態では、上記一定のルー
ルを、キャリブレーションボード３０を平面視した場合
において、起点マーカー３６の最近傍に位置する反射板
３４（本実施の形態では図２紙面左上の反射板取付部材
３２に設けられている反射板３４）の最近傍に位置する
ランドマークポイントを１番目とし、該１番目のランド
マークポイントの図２紙面右側に位置するランドマーク
ポイントに対して上記１番目のランドマークポイントに
近い順に順次順番付けしていき、図２紙面右端のランド
マークポイントに達したら、次の行の左端のランドマー
クポイントを上記右端のランドマークポイントの次の順
番とするように順番付けすることを繰り返して行うこと
により、全てのランドマークポイントに対して順番付け
を行い、この順番付けによって決定された順番となるよ
うに、各ランドマークポイントＬｉの３次元位置を示す
座標情報の順番を並べ替えるものとする。

【００７０】この並べ替えによって、図２に示す例で
は、各ランドマークポイントの３次元位置を示す座標情
報が、Ｌ１、Ｌ２、・・・、Ｌ２８という順番に並び替
えられることになる。

【００７１】次のステップ２１０では、制御用ＰＣ２２
により、上記ステップ２００乃至ステップ２０８の処理
によって得られたランドマークポイントＬｉの３次元位
置を示す座標情報を図示しないメモリに記憶し、その後
に本実世界ランドマークポイント取得処理を終了して、
図５のステップ１０４に戻る。

【００７２】ステップ１０４では、ビデオ画像ランドマ
ークポイント取得処理を行う。以下、図７を参照して、
本実施の形態に係るビデオ画像ランドマークポイント取
得処理について説明する。なお、ここでは、上記ステッ
プ１００（図５も参照）において撮影対象空間５２内に
配置されたキャリブレーションボード３０に対する撮影
によって各ビデオカメラ１２からデジタルカラー画像デ
ータが取込用ＰＣ２０を経由して制御用ＰＣ２２に入力
されていることを前提に説明する。

【００７３】同図のステップ２５０では、制御用ＰＣ２
２により、何れか１台のビデオカメラ１２から入力され
ているデジタルカラー画像データが示す画像から起点マ
ーカー３６の画像位置座標を抽出する。なお、本実施の
形態の起点マーカー３６は黒色の×印とされているの
で、ここでは、上記デジタルカラー画像データにおい
て、直線状でかつ長手方向の長さが略同一の２つの黒画
素データ群が交差している領域を起点マーカー３６とし
て検出し、該領域の中心位置の２次元座標を起点マーカ
ー３６の画像位置座標として抽出する。

【００７４】次のステップ２５２では、制御用ＰＣ２２
により、上記ステップ２５０で起点マーカー３６の画像
位置座標の抽出対象とされたビデオカメラ１２から入力
されているデジタルカラー画像データから、全てのラン
ドマークポイントＬｉの２次元位置を示す座標情報を抽
出する。

【００７５】ここでは、まず、上記デジタルカラー画像
データに含まれる市松模様を示す領域から、黒色領域と
白色領域の境界線を抽出する。図２に示す例では、この
抽出によって、市松模様の左端から右端まで行方向に延
びた４本の直線と、市松模様の上端から下端まで列方向
に延びた７本の直線が得られることになるので、次に、
上記行方向に延びた４本の直線と、列方向に延びた７本
の直線の交点の２次元位置座標を求める。これによっ
て、図２に示す例では、２８箇所の交点の２次元位置座
標が得られる。この２次元位置座標が各ランドマークポ
イントＬｉの２次元位置を示す座標情報に相当する。な
お、本実施の形態では、上記デジタルカラー画像データ
が示す画像領域の左上点を原点（０、０）として上記ラ
ンドマークポイントの２次元位置を示す座標情報を得
る。

【００７６】次のステップ２５４では、制御用ＰＣ２２
により、上記ステップ２５２で抽出した各ランドマーク
ポイントＬｉの２次元位置を示す座標情報を、上記ステ
ップ２５０によって抽出した起点マーカー３６の画像位
置座標を基準として一定のルールに従って並び替える。

【００７７】なお、本実施の形態では、上記一定のルー
ルを、キャリブレーションボード３０を平面視した場合
において、起点マーカー３６の最近傍に位置する反射板
３４（本実施の形態では図２紙面左上の反射板取付部材
３２に設けられている反射板３４）の最近傍に位置する
ランドマークポイントを１番目とし、該１番目のランド
マークポイントの図２紙面右側に位置するランドマーク
ポイントに対して上記１番目のランドマークポイントに
近い順に順次順番付けしていき、図２紙面右端のランド
マークポイントに達したら、次の行の左端のランドマー
クポイントを上記右端のランドマークポイントの次の順
番とするように順番付けすることを繰り返して行うこと
により、全てのランドマークポイントに対して順番付け
を行い、この順番付けによって決定された順番となるよ
うに、各ランドマークポイントＬｉの２次元位置を示す
座標情報の順番を並べ替えるものとする。

【００７８】この並べ替えによって、図２に示す例で
は、各ランドマークポイントの２次元位置を示す座標情
報が、Ｌ１、Ｌ２、・・・、Ｌ２８という順番に並び替
えられることになる。

【００７９】次のステップ２５６では、制御用ＰＣ２２
により、上記ステップ２５０乃至ステップ２５４の処理
によって得られた各ランドマークポイントの２次元位置
を示す座標情報を図示しないメモリに記憶し、次のステ
ップ２５８では、全てのビデオカメラ１２について上記
ステップ２５０乃至ステップ２５６の処理が終了したか
否かを判定し、終了していないと判定された場合（否定
判定された場合）は上記ステップ２５０に戻り、終了し
たと判定された時点（肯定判定された時点）で本ビデオ
画像ランドマークポイント取得処理を終了して、図５の
ステップ１０６に戻る。

【００８０】ステップ１０６では、制御用ＰＣ２２によ
り、上記ステップ１０２の実世界ランドマークポイント
取得処理によって得られた各ランドマークポイントＬｉ
の３次元位置を示す座標情報と、上記ステップ１０４の
ビデオ画像ランドマークポイント取得処理によって得ら
れた各ランドマークポイントＬｉの２次元位置を示す座
標情報との各座標情報に対して、同一のランドマークポ
イントの３次元位置を示す座標情報と２次元位置を示す
座標情報とを対応付ける。

【００８１】なお、本実施の形態では、上記実世界ラン
ドマークポイント取得処理のステップ２０８の処理、及
び上記ビデオ画像ランドマークポイント取得処理のステ
ップ２５４の処理によって、各ランドマークポイントＬ
ｉの３次元位置を示す座標情報と２次元位置を示す座標
情報とは、同一ルールに従って並べ替えられて図示しな
いメモリに記憶されているので、本ステップ１０６で
は、同一順番の３次元位置を示す座標情報と２次元位置
を示す座標情報とを対応付けることのみによって、同一
ランドマークポイントの座標情報の対応付けを行うこと
ができる。

【００８２】次のステップ１０８では、制御用ＰＣ２２
により、各ランドマークポイントＬｉの３次元位置を示
す座標情報と２次元位置を示す座標情報とを上記ステッ
プ１０６の処理で対応付けられた状態で、制御用ＰＣ２
２に内蔵されたハードディスク（図示省略）に構築され
ているデータベースに追加記憶する。なお、本ステップ
１０８の処理が初めて行われる際には、上記データベー
スをステップ１０６までの処理で得られている座標情報
が含まれたものとして新規に作成する。

【００８３】次のステップ１１０では、図４に示した全
ての配置位置にキャリブレーションボード３０を配置し
て上記ステップ１００乃至ステップ１０８の処理が終了
したか否かを判定し、終了していない場合（否定判定の
場合）は上記ステップ１００へ戻る。ここで、計測者
は、図４に示した配置位置のうちの残りの何れかの位置
にキャリブレーションボード３０を配置する。

【００８４】一方、上記ステップ１１０で処理が終了し
たと判定された場合（肯定判定された場合）はステップ
１１２へ移行する。

【００８５】以上のステップ１００乃至ステップ１１０
の繰り返し処理によって、図４に示した全ての配置位置
にキャリブレーションボード３０を配置したときの各ラ
ンドマークポイントの座標情報が得られることになる。

【００８６】図８には、ステップ１００乃至ステップ１
１０の繰り返し処理によって得られたデータベースの構
造が模式的に示されている。図８（Ａ）に示すように、
本実施の形態に係るデータベースは、各ビデオカメラ１
２毎に所定サイズの領域が設けられており、各領域に
は、キャリブレーションボード３０の配置位置毎の領域
（本実施の形態では、９つの領域）が設けられている。

【００８７】また、キャリブレーションボード３０の配
置位置毎の各領域には、図８（Ｂ）に示すように、キャ
リブレーションボード３０上の各ランドマークポイント
Ｌｉ毎に、対応付けられた２次元位置を示す座標情報と
３次元位置を示す座標情報とが記憶される。

【００８８】一方、図５のステップ１１２では、制御用
ＰＣ２２により、以上の処理によって得られた各位置に
おける各ランドマークポイントの座標情報のデータベー
スに基づいて、実世界と各ビデオカメラ１２によって得
られるビデオ画像の位置関係を示す射影変換行列Ｐｎを
導出する。なお、この射影変換行列Ｐｎの導出方法とし
ては、「３次元ビジョン」（徐 剛、辻 三郎著、共立
出版）の第６章の６．１（第７９頁〜第８２頁）に示さ
れる方法（同文献では、上記射影変換行列Ｐｎに相当す
るものとして射影行列Ｐを導出）が例示されるが、これ
以外のあらゆる方法を適用することができることは言う
までもない。

【００８９】次のステップ１１４では、制御用ＰＣ２２
により、上記ステップ１１２によって導出された射影変
換行列Ｐｎを内蔵された図示しないハードディスクに記
憶し、その後に本位置関係導出処理を終了する。

【００９０】上記ビデオ画像ランドマークポイント取得
処理におけるステップ２５２の処理が本発明の２次元座
標導出手段に、上記位置関係導出処理におけるステップ
１０６の処理が本発明の対応付手段に、上記実世界ラン
ドマークポイント取得処理におけるステップ２０６の処
理が本発明の３次元座標導出手段に、各々相当する。

【００９１】次に、以上説明した位置関係導出処理によ
って得られた射影変換行列Ｐｎを用いた３次元形状の復
元手法の一例について説明する。なお、以下で示す３次
元形状の復元手法は、本発明者らによって研究が行われ
ている手法である。

【００９２】まず、図９に示すように、復元対象とする
３次元形状を複数の平面上の形状、すなわち２次元形状
の集合として定義する。この手法では、平面間の線形補
間によって３次元形状の解像度を向上させることが可能
であるため、ボクセルモデルを中間媒体にする手法に比
べ、高解像度の場合でも処理の高速化が可能であるとい
う優位性がある。また、一般的なボクセルモデルは、複
数枚の平面を平行に等間隔で積み重ねたものであると考
えることができるが、それらの平面が持つ見え方の情報
には冗長性が存在し、効率的な表現であるとは言えな
い。一方、本手法は、平面の配置を適応的に変化させる
ことで冗長性の削減が可能である。

【００９３】次に、図１０を参照して、３次元物体の形
状を平面上の２次元形状の集合として推定する手法につ
いて説明する。この時、カメラ位置Ｃ１において撮影さ
れた入力画像上の点Ｉｎ(ｕ、ｖ)と平面上の点Ｓｍ
（ｉ、ｊ）の間には、次の（１）式に示すような射影変
換行列Ｐｎによる関係が成り立っているものとする（ｎ
＝１、・・・、Ｎ，ｍ＝１、・・・、Ｍ）。

【００９４】 Ｉｎ（ｕ、ｖ）＝ＰｎＳｍ（ｉ、ｊ） （１） 例えば、図１０に示すように、Ｘ−Ｚ平面に平行で高さ
Ｙ１の位置に平面Ｓ１を設定し、そこに入力映像を２次
元射影変換する場合、撮影した３次元空間中で実際に高
さＹ１に存在していた領域だけが、平面Ｓ１上に正確に
投影される。この性質を利用して平面上での物体の形状
を推定する。

【００９５】まず、全ての入力映像を平面上に２次元射
影変換し、それらの写像の重なる領域を求める。背景領
域を除去した前景領域のみを射影する場合には、平面上
で写像の論理積（ＡＮＤ）をとることで、領域を求める
ことができる。このようにして求めた領域の形状は、３
次元物体を平面でスライスした形状であると仮定するこ
とができる。同様の処理を平面の位置、向きを様々に変
化させながら繰り返すことで、２次元形状の集合として
３次元形状を推定する。

【００９６】次に、以上のようにして獲得した３次元形
状を用いた自由視点映像の生成手法について述べる。な
お、以下で示す生成手法も、本発明者らによって研究が
行われている手法である。

【００９７】図１１に、３次元シーン中の点Ｍ（Ｘ、
Ｙ、Ｚ）と、各入力映像Ｉｎ、自由視点映像Ｉｖにおけ
る観測点との幾何的関係を示す。

【００９８】３次元形状情報が既知であれば、注目点が
どの入力映像上のどこで観測されるかを求めることが可
能である。また、与えられた自由視点映像撮影用カメラ
の３次元位置、姿勢を用いて、３次元シーン中の点Ｍ
（Ｘ、Ｙ、Ｚ）と、自由視点映像Ｉｖにおける観測点の
関係を表す射影変換行列Ｐｖを求めることができる。

【００９９】自由視点映像Ｉｖ上での注目点Ｍ（Ｘ、
Ｙ、Ｚ）の見え方の再現手法について説明する。まず、
射影変換行列Ｐｖを用いて注目点の自由視点映像上での
観測位置を求める。次に、３次元形状情報を用いて各入
力画像上における注目点の見え方を求める。

【０１００】それらの中から、３次元物体による隠れの
影響や物体の表面方向を考慮に入れ、自由視点からの見
え方に最も適していると思われるものを選択し、自由視
点映像上の観測位置にマッピングを行うことで、自然な
見え方を再現することが可能になる。

【０１０１】以上詳細に説明したように、本実施の形態
に係る多視点映像撮影システムでは、ランドマークポイ
ントを示すものとして座標情報の収集対象となる位置を
示すマーク（本実施の形態では、市松模様）が付された
移動可能なキャリブレーションボードを用いているの
で、多数の位置に簡易にランドマークポイントを配置す
ることができると共に、座標情報の収集対象とする領域
内に配置されたキャリブレーションボードのランドマー
クポイントの３次元位置を３次元測量器によって計測し
て、複数のビデオカメラによって得られた画像における
上記ランドマークポイントの２次元位置を示す情報と３
次元測量器によって計測された上記ランドマークポイン
トの３次元位置を示す座標情報とを対応付けているの
で、配置されたランドマークポイントの座標情報を簡易
かつ高精度に得ることができる。

【０１０２】また、本実施の形態に係る多視点映像撮影
システムでは、キャリブレーションボードに対してラン
ドマークポイントが付されている位置の基準となる基準
マークを付しておき、３次元測量器によって上記基準マ
ークの３次元位置を計測して、該計測した３次元位置を
基準として上記ランドマークポイントの３次元位置を示
す座標情報を導出しているので、基準マークのみが３次
元測量器によって計測できる状態にキャリブレーション
ボードを配置することが可能となり、キャリブレーショ
ンボードの配置の自由度を増すことができる。

【０１０３】また、本実施の形態に係る多視点映像撮影
システムでは、キャリブレーションボードの形状を板状
としたので、キャリブレーションボードの移動の簡易性
や設置の容易性を向上することができる。

【０１０４】また、本実施の形態に係る多視点映像撮影
システムでは、キャリブレーションボードを複数のラン
ドマークポイントが付されたものとしているので、キャ
リブレーションボードの設置毎に収集できる座標情報の
位置数を複数とすることができ、より短時間に多数の位
置の座標情報を収集することができる。

【０１０５】更に、本実施の形態に係る多視点映像撮影
システムでは、キャリブレーションボードに対して複数
のランドマークポイントの座標情報の順位を決定するた
めの起点となる起点マークを付しておき、かつ該起点マ
ークの位置を起点とした所定ルールに基づいて、上記複
数のランドマークポイントの２次元位置を示す座標情報
と上記複数のランドマークポイントの３次元位置を示す
座標情報との間で、同一ランドマークポイント同士の座
標情報の対応付けを行っているので、該対応付けを人手
を介在させることなく自動的に行うことができる。

【０１０６】なお、本実施の形態では、キャリブレーシ
ョンボード３０に付するランドマークポイントとして市
松模様（図２も参照）を適用した場合について説明した
が、本発明はこれに限定されるものではなく、例えば、
図１２に示すように、各ランドマークポイントを中心と
した円状図形を適用する形態とすることもでき、各ラン
ドマークポイントを中心とした矩形状図形（図示省略）
を適用する形態とすることもできる。これらの場合は、
各円状図形又は各矩形状図形の重心位置（中心位置）を
導出することにより、各ランドマークポイントの２次元
位置を示す座標情報を得ることができる。

【０１０７】また、本実施の形態では、３次元物体の形
状を復元する手法として、平面上の２次元形状の集合と
して３次元物体の形状を推定する手法について説明した
が、本発明はこれに限定されるものではなく、例えば、
前述の位置関係導出処理によって得られたデータベース
に基づいて各ビデオカメラの設置位置及び撮影方向を導
出し、かつ複数のビデオカメラによって得られた画像デ
ータが示す画像の中の対応点を導出した後、各対応点に
対する各ビデオカメラによる画像中の位置のベクトルの
交点位置を当該対応点の３次元位置座標として求めるこ
とによって３次元物体の形状を復元する、所謂ステレオ
画像による３次元形状の復元にも本発明は適用すること
ができる。

【０１０８】また、本実施の形態では、図３で示した位
置にビデオカメラ１２及び３次元測量器２４を配置した
場合について説明したが、この配置位置は一例であり、
同図以外の位置に配置してもよいことは言うまでもな
い。

【０１０９】また、本実施の形態では、図４で示した位
置にキャリブレーションボードを配置した場合について
説明したが、この配置位置は一例であり、同図以外の位
置に配置してもよいことは言うまでもない。

【０１１０】

【発明の効果】以上説明したように、本発明に係る座標
情報収集システム及び座標情報収集方法によれば、ラン
ドマークポイントを示すものとして座標情報の収集対象
となる位置を示すマークが付された移動可能なマーク部
材を用いているので、多数の位置に簡易にランドマーク
ポイントを配置することができると共に、座標情報の収
集対象とする領域内に配置されたマーク部材のマークの
３次元位置を３次元測量器によって計測して、複数の撮
像器によって得られた画像における上記マークの２次元
位置を示す座標情報と３次元測量器によって計測された
上記マークの３次元位置を示す座標情報とを対応付けて
いるので、配置されたランドマークポイントの座標情報
を簡易かつ高精度に得ることができる、という効果が得
られる。

【０１１１】また、本発明に係るマーク部材によれば、
マーク部材の形状を板状としたので、マーク部材の移動
の簡易性や設置の容易性を向上することができる、とい
う効果が得られる。

【図面の簡単な説明】

【図１】実施の形態に係る多視点映像撮影システムの全
体構成を示すブロック図である。

【図２】（Ａ）は本実施の形態に係るキャリブレーショ
ンボードの全体構成を示す斜視図であり、（Ｂ）はキャ
リブレーションボードに設けられた反射板取付部材の詳
細な構成を示す斜視図である。

【図３】実施の形態に係る撮影対象と、各ビデオカメラ
及び３次元測量器の配置位置を示す斜視図である。

【図４】実施の形態に係るキャリブレーションボードの
配置位置を示す図であり、（Ａ）は平面図で、（Ｂ）は
側面図である。

【図５】実施の形態に係る多視点映像撮影システムによ
って行われる位置関係導出処理の流れを示すフローチャ
ートである。

【図６】図５に示す処理の途中で行われる実世界ランド
マークポイント取得処理の流れを示すフローチャートで
ある。

【図７】図５に示す処理の途中で行われるビデオ画像ラ
ンドマークポイント取得処理の流れを示すフローチャー
トである。

【図８】実施の形態に係るデータベースの構成例を示す
模式図である。

【図９】３次元形状の復元手法の説明に供する概略図で
ある。

【図１０】３次元形状の復元手法の説明に供する概略図
である。

【図１１】自由視点映像の生成手法の説明に供する概略
図である。

【図１２】キャリブレーションボードの他の形態例を示
す平面図である。

【符号の説明】

１０ 多視点映像撮影システム（座標情報収集システ
ム） １２ ビデオカメラ（撮像器） １８ ＬＴＣ発生器 ２０ 取込用ＰＣ ２２ 制御用ＰＣ ２４ ３次元測量器 ３０ キャリブレーションボード（マーク部材） ３２ 反射板取付部材 ３４Ａ、３４Ｂ 反射板 ３６ 起点マーカー（起点マーク） ３８ 基準マーク ５０ イベントホール ５２ 撮影対象空間 Ｌ１〜Ｌ２８ ランドマークポイント（マーク）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 BB28 DD00 FF05 FF12 GG06 JJ03 JJ05 JJ08 JJ26 PP22 QQ03 QQ24 QQ28 SS02 UU03 UU05 UU07 UU09 5B057 DA07 DB03 DC05

Claims (8)

【特許請求の範囲】
1. 【請求項１】 座標情報の収集対象となる位置を示すマ
   ークが付された移動可能なマーク部材と、 座標情報の収集対象とする領域内に配置された前記マー
   ク部材の前記マークの３次元位置を計測するための３次
   元測量器と、 各々異なる位置に配置されると共に、前記３次元測量器
   によって前記マークの３次元位置が計測された前記マー
   ク部材の前記マークを含む領域を撮影して画像信号とし
   て出力する複数の撮像器と、 前記複数の撮像器の各々から出力された画像信号が示す
   画像における前記マークの２次元位置を示す座標情報を
   前記撮像器毎に導出する２次元座標導出手段と、 前記２次元座標導出手段によって導出された前記マーク
   の２次元位置を示す座標情報と、前記３次元測量器によ
   って計測された前記マークの３次元位置を示す座標情報
   とを対応付ける対応付手段と、 前記対応付手段によって対応付けられた座標情報を記憶
   する記憶手段と、 を備えた座標情報収集システム。
2. 【請求項２】 前記マーク部材の前記マークを含む領域
   に、前記マークが付されている位置の基準となる基準マ
   ークを付し、 前記３次元測量器によって、前記基準マークの３次元位
   置を計測すると共に、 前記３次元測量器によって計測された前記基準マークの
   ３次元位置を基準として前記マークの３次元位置を示す
   座標情報を導出する３次元座標導出手段を更に備えた請
   求項１記載の座標情報収集システム。
3. 【請求項３】 前記マーク部材は、表面に前記マークと
   少なくとも３箇所の前記基準マークとが付された板状部
   材である請求項２記載の座標情報収集システム。
4. 【請求項４】 前記マーク部材に複数の前記マークを付
   し、 前記対応付手段は、前記複数のマークの２次元位置を示
   す座標情報と前記複数のマークの３次元位置を示す座標
   情報との間で、同一マーク同士の座標情報を対応付ける
   請求項１乃至請求項３の何れか１項記載の座標情報収集
   システム。
5. 【請求項５】 前記マーク部材の前記マークを含む領域
   に、前記複数のマークの座標情報の順位を決定するため
   の起点となる起点マークを付し、 前記対応付手段は、前記撮像器から出力された画像信号
   から前記起点マークの位置を検出し、所定ルールに基づ
   いて、前記検出した位置を起点として前記複数のマーク
   の２次元位置を示す座標情報と前記複数のマークの３次
   元位置を示す座標情報との間で、同一マーク同士の座標
   情報を対応付ける請求項４記載の座標情報収集システ
   ム。
6. 【請求項６】 座標情報の収集対象とする領域内に配置
   された、座標情報の収集対象となる位置を示すマークが
   付された移動可能なマーク部材の前記マークの３次元位
   置を３次元測量器によって計測すると共に、 各々異なる位置に配置された複数の撮像器により、前記
   ３次元測量器によって前記マークの３次元位置が計測さ
   れた前記マーク部材の前記マークを含む領域を撮影して
   画像信号として出力し、 前記複数の撮像器の各々から出力された画像信号が示す
   画像における前記マークの２次元位置を示す座標情報を
   前記撮像器毎に導出し、 導出された前記マークの２次元位置を示す座標情報と、
   前記３次元測量器によって計測された前記マークの３次
   元位置を示す座標情報とを対応付け、 対応付けられた座標情報を記憶する座標情報収集方法。
7. 【請求項７】 空間内の任意位置における座標情報を収
   集する際に前記任意位置を示すために用いられるマーク
   部材であって、 板状部材と、 前記板状部材の表面に付された前記任意位置を示すマー
   クと、 前記マークが付された面の予め定めた少なくとも３箇所
   に付されると共に、前記マークが付されている位置の基
   準となる基準マークと、 を備えたマーク部材。
8. 【請求項８】 前記少なくとも３箇所に付された基準マ
   ークは、前記板状部材の外周近傍でかつ互いに離間する
   位置に付されている請求項７記載のマーク部材。