JP2009003609A - 立体画像構築システムおよび立体画像構築方法 - Google Patents

Abstract

【課題】撮影位置および撮影方位を予め決めておかずに撮影しても被写体の立体映像を構築することのできる立体画像構築システムを提供する。
【解決手段】撮影装置１は、被写体を撮影するとき位置および方位を測定し、測定した位置を示す位置情報と、測定した方位を示す方位情報と、撮影した映像データとを関連付け、空間情報として記録する。画像処理装置２は、撮影装置１によって記録された複数の空間情報の中から、含まれている映像データに互いに視差のある複数の空間情報を抽出し、抽出した複数の空間情報に含まれている映像データ、位置情報、および方位情報に基づいて被写体の立体映像を構築する。
【選択図】図１

Description

本発明は、仮想空間に被写体の立体映像を構築する立体画像構築システムに関する。

撮影装置例えばビデオカメラなどで撮影された映像データは幅広い分野で活用されている。例えば、災害が発生したときにビデオカメラで撮影された映像データを仮想空間に投影し立体映像として構築することにより、災害の規模や被害の状況をより詳細に把握することができる。

しかし、一般的なビデオカメラで撮影された映像データは人間の視覚においてあたかも立体的に表示されるが、位置関係、例えば被写体の位置を示す位置情報や被写体の方向を示す方位情報が考慮されておらず、映像データを仮想空間に投影し立体映像として構成することができなかった。

そのため、ユーザは、ビデオカメラと被写体との位置関係を、位置関係を測定するための計測機器により規定しなければならず、ビデオカメラで撮影された映像データと計測機器で測定された位置関係との連携を図るための工夫を行なっていた。

これに対して、映像データを仮想空間に投影し立体映像として構築することを容易にする立体画像構築システムが開示されている（特許文献１参照）。図５は特許文献１における立体画像構築システムの構成を示すブロック図である。本画像収集システムは複数の撮影装置９０ｉ（ｉ＝１〜ｎ）と制御装置９１を有している。

制御装置９１は、ネットワーク４を介して複数の撮影装置９０ｉ（ｉ＝１〜ｎ）と接続しており、それぞれの撮影装置９０ｉに撮影条件情報を送信する。撮影条件情報とは、被写体を撮影するときの位置や方位を指示する情報である。

撮影装置９０ｉは、被写体を撮影するためのカメラ、自身の位置を検出するための位置測定部、および被写体の方位を検出するための方位測定部を備えており、またネットワーク４を介して制御装置９１と接続している。

撮影装置９０ｉは、制御装置９１から撮影条件情報を受信すると、受信した撮影条件情報に含まれる位置および方位を撮影装置９０ｉのユーザに表示する。ユーザは、撮影装置９０ｉで位置および方位が表示されると、表示されている位置に移動し、表示されている方位で被写体を撮影する。撮影装置９０ｉは、ユーザにより被写体が撮影されると、撮影したときの位置情報および方位情報を測定し、被写体の映像データと位置情報と方位情報を空間情報として制御装置９０に送信する。

制御装置９１は、撮影装置９０ｉから空間情報を受信すると、受信した空間情報の映像データを空間情報の位置情報と方位情報に基づき仮想空間に投影し立体映像として構築する。
特開２００３−４７０２６号公報

特許文献１では、制御装置９１と複数の撮影装置９０ｉとがネットワーク４を介して接続しており、制御装置９１は、それぞれの撮影装置９０ｉに被写体の撮影の位置と方位を指示し、その指示により撮影された被写体の映像データを用いて立体映像を構築している。

それ故、被写体の立体画像を構築するために撮影位置と撮影方向を予め決定してから撮影する必要があり、撮影前の準備が煩雑であった。また、撮影装置９０ｉを用いて被写体を撮影する撮影者は指示通りに自身を位置決めし、指示通りに方位を決めて被写体を撮影しなければならず、実際の撮影も煩雑であった。また、障害物などがあって指示通りの位置に移動できなかったり、そこから被写体を撮影することができなかったりする可能性があった。その場合には、再度、各撮影装置９０ｉの位置と方位を決めて制御装置９１から各撮影装置９０ｉに指示をしなおす必要があった。

本発明の目的は、撮影位置および撮影方位を予め決めておかずに撮影しても被写体の立体映像を構築することのできる立体画像構築システムを提供することにある。

上記目的を達成するために、本発明の立体画像構築システムは、
仮想空間に被写体の立体映像を構築する立体画像構築システムであって、
撮影時に自身の位置と撮影している方位を測定する機能を備えており、前記被写体を撮影するとき位置および方位を測定し、測定した位置を示す位置情報と、測定した方位を示す方位情報と、撮影した映像データとを関連付け、空間情報として記録する撮影装置と、
前記撮影装置によって記録された複数の空間情報の中から、含まれている映像データに互いに視差のある複数の空間情報を抽出し、抽出した複数の前記空間情報に含まれている前記映像データ、前記位置情報、および前記方位情報に基づいて前記被写体の立体映像を構築する画像処理装置と、を有している。

本発明によれば、撮影位置および撮影方位を予め決めておかずに撮影しても被写体の立体映像を構築することができる。

本発明を実施するための形態について図面を参照して詳細に説明する。図１は本実施形態における立体画像構築システムの構成を示すブロック図である。本立体画像構築システムは、ビデオカメラ１およびコンピュータ２を有している。

ビデオカメラ１は、カメラ機能を内蔵している。ビデオカメラ１は、被写体を撮影すると、撮影した被写体を映像データとして記録する。

ビデオカメラ１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を内蔵している。ビデオカメラ１は、複数のＧＰＳ衛星（不図示）から電波を受信しており、被写体を撮影するとき、ビデオカメラ１の位置情報を検出する。位置情報とは、ビデオカメラ１の撮影が行なわれた位置の情報であり、例えば緯度と経度である。ビデオカメラ１は、位置情報を検出すると、位置情報を映像データと関連付けて記録する。

また、ビデオカメラ１は、ジャイロコンパス機能を内蔵している。ビデオカメラ１は、地磁気を感知しており、被写体を撮影するとき、感知している地磁気によりビデオカメラ１の方位情報を検出する。方位情報とは、被写体の方向の情報であり、例えば南北や東西の向きである。ビデオカメラ１は、方位情報を検出すると、方位情報を映像データと関連付けて記録する。

また、ビデオカメラ１は、ズーム機能およびフォーカス機能を内蔵している。ビデオカメラ１は、被写体を撮影するとき、撮影したときのズーム情報および焦点距離を撮影情報として映像データと関連付けて記録する。

ビデオカメラ１には、位置情報と方位情報と撮影情報と関連付けられた映像データが空間情報として記録される。なお、空間情報のフォーマットは、ＧＥＯＴＩＦＦまたはＮＩＴＦなど地理的な情報が付加した画像の汎用的なフォーマットとしてもよい。これによれば、一般に市販されている画像ソフトウェアで処理することができる。

また、ビデオカメラ１は、コンピュータ２と接続可能であり、コンピュータ２と接続すると、記録している空間情報がコンピュータ２により読み込まれる。ビデオカメラ１とコンピュータ２との接続は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）による接続であってもよいし、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）または有線ＬＡＮによる接続であってもよい。

なお、ビデオカメラ１が空間情報をメモリーカードに記録している場合に、ビデオカメラ１とコンピュータ２とを接続しなくても、ビデオカメラ１からメモリーカードを抜き出し、そのメモリーカードをコンピュータ２に差し込むようにしてもよい。この場合、コンピュータ２は、差し込まれたメモリーカードに記録された空間情報を読み取る。

コンピュータ２は、空間情報のフォーマットを読み取り可能な画像ソフトウェアを実装しており、ユーザから画像ソフトウェアを起動するよう要求されると、画像ソフトウェアを起動する。

コンピュータ２は、ビデオカメラ１と接続可能であり、画像ソフトウェア起動後に、ビデオカメラ１と接続すると、ビデオカメラ１に記録されている空間情報を自動的に読み込む。コンピュータ２は、ビデオカメラ１から空間情報を読み込むと、空間情報を記録していく。

コンピュータ２は、ビデオカメラ１からの空間情報の読み込みが完了すると、記録された複数の空間情報から視差がある２つの空間情報を抽出する。

なお、コンピュータ２は、被写体の画像を含む互いに対応する画素の領域のある複数の映像データが、互いに視差のある映像データであると判断するようにしてもよい。

この場合、コンピュータ２は、記録された複数の空間情報の中の２つの空間情報（以下、「第１の空間情報」および「第２の空間情報」という）に対して、第１の空間情報の画素と第２の空間情報の画素を面積相関の計算により、第１の空間情報の画像の全ての画素について、第２の空間情報の画像のどの画素に対応するかを求める。そして、コンピュータ２は、対応している画素の領域があれば、視差があると判断する。

コンピュータ２は、視差がある２つの空間情報を抽出すると、抽出した２つの空間情報の視差から被写体までの距離と被写体の高さを算出する。コンピュータ２は、被写体までの距離と被写体の高さを算出すると、算出した距離と高さを空間情報に付加してステレオ画像を生成する。コンピュータ２は、視差がある全ての空間情報についてステレオ画像を生成し、生成したステレオ画像の映像データをステレオ画像の方位、距離、高さで仮想空間に投影して立体映像として構築する。

図２を参照して、２つの空間情報の視差から被写体の高さを算出する方法について説明する。図２Ａは現実世界で被写体を撮影するときのビデオカメラ１と被写体との位置関係を示す図である。図２Ｂは撮影ポイント（Ａ）で被写体を撮影したときの被写体の画像を示す図である。図２Ｃは撮影ポイント（Ｂ）で被写体を撮影したときの被写体の画像を示す図である。図２Ｄは被写体を撮影するときに得られる情報を垂直平面に投影した図である。

まず、図２Ａを参照して、現実世界で被写体を撮影するときのビデオカメラ１と被写体との位置関係について説明する。

被写体の中の基準となる箇所をそれぞれ被写体ポイント（Ｇ）と被写体ポイント（Ｘ）とする。

ユーザはビデオカメラ１により高さがＨである被写体を、撮影ポイント（Ａ）から撮影ポイント（Ｂ）までの間、撮影している。撮影ポイント（Ａ）から被写体ポイント（Ｇ）までの距離を距離（Ｒａ）とし、撮影ポイント（Ｂ）から被写体ポイント（Ｇ）までの距離を距離（Ｒｂ）とする。また、撮影ポイント（Ａ）と撮影ポイント（Ｂ）の視差角はθとする。

次に、図２Ｂおよび図２Ｃを参照して、異なる撮影ポイントで被写体を撮影したときに、撮影した位置からの被写体の高さについて説明する。

撮影ポイント（Ａ）のときの被写体ポイント（Ｇ）から被写体ポイント（Ｘ）までの画面上の距離を測定し、測定した距離を高さ（Ｈａ）とする（図２Ｂ参照）。また、撮影ポイント（Ｂ）のときの被写体ポイント（Ｇ）から被写体ポイントＸまでの画面上の距離を測定し、測定した距離を高さ（Ｈｂ）とする（図２Ｃ参照）。

次に、図２Ｄを参照して、実際に被写体の高さを算出する方法を説明する。

被写体の高さを算出する際に、被写体の高さを算出する基準となる基準点を被写体ポイント（Ｇ）とすると、撮影ポイント（Ａ）および撮影ポイント（Ｂ）はＸ軸上にプロットされることになる。

撮影ポイント（Ａ）における撮影画像投影面と撮影ポイント（Ｂ）における撮影画像投影面は平行である。

視差角θｖは、視差角θの垂直成分である。

距離Ｒａは、撮影ポイント（Ａ）の位置情報および方位情報から、例えば三角測量により算出される。また、距離Ｒｂは、撮影ポイント（Ｂ）の位置情報および方位情報から、例えば三角測量により算出される。

撮影ポイント（Ａ）と撮影画像投影面との距離Ｌａは、撮影情報の焦点距離およびズーム情報から算出される。また、撮影ポイント（Ｂ）と投影画像投影面との距離Ｌｂは、撮影情報の焦点距離およびズーム情報から算出される。

これらの関係を数式に示すと、以下のように表される。

Ｈ・ｔａｎθｂ＝Ｒｂ （１）
Ｈ・ｔａｎ（θｂ＋θｖ）＝Ｒａ （２）
Ｈｂ・ｔａｎθｂ＝Ｌｂ （３）
Ｈａ・ｔａｎ（θｂ＋θｖ）＝Ｌａ （４）
高さＨを求めるために、まず、式（３）に、算出された撮影ポイントＢでの高さＨｂと距離Ｌｂをそれぞれ代入して、角度θｂを算出する。そして、算出した角度θｂと距離Ｒｂを式（１）に代入すると、被写体の高さＨが求められる。

同様に、式（４）および式（２）から被写体の高さＨが求められるので、それぞれ求められた高さが一致するか否かを確認することができる。

図３は本実施形態における立体画像構築システムの動作を示すフローチャートである。本立体画像構築システムの処理は、ビデオカメラ１が被写体を撮影する処理と、コンピュータ２が撮影した被写体を仮想空間に投影し立体映像として構築する処理からなる。まず、ビデオカメラ１が被写体を撮影する処理について説明する。

ビデオカメラ１は、ユーザの操作により被写体を撮影するとき（ステップ１００）、位置情報、方位情報、ズーム情報、および焦点距離を検出する（ステップ１０１）。ビデオカメラ１は、撮影した被写体の映像データに位置情報、方位情報、ズーム情報、および焦点距離を関連付けて空間情報として記録する（ステップ１０２）。

次に、コンピュータ２が撮影した被写体を仮想空間に投影し立体映像として構築する処理について説明する。

コンピュータ２は、ビデオカメラ１と接続すると（ステップ１０３）、ビデオカメラ１に記録されている空間情報を読み込む（ステップ１０４）。コンピュータ２は、ビデオカメラ１から空間情報を読み込むと、空間情報を記録していく（ステップ１０５）。

コンピュータ２は、空間情報の読み込みが完了すると、記録した複数の空間情報の中から、被写体の画像に視差がある２つの空間情報を抽出する（ステップ１０６）。コンピュータ２は、２つの空間情報を抽出すると、被写体までの距離と被写体の高さを算出してステレオ画像を生成する（ステップ１０７）。コンピュータ２は、生成したステレオ画像の映像データを方位情報の方位、測定した距離と高さで仮想空間に投影し立体映像を構築する（ステップ１０８）。

図４は本実施形態におけるビデオカメラ１の構成を示すブロック図である。本ビデオカメラ１は、ＧＰＳモジュール１０、ジャイロモジュール１１、カメラ１２、記憶部１３、および制御部１４を有している。

ＧＰＳモジュール１０は、複数のＧＰＳ衛星（不図示）から電波を受信しており、被写体を撮影するとき、複数のＧＰＳ衛星からの電波によりビデオカメラ１の位置情報を検出する。

ジャイロモジュール１１は、地磁気を感知しており、被写体を撮影するとき、感知した地磁気によりビデオカメラ１の撮影方向を示す方位情報を検出する。

カメラ１２はユーザの所望のズーム値および焦点距離で被写体を撮影する。

制御部１４は、ＧＰＳモジュール１０により位置情報が検出されると、位置情報を映像データと関連付けて記憶部１３に記録するとともに、ジャイロモジュール１１により方位情報が検出されると、方位情報を映像データと関連付けて記憶部１３に記録する。また、制御部１４は、ユーザにより被写体の撮影がなされるとき、カメラ１２のズーム値および焦点距離を撮影情報として映像データと関連付けて記憶部１３に記録する。

記憶部１３には、被写体の映像データ、位置情報、方位情報、および撮影情報が空間情報として記録される。

以上説明したように、本実施形態によれば、撮影装置であるビデオカメラ１が被写体を撮影するとき、撮影した被写体の映像データに位置情報、方位情報、および撮影情報を関連付けて空間情報として記録する。画像処理装置である例えばコンピュータ２は、ビデオカメラ１に記録されている空間情報を読み取り、空間情報の中から、互いに視差のある複数の空間情報を抽出する。そして、コンピュータ２は、抽出した空間情報に含まれている映像データ、位置情報、方位情報に基づいて仮想空間に被写体の立体映像を構築する。これによれば、撮影位置および撮影方位を予め決めておかずに撮影しても被写体の立体映像を構築することができる。

なお、本発明は、軍事目標の詳細把握にも広く適用することができる。テロとの戦いは、都市部における市外戦の実施されるようになっている。そのため、ビデオカメラにより、テロリストの潜伏場所やテロリスト自身の配備状況などを遠方から撮影し、撮影した映像データに基づいて作戦計画を立案する際の情報にするケースも想定される。

このような場合に、例えば、街中に設置している防犯用のビデオカメラにＧＰＳ機能とジャイロコンパス機能とが内蔵されている場合、テロリストに察知されずにテロリストの潜伏場所や配備状況を立体映像として構築することができる。

また、街中に設定している防犯用のビデオカメラだけではなく、高層ビルの一角から望遠カメラにＧＰＳ機能およびジャイロ機能が内蔵されていれば、望遠カメラにより撮影された複数の映像データからも同様の効果を得ることができる。

本実施形態における立体画像構築システムの構成を示すブロック図である。 現実世界で被写体を撮影するときのビデオカメラ１と被写体の位置関係を示す図である。 撮影ポイントＡで被写体を撮影したときの被写体の画像を示す図である。 撮影ポイントＢで被写体を撮影したときの被写体の画像を示す図である。 被写体を撮影するときに得られる情報を垂直平面に投影した図である。 本実施形態における立体画像構築システムの動作を示すフローチャートである。 本実施形態におけるビデオカメラ１の構成を示すブロック図である。 特許文献１における立体画像構築システムの構成を示すブロック図である。

符号の説明

１ ビデオカメラ
２ コンピュータ
１０ ＧＰＳモジュール
１１ ジャイロモジュール
１２ カメラ
１３ 記憶部
１４ 制御部
１００〜１０８ ステップ

Claims (6)

1. 仮想空間に被写体の立体映像を構築する立体画像構築システムであって、
   撮影時に自身の位置と撮影している方位を測定する機能を備えており、前記被写体を撮影するとき位置および方位を測定し、測定した位置を示す位置情報と、測定した方位を示す方位情報と、撮影した映像データとを関連付け、空間情報として記録する撮影装置と、
   前記撮影装置によって記録された複数の空間情報の中から、含まれている映像データに互いに視差のある複数の空間情報を抽出し、抽出した複数の前記空間情報に含まれている前記映像データ、前記位置情報、および前記方位情報に基づいて前記被写体の立体映像を構築する画像処理装置と、を有する立体画像構築システム。
2. 前記画像処理装置は、前記被写体の画像を含む互いに対応する画素の領域のある複数の映像データが、互いに視差のある映像データであると判断する、請求項１に記載の立体画像構築システム。
3. 前記空間情報のフォーマットは、地理的な情報を付加した画像の汎用的なフォーマットとする、請求項１または２に記載の立体画像構築システム。
4. 仮想空間に被写体の立体映像を構築するための立体画像構築方法であって、
   撮影装置は、撮影時に自身の位置と撮影している方位を測定する機能を備えており、前記被写体を撮影するとき位置および方位を測定し、測定した位置を示す位置情報と、測定した方位を示す方位情報と、撮影した映像データとを関連付け、空間情報として記録し、
   画像処理装置は、前記撮影装置によって記録された複数の空間情報の中から、含まれている映像データに互いに視差のある複数の空間情報を抽出し、抽出した複数の前記空間情報に含まれている前記映像データ、前記位置情報、および前記方位情報に基づいて前記被写体の立体映像を構築する、立体画像構築方法。
5. 前記画像処理装置は、前記被写体の画像を含む互いに対応する画素の領域のある複数の映像データが、互いに視差のある映像データであると判断する、請求項４に記載の立体画像構築方法。
6. 前記空間情報のフォーマットは、地理的な情報を付加した画像の汎用的なフォーマットとする、請求項４または５に記載の立体画像構築方法。