JP2006048484A - デザイン支援装置 - Google Patents

Abstract

【課題】 グラフィカルなインタフェースを用いて短時間で拡張現実感を編集可能なデザイン支援装置を提供する。
【解決手段】 デザイン支援装置１００は、マーカーを含む対象画像領域内の動画データを獲得するカメラ１０２と、対象画像領域内において、マーカーを検出し、マーカーの位置および配置に関する情報を算出するマーカー追跡装置本体１１０と、コンピュータグラフィックスによる３次元モデルを表現するための３次元モデル情報を予め格納し、検出されたマーカーの配置に整合するように、拡張現実感に対応する動画中に３次元モデルを合成するための描画専用マシン１３０とを備える。
【選択図】 図１

Description

この発明は、ビデオ映像に基づく拡張現実のデザイン支援装置の構成に関する。

拡張現実感技術(Augmented Reality:AR)とは現実環境と仮想環境を融合することによって現実環境の情報を「拡張」させることが可能な技術である。

従来、カメラにより撮影されたビデオ画像に基づいて、このような「拡張現実感(Augmented Reality)」を編集するためには以下のような手続がとられることが一般的であった（たとえば、非特許文献１を参照）。

１）デザイナーは、市販の３次元モデルパッケージソフトウェアにより、３次元モデル（３Ｄモデル）を作成し、これをアニメーションに仕立てる。

２）Ｃ言語やＣ＋＋言語により、特別にプログラムを書き下し、標準となるマーカーを追跡して、１）で作成した３Ｄモデルのアニメーションをカメラからのビデオ映像と合成する。

３）３Ｄモデルとユーザとの間の相互作用も、Ｃ言語やＣ＋＋言語において書き下されている必要がある。
Kato,H., and Billinghurst, M. 1999. "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System", Proc. Of 2nd Int. Workshop on Augmented Reality, pp.85-94

しかしながら、このような方法には以下のような問題がある。

まず、デザイナーは、拡張現実感の編集のために、彼自身がプログラマーであること、または、プログラマーとの共同作業を行なうことを強いられる。

さらには、デザインとデザインされた結果をテストするサイクルは時間がかかるものとなり、アイデアを思いついてから、結果を見て修正するまでの間に、多くの時間を費やすことになる。

本発明の目的は、グラフィカルなインタフェースを用いて短時間で拡張現実感を編集可能なデザイン支援装置を提供することである。

この発明のある局面に従うと、デザイン支援装置であって、マーカーを含む対象画像領域内の動画データを獲得する撮影手段と、対象画像領域内において、マーカーを検出する検出手段と、マーカーの位置および配置に関する情報を算出するマーカー位置算出手段と、コンピュータグラフィックスによる３次元モデルを表現するための３次元モデル情報を予め格納するための記憶手段と、検出されたマーカーの配置に整合するように、拡張現実感に対応する動画中に３次元モデルを合成するための合成描画手段とを備える。

好ましくは、マーカーは複数種類あり、合成描画手段は、マーカーの種類に応じた属性の３次元モデルを、それぞれ対応するマーカーの配置に整合するように合成する。

好ましくは、マーカーは、マーカーの大きさを及び方向を特定するための第１のマークと、マーカーの種類を特定するための第２のマークとを含む。

好ましくは、記憶手段は、マーカーの大きさと拡張現実感に対応する動画を描画する際の基準となる視点の位置からの距離の関係を予め定めたテーブルを予め格納しており、合成描画手段は、距離が遠くなるほど小さくなるように３次元モデルを描画する。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかるデザイン支援装置について説明する。

図１は、本発明のデザイン支援装置１００の構成を示す概略ブロック図である。

図１を参照して、このデザイン支援装置１００は、大きくは、マーカー追跡装置本体１１０と描画専用マシン１３０とから構成される。

マーカー追跡装置本体１１０に対応して、表示装置としてのディスプレイ１０８と、入力装置の１つとしてのキーボード１０６と、後に説明するように入力装置の他の１つとして機能するマーカー１０４とが設けられる。また、マーカー追跡装置本体１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１２００と、ＲＯＭ（Read Only Memory)１１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、入力装置からの信号を受け取り、またディスプレイ１０８との間でデータを授受するためのインタフェース部１１０２とを含んでいる。

このＲＯＭ１１０６に格納されたソフトウエアは、たとえば、ＲＡＭ１１０８上に展開されてＣＰＵ１２００で実行される。

さらに、インタフェース部１１０２は、ユーザ２の頭に装着されたカメラ（以下、「ヘッドマウントカメラ」と呼ぶ）１０２からの動画像を取り込む。カメラ１０２は、マーカー１０４を含む動画を撮影し、ＣＰＵ１２００は、この撮影された動画中からマーカー１０４を検出して追跡する。さらに、この追跡結果が描画専用マシン１３０に送信されて、このマーカーの位置に応じて３Ｄモデルが配置される。

この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いる。

さらに、インタフェース部１１０２は、ユーザ２の頭に装着されたヘッドセットから伸びたアームによりユーザ２の目元で、ディスプレイ１０８と同様の画像を映し出すヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）１０３へ映像信号を出力する。

デザイン支援装置１００において、マーカー追跡機能または描画機能を実現する主要部は、ＣＰＵ１２００等のハードウェアと、ＣＰＵ１２００により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは記憶媒体に格納されて流通し、記憶媒体から読取られてＲＯＭ１１０６に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ＲＯＭ１１０６にコピーされる。そうしてさらにＲＯＭ１１０６からＲＡＭ１１０８に読出されてＣＰＵ１２００により実行される。

図１に示したデザイン支援装置１００のハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＲＯＭ１１０６等の記憶媒体に記憶されたソフトウェアである。

図２は、描画専用マシン１３０のハードウェア構成をブロック図形式で示す図である。

図２に示されるように、描画専用マシン１３０を構成するコンピュータ本体３０２は、ディスクドライブ３０８および外部媒体ドライブ３０６に加えて、それぞれバスＢＳ２に接続されたＣＰＵ１３００と、ＲＯＭおよびＲＡＭを含むメモリ３２２と、直接アクセスメモリ装置、たとえば、ハードディスク３２４と、ＬＡＮ等を介して外部とデータの授受を行うための通信インタフェース１３０２とを含んでいる。

上述のとおり、描画専用マシン１３０では、マーカー追跡装置本体１１０により獲得されたマーカーの位置・配置および大きさに関するデータは、ＬＡＮを介して、ハードディスク３２４に格納される。

ハードディスク３２４には、拡張現実感に対応した動画を作成するにあたり、描画のために想定された仮想的な３次元空間内において、１）ユーザにより設定された擬似的なカメラの位置（拡張現実感に対応する動画を描画する際の基準となる視点の位置）に関する情報と、２）獲得されたマーカー１０４の大きさと擬似的なカメラ位置からの距離の関係を予め定めたテーブル、３）擬似的なカメラ位置から見た場合に、獲得されたマーカー１０４の配置に整合するように、拡張現実感に対応する動画中に合成するためのコンピュータグラフィックスによる３Ｄモデルのファイル、４）マーカー１０４の種類と対応する３Ｄモデルの属性などの情報が格納されているものとする。

描画される３Ｄモデルの大きさは、マーカー１０４の擬似的なカメラ位置からの距離に応じて、距離が遠くなるほど小さくなるように描画されるものとする。

また、「マーカー１０４の種類と対応する３Ｄモデルの属性」に関しては、たとえば、マーカー１０４が複数種類ある場合に、各マーカーごとに異なる形状の３Ｄモデルが対応するものとしてもよいし、あるいは、マーカー１０４が複数種類ある場合に、同一の形状の３Ｄモデルについて各マーカーごとに異なる属性（色など）が対応するものとしてもよい。

なお、ディスク媒体３１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）などでよい。

本発明の描画専用マシン１３０の主要部も、コンピュータハードウェアと、ＣＰＵ１３００により実行されるソフトウェアとにより構成される。こうしたソフトウェアも、マーカー追跡装置本体１１０の場合と同様に、ディスク媒体３１８等の記憶媒体に格納されて流通し、ディスクドライブ３０８等により記憶媒体から読取られてハードディスク３２４に一旦格納される。または、ネットワーク上のアプリケーションサーバ４１０から一旦ハードディスク３２４にコピーされる。そうしてさらにハードディスク３２４からメモリ３２２中のＲＡＭに読出されてＣＰＵ１３００により実行される。なお、ネットワーク接続されている場合には、ハードディスク３２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。

なお、図２においては、描画専用マシン１３０の入力装置としては、マーカー追跡装置本体１１０と共用するものとして図示省略しているが、描画専用マシン１３０独自の入力装置が設けられていてもよい。

［ソフトウェア構成］
図３は、図１に示したマーカー追跡装置本体１１０と描画専用マシン１３０上で動作するソフトウェアの構成を説明するための機能ブロック図である。

マーカー追跡装置本体１１０のＣＰＵ１２００上でマーカー追跡のために動作するソフトウェア（マーカー検出プログラム）は、ヘッドマウントカメラ１０２から入力された画像信号を画像データとして取り込む（キャプチャする）ための画像キャプチャ部１２０２と、取り込まれた画像データ中において、周知の方法、たとえば、パターンマッチングの手法を用いて、マーカー１０４を検出し、かつその種類を判別するためのマーカー検出部１２０４と、検出されたマーカー１０４の各々について、対応する局所座標のｘ軸、ｙ軸、ｚ軸の各軸の方向および各軸についての回転量を算出するためのマーカー座標算出部１２０６とを含む。マーカー座標算出部１２０６において算出されたデータは、マーカーの局所座標の情報を本体に含むＴＣＰのパケットデータとして通信部１２０８から描画専用マシン１３０に送信される。

描画専用マシン１３０は、通信部１３０２を介してマーカーの局所座標の情報を受け取る。

描画専用マシン１３０のＣＰＵ１３００上で、拡張現実感に対応する動画を描画するために動作するソフトウェア（描画プログラム）は、描画のために想定された仮想的な３次元空間内におけるマーカーの位置・配置を算出するマーカー位置算出部１３０４と、ハードディスク３０８中に格納された３Ｄモデルデータに基づいて、検出されたマーカー１０４に対応する属性の３Ｄモデルの描画データを各動画フレームごとに生成する３Ｄモデル生成部１３０６と、マーカー位置算出部１３０４からのマーカー位置・配置に関する情報と３Ｄモデル生成部１３０からの３Ｄモデルの描画データとを合成して、拡張現実感に対応する動画を各フレームごとに生成する描画データ生成部１３０８とを含む。描画データ生成部１３０８で生成された合成された動画は、ディスプレイ１０８またはＨＭＤ１０３に表示される。

［マーカー１０４の例］
図４は、マーカー１０４の例を示す図である。図４に示されたマーカーを描いたボードなどをユーザ２が手に持って動かし、このマーカー１０４の位置を上述したように、カメラ１０２で撮影した画像中で追跡する。

図４（ａ）に示したマーカー１０４は、一部に切り欠きを有する矩形の枠１４０２と、枠１４０２の星型の内部のマーク１４０４とから成る。

枠１４０２の大きさは、所定の大きさに規定されているので、カメラ１０２で撮影された画像中のマーカーの枠１４０２の大きさから、上述した擬似的なカメラ位置からの距離が計算により求められる。また、切れ欠きの位置からマーカーの方向が特定できる。さらに、内部のマーク１４０４から、マーカー１０４の種類が特定さされる。

図４（ｂ）に示したマーカー１０４も、図４（ａ）に示したマーカー１０４と基本的な構成は共通であり、ただ、内部のマーク１４０４が、星型の代わりにギターとなっており、異なる種類のマーカーであることを判別可能としている。

［マーカー位置・配置に関する情報の例］
図５は、マーカー座標算出部１２０６において算出されたマーカーの位置および配置に関する情報を、通信部１２０８から送信する際に、パケットの本体に格納される情報の例を示す概念図である。

マーカー位置・配置に関する情報は、「スタート」と「スライス」から構成される。「スタート」データは、カメラ１０２で撮影される動画の各フレームを識別するためのトラッキング番号である。このトラッキング番号は、追跡処理が開始されたときを１として、順次インクリメントされるシリアル番号である。

一方、「スライス」データは、マーカーに対応する局所座標のｘ軸、ｙ軸、ｚ軸の各軸の方向および各軸について撮影時の基準座標に対する回転量を示す。さらに、「スライス」データには、現在、動画中にマーカーが検出されているか否かを示す「可視フラグ」も含まれる。

［デザイン支援装置１００の動作］
図６は、デザイン支援装置１００の動作の流れを説明するための概念図である。

まず、カメラ１０２が画像データを取り込むと（Ｓ１００）、取り込まれたビデオ画像データは、マーカー追跡装置本体１１０上のマーカー検出プログラムおよび描画専用マシン１３０上の描画プログラムに供給される（ステップＳ１０２）。

追跡プログラムでは、マーカーの位置および回転が計算される（Ｓ１０４）。

ここで、図７は、マーカーの位置および回転を計算するための局所座標をマーカーに重畳して示す図である。マーカー１０４の枠１４０２の内側を底面とする立方体により、マーカーに対応する局所座標が示されている。

再び、図６に戻って、描画プログラムでは、描画処理に適したデータ形式とするために、フレームごとにビデオ画像データからテクスチャマップへの変換が行なわれる（Ｓ１０６）。

続いて、描画プログラムでは、拡張現実感に対応した動画を作成するにあたり、描画のために想定された仮想的な３次元空間内（擬３次元空間）において、ビデオテキスチャデータが擬似カメラの視界に相当する矩形領域オブジェクトにマッピングされる（Ｓ１０８）。

一方、追跡プログラムにおいて、検出されたマーカー１０４の位置・回転の情報は、ＴＣＰにより描画プログラムへ送信され、描画プログラムは、擬似的なカメラ位置から見た場合に、獲得されたマーカー１０４の配置に整合するように、擬３次元空間において、擬似カメラの前に３Ｄオブジェクトが配置される（Ｓ１１０）。

図８は、このような擬３次元空間における、擬似カメラ、３Ｄアニメーション、ビデオ画面の配置の関係を示す概念図である。

マーカー１０４の種類に応じて選択された３Ｄモデルが、マーカー１０４の大きさに対応する大きさ、言い換えると、擬似カメラからの対応する距離に配置される。

再び、図６に戻って、描画プログラムでは、擬似カメラの視点から見たときに、３Ｄモデルが現実のビデオ画像中のマーカー位置と整合するように画像合成が行なわれる（Ｓ１１２）。

図９は、このようにして合成された拡張現実感に対応した動画の１フレームを示す図である。

再び、図６に戻って、合成された画像がＨＭＤ１０３等に出力され（Ｓ１１４）るとともに、合成された各フレームのデータはハードディスク３２４に格納されて、処理は次のフレームの合成のためにステップＳ１００に戻る。

すなわち、本発明によれば、合成された拡張現実感に対応した動画を、リアルタイムでユーザ２が確認しながら、動画の編集を行なうことが可能である。

また、ハードディスク３２４に格納された合成画像データに対して、事後に編集を行なうことも可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明のデザイン支援装置１００の構成を示す概略ブロック図である。 描画専用マシン１３０のハードウェア構成をブロック図形式で示す図である。 図１に示したマーカー追跡装置本体１１０と描画専用マシン１３０上で動作するソフトウェアの構成を説明するための機能ブロック図である。 マーカー１０４の例を示す図である。 マーカー座標算出部１２０６において算出されたマーカーの位置および配置に関する情報の例を示す概念図である。 デザイン支援装置１００の動作の流れを説明するための概念図である。 マーカーの位置および回転を計算するための局所座標をマーカーに重畳して示す図である。 擬３次元空間における、擬似カメラ、３Ｄアニメーション、ビデオ画面の配置の関係を示す概念図である。 合成された拡張現実感に対応した動画の１フレームを示す図である。

符号の説明

２ ユーザ、１００ デザイン支援装置、１０２ ヘッドマウントカメラ、１０３ ヘッドマウントディスプレイ、１０４ マーカー、１０６ キーボード、１０８ ディスプレイ、１１０ マーカー追跡装置本体、３２２ メモリ、３２４ ハードディスク、１１１０ ハードディスク、１１０２ インタフェース部、１１０６ ＲＯＭ、１１０８ ＲＡＭ、１２００ ＣＰＵ、１２０２ 画像キャプチャ部、１２０４ マーカー検出部、マーカー座標算出部、１２０８ 通信部、１３０２ 通信インタフェース、１３０４ マーカー位置算出部、１３０６ ３Ｄモデル生成部、１３０８ 描画データ生成部。

Claims (4)

1. マーカーを含む対象画像領域内の動画データを獲得する撮影手段と、
   前記対象画像領域内において、前記マーカーを検出する検出手段と、
   前記マーカーの位置および配置に関する情報を算出するマーカー位置算出手段と、
   コンピュータグラフィックスによる３次元モデルを表現するための３次元モデル情報を予め格納するための記憶手段と、
   検出された前記マーカーの配置に整合するように、拡張現実感に対応する動画中に前記３次元モデルを合成するための合成描画手段とを備える、デザイン支援装置。
2. 前記マーカーは複数種類あり、
   前記合成描画手段は、前記マーカーの種類に応じた属性の前記３次元モデルを、それぞれ対応する前記マーカーの配置に整合するように合成する、請求項１記載のデザイン支援装置。
3. 前記マーカーは、
   前記マーカーの大きさを及び方向を特定するための第１のマークと、
   前記マーカーの種類を特定するための第２のマークとを含む、請求項２記載のデザイン支援装置。
4. 前記記憶手段は、前記マーカーの大きさと前記拡張現実感に対応する動画を描画する際の基準となる視点の位置からの距離の関係を予め定めたテーブルを予め格納しており、
   前記合成描画手段は、前記距離が遠くなるほど小さくなるように前記３次元モデルを描画する、請求項１記載のデザイン支援装置。