JP2011048476A - 拡張現実感を用いた３ｄオブジェクト生成ｃａｄシステム - Google Patents

Abstract

【課題】拡張現実感の技術を用いて、インタラクティブで直感的に３Ｄオブジェクトを生成できるＣＡＤシステムを提供する。
【解決手段】撮影手段が複数のＷｅｂカメラ１からなり、描画手段がペンタブレット３からなり、表示手段が薄型ディスプレイ２からなり、マーカが薄型ディスプレイ２を支持する平面台１１上に設けた基準マーカ６と、薄型ディスプレイ２上に設けた描画マーカ７からなり、薄型ディスプレイ２は自在アーム５に取り付けられており、ペンタブレット３上で描かれた閉曲線８を薄型ディスプレイ２に表示し、映像表示された閉曲線９をＷｅｂカメラ１で捉え、認識させながら、自在アーム５で薄型ディスプレイ２を移動することにより、映像表示された閉曲線９を輪郭とする３Ｄオブジェクト１０を生成することを特徴とする拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
【選択図】図１

Description

本発明は、拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｔｙ、ＡＲ）の技術を応用し、インタラクティブで直観的に３Ｄオブジェクトを生成できるＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）システムに関するものである。

近年のコンピュータの処理能力の飛躍的な向上により、現実の環境から得られる知覚的情報に加え、コンピュータによって作り出された情報を重ね合わせることのできる拡張現実感の技術を誰もが容易に実装できるようになった。このようなＡＲ技術は、現実世界とコンピュータが生成する仮想世界を融合させることにより、新しいユーザインタフェースの構築が可能になり、さまざまな分野への応用が期待されている。

このＡＲ技術に様々な改良技術が提案されている。従来、現実物体に重畳する仮想物体を切り替える際に、ユーザがある特定のジェスチャーを行ったり、マウスのような入力装置を用いたりして、継続中の作業を中断せざるを得なかったが、特許文献１ではユーザが作業を中断することなしに、現実物体に重畳表示されている三次元ＣＧを変更することを可能としている。さらに、現実物体の位置姿勢に応じて三次元ＣＧ画像を変化させることを可能としている。

また、従来、拡張現実感の編集の為に、プログラマーを必要としていたが、特許文献２では、グラフィカルなインターフェースを用いて短時間で拡張現実感を編集可能なデザイン支援装置を提供しており、距離が遠くなるほど小さくなるように三次元モデルを描写することができる。

特開２００５−１０８１０８号公報 特開２００６− ４８４８４号公報

しかしながら、特許文献１及び特許文献２では、あらかじめ準備、格納された３Ｄ画像を現実環境に描画し、編集を行っており、現実環境上で３Ｄ画像を生成させることを可能としていない。

以上のことから、本発明の課題は、ＡＲ技術を応用し、インタラクティブで直観的に３Ｄオブジェクトを生成できるＣＡＤのシステムを提供することにある。

上記課題を解決するため、上記システムを実現するツールは、マウスや手書きによって平面上に描かれた任意の閉曲線を認識し、この平面を空間中で移動させることで、描かれた閉曲線を輪郭に持つ掃引体(Ｓｗｅｅｐｉｎｇ Ｏｂｊｅｃｔ)を生成することができる。その輪郭は、途中で曲げたり、拡大縮小したりすることもできる。

本システムは、ＡＲアプリケーションを実装することを目的として奈良先端科学技術大学院大学加藤博一教授とワシントン大学Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｔｅｃｎｏｌｏｇｙ Ｌａｂによって開発されたＡＲＴｏｏｌＫｉｔ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｔｏｏｌｋｉｔを利用している。ＡＲＴｏｏｌＫｉｔはフリーで提供されており、ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／よりダウンロードすることができる。

本発明の第1には、拡張現実感の技術を応用し、マーカを含む対象画像領域内の動画データを獲得する撮影手段と、マーカを検出する検出手段と、マーカの位置を算出する位置算出手段と、平面上で任意の閉曲線を描画する描画手段と、前記任意の閉曲線を映像で平面表示する平面表示手段と、前記任意の閉曲線を認識する認識手段からなり、該平面を空間中で移動させることより、描かれた閉曲線を輪郭に持つ掃引体からなる３Ｄオブジェクトを生成できるＣＡＤシステムを提供する。

本発明の第２には、拡張現実感の技術を応用し、撮影手段が複数のＷｅｂカメラからなり、描画手段がペンタブレットからなり、平面表示手段が薄型ディスプレイからなり、マーカが前記薄型ディスプレイを設置した平面台上に設けた基準マーカと、前記薄型ディスプレイ上に設けた描画マーカからなり、前記薄型ディスプレイは自在アームに取り付けられており、ペンタブレット上で描かれた閉曲線を前記薄型ディスプレイに表示し、前記閉曲線をＷｅｂカメラで捉え、認識させながら、前記自在アームで前記薄型ディスプレイを移動することにより、前記閉曲線を輪郭とする３Ｄオブジェクトを生成することができるＣＡＤシステムを提供する。

本発明の第３には、拡張現実感の技術を応用し、撮影手段が複数のＷｅｂカメラからなり、描画手段がホワイトボードまたは磁気お絵かきボードからなり、マーカが前記ホワイトボードまたは磁気お絵かきボードを設置する平面台上に設けた基準マーカと、ホワイトボード上または磁気お絵かきボード上に設けた描画マーカからなり、前記ホワイトボードまたは磁気お絵かきボードは自在アームに取り付けられており、前記ホワイトボードまたは磁気お絵かきボード上で描かれた閉曲線をＷｅｂカメラで捉え、認識させながら、前記自在アームでホワイトボードまたは磁気お絵かきボードを移動することにより、前記閉曲線を輪郭とする３Ｄオブジェクトを生成することができ、ペンタブレットを必要としない簡易なＣＡＤシステムを提供する。

本発明の第４には、仮想現実感の情報を表示する表示手段がビデオシースルー型ヘッドマウントディスプレイなどの頭部装着型ディスプレイである３Ｄオブジェクトを生成することができるＣＡＤシステムを提供する。これにより、生成している３Ｄオブジェクトを現実の空間の中でユーザの視点から確認できる。

本発明の第５には、拡張現実感の技術を応用し、生成された３Ｄオブジェクトにあるオブジェクトマーカ上に基準座標を移動することにより、位置を自由に変更できる３Ｄオブジェクト生成ＣＡＤシステムを提供する。

本発明の第６には、拡張現実感の技術を応用し、生成された複数の３Ｄオブジェクトに対して、それぞれ異なるオブジェクトマーカを対応させることにより、任意の位置・姿勢でオブジェクト間の合成や差分演算を行うこと可能とする３Ｄオブジェクト生成ＣＡＤシステムを提供する。これにより、より複雑な３次元形状を生成できる。

本発明によれば、拡張現実感によって３Ｄモデルを感覚的に作成できる、まったく新しい３Ｄ−ＣＡＤを実現するためのツールを提供することが可能となる。

本発明の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステムの概要を示す斜視図である。 図１のパーソナルコンピュータ（ＰＣ）の３Ｄオブジェクト生成を行うための要部を示すブロック図である。 本発明のシステムの概要を説明するフローチャートである。 本発明の別の実施形態を示す拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステムの概要を示す斜視図である。 拡張現実感の情報を表示する頭部装着型ディスプレイを示す斜視図である。 複数の生成オブジェクトに対し、それぞれ異なるオブジェクトマーカを対応させたことを示す斜視図である。

以下に本発明の好ましい実施の形態について説明する。もちろん、本発明はこれらの形態に限定されるものではない。

［第１の実施の形態］ 図１は本発明の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステムの一実施形態の概要を示す斜視図である。図２は図１のパーソナルコンピュータ（ＰＣ）の本システムに係わる部分の要部を示すブロック図である。図３は本発明のシステムの概要を説明するフローチャートを示している。

図１において、１Ａ、１Ｂは撮影手段としてのＷｅｂカメラ、２は表示手段としての薄型ディスプレイ、３は描画手段としてのペンタブレット、４は本実施の形態における３Ｄオブジェクト生成ＣＡＤの各種動作を実行するためのパーソナルコンピュータ（ＰＣ）、５は自由アーム、６は基準マーカ、７は描画マーカ、８はペンタブレット３の上に描画された閉図形としての輪郭、９は薄型ディスプレイ２に平面表示された閉図形としての輪郭、１０は掃引体としてのオブジェクト、１１は平面台である。

Ｗｅｂカメラ１（１Ａ、１Ｂ）は、基準マーカ６、描画マーカ７を捉えて撮像するとともに、対象画像領域内の動画データを撮影、獲得するものである。薄型ディスプレイ２は、ペンタブレット３により描画された輪郭８を平面表示する。ペンタブレット３は、平面上に任意の閉曲線である輪郭８を描画するために使用される。パーソナルコンピュータ（ＰＣ）４は、ＡＲアプリケーションを実装することを目的としたＡＲＴｏｏｌＫｉｔが利用できるようになっている。自在アーム５は、先端に薄型ディスプレイ２が取付けられ、その位置と姿勢を自由に与えるものである。基準マーカ６は、描画マーカ７で生成される３Ｄオブジェクト１０の基準座標を与える。３Ｄオブジェクト１０を生成している間、描画マーカ７から基準マーカ６への座標変換行列を常に計算しており、ペンタブレット３で描画された閉曲線の輪郭８を、薄型ディスプレイ２で平面画像表示させた閉曲線を輪郭９とした掃引体１０の生成に用いる。描画マーカ７は、薄型ディスプレイ２で平面画像表示させた閉曲線である輪郭９を認識するために用いられる。輪郭８は、薄型ディスプレイ２に輪郭９として平面表示するために用いられる。ユーザにより任意の閉曲線としてペンタブレット３に描かれる。輪郭９は、掃引体１０を生成するために薄型ディスプレイ２に平面表示される。３Ｄオブジェクト１０は、生成されるべき目的の３Ｄの構造を有するものである。平面台１１は、基準マーカ６が設けられるとともに、自由アーム５が垂直方向に移動可能となるように取付けられるロッドが立設される基台である。

また、図２には、拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤの基本的な動作をＰＣ４で行うための機能実現手段である、検出手段４Ａ、マーカ位置算出手段４Ｂ、認識手段４Ｃ、生成手段４Ｄ、演算手段４Ｅ、制御手段４Ｆを示している。もちろん、ＰＣ４は通常のＰＣとしての各種機能を備えており、また、ディスプレイ等の画像表示手段に接続されている。

検出手段４ＡはＷｅｂカメラ１で撮影したマーカ６と７を検出する。マーカ位置算出手段４Ｂは、検出手段４Ａが検出したマーカ６と７の位置を算出する。認識手段４Ｃは、薄型ディスプレイ２で平面表示された輪郭９を認識する。生成手段４Ｄは、薄型ディスプレイ２を空間中で移動させることで、ＡＲＴｏｏｌＫｉｔの機能を利用しつつ、輪郭９を持つオブジェクト１０を生成する。演算手段４Ｅは後述する。制御手段４Ｆは、各手段４Ａないし４Ｅの動作を制御する。

次に、本システムの動作について述べると、基準マーカ６と描画マーカ７の２つのマーカをＷｅｂカメラ１Ａと１Ｂで捉え、ＰＣ４においてＡＲＴｏｏｌＫｉｔ関数によって認識させることにより、３Ｄオブジェクトを生成する。基準マーカ６は描画マーカ７で生成されるオブジェクト１０の基準座標を与える。ペンタブレット３によって描画された輪郭８が有機ＥＬなどの薄型ディスプレイ２に表示される。薄型ディスプレイ２には描画マーカ７が印刷されており、カメラ座標系から見た描画マーカ７および基準マーカ６の座標系がＡＲの手法により推定されるので、描画マーカ７をＷｅｂカメラ１Ａが捉えることで、基準マーカ６の座標系に対する薄型ディスプレイ２の位置と姿勢を常に求めることができる。本実施例では２台のＷｅｂカメラ１Ａ、１Ｂを使用しているが、複数のＷｅｂカメラを設置することで、常に２つのマーカ６及び７を見失うことなく、正確な位置姿勢を求めることができる。３Ｄオブジェクト１０は、例えばＰＣ４に接続されたディスプレイ等の画像表示装置に表示させることができる。
なお、前記では輪郭８をペンタブレット３を利用して描画したが、マウスを用いて描画してもよい。

薄型ディスプレイ２は、自在アーム５に取付けられており、その位置・姿勢を自由に与えることができる。ペンタブレット３上で描かれた輪郭８を薄型ディスプレイ２に輪郭９として表示しながら、この自在アーム５で少しずつ移動することにより、３Ｄオブジェクト１０の表面形状を生成していく。輪郭９である２次元形状は、多角形ポリゴンとして十分な精度で近似できるので、異なる形状の輪郭９に対してもこれらの頂点を結びつければ、薄型ディスプレイ２を移動しながら輪郭９を変化させることにより、複雑な３次元形状を生成できる。すなわち、輪郭９は、途中で曲げたり、拡大したり、縮小したりすることができる。
以上のようにして拡張現実感を用いて３Ｄオブジェクトを得ることができる。

［第２の実施の形態］ 図３は本発明の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステムの別の実施形態を示している。図３において図１と同様な要素には同じ符号を付してある。

本システムでは、平面台１１上の自在アーム５にホワイトボード１２を取り付けており、平面台１１上に設けた基準マーカ６と、ホワイトボード１２上に設けた描画マーカ７の２つのマーカをＷｅｂカメラ１Ａ、１Ｂ４で捉え、ＡＲＴｏｏｌＫｉｔ関数によって認識させることにより、３Ｄオブジェクト１０を生成する。基準マーカ６は描画マーカ７で生成される３Ｄオブジェクト１０の基準座標を与える。ホワイトボード１２に輪郭８が手書きされる。ホワイトボード１２には描画マーカ７が印刷されており、カメラ座標系から見た描画マーカ７および基準マーカ６の座標系がＡＲの手法により推定されるので、描画マーカ７をＷｅｂカメラ１Ｂが捉えることで、基準マーカ６の座標系に対するホワイトボード１２の位置・姿勢を常に求めることができる。本実施例は２台のＷｅｂカメラ１Ａ、１Ｂを使用し、２つのマーカ６及び７の正確な位置姿勢を求めている。
なお、前記では輪郭８を、ホワイトボード１２を用いて描画したが、磁気お絵描きボードを用いてもよい。

本実施形態では、本システムが手書きの輪郭形状を認識する機能を持つことを示し、第１の実施形態の薄型ディスプレイ２をホワイトボード１２に置き換えることにより、ペンタブレットも必要のない簡易なシステムを構築することができる。
なお、前記では輪郭８を、ホワイトボード１２を用いて描画したが、磁気お絵描きボードを用いてもよい。

図５は拡張現実感の情報を表示する頭部装着型ディスプレイを示している。ビデオシースルー型ヘッドマウントディスプレイ１３などの頭部装着型ディスプレイを使用することにより、生成している３Ｄオブジェクト１０を現実の空間の中でユーザの視点から確認できる、インタラクティブで直観的な３次元ＣＡＤを提案できる。

図６は複数の生成オブジェクトに対し、それぞれ異なるオブジェクトマーカを対応させたことを示している。そのために、ＰＣ４において図２の演算手段４Ｅを利用する。また、オブジェクトマーカを利用する。オブジェクトマーカとは、生成された３Ｄオブジェクトを認識するために設けられるマーカである。生成手段４Ｄにより生成されたオブジェクトは、その基準座標をオブジェクトマーカ上に移動することにより、その位置・姿勢や大きさを自由に変更可能である。
また、本システムは複数の生成オブジェクトに対して、それぞれ異なるオブジェクトマーカ１４、１５を対応させ、１つのオブジェクトマーカ１４に固定することにより、任意の位置・姿勢でオブジェクト間の合成や差分演算などを行って、より複雑な３次元形状を生成できる。

本発明は、操作性の良い３Ｄドラフターやビデオシースルー型ヘッドマウントディスプレイと組み合わせて、専門家に対しても実用に耐えるような、精密な３Ｄ−ＣＧモデルを作成できる技術を提供することが可能である。また、粘土や紙細工のように、感覚的で、子供でも簡単に３Ｄモデルを生成できるツールも提供できる。

１、１Ａ、１Ｂ Ｗｅｂカメラ
２ 薄型ディスプレイ
３ ペンタブレット
４ パーソナルコンピュータ（ＰＣ）
４Ａ 検出手段
４Ｂ 位置算出手段
４Ｃ 認識手段
４Ｄ 生成手段
４Ｅ 演算手段
４Ｆ 制御手段
５ 自在アーム
６ 基準マーカ
７ 描画マーカ
８ 閉曲線（輪郭）
９ 映像表示された閉曲線（輪郭）
１０ 掃引体（３Ｄオブジェクト）
１１ 平面台
１２ ホワイトボード
１３ ビデオシースルー型ヘッドマウントディスプレイ
１４ オブジェクトマーカ１
１５ オブジェクトマーカ２

Claims (6)

1. マーカを含む対象画像領域内の動画データを獲得する撮影手段と、前記マーカを検出する検出手段と、前記検出手段で検出された前記マーカの位置を算出するマーカ位置算出手段と、平面上で任意の閉曲線を描画する描画手段と、前記描画手段で描画された前記任意の閉曲線を映像で平面表示する平面表示手段と、前記平面表示手段で平面表示された前記任意の閉曲線を認識する認識手段と、前記平面表示手段を空間中で移動させることで、描かれた閉曲線を輪郭に持つ掃引体を生成する生成手段からなることを特徴とする拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
2. 前記撮影手段が複数のＷｅｂカメラからなり、前記描画手段がペンタブレットからなり、前記平面表示手段が薄型ディスプレイからなり、前記マーカが前記薄型ディスプレイを設置する平面台上に設けた基準マーカと、前記薄型ディスプレイ上に設けた描画マーカからなり、前記薄型ディスプレイは自在アームに取り付けられており、前記ペンタブレット上で描かれた閉曲線を前記薄型ディスプレイに表示し、前記閉曲線を前記Ｗｅｂカメラで捉え、前記認識手段で認識させながら、前記自在アームで前記薄型ディスプレイを移動することにより、前記閉曲線を輪郭とする３Ｄオブジェクトを生成することを特徴とする請求項１に記載の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
3. 撮影手段が複数のＷｅｂカメラからなり、描画手段がホワイトボードまたは磁気お絵かきボードからなり、マーカが前記ホワイトボードまたは磁気お絵かきボードを設置する平面台上に設けた基準マーカと、ホワイトボードまたは磁気お絵かきボード上に設けた描画マーカからなり、ホワイトボードまたは磁気お絵かきボードは自在アームに取り付けられており、ホワイトボードまたは磁気お絵かきボード上で描かれた閉曲線を前記Ｗｅｂカメラで捉え、認識手段で認識させながら、前記自在アームで前記ホワイトボードまたは磁気お絵かきボードを移動することにより、前記閉曲線を輪郭とする３Ｄオブジェクトを生成することを特徴とする拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
4. 拡張現実感の情報を表示する表示手段を備え、前記表示手段が頭部装着型ディスプレイであることを特徴とする請求項１ないし３のいずれか一項に記載の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
5. 生成された３Ｄオブジェクトは、その基準座標をオブジェクトマーカ上に移動することにより、その位置を自由に変更可能とすることを特徴とする請求項１ないし４のいずれか一項に記載の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。
6. 生成された複数の３Ｄオブジェクトに対して、それぞれ異なるオブジェクトマーカを対応させることにより、任意の位置および／または姿勢でオブジェクト間の合成や差分演算を行う演算手段を有することを特徴とする請求項１ないし５のいずれか一項に記載の拡張現実感を用いた３Ｄオブジェクト生成ＣＡＤシステム。