JP2011248443A - 拡張現実映像の提示装置及び提示方法 - Google Patents

Abstract

【課題】視覚と触覚とが一致した臨場感の優れた拡張現実映像を提供する。
【解決手段】表面にシート状の触覚センサ２１が設けられた３次元オブジェクト１１を撮像装置１４で撮影し、３次元オブジェクト１１の形状に対応する仮想物データ１２を触覚センサ２１の検出信号により変形させ、撮像装置１４が撮影した画像の中における仮想物データ１２の合成位置を位置合わせ部１８が演算して求め、撮像装置１４が撮影した画像の中の３次元オブジェクト１１の画像に代えて前記合成位置に前記変形された仮想物データ１２を合成する。
【選択図】図１

Description

本発明は、拡張現実映像の提示装置及び提示方法に係り、特に、仮想物（拡張現実映像）を現実世界の映像に重ねて表示するときユーザの視覚情報と触覚情報に合わせた仮想物を表示することができる拡張現実映像の提示装置及び提示方法に関する。

現実世界を撮影したカメラ画像に３ＤＣＧ等で生成した仮想物の画像を合成し、人間の視覚を拡張する拡張現実（ＡＲ：Augmented Reality）技術が普及してきている。この拡張現実映像を画面に表示するとき、触覚的な効果を加えることで、臨場感をユーザに与えることができる。

例えば、工業製品のモックアップに色違いで同じ形状の３ＤＣＧで生成したモックアップ画像を合成すれば、ユーザは現物のモックアップを触りながら、画面上で色違いのモックアップ画像を見ることができ、製品化されたときの色彩を持つ工業製品をイメージすることが可能となる。

ここで、モックアップに変形可能な柔らかい素材を用いた場合、ユーザが手でモックアップを触ったとき、モックアップは指の圧力を受けて実際に変形することになる。これに合わせて、画面上のモックアップ画像も変形させることができれば、ユーザの触覚に応じたモックアップ画像を表示させることができ、臨場感をユーザに与えることができる。

例えば下記の特許文献１，２に記載されている従来技術では、荷重を受けたとき３ＤＣＧ画像を変形させることをしている。

特表２００８―５０８６３０号公報 特開２００９―８８３７号公報

３ＤＣＧ等で生成した仮想物のモックアップ画像を、実際のモックアップに加えられた圧力の大きさや圧力の方向に従って変形させることは従来から行われている。

しかし、例えば、実際にモックアップを指で押したところの現実の映像のうち、モックアップの画像を仮想物のモックアップ画像に置き換えた合成画像をユーザに提示したとき、モックアップ画像の変形箇所と、現実映像の指の場所との間に微妙な位置ズレが生じると、違和感のある、臨場感に乏しい拡張現実映像になってしまう。

本発明の目的は、現実映像と仮想物映像との位置合わせ精度が高く、視覚的にも触覚的
に違和感のない臨場感の優れた拡張現実映像の提示装置及び提示方法を提供することにある。

本発明の拡張現実映像の提示装置は、表面にシート状の触覚センサが設けられた３次元オブジェクトを撮影する撮像装置と、前記３次元オブジェクトの形状に対応する仮想物データを前記触覚センサの検出信号により変形させる変形手段と、前記撮像装置が撮影した画像の中における前記仮想物データの合成位置を演算して求める位置合わせ手段と、前記撮像装置が撮影した画像の中の前記３次元オブジェクトの画像に代えて前記合成位置に前記変形された前記仮想物データを合成する合成手段とを備えることを特徴とする。

本発明の拡張現実映像の提示方法は、表面にシート状の触覚センサが設けられた３次元オブジェクトを撮像装置で撮影し、前記３次元オブジェクトの形状に対応する仮想物データを前記触覚センサの検出信号により変形させ、前記撮像装置が撮影した画像の中における前記仮想物データの合成位置を演算して求め、前記撮像装置が撮影した画像の中の前記３次元オブジェクトの画像に代えて前記合成位置に前記変形された前記仮想物データを合成することを特徴とする。

本発明によれば、仮想データを合成するときの位置合わせ精度が向上し、視覚と触覚とが一致した違和感のない臨場感の優れた拡張現実映像をユーザに提供できる。

本発明の一実施形態に係る拡張現実映像提示装置の機能ブロック構成図である。 図１に示すモックアップの説明図である。 図２に示すIII―III線位置におけるモックアップの断面図である。 図３に示す回路シートの説明図である。 図４に示すシフトレジスタとＡＤコンバータから求めたデータの説明図である。 モックアップの変形シミュレーションの結果を示す図である。 仮想物データの変形説明図である。 図１に示す位置合わせ部の説明図である。 図１に示す合成部の説明図である。 位置合わせ演算の基本原理図である。 位置合わせ演算の概要説明図である。 回転行列の求め方の説明図である。 並進ベクトルの求め方の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る拡張現実映像提示装置の機能ブロック説明図である。本実施形態の拡張現実映像提示装置１０は、モックアップ（実物製品の外観にそっくりに似せた３次元オブジェクトの模型：物体の物理モデル）１１と、各種製品に対応したモックアップの仮想物データを格納した仮想物データベース１２と、パーソナルコンピュータ１３と、モックアップ１１の画像を撮影する撮像装置１４と、モニタ装置１５とで構成される。パーソナルコンピュータ１３は、変形部１７と、位置合わせ部１８と、合成部１９とで構成させる。

変形部１７は、モックアップ１１に対応する仮想物データをデータベース１２から取り出して、当該モックアップ１１の三次元コンピュータグラフィックス（３ＤＣＧ）画像を生成する機能を有する。また、変形部１７は、生成された３ＤＣＧ画像の形状を変形させる機能も有する。この変形は、モックアップ１１から出力される圧力データに応じて行われ、モックアップ１１上の圧力がかかっている位置（図示の例では指で押されている箇所）において、圧力の大きさ，圧力の方向に応じて変形量を大きくする。

位置合わせ部１８は、撮像装置１４から送られてくるモックアップ１１の撮影画像（実映像）を解析し、実映像の中の実際のモックアップ１１の画像に変えて、変形部１７で変形された３ＤＣＤ画像を填め込む位置を、詳細は後述するように求める。

なお、図１には、指で押されて変形されたモックアップ１１を図示しているが、これは指で押された箇所のモックアップ１１の断面を図示しているためであり、側面からモックアップ１１を撮影した場合、変形して凹形状となった部分の精確な位置は、後述するように算出しないと分からない。

合成部１９は、撮像装置１４の撮影画像の中のモックアップ１１の部分の実映像を、３ＤＣＤ画像に置き換えて拡張現実映像を生成し、これをモニタ装置１５に表示させる。

図２は、モックアップ１１の一例を示す斜視図であり、図３は、図２のIII―III線位置の断面図である。図示する例のモックアップは直方体であるが、最表面（図示する例では上面のみ）に感圧シート（本実施形態の触覚センサ）２１が貼り付けられており、その下に回路シート２２が貼り付けられている。モックアップ１１の側面には、後述の段落〔００３１〕で説明する様に、撮像装置１４で撮影されるドットパターン２３が印字されている。

感圧シート２１は、感圧ゴム等のフレキシブルな導電性素材を用いて形成され、圧力検知用の微弱電流が流される。この感圧シート２１に外力が加わったとき、外力（圧力）を検知した箇所で圧力レベルに応じた電圧を発生する。

感圧シート２１の下部に敷かれた回路シート２２には、多数の有機トランジスタ等で構成される回路がアレイ状に配列形成されており、感圧シート２１が電圧を発生したとき該発生箇所の有機トランジスタ回路等が電圧の大きさに応じた電気信号を発生する。

感圧シート２１が電圧を発生したとき、電圧を感知した有機トランジスタ回路の配列位置が圧力印加箇所となり、電圧レベルがモックアップ１１に加わった外力の大きさ（圧力レベル）となる。また、１つの有機トランジスタ回路が圧力を検知するのではなく、その周りの複数の有機トランジスタ回路も圧力を検出するため、その圧力分布を見れば、圧力が加わった方向も検知可能となる。

図４は、回路シート２２の説明図である。回路シート２２には、多数の有機トランジスタ回路を指定するシフトレジスタ２５と、シフトレジスタ２５によって指定された有機トランジスタ回路の出力信号をデジタルデータに変換するＡＤコンバータ２６とが設けられている。

シフトレジスタ２５は、回路シート２２に設けられた有機トランジスタ回路を指定し、ＡＤコンバータ２６は指定された有機トランジスタ回路の出力信号を順にデジタルの圧力データに変換して図１の変形部１７に出力し、変形部１７は、次の有機トランジスタ回路を指定するようにシフトレジスタ２６に指示する。

図５は、図４で説明したシフトレジスタ２５とＡＤコンバータ２６とから求められたデータの説明図である。圧力データは、圧力データに応じた電圧値を出力した有機トランジスタ回路の位置データ（圧力印加箇所のｘ座標，ｙ座標）と、各有機トランジスタ回路の出力電圧値とで構成される。

圧力データの検出に際して感圧シート２１に流す電流量は、予め決められているため、感圧シート２１の抵抗値は自ずと求められる。感圧シート２１のＦ―Ｒ特性（圧力と抵抗値の関係）は素材によって決まるため、抵抗値より圧力を一意に求めることができる。

以上により、位置（ｘ，ｙ）における圧力の大きさを求めることができ、全ての有機トランジスタ回路の出力データを読み出すことで、圧力の面分布を計測することが可能となる。

変形部１７は、取得した圧力データを基に、有限要素法等の手法にてモックアップ１１の形状変形をシミュレートし、例えば図６（ａ）に示す様なシミュレーション結果に基づいて、図６（ｂ）に示す様に、仮想物データ（３ＤＣＤ画像）を変形させる。

図７は、仮想物データの変形説明図である。図７（ａ）の変形させた仮想物データ３１に対して、図７（ｂ）に示す様に、図示する例では３種類の大きさのドットをランダム配置したドットパターン３２を付与し、仮想カメラ３３（仮想世界で仮想物データ３１を撮影するカメラ）で仮想物データ３１を予め決められた撮影地点（複数地点でも可）から撮影（画像平面上に射影）する。仮想カメラ３３で撮影された図７（ｃ）に示す画像３３は、テンプレート画像３４として登録される。

図８は、位置合わせ部１８の説明図である。実物の図２に示すモックアップ１１には、３種類の大きさのドットパターン２３が、ランダムに、予め決められた値の中心間距離に従って配置されている。一旦配置されたドットパターン２３の大きさと位置の関係は、位置合わせ部１８に記録されている。これにより、ドットパターン２３の一部が撮像装置１４から隠れた位置に来ても、隠れたドットパターンを認識できる。また、ドットパターン２３がどの形状のモックアップに付与されたドットパターンであるかを個別に認識できる。

位置合わせ部１８に記録されているドットパターン２３の条件を基に、図７の仮想カメラ３３で撮影するテンプレート画像３４が生成される。テンプレート画像３４は、モックアップ１１に印字されているドットパターン２３に対応する同一配列のドットパターン３３を仮想物データ３１に付与し、予め決められた方向の面に射影変換することで生成される。

もし、モックアップ１１が変形した場合は、変形部１７から位置合わせ部１８に、変形された仮想物データ３１が送信され、変形された仮想物データ３１よりテンプレート画像３４が再生成される。

位置合わせ部１８では、テンプレート画像３４と、図１の撮像装置１４で撮影されたモックアップ１１の実映像とを次の様に比較する。先ず、認識された複数のドットパターンのうち、任意の四角形が形成されるような４点を任意に選択する（同一直線上に２点のみ存在するように選べば良い。）。テンプレート画像３４上に形成された四角形は位置合わせ用のマーカとなり、マーカ・カメラ間の後述する座標変換行列を求める際に用いられる。

そして、現実世界の撮像装置１４で撮影されたモックアップ１１のドットパターン２３の実映像から、テンプレート画像３４上のマーカを検出する。この検出は、複数のドットパターンの大きさや位置の相対関係から判断することができる。即ち、大中小のドットパターンの配列や相対関係からマーカとする４点のドットを検出することができる。

マーカ・カメラ間の座標変換行列を求める際は、テンプレート画像３４だけでなく、マーカの向かい合う２辺が成す角度，各辺の長さについても用いられる。また、マーカ自体は点の数だけ組み合わせが増えるため、複数パターンのマーカが生成できる。複数のマーカについて、各々位置合わせ演算を行い、結果を平均化することで、位置合わせ精度を高めることも可能である。これにより、マーカが歪んだ場合でも精度の高い位置合わせが可能となる。

図９は、合成部１９における合成処理の説明図である。詳細は後述するようにして位置合わせ演算を行った結果、仮想カメラ３３の撮影パラメータ（カメラ画角，撮影位置，カメラの姿勢等）が決定される。そこで、図９（ａ）に示す仮想物データ３１を、この撮影パラメータに基づき、仮想カメラ３３で撮影して、図９（ｂ）の仮想物データ映像３１ａを求める。

そして、図９（ｃ）に示す様に、指３７で現実のモックアップ１１を押した実映像の中のモックアップ１１の画像を、図９（ｄ）に示す様に、仮想物データの映像３１ａに置き換えて、図１のモニタ装置１５に表示する。これにより、位置が合った拡張現実映像をユーザに提供でき、図９（ｄ）の仮想物データ３１ａの色や質感等をユーザの希望通りに任意に変更可能となる。

この様に、ランダム配列したドットパターンを用い、仮想世界のドットパターンと現実世界のドットパターンとの対応関係から位置合わせ演算を行うため、モックアップ１１が変形しても精度の高い位置合わせが可能となる。

図１０は、位置合わせ演算の基本原理図である。カメラ（図１の撮像装置１４）で撮影した現実の風景に仮想物（３ＤＣＧ）を合成する際には、
（ａ）現実世界と仮想物が存在する仮想世界との位置合わせを行い、
（ｂ）仮想空間上で仮想物を撮影するカメラ３３の特性（焦点距離や画角）を、現実世界を撮影するカメラ１４の特性とを正確に一致させる
ことで、カメラの動きに連動して様々な位置や角度から、仮想物を現実の風景と同様の位置関係，遠近感で観察することができる。カメラの特性値については、事前に取得しておくことで対応できる。

図１１は、位置合わせ演算の概要説明図である。位置合わせ演算は、図１０で説明した特性を持つカメラに対する現実座標系のマーカの位置，姿勢を求め、マーカ側の現実座標系を、カメラ側の座標系に変換する座標変換を行い、更にカメラ側の座標系を撮影画像の座標系（画像平面の座標系）に射影変換することで完了する。

カメラ座標系を、

マーカ座標系を、

とし、カメラ・マーカ間の座標変換を、次の数３の式で定義する。ここで、数３中のＴcmを座標変換行列と呼ぶ。

更に、画像座標系を

とした場合、カメラ座標系から画像座標系への射影変換を次の数５で定義する。

ここで、ｈはスカラである。行列Ｐはカメラの特性値であり、既知のパラメータである。数５より、画像座標系とカメラ座標系の関係式は次の数６となる。

数３と数６により、現実座標系を画像座標系に変換することができる。ここで、数３の座標変換行列Ｔcmは未知のパラメータである。Ｔcmは、回転行列Ｒ_３×３と並進ベクトルＴ_３×１とからなり、Ｒ_３×３とＴ_３×１はマーカを用いた以後の演算によって求められる。

図１２は、回転行列Ｒ_３×３の求め方の説明図である。図示するように、マーカとなる四角形の４点を通る４本の直線を、各々ｌ_１，ｌ_２，ｌ_３，ｌ_４と定義する。その後、向かい合う２つの辺の組（例えばｌ_１とｌ_２）について以下の数７で定義する。

この数７を数６に代入すると、次の数８が得られる。

ここで、Ｓ_１，Ｓ_２は、図１２に示す様に、画像平面に写ったマーカの辺とカメラの焦点を通る面を意味する。面Ｓ_１，Ｓ_２の法線ベクトルｎ_１，ｎ_２は、次の数９で表される。

ここで、ｌ_１とｌ_２に対応する空間中のマーカの辺の方向ベクトルをＶ_１とおくと、Ｖ_１はｎ_１，ｎ_２の外積によって、次の数１０に示す様に、与えられる。

上記と同様に、直線ｌ_３，ｌ_４について方向ベクトルＶ_２を計算する。Ｖ_１に対するＶ_２の垂直成分Ｖ_２ｙを正規化したものを新しくＶ_２と規定する。この後、Ｖ_１とＶ_２の直交する方向ベクトルＶ_３を次の数１１の様に計算する。

以上のＶ_１，Ｖ_２，Ｖ_３はマーカの姿勢を表しており、これらを数１２の様に並べたものが、回転行列である。

この様に、本実施形態では、ｌ_１，ｌ_２，ｌ_３，ｌ_４から回転ベクトルを求めるのに際して、マーカとする任意の４点を使い計算することを特徴としている。

図１３は、並進ベクトルＴ_３×１の求め方の説明図である。マーカの４つの頂点の３次元座標を、次の数１３で表し、

画像平面に写ったマーカの４つの頂点の２次元座標を、次の数１４で表すと、

数３と数５より、次の数１５が成り立つ。

マーカの１辺の長さは既知であるため、Ｍｉ（ｉ＝１〜４）の座標は算出できる。また、回転後のマーカの頂点座標を次の数１６の様に置く。

数１６を基に、数１５を展開し、整理すると、次の数１７の様になる。

この数１７を解くと、並進ベクトルが数１８の様に求められる。

ここで、数１８中のＡとｂは、次の数１９で表される。

数１７は、最小２乗法によって解を得ることができ、数２０で表される。

以上の計算により、次の数２１で表される並進ベクトルＴ_３×１が求められる。

以上の様にしてマーカを用いて算出された回転ベクトルＲ_３×３，並進ベクトルＴ_３×１を用い、数３の座標変換行列Ｔcmを求めることで、精度の高い位置合わせを行うことが可能となる。

以上述べた実施形態の拡張現実映像の提示装置及び提示方法は、表面にシート状の触覚センサが設けられた３次元オブジェクトを撮像装置で撮影し、前記３次元オブジェクトの形状に対応する仮想物データを前記触覚センサの検出信号により変形させ、前記撮像装置が撮影した画像の中における前記仮想物データの合成位置を演算して求め、前記撮像装置が撮影した画像の中の前記３次元オブジェクトの画像に代えて前記合成位置に前記変形された前記仮想物データを合成することを特徴とする。

また、実施形態の拡張現実映像の提示装置及び提示方法は、前記３次元オブジェクトの表面にドットパターンが付与されていることを特徴とする。

また、実施形態の拡張現実映像の提示装置及び提示方法は、前記ドットパターンと同じドットパターンを前記仮想物データの表面に仮想的に付与した該仮想物データの平面画像と前記３次元オブジェクトの前記撮像装置による撮像画像との間の両ドットパターンの対応関係から前記合成位置を算出することを特徴とする。

また、実施形態の拡張現実映像の提示装置及び提示方法は、前記ドットパターンのうちの任意の４点の四角形をマーカとして選択し前記仮想物データの前記平面画像中のマーカと前記撮像画像中のマーカとの対応関係から前記合成位置を算出することを特徴とする。

また、実施形態の拡張現実映像の提示装置及び提示方法は、前記４点のマーカの選択を複数回行い夫々で位置合わせ演算を行い、演算結果の平均値を前記合成位置とすることを特徴とする。

以上述べた実施形態によれば、仮想データを合成するときの位置合わせ精度が向上し、視覚的にも触覚的に違和感のない臨場感の優れた拡張現実映像をユーザに提供できる。

本発明に係る拡張現実映像提示装置及び提示方法は、仮想物表示位置の高精度な位置合わせを行うことができるため、視覚的にも触覚的に違和感のない臨場感の優れた拡張現実映像の提示装置として有用である。

１０，４０ 拡張現実映像提示装置
１１ モックアップ（オブジェクト）
１３ コンピュータ
１４ 撮像装置
１５ モニタ装置
１７ 変形部
１８ 位置合わせ部
１９ 合成部
２１ 感圧シート
２２ 回路シート
２３，３２ ドットパターン（幾何学パターン）
３１ 仮想物データ
３３ 仮想カメラ
３４ テンプレート画像

Claims (10)

1. 表面にシート状の触覚センサが設けられた３次元オブジェクトを撮影する撮像装置と、前記３次元オブジェクトの形状に対応する仮想物データを前記触覚センサの検出信号により変形させる変形手段と、前記撮像装置が撮影した画像の中における前記仮想物データの合成位置を演算して求める位置合わせ手段と、前記撮像装置が撮影した画像の中の前記３次元オブジェクトの画像に代えて前記合成位置に前記変形された前記仮想物データを合成する合成手段とを備える拡張現実映像の提示装置。
2. 請求項１に記載の拡張現実映像の提示装置であって、前記３次元オブジェクトの表面にドットパターンが付与されている拡張現実映像の提示装置。
3. 請求項２に記載の拡張現実映像の提示装置であって、前記位置合わせ手段は、前記ドットパターンと同じドットパターンを前記仮想物データの表面に仮想的に付与した該仮想物データの平面画像と前記３次元オブジェクトの前記撮像装置による撮像画像との間の両ドットパターンの対応関係から前記合成位置を算出する拡張現実映像の提示装置。
4. 請求項３に記載の拡張現実映像の提示装置であって、前記ドットパターンのうちの任意の４点の四角形をマーカとして選択し前記仮想物データの前記平面画像中のマーカと前記撮像画像中のマーカとの対応関係から前記合成位置を算出する拡張現実映像の提示装置。
5. 請求項４に記載の拡張現実映像の提示装置であって、前記４点のマーカの選択を複数回行い夫々で位置合わせ演算を行い、演算結果の平均値を前記合成位置とする拡張現実映像の提示装置。
6. 表面にシート状の触覚センサが設けられた３次元オブジェクトを撮像装置で撮影し、前記３次元オブジェクトの形状に対応する仮想物データを前記触覚センサの検出信号により変形させ、前記撮像装置が撮影した画像の中における前記仮想物データの合成位置を演算して求め、前記撮像装置が撮影した画像の中の前記３次元オブジェクトの画像に代えて前記合成位置に前記変形された前記仮想物データを合成する拡張現実映像の提示方法。
7. 請求項６に記載の拡張現実映像の提示方法であって、前記３次元オブジェクトの表面にドットパターンが付与されている拡張現実映像の提示方法。
8. 請求項７に記載の拡張現実映像の提示方法であって、前記ドットパターンと同じドットパターンを前記仮想物データの表面に仮想的に付与した該仮想物データの平面画像と前記３次元オブジェクトの前記撮像装置による撮像画像との間の両ドットパターンの対応関係から前記合成位置を算出する拡張現実映像の提示方法。
9. 請求項８に記載の拡張現実映像の提示方法であって、前記ドットパターンのうちの任意の４点の四角形をマーカとして選択し前記仮想物データの前記平面画像中のマーカと前記撮像画像中のマーカとの対応関係から前記合成位置を算出する拡張現実映像の提示方法。
10. 請求項９に記載の拡張現実映像の提示方法であって、前記４点のマーカの選択を複数回行い夫々で位置合わせ演算を行い、演算結果の平均値を前記合成位置とする拡張現実映像の提示方法。