JP2009187550A

JP2009187550A - 拡張現実におけるハプティックインタラクション方法およびそのシステム

Info

Publication number: JP2009187550A
Application number: JP2009023350A
Authority: JP
Inventors: Jeha Ryu; ジェハ、リュウ; Beom-Chan Lee; ベオムシャン、リー; Sun-Uk Hwang; サンウク、ワン; Hyeshin Park; ヒテシン、パク; Yong-Gu Lee; ヤング、リー
Original assignee: Gwangju Institute of Science and Technology
Current assignee: Gwangju Institute of Science and Technology
Priority date: 2008-02-04
Filing date: 2009-02-04
Publication date: 2009-08-20
Anticipated expiration: 2029-02-04
Also published as: JP4977725B2; KR20090085419A; US8243099B2; KR100927009B1; US20090195538A1

Abstract

【課題】拡張現実における安定で滑らかなハプティックインタラクションのために、映像獲得装置によって獲得された実際映像におけるノイズを除去する。
【解決手段】現実環境に対する映像の入力を受け、マーカーを検出するマーカー検出部と、マーカーの位置を抽出するマーカー位置抽出部と、マーカーの位置情報からノイズを除去するノイズ除去部と、マーカーに対応する仮想オブジェクトをマーカーの位置に増強させて出力する仮想オブジェクト増強部と、を含む視覚レンダリング部およびノイズ除去部から伝達されたマーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じてマーカーの動きを推定する動き推定部と、マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、ハプティック装置から提供される反力を計算する反力計算部と、を含むハプティックレンダリング部を含む。
【選択図】図２

Description

本発明は拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。より詳しくは、本発明は、拡張現実における安定で滑らかなハプティックインタラクションのために映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生する力の不連続性を最小化することを特徴とする拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。

一般的に、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）とは仮想オブジェクト（ｖｉｒｔｕａｌｏｂｊｅｃｔ）が実際環境と同じ空間に存在する如く表すように支援する技術をいう。言い換えれば、拡張現実とはユーザが目で見る現実世界と付加情報を有する仮想世界を結合して１つの映像で見せる仮想現実の１つである。拡張現実に対する研究は、コンピュータで生成した仮想環境（ＶｉｒｔｕａｌＥｎｖｉｒｏｎｍｅｎｔ）内でインタラクションするユーザが実際環境のようなリアリティーを感じるには多くの限界があるために大いに行われている。

通常のＡＲシステムはカメラから獲得した映像をユーザの仮想環境に登録された仮想オブジェクトと混合する。従来に医療、軍事、産業、教育、および娯楽などのような様々な応用分野において、ユーザに没入感を与えるインタラクションやディスプレイを提供するためのＡＲ技術が提案されたことがある。ＡＲ技術は視覚、聴覚、触覚、味覚、きゅう覚などの人間の全ての感覚機関に適用される可能性があるにもかかわらず、大部分のＡＲシステムは視覚的な側面に集中しているのが現実である。

それに対し、ＡＲ領域においてユーザにより深い没入感を提供することができ、感覚と共に相互作用的な操作ができるようにするものがハプティック技術である。ハプティック技術はユーザに力覚（Ｋｉｎｅｓｔｈｅｔｉｃ）と触覚（Ｔａｃｔｉｌｅ）により、仮想または実際環境の様々な情報を提供するようにするのと関連したものである。「Ｈａｐｔｉｃｓ」という単語はギリシャ語で触覚を意味し、力覚と触覚を両方とも含む概念である。他の感覚とは異なり、ハプティックの特徴は感覚と共に操作もできるという両方向性である点である。これにより、最近では、視覚ベースの拡張現実（Ｖｉｓｉｏｎ−ｂａｓｅｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）システムに対するユーザの没入感を高めるために、音響効果だけでなく、ハプティック装置１５０の結び付けが試みられている。

図１はＡＲマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である。
図１による視覚ベースの拡張現実システム１００は、ＡＲマーカー１１０、映像獲得装置１２０、主処理装置１３０、視覚ディスプレイ装置１４０、およびハプティック装置１５０を含む。

ＡＲマーカー１１０は特定パターンで表すことができ、１つのＡＲマーカー１１０は１つの仮想オブジェクトと対応するように設定される。仮想現実に用いられるマーカー１１０は特定パターンを有したＡＲマーカー１１０の他にも２次元または３次元イメージであり得る。
映像獲得装置１２０はＡＲマーカー１１０を始めとする実際環境の映像を獲得する機能を行うものであり、代表的な例としてはカメラが挙げられる。

主処理装置１３０は映像獲得装置１２０から入力された映像を処理し、入力された映像のうちからＡＲマーカー１１０を認識して、ＡＲマーカー１１０に対応する仮想オブジェクトを生成する。
視覚ディスプレイ装置１４０は主処理装置によって処理された映像を視覚的に出力し、実際環境に対する映像と共にＡＲマーカー１１０に対応する仮想オブジェクトの映像を２次元または３次元で出力する。
ハプティック装置１５０は仮想環境の仮想オブジェクトとのハプティックインタラクションを行い、仮想オブジェクトとの衝突による反力をユーザに提供し、ユーザが仮想オブジェクトを操作できるようにする。

このような視覚ベースの拡張現実システムの作動を説明すれば、映像獲得装置１２０にＡＲマーカー１１０を始めとする実際環境の映像が入力されると、主処理装置は入力された映像を視覚ディスプレイ装置１４０に出力するが、この時、ＡＲマーカー１１０に対応する仮想オブジェクトを生成し、実際映像と仮想オブジェクトを視覚ディスプレイ装置１４０に共に出力する。一方、主処理装置１３０は、ハプティック装置１５０のエンドポイント（またはハプティックインタラクションポイント）が前記仮想オブジェクトと衝突するか否かを検出し、エンドポイントが仮想オブジェクトと衝突する場合、反力を計算してハプティック装置１５０にその信号を伝達することにより、ユーザが反力を感じるようにする。

前記視覚ベースの拡張現実技法は映像獲得装置から獲得したライブ映像に仮想オブジェクトを増強する。しかし、基準となるマーカーのトラッキングノイズによって仮想オブジェクトに視覚的な揺れが生じる問題点がある。また、ユーザが仮想オブジェクトとハプティックインタラクションをする時、このようなノイズは力の揺れや不安定なハプティックインタラクションを生じさせる。その上、映像獲得装置の座標がハプティック環境の座標とは異なるため、リアリティーのあるハプティックインタラクションを提供するためにはそれぞれの座標システムを統一する必要がある。さらに、基準となるマーカー上に登録された仮想オブジェクトが若干速く移動する場合、予測される移動距離はフレーム間に非連続的であり得る。このような不一致は、視覚的な観点からは十分耐えられる程度であるが、ハプティックインタラクションの観点からは非常に重要な問題となり得る。これは、映像レンダリングの側面では３０Ｈｚ程度のフレーム更新で十分安定した情報伝達をすることができるが、ハプティックレンダリングは１ＫＨｚ程度の更新が伴わないと安定したハプティックインタラクションが不可能であるためである。

これにより、マーカートラッキングにおけるノイズの最小化、映像とハプティックの座標系（Ｃｏｏｒｄｉｎａｔｅｓ）の一致、および滑らかなハプティックインタラクションを達成するための方案が求められている。

本発明は、前記問題点を解消するために、拡張現実における安定で滑らかなハプティックインタラクションのために、映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生する力の不連続性を最小化することを特徴とする、拡張現実におけるハプティックインタラクション方法およびそのシステムを提供することをその目的とする。

本発明は、前記課題を解決するために、ハプティックインタラクションを含む拡張現実システムであって、マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、検出された前記マーカーの位置を抽出するマーカー位置抽出部と、前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部と、を含む視覚レンダリング部；および前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部と、を含むハプティックレンダリング部を含む拡張現実システムを提供する。
好ましくは、前記マーカーの位置情報は前記マーカーの３次元位置情報および方位情報を含む。

一方、前記ノイズ除去部は、ローパスフィルタ、ＦＩＲフィルタ、およびＩＩＲフィルタのうちのいずれか１つまたはそれと同等なフィルタで構成されるか、最小二乗予測器、最小平均二乗予測器、最大尤度予測器、ＭａｘｉｍｕｎＡｐｏｓｔｅｒｉｏｒｉ予測器、ベイズ予測器、カルマンフィルタ、粒子フィルタ、マルコフ連鎖モンテカルロ予測器、最小分散不偏予測器、および線形不偏予測器のうちのいずれか１つまたはそれと同等な予測器で構成され、ノイズの除去および前記マーカーの動きの予測を同時に行うことができる。

好ましくは、前記ノイズ除去部は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタで実現される。
また、前記拡張カルマンフィルタは、前記状態ベクトルの先験的予測値と誤差共分散の先験的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めることを特徴とする。

好ましくは、前記動き推定部は、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。
また、前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか１つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含むことを特徴とする。

一方、本発明の他の側面によれば、ハプティックインタラクションを含む拡張現実提供方法であって、（ａ）マーカーを含む実際環境の映像が入力されるステップと；（ｂ）前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと；（ｃ）前記マーカーの位置情報に含まれたノイズを除去するステップと；（ｄ）前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップと；（ｅ）前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ；および（ｆ）前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップを含む拡張現実提供方法を提供する。

好ましくは、前記（ｃ）ステップは、（ｃ１）前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップ；および（ｃ２）カルマン利益を求め、実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップを含んでなることを特徴とする。

好ましくは、前記（ｄ）ステップは、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。

本発明によれば、ハプティックインタラクションを含む拡張現実システムにおいて、実際映像におけるマーカーの位置および方位情報のノイズを最小化できるため、滑らかで安定したハプティックインタラクションを可能にする。

また、本発明によれば、ハプティックインタラクションのためのハプティックレンダリング時、マーカーの位置情報をハプティックレンダリングのための時間間隔に応じて予測するにおいて、視覚ディスプレイとハプティックディスプレイ間の遅延を最小化し、仮想オブジェクトのためのマーカーの位置情報を効果的に推測することによって、ハプティックインタラクション時に生じ得る反力ジャークを最小化できる効果がある。

ＡＲマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である、本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。ハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図である。従来補間法による反力フィードバックにおけるジャーク（ｊｅｒｋ）を示す図である。従来外挿法による反力フィードバックにおけるジャークを示す図である。本発明の好ましい実施形態による適応的外挿法を説明する図である。本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系変換を説明する図である。

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。先ず、各図面の構成要素に参照符号を付加する際、同一構成要素については、他の図面上に示すときにもできるだけ同一符号を与えるようにしていることを留意しなければならない。また、本発明を説明するにおいて、関連する公知構成または機能に関する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。さらに、以下では本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定または制限されず、当業者によって変形され様々に実施できることは言うまでもない。

図２は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。
本発明の好ましい実施形態による拡張現実システム２００は、マーカー１１０を含む実際環境を撮影する映像獲得装置１２０から入力された映像に基づき、マーカー１１０に対応する仮想オブジェクト２０２を視覚的に増強して視覚ディスプレイ装置１４０に出力するための視覚レンダリング部２１０と、仮想オブジェクト２０２とハプティック装置１５０とのハプティックインタラクションを可能にするハプティックレンダリング部２６０とを含む。

映像獲得装置１２０はマーカー１１０を含む実際環境の映像を取得する機能を行う。マーカー１１０は拡張現実システム２００において仮想オブジェクト２０２を表示するための媒介体としての機能を行い、特定パターンを有したＡＲマーカー１１０を用いることができるが、それに限定されるものではない。ＡＲマーカーを用いることが最も便利な方法であるが、実際環境における特定イメージがマーカーとして機能することもでき、場合によっては３Ｄイメージまたは実空間に存在する物体もマーカーとして機能することができる。

視覚レンダリング部２１０は、映像獲得装置１２０によって獲得された映像からマーカー１１０を検出し、実際環境におけるマーカー１１０の位置と方位を確認した後、マーカー１１０に対応する仮想オブジェクト２０２を実際環境に対する映像に増強させて視覚ディスプレイ装置１４０に出力する。本発明において、視覚レンダリング部２１０は、映像獲得装置１２０によって獲得された映像に含まれたノイズを除去し、マーカー１１０の動きを予測することにより、より安定した視覚ディスプレイおよびハプティックディスプレイを可能にすることを特徴とする。

一方、ハプティックレンダリング部２６０は、視覚レンダリング部２１０によって処理されたマーカー１１０を含む実際環境の映像に基づき、マーカー１１０に対応する仮想オブジェクト２０２とハプティック装置１５０間のハプティックインタラクションを可能にする機能を行う。このために、ハプティックレンダリング部２６０は、マーカー１１０に対応する仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出し、衝突が発生する場合に反力を計算する機能を行う。特に、本発明において、ハプティックレンダリング部２６０は、映像フレームとハプティックフレーム間の更新率（ｒｅｆｒｅｓｈｒａｔｅ）の差を解決するために、映像フレーム上のマーカー１１０の位置を推定するにおいて、適応的外挿法（ａｄａｐｔｉｖｅｅｘｔｒａｐｏｌａｔｉｏｎ）を適用して映像の遅延や反力の不連続性を最小化することを特徴とする。

視覚レンダリング部２１０とハプティックレンダリング部２６０の具体的な構成を説明すれば次の通りである。
視覚レンダリング部２１０は、マーカー検出部２２０、マーカー位置抽出部２３０、ノイズ除去部２４０、および仮想オブジェクト増強部２５０を含む。

マーカー検出部２２０は映像獲得装置１２０から入力された映像からマーカー１１０を検出する機能を行う。マーカー検出部２２０は、物理的マーカー１１０で映像ベースのマーカートラッキングを可能にするＡＲＴｏｏｌｋｉｔＰｌｕｓ（ｈｔｔｐ：／／ｓｔｕｄｉｅｒｓｔｕｂｅ．ｉｃｇ．ｔｕ−ｇｒａｚ．ａｃ．ａｔ）のようなソフトウェアライブラリーを利用して実現することができる。

マーカー位置抽出部２３０は、マーカー検出部２２０によってマーカー１１０が検出された後、検出されたマーカー１１０の位置および方位を演算する機能を行う。仮想オブジェクトは実際環境におけるマーカー１１０の位置にマーカー１１０が占めている空間的位置および方位に応じて増強される。このために、マーカー位置抽出部２３０は、マーカー１１０の位置と共に、マーカー１１０が空間的にいかなる方位を有しているか（例えば、水平方向および垂直方向に対してどれぐらい傾斜しているか）を演算する。

ノイズ除去部２４０は、マーカー位置抽出部２３０によって演算されたマーカー１１０の位置および方位情報に含まれているノイズを除去する機能を行う。映像ベースのマーカートラッキングでは必然的に発生するノイズによって増強される仮想オブジェクトの揺れが発生するが、ノイズ除去部２４０がそれを除去する。一方、マーカー１１０トラッキング時に発生するノイズに対してはＰ．Ｍａｌｂｅｚｉｎらが確認した通りである（Ｐ．Ｍａｌｂｅｚｉｎ，Ｗ．Ｐｉｅｋａｒｓｋｉ，ａｎｄＢ．Ｈ．Ｔｈｏｍａｓ，“ＭｅａｓｕｒｉｎｇＡＲＴｏｏｌＫｉｔＡｃｃｕｒａｃｙｉｎＬｏｎｇＤｉｓｔａｎｃｅＴｒａｃｋｉｎｇＥｘｐｅｒｉｍｅｎｔｓ”，Ｃｏｎｆ．Ｐｒｏｃ．ＩＥＥＥＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＴｏｏｌｋｉｔＷｏｒｋｓｈｏｐ，ｐｐ．２８−２９，２００１）。また、ノイズ除去部２４０は、滑らかなハプティックインタラクションのために、マーカー１１０の位置および方位を予測する機能を行う。このようなノイズ除去部２４０は、後述するように拡張カルマンフィルタ（ＥｘｔｅｎｄｅｄＫａｌｍａｎＦｉｌｔｅｒ：ＥＫＦ）として実現されることができる。

仮想オブジェクト増強部２５０は、ノイズ除去部２４０によってノイズが除去されたマーカー１１０の位置および方位情報に基づき、マーカー１１０に対応する仮想オブジェクトを現実環境に対する映像に増強させて視覚ディスプレイ装置に出力する機能を行う。仮想オブジェクト増強部２５０が映像獲得装置１２０から獲得されたライブ映像（ｌｉｖｅｖｉｄｅｏ）に仮想オブジェクトを出力するにおいて、様々な仮想物体のレンダリング方法のうちの好ましい実施形態として、ＯｐｅｎＧＬの頂点バッファオブジェクト（ＶｅｒｔｅｘＢｕｆｆｅｒＯｂｊｅｃｔ：ＶＢＯ）方法によって仮想オブジェクトをレンダリングすることができる。ＶＢＯはビデオメモリにバッファデータを伝送することによって仮想オブジェクトの視覚レンダリング速度を速くする特徴がある。

ハプティックレンダリング部２６０は、動き推定部２７０、衝突検出部２８０、および反力計算部２９０を含む。
動き推定部２７０は、ノイズ除去部２４０から伝達されたマーカーの位置および方位情報に基づいてハプティックレンダリングを行うために、ハプティックレンダリングの更新率に応じてマーカーの動き、すなわちマーカーの位置および方位を推定する機能を行う。このような動き推定部２７０のマーカーの動き推定方式は補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）または外挿法（ｅｘｔｒａｐｏｌａｔｉｏｎ）によってなされ得るが、本発明では後述する適応的外挿法（ａｐａｔｉｖｅｅｘｔｒａｐｏｌａｔｉｏｎ）によってなされることがより好ましい。

衝突検出部２８０は、マーカー１１０に対応して増強される仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出する機能を行う。このような衝突検出は、ハプティック装置１５０のエンドポイントまたは仮想空間におけるハプティックインタラクションポイント（ＨａｐｔｉｃＩｎｔｅｒａｃｔｉｏｎＰｏｉｎｔ：ＨＩＰ）が仮想オブジェクトと衝突するか否かによって行われ得る。

反力計算部２９０は、ハプティック装置１５０のエンドポイントが仮想オブジェクトと衝突する場合、適切な反力を計算してハプティック装置１５０に伝達する機能を行う。
以上で説明した本発明に係る拡張現実システムの主な特徴はノイズ除去部２４０と動き推定部２７０とから把握することができ、ノイズ除去部２４０と動き推定部２７０の作動については以下にてより詳細に説明する。

前述したように、ノイズ除去部２４０は、視覚ベースのマーカートラッキングから発生するノイズによって生じる仮想オブジェクトの視覚的な揺れおよびハプティックインタラクション時に引き起こされる力の揺れや不安定性を除去するために、ノイズの最小化およびマーカー１１０の動きを予測する機能を行う。

ノイズ除去部２４０の実現方法として、ノイズを除去するためのローパスフィルタ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）、ＦＩＲフィルタ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅＦｉｌｔｅｒ）、およびＩＩＲフィルタ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅＦｉｌｔｅｒ）のようなフィルタを用いることができる。

しかし、このようなフィルタは、ノイズの除去には比較的に効果的であるものの、時間遅延が発生し、マーカーの動きを予測してハプティックインタラクション時に発生する不安定性を除去するには物足りない側面がある。したがって、ノイズ除去部２４０はノイズの除去と共にマーカーの動きを予測できるように構成することがより好ましい。
そのために、ノイズ除去部２４０はノイズの除去と動きの予測を同時に行うことができるように次の予測技法を用いることができる。

１）最小二乗予測器（ＬｅａｓｔＳｑｕａｒｅＥｓｔｉｍａｔｏｒ、ＬＳＥ）：システムモデルと測定されたデータ間のエラーを最小化する方法であり、エラー二乗の和を最小化する予測器である。
２）最小平均二乗予測器（ＭｉｎｉｍｕｍＭｅａｎＳｑｕａｒｅｄＥｓｔｉｍａｔｏｒ、ＭＭＳＥ）：関心のあるパラメータのエラーを最小化するために用いる方法であり、エラー二乗平均を最小化して最適解（ｏｐｔｉｍａｌｓｏｌｕｔｉｏｎ）を探す予測器である。

３）最大尤度予測器（ＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄＥｓｔｉｍａｔｏｒ、ＭＬＥ）：最大尤度（Ｍａｘｉｍｕｍｌｉｋｅｌｉｈｏｏｄ）を推定する予測器であり、パラメータの正確な値を知らないが固定されていると仮定し、尤度（Ｌｉｋｅｌｉｈｏｏｄ）関数を最大化して観測された値が出る可能性を最大化する最適パラメータを探す予測器である。
４）ＭａｘｉｍｕｍＡＰｏｓｔｅｒｉｏｒｉ（ＭＡＰ）：最大尤度予測器と類似するが、事前確率（ｐｒｉｏｒｐｒｏｂａｂｉｌｉｔｙ）を考慮するという点で異なる。この予測器は事後確率（ｐｏｓｔｅｒｉｏｒｐｒｏｂａｂｉｌｉｔｙ）を設定し、それに基づいて最適パラメータを推定する。

５）ベイズ予測器（Ｂａｙｅｓｅｓｔｉｍａｔｏｒ）：ＭＬＥではパラメータを固定値とみなすが、これとは異なり、ベイズ予測方法ではパラメータをランダム変数（ｒａｎｄｏｍｖａｒｉａｂｌｅ）と考え、資料集団の分析によってこのランダム変数の分散を事後確率密度（ｐｏｓｔｅｒｉｏｒｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙ）に変換した後に事後確率（ｐｏｓｔｅｒｉｏｒｐｒｏｂａｂｉｌｉｔｉｅｓ）を求め、それによってパラメータを予測する予測器である。

６）カルマンフィルタ（Ｋａｌｍａｎｆｉｌｔｅｒ）：カルマンフィルタはノイズが混ざっている測定データがある時、ノイズが白色ガウス雑音であるという仮定の下、このようなノイズを発生するシステムのモデルおよび測定モデルを設定して測定された値が事前予測および補正（ｐｒｅｅｓｔｉｍａｔｉｏｎａｎｄｃｏｒｒｅｃｔｉｏｎ）のステップを繰り返し行って最適値を求めるようにする。時間変化、非定常（ｎｏｎｓｔａｔｉｏｎａｒｙ）、多重チャネルシステムを含む全ての線形システムに適用可能な最も効果的なフィルタであって、リアルタイム処理に広く活用され、最近、人工衛星航法資料のフィルタリングに広く用いられている。

７）粒子フィルタ（Ｐａｒｔｉｃｌｅｆｉｌｔｅｒ）：逐次モンテカルロ法（ＳｅｑｕｅｎｔｉａｌＭｏｎｔｅＣａｒｌｏｍｅｔｈｏｄ、ＳＭＣ）として知られた方法であって、シミュレーションを基盤にする。この予測器は、測定されたデータに基づき、ｕｎｋｎｏｗｎパラメータのシーケンスを探して最適パラメータを推定する。この方法はカルマンフィルタと同じように強力な推定方法を提供し、リアルタイム追跡のような応用に広く用いることができる。特に、粒子（サンプル）の数が多ければ正確な推定結果を得ることができる。

８）マルコフ連鎖モンテカルロ予測器（ＭａｒｋｏｖｃｈａｉｎＭｏｎｔｅＣａｒｌｏ、ＭＣＭＣ）：マルコフ連鎖の構成に基づいた確率分布から所望の分布の静的分布を有する標本を抽出するアルゴリズムの１類である。ＭＣＭＣの典型的な使用は目標分布を近似することであり、このアルゴリズムの最も一般的な適用例は多次元積分を数値的に計算するものである。
９）最小分散不偏予測器（ＭｉｎｉｍｕｍＶａｒｉａｎｃｅＵｎｂｉａｓｅｄＥｓｔｉｍａｔｏｒ、ＭＶＵＥ）：不偏性（ｕｎｂｉａｓｅｄｎｅｓｓ）を満足する推定量（ｅｓｔｉｍａｔｏｒ）のうちの最も小さい分散を有する推定量を付与する予測器をいう。

１０）線形不偏予測器（ＢｅｓｔＬｉｎｅａｒＵｎｂｉａｓｅｄＥｓｔｉｍａｔｏｒ、ＢＬＵＥ）：ガウス・マルコフの定理（Ｇａｕｓｓ−ＭａｒｋｏｖＴｈｅｏｒｅｍ）により、単純線形回帰モデル（ＬｉｎｅａｒＲｅｇｒｅｓｓｉｏｎＭｏｄｅｌ）において観測値の線形結合と表現される不偏推定量のうちの不偏推定量を最小化する予測器である。

上記で例示した様々な予測方法中、本実施形態では拡張カルマンフィルタ（ＥｘｔｅｎｄｅｄＫａｌｍａｎＦｉｌｔｅｒ）を用いたノイズの除去および動きの予測について代表的に説明する。

拡張カルマンフィルタは、線形的なモデルだけでなく、非線形的なモデルにも適用できるカルマンフィルタの非線形形態として理解することができる。カルマンフィルタは、連続的な予測と補正により、測定データからノイズをフィルタリングする統計的な予測過程であると言える。拡張カルマンフィルタはこのような線形的カルマンフィルタを非線形的システムに適用する。この時、拡張カルマンフィルタで測定しようとするシステムは、信号からノイズを除去するために拡張カルマンフィルタを使えるように線形システムとして記述されなければならない。拡張カルマンフィルタにおいて、システムモデルと測定モデルの一般的な形態は次の数学式１のように表すことができる。

（数学式１）

前記数学式１において、ｘ_ｋ＋１とｘ_ｋは時間ｋ＋１とｋにおける状態ベクトルを意味し、ｙ_ｋは時間ｋにおける測定ベクトルを意味する。また、Ｆ_ｋとＨ_ｋは各々システムモデルと測定モデルの特徴を決定する時間ｋにおける係数であり、ｗ_ｋとｖ_ｋは各々システムノイズと測定ノイズを示す。視覚ベースのマーカートラッキングシステムは、物理的マーカーを持ったユーザの動きにより増強された仮想オブジェクトの位置と方位が時間に応じて連続的に変化する非線形動的システムであり、２次テイラー級数を用いた線形化過程により拡張カルマンフィルタを適用することができる。したがって、視覚ベースのマーカートラッキングシステムは２次テイラー級数を用いて次の数学式２のように線形化することができる。

（数学式２）

状態空間表現（ｓｔａｔｅｓｐａｃｅｄｅｓｃｒｉｐｔｉｏｎ）を利用すれば、システムモデルは数学式３のように表すことができる。

（数学式３）

３次元位置および方位を考慮すれば、３次元マーカートラッキングのために導き出された数学式３のようなシステムモデルは次の数学式４のように一般化することができる。

（数学式４）

数学式４において、状態ベクトルｘは３個の位置および角度成分、３個の速度および角速度成分、３個の加速度および角加速度成分からなる３×６次元であり、ｗ_ｋは位置、速度、加速度、角度、角速度、および角加速度における不確実性によりシステムに流入されるシステムノイズである。前記ノイズは平均が０（ｚｅｒｏｍｅａｎ）であり、関連性のないランダムな値として理解することができる（ｗ_ｋ〜Ｎ（０，Ｑ_ｋ））。

フィルタリングプロセスのために、マーカー変換行列の位置および方位を測定する。このようなデータを使えば、マーカーの速度、加速度、角速度、角加速度を抽出することができる。したがって、システムの測定モデルを数学式５のように表すことができる。

（数学式５）

数学式５において、ｖ_ｋは位置、速度、加速度、角度、角速度、および角加速度における不確実性による測定ノイズである。この測定ノイズは平均が０（ｚｅｒｏｍｅａｎ）であり、関連性のないランダムな値として理解することができる（ｖ_ｋ〜Ｎ（０，Ｒ_ｋ）。

拡張カルマンフィルタの連続的な更新過程は次の通りである。
◆初期条件
拡張カルマンフィルタは、最初ステップ（ｓｔｅｐ０）において、事後状態の予測ｘ_０と不確実性Ｐ_０に初期化される。

◆予測
ステップ毎に、拡張カルマンフィルタは次の数学式６と７を利用して、以前ステップに対する現在ステップにおけるシステムの状態および不確実性に対する予測値を計算する。

（数学式６）

◆補正
拡張カルマンフィルタは、次の補正方程式を利用して、以前状態の予測値を測定値ｙ_ｋに修正する。補正方程式は次の通りである。
カルマン利得（Ｋ_ｋ）は数学式８のように表すことができ、経験的予測（ｐｏｓｔｅｒｉｏｒｉｅｓｔｉｍａｔｅ）誤差共分散（Ｐ_ｋ／ｋ）は数学式９のようであり、状態ベクトルの経験的予測値

は数学式１０のようである。

（数学式８）

（数学式９）

（数学式１０）

拡張カルマンフィルタに対する以上の説明から見るように、Ｒ_ｋのようなノイズの影響が拡張カルマンフィルタの全般的な性能を決定する。したがって、拡張カルマンフィルタの実際実現において、測定ノイズ共分散（Ｒ_ｋ）は通常フィルタの作動前に測定される。
測定ノイズ共分散を測定するために、先ずマーカー変換行列（Ｔ_{ＭＡＲＫＥＲ}）を利用してマーカー１１０の位置および方位を次の数学式１１によって計算する。

（数学式１１）

数学式１１において、Ｒ_３×３とＴ_３×１は各々測定点（ｆｉｎｇｅｒｔｉｐ）の回転行列（ｒｏｔａｔｉｏｎｍａｔｒｉｘ）と並進行列（ｔｒａｎｓｌａｔｉｏｎｍａｔｒｉｘ）を示す。Ｔ_３×１ベクトルはオブジェクトの位置エラーを測定するのに用いられる。方位エラーを測定する場合、回転変化は世界座標系（ｗｏｒｌｄｃｏｏｒｄｉｎａｔｅ）に対して三つの連続的な回転に分けられ、これは次の数学式１２のように表すことができる。

（数学式１２）

上記の数学式１２において、ＣとＳは各々コサイン（ｃｏｓｉｎｅ）とサイン（ｓｉｎｅ）を示し、ψ、θ、φは世界座標系のｘ、ｙ、ｚ軸に対する回転角を示す。それぞれの軸に対する回転角は数学式１１と１２における回転行列と比較する時に数学式１３のように決定され得る。

（数学式１３）

上記で説明した方法によってノイズ共分散（Ｒ_ｋ）をオフラインサンプルに対して測定した結果は次の表１、２に例示した。表１は位置、速度、および加速度に対しマーカーとカメラとの間の実際距離によるノイズ誤差（ｍｍ単位で表示）を示し、表２は角、角速度、角加速度に対しマーカーとカメラとの間の他の角度によるノイズ誤差を示す。

表１および２の結果から見るように、位置、速度、および加速度に対するノイズは距離に応じて増加し、角度、角速度、および角加速度に対するノイズはカメラがマーカーを正面から見る０°あるいは平行に見る９０°に近いほど増加することが分かる。このようなノイズの分析結果に基づき、ノイズ共分散（Ｒ_ｋ）は表１、２における最大値を選択して適用したものが１つの例として挙げられ、実際環境に応じて適切なノイズ値を選択することができる。

次は、ハプティックレンダリング部２６０における動き推定部２７０の具体的な機能について説明する。
映像レンダリングは通常３０Ｈｚ内外で更新されるのに反し、ハプティックレンダリングは１ＫＨｚ程度で更新されなければユーザに安定したハプティックインタラクションを提供することができない。しかし、映像に基づいて行われるハプティックレンダリングにおいて、前記のような更新比率の差によって映像フレームが変わる瞬間に反力が急に変わる問題が発生し得る。大韓民国特許第７６１０２２号（深さ映像ベースのハプティックレンダリング方法と装置、およびそれを用いた触覚放送システム）の場合には、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）法を利用しての上記のような問題点を解決しようとした。しかし、実際には、映像フレームとハプティックフレームの更新率（ｒｅｆｒｅｓｈｒａｔｅ）が一定ではなく若干の誤差を有しており、依然として不連続的な力が生じる。このような更新率の変動はハプティック装置１５０で増強された仮想オブジェクトを触る時にさらに増加し得る。

ユーザがハプティック装置１５０を利用して仮想オブジェクトとインタラクションするにおいて、フィードバックされる反力計算における問題点をより具体的に説明すれば次の通りである。
図３はハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図であり、図４は従来の補間法による反力フィードバックにおけるジャーク（ｊｅｒｋ）を示す図であり、図５は従来の外挿法による反力フィードバックにおけるジャークを示す図である。

図３〜図５において、図面符号３００は仮想環境における仮想オブジェクトを示すものであり、仮想オブジェクトが仮想環境においていかなる状態で位置するかを表すためのものである。
図３を参照すれば、仮想オブジェクト３００が以前位置から未来位置に移動する時、反力計算のための中間地点がなく、ユーザがハプティック装置１５０によって仮想オブジェクト３００とインタラクションするにおいて、突然の反力変化を感じる（点線円弧内の反力参照）。

図４を参照すれば、補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって衝突検出および反力計算をする時の問題点が分かる。補間法は、映像フレームの現在位置と以前位置の更新時間をハプティックフレーム更新比率で割り算して各ハプティックフレームにおける仮想オブジェクト３００の位置を補間して決定し、ハプティック装置１５０の作用点との衝突有無を検出して反力を計算する。しかし、補間法を適用するためには、少なくとも１つの映像フレームをバッファに予め格納しなければならないためにハプティックフィードバックの計算時に時間遅延が発生する。また、映像更新率とハプティック更新率が時間に応じて変動するにつれ、仮想オブジェクト３００の補間された位置が実際の仮想オブジェクト３００の位置と比較して差が生じ得る。

図４（ａ）は、仮想オブジェクト３００の補間された位置が現在の実際の仮想オブジェクトの位置と相対的に多くの距離差があって、ユーザが前方向ジャーク（ｆｏｒｗａｒｄｊｅｒｋ）を感じる場合を示す。その反面、図４（ｂ）は、仮想オブジェクト３００の補間された位置が現在の実際の仮想オブジェクト３００の位置を過ぎてしまい、ユーザが逆方向ジャーク（ｂａｃｋｗａｒｄｊｅｒｋ）を感じる場合を示す。

図４で言及した問題の他にも、本発明が適用される拡張現実システムは映像、音声、ハプティックなどの様々な情報を提供するためのマルチモーダル（ｍｕｌｔｉｍｏｄａｌ）アプリケーションに拡張され得、それにより、複数のアプリケーション間の干渉と演算量の増加で上記のような問題点はより深刻であり得る。

前記のような補間法とは異なり、外挿法（ｅｘｔｒａｐｏｌａｔｉｏｎ）の場合には、過去位置の仮想オブジェクト３００と現在位置の仮想オブジェクト３００との間の時間間隔を利用して、現在位置以後の仮想オブジェクト３００の位置を推定してハプティックレンダリングを行う。外挿法の場合は、補間法とは異なり、映像遅延の問題は生じない。しかし、補間法の場合のように、映像更新率とハプティック更新率の変動により、依然として前方向ジャークまたは逆方向ジャークが発生し得る。

図５を参照すれば、図４の場合と類似するように、外挿法の場合にも前方向ジャーク（ａの場合）または逆方向ジャーク（ｂの場合）が発生し得ることが分かる。
このような問題点を解決するための方法として、本発明では反力の不連続性を最小化するための適応的外挿法を提案する。

図６は本発明の好ましい実施形態による適応的外挿法を説明する面である。図６において、（ａ）は前方向ジャークを除去することを説明する図であり、（ｂ）は逆方向ジャークを除去することを説明する図面である。
図６において、ｔ_ｖおよびｔ_ｈは映像レンダリングおよびハプティックレンダリングの時間間隔を示し、Ｔ_ｔ−Δｔ、Ｔ_ｔ、Ｔ_ｔ＋△ｔとＲ_ｔ−Δｔ、Ｒ_ｔ、Ｒ_ｔ＋△ｔは各々仮想オブジェクト３００の以前、現在、未来の位置と回転角を示す。ＬＥＰ_ｔ−Δｔは以前時間ステップにおいて最終的に外挿法によって予測された位置を示し、δＴとδＲはＬＥＰ_ｔ−Δｔと現在のオブジェクト位置３００間の距離および角度差を示す。これらの関係は次の数学式１４のように表すことができる。

（数学式１４）
数学式１４において、

と

は以前時間ステップにおいて計算された最後に予測された地点における位置および回転角を示す。

適応的外挿法の適用において、ＬＥＰ_ｔ−Δｔは映像フレーム毎に連続的にモニターされる。ＬＥＰ_ｔ−Δｔと現在の仮想オブジェクト位置間に差がある場合には、その後の外挿法の適用のための増加分を計算するためにδＴとδＲを考慮する。
これにより、ハプティックレンダリングにおける仮想オブジェクト３００の位置および角度に対する増加分は次の数学式１５によって決定され得る。

（数学式１５）

動き推定部２７０は、前記のような方式によって衝突検出と反力計算のために仮想オブジェクトの位置を推定することにより、推定された仮想オブジェクトの位置と実際の映像フレームにおける仮想オブジェクトの位置を一致させ、映像フレームの更新によって生じ得るジャークを最小化することができる。
以上で説明した拡張現実システムを用いたハプティックインタラクションを含む拡張現実提供方法を説明すれば次の通りである。

図７は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。
拡張現実の提供のためにマーカー１１０を含む実際環境の映像が映像獲得装置１２０を介して入力される（Ｓ７００）。
映像獲得装置のマーカー検出部２２０は実際環境に対する映像からマーカー１１０を検出する（Ｓ７０２）。

次に、マーカー位置抽出部２３０は、マーカー１１０が実際映像のいかなる位置にいかなる方位に位置するかを確認して、マーカー１１０の位置および方位を抽出する（Ｓ７０４）。
マーカー１１０の位置および方位情報には映像獲得装置１２０そのもののノイズを始めとする様々な環境要因によるノイズが含まれ得るため、ノイズ除去部２４０はマーカー１１０の位置および方位情報からノイズを除去し、好ましくは、マーカー１１０の位置および方位情報を連続的に予測する（Ｓ７０６）。ノイズが除去されたマーカーの位置および方位情報は仮想オブジェクト２０２の増強および仮想オブジェクト２０２とハプティック装置１５０のインタラクションのために用いられる。

仮想オブジェクト増強部２５０は実際環境におけるマーカー１１０の位置に仮想オブジェクト２０２を増強して視覚ディスプレイ装置１４０に伝達し（Ｓ７０８）、視覚ディスプレイ装置１４０はそれを視覚的に出力する（Ｓ７１０）。
一方、ノイズ除去部２４０ではノイズが除去されたマーカー１１０の位置および方位情報をハプティックレンダリング部２６０に伝達し、ハプティックレンダリング部２６０の動き推定部２７０はハプティックレンダリングのためにハプティックレンダリング時間間隔に応じたマーカー１１０の動きを推定する（Ｓ７１２）。本発明において、好ましくは、動き推定部２７０は適応的外挿法によりマーカー１１０の動きを推定することによって、新しい映像フレームの更新時に生じ得る反力ジャークを除去できるようにする。

衝突検出部２８０は動き推定部２７０によって推定されたマーカー１１０の位置に対応して増強される仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間の衝突有無を検出する（Ｓ７１４）。
反力計算部２９０は仮想オブジェクト２０２とハプティック装置１５０のエンドポイント間に衝突が発生する場合、反力を計算し、それをハプティック装置１５０に伝達し（Ｓ７１６）、ハプティック装置１５０はこのような反力をユーザに提供する（Ｓ７１８）。

一方、拡張現実システムにおいて、仮想オブジェクトの増強と獲得された映像イメージは、ＯｐｅｎＧＬをベースにカメラプロジェクション行列とマーカー変換行列を利用して視覚的にレンダリングされる。しかし、視覚的にレンダリングされる実際環境および仮想オブジェクトに対する映像は、実際環境の座標系とは異なる状態、すなわち反対方向の座標系を有することが一般的である。例えば、映像獲得装置としてピンホールカメラが用いられる場合に映像はカメラ内部の映像平面に置かれるようになり、これに対する座標系は実際環境の座標系を１８０度回転させた状態と同様である。その反面、ハプティックレンダリングのための座標系は実際環境の座標系と実質的に同一である。このような座標系の不一致は、ハプティックレンダリング時にユーザが仮想オブジェクトと正確なハプティックインタラクションをすることを阻害する要素となる。

図８は拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系の変換を説明する図である。
このような視覚レンダリングとハプティックレンダリング時の座標系の不一致を解決するために、映像に対する座標系をハプティックレンダリングに対する座標系と一致するように回転させる。このような回転はマーカー変換行列を活用して行うことができる。マーカー変換行列は、マーカー１１０に対応する仮想オブジェクト２０２が実際環境に対する映像のマーカー１１０の位置に増強されるように変換させる。それにより、視覚レンダリング時に用いられる座標系を次の数学式１６のように座標系同期化行列（Ｔ’_{ＭＡＲＫＥＲ}）を利用して変換させれば、視覚レンダリングに対する座標系とハプティックレンダリングに対する座標系を同期化することができる。数学式１６におけるＴ_{ＭＡＲＫＥＲ}はマーカー変換行列を示す。

（数学式１６）

これにより、図２に示した本発明の好ましい実施形態による拡張現実システムは、座標系同期化部をさらに備え、前記のような座標系の変換を行うことによって視覚座標系とハプティック座標系が同期化するようにできる。
一方、上記説明では視覚座標系を変換させてハプティック座標系と同期化させる構成を説明したが、本発明の実施においては逆にハプティック座標系を変換させて視覚座標系と同期化させることもできることは言うまでもない。

以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々に修正、変更、および置き換えすることができるはずである。したがって、本発明に開示された実施形態および添付図面は本発明の技術思想を限定するものではなく説明するためのものであって、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。

１００：従来拡張現実システム
１１０：マーカー
１２０：映像獲得装置
１３０：主処理装置
１４０：視覚ディスプレイ装置
１５０：ハプティック装置
２００：拡張現実システム
２０２，３００：仮想オブジェクト
２１０：視覚レンダリング部
２２０：マーカー検出部
２３０：マーカー位置抽出部
２４０：ノイズ除去部
２５０：仮想オブジェクト増強部
２６０：ハプティックレンダリング部
２７０：動き推定部
２８０：衝突検出部
２９０：反力計算部

Claims

ハプティックインタラクションを含む拡張現実システムであって、
視覚レンダリング部とハプティックレンダリング部とを備え、
前記視覚レンダリング部は、
マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、
検出された前記マーカーの位置を抽出するマーカー位置抽出部と、
前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、
前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部とを含み、
前記ハプティックレンダリング部は、
前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、
前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、
前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部とを含んでなる拡張現実システム。
前記ノイズ除去部は、
初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングして予測する拡張カルマンフィルタである請求項１に記載の拡張現実システム。
前記拡張カルマンフィルタにおいて、
前記マーカートラッキングに対するモデルは、位置、速度、および加速度を含む状態ベクトルとマーカートラッキング過程で流入されるシステムノイズで表され、実際測定値に基づいて連続的に予測される請求項２に記載の拡張現実システム。
前記拡張カルマンフィルタは、
前記状態ベクトルの先験的予測値と誤差共分散の先験的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求める請求項２または３に記載の拡張現実システム。
前記動き推定部は、
以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定する請求項１乃至３のいずれか一項に記載の拡張現実システム。
前記以前時間映像に基づいて最終的に推定された前記マーカーの位置は、映像フレーム毎に連続的にモニターされる請求項５に記載の拡張現実システム。
前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか一つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含む請求項５に記載の拡張現実システム。
ハプティックインタラクションを含む拡張現実提供方法であって、
（ａ）マーカーを含む実際環境の映像が入力されるステップと；
（ｂ）前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと；
（ｃ）前記マーカーの位置情報に含まれたノイズを除去するステップと；
（ｄ）前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップと；
（ｅ）前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ；および
（ｆ）前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップ
を含む拡張現実提供方法。
前記ステップ（ｃ）は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタによって行われる請求項８に記載の拡張現実提供方法。
前記ステップ（ｃ）は、
（ｃ１）前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップと、
（ｃ２）カルマン利益を求め、実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップとを含む請求項８に記載の拡張現実提供方法。
前記ステップ（ｄ）は、
以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定する請求項８乃至１０のいずれか一項に記載の拡張現実提供方法。