JP2016218974A - 拡張現実画像表示システムおよび拡張現実画像表示方法 - Google Patents

Abstract

【課題】拡張現実画像表示システムおよび拡張現実画像表示方法、より詳しくは、仮想キャラクターイメージをより現実感高く実際空間イメージに実現することができる拡張現実画像表示システムおよび拡張現実画像表示方法を提供する。【解決手段】本発明に係る拡張現実画像表示システムは、拡張現実を実現するための空間を撮影して実際空間イメージを生成する画像撮影カメラと、拡張現実マーカーを認識して実現される仮想キャラクターイメージを予め保存し、実際空間イメージから拡張現実マーカーが認識されると、仮想キャラクターイメージと実際空間イメージとを互いに合成して拡張現実画像イメージを生成する拡張現実画像制作装置と、拡張現実画像イメージを画面上に表示する拡張現実画像ディスプレイと、拡張現実画像制作装置に仮想キャラクターの動作制御信号を伝送し、拡張現実画像ディスプレイに表示される仮想キャラクターの動作を実時間で調節する仮想キャラクターコントローラとを含んでなる。【選択図】図１

Description

本発明は、拡張現実画像表示システムおよび拡張現実画像表示方法に係り、より詳しくは、仮想キャラクターイメージをより現実感高く実際空間イメージに実現することができる拡張現実画像表示システムおよび拡張現実画像表示方法に関する。

拡張現実（Augmented Reality、ＡＲ）は、現実のイメージや背景に３次元仮想イメージを重ねて一つの画像として見せる技術である。また、拡張現実は、複合現実感（Mixed Reality、ＭＲ）とも呼ばれるが、飛行機メーカーであるボーイング社から、１９９０年頃、飛行機組立工程に仮想のイメージを加えながら拡張現実が初めて世の中に紹介された。

拡張現実と仮想現実は、互いに似ているようであるが、その主体が虚像か実像かによって明確に区分される。コンピュータゲームの場合、例えば、仮想現実格闘ゲームは私の代わりにキャラクターが仮想の空間で仮想の敵と対決するが、拡張現実格闘ゲームは現実の私が現実の空間で仮想の敵と対決する形になる。そのため、拡張現実が仮想現実に比べて現実感に優れるという特徴がある。

この他に、仮想現実は一般に映画や画像分野などの特殊環境でのみ使用されるが、これに対し、拡張現実は現在一般人にも広く活用されるほど大衆化された状態である。たとえば、インターネットを通じた地図検索や位置検索なども、広い意味では拡張現実に含まれる。最近、スマートフォンやタブレットＰＣなどの携帯機器を対象とした拡張現実技術が注目を浴び始めている。

一方、従来の拡張現実技術は、３次元的に物体の奥行き感を認識することができず、実際の事物と仮想キャラクターとの間でイメージがマッチしないなどのリアル感低下の問題点だけでなく、交感なしに単に見せる程度に止まっており、ユーザーの興味が低下する問題点がある。

このような問題点を改善するために、画像認識技術として、まるで相互交感するかのように実現する技術があるが、これは誤作動や遅い反応などの技術的な問題点がある。

また、韓国の場合、国内の企業が独自開発するよりは、国内のほとんどの拡張現実業者は、海外企業で開発された拡張現実エンジンを使用してきている。現在、韓国内で開発されるすべての拡張現実システムの結果物は、クアルコム社が開発した「Ｖｕｆｏｒｉａ」という拡張現実エンジンで開発されたものである。拡張現実エンジンを使用することにより、韓国内の拡張現実開発業者は、独自の拡張現実核心技術を開発するよりも、海外開発会社の拡張現実エンジンを活用した応用製品にのみ集中している状況である。海外で提供した拡張現実の製品を活用すると、応用製品の開発は容易であるが、エンジンで提供する技術以上の製品を開発することはできないという問題点がある。

特に、現在、韓国内で提供する拡張現実エンジンは１００％、モバイル製品のみ可能となっている。よって、現在、韓国内で使われている拡張現実の製品は、ほとんどスマートフォンに限られており、モバイルプラットフォームの特性上、使用しているところのほとんどが特定の製品の広告および広報性イベントであるのが現実である。

大韓民国特許第１０−１２０６２６４号公報

本発明は、上述した問題点を改善するためになされたもので、その目的は、実際空間イメージに仮想キャラクターイメージを合成するとき、仮想キャラクターイメージを状況に合わせて動作させることができる拡張現実画像表示システムおよび拡張現実画像表示方法を提供することにある。

また、本発明の他の目的は、実際空間イメージに仮想キャラクターイメージを合成するとき、マーカーを用いて仮想キャラクターイメージをリアル感よく表示することができる拡張現実画像表示システムおよび拡張現実画像表示方法を提供することにある。

また、本発明の別の方法は、マーカーが拡張現実画面上に表示されないようにしてリアル感をさらに向上させることができる拡張現実画像表示システムおよび拡張現実画像表示方法を提供することにある。

本発明が解決しようとする課題は、上述した課題に限定されず、上述していない別の課題は、以降の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。

本発明に係る拡張現実画像表示システムは、拡張現実を実現するための空間を撮影して実際空間イメージを生成する画像撮影カメラと；拡張現実マーカーを認識して実現される仮想キャラクターイメージを予め保存し、実際空間イメージから拡張現実マーカーが認識されると、仮想キャラクターイメージと実際空間イメージとを互いに合成して拡張現実画像イメージを生成する拡張現実画像制作装置と；拡張現実画像イメージを画面上に表示する拡張現実画像ディスプレイと；拡張現実画像制作装置に仮想キャラクターの動作制御信号を伝送し、拡張現実画像ディスプレイに表示される仮想キャラクターの動作を実時間で調節する仮想キャラクターコントローラとを含んでなる。

また、本発明の拡張現実画像制作装置は、実際空間イメージから拡張現実マーカーが認識されるマーカー認識面を、仮想キャラクターイメージを実現するための基準底面として設定することを特徴とする。

また、本発明の仮想キャラクターコントローラは、仮想キャラクターイメージが向かう方向と移動方向を制御する方向ボタン部と、仮想キャラクターイメージの予め設定された行動を実行させる実行ボタン部とを含むことを特徴とする。

また、本発明の拡張現実画像表示システムは、仮想キャラクターを遠隔で調節するために、拡張現実画像制作装置から拡張現実画像イメージの伝送を受け、拡張現実画像制作装置へ仮想キャラクターの遠隔制御信号を伝送する拡張現実画像サーバーと、拡張現実画像サーバーに接続され、拡張現実画像イメージを遠隔で表示する遠隔ディスプレイと、遠隔制御信号を生成して拡張現実画像サーバーへ伝送する遠隔コントローラとをさらに含むことを特徴とする。

また、本発明の拡張現実画像制作装置は、拡張現実マーカーのイメージを予め登録した後、拡張現実マーカーのイメージを除去した状態で仮想キャラクターイメージを実現することを特徴とする。

また、本発明の拡張現実画像制作装置は、拡張現実マーカーに該当する仮想キャラクターイメージを予め保存するキャラクターイメージ保存部と、拡張現実を実現するための空間に拡張現実マーカーを位置させた状態で撮影された第１実際空間イメージを予め保存するマーカーイメージ登録部と、第１実際空間イメージから拡張現実マーカーを認識してキャラクターイメージ保存部から仮想キャラクターイメージを読み込むマーカー認識部と、拡張現実を実現するための空間から拡張現実マーカーを除去した状態で撮影された第２実際空間イメージを受信する実際空間イメージ受信部と、仮想キャラクターイメージと第２実際空間イメージとを合成して拡張現実画像イメージを生成する拡張現実画像生成部とを含むことを特徴とする。

また、本発明の拡張現実画像制作装置は、第１実際空間イメージを撮影するとき、画像撮影カメラの位置を保存するカメラ位置保存部と、第２実際空間イメージを撮影するとき、画像撮影カメラの位置をカメラ位置保存部に保存された位置に固定させるカメラ位置固定部とをさらに含むことを特徴とする。

また、本発明の拡張現実画像制作装置は、第２実際空間イメージを予め保存された第１実際空間イメージと比較して撮影空間の位置およびサイズが一致すると、マーカー認識部へ第１実際空間イメージを伝送するマーカーレス判断部をさらに含むことを特徴とする。

また、本発明の拡張現実画像制作装置はＷｉｎｄｏｗｓ（登録商標）プラットフォーム基盤のコンピュータから構成され、画像撮影カメラは１９２０ｐ以上の高解像度カメラから構成されることを特徴とする。

本発明に係る拡張現実画像表示方法は、拡張現実マーカーに該当する仮想キャラクターイメージを予め保存する第１段階と、拡張現実を実現するための空間に拡張現実マーカーを位置させた状態で撮影した第１実際空間イメージを予め保存する第２段階と、拡張現実を実現するための空間から拡張現実マーカーを除去した状態で撮影して第２実際空間イメージを生成する第３段階と、第１実際空間イメージから拡張現実マーカーを認識し、予め保存された仮想キャラクターイメージを読み込む第４段階と、仮想キャラクターイメージと第２実際空間イメージとを合成して拡張現実画像イメージを生成する第５段階と、拡張現実画像イメージを画面上に表示する第６段階と、仮想キャラクターイメージが一方向に回転するように制御し、或いは仮想キャラクターイメージが一方向に移動するように制御し、或いは仮想キャラクターイメージが予め設定された行動を実行するように制御する第７段階とを含んでなる。

上記課題の解決手段によって、本発明の拡張現実画像表示システムおよび拡張現実画像表示方法は、実際空間イメージに仮想キャラクターイメージを合成するとき、仮想キャラクターイメージを状況に合わせて動作させることができるため、ユーザーが仮想キャラクターと相互交感する効果を与えることにより、ユーザーの興味を上昇させることができるという効果がある。

また、本発明の拡張現実画像表示システムおよび拡張現実画像表示方法は、実際空間イメージに仮想キャラクターイメージを合成するとき、マーカーを用いて仮想キャラクターイメージをリアル感高く表示することができるという効果がある。

また、本発明の拡張現実画像表示システムおよび拡張現実画像表示方法は、マーカーが拡張現実画面上に表示されないようにしてリアル感を一層向上させることができるという効果がある。

本発明の第１実施例に係る拡張現実画像表示システムのブロック図である。 本発明の第１実施例に係る拡張現実画像表示システムで表示される拡張現実画像を示す図である。 本発明の第１実施例に係る仮想キャラクターコントローラを示すブロック図である。 本発明の第１実施例に係る拡張現実画像表示システムの変形された形態を示す概略図である。 本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置を示すブロック図である。 本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置の変形した形態を示すブロック図である。 本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置の変形した他の形態を示すブロック図である。 本発明の他の実施形態に係る拡張現実画像表示システムを説明するための図である。 本発明の一実施形態に係る拡張現実画像表示方法を説明するためのフローチャートである。

上述した本発明が解決しようとする課題、課題を解決するための手段、および発明の効果を含む具体的な事項は、以下に記載する実施例および図面に含まれている。本発明の利点、特徴およびそれらの達成方法は、添付図面と共に詳細に後述されている実施例を参照すると明確になるであろう。

以下、添付図面を参照して本発明をより詳細に説明する。

＜第１実施例＞
図１〜図４は本発明の第１実施例に係る拡張現実画像表示システムを説明するための図である。具体的に、図１は本発明の第１実施例に係る拡張現実画像表示システムのブロック図、図２は本発明の第１実施例に係る拡張現実画像表示システムで表示される拡張現実画像を示す図、図３は本発明の第１実施例に係る仮想キャラクターコントローラを示すブロック図、図４は本発明の第１実施例に係る拡張現実画像表示システムの変形した形態を示す概略図である。

図１〜図４に示すように、本発明の第１実施例に係る拡張現実画像表示システムは、画像撮影カメラ１１０、拡張現実画像制作装置１２０、拡張現実画像ディスプレイ１３０、および仮想キャラクターコントローラ１４０を含んでいる。

画像撮影カメラ１１０は、拡張現実を実現するための空間を撮影して実際空間イメージ２０を生成する。

拡張現実画像制作装置１２０は、拡張現実マーカーを認識して実現される仮想キャラクターイメージ３０を予め保存し、実際空間イメージから拡張現実マーカー１０が認識されると、仮想キャラクターイメージと実際空間イメージとを互いに合成して拡張現実画像イメージを生成する。また、拡張現実画像制作装置１２０は、実際空間イメージから拡張現実マーカーが認識されるマーカー認識面を、仮想キャラクターイメージを実現するための基準底面として設定する。ここで、拡張現実画像制作装置１２０は、スマートフォン、タブレットＰＣ、ノートパソコン、ＰＣなどに実現することができる。また、仮想キャラクターイメージは人間、動物、事物などの多様なキャラクターを用いることができる。

拡張現実画像ディスプレイ１３０は拡張現実画像イメージを画面上に表示する。ここで、仮想キャラクターを人間と類似の大きさで表示するために、大型テレビやプロジェクターなどの大画面で見せることがよく、スマートフォンの画面、タブレットＰＣの画面、ノートパソコンモニター、ＰＣモニターなどを採用してもよい。

仮想キャラクターコントローラ１４０は、拡張現実画像制作装置１２０に仮想キャラクターの動作制御信号を伝送し、拡張現実画像ディスプレイ１３０に表示される仮想キャラクターの動作を実時間で調節する。具体的に、仮想キャラクターコントローラ１４０は、仮想キャラクターイメージが向かう方向と移動方向を制御する方向ボタン部１４１と、仮想キャラクターイメージの予め設定された行動を実行させる実行ボタン部１４２とを含むことが可能である。

すなわち、拡張現実画像として見せた仮想キャラクターと画像の中で人間が相互交感するように無線ゲーム用ジョイパッドまたはキーボードで仮想キャラクターを調整することにより、画像の中で人はまるで自分の行動が交感をするかのようにさらに現実感を感じることになる。

また、仮想キャラクターコントローラ１４０としては、無線ゲームコントローラ、無線キーボードまたは有線キーボードを採用することができる。

一方、図４を参照すると、本発明の第１実施例に係る拡張現実画像表示システムは、仮想キャラクターを遠隔で調節するために、拡張現実画像制作装置１２０から拡張現実画像イメージの伝送を受け、拡張現実画像制作装置１２０へ仮想キャラクターの遠隔制御信号を伝送する拡張現実画像サーバー１５０と、拡張現実画像サーバー１５０に接続され、拡張現実画像イメージを遠隔で表示する遠隔ディスプレイ１６０と、遠隔制御信号を生成して拡張現実画像サーバー１５０へ伝送する遠隔コントローラ１７０とをさらに含むことが可能である。すなわち、仮想キャラクターのリアル感を高めるためにコントローラを用いて調整するが、現場でコントロールする場合に現実感を阻害するおそれがあるので、状況をネットワークを活用してコントロールタワーで調整するようにする。

このように、本発明の第１実施例に係る拡張現実画像表示システムは、実際空間イメージに仮想キャラクターイメージを合成するとき、仮想キャラクターイメージを状況に合わせて動作させることができてユーザーが仮想キャラクターと相互交感する効果を与えることにより、ユーザーの興味を上昇させることができるという利点がある。すなわち、仮想キャラクターが出現した後にそのキャラクターを調整することにより、一緒に出現する人は仮想キャラクターがまるで生きているかのような感じを持つことができる。

また、本発明の第１実施例に係る拡張現実画像表示システムと拡張現実画像表示方法は、実際空間イメージに仮想キャラクターイメージを合成するとき、マーカーを用いて仮想キャラクターイメージをリアル感高く表示することができるという利点がある。すなわち、仮想キャラクターが登場して人と共に照らすのではなく、底面またはマーカーイメージを正確に認識してその上に照らすことにより、まるで人と同じ平面に存在するかのように見えることになる。

＜第２実施例＞
図５〜図７は本発明の第２実施例に係る拡張現実画像表示システムを説明するための図である。具体的には、図５は本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置を示すブロック図、図６は本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置の変形した形態を示すブロック図、図７は本発明の第２実施例に係る拡張現実画像表示システムの拡張現実画像制作装置の変形した他の形態を示すブロック図である。

図５〜図７に示すように、本発明の第２実施例に係る拡張現実画像制作装置１２０は、拡張現実マーカーのイメージを予め登録した後、拡張現実マーカーのイメージを除去した状態で仮想キャラクターイメージを実現することが可能である。

具体的に、本発明の第２実施例に係る拡張現実画像制作装置１２０は、キャラクターイメージ保存部１２１、マーカーイメージ登録部１２２、マーカー認識部１２３、実際空間イメージ受信部１２４、および拡張現実画像生成部１２５を含む。

キャラクターイメージ保存部１２１は、拡張現実マーカーに対応する仮想キャラクターイメージを予め保存する。

マーカーイメージ登録部１２２は、拡張現実を実現するための空間に拡張現実マーカーを位置させた状態で撮影された第１実際空間イメージを予め保存する。

マーカー認識部１２３は、第１実際空間イメージから拡張現実マーカーを認識してキャラクターイメージ保存部１２１から仮想キャラクターイメージを読み込む。

実際空間イメージ受信部１２４は、拡張現実を実現するための空間から拡張現実マーカーを除去した状態で撮影された第２実際空間イメージを受信する。

拡張現実画像生成部１２５は、仮想キャラクターイメージと第２実際空間イメージとを合成して拡張現実画像イメージを生成する。

このように、マーカーが存在することにより底面を認識し、キャラクターが動くときに底面を認識しながら動くのでリアル感が高められるが、マーカーイメージが存在することによりリアル感に劣る部分を最大限減らすために、マーカーイメージを予め登録した後、マーカーイメージを除去した状態でキャラクターが表示されるようにする。

一方、図６を参照すると、本発明の第２実施例に係る拡張現実画像制作装置１２０は、第１実際空間イメージを撮影するとき、画像撮影カメラ１１０の位置を保存するカメラ位置保存部１２６と、第２実際空間イメージを撮影するとき、画像撮影カメラ１１０の位置をカメラ位置保存部１２６に保存された位置に固定させるカメラ位置固定部１２７とをさらに含むことが可能である。これにより、マーカーを認識するための第１実際空間イメージと実際実現される第２実際空間イメージのサイズ、解像度および位置を正確に一致させて、第１実際空間イメージを介して認識される仮想キャラクターの位置およびサイズが第２実空間イメージで正確に実現できる。これは、第１実際空間イメージのマーカーを使用することにより、仮想キャラクターが第１実際空間イメージに該当する位置およびサイズに従うからである。すなわち、第１実際空間イメージとは異なる位置およびサイズの第２実際空間イメージを使用する場合には、仮想キャラクターがこれに合わせて実現されないおそれがある。

また、図７を参照すると、本発明の第２実施例に係る拡張現実画像制作装置１２０は、第２実際空間イメージを予め保存された第１実際空間イメージと比較して撮影空間の位置およびサイズが一致すると、マーカー認識部１２３に第１実際空間イメージを伝送するマーカーレス判断部１２８をさらに含むことが可能である。この場合も同様に、マーカーを認識するための第１実際空間イメージと実際実現される第２実際空間イメージのサイズ、解像度および位置を正確に一致させ、第１実際空間イメージを介して認識される仮想キャラクターの位置およびサイズを第２実際空間イメージで正確に実現するためのものである。すなわち、第１実際空間イメージと第２実際空間イメージとが一致するかどうかを予め確認した後、マーカーレス動作を行うようにする。

このように、本発明の第２実施例に係る拡張現実画像表示システムは、マーカーが拡張現実画面上に表示されないようにしてリアル感をさらに向上させることができるという長所がある。

＜他の実施例＞
（Ａ）図８は本発明の他の実施例に係る拡張現実画像表示システムを説明するための図である。

図８に示すように、本発明の他の実施例に係る拡張現実画像表示システムは、仮想キャラクターイメージを紙に二次元状態のキャラクターで表示するが、キャラクターの各部分に色を埋めることができるように線でのみ描かれたマーカーペーパーをさらに含み、マーカーペーパーのキャラクターに色が付けられると、拡張現実画像制作装置１２０が画像撮影カメラ１１０を介して色層を認識して仮想キャラクターイメージに該当色相を入れることが可能である。

このとき、一般に使用される紙や、塗り絵の本または教材などの紙本にも適用して活用することができ、クレヨン、色鉛筆、絵の具など如何なる材料を使用しても構わない。

このような構成により、ユーザーが色塗りした色のまま、同じ色が塗られた仮想キャラクターが表示され、色塗りだけでなく、ユーザーが作成した簡単な字や文字も立体の仮想キャラクターとして表現できる。予め設定された条件に基づいて、仮想キャラクターが自動的に定められた動作をしたり、動作をするように操縦したりすることができる。キャラクターと実際空間上の画面に表示されるので、ユーザーと共にポーズを取ったり、写真を撮ったりすることもできる。すなわち、色塗りなどの学習に本発明の他の実施例に係る拡張現実画像表示システムを適用することができる。

（Ｂ）また、本発明の他の実施例に係る拡張現実画像表示システムは、英語、数字などの学習教材として使用することができ、仮想キャラクターを用いたダンス、ゴルフ、フィットネスなど様々な運動教材として活用することができ、仮想キャラクターの調整によるゲームを行うことができる。例えば、最強のゴルファーであるタイガーウッズがコーチ指導を姿勢からスイングフォームまで問題点を一目で分かるように横でスイングを一緒に行うことにより、プロの姿勢と自分の姿勢とを比較しながら練習することができる。

（Ｃ）また、本発明の別の実施例に係る拡張現実画像制作装置はＷｉｎｄｏｗｓプラットフォーム基盤のコンピュータで構成され、画像撮影カメラは１９２０ｐ以上の高解像度カメラで構成されることが好ましい。

具体的に、人間と仮想の３Ｄキャラクターが一緒に一つの画面に登場して一緒に交流交感しながら遊びや勉強をするマーカーレスおよびＨＣＩ(Human Computer Interaction)形態の交感拡張現実(Communication AR)を実現するために、構成要素は次の実際装置から実現されなければならない。すなわち、最小１９２０ｐ以上を支援するカメラ、リアルな描写を可能とする３Ｄグラフィックスエンジン、大容量のグラフィックスを実時間で処理することができる強力な拡張現実エンジン、モーション認識、音声認識、実時間イベント処理、および最後に前述のすべてのものを実時間で処理するためには、モバイルプラットフォームでは不可能であり、ＣＰＵ、メモリなどのリソース資源を無限拡張することができるＷｉｎｄｏｗｓ基盤のプラットフォームで実現可能である。

これにより、表現可能な領域がよりリアルで拡張性の面で自由になるので、現在拡張現実が使われている単純モバイル用広告だけでなく、実生活に使用できる無限の可能性を持つ拡張現実として使用できる。実質的に、Ｗｉｎｄｏｗｓ用（ＰＣ用）拡張現実では、装置性能の面で多くの差がある。まず、ＣＰＵ、メモリ、グラフィックスなどのすべての面でＰＣが優れるので、レンダリングの質が異なる。現在、ＰＣではｆａｎｔａｓｉｃに設定してプログラムを実行させるが、ＩＯＳを含むＡｎｄｒｏｉｄ（登録商標）機器ではそうすることができない。すなわち、性能の面で支援をすることができない。ｆａｎｔａｓｉｃに設定すると、ａｎｔｉ−ａｌｉａｓｉｎｇ、ｓｈａｄｏｗの質を始めとして、３Ｄレンダリングされる品質が最高になれる。これは、拡張現実のグラフィックスで使用することが可能な３Ｄオブジェクト結果物において多くの差を発生させる。

また、カメラ解像度の支援においても差がある。Ａｎｄｒｏｉｄでカメラの解像度が高くても、それをＡＲエンジンで処理することができない。たとえば、Ａｎｄｒｏｉｄのカメラ解像度が４６０８×３４５６であるとしても、モバイルＣＰＵやメモリなどの限界によりエンジンにおける処理速度が追いつかないので、モバイル用ではカメラ解像度を最高１２８０＊７２０に設定している。しかし、ＰＣでエンジンを回すと、性能からみて高いカメラ解像度も支援することができない。

したがって、ＰＣにプラットフォームが変わることにより、表現することが可能な範囲が事実的に変わり、モーション認識や音声認識などの様々な技術および設備との結合で適用することが可能な範囲が非常に広くなる。また、拡張現実技術自体が商品として適用可能となる。

（Ｄ）図９は本発明の一実施例に係る拡張現実画像表示方法を説明するためのフローチャートである。

図９に示すように、本発明の一実施例に係る拡張現実画像表示方法は、次の段階で行われる。

まず、第１段階（Ｓ１１０）では、拡張現実マーカーに該当する仮想キャラクターイメージを予め保存する。

また、第２段階（Ｓ１２０）では、拡張現実を実現するための空間に拡張現実マーカーを位置させた状態で撮影した第１実際空間イメージを予め保存する。

また、第３段階（Ｓ１３０）では、拡張現実を実現するための空間から拡張現実マーカーを除去した状態で撮影して第２実際空間イメージを生成する。

また、第４段階（Ｓ１４０）では、第１実際空間イメージから拡張現実マーカーを認識し、予め保存された仮想キャラクターイメージを読み込む。

また、第５段階（Ｓ１５０）では、仮想キャラクターイメージと第２実際空間イメージとを合成して拡張現実画像イメージを生成する。

また、第６段階（Ｓ１６０）では、拡張現実画像イメージを画面上に表示する。

また、第７段階（Ｓ１７０）では、仮想キャラクターイメージが一方向に回転するように制御し、或いは仮想キャラクターイメージが一方向に移動するように制御し、或いは仮想キャラクターイメージが予め設定された行動を実行するように制御する。

このように、本発明の一実施例に係る拡張現実画像表示方法は、実際空間イメージに仮想キャラクターイメージを合成するとき、仮想キャラクターイメージを状況に合わせて動作させることができるため、ユーザーが仮想キャラクターと相互交感する効果を与えることにより、ユーザーの興味を上昇させることができるという長所がある。

また、本発明の一実施例に係る拡張現実画像表示方法は、実際空間イメージに仮想キャラクターイメージを合成するとき、マーカーを用いて仮想キャラクターイメージをリアル感高く表示することができるという長所がある。

また、本発明の一実施例に係る拡張現実画像表示方法は、マーカーが拡張現実画面上に表示されないようにしてリアル感をさらに向上させることができるという長所がある。

このように、上述した本発明の技術的構成は、本発明の属する技術分野における当業者であれば、本発明のその技術的思想や必須的特徴を変更することなく、他の具体的な形態で実施できることを理解することができるだろう。

したがって、上述した実施例は、あらゆる面で例示的なもので、限定的なものではないと理解されるべきである。本発明の範囲は前記詳細な説明よりは後述の特許請求の範囲によって現れ、特許請求の範囲の意味、範囲およびその等価概念から導出されるすべての変更または変形形態も本発明の範囲に含まれると解釈されるべきである。

１０ 拡張現実マーカー
２０ 実際空間イメージ
３０ 仮想キャラクターイメージ
１１０ 画像撮影カメラ
１２０ 拡張現実画像制作装置
１２１ キャラクターイメージ保存部
１２２ マーカーイメージ登録部
１２３ マーカー認識部
１２４ 実際空間イメージ受信部
１２５ 拡張現実画像生成部
１２６ カメラ位置保存部
１２７ カメラ位置固定部’
１２８ マーカーレス判断部
１３０ 拡張現実画像ディスプレイ
１４０ 仮想キャラクターコントローラ
１４１ 方向ボタン部
１４２ 実行ボタン部
１５０ 拡張現実画像サーバー
１６０ 遠隔ディスプレイ
１７０ 遠隔コントローラ

Claims (10)

1. 拡張現実を実現するための空間を撮影して実際空間イメージを生成する画像撮影カメラと、
   拡張現実マーカーを認識して実現される仮想キャラクターイメージを予め保存し、前記実際空間イメージから前記拡張現実マーカーが認識されると、前記仮想キャラクターイメージと前記実際空間イメージとを互いに合成して拡張現実画像イメージを生成する拡張現実画像制作装置と、
   前記拡張現実画像イメージを画面上に表示する拡張現実画像ディスプレイと；
   前記拡張現実画像制作装置に前記仮想キャラクターの動作制御信号を伝送し、前記拡張現実画像ディスプレイに表示される前記仮想キャラクターの動作を実時間で調節する仮想キャラクターコントローラとを含んでなることを特徴とする、拡張現実画像表示システム。
2. 前記拡張現実画像制作装置は、前記実際空間イメージから前記拡張現実マーカーが認識されるマーカー認識面を、前記仮想キャラクターイメージを実現するための基準底面として設定することを特徴とする、請求項１に記載の拡張現実画像表示システム。
3. 前記仮想キャラクターコントローラは、
   前記仮想キャラクターイメージが向かう方向と移動方向を制御する方向ボタン部と、前記仮想キャラクターイメージの予め設定された行動を実行させる実行ボタン部とを含むことを特徴とする、請求項１に記載の拡張現実画像表示システム。
4. 前記仮想キャラクターを遠隔で調節するために、前記拡張現実画像制作装置から前記拡張現実画像イメージの伝送を受け、前記拡張現実画像制作装置へ前記仮想キャラクターの遠隔制御信号を伝送する拡張現実画像サーバーと、
   前記拡張現実画像サーバーに接続され、前記拡張現実画像イメージを遠隔で表示する遠隔ディスプレイと、
   前記遠隔制御信号を生成して前記拡張現実画像サーバーへ伝送する遠隔コントローラとをさらに含むことを特徴とする、請求項１に記載の拡張現実画像表示システム。
5. 前記拡張現実画像制作装置は、前記拡張現実マーカーのイメージを予め登録した後、前記拡張現実マーカーのイメージを除去した状態で前記仮想キャラクターイメージを実現することを特徴とする、請求項１に記載の拡張現実画像表示システム。
6. 前記拡張現実画像制作装置は、
   前記拡張現実マーカーに該当する仮想キャラクターイメージを予め保存するキャラクターイメージ保存部と、
   拡張現実を実現するための空間に前記拡張現実マーカーを位置させた状態で撮影された第１実際空間イメージを予め保存するマーカーイメージ登録部と、
   前記第１実際空間イメージから前記拡張現実マーカーを認識して前記キャラクターイメージ保存部から前記仮想キャラクターイメージを読み込むマーカー認識部と、
   拡張現実を実現するための空間から前記拡張現実マーカーを除去した状態で撮影された第２実際空間イメージを受信する実際空間イメージ受信部と、
   前記仮想キャラクターイメージと前記第２実際空間イメージとを合成して前記拡張現実画像イメージを生成する拡張現実画像生成部とを含むことを特徴とする、請求項５に記載の拡張現実画像表示システム。
7. 前記拡張現実画像制作装置は、
   前記第１実際空間イメージを撮影するとき、前記画像撮影カメラの位置を保存するカメラ位置保存部と、
   前記第２実際空間イメージを撮影するとき、前記画像撮影カメラの位置を前記カメラ位置保存部に保存された位置に固定させるカメラ位置固定部とをさらに含むことを特徴とする、請求項６に記載の拡張現実画像表示システム。
8. 前記拡張現実画像制作装置は、
   前記第２実際空間イメージを予め保存された前記第１実際空間イメージと比較して撮影空間の位置およびサイズが一致すると、前記マーカー認識部へ前記第１実際空間イメージを伝送するマーカーレス判断部をさらに含むことを特徴とする、請求項６に記載の拡張現実画像表示システム。
9. 前記拡張現実画像制作装置はＷｉｎｄｏｗｓ（登録商標）プラットフォーム基盤のコンピュータで構成され、前記画像撮影カメラは１９２０ｐ以上の高解像度カメラで構成されることを特徴とする、請求項１に記載の拡張現実画像表示システム。
10. 拡張現実マーカーに該当する仮想キャラクターイメージを予め保存する第１段階と、
    拡張現実を実現するための空間に前記拡張現実マーカーを位置させた状態で撮影した第１実際空間イメージを予め保存する第２段階と、
    拡張現実を実現するための空間から前記拡張現実マーカーを除去した状態で撮影して第２実際空間イメージを生成する第３段階と、
    前記第１実際空間イメージから前記拡張現実マーカーを認識し、予め保存された前記仮想キャラクターイメージを読み込む第４段階と、
    前記仮想キャラクターイメージと前記第２実際空間イメージとを合成して拡張現実画像イメージを生成する第５段階と、
    前記拡張現実画像イメージを画面上に表示する第６段階と、
    前記仮想キャラクターイメージが一方向に回転するように制御し、或いは前記仮想キャラクターイメージが一方向に移動するように制御し、或いは前記仮想キャラクターイメージが予め設定された行動を実行するように制御する第７段階とを含んでなることを特徴とする、拡張現実画像表示方法。