JP2013109768A - ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置 - Google Patents

Abstract

【課題】マーカーを正確に認知していない場合でも、拡張現実サービスを受けられる様にする。
【解決手段】周辺情報を用いて拡張現実サービス画面を構成する過程と、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカー（Ｍａｒｋｅｒ）を確認する過程と、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備える。
【選択図】図２

Description

本発明はポータブル端末で拡張現実サービス（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｅｒｖｉｃｅ）を提供するための方法、及びこれを具現するポータブル端末装置に関する。

拡張現実はサービス端末が実際の空間で認識した実際の情報と仮想客体を合成して表示する技術を示す。ここで、実際の情報は、サービス端末の周辺映像、周辺音及び位置情報などを含む。

サービス端末は外部から提供を受けている実際の情報とマーカー（Ｍａｒｋｅｒ）のマッチングの可否に応じて拡張現実サービスを提供できる。例えば、サービス端末が外部の環境から獲得した実際の情報とマーカーがマッチングする場合、サービス端末は実際の情報とマッチングしたマーカーの付加情報を再生する。ここで、マーカーは拡張現実サービスのための付加情報がマッピングされている客体情報を示す。

前述のようにサービス端末は拡張現実サービスを通じて多様な付加情報を提供できる利点がある。
しかし、サービス端末のユーザーが拡張現実サービスのためのマーカーを正確に認知していない場合、サービス端末のユーザーは拡張現実サービスに使用するために何回かの試行錯誤を経験しなければならないという問題が発生する場合がある。

大韓民国公開特許公報Ｎｏ．１０−２００５−００５５５０６

従って、本発明の目的は、サービス端末のユーザーが拡張現実サービスのためのマーカーを正確に認知していない場合でも、試行錯誤を経験することなくポータブル端末で拡張現実サービスを享受できる方法、及び、これを具現するポータブル端末装置を提供することにある。

本発明の他の目的は、ポータブル端末で拡張現実サービスのためのマーカー情報をユーザーに提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスに対するガイド画面を提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスのためのマーカー情報を備えているガイド画面を提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスの付加情報に対するビューポート（Ｖｉｅｗ Ｐｏｒｔ）を設定するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で既設定されたビューポート情報によって拡張現実サービスの付加情報を表示するための方法、及びこれを具現するポータブル端末装置を提供することにある。

本発明の目的を果たすための本発明の第１見地によると、ポータブル端末で拡張現実サービスを提供するための方法は、周辺情報を用いて拡張現実サービス画面を構成する過程と、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備えている。

また好ましくは、前記ガイド画面に備えられるマーカーとマッチングする拡張現実サービス画面を認識している場合、前記マーカーに対する拡張現実付加情報を確認する過程と、前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示する過程をさらに備えている。

本発明の第２見地によると、ポータブル端末装置は、周辺情報を用いて拡張現実サービス画面を構成して、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認して、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する制御部と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する表示部と、を備える。

また好ましくは、前記制御部は、前記表示部を通じてマーカーにマッチングした拡張現実サービス画面を認識している場合、前記マーカーに対する拡張現実付加情報を確認して、前記拡張現実付加情報に対するビューポートが設定された場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示するように制御する。

本発明によるポータブル端末で拡張現実サービスを提供するための方法では、認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成しているので、サービス端末のユーザーは、拡張現実サービスのためのマーカーを正確に認知していない場合でも、試行錯誤を経験することなくポータブル端末で拡張現実サービスを享受できる。

本発明によるポータブル端末のブロック構成を示す図面であり、 本発明の実施例によるポータブル端末でガイド画面を表示するための手続きを示す図面であり、 本発明の他の実施例によるポータブル端末でガイド画面を表示するための手続きを示す図面であり、 本発明の実施例によるポータブル端末でガイド画面を構成するための手続きを示す図面であり、 本発明の実施例によるポータブル端末でガイド画面を通じて拡張現実付加情報を提供するための手続きを示す図面であり、 本発明の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示す図面であり、 本発明の他の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示す図面であり、 本発明の実施例によるガイド画面の構成を示す図面である。

以下、本発明の好ましい実施例を添付の図面を参照して詳しく説明する。そして、本発明を説明する際に、関係する公知機能あるいは構成に対して具体的な説明を詳述すると本発明の要旨を却って不明確にしてしまうと判断された場合、その詳細な説明は略する。また、後述の説明で使われる用語は本発明での機能を考慮して定義された用語であり、これはユーザー、運用者の意図又は慣例などによって変わり得る。従って、その定義は本明細書の全般にわたっている内容をベースに判断されなければならない。

以下、本発明はポータブル端末で拡張現実サービスを提供するための技術に対して説明する。
以下の説明でポータブル端末は、拡張現実サービスを提供する移動通信端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ラップトップ（Ｌａｐｔｏｐ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ネットブック（Ｎｅｔｂｏｏｋ）、携帯インターネット機器（ＭＩＤ：Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、ウルトラモバイルＰＣ（ＵＭＰＣ：Ｕｌｔｒａ Ｍｏｂｉｌｅ ＰＣ）、タブレットＰＣ（Ｔａｂｌｅｔ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの電子装置を備える。
以下の説明でポータブル端末は、カメラを通じて獲得した映像情報を用いて拡張現実サービスを提供するものと仮定する。

図１は本発明によるポータブル端末のブロック構成を示している。
図示したように、ポータブル端末は制御部１００、保存部１１０、表示部１２０、入力部１３０、オーディオ処理部１４０、通信部１５０及びカメラ部１６０を備える。
制御部１００はポータブル端末の全体的な動作制御を実行する。
制御部１００はカメラ部１６０から提供された映像と仮想客体を合成して拡張現実サービスを提供する。例えば、制御部１００はカメラ部１６０から提供された映像を備える拡張現実構成情報を用いて拡張現実サービス画面を構成する。以後、拡張現実サービス画面とマーカーがマッチングする場合、制御部１００は拡張現実サービス画面にマッチングするマーカーに対する拡張現実付加情報を再生するように制御する。もし、拡張現実付加情報に対するビューポートが設定されている場合、制御部１００はビューポートの設定情報によって拡張現実付加情報を出力するように制御する。ここで、マーカーは拡張現実サービスのための付加情報がマッピングされた客体情報を示す。ビューポートの設定情報は拡張現実付加情報に対する再生情報を備える。拡張現実付加情報は、拡張現実付加情報の出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備える。

また、制御部１００は拡張現実サービスを提供する場合、ガイド構成部１０２で構成しているガイド画面を拡張現実サービス画面とともに出力するように制御する。例えば、制御部１００は図２又は図３に示したように、拡張現実サービスのためのガイド画面を拡張現実サービス画面とともに提供するように制御する。

さらに、ポータブル端末のユーザーによってガイド画面に表示されたマーカーが選択される場合、制御部１００はユーザーによって選択されたマーカーに対する拡張現実付加情報を再生するように制御する。もし、拡張現実付加情報に対するビューポートが設定される場合、制御部１００はビューポートの設定情報によって拡張現実付加情報を再生するように制御する。

ガイド構成部１０２は、制御部１００で拡張現実サービスのために認識可能な認識対象の情報を備えるガイド画面を構成する。例えば、ガイド構成部１０２は制御部１００で拡張現実サービスを提供するために収集した拡張現実構成情報をもとに拡張現実サービスのためのマーカーを確認する。以後、ガイド構成部１０２は制御部１００で認識できる全てのマーカーを備えるようにガイド画面を構成する。別の例として、ガイド構成部１０２は制御部１００で認識できる複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。

保存部１１０はポータブル端末の動作を制御するためのプログラムを保存するプログラム保存部及びプログラムの実行中に発生するデータを保存するデータ保存部から構成される。例えば、保存部１１０は拡張現実サービスのための少なくとも一つのマーカーを保存する。

表示部１２０は、制御部１００の制御によってポータブル端末の状態情報、ユーザーが入力する文字、動画像（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ）及び静止画像（ｓｔｉｌｌ ｐｉｃｔｕｒｅ）などを表示する。例えば、表示部１２０は制御部１００の制御によって図８に示すように、拡張現実サービス画面８００とガイド構成部１０２で構成しているガイド画面８１０を表示する。別の例として、表示部１２０は制御部１００の制御によって拡張現実付加情報の再生画面を表示する。もし、拡張現実付加情報に対するビューポートが設定された場合、表示部１２０はビューポートの設定情報によって拡張現実付加情報に対する再生画面を表示する。

さらに、表示部１２０がタッチスクリーンで構成されている場合、表示部１２０はタッチパネルを通じて感知されたタッチ情報を制御部１００に提供するタッチ入力部をさらに備えることもできる。

入力部１３０は、ユーザーの選択によって発生する入力データを制御部１００に提供する。例えば、入力部１３０はポータブル端末の制御のための制御ボタンのみを備えて構成される。別の例として、入力部１３０はユーザーから入力データの提供を受けるためのキーパッドで構成されることもできる。

オーディオ処理部１４０は、オーディオ信号の入出力を制御する。例えば、オーディオ処理部１４０は制御部１００から提供されたオーディオ信号を、スピーカーを通じて外部に送出し、マイクから提供されたオーディオ信号を制御部１００に提供する。

通信部１５０は、音声及びデータ通信のためにアンテナを通じて送受信される信号を処理する。
カメラ部１６０は、被写体を撮影した画像データをデジタルデータに変換して、前記デジタルデータから獲得した静止画を制御部１００に提供する。

前述のように、ガイド構成部１０２は制御部１００で認識できる複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。例えば、ガイド構成部１０２は制御部１００で認識できる複数のマーカーの中で認識確率が高い少なくとも一つのマーカーを備えるようにガイド画面を構成する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定できる。

以下、ポータブル端末でガイド画面を提供するための方法について説明する。
図２は本発明の実施例によるポータブル端末でガイド画面を表示するための手続きを示している。

図２を参照すると、ポータブル端末は２０１段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。

一方、拡張現実サービスを提供する場合、ポータブル端末は２０３段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。

拡張現実構成情報を収集した後、ポータブル端末は２０５段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成する。

以後、ポータブル端末は２０７段階に進行してガイド情報を提供するかどうかを確認する。例えば、ポータブル端末はガイド情報の提供メニューが設定されているかどうかを確認する。ここで、ガイド情報は、ポータブル端末のユーザーが拡張現実付加情報に対するマーカーを容易に認識するように、ポータブル端末で認識できるマーカーをユーザーに提供するサービスを示す。

ガイド情報を提供する場合、ポータブル端末は２０９段階に進行して認識可能な少なくとも一つのマーカーを確認する。例えば、ポータブル端末は実行中の拡張現実応用プログラムによってポータブル端末で認識可能な少なくとも一つのマーカーを確認する。別の例として、ポータブル端末は拡張現実構成情報を考慮してポータブル端末で認識可能な少なくとも一つのマーカーを確認することもできる。

認識可能なマーカーを確認した後、ポータブル端末は２１１段階に進行して認識可能な少なくとも一つのマーカーを備えるガイド画面を構成する。例えば、ポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成する。別の例として、ポータブル端末は認識可能な複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。この時、ポータブル端末はマーカーの認識確率を考慮してガイド画面に追加するマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定する。

ガイド画面を構成した後、ポータブル端末は２１３段階に進行して２０５段階で構成した拡張現実サービス画面とガイド画面を一緒に表示部１２０に表示する。例えば、ポータブル端末は図８に示すように拡張現実サービス画面８００とガイド画面８１０を一緒に表示する。

一方、２０７段階でガイド情報を提供していない場合、ポータブル端末は２１５段階に進行して２０５段階で構成した拡張現実サービス画面を表示部１２０に表示する。
以後、ポータブル端末は本アルゴリズムを終了する。

図３は本発明の他の実施例によるポータブル端末でガイド画面を表示するための手続きを示している。
図３を参照すると、ポータブル端末は３０１段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。

一方、拡張現実サービスを提供する場合、ポータブル端末は３０３段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。

拡張現実構成情報を収集した後、ポータブル端末は３０５段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成する。

拡張現実サービス画面を構成した後、ポータブル端末は３０７段階に進行して拡張現実サービス画面を表示部１２０に表示する。
以後、ポータブル端末は３０９段階に進行してガイド情報を提供するかどうかを確認する。例えば、ポータブル端末はガイド情報の提供メニューが設定されているかどうかを確認する。
ガイド情報を提供していない場合、ポータブル端末は本アルゴリズムを終了する。

一方、ガイド情報を提供する場合、ポータブル端末は３１１段階に進行して認識可能なマーカーを確認する。例えば、ポータブル端末は実行中の拡張現実応用プログラムによってポータブル端末で認識可能な少なくとも一つのマーカーを確認する。別の例として、ポータブル端末は拡張現実構成情報を考慮してポータブル端末で認識可能な少なくとも一つのマーカーを確認することもできる。

認識可能なマーカーを確認した後、ポータブル端末は３１３段階に進行してポータブル端末で認識可能なマーカーを備えるガイド画面を構成する。例えば、ポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成する。別の例として、ポータブル端末は認識可能な複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。この時、ポータブル端末はマーカーの認識確率を考慮してガイド画面に追加するマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定することができる。

ガイド画面を構成した後、ポータブル端末は３１５段階に進行して３０７段階で表示部１２０に表示する拡張現実サービス画面にガイド画面を追加する。例えば、ポータブル端末は図８に示すように表示部１２０に表示されている拡張現実サービス画面８００にガイド画面８１０を追加する。
以後、ポータブル端末は本アルゴリズムを終了する。

前述の実施例でポータブル端末は拡張現実サービス画面とガイド画面を一緒に表示部１２０に表示する。もし、拡張現実サービス画面がマーカーとマッチングする拡張現実付加情報を再生する場合、ポータブル端末はガイド画面を表示していない。以後、ポータブル端末は拡張現実付加情報の再生が終了すると、ガイド画面を再表示する。別の例として、ポータブル端末は拡張現実付加情報の再生時、他のマーカーを備えるガイド画面を持続的に表示することもできる。

前述の図２と図３に示すようにポータブル端末はガイド情報を提供する場合、拡張現実サービス画面にガイド画面を追加して表示する。この時、ポータブル端末は図４に示すようにガイド画面を構成する。
図４は本発明の実施例によるポータブル端末でガイド画面を構成するための手続きを示している。以下の説明でポータブル端末は図３の３１３段階でガイド画面を構成するものと仮定する。

図４を参照すると、ポータブル端末は図３の３１１段階で認識可能なマーカーを確認した後、４０１段階に進行して認識可能なマーカーの数を確認する。例えば、ポータブル端末は認識可能なマーカーの数が一つなのかを確認する。

認識可能なマーカーが一つの場合、ポータブル端末は４０５段階に進行してガイド画面構成情報を確認する。例えば、ポータブル端末は保存部１１０に保存されたガイド画面構成情報を確認する。別の例として、ポータブル端末は周辺の明るさ、ポータブル端末の動きなどを含んでいる周辺情報を考慮してガイド画面構成情報を決定することもできる。ここで、ガイド画面構成情報はガイド画面のサイズ、ガイド画面の透明度、ガイド画面の色相の中で少なくとも一つを備えている。

一方、認識可能なマーカーが多数の場合、ポータブル端末は４０３段階に進行して認識可能な複数のマーカーの中でガイド画面に含まれる少なくとも一つのマーカーを選択する。例えば、ポータブル端末は認識可能な複数のマーカーの中で認識確率が高い少なくとも一つのマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定される。

以後、ポータブル端末は４０５段階に進行してガイド画面構成情報を確認する。ここで、ガイド画面構成情報はガイド画面のサイズ、ガイド画面の透明度、ガイド画面の色相の中で少なくとも一つを備えている。

ガイド画面構成情報を確認した後、ポータブル端末は４０７段階に進行してガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成する。

以後、ポータブル端末は図３の３１５段階に進行して表示部１２０に表示している拡張現実サービス画面にガイド画面を追加する。
前述の実施例でポータブル端末は認識可能なマーカーの数が多数の場合、ガイド画面に含ませる少なくとも一つのマーカーを選択する。

他の実施例でポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成することもできる。
前述のようにポータブル端末は、ポータブル端末のユーザーの拡張現実付加情報の認識を助けるために少なくとも一つのマーカーを備えるガイド画面を提供する。この時、ポータブル端末はガイド画面を用いて下記の図５に示すように拡張現実付加情報を提供することもできる。

図５は本発明の実施例によるポータブル端末でガイド画面を通じて拡張現実付加情報を提供するための手続きを示している。
図５を参照すると、ポータブル端末は５０１段階でガイド画面を表示部１２０に表示する。例えば、ポータブル端末は図２に示すように拡張現実サービス画面とガイド画面を一緒に表示部１２０に表示する。別の例として、ポータブル端末は図３に示すように表示部１２０に表示されている拡張現実サービス画面にガイド画面を追加表示することもできる。

以後、ポータブル端末は５０３段階に進行してユーザーによってガイド画面に表示されたマーカーが選択されているかどうかを確認する。
ユーザーによってガイド画面に表示されたマーカーが選択されていない場合、ポータブル端末は５０１段階に進行してガイド画面を表示部１２０に表示する。

一方、ユーザーがガイド画面に表示されたマーカーを選択した場合、ポータブル端末は５０５段階に進行してユーザーによって選択されたマーカーを考慮して拡張現実サービス画面を変更する。例えば、ポータブル端末はユーザーによって選択されたマーカーとマッチングするように拡張現実サービス画面を変更する。

以後、ポータブル端末は５０７段階に進行して５０３段階で選択したマーカーに対する拡張現実付加情報を再生する。
以後、ポータブル端末は本アルゴリズムを終了する。

前述の実施例でポータブル端末はユーザーによってガイド画面に表示されたマーカーが選択されている場合、ユーザーによって選択されたマーカーとマッチングするように拡張現実サービス画面を変更する。

他の実施例でポータブル端末はユーザーによってガイド画面に表示されたマーカーが選択されている場合、拡張現実サービス画面を変更しないで、選択したマーカーに対する拡張現実付加情報を再生することもできる。
以下、ポータブル端末で拡張現実付加情報を再生するための方法について説明する。

図６は本発明の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示している。
図６を参照すると、ポータブル端末は６０１段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。

一方、拡張現実サービスを提供する場合、ポータブル端末は６０３段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。

拡張現実構成情報を収集した後、ポータブル端末は６０５段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成して表示部１２０に表示する。この時、ポータブル端末は図２又は図３に示すように認識可能なマーカーを備えるガイド画面を拡張現実サービス画面とともに表示することもできる。

以後、ポータブル端末は６０７段階に進行して認識可能なマーカーとマッチングする拡張現実サービス画面が認識されているかどうかを確認する。
マーカーとマッチングする拡張現実サービス画面が認識された場合、ポータブル端末は６０９段階に進行して６０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーの拡張現実付加情報に対するビューポートが設定されているかどうかを確認する。

マーカーの拡張現実付加情報に対するビューポートが設定されている場合、ポータブル端末は６１１段階に進行して６０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーの拡張現実付加情報に対するビューポートの設定情報を確認する。ここで、ビューポートの設定情報は拡張現実付加情報の出力時、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度などを備えている。

ビューポートの設定情報を確認した後、ポータブル端末は６１３段階に進行してビューポートの設定情報によって６０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、拡張現実付加情報が３Ｄイメージである場合、ポータブル端末はビューポートの設定情報に備えられている出力角度及び出力サイズを考慮して拡張現実付加情報を再生する。

以後、ポータブル端末は６１５段階に進行してビューポートの設定イベントが発生しているかどうかを確認する。例えば、ポータブル端末は６１３段階で再生する拡張現実付加情報に対するビューポートを再設定するためのビューポートの設定メニューがポータブル端末のユーザーによって選択されているかどうかを確認する。
ビューポートの設定イベントが発生していない場合、ポータブル端末は６１３段階に進行して６１１段階で確認したビューポートの設定情報によって拡張現実付加情報を再生する。

一方、ビューポートの設定イベントが発生した場合、ポータブル端末は６１７段階に進行して拡張現実付加情報に対するビューポートの設定情報を再設定する。例えば、ビューポートの設定イベントが発生した場合、ポータブル端末はビューポートコントロールインターフェースを表示部１２０に表示する。以後、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報を保存する。この時、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報によって６１３段階で表示した拡張現実付加情報の表示画面を変更する。

一方、６０９段階でマーカーの拡張現実付加情報に対するビューポートが設定されていない場合、ポータブル端末は６１９段階に進行して６０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、ポータブル端末はポータブル端末の状態情報を考慮して拡張現実付加情報を表示する。

以後、ポータブル端末は６２１段階に進行してビューポートの設定イベントが発生しているかどうかを確認する。例えば、ポータブル端末は６１９段階で再生する拡張現実付加情報に対するビューポートを設定するためのビューポートの設定メニューがポータブル端末のユーザーによって選択されているかどうかを確認する。

ビューポートの設定イベントが発生していない場合、ポータブル端末は６１９段階に進行して６０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。

一方、ビューポートの設定イベントが発生した場合、ポータブル端末は６２３段階に進行して拡張現実付加情報に対するビューポートの設定情報を設定する。例えば、ビューポートの設定イベントが発生した場合、ポータブル端末はビューポートコントロールインターフェースを表示部１２０に表示する。以後、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報を保存する。この時、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報によって６１９段階で表示した拡張現実付加情報の表示画面を変更する。
以後、ポータブル端末は本アルゴリズムを終了する。

前述の実施例でポータブル端末は拡張現実付加情報の再生中ビューポートを設定する。
他の実施例でポータブル端末は図７に示すように拡張現実サービスの前に設定されたビューポートの設定情報によって拡張現実付加情報を再生させることもできる。

図７は本発明の他の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示している。
図７を参照すると、ポータブル端末は７０１段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。

一方、拡張現実サービスを提供する場合、ポータブル端末は７０３段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。

拡張現実構成情報を収集した後、ポータブル端末は７０５段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成して表示部１２０に表示する。この時、ポータブル端末は図２又は図３に示すように認識可能なマーカーを備えるガイド画面を拡張現実サービス画面とともに表示することもできる。

以後、ポータブル端末は７０７段階に進行してマーカーとマッチングする拡張現実サービス画面が認識されているかどうかを確認する。
マーカーが認識された場合、ポータブル端末は７０９段階に進行して拡張現実付加情報に対するビューポートが設定されているかどうかを確認する。

ビューポートが設定された場合、ポータブル端末は７１１段階に進行して既設定されたビューポートの設定情報を確認する。ここで、ビューポートの設定情報は拡張現実付加情報の出力時、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度などを備えている。

ビューポートの設定情報を確認した後、ポータブル端末は７１３段階に進行してビューポートの設定情報によって７０７段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、拡張現実付加情報が３Ｄイメージである場合、ポータブル端末はビューポートの設定情報に備えられている出力角度及び出力サイズを考慮して拡張現実付加情報を再生する。
以後、ポータブル端末は本アルゴリズムを終了する。

前述のように拡張現実サービスを提供するポータブル端末で拡張現実サービスのためのマーカー情報を備えるガイド画面を提供することで、ポータブル端末のユーザーが拡張現実サービスのための付加情報を容易に再生できる利点がある。

また、拡張現実サービスを提供するポータブル端末で認識した拡張現実サービスのための付加情報をビューポートの設定情報によって再生することで、ポータブル端末のユーザーの拡張現実サービスに対する活用度を向上できる利点がある。

一方、本発明の詳細な説明では、具体的な実施例について説明したが、本発明の範囲から外れない限度内で様々な変形が可能である。従って、本発明の範囲は説明した実施例に限定してはならず、特許請求の範囲及び、この特許請求の範囲と均等なものなどによって決められなければならない。

１００ 制御部
１０２ ガイド構成部
１１０ 保存部
１２０ 表示部
１３０ 入力部
１４０ オーディオ処理部
１５０ 通信部
１６０ カメラ部
８００ 拡張現実サービス画面
８１０ ガイド画面

Claims (22)

1. ポータブル端末で拡張現実サービスを提供するための方法において、
   周辺情報を用いて拡張現実サービス画面を構成する過程と、
   前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、
   前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、
   前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備えることを特徴とする方法。
2. 前記周辺情報は、周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報の中で少なくとも一つを備えることを特徴とする請求項１に記載の方法。
3. 前記ガイド画面を構成する過程は、
   前記認識可能な少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えることを特徴とする請求項１に記載の方法。
4. 前記ガイド画面を構成する過程は、
   マーカーの認識確率を考慮して前記認識可能な複数のマーカーの中で少なくとも一つのマーカーを選択する過程と、
   前記選択した少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えて、
   前記マーカーの認識確率は、前記ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定することを特徴とする請求項１に記載の方法。
5. 前記ガイド画面を構成する過程は、
   ガイド画面構成情報を確認する過程と、
   前記ガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えて、
   前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを備えることを特徴とする請求項１に記載の方法。
6. 前記ガイド画面構成情報を確認する過程は、
   前記ポータブル端末の周辺の明るさ及び前記ポータブル端末の動きの中で少なくとも一つを考慮してガイド画面構成情報を決定する過程を備えることを特徴とする請求項５に記載の方法。
7. 前記ガイド画面に表示されたマーカーが選択されている場合、前記マーカーに対する拡張現実付加情報を再生させる過程をさらに備えることを特徴とする請求項１に記載の方法。
8. 前記ガイド画面に備えられるマーカーとマッチングする拡張現実サービス画面を認識した場合、前記マーカーに対する拡張現実付加情報を確認する過程と、
   前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示する過程と、をさらに備えて、
   前記ビューポートの設定情報は、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備えることを特徴とする請求項１に記載の方法。
9. 前記拡張現実付加情報を画面に表示した後、ビューポートの設定イベントが発生しているかどうかを確認する過程と、
   前記ビューポートの設定イベントが発生した場合、ビューポートの設定値を確認する過程と、
   前記ビューポートの設定値によって前記拡張現実付加情報の表示画面を変更する過程と、をさらに備えることを特徴とする請求項８に記載の方法。
10. 前記ビューポートの設定値を保存する過程を備えることを特徴とする請求項９に記載の方法。
11. 周辺情報を用いて拡張現実サービス画面を構成し、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認し、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する制御部と、
    前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する表示部と、を備えることを特徴とするポータブル端末装置。
12. 前記制御部は、周辺映像、周辺音、前記ポータブル端末装置の動き情報及び前記ポータブル端末装置の位置情報の中で少なくとも一つを備える周辺情報を用いて拡張現実サービス画面を構成することを特徴とする請求項１１に記載のポータブル端末装置。
13. 前記制御部は、前記認識可能な少なくとも一つのマーカーを備えるガイド画面を構成することを特徴とする請求項１１に記載のポータブル端末装置。
14. 前記制御部は、マーカーの認識確率を考慮して前記認識可能な複数のマーカーの中で少なくとも一つのマーカーを選択して、前記選択した少なくとも一つのマーカーを備えるガイド画面を構成し、
    前記マーカーの認識確率は、前記ポータブル端末装置と該当のマーカーとの距離、該当のマーカーの認識回数の中で少なくとも一つを考慮して決定することを特徴とする請求項１１に記載のポータブル端末装置。
15. 前記制御部は、ガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成し、
    前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを備えることを特徴とする請求項１１に記載のポータブル端末装置。
16. 前記制御部は、前記ポータブル端末装置の周辺の明るさ及び前記ポータブル端末装置の動きの中で少なくとも一つを考慮してガイド画面構成情報を決定することを特徴とする請求項１５に記載のポータブル端末装置。
17. 前記制御部は、前記ガイド画面に表示されたマーカーが選択されている場合、前記マーカーに対する拡張現実付加情報を再生することを特徴とする請求項１１に記載のポータブル端末装置。
18. 前記制御部は、前記表示部を通じてマーカーにマッチングした拡張現実サービス画面を認識した場合、前記マーカーに対する拡張現実付加情報を確認して、
    前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示するように制御し、
    前記ビューポートの設定情報は、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備えることを特徴とする請求項１１に記載のポータブル端末装置。
19. 前記制御部は、前記表示部に表示した拡張現実付加情報に対するビューポートの設定イベントが発生した場合、入力部を通じて提供されたビューポートの設定値によって前記表示部に表示された前記拡張現実付加情報の表示を変更することを特徴とする請求項１８に記載のポータブル端末装置。
20. 前記制御部は、前記ビューポートの設定値を保存部に保存することを特徴とする請求項１９に記載のポータブル端末装置。
21. ポータブル端末で拡張現実サービスを提供するための方法において、
    周辺情報を用いて拡張現実サービス画面を構成する過程と、
    前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、
    ガイド画面構成情報を確認する過程と、
    前記ガイド画面構成情報によって前記認識可能な少なくとも一つのマーカーを含むガイド画面を構成する過程と、を含み、
    前記周辺情報は、周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報の中で少なくとも一つを含み、
    前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを含み、
    前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程を含む、ことを特徴とする方法。
22. 周辺情報を用いて拡張現実サービス画面を構成する手段と、
    前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する手段と、
    前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する手段と、
    前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する手段と、を含むことを特徴とするポータブル端末装置。
    
    

Images