JP2018067315A - ユーザー編集イメージを用いた拡張現実コンテンツの提供方法及びシステム - Google Patents

Abstract

【課題】ユーザーが自ら編集したイメージに埋め込まれたマーカーを識別して、これに対応する拡張現実コンテンツを端末に提供する。
【解決手段】端末にインストールされたアプリケーションを起動して、カメラ部から撮影するイメージ又は既に撮影されたイメージに多数のマーカーを有するフレームを追加するステップと、フレームを追加したイメージの焼き付けを焼き付け装置に要請するステップと、アプリケーションを起動して、焼き付け装置から焼き付けられた印刷物を撮影して映像を取得するステップと、映像からマーカーを識別し、拡張現実（ＡＲ）コンテンツ提供サーバーにマーカーに対応する拡張現実（ＡＲ）オブジェクト及び拡張現実（ＡＲ）オブジェクト属性データを要請するステップと、拡張現実（ＡＲ）コンテンツ提供サーバーから受信された拡張現実（ＡＲ）オブジェクトをディスプレイするステップと、による。
【選択図】図１

Description

本発明は、拡張現実コンテンツを提供する方法及びシステムに係り、特に、ユーザーが自らイメージを編集して埋め込まれたマーカーを識別し、これに対応する拡張現実コンテンツを端末に提供する方法及びシステムに関する。

拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ（オーグメンティッド・リアリティ）、以下、ＡＲと称する。）は、ユーザーの目の前に広がる現実世界に仮想物体を重ね合わせて表示する技術であり、仮想の空間及び物事だけを対象とする既存の仮想現実（バーチャルリアリティ、ＶＲ）とは異なり、現実世界の基盤の上に仮想の物事を合成して現実世界だけでは得られ難い付加的な情報を強化・増強して提供することができるという特徴を有する。

まず、韓国登録特許第１０−１１９７６３０号公報（以下、「特許文献１」と称する。）に記載の発明は、共通コンテンツに関連する拡張コンテンツを個人向け端末に提供するためのシステムに関する発明でおり、多数のユーザーに提供される共通コンテンツが再生される間に、当該共通コンテンツに関連する様々な個人別の拡張コンテンツをリアルタイムにて視聴を妨げないながら個別のユーザーに提供する技術である。

また、韓国登録特許第１０−１５３９０８７号公報（以下、「特許文献２」と称する。）は、撮影された映像から被写体である人物の動作を認識して、拡張現実コンテンツと相互作用する技術である。

しかしながら、特許文献１の場合、個人化拡張コンテンツを生成して、これを用いて個人別の拡張コンテンツを提供する技術を開示しているだけであり、特許文献２の場合、被写体及び端末の位置の変化に伴いコンテンツを提供する技術のみを開示しているだけである。

韓国登録特許第１０−１１９７６３０号公報 韓国登録特許第１０−１５３９０８７号公報

本発明が解決しようとする課題は、ユーザーが自らイメージを編集したイメージに埋め込まれたマーカーを識別して、これに対応する拡張現実コンテンツを端末に提供する方法及びシステムを提供することである。

ユーザー編集イメージを用いた端末の拡張現実の提供方法は、端末にインストールされたアプリケーションを起動して、カメラ部から撮影するイメージ又は既に撮影されたイメージに多数のマーカーを有するフレームを追加するステップと、前記フレームを追加したイメージの焼き付けを焼き付け装置に要請するステップと、前記アプリケーションを起動して、前記焼き付け装置から焼き付けられた印刷物を撮影して映像を取得するステップと、前記映像から前記マーカーを識別し、ＡＲコンテンツ提供サーバーに前記マーカーに対応するＡＲオブジェクト及びＡＲオブジェクト属性データを要請するステップと、前記ＡＲコンテンツ提供サーバーから受信されたＡＲオブジェクトをディスプレイするステップと、を含む。

ユーザー編集イメージを用いた端末の拡張現実の提供システムは、マーカーを識別し、前記マーカーに対応するＡＲオブジェクトをディスプレイするアプリケーションがインストールされる携帯端末と、前記携帯端末から前記マーカーに対応するＡＲオブジェクト及びＡＲオブジェクト属性データを送信するＡＲコンテンツ提供サーバーと、前記携帯端末から受信されたイメージを焼き付ける焼き付け装置と、を備え、前記携帯端末は、イメージに多数のマーカーを有するフレームを追加するイメージ編集部と、前記編集されたイメージを焼き付け装置及びＡＲコンテンツ提供サーバーに送信する通信部と、前記焼き付け装置から提供された印刷物を撮影し、映像を取得するカメラ部と、前記映像からマーカーを識別するマーカー識別部と、前記ＡＲコンテンツ提供サーバーから前記ＡＲオブジェクト及び前記ＡＲオブジェクト属性データを受信し、前記ＡＲオブジェクト属性データに基づいて前記ＡＲオブジェクトをディスプレイするディスプレイ部と、を備える。

上述したような課題の解決手段を通じて、本発明は、ユーザーが自ら編集したイメージを撮影して新たな方式で拡張現実コンテンツを提供することができる。とりわけ、編集されたイメージに埋め込まれたマーカーを識別して、マーカーに対応する拡張現実コンテンツを提供することにより、ユーザーの個性が反映されて、満足のいく拡張現実コンテンツを提供することができる。

本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。 本発明を説明するために携帯端末のディスプレイ部に表示されるイメージ編集画面及び編集後のイメージを示す図である。 本発明の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。 本発明の他の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。 本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を提供するシステムの構成を示すブロック図である。 本発明の他の実施形態によりユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。

本明細書に開示されている本発明の概念に基づく実施形態についての特定の構造的又は機能的な説明は、単に本発明の概念に基づく実施形態を説明するための目的で例示されたものに過ぎず、本発明の概念に基づく実施形態は、様々な形態に具体化可能であり、本明細書において説明された実施形態に限定されない。

本発明の概念に基づく実施形態には様々な変更を加えることができ、種々の形態を有し得るため、実施形態を図面に例示し、本明細書において詳細に説明する。しかし、これは、本発明の概念に基づく実施形態を特定の開示の形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれているあらゆる変更、均等物、又は代替物を含む。

本明細書において使用されたターミノロジーは、単に特定の実施形態を説明するために使用されたものに過ぎず、本発明を限定することを意図してはいない。単数の表現は、文脈からみて、明らかに断りのない限り、複数の表現を含む。本明細書において、「備える」又は「有する」などの用語は、本明細書に記載の特徴、数字、段階、動作、構成要素、部分品若しくはこれらを組み合わせたものが存在することを指定しようとするものに過ぎず、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部分品若しくはこれらを組み合わせたものの存在又は付加可能性を予め排除しないものであると理解されるべきである。

以下、添付図面に基づき、本発明の実施形態について詳細に説明する。

図１は、本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。

図１を参照すると、ユーザー編集イメージを用いた拡張現実の提供方法は、携帯端末１００がカメラ部を用いてイメージを撮影するか、又は既に撮影されたイメージを選択し（Ｓ１１０）、前記イメージに多数のマーカーを有するフレームを追加する（Ｓ１２０）。

次いで、携帯端末１００は、フレームを追加した編集イメージをＡＲコンテンツ提供サーバー２００及び焼き付け装置３００に送信する（Ｓ１２１、Ｓ１２３）。焼き付け装置３００は、受信された前記編集イメージを焼き付けて印刷物を出力してもよく、前記印刷物を携帯端末１００のユーザーに提供する（Ｓ１３１）。ＡＲコンテンツ提供サーバー２００は、受信された前記編集イメージをデータベースに保存する（Ｓ１３５）。

携帯端末１００は、前記印刷物を撮影して映像を取得し（Ｓ１４０）、前記映像からマーカーを識別し（Ｓ１５０）、前記マーカーに対応するＡＲオブジェクトをＡＲコンテンツ提供サーバー２００に要請する（Ｓ１５１）。マーカーは、拡張現実コンテンツと接続されるキーとなるものであって、様々な媒体をマーカーとして活用することができる。例えば、映画ポスター、特定のウェブページ画面、新聞や本などの印刷物の特定のイメージが挙げられ、実施形態においては、ユーザーが自ら編集したイメージフレームであってもよい。マーカーを識別すれば、当該マーカーのＩＤ値を取り出してＡＲコンテンツ提供サーバー２００にマーカーに関する情報を引き渡すことができる。

ＡＲコンテンツ提供サーバー２００には、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）コンテンツが３次元立体映像情報として保存されており、既に保存された編集イメージに基づいて、前記マーカーに対応する拡張現実コンテンツであるＡＲオブジェクトを取り出し（Ｓ１６０）、取り出されたＡＲオブジェクト及びＡＲオブジェクト属性データを送信する（Ｓ１６１）。

前記ＡＲオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、２Ｄイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ＡＲオブジェクト属性データは、前記ＡＲオブジェクトの識別子、前記ＡＲオブジェクトが位置する座標、前記ＡＲオブジェクトのカテゴリー、前記ＡＲオブジェクトの詳細情報を含んでいてもよい。前記ＡＲオブジェクト属性データは、ＡＲオブジェクトと同じ識別子が与えられて管理されてもよい。

携帯端末１００は、ＡＲアプリケーションを起動して、ＡＲコンテンツ提供サーバー２００から受信されたＡＲオブジェクト属性データの識別子、座標、カテゴリー及び詳細情報に基づいて、前記ＡＲオブジェクトをディスプレイしてもよい。

ユーザーが前記ＡＲオブジェクトを選択する場合、前記ＡＲオブジェクトの詳細情報をディスプレイしてもよい。前記詳細情報は、既に保存されたテキストであってもよい。

すなわち、本発明は、ユーザーが自ら編集したイメージを撮影して、新たな方式で拡張現実コンテンツを提供することができ、編集されたイメージに埋め込まれたマーカーを識別して、マーカーに対応する拡張現実コンテンツを提供することにより、ユーザーの個性が反映された拡張現実コンテンツを提供することができる。

図２は、本発明を説明するために携帯端末のディスプレイ部に表示されるイメージ編集画面及び編集後のイメージを示す図である。

図２の（ａ）及び（ｂ）を参照すると、携帯端末１００は、ディスプレイ部１２０の上に写真を選択して表示してもよく、イメージ編集画面モードの場合、多数のテーマを有するフレームを選択してもよい。例えば、ディスプレイ部１２０の下段にアイコン１２１を並べてもよく、前記アイコンは、多数のテーマを選択可能なように表示されてもよい。このとき、アイコン１２１のうち「聖誕祭」を選択する場合、編集後のイメージは、聖誕祭と関連する拡張現実オブジェクトを指示するマーカーを有するフレーム１２３が追加されて編集されてもよい。

図３は、本発明の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。

端末１００は、焼き付け装置から出力された印刷物５００を撮影し、端末１００のマーカー識別部は、印刷物５００のフレームに埋め込まれたマーカーを識別し、ＡＲコンテンツ提供サーバー２００から受信されたＡＲオブジェクトをディスプレイする。

前記ＡＲオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、２Ｄイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ＡＲオブジェクト属性データは、前記ＡＲオブジェクトの識別子、前記ＡＲオブジェクトが位置する座標、前記ＡＲオブジェクトのカテゴリー、前記ＡＲオブジェクトの詳細情報を含んでいてもよい。

図４は、本発明の他の実施形態により携帯端末のディスプレイ部に表示される拡張現実イメージを示す図である。

図４を参照すると、ユーザーがＡＲオブジェクト１３１ａを選択すれば、ユーザーが既に入力した詳細情報１３１ｄが更にディスプレイされてもよい。例えば、前記詳細情報１３１ｄは、テキストの形で示されているが、本発明はこれに何等限定されるものではなく、ＡＲオブジェクト１３１ａと関連する映像又はイメージを更にディスプレイしてもよい。

図５は、本発明のユーザー編集イメージを用いた拡張現実コンテンツの提供方法を提供するシステムの構成を示すブロック図である。

図５を参照すると、本発明のシステムは、携帯端末１００と、ＡＲコンテンツ提供サーバー２００と、焼き付け装置３００と、を備える。

携帯端末１００は、カメラ部１１０と、ディスプレイ部１２０と、マーカー識別部１３０と、通信部１４０と、イメージ編集部１５０と、制御部１６０と、を備える。カメラ部１１０は、イメージを撮影して保存してもよく、印刷物を撮影して映像を取得してもよい。ディスプレイ部１２０は、カメラ部から撮影された映像及び前記ＡＲオブジェクトをディスプレイしてもよい。前記ＡＲオブジェクトは、ユーザーの入力により縮尺が変更されてもよい。例えば、縮尺が小さくなるにつれて、より近い関心情報を表示してもよく、縮尺が大きくなるにつれて、より多くの関心情報を表示してもよい。

マーカー識別部１３０は、取得した映像からマーカーを認識し、通信部１４０は、前記マーカーに対応するＡＲオブジェクトをＡＲコンテンツ提供サーバー２００に要請してもよい。マーカーは、拡張現実コンテンツと接続されるキーとなるものであって、様々な媒体をマーカーとして活用することができる。例えば、映画ポスター、特定のウェブページ画面、新聞や本などの印刷物の特定のイメージが挙げられ、実施形態においては、ユーザーが自ら編集したイメージフレームであってもよい。マーカーを識別すれば、当該マーカーのＩＤ値を取り出してＡＲコンテンツ提供サーバー２００にマーカーに関する情報を引き渡すことができる。

通信部１４０は、編集イメージを焼き付け装置３００に送信してもよく、ＡＲコンテンツ提供サーバーからＡＲオブジェクト及びＡＲオブジェクト属性データを受信してもよい。

イメージ編集部１５０は、イメージにマーカーが埋め込まれたフレームを追加してもよい。

制御部１６０は、アプリケーションソフトウェアの起動に関連するプロセスの処理を制御し、端末１００の各構成要素の動作を制御する。制御部１４０は、アプリケーションソフトウェアだけではなく、ワールドワイドウェブを通じてウェブブラウザーを用いて起動に関連するプロセスの処理を制御してもよい。

入力部（図示せず）は、入力手段により行われる入力イベントを受信する。入力部は、タッチスクリーンであってもよく、タッチイベントを制御部１６０に引き渡す。端末１００がデスクトップＰＣ、ラップトップＰＣである場合、入力部は、マウスの入力イベントを受信してもよい。

本発明の明細書における携帯端末１００は、コンピューティング装置であって、スマートフォン、タブレットＰＣのようにオーペレーティングシステムソフトウェア及び様々なアプリケーションソフトウェアにより定められたプロセッサーを起動してもよく、持ち運び易いことから、移動中であっても手軽に活用可能なモバイルコンピューティングデバイスが適用可能であるが、本発明はこれに限定されるものではなく、デスクトップＰＣ、ラップトップＰＣも適用可能である。

ＡＲコンテンツ提供サーバー２００には、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）コンテンツが３次元立体映像情報として保存されており、既に保存された編集イメージに基づいて、前記マーカーに対応する拡張現実コンテンツであるＡＲオブジェクトを取り出し、取り出されたＡＲオブジェクト及びＡＲオブジェクト属性データを送信してもよい。

焼き付け装置３００は、近距離無線通信手段を備える携帯用焼き付け装置であって、備えられる近距離無線通信手段を介して携帯端末１００から受信したイメージを焼き付けて印刷物を出力してもよい。前記近距離無線通信手段は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標）））やＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ， ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（Ｚｉｇｂｅｅ（ＩＥＥＥ ８０２．１５．４））（登録商標）、ワイファイ（Ｗｉ−Ｆｉ）などの近距離無線通信プロトコールのうちのいずれか一つであってもよいが、本発明はこれに何等限定されるものではなく、有線通信を用いてイメージを受信するようになっていてもよい。

図６は、本発明の他の実施形態によりユーザー編集イメージを用いた拡張現実コンテンツの提供方法を説明する手順図である。

図６を参照すると、ユーザー編集イメージを用いた端末の拡張現実の提供方法は、第１の端末１００ａがカメラ部を用いてイメージを撮影するか、又は既に撮影されたイメージを選択し（Ｓ５１０）、前記イメージに多数のマーカーを有するフレームを追加する（Ｓ５２０）。

次いで、第１の端末１００ａは、フレームを追加した編集イメージをＡＲコンテンツ提供サーバー２００ａ及び焼き付け装置３００ａに送信する（Ｓ５２１、Ｓ５２３）。焼き付け装置３００ａは、受信された前記編集イメージを焼き付けて印刷物を出力してもよく、前記印刷物を第２の端末４００ａのユーザーに提供する。ＡＲコンテンツ提供サーバー２００ａは、受信された前記編集イメージをデータベースに保存する。

第２の端末４００ａは、前記印刷物を撮影して映像を取得し（Ｓ５４０）、前記映像からマーカーを識別し（Ｓ５５０）、前記マーカーに対応するＡＲオブジェクトをＡＲコンテンツ提供サーバー２００ａに要請する（Ｓ５５１）。

ＡＲコンテンツ提供サーバー２００ａは、既に保存された編集イメージに基づいて、前記マーカーに対応するＡＲオブジェクトを取り出し（Ｓ５６０）、取り出されたＡＲオブジェクト及びＡＲオブジェクト属性データを送信する（Ｓ５６１）。

前記ＡＲオブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、２Ｄイメージ、ステッカー、動画のうちの少なくとも一つ以上を含んでいてもよく、前記ＡＲオブジェクト属性データは、前記ＡＲオブジェクトの識別子、前記ＡＲオブジェクトが位置する座標、前記ＡＲオブジェクトのカテゴリー、前記ＡＲオブジェクトの詳細情報を含んでいてもよい。

第２の端末４００ａは、ＡＲコンテンツ提供サーバー２００から受信されたＡＲオブジェクト属性データの識別子、座標、カテゴリー及び詳細情報に基づいて、前記ＡＲオブジェクトをディスプレイしてもよい。なお、ユーザーが前記ＡＲオブジェクトを選択する場合、前記ＡＲオブジェクトの詳細情報をディスプレイしてもよい。前記詳細情報は、既に保存されたテキストであってもよい。

本発明は、図示の実施形態に基づいて説明されたが、これは単なる例示的なものに過ぎず、この技術分野における通常の知識を有する者であれば、これから種々の変形例及び均等な他の実施形態が採用可能であるということが理解できる筈である。よって、本発明の真の技術的な保護範囲は、添付の登録請求範囲の技術的な思想により定められるべきである。

１００ 携帯端末
１１０ カメラ部
１２０ ディスプレイ部
１３０ マーカー識別部
１４０ 通信部
１５０ イメージ編集部
１６０ 制御部
２００ ＡＲコンテンツ提供サーバー
３００ 焼き付け装置

Claims (7)

1. ユーザー編集イメージを用いた端末の拡張現実の提供方法において、
   （ａ）前記端末にインストールされたアプリケーションを起動して、カメラ部から撮影するイメージ又は既に撮影されたイメージに多数のマーカーを有するフレームを追加するステップと、
   （ｂ）前記フレームを追加したイメージの焼き付けを焼き付け装置に要請するステップと、
   （ｃ）前記アプリケーションを起動して、前記焼き付け装置から焼き付けられた印刷物を撮影して映像を取得するステップと、
   （ｄ）前記映像から前記マーカーを識別し、拡張現実（ＡＲ）コンテンツ提供サーバーに前記マーカーに対応する拡張現実（ＡＲ）オブジェクト及び拡張現実（ＡＲ）オブジェクト属性データを要請するステップと、および、
   （ｅ）前記拡張現実（ＡＲ）コンテンツ提供サーバーから受信された拡張現実（ＡＲ）オブジェクトをディスプレイするステップと、
   を含むユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
2. 前記拡張現実（ＡＲ）オブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、２Ｄイメージ、ステッカー、動画のうちの少なくとも一つ以上を含む請求項１に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
3. 前記拡張現実（ＡＲ）オブジェクト属性データは、前記拡張現実（ＡＲ）オブジェクトの識別子、前記拡張現実（ＡＲ）オブジェクトが位置する座標、前記拡張現実（ＡＲ）オブジェクトのカテゴリー、前記拡張現実（ＡＲ）オブジェクトの詳細情報を含む請求項１に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
4. （ｆ）ユーザーが前記拡張現実（ＡＲ）オブジェクトを選択する場合、前記拡張現実（ＡＲ）コンテンツ提供サーバーから受信された前記拡張現実（ＡＲ）オブジェクトの詳細情報をディスプレイするステップを更に含む請求項１に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供方法。
5. ユーザー編集イメージを用いた端末の拡張現実の提供システムにおいて、
   マーカーを識別し、前記マーカーに対応する拡張現実（ＡＲ）オブジェクトをディスプレイするアプリケーションがインストールされる携帯端末と、
   前記携帯端末から前記マーカーに対応する拡張現実（ＡＲ）オブジェクト及び拡張現実（ＡＲ）オブジェクト属性データを送信する拡張現実（ＡＲ）コンテンツ提供サーバーと、および、
   前記携帯端末から受信されたイメージを焼き付ける焼き付け装置と、
   を備え、
   前記携帯端末は、
   イメージに多数のマーカーを有するフレームを追加するイメージ編集部と、
   前記編集されたイメージを焼き付け装置及び拡張現実（ＡＲ）コンテンツ提供サーバーに送信する通信部と、
   前記焼き付け装置から提供された印刷物を撮影し、映像を取得するカメラ部と、
   前記映像からマーカーを識別するマーカー識別部と、および、
   前記拡張現実（ＡＲ）コンテンツ提供サーバーから前記拡張現実（ＡＲ）オブジェクト及び前記拡張現実（ＡＲ）オブジェクト属性データを受信し、前記拡張現実（ＡＲ）オブジェクト属性データに基づいて前記拡張現実（ＡＲ）オブジェクトをディスプレイするディスプレイ部と、
   を備えるユーザー編集イメージを用いた拡張現実コンテンツの提供システム。
6. 前記拡張現実（ＡＲ）オブジェクトは、前記マーカーに対応する動的イメージ、サウンド、テキスト、２Ｄイメージ、ステッカー、動画のうちの少なくとも一つ以上を含む請求項５に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供システム。
7. 前記拡張現実（ＡＲ）オブジェクト属性データは、前記拡張現実（ＡＲ）オブジェクトの識別子、前記拡張現実（ＡＲ）オブジェクトが位置する座標、前記拡張現実（ＡＲ）オブジェクトのカテゴリー、前記拡張現実（ＡＲ）オブジェクトの詳細情報を含む請求項５に記載のユーザー編集イメージを用いた拡張現実コンテンツの提供システム。