JP2021510442A - 深度データを用いた拡張現実画像提供方法及びプログラム - Google Patents

Abstract

本発明は深度データを用いた拡張現実画像提供方法及びプログラムに関する。本発明の一実施例による深度データを用いた拡張現実画像提供方法は、クライアントがサーバから仮想画像データを受信する段階（Ｓ１２０：仮想画像データ受信段階）と、クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する段階（Ｓ１４０：表示位置決定段階）と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する段階（Ｓ１６０：仮想画像データ表示段階）とを含む。

Description

本発明は、深度データを用いた拡張現実画像提供方法及びプログラムに関する。

拡張現実は、現実世界に文字やグラフィックのような仮想の物体を重ねて１つの画像として見せる技術である。拡張現実技術は、２０００年代半ばまでは研究開発と試験適用段階にあったが、近年技術環境が整うにつれ、実用化段階に突入した。特に、近年のスマートフォンの登場及びインターネット技術の発達に伴い、拡張現実技術が注目され始めた。

拡張現実を実現する最も一般的な方法は、スマートフォンのカメラを用いて現実の世界を撮影し、その上に既に生成されたコンピュータグラフィックをオーバーレイして出力することによって、ユーザに仮想と現実が混在するかのように感じさせる方法である。このような方法は、ユーザが現実の画像をスマートフォンのカメラを用いて容易に獲得でき、コンピュータグラフィックもスマートフォンのコンピュータとしての機能を通じて容易に実現可能であるため、大半の拡張現実アプリケーションがスマートフォンで実現されている。また、近年、メガネ型のウェアラブルデバイスが登場するにつれ、拡張現実技術への関心が高まっている。

拡張現実画像は、現実空間の正確な位置に拡張されなければユーザに現実感を提供できない。しかし、ユーザが動きによって拡張現実画像が結合される対象体（例えば、マーカ）の空間上の配置が変わる場合、特定時点の画像フレームが欠落すれば、適切でない位置に拡張現実画像が配置される恐れがあり、不自然に現実空間に表示され、揺れることによって現実感が低下してしまう。そこで、本発明は、深度データを用いて２次元画像である仮想画像データを現実空間内の適切な位置に配置し、ユーザの動きやフレームの欠落時にも現実感があり、揺れない拡張現実画像を提供する深度データを用いた拡張現実画像提供方法及びプログラムを提供することを目的とする。

また、本発明の他の目的は、仮想現実画像の各ピクセルに対して追加された深度データを基に透明処理する領域を指定することによって、別途のマスキング（Ｍａｓｋｉｎｇ）データがなくても拡張現実用画像を生成できる深度データを用いた拡張現実画像提供方法及びプログラムを提供することにある。

更に、本発明の別の目的は、仮想現実用画像と別途に現実空間に拡張して表現される拡張現実用画像を別途製作することなく、仮想現実コンテンツを変形して拡張現実コンテンツとして活用するための深度データを用いた拡張現実画像提供方法及びプログラムを提供することにある。

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。

本発明の一実施例による深度データを用いた拡張現実画像提供方法は、前記クライアントがサーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信段階と、前記クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する表示位置決定段階と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する仮想画像データ表示段階とを含む。

また、他の実施例として、前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれ、前記深度データ及び前記色データは、同期して伝送されることを特徴とする。

更に、他の実施例として、前記仮想画像データは、撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した２次元イメージである。

また、他の実施例として、前記表示位置決定段階は、前記クライアントが特定の深さを透明度の調節基準として決定する段階と、前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階とを含み、前記透明度の調節基準は、画面上に表示されるコンテンツの境界線を設定する。

更に、他の実施例として、前記深さ範囲は、複数の深さを前記透明度の調節基準として設定し、前記複数の深さを基準に分けられる複数の領域である。

また、他の実施例として、前記仮想画像データは獲得位置データ及び画像方向データを更に含み、前記表示位置決定段階は、前記クライアントで得られた現在位置データと前記獲得位置データとを比較し、前記クライアントで得られた再生方向データと前記画像方向データとを比較する段階と、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階とを含む。

更に、他の実施例として、前記表示位置決定段階は、前記クライアントが現実空間の光照射方向を基に前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含む。

また、他の実施例として、前記クライアントがカメラにより得た現実画像データと前記仮想画像データを結合して結合画像データを出力する装置である場合、前記クライアントが現実画像データを出力遅延時間に基づいて補正する段階を更に含み、前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間である。

本発明の他の実施例による深度データを用いた拡張現実画像提供プログラムは、媒体に格納され、上記の深度データを用いた拡張現実画像提供方法をハードウェアであるコンピュータに実行させる。

本発明の他の実施例による深度データを用いた拡張現実画像提供装置は、サーバから仮想画像データを受信する仮想画像データ受信部と、深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する制御部と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する画像出力部とを含み、前記仮想画像データは色データ及び深度データを含む。

本発明の更に他の実施例による深度データを用いた拡張現実画像提供方法は、前記サーバが前記クライアントに特定時点に提供される前記仮想画像データのピクセル毎の色データを獲得する段階と、前記仮想画像データのピクセル毎の深度データを獲得して格納する段階と、前記サーバが前記色データ及び前記深度データを同期化して前記クライアントに伝送する段階とを含み、前記深度データは、第２時点の第２仮想画像データが受信されないと、第１時点の第１仮想画像データに基づいて補正時に用いられ、前記第２時点は、前記第１時点から仮想画像データの伝送周期が経過した時点である。

また、他の実施例として、前記仮想画像データは獲得位置データ及び画像方向データを更に含み、前記クライアントは、現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、前記現在位置データ及び前記再生方向データは、前記クライアントでリアルタイムに又は単位時間毎に獲得する。

上記の本発明は、以下のような多様な効果を奏する。

第一に、ユーザの動きによって拡張現実画像が結合される対象体（例えば、マーカ）の空間上の配置が変わる場合、特定時点に欠落した画像フレームに代わる補正画像データを提供し、拡張現実画像が現実空間の正確な位置に表示されて揺れることなく自然に再生できるという効果を奏する。

第二に、色データからなる２次元の仮想画像データに深度データを結合することによって、２次元の仮想画像データを３次元の現実空間に自然に表示できる。即ち、拡張現実画像再生装置が３次元の現実空間を認識して２次元画像の各ピクセルを適切な深さに表示することによって、３次元拡張現実を実現する効果を提供できる。

第三に、仮想現実用に製作された仮想画像データにおいて各ピクセルに適用された深度データを基に透明処理の水準を決定できるため、別途の拡張現実画像に製作する必要なく、仮想画像データの獲得時に得られた深度データを基に仮想現実用画像を直ぐに拡張現実用として活用できる。

本発明の一実施例による拡張現実画像システムの構造図である。 本発明の一実施例によるクライアントが深度データを用いた拡張現実画像を提供する方法の順序図である。 本発明の一実施例による深度データを基に仮想画像データの透明度を調節する過程に対する順序図である。 本発明の一実施例によって深度データを基に透明度の調節基準を設定し、領域を分割した例示図である。 本発明の一実施例によって領域指定データを入力した例示図である。 本発明の一実施例による各ピクセルの空間上の位置を調節する過程に対する順序図である。 本発明の一実施例によって第１フレームの色データ及び深度データを基に欠落した第２フレームを生成する例示図である。 本発明の一実施例によるサーバが深度データを含む仮想画像データを生成して提供する方法の順序図である。 本発明の一実施例によって第１フレームと第２フレームとの間に第１.５フレームを追加する過程を示す例示図である。

以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求の範囲の範囲内で定義されるに過ぎない。明細書全体に亘る同一の参照符号は同一の構成を示す。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

本明細書で用いられる用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。

本明細書において「仮想画像データ」は、仮想現実又は拡張現実を実現するために製作された画像データを意味する。「仮想画像データ」は、カメラにより現実空間を撮影することでも生成でき、モデリング過程により製作することもできる。

本明細書において「第１仮想画像データ」は、第１時点にサーバからクライアントに提供される仮想画像データを意味する。本明細書において「第２仮想画像データ」は、第２時点（即ち、第１時点から画像受信周期である単位時間が経過した時点）にサーバからクライアントに提供される仮想画像データを意味する。

本明細書において「深度データ」は３次元空間上の深さについての値であって、特定の仮想画像データ内の分割される細部単位のそれぞれ（例えば、各ピクセル）に対して付与される値である。

本明細書において「色データ」は、仮想画像データが画面に表示されるときの色についてのデータである。例えば、色データを、仮想画像データのピクセル毎に含めることができる。また、「色データ」は、ＲＧＢ（Ｒｅｄ-Ｇｒｅｅｎ-Ｂｌｕｅ）色モデルなどの色を表現できる特定の色モデルから構成できる。

本明細書において「現実画像データ」は、現実空間を撮影して獲得される画像データを意味する。

本明細書において「クライアント」は、サーバから仮想画像データを受信して再生する拡張現実画像再生装置を意味する。即ち、「クライアント」は、ユーザの目に直接提供される現実イメージ又は現実空間を撮影して獲得された現実画像データと拡張現実コンテンツを共に表示して提供できるあらゆる装置を意味する。

以下、図面を参照して、本発明の実施例による深度データを用いた拡張現実画像提供方法及びプログラムについて詳細に説明する。

図１は、本発明の一実施例による拡張現実画像システムの構造図である。

図２は、本発明の一実施例による深度データを用いた拡張現実画像提供方法の順序図である。

図１及び図２を参照すれば、本発明の一実施例による深度データを用いた拡張現実画像提供方法は、クライアント２００がサーバ１００から仮想画像データを受信する段階（Ｓ１２０：仮想画像データ受信段階）と、クライアント２００が深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する段階（Ｓ１４０：表示位置決定段階）と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する段階（Ｓ１６０：仮想画像データ表示段階）とを含む。以下、各段階に関する詳細な説明を記述する。

クライアント２００がサーバ１００から仮想画像データを受信する（Ｓ１２０：仮想画像データ受信段階）。前記仮想画像データは、色データ及び深度データを含む。

一実施例として、前記仮想画像データは、撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した２次元イメージである。即ち、クライアント２００は、深度データを含む２次元イメージである仮想画像データを受信して３次元である現実空間内に拡張現実画像として生成する。これにより、クライアント２００は、サーバ１００から３次元でモデリングされた高容量の３次元画像データを受信することなく、３次元の現実空間内に現実感ある拡張現実を実現できる。

一実施例として、前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれる。即ち、サーバ１００は、色データチャネルと深度データチャネルを介して仮想画像データの各ピクセルについて色データ及び深度データをクライアント２００に伝送する。このとき、サーバ１００は、深度データチャネルを介して伝送される深度データと色データチャネルを介して伝送される色データを同期してクライアント２００に伝送する。クライアント２００は、色データチャネルと深度データチャネルを介して同時に受信されたピクセル毎の色データと深度データを該当時点の仮想画像データとして獲得する。

クライアント２００が前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する（Ｓ１４０：表示位置決定段階）。即ち、クライアント２００は、クライアント２００を通じてユーザに見られる現実空間における仮想画像データの各ピクセルに対応する位置に、深度データに対応する深さに色データを表示すると決定する。具体的には、前記クライアント２００が透明な画面上に仮想画像データを出力する装置（例えば、グラス型ウェアラブルデバイス）である場合、仮想画像データは前記装置の画面の大きさに対応するので、クライアント２００は、仮想画像データの各ピクセルを画面の対応する各地点に深度データを基に出力する。

また、他の実施例として、図３に示すように、前記表示位置決定段階（Ｓ１４０）は、前記クライアント２００が特定の深さを透明度の調節基準として決定する段階（Ｓ１４１）と、前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階（Ｓ１４２）とを含む。即ち、クライアント２００は、現実空間内に所望の仮想画像データの所望する部分のみを出力するために深度データを基に出力領域を指定する。

まず、クライアント２００が特定の深さを透明度の調節基準として決定する（Ｓ１４１）。前記透明度の調節基準は、画面上に表示されるコンテンツの境界線に該当する深度値とできる。例えば、図４に示すように、クライアント２００が仮想画像データ内に含まれているキャラクタのみを拡張現実コンテンツとして表示しようとする場合、クライアント２００は、キャラクタの境界線に該当するピクセルの深度データを透明度の調節基準として決定する。これにより、クライアント２００は、仮想画像データ内のキャラクタ（例えば、対象体２）のみを画面に出力する一方で、残りの領域を透明にできる。

その後、クライアント２００が透明度の調節基準に基づいて深さ範囲を区別する（Ｓ１４２）。即ち、クライアント２００は、特定の深さよりも近い領域と遠い領域とに領域を分ける。クライアント２００は、複数の深さを前記透明度の調節基準として設定することもできる。例えば、図４に示すように、２つの深度値（例えば、深度値Ａと深度値Ｂ（ＢはＡよりも大きい値）の２つの深度値）に透明度の調節基準を設定すると、クライアント２００は深さＡよりも近い第１領域、深さＡと深さＢとの間の第２領域及び深さＢよりも遠い第３領域に深さ範囲を区別する。

その後、クライアント２００は、区別された深さ範囲に対して透明処理を行うか否かを決定する（Ｓ１４２）。一実施例として、特定の深度値（例えば、深度値Ａ）を基準に深さ範囲を区別する場合、クライアント２００は深さＡよりも遠い領域を透明処理領域として決定し、深さＡよりも近い範囲の画像のみ画面上に表示されるようにする。また、他の実施例として、２つ以上の透明度の調節基準を設定することによって、３つ以上の深さ範囲に分けられる場合、クライアント２００は、各深さ範囲を透明に処理するか否かを決定する。また、クライアント２００は、それぞれの深さ範囲に透明度の数値を決定して特定の深さ範囲に含まれる画像コンテンツを現実空間と共に見えるように半透明に処理することもできる。

これにより、クライアント２００は、深度データを通じて仮想画像データ内の所望のコンテンツ（例えば、対象体）のみを抽出して現実画像データ上に表示できる。即ち、クライアント２００は、仮想画像を現実空間内の適切な位置に表示するために共に受信される深度データを用いてマスキング領域を設定するので、クライアント２００は、サーバ１００から仮想画像データ内の一部領域をマスキングするためのマスキングデータを別途受信しなくてもよい。例えば、既存の仮想現実画像の実現のために生成された画像に深度データのみを追加して拡張現実画像の実現に活用しようとする場合、サービス提供者は、既存の仮想現実画像と同期された各ピクセルの深度データのみ生成し、仮想画像データの特定の対象体の境界に該当する特定の深さを設定することによって、仮想現実画像を一部領域がマスキング（Ｍａｓｋｉｎｇ）された拡張現実画像として実現できる。

また、他の実施例として、図５に示すように、クライアント２００は、領域指定データを特定の深度データと共に透明度の調節基準として活用する。仮想画像データは、現実空間に拡張させようとする対象体（例えば、図５の第１オブジェクト）と同一の深度値を有する他の対象体（例えば、図５の第２オブジェクト）を含むことができる。このとき、深度データだけで現実空間に透明処理がなされず、露出される領域を設定すれば、表示されてはならない対象体が現実空間内に共に表示される恐れがある。従って、クライアント２００は、サーバ１００から透明に処理すべき２次元画面内の領域に対するデータ（即ち、領域指定データ）を受信し、指定された２次元領域に含まれている画像コンテンツのうち表示する領域として指定された深さ範囲の画像コンテンツのみを画面上に表示できる。深度データにより特定の指定領域内で透明処理されるべき部分を詳細に区別できるので、サーバ１００は、概略的な領域のみを指定する形状（例えば、矩形状）に領域指定データを設定してクライアント２００に伝送する。

更に、他の実施例として、前記表示位置決定段階（Ｓ１４０）で、ユーザによりクライアント２００が注視される方向と仮想画像データが撮影された方向とが一致しない場合、クライアント２００が仮想画像データを画面上に表示するのに適切な形状に調節できる。

このために、前記仮想画像データは、獲得位置データ及び画像方向データを更に含むことができる。前記獲得位置データは、仮想画像データを撮影するか、仮想画像データを生成（即ち、モデリング（Ｍｏｄｅｌｉｎｇ））する際のカメラの位置を意味する。前記画像方向データは、前記獲得位置において仮想画像データが得られた方向を意味する。例えば、カメラ装置により仮想画像データが撮影される場合、画像方向データは特定の獲得位置からカメラが眺めた方向であって、カメラ装置に含まれているセンサにより獲得できる。また、例えば、仮想画像データを外部サーバ１００でモデリング過程を通じて生成する場合、画像方向データは、獲得位置を基準にモデリング時に該当仮想画像データに対して定められた方向とできる。

前記獲得位置データ及び画像方向データを用いる表示位置決定段階（Ｓ１４０）の一実施例として、図６に示すように、前記クライアント２００で得られた現在位置データと前記獲得位置データとを比較し、前記クライアント２００で得られた再生方向データと前記画像方向データとを比較する段階（Ｓ１４３）と、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階（Ｓ１４４）とを含む。

まず、クライアント２００が現在位置データと前記獲得位置データとを比較し、前記クライアント２００で得られた再生方向データと前記画像方向データとを比較する（Ｓ１４３）。前記現在位置データは、クライアント２００で多様な測位方式のうちの少なくとも何れか１つに基づいて得られる位置データである。前記再生方向データは、クライアント２００内部のモーションセンサにより得られるデータであって、クライアント２００が眺めるリアルタイム方向に対するデータである。クライアント２００は、仮想画像データが得られた位置及び撮影方向（即ち、画像方向）と現在位置及び眺める方向（即ち、再生方向）とを比較して差値を算出する。即ち、クライアント２００は、画像が得られた位置と現在位置との間の差（例えば、空間上の位置変化）を算出し、クライアント２００が眺める方向と仮想画像データが得られた方向との間の差（例えば、方位値差）を算出する。

その後、クライアント２００は、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する（Ｓ１４４）。クライアント２００は、現在位置データ及び再生方向データに符合するように仮想画像データの各ピクセルの位置を調節する。クライアント２００は、各ピクセルの２次元画面上の位置のみならず、各ピクセルの深度データに比較結果を反映して現実空間内に表示される深さを調節できる。

これにより、ユーザが現実空間でクライアント２００から拡張現実画像を見る位置及び方向が仮想画像データを獲得した位置及び方向と正確に一致しなくても、クライアント２００が仮想画像データ内の各ピクセルの画面内の表示位置を調節して正確な位置に拡張現実コンテンツを表示できる。

また、図７に示すように、仮想画像データ内に単位時間間隔で連続的に提供されるフレームの一部が欠落する場合（例えば、第１時点に第１仮想画像データ（即ち、第１フレーム）が受信された後に続いて第２時点に提供されるべき第２仮想画像データ（即ち、第２フレーム）が欠落した場合）、クライアント２００は、第１仮想画像データに含まれている獲得位置データ及び画像方向データと第２時点にクライアント２００で得られる現在位置データと再生方向データとを比較し、比較結果（即ち、空間上の位置差及び注視方向の差）に基づいて第１仮想画像データ内の各ピクセルの位置を調節する。前記第２時点は、前記第１時点から仮想画像データの伝送周期が経過した時点である。即ち、クライアント２００は、第１フレーム（即ち、第１仮想画像データ）に含まれている色データと深度データを有する各ピクセルを第１フレームに含まれている獲得位置データ及び画像方向データと第２時点にクライアント２００で得られる現在位置データ及び再生方向データとを比較した比較結果に基づいて移動させて、欠落した第２フレームに代わる第２補正画像データを生成して提供する。これにより、サーバ１００から提供される仮想画像データが欠落した場合に、以前の仮想画像データを補正して代わりに用いることによって、拡張現実コンテンツが自然に提供されるようにできる。

具体的には、特定の再生時点（即ち、第２時点）の仮想画像データ（即ち、第２仮想画像データ）が欠落して再生されると、拡張現実コンテンツが現実空間の正確な位置に表示されず、単位時間の経過後（即ち、第３時点）に仮想画像データが受信されることによって、拡張現実コンテンツが突然位置を移動し、画像の揺れが発生する。即ち、第２フレームが欠落することによって、第１仮想画像データ（即ち、第１フレーム）から第３仮想画像データ（即ち、第３フレーム）に直接変更されると、対象体が突然移動するかのように表現され、ユーザが目眩を感じる恐れがある。第１時点の第１仮想画像データを用いて第２時点に補正画像データを提供することによって、ユーザは受信されていない画像フレーム（即ち、第２仮想画像データ）を代替フレーム（即ち、第１仮想画像データに基づく第２補正画像データ）で満たして揺れることなく、現実空間上の正確な位置に配置される拡張現実コンテンツを提供することができる。特に、クライアント２００がサーバ１００から無線通信を介して仮想画像データを受信することによって、仮想画像データの欠落が多数発生する場合により効果を発揮できる。

また、他の実施例として、図９に示すように、クライアント２００は、サーバ１００で生成されて提供されるフレーム（即ち、仮想画像データ）間を満たす追加のフレームを生成して提供できる。例えば、サーバ１００で１秒当たり６０フレームのみを提供する場合、クライアント２００は、サーバ１００から提供されるフレーム間の時点に該当する追加のフレームを生成し、１秒当たり１２０フレームに出力できる。即ち、サーバの性能又はネットワークの帯域幅の制限などの様々な要素によりサーバ１００はクライアント２００に限られている数のフレーム（例えば、１秒当たり６０フレーム）のみを提供せざるを得ず、この際にクライアント２００で自ら１秒当たりのフレーム数を増やしてより自然な画像を生成できる。

第１フレームと第２フレームとの間の追加のフレーム（即ち、第１.５フレーム）は、第１フレームの補正により生成される。即ち、クライアント２００は、第１フレーム（即ち、第１仮想画像データ）に含まれている獲得位置データ及び画像方向データとフレームを追加しようとする第１.５時点にクライアント２００で得られる現在位置データと再生方向データとを比較して比較結果（即ち、空間上の位置差及び注視方向の差）を生成する。その後、クライアント２００は、前記比較結果を基に第１フレーム（即ち、第１仮想画像データ）内の各ピクセルの位置を調節して第１.５フレームを生成する。また、他の実施例として、前記表示位置決定段階（Ｓ１４０）は、前記クライアント２００が前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含む。即ち、クライアント２００は、現実空間の光照射方向又は各ピクセルの配置位置（即ち、３次元空間上にピクセルが配置される位置）を基に各ピクセルの色又は彩度を調節する。これにより、クライアント２００は、サーバ１００から提供される仮想画像データを現実空間に自然に表示されるようにすることができる。

クライアント２００が前記仮想画像データを前記決定された位置に基づいて現実空間上に表示する（Ｓ１６０：仮想画像データ表示段階）。一実施例として、クライアント２００が現実空間を透明なディスプレイを通じて直接眺めながら透明なディスプレイに表示される仮想画像データを眺める装置（例えば、グラス型ウェアラブルデバイス）である場合、クライアント２００は、各ピクセルが表示される位置が決定された拡張現実コンテンツ（例えば、仮想画像データに深度データを基にマスキング処理を行った画像コンテンツ）を透明ディスプレイ上に表示する。

また、他の実施例として、前記クライアント２００がカメラにより得た現実画像データと前記仮想画像データを結合した結合画像データを出力する装置である場合（例えば、スマートフォン又はタブレットＰＣである場合）、前記クライアント２００が現実画像データを出力遅延時間に基づいて補正する段階を更に含む。前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間である。即ち、クライアント２００が現実画像データをクライアント２００の動きを反映して同一時点にクライアント２００が注視する現実空間と画面上に表示される現実画像データを一致するように補正する。例えば、クライアント２００がカメラを通じて画面の大きさと同じ現実画像データを獲得する場合、クライアント２００の動きを基に現実画像データを移動（ｓｈｉｆｔ）させて画面上に表示する。また、例えば、クライアント２００が画面の大きさよりも大きな現実画像データを獲得する場合、クライアント２００は、得られた現実画像データのうちクライアント２００の動きを反映させて画面に出力すべき領域を抽出して表示する。

図１を参照すれば、本発明の他の実施例による深度データを用いた拡張現実画像提供装置は、仮想画像データ受信部２１０と、制御部２２０と、画像出力部２３０とを含む。本発明の一実施例による拡張現実画像提供装置は、本発明の実施例による深度データを用いた拡張現実画像提供方法でのクライアント２００に該当する。以下、既に説明された構成に関する詳細な説明は省略する。

仮想画像データ受信部２１０は、サーバ１００から仮想画像データを受信する。前記仮想画像データは、色データ及び深度データを含む。仮想画像データ受信部２１０は、別途のチャネルを介して各ピクセルの色データ及び深度データを受信することができる。即ち、仮想画像データ受信部２１０は、色データチャネルを介して各ピクセルの色データ（例えば、ＲＧＢ値）を受信し、深度データチャネルを介して各ピクセルの深度データを受信する。

仮想画像データ受信部２１０は、有線又は無線通信を介して仮想画像データを受信する。無線通信を介して受信する場合、仮想画像データ受信部２１０は、無線インターネットモジュール又は近距離通信モジュールが該当する。

無線インターネットモジュールは、無線インターネット接続のためのモジュールを意味するものであって、移動端末１００に内蔵されてもよく、外装されてもよい。無線インターネット技術としては、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ-Ｆｉ（登録商標）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（登録商標）（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎ ｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ-Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ-Ａｄｖａｎｃｅｄ）などが利用できる。

近距離通信モジュールとは、近距離通信のためのモジュールのことをいう。近距離通信（ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）技術としてブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、ビーコン（Ｂｅａｃｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ；ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ（登録商標）などが利用できる。

制御部２２０は、仮想画像データ受信部２１０を介して受信された仮想画像データを処理する役割を果たす。一実施例として、制御部２２０は、前記クライアント２００が前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する。

また、制御部２２０は、深度データを基に各深さに対応するピクセルを透明処理するか否かを決定する。即ち、制御部２２０は、特定の深さ範囲に位置する対象体を除外した残りの深さ範囲に該当するピクセルを透明に処理して特定の対象体のみ画面上に表示するようにする。

更に、制御部２２０は、特定の再生時点の仮想画像データ（即ち、第２時点の第２仮想画像データ）が欠落すると、直前の仮想画像データ（即ち、第１時点の第１仮想画像データ）を用いて欠落した画像データに代わる補正画像データを生成する。また、制御部２２０は、仮想画像データの獲得位置又は画像方向（即ち、画像が獲得された方向）がクライアント２００の現在位置及びクライアント２００により注視される方向（即ち、再生方向）と一致しない場合に補正して現実空間上の正確な位置に配置される補正画像データを生成する。

画像出力部２３０は、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する。例えば、クライアント２００が現実空間を透明なディスプレイを通じて直接眺めながら画面上に表示される仮想画像データを見る装置（例えば、グラス型ウェアラブルデバイス）である場合、画像出力部２３０は、仮想画像データに基づいて生成される拡張現実コンテンツを表示する透明なディスプレイとできる。

図８は、本発明の他の実施例によるサーバ１００がクライアント２００に深度データを含む拡張現実画像を生成して提供する過程に対する順序図である。

図８を参照すれば、本発明の更に他の実施例による深度データを用いた拡張現実画像提供方法は、前記サーバ１００が前記クライアント２００に特定時点に提供される前記仮想画像データの各分割単位別の色データを獲得する段階（Ｓ２２０）と、前記仮想画像データの各分割単位別の深度データを獲得して格納する段階（Ｓ２４０）と、前記サーバ１００が前記色データ及び前記深度データを同期して前記クライアント２００に伝送する段階（Ｓ２６０）とを含む。

サーバ１００は、クライアント２００に提供する仮想画像データを生成する。仮想画像データは複数の分割単位を含み、各分割単位別に色データと深度データを含む。前記分割単位は、画像データのピクセルが該当する。前記深度データは、第２時点の第２仮想画像データが受信されないと、第１時点の第１仮想画像データに基づいて補正する時に用いられ、前記第２時点は、前記第１時点から仮想画像データの伝送周期が経過した時点である。

サーバ１００は、分割単位（例えば、ピクセル）毎の色データと深度データを獲得する（Ｓ２２０及びＳ２４０）。サーバ１００は、色データと深度データを同期してクライアント２００に伝送する（Ｓ２６０）。サーバ１００は、同期化された色データと深度データを別途のチャネルを介してクライアント２００に伝送できる。

また、他の実施例として、前記仮想画像データは、獲得位置データ及び画像方向データを更に含み、前記クライアント２００は、現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、前記現在位置データ及び前記再生方向データは、前記クライアント２００によりリアルタイムに又は単位時間毎に獲得される。

上記した本発明の一実施例による拡張現実画像提供方法は、ハードウェアであるコンピュータにて当該方法を実行するためのプログラム（又はアプリケーション）として実現され媒体に格納できる。

上記したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化したコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記各機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記各機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記の各機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある何か他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納される。また、前記媒体は、ネットワークで接続されているコンピュータシステムに分散されて分散方式でコンピュータが読み取れるコードを格納できる。

前記のような本発明によれば、以下のような多様な効果を奏する。

第一に、ユーザの動きによって拡張現実画像が結合される対象体（例えば、マーカ）の空間上の配置が変わる場合、特定時点に欠落した画像フレームに代わる補正画像データを提供し、拡張現実画像が現実空間の正確な位置に表示されて揺れることなく自然に再生できる。

第二に、色データからなる２次元の仮想画像データに深度データを結合することによって、２次元の仮想画像データを３次元の現実空間に自然に表示できる。即ち、拡張現実画像再生装置が３次元の現実空間を認識して２次元画像の各ピクセルを適切な深さに表示することによって３次元拡張現実を実現する効果を提供する。

第三に、仮想現実用に製作された仮想画像データで各ピクセルに適用された深度データを基に透明処理の水準を決定できるため、別途の拡張現実画像を製作する必要なく、仮想画像データの獲得時に得られた深度データを基に仮想現実用画像を直ぐに拡張現実用として活用できる。

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

Claims (12)

1. クライアントが拡張現実画像を提供する方法において、
   前記クライアントがサーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信段階と、
   前記クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する表示位置決定段階と、
   前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する仮想画像データ表示段階と、
   を含む深度データを用いた拡張現実画像提供方法。
2. 前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれ、
   前記深度データ及び前記色データは同期して伝送されることを特徴とする請求項１に記載の深度データを用いた拡張現実画像提供方法。
3. 前記仮想画像データは、
   撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した２次元イメージであることを特徴とする請求項１に記載の深度データを用いた拡張現実画像提供方法。
4. 前記表示位置決定段階は、
   前記クライアントが特定の深さを透明度の調節基準として決定する段階と、
   前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階と、
   を含み、
   前記透明度の調節基準は、画面上に表示されるコンテンツの境界線を設定することを特徴とする請求項１に記載の深度データを用いた拡張現実画像提供方法。
5. 前記深さ範囲は、
   複数の深さを前記透明度の調節基準として設定し、前記複数の深さを基準に分けられる複数の領域であることを特徴とする請求項４に記載の深度データを用いた拡張現実画像提供方法。
6. 前記仮想画像データは獲得位置データ及び画像方向データを更に含み、
   前記表示位置決定段階は、
   前記クライアントで得られた現在位置データと前記獲得位置データとを比較し、前記クライアントで得られた再生方向データと前記画像方向データとを比較する段階と、
   比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階と、
   を含むことを特徴とする請求項１に記載の深度データを用いた拡張現実画像提供方法。
7. 前記表示位置決定段階は、
   前記クライアントが現実空間の光照射方向を基に前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含むことを特徴とする請求項６に記載の深度データを用いた拡張現実画像提供方法。
8. 前記クライアントがカメラにより得た現実画像データと前記仮想画像データを結合して結合画像データを出力する装置である場合、
   前記クライアントが現実画像データを出力遅延時間に基づいて補正する段階を更に含み、
   前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間であることを特徴とする請求項１に記載の深度データを用いた拡張現実画像提供方法。
9. 媒体に格納され、請求項１〜８の何れか一項に記載の方法をハードウェアであるコンピュータに実行させるための深度データを用いた拡張現実画像提供プログラム。
10. 拡張現実画像を提供する装置において、
    サーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信部と、
    前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する制御部と、
    前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する画像出力部と、
    を含む深度データを用いた拡張現実画像提供装置。
11. サーバがクライアントで拡張現実を実現するための仮想画像データを生成する方法において、
    前記サーバが前記クライアントに特定時点に提供される前記仮想画像データのピクセル毎の色データを獲得する段階と、
    前記仮想画像データのピクセル毎の深度データを獲得して格納する段階と、
    前記サーバが前記色データ及び前記深度データを同期化して前記クライアントに伝送する段階と、
    を含み、
    前記深度データは、第２時点の第２仮想画像データが受信されないと、第１時点の第１仮想画像データに基づいて補正する時に用いられ、
    前記第２時点は、前記第１時点から仮想画像データの伝送周期が経過した時点である、深度データを用いた拡張現実画像提供方法。
12. 前記仮想画像データは獲得位置データ及び画像方向データを更に含み、
    前記クライアントは、
    現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、
    前記現在位置データ及び前記再生方向データは、前記クライアントでリアルタイムに又は単位時間毎に獲得することを特徴とする請求項１１に記載の深度データを用いた拡張現実画像提供方法。
    

Images