JP2018533317A - 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム - Google Patents

Abstract

本発明は、仮想現実映像伝送方法、仮想現実映像再生方法及びこれを用いたプログラムに関する。本発明の一実施形態に係る仮想現実映像伝送方法は、サーバが最初の映像フレームを生成する段階（Ｓ１２０）と、前記最初の映像フレームに相応する映像方向データを判断する段階（Ｓ１４０）と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階（Ｓ１６０）と、無線通信を介して前記最終の映像フレームをクライアントに伝送する段階（Ｓ１８０）とを、含む。本発明によれば、仮想現実映像フレームを無線で伝送することによる特定時点の映像フレームの欠落を補完でき、ユーザは特定の映像フレームが受信されない場合にも自然に仮想現実映像内の物体が動くかにように感じることができる。

Description

本発明は仮想現実映像伝送方法、仮想現実映像再生方法、及びこれらを用いたプログラムに関し、より詳細には、無線通信を介して高い仕様を要求する仮想現実コンテンツのリアルタイム伝送及び再生を行う方法又はプログラムに関する。

仮想現実（ＶＲ；Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とは、コンピュータを介して生成された仮想の空間であって、３次元の視覚効果を通じて現実感を付与する空間のことをいう。仮想現実の実現のための技術は、ユーザの入力をリアルタイムで処理して現実世界にいるかのように感じられる技術であって、マルチメディアに勝る次世代技術である。

仮想現実環境は、ユーザに臨場感あふれる没入感を提供することによって実在する物体をシミュレーションできるだけでなく、実際に存在しない物体や状況を体験できるようにする。このような仮想現実環境は、多様な分野に適用することができる。例えば、仮想現実環境は、自動車の設計やシミュレーション実験などの工学分野から医療分野、文化コンテンツ分野に至るまでまさに多様な分野で用いられている。

このような仮想現実（ＶＲ）は、見る観点に応じて仮想環境（Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ）、仮想実在（Ｖｉｒｔｕａｌ Ｐｒｅｓｅｎｃｅ）、人工世界（Ａｒｔｉｆｉｃａｌ Ｗｏｒｌｄ）、仮想世界（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ）、サイバースペース（Ｃｙｂｅｒ ｓｐａｃｅ）といった用語で使われているが、一般に、コンピュータが創り出す、実世界と類似する３次元の仮想世界を、ユーザに提供し、その仮想世界とリアルタイムで自由に操作できる入力手段と、ユーザの操作に対応して現実的感覚を提供する感覚フィードバック（Ｓｅｎｓｏｒｙ ｆｅｅｄｂａｃｋ）手段とを、提供することによって、人工的な体験と経験ができるようにする技術と言える。

近年、技術の発展に伴い、仮想現実コンテンツを利用できる装置も多数登場している。従来は、高仕様の仮想現実映像を生成するためにデスクトップなどのＰＣにケーブルでＶＲ再生装置を接続した状態で、ユーザが着用して用いていた。しかし、このような場合、ケーブルによりＶＲ装置を着用し、動ける行動半径に制限があり、ＶＲ装置を着用して外部を確認できない状態でケーブルに引っ掛かって倒れる事故などが発生し得るという問題があった。また、ＰＣがある場合のみＶＲ装置を用いて仮想現実映像を楽しむことができるという不便さが存在していた。

また、近年は、移動端末をＶＲ装置に結合し、移動端末がＶＲ映像を生成するための情報処理を行った後、ＶＲ装置に伝達する方式が登場している。これは、情報処理を行うコンピュータである移動端末と、再生するＶＲ装置とが有線で接続されるが、移動端末ＶＲ装置に結合されることができ、ケーブルにより発生する問題は解決できる。しかし、移動端末はＰＣに比べて高仕様のプログラムを駆動し難いため、高仕様のＶＲゲームを駆動したり、高い解像度のＶＲ映像を再生したりすることが難しいという問題がある。

そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、情報処理装置とＶＲ装置との間で無線通信を介して映像フレームを伝送して再生するようにし、場所及び行動半径に拘ることなく、高仕様のコンピュータからＶＲ映像の提供を受けられる仮想現実映像伝送方法、再生方法及びこれを用いたプログラムを提供することにある。

本発明の一実施形態に係る仮想現実映像伝送方法は、サーバが最初の映像フレームを生成する段階と、前記最初の映像フレームに相応する映像方向データを判断する段階と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階と、前記最終の映像フレームを無線通信を介してクライアントに伝送する段階とを含み、前記クライアントは、仮想現実映像に該当する前記最終の映像フレームを再生する装置であり、前記映像方向データは、前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータである。

また、前記クライアントから再生方向データを受信する段階を更に含み、前記映像方向データ判断段階は、前記受信した再生方向データに基づいて前記映像方向データを決定することを特徴とし、前記クライアントは、ユーザの首の動きを測定して再生方向データを獲得することを特徴とし、前記再生方向データは、特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータであり得る。

本発明の他の実施形態に係る仮想現実映像伝送方法は、サーバが特定時点の最初の全体映像を生成する段階と、前記クライアントから再生方向データを受信する段階と、前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する段階と、前記再生方向データを映像方向データとして決定し、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階と、前記最終の映像フレームを無線通信を介してクライアントに伝送する段階とを含み、前記クライアントは、ユーザの首の動きを測定して前記再生方向データを獲得する仮想現実映像に該当する前記最終の映像フレームを再生する装置であり、前記映像方向データは、前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータであり、前記再生方向データは、特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータである。

また、前記クライアントは前記クライアントにより第２時点の最終の映像フレームが受信されない場合、第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて前記第１時点の最終の映像フレームを補正することを特徴とし、前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。

更に、前記最終の映像フレーム生成段階は、前記最終の映像フレームをそれぞれの眼球用映像フレームに変換する段階と、前記クライアントの画面に対応する大きさに前記最終の映像フレームを変換する段階を更に含むことができる。

本発明の更に他の実施形態に係る仮想現実映像再生方法は、クライアントがサーバから第１時点に相応する第１最終映像フレームを受信する段階と、第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出する段階と、前記算出された差値だけ前記第１最終映像フレームを補正して受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを生成する段階と、前記第２代替映像フレームを画面に表示する段階とを含み、前記映像方向データは、前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータであり、前記再生方向データは、特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータであり、前記最終の映像フレームは、前記サーバにより前記映像方向データをメタ情報として含む映像フレームであり、前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点である。

また、前記第２代替映像フレーム生成段階は、前記差値に基づいて前記第１最終映像フレームを移動又は変換させることを特徴とすることができる。

更に、前記再生方向データ及び前記映像方向データは、高底角データ及び方位角データを含み、前記差値算出段階は、前記第２時点の再生方向データと前記第１時点の映像方向データ間の高底角及び方位角の差を算出することを特徴とすることができる。

また、前記再生方向データ及び前記映像方向データは、着用者の正面方向を軸とする回転角度である傾斜データを含み、前記代替映像フレーム生成段階は、前記第２時点の再生方向データと前記第１時点の映像方向データ間の前記傾斜データの差に基づいて、前記第１最終映像フレームを回転して補正する段階を更に含むことができる。

更に、第ｎ時点（ｎは２よりも大きい自然数）に相応する最終の映像フレームが受信されない場合、前記第ｎ-１時点に相応する映像方向データと前記第ｎ時点に相応する再生方向データとを比較して差値を算出する段階と、前記算出された差値だけ前記第ｎ-１代替映像フレームを補正して第ｎ代替映像フレームを生成する段階とを更に含むことができる。

本発明の更に他の実施形態に係る仮想現実映像伝送又は再生プログラムは、ハードウェアと結合されて前記言及された仮想現実映像伝送方法又は再生方法を実行し、媒体に格納される。

前記のような本発明によれば、以下のような多様な効果を奏する。

第一に、仮想現実映像フレームを無線で伝送するのに伴う特定時点の映像フレームの欠落を補完でき、ユーザは特定の映像フレームが受信されない場合にも仮想現実空間の全体的な時点が揺れることなく、自然に映像が再生され得るという効果がある。

第二に、ユーザはサーバコンピュータが遠く離れている状態でもセルラー通信やＷＬＡＮ通信を用いてどこでも途切れることなく仮想現実映像を楽しむことができる。

第三に、映像フレームが受信されない場合に補完することによって、仮想現実映像を無線で伝送でき、コンピュータに接続されているケーブルにより行動が制限され、ケーブルに引っ掛かって不注意による事故が発生し得る問題を解決するという効果を奏する。

第四に、サーバはクライアントにより要請される再生方向データに対応する全体映像のうちの１つのフレームのみ抽出して伝送するか、再生方向データに対応する方向のフレームのみ生成して伝送すればよいので、無線通信のネットワーク帯域幅を削減できるという効果が得られる。

第五に、同一のデータ容量で全ての方向に対する全体映像を伝送するのではなく、１つのフレームのみ伝送するので、通信トラフィックを多く占めず、高解像度の映像を伝送できる。これにより、クライアントを着用するユーザは遠距離から高解像度の映像を視聴できる。

第六に、クライアントはサーバから再生が要求される方向の映像フレームのみを受信するので、所望の方向を再生するためにクライアントが全体映像の中から再生する方向のフレームを抽出する過程を行う必要がない。これにより、クライアントは高い仕様が不要になり得る。

本発明の一実施形態に係る仮想現実映像送受信システムの構成図である。 本発明の一実施形態に係る仮想現実映像伝送方法に対する順序図である。 本発明の一実施形態に係る最初の全体映像に基づいて生成された仮想現実映像フレームの伝送方法に対する順序図である。 本発明の一実施形態に係るクライアントの仮想現実映像再生方法に対する順序図である。 第２最終映像フレームが欠落し、第２代替映像フレームが提供されない場合、クライアントを介してユーザに提供される映像の変化を示す例示図である。 本発明の一実施形態において、クライアントで第１時点の映像方向データと第２時点の再生方向データの差値に基づいて生成した第２代替映像フレームの例示図である。 クライアントが移動する場合、最終の映像フレームが欠落したフレームがなく順番に提供されることに伴う物体の位置変化を示す例示図である。 本発明の一実施形態において、クライアントの移動程度を反映して第１最終映像フレームでそれぞれの物体位置を補正した第２代替映像フレームを提供する例示図である。

以下、添付の図面を参照して本発明の好適な実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求項の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は同一の構成要素を示す。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野において通常の知識を有する者に共通して理解され得る意味として、使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。

以下、図面を参照して本発明の実施形態に係る仮想現実映像送受信システムについて説明する。

図１は、本発明の一実施形態に係る仮想現実映像送受信システムの構成図である。

本発明の一実施形態に係る仮想現実映像送受信システムは、サーバ１００及びクライアント２００を含む。

サーバ１００は、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）映像を生成するコンピュータである。サーバ１００は、内部で情報処理を行ってクライアント２００に提供するＶＲ映像を生成する機能を、行う。例えば、ＶＲ映像が特定のゲーム駆動による映像である場合、サーバ１００は、ゲームプログラムを駆動して適切な映像フレームを生成して無線通信を介してクライアント２００に伝送できる。

また、サーバ１００は、生成されるＶＲ映像に映像方向データをメタ情報として結合する機能を、行える。前記映像方向データは、サーバ１００により生成された映像フレームの３次元空間上の方向に関するデータであり得る。

更に、サーバ１００は、クライアント２００から再生方向データを受信することができる。サーバ１００は、映像フレームに結合する映像方向データを受信した再生方向データとして決定し、再生方向データ（又は映像方向データ）に相応するＶＲ映像フレームを生成できる。

クライアント２００は、仮想現実映像に該当する映像フレーム（即ち、後述する最終の映像フレーム）を受信して再生する装置である。即ち、クライアント２００は、サーバ１００から受信したＶＲ映像フレームを再生して着用者に提供する機能を、行う。クライアント２００はＶＲ装置そのものであってもよく、ＶＲ装置に移動端末が結合されている形態であってもよい。例えば、ＶＲ装置と移動端末が結合されてクライアント２００になる場合、移動端末がサーバ１００から生成された映像フレームを受信し、これに接続されている有線ケーブル又は近距離無線通信を介してＶＲ装置に映像フレームを伝達して画面に表示できる。

ＶＲ装置は、多様な形態で構成されることができる。例えば、ＶＲ装置は両眼に適したそれぞれの映像を含む映像フレームを１つのディスプレイ部に表示し、各眼球方向の魚眼レンズにより３次元映像に生成できる。また、他の実施形態において、ＶＲ装置は、それぞれが眼球に対応する映像を提供する２つのディスプレイ部を、備えることができる。

また、クライアント２００は、再生方向データを測定する役割を果たすことができる。前記再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき映像フレームの方向に関するデータであり得る。即ち、着用者が、クライアント２００を眼球に着用し、眺める方向を測定し、これを再生方向データとして決定できる。例えば、再生方向データは、高底角データ、方位角データ又は傾斜データを含むことができる。クライアント２００は、１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を備え、クライアント２００を着用したユーザの頭（又は首）の動きを測定して高底角データ、方位角データ、傾斜データなどを含むことができる。また、クライアント２００は、測定した再生方向データをサーバ１００に無線通信を介して伝送する機能を行える。

前記高底角データは、水平面（例えば、地平線）とクライアント２００の視線方向がなす角を意味し得る。即ち、前記高底角データは、ユーザの首の上下の動きに応じて水平面となす角であり得る。

前記方位角データは方位を示す角度であって、水平面上で特定の基準方向を基準として回転した角度を意味し得る。即ち、前記方位角データは、ユーザの胴体（又は首）を軸にして回転する首の動きにより変更され得る。

前記傾斜データは、ユーザの正面方向を軸にして首が回転する角を意味し得る。即ち、前記傾斜データは、ユーザの左右への首の動き又はユーザの身体の全体的な回転などにより変更され得る。

また、クライアント２００は、着用者の移動を測定することもできる。例えば、仮想シミュレーショントレーニング又はゲームを行う場合、ユーザはクライアント２００を着用し、移動するので、クライアント２００は、測定されたユーザの移動程度に基づいて、移動した位置に対応する映像フレームを、サーバ１００に要請できる。また、クライアント２００は、後述するように、ユーザが移動した特定時点の映像フレームが受信されない場合、映像フレーム伝送周期間のユーザの移動程度を反映して映像フレームの補正を行うことができる。

更に、クライアント２００は、無線通信で映像フレームを受信する場合に特定の映像フレームが受信されないと、以前に受信された映像フレームをユーザの動きに適するように補正して画面上に表示できる。即ち、クライアント２００は、第２時点の最終の映像フレームが受信されない場合、第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて第１時点の最終の映像フレームを補正できる。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。

サーバ１００とクライアント２００は、無線通信を介して接続され得る。無線通信方式としては、Ｗｉ-Ｆｉ方式、セルラー通信などが活用され得る。例えば、サーバ１００がユーザの位置する特定の空間内（例えば、家の内部、仮想現実体験空間内など）に配置されたコンピュータである場合、無線ＡＰ（例えば、Ｗｉ-Ｆｉ ＡＰ）を介してクライアント２００とサーバ１００間の通信が遂行され得る。また、例えば、サーバ１００が外部の遠距離に配置されたコンピュータである場合、遠距離のサーバ１００がセルラー通信又はＬＡＮ通信などを介してクライアント２００に生成された映像フレームを伝送できる。クライアント２００は、セルラー通信を介して基地局から映像フレームを受信するか、無線ＡＰからＷＬＡＮを介して映像フレームを受信することができる。これにより、ユーザは、無線通信が可能なクライアント２００を所持していれば、サーバ１００コンピュータに近い位置にいなくてもサーバ１００から提供されるＶＲ映像を受信して利用できる。

以下、図面を参照して本発明の実施形態に係る仮想現実映像伝送方法、再生方法及びプログラムについて説明する。

無線通信を介して仮想現実映像（ＶＲ映像）を伝送する場合、無線通信網の状態が円滑でないことにより、特定の映像フレームが欠落し得る。このような場合に、着用者は、映像フレーム内の物体が揺れるかのように感じられ、乗り物酔い症状が現れることもできる。このような問題を解決するためには、欠落した映像フレームに代わる代替映像フレームを、以前の時点に受信した映像フレームから生成して、ユーザに提供する必要がある。

既存のサーバ１００とクライアント２００がケーブルを介して有線で接続される方式は、映像を生成するサーバ１００コンピュータにより映像の補正まで行われるので、別途の補正のための基準が不要である。しかし、無線通信を用いてサーバ１００とクライアント２００間で映像フレームを伝送する方式は、サーバ１００により映像フレームが生成され、クライアント２００により欠落した特定時点の映像フレームを補完することに役割が分担されるので、映像を補正するための基準が必要である。従って、以下、無線通信を介して受信されない映像フレームを補完し、ユーザに映像が揺れるなどの不便さを感じさせないようにするためのサーバ１００の仮想現実映像生成及び伝送方法とクライアント２００の仮想現実映像再生方法を説明する。

図２は、本発明の一実施形態に係る仮想現実映像伝送方法に対する順序図である。

図２を参照すれば、本発明の一実施形態に係る仮想現実映像伝送方法は、サーバ１００が最初の映像フレームを生成する段階（Ｓ１２０）と、前記最初の映像フレームに相応する映像方向データを判断する段階（Ｓ１４０）と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階（Ｓ１６０）と、前記最終の映像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）とを含む。

サーバ１００が最初の映像フレームを生成する（Ｓ１２０）。サーバ１００は、内部にインストールされたプログラムを駆動して最初の映像フレームを生成できる。前記最初の映像フレームは、クライアント２００に送信された後、特定映像フレームの不受信時の補完のための情報処理が行われない映像フレームを意味する。例えば、サーバ１００がゲームプログラムを駆動してゲーム映像フレームを生成できる。

サーバ１００は、前記最初の映像フレームに相応する映像方向データを判断する（Ｓ１４０）。前記映像方向データは、前記サーバ１００により生成された映像フレームの３次元空間上の方向に関するデータである。サーバ１００により映像が生成される前に映像方向データを決定（例えば、特定方向の映像の提供が要請されることによって生成する映像方向が定められた後、対応する最初の映像フレームを生成）でき、映像フレームを生成した後、対応する映像方向データを決定することもできる。

サーバ１００は、最初の映像フレームに映像方向データをメタ情報として結合して最終の映像フレームを生成する（Ｓ１６０）。その後、サーバ１００は、最終の映像フレームを無線通信を介してクライアント２００に伝送する（Ｓ１８０）。即ち、サーバ１００は、クライアント２００が映像フレームに対応する方向を判断するか、次の伝送時点（即ち、第２時点）の映像フレームが受信されない場合に以前時点（即ち、第１時点）の映像フレームの補正により補完できるように、最初の映像フレームに映像方向データを結合した最終の映像フレームをクライアント２００に伝送できる。

クライアント２００は、サーバ１００から第２時点の最終の映像フレームが通信状態不良などにより受信されない場合、第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて前記第１時点の最終の映像フレームを補正できる。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。

また、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）を更に含むことができる。例えば、着用者がクライアント２００を着用して動けば、クライアント２００は、特定時点に画面を介してユーザに提供されるべき映像フレーム方向に関するデータ（例えば、ユーザの首の動きに関するデータ）を獲得してサーバ１００に伝送できる。クライアント２００により測定されるデータを再生方向データといい、サーバ１００は、映像方向データ判断段階（Ｓ１２０）でクライアント２００から受信した再生方向データに基づいて映像方向データを決定できる。即ち、サーバ１００は、クライアント２００から受信された再生方向データと一致する方向を、映像を生成する方向として決定できる。従って、サーバ１００は、クライアント２００から受信した再生方向データを映像方向データと設定し（Ｓ１２０）、設定された映像方向データに対応する最初の映像フレーム（Ｓ１００）を生成できる。

更に、前記最終の映像フレーム生成段階（Ｓ１４０）は、前記最終の映像フレームをそれぞれの眼球用映像フレームに変換する段階を、更に含むことができる。３次元映像が提供されるためには、左眼用映像と右眼用映像に差が必要であり得る。従って、サーバ１００は、クライアント２００に伝送する最終の映像フレームを左眼用最終映像フレーム及び右眼用最終映像フレームとしてそれぞれ生成できる。

また、前記最終の映像フレーム生成段階（Ｓ１４０）は、前記クライアント２００の画面に対応する大きさに前記最終の映像フレームを変換する段階を、更に含むことができる。即ち、サーバ１００は、クライアント２００が最終の映像フレームを受信して直ちに再生できるように、クライアント２００画面の大きさに対応するように、映像フレームの大きさを変換できる。これにより、サーバ１００に比べて情報処理のための仕様が低いクライアント２００で画面の大きさに対応するように変換する過程で発生し得る時間遅延（ｄｅｌａｙ）を最小化できる。

図３は、本発明の一実施形態に係る最初の全体映像に基づいて生成された仮想現実映像フレームの伝送方法に対する順序図である。

本発明の他の実施形態に係る仮想現実映像伝送方法は、サーバ１００が特定時点の最初の全体映像を生成する段階（Ｓ１００）と、前記クライアント２００から再生方向データを受信する段階（Ｓ１１０）と、前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する段階（Ｓ１２１）と、前記再生方向データを映像方向データとして決定する段階（Ｓ１４１）と、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階（Ｓ１６０）と、前記最終の映像フレームを無線通信を介してクライアント２００に伝送する段階（Ｓ１８０）とを含む。以下、既に説明された段階についての具体的な説明は省略する。

サーバ１００が特定時点の最初の全体映像を獲得する（Ｓ１００）。前記最初の全体映像は、ユーザの視線が向かうあらゆる方向の映像フレームを含む映像を意味し得る。即ち、サーバ１００は、内部の特定のプログラムを駆動して特定時点の全体映像を生成でき、予め生成された一定時間の全体映像（例えば、３６０度カメラにより一定時間撮影された映像）の中で特定時点の全体映像を抽出できる。

サーバ１００がクライアント２００から再生方向データを受信する（Ｓ１１０）。

サーバ１００が前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する（Ｓ１２１）。即ち、サーバ１００は、クライアント２００から受信された再生方向データにより映像フレームが要請される方向を判断し、最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出できる。

サーバ１００は、前記再生方向データを映像方向データとして決定する（Ｓ１４１）。即ち、サーバ１００は、抽出された最初の映像フレームが前記再生方向データに対応する方向の映像フレームであるので、クライアント２００から受信された再生方向データを前記抽出された最初の映像フレームの映像方向データと設定できる。

サーバ１００が前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する（Ｓ１６０）。サーバ１００が前記最終の映像フレームを無線通信を介してクライアント２００に伝送する（Ｓ１８０）。

図４は、本発明の一実施形態に係るクライアント２００の仮想現実映像再生方法に対する順序図である。

本発明の更に他の実施形態に係る仮想現実映像再生方法は、クライアント２００がサーバ１００から第１時点に相応する第１最終映像フレームを受信する段階（Ｓ２００）と、第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出する段階（Ｓ２２０）と、前記算出された差値だけ前記第１最終映像フレームを補正して受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを生成する段階（Ｓ２４０）と、前記第２代替映像フレームを画面に表示する段階（Ｓ２６０）とを、含む。

クライアント２００がサーバ１００から第１時点に相応する第１最終映像フレームを受信する（Ｓ２００）。即ち、クライアント２００は、サーバ１００から映像方向データがメタ情報として結合されている第１最終映像フレームを、無線通信を介して、受信することができる。前記映像方向データは、前記サーバ１００により獲得された映像フレームの３次元空間上の方向に関するデータであり、前記最終の映像フレームは、前記サーバ１００により前記映像方向データをメタ情報として含む映像フレームであり得る。

クライアント２００は、第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出する（Ｓ２２０）。前記第２時点は、前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であり得る。クライアント２００は、第１時点に対応する第１最終映像フレームを受信して表示した後に最終の映像フレームの伝送周期が経過した後、第２時点に通信状態の不良などの理由により第２最終映像フレームを受信できなくなる恐れがある。このような場合、ユーザは、第２時点で期待される第２最終映像フレームの代りに第１最終映像フレームを継続して表示するのに伴って、第２時点の再生方向データと第１最終映像フレームの映像方向データ間の差だけ物体が揺れる現象が発生し得る。即ち、第２時点で第１時点に相応する第１最終映像フレームを継続して表示した後に第３時点（即ち、第２時点から最終の映像フレームの伝送周期が経過した時点）に新しい最終の映像フレーム（即ち、第３最終映像フレーム）が受信されれば、図５に示すように、ユーザは第１最終映像フレームから第３最終映像フレームへ直接変更されるのに伴って、第２時点に相応する物体の位置を省略して第１時点の物体位置から第３時点の物体位置へ移動するのに伴って、不自然に物体が動いたり、揺れたりするかのような現象を感じることができる。このような現象が継続して発生すると、ユーザは乗り物酔い症状を感じることができる。これを解決するために、クライアント２００は、欠落した第２最終映像フレームに代わる映像フレームを生成する必要がある。従って、クライアント２００は、第１時点で受信された第１最終映像フレームを修正して第２時点の映像フレーム（即ち、第２代替映像フレーム）で生成できる。

クライアント２００は、第１最終映像フレームを第２時点に対応する映像フレームに変換するために補正の水準を決定する必要がある。このために、クライアント２００は、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出できる。再生方向データは、特定時点に前記クライアント２００の画面上に再生されるべき映像フレームの方向に関するデータであり得る。再生方向データは、ＶＲ装置内に備えられたセンサ（例えば、ジャイロセンサ、地磁気センサ、加速度センサなど）を介して測定され得る。例えば、クライアント２００は、サーバ１００から再生方向データに対応する映像方向データを含む映像フレームを受信してユーザに提供する場合、クライアント２００は、映像フレームが提供されるべき方向に該当する第２再生方向データと第１最終映像フレームの方向に該当する第１映像方向データとの差を計算し、第１最終映像フレームを補正すべき値として算出できる。

前記再生方向データ及び前記映像方向データは、高底角データ及び方位角データを、含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の映像方向データ間の高底角及び方位角の差を、算出できる。

また、前記再生方向データ及び前記映像方向データは、着用者の正面方向を軸とする回転角度である傾斜データを、含むことができる。クライアント２００は、第２時点の再生方向データと第１時点の映像方向データ間の傾斜データの差を、算出できる。

クライアント２００は、前記算出された差値だけ前記第１最終映像フレームを補正して受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを、生成する（Ｓ２４０）。一実施形態として、クライアント２００は、前記差値に基づいて前記第１最終映像フレームを移動できる。即ち、クライアント２００は、高低角の差値だけ第１最終映像フレームを垂直方向へ移動させることができ、方位角の差値だけ第１最終映像フレームを水平方向へ移動させることができる。また、クライアント２００は、傾斜データの差値だけ第１最終映像フレームを回転できる。ユーザの正面方向を軸に特定の方向に首を傾けると、ユーザに見える物体は回転するので、第１時点の映像方向データと第２時点の再生方向データ間の傾斜データの差値だけ第１最終映像フレームを回転できる。

クライアント２００が第１最終映像フレームを前記差値に応じて補正する場合、ユーザに提供される第２代替映像フレーム上には、図６に示すように、空白領域が発生するようになる。前記空白領域は白黒で処理されるか、着用者が視覚的に最小限に認知するように類似する色の組合せで処理されることもできる。

クライアント２００は、前記第２代替映像フレームを画面に表示する（Ｓ２６０）。即ち、クライアント２００は、第２時点に欠落した第２最終映像フレームに代えて、第１最終映像フレームを補正した第２代替映像フレームを、画面に表示できる。

また、ユーザがクライアント２００を着用して移動する場合、クライアント２００は、ユーザの移動程度（例えば、移動距離及び移動方向、移動した歩数など）を把握し、第２時点の最終の映像フレームが受信されない場合、ユーザの移動程度に対応するように第１最終映像フレームを補正できる。一実施形態として、ユーザが移動する場合に、物体はユーザから離れた距離に応じて位置変化の度合いに差がある。図７に示すように、近くに位置する物体はユーザの移動に応じて大幅に移動し、遠くに位置する物体はユーザの移動に応じて近くに位置する物体に比べて小幅に移動するようになる。従って、仮想現実映像でも、このような遠近による物体の移動幅の差を反映しなければ、ユーザに高い現実感を提供できない。このために、サーバが、複数の物体（即ち、映像フレーム内で各ピクセルの集合で表現された物体）がクライアントからそれぞれ離れた距離情報（以下、深さ情報）を、メタ情報として含み、最終の映像フレームを生成して伝送できる。第２時点の第２最終映像フレームが欠落する場合、クライアントは、含まれた１つ以上のセンサ（例えば、ジャイロセンサ、加速度センサ、地磁気センサなど）を用いて、ユーザの移動程度を算出し、第１最終映像フレーム内のそれぞれの物体に対して各物体の深さ情報を反映して第２代替映像フレームを、生成できる。即ち、図８に示すように、クライアントは、第１時点と第２時点とのクライアント位置（即ち、クライアントを着用したユーザの位置）の差に応じて第１最終映像フレーム内の複数の物体に相応するピクセル別に補正を行って、第２代替映像フレームを生成できる。また、追加的に、クライアントは、物体が配置された距離に応じた物体の移動幅の差を反映してピクセル単位の物体補正を行った後、既存に第１最終映像フレームで物体が配置されていた領域を補償する作業を行うことができる。クライアントは、周辺の色を反映して特定の色組合せで既存の物体配置空間を満たすことができる。

更に、他の実施形態として、物体の移動幅が異なる場合、クライアントは最も大きな大きさの物体の配置位置に合うように映像フレームを移動させた後、残りの物体をピクセル単位で調節できる。これにより、最も大きな大きさの物体に対してはピクセル単位の作業を行わないので、第２代替映像フレーム内にピクセル単位の移動に応じて生成される空き空間が最小化され得る。また、他の実施形態として、クライアントを着用したユーザが前方又は後方にのみ移動する場合、クライアントは、第１最終映像フレームを拡大又は縮小して欠落した第２最終映像フレームに代わる第２代替映像フレームを、生成できる。

また、第ｎ時点（ｎは２よりも大きい自然数）に相応する最終の映像フレームが受信されないと、前記第ｎ-１時点に相応する映像方向データと前記第ｎ時点に相応する再生方向データとを比較して差値を算出する段階と、前記算出された差値だけ前記第ｎ-１代替映像フレームを補正して第ｎ代替映像フレームを生成する段階とを更に含むことができる。即ち、第２時点に第２最終映像フレームが受信されず、第２代替映像フレームが提供された後に第３時点に第３最終映像フレームが受信されると、ユーザは映像内の物体が円滑に移動するものと知覚できる。しかし、第２時点以後にも映像フレームが連続的に受信されない場合、クライアント２００は以前に生成された代替映像フレーム（例えば、第２代替映像フレーム又は第ｎ-１代替映像フレーム）に基づいて次の代替映像フレーム（例えば、第３代替映像フレーム又は第ｎ代替映像フレーム）を生成する必要がある。クライアント２００は、第ｎ-１時点の第ｎ-１代替映像フレーム内の映像方向データ（又は第ｎ-１時点に測定された再生方向データ）と第ｎ時点に測定された再生方向データとを比較して差値を算出し、算出された差値だけ第ｎ-１代替映像フレームを補正（例えば、移動又は変換）して、第ｎ代替映像フレームを生成できる。これにより、クライアント２００は、通信状態の不良により連続的にサーバ１００から最終の映像フレームが受信されない場合も、自然な仮想現実映像をユーザに提供できる。

以上で前述した本発明の一実施形態に係る仮想現実映像伝送方法及び仮想現実映像補正方法は、ハードウェアであるサーバ１００又はクライアント２００と結合されて実行するためにプログラム（又はアプリケーション）で実現されて媒体に格納されることができる。

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現された前記方法を実行するために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を、含むことができる。このようなコードは、前記方法を実行するために必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を、含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるために必要な実行手順関連の制御コードを、含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサに実行させるために必要な追加の情報やメディアが、前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを、更に含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどと如何に通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを、更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短い瞬間にデータを格納する媒体ではなく半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を、意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取れるコードを格納することができる。

前記のような本発明によれば、以下のような多様な効果を奏する。

第一に、仮想現実映像フレームを無線で伝送するのに伴う特定時点の映像フレームの欠落を補完でき、ユーザは特定の映像フレームが受信されない場合にも仮想現実空間の全体的な時点が揺れることなく、自然に維持され得るという効果がある。

第二に、ユーザは、サーバコンピュータが遠く離れている状態でもセルラー通信やＷＬＡＮ通信を用いてどこでも途切れることなく仮想現実映像を楽しむことができる。

第三に、映像フレームが受信されない場合を補完できることによって仮想現実映像を無線で伝送でき、コンピュータに接続されているケーブルにより行動が制限され、ケーブルに引っ掛かって不注意による事故が発生し得る問題を解決するという効果を奏する。

第四に、サーバは、クライアントにより要請される再生方向データに対応する全体映像のうち１つのフレームのみ抽出して伝送するか、再生方向データに対応する方向のフレームのみ生成して伝送すればよいので、無線通信のネットワーク帯域幅を削減できるという効果が得られる。

第五に、同一のデータ容量であらゆる方向に対する全体映像を伝送するのではなく、１つのフレームのみ伝送するので、通信トラフィックを多く占めず、高解像度の映像を伝送できる。これにより、クライアントを着用するユーザは遠距離から高解像度の映像を視聴できる。

第六に、クライアントは、サーバから再生が要求される方向の映像フレームのみを受信するので、所望の方向を再生するためにクライアントが全体映像の中から再生する方向のフレームを抽出する過程を行う必要がない。これにより、クライアントは高い仕様が不要になり得る。

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野において通常の知識を有する者は本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できる。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的ではないものとして理解すべきである。

Claims (12)

1. サーバが最初の映像フレームを獲得する段階と、
   前記最初の映像フレームに相応する映像方向データを判断する段階と、
   前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階と、
   前記最終の映像フレームを無線通信を介してクライアントに伝送する段階と
   を含み、
   前記クライアントは、
   仮想現実映像に該当する前記最終の映像フレームを再生する装置であり、
   前記映像方向データは、
   前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータである、
   仮想現実映像伝送方法。
2. 前記クライアントから再生方向データを受信する段階、
   を更に含み、
   前記映像方向データ判断段階は、
   受信した前記再生方向データに基づいて前記映像方向データを決定することを特徴とし、
   前記クライアントは、ユーザの首の動きを測定して再生方向データを獲得することを特徴とし、
   前記再生方向データは、
   特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータであることを特徴とする、
   請求項１に記載の仮想現実映像伝送方法。
3. サーバが特定時点の最初の全体映像を獲得する段階と、
   クライアントから再生方向データを受信する段階と、
   前記最初の全体映像から前記再生方向データに相応する最初の映像フレームを抽出する段階と、
   前記再生方向データを映像方向データとして決定し、前記最初の映像フレームに前記映像方向データをメタ情報として結合して最終の映像フレームを生成する段階と、
   前記最終の映像フレームを無線通信を介してクライアントに伝送する段階と
   を含み、
   前記クライアントは、
   ユーザの首の動きを測定して前記再生方向データを獲得する仮想現実映像に該当する前記最終の映像フレームを再生する装置であり、
   前記映像方向データは、
   前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータであり、
   前記再生方向データは、
   特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータである、
   仮想現実映像伝送方法。
4. 前記クライアントは、
   第２時点の最終の映像フレームが受信されない場合、
   第１時点の映像方向データと前記第２時点の再生方向データとの差値を算出し、前記差値に基づいて前記第１時点の最終の映像フレームを補正することを特徴とし、
   前記第２時点は、
   前記第１時点から前記最終の映像フレームの伝送周期が経過した時点であることを特徴とする、
   請求項１〜３の何れか一項に記載の仮想現実映像伝送方法。
5. 前記最終の映像フレーム生成段階は、
   前記最終の映像フレームをそれぞれの眼球用映像フレームに変換する段階と、
   前記クライアントの画面に対応する大きさに前記最終の映像フレームを変換する段階とを、更に含むことを特徴とする、
   請求項１〜３の何れか一項に記載の仮想現実映像伝送方法。
6. ハードウェアであるサーバと結合され、請求項１〜５の何れか一項に記載の方法を実行させるために媒体に格納された仮想現実映像伝送プログラム。
7. クライアントがサーバから第１時点に相応する第１最終映像フレームを受信する段階と、
   第２時点に相応する第２最終映像フレームが受信されないと、前記第１時点に相応する映像方向データと前記第２時点に相応する再生方向データとを比較して差値を算出する段階と、
   前記算出された差値だけ前記第１最終映像フレームを補正して受信されていない前記第２最終映像フレームに代わる第２代替映像フレームを生成する段階と、
   前記第２代替映像フレームを画面に表示する段階と
   を含み、
   前記映像方向データは、前記サーバにより生成された映像フレームの３次元空間上の方向に関するデータであり、
   前記再生方向データは、
   特定時点に前記クライアントの画面上に再生されるべき映像フレームの方向に関するデータであり、
   前記最終の映像フレームは、
   前記サーバにより前記映像方向データをメタ情報として含む映像フレームであり、
   前記第２時点は、
   前記第１時点から前記最終の映像フレームの伝送周期が経過した時点である、仮想現実映像再生方法。
8. 前記第２代替映像フレーム生成段階は、
   前記差値に基づいて前記第１最終映像フレームを移動又は変換させることを特徴とする、
   請求項７に記載の仮想現実映像再生方法。
9. 前記再生方向データ及び前記映像方向データは、
   高底角データ及び方位角データを含み、
   前記差値算出段階は、
   前記第２時点の再生方向データと前記第１時点の映像方向データ間の高底角及び方位角の差を算出することを特徴とする、
   請求項８に記載の仮想現実映像再生方法。
10. 前記再生方向データ及び前記映像方向データは、
    着用者の正面方向を軸とする回転角度である傾斜データを含み、
    前記第２代替映像フレーム生成段階は、
    前記第２時点の再生方向データと前記第１時点の映像方向データ間の前記傾斜データの差に基づいて、前記第１最終映像フレームを回転して補正する段階を更に含むことを特徴とする、
    請求項７〜９の何れか一項に記載の仮想現実映像再生方法。
11. 第ｎ時点（ｎは２よりも大きい自然数）に相応する最終の映像フレームが受信されないと、第ｎ-１時点に相応する映像方向データと前記第ｎ時点に相応する再生方向データとを比較して差値を算出する段階と、
    前記算出された差値だけ第ｎ-１代替映像フレームを補正して第ｎ代替映像フレームを生成する段階と
    を更に含むことを特徴とする、
    請求項７〜９の何れか一項に記載の仮想現実映像再生方法。
12. ハードウェアであるコンピュータと結合され、請求項７〜１１の何れか一項に記載の方法を実行させるために媒体に格納された仮想現実映像再生プログラム。

Images