JP2016085586A - 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイ用の画像に別の画像を埋め込んで転送する技術を提供する。
【解決手段】画像生成部７２０は、画像記憶部７１０から画像データを読み出し、ヘッドマウントディスプレイの姿勢に応じた原画像を生成する。レンズ歪み補正部７３０は、ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成する。別画像埋込部７５０は、主画像を矩形フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する。ＨＤＭＩ送信部７６０は、ヘッドマウントディスプレイに埋め込み画像を転送する。
【選択図】図４

Description

この発明は、ヘッドマウントディスプレイ用の画像に別画像を埋め込んで転送する技術に関する。

ヘッドマウントディスプレイに立体映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じた立体映像が表示されるようにして臨場感を高めたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。

ヘッドマウントディスプレイではユーザの眼前と周囲に視野角の広い映像を表示させるために曲率の高い光学レンズを採用し、ユーザがレンズを介してディスプレイパネルを覗き込む構成になっている。しかしながら、曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪んでしまう。そこで、曲率の高いレンズを通して見たときに正しく見えるようにあらかじめ画像を補正しておき、補正後の画像をヘッドマウントディスプレイに伝送して液晶パネルに表示し、ユーザが曲率の高いレンズを通して見ると正常に見えるようにしている。

上述のようにレンズの歪曲収差を抑えるように補正された画像は、原画像とは違って歪んでおり、画像の形状も矩形ではなく、ほぼ円形になっている。しかしながら、通常の映像データ伝送方式では規格上、矩形フォーマットの画像を伝送する仕様となっているため、矩形領域の隅に未使用領域が生じ、無駄が発生する。また、このようなあらかじめレンズ歪み補正をかけた画像は、ヘッドマウントディスプレイのレンズを使用しない限り、正しく見ることができないため、レンズ歪み補正後の画像をそのまま見ても内容を確認しづらいという問題がある。

そこで、本発明者は、レンズ歪み補正後の画像フォーマットの矩形領域に生じた未使用領域を利用して別の画像を埋め込んで転送することでデータ伝送の無駄を解消し、また、利便性を高めることができることに気がついた。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイ用の画像に別の画像を埋め込んで転送する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像生成装置は、ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成するレンズ歪み補正部と、前記主画像を矩形画像フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する別画像埋め込み部と、前記ヘッドマウントディスプレイに前記埋め込み画像を転送する送信部とを含む。

本発明の別の態様は、画像抽出装置である。この装置は、ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を矩形画像フォーマットで伝送する際の未使用領域に別画像が埋め込まれた埋め込み画像を受信する受信部と、前記受信部により受信された埋め込み画像を直接ヘッドマウントディスプレイのパネルに出力する表示出力部と、前記埋め込み画像をメモリに保持しながら、前記埋め込み画像の未使用領域から前記別画像のデータを抽出して前記別画像を再合成し、前記メモリに書き戻す別画像再合成部とを含む。

本発明のさらに別の態様は、画像生成方法である。この方法は、ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成するレンズ歪み補正ステップと、前記主画像を矩形フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する別画像埋め込みステップとを含む。

本発明のさらに別の態様は、画像抽出方法である。この方法は、ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を矩形フォーマットで伝送する際の未使用領域に別画像が埋め込まれた埋め込み画像を直接ヘッドマウントディスプレイのパネルに出力する表示出力ステップと、前記埋め込み画像をメモリに保持しながら、前記埋め込み画像の未使用領域から前記別画像のデータを抽出して前記別画像を再合成し、前記メモリに書き戻す別画像再合成ステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイ用の画像に別の画像を埋め込んで転送することができる。

ヘッドマウントディスプレイの外観図である。 本実施の形態に係る画像転送システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像生成装置の機能構成図である。 本実施の形態に係る画像抽出装置の機能構成図である。 画像抽出装置における主画像と別画像のデータ伝送経路を説明する図である。 ヘッドマウントディスプレイに表示されるべき原画像の例を示す図である。 レンズ歪み補正された主画像の例を示す図である。 図９（ａ）〜図９（ｃ）は、矩形画像フォーマットで伝送される立体視表示用の主画像を説明する図である。 未使用領域に埋め込むべき別画像を説明する図である。 主画像を伝送する矩形画像フォーマットの未使用領域に別画像の画素が埋め込まれた様子を示す図である。 画素単位での別画像の再合成を説明する図である。 主画像を伝送する矩形画像フォーマットの未使用領域に別画像の画素ブロックが埋め込まれた様子を示す図である。 画素ブロック単位での別画像の再合成を説明する図である。 主画像の伝送フォーマットと別画像の対応関係を説明する図である。 主画像の伝送フォーマットと別画像の対応関係を説明する図である。

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。

ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図２は、本実施の形態に係る画像転送システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェースでゲーム機２００に接続される。

本実施の形態では、ヘッドマウントディスプレイ１００とゲーム機２００の間のデータ伝送路３００がＨＤＭＩ伝送路であるとして説明するが、ヘッドマウントディスプレイ１００とゲーム機２００の通信インタフェースは、ＨＤＭＩに限られず、たとえば、映像出力インタフェースの標準規格であるＤＶＩ（Digital Visual Interface）であってもよい。また、ヘッドマウントディスプレイ１００とゲーム機２００は、無線通信インタフェースで接続されてもよい。あるいは、ヘッドマウントディスプレイ１００がゲーム機２００にＵＳＢなどの周辺機器を接続するインタフェースで接続されてもよい。

ゲーム機２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機２００に提供してもよい。ヘッドマウントディスプレイ１００は、ゲーム機２００の代わりに、コンピュータや携帯端末に接続されてもよい。

ヘッドマウントディスプレイ１００に表示される映像は、あらかじめカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。

図３は、ヘッドマウントディスプレイ１００の機能構成図である。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。

ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を送受信する。

制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。

図４は、本実施の形態に係る画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

画像生成装置７００は、ヘッドマウントディスプレイ１００が接続されたゲーム機２００に実装されるが、画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置７００の少なくとも一部の機能を、ネットワークを介してゲーム機２００に接続されたサーバに実装してもよい。

画像生成部７２０は、画像記憶部７１０から画像データを読み出し、ヘッドマウントディスプレイ１００の姿勢に応じた画像を生成する。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。また、カメラで撮影された外界の映像を画像記憶部７１０に記憶してもよく、遠隔地で撮影された映像をネットワークを経由して受信し、画像記憶部７１０に記憶してもよい。

レンズ歪み補正部７３０は、ヘッドマウントディスプレイ１００で使用されるレンズの歪み特性に応じて、ヘッドマウントディスプレイ１００のレンズを通して見た場合に生じる歪みを打ち消すように、画像生成部７２０が生成した原画像をあらかじめ補正する。このレンズ歪み補正処理後の画像を「主画像」と呼ぶ。主画像は、レンズの歪曲収差が相殺されるように原画像を前もって歪ませた画像であり、レンズを通して見たときに初めて正しく見える。

こうしてレンズ歪み補正された主画像は、その性質上、ほぼ円形の形状であるため、主画像を通常の矩形画像フォーマットで伝送する際、画像伝送される矩形領域と実際の画像領域の部分の差分領域は画像データが存在しない「未使用領域」となり、ゼロまたは不定の値を伝送することになってしまう。そこで、本実施の形態では、この未使用領域を利用して別画像を埋め込んで伝送する。

別画像取得部７４０は、主画像を矩形画像フォーマットで伝送するときの未使用領域に埋め込むべき「別画像」を画像記憶部７１０から取得する。別画像埋込部７５０は、矩形画像フォーマットの未使用領域に別画像を埋め込み、埋め込み画像を生成する。ここでは、未使用領域に「別画像」を埋め込んだが、さらに「別情報」を埋め込んでもよい。

ＨＤＭＩ送信部７６０は、ＨＤＭＩ伝送路上で、主画像を矩形画像フォーマットで格納した場合の未使用領域に別画像が埋め込まれた「埋め込み画像」をヘッドマウントディスプレイ１００のＨＤＭＩ受信部８１０に送信する。

図５は、本実施の形態に係る画像抽出装置８００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

画像抽出装置８００は、図３で説明したヘッドマウントディスプレイ１００の機能構成を適宜用いて実装される。たとえば、画像抽出装置８００の各構成を、ヘッドマウントディスプレイ１００のＨＤＭＩ送受信部９０の内部に実装してもよく、ＨＤＭＩ送受信部９０、制御部１０、記憶部５０、出力インタフェース３０、および外部入出力端子インタフェース７０の機能構成を用いて実装してもよい。

ＨＤＭＩ受信部８１０は、ＨＤＭＩ伝送路上で、主画像が格納された矩形画像フォーマットの未使用領域に別画像が埋め込まれた「埋め込み画像」をゲーム機２００のＨＤＭＩ送信部７６０から受信する。

ＨＤＭＩ受信部８１０により受信された埋め込み画像はそのままディスプレイ出力部８５０に渡され、ディスプレイ出力部８５０は、ヘッドマウントディスプレイ１００のディスプレイパネルに埋め込み画像を表示する。ここで、埋め込み画像の未使用領域はヘッドマウントディスプレイ１００を装着したユーザの視野の外側にある。その結果、ユーザには別画像は見えず、主画像だけが見える。

ＨＤＭＩ受信部８１０により受信された埋め込み画像の全体はメモリ８２０に一時的に記憶される。別画像再合成部８３０は、埋め込み画像の内、別画像が埋め込まれた領域から別画像の画素データを順に読み出し、メモリ８２０内の別の領域において画素を矩形画像として並べ直すことで別画像を再合成する。

別画像読出部８４０は、再合成された別画像をメモリ８２０から読み出し、ディスプレイ出力部８５０に渡す。ディスプレイ出力部８５０は、ヘッドマウントディスプレイ１００の外部入出力端子インタフェース７０に接続された別の外部ディスプレイ、または、ヘッドマウントディスプレイ１００のディスプレイパネルに別画像を表示する。

ここでは、未使用領域に「別画像」が埋め込まれた例を説明したが、未使用領域に「別情報」が埋め込まれていた場合は、同様にして別情報を読み出して再合成し、ヘッドマウントディスプレイ１００において利用する。

図６は、画像抽出装置８００における主画像と別画像のデータ伝送経路を説明する図である。

受信機（Ｒｘ）４１０はＨＤＭＩ経由で主画像と別画像を含む矩形の埋め込み画像を受信し、矩形の埋め込み画像をそのまま第１送信機（Ｔｘ）４２０に渡し、第１送信機４２０は、ヘッドマウントディスプレイ１００のディスプレイパネルに埋め込み画像を出力する（経路５１０）。ここで埋め込み画像全体をヘッドマウントディスプレイ１００のディスプレイパネルに出力しても、主画像の周囲の本来は黒い領域（未使用領域）はヘッドマウントディスプレイ１００の視野外になるので、ユーザからは見えない。

このように主画像のデータを矩形の埋め込み画像から取り出すことはせずに、矩形の埋め込み画像全体がヘッドマウントディスプレイ１００に出力されるが、主画像の周囲の本来は黒い未使用領域はもともと視野の外にあるため、主画像だけがユーザに見えることになる。そのため、埋め込み画像から主画像データを読み出してメモリに保持する必要はなく、主画像を含む埋め込み画像全体がメモリを介さずに受信機（Ｒｘ）４１０から第１送信機（Ｔｘ）４２０に直接渡され、ヘッドマウントディスプレイ１００のパネルに出力される。したがって、主画像の表示ではメモリの読み書きによるレイテンシが発生しない。

一方、受信機（Ｒｘ）４１０はＨＤＭＩ経由で受信した埋め込み画像の全体（主画像および別画像）をメモリ４４０に格納する。ＣＰＵ４５０はメモリ４４０に保持された埋め込み画像から別画像の画素データを読み出し、矩形の別画像として再合成し、メモリ４４０に書き戻す。第２送信機（Ｔｘ）４３０は、メモリ４４０に書き戻された再合成後の別画像を読み出し、ヘッドマウントディスプレイ１００とは別の外部ディスプレイに別画像を出力する（経路５３０）。ここで、矩形画像フォーマットの全領域の画像がメモリ４４０に記憶されるが、その全矩形領域から別画像のデータだけがＣＰＵ４５０により読み出されることに留意する。主画像のデータは、上述のようにメモリ４４０を経由せずに直接第１送信機（Ｔｘ）４２０に渡されているからである。

このように、主画像はＨＤＭＩ経由で受信されるとそのままヘッドマウントディスプレイ１００のディスプレイパネルに出力される（経路５１０）一方、別画像を含む埋め込み画像はメモリ４４０に保持され、ＣＰＵ４５０によって別画像の再合成が行われた後、別画像が外部ディスプレイに出力される（経路５３０）。たとえば、別画像が、歪みを打ち消すように補正される前の主画像、すなわち原画像である場合、ヘッドマウントディスプレイ１００を装着したユーザがレンズを通して見ている画像を、別画像として外部ディスプレイで確認することができる。

あるいは、別の伝送経路として、第１送信機４２０が、メモリ４４０に書き戻された再合成後の別画像を読み出し、ヘッドマウントディスプレイ１００のディスプレイパネルに別画像を出力してもよい（経路５２０）。たとえば、主画像がゲーム画面や映画であり、別画像がカメラにより撮影された現実空間の画像である場合、別画像をヘッドマウントディスプレイ１００に表示することで、透過型のヘッドマウントディスプレイとして使用することができる。この場合、主画像と別画像を切り替えられるように構成してもよい。

また、受信機４１０は、主画像をそのまま第２送信機４３０に渡し、第２送信機４３０は、外部ディスプレイに主画像を出力してもよい（経路５４０）。ヘッドマウントディスプレイ１００に転送される画像を外部ディスプレイで確認したい場合や、主画像と別画像を混在させて外部ディスプレイで閲覧したい場合などにこの伝送経路を用いることができる。

図７は、ヘッドマウントディスプレイ１００に表示されるべき原画像の例を示す図である。この原画像は画像生成装置７００の画像生成部７２０により生成される。

図８は、レンズ歪み補正された主画像の例を示す図である。このレンズ歪み補正された主画像は、レンズ歪み補正部７３０により生成される。ここでは立体視表示のために左目用画像と右目用画像が設けられた例を示す。

図７の原画像と比べて、図８の主画像はレンズの歪み特性に合わせて補正された結果、かなり歪んでおり、ほぼ円形の形状をしており、周囲の黒い領域は、ヘッドマウントディスプレイ１００の有効な視野としては使用されない。そのため、矩形画像フォーマットで主画像を伝送すると、黒い領域は未使用領域となる。

図８に示すようにレンズ歪み補正をかけた画像は、ヘッドマウントディスプレイ１００のレンズを通して見ると、図７の原画像のように正しく見えるが、ヘッドマウントディスプレイ１００をかけていない者にとっては歪みが大きすぎて、映像の内容を確認することが難しい。このため、複数のユーザが同じ映像を同時に鑑賞したい場合や、友人とゲームを遊びたい場合に、ヘッドマウントディスプレイ１００が１台しかないと、ヘッドマウントディスプレイ１００を装着したユーザしか映像やゲーム画面を鑑賞することができない。また、子どもがヘッドマウントディスプレイ１００を装着してゲームをしたり、映画を見ている場合でも、映像の内容を保護者が確認することができず、子どもの監督が適切に行えない。

そこで、レンズ歪み補正をしていない原画像（または解像度を落とした原画像）を未使用領域に埋め込んで別画像として転送すれば、ヘッドマウントディスプレイ１００を装着していないユーザも別画像の形で同じ映像やゲーム画面を鑑賞することができるようになる。

図９（ａ）〜図９（ｃ）は、矩形画像フォーマットで伝送される立体視表示用の主画像を説明する図である。

図９（ａ）は、左目用画像と右目用画像を１枚の矩形画像として伝送する場合であり、黒い領域が未使用領域となる。

図９（ｂ）および図９（ｃ）は、左目用画像と右目用画像を別々の矩形画像として伝送する場合であり、各矩形画像において黒い領域が未使用領域となる。

ここでは、左目用画像と右目用画像を１枚の矩形画像として伝送するフォーマットを例にして未使用領域に別画像を埋め込む方法と抽出する方法を説明するが、伝送フォーマットはこれに限定されない。左右の画像は反対であってもよいし、主画像領域の形状も円形に限られない。いずれにせよ、映像転送に使用する矩形領域にぴったり収まらず、空き（余り）が生じれば、その未使用領域を別画像の埋め込みに利用する。

図１０は、未使用領域に埋め込むべき別画像を説明する図である。別画像の画素の番号（１、２、３、４、…、Ｎ、Ｎ＋１、Ｎ＋２、…、Ｍ、Ｍ＋１、…、Ｏ、Ｏ＋１、Ｏ＋２）が示されている。

図１１は、主画像を伝送する矩形画像フォーマットの未使用領域に別画像の画素が埋め込まれた様子を示す図である。黒い未使用領域の第１列に別画像の画素（１、２、３、４、…、Ｎ）が配置され、未使用領域の第２列に別画像の画素（Ｎ＋１、Ｎ＋２、…、Ｍ）が配置され、未使用領域の第３列に別画像の画素（Ｍ＋１、…、Ｏ、Ｏ＋１、…、Ｐ、Ｐ＋１、…、Ｑ）が配置され、未使用領域の第４列に別画像の画素（Ｑ＋１、…、Ｒ、Ｒ＋１、…、Ｓ、Ｓ＋１、…、Ｔ）が配置されている。このようにして、未使用領域の左上から右下に順に別画像の画素を埋めていくことができる。

図１２は、画素単位での別画像の再合成を説明する図である。図１１で示した矩形画像フォーマットの未使用領域から順に別画像の画素を読み出し、矩形領域に並べ直すことで図１２のように別画像をメモリ上で再合成することができる。

図１３は、主画像を伝送する矩形画像フォーマットの未使用領域に別画像の画素ブロックが埋め込まれた様子を示す図である。矩形画像フォーマットは、所定サイズの画素ブロックに分割されており、主画像（左目用画像および右目用画像）によってブロック内の画素がすべて使用されているもの、主画像によってブロック内の画素の一部が使用されているもの、主画像によってブロック内の画素が全く使用されていないものに分かれる。黒い未使用領域の内、主画像によってブロック内の画素が全く使用されていない未使用ブロックが、別画像の画素ブロックを埋め込むために使われる。第１列には、別画像の画素ブロック（１、２、３、４、…、Ｎ）が埋め込まれている。

図１４は、画素ブロック単位での別画像の再合成を説明する図である。図１３で示した矩形画像フォーマットの未使用ブロックから順に別画像の画素ブロックを読み出し、矩形領域に並べ直すことで図１４のように別画像をメモリ上で再合成することができる。

図１５は、主画像の伝送フォーマットと別画像の対応関係を説明する図である。ここで、複数の連続する主画像からなる映像を「主映像」と呼ぶ。主画像は主映像に含まれる個別の画像フレームである。別画像は、主画像を矩形画像フォーマットで伝送するときの未使用領域を利用して伝送される画像であり、複数の連続する別画像を「別映像」として鑑賞することが可能である。なお、主映像と別映像は、解像度やフレームレートが同一であっても、異なっていてもよい。

図１５は、主画像２枚に対して１枚の別画像を埋め込んだ例である。このように主画像と別画像が１対１に対応する必要はなく、複数の主画像を矩形フォーマットで伝送する際の未使用領域を用いて１枚の別画像を埋め込み、複数の埋め込み画像から別画像のデータを読み出して別画像を再合成してもよい。この場合、主映像と別映像のフレームレートは一致しない。図１５の例では、主映像のフレームレートは別映像のフレームレートの２倍である。

図１６は、主画像の伝送フォーマットと別画像の対応関係を説明する図である。図１６は、主画像２枚に対して３枚の別画像を埋め込んだ例であり、主画像２枚から別画像３枚が再合成される。このように、１枚の主画像から複数枚の別画像を再合成してもよく、複数枚の主画像から複数枚の別画像を再合成してもよい。この場合、主映像をリフレッシュするタイミング（次の主画像を表示するタイミング）と、別映像をリフレッシュするタイミング（次の別画像を表示するタイミング）は同期しない。

次に、未使用領域に埋め込まれる別画像のフォーマットを説明する。

別画像は主画像と同じデータ形式であってもよい。たとえば、主画像を赤、黄、青をそれぞれ８ビットで表したフォーマットで伝送する場合、埋め込む別画像も同じフォーマットを用いる。あるいは、主画像と別画像で画像データを適宜変換したものを用いてよい。主画像が１ピクセル２４ビットである場合に、別画像を１ピクセル１５ビットとしてもよい。その場合、余った９ビットを別のピクセルのデータの格納領域として用いてもよい。

別画像は、ＪＰＥＧ、ＭＰＥＧなど圧縮符号化された画像フォーマットであってもよい。

別画像に何らかの別情報を追加してもよい。別情報の例として、オーディオデータ、主画像の内容を示す情報、主画像の表示法を制御するためのデータ、別画像の内容を示す情報、別画像の表示法を制御するためのデータ、ヘッドマウントディスプレイ１００の機器制御に関するデータ、画面を明るくしたり、ヘッドマウントディスプレイ１００の特性に合わせて別画像を回転、変形させるための情報、ヘッドマウントディスプレイ１００のフォーカスを調整するためのコマンドデータ、ヘッドマウントディスプレイ１００のリアルタイムの姿勢情報にもとづく補正量などがある。

別画像の内容を説明する。別画像は、主画像と同じであってもよく、主画像のレンズ歪み補正なし版（すなわち原画像）であってもよい。ヘッドマウントディスプレイ１００をかけたままでも外界を見ることができるように、別画像はカメラで取り込んだ外界の映像であってもよい。別画像は、ヘッドマウントディスプレイ１００で見ている世界を別の視点、角度から見た画像であってもよい。別画像は、ヘッドマウントディスプレイ１００を装着しているユーザと対戦プレイまたは協調プレイしている別のプレイヤのための画像であってもよい。

別画像は、主画像のうち一部を隠した画像であってもよい。この場合、ヘッドマウントディスプレイ１００を装着しているプレイヤはゲームの画面を主画像として見ることができるが、別画像を外部ディスプレイで見る鑑賞者にはゲームの核心部分を見えなくすることができる。

別画像の使用態様を説明する。別画像をヘッドマウントディスプレイ１００とは別のディスプレイに表示してもよい。主画像と別画像をヘッドマウントディスプレイ１００とは別のディスプレイに表示してもよい。

別画像をヘッドマウントディスプレイ１００に主画像と混在させて表示してもよく、別画像をヘッドマウントディスプレイ１００に主画像の代わりに表示してもよい。

別画像は、主画像を補正するデータ、たとえば、ヘッドマウントディスプレイ１００内での追加の画像処理に使用して主画像の画質を向上させるデータであってもよい。

ヘッドマウントディスプレイ１００で受信した別画像を記録デバイスに記録してもよい。あるいは、ヘッドマウントディスプレイ１００で受信した別画像をネットワークなどを経由して他の端末や電子機器に転送して使用してもよい。また、「別情報」が埋め込まれていた場合、その別情報によって別画像の使用方法を制御してもよい。

なお、上記の説明では、未使用領域はヘッドマウントディスプレイ１００の視野外であるから、未使用領域に別画像が埋め込まれた埋め込み画像全体をヘッドマウントディスプレイ１００に表示しても未使用領域に埋め込まれた別画像がユーザに見えることはないことを前提としたが、ヘッドマウントディスプレイ１００の特性によっては、主画像の鑑賞時に別画像の一部が視野に入り込むことがある。そのような場合には、ヘッドマウントディスプレイ１００内の画像処理によって別画像を除去する対策を行ってもよい。あるいは、ヘッドマウントディスプレイ１００のパネルとレンズの間、もしくはレンズとユーザの目の間の未使用領域に対応する位置に遮蔽物を置いて別画像が物理的に視野に入らないように構成してもよい。

本実施の形態によれば、ヘッドマウントディスプレイ１００用にレンズ歪み補正された主画像を伝送する際に、矩形画像フォーマットにおける未使用領域に別画像や別情報を埋め込むことで伝送帯域を有効に利用して別画像や別情報を転送することができる。ヘッドマウントディスプレイ１００を装着したユーザが主画像を鑑賞している間に、ヘッドマウントディスプレイ１００が別画像を受信して他のユーザが別画像を外部ディスプレイで鑑賞したり、ヘッドマウントディスプレイ１００において主画像に代えて、あるいは主画像とともに別画像を鑑賞するなど、別画像を利用した様々なアプリケーションが可能になる。

本実施の形態によれば、主画像を伝送するための画像フォーマットに別画像を埋め込み、別画像を主画像とともに同一のＨＤＭＩ伝送路上で転送するため、別画像を別途転送するための通信インタフェースを必要としない。従来の通信インタフェースを利用して別画像を転送できるため、ヘッドマウントディスプレイ１００の構成を簡略化できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

上記の実施の形態では、主画像と別画像を伝送する通信インタフェースとしてＨＤＭＩを例に挙げたが、通信インタフェースはＤＶＩなど他のインタフェースを用いてもよい。また、ヘッドマウントディスプレイ１００とゲーム機２００の間の通信に無線通信を用いてもよい。その場合、送信側のゲーム機２００は、主画像および別画像を圧縮符号化して転送し、受信側のヘッドマウントディスプレイ１００は、主画像および別画像を復号する。

１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ バックライト、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６４ 姿勢センサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８０ 時計部、 ９０ ＨＤＭＩ送受信部、 １００ ヘッドマウントディスプレイ、 １１０ 本体部、 １２０ 前頭部接触部、 １３０ 側頭部接触部、 ２００ ゲーム機、 ７００ 画像生成装置、 ７１０ 画像記憶部、 ７２０ 画像生成部、 ７３０ レンズ歪み補正部、 ７４０ 別画像取得部、 ７５０ 別画像埋込部、 ７６０ ＨＤＭＩ送信部、 ８００ 画像抽出装置、 ８１０ ＨＤＭＩ受信部、 ８２０ メモリ、 ８３０ 別画像再合成部、 ８４０ 別画像読出部、 ８５０ ディスプレイ出力部。

Claims (10)

1. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成するレンズ歪み補正部と、
   前記主画像を矩形画像フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する別画像埋め込み部と、
   前記ヘッドマウントディスプレイに前記埋め込み画像を転送する送信部とを含むことを特徴とする画像生成装置。
2. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を矩形画像フォーマットで伝送する際の未使用領域に別画像が埋め込まれた埋め込み画像を受信する受信部と、
   前記受信部により受信された埋め込み画像を直接ヘッドマウントディスプレイのパネルに出力する表示出力部と、
   前記埋め込み画像をメモリに保持しながら、前記埋め込み画像の未使用領域から前記別画像のデータを抽出して前記別画像を再合成し、前記メモリに書き戻す別画像再合成部とを含むことを特徴とする画像抽出装置。
3. 前記表示出力部は、前記メモリに再合成された前記別画像を前記主画像に代えて、あるいは、前記主画像とともに前記ヘッドマウントディスプレイのパネルに出力することを特徴とする請求項２に記載の画像抽出装置。
4. 前記表示出力部は、前記メモリに再合成された前記別画像を前記ヘッドマウントディスプレイに接続された外部ディスプレイに出力することを特徴とする請求項２に記載の画像抽出装置。
5. 前記別画像は、前記ヘッドマウントディスプレイを装着したユーザの外界を映した映像であることを特徴とする請求項３に記載の画像抽出装置。
6. 前記別画像は、歪みを打ち消すように補正される前の原画像であることを特徴とする請求項４に記載の画像抽出装置。
7. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成するレンズ歪み補正ステップと、
   前記主画像を矩形フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する別画像埋め込みステップとを含むことを特徴とする画像生成方法。
8. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を矩形フォーマットで伝送する際の未使用領域に別画像が埋め込まれた埋め込み画像を直接ヘッドマウントディスプレイのパネルに出力する表示出力ステップと、
   前記埋め込み画像をメモリに保持しながら、前記埋め込み画像の未使用領域から前記別画像のデータを抽出して前記別画像を再合成し、前記メモリに書き戻す別画像再合成ステップとを含むことを特徴とする画像抽出方法。
9. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を生成するレンズ歪み補正機能と、
   前記主画像を矩形フォーマットで伝送する際の未使用領域に別画像を埋め込み、埋め込み画像を生成する別画像埋め込み機能とをコンピュータに実行させることを特徴とするプログラム。
10. ヘッドマウントディスプレイのレンズを通して見た場合に生じる歪みを打ち消すようにあらかじめ原画像を補正した主画像を矩形フォーマットで伝送する際の未使用領域に別画像が埋め込まれた埋め込み画像を直接ヘッドマウントディスプレイのパネルに出力する表示出力機能と、
    前記埋め込み画像をメモリに保持しながら、前記埋め込み画像の未使用領域から前記別画像のデータを抽出して前記別画像を再合成し、前記メモリに書き戻す別画像再合成機能とをコンピュータに実行させることを特徴とするプログラム。

Images