JP2022113550A - 画像表示システムおよび画像表示方法 - Google Patents

Abstract

【課題】映像品質を向上させるとデータ伝送のコストが大きくなる。
【解決手段】
画像生成装置２００の状態情報取得部２６０は、通信状況やヘッドマウントディスプレイ１００の状態情報を取得する。画像生成部２６２は左目用、右目用の歪み画像で構成される表示画像を生成する。縮小処理部２６６は表示画像を、通信状況などに応じて領域ごとに異なる倍率のデータとしたうえ出力部２７０から送信する。ヘッドマウントディスプレイ１００の画像サイズ復元部２８０は、送信されたデータを表示画像のサイズに復元し、表示部２８４により表示させる。
【選択図】図７

Description

本発明は、画像生成装置と表示装置を含む画像表示システム、および画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理やデータ伝送のコストが増大する。そのため視野や表示世界の動きに対し表示が追いつかず、却って臨場感が損なわれたり映像酔いを引き起こしたりすることがあり得る。

また、表示装置をヘッドマウントディスプレイとした場合、ユーザの動きやすさの観点から、画像を描画するシステムをヘッドマウントディスプレイから切り離したり、その間のデータ伝送を無線化したりすることが望まれる。しかしながら画像世界の品質を追求するほど伝送すべきデータ量が増大し、通信環境によっては表示に遅延が生じたり送信に失敗したりするリスクが高まる。また通信や処理の負荷に起因して消費電力が増加すると、内蔵電池などの要因でヘッドマウントディスプレイが重くなったり発熱したりして、装着感が悪化することもある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、高品質の画像を低遅延で表示できる技術を提供することにある。本発明の別の目的は、ヘッドマウントディスプレイの装着感を向上させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像表示システムに関する。この画像表示システムは、表示画像のデータを生成する画像生成装置と、当該表示画像のデータを受信して表示するヘッドマウントディスプレイと、を含む画像表示システムであって、画像生成装置は、表示画像を、画像平面の領域ごとに異なる倍率の送信データとする縮小処理部を備え、ヘッドマウントディスプレイは、送信データを表示画像のサイズに復元する画像サイズ復元部を備えたことを特徴とする。

本発明の別の態様は画像表示方法に関する。この画像表示方法は、画像生成装置が、表示画像のデータを生成するステップと、表示画像を、画像平面の領域ごとに異なる倍率の送信データとするステップと、送信データをヘッドマウントディスプレイに送信するステップと、ヘッドマウントディスプレイが、送信データを表示画像のサイズに復元して表示するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像表示の応答性と品質を両立させることができる。また、ヘッドマウントディスプレイの装着感を向上させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の画像表示システムの構成例を示す図である。 本実施の形態の画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 本実施の形態においてヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示す図である。 本実施の形態の画像生成装置の内部回路構成を示す図である。 本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態で設定される倍率マップを模式的に示す図である。 本実施の形態において画像生成装置の縮小処理部が、倍率マップを参照して画像を縮小する処理を説明するための図である。 本実施の形態において縮小処理部から出力される画像データの順列を説明するための図である。 本実施の形態においてヘッドマウントディスプレイの画像サイズ復元部が、倍率マップを参照して画像サイズを復元する処理を説明するための図である。 本実施の形態における画像生成装置が、状況に応じて切り替える倍率マップを例示する図である。 本実施の形態で利用できる倍率マップの別の例を示す図である。 本実施の形態において倍率を制御する単位を画像データの符号化方式に対応させる態様を説明するための図である。

本実施の形態は、外部からストリーミング転送される動画像のデータを、表示装置が即時表示させる形式の画像表示システムに関する。この限りにおいて表示装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実を実現できる。

図２は、本実施の形態における画像表示システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインターフェースにより画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。

図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

図４は、図３で示した形態において、ヘッドマウントディスプレイに表示させる画像を生成するまでの処理手順の一例を示している。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６を生成する。この処理は実際には、仮想世界を定義するワールド座標系におけるオブジェクトの頂点座標をビュースクリーンの座標系に変換したうえ、オブジェクトを構成する面にテクスチャをマッピングする処理となる。当該画像は本来、ユーザが視認すべき像を表す。

立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。そしてそれぞれの画像を、接眼レンズによる歪みに合わせて逆補正することで、最終的な表示画像２２を生成する。ここで逆補正とは、接眼レンズを介して見たときに元の画像１６が視認されるように、レンズによる歪みと逆方向に、画像をあらかじめ歪ませておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。

画像生成装置２００は基本的に、ヘッドマウントディスプレイ１００、ひいてはユーザ頭部の位置や姿勢に係る情報を周期的に取得したうえ、それに対応する視野で表示画像を生成し、ヘッドマウントディスプレイ１００に順次送信する。ヘッドマウントディスプレイ１００は受信した画像を表示パネルに順次出力するが、画像の描画時間やデータの転送時間などに起因し、受信した画像の視野が表示時の実際の視点に対応していないことがあり得る。

このための対策として、ヘッドマウントディスプレイ１００は、実際の視点に対応するように画像の視野を表示直前に補正するリプロジェクションの機能を有していてもよい。リプロジェクションを実現する場合、画像生成装置２００は、取得したユーザ頭部の位置や姿勢から想定される視野に、リプロジェクションのためのマージン領域を加えて画像を生成し送信する。これによりヘッドマウントディスプレイ１００は、表示直前の視点に対応する範囲の画像を、適宜切り出して表示させる（例えば特開２０１７－２１５８７５号公報参照）。

ここでマージン領域を広く設定すれば、ユーザの頭部のすばやい動きに対しても、表示時の視点に応じた画像を欠損なく表示できる。またヘッドマウントディスプレイ１００のように接眼レンズを介して画像を見るシステムにおいては、当該レンズにより拡大される領域について、拡大率を想定した高い解像度で画像を生成しておくことが望ましい。このように多様な状況に対し映像品質を維持するには、画像生成装置２００からヘッドマウントディスプレイ１００へ大容量のデータを送信する必要が生じ、低遅延化や通信の無線化などの妨げとなる。

そこで本実施の形態の画像生成装置２００は、表示画像の各フレームにおいて、人の視覚特性や接眼レンズの特性上、詳細に視認されにくい一部領域を縮小した状態で送信することによりデータサイズを削減する。例えば画像生成装置２００は、図４の表示画像２２において左右の領域に表された、左目用の画像と右目用の画像のうち、各中心から所定値以上の距離を有する領域について画像を縮小する。

ヘッドマウントディスプレイ１００は、縮小された領域について拡大することで画像のサイズを元に戻し表示する。この場合、縮小された領域については解像度が下がることになるが、一般的な人の視覚特性として、注視点から離れるほど情報の識別能力が低くなることに鑑みれば、そのような状態であることは認識されにくい。また接眼レンズに応じて歪みを与えた画像においては、元来、周縁部で解像度が低くなっているため、視認上の影響が小さい。

したがって、このように縮小する領域を適切に選択することにより、ユーザの認識上での品質を維持したうえで送信すべきデータサイズを削減できる。またユーザの視野外、すなわち表示画像２２において黒い塗りつぶしとなっている領域のデータについては、送信対象から除外することにより、さらにデータサイズを小さくできる。縮小する領域やその倍率、あるいはその分布は、１つの動画像においても状況に応じて変化させてよい。

例えばユーザの頭部が動くなどして注視点が定まらない期間、あるいは表示対象のオブジェクトの動きが大きく、像がぶれて視認される期間などは、縮小する領域を広げたり縮小の度合いを大きくしたりしても気づかれにくい。また通信状況が悪化している期間においても、縮小する領域を広げたり縮小の度合いを大きくしたりすることによりデータサイズを抑えれば、表示画像の一部欠損やブラックアウトなどの状況を回避できる。このようにデータサイズを臨機応変に制御することにより、ユーザの認識上、重要な領域については詳細な画像を表示させ続けることが可能となる。

図５は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６はヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２はＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含む。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

ステレオカメラ１１０は図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。モーションセンサ１３４による計測値やステレオカメラ１１０による撮影画像のデータは必要に応じて、通信部１３２を介して画像生成装置２００に送信される。

図７は、本実施の形態における画像生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図７では特に、表示画像を生成し送信する機能に着目して示している。なお図７で示される画像生成装置２００の機能のうち少なくとも一部を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

また図７に示す機能ブロックは、ハードウェア的には、図５、６に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能、表示機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、ヘッドマウントディスプレイ１００や通信のリアルタイムでの状態に係る情報を取得する状態情報取得部２６０、表示画像を生成する画像生成部２６２、画像の生成に用いるデータを格納する画像データ記憶部２６４、生成された画像を必要に応じて縮小する縮小処理部２６６、縮小倍率の分布を表すマップを格納する倍率マップ記憶部２６８、および、生成した画像のデータをヘッドマウントディスプレイ１００に出力する出力部２７０を備える。

状態情報取得部２６０は図５の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、ユーザ頭部の位置や姿勢に係る情報を所定のレートで取得する。あるいは状態情報取得部２６０はヘッドマウントディスプレイ１００から、モーションセンサ１３４の計測値やステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得し、少なくともそのいずれかに基づき自らがユーザ頭部の位置や姿勢を算出してもよい。撮影画像から位置や姿勢を取得する手法として、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）など既存の技術を利用できる。

状態情報取得部２６０はまた、ヘッドマウントディスプレイ１００との通信状況を所定のレートで取得してよい。ここで通信状況とは、その時点で実現されている通信帯域幅や通信遅延などである。例えば状態情報取得部２６０は、画像データを送信してからヘッドマウントディスプレイ１００に到達するまでの遅延時間を、ヘッドマウントディスプレイ１００からの応答信号に基づき取得する。

あるいは状態情報取得部２６０は、送信済みの画像データのうちヘッドマウントディスプレイ１００に到達したデータの割合を、データ到達率としてヘッドマウントディスプレイ１００から取得する。状態情報取得部２６０は、これらの情報に基づき、単位時間当たりに送信できたデータ量、すなわち、利用可能な帯域幅を取得できる。

画像生成部２６２は図５のＣＰＵ２２２、ＧＰＵ２２４などで構成され、図４で示した手順などにより表示画像を所定のレートで生成する。すなわち画像生成部２６２は、ユーザ頭部の位置や姿勢の情報に基づき、視点に対応するビュースクリーンを設定し、３次元の仮想空間に存在するオブジェクトを射影することにより左目用、右目用の画像を生成する。そしてそれぞれの画像に、ヘッドマウントディスプレイ１００の接眼レンズに応じた歪みを与え、画像平面の左右に配置することにより、図４の表示画像２２のような画像を生成する。上述のリプロジェクションを実現する場合、画像生成部２６２はマージン領域を加えて画像を生成する。

画像データ記憶部２６４は図５のメインメモリ２２６などで構成され、表示対象のオブジェクトのモデルデータや仮想空間の構成に係るデータ、ヘッドマウントディスプレイ１００の接眼レンズに対応する歪みに係る情報を格納する。なお画像生成装置２００が生成する表示画像は３次元オブジェクトに限らず、別途撮影されたパノラマ画像などでもよいし、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影しているリアルタイムの画像、または当該画像に加工を施した画像などでもよい。

あるいは画像生成装置２００は、図示しないサーバからネットワークを介して送信された、クラウドゲーミングや映画などの各種コンテンツの画像を取得し、即時復号伸張してもよい。縮小処理部２６６は図５のＣＰＵ２２２、ＧＰＵ２２４などで構成され、画像生成部２６２が生成した表示画像（フレーム）を、画像平面における領域ごとに異なる倍率で縮小する。また縮小処理部２６６は、接眼レンズの視野外の領域については送信対象から除外する。

倍率マップ記憶部２６８は図５のメインメモリ２２６などで構成され、画像平面に対し縮小倍率の分布を表した、１つまたは複数の倍率マップの設定データを格納する。倍率マップは、画像平面における画素の位置座標と倍率とを対応づけたルックアップテーブルの形式であってもよい。縮小処理部２６６は、当該倍率マップで設定された倍率で、画像生成部２６２から供給される画像列のデータを順次、縮小する。この際、縮小処理部２６６は、ヘッドマウントディスプレイ１００との通信状況、および、ユーザ頭部の動きに係る情報の少なくともいずれかを状態情報取得部２６０から取得し、それに基づき、参照する倍率マップを切り替えてもよい。

例えば縮小処理部２６６は、通信帯域がしきい値以上などデータサイズを抑える必要がないと判定できる状態においては、縮小する領域の面積、あるいは倍率で設定される縮小度合いが最小の倍率マップを参照する。また縮小処理部２６６は、ユーザ頭部の角速度がしきい値以下など画質低下を抑える必要がある状態においても、縮小する領域の面積、あるいは縮小度合いが最小の倍率マップを参照する。なお縮小処理部２６６は、これらの状態においては縮小処理を行わなくてもよい。

そして縮小処理部２６６は、通信帯域が減少するほど、また、頭部の角速度が増加するほど、縮小する領域の面積や縮小の度合いが大きい倍率マップへ参照先を切り替える。このため倍率マップ記憶部２６８には、通信帯域の範囲や頭部の角速度の範囲と、採用する倍率マップとを対応づけて格納しておく。なお参照先の倍率マップを切り替える根拠とするパラメータは、通信帯域や頭部の角速度に限定されない。

すなわち、「データサイズを抑える必要性」の度合いや、「画質低下を抑える必要性」の度合いを導出できるパラメータであればよく、通信遅延時間、頭部の速度や加速度、表示画像に対するユーザの注視点の速度や加速度、視点に対するオブジェクトの速度、オプティカルフローの大きさなどでもよい。それらのパラメータのいずれかを単独で用いてもよいし、複数のパラメータを組み合わせて用いてもよい。

例えば縮小処理部２６６は、それらのパラメータを用いて、「データサイズを抑える必要性」の度合いと「画質低下を抑える必要性」の度合いをスコアとして数値化する。「データサイズを抑える必要性」と「画質低下を抑える必要性」はトレードオフの関係にあるため、双方のスコアのバランスに基づき、参照先の倍率マップを一意に決定する。

出力部２７０は、図６のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、縮小処理部２６６が必要に応じて縮小した後の表示画像のデータを、ヘッドマウントディスプレイ１００に順次送出する。なお出力部２７０は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣやＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなどの符号化方式によりデータを圧縮符号化したうえで、ヘッドマウントディスプレイ１００にストリーミング送信してもよい。

ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００のリアルタイムでの状態に係る情報を送信する状態情報送信部２７６、画像生成装置２００から送信された画像のデータを取得する画像データ取得部２７８、取得したデータを表示画像のサイズに復元する画像サイズ復元部２８０、復元に用いる倍率マップを格納する倍率マップ記憶部２８２、および、サイズが復元された画像を表示する表示部２８４を備える。

状態情報送信部２７６は図６のＣＰＵ１２０、モーションセンサ１３４、ステレオカメラ１１０、通信部１３２などで構成され、ユーザ頭部の位置や姿勢に係る情報、あるいはそれを導出するための計測値や撮影画像のデータを、所定のレートで画像生成装置２００に送信する。また注視点の動きによって縮小率やその分布を調整する場合、状態情報送信部２７６は、図示しない注視点検出器によって計測された注視点の位置座標に係る情報を画像生成装置２００に送信する。

状態情報送信部２７６はまた、画像生成装置２００との通信状況を導出するためのデータ、すなわち応答信号や、画像データ取得部２７８が受信したデータの割合などの情報を随時、画像生成装置２００に送信してよい。画像データ取得部２７８は、図６のＣＰＵ１２０、通信部１３２、メインメモリ１２２などで構成され、画像生成装置２００から送信された表示画像のデータを取得する。データが圧縮符号化されている場合は順次復号伸張する。

画像サイズ復元部２８０は図６のＣＰＵ１２０、メインメモリ１２２などで構成され、画像生成装置２００から送信されたデータを、フレームごとに表示画像のサイズに復元する。すなわち取得したデータのうち、縮小されている領域の画像を拡大し、相互に接続することで元のサイズの表示画像とする。倍率マップ記憶部２８２は、図６のメインメモリ１２２などで構成され、画像サイズ復元部２８０が画像サイズを復元する際に参照する倍率マップのデータを格納する。

画像サイズ復元部２８０は、画像生成装置２００の縮小処理部２６６が用いたのと同じ倍率マップを参照し、設定されている倍率の逆数で拡大することによりサイズを元に戻す。そのため倍率マップにはあらかじめ、画像生成装置２００とヘッドマウントディスプレイ１００で共通の識別情報を与えておく。画像生成装置２００は、縮小処理に用いた倍率マップの識別情報を、画像データのヘッダなどに埋め込むことにより、ヘッドマウントディスプレイ１００が適切な倍率マップを特定できるようにする。

表示の途中で倍率マップを切り替える場合、画像生成装置２００はその都度、倍率マップの識別情報をヘッドマウントディスプレイ１００に送信すればよい。なお倍率マップの特定手段は識別情報の送受信に限らない。例えばヘッドマウントディスプレイ１００側でも、各種状態を表すパラメータの範囲と倍率マップを対応づけておき、実際の値を画像生成装置２００から送信したり、画像サイズ復元部２８０自らが取得したりして、参照すべき倍率マップを特定してもよい。

表示部２８４は図６のＣＰＵ１２０、メインメモリ１２２、表示部１２４などで構成され、画像サイズ復元部２８０により復元されたメモリに展開された画像が表示されるように表示パネルを駆動する。なおリプロジェクションを実現する場合、表示部２８４は、その時点でのユーザ頭部の位置姿勢を取得し、それに基づき画像を補正したうえで表示パネルに出力する。

図８は、本実施の形態で設定される倍率マップを模式的に示している。上述のとおり倍率マップ３００は、画像平面の位置座標に縮小倍率を対応づけたルックアップテーブルなどの形式でよいが、図では画像平面上の倍率の分布として示している。この例では、図４の表示画像２２のように、左目用の領域３０２ａと右目用の領域３０２ｂにより構成される画像平面を想定している。そして左右のレンズ中心に対応する、画像中央３０４ａ、３０４ｂを中心とする同心円で領域を分割し、倍率を設定する単位としている。

より具体的には、画像中央３０４ａ、３０４ｂを含む円形の領域Ａ、その外側の中空円の領域Ｂ、さらに外側の中空円の領域Ｃ、というように領域分割する。領域Ｃの外側の領域Ｄ、Ｅは、図示するように左目用の領域３０２ａと右目用の領域３０２ｂの境界で繋がった形状となる。また、画像平面の辺を含む領域Ｆは視野外のため画素値が無効の領域である。倍率マップにおいては、このように分割してなる領域Ａ～Ｆのそれぞれを構成する画素に対し縮小倍率が対応づけられる。

例えば領域Ａ、Ｂ、Ｃ、・・・を構成する画素に対し、それぞれ１、１／４、１／１６、・・・などの倍率（面積の割合）を設定する。これにより、左目用の領域３０２ａと右目用の領域３０２ｂのそれぞれにおいて、画像中央３０４ａ、３０４ｂからの距離範囲が大きくなるほど縮小の度合いが大きくなるように設定できる。また最も外側の領域Ｆについては、無効データを送信しないように、その旨の設定を対応づける。

ここで領域Ｂ～Ｅの幅は、領域Ａの半径と等しくしてもよいし、図示するようにそれぞれを独立して決定してもよい。例えば接眼レンズの屈折による像高の変化量に応じて、各領域の幅や倍率を最適化してよい。また複数の倍率マップを設定する場合、図示するような分割領域は変化させず、各領域に設定する倍率を異ならせてもよいし、領域の数、大きさ、形状を異ならせてもよい。

図９は、画像生成装置２００の縮小処理部２６６が、倍率マップを参照して画像を縮小する処理を説明するための図である。図の左側は、用いる倍率マップを示しており、この例では図８で示した、領域Ａ～Ｆからなる倍率マップ３００を想定している。図の右側は縮小処理部２６６が、各領域の設定に従い画像を縮小する様子を示しており、最小の矩形が１つの画素領域を表す。縮小処理部２６６はまず、表示画像を同じサイズの画素ブロックに分割し、その単位で画像を縮小する。図示する例では８×８画素を１つの画素ブロックとしている。

この例では、領域Ａ、Ｂに含まれる画素ブロックについては倍率１、すなわち画像を縮小せず８×８画素のままとする。領域Ｃに含まれる画素ブロックについては縦横双方向に１／２に縮小することで４×４画素とする。領域Ｄに含まれる画素ブロックについては縦横双方向に１／４に縮小することで２×２画素とする。領域Ｅに含まれる画素ブロックについては縦横双方向に１／８に縮小することで１×１画素とする。縮小にはバイリニア法、ニアレストネイバー法、バイキュービック法など既存手法のいずれを用いてもよい。

また領域Ｆに含まれる画素ブロックについては送信対象から除外する。縮小処理部２６６は倍率マップを参照し、各領域について画素ブロックをそのままとするか縮小するか、縮小する場合はその倍率の設定値を特定する。通信状況や頭部の動きなどの状況が変化したら、縮小処理部２６６は参照先の倍率マップを切り替え、縮小対象の領域や縮小倍率を変化させる。

例えば、通信状況が悪化したら、縮小処理部２６６は領域Ｂに含まれる画素ブロックについても１／４倍に縮小する。頭部の動きが停止したら、縮小処理部２６６は領域Ｃに含まれる画素ブロックについて縮小対象から除外する。そのほか、目標とするデータサイズが得られるように、各領域の縮小倍率を様々に調整できることは当業者には理解されるところである。

図１０は、縮小処理部２６６から出力される画像データの順列を説明するための図である。図９に示したように画素ブロックを８×８画素とした場合、縮小処理部２６６は、８行分の画素列ごとに、左端から右方向へ縮小処理を進捗させる。例えば図の中段に拡大するように、領域３１２の５つの画素ブロックにおいて、最も左の画素ブロックは領域Ｆに含まれるため、送信対象から除外する。左から２番目および３番目の画素ブロックは領域Ｅに含まれるため、図９の設定によれば１画素分のサイズに縮小する。

４番目および５番目の画素ブロックは領域Ｄに含まれるため、図９の設定によれば２×２画素分のサイズに縮小する。詳細には縮小処理部２６６は、各画素ブロックに矢印（例えば矢印３１６）で示すように、画素ブロック単位でラスタ順に画素を走査して、順次データを除外したり縮小演算の入力値としたりする。その結果、縮小処理部２６６から出力部２７０へ、画素ブロックの単位でラスタ順にデータが供給される。ただし領域Ｆのデータは供給対象外とする。

図示する例では最下段に示すように、２番目の画素ブロックの１画素分、３番目の画素ブロックの１画素分、４番目の画素ブロックの４画素分、５番目の画素ブロックの４画素分、・・・のデータがその順で出力される。なお縮小結果が２×２画素など複数画素の場合、縮小結果のブロックに矢印（例えば矢印３１８）で示すように、当該ブロック単位で左上の画素からラスタ順にデータを出力する。

領域Ａのように縮小対象外の場合も同様に、８×８＝６４画素のブロック内でラスタ順に画素値を出力する。なおこの場合、出力部２７０は、Ｈ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣなどの符号化方式により全てのフレームをイントラフレームとして出力することが考えられる。

図１１は、ヘッドマウントディスプレイ１００の画像サイズ復元部２８０が、倍率マップを参照して画像サイズを復元する処理を説明するための図である。図の左側は、用いる倍率マップを示しており、この例でも図８で示した、分割領域Ａ～Ｆからなる倍率マップ３００を想定している。当該倍率マップ３００は、画像生成装置２００が縮小処理に用いたものと同一とする。図の右側は画像サイズ復元部２８０が、各領域の設定に従い画像のサイズを元に戻す様子を示している。

画像サイズ復元部２８０は、画像生成装置２００から送信される倍率マップの識別情報などに基づき特定した倍率マップを参照し、送信された画素の順列を基に画素ブロックに切り分ける。この段階では、様々なサイズの画素ブロックが存在するため、画像サイズ復元部２８０はそれらを適宜拡大する。図示する例では、領域Ａ、Ｂに含まれる画素ブロックについては８×８画素のまま拡大しない。領域Ｃに含まれる画素については１６画素分を４×４画素に展開したうえ、縦横双方向に２倍に拡大することで８×８画素とする。

領域Ｄに含まれる画素については４画素分を２×２画素に展開したうえ、縦横双方向に４倍に拡大することで８×８画素とする。領域Ｅに含まれる画素については１画素を縦横双方向に８倍に拡大することで８×８画素とする。拡大にはバイリニア法、ニアレストネイバー法、バイキュービック法など既存手法のいずれを用いてもよい。また領域Ｆに含まれる画素のデータは送信されないため、画素値が無効の８×８画素のデータをあらかじめ準備しておく。そして画像サイズ復元部２８０は、隣接する画素ブロックを順次接続していくことで表示画像を形成する。

図１２は、画像生成装置２００が状況に応じて切り替える倍率マップを例示している。上述のとおり縮小処理部２６６は、状態情報取得部２６０が取得するリアルタイムでの各種状態情報に基づき、参照先の倍率マップを切り替えてよい。図において倍率マップ３００ａは、図８などに示した倍率マップ３００と同じである。一方、倍率マップ３００ｂは倍率マップ３００ａと比較し、縮小の度合いが大きい領域Ｅの面積が大きく、縮小対象外の領域Ａの面積が小さくなっている。

したがって定性的には、倍率マップ３００ａは、「画質低下を抑える必要性」が大きいときに使用し、倍率マップ３００ｂは、「データサイズを抑える必要性」が大きいときに使用する。縮小処理部２６６は例えば、通常状態においては倍率マップ３００ａを用いて縮小処理を行う。そして、利用できる通信帯域幅がしきい値以下となったことを検知したら、参照先を倍率マップ３００ｂに切り替える。その後、利用できる通信帯域幅がしきい値を超えたら、縮小処理部２６６は参照先を倍率マップ３００ａに戻す。

なお参照先を倍率マップ３００ｂへ切り替える帯域幅のしきい値と、倍率マップ３００ａへ戻す帯域幅のしきい値は等しくてもよいし異なっていてもよい。しきい値を異ならせることにより、倍率マップの切り替えが必要以上に高い頻度で発生しないようにできる。倍率マップの切り替えの契機とするパラメータは通信帯域に限らず、上述のとおり頭部や注視点の速度、オブジェクトの速度など様々でよい。複数のパラメータを組み合わせてもよい。

また切り替えるタイミングは、パラメータがしきい値を越えたときに限らず、表現されるシーンの切り替わり時などでもよい。さらに、図では２つの倍率マップ間で切り替える例を示しているが、３つ以上の状態遷移に対し、３つ以上の倍率マップを切り替えてもよい。あるいは１つの倍率マップを準備し、それを用いて縮小するか、画像全体を縮小しないかを切り替えてもよい。

図１３は本実施の形態で利用できる倍率マップの別の例を示している。なお図における領域の符号Ａ～Ｆには、これまで例示した倍率マップ３００と同じ倍率が設定されるとする。まず（ａ）は、領域Ｄが中空円ではなく、左目用、右目用の領域を跨ぐ略四角形（角丸矩形）の領域としている。また当該領域Ｄの中心を画像平面の中心より下方によせ、下半分にかかる面積割合を大きくすることにより、縮小の度合いが大きい領域Ｅの面積を上側で大きくしている。

人の視覚は、視野の上側より下側にある物に敏感な特性を有する。したがって上下対象に縮小する代わりに、下半分の領域における縮小度合いの平均値を上半分より小さくすることにより、同じデータサイズでも画質の劣化が認識されにくくなる。図では画像平面の上下で領域を非対称としたが、左目用、右目用の各領域において左右で非対称としたり、上下左右で非対称としたりしてもよい。例えば顔が向く先や注視点の移動先の領域において縮小度合いを抑えるようにしてもよい。

また、領域は円、中空円、矩形、角丸矩形のほか、楕円、中空楕円、多角形など、その形状は限定されず、いずれか２種類以上を組み合わせてもよい。（ｂ）は、縮小対象外の領域Ａを設定せず、領域Ｃ、Ｅ、Ｆの３種類のみからなる倍率マップを示している。例えばユーザ頭部の角速度がしきい値以上のとき、表示対象はぶれて視認される。そこで図示するような倍率マップを用いて、画像中心近傍でも縮小の度合いを比較的大きくすることで、認識上の影響を小さく、データサイズを格段に抑えることができる。このように、倍率を設定する領域の数は限定されないが、相対的には左目用、右目用の画像中央近傍での縮小の度合いを抑えることが望ましい。

これまで述べた態様では原則として、左目用、右目用の画像の中央から離れるほど縮小の度合いを大きくした。これにより、人の視覚特性やレンズを介した画像鑑賞の特性により、ユーザの認識上での画質への影響を抑えながらデータサイズを小さくできる。一方で、画像をブロック分割し、その単位で圧縮符号化し送信する場合は、当該単位を縮小処理に利用することにより、処理の効率を上げることができる。

図１４は、倍率を制御する単位を画像データの符号化方式に対応させる態様を説明するための図である。動画圧縮の規格であるＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣの場合、１フレームの画像を所定サイズのスライスやタイルに分割し、その単位で圧縮符号化を行う。そこで、本実施の形態における縮小処理を、当該スライスやタイルの単位で行うことにより、縮小、圧縮符号化、伝送、復号伸張、拡大、という一連の処理を、同じ単位で行える。

これにより、処理の単位が異なることによるデータの待ち時間やデータ順の入れ替えに要する時間などを削減し、より低遅延での表示を実現できる。図の（ａ）は、画像平面を水平方向に６分割してなるスライス単位で圧縮符号化を行う場合を想定した倍率マップである。この例では、グレーで表した最上段のスライス３２０ａおよび最下段のスライス３２０ｂを縮小対象とする。縮小対象のスライスには、適宜縮小倍率を設定する。

（ｂ）は、画像平面を垂直方向に１２分割してなるスライス単位で圧縮符号化を行う場合を想定した倍率マップである。この例では、グレーで表した左目用画像の左端のスライス３２２ａおよび右端のスライス３２２ｂ、右目用画像の左端のスライス３２２ｃおよび右端のスライス３２２ｄを縮小対象とする。このように、符号化方式の分割規則を踏襲したうえで、左目用、右目用の画像中央から離れた領域で画像を縮小することで、認識上での影響を小さくデータサイズを抑え、さらに低遅延化を実現できる。

なお図では縮小するか否か、という２種類のスライスに分けたが、図８と同様、複数の縮小倍率をスライスに割り振ることで、画像中央から離れるほど縮小の度合いが大きくなるようにしてもよい。また、この態様においても、リアルタイムでの状態情報に応じて、縮小倍率の割り当てを変化させてよい。すなわちデータサイズを抑えたい状況においては、全体的に縮小の度合いを大きくしたり、縮小対象のスライスの数を増やしたりしてもよい。

またこの場合も、図１３の（ａ）を参照して説明したように、画像平面の上下、あるいは左目用、右目用の各画像領域の左右で、倍率が非対称の分布となるように縮小してもよい。さらに、スライスを分割したタイル単位などで縮小倍率を制御してもよい。

以上述べた本実施の形態によれば、画像生成装置は、１つの表示画像を領域ごとに異なる倍率としたデータを送信し、表示装置においてサイズを戻して表示する。この際、人の視覚特性を考慮した分布で倍率を設定する。また接眼レンズを介して鑑賞する方式のヘッドマウントディスプレイなどを用いる場合、レンズによる歪みも考慮して倍率の分布を設定したり、視野外のデータを送信対象から除外したりする。これにより、認識上での影響を少なく、送信データのサイズを抑えることができ、処理や通信に要するコストを低減させ、低遅延で確実な表示を実現できる。

また、認識上で過剰な情報を削減することにより、レンズで拡大される領域やユーザが詳細に視認しやすい領域の情報量を増やすことができる。さらにデータサイズを抑えることにより、フレームレートを上げることも容易になる。結果として、無理なく高品質な画像をユーザに視認させることができる。また倍率の分布の設定を変化させることにより、状況に応じた最適な状態でデータ送信および画像表示を行える。

またヘッドマウントディスプレイを用いる場合、無線化が容易になり内部構造をシンプルにできるため、軽量化や発熱の軽減なども実現でき、装着感を向上させることができる。さらにクラウドゲーミングなど、サーバやネットワークを介した動画配信システムを実現する場合も、配信データを同様に縮小すれば、低遅延かつ高品質な映像体験を容易に実現できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ ＣＰＵ、 １２２ メインメモリ、 １２４ 表示部、 １３２ 通信部、 １３４ モーションセンサ、 ２００ 画像生成装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２６０ 状態情報取得部、 ２６２ 画像生成部、 ２６４ 画像データ記憶部、 ２６６ 縮小処理部、 ２６８ 倍率マップ記憶部、 ２７０ 出力部、 ２７６ 状態情報送信部、 ２７８ 画像データ取得部、 ２８０ 画像サイズ復元部、 ２８２ 倍率マップ記憶部、 ２８４ 表示部。

Claims (10)

1. 画像生成装置から送信された表示画像をヘッドマウントディスプレイに表示させる画像表示システムであって、
   前記画像生成装置は、
   前記表示画像を、画像平面の領域ごとに異なる倍率の送信データとする縮小処理部と、
   前記送信データを前記ヘッドマウントディスプレイに送信する出力部を備え、
   前記ヘッドマウントディスプレイは、前記送信データを表示画像のサイズに復元する画像サイズ復元部を備えたことを特徴とする画像表示システム。
2. 前記縮小処理部は、前記表示画像を所定サイズの画素ブロック単位で縮小し、
   前記画像サイズ復元部は、縮小された画素ブロックを拡大したうえ画素ブロック同士で接続することにより表示画像のサイズを復元することを特徴とする請求項１に記載の画像表示システム。
3. 左目用の画像と右目用の画像を生成し、前記ヘッドマウントディスプレイの接眼レンズに対応する歪みを与えたうえで左右の領域に配置した前記表示画像を生成する画像生成部をさらに備え、
   前記縮小処理部は、前記左目用の画像と前記右目用の画像のそれぞれの中央からの距離範囲によって、前記倍率を変化させることを特徴とする請求項１または２に記載の画像表示システム。
4. 前記縮小処理部は、前記表示画像のうち前記接眼レンズの視野外の領域を前記送信データから除外することを特徴とする請求項３に記載の画像表示システム。
5. 前記ヘッドマウントディスプレイとの通信状況、および前記ヘッドマウントディスプレイにおける所定の状態情報の少なくともいずれかを取得する状態情報取得部をさらに備え、
   前記縮小処理部は、前記状態情報取得部が取得した情報に基づき、画像平面における倍率の設定を変化させることを特徴とする請求項１から４のいずれかに記載の画像表示システム。
6. 前記縮小処理部は、画像平面に倍率の分布を表した倍率マップを参照して前記送信データを生成し、
   前記出力部は、使用した倍率マップに係る情報を前記ヘッドマウントディスプレイに送信し、
   前記画像サイズ復元部は、前記使用した倍率マップを参照して前記表示画像のサイズに復元することを特徴とする請求項１から５のいずれかに記載の画像表示システム。
7. 前記縮小処理部は、前記画像平面の下半分の領域における縮小の度合いの平均値を、上半分の領域より小さくすることを特徴とする請求項１から６のいずれかに記載の画像表示システム。
8. 前記出力部は、前記表示画像をブロック分割した単位で圧縮符号化し、
   前記縮小処理部は、前記ブロックの単位で倍率を異ならせることを特徴とする請求項１から７のいずれかに記載の画像表示システム。
9. 画像生成装置が、
   表示画像のデータを生成するステップと、
   前記表示画像を、画像平面の領域ごとに異なる倍率の送信データとするステップと、
   前記送信データをヘッドマウントディスプレイに送信するステップと、
   前記ヘッドマウントディスプレイが、
   前記送信データを表示画像のサイズに復元して表示するステップと、
   を含むことを特徴とする画像表示方法。
10. 表示画像のデータを生成する機能と、
    前記表示画像を、画像平面の領域ごとに異なる倍率の送信データとする機能と、
    前記送信データをヘッドマウントディスプレイに送信する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images