JP2019184883A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】主となるユーザの急な動きを従となるユーザのディスプレイ装置に反映させないことで、従となるユーザの視覚的な不快感または映像酔いを低減させる。【解決手段】画像処理装置は、第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得手段と、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正手段と、補正処理が行われていない第１の位置姿勢変化に基づき第１の表示領域を算出し、補正処理が行われている第１の位置姿勢変化に基づき補正表示領域を算出し、かつ補正表示領域の中心座標を基準にして第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出手段と、を備える。【選択図】図２

Description

本発明は、画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置、画像処理方法、およびプログラムに関する。

ヘッドマウントディスプレイは、ユーザの頭部に装着するディスプレイ装置のことであり、ウェアラブルコンピュータの一つとして位置付けられる。また、ヘッドマウントディスプレイは、外の世界を完全に見えなくし、かつユーザの顔の向きに連動させて画像を変化させて３６０度の視界を表現することで、より完全に近いバーチャルリアリティを実現できることから、近年注目される技術の一つとなっている。

ところで、ヘッドマウントディスプレイの利用法として、複数のユーザの各々が１つのディスプレイを装着し、これら複数のディスプレイに１つの画像を表示することで、複数のユーザが１つの画像を共有し得る技術が知られている。この場合、複数のユーザは、その１つの画像を介して１つの世界（仮想空間）にいることを実感できる。このようなヘッドマウントディスプレイを用いた画像共有に関する技術は、従来、例えば、特許文献１に開示されるようなものがある。

特許文献１は、１つの画像を複数のヘッドマウントディスプレイに表示する場合に、主となるユーザが装着するディスプレイからの視野情報に基づき、従となるユーザが装着するディスプレイの画像を制御する技術を開示する。これにより、従となるユーザも、主となるユーザと同じ画像を見ることが可能となる。また、引用文献２は、主となるユーザが装着するヘッドマウントディスプレイから得られた頭部の重力方向に対する傾きに基づき、従となるユーザが視聴するモニタ装置に表示する画像の傾きを制御する技術を開示する。

特開２０１２−２１２９９１号公報 特開２０１２−１６０８９８号公報

特許文献１および２の技術は、主となるユーザと従となるユーザとで１つの画像を共有する場合に、主となるユーザが装着するディスプレイの表示領域をそのまま利用して、従となるユーザのディスプレイまたはモニタ装置に表示する。従って、特許文献１および２の場合、主となるユーザが急な動きを行うと、その急な動きに基づく画像の変化が従となるユーザのディスプレイまたはモニタ装置にそのまま反映されてしまう。この場合、従となるユーザは、この急な動きによる画像の変化により、視覚的な不快感または映像酔いを引き起こす可能性がある。なお、急な動きは、ユーザの頭部の動きに起因するものとし、その動きが小さくても小刻みに長時間続く場合、および短時間でも大きい場合は、それぞれ急な動きに該当するものとする。

本発明は、１つの画像を複数の装着型ディスプレイ装置に表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイ装置に反映されなくすることで、従となるユーザの視覚的な不快感または映像酔いを低減させることを目的とする。

本発明の例によれば、画像処理装置は、画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置であって、前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得手段と、前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正手段と、前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出手段と、前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成手段と、を備える。

本発明の例によれば、１つの画像を複数の装着型ディスプレイ装置に表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイ装置に反映されなくすることで、従となるユーザの視覚的な不快感または映像酔いを低減させることが可能となる。

ＨＭＤシステムの例を示す図である。 図１のシステムの動作を示すフローチャートである。 第１および第２の位置姿勢変化のパラメータを示す図である。 表示領域制御部の詳細を示す図である。 第１の表示領域を算出する例を示す図である。 補正処理の例を示す図である。 ＬＰＦによる補正処理の例を示す図である。 閾値処理部による補正処理の例を示す図である。 加速度に基づき主となるユーザの急な動きを検出する例を示す図である。 第１の表示領域と第２の表示領域との関係を示す図である。 第２の表示領域を算出する例を示す図である。 ＨＭＤシステムの例を示す図である。 図１２のシステムの動作を示すフローチャートである。

以下、本発明の実施形態を図面を参照して詳細に説明する。
（第１の実施形態）
図１は、ＨＭＤシステムの例を示す。

このＨＭＤシステムは、画像処理装置１００と、第１のディスプレイ１１０と、第２のディスプレイ１２０と、を備える。第１のディスプレイ１１０は、主となるユーザが装着するヘッドマウントディスプレイ（ディスプレイ装置）であり、第２のディスプレイ１２０は、従となるユーザが装着するヘッドマウントディスプレイ（ディスプレイ装置）である。主となるユーザとは、複数のユーザが１つの映像または画像（以下、両者をまとめて単に画像と称する）を共有する場合に、その１つの画像の提供元となるユーザのことである。また、従となるユーザとは、複数のユーザが１つの画像を共有する場合に、その１つの画像の提供先となるユーザのことである。すなわち、主となるユーザが視聴している１つの画像が従となるユーザに提供されることで、複数のユーザが１つの画像を共有することができる。

このシステムは、複数のヘッドマウントディスプレイを備える。本例では、第１および第２のディスプレイ１１０，１２０としての２つのヘッドマウントディスプレイを備える。但し、これは本実施形態の説明を簡単にするためのものであり、その数は、３つ以上であっても構わない。また、このシステムにおいては、複数のヘッドマウントディスプレイのうちの１つは、主となるユーザが装着するディスプレイとして機能し、残りは、従となるユーザが装着するディスプレイとして機能する。

また、画像処理装置１００の位置は、特に限定されない。例えば、画像処理装置１００は、第１および第２のディスプレイ１１０，１２０を含む複数のヘッドマウントディスプレイとは独立に設けられる。この場合、画像処理装置１００は、専用機器であってもよいし、パソコンなどの汎用機器であってもよいし、またはクラウドサービスにおける管理サーバであってもよい。なお、画像処理装置１００が管理サーバ内に搭載される場合の例については、第２の実施形態で詳述する。

また、画像処理装置１００は、複数のヘッドマウントディスプレイのうちの１つに搭載されていてもよい。例えば、画像処理装置１００が搭載されるヘッドマウントディスプレイが第１のディスプレイ１１０でない場合、画像処理装置１００は、第１のディスプレイ１１０に表示すべき第１の表示画像を第１のディスプレイ１１０に送信する送信部を備える。また、画像処理装置１００が搭載されるヘッドマウントディスプレイが第２のディスプレイ１２０でない場合、画像処理装置１００は、第２のディスプレイ１２０に表示すべき第２の表示画像を第２のディスプレイ１２０に送信する送信部を備える。

さらに、画像処理装置１００は、複数のヘッドマウントディスプレイの各々に搭載されていてもよい。

画像処理装置１００は、画像データ入力部１０１と、画像メモリ１０２と、表示領域制御部１０３と、を備える。第１のディスプレイ１１０は、位置姿勢変化検出部１１１と、画像表示部１１２と、を備える。第２のディスプレイ１２０は、位置姿勢変化検出部１２１と、画像表示部１２２と、を備える。

画像データ入力部１０１は、画像処理装置１００に画像データが入力された場合に画像データを画像メモリ１０２へ供給する。画像メモリ１０２は、画像データ入力部１０１からの画像データを記憶する。画像データは、画像メモリ１０２から表示領域制御部１０３へ供給される。

位置姿勢変化検出部１１１は、第１のディスプレイ１１０を装着する主となるユーザの第１の位置姿勢変化を検出する。同様に、位置姿勢変化検出部１２１は、第２のディスプレイ１２０を装着する従となるユーザの第２の位置姿勢変化を検出する。位置姿勢変化検出部１１１，１２１の各々は、加速度センサ、ジャイロセンサなどの検出センサを含む。

表示領域制御部１０３は、位置姿勢変化検出部１１１から主となるユーザの第１の位置姿勢変化を取得し、かつ位置姿勢変化検出部１２１から従となるユーザの第２の位置姿勢変化を取得する取得部を備える。

そして、表示領域制御部１０３は、画像メモリ１０２から供給される画像データと、第１の位置姿勢変化と、に基づいて、第１のディスプレイ１１０に供給すべき第１の表示画像を生成する。また、表示領域制御部１０３は、画像メモリ１０２から供給される画像データと、第１の位置姿勢変化と、第２の位置姿勢変化とに基づいて、第２のディスプレイ１２０に供給すべき第２の表示画像を生成する。これら第１及び第２の表示画像の生成については、後述する。

画像表示部１１２は、表示領域制御部１０３により生成された第１の表示画像を表示する。また、画像表示部１２２は、表示領域制御部１０３により生成された第２の表示画像を表示する。

このようなシステムによれば、後述するように、表示領域制御部１０３により、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行うことで、従となるユーザの映像酔いを防止できる。すなわち、表示領域制御部１０３は、補正処理が行われている第１の位置姿勢変化に基づき補正表示領域を算出し、かつ補正表示領域の中心座標を算出する。また、表示領域制御部１０３は、この中心座標を基準にして第２の位置姿勢変化に基づき第２の表示領域を算出する。この第２の表示領域は、主となるユーザの急な動きに起因する要素を含まない。

従って、従となるユーザは、第２の表示領域に基づき生成された第２の表示画像を視聴することになるため、視覚的な不快感または映像酔いを引き起こすことがない。一方、第１の表示画像は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。

次に、図１のＨＭＤシステムの動作を説明する。
以下の説明では、図２のフローチャートをベースにＨＭＤシステムの動作を説明する。

まず、ステップＳ２０１において、画像データを準備する。すなわち、画像データは、画像データ入力部１０１に入力され、かつ画像データ入力部１０１を経由して画像メモリ１０２に記憶される。次に、ステップＳ２０２において、表示領域制御部１０３は、上述の取得部を用いて、位置姿勢変化検出部１１１から第１の位置姿勢変化を取得する。

ここで、図３を参酌して、第１および第２の位置姿勢変化のパラメータを説明する。各パラメータは、加速度センサ、ジャイロセンサなどの検出センサによって検出される。

例えば、第１および第２の位置姿勢変化は、三次元空間４００内で、水平方向への加速度４０１をＸａｄ、垂直方向への加速度４０２をＹａｄ、および奥行き方向への加速度４０３をＺａｄとして、加速度センサによって検出される。また、第１および第２の位置姿勢変化は、三次元空間４００内で、水平方向を軸とする回転角速度４１１をＸｖｒ、垂直方向を軸とする回転角速度４１２をＹｖｒ、奥行き方向を軸とする回転角速度４１３をＺｖｒとして、ジャイロセンサによって検出される。

すなわち、第１および第２の位置姿勢変化は、これら検出された各加速度を時間で積分することで、主となるユーザの速度および位置の変化、並びに従となるユーザの速度および位置の変化として、それぞれ算出可能となる。

具体的には、
Ｘｖｄ＝∫Ｘａｄ ｄｔ ・・・式（１）
Ｙｖｄ＝∫Ｙａｄ ｄｔ ・・・式（２）
Ｚｖｄ＝∫Ｚａｄ ｄｔ ・・・式（３）
とすることで、水平方向への速度Ｘｖｄ、垂直方向への速度Ｙｖｄ、および奥行き方向への速度Ｚｖｄをそれぞれ算出できる。

また、
Ｘｐｄ＝∫Ｘｖｄ ｄｔ ・・・式（４）
Ｙｐｄ＝∫Ｙｖｄ ｄｔ ・・・式（５）
Ｚｐｄ＝∫Ｚｖｄ ｄｔ ・・・式（６）
とすることで、水平方向への位置Ｘｐｄ、垂直方向への位置Ｙｐｄ、および奥行き方向への位置Ｚｐｄをそれぞれ算出できる。

さらに、検出された各回転角速度をそれぞれ時間で微分および積分することで、回転方向の角加速度および回転角を算出できる。すなわち、
Ｘａｒ＝ｄＸｖｒ／ｄｔ ・・・式（７）
Ｙａｒ＝ｄＹｖｒ／ｄｔ ・・・式（８）
Ｚａｒ＝ｄＺｖｒ／ｄｔ ・・・式（９）
とすることで、水平方向を軸とする回転角加速度Ｘａｒ、垂直方向を軸とする回転角加速度Ｙａｒ、および奥行き方向を軸とする回転角加速度Ｚａｒをそれぞれ算出できる。

また、
Ｘｐｒ＝∫Ｘｖｒ ｄｔ ・・・式（１０）
Ｙｐｒ＝∫Ｙｖｒ ｄｔ ・・・式（１１）
Ｚｐｒ＝∫Ｚｖｒ ｄｔ ・・・式（１２）
とすることで、水平方向を軸とする回転角Ｘｐｒ、垂直方向を軸とする回転角Ｙｐｒ、および奥行き方向を軸とする回転角Ｚｐｒをそれぞれ算出できる。

上記の式（１）〜式（１２）で算出される各パラメータについては、実際には加速度センサおよびジャイロセンサ内のドリフトに起因し、積分誤差が発生する。この積分誤差は、第１および第２の位置姿勢変化を正確に求めるための障害となる。そこで、この積分誤差を除去するために、ハイパスフィルタ、カルマンフィルタ、相補フィルタなどのフィルタ処理、さらには、地磁気、ＧＰＳなどの情報による補正処理を行うこと、すなわち、センサーフュージョン構成とすることは、有効である。

なお、上記の式（１）〜式（１２）による算出工程は、第１および第２のディスプレイ１１０，１２０内の位置姿勢変化検出部１１１，１２１で行うことが可能である。この場合、表示領域制御部１０３は、第１および第２の位置姿勢変化を、上記の式（１）〜式（１２）による算出工程の結果として取得する。

また、上記の式（１）〜式（１２）による算出工程は、表示領域制御部１０３で行うことも可能である。この場合、表示領域制御部１０３は、第１および第２の位置姿勢変化を、上記の式（１）〜式（１２）の計算の元になる各パラメータとして取得する。

図２のフローチャートの説明に戻る。
次に、ステップＳ２０３において、表示領域制御部１０３は、第１のディスプレイ１１０に表示すべき第１の表示画像を生成するか、または第２のディスプレイ１２０に表示すべき第２の表示画像を生成するか、を決定する。

第１のディスプレイ１１０に表示すべき第１の表示画像を生成する場合、第１のディスプレイ１１０は、主となるユーザに装着されるものであるため、ステップＳ２０４へ進む。また、第２のディスプレイ１２０に表示すべき第２の表示画像を生成する場合、第２のディスプレイ１２０は、従となるユーザに装着されるものであるため、ステップＳ２０７へ進む。

第１の表示画像は、以下のステップＳ２０４〜Ｓ２０６により生成され、かつ第１のディスプレイ１１０に表示される。

まず、ステップＳ２０４において、画像領域制御部１０３は、ステップＳ２０２で取得した第１の位置姿勢変化に基づき、第１のディスプレイ１１０の画像表示部１１２に表示すべき第１の表示領域を生成する。

次に、ステップＳ２０５において、画像領域制御部１０３は、画像データ、およびステップＳ２０４で生成した第１の表示領域に基づき、第１のディスプレイ１１０の画像表示部１１２に表示すべき第１の表示画像を生成する。そして、ステップＳ２０６において、画像領域制御部１０３は、この第１の表示画像を第１のディスプレイ１１０の画像表示部１１２に供給する。

一方、第２の表示画像は、以下のステップＳ２０７〜Ｓ２１０により生成され、かつ第２のディスプレイ１２０に表示される。

まず、ステップＳ２０７において、表示領域制御部１０３は、上述の取得部を用いて、位置姿勢変化検出部１２１から第２の位置姿勢変化を取得する。そして、ステップＳ２０８において、画像領域制御部１０３は、ステップＳ２０２で取得した第１の位置姿勢変化、およびＳ２０７で取得した第２の位置姿勢変化に基づき、第２のディスプレイ１２０の画像表示部１２２に表示すべき第２の表示領域を生成する。

次に、ステップＳ２０９において、画像領域制御部１０３は、画像データ、およびステップＳ２０８で生成した第２の表示領域に基づき、第２のディスプレイ１２０の画像表示部１２２に表示すべき第２の表示画像を生成する。そして、ステップＳ２１０において、画像領域制御部１０３は、この第２の表示画像を第２のディスプレイ１２０の画像表示部１２２に供給する。

ここで、第１の表示画像および第２の表示画像を生成する具体例を説明する。

例えば、図４に示すように、表示領域制御部１０３は、位置姿勢変化補正パラメータ算出部３０１と、位置姿勢変化補正部３０２と、表示領域算出部３０３と、表示画像生成部３０４と、を備える。位置姿勢変化補正パラメータ算出部３０１は、画像メモリ１０２内に記憶された画像データに基づき、位置姿勢変化補正パラメータを算出し、かつそれを位置姿勢変化補正部３０２へ供給する。

位置姿勢変化補正部３０２は、第１のディスプレイ１１０内の位置姿勢検出部１１１で検出された第１の位置姿勢変化を位置姿勢変化補正パラメータに基づき補正する補正処理を行う。この補正処理は、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する処理である。この補正処理が行われた第１の位置姿勢変化は、表示領域算出部３０３に供給される。

表示領域算出部３０３は、位置姿勢変化補正部３０２で補正処理が行われていない第１の位置姿勢変化に基づき第１の表示領域を算出する。また、表示領域算出部３０３は、位置姿勢変化補正部３０２で補正処理が行われている第１の位置姿勢変化に基づき補正表示領域を算出する。さらに、表示領域算出部３０３は、補正表示領域の中心座標を基準にして、位置姿勢変化検出部１２１から取得した第２の位置姿勢変化に基づき第２の表示領域を算出する。

表示画像生成部３０４は、画像データ、および表示領域算出部３０３で算出された第１の表示領域に基づき、第１のディスプレイ１１０に供給すべき第１の表示画像を生成する。第１の表示画像は、画像表示部１１２に表示される。また、表示画像生成部３０４は、画像データ、および表示領域算出部３０３で算出された第２の表示領域に基づき、第２のディスプレイ１２０に供給すべき第２の表示画像を生成する。第２の表示画像は、画像表示部１２２に表示される。

このように、第１の表示画像は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。また、第２の表示画像は、補正処理が行われている第１の位置姿勢変化と、第２の位置姿勢変化とに基づき生成されるため、従となるユーザは、主となるユーザの急な動きの要素が排除された第２の表示画像を視聴可能となる。

図５は、第１の表示領域を算出する例を示す。
図５（Ａ）は、画像データの垂直方向５０１と水平方向５０２に対して、第１の位置姿勢変化が検出されていない場合の第１の表示領域５０３の例である。図５（Ｂ）は、図５（Ａ）の状態において第１の位置姿勢変化が検出された場合に、第１の位置姿勢変化に基づき第１の表示領域５０８を算出する例である。

本例では、第１の位置姿勢変化は、垂直方向５０１と水平方向５０２に対して、中心座標（ｘ,ｙ）５０７を中心にして回転角５０６だけ回転した場合を例とする。この場合、第１の位置姿勢変化後の第１の表示領域５０８は、垂直方向５０４と水平方向５０５とを有する。

中心座標（ｘ,ｙ）５０７は、式（４）および式（５）より、
（ｘ,ｙ）=（Ｘｐｄ，Ｙｐｄ） ・・・式(１３)
となる。また、回転角５０６は、式（１２）より算出できる。第１の表示領域５０８は、式（１３）と、回転角５０６と、主となるユーザが装着する第１のディスプレイ１１０の画像表示部１１２に表示可能な画像サイズとに基づき、決定する。

以上より、第１の表示領域５０８は、主となるユーザの第１の位置姿勢変化から算出される。また、画像データのうち、第１の表示領域５０８内に含まれる画像データは、主となるユーザが装着する第１のディスプレイ１１０に供給すべき第１の表示画像となる。第１の表示画像は、第１のディスプレイ１１０の画像表示部１１２に表示される。

次に、第２の表示領域を算出する例を示す。
まず、上記のように、位置姿勢変化補正部３０２を用いて、第１の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う。

図６は、補正処理の例を示す。
図６（Ａ）は、ローパスフィルタ（ＬＰＦ）６０１を用いた補正処理の例である。ローパスフィルタ６０１は、所定の閾値を有し、第１の位置姿勢変化と位置姿勢変化補正パラメータとに基づき、補正処理された第１の位置姿勢変化を出力する。すなわち、ローパスフィルタ６０１は、第１の位置姿勢変化の周波数が所定の閾値よりも大きい場合に、該周波数に係る位置変化を主となるユーザの急な動きとして除外する。

図６（Ｂ）は、閾値処理部６０２による補正処理の例である。閾値処理部６０２は、第１の位置姿勢変化と位置姿勢変化補正パラメータとに基づき、所定の閾値を基準に第１の位置姿勢変化が有るか、または無いかを決める処理を行う。すなわち、閾値処理部６０２は、第１の位置姿勢変化が所定の閾値よりも大きい場合に、該位置姿勢変化が無いものとして処理し、主となるユーザの急な動きを除外する。

また、画像データが画素毎に色情報と奥行き情報を有する場合、位置姿勢変化補正部３０２は、第１の表示領域５０８内の画素の奥行き情報に基づき、ローパスフィルタ６０１または閾値処理部６０２の所定の閾値を設定してもよい。この場合、近い距離情報を持つ画像が表示画角の多くを占めるときに、ローパスフィルタ６０１または閾値処理部６０２の効果を高め（所定の閾値を下げ）、第１の位置姿勢変化をなだらかにし、追従性を下げることができる。これにより、従となるユーザの視覚的な不快感または映像酔いが防止される。

図７は、図６（Ａ）によるローパスフィルタ６０１によって第１の位置姿勢変化がどのように補正されるのかを説明した図である。

横軸７０１は、時間軸を示し、縦軸７０２は、位置姿勢変化として水平方向の位置７０３を示す。水平方向の位置７０３は、第１のディスプレイ１１０の位置姿勢変化検出部１１１で検出された第１の位置姿勢変化である。なだらかな曲線７０４は、ローパスフィルタ６０１による補正処理が行われた第１の位置姿勢変化を示す。但し、縦軸７０２は、水平方向の位置に限らず、垂直方向の位置、奥行き方向の位置を示していてもよい。

ローパスフィルタ６０１は、伝達関数として、
Ｇ（ｓ）＝ａ／（ｓ＋ａ） ・・・式（１４）
と表現される。但し、ｓは、角周波数であり、かつｗと虚数ｊを用いて
ｓ＝ｊｗ ・・・式（１５）
と表現される。

さらに、角周波数ｗは、周波数ｆを用いて
ｗ＝２πｆ ・・・式（１６）
と表現される。但し、ａは、任意の正の定数で、かつ第１の位置姿勢変化の補正パラメータ設定値である。この時、ローパスフィルタ６０１の遮断周波数ｆｃは、
ｆｃ＝ａ／２π ・・・式（１７）
の関係を有する。

すなわち、ローパスフィルタ６０１の特性は、aの値、および遮断周波数ｆｃを調整することにより制御可能となる。

第１の位置姿勢変化の高周波成分（主となるユーザの急な動きに相当）は、ローパスフィルタ６０１により除去されるため、補正処理された第１の位置姿勢変化は、主となるユーザの急な動きに起因する位置姿勢変化を含まない。また、第１の位置姿勢変化の補正パラメータは、第１のディスプレイ１１０の表示範囲に含まれる画素の奥行き情報に基づき変更可能であり、これに基づき、式（１４）の任意の正の定数ａも変更可能である。

すなわち、位置姿勢変化補正パラメータ算出部３０１は、補正処理を行う第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報に基づいて定数aを変更した後、定数aを位置姿勢変化補正部３０２へ供給する。第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報をＺｄとする。このとき、Ｚｄをある定数からある定数の間で表現でき、Ｚｄが小さいほど奥行き情報として奥行きがないと定義した場合、定数aは、
ａ＝ｂ×Ｚｄ ・・・式（１８）
と表現される。但し、ｂは、任意の定数である。

式（１８）で定数ａを決めることにより、例えば、風景のように奥行きがあるシーンの場合、Ｚｄが大きい値となるため、それに比例して定数ａも大きな値となる。従って、式（１７）より、遮断周波数ｆｃも大きな値となるため、ローパスフィルタ６０１の効果を弱めることができる。逆に、近くにものがあるシーンの場合、Ｚｄが小さい値となるため、それに比例して定数ａも小さな値となる。従って、式（１７）より、遮断周波数ｆｃも小さな値となるため、ローパスフィルタ６０１の効果を強めることができる。

以上のように、画像データの奥行き情報に応じてローパスフィルタ６０１の設定値を変えることにより、第１の位置姿勢変化の補正度合を変更可能となる。

図８は、図６（Ｂ）による閾値処理部６０２によって第１の位置姿勢変化がどのように補正されるのかを説明した図である。同図は、第１の位置姿勢変化の位置、速度、および加速度の関係を示す。

図８（Ａ）の横軸８０１は、時間軸を示し、縦軸８０４は、位置を示す。図８（Ｂ）の横軸８０２は、時間軸を示し、縦軸８０５は、速度を示す。図８（Ｃ）の横軸８０３は、時間軸を示し、縦軸８０６は、加速度を示す。第１の位置姿勢変化に関し、位置の時間的な変化８０７、および速度の時間的な変化８０８は、図３で説明したように、加速度の時間的な変化８０９から算出できる。以下の説明では、便宜上、位置、速度、および加速度の時間的な変化は、水平方向の変化を例とするが、それ以外の垂直方向、奥行き方向、および回転方向に対しても同様の処理が可能である。

図９は、図８（Ｃ）の加速度の時間的な変化に関し、所定の閾値を基準に、第１の位置姿勢変化を有りとするか、または無しとするか（主となるユーザの急な動きとして除去するか）を決める例を示す。

図９（Ａ）の横軸８１０は、時間軸を示し、縦軸８１３は、加速度を示す。図９（Ｂ）の横軸８１１は、時間軸を示し、縦軸８１４は、位置を示す。図９（Ｃ）の横軸８１２は、時間軸を示し、縦軸８１５は、位置を示す。加速度の時間的な変化８１６は、図８（Ｃ）の加速度の時間的な変化と同じである。

図６の閾値処理部６０２は、図９（Ａ）の加速度の時間的な変化８１６に基づき、検出された第１の位置姿勢変化を、主となるユーザの急な動きとして排除するか否かを決定する。例えば、閾値処理部６０２は、所定の閾値８１７，８１８を有する。ここでは、所定の閾値８１７の値をＴＨ＿Ｈとし、所定の閾値８１８の値をＴＨ＿Ｌとする。

点線８１９，８２０は、加速度が所定の閾値８１７，８１８を超えた時点を示す。この時、閾値処理部６０２による補正処理が行われないと、位置の変化は、破線８２１，８２４に示すようになり、図８（Ａ）の位置の変化と同じとなる。一方、閾値処理部６０２による補正処理が行われると、位置の変化は、実線８２２，８２５に示すようになる。すなわち、加速度が所定の閾値８１７，８１８を超えた時点８１９，８２０から一定期間８２３は、第１の位置姿勢変化が無いものとして扱う。これにより、この一定期間８２３は、位置の更新が行われないため、主となるユーザの急な動きを排除することができる。

なお、一定期間８２３が経過した後に取得した第１の位置姿勢変化の加速度が所定の閾値を超えていない場合、現在位置を該第１の位置姿勢変化に基づく目標位置に変更することで、現在位置を主となるユーザの動きに追従させる。この場合、現在位置から目標位置までの加速度が所定の閾値を超えないように制御する必要がある。

例えば、図９（Ｂ）の実線８２２に示すように、位置を急激に変化させると、図８（Ａ）の場合と同様に、時点ＸＰにおいて加速度が所定の閾値を超えてしまう可能性がある。そこで、現在位置を目標位置に変更する場合、図９（Ｃ）の実線８２５に示すように、位置姿勢変化補正部３０２は、位置を緩やかに変化させるような制御を行うのが望ましい。

また、第１の位置姿勢変化の補正パラメータは、第１のディスプレイ１１０に表示すべき第１の表示範囲内の画素の奥行き情報に基づき閾値８１７，８１８の値ＴＨ＿Ｈ，ＴＨ＿Ｌを制御することで、変更することが可能である。例えば、位置姿勢変化補正パラメータ算出部３０１は、補正処理の対象となる第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報に基づき、閾値８１７，８１８の値ＴＨ＿Ｈ，ＴＨ＿Ｌを制御する。

第１の位置姿勢変化の（Ｘｐｄ，Ｙｐｄ）と対をなす奥行き情報をＺｄとすると、Ｚｄは２つの定数の間の値として表現できる。また、Ｚｄが小さいほど奥行き情報としての奥行きが小さいと定義した場合、ＴＨ＿ＨおよびＴＨ＿Ｌは、
ＴＨ＿Ｈ＝ｃ×Ｚｄ ・・・式（１９）
ＴＨ＿Ｌ＝ＴＨ＿Ｈ ・・・式（２０）
と表現される。但し、ｃは任意の定数である。

式（１９）および式（２０）によれば、例えば、風景のように奥行きがあるシーンの場合、Ｚｄが大きな値となるため、それに比例してＴＨ＿ＨおよびＴＨ＿Ｌも大きな値となり、結果として、閾値処理部６０２の効果を弱めることができる。反対に、近くにものがあるシーンの場合、Ｚｄが小さな値となるため、それに比例してＴＨ＿Ｈ，ＴＨ＿Ｌも小さな値となり、結果として、閾値処理部６０２の効果を強めることができる。

以上のように、画像データの奥行き情報に基づき、ＴＨ＿ＨおよびＴＨ＿Ｌを変えることで、補正処理における補正度合、すなわち第１の位置姿勢変化から主となるユーザの急な動きとして排除される位置姿勢変化の度合い、を変更可能となる。

図１０は、第１の表示領域と第２の表示領域との関係を示す。
図１０（Ａ）は、主となるユーザが装着する第１のディスプレイ１１０に表示すべき第１の表示画像の第１の表示領域の例である。図１０（Ｂ）は、従となるユーザが装着する第２のディスプレイ１２０に表示すべき第２の表示画像の第２の表示領域の例である。

本例は、画像データの垂直方向９０１と水平方向９０２に対して、主となるユーザの第１の位置姿勢変化が中心座標（ｘ,ｙ）９０６を中心にして回転角９０５だけ回転した場合を例とする。第１の位置姿勢変化に基づく第１の表示領域９０７は、垂直方向９０３と水平方向９０４とを有する。

この時、第１の表示領域９０７における中心座標（ｘ，ｙ）９０６は、例えば、第１のディスプレイ１１０で検出された座標となり、式（１３）より、
（ｘ,ｙ）＝（Ｘｐｄ，Ｙｐｄ） ・・・式(２１)
と表現される。
また、回転角９０５は、式（１２）から算出できる。

従って、第１の表示領域９０７は、式（２１）と、回転角９０５と、第１のディスプレイ１１０の画像表示部１１２に表示可能な画像サイズと、に基づき決定できる。

また、第２の表示領域９１２は、第１の表示領域９０７と、従となるユーザの第２の位置姿勢変化と、に基づき決定できる。本例は、画像データの垂直方向９０１と水平方向９０２に対して、従となるユーザの第２の位置姿勢変化が中心座標（ｘ，ｙ）９１１を中心にして回転角９１０だけ回転した場合を例とする。第２の位置姿勢変化に基づく第２の表示領域９１２は、垂直方向９０８と水平方向９０９とを有する。

この時、第２の表示領域９１２における中心座標（ｘ，ｙ）９１１は、上述の補正処理が行われた第１の位置姿勢変化に基づき算出された第１の表示領域（補正表示領域）９０７の中心座標（ｘ，ｙ）９０６とする。また、回転角９１０は、式（１２）から算出できる。従って、第２の表示領域９１２は、式（２１）と、回転角９１０と、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズと、に基づき決定できる。

図１１は、第２の表示領域を算出する例を示す。
本例は、補正表示領域に基づき画像データの切り出し領域を決定し、画像データの切り出し領域から第２の表示領域を算出する例である。なお、補正表示領域、第２の表示領域、および切り出し領域を算出する動作は、表示領域算出部３０３により実行される。

図１１（Ａ）では、表示領域算出部３０３は、補正表示領域１００１内において、第２の位置姿勢変化に基づき、画像データの切り出し領域１００２を決定する。また、表示領域算出部３０３は、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズに基づき、切り出し領域１００２を拡大することにより、第２の表示領域を算出する。

図１１（Ｂ）では、表示領域算出部３０３は、第２の位置姿勢変化に基づき、補正表示領域１００１を含む切り出し領域１００３を決定する。また、表示領域算出部３０３は、第２のディスプレイ１２０の画像表示部１２２に表示可能な画像サイズに基づき、切り出し領域１００３を縮小することにより、第２の表示領域を算出する。

そして、表示画像生成部３０４は、第１の表示領域に基づき第１の表示画像を生成し、かつ第１の表示画像を第１のディスプレイ１１０の画像表示部１１２に供給する。また、表示画像生成部３０４は、第２の表示領域に基づき第２の表示画像を生成し、かつ第２の表示画像を第２のディスプレイ１２０の画像表示部１２２に供給する。

なお、第１の実施形態では、ロール（面内回転）の位置姿勢変化制御について説明したが、ヨーピッチ（あおり）成分、または前後／左右／上下の位置成分の制御について第１の実施形態を適用することも可能である。

以上、説明したように、第１の実施形態によれば、補正処理が行われている第１の位置姿勢変化に基づき補正表示領域が算出され、かつ補正表示領域の中心座標が算出される。また、この中心座標を基準にして第２の位置姿勢変化に基づき第２の表示領域が算出される。すなわち、第２の表示領域は、主となるユーザの急な動きに起因する要素を含まない。

従って、従となるユーザは、第２の表示領域に基づき生成された第２の表示画像を視聴することにより、視覚的な不快感または映像酔いが低減される。一方、第１の表示領域は、補正処理が行われていない第１の位置姿勢変化に基づき生成されるため、主となるユーザは、自らの動きをそのまま第１の表示画像として視聴可能となる。

（第２の実施形態）
図１２は、ＨＭＤシステムの例を示す。
第２の実施形態は、画像処理装置１００が管理サーバ１１００内に搭載される場合の例である。

このＨＭＤシステムは、管理サーバ１１００と、第１のディスプレイ（ディスプレイ装置）１１１０と、第２のディスプレイ（ディスプレイ装置）１１２０と、を備える。第１および第２のディスプレイ１１１０，１１２０の定義については、第１の実施形態と同じである。また、複数のヘッドマウントディスプレイの数についても、第１の実施形態と同様に、２つに限られず、３つ以上であっても構わない。但し、複数のヘッドマウントディスプレイのうちの１つは、主となるユーザが装着するディスプレイとして機能し、残りは、従となるユーザが装着するディスプレイとして機能する。

管理サーバ１１００は、画像処理装置１００と、外部通信インタフェース１１０１と、ＣＰＵ１１０２と、メモリ１１０３と、を備える。画像処理装置１００は、画像データ入力部１０１と、画像メモリ１０２と、画像領域制御部１０３と、を備える。これら画像データ入力部１０１、画像メモリ１０２、および画像領域制御部１０３は、第１の実施形態で既に説明したので、ここでの説明を省略する。

外部通信インタフェース１１０１は、ＣＰＵ１１０２からの指示に基づき、第１および第２のディスプレイ１１１０，１１２０の外部通信インタフェース１１１４，１１２４と通信を行う。ＣＰＵ１１０２は、画像処理装置１００、外部インタフェース１１０１、およびメモリ１１０３を制御する。メモリ１１０３は、ＣＰＵ１１０２からの指示に基づき、所定の情報を記憶する。所定の情報は、第１および第２の位置姿勢変化、第１および第２の表示画像、後述する第１および第２の主従信号など、の情報を含む。

第１のディスプレイ１１１０は、位置姿勢変化検出部１１１１と、画像表示部１１１２と、主従選択部１１１３と、外部通信インタフェース１１１４と、を備える。同様に、第２のディスプレイ１１２０は、位置姿勢変化検出部１１２１と、画像表示部１１２２と、主従選択部１１２３と、外部通信インタフェース１１２４と、を備える。

第１および第２のディスプレイ１１１０，１１２０において、位置姿勢変化検出部１１１１，１１２１および画像表示部１１１２，１１２２は、第１の実施形態における位置姿勢変化検出部１１１，１２１および画像表示部１１２，１２２と同じである。第２の実施形態では、第１および第２のディスプレイ１１１０，１１２０は、さらに、主従選択部１１１３，１１２３および外部通信インタフェース１１１４，１１２４を備える。

主従選択部１１１３，１１２３は、自らが主となるユーザに装着される第１のディスプレイ１１１０となるか、または従となるユーザに装着される第２のディスプレイ１１２０となるかを選択する。この選択は、例えば、ユーザが各ディスプレイに装着されたスイッチ等の選択手段により実行する。

本例では、第１のディスプレイ１１１０は、主となるユーザに装着される。このため、主従選択部１１１３は、第１のディスプレイ１１１０が主となるユーザに装着されていることを示す第１の主従信号を、外部通信インタフェース１１１４から管理サーバ１１００の外部通信インタフェース１１０１に送信する。また、第２のディスプレイ１１２０は、従となるユーザに装着される。このため、主従選択部１１２３は、第２のディスプレイ１１２０が従となるユーザに装着されていることを示す第２の主従信号を、外部通信インタフェース１１２４から管理サーバ１１００の外部通信インタフェース１１０１に送信する。

従って、画像処理装置１００は、ＣＰＵ１１０２を介して、第１の主従信号を受信することにより、第１のディスプレイ１１１０が主となるユーザに装着されていることを確認できる。また、画像処理装置１００は、ＣＰＵ１１０２を介して、第２の主従信号を受信することにより、第２のディスプレイ１１２０が従となるユーザに装着されていることを確認できる。

このようなシステムによれば、画像処理装置１００が第１及び第２のディスプレイ１１１０，１１２０とは異なる管理サーバ１１００内に搭載されても、主となるユーザの急な動きが従となるユーザのディスプレイに反映されなくすることができる。従って、第２の実施形態においても、従となるユーザに視覚的な不快感または映像酔いを引き起こさせない、という効果が実現できる。

次に、図１２のＨＭＤシステムの動作を説明する。
以下の説明では、図１３のフローチャートをベースにＨＭＤシステムの動作を説明する。

まず、ステップＳ１２０１において、画像データを準備する。すなわち、画像データは、画像データ入力部１０１に入力され、かつ画像データ入力部１０１を経由して画像メモリ１０２に記憶される。次に、ステップＳ１２０２において、位置姿勢変化検出部１１１１は、第１の位置姿勢変化を検出し、かつ主従選択部１１１３は、第１の主従信号を検出する。

次に、ステップＳ１２０３において、外部通信インタフェース１１１４は、第１の位置姿勢変化および第１の主従信号を管理サーバ１１００に送信する。ＣＰＵ１１０２は、これら第１の位置姿勢変化および第１の主従信号をメモリ１１０３内に記憶させる。

次に、ステップＳ１２０４において、表示領域制御部１０３は、第１のディスプレイ１１１０に表示すべき第１の表示画像を生成するか、または第２のディスプレイ１１２０に表示すべき第２の表示画像を生成するか、を決定する。

第１のディスプレイ１１１０に表示すべき第１の表示画像を生成する場合、表示領域制御部１０３は、第１の主従信号から、第１のディスプレイ１１１０が主となるユーザに装着されるものであることを確認できるため、ステップＳ１２０５へ進む。

第１の表示画像は、以下のステップＳ１２０５〜Ｓ１２０８により生成され、かつ第１のディスプレイ１１１０に表示される。

まず、ステップＳ１２０５において、画像領域制御部１０３は、第１の位置姿勢変化に基づき、第１のディスプレイ１１１０の画像表示部１１１２に表示すべき第１の表示領域を生成する。

次に、ステップＳ１２０６において、画像領域制御部１０３は、画像データ、およびステップＳ１２０５で生成した第１の表示領域に基づき、第１のディスプレイ１１１０の画像表示部１１１２に表示すべき第１の表示画像を生成する。

そして、ステップＳ１２０７において、画像領域制御部１０３は、第１の表示画像をＣＰＵ１１０２に供給する。また、ＣＰＵ１１０２は、外部通信インタフェース１１０１を用いて、第１の表示画像を第１のディスプレイ１１１０に送信する。最後に、ステップＳＴ１２０８において、第１の表示画像は、第１のディスプレイ１１１０の画像表示部１１１２に表示される。

一方、第２の表示画像は、以下のステップＳ１２０９〜Ｓ１２１４により生成され、かつ第２のディスプレイ１１２０に表示される。

まず、ステップＳ１２０９において、位置姿勢変化検出部１１２１は、第２の位置姿勢変化を検出し、かつ主従選択部１１２３は、第２の主従信号を検出する。

次に、ステップＳ１２１０において、外部通信インタフェース１１２４は、第２の位置姿勢変化および第２の主従信号を管理サーバ１１００に送信する。ＣＰＵ１１０２は、これら第２の位置姿勢変化および第２の主従信号をメモリ１１０３内に記憶させる。

また、ステップＳ１２１１において、画像領域制御部１０３は、第１の位置姿勢変化および第２の位置姿勢変化に基づき、第２のディスプレイ１１２０の画像表示部１１２２に表示すべき第２の表示領域を生成する。ここで、第２のディスプレイ１１２０に表示すべき第２の表示画像を生成する場合、表示領域制御部１０３は、第２の主従信号から、第２のディスプレイ１１２０が従となるユーザに装着されるものであることを確認できる。

次に、ステップＳ１２１２において、画像領域制御部１０３は、画像データ、およびステップＳ１２１１で生成した第２の表示領域に基づき、第２のディスプレイ１１２０の画像表示部１１２２に表示すべき第２の表示画像を生成する。

そして、ステップＳ１２１３において、画像領域制御部１０３は、第２の表示画像をＣＰＵ１１０２に供給する。また、ＣＰＵ１１０２は、外部通信インタフェース１１０１を用いて、第２の表示画像を第２のディスプレイ１１２０に送信する。最後に、ステップＳＴ１２１４において、第２の表示画像は、第２のディスプレイ１１２０の画像表示部１１２２に表示される。

なお、上述のステップＳ１２０５において第１の表示領域を生成する方法は、第１の実施形態と同じであるため、ここでの説明を省略する。同様に、上述のステップＳ１２１１において第２の表示領域を生成する方法も、第１の実施形態と同じであるため、ここでの説明を省略する。

このように、第２の実施形態によれば、管理サーバ１１００は、第１のディスプレイ１１１０で検出した第１の位置姿勢変化および第１の主従信号に基づき第１の表示画像を生成し、かつ第１の表示画像を第１のディスプレイ１１１０に送信する。従って、第１のディスプレイ１１１０は、主となるユーザの動き（第１の位置姿勢変化）がそのまま反映された第１の表示画像を画像表示部１１１２に表示できる。また、第２のディスプレイ１１２０は、主となるユーザの急な動きが排除された補正表示領域、および従となるユーザの動き（第２の位置姿勢変化）に基づき生成された第２の表示画像を画像表示部１１２２に表示できる。

（その他の実施形態）
本発明は、上述の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステム／装置に供給し、そのシステム／装置のコンピュータにおける１つ以上のプロセッサが該プログラムを実行する場合にも適用可能である。また、本発明は、上述の１つ以上の機能を所定の回路（例えば、ＡＳＩＣ）によって実現することも可能である。

（むすび）
以上、説明したように、本発明の例によれば、１つの画像を複数のヘッドマウントディスプレイに表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイに反映されなくすることができる。これにより、従となるユーザは、視覚的な不快感または映像酔いが低減される。

本発明は、上述の実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 画像処理装置
１０１ 画像データ入力部
１０２ 画像メモリ
１０３ 表示領域制御部
１１０ 第１のディスプレイ
１１１ 位置姿勢変化検出部
１１２ 画像表示部
１２０ 第２のディスプレイ
１２１ 位置姿勢変化検出部
１２２ 画像表示部
３０１ 位置姿勢変化補正パラメータ算出部
３０２ 位置姿勢変化補正部
３０３ 表示領域算出部
３０４ 表示画像生成部
１１００ サーバ
１１０１ 外部通信インタフェース
１１０２ ＣＰＵ
１１０３ メモリ
１１１０ 第１のディスプレイ
１１１１ 位置姿勢変化検出部
１１１２ 画像表示部
１１１３ 主従選択部
１１１４ 外部通信インタフェース
１１２０ 第２のディスプレイ
１１２１ 位置姿勢変化検出部
１１２２ 画像表示部
１１２３ 主従選択部
１１２４ 外部通信インタフェース

Claims (16)

1. 画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置であって、
   前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得手段と、
   前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正手段と、
   前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出手段と、
   前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記第１および第２のディスプレイ装置の各々は、加速度センサおよびジャイロセンサを含む、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記位置姿勢変化補正手段は、前記第１の位置姿勢変化の周波数が所定の閾値よりも大きい場合に、該周波数に係る位置姿勢変化をローパスフィルタにより除外することで、前記補正処理を行う、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像データは、画素毎に色情報と奥行き情報を有し、
   前記位置姿勢変化補正手段は、前記第１の表示領域の画素の奥行き情報に基づき前記所定の閾値を設定する、
   請求項３に記載の画像処理装置。
5. 前記位置姿勢変化補正手段は、前記第１の位置姿勢変化の加速度が所定の閾値よりも大きい場合に、前記第１の位置姿勢変化が無いとする前記補正処理を行う、
   ことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記画像データは、画素毎に色情報と奥行き情報を有し、
   前記位置姿勢変化補正手段は、前記第１の表示領域の画素の奥行き情報に基づき前記所定の閾値を設定する、
   請求項５に記載の画像処理装置。
7. 前記表示領域算出手段は、前記補正表示領域において前記第２の位置姿勢変化に基づき切り出し領域を決定し、かつ前記切り出し領域を拡大することで前記第２の表示領域を算出する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示領域算出手段は、前記第２の位置姿勢変化に基づき前記補正表示領域を含む切り出し領域を決定し、かつ前記切り出し領域を縮小することで前記第２の表示領域を決定する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記第１のディスプレイ装置は、前記第１の表示画像を表示する画像表示手段を備え、かつ前記第２のディスプレイ装置は、前記第２の表示画像を表示する画像表示手段を備える、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、前記複数のディスプレイ装置とは独立に設けられる、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像処理装置が前記複数のディスプレイ装置を管理する管理サーバ内に搭載される場合に、前記画像処理装置は、
    前記第１の位置姿勢変化を前記第１のディスプレイ装置から受信し、かつ前記第２の位置姿勢変化を前記第２のディスプレイ装置から受信する受信手段と、
    前記第１の表示画像を前記第１のディスプレイ装置に送信し、かつ前記第２の表示画像を前記第２のディスプレイ装置に送信する送信手段と、を備える、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、前記複数のディスプレイ装置のうちの１つに搭載され、
    前記画像処理装置が搭載されるディスプレイ装置が前記第１のディスプレイ装置でない場合に、前記画像処理装置は、前記第１の表示画像を前記第１のディスプレイ装置に送信する送信手段をさらに備える、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
13. 前記画像処理装置は、前記複数のディスプレイ装置のうちの１つに搭載され、
    前記画像処理装置が搭載されるディスプレイ装置が前記第２のディスプレイ装置でない場合に、前記画像処理装置は、前記第２の表示画像を前記第２のディスプレイ装置に送信する送信手段をさらに備える、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
14. 前記複数のディスプレイ装置の各々は、自らが前記主となるユーザに装着されるディスプレイ装置となるか、または前記従となるユーザに装着されるディスプレイ装置となるかを選択する主従選択手段を備える、
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置を装着するユーザの位置姿勢変化に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理方法であって、
    前記複数のディスプレイ装置のうち第１のディスプレイ装置を装着する主となるユーザの第１の位置姿勢変化を取得し、かつ前記複数のディスプレイ装置のうち第２のディスプレイ装置を装着する従となるユーザの第２の位置姿勢変化を取得する取得工程と、
    前記第１の位置姿勢変化から前記主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う位置姿勢変化補正工程と、
    前記補正処理が行われていない前記第１の位置姿勢変化に基づき第１の表示領域を算出し、前記補正処理が行われている前記第１の位置姿勢変化に基づき補正表示領域を算出し、かつ前記補正表示領域の中心座標を基準にして前記第２の位置姿勢変化に基づき第２の表示領域を算出する表示領域算出工程と、
    前記画像データおよび前記第１の表示領域に基づき前記第１のディスプレイ装置に表示すべき第１の表示画像を生成し、かつ前記画像データおよび前記第２の表示領域に基づき前記第２のディスプレイ装置に表示すべき第２の表示画像を生成する表示画像生成工程と、を備える
    ことを特徴とする画像処理方法。
16. 請求項１乃至１４のいずれか１項に記載の各手段としてコンピュータを機能させるためのプログラム。

Images