JP2019022121A - 画像処理装置、および画像処理装置の制御方法 - Google Patents

Abstract

【課題】立体視画像における視差画像を破綻しないように生成する。【解決手段】ユーザの位置情報に基づいて特定される、全天球画像空間における視聴位置が、全天球画像の座標系における原点から所定の距離の範囲内であれば、視聴位置を基準とした視差画像を生成し、全天球画像空間における視聴位置が、全天球画像の座標系における原点から所定の距離の範囲内でなければ、全天球画像空間における視聴位置を、全天球画像空間の原点に移動させて、視差画像を生成する。本開示は、HMDに適用することができる。【選択図】図４

Description

本開示は、画像処理装置、および画像処理装置の制御方法に関し、特に、ユーザの視聴情報に基づいた視差画像を生成できるようにした画像処理装置、および画像処理装置の制御方法に関する。

近年、HMD（Head Mounted Display）を用いて、立体視画像を視聴する技術が注目されている。

立体視画像の視聴は、視差が設けられた左右の目のそれぞれに対応する画像が、HMDにおいて、左右の目のそれぞれに対して表示されて、ユーザが視聴することで実現される。

ところで、HMDを用いた立体視画像を視聴する場合、視聴される画像と、実際の体の動きとの間にずれが生じることにより、ユーザに、いわゆる、酔いが生じることが知られている。

そこで、HMDに内蔵されるモーションセンサから得られる変位量情報（時間的な長さのある量）を閾値として用い、閾値を超えて酔いにつながるような視点の急激な変化を検出した場合には、表示する画像を、緩やかに変化する画像に差し替えるようにすることで、HMDを用いた立体視画像の視聴に伴った酔いを防止する技術が提案されている（特許文献１参照）。

特開２０１０−２６６９８９号公報

しかしながら、リアルタイムに立体視画像を表示させる場合、HMDのモーションセンサにより検出される変位量情報の絶対量を表示に反映させる必要があるため、顔向きを急激に変化させるようなときに、緩やかな画像に差し替えると違和感が生じてしまう恐れがあった。

また、移動速度や移動角速度に上限を設けるという方法もあるが、モーションセンサの位置が絶対対応するという操作性の面での優位性が損なわれる恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、特に、ユーザの視聴情報に基づいて立体視画像の表示における視差画像の生成を可能にするものである。

本開示の一側面の画像処理装置は、ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する画像生成部を含む画像処理装置である。

前記画像生成部には、前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成させるようにすることができる。

前記画像生成部には、前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成させ、前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の同一の２枚の画像を生成させるようにすることができる。

前記左右の２枚の画像は、左右の２枚の視差画像とすることができる。

前記画像生成部には、前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成させ、前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成させ、左右反転させる、または、前記左右の２枚の画像が左右反転するように、前記左右の２枚の画像を生成させるようにすることができる。

前記左右の２枚の画像は、左右の２枚の視差画像とすることができる。

前記視聴方向を検出する視聴方向検出部をさらに含ませるようにすることができ、前記視聴方向検出部には、前記ユーザの顔向き方向を検出する顔向き方向検出部と、前記ユーザの視線方向を検出する視線方向検出部とをさらに含ませるようにすることができ、前記視聴方向検出部には、前記顔向き方向および前記視線方向を用いて視聴方向を算出させるようにすることができる。

前記画像生成部には、前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成させ、前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成させるようにすることができる。

前記画像生成部には、前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内である場合、前記ユーザの視聴位置に基づいて特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成させ、前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成させるようにすることができる。

前記左右の２枚の画像は、左右の２枚の視差画像とすることができる。

前記画像生成部には、前記画像データにおける座標系の原点を、前記視聴位置に段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成させるようにすることができる。

前記画像生成部には、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の間隔ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成させるようにすることができる。

前記画像生成部には、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の距離の割合ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成させるようにすることができる。

前記画像生成部には、前記画像データにおける座標系の原点を、前記視聴位置に、前記視聴位置までの最短経路上を段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成させるようにすることができる。

前記画像生成部には、前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合で、かつ、前記ユーザの視聴状態に変更がある場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成させるようにすることができる。

前記ユーザの視聴状態に変更がある場合は、前記ユーザが瞬きをするタイミング、前記ユーザが振り返るタイミング、および前記ユーザがうなずくタイミングの場合とすることができる。

本開示の一側面の画像処理装置の制御方法は、ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する画像処理装置の制御方法である。

本開示の一側面においては、ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像が生成され、前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像が生成される。

本開示の一側面によれば、特に、HMD（Head Mounted Display）を用いた立体視画像を視聴する際に生じる視差画像の破綻を抑制し、酔いを抑制させることが可能となる。

本開示のHMDを用いた立体視画像の視聴を説明する図である。 本開示のHMDを用いた立体視画像の視聴を説明する図である。 全天球画像の原点を視聴位置に移動させる例を説明する図である。 本開示のHMDシステムの第１の実施の形態の構成例を示すブロック図である。 視差画像の破綻の有無を判定する方法と破綻を抑制する方法を説明する図である。 図４のHMDシステムによる表示処理を説明するフローチャートである。 本開示のHMDシステムの第２の実施の形態の構成例を示すブロック図である。 図７のHMDシステムによる表示処理を説明するフローチャートである。 全天球画像を構成する正距円筒画像を説明する図である。 視聴方向に応じた視差画像の破綻の有無を説明する図である。 視差画像が破綻する場合に仰角が９０付近のみの画像に視差を設けないようにする場合の正距円筒画像を説明する図である。 本開示のHMDシステムの第３の実施の形態の構成例を示すブロック図である。 図１２のHMDシステムによる表示処理を説明するフローチャートである。 図１２のHMDシステムの変形例を説明する図である。 本開示のHMDシステムの第１の実施の形態の応用例を示すブロック図である。 全天球画像の原点を視聴位置に段階的に移動させる例を説明する図である。 図１５のHMDシステムによる表示処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第３の実施の形態の変形例
５．第１の実施の形態の応用例
６．ソフトウェアにより実行させる例

＜＜１．第１の実施の形態＞＞
＜HMDを用いた立体視画像の視聴＞
HMD（Head Mount Display）を用いた立体視画像の視聴は、HMDを装着したユーザの視聴方向に応じた画像を、左右の目に対して、視差が生じるように表示して視聴させることにより実現される。

より詳細には、HMDを用いた立体視画像の視聴に使用される画像は、例えば、全天球画像と呼ばれるものであり、所定の原点位置から全方位が撮像された画像であって、かつ、視差を有する左眼用画像、および右眼用画像からなる。尚、全天球画像は、撮像された画像に限らず、CG（Computer Graphics）などからなる画像であってもよい。

HMDは、自らを装着しているユーザの空間内の位置、並びに、顔向き、および視線方向を検出して、全天球画像におけるユーザの視聴位置と視聴方向とから特定される範囲の画像を用いて、対応する適切な視差を備えた左眼用画像および右眼用画像からなる視差画像を、それぞれ左眼および右眼で視聴できるように表示する。

尚、ここでいう、全天球画像におけるユーザの視聴位置とは、全天球画像の基準となる原点位置（原点Ｏ）で既定される座標系におけるユーザの位置である。全天球画像空間における位置は、現実空間と対応付けられており、現実空間におけるユーザの位置情報が特定されれば、対応付けられた全天球画像空間の位置が一意に特定される。従って、以降においては、全天球画像空間における視聴位置は、現実空間における位置情報に対応付けられた位置であるものとする。

例えば、図１で示されるユーザＨ１，Ｈ２のそれぞれがHMD１１を装着しており、ユーザＨ１，Ｈ２の空間内のそれぞれの位置に対応する所定の位置に物体Ｂがあたかも存在するかのような画像を表示することを考える。

尚、図１においては、ユーザＨ１，Ｈ２の目の前に物体Ｂが存在する状態が図示されているが、図１において表現しているのは、現実空間内においてユーザＨ１，Ｈ２の目の前に物体Ｂが存在することではなく、ユーザＨ１，Ｈ２が、HMD１１を装着することで、あたかも図１で示されるような位置関係となる物体Ｂを視聴することができることである。

すなわち、図１におけるユーザＨ１の顔向き方向Ｆ１１に正対する方向に物体Ｂが存在するように見えるものとする。このとき、ユーザＨ１の左眼ＥＬの視線方向ＥＬ１１および右眼ＥＲの視線方向ＥＲ１１は、図１で示されるように、いずれも顔向き方向Ｆ１１と平行な関係となる。したがって、図２で示されるように、左眼ＥＬの視線方向ＥＬ１１および右眼ＥＲの視線方向ＥＲ１１に対して平行であり、左眼ＥＬと右眼ＥＲとの中間位置を始点とする視線方向Ｅ１１がユーザＨ１の視聴方向となる。

尚、図２は、図１におけるユーザＨ１，Ｈ２の頭上から見たそれぞれの顔向き方向Ｆ１１，Ｆ２１、および視線方向Ｅ１１，Ｅ２１との関係を示している。

一方、図１におけるユーザＨ２の顔向き方向Ｆ２１が、図２で示されるように、ユーザＨ１の顔向き方向Ｆ１１と平行の方向Ｆ１１’に対して角度θ１だけ右方向に回転した方向であるものとする。また、図１のユーザＨ２の左眼ＥＬの視線方向ＥＬ２１および右眼ＥＲの視線方向ＥＲ２１と図２の視線方向Ｅ２１とが平行であるものとすれば、視線方向Ｅ２１は、顔向き方向Ｆ２１に対して、角度θ２だけ右方向に回転した方向であるものとなる。そして、ユーザＨ２の視線方向Ｅ２１の先に、物体Ｂが存在することになる。

すなわち、ユーザＨ２の場合、図１の左眼ＥＬの視線方向ＥＬ２１および右眼ＥＲの視線方向ＥＲ２１に対して平行な、図２の左眼ＥＬと右眼ＥＲとの中間位置を始点とする視線方向Ｅ２１がユーザＨ２の視聴方向となる。

図１，図２で示されるように、ユーザＨ１の視線方向Ｅ１１とユーザＨ２の視線方向Ｅ２１とは、相互に角度（θ１＋θ２）をなす関係となる。

HMD１１は、ユーザＨ１，Ｈ２のそれぞれの位置と、それぞれの位置における視聴方向に応じた画像を、全天球画像より切り出して、左眼用画像および右眼用画像として視差が生じるように表示する。ユーザＨ１，Ｈ２は、それぞれの位置と、それぞれの視聴方向とに応じて表示される右眼用画像および左眼用画像のそれぞれを、それぞれ右眼および左眼で視聴することにより立体視画像として視聴することが可能となる。

ところで、全天球画像は、例えば、観測点などの基準となる視点（原点）から撮像した１枚、または、複数の一連の画像である。また、全天球画像は、画像を構成する画素単位で、視聴位置からの距離の情報であるデプス情報を含ませる、または、対応するデプス情報を別で与えることができる。デプス情報は、例えば、同じ、または、異なる解像度のデプス画像や、奥行き情報を持った点群データなどが考えられる。このデプス情報を含んだ全天球画像を用いた視聴画像を生成して表示するには、ユーザの位置情報と視聴方向との情報に基づいて、対応する全天球画像内における視聴位置が特定され、視聴位置から視聴方向を見たときに視聴できる全天球画像内の範囲が特定されて、特定された範囲の画像が用いられて、適切な視差を持つ左眼用画像および右眼用画像からなる視差画像が生成されて、表示される必要がある。尚、本明細書においては、全天球画像は、画素単位でデプス情報を含んだものを一例として説明を進めるものとする。ただし、当然のことながら、デプス情報は別に与えられるものであってもよいものである。

＜全天球画像の座標変換＞
例えば、HMD１１を装着したユーザの所定の空間内の視聴位置と視聴方向とが、図３の左部における例Ｓｔ１で示されるように、全天球画像の基準となる位置である原点位置Ｏと一致する理想的な視聴位置Ｇ１であって、図中の矢印方向が視聴方向である場合、全天球画像内における所定の物体ＢＬ，ＢＲが理想的な状態で配置された画像Ｐ１が視聴画像として生成されることになる。画像Ｐ１においては、物体ＢＬ，ＢＲに対応する、画像オブジェクトＢＬ１，ＢＲ１が画像Ｐ１内のほぼ中心付近に存在している。

尚、図３の例Ｓｔ１における左部の分布図は、Ｘ軸が全天球画像内における水平方向を示しており、Ｚ軸がデプス情報により表現される奥行き方向を示している。したがって、全天球画像の画像内におけるＹ軸は、図中の紙面手前方向である。すなわち、図３の左部では、全天球画像により表現される一部の範囲の画像を、画像平面を図中紙面に対して垂直方向に立てて、上方から見たときの視聴位置と、視聴位置に対する画像内の物体ＢＬ，ＢＲとの、水平方向の位置と奥行き方向の位置との位置関係が示されている。

つまり、図３では、全天球画像の基準位置である原点位置Ｏを視聴位置Ｇ１としたとき、視聴される画像が画像Ｐ１として表現されている。尚、画像Ｐ１，Ｐ２は、水平方向がＸ軸であり、垂直方向がＹ軸である。

これに対して、ユーザの視聴位置が、原点Ｏから図３左部の右上方向にずれた視聴位置Ｇ２であって、図中の矢印方向が視聴方向である場合、所定の物体ＢＬ，ＢＲが存在する画像Ｐ２が視聴画像として生成されることになる。画像Ｐ２においては、物体ＢＬ，ＢＲに対応する、画像オブジェクトＢＬ２，ＢＲ２が画像Ｐ２内の左端部に寄った状態で存在している。

すなわち、画像Ｐ２内においては、物体ＢＬ，ＢＲの情報を用いた補間処理により画像オブジェクトＢＬ２，ＢＲ２が配置されることになる。このため、原点Ｏ（＝Ｇ１）と視聴位置Ｇ２との位置のずれが所定値よりも小さければ、画像における視差の乱れの影響は小さいが、原点Ｏ（＝Ｇ１）と視聴位置Ｇ２との位置のずれの大きさが所定値を超えると、視差が大きく変化することになり、視聴画像（視差画像）として破綻してしまう恐れがある。

そこで、本開示のHMD１１においては、原点Ｏ（＝Ｇ１）と視聴位置Ｇ２との位置のずれの大きさが所定値を超える場合、図３の右部の例Ｓｔ２で示されるように、視聴位置Ｇ２が全天球画像における原点Ｏとなるように座標変換を掛ける。このように座標変換が掛けられることにより、ユーザの視聴位置Ｇ２における物体ＢＬ’，ＢＲ’との位置関係が、ユーザが原点Ｏ（＝Ｇ１）であるときの物体ＢＬ，ＢＲとの位置関係と同様になるので、理想的な視聴画像を生成することが可能となり、視聴画像（視差画像）の破綻が抑制される。

＜本開示のHMDシステムの第１の実施の形態の構成例＞
図４は、本開示のHMDシステムの第１の実施の形態の構成例を示している。図４のHMDシステムは、HMD１１と画像処理装置１２とから構成されている。

HMD１１は、図１乃至図３を参照して説明したように、ユーザの頭部に装着され、ユーザの頭部の位置である位置情報、および視聴方向を検出して、画像処理装置１２に送信する。

画像処理装置１２は、全天球画像を記憶しており、HMD１１より送信された位置情報、および視聴方向に対応する、適切な視差を備えた左眼用画像および右眼用画像を、全天球画像より補間生成してHMD１１に送信する。

HMD１１は、画像処理装置１２より送信される位置情報、および視聴方向に対応する、適切な視差を備えた左眼用画像および右眼用画像を受信して、ユーザに視聴させる。尚、以降において、位置情報、および視聴方向に基づいて、全天球画像を用いたレンダリングにより、対応した適切な視差を備えた左眼用画像および右眼用画像を単に視差画像とも称する。

このような構成により、HMD１１を装着したユーザは、自らの顔向き方向および視線方向に応じた左右の眼で適切な視差を備えた全天球画像を視聴することが可能となり、あたかも全天球画像により表現される空間内を覗き込むような感覚を楽しむことが可能となる。

より詳細には、HMD１１は、制御部３１、視聴方向検出部３２、位置検出部３３、通信部３４、表示部３５、および音声出力部３６を備えている。

制御部３１は、HMD１１の全体の動作を制御している。

視聴方向検出部３２は、HMD１１を装着するユーザ（視聴者）の視聴方向を検出し、制御部３１に出力する。

より詳細には、視聴方向検出部３２は、顔向き検出部４１および視線方向検出部４２を備えており、それぞれを制御して、顔向き方向および視線方向を検出させ、検出された顔向き方向と視線方向とから視聴方向を算出して、制御部３１に出力する。

顔向き検出部４１は、例えば、モーションセンサなどから構成され、HMD１１を装着するユーザの顔向き方向を検出する。顔向き方向とは、具体的には、ユーザの目の部分を覆うように装着されているHMD１１が向いている方向であり、例えば、図２におけるユーザＨ１，Ｈ２のそれぞれの顔向き方向Ｆ１１，Ｆ２１に対応する方向である。

すなわち、HMD１１は、自らを装着するユーザの眉間などの顔の中心が正対する方向である顔向き方向として、HMD１１の正面方向を検出する。顔向き方向は、例えば、極北方向などの基準となる方向に対するHMD１１の正面方向のなす角度として検出される。

視線方向検出部４２は、例えば、HMD１１を装着するユーザの眼球を撮像するカメラなどを備えており、カメラにより撮像された眼球の動きに基づいて視線方向を検出する。視線方向とは、例えば、図２におけるユーザＨ１，Ｈ２の視線方向Ｅ１１，Ｅ１２であり、HMD１１の正面方向、すなわち、顔向き方向などの基準方向に対して、視線が向けられた方向のなす角度を視線方向として検出する。

視聴方向検出部３２は、顔向き検出部４１により求められた顔向き方向と、視線方向検出部４２により求められた視線方向とから視聴方向を算出する。より具体的には、視聴方向検出部３２は、図２のユーザＨ２の顔向き方向Ｆ２１となる角度θ１と、視線方向Ｅ２１となる角度θ２とから、それぞれの和となる角度（θ１＋θ２）をユーザＨ２の視聴方向として算出し、制御部３１に出力する。

位置検出部３３は、ユーザの位置情報としてHMD１１の位置情報を検出して、制御部３１に出力する。位置検出部３３は、HMD１１の現実空間内における位置を検出できるものであれば、いずれの構成であってもよい。すなわち、位置検出部３３は、例えば、GPS（Global Positioning System）などから構成するようにして、地球上の緯度および経度からなる位置情報を検出するようにしてもよい。また、位置検出部３３は、HMD１１の周囲を撮像する撮像装置、演算装置、および方向検出装置などから構成されるようにして、演算装置が、予め周囲の物体の位置情報を記憶し、撮像装置により撮像される撮像方向と撮像される画像内における周囲の物体との位置関係から、HMD１１の位置情報を算出するようにしてもよい。

制御部３１は、無線LAN（Local Area Network）やブルートゥース（登録商標）などを利用した通信を行う通信部３４を制御して、視聴方向検出部３２より入力されるHMD１１を装着した視聴方向の情報と、位置検出部３３により入力されるHMD１１の位置情報とを合わせて画像処理装置１２に送信させる。

また、制御部３１は、通信部３４を制御して、HMD１１の位置情報と視聴方向の情報とに基づいて、画像処理装置１２より送信される視差画像を受信する。この際、視差画像に対応する音声データが含まれるようにしてもよい。

さらに、制御部３１は、左眼用画像を、HMD１１を装着するユーザの左眼で視聴する表示部３５に表示させると共に、右眼用画像を、HMD１１を装着するユーザの右眼で視聴する表示部３５に表示させる。この際、制御部３１は、音声データが含まれている場合、スピーカやヘッドホンなどからなる音声出力部３６より音声を出力させるようにしてもよい。

表示部３５は、有機EL（Electro-Luminescence）やLCD（Liquid Crystal Display）などからなり、左眼用画像を表示して左眼に視聴させる左眼用表示部位（図示せず）と、右眼用画像を表示して右眼に視聴させる右眼用表示部位（図示せず）とを備えており、制御部３１より供給される視差画像を構成する、左眼用画像および右眼用画像を、それぞれ左眼用表示部位および右眼用表示部位に表示させる。

ユーザは、HMD１１を装着し、表示部３５において、左眼用表示部位に表示された左眼用画像を左眼で視聴すると共に、右眼用表示部位に表示された右眼用画像を右眼で視聴することにより、左眼用画像と右眼用画像との視差により立体的な画像を視聴することができる。この際、ユーザは、自らが装着しているHMD１１の動きに応じた画像が表示されることになるので、あたかも全天球画像により表現される空間内を覗き込むような感覚を楽しむことが可能となる。

画像処理装置１２は、制御部５１、通信部５２、レンダリング部５３、およびコンテンツ記憶部５４を備えている。

制御部５１は、画像処理装置１２の全体の動作を制御する。また、制御部５１は、無線LAN（Local Area Network）やブルートゥース（登録商標）などを利用した通信を行う通信部５２を制御して、HMD１１から供給される、HMD１１の位置情報および視聴方向の情報を受信させる。制御部５１は、HMD１１より受信したHMD１１の位置情報および視聴方向の情報をレンダリング部５３に出力すると共に、対応する視差画像を生成するように指示する。

コンテンツ記憶部５４は全天球画像からなるコンテンツを記憶しており、必要に応じてレンダリング部５３に供給する。コンテンツ記憶部５４において、記憶されている全天球画像からなるコンテンツが複数であり、HMD１１の位置情報および視聴方向の情報が含まれている場合、制御部５１は、予めコンテンツ記憶部５４に記憶されている複数のコンテンツを指定する情報を合わせてレンダリング部５３に出力するようにしてもよい。

レンダリング部５３は、コンテンツ記憶部５４に記憶されているコンテンツの全天球画像のデータを読み出し、制御部５１より供給される、位置情報、および視聴方向の情報に基づいて、視差画像をレンダリングにより生成して制御部５１に出力する。コンテンツに音声データが含まれる場合、レンダリング部５３は、音声データも制御部５１に出力する。

より詳細には、レンダリング部５３は、視聴位置判定部６１およびレンダリング演算部６２を備えている。

視聴位置判定部６１は、HMD１１を装着したユーザの位置情報に基づいて、全天球画像の原点位置（以下、原点Ｏとも称する）を基準とする視聴位置と視聴方向とに対応する、視差画像をレンダリングにより生成する際、生成された視差画像に破綻が生じるか否かを判定し、判定結果をレンダリング演算部６２に供給する。

より詳細には、全天球画像の、各画素単位での被写体距離であるデプス情報に基づいて、視聴位置判定部６１は、図５の左部で示されるように、原点Ｏに対して、ユーザの全天球画像内における視聴位置が、図中の点線で示される原点Ｏから所定の距離内の範囲Ｚ１１内であるか否かにより、視差画像に破綻が生じるか否かを判定する。尚、この範囲Ｚ１１の半径は、例えば、アプリケーションプログラムなどの条件により設定される。したがって、同一の視聴位置であっても、アプリケーションプログラムにより破綻の有無が異なる。

例えば、図５の左部における視聴位置Ｇ１１で示されるように、範囲Ｚ１１外である場合、視差画像としての破綻が生じるものとみなされる。

一方、例えば、視聴位置が、範囲Ｚ１１内である場合には、適切な視差を備えた視差画像をレンダリングにより補間生成することが可能であるものとみなされて、破綻は生じないものとみなされる。

レンダリング演算部６２は、視聴位置判定部６１の判定結果に基づいて、位置情報および視聴方向の情報に対応する全天球画像内の視聴位置を特定し、さらに、特定した視聴位置から視聴方向を見たときの全天球画像内の範囲の画像を利用して、適切な視差を備えた視差画像をレンダリングにより生成して制御部５１に出力する。

より詳細には、視聴位置判定部６１の判定結果が、特定された全天球画像に対する視聴位置と視聴方向に対応する視差画像に破綻が生じないことを示す結果である場合、レンダリング演算部６２は、位置情報に基づいて、全天球画像の原点位置（図３における原点Ｏ）を基準とした座標系に対応する視聴位置を特定すると共に、視聴位置から視聴方向を見たときの、全天球画像の範囲を特定し、特定した範囲における視差画像をレンダリングにより補間生成して制御部５１に出力する。

一方、視聴位置判定部６１の判定結果が、例えば、破綻が生じることを示す結果である場合については、レンダリング演算部６２は、位置情報に基づいて特定される視聴位置を、全天球画像における原点位置（図３における原点Ｏ）にずらして、視聴方向を見たときの全天球画像の範囲を特定し、特定した範囲における視差画像をレンダリングにより生成する。

以上のように、破綻が生じると判定された場合、図５の右部で示されるように、全天球画像における座標系における現在の視聴位置Ｇ１１を、全天球画像における原点Ｏと一致するように座標変換する。

このような座標変換により、全天球画像の座標系における視聴位置から視聴方向をみたときの画像が図３の画像Ｐ１の物体ＢＬ１，ＢＲ１で示されるような、理想的な配置となり、破綻ない、適切な視差を備えた左眼用画像および右眼用画像からなる視差画像をレンダリングにより生成することが可能となる。

＜図４のHMDシステムによる表示処理＞
次に、図６のフローチャートを参照して、図４のHMDシステムによる表示処理について説明する。

ステップＳ１１において、位置検出部３３は、HMD１１の位置情報を検出し、制御部３１に出力する。

ステップＳ１２において、視聴方向検出部３２は、視線方向検出部４２を制御して、例えば、HMD１１を装着するユーザの眼球を撮像した画像からユーザの視線方向を検出させる。

ステップＳ１３において、視聴方向検出部３２は、顔向き検出部４１を制御して、例えば、モーションセンサなどによりユーザに装着されるHMD１１の方向を検出することで、ユーザの顔向き方向を検出させる。

ステップＳ１４において、視聴方向検出部３２は、検出された視線方向と、検出された顔向き方向とを用いて、視聴方向を算出し、制御部３１に出力する。

ステップＳ１５において、制御部３１は、通信部３４を制御して、視聴方向検出部３２より供給された視聴方向の情報、および位置検出部３３より供給された位置情報を合わせた情報を画像処理装置１２に送信させる。

ステップＳ３１において、画像処理装置１２の通信部５２は、HMD１１より送信された、HMD１１の位置情報および視聴方向の情報を受信し、制御部５１に出力する。制御部５１は、取得したHMD１１の位置情報および視聴方向の情報をレンダリング部５３に出力する。

ステップＳ３２において、レンダリング部５３は、視聴位置判定部６１を制御して、位置情報および視聴方向の情報に基づいて、レンダリング演算部６２のレンダリングにより、位置情報に対応するコンテンツである全天球画像における視聴位置を求めさせ、さらに、求められた視聴位置から視差画像に破綻が生じるか否かを判定する。

すなわち、視聴位置判定部６１は、例えば、図５を参照して説明したように、視聴位置が、例えば、原点Ｏから所定の範囲Ｚ１１内であるか否かに基づいて破綻の有無を判定する。

ステップＳ３２において、破綻が生じると判定された場合、処理は、ステップＳ３３に進む。

ステップＳ３３において、レンダリング部５３は、レンダリング演算部６２に対して、コンテンツである全天球画像における、座標系の原点Ｏを、視聴位置にずらすように座標変換する。

ステップＳ３４において、レンダリング部５３は、レンダリング演算部６２を制御して、全天球画像のデータからなるコンテンツを、コンテンツ記憶部５４より読み出させる。

ステップＳ３５において、レンダリング部５３は、レンダリング演算部６２を制御して、コンテンツである全天球画像における視聴位置から視聴方向を見たときの範囲の画像を用いて、レンダリングにより視差画像を補間生成させ、制御部５１に出力させる。

ステップＳ３６において、制御部５１は、レンダリングにより補間生成された視差画像を、通信部５２を制御して、HMD１１に送信させる。

尚、ステップＳ３２において、破綻は生じないと判定された場合、ステップＳ３３の処理がスキップされる。すなわち、破綻が生じない場合、オリジナルの全天球画像における原点Ｏを基準とする座標系における視聴位置からの視聴方向に対して特定される画像から視差画像がレンダリングにより補間生成されることになる。

ステップＳ１５において、制御部３１は、通信部３４を制御して、画像処理装置１２から送信された、視聴方向および位置情報に基づいた、視差画像を受信させる。

ステップＳ１６において、制御部３１は、受信した視差画像を表示部３５に表示させ、左眼用画像および右眼用画像を、それぞれユーザの左眼および右眼に視聴させる。

ステップＳ１７において、制御部３１は、図示せぬ操作部が操作されることにより、処理の終了が指示されたか否かを判定する。

ステップＳ１７において、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返され、終了が指示されると、処理が終了する。

また、ステップＳ３６の処理が終了すると、ステップＳ３７において、制御部５１は、終了が指示されたか否かを判定し、終了が指示されたと判定されない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ３７において、処理の終了が指示される、処理が終了する。

以上の処理により、HMD１１の位置情報に応じて得られる、全天球画像における視聴位置に基づいて、レンダリングにより生成される、視差画像に破綻が生じると判定された場合については、視差画像を生成する際の、全天球画像における視聴位置を、全天球画像における原点位置にずらすように座標変換することで、視差画像の破綻を抑制することが可能となる。

換言すれば、視聴位置が所定の範囲内の場合、視聴位置に応じた視差画像が表示され、視聴位置が所定の範囲外の場合、視聴位置ではなく、原点位置の視差画像に切り替えられて表示される。すなわち、レンダリング部５３は、視聴位置が所定の範囲内の場合、第１のモードとして、視聴位置に応じた視差画像（通常の視差画像）を生成し、視聴位置が所定の範囲外の場合、第２のモードとして、視聴位置ではなく、原点位置の視差画像を生成する。結果として、視聴位置に応じて、モードを切り替えて視差画像を生成することにより、視差画像の破綻を抑制することが可能となる。

＜＜２．第２の実施の形態＞＞
以上においては、視差画像の生成に際して、HMD１１の位置情報に対応する全天球画像における視聴位置に基づいて、補間生成する視差画像の破綻の有無を判定し、破綻があるとみなされた場合については、位置情報に基づいた全天球画像内における視聴位置を原点Ｏにずらすようにすることで、視差画像の破綻を抑制する例について説明してきた。

しかしながら、ユーザのHMD１１の位置情報および視聴方向の情報に基づいて、視差画像の破綻があるものと判定されたタイミングで直ちに全天球画像における視聴位置を原点位置にずらすと、直前まで破綻の無い視差画像が生成されていた場合、全天球画像における視聴位置が急激に変化することになるため、いわゆる、立体視画像の視聴に伴った酔いを誘発する可能性がある。

そこで、ユーザのHMD１１の位置情報および視聴方向の情報に基づいて、視差画像に破綻が生じると判定されたタイミングで直ちに全天球画像における視聴位置を原点位置にずらすのではなく、ユーザが瞬きをしたときなど、ユーザの立体視画像の視聴が事実上一時的に途切れるようなタイミングで全天球画像内における視聴位置を原点位置にずらすような座標変換を掛けるようにしてもよい。

図７は、視差画像に破綻が生じると判定された場合、瞬きなどのユーザの立体視画像の視聴が一時的に途切れるタイミングでのみ、全天球画像内における視聴位置を原点位置にずらすように座標変換するようにしたHMDシステムの構成例を示している。

図７のHMDシステムにおいて、図４のHMDシステムにおける構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

すなわち、図７のHMDシステムにおいて、図４のHMDシステムと異なる点は、HMD１１の視聴方向検出部３２において、ユーザの瞬きを検出する瞬き検出部９１が設けられた点と、画像処理装置１２のレンダリング部５３に瞬き判定部１０１が設けられた点である。

HMD１１の視聴方向検出部３２における瞬き検出部９１は、例えば、視線方向検出部４２に用いられるユーザの眼球の画像を用いて、瞬きの有無を検出し、検出結果を制御部３１に出力する。制御部３１は、位置情報および視聴方向の情報に加えて、瞬きの有無の情報を、通信部３４を制御して、画像処理装置１２に送信させる。

画像処理装置１２のレンダリング部５３における瞬き判定部１０１は、HMD１１より送信されてくる瞬きの有無の情報に基づいて、瞬きの有無を判定し、判定結果をレンダリング演算部６２に出力する。

レンダリング演算部６２は、視差画像の生成に際して視差画像の破綻があると判定された場合であっても、瞬きが検出されていないタイミングであれば、全天球画像内における視聴位置を原点Ｏに移動させることなく、レンダリングにより視差画像を生成する。すなわち、この場合、視差画像は、破綻している可能性が高いが、急激な視聴位置の変化に起因する酔いの発生を抑制させることが可能となる。

一方、レンダリング演算部６２は、視差画像の生成に際して視差画像の破綻があると判定された場合であって、瞬きが検出されているタイミングであれば、全天球画像内における視聴位置を原点位置（原点Ｏ）に移動させて、レンダリングにより視差画像を生成する。すなわち、この場合、瞬きが検出されたタイミングなので、立体視画像の視聴が一時的に途切れた後に、視聴位置を変化させることになるので、立体視画像の視聴に伴った酔いの発生を抑制させつつ、視差画像の破綻を抑制することが可能となる。

＜図７のHMDシステムによる表示処理＞
次に、図８のフローチャートを参照して、図７のHMDシステムによる表示処理について説明する。

尚、図８のフローチャートにおけるステップＳ５１乃至Ｓ５４，Ｓ５７乃至Ｓ５９の処理、およびステップＳ７１，Ｓ７２、およびＳ７４乃至Ｓ７８の処理については、図６のフローチャートにおけるステップＳ１１乃至Ｓ１４，Ｓ１６乃至Ｓ１８、並びにステップＳ３１乃至Ｓ３７の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ５５において、瞬き検出部９１は、視線方向検出部４２において視線方向を検出するために撮像された眼球の画像に基づいて、瞬きの有無を検出し、検出結果を制御部３１に出力する。

ステップＳ５６において、制御部３１は、通信部３４を制御して、視聴方向検出部３２より供給された視聴方向の情報、位置検出部３３より供給された位置情報、および瞬き検出部９１より供給された瞬きの有無の情報を合わせた情報を画像処理装置１２に送信させる。

また、ステップＳ７２において、位置情報に基づいて特定される全天球画像内における視聴位置が所定の範囲内ではなく、視差画像に破綻が生じるとみなされた場合、ステップＳ７３において、瞬き判定部１０１は、瞬きの有無を判定する。

ステップＳ７３において、瞬きが検出されたと判定された場合、処理は、ステップＳ７４に進む。

ステップＳ７４において、レンダリング演算部６２は、位置情報に基づいた視聴位置を、全天球画像内における原点Ｏにずらすように座標変換する。

また、ステップＳ７３において、瞬きが検出されていないとみなされた場合、ステップＳ７４の処理がスキップされて、視聴位置が原点Ｏにずらされることなく、視聴位置における視聴方向を見たときに特定される範囲の画像より視差画像が生成される。

以上の処理により、全天球画像内の視聴位置に応じて、レンダリングにより補間生成される視差画像に破綻が生じる場合でも、瞬きが検出されたタイミングにのみ視聴位置を原点Ｏにずらして視差画像をレンダリングにより補間生成するようにしたので、ユーザが瞬きをしたときにのみ、視聴位置を原点Ｏに切り替えた視差画像を補間生成することが可能となり、急激な視聴位置の変化に起因する立体視画像の視聴により生じる酔いを抑制することが可能となる。

換言すれば、視聴位置が所定の範囲内、または、瞬きがない場合、視聴位置に応じた視差画像が表示され、視聴位置が所定の範囲外で、かつ、瞬きがある場合、視聴位置の視差画像ではなく、原点位置の視差画像に切り替えられて表示される。すなわち、レンダリング部５３は、視聴位置が所定の範囲内、または、瞬きがない場合、第１のモードとして、視聴位置に応じた視差画像（通常の視差画像）を生成し、視聴位置が所定の範囲外で、かつ、瞬きがある場合、第２のモードとして、視聴位置の視差画像ではなく、原点位置の視差画像を生成している。結果として、視聴位置と瞬きの有無に応じて、モードを切り替えて視差画像を生成することにより、視差画像の破綻や立体視画像の視聴により生じる酔いを抑制することが可能となる。

尚、以上においては、視差画像の破綻が生じて、かつ、瞬きが検出されるタイミングで、視聴位置が原点Ｏにずらされる例について説明してきたが、ユーザの全天球画像の視聴が一時的に途切れるタイミングであれば、その他のタイミングでもよく、例えば、ユーザが急に大きく振り向いたとき、または、首を上下に大きく振ったときなどでもよい。

＜＜３．第３の実施の形態＞＞
以上においては、位置情報に基づいた、全天球画像内の視聴位置が所定の範囲内であるか否かに基づいて、視差画像に破綻が生じるか否かの判定結果と、瞬きの有無に応じて、視聴位置を原点にずらすように座標変換することで、視差画像の破綻の発生を抑制し、立体視画像の視聴に伴った酔いの発生を抑制する例について説明してきた。

ところで、全天球画像は、一般に、仰角を０度で一定にして、かつ、方位角を０度から３６０度まで変化させて撮像した画像を用いることが多い。この場合、全天球画像は、例えば、図９で示されるような画像となる。図９においては、図中の上段が左眼用画像の正距円筒画像Ｌであり、図中の下段が右眼用画像の正距円筒画像Ｒである。各画像は、垂直方向の位置が仰角を示し、水平方向の位置が方位角を示している。

また、正距円筒画像Ｌ，Ｒには、それぞれ同一の物体ＢＰ，ＢＥが含まれている。このうち物体ＢＥは、仰角が０度付近に表示されており、物体ＢＰは、仰角が９０度付近に表示されている。

さらに、正距円筒画像Ｌ，Ｒの物体ＢＰ，ＢＥのずれｄは、視差を生じるように設けられたものである。

しかしながら、仰角が９０度に近い位置の画像は、破綻が生じ易いので、ずれｄを設けて視差画像を生成しても破綻してしまう恐れがある。

そこで、図１０の左部で示されるように、視聴者であるユーザの目Ｅを基準とした、視聴方向Ｅ３１の仰角、すなわち、全天球画像を撮像した撮像装置の撮像方向となる水平方向を基準とした視聴方向Ｅ３１の仰角が、水平方向を含む、例えば、所定の範囲Ｚ１内であれば、視差画像における破綻は生じないと考えることができる。

また、図１０の右部で示されるように、視聴者であるユーザの目Ｅを基準とした、視聴方向Ｅ３１の仰角、すなわち、全天球画像を撮像した撮像装置の撮像方向となる水平方向を基準とした視聴方向Ｅ３１の仰角が、所定の範囲Ｚ１外であれば、視差画像における破綻は生じるものと考えることができる。

したがって、視聴位置判定部６１は、視聴方向の全天球画像に対する仰角については、視聴方向Ｅ３１が水平方向を含む、範囲Ｚ１内であるとき、破綻は生じないものとみなし、視聴方向Ｅ３１が範囲Ｚ１外であるとき、破綻は生じるものとみなす。

例えば、図１０における所定の範囲Ｚ１内を、図９の仰角−φ１０１乃至φ１０１の範囲であるものとした場合、視差画像には破綻が生じないものとみなす。そこで、視差画像に破綻の恐れがない場合、図１１で示されるように、視差画像を生成するため、正距円筒画像Ｌ，Ｒにおけるそれぞれの物体ＢＥには、ずれｄを設けて視差画像が生成されるようにする。

また、例えば、図１０の右部で示されるように、視聴方向Ｅ３１が所定の範囲Ｚ１外であり、すなわち、視聴方向が仰角−φ１０１乃至φ１０１外であるとき、視差画像には破綻が生じるものとみなす。そこで、視差画像に破綻の恐れがある場合、正距円筒画像Ｌ，Ｒにおけるそれぞれの物体ＢＰには、ずれｄを設けず、視差のない画像が生成されるようにする。

このように、視聴方向の仰角が小さく、視差画像に破綻が生じない場合には、ずれｄを設けることで、適切な視差を有する視差画像を生成する。また、視聴方向の仰角が上下に大きく、視差画像に破綻が生じる場合には、ずれｄを設けず、視差のない画像を生成することで、視差画像における破綻の発生を抑制し、立体視画像の視聴に伴った酔いの発生を抑制するようにしてもよい。

＜第３の実施の形態のHMDシステムの構成例＞
図１２は、視聴方向の仰角に応じて、仰角が大きく視差画像における破綻が生じる場合には、視差のない画像を生成するようにしたHMDシステムの構成例を示している。尚、図１２のHMDシステムにおいて、図４におけるHMDシステムと同様の機能を備えた構成については、同一の符号を付しており、その説明は省略するものとする。

すなわち、図１２のHMDシステムにおいて、図４のHMDシステムと異なる点は、視聴位置判定部６１およびレンダリング演算部６２に代えて、視聴方向判定部１４１およびレンダリング演算部１４２を設けた点である。

視聴方向判定部１４１は、視聴方向に基づいて、視聴方向の仰角が所定の範囲Ｚ１（図１１のφ−１０１乃至φ１０１）外の大きな仰角であるか否かに基づいて、視差画像の破綻の有無を判定し、判定結果をレンダリング演算部１４２に供給する。

レンダリング演算部１４２は、基本的には、レンダリング演算部６２と同様の機能を備えているが、視聴方向判定部１４１に基づいて、視差画像の破綻がない場合、レンダリング演算部６２と同一の機能により、視差画像を生成する。また、レンダリング演算部１４２は、視聴方向判定部１４１の判定結果として視差画像の破綻があるとみなされた場合、左眼用画像と右眼用画像とを同一の視差がない画像としてレンダリングにより補間生成する。

＜図１２のHMDシステムによる表示処理＞
次に、図１３のフローチャートを参照して、図１２のHMDシステムによる表示処理について説明する。尚、図１３のフローチャートにおけるステップＳ９１乃至Ｓ９８の処理、およびステップＳ１１１およびＳ１１５乃至Ｓ１１７の処理については、図６のステップＳ１１乃至Ｓ１８、およびステップＳ３１，Ｓ３５乃至Ｓ３７の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１１２において、レンダリング演算部１４２は、コンテンツ記憶部５４に記憶されている全天球画像からなるコンテンツのデータを読み出す。

ステップＳ１１３において、視聴方向判定部１４１は、視聴方向の仰角が所定の範囲Ｚ１（−φ１０１乃至φ１０１）よりも大きな仰角であるか否かに基づいて、視差画像の破綻の有無を判定する。

ステップＳ１１３において、視聴方向の仰角が所定の範囲Ｚ１（−φ１０１乃至φ１０１）よりも大きく、視差画像の破綻があると判定された場合、処理は、ステップＳ１１４に進む。

ステップＳ１１４において、レンダリング演算部１４２は、位置情報および視聴方向の情報に基づいて、全天球画像内の視聴位置を特定すると共に視聴位置における視聴方向における画像の範囲を特定し、視差のない左眼用画像および右眼用画像をレンダリングにより補間生成する。

一方、ステップＳ１１３において、視聴方向の仰角が所定範囲内であり、視差画像の破綻がないと判定された場合、処理は、ステップＳ１１５に進み、レンダリング演算部１４２は、位置情報および視聴方向の情報に基づいて、全天球画像内の視聴位置を特定すると共に視聴位置から視聴方向を見たときの画像の範囲を特定し、視差画像をレンダリングにより補間生成する。

以上の処理により、視聴方向の仰角が上下方向について９０度に近い場合、視差画像の破綻が生じるものとみなされ、視差のない左眼用画像および右眼用画像が生成され、視聴方向の仰角が０度に近い場合、視差画像の破綻が生じないものとみなされ、視差画像が生成される。

換言すれば、視聴方向の仰角が上下方向について０度に近い場合、視聴位置に応じた視差画像が表示され、視聴方向の仰角が上下方向について９０度に近い場合、視差のない左右の画像に切り替えられて表示される。すなわち、レンダリング部５３は、視聴方向の仰角が上下方向について０度に近い場合、第１のモードとして、視聴位置に応じた視差画像（通常の視差画像）を生成し、視聴方向の仰角が上下方向について９０度に近い場合、第２のモードとして、視差のない左右の画像を生成している。

結果として、視聴方向の仰角に応じて視差画像が生成されるモードが切り替えられることにより、視聴方向の仰角に応じた破綻のない視差画像がレンダリングにより補間生成されるようにすることが可能となり、立体視画像の視聴に伴った酔いの発生を抑制することが可能となる。

＜＜４．第３の実施の形態の変形例＞＞
全天球画像においては、正距円筒画像における仰角が−φ１０１乃至φ１０１外である場合、すなわち、仰角が９０度に近い範囲の視差画像の、左眼用画像および右眼用画像は、相互に視差のない同一の画像が用いられている。

すなわち、図１４の右部で示されるように、視聴方向の仰角φが−φ１０１乃至φ１０１の範囲内である、回帰線ＮＬ乃至ＳＬの範囲においては、視差画像により破綻が生じない範囲であり、図９の正距円筒画像Ｌ，Ｒにおける物体ＢＥのそれぞれによりずれｄが設けられた視差画像が生成される。

尚、図１４においては、全天球画像が球状に構成される場合の例を示している。

また、視聴方向の仰角φが−φ１０１乃至φ１０１の範囲外、すなわち、図１４の回帰線ＮＬよりも仰角が９０度に近く、極点ＮＰまでの範囲については、例えば、図１４の左部で示されるような円状の１枚の画像が用いられ、この１枚の画像を用いて視差画像が生成される。尚、以降において、この回帰線ＮＬよりも頂点ＮＰ近傍の範囲の画像を極画像ＮＰとも称する。また、回帰線ＳＬよりも仰角が９０度に近く、極点ＳＰまでの範囲についても同様に１枚の画像が用いられる。

ところで、仰角が０度付近の円周ＥＬ上に画像ＰＬ１（図中の三角形），ＰＲ１（図中の円形）が、視点ｅＬ１，ｅＲ１により視聴される、視差画像の左眼用画像および右眼用画像として補間生成されることを考える。このとき、一点鎖線の矢印で示されるように、視点ｅＬ１，ｅＲ１からの視聴方向の仰角を徐々に９０度にまで大きくするように移動させることを考える。

同様に、画像ＰＬ１，ＰＲ１と方位角がほぼ１８０度反対側であって、仰角が０度付近に画像ＰＬ２，ＰＲ２が設けられており、これを視点ｅＬ２，ｅＲ２により視聴される、視差画像の左眼用画像および右眼用画像が視差画像として補間生成されることを考える。このとき、一点鎖線で示される視点ｅＬ２，ｅＲ２からの視聴方向の仰角を徐々に９０度にまで大きくするように移動させることを考える。

すると、図１４の左部で示されるように、極画像ＮＰ内において、視点ｅＬ１，ｅＲ１からの視聴方向の仰角が９０度に近付くと、極画像ＮＰにおいては、画像ＰＲ１’，ＰＬ１’として視差画像が生成される。一方、極画像ＮＰ内において、視点ｅＬ２，ｅＲ２からの視聴方向の仰角が９０度に近付くと、極画像ＮＰにおいては、画像ＰＲ２’，ＰＬ２’として視差画像が生成される。

そして、視聴方向が９０度になると、視点ｅＬ１，ｅＲ１からの視聴方向に基づいた視差画像も、視点ｅＬ２，ｅＲ２からの視聴方向に基づいた視差画像を構成する左眼用画像および右眼用画像のいずれも画像ＮＰ１，ＮＰ２となり、いずれも同一のものとなるはずである。しかしながら、双方の視差画像は、視差画像の左右が異なる。

そこで、視聴方向の仰角が、回帰線ＮＬより９０度に近い範囲の場合、すなわち、視差画像の補間生成に極画像ＮＰが用いられる場合、レンダリング演算部１４２は、視聴方向の動きに応じて、左右の視差画像を入れ替えるようにしてもよい。

換言すれば、視聴方向の動きが第１の動きである場合、第１の画像からなる左眼用画像と、第２の画像からなる右眼用画像とで構成される視差画像が表示され、視聴方向の動きが第２の動きである場合には、第２の画像からなる左眼用画像と、第１の画像からなる右眼用画像とで構成される視差画像が表示される。すなわち、レンダリング部５３は、視聴方向の動きが第１の動きである場合、上述した第２のモードのうちの、第１の派生モードとして、第１の画像からなる左眼用画像と、第２の画像からなる右眼用画像とで構成される視差画像を生成し、視聴方向の動きが第２の動きである場合には、上述した第２のモードのうちの、第２の派生モードとして、第２の画像からなる左眼用画像と、第１の画像からなる右眼用画像とで構成される視差画像を生成している。結果として、視聴方向の動きに応じて、左眼用画像と右眼用画像とを入れ替えるように視差画像を生成するモードが切り替えられることにより、視差画像の破綻や立体視画像の視聴により生じる酔いを抑制することが可能となる。

尚、以上においては、一旦、生成された視差画像を構成する左眼用画像と右眼用画像とを入れ替える例について説明したが、視差画像の左右の構成が入れ替わるように左眼用画像と右眼用画像とを生成するようにしてもよい。

尚、この場合、HMDシステムとしての構成は、図１２のものと同一でよく、また、表示処理については、図１３のフローチャートにおけるステップＳ１１４の処理において、視差のない画像を生成する処理に代えて、左右の視差画像を入れ替える（反転させる）ように処理すればよいので、詳細な説明は省略するものとする。また、左右の視差画像を入れ替える（反転させる）に当たっては、視差画像を補間生成して入れ替えるようにしてもよいし、既に補間生成されている視差画像の左右を入れ替えるようにしてもよい。

＜＜５．第１の実施の形態の応用例＞＞
第１の実施の形態においては、視差画像に破綻が生じると判定された場合、位置情報に基づいた全天球画像における視聴位置を原点Ｏにずらすことで、破綻のない視差画像を生成する例について説明してきたが、位置情報に基づいた全天球画像における視聴位置と、原点Ｏとの距離が大きい場合、視差画像として表示される位置は大きく変化してしまうため、表示に違和感を生じさせる恐れがある。

そこで、視差画像が破綻すると判定された場合、位置情報に基づいた全天球画像における視聴位置と、原点Ｏまでを、所定の距離毎に段階的に移動して、急激な視聴位置の変化を抑制することで、違和感の発生を抑制し、酔いの発生を抑制するようにしてもよい。

図１５は、視差画像が破綻すると判定された場合、位置情報に基づいた全天球画像における視聴位置と、原点Ｏまで移動を、所定の距離毎に段階的に移動するようにしたHMDシステムの構成例を示している。

図１５のHMDシステムにおいて、図４のHMDシステムと異なる点は、レンダリング部５３において、新たに原点移動モード制御部１７１が設けられた点である。

原点移動モード制御部１７１は、視差画像が破綻すると判定された場合、原点移動モードをオンの状態に設定し、視差画像が破綻しないと判定された場合、原点移動モードをオフの状態に設定する。

レンダリング演算部６２は、原点移動モードがオンの状態である場合には、位置情報に基づいた全天球画像における視聴位置を、原点Ｏまで最短経路上であって、所定の距離だけ段階的に移動させた上で、移動された視聴位置における、視聴方向の範囲として特定される全天球画像を用いたレンダリングにより視差画像を補間生成する処理を繰り返す。

すなわち、図１６で示されるように、位置情報に基づいた、全天球画像内における視聴位置が視聴位置Ｇ３２であって、全天球画像の原点Ｏが位置Ｇ３１である場合、原点Ｏを位置Ｇ３２に移動させることで、視差画像の破綻を抑制させる必要がある。

しかしながら、位置Ｇ３１，Ｇ３２との距離が所定距離よりも長い場合、原点Ｏが位置Ｇ３１から位置Ｇ３２に移動することにより生成される視差画像の破綻はなくなるものの、表示される画像について、全天球画像内で視聴位置が大きく変化した画像として表示されることになる。

そこで、位置情報に基づいた視聴位置であるＧ３２と、原点Ｏである位置Ｇ３１とが所定の距離よりも離れているような場合、原点Ｏを、位置Ｇ３１から位置Ｇ３２までの最短経路に沿って所定の距離ずつ段階的に移動させる。すなわち、最初の処理では、レンダリング演算部６２は、全天球画像の原点Ｏの位置を、位置Ｇ３１から位置Ｇ３２に向けた経路上を距離ｔだけ移動させて位置Ｍ１に移動させ、移動した視聴位置を基準とした視差画像を補間生成する。そして、次の処理では、レンダリング演算部６２は、全天球画像の原点Ｏの位置を、位置Ｍ１から距離ｔだけ移動させて位置Ｍ２に移動させ、移動した視聴位置を基準とした視差画像を補間生成する。さらに、次の処理では、レンダリング演算部６２は、全天球画像の原点Ｏの位置を、位置Ｍ２から距離ｔだけ移動させて位置Ｍ３に移動させ、移動した視聴位置を基準とした視差画像を補間生成する。

レンダリング演算部６２は、原点移動モードがオンである限り、同様の処理を繰り返すことで、最終的に、原点Ｏを位置Ｇ３１から位置Ｇ３２に移動させる。

この処理により位置情報に基づいた全天球画像内における視聴位置となる原点Ｏは、所定の距離ｔずつ、徐々に位置Ｇ３２に近付くように移動することになり、視聴位置が原点Ｏになると、視差画像の破綻は生じない状態となるので、原点移動モードがオフにされて、位置情報に対応する視聴位置を基準として通常の補間生成に戻る。

結果として、視聴位置が原点Ｏと所定の距離以上に離れているような状況で、視差画像の破綻が生じても、視聴位置に対する原点Ｏが所定の距離ずつ、徐々にずらされることになるので、レンダリングにより補間生成される視差画像の大きな変化を抑制することが可能となり、立体視画像の視聴による急激な変化による違和感と酔いの発生を抑制することが可能となる。

＜図１６のHMDシステムによる表示処理＞
次に、図１７のフローチャートを参照して、図１５のHMDシステムによる表示処理について説明する。尚、図１７のフローチャートにおいては、HMD１１の処理は、図６のステップＳ１１乃至Ｓ１８の処理と同様であるので、省略されている。

すなわち、ステップＳ１５１において、レンダリング演算部６２は、原点移動モード制御部１７１に問い合わせて、原点移動モードがオンであるか否かを判定する。ステップＳ１５１において、原点移動モードがオンではないと判定された場合、処理は、ステップＳ１５２に進む。

ステップＳ１５２において、画像処理装置１２の通信部５２は、HMD１１より送信された、HMD１１の位置情報および視聴方向の情報を受信し、制御部５１に出力する。制御部５１は、取得したHMD１１の位置情報および視聴方向の情報をレンダリング部５３に出力する。

ステップＳ１５３において、レンダリング部５３は、視聴位置判定部６１を制御して、位置情報に対応する全天球画像における視聴位置の情報が原点位置に対して所定の範囲内であるか否かに基づいて、視差画像に破綻が生じるか否かを判定する。

ステップＳ１５３において、視差画像に破綻が生じると判定された場合、処理は、ステップＳ１５４に進む。

ステップＳ１５４において、原点移動モード制御部１７１は、原点移動モードをオンの状態に制御する。

尚、ステップＳ１５３において、視差画像に破綻が生じないと判定された場合、ステップＳ１５４の処理はスキップされる。

ステップＳ１５５において、レンダリング部５３は、レンダリング演算部６２に対して、コンテンツ記憶部５４に記憶されている全天球画像のコンテンツのデータを読み出させる。

ステップＳ１５６において、レンダリング部５３は、レンダリング演算部６２に対して、コンテンツである全天球画像における、視聴位置から視聴方向を見たときに特定される範囲の画像を用いて、レンダリングにより視差画像を補間生成し、制御部５１に出力する。

ステップＳ１５７において、制御部５１は、レンダリングにより補間生成された視差画像を、通信部５２を制御して、HMD１１に送信させる。

ステップＳ１５８において、制御部５１は、処理が終了であるか否かを判定し、終了ではない場合、処理は、ステップＳ１５１に戻る。

ステップＳ１５１において、原点移動モードがオンである場合、処理は、ステップＳ１５９に進む。

ステップＳ１５９において、レンダリング演算部６２は、全天球画像における原点Ｏに対応する位置を、ユーザの位置情報に基づいて特定される全天球画像内における視聴位置に所定の距離だけ（例えば、図１６の距離ｔだけ）近付けるように座標変換する。

ステップＳ１６０において、レンダリング演算部６２は、全天球画像における原点Ｏが、現状における視聴位置に十分近い位置であり、視差画像の破綻が生じない状態であるか否かを判定する。

ステップＳ１６０において、視差画像の破綻が生じる状態であるとみなされた場合、ステップＳ１６１の処理がスキップされて、処理は、ステップＳ１５５に進み、現状の視聴位置から視聴方向を見たときに特定される全天球画像内の範囲の画像が用いられて、レンダリングにより視差画像が補間生成される。

すなわち、視差画像の破綻が生じる状態であるとみなされた場合、原点移動モードがオンの状態が継続されるので、ステップＳ１５１，Ｓ１５５乃至Ｓ１６０の処理が繰り返されて、視聴位置に、全天球画像の原点Ｏが徐々に移動しながら、視差画像を補間生成して、表示する処理が繰り返される。

そして、全天球画像の原点Ｏが、徐々に今現在の視聴位置に十分に近付くと、ステップＳ１６０において、視差画像の破綻がないとみなされ、処理は、ステップＳ１６１に進む。

ステップＳ１６１において、原点移動モード制御部１７１は、原点移動モードをオフの状態に制御し、処理は、ステップＳ１５５に進む。

以上の処理により、視聴位置が原点Ｏと所定の距離以上に離れているような状況で、視差画像の破綻が生じても、視聴位置に対して全天球画像の原点Ｏが所定の距離ずつ、徐々にずらされることになるので、レンダリングにより補間生成される視差画像の大きな変化を抑制することが可能となるので、立体視画像の視聴における急激な視聴位置の変化による違和感と酔いの発生を抑制することが可能となる。

換言すれば、視聴位置が原点Ｏと所定の距離以上に離れていない場合、視聴位置に応じた視差画像が表示され、視聴位置が原点Ｏと所定の距離以上に離れている場合、原点Ｏが視聴位置に徐々に近付くような視差画像に切り替えられて表示される。すなわち、レンダリング部５３は、視聴位置が原点Ｏと所定の距離以上に離れていない場合、第１のモードとして、視聴位置に応じた視差画像（通常の視差画像）を生成し、視聴位置が原点Ｏと所定の距離以上に離れている場合、第２のモードとして、原点Ｏが視聴位置に徐々に近付くような視差画像を生成している。結果として、視聴位置と原点Ｏとの距離に応じて、視聴位置に応じた視差画像を生成するモードと、原点Ｏが視聴位置に徐々に近付くような視差画像を生成するモードとが切り替えられることにより、視差画像の破綻や立体視画像の視聴により生じる酔いを抑制することが可能となる。

尚、以上においては、全天球画像の原点位置が、所定の距離ずつ、視聴位置に近づく例について説明してきたが、徐々に原点位置が視聴位置に近づけばよいので、所定の距離ずつ近づかなくてもよく、例えば、残された距離について、所定の割合で徐々に近づくようにしてもよい。また、以上においては、視聴位置と全天球画像の原点とが最短経路上を徐々に近づく例について説明してきたが、最短経路でなくとも、徐々に原点位置が視聴位置に近づくようにしてもよい。

また、以上においては、第１の実施の形態においては、全天球画像の座標系における、視聴位置が原点位置に対して所定の範囲内であるか否かに基づいて、視差画像の破綻の有無を判定し、第３の実施の形態においては、全天球画像の座標系における、視聴方向が所定の範囲内であるか否かに基づいて視差画像の破綻の有無を判定するようにする例について説明してきたが、それらを組み合わせて視差画像の破綻の有無を判定するようにしてもよい。

さらに、全天球画像の座標系における視聴位置および視聴方向は、いずれもHMDを装着するユーザの視聴姿勢を特定する情報であるので、これらを総称して視聴情報と称する。また、視聴情報は、HMD１１を装着したユーザの視聴姿勢を特定する情報であると共に、HMD１１そのものの視聴姿勢を特定する情報であるとも言える。

従って、本開示のHMDシステムは、視聴情報が所定の条件を満たす状態であれば、全天球画像より視差画像を補間生成して表示し、視聴情報が所定の条件を満たさない状態であれば、視聴位置を全天球画像の原点位置に移動させるような座標変換をした上で視差画像を補間生成したり、左右の視差がない視差画像を補間生成することで、通常の視差画像を生成する処理と異なる手法で視差画像を生成することにより、視差画像の破綻を抑制している。

換言すれば、本開示のHMDシステムは、視聴位置に応じて生成される通常の視差画像を構成する左眼用画像および右眼用画像を生成する第１のモードと、通常の視差画像を生成する処理とは異なる手法で左眼用画像および右眼用画像を生成する第２のモードとを切り替えて、それぞれのモードで生成された左眼用画像および右眼用画像を表示させることにより、視差画像の破綻と、立体視画像の視聴に伴う酔いを抑制している。

また、第２の実施の形態においては、視差画像が破綻して、かつ、瞬きをしたタイミングで、視聴位置に全天球画像の原点をずらすように座標変換する例について説明してきたが、第１の実施の形態、および第３の実施の形態を組み合わせるようにしてもよい。

さらに、以上の全ての実施の形態、変形例、および応用例においては、HMD１１と画像処理装置１２からなるHMDシステムにより上述した機能を実現させる例について説明してきたが、例えば、HMD１１内に、画像処理装置１２におけるレンダリング部５３およびコンテンツ記憶部５４の機能を設けるようにして、HMDのみで上述した機能を実現するようにしてもよい。

また、本明細書においては、HMD１１を用いる例について説明してきたが、スマートフォンにアプリケーションプログラムをインストールし、ユーザの頭部に装着して、表示部に左眼用表示部位および右眼用表示部位に対応する表示領域を設定し、視差画像である左眼用画像および右眼用画像を表示させることで、HMD１１と同様に利用する場合についても、上述した機能を実現させることが可能である。

＜＜６．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図１８におけるCPU１００１が、制御部３１，５１の機能を実現させる。また、記憶部１００８が、コンテンツ記憶部５４を実現する。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、
前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する画像生成部
を含む画像処理装置。
＜２＞ 前記画像生成部は、
前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成する
＜１＞に記載の画像処理装置。
＜３＞ 前記画像生成部は、
前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の同一の２枚の画像を生成する
＜２＞に記載の画像処理装置。
＜４＞ 前記左右の２枚の画像は、左右の２枚の視差画像である
＜３＞に記載の画像処理装置。
＜５＞ 前記画像生成部は、
前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成し、左右反転させる、または、前記左右の２枚の画像が左右反転するように、前記左右の２枚の画像を生成する
＜２＞に記載の画像処理装置。
＜６＞ 前記左右の２枚の画像は、左右の２枚の視差画像である
＜５＞に記載の画像処理装置。
＜７＞ 前記視聴方向を検出する視聴方向検出部をさらに含み、
前記視聴方向検出部は、
前記ユーザの顔向き方向を検出する顔向き方向検出部と、
前記ユーザの視線方向を検出する視線方向検出部とをさらに含み、
前記視聴方向検出部は、前記顔向き方向および前記視線方向を用いて視聴方向を算出する
＜２＞に記載の画像処理装置。
＜８＞ 前記画像生成部は、
前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成する
＜１＞に記載の画像処理装置。
＜９＞ 前記画像生成部は、
前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内である場合、前記ユーザの視聴位置に基づいて特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成する
＜８＞に記載の画像処理装置。
＜１０＞ 前記左右の２枚の画像は、左右の２枚の視差画像である
＜８＞に記載の画像処理装置。
＜１１＞ 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
＜１０＞に記載の画像処理装置。
＜１２＞ 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の間隔ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
＜１１＞に記載の画像処理装置。
＜１３＞ 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の距離の割合ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
＜１１＞に記載の画像処理装置。
＜１４＞ 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に、前記視聴位置までの最短経路上を段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
＜１１＞に記載の画像処理装置。
＜１５＞ 前記画像生成部は、前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合で、かつ、前記ユーザの視聴状態に変更がある場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
＜１０＞に記載の画像処理装置。
＜１６＞ 前記ユーザの視聴状態に変更がある場合は、前記ユーザが瞬きをするタイミング、前記ユーザが振り返るタイミング、および前記ユーザがうなずくタイミングの場合である
＜１５＞に記載の画像処理装置。
＜１７＞ ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、
前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する
画像処理装置の制御方法。

１１ HMD， １２ 画像処理装置， ３１ 制御部， ３２ 視聴方向検出部， ３３ 位置検出部， ３４ 通信部， ３５ 表示部， ３６ 音声出力部， ４１ 顔向き検出部， ４２ 視線方向検出部， ５１ 制御部， ５２ 通信部， ５３ レンダリング部， ５４ コンテンツ記憶部， ６１ 視聴位置判定部， ６２ レンダリング演算部， ９１ 瞬き検出部， １０１ 瞬き判定部， １４１ 視聴方向判定部， １４２ レンダリング演算部， １７１ 原点移動モード制御部

Claims (17)

1. ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、
   前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する画像生成部
   を含む画像処理装置。
2. 前記画像生成部は、
   前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
   前記ユーザの前記画像データの座標系における前記ユーザの視聴方向が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成する
   請求項１に記載の画像処理装置。
3. 前記画像生成部は、
   前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
   前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の同一の２枚の画像を生成する
   請求項２に記載の画像処理装置。
4. 前記左右の２枚の画像は、左右の２枚の視差画像である
   請求項３に記載の画像処理装置。
5. 前記画像生成部は、
   前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内である場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
   前記視聴方向が、前記画像データにおける座標系の所定の仰角の範囲内ではない場合、前記ユーザの視聴方向で特定される前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成し、左右反転させる、または、前記左右の２枚の画像が左右反転するように、前記左右の２枚の画像を生成する
   請求項２に記載の画像処理装置。
6. 前記左右の２枚の画像は、左右の２枚の視差画像である
   請求項５に記載の画像処理装置。
7. 前記視聴方向を検出する視聴方向検出部をさらに含み、
   前記視聴方向検出部は、
   前記ユーザの顔向き方向を検出する顔向き方向検出部と、
   前記ユーザの視線方向を検出する視線方向検出部とをさらに含み、
   前記視聴方向検出部は、前記顔向き方向および前記視線方向を用いて視聴方向を算出する
   請求項２に記載の画像処理装置。
8. 前記画像生成部は、
   前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
   前記ユーザの前記画像データの座標系における前記ユーザの視聴位置が所定の条件を満たさない場合、前記他の所定のモードで、前記左右の２枚の画像を生成する
   請求項１に記載の画像処理装置。
9. 前記画像生成部は、
   前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内である場合、前記ユーザの視聴位置に基づいて特定される前記画像データを用いた、前記所定のモードで、前記左右の２枚の画像を生成し、
   前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の画像を生成する
   請求項８に記載の画像処理装置。
10. 前記左右の２枚の画像は、左右の２枚の視差画像である
    請求項８に記載の画像処理装置。
11. 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
    請求項１０に記載の画像処理装置。
12. 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の間隔ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
    請求項１１に記載の画像処理装置。
13. 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に段階的に所定の距離の割合ずつずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
    請求項１１に記載の画像処理装置。
14. 前記画像生成部は、前記画像データにおける座標系の原点を、前記視聴位置に、前記視聴位置までの最短経路上を段階的にずらして、ずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
    請求項１１に記載の画像処理装置。
15. 前記画像生成部は、前記視聴位置が、前記画像データにおける座標系の原点から所定の距離の範囲内ではない場合で、かつ、前記ユーザの視聴状態に変更がある場合、前記ユーザの視聴位置を、前記画像データにおける座標系の原点となるようにずらし、前記原点となるようにずらした前記視聴位置に基づいて特定される、前記画像データを用いた、前記他の所定のモードで、前記左右の２枚の視差画像を生成する
    請求項１０に記載の画像処理装置。
16. 前記ユーザの視聴状態に変更がある場合は、前記ユーザが瞬きをするタイミング、前記ユーザが振り返るタイミング、および前記ユーザがうなずくタイミングの場合である
    請求項１５に記載の画像処理装置。
17. ユーザの視聴情報が所定の条件を満たす場合、前記ユーザの視聴情報で特定される画像データを用いた、所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成し、
    前記ユーザの視聴情報が前記所定の条件を満たさない場合、前記所定のモードとは異なる他の所定のモードで、前記ユーザの右目と左目に対応する左右の２枚の画像を生成する
    画像処理装置の制御方法。

Images