JP2018110295A5 - - Google Patents

Description

上記課題を解決するために、本発明の１つの態様に係る画像処理装置は、表示装置に表示する表示用の視差画像を、左目用の画像と右目用の画像それぞれから生成する画像処理装置であって、前記表示装置の姿勢情報を取得する第１の取得手段と、前記左目用の画像と右目用の画像との視差量を取得する第２の取得手段と、前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、仮想的に配置される左目用の仮想カメラと右目用の仮想カメラとの少なくとも一方の姿勢を調整する調整手段と、調整された前記仮想カメラの姿勢に基づいて、前記左目用の画像と右目用の画像から前記表示用の視差画像を生成する生成手段と、を備える。

Claims (20)

1. 表示装置に表示する表示用の視差画像を、左目用の画像と右目用の画像それぞれから生成する画像処理装置であって、
   前記表示装置の姿勢情報を取得する第１の取得手段と、
   前記左目用の画像と右目用の画像との視差量を取得する第２の取得手段と、
   前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、仮想的に配置される左目用の仮想カメラと右目用の仮想カメラとの少なくとも一方の姿勢を調整する調整手段と、
   調整された前記仮想カメラの姿勢に基づいて、前記左目用の画像と右目用の画像から前記表示用の視差画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記調整手段は、前記左目用の仮想カメラと前記右目用の仮想カメラとの少なくとも一方の姿勢方向を調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示装置の姿勢情報は、前記表示装置の画像表示面に垂直な軸周りの、前記画像表示面の回転量であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記調整手段は、前記右目用画像の仮想カメラの姿勢と、前記左目用画像の仮想カメラの姿勢とを異なる方向に調整することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記調整手段は、前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、前記仮想カメラの水平方向における前記仮想カメラの方位角と、前記仮想カメラの垂直方向における仰角とを調整することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記調整手段は、前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、前記表示装置の画像表示面の高さ方向に発生する表示用画像のずれを減ずる方向に前記仰角を調整することを特徴とする請求項５に記載の画像処理装置。
7. 前記調整手段は、前記表示装置の画像表示面の幅方向に発生する表示用の視差画像の視差量が前記表示装置が傾いていないときに表示用の視差画像に生じる視差量と等しくなるように前記方位角を調整することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記生成手段は、前記左目用の画像と右目用の画像それぞれの画素位置に対応する方位角と仰角のテーブルに基づいて、前記左目用の画像と右目用の画像から画素値をサンプリングして前記表示用の視差画像を生成することを特徴とする請求項５〜７の何れか１項に記載の画像処理装置。
9. 前記調整手段は、前記視差量が所定の閾値より小さい場合、前記仮想カメラの姿勢の調整を行わないことを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記第２の取得手段は、前記左目用の画像と右目用の画像を前記仮想カメラで見たときの中心領域における視差量を取得することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 前記第２の取得手段は、前記左目用の画像と右目用の画像の中心領域をマッチング処理することで、前記視差量を取得することを特徴とする請求項１０に記載の画像処理装置。
12. 前記左目用の画像と右目用の視画像は全天球画像または魚眼カメラで撮影した画像であることを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 前記生成手段は、前記表示装置のレンズの歪曲を補正して前記表示用の視差画像を生成することを特徴とする請求項１〜１２の何れか１項に記載の画像処理装置。
14. 前記表示装置はヘッドマウントディスプレイであることを特徴とする請求項１〜１３の何れか１項に記載の画像処理装置。
15. 前記生成手段は、前記表示装置の画像表示パラメータを使用して、前記表示用の視差画像を生成し、前記画像表示パラメータは、前記ヘッドマウントディスプレイの接眼レンズの焦点距離、前記接眼レンズの歪曲パラメータ、前記ヘッドマウントディスプレイの画像表示面における前記接眼レンズの中心位置、前記ヘッドマウントディスプレイの解像度、前記画像表示面のサイズの少なくとも１つを含むことを特徴とする請求項１４に記載の画像処理装置。
16. 前記表示装置の姿勢情報が水平方向に傾いていることを示す場合、前記調整手段は、前記左目用の仮想カメラと右目用の仮想カメラのうちいずれか一方を下向きに回転させ、他方を上向きに回転させることを特徴とする請求項１〜１５の何れか１項に記載の画像処理装置。
17. 前記左目用の画像と右目用の画像は、前記表示用の視差画像よりも画角が大きい画像であることを特徴とする請求項１〜１６の何れか１項に記載の画像処理装置。
18. 請求項１〜１７の何れか１項に記載の画像処理装置と、
    前記画像処理装置が生成した表示用画像を表示する表示装置と、
    を含む画像処理システム。
19. 表示装置に表示する表示用の視差画像を、左目用の画像と右目用の画像それぞれから生成する画像処理方法であって、
    前記左目用の画像と右目用の画像との視差量を取得するステップと、
    前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、仮想的に配置される左目用の仮想カメラと右目用の仮想カメラとの少なくとも一方の姿勢を調整するステップと、
    調整された前記仮想カメラの姿勢に基づいて、前記左目用の画像と右目用の画像から前記表示用の視差画像を生成するステップと、
    を有することを特徴とする画像処理方法。
20. コンピュータを、請求項１〜１７の何れか１項に記載の画像処理装置の手段として機能させるためのプログラム。