JP2021056783A5 - - Google Patents

Claims (17)

1. ヘッドマウントディスプレイに動画像を表示させる画像処理装置であって、
   前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得する位置姿勢追跡部と、
   一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、１フレームより小さい部分画像の単位で取得する画像データ取得部と、
   最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成する画像処理部と、
   前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力する表示制御部と、
   を備え、
   前記表示制御部は、少なくとも前記差分に基づき、前記画像処理部における補正対象を変化させることを特徴とする画像処理装置。
2. 前記画像データ取得部は、前記外部装置における前記フレームのデータの生成時刻を、前記部分画像の単位でさらに取得し、
   前記表示制御部は、前記生成時刻からの遅延時間を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御部はさらに、前記画像処理部が表示画像を生成するのに必要なデータの取得量を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示制御部は、データの欠落の度合いを、表示画面におけるユーザの注視点から欠落位置までの距離が小さいほど大きい重みづけで数値化し、その結果を前記画像処理部における補正対象の決定に反映させることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記表示制御部は、前記フレームのデータのうち、前記画像処理部において表示画像を生成するのに不必要な領域を除いたデータの欠落量を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記表示制御部は、前記画像処理部において、補正対象を最新のフレームのデータとするか、それより前のフレームのデータとするかをフレームごとに決定することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記表示制御部は、前記フレームのデータを補正して出力するか、何も出力しないかをフレームごとに決定することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記画像データ取得部は、最新の前記位置姿勢、前記差分の履歴、および前記外部装置におけるフレームのデータの生成時刻からの遅延時間の履歴を、前記外部装置へ所定のタイミングで送信することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記画像データ取得部は、前記フレームを描画する際に予測された、前記予測値のずれを表すベクトルに基づき追加で生成された、前記フレームの外側の領域のデータをさらに取得し、
   前記画像処理部は、当該フレーム外の領域のデータを用いて表示画像を生成することを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. ヘッドマウントディスプレイに表示させる動画像のデータを転送する画像データ転送装置であって、
    前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得する位置姿勢取得部と、
    転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測する位置姿勢予測部と、
    前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画する描画部と、
    前記動画像のフレームのデータを、１フレームより小さい部分画像の単位で、前記予測値とともに送信する通信部と、
    を備えたことを特徴とする画像データ転送装置。
11. 前記通信部は、前記フレームのデータを、前記部分画像の単位で、当該部分画像の生成時刻とともに送信することを特徴とする請求項１０に記載の画像データ転送装置。
12. 前記描画部は、前記予測値のずれを予測し、当該ずれを表すベクトルに基づき決定した、前記フレームの外側の領域をさらに描画し、
    前記通信部は、前記外側の領域のデータも送信することを特徴とする請求項１０または１１に記載の画像データ転送装置。
13. 前記位置姿勢取得部は、前記ヘッドマウントディスプレイにおける表示処理時の実際の位置姿勢と前記予測値との差分の履歴、および、フレームのデータの生成時刻から表示処理までの遅延時間の履歴を、データ転送先の装置からさらに取得し、
    前記描画部は、前記差分の履歴および前記遅延時間の履歴に基づき、前記予測値のずれを予測することを特徴とする請求項１２に記載の画像データ転送装置。
14. ヘッドマウントディスプレイに動画像を表示させる画像処理装置が、
    前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得するステップと、
    一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、１フレームより小さい部分画像の単位で取得するステップと、
    最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成するステップと、
    前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力するステップと、
    を含み、
    前記表示画像を生成するステップは、少なくとも前記差分に基づき、補正対象を変化させることを特徴とする画像処理方法。
15. ヘッドマウントディスプレイに表示させる動画像のデータを転送する画像データ転送装置が、
    前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得するステップと、
    転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測するステップと、
    前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画するステップと、
    前記動画像のフレームのデータを、１フレームより小さい部分画像の単位で、前記予測値とともに送信するステップと、
    を含むことを特徴とする画像データ転送方法。
16. ヘッドマウントディスプレイに動画像を表示させるコンピュータに、
    前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得する機能と、
    一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、１フレームより小さい部分画像の単位で取得する機能と、
    最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成する機能と、
    前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力する機能と、
    を実現させ、
    前記表示画像を生成する機能は、少なくとも前記差分に基づき、補正対象を変化させることを特徴とするコンピュータプログラム。
17. ヘッドマウントディスプレイに表示させる動画像のデータを転送するコンピュータに、
    前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得する機能と、
    転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測する機能と、
    前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画する機能と、
    前記動画像のフレームのデータを、１フレームより小さい部分画像の単位で、前記予測値とともに送信する機能と、
    を実現させることを特徴とするコンピュータプログラム。