JP2021056783A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2021056783A5 JP2021056783A5 JP2019179436A JP2019179436A JP2021056783A5 JP 2021056783 A5 JP2021056783 A5 JP 2021056783A5 JP 2019179436 A JP2019179436 A JP 2019179436A JP 2019179436 A JP2019179436 A JP 2019179436A JP 2021056783 A5 JP2021056783 A5 JP 2021056783A5
- Authority
- JP
- Japan
- Prior art keywords
- frame
- orientation
- data
- image
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims 23
- 238000012546 transfer Methods 0.000 claims 12
- 238000012937 correction Methods 0.000 claims 7
- 238000009877 rendering Methods 0.000 claims 7
- 238000004891 communication Methods 0.000 claims 3
- 238000004590 computer program Methods 0.000 claims 2
- 238000000034 method Methods 0.000 claims 2
- 230000007423 decrease Effects 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
Claims (17)
- ヘッドマウントディスプレイに動画像を表示させる画像処理装置であって、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得する位置姿勢追跡部と、
一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、1フレームより小さい部分画像の単位で取得する画像データ取得部と、
最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成する画像処理部と、
前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力する表示制御部と、
を備え、
前記表示制御部は、少なくとも前記差分に基づき、前記画像処理部における補正対象を変化させることを特徴とする画像処理装置。 - 前記画像データ取得部は、前記外部装置における前記フレームのデータの生成時刻を、前記部分画像の単位でさらに取得し、
前記表示制御部は、前記生成時刻からの遅延時間を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項1に記載の画像処理装置。 - 前記表示制御部はさらに、前記画像処理部が表示画像を生成するのに必要なデータの取得量を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示制御部は、データの欠落の度合いを、表示画面におけるユーザの注視点から欠落位置までの距離が小さいほど大きい重みづけで数値化し、その結果を前記画像処理部における補正対象の決定に反映させることを特徴とする請求項1から3のいずれかに記載の画像処理装置。
- 前記表示制御部は、前記フレームのデータのうち、前記画像処理部において表示画像を生成するのに不必要な領域を除いたデータの欠落量を、前記画像処理部における補正対象の決定に反映させることを特徴とする請求項1から4のいずれかに記載の画像処理装置。
- 前記表示制御部は、前記画像処理部において、補正対象を最新のフレームのデータとするか、それより前のフレームのデータとするかをフレームごとに決定することを特徴とする請求項1から5のいずれかに記載の画像処理装置。
- 前記表示制御部は、前記フレームのデータを補正して出力するか、何も出力しないかをフレームごとに決定することを特徴とする請求項1から6のいずれかに記載の画像処理装置。
- 前記画像データ取得部は、最新の前記位置姿勢、前記差分の履歴、および前記外部装置におけるフレームのデータの生成時刻からの遅延時間の履歴を、前記外部装置へ所定のタイミングで送信することを特徴とする請求項1から7のいずれかに記載の画像処理装置。
- 前記画像データ取得部は、前記フレームを描画する際に予測された、前記予測値のずれを表すベクトルに基づき追加で生成された、前記フレームの外側の領域のデータをさらに取得し、
前記画像処理部は、当該フレーム外の領域のデータを用いて表示画像を生成することを特徴とする請求項1から8のいずれかに記載の画像処理装置。 - ヘッドマウントディスプレイに表示させる動画像のデータを転送する画像データ転送装置であって、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得する位置姿勢取得部と、
転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測する位置姿勢予測部と、
前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画する描画部と、
前記動画像のフレームのデータを、1フレームより小さい部分画像の単位で、前記予測値とともに送信する通信部と、
を備えたことを特徴とする画像データ転送装置。 - 前記通信部は、前記フレームのデータを、前記部分画像の単位で、当該部分画像の生成時刻とともに送信することを特徴とする請求項10に記載の画像データ転送装置。
- 前記描画部は、前記予測値のずれを予測し、当該ずれを表すベクトルに基づき決定した、前記フレームの外側の領域をさらに描画し、
前記通信部は、前記外側の領域のデータも送信することを特徴とする請求項10または11に記載の画像データ転送装置。 - 前記位置姿勢取得部は、前記ヘッドマウントディスプレイにおける表示処理時の実際の位置姿勢と前記予測値との差分の履歴、および、フレームのデータの生成時刻から表示処理までの遅延時間の履歴を、データ転送先の装置からさらに取得し、
前記描画部は、前記差分の履歴および前記遅延時間の履歴に基づき、前記予測値のずれを予測することを特徴とする請求項12に記載の画像データ転送装置。 - ヘッドマウントディスプレイに動画像を表示させる画像処理装置が、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得するステップと、
一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、1フレームより小さい部分画像の単位で取得するステップと、
最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成するステップと、
前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力するステップと、
を含み、
前記表示画像を生成するステップは、少なくとも前記差分に基づき、補正対象を変化させることを特徴とする画像処理方法。 - ヘッドマウントディスプレイに表示させる動画像のデータを転送する画像データ転送装置が、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得するステップと、
転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測するステップと、
前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画するステップと、
前記動画像のフレームのデータを、1フレームより小さい部分画像の単位で、前記予測値とともに送信するステップと、
を含むことを特徴とする画像データ転送方法。 - ヘッドマウントディスプレイに動画像を表示させるコンピュータに、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を取得する機能と、
一体的に設けられていない外部装置から、動画像のフレームのデータおよび、当該フレームを描画する際に用いられた、前記位置姿勢の予測値を、1フレームより小さい部分画像の単位で取得する機能と、
最新の位置姿勢と前記予測値との差分に基づいて前記フレームのデータを、前記部分画像の単位で補正し、最新の位置姿勢に対応する表示画像を生成する機能と、
前記表示画像を順次、前記ヘッドマウントディスプレイの表示パネルに出力する機能と、
を実現させ、
前記表示画像を生成する機能は、少なくとも前記差分に基づき、補正対象を変化させることを特徴とするコンピュータプログラム。 - ヘッドマウントディスプレイに表示させる動画像のデータを転送するコンピュータに、
前記ヘッドマウントディスプレイを装着しているユーザ頭部の位置姿勢を、データ転送先の装置から取得する機能と、
転送した前記動画像のフレームが前記ヘッドマウントディスプレイに表示される時点での、前記位置姿勢を予測する機能と、
前記位置姿勢の予測値に対応する、前記動画像の各フレームを描画する機能と、
前記動画像のフレームのデータを、1フレームより小さい部分画像の単位で、前記予測値とともに送信する機能と、
を実現させることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019179436A JP7429512B2 (ja) | 2019-09-30 | 2019-09-30 | 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法 |
PCT/JP2020/035831 WO2021065628A1 (ja) | 2019-09-30 | 2020-09-23 | 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法 |
US17/638,535 US20220291742A1 (en) | 2019-09-30 | 2020-09-23 | Image processing apparatus, image data transfer apparatus, image processing method, and image data transfer method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019179436A JP7429512B2 (ja) | 2019-09-30 | 2019-09-30 | 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021056783A JP2021056783A (ja) | 2021-04-08 |
JP2021056783A5 true JP2021056783A5 (ja) | 2022-10-03 |
JP7429512B2 JP7429512B2 (ja) | 2024-02-08 |
Family
ID=75270920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019179436A Active JP7429512B2 (ja) | 2019-09-30 | 2019-09-30 | 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220291742A1 (ja) |
JP (1) | JP7429512B2 (ja) |
WO (1) | WO2021065628A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572721B2 (en) * | 2010-08-09 | 2020-02-25 | Nike, Inc. | Monitoring fitness using a mobile device |
US11235235B2 (en) * | 2019-10-01 | 2022-02-01 | Sony Interactive Entertainment Inc. | Synchronization and offset of VSYNC between gaming devices |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US12001958B2 (en) * | 2020-03-19 | 2024-06-04 | Nvidia Corporation | Future trajectory predictions in multi-actor environments for autonomous machine |
US11951399B2 (en) * | 2020-11-04 | 2024-04-09 | Sony Group Corporation | Footprints in virtual environments |
JP2023011263A (ja) | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
WO2024089725A1 (ja) * | 2022-10-24 | 2024-05-02 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
CN117294832B (zh) * | 2023-11-22 | 2024-03-26 | 湖北星纪魅族集团有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
CN117631833B (zh) * | 2023-11-24 | 2024-08-02 | 深圳若愚科技有限公司 | 一种适用于大语言模型的交互式感知方法及计算机存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02301793A (ja) * | 1989-05-17 | 1990-12-13 | Matsushita Electric Ind Co Ltd | 大型映像表示装置 |
JP6511386B2 (ja) * | 2015-11-20 | 2019-05-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP2017215875A (ja) * | 2016-06-01 | 2017-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、および画像生成方法 |
JP2017228044A (ja) * | 2016-06-21 | 2017-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、および画像生成方法 |
JP2019028368A (ja) * | 2017-08-02 | 2019-02-21 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
JP6944863B2 (ja) * | 2017-12-12 | 2021-10-06 | 株式会社ソニー・インタラクティブエンタテインメント | 画像補正装置、画像補正方法およびプログラム |
GB2578769B (en) * | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
-
2019
- 2019-09-30 JP JP2019179436A patent/JP7429512B2/ja active Active
-
2020
- 2020-09-23 US US17/638,535 patent/US20220291742A1/en active Pending
- 2020-09-23 WO PCT/JP2020/035831 patent/WO2021065628A1/ja active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021056783A5 (ja) | ||
US10310595B2 (en) | Information processing apparatus, information processing method, computer program, and image processing system | |
US10629107B2 (en) | Information processing apparatus and image generation method | |
US10607412B2 (en) | Mixed reality presentation system | |
US7868904B2 (en) | Image processing method and image processing apparatus | |
US8233011B2 (en) | Head mounted display and control method therefor | |
WO2020140758A1 (zh) | 图像显示方法、图像处理方法和相关设备 | |
US20160277710A1 (en) | Remote behavior navigation system and processing method thereof | |
US11651570B2 (en) | Adaptive rate control for artificial reality | |
JP2019184830A5 (ja) | ||
JP6949475B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006285789A (ja) | 画像処理方法、画像処理装置 | |
CN113544568B (zh) | 人工现实的延迟减少 | |
US11270673B2 (en) | Image generation apparatus, image generation method, and program | |
GB2575824A (en) | Generating display data | |
US20230394678A1 (en) | Information processing apparatus, system, information processing method, and information processing program | |
US20180288302A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable recording medium | |
JP2010016757A5 (ja) | ||
JP2018120173A (ja) | 画像表示装置、画像表示方法及びプログラム | |
US11592656B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP2006285786A (ja) | 情報処理方法、情報処理装置 | |
JP2021124529A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US11990064B2 (en) | Display processing device, display processing method, storage medium, and information processing device | |
JPWO2021199184A5 (ja) | ||
JP6725999B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム |