JP2022104972A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2022104972A JP2022104972A JP2022060649A JP2022060649A JP2022104972A JP 2022104972 A JP2022104972 A JP 2022104972A JP 2022060649 A JP2022060649 A JP 2022060649A JP 2022060649 A JP2022060649 A JP 2022060649A JP 2022104972 A JP2022104972 A JP 2022104972A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- image processing
- display device
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000005540 biological transmission Effects 0.000 claims 3
- 206010025482 malaise Diseases 0.000 abstract description 10
- 206010052143 Ocular discomfort Diseases 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 53
- 206010034719 Personality change Diseases 0.000 description 35
- 230000001133 acceleration Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
(第1の実施形態)
図1は、HMDシステムの例を示す。
以下の説明では、図2のフローチャートをベースにHMDシステムの動作を説明する。
Xvd=∫Xad dt ・・・式(1)
Yvd=∫Yad dt ・・・式(2)
Zvd=∫Zad dt ・・・式(3)
とすることで、水平方向への速度Xvd、垂直方向への速度Yvd、および奥行き方向への速度Zvdをそれぞれ算出できる。
Xpd=∫Xvd dt ・・・式(4)
Ypd=∫Yvd dt ・・・式(5)
Zpd=∫Zvd dt ・・・式(6)
とすることで、水平方向への位置Xpd、垂直方向への位置Ypd、および奥行き方向への位置Zpdをそれぞれ算出できる。
Xar=dXvr/dt ・・・式(7)
Yar=dYvr/dt ・・・式(8)
Zar=dZvr/dt ・・・式(9)
とすることで、水平方向を軸とする回転角加速度Xar、垂直方向を軸とする回転角加速度Yar、および奥行き方向を軸とする回転角加速度Zarをそれぞれ算出できる。
Xpr=∫Xvr dt ・・・式(10)
Ypr=∫Yvr dt ・・・式(11)
Zpr=∫Zvr dt ・・・式(12)
とすることで、水平方向を軸とする回転角Xpr、垂直方向を軸とする回転角Ypr、および奥行き方向を軸とする回転角Zprをそれぞれ算出できる。
次に、ステップS203において、表示領域制御部103は、第1のディスプレイ110に表示すべき第1の表示画像を生成するか、または第2のディスプレイ120に表示すべき第2の表示画像を生成するか、を決定する。
図5(A)は、画像データの垂直方向501と水平方向502に対して、第1の位置姿勢変化が検出されていない場合の第1の表示領域503の例である。図5(B)は、図5(A)の状態において第1の位置姿勢変化が検出された場合に、第1の位置姿勢変化に基づき第1の表示領域508を算出する例である。
(x,y)=(Xpd,Ypd) ・・・式(13)
となる。また、回転角506は、式(12)より算出できる。第1の表示領域508は、式(13)と、回転角506と、主となるユーザが装着する第1のディスプレイ110の画像表示部112に表示可能な画像サイズとに基づき、決定する。
まず、上記のように、位置姿勢変化補正部302を用いて、第1の位置姿勢変化から主となるユーザの急な動きに起因する位置姿勢変化を除外する補正処理を行う。
図6(A)は、ローパスフィルタ(LPF)601を用いた補正処理の例である。ローパスフィルタ601は、所定の閾値を有し、第1の位置姿勢変化と位置姿勢変化補正パラメータとに基づき、補正処理された第1の位置姿勢変化を出力する。すなわち、ローパスフィルタ601は、第1の位置姿勢変化の周波数が所定の閾値よりも大きい場合に、該周波数に係る位置変化を主となるユーザの急な動きとして除外する。
G(s)=a/(s+a) ・・・式(14)
と表現される。但し、sは、角周波数であり、かつwと虚数jを用いて
s=jw ・・・式(15)
と表現される。
w=2πf ・・・式(16)
と表現される。但し、aは、任意の正の定数で、かつ第1の位置姿勢変化の補正パラメータ設定値である。この時、ローパスフィルタ601の遮断周波数fcは、
fc=a/2π ・・・式(17)
の関係を有する。
a=b×Zd ・・・式(18)
と表現される。但し、bは、任意の定数である。
TH_H=c×Zd ・・・式(19)
TH_L=TH_H ・・・式(20)
と表現される。但し、cは任意の定数である。
図10(A)は、主となるユーザが装着する第1のディスプレイ110に表示すべき第1の表示画像の第1の表示領域の例である。図10(B)は、従となるユーザが装着する第2のディスプレイ120に表示すべき第2の表示画像の第2の表示領域の例である。
(x,y)=(Xpd,Ypd) ・・・式(21)
と表現される。
また、回転角905は、式(12)から算出できる。
本例は、補正表示領域に基づき画像データの切り出し領域を決定し、画像データの切り出し領域から第2の表示領域を算出する例である。なお、補正表示領域、第2の表示領域、および切り出し領域を算出する動作は、表示領域算出部303により実行される。
図12は、HMDシステムの例を示す。
第2の実施形態は、画像処理装置100が管理サーバ1100内に搭載される場合の例である。
以下の説明では、図13のフローチャートをベースにHMDシステムの動作を説明する。
本発明は、上述の1つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステム/装置に供給し、そのシステム/装置のコンピュータにおける1つ以上のプロセッサが該プログラムを実行する場合にも適用可能である。また、本発明は、上述の1つ以上の機能を所定の回路(例えば、ASIC)によって実現することも可能である。
以上、説明したように、本発明の例によれば、1つの画像を複数のヘッドマウントディスプレイに表示する場合に、主となるユーザの急な動きが従となるユーザのディスプレイに反映されなくすることができる。これにより、従となるユーザは、視覚的な不快感または映像酔いが低減される。
101 画像データ入力部
102 画像メモリ
103 表示領域制御部
110 第1のディスプレイ
111 位置姿勢変化検出部
112 画像表示部
120 第2のディスプレイ
121 位置姿勢変化検出部
122 画像表示部
301 位置姿勢変化補正パラメータ算出部
302 位置姿勢変化補正部
303 表示領域算出部
304 表示画像生成部
1100 サーバ
1101 外部通信インタフェース
1102 CPU
1103 メモリ
1110 第1のディスプレイ
1111 位置姿勢変化検出部
1112 画像表示部
1113 主従選択部
1114 外部通信インタフェース
1120 第2のディスプレイ
1121 位置姿勢変化検出部
1122 画像表示部
1123 主従選択部
1124 外部通信インタフェース
Claims (11)
- 画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置の姿勢情報に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理装置であって、
前記複数のディスプレイ装置のうち第1のディスプレイ装置の第1の姿勢情報を取得し、前記複数のディスプレイ装置のうち第2のディスプレイ装置の第2の姿勢情報を取得する取得手段と、
前記画像データおよび前記第1の姿勢情報に基づき前記第1のディスプレイ装置に表示する第1の表示画像を生成し、前記画像データおよび前記第2の姿勢情報に基づき前記第2のディスプレイ装置に表示する第2の表示画像を生成する表示画像生成手段と、を備え、
前記表示画像生成手段は、前記第1のディスプレイ装置が主、前記第2のディスプレイ装置が従となる場合に、前記第2の表示画像として、前記第1の表示画像に表示される領域の少なくとも一部を含み前記第1の表示画像と倍率が異なる画像を生成する
ことを特徴とする画像処理装置。 - 前記第1および第2のディスプレイ装置の各々は、加速度センサおよびジャイロセンサを含む、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記表示画像生成手段は、前記第2の表示画像として、前記画像データから前記第1の表示画像に表示される領域の一部を前記第2の姿勢情報に基づいて切り出し拡大した画像を生成する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記表示画像生成手段は、前記第2の表示画像として、前記画像データから前記第1の表示画像に表示される領域の全部を含む領域を前記第2の姿勢情報に基づいて切り出し縮小した画像を生成する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記画像処理装置は、前記複数のディスプレイ装置とは独立に設けられる、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記画像処理装置が前記複数のディスプレイ装置を管理する管理サーバ内に搭載される場合に、前記画像処理装置は、
前記第1の姿勢情報を前記第1のディスプレイ装置から受信し、かつ前記第2の姿勢情報を前記第2のディスプレイ装置から受信する受信手段と、
前記第1の表示画像を前記第1のディスプレイ装置に送信し、かつ前記第2の表示画像を前記第2のディスプレイ装置に送信する送信手段と、を備える、
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像処理装置は、前記複数のディスプレイ装置のうちの1つに搭載され、
前記画像処理装置が搭載されるディスプレイ装置が前記第1のディスプレイ装置でない場合に、前記画像処理装置は、前記第1の表示画像を前記第1のディスプレイ装置に送信する送信手段をさらに備える、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記画像処理装置は、前記複数のディスプレイ装置のうちの1つに搭載され、
前記画像処理装置が搭載されるディスプレイ装置が前記第2のディスプレイ装置でない場合に、前記画像処理装置は、前記第2の表示画像を前記第2のディスプレイ装置に送信する送信手段をさらに備える、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記複数のディスプレイ装置の各々は、自らの主従を選択する主従選択手段を備える、
ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 画像データを複数の装着型ディスプレイ装置に表示する場合に各ディスプレイ装置の姿勢情報に基づき該ディスプレイ装置に表示する表示画像を生成する画像処理方法であって、
前記複数のディスプレイ装置のうち第1のディスプレイ装置の第1の姿勢情報を取得し、前記複数のディスプレイ装置のうち第2のディスプレイ装置の第2の姿勢情報を取得する取得工程と、
前記画像データおよび前記第1の姿勢情報に基づき前記第1のディスプレイ装置に表示する第1の表示画像を生成し、前記画像データおよび前記第2の姿勢情報に基づき前記第2のディスプレイ装置に表示する第2の表示画像を生成する表示画像生成工程と、を備え、
前記表示画像生成工程では、前記第1のディスプレイ装置が主、前記第2のディスプレイ装置が従となる場合に、前記第2の表示画像として、前記第1の表示画像に表示される領域の少なくとも一部を含み前記第1の表示画像と倍率が異なる画像を生成する
ことを特徴とする画像処理方法。 - 請求項1乃至9のいずれか1項に記載の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022060649A JP7419424B2 (ja) | 2018-04-12 | 2022-03-31 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077057A JP7057197B2 (ja) | 2018-04-12 | 2018-04-12 | 画像処理装置、画像処理方法、およびプログラム |
JP2022060649A JP7419424B2 (ja) | 2018-04-12 | 2022-03-31 | 画像処理装置、画像処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077057A Division JP7057197B2 (ja) | 2018-04-12 | 2018-04-12 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022104972A true JP2022104972A (ja) | 2022-07-12 |
JP7419424B2 JP7419424B2 (ja) | 2024-01-22 |
Family
ID=68340980
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077057A Active JP7057197B2 (ja) | 2018-04-12 | 2018-04-12 | 画像処理装置、画像処理方法、およびプログラム |
JP2022060649A Active JP7419424B2 (ja) | 2018-04-12 | 2022-03-31 | 画像処理装置、画像処理方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077057A Active JP7057197B2 (ja) | 2018-04-12 | 2018-04-12 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7057197B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12044845B2 (en) * | 2021-03-29 | 2024-07-23 | Tencent America LLC | Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
WO2014115393A1 (ja) * | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
JP2015019679A (ja) * | 2013-07-16 | 2015-02-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
JP2015194880A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社日本総合研究所 | 表示システム及びプログラム |
JP2016224810A (ja) * | 2015-06-02 | 2016-12-28 | キヤノン株式会社 | システム、システムの制御方法 |
WO2018012628A1 (ja) * | 2016-07-15 | 2018-01-18 | ナーブ株式会社 | 画像表示装置及び画像表示システム |
US20190056848A1 (en) * | 2017-08-18 | 2019-02-21 | Adobe Systems Incorporated | Collaborative Interaction with Virtual Reality Video |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
CN103202010B (zh) * | 2010-11-09 | 2014-12-03 | 富士胶片株式会社 | 增强现实感提供设备 |
KR102349716B1 (ko) * | 2015-06-11 | 2022-01-11 | 삼성전자주식회사 | 영상 공유 방법 및 이를 수행하는 전자 장치 |
KR20180017736A (ko) * | 2016-08-10 | 2018-02-21 | (주) 씽크브릿지 | Hmd 및 그 hmd의 제어 방법 |
-
2018
- 2018-04-12 JP JP2018077057A patent/JP7057197B2/ja active Active
-
2022
- 2022-03-31 JP JP2022060649A patent/JP7419424B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
WO2014115393A1 (ja) * | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
JP2015019679A (ja) * | 2013-07-16 | 2015-02-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
JP2015194880A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社日本総合研究所 | 表示システム及びプログラム |
JP2016224810A (ja) * | 2015-06-02 | 2016-12-28 | キヤノン株式会社 | システム、システムの制御方法 |
WO2018012628A1 (ja) * | 2016-07-15 | 2018-01-18 | ナーブ株式会社 | 画像表示装置及び画像表示システム |
US20190056848A1 (en) * | 2017-08-18 | 2019-02-21 | Adobe Systems Incorporated | Collaborative Interaction with Virtual Reality Video |
Also Published As
Publication number | Publication date |
---|---|
JP2019184883A (ja) | 2019-10-24 |
JP7057197B2 (ja) | 2022-04-19 |
JP7419424B2 (ja) | 2024-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6092437B1 (ja) | 仮想空間画像提供方法、及びそのプログラム | |
JP5996814B1 (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP6002286B1 (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
JP6899875B2 (ja) | 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム | |
JP6290754B2 (ja) | 仮想空間表示装置、仮想空間表示方法及びプログラム | |
JP5869712B1 (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
JP2018120519A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2011165068A (ja) | 画像生成装置、画像表示システム、画像生成方法、及びプログラム | |
JP2017138973A (ja) | 仮想空間の提供方法、およびプログラム | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP7419424B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
AU2017346451B2 (en) | HMD delivery system and method | |
JP2002312117A (ja) | 円筒映像球面映像コントロール装置 | |
US20200241633A1 (en) | Display device and display device control method | |
KR101951406B1 (ko) | 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 | |
JP2018120583A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018163420A (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP2017142769A (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP7127569B2 (ja) | 画像調整システム、画像調整装置、及び画像調整方法 | |
CN114556187B (zh) | 头部佩戴型显示装置和显示内容控制方法 | |
JP7088064B2 (ja) | 画像調整システム、画像調整装置、及び画像調整方法 | |
JP7167760B2 (ja) | 画像調整システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7419424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |