JP2020074062A - 表示制御装置及びプログラム - Google Patents
表示制御装置及びプログラム Download PDFInfo
- Publication number
- JP2020074062A JP2020074062A JP2019157639A JP2019157639A JP2020074062A JP 2020074062 A JP2020074062 A JP 2020074062A JP 2019157639 A JP2019157639 A JP 2019157639A JP 2019157639 A JP2019157639 A JP 2019157639A JP 2020074062 A JP2020074062 A JP 2020074062A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- view
- viewpoint
- moving
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、本実施形態に係るHMD(Head Mounted Display)システム1の構成の一例を示すシステム構成図である。
HMDシステム1は、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。仮想視点は、例えば、視界画像の生成に利用されるものであってもよい。例えば、HMDシステム1は、右目と左目との両眼視差を利用した立体視画像を表示可能である。また、HMDシステム1は、ジャイロ等のHMDシステム1の動きや傾き(姿勢)を検知するセンサを搭載する。HMDシステム1は、センサによりユーザの頭部の動きや傾きの変化等を検知する。以下の説明では、センサが検知する動きや傾きを示す情報を、センサ情報と称することがある。仮想空間には、例えば、オブジェクトを配置可能な水平面のフィールドが設けられている。
図2は、第1の実施形態に係る仮想空間の方向の定義の一例を示す説明図である。
本実施形態では、ユーザが直立する方向である垂直方向(鉛直方向)の軸をZ軸とする。また、本実施形態では、Z軸に直交する軸であって、ユーザとHMDシステム1の表示部120とを結ぶ方向の軸、すなわち、視界方向の軸をX軸とする。また、本実施形態では、Z軸及びX軸と直交する軸をY軸とする。
図3において、仮想空間内の仮想視点K(ユーザの仮想視点)は、X軸、Y軸、及びZ軸の交点(原点)とし、ユーザの視界方向をX軸方向とする。仮想視点からの視界方向の視界画像の範囲(即ち、視界)は、視界方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。視界方向は、ユーザの頭部の方向がピッチ方向および/またはヨー方向に変化すると、その変化に応じてX軸方向からピッチ方向および/またはヨー方向に変化する。一方、ユーザの頭部の方向がロール方向に変化すると、視界方向は変化しないまま、仮想視点の位置が該視界方向(X軸方向))へ移動する。
一方、仮想視点は、HMDシステム1を装着したユーザの頭部の方向をロール方向に回転させることで、該回転に応じて視界方向へ移動可能である。すなわち、仮想視点の位置は、X軸を回転軸とする回転方向および回転量(変化量)に応じてX軸方向へ移動する。図4を参照して詳述する。
仮想視点は、図3に図示した仮想視点Kが、視界方向を軸とした回転により移動する。例えば、仮想視点は、X軸を回転軸とし、HMDシステム1を装着したユーザの頭部の初期位置から右回転(例えば正方向に回転)させると、回転量に応じて仮想視点が仮想視点Kから仮想視点K1に移動する。ここでは、X軸、Y軸、及びZ軸の交点に仮想視点Kがあるときのユーザの頭部のロール方向への回転位置(ユーザが頭部をロール方向へ回転させていない0度の位置)を初期位置とする。このとき、X軸を回転軸とし、さらに右回転させると、仮想視点が仮想視点K1から仮想視点K2へと移動する。また、仮想視点の移動では、X軸を回転軸とし、初期位置から左回転(例えば負方向に回転)させると、その回転量に応じて仮想視点が仮想視点Kから仮想視点K3に移動する。このように、仮想視点は、視界方向を回転軸とした回転の回転方向や回転量に応じて移動される。
端末装置10は、HMDシステム1の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置10がスマートフォンである場合の一例について説明する。なお、HMDシステム1は、ディスプレイや制御部などを一体として備えるコンピュータ装置であってもよい。
端末装置10は、例えば、表示装置12と、センサ13と、記憶装置15と、通信部16と、CPU(Central Processing Unit)17と、を備える。
図6は、第1の実施形態に係る端末装置10の機能構成の一例を示す機能ブロック図である。
端末装置10は、記憶装置15から各種データやプログラムの書き込み、読み出しを行う機能構成として、記憶部150を備える。また、端末装置10は、表示装置12を制御する機能構成として、表示部120を備える。また、端末装置10は、センサ13による検出値を受け付ける機能構成として、センサ入力部130を備える。また、端末装置10は、記憶装置15に記憶されているプログラムをCPU17が実行することより実現される機能構成として、制御部110を備える。制御部110は、検出部111と、視界変更部112と、視点変更部113と、方向画像生成部115と、移動画像生成部116と、表示制御部117と、を備える。
図7は、第1の実施形態に係る仮想視点の移動方向を表す画像を含む視界画像の一例を示す説明図である。
図7に示す視界画像V1には、仮想視点の移動方向を表す操作点オブジェクトPが含まれる。例えば、操作点オブジェクトPは、視界画像V1の中央部に表示される。つまり、操作点オブジェクトPは、視界画像V1中に配置される。なお、操作点オブジェクトPは、例えば、ユーザが仮想視点の位置を移動するときに表示部120に表示されてもよい。
図8は、第1の実施形態に係る仮想視点の移動量または仮想視点の移動速度を表す画像を含む視界画像の一例を示す説明図である。
図8に示す視界画像V2には、仮想視点の移動量または仮想視点の移動速度を表す画像volが含まれる。
例えば、仮想視点の移動量または仮想視点の移動速度を表す画像volは、視界画像V2の中央部に表示される。例えば、仮想視点の移動量または仮想視点の移動速度を表す画像volは、仮想視点がどれだけ移動しているかの移動量および仮想視点の現在の移動速度がどれだけであるかを表す画像である。仮想視点の移動量または仮想視点の移動速度を表す画像volを含む視界画像V1は、例えば、ユーザが仮想視点の位置を移動するときに表示部120に表示される。
図9は、第1の実施形態に係る視界方向変更処理及び仮想視点移動処理の一例を示すフローチャートである。
ステップS200において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS202の処理を実行する。
ステップS202からステップS210において、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。
ステップS210において、端末装置10は、負の方向(例えばユーザの視界方向後方)に仮想視点位置を、検知した変化量分移動させる。その後、端末装置10は、ステップS214の処理を実行する。
ステップS222において、端末装置10は、負の方向(例えば右方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS224の処理を実行する。
ステップS232において、端末装置10は、負の方向(例えば下方向)に視界方向を、検知した変化量分移動させる。その後、端末装置10は、ステップS233の処理を実行する。
ステップS234において、端末装置10は、ステップS202からステップS210で特定した仮想視点の位置、およびステップS214からステップS230で特定した視界方向に基づいて、仮想視点の位置からの視界画像を生成する。その後、端末装置10は、ステップS200の処理を実行する。
その後、ステップS204において、X軸を回転軸とする回転の回転量が閾値以上(ステップS204;YES)である間、端末装置10は、ステップS233の処理をスキップ、すなわちステップS233の処理を実行せずにステップS234の処理を実行する。
なお、上記説明では、移動画像をC環状の形状で表示する場合について説明したが、数値で表示してもよいし、矢印などの記号や記号の大きさ、表示させる記号数などによって示してもよいし、文字列によって示してもよいし、振動や音声などによって示してもよい。
なお、上記説明では、方向画像を点で表示する場合について説明したが、十字記号などによって表示させてもよいし、アイコンなどによって表示させてもよいし、範囲を示す画像を表示させてもよい。
(1)以上説明してきたように、本実施形態に係る表示制御装置(端末装置10、HMDシステム1など)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置(端末装置10、HMDシステム1など)であって、自装置の方向に関する自装置方向情報(例えば、ヨー方向の回転(傾き)、ピッチ方向の回転(傾き)など)に基づいて、視界方向を変更する視界変更部112と、自装置の視界方向を軸とした回転に関する自装置回転情報(例えば、ロール方向の回転(傾き)等)などに基づいて、仮想視点を移動する視点変更部113と、を備え、視点変更部113は、視界方向に基づく方向に仮想視点を移動する。
また、端末装置10は、あらかじめ定められたオブジェクトでなく、視界画像中の任意の位置に仮想視点を移動させることもできるため、仮想空間を実環境に近く感じさせることができる。
また、端末装置10は、仮想視点の移動方向とともに視界方向を自由に変更することができるため、ユーザの操作性を向上させることができる。
なお、端末装置10は、視界方向変更モードと視点移動モードとの2つのモード(設定)を有してもよい。例えば、視界方向変更モードは、視界画像の視界方向を変更可能なモードとし、視点移動モードは、仮想視点の位置を変更可能なモードとすればよい。この場合、例えば、各モードの切り替えは、ユーザが所定の操作を行うことで可能である。また、各モードでは、いずれもセンサ情報に基づいて視界画像を変化させる処理が行われればよい。ただし、各モードでは、センサ情報、すなわち動きや傾きが同じであっても、視界画像の変化は異なる。
視界方向変更モードと視界方向変更モードとの切り替え可能に構成する場合、端末装置10は、例えば、以下のように構成されればよい。
例えば、表示制御部117は、実空間で端末装置10の傾きがピッチ方向において変化した場合には、仮想空間における視界画像をピッチ方向において変化させる。同様に、表示制御部117は、実空間で端末装置10の傾きがヨー方向において変化した場合には仮想空間における視界画像をヨー方向において変化させる。他方、表示制御部117は、実空間において端末装置10の傾きがロール方向において変化した場合であっても、仮想空間における仮想視点の位置は変化させない。つまり、表示制御部117は、視界方向変更御処理では、仮想空間における仮想視点の位置の移動を制限する。ここで、ロール方向において端末装置10の傾きが変化した場合の視界画像は、ロール方向の傾きに応じて視界画像も回転した視界画像となる。具体的には、ロール方向において5度右に傾きが変化した場合、表示部120に表示される視界画像も右に5度回転したものとなる。
なお、視界画像は、ロール方向において傾きが変化した場合であっても、ロール方向の傾きに応じて回転しなくてもよい。
例えば、表示制御部117は、実空間で端末装置10の傾きがロール方向において変化した場合には、ロール方向の傾きの変化に応じて移動した仮想空間における仮想視点の位置からの視界画像に変化させる。他方、表示制御部117は、実空間において端末装置10の傾きがヨー方向に変化したり、ピッチ方向に変化したりした場合であっても、仮想空間における視界方向は変更しない。つまり、表示制御部117は、視点移動処理では、仮想空間における視界方向の変更を制限する。このとき、視界画像は、ロール方向の傾きに応じて回転させてもよいし、回転させなくてもよい。
ステップS100において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS102の処理を実行する。
ステップS102において、端末装置10は、方向情報に基づいて仮想空間における視界方向を特定する。また、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。その後、端末装置10は、ステップS104の処理を実行する。 ステップS104において、端末装置10は、ステップS102で特定した仮想視点の位置および視界方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS106の処理を実行する。
ステップS120において、端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS122の処理を実行する。
ステップS122において、端末装置10は、方向情報に基づいて仮想空間における視界方向を特定する。また、端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を特定する。その後、端末装置10は、ステップS124の処理を実行する。 ステップS124において、端末装置10は、ステップS122で特定した仮想視点の位置および視界方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS126の処理を実行する。
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
また、表示制御装置は、仮想視点の移動方向とともに視界方向を自由に変更することができるため、ユーザの操作性を向上させることができる。
Claims (10)
- 両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置であって、
自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更部と、
自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記仮想視点を移動する視点変更部と、
を備え、
前記視点変更部は、前記視界方向に基づく方向に前記仮想視点を移動する、
表示制御装置。 - 前記視点変更部は、前記視界方向を軸とした回転と所定閾値とに基づいて、前記仮想視点を移動する、
請求項1に記載の表示制御装置。 - 前記回転の軸に基づく方向を表す画像を、前記視界画像中に生成する方向画像生成部をさらに備える、
請求項1または2に記載の表示制御装置。 - 前記視点変更部は、前記視界方向を軸とした回転の変化量に基づいて、前記仮想視点の位置を移動する、
請求項1から請求項3のいずれか一項に記載の表示制御装置。 - 前記視点変更部は、前記視界方向を軸とした回転の変化量に基づいて、前記仮想視点の移動速度を変更する、
請求項1から請求項3のいずれか一項に記載の表示制御装置。 - 前記仮想視点の移動量を表す画像または/および前記仮想視点の移動速度を表す画像を、前記視界画像中に生成する移動画像生成部をさらに備える、
請求項1から請求項5のいずれか一項に記載の表示制御装置。 - 前記視点変更部は、前記視界方向を軸とした回転が正の回転であるか負の回転であるかに応じて、前記仮想視点の移動方向を変更する、
請求項1から請求項6のいずれか一項に記載の表示制御装置。 - 前記視点変更部は、前記仮想視点を移動させている場合、前記仮想視点の移動開始時の移動方向を維持する、
請求項1から請求項7のいずれか一項に記載の表示制御装置。 - 前記視点変更部は、前記仮想視点を移動させている場合、前記視界方向の変更とともに前記仮想視点の移動方向を変更する、
請求項1から請求項7のいずれか一項に記載の表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点から視界方向の視界を表す視界画像を表示する表示制御装置のコンピュータに、
自装置の方向に関する自装置方向情報に基づいて、前記視界方向を変更する視界変更ステップと、
自装置の前記視界方向を軸とした回転に関する自装置回転情報に基づいて、前記視界方向に基づく方向に前記仮想視点を移動する視点変更ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019157639A JP6788295B2 (ja) | 2019-08-30 | 2019-08-30 | 表示制御装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019157639A JP6788295B2 (ja) | 2019-08-30 | 2019-08-30 | 表示制御装置及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018042421A Division JP6623362B2 (ja) | 2018-03-08 | 2018-03-08 | 表示制御装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020074062A true JP2020074062A (ja) | 2020-05-14 |
JP6788295B2 JP6788295B2 (ja) | 2020-11-25 |
Family
ID=70610145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019157639A Active JP6788295B2 (ja) | 2019-08-30 | 2019-08-30 | 表示制御装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6788295B2 (ja) |
-
2019
- 2019-08-30 JP JP2019157639A patent/JP6788295B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6788295B2 (ja) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107710105B (zh) | 操作输入装置和操作输入方法 | |
CN105319718B (zh) | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 | |
US20180321798A1 (en) | Information processing apparatus and operation reception method | |
US20180348969A1 (en) | Information processing apparatus and operation reception method | |
EP3542248B1 (en) | Location globe in virtual reality | |
KR20170126295A (ko) | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 | |
JP7005161B2 (ja) | 電子機器及びその制御方法 | |
JP7259045B2 (ja) | 視角回転の方法、装置及びコンピュータプログラム | |
JP2017021680A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP2022531599A (ja) | 視点回転の方法、装置、端末およびコンピュータプラグラム | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP6623362B2 (ja) | 表示制御装置及びプログラム | |
JP6788294B2 (ja) | 表示制御装置及びプログラム | |
JP6788295B2 (ja) | 表示制御装置及びプログラム | |
JP7005160B2 (ja) | 電子機器及びその制御方法 | |
JP6582302B2 (ja) | 表示制御装置及びプログラム | |
KR20160149066A (ko) | 이동단말기 및 그 제어방법 | |
WO2012090920A1 (ja) | コンテンツ表示装置、コンテンツ表示方法、および、記録媒体 | |
JP2018195172A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JPWO2013042530A1 (ja) | 表示装置、表示制御方法およびプログラム | |
JP6275809B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2018147309A (ja) | 表示制御装置、及びプログラム | |
KR102295245B1 (ko) | 단말기 및 그를 이용한 이벤트 진행 제어 방법 | |
US20230333645A1 (en) | Method and device for processing user input for multiple devices | |
JP2018120331A (ja) | プログラム及び表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191126 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191129 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6788295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |