JP2020074065A - Program and image display system - Google Patents
Program and image display system Download PDFInfo
- Publication number
- JP2020074065A JP2020074065A JP2019163708A JP2019163708A JP2020074065A JP 2020074065 A JP2020074065 A JP 2020074065A JP 2019163708 A JP2019163708 A JP 2019163708A JP 2019163708 A JP2019163708 A JP 2019163708A JP 2020074065 A JP2020074065 A JP 2020074065A
- Authority
- JP
- Japan
- Prior art keywords
- display
- character
- control unit
- mounted display
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、仮想空間を撮像した画像を表示するための技術に関する。 The present invention relates to a technique for displaying an image obtained by capturing a virtual space.
仮想空間内に設置された仮想的なカメラ（以下「仮想カメラ」という）により撮像された画像を表示装置に表示させる技術が従来から提案されている。例えば特許文献１には、ヘッドマウントディスプレイの傾きに応じて仮想空間内にメニュー画像を表示する構成が開示されている。 2. Description of the Related Art Conventionally, a technique has been proposed in which an image captured by a virtual camera (hereinafter referred to as “virtual camera”) installed in a virtual space is displayed on a display device. For example, Patent Document 1 discloses a configuration in which a menu image is displayed in a virtual space according to the tilt of the head mounted display.
仮想空間内のキャラクタ等のオブジェクトとの間でコミュニケーションするゲーム等のコンテンツが従来から提案されている。この種のコンテンツをヘッドマウントディスプレイにより表示する場面では、利用者による操作が制限されるという問題がある。ヘッドマウントディスプレイとは別個の操作機器を用意すれば、利用者による操作の制限は緩和されるが、装置構成が複雑化するという問題がある。以上の事情を考慮して、本発明は、仮想空間内のオブジェクトに対する操作を簡便に実現することを目的とする。 Content such as games for communicating with objects such as characters in a virtual space has been conventionally proposed. When displaying this kind of content on a head mounted display, there is a problem that the operation by the user is limited. If an operating device separate from the head mounted display is prepared, the restriction on the operation by the user is eased, but there is a problem that the device configuration becomes complicated. In consideration of the above circumstances, an object of the present invention is to easily realize an operation on an object in a virtual space.
以上の課題を解決するために、本発明の好適な態様に係るプログラムは、ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部、および、前記ヘッドマウントディスプレイのロール方向の回転と、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係と、に応じて当該オブジェクトの動作を制御する動作制御部としてコンピュータを機能させる。 In order to solve the above problems, a program according to a preferred aspect of the present invention is an image obtained by capturing an image of a virtual space with a virtual camera whose direction is controlled according to the direction of a head mounted display. A display control unit for displaying a used stereoscopic image on a display device of the head mounted display, rotation of the head mounted display in a roll direction, and a direction in the virtual space changes according to the direction of the head mounted display. The computer is caused to function as a motion control unit that controls the motion of the object according to the positional relationship between the reference line and the object in the virtual space.
本発明の好適な態様に係る画像表示システムは、ヘッドマウントディスプレイと情報処理装置とを具備する画像表示システムであって、前記情報処理装置は、ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部と、前記ヘッドマウントディスプレイのロール方向の回転と、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係と、に応じて当該オブジェクトの動作を制御する動作制御部とを具備する。 An image display system according to a preferred aspect of the present invention is an image display system including a head mounted display and an information processing apparatus, and the information processing apparatus is controlled in direction according to the direction of the head mounted display. An image obtained by capturing a virtual space with a virtual camera, a stereoscopic image using binocular parallax, a display control unit for displaying on the display device of the head mounted display, rotation of the head mounted display in the roll direction, The operation control unit controls an operation of the object according to a positional relationship between a reference line whose direction in the virtual space changes according to the direction of the head mounted display and an object in the virtual space.
［Ａ：第１実施形態］
図１は、本発明の第１実施形態に係る画像表示システム１Aの外観を例示する斜視図である。画像表示システム１Aは、画像を表示するための映像機器であり、端末装置１０と装着具２０とを具備する。端末装置１０は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末である。端末装置１０は、装着具２０に対して着脱可能に設置される。装着具２０は、端末装置１０を利用者Ｕの頭部に装着するための器具である。例えば、図１の例示の通り、利用者Ｕの頭部に巻回されるベルトを具備するゴーグル型のアタッチメントが装着具２０として好適である。
[A: First Embodiment]
FIG. 1 is a perspective view illustrating the appearance of an
図２は、端末装置１０の構成を例示するブロック図である。図２に例示される通り、端末装置１０は、制御装置１１と記憶装置１２と表示装置１３と検出装置１４とを具備するコンピュータシステムである。制御装置１１は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、画像表示システム１Aの各要素を統括的に制御する。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば、磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せにより、記憶装置１２が構成される。
FIG. 2 is a block diagram illustrating the configuration of the
表示装置１３は、制御装置１１による制御のもとで画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）表示パネル等の平面型の表示器が表示装置１３として利用される。図１から理解される通り、利用者Ｕの頭部に装着具２０が装着された状態では、利用者Ｕの頭部に表示面が対向した状態で利用者Ｕの両眼の前方に表示装置１３が配置される。第１実施形態の表示装置１３は、利用者Ｕが立体感を知覚可能な立体視画像を表示する。立体視画像は、両眼視差が付与された右眼用画像と左眼用画像とで構成される。右眼用画像を利用者Ｕの右眼に視認させ、左眼用画像を利用者Ｕの左眼に視認させることで、利用者Ｕは立体感を知覚する。
The
図２に例示される通り、表示装置１３と検出装置１４と装着具２０とはヘッドマウントディスプレイ（以下「ＨＭＤ」という）３０を構成し、制御装置１１と記憶装置１２とは、ＨＭＤ３０に画像を表示させる情報処理装置４０を構成する。すなわち、画像表示システム１Aは、ＨＭＤ３０と情報処理装置４０とを具備する。前述の通り、第１実施形態では、情報処理装置４０と表示装置１３と検出装置１４とが単体の端末装置１０により実現される。なお、情報処理装置４０をＨＭＤ３０の要素として把握してもよい。
As illustrated in FIG. 2, the
図２の検出装置１４は、ＨＭＤ３０の姿勢に応じた検出信号を出力するセンサである。具体的には、検出装置１４は、角速度を検知するジャイロセンサ、加速度を検知する加速度センサ、傾斜角を検知する傾斜センサ、および、地磁気により方向を検知する地磁気センサ等の複数種のセンサから選択された１種類以上のセンサで構成される。検出装置１４から出力される検出信号の解析により、ＨＭＤ３０の姿勢または姿勢の変化を特定することが可能である。検出装置１４は、表示装置１３または端末装置１０の姿勢に応じた検出信号を出力するセンサとも換言される。なお、検出信号を増幅する増幅器、および検出信号をアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。
The
図１に例示される通り、ＨＭＤ３０の姿勢は、原点Ｏにおいて相互に直交する３軸（Ｘ軸，Ｙ軸，Ｚ軸）で規定される。Ｘ軸は、表示装置１３の表示面に垂直な軸線であり、利用者Ｕの前後方向に相当する。Ｙ軸およびＺ軸は、表示装置１３の表示面に平行な軸線である。Ｙ軸は、利用者Ｕの左右方向に相当し、Ｚ軸は、利用者Ｕの上下方向に相当する。表示装置１３の表示面に着目すると、Ｘ軸は表示面の奥行き方向に相当し、Ｙ軸は表示面の横方向に相当し、Ｚ方向は表示面の縦方向に相当する。Ｘ軸を中心とした円周の方向はロール方向であり、Ｙ軸を中心とした円周の方向はピッチ方向であり、Ｚ軸を中心とした円周の方向はヨー方向である。Ｘ軸の方向は、ピッチ方向の角度とヨー方向の角度とにより確定する。ロール方向の回転は、利用者Ｕが前方を向いた状態で頭部を左右に傾斜させる動作に相当する。すなわち、例えば利用者Ｕが首をかしげた場合にＨＭＤ３０はロール方向に回転する。以下の説明では、図１に例示される通り、ロール方向における一方側を「第１側」と表記し、他方側を「第２側」と表記する。Ｘ軸を中心とした時計回りおよび反時計回りの一方が第１側であり、他方が第２側である。
As illustrated in FIG. 1, the posture of the
図２の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、図３に例示される通り、姿勢解析部４１、表示制御部４２Aおよび動作制御部４３Aとして機能する。なお、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
By executing the program stored in the
姿勢解析部４１は、検出装置１４が出力する検出信号を解析することでＨＭＤ３０の姿勢を特定する。具体的には、姿勢解析部４１は、ＨＭＤ３０の姿勢に関する姿勢データを所定の周期で順次に生成する。姿勢データは、ＨＭＤ３０の姿勢または姿勢の変化を表すデータである。
The
表示制御部４２Aは、仮想空間Ｖ内の仮想カメラＥにより撮像した画像を表示装置１３に表示させる。図４は、仮想空間Ｖの説明図である。図４に例示される通り、仮想カメラＥは、仮想空間Ｖ内に設置され、仮想空間Ｖにおける特定の範囲（以下「撮像範囲」という）Ｒを撮像する。撮像範囲Ｒは、仮想カメラＥの光軸に対して縦方向および横方向における所定の角度にわたる範囲である。仮想カメラＥの光軸は、仮想空間Ｖ内における利用者Ｕの仮想的な視線に相当する。第１実施形態の表示制御部４２Aは、両眼視差を利用した立体視画像（右眼用画像および左眼用画像）を表示装置１３に表示させる。したがって、仮想カメラＥは、左眼用画像を撮像する第１仮想カメラと右眼用画像を撮像する第２仮想カメラとを含んで構成される。仮想カメラＥが撮像した立体視画像を表す画像データが表示制御部４２Aから表示装置１３に順次に供給されることで、表示装置１３には立体視画像が表示される。
The
表示制御部４２Aは、仮想空間Ｖ内における仮想カメラＥの方向を、姿勢解析部４１が特定したＨＭＤ３０の方向に応じて制御する。具体的には、原点Ｏを中心としたＸ軸の回転に連動して仮想カメラＥの光軸の方向（さらには撮像範囲Ｒ）が変化する。例えば、ＨＭＤ３０がヨー方向に回転した場合には、仮想カメラＥの光軸が原点Ｏを中心として左右に回転し、ＨＭＤ３０がピッチ方向に回転した場合には、仮想カメラＥの光軸が原点Ｏを中心として上下に回転する。第１実施形態では、ＨＭＤ３０がロール方向に回転した場合でも仮想カメラＥの姿勢（光軸を中心とした角度）は変化しない。ただし、ＨＭＤ３０のロール方向の回転に応じて、光軸を中心とした仮想カメラＥの傾きを変化させてもよい。
The
図４に例示される通り、仮想カメラＥが設置された仮想空間Ｖ内にはキャラクタＣが配置される。第１実施形態のキャラクタＣは、仮想空間Ｖ内で活動する仮想的な生物（例えば人間、動物またはモンスター）を表すオブジェクトであり、頭部と胴体部とを含んで構成される。仮想空間Ｖ内でキャラクタＣに対して随時に接触（スキンシップ）しながら当該キャラクタＣと交流するゲームが画像表示システム１Aにより利用者Ｕに提供される。
As illustrated in FIG. 4, the character C is arranged in the virtual space V in which the virtual camera E is installed. The character C of the first embodiment is an object that represents a virtual creature (for example, a human being, an animal, or a monster) that is active in the virtual space V, and is configured to include a head and a body. The
仮想空間Ｖ内には基準線Ｑが設定される。基準線Ｑは、ＨＭＤ３０の方向（Ｘ軸の方向）に応じて仮想空間Ｖ内における方向が変化する直線である。第１実施形態では、図４に例示される通り、仮想カメラＥの光軸を基準線Ｑとして例示する。例えば、利用者Ｕが頭部を右側に向ければ基準線Ｑは右側に回転し、利用者Ｕが頭部を左側に向ければ基準線Ｑは左側に回転する。以上の説明から理解される通り、基準線Ｑは、仮想空間Ｖ内における利用者Ｕの仮想的な視線である。 A reference line Q is set in the virtual space V. The reference line Q is a straight line whose direction in the virtual space V changes according to the direction of the HMD 30 (direction of the X axis). In the first embodiment, as illustrated in FIG. 4, the optical axis of the virtual camera E is illustrated as the reference line Q. For example, when the user U turns his head to the right, the reference line Q rotates to the right, and when the user U turns his head to the left, the reference line Q rotates to the left. As can be understood from the above description, the reference line Q is a virtual line of sight of the user U in the virtual space V.
図５は、表示装置１３に表示される画像の模式図である。図５に例示される通り、表示制御部４２Aは、仮想空間Ｖ内で仮想カメラＥが撮像した立体視画像を表示装置１３に表示させる。撮像範囲Ｒ内にキャラクタＣが位置する場合には当該キャラクタＣが表示装置１３に表示される。また、表示制御部４２Aは、基準線Ｑの方向を表す画像（以下「指示画像」という）Ｇを表示装置１３に表示させる。指示画像Ｇは、仮想空間Ｖ内において基準線Ｑの線上の所定の位置に配置される。第１実施形態における基準線Ｑは仮想カメラＥの光軸であるから、表示装置１３の表示面内における所定の位置に指示画像Ｇは表示される。
FIG. 5 is a schematic diagram of an image displayed on the
図３の動作制御部４３Aは、仮想空間Ｖ内におけるキャラクタＣの動作を制御する。動作制御部４３Aは、ゲームの進行に応じてキャラクタＣの動作を制御するほか、仮想空間Ｖ内における利用者Ｕの接触に対応した動作（以下「反応動作」という）をキャラクタＣに実行させる。具体的には、動作制御部４３Aは、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触したか否かを判定し、利用者Ｕによる接触に対する反応動作をキャラクタＣに実行させる。例えば、姿勢の変化、表情の変化、または特定の台詞の発音等の各種の動作が、反応動作の典型例である。
The
動作制御部４３Aは、姿勢解析部４１が特定したＨＭＤ３０の姿勢の変化に応じて、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触したか否かを判定する。第１実施形態の動作制御部４３Aは、ＨＭＤ３０がロール方向に回転した場合に、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触したと判定する。すなわち、ＨＭＤ３０のロール方向の回転は、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触するための指示（動作指示）に相当する。具体的には、動作制御部４３Aは、ＨＭＤ３０がロール方向に回転した場合に、基準線ＱとキャラクタＣの表面とが交差する地点（以下「接触地点」という）Ｐに利用者Ｕが接触したと判定する。接触地点ＰはキャラクタＣの表面上に位置する。なお、基準線Ｑが複数の地点でキャラクタＣの表面に交差する場合、複数の地点のうち仮想カメラＥ（すなわち利用者Ｕ）に最も近い地点が接触地点Ｐとして選択される。
The
以上に説明した通り、第１実施形態では、ＨＭＤ３０のロール方向の回転に応じて仮想空間Ｖ内のキャラクタＣの動作が制御される。したがって、キャラクタＣの動作を制御するための指示を利用者Ｕが入力する操作装置をＨＭＤ３０とは別個に用意することを必要とせずに、利用者Ｕからの指示をキャラクタＣの動作に反映させることができる。第１実施形態では特に、基準線ＱとキャラクタＣとが交差する関係にある場合に利用者ＵがキャラクタＣに接触したと判定されるから、利用者ＵはキャラクタＣを視界内に捉えながら当該キャラクタＣを操作することが可能である。すなわち、利用者ＵがキャラクタＣをより直観的に操作できるという利点がある。
As described above, in the first embodiment, the motion of the character C in the virtual space V is controlled according to the rotation of the
図６は、動作制御部４３Aが実行する処理（以下「第１制御処理」という）の具体的な内容を例示するフローチャートである。動作制御部４３Aは、図６の第１制御処理を所定の周期で反復的に実行する。記憶装置１２には、仮想空間Ｖ内において利用者ＵがキャラクタＣに接触した状態（以下「接触状態」という）にあるか否かを表す接触判定データが記憶される。接触判定データは、例えば接触状態および非接触状態の何れかを示すフラグである。
FIG. 6 is a flowchart exemplifying the specific contents of the processing executed by the
第１制御処理を開始すると、動作制御部４３Aは、接触判定データが接触状態を示すか否かを判定する（Ｓa1）。接触判定データが非接触状態を示す場合（Ｓa1：NO）、動作制御部４３Aは、ＨＭＤ３０がロール方向に回転したか否かを判定する（Ｓa2）。具体的には、動作制御部４３Aは、姿勢解析部４１から順次に供給される姿勢データを参照することで、ＨＭＤ３０がロール方向の第１側（例えば時計回り）に回転したか否かを判定する。
When the first control process is started, the
図７は、ＨＭＤ３０がロール方向に回転したか否かを判定する処理の説明図である。図７に例示される通り、動作制御部４３Aは、ＨＭＤ３０がロール方向の第１側に回転した角度θが閾値θtを上回る場合に、ＨＭＤ３０がロール方向に回転したと判定する。角度θは、Ｘ軸を中心としてＺ軸またはＹ軸が回転した角度であり、例えば鉛直方向を基準（θ＝０）として規定される。他方、ＨＭＤ３０の回転角度θが閾値θtを下回る場合、動作制御部４３Aは、ＨＭＤ３０がロール方向に回転したと判定しない。以上に説明した通り、第１実施形態では、閾値θtを下回る程度の回転ではＨＭＤ３０はロール方向に回転したと判定されない。したがって、ＨＭＤ３０が回転したと過剰な頻度で判定される可能性を低減できる。また、利用者ＵがＨＭＤ３０の回転を意図していないにも関わらずＨＭＤ３０が回転したと判定される可能性（すなわち誤操作の可能性）を低減できるという利点もある。
FIG. 7 is an explanatory diagram of a process of determining whether the
なお、ＨＭＤ３０にロール方向の回転のみが単独で発生した場合だけでなく、ロール方向の回転とともにピッチ方向またはヨー方向の回転が発生した場合でも、ロール方向における回転の角度が閾値θtを上回る場合には、ＨＭＤ３０がロール方向に回転したと判定される。
It should be noted that not only when the rotation in the roll direction alone occurs in the
図６の第１制御処理において、ＨＭＤ３０がロール方向の第１側に回転したと判定すると（Ｓa2：YES）、動作制御部４３Aは、基準線Ｑが仮想空間Ｖ内のキャラクタＣに交差するか否かを判定する（Ｓa3）。すなわち、基準線Ｑの線上にキャラクタＣが存在するか否かが判定される。図８の例示の通り、基準線Ｑが仮想空間Ｖ内のキャラクタＣに交差する場合（Ｓa3：YES）、動作制御部４３Aは、利用者ＵがキャラクタＣの接触地点Ｐに接触した接触状態にあると判定する（Ｓa4）。具体的には、接触状態を示す数値に接触判定データを変更する。以上の説明から理解される通り、動作制御部４３Aは、ＨＭＤ３０がロール方向に回転した場合に、利用者Ｕが仮想空間Ｖ内でキャラクタＣの接触地点Ｐに接触したと判定する。すなわち、利用者Ｕは、ＨＭＤ３０をロール方向に回転させることで、キャラクタＣの接触地点Ｐに対する接触を指示することが可能である。
In the first control process of FIG. 6, if it is determined that the
接触状態に遷移した場合、動作制御部４３Aは、反応動作をキャラクタＣに実行させる（Ｓa5）。具体的には、動作制御部４３Aは、キャラクタＣのうち基準線Ｑが交差する接触地点Ｐの位置に応じた反応動作をキャラクタＣに実行させる。すなわち、キャラクタＣが実行する反応動作は、接触地点Ｐの位置に応じて変化する。例えば、キャラクタＣの表面を区分した複数の領域の各々について反応動作の種類を規定するテーブルが記憶装置１２に記憶される。動作制御部４３Aは、キャラクタＣの表面の複数の領域のうち、接触地点Ｐを含む領域についてテーブルに規定された反応動作をキャラクタＣに実行させる。例えば、動作制御部４３Aは、接触地点ＰがキャラクタＣの頭部に位置する場合には、利用者Ｕによる接触を受容する反応動作（例えば喜ぶ、笑うまたは近付く等の好意的な動作）をキャラクタＣに実行させる。他方、動作制御部４３Aは、接触地点ＰがキャラクタＣの胴体部に位置する場合には、利用者Ｕによる接触を拒否する反応動作（例えば怒る、悲しむまたは遠離る等の否定的な動作）をキャラクタＣに実行させる。以上の構成によれば、接触地点Ｐの位置に応じてキャラクタＣの反応動作を多様に変化させることが可能である。
When transitioning to the contact state, the
他方、ＨＭＤ３０がロール方向の第１側に回転しない場合（Ｓa2：NO）、または、基準線ＱがキャラクタＣに交差しない場合（Ｓa3：NO）、動作制御部４３Aは、非接触状態を示す数値に接触判定データを維持する。すなわち、ＨＭＤ３０がロール方向の第１側に回転した場合でも、図５の例示のように基準線ＱがキャラクタＣに交差しないときには、利用者ＵがキャラクタＣに接触していないと判定される。
On the other hand, when the
仮想空間Ｖ内で利用者ＵがキャラクタＣに接触した場合、以降における第１制御処理のステップＳa1では、接触判定データが接触状態を示すと判定される。接触判定データが接触状態を示す場合（Ｓa1：YES）、動作制御部４３Aは、姿勢解析部４１から順次に供給される姿勢データを参照することで、ＨＭＤ３０がロール方向の第２側（例えば反時計回り）に回転したか否かを判定する。具体的には、動作制御部４３Aは、ロール方向の第２側に対する回転角度θが所定の閾値θtを上回る場合に、ＨＭＤ３０がロール方向の第２側に回転したと判定する。ＨＭＤ３０がロール方向の第２側に回転した場合（Ｓa6：YES）、動作制御部４３Aは、キャラクタＣに対する接触が解除されたと判定する（Ｓa7）。具体的には、動作制御部４３Aは、非接触状態を示す数値に接触判定データを変更する。他方、ＨＭＤ３０がロール方向の第２側に回転しない場合（Ｓa6：NO）、動作制御部４３Aは、接触状態を示す数値に接触判定データを維持する。
When the user U contacts the character C in the virtual space V, it is determined that the contact determination data indicates the contact state in step Sa1 of the first control process thereafter. When the contact determination data indicates the contact state (Sa1: YES), the
なお、キャラクタＣに対する接触が解除された場合に、動作制御部４３Aが、接触の解除に反応する動作をキャラクタＣに実行させる構成が好適であるが、接触の解除に反応する動作をキャラクタＣに実行させない構成も想定される。
It is preferable that the
以上の説明から理解される通り、動作制御部４３Aは、ＨＭＤ３０がロール方向の第１側に回転した場合（Ｓa2：YES）に利用者ＵがキャラクタＣに接触したと判定する（Ｓa4）。他方、利用者ＵがキャラクタＣに接触した状態（Ｓa1：YES）において、ＨＭＤ３０がロール方向の第２側に回転した場合（Ｓa6：YES）に、キャラクタＣに対する接触が解除されたと判定する。以上の構成によれば、利用者Ｕは、ロール方向におけるＨＭＤ３０の回転の向きに応じて、仮想空間Ｖ内のキャラクタＣに対する接触の発生と解除とを指示することができる。ロール方向において相互に逆向きの回転が、キャラクタＣに対する接触の発生および解除という反対の動作に対応するから、キャラクタＣに対する接触の発生および解除を利用者Ｕが直観的に把握し易いという利点もある。
As understood from the above description, the
第１実施形態においては、例えば以下に例示する構成を採用してもよい。 In the first embodiment, for example, the configuration exemplified below may be adopted.
［変形例Ａ1］
変形例Ａ1における動作制御部４３Aは、仮想空間Ｖ内においてキャラクタＣに対する接触が維持される時間長に応じた反応動作をキャラクタＣに実行させる。具体的には、動作制御部４３Aは、接触状態が継続する期間（以下「接触期間」という）内において反応動作を経時的に変化させる。接触期間は、ＨＭＤ３０がロール方向の第１側に回転してから第２側に回転するまでの期間である。なお、接触判定データが接触状態を示す数値に設定されてから、非接触状態を示す数値に変更されるまでの期間を接触期間としてもよい。動作制御部４３Aは、接触期間の始点から終点にかけてキャラクタＣの反応動作を経時的に変化させる。したがって、接触期間の時間長に応じてキャラクタＣの反応動作は変化する。以上の構成によれば、利用者ＵがキャラクタＣに接触する時間長に応じてキャラクタＣの反応動作を多様に変化させることができる。
[Modification A1]
The
［変形例Ａ2］
変形例Ａ2における記憶装置１２には、キャラクタＣに関するパラメータが記憶される。具体的には、利用者Ｕに対するキャラクタＣの好感度がパラメータとして記憶装置１２に記憶される。好感度は、キャラクタＣから利用者Ｕに対する好意的な感情の度合を示すパラメータである。動作制御部４３Aは、ゲームの進行に応じて好感度を変化させるほか、キャラクタＣから利用者Ｕに対する好感度を当該キャラクタＣに対する接触に応じて変化させる。具体的には、利用者ＵがキャラクタＣに接触する度合（例えば回数または時間）が大きいほど、当該利用者Ｕに対するキャラクタＣからの好感度は大きい数値に設定される。なお、以上の例示では、利用者Ｕに対するキャラクタＣの好感度として説明したが、記憶装置１２に記憶される好感度は、利用者Ｕが使用するキャラクタ（プレイヤキャラクタ）に対するキャラクタＣからの好感度でもよい。利用者Ｕは仮想空間Ｖ内に複数のプレイヤキャラクタを所持し得る。
[Modification A2]
The
また、動作制御部４３Aは、キャラクタＣについて記憶された好感度に応じて反応動作を変化させる。すなわち、利用者ＵがキャラクタＣに接触した場合（Ｓa2：YES，Ｓa3：YES）にキャラクタＣが実行（Ｓa4）する反応動作の種類が、当該キャラクタＣの好感度に応じて変化する。例えば、キャラクタＣとの接触の回数または時間が不足していて好感度が低い状態では、利用者Ｕが頭部に接触するとキャラクタＣは当該接触を拒否する反応動作を実行する。他方、キャラクタＣとの接触の回数または時間が充分に確保されて好感度が高い状態では、利用者Ｕが頭部に接触するとキャラクタＣは当該接触を受容する反応動作を実行する。以上の構成によれば、キャラクタＣに関するパラメータに応じてキャラクタＣの反応動作を多様に変化させることができる。
Further, the
なお、キャラクタＣの反応動作に影響するパラメータは、以上に例示した好感度に限定されない。例えば、キャラクタＣの成長度（レベル）、または、利用者ＵとキャラクタＣとの間の親密度等の各種のパラメータが、利用者ＵによるキャラクタＣの接触に応じて変化し、当該パラメータに応じてキャラクタＣの反応動作が制御される。 It should be noted that the parameters that influence the reaction motion of the character C are not limited to the positivity illustrated above. For example, various parameters such as the degree of growth (level) of the character C, or the degree of intimacy between the user U and the character C change according to the contact of the character C by the user U, and depending on the parameter. Thus, the reaction motion of the character C is controlled.
［変形例Ａ3］
変形例Ａ3における動作制御部４３Aは、ＨＭＤ３０がロール方向に回転した角度θに応じた反応動作をキャラクタＣに実行させる。例えば、ＨＭＤ３０の回転角度θは、仮想空間Ｖ内において利用者ＵがキャラクタＣに接触する仮想的な圧力に相当する。例えば、回転角度θが小さい場合には、利用者ＵがキャラクタＣに対して軽く接触している状態を意味し、回転角度θが大きい場合には、利用者ＵがキャラクタＣを強く押圧している状態を意味する。動作制御部４３Aは、例えば回転角度θが小さい場合には、利用者Ｕによる接触を受容する反応動作をキャラクタＣに実行させ、回転角度θが大きい場合には、利用者Ｕによる接触を拒否する反応動作をキャラクタＣに実行させる。以上の構成によれば、ＨＭＤ３０の回転角度θ（すなわち利用者ＵがキャラクタＣに接触する仮想的な圧力）に応じてキャラクタＣの反応動作を多様に変化させることができる。
[Modification A3]
The
［変形例Ａ4］
変形例Ａ4における表示制御部４２Aは、ＨＭＤ３０のロール方向における回転に応じて仮想カメラＥ（すなわち仮想空間Ｖ内における仮想的な視点）を仮想空間Ｖ内で移動させる。具体的には、表示制御部４２Aは、仮想空間Ｖ内における仮想カメラＥとキャラクタＣとの位置関係をＨＭＤ３０の回転に連動して変化させる。例えば、仮想カメラＥとキャラクタＣとの距離がＨＭＤ３０の回転角度θに応じて制御される。すなわち、ＨＭＤ３０のロール方向における回転に連動して仮想カメラＥがオブジェクトの方向に移動する。
[Modification A4]
The
例えば、ＨＭＤ３０がロール方向の第１側に回転した場合、表示制御部４２Aは、図９に矢印ａ1で示す通り、ＨＭＤ３０の回転角度θ（θ＞０）に応じた移動量だけ仮想カメラＥを仮想空間Ｖ内でキャラクタＣに接近させる。他方、ＨＭＤ３０がロール方向の第２側に回転した場合、表示制御部４２Aは、図９に矢印ａ2で示す通り、ＨＭＤ３０の回転角度θ（θ＜０）に応じた移動量だけ仮想カメラＥを仮想空間Ｖ内でキャラクタＣから離間させる。以上の構成によれば、ＨＭＤ３０をロール方向に回転させる簡便な操作により、利用者Ｕは、仮想空間Ｖにおいて仮想カメラＥを移動させることができる。
For example, when the
［変形例Ａ5］
変形例Ａ5における表示制御部４２Aは、ＨＭＤ３０のロール方向における回転に応じて仮想カメラＥによる撮像範囲Ｒ（すなわち仮想カメラＥの画角）を変化させる。すなわち、仮想空間Ｖ内において表示装置１３に表示される範囲がＨＭＤ３０のロール方向の回転に応じて変化する。例えば、ＨＭＤ３０がロール方向の第１側に回転した場合、表示制御部４２Aは、図１０に矢印ｂ1で示す通り、ＨＭＤ３０の回転角度θに応じた比率で撮像範囲Ｒを縮小する。したがって、例えば仮想空間Ｖ内のキャラクタＣがズームイン（拡大）される。他方、ＨＭＤ３０がロール方向の第２側に回転した場合、表示制御部４２Aは、図１０に矢印ｂ2で示す通り、ＨＭＤ３０の回転角度θに応じた比率で撮像範囲Ｒを拡大する。したがって、例えば仮想空間Ｖ内のキャラクタＣがズームアウト（縮小）される。以上の構成によれば、ＨＭＤ３０をロール方向に回転させる簡便な操作により、利用者Ｕは、仮想空間Ｖ内における仮想カメラＥの撮像範囲Ｒを変化させることができる。
[Modification A5]
The
［変形例Ａ6］
第１実施形態では、ＨＭＤ３０がロール方向の第２側に回転した場合（Ｓa6：YES）にキャラクタＣに対する接触が解除されたと判定したが、キャラクタＣに対する接触が解除されたと判定するための条件は以上の例示に限定されない。例えば、動作制御部４３Aは、ＨＭＤ３０がロール方向に回転した状態（Ｓa2：YES）から元に戻った場合に、キャラクタＣに対する接触が解除されたと判定してもよい。具体的には、動作制御部４３Aは、図６のステップＳa6において、ＨＭＤ３０の回転角度θが、キャラクタＣに対する接触のための回転が開始された時点における初期的な角度（例えばθ＝０）に変化した場合に、キャラクタＣに対する接触が解除されたと判定する（Ｓa7）。他方、ステップＳa2では、動作制御部４３Aは、ＨＭＤ３０の回転の方向（第１側／第２側）に関わらず、回転角度θが変化した場合に、利用者ＵがキャラクタＣに接触したと判定する。以上の説明から理解される通り、ＨＭＤ３０の回転角度θを監視することで、ＨＭＤ３０の回転の方向（第１側／第２側）までは判別しなくても、キャラクタＣに対する接触の発生と解除とを判定できる。すなわち、キャラクタＣに対する接触の判定において、動作制御部４３Aが、ＨＭＤ３０の回転の方向を判別する必要は必ずしもない。
[Modification A6]
In the first embodiment, when the
［変形例Ａ7］
第１実施形態では、基準線Ｑが仮想空間Ｖ内のキャラクタＣに交差する場合（Ｓa3：YES）に、利用者Ｕによる接触に対する反応動作をキャラクタＣに実行させたが、基準線ＱとキャラクタＣとの間の位置関係に関する条件は以上の例示に限定されない。例えば、基準線ＱとキャラクタＣとの距離が所定の閾値を下回ることを条件として、反応動作をキャラクタＣに実行させてもよい。基準線ＱとキャラクタＣとの距離が所定の閾値を下回る場合には、基準線ＱがキャラクタＣに交差する場合のほか、閾値を下回る範囲で基準線ＱがキャラクタＣから離間した場合も含まれる。また、基準線ＱがキャラクタＣの特定の部位に交差することを条件として、反応動作をキャラクタＣに実行させてもよい。基準線ＱがキャラクタＣの特定の部位以外に交差する場合、動作制御部４３Aは、反応動作をキャラクタＣに実行させない。以上の説明から理解される通り、第１実施形態の動作制御部４３Aは、基準線ＱとキャラクタＣとの位置関係（例えば基準線ＱとキャラクタＣとが交差する関係）に応じてキャラクタＣの動作を制御する要素として包括的に表現される。
[Modification A7]
In the first embodiment, when the reference line Q intersects the character C in the virtual space V (Sa3: YES), the character C is caused to perform a reaction action to the contact by the user U. The conditions regarding the positional relationship with C are not limited to the above examples. For example, the reaction action may be performed by the character C on condition that the distance between the reference line Q and the character C is less than a predetermined threshold value. When the distance between the reference line Q and the character C is less than a predetermined threshold value, in addition to the case where the reference line Q intersects the character C, the case where the reference line Q is separated from the character C within the range below the threshold value is included. .. Further, the reaction action may be executed by the character C on condition that the reference line Q intersects a specific part of the character C. When the reference line Q intersects with a part other than the specific part of the character C, the
［Ｂ：第２実施形態］
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
[B: Second Embodiment]
A second embodiment of the present invention will be described. Note that, in each of the following examples, the elements having the same functions as those in the first embodiment have the same reference numerals used in the description of the first embodiment, and the detailed description thereof will be appropriately omitted.
第２実施形態における画像表示システムは、図１および図２に例示した第１実施形態と同様の構成である。すなわち、第２実施形態のＨＭＤ３０は、端末装置１０の表示装置１３および検出装置１４と装着具２０とを具備し、情報処理装置４０は、端末装置１０の制御装置１１と記憶装置１２とを具備する。
The image display system in the second embodiment has the same configuration as that of the first embodiment illustrated in FIGS. 1 and 2. That is, the
図１１は、第２実施形態の端末装置１０における機能的な構成を例示するブロック図である。図１１に例示される通り、第２実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、姿勢解析部４１、表示制御部４２Bおよび動作制御部４３Bとして機能する。なお、制御装置１１の一部または全部を専用の電子回路で実現してもよい。姿勢解析部４１は、第１実施形態と同様に、検出装置１４が出力する検出信号を解析することで、ＨＭＤ３０の姿勢に関する姿勢データを順次に生成する。
FIG. 11 is a block diagram illustrating a functional configuration of the
表示制御部４２Bは、第１実施形態の表示制御部４２Aと同様に、仮想空間Ｖのうち仮想カメラＥによる撮像範囲Ｒ内の画像と、基準線Ｑの方向を表す指示画像Ｇとを表示装置１３に表示させる。第１実施形態について前述した通り、基準線Ｑは、ＨＭＤ３０の方向に応じて仮想空間Ｖ内における方向が変化する仮想的な直線である。
Similar to the
第２実施形態の表示制御部４２Bは、基準線Ｑと仮想空間Ｖ内のキャラクタＣ（オブジェクトの例示）との位置関係に応じて指示画像Ｇの表示態様を変化させる。具体的には、表示制御部４２Bは、基準線ＱがキャラクタＣに交差する場合と基準線ＱがキャラクタＣに交差しない場合とで指示画像Ｇの表示態様を相違させる。表示態様とは、利用者Ｕが視覚的に弁別可能な画像の性状を意味する。例えば、色の３属性である色相（色調）、彩度および明度（階調）のほか、サイズおよび画像内容（例えば模様または形状）も、表示態様の概念に包含される。
The
基準線ＱがキャラクタＣに交差しない場合、表示制御部４２Bは、図１２に例示される通り、画像Ｇ1を指示画像Ｇとして表示装置１３に表示させる。画像Ｇ1は、仮想空間Ｖ内に配置された円状または点状のオブジェクトであり、仮想空間Ｖ内において基準線Ｑの線上に配置される。他方、基準線ＱがキャラクタＣに交差する場合、表示制御部４２Bは、図１３に例示される通り、画像Ｇ1とは相違する画像Ｇ2を指示画像Ｇとして表示装置１３に表示させる。画像Ｇ2は、利用者Ｕの手を模式的に表す平面状のオブジェクトである。表示制御部４２Bは、図１４に例示される通り、仮想空間Ｖ内におけるキャラクタＣの表面のうち基準線Ｑと交差する地点（すなわち接触地点Ｐ）に画像Ｇ2を配置する。すなわち、画像Ｇ2は、仮想空間Ｖ内においてキャラクタＣの表面上の接触地点Ｐに接触する。接触地点Ｐは、キャラクタＣの表面において画像Ｇ2が接触する地点とも換言される。
When the reference line Q does not intersect with the character C, the
なお、以上の説明では、画像Ｇ1と画像Ｇ2との間の切替を例示したが、指示画像Ｇの表示態様の変化には、表示／非表示の切替も含まれる。すなわち、表示制御部４２Bは、基準線ＱがキャラクタＣに交差する場合に画像Ｇ2を指示画像Ｇとして表示し、基準線ＱがキャラクタＣに交差しない場合には指示画像Ｇを非表示としてもよい。
In the above description, the switching between the image G1 and the image G2 is illustrated, but the change of the display mode of the instruction image G includes the switching between display / non-display. That is, the
以上の説明から理解される通り、第２実施形態においては、仮想空間Ｖ内における基準線Ｑの方向を表す指示画像Ｇの表示態様が基準線ＱとキャラクタＣとの位置関係に応じて変化する。したがって、仮想空間Ｖ内における基準線ＱとキャラクタＣとの位置関係を利用者Ｕが容易に把握できる。また、仮想空間Ｖ内におけるキャラクタＣの表面に指示画像Ｇ（画像Ｇ2）が配置されるから、仮想空間Ｖ内でキャラクタＣの表面に接触している状態を利用者Ｕが知覚し易いという利点がある。指示画像ＧがキャラクタＣの表面に配置されることで、利用者Ｕが接触地点Ｐを視覚的に的確に把握し易いという利点もある。 As understood from the above description, in the second embodiment, the display mode of the instruction image G indicating the direction of the reference line Q in the virtual space V changes according to the positional relationship between the reference line Q and the character C. .. Therefore, the user U can easily understand the positional relationship between the reference line Q and the character C in the virtual space V. Further, since the instruction image G (image G2) is arranged on the surface of the character C in the virtual space V, the user U can easily perceive the state of being in contact with the surface of the character C in the virtual space V. There is. By arranging the instruction image G on the surface of the character C, there is also an advantage that the user U can easily grasp the contact point P visually and accurately.
図１１の動作制御部４３Bは、第１実施形態の動作制御部４３Aと同様に、仮想空間Ｖ内におけるキャラクタＣの動作を制御する。具体的には、動作制御部４３Bは、仮想空間Ｖ内における利用者Ｕの接触に反応する動作（すなわち反応動作）をキャラクタＣに実行させる。反応動作の典型例は、姿勢の変化、表情の変化、または特定の台詞の発音である。
The
具体的には、動作制御部４３Bは、キャラクタＣのうち基準線Ｑが交差する接触地点Ｐの位置に応じた動作をキャラクタＣに実行させる。例えば、動作制御部４３Bは、接触地点ＰがキャラクタＣの頭部に位置する場合には、利用者Ｕによる接触を受容する反応動作をキャラクタＣに実行させ、接触地点ＰがキャラクタＣの胴体部に位置する場合には、利用者Ｕによる接触を拒否する動作をキャラクタＣに実行させる。以上の構成によれば、接触地点Ｐの位置に応じてキャラクタＣの動作を多様に変化させることが可能である。
Specifically, the
図１５は、第２実施形態の表示制御部４２Bおよび動作制御部４３Bが実行する処理（以下「第２制御処理」という）の具体的な内容を例示するフローチャートである。図１５の第２制御処理は所定の周期で反復的に実行される。
FIG. 15 is a flowchart exemplifying the specific content of the processing (hereinafter, referred to as “second control processing”) executed by the
第２制御処理を開始すると、表示制御部４２Bは、仮想空間Ｖ内において基準線ＱがキャラクタＣに交差するか否かを判定する（Ｓb1）。基準線ＱがキャラクタＣに交差する場合（Ｓb1：YES）、表示制御部４２Bは、基準線ＱとキャラクタＣとが交差する接触地点Ｐに配置された画像Ｇ2を指示画像Ｇとして表示装置１３に表示させる（Ｓb2）。他方、基準線ＱがキャラクタＣに交差しない場合（Ｓb1：NO）、表示制御部４２Bは、基準線Ｑの線上に配置された画像Ｇ1を指示画像Ｇとして表示装置１３に表示させる（Ｓb3）。
When the second control process is started, the
キャラクタＣに重なる画像Ｇ2が表示された状態において、動作制御部４３Bは、キャラクタＣに対する動作の指示（以下「動作指示」という）を、利用者Ｕから受付けたか否かを判定する（Ｓb4）。動作指示は、仮想空間Ｖ内のキャラクタＣに対する作用を発生させるための指示である。第２実施形態の動作指示は、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触することの指示を意味する。
In the state where the image G2 overlapping the character C is displayed, the
第２実施形態の動作制御部４３Bは、ＨＭＤ３０の姿勢に関する特定の変化を、利用者Ｕからの動作指示として受付ける。具体的には、動作制御部４３Bは、ＨＭＤ３０の姿勢の変化が所定の条件（以下「指示判定条件」という）を充足する場合に動作指示を受付けたと判定する。例えば、動作制御部４３Bは、第１実施形態と同様に、ＨＭＤ３０がロール方向に回転した場合に、利用者Ｕから動作指示が付与されたと判定する。すなわち、ＨＭＤ３０のロール方向の回転が指示判定条件である。他方、ＨＭＤ３０の姿勢の変化が指示判定条件を充足しない場合、動作制御部４３Bは、動作指示を受付けていないと判定する。なお、図７を参照して前述した通り、ＨＭＤ３０の回転角度θが閾値θtを上回る場合にＨＭＤ３０が回転したと判定する構成が好適である。
The
利用者Ｕから動作指示を受付けた場合（Ｓb4：YES）、動作制御部４３Bは、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触したと判定し、利用者Ｕによる接触に反応する動作をキャラクタＣに実行させる（Ｓb5）。具体的には、動作制御部４３Bは、前述の通り、キャラクタＣのうち基準線Ｑが交差する接触地点Ｐの位置に応じた動作をキャラクタＣに実行させる。以上の説明から理解される通り、第２実施形態においては、利用者Ｕは、キャラクタＣの所望の位置に交差するように基準線Ｑを移動させた状態で動作指示を付与することにより、仮想空間Ｖ内でキャラクタＣの所望の位置に接触することが可能である。
When the operation instruction is received from the user U (Sb4: YES), the
なお、ＨＭＤ３０の姿勢の変化を動作指示として認識する構成では、表示面に対するタッチ操作等の直接的な操作が不要であるから、利用者Ｕが接触の感覚を実感し難いという問題がある。第２実施形態では、基準線ＱとキャラクタＣとの位置関係（具体的には基準線ＱがキャラクタＣに交差するか否か）に応じて指示画像Ｇの表示態様が変化するから、指示画像Ｇが固定的な態様で表示される構成と比較して、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触した感覚を利用者Ｕが実感し易いという利点がある。
In the configuration in which the change in the attitude of the
第２実施形態においては、例えば以下に例示する構成を採用してもよい。 In the second embodiment, for example, the configuration exemplified below may be adopted.
［変形例Ｂ1］
第２実施形態では、接触地点Ｐの位置に応じた反応動作をキャラクタＣに実行させたが、第１実施形態と同様に、ＨＭＤ３０の姿勢の変化量（例えばロール方向の回転角度θ）に応じた反応動作をキャラクタＣに実行させてもよい。例えば、ＨＭＤ３０の姿勢の変化量を、仮想空間Ｖ内において利用者ＵがキャラクタＣに接触する仮想的な圧力と仮定する。変形例Ｂ1の動作制御部４３Bは、ＨＭＤ３０の姿勢の変化量が小さい場合には、利用者Ｕによる接触を受容する反応動作をキャラクタＣに実行させ、姿勢の変化量が大きい場合には、利用者Ｕによる接触を拒否する反応動作をキャラクタＣに実行させる。以上の態様によれば、ＨＭＤ３０の姿勢に応じた多様な反応動作をキャラクタＣに実行させることができる。
[Modification B1]
In the second embodiment, the character C is caused to perform a reaction motion corresponding to the position of the contact point P, but similar to the first embodiment, according to the amount of change in the posture of the HMD 30 (for example, the rotation angle θ in the roll direction). The character C may be caused to perform the reaction action. For example, it is assumed that the amount of change in the posture of the
［変形例Ｂ2］
変形例Ｂ2の動作制御部４３Bは、時間軸上の特定の期間（以下「指示受付期間」という）内において利用者Ｕからの動作指示を受付ける。すなわち、指示受付期間内に利用者Ｕが付与した動作指示はキャラクタＣの動作に有効に反映されるが、指示受付期間の経過後の時点で利用者Ｕが付与した動作指示は無視される。指示受付期間は、例えば、基準線ＱがキャラクタＣに交差し始めた時点を始点とする所定の時間長（例えば数秒）の期間である。なお、指示受付期間の始点または終点は以上の例示に限定されない。例えば、ゲーム内で特定のイベントが開始した時点を指示受付期間の始点としてもよい。以上のように動作指示の受付を指示受付期間に制限することで、利用者Ｕに適度な緊張感が付与され、結果的にゲームの飽きを抑制することが可能である。
[Modification B2]
The
表示制御部４２Bは、指示受付期間内において指示画像Ｇ（画像Ｇ2）の表示態様を経時的に変化させる。例えば、図１６に例示される通り、基準線ＱがキャラクタＣに交差するときに指示画像Ｇとして表示される画像Ｇ2が、画像Ｇ21と画像Ｇ22とを含む場合を想定する。画像Ｇ21は、第１実施形態の画像Ｇ2と同様に利用者Ｕの手を表す画像であり、画像Ｇ22は、画像Ｇ21の背後に配置された円形状の画像である。表示制御部４２Bは、指示受付期間の始点から終点にかけて画像Ｇ22のサイズを経時的に縮小する。画像Ｇ21のサイズは変化しない。以上の構成によれば、動作指示の受付が許可される指示受付期間（例えば残り時間）を、利用者Ｕが指示画像Ｇの表示態様から視覚的に把握できるという利点がある。
The
［変形例Ｂ3］
変形例Ｂ3の表示制御部４２Bは、仮想空間Ｖ内のキャラクタＣのうち基準線Ｑが交差する接触地点Ｐの位置に応じて指示画像Ｇの表示態様を変化させる。具体的には、図１７に例示される通り、仮想空間Ｖ内で接触地点ＰがキャラクタＣの表面の第１位置にある場合とキャラクタＣの表面の第２位置にある場合とで、指示画像Ｇの表示態様が相違する。第１位置は、例えば利用者Ｕによる接触をキャラクタＣが受容する位置（例えばキャラクタＣの胴体部）であり、第２位置は、例えば利用者Ｕによる接触をキャラクタＣが拒否する位置（例えばキャラクタＣの頭部）である。
[Modification B3]
The
なお、図１７においては接触地点Ｐが第１位置または第２位置にある場合を例示したが、表示制御部４２Bは、キャラクタＣにおける接触地点Ｐの位置の変化に並行して指示画像Ｇの表示態様を経時的に変化させてもよい。すなわち、利用者ＵがＨＭＤ３０の姿勢に応じて接触地点ＰをキャラクタＣの表面上を移動させると、表示制御部４２Bは、接触地点Ｐの移動に連動して指示画像Ｇの表示態様を経時的に変化させる。例えば、接触地点Ｐが図１７の第１位置から第２位置まで移動する期間内に、表示制御部４２Bは、指示画像Ｇの表示態様を、第１位置における表示態様から第２位置における表示態様まで連続的または段階的に変化させる。
Although the case where the contact point P is at the first position or the second position is illustrated in FIG. 17, the
変形例Ｂ3では、接触地点Ｐの位置に応じて指示画像Ｇの表示態様が変化する。したがって、指示画像Ｇの表示態様を視認することで、利用者Ｕは、接触時のキャラクタＣの動作を利用者Ｕを推測できる。すなわち、指示画像Ｇの表示態様を確認することで接触時のキャラクタＣの動作を推測しながら接触地点Ｐを徐々に移動させ、所望の動作が予想される位置に接触地点Ｐを維持した状態で動作指示を付与する、という興趣性を利用者Ｕに提供できる。 In the modification B3, the display mode of the instruction image G changes according to the position of the contact point P. Therefore, by visually recognizing the display mode of the instruction image G, the user U can guess the action of the character C at the time of contact. That is, while confirming the display mode of the instruction image G, the contact point P is gradually moved while estimating the motion of the character C at the time of contact, and the contact point P is maintained at a position where a desired motion is expected. The interest of giving an operation instruction can be provided to the user U.
［変形例Ｂ4］
変形例Ｂ4の表示制御部４２Bは、キャラクタＣの視線が基準線Ｑを追跡するようにキャラクタＣを制御する。例えば、基準線ＱがキャラクタＣに交差する接触地点Ｐを視線が向くようにキャラクタＣが制御される。具体的には、図１８に例示される通り、キャラクタＣの眼球（例えば瞳）および頭部が、基準線Ｑを追跡するように回転する。なお、キャラクタＣの眼球および頭部の一方のみが基準線Ｑを追跡してもよい。変形例Ｂ4によれば、利用者ＵがキャラクタＣに影響している感覚を利用者Ｕが把握し易いという利点がある。
[Modification B4]
The
［変形例Ｂ5］
第２実施形態では、基準線ＱがキャラクタＣに交差するか否かに応じて指示画像Ｇの表示態様を変化させたが、指示画像Ｇの表示態様を変化させるための条件は以上の例示に限定されない。例えば、表示制御部４２Bは、基準線ＱとキャラクタＣとの距離に応じて指示画像Ｇの表示態様を連続的または段階的に変化させてもよい。基準線ＱとキャラクタＣとの交差は、指示画像Ｇの表示態様を変化させるための必須の条件ではない。また、基準線ＱがキャラクタＣの特定の部位に交差するか否かに応じて、指示画像Ｇの表示態様を変化させてもよい。基準線ＱがキャラクタＣの特定の部位以外に交差する状態では、基準線ＱがキャラクタＣに交差しない場合と同様の表示態様で指示画像Ｇが表示される。以上の説明から理解される通り、第２実施形態の動作制御部４３Bは、基準線ＱとキャラクタＣとの位置関係に応じて指示画像Ｇの表示態様を変化させる要素として包括的に表現される。
[Modification B5]
In the second embodiment, the display mode of the instruction image G is changed depending on whether or not the reference line Q intersects with the character C, but the conditions for changing the display mode of the instruction image G are the above examples. Not limited. For example, the
［変形例Ｂ6］
基準線ＱとキャラクタＣとの位置関係に応じて指示画像Ｇの表示態様を変化させる第２実施形態の構成は、利用者Ｕが端末装置１０（例えばスマートフォン）を手で把持した状態で使用する場合にも同様に適用される。第２実施形態と同様に、仮想空間Ｖのうち表示装置１３に表示される撮像範囲Ｒは、端末装置１０の姿勢に応じて変化する。
[Modification B6]
The configuration of the second embodiment in which the display mode of the instruction image G is changed according to the positional relationship between the reference line Q and the character C is used while the user U holds the terminal device 10 (for example, a smartphone) with his / her hand. The same applies to cases as well. Similar to the second embodiment, the imaging range R displayed on the
変形例Ｂ6の端末装置１０は、表示装置１３の表示面に対する利用者Ｕの接触を検出するタッチパネルを具備する。第２実施形態では、仮想空間Ｖ内の接触地点Ｐの位置をＨＭＤ３０の姿勢に応じて変化させたが、変形例Ｂ6では、表示装置１３の表示面に対して利用者Ｕが接触した地点を接触地点Ｐとして指示画像Ｇが表示される。例えば、利用者Ｕが接触した接触地点Ｐを通過する基準線Ｑが仮想空間Ｖ内に設定される。すなわち、表示装置１３の表示面に対する接触（すなわちタッチ操作）で利用者Ｕが指示した方向の仮想的な直線が基準線Ｑとして仮想空間Ｖ内に設定される。表示制御部４２Bは、基準線ＱがキャラクタＣに交差する場合には画像Ｇ2を指示画像Ｇとして表示装置１３に表示させ、基準線ＱがキャラクタＣに交差しない場合には画像Ｇ1を指示画像Ｇとして表示装置１３に表示させる。以上の構成でも、仮想空間Ｖ内における基準線ＱとキャラクタＣとの位置関係（例えば仮想空間Ｖ内で利用者ＵがキャラクタＣに接触している状態）を利用者Ｕが容易に把握できるという利点がある。
The
変形例Ｂ6の例示から理解される通り、第２実施形態において、表示装置１３を利用者Ｕの頭部に装着する構成は省略され得る。利用者Ｕの頭部に装着されることを前提としない構成における表示制御部４２Bは、表示装置１３の姿勢に応じて姿勢が制御される仮想カメラＥで仮想空間Ｖを撮像した画像を表示装置１３に表示させる要素として表現される。また、利用者Ｕが手に把持した状態で使用される表示装置１３においては、当該表示装置１３に対する操作（例えばタッチ操作）で指示された方向の仮想的な直線が「基準線」である。
As can be understood from the illustration of the modified example B6, in the second embodiment, the configuration of mounting the
［Ｃ：他の変形例］
第１実施形態または第２実施形態に対する具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
[C: other modifications]
A specific mode of modification to the first embodiment or the second embodiment will be exemplified below. Two or more aspects arbitrarily selected from the following exemplifications may be appropriately merged as long as they do not conflict with each other.
［変形例Ｃ1］
基準線Ｑは、前述の各形態で例示した仮想カメラＥの光軸に限定されない。例えば、表示装置１３の表示面に垂直な直線が基準線Ｑとして利用される。また、仮想カメラＥの光軸または表示面に垂直な直線に対して所定の角度をなす直線を基準線Ｑに利用してもよい。なお、利用者Ｕの視線の方向を推定するアイトラッキング（視線計測）機能を搭載したＨＭＤ３０においては、当該機能により推定された視線を基準線Ｑとして利用してもよい。以上の例示から理解される通り、基準線Ｑは、仮想空間Ｖ内に設定される仮想的な直線として包括的に表現される。
[Modification C1]
The reference line Q is not limited to the optical axis of the virtual camera E illustrated in each of the above-described embodiments. For example, a straight line perpendicular to the display surface of the
［変形例Ｃ2］
前述の各形態では、仮想空間Ｖに配置されるオブジェクトとしてキャラクタＣを例示したが、仮想空間Ｖ内で利用者Ｕが接触するオブジェクトはキャラクタＣに限定されない。例えば、仮想空間Ｖ内の建造物や自然物等の無生物的な要素もオブジェクトの概念に包含される。生物的なオブジェクト（キャラクタＣ）について「動作」とは、例えば当該オブジェクトの挙動、行為、様子または態度である。また、無生物的なオブジェクトについて「動作」とは、例えば当該要素の形態の変化である。例えば建造物のドアが開く動作、または、岩石等の自然物が変形ないし移動する動作が、オブジェクトの動作として例示される。
[Modification C2]
In each of the above-described embodiments, the character C is illustrated as an object arranged in the virtual space V, but the object with which the user U contacts in the virtual space V is not limited to the character C. For example, inanimate elements such as buildings and natural objects in the virtual space V are also included in the concept of objects. The “motion” of a biological object (character C) is, for example, the behavior, action, appearance or attitude of the object. The “motion” of an inanimate object is, for example, a change in the form of the element. For example, an operation of opening a door of a building or an operation of deforming or moving a natural object such as a rock is exemplified as an operation of an object.
［変形例Ｃ3］
前述の各形態では、ＨＭＤ３０がロール方向に回転した場合に、仮想空間Ｖ内で利用者ＵがキャラクタＣに接触したと判定してキャラクタＣに反応動作を実行させたが、反応動作の契機（すなわち動作指示）は以上の例示に限定されない。例えば、ピッチ方向またはヨー方向におけるＨＭＤ３０の回転を利用者Ｕによる接触としてキャラクタＣに反応動作を実行させてもよい。また、例えば基準線ＱがキャラクタＣの特定の範囲内に交差した状態（すなわち利用者Ｕが当該範囲内を長時間にわたり凝視した場合）が所定の時間にわたり継続したことを条件としてキャラクタＣに反応動作を実行させてもよい。ＨＭＤ３０に接続された操作装置（図示略）を利用者Ｕが操作することを条件としてキャラクタＣに反応動作を実行させてもよい。以上の例示から理解される通り、ＨＭＤ３０の姿勢の変化（特にロール方向の回転）をキャラクタＣの反応動作の契機とする構成は省略され得る。
[Modification C3]
In each of the above-described modes, when the
［変形例Ｃ4］
前述の各形態では、ロール方向におけるＨＭＤ３０の回転を動作指示（キャラクタＣに対する接触の指示）として受付けたが、動作指示と判定されるＨＭＤ３０の姿勢の変化はロール方向の回転に限定されない。例えば、ピッチ方向またはヨー方向におけるＨＭＤ３０の回転を動作指示として受付けてもよい。
[Modification C4]
In each of the above-described embodiments, the rotation of the
［変形例Ｃ5］
第１実施形態について例示した変形例（変形例Ａ1から変形例Ａ7）は、第２実施形態にも同様に適用される。また、第２実施形態について例示した変形例（変形例Ｂ1から変形例Ｂ6）は、第１実施形態にも同様に適用される。
[Modification C5]
The modifications (Modifications A1 to A7) illustrated for the first embodiment are similarly applied to the second embodiment. Further, the modifications (Modifications B1 to B6) illustrated for the second embodiment are similarly applied to the first embodiment.
［変形例Ｃ6］
前述の各形態では、ＨＭＤ３０の表示装置１３および検出装置１４とＨＭＤ３０を制御する情報処理装置４０とを単体の端末装置１０で実現した構成を例示したが、図１９の画像表示システム１BのようにＨＭＤ３０と情報処理装置４０とを別体の装置として実現してもよい。ＨＭＤ３０と情報処理装置４０とは有線または無線により相互に通信可能である。ＨＭＤ３０と情報処理装置４０との間の通信の方式は任意であるが、例えばbluetooth（登録商標）等の近距離無線通信が好適である。
[Modification C6]
In each of the above-described embodiments, a configuration in which the
ＨＭＤ３０は、第１実施形態と同様に、表示装置１３と検出装置１４と装着具２０とを具備し、利用者Ｕの頭部に装着される。情報処理装置４０は、ＨＭＤ３０と通信することで各種の画像をＨＭＤ３０に表示させる制御機器であり、制御装置１１と記憶装置１２とを具備する。例えば、携帯電話機、スマートフォン、タブレット端末、パーソナルコンピュータ、または家庭用ゲーム装置等の各種の情報端末が情報処理装置４０として利用される。なお、情報処理装置４０が可搬型であるか据置型であるかは不問である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、第１実施形態または第２実施形態と同様に、姿勢解析部４１、表示制御部４２（４２A，４２B）および動作制御部４３（４３A，４３B）として機能する。したがって、図１９の構成においても第１実施形態または第２実施形態と同様の効果が実現される。
Similar to the first embodiment, the
［変形例Ｃ7］
本発明の好適な態様は、前述の各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
[Modification C7]
A preferred aspect of the present invention is realized by the cooperation of a computer (specifically, the control device 11) and a program as illustrated in each of the above-described modes. The program according to each of the above-described modes is provided in a form stored in a computer-readable recording medium and installed in the computer. The recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example. However, any known recording medium such as a semiconductor recording medium or a magnetic recording medium is used. Including a recording medium of the form. It should be noted that the non-transitory recording medium includes any recording medium except a transitory propagating signal, and does not exclude a volatile recording medium. It is also possible to provide the program to the computer in the form of distribution via a communication network.
［Ｄ：付記］
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記する、本発明を図示の態様に限定する趣旨ではない。
[D: Note]
From the above description, the preferred embodiments of the present invention are understood as follows, for example. Note that, in order to facilitate understanding of each aspect, the reference numerals of the drawings are also described in parentheses for convenience, and the present invention is not intended to be limited to the illustrated aspects.
［態様１］
本発明の好適な態様（態様１）に係るプログラムは、ヘッドマウントディスプレイ（３０）の方向に応じて方向が制御される仮想カメラ（Ｅ）で仮想空間（Ｖ）を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイ（３０）の表示装置（１３）に表示させる表示制御部（４２A）、および、前記ヘッドマウントディスプレイ（３０）のロール方向の回転と、前記ヘッドマウントディスプレイ（３０）の方向に応じて前記仮想空間（Ｖ）における方向が変化する基準線（Ｑ）と前記仮想空間（Ｖ）内のオブジェクト（Ｃ）との位置関係と、に応じて当該オブジェクト（Ｃ）の動作を制御する動作制御部（４３A）としてコンピュータ（１１）を機能させる。以上の態様では、ヘッドマウントディスプレイ（３０）のロール方向の回転に応じて仮想空間（Ｖ）内のオブジェクト（Ｃ）の動作が制御されるから、オブジェクト（Ｃ）の動作を制御するための指示を利用者（Ｕ）が入力する操作装置をヘッドマウントディスプレイ（３０）とは別個に用意することを必要とせずに、利用者（Ｕ）からの指示をオブジェクト（Ｃ）の動作に反映させることができる。
[Aspect 1]
A program according to a preferred aspect (Aspect 1) of the present invention is an image obtained by capturing a virtual space (V) with a virtual camera (E) whose direction is controlled according to the direction of a head mounted display (30), A display control unit (42A) for displaying a stereoscopic image using binocular parallax on a display device (13) of the head mounted display (30); and rotation of the head mounted display (30) in a roll direction, Depending on the positional relationship between the reference line (Q) whose direction changes in the virtual space (V) depending on the direction of the head mounted display (30) and the object (C) in the virtual space (V). The computer (11) is caused to function as a motion control unit (43A) that controls the motion of the object (C). In the above aspect, since the operation of the object (C) in the virtual space (V) is controlled according to the rotation of the head mounted display (30) in the roll direction, an instruction for controlling the operation of the object (C). To reflect an instruction from the user (U) in the operation of the object (C) without the necessity of preparing an operating device for the user (U) to input separately from the head mounted display (30). You can
なお、「ヘッドマウントディスプレイ」は、利用者（Ｕ）の頭部に装着可能な画像表示機器である。好適な態様におけるヘッドマウントディスプレイ（３０）は、画像を表示する表示装置（１３）と、表示装置（１３）を利用者（Ｕ）の頭部に装着するための装着具（２０）とを具備する。表示装置（１３）を頭部に装着するための装着具（２０）に専用の表示装置（１３）が固定的に設置された構成（いわばヘッドマウントディスプレイの専用品）のほか、頭部に装着された状態以外でも利用され得る汎用的な表示装置（１３）を装着具（２０）に対して着脱可能である構成も含む。すなわち、ヘッドマウントディスプレイ（３０）の表示装置（１３）には、専ら頭部に装着された状態で使用される装置のほか、頭部に装着されていない状態と頭部に装着された状態との双方で使用可能な装置も含まれる。表示装置（１３）を装着具（２０）に対して着脱可能である構成では、例えばスマートフォンまたはタブレット端末等の可搬型の端末装置（１０）が表示装置（１３）として利用される。 The “head mount display” is an image display device that can be mounted on the head of the user (U). A head mounted display (30) in a preferred mode includes a display device (13) for displaying an image, and a mounting tool (20) for mounting the display device (13) on the head of a user (U). To do. In addition to a configuration in which a dedicated display device (13) is fixedly installed in a mounting tool (20) for mounting the display device (13) on the head (so-called dedicated head mount display), it is also mounted on the head. It also includes a configuration in which a general-purpose display device (13) that can be used in a state other than the mounted state is detachable from the wearing tool (20). That is, the display device (13) of the head mounted display (30) is used not only in a state where it is worn on the head but also in a state where it is not worn on the head and a state where it is worn on the head. A device that can be used in both is also included. In the configuration in which the display device (13) can be attached to and detached from the wearing tool (20), a portable terminal device (10) such as a smartphone or a tablet terminal is used as the display device (13).
「ロール方向」とは、利用者（Ｕ）の前後方向（例えば、ヘッドマウントディスプレイ（３０）において画像が表示される表示画面に垂直な方向）の軸線を中心とした円周方向を意味する。例えば、ヘッドマウントディスプレイ（３０）を頭部に装着した利用者（Ｕ）が、前方を向いたまま頭部を左右に傾けた場合に、ヘッドマウントディスプレイ（３０）はロール方向に回転する。ヘッドマウントディスプレイ（３０）にロール方向の回転のみが単独で発生した場合だけでなく、ロール方向の回転とともにピッチ方向またはヨー方向の回転が発生した場合でも、ヘッドマウントディスプレイ（３０）がロール方向に回転したと判定され得る。なお、ロール方向の回転に応じて仮想カメラ（Ｅ）の姿勢を変化させるか否かは不問である。すなわち、ロール方向の回転に連動して仮想カメラ（Ｅ）を光軸周りに回転させる構成と、ロール方向の回転が発生した場合でも仮想カメラ（Ｅ）を回転させない構成との双方が、態様１の範囲には含まれる。 The "roll direction" means a circumferential direction around an axis line of the user (U) in the front-rear direction (for example, a direction perpendicular to a display screen on which an image is displayed on the head mounted display (30)). For example, when a user (U) wearing the head mounted display (30) on his head tilts his head left and right while facing forward, the head mounted display (30) rotates in the roll direction. Not only when the head mounted display (30) alone rotates in the roll direction, but also when the head mounted display (30) rotates in the pitch direction or the yaw direction along with the rotation in the roll direction, the head mounted display (30) moves in the roll direction. It may be determined that it has rotated. It does not matter whether or not the posture of the virtual camera (E) is changed according to the rotation in the roll direction. That is, both the configuration in which the virtual camera (E) is rotated around the optical axis in association with the rotation in the roll direction and the configuration in which the virtual camera (E) is not rotated even when the rotation in the roll direction occurs are the aspects 1 Is included in the range.
「オブジェクト」とは、仮想空間（Ｖ）内に設置される仮想的な物体である。オブジェクト（Ｃ）の典型例はキャラクタ（例えば人間，動物またはモンスター）であるが、仮想空間（Ｖ）内の建造物または自然物等の無生物的な要素もオブジェクトの概念に含まれ得る。キャラクタについて「オブジェクトの動作」とは、例えば、当該キャラクタの挙動，行為，様子または態度である。また、無生物的な要素について「オブジェクトの動作」とは、例えば当該要素の形態の変化（例えば建造物のドアまたは窓が開く、岩石等の自然物が変形ないし移動する等）である。 The “object” is a virtual object installed in the virtual space (V). A typical example of the object (C) is a character (for example, a human being, an animal, or a monster), but inanimate elements such as buildings or natural objects in the virtual space (V) may be included in the concept of the object. For the character, the “motion of the object” is, for example, the behavior, action, appearance or attitude of the character. In addition, the “movement of the object” with respect to the inanimate element is, for example, a change in the form of the element (for example, a door or window of a building opens, a natural object such as rock deforms or moves, etc.).
「基準線」は、仮想空間（Ｖ）内に設定された仮想的な直線である。例えば、仮想カメラ（Ｅ）の光軸、表示装置（１３）による表示画面の中心線、または、これらの直線に対して所定の角度をなす直線が、基準線（Ｑ）の好適例である。なお、利用者（Ｕ）の視線を推定するアイトラッキング機能を利用可能な構成では、以上に例示した直線のほか、利用者（Ｕ）の視線を基準線（Ｑ）として利用してもよい。 The “reference line” is a virtual straight line set in the virtual space (V). For example, the optical axis of the virtual camera (E), the center line of the display screen of the display device (13), or a straight line forming a predetermined angle with respect to these straight lines is a preferable example of the reference line (Q). In addition, in the configuration in which the eye tracking function for estimating the line of sight of the user (U) can be used, the line of sight of the user (U) may be used as the reference line (Q) in addition to the straight line exemplified above.
［態様２］
態様１の好適例（態様２）において、前記位置関係は、前記基準線（Ｑ）と前記オブジェクト（Ｃ）とが交差する関係である。以上の態様によれば、基準線（Ｑ）とオブジェクト（Ｃ）との交差に応じた指示をオブジェクト（Ｃ）の動作に反映させることができる。
[Aspect 2]
In the preferred example of the first aspect (the second aspect), the positional relationship is a relationship in which the reference line (Q) and the object (C) intersect. According to the above aspect, it is possible to reflect the instruction corresponding to the intersection of the reference line (Q) and the object (C) in the motion of the object (C).
［態様３］
態様１または態様２の好適例（態様３）において、前記動作制御部（４３A）は、前記ヘッドマウントディスプレイ（３０）がロール方向に回転した場合に、前記仮想空間（Ｖ）内において前記オブジェクト（Ｃ）のうち前記基準線（Ｑ）が交差する地点（Ｐ）に接触したと判定し、当該接触に対応した動作を前記オブジェクト（Ｃ）に実行させる。以上の態様によれば、利用者（Ｕ）は、ヘッドマウントディスプレイ（３０）をロール方向に回転させることで、オブジェクト（Ｃ）のうち基準線（Ｑ）と交差する地点（Ｐ）に対する接触を指示することができる。
[Aspect 3]
In a preferred example of Aspect 1 or Aspect 2 (Aspect 3), the operation control unit (43A) causes the object () to move in the virtual space (V) when the head mounted display (30) rotates in a roll direction. It is determined that the object (C) is in contact with a point (P) where the reference line (Q) intersects, and the object (C) is caused to perform an action corresponding to the contact. According to the above aspect, the user (U) rotates the head mounted display (30) in the roll direction to bring the contact with the point (P) of the object (C) that intersects with the reference line (Q). You can give instructions.
［態様４］
態様３の好適例（態様４）において、前記動作制御部（４３A）は、前記オブジェクト（Ｃ）に対する接触が維持される時間長に応じた動作を、前記オブジェクト（Ｃ）に実行させる。以上の態様によれば、ヘッドマウントディスプレイ（３０）がロール方向に回転した状態に維持する時間長に応じてオブジェクト（Ｃ）の動作を多様に変化させることができる。
[Mode 4]
In a preferred example of Aspect 3 (Aspect 4), the action control section (43A) causes the object (C) to perform an action according to the length of time that the contact with the object (C) is maintained. According to the above aspect, the operation of the object (C) can be variously changed according to the length of time that the head mounted display (30) is kept rotated in the roll direction.
［態様５］
態様３または態様４の好適例（態様５）において、前記動作制御部（４３A）は、前記オブジェクト（Ｃ）に対する接触に応じて前記オブジェクト（Ｃ）に関するパラメータを変化させる。以上の態様によれば、ヘッドマウントディスプレイ（３０）をロール方向に回転させる簡便な操作により、仮想空間（Ｖ）内のオブジェクト（Ｃ）に関するパラメータを変化させることができる。
[Aspect 5]
In the preferred example of the third aspect or the fourth aspect (the fifth aspect), the motion control section (43A) changes the parameter relating to the object (C) in accordance with the contact with the object (C). According to the above aspect, the parameter relating to the object (C) in the virtual space (V) can be changed by a simple operation of rotating the head mounted display (30) in the roll direction.
［態様６］
態様３から態様５の何れかの好適例（態様６）において、前記動作制御部（４３A）は、前記オブジェクト（Ｃ）のうち前記基準線（Ｑ）が交差する位置に応じた動作を、前記オブジェクト（Ｃ）に実行させる。以上の態様によれば、仮想空間（Ｖ）内の基準線（Ｑ）がオブジェクト（Ｃ）に交差する地点（Ｐ）の位置に応じてオブジェクト（Ｃ）の動作を多様に変化させることができる。
[Aspect 6]
In a preferred example (Aspect 6) of any one of Aspects 3 to 5, the motion control unit (43A) performs the motion according to the position where the reference line (Q) of the object (C) intersects. Cause the object (C) to execute. According to the above aspect, the motion of the object (C) can be variously changed according to the position of the point (P) where the reference line (Q) in the virtual space (V) intersects the object (C). ..
［態様７］
態様３から態様６の何れかの好適例（態様７）において、前記動作制御部（４３A）は、前記ヘッドマウントディスプレイ（３０）がロール方向の一方側に回転した場合に、前記オブジェクト（Ｃ）に接触したと判定し、前記オブジェクト（Ｃ）に接触した状態において、前記ヘッドマウントディスプレイ（３０）がロール方向の他方側に回転した場合、または、前記ヘッドマウントディスプレイが前記一方側への回転から元に戻った場合に、前記オブジェクト（Ｃ）に対する接触が解除されたと判定する。以上の態様によれば、利用者（Ｕ）は、ロール方向における回転の向きに応じて、仮想空間（Ｖ）内のオブジェクト（Ｃ）に対する接触の発生と解除とを指示することができる。
[Aspect 7]
In a preferred example (Aspect 7) of any one of Aspects 3 to 6, when the head mount display (30) rotates to one side in the roll direction, the operation control unit (43A) causes the object (C) to move. When the head mounted display (30) is rotated to the other side in the roll direction in the state where the head mounted display (30) is contacted with the object (C), or when the head mounted display is rotated to the one side. When returning to the original state, it is determined that the contact with the object (C) has been released. According to the above aspect, the user (U) can instruct to generate and release the contact with the object (C) in the virtual space (V) according to the direction of rotation in the roll direction.
［態様８］
態様１から態様７の何れかの好適例（態様８）において、前記動作制御部（４３A）は、前記ヘッドマウントディスプレイ（３０）のロール方向における回転角度（θ）に応じた動作を、前記オブジェクト（Ｃ）に実行させる。以上の態様によれば、ヘッドマウントディスプレイ（３０）の回転角度（θ）に応じた多様な動作をオブジェクト（Ｃ）に実行させることができる。
[Aspect 8]
In a preferred example (eighth aspect) of any one of the first to seventh aspects, the operation control section (43A) performs an operation in accordance with a rotation angle (θ) of the head mounted display (30) in a roll direction by the object. Cause (C) to execute. According to the above aspect, it is possible to cause the object (C) to perform various actions according to the rotation angle (θ) of the head mounted display (30).
［態様９］
態様１から態様８の何れかの好適例（態様９）において、前記表示制御部（４２A）は、前記ヘッドマウントディスプレイ（３０）のロール方向における回転に応じて、前記仮想カメラ（Ｅ）を前記仮想空間（Ｖ）内で移動させる。以上の態様によれば、ヘッドマウントディスプレイ（３０）をロール方向に回転させる簡便な操作により、仮想空間（Ｖ）内で仮想カメラ（Ｅ）（仮想的な視点）をオブジェクト（Ｃ）に接近または離間させることができる。なお、仮想カメラ（Ｅ）の移動の方向は任意であるが、例えば、仮想カメラ（Ｅ）をオブジェクト（Ｃ）の方向に移動させる構成が好適である。例えば、ヘッドマウントディスプレイ（３０）がロール方向の一方側に回転した場合に仮想カメラ（Ｅ）をオブジェクト（Ｃ）に接近させ、ヘッドマウントディスプレイ（３０）がロール方向の他方側に回転した場合に仮想カメラ（Ｅ）をオブジェクト（Ｃ）から離間させる構成が好適である。
[Aspect 9]
In a preferred example (Aspect 9) of any one of Aspects 1 to 8, the display control unit (42A) controls the virtual camera (E) according to the rotation of the head mounted display (30) in the roll direction. It is moved in the virtual space (V). According to the above aspect, the virtual camera (E) (virtual viewpoint) approaches the object (C) in the virtual space (V) by a simple operation of rotating the head mounted display (30) in the roll direction. It can be separated. Although the moving direction of the virtual camera (E) is arbitrary, for example, a configuration in which the virtual camera (E) is moved in the direction of the object (C) is suitable. For example, when the head mounted display (30) rotates to one side in the roll direction, the virtual camera (E) approaches the object (C), and when the head mounted display (30) rotates to the other side in the roll direction. A configuration in which the virtual camera (E) is separated from the object (C) is suitable.
［態様１０］
態様１から態様９の何れかの好適例（態様１０）において、前記表示制御部（４２A）は、前記ヘッドマウントディスプレイ（３０）のロール方向における回転に応じて、前記仮想カメラ（Ｅ）による撮像範囲（Ｒ）を変化させる。以上の態様によれば、ヘッドマウントディスプレイ（３０）をロール方向に回転させる簡便な操作により、仮想空間（Ｖ）内で仮想カメラ（Ｅ）が撮像する範囲（すなわち画角）を変化させることができる。なお、仮想カメラ（Ｅ）の撮像範囲（Ｒ）の変化は、仮想空間（Ｖ）において撮像される要素（例えばオブジェクト（Ｃ））の拡大（ズームイン）または縮小（ズームアウト）を意味する。
[Aspect 10]
In a preferred example (Aspect 10) of any one of Aspects 1 to 9, the display control unit (42A) captures an image by the virtual camera (E) according to the rotation of the head mounted display (30) in the roll direction. Change the range (R). According to the above aspect, the range (that is, the angle of view) captured by the virtual camera (E) in the virtual space (V) can be changed by a simple operation of rotating the head mounted display (30) in the roll direction. it can. The change in the imaging range (R) of the virtual camera (E) means enlargement (zoom in) or reduction (zoom out) of an element (for example, the object (C)) imaged in the virtual space (V).
［態様１１］
態様１から態様１０の何れかの好適例（態様１１）において、前記動作制御部（４３A）は、前記ヘッドマウントディスプレイ（３０）のロール方向における回転角度（θ）が閾値（θt）を超えた場合に、前記ヘッドマウントディスプレイ（３０）がロール方向に回転したと判定する。以上の態様では、回転角度（θ）が閾値（θt）を超えた場合に、ヘッドマウントディスプレイ（３０）がロール方向に回転したと判定される。すなわち、閾値（θt）を下回る程度の回転では、ヘッドマウントディスプレイ（３０）はロール方向に回転したと判定されない。したがって、ヘッドマウントディスプレイ（３０）が回転したと過剰な頻度で判定される可能性を低減できる。
[Aspect 11]
In the preferred example (embodiment 11) of any one of the embodiments 1 to 10, the operation control unit (43A) causes the rotation angle (θ) of the head mounted display (30) in the roll direction to exceed a threshold value (θt). In this case, it is determined that the head mounted display (30) has rotated in the roll direction. In the above aspect, when the rotation angle (θ) exceeds the threshold value (θt), it is determined that the head mounted display (30) has rotated in the roll direction. That is, if the rotation is below the threshold value (θt), it is not determined that the head mounted display (30) has rotated in the roll direction. Therefore, it is possible to reduce the possibility that it is determined that the head mounted display (30) has rotated with excessive frequency.
［態様１２］
本発明の好適な態様（態様１２）に係る画像表示システム（１A，１B）は、ヘッドマウントディスプレイ（３０）と情報処理装置（４０）とを具備する画像表示システム（１A，１B）であって、前記情報処理装置（４０）は、ヘッドマウントディスプレイ（３０）の方向に応じて方向が制御される仮想カメラ（Ｅ）で仮想空間（Ｖ）を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイ（３０）の表示装置（１３）に表示させる表示制御部（４２A）と、前記ヘッドマウントディスプレイ（３０）のロール方向の回転と、前記ヘッドマウントディスプレイ（３０）の方向に応じて前記仮想空間（Ｖ）における方向が変化する基準線（Ｑ）と前記仮想空間（Ｖ）内のオブジェクト（Ｃ）との位置関係と、に応じて当該オブジェクト（Ｃ）の動作を制御する動作制御部（４３A）とを具備する。以上の態様では、ヘッドマウントディスプレイ（３０）のロール方向の回転に応じて仮想空間（Ｖ）内のオブジェクト（Ｃ）の動作が制御されるから、オブジェクト（Ｃ）の動作を制御するための指示を利用者（Ｕ）が入力する操作装置をヘッドマウントディスプレイ（３０）とは別個に用意することを必要とせずに、利用者（Ｕ）からの指示をオブジェクト（Ｃ）の動作に反映させることができる。
[Aspect 12]
An image display system (1A, 1B) according to a preferred aspect (Aspect 12) of the present invention is an image display system (1A, 1B) including a head mounted display (30) and an information processing device (40). The information processing device (40) is an image obtained by capturing a virtual space (V) with a virtual camera (E) whose direction is controlled according to the direction of the head mounted display (30), and uses binocular parallax. The display control unit (42A) for displaying the stereoscopic image thus displayed on the display device (13) of the head mounted display (30), the rotation of the head mounted display (30) in the roll direction, and the head mounted display (30). ), The positional relationship between the reference line (Q) whose direction changes in the virtual space (V) and the object (C) in the virtual space (V), Depending includes an operation control unit for controlling the operation of the object (C) (43A) with. In the above aspect, since the operation of the object (C) in the virtual space (V) is controlled according to the rotation of the head mounted display (30) in the roll direction, an instruction for controlling the operation of the object (C). To reflect an instruction from the user (U) in the operation of the object (C) without the necessity of preparing an operating device for the user (U) to input separately from the head mounted display (30). You can
１A，１B…画像表示システム、１０…端末装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…検出装置、２０…装着具、３０…ＨＭＤ、４０…情報処理装置、４１…姿勢解析部、４２A，４２B…表示制御部、４３A，４３B…動作制御部、Ｖ…仮想空間、Ｅ…仮想カメラ、Ｃ…キャラクタ、Ｒ…撮像範囲、Ｑ…基準線、Ｇ…指示画像、Ｐ…接触地点。 1A, 1B ... Image display system, 10 ... Terminal device, 11 ... Control device, 12 ... Storage device, 13 ... Display device, 14 ... Detection device, 20 ... Wearing device, 30 ... HMD, 40 ... Information processing device, 41 ... Posture analysis unit, 42A, 42B ... Display control unit, 43A, 43B ... Motion control unit, V ... Virtual space, E ... Virtual camera, C ... Character, R ... Imaging range, Q ... Reference line, G ... Instruction image, P … Contact point.
Claims (12)
前記ヘッドマウントディスプレイのロール方向の回転と、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係と、に応じて当該オブジェクトの動作を制御する動作制御部
としてコンピュータを機能させるプログラム。 A display control unit that causes a display device of the head-mounted display to display a stereoscopic image using a binocular parallax, which is an image of a virtual space captured by a virtual camera whose direction is controlled according to the direction of the head-mounted display. ,and,
The movement of the object according to the rotation of the head mounted display in the roll direction and the positional relationship between the reference line whose direction in the virtual space changes according to the direction of the head mounted display and the position of the object in the virtual space A program that causes a computer to function as an operation control unit that controls the.
請求項１のプログラム。 The program according to claim 1, wherein the positional relationship is a relationship in which the reference line and the object intersect.
請求項１または請求項２のプログラム。 When the head mounted display is rotated in the roll direction, the motion control unit determines that the object touches a point in the virtual space at which the reference line intersects, and performs the motion corresponding to the touch. The program according to claim 1, which is executed by an object.
請求項３のプログラム。 The program according to claim 3, wherein the operation control unit causes the object to perform an operation according to a length of time during which contact with the object is maintained.
請求項３または請求項４のプログラム。 The program according to claim 3 or 4, wherein the motion control unit changes a parameter relating to the object according to a contact with the object.
請求項３から請求項５の何れかのプログラム。 The program according to any one of claims 3 to 5, wherein the motion control unit causes the object to perform a motion according to a position where the reference lines intersect with each other in the object.
請求項３から請求項６の何れかのプログラム。 The operation control unit determines that the head mounted display is in contact with the object when the head mounted display is rotated to one side in the roll direction, and in a state where the head mounted display is in contact with the object, the head mounted display is located on the other side in the roll direction. The program according to any one of claims 3 to 6, wherein it is determined that the contact with the object is released when the head mounted display is rotated or when the head mounted display is returned from the rotation toward the one side.
請求項１から請求項７の何れかのプログラム。 The program according to claim 1, wherein the operation control unit causes the object to perform an operation according to a rotation angle of the head mounted display in a roll direction.
請求項１から請求項８の何れかのプログラム。 The program according to claim 1, wherein the display control unit moves the virtual camera in the virtual space in accordance with rotation of the head mounted display in a roll direction.
請求項１から請求項９の何れかのプログラム。 The program according to any one of claims 1 to 9, wherein the display control unit changes an imaging range of the virtual camera according to rotation of the head mounted display in a roll direction.
請求項１から請求項１０の何れかのプログラム。 The program according to claim 1, wherein the operation control unit determines that the head mounted display has rotated in a roll direction when a rotation angle of the head mounted display in a roll direction exceeds a threshold value.
前記情報処理装置は、
ヘッドマウントディスプレイの方向に応じて方向が制御される仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像を、前記ヘッドマウントディスプレイの表示装置に表示させる表示制御部と、
前記ヘッドマウントディスプレイのロール方向の回転と、前記ヘッドマウントディスプレイの方向に応じて前記仮想空間における方向が変化する基準線と前記仮想空間内のオブジェクトとの位置関係と、に応じて当該オブジェクトの動作を制御する動作制御部と
を具備する画像表示システム。 An image display system comprising a head mounted display and an information processing device,
The information processing device,
A display control unit that causes a display device of the head-mounted display to display a stereoscopic image using a binocular parallax, which is an image of a virtual space captured by a virtual camera whose direction is controlled according to the direction of the head-mounted display. When,
The movement of the object according to the rotation of the head mounted display in the roll direction and the positional relationship between the reference line whose direction in the virtual space changes according to the direction of the head mounted display and the position of the object in the virtual space And an operation control unit for controlling the image display system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163708A JP6730753B2 (en) | 2019-09-09 | 2019-09-09 | Program and image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163708A JP6730753B2 (en) | 2019-09-09 | 2019-09-09 | Program and image display system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018007913A Division JP6587364B2 (en) | 2018-01-22 | 2018-01-22 | Program and image display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020074065A true JP2020074065A (en) | 2020-05-14 |
| JP6730753B2 JP6730753B2 (en) | 2020-07-29 |
Family
ID=70610147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019163708A Active JP6730753B2 (en) | 2019-09-09 | 2019-09-09 | Program and image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6730753B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010231290A (en) * | 2009-03-26 | 2010-10-14 | National Institute Of Advanced Industrial Science & Technology | Input device and method using head motion |
| WO2016199736A1 (en) * | 2015-06-12 | 2016-12-15 | 株式会社コロプラ | Virtual space position designation method, program, recording medium having program recorded thereon, and device |
| JP6587364B2 (en) * | 2018-01-22 | 2019-10-09 | 株式会社コナミデジタルエンタテインメント | Program and image display system |
-
2019
- 2019-09-09 JP JP2019163708A patent/JP6730753B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010231290A (en) * | 2009-03-26 | 2010-10-14 | National Institute Of Advanced Industrial Science & Technology | Input device and method using head motion |
| WO2016199736A1 (en) * | 2015-06-12 | 2016-12-15 | 株式会社コロプラ | Virtual space position designation method, program, recording medium having program recorded thereon, and device |
| JP6587364B2 (en) * | 2018-01-22 | 2019-10-09 | 株式会社コナミデジタルエンタテインメント | Program and image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6730753B2 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109690447B (en) | Information processing method, program for causing computer to execute the information processing method, and computer | |
| US9098130B2 (en) | Computer-readable storage medium having stored thereon input processing program, input processing apparatus, input processing method, and input processing system | |
| US20150116206A1 (en) | Screen operation apparatus and screen operation method | |
| JP5509227B2 (en) | Movement control device, movement control device control method, and program | |
| JP6399692B2 (en) | Head mounted display, image display method and program | |
| JP2012068984A (en) | Display control program, display controller, display control system and display control method | |
| US20220291744A1 (en) | Display processing device, display processing method, and recording medium | |
| JP2022184958A (en) | animation production system | |
| JP6587364B2 (en) | Program and image display system | |
| US11178384B2 (en) | Information processing system, storage medium, information processing apparatus and information processing method | |
| JP6140871B1 (en) | Information processing method and program for causing computer to execute information processing method | |
| JP6730753B2 (en) | Program and image display system | |
| JP7040521B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP7106140B2 (en) | Program and image display system | |
| CN108369477B (en) | Information processing apparatus, information processing method, and program | |
| JP6628331B2 (en) | Program and image display system | |
| US20110130201A1 (en) | Game device, control method for a game device, and information storage medium | |
| JP6278546B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP7248720B2 (en) | GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME PROCESSING METHOD | |
| WO2019142817A1 (en) | Image display system and recording medium on which program for image display system is recorded | |
| JP2018195172A (en) | Information processing method, information processing program, and information processing device | |
| JP6469752B2 (en) | INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS | |
| WO2020026380A1 (en) | Display device, display method, program, and non-temporary computer-readable information storage medium | |
| JP2018206353A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| WO2022059730A1 (en) | Information processing device, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190913 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190927 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191004 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6730753 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |