JP2011067277A - Head mounted display - Google Patents

Head mounted display Download PDF

Info

Publication number
JP2011067277A
JP2011067277A JP2009219441A JP2009219441A JP2011067277A JP 2011067277 A JP2011067277 A JP 2011067277A JP 2009219441 A JP2009219441 A JP 2009219441A JP 2009219441 A JP2009219441 A JP 2009219441A JP 2011067277 A JP2011067277 A JP 2011067277A
Authority
JP
Japan
Prior art keywords
user
pace
unit
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009219441A
Other languages
Japanese (ja)
Inventor
Norifumi Tanaka
訓史 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009219441A priority Critical patent/JP2011067277A/en
Publication of JP2011067277A publication Critical patent/JP2011067277A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mounted display capable of enhancing a sense of reality in running, and allowing a user to easily recognize information on running. <P>SOLUTION: The head mounted display provides the user with information on the user's running. The head mounted display emits image light according to the image information together with outside light to the eyes of the user and superposes the display according to the image information on an outside scene. The head mounted display compares a running pace of the user with a preset running pace of a virtual runner, and displays the image of the virtual runner according to the result of detection of the direction of the face of the user and the result of comparison. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、ヘッドマウントディスプレイ(以下、「HMD」とする)に関するものであり、特に、ユーザの走行に関する情報を提供するシースルー型HMDに関するものである。   The present invention relates to a head-mounted display (hereinafter referred to as “HMD”), and more particularly to a see-through HMD that provides information related to a user's travel.

ユーザが頭部に装着した状態で画像を視認することができるHMDが知られている。このようなHMDにおいては、例えば、特許文献1に示すように、陸上競技者や一般走行者等の走行者によって利用されるものが開示されている。   There is known an HMD that allows a user to visually recognize an image while wearing the head. In such HMD, as shown in Patent Document 1, for example, one used by a runner such as a track and field athlete or a general runner is disclosed.

このHMDは、走行ペースを示す時間情報など、走行に関する情報の送受信が可能であり、その情報を表示させることによって、走行者に対して有益な情報をユーザに提供することができる。また、このHMDにおいては、ペースを保持させるための別の仮想走行者が表示される。   This HMD can transmit and receive information related to running such as time information indicating the running pace. By displaying the information, the HMD can provide useful information to the user. In this HMD, another virtual runner for maintaining the pace is displayed.

特開2003−169822号公報JP 2003-169822 A

ところが、上記従来のHMDでは、走行に関する情報が単に数値で表示されるだけでは、実際に走行しているユーザにとっては、基準となるペースとの時間差については容易には把握することができず、ましてや走行に関する知識が少ない一般の走行者にとってはこのような情報を把握することは難しい。   However, in the above-described conventional HMD, simply by displaying information related to running as numerical values, a user who is actually running cannot easily grasp the time difference from the reference pace, In addition, it is difficult for general riders who have little knowledge about driving to grasp such information.

また、ユーザに対して所定の距離で仮想走行者が表示されていても、単に表示されるだけであり、走行ペースに応じて仮想走行者が表示されるわけではなく、走行している時間感覚、距離感覚等の情報を把握し難い。   Further, even if a virtual runner is displayed at a predetermined distance to the user, it is merely displayed, and the virtual runner is not displayed according to the running pace, but the sense of time during running It is difficult to grasp information such as distance sense.

本発明は、上述したような課題に鑑みてなされたものであり、走行している臨場感を高め、走行に関する情報を容易に把握させることができるHMDを提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an HMD capable of enhancing the sense of presence while traveling and easily grasping information related to traveling.

上記目的を達成するために、請求項1に係る発明は、ユーザの走行に関する情報を提供するHMDにおいて、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた表示を外景と重ねて行う表示部と、前記ユーザの走行ペースを検出するペース検出部と、前記ユーザの顔の向きを検出する向き検出部と、前記ペース検出部で検出した前記ユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較する比較部と、前記向き検出部の検出結果と前記比較部の比較結果に応じて、前記仮想走行者の画像を前記表示部により表示させる表示制御部と、を備えたことを特徴とするものである。   In order to achieve the above object, according to a first aspect of the present invention, in an HMD that provides information relating to a user's travel, image light corresponding to image information is incident on the user's eyes together with external light, and the image information is determined according to the image information. A display unit that superimposes the display on the outside scene, a pace detection unit that detects the travel pace of the user, a direction detection unit that detects the orientation of the user's face, and the travel of the user detected by the pace detection unit. A comparison unit that compares the pace with a preset traveling pace of the virtual rider, and an image of the virtual rider is displayed on the display unit according to the detection result of the direction detection unit and the comparison result of the comparison unit. And a display control unit for displaying.

また、請求項2に記載の発明は、請求項1に記載のHMDにおいて、前記表示制御部は、前記ユーザの走行ペースが前記仮想走行者の走行ペースよりも遅く、かつ、前記ユーザの顔が前方に向いているときに前記仮想走行者の画像を前記表示部により表示させ、前記ユーザの走行ペースが前記仮想走行者の走行ペースよりも速く、かつ、前記ユーザの顔が後方に向いているときに前記仮想走行者の画像を前記表示部により表示させることを特徴とするものである。   The invention according to claim 2 is the HMD according to claim 1, wherein the display control unit is configured such that the travel pace of the user is slower than the travel pace of the virtual runner and the face of the user is The image of the virtual rider is displayed on the display unit when facing forward, the travel pace of the user is faster than the travel pace of the virtual runner, and the user's face is facing backward Sometimes the image of the virtual runner is displayed on the display unit.

また、請求項3に記載の発明は、請求項2に記載のHMDにおいて、前記表示制御部は、前記ユーザの走行ペースが前記仮想走行者の走行ペースに対して所定範囲内にあり、かつ、前記ユーザの顔が横方向に向いているときに前記仮想走行者の画像を前記表示部により表示させることを特徴とするものである。   Moreover, the invention according to claim 3 is the HMD according to claim 2, wherein the display control unit is configured such that the travel pace of the user is within a predetermined range with respect to the travel pace of the virtual runner, and The display unit displays the virtual rider's image when the user's face is in the horizontal direction.

また、請求項4に記載の発明は、請求項2又は3に記載のHMDにおいて、前記表示制御部は、前記ユーザの走行ペースと前記仮想走行者の走行ペースとの差に応じて、前記表示部により表示させる前記仮想走行者の大きさを変更することを特徴とするものである。   According to a fourth aspect of the present invention, in the HMD according to the second or third aspect, the display control unit performs the display according to a difference between the travel pace of the user and the travel pace of the virtual traveller. The size of the virtual runner displayed by the unit is changed.

また、請求項5に記載の発明は、請求項4に記載のHMDにおいて、前記表示制御部は、前記仮想走行者との距離に応じた視差を有する左眼用画像と右眼用画像を前記表示部により表示させることにより、前記仮想走行者との距離感を表す表示を行うことを特徴とするものである。   The invention according to claim 5 is the HMD according to claim 4, wherein the display control unit displays the image for the left eye and the image for the right eye having a parallax according to a distance from the virtual runner. By displaying on the display unit, a display showing a sense of distance from the virtual runner is performed.

また、請求項6に記載の発明は、請求項4に記載のHMDにおいて、前記画像情報は、前記表示部によって表示する画像の焦点位置を変更することにより、前記仮想走行者との距離感を変更することを特徴とするものである。   The invention described in claim 6 is the HMD according to claim 4, wherein the image information changes a focal position of an image displayed by the display unit, thereby providing a sense of distance to the virtual rider. It is characterized by changing.

また、請求項7に記載の発明は、請求項1〜6のいずれか1項に記載のHMDにおいて、GPS衛星からの位置情報を取得する位置情報取得部を備え、前記ペース検出部は、前記位置情報取得部により取得した位置情報に基づき、前記ユーザの走行ペースを検出することを特徴とするものである。   The invention according to claim 7 is the HMD according to any one of claims 1 to 6, further comprising a position information acquisition unit that acquires position information from a GPS satellite, wherein the pace detection unit The travel pace of the user is detected based on the position information acquired by the position information acquisition unit.

また、請求項8に記載の発明は、請求項1〜6のいずれか1項に記載のHMDにおいて、前記ユーザの歩数を検出する歩数計を備え、前記ペース検出部は、前記歩数計により検出された前記ユーザの歩数に基づき、前記ユーザの走行ペースを検出することを特徴とするものである。   The invention according to claim 8 is the HMD according to any one of claims 1 to 6, further comprising a pedometer for detecting the number of steps of the user, wherein the pace detecting unit is detected by the pedometer. The travel pace of the user is detected based on the number of steps taken by the user.

また、請求項9に記載の発明は、請求項1〜8のいずれか1項に記載のHMDにおいて、前記ユーザの操作に基づいて前記仮想走行者の走行ペースを設定する設定部を備え、前記表示制御部は、前記設定部により設定した前記仮想走行者の走行ペースと前記ユーザの走行ペースとを比較して、当該比較結果に応じた画像を表示することを特徴とするものである。   The invention according to claim 9 is the HMD according to any one of claims 1 to 8, further comprising a setting unit that sets a travel pace of the virtual travel person based on an operation of the user. The display control unit compares the travel pace of the virtual runner set by the setting unit with the travel pace of the user, and displays an image corresponding to the comparison result.

また、請求項10に記載の発明は、請求項1〜9のいずれか1項に記載のHMDにおいて、前記ペース検出部で検出した前記ユーザの走行ペースを記憶するユーザ情報記憶部を備え、前記ユーザ情報記憶部に記憶した走行ペースを前記仮想走行者の走行ペースとしたことを特徴とするものである。   The invention according to claim 10 is the HMD according to any one of claims 1 to 9, further comprising a user information storage unit that stores the travel pace of the user detected by the pace detection unit, The travel pace stored in the user information storage unit is the travel pace of the virtual runner.

本発明によれば、ユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較し、ユーザの顔の向きに応じて仮想走行者の画像を表示するようにしているため、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   According to the present invention, the user's travel pace is compared with the preset virtual travel speed of the virtual runner, and the virtual runner's image is displayed according to the orientation of the user's face. This makes it possible to enhance the sense of presence and to easily grasp information related to running.

本発明の一実施形態に係るHMDの全体的な構成を示す説明図である。It is explanatory drawing which shows the whole structure of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの表示画面を示す説明図である。It is explanatory drawing which shows the display screen of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの表示画面を示す説明図である。It is explanatory drawing which shows the display screen of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの表示画面を示す説明図である。It is explanatory drawing which shows the display screen of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの電気的及び光学的構成を示す説明図である。It is explanatory drawing which shows the electrical and optical structure of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係る制御回路の機能構成を示す説明図である。It is explanatory drawing which shows the function structure of the control circuit which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDにおいて実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process performed in HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDにおいて実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process performed in HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの表示画面を示す説明図である。It is explanatory drawing which shows the display screen of HMD which concerns on one Embodiment of this invention. 本発明の一実施形態に係るHMDの電気的及び光学的構成を示す説明図である。It is explanatory drawing which shows the electrical and optical structure of HMD which concerns on one Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図1は、本実施形態に係るHMDを示す説明図である。   Hereinafter, an embodiment of the present invention will be specifically described with reference to the drawings. FIG. 1 is an explanatory diagram showing an HMD according to the present embodiment.

[HMD概観]
本実施形態に係るHMD10は、画像情報に応じた表示を外景と重ねて行うことができるシースルー型HMDである。画像情報として、例えば、動画情報、静止画情報、文章情報があり、ユーザは外景に画像情報に応じた表示を見ることができる。
[HMD overview]
The HMD 10 according to the present embodiment is a see-through type HMD capable of performing display according to image information on the outside scene. Examples of the image information include moving image information, still image information, and text information, and the user can see a display according to the image information on the outside scene.

このHMD10は、装着したユーザ(走行者)が走行する際に、そのユーザの走行に関する情報を提供するものである。詳しく後述するが、HMD10は、ユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較した結果と、ユーザの顔の向きとに応じて、仮想走行者の画像を表示することによって、走行している臨場感を高め、走行に関する情報を容易に把握させることができるものである。なお、走行には、ジョギングなどの速度の遅い走行も含む。   The HMD 10 provides information related to the user's travel when the user (runner) who wears the vehicle travels. As will be described in detail later, the HMD 10 displays the image of the virtual runner according to the result of comparing the user's running pace with the preset running pace of the virtual runner and the orientation of the user's face. Therefore, it is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling. The traveling includes traveling at a low speed such as jogging.

図1に示すように、本実施形態に係るHMD10は、制御ボックス1と、制御ボックス1により制御される表示部2とを備えており、制御ボックス1と表示部2とは、後述する光ファイバ3などを含む伝送ケーブル6で接続されている。   As shown in FIG. 1, the HMD 10 according to the present embodiment includes a control box 1 and a display unit 2 controlled by the control box 1, and the control box 1 and the display unit 2 are optical fibers to be described later. 3 and so on.

表示部2は、HMD本体5とハーフミラー15とを備えており、眼鏡型支持部材4に取付可能である。この表示部2は、画像情報に応じた画像光Lbを外光Laと共にユーザの眼に入射させる。ユーザは、表示部2を支持している眼鏡型支持部材4を頭部に装着することで、外景に重ねて画像情報に応じた表示を視認することができる。   The display unit 2 includes an HMD main body 5 and a half mirror 15 and can be attached to the glasses-type support member 4. The display unit 2 causes the image light Lb corresponding to the image information to enter the user's eyes together with the external light La. The user can visually recognize the display according to the image information superimposed on the outside scene by wearing the eyeglass-type support member 4 supporting the display unit 2 on the head.

HMD本体5には、走査部50(図5参照)等が内蔵されている。HMD本体5は、制御ボックス1により生成される光(以下、「画像光Lb」という。)を走査部50で走査してハーフミラー15に向けて出射する。このように走査された画像光Lbはハーフミラー15で反射されてユーザの眼に導かれる。これにより、ユーザの網膜上で2次元方向に画像光Lbが走査され、画像情報に対応する画像をユーザに視認させることができる。   The HMD main body 5 includes a scanning unit 50 (see FIG. 5) and the like. The HMD main body 5 scans the light generated by the control box 1 (hereinafter referred to as “image light Lb”) with the scanning unit 50 and emits the light toward the half mirror 15. The image light Lb thus scanned is reflected by the half mirror 15 and guided to the user's eyes. Thereby, the image light Lb is scanned in a two-dimensional direction on the retina of the user, and the user can visually recognize an image corresponding to the image information.

また、HMD本体5には、磁気センサ91(図5参照)が内蔵されており、この磁気センサ91からの信号に基づき、制御ボックス1においてユーザの顔の向きを検出する。   Further, the HMD main body 5 includes a magnetic sensor 91 (see FIG. 5). Based on a signal from the magnetic sensor 91, the control box 1 detects the orientation of the user's face.

制御ボックス1には、後述する光生成部18や制御回路11(ともに図5参照)等が内蔵されており、各種コンテンツを画像信号に変換し、この画像信号に応じて強度変調された3各色(赤色、緑色、青色)の光を合波した光である画像光Lbを生成し、HMD本体5の表示部2に対して供給する処理を主に行う。   The control box 1 incorporates a light generation section 18 and a control circuit 11 (both see FIG. 5), which will be described later, and converts various contents into image signals, and each of the three colors intensity-modulated according to the image signals. Processing that generates image light Lb that is light obtained by combining light of (red, green, and blue) and supplies the image light Lb to the display unit 2 of the HMD main body 5 is mainly performed.

[表示画面]
ここで、本実施形態に係るHMD10における表示画面について、図2から図4を参照して説明する。図2から図4は、本実施形態に係るHMD10の表示画面を示す説明図である。
[Display screen]
Here, a display screen in the HMD 10 according to the present embodiment will be described with reference to FIGS. 2 to 4 are explanatory diagrams illustrating display screens of the HMD 10 according to the present embodiment.

このHMD10においては、ユーザの頭部に装着されるが、その表示内容としては、例えば、図2から図4に示すように、仮想走行者が表示される。また、仮想走行者以外に、右上方に走行距離や残り距離などが表示されるが、これに限らず、例えば、走行ペースや走行時間、心拍数、消費カロリーなどが表示されてもよい。   The HMD 10 is worn on the user's head. As the display content, for example, as shown in FIGS. 2 to 4, a virtual runner is displayed. In addition to the virtual runner, the travel distance, the remaining distance, and the like are displayed on the upper right. However, the present invention is not limited thereto, and for example, the travel pace, the travel time, the heart rate, the calorie consumption, and the like may be displayed.

このような画像は、実際のユーザの走行ペースと基準となる仮想走行者の走行ペースとの比較結果とユーザの顔の向きとに基づいて、決定される。   Such an image is determined based on the comparison result between the actual user's travel pace and the reference virtual travel speed and the orientation of the user's face.

例えば、実際のユーザの走行ペースと、仮想走行者の走行ペースとが比較された結果、仮想走行者の走行ペースのほうが速く、かつ、ユーザの顔が前方に向いている場合には、図2に示すように、仮想走行者が前を走行している画像(後姿画像)が表示されることとなる。   For example, when the actual user's travel pace is compared with the virtual runner's travel pace, when the virtual runner's travel pace is faster and the user's face is facing forward, FIG. As shown in FIG. 4, an image (rear view image) in which the virtual runner is running in front is displayed.

また、例えば、実際のユーザの走行ペースと、仮想走行者の走行ペースとが比較された結果、仮想走行者の走行ペースのほうが遅く、かつ、ユーザの顔が後ろを向いている場合には、図3に示すように、仮想走行者が後ろを走行している画像(前姿画像)が表示されることとなる。   Also, for example, as a result of comparing the actual user's travel pace with the virtual runner's travel pace, when the virtual runner's travel pace is slower and the user's face is facing backwards, As shown in FIG. 3, an image (front image) in which the virtual runner is running behind is displayed.

また、例えば、実際のユーザの走行ペースと、仮想走行者の走行ペースとが比較された結果、実際のユーザの走行ペース仮想走行者の走行ペースとが所定範囲内であり、かつ、ユーザの顔が横を向いている場合には、図4に示すように、仮想走行者が横を走行している画像(横姿画像)が表示されることとなる。   Further, for example, as a result of comparison between the actual user's travel pace and the virtual runner's travel pace, the actual user's travel pace and the virtual runner's travel pace are within a predetermined range, and the user's face When the vehicle is facing sideways, as shown in FIG. 4, an image (side view image) in which the virtual vehicle is traveling sideways is displayed.

このように、ユーザの走行ペースと仮想走行者の走行ペースとを比較した結果と、ユーザの顔の向きとに応じて仮想走行者を表示するようにしているため、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   Thus, since the virtual runner is displayed according to the result of comparing the user's running pace and the running pace of the virtual runner and the orientation of the user's face, the realism of running is felt. It is possible to easily grasp information related to traveling.

また、詳しく後述するが、実際のユーザの走行ペースと仮想走行者の走行ペースとの差によって、仮想走行者の大きさが変更される。すなわち、それらの走行ペースの差が大きければ大きいほど、仮想走行者を小さく表示し、それらの走行ペースの差が小さければ小さいほど、仮想走行者を大きく表示することによって、仮想走行者との距離感(遠近感)を表すことができ、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   As will be described in detail later, the size of the virtual runner is changed depending on the difference between the actual user's travel pace and the virtual runner's travel pace. That is, the larger the difference between the running paces, the smaller the virtual runner is displayed, and the smaller the difference between the running paces, the larger the virtual runner is displayed. It is possible to express a sense of feeling (perspective), enhance a sense of presence while traveling, and easily grasp information related to traveling.

[HMDの電気的構成]
本実施形態におけるHMD10の電気的構成などについて図5を用いて説明する。
[Electrical configuration of HMD]
The electrical configuration of the HMD 10 in this embodiment will be described with reference to FIG.

HMD10は、上述したように制御ボックス1と、表示部2と、ハーフミラー15とを備えている。制御ボックス1は、制御回路11と、外部入出力端子12と、位置情報取得部14と、光生成部18と、コンテンツ記憶部95と、電源ボタン94と、操作入力部93と、設定ボタン92とを有している。また、表示部2は、走査部50と、第2リレー光学系54とを有している。   The HMD 10 includes the control box 1, the display unit 2, and the half mirror 15 as described above. The control box 1 includes a control circuit 11, an external input / output terminal 12, a position information acquisition unit 14, a light generation unit 18, a content storage unit 95, a power button 94, an operation input unit 93, and a setting button 92. And have. The display unit 2 includes a scanning unit 50 and a second relay optical system 54.

HMD10では、制御回路11から供給される画像信号Sに基づいて光生成部18により画像光Lbを生成し、この画像光Lbを走査部50で2次元的に走査して、第2リレー光学系54及びハーフミラー15を介して、ユーザの眼110に入射するようにしている。以下、画像信号Sに応じた画像をユーザの眼110に光学的に導く構成について具体的に説明する。   In the HMD 10, the light generation unit 18 generates image light Lb based on the image signal S supplied from the control circuit 11, and the image light Lb is two-dimensionally scanned by the scanning unit 50, and the second relay optical system. 54 and the half mirror 15 are incident on the user's eyes 110. Hereinafter, a configuration in which an image corresponding to the image signal S is optically guided to the user's eye 110 will be specifically described.

光生成部18には、駆動信号供給回路19と、光源部20が設けられる。駆動信号供給回路19は、入力される画像信号Sに基づいて、画像を形成するための要素となる三原色それぞれの色に応じた各色(赤色、緑色、青色)の画像信号を画素単位で生成する。すなわち、駆動信号供給回路19からは、各色の画像信号として、R(赤色)駆動信号21r,G(緑色)駆動信号21g,B(青色)駆動信号21bが生成されて出力される。また、駆動信号供給回路19は、高速走査部22で使用される高速駆動信号23と、低速走査部24で使用される低速駆動信号25とをそれぞれ出力する。   The light generation unit 18 is provided with a drive signal supply circuit 19 and a light source unit 20. Based on the input image signal S, the drive signal supply circuit 19 generates an image signal of each color (red, green, blue) corresponding to each of the three primary colors, which are elements for forming an image, in units of pixels. . That is, the drive signal supply circuit 19 generates and outputs R (red) drive signal 21r, G (green) drive signal 21g, and B (blue) drive signal 21b as image signals of the respective colors. The drive signal supply circuit 19 outputs a high-speed drive signal 23 used in the high-speed scanning unit 22 and a low-speed drive signal 25 used in the low-speed scanning unit 24, respectively.

光源部20には、Rレーザドライバ31,Gレーザドライバ32,Bレーザドライバ33が設けられる。Rレーザドライバ31,Gレーザドライバ32,Bレーザドライバ33は、それぞれ駆動信号供給回路19から出力されるR駆動信号21r,G駆動信号21g,B駆動信号21bをもとに、Rレーザ27,Gレーザ28,Bレーザ29へそれぞれ駆動電流を供給する。各レーザ27,28,29は、各レーザドライバ31,32,33から供給される駆動電流に応じて強度変調されたレーザ光(「光束」とも呼ぶ。)を出射する。各レーザ27,28,29は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。   The light source unit 20 is provided with an R laser driver 31, a G laser driver 32, and a B laser driver 33. The R laser driver 31, the G laser driver 32, and the B laser driver 33 are based on the R drive signal 21r, the G drive signal 21g, and the B drive signal 21b output from the drive signal supply circuit 19, respectively. Drive currents are supplied to the laser 28 and the B laser 29, respectively. Each of the lasers 27, 28, and 29 emits laser light (also referred to as “light beam”) that is intensity-modulated according to the drive current supplied from each of the laser drivers 31, 32, and 33. Each of the lasers 27, 28, and 29 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism. If a semiconductor laser is used, the drive current can be directly modulated to modulate the intensity of the laser beam. However, if a solid-state laser is used, each laser is equipped with an external modulator, and the intensity of the laser beam is modulated. Need to do.

さらに、光源部20には、コリメート光学系35,36,37と、このコリメートされたレーザ光を合波するためのダイクロイックミラー38,39,40と、結合光学系41とが設けられている。各レーザ27,28,29から出射したレーザ光は、コリメート光学系35,36,37によってそれぞれ平行光化された後に、ダイクロイックミラー38,39,40に入射される。その後、これらのダイクロイックミラー38,39,40により、3原色の各レーザ光が波長選択的に反射・透過して結合光学系41に達し、合波されて光ファイバ3へ出射される。このように光ファイバ3へ出射されるレーザ光は、画像光Lbであり、強度変調された各色のレーザ光が合波されたものである。   Further, the light source unit 20 is provided with collimating optical systems 35, 36, and 37, dichroic mirrors 38, 39, and 40 for multiplexing the collimated laser beams, and a coupling optical system 41. Laser beams emitted from the lasers 27, 28, and 29 are collimated by collimating optical systems 35, 36, and 37, respectively, and then enter the dichroic mirrors 38, 39, and 40. Thereafter, the laser beams of the three primary colors are selectively reflected and transmitted by the wavelength by these dichroic mirrors 38, 39, and 40, reach the coupling optical system 41, and are combined and emitted to the optical fiber 3. Thus, the laser light emitted to the optical fiber 3 is the image light Lb, which is a combination of intensity-modulated laser light of each color.

コリメート光学系52は、光源部20で生成され、光ファイバ3を介して出射されるレーザ光を平行光化する。高速走査部22及び低速走査部24は、光ファイバ3から入射されたレーザ光を画像として利用者の網膜110bに投影可能な状態にするために、主走査方向と副走査方向に走査して走査光束とする走査部を構成する。高速走査部22は、コリメート光学系52で平行光化されて入射するレーザ光を画像表示のために主走査方向に往復走査する。また、低速走査部24は、高速走査部22で主走査方向に走査され、第1リレー光学系53を介して入射するレーザ光を主走査方向に略直交する副走査方向に走査する。なお、ここでは、表示する画像の水平方向を主走査方向をとし、表示する画像の垂直方向を副走査方向とするが、主走査方向が垂直方向、副走査方向が水平方向であっても良い。   The collimating optical system 52 collimates the laser beam generated by the light source unit 20 and emitted through the optical fiber 3. The high-speed scanning unit 22 and the low-speed scanning unit 24 scan and scan in the main scanning direction and the sub-scanning direction so that the laser light incident from the optical fiber 3 can be projected as an image onto the user's retina 110b. A scanning unit for forming a light beam is configured. The high-speed scanning unit 22 reciprocally scans the incident laser light that has been collimated by the collimating optical system 52 in the main scanning direction for image display. The low-speed scanning unit 24 scans in the main scanning direction by the high-speed scanning unit 22, and scans the laser light incident through the first relay optical system 53 in the sub-scanning direction substantially orthogonal to the main scanning direction. Here, the horizontal direction of the image to be displayed is the main scanning direction and the vertical direction of the image to be displayed is the sub-scanning direction, but the main scanning direction may be the vertical direction and the sub-scanning direction may be the horizontal direction. .

高速走査部22は、レーザ光を主走査方向に走査する反射ミラー22bを有する偏向素子22aと、この偏向素子22aの反射ミラー22bを揺動させる駆動信号を高速駆動信号23に基づいて発生する高速走査駆動回路22cを備えている。   The high-speed scanning unit 22 generates, based on the high-speed drive signal 23, a deflection element 22a having a reflection mirror 22b that scans laser light in the main scanning direction, and a drive signal that swings the reflection mirror 22b of the deflection element 22a. A scanning drive circuit 22c is provided.

一方、低速走査部24は、レーザ光を副走査方向に走査する反射ミラー24bを有する偏向素子24aと、この偏向素子24aの反射ミラー22bを揺動させる駆動信号を低速駆動信号25に基づいて発生する低速走査駆動回路24cとを備える。この低速走査部24は、表示すべき画像の1フレームごとに、画像を形成するためのレーザ光を最初の走査線から最後の走査線に向かって副走査方向に走査する。ここで「走査線」とは、高速走査部22による主走査方向への1走査を意味する。   On the other hand, the low-speed scanning unit 24 generates, based on the low-speed drive signal 25, a deflection element 24a having a reflection mirror 24b that scans the laser light in the sub-scanning direction, and a swing signal that swings the reflection mirror 22b of the deflection element 24a. And a low-speed scanning drive circuit 24c. The low-speed scanning unit 24 scans laser light for forming an image in the sub-scanning direction from the first scanning line toward the last scanning line for each frame of the image to be displayed. Here, “scanning line” means one scanning in the main scanning direction by the high-speed scanning unit 22.

偏向素子22a,24aは、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその反射ミラー22b,24bを揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。   The deflecting elements 22a and 24a are galvanometer mirrors here. However, as long as the reflecting mirrors 22b and 24b can be swung or rotated so as to scan the laser beam, piezoelectric driving, electromagnetic driving, static Any driving method such as electric driving may be used.

高速走査部22と低速走査部24との間でレーザ光を中継する第1リレー光学系53は、偏向素子22aの反射ミラー22bによって主走査方向に走査されたレーザ光を偏向素子24aの反射ミラー24bに収束させる。そして、このレーザ光が偏向素子24aの反射ミラー24bによって副走査方向に走査される。偏向素子24aによって走査されたレーザ光は、正の屈折力を持つ2つのレンズ54a,54bが直列配置された第2リレー光学系54を介して、眼110の前方に位置させたハーフミラー15で反射されて利用者の瞳孔110aに入射する。これにより、網膜110b上に画像信号Sに応じた画像が投影され、利用者は瞳孔110aに入射するレーザ光(画像光Lb)を画像として認識する。また、ハーフミラー15は外光Laを透過して利用者の瞳孔110aに入射させるようにしており、これにより利用者は外光Laに基づく外景に画像光Lbに基づく画像を重ねた画像を視認することができる。   The first relay optical system 53 that relays the laser beam between the high-speed scanning unit 22 and the low-speed scanning unit 24 converts the laser beam scanned in the main scanning direction by the reflection mirror 22b of the deflection element 22a to the reflection mirror of the deflection element 24a. Converge to 24b. Then, this laser beam is scanned in the sub-scanning direction by the reflection mirror 24b of the deflection element 24a. The laser beam scanned by the deflection element 24a is transmitted by the half mirror 15 positioned in front of the eye 110 via the second relay optical system 54 in which two lenses 54a and 54b having positive refractive power are arranged in series. It is reflected and enters the user's pupil 110a. As a result, an image corresponding to the image signal S is projected on the retina 110b, and the user recognizes the laser light (image light Lb) incident on the pupil 110a as an image. Further, the half mirror 15 transmits the external light La so as to enter the pupil 110a of the user, so that the user can visually recognize an image in which the image based on the image light Lb is superimposed on the external scene based on the external light La. can do.

なお、第2リレー光学系54においては、レンズ54aによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ54bによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線が利用者の瞳孔110aに収束するように変換される。   In the second relay optical system 54, the respective laser beams are made substantially parallel to each other and converted into convergent laser beams by the lens 54a. The laser beams are converted into substantially parallel laser beams by the lens 54b, and the center lines of these laser beams are converted so as to converge on the user's pupil 110a.

次に、制御回路11について説明する。この制御回路11は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)としてのメモリ102と、RAM(Random Access Memory)103と、表示させる画像データを一時記憶しておくVRAM(Video Random Access Memory)104とを備えている。これらCPU101、メモリ102、RAM103、VRAM104は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。なお、メモリ102としては、例えば、書き換え不可なマスクROMも利用できるが、本実施例では、書き換え可能な不揮発性メモリであるフラッシュメモリを用いている。   Next, the control circuit 11 will be described. The control circuit 11 includes a CPU (Central Processing Unit) 101, a memory 102 as a ROM (Read Only Memory), a RAM (Random Access Memory) 103, and a VRAM (Video Random) for temporarily storing image data to be displayed. Access Memory) 104. The CPU 101, the memory 102, the RAM 103, and the VRAM 104 are respectively connected to a data communication bus, and various information is transmitted and received through the data communication bus. For example, a non-rewritable mask ROM can be used as the memory 102, but in this embodiment, a flash memory which is a rewritable nonvolatile memory is used.

また、この制御回路11は、外部入出力端子12、位置情報取得部14、磁気センサ91、設定ボタン92、操作入力部93、電源ボタン94、コンテンツ記憶部95とも接続されている。外部入出力端子12は、パーソナルコンピュータ等の外部装置と接続可能な外部入出力端子である。位置情報取得部14は、GPS(Global Positioning System)衛星からHMD10の位置、すなわちユーザの位置情報を取得する機能を有する。設定ボタン92は、ユーザによって操作可能であり、各種設定を行うためのボタンである。操作入力部93は、ユーザによって操作可能な操作入力部である。電源ボタン94は、HMD10の電源をON/OFFするためのボタンである。コンテンツ記憶部95には、各種の画像情報として画像データが記憶されている。   The control circuit 11 is also connected to an external input / output terminal 12, a position information acquisition unit 14, a magnetic sensor 91, a setting button 92, an operation input unit 93, a power button 94, and a content storage unit 95. The external input / output terminal 12 is an external input / output terminal that can be connected to an external device such as a personal computer. The position information acquisition unit 14 has a function of acquiring the position of the HMD 10, that is, the position information of the user, from a GPS (Global Positioning System) satellite. The setting button 92 can be operated by the user and is a button for performing various settings. The operation input unit 93 is an operation input unit that can be operated by a user. The power button 94 is a button for turning on / off the power of the HMD 10. The content storage unit 95 stores image data as various types of image information.

CPU101は、メモリ102に記憶されている各種情報処理プログラムを実行することにより、HMD10を構成する各種回路を動作させて、HMD10が備える各種機能を実行させる演算処理装置である。   The CPU 101 is an arithmetic processing device that operates various circuits included in the HMD 10 by executing various information processing programs stored in the memory 102 and executes various functions included in the HMD 10.

メモリ102は、HMD10により表示するコンテンツの表示制御を行う際に光生成部18や走査部50等を動作させるための情報処理プログラム等、制御回路11がHMD10全体の動作を統括制御するためにCPU101により実行される各種情報処理プログラムを記憶している。なお、本実施形態においては、メモリ102に各種情報処理プログラムが記憶されるが、これに限らず、例えば、別途、各種情報処理プログラムを記憶したメモリーカードなどの記録媒体から図示しない記録媒体ドライブを介して、メモリ102に記憶するようにしてもよい。   The memory 102 includes a CPU 101 for the control circuit 11 to control the overall operation of the HMD 10 such as an information processing program for operating the light generation unit 18 and the scanning unit 50 when performing display control of content displayed by the HMD 10. It stores various information processing programs executed by. In the present embodiment, various information processing programs are stored in the memory 102. However, the present invention is not limited to this. For example, a recording medium drive (not shown) is separately used from a recording medium such as a memory card that stores various information processing programs. And may be stored in the memory 102.

また、VRAM104には、メモリ102に記憶されているプログラムに基づいて画像を表示させる場合に、コンテンツ記憶部95などから読み出した画像データが展開される。CPU101は、このVRAM104に展開された画像データに基づいて画像信号Sを生成する。   Further, when displaying an image based on a program stored in the memory 102, the image data read from the content storage unit 95 or the like is expanded in the VRAM 104. The CPU 101 generates an image signal S based on the image data developed in the VRAM 104.

[制御回路11の機能構成]
ここで、制御回路11の機能構成等について、図6を参照して説明する。
[Functional configuration of control circuit 11]
Here, a functional configuration and the like of the control circuit 11 will be described with reference to FIG.

そして、HMD10における制御回路11は、ペース検出部201と、設定部202と、ユーザ情報記憶部203と、向き検出部204と、比較部205と、表示制御部206と、を有している。HMD10の制御回路11において、後述のCPU101が所定の情報処理プログラムを実行することによって、ペース検出部201、設定部202、ユーザ情報記憶部203、向き検出部204、比較部205、表示制御部206として制御回路11が機能することとなる。   The control circuit 11 in the HMD 10 includes a pace detection unit 201, a setting unit 202, a user information storage unit 203, a direction detection unit 204, a comparison unit 205, and a display control unit 206. In the control circuit 11 of the HMD 10, a CPU 101 (to be described later) executes a predetermined information processing program, whereby a pace detection unit 201, a setting unit 202, a user information storage unit 203, a direction detection unit 204, a comparison unit 205, and a display control unit 206. As a result, the control circuit 11 functions.

ペース検出部201は、ユーザの走行ペースを検出する。特に、ペース検出部201は、位置情報取得部14により取得したユーザの位置情報に基づき、ユーザの走行ペースを検出する。   The pace detector 201 detects the user's running pace. In particular, the pace detection unit 201 detects the user's running pace based on the user's position information acquired by the position information acquisition unit 14.

設定部202は、ユーザの操作に基づいて仮想走行者の走行ペースをユーザ情報記憶部203に記憶して設定する。特に、設定部202は、ユーザ情報記憶部203に記憶した走行ペースを仮想走行者の走行ペースとした。   The setting unit 202 stores and sets the travel pace of the virtual runner in the user information storage unit 203 based on the user's operation. In particular, the setting unit 202 sets the travel pace stored in the user information storage unit 203 as the travel pace of the virtual traveller.

ユーザ情報記憶部203は、メモリ102で構成され、ペース検出部201で検出したユーザの走行ペースを記憶する。   The user information storage unit 203 includes the memory 102 and stores the user's running pace detected by the pace detection unit 201.

比較部205は、ペース検出部201で検出したユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較する。   The comparison unit 205 compares the user's travel pace detected by the pace detection unit 201 with a preset virtual travel person's travel pace.

表示制御部206は、向き検出部204の検出結果と比較部205の比較結果に応じて、仮想走行者の画像を表示部2により表示させる。また、表示制御部206は、設定部202により設定した仮想走行者の走行ペースとユーザの走行ペースとを比較して、当該比較結果に応じた画像を表示する。   The display control unit 206 causes the display unit 2 to display an image of the virtual runner according to the detection result of the direction detection unit 204 and the comparison result of the comparison unit 205. The display control unit 206 also compares the travel pace of the virtual runner set by the setting unit 202 with the travel pace of the user, and displays an image corresponding to the comparison result.

特に、表示制御部206は、ユーザの走行ペースが仮想走行者の走行ペースよりも遅く、かつ、ユーザの顔が前方に向いているときに仮想走行者の画像を表示部2により表示させる。また、表示制御部206は、ユーザの走行ペースが仮想走行者の走行ペースよりも速く、かつ、ユーザの顔が後方に向いているときに仮想走行者の画像を表示部2により表示させる。また、表示制御部206は、ユーザの走行ペースが仮想走行者の走行ペースに対して所定範囲内にあり、かつ、ユーザの顔が横方向に向いているときに仮想走行者の画像を表示部2により表示させる。   In particular, the display control unit 206 causes the display unit 2 to display an image of the virtual runner when the user's running pace is slower than the virtual runner's running pace and the user's face is facing forward. The display control unit 206 causes the display unit 2 to display an image of the virtual runner when the user's travel pace is faster than the virtual runner's travel pace and the user's face is facing backward. In addition, the display control unit 206 displays an image of the virtual runner when the user's running pace is within a predetermined range with respect to the running pace of the virtual runner and the user's face is facing sideways. 2 is displayed.

また、表示制御部206は、ユーザの走行ペースと仮想走行者の走行ペースとの差に応じて、表示部2により表示させる仮想走行者の大きさを変更する。   Further, the display control unit 206 changes the size of the virtual runner displayed by the display unit 2 according to the difference between the travel pace of the user and the travel pace of the virtual runner.

[制御動作]
次に、図7及び図8のフローチャートを参照して、HMD10の動作について説明する。図7に示す処理は、HMD10の電源がオンされた際に制御回路11によって実行される。
[Control action]
Next, the operation of the HMD 10 will be described with reference to the flowcharts of FIGS. The process shown in FIG. 7 is executed by the control circuit 11 when the power of the HMD 10 is turned on.

本実施形態のHMD10において、制御回路11は、内部に記憶している情報処理プログラムを実行することによって、上記したペース検出部201、設定部202、ユーザ情報記憶部203、比較部205、表示制御部206等として機能することとなる。   In the HMD 10 of the present embodiment, the control circuit 11 executes the information processing program stored therein, thereby executing the above-described pace detection unit 201, setting unit 202, user information storage unit 203, comparison unit 205, display control. It functions as the unit 206 and the like.

[メイン処理]
最初に、図7に示すように、HMD10に電源が投入されると、制御回路11は、初期設定を行う(ステップS11)。この処理において、制御回路11は、RAMアクセス許可、作業領域の初期化等を実行する。この処理が終了した場合には、ステップS12に処理を移す。
[Main processing]
First, as shown in FIG. 7, when the HMD 10 is powered on, the control circuit 11 performs initial setting (step S11). In this process, the control circuit 11 executes RAM access permission, work area initialization, and the like. If this process ends, the process moves to a step S12.

ステップS12において、制御回路11は、ランニング設定処理を実行する。この処理において、制御回路11は、設定ボタン92からの操作信号に応じて、ランニング中の基準となる仮想走行者の走行ペースを設定する。また、このように設定される走行ペースは、予め基準としてHMD10に設定されている走行ペースや、詳しく後述するが、実際に以前にユーザにより走行された走行ペースから選択でき、数値を直接的に入力可能としてもよい。つまり、制御回路11は、ユーザの操作に基づいて仮想走行者の走行ペースを設定し、特に、実際に検出したユーザの走行ペースを仮想走行者の走行ペースとして設定可能である。このような処理を実行することによって、制御回路11は、設定部202として機能する。また、制御回路11は、上述した設定とは別に、設定ボタン92からの操作信号に応じて、仮想走行者の画像・動画の種類を選択したり、ランニングのスタート位置を設定したりすることも可能である。この処理が終了した場合には、ステップS13に処理を移す。   In step S12, the control circuit 11 executes a running setting process. In this process, the control circuit 11 sets the running pace of the virtual rider serving as a reference during running in accordance with the operation signal from the setting button 92. Further, the travel pace set in this way can be selected from the travel pace set in advance in the HMD 10 as a reference or the travel pace actually traveled by the user before, and the numerical value can be directly set. Input may be possible. That is, the control circuit 11 can set the travel pace of the virtual runner based on the user's operation, and can set the travel pace of the user actually detected as the travel pace of the virtual runner. By executing such processing, the control circuit 11 functions as the setting unit 202. In addition to the above-described setting, the control circuit 11 may select the type of image / video of the virtual rider or set the running start position in response to an operation signal from the setting button 92. Is possible. If this process ends, the process moves to a step S13.

ステップS13において、制御回路11は、ランニング開始か否かを判定する。この処理において、制御回路11は、操作入力部93の操作に応じてランニング開始か否かを判定することとなる。本実施形態においては、操作入力部93の操作に応じてランニング開始か否かを判定するが、これに限らず、例えば、位置情報取得部14が取得したユーザの位置情報に基づいて、ランニング開始か否かを判定してもよい。制御回路11は、ランニング開始と判定すると(ステップS13:YES)、ランニング開始時からの経過時間の計測を開始し、ステップS14に処理を移す。一方、制御回路11は、ランニング開始ではないと判定すると(ステップS13:NO)、再度、ステップS12に処理を移す。これによって、操作入力部93が操作されるかまで、ステップS12、ステップS13を繰り返し実行することとなる。   In step S13, the control circuit 11 determines whether or not the running is started. In this process, the control circuit 11 determines whether or not to start running according to the operation of the operation input unit 93. In the present embodiment, whether or not to start running is determined according to the operation of the operation input unit 93. However, the present invention is not limited to this. For example, the running start is performed based on the user position information acquired by the position information acquisition unit 14. It may be determined whether or not. When the control circuit 11 determines that the running is started (step S13: YES), the control circuit 11 starts measuring the elapsed time from the start of running, and moves the process to step S14. On the other hand, if the control circuit 11 determines that it is not the start of running (step S13: NO), it moves the process to step S12 again. Thus, steps S12 and S13 are repeatedly executed until the operation input unit 93 is operated.

ステップS14において、制御回路11は、ユーザの走行距離を算出する。この処理において、制御回路11は、ユーザの位置情報を位置情報取得部14から受信する。そして、制御回路11は、設定されているランニングのスタート位置から、受信したユーザの位置情報までの距離を算出する。このように、制御回路11は、位置情報取得部14からユーザの位置情報を取得し、その位置情報に基づき、ユーザの走行ペースを検出する。このような処理を実行することによって、制御回路11は、ペース検出部201として機能する。この処理が終了した場合には、ステップS15に処理を移す。   In step S14, the control circuit 11 calculates the travel distance of the user. In this process, the control circuit 11 receives user position information from the position information acquisition unit 14. Then, the control circuit 11 calculates a distance from the set running start position to the received position information of the user. In this way, the control circuit 11 acquires the user's position information from the position information acquisition unit 14 and detects the user's running pace based on the position information. By executing such processing, the control circuit 11 functions as the pace detector 201. If this process ends, the process moves to a step S15.

ステップS15において、制御回路11は、仮想走行者の走行距離を算出する。この処理において、制御回路11は、ステップS13においてランニング開始と判定されてから計測されている経過時間と、ステップS12において設定された走行ペースとに基づいて、仮想走行者の走行距離を算出する。この処理が終了した場合には、ステップS16に処理を移す。   In step S15, the control circuit 11 calculates the travel distance of the virtual traveller. In this process, the control circuit 11 calculates the travel distance of the virtual rider based on the elapsed time measured since the start of running is determined in Step S13 and the travel pace set in Step S12. If this process ends, the process moves to a step S16.

ステップS16において、制御回路11は、仮想走行者の走行距離とユーザの走行距離とを比較する。この処理において、制御回路11は、ステップS15において算出された仮想走行者の走行距離(以下、「仮想距離」という)と、ステップS14において算出されたユーザの走行距離(以下、「実際距離」という)とを比較する。つまり、制御回路11は、上述したように、検出したユーザの走行ペースと、予め設定されている仮想走行者の走行ペースとを比較する。このような処理を実行することによって、制御回路11は、比較部として機能する。この処理が終了した場合には、ステップS17に処理を移す。   In step S16, the control circuit 11 compares the travel distance of the virtual traveller and the travel distance of the user. In this process, the control circuit 11 determines the travel distance of the virtual rider calculated in step S15 (hereinafter referred to as “virtual distance”) and the travel distance of the user calculated in step S14 (hereinafter referred to as “actual distance”). ). That is, as described above, the control circuit 11 compares the detected travel pace of the user with the preset travel speed of the virtual runner. By executing such processing, the control circuit 11 functions as a comparison unit. If this process ends, the process moves to a step S17.

ステップS17において、制御回路11は、ユーザがどの方角を向いているか検出する。この処理において、制御回路11は、磁気センサ91からの信号に基づいて、ユーザがどの方向を向いているか検出する。具体的には、制御回路11は、磁気センサ91からの信号に基づいて、所定時間における平均値を算出し、ユーザがどの方角を向いているかを検出することとなる。このような磁気センサ91は、ユーザの顔の向きを検出する向き検出部として機能する。この処理が終了した場合には、ステップS18に処理を移す。   In step S17, the control circuit 11 detects which direction the user is facing. In this process, the control circuit 11 detects which direction the user is facing based on the signal from the magnetic sensor 91. Specifically, the control circuit 11 calculates an average value for a predetermined time based on a signal from the magnetic sensor 91 and detects which direction the user is facing. Such a magnetic sensor 91 functions as an orientation detection unit that detects the orientation of the user's face. If this process ends, the process moves to a step S18.

ステップS18において、制御回路11は、表示内容決定処理を実行する。詳しくは図8を用いて後述するが、制御回路11は、上述した検出結果や比較結果に応じて、仮想走行者の画像など、表示させる内容を決定し、表示させる。このような処理を実行することによって、制御回路11は、表示制御部206として機能する。この処理が終了した場合には、ステップS19に処理を移す。   In step S18, the control circuit 11 executes a display content determination process. Although details will be described later with reference to FIG. 8, the control circuit 11 determines and displays the content to be displayed, such as an image of the virtual rider, according to the detection result and the comparison result described above. By executing such processing, the control circuit 11 functions as the display control unit 206. If this process ends, the process moves to a step S19.

ステップS19において、制御回路11は、ランニング終了か否かを判定する。この処理において、制御回路11は、操作入力部93の操作に応じて、ランニング終了か否かを判定することとなる。本実施形態においては、操作入力部93の操作に応じて、ランニング終了か否かを判定したが、これに限らず、例えば、位置情報取得部14で取得したユーザの位置情報に基づいて、ランニング終了か否かを判定してもよい。制御回路11は、ランニング終了であると判定すると(ステップS19:YES)、ステップS20に処理を移す。一方、制御回路11は、ランニング終了ではないと判定すると(ステップS19:NO)、ステップS14に処理を移す。これによって、ランニング終了と判定されるまで上述した各種処理が継続されることとなる。   In step S19, the control circuit 11 determines whether or not the running is finished. In this process, the control circuit 11 determines whether or not the running is finished according to the operation of the operation input unit 93. In the present embodiment, whether or not the running is finished is determined according to the operation of the operation input unit 93. However, the present invention is not limited to this. For example, the running is performed based on the user's position information acquired by the position information acquisition unit 14. You may determine whether it is an end. When the control circuit 11 determines that the running is finished (step S19: YES), the process proceeds to step S20. On the other hand, if the control circuit 11 determines that the running is not finished (step S19: NO), the process proceeds to step S14. Thus, the various processes described above are continued until it is determined that the running is finished.

ステップS20において、制御回路11は、時間計測終了処理を実行する。この処理において、制御回路11は、継続してきた経過時間の計測を停止させる。そして、制御回路11は、通過地点間毎に計測した経過時間データをメモリ102に記憶し(ステップS21)、ユーザの履歴データとして登録する(ステップS22)。つまり、制御回路11は、検出したユーザの走行ペースを記憶する。このような処理を実行することによって、制御回路11は、ユーザ情報記憶部203として機能する。この処理が終了した場合には、ステップS23に処理を移す。これによって、走行したユーザの走行ペースの計測履歴を記憶することができ、以前のユーザの履歴に応じた走行ペースなど、ユーザに応じた走行ペースの設定が可能となり、簡便である。   In step S20, the control circuit 11 executes time measurement end processing. In this process, the control circuit 11 stops the measurement of the elapsed time that has been continued. And the control circuit 11 memorize | stores the elapsed time data measured for every passing point in the memory 102 (step S21), and registers as a user's historical data (step S22). That is, the control circuit 11 stores the detected travel pace of the user. By executing such processing, the control circuit 11 functions as the user information storage unit 203. If this process ends, the process moves to a step S23. Thus, the travel pace measurement history of the user who has traveled can be stored, and the travel pace according to the user such as the travel pace according to the previous user history can be set, which is convenient.

ステップS23において、制御回路11は、電源オフであるか否かを判定する。この処理において、制御回路11は、電源ボタン94の操作等に応じて、電源オフであるか否かを判定することとなる。制御回路11は、電源オフであると判定すると(ステップS23:YES)、メイン処理を終了する。一方、制御回路11は、電源オフではないと判定すると(ステップS23:NO)、再度、ステップS12に処理を移す。これによって、制御回路11は、電源オフとなるまで、ステップS12からステップS23を繰り返し実行することとなる。   In step S23, the control circuit 11 determines whether or not the power is off. In this process, the control circuit 11 determines whether or not the power is off according to the operation of the power button 94 or the like. When determining that the power is off (step S23: YES), the control circuit 11 ends the main process. On the other hand, if the control circuit 11 determines that the power supply is not turned off (step S23: NO), the process proceeds to step S12 again. As a result, the control circuit 11 repeatedly executes step S12 to step S23 until the power is turned off.

[表示内容決定処理]
図7のステップS18において実行されるサブルーチンについて図8を用いて説明する。
[Display content decision processing]
The subroutine executed in step S18 in FIG. 7 will be described with reference to FIG.

最初に、図8に示すように、制御回路11は、仮想走行者の仮想距離と実際にユーザが走行した実際距離との差が第一の閾値を超えたかを判定する(ステップS31)。この処理において、制御回路11は、上述したように、ステップS16において比較した比較結果に基づいて、仮想距離と実際距離との差が第一の閾値を超えたかを判定することとなる。また、ここでいう第一の閾値は、後述する第二の閾値よりも小さい値であり、詳しく後述するが、第一の閾値を超えた場合には、ユーザの前後に仮想走行者が走行しているものとして認識され、第一の閾値を超えていない場合には、ユーザの横に仮想走行者が走行しているものとして認識される。   First, as shown in FIG. 8, the control circuit 11 determines whether or not the difference between the virtual distance of the virtual runner and the actual distance actually traveled by the user exceeds the first threshold (step S31). In this process, as described above, the control circuit 11 determines whether the difference between the virtual distance and the actual distance exceeds the first threshold based on the comparison result compared in step S16. Further, the first threshold here is a value smaller than a second threshold described later, and will be described in detail later. When the first threshold is exceeded, the virtual runner runs before and after the user. If the first threshold is not exceeded, it is recognized that the virtual runner is running beside the user.

制御回路11は、仮想距離と実際距離との差が第一の閾値を超えたと判定すると(ステップS31:YES)、ステップS35に処理を移す。一方、制御回路11は、仮想距離と実際距離との差が第一の閾値を超えていないと判定すると(ステップS31:NO)、ステップS32に処理を移す。   If the control circuit 11 determines that the difference between the virtual distance and the actual distance has exceeded the first threshold (step S31: YES), the control circuit 11 proceeds to step S35. On the other hand, if the control circuit 11 determines that the difference between the virtual distance and the actual distance does not exceed the first threshold value (step S31: NO), the process proceeds to step S32.

ステップS35において、制御回路11は、仮想距離と実際距離との差が第二の閾値を超えたかを判定する。この処理において、制御回路11は、上述したように、ステップS16において比較した比較結果に基づいて、仮想距離と実際距離との差が第二の閾値を超えたかを判定することとなる。また、ここでいう第二の閾値は、後述する第一の閾値よりも大きい値であり、詳しく後述するが、第一の閾値を超えたが第二の閾値を超えない場合には、ユーザの前後において、あまり離れずに仮想走行者が走行しているものとして認識され、第二の閾値を超えた場合には、ユーザの前後において、大きく離れて仮想走行者が走行しているものとして認識される。   In step S35, the control circuit 11 determines whether the difference between the virtual distance and the actual distance has exceeded the second threshold. In this process, as described above, the control circuit 11 determines whether the difference between the virtual distance and the actual distance exceeds the second threshold value based on the comparison result compared in step S16. The second threshold here is a value larger than the first threshold described later, and will be described in detail later. If the first threshold is exceeded but the second threshold is not exceeded, the user's Before and after, it is recognized that the virtual runner is running without much separation, and when the second threshold is exceeded, it is recognized that the virtual runner is running far away before and after the user Is done.

制御回路11は、仮想距離と実際距離との差が第二の閾値を超えたと判定すると(ステップS35:YES)、ステップS41に処理を移す。一方、制御回路11は、仮想距離と実際距離との差が第二の閾値を超えていないと判定すると(ステップS35:NO)、ステップS51に処理を移す。   If the control circuit 11 determines that the difference between the virtual distance and the actual distance has exceeded the second threshold value (step S35: YES), the process proceeds to step S41. On the other hand, if the control circuit 11 determines that the difference between the virtual distance and the actual distance does not exceed the second threshold (step S35: NO), the process proceeds to step S51.

ステップS32において、制御回路11は、ユーザが横を向いたか否かを判定する。この処理において、制御回路11は、ステップS17の検出結果に基づいて、ユーザが横を向いたか否かを判定することとなる。制御回路11は、ユーザが横を向いたと判定すると(ステップS32:YES)、仮想走行者が横を走っている動画を表示させる(ステップS33)。この処理において表示される動画は、図9(g)に示すように、仮想走行者を横向きに視認したときの動画である。つまり、制御回路11は、ユーザの走行ペースが仮想走行者の走行ペースに対して第一の閾値を超えない所定範囲内にあり、かつ、ユーザの顔が横方向に向いているときに、仮想走行者の画像を表示させることとなる。これによって、走行ペースが所定範囲内であり、ユーザが横を向いていると判定された状態において、仮想走行者が横を走っている動画を表示させることができ、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。また、前や後ろを走行している仮想走行者よりも大きなサイズで表示させることによって、ユーザのすぐ隣りを走行しているように、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。なお、本実施形態においては、図9(g)に示すように、仮想走行者の全景を表示させたが、これに限らず、例えば、図9(h)に示すように、仮想走行者の上方のみを表示させてもよい。   In step S32, the control circuit 11 determines whether or not the user has turned sideways. In this process, the control circuit 11 determines whether or not the user has turned sideways based on the detection result in step S17. When the control circuit 11 determines that the user has turned sideways (step S32: YES), the control circuit 11 displays a moving image of the virtual runner running sideways (step S33). The moving image displayed in this process is a moving image when the virtual runner is viewed sideways as shown in FIG. That is, when the user's travel pace is within a predetermined range that does not exceed the first threshold with respect to the virtual runner's travel pace, and the user's face is facing sideways, A runner's image will be displayed. As a result, in a state where the traveling pace is within a predetermined range and the user is determined to be facing sideways, it is possible to display a moving image of the virtual traveling sideways, and to feel the presence of traveling It is possible to easily grasp information related to traveling. In addition, by displaying in a larger size than the virtual runner traveling in the front and back, it enhances the sense of realism that is traveling just as the user is traveling next to it, and makes it easy to get information about traveling It can be grasped. In this embodiment, as shown in FIG. 9G, the entire view of the virtual rider is displayed. However, the present invention is not limited to this. For example, as shown in FIG. Only the upper part may be displayed.

一方、制御回路11は、ユーザが横を向いていないと判定すると(ステップS32:NO)、仮想走行者を表示させず、本サブルーチンを終了する。つまり、制御回路11は、ユーザの走行ペースが仮想走行者の走行ペースに対して所定範囲内にあり、かつ、ユーザの顔が横方向に向いていないときに、仮想走行者の画像を表示させない。これによって、走行ペースが所定範囲内であるが、ユーザが横を向いていないと判定された状態において、仮想走行者を表示させないことによって、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   On the other hand, if the control circuit 11 determines that the user is not facing sideways (step S32: NO), the virtual runner is not displayed and the present subroutine is terminated. That is, the control circuit 11 does not display the image of the virtual runner when the user's running pace is within a predetermined range with respect to the running pace of the virtual runner and the user's face is not facing sideways. . As a result, in a state where the traveling pace is within a predetermined range but the user is determined not to turn sideways, the virtual traveling person is not displayed, thereby enhancing the sense of realism while traveling and easily providing information related to traveling. Can be grasped.

ステップS41において、制御回路11は、所定の走行ペースよりもユーザが先行しているか否かを判定する。この処理において、制御回路11は、ステップS16の比較結果に基づいて、所定の走行ペースよりもユーザが先行しているか否かを判定することとなる。制御回路11は、所定の走行ペースよりもユーザが先行していると判定すると(ステップS41:YES)、ステップS43に処理を移す。   In step S41, the control circuit 11 determines whether or not the user is ahead of a predetermined travel pace. In this process, the control circuit 11 determines whether or not the user is ahead of a predetermined travel pace based on the comparison result of step S16. When the control circuit 11 determines that the user is ahead of the predetermined travel pace (step S41: YES), the process proceeds to step S43.

一方、制御回路11は、所定の走行ペースよりもユーザが先行していないと判定すると(ステップS41:NO)、仮想走行者が前方を走っている動画を小さく表示させ(ステップS42)、本サブルーチンを終了する。この処理において表示される動画は、図9(b)に示すように、仮想走行者を後ろから視認したときの動画である。このように、ユーザが所定の走行ペースよりも先行しておらず、遅れている場合には、ユーザが後ろを向く必要がないため、前方を向いているものとして、仮想走行者を表示させることによって、仮想走行者が前方を走っている動画を表示させることとなる。また、走行ペースが第二の閾値を超えているため、仮想走行者を小さく表示することによって、仮想走行者が遠くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   On the other hand, if the control circuit 11 determines that the user is not ahead of the predetermined travel pace (step S41: NO), the control circuit 11 displays a moving image in which the virtual runner is running forward (step S42), and this subroutine. Exit. As shown in FIG. 9B, the moving image displayed in this process is a moving image when the virtual runner is viewed from behind. In this way, when the user is not ahead of the predetermined travel pace and is behind, the user does not need to face backward, so the virtual runner is displayed as facing forward. Thus, a moving image of the virtual runner running in front is displayed. In addition, since the running pace exceeds the second threshold, it is easy to recognize that the virtual rider is far away by displaying the virtual rider in a small size, and the realistic sensation of running And can easily grasp information related to running.

ステップS43において、制御回路11は、ユーザが後ろを向いたか否かを判定する。この処理において、制御回路11は、ステップS17の検出結果に基づいて、ユーザが後ろを向いたか否かを判定することとなる。制御回路11は、ユーザが後ろを向いたと判定すると(ステップS43:YES)、仮想走行者が後方を走っている動画を小さく表示させ(ステップS44)、本サブルーチンを終了する。この処理において表示される動画は、図9(d)に示すように、仮想走行者を前から視認したときの動画である。このように、ユーザが所定の走行ペースよりも先行しており、ユーザが後ろを向いている場合には、仮想走行者を表示させることによって、仮想走行者が後方を走っている動画を表示させることとなる。また、走行ペースが第二の閾値を超えているため、仮想走行者を小さく表示することによって、仮想走行者が遠くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   In step S43, the control circuit 11 determines whether or not the user has turned backward. In this process, the control circuit 11 determines whether or not the user has turned backward based on the detection result of step S17. If the control circuit 11 determines that the user is facing backward (step S43: YES), the moving image of the virtual runner running backward is displayed small (step S44), and this subroutine is terminated. As shown in FIG. 9D, the moving image displayed in this process is a moving image when the virtual runner is viewed from the front. As described above, when the user is ahead of the predetermined travel pace and the user is facing backward, the virtual runner is displayed, thereby displaying the moving image of the virtual runner running behind. It will be. In addition, since the running pace exceeds the second threshold, it is easy to recognize that the virtual rider is far away by displaying the virtual rider in a small size, and the realistic sensation of running And can easily grasp information related to running.

一方、制御回路11は、ユーザが後ろを向いていないと判定すると(ステップS43:NO)、仮想走行者が後方を走っている動画を小さく半透明で表示させ(ステップS45)、本サブルーチンを終了する。この処理において表示される動画は、図9(f)に示すように、仮想走行者を前から視認したときの半透明動画である。このように、ユーザが所定の走行ペースよりも先行しており、ユーザが後ろを向いていない場合には、仮想走行者を半透明に表示させることによって、後ろを向かなくても仮想走行者が後方を走っている動画を表示させることとなる。また、走行ペースが第二の閾値を超えているため、仮想走行者を小さく表示することによって、仮想走行者が遠くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   On the other hand, if the control circuit 11 determines that the user is not facing backward (step S43: NO), the moving image of the virtual runner running behind is displayed in a small and translucent manner (step S45), and this subroutine is terminated. To do. As shown in FIG. 9F, the moving image displayed in this process is a translucent moving image when the virtual runner is viewed from the front. As described above, when the user is ahead of the predetermined traveling pace and the user is not facing backward, the virtual traveling person is displayed without being turned backward by displaying the virtual traveling person in a translucent manner. Will display the video running behind. In addition, since the running pace exceeds the second threshold, it is easy to recognize that the virtual rider is far away by displaying the virtual rider in a small size, and the realistic sensation of running And can easily grasp information related to running.

ステップS51において、制御回路11は、所定のペースよりもユーザが先行しているか否かを判定する。この処理において、制御回路11は、ステップS16の比較結果に基づいて、所定のペースよりもユーザが先行しているか否かを判定することとなる。制御回路11は、所定のペースよりもユーザが先行していると判定すると(ステップS51:YES)、ステップS53に処理を移す。   In step S51, the control circuit 11 determines whether or not the user is ahead of a predetermined pace. In this process, the control circuit 11 determines whether or not the user is ahead of a predetermined pace based on the comparison result in step S16. If the control circuit 11 determines that the user is ahead of the predetermined pace (step S51: YES), the process proceeds to step S53.

一方、制御回路11は、所定のペースよりもユーザが先行していないと判定すると(ステップS51:NO)、仮想走行者が前方を走っている動画を大きく表示させ(ステップS52)、本サブルーチンを終了する。この処理において表示される動画は、図9(a)に示すように、仮想走行者を後ろから視認したときの動画である。このように、ユーザが所定の走行ペースよりも先行しておらず、遅れている場合には、ユーザが後ろを向く必要がないため、前方を向いているものとして、仮想走行者を表示させることによって、仮想走行者が前方を走っている動画を表示させることとなる。また、走行ペースが第一の閾値を超えるが第二の閾値を超えていないため、仮想走行者を大きく表示することによって、仮想走行者が近くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   On the other hand, if the control circuit 11 determines that the user is not ahead of the predetermined pace (step S51: NO), the control circuit 11 displays a moving image in which the virtual runner is running forward (step S52), and this subroutine is executed. finish. As shown in FIG. 9A, the moving image displayed in this process is a moving image when the virtual runner is viewed from behind. In this way, when the user is not ahead of the predetermined travel pace and is behind, the user does not need to face backward, so the virtual runner is displayed as facing forward. Thus, a moving image of the virtual runner running in front is displayed. In addition, since the running pace exceeds the first threshold but does not exceed the second threshold, it can be easily recognized that the virtual runner is nearby by displaying the virtual runner in a large size. It is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling.

ステップS53において、制御回路11は、ユーザが後ろを向いたか否かを判定する。この処理において、制御回路11は、ステップS17の検出結果に基づいて、ユーザが後ろを向いたか否かを判定することとなる。制御回路11は、ユーザが後ろを向いたと判定すると(ステップS53:YES)、仮想走行者が後方を走っている動画を大きく表示させ(ステップS54)、本サブルーチンを終了する。この処理において表示される動画は、図9(c)に示すように、仮想走行者を前から視認したときの動画である。このように、ユーザが所定の走行ペースよりも先行しており、ユーザが後ろを向いている場合には、仮想走行者を表示させることによって、仮想走行者が後方を走っている動画を表示させることとなる。また、走行ペースが第一の閾値を超えるが第二の閾値を超えていないため、仮想走行者を大きく表示することによって、仮想走行者が近くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   In step S53, the control circuit 11 determines whether or not the user has turned backward. In this process, the control circuit 11 determines whether or not the user has turned backward based on the detection result of step S17. If the control circuit 11 determines that the user is facing backward (step S53: YES), the moving image of the virtual runner running backward is displayed large (step S54), and this subroutine is terminated. The moving image displayed in this process is a moving image when the virtual runner is viewed from the front as shown in FIG. As described above, when the user is ahead of the predetermined travel pace and the user is facing backward, the virtual runner is displayed, thereby displaying the moving image of the virtual runner running behind. It will be. In addition, since the running pace exceeds the first threshold but does not exceed the second threshold, it can be easily recognized that the virtual runner is nearby by displaying the virtual runner in a large size. It is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling.

一方、制御回路11は、ユーザが後ろを向いていないと判定すると(ステップS53:NO)、仮想走行者が後方を走っている動画を大きく半透明で表示させ(ステップS55)、本サブルーチンを終了する。この処理において表示される動画は、図9(e)に示すように、仮想走行者を前から視認したときの半透明動画である。このように、ユーザが所定の走行ペースよりも先行しており、ユーザが後ろを向いていない場合には、仮想走行者を半透明に表示させることによって、後ろを向かなくても仮想走行者が後方を走っている動画を表示させることとなる。また、走行ペースが第一の閾値を超えるが第二の閾値を超えていないため、仮想走行者を大きく表示することによって、仮想走行者が近くにいるような状態であることが容易に認識でき、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   On the other hand, when the control circuit 11 determines that the user is not facing backward (step S53: NO), the moving image of the virtual runner running backward is displayed in a largely translucent manner (step S55), and this subroutine is terminated. To do. As shown in FIG. 9E, the moving image displayed in this process is a translucent moving image when the virtual runner is viewed from the front. As described above, when the user is ahead of the predetermined traveling pace and the user is not facing backward, the virtual traveling person is displayed without being turned backward by displaying the virtual traveling person in a translucent manner. Will display the video running behind. In addition, since the running pace exceeds the first threshold but does not exceed the second threshold, it can be easily recognized that the virtual runner is nearby by displaying the virtual runner in a large size. It is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling.

上述したような処理を実行することによって、制御回路11は、表示制御部206として機能する。このように制御することによって、ユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較し、ユーザの顔の向きに応じて仮想走行者の画像を表示するようにしているため、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   By executing the processing as described above, the control circuit 11 functions as the display control unit 206. By controlling in this way, the user's travel pace is compared with the virtual travel speed set in advance, and the virtual rider's image is displayed according to the orientation of the user's face. It is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling.

また、ユーザの走行ペースが仮想走行者の走行ペースよりも遅く、かつ、ユーザの顔が前方に向いているときに仮想走行者の後姿画像を表示させ、ユーザの走行ペースが仮想走行者の走行ペースよりも速く、かつ、ユーザの顔が後方に向いているときに仮想走行者の後姿画像を前記表示部により表示させ、ユーザの走行ペースが仮想走行者の走行ペースに対して所定範囲内にあり、かつ、ユーザの顔が横方向に向いているときに仮想走行者の横姿画像を表示部により表示させるため、単に画像を表示するだけではなく、あたかも周囲に仮想走行者がいるように画像を表示させることができ、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   In addition, when the user's travel pace is slower than the virtual runner's travel pace and the user's face is facing forward, the rear view image of the virtual runner is displayed, and the user's travel pace is the virtual runner's travel The rear image of the virtual rider is displayed on the display unit when the user's face is facing backward faster than the pace, and the user's running pace is within a predetermined range with respect to the running pace of the virtual rider In addition, when the user's face is facing sideways, the virtual runner's profile image is displayed on the display unit, so that not only the image is displayed, but the virtual runner seems to be around It is possible to display an image, enhance the sense of presence while traveling, and easily grasp information related to traveling.

また、ユーザの走行ペースと仮想走行者の走行ペースとの差に応じて、表示させる仮想走行者の大きさを変更することによって、仮想走行者との遠近感を表すことができ、より一層、走行している臨場感を高め、走行に関する情報を容易に把握させることができる。   In addition, by changing the size of the virtual runner to be displayed according to the difference between the user's travel pace and the virtual runner's travel pace, it is possible to express a sense of perspective with the virtual runner. It is possible to enhance the sense of presence while traveling and to easily grasp information related to traveling.

上述した実施形態においては、GPS衛星からユーザの位置情報を取得し、それによってユーザの走行ペースを検出したが、これに限らず、例えば、歩数計を備え、その歩数計からの歩数情報に基づいて、ユーザの走行ペースを検出してもよい。   In the above-described embodiment, the user's position information is acquired from the GPS satellite, and the user's travel pace is detected thereby. However, the present invention is not limited to this. For example, a pedometer is provided and based on the step information from the pedometer. Thus, the user's running pace may be detected.

このような構成の具体的な一実施形態について図10を用いて以下に説明する。なお、本実施形態においては、発明の理解を容易とするために、異なる構成、処理について主に説明をし、同じような構成、処理については説明を省略する。   A specific embodiment of such a configuration will be described below with reference to FIG. In the present embodiment, in order to facilitate understanding of the invention, different configurations and processes are mainly described, and descriptions of similar configurations and processes are omitted.

図5に示すようなHMD10には、図10に示すように、位置情報取得部14の代わりに、歩数計105、歩数情報取得部106が備えられている。   As shown in FIG. 10, the HMD 10 as shown in FIG. 5 includes a pedometer 105 and a step count information acquisition unit 106 instead of the position information acquisition unit 14.

歩数計105は、ユーザの歩数を検出し、歩数情報取得部106に供給する。そして、歩数情報取得部106は、ユーザの歩数の検出に基づいて、制御回路11に歩数情報を供給する。これによって、制御回路11は、ユーザの歩数を認識可能となり、予め設定されている1歩分の距離との積によって、ユーザの走行距離、走行ペースを算出可能である。   The pedometer 105 detects the number of steps of the user and supplies it to the step count information acquisition unit 106. Then, the step count information acquisition unit 106 supplies the step count information to the control circuit 11 based on the detection of the user step count. As a result, the control circuit 11 can recognize the number of steps of the user, and can calculate the user's travel distance and travel pace based on the product of a preset distance for one step.

また、図6に示すように、ペース検出部201は、歩数計105からの歩数情報によるユーザの歩数に基づき、ユーザの走行ペースを検出することとなる。   Further, as shown in FIG. 6, the pace detector 201 detects the user's running pace based on the number of steps of the user based on the number of steps information from the pedometer 105.

このように、GPS衛星からのユーザの位置情報を取得することなく、歩数計105等を用いることによって、ユーザの走行ペースが検出可能となる。   Thus, the user's running pace can be detected by using the pedometer 105 or the like without acquiring the user's position information from the GPS satellite.

また、上述した実施形態においては、一方の眼に対して光を走査することによって、画像を表示させるHMDを採用したが、これに限らず、例えば、両方の眼に対して光を走査することによって、画像を表示させるHMDを採用してもよい。また、シースルー型HMDであればよく、例えば、液晶表示装置(LCD)を反射又は透過させて生成した画像光をユーザの眼に導くLCD型のHMDを採用してもよい。表示画像と共に外景画像を視認できるHMDであれば何にでも適用できる。   In the above-described embodiment, the HMD that displays an image by scanning light with respect to one eye is used. However, the present invention is not limited to this, and for example, scanning light with respect to both eyes. Therefore, an HMD that displays an image may be adopted. Further, a see-through type HMD may be used. For example, an LCD type HMD that guides image light generated by reflecting or transmitting a liquid crystal display device (LCD) to the eyes of the user may be employed. The present invention can be applied to any HMD that can visually recognize an external scene image together with a display image.

また、上述した実施形態においては、ユーザの走行ペースと仮想走行者の走行ペースとの差に応じて、表示させる仮想走行者の大きさを変更したが、これに限らず、例えば、それら走行ペースの差に応じて、左右それぞれ用の画像の視差を変更してもよい。例えば、仮想走行者との距離に応じた視差を有する左眼用画像と右眼用画像をそれぞれ距離毎にコンテンツ記憶部95に記憶しておき、制御回路11は、仮想走行者との距離に応じた視差を有する左眼用画像と右眼用画像をコンテンツ記憶部95から読み出して表示部1に表示する。これにより、仮想走行者との距離感を表す表示としてもよい。また、例えば、画像光Lbの波面曲率を変調する波面変調部を設け、制御回路11は、ユーザとの距離に応じた位置からの仮想走行者の画像となるように波面変調部を制御して表示する画像の表示(焦点)位置を変更する。これにより、仮想走行者との距離感を表す表示としてもよい。なお、波面曲率は、波面曲率半径と同じ指標として用いられるが、その大きさはほぼ反対のことを意味している。すなわち、表示画像が無限遠の場合に眼に入射する平行光は波面曲率が極めて小さく、波面曲率半径が無限大であり、表示画像が無限遠より近くなる場合の収束光の収束の度合いが平行より近くなるにつれ、波面曲率が大きくなり波面曲率半径が小さくなる。従って、仮想走行者との相対的な距離が近い場合には波面曲率を相対的に大きくし、仮想走行者との相対的な距離が遠い場合には波面曲率を相対的に小さくする。波面変調の変更は公知の技術であり、例えば、特開2006−276633号公報に記載の構成を採用することができる。   In the above-described embodiment, the size of the virtual runner to be displayed is changed according to the difference between the user's travel pace and the virtual runner's travel pace. Depending on the difference, the parallax between the left and right images may be changed. For example, the left eye image and the right eye image having a parallax corresponding to the distance to the virtual runner are stored in the content storage unit 95 for each distance, and the control circuit 11 determines the distance to the virtual runner. The left-eye image and the right-eye image having the corresponding parallax are read from the content storage unit 95 and displayed on the display unit 1. Thereby, it is good also as a display showing a feeling of distance with a virtual runner. Further, for example, a wavefront modulation unit that modulates the wavefront curvature of the image light Lb is provided, and the control circuit 11 controls the wavefront modulation unit so as to obtain an image of the virtual rider from a position corresponding to the distance to the user. Change the display (focus) position of the image to be displayed. Thereby, it is good also as a display showing a feeling of distance with a virtual runner. Note that the wavefront curvature is used as the same index as the wavefront curvature radius, but its magnitude means almost the opposite. That is, the parallel light incident on the eye when the display image is at infinity has a very small wavefront curvature, the wavefront curvature radius is infinite, and the convergence of the convergent light when the display image is closer to infinity is parallel. As it gets closer, the wavefront curvature increases and the wavefront radius of curvature decreases. Therefore, the wavefront curvature is relatively increased when the relative distance to the virtual runner is short, and the wavefront curvature is relatively decreased when the relative distance to the virtual runner is far. The change of the wavefront modulation is a known technique, and for example, a configuration described in JP 2006-276633 A can be adopted.

また、上述した実施形態においては、ユーザの走行ペースが仮想走行者の走行ペースより速く、ユーザの顔が前を向いている場合には、後ろを走る半透明の仮想走行者(前姿画像)を表示させたが、これに限らず、例えば、後ろを向いた状態と異なることが認識可能であればこのような半透明ではなく、所定色で仮想走行者を表示してもよい。また、このように、ユーザの走行ペースが仮想走行者の走行ペースより速く、ユーザの顔が前を向いている場合には、仮想走行者を表示しなくても問題ない。   In the above-described embodiment, when the user's running pace is faster than the virtual rider's running pace and the user's face is facing forward, the translucent virtual runner (front image) running behind However, the present invention is not limited to this. For example, as long as it can be recognized that the state is different from the state of facing backward, the virtual runner may be displayed in a predetermined color instead of such a translucent state. Further, when the user's travel pace is faster than the virtual runner's travel pace and the user's face is facing forward, there is no problem even if the virtual runner is not displayed.

また、上述した実施形態においては、ユーザの走行ペースと仮想走行者の走行ペースとの差に基づいて仮想走行者の大きさを2段階に変更したが、これに限らず、例えば、3段階以上に変更してもよい。   In the above-described embodiment, the size of the virtual runner is changed in two stages based on the difference between the user's running pace and the virtual runner's running pace. You may change to

以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present invention have been described in detail with reference to the drawings. However, these are merely examples, and various embodiments can be made based on the knowledge of those skilled in the art including the aspects described in the section of the disclosure of the invention. The present invention can be implemented in other forms that have been modified or improved.

1 表示部
10 HMD
11 制御回路
201 ペース検出部
202 設定部
203 ユーザ情報記憶部
204 比較部
205 表示制御部
206 位置情報取得部
207 向き検出部
1 Display 10 HMD
DESCRIPTION OF SYMBOLS 11 Control circuit 201 Pace detection part 202 Setting part 203 User information storage part 204 Comparison part 205 Display control part 206 Position information acquisition part 207 Direction detection part

Claims (10)

ユーザの走行に関する情報を提供するヘッドマウントディスプレイにおいて、
画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた表示を外景と重ねて行う表示部と、
前記ユーザの走行ペースを検出するペース検出部と、
前記ユーザの顔の向きを検出する向き検出部と、
前記ペース検出部で検出した前記ユーザの走行ペースと予め設定されている仮想走行者の走行ペースとを比較する比較部と、
前記向き検出部の検出結果と前記比較部の比較結果に応じて、前記仮想走行者の画像を前記表示部により表示させる表示制御部と、を備えたことを特徴とするヘッドマウントディスプレイ。
In a head-mounted display that provides information about the user's travel,
A display unit configured to cause image light corresponding to image information to enter the user's eyes together with external light, and to perform display corresponding to the image information superimposed on an external scene;
A pace detector for detecting the user's running pace;
An orientation detection unit for detecting the orientation of the user's face;
A comparison unit that compares the running pace of the user detected by the pace detection unit with a preset running pace of a virtual rider;
A head mounted display, comprising: a display control unit configured to display the virtual rider's image on the display unit according to a detection result of the orientation detection unit and a comparison result of the comparison unit.
前記表示制御部は、前記ユーザの走行ペースが前記仮想走行者の走行ペースよりも遅く、かつ、前記ユーザの顔が前方に向いているときに前記仮想走行者の画像を前記表示部により表示させ、前記ユーザの走行ペースが前記仮想走行者の走行ペースよりも速く、かつ、前記ユーザの顔が後方に向いているときに前記仮想走行者の画像を前記表示部により表示させることを特徴とする請求項1に記載のヘッドマウントディスプレイ。   The display control unit causes the display unit to display an image of the virtual runner when the user's running pace is slower than the virtual runner's running pace and the user's face is facing forward. When the user's running pace is faster than the running pace of the virtual runner and the user's face is facing backward, the virtual runner image is displayed on the display unit. The head mounted display according to claim 1. 前記表示制御部は、前記ユーザの走行ペースが前記仮想走行者の走行ペースに対して所定範囲内にあり、かつ、前記ユーザの顔が横方向に向いているときに前記仮想走行者の画像を前記表示部により表示させることを特徴とする請求項2に記載のヘッドマウントディスプレイ。   The display control unit displays the image of the virtual runner when the user's running pace is within a predetermined range with respect to the running pace of the virtual runner and the user's face is facing sideways. The head mounted display according to claim 2, wherein the display is displayed by the display unit. 前記表示制御部は、前記ユーザの走行ペースと前記仮想走行者の走行ペースとの差に応じて、前記表示部により表示させる前記仮想走行者の大きさを変更することを特徴とする請求項2又は3に記載のヘッドマウントディスプレイ。   The said display control part changes the magnitude | size of the said virtual runner displayed on the said display part according to the difference of the travel pace of the said user, and the travel pace of the said virtual runner. Or the head mounted display of 3. 前記表示制御部は、前記仮想走行者との距離に応じた視差を有する左眼用画像と右眼用画像を前記表示部により表示させることにより、前記仮想走行者との距離感を表す表示を行うことを特徴とする請求項4に記載のヘッドマウントディスプレイ。   The display control unit causes the display unit to display a left-eye image and a right-eye image having a parallax corresponding to a distance from the virtual runner, thereby displaying a display indicating a sense of distance from the virtual runner. The head mounted display according to claim 4, wherein the head mounted display is performed. 前記画像情報は、前記表示部によって表示する画像の焦点位置を変更することにより、前記仮想走行者との距離感を変更することを特徴とする請求項4に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 4, wherein the image information changes a sense of distance from the virtual runner by changing a focal position of an image displayed by the display unit. GPS衛星からの位置情報を取得する位置情報取得部を備え、
前記ペース検出部は、前記位置情報取得部により取得した位置情報に基づき、前記ユーザの走行ペースを検出することを特徴とする請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイ。
A position information acquisition unit for acquiring position information from a GPS satellite;
The head mounted display according to any one of claims 1 to 6, wherein the pace detecting unit detects the running pace of the user based on the position information acquired by the position information acquiring unit.
前記ユーザの歩数を検出する歩数計を備え、
前記ペース検出部は、前記歩数計により検出された前記ユーザの歩数に基づき、前記ユーザの走行ペースを検出することを特徴とする請求項1〜6のいずれか1項に記載のヘッドマウントディスプレイ。
A pedometer for detecting the number of steps of the user;
The head mounted display according to any one of claims 1 to 6, wherein the pace detecting unit detects the running pace of the user based on the number of steps of the user detected by the pedometer.
前記ユーザの操作に基づいて前記仮想走行者の走行ペースを設定する設定部を備え、
前記表示制御部は、前記設定部により設定した前記仮想走行者の走行ペースと前記ユーザの走行ペースとを比較して、当該比較結果に応じた画像を表示することを特徴とする請求項1〜8のいずれか1項に記載のヘッドマウントディスプレイ。
A setting unit configured to set a running pace of the virtual rider based on an operation of the user;
The display control unit compares the travel pace of the virtual runner set by the setting unit with the travel pace of the user, and displays an image corresponding to the comparison result. The head mounted display according to any one of 8.
前記ペース検出部で検出した前記ユーザの走行ペースを記憶するユーザ情報記憶部を備え、
前記ユーザ情報記憶部に記憶した走行ペースを前記仮想走行者の走行ペースとしたことを特徴とする請求項1〜9のいずれか1項に記載のヘッドマウントディスプレイ。
A user information storage unit that stores the running pace of the user detected by the pace detection unit;
The head mounted display according to any one of claims 1 to 9, wherein the travel pace stored in the user information storage unit is the travel pace of the virtual traveller.
JP2009219441A 2009-09-24 2009-09-24 Head mounted display Pending JP2011067277A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009219441A JP2011067277A (en) 2009-09-24 2009-09-24 Head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009219441A JP2011067277A (en) 2009-09-24 2009-09-24 Head mounted display

Publications (1)

Publication Number Publication Date
JP2011067277A true JP2011067277A (en) 2011-04-07

Family

ID=44013231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009219441A Pending JP2011067277A (en) 2009-09-24 2009-09-24 Head mounted display

Country Status (1)

Country Link
JP (1) JP2011067277A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111267A1 (en) * 2012-01-24 2013-08-01 パイオニア株式会社 Head-mounted display and display method
CN103246543A (en) * 2012-02-14 2013-08-14 索尼公司 Display control device, display control method, and program
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
US8963807B1 (en) 2014-01-08 2015-02-24 Lg Electronics Inc. Head mounted display and method for controlling the same
WO2015033446A1 (en) * 2013-09-06 2015-03-12 株式会社フューチャースコープ Running assistance system and head mount display device used in same
JP2015058218A (en) * 2013-09-19 2015-03-30 カシオ計算機株式会社 Device with virtual comparison function, system, method, and program
US9665133B2 (en) 2012-06-07 2017-05-30 Olympus Corporation Head-mounted display, image display system, information storage device, and method for controlling head-mounted display
CN112734944A (en) * 2021-01-29 2021-04-30 中国人民解放军国防科技大学 Unmanned vehicle debugging method, system, storage medium and computer equipment
CN114534230A (en) * 2022-02-22 2022-05-27 成都趣跑团科技有限公司 Virtual running accompanying system and virtual running accompanying method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (en) * 1992-12-03 1994-06-24 Namco Ltd Picture synthesis device and virtual reality device using the same
JP2003134510A (en) * 2001-08-16 2003-05-09 Space Tag Inc Image information distribution system
JP2008176096A (en) * 2007-01-19 2008-07-31 Brother Ind Ltd Image display
JP2010139633A (en) * 2008-12-10 2010-06-24 Brother Ind Ltd Head mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (en) * 1992-12-03 1994-06-24 Namco Ltd Picture synthesis device and virtual reality device using the same
JP2003134510A (en) * 2001-08-16 2003-05-09 Space Tag Inc Image information distribution system
JP2008176096A (en) * 2007-01-19 2008-07-31 Brother Ind Ltd Image display
JP2010139633A (en) * 2008-12-10 2010-06-24 Brother Ind Ltd Head mounted display

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111267A1 (en) * 2012-01-24 2013-08-01 パイオニア株式会社 Head-mounted display and display method
US9235933B2 (en) 2012-02-14 2016-01-12 Sony Corporation Wearable display system that displays previous runners as virtual objects on a current runner's path
CN103246543A (en) * 2012-02-14 2013-08-14 索尼公司 Display control device, display control method, and program
JP2013167941A (en) * 2012-02-14 2013-08-29 Sony Corp Display control device, display control method, and program
US9569898B2 (en) 2012-02-14 2017-02-14 Sony Corporation Wearable display system that displays a guide for a user performing a workout
US9829931B2 (en) 2012-06-07 2017-11-28 Olympus Corporation Head-mounted display, image display system, information storage device, and method for controlling head-mounted display
US9665133B2 (en) 2012-06-07 2017-05-30 Olympus Corporation Head-mounted display, image display system, information storage device, and method for controlling head-mounted display
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
JPWO2015033446A1 (en) * 2013-09-06 2017-03-02 株式会社フューチャースコープ Running support system and head mounted display device used therefor
WO2015033446A1 (en) * 2013-09-06 2015-03-12 株式会社フューチャースコープ Running assistance system and head mount display device used in same
JP2015058218A (en) * 2013-09-19 2015-03-30 カシオ計算機株式会社 Device with virtual comparison function, system, method, and program
WO2015105234A1 (en) * 2014-01-08 2015-07-16 Lg Electronics Inc. Head mounted display and method for controlling the same
US8963807B1 (en) 2014-01-08 2015-02-24 Lg Electronics Inc. Head mounted display and method for controlling the same
CN112734944A (en) * 2021-01-29 2021-04-30 中国人民解放军国防科技大学 Unmanned vehicle debugging method, system, storage medium and computer equipment
CN114534230A (en) * 2022-02-22 2022-05-27 成都趣跑团科技有限公司 Virtual running accompanying system and virtual running accompanying method

Similar Documents

Publication Publication Date Title
JP2011067277A (en) Head mounted display
JP5104679B2 (en) Head mounted display
JP5293025B2 (en) Head mounted display
US9851568B2 (en) Retinal display projection device
JP6832956B2 (en) Video display device and video display method
US7784945B2 (en) Display Apparatus, display method, display program, integrated circuit, goggle-type head-mounted display, vehicle, monocle, and stationary display
JP2011091789A (en) Head-mounted display
KR20180035895A (en) INFORMATION DISPLAY DEVICE, INFORMATION PROVIDING SYSTEM, MOBILE DEVICE, INFORMATION DISPLAY METHOD, AND RECORDING MEDIUM
US20170220106A1 (en) Image display apparatus
JP2010152443A (en) Head mounted display
JP2011075956A (en) Head-mounted display
JP2011066549A (en) Head mounted display
JP2006195084A (en) Display apparatus
JP5393043B2 (en) Image display device and image display method
JP2006017991A (en) Video display
JP2018106136A (en) Display unit, object device, and display method
JP5012780B2 (en) Head mounted display
JP5272813B2 (en) Head mounted display
JP2006039359A (en) Head-part attachment type display device
JP2021063934A (en) Head mount display and method for adjusting the same
JP2005107038A (en) Retina scanning and display device
JP5163535B2 (en) Head mounted display
JP2018054976A (en) Head-mounted display device and display control method of head-mounted display device
JP2017079389A (en) Display device, display device control method, and program
JP5126047B2 (en) Head mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130917