JP2003111867A - Movement simulating device and method thereof - Google Patents

Movement simulating device and method thereof

Info

Publication number
JP2003111867A
JP2003111867A JP2001309668A JP2001309668A JP2003111867A JP 2003111867 A JP2003111867 A JP 2003111867A JP 2001309668 A JP2001309668 A JP 2001309668A JP 2001309668 A JP2001309668 A JP 2001309668A JP 2003111867 A JP2003111867 A JP 2003111867A
Authority
JP
Japan
Prior art keywords
data
walking
output
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001309668A
Other languages
Japanese (ja)
Other versions
JP3694663B2 (en
Inventor
Seiichiro Shimazu
誠一郎 島津
Toshimitsu Oishi
利光 大石
Toru Okubo
融 大久保
Hideyuki Doman
秀幸 堂満
Tomoya Yamano
知也 山野
Keisuke Akasaka
圭祐 赤阪
Takuya Nakano
卓哉 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokushin Sangyo KK
Konami Group Corp
Original Assignee
Konami Corp
Kokushin Sangyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Corp, Kokushin Sangyo KK filed Critical Konami Corp
Priority to JP2001309668A priority Critical patent/JP3694663B2/en
Publication of JP2003111867A publication Critical patent/JP2003111867A/en
Application granted granted Critical
Publication of JP3694663B2 publication Critical patent/JP3694663B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a walking simulating device capable of clearly outputting an explanation about the simulation in response to the walking condition without giving the feeling of incongruity and capable of selecting various walking routes and outputting the explanation about the selected walking route. SOLUTION: On the basis of the walking detecting signal about the walking condition of a user detected by a walking condition detecting unit 1, a control unit 4 reads out the image data and the sound data housed in an image and sound memory unit 2 to output them from an output unit 3, and continuously displays a static image as the image data during an interruption when the user interrupts the walking, and outputs all of the sound data of a data block output during the interruption. With this structure, even if an interruption of walking is generated, the sound signal corresponding to the image during the interruption and when re-starting the walking can be regenerated, and an explanation about the simulation can be clearly output without giving a feeling of incongruity.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、動作に伴って風景
等の映像を変化させて表示する移動疑似体験装置に関
し、特に撮像の解説を音声で報知する移動疑似体験装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a simulated moving experience device that changes and displays an image of a landscape or the like in accordance with an operation, and more particularly to a simulated moving experience device that gives a voice explanation of imaging.

【0002】[0002]

【従来の技術】従来、この種の移動疑似体験装置として
特開昭63−315078号公報、特開平9−5684
5号公報、特開平9−325674号公報及び特開平1
1−333023号公報に各々開示されるものがある。
図10ないし図12に前記各従来装置の構成ブロック図
を示す。
2. Description of the Related Art Conventionally, as this type of simulated moving experience device, Japanese Patent Laid-Open Nos. 63-315078 and 9-5684 have been disclosed.
No. 5, JP-A-9-325674 and JP-A-1
Some are disclosed in Japanese Patent Laid-Open No. 1-333023.
10 to 12 are block diagrams showing the configurations of the conventional devices.

【0003】前記図10に記載の従来装置は、走行装置
110上で走行又は歩行の足踏み運動をすると、その足
踏み(以下「走行」という)の速度情報が映像発生装置
111に伝送される。映像発生装置111はビデオディ
スク等の記録媒体と、当該記録媒体に記憶されている映
像を再生する手段を有しており、その再生出力が大型の
テレビジョン受像機等の表示装置112の画面113に
景色として映し出される。この景色は走行に応じて変化
する。又、この景色には走行装置110からのパルス情
報に基づいて算出された走行距離114と走行速度11
5も多重表示される。前記映像発生装置111は前記記
録媒体から音声も再生し、スピーカ116で放声する。
この音声には、別途音声メモリに記憶された音声(かけ
声等)が随時多用される。従って、走行者117は走行
装置110上で走行すれば前方に走行と共に変化する景
色が映し出され、音声も聞こえる快適な状態で走行運動
ができる。
In the conventional device shown in FIG. 10, when a running or walking stepping motion is performed on the running device 110, speed information of the stepping (hereinafter referred to as "running") is transmitted to the image generating device 111. The image generation device 111 has a recording medium such as a video disk and means for reproducing the image stored in the recording medium, and the reproduction output is the screen 113 of the display device 112 such as a large-sized television receiver. Is projected as a landscape. This scenery changes as you drive. Further, in this scenery, the traveling distance 114 and the traveling speed 11 calculated based on the pulse information from the traveling device 110.
5 is also displayed multiple times. The video generation device 111 also reproduces sound from the recording medium and outputs it through the speaker 116.
For this voice, a voice (chout etc.) separately stored in the voice memory is frequently used. Therefore, when the traveling person 117 travels on the traveling device 110, the scenery that changes with traveling can be projected forward, and the traveling exercise can be performed in a comfortable state where the sound can be heard.

【0004】前記図11に記載の他の従来装置は、所望
の散歩道の映像と散歩道の路面の傾斜を記録したCD−
ROM201と、このCD−ROM201を再生するC
D−ROM読取装置202と、利用者の脈拍と血圧を計
測するセンサ203と、その上を利用者が歩行するスピ
ードと傾斜を変化できる歩行マシン204と、CD−R
OM201の映像を表示するTVモニタ205と、デー
タ処理装置206と、CD−ROM読取装置202とデ
ータ処理装置206とのインターフェースをとるCD−
ROMインターフェース部207と、センサ203とデ
ータ処理装置206とのインターフェースをとるセンサ
入力部208と、歩行マシン204とデータ処理装置2
06とのインターフェースをとる歩行マシンインターフ
ェース部209と、TVモニタ205とデータ処理装置
206とのインターフェースをとるTVモニタインター
フェース210とから構成される。
The other conventional device shown in FIG. 11 is a CD-recording image of a desired walking path and inclination of the road surface of the walking path.
ROM201 and C for reproducing this CD-ROM201
A D-ROM reader 202, a sensor 203 for measuring a user's pulse and blood pressure, a walking machine 204 capable of changing the speed and inclination of the user walking on the sensor 203, and a CD-R.
A TV monitor 205 that displays an image of the OM 201, a data processing device 206, a CD-ROM that interfaces the CD-ROM reading device 202 and the data processing device 206.
The ROM interface unit 207, the sensor input unit 208 that interfaces the sensor 203 and the data processing device 206, the walking machine 204, and the data processing device 2
The walking machine interface unit 209 that interfaces with the TV monitor 205 and the data processing device 206 interfaces with the TV monitor interface 210.

【0005】このように他の従来装置は、歩行マシン2
04の傾斜、スピードとTVモニタ205に表示される
映像との間に、映像に基づいて歩行マシン204の傾斜
を変えたり、歩行マシン204のスピードに応じてTV
モニタ205の映像の動きの早さを変えるようにして相
互に関連づけたのでバーチャルリアリティの世界を実感
でき、楽しみながら健康増進を図ることができる。
As described above, another conventional device is the walking machine 2
04 tilt, speed and the video displayed on the TV monitor 205, the tilt of the walking machine 204 is changed based on the video, or the TV is changed according to the speed of the walking machine 204.
Since the speed of movement of the image on the monitor 205 is changed so as to be associated with each other, the world of virtual reality can be felt and it is possible to promote health while having fun.

【0006】前記図12に記載の他の従来装置は、記憶
装置が記憶する表示データにより表示される画像と音声
に応答して子供がマットスイッチ301上の複数のスイ
ッチ領域302、303、304、305のうち所定の
スイッチ領域を踏むと、このマットスイッチ301から
の入力データを基に次の画像と音声による表示がCRT
モニタ308から行われるための所定入力条件が満たさ
れたか否かが演算され、この演算結果に基づいた表示デ
ータが出力され、画像音声表示装置307により画像と
音声による表示がCRTモニタ308から行われる。従
って、子供は音楽等からなる音声のみならず画像による
表示に応答してマットスイッチ301の上で体を動かす
こととなり、楽しみながら基礎体力をつけ、ひいては基
礎的な学習効果を得ることができる。
In the other conventional device shown in FIG. 12, the child responds to the image and the sound displayed by the display data stored in the storage device so that the child has a plurality of switch areas 302, 303, 304 on the mat switch 301. When a predetermined switch area of 305 is stepped on, the next image and audio display is made on the CRT based on the input data from the mat switch 301.
It is calculated whether or not a predetermined input condition for performing the operation from the monitor 308 is satisfied, display data based on the operation result is output, and the image and sound display device 307 displays the image and sound by the CRT monitor 308. . Therefore, the child moves his / her body on the mat switch 301 in response to the display of not only the voice including music but also the image, so that the child can have a basic physical strength while having fun, and thus can obtain a basic learning effect.

【0007】[0007]

【発明が解決しようとする課題】前記各従来装置は以上
のように構成されていたことから、歩行等の動作状態が
停止した場合に映像の変化が停止すると共に、音声の出
力も停止することとなることから、中断した動作状態で
の疑似的な再現性が十分に得られないという課題を有し
ていた。特に、音声出力が映像内容等の解説の場合に
は、動作状態を再開すると中断された音声の解説が途中
から出力されることとなり、解説内容の理解が困難とな
る課題を有する。
Since each of the conventional devices is configured as described above, the change of the image is stopped and the output of the sound is stopped when the operating state such as walking is stopped. Therefore, there is a problem that pseudo reproducibility in an interrupted operation state cannot be sufficiently obtained. In particular, when the audio output is a commentary on the contents of a video, when the operation state is restarted, the interrupted commentary on the audio is output from the middle of the process, which makes it difficult to understand the commentary content.

【0008】また、前記各従来装置は歩行等の動作状態
に伴って出力される映像及び音声が単一の内容で構成さ
れていたことから、歩行ルート等の動作状態が多岐に亘
る場合にはこれらを選択することができず、仮に複数の
動作状態を選択してもこれに対応する映像及び音声を出
力できないという課題を有していた。また、歩行する歩
行ルートの沿道に存在する店舗等の詳細が明確でなく、
旅行等の予備知識として予め旅行先の詳細な情報が得に
くいという課題を有する。
Further, in each of the conventional devices described above, the image and the sound output in accordance with the operating state such as walking are composed of a single content. Therefore, when the operating state such as the walking route is wide, There is a problem that these cannot be selected, and even if a plurality of operation states are selected, the corresponding video and audio cannot be output. In addition, details such as stores along the walking route are not clear,
There is a problem that it is difficult to obtain detailed information about a travel destination in advance as preliminary knowledge about travel and the like.

【0009】本発明は、前記課題を解消するためになさ
れたもので、動作状態に伴う疑似体験の解説を違和感な
く明瞭に出力し、また各種動作ルートの選択及びこの選
択された動作ルートの解説を行うことができる移動疑似
体験装置を提供することを目的とする。
The present invention has been made in order to solve the above problems, and clearly outputs a description of a simulated experience associated with an operating state without any discomfort, and selects various operation routes and an explanation of the selected operation route. It is an object of the present invention to provide a mobile simulation experience device that can perform the following.

【0010】[0010]

【課題を解決するための手段】本発明に係る移動疑似体
験装置は、利用者の動作状態を検知して動作検知信号を
出力する動作状態検知手段と、前記動作状態に応じて変
化するデータ内容が所定のデータ長のデータブロックに
区分された映像データ及び音声データを格納する映像音
声記録手段と、前記映像データを表示画面上に出力する
と共に音声データを音声で報知する出力手段と、前記動
作検知信号に基づいて前記各データブロック毎の映像デ
ータ及び音声データを前記出力手段に出力し、前記動作
検知信号により動作が中断されていると判断されている
間に当該中断時において出力手段で表示される映像デー
タを静止画として継続出力すると共に、前記動作の中断
時における出力手段から出力されているデータブロック
に含まれる総ての音声データを出力するように出力手段
を制御する制御手段とを備えるものである。
A movement simulation experience device according to the present invention includes an operation state detecting means for detecting an operation state of a user and outputting an operation detection signal, and data contents changing according to the operation state. A video / audio recording means for storing video data and audio data divided into data blocks having a predetermined data length; an output means for outputting the video data on a display screen and for notifying the audio data by voice; Video data and audio data for each of the data blocks are output to the output means based on the detection signal, and displayed by the output means at the time of interruption while the operation is determined to be interrupted by the operation detection signal. The video data to be continuously output as a still image, and all the data blocks included in the data block output from the output means at the time of the interruption of the operation are In which a control means for controlling the output means to output the voice data.

【0011】このように本発明においては、動作状態検
知手段で検知した利用者の動作状態による動作検知信号
に基づいて、制御手段が映像音声記録手段に格納される
映像データ及び音声データを読出して出力手段から出力
し、利用者が動作を中断した場合に中断時の映像データ
を静止画として継続出力すると共に、中断時の出力され
ているデータブロックの音声データを総て出力するよう
に制御手段が制御するようにしているので、動作の中断
が生じた場合においても停止状態及び再開時の映像に対
応した音声信号の再生ができることとなり、疑似体験の
解説を違和感なく明瞭に出力できる。
As described above, in the present invention, the control means reads out the video data and the audio data stored in the video / audio recording means based on the motion detection signal according to the motion state of the user detected by the motion state detecting means. The control means outputs the data from the output means and continuously outputs the video data at the time of the interruption as a still image when the user interrupts the operation, and outputs all the audio data of the data block being output at the time of the interruption. Therefore, even if the operation is interrupted, it is possible to reproduce the audio signal corresponding to the image in the stopped state and the restarted state, and the explanation of the simulated experience can be output clearly without any discomfort.

【0012】また、本発明に係る移動疑似体験装置は必
要に応じて、映像データが動作ルートの風景をデータ内
容とし、前記音声データが映像データの風景を解説する
データ内容とするものである。このように本発明におい
ては、利用者の動作に伴って変化する動作ルートの風景
を映像データとし、この映像データの解説を音声データ
としていることから、例えば旅行先等の予備知識を疑似
体験として修得できる。
Further, in the mobile simulation experience device according to the present invention, the video data has the data contents of the scenery of the operation route and the audio data has the data contents for explaining the scenery of the video data, if necessary. As described above, in the present invention, the scenery of the motion route that changes with the motion of the user is used as the video data, and the explanation of the video data is used as the audio data. I can learn.

【0013】また、本発明に係る移動疑似体験装置は必
要に応じて、映像データ及び音声データが1又は複数に
分岐された動作ルートのデータ内容とするものである。
このように本発明においては、1又は複数に分岐された
動作ルートをデータ内容とする映像データ及び音声デー
タとしていることから、利用者が現場を実際に動作する
と同様に動作ルートの変更が可能となり、疑似体験によ
る動作の臨場感を高めることができる。
Further, in the simulated mobile experience device according to the present invention, the data contents of the operation route in which the video data and the audio data are branched into one or a plurality of pieces are provided as necessary.
As described above, in the present invention, since the operation route branched into one or more is used as the video data and the audio data, the operation route can be changed similarly when the user actually operates the site. , It is possible to enhance the realistic sensation of motion by a simulated experience.

【0014】また、本発明に係る移動疑似体験装置は必
要に応じて、音声データが解説文における1又は複数の
パラグラフ毎に区分したデータブロックで形成されるも
のである。このように本発明においては、音声データの
各データブロックを1又は複数のパラグラフ毎に区切っ
て形成していることから、動作中断時及び動作再開時の
音声データによる解説がより違和感なく明瞭の出力でき
る。ここで、前記パラグラフは、文章の段落、文節、文
の句切り等からなり、一又は複数の文章が表現する文意
により区分される単位をいう。
Further, in the simulated mobile experience device according to the present invention, the voice data is formed by data blocks divided into one or a plurality of paragraphs in the commentary, if necessary. As described above, in the present invention, since each data block of the audio data is formed by being divided into one or more paragraphs, the explanation by the audio data when the operation is interrupted and when the operation is restarted is output more comfortably and clearly. it can. Here, the paragraph is composed of paragraphs, clauses, phrase breaks, etc. of a sentence, and is a unit divided by the meaning of one or more sentences.

【0015】また、本発明に係る移動疑似体験装置は必
要に応じて、映像データ及び音声データが地図上の異な
る動作ルートに関するデータ内容として映像音声記録手
段に複数格納され、前記複数の映像データ及び音声デー
タのうち既に利用者が利用した映像データ及び音声デー
タの動作ルートを地図上に表示するように出力手段から
出力するものである。このように本発明においては、映
像音声記録手段に地図上の異なる動作ルートに関する複
数の映像データ及び音声データを格納し、この複数の映
像データ及び音声データのうち既に利用した動作ルート
を地図上に表示して出力手段から出力するようにしてい
るので、利用者が過去に動作した動作実績を認識できる
こととなり、利用者の動作に対する実行意欲を向上させ
ることができる。
Further, in the simulated mobile experience device according to the present invention, a plurality of video data and audio data are stored in the video / audio recording means as data contents relating to different operation routes on the map, if necessary. The output means outputs the operation routes of the video data and the audio data which have already been used by the user among the audio data so as to be displayed on the map. As described above, in the present invention, a plurality of video data and audio data relating to different operation routes on the map are stored in the video / audio recording means, and the operation route already used among the plurality of video data and audio data is displayed on the map. Since the information is displayed and output from the output means, the user can recognize the operation record of the operation performed in the past, and the user's motivation for the operation can be improved.

【0016】また、本発明に係る移動疑似体験装置は必
要に応じて、利用者の脈拍数を検出する脈拍検出手段を
備え、予め入力されている年齢や性別等の個人データに
基づいて最適脈拍数等の診断結果を表示画面上に出力
し、動作中において脈拍検出手段から脈拍検出信号が制
御部へ入力され、制御部は当該脈拍検出信号より脈拍数
を表示画面上に出力すると共に、前記診断結果と当該脈
拍数とに基づいて利用者に休憩、注意及び警告等の指示
を促すものである。このように本発明においては、予め
年齢や性別等の個人データから診断結果を求め表示画面
に出力し、動作中には脈拍検出手段から脈拍数を取得し
て表示画面に出力し、更に前記最適脈拍数と当該脈拍数
とに基づいて利用者に休憩、注意及び警告等の指示を促
しているので、利用者が自分に応じた運動を行うことが
できる。
Further, the simulated moving experience device according to the present invention is provided with a pulse detecting means for detecting the pulse rate of the user as needed, and the optimum pulse is based on personal data such as age and sex which are input in advance. The diagnostic result such as the number is output on the display screen, the pulse detection signal is input to the control unit from the pulse detection means during operation, and the control unit outputs the pulse rate from the pulse detection signal on the display screen, and Based on the diagnosis result and the pulse rate, it prompts the user to give instructions such as a break, caution, and warning. As described above, in the present invention, the diagnosis result is obtained in advance from personal data such as age and sex, and is output to the display screen. During operation, the pulse rate is acquired from the pulse detection means and output to the display screen, and the optimum Since the user is instructed to take a rest, caution, warning, etc. based on the pulse rate and the pulse rate, the user can exercise according to himself.

【0017】また、本発明に係る移動疑似体験装置は、
利用者の動作状態を検知して、前記動作状態に応じて変
化するデータ内容が所定のデータ長のデータブロックに
区分された映像データ及び音声データを格納し、前記映
像データを表示画面上に表示すると共に音声データを音
声で報知し、前記検知結果に基づいて前記各データブロ
ック毎の映像データ及び音声データを表示画面上に出力
し、前記検知結果により動作が中断されていると判断さ
れている間に当該中断時において表示画面に表示される
映像データを静止画として継続表示すると共に、前記動
作の中断時に出力されているデータブロックに含まれる
総ての音声データを報知するように制御するものであ
る。
Further, the movement simulation experience device according to the present invention is
Detects the user's operating status, stores video data and audio data whose data content that changes according to the operating status is divided into data blocks of a predetermined data length, and displays the video data on the display screen. At the same time, the voice data is notified by voice, the video data and the voice data of each data block are output on the display screen based on the detection result, and it is determined that the operation is interrupted by the detection result. In the meantime, the video data displayed on the display screen at the time of the interruption is continuously displayed as a still image, and is controlled so as to notify all the audio data included in the data block output at the time of the interruption of the operation. Is.

【0018】[0018]

【発明の実施の形態】(本発明の第1の実施形態)以
下、本発明の第1の実施形態に係る移動疑似体験装置を
図1ないし図9に基づいて利用者の動作状態が歩行状態
の場合に説明する。この図1は本実施形態に係る移動疑
似体験装置の全体ブロック構成図、図2及び図3は図1
記載の移動疑似体験装置における動作疑似体験の動作フ
ローチャート、図4は図2に記載の体調管理動作の詳細
動作フローチャート、図5は図1に記載の運動入力部の
外観正面図、図6は図5に記載の歩行状態検出部の外観
斜視図及びその他の動作状態を検出する各種の運動入力
部の外観斜視図、図7及び図8は図1に記載のCRTモ
ニタにおける各表示態様図、図9は歩行中断状態におけ
るビデオ映像及びナレーションの出力動作タイミングテ
ャートを示す。
BEST MODE FOR CARRYING OUT THE INVENTION (First Embodiment of the Invention) Hereinafter, a simulated moving experience device according to a first embodiment of the present invention will be described in which the user's motion state is a walking state based on FIGS. 1 to 9. The case will be described. 1 is an overall block configuration diagram of the simulated mobile experience device according to the present embodiment, and FIGS. 2 and 3 are shown in FIG.
4 is an operation flowchart of the simulated motion experience in the described simulated motion experience device, FIG. 4 is a detailed operation flowchart of the physical condition management operation described in FIG. 2, FIG. 5 is an external front view of the motion input unit described in FIG. 1, and FIG. 5 is an external perspective view of the walking state detection unit described in 5, and an external perspective view of various motion input units that detect other motion states. FIGS. 7 and 8 are display mode diagrams of the CRT monitor described in FIG. 1. 9 shows a video image and narration output operation timing chart in a walking interrupted state.

【0019】前記各図において本実施形態に係る移動疑
似体験装置は、利用者の動作状態である歩行状態を検知
して歩行検知信号を出力する歩行状態検知部1と、前記
歩行状態に応じて変化するデータ内容が所定のデータ長
のデータブロックに区分された映像データ及び音声デー
タを格納する映像音声記録部2と、前記映像データをC
RT31の表示画面上に出力すると共に音声データをス
ピーカ32から音声で報知する出力部3と、前記歩行検
知信号に基づいて前記各データブロック毎の映像データ
及び音声データを前記出力部3に出力し、前記歩行検知
信号により歩行が中断されていると判断されている間に
この中断時において出力部3で表示される映像データを
静止画として継続出力すると共に、前記歩行の中断時に
おける出力部3から出力されているデータブロックに含
まれる総ての音声データを出力するように出力部3を制
御する制御部4と、歩行状態検知部1の種類毎に、年
齢、性別、体重、身長の違いによる消費カロリーデータ
をデータベース化して(図示せず)格納する補助情報記
録部5を備える構成である。
In each of the above figures, the movement simulation experience device according to the present embodiment detects a walking state, which is an operating state of a user, and outputs a walking detection signal, and a walking state detecting unit 1 according to the walking state. A video / audio recording unit 2 for storing video data and audio data whose changing data content is divided into data blocks having a predetermined data length, and the video data as C
The output unit 3 outputs the audio data to the display screen of the RT 31 and notifies the audio data from the speaker 32 by voice, and outputs the video data and the audio data for each data block to the output unit 3 based on the walking detection signal. While the walking detection signal determines that the walking is interrupted, the video data displayed on the output unit 3 during the interruption is continuously output as a still image, and the output unit 3 when the walking is interrupted is output. Differences in age, sex, weight, and height depending on the type of the walking state detection unit 1 and the control unit 4 that controls the output unit 3 so as to output all audio data included in the data block output from This is a configuration including an auxiliary information recording unit 5 that stores the calorie consumption data by (1) as a database (not shown).

【0020】前記制御部4は、歩行検知信号に基づいて
映像音声記録部2から映像データ及び音声データの読出
し、読出された映像データ及び音声データの出力を各々
制御し、装置全体の制御演算動作を実行する入出力演算
制御部41と、この入出力演算制御部41の制御に基づ
いて映像音声記録部2から読出された映像データ及び音
声データを格納するバッファメモリ42と、このバッフ
ァメモリ42に格納された映像データをCRT31から
出力する表示制御を行う表示制御部43と、前記バッフ
ァメモリ42に格納された音声データをスピーカ32か
ら出力する報知制御を行う音声制御部44とを備える構
成である。
The control unit 4 controls the reading of the video data and the audio data from the video / audio recording unit 2 and the output of the read video data and the audio data based on the walking detection signal, and the control operation of the entire apparatus. And a buffer memory 42 for storing the video data and audio data read from the video / audio recording unit 2 under the control of the input / output operation control unit 41, and the buffer memory 42. The display control unit 43 performs display control to output the stored video data from the CRT 31, and the audio control unit 44 performs notification control to output the audio data stored in the buffer memory 42 from the speaker 32. .

【0021】前記歩行状態検知部1は、通信ケーブル1
7等の有線(又は図示を省略する送受信部による無線)
で制御部4へ接続され、図5に示すようにマットスイッ
チであり押圧動作を検知する左・右スイッチ部11、1
2のからなり、利用者の歩行動作により歩行の速さ、歩
行の停止等の各動作に応じた歩行検知信号が出力される
構成である。また、歩行状態検知部1は、CRT31に
表示される数値のカウントアップ又はカウントダウンを
指令する矢印キー13、14とCRT31に表示される
数値の内容等に対して「Yes」、「No」の指令を入
力するYesキー15、Noキー16とを備える構成で
ある。さらに歩行状態検知部1は、前記マットスイッチ
以外に、図6に示すようなステッパー、ウォークマシ
ン、自転車エルゴメータ又は歩数計等の動作状態を検知
するものとすることもできる。 前記補助情報記録部5
は、マットスイッチ、ステッパー、ウォークマシン、自
転車エルゴメータ又は歩数計等の歩行状態検知部1の種
類毎の消費カロリーデータ及び/又はそれら歩行状態検
知部1の負荷毎の消費カロリーデータをデータベース化
して格納している。
The walking state detecting section 1 includes a communication cable 1
Wired 7 (or wireless by a transmitter / receiver not shown)
The left / right switch units 11 and 1 which are connected to the control unit 4 by a mat switch and detect a pressing operation as shown in FIG.
It is composed of 2 and has a configuration in which a walking detection signal corresponding to each operation such as walking speed, walking stop, etc. is output by the walking operation of the user. In addition, the walking state detection unit 1 instructs “Yes” and “No” to the arrow keys 13 and 14 for instructing the count up or count down of the numerical value displayed on the CRT 31 and the content of the numerical value displayed on the CRT 31. This is a configuration including a Yes key 15 and a No key 16 for inputting. Further, the walking state detection unit 1 may detect the operating state of a stepper, a walk machine, a bicycle ergometer, a pedometer, or the like as shown in FIG. 6, in addition to the mat switch. The auxiliary information recording section 5
Is a database storing the calorie consumption data for each type of the walking state detection unit 1 such as a mat switch, a stepper, a walk machine, a bicycle ergometer, or a pedometer and / or the consumed calorie data for each load of the walking state detection unit 1. is doing.

【0022】次に、前記構成に基づく本実施形態に係る
移動疑似体験装置の歩行疑似体験動作について説明す
る。まず、装置全体を起動状態にし、利用者が脈拍検出
計1aを装着し、歩行状態検知部1から矢印キー13、
14を操作して自己の年齢、性別、その他場合によって
は体重、身長を入力し、この入力された年齢を図7
(A)に示すようにCRT31に表示する。この年齢が
CRT31に表示された後にCRT31上には図7
(B)に示すような歩行コースのメニュー画面が表示さ
れ利用者が歩行状態検知部1の矢印キー13、14を操
作を介して選択する(ステップ0)。例えば、図7
(B)中の「八坂神社〜清水寺 1.7kmコース」を
選択した場合について説明する。
Next, the walking simulated experience operation of the simulated movement experience apparatus according to the present embodiment based on the above configuration will be described. First, the entire apparatus is activated, the user wears the pulse detector 1a, and the walking state detector 1 moves the arrow keys 13 to
14 is used to input one's own age, sex, and in some cases, weight and height, and the input age is shown in FIG.
It is displayed on the CRT 31 as shown in FIG. After this age is displayed on the CRT 31, it is displayed on the CRT 31 as shown in FIG.
The menu screen of the walking course as shown in (B) is displayed, and the user selects the arrow keys 13 and 14 of the walking state detection unit 1 through the operation (step 0). For example, in FIG.
The case where “Yasaka Shrine-Kiyomizu Temple 1.7 km course” in (B) is selected will be described.

【0023】この状態で利用者が歩行状態検知部1上で
歩行動作を開始し、この歩行状態検知部1から歩行検知
信号が制御部4へ入力されることとなる(ステップ
1)。この歩行検知信号の入力と共に、脈拍検出計1a
から脈拍検出信号が制御部4の入出力演算制御部41へ
入力され利用者の体調管理の動作が実行される(ステッ
プ2)。この体調管理動作(ステップ2)は、前記入力
された利用者の年齢から最適脈拍数を入出力演算制御部
41が演算し(ステップ201)、この演算結果を表示
制御部43を介してCRT31に表示する(ステップ2
02)。また、前記脈拍検出計1aから出力される検出
結果に基づいて利用者の現在の脈拍数を前記最適脈拍数
と併記してCRT31に図7(C)に示すように表示す
る(ステップ203)。
In this state, the user starts a walking motion on the walking state detecting unit 1, and the walking detecting signal is input from the walking state detecting unit 1 to the control unit 4 (step 1). With the input of this walking detection signal, the pulse detector 1a
Is input to the input / output calculation control unit 41 of the control unit 4 and the operation of managing the physical condition of the user is executed (step 2). In this physical condition management operation (step 2), the input / output calculation control unit 41 calculates the optimum pulse rate from the input age of the user (step 201), and the calculation result is displayed on the CRT 31 via the display control unit 43. Display (Step 2)
02). Further, based on the detection result output from the pulse detector 1a, the current pulse rate of the user is displayed together with the optimum pulse rate and displayed on the CRT 31 as shown in FIG. 7C (step 203).

【0024】この表示される利用者の現在の脈拍数が最
適脈拍数を超えているか否かを入出力演算制御部41が
判断し(ステップ204)、この最適脈拍数を超えてい
ると判断された場合には図7(D)に示すようにCRT
31に「注意!!脈拍数が上がりすぎています。一休み
してください。」等の歩行動作を中断する旨の指示をC
RT31に表示する(ステップ205)。また、前記歩
行状態検知部1から歩行検知信号の入力があったか否か
を入出力演算制御部41が判断し(ステップ3)、入力
があったと判断された場合には、この入力された歩行検
知信号に基づいて利用者の消費カロリーを入出力演算制
御部41が現在使用している歩行状態検知部1の種類に
該当する消費カロリーデータを補助情報記録部5より読
み出し、この読み出した消費カロリーデータより演算す
る(ステップ4)。また、入出力演算制御部41は入力
される歩行検知信号から利用者の歩数を算出し(ステッ
プ5)、前記選択された歩行コースに対応した映像デー
タ及び音声データを映像音声記録部2からバッファメモ
リ42へ読出し、この読出された映像データを表示制御
部43の制御により出力部3のCRT31で表示してビ
デオ映像Viとして再生を開始する(ステップ6)。
The input / output arithmetic control unit 41 judges whether or not the displayed current pulse rate of the user exceeds the optimum pulse rate (step 204), and it is judged that it exceeds the optimum pulse rate. In case of a CRT, as shown in FIG.
31. Instruct C to stop walking, such as "Caution! The pulse rate is rising too much. Please take a rest."
It is displayed on RT31 (step 205). Further, the input / output operation control unit 41 determines whether or not the walking detection signal is input from the walking state detection unit 1 (step 3), and when it is determined that the input is made, the input walking detection is performed. Based on the signal, the calorie consumption of the user is read from the auxiliary information recording unit 5 by reading the calorie consumption data corresponding to the type of the walking state detection unit 1 currently used by the input / output calculation control unit 41, and the read calorie consumption data. More calculation is performed (step 4). Further, the input / output operation control unit 41 calculates the number of steps of the user from the input walking detection signal (step 5), and buffers the video data and the audio data corresponding to the selected walking course from the video / audio recording unit 2. The video data read out to the memory 42 is displayed on the CRT 31 of the output section 3 under the control of the display control section 43 and started to be reproduced as a video picture Vi (step 6).

【0025】前記ステップ3及びステップ6の後に前記
映像データ及び音声データによるCRT31及びスピー
カ32からの再生が終了したか否かが入出力演算制御部
41で判断される(ステップ7)。再生が終了していな
いと判断された場合には、入出力演算制御部41は映像
データの再生と並行してBGMを音声制御部44を介し
てスピーカ32から音声データに基づいて出力する(ス
テップ8)。この映像データ及びBGMが再生された後
に、入出力演算制御部41はCRT31で既に再生され
た時間から前記選択された歩行コースの残り距離を演算
し(ステップ9)、この残りの距離を表示制御部43を
介してCRT31に図7(C)に示すように表示する
(ステップ10)。また、入出力演算制御部41は、前
記ステップ4において算出した利用者の消費カロリーを
図7(C)に示すようにCRT31に表示する(ステッ
プ11)。
After Steps 3 and 6, the input / output operation control unit 41 determines whether or not the reproduction of the video data and the audio data from the CRT 31 and the speaker 32 is completed (Step 7). When it is determined that the reproduction is not completed, the input / output arithmetic control unit 41 outputs BGM from the speaker 32 via the audio control unit 44 based on the audio data in parallel with the reproduction of the video data (step 8). After the video data and the BGM are reproduced, the input / output arithmetic control unit 41 calculates the remaining distance of the selected walking course from the time already reproduced on the CRT 31 (step 9), and the remaining distance is displayed and controlled. It is displayed on the CRT 31 through the section 43 as shown in FIG. 7C (step 10). Further, the input / output arithmetic control unit 41 displays the user's calorie consumption calculated in step 4 on the CRT 31 as shown in FIG. 7C (step 11).

【0026】また、入出力演算制御部41は、前記ステ
ップ6で映像データの再生開始から現時点までの時間を
Tiとして積算し、この積算時間Tiに基づいて利用者
の歩行時間を演算する(ステップ12)。この演算され
た歩行時間は、図7(C)に示すようにCRT31に表
示され(ステップ13)、この歩行時間と共に(ステッ
プ5で演算した)現在までの積算値として現在の歩数も
CRT31に表示される(ステップ14)。
Further, the input / output operation control section 41 integrates the time from the start of reproduction of the video data to the present time as Ti in the step 6, and calculates the walking time of the user based on the integrated time Ti (step). 12). The calculated walking time is displayed on the CRT 31 as shown in FIG. 7C (step 13), and the current step count is also displayed on the CRT 31 as an integrated value up to the present (calculated in step 5) together with the walking time. (Step 14).

【0027】この現在の歩数をCRT31に表示した後
に、入出力演算制御部41は、映像データに基づいて再
生される各ビデオ映像Viに対応して予め設定された再
生時間tiの積算値を前記ステップ6で積算される積算
時間Tiからポーズ時間Piの積算値を差し引いた値が
経過したか否かを判断する(ステップ15)。この積算
時間Tiからポーズ時間Piの積算値を差し引いた値が
再生時間tiの積算値を経過したと判断された場合に
は、入出力演算制御部41は映像音声記録部2から映像
データ及び音声データをバッファメモリ42に読出し、
この読出された音声データに基づいて音声制御部44の
制御によりスピーカ32からCRT31で表示される前
記ビデオ映像Viの解説としてのナレーションBiを再
生する(ステップ16)。
After displaying the current number of steps on the CRT 31, the input / output calculation control unit 41 calculates the integrated value of the reproduction time ti preset corresponding to each video image Vi reproduced based on the image data. It is determined whether or not a value obtained by subtracting the integrated value of the pause time Pi from the integrated time Ti integrated in step 6 has passed (step 15). When it is determined that the value obtained by subtracting the integrated value of the pause time Pi from the integrated time Ti has passed the integrated value of the reproduction time ti, the input / output operation control unit 41 causes the video / audio recording unit 2 to output the video data and the audio data. Read the data into the buffer memory 42,
Based on the read voice data, the voice control unit 44 controls the speaker 32 to reproduce the narration Bi as the explanation of the video image Vi displayed on the CRT 31 (step 16).

【0028】前記ステップ15で積算時間Tiからポー
ズ時間Piの積算値を差し引いた値が経過していないと
判断され、又は前記ステップ16でナレーションBiを
再生した後に、歩行コースの分岐点に到達したか否かに
ついて入出力演算制御部41が判断する(ステップ1
7)。この分岐点に到達したと判断された場合には、利
用者に対して分岐点からの分岐された歩行コースの選択
を図8(A)に示すようにCRT31に表示して要求
し、この要求に応じて利用者が歩行状態検知部1の矢印
キー13、14を操作することによりいずれかを選択し
て入力し、Yesキー15で決定する(ステップ1
8)。 前記ビデオ映像ViがCRT31で再生され、
ナレーションBiがスピーカ32から出力されている間
には、歩行状態検知部1からの歩行検知信号が入出力演
算制御部41へ所定時間PT以上入力されてないか否か
が判断される(ステップ19)。この入出力演算制御部
41で歩行検知信号の入力が所定時間PT以上入力され
ていないと判断された場合(ポーズ状態)には、入力さ
れなくなった時点に再生されているビデオ映像Viを静
止画像として出力し、以降の続くビデオ映像Viの再生
を停止する(ステップ20)。このビデオ映像Viを静
止画像として出力している間も、ナレーションBiはス
ピーカ32より継続して再生される(ステップ21)。
In step 15, it is judged that the value obtained by subtracting the integrated value of the pause time Pi from the integrated time Ti has not elapsed, or after the narration Bi is reproduced in step 16, the branch point of the walking course is reached. The input / output arithmetic control unit 41 determines whether or not (step 1).
7). If it is determined that the user has reached this branch point, the user is requested to display the selection of the branched walking course from the branch point on the CRT 31 as shown in FIG. The user operates the arrow keys 13 and 14 of the walking state detection unit 1 to select and input one of them, and the Yes key 15 is used to determine it (step 1).
8). The video image Vi is reproduced on the CRT 31,
While the narration Bi is being output from the speaker 32, it is determined whether or not the walking detection signal from the walking state detection unit 1 has been input to the input / output calculation control unit 41 for a predetermined time PT or more (step 19). ). When the input / output calculation control unit 41 determines that the input of the walking detection signal has not been input for the predetermined time PT or more (pause state), the video image Vi that is being reproduced at the time when the input is not input is displayed as a still image. Is output, and the reproduction of the subsequent video image Vi is stopped (step 20). The narration Bi is continuously reproduced from the speaker 32 while the video image Vi is output as a still image (step 21).

【0029】このステップ20及びステップ21の映像
再生動作、音声再生動作は、図9に示すように映像デー
タの先頭であるビデオ映像V01の再生開始時からビデオ
映像再生の積算時間Tiを演算し、この積算時間Tiか
らポーズ時間Piの積算値を差し引いた値が再生時間t
iの積算値となった場合に順次ビデオ映像V01、V02、
・・・の再生が実行される。ここで、ビデオ映像V01の
再生が中断して静止画像となり、ポーズ状態が所定時間
P1だけ継続した場合にもナレーションB1を再生し続け
られることとなる。このように常に特定のビデオ映像V
iが始まる時に、そのビデオ映像Viに対応したナレー
ションBiが再生されることとなる。このようにビデオ
映像Viを静止画像とし、ナレーションBiを連続再生
している間に、歩行検知信号が入出力演算制御部41へ
入力されたか否かが判断される(ステップ22)。この
歩行検知信号の入力がないと判断された場合には、前記
ステップ20及び21の動作を繰り返すことなる。
In the video reproduction operation and the audio reproduction operation of steps 20 and 21, the integrated time Ti of the video image reproduction is calculated from the start of the reproduction of the video image V01, which is the head of the image data, as shown in FIG. The value obtained by subtracting the integrated value of the pause time Pi from the integrated time Ti is the reproduction time t.
When the integrated value of i is reached, the video images V01, V02,
The reproduction of ... Is executed. Here, the reproduction of the video image V01 is interrupted to become a still image, and the narration B1 can be continuously reproduced even when the pause state continues for the predetermined time P1. Thus, a specific video image V is always
When i starts, the narration Bi corresponding to the video image Vi is reproduced. As described above, it is determined whether or not the walking detection signal is input to the input / output calculation control unit 41 while the video image Vi is a still image and the narration Bi is continuously reproduced (step 22). If it is determined that the walking detection signal has not been input, the operations of steps 20 and 21 are repeated.

【0030】前記ステップ22で歩行検知信号の入力が
あったと判断された場合、又は前記ステップ15で積算
時間Tiが経過していないと判断された場合には、前記
Noキー16を2回押圧することにより強制終了指令の
入力がなされたか否かを入出力演算制御部41が判断し
(ステップ23)、入力がなされていないと判断された
場合には、前記ステップ2へ戻り前記動作を繰り返すこ
ととなる。一方ステップ23で強制終了指令が入力され
たと判断された場合及び前記ステップ7で映像データに
より総てのビデオ映像Viの再生が終了したと判断され
た場合には、CRT31からゴール到着を内容とする映
像を図8(B)に示すように出力する(ステップ2
4)。
When it is determined in step 22 that the walking detection signal is input, or when it is determined in step 15 that the integrated time Ti has not elapsed, the No key 16 is pressed twice. Accordingly, the input / output operation control unit 41 determines whether or not the forced termination command is input (step 23). When it is determined that the input is not performed, the process returns to step 2 and the above operation is repeated. Becomes On the other hand, when it is determined in step 23 that the forced termination command has been input and when it is determined in step 7 that the reproduction of all the video images Vi has been completed based on the image data, the goal arrival from the CRT 31 is set as the content. The video is output as shown in FIG. 8B (step 2).
4).

【0031】さらに、ゴール到着の映像出力がなされた
後に、入出力演算制御部41は今回利用した歩行コース
に基づく歩行距離を積算歩行距離として記憶するか否か
を判断するため図8(C)に示すようにCRT31に表
示して利用者に選択させる(ステップ25)。記憶する
ことを利用者が選択したと判断された場合には、歩行コ
ースを記憶する(ステップ26)と共に、この歩行コー
スによる歩行距離を積算して記憶する(ステップ2
7)。この歩行コースによる歩行距離の記憶後又はステ
ップ25で記憶しないと判断された場合には、歩行動作
の制御が完了する(ステップ28)。
Further, after the video output of the arrival at the goal is made, the input / output calculation control section 41 judges whether or not to store the walking distance based on the walking course used this time as the integrated walking distance, as shown in FIG. 8C. It is displayed on the CRT 31 as shown in (1) to allow the user to select it (step 25). When it is determined that the user has selected to store, the walking course is stored (step 26), and the walking distance according to this walking course is integrated and stored (step 2).
7). After storing the walking distance according to the walking course or when it is determined not to be stored in step 25, the control of the walking motion is completed (step 28).

【0032】(本発明の他の実施形態)なお、前記各実
施形態に係る移動疑似体験装置においては映像データ及
び音声データを単一の再生速度で実行することとした
が、歩行速度、年齢により映像データ及び音声データの
再生速度を変化させることができる。また、利用者のカ
ルテ等に基づいて目標脈拍数をCRT31に表示する構
成とすることもできる。さらに、動作前において脈拍検
出計1aから脈拍検出信号が制御部4へ入力され、制御
部4は予め入力されている年齢や性別等の個人データと
当該脈拍検出信号とに基づいて最適脈拍数等の診断結果
をCRT31に出力し、動作中において脈拍検出計1a
から脈拍検出信号が制御部4へ入力され、制御部4は当
該脈拍検出信号より脈拍数をCRT31に出力すると共
に、前記診断結果と当該脈拍数とに基づいて利用者に休
憩、注意及び警告等の指示を促すこともできる。
(Other Embodiments of the Present Invention) In the simulated mobile experience device according to each of the above embodiments, the video data and the audio data are executed at a single reproduction speed. The playback speed of video data and audio data can be changed. Further, the target pulse rate may be displayed on the CRT 31 based on the user's chart or the like. Further, before the operation, a pulse detection signal is input from the pulse detector 1a to the control unit 4, and the control unit 4 determines the optimal pulse rate based on the personal data such as age and sex which are input in advance and the pulse detection signal. It outputs the diagnostic result of CRT31 to the pulse detector 1a during operation.
From the pulse detection signal is input to the control unit 4, the control unit 4 outputs the pulse rate from the pulse detection signal to the CRT 31, and the user is allowed to take a rest, caution, warning, etc. based on the diagnosis result and the pulse rate. You can also encourage the instructions.

【0033】また、利用者が既に利用した歩行コースを
地図上に表示し、未だに利用していない歩行コースと区
別して表示することもできる。この表示に併せて過去に
利用した歩行コースによる積算歩行距離等の各履歴を表
示することもできる。前記利用していない歩行コース及
び利用した歩行コースのどちらか一方に対して、色を異
ならせたり、点滅表示にしたり、点線にしたり又は薄く
することで、他方と区別して表示することができる。ま
た、各歩行コースの映像データに対して史跡解説、風景
解説、グルメ解説、歴史解説等複数の種類のナレーショ
ンを予め用意し、利用者が選択できる構成とすることも
できる。また、各歩行コースの映像データは、実写映
像、コンピュータグラフィックス及び各種映像を合成し
た合成映像とすることもできる。
It is also possible to display the walking course that the user has already used on the map and to display it separately from the walking courses that have not been used yet. In addition to this display, it is also possible to display each history such as the cumulative walking distance according to the walking course used in the past. Either one of the walking course that is not used and the walking course that is used can be displayed separately from the other by using different colors, blinking display, dotted lines, or thinning. It is also possible to prepare a plurality of types of narration such as historical site commentary, landscape commentary, gourmet commentary, and historical commentary for the video data of each walking course so that the user can select. Further, the video data of each walking course can be a composite video in which a live-action video, computer graphics, and various videos are combined.

【0034】また、前記各実施形態に係る移動疑似体験
装置においては各種データを映像音声記録部2に格納す
る構成としたが、これらの映像音声記録部2を設けるこ
となくインターネットに接続され、このインターネット
を介して映像データ又は音声データのいずれか少なくと
も一つをサーバ側からダウンロードする構成とすること
もできる。また、前記各実施形態に係る移動疑似体験装
置においては各種データを映像音声記録部2に格納する
構成としたが、これらの映像音声記録部2を設けること
なく電波を受信して映像データ又は音声データ取得する
構成とすることもできる。さらに、双方向テレビ又はV
OD(Video On Demand)等により利用
者側からの要求により映像データ及び音声データの配信
を受ける構成とすることもできる。また、本実施形態に
係る移動疑似体験装置により任意の歩行コースを実際体
験した際の写真をビデオ映像に挿入する構成とすること
もできる。
Further, in the simulated mobile experience device according to each of the above-described embodiments, various data are stored in the video / audio recording unit 2, but the video / audio recording unit 2 is connected to the Internet without providing the video / audio recording unit 2. At least one of the video data and the audio data may be downloaded from the server side via the Internet. Further, in the simulated mobile experience device according to each of the above-described embodiments, various data is stored in the video / audio recording unit 2. However, without providing the video / audio recording unit 2, the radio wave is received and the video data or audio is received. It can also be configured to acquire data. In addition, interactive television or V
It is also possible to adopt a configuration in which video data and audio data are delivered in response to a request from the user side by means of OD (Video On Demand) or the like. Further, it is also possible to adopt a configuration in which a photograph when an actual walking course is actually experienced is inserted into a video image by the movement simulation experience device according to the present embodiment.

【0035】[0035]

【発明の効果】本発明においては、歩行状態検知手段で
検知した利用者の歩行状態による歩行検知信号に基づい
て、制御手段が映像音声記録手段に格納される映像デー
タ及び音声データを読出して出力手段から出力し、利用
者が歩行を中断した場合に中断時の映像データを静止画
として継続出力すると共に、中断時の出力されているデ
ータブロックの音声データを総て出力するように制御手
段が制御するようにしているので、歩行の中断が生じた
場合においても停止状態及び再開時の映像に対応した音
声信号の再生ができることとなり、疑似体験の解説を違
和感なく明瞭に出力できるという効果を奏する。
According to the present invention, the control means reads and outputs the video data and the audio data stored in the audio / video recording means on the basis of the walking detection signal according to the walking state of the user detected by the walking state detecting means. When the user interrupts walking, the control means controls the video data at the time of the interruption to be continuously output as a still image and all the audio data of the data block being output at the time of the interruption. Since it is controlled, even if the walking is interrupted, it is possible to reproduce the audio signal corresponding to the image of the stopped state and the restarted state, and it is possible to output the explanation of the pseudo experience clearly without any discomfort. .

【0036】また、本発明においては、利用者の歩行に
伴って変化する歩行ルートの風景を映像データとし、こ
の映像データの解説を音声データとしていることから、
例えば旅行先等の予備知識を疑似体験として修得できる
という効果を有する。
Further, in the present invention, the scenery of the walking route that changes with the walking of the user is used as the video data, and the explanation of the video data is used as the audio data.
For example, it has the effect of being able to acquire preliminary knowledge of travel destinations as a simulated experience.

【0037】また、本発明においては、1又は複数に分
岐された歩行ルートをデータ内容とする映像データ及び
音声データとしていることから、利用者が現場を実際に
歩行すると同様に歩行ルートの変更が可能となり、疑似
体験による歩行の臨場感を高めることができるという効
果を有する。また、本発明においては、音声データの各
データブロックを1又は複数のパラグラフ毎に区切って
形成していることから、歩行中断時及び歩行再開時の音
声データによる解説がより違和感なく明瞭の出力できる
という効果を有する。
Further, in the present invention, since the walking route branched into one or more is used as the image data and the audio data, the walking route can be changed similarly when the user actually walks the site. This is possible, and has the effect of enhancing the realistic sensation of walking through a simulated experience. Further, in the present invention, since each data block of the voice data is divided into one or a plurality of paragraphs, the explanation by the voice data at the time of walking interruption and at the time of resuming walking can be output more clearly and comfortably. Has the effect.

【0038】さらに、本発明においては、映像音声記録
手段に地図上の異なる歩行ルートに関する複数の映像デ
ータ及び音声データを格納し、この複数の映像データ及
び音声データのうち既に利用した歩行ルートを地図上に
表示して出力手段から出力するようにしているので、利
用者が過去に歩行した歩行実績を認識できることとな
り、利用者の歩行動作に対する実行意欲を向上させるこ
とができるという効果を有する。
Further, in the present invention, a plurality of video data and audio data relating to different walking routes on the map are stored in the video / audio recording means, and the walking route which has already been used among the plurality of video data and audio data is mapped. Since it is displayed on the screen and output from the output means, the user can recognize the walking record of walking in the past, and the user's motivation for the walking motion can be improved.

【0039】さらにまた、本発明においては、予め年齢
や性別等の個人データから診断結果を求め表示画面に出
力し、動作中には脈拍検出手段から脈拍数を取得して表
示画面に出力し、更に前記診断結果と当該脈拍数とに基
づいて利用者に休憩、注意及び警告等の指示を促してい
るので、利用者が自分に応じた運動を行うことができる
という効果を有する。
Furthermore, in the present invention, the diagnosis result is obtained in advance from personal data such as age and sex, and is output to the display screen. During operation, the pulse rate is acquired from the pulse detection means and output to the display screen, Furthermore, since the user is instructed to take a rest, caution, warning, etc. based on the diagnosis result and the pulse rate, the user can exercise according to his / her own.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施形態に係る移動疑似体験装
置の全体ブロック構成図である。
FIG. 1 is an overall block configuration diagram of a mobile simulation experience device according to a first embodiment of the present invention.

【図2】図1記載の移動疑似体験装置における歩行疑似
体験の動作フローチャートである。
FIG. 2 is an operation flowchart of simulated walking experience in the simulated moving experience device shown in FIG.

【図3】図1記載の移動疑似体験装置における歩行疑似
体験の動作フローチャートである。
FIG. 3 is an operation flowchart of simulated walking experience in the simulated movement experience device shown in FIG. 1.

【図4】図2に記載の体調管理動作の詳細動作フローチ
ャートである。
FIG. 4 is a detailed operation flowchart of the physical condition management operation shown in FIG.

【図5】図1に記載の運動入力部の外観正面図である。5 is an external front view of the motion input unit shown in FIG. 1. FIG.

【図6】図5に記載の歩行状態検出部の外観斜視図及び
その他の動作状態を検出する各種の運動入力部の外観斜
視図である。
FIG. 6 is an external perspective view of the walking state detection unit shown in FIG. 5 and external perspective views of various motion input units that detect other operating states.

【図7】図1に記載のCRTモニタにおける各表示態様
図である。
7 is a diagram showing each display mode on the CRT monitor shown in FIG. 1. FIG.

【図8】図1に記載のCRTモニタにおける各表示態様
図である。
8 is a diagram showing each display mode on the CRT monitor shown in FIG. 1. FIG.

【図9】歩行中断状態におけるビデオ映像及びナレーシ
ョンの出力動作タイミングテャートである。
FIG. 9 is a timing chart of an output operation of a video image and narration in a walking interrupted state.

【図10】従来の移動疑似体験装置。FIG. 10 is a conventional movement simulation experience device.

【図11】従来の移動疑似体験装置。FIG. 11 is a conventional movement simulation experience device.

【図12】従来の移動疑似体験装置。FIG. 12 is a conventional movement simulation experience device.

【符号の説明】[Explanation of symbols]

1 歩行状態検知部 1a 脈拍検出計 2 映像音声記録部 3 出力部 4 制御部 5 補助情報記録部 11、12 左・右スイッチ部 13、14 矢印キー 15 Yesキー 16 Noキー 17 通信ケーブル 31、308 CRT 32 スピーカ 41 入出力演算制御部 42 バッファメモリ 43 表示制御部 44 音声制御部 110 走行装置 111 映像発生装置 112 映像表示装置 113 画面 114 走行距離 115 走行速度 116 スピーカ 117 走行者 201 CD−ROM 202 CD−ROM読取装置 203 センサ 204 走行マシン 205 TVモニタ 206 データ処理装置 207 CD−ROMインターフェース 208 センサ入力部 209 歩行マシンインターフェース 210 TVモニタインターフェース 301 マットスイッチ 302、303、304、305 スイッチ領域 307 画像音声表示装置 308 CRTモニタ 1 Walking state detector 1a Pulse detector 2 Video and audio recorder 3 Output section 4 control unit 5 Auxiliary information recording section 11, 12 Left / right switch 13 and 14 arrow keys 15 Yes key 16 No key 17 Communication cable 31,308 CRT 32 speakers 41 Input / output operation control unit 42 buffer memory 43 Display control unit 44 Voice control unit 110 traveling device 111 Image generator 112 Video display device 113 screens 114 mileage 115 traveling speed 116 speakers 117 Runner 201 CD-ROM 202 CD-ROM reader 203 sensor 204 running machine 205 TV monitor 206 Data processing device 207 CD-ROM interface 208 sensor input section 209 Walking Machine Interface 210 TV monitor interface 301 mat switch 302, 303, 304, 305 Switch area 307 Image and sound display device 308 CRT monitor

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) A63B 69/00 A63B 69/00 A A63G 31/16 A63G 31/16 G06T 11/60 200 G06T 11/60 200 300 300 13/00 13/00 C H04N 5/76 H04N 5/76 A 5/93 5/93 E (72)発明者 大石 利光 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 (72)発明者 大久保 融 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 (72)発明者 堂満 秀幸 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 (72)発明者 山野 知也 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 (72)発明者 赤阪 圭祐 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 (72)発明者 中野 卓哉 東京都港区虎ノ門四丁目3番1号 コナミ 株式会社内 Fターム(参考) 5B050 AA07 BA10 BA11 BA17 CA07 CA09 FA02 FA10 FA19 GA08 5C052 AA17 DD10 EE03 GA03 GA07 GF01 5C053 FA27 HA21 HA27 HA29 KA04─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) A63B 69/00 A63B 69/00 A A63G 31/16 A63G 31/16 G06T 11/60 200 G06T 11/60 200 300 300 13/00 13/00 C H04N 5/76 H04N 5/76 A 5/93 5/93 E (72) Inventor Toshimitsu Oishi 4-3-1 Toranomon, Minato-ku, Tokyo Konami Corporation (72) Inventor Toru Okubo 4-3-1 Toranomon, Minato-ku, Tokyo Konami Ltd. (72) Inventor Hideyuki Domitsu 4-3-1 Toranomon, Minato-ku, Tokyo Konami Ltd. (72) Inventor Tomoya Yamano Tokyo Keio Akasaka (72) Inventor Keisuke Akasaka, 4-3 Toranomon 4-chome, Minato-ku, Tokyo Konami Inc. (72) Inventor Nakano, 4-3-1 Toranomon 4-chome, Minato-ku, Tokyo Takuya 4-3 Toranomon, Minato-ku, Tokyo Konami Co., Ltd. F-term (reference) 5B050 AA07 BA10 BA11 BA17 CA07 CA09 FA02 FA10 FA19 GA08 5C052 AA17 DD10 EE03 GA03 GA07 GF01 5C053 FA27 HA21 HA27 HA29 KA04

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 利用者の動作状態を検知して動作検知信
号を出力する動作状態検知手段と、 前記動作状態に応じて変化するデータ内容が所定のデー
タ長のデータブロックに区分された映像データ及び音声
データを格納する映像音声記録手段と、 前記映像データを表示画面上に表示すると共に音声デー
タを音声で報知する出力手段と、 前記動作検知信号に基づいて前記各データブロック毎の
映像データ及び音声データを前記出力手段に出力し、前
記動作検知信号により動作が中断されていると判断され
ている間に当該中断時において出力手段で表示される映
像データを静止画として継続表示すると共に、前記動作
の中断時における出力手段から出力されているデータブ
ロックに含まれる総ての音声データを出力するように出
力手段を制御する制御手段とを備えることを特徴とする
移動疑似体験装置。
1. An operation state detection means for detecting an operation state of a user and outputting an operation detection signal, and video data in which data contents changing according to the operation state are divided into data blocks of a predetermined data length. And audio / video recording means for storing audio data, output means for displaying the video data on a display screen and notifying the audio data by voice, and video data for each data block based on the operation detection signal, The audio data is output to the output means, and while the operation is judged by the operation detection signal that the operation is interrupted, the video data displayed by the output means at the time of the interruption is continuously displayed as a still image, and A control for controlling the output means so as to output all the audio data contained in the data block output from the output means when the operation is interrupted. A simulated moving experience device, which is equipped with a control means.
【請求項2】 前記請求項1に記載の移動疑似体験装置
において、 前記映像データが動作ルートの風景をデータ内容とし、
前記音声データが映像データの風景を解説するデータ内
容とすることを特徴とする移動疑似体験装置。
2. The mobile simulated experience device according to claim 1, wherein the video data has a scene of an operation route as data content,
A simulated mobile experience device, wherein the audio data has data contents that describe a landscape of video data.
【請求項3】 前記請求項1又は2に記載の移動疑似体
験装置において、 前記映像データ及び音声データが1又は複数に分岐され
た動作ルートのデータ内容とすることを特徴とする移動
疑似体験装置。
3. The simulated mobile experience device according to claim 1, wherein the video data and the audio data are data contents of an operation route branched into one or more. .
【請求項4】 前記請求項1ないし3のいずれかに記載
の移動疑似体験装置において、 前記音声データが解説文における1又は複数のパラグラ
フ毎に区分したデータブロックで形成されることを特徴
とする移動疑似体験装置。
4. The mobile experience device according to claim 1, wherein the voice data is formed of data blocks divided into one or a plurality of paragraphs in the commentary. Mobile simulated experience device.
【請求項5】 前記請求項1ないし4のいずれかに記載
の移動疑似体験装置において、 前記映像データ及び音声データが地図上の異なる動作ル
ートに関するデータ内容として映像音声記録手段に複数
格納され、 前記複数の映像データ及び音声データのうち既に利用者
が利用した映像データ及び音声データの動作ルートを地
図上に表示するように出力手段から出力することを特徴
とする移動疑似体験装置。
5. The mobile simulated experience device according to claim 1, wherein a plurality of the video data and the audio data are stored in a video / audio recording unit as data contents regarding different operation routes on a map, A simulated moving experience device, characterized in that, out of a plurality of video data and audio data, the output means outputs the operation route of the video data and audio data which the user has already used so as to display on the map.
【請求項6】 前記請求項1ないし5のいずれかに記載
の移動疑似体験装置において、 利用者の脈拍数を検出する脈拍検出手段を備え、 予め保有する年齢や性別等のデータに基づいて利用者の
最適脈拍数を導出して表示画面上に出力し、 動作中において脈拍検出手段から脈拍検出信号が制御部
へ入力され、制御部は当該脈拍検出信号より脈拍数を表
示画面上に出力すると共に、前記最適脈拍数と当該脈拍
数とに基づいて利用者に休憩、注意及び警告等の指示を
促すことを特徴とする移動疑似体験装置。
6. The mobile simulated experience device according to claim 1, further comprising pulse detection means for detecting a pulse rate of the user, and the device is used based on pre-stored data such as age and sex. The optimum pulse rate of the person is derived and output on the display screen, and the pulse detection signal is input from the pulse detection means to the control unit during operation, and the control unit outputs the pulse rate from the pulse detection signal on the display screen. At the same time, the simulated movement experience device is characterized in that it prompts the user to give an instruction such as a break, caution or warning based on the optimum pulse rate and the pulse rate.
【請求項7】 利用者の動作状態を検知して、 前記動作状態に応じて変化するデータ内容が所定のデー
タ長のデータブロックに区分された映像データ及び音声
データを格納し、 前記映像データを表示画面上に表示すると共に音声デー
タを音声で報知し、 前記検知結果に基づいて前記各データブロック毎の映像
データ及び音声データを表示画面上に出力し、前記検知
結果により動作が中断されていると判断されている間に
当該中断時において表示画面に表示される映像データを
静止画として継続表示すると共に、前記動作の中断時に
出力されているデータブロックに含まれる総ての音声デ
ータを報知するように制御することを特徴とする移動疑
似体験方法。
7. The video data and the audio data, which are obtained by detecting an operation state of a user and whose data contents changing according to the operation state are divided into data blocks of a predetermined data length, are stored. The audio data is displayed on the display screen and the audio data is notified by voice, and the video data and the audio data for each data block are output on the display screen based on the detection result, and the operation is interrupted by the detection result. While it is determined that the video data displayed on the display screen at the time of the interruption is continuously displayed as a still image, all the audio data included in the data block output at the time of the interruption of the operation is reported. A simulated movement experience method that is characterized by controlling as described above.
JP2001309668A 2001-10-05 2001-10-05 Mobile simulation experience apparatus and method Expired - Fee Related JP3694663B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001309668A JP3694663B2 (en) 2001-10-05 2001-10-05 Mobile simulation experience apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001309668A JP3694663B2 (en) 2001-10-05 2001-10-05 Mobile simulation experience apparatus and method

Publications (2)

Publication Number Publication Date
JP2003111867A true JP2003111867A (en) 2003-04-15
JP3694663B2 JP3694663B2 (en) 2005-09-14

Family

ID=19128779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001309668A Expired - Fee Related JP3694663B2 (en) 2001-10-05 2001-10-05 Mobile simulation experience apparatus and method

Country Status (1)

Country Link
JP (1) JP3694663B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113474A (en) * 2004-10-18 2006-04-27 Matsushita Electric Works Ltd Image experience support system
JP2006110211A (en) * 2004-10-18 2006-04-27 Rarugo:Kk Stepping exercise supporting system, musical sound issuing device for use in system, program of stepping exercise support and music delivery method
WO2008149860A1 (en) * 2007-06-04 2008-12-11 Shimane Prefectural Government Information inputting device, and information outputting device and method
JP2009187210A (en) * 2008-02-05 2009-08-20 Olympus Corp Virtual mobile display device
JP2010517725A (en) * 2007-02-14 2010-05-27 ナイキ インコーポレーティッド How to collect and display exercise information
JP2012005841A (en) * 2010-06-28 2012-01-12 Nike Internatl Ltd Method of monitoring and tracking athletic activity
JP2012164328A (en) * 2012-03-28 2012-08-30 Olympus Corp Virtual mobile display device
US8533620B2 (en) 2009-09-04 2013-09-10 Nike, Inc. Monitoring and tracking athletic activity
US8605990B2 (en) 2007-12-03 2013-12-10 Shimane Prefectural Government Image recognition device and image recognition method
US8717411B2 (en) 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US12023547B2 (en) 2022-10-06 2024-07-02 Nike, Inc. Monitoring and tracking athletic activity

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05220237A (en) * 1992-02-17 1993-08-31 Ricoh Elemex Corp Fixed-position running device
JPH0623067A (en) * 1992-04-10 1994-02-01 Matsushita Electric Works Ltd Display device for amount of exercise
JPH10151223A (en) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp Wellness system
JP2000051390A (en) * 1998-08-07 2000-02-22 Tyo:Kk Training management system
JP2000069442A (en) * 1998-08-24 2000-03-03 Sharp Corp Moving picture system
JP2000333106A (en) * 1999-05-21 2000-11-30 Canon Inc Image file management device, its method and computer- readable storage medium
JP2001017565A (en) * 1999-07-08 2001-01-23 Erugotekku:Kk Simulation system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05220237A (en) * 1992-02-17 1993-08-31 Ricoh Elemex Corp Fixed-position running device
JPH0623067A (en) * 1992-04-10 1994-02-01 Matsushita Electric Works Ltd Display device for amount of exercise
JPH10151223A (en) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp Wellness system
JP2000051390A (en) * 1998-08-07 2000-02-22 Tyo:Kk Training management system
JP2000069442A (en) * 1998-08-24 2000-03-03 Sharp Corp Moving picture system
JP2000333106A (en) * 1999-05-21 2000-11-30 Canon Inc Image file management device, its method and computer- readable storage medium
JP2001017565A (en) * 1999-07-08 2001-01-23 Erugotekku:Kk Simulation system

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110211A (en) * 2004-10-18 2006-04-27 Rarugo:Kk Stepping exercise supporting system, musical sound issuing device for use in system, program of stepping exercise support and music delivery method
JP2006113474A (en) * 2004-10-18 2006-04-27 Matsushita Electric Works Ltd Image experience support system
JP2010517725A (en) * 2007-02-14 2010-05-27 ナイキ インコーポレーティッド How to collect and display exercise information
JP5256561B2 (en) * 2007-06-04 2013-08-07 島根県 Information input device, information output device and method
WO2008149860A1 (en) * 2007-06-04 2008-12-11 Shimane Prefectural Government Information inputting device, and information outputting device and method
US8963828B2 (en) 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
US8605990B2 (en) 2007-12-03 2013-12-10 Shimane Prefectural Government Image recognition device and image recognition method
US9412204B2 (en) 2008-02-05 2016-08-09 Olympus Corporation Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
JP2009187210A (en) * 2008-02-05 2009-08-20 Olympus Corp Virtual mobile display device
US10027931B2 (en) 2008-02-05 2018-07-17 Olympus Corporation Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US8717411B2 (en) 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US9807354B2 (en) 2008-02-05 2017-10-31 Olympus Corporation Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US8825445B2 (en) 2009-09-04 2014-09-02 Nike, Inc. Monitoring and tracking athletic activity
US9345930B2 (en) 2009-09-04 2016-05-24 Nike, Inc. Monitoring and tracking athletic activity
US8533620B2 (en) 2009-09-04 2013-09-10 Nike, Inc. Monitoring and tracking athletic activity
US10420983B2 (en) 2009-09-04 2019-09-24 Nike, Inc. Monitoring and tracking athletic activity
US10625117B2 (en) 2009-09-04 2020-04-21 Nike, Inc. Monitoring and tracking athletic activity
US10967223B2 (en) 2009-09-04 2021-04-06 Nike, Inc. Monitoring and tracking athletic activity
US11534659B2 (en) 2009-09-04 2022-12-27 Nike, Inc. Monitoring and tracking athletic activity
JP2012005841A (en) * 2010-06-28 2012-01-12 Nike Internatl Ltd Method of monitoring and tracking athletic activity
TWI455742B (en) * 2010-06-28 2014-10-11 Nike Innovate Cv Apparatus and method for monitoring and tracking athletic activity and computer readable media implementing the same
JP2012164328A (en) * 2012-03-28 2012-08-30 Olympus Corp Virtual mobile display device
US12023547B2 (en) 2022-10-06 2024-07-02 Nike, Inc. Monitoring and tracking athletic activity

Also Published As

Publication number Publication date
JP3694663B2 (en) 2005-09-14

Similar Documents

Publication Publication Date Title
US6881176B2 (en) Exercise assistance apparatus
US20050075213A1 (en) Exercise device independent, variable display rate visual exercise system
US6317151B1 (en) Image reproducing method and image generating and reproducing method
US6179619B1 (en) Game machine for moving object
US7022048B1 (en) Video fitness machine
EP1355699B1 (en) Methods and systems for controlling an exercise apparatus using a portable remote device
KR101017664B1 (en) Training system based on on-line virtual reality
US20080141135A1 (en) Interactive Audio/Video Instruction System
JP2003102868A (en) Exercising support method and apparatus therefor
JPH11137719A (en) Training system
KR20160090003A (en) Cycle running simulation apparatus to simulate real environment and fitness management method using the apparatus
JP2010178777A (en) Exercise system with display function
JP2003111867A (en) Movement simulating device and method thereof
EP3533506A1 (en) Vr amusement ride device
JP2004121592A (en) Training machine
JPH07250919A (en) Cycling simulation system
WO2015033446A1 (en) Running assistance system and head mount display device used in same
KR20030063177A (en) Game device and program product thereof
KR20120044270A (en) Physical brain fitness system with bicycle ergometer
KR20020077617A (en) Training machine based on virtual reality
KR100803366B1 (en) Riding Apparatus synchronized with Scenes
JP3838173B2 (en) Information processing apparatus and method, recording medium, and program
JPH10263110A (en) Cycling simulation system
JPH06231A (en) Fitness cycling system
JP2000107446A (en) Motion assistance device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050627

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090701

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090701

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100701

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100701

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110701

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130701

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees