JP2001013941A - Mounting information presenting device, method and storage medium - Google Patents

Mounting information presenting device, method and storage medium

Info

Publication number
JP2001013941A
JP2001013941A JP11184646A JP18464699A JP2001013941A JP 2001013941 A JP2001013941 A JP 2001013941A JP 11184646 A JP11184646 A JP 11184646A JP 18464699 A JP18464699 A JP 18464699A JP 2001013941 A JP2001013941 A JP 2001013941A
Authority
JP
Japan
Prior art keywords
information
wearable
reproduction
user
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11184646A
Other languages
Japanese (ja)
Other versions
JP3492942B2 (en
Inventor
Miwako Doi
美和子 土井
Genso Matsushita
玄宗 松下
Kazuo Sumita
一男 住田
Hideki Hirakawa
秀樹 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP18464699A priority Critical patent/JP3492942B2/en
Publication of JP2001013941A publication Critical patent/JP2001013941A/en
Application granted granted Critical
Publication of JP3492942B2 publication Critical patent/JP3492942B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a mounted information presenting device making so that a user can not use a mounted electronic equipment in a dangerous state. SOLUTION: Since this mounted information presenting device has a movement measuring sensor 2 observing the movement of a user and the user can receive the presenting of information only at a stationary state, the user can use it safely. Moreover, since the device can not be used when the user is not stationary, it is never generated that the user looses attention by using the device while performing other movements and gives other persons trouble.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本願発明は、装着型の電子機
器を危険な状態で使用できないようにする装着型情報呈
示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a wearable information presenting apparatus for preventing a wearable electronic device from being used in a dangerous state.

【0002】[0002]

【従来の技術】近年パーソナルコンピュータの小型化が
進み、ノートブック型コンピュータなどを鞄などに入れ
て持ち歩いて使うスタイルが出現している。このような
モバイルコンピュータは、会議などで机上で会議をしな
がらの議事録作成、あるいは製品の在庫チェックや納入
スケジュールの確認、会議の予定を決定する際の参加者
の確認などに使われる。また、客先との打ち合わせ後、
次の客先への移動中の電車内あるいは喫茶店などで、打
ち合わせ結果を記録するために使われる。いずれにして
もモバイルコンピュータを用いるには、机やひざの上な
どに置いて、ディスプレイを見ながらキーボードを打つ
体勢、すなわち座った状態でなければならない。これに
対し、ハンドフリーで座った状態でなくても使えるコン
ピュータ(装着型コンピュータあるいはウェアラブルコ
ンピュータ)が大学などで研究され始めている。ウェア
ラブルコンピュータでは、フェイスマウントディスプレ
イ(FMD)あるいはヘッドマウントディスプレイ(H
MD)と呼ばれる装着型のモニタを利用者の頭部に装着
させ、電源,CPU本体を腹部に装着させることで、座
ることなく立ったままのの姿勢でディスプレイを見るこ
とができる。さらにウェアラブルコンピュータでは、立
ったままだけでなく、歩行しながらでも使用することが
可能である。
2. Description of the Related Art In recent years, personal computers have been miniaturized, and a style in which a notebook computer or the like is used while being carried in a bag or the like has appeared. Such a mobile computer is used for making minutes of a meeting while holding a meeting at a desk, checking inventory of products, checking a delivery schedule, and confirming participants when deciding a meeting schedule. Also, after a meeting with the customer,
It is used to record the meeting result on a train or a coffee shop while traveling to the next customer. In any case, in order to use the mobile computer, the mobile computer must be placed on a desk or a lap or the like, and the user must be in a posture of hitting the keyboard while looking at the display, that is, sitting. On the other hand, computers (wearable computers or wearable computers) that can be used without sitting in a hands-free state are beginning to be studied at universities and the like. In a wearable computer, a face mount display (FMD) or a head mount display (H
By mounting a wearable monitor called MD) on the user's head and mounting the power supply and CPU main body on the abdomen, the display can be viewed in a standing posture without sitting. Furthermore, a wearable computer can be used not only while standing, but also while walking.

【0003】しかし、実際にはFMDやHMDに表示さ
れている文字などの情報を見ると、目(視覚)の注意が
ディスプレイに行ってしまい、外部の状況が全く分から
なくなってしまうという問題がある。これに音声出力が
加わると、耳(聴覚)の注意もコンピュータにとられ、
外界の状況が、使用者に届かなってしまうという問題が
起こる。また、多くのHMDは通常のビデオ信号(NT
SC)を入力信号とし、表示できるようになっている。
このため、ゲーム専用のTVモニタの代わりにHMDを
用いたり、個人専用のTVモニタとしてHMDを用いる
ことも行われている。一方、DVDなど映像再生機器の
小型化が進み、携帯可能なものも出現している。この携
帯型の映像再生機器とHMD,イヤホンを組み合わせる
ことで、移動中にも映像を見ることが可能となる。この
場合、HMDを見るために視野の注意は奪われ、イヤホ
ンからの音声を聞くために視覚の注意は奪われ、外界か
ら遮断された状態になってしまう。また、HMDを用い
て横になってTVや映像を見る場合、HMDを装着した
まま眠ってしまう可能性もある。
However, when information such as characters displayed on the FMD or the HMD is actually viewed, attention of the eyes (visual) is given to the display, and there is a problem that an external situation cannot be understood at all. . When audio output is added to this, the ear (hearing) attention is also taken by the computer,
A problem arises in that the situation in the outside world does not reach the user. Also, many HMDs use ordinary video signals (NT
SC) as an input signal and can be displayed.
For this reason, HMDs have been used instead of TV monitors dedicated to games, and HMDs have been used as TV monitors dedicated to individuals. On the other hand, the size of video playback devices such as DVDs has been reduced, and portable devices have appeared. By combining this portable video playback device with an HMD and earphones, it is possible to watch videos while moving. In this case, the attention of the visual field is deprived to see the HMD, and the visual attention is deprived to hear the sound from the earphone, and the user is cut off from the outside world. In addition, when watching a TV or a video while lying down using the HMD, there is a possibility that the user may fall asleep while wearing the HMD.

【0004】[0004]

【発明が解決しようとする課題】装着型のウェアラブル
コンピュータなどのように、映像や文字,地図などの情
報を呈示する機器においては、歩行中など視野や聴覚を
覆うことで、外界から遮断され危険な状態が発生する。
つまり、静止状態など安全が確保されているときのみに
情報呈示が行われるというような配慮が為されていない
という問題がある。また、HMDを装着したまま眠り込
んでしまうと、視聴していないのに再生が続き、電力を
無駄に消費してしまうという問題が発生する。
In a device such as a wearable wearable computer that presents information such as images, characters, and maps, it may be dangerous to be shielded from the outside world by covering the field of view and hearing while walking. State occurs.
That is, there is a problem in that consideration has not been given to information presentation only when safety is ensured, such as in a stationary state. Also, if the user falls asleep while wearing the HMD, there is a problem in that the reproduction is continued even though the user is not watching and the power is wasted.

【0005】[0005]

【課題を解決するための手段】以上のような問題点を解
決するために、本願発明は、文字,映像,あるいは音声
などの記録されたあるいは受信した再生すべき情報を再
生するための再生手段と、利用者が装着可能で、前記再
生手段によって再生された情報を呈示するための装着型
呈示手段と、この装着型呈示手段を装着している前記使
用者の危険状態を計測するための危険計測手段と、この
危険計測手段の計測結果に基づいて、前記再生手段での
再生や前記装着型呈示手段での呈示を制御するための再
生呈示制御手段とを有することを特徴とする。好ましく
は、前記危険計測手段は、装着している使用者の移動中
などの行動を計測するための行動計測手段を有すること
を特徴とする。また、好ましくは、前記行動計測手段
は、使用者の静止,歩行,走行などの身体の活動状態を
計測するためのセンサを有することを特徴とする。ま
た、前記行動計測手段は、使用者が覚醒しているかどう
かを計測するための覚醒検出手段を有することを特徴と
する。また、前記危険計測手段は、前記装着型呈示手段
を装着している使用者の環境を計測する環境計測手段を
有することを特徴とする。
SUMMARY OF THE INVENTION In order to solve the above problems, the present invention relates to a reproducing means for reproducing recorded or received information to be reproduced, such as text, video, or audio. A wearable presentation means that can be worn by a user and presents information reproduced by the reproduction means, and a danger for measuring a danger state of the user wearing the wearable presentation means. It is characterized by comprising a measuring means and a reproduction presentation control means for controlling reproduction by the reproducing means and presentation by the wearable presentation means based on a measurement result of the danger measuring means. Preferably, the danger measuring means includes an action measuring means for measuring an action of the wearing user during movement or the like. Preferably, the behavior measuring means includes a sensor for measuring a physical activity state of the user such as standing still, walking, or running. Further, the behavior measuring means has an awakening detecting means for measuring whether or not the user is awake. Further, the danger measurement means includes an environment measurement means for measuring an environment of a user wearing the wearable presentation means.

【0006】また、前記環境計測手段は、周囲から使用
者への聴覚あるいは視覚への働きかけを検出することを
特徴とする。また、前記再生呈示制御手段は、前記危険
計測手段の計測結果に応じて、視覚野や聴覚野などの確
保のため、前記再生手段での再生の停止、前記装着型呈
示手段での呈示の停止を行うことを特徴とする。また、
前記再生呈示制御手段は、前記危険予測手段の計測結果
に応じて、視覚野の確保のため、前記装着型呈示手段で
の呈示を注視野から周辺視野に移行することを特徴とす
る。また、前記再生呈示制御手段は、前記危険計測手段
の計測結果に応じて、前記再生手段での情報の再生を停
止するとき、前記停止箇所を記録し、前記再生手段での
情報の再生を再開するとき、記録した前記停止箇所から
情報の再生を再開することを特徴とする。さらに、好ま
しくは、使用者の自宅あるいはサービスセンターと交信
するための交信手段を有し、前記再生呈示制御手段は、
前記危険計測手段の計測結果に応じて、前記再生手段で
の再生を停止するとき、停止した個所以降の情報の記録
を交信手段を通じて指示することを特徴とする。
Further, the environment measuring means detects an action on hearing or sight from a surrounding to a user. In addition, the reproduction presentation control means stops reproduction by the reproduction means and stops presentation by the wearable presentation means in order to secure a visual area or an auditory area according to the measurement result of the danger measurement means. Is performed. Also,
The reproduction presentation control means shifts the presentation by the wearable presentation means from a fixation field to a peripheral field in accordance with the measurement result of the danger prediction means, in order to secure a visual field. Further, the reproduction presenting control means, when stopping the reproduction of the information by the reproducing means in accordance with the measurement result of the danger measuring means, records the stop location and restarts the reproduction of the information by the reproducing means. In this case, the reproduction of information is restarted from the recorded stop point. Further preferably, it has a communication means for communicating with the user's home or service center, the reproduction presentation control means,
When the reproduction by the reproducing unit is stopped according to the measurement result of the danger measuring unit, recording of information after the stopped point is instructed through the communication unit.

【0007】[0007]

【発明の実施の形態】[実施例1]図1に第1の実施例
の概略構成図を示す。装着型呈示部3は、文字や地図あ
るいは映像などの視覚情報を表示するために、HMDや
FMDのように利用者の頭部に装着あるいは腕時計のよ
うに腕に装着する装着型のディスプレイと、音楽や音声
などの聴覚情報を出力するためのイヤホンから構成され
る。記憶部5は、この装着型呈示部3で呈示する文字や
地図あるいは映像などの視覚情報や、音楽や音声などの
聴覚情報を格納している記憶媒体(例えば、DVDやC
D−ROMのように映像や音楽などの記憶媒体)を挿入
するためのものである。再生部6は、記憶部5にセット
された記憶媒体から情報を再生する。行動計測センサ2
は、使用者が安全に情報提供を受けられる状態(電車に
乗っている,ホームやバス停に立っているなどの歩行せ
ずに停止している状態)であることを検出するための加
速度センサ,接触センサなどで構成される。入力部1
は、電源のON/OFFなどの指示を行うためのボタ
ン、あるいは音声入力で指示を行うためのマイクなどで
構成される。再生呈示制御部4は、行動計測センサ2の
計測結果に応じて、静止状態でないときはこの再生部6
の再生を停止したり、装着型呈示部3での呈示を中止な
どを行う。
[First Embodiment] FIG. 1 shows a schematic configuration diagram of a first embodiment. The wearable presentation unit 3 is mounted on a user's head like an HMD or FMD or worn on an arm like a wristwatch to display visual information such as text, a map, or a video, and a wearable display. It is composed of earphones for outputting auditory information such as music and voice. The storage unit 5 is a storage medium (for example, DVD or C) that stores visual information such as characters, maps, and videos presented by the wearable presentation unit 3 and auditory information such as music and voice.
This is for inserting a storage medium such as video and music such as a D-ROM. The reproduction unit 6 reproduces information from the storage medium set in the storage unit 5. Behavior measurement sensor 2
Is an acceleration sensor for detecting that the user is in a state where information can be safely received (on a train, at a platform or at a bus stop, and stopped without walking), It is composed of a contact sensor and the like. Input unit 1
Is constituted by a button for instructing ON / OFF of the power supply, or a microphone for instructing by voice input. The reproduction presentation control unit 4 responds to the measurement result of the behavior measurement sensor 2 when the reproduction unit 6 is not in the stationary state.
To stop the reproduction of the image, or stop the presentation in the wearable presentation unit 3.

【0008】図2は、装着型呈示部3としてFMD20
とイヤホン21、入力部1としてマイク22、再生部6
や記憶部5,行動計測センサ2,再生呈示制御部4が一
体になった筐体23を胸ポケットに装着した状態を示す
図である。同様に図3は、FMD20の代わりに腕時計
型のディスプレイ24を装着した状態を示す図である。
図4は、DVDやCD−ROMなどの記憶媒体から情報
を得る代わりに、無線などの通信手段により外部と情報
の送受信を行う場合の構成図である。図1の記憶部5の
代わりに送受信部7を有している点が異なり、あとは図
1と同じ構成である。図5は、再生呈示制御部4での処
理の流れを示す図である。以下、この流れ図に沿って説
明する。まず、再生呈示部4は、行動計測センサ2が取
得したデータを読み取る(ステップS501)。行動計
測センサ2は、例えば靴の裏に設置された接触センサの
データを用いて、 「if 接触と非接触状態が周期的 then 歩行/走行 else 静止」 のような規則に従って、静止か否かを計測する。また
は、衣服の袖の部分やズボンの裾の部分、あるいは靴に
装着された加速度センサのデータを用いて、 「if 加速度が変化 then 歩行/走行 else 静止」 のような規則に従い、静止状態と歩行、走行状態を計測
することができる。
FIG. 2 shows an FMD 20 as the wearable presentation unit 3.
And earphone 21, microphone 22 as input unit 1, playback unit 6
FIG. 7 is a diagram showing a state in which a housing 23 in which a storage unit 5, a behavior measurement sensor 2, and a reproduction presentation control unit 4 are integrated is mounted in a breast pocket. Similarly, FIG. 3 is a diagram showing a state in which a wristwatch-type display 24 is mounted instead of the FMD 20.
FIG. 4 is a configuration diagram in the case where information is transmitted and received to and from the outside by wireless or other communication means instead of obtaining information from a storage medium such as a DVD or a CD-ROM. The difference is that a transmission / reception unit 7 is provided instead of the storage unit 5 in FIG. 1, and the rest is the same configuration as FIG. FIG. 5 is a diagram showing a flow of processing in the reproduction presentation control unit 4. Hereinafter, description will be given along this flowchart. First, the reproduction presenting unit 4 reads data acquired by the behavior measurement sensor 2 (step S501). The behavior measurement sensor 2 uses, for example, data from a contact sensor installed on the back of a shoe to determine whether or not a stationary state is in accordance with a rule such as “if the contact state and the non-contact state are periodic then walking / running else stationary”. measure. Or, using the data of the acceleration sensor attached to the sleeve part of the clothes, the hem part of the pants, or the shoes, the stationary state and the walking state according to a rule such as "if acceleration changes then walking / running else stationary". , The running state can be measured.

【0009】さらに、精度を高めるためには接触と非接
触状態が周期的に続く時間や、加速度の変化の度合いや
変化時間など、パラメータを増すことも可能である。一
定時間静止が続かない場合静止状態と見なさないように
することで、単にちょっと立ち止まっただけで、急に再
生が始まったりする危険性を防ぐことができる。再生制
御部4は、行動計測センサ2が取得したデータが静止状
態か否か判別する(ステップS502)。静止していな
ければ、次に情報が再生中か否か判別する(ステップS
503)。歩行や走行の状態でも情報が再生されていな
ければ問題ないので、そのまま行動計測センサ2による
データ取得を続行する(S501)。情報の再生中であ
れば、歩行や走行状態での情報呈示は危険であるので情
報の再生を中止する。のちに、利用者が停止した個所か
ら抜け落ちがなく情報を再生できるように、この停止個
所を記録しておく(ステップS504)。図4の構成の
ように、DVDやCD−ROMのような記憶媒体から情
報を読み出し再生するのではなく、送受信部7が受信し
た情報を再生する場合、停止個所だけでなく該当情報も
記録する。これにより、再度情報を使用者の自宅あるい
はサービスセンターや情報プロバイダより読み出すとき
に、該当情報を容易に識別し、停止個所より再開するこ
とが可能となる。
Further, in order to improve the accuracy, it is possible to increase parameters such as a time period during which the contact and non-contact states are periodically maintained, a degree of change of the acceleration, and a change time. If the stationary state is not maintained for a certain period of time, it is possible to prevent the danger of suddenly starting reproduction by simply not stopping the operation for a short time. The reproduction control unit 4 determines whether the data acquired by the behavior measurement sensor 2 is in a stationary state (Step S502). If it is not stationary, it is next determined whether or not information is being reproduced (step S).
503). As long as the information is not reproduced even in the walking or running state, there is no problem, and the data acquisition by the behavior measurement sensor 2 is continued as it is (S501). During the reproduction of the information, the reproduction of the information is stopped because the presentation of the information while walking or running is dangerous. Thereafter, the stop point is recorded so that the user can reproduce the information without dropping out of the stop point (step S504). When the information received and received by the transmission / reception unit 7 is reproduced instead of reading and reproducing information from a storage medium such as a DVD or a CD-ROM as in the configuration of FIG. . Thus, when the information is read again from the user's home, service center, or information provider, it is possible to easily identify the relevant information and restart from the stop point.

【0010】次に、イヤホンから流れる音声,音楽を停
止し、図2のような頭部への装着型の表示手段を用いて
いる場合には、それらHMDやFMDなどの呈示を停止
するとともに、表示画面を見やすくするため非透過モー
ドであるHMDやFMDを、透過モードに変更して外界
が見えるようにする(ステップS505)。また、図3
のように腕部に装着型の表示手段の場合には、単に表示
を停止するだけでよい。その後、再度行動計測センサ2
からのデータの読み出しを続ける(ステップS50
1)。利用者の状態が静止に戻ったときには、再生が可
能なので、再生を開始する。そのときには、再生中であ
るかを判断し(ステップS506)、再生中でない場合
はステップS504で記録した停止個所があるか否かを
判別し(ステップS507)、停止個所があればその個
所から再生する(ステップS508)再生時には、イヤ
ホンから音声や音楽を流し、さらにHMDやFMDは表
示される情報を見やすくするために、非透過モードに変
更する。図4の構成のように、DVDやCD−ROMの
ような記憶媒体から情報を読み出し再生するのではな
く、送受信部7が受信した情報を再生する構成では、再
生時に送受信部7から再生すべき情報の識別記号と停止
個所を、使用者の自宅あるいはサービスセンターや情報
プロバイダに送り、該当情報を該当個所より受信し再生
するものである。
Next, the sound and music flowing from the earphones are stopped, and when the head-mounted display means as shown in FIG. 2 is used, the presentation of the HMD or FMD is stopped. The HMD or FMD, which is in the non-transmissive mode, is changed to the transmissive mode so that the outside world can be seen so that the display screen can be easily viewed (step S505). FIG.
In the case of the display means that is mounted on the arm as in the above, it is only necessary to stop the display. Then, the behavior measurement sensor 2 again
(Step S50)
1). When the state of the user returns to the stationary state, the reproduction is possible, and the reproduction is started. At this time, it is determined whether or not the reproduction is being performed (step S506). If the reproduction is not being performed, it is determined whether or not there is a stop position recorded in step S504 (step S507). (Step S508) At the time of reproduction, sound or music is played from the earphone, and the HMD or FMD is changed to the non-transparent mode in order to make the displayed information easier to see. As in the configuration of FIG. 4, instead of reading and reproducing information from a storage medium such as a DVD or a CD-ROM, the information received by the transmission / reception unit 7 is reproduced. The identification code of the information and the stop point are sent to the user's home, service center, or information provider, and the corresponding information is received from the corresponding point and reproduced.

【0011】ステップS508で再生を開始するときに
は、使用者に再生を開始するか否かの確認を音声にて知
らせることも可能である。所定時間経っても、ユーザか
ら再生不可の指示がなければ、そのまま再生を開始す
る。再生不可の指示がユーザからあれば、再生をしない
ようにする。これにより、単に立ち止まっただけの時
に、むやみに情報を再生し始めることを防ぐことができ
る。また、DVDやCD−ROMなどの記憶媒体から読
み出して再生を行っている場合では、記憶されている情
報の最後で(ステップS509)終了する。続けて再生
するリピート機能になっている場合、情報の再生を続行
し、行動計測センサからのデータ取得を続ける(ステッ
プS501)。また、新規の再生であれば(ステップS
507)、新規に再生を行う(ステップS510)。こ
のとき、頭部装着型の表示手段(HMDなど)を用いて
いる場合には、ディスプレイの透過モードから非透過モ
ードにするなどの制御を行うことはステップS508と
同様である。図6は実施例1の変形例の処理の流れ図を
示す。図5とは、ステップS503とS505の代わり
に、ステップS511があり、ステップS507の代わ
りにステップS513、ステップS508の代わりにス
テップS514がある点で異なっている。
[0011] When the reproduction is started in step S508, it is also possible to notify the user by voice whether or not to start the reproduction. If the user does not give an instruction to disable reproduction even after a predetermined time has elapsed, reproduction is started as it is. If there is an instruction from the user to disable reproduction, the reproduction is not performed. Thus, it is possible to prevent the information from being unnecessarily started to be reproduced only when the user stops. If the data is read from a storage medium such as a DVD or a CD-ROM for reproduction, the process ends at the end of the stored information (step S509). If the repeat function for continuous reproduction is set, the reproduction of information is continued, and the acquisition of data from the behavior measurement sensor is continued (step S501). If it is a new reproduction (step S
507), a new reproduction is performed (step S510). At this time, when a head-mounted display unit (such as an HMD) is used, control such as changing the display from the transmissive mode to the non-transmissive mode is the same as step S508. FIG. 6 is a flowchart illustrating a process according to a modification of the first embodiment. 5 is different from FIG. 5 in that step S511 is provided instead of steps S503 and S505, step S513 is provided instead of step S507, and step S514 is provided instead of step S508.

【0012】図6の変形例は、図2のような頭部装着型
の表示手段(HMDやFMDなど)を用いて静止状態で
ないときに、単に表示を停止する代わりに表示位置をユ
ーザが周囲の状況を認識するのに邪魔にならない位置つ
まり注視野から周辺視野に移動することで対処する。ス
テップS503では、静止状態でなければ情報の再生を
停止し、ステップS505でHMDやFMDなどの表示
装置への表示を取りやめる処理を行っていたが、変形例
におけるステップS511では、表示を取りやめるので
はなく、ユーザが物体を注視する際の注視野(視野角,
約20度)への表示をやめ、その代わりに注視の邪魔に
ならない周辺視野に表示を移動するものである。このと
き外界が見えるように非透過モードから透過モードへの
切替えも行う。また、逆に静止状態になって再生を再開
するときは、周辺視野に表示されているか否か判別する
(ステップS513)。周辺視野に表示されていれば再
生中か否か判別し(ステップS506)、注視野に表示
位置を移動する(ステップS514)。図7は、他の変
形例の処理の流れ図である。図5のステップS502の
静止状態か否か判別する処理の代わりに、ステップS5
12として、覚醒しているか否かを判別する処理が入っ
ている。ここでの行動計測センサ2は加速度センサや接
触センサの代わりにHMDやFMDに取り付けられた赤
外センサを用いて、ユーザの目の動きを計測する。単純
には赤外センサにより、目玉が検出でなければ目をつぶ
っている、つまり眠っている(非覚醒状態)と判断する
(ステップS512)。
In a modification shown in FIG. 6, when the user is not in a stationary state using a head-mounted display device (such as an HMD or FMD) as shown in FIG. The situation is dealt with by moving from a position out of the way of recognizing the situation, that is, from the point of view to the peripheral field of view. In step S503, the reproduction of the information is stopped unless it is in the stationary state, and the process of canceling the display on the display device such as the HMD or the FMD is performed in step S505. However, in step S511 in the modification, the display may be canceled. Gazing point (viewing angle,
The display at about 20 degrees is stopped, and instead, the display is moved to a peripheral field of vision that does not interfere with gaze. At this time, switching from the non-transmission mode to the transmission mode is also performed so that the outside world can be seen. On the other hand, when the reproduction is resumed after the stationary state, it is determined whether or not the image is displayed in the peripheral visual field (step S513). If it is displayed in the peripheral visual field, it is determined whether or not it is being reproduced (step S506), and the display position is moved to the focused visual field (step S514). FIG. 7 is a flowchart of a process according to another modification. Instead of the process of determining whether or not the vehicle is in the stationary state in step S502 in FIG.
As step 12, a process for determining whether or not the user is awake is included. The behavior measurement sensor 2 here uses an infrared sensor attached to the HMD or FMD instead of the acceleration sensor or the contact sensor to measure the movement of the user's eyes. If no eyeball is detected simply by the infrared sensor, it is determined that the eyes are closed, that is, the subject is asleep (non-awake state) (step S512).

【0013】非覚醒状態であれば眠っているので、情報
を呈示するのは電力消費の点でも無駄が多いので、図5
の静止状態と同様に再生を停止する処理を行う。 [実施例1の効果]以上のように本願発明によれば、ユ
ーザは静止状態でのみ情報の呈示を受けることができる
ので、装着型情報呈示装置を安全に使用することができ
る。また、静止しないと使えないので、他の動作をしな
がら使用することで注意が散漫になり、他者に迷惑を及
ぼすこともないので、社会的にも装着型情報呈示装置の
利用を容認してもらうのに、大きな効果を発揮する。 [実施例2]実施例1では、ユーザの行動を計測してそ
の状態に応じて、情報の再生,呈示の制御を行うこと
で、ユーザが危険か状態で装着型情報呈示装置を使用す
ることを防いでいた。しかし、実際にはユーザが歩行や
走行せずに静止していたとしても、必ずしも安全ではな
い。例えば、街頭で静止していても、そばを車が猛スピ
ードで通り過ぎようとしているのを気づかなければ危険
である。この実施例2ではこのような問題点を解決する
ものである。実施例1ではユーザ自身の状態を検知する
行動計測センサ2を用いていたが、ユーザの環境を検知
するセンサなどを用いて環境を検知し、ユーザに注意を
促すような手段は具備していなかった。実施例2では、
このようなユーザの環境を検知する手段を有するもので
ある。
In the non-wake state, the user is asleep and presenting information is wasteful in terms of power consumption.
The processing for stopping the reproduction is performed in the same manner as in the stationary state. [Effects of First Embodiment] As described above, according to the present invention, the user can receive the information only in the stationary state, so that the wearable information presenting apparatus can be used safely. Also, since it cannot be used unless it is stationary, using it while performing other operations will be distracting and will not disturb others, so socially accept the use of the wearable information presentation device. It has a great effect on getting it. [Embodiment 2] In Embodiment 1, the user's behavior is measured and the reproduction and presentation of information are controlled in accordance with the state, so that the user can use the wearable information presentation apparatus in a dangerous state. Was preventing. However, it is not necessarily safe even if the user is actually stationary without walking or running. For example, even if you are stationary on the street, it is dangerous if you do not notice a car passing by at a very high speed. The second embodiment solves such a problem. In the first embodiment, the behavior measurement sensor 2 for detecting the user's own state is used. However, there is no means for detecting the environment using a sensor for detecting the user's environment and for calling the user's attention. Was. In the second embodiment,
A means for detecting such a user environment is provided.

【0014】図8は、この実施例2の概略構成図であ
る。実施例1の入力部1に代わってユーザの音声だけで
なく、外界の音情報の入力を行うための音情報入力部1
0と、ユーザの表情や外界の映像情報を入力を行うため
の映像情報入力部9とを有している。音情報入力部10
は、例えば図2や図3の使用イメージ図のように、マイ
クのヘッドセットから音声認識のための入力と、周囲の
音情報を入力する。映像入力部9は、CCDなどの小型
カメラで例えば図2のFMDのフレーム部の前面と後面
に実装し、ユーザの前面と後面を撮像する。小型カメラ
が撮像する画像は、静止画や動画の両方が可能である。
ただし、動画の場合には環境情報分析部8において、解
析の対象となる動画像を保存しておくために容量の大き
なフレームメモリが必要となる。しかし、大きなフレー
ムメモリをもつことは消費電力の増大につながる。消費
電力の増大を防ぐために、動画のほかに10秒に1枚の
速度で撮像された静止画を用いることも可能である。環
境情報分析部8は、音情報入力部10と映像入力部9か
ら入力された音情報や映像情報を解析し、危険な状態に
あるか否か分析するものである。
FIG. 8 is a schematic configuration diagram of the second embodiment. A sound information input unit 1 for inputting not only a user's voice but also external sound information in place of the input unit 1 of the first embodiment.
0, and a video information input unit 9 for inputting a user's facial expression and external video information. Sound information input unit 10
For example, as shown in the usage image diagrams of FIGS. 2 and 3, an input for voice recognition and surrounding sound information are input from a headset of a microphone. The video input unit 9 is mounted on the front and rear surfaces of the frame unit of the FMD shown in FIG. Images captured by the small camera can be both still images and moving images.
However, in the case of a moving image, a large-capacity frame memory is required in order to store a moving image to be analyzed in the environment information analysis unit 8. However, having a large frame memory leads to an increase in power consumption. In order to prevent an increase in power consumption, it is also possible to use a still image captured at one speed per 10 seconds, in addition to a moving image. The environmental information analysis unit 8 analyzes the sound information and the video information input from the sound information input unit 10 and the video input unit 9 and analyzes whether or not there is a dangerous state.

【0015】図10は、実施例2の変形例の概略構成図
である。図8に示す実施例2の構成に、ユーザ自身の行
動状態を検知するための行動計測センサ2を追加したも
のである。このような構成にすることで、ユーザには環
境情報分析部8と行動計測センサ2の双方からの状態を
知らせることができるので、二重に安全機構が働くよう
になっている。図9は、図8での構成における環境情報
分析部8と再生呈示制御部4の処理の流れのうち、実施
例1と異なる部分を記載したものである。まず、再生が
中断されたか否かを示す再生中断フラグIを初期化(I
=0)する(ステップS901)。続いて、映像情報入
力部9と音情報入力部10からの入力情報を読み取る
(ステップS902)。次に、環境情報分析部8ではこ
の入力情報の分析を行う。入力情報の分析は、危険を察
知すること、ユーザに外部からの接触を知らせることを
目的とするものである。危険を察知するためには、情報
再生中にユーザの周囲で、車の急ブレーキなどの大きな
音や車が急接近しているなどの音を検知し、情報の再生
を中止し危険として検知した音や映像をユーザに知らせ
ることが必要となる。一方、外部からの接触とは、例え
ば「XX駅」で下車予定の車中において、情報を再生し
ていて「XX駅」に到着したことを知りたい場合、「X
X駅」という車中あるいは駅でのアナウンスを認識して
知らせるようなことを想定している。あるいは、情報再
生中に知人が近づいてきたら、その顔を認識してユーザ
に知らせることも外部からの接触の検知に相当する。
FIG. 10 is a schematic configuration diagram of a modification of the second embodiment. The configuration of the second embodiment shown in FIG. 8 is obtained by adding a behavior measurement sensor 2 for detecting a user's own behavior state. With such a configuration, the user can be informed of the state from both the environmental information analysis unit 8 and the behavior measurement sensor 2, so that the safety mechanism works double. FIG. 9 illustrates a part of the processing flow of the environment information analysis unit 8 and the reproduction / presentation control unit 4 in the configuration of FIG. 8 which is different from the first embodiment. First, a reproduction interruption flag I indicating whether or not reproduction has been interrupted is initialized (I
= 0) (step S901). Subsequently, input information from the video information input unit 9 and the sound information input unit 10 is read (step S902). Next, the environmental information analysis unit 8 analyzes the input information. The analysis of the input information is intended to detect danger and to notify the user of external contact. In order to detect the danger, a loud noise such as a sudden braking of a car or a sound such as a sudden approach of a car was detected around the user during the information reproduction, and the reproduction of the information was stopped and detected as dangerous. It is necessary to notify the user of sound and video. On the other hand, the contact from the outside refers to, for example, in the case of getting off at “XX station” while wanting to know that the information is being reproduced and the vehicle has arrived at “XX station” while getting off at “XX station”
It is assumed that an announcement in a car or at a station called "X station" is recognized and notified. Alternatively, when an acquaintance approaches during information reproduction, recognizing the face and notifying the user corresponds to detection of contact from outside.

【0016】ステップS903までは、以上のような危
険や外部からの接触検知の有無を探るために、入力され
た音情報と映像情報に関しての解析を行う。とりあえず
図9は、危険を察知するための解析処理を当てた流れ図
になっている。ここでは簡単のために、騒音量(dB
値)の大きさなどをまとめて音情報変化値Dsとしてい
る。つまり、非常に大きな音がして危険が迫っていると
いうときには、騒音値の変化Dsがある閾値αを越えた
か否かを判定する。また、急速に車が接近している場合
を検知するには、例えば動きの変化を示すオプティカル
フローのベクトルの長さを求める。これが一つの映像情
報変化値Diとなる。つまり、所定の速さ以上で近づく
物体があるか否かを映像情報変化値Diがある閾値βを
越えたか否かで判定する。ステップS904からS90
6では、ステップS903で算出した変化値DsとDi
に基づいた判定を行う。ステップS904では、音情報
変化値Dsも映像情報変化値Diもともに閾値αとβを
越えていないかどうかを判定する。変化値DsとDiが
閾値α,βともに越えていなければ、ステップS907
で再生中断フラグIをみて、何かの危険を感知して再生
が中断されたものであるか否かを判定する。
Until step S903, the input sound information and the video information are analyzed in order to find out whether there is a danger as described above or the presence of external contact detection. FIG. 9 is a flowchart to which an analysis process for detecting danger is applied. Here, for simplicity, the noise amount (dB)
Values) are collectively referred to as a sound information change value Ds. That is, when it is determined that a very loud noise is coming and danger is imminent, it is determined whether or not the change Ds of the noise value has exceeded a certain threshold α. In order to detect a case where a car is approaching rapidly, for example, the length of an optical flow vector indicating a change in motion is obtained. This is one video information change value Di. That is, it is determined whether or not there is an object approaching at a predetermined speed or more based on whether or not the video information change value Di exceeds a certain threshold β. Steps S904 to S90
In step 6, the change values Ds and Di calculated in step S903 are used.
Is determined based on. In step S904, it is determined whether both the sound information change value Ds and the video information change value Di do not exceed the threshold values α and β. If the change values Ds and Di do not exceed the thresholds α and β, step S907
Then, by watching the reproduction interruption flag I, it is determined whether or not the reproduction has been interrupted by detecting some danger.

【0017】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報変化値Dsも映像情報変化
値Diもともに閾値α,βを越えていれば、大変な危険
が迫っている状態である(ステップS905)。従っ
て、ステップS909では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
909)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS906では、音情報変化値Dsのみが閾値αを
越え、映像情報変化値Diが閾値βを越えていない場
合、つまり、近くで大きな音はしているが、車が高速で
近づくなどの映像としての危険は検知されていないこと
を判定する。この場合は、再生と表示を停止し、再生中
断フラグIを2にセットする(ステップS910)。ま
た、注意音を出してユーザに注意を喚起し、近くで発生
している音を聞かせる。
If the reproduction is not interrupted, the state can be kept as it is.
Returning to step 902, the reading of the external information is continued. If the reproduction has been interrupted, the reproduction is restarted (step S90).
8) Return to the initialization step (S901) to return the reproduction interruption flag. If both the sound information change value Ds and the video information change value Di exceed the threshold values α and β, it is a state in which a great danger is imminent (step S905). Therefore, the reproduction and display are immediately stopped in step S909. Here, the reproduction interruption flag I is set to 1 (step S
909). In addition, the detected sound is notified to the user through an earphone, and an alarm is sounded to notify that the danger is imminent, and the user is notified through the earphone. In step S906, when only the sound information change value Ds exceeds the threshold value α and the video information change value Di does not exceed the threshold value β, that is, when the sound is loud near, but the vehicle approaches at high speed, etc. It is determined that no danger has been detected. In this case, the reproduction and display are stopped, and the reproduction interruption flag I is set to 2 (step S910). In addition, a warning sound is issued to call attention to the user, and a sound generated nearby is heard.

【0018】ステップS911では、音としての危険は
ないが、映像としての危険があるか否かを判断する。こ
の場合は、再生中断フラグIを3にセットし、ユーザに
映像として危険が迫っていることを示す注意音を呈示す
る。図9が危険を検知し、警告するための処理の流れで
あったが、図11は外部からの接触を検知し、ユーザに
呈示するための処理の流れ図である。認識したい音情報
としては、例えば図12に示すように、電車から降りる
降車駅名や、他人から呼ばれる自分の名前などがある。
認識したい映像情報としては、例えば知人の顔などがあ
る。ステップS912では、図12にあるような認識す
べき対象の情報とマッチするか否かを解析する。ここで
は簡単のため認識した対象の個数をカウントし、それに
応じた処理を行う。 ステップS912で算出した音情
報認識度Rsと映像情報認識度Riに基づいた判定を行
う。ステップS913では、音情報認識度Rsも映像情
報認識度Riもともに閾値γとδを越えていないかどう
かを判定する。認識度RsとRiが閾値γ,δともに越
えていなければ、ステップS907で再生中断フラグI
をみて、認識対象を感知して再生が中断されたものであ
るか否かを判定する。
In step S911, it is determined whether there is no danger as a sound but there is a danger as a video. In this case, the reproduction interruption flag I is set to 3 and the user is presented with a caution sound as an image indicating that danger is imminent. FIG. 9 is a flowchart of a process for detecting danger and issuing a warning, whereas FIG. 11 is a flowchart of a process for detecting an external contact and presenting the contact to a user. As the sound information to be recognized, for example, as shown in FIG. 12, the name of the getting-off station getting off the train, the name of oneself called by others, and the like.
The video information to be recognized includes, for example, the face of an acquaintance. In step S912, it is analyzed whether it matches the information of the target to be recognized as shown in FIG. Here, for the sake of simplicity, the number of recognized objects is counted, and processing is performed in accordance therewith. A determination is made based on the sound information recognition degree Rs and the video information recognition degree Ri calculated in step S912. In step S913, it is determined whether both the sound information recognition degree Rs and the video information recognition degree Ri do not exceed the thresholds γ and δ. If the recognition degrees Rs and Ri do not exceed the thresholds γ and δ, the reproduction interrupt flag I is determined in step S907.
, The recognition target is sensed to determine whether or not the reproduction has been interrupted.

【0019】再生が中断されているのでなければ、その
ままの状態をつづければよいので、そのままステップS
902に戻り、外部情報の読み出しを続ける。再生が中
断されたのであれば、再生を再開し(ステップS90
8)、再生中断フラグを戻すために初期化のステップ
(S901)に戻る。音情報認識度Rsも映像情報認識
度Riもともに閾値γ,δを越えていれば、音と映像と
もに認識した状態である(ステップS914)。従っ
て、ステップS916では即座に再生と表示を停止す
る。ここで、再生中断フラグIを1にする(ステップS
916)。また、検知した音をユーザにイヤホンで知ら
せるとともに、危険が迫っていることを知らせるように
例えば、警報を鳴らし、イヤホンを通じて知らせる。ス
テップS915では、音情報認識度Rsのみが閾値γを
越え、映像情報認識度Riが閾値δを越えていない場
合、つまり、近くで認識すべき音はしているが、映像と
しては認識されていないことを判定する。この場合は、
再生と表示を停止し、再生中断フラグIを2にセットす
る(ステップS917)。また、注意音を出してユーザ
に注意を喚起し、近くで発生している音を聞かせる。
If the reproduction is not interrupted, it is sufficient to keep the state as it is.
Returning to step 902, the reading of the external information is continued. If the reproduction has been interrupted, the reproduction is restarted (step S90).
8) Return to the initialization step (S901) to return the reproduction interruption flag. If both the sound information recognition degree Rs and the video information recognition degree Ri exceed the threshold values γ and δ, both the sound and the image are recognized (step S914). Therefore, in step S916, the reproduction and display are immediately stopped. Here, the reproduction interruption flag I is set to 1 (step S
916). In addition, the detected sound is notified to the user through an earphone, and an alarm is sounded to notify that the danger is imminent, and the user is notified through the earphone. In step S915, when only the sound information recognition degree Rs exceeds the threshold value γ and the video information recognition degree Ri does not exceed the threshold value δ, that is, a sound to be recognized nearby is present, but is recognized as a video. It is determined that there is not. in this case,
The reproduction and display are stopped, and the reproduction interruption flag I is set to 2 (step S917). In addition, a warning sound is issued to call attention to the user, and a sound generated nearby is heard.

【0020】判定結果がそうであれば、ユーザに注意を
促して認識した音(この場合は車掌による車内放送な
ど)をユーザに聞かせる。これにより、ユーザは目的の
駅に着いたことを知ることができるので、情報の再生に
夢中になって乗り過ごすことを防げる。また、ここでは
駅名のアナウンスの認識により、目的の駅をユーザに通
知することを示しているが、例えば記憶部5に記憶され
たユーザのスケジュール(PIM:personal informat
ion manager)の情報を用いて、さらに正確な通知を行
うことも可能である。 ステップS917では、音とし
ての認識はないが、対象の映像を認識したか否かを判断
する。この場合は、再生中断フラグIを3にセットし、
ユーザに対象の映像を認識したことを示す注意音を呈示
する。 [実施例2の効果]実施例2によれば、ユーザは周囲の
音や映像情報を的確に知ることができるので、環境に融
合した使い勝手を得ることができる。 [記憶媒体による本願発明の実現]また、本願発明の実
施例における処理をコンピュータで実行可能なプログラ
ムで実現し、このプログラムをコンピュータで読み取り
可能な記憶媒体として実現することも可能である。
If the result of the determination is positive, the user is alerted and the user is heard a recognized sound (in this case, an in-vehicle broadcast by the conductor). As a result, the user can know that he or she has arrived at the target station, so that it is possible to prevent the user from being engrossed in reproducing the information and passing the information. Also, here, it is shown that the user is notified of the target station by recognizing the announcement of the station name. For example, the user's schedule (PIM: personal informat) stored in the storage unit 5 is shown.
It is also possible to give more accurate notifications using the information of the ion manager). In step S917, although there is no recognition as sound, it is determined whether or not the target video has been recognized. In this case, the reproduction interruption flag I is set to 3,
The user is presented with an attention sound indicating that the target video has been recognized. [Effects of the Second Embodiment] According to the second embodiment, since the user can accurately know the surrounding sound and video information, it is possible to obtain usability integrated with the environment. [Implementation of the Present Invention Using a Storage Medium] The processing in the embodiment of the present invention may be implemented by a computer-executable program, and the program may be implemented as a computer-readable storage medium.

【0021】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピー(登録商標)ディスク、
ハードディスク、光ディスク(CD−ROM,CD−
R,DVD等)、光磁気ディスク(MO等)、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。また、記憶媒体からコンピュータ
にインストールされたプログラムの指示に基づきコンピ
ュータ上で稼動しているOS(オペレーションシステ
ム)や、データベース管理ソフト、ネットワーク等のM
W(ミドルウェア)等が本実施形態を実現するための各
処理の一部を実行してもよい。さらに、本願発明におけ
る記憶媒体は、コンピュータと独立した媒体に限らず、
LANやインターネット等により伝送されたプログラム
をダウンロードして記憶または一時記憶した記憶媒体も
含まれる。また、記憶媒体は1つに限らず、複数の媒体
から本実施形態における処理が実行される場合も、本発
明における記憶媒体に含まれ、媒体の構成は何れの構成
であってもよい。なお、本願発明におけるコンピュータ
は、記憶媒体に記憶されたプログラムに基づき、本実施
形態における各処理を実行するものであって、パソコン
等の1つからなる装置、複数の装置がネットワーク接続
されたシステム等の何れの構成であってもよい。
The storage medium in the present invention includes a magnetic disk, a floppy (registered trademark) disk,
Hard disk, optical disk (CD-ROM, CD-
R, DVD, etc.), a magneto-optical disk (MO, etc.), a semiconductor memory, or any other storage medium that can store programs and that can be read by a computer. Also, an OS (operation system) running on the computer based on instructions of a program installed in the computer from a storage medium, database management software, and M
W (middleware) or the like may execute a part of each process for realizing the present embodiment. Furthermore, the storage medium in the present invention is not limited to a medium independent of a computer,
A storage medium in which a program transmitted by a LAN, the Internet, or the like is downloaded and stored or temporarily stored is also included. Further, the number of storage media is not limited to one, and a case where the processing in the present embodiment is executed from a plurality of media is also included in the storage medium of the present invention, and the configuration of the medium may be any configuration. Note that the computer according to the present invention executes each processing in the present embodiment based on a program stored in a storage medium, and is a system including one device such as a personal computer and a plurality of devices connected to a network. Or any other configuration.

【0022】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。
The computer in the present invention is not limited to a personal computer, but also includes an arithmetic processing unit, a microcomputer, and the like included in an information processing device, and generically refers to devices and devices capable of realizing the functions of the present invention by a program. are doing.

【0023】[0023]

【発明の効果】本願発明によれば、装着型情報呈示装置
において、静止状態など安全が確保されているときのみ
に情報呈示が行われるというような配慮を施すことがで
きる。また、周囲の情報をも的確に知ることができる。
According to the present invention, consideration can be given to the wearable information presenting apparatus that information is presented only when safety is ensured, such as in a stationary state. In addition, the surrounding information can be accurately known.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本願発明の実施例1の概略構成図。FIG. 1 is a schematic configuration diagram of a first embodiment of the present invention.

【図2】本願発明の実施例1の使用イメージの一例。FIG. 2 is an example of a usage image of Embodiment 1 of the present invention.

【図3】本願発明の実施例1の使用イメージの一例。FIG. 3 is an example of a usage image according to the first embodiment of the present invention.

【図4】本願発明の実施例1の変形例の概略構成図。FIG. 4 is a schematic configuration diagram of a modification of the first embodiment of the present invention.

【図5】本願発明の実施例1の処理の流れ図。FIG. 5 is a flowchart of a process according to the first embodiment of the present invention.

【図6】本願発明の実施例1の変形例の処理の流れの
図。
FIG. 6 is a flowchart of a process according to a modification of the first embodiment of the present invention;

【図7】本願発明の実施例1の変形例の処理の流れの
図。
FIG. 7 is a flowchart of a process according to a modification of the first embodiment of the present invention;

【図8】本願発明の実施例2の概略構成図。FIG. 8 is a schematic configuration diagram of a second embodiment of the present invention.

【図9】本願発明の実施例2の処理の流れ図。FIG. 9 is a flowchart of a process according to a second embodiment of the present invention.

【図10】本願発明の実施例2の変形例の概略構成図。FIG. 10 is a schematic configuration diagram of a modification of the second embodiment of the present invention.

【図11】本願発明の実施例2の変形例の処理の流れの
図。
FIG. 11 is a flowchart of a process according to a modification of the second embodiment of the present invention;

【図12】本願発明の実施例2の変形例の認識対象の
例。
FIG. 12 is an example of a recognition target according to a modification of the second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…入力部 2…行動計測センサ 3…装着型呈示部 4…再生呈示制御部 5…記憶部 6…再生部 7…送受信部 8…環境情報分析部 9…映像情報入力部 10…音情報入力部 DESCRIPTION OF SYMBOLS 1 ... Input part 2 ... Behavior measurement sensor 3 ... Wearable presentation part 4 ... Reproduction presentation control part 5 ... Storage part 6 ... Reproduction part 7 ... Transmission / reception part 8 ... Environmental information analysis part 9 ... Video information input part 10 ... Sound information input Department

───────────────────────────────────────────────────── フロントページの続き (72)発明者 住田 一男 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 平川 秀樹 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 5C082 AA31 BA02 BA12 BA41 CA18 CA76 CB01 DA87 MM08  ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Kazuo Sumita 1st Toshiba R & D Center, Komukai-shi, Kawasaki-shi, Kanagawa Prefecture (72) Inventor Hideki Hirakawa Toshiba Komukai-shi, Kawasaki-shi, Kanagawa F-term (reference) in Toshiba R & D Center, No. 1 town 5C082 AA31 BA02 BA12 BA41 CA18 CA76 CB01 DA87 MM08

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】文字,映像,あるいは音声などの記録され
たあるいは受信した再生すべき情報を再生するための再
生手段と、 利用者が装着可能で、前記再生手段によって再生された
情報を呈示するための装着型呈示手段と、 この装着型呈示手段を装着している前記使用者の危険状
態を計測するための危険計測手段と、 この危険計測手段の計測結果に基づいて、前記再生手段
での再生や前記装着型呈示手段での呈示を制御するため
の再生呈示制御手段とを有することを特徴とする装着型
情報呈示装置。
1. A reproducing means for reproducing recorded or received information to be reproduced, such as text, video, or audio, and a display which can be worn by a user and which is reproduced by the reproducing means. Wear-type presenting means, a danger measuring means for measuring a danger state of the user wearing the wear-type presenting means, and A wearable information presenting apparatus, comprising: a playback presenting control means for controlling reproduction and presentation by the wearable presenting means.
【請求項2】前記危険計測手段は、装着している使用者
の移動中などの行動を計測するための行動計測手段を有
することを特徴とする請求項1記載の装着型情報呈示装
置。
2. The wearable information presenting apparatus according to claim 1, wherein said danger measuring means includes behavior measuring means for measuring a behavior of the wearing user during movement or the like.
【請求項3】前記行動計測手段は、使用者の静止,歩
行,走行などの身体の活動状態を計測するためのセンサ
を有することを特徴とする請求項2記載の装着型情報呈
示装置。
3. The wearable information presenting device according to claim 2, wherein said action measuring means has a sensor for measuring a physical activity state of the user such as resting, walking, running, and the like.
【請求項4】前記行動計測手段は、使用者が覚醒してい
るかどうかを計測するための覚醒検出手段を有すること
を特徴とする請求項2記載の装着型情報呈示装置。
4. The wearable information presenting device according to claim 2, wherein said behavior measuring means includes a wake-up detecting means for measuring whether or not the user is awake.
【請求項5】前記危険計測手段は、前記装着型呈示手段
を装着している使用者の環境を計測する環境計測手段を
有することを特徴とする請求項1記載の装着型情報呈示
装置。
5. The wearable information presenting apparatus according to claim 1, wherein said danger measuring means includes environment measuring means for measuring an environment of a user wearing said wearable presenting means.
【請求項6】前記環境計測手段は、周囲から使用者への
聴覚あるいは視覚への働きかけを検出することを特徴と
する請求項5記載の装着型情報呈示装置。
6. The wearable information presenting apparatus according to claim 5, wherein said environment measuring means detects an action on hearing or sight from the surroundings to the user.
【請求項7】前記再生呈示制御手段は、前記危険計測手
段の計測結果に応じて、視覚野や聴覚野などの確保のた
め、前記再生手段での再生の停止、前記装着型呈示手段
での呈示の停止を行うことを特徴とする請求項1記載の
装着型情報呈示装置。
7. The reproduction presenting control means stops the reproduction by the reproducing means, and secures the visual area and the auditory area according to the measurement result of the danger measuring means. The wearable information presentation device according to claim 1, wherein the presentation is stopped.
【請求項8】前記再生呈示制御手段は、前記危険予測手
段の計測結果に応じて、視覚野の確保のため、前記装着
型呈示手段での呈示を注視野から周辺視野に移行するこ
とを特徴とする請求項1記載の装着型情報呈示装置。
8. The reproduction presenting control means shifts the presentation by the wearable presenting means from the fixation field to the peripheral field according to the measurement result of the danger prediction means in order to secure a visual cortex. The wearable information presenting device according to claim 1, wherein
【請求項9】前記再生呈示制御手段は、前記危険計測手
段の計測結果に応じて、前記再生手段での情報の再生を
停止するとき、前記停止箇所を記録し、前記再生手段で
の情報の再生を再開するとき、記録した前記停止箇所か
ら情報の再生を再開することを特徴とする請求項1記載
の装着型情報呈示装置。
9. The reproduction presenting control means, when stopping the reproduction of the information by the reproducing means according to the measurement result of the danger measuring means, records the stop location, and records the information by the reproducing means. 2. The wearable information presenting apparatus according to claim 1, wherein when the reproduction is restarted, the reproduction of the information is restarted from the recorded stop point.
【請求項10】使用者の自宅あるいはサービスセンター
と交信するための交信手段を有し、 前記再生呈示制御手段は、前記危険計測手段の計測結果
に応じて、前記再生手段での再生を停止するとき、停止
した個所以降の情報の記録を交信手段を通じて指示する
ことを特徴とする請求項1記載の装着型情報呈示装置。
10. A communication means for communicating with a user's home or a service center, wherein said reproduction presentation control means stops reproduction by said reproduction means in accordance with a result of measurement by said danger measurement means. 2. The wearable information presenting device according to claim 1, wherein at that time, recording of information after the stopped point is instructed through communication means.
【請求項11】文字,映像,あるいは音声などの記録さ
れたあるいは受信した再生すべき情報を、利用者が装着
可能な装着型呈示手段によって呈示し、 この装着型呈示手段を装着している前記使用者の危険状
態を計測し、 この計測結果に基づいて、前記装着型呈示手段での呈示
を制御することを特徴とする装着型情報呈示方法。
11. Recorded or received information to be reproduced, such as text, video, or audio, is presented by a wearable presentation means that can be worn by a user, and said wearable presentation means is equipped with said wearable presentation means. A wearable information presentation method, comprising: measuring a danger state of a user; and controlling the presentation by the wearable presentation means based on the measurement result.
【請求項12】装着型の電子機器を制御するためのプロ
グラムをコンピュータ実行可能なように記憶させた記憶
媒体であって、 文字,映像,あるいは音声などの記録されたあるいは受
信した再生すべき情報を再生させ、 利用者が装着可能な装着型呈示手段によって、再生され
た前記情報を呈示させ、 この装着型呈示手段を装着している前記使用者の危険状
態を計測させ、 この計測結果に基づいて、情報の再生や前記装着型呈示
手段での呈示を制御させるプログラムを記憶したコンピ
ュータ読取り可能な記憶媒体。
12. A storage medium in which a program for controlling a wearable electronic device is stored in a computer-executable manner, the information being recorded or received such as text, video, or audio to be reproduced. Is reproduced, and the reproduced information is presented by the wearable presentation means that can be worn by the user, and the danger state of the user wearing the wearable presentation means is measured. Based on the measurement result, A computer-readable storage medium storing a program for controlling reproduction of information and presentation by the wearable presentation means.
JP18464699A 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium Expired - Fee Related JP3492942B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18464699A JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003292332A Division JP2004109995A (en) 2003-08-12 2003-08-12 Mount type information presentation device and method, and storage medium

Publications (2)

Publication Number Publication Date
JP2001013941A true JP2001013941A (en) 2001-01-19
JP3492942B2 JP3492942B2 (en) 2004-02-03

Family

ID=16156886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18464699A Expired - Fee Related JP3492942B2 (en) 1999-06-30 1999-06-30 Wearable information presenting apparatus and method, and storage medium

Country Status (1)

Country Link
JP (1) JP3492942B2 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318876A (en) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd Electronic voting device
WO2004061519A1 (en) * 2002-12-24 2004-07-22 Nikon Corporation Head mount display
WO2005122128A1 (en) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. Wearable type information presentation device
WO2006067930A1 (en) * 2004-12-22 2006-06-29 Nikon Corporation Video display apparatus
WO2008029570A1 (en) * 2006-09-08 2008-03-13 Sony Corporation Display device and display method
JP2009075610A (en) * 2008-12-04 2009-04-09 Olympus Corp See-through type display device with hazard prevention function and hazard prevention method when see-through type display device is used
WO2013089943A1 (en) * 2011-12-13 2013-06-20 Motorola Mobility Llc Method and apparatus for utilizing streaming content at an electronic device
US20130182012A1 (en) * 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
JP2013174898A (en) * 2013-04-10 2013-09-05 Sony Corp Imaging display device, and imaging display method
JP2014068096A (en) * 2012-09-25 2014-04-17 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
WO2015125364A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Electronic apparatus and image providing method
JP2016127376A (en) * 2014-12-26 2016-07-11 株式会社Nttドコモ Sound output device and sound reproduction method in sound output device
JPWO2014024649A1 (en) * 2012-08-06 2016-07-25 ソニー株式会社 Image display device and image display method
JP2016139881A (en) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 Head mount display
JP2016541035A (en) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント Camera-based safety mechanism for head-mounted display users
US10122985B2 (en) 2013-09-30 2018-11-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2019533824A (en) * 2016-07-25 2019-11-21 マジック リープ, インコーポレイテッドMagic Leap,Inc. Imaging correction, display, and visualization using augmented reality and virtual reality eyewear

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160014418A (en) 2014-07-29 2016-02-11 삼성전자주식회사 User interface apparatus and user interface method

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318876A (en) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd Electronic voting device
US8400371B2 (en) 2002-12-24 2013-03-19 Nikon Corporation Head mount display
WO2004061519A1 (en) * 2002-12-24 2004-07-22 Nikon Corporation Head mount display
WO2005122128A1 (en) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. Wearable type information presentation device
WO2006067930A1 (en) * 2004-12-22 2006-06-29 Nikon Corporation Video display apparatus
US9733701B2 (en) 2006-09-08 2017-08-15 Sony Corporation Display device and display method that determines intention or status of a user
US8368794B2 (en) 2006-09-08 2013-02-05 Sony Corporation Display device and display method that determines intention or status of a user
US10466773B2 (en) 2006-09-08 2019-11-05 Sony Corporation Display device and display method that determines intention or status of a user
WO2008029570A1 (en) * 2006-09-08 2008-03-13 Sony Corporation Display device and display method
US9261956B2 (en) 2006-09-08 2016-02-16 Sony Corporation Display device and display method that determines intention or status of a user
US8860867B2 (en) 2006-09-08 2014-10-14 Sony Corporation Display device and display method
JP2009075610A (en) * 2008-12-04 2009-04-09 Olympus Corp See-through type display device with hazard prevention function and hazard prevention method when see-through type display device is used
CN103999472A (en) * 2011-12-13 2014-08-20 摩托罗拉移动有限责任公司 Method and apparatus for utilizing streaming content at an electronic device
WO2013089943A1 (en) * 2011-12-13 2013-06-20 Motorola Mobility Llc Method and apparatus for utilizing streaming content at an electronic device
US9558591B2 (en) * 2012-01-12 2017-01-31 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
US20130182012A1 (en) * 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method of providing augmented reality and terminal supporting the same
JPWO2014024649A1 (en) * 2012-08-06 2016-07-25 ソニー株式会社 Image display device and image display method
US10670880B2 (en) 2012-08-06 2020-06-02 Sony Corporation Image display apparatus and image display method
JP2014068096A (en) * 2012-09-25 2014-04-17 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
JP2013174898A (en) * 2013-04-10 2013-09-05 Sony Corp Imaging display device, and imaging display method
US10122985B2 (en) 2013-09-30 2018-11-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9908049B2 (en) 2013-09-30 2018-03-06 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2016541035A (en) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント Camera-based safety mechanism for head-mounted display users
WO2015125364A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Electronic apparatus and image providing method
JP2016127376A (en) * 2014-12-26 2016-07-11 株式会社Nttドコモ Sound output device and sound reproduction method in sound output device
JP2016139881A (en) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 Head mount display
JP2019533824A (en) * 2016-07-25 2019-11-21 マジック リープ, インコーポレイテッドMagic Leap,Inc. Imaging correction, display, and visualization using augmented reality and virtual reality eyewear
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP7182538B2 (en) 2016-07-25 2022-12-02 マジック リープ, インコーポレイテッド Imaging Modification, Display, and Visualization Using Augmented Reality and Virtual Reality Eyewear
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Also Published As

Publication number Publication date
JP3492942B2 (en) 2004-02-03

Similar Documents

Publication Publication Date Title
JP3492942B2 (en) Wearable information presenting apparatus and method, and storage medium
CN108028957B (en) Information processing apparatus, information processing method, and machine-readable medium
EP2862049B1 (en) Reactive user interface for head-mounted display
US10921605B2 (en) Systems, devices, and methods for notification management
KR20160074408A (en) Device and method for rearranging contents displayed on the screen
JP6402718B2 (en) Information processing apparatus, control method, and program
KR20080041584A (en) Imaging apparatus, display apparatus, imaging method, and display method
KR20150037251A (en) Wearable computing device and user interface method
JPWO2005122128A1 (en) Wearable information presentation device
KR20170019081A (en) Portable apparatus and method for displaying a screen
US11016723B2 (en) Multi-application control of augmented reality audio
JP2004109995A (en) Mount type information presentation device and method, and storage medium
JP6904352B2 (en) Content output system, terminal device, content output method, and program
JP6820431B2 (en) Underwear-based body data monitoring methods and equipment
KR20160149100A (en) Method and wearable device for providing information on exercise
US20210193172A1 (en) Information processing system, information processing method, and recording medium
JP7455167B2 (en) Head-mounted information processing device
WO2019244670A1 (en) Information processing device, information processing method, and program
KR20200120105A (en) Electronic device and method for providing information to relieve stress thereof
JP2016127376A (en) Sound output device and sound reproduction method in sound output device
US20240028114A1 (en) Eye monitoring system and method
WO2019054086A1 (en) Information processing device, information processing method, and program
JP6884854B2 (en) Audio providing device, audio providing method and program
KR101871660B1 (en) Wearable based personal auto recording device operation method
WO2020178961A1 (en) Head-mounted information processing device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees