JP2007265274A - Physiology adaptive display device - Google Patents

Physiology adaptive display device Download PDF

Info

Publication number
JP2007265274A
JP2007265274A JP2006092350A JP2006092350A JP2007265274A JP 2007265274 A JP2007265274 A JP 2007265274A JP 2006092350 A JP2006092350 A JP 2006092350A JP 2006092350 A JP2006092350 A JP 2006092350A JP 2007265274 A JP2007265274 A JP 2007265274A
Authority
JP
Japan
Prior art keywords
information
display
user
physiological
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006092350A
Other languages
Japanese (ja)
Inventor
Hiroshi Nunokawa
博士 布川
Kiwamu Sato
究 佐藤
Naoto Ogasawara
直人 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SENDAI FOUNDATION FOR APPLIED
SENDAI FOUNDATION FOR APPLIED INFORMATION SCIENCES
Original Assignee
SENDAI FOUNDATION FOR APPLIED
SENDAI FOUNDATION FOR APPLIED INFORMATION SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SENDAI FOUNDATION FOR APPLIED, SENDAI FOUNDATION FOR APPLIED INFORMATION SCIENCES filed Critical SENDAI FOUNDATION FOR APPLIED
Priority to JP2006092350A priority Critical patent/JP2007265274A/en
Publication of JP2007265274A publication Critical patent/JP2007265274A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a physiology adaptive display device capable of displaying information in a suitable display form adapted for a user's sensitivity, sensation, or the like so as to hardly feel stress by solving a problem in a conventional technology on human interface wherein its display form does not necessarily reflect the user's intention due to excessive magnification or reduction or the like although intuitive operation is possible. <P>SOLUTION: The physiology adaptive display device is provided for displaying information by selecting a display form estimated to be suitable for the user so as not to feel stress, out of physiological information or the like showing defense reaction in the body to stress stimulation. Further, the physiology adaptive display device is provided for acquiring motion information that shows physical motion state of the device itself in addition to physiological information and performing selection processing of an information display form with the motion information added thereto. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、情報を表示する表示装置の操作を効率的に行うための技術に関する。   The present invention relates to a technique for efficiently operating a display device that displays information.

日常的に、多くの人がコンピュータ(計算機)や機械に接する現代において、人間がそのコンピュータなどを効率的に操作するための、いわゆる「ヒューマンインターフェース」の研究が行われている。そして、そのヒューマンインターフェースの研究の一環として、キーボードやマウスなどに替わる新たな操作入力系が様々発明され提案されている。   In the present day when many people come into contact with computers (computers) and machines, researches on so-called “human interfaces” are being conducted in order for humans to operate computers and the like efficiently. As a part of research on the human interface, various new operation input systems replacing keyboards and mice have been invented and proposed.

例えば、特許文献1では、画像表示装置に測距手段を設け、画像表示装置の画面と観察者との間の距離に応じて、近づければ画像を拡大し遠ざければ縮小する、という具合の表示を行う画像表示装置が開示されている。   For example, in Patent Document 1, a distance measuring unit is provided in an image display device, and depending on the distance between the screen of the image display device and an observer, the image is enlarged if it is close and reduced if it is far away. An image display device that performs display is disclosed.

これは、ヒューマンインターフェース研究の「一貫性(Consistency)」と呼ばれる概念を利用したもので、コンピュータ上の表示画面の拡大/縮小操作を、多くの人がその扱い方をすでに知っている虫眼鏡と同じ(一貫した)動作で行えるよう構成することで、直感的且つ簡便な表示画面の拡大/縮小操作を可能としている。   This uses a concept called “Consistency” in human interface research. It is the same as a magnifying glass that many people already know how to handle the enlargement / reduction of the display screen on a computer. By being configured so that it can be performed (consistently), an intuitive and simple display screen enlargement / reduction operation is possible.

また、その他にも、画像表示装置に加速度センサや重力センサを備え、装置を上下左右に傾けることで表示画面の上下左右のスクロールを行う構成とした画像表示装置や、カメラと画像解析ソフトを備え、閲覧者の手や身体の動きに応じて画像表示を行う画像表示装置など、さまざまな技術が開示されている。
特開平11−238124号公報
In addition, the image display device is equipped with an acceleration sensor and gravity sensor, and an image display device configured to scroll the display screen up and down, left and right by tilting the device up and down, left and right, and a camera and image analysis software. Various technologies such as an image display device that displays an image in accordance with the movement of a viewer's hand or body have been disclosed.
JP-A-11-238124

しかし、上記従来の技術には、以下のような課題がある。すなわち、たとえ直感的な操作によって、拡大/縮小などのさまざまな表示形態による情報の表示を行うことができたとしても、例えばユーザーの予想以上に拡大/縮小してしまう、など、その操作による表示形態が必ずしもユーザーの意図を反映したものになるとは限らない、という課題である。   However, the above conventional techniques have the following problems. That is, even if information can be displayed in various display forms such as enlargement / reduction by an intuitive operation, the display by the operation, for example, enlargement / reduction beyond the user's expectation, etc. The problem is that the form does not necessarily reflect the user's intention.

また、ユーザーの意図が可能な限り忠実に表示形態に反映されるよう、「顔と装置の距離20cmで表示2倍、10cmで3倍に拡大する」という具合にユーザーが個別にユーザー設定などを行ってしまうと、そもそも高齢者などの情報弱者でも操作可能なインターフェースを提供するというヒューマンインターフェースの基本理念から逸脱してしまう。   Also, in order to reflect the user's intention as faithfully as possible in the display form, the user can individually set the user settings, such as “double the display at a distance of 20 cm between the face and the device and three times at the 10 cm”. If it does, it will deviate from the basic philosophy of human interface, which provides an interface that can be operated even by information weak persons such as elderly people.

以上の課題を解決するために、本発明は、例えばストレス刺激に対する体内の防御反応を示す生理情報や、その他の生理情報を取得し、その生理情報からユーザーに好適と推定される表示形態を選択し情報表示を行う生理適応型表示装置を提供する。   In order to solve the above-described problems, the present invention acquires physiological information indicating, for example, a defense response in the body against a stress stimulus and other physiological information, and selects a display form presumed to be suitable for the user from the physiological information. Provided is a physiologically adaptive display device that displays information.

具体的には、生理情報を取得する身体に装着可能な生理情報センシング部と、情報を複数の形態で表示可能な情報表示部と、取得された生理情報に応じて情報表示部での表示の形態を選択する選択部と、を有する生理適応型表示装置である。   Specifically, a physiological information sensing unit that can be worn on the body for acquiring physiological information, an information display unit that can display information in a plurality of forms, and display on the information display unit according to the acquired physiological information And a selection unit for selecting a form.

また、生理情報に加えて装置自身の物理的運動状態を示す運動情報を取得し、運動情報から例えば移動中と検知されれば、その運動情報を加味した情報表示形態の選択処理を行う生理適応型表示装置も提供する。   In addition to the physiological information, the movement information indicating the physical movement state of the device itself is acquired, and if it is detected from the movement information, for example, the movement is performed, the physiological display is performed by selecting the information display form in consideration of the movement information. A mold display device is also provided.

具体的には、上記生理情報センシング部、情報表示部、選択部、に加え、自身の物理的運動状態を示す運動情報を取得する運動情報取得部をさらに有し、前記選択部は、さらに取得した運動情報にも応じて前記選択をするように構成された生理適応型表示装置である。   Specifically, in addition to the physiological information sensing unit, the information display unit, and the selection unit, it further includes an exercise information acquisition unit that acquires exercise information indicating its physical exercise state, and the selection unit further acquires This is a physiologically adaptive display device configured to make the selection according to the exercise information.

以上のような構成をとる本発明によって、ユーザーの操作意図を反映し、例えばストレスなどを感じにくい、という具合にユーザーの感性や感覚などに適応した好適な表示形態での情報表示を行うことができる。   According to the present invention configured as described above, it is possible to display information in a suitable display form adapted to the user's sensibility and senses, such as reflecting the user's operation intention and being less likely to feel stress, for example. it can.

また一度実行した(ユーザーに適応した)表示をフィードバックしていくことで、特別な設定操作など無しに好適な表示形態での情報表示を行うことができるので、情報弱者でも充分操作可能なヒューマンインターフェースを備えた表示装置を提供することができる。   In addition, by feeding back the display that has been executed once (adapted to the user), it is possible to display information in a suitable display format without any special setting operations, etc., so a human interface that can be fully operated even by information vulnerable persons Can be provided.

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to these embodiments, and can be implemented in various modes without departing from the spirit of the present invention.

なお、実施例1は、主に請求項1、3について説明する。また、実施例2は、主に請求項2、4について説明する。   In the first embodiment, claims 1 and 3 will be mainly described. In the second embodiment, claims 2 and 4 will be mainly described.

≪実施例1≫   Example 1

<概要>     <Overview>

図1に示すのは、本実施例の生理適応型表示装置における情報表示の一例を説明するための概念図である。図1にあるように、この表示装置は、(1)例えばユーザーと装置自身との間の距離を赤外線センサなどで測距し、(2)A.ユーザーの顔から自身が遠ざけられたら表示画像を縮小し画像全体が表示されるよう処理する。また、B.ユーザーの顔に自身が近づけられたら表示画像の一部を拡大しアップ表示されるよう処理する。   FIG. 1 is a conceptual diagram for explaining an example of information display in the physiologically adaptive display device of the present embodiment. As shown in FIG. 1, this display device (1) measures the distance between the user and the device itself, for example, with an infrared sensor, and (2) A. When the user is moved away from the user's face, the display image is reduced so that the entire image is displayed. B. When the user's face is brought close to the user's face, a part of the display image is enlarged and displayed so as to be displayed up.

(3)そして、本実施例の生理適応型表示装置は、このときのユーザーの生理情報、ここでは例えば皮膚電気活動(EDA)を、ユーザーの身体に装着されたセンサによって測定する。一般的にストレス反応によってEDAの値はストレス時と非ストレス時で異なった値を示す。そこで、画面の拡大処理後にEDA値が上昇した場合、その拡大率がユーザーの操作意図に適合したものではないためユーザーがストレスを感じていると判断し、(4)拡大率を調整して情報を表示し直す、という具合である。   (3) The physiologically adaptive display device of this embodiment measures the physiological information of the user at this time, here, for example, electrodermal activity (EDA), by a sensor attached to the user's body. In general, the EDA value varies depending on the stress response between stress and non-stress. Therefore, if the EDA value rises after the screen enlargement process, it is determined that the user feels stress because the enlargement rate does not match the user's operation intention, and (4) information is adjusted by adjusting the enlargement rate. Is displayed again.

このように本実施例の生理適応型表示装置によって、ユーザーの操作意図を反映し、例えばストレスなどを感じることのない好適な表示形態での情報表示を行うことができる。   As described above, the physiologically adaptive display device of this embodiment can display information in a suitable display form that reflects the user's operation intention and does not feel stress or the like.

<機能的構成>     <Functional configuration>

図2に示すのは、本実施例の生理適応型表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「生理適応型表示装置」(0200)は、「生理情報センシング部」(0201)と、「情報表示部」(0202)と、「選択部」(0203)と、を有する。   FIG. 2 is a diagram illustrating an example of functional blocks in the physiologically adaptive display device of this embodiment. As shown in this figure, the “physiological adaptive display device” (0200) of this example includes a “physiological information sensing unit” (0201), an “information display unit” (0202), and a “selection unit” (0203). And).

なお、以下に記載する本装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CD−ROMやDVD−ROMなどの記憶メディアとそれらメディアの読取ドライブなど)、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部やその外部周辺機器用のI/Oポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザーインターフェースなどが挙げられる。   Note that the functional blocks of the apparatus described below can be realized as hardware, software, or both hardware and software. Specifically, if a computer is used, a CPU, a main memory, a bus, or a secondary storage device (a storage medium such as a hard disk, a nonvolatile memory, a CD-ROM or a DVD-ROM, and a reading drive for these media) Etc.), hardware components such as printing devices, display devices, other external peripheral devices, I / O ports for the external peripheral devices, driver programs for controlling the hardware, other application programs, and information input Examples include user interfaces that are used.

またこれらハードウェアやソフトウェアは、主メモリ上に展開したプログラムをCPUで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。   In addition, these hardware and software process the program developed on the main memory with the CPU, and process, store, and output data stored on the memory and hard disk, and data input via the interface. It is used for processing or controlling each hardware component. The present invention can be realized not only as an apparatus but also as a method.

また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。   A part of the invention can be configured as software. Furthermore, a software product used for causing a computer to execute such software and a recording medium in which the product is fixed to a recording medium are naturally included in the technical scope of the present invention (the same applies throughout the present specification). Is).

「生理情報センシング部」(0201)は、身体に装着可能であり、生理情報を取得する機能を有する。   The “physiological information sensing unit” (0201) can be attached to the body and has a function of acquiring physiological information.

「生理情報」とは、生体の活動により自律神経系や免疫系、内分泌系などに生じる変化を示す情報をいい、例えば心拍変動情報、血圧情報、脈波情報、呼吸情報、皮膚電気活動情報、発汗情報、皮膚温情報、眼球運動情報、などが挙げられる。   “Physiological information” refers to information indicating changes that occur in the autonomic nervous system, immune system, endocrine system, etc. due to biological activity, such as heart rate variability information, blood pressure information, pulse wave information, respiratory information, electrodermal activity information, Examples include sweating information, skin temperature information, and eye movement information.

また、この生理情報センシング部でのセンシングは、例えば心拍変動であれば、心電センサを利用して心拍数を測定して取得する方法が挙げられる。血圧や脈波は、脈に密着させた圧力センサを利用して測定して取得する方法が挙げられる。呼吸情報は、流量センサや気相センサを利用して呼吸量や呼気に含まれる成分の種類を測定して取得する情報が挙げられる。皮膚電気活動などは、電位センサを皮膚に装着し皮膚の電気抵抗を測定して取得する方法が挙げられる。また、その他、サーモセンサで皮膚温を測定したり、カメラ機構で撮像した瞳画像をリアルタイムで解析し眼球運動を測定したりして、皮膚温情報や眼球運動情報を取得する方法なども挙げられる。   For example, if the physiological information sensing unit senses heart rate variability, there is a method of measuring and acquiring a heart rate using an electrocardiographic sensor. A method of measuring and acquiring blood pressure and pulse waves using a pressure sensor in close contact with the pulse can be mentioned. Examples of the respiration information include information obtained by measuring the amount of respiration and the types of components contained in expiration using a flow sensor or a gas phase sensor. An example of the electrodermal activity is a method in which an electrical potential sensor is attached to the skin and the electrical resistance of the skin is measured and acquired. In addition, there is a method of acquiring skin temperature information or eye movement information by measuring skin temperature with a thermosensor, or measuring eye movement by analyzing a pupil image captured with a camera mechanism in real time. .

このように、この「生理情報センシング部」は、上記のようなさまざまなセンサや、センサで検出したデータを処理する演算器やデータ解析ソフトウェアなどによって実現することができる。   As described above, the “physiological information sensing unit” can be realized by various sensors as described above, an arithmetic unit that processes data detected by the sensor, data analysis software, and the like.

そして、ここで取得された例えば心拍変動情報、血圧情報、脈波情報、呼吸情報、皮膚電気活動情報、発汗情報、皮膚温情報、眼球運動情報などは、例えば堀江良典らの編著による「初学者のための生体機能の測り方(日本出版サービス)」などの文献に示される通り、ストレス反応により変動することが確認されている。つまり、このような生理情報を取得し、後述するようにその生理情報に応じた表示形態を選択することで、ユーザーにストレスを感じさせないような情報表示を行うことができる。   For example, the heart rate variability information, blood pressure information, pulse wave information, respiratory information, electrodermal activity information, sweating information, skin temperature information, eye movement information, etc. acquired here are, for example, edited by Yoshinori Horie et al. As shown in the literature such as “How to measure biological functions for Japan” (Japan Publishing Service), it has been confirmed that it fluctuates due to stress reactions. That is, by acquiring such physiological information and selecting a display form corresponding to the physiological information as described later, it is possible to perform information display that does not cause the user to feel stress.

もちろん、生理情報は、このようなストレス反応の有無を判定するための生理情報には限定されず、例えば、赤外線の反射量から眼球表面の水分量を測定することで取得された眼球水分含有情報などであっても良い。そして、ユーザーが乾き目になっているか、などを眼球水分含有情報から判定し、後述の情報表示形態の選択においてドライアイの悪化を防ぐため情報表示をディスプレイ表示から音声出力に切り換える処理を行っても良い。   Of course, the physiological information is not limited to the physiological information for determining the presence or absence of such a stress reaction. For example, the ocular moisture content information obtained by measuring the moisture content of the eyeball surface from the infrared reflection amount It may be. Then, whether or not the user is dry eye is determined from the information on the moisture content of the eyeball, and processing for switching the information display from the display display to the audio output is performed in order to prevent the deterioration of dry eye in the selection of the information display form described later. Also good.

あるいは生理情報であるEDA値からユーザーの発汗量を計測し、発汗量の多いユーザーに対しては後述する情報表示部において、対応テーブルなどを利用して暖色部分を寒色に変換し表示する、といった処理を行っても良い。   Alternatively, the user's perspiration amount is measured from the EDA value, which is physiological information, and a warm color portion is converted into a cool color using a correspondence table or the like and displayed for a user with a high perspiration amount in an information display section described later. Processing may be performed.

また、脳波センサを利用して生理情報として脳波を測定し、脳波レベルから入眠状態と判定された場合、後述する情報表示部である表示画面の輝度を暗めに調整する、あるいは音声出力先のスピーカの音量レベルを低めに調整する、といった処理を行っても良い。   In addition, when an electroencephalogram sensor is used to measure electroencephalogram as physiological information and it is determined to be a sleep state based on the electroencephalogram level, the brightness of the display screen, which is an information display section to be described later, is adjusted to be darker, or the speaker of the audio output It is also possible to perform processing such as adjusting the sound volume level to a lower level.

そして、本実施例ではこのようにさまざまな生理情報を取得し、後述するようにその生理情報に応じた情報表示を実行することで、ユーザーの生理反応に合わせて、ユーザーに適応した情報表示を行うことができる、というわけである。   In this embodiment, various physiological information is acquired in this manner, and information display according to the physiological information is executed as described later, so that information display adapted to the user can be performed according to the physiological reaction of the user. It can be done.

「情報表示部」(0202)は、情報を複数の形態で表示可能な表示部である。   The “information display section” (0202) is a display section that can display information in a plurality of forms.

「複数の形態で表示」とは、例えばディスプレイ上に表示した画像の表示形態をさまざま変更することが挙げられる。画像の表示形態の一例としては、拡大形態/縮小形態、暗バックライト表示形態/明バックライト表示形態、高速スクロール表示形態/低速スクロール表示形態、ウィンドウ表示形態/タブ表示形態、和文訳表示形態/外国文字訳表示形態、暖色表示形態/寒色表示形態、あるいはイメージ動画像(リッチコンテンツ)有表示形態/イメージ画像抜表示形態、BGM付表示形態/BGM無表示形態、などが挙げられる。   “Display in multiple forms” includes, for example, various changes in the display form of an image displayed on a display. As an example of the image display form, an enlarged form / reduced form, a dark backlight display form / bright backlight display form, a high-speed scroll display form / low-speed scroll display form, a window display form / tab display form, a Japanese translation display form / Foreign character translation display mode, warm color display mode / cold color display mode, image moving image (rich content) display mode / image image extraction display mode, BGM display mode / BGM non-display mode, and the like.

また、「複数の形態での表示」には、このようにディスプレイでの複数の表示形態のほかに、例えば複数の出力表示先に対して選択的に出力する形態なども挙げられる。この形態の一例としては、テキストベースの情報をディスプレイにテキスト画像形態で表示/スピーカに音声形態で出力などが挙げられる。そして本実施例では、このように各種センサによる検出値や入力デバイスからの入力コマンドなどに応じてでさまざまな形態にて行われる情報表示部での情報表示が、生理情報に応じて例えばその拡大率やスクロール速度などが選択されることを特徴としている。   In addition to “a plurality of display forms on the display” as described above, “display in a plurality of forms” includes, for example, a form of selectively outputting to a plurality of output display destinations. As an example of this form, text-based information is displayed in the form of a text image on the display / output in the form of a sound on the speaker. In this embodiment, the information display on the information display unit, which is performed in various forms according to the detection values by various sensors and the input commands from the input device, is expanded according to physiological information, for example. The rate and scroll speed are selected.

図3及び図4に示すのは、この情報表示部での表示形態の一例について説明するための図である。この図3の(1)にあるように、例えば、装置に赤外線センサなどの測距センサを備えユーザーの顔までの距離を測定し、装置と顔の距離が最初の20cmから10cmになった場合、すなわちユーザーが装置を顔に近づける(あるいは顔を装置に近づける)動作を行った場合に、その距離xを変数する拡大率決定関数f(x)を利用して画面表示を拡大する制御を行う、という具合の表示形態である。   3 and 4 are diagrams for explaining an example of a display form in the information display unit. As shown in (1) of FIG. 3, for example, when the distance measurement sensor such as an infrared sensor is provided in the apparatus, the distance to the user's face is measured, and the distance between the apparatus and the face becomes 10 cm from the first 20 cm. That is, when the user performs an operation to bring the device closer to the face (or to bring the face closer to the device), control is performed to enlarge the screen display using an enlargement factor determination function f (x) that changes the distance x. , And so on.

また、この拡大、あるいは縮小の表示形態は、測距センサ以外に例えば加速度センサなどを利用して、装置の前後移動を検出することで表示画像の拡大/縮小処理を行い表示画面に表示しても良い。また、その表示倍率の決定は、例えば上記のように所定の関数f(x)を利用しても良いし、距離数値を引数としたテーブルを利用して決定されても良い。またそれ以外のデータによって決定されても良い。そして、本実施例では、例えばこのようにして決定される拡大率を、後述する選択部において生理情報に示されるユーザーのストレス反応などに応じて調整するよう選択することを特徴とする。   In addition, the display mode of enlargement or reduction uses an acceleration sensor or the like in addition to the distance measurement sensor to detect the movement of the device back and forth, and display and enlarge the display image on the display screen. Also good. The display magnification may be determined using, for example, a predetermined function f (x) as described above, or using a table with distance numerical values as arguments. Further, it may be determined by other data. In the present embodiment, for example, the enlargement rate determined in this way is selected to be adjusted according to the stress reaction of the user indicated in the physiological information in the selection unit described later.

また図3の(2)に示すように、装置に内蔵された傾きセンサによって装置の傾き方向を検出し、例えば装置が右方向に傾けられた場合、表示画面を右方向にスクロールさせる、という具合の表示形態なども挙げられる。また、その傾き角度に応じてスクロール速度を調整可能であっても良い。そして、本実施例では、例えばこのようにして決定されるスクロールの速度を、後述する選択部において生理情報に示されるユーザーのストレス反応などに応じて調整するよう選択する。   Also, as shown in FIG. 3 (2), the tilt direction of the device is detected by a tilt sensor built in the device, for example, when the device is tilted to the right, the display screen is scrolled to the right. The display form etc. are also mentioned. Further, the scroll speed may be adjustable according to the tilt angle. In this embodiment, for example, the scroll speed determined in this way is selected to be adjusted in accordance with the stress reaction of the user indicated by the physiological information in the selection unit described later.

また図4の(3)にあるように、例えば赤外線フォトトランジスタで受光される反射赤外線の量を測定することによって視線がどの方向を向いているかを検出するセンサを備えたヘッドマウントディスプレイ装置などでは、表示画面中に複数表示されているウィンドウの中からユーザーの視線で示されるウィンドウを拡大して表示したり、操作可能な状態に表示したりする形態も挙げられる。そして、本実施例では、例えばこのような視線検出の精度を、後述する選択部において生理情報に示されるユーザーのストレス反応などに応じて調整するよう選択する、という具合である。   Further, as shown in (3) of FIG. 4, for example, in a head-mounted display device provided with a sensor that detects which direction the line of sight is directed by measuring the amount of reflected infrared light received by an infrared phototransistor. Another example is a form in which a window indicated by the user's line of sight is enlarged and displayed in an operable state from among a plurality of windows displayed on the display screen. In the present embodiment, for example, the accuracy of such line-of-sight detection is selected so as to be adjusted according to the stress reaction of the user indicated by the physiological information in the selection unit described later.

また、図4の(4)にあるように、装置が照度センサを備え、周囲の明るさが所定値以下であれば、ディスプレイへの出力表示からスピーカへの音声出力へと切替る表示(出力)形態も挙げられる。あるいは照度センサによる明るさ検出に応じて、ディスプレイのバックライト輝度を調整する表示形態なども挙げられる。そして、本実施例では、例えばこのような切替の判断基準と成る明るさの閾値を、後述する選択部において生理情報に示されるユーザーのストレス反応などに応じて調整するよう選択する、という具合である。   Further, as shown in (4) of FIG. 4, if the apparatus includes an illuminance sensor and the ambient brightness is equal to or less than a predetermined value, the display (output) is switched from output display to the display to sound output to the speaker. ) Form. Or the display form etc. which adjust the backlight brightness | luminance of a display according to the brightness detection by an illumination intensity sensor are mentioned. In the present embodiment, for example, the brightness threshold value that is a criterion for such switching is selected so as to be adjusted according to the stress reaction of the user indicated in the physiological information in the selection unit described later. is there.

このように、本発明の情報表示部では、例えばディスプレイに表示する画像に対しグラフィックアクセラレータなどで画像処理を行うことにより拡大形態での表示や縮小形態での表示、スクロール表示、ウィンドウ選択表示、出力先切替表示(出力)、リッチコンテンツやBGMを含んだ/取り除いた表示、などという具合に複数の表示形態で表示することが可能となっている。したがって次の選択部において、生理情報センシング部において取得した生理情報に応じて、その複数の表示形態の中から好適な表示形態を選択することができる。   As described above, in the information display unit of the present invention, for example, by performing image processing on an image displayed on a display with a graphic accelerator or the like, display in an enlarged form, display in a reduced form, scroll display, window selection display, output It is possible to display in a plurality of display forms such as destination switching display (output), display including / excluding rich contents and BGM, and so on. Therefore, in the next selection unit, a suitable display form can be selected from the plurality of display forms according to the physiological information acquired by the physiological information sensing unit.

「選択部」(0203)は、取得された生理情報に応じて情報表示部(0202)での表示の形態を選択する機能を有する。   The “selection unit” (0203) has a function of selecting a display form on the information display unit (0202) according to the acquired physiological information.

「生理情報に応じた表示形態の選択」とは、例えば前述のように、生理情報である眼球水分含有率が異常乾燥値を示す閾値以下である場合はユーザーが乾き目になっている、としてドライアイの悪化を防ぐためその情報表示形態をディスプレイ表示形態から音声出力形態に切り換える選択などが挙げられる。   “Selection of display form according to physiological information” means that, for example, as described above, when the eye water content, which is physiological information, is equal to or lower than a threshold value indicating an abnormal dry value, the user is dry. In order to prevent the deterioration of the dry eye, the information display form may be switched from the display form to the sound output form.

図5に示すのは、この選択部での選択の一例を説明するための概念図である。この図にあるように、例えば装置のフラッシュメモリなどに「EDAレベル−表示処理内容テーブル」が保持されている。そして前記情報表示部での情報表示を行った後に電位測定によりEDA(皮膚電気活動)値を計測する。ここで計測されたEDAレベルが標準レベル5以下である場合は、情報表示部での情報表示によるストレス反応は見られないとして、装置と顔の距離を10cm近づけることで2倍の拡大表示処理を実行する、という具合の通常の拡大縮小処理を行う。   FIG. 5 is a conceptual diagram for explaining an example of selection by the selection unit. As shown in this figure, for example, an “EDA level-display processing content table” is held in the flash memory of the apparatus. Then, after the information is displayed on the information display unit, an EDA (electrical skin activity) value is measured by potential measurement. When the measured EDA level is below the standard level 5, it is assumed that stress reaction due to information display on the information display unit is not seen, and the magnification display process is doubled by reducing the distance between the device and the face by 10 cm. A normal enlargement / reduction process such as executing is performed.

一方、測定されたEDAレベルが標準レベルより高い6から8である場合、その通常の拡大倍率ではユーザーにストレスを与えているとして、例えば装置と顔の距離を10cm近づけた際の拡大倍率を通常の1.5倍として拡大処理する、という具合の処理を行う。また、測定されたEDAレベルがさらに高い9以上である場合、拡大倍率を下げる処理のほか、ストレスを軽減させる音楽を出力したりストレスを軽減させる表示色を利用した表示を行ったりする、という具合の処理も合わせて行う。   On the other hand, when the measured EDA level is 6 to 8, which is higher than the standard level, it is assumed that the user is stressed at the normal magnification, and for example, the magnification when the distance between the device and the face is brought closer to 10 cm is usually set. The process of enlargement processing is performed as 1.5 times the value. In addition, when the measured EDA level is 9 or higher, in addition to the process of lowering the magnification, the music that outputs stress is output or the display that uses the display color that reduces stress is performed. This process is also performed.

このように、情報を表示した際の生理情報で示される例えばストレス反応に応じて、その拡大縮小倍率やスクロール速度、視線検出精度、出力先切替の明るさの閾値などの係数を変更し調整することで、ユーザーの操作意図を反映し、例えばユーザーがストレスなどを感じることがない、という具合にユーザーに好適な表示形態での情報表示を行うことができる。   In this way, according to, for example, the stress reaction indicated by the physiological information when the information is displayed, the scaling factor, scroll speed, visual line detection accuracy, output destination switching brightness threshold, and the like are changed and adjusted. Thus, it is possible to display information in a display form suitable for the user, such as reflecting the user's intention to operate and not feeling stress or the like, for example.

なお、生理情報で示される例えばユーザーのストレス反応が、拡大しすぎに起因するのか拡大率が不足していることに起因するのかについては、例えばフィードバックによって判断すると良い。具体的には、一度選択実行した表示形態に関する情報、さらに拡大してストレス反応が低下したか上昇したか、をフィードバックし、次回以降の選択に反映する、という具合である。また例えば拡大率決定関数の係数などをフラッシュメモリに保持し、次回以降の選択にフィードバックすることで、特別なユーザー設定など行わなくてもユーザーに好適な情報表示を行うことが出きるようになる。   Whether the user's stress response indicated by the physiological information is caused by overexpansion or insufficient enlargement rate may be determined by feedback, for example. Specifically, the information regarding the display form once selected and executed, whether the stress response has been reduced or increased further, is fed back, and reflected in the subsequent selection. In addition, for example, by holding the coefficient of the enlargement factor determination function in the flash memory and feeding it back to the subsequent selection, it is possible to display information suitable for the user without performing special user settings. .

<本実施例のハードウェア構成>     <Hardware configuration of this embodiment>

図6に示すのは、上記機能的な各構成要件をハードウェアとして実現した際の、生理適応型表示装置における構成の一例を表す概略図である。この図を利用してユーザーの生理状態に適応した情報表示処理におけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、生理適応型表示装置は、各種演算処理を行う「CPU(中央演算装置)」(0601)と、そのCPUで演算されるデータを格納する「主メモリ」(0602)と、を備えている。また、主メモリに読み出されCPUにて実行されるプログラムやそのプログラムの実行に必要なデータなどを保持している「フラッシュメモリ」(0603)も備えている。そして、これら「CPU」と「主メモリ」、「フラッシュメモリ」などによって前記「選択部」が実現される。   FIG. 6 is a schematic diagram illustrating an example of a configuration of a physiologically adaptive display device when the above functional components are realized as hardware. The operation of each hardware component in the information display process adapted to the user's physiological state will be described using this figure. As shown in this figure, the physiologically adaptive display device includes a “CPU (central processing unit)” (0601) that performs various arithmetic processes, and a “main memory” (0602) that stores data calculated by the CPU. It is equipped with. Also provided is a “flash memory” (0603) that stores a program that is read into the main memory and executed by the CPU, and data necessary for executing the program. The “selection unit” is realized by these “CPU”, “main memory”, “flash memory”, and the like.

また、ユーザーの装着する「EDA値測定センサ」(0604)と、そのセンサの測定値を無線データ通信により受信する「I/O」(0605)により前記「生理情報センシング部」が実現される。また、ビデオチップを含む「ビデオ処理回路」(0606)と、「ディスプレイ」(0607)により、前記「情報表示部」が実現される。   Further, the “physiological information sensing unit” is realized by the “EDA value measurement sensor” (0604) worn by the user and the “I / O” (0605) that receives the measurement value of the sensor by wireless data communication. The “information display unit” is realized by a “video processing circuit” (0606) including a video chip and a “display” (0607).

また、この「ディスプレイ」での情報表示をユーザーが操作するための「距離計測センサ」(0608)も備えられている。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。   In addition, a “distance measurement sensor” (0608) for the user to operate information display on the “display” is also provided. They are connected to each other via a data communication path such as a “system bus” to transmit / receive information and process information.

また、「主メモリ」は、「フラッシュメモリ」に記憶されているプログラムを実行するために展開すると同時にそのプログラムの作業領域でもあるワーク領域を提供する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のメモリアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。   In addition, the “main memory” provides a work area that is a work area of the program at the same time that it is expanded to execute the program stored in the “flash memory”. In addition, a plurality of memory addresses are assigned to each of the “main memory” and “flash memory”, and programs executed by the “CPU” exchange data with each other by specifying and accessing the memory addresses. It is possible to perform processing.

ここで、例えば図示しないインターネット接続機能や動画再生機能などで取得されたテキスト情報や画像情報などがグラフィックアクセラレータやビデオメモリなどを含む「ビデオ処理回路」にて処理され、「ディスプレイ」にそれら画像やテキストが表示される。   Here, for example, text information and image information acquired by an Internet connection function and a video playback function (not shown) are processed by a “video processing circuit” including a graphic accelerator and a video memory, and the image and the image information are displayed on the “display”. The text is displayed.

また、「距離計測センサ」は、超音波パルスを出力し、その反射時間を変数とする演算をセンサチップ上で実行することで、ユーザーの顔とこの表示装置との距離を計測する。そして、その計測されたユーザーの顔と表示装置との距離にしたがって前記「ビデオ処理回路」で画像やテキストの拡大縮小処理が実行され、それらが「ディスプレイ」にて拡大縮小表示される。   The “distance measuring sensor” outputs an ultrasonic pulse, and executes a calculation on the sensor chip using the reflection time as a variable, thereby measuring the distance between the user's face and the display device. Then, according to the measured distance between the user's face and the display device, the “video processing circuit” executes image / text enlargement / reduction processing, which is enlarged / reduced and displayed on the “display”.

この「ビデオ処理回路」での拡大縮小処理のため、「主メモリ」のワーク領域に展開された表示形態決定プログラムは、まず、「距離計測センサ」で計測された顔と表示装置との距離を示す数値がを「主メモリ」のアドレス1に格納する。また「フラッシュメモリ」のアドレスαに保持されている拡大率決定関数f(x)を「主メモリ」のアドレス2に読み出し格納する。そして、アドレス1に格納された距離を示す数値を変数xとして、拡大率決定関数f(x)を「CPU」の演算処理によって計算し、例えば2倍などの拡大率を算出する。   For the enlargement / reduction processing in the “video processing circuit”, the display form determination program developed in the work area of the “main memory” first calculates the distance between the face measured by the “distance measurement sensor” and the display device. The indicated numerical value is stored at address 1 of “main memory”. Further, the enlargement factor determination function f (x) held at the address “α” of the “flash memory” is read and stored at the address 2 of the “main memory”. Then, using the numerical value indicating the distance stored at the address 1 as a variable x, the enlargement factor determination function f (x) is calculated by the calculation processing of “CPU”, and an enlargement factor such as double is calculated.

そして、その算出した拡大率に基づいて「ビデオ処理回路」にて表示する画像の拡大処理やアンチエイリアシング処理(拡大画像のスムージング処理)が実行され、「ディスプレイ」にて拡大表示される。   Then, based on the calculated enlargement ratio, enlargement processing and anti-aliasing processing (enlarged image smoothing processing) of an image to be displayed by the “video processing circuit” are executed, and the display is enlarged and displayed on the “display”.

また表示形態決定プログラムは、例えば上記ディスプレイの拡大(縮小)表示によって生じたユーザーの生理的変化に応じてそのディスプレイの拡大(縮小)表示を調整するため、以下のような処理も実行する。   The display form determination program also executes the following processing in order to adjust the display enlargement (reduction) display according to the physiological change of the user caused by the display enlargement (reduction) display, for example.

まず、この「ディスプレイ」での拡大表示が実行されたタイミングで、「ディスプレイ」を閲覧しているユーザーの身体に装着された「EDA値測定センサ」にて、ユーザーの掌と指に装着した一対の電極間の電位差を計測する。そして計測されたEDA値を無線データ通信などで表示装置の「I/O」にて取得し、「主メモリ」のアドレス3に格納する。   First, at the timing when the enlarged display on the “display” is executed, the “EDA value measurement sensor” attached to the body of the user who is viewing the “display” is paired with the user's palm and finger. The potential difference between the electrodes is measured. Then, the measured EDA value is acquired by “I / O” of the display device by wireless data communication or the like, and stored in address 3 of “main memory”.

つづいて、「フラッシュメモリ」のアドレスβに保持されているユーザーのストレス反応の有無を判断するための閾値が「主メモリ」のアドレス4に読み出され格納される。そして、その閾値とEDA値との大小比較処理が「CPU」にて実行される。このときEDA値が閾値未満であれば、表示形態決定プログラムは、ユーザーは上記ディスプレイの2倍の拡大表示ではストレス反応を示していない、として、その拡大処理はユーザーに適応した表示形態である、と判断する。   Subsequently, the threshold value for determining the presence or absence of the stress reaction of the user held at the address “β” of the “flash memory” is read and stored at the address 4 of the “main memory”. Then, the “CPU” executes a size comparison process between the threshold and the EDA value. At this time, if the EDA value is less than the threshold value, the display form determination program indicates that the user does not show a stress reaction in the enlarged display twice the display, and the enlargement process is a display form adapted to the user. Judge.

一方、EDA値が閾値以上であれば、表示形態決定プログラムは、ユーザーは上記ディスプレイの2倍の拡大表示ではストレス反応を示している、として、その拡大処理はユーザーに適応した表示形態ではない、と判断する。そこで、拡大率決定関数の係数を変更などし再度拡大処理演算を行い「ディスプレイ」に再計算された拡大率での情報表示を行う。また前記処理結果をフラッシュメモリに記憶しフィードバックしていくことで、その算出される拡大率がユーザーに適応したものとなるよう調整する、という具合である。   On the other hand, if the EDA value is equal to or greater than the threshold value, the display form determination program indicates that the user shows a stress response in the enlarged display twice the display, and the enlargement process is not a display form adapted to the user. Judge. Therefore, the enlargement processing calculation is performed again by changing the coefficient of the enlargement factor determination function and the information is displayed on the “display” at the recalculated enlargement factor. Further, the processing result is stored in the flash memory and fed back so that the calculated enlargement ratio is adjusted to be suitable for the user.

<処理の流れ>     <Process flow>

図7に示すのは、本実施例の生理適応型表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、(表示画面を閲覧するユーザーの)身体に装着されたセンサから生理情報を取得する(ステップS0701)。   FIG. 7 is a flowchart showing an example of a processing flow in the physiologically adaptive display device of the present embodiment. Note that the steps shown below may be processing steps that constitute a program for controlling a computer recorded on a medium. As shown in this figure, first, physiological information is acquired from a sensor attached to the body (of a user viewing the display screen) (step S0701).

つづいて、その取得した生理情報に応じて、情報表示部での表示形態を選択し(ステップS0702)、選択した表示形態で情報を表示する(ステップS0703)。   Subsequently, in accordance with the acquired physiological information, a display form on the information display unit is selected (step S0702), and information is displayed in the selected display form (step S0703).

<効果の簡単な説明>     <Brief description of effect>

以上のように、本実施例の生理適応型表示装置によって、ユーザーの操作意図を反映し、例えばストレスなどを感じにくい、という具合にユーザーに適応した好適な表示形態での情報表示を行うことができる。   As described above, the physiologically adaptive display device according to the present embodiment can display information in a suitable display form adapted to the user, for example, reflecting the user's intention of operation and, for example, being less likely to feel stress. it can.

また一度実行した(ユーザーに適応した)表示をフィードバックしていくことで、特別な設定操作など無しに好適な表示形態での情報表示を行うことができるので、情報弱者でも充分操作可能なヒューマンインターフェースを備えた表示装置を提供することができる。   In addition, by feeding back the display that has been executed once (adapted to the user), it is possible to display information in a suitable display format without any special setting operations, etc., so a human interface that can be fully operated even by information vulnerable persons Can be provided.

≪実施例2≫   << Example 2 >>

<概要>     <Overview>

本実施例は、実施例1を基本として例えばストレス有無などのユーザーの生理状態に加え、さらに装置自身の物理的運動状態にも応じて情報表示形態の選択を行うことを特徴としている生理適応型表示装置である。   The present embodiment is based on the first embodiment, and the physiological display type is characterized in that the information display form is selected according to the physical movement state of the apparatus itself in addition to the user's physiological state such as the presence or absence of stress. It is a display device.

例えば、加速度センサを利用して所定の加速パターンが検知されなければ、装置(を保持しているユーザー)の物理的運動状態は移動中であると判断できる。また加速度の値や加速時間からその移動が歩行によるものだと判断することもできる。そして、歩行移動中はユーザー及びこの表示装置は恒常的に振動していると想定されるので、その振動によってユーザーが意図しない範囲で、ユーザーの顔と装置との距離が近づいたり遠ざかったりする可能性がある。   For example, if a predetermined acceleration pattern is not detected using an acceleration sensor, it can be determined that the physical motion state of the device (the user holding the device) is moving. It can also be determined from the acceleration value and acceleration time that the movement is due to walking. And since it is assumed that the user and this display device vibrate constantly during walking movement, the distance between the user's face and the device may be closer or farther than the user intends due to the vibration. There is sex.

すると、例えば振動によりユーザーの顔と装置とが2cm近づき、その接近に応じて表示画面の拡大処理を実行しても、それはユーザーの意図によるものではないため、ユーザーにとって好適な情報表示形態の選択がなされたとは言えない。そこで、本実施例では、例えばこのような歩行中の振動誤差などで拡大縮小処理が実行されないよう、歩行中でのユーザーの顔と装置との距離移動が±3cm以内である場合、表示情報の拡大縮小処理を選択しない、ということを特徴とする。   Then, for example, even if the user's face and the device approach 2 cm due to vibration, and the display screen enlargement processing is executed according to the approach, it is not due to the user's intention, so the selection of a suitable information display form for the user It cannot be said that has been made. Therefore, in this embodiment, for example, when the distance movement between the user's face and the device during walking is within ± 3 cm so that the enlargement / reduction processing is not performed due to such a vibration error during walking or the like, It is characterized in that the enlargement / reduction process is not selected.

<機能的構成>     <Functional configuration>

図8に示すのは、本実施例の生理適応型表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「生理適応型表示装置」(0800)は、実施例1を基本として、「生理情報センシング部」(0801)と、「情報表示部」(0802)と、「選択部」(0803)と、を有する。なお、これら「生理情報センシング部」、「情報表示部」は、実施例1で記載したものと同一であるので、その詳細な説明は省略する。   FIG. 8 is a diagram illustrating an example of functional blocks in the physiologically adaptive display device of the present embodiment. As shown in this figure, the “physiological adaptive display device” (0800) of the present embodiment is based on the first embodiment and includes “physiological information sensing unit” (0801), “information display unit” (0802), , “Selection unit” (0803). Since these “physiological information sensing unit” and “information display unit” are the same as those described in the first embodiment, detailed description thereof will be omitted.

そして、本実施例の生理適応型表示装置の特徴点は、さらに「運動情報取得部」(0804)を有する点である。また「選択部」が、生理情報に加え、後述する運動情報にも応じて実施例1で説明したような選択を行うことも特徴とする。   The feature point of the physiologically adaptive display device of this embodiment is that it further has a “exercise information acquisition unit” (0804). In addition, the “selection unit” is characterized by performing selection as described in the first embodiment in accordance with exercise information described later in addition to physiological information.

「運動情報取得部」(0804)は、運動情報を取得する機能を有する。「運動情報」とは、自身の物理的運動状態を示す情報を言い、例えば、加速度情報、速度情報、角速度情報、位置情報に基づく移動距離情報、重力情報、振動情報、衝撃情報、などが挙げられる。   The “exercise information acquisition unit” (0804) has a function of acquiring exercise information. “Exercise information” refers to information indicating the physical motion state of the subject, such as acceleration information, velocity information, angular velocity information, movement distance information based on position information, gravity information, vibration information, impact information, and the like. It is done.

また、このような運動情報を取得する運動情報取得部は、例えば加速度センサなどの各種センサによって実現されるほか、画像を取得し時間的前後の画像とのマッチングで移動距離などを算出し運動情報として取得する撮像機能や映像解析回路などによって実現されても良い。   In addition, the exercise information acquisition unit that acquires such exercise information is realized by various sensors such as an acceleration sensor, for example, and acquires the image and calculates the movement distance by matching with the image before and after the time to acquire the exercise information. It may be realized by an imaging function or a video analysis circuit acquired as follows.

そして、加速度センサであれば、例えば所定の加速パターンが検出されれば装置の物理的運動状態は移動中であると判断することができる。また、その加速度の値によって、歩行で移動か移動手段を利用した移動か、なども判断できる。   In the case of an acceleration sensor, for example, if a predetermined acceleration pattern is detected, it can be determined that the physical motion state of the apparatus is moving. Further, it can be determined whether the movement is by walking or by using a moving means, based on the acceleration value.

また、角速度センサであれば、その検出された角速度の値で装置の回転状態やそのスピードを判断することができる。また、加速度の向きや重力情報を利用して落下状態の判断や、振動情報を利用して振動状態の判断などを行うこともできる。   In the case of an angular velocity sensor, the rotational state of the apparatus and its speed can be determined from the detected angular velocity value. It is also possible to determine the fall state using the direction of acceleration and gravity information, and to determine the vibration state using vibration information.

そして、この取得された運動情報を利用して、例えば、装置の物理的運動状態が歩行移動中であると判断されれば、その歩行移動中であることに好適な情報表示形態を選択し情報を表示することを特徴とする。   Then, using this acquired exercise information, for example, if it is determined that the physical movement state of the device is walking, the information display form suitable for the walking movement is selected and information is selected. Is displayed.

「選択部」(0804)は、生理情報に加え、さらに取得した運動情報にも応じて前記選択をするように構成されている。   The “selection unit” (0804) is configured to make the selection according to the acquired exercise information in addition to the physiological information.

図9に示すのは、本実施例の選択部における運動情報も加味した選択の一例を説明するための図である。この図にあるように、運動情報も加味した情報表示形態の選択として、例えば取得した運動情報である加速度情報からその運動内容が移動中であると判断されれば、情報表示部での拡大縮小処理において、顔と装置と相対距離の変動が±3cmは拡大縮小処理を行わない、といった選択が挙げられる。   FIG. 9 is a diagram for explaining an example of selection that also includes exercise information in the selection unit of the present embodiment. As shown in this figure, as an information display form that also includes exercise information, for example, if it is determined from the acceleration information that is acquired exercise information that the exercise content is moving, the information display unit zooms in and out In the processing, there is a selection that the enlargement / reduction processing is not performed when the relative distance between the face and the apparatus is ± 3 cm.

また、例えば加速度情報で示される表示装置の移動距離に応じて、装置を保持して動かしているユーザーの運動量を算出する。そして、その運動量が当初設定された目標値に達していない場合には拡大縮小率決定関数の設定などを変更し、通常よりも長く装置を移動させないと拡大縮小が選択実行されないよう構成し、ユーザーの運動量が目標値に達するようにしても良い。   Further, for example, the momentum of the user who holds and moves the device is calculated according to the moving distance of the display device indicated by the acceleration information. If the momentum does not reach the initially set target value, the setting of the enlargement / reduction rate determination function is changed, and the enlargement / reduction is not selected and executed unless the device is moved longer than usual. The amount of exercise may reach the target value.

このようにして、生理情報に加え運動情報を加味して好適な情報表示形態を選択し情報を表示することをができる。   In this way, information can be displayed by selecting a suitable information display form in consideration of exercise information in addition to physiological information.

<本実施例のハードウェア構成>     <Hardware configuration of this embodiment>

図10に示すのは、上記機能的な各構成要件をハードウェアとして実現した際の、生理適応型表示装置における構成の一例を表す概略図である。この図を利用してユーザーの生理状態に適応した情報表示処理におけるそれぞれのハードウェア構成部の働きについて説明する。   FIG. 10 is a schematic diagram illustrating an example of a configuration in a physiologically adaptive display device when the above functional components are realized as hardware. The operation of each hardware component in the information display process adapted to the user's physiological state will be described using this figure.

なお、この図に示す生理適応型表示装置のハードウェア構成例は、実施例1同様に選択部である「CPU」(1001)と、「主メモリ」(1002)と、「フラッシュメモリ」(1003)を備えている。   Note that the example of the hardware configuration of the physiologically adaptive display device shown in this figure is the same as in the first embodiment, which is the “CPU” (1001), “main memory” (1002), and “flash memory” (1003). ).

また、生理情報センシング部である、ユーザーの装着する「EDA値測定センサ」(1004)と「I/O」(1005)や、情報表示部である「ビデオ処理回路」(1006)と、「ディスプレイ」(1007)も備えている。また、この「ディスプレイ」での情報表示をユーザーが操作するための「距離計測センサ」(1008)も備えられている。   In addition, “EDA value measurement sensors” (1004) and “I / O” (1005) worn by the user, which are physiological information sensing units, and “video processing circuit” (1006), which is an information display unit, (1007). A “distance measurement sensor” (1008) is also provided for the user to operate information display on the “display”.

そして、さらに、運動情報取得部を実現する、「加速度センサ」(1009)などのセンサも備え、それらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。   Further, a sensor such as an “acceleration sensor” (1009) that realizes a motion information acquisition unit is also provided, and these are connected to each other by a data communication path such as a “system bus” to perform transmission / reception and processing of information.

ここで、実施例1同様に、例えば図示しないインターネット接続機能や動画再生機能などで取得されたテキスト情報や画像情報などが「ビデオ処理回路」にて処理され、「ディスプレイ」にそれら画像やテキストが表示される。そして表示形態決定プログラムは「距離計測センサ」によって計測されたユーザーの顔と表示装置との距離に応じて、「CPU」にて拡大縮小率を算出するための演算処理を実行し、前記「ビデオ処理回路」での拡大縮小処理により、それらが「ディスプレイ」にて拡大縮小表示される。   Here, as in the first embodiment, for example, text information and image information acquired by an internet connection function and a moving image playback function (not shown) are processed by the “video processing circuit”, and the images and text are displayed on the “display”. Is displayed. The display form determination program executes arithmetic processing for calculating the enlargement / reduction ratio by the “CPU” according to the distance between the user's face measured by the “distance measurement sensor” and the display device, and the “video” By the enlargement / reduction process in the “processing circuit”, they are enlarged and reduced on the “display”.

また、その上記ディスプレイの例えば拡大縮小表示は、実施例1同様の表示形態決定プログラムの処理により「EDA値測定センサ」にて測定されたユーザーのストレス反応を示す生理情報に応じて、拡大縮小率を抑えた表示形態を選択する(拡大縮小率決定関数の係数などを変更する)。   Further, for example, the enlargement / reduction display on the display is an enlargement / reduction rate according to physiological information indicating a user's stress response measured by the “EDA value measurement sensor” by the processing of the display form determination program similar to that of the first embodiment. A display form that suppresses the image is selected (the coefficient of the enlargement / reduction ratio determination function is changed).

そして、本実施例の生理適応型表示装置の表示形態決定プログラムは、それに加え、「加速度センサ」にて取得した運動情報にも基づいて情報表示部であるディスプレイでの情報表示形態が決定される。   In addition, the display form determination program for the physiologically adaptive display device according to the present embodiment determines the information display form on the display which is the information display unit based on the exercise information acquired by the “acceleration sensor”. .

具体的には、表示形態決定プログラムは「加速度センサ」により検出された装置自身の加速度の数値を「主メモリ」のアドレス1に格納する。そしてその加速度変化パターンを予め保持している歩行時の変化パターンでパターンマッチングし、マッチングすれば装置の物理的運動状態は移動中であると判断する。また、フラッシュメモリに保持しているテーブルなどを利用し、その加速度の値によって、歩行で移動中である、なども判断する。   Specifically, the display form determination program stores the numerical value of the acceleration of the apparatus itself detected by the “acceleration sensor” at address 1 of “main memory”. Then, the acceleration change pattern is pattern-matched with a change pattern at the time of walking that is held in advance, and if it matches, it is determined that the physical motion state of the apparatus is moving. Further, using a table or the like held in the flash memory, it is also determined that the user is moving by walking based on the acceleration value.

ここで、「装置自身の物理的運動状態が"歩行中"である」と判断された場合、表示形態決定プログラムは「フラッシュメモリ」のアドレスβに格納されている閾値の数値を「主メモリ」のアドレス5に読み出し格納する。そして、「距離測定センサ」によって顔と装置とが近づいたことが検出されると、「主メモリ」のアドレス2に格納されたその距離を示す数値と、そのアドレス5に格納した閾値との大小比較処理を「CPU」の演算処理にて実行する。   Here, when it is determined that “the physical motion state of the device itself is“ walking ””, the display form determination program sets the numerical value of the threshold value stored in the address “β” of the “flash memory” to “main memory”. Is read out and stored at address 5. When it is detected by the “distance measurement sensor” that the face and the apparatus are approaching, the magnitude of the numerical value indicating the distance stored in the address 2 of the “main memory” and the threshold stored in the address 5 is large or small. The comparison process is executed by the “CPU” calculation process.

その大小比較の結果、距離が閾値以下であれば、その顔と装置との間の距離が近づいたのは歩行による振動誤差として情報表示形態として拡大縮小を選択しない(処理を実行しない)。また、その大小比較の結果、距離が閾値以上であれば、ユーザーの意図により装置と顔とが近づけられたとして、情報表示形態として拡大縮小を選択する(処理を実行する)、という具合である。   As a result of the size comparison, if the distance is equal to or smaller than the threshold value, the distance between the face and the apparatus is not selected as enlargement / reduction as the information display form as a vibration error due to walking (no processing is executed). If the distance is equal to or larger than the threshold value as a result of the size comparison, the apparatus and the face are brought closer to each other according to the user's intention, and enlargement / reduction is selected as the information display form (processing is executed). .

<処理の流れ>     <Process flow>

図11に示すのは、本実施例の生理適応型表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、(表示画面を閲覧するユーザーの)身体に装着されたセンサから生理情報を取得する(ステップS1101)。   FIG. 11 is a flowchart showing an example of the flow of processing in the physiologically adaptive display device of this embodiment. Note that the steps shown below may be processing steps that constitute a program for controlling a computer recorded on a medium. As shown in this figure, first, physiological information is acquired from a sensor attached to the body (of a user viewing the display screen) (step S1101).

また、例えば加速度センサなどを利用して、装置自身の運動情報を取得する(ステップS1102)。   Further, for example, the motion information of the apparatus itself is acquired using an acceleration sensor or the like (step S1102).

つづいて、その取得した生理情報と運動情報とに応じて、情報表示部での表示形態を選択し(ステップS1103)、選択した表示形態で情報を表示する(ステップS1104)。   Subsequently, the display form on the information display unit is selected according to the acquired physiological information and exercise information (step S1103), and the information is displayed in the selected display form (step S1104).

<効果の簡単な説明>     <Brief description of effect>

以上のように、本実施例の生理適応型表示装置によって、ユーザーの生理に加え、装置自身の物理的運動状態にも適応した好適な表示形態での情報表示を行うことができる。   As described above, the physiologically adaptive display device of this embodiment can display information in a suitable display form adapted to the physical movement state of the device itself in addition to the user's physiology.

実施例1の生理適応型表示装置における情報表示の一例を説明するための概念図Conceptual diagram for explaining an example of information display in the physiologically adaptive display device of the first embodiment. 実施例1の生理適応型表示装置における機能ブロックの一例を表す図The figure showing an example of the functional block in the physiological adaptation type display apparatus of Example 1. 実施例1の生理適応型表示装置の情報表示部での表示形態の一例について説明するための図The figure for demonstrating an example of the display form in the information display part of the physiologically adaptive display apparatus of Example 1. FIG. 実施例1の生理適応型表示装置の情報表示部での表示形態の、別の一例について説明するための図The figure for demonstrating another example of the display form in the information display part of the physiologically adaptive display apparatus of Example 1. FIG. 実施例1の生理適応型表示装置の選択部での選択の一例を説明するためのテーブルを表す概念図The conceptual diagram showing the table for demonstrating an example of selection in the selection part of the physiologically adaptive display apparatus of Example 1. FIG. 実施例1の生理適応型表示装置におけるハードウェア構成の一例を表す概略図Schematic showing an example of a hardware configuration in the physiologically adaptive display device of Example 1. FIG. 実施例1の生理適応型表示装置における処理の流れの一例を表すフローチャート6 is a flowchart illustrating an example of a process flow in the physiologically adaptive display device according to the first embodiment. 実施例2の生理適応型表示装置における機能ブロックの一例を表す図The figure showing an example of the functional block in the physiological adaptation type display apparatus of Example 2. 実施例2の生理適応型表示装置の選択部における運動情報も加味した選択の一例を説明するための図The figure for demonstrating an example of selection which also considered the exercise | movement information in the selection part of the physiological adaptation type display apparatus of Example 2. FIG. 実施例2の生理適応型表示装置におけるハードウェア構成の一例を表す概略図Schematic showing an example of the hardware constitutions in the physiological adaptation type display apparatus of Example 2. FIG. 実施例2の生理適応型表示装置における処理の流れの一例を表すフローチャート7 is a flowchart illustrating an example of a process flow in the physiologically adaptive display device according to the second embodiment.

符号の説明Explanation of symbols

0200 生理適応型表示装置
0201 生理情報センシング部
0202 情報表示部
0203 選択部
0200 Physiological adaptive display device 0201 Physiological information sensing unit 0202 Information display unit 0203 Selection unit

Claims (4)

生理情報を取得する身体に装着可能な生理情報センシング部と、
情報を複数の形態で表示可能な情報表示部と、
取得された生理情報に応じて情報表示部での表示の形態を選択する選択部と、
を有する生理適応型表示装置。
A physiological information sensing unit that can be worn on the body to acquire physiological information;
An information display unit capable of displaying information in a plurality of forms;
A selection unit that selects a display form on the information display unit according to the acquired physiological information;
A physiologically adaptive display device comprising:
自身の物理的運動状態を示す運動情報を取得する運動情報取得部をさらに有し、
前記選択部は、さらに取得した運動情報にも応じて前記選択をするように構成された請求項1に記載の生理適応型表示装置。
It further has a movement information acquisition unit that acquires movement information indicating its physical movement state,
The physiologically adaptive display device according to claim 1, wherein the selection unit is configured to make the selection according to acquired exercise information.
身体に装着可能なセンサ部から生理情報を取得する生理情報センシングステップと、
前記取得された生理情報に応じて情報表示部での表示の形態を選択する選択ステップと、
前記選択された表示形態により情報を情報表示部にて表示する情報表示ステップと、
を計算機にて実行する生理適応型表示方法。
Physiological information sensing step for obtaining physiological information from a sensor unit that can be worn on the body;
A selection step of selecting a display form on the information display unit according to the acquired physiological information;
An information display step of displaying information on the information display unit according to the selected display form;
Is a physiologically adaptive display method in which a computer is executed.
身体に装着可能なセンサ部から生理情報を取得する生理情報センシングステップと、
表示装置の物理的運動状態を示す運動情報を取得する運動情報取得ステップと、
前記取得された生理情報と運動情報とに応じて情報表示部での表示の形態を選択する選択ステップと、
前記選択された表示形態により情報を情報表示部にて表示する情報表示ステップと、
を計算機にて実行する生理適応型表示方法。
Physiological information sensing step for obtaining physiological information from a sensor unit that can be worn on the body;
An exercise information acquisition step for acquiring exercise information indicating a physical exercise state of the display device;
A selection step of selecting a display form on the information display unit according to the acquired physiological information and exercise information;
An information display step of displaying information on the information display unit according to the selected display form;
Is a physiologically adaptive display method in which a computer is executed.
JP2006092350A 2006-03-29 2006-03-29 Physiology adaptive display device Pending JP2007265274A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006092350A JP2007265274A (en) 2006-03-29 2006-03-29 Physiology adaptive display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006092350A JP2007265274A (en) 2006-03-29 2006-03-29 Physiology adaptive display device

Publications (1)

Publication Number Publication Date
JP2007265274A true JP2007265274A (en) 2007-10-11

Family

ID=38638164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006092350A Pending JP2007265274A (en) 2006-03-29 2006-03-29 Physiology adaptive display device

Country Status (1)

Country Link
JP (1) JP2007265274A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282459A (en) * 2009-06-05 2010-12-16 Funai Electric Co Ltd Mobile terminal device
JP2012073350A (en) * 2010-09-28 2012-04-12 Canon Inc Video controller and video control method
JP2014059887A (en) * 2008-01-10 2014-04-03 Sony Mobile Communications Ab System and method for navigating 3d graphical user interface
WO2014084193A1 (en) * 2012-11-28 2014-06-05 京セラ株式会社 Electronic apparatus and control program, and display control method
WO2016125672A1 (en) * 2015-02-04 2016-08-11 ソニー株式会社 Information processing device, image processing method, and program
KR20170054499A (en) * 2014-09-16 2017-05-17 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Display with eye-discomfort reduction
KR20170068588A (en) * 2014-11-17 2017-06-19 베에스하 하우스게랫테 게엠베하 Domestic appliance having a touch-sensitive operator control device, and method for operating the same
JP2017111604A (en) * 2015-12-16 2017-06-22 キヤノン株式会社 Display device, method for controlling the same, and control program
US20190012985A1 (en) * 2017-07-10 2019-01-10 Toyota Jidosha Kabushiki Kaisha Display device for vehicle
WO2019155564A1 (en) * 2018-02-08 2019-08-15 株式会社日立製作所 Information providing system and information providing method
JP2023004360A (en) * 2021-06-25 2023-01-17 尚 堀田 Virtual reality space providing system and method of providing virtual reality space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102736A (en) * 2002-09-10 2004-04-02 Sony Corp Electronic equipment
JP2005151271A (en) * 2003-11-18 2005-06-09 Sony Ericsson Mobilecommunications Japan Inc Portable information device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102736A (en) * 2002-09-10 2004-04-02 Sony Corp Electronic equipment
JP2005151271A (en) * 2003-11-18 2005-06-09 Sony Ericsson Mobilecommunications Japan Inc Portable information device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059887A (en) * 2008-01-10 2014-04-03 Sony Mobile Communications Ab System and method for navigating 3d graphical user interface
JP2010282459A (en) * 2009-06-05 2010-12-16 Funai Electric Co Ltd Mobile terminal device
JP2012073350A (en) * 2010-09-28 2012-04-12 Canon Inc Video controller and video control method
WO2014084193A1 (en) * 2012-11-28 2014-06-05 京セラ株式会社 Electronic apparatus and control program, and display control method
JP2014106381A (en) * 2012-11-28 2014-06-09 Kyocera Corp Electronic apparatus, control program and display control method
KR20170054499A (en) * 2014-09-16 2017-05-17 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Display with eye-discomfort reduction
JP2017534957A (en) * 2014-09-16 2017-11-24 マイクロソフト テクノロジー ライセンシング,エルエルシー Display that reduces eye discomfort
KR102439387B1 (en) * 2014-09-16 2022-09-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Display with eye-discomfort reduction
KR101943776B1 (en) * 2014-11-17 2019-01-29 베에스하 하우스게랫테 게엠베하 Domestic appliance having a touch-sensitive operator control device, and method for operating the same
KR20170068588A (en) * 2014-11-17 2017-06-19 베에스하 하우스게랫테 게엠베하 Domestic appliance having a touch-sensitive operator control device, and method for operating the same
WO2016125672A1 (en) * 2015-02-04 2016-08-11 ソニー株式会社 Information processing device, image processing method, and program
US20170371524A1 (en) * 2015-02-04 2017-12-28 Sony Corporation Information processing apparatus, picture processing method, and program
JP2017111604A (en) * 2015-12-16 2017-06-22 キヤノン株式会社 Display device, method for controlling the same, and control program
CN109229029A (en) * 2017-07-10 2019-01-18 丰田自动车株式会社 Display apparatus
US20190012985A1 (en) * 2017-07-10 2019-01-10 Toyota Jidosha Kabushiki Kaisha Display device for vehicle
WO2019155564A1 (en) * 2018-02-08 2019-08-15 株式会社日立製作所 Information providing system and information providing method
JP2023004360A (en) * 2021-06-25 2023-01-17 尚 堀田 Virtual reality space providing system and method of providing virtual reality space
JP2023055756A (en) * 2021-06-25 2023-04-18 尚 堀田 Virtual reality space provision system and virtual reality space provision method
JP7439310B2 (en) 2021-06-25 2024-02-27 尚 堀田 Virtual reality space provision system and virtual reality space provision method

Similar Documents

Publication Publication Date Title
JP2007265274A (en) Physiology adaptive display device
US9996983B2 (en) Manipulation of virtual object in augmented reality via intent
US9996155B2 (en) Manipulation of virtual object in augmented reality via thought
Majaranta et al. Eye tracking and eye-based human–computer interaction
KR101919009B1 (en) Method for controlling using eye action and device thereof
RU2009108342A (en) DEVICE AND DISPLAY METHOD
WO2010085527A2 (en) Electronic data input system
JP2014157466A (en) Information processing device and storage medium
Lee et al. Designing socially acceptable hand-to-face input
JP2006023953A (en) Information display system
JP6096391B2 (en) Attention-based rendering and fidelity
Majaranta et al. Eye movements and human-computer interaction
US20200145687A1 (en) Using headset movement for compression
JP2000010722A (en) Sight line/user interface device and its interface method, computer device and its control method, and program storage medium
Boczon State of the art: eye tracking technology and applications
KR101943206B1 (en) Method and apparatus for inputting command using illusion user interface
US20240005612A1 (en) Content transformations based on reflective object recognition
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
WO2023043647A1 (en) Interactions based on mirror detection and context awareness
US20210349533A1 (en) Information processing method, information processing device, and information processing system
US20230351676A1 (en) Transitioning content in views of three-dimensional environments using alternative positional constraints
WO2023043646A1 (en) Providing directional awareness indicators based on context
JP2008282102A (en) Display information controller
US20090058827A1 (en) Information processing device, method and program
JP2017084026A (en) Display device and control method of display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111012