JP2005152462A - 生体情報提示装置及び生体情報提示方法 - Google Patents

生体情報提示装置及び生体情報提示方法 Download PDF

Info

Publication number
JP2005152462A
JP2005152462A JP2003398154A JP2003398154A JP2005152462A JP 2005152462 A JP2005152462 A JP 2005152462A JP 2003398154 A JP2003398154 A JP 2003398154A JP 2003398154 A JP2003398154 A JP 2003398154A JP 2005152462 A JP2005152462 A JP 2005152462A
Authority
JP
Japan
Prior art keywords
image
user
presentation
biological information
respiratory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003398154A
Other languages
English (en)
Other versions
JP3885794B2 (ja
Inventor
Yasushi Miyajima
靖 宮島
Yoichiro Sako
曜一郎 佐古
Toshiro Terauchi
俊郎 寺内
Makoto Inoue
真 井上
Masamichi Asukai
正道 飛鳥井
Katsuya Shirai
克弥 白井
Motoyuki Takai
基行 高井
Kenichi Makino
堅一 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003398154A priority Critical patent/JP3885794B2/ja
Priority to US10/980,383 priority patent/US20060189879A1/en
Priority to EP04257108A priority patent/EP1536364A3/en
Priority to KR1020040095896A priority patent/KR20050051553A/ko
Priority to CNB2004100974490A priority patent/CN100337588C/zh
Publication of JP2005152462A publication Critical patent/JP2005152462A/ja
Application granted granted Critical
Publication of JP3885794B2 publication Critical patent/JP3885794B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/087Measuring breath flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445Display arrangements, e.g. multiple display units
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/18Exercising apparatus specially adapted for particular parts of the body for improving respiratory function
    • A63B23/185Rhythm indicators
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

【課題】あるときは不随意的に、またあるときは随意的に制御されるユーザの身体器官の運動をユーザにフィードバックさせる。
【解決手段】 合成用画像データ記憶部5に背景となる画像を記憶させる。画像処理部6は、カメラ8で撮影したユーザの画像と背景の画像とを画像処理部6で合成する。画像を合成する際、ユーザの画像は、呼吸センサ7の出力に連動した、フェードイン及びフェードアウトする。ユーザは、表示部10に表示された画像を基に呼期と吸期、及び呼吸の深さを知る。表示画面の変化は、ユーザの呼吸に何らかの変化をもたらす。そして、ユーザの呼吸に応じて呼吸可視化装置1の表示部10が変化する。このように、呼吸可視化装置1とユーザとの呼吸器官との間でフィードバックループが形成される。
【選択図】図1

Description

本発明は、ユーザの身体器官の運動を示す生体情報をユーザに提示する生体情報提示装置、及び生体情報提示方法に関する。
呼吸器官は、脳のなかの脳幹といわれる部分にある呼吸中枢によって制御されており、ユーザの意思とは関係なく動作する。呼吸中枢は、体の細胞が活動するためのエネルギーを作る酸素が足りているかどうか、そして作られた二酸化炭素が正確に排出されているかどうかをチェックし、それに応じて呼吸筋を強めたり弱めたりする指令を発している。
一方、呼吸に使う筋肉は、ユーザの意思で動かすことのできる随意筋であるため、人間は、自分の意思で呼吸を制御することもできる。意識的な呼吸は、心身の制御にも関連するといわれている。例えば、踊りの世界では、息を吐きながら振りをつけると動きが滑らかになり、息を止めると素早い動作を無理なく停止させることができるといわれている。また、武術の世界では、息を吐くときは通常よりも大きな力を発し、深い呼吸をすることにより心を落ち着かせることができるといわれている。さらに、呼吸法は、管楽器の演奏、水泳、発声法などのトレーニングやヨガ、気功などのトレーニングにも必要である。
呼吸器官の運動は、外見からは判断しがたいので、呼吸法のトレーニングの際には人間が感覚的に自分の腹部や胸部の動きを認識し、認識結果を基に正しい呼吸法が行われているか自分で判断する。感覚による判断は、客観性に欠ける。
従来、生体情報を音としてフィードバックさせる相互フィードバックシステムが存在したが、このシステムは2人の人間が互いの生体情報をリアルタイムで交換し、お互いの相互理解を高めるためのものである。このシステムでは、ユーザが自己の呼吸器官の運動を認識することができない。
特開2001−129093号公報
本発明は、あるときは不随意的に、またあるときは随意的に制御されるユーザの身体器官の運動をユーザにフィードバックさせる生体情報提示装置及び生体情報提示方法を提供することを目的とする。
本発明にかかる生体情報提示装置は、不随意的又は随意的に制御される身体器官の運動を生体情報として検出する検出手段と、情報を提示する提示手段と、検出手段が検出した生体情報に基づいて提示手段の提示内容を制御する提示内容制御手段とを備える。
また、本発明にかかる生体情報提示方法は、不随意的又は随意的に制御される身体器官の運動を生体情報として検出する検出工程と、生体情報に基づいて身体器官の動きを示す提示内容を生成する提示内容生成工程と、提示内容をユーザに提示する提示工程を有する。
本発明によれば、不随意的又は随意的に制御される身体器官の運動を可視化したため、今まで感覚的だった運動のトレーニングの評価を判りやすくした。また、自律神経による不随意的な制御を意識するようになり、人体の無意識の動きを制御するというエンターテインメント的な利用も可能である。
以下、図面を参照して本発明を適用した呼吸可視化装置について説明する。呼吸可視化装置は、ユーザの呼吸器官の動きを示す画像を生成し表示する装置である。ユーザは、呼吸可視化装置の表示内容から自己の呼吸器官の動きを認識する。
呼吸可視化装置1と、ユーザの呼吸器官とは、図1に示すようなフィードバックシステムを形成している。すなわち、ユーザが呼吸をすると呼吸可視化装置1の表示画面が変化する。表示画面の変化は、ユーザの呼吸に何らかの変化をもたらす。そして、ユーザの呼吸の変化に応じて呼吸可視化装置1の表示画面が変化する。ユーザは、このようなフィードバックシステムのなかで、普段意識しない呼吸器官の動きを知り、意識的に呼吸器官の動きを制御する。
図2は、呼吸可視化装置1の構成を示すブロック図である。合成用画像データ記憶部5は、背景となる画像を記憶している。画像処理部6は、カメラ8で撮影したユーザの画像と背景の画像とを画像処理部6で合成する。画像を合成する際、ユーザの画像は、呼吸センサ7の出力に連動して、フェードイン又はフェードアウトする。生成した画像は、表示部10に出力される。CPU(Central Processing Unit)2は、ROM(Read Only Memory)3に記憶しているプログラムや設定情報をRAM(Random Access Memory)4に展開し、呼吸可視化装置1の制御を行う。
呼吸センサ7は、通常、伸縮性のベルトでできており、胸部や腹部に巻きつける。胸部に巻きつけた呼吸センサ7は胸式呼吸を検出し、腹部に巻きつけた呼吸センサ7は腹式呼吸を検出する。呼吸センサ7は、ユーザの呼吸運動に連動して膨張、収縮する。呼吸センサ7には、伸縮の度合いに応じて電気的な抵抗値が変化する素材が使われている。呼吸センサ7の出力レベルが高いほど呼吸センサ7が伸びている状態、すなわち息をたくさん吸っている状態である。本明細書では、ユーザが体内に空気を吸い込んだ量を呼吸の深さと記す。呼吸の深さは、呼吸センサ7の出力レベルと関連する。
図3は、呼吸センサ7の出力レベルを示すグラフである。図3の縦軸は呼吸センサ7の出力レベル、横軸は時間を示す。ユーザが息を吸っているとき、呼吸センサ7の出力レベルは徐々に上昇し、ユーザが息を吐いているとき呼吸センサ7の出力レベルは徐々に下降する。ユーザが息を吸っても吐いてもいないときは、出力レベルが一定である。本明細書では、傾きが正の区間を吸期と記し、傾きが負の区間を呼期と記し、出力が一定な区間を無呼吸期と記す。
呼吸データ処理部11は、呼期において呼吸センサ7の出力レベルが最小になると呼期の回数(呼回数)をインクリメントする。また、呼吸データ処理部11は、吸期における呼吸センサ7の出力レベルが最大になると吸期の回数(吸回数)をインクリメントする。さらに、呼吸データ処理部11は、呼回数をインクリメントした時刻と、吸回数をインクリメントした時刻とを記憶部に記憶させる。
呼回数をインクリメントした時刻から次に呼回数をインクリメントする時刻までの時間は、ユーザの呼吸周期に対応する。呼吸データ処理部11は、呼回数をインクリメントした時刻の間隔を基に呼吸周期を算出する。また、単位時間あたりの呼回数又は吸回数は、単位時間あたりの呼吸サイクルの回数を示している。呼吸データ処理部11は、現在の時間から一分間前までの呼回数または吸回数を計数する。
画像処理部6は、背景になる画像と、カメラ8で撮像したユーザの画像とを重ね合わせる。画像処理部6の生成する画像は、ユーザの呼吸に連動して変化する。ここでは、ユーザの呼吸に連動してユーザの画像がフェードイン又はフェードアウトする。
画像処理部6は、背景になる画像とユーザの画像とをαブレンディングする。αブレンディングは、背景画像に半透明の画像を足し合わせる画像処理である。α値は、画像の透明度を示し、α値が高くなるほど画像の透明度が高くなる。α値は、0〜1の値をとり、α値が0のとき、ユーザの画像は鮮明であり、α値が上昇するにつれてユーザの画像が次第に透明になり。α値が1になるとユーザの画像は消えてしまう。αブレンディングでは、α値を変換することによりユーザの画像をフェードイン及びフェードアウトさせることができる。
画像処理部6は、α値の算出と、画像の合成を行う。α値を算出する場合には、α値が1及び0になるときの呼吸センサ7の出力レベルを設定する。出力レベルの設定は、呼吸センサ7の装着時にキャリブレーションを行ってもよいし、画像処理部6が学習によりユーザの呼吸量を判断してもよい。画像処理部6は、α値が0〜1の値になるように呼吸センサ7の出力レベルに合わせてα値を算出する。
画像処理部6は、算出したα値を用いて画像の合成を行う。図4は、画像処理部6の画像合成処理の手順を示すフローチャートである。まず、カメラ8で撮像されたユーザの像は、合成用画像データ記憶部5に保存される(ステップS1)。画像処理部6は、カメラ8が撮像した画像と背景画像の差分をとり、ユーザのみの画像を抽出する。背景画像は、予め合成用データ記憶部に記憶している。この画像は、ユーザがいないときにカメラ8で取り込んでおいたものである(ステップS2)。
画像処理部6は、背景画像と、ユーザのみの画像との合成を行う。図5は、画像処理部6におけるαブレンディング処理を模式的に示す図である。図5において、左側上段は背景となる画像21、左側下段はカメラ8が撮像した画像から背景を除いた画像22である。画像処理部6は、画像合成用データ記憶部に記憶した背景画像21に透明度αを掛けたものと、カメラ8で撮像したユーザの画像22に1−αを掛けたものを足し合わせて合成し合成画像23を生成する(ステップS3)。画像処理部6は、合成画像23を表示部10に表示させる(ステップS4)。
図6は、画像処理部6が生成した画像の例を示す。図6の下段には、ユーザが息を吸い始めてから息を吸い終わるまでの呼吸センサ7の出力レベルを示すグラフが描画されている。また、図6の上段には、画像処理部6が生成した画像が描画されている。a地点は、ユーザが息を吸い始める前の出力レベルを示している。このとき、ユーザの肺には空気が吸入されていない。α値は1であり、ユーザの画像は表示されない。
b地点では、ユーザが少し息を吸い込み呼吸センサ7の出力レベルが高くなる。α値は、呼吸センサ7の出力レベルに反比例して小さくなる。α値が小さくなると、ユーザの画像が鮮明になる。c地点では、ユーザが十分に息を吸い込み、呼吸センサ7の出力レベルが極大になっている。このとき、α値が0になり、ユーザの画像が鮮明に表示される。
ユーザが息を吐き始めると、呼吸センサ7の出力レベルが小さくなる。α値は、これに反比例して徐々に増大し、d地点では、ユーザの画像が半透明に表示される。ユーザが息を吐き呼吸センサ7の出力レベルが最小となるe地点では、ユーザの画像が表示されなくなる。
画像処理部6は、呼吸センサ7の出力に遅延して変化する画像を生成することも可能である。遅延した画像を生成する場合には、呼吸センサ7の出力をRAMに一旦記憶し、遅延時間が経過したときに、呼吸センサ7の出力を読み出し、この出力に応じたα値を算出し、表示画面に表示させる。
以下、図7を参照して上述した構成を備える呼吸可視化装置1の動作を説明する。この処理では、呼吸運動に遅延した画像を生成する。
まず、呼吸センサ7が呼吸運動を示す生体情報を検出し、検出結果を呼吸可視化装置1の本体に出力する(ステップS11)。呼吸データ処理部11は、呼吸センサ7の出力レベルが増加しているときはユーザが息を吸っていると判断し、呼吸センサ7の出力レベルが減少しているときはユーザが息を吐いていると判断する。ユーザが息を吸っているとき、呼吸データ処理部11は、呼吸センサ7の出力レベルが最大になるまで待機する(ステップS12;NO)。呼吸データ処理部11は、呼吸センサ7の出力レベルが最大になると(ステップS12;YES)、吸回数をインクリメントし、この時刻をRAMに記憶させる(ステップS13)。
一方、呼吸データ処理部11は、呼吸センサ7の出力レベルが減少しているときはユーザが息を吐いていると判断する。ユーザが息を吐いているとき、呼吸データ処理部11は、呼吸センサ7の出力レベルが最小になるまで待機する(ステップS14;NO)。呼吸データ処理部11は、呼吸センサ7の出力レベルが最小になると(ステップS14;YES)、呼回数をインクリメントし、この時刻をRAMに記憶させる(ステップS15)。
画像処理部6は、遅延時間が経過したか否かを判断し、遅延時間経過していない場合には(ステップS16;NO)、呼吸センサ7の出力をRAMに記憶する。この場合、画像処理部6は、呼吸センサ7の出力をFIFO(先入れ先出し方式)で記憶する(ステップS17)。呼吸センサ7の出力を記憶した後は、ステップS11に処理を移行する。
一方、遅延時間が経過すると(ステップS16;YES)、画像処理部6は、FIFOからデータを1つ取り出し(ステップS18)、呼吸センサ7の出力レベルのユーザの体質にあった値に補正する(ステップS19)。
画像処理部6は、画像合成用データ記憶部に記憶した背景画像と、カメラ8が撮像したユーザの画像とをαブレンディングする。このα値は、ユーザの呼吸の深さに反比例して変化するため、ユーザの画像は、呼吸の深さに応じて濃くなったり、薄くなったりする(ステップS20)。
画像処理部6は、合成した画像を表示部10に出力する(ステップS21)。次いで、呼吸可視化装置1は、ユーザから画像表示の停止指示が入力されているか否かを検出する。呼吸可視化装置1は、停止指示が入力されている場合には(ステップS22;YES)、画像の表示を終了する。一方、停止指示が入力されていない場合には(ステップS22;NO)、ステップS11に処理を移行する。
このように、呼吸可視化装置1は、ユーザの呼吸の深さ、呼吸の周期などの呼吸運動を示す画像を生成して表示部10に表示させる。ユーザは、この画像を見ることにより、自身の呼吸について認識することができる。
また、この呼吸可視化装置1では、カメラ8が撮像したユーザのリアルタイムの画像をフェードインフェードアウトさせるため、呼吸に合わせてユーザ自身だけが消えてしまったり、出現したりを繰り返すため映像的なインパクトが大きく、呼吸への意識を高める。
呼吸可視化装置1は、自己の身体内部で起きる呼吸運動を客観的に眺めるエンターテインメント用の装置に適用することもできるし、呼吸法を改善するためのトレーニング用装置にも使用することもできる。呼吸可視化装置1をトレーニング用に使用する場合には、効率よくトレーニングをするために、呼吸センサ7以外の生体情報センサを組み合わせてもよい。
例えば、ヨガや武術などで古来より実践されている呼吸法では、横隔膜の上下動による腹式呼吸を推奨する。また、息を鼻で吸い、吐く時には声帯を振動させる。さらに、下腹部に力を入れて腰を安定させることもある。
横隔膜、声帯、下腹部の筋肉など複数の体の部位を一度に意識するのは、非常に集中力が必要である。トレーニング用の呼吸可視化装置1では、人間が意識しなくてはならない箇所にセンサを取り付け、正しく呼吸法が行われているか否かをユーザに提示することができる。
呼吸可視化装置1は、生体情報センサとして、腹部と胸部に取り付ける呼吸センサ7と、下腹部に取り付ける筋電位センサと、咽喉に取り付ける振動センサを備える。呼吸センサ7は、腹式呼吸と胸式呼吸を同時に計測し、ユーザが腹式呼吸をしているか否かを検出する。下腹部の筋電位センサは下腹部の筋肉に力が入っているか否かを検出し、声帯に取り付けた振動センサは声帯が振動されているか否かを検出する。呼吸可視化装置1は、これらの生体情報センサの検出結果を基にどの箇所の鍛錬が必要かということが判別できる。呼吸可視化装置1では、鍛錬が必要な箇所をユーザに提示して、ユーザの呼吸を正しい呼吸法に誘導することができる。
なお、呼吸法は、瞑想した状態でトレーニングすることも多い。また、ダンスやスポーツに呼吸法を取り入れた場合には、画面を見ることができない。そこで、トレーニング用の呼吸可視化装置1では、呼吸運動を音声や振動で出力して目をとじたときや体を動かしているユーザにも呼吸運動を通知することができる。音声で出力するときには、呼気や吸気に合わせてビープ音を鳴らしたり、その音声信号の音程や音量を変化させたり、「下腹部に力を入れてください。」など鍛錬の必要なところを言葉で指示したりする。複数のユーザがいる場所での音声出力の場合は、ユーザごとに異なる音声を使用し、的確なフィードバックシステムとなることが望ましい。振動で出力する場合には、呼期又は吸期に合わせて振動を出力する。
なお、生体情報センサの取り付け位置や呼吸可視化装置1の出力は、呼吸法の鍛錬方法に応じて変化させてもよい。例えば、呼吸法には、鼻から息を吐き出すという呼吸法と、口から息を吐き出すという呼吸法がある。これらの呼吸法では、生体情報センサの種類や取り付け位置は同じであるが呼吸可視化装置1の出力は全く逆のものとなる。
実施例2では、3つの異なる画像出力方法について説明する。第1の画像出力方法は、呼吸センサ7の出力レベルに連動して、画面の全体をフェードイン及びフェードアウトさせる方法である。
図8は、画像処理部6の処理手順を示すフローチャートである。まず、カメラ8で撮像されたユーザの像は、合成用画像データ記憶部5に保存される(ステップS31)。画像処理部6は、呼吸センサ7の出力を入力し、呼吸センサ7の出力を基に画像データの明度に掛け合わせる数値を算出する。算出方法を説明する。画像処理部6は、まず、出力レベルの最大値を経験的に学習する。そして、出力レベルの最大値を1としたときの現在の出力レベルの割合を算出する。これが、明度に掛け合わせる数値である(ステップS32)。
この数値は、ユーザが息を吸い込んだ量に比例する。ユーザが十分に息を吸い込んだときは、この数値が1となり、ユーザが息を吐き出したときには0になる。表示部10に表示される画像は、数値が小さくなるにつれてフェードアウトし、数値が大きくなるにつれてフェードインする(ステップS33)。
図9は、第1の画像出力方法における出力例である。この図は、ユーザが息を吸い始めてから吐き終わるまでにおける画像の変化を示している。ユーザが息を吸い始める前は、呼吸センサ7の出力レベルが低いため、明度に掛け合わせる数値が0となる。そこで、明度が0の画像、すなわち黒い画像が表示される。また、ユーザが息を吸っている過程では、明度に掛け合わせる数値が0〜1の間の数値を取るので、元画像よりも明度の低い画像が表示される。そして、ユーザが十分に息を吸うと、明度に掛け合わせる数値が1となり、元画像と同じ明るさの画像が表示される。ユーザが息を吐き出すと明度が徐々に低くなり、ユーザが息を吐き終わるときには黒い画像が表示される。
次に、第2の画像出力方法について説明する。第2の画像出力方法は、2つの画像を切り換える方法である。ここでは、2つの画像としてカメラ8で撮像した画像と、黒一色の画像を例として説明する。2つの画像は、それ以外のものでもよい。
第2の画像出力方法では、画像出力の前処理としてある閾値を設定する。閾値は、ユーザが手動で入力してもよいし、画像処理部6が学習により決定してもよい。図10は、第2の画像出力方法における画像処理部6の処理手順を示している。画像処理部6は、呼吸センサ7の出力レベルと、閾値とを比較する。そして、呼吸センサ7の出力レベルが閾値よりも大きいとき(ステップS41;YES)、カメラ8が撮像した画像を表示部10に出力させる(ステップS42)。一方、呼吸センサ7の出力レベルが閾値よりも小さいとき(ステップS41;NO)、黒画面を表示部10に表示する(ステップS43)。
図11は、第2の画像出力方法における出力例である。図11の下段は、呼吸センサ7の出力レベルを示すグラフである。このグラフに描画された水平方向の基準線は、閾値の高さを示している。呼吸センサ7の出力レベルと閾値との交点は、画像の切り換えタイミングである。呼吸センサ7の出力レベルが閾値より高いときにはカメラ8からの画像が表示部10に出力され、呼吸センサ7の出力レベルが閾値より低いときには黒い画像が表示部10に表示される。
第3の画像出力方法は、発明を実施するための最良の形態で紹介した出力画像の背景を変える方法である。上述した画像出力方法では、ユーザが存在しない画像をカメラ8で撮像し、現在カメラ8で撮像している画像と、ユーザが存在しない画像との差分を取り、ユーザのみの画像を生成した。そして、ユーザのみの画像とユーザが存在しない画像とをαブレンディングし、ユーザのみがフェードイン及びフェードアウトする画像を生成した。
第3の画像出力方法では、αブレンディングする際の背景画像としてカメラ8で撮像した画像以外の画像を使用する。図12は、富士山の画像とユーザの画像とをαブレンドしたときの出力である。なお、背景だけでなく前面の画像を変えてもよい。例えば、ユーザの代わりにアニメーションなどを合成してもよい。
画像合成部は、呼吸データ処理部11が算出した呼吸に関する情報を合成して表示することも可能である。図13は、呼吸に関する情報を重ねて表示したときの画面例である。画像合成部は、呼吸データ処理部11が算出した単位時間当たりの呼吸、呼吸周期、画像を表示し始めてからの経過時間、遅延時間などを表示部10に重ねて表示する。これにより、呼吸可視化装置1は、正確かつ詳細な呼吸の情報をユーザに提示することができる。
次いで、呼吸器官以外の器官の運動を可視化する装置について説明する。本発明は、自律神経による不随意的な制御とユーザの意思による随意的な制御の両方を受ける身体器官の運動を可視化するものである。随意的及び不随意的な制御を受ける身体器官の運動には、瞬目、眼球運動、筋電位などがある。
瞬目は、眼球の表面に涙の膜を作ったり、衝撃から眼球を保護したりしている。衝撃から眼球を守るための瞬目は、反射運動であるため、瞬発的である。一方、眼球の表面に涙の膜を作るための瞬目は、継続的な運動であり、この瞬目を定期的に行わないと、目が乾きやすくなってしまう。
近年、ドライアイなどという言葉が存在するように、パーソナルコンピュータのユーザやゲームプレーヤの瞬目の回数が低下し、目が乾きやすくなっている。実施例3は、ユーザに瞬目を誘発させる画面制御方法を紹介する。この画面制御方法は、パーソナルコンピュータに適用されるが、ゲームやテレビのように画面を備える電子機器に適用することも可能である。
図14は、パーソナルコンピュータ30の内部構成を示すブロック図である。パーソナルコンピュータ30は、演算制御装置であるCPU31、CPU31の作業領域であるRAM32、書き換え不可能なプログラムや設定情報を記憶するROM33、パーソナルコンピュータ30に様々な機能を実行させるアプリケーション34a,34b、ユーザの瞬目の間隔に応じてアプリケーション画面の表示を変化させる画像処理部35、ユーザの瞬目を検出する瞬目センサ36を備える。
画像処理部35は、ユーザが瞬きしてから次の瞬きが発生するまでの時間を計測する。画像処理部35は、所定時間以上瞬目が発生しないと、ユーザの瞬目を誘発するため、表示部37に出力される画像に所定の画像処理を施す。この画像処理は、表示画像をぼかしたり、暗くしたりするなどであり、これにより、ユーザは瞬きの回数不足を認識し、意識的に瞬きを行う。
ユーザと呼吸可視化装置との間に形成されるフィードバックループを示す模式図である。 呼吸可視化装置の構成を示すブロック図である。 呼吸センサの出力レベルを示す図である。 画像合成処理の手順を示すフローチャートである。 αブレンディング処理を模式的に示す図である。 呼吸センサの出力レベルに対する合成画像とを示す図である。 呼吸可視化装置の動作を説明するフローチャートである。 第1の画像出力方法における処理手順を示すフローチャートである。 第1の画像出力方法における出力画面の一例を示す図である。 第2の画像出力方法における処理手順を示すフローチャートである。 第2の画像出力方法における出力画面の一例を示す図である。 第3の画像出力方法における出力画面の一例を示す図である。 呼吸に関する情報を重ねて表示したときの出力画面の一例を示す図である。 実施例3におけるパーソナルコンピュータの構成を示すブロック図である。
符号の説明
1 呼吸可視化装置、2 CPU、3 ROM、4 RAM、5 合成用画像データ記憶部、6 画像処理部、7 呼吸センサ、8 カメラ、10 表示部、11 呼吸データ処理部

Claims (22)

  1. 不随意的又は随意的に制御される身体器官の運動を生体情報として検出する検出手段と、
    情報を提示する提示手段と、
    上記検出手段が検出した生体情報に基づいて上記提示手段の提示内容を制御する提示内容制御手段と
    を備えることを特徴とする生体情報提示装置。
  2. 上記生体情報は、呼吸運動、眼球運動、瞬目、筋電位の少なくとも1つであることを特徴とする請求項1記載の生体情報提示装置。
  3. 上記提示手段は、画像、音声、光、振動の少なくとも1つを用いて生体情報に基づく情報をユーザに提示することを特徴とする請求項1記載の生体情報提示装置。
  4. 上記運動は、呼吸運動であって、
    上記提示制御手段は、ユーザの呼吸器官が空気を吸入しているか、排出しているかを提示手段に提示させることを特徴とする請求項1記載の生体情報提示装置。
  5. 上記提示制御手段は、画像表示手段であり、
    上記提示制御手段は、呼吸器官による空気の吸入と排出に連動して変化する画像を上記提示手段に表示させること
    を特徴とする請求項4記載の生体情報提示装置。
  6. 上記画像の変化は、呼吸器官による空気の吸入と排出に対して時間的に遅延していることを特徴とする請求項5記載の生体情報提示装置。
  7. 上記画像は、ユーザの身体の少なくとも一部の画像であることを特徴とする請求項4記載の生体情報提供装置。
  8. 上記画像は、ユーザの顔であることを特徴とする請求項7記載の生体情報提示装置。
  9. 上記提示制御手段は、呼吸器官による空気の吸入と排出に連動して上記画像をフェードイン及びフェードアウトさせることを特徴とする請求項5記載の生体情報提示装置。
  10. 上記提示画像は、背景画像とユーザの被写画像とで構成され、
    上記提示制御手段は、呼吸器官による空気の吸入と排出に連動して上記ユーザの被写画像の合成比率を変化させることを特徴とする請求項5記載の生体情報提示装置。
  11. 不随意的又は随意的に制御される身体器官の運動を生体情報として検出する検出工程と、
    上記生体情報に基づいて身体器官の動きを示す提示内容を生成する提示内容生成工程と、
    上記提示内容をユーザに提示する提示工程と
    を有することを特徴とする生体情報提示方法。
  12. 上記提示工程では、上記検出工程で検出した呼吸器官の運動をユーザに提示することを特徴とする請求項11記載の生体情報提示方法。
  13. 上記提示内容は、ユーザの呼吸器官が空気を吸入しているか、排出しているかを示すことを特徴とする請求項11記載の生体情報提示方法。
  14. 上記提示内容生成工程では、呼吸器官による空気の吸入と排出に連動して変化する画像を生成することを特徴とする請求項13記載の生体情報提示方法。
  15. 上記画像の変化は、呼吸器官による空気の吸入と排出に対して時間的に遅延していることを特徴とする請求項14記載の生体情報提示方法。
  16. ユーザに遅延時間を設定させる遅延時間設定工程を有することを特徴とする請求項15記載の生体情報提示方法。
  17. 上記画像は、ユーザの身体の少なくとも一部の画像であることを特徴とする請求項14記載の生体情報提示方法。
  18. 上記画像は、ユーザの顔であることを特徴とする請求項14記載の生体情報提示方法。
  19. 上記提示制御手段は、呼吸器官による空気の吸入と排出に連動して上記画像をフェードイン及びフェードアウトさせることを特徴とする請求項14記載の生体情報提示方法。
  20. 上記画像は、背景画像とユーザの被写画像とで構成され、
    上記提示制御工程では、呼吸器官による空気の吸入と排出に連動して上記ユーザの被写画像の合成比率を変化させることを特徴とする請求項14記載の生体情報提示方法。
  21. 上記生体情報は、眼球運動、瞬目、筋電位の少なくとも1つであることを特徴とする請求項11記載の生体情報提示方法。
  22. 上記提示工程では、画像、音声、光、振動の少なくとも1つを用いて生体情報に基づく情報をユーザに提示することを特徴とする請求項11記載の生体情報提示方法。
JP2003398154A 2003-11-27 2003-11-27 生態情報提示装置 Expired - Fee Related JP3885794B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003398154A JP3885794B2 (ja) 2003-11-27 2003-11-27 生態情報提示装置
US10/980,383 US20060189879A1 (en) 2003-11-27 2004-11-03 Bio-information presentig device and bio-information presenting method
EP04257108A EP1536364A3 (en) 2003-11-27 2004-11-17 Bio-information presenting device and bio-information presenting method
KR1020040095896A KR20050051553A (ko) 2003-11-27 2004-11-22 생체 정보 제시 장치 및 생체 정보 제시 방법
CNB2004100974490A CN100337588C (zh) 2003-11-27 2004-11-23 生物信息展示设备和生物信息展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003398154A JP3885794B2 (ja) 2003-11-27 2003-11-27 生態情報提示装置

Publications (2)

Publication Number Publication Date
JP2005152462A true JP2005152462A (ja) 2005-06-16
JP3885794B2 JP3885794B2 (ja) 2007-02-28

Family

ID=34463858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003398154A Expired - Fee Related JP3885794B2 (ja) 2003-11-27 2003-11-27 生態情報提示装置

Country Status (5)

Country Link
US (1) US20060189879A1 (ja)
EP (1) EP1536364A3 (ja)
JP (1) JP3885794B2 (ja)
KR (1) KR20050051553A (ja)
CN (1) CN100337588C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562981B2 (en) 2005-10-25 2009-07-21 Olympus Corporation Biological information acquisition and presentation kit, and pupillary diameter measurement kit
JP2009195290A (ja) * 2008-02-19 2009-09-03 Nippon Koden Corp 生体情報モニタ
JP2009273861A (ja) * 2008-04-16 2009-11-26 Scalar Corp 疲労予防装置
JP2011161025A (ja) * 2010-02-10 2011-08-25 Univ Of Tsukuba 着用型生体信号提示装置及び着用型生体信号提示方法
CN107038342A (zh) * 2017-04-11 2017-08-11 南京大学 一种基于体表变化信号预测体内组织运动信号的方法
WO2017187671A1 (ja) * 2016-04-27 2017-11-02 ユニ・チャーム株式会社 支援方法、支援システム及びプログラム
JP2018033597A (ja) * 2016-08-30 2018-03-08 株式会社電通 瞑想補助装置および瞑想補助システム
US10004454B2 (en) 2010-11-23 2018-06-26 Koninklijke Philips N.V. Breath pacing device and method for packing the respiratory activity of a subject
JP2018167038A (ja) * 2018-05-29 2018-11-01 株式会社電通 瞑想補助装置および瞑想補助システム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8033996B2 (en) * 2005-07-26 2011-10-11 Adidas Ag Computer interfaces including physiologically guided avatars
WO2007122653A1 (en) * 2006-04-26 2007-11-01 Mir Srl Medical International Research Incentive method for the spirometry test with universal control system regardless of any chosen stimulating image
EP1908499A1 (en) * 2006-10-05 2008-04-09 SenzAthlon GmbH Sport sticks with sensor enhancements
US8690670B2 (en) 2007-06-14 2014-04-08 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US20090024047A1 (en) * 2007-07-20 2009-01-22 Cardiac Pacemakers, Inc. Devices and methods for respiration therapy
JP4506795B2 (ja) * 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
CN101564299B (zh) * 2008-04-24 2011-05-18 财团法人工业技术研究院 调息状态的分析方法及运用该分析方法的互动系统
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
WO2010106449A2 (en) * 2009-03-19 2010-09-23 Koninklijke Philips Electronics N.V. Functional imaging
EP2233071A1 (en) * 2009-03-27 2010-09-29 Koninklijke Philips Electronics N.V. Breathing feedback device
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
CN102481099A (zh) * 2009-08-31 2012-05-30 皇家飞利浦电子股份有限公司 用于检测呼吸信息的方法和系统
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
EP2407100A1 (en) * 2010-07-15 2012-01-18 Tanita Corporation Respiration characteristic analysis
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9640218B2 (en) * 2012-12-07 2017-05-02 Intel Corporation Physiological cue processing
KR101703748B1 (ko) * 2014-05-12 2017-02-08 삼성디스플레이 주식회사 생체 효과 영상을 제공하는 전자 기기
KR102240632B1 (ko) * 2014-06-10 2021-04-16 삼성디스플레이 주식회사 생체 효과 영상을 제공하는 전자 기기의 구동 방법
KR102253444B1 (ko) 2014-07-08 2021-05-20 삼성디스플레이 주식회사 사용자의 눈 깜빡임을 유도하는 유도 영상 표시 방법, 장치, 및 컴퓨터 판독 가능한 기록매체

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62277976A (ja) * 1986-05-27 1987-12-02 八木 俊樹 腹式呼吸訓練装置
CN1060790A (zh) * 1990-08-15 1992-05-06 北京协海医学科技开发公司 呼吸操自身反搏康复训练装置
US5333106A (en) * 1992-10-09 1994-07-26 Circadian, Inc. Apparatus and visual display method for training in the power use of aerosol pharmaceutical inhalers
NL9202256A (nl) * 1992-12-24 1994-07-18 Peter Bernard Defares Interactieve ademhalingsregulator.
US5899203A (en) * 1992-12-24 1999-05-04 Defares; Peter Bernard Interactive respiratory regulator
JP3390802B2 (ja) * 1995-03-28 2003-03-31 日本光電工業株式会社 呼吸モニタ
CN1182357A (zh) * 1996-03-18 1998-05-20 古野电气株式会社 超声波诊断装置
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
JPWO2002069878A1 (ja) * 2001-03-02 2004-09-02 令夫 木原 呼吸機能の測定システムおよびその応用
US6561987B2 (en) * 2001-03-02 2003-05-13 Opher Pail Apparatus and methods for indicating respiratory phases to improve speech/breathing synchronization
KR100466665B1 (ko) * 2001-06-12 2005-01-15 주식회사 코디소프트 게임을 이용한 자동체력평가운동방법
US6626843B2 (en) * 2001-09-28 2003-09-30 Deane Hillsman Respiratory timing and lung deflation method and device
US20030183231A1 (en) * 2002-02-11 2003-10-02 Giuseppe Pedulla Apparatus & method for determining at least one parameter of a respiratory system's (RS) mechanical properties
CN2571073Y (zh) * 2002-09-19 2003-09-03 合勤科技股份有限公司 渐亮渐暗的无线传输指示灯
US7252640B2 (en) * 2002-12-04 2007-08-07 Cardiac Pacemakers, Inc. Detection of disordered breathing

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562981B2 (en) 2005-10-25 2009-07-21 Olympus Corporation Biological information acquisition and presentation kit, and pupillary diameter measurement kit
JP2009195290A (ja) * 2008-02-19 2009-09-03 Nippon Koden Corp 生体情報モニタ
JP2009273861A (ja) * 2008-04-16 2009-11-26 Scalar Corp 疲労予防装置
JP2011161025A (ja) * 2010-02-10 2011-08-25 Univ Of Tsukuba 着用型生体信号提示装置及び着用型生体信号提示方法
US10004454B2 (en) 2010-11-23 2018-06-26 Koninklijke Philips N.V. Breath pacing device and method for packing the respiratory activity of a subject
WO2017187671A1 (ja) * 2016-04-27 2017-11-02 ユニ・チャーム株式会社 支援方法、支援システム及びプログラム
JP2017198866A (ja) * 2016-04-27 2017-11-02 ユニ・チャーム株式会社 支援方法、支援システム及びプログラム
JP2018033597A (ja) * 2016-08-30 2018-03-08 株式会社電通 瞑想補助装置および瞑想補助システム
US10632279B2 (en) 2016-08-30 2020-04-28 Dentsu Inc. Meditation support device and meditation support system
CN107038342A (zh) * 2017-04-11 2017-08-11 南京大学 一种基于体表变化信号预测体内组织运动信号的方法
CN107038342B (zh) * 2017-04-11 2020-07-31 南京大学 一种基于体表变化信号预测体内组织运动信号的方法
JP2018167038A (ja) * 2018-05-29 2018-11-01 株式会社電通 瞑想補助装置および瞑想補助システム

Also Published As

Publication number Publication date
EP1536364A3 (en) 2007-04-18
JP3885794B2 (ja) 2007-02-28
EP1536364A2 (en) 2005-06-01
KR20050051553A (ko) 2005-06-01
CN1620987A (zh) 2005-06-01
CN100337588C (zh) 2007-09-19
US20060189879A1 (en) 2006-08-24

Similar Documents

Publication Publication Date Title
JP3885794B2 (ja) 生態情報提示装置
US11351418B2 (en) Breathing training, monitoring and/or assistance device
JP5028424B2 (ja) 機械的に換気される患者の診断評価を簡略化する方法及び装置
JP4627379B2 (ja) 呼吸誘導装置
KR101056406B1 (ko) 게임장치, 게임처리방법 및 정보기록매체
JPH0556749B2 (ja)
JP2006218222A (ja) 血圧計
JP2010240185A (ja) 動作学習支援装置
KR20170056385A (ko) 모바일 센서와 게임을 활용한 깊은 호흡을 유도하는 호흡 훈련 시스템 및 방법
US20190217031A1 (en) Multi-Sensual Immersive Device And Systems And Methods Of Using Same
JP2006231000A (ja) 呼吸法手順の表示装置への提示方法
WO2019168945A1 (en) Interactive training tool for use in vocal training
KR102400487B1 (ko) 시청각 피드백에 따른 호흡근 강화게임을 구비하는 휴대용 폐활량계 시스템 및 그 구동방법
WO2020170108A1 (en) A medical device for the exercise of a user's respiratory functions and non-therapeutic monitoring and data collection method
US20080294061A1 (en) Health care gaming device and method using the same
JP6548125B2 (ja) 全身麻酔導入支援システム、全身麻酔導入支援ゲーム装置、および、全身麻酔導入支援ゲーム装置用のプログラム
JP2021159311A (ja) 生体運動誘導システム、生体運動誘導方法及びプログラム
TWI728444B (zh) 呼吸訓練系統及其方法
US20230285800A1 (en) Ventilation device, system including the ventilation device, and uses thereof
TWI505812B (zh) 呼吸分析顯示系統及方法
CN116048270A (zh) 基于视觉和听觉检测的细粒度呼吸交互的方法
Gorai et al. Effects of a Swimming Training Session on Pulmonary Functions in Young Adult Beginners
TWM651871U (zh) 訓練呼吸肌群裝置
Zhong Exploring interaction design for mindful breathing support: the HU II design case
KR20210093735A (ko) 호흡 측정 및 호흡 훈련을 위한 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061113

LAPS Cancellation because of no payment of annual fees