JP2017023704A - 注意情報提示装置および注意情報提示方法 - Google Patents

注意情報提示装置および注意情報提示方法 Download PDF

Info

Publication number
JP2017023704A
JP2017023704A JP2016105708A JP2016105708A JP2017023704A JP 2017023704 A JP2017023704 A JP 2017023704A JP 2016105708 A JP2016105708 A JP 2016105708A JP 2016105708 A JP2016105708 A JP 2016105708A JP 2017023704 A JP2017023704 A JP 2017023704A
Authority
JP
Japan
Prior art keywords
undressing
user
time
blood pressure
pulse wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016105708A
Other languages
English (en)
Other versions
JP6726856B2 (ja
Inventor
健太 村上
Kenta Murakami
健太 村上
元貴 吉岡
Mototaka Yoshioka
元貴 吉岡
小澤 順
Jun Ozawa
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017023704A publication Critical patent/JP2017023704A/ja
Application granted granted Critical
Publication of JP6726856B2 publication Critical patent/JP6726856B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02125Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08Elderly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07Home care

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Devices For Medical Bathing And Washing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pulmonology (AREA)

Abstract

【課題】ユーザが危険な状態に陥ることを抑えることができる注意情報提示装置を提供する。【解決手段】注意情報提示装置110は、ユーザの動作速度を用いて、脱衣前の第2の時間区間と、脱衣後の第3の時間区間とを決定する脱衣状態決定部107と、第2および第3の時間区間のそれぞれの心拍のタイミングを取得する心拍取得部104と、第2および第3の時間区間のそれぞれの脈波のタイミングを取得する脈波取得部102と、脱衣前の心拍および脈波のタイミングを用いて、脱衣前の血圧値を算出し、脱衣後の心拍および脈波のタイミングを用いて、脱衣後の血圧値を算出する血圧算出部105と、脱衣前後の血圧値に基づいて、ユーザに注意情報を提示する情報提示部106とを備える。【選択図】図1

Description

本開示は、入浴などに対する注意情報を提示する装置および方法に関する。
特許文献1には、入浴中に指先からの脈波と、後頭部の下に敷かれた枕部からの心拍鼓動とを抽出し、それらの時間差から血圧を推定した後、異常な血圧変動に対して排水する装置が開示されている。
特開2012−125281号公報
しかしながら、特許文献1に開示される従来技術では、ユーザが危険な状態に陥ることを未然に防ぐことができないという問題がある。
本開示の非限定的で例示的な一態様は、ユーザが危険な状態に陥ることを抑えることが可能な注意情報提示装置である。
本開示の一態様に係る注意情報提示装置は、ユーザで反射された電波を含む受信信号を取得する信号取得部と、前記受信信号から算出される前記ユーザの動作速度を用いて、前記ユーザが衣服を脱いでいることを示す第1の時間区間と、前記第1の時間区間の前の時間であり、前記ユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、前記第1の時間区間の後の時間であり、前記ユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定する脱衣状態決定部と、前記受信信号を用いて、前記第2の時間区間の脱衣前の心拍のタイミングおよび前記第3の時間区間の脱衣後の心拍のタイミングを取得する心拍取得部と、前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得する脈波取得部と、前記脱衣前の心拍のタイミングと前記脱衣前の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣前の血圧値を算出し、前記脱衣後の心拍のタイミングと前記脱衣後の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣後の血圧値を算出する血圧算出部と、前記脱衣前の血圧値と前記脱衣後の血圧値との差に基づいて、前記ユーザに、注意情報を提示する情報提示部と、を備える。
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc−Read Only Memory)などの不揮発性の記録媒体を含む。
本開示によれば、ユーザが危険な状態に陥ることを抑えることができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。
図1は、実施の形態1における注意情報提示装置の構成を示すブロック図である。 図2Aは、実施の形態1における注意情報提示装置の外観図である。 図2Bは、実施の形態1における注意情報提示装置がユーザにより利用される様子を示す模式図である。 図3は、実施の形態1における心拍のタイミングの算出の原理を示す説明図である。 図4は、実施の形態1における受信信号から得られる胸部の体動の変化(距離)を示す図である。 図5は、実施の形態1における血圧と血圧計測点との関係を示す図である。 図6は、実施の形態1における、受信信号を用いてユーザの有無とユーザの動作速度を検知する方法を説明するための図である。 図7は、実施の形態1における、ミリ波を使って判定されるユーザの脱衣状態(脱衣動作)の一例を示す図である。 図8は、実施の形態1における、信号取得部を用いて検知される方位、仰角、および距離から、ユーザの身体情報を得る方法を説明するための図である。 図9は、実施の形態1における、身体の有無を判定する方法を説明するための図である。 図10は、実施の形態1におけるユーザの脱衣動作を判定する方法を説明するための図である。 図11は、実施の形態1における、各脱衣動作を判定するための各領域にける動作速度のパターンを示す図である。 図12は、実施の形態1における脱衣動作ごとの各領域の動作速度の閾値を示す図である。 図13は、実施の形態1における、動作B、動作C1および動作C2のそれぞれの各領域の動作速度の閾値を示す図である。 図14は、実施の形態1における、時系列に沿って変化する閾値を示すデータベースの一例を示す図である。 図15は、実施の形態1における、脱衣判定と血圧計測のタイミングを示す図である。 図16は、実施の形態1におけるユーザの脱衣順序のパターンを示す図である。 図17は、実施の形態1における脱衣前の血圧計測を示す図である。 図18は、実施の形態1における心拍タイミングの算出の一例を示す図である。 図19は、実施の形態1における肌画像の輝度変化の一例を示す図である。 図20は、実施の形態1における脈波タイミングの算出の一例を示す図である。 図21は、実施の形態1における、脈波タイミングと心拍タイミングとによる血圧値の算出の説明図である。 図22は、実施の形態1における注意喚起判定(入浴可否の判定)の一例を示す図である。 図23は、実施の形態1における注意喚起判定(入浴可否の判定)の他の例を示す図である。 図24は、実施の形態1における、図22のパターン1によって入浴不可と判定された後に、入浴許可と判定される具体例を示す図である。 図25は、実施の形態1における情報提示部によって提示される情報の例を示す図である。 図26に、実施の形態1における注意情報提示装置の処理の流れを示すフローチャートである。 図27は、実施の形態1における注意情報提示装置のより具体的な処理の流れを示すフローチャートである。 図28は、実施の形態1における血圧計測の判定処理の詳細な流れを示すフローチャートである。 図29は、実施の形態1における血圧計測の詳細な流れを示すフローチャートである。 図30は、実施の形態1における脱衣完了の判定処理の詳細な流れを示すフローチャートである。 図31は、実施の形態1における脱衣順序の特異なパターンが記憶される例を示す図である。 図32は、実施の形態1における座位モードによる脱衣判定の説明図である。 図33は、実施の形態1における座位のユーザによって行われる脱衣動作の例を示す図である。 図34は、実施の形態2における注意情報提示装置の構成を示すブロック図である。 図35は、実施の形態2における注意情報提示装置によって脈波タイミングと心拍タイミングを取得する様子を示す図である。 図36は、実施の形態2におけるセンサマットの使用例と構成を示す図である。 図37は、実施の形態2における複数の脈波センサによって得られた脈波信号の例を示す図である。 図38は、実施の形態2における脈波センサの選択処理の流れを示すフローチャートである。 図39は、実施の形態1の変形例1における注意情報提示装置の構成を示すブロック図である。 図40は、実施の形態1の変形例1における注意情報装置によって、ユーザの脱衣過程を判定する様子を示す図である。 図41は、実施の形態1の変形例1における脱衣状態決定の流れを示すフローチャートである。 図42は、実施の形態1の変形例2における注意情報提示装置の構成を示すブロック図である。 図43は、実施の形態1の変形例2の概要を説明する図である。 図44は、実施の形態1の変形例2における脱衣状態決定の流れを示すフローチャートである。 図45は、実施の形態1の変形例2における情報提示の流れを示すフローチャートである。 図46は、実施の形態3における注意情報提示装置の構成を示すブロック図である。 図47は、実施の形態3におけるユーザの入浴後の着衣を判定する様子を示す図である。 図48は、実施の形態3において、信号取得部により入浴直後にユーザが脱衣場に入室したことを取得し、着衣状態判定部に送信することを示す図である。 図49は、実施の形態3において、水切りマットに埋め込んだセンサ等からユーザを検知することを示す図である。 図50は、実施の形態3における入浴後に脱衣場に入室してからのユーザの血圧変化パターンの例を示す図である。 図51は、実施の形態3における入浴後に脱衣場に入室してからのユーザの血圧変化パターンの例を示す図である。 図52は、実施の形態3における入浴後に脱衣場に入室してからのユーザの血圧変化パターンの例を示す図である。 図53は、実施の形態3における注意情報提示装置の動作を示すフローチャートである。 図54は、実施の形態3における注意情報提示装置の動作を示すフローチャートである。
(本開示の基礎となる知見)
本発明者は、「背景技術」の欄において記載した特許文献1の技術に関し、以下の問題が生じることを見出した。
具体的には、上記特許文献1の技術では、入浴中の人の血圧変動は検知できるが、入浴前の人の血圧変動は検知できないという問題がある。一般的に、浴室での心筋梗塞または脳梗塞などの事故は、入浴前からの、例えば脱衣所における血圧変動によって起因する場合がある。血圧変動は入浴前においてすでに始まっている。例えば、冬場に脱衣すると、身体が低気温にさらされることよって体温低下に伴う血圧上昇が生じている。そして、入浴に伴う急激な体温上昇で血圧が急激に下がり、ふらつきまたは転倒などの事故にも繋がる。すなわち、入浴前の血圧の変動の検知が、これら事故を未然に防ぐためには重要となる。つまり、血圧上昇とこの血圧上昇後の血圧低下に起因する事故を防止すべく、血圧上昇を検出して対策、例えば注意喚起、を行うことが肝要である。
そこで、本開示は、入浴前の脱衣中における血圧変動から危険状態を判定し、注意情報の提示を行うことにより、ユーザが危険な状態に陥ることを抑える。
つまり、上述の問題を解決するために、本開示の一態様に係る注意情報提示装置は、ユーザで反射された電波を含む受信信号を取得する信号取得部と、前記受信信号から算出される前記ユーザの動作速度を用いて、前記ユーザが衣服を脱いでいることを示す第1の時間区間と、前記第1の時間区間の前の時間であり、前記ユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、前記第1の時間区間の後の時間であり、前記ユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定する脱衣状態決定部と、前記受信信号を用いて、前記第2の時間区間の脱衣前の心拍のタイミングおよび前記第3の時間区間の脱衣後の心拍のタイミングを取得する心拍取得部と、前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得する脈波取得部と、前記脱衣前の心拍のタイミングと前記脱衣前の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣前の血圧値を算出し、前記脱衣後の心拍のタイミングと前記脱衣後の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣後の血圧値を算出する血圧算出部と、前記脱衣前の血圧値と前記脱衣後の血圧値との差に基づいて、前記ユーザに、注意情報を提示する情報提示部と、を備える。例えば、前記心拍取得部は、前記受信信号における前記第2の時間区間の時間波形のピークの時点を前記脱衣前の心拍のタイミングとし、前記受信信号における前記第3の時間区間の時間波形のピークの時点を前記脱衣後の心拍のタイミングとして取得する。例えば、前記注意情報提示装置は、さらに、前記ユーザの肌を含む画像を取得する画像取得部を備え、前記脈波取得部は、前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第2の時間区間の時間波形のピークの時点を、前記脱衣前の脈波のタイミングとし、前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第3の時間区間の時間波形のピークの時点を、前記脱衣後の脈波のタイミングとして取得する。
これにより、脱衣前の血圧値と脱衣後の血圧値との差、すなわち、脱衣動作の前後の血圧値の差に基づいて、注意情報がユーザに提示されるため、脱衣動作に起因する血圧変動に基づく注意情報をユーザに提示することができる。その結果、例えば入浴前に、ユーザに適切な注意情報を提示することができ、ユーザが危険な状態に陥ることを抑えることができる。
つまり、本開示によると、入浴前の脱衣中の脱衣状態を判定し、各脱衣状態における血圧を計測することで、脱衣過程(脱衣シーケンス)における血圧変動を観察することができる。そして、脱衣過程における血圧上昇度から入浴に対して危険かどうかを判定することができる。
また、前記脱衣状態決定部は、前記受信信号における第1の閾値以上の動作速度を有する時間を、前記第1の時間区間とし、前記第1の時間区間の前であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第2の時間区間とし、前記第1の時間区間の後であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第3の時間区間として決定してもよい。例えば第1の閾値は10〜15cm/sである。
これにより、ユーザの動作速度が小さいときの脱衣前および脱衣後における血圧値が計測されるため、脱衣動作に起因する誤差を抑えた適切な血圧変動を捉えることができる。
また、前記情報提示部は、前記脱衣前の血圧値と前記脱衣後の血圧値との差が第2の閾値以上の場合に、前記ユーザに、水に入ることを控えるように促す注意情報を提示してもよい。例えば第2の閾値は30mmHgである。
これにより、入浴または入水に対する危険性をユーザに適切に通知することができる。
また、前記脱衣状態決定部は、前記受信信号における前記ユーザの右の肩の領域および前記ユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定してもよい。
これにより、ユーザが例えばセーターなどの衣服を頭から抜く脱衣動作が行われる時間が第1の時間区間として決定される。このような脱衣動作が行われると、ユーザの体感温度が大幅に下がる傾向があり、血圧が他の脱衣動作に比べ上昇しやすい。したがって、このような第1の時間区間の前後の第2および第3の時間区間の血圧値の差に基づいて、注意情報が提示されるため、ユーザに対して危険性に関わる重要な情報を提示することができる。
また、前記脱衣状態決定部は、前記受信信号における前記ユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定してもよい。
これにより、ユーザが例えばシャツなどの衣服を、そのシャツの中央上部のボタンを外して脱ぐような脱衣動作が行われる時間が第2の時間区間として決定される。したがって、このような脱衣動作が第1の時間区間で行われたときにも、その第1の時間区間の前後の第2および第3の時間区間の血圧値の差に基づいて、適切な注意情報を提示することができる。
また、前記注意情報提示装置は、さらに、ユーザの脈波を検出する脈波センサを備え、前記脈波取得部は、前記脈波センサによって検出された脈波を示す信号を用いて、前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得してもよい。
これにより、脈波のタイミングを取得するために、ユーザを撮像することなく、その脈波のタイミングを取得することができるため、ユーザのプライバシーを保護することができる。
また、前記脱衣状態決定部は、さらに、脱衣経過判定部を備えており、前記ユーザの右の肩の領域および前記ユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有した後、前記ユーザの両肩の領域を通過する前に、動作速度がゼロになり、脱衣が停止したことを認識してもよい。
また、前記注意情報提示装置は、さらに、眼鏡着脱判定部を備え、前記画像取得部で前記ユーザの眼鏡の着脱を判定し、眼鏡を外した場合に、前記信号取得部および前記脈波取得部を起動させ、前記脱衣状態決定部において、脱衣状態を判定してもよい。
また、前記注意情報提示装置は、さらに、着衣状態決定部を備え、前記ユーザの入浴後の着衣状態を判定し、前記血圧算出部によって、前記ユーザの着衣状態前後の血圧を計測する、および、前記信号取得部より前記ユーザが入浴後に脱衣場に入った動作を認識し、その時間を第1の時間とし、前記血圧算出部によって、前記第1の時間における血圧値を計測してもよい。
以下、実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態において、非接触で血圧を測定し、その結果に基づいて注意情報を提示する注意情報提示装置について説明する。
本実施の形態に係る注意情報提示装置110について説明する。図1は、本実施の形態における注意情報提示装置の構成を示すブロック図である。図2Aは、本実施の形態における注意情報提示装置110の外観図である。図2Bは、本実施の形態における注意情報提示装置110がユーザにより利用される様子を示す模式図である。
図1に示すように、注意情報提示装置110は、画像取得部101と、脈波取得部102と、信号取得部103と、心拍取得部104と、血圧算出部105と、情報提示部106と、脱衣状態決定部107とを備える。
具体的には、注意情報提示装置110は、ユーザで反射された電波を含む受信信号を取得する信号取得部103と、その受信信号から算出されるユーザの動作速度を用いて、そのユーザが衣服を脱いでいることを示す第1の時間区間と、その第1の時間区間の前の時間であり、そのユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、その第1の時間区間の後の時間であり、そのユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定する脱衣状態決定部107と、受信信号を用いて、第2の時間区間の脱衣前の心拍のタイミングおよび第3の時間区間の脱衣後の心拍のタイミングを取得する心拍取得部104と、第2の時間区間の脱衣前の脈波のタイミングおよび第3の時間区間の脱衣後の脈波のタイミングを取得する脈波取得部102と、脱衣前の心拍のタイミングと脱衣前の脈波のタイミングとの時間差を用いて、ユーザの脱衣前の血圧値を算出し、脱衣後の心拍のタイミングと脱衣後の脈波のタイミングとの時間差を用いて、ユーザの脱衣後の血圧値を算出する血圧算出部105と、脱衣前の血圧値と脱衣後の血圧値との差に基づいて、ユーザに、注意情報を提示する情報提示部106と備える。なお、本実施の形態における注意情報提示装置110は、さらに、ユーザの肌を含む画像を取得する画像取得部101を備えている。脈波取得部102は、その画像を用いて脈波のタイミングを取得するが、その画像以外の情報を用いて脈波のタイミングを取得してもよい。つまり、注意情報提示装置110は、画像取得部101を備えていなくてもよい。また、画像取得部101は、撮像によってその画像を取得してもよく、撮像することなく、注意情報提示装置110の外部の装置からその画像を取得してもよい。図1に示すこれらの機能ブロックについては、後で詳細に説明する。
図2Aは、注意情報提示装置110の外形の一例を示す。図2Aに示すように、注意情報提示装置110は、筐体を有し、その筺体に図1に示す各構成要素が配置されている。
筐体の前面に、ミリ波の送信部103aおよび3つの受信部103bと、例えばカメラとして構成される画像取得部101と、注意情報を提示する情報提示部106とが備えられている。なお、送信部103aおよび3つの受信部103bは、上述の信号取得部103に含まれる。
図2Bは、ミリ波によって人または人の動きを検知する様子を示す。ミリ波の送信部103aから発せられたミリ波が、人で反射され、反射された信号を各受信部103bが受信することで人または人の動きを検知することができる。本開示では、人の胸部から反射してきた信号をもとに、脱衣動作と心臓の収縮に起因する拍動を検知する。また、画像取得部101で人の顔または手などを撮像し、例えば輝度の変化をもとに脈拍を検知する。そしてそれぞれの拍動と脈拍の時間差(脈波伝播時間)をもとに血圧を推定し、情報提示部106に掲示する。また、その血圧の変動から入浴可否の判定結果も情報提示部106に掲示する。以下、各構成要素と本開示の詳細を説明する。
(信号取得部103)
図1に戻り、信号取得部103は、ユーザで反射された電波を含む受信信号を取得する。つまり、信号取得部103は、人から反射されたミリ波の信号を受信信号として取得する回路である。信号取得部103は、ミリ波を受信することでミリ波の信号を取得してもよいし、他の装置等により受信されたミリ波の信号のデータを取得することで、ミリ波の信号を取得してもよい。
信号取得部103は、ミリ波を受信する場合、ミリ波帯を利用したレーダの送受信回路で構成される。具体的には、信号取得部103は、ミリ波の送信部103a(送信回路)と受信部103b(受信回路)とを有する。信号取得部103は、送信波を送信した時刻と、送信波が対象物に当たり対象物により反射された反射波を受信した時刻との時間差から、対象物までの距離を検出する。また、信号取得部103は、送信波と反射波との位相又は周波数差から、対象物の移動又は速度を取得する。また、信号取得部103は、アレイアンテナを用いた到達方向差から物体の距離を検出する。なお、ミリ波レーダについては、いわゆる自動車の衝突防止や、より高精度を目的とした符号変調を用いた手法など、様々な手法が知られており、ここではその詳細は問わないものとする。
信号取得部103が取得するミリ波の位相は、人の心臓が拍動することによる、信号取得部103と人との距離の変化により変化する。よって、信号取得部103が連続的にミリ波を取得すれば、取得されたミリ波には、信号取得部103と人との距離の変化の時系列の情報が含まれる。
なお、ミリ波と異なる帯域の電波により上記と同様のことを行うことも可能である。その場合、信号取得部103の代わりに、ミリ波帯と異なる帯域の電波を用いて上記と同様のことを行う電波取得部を用いてもよい。
図3は、本実施の形態における心拍のタイミングの算出の原理を示す説明図である。
信号取得部103は、送信部103aにより所定の周波数信号あるいはパルス波を送信し、反射物から跳ね返ってきた信号を受信部103bにより受信する。また、この際、送信する信号は、周波数、振幅、あるいは符号などで変調し、送ったタイミングが分かるようになっている。そして、到達時間差によって距離を計測することとなる。本実施の形態では、例えば人の胸部に当てたミリ波の反射波から、心臓の収縮又は拍動に起因して生じる胸部の体動の変化を検出する。心拍や呼吸などの動きは非常に小さいので、到達時間差に加え、信号の位相差を用いて距離変化を求める。跳ね返った信号をr(t)とすると、(式1)〜(式5)を用いて、距離が算出される。
この信号の同相成分(I)及び直交成分(Q)は、それぞれ、(式2)及び(式3)となり、(式4)により位相が算出される。
(式4)の位相と、信号が往復する距離2d、光の速さc、波長2πfなどから、(式5)により距離が算出される。
図4は、本実施の形態における受信信号から得られる胸部の体動の変化(距離)を示す。
図4には、26GHz帯を用いたスペクトル拡散型レーダを用い、人の胸部からの反射波の位相変化が示されている。スペクトル拡散型レーダは、PN符号のチップ・レートと符号周期とを調整することで、距離分解能と最大探知距離との関係を自由に設定することができるので、例えば胸部にレンジを合わせることで微弱な胸部の変化を捉えることが可能となる。図4において横軸は時間、縦軸は位相変化である。心臓が収縮する心拍に伴って、距離が変化していることが分かる。
(脱衣状態決定部107)
本実施の形態における脱衣状態決定部107は、信号取得部103によって取得された受信信号の距離情報から、対象であるユーザの位置を特定する。さらに、脱衣状態決定部107は、その特定された対象の位置の変化からユーザの動作速度を算出する。つまり、ユーザの動作速度が受信信号から算出される。脱衣状態決定部107は、その動作速度を用いて、第1の時間区間と、第2の時間区間と、第3の時間区間とを決定する。第1の時間区間は、ユーザが衣服を脱いでいることを示す。具体的には、第1の時間区間は、第1の閾値以上の動作速度を有する時間である。第2の時間区間は、第1の時間区間の前の時間であり、ユーザが衣服を脱ぐ前の時間を示す。具体的には、第2の時間区間は、第1の時間区間の前であり、かつ、第1の閾値より小さい動作速度を有する時間である。第3の時間区間は、第1の時間区間の後の時間であり、ユーザが衣服を脱いだ後の時間を示す。具体的には、第3の時間区間は、第1の時間区間の後であり、かつ、第1の閾値より小さい動作速度を有する時間である。
また、脱衣状態決定部107は、第1の時間区間を決定するときには、例えば、ユーザの右肩の領域および左肩の領域を特定する。そして、脱衣状態決定部107は、それらの領域の動作速度を算出し、それらの領域が同時に第1の閾値以上の動作速度を有する時間を第1の時間区間として決定する。または、脱衣状態決定部107は、ユーザの上半身の中央部の領域を特定する。そして、脱衣状態決定部107は、その中央部の領域の動作速度を算出し、その中央部の領域が第1の閾値以上の動作速度を有する時間を第1の時間区間として決定する。
このような本実施の形態における脱衣状態決定部107について、以下、詳細に説明する。
脱衣状態決定部107は、信号取得部103によって取得された受信信号を使って、ユーザの脱衣状態を判定する。
ここで、本実施の形態における注意情報提示装置110は、脱衣による血圧上昇に起因する、入浴時のヒートショックを防ぐことを目的としているため、脱衣動作の前後の血圧に注目する。
図5は、血圧と血圧計測点との関係を示す。
例えば、図5の(a)に示すように、注意情報提示装置110は、上述の動作速度を用いてユーザの動作を判定する。つまり、脱衣状態決定部107は、ユーザによって脱衣動作が行われたか否か、または、どのような脱衣動作が行われたかを判定する。このような判定を、以下、脱衣状態の判定、脱衣動作の判定または脱衣判定という。また、本実施の形態では、脱衣状態と脱衣動作とは同義である。
図5の(a)に示すように、注意情報提示装置110は、脱衣動作が起こる前の静止時に、血圧計測を行う。なお、血圧計測は、後述する心拍タイミングと脈波タイミングとの差である脈波伝搬時間に基づいて行われる。そして、注意情報提示装置110は、脱衣動作が行われたと判定した後には、脱衣動作後の静止時にもう一度、血圧計測を行う。このとき、図5に示すように血圧値が上昇していた場合、注意情報提示装置110は、その血圧上昇は脱衣動作に起因していると判断し、例えば、ユーザに対して入浴行為が危険であることを示す注意情報を提示する。
一方で、脱衣判定を行わず血圧計測を行った場合は、脱衣状態を判定していないため、血圧計測点は、図5の(b)に示すように、必ずしも脱衣開始前または脱衣完了後とは一致しない。さらに、もし、ある二点間で血圧上昇を確認できても、それが脱衣動作によるものであるかは判断できないため、適切な注意喚起を行うことができない。
そこで、本実施の形態における注意情報提示装置110では、脱衣状態決定部107によって脱衣判定を行うことによって、脱衣動作による血圧値の変動を適切に算出し、その変動に基づいて注意情報を提示する。
図6は、脱衣状態決定部107が信号取得部103によって取得された受信信号を用いてユーザの有無とユーザの動作速度を検知する方法を示す図である。
信号取得部103には、3つの受信部103bが存在し、脱衣状態決定部107は、各受信部103bで取得された受信信号に基づいて、方位および仰角の検知と、距離検知と、速度検知とを行う。方位検知と仰角検知は、同じ原理を用いて行われる。つまり、以下の(式6)に示すように、2つの受信部103b間の距離dと、受信信号によって示される位相差φとから、方位または仰角θが分かる。なお、λは、電波の波長である。
また、距離検知と速度検知は、一つの受信部103bで行われる。つまり、距離Lは、以下の(式7)に示すように、対象(ユーザ)までの送信波と受信波の時間差τから算出される。なお、cは、光の速さである。
さらに、動作速度vは、以下の(式8)に示すように、送信波と受信波の周波数差から算出される。なお、fは、受信波の周波数であり、fは、送信波の周波数である。
脱衣状態決定部107は、方位および仰角の検知と距離検知とを行うことによって、ユーザの体の部位(例えば、図6に示す部位P1〜P5)を特定し、特定した部位の速度検知を行う。これにより、脱衣状態決定部107は、ユーザの脱衣状態(脱衣動作)を判定する。
なお、図2Aおよび図6に示すように、注意情報提示装置110には、ミリ波の受信部103bは複数ある。具体的には、縦方向に、2つの受信部103bからなる組と、縦方向と直交する横方向に、2つの受信部103bからなる組とがある。それらの組に含まれる一つの受信部103bは各組で共有される。したがって、注意情報提示装置110は、合計3つの受信部103bを有している。これは、上記に示すように反射波の到達時間差(位相差)からそれぞれの到達角度(方位および仰角)を算出し、反射物であるユーザの空間上のXY座標(横軸の値Xと、縦軸の値Yとからなる座標)を算出するためである。なお、本実施の形態では、2つの受信部103bからなる組が、縦に1組あり、横に1組あり、それらの組に含まれる1つの受信部103bが各組で共有され、合計3つの受信部103bがあるが、これに限ったものではない。例えば、注意情報提示装置110は、ある1方向に沿って配置される複数の受信部103bと、それに直交する1方向に沿って配置される複数の受信部103bとを備えていてもよい。さらに、ある1方向に複数の受信部103bを並べ、これらの受信部103bに指向性を持たせてもよい。
図7は、ミリ波を使って判定されるユーザの脱衣状態(脱衣動作)の一例を示す図である。動作Aは、頭から衣服を抜くことで脱衣する状態を表している。動作Aの状態は、例えば、セーターまたはシャツの脱衣時に見られ、両腕もしくは両手が肩よりも上に動くという特徴を持つ。動作Aが行われる際は、厚着の衣服を脱衣するため、または、下着の脱衣によってユーザの肌に直接外気が触れるため、ユーザの体感温度が大幅に下がる。よって、動作Aでは、血圧が他の脱衣動作に比べ上昇しやすいという特徴を持つ。
動作Bは、手を上半身の中央部から肩の方向に動かし、肩から脱衣している状態を表している。動作Bは、シャツ、カーディガン、またはコートなどの脱衣時に見られ、肩から順に脱衣していくという特徴を持つ。動作Cは、片足を上げて脱衣する状態を表している。動作Cは、ズボンまたは靴下など、下半身における脱衣を行う際には必ず起こるという特徴を持つ。また、動作Cには、左右それぞれの状態があるので、右側の脱衣動作をC1、左側の脱衣動作をC2とする。
なお、服の種類によって動作を分けたが、これに限ったものではない。例えば、シャツの脱衣は、動作Bで表されるとしたが、衣服がシャツであっても、上部のボタンを外し、セーターのように、頭からその衣服を抜く動作によって脱衣をする場合もある。この場合は、ユーザがシャツの脱衣を行っていても、その脱衣動作を動作Aと判定してもよい。
図8は、信号取得部103を用いて検知される方位、仰角、および距離から、ユーザの身体情報を得る方法を示す。まず、脱衣状態決定部107は、信号取得部103によって取得された、身体またはその周囲からの反射波の受信信号に基づいて、各部位の方位、仰角Φおよび距離Lの各データを蓄積する。
信号取得部103における送信部103aでは、全体に向けて一様な周波数のミリ波を対象に向けて送信する。一方、信号取得部103における受信部103bは、受信した各信号取得部のミリ波の周波数と位相を検出する。各信号取得部間の位相差から対象物の方位と仰角を算出する。この方位と仰角に所定の範囲を持たせ、かつ、距離から、領域ごとの動作に伴う周波数が得られる。例えば、仰角0度から10度、方位0度から10度の場合、領域を(h10, w6)とし、仰角10度から20度、方位0度から10度の場合、領域を(h9、w6)とすることで、身体の領域ごとの速度変化を得ることができる。具体的な領域の算出は、式(式6)(式7)(式8)で算出する。また、各領域の大きさは、ユーザの身長情報と横幅情報から決定する。ユーザの身長情報と横幅情報の具体的な算出方法は下記に示す。
このようにして、受信したミリ波の各方向と、その方向における周波数が検知できる。したがって、各方向における対象の動きがわかるため、ユーザの身体位置を取得することができる。
図9は、身体の有無を判定する方法を示す。
身体以外の場所で反射されたミリ波に基づいて算出される距離Lは、身体で反射されたミリ波に基づいて算出される距離Lに比べて十分に遠い。したがって、脱衣状態決定部107は、その違いを見ることで、身体と外部空間との境界を算出でき、身体の有無を判定する。また、身体は仮に静止していても微弱な体動を有するのに対し、周囲の障害物は固体物であり、振動を伴わない。したがって、脱衣状態決定部107は、距離Lの経時的な変化で身体部位と外部空間を判定してもよい。
脱衣状態決定部107は、身体部位までの距離Lと、さらに、同時に取得した仰角Φを用いて、y=L・sinΦ+zによって、ユーザにおける各ポイントの地上からの高さyを算出できる。なお、zは信号取得部103の地上からの高さである。また、脱衣状態決定部107は、同様の原理で、方位と距離Lからユーザの横幅を算出することができる。
得られた高さyの最大値は、ユーザの身長である。脱衣状態決定部107は、図8に示すように、身長を20等分(h1−h20)、横幅を10等分(w1−w10)することで、身体部位を細分化し、(w4、h8)というように座標化を行う。
例えば、身体からの反射波に含まれた情報として、距離Lが50cm−140cmの範囲であり、zが30cmの時、身長の算出に用いられる距離Lの最大値LmaxはLmax=140cmである。この時の仰角が+45度であったとすると、y=L・sinΦ+zにより、身長は170cmであるとわかる。同様にして横幅が50cmであったとすると。座標化された各領域は、8.5cm×5cmの大きさとなる。この状態において、例えば、反射波からL=100cm、仰角=+60度、方位=+10度、速度=20cm/sという情報が得られる。この場合、脱衣状態決定部107は、この反射波が領域(w4、h14)からの反射波であり、この領域に位置する身体部位が速度20cm/sで動いていると判定する。以降、脱衣動作の説明では、説明に必要とされる領域を(wの領域ナンバーN、hの領域ナンバーM)によって指定する。
図10は、ユーザの脱衣動作を判定する方法を示す図である。脱衣状態決定部107は、上記によって特定されたユーザの身体の領域を用いて、各領域の動作速度がどのように時間変化しているかを調べる。図10では、領域における動作速度が速いほど黒い色の三角形をその領域に表示し、逆に、領域における動作速度が遅いほど白い色の三角形をその領域に表示している。
図10に示す脱衣動作は、動作Aであり、この時、両手は体の前から肩の上にかけて動く。つまり、両手は(w3、h10)―(w8、h10)の領域から、その後の時間変化に応じて、(w4、h5)―(w7、h5)の領域まで動く。したがって、これらの領域では、他の領域に比べて動作速度が速い。なお、(w3、h10)―(w8、h10)などのように(wN1、hM1)―(wN2、hM2)によって示される領域とは、(wN1、hM1)と(wN2、hM2)とを結ぶ線を対角線とする矩形領域である。
一方、動作Aの場合、足および腰などの下半身は同時に動かすことは通常ないため、(w1、h12)―(w10、h20)の領域では、動作速度は0あるいは、所定の値よりも低い。したがって、脱衣状態決定部107は、特定領域(w3、h5)―(w8、h8)における動作速度が所定閾値速度以上であり、領域(w1、h12)―(w10、h20)における動作速度が所定速度以下であれば、ユーザの脱衣動作が動作Aであると判定する。
図11は、各脱衣動作を判定するための各領域にける動作速度のパターンを示す図である。
動作Aでは、ユーザの右肩および左肩の動作速度が共に、他の身体部位の動作速度よりも速い。したがって、脱衣状態決定部107は、受信信号におけるユーザの右の肩の領域およびユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有する場合に、そのユーザが動作Aの脱衣動作をしていると判定してもよい。
また、動作Bでは、ユーザの上半身の中央部の動作速度が、中央部以外の身体部位の動作速度よりも速い。したがって、脱衣状態決定部107は、受信信号におけるユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する場合に、そのユーザが動作Bの脱衣動作をしていると判定してもよい。
また、動作Cでは、ユーザの下半身の右側または左側の動作速度が、他の身体部位の動作速度よりも速い。したがって、脱衣状態決定部107は、受信信号におけるユーザの下半身の右側または左側の領域が第1の閾値以上の動作速度を有する場合に、そのユーザが動作Cの脱衣動作をしていると判定してもよい。
したがって、脱衣状態決定部107は、ユーザが衣服を脱いでいることを示す第1の時間区間を決定するときには、受信信号における第1の閾値以上の動作速度を有する時間を、その第1の時間区間とし決定する。つまり、脱衣状態決定部107は、受信信号におけるユーザの右の肩の領域および左の肩の領域が、同時に第1の閾値以上の動作速度を有する時間を、ユーザが動作Aをしていることを示す第1の時間区間として決定する。また、脱衣状態決定部107は、受信信号におけるユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する時間を、ユーザが動作Bをしていることを示す第1の時間区間として決定する。また、脱衣状態決定部107は、受信信号におけるユーザの下半身の右側または左側の領域が第1の閾値以上の動作速度を有する時間を、ユーザが動作Cをしていることを示す第1の時間区間として決定する。逆に、脱衣状態決定部107は、受信信号における第1の閾値より小さい動作速度を有する時間を、脱衣前の第2の時間区間または脱衣後の第3の時間区間として決定する。より具体的には、脱衣状態決定部107は、第1の時間区間の前の時間を脱衣前の第2の時間区間として決定し、第1の時間区間の後の時間を脱衣後の第3の時間区間として決定する。
なお、脱衣状態決定部107では、受信信号における第1の閾値以上の動作速度を有する時間を第1の時間区間としたが、これに限ったものではない。例えば、第1の閾値以上の動作速度を有する時間が非連続であっても、その非連続な時間区間を第1の時間区間に含めてもよい。非連続な時間区間は受信信号が第1の閾値未満である時間が所定の時間、例えば10秒未満と定めてもよい。例えば、ユーザを検出してから第1の閾値未満の受信信号が30秒連続し(=A区間)、その直後に第1の閾値以上の受信信号が20秒連続し(=B区間)、その直後に第1の閾値未満の受信信号が5秒連続し(=C区間)、その直後に第1の閾値以上の受信信号が50秒連続し(=D区間)、その直後に第1の閾値未満の受信信号を45秒連続(=E区間)した場合、ユーザを検出してから最初に第1の閾値以上の受信信号を検出した時間区間(=B区間)を含む第1の時間区間(=B区間+C区間+D区間)の直前の第1の閾値より小さい動作速度を有する時間区間(=A区間)を第2の時間区間、第1の時間区間(=B区間+C区間+D区間)直後の第1の閾値より小さい動作速度を有する時間(=E区間)を第3の時間区間としてもよい。
なお、脱衣状態決定部107では、ユーザの各脱衣動作の判定における閾値を第1の閾値として定めたが、これに限ったものではない。例えば、脱衣動作ごとの特徴を強調するために、各脱衣動作におけるユーザの各部位の動作速度閾値を定めてもよい。
図12は、脱衣動作ごとの各領域の動作速度の閾値の例を示す。
脱衣状態決定部107は、各領域において測定された動作速度と、図12に示す、データベース上のデータ(第1の閾値)とを照合し、脱衣状態を判定する。
例えば、セーターや下着の脱衣状態を表す動作Aでは、手を体の前から肩の上まで動かす。人が腕を上げる時の平均速度は20cm/sである。したがって、図12に示すように、動作Aのデータベースは、胸から肩にかけた特定領域における動作速度の第1の閾値として、15cm/sを示す。これにより、脱衣状態決定部107は、その特定領域における動作速度が15cm/s以上であり、その動作速度が時間変化していれば、ユーザの脱衣動作が動作Aであると判定する。
図13は、動作B、動作C1および動作C2における各領域の動作速度の閾値を示す。
動作Bでは、一部のボタン等を止めたまま脱衣するか、全てのボタン等を外して脱衣するかによる時間的な違いはあるが、必ず上半身の中央部から脱衣を始める。その際、手が中央部から肩の方向に動く動作速度は15cm/s以上である。そこで、図13の(a)に示すように、データベースは、ユーザの上半身の中央部の領域における動作速度の第1の閾値として、15cm/sを示す。したがって、脱衣状態決定部107は、その中央部の領域における動作速度が15cm/s以上であれば、ユーザの脱衣動作が動作Bであると判定する。
動作Cでは、脱衣している足の領域の動作速度は、10cm/sより速く、体を支えている他方の足の領域、または足を見下げている頭の領域の動作速度は、5cm/s以上である。そこで、図13の(b)および(c)に示すように、データベースは、ユーザの脱衣している足の領域における動作速度の第1の閾値として、10cm/sを示し、他方の足または頭の領域における動作速度の第1の閾値として、5cm/sを示す。したがって、脱衣状態決定部107は、脱衣している足の領域における動作速度が10cm/s以上であり、他方の足または頭の領域における動作速度が5cm/s以上であれば、ユーザの脱衣動作が動作C1またはC2であると判定する。
なお、データベースとの照合の際は、同じ脱衣動作であっても、人によって多少動きが異なる。したがって、脱衣状態決定部107は、データベースによって示される(w1、h1)〜(w10、h20)のすべて領域のうちの8割の領域のデータが、測定された動作速度と一致するか否かを判断してもよい。そして、脱衣状態決定部107は、一致すると判断すると、ユーザが、そのデータベースに対応する脱衣動作(動作A〜Cの何れかの動作)を行ったと判定する。
なお、データベースには、各動作における各領域の動作速度の閾値が定められているが、この値に限ったものではない。ユーザによって、脱衣の速度は異なるので、具体的な数値を決めるのではなく、各脱衣時の最高速度を基準とし、その基準に対する比率を閾値として決め、それをデータベースに蓄積してもよい。例えば、あるユーザの動作Aにおいて、腕を上げる速度が最も速く、その速度が30cm/sであったとする。また、動作Cのデータベースには、足の領域の閾値として比率2/3が定められている。この場合、脱衣状態決定部107は、このユーザの脱衣平均速度が速いと判定し、最高速度30cm/sを基準に、動作Cにおける足の領域の動作速度の閾値を20cm/sとして算出してもよい。
なお、本実施の形態では、測定された動作速度とデータベース上のデータとの照合に基づく脱衣判定は、動作中の1つのタイミング、例えば、第2の時間区間に動作速度が第1の閾値を超えた場合において行われるが、これに限定されない。例えば、注意情報提示装置110は、動作中の時系列に沿って変化する閾値を示すデータベースを有していてもよい。そして、脱衣状態決定部107は、動作中の各タイミングで測定された動作速度と、このデータベースの時系列に沿って変化する閾値との照合によって、ユーザの脱衣状態を判定してもよい。
図14は、時系列に沿って変化する閾値を示すデータベースの一例である。このデータベースは、動作中における複数の時間的な状態遷移を示すように、動作中の4つのタイミングのそれぞれにおける、各領域の動作速度の閾値を有する。
図14に示すデータベースは、動作Aのデータベースである。動作Aにおいて、最初のタイミングでは上半身が動く。したがって、図14の(a)に示すように、データベースによって示される、身体部位の高い領域における動作速度の閾値は、大きい。次のタイミング以降では、上半身の衣服を脱ぐために徐々に両手が上に上がる動作が行われるのが一般的である。したがって、図14の(a)〜(c)に示すように、データベースによって示される、動作速度の閾値が大きい領域は、さらに、徐々に高くなる。その次のタイミングでは、上半身の衣服を脱ぎ終えるため、両手が動く。したがって、図14の(d)に示すように、データベースによって示される、身体中心における動作速度の閾値は、小さくなり、両腕の領域における動作速度の閾値は、大きい値に維持される。このように時系列の遷移を表すデータベースを有し、このデータベースを参照して脱衣動作を判定することで、脱衣判定の精度をより向上することができる。
なお、ここでは、身体部位に対する全領域において、所定の閾値を有するデータベースを用いたが、これに限ったものではない。例えば、動作Aでは、主に両手を同時に動かし、かつ、同じような高さおよび速度で動かすことが多い。したがって、身体を中心として左右対称な動きが行われる場合が多い。対して、動作Bのように、例えば、片方の肩から衣服を脱ぐような動作では、まず、身体の中心から左側または右側にある一方の領域において、動きがあり、後に、他方の領域において、動きがある。また、動作Cのように、例えば、片足ずつ衣服を脱ぐような動作では、まず、一方の領域において動きがあり、後に、他方の領域において動きがある。しかし、動作Cでは、その動きがある領域の高さは、上半身の領域よりも低い領域である。そこで、例えば、脱衣状態決定部107は、身体部位の中心を判定し、中心に対して左右のそれぞれの領域で同時に動作速度の変化が現れ、速い動作速度の領域が徐々に上に上がるか否かを判断する。上に上がると判断すると、脱衣状態決定部107は、ユーザが動作A(例えば、ボタンなしの上着の脱衣動作)を行っていると判定する。一方、上に上がっていないと判断すると、脱衣状態決定部107は、上半身の左右それぞれの領域で同時に動作速度変化が表れていない場合には、ユーザが動作B(例えば、ボタンありの上着の脱衣動作)を行っていると判定する。あるいは、脱衣状態決定部107は、下半身の左右のそれぞれの領域で同時に動作速度の変化が表れていれば、ズボンまたはスカートを下げる動作をしていると判定する。または、脱衣状態決定部107は、下半身の左右それぞれの領域で異なるタイミングに動作速度の変化が表れていれば、ユーザが動作Cを行っていると判定する。
このように、脱衣動作には特徴となる動作がある。したがって、この特徴となる動作と、測定された動作速度に基づく動作とのマッチングによって、脱衣判定を行ってもよい。これによりロバストかつ精度よい判定が可能となる。
図15は、脱衣判定と血圧計測のタイミングを示す図である。
本実施の形態では、後述するように、ミリ波と画像によって血圧計測を行っているため、測定時の体動が少ない場合、より精度のよい血圧計測が可能となる。したがって、本実施の形態における注意情報提示装置110は、ユーザの動作速度を用いて、ユーザが衣服を脱いでいることを示す第1の時間区間と、ユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、ユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定する。これにより、注意情報提示装置110は、各脱衣動作が完了し、一旦静止、あるいは体動が少なくなった場合に、血圧計測を行うことができる。
例えば、図15の(a)に示すように、注意情報提示装置110は、脱衣前(第2の時間区間)および脱衣直後(第3の時間区間)のそれぞれで、ユーザの静止時の血圧計測を行い、動作Aなどの脱衣動作中(第1の時間区間)は、血圧測定を行わない。そうすることで、図15の(b)に示すように、注意情報提示装置110は、黒丸の点で示すように、脱衣動作の前および後の体動が小さいタイミングにおいて血圧計測を行う。そして、各脱衣動作の前後の血圧変化(血圧変動ともいう)に基づいて、情報提示部106が入浴の可否を判定する。この情報提示部106による判定の詳細については、後述する。
図16は、ユーザの脱衣順序のパターンを示す。なお、脱衣順序は、時系列に沿って行われる各脱衣動作の順序である。注意情報提示装置110は、ユーザによって行われた脱衣動作を毎回記録し、その記録された各脱衣動作からなる脱衣順序のパターンと、データベースにある図16に示した登録パターンとのマッチングを行うことで、脱衣完了の判定を行う。
例えば、ユーザが冬場において登録パターンIの脱衣を行うことが多い場合、最後の靴下を脱いだ時に、脱衣状態決定部107は、ユーザの脱衣が完了したと判定する。
なお、こうした脱衣順序のパターンは、ユーザによって異なり、同じユーザであっても服装によって変化する。よって、各ユーザの日々の脱衣順序のパターンをデータベースに蓄積しておき、季節ごと、または日付ごとの各取得データ(脱衣順序)を照合することでユーザの脱衣順序のパターンを把握してもよい。このとき、脱衣完了の判断については、脱衣状態決定部107は、脱衣開始を認識後、3分以上、脱衣動作A,BおよびCの認識ができなかった、もしくは、動作速度の変化が検知できなかった場合に、脱衣完了と判断する。
また、脱衣状態決定部107は、脱衣が完了と判定した後も、動作速度の検知により、脱衣動作A,BまたはCが確認された場合は、脱衣完了の判定を取りやめる。そして、脱衣状態決定部107は、新たな脱衣順序のパターン(登録パターンまたはモデル)として、その確認された脱衣動作を含む脱衣順序をデータベースに記憶してもよい。
このように、本実施の形態では、細かく脱衣動作を分類し、脱衣動作に起因する血圧変化を捉えることで、ユーザの血圧変化が、その後の入浴時または入浴後の危険状態を誘導しているかどうかを判定することができる。例えば、動作Aにより、大きく血圧が上昇した後、動作Bおよび動作Cを経ても血圧が上昇している場合、このユーザは脱衣により体感温度が低くなり、血圧が上昇していると判定できる。よって、その状態で入浴を行うと、急激な血圧低下を起こし、溺れたり、入浴後急激に体が冷えることで、心筋梗塞または脳卒中などの障害が起こることが予想される。逆に、時系列での血圧変化を観察した場合、血圧の変化が何に起因するかの判定が難しい。血圧変化(閾値からの血圧の変化または血圧高低差など)で入浴への注意喚起の判定を行うと、高血圧の原因が、寒さによる血圧上昇であるのか、ただの高血圧症であるのかが分からない。したがって、このような入浴への注意喚起の判定は適切でない。一方、本実施の形態では、脱衣動作に応じた血圧変化を捉えるため、注意喚起を正確に行うことができ、非常に有用である。
図17は、脱衣前の血圧計測を示す図である。脱衣状態決定部107は、信号取得部103によって取得される受信信号に基づいて、脱衣所にユーザがいるか否かを常に判定し、脱衣所にユーザが入るたびに、血圧計測をすべきと判定する。または、脱衣状態決定部107は、信号取得部103によって取得される受信信号に基づいて、注意情報提示装置110周辺にユーザがいるか否かを常に判定し、注意情報提示装置110周辺にユーザが来るたびに、血圧計測をすべきと判定する。つまり、脱衣状態決定部107は、第2の時間区間を決定する。この判定に基づいて、血圧算出部105は血圧値を算出する。また、脱衣状態決定部107は、脱衣開始を検知すると、前述のように脱衣状態を継続的に判定しながら、脱衣動作後、または次の脱衣動作前に、血圧計測をすべきと判定する。つまり、脱衣状態決定部107は、第2または第3の時間区間を決定する。この判定に基づいて、血圧算出部105は血圧値を算出する。
なお、脱衣状態決定部107は、毎回、ユーザが入浴する時間(または脱衣開始時間)をデータベースに記録しておいてもよい。この場合、脱衣状態決定部107は、そのデータベースを参照することにより、現在の時間がユーザの入浴時間であるか否かを判定する。そして、脱衣状態決定部107は、入浴時間であると判定すると、信号取得部103によって取得された受信信号に基づいて、ユーザの脱衣状態を判定する。
(心拍取得部104)
図1に戻り、心拍取得部104は、信号取得部103によって取得された受信信号を用いて、上述の第2の時間区間の脱衣前の心拍のタイミングおよび上述の第3の時間区間の脱衣後の心拍のタイミングを取得する。具体的には、心拍取得部104は、位相変化の情報をもとに心拍のタイミング(以下、心拍タイミングともいう)を算出する。心拍タイミングは、例えば後述の図20に示す例と同様、所定のピーク探索によって算出することができる。すなわち、例えば、受信信号において特定されたあるピークから特定の時間、例えば、333msから1000ms経過した間の期間での受信信号におけるピークを特定して1つの心拍タイミングを決定する処理を繰り返すことで複数の心拍タイミングを決定してもよい。
図18は、本実施の形態における心拍タイミングの算出の一例を示す。具体的には、図18は、ピーク探索によって得られた心拍タイミングを示す図である。図4と同様、横軸は時間、縦軸は位相変化であり、得られた各ピークを白い丸印で示している。
心拍取得部104は、上述のような心拍タイミングを脱衣前および脱衣後において取得する。つまり、心拍取得部104は、受信信号における第2の時間区間の時間波形のピークの時点を脱衣前の心拍のタイミングとして取得する。さらに、心拍取得部104は、受信信号における第3の時間区間の時間波形のピークの時点を脱衣後の心拍のタイミングとして取得する。
(画像取得部101)
画像取得部101は、ユーザの肌を含む画像を取得する。具体的には、画像取得部101は、人の顔又は手を含む肌が撮像された画像である肌画像を取得する。肌画像は、人の同一の箇所を時間的に連続する複数のタイミングに撮像された画像であり、例えば、動画又は複数枚の静止画で構成される。
画像取得部101は、画像を撮像することで肌画像を取得してもよいし、他の装置等により撮像された肌画像のデータを取得することで、肌画像を取得してもよい。画像取得部101は、画像を撮像する場合、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)などのイメージセンサを備えるカメラ等により実現される。
(脈波取得部102)
脈波取得部102は、上述の第2の時間区間の脱衣前の脈波のタイミングおよび上述の第3の時間区間の脱衣後の脈波のタイミングを取得する。具体的には、脈波取得部102は、複数の肌画像における輝度の時間変化に基づいて、脈波のタイミング(以下、脈波タイミングともいう)を取得する。脈波取得部102は、この脈波タイミングの取得のために、まず、各肌画像を、各肌画像が撮像された時刻(time point)と対応付けて、画像取得部101から取得する。
例えば、脈波取得部102は、複数の肌画像において最も輝度の変化が大きい位置を特定し、特定した位置の輝度の時間波形を用いて、脈波タイミングを算出する。または、脈波取得部102は、予め保持する顔又は手のパターンを用いて、複数の肌画像における顔又は手の位置を特定し、特定した位置の輝度の時間波形を用いて、脈波タイミングを算出する。このような算出によって、脈波タイミングが取得される。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の位置における時刻である。所定の位置の例は、輝度の時間波形におけるピーク位置である。例えば、山登り法、自己相関法、および微分関数を用いた方法含む公知の局所探索法を用いて、時間波形におけるピーク位置を得ること(すなわちピーク探索)ができる。脈波取得部102のハードウェアの具体例は、CPUである。
一般に、心臓が収縮することにより、心臓から血液が送り出され、顔又は手などに到達する。ヘモグロビンなどの血液中の成分の量に依存して、撮像した画像における顔又は手の輝度が変化する。つまり、画像中の顔又は手の輝度の時間変化から、血液の移動に関する情報を取得できる。脈波取得部102は、このような情報として脈波タイミングを取得する。
脈波タイミングの取得では、肌画像中の緑色の波長帯の輝度を用いてもよい。可視光の波長範囲を含む光を用いて撮像された画像において、緑色近辺の波長帯の情報に、変化が大きく現れるためである。複数の画素を含む画像において、多くの血液が流入している状態の顔又は手に相当する画素の緑色の波長帯輝度は、少ない血液が流入している状態の顔又は手に相当する画素の緑色の波長帯の輝度と比べて小さい。
図19は、本実施の形態における肌画像の輝度変化の一例を示す。具体的には、図19は、画像取得部101の撮像によって得られた肌画像における頬の領域の赤色成分(R)、緑色成分(G)および青色成分(B)の輝度変化を示す。図19の横軸は時間であり、縦軸は輝度を示している。図19に示す輝度変化は、脈波に起因し、R、GおよびBのそれぞれ輝度が周期的に変化していることがわかる。
日常環境下で肌が撮像される場合、照明による散乱光又は様々な要因によって、肌画像はノイズを含む。よって、撮像された画像にフィルタ等による信号処理を施し、脈波に起因する信号変化を含む肌画像を得てもよい。フィルタの例は、ローパスフィルタである。本実施の形態では、ローパスフィルタを通したGの輝度変化を用いる。
図20は、本実施の形態における脈波タイミングの算出の一例を示す図である。図20の縦軸は輝度であり、横軸は時間である。図20に示す時間波形おいて、時刻t1−t5のそれぞれの点は、変曲点又は頂点である。時間波形における各点は、変曲点と、ピーク(頂点および谷点)とを含む。時間波形に含まれる各点において、前後の時刻の点のいずれよりも輝度が大きい点(頂点)又は小さい点(谷点)の時刻が脈波タイミングである。
図20に示す時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。図20に示す輝度の時間波形において、現在の参照点を時刻t2の点とする。時刻t2の点と、一つ前の時刻t1の点とが比較され、時刻t2の点と、一つ後の時刻t3の点とが比較される。参照点の輝度が、前の時刻の点および後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定される。つまり、参照点がピーク(頂点)であって、その参照点の時刻が脈波タイミングであると判定される。参照点の輝度が、前の時刻の点および後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定される。つまり、参照点はピーク(頂点)ではなく、その参照点の時刻は脈波タイミングではないと判定される。
図20において、時刻t2の点の輝度は時刻t1の点の輝度より大きいが、時刻t2の点の輝度は時刻t3の点の輝度よりは小さいため、否と判定される。次に、参照点が一つインクリメントされ、時刻t3の点が参照点なる。時刻t3の点の輝度は、時刻t3の一つ前の時刻t2の点及び時刻t3の一つ後の時刻t4の点のそれぞれの輝度より大きいため、正と判定される。脈波取得部102は、正と判定された点の時刻を脈波タイミングとして取得する。
脈波取得部102は、上述のような脈波のタイミングを脱衣前および脱衣後において取得する。つまり、脈波取得部102は、肌画像におけるユーザの肌の輝度の時間変化を示す信号における第2の時間区間の時間波形のピークの時点を、脱衣前の脈波のタイミングとして取得する。さらに、脈波取得部102は、肌画像におけるユーザの肌の輝度の時間変化を示す信号における第3の時間区間の時間波形のピークの時点を、脱衣後の脈波のタイミングとして取得する。
また、脈波タイミングの取得では、一般的な脈波(例えば60bpmから180bpm)の知識に基づき、ピーク間隔が例えば333msから1000msの間であることを考慮して脈波タイミングを取得してもよい。これにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点において輝度の比較を行えば、適切な脈波タイミングを取得することができる。つまり、最近に取得された脈波タイミングから333ms以降1000ms以前の範囲にある各点を参照点として用いて上述の輝度の比較行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを取得することができる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。
(血圧算出部105)
血圧算出部105は、脱衣前の心拍のタイミングと脱衣前の脈波のタイミングとの時間差を用いて、ユーザの脱衣前の血圧値を算出する。さらに、血圧算出部105は、脱衣後の心拍のタイミングと脱衣後の脈波のタイミングとの時間差を用いて、ユーザの脱衣後の血圧値を算出する。
つまり、血圧算出部105は、脱衣前と脱衣後のそれぞれにおいて、脈波取得部102で得られた脈波のタイミングと、心拍取得部104で得られた心拍のタイミングとの時間差(脈波伝播時間と呼ぶ)をもとに、ユーザの血圧値を算出する。より具体的には、血圧算出部105は、心拍のタイミングと、当該心拍のタイミングの後に最初に現れる脈波のタイミングとの組み合わせを決定する。そして、血圧算出部105は、その組み合わせにおける心拍のタイミングと脈波のタイミングとの時間差である脈波伝搬時間に対して、例えば所定の係数を乗算または加算することによって、ユーザの血圧値を算出する。
一般的に、心臓が収縮することで血管が流れ始める瞬間から指先などに到達するまでの時間間隔(脈波伝播時間)は、血圧と相関があると言われている。具体的には、血圧が高いほど脈波伝播時間がより短くなり、血圧が低いほど脈波伝播時間がより長くなる。また、これらの関係を所定の近似式で表し、血圧を推定する手法が従来知られている。所定の近似式は、一次関数であってもよいし、複数の一次関数の組み合せであってもよいし、二次以上の関数であってもよい。
本実施の形態では、血圧算出部105は、例えばP=αt+βを、所定の近似式として用いて血圧値Pを算出する。ここで、tは脈波伝播時間であり、α及びβは係数(パラメータ)である。本実施の形態では、例えば、係数α=−0.8、係数β=250とする。
図21は、本実施の形態における、脈波タイミングと心拍タイミングとによる血圧値の算出の説明図である。図21の縦軸は、ミリ波の位相変化(距離変化)と画像の輝度変化であり、横軸は時間である。図21において、心拍のタイミングを白い四角印で示している。各心拍のタイミングは、時刻h1、h2、h3、h4である。図21において、脈波タイミングを白い丸印で示している。各脈波のタイミングは、時刻t1、t2、t3、t4である。
心拍タイミングと脈波タイミングとの間には、時間差がある。
血圧算出部105は、この時間差をもとに血圧値を算出する。例えば、時刻h1とt1との時間差は170msとなっている。血圧算出部105は、P=αt+βにより、血圧値を114mmHg(=−0.8×170+250)と算出する。なお、血圧算出部105は、複数回の脈波伝播時間の平均値を用いてもよい。例えば、本例の場合、計測された4回の脈波伝播時間は170ms、171ms、169ms、および170msである。したがって、血圧算出部105は、それらの平均値を170msと算出し、血圧値を114mmHgと算出する。脈波または心拍のタイミングには誤差を含む場合があり、また日常環境下では、ノイズの影響により精度よくそれらのタイミングを計測することができない場合もある。したがって、複数回の脈波伝播時間を用いることにより、よりロバストな血圧計測が可能となる。血圧算出部105は、算出した血圧値を情報提示部に出力する。
(情報提示部106)
情報提示部106は、脱衣前の血圧値と脱衣後の血圧値との差に基づいて、ユーザに、注意情報を提示する。具体的には、情報提示部106は、脱衣前の血圧値と脱衣後の血圧値との差が第2の閾値以上の場合に、ユーザに、水に入ること(例えば入浴)を控えるように促す注意情報を提示する。
つまり、情報提示部106は、脱衣状態決定部107によって判定された脱衣状態と、血圧算出部105によって算出された血圧値とにより、脱衣動作による血圧変化(血圧上昇度)を検知し、入浴に対する注意喚起内容を決定する。情報提示部106は、この注意喚起内容の決定では、注意喚起をするか否かの判定(注意喚起判定または入浴可否の判定ともいう)を行う。また、情報提示部106は、注意喚起をすると判定したときには、注意喚起としてユーザに提示される情報を決定する。
具体的には、情報提示部106は、血圧変化が条件(a)および条件(b)のいずれかに当てはまる場合は、ユーザに入浴を許可しない。条件(a)は、脱衣開始時から脱衣完了時までの各脱衣動作の前後(第2および第3の時間区間)に計測された血圧の最大値と最小値の差が30mmHg以上となる条件である。30mmHgは上述の第2の閾値である。条件(b)は、脱衣開始時から脱衣完了時までの最大値が150mmHg以上であり、150mmHg以上の血圧が計測された後、脱衣完了時まで継続して150mmHg以上となる条件である。
本実施の形態における注意情報提示装置110は、時系列の任意の位置(タイミング)で血圧を計測しているのではなく、入浴前に最も変化が見られる脱衣による血圧の影響を取得するため、脱衣判定を行いながら、血圧を計測する。ゆえに、情報提示部106は、脱衣に起因する血圧上昇に対して、注意喚起判定を行う。
図22は、情報提示部106における注意喚起判定(入浴可否の判定)の一例を示す。
パターン1では、脱衣が脱衣動作B(例えばシャツを脱ぐ動作)から始まり、ユーザが脱衣動作を行う毎に血圧が上昇している。そして、脱衣開始から脱衣完了までの間の血圧(第2および第3の時間区間での血圧)変動において、合計30mmHg以上の血圧上昇が見られる。この時、血圧変化は条件(a)にあてはまり、情報提示部106は、ユーザの入浴を否とする。
また、パターン2では、大きな血圧変動はないが(血圧変動幅<30mmHg)、ある脱衣動作Aにより、血圧値が150mmHg以上となり、その状態が脱衣完了時点まで継続している。この場合は、血圧変化は条件(b)に当てはまり、情報提示部106は、ユーザの入浴を否とする。ただし、脱衣開始時から150mmHgを超えており、血圧変動幅が20mmHg未満の場合は、情報提示部106は、ユーザは元々の血圧が高い高血圧者であると判断し、入浴温度を下げて入浴するように勧めるなど、注意を促しながら入浴を許可する。
なお、パターン3のように、脱衣動作による血圧変動幅が例えば、20mmHg以上30mmHg未満の場合は、血圧変化は条件(a)にも条件(b)にも当てはまらない。そこで、情報提示部106は、入浴を許可するが、血圧の上昇幅が30mmHgに近いため、入浴温度をぬるめ(38℃)に設定するように勧めるなどの注意喚起を行ってもよい。最後にパターン4のように、脱衣による血圧変動幅が20mmHg以下で、その最大値が150mmHg未満ならば、そのときの血圧変化は条件(a)にも(b)にも当てはまらならいため、情報提示部106は、ユーザの入浴を許可する。
なお、上述の例では、脱衣における血圧変化または最大値で、入浴に対する注意喚起内容を決定したが、これに限ったものではない。例えば、注意情報提示装置110は、入浴時以外の普段時から血圧を計測し、それらの血圧の平均(平均血圧)を記憶しておく。情報提示部106は、普段の平均血圧から30mmHg以上血圧が高くなっている場合、ユーザが平常時より異常な高血圧状態であるため、ユーザの入浴を否としてもよい。
なお、注意喚起判定は、脱衣開始から脱衣終了時までの全体での血圧差または血圧の最大値に基づいて行われているが、これに限ったものではない。本開示は、これまで説明してきたように、脱衣終了直後に加えて、脱衣過程における各脱衣動作を認識できる。さらに、各脱衣動作に対応する血圧の変化を検知できる(図15参照)。そこで、情報提示部106は、脱衣動作に対応する血圧の変化に応じて注意喚起判定を行ってもよい。
具体的には、血圧変化が条件(a)に当てはまっていた場合でも、以下の条件(c)〜(e)の全てを満たしていれば、情報提示部106は、ユーザの入浴を可と判定する。条件(c)は、血圧変動幅が30mmHg以上の期間(山型の血圧変動となる期間)が脱衣開始から脱衣完了までの脱衣シーケンスにおける前半部分にあるという条件である。条件(d)は、血圧の最大値が取得されたとき以降、血圧変化の傾きが、脱衣完了まで負であり続けるという条件である。条件(e)は、脱衣完了時、100mmHg以下まで血圧が下がっているという条件である。ここで、条件(c)において山型が前半部分にあるとは、血圧の最大値と最小値の差が30mmHg以上あり、そのピーク時の瞬間が、脱衣シーケンスの前半にあるということを意味する。時系列でピークの瞬間が前半であるか後半であるかを見る場合は、例えば、シャツを外す脱衣を行う動作Bなどは非常に時間がかかり、動作の時間に対する影響が大きくなってしまう。
なお、山型を見つける手法として、ピーク時の脱衣シーケンスにおける位置、および最大値と最小値との差を挙げたが、これに限ったものではない。例えば、ガウシアンフィッティング等により、統計的に山の形を近似し、ピーク時の瞬間を計測してもよい。この時、動作A,B,Cによって、それぞれの脱衣動作の時間が異なるため、脱衣動作によって、山の横幅を表すパラメータσを調整してもよい。
図23は、情報提示部106における注意喚起判定(入浴可否の判定)の他の例を示す。
図23のパターン1では、ユーザの血圧は、脱衣開始時に90mmHgであったが、脱衣動作B(例えば、シャツを脱ぐ動作)と、脱衣動作A(例えば、肌着を脱ぐ動作)とによって、130mmHgまで上昇している。しかし、その後、ユーザは、脱衣動作C1,C2(例えば、ズボンを脱ぐ動作)と、脱衣動作C1,C2(例えば靴下を脱ぐ動作)とを行うに伴い、寒さに馴れる。これによって、ユーザの血圧は低下し、脱衣終了時点では100mmHgとなっている。例えば、冬場など、寒い脱衣場で衣服を脱ぎ始めると、健康なユーザであっても血圧が上昇することがある。しかし、その後、ユーザが寒さに慣れると、その血圧が下がることがある。パターン1では、閾値を超える血圧上昇(30mmHg以上の血圧上昇)はあったが、その血圧上昇が起こった期間は、脱衣過程(脱衣シーケンス)の前半部分である。つまり、パターン1の場合、脱衣過程に含まれる7つの脱衣動作のうちの、前半の3つの脱衣動作が行われる部分で、血圧変動幅が30mmHg以上となり、条件(c)が満たされている。さらに、その前半の3つの脱衣動作において、血圧が最大となった後、脱衣完了時までの血圧変化は負の傾きを持ち続ける。したがって、パターン1の場合、条件(d)が満たされている。さらに、脱衣完了時には、ユーザの血圧は100mmHg以下まで下がっている。したがって、パターン1の場合、条件(e)が満たされている。このように、パターン1では、条件(c)〜(e)が満たされているため、情報提示部106は、入浴可能と判定する。
また、パターン1の場合、情報提示部106は、例えば、一時的に血圧上昇があった旨の注意喚起を行ってもよい。
なお、条件(c)〜条件(e)が満たされた場合に、入浴を許可するとしたが、これに限ったものではない。例えば、各ユーザにおける、血圧が上昇しやすい動作によって、実際に血圧が上昇したかどうかを考慮に入れた上で、注意喚起の判定を行ってもよい。具体的には、情報提示部106は、データベースに記録されている、ユーザの最も血圧が上昇しやすい脱衣動作を参照する。次に、情報提示部106は、その脱衣動作による血圧上昇が10mmHg未満であり、脱衣完了時に、条件(e)が満たされていれば、入浴に対する注意をユーザに提示しながら、入浴を許可する。
図23のパターン2では、ユーザの血圧は、脱衣開始時に90mmHgであり、そのユーザの最も血圧上昇が起こりやすい脱衣動作Aを経ても、5mmHg以下しか血圧が上昇しない。しかし、脱衣過程の後半の脱衣動作(C2、C1)によって、血圧は130mmHgまで上昇し、その後減少し、脱衣完了時では95mmHgとなっている。このように、パターン2では、データベースに記録されている、血圧が上昇しやすい脱衣動作A以外の動作(例えば脱衣動作C1、C2)も含む複数の脱衣動作によって、血圧が合計30mmHg以上上昇する。しかし、ユーザの最も上昇しやすい動作Aでは、血圧上昇は10mmHg未満である。また、脱衣完了時の血圧は100mmHg以下であるため、条件(e)は満たされている。したがって、情報提示部106は、危険であることをユーザに伝えながら、入浴を許可する。一方で、データベース上において、最も血圧上昇が起こりやすい脱衣動作として脱衣動作C1,C2(例えばズボンを脱ぐ動作)が記録されている場合は、情報提示部106は、入浴不可と判定する。これは、30mmHg以上の血圧変動幅を持つ山のピークが、脱衣過程(脱衣シーケンス)の後半にあるからである。
さらに、脱衣完了後の血圧変化を予測して、注意喚起判定を行ってもよい。具体的には、脱衣完了時の二つ前の第2の時間区間における血圧が、脱衣完了時までに20mmHg以上上昇していた場合を想定する。なお、脱衣完了時の二つ前の第2の時間区間は、脱衣完了から二つ前の脱衣動作が開始される直前の区間であって、以降、基準時点という。上述の場合、脱衣完了後も血圧が上昇すると考えられるため、情報提示部106は、入浴を許可せず、例えば1分後に、血圧算出部105に血圧計測を行わせる。1分後の計測において、血圧上昇が合計30mmHg以上の場合は、情報提示部106は入浴不可と判定する。一方、血圧上昇が合計30mmHg未満に収まっていれば、情報提示部106は、入浴に対する注意をユーザに提示しながら、入浴許可と判定する。
パターン3では、脱衣開始時から上記基準時点まで、血圧変動幅が20mmHg以内に収まっているが、基準時点から脱衣完了時までに、20mmHg以上血圧が上昇している。そして、脱衣完了から1分後の血圧計測で、血圧変動幅は、合計30mmHgを越えている。したがって、情報提示部106は、ユーザの入浴を不可と判定する。
一方、パターン4では、同様に、脱衣開始時から上記基準時点で、血圧変動幅が20mmHg以内に収まっているが、基準時点から脱衣完了時までに、20mmHg以上血圧が上昇している。しかし、脱衣完了から1分間には、血圧は低下し、血圧変動幅は、合計30mmHg未満となっている。したがって、情報提示部106は、例えば、入浴温度をぬるめ(38度)にするように促すなど、ユーザに注意を喚起しながら、入浴許可と判定する。
なお、入浴可否の判定で不可とされたユーザが入浴を希望する場合、情報提示部106は、血圧変動が落ち着き、血圧が安定状態になるまで、ユーザに待機するように促し、血圧が安定すれば入浴許可と判定してもよい。
図24は、図22におけるパターン1によって入浴不可と判定された後に、入浴許可と判定される具体例を示す。パターン1では、脱衣開始から脱衣完了までの間に、30mmHG以上の血圧上昇が観測されたために入浴不可と一度は判定される。しかしその後、徐々に血圧が低下し1分間の安定状態が続けば、情報提示部106は、注意喚起した上で、入浴許可と判定する。また、情報提示部106は、血圧を下げるために、軽い運動を促したり、深呼吸をするよう指示してもよい。
図25は、情報提示部106によって提示される情報の例を示す図である。
図25の(a)に示すように、情報提示部106は、脱衣過程における計測された血圧の変動の様子を表示する。また、情報提示部106は、血圧が急上昇していることを提示し、入浴可否の判定結果として「入浴NG」を提示している。なお、入浴不可の場合、入浴不可という情報提示に加えて、風呂の温度を下げるように促すメッセージを提示してもよい。
一方、図25の(b)に示すように、血圧変動幅が20mmHg以下であるため、情報提示部106は、入浴許可の判定結果として「入浴OK」を提示している。脱衣時の血圧上昇は、脱衣後にある入浴において非常に危険な要素となる。また、血圧は常時変動するため、脱衣の前または後の血圧の測定では、真の血圧上昇過程が分からず危険であるかどうかの判断が難しい。本実施の形態における注意情報提示装置110は、入浴前の脱衣という行動に注目し、画像とミリ波を用いて血圧を測定する非接触血圧測定装置である。また、注意情報提示装置110は、単純に血圧を測定するのではなく、脱衣状態をミリ波を使って判定し、脱衣過程を把握することで脱衣による血圧上昇を確実に特定することができる。これにより、高齢者等の入浴時に起こる脳梗塞または心筋梗塞などの重度の事故を未然に防ぐことが可能となる。
図26に、実施の形態1における注意情報提示装置110の処理の流れを示すフローチャートを示す。
(ステップS001)
信号取得部103は、ユーザで反射された電波を含む受信信号を取得する。なお、この電波は、送信部103aからユーザに向かって送信された電波であって、例えばミリ波である。
(ステップS002)
脱衣状態決定部107は、受信信号において、所定の時間ごとに、ユーザの上半身の動作速度を算出する。脱衣状態決定部107は、受信信号における第1の閾値以上の動作速度を有する時間を第1の時間区間と決定する。脱衣状態決定部107は、第1の時間区間の前の時間であり、受信信号における第1の閾値より小さい動作速度を有する時間を第2の時間区間と決定する。脱衣状態決定部107は、第1の時間区間の後の時間であり、受信信号における第1の閾値より小さい動作速度を有する時間を第3の時間区間と決定する。ここで、第1の時間区間は、ユーザが衣服を脱いでいることを示し、第2の時間区間は、ユーザが衣服を脱ぐ前の時間を示し、第3の時間区間は、ユーザが衣服を脱いだ後の時間を示す。つまり、脱衣状態決定部107は、受信信号から算出されるユーザの動作速度を用いて、上述の第1〜第3の時間区間を決定する。
(ステップS003)
心拍取得部104は、受信信号を用いて、第2の時間区間の脱衣前の心拍のタイミングおよび第3の時間区間の脱衣後の心拍のタイミングを取得する。
(ステップS004)
脈波取得部102は、第2の時間区間の脱衣前の脈波のタイミングおよび第3の時間区間の脱衣後の脈波のタイミングを取得する。
(ステップS005)
血圧算出部105は、脱衣前の心拍のタイミングと脱衣前の脈波のタイミングとの時間差を用いて、脱衣前の血圧値を算出する。さらに、血圧算出部105は、脱衣後の心拍のタイミングと脱衣後の脈波のタイミングとの時間差を用いて、脱衣後の血圧値を算出する。
(ステップS006)
情報提示部106は、脱衣前の血圧値と脱衣後の血圧値との差に基づいて、ユーザに、注意情報を提示する。
図27は、実施の形態1における注意情報提示装置110のより具体的な処理の流れを示すフローチャートである。
(ステップS101)
脱衣状態決定部107は、血圧を計測するか否かを判定する。ここで、血圧を計測しないと脱衣状態決定部107によって判定されると(ステップS101のNO)、注意情報提示装置110は処理を終了する。
(ステップS102)
一方、血圧を計測すると脱衣状態決定部107によって判定されると(ステップS101のYES)、血圧算出部105は、ユーザの血圧を計測する。
(ステップS103)
脱衣状態決定部107は、ユーザの脱衣(脱衣シーケンス)が完了したか否かを判定する。
(ステップS104)
ユーザの脱衣が完了していないと脱衣状態決定部107によって判定されると(ステップS103のNO)、情報提示部106は、ステップS102の計測によって得られた血圧値を記録する。そして、脱衣状態決定部107は、ステップS101からの処理を繰り返し実行する。
(ステップS105)
ユーザの脱衣が完了したと脱衣状態決定部107によって判定されると(ステップS103のYES)、情報提示部106は、ステップS104で記録された血圧値を用いて、ユーザに対する注意喚起があるか否かを判定する。つまり、情報提示部106は、上述の注意喚起判定(入浴可否の判定)を行う。
(ステップS106)
情報提示部106は、ステップS105における注意喚起判定結果と、ステップS104において記録された血圧値に基づく血圧変動を提示する。
図28は、図27のステップS101における、血圧を計測するか否かの判定処理(血圧計測の判定処理)の詳細な流れを示すフローチャートである。
(ステップS201)
まず、脱衣状態決定部107は、信号取得部103によって取得されたミリ波の受信信号を使って、ユーザを検知する。
(ステップS202)
次に、脱衣状態決定部107は、血圧計測を行うか否かを判定するためのフラグがONとなっているか否かを判定する。
(ステップS203)
もし、フラグがOFFであれば(ステップS202のNO)、脱衣状態決定部107は、ユーザが脱衣所に入ったばかりであると判断し、そのフラグをONにする。
(ステップS207)
次に、脱衣状態決定部107は、ステップS203でフラグをONにすると、血圧を計測すると判定する(図27のステップS101のYES)。つまり、このときには、脱衣状態決定部107は、ユーザが衣服を脱ぐ前の時間を示す第2の時間区間を決定している。
(ステップS204)
一方、フラグがONであれば(ステップS202のYES)、脱衣状態決定部107は、ユーザが脱衣所に入ったばかりではないと判断し、脱衣状態を判定する。
(ステップS205)
ここで、脱衣状態決定部107は、ステップS204における脱衣状態の判定結果に基づいて、ユーザが脱衣を開始しているか否かを判定する。つまり、脱衣状態決定部107は、フラグがONにされてからユーザが上述の動作A、B、C1またはC2の脱衣動作を既に行っていれば、ユーザが脱衣を開始していると判定する。
(ステップS206)
脱衣状態決定部107は、ステップS205で脱衣を開始していると判定すると(ステップS205のYES)、ステップS204における脱衣状態の判定結果に基づいて、現在の時間が脱衣動作後の時間区間か否かを判定する。つまり、脱衣状態決定部107は、現在の時間が第3の時間区間か否かを判定する。ここで、脱衣状態決定部107は、現在の時間が脱衣動作後の時間区間ではないと判定すると(ステップS206のNO)、ステップS204からの処理を繰り返し実行する。つまり、このときには、脱衣状態決定部107は、現在、ユーザが上述の動作A、B、C1またはC2の脱衣動作を行っていると判断している。言い換えれば、脱衣状態決定部107は、現在の時間が、ユーザが衣服を脱いでいることを示す第1の時間区間であると判定している。
(ステップS207)
一方、脱衣状態決定部107は、現在の時間が脱衣動作後の時間区間であると判定すると(ステップS206のYES)、血圧を計測すると判定する(図27のステップS101のYES)。
(ステップS208)
また、脱衣状態決定部107は、脱衣を開始していないとステップS205で判定すると(ステップS205のNO)、ユーザは脱衣所に入っただけであるため、フラグをOFFにする。
(ステップS209)
次に、脱衣状態決定部107は、ステップS208でフラグをOFFにすると、血圧を計測しないと判定する(図27のステップS101のNO)。
図29は、図27のステップS102における血圧計測の詳細な流れを示すフローチャートである。
(ステップS301)
心拍取得部104は、信号取得部103によって取得された受信信号に基づいて、ユーザの心拍のタイミングを取得する。
(ステップS302)
画像取得部101は、例えばユーザを撮像することにより、ユーザの肌画像を取得する。
(ステップS303)
脈波取得部102は、取得されたユーザの肌画像に基づいて、ユーザの脈波のタイミングを取得する。
(ステップS304)
血圧算出部105は、取得された心拍のタイミングと脈波のタイミングとの時間差である脈波伝搬時間を算出する。
(ステップS305)
血圧算出部105は、算出された脈波伝搬時間を用いて、ユーザの血圧値を算出する。
図30は、図27のステップS103における、脱衣が完了したか否かの判定処理(脱衣完了の判定処理)の詳細な流れを示すフローチャートである。
(ステップS401)
脱衣状態決定部107は、直前に判定された脱衣動作が動作C(下半身の脱衣のために片足を上げる動作)であるか否かを判定する。
(ステップS404)
脱衣状態決定部107は、脱衣動作が動作CではないとステップS401で判定すると(ステップS401のNO)、脱衣は完了していないと判定する(図27のステップS103のNO)。
(ステップS402)
脱衣状態決定部107は、脱衣動作が動作CであるとステップS401で判定すると(ステップS401のYES)、脱衣順序のパターンが、データベースに登録されている登録パターンに該当するか否かを判定する。
(ステップS403)
脱衣状態決定部107は、登録パターンに該当するとステップS402で判定すると(ステップS402のYES)、脱衣は完了していると判定する(図27のステップS103のYES)。
(ステップS404)
一方、脱衣状態決定部107は、登録パターンに該当しないとステップS402で判定すると(ステップS402のNO)、脱衣は完了していないと判定する(図27のステップS103のNO)。
以上のように、本実施の形態における注意情報提示装置110は、信号取得部103と、脱衣状態決定部107と、心拍取得部104と、脈波取得部102と、血圧算出部105と、情報提示部106とを備える。信号取得部103は、ユーザで反射された電波を含む受信信号を取得する。脱衣状態決定部107は、受信信号から算出されるユーザの動作速度を用いて、第1〜第3の時間区間を決定する。第1の時間区間は、ユーザが衣服を脱いでいることを示す。第2の時間区間は、第1の時間区間の前の時間であり、ユーザが衣服を脱ぐ前の時間を示す。第3の時間区間は、第1の時間区間の後の時間であり、ユーザが衣服を脱いだ後の時間を示す。心拍取得部104は、受信信号を用いて、第2の時間区間の脱衣前の心拍のタイミングおよび第3の時間区間の脱衣後の心拍のタイミングを取得する。脈波取得部102は、第2の時間区間の脱衣前の脈波のタイミングおよび第3の時間区間の脱衣後の脈波のタイミングを取得する。血圧算出部105は、脱衣前の心拍のタイミングと脱衣前の脈波のタイミングとの時間差を用いて、ユーザの脱衣前の血圧値を算出する。血圧算出部105は、脱衣後の心拍のタイミングと脱衣後の脈波のタイミングとの時間差を用いて、ユーザの脱衣後の血圧値を算出する。情報提示部106は、脱衣前の血圧値と脱衣後の血圧値との差に基づいて、ユーザに注意情報を提示する。
これにより、脱衣前の血圧値と脱衣後の血圧値との差、つまり、脱衣動作の前後の血圧値の差に基づいて、注意情報がユーザに提示されるため、脱衣動作に起因する血圧変動に基づく注意情報をユーザに提示することができる。その結果、例えば入浴前に、ユーザに適切な注意情報を提示することができ、ユーザが危険な状態に陥ることを抑えることができる。
また、本実施の形態における脱衣状態決定部107は、受信信号におけるユーザの右の肩の領域およびユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有する時間を第1の時間区間として決定する。
これにより、ユーザが例えばセーターなどの衣服を頭から抜く動作Aが行われる時間が第1の時間区間として決定される。このような動作Aが行われると、ユーザの体感温度が大幅に下がる傾向があり、血圧が他の脱衣動作に比べ上昇しやすい。したがって、このような第1の時間区間の前後の第2および第3の時間区間の血圧値の差に基づいて、注意情報が提示されるため、ユーザに対して危険性に関わる重要な情報を提示することができる。
また、本実施の形態における脱衣状態決定部107は、受信信号におけるユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定する。
これにより、ユーザが例えばシャツなどの衣服を、そのシャツの中央上部のボタンを外して脱ぐような動作Bが行われる時間が第2の時間区間として決定される。したがって、このような動作Bが第1の時間区間で行われたときにも、その第1の時間区間の前後の第2および第3の時間区間の血圧値の差に基づいて、適切な注意情報を提示することができる。
なお、ユーザの中には、通常考えられないパターンで脱衣を行うユーザもいる。そこで、本実施の形態における注意情報提示装置110は、そのユーザによって特異なパターンの脱衣が繰り返し行われると、そのパターンを記憶してもよい。
図31は、脱衣順序の特異なパターンが記憶される例を示す。この脱衣順序の特異なパターンでは、ユーザは、ズボンを脱ぐ動作(動作C1、C2)をした後、上半身に身につけている複数の衣服を一緒に脱ぐ動作(動作A)を行い、最後に靴下を脱ぐ動作(動作C1、C2)を行う。この特異なパターンは、データベースに登録されている4つモデル(登録パターン)のいずれにもあてはまらない。したがって、脱衣状態決定部107は、その特異なパターンの脱衣が行われると、その特異なパターンを一時的に記憶し、そのパターンの脱衣が行われた回数をカウントする。脱衣状態決定部107は、この作業を繰り返し、3回同じパターンが繰り返されれば、データベース上のこれまでのモデルにそのパターンを新たに追加する。
なお、本実施の形態では、脱衣時にユーザが立位であることを前提としているが、これに限ったものではない。例えば、ユーザが椅子に座りながら脱衣を行う際は、脱衣状態決定部107は、座位モードによって脱衣状態を判定する。つまり、脱衣状態決定部107は、座位でのユーザの地上からの高さを測定し、立位時の高さ(身長)との高低差を算出する。そして、脱衣状態決定部107は、算出された高低差分のブロック(領域)を消去し、脱衣状態を判定する。
図32は、座位モードによる脱衣判定の説明図である。
ユーザが座位になることにより、脱衣状態決定部107は、領域(h1、w1)−(h3、w10)を消去する。これにより、脱衣判定に使われる領域は、(h4、w1)−(h20、w10)となる。そして、脱衣状態決定部107の処理プログラムは、h座標の値が3つずつ繰り下がった状態で、つまり、領域(h4、w1)−(h20、w10)を領域(h1、w1)−(h17、w10)として脱衣判定を行う。
図33は、座位のユーザによって行われる脱衣動作の例を示す。
座位では、ユーザはズボンまたは1組の靴下を片足ずつでなく、両足で脱ぐ場合も考えられる。よって、座位モードのフラグが入力されると、脱衣状態決定部107は、図33に示すように、立位の動作A−Cの代わりに、座位の動作A’−C’を動作判定要素として扱う。さらに、脱衣状態決定部107は、立位では不可能な座位の動作D’(両足が同時に離れる動作)を脱衣判定要素として追加する。したがって、脱衣状態決定部107は、座位モードにおける脱衣判定では、ユーザが動作A’〜D’の何れの脱衣動作を行っているかを判定する。
なお、本実施の形態では、主に風呂への入浴時を対象としているが、これに限ったものではない。例えば、プールに入る前または水泳前の脱衣時に、本実施の形態における注意情報提示装置110を用いてもよい。水泳中は血圧が上昇しやすいため、入水前の脱衣時に血圧の上昇変化を見ることは重要である。したがって、本実施の形態では、温水でなく、体温よりも低い温度の水に入る前にも、脱衣動作に応じた重要な血圧変化を捉えることができ、その結果、適切な注意喚起を行うことができる。
(実施の形態2)
次に、本開示の実施の形態2について説明する。
図34は、本開示の実施の形態2における注意情報提示装置の構成を示すブロック図である。本実施の形態における注意情報提示装置110aは、脈波取得部102aと、信号取得部103と、心拍取得部104と、血圧算出部105と、脱衣状態決定部107と、情報提示部106とを備える。
この注意情報提示装置110aは、基本的には、実施の形態1における注意情報提示装置110と同様の機能を備える。しかし、本実施の形態では、脈波取得部102aは、実施の形態1における脈波取得部102と異なる脈波取得方法を用いる。つまり、本実施の形態における脈波取得部102aは、足裏脈波センサを備え、その足裏脈波センサからの出力に基づいてユーザの脈波のタイミングを取得する。
図35は、本実施の形態における注意情報提示装置110aによって脈波タイミングと心拍タイミングを取得する様子を示す。
ユーザは、足裏脈波センサ102bが取り付けられているマットであるセンサマット102cを踏む。このセンサマット102cは例えば脱衣所に敷かれてあり、ユーザによる脱衣は通常、このセンサマット102c上で行われる。したがって、ユーザは、このセンサマット102cを踏みながら脱衣を行う。また、注意情報提示装置110a(本体)は、ユーザで反射されたミリ波の受信信号が取得されるように、そのセンサマット102cの周辺に設置されている。
これにより、脈波取得部102aは、足裏脈波センサ102bからの出力に応じた脈波タイミングを取得する。さらに、実施の形態1と同様、心拍取得部104は、信号取得部103によって取得された受信信号に基づいて心拍タイミングを取得する。そして、脱衣状態決定部107は脱衣判定する。血圧算出部105は、各脱衣動作前(第2の時間区間)または各脱衣動作後(第3の時間区間)における、脈波タイミングと心拍タイミングとの時間差から脈波伝播時間を算出する。そして、血圧算出部105は、その脈波伝搬時間に基づいて血圧値を算出する。情報提示部106は、その血圧変動の様子から、入浴可否を判定する。
(脈波取得部102a)
脈波取得部102aは、足裏脈波センサ102bを用いて脈波のタイミングを算出する手段である。つまり、脈波取得部102aは、ユーザの脈波を検出する脈波センサを備える。そして、脈波取得部102aは、その脈波センサによって検出された脈波を示す信号を用いて、上述の第2の時間区間の脱衣前の脈波のタイミングおよび第3の時間区間の脱衣後の脈波のタイミングを取得する。
本実施の形態では、足裏脈波センサ102bは、脱衣中に使用されるマット(センサマット102c)に取り付けられているが、脱衣場の床に埋め込まれていてもよい。脈波取得部102aは、ユーザの足がこの足裏脈波センサ102bに接触することで、足裏の脈波を示す脈波信号を得ることができる。
図36は、センサマット102cの使用例と構成を示す。図36の(a)に示すように、ユーザが脱衣時にセンサマット102cの上に乗ることで、ユーザの足が足裏脈波センサ102bと接触する。これにより、脈波取得部102aは、足裏脈波センサ102bから足裏の脈波信号を取得し、その脈波信号に基づいて脈波タイミングを取得することができる。
ここで、脱衣時にユーザは、足をセンサマット102cから離す度に、再び同じ場所に足を置くとは限らない。そこで、図37の(b)に示すように、センサマット102cには、複数の足裏脈波センサ102bが取り付けられている。この足裏脈波センサ102bは、光電容積脈波センサと接触センサとを合わせたセンサである。接触センサは、ユーザの身体(例えば足裏)との接触を検知すると、光電容積脈波センサを起動させる。この光電容積脈波センサは、光をユーザの身体に照射し、その身体内部の血管などで反射される光の吸収量の変化などに基づいてユーザの脈波を検出する。そして、光電容積脈波センサは、その検出結果である脈波を示す脈波信号を出力する。
また、ユーザが足をセンサマット102cに置くときに、少なくとも一つの足裏脈波センサ102bが足と接触すれば問題がない。したがって、各足裏脈波センサ102bの間の距離が、例えば、15cm以下となるように、各足裏脈波センサ102bは配置される。これにより、ユーザが足をセンサマット102cに置くときには、何れかの足裏脈波センサ102bが足に接触する。つまり、何れかの足裏脈波センサ102bの接触センサが足に接触する。したがって、センサマット102cに取り付けられた複数の足裏脈波センサ102bのうち、足に接触している足裏脈波センサ102bの光電容積脈波センサが起動する。これにより、ユーザが足をセンサマット102cに乗せれば、いずれかの足裏脈波センサ102bがその足に接触するため、ユーザの脈波信号を取得することができる。
例えば、図36の(b)に示す例の場合、16個の足裏脈波センサ102bのうち、足に接触する4つの足裏脈波センサ102bのそれぞれに含まれる光電容積脈波センサ(以下、単に脈波センサという)i〜ivが起動する。脈波取得部102aは、複数の脈波センサから脈波信号を取得した場合は、脈波の周期が0.5〜1.2秒となっている条件を満たす脈波信号を選択する。
図37は、複数の脈波センサによって得られた脈波信号の例を示す。図37の(a)によって示される脈波信号では、途中から脈波が現れていないため、上記条件が満たされていない。図37の(c)によって示される脈波信号では、脈波の周期(平均周期)が0.5秒より小さいため、上記条件が満たされていない。また、図37の(b)および(d)によって示される脈波信号のそれぞれでは、上記条件が満たされている。そこで、脈波取得部102aは、ピークの数が多い脈波信号、つまり図38の(b)によって示される脈波信号を選択する。脈波取得部102aは、このように選択された脈波信号に基づいてユーザの脈波のタイミングを取得する。
なお、脈波取得部102aは、図37の(a)と(c)によって示される脈波信号しか取得できなかった場合は、(a)のように、少しでも上記条件が満たされている期間が長い脈波信号を選択する。
なお、本実施の形態では、足裏脈波センサ102bの配置を固定したが、これに限ったものではない。例えば、足裏脈波センサ102bは、温度センサによって足の位置を検知し、その検知された足の位置に応じて自らの位置を変え、自動的に足に追従してもよい。
本実施の形態では、足裏の脈波信号を取得すると同時に、足が接地しているかどうかを接触センサにより、検知することができる。そこで、本実施の形態では、前述した脱衣時の動作C(片足が接地していない状態の脱衣動作)を、脱衣状態決定部107に加えて、脈波取得部102aが検知することができる。例えば、ユーザがほとんど動かず靴下を脱いだことが原因となり、脱衣状態決定部107が、動作Cを検知することができない場合がある。このような場合であっても、脈波取得部102aは、どちらの足が接地しているかを検知すること、つまり動作Cを検知することができる。その結果、脱衣状態決定部107は、その脈波取得部102aによる検知結果を受けることによって、ユーザの脱衣完了を判定することができる。
なお、本実施の形態では、接地状態を見る手段として接触センサを用いたが、これに限ったものではない。例えば、フォースプレートを光電容積脈波センサと並列してセンサマット102cまたは床に埋め込むことで、足にかかる力のバランスまたは分布を特定することができ、接地検知が可能になる。
さらに、足裏から脈波信号を取得する際には、一定時間の安定が必要である。つまり、足裏脈波センサ102bにより安定的に脈波信号が取得できている時、ユーザの体はほぼ静止していると考えられる。この特徴を生かすことで、信号取得部103におけるミリ波の受信信号の検知がより高精度になる。例えば、ユーザがセンサマット102cの上に乗り、脱衣を始める。この脱衣過程における、脱衣動作前、脱衣動作後、または脱衣動作の遷移間に関わらず、足裏が足裏脈波センサ102bに接触して安定的な脈波信号の取得が開始されると、それがトリガーになり、信号取得部103は起動する。その結果、信号取得部103は、ユーザの体動による影響を抑えて、受信信号を高精度に取得することができる。
本実施の形態における注意情報提示装置110aの動作フローは、図26〜図30に示す実施の形態1の動作フローとほぼ同様であり、図29のステップS302の処理が異なる。つまり、本実施の形態における注意情報提示装置110aは、ユーザの肌画像を取得する処理の代わりに、光電容積脈波センサ(脈波センサ)を選択する処理を行う。
図38は、脈波センサの選択処理の流れを示すフローチャートである。
(ステップS501)
まず、脈波取得部102aは、ユーザの足が接地していること、つまり、ユーザの足が接触センサに接触していることを検知する。
(ステップS502)
次に、脈波取得部102aは、センサマット102c(または床)に取り付けられている複数個の脈波センサの中から、足の接地により起動している1つ以上の脈波センサを選択する。
(ステップS503)
そして、脈波取得部102aは、脈波の周期が所定範囲(0.5秒〜1.2秒)内に収まっている脈波信号を出力している脈波センサの数が0個かどうかを判定する。
(ステップS504)
ステップS503において、脈波センサの数が0個であると判定されると(ステップS503のYES)、情報提示部106は、センサマット(または床)への乗り直しをユーザに促す注意喚起を行う。そして、脈波取得部102aは、ステップS501からの処理を繰り返し実行する。
(ステップS505)
一方で、ステップS503において、脈波センサの数が1つ以上であると判定されると(ステップS503のNO)、脈波取得部102aは、それらの脈波センサの中から、ピーク数が最多である脈波信号を出力している脈波センサを選択する。
脈波取得部102aは、このように選択された脈波センサから出力される脈波信号に基づいて、ユーザの脈波のタイミングを取得する。
以上のように、実施の形態2では、足裏で脈波信号を検出すると同時に、体の安定性を見ることができる。したがって、その特徴を生かして、ミリ波をより正確に受信することができるため、より正確な心拍タイミングを取得することができる。また、実施の形態2では、足裏で脈波信号を取得するため、カメラでユーザの顔を撮像するよりも、ユーザのプライバシーをより守ることができる。
なお、本開示では、注意喚起について血圧情報を用いているが、これに限ったものではない。例えば、脈波取得部102で取得した脈波タイミングと、心拍取得部104で取得した心拍タイミングから算出した脈波伝播時間を用いて、注意喚起を行うかどうかの判定を行ってもよい。血圧値を用いる際はカフ型で計測することもあるが、本開示は脱衣中および脱衣前後の血圧を測定するため、カフ型を用いる場合、脱衣の妨げとなる。また、脈波伝播時間から推定された血圧値を用いる場合、血圧値を推定するためのモデル式を用いるため、直接、脈波伝播時間で評価するよりも処理コストがかかる。よって、脈波伝播時間を用いてユーザを直接評価することでユーザの状態をいち早く把握し、注意喚起を行うかどうかを伝えることができる。
(実施の形態1の変形例1)
次に、本開示の実施の形態1の変形例1について説明する。
図39は、本発明の実施の形態1の変形例1における注意情報提示装置の構成を示すブロック図である。本実施の形態1の変形例1における注意情報提示装置110bは、画像取得部101と、脈波取得部102と、信号取得部103と、心拍取得部104と、脱衣状態決定部107と、血圧算出部105と、情報提示部106とを備える。さらに、脱衣状態決定部107bは、脱衣開始判定部201と、脱衣経過判定部202と、脱衣終了判定部203とを備える。
なお、本開示の実施の形態1における脱衣状態決定部107は、脱衣開始判定部201と、脱衣終了判定部203とを備えており、本開示の実施の形態1の変形例1においては、脱衣経過判定部を新たな追加ブロックとして備える。
本変形例における注意情報提示装置110bは、基本的には、実施の形態1における注意情報提示装置と同様の機能を備える。さらに、本変形例では、脱衣状態決定部107bは、本実施の形態1における脱衣状態決定部107と異なる処理を行う。特に、本開示の実施の形態1では、脱衣開始判定部201と脱衣終了判定部203で、脱衣の開始と終了のタイミングを計測し、その脱衣の前後の血圧を計測するが、本変形例では、さらに、脱衣の経過における状態も計測し、脱衣経過中の時間が所定の時間を越えた場合は、脱衣経過中の血圧も計測し、計測の状況に応じて顔の画像から手の画像に切り替える信号を脈波取得部に送信する。
図40は、本変形例における注意情報提示装置110bによって、ユーザの脱衣過程を判定する様子を示す。本開示の実施の形態1では、ユーザの脱衣動作を脱衣開始判定部201と脱衣終了判定部203で判定し、その脱衣の前後での血圧の計測を行い、その差に基づいてユーザに注意喚起を行う。しかし、ユーザが脱衣途中で動作を停止した場合、すでに温度変化をユーザが感じたことにより、ユーザの血圧が変化している可能性があり、その時点で血圧が上昇している場合は、注意喚起をして脱衣を中止させることで危険を防ぐことができる。
例えば、セーターや上半身の下着を脱ぐ動作に特徴がある動作Aを行う際に、ユーザの脱衣動作はほぼ完了しているが、頭に衣服が引っかかり、脱衣が完全に完了できない場合がある。例えば、図14(b)、(c)、(d)で動作が停止している状態である。この時、すでにユーザはほぼ脱衣が完了した状態と同じ状態のため、温度変化を感じ、血圧が上昇する可能性がある。したがって、脱衣が完了していなくても、ユーザが脱衣を開始してから、所定の時間、例えば、1分経っても脱衣が完了していない場合、脱衣途中での血圧を計測してもよい。さらにこの時、ユーザの顔は衣服で隠れているため、顔の脈波タイミングは取得できない。
したがって、画像取得部101で認識しているユーザの手から脈波タイミングを取得してもよい。さらに、衣服で顔が隠れている際の手の位置は、ほぼ顔の位置と同じ高さであるため、推定できる血圧値が同じであるという特徴を持つ。したがって、顔から取れる脈波に代わり、手の脈波から脈波タイミングを取り、脈波伝播時間、および血圧を算出することは適当である。しかし、手の脈波タイミングと心拍タイミングから算出される脈波伝播時間と、顔の脈波と心拍タイミングから算出される脈波伝播時間は異なるため、注意を喚起するための脈波伝播時間の閾値や脈波伝播時間から血圧を推定するモデルのパラメータを各部位に応じた数値に調節する。
なお、脱衣経過中において、ユーザの手が顔より高い位置において動作が停止した場合は、心臓における血圧と比較して、手における血圧が低くなってしまうため、算出する脈波伝播時間に対して補正を行ってもよい。例えば、手の位置が顔の頬より50cm高い位置にある場合、同じ高さにある場合と比較して、脈波伝播時間を+20msとしてもよい。
(脱衣状態決定部107b)
脱衣状態決定部107bは、ユーザの脱衣の開始、経過、終了ならびに、脱衣の種類を判定し、状態に応じて画像認識する箇所を顔から手に変更する手段である。なお、脱衣状態決定部107bは本実施の形態1と同じように、脱衣開始判定部と、脱衣終了判定部を備えるが、さらに、本変形例では、脱衣経過判定部を備える。
本変形例における注意情報提示装置110bの動作フローは、図26〜図30に示す実施の形態1の動作フローとほぼ同様であり、図28のS206の処理が異なる。つまり、本変形例における注意情報提示装置110bは、ユーザの脱衣途中過程におけるユーザの状態を見る処理を行い、その状態に応じてさらに、追加の処理を行う。
図41は、本変形例における脱衣状態決定の流れを示すフローチャートである。
まず、脱衣状態を信号取得部103で確認し(ステップ:S204)、脱衣を開始しているか判定する(ステップ:S205)。そして、脱衣が開始された後は、信号取得部103で同様に、脱衣動作が終了し、脱衣動作間の時間区間であるかを判定する(ステップ:S206’)。ここで、脱衣が完了している場合は、脈波取得部102と心拍取得部104から、脈波伝播時間を計測し、血圧算出部105により、血圧を算出する。一方、まだ脱衣が完了していないと判定した場合、脱衣を開始してからの時間を計測し、その経過時間が第3の閾値を超えているか否かを判定する(ステップ:S210)。そして、経過時間が第3の閾値を超えていない場合は、また、脱衣が完了しているかを判定するステップに戻り、経過時間が第3の閾値を超えている場合は、ユーザが行った脱衣動作が動作Aであるか判定する(ステップ:S211)。動作Aでない場合は、ただ、ユーザがゆっくり脱衣を行っていると考えられるため、ステップ:S206’へ戻る。一方、ユーザの脱衣動作が動作Aであった場合、前述したように、脱衣の際に頭が引っかかった状態であることが考えられるため、次に顔が認識できるか判定する(ステップ:S212)。そして、顔が認識できる場合は、まだ動作Aの初期段階で動作を停止していることが考えられるため、ステップ:S206’に戻る。一方で、顔が認識できない場合は、脱衣動作Aの途中で動作が停止しており、すでにユーザは温度変化を感じている(ステップ:S212)。よって、次に脱衣状態決定部107bでユーザの手を認識するよう脈波取得部102に信号を送信し(ステップ:S213)、手から脈波を取得することで、手と心臓の脈波伝播時間から血圧を推定する(ステップ:S207)。
(実施の形態の変形例2)
次に、本実施の形態1の変形例2について説明する。
図42は、本開示の実施の形態1の変形例2における注意情報提示装置の構成を示すブロック図である。本実施の形態1の変形例2における注意情報提示装置110cは、画像取得部101と、脈波取得部102と、眼鏡着脱判定部108と、信号取得部103と、心拍取得部104と、脱衣状態決定部107と、血圧算出部105と、情報提示部106cとを備える。本変形例では、眼鏡着脱判定部108により、ユーザが眼鏡を外したことを認識した後、脈波取得部102より脈波タイミングを取得し、信号取得部103を起動し、脱衣状態決定部107から脱衣状態の判定を開始すると同時に、心拍取得部104より心拍タイミングを取得する。そして、本開示の実施の形態1と同様、脱衣の状態を計測し、その前後における血圧変化を算出する。
図43は、本変形例の概要を説明する図である。本変形例では、眼鏡をかけたユーザが脱衣を行う際、脱衣の前に眼鏡を外すという特徴を利用して、脱衣状態測定のタイミングを調整する。
本開示における実施の形態1は、ユーザが脱衣を開始した場合、最初から最後まで信号取得部103を用いて、脱衣を判定するため、常に本装置は起動し続けなければならないという課題がある。
しかし、ユーザが眼鏡をかけている場合、脱衣の前には必ず眼鏡を外すという特徴があり、眼鏡をかけたユーザが本装置を使用する場合、眼鏡を外したことを認識してから脱衣の判定を開始してもよい。本変形例において、ユーザが眼鏡を外しているか否かは、画像取得部101から顔画像を取得し、眼鏡着脱判定部108において、ユーザの顔の画像認識から、眼鏡の特徴量を抽出し、眼鏡の有無の判定を行う。
なお、本変形例において、ユーザにおける眼鏡の着脱は画像取得部101から得た顔画像を用いて、画像認識を行うとしたが、これに限ったものではない。例えば、信号取得部103から得られたミリ波信号から、眼鏡を外す動作を脱衣状態決定部107に、パターン動作Eとして本装置に記憶させ、パターン認識を行い、マッチング率によって、眼鏡の着脱を判定してもよい。画像で眼鏡の認識を行う際、ユーザは顔を撮像されていることになるため、プライバシーの問題がある。一方で、信号取得部で得たデータを用いて、動作を認識して、ユーザの眼鏡の着脱を判定する場合は、顔を撮像しなくても動作を判定することができる。
画像取得部101でユーザの顔画像を取得し、眼鏡着脱判定部108によって、眼鏡の取り外しが認識された場合、信号取得部103が起動し、脱衣状態の判定を開始する。この場合、ユーザは眼鏡を外す前にすでに、数回脱衣を行っている可能性があるが、動作Aを行う際には、眼鏡が脱衣の邪魔になるため、必ず眼鏡を外す動作を行う。一方で、脱衣順序において動作Bや動作Cの数が減り、特に、下半身の脱衣である動作Cはすでに終えている可能性がある。この時、本開示の実施の形態1においては、動作Cのたびにすべての脱衣が完了したかどうかをユーザに確認していたが、本変形例では、すべての動作Cが眼鏡を外す前に完了していた場合、ユーザの脱衣がすべて完了したかどうか分からない。そこで、本変形例においては、眼鏡を外した後、脱衣状態を判定するたびに、ユーザに対してすべての脱衣が完了したかたずねてもよい。さらに動作Cがすべて完了していた場合、動作Bよりも動作Aの方が、すべての脱衣完了直前に起こる動作の可能性が高いため、本変形例においては、動作Aの脱衣終了後に毎回ユーザにすべての脱衣が完了したどうかを尋ねてもよい。
また、最初の脱衣動作の開始時にユーザが眼鏡を外さなかった場合、ユーザは上半身の脱衣、特に動作Aを始める前に眼鏡を外す可能性が高い。また、前述したように、動作Aは分厚いセーター等を脱ぐ動作や、大きく肌が露出する上半身の下着を脱ぐ動作になるため、最もユーザの血圧が変化しやすい動作である。
したがって、ユーザが眼鏡を外したことを確認後、脱衣動作Aのみを認識し、その前後の血圧を測定して、注意喚起を判定してもよい。
また、眼鏡着脱判定部108において、ユーザが眼鏡を外したことを認識後、脱衣の前後における血圧変化による入浴への注意喚起をするまでに、眼鏡の装着を認識できなかったとき、ユーザは文字等がぼやけて見えるため、情報提示部106cにおける情報提示方法を変更してもよい。例えば、眼鏡を外したら小さい文字を認識することが困難なユーザの場合、情報提示部106cに表示する文字を大きくするなどしてもよい。さらに、眼鏡を外すと、大きな文字も認識できないユーザには、音声で注意喚起内容を伝えてもよい。特に自宅においては、場所の位置になれているため、脱衣時に一度眼鏡を外すと、入浴が完了するまで眼鏡を装着しないユーザが多い。また、ヒートショックのような事故は高齢者が自宅において、一人で入浴する際に起きやすいため、本変形例のように、眼鏡を外したユーザに対して確実に情報提示することは非常に重要である。
本開示は、ユーザの入浴中および入浴前後でのヒートショック事故を事前に予測し、予防するための装置であり、ヒートショックの事故は高齢者に多い。一方で、高齢者の約80%が眼鏡をかけている。したがって、本装置において、ユーザの眼鏡を認識し、その取り外しに応じて、脱衣状態を観測し、その前後における血圧変化から注意喚起を促すのは非常に有用である。
なお、本変形例は、眼鏡をかけるユーザに限定しているが、これに限ったものではない。例えば、ユーザが腕時計を身につける場合、脱衣時に腕時計が邪魔となり、特に上半身の脱衣動作Aの際にひっかかってしまうため外してから脱衣を行う。よって、眼鏡と同様に、腕時計を脱衣全体や脱衣動作Aを起こすトリガーとして用いてもよい。また、ユーザがネックレスを身につけている場合も同様である。ネックレスも、ユーザが動作Aを行う際に、引っかかってしまう恐れがあるため、動作Aの前に取り外す可能性が高い。よって、眼鏡や腕時計と同様、ネックレスも脱衣全体や脱衣動作Aを起こすトリガーとして用いてもよい。
(眼鏡着脱判定部108)
眼鏡着脱判定部108は、ユーザの顔画像から眼鏡を認識し、眼鏡の特徴量データからユーザの眼鏡の着脱行為を判定する手段である。また、眼鏡着脱判定部108は、ユーザが眼鏡を外したことを認識した後、信号取得部103に脱衣判定ならびに心拍タイミング取得、脈波取得部102に脈波タイミング取得を行うように指示を与える。さらに、すべての脱衣状態が完了した時点での眼鏡の着脱状態を情報提示部に送信する。
(情報提示部106c)
情報提示部106cは、ユーザの脱衣前後の血圧変化から、注意喚起内容を決定し、ユーザに注意喚起情報を提示する手段である。なお、情報提示部106cは本開示の実施の形態1と同様の処理を行い、ディスプレイ等の提示設備を備えるが、さらに、本変形例では、眼鏡着脱判定部108から与えられた指示によって、提示内容を変更する処理を行い、音声を出すスピーカーを備える。
本変形例における注意情報提示装置110cの動作フローは、図26〜図30に示す実施の形態1の動作フローとほぼ同様であり、図28のS201からS204への処理が異なる。つまり、本変形例における注意情報提示装置110cは、ユーザの脱衣状態を判定する前に、眼鏡を外したかどうかを判定する処理を追加し、外したことを認識した後、脱衣判定を開始する。
また、図27のS103からS106への処理も異なる。つまり、本変形例における注意情報提示装置110cは、ユーザの脱衣完了時に眼鏡をかけているどうかを判定する処理を追加し、眼鏡の着脱によって、ユーザへの情報提示方法を変更する。
図44は、本変形例における脱衣状態決定の流れを示すフローチャートである。
まず、画像取得部101でユーザが脱衣場に入ったことを認識し、同時にユーザが眼鏡をかけている場合、ユーザの顔画像から眼鏡を認識する(ステップ:S201’)。次に眼鏡着脱判定部108で、ユーザが眼鏡を外したか否かを判定し(ステップ:S210)、外していない場合は、再びユーザがいること、ユーザが眼鏡をかけていることを認識しつづけ、ユーザを検知できなくなった場合は、脱衣場にて脱衣を行わなかったと判定し、血圧を測定せず処理を終了する。一方で、眼鏡を外した場合は、本開示の実施の形態1と同様、脱衣状態を計測し、脱衣動作の終了の度に、血圧を計測すると判定し、この処理を終了する。さらに、眼鏡を外したが、脱衣動作を開始しない場合は、ユーザは洗面台の鏡の前に立っているなど、眼鏡を外しながらも脱衣を行わない状態だと判定してやり、血圧を計測しないとして、本処理を終了する。
図45は、本変形例における情報提示の流れを示すフローチャートである。
まず、脱衣状態決定部107でユーザの脱衣が完了したことを認識し(ステップ:S103)、情報提示部108cで、脱衣前後の血圧変化から注意喚起の有無を判定する(ステップ:S105)。そして、ユーザのすべての脱衣完了時点で眼鏡をかけているかどうかを判定し(ステップ:S107)、もし眼鏡をかけているのであれば、通常通りユーザはディスプレイに表示される情報提示内容を見ることができると考えられるため、注意喚起判定結果をディスプレイに提示する(ステップ:S106)。一方で、すべての脱衣完了後も眼鏡を装着していない場合、ユーザは視界がぼやけて見えにくくなっている可能性が高いため、例えば、音声で注意喚起判定結果をユーザに提示する。
なお、本変形例は、眼鏡をかけたユーザに限定したような処理としたが、これに限ったものではない。例えば、ユーザが眼鏡をかけているか否かをデータベースに記録し、脱衣場に入った時点において顔認識等で個人認証を行い、処理を選択してもよい。また、このデータベースはユーザが追加してもよいし、新たなユーザが脱衣場に入った際に、ユーザに情報の入力を求めてもよい。
(実施の形態3)
本開示の実施の形態3について、説明する。
図46は、本開示の実施の形態3における注意情報提示装置の構成を示すブロック図である。本実施の形態における注意情報提示装置110dは、画像取得部101と、脈波取得部102と、信号取得部103dと、心拍取得部104と、着衣状態決定部109と、血圧算出部105と、情報提示部106dとを備える。本実施の形態では、信号取得部103dによって、ユーザが風呂場から脱衣場に移動したことを検知する。また、着衣状態決定部109は、入浴直後からの着衣状態を判定し、その前後の血圧変化、さらに、第一の着衣までの時間に定期的に血圧を計測するよう指示を与え、入浴後の第一の着衣までとその後の着衣による血圧変化を計測する。そして、情報提示部106dは、血圧算出部105から得た血圧情報と着衣状態決定部109から得た着衣状態情報から、ユーザに注意喚起を行う。
本実施の形態における注意情報提示装置110dは、基本的には、実施の形態1における注意情報提示装置と同様の機能を備える。さらに、本実施の形態では、脱衣状態決定部107に代わって着衣状態決定部109を備え、実施の形態1における脱衣状態決定部107では、ユーザの脱衣を判定したが、本実施の形態における着衣状態決定部109では、入浴直後から行うユーザの着衣判定について処理を行う。また、信号取得部103dは、ユーザが入浴を終え脱衣場に出た瞬間を認識し、ユーザが入浴を終えたことを着衣状態決定部109に指示を与える。そして、着衣状態決定部109が脈波取得部102と、心拍取得部104にそれぞれ指示を与え、入浴直後の脈波タイミングと心拍タイミングを計測する。
次に、着衣状態を判定する手段について説明する。着衣状態を判定する手段は、図10に示すように、実施の形態1における脱衣判定手段と同様、ミリ波信号から速度変化を計測し、着衣動作を判定する。
脱衣動作については、図11に示すように基本動作を動作A、動作B、動作Cの3種類とし、それぞれの動作は、各動作における部位別の特徴的な速度変化で分類したが、着衣動作の判定にも同様の動作判定手段を用いる。脱衣動作手段である動作A,動作B、動作Cに対応する、各着衣動作手段を動作A’、動作B’、動作C’とする。また、図14で説明したような時系列パターンで脱衣動作を判定する手段に対しては、時系列データを逆順したものを、着衣動作を判定する手段とする。
図47は、本実施の形態によって、ユーザの入浴後の着衣を判定する様子を示す。図47(a)は、着衣過程の例を示す。ユーザは入浴直後、まず体を拭いてから着衣を始めるが、入浴直後のユーザは裸の状態のため、体が温度変化を感じやすく、体が冷えを感じ始めると、血圧が上昇する。したがって、脱衣時とは異なり、着衣時は、着衣過程の最初の時点である入浴直後の裸の状態における脈波タイミングと心拍タイミングから血圧を計測することが重要である。また、さらに、入浴直後から着衣を開始するまでの間、時間が経ってしまうと、時間経過によって、ますます血圧は上昇する。したがって、入浴直後から、脱衣を開始するまでの間に、いかに血圧が変化するかを測定することも重要である。そしてその後、脱衣判定と同様に、着衣動作に応じて血圧を計測することで、より細かい注意喚起をユーザに行うことができる。
図47(b)は、入浴直後のユーザの血圧変化の例を示す。脱衣場が寒い場合、入浴直後に脱衣場に入ると、裸であるため、全身の肌でその寒さを感じることになり、血圧が上昇する。図47(b)では、入浴直後にユーザは寒気を感じたことにより、血圧が上昇し、その後着衣過程を経て血圧が下がっていく例を示す。
図47(b)に示すように、入浴直後は着衣しないままでいると、血圧は上昇していく傾向がある。したがって、信号取得部103dによって、入浴直後にユーザが脱衣場に入室したことを認識した後、着衣状態決定部109は、入浴直後と着衣状態の前後だけでなく、第一の着衣があるまでの時間過程において、定期的に血圧を計測し、その変化からユーザに注意を喚起する必要がある。なお、本実施の形態では、動作A’を最初に行うことを第一の着衣とする。ユーザは入浴後、脱衣の順番としてまず下着を履く。しかし、これだけでは肌の多くが露出している状態のため、着衣しているとは言い難い。そして、次に体が冷えないようにユーザは動作A’を行い、上半身の着衣を行う。すなわち、血圧の変化に大きく関係している上半身の着衣に関する動作A’を第一の着衣とする。
具体的には、図48に示すように、信号取得部103dにより、入浴直後にユーザが脱衣場に入室したことを取得し、着衣状態決定部109に送信する。また、この時の時間情報を第1の時間として、同時に送信する。そして、着衣状態決定部109は、信号取得部103dからの信号を得た瞬間に、脈波取得部102と心拍取得部104に指示を送り、脈波タイミングと心拍タイミングを計測し血圧を算出する。また、信号取得部103dからの最初の信号を得た後、着衣状態決定部109は信号取得部103dで取得したユーザの動作信号を用いて着衣を判定するが、同時に、時間経過も計測する。そして、第1の時間からの経過時間が第4の時間区間、例えば、30秒経過する度に、着衣状態決定部109は、血圧を測定すると判定する。
なお、本実施の形態において、ユーザが入浴直後、脱衣場に入室したことを認識するためには、信号取得部103dにおけるミリ波の信号を用いたがこれに限ったものではない。例えば、ミリ波信号は、水分によって吸収されるため、入浴直後で体を拭いていないユーザの場合、取得できる信号が弱い場合がある。したがって、本実施の形態では、画像取得部101におけるカメラで足元のみを撮像することでユーザのプライバシーを守りながら、脱衣場へ入室したかどうかを判定してもよい。または、図49に示すように、水切りマットに埋め込んだセンサ等からユーザを検知してもよい。入浴後のユーザは、足の水を切るため、脱衣場に入る際に、マットに乗って足裏の水を切ることが多い。よって、これに合わせて、例えば、マット内の人感センサや脈波センサを用いることで、ユーザを検知でき、かつ、プライバシーを守ることができる。
次に、注意喚起手段について説明する。
実施の形態1では、脱衣状態を計測し、脱衣による血圧変化によって注意を喚起する。また、実施の形態1では、ユーザが脱衣を始めるまでは、温度変化を感じて血圧が変化する可能性が低いため、特に血圧を計測する必要がない。しかし、本実施の形態では、ユーザが入浴後に脱衣場に再び入室してからは、着衣を開始するまで、ユーザは風呂場と脱衣場の温度変化を敏感に感じることになる。したがって、脱衣場に入室してから着衣を行うまでの血圧を計測し続ける必要があり、その血圧変化に対する注意喚起としては、ユーザに早く着衣を行わせる等の指示となる。
さらに、実施の形態1では、注意喚起内容の情報提示の対象者は主にユーザ自身であるが、本実施の形態では、これに限らない。実施の形態1では、入浴前の脱衣時での血圧変化により、その後の入浴中に起きる可能性が高い急激な血圧低下による事故を予防するために、ユーザ自身に注意喚起を行う。しかし、本実施の形態では、すでにユーザは入浴が完了している状態で、入浴後の脱衣場での急な血圧上昇を抑えることが一つの大きな目的であるため、ユーザ自身に対しても注意喚起を行うが、脱衣場に入室した瞬間に血圧が急上昇してしまい、ユーザが倒れることも想定される。この時、いち早く処置・救助を行うため、ユーザ自身ではなく、例えば、家族等の第3者に情報を提示することが重要となる。
したがって、本実施の形態における情報提示部は、ユーザ自身のみならず、ユーザの周囲の第3者に対して情報提示するという特徴をもつ。
また、本実施の形態における注意喚起内容は、入浴後の血圧変化のみで判定するのではなく、入浴前の血圧変化と合わせて判定することに特徴をもつ。脱衣中での血圧変化での血圧上昇度と、入浴後の脱衣場入室時の血圧から、入浴中の血圧下降度がおおよそ分かり、またその後の血圧上昇度を見ることで、より細かな注意喚起をすることができる。
図50、図51、図52は、入浴後に脱衣場に入室してからのユーザの血圧変化パターンの例を示す。
まず、図50のパターンIでは、入浴前にユーザは90mmHgから115mmHgと、25mmHg血圧が上昇しながらも、再び脱衣場に入室した時には、風呂場への入室直前に比べると、20mmHg血圧が下降していた。そして、第一の着衣を始めるまでの血圧変化が30mmHg以内と、大きく血圧は上昇せず、さらに着衣を重ねることでだんだん血圧が下がっている。
すなわち、脱衣場入室直後の血圧が浴室入室直前の血圧と比較して下回っている、かつ、入浴後、脱衣場に再び入室してから第一の着衣までの血圧上昇が、第4の閾値、例えば、30mmHgより小さければ、情報提示部106dは、ユーザの血圧変化パターンをパターンIとする。
この時、ユーザは入浴により十分に温まることができ、入浴後も体温を維持することができている。よって、情報提示部106dは、ユーザに対して安全であるとディスプレイに常時することで通知する。なお、情報提示部106dでは、パターンIの時にはディスプレイに安全であることを通知するとしたが、これに限ったものではない。安全である場合は、ユーザに本装置を意識してもらう必要がないため、特に指示しなくてもよい。
次に、図50のパターンIIでは、入浴後の脱衣場に入室するまでは、血圧変化が前述のパターンIと同様であるが、脱衣場に入室直後から第一の着衣までに血圧が30mmHg以上上昇している。
すなわち、脱衣場入室直後の血圧が浴室入室直前の血圧と比較して下回っている、かつ、入浴後、脱衣場に再び入室してから第一の着衣を行うまでの血圧上昇が、第4の閾値、例えば、30mmHg以上であれば、情報提示部106dは、ユーザの血圧変化パターンをパターンIIとする。
この時、第一の着衣前の経過時間中における血圧計測により、かなり血圧が急上昇している。急激な血圧変化により、ユーザは非常に危険な状態であるため、情報提示部106dは、ユーザおよび、第3者に情報提示を行う。このとき、ディスプレイには、「早く着衣をしてください。」と提示する。また、第3者には、例えば、第3者の携帯端末にユーザが危険であることを提示してもよい。
図51のパターンIIIでは、脱衣中に血圧が上昇し、入浴直前の血圧が例えば、115mmHgだったユーザが入浴後の脱衣場に入室した際の血圧も同様に115mmHgであり、その後、第一の着衣に至るまでに20mmHg以上血圧が上昇している。
すなわち、脱衣場入室直後の血圧が浴室入室直前の血圧と比較して、第5の閾値、例えば、±5mmHg以内であり、かつ、脱衣場入室直後から第一の着衣までの血圧上昇が第6の閾値、例えば、20mmHg以上であれば、情報提示部106dは、ユーザの血圧変化パターンをパターンIIIとする。
この時、入浴中は体を温めることで血圧が低下することを考慮すると、浴槽を出た後から脱衣場に入室するまでの間に、ユーザはすでに寒さを感じることで血圧が上がっていることが予想できる。すなわち、脱衣場に入室してから第一の着衣までの間に20mmHg以上血圧が上昇していると計測できても、血圧の総上昇量はさらに大きく、30mmHg以上血圧が上昇していることも考えられる。
したがって、パターンIIIにおける注意喚起内容としては、パターンIIと同様に、情報提示部106dは、ユーザが見るディスプレイに、「早く着衣をしてください。」と提示する。また、第3者には、第3者の携帯端末にユーザが危険であることを提示する。
図51のパターンIVでは、パターンIIIと同様に、浴室入室直前の血圧と入浴後の脱衣場に入室した際の血圧がほぼ同じ数値であり、その後、第一の着衣に至るまで血圧はほぼ変わっていない。
すなわち、脱衣場入室直後の血圧が浴室入室直前の血圧と比較して第5の閾値、例えば、±5mmHg以内であり、かつ、入浴直後から第一の着衣までの血圧上昇が第6の閾値20mmHgより小さければ、情報提示部106dは、ユーザの血圧変化パターンをパターンIVとする。
この時、パターンIIIと同様に浴槽を出た後から脱衣場に入室するまでの間に、ユーザはすでに寒さを感じることで血圧が上がっていることが予想されるが、脱衣場に再び入室した後、血圧値はほぼ一定であることから、血圧変動に異常はないと判定する。
したがって、パターンIVにおける注意喚起内容としては、パターンIと同様に、情報提示部106dは、ユーザに対して安全であるとディスプレイに常時することで通知する。
図52のパターンVでは、浴室入室直前の血圧と比較して、脱衣場に入室直後の血圧の方が大きい。
すなわち、脱衣場入室直後の血圧が浴室入室直前の血圧と比較して大きく、その差が第5の閾値より大きい値であれば、情報提示部106dは、ユーザの血圧変化パターンをパターンVとする。
この時、入浴中は二つのことが予想できる。一つ目は、入浴していたにも関わらず、血圧が上昇し続けている状態であり、これは脱衣時の血圧上昇を考慮すると、危険な状態である。さらに、二つ目は、パターンIIIやIVと同様、入浴時に血圧は一度下がったが、入浴後から、脱衣場入室までの間に急激に血圧が上昇していることも考えられ、これも非常に危険な状態である。したがって、パターンVにおける注意喚起内容としては、パターンII, IIIと同様、ユーザもしくは第3者に危険であることを通知する。なお、パターンVでは、脱衣室入室直後にユーザが危険であることが判定できるため、情報提示をするタイミングを脱衣室入室直後に行ってもよい。
なお、情報提示部106dでは、パターンI、IVの時にはディスプレイに安全であることを通知するとしたが、これに限ったものではない。安全である場合は、ユーザに本装置を意識してもらう必要がないため、特に指示しなくてもよい。
なお、情報提示部106dでは、パターンII、III、Vの時にディスプレイに注意喚起内容を提示してユーザに情報提示を行ったが、これに限ったものではない。例えば、暖房器具を作動させ脱衣場の温度を高めてもよい。また、音声によりユーザに注意を呼びかけてもよい。
なお、情報提示部106dにおける第4の閾値、第5の閾値、および第6の閾値はそれぞれ例として、30mmHg、±5mmHg、20mmHgとしているが、これに限ったものではない。例えば、ユーザによって、危険と判断できる閾値は異なるため、ユーザごとに設定してもよい。
なお、本実施の形態では、入浴前の脱衣完了時の血圧と、入浴後の脱衣場に入室する直後の血圧から第一の着衣をするまでの血圧を比較して、注意喚起内容を決定し情報提示部106dにより、ユーザに注意喚起を行ったが、これに限ったものではない。例えば、第一の着衣後もユーザは冷えを感じる可能性があるため、第一の着衣の次の第二の着衣までの血圧を計測し、パターンIおよびパターンIIでは、その血圧変化が第4の閾値を超えているかどうか、パターンIIIおよびパターンIVでは、第6の閾値を超えているかどうかで判定してもよい。
なお、本実施の形態では、入浴後に脱衣場に入ってから、第一の着衣が完了するまでの血圧変化を見て、注意情報提示内容を判定するといったが、これに限ったものではない。第一の着衣が完了する前に、例えば、パターンIIの過程の途中で第4の閾値以上の血圧変化があった場合、第一の着衣が完了前であっても、危険であることをユーザや第3者に対して提示してもよい。
図53〜図54に本実施の形態における注意情報提示装置110dの動作を示すフローチャートを示す。本実施の形態における注意情報提示装置110dは、実施の形態1とは異なり、着衣をするまでの血圧変化から、ユーザや第3者に注意情報を提示することを特徴とする。
図53は、本実施の形態における血圧計測を決定する流れを示すフローチャートである。
まず、信号取得部103dにより、ユーザが風呂場から脱衣場に入った瞬間を捉え(ステップ:S601)、その際の脈波取得部102と心拍取得部104より、脈波タイミングと心拍タイミングをそれぞれ得る。そして血圧算出部105から、脱衣場に入った瞬間の血圧を算出する(ステップ:S602)。次に、タイマーを起動し(ステップ:S603)、脱衣場に入ってからの時間を計測する(ステップ:S604)。そして、着衣状態決定部109より、ユーザが第一の着衣を完了しているかを判定し(ステップ:S605)、完了している場合は、再度、脈波タイミングと心拍タイミングから血圧を算出し(ステップ:S606)、血圧計測を終了する。一方、まだ第一の着衣が完了していない場合、タイマー起動からの計測時間が第7の閾値、例えば、1分を超えているか確認する(ステップ:S607)。ここで、超えていない場合は、継続して時間を計測し、第一の着衣が完了したかどうかを再度判定する処理を行う。また、すでに超えている場合は、その瞬間の脈波タイミングと心拍タイミングから血圧を算出し、同じ処理を第一の着衣が完了するまで繰り返す。
図54は、本実施の形態における情報提示内容決定の流れを示すフローチャートである。
第一の着衣が完了した後、まず、入浴直前と入浴直後の血圧を比較する。そして比較した結果が、第5の閾値以上かどうかを判定する(ステップ:S701)。もし、第5の閾値以上であれば、入浴直後の血圧が入浴直前の血圧と比較して高くなっているか判定する(ステップ:S704)。一方で、第5の閾値より小さければ、脱衣場に入ってから第一の着衣までの血圧変化量が第6の閾値以上かを判定する(ステップ:S703)。そして、S704において、入浴直後の血圧の方が入浴直前の血圧よりも低かった場合、脱衣場に入ってから第一の着衣までの血圧変化が第4の閾値以上かどうかを判定する(ステップ:S705)。さらに、第4の閾値より小さい場合は、ユーザの血圧変化のパターンが、前述したパターンIであると判定し(ステップ:S708)、一方で、第4の閾値以上の場合、パターンIIと判定し、パターンに応じた注意情報を提示する(ステップ:S709)。
S703において、第一の着衣までの血圧変化が第6の閾値よりも小さい場合は、パターンIVと判定し(ステップ:S706)、第6の閾値以上の場合は、パターンIIIと判定し、パターンに応じた注意情報を提示する。
なお、本開示において、姿勢等によってユーザの顔画像を取得できない際には、手の画像を取って脈波タイミングを取得するとしたが、これに限ったものではない。本開示は、動作Aにおける前後の血圧変化に特に注目した。動作Aは、季節によって回数が変わり、例えば、冬場はセーターと下着シャツ等の脱衣により、動作Aを少なくとも二回行うので、一回目の時に動作手段が脈波を取得しにくい姿勢の場合、ユーザにフィードバックを与え、脈波を取得しやすいような姿勢に促してもよい。
以上、一つまたは複数の態様に係る注意情報提示装置および注意情報提示方法について、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
なお、本開示において、ユニット、デバイスの全部又は一部、又は図1および図34に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration) と呼ばれるかもしれない。LSIの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。また、上記各実施の形態の注意情報提示装置などを実現するソフトウエアは、図26〜図30および図38に示すフローチャートに含まれる各ステップをコンピュータに実行させる。
本開示は、例えば入浴前または入水前の脱衣動作による血圧変動に基づいて、注意情報を提示する注意情報提示装置などに利用可能である。
101 画像取得部
102,102a 脈波取得部
103 信号取得部
103a 送信部
103b 受信部
104 心拍取得部
105 血圧算出部
106 情報提示部
110,110a 注意情報提示装置

Claims (19)

  1. ユーザで反射された電波を含む受信信号を取得する信号取得部と、
    前記受信信号から算出される前記ユーザの動作速度を用いて、
    前記ユーザが衣服を脱いでいることを示す第1の時間区間と、
    前記第1の時間区間の前の時間であり、前記ユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、
    前記第1の時間区間の後の時間であり、前記ユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定する脱衣状態決定部と、
    前記受信信号を用いて、前記第2の時間区間の脱衣前の心拍のタイミングおよび前記第3の時間区間の脱衣後の心拍のタイミングを取得する心拍取得部と、
    前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得する脈波取得部と、
    前記脱衣前の心拍のタイミングと前記脱衣前の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣前の血圧値を算出し、前記脱衣後の心拍のタイミングと前記脱衣後の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣後の血圧値を算出する血圧算出部と、
    前記脱衣前の血圧値と前記脱衣後の血圧値との差に基づいて、前記ユーザに、注意情報を提示する情報提示部と、
    を備える、注意情報提示装置。
  2. 前記脱衣状態決定部は、
    前記受信信号における第1の閾値以上の動作速度を有する時間を、前記第1の時間区間とし、
    前記第1の時間区間の前であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第2の時間区間とし、
    前記第1の時間区間の後であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第3の時間区間として
    決定する、
    請求項1に記載の注意情報提示装置。
  3. 前記心拍取得部は、
    前記受信信号における前記第2の時間区間の時間波形のピークの時点を前記脱衣前の心拍のタイミングとし、
    前記受信信号における前記第3の時間区間の時間波形のピークの時点を前記脱衣後の心拍のタイミングとして取得する、
    請求項1に記載の注意情報提示装置。
  4. 前記注意情報提示装置は、さらに、
    前記ユーザの肌を含む画像を取得する画像取得部を備え、
    前記脈波取得部は、
    前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第2の時間区間の時間波形のピークの時点を、前記脱衣前の脈波のタイミングとし、
    前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第3の時間区間の時間波形のピークの時点を、前記脱衣後の脈波のタイミングとして取得する、
    請求項1に記載の注意情報提示装置。
  5. 前記情報提示部は、
    前記脱衣前の血圧値と前記脱衣後の血圧値との差が第2の閾値以上の場合に、前記ユーザに、水に入ることを控えるように促す注意情報を提示する、
    請求項1に記載の注意情報提示装置。
  6. 前記脱衣状態決定部は、
    前記受信信号における前記ユーザの右の肩の領域および前記ユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定する、
    請求項1に記載の注意情報提示装置。
  7. 前記脱衣状態決定部は、
    前記受信信号における前記ユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定する、
    請求項1に記載の注意情報提示装置。
  8. 前記注意情報提示装置は、さらに、
    ユーザの脈波を検出する脈波センサを備え、
    前記脈波取得部は、前記脈波センサによって検出された脈波を示す信号を用いて、前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得する
    請求項1に記載の注意情報提示装置。
  9. 前記脱衣状態決定部は、さらに、脱衣経過判定部を備えており、前記ユーザの右の肩の領域および前記ユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有した後、前記ユーザの両肩の領域を通過する前に、動作速度がゼロになり、脱衣が停止したことを認識する、
    請求項6に記載の注意情報提示装置。
  10. 前記注意情報提示装置は、さらに、眼鏡着脱判定部を備え、前記眼鏡着脱判定部で前記ユーザの眼鏡の着脱を判定し、眼鏡を外した場合に、前記信号取得部および前記脈波取得部を起動させ、前記脱衣状態決定部において、脱衣状態を判定する
    請求項1に記載の注意情報提示装置。
  11. 前記注意情報提示装置は、さらに、着衣状態決定部を備え、前記ユーザの入浴後の着衣状態を判定し、前記血圧算出部によって、前記ユーザの着衣状態前後の血圧を計測する、および、前記信号取得部より前記ユーザが入浴後に脱衣場に入った動作を認識し、その時間を第1の時間とし、前記血圧算出部によって、前記第1の時間における血圧値を計測する
    請求項1に記載の注意情報提示装置。
  12. (a)ユーザで反射された電波を含む受信信号を取得し、
    (b)前記受信信号から算出される前記ユーザの動作速度を用いて、
    前記ユーザが衣服を脱いでいることを示す第1の時間区間と、
    前記第1の時間区間の前の時間であり、前記ユーザが衣服を脱ぐ前の時間を示す第2の時間区間と、
    前記第1の時間区間の後の時間であり、前記ユーザが衣服を脱いだ後の時間を示す第3の時間区間とを決定し、
    (c)前記受信信号を用いて、前記第2の時間区間の脱衣前の心拍のタイミングおよび前記第3の時間区間の脱衣後の心拍のタイミングを取得し、
    (d)前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得し、
    (e)前記脱衣前の心拍のタイミングと前記脱衣前の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣前の血圧値を算出し、前記脱衣後の心拍のタイミングと前記脱衣後の脈波のタイミングとの時間差を用いて、前記ユーザの脱衣後の血圧値を算出し、
    (f)前記脱衣前の血圧値と前記脱衣後の血圧値との差に基づいて、前記ユーザに、注意情報を提示する、
    注意情報提示方法。
  13. 前記(b)において、
    前記受信信号における第1の閾値以上の動作速度を有する時間を、前記第1の時間区間とし、
    前記第1の時間区間の前であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第2の時間区間とし、
    前記第1の時間区間の後であり、かつ、前記受信信号における前記第1の閾値より小さい動作速度を有する時間を、前記第3の時間区間として
    決定する、
    請求項12に記載の注意情報提示方法。
  14. 前記(c)において、
    前記受信信号における前記第2の時間区間の時間波形のピークの時点を前記脱衣前の心拍のタイミングとし、
    前記受信信号における前記第3の時間区間の時間波形のピークの時点を前記脱衣後の心拍のタイミングとして取得する、
    請求項12に記載の注意情報提示方法。
  15. 前記注意情報提示方法は、さらに、
    前記ユーザの肌を含む画像を取得し、
    前記(d)において、
    前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第2の時間区間の時間波形のピークの時点を、前記脱衣前の脈波のタイミングとし、
    前記画像における前記ユーザの肌の輝度の時間変化を示す信号における前記第3の時間区間の時間波形のピークの時点を、前記脱衣後の脈波のタイミングとして取得する、
    請求項12に記載の注意情報提示方法。
  16. 前記(f)において、
    前記脱衣前の血圧値と前記脱衣後の血圧値との差が第2の閾値以上の場合に、前記ユーザに、水に入ることを控えるように促す注意情報を提示する、
    請求項12に記載の注意情報提示方法。
  17. 前記(b)において、
    前記受信信号における前記ユーザの右の肩の領域および前記ユーザの左の肩の領域が、同時に第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定する、
    請求項12に記載の注意情報提示方法。
  18. 前記(b)において、
    前記受信信号における前記ユーザの上半身の中央部の領域が第1の閾値以上の動作速度を有する時間を前記第1の時間区間として決定する、
    請求項12に記載の注意情報提示方法。
  19. 前記注意情報提示方法は、さらに、
    脈波センサによってユーザの脈波を検出し、
    前記(d)において、
    前記脈波センサによって検出された脈波を示す信号を用いて、前記第2の時間区間の脱衣前の脈波のタイミングおよび前記第3の時間区間の脱衣後の脈波のタイミングを取得する
    請求項12に記載の注意情報提示方法。
JP2016105708A 2015-07-17 2016-05-26 注意情報提示装置および注意情報提示方法 Expired - Fee Related JP6726856B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015143388 2015-07-17
JP2015143388 2015-07-17

Publications (2)

Publication Number Publication Date
JP2017023704A true JP2017023704A (ja) 2017-02-02
JP6726856B2 JP6726856B2 (ja) 2020-07-22

Family

ID=57774822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105708A Expired - Fee Related JP6726856B2 (ja) 2015-07-17 2016-05-26 注意情報提示装置および注意情報提示方法

Country Status (3)

Country Link
US (1) US20170014089A1 (ja)
JP (1) JP6726856B2 (ja)
CN (1) CN106343984A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016214876A (ja) * 2015-05-22 2016-12-22 パナソニック株式会社 心拍測定装置、心拍測定方法、及び記録媒体
WO2022196469A1 (ja) * 2021-03-16 2022-09-22 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
WO2024070917A1 (ja) * 2022-09-28 2024-04-04 シャープ株式会社 端末装置および測定方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
CN107408328A (zh) * 2015-03-03 2017-11-28 株式会社技术未来 数字未来现在安全系统、方法和程序
US10115194B2 (en) * 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US10373804B2 (en) * 2017-02-03 2019-08-06 Applied Materials, Inc. System for tunable workpiece biasing in a plasma reactor
EP3488765A1 (en) * 2017-11-22 2019-05-29 Koninklijke Philips N.V. Monitoring activity of a subject
CN110287755A (zh) * 2018-03-19 2019-09-27 广东欧珀移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN112826471B (zh) * 2019-11-05 2023-12-01 深圳市大富智慧健康科技有限公司 血压检测装置、血压检测系统及血压监测方法
CN113357819A (zh) * 2020-03-04 2021-09-07 青岛经济技术开发区海尔热水器有限公司 浴室设备的监控方法、装置、热水器、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005270570A (ja) * 2004-03-26 2005-10-06 Canon Inc 生体情報モニタ装置
JP2012125281A (ja) * 2010-12-13 2012-07-05 Kansai Electric Power Co Inc:The 浴槽システム
JP2014090877A (ja) * 2012-11-02 2014-05-19 Yupiteru Corp 変位測定方法及び変位測定装置
WO2014155750A1 (ja) * 2013-03-29 2014-10-02 富士通株式会社 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP2015054223A (ja) * 2013-09-13 2015-03-23 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0809965B1 (en) * 1995-12-18 2005-01-26 Seiko Epson Corporation Health care device and exercise supporting device
JP4067018B2 (ja) * 2005-03-31 2008-03-26 松下電器産業株式会社 暖房便座
CN101006915A (zh) * 2006-01-26 2007-08-01 香港中文大学 非接触式关键生理参数测量方法
EP2048622A4 (en) * 2006-08-03 2014-08-27 Shima Seiki Mfg DEVICE AND METHOD FOR SIMULATION OF APPAREL AND PROGRAM
AU2008288697A1 (en) * 2007-08-21 2009-02-26 Commonwealth Scientific And Industrial Research Organisation Body movement analysis method and apparatus
JP5631630B2 (ja) * 2010-05-18 2014-11-26 トヨタホーム株式会社 入浴方法アドバイス方法
JP5551013B2 (ja) * 2010-07-30 2014-07-16 トヨタホーム株式会社 環境調整システム
JP2013066581A (ja) * 2011-09-22 2013-04-18 Panasonic Corp トイレ装置
WO2014024104A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
WO2015168700A1 (en) * 2014-05-02 2015-11-05 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracing motion using radio frequency signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005270570A (ja) * 2004-03-26 2005-10-06 Canon Inc 生体情報モニタ装置
JP2012125281A (ja) * 2010-12-13 2012-07-05 Kansai Electric Power Co Inc:The 浴槽システム
JP2014090877A (ja) * 2012-11-02 2014-05-19 Yupiteru Corp 変位測定方法及び変位測定装置
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
WO2014155750A1 (ja) * 2013-03-29 2014-10-02 富士通株式会社 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP2015054223A (ja) * 2013-09-13 2015-03-23 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016214876A (ja) * 2015-05-22 2016-12-22 パナソニック株式会社 心拍測定装置、心拍測定方法、及び記録媒体
WO2022196469A1 (ja) * 2021-03-16 2022-09-22 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
WO2024070917A1 (ja) * 2022-09-28 2024-04-04 シャープ株式会社 端末装置および測定方法

Also Published As

Publication number Publication date
CN106343984A (zh) 2017-01-25
JP6726856B2 (ja) 2020-07-22
US20170014089A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6726856B2 (ja) 注意情報提示装置および注意情報提示方法
JP6493680B2 (ja) 非接触血圧測定装置、及び、非接触血圧測定方法
US9898182B2 (en) Gesture control for monitoring vital body signs
US11950901B2 (en) Systems and methods for assessing gait, stability, and/or balance of a user
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6123885B2 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
EP2323551B1 (en) Fall detection systems and method
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
WO2016065031A1 (en) Pressure wave measurement of blood flow
Merrouche et al. Depth camera based fall detection using human shape and movement
WO2015165332A1 (en) Identification method and device
Srinivasan et al. Towards automatic detection of falls using wireless sensors
Zitouni et al. Design of a smart sole with advanced fall detection algorithm
JP6589994B2 (ja) 行動検知装置、行動検知方法及び行動検知プログラム
EP3549519A1 (en) Method and apparatus for monitoring a subject
Li et al. A wearable sit-to-stand detection system based on angle tracking and lower limb EMG
Guimarães et al. Phone based fall risk prediction
CN204832790U (zh) 监狱犯人专用腕表
Wohlrab et al. Hom-e-call-an enhanced fall detection system based on accelerometer and optical sensors applicable in domestic environment
CN108594873B (zh) 浴缸控制方法及装置
JP7388440B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7314893B2 (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法
Kim et al. Non-Invasive Wi-Fi Sensors For Smart Healthcare
Karthiga et al. Anxiety and Fear based Safety detector using kNN Classification Algorithm
Ranjan et al. Human Context Sensing in Smart Cities

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200610

R151 Written notification of patent or utility model registration

Ref document number: 6726856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees