JP2017209486A - 血圧計測装置 - Google Patents

血圧計測装置 Download PDF

Info

Publication number
JP2017209486A
JP2017209486A JP2017067686A JP2017067686A JP2017209486A JP 2017209486 A JP2017209486 A JP 2017209486A JP 2017067686 A JP2017067686 A JP 2017067686A JP 2017067686 A JP2017067686 A JP 2017067686A JP 2017209486 A JP2017209486 A JP 2017209486A
Authority
JP
Japan
Prior art keywords
user
blood pressure
pulse wave
display
measurement device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017067686A
Other languages
English (en)
Inventor
健太 村上
Kenta Murakami
健太 村上
元貴 吉岡
Mototaka Yoshioka
元貴 吉岡
小澤 順
Jun Ozawa
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017209486A publication Critical patent/JP2017209486A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02125Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684Indicating the position of the sensor on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445Display arrangements, e.g. multiple display units
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

【課題】比較的簡易に血圧を計測することができる腕時計型の血圧計測装置を提供する。【解決手段】血圧計測装置100は、ユーザの手首に接触する環状の腕輪と、腕輪の外表面に配置され、表示面を有するディスプレイと、腕輪の外表面に配置され、ディスプレイの表示面の法線方向に対して傾いた光軸を有し、ユーザの複数の画像を撮像するカメラ11と、腕輪の内表面に配置され、ユーザの手首から脈波を取得する脈波センサ13と、ユーザの血圧を推定する処理回路16と、を備え、処理回路16は、複数の画像におけるユーザの頬の領域の輝度値の時間変化から第一の脈波タイミングを算出し、脈波センサ13によって取得された脈波から第二の脈波タイミングを取得し、第一の脈波タイミングと第二の脈波タイミングとの時間差からユーザの血圧を推定する。【選択図】図4A

Description

ユーザの手首に装着され、ユーザの画像を用いて血圧を計測する血圧計測装置に関する。
特許文献1には、スマートフォン等に搭載されたカメラにより撮像されたユーザの顔及び手の画像を用いて、血圧又は脈拍を計測する装置が開示されている。
また、特許文献2には、腕時計型の装置により取得したユーザの脈波と、ユーザが装置に触れることで得られる心電とを用いて、血圧を算出する装置が開示されている。
国際公開第2014/136310号 特開2012−12581号公報
特許文献1に開示された従来技術では、血圧を計測するために、カメラで手と顔との両方を写さなければならない。その結果、ユーザは、手を顔の横に近づけて画像を撮影する必要があり、不自然なポーズを要求される。
また、特許文献2に開示された従来技術では、ユーザは、血圧を計測するために、装置が装着された手と反対側の手で装置(センサ)に触れる必要がある。したがって、血圧計測のたびにユーザに負担が生じる。
そこで、本開示の非限定的で例示的な一態様は、比較的簡易に血圧を計測することができる腕時計型の血圧計測装置を提供する。
本開示の一態様に係る血圧計測装置は、ユーザの手首に接触する環状の腕輪と、前記腕輪の外表面に配置され、表示面を有するディスプレイと、前記腕輪の外表面に配置され、前記ディスプレイの表示面の法線方向に対して傾いた光軸を有し、前記ユーザの複数の画像を撮像する撮像部と、前記腕輪の内表面に配置され、前記ユーザの手首から脈波を取得する脈波取得部と、前記ユーザの血圧を推定する処理回路と、を備え、前記処理回路は、前記複数の画像における前記ユーザの頬の領域の輝度値の時間変化から第一の脈波タイミングを算出し、前記脈波取得部によって取得された前記脈波から第二の脈波タイミングを取得し、前記第一の脈波タイミングと前記第二の脈波タイミングとの時間差から前記ユーザの血圧を推定する。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc-Read Only Memory)などの不揮発性の記録媒体を含む。
本開示によれば、比較的簡易に血圧を計測することができる。
本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び/又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その1以上を得るために全てが必要ではない。
本開示の基礎となる知見に係る血圧計測装置の外観図である。 本開示の基礎となる知見に係る血圧計測装置の外観図である。 本開示の基礎となる知見に係る血圧計測装置の使用例を示す図である。 実施の形態1に係る血圧計測装置の使用例を示す図である。 実施の形態1に係る血圧計測装置の平面図である。 実施の形態1に係る血圧計測装置の底面図である。 実施の形態1に係る血圧計測装置の断面図である。 実施の形態1に係る脈波センサによる脈波の取得シーンを示す図である。 実施の形態1に係る血圧計測装置とユーザの顔との位置関係を示す図である。 実施の形態1に係る血圧計測装置とユーザの顔との位置関係を示す図である。 実施の形態1に係る血圧計測装置の機能構成を示すブロック図である。 実施の形態1に係る血圧計測装置の処理を示すフローチャートである。 実施の形態1に係る血圧計測装置で用いられるユーザの運動モデルを示す図である。 実施の形態1に係る血圧計測装置で用いられるユーザの運動モデルを示す図である。 実施の形態1に係る血圧計測装置によるユーザへの指示を説明するための図である。 実施の形態1におけるユーザへの指示の表示例を示す図である。 実施の形態1におけるユーザへの指示の表示例を示す図である。 実施の形態1における画像内の領域の決定方法を説明するための図である。 実施の形態1における画像内の領域の決定方法を説明するための図である。 実施の形態1における片目、片耳及び鼻から画像内の領域を決定する手法を示す図である。 顔の画像に含まれる頬領域におけるRGBの輝度の時間変化を示す図である。 実施の形態1における脈波波形のピークの検出を説明するための図である。 実施の形態1における脈波波形のピークの検出を説明するための図である。 画像から算出された脈波タイミングが実際の脈波と連動していることを説明するための図である。 実施の形態1における血圧の推定を説明するための図である。 実施の形態1における表示部が表示する情報の一例を示す図である。 実施の形態1における表示部が表示する情報の一例を示す図である。 実施の形態1における表示部が表示する情報の他の一例を示す図である。 実施の形態1における表示部が表示する情報の他の一例を示す図である。 実施の形態1における表示部が表示する情報の他の一例を示す図である。 実施の形態2に係る血圧計測装置によるユーザへの指示の一例を示す図である。 実施の形態2に係る血圧計測装置によるユーザへの指示の一例を示す図である。 実施の形態3に係る血圧計測装置によるユーザへの指示の一例を示す図である。 実施の形態3に係る血圧計測装置によるユーザへの指示の一例を示す図である。 他の実施の形態に係る血圧計測装置によるユーザへの情報提示の一例を示す図である。 頬画像の輝度の時間変化を示すグラフである。 画像の輝度の時間変化の一回微分結果を示すグラフである。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態における血圧値及び脈拍値の表示例を示す図である。 他の実施の形態において複数の領域の各々から抽出された脈波波形の特徴点を示す図である。 他の実施の形態におけるユーザの姿勢と脈波の伝達ルートとの関係を示す図である。 他の実施の形態においてユーザの姿勢に応じて脈波伝播時間差の補正を行うことを説明するための図である。 他の実施の形態におけるカメラの設置位置を示す図である。 他の実施の形態におけるカメラの設置位置を示す図である。 他の実施の形態における曲面ディスプレイを示す図である。
(本開示の基礎となる知見)
一般的な腕時計に搭載されるカメラは、風景、自分以外の人、あるいは物を撮影することを目的としている。そのため、図1A及び図1Bのように、カメラ1010A、1010Bは、ディスプレイの側方又は上方に取り付けられている。
例えば、図1Bのようにカメラ1010Bがディスプレイの上方に取り付けられている場合、ユーザは、血圧を計測するときに、図2のように血圧計測装置を大きく覗き込まなければ顔の画像を撮影することができない。
そこで、本開示の一態様に係る血圧計測装置は、ユーザの手首に接触する環状の腕輪と、前記腕輪の外表面に配置され、表示面を有するディスプレイと、前記腕輪の外表面に配置され、前記ディスプレイの表示面の法線方向に対して傾いた光軸を有し、前記ユーザの複数の画像を撮像する撮像部と、前記腕輪の内表面に配置され、前記ユーザの手首から脈波を取得する脈波取得部と、前記ユーザの血圧を推定する処理回路と、を備え、前記処理回路は、前記複数の画像における前記ユーザの頬の領域の輝度値の時間変化から第一の脈波タイミングを算出し、前記脈波取得部によって取得された前記脈波から第二の脈波タイミングを取得し、前記第一の脈波タイミングと前記第二の脈波タイミングとの時間差から前記ユーザの血圧を推定する。
この構成によれば、撮像部の光軸を表示面の法線方向に対して傾けて配置することができる。したがって、第一の脈波タイミングの算出に適したユーザの部分を撮像することが容易となり、血圧の推定精度を向上させることができる。
また、本開示の一態様に係る血圧計測装置において、前記ディスプレイの表示面は、上下方向及び左右方向を有し、前記撮像部の光軸は、前記ディスプレイの表示面の上下方向から見たときに、前記法線方向に対して、前記ディスプレイの表示面の左右方向に傾いていてもよい。
この構成によれば、撮像部の光軸を表示面の法線方向に対して左右方向に傾けることができる。したがって、第一の脈波タイミングを算出するための領域を撮像することが容易となり、血圧の推定精度を向上させることができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、さらに、前記ユーザの複数の画像において、前記ユーザの頬の領域を決定し、決定された前記頬の領域の輝度値の時間変化に基づいて、前記第一の脈波のタイミングを算出してもよい。
この構成によれば、頬の領域の輝度値の時間変化に基づいて第一の脈波タイミングを算出することができ、血圧の推定精度を向上させることができる。
また、本開示の一態様に係る血圧計測装置において、さらに、前記処理回路は、前記ユーザの複数の画像において、前記ユーザの頬の領域を決定できるか否かを判定し、前記ユーザの頬の領域を決定できない場合、前記ユーザの複数の画像に基づいて、前記撮像部に対する前記ユーザの顔の相対位置を算出し、前記ユーザの顔の相対位置に基づいて、前記ユーザの顔と前記撮像部との位置関係を変更する指示を前記ディスプレイに表示してもよい。
この構成によれば、画像内においてユーザの頬の領域を決定できない場合に、ユーザの顔の相対位置に基づいて、ユーザの顔と撮像部との位置関係を変更する指示をディスプレイに表示することができる。したがって、ユーザは、顔と撮像部との位置関係を適切に変更することができ、容易にユーザの頬の領域を撮像することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記ユーザの複数の画像に含まれる前記ユーザの目、耳、及び鼻のうちの少なくとも1つの大きさ及び位置に基づいて、前記ユーザの顔の相対位置を算出してもよい。
この構成によれば、ユーザの目、耳、及び鼻のうちの少なくとも1つの大きさ及び位置に基づいて、ユーザの顔の相対位置を比較的容易に算出することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、さらに、目、耳、及び鼻のうちの少なくとも1つを画像から認識するための複数の認識モデルの中から、前記血圧計測装置が前記ユーザの右手首及び左手首のどちらに装着されているか及び前記血圧計測装置が手の平側及び手の甲側のどちらに装着されているかに基づいて認識モデルを選択し、選択された前記認識モデルを用いて、前記ユーザの複数の画像から前記ユーザの目、耳、及び鼻のうちの少なくとも1つを認識してもよい。
この構成によれば、血圧計測装置の装着位置に応じて認識モデルを切り替えることができる。したがって、ユーザの顔の相対位置をより正確に算出することができ、より適切な指示を表示することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記ユーザの複数の画像における前記ユーザの目、耳、及び鼻の少なくとも1つの画像内の位置の時間変化に基づいて、前記血圧計測装置が手の平側及び手の甲側のどちらに装着されているかを判別してもよい。
この構成によれば、目、耳、及び鼻の少なくとも1つの画像内の位置の時間変化に基づいて、血圧計測装置が手の平側及び手の甲側のどちらに装着されているかを判別することができる。したがって、血圧計測装置が自動で装着位置を判別することができ、ユーザによる装着位置の入力等を省略することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記ユーザの複数の画像内の目、耳及び鼻の大きさ及び位置から前記撮像部に対する前記ユーザの顔の距離及び方向を算出し、算出された前記距離及び前記方向に応じて手首の回転及び肘の曲げ伸ばしのうちの少なくとも1つの指示を前記ディスプレイに表示してもよい。
この構成によれば、手首の回転及び肘の曲げ伸ばしのうちの少なくとも1つの指示をディスプレイに表示することができる。したがって、ユーザは、直感的にわかりやすい指示に従って行動することができ、撮像部の相対位置の調整が容易になる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記ユーザの顔の相対位置に応じて、前記ディスプレイに表示する情報の表示角度、表示位置及び表示サイズの少なくとも1つを制御してもよい。
この構成によれば、ユーザの顔の相対位置に応じて、情報の表示角度、表示位置及び表示サイズの少なくとも1つを制御することができる。したがって、ユーザが情報を見るための行動によってユーザの顔の相対位置を制御することができ、より血圧の推定に適したユーザの画像を撮影することが可能となる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記撮像部に対する前記ユーザの顔の距離が所定の閾値距離より大きい場合、前記ディスプレイに表示する情報の表示サイズを小さくしてもよい。
この構成によれば、撮像部に対するユーザの顔の距離が所定の閾値距離より大きい場合、情報の表示サイズを小さくすることができる。これにより、ユーザは、情報を視認するためにディスプレイ及び撮像部に顔を近付けさせることができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、さらに、前記ユーザの複数の画像の輝度値に基づいて、逆光であるか否かを判定し、前記逆光である場合、前記撮像部及び前記ユーザの顔の少なくとも一方を移動させる指示を前記ディスプレイに表示してもよい。
この構成によれば、逆光である場合に、撮像部及びユーザの顔の少なくとも一方を移動させる指示をディスプレイに表示することができる。したがって、逆光を解消して、血圧の推定により適した画像を撮影することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記逆光である場合、前記血圧計測装置の位置を上に移動させる指示を前記ディスプレイに表示してもよい。
この構成によれば、逆光である場合に、血圧計測装置の位置を上に移動させる指示をディスプレイに表示することができる。したがって、光源がユーザの上方にある場合に、逆光を解消することができ、血圧の推定により適した画像を撮影することができる。
また、本開示の一態様に係る血圧計測装置において、前記処理回路は、前記逆光である場合、前記ユーザの体を回転させる指示を前記ディスプレイに表示してもよい。
この構成によれば、逆光である場合に、ユーザの体を回転させる指示をディスプレイに表示することができる。したがって、光源がユーザの側方にある場合に、逆光を解消することができ、血圧の推定により適した画像を撮影することができる。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、以下の実施の形態において、略同一などの表現を用いている場合がある。例えば、略同一は、完全に同一であることを意味するだけでなく、実質的に同一、すなわち、数%程度の誤差を含むことも意味する。
(実施の形態1)
実施の形態1に係る腕時計型の血圧計測装置100について説明する。図3は、実施の形態1における腕時計型の血圧計測装置100の使用例を示す。図3に示すように、血圧計測装置100は、ユーザの手首に装着された状態でユーザの顔の少なくとも一部の画像を撮影し、当該顔の少なくとも一部の画像を用いてユーザの血圧を計測する。
[血圧計測装置の構造]
ここで、図4A〜図4Cを参照して、本実施の形態に係る血圧計測装置100の構造について説明する。図4Aは、実施の形態1に係る血圧計測装置100の平面図である。つまり、図4Aは、血圧計測装置100の外表面を示す。図4Bは、実施の形態1に係る血圧計測装置100の底面図である。つまり、図4Bは、実施の形態1に係る血圧計測装置100の内表面を示す。図4Cは、実施の形態1に係る血圧計測装置100の断面図である。具体的には、図4Cは、図4AのIVC−IVC切断線において、ディスプレイ15の表示面の下方向から見た断面図である。
以降の図において、ディスプレイの表示面の左右方向及び上下方向をそれぞれX方向及びY方向と表し、ディスプレイの表示面の法線方向をZ方向と表す。
血圧計測装置100は、筐体10及びバンド17を備える。筐体10及びバンド17は、ユーザの手首に接触する環状の腕輪を構成する。
[筐体]
筐体10は、金属製あるいは樹脂製であり、バンド17が取り付けられている。筐体10は、カメラ11と、脈波センサ13と、ディスプレイ15と、処理回路16とを備える。
[カメラ]
カメラ11は、筐体10の外表面に配置されている。筐体10の外表面とは、血圧計測装置100がユーザの手首に装着されたときに、ユーザの手首と接触する内表面と反対側の面である。筐体10の外表面は腕輪の外表面の一部分である。
本実施の形態では、図4Aに示すように、カメラ11は、筐体10の外表面の、ディスプレイ15の表示面の左下方に配置されている。具体的には、カメラ11は、ディスプレイ15の中心から7時の方向に配置されている。
図4Cに示すように、カメラ11の光軸は、ディスプレイ15の表示面の上下方向(Y方向)から見たときに、ディスプレイ15の表示面の法線(Z軸)に対して、ディスプレイ15の表示面の左右方向(X方向)に傾いている。例えば、ユーザが左手首の手の甲側に血圧計測装置100を装着する場合、ディスプレイ15の表示面の法線方向に対してユーザの左側に傾いている。つまり、カメラ11の光軸は、ユーザの顔の頬領域を撮像するために、ディスプレイ15の表示面の法線に対してディスプレイ15の左側に傾いている。ディスプレイ15の左側とは、ディスプレイ15に表示される文字の左側である。より具体的には、カメラ11の光軸は、例えば、ディスプレイ15の表示面の法線方向に対して4度〜23度の範囲内の角度で傾いている。
カメラ11は、ユーザの顔における頬領域の画像を撮影する。撮影された画像から脈波の検出が行われる。また、カメラ11は、撮像範囲内にユーザの頬が含まれているかどうかを認識し、認識結果をユーザに通知してもよい。カメラ11は、例えばCCDイメージセンサ又はCMOSイメージセンサを備える。
一般的に、テレビ電話などのアプリケーションにおいてユーザを撮影するためのカメラは、当該ユーザ全体が撮影範囲に含まれるように広角であってもよい。また、例えば携帯電話に付随のカメラのような場合も自分を撮影するために、撮像部が例えば下向きに傾き、ユーザが自身の姿を撮像しやすいようにしている場合がある。しかしながら、本実施の形態におけるカメラ11は、肌領域の輝度変化から脈波を検出することを目的としているため、なるべく望遠で肌の領域がより精度よく撮像されることが望ましく、一方で顔全体及び背景が必ずしも撮像される必要はない。例えば、図5A及び図5Bのように、ユーザがディスプレイ15を見た際の頬と腕との位置関係において、顔全体ではなく、少なくとも鼻と片耳が撮像範囲に入るように、カメラ11の望遠の度合いあるいは画角が設定される。なお、一般的に、図5A及び図5Bにおいて、距離Lは約10cmから40cmであり、幅Wは約10cmから20cmである。このとき、カメラ11の光軸を、ディスプレイ15の表示面の法線方向に対して約4度〜23度傾けることにより、ユーザの頬を効果的に撮像することができる。以上のように、本装置は、撮像部からユーザ自身が顔全体を撮像するのではなく、あくまで本装置の表示部を見るだけで自身の頬領域を撮像できるよう、撮像部が傾いていることが特徴である。これにより、脈拍抽出が行いやすい頬領域の画像を取得できるので、血圧推定精度もよくなる。
なお、カメラ11の光軸の角度は、頬と腕との距離L、鼻から耳までの幅Wによって決められる。まず、画角φは、図5Bに示すように、高さがL及び底辺がWの二等辺三角形の頂角に相当するので、以下の(式1)で表される。
Figure 2017209486
画角φの半分がカメラ11の光軸の傾きとなるので、距離Lが10cmから40cm、幅Wが10cmから20cmである場合に、カメラ11の光軸の角度は、4度以上23度以下となる。
なお、カメラ11の光軸の角度が4度以下又は23度以上である場合、カメラの撮像範囲に頬領域が収まらなくなり、血圧を推定するための脈波の検出が難しくなる。
[脈波センサ]
脈波センサ13は、筐体10の内表面に配置されている。筐体10の内表面とは、血圧計測装置100がユーザの手首に装着されたときに、ユーザの手首に接触する側の面である。筐体10の内表面は腕輪の内表面の一部分である。
脈波センサ13は、ユーザの手首からユーザの脈波を検知する。本実施の形態では、脈波センサ13は、光電容積脈波センサである。図4Bに示すように、脈波センサ13は、発光部13aと、光検出部13bとを備える。
発光部13aは、例えば発光ダイオード(LED)である。発光部13aは、緑色の光を発する。
光検出部13bは、例えばフォトディテクタである。光検出部13bは、ユーザの手首からの反射光を検出する。
血液中のヘモグロビンは、緑色の光を吸収する。したがって、血管の容積の変化に伴って手首における光の吸収量が変化する。そのため、図4Dに示すように、発光部13aから発せられた光の手首からの反射光の量は血管の容積によって変化する。したがって、光検出部13bによって検出される光の量の変化からユーザの手首における容積脈波を検出することができる。
[ディスプレイ]
ディスプレイ15は、例えば液晶ディスプレイ(LED:liquid-crystal display)あるいは有機EL(OLED:organic light-emitting diode)ディスプレイである。ディスプレイ15は、筐体10の外表面に配置されている。ディスプレイ15は、表示面を有し、例えば図4Aに示すように、カメラ11により撮像されたユーザの画像の鏡像をリアルタイムで表示する。ディスプレイ15は、血圧計測装置100により計測されたユーザの血圧値を含む生体情報を表示してもよい。ディスプレイ15は、他の情報(例えば時刻及び日付など)を表示してもよい。
[処理回路]
処理回路16は、筐体10内に収容されており、プロセッサ及びメモリ等を備える。処理回路16は、血圧を計測するための処理を実行する。具体的には、処理回路16は、撮像部101によって撮影された複数の画像におけるユーザの頬の領域の輝度値の時間的な変化から第一の脈波タイミングを算出する。さらに、処理回路16は、脈波センサ13によってユーザの手首から取得された脈波から第二の脈波タイミングを取得する。そして、処理回路16は、第一の脈波タイミングと第二の脈波タイミングとの時間差からユーザの血圧を推定する。なお、これらの処理回路16の処理の詳細については、図面を用いて後述する。
[バンド]
バンド17は、ユーザの手首に巻き付けられる。つまり、バンド17は、ユーザの手首の全周又はその一部を囲う帯状部材である。バンド17は、例えば、樹脂製、金属製又は繊維製の、ストラップあるいはブレスレットである。バンド17は、筐体10と一体に形成されてもよいし、筐体10から取り外し可能であってもよい。
[血圧計測装置の機能構成]
次に、血圧計測装置100の機能構成について説明する。図6は、実施の形態1に係る血圧計測装置100の機能構成を示すブロック図である。図6に示すように、血圧計測装置100は、機能的には、撮像部101と、表示部105と、処理部106とを備える。
撮像部101は、例えばカメラ11によって実現され、複数の画像を時間的に連続して撮影する。撮影された複数の画像は、処理部106に送信される。撮像部101は、複数の画像を撮像したそれぞれの時間(すなわち、撮像時間)を、各画像に関連付けて、処理部106に送信してもよい。
脈波取得部103は、例えば脈波センサ13によって実現され、ユーザの手首から脈波を取得する。ユーザの手首から取得された脈波の情報は、処理部106に送信される。
脈波取得部103は、定常的に脈波を取得し、ピークを検出する。これにより、表示部105は、脈拍数などのバイタルデータを常に表示することができる。
なお、脈波取得部103は、必ずしも、定常的に脈波を取得する必要はない。例えば、画像処理部102が、画像から目、耳及び鼻などの認識に成功したときに、脈波の取得を開始してもよい。これにより、バッテリなどのエネルギー消費を抑えることができる。
表示部105は、例えばディスプレイ15によって実現され、各種情報を表示する。具体的には、表示部105は、例えば撮像部101が撮像しているユーザの画像の鏡像をリアルタイムで表示する。また、表示部105は、計測されたユーザの血圧を表示する。
処理部106は、例えば処理回路16によって実現され、血圧を計測するための処理を実行する。図6に示すように、処理部106は、画像処理部102と血圧推定部104とを備える。
画像処理部102は、撮像部101からユーザの顔の複数の画像と撮像時間を受信し、当該複数の画像から第一の脈波タイミングを算出する。脈波タイミングとは、脈波の波形における特徴点の時刻である。例えば、脈波タイミングは、脈波の波形のピークの時刻である。
血圧推定部104は、第一の脈波タイミングと、脈波取得部103によって取得されたユーザの脈波から得られる第二の脈波タイミングとの時間差からユーザの血圧を推定する。
[血圧計測装置の動作]
次に、以上のように構成された血圧計測装置100の動作について説明する。図7は、実施の形態1に係る血圧計測装置100の処理を示すフローチャートである。
[ステップS101]
まず、撮像部101は、ユーザの複数の画像を経時的に撮影する(S101)。例えば、血圧計測装置100に対するユーザの操作に基づいて、撮像部101は撮影を開始する。
[ステップS102]
続いて、画像処理部102は、撮像領域が適切か否かを判定する(S102)。つまり、画像処理部102は、ユーザの複数の画像において、例えばユーザの頬の領域を決定できるか否かを判定する。例えば、画像処理部102は、画像からユーザの特徴部位(例えば目、耳又は鼻)を認識し、認識結果に基づいて撮像領域が適切か否かを判定してもよい。特徴部位の認識は、どのような認識方法であってもよく、例えば予め保持された特徴部位の画像とのパターンマッチングにより画像から特徴部位が認識されてもよい。
例えば、画像処理部102は、複数の画像に基づいて、ユーザの顔に対するカメラ11の相対位置を算出する。具体的には、画像処理部102は、例えばメモリ(図示せず)に格納されたデータを参照して、画像から認識された特徴部位の大きさから距離Lを算出する。そして、画像処理部102は、算出された距離Lが予め定められた範囲に含まれている場合に、撮像領域が適切であると判定する。予め定められた範囲は、経験的又は実験的に定められればよく、例えば、10cm以上40cm以下である。メモリには、特徴部位の大きさと血圧計測装置100及びユーザの頬間の距離Lとの関係を示すデータが格納されていればよい。
[ステップS103]
撮像領域が適切でないと判定された場合(S102のNo)、処理部106は、ユーザの顔とカメラ11との位置関係の調整を指示し(S103)、ステップS101に戻る。つまり、処理部106は、カメラ11に対するユーザの顔の相対位置に基づいて、ユーザの顔とカメラ11との位置関係を変更する指示を表示部105に表示させる。例えば図8A及び図8Bに示す運動モデルに基づいて、処理部106は、「肩・肘を曲げる」、あるいは「手首をひねる」などの指示を表示部105に表示する。図8Aにおいて、ユーザの肩から肘の長さはl1、肘から本装置までの長さはl2、肩、肘の関節角度はθ1、θ2と表されている。
また、図8Bに示すように、両肩と肘の3点を結ぶ平面を作業平面zと定義する。l1、l2は一定であるため、距離Lはθ1とθ2とで決定される。よって、撮像され画像から認識された特徴部位(例えば目、耳、鼻など)の大きさから導出された距離Lが予め定められた範囲から外れていた場合は、処理部106は、ユーザに対してθ1、θ2の調整を指示する。
なお、θ1よりθ2の方が可動域が大きいため、θ1の調整はユーザに指示されず、θ2の調整(肘の曲げ伸ばし)がユーザに指示されてもよい。例えば、画像から導出された距離Lが予め定められた範囲の下限より小さい場合、処理部106は、ユーザに対して、「肘を伸ばす」、すなわち、θ2を小さくすることを指示する。
具体的には、処理部106は、ユーザの複数の画像に含まれるユーザの目、耳、及び鼻のうちの少なくとも1つの大きさ及び位置に基づいて、カメラ11に対するユーザの顔の相対位置を算出する。相対位置は、例えば、カメラ11とユーザの顔との距離L及びユーザの顔の上下左右のずれによって表される。
例えば、画像から導出された距離Lが予め定められた範囲に含まれていても、画像においてユーザの顔が中心から上下方向にずれている場合、処理部106は、図9Aに示すように、手首のロール方向の回転角度θ3の調整(つまり手首の回転)をユーザに指示する。例えば、ユーザの目、耳、鼻が画像の上部にある場合、処理部106は、図9Bに示すように、内側に手首をひねる指示を表示する。逆に、目、耳、鼻が画像の下部にある場合、処理部106は、図9Cに示すように、外側に手首をひねる指示を表示する。
また、画像においてユーザの顔が中心から左右方向にずれている場合、処理部106は、θ1を調整するようユーザに指示を与えることで、カメラ11に対するユーザの顔の相対位置を制御する。
[ステップS104]
撮像領域が適切であると判定された場合(S102のYes)、画像処理部102は、画像から脈波を検出するための領域を決定する(S104)。具体的には、画像処理部102は、以下に示す脈波を計測するための領域を決定する。
図10A及び図10Bは、画像処理部102における画像内の領域の決定方法を説明するための図である。 例えば、図10Aに示すように、血圧計測装置100が左手首に装着された場合は、撮像部101は、ユーザの顔の左側を撮影する。したがって、画像には、ユーザの左目、左耳及び鼻が含まれる。また、図10Bに示すように、血圧計測装置100が右手首に装着された場合には、画像には、ユーザの右目、右耳及び鼻が含まれる。
そこで、画像処理部102は、画像から片目、片耳及び鼻を認識し、認識結果に基づいて、脈波を検出するための領域を決定する。
図11は、片目、片耳及び鼻から画像内の領域を決定する手法を示す。認識した片耳及び片目間の距離をxとし、片目及び鼻間の距離をyとし、原点を耳の内側端及び鼻の下端によって定義すると、画像処理部102は、脈波を検出するための領域111の左上隅の座標を(x,2y/3)と決定し、当該領域の幅を2x/3と決定し、当該領域の高さを2y/3と決定する。
なお、脈波を検出するための領域の位置はこれに限定されない。ユーザあるいは光の当たり具合等によって脈波を検出しやすい領域が異なるため、ユーザ及び環境に適応して領域を決定してもよい。また、図11に示すように、画像処理部102は、複数の領域(領域111、112)を決定してもよい。
[ステップS105]
画像処理部102は、ステップS104において決定された領域における輝度値から第一の脈波タイミングを算出する(S105)。心臓が収縮することにより、心臓から顔及び手などに血液が送り出される。このとき、心臓の収縮と連動して血管が脈動し、血管の容積が周期的に変化する。
また、撮影した画像において、顔又は手の輝度は、血液中のヘモグロビンの量などに依存して変化する。可視光で撮影した画像では、緑色近傍の周波数帯における輝度の変化が大きい。例えば、多くの血液が顔に滞留している状態(つまり、血管の容積が大きい状態)における顔の緑色(G)の輝度は、少ない血液が顔に滞留している状態(つまり、血管の容積が小さい状態)における顔の緑色(G)の輝度と比べて小さい。
画像処理部102は、この輝度の経時的変化を用いて第一の脈波タイミングを算出する。脈波タイミングとは、脈波の波形における特徴点の時刻である。特徴点の一例は、波形のピークである。例えば、時刻tiに撮像された画像を画像Xi、画像Xiから得た輝度を輝度Iiとした場合(1≦i≦n、i,nは自然数)、「輝度の経時的変化」とは、(ti,Ii)の集合と考えてもよい。輝度の経時的変化を示す波形は、横軸を時刻、縦軸を輝度とした座標系に、各(ti,Ii)をプロットして求めた波形と考えてもよい。
図12は、撮像部101によって撮影された顔の画像に含まれる頬領域におけるRGBの輝度の時間変化を示す。図12において、横軸は時間を表し、縦軸は輝度を表している。図12から分かるように、脈波によって、RGBそれぞれの輝度は、周期的に変化している。画像には散乱光などのノイズが含まれるため、画像信号にフィルタ等の信号処理を施してノイズを除去してもよい。本実施の形態では、画像処理部102は、ローパスフィルタを通したGの輝度を用いて、脈波波形のピークのタイミングを第一のタイミングとして算出する。例えば、画像処理部102は、例えば山登り法などの局所探索法を用いて脈波波形のピークを検出する。
図13A及び図13Bは、脈波波形のピークの検出を説明するための図である。図13Aにおいて、波形上の複数の時刻の点を時刻順に処理する場合に、現在の処理対象の点が時刻t2の点であれば、画像処理部102は、現在の処理対象の点の輝度値と、1つ前の時刻t1の点の輝度値とを比較する。同様に、画像処理部102は、現在の処理対象の点の輝度値と、1つ先の時刻t3の点の輝度値とを比較する。図13Aでは、t2の点の輝度値は、t1の点の輝度値よりは大きいが、t3の点の輝度値よりは小さい。したがって、現在の処理対象の点は、ピークではないと判定し、処理対象の点を1つインクリメントする。その結果、現在の処理対象の点がt3の点となる。t3の点の輝度値は、1つ前のt2の点の輝度値及び1つ先のt4の点の輝度値よりも大きい。したがって、画像処理部102は、t3の点はピークであると判定して、t3を第一の脈波タイミングとして導出する。図13Bは、ローパスフィルタを通したGの輝度のグラフである。図13Bにおいて、白い丸印は、ピーク探索によって算出された第一の脈波タイミングにおける輝度を示している。
図14は、画像から算出された脈波タイミングが実際の脈波と連動していることを説明するための図である。図14において、実線は、光電式指尖脈波計測器によって計測された指先の脈波から算出された脈波タイミングを示す。また、破線は、指先の脈波の計測と同時に撮影された顔の画像から算出された脈波タイミングを示す。縦軸は脈波タイミングの時間間隔(ミリ秒)を示す。脈波タイミングの時間間隔は、一定ではなく、図14では約920msから1050ms間で変動していることが分かる。そして、光電式指尖脈波計測器によって計測された指尖脈波の脈波タイミングと画像から算出された脈波タイミングとは、非常に時間相関が高いことが分かる。このように、画像の輝度変化から、1分間の脈波の回数及び、脈波波形に基づく脈波タイミングが比較的精度よく検出できることが分かる。
[ステップS106]
血圧推定部104は、脈波取得部103で得られた手首の脈波から第二の脈波タイミングを算出する(S106)。第二の脈波タイミングは、第一の脈波タイミングに対応している。なお、第一の脈波タイミングと第二の脈波タイミングの対応付けの方法については後述する。なお、第二の脈波タイミングの算出方法は、第一の脈波タイミングの算出方法と同様の方法、つまり、波形の特徴点から算出してもよい。特徴点の一例は、波形のピークである。波形のピークの検出方法は、図13A,図13Bなどを用いて説明した方法と同様であってもよい。
[ステップS107]
血圧推定部104は、ステップS105で算出された第一の脈波タイミングと、ステップS106で算出された第二の脈波タイミングとの時間差をもとに血圧を推定する。この時間差は、心臓から脈波が伝播する時間が異なる事によって生じる時間であり、脈波伝播時間差と呼ぶ。
一般的に、心臓が収縮し、心臓から指先などに血液が到達するまでの時間(脈波伝播時間)は血圧と相関があると言われている。血圧が高いほど脈波伝播時間がより短くなり、血圧が低いほど脈波伝播時間がより長くなる。また、これらの関係を所定の近似式で表し、血圧を推定する手法が知られている。本実施の形態では、血圧推定部104は、例えば下記の(式2)に従って血圧を推定する。
Figure 2017209486
ここで、tは脈波伝播時間差を表し、α及びβは係数を表す。本実施の形態では、例えば、係数α=−1.5、係数β=185を用いる。
図15は、血圧の推定を説明するための図である。図15において、縦軸は、顔画像の輝度と、手首に装着された光電容積脈波センサにおける照度を示し、横軸は時間を示す。
顔画像の輝度変化から算出された第一の脈波タイミングを白い四角印で表している。第一の脈波タイミングの時刻は、時刻順に、f1、f2、f3、f4、f5、f6である。
また、手首の照度変化から算出された第二の脈波タイミングを白い丸印で示している。第二の脈波タイミングの時刻は、時刻順に、w1、w2、w3、w4、w5、w6である。
第一の脈波タイミングと第二の脈波タイミングとの間には、所定の時間差が生じている。血圧推定部104は、この時間差をもとに血圧を推定する。
血圧推定部104は、第一の脈波タイミング(例えば、f1、f2、f3、f4、f5、f6)と第二の脈波タイミング(例えば、w1、w2、w3、w4、w5、w6)の対応づけを行ってもよい。この対応付けは下記に示す方法で行ってもよい。
血圧推定部104は、S105にて画像処理部102が算出した第一の脈波タイミング(例えば、f1、f2、f3、f4、f5、f6)を画像処理部102から取得する。血圧推定部104は、S106にて血圧推定部104が算出した第二の脈波タイミング(例えば、w1、w2、w3、w4、w5、w6)を保持する。血圧推定部104は、例えば、第一の脈波タイミングに含まれるf3が、w1、w2、w3、w4、w5、w6のうち、どれに対応するかを、例えば以下のように決定する。血圧推定部104は、第一の脈波タイミングのf3について、f3の後の時刻の第二の脈波タイミングのうち、f3に最も近い時刻の第二の脈波タイミングであるw3をf3に対応させる。血圧推定部104は、f3以外の第一の脈波タイミングの各々に対応する第二の脈波タイミングも、上述した方法と同様の方法で決定する。図15に示す例では、血圧推定部104は、f1はw1に対応すると決定し、f2はw2に対応すると決定し、f4はw4に対応すると決定し、f5はw5に対応すると決定し、f6はw6に対応すると決定する。
例えば時刻f1と時刻w1との時間差は50msである。そこで、血圧推定部104は、この時間差を(式2)に代入することより、血圧を110mmHg(=−1.5×50+185)と推定する。なお、脈波伝播時間差は、複数の脈波伝播時間差の平均値を用いてもよい。
例えば、図15では、計測された6回の脈波伝播時間差は、50ms(w1−f1)、45ms(w2−f2)、53ms(w3−f3)、47ms(w4−f4)、52ms(w5−f5)、53ms(w6−f6)である。そこで、血圧推定部104は、平均値である50msを用いて、血圧を110mmHgと推定してもよい。脈波タイミングには誤差を含む場合があり、また日常環境下ではノイズの影響により精度よく脈波タイミングが計測できない場合もある。複数回の脈波伝播時間差を用いることにより、よりロバストな血圧計測が可能となる。
[ステップS108]
表示部105は、画像処理部102及び脈波取得部103から得た脈波、血圧推定部104から得られた血圧値などの健康情報を表示する(S108)。
図16A及び図16Bは、表示部105が表示する情報の一例を示す。血圧が推定された後に、表示部105によって大きく表示されていた顔画像は、図16Aのように縮小される。そして、画像処理部102から得られる輝度の時間変化(つまり脈波の波形)、血圧推定部104が推定した血圧値、及び、画像処理部102又は脈波取得部103によって算出された脈拍値を表示する。
図16Aは、比較的健康な状態(血圧:120mmHg、脈拍:70bpm)を示し、図16Bは、比較的不健康な状態(血圧:140mmHg、脈拍:90bpm)を示す。図16Aのような健康な状態では、その状態を持続させるためのアドバイスを表示する。一方で、図16Bのような不健康な状態では、緊張や疲労により、ストレスが溜まっているかもしれないので、ユーザに対して休息を促すアドバイスを表示する。
図17A〜図17Cは、表示部105が表示する情報の他の一例を示す。具体的には、図17Aは、カメラとユーザの顔との位置関係が良好である場合の表示例を示す。図17Bは、カメラがユーザから見て右側に向いている場合の表示例を示す。図17Cは、カメラがユーザから見て左側に向いている場合の表示例を示す。
図17Aでは、ユーザの顔とカメラ11との相対的な位置関係を変化させなくても高い精度で血圧を計測できるので、表示部105は、血圧値及び脈拍値を正面に向けて表示する。
一方で、図17Bでは、カメラ11が、ユーザから見て右側に向いているので、撮像領域がユーザの右側にずれている。そこで、表示部105は、血圧値及び脈拍値をユーザから見て右向きに傾けて表示する。この場合、ユーザは、表示された血圧値及び脈拍値を見るために、カメラ11をユーザから見て左側に傾けるように手首を動かす、又は、顔をカメラ11に対して右側に移動させる。その結果、カメラとユーザの顔との位置関係が図17Aの関係に近づき、血圧値の計測精度を向上させることができる。
図17Cでは、図17Bとは逆に、カメラ11がユーザから見て左側に向いているので、撮像領域がユーザの左側にずれている。そこで、表示部105は、血圧値及び脈拍値をユーザから見て左向きに傾けて表示する。この場合、ユーザは、表示された血圧値及び脈拍値を見るために、カメラ11をユーザから見て右側に傾けるように手首を動かす、又は、顔をカメラ11に対して左側に移動させる。その結果、カメラとユーザの顔との位置関係が図17Aの関係に近づき、血圧値の計測精度を向上させることができる。
なお、ここでは、撮像領域が左右にずれている場合について説明したが、撮像領域が上下にずれている場合は、表示部105は、血圧値及び脈拍値等の情報を上又は下に向けて表示すればよい。
[効果]
以上のように、本実施の形態に係る血圧計測装置100によれば、カメラ11の光軸を表示面の法線方向に対して左右方向に傾けることができる。したがって、第一の脈波タイミングを算出するためのユーザの顔領域を撮像することが容易となり、血圧の推定精度を向上させることができる。具体的には、ユーザがディスプレイ15に表示された情報を見るための動作によって適切な画像を撮影することができ、比較的簡易に血圧を計測することができる。
また、本実施の形態に係る血圧計測装置100によれば、頬の領域の輝度値の時間変化に基づいて第一の脈波タイミングを算出することができ、血圧の推定精度を向上させることができる。
また、本実施の形態に係る血圧計測装置100によれば、画像内においてユーザの頬の領域を決定できない場合に、ユーザの顔の相対位置に基づいて、ユーザの顔とカメラ11との位置関係を変更する指示をディスプレイに表示することができる。したがって、ユーザは、顔とカメラ11との位置関係を適切に変更することができ、容易にユーザの頬の領域を撮像することができる。
また、本実施の形態に係る血圧計測装置100によれば、血圧計測装置100の装着位置に応じて認識モデルを切り替えることができる。したがって、ユーザの顔の相対位置をより正確に算出することができ、より適切な指示を表示することができる。
また、本実施の形態に係る血圧計測装置100によれば、手首の回転及び肘の曲げ伸ばしのうちの少なくとも1つの指示をディスプレイに表示することができる。したがって、ユーザは、直感的にわかりやすい指示に従って行動することができ、カメラ11の相対位置の調整が容易になる。
(実施の形態2)
実施の形態2では、ユーザの顔に当たる光の量が不足しているときに、撮像部によって撮影された画像の輝度に基づいて、血圧計測装置の位置を移動させるための指示を表示する。
なお、本実施の形態に係る血圧計測装置の構造及び機能構成は、実施の形態1に係る血圧計測装置と同一又は類似であるので、その図示及び説明を適宜省略する。
図18は、実施の形態2に係る血圧計測装置200によるユーザへの指示の一例を示す図である。
室内ならば照明器具からの光、室外ならば太陽からの光がユーザを照らす。したがって、基本的に、光源は、ユーザの上方に位置している。ユーザが血圧計測を行うために血圧計測装置200を用いて頬を撮像するときは、ユーザは、図18の(a)に示すように、カメラを上から覗き込むため、逆光になる可能性が高い。
画像処理部102は、撮像した画像の輝度に基づいて、逆光であるか否かを判断する。
例えば、画像処理部102は、画像における、ユーザの頬のRGBの輝度値、背景の輝度値、頬と背景との輝度値の差分値などに基づいて、逆光であるか否かを判断する。
例えば、背景の輝度値が第一の輝度閾値(例えば輝度範囲0〜255における230)以上であり、かつ、頬画像の緑の輝度値が第二の輝度閾値(例えば120)以下であれば、血圧計測装置200は、図18の(c)に示すように、血圧計測装置200を装着した腕を顔の斜め上の位置に持ってくるようユーザに指示を与えてもよい。ユーザは、ディスプレイ15を見るために顔を上げることで、図18の(b)のように、頬にあたる光量が増える。このとき、カメラ11の向きは、光源方向から遠ざかるため、画像全体の輝度は小さくなる(例えばRGBの輝度平均が200になる)。一方で、ユーザの顔の向きは光源方向により近づくため、頬画像における緑の輝度値は大きくなる(例えば120−240)。その結果、頬画像から算出される第一の脈波タイミングの精度を向上させることができる。
なお、第一の輝度閾値及び第二の輝度閾値は、一定値に限らない。例えば、カメラ11を光源方向に向けて撮影した画像のRGBの輝度値の平均値に基づいて、第一の輝度閾値が決定されてもよい。また、顔全体の平均輝度値に基づいて、第二の輝度閾値が決定されてもよい。
さらに、血圧計測装置200は、ユーザに腕を上げる指示を行っても、画像における頬の輝度値が第三の輝度閾値(例えば180)未満の場合には、図19の(a)のように、逆光が解消されていない可能性がある。そこで、図19の(c)のように、血圧計測装置200は、表示部105に、体を回転する指示を表示させてもよい。ユーザが指示に従って体を回転させることにより、図19の(b)に示すように、頬に当たる光量が増え、脈波タイミングの精度を向上させることができる。
以上のように、本実施の形態に係る血圧計測装置200によれば、逆光である場合に、血圧計測装置100の位置を上に移動させる指示をディスプレイ15に表示することができる。したがって、光源がユーザの上方にある場合に、逆光を解消することができ、血圧の推定により適した画像を撮影することができる。
また、本実施の形態に係る血圧計測装置200によれば、逆光である場合に、ユーザの体を回転させる指示をディスプレイ15に表示することができる。したがって、光源がユーザの側方にある場合に、逆光を解消することができ、血圧の推定により適した画像を撮影することができる。
(実施の形態3)
なお、実施の形態2のように、顔へ当たる光の量を確保するために、手首を上げれば、重力等の影響によって脈波伝播時間が変化するため、血圧の推定精度が低下する場合がある。そこで、実施の形態3では、手首の位置(高さ)に応じて逆光に対する指示の内容を変更する。
なお、本実施の形態に係る血圧計測装置の構造及び機能構成は、実施の形態1に係る血圧計測装置と同一又は類似であるので、その図示及び説明を適宜省略する。
図20及び図21は、実施の形態3に係る血圧計測装置300によるユーザへの指示の一例を示す図である。図20のように、心臓に対する相対的な手首の高さを示す閾値高さ(例えば30度)が予め設定されている。実施の形態2と同様に逆光であると判断された場合、血圧計測装置300は、手首の高さを推定する。処理部106は、例えば、画像内の顔の大きさに基づいて、手首の高さを推定する。ここで、推定された手首の高さを示す値が閾値高さ未満である場合、血圧計測装置300、図20に示すように閾値高さを超えない範囲で手首を上げる指示を表示する。図20では、ユーザの心臓の位置を基準として、水平面と血圧計測装置300の位置とが成す角度が30度を超えない範囲で手首を上げる指示が表示されている。
一方、図21に示すように、既に手首の高さを示す値が閾値高さ以上の場合、血圧計測装置300は、体を回転させる指示を表示する。 以上のように、本実施の形態に係る血圧計測装置300によれば、ユーザの姿勢に応じてユーザへの指示を行うことができ、精度よく血圧推定を行うことが可能となる。
(他の実施の形態)
以上、本開示の1つまたは複数の態様に係る血圧計測装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つまたは複数の態様の範囲内に含まれてもよい。
なお、上記各実施の形態では、血圧計測装置がユーザの左手首の手の甲側に装着される場合を例に説明したが、血圧計測装置の装着位置はこれに限定されない。例えば、稀有圧計測装置は、ユーザの右手首に装着されてもよいし、手首の手の平側に装着されてもよい。この場合、血圧計測装置の装着位置に応じて、画像からユーザの特徴部位を認識するための認識モデルを切り替えてもよい。
例えば、血圧計測装置が左手首に装着されている場合には、ユーザの顔の左側が撮像されるので、血圧計測装置は、左目、左耳及び鼻を特徴部位として認識すればよい。また、血圧計測装置が手首の手の甲側に装着されている場合には、ユーザは、顔を撮影するために手首を内側に回転させる。その結果、上側から下側にユーザの顔が撮像される。つまり、額、頬、顎の順に撮像される。したがって、血圧計測装置は、額が撮像されたタイミングから予め定められた時間経過した後に撮像された頬の画像から第一の脈波タイミングを算出すればよい。
また例えば、血圧計測装置が右手首に装着されている場合には、ユーザの顔の右側が撮像されるので、血圧計測装置は、右目、右耳及び鼻を特徴部位として認識すればよい。また、血圧計測装置が手首の手の平側に装着されている場合には、ユーザは、顔を撮影するために手首を外側に回転させる。その結果、下側から上側にユーザの顔が撮像される。つまり、顎、頬、額の順に撮像される。したがって、血圧計測装置は、顎が撮像されたタイミングから予め定められた時間経過した後に撮像された頬の画像から第一の脈波タイミングを算出すればよい。
なお、血圧計測装置が右手首及び左手首のどちらに装着されているかは、ユーザの入力に基づいて決定されればよい。また、撮影された画像から自動的に判定されてもよい。例えば、撮影された画像に左耳、左目、鼻が含まれているときには、血圧計測装置が左手首に装着されていると判定されればよい。これによれば、一般的な顔全体の認識技術よりは計算量を削減することができる。
なお、上記各実施の形態において、撮像範囲が適切と判定された場合に、血圧計測装置を振動させることにより、ユーザに判定結果を通知してもよい。例えば、図22の(a)及び(b)に示すように、ユーザの特徴部位(ここでは、左耳、左目及び鼻)が認識されたときに、血圧計測装置は筐体を振動させてもよい。
なお、上記各実施の形態において、血圧計測装置は、脈波波形のピークを山登り法で探索していたが、これに限らない。例えば、血圧計測装置は、自己相関法又は微分関数を用いて脈波波形のピークを探索してもよい。つまり、血圧計測装置は、脈波波形のピークが探索できれば、どのような探索方法でピークを探索してもよい。
また、上記各実施の形態において、脈波波形のピークに基づいて脈波タイミングを算出していたが、ピークに限定される必要はない。図23Aは、頬画像の輝度の時間変化(つまり脈波波形)を示すグラフである。図23Aにおいて、p1は、脈波波形のピークを示し、p2は、脈波波形の変曲点を示す。図23Bは、頬画像の輝度の時間変化の一回微分結果を示すグラフである。
このとき、血圧計測装置は、例えば図23Aに示す変曲点p2に基づいて脈波タイミングを算出してもよい。脈波波形の変曲点は、図23Bに示すように、脈波波形の一回微分の極小点に対応する。このように、ピーク以外の特徴点を脈波タイミングの算出に用いることで、よりロバストに脈波タイミングを算出することが可能となる。
また、一般的な脈波(例えば60bpmから180bpm)の知識に基づき、ピーク間隔を例えば1100msから333msの間で探索してもよい。日常環境時にロバストな脈波タイミングの算出が可能となる。
なお、上記各実施の形態においてディスプレイに表示された情報は、一例であり、これに限定されない。血圧計測装置100は、ユーザの手首に装着されるため、ディスプレイの表示面のサイズは制限され、ディスプレイに多くの情報を表示することが困難な場合もある。そこで、図17A〜図17Cの情報の代わりに、例えば、図24A〜図24Cの情報が表示されてもよい。図24A〜図24Cは、血圧値及び脈拍値の表示例を示す。
なお、上記各実施の形態において、撮像領域が左右にずれていた場合に、血圧計測装置は、図17A〜図17Cのように情報を左右に傾けて表示していたが、これに限定されない。例えば、血圧計測装置は、図25A〜図25Cのように、情報の表示位置を左右にずらして表示してもよい。この場合であっても、ユーザが情報を見るために顔又は手首を動かすので、血圧計測装置は、適切な撮像領域の画像を得ることができる。また、顔と血圧計測装置との距離が遠い場合に、図25A〜図25Cに示すように、情報のフォントサイズを小さくしてもよい。これにより、ユーザは情報を視認するために、顔を血圧計測装置に近づけるので、血圧計測装置は、より適切な画像を得ることができる。
なお、上記各実施の形態では、第一の脈波タイミングのためにカメラを用いていたが、照度センサを用いてもよい。
なお、上記各実施の形態では、顔画像における頬の領域の輝度値を用いて第一の脈波タイミングが算出されていたが、これに限ったものではない。例えば、額又は顎の領域の輝度値を用いて第一の脈波タイミングが算出されてもよい。また例えば、額、頬及び顎の領域の任意の組み合わせを用いて第一の脈波タイミングが算出されてもよい。また例えば、頬、額及び顎の領域のうち、最も脈波波形のピークが検出しやすい領域を用いて第一の脈波タイミングが算出されてもよい。例えば、図26に示すように、血圧計測装置は、顔の複数の領域(ここでは、額、両頬及び顎)のいずれかから第一の脈波タイミングを算出してもよい。顔の部位における肌の色合い及び/または光の照度等によって、算出される脈波タイミングの正確さは変わる。そこで、複数の領域から算出される脈波タイミングのうち、最も正確脈波タイミングを血圧の推定に用いることで、血圧の推定精度を向上させることができる。例えば、図26の(a)−(d)では、ピーク間の時間差が0.6秒以上であり、最もピークの数が多い(c)の脈波タイミングが血圧の推定に利用される。
なお、脈波伝播時間差を用いた血圧の推定方法は、上記各実施の形態の推定方法に限定されない。例えば、図26に示すように、複数の領域の各々から特徴点(つまり、第一の脈波タイミング)を抽出し、抽出された特徴点のいずれかが血圧の推定に利用されてもよい。このとき、血圧計測装置は、推定に利用される領域に対応する係数α、βを用いて式2を計算してもよい。係数α、βは、複数の領域ごとに経験的あるいは実験的に予め定められればよい。
また、推定に利用される領域に応じて脈波伝播時間差が補正されてもよい。脈波伝播時間差DPTTは、以下の式で表される。
Figure 2017209486
すなわち、心臓から手首までの脈波伝播時間PTTwristと、心臓から顔までの脈波伝播時間PTTfaceとの差分が、脈波伝播時間差DPTTに相当する。
例えば、図26において、領域bは、領域aより10cm程高い位置にあるので、PTTfaceが大きくなり、DPTTが小さくなる。そこで、領域bから算出された脈波タイミングを用いて血圧を推定する場合には、血圧計測装置は、DPTTから予め定められた時間(例えば5ms)を減算することで脈波伝播時間差を補正してもよい。一方で、領域dは、領域aより6cm程低い位置にあるので、領域dが用いられる場合には、DPTTに予め定められた時間(例えば3ms)を加算することで脈波伝播時間差が補正されてもよい。
なお、上記各実施の形態では、座位や立位において血圧を計測することを想定しているが、これに限ったものではない。例えば、臥位にて血圧が計測されてもよい。この場合は、脈波伝播時間差DPTTに対し、姿勢による補正を行ってもよい。図27の(a)に示すように、座位及び立位では、PTTfaceは重力の影響を受けるが、PTTwristは、重力の影響はほとんど受けない。
一方、臥位では、図27の(b)に示すように、PTT’faceは、重力の影響を受けない。したがって、PTTface>PTT’faceとなる。一方で、心臓から腕までの脈波の伝達ルートは途中に心臓より高い位置を通るため、PTT’wristは重力の影響を受ける。したがって、PTTwrist<PTT’wristとなる。よって、臥位では、立位及び座位よりもDPTTが増加する。そこで、血圧計測装置は、例えば、DPTTに予め定められた時間(例えば20ms)を加算することによりDPTTの補正を行う。
なお、座位及び立位と、臥位との判別は、例えば、血圧装置設置に内蔵されたジャイロセンサを用いて行われればよい。血圧計測装置は、ジャイロセンサにより検知された傾きに基づいて、ディスプレイの表示面が上を向いている(90度±10度)場合に座位又は立位と判別し、ディスプレイの表示面が横を向いている(0度±10度)場合は、臥位と判別する。
なお、複数の臥位が判別されてもよい。図28は、ユーザの姿勢に応じて脈波伝播時間差の補正を行うことを説明するための図である。図28の(a)が座位及び立位の場合を表している。ここでは、(a)が基準である。
図28の(b)は、うつ伏せ状態を表している。(b)では、ユーザは、臥位状態であるが、血圧推定装置を見る動作を行うときに顔を上げる。よって、(a)と比較して、心臓に対する顔の相対位置はわずかに低いが、重力の影響はあまり変わらない。よって、(b)における脈波伝播時間差DPTT_1は、(a)におけるDPTTとほぼ同じである。
図28の(c)の姿勢は、図27の(b)と同じ姿勢である。したがって、前述したように、(c)における脈波伝播時間差DPTT_2は、(a)におけるDPTTより大きくなる。そこで、血圧計測装置は、例えば、算出されたDPTT_2から予め定められた時間(例えば20ms)を減算することで脈波伝播時間差を補正する。
図28の(d)では、左腕は、心臓より下側にあるが、左手首は心臓より上側にある。(d)における脈波伝播時間差DPTT_3は、(a)におけるDPTTに比べ大きくなる。そこで、血圧計測装置は、例えば、算出されたDPTT_3から予め定められた時間(例えば30ms)を減算することで脈波伝播時間差を補正する。
図28の(e)は、仰向け状態を表している。(e)では、手首のは基本的に心臓よりも高い位置にある。そのため、(e)における脈波伝播時間差DPTT_4は、(a)におけるDPTTよりも大きくなる。そこで、血圧計測装置は、例えば、算出されたDPTT_4から予め定められた時間(例えば30ms)を減算することで脈波伝播時間差を補正する。これらのユーザの姿勢は、血圧計測装置の傾きによって判別できる。
なお、上記各実施の形態では、ユーザがカメラを見るたびに、血圧計測が行われるが、これに限ったものではない。例えば、血圧計測装置は、普段は腕時計として機能し、予め定められたジェスチャ入力(例えば二回腕を振る)を受け付ければ、血圧計測が行われるようにしてもよい。
なお、上記各実施の形態において、カメラは、ディスプレイの表示面と平行な面上に配置されていたが、これに限定されない。例えば、図29A及び図29Bに示すように、カメラを設置する筐体10Aのディスプレイ15の周囲に傾斜を設けてもよい。そして、図29Bに示すように、ディスプレイ15の表示文字の下方向から、時計回りに所定の角度(例えば、4度から23度)ずらした位置の傾斜部分にカメラ11Aを配置してもよい。これにより、カメラ11Aの筐体10Aへの取り付けが容易となり、組み立て作業の負荷を軽減することができる。
なお、上記各実施の形態において、ディスプレイ15は、円形状の平面ディスプレイであったが、これに限ったものではない。例えば、ディスプレイは、矩形状の平面ディスプレイであってもよい。また、ディスプレイ15Aは、図30に示すように、曲面ディスプレイであってもよい。この場合、カメラは、ディスプレイ上に配置され、ディスプレイの法線方向から表示文字の左方向に所定の角度、例えば4度から23度のいずれかの角度で傾いて配置されてもよい。
なお、この時、ユーザがディスプレイやディスプレイに配置されたカメラを見ることができる範囲には限界がある。そこで、ディスプレイの範囲を限定してもよい。例えば、図30に示すように、ディスプレイ15A又はディスプレイ15Aに配置されたカメラは、円周方向に−30度から180度までの範囲に設けられればよい。
なお、上記各実施の形態において、カメラ11は、ディスプレイ15の左下方に配置されていたが、これに限定されない。例えば、図1A及び図1Bに示す位置にカメラ11が配置されてもよい。この場合、カメラ11の光軸が、カメラ11が配置された位置に適した方向に向けられれば、上記各実施の形態と同様にユーザの頬を撮像することができる。
なお、上記実施の形態2において、血圧計測装置200は、逆光であるか否かを判定していたが、単に頬の領域の輝度値から指示を行ってもよい。例えば、頬の領域の輝度値が、予め定められた上限輝度閾値より大きい又は予め定められた下限輝度閾値よりも小さい場合に、血圧計測装置200は、ユーザの顔及び血圧計測装置200の少なくとも一方を移動させる指示を行ってもよい。
なお、上記各実施の形態ではユーザと本装置の距離を変化させるために、情報提示部に表示される情報提示内容を変更するとしたが、これに限ったものではない。例えば、本装置からにおいを発してユーザを誘導してもよい。ユーザの距離に応じて、もっと近づけたい場合は、ユーザが好むにおいを抽出し、腕に取り付けられた本装置を近づけるようにしてもよい。一方で、ユーザと本装置の距離を遠ざけたい場合は、ユーザが嫌がるにおいを出してもよい。
なお、本開示では、ユーザの頬を撮像するために、本装置の撮像部を傾けて取り付けるとしたが、これに限ったものではない。ユーザの頬領域を取得するために、得られた画像にマスクをかけてもよい。例えば、撮像部で得られた顔画像から、目、耳、鼻等の特徴点を認識し、その部分のデータを削除し残った肌部分のデータの輝度変化から、脈波を抽出してもよい。これにより、撮像した画像が完全にユーザの頬を捉えられていない場合であっても、見えている肌画像からユーザの脈波を抽出することができる。また、ハード的にマスクをつけて頬領域を限定してもよい。例えば、ユーザが左腕に本装置を取り付ける場合、ユーザから見て撮像部の右側半分にマスクをかけてもよい。これにより、得られる画像における余分な情報量が減るため、より脈波成分を精度よく取得できるようになる。
本開示において、ユニット、デバイスの全部又は一部、又は図6に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSI又はICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration) と呼ばれるかもしれない。LSIの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はLSI内部の素子の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエアは、処理装置(processor)はソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェースを備えていても良い。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムを実行するとしてもよい。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
腕時計型の血圧計測装置として利用できる。
10、10A 筐体
11、11A カメラ
13 脈波センサ
13a 発光部
13b 光検出部
15、15A ディスプレイ
16 処理回路
17 バンド
100、200、300 血圧計測装置
101 撮像部
102 画像処理部
103 脈波取得部
104 血圧推定部
105 表示部
106 処理部

Claims (13)

  1. ユーザの手首に接触する環状の腕輪と、
    前記腕輪の外表面に配置され、表示面を有するディスプレイと、
    前記腕輪の外表面に配置され、前記ディスプレイの表示面の法線方向に対して傾いた光軸を有し、前記ユーザの複数の画像を撮像する撮像部と、
    前記腕輪の内表面に配置され、前記ユーザの手首から脈波を取得する脈波取得部と、
    前記ユーザの血圧を推定する処理回路と、を備え、
    前記処理回路は、
    前記複数の画像における前記ユーザの頬の領域の輝度値の時間変化から第一の脈波タイミングを算出し、
    前記脈波取得部によって取得された前記脈波から第二の脈波タイミングを取得し、
    前記第一の脈波タイミングと前記第二の脈波タイミングとの時間差から前記ユーザの血圧を推定する
    血圧計測装置。
  2. 前記ディスプレイの表示面は、上下方向及び左右方向を有し、
    前記撮像部の光軸は、前記ディスプレイの表示面の上下方向から見たときに、前記法線方向に対して、前記ディスプレイの表示面の左右方向に傾いている、
    請求項1に記載の血圧計測装置。
  3. 前記処理回路は、さらに、
    前記ユーザの複数の画像において、前記ユーザの頬の領域を決定し、
    決定された前記頬の領域の輝度値の時間変化に基づいて、前記第一の脈波のタイミングを算出する、
    請求項1に記載の血圧計測装置。
  4. さらに、前記処理回路は、
    前記ユーザの複数の画像において、前記ユーザの頬の領域を決定できるか否かを判定し、
    前記ユーザの頬の領域を決定できない場合、前記ユーザの複数の画像に基づいて、前記撮像部に対する前記ユーザの顔の相対位置を算出し、
    前記ユーザの顔の相対位置に基づいて、前記ユーザの顔と前記撮像部との位置関係を変更する指示を前記ディスプレイに表示する、
    請求項3に記載の血圧計測装置。
  5. 前記処理回路は、前記ユーザの複数の画像に含まれる前記ユーザの目、耳、及び鼻のうちの少なくとも1つの大きさ及び位置に基づいて、前記ユーザの顔の相対位置を算出する、
    請求項4に記載の血圧計測装置。
  6. 前記処理回路は、
    さらに、目、耳、及び鼻のうちの少なくとも1つを画像から認識するための複数の認識モデルの中から、前記血圧計測装置が前記ユーザの右手首及び左手首のどちらに装着されているか及び前記血圧計測装置が手の平側及び手の甲側のどちらに装着されているかに基づいて認識モデルを選択し、
    選択された前記認識モデルを用いて、前記ユーザの複数の画像から前記ユーザの目、耳、及び鼻のうちの少なくとも1つを認識する、
    請求項5に記載の血圧計測装置。
  7. 前記処理回路は、前記ユーザの複数の画像における前記ユーザの目、耳、及び鼻の少なくとも1つの画像内の位置の時間変化に基づいて、前記血圧計測装置が手の平側及び手の甲側のどちらに装着されているかを判別する、
    請求項6に記載の血圧計測装置。
  8. 前記処理回路は、
    前記ユーザの複数の画像内の目、耳及び鼻の大きさ及び位置から前記撮像部に対する前記ユーザの顔の距離及び方向を算出し、
    算出された前記距離及び前記方向に応じて手首の回転及び肘の曲げ伸ばしのうちの少なくとも1つの指示を前記ディスプレイに表示する
    請求項7に記載の血圧計測装置。
  9. 前記処理回路は、前記ユーザの顔の相対位置に応じて、前記ディスプレイに表示する情報の表示角度、表示位置及び表示サイズの少なくとも1つを制御する、
    請求項1に記載の血圧計測装置。
  10. 前記処理回路は、前記撮像部に対する前記ユーザの顔の距離が所定の閾値距離より大きい場合、前記ディスプレイに表示する情報の表示サイズを小さくする、
    請求項8に記載の血圧計測装置。
  11. 前記処理回路は、さらに、
    前記ユーザの複数の画像の輝度値に基づいて、逆光であるか否かを判定し、
    前記逆光である場合、前記撮像部及び前記ユーザの顔の少なくとも一方を移動させる指示を前記ディスプレイに表示する、
    請求項1に記載の血圧計測装置。
  12. 前記処理回路は、前記逆光である場合、前記血圧計測装置の位置を上に移動させる指示を前記ディスプレイに表示する、
    請求項11に記載の血圧計測装置。
  13. 前記処理回路は、前記逆光である場合、前記ユーザの体を回転させる指示を前記ディスプレイに表示する、
    請求項11に記載の血圧計測装置。
JP2017067686A 2016-05-19 2017-03-30 血圧計測装置 Pending JP2017209486A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016100818 2016-05-19
JP2016100818 2016-05-19

Publications (1)

Publication Number Publication Date
JP2017209486A true JP2017209486A (ja) 2017-11-30

Family

ID=60329722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017067686A Pending JP2017209486A (ja) 2016-05-19 2017-03-30 血圧計測装置

Country Status (3)

Country Link
US (1) US20170332963A1 (ja)
JP (1) JP2017209486A (ja)
CN (1) CN107397540A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193974A1 (ja) * 2018-04-05 2019-10-10 オムロンヘルスケア株式会社 血圧測定装置
WO2019216417A1 (ja) * 2018-05-10 2019-11-14 シャープ株式会社 モデル設定装置、血圧測定装置、およびモデル設定方法
KR20200055313A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 전자 장치 및 전자 장치를 이용한 생체정보 추정 방법
JP2020162873A (ja) * 2019-03-29 2020-10-08 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
JP2021122697A (ja) * 2020-02-10 2021-08-30 Fcnt株式会社 血圧測定装置、血圧測定方法及び血圧測定プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262987A1 (en) * 2016-03-09 2017-09-14 Xerox Corporation Method and apparatus for non-contact estimation of pulse transmit time
JP7069148B2 (ja) * 2016-11-07 2022-05-17 コーニンクレッカ フィリップス エヌ ヴェ 血圧センサを備えたデバイス及びそのデバイスを制御する方法
KR102407095B1 (ko) * 2017-07-24 2022-06-08 삼성전자주식회사 혈압 측정 장치 및 방법
CN107898448A (zh) * 2017-12-06 2018-04-13 徐文斌 一种智能血压计及其控制方法
AU201813731S (en) * 2017-12-28 2018-07-19 Wisconsin Alumni Res Found Otoscope
WO2019186333A1 (en) * 2018-03-26 2019-10-03 Diagnostic Robotics Ltd. Measurement of physiological parameters
CN111970965B (zh) * 2018-03-27 2024-03-26 夏普株式会社 模型设定装置、非接触式血压测定装置、模型设定方法以及记录介质
KR102600897B1 (ko) * 2018-04-17 2023-11-10 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102655676B1 (ko) * 2018-10-10 2024-04-05 삼성전자주식회사 혈압 추정 장치 및 방법과, 혈압 추정 지원 장치
US20220054031A1 (en) * 2018-12-13 2022-02-24 Well Being Digital Limited A method for calibrating a blood pressure monitor, and a wearable device thereof
CN113347920B (zh) * 2019-01-09 2024-10-01 夏普株式会社 血压测量装置、模式设定装置以及血压测量方法
TWI708924B (zh) * 2019-01-19 2020-11-01 鉅怡智慧股份有限公司 影像式血壓量測裝置與方法
US11308744B1 (en) * 2019-12-27 2022-04-19 Jimcy Exantus Wrist-wearable tracking and monitoring device
CN115484862A (zh) * 2020-04-03 2022-12-16 皇家飞利浦有限公司 用于提供引导的系统
EP3903668A1 (en) * 2020-04-30 2021-11-03 Koninklijke Philips N.V. A system for providing guidance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US7936902B2 (en) * 2004-11-12 2011-05-03 Omron Corporation Face feature point detection apparatus and feature point detection apparatus
US7656428B2 (en) * 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US20140059066A1 (en) * 2012-08-24 2014-02-27 EmoPulse, Inc. System and method for obtaining and using user physiological and emotional data
US20150185704A1 (en) * 2013-12-30 2015-07-02 Tau-Jeng Hsu Electronic watch structure capable of selectively mounting a camera lens
US10028668B2 (en) * 2014-05-06 2018-07-24 Alivecor, Inc. Blood pressure monitor
US10165954B2 (en) * 2014-07-31 2019-01-01 Salutron Inc. Integrated sensor modules

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193974A1 (ja) * 2018-04-05 2019-10-10 オムロンヘルスケア株式会社 血圧測定装置
JP2019180622A (ja) * 2018-04-05 2019-10-24 オムロンヘルスケア株式会社 血圧測定装置
JP7049895B2 (ja) 2018-04-05 2022-04-07 オムロンヘルスケア株式会社 血圧測定装置
US11369276B2 (en) 2018-04-05 2022-06-28 Omron Healthcare Co., Ltd. Blood pressure measurement device
WO2019216417A1 (ja) * 2018-05-10 2019-11-14 シャープ株式会社 モデル設定装置、血圧測定装置、およびモデル設定方法
JPWO2019216417A1 (ja) * 2018-05-10 2021-05-20 シャープ株式会社 モデル設定装置、血圧測定装置、およびモデル設定方法
KR20200055313A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 전자 장치 및 전자 장치를 이용한 생체정보 추정 방법
KR102677448B1 (ko) 2018-11-13 2024-06-20 삼성전자주식회사 전자 장치 및 전자 장치를 이용한 생체정보 추정 방법
JP2020162873A (ja) * 2019-03-29 2020-10-08 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
JP2021122697A (ja) * 2020-02-10 2021-08-30 Fcnt株式会社 血圧測定装置、血圧測定方法及び血圧測定プログラム
JP7457291B2 (ja) 2020-02-10 2024-03-28 Fcnt合同会社 血圧測定装置、血圧測定方法及び血圧測定プログラム

Also Published As

Publication number Publication date
US20170332963A1 (en) 2017-11-23
CN107397540A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP2017209486A (ja) 血圧計測装置
JP6493680B2 (ja) 非接触血圧測定装置、及び、非接触血圧測定方法
US9854976B2 (en) Pulse wave velocity measurement method
US11281262B2 (en) Detecting a gesture made by a person wearing a wearable electronic device
JP6125648B2 (ja) 生体情報取得装置および生体情報取得方法
TWI666429B (zh) 用於增強非接觸身體溫度測量的精確度的電子器件和方法
JP5446443B2 (ja) 心拍数測定装置および心拍数測定方法
CN109906052B (zh) 包括血压传感器的设备以及用于控制该设备的方法
KR20190101456A (ko) 혈압 센서의 배치 및 접촉 품질의 사용자 피드백을 제공하기 위한 시스템 및 방법
CN107949863A (zh) 使用生物体信息的认证装置以及认证方法
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
TW201434438A (zh) 生物體資訊檢測裝置、脈搏計及程式
JP6625219B2 (ja) バイタルサインを連続モニタリングするためのデバイス、方法及びコンピュータプログラム製品
US9639164B2 (en) Gesture input method
JP2016106668A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2021132869A (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP2018109802A (ja) 端末装置
JP2018109801A (ja) 端末装置
CN110993051B (zh) 判定装置、判定方法以及记录介质
CN110297720B (zh) 通知装置、通知方法及存储通知程序的介质
WO2022111704A1 (zh) 心率检测方法及电子设备
US11406330B1 (en) System to optically determine blood pressure
US10915617B2 (en) Image processing apparatus, image processing method, and recording medium
CN112971712A (zh) 生物体信息取得装置、终端装置、取得方法、记录介质