JP2019503749A - 人のバイタルサインを決定する装置、システム及び方法 - Google Patents

人のバイタルサインを決定する装置、システム及び方法 Download PDF

Info

Publication number
JP2019503749A
JP2019503749A JP2018532367A JP2018532367A JP2019503749A JP 2019503749 A JP2019503749 A JP 2019503749A JP 2018532367 A JP2018532367 A JP 2018532367A JP 2018532367 A JP2018532367 A JP 2018532367A JP 2019503749 A JP2019503749 A JP 2019503749A
Authority
JP
Japan
Prior art keywords
person
vital sign
body part
contact
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018532367A
Other languages
English (en)
Other versions
JP7159047B2 (ja
Inventor
モルタザ ブルト
モルタザ ブルト
ブリンカー アルベルトゥス コルネリス デン
ブリンカー アルベルトゥス コルネリス デン
ゲリット マリア ケルステン
ゲリット マリア ケルステン
ミシェル ヨセフ アグネス アッセルマン
ミシェル ヨセフ アグネス アッセルマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019503749A publication Critical patent/JP2019503749A/ja
Application granted granted Critical
Publication of JP7159047B2 publication Critical patent/JP7159047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6886Monitoring or controlling distance between sensor and tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00053Mechanical features of the instrument of device
    • A61B2018/00184Moving parts
    • A61B2018/00196Moving parts reciprocating lengthwise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14Probes or electrodes therefor
    • A61B18/1442Probes having pivoting end effectors, e.g. forceps
    • A61B2018/145Probes having pivoting end effectors, e.g. forceps wherein the effectors remain parallel during closing and opening
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Abstract

本発明は、人のバイタルサインを決定する装置、システム及び方法に関するものである。バイタルサイン検出の精度及び信頼性を改善するために、当該装置は、バイタルサインを導出することができる当該人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するための入力ユニット20と、人の前記身体部分が支持体に接触しているか否かを決定すると共に該身体部分が該支持体に接触しているか否かを示す接触信号を発生する身体部分位置決定ユニット21と、該接触信号に基づいて人のバイタルサインの決定に使用するための品質計測量を設定する品質計測量設定ユニット22と、取得されたバイタルサイン関連信号からバイタルサインを導出するバイタルサイン導出ユニット23とを有し、設定された品質計測量はバイタルサインの導出及び/又は導出されたバイタルサインの信頼性の判定に使用される。

Description

本発明は、人の、特には座席、テーブル、椅子、ベッド、長椅子等の支持体(静止物体とも称する)に少なくとも部分的に且つ一時的に接触している人のバイタルサインを決定する装置、システム及び方法に関する。
人のバイタルサイン、例えば心拍数(HR)、呼吸数(RR)又は動脈血酸素飽和度(SpO2)は、人の現在の健康状態の指示情報として及び重大な医療的事象の強力な予兆として働く。このような理由で、バイタルサインは入院患者及び外来患者介護施設において、家庭において又は他の健康、レジャー及びフィットネス施設において広く監視されている。しかしながら、他のシナリオにおいても、バイタルサインの収集、例えば車両(例えば、自動車、トラック、列車、船舶、飛行機、ヘリコプタ等)内の運転者の健康状態を監視することは有用である。このようなシナリオにおいて、人は一般的にヘッドレストを有する座席に座っている。
バイタルサインを測定する1つの方法は、容積変動測定法(プレチスモグラフィ)である。容積変動測定法は、広くは臓器又は身体部分の容積の変化の測定を指し、特には各心拍により被検者の身体を介して伝搬する心血管脈波による容積変化の検出を指す。
光電容積脈波測定法(PPG)は、関心領域若しくはボリュームの光反射率又は透過率の時変的変化を評価する光学測定技術である。PPGは、血液が光を周囲の組織より多く吸収し、従って各心拍による血液体積の変化が、それに応じて透過率又は反射率に影響を与えるという原理に基づくものである。心拍に関する情報以外に、PPG波は呼吸等の他の生理学的現象に帰属する情報も含み得る。異なる波長(典型的には、赤及び赤外)における透過率及び/又は反射率を評価することにより、血中酸素飽和度(SpO2)を決定(検出)することができる。指接触型パルスオキシメータ、額接触型パルスオキシメータセンサ、接触型パルスセンサ等を含む、異なる種類の斯様な接触型センサ(ウェアラブル装置とも呼ばれる)が一般的に知られており、使用されている。
近年、目立たない測定のための非接触型遠隔光電容量変動測定(rPPG)装置が多数の文献(例えば、Verkruysse他による“Remote plethysmographic imaging using ambient light”, Optics Express, 16(26), 22 December 2008, pp. 21434-21445)に記載されており、該文献は光電容量変動測定信号を周囲光並びに赤、緑及び青カラーチャンネルを用いる通常の消費者向けレベルのビデオカメラを用いて遠隔的に測定することができることを示している。
遠隔PPGは関心被検体から遠くに配置された光源(又は、一般的には放射源)を利用する。同様に、検出器(例えば、カメラ又は光検出器)も当該関心被検体から遠くに(即ち、該被検体に接触することなく)配置することができる。従って、遠隔光電容量変動測定システム及び装置は、目立たないものと考えられ、医療的及び非医療的な日々の用途に良く適している。
カメラベースのシステム等の目立たないシステムを使用する場合、バイタルサインを測定する他のやり方は、呼吸及び心拍数を各々決定するために胸部及び頭部の動きを測定することによるものである。
更に、バイタルサインを測定する他のやり方は、ウェアラブルセンサを用いて、該センサが取り付けられる身体部分(胸部、腕、頭部等)の動きから呼吸及び心拍数を測定することによるもの、又は通常のPPGを光学接触センサ内で用いることによるものである。
しかしながら、例えば自動車環境等の実際的用途の場合、SNR(信号対雑音比)は十分に高い品質のバイタルサイン計算が保証され得るほどのレベルではない。一般的に、遠隔PPGシステムは常に出力を生成し、この結果として、例えば当該人(例えば、自動車の運転者)が大きく動いている及び/又は望ましくない照明条件が存在する場合に、誤った、意味の無いバイタルサイン値を生じ得る。当該信号が特定の基準(例えば、十分な振幅)を満たす場合にのみ出力を供給することは可能であるが、これは無出力の期間を生じ得る。信頼性のある出力を生成することが望ましい。
本発明の目的は、人のバイタルサインを高い信頼度で且つ正確に決定するための装置、システム及び方法を提供することである。
本発明の第1態様においては、人のバイタルサインを決定する装置が提供され、該装置は、
− バイタルサインを導出することができる、前記人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するための入力ユニットと、
− 前記人の前記身体部分が支持体に接触しているか否かを決定(判定)すると共に、該身体部分が前記支持体に接触しているか否かを示す接触信号を発生する位置決定ユニットと、
− 前記接触信号に基づいて、前記人のバイタルサインの決定に使用するための品質計測量(quality metric)を設定する品質計測量設定ユニットと、
− 取得された前記バイタルサイン関連信号からバイタルサインを導出するバイタルサイン導出ユニットと、
を有し、設定された前記品質計測量が前記バイタルサインの導出及び/又は導出されたバイタルサインの信頼性の判定に使用される。
本発明の他の態様においては、人のバイタルサインを決定するシステムが提供され、該システムは、
− バイタルサインを導出することができる、前記人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するためのバイタルサイン関連信号取得ユニットと、
− 取得された前記バイタルサイン関連信号に基づいて前記人のバイタルサインを決定するための本明細書に開示される装置と、
を有する。
品質計測量に適用される場合、“設定する”及び“計算する”なる用語は同一であると理解されたい。
本発明の更に他の態様においては、対応する方法;コンピュータ上で実行された場合に、該コンピュータに本明細書に開示される方法のステップを実行させるプログラムコード手段を有するコンピュータプログラム;及びプロセッサにより実行された場合に本明細書に開示される方法が実行されるようにするコンピュータプログラム製品を記憶した非一時的コンピュータ読取可能な記録媒体が提供される。
本発明の好ましい実施態様は、従属請求項に記載されている。請求項に記載された方法、プロセッサ、コンピュータプログラム及び媒体は、請求項に記載された装置及びシステムと、特に従属請求項に記載されたもの及び本明細書に開示されたものと同様の及び/又は同一の好ましい実施態様を有すると理解されるべきである。
本発明は、信頼性のあるバイタルサイン推定を当該装置、システム及び方法により得ることができることを大きく保証するような(外部)条件を考慮に入れ且つ測定するというアイデアに基づいている。特定の場合、特に当該人のバイタルサインが導出されるべき少なくとも1つの身体部分が少なくとも一時的に支持体に接触している場合(例えば、当該人の頭部が座席のヘッドレストについている場合)が他の場合より有利であるということが分かった。
例えば、頭部がヘッドレストについている状態で運転するということは、高速道路での運転にとり珍しいことではない。自律車両の導入によれば、殆どの場合において、殆どの運転者に関し頭部がヘッドレスト上にあるであろうことが予測される。また、信号機で待っている場合、多くの運転者は頭部をヘッドレストにつけている。更に、多くの搭乗者は頭部をヘッドレストにつける。自動車におけるバイタルサインの決定又は監視の場合、性能に影響を与える主たる要因は、バイタルサインが決定又は監視されるべき人の動き、特に頭部の動きである。しかしながら、運転者の頭部がヘッドレスト上にある場合(少なくとも、対応するバイタルサインを取得するために要する特定の期間にわたり)、該人のバイタルサイン(又は複数のバイタルサイン)は高い信頼性で決定することができる。
このような状況の認識は、本発明によれば、一般的に、バイタルサインが取得されるべき当該人の身体部分(心拍数が人の顔のビデオデータから導出されるべき場合の該人の頭部等)が支持体上にあるか否かを考慮に入れた品質計測量(時には、信頼計測量、信頼性計測量又は品質計測量パラメータとも称する)を用いることにより評価される。オプションとして、好ましい実施態様により定められるように、他の因子を付加的に使用することができる。
このように、本発明によれば、人の身体部分が支持体に接触している場合が検出され、当該品質計測量が、1以上の計測量パラメータを変更することにより、又は該身体部分が支持体に接触していた間の以前に決定された過去のバイタルサイン値を利用することにより設定(又は取得)される。このようにして、例えばヘッドレストを有する座席に座っている又はベッド若しくは長椅子に座り若しくは横たわっている人のバイタルサインを、一層正確且つ高い信頼度で決定することができる。
当該品質計測量の使用に関して利用可能な多数の異なるオプションが存在する。特に、当該品質計測量に基づいて、他の処理方法を選択することができ、信頼性の指示情報を当該人(又は看護師若しくは介護者等の他のユーザ)に発することができ、及び/又は導出されたバイタルサインを当該人に提示しないことを決定することができる(該バイタルサインは信頼性が無いと見なされる故に)。後者の場合においては、当該バイタルサインの以前の値(信頼性があると考えられた)を提示することが決定され、このことは、当該処理の一種の修正であると考えることができる。
本発明は、前記入力ユニットにより入力として取得された(即ち、取り出された又は受信された)種々のバイタルサイン関連信号を処理することができる。一実施態様においては、撮像ユニットにより取得される当該人の少なくとも1つの身体部分の画像の時間的系列(時間シーケンス)が、1以上のバイタルサイン関連信号として取得される。このような撮像ユニットは、例えば、ビデオデータを画像(画像フレームとも称する)の時間的系列として記録するRGBカメラ等のカメラ、ビデオカメラ、ウェブカメラ等であり得る。他の実施態様においては、当該人の前記少なくとも1つの身体部分の1以上のウェアラブルセンサ信号が、1以上のバイタルサイン関連信号として取得される。このようなウェアラブルセンサ信号は、心拍数センサ、呼吸センサ、SpO2センサ、加速度計、動きセンサ、又は人のバイタルサインを導出することができるか若しくはバイタルサインを直接表すウェアラブルセンサ信号を記録するために当該人の身体に装着することができる何らかの他のセンサ等の1以上のウェアラブルセンサにより取得される。例えば、通常の光接触センサ(例えば、2つのLED及びフォトダイオードを有する)をウェアラブルセンサとして用いることができ、これによれば、被検者の皮膚上のスポットが放射線により照射され(特に、2つの異なる波長範囲において)、該照射された皮膚及び下側の組織により透過され及び/又は反射された放射が受光されて、前記少なくとも1つのバイタルサイン関連信号を形成する。
例示的処理は、以下の様に作用する。(バイタルサイン関連信号として取得された画像フレームの時間的系列の)各画像フレームに対して、出力値(即ち、バイタルサイン値)が発生される。その後、この出力を許容するか又は拒絶するかのチェックが実行される(当該品質計測量に基づいて)。このように、この構成例では2つの品質計測量、即ち身体部分の支持体との接触が検出される状況に対する1つ及び該身体部分が離れている状況に対する1つ、を用いることができる。前者の場合、当該出力(上記身体部分がついている場合の)の殆どが正しいことが分かっている(従って、予測される)ので、当該品質計測量は緩和される。
好ましい実施態様によれば、前記品質計測量設定ユニットは、品質計測量を設定するために、照明レベル、光度変化、当該人の動き、前記身体部分の動き、当該支持体の動き、該支持体に対する当該身体部分の動き、バイタルサイン導出のためのアルゴリズムの種類及び/又はパラメータのうちの1以上を付加的に使用するよう構成される。この構成は、バイタルサイン決定の精度及び信頼性を更に改善する。
当該人の身体部分が前記支持体と接触しているかを決定(判定)するための種々のオプションが存在する。一実施態様において、前記身体部分位置決定ユニットは、前記バイタルサイン関連信号を表す取得された画像の系列を分析することにより、当該人の前記身体部分が前記支持体に接触しているか否かを決定するように構成される。特に、取得された画像の系列における前記身体部分の前記支持体に対する位置、動き及び/又は向きを、この目的のために画像処理手段により検出することができる。例えば、支持体に対する当該身体部分の相対位置を検出するために、例えばパターン検出又は特徴構造検出等を用いる既知のアルゴリズムを適用することができる。
他の実施態様において、前記身体部分位置決定ユニットは、前記支持体内の又は該支持体における人の身体部分の該支持体との接触を検出するように構成された物体センサから検出信号を受信すると共に該検出信号から前記接触信号を発生するように構成される。前記物体センサは、前記支持体に埋め込まれた又は該支持体の外側表面に取り付けられた、例えば光センサ、容量センサ、機械式センサ、圧力センサ、動きセンサ等とすることができる。
他の実施態様において、前記身体部分位置決定ユニットは、前記取得されたバイタルサイン関連信号を分析して、該信号が抽出される身体部分が支持体と接触していたか否かを決定するように構成される。このことは、信号対雑音比を計算することにより実行することができる。何故なら、当該身体部分が支持されている場合に取得される信号の場合、信号対雑音比は所定の閾値より大きいからである。加えて、取得された信号は、特定の振幅又は周波数範囲若しくは変動を有する等の予測される生理学的変化により引き起こされる特定の条件を満たすかをチェックすることができる。更に、支持体を伴う及び伴わない条件に関する代表的データを収集し、これらデータを身体部分が支持体と接触しているか否かを決定するためのモデルを訓練及び試験するために使用することにより、データマイニング方法を行うこともできる。
好ましくは、前記バイタルサイン導出ユニットは、当該人の前記身体部分が前記支持体に接触していると決定された場合に導出されるバイタルサインを信頼性があるとラベル付けするように構成することができる。一般的に、当該人の身体部分は支持体に接触しているなら(少なくとも最小限の期間にわたり)余り移動されない(即ち、該身体部分は僅かな自由度しか有さない)と思われるので、このような条件下で取得されるバイタルサインの信頼性は、該人の身体部分が支持体に接触していない場合よりも高いと一般的に考えられる。
信頼性があるとラベル付けされたバイタルサインは、次いで、続いて取得されるバイタルサインの信頼性を、特に、取得されるバイタルサインが信頼できるか及び/又はどの程度信頼できるかを判定するために使用することができる。例えば、一実施態様において、前記バイタルサイン導出ユニットは、信頼性があるとラベル付けされたバイタルサインが導出された後の所定期間内に導出されるバイタルサインが前記バイタルサインから所定のパーセンテージより多く逸脱するかを判定し、該所定のパーセンテージより少なくしか逸脱しないバイタルサインを信頼性があるとラベル付けするように構成される。例えば、推定されるバイタルサインが信頼され得る場合は指示灯が緑色光を示し、疑問のある結果である場合は赤色光を示す如くに、対応するユーザ情報を発することができる。
当該装置は、前記人の前記身体部分が前記支持体と接触していないと判定されており、且つ、該人のバイタルサインが決定されるべきである場合に、前記支持体の位置を前記人の前記身体部分に接触するように制御するための支持体制御信号を発生する支持体制御ユニットを更に有することができる。この構成は、取得されるバイタルサインが一層信頼でき且つ正確であることを保証する。
当該装置は、前記人の前記身体部分が前記支持体と接触していないと判定されており、且つ、該人のバイタルサインが決定されるべきである場合に、前記人に前記身体部分を前記支持体に接触するように移動するよう命令するユーザ命令を発生するためのユーザ命令発生器を更に有することができる。当該人が該命令に従う場合、この構成も、取得されるバイタルサインが一層信頼でき且つ正確であることを保証する。
他の実施態様において、前記品質計測量設定ユニットは、前記品質計測量の設定に照明条件を付加的に使用するよう構成される。例えば、夜間には取得されるバイタルサインの信頼性が向上されることが分かっており、従って、このことが該実施態様において考慮に入れられる。
シナリオ及び用途の種類に依存して、異なる支持体及び異なる身体部分を考えることができる。従って、一実施態様において、前記入力ユニットは少なくとも前記人の顔、手、腕、胴体、脚又は足の画像の時間的系列を取得するように構成され、前記位置決定ユニットは、前記人の頭部がヘッドレストと接触しているか、前記人の腕及び/又は手がアームレストに接触しているか、前記人の胴体が背もたれに接触しているか、前記人の脚が着座又は横臥領域に接触しているか、及び/又は前記人の足が足置きに接触しているかを決定するように構成される。
前記撮像ユニット及び開示された装置に加えて、開示されるシステムは、支持体内に又は支持体に配置されて前記人の前記身体部分の該支持体との接触を検出すると共に前記人の前記身体部分が前記支持体に接触しているかを示す検出信号を発生する物体センサを更に有することができる。更に、物体制御信号に基づいて前記支持体の位置を前記人の前記身体部分に接触するように調整するためのアクチュエータ、及び/又は前記人に前記身体部分を前記支持体に接触するように移動するよう命令するユーザ命令を発するためのユーザインターフェースを設けることができる。
開示されるシステムのバイタルサイン関連信号取得ユニットは、撮像ユニット及び/又は1以上のウェアラブルセンサを有することができる。
本発明の上記及び他の態様は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。
図1Aは、本発明によるシステムを例示的使用シナリオで図示した概略図を示す。 図1Bは、本発明によるシステムを例示的使用シナリオで図示した概略図を示す。 図2は、本発明による装置の第1実施態様の概略図を示す。 図3は、本発明によるシステムの第2実施態様の概略図を示す。 図4Aは、本発明によるシステムの第3実施態様の概略図を示す。 図4Bは、本発明による装置の第3実施態様の概略図を示す。 図5Aは、本発明によるシステムの第4実施態様の概略図を示す。 図5Bは、本発明による装置の第4実施態様の概略図を示す。 図6は、本発明による方法の一実施態様のフローチャートを示す。
図1は、本発明によるシステムの例示的使用シナリオを図示した概略図を示す。この使用シナリオにおいて、本発明の装置、システム及び方法は、自動車2を運転する人(運転者)1のバイタルサイン、特に心拍数及び/又は呼吸数を決定するために使用される。バイタルサイン関連信号を取得するために、好ましくは、撮像ユニット11がバイタルサイン関連信号取得ユニットの例示的実施態様として用いられ、該撮像ユニット11は画像の時間的系列を取得する。他の実施態様では、バイタルサイン関連信号を取得するために1以上のウェアラブルセンサを付加的に又は代替的に使用することができる。
運転中において、運転者1は幾つかの期間において座席3に、主に2つの異なる姿勢で、即ち、図1Aに示されるように頭部4をヘッドレスト5に接触させないで、又は図1Bに示されるように頭部4をヘッドレスト5に接触させて座るであろう。
本発明によるシステム10は、人1の少なくとも1つの身体部分の(この例示的使用シナリオでは、顔6、即ち皮膚領域の)画像の時間的系列を取得するための撮像ユニット11を有する。これらの顔の画像から、人1のバイタルサインを、既知の遠隔光電容積変動測定法(遠隔PPG)の原理を使用して導出することができる。このことは、以下に更に詳細に説明されるように、本発明による装置12により実行される。
撮像ユニット11は、光電容積変動測定信号を導出することができる人1の(この例示的使用シナリオでは少なくとも顔6の)画像フレームを(遠隔的に且つ目立たずに)キャプチャするのに、特には時間にわたり一連の画像フレームを取得するのに適した光センサを含むカメラ(カメラベースの又は遠隔PPGセンサとも称する)とすることができる。該カメラによりキャプチャされた画像フレームは、特に、例えば(デジタル)カメラにおけるアナログ又はデジタル光センサによりキャプチャされるビデオシーケンスに対応し得る。このようなカメラは、通常、CMOS又はCCDセンサ等の光センサを含み、該センサは特定のスペクトル範囲(可視、IR)で動作することもでき又は異なるスペクトル範囲に関する情報を供給することもできる。該カメラは、アナログ又はデジタル信号を供給することができる。上記画像フレームは、関連するピクセル値を有する複数の画像ピクセルを含む。特に、これら画像フレームは、光センサの異なる感光エレメントによりキャプチャされる光度値を表すピクセルを含む。これらの感光エレメントは特定のスペクトル範囲(例えば、特定のカラーを表す)において感受的であり得る。当該画像フレームは、被検体の皮膚部分を表す少なくとも幾つかの画像ピクセルを含む。これにより、1つの画像ピクセルは、光検出器の1つの感光エレメント及び該エレメントの(アナログ又はデジタル)出力に対応し得るか、又は複数の感光エレメントの組み合わせ(例えば、ビニングにより)に基づいて決定することができる。
図2は、本発明による装置12の第1実施態様の概略図を示す。装置12は、バイタルサインを導出することができる人1の少なくとも1つの身体部分の(図1の使用シナリオにおける少なくとも顔6の)画像の時間的系列30を取得する(例えば、受信する又は取り込む)ための入力ユニット20を有する。これら画像は、一般的に、撮像ユニット11によりその場で取得されて供給されるが、必要なら、当該装置12により供給及び/又は処理される前にバッファリングすることもできる。入力ユニット20は、例えばデータインターフェース(例えば、直列インターフェース、並列インターフェース、HDMI(登録商標)インターフェース等)又は他の何らかの好適なインターフェースとして構成することができる。
装置12は、更に、前記身体部分(即ち、人1の頭部4)が支持体(図1の使用シナリオではヘッドレスト5)に接触しているか否かを決定すると共に該身体部分が該支持体に接触しているか否かを示す接触信号を発生する身体部分位置決定ユニット21を有する。10時間を超える運転及び60〜90の範囲の心拍数の6人の運転者を含む日中及び夜間の高速道路運転データ(運転速度は60〜130km/hの間で変化する)は、頭部がヘッドレストについている場合、心拍数は高い精度及び信頼性で算出することができることを示している。
上記接触信号に基づいて人のバイタルサインの決定に使用するための品質計測量を設定するために、品質計測量設定ユニット22が設けられる。特に遠隔PPGの使用により取得された前記一連の画像からバイタルサイン31を導出するためにバイタルサイン導出ユニット23が設けられ、その場合において、前記の設定された品質計測量がバイタルサインの導出及び/又は導出されたバイタルサインの信頼性の判定に使用される。
装置12のユニットの1以上は、本発明がどの様に及び何処に適用されるかに依存して1個の又は複数個のデジタル又はアナログプロセッサ内に含まれ得る。異なるユニットは、完全に又は部分的にソフトウェアで実施化することができ、1以上の検出器に接続されたコンピュータ上で実行することができる。必要とされる機能の幾つか又は全ては、ハードウェアで、例えば特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)で実施化することもできる。
当該人の身体部分(本例示的使用シナリオでは、運転者の頭部4)がヘッドレスト5上にあるかの検出は、種々の方法で実施することができる。一実施態様において、身体部分位置決定ユニット21は、上記人の身体部分が支持体に接触しているかを、取得される一連の画像30を分析することにより決定するように構成される。特に、支持体に対する上記身体部分の位置、動き及び/又は向きが、当該取得された画像系列内で検出される。例えば、画像系列30内で、頭部6が検出されると共に頭部の動き及び頭部の位置が分析される。頭部の位置が変化しないこと及び頭部の動きが限られ、胴部の動きに類似していることを検出することが、頭部6がヘッドレスト5上にあるか否かを決定するための指示情報として使用される。
他の実施態様において、身体部分位置決定ユニット21は、人の身体部分の前記支持体との接触を検出するように構成された該支持体における(又は内の)物体センサ13から検出信号を受信すると共に、該検出信号から前記接触信号を発生するように構成される。このことが、図1に示した例示的使用シナリオにおける当該提案されたシステムの他の実施態様10aを図示する図3に示されている。この実施態様において、システム10aは、更に、ヘッドレスト5に(又は内に)配置されて、人の頭部4の支持体5との接触を検出すると共に人の頭部4がヘッドレスト5に接触しているかを示す検出信号を発生する物体センサ13を有する。この検出信号は、次いで、前述したように身体部分位置決定ユニット21により使用するために装置12に供給される(例えば、有線又は無線態様で、例えば自動車2の車載ネットワークを介して)。例えば、物体センサ13は、光センサ、容量センサ、機械式センサ、圧力センサ等であり得るか又は斯かるセンサを含むことができる。他の実施態様において、物体センサ13は動きセンサ(例えば、慣性センサ)であり得るか又は動きセンサを含むことができる。当該身体部分が支持体に接触している場合、該動きセンサは該センサに対する当該身体部分の動きについての付加的情報(従って、測定されているバイタルサインの信頼度)を供給することができる。
当該例示的使用シナリオにおける提案されたアイデアの一構成例において、頭部のヘッドレストとの接触が検出される場合(即ち、運転者の頭部がヘッドレストについていることが検出される場合)、デフォルトの品質計測量計算パラメータは緩和することができる(例えば、第1品質計測量が使用される)。この場合、品質計測量の要件を緩和することは、精度を低下させずに当該システムの感度を増加させる。このことは、例えば、許容可能な信号振幅値の範囲を増加させることにより実施することができる。このようにすることにより、提案された装置12がバイタルサイン出力を生成する場合の割合(即ち、該装置の感度)を増加させることができる。品質計測量計算パラメータ(例えば、許容可能な信号振幅)を緩和することにより、装置12は、バイタルサインの品質を犠牲にすることなく、一層高い頻度で信頼性のあるバイタルサインを生成することができる。何故なら、ヘッドレスト条件の厳格な品質計測量無しでも、バイタルサインは正確であると思われるからである。
これとは逆に、頭部がヘッドレスト(即ち、ヘッドレスト)により、最早、支持されていないことが検出される場合、当該品質計測量に対する要件は、頭部の大きな自由度から生じる全てのタイプのノイズ及びアーチファクトがフィルタ除去され得ることを保証するために、もっと厳しいものとなり得る(例えば、第2の“一層厳しい”品質計測量が使用される)。一層厳しい要件を有するということは、算出された出力値が正確であることを保証するためにシステムの感度が低下される(即ち、緩和された品質計測量条件と比較して、出力は一層少ない回数しか生成されない)ことを意味し得る。
このように、一般的に、少なくとも2つの品質計測量を適用する(即ち、使用する)ことができる。しかしながら、他の状況では、更なる品質計測量を用いることも可能である。例えば、運転者の動きが一層大きいと予測される市街運転条件では、第3の品質計測量を採用することができる。
当該提案されたアイデアの他の構成例において、ヘッドレストに対する頭部の接触が検出された場合、所望のバイタルサイン(例えば、心拍数)は一層厳格な(即ち、一層厳しい第2の)品質計測量を用いて計算される。従って、厳しい(第2の)品質計測量及び頭部がヘッドレスト上にあるという情報の両方を用いることにより、測定されたバイタルサイン値が正確であるという信頼性が増加される。該算出されたバイタルサイン値は、次いで記憶される(例えば、当該装置の図示されていないメモリに)と共に、“真”(又は“信頼性あり”)とラベル付けされる(即ち、これら値は正しいと見なされる)。
“信頼性のある”バイタルサインが最後に算出された時点に続く期間(例えば、15〜45分、例えば30分の範囲又はユーザにより定義された他の期間内)において、バイタルサインの帯域は、該最後に検出された“信頼性のある”値に基づいて定められる。新たに算出された値が該帯域外である場合、これら値は正しくなさそうであり、“信頼性が無い”と見なされる。上記帯域は、例えば、信頼性のある値±X%(Xは例えば5〜25の範囲、例えば10又は20である)又は±Y(Yは特定のパーセンテージを反映する絶対値であり、例えば心拍数値の場合、Yは5〜15BPM(分当たりの心拍数)、例えば、10BPMである)を用いて定義することができる。運転中の心拍数変化は、一般的に、非常に急速には生じず、長い期間にわたって徐々にのみ生じるので、運転条件の予測されない変化が存在しない場合、30分が当該期間に対する良い選択であろう。
新たに算出されたバイタルサイン値が当該帯域内である場合、これら値は前記厳格な品質計測量条件を満たしていなくても正しい(“信頼性がある”)と思われる(何故なら、該厳格な品質計測量は、当然一層低い感度となる高度の特定性を有するように設計されたものであるからである)。この場合、上記バイタルサイン値は、例えば当該運転者又は他のユーザに対して供給することができる。この構成の利点は、当該装置の感度(即ち、正確なバイタルサインが示される回数のパーセンテージ)を、品質に妥協せずに増加させることができることである。
本発明によるシステム及び装置の他の実施態様が図4に示されており、該図において、図4Aは図1における図示のために使用された例示的使用シナリオでのシステム10bを示す一方、図4Bは対応する装置12bの概略図を示している。システム10bは、支持体制御信号32に基づいて該支持体(即ち、この使用シナリオではヘッドレスト5)の位置を、当該人の関心身体部分(即ち、この使用シナリオでは該人の頭部4)に接触させるように調整するためのアクチュエータ14を更に有している。アクチュエータ14は、座席3(例えば、背もたれ7及び/又はヘッドレスト5)に組み込まれた電気モータとすることができる。支持体制御信号32は、装置12bの支持体制御ユニット24により発生されて、無線又は有線態様で(例えば、自動車2の車載ネットワークを介して)アクチュエータ14に供給される。一般的に、当該人の身体部分が支持体に接触しておらず、且つ、該人のバイタルサインが決定されるべきと判断された場合に、支持体(ヘッドレスト5)の位置を該人1の上記身体部分(頭部4)に接触させるように構成される。
このように、例えばスマートカーにおいて、ヘッドレストの位置は賢い方法で電気的に自動的に調整することができる。当該ヘッドレストは、この様に、例えば心拍数の測定が開始された場合に、自動的に駆動され、運転者の頭部に接触させることができる。安全性の点で、運転中において頭部は常にヘッドレストについていることが好ましく、従って、この観点から座席の該機能は有利である。
本発明によるシステム及び装置の他の実施態様が図5に示されており、該図において、図5Aは図1における図示のために使用された例示的使用シナリオでのシステム10cを示す一方、図5Bは対応する装置12cの概略図を示している。システム10cは、当該人に前記身体部分(この使用シナリオでは頭部4)を前記支持体(この使用シナリオではヘッドレスト5)に接触するように移動するよう指令するユーザ命令33を発するためのユーザインターフェース15(例えば自動車のナビゲーションシステムの、例えば、表示器及び/又はスピーカ)を更に有する。ユーザ命令33は、ユーザ命令発生器25により発生されて、無線又は有線態様で(例えば、自動車2の車載ネットワークを介して)ユーザインターフェース15に供給される。該命令は、例えば運転者の座席又はハンドルに埋め込まれた触覚インターフェースを介して供給することもできる。一般的に、当該人の前記身体部分が支持体に接触しておらず、且つ、該人のバイタルサインが決定されるべきと判断された場合に、人1に上記身体部分を支持体に接触するよう移動するよう命令するように構成される。
従って、例えば心拍数測定が必要であるか又は実行されるべき特定の条件に対して、運転者は頭部をヘッドレスト上に置くよう指示され得る。例えば、当該システムの起動に際して、斯様な命令が表示され得る。また、身体部分位置決定ユニット21により決定された情報の使用により、運転者が当該命令に従ったか否かをチェックすることもでき、かくして、運転者が該命令に従わなかった場合に該命令を繰り返すことができる。
更に、この実施態様において、バイタルサイン関連信号を表すウェアラブルセンサ信号を取得するために例示的なウェアラブルセンサ16(この実施態様では、手首に装着された心拍センサ)を設けることができる(撮像ユニット11に加えて又は代えて)。ウェアラブルセンサ16は、通常、患者の身体に装着することができる任意のセンサ(例えば、リストバンドを用いる腕時計のような、ベルトを用いる身体センサのような、クリップ機構を用いる指クリップのような、e-skin(皮膚電子装置)等)とすることもできる。例示的なウェアラブルセンサは、心拍センサ、呼吸センサ、SpO2センサ、加速度計、動きセンサ、及び人のバイタルサインを導出することができる又は直接的にバイタルサインを表すウェアラブルセンサ信号を取得するために人体に装着することができる任意の他のセンサを含んでもよい。
従って、当該システムの該実施態様においては、1個の(又はそれ以上の)ウェアラブルセンサの測定値が、算出される出力の信頼性の計算に利用される。例えば、当該人が心拍数を測定することができるウェアラブル装置又はセンサ(又は複数のセンサ)を装着している場合、該ウェアラブルセンサにより測定される心拍数信号又は値を、提案された装置12cに対する付加的(又は代替的)入力30として用いることができ、考慮に入れることができる。例えば、算出されたHR出力は、頭部がヘッドレストについており、前記一層厳しい品質要件が満たされており、且つ、カメラHR出力が当該ウェアラブルセンサ(又は複数のセンサ)により発生された出力と合致する場合にのみ、“真”(又は“信頼性あり”)とラベルを付すことができる。
バイタルサインの計算は、限られた照明の影響故に、夜間において一層高信頼度で実施することができることが分かった。これに基づいて、夜間の条件が検出された場合又は限られた照明の変化しか検出されない場合、前記品質計測量計算パラメータを緩和することができるか(この“緩和”は種々のやり方で行うことができ、頭部がヘッドレスト上にある場合の前記緩和された品質計測量は夜間運転条件において緩和される品質計測量計算パラメータとは異なり得ることを意味する)、又は以前の“信頼性のある”値に基づく(前述した)バイタルサイン帯域を定義して使用することができる。従って、他の好ましい実施態様において、前記品質計測量設定ユニット22は、品質計測量を設定するために、照明レベル、光度変化、人の動き、バイタルサイン導出のためのアルゴリズムの種類及び/又はパラメータのうちの1以上を付加的に使用することができる。好ましくは、該品質計測量設定ユニット22は、品質計測量の設定に照明条件を付加的に使用するよう構成される。照明変化又は夜間条件は、前記撮像ユニット11の取得された画像を用いて、又は自動車システム及びバイタルサイン測定ユニットが接続され、通信していると仮定して、車内センサを用いて検出することができる。
後者の実施態様は、多数のアーチファクトが優性に出現すること、及び画像データの処理が典型的に多数の処理段階を有するとの認識に基づくものである。従って、全体の品質計測量は、処理チェーンの種々の部分から導出される幾つかの計測量の組み合わせとして構成され得る。
特に下記のアーチファクト源が示される。即ち、低照明レベル、動き又は照明源により誘起される光度の変動、及び特定の問題を解決するためのアルゴリズムの選択である。従って、当該品質計測量は、前述した接触信号に加えて、十分な照明の尺度(量子化ノイズに対して十分に高い信号レベル)、動きアーチファクト除去の成功を反映する尺度、及びアルゴリズム選択に対する感受性の尺度から構成することができる。
これら計測量のうちの2以上を、当該システムの動作(の一部)を制御するために使用することができる単一の品質計測量に組み入れることができる。幾つかの例は、以下の通りである。現在の推定値が閾値より低いことが分かった場合、ユーザに対して何の値も返されない。代わりに、そして生理学的変数は、しばしば、相対的に緩やかにしか変化しないという事実に鑑み、より古い信頼性のある値を表示することができる。更に他の例として、両ルールを組み合わせることもできる。代わりに、当該品質計測量をユーザに提示することができる。例えば、信号(指示)灯から着想されるカラーコードを使用することができる。即ち、当該品質計測量により信頼性があると考えられる場合は当該生理学的値を緑で表示し、信頼性が無いと考えられる場合は赤で表示し、信頼性に関して不確かである場合は橙で表示し、又は当該品質を示す数を表示する。両機能(制御及び表示)を当該システムに組み込むことができる。
このような実施態様においては、関心量を決定するために画像のストリームが用いられる。品質尺度を計算するために、1以上の内部信号が取り出される。この品質尺度は、当該処理を導き及び/又は追加の出力を生成するために使用される。前述したように、撮像ユニットにより取得される画像及び1以上のウェアラブルセンサにより取得されるウェアラブルセンサ信号を含む、異なる源からのバイタルサイン関連信号を使用することができ、この計算に含めることもできる。
当該処理は、関心領域が定義されると共に動き補償ユニットが起動されて、区切られた領域(又は一群の領域)内の一連の安定化された画像が得られるビデオ前処理段階を有することができる。次の処理段階は、当該関心領域及び異なる(カラー又は赤外)チャンネル内の情報が生理学的関心変数を反映する単一の時変信号(例えば、血液パルス又は呼吸信号)へと組み合わされる中核処理であり得る。この信号から関心フィーチャ(例えば、心拍数又は呼吸数)を抽出するために、後処理を用いることができる。
第1計測量は、画像(フレームとも称する)の信号レベルに注目し、特に関心領域内で、これらレベルのヒストグラム(カラー毎又は平均)を決定する。これらデータ(恐らくは、異なるフレームにわたって合成された)から、当該照明レベルの目安を得ることができる。量子化ノイズ(ビット数)及びカメラノイズ(ハードウェアにより定まる)の推定値は分かるか又は固定であるので、該ヒストグラムの平均、中央値又は他の統計的尺度を、信号対雑音比を定めるために効果的に用いることができる。この情報は、前処理において容易に利用可能である。信号対雑音比は、前記品質計測量パラメータ計算に、従って使用されるべき品質計測量のタイプの選択に組み込むことができる。
第2計測量に対しては、幾つかの計測量が可能である。一例においては、画像を安定化させるために動き補償を用いることができる。この処理の困難さ及び処理におけるエラーは、典型的に、動きの量に直に関係する。従って、当該画像における動きの量自体を、動き低減ステップの品質の指示情報として用いることができる。この計測量は、前記前処理において平均変位係数(この情報は、品質計測量の一部として、又は何のタイプの品質計測量を使用するかを選択するために使用することができる)又は最大変位ベクトル(当該関心領域内の)として容易に利用可能である。
一連の動き補償された画像を有したなら、当該信号の時間にわたる局部的又は平均的変化に注目することができる。動き補償及び皮膚からの心拍数推定の場合、血液パルスで誘起された変化の特定の信号強度が予測される(平均信号に対する)。実際に測定された変化が予測されるもの(生理学から及び/又は静止画像の経験から)より大幅に大きい(又は大幅に小さい)場合、恐らくは、動きにより誘起された照明アーチファクトは不十分にしか補償されていない(又は過剰に補償されている)。従って、信頼性計測量を、第2処理(の入力)における情報に基づいた動き補償された画像における信号強度に基づいて定めることができる。殆どの場合、(相対)信号強度は、典型的に、前記中核処理内で既に利用可能な尺度である。
第3計測量も、同様に幾つかの変形例を有することができる。殆どの各構築ブロックに関して、代替構成例が既知である。例えば、多くの異なる動き補償アルゴリズムが既知であり、多くの顔分割法が公開されており、遠隔PPG推定中核アルゴリズムが種々の変形例で利用可能であり、種々の後処理アルゴリズム(例えば、呼吸又は心拍数出力の場合の周波数推定)が存在する。これらのアルゴリズムは、異なる視点を念頭に置いて設計されており、典型的に(僅かに)異なる最適動作点を有する。従って、異なるアルゴリズムにまたがる出力の一貫性を、当該システムが動作している条件の簡単さの指示情報として用いることができる。実用的観点から、当該システムの幾つかの部分は、品質計測量の目的のために実現するには高価である。例えば、動き補償ユニットは相当の処理能力を必要とするユニットである。これに加えて、この出力の正しさに対処するための品質計測量は既にある。従って、実用的観点から、アルゴリズムの種々のオプションから生じる結果の間の一貫性に基づく品質計測量は、より論理的に後処理及び中核処理に置かれる。
一例として、心拍数が望ましい出力であり、後処理が、該心拍数が決定されるべき時間ドメイン信号を供給する。典型的に、関心信号は依然として弱いものである。周波数を推定する標準的方法は、自己相関関数(ACF)等の中間的表現又は短時間フーリエ変換若しくはパワースペクトル密度関数等の周波数表現を含む。ACFは、繰り返しが生じる時間差を決定するために使用することができる。該時間差の逆数は、所望の周波数に比例する。信号の弱さ故に、ACFにおける局所ピークの決定は困難であり得、その上、基本周波数の分周等のエラーを受け易い。代わりに、短時間フーリエ変換又はパワースペクトル密度関数におけるピークを、所望の出力の推定として使用することができる。この場合も、信号の弱さ故にピークを識別することは困難であり得、周波数逓倍が容易に生じ得る。両方法の出力が(殆ど)等しい場合、このことは、当該推定の強さの指示情報と考えることができる。両出力が著しく相違する場合、このことは、どちらかの信頼性に関する疑問を生じさせる。
他の例においては、通常の処理における前述した3つのステップの各々が、当該品質計測量設定部に情報を供給する。この情報は、前記第1処理から該品質計測量設定部へのデータストリームを含み、例えば、フレーム毎の照明レベルに関する統計的情報又は動きの指示情報としてのフレームからフレームへの変位信号であり得る。この情報は、更に、前記中核処理から当該品質計測量設定部へのデータストリームを含み、前述したような信号の予測される(相対的)変動であり得る。更に、この情報は、後処理から当該品質計測量設定部へのデータストリームを含み、例えば、異なるアルゴリズムにより発生される出力であり得る。これらのデータストリームは、単一の品質又は信頼性尺度を決定するために、品質計測量設定部において発見的又は経験的に得られた規則に基づいて処理される。この尺度は、異なる処理ステップに制御信号として帰還することができ、又は通常の処理チェーンの出力を増強するために表示若しくは記憶ユニットに供給することができる。
本発明は、上述した自動車における運転者の使用シナリオ及び該運転者の頭部の自動車の座席のヘッドレストとの接触の検出に適用可能であるのみではない。他の使用シナリオは、他の人(例えば、列車、トラック又はバスの運転者、パイロット、患者等)、他の身体部分(例えば、腕、手、脚、足、胸部、胴体等)及び/又は他の支持体(例えば、アームレスト、背もたれ、足置き、着座又は横臥領域等)に関するものであり得る。例えば、前記身体部分位置決定ユニット21は、人の腕及び/又は手がアームレストに接触しているか、人の胴体が背もたれに接触しているか、人の脚が着座又は横臥領域に接触しているか、及び/又は人の足が足置きに接触しているかを決定するように構成することができる。
一般的に、バイタルサイン測定値(例えば、血液パルス及び呼吸信号)は、臨床の前後関係で意味のある指示情報である。1つの利用法は、これらの信号をスキャナにおいて人の一貫した状態を反映するスキャンを得るための同期又は起動目的で使用することである。このことは、スキャン動作が測定されたバイタルサインにより制御されることを意味する。このような制御は、制御信号の品質が十分に保証される場合にのみ与えられるべきである。従って、観察される身体部分(例えば、腕)が剛性構造体(例えば、スキャナのベッド)により支持される、又は、言い換えると、該観察される身体部分の動きの程度が適切な支持体により低減される程度に基づく品質計測量は、かなりの価値の情報である。
図6は、本発明による方法100の一実施態様のフローチャートを示す。第1ステップ101において、当該人のバイタルサインを導出することができる少なくとも1つの身体部分の画像の時間的系列が取得される。第2ステップ102において、当該人の上記身体部分が支持体に接触しているか否かが決定される。第3ステップ103において、上記身体部分が支持体に接触しているか否かを示す接触信号が発生される。第4ステップ104において、上記接触信号に基づいて、当該人のバイタルサインの決定に使用するための品質計測量が設定される。第5ステップ105において、バイタルサインが前記取得された画像の系列から導出され、その場合において、上記の設定された品質計測量は該バイタルサインの導出に及び/又は導出されたバイタルサインの信頼性の判定に(特に、導出されたバイタルサインは信頼性があるか及び/又はどの程度信頼性があるかの判定に)使用される。
以上、本発明を図面及び上記記載において詳細に図示及び説明したが、このような図示及び説明は解説的又は例示的なものであって限定するものではないと見なされるべきである。即ち、本発明は開示された実施態様に限定されるものではない。開示された実施態様の他の変形例は、当業者によれば、請求項に記載された本発明を実施するに際して図面、当該開示及び添付請求項の精査から理解し、実施することができるものである。
尚、請求項において“有する”なる文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。また、単一の要素又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。また、特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。
コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に若しくは他のハードウェアの一部として供給される固体媒体等の適切な非一時的媒体により記憶/分配することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように、他の形態で分配することもできる。
請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。

Claims (15)

  1. 人のバイタルサインを決定する装置であって、
    バイタルサインを導出することができる前記人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するための入力ユニットと、
    前記人の前記身体部分が支持体に接触しているか否かを決定すると共に、該身体部分が前記支持体に接触しているか否かを示す接触信号を発生する身体部分位置決定ユニットと、
    前記接触信号に基づいて、前記人のバイタルサインの決定に使用するための品質計測量を設定する品質計測量設定ユニットと、
    取得された前記バイタルサイン関連信号からバイタルサインを導出するバイタルサイン導出ユニットと、
    を有し、設定された前記品質計測量がバイタルサインの導出及び/又は導出されたバイタルサインの信頼性の判定に使用される、
    装置。
  2. 前記品質計測量設定ユニットが、前記品質計測量を設定するために、照明レベル、照度変化、前記人の動き、前記身体部分の動き、前記支持体の動き、前記支持体に対する前記身体部分の動き、バイタルサイン導出のためのアルゴリズムの種類及び/又はパラメータのうちの1以上を付加的に使用する、請求項1に記載の装置。
  3. 前記入力ユニットが、1以上のバイタルサイン関連信号として、撮像ユニットにより取得された前記人の少なくとも1つの身体部分の画像の時間的系列及び/又はウェアラブルセンサにより取得されたウェアラブルセンサ信号を取得する、請求項1に記載の装置。
  4. 前記身体部分位置決定ユニットが、前記バイタルサイン関連信号を表す画像の系列を、特に前記取得された画像の系列において前記身体部分の前記支持体に対する位置、動き及び/又は向きを検出するために分析することにより、前記人の前記身体部分が前記支持体に接触しているか否かを決定する、請求項1に記載の装置。
  5. 前記身体部分位置決定ユニットが、前記支持体内又は該支持体における人の身体部分の該支持体との接触を検出する物体センサから検出信号を受信すると共に、該検出信号から前記接触信号を発生する、請求項1に記載の装置。
  6. 前記バイタルサイン導出ユニットが、前記人の前記身体部分が前記支持体と接触していると決定された場合に導出されるバイタルサインに信頼性があるとラベル付けする、請求項1に記載の装置。
  7. 前記バイタルサイン導出ユニットが、信頼性があるとラベル付けされたバイタルサインが導出された後の所定の期間内に導出されるバイタルサインが前記バイタルサインから所定のパーセンテージを超えて逸脱するかを決定すると共に、該所定のパーセンテージより少なくしか逸脱しないバイタルサインを信頼性があるとラベル付けする、請求項1に記載の装置。
  8. 前記人の前記身体部分が前記支持体と接触していないと決定されており、且つ、該人のバイタルサインが決定されるべきである場合に、前記支持体の位置を前記人の前記身体部分に接触するように制御するための物体制御信号を発生する物体制御ユニットを更に有する、請求項1に記載の装置。
  9. 前記人の前記身体部分が前記支持体と接触していないと決定されており、且つ、該人のバイタルサインが決定されるべきである場合に、前記人に前記身体部分を前記支持体に接触するように移動するよう命令するユーザ命令を発生するためのユーザ命令発生器を更に有する、請求項1に記載の装置。
  10. 前記品質計測量設定ユニットが、前記品質計測量の設定に照明条件を付加的に使用する、請求項1に記載の装置。
  11. 前記入力ユニットが1以上のバイタルサイン関連信号として少なくとも前記人の顔、手、腕、胴体、脚又は足の画像の時間的系列を取得し、前記身体部分位置決定ユニットが前記人の頭部がヘッドレストと接触しているか、前記人の腕及び/又は手がアームレストに接触しているか、前記人の胴体が背もたれに接触しているか、前記人の脚が着座又は横臥領域に接触しているか、及び/又は前記人の足が足置きに接触しているかを決定する、請求項1に記載の装置。
  12. 人のバイタルサインを決定するシステムであって、
    バイタルサインを導出することができる前記人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するためのバイタルサイン関連信号取得ユニットと、
    取得された前記バイタルサイン関連信号に基づいて前記人のバイタルサインを決定する請求項1に記載の装置と、
    を有する、システム。
  13. 支持体内に又は支持体に配置されて、前記人の前記身体部分の該支持体との接触を検出すると共に前記人の前記身体部分が前記支持体に接触しているかを示す検出信号を発生する物体センサ、
    物体制御信号に基づいて、前記支持体の位置を前記人の前記身体部分に接触するように調整するアクチュエータ、及び
    前記人に前記身体部分を前記支持体に接触するように移動するよう命令するユーザ命令を発するためのユーザインターフェース、
    のうちの1以上を更に有する、請求項12に記載のシステム。
  14. 人のバイタルサインを決定する方法であって、
    バイタルサインを導出することができる前記人の少なくとも1つの身体部分のバイタルサイン関連信号を取得するステップと、
    前記人の前記身体部分が支持体に接触しているか否かを決定するステップと、
    前記身体部分が前記支持体に接触しているか否かを示す接触信号を発生するステップと、
    前記接触信号に基づいて、前記人のバイタルサインの決定に使用するための品質計測量を設定するステップと、
    取得された前記バイタルサイン関連信号からバイタルサインを導出するステップと、
    を有し、設定された前記品質計測量がバイタルサインの導出及び/又は導出されたバイタルサインの信頼性の判定に使用される、
    方法。
  15. コンピュータ上で実行された場合に、該コンピュータに請求項14に記載の方法のステップを実行させるプログラムコード手段を有する、コンピュータプログラム。
JP2018532367A 2015-12-23 2016-12-15 人のバイタルサインを決定する装置、システム及び方法 Active JP7159047B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15202270 2015-12-23
EP15202270.3 2015-12-23
PCT/EP2016/081097 WO2017108548A1 (en) 2015-12-23 2016-12-15 Device, system and method for determining a vital sign of a person

Publications (2)

Publication Number Publication Date
JP2019503749A true JP2019503749A (ja) 2019-02-14
JP7159047B2 JP7159047B2 (ja) 2022-10-24

Family

ID=55022371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018532367A Active JP7159047B2 (ja) 2015-12-23 2016-12-15 人のバイタルサインを決定する装置、システム及び方法

Country Status (5)

Country Link
US (1) US11540780B2 (ja)
EP (1) EP3393348B1 (ja)
JP (1) JP7159047B2 (ja)
CN (1) CN108430321B (ja)
WO (1) WO2017108548A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107149A1 (ja) * 2019-11-28 2021-06-03 株式会社エクォス・リサーチ 脈拍数検出装置、運動装置、及び脈拍数検出プログラム
KR20230026884A (ko) * 2021-08-18 2023-02-27 (주)보템 생체 신호의 신뢰도 판단 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6665696B2 (ja) * 2016-06-09 2020-03-13 株式会社デンソー 車載装置
TWI646941B (zh) * 2017-08-09 2019-01-11 緯創資通股份有限公司 生理訊號量測系統及其量測生理訊號之方法
JP2019170967A (ja) * 2018-03-29 2019-10-10 パナソニックIpマネジメント株式会社 生体信号検知装置及び生体信号検知方法
EP3581093A1 (en) * 2018-06-13 2019-12-18 Koninklijke Philips N.V. Determining reliability of vital signs of a monitored subject
FR3083346B1 (fr) * 2018-07-02 2020-07-10 Airbus Operations Procede et dispositif de surveillance de la capacite d'un membre d'equipage d'un aeronef
TWI715958B (zh) * 2019-04-08 2021-01-11 國立交通大學 評估駕駛者之疲勞分數的方法
FR3098334B1 (fr) * 2019-07-05 2021-07-23 Airbus Operations Sas Procédé et système de surveillance d’un état de conscience d’un opérateur dans un poste de pilotage d’un aéronef
DE102021203269A1 (de) * 2021-03-31 2022-10-06 Siemens Healthcare Gmbh Verfahren zur Reduzierung von Artefakten in mittels Magnetresonanz aufgenommenen Bilddatensätzen

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138580A1 (en) * 2002-10-15 2004-07-15 Medtronic, Inc. Signal quality monitoring and control for a medical device system
JP2011136145A (ja) * 2009-09-18 2011-07-14 Hill-Rom Services Inc 人を支持および監視する装置のためのセンサー制御
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
US20140058263A1 (en) * 2012-08-24 2014-02-27 Elwha LLC, a limited liability company of the State of Delaware Adaptive Ultrasonic Array
JP2014520607A (ja) * 2011-07-05 2014-08-25 サウジ アラビアン オイル カンパニー 車両の運転者の健康状況および人間工学的状況をモニタリングするための、システム、コンピュータ媒体、およびコンピュータの実行方法
WO2014141084A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
WO2015055405A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
WO2015092607A1 (en) * 2013-12-18 2015-06-25 Koninklijke Philips N.V. Vital sign monitoring and control
JP2016014484A (ja) * 2013-06-25 2016-01-28 株式会社東芝 冷蔵庫

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571811B1 (ko) * 2003-05-09 2006-04-17 삼성전자주식회사 귀속형 생체 신호 측정 장치
JP2009521165A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バレンタイン用の枕状物体
GB0705033D0 (en) * 2007-03-15 2007-04-25 Imp Innovations Ltd Heart rate measurement
US8184856B2 (en) 2007-04-30 2012-05-22 Delphi Technologies, Inc. Method and apparatus for assessing driver head pose with a headrest-mounted relative motion sensor
US20080294012A1 (en) 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US20100168531A1 (en) * 2008-10-22 2010-07-01 Dr. Phillip Andrew Shaltis Rapidly deployable sensor design for enhanced noninvasive vital sign monitoring
WO2010095064A1 (en) * 2009-02-17 2010-08-26 Koninklijke Philips Electronics, N.V. System and method for automatic capture and archive of clinically meaningful vitals
CN102270264B (zh) * 2010-06-04 2014-05-21 中国科学院深圳先进技术研究院 生理信号质量评估系统及方法
WO2013156908A1 (en) * 2012-04-17 2013-10-24 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being
BR112014030765A2 (pt) * 2012-06-12 2017-06-27 Koninklijke Philips Nv sistema para determinar o sinal vital de um indivíduo, dispositivo para determinar o sinal vital de um indivíduo, método para determinar o sinal vital de um indivíduo e programa de computador
KR101316497B1 (ko) * 2012-08-03 2013-10-10 현대자동차주식회사 승객의 심박수 관찰시스템 및 관찰방법
US11076810B2 (en) * 2012-09-05 2021-08-03 Vital Connect, Inc. Continuous assessment of ECG signal quality
WO2014085394A1 (en) * 2012-11-27 2014-06-05 Faurecia Automotive Seating, Llc Oximetry sensor assembly and methodology for sensing blood oxygen concentration
EP2767232A1 (en) * 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
DE112014000934T5 (de) 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
JP6389831B2 (ja) 2013-03-06 2018-09-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. バイタルサイン情報を決定するためのシステム及び方法
BR112015022002A2 (pt) * 2013-03-13 2017-07-18 Koninklijke Philips Nv aparelho para determinar informações de sinais vitais de um indivíduo, e método para determinar informações de sinais vitais de um indivíduo
EP2967376B1 (en) * 2013-03-14 2023-02-15 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
JP6461021B2 (ja) * 2013-03-14 2019-01-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被検者のバイタルサイン情報を取得するためのデバイス及び方法
US20140285216A1 (en) * 2013-03-19 2014-09-25 Ford Global Technologies, Llc System for enhancing signal quality from capacitive biometric sensor in a vehicle for continuous biometric monitoring
US10512407B2 (en) * 2013-06-24 2019-12-24 Fitbit, Inc. Heart rate data collection
CN103519784B (zh) * 2013-09-26 2015-11-25 天津大学 基于人体生命体征探测的新型智能闹钟
CN203885510U (zh) * 2013-12-24 2014-10-22 烟台通用照明有限公司 一种基于红外检测技术的驾驶员疲劳检测系统
EP2898825A1 (en) * 2014-01-22 2015-07-29 ams AG Portable device for optical heart rate measurement and method
CN103978977B (zh) 2014-04-28 2016-09-07 中国科学院深圳先进技术研究院 基于人体通信的汽车监控系统和方法
CN204500644U (zh) * 2015-01-28 2015-07-29 深圳市水入道田电子商务有限公司 一种睡眠检测系统及智能枕头

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138580A1 (en) * 2002-10-15 2004-07-15 Medtronic, Inc. Signal quality monitoring and control for a medical device system
JP2011136145A (ja) * 2009-09-18 2011-07-14 Hill-Rom Services Inc 人を支持および監視する装置のためのセンサー制御
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的系统
JP2014520607A (ja) * 2011-07-05 2014-08-25 サウジ アラビアン オイル カンパニー 車両の運転者の健康状況および人間工学的状況をモニタリングするための、システム、コンピュータ媒体、およびコンピュータの実行方法
US20140058263A1 (en) * 2012-08-24 2014-02-27 Elwha LLC, a limited liability company of the State of Delaware Adaptive Ultrasonic Array
WO2014141084A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
JP2016014484A (ja) * 2013-06-25 2016-01-28 株式会社東芝 冷蔵庫
WO2015055405A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
WO2015092607A1 (en) * 2013-12-18 2015-06-25 Koninklijke Philips N.V. Vital sign monitoring and control

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107149A1 (ja) * 2019-11-28 2021-06-03 株式会社エクォス・リサーチ 脈拍数検出装置、運動装置、及び脈拍数検出プログラム
KR20230026884A (ko) * 2021-08-18 2023-02-27 (주)보템 생체 신호의 신뢰도 판단 장치 및 방법
KR102566001B1 (ko) * 2021-08-18 2023-08-11 (주)보템 생체 신호의 신뢰도 판단 장치 및 방법

Also Published As

Publication number Publication date
EP3393348B1 (en) 2020-10-21
US11540780B2 (en) 2023-01-03
US20180360387A1 (en) 2018-12-20
WO2017108548A1 (en) 2017-06-29
EP3393348A1 (en) 2018-10-31
CN108430321A (zh) 2018-08-21
JP7159047B2 (ja) 2022-10-24
CN108430321B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7159047B2 (ja) 人のバイタルサインを決定する装置、システム及び方法
JP6727599B2 (ja) 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム
US20220054089A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
EP3355787B1 (en) Device, system and method for extracting physiological information
EP3373804B1 (en) Device, system and method for sensor position guidance
CN110662480B (zh) 用于测量和处理对象的生理信号的设备、系统和方法
CN105451646B (zh) 用于提取生理信息的设备、系统和方法
JP6449271B2 (ja) 対象の酸素化の状態をスクリーニングするシステム
US10045702B2 (en) Automatic camera adjustment for remote photoplethysmography
US20180333102A1 (en) Device, system and method for determining vital sign information of a subject
US20200156648A1 (en) Apparatus and method for measuring physiological information of living subject in vehicle
Blöcher et al. An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection
JP6620999B2 (ja) 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
EP3838128A1 (en) Device and method for determining a vital sign of a subject
Bui et al. Measuring Heart Rate by using the Contact Free Video Imaging on a Built-In Camera of a Smartphone
CN116940277A (zh) 用于易变环境中的人的生命体征的远程测量的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220601

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220609

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7159047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150