JP2020537552A - 複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム - Google Patents

複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム Download PDF

Info

Publication number
JP2020537552A
JP2020537552A JP2020515754A JP2020515754A JP2020537552A JP 2020537552 A JP2020537552 A JP 2020537552A JP 2020515754 A JP2020515754 A JP 2020515754A JP 2020515754 A JP2020515754 A JP 2020515754A JP 2020537552 A JP2020537552 A JP 2020537552A
Authority
JP
Japan
Prior art keywords
ppg
ppg signal
sensor
signal
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020515754A
Other languages
English (en)
Other versions
JP7339676B2 (ja
Inventor
ジェニコ,マチュー
ファンフィンケンロイエ,アモリ
レイセン,コベ
グリーテン,ラルス
デル アウウェラ,ヨ ヴァン
デル アウウェラ,ヨ ヴァン
ゲルプ ビーケ ヴァン
ゲルプ ビーケ ヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qompium
Original Assignee
Qompium
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qompium filed Critical Qompium
Publication of JP2020537552A publication Critical patent/JP2020537552A/ja
Application granted granted Critical
Publication of JP7339676B2 publication Critical patent/JP7339676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361Detecting fibrillation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/327Generation of artificial ECG signals based on measured signals, e.g. to compensate for missing leads
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/35Detecting specific parameters of the electrocardiograph cycle by template matching
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

ダイレクトフォトプレチスモグラフィ又はダイレクトPPGのためのコンピュータ実装方法(100)は、− 時間インターバル中、ウェアラブル装置(301)内のそれぞれのセンサ(321、322、323、324)のための複数のPPG信号(311〜314、401〜404、501〜504、601〜608、701〜708)を取得するステップ(101)と、− 複数のPPG信号(311〜314、401〜404、501〜504、601〜608、701〜708)を組み合わせて、それによりマルチセンサPPG信号(405、505、609、709)を取得するステップ(105)とを含む。【選択図】図3

Description

本発明は、概して、様々な生理学的パラメータの監視を可能にする、血液容積の変化を検出する光学技法であるフォトプレチスモグラフィ(photoplethysmography)又はPPGに関する。本発明は、より詳細には、ダイレクトPPG又はいわゆるコンタクトPPGであって、計測コンポーネント、即ち光源及び光検出器は、監視対象の人物の皮膚との直接的な接触状態にある、ダイレクトPPG又はいわゆるコンタクトPPGに関する。本発明は、概して、複数のセンサが利用可能である際にダイレクトPPGの信号品質を改善することを想定している。
フォトプレチスモグラフィ又はPPGは、末梢循環における血液容積の変化を検出することにより、1つ又は複数の生理学的パラメータの監視を許容する光学技法である。PPGは、これらの容積計測の変化を追跡するために血液による光吸収を利用している。光源が皮膚を照射した際、反射光は、血液の流れに伴って変化する。この結果、光センサは、これらの光の反射の変動をデジタル信号に変換し、これは、いわゆるPPG信号である。PPG信号は、通常、パルスオキシメータ又は例えば人物のスマートフォン若しくは他のスマートなウェアラブル若しくは非ウェアラブル装置のような電子装置内において統合されたカメラなどの光検出器を使用することにより記録される。
PPGは、他の用途に加えて、心拍数、心拍数変動、血圧などの心血管及び血流力学的パラメータを監視するか、又はストレス、呼吸若しくは自律神経機能などの他の生理学的変数を監視するために使用することができる。PPGは、様々なノイズ供給源の影響を受け得ることから、PPGを伴う正確な監視の重要な部分の1つは、高品質の、アーチファクトを有さない信号を取得することである。
「Device and Method for Extracting Physiological Information」という名称であり、且つKoninklijke Philips N.V.によって出願された国際特許出願国際公開第2014/024104号パンフレットは、リモートPPG又は非コンタクトPPGの精度を改善する方法について記述しており、このようなPPGは、通常、フィットネスのような日々の用途においてより大きい対象領域(例えば、顔面)を追跡するために使用されている。方法は、対象の領域を空間的なサブ領域に分割し、且つPPG信号をそれぞれのサブ領域を表す信号サブセットにパーティション化する。信号サブセットは、別個に処理される。処理は、品質推定を伴い得る。その後、信号サブセットは、改善された信号として組み合わされる。歪んだサブ信号は、減衰され得るか又は組み合わされた信号から除去され得る。
また、「Video Coding and Decoding Devices and Methods Preserving PPG Relevant Information」という名称であり、且つKoninklijke Philips N.V.によって出願された米国特許出願公開第2013/0272393A1号明細書もリモートPPGに関する。
リモートPPGは、監視対象の人物にとって押しつけがましいものではないが、信号検出及び信号処理に対して重大な課題を課す。その結果、その精度及び信頼性が医療用途にとって不十分であることから、リモートPPGの使用は、レジャー又はフィットネスなどの日々の用途に限られた状態に留まっている。
リモートPPGとは対照的に、本発明は、ダイレクトPPG又はコンタクトPPGであって、計測コンポーネントは、医療診断を促進するより確実でより正確なPPG信号を取得するために皮膚との直接的な接触状態にある。
ダイレクトPPG信号が心拍数変動を判定するために処理される用途では、低信号品質の結果として不正確性が生成され得る。部分的に良好な品質の信号は、確実な分析を実施するために十分な情報を付与する一方、アーチファクトの存在は、深刻な影響を品質に及ぼす可能性があり、且つ誤解を招く結果をもたらし得る。この結果、可能な限りクリーンなダイレクトPPG信号を得ると共に、更なる分析のために良好な品質のもののみを維持するために不良な品質の部分を識別及び除去するというニーズが存在する。
アーチファクトは、モーション、光センサとの関係における皮膚の不良な位置決め又は周辺光干渉を含む。また、著者Alexei A.Kamshilinらからの「A new look at the essence of the imaging photoplethysmography」という文献は、PPG波形の反転という、PPG信号において頻繁に観察される別のアーチファクトについて報告している。この現象は、信号又は信号の一部分が信号の通常の向きとの比較において反転されることにより出現する。この現象は、通常の向きにおいて信号を提示している1つのエリアと、反対の向きにおいて信号を表している隣接するエリアとの皮膚の隣接するエリア内で観察される。この結果、これらの2つのエリアが信号を抽出するために使用された際、PPG信号の品質損失に結び付くことなる。この現象の説明は、更に検証されることになる。
カメラを利用して記録されるダイレクトPPG信号の品質を改善するために、画像ピクセルをサブ領域又は象限のマトリックスに分割すると共に、最適な対象領域と呼称される、そのPPG信号が最良の品質を有する最適なサブ画像、即ち象限を判定する選択アルゴリズムを適用することが示唆されている。
著者Rong−Chao Pengらからの「Investigation of Five Algorithms for Selection of the Optimal Region of Interest in Smartphone Photoplethysmography」という文献は、最適な対象領域を選択するための以下の5つのアルゴリズムについて記述している。
− バリアンス(VAR)アルゴリズムは、そのPPG波形が最大バリアンス、即ち最大信号パワーを有する象限を最適な対象領域として選択し、
− スペクトルエネルギー比(SER)アルゴリズムは、そのPPG信号が最大のスペクトルエネルギー比を有する、即ち心臓活動の最大の割合を示す象限を対象の最適な領域として選択し、
− テンプレートマッチング(TM)アルゴリズムは、そのPPG信号がテンプレート波形との間において最大の類似性を有する象限を最適な対象領域として選択し、
− 時間差(TD)アルゴリズムは、そのPPG信号が、隣接するフレーム間のピクセルの最大平均強度変動を有する象限を最適な対象領域として選択し、且つ
− 勾配(GRAD)アルゴリズムは、そのPPG信号が最大平均光強度勾配を有する象限を最適な対象領域として選択する。
Pengらの文献は、TM及びTDアルゴリズムが、最適な対象領域の選択において、且つその結果、改善された精度による生理学的パラメータの推定を可能にするPPG信号の選択において、他のものよりも性能が優れていると結論付けている。
著者Walter Karlenらからの「Detection of the Optimal Region of Interest for Camera Oximetry」という文献は、好ましい象限又は最適な対象領域を判定するための更に別のアルゴリズムについて記述している。提案されているアルゴリズムは、青色チャネルのみを考慮しており、且つ平均ピクセル強度計算及び増分マージセグメント化(IMS)アルゴリズムを通じてPPG信号からビート又はパルスを抽出する。換言すれば、選択された最適な対象領域は、最大パルスを有するPPG信号を有する。また、Karlenらは、Samusung Galaxy Ace携帯電話機上において、PPGのための好ましい設定として白熱白色バランスモードを選択することを更に教示している。
いわゆる最適な対象領域であるピクセルのサブセットの選択に加えて、特定の色チャネルを選択することにより、PPG信号を生成することが示唆されている。例えば、Jihyoung Leeらからの「Comparison between red, green and blue light reflection photoplethysmography for heart rate monitoring...」という文献は、心拍数を監視するために緑色光がより適していると示唆している。
「Systems and Methods for Identifying Non−Corrupted Signal Segments for Use in Determining Physiological Parameters」という名称であり、且つ譲受人であるNellcor Puritan Bennett Irelandによって出願された米国特許出願公開第2011/0077484A1号明細書は、トレーニングされたニューラルネットワークによってPPG信号のウェーブレット変換を処理することにより、ダイレクトPPG信号セグメントの品質を分析することを教示している。これは、破壊されたPPG信号セグメントと、破壊されていないPPG信号セグメントとが識別されるという結果をもたらす。破壊された信号セグメントは、除去されるか、又は以前に受け取られた破壊されていないPPG信号セグメントにより置換される。
これらの既知の解決策は、単一の対象の領域の選択に依存し、且つこの選択された対象領域からPPG信号を抽出する。選択された対象領域は、静的であり、即ち最適な領域は、計測の全体にわたって同一であるものと見なされるピクセルの単一のサブ領域である。これは、PPG信号を抽出するための最適なサブ領域が計測にわたって変化している際、不満足な結果に結び付き得る。その結果、抽出されたPPG信号は、例えば、心拍数変動の精度などの生理学的パラメータ推定の精度と、結果的にそれに基づいて構築される例えばAF診断などの任意の疾病診断の精度とを低減する反転及び/又は不良品質のセクションを含み得る。
同様に、ダイレクトPPG信号の抽出のための既知のシステムにおける色の選択も予め実施されており、且つ同一の色がすべての分析について静的に使用されている。
スマートフォンやスマートウォッチなどのようなウェアラブルの開発では、複数のセンサを統合する傾向が存在する。例えば、最近のウェアラブルは、ラスタ内に配置された複数の光検出器を有するものと公表されている。最適な色を静的に選択し、且つ/又は最適な対象領域を静的に選択する、PPGのための既存の解決策によれば、複数のセンサの利用可能性は、最適なセンサの静的な選択を伴うPPG実装をもたらし得ることになり、なんらかの品質尺度を異なるセンサに適用することができると共に、単一のセンサをPPG信号抽出のために選択することができる。
「Washable Wearable Biosensor」という名称であり、且つMassachusetts Institute of Technologyによって出願された米国特許出願公開第2010/0268056A1号明細書は、複数のセンサを有するウェアラブルについて記述している。米国特許出願公開第2010/0268056A1号明細書の段落[0016]及び[0076]は、特定の実施形態では、複数のPPGセンサによって取得された複数のPPG信号が、モーションアーチファクトによって生成されるノイズを低減するために信号処理を使用して組み合わされると規定している。但し、米国特許出願公開第2010/0268056A1号明細書は、複数のPPG信号を組み合わせるべき方式について記載しないままである。
更に、従来技術の解決策の何れも、様々なベンダ及びスマート装置のタイプにわたってダイレクトPPG信号の品質に悪影響を及ぼし得るカメラ設定の信号品質ターゲットを改善することを目的としていない。
従って、以上において識別された既存の解決策の欠点の1つ又は複数を解決する、ダイレクトPPGのためのコンピュータ実装方法を開示することが本発明の目的である。更に詳細には、改善された精度及び信頼性を有する、複数のセンサが利用可能である際のダイレクトPPGのための方法を開示することが目的である。
本発明によれば、以上において識別された目的は、請求項1に記載のダイレクトフォトプレチスモグラフィ又はダイレクトPPGのためのコンピュータ実装方法であって、
− 時間インターバル中、ウェアラブル装置内のそれぞれのセンサのための複数のPPG信号を取得するステップと、
− 複数のPPG信号を組み合わせて、それによりマルチセンサPPG信号を取得するステップと
を含み、
− PPG信号の品質尺度が閾値超であるPPG信号の良好品質セグメントと、PPG信号の品質尺度が閾値未満であるPPG信号の不良品質セグメントとを識別するために複数のPPG信号のそれぞれのPPG信号を処理するステップと、
− 複数のPPG信号のそれぞれのPPG信号から不良品質セグメントを除去するステップと、
− マルチセンサPPG信号を取得するために複数のPPG信号の時間的に対応する良好品質セグメントを組み合わせるステップと
を含むコンピュータ実装方法によって達成される。
従って、例えば、異なる色が単一のフォトダイオードを通じて計測されるように、単一のウェアラブル装置内において統合された複数のフォトダイオード又は単一のフォトダイオードを取り囲み、且つ順番にスイッチオンされる、複数のLEDなどの複数のセンサから取得された複数のダイレクトPPG信号をマルチセンサPPG信号として組み合わせることができる。複数のセンサのPPG信号を組み合わせることに起因して、単一のセンサの静的な事前選択を通じて良好品質PPG情報が除去されることがない。異なるPPG信号の良好品質部分がマルチセンサPPG信号内において存在することになり、従って、これにより、マルチセンサPPG信号内の有用情報の存在のみならず、それから導出される任意の生理学的パラメータ推定の精度及び信頼性が増大する。
複数のセンサから得られたPPG信号は、品質評価に基づいて組み合わされる。PPG信号は、ウェアラブル装置の複数のセンサについて取得される。これらのPPG信号のそれぞれは、数秒から、最大で計測インターバル全体の範囲である代表的な長さを有する時間セグメントにセグメント化される。PPG信号が60秒の時間インターバルについて取得される場合、これらのPPG信号は、例えば、それぞれが5秒である12個の時間セグメントにセグメント化することができる。セグメント化は、PPG信号内のそれぞれのセグメントごとに、時間的に対応するセグメントが、他のセンサについて取得されたPPG信号内に存在するようにすべてのPPG信号について同一である。次いで、それぞれのPPG信号セグメントは、品質評価を受ける。なんらかの品質尺度に従って、良好品質PPG信号セグメント及び不良品質PPG信号セグメント、即ち品質評価が所与の品質閾値を超過しているPPG信号セグメント及び品質評価が所与の閾値未満に留まっているPPG信号セグメント間で弁別が実施される。不良品質PPG信号セグメントは、除去され、即ち、これらは、それぞれのPPG信号から除去される。相互に時間的に対応する異なるPPG信号の良好品質セグメントは、組み合わされ、当業者に理解されるように、このようなセグメントは、例えば、加算されるか又はこのようなセグメントの重み付けされた合計が生成され、この場合、重みは、このようなセグメントについて判定されたそれぞれの品質値に比例するか又は代替的な組み合わせを考慮することもできる。この結果、精度及び信頼性の観点においてより良好に稼働するマルチセンサPPG信号が構成されることになり、その理由は、この場合、PPG信号の良好品質部分のみが組み合わされ、且つPPG信号の不良品質部分がマルチセンサPPG信号の外部に残されるからである。
本発明による方法におけるそれぞれのPPG信号は、単一のウェアラブル内において統合され、且つ例えばラスタ内において配置された複数のセンサのうちの異なるセンサについて取得されたダイレクトPPG信号又はコンタクトPPG信号を表すことに留意されたい。センサは、好ましくは、同一のタイプを有し、例えば、PPG信号が、例えば、PPG信号を共に加算又は平均化することにより容易に組み合わせ可能となるように、これらのすべては、光検出器である。
本発明による方法における時間インターバルは、連続的なダイレクトPPG計測が実行される時間インターバルに対応することに更に留意されたい。時間インターバルは、通常、例えば、30秒などの数十秒から、最大で例えば3分などの数分の範囲をとることになる。従って、時間インターバルは、AF患者が、複数のカメラを有する自らのウェアラブルにより、1日に2回にわたって1分のPPG計測を実施するように要求される場合、例えば60秒のビデオフレームの長さに対応し得るか、又は複数のフォトダイオード若しくは1つのフォトダイオードを取り囲む複数のLEDが、監視を目的としてPPG信号を取得するために使用される場合、1分又は数分の計測インターバルに対応し得る。
本発明によれば、異なるセンサから、このような時間インターバル中に取得されたPPG信号は、マルチセンサPPG信号として静的に組み合わされ得るか、又はマルチセンサPPG信号として動的に組み合わされ得る。複数のセンサのPPG信号を静的に組み合わせることは、PPG信号が計測時間インターバルの全体を通じて同一の方式によって組み合わされることを意味する。複数のセンサのPPG信号を静的に組み合わせることは、例えば、良好品質PPG信号を平均化することにより、又は特定のセンサのサブセットの良好品質PPG信号を加算若しくは平均化することにより取得することができる。PPG信号を静的に組み合わせる際、PPG信号は、後の時間インターバル内で異なる方式により組み合わされ得る。一例として、静的なマルチセンサPPGは、評価を実施するステップと、その評価に応じて、第1の時間インターバル内において、例えばフォトダイオードA及びBから得られたPPG信号など、センサの第1のサブセットのPPG信号を加算するステップとを伴い得る一方、例えば、フォトダイオードA、C及びDのPPG信号など、第1のサブセットと異なるセンサの第2のサブセットのPPG信号は、第2の時間インターバルについて実施された新しい評価に基づいて第2の時間インターバル内において加算され、これにより例えば人物の皮膚上におけるウェアラブル装置の異なる位置決めの結果として得られる計測間の差が予期される。PPG信号を動的に組み合わせることは、更に後述するように、計測内の差を予期するために、時間インターバルの異なる時間的サブセグメント内のセンサの異なるサブセットのPPG信号を組み合わせることによって実現される。
更に後述するように、時間インターバル内で異なる色について取得されたPPG信号は、選択され得るか又は組み合わされ得、且つ選択されるか又は組み合わされる色は、センサ間で変化し得ることに更に留意されたい。
また、単一のセンサの場合、1つ又は複数の空間的サブ領域が選択され得るか又は組み合わされ得ることに更に留意されたい。また、選択されるか又は組み合わされる空間的サブ領域は、更に後述するようにセンサ間で変化し得る。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態では、請求項2に記載されているように、良好品質セグメントは、反転されていないセグメントと、反転されたセグメントとを含み、及びそれぞれのPPG信号の処理は、反転されたセグメントを識別し、且つ反転されたセグメントを元に戻すステップを更に含む。
実際に、反転されたPPG信号は、元に戻された後、良好品質PPG信号として維持することができる。本発明による方法の有利な実施形態では、品質評価は、良好な品質の反転されていないPPG信号セグメント、反転されたPPG信号セグメント及び不良品質PPG信号セグメント間を弁別する。これは、例えば、PPG信号セグメントのそれぞれを反転させ、品質尺度を適用し、且つ品質尺度が所与の閾値を超過しているかどうかを検証することにより実現することができる。これが該当する場合、PPG信号セグメントは、反転されていない良好品質PPG信号となるように元に戻されるという条件下において、マルチセンサPPG信号の構成のために維持され得る反転されたPPG信号セグメントである。PPG信号セグメントを元に戻すことは、サンプルの符号を変更することとして要約される。反転されたPPG信号セグメントを元に戻し、且つマルチセンサPPG信号の構成のためにこのようなPPG信号セグメントを維持することにより、後者のマルチセンサPPG信号の精度及び信頼性が更に改善される。
本発明によるダイレクトPPGのためのコンピュータ実装方法の更なる実施形態では、請求項3に記載されているように、それぞれのPPG信号の処理は、
− ウェーブレット変換されたPPG信号を取得するためにPPG信号をウェーブレット変換するステップと、
− PPG信号の良好品質セグメントとPPG信号の不良品質セグメントとを識別するようにトレーニングされたニューラルネットワークに、ウェーブレット変換されたPPG信号を供給するステップと
を含む。
従って、本発明の好適な実施形態は、PPG信号セグメントをウェーブレット変換する。ウェーブレット変換されたPPG信号セグメントは、次いで、良好品質信号セグメントと不良品質信号セグメントとを弁別するようにサンプルセットによってトレーニングされたニューラルネットワークに供給される。但し、当業者は、ウェーブレット変換及び/又はニューラルネットワークに依存しない、不良品質PPG信号部分から良好品質PPG信号部分を弁別するための代替品質尺度が存在することを理解するであろう。
本発明によるダイレクトPPGのためのコンピュータ実装方法の更なる実施形態では、請求項4に記載されているように、ニューラルネットワークは、反転されたセグメントを識別するように更にトレーニングされる。
また、実際に、ニューラルネットワークは、好ましくは、反転されたPPG信号セグメントを弁別するようにトレーニングされる。これらの反転されたPPG信号セグメントは、次いで、マルチセンサPPG信号の構成のために保持される良好品質PPG信号セグメントとなるように元に戻すことができる。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項5に記載されているように、
− 色空間からのそれぞれの色について、マルチセンサPPG信号に類似する複数のマルチセンサPPG信号を生成するステップ
を含む。
実際に、任意選択により、PPG信号は、例えば、RGB空間における赤色、緑色及び青色並びにCYMK空間におけるシアン、黄色及びマゼンタのような色空間の異なる色について取得される。例えば、緑色などの単一の色について複数のセンサから得られたPPG信号は、次いで、その色のためのマルチセンサPPG信号として組み合わせることができる。この結果、色空間のそれぞれの色について、マルチセンサPPG信号を生成することができる。次いで、後述するように、最高品質を有する色のマルチセンサPPG信号を静的又は動的に選択することができる。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項6に記載されているように、
− 色のそれぞれの1つについて品質尺度を判定するステップと、
− 複数のマルチセンサPPG信号のうち、最高の品質尺度を有する色のマルチセンサPPG信号を選択するステップと
を更に含む。
従って、本発明の有利な実施形態は、色空間の複数の色についてマルチセンサPPG信号を生成し、且つ品質評価に基づいて単一の色の単一のマルチセンサPPG信号を静的に選択する。次いで、選択された単一の色のマルチセンサPPG信号は、生理学的パラメータ推定のために使用される。但し、次の時間インターバルについて、異なる色のマルチセンサPPG信号を選択することができる。
本発明によるダイレクトPPGのためのコンピュータ実装方法の代替実施形態は、請求項7に記載されているように、
− 色のそれぞれの1つについて品質尺度を判定するステップと、
− 複数の色のためのマルチセンサPPG信号をマルチカラーマルチセンサPPG信号に組み合わせるステップと
を更に含む。
実際に、単一の色を選択することの代替として、異なる色について取得されたPPG信号間に存在する位相シフトが補償される場合、異なる色のマルチセンサPPG信号を組み合わせることができる。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項8に記載されているように、
− 時間インターバル中、それぞれの色及びそれぞれのセンサのための複数のPPG信号を取得するステップと、
− 前記PPG信号の品質尺度が閾値超であるPPG信号の良好品質セグメントと、PPG信号の品質尺度が閾値未満であるPPG信号の不良品質セグメントとを識別するために複数のPPG信号のそれぞれのPPG信号を処理するステップと、
− 複数のPPG信号のそれぞれのPPG信号から不良品質セグメントを除去するステップと、
− マルチカラーマルチセンサPPG信号を取得するために複数のPPG信号の時間的に対応する良好品質セグメントを組み合わせるステップと
を更に含む。
従って、本発明の先進的な実施形態は、例えば、5秒などの数秒の代表的な長さを有する時間セグメントとしてそれぞれのPPG信号をセグメント化する。これは、それぞれの色ごとに実行される。個々のPPG信号セグメントは、その品質を評価するために処理される。これらは、例えば、ウェーブレット変換することができると共に、良好品質セグメント、不良品質セグメント及び場合により反転されたセグメントを弁別するニューラルネットワークに供給することができる。マルチカラーマルチセンサPPG信号を動的に生成するために不良品質セグメントが除去されると共に、時間的に対応する良好品質セグメントは、センサにわたって且つ色にわたって組み合わされ、この場合、それぞれのセグメントは、異なる色及び異なるセンサから構成することができる。乏しい品質のすべてのPPG信号部分を除去しつつ、色のうちの最良のものをセンサのうちの最良のものと動的に組み合わせることから、このようにして得られたマルチカラーマルチセンサPPG信号は、精度及び信頼性の観点において最適なものになっている。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項9に記載されているように、
− 時間インターバル中、前記センサの少なくとも1つについて、前記センサのそれぞれのサブ領域のための複数のPPG信号を取得するステップであって、前記サブ領域のそれぞれのサブ領域は、複数のピクセルをカバーする、ステップと、
− 複数のPPG信号を組み合わせて、それによりマルチセンサマルチ領域PPG信号又はマルチカラーマルチセンサマルチ領域PPG信号を取得するステップと
を更に含む。
従って、本発明の先進的な実施形態では、単一のセンサをサブ領域として更にサブ分割することができる。一例として、カメラのレンズは、4つの象限としてサブ分割することができる。それぞれのサブ領域のピクセルは、サブ領域PPG信号を生成するために使用することができる。従って、複数のPPG信号が単一のセンサについて取得される。複数のサブ領域PPG信号を色空間のそれぞれの色について取得することが更に可能である。サブ領域PPG信号は、マルチ領域PPG信号、即ちサブ領域及び/又は色から構成されたそれぞれのセンサについての単一の人工的なPPG信号として静的又は動的に組み合わせることができると共に、本発明によるマルチセンサPPG信号を取得するために、そのマルチ領域PPG信号を他のセンサのPPG信号と組み合わせることができる。代わりに、センサのサブ領域PPG信号は、マルチセンサマルチ領域PPG信号又は更にマルチカラーマルチセンサマルチ領域信号を構成するために他のセンサのPPG信号と直接的に組み合わせることもできる。上述のシナリオの任意のものにおいて、その不良品質セグメントを除去するために、且つその反転されたセグメントを元に戻すために、まず個々のサブ領域PPG信号を処理することができる。ウェアラブル装置内の複数のセンサについて、サブ領域のうちの最良のものを色のうちの最良のものと組み合わせることから、このようにして得られたマルチセンサマルチ領域PPG信号又はこのようにして得られたマルチカラーマルチセンサマルチ領域PPG信号は、精度及び信頼性の観点において最適なものになっている。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項10に記載されているように、時間インターバル中、センサの1つ又は複数の設定をロックするステップを更に含み、設定は、少なくとも、
− ダイアフラムと、
− 光感度のためのセンサ設定と、
− 露光時間と
を含む。
実際に、振幅ノイズを低減し、且つその結果、PPG信号の精度及び信頼性を改善するために、センサ設定は、好ましくは、センサの1つ又は複数がカメラである場合、フル計測時間インターバル中にロックされる。好ましくはロックされるカメラ設定は、少なくとも、ダイアフラム、センサチップの光感度又は感度及び露光時間又はセンサが光に曝露される時間の持続時間を含まなければならない。但し、ノイズを更に低減するために、且つPPG計測の精度を更に改善するために、完全なPPG計測時間インターバル中、他のカメラ設定をロックすることもできる。カメラ設定をロックすることは、マルチセンサPPG信号の構成とは独立して、ノイズ低減及び精度における利点をもたらすことに留意されたい。従って、複数のPPG信号がマルチセンサPPG信号を構成するように組み合わされない状況、及び/又は複数の色がマルチカラーPPG信号を構成するように組み合わされない状況、及び/又は複数のサブ領域がマルチ領域PPG信号を構成するように組み合わされない状況では、PPG信号の取得時にカメラ設定をロックすることはまた、振幅ノイズの低減における大きい利点をもたらす。例えば、フォトダイオードなどの他のセンサが使用される場合、特定の設定は、好ましくは、計測時間インターバル中に変化することが可能であり、その理由は、カメラと異なり、このようなフォトダイオードは、PPG信号を取得するのにより適しているからである。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項11に記載されているように、マルチセンサPPG信号内においてピークを検出するステップと、それに対して、
− マルチセンサPPG信号内において初期ピークを検出するステップと、
− マルチセンサPPG信号内の初期ピークをウィンドウ化して、それによりウィンドウ化された初期ピークを生成するステップと、
− マルチセンサPPG信号内のウィンドウ化された初期ピークを平均化して、それによりピークテンプレートを生成するステップと、
− 初期ピークをピークテンプレートと相関させるステップと、
− 相関尺度が相関閾値を超過する初期ピークをピークとして維持するステップと、
− 相関尺度が相関閾値を超過しない初期ピークをドロップするステップと
を更に含む。
従って、本発明の好適な実施形態は、構成されたマルチセンサPPG信号内においてピークを検出するためにテンプレートマッチングピーク検出アルゴリズムを適用する。第1のステップにおいて、初期振幅ピークがマルチセンサPPG信号内において検出される。それぞれの初期ピークは、検出された初期ピークに先行するサンプルの限られた組と、マルチセンサPPG信号からの初期ピークに後続するサンプルの限られた組とをフィルタリングするウィンドウを通じてウィンドウ化される。このようにして得られたウィンドウ化された初期ピークは、次いで、平均初期ピークに対応するピークテンプレートを構成するために平均化される。検出された初期ピークのそれぞれは、この後、テンプレートピークと比較又は相関され、且つそのテンプレートピークとの間の相関が既定の閾値未満に留まっている初期ピークが除去され、即ち、これらは、もはやピークを構成するものと見なされない。テンプレートマッチングピーク検出アルゴリズムは、すべてのピークが最終的な望ましい相関閾値を充足することになる時点まで、場合により増大する相関閾値を伴って繰り返し反復することができる。この結果、ピークの最終的な組を生理学的パラメータ推定のために使用することができる。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項12に記載されているように、
− マルチセンサPPG信号内の後続のピーク間の時間差を判定することにより、RRタコグラムを抽出するステップ
を更に含む。
従って、心鼓動又は心拍数が監視又は分析される用途に適した本発明の実施形態は、マルチセンサPPG信号内において判定されたピークから、RRタコグラムを更に抽出することができる。維持されたピークのこれに対するタイミングが考慮される。RRタコグラムを構成するためにそれぞれの2つの後続のピーク間の時間差が判定される。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項13に記載されているように、
− マルチセンサPPG信号の品質尺度が閾値超であるマルチセンサPPG信号の良好品質セグメントと、マルチセンサPPG信号の品質尺度が前記閾値未満であるマルチセンサPPG信号の不良品質セグメントとを識別するためにマルチセンサPPG信号を処理するステップと、
− RRタコグラムを抽出する前に、マルチセンサPPG信号から不良品質セグメント内のピークを除去するステップと、
− RRタコグラムから、マルチセンサPPG信号の不良品質セグメント内に全体的又は部分的に配置されたRRタコグラムインターバルを除去するステップと
を更に含む。
従って、RRタコグラムは、マルチセンサPPG信号の良好品質インターバル内に位置するRRタコグラムインターバルのみを含むように処理することができる。これに対して、マルチセンサPPG信号のセグメントの品質は、マルチセンサPPG信号内において不良品質セグメントから良好品質セグメントを弁別するために尺度に従って評価しなければならない。品質評価は、例えば、ウェーブレット変換及びニューラルネットワーク分析に基づいたものなど、個々のPPG信号について使用されている品質評価と同一であるか又は類似し得るが、当業者に理解されるように、代替品質尺度も同様に適用することができる。品質評価は、マルチセンサPPG信号内の良好品質セグメント及び不良品質セグメントの識別を結果的にもたらし、これは、その後、ピーク検出アルゴリズムに合格したが、このマルチセンサPPG信号からのマルチセンサPPG信号の不良品質セグメント内に位置するピークを除去するために後に使用される。また、この結果、マルチセンサPPG信号のこのような不良品質インターバル内に全体的又は部分的に配置されたRRタコグラムインターバルも、改善された信頼性を有するRRタコグラムを取得するためにRRタコグラムから除去される。
本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態は、請求項14に記載されているように、
− 後続のピーク間の時間差の変動を判定するステップと、
− 変動から心房細動リスクスコアを判定するステップと
を更に含む。
心房細動(AF)リスク分析に適した本発明の実施形態は、ピーク検出アルゴリズムによって維持される後続のピーク間の時間差の変動、即ち心鼓動変動又は心拍数変動を更に判定する。AFスコアは、この変動に比例する状態において判定され、且つこのAFスコアが、予め定義された閾値を超過する際、更なる診断のために医師と相談し得るように患者又は監視対象の人物に警告することができる。
請求項1〜14に記載されているコンピュータ実装方法に加えて、本発明は、プログラムがコンピュータ上で実行されるときに方法を実行するためのコンピュータ実行可能命令を含む、請求項15に記載されている対応するコンピュータプログラム製品にも関する。
本発明は、コンピュータプログラム製品を含む、請求項16に記載されているコンピュータ可読ストレージ媒体にも更に関する。
本発明は、請求項1〜14の何れか1項による方法を実行するようにプログラミングされる、請求項17に記載されているデータ処理システムにも更に関する。
図1は、本発明によるダイレクトPPGのためのコンピュータ実装方法の一実施形態を示すブロック図である。 図2は、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、品質評価のためにPPG信号を処理するステップを示す。 図3は、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、複数のセンサについて複数のPPG信号を取得するステップを示す。 図4は、静的なマルチセンサPPGを実装する、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、複数のPPG信号をマルチセンサPPG信号として組み合わせるステップを示す。 図5は、動的なマルチセンサPPGを実装する、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、複数のPPG信号をマルチセンサPPG信号として組み合わせるステップを示す。 図6は、色の選択を有する動的マルチセンサPPGを実装する、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、複数のPPG信号をマルチセンサPPG信号として組み合わせるステップを示す。 図7は、動的なマルチセンサマルチカラーPPGを実装する、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、複数のPPG信号をマルチセンサPPG信号として組み合わせるステップを示す。 図8は、テンプレートに基づいたピークの選択を実装する、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態における、ピーク検出のステップを示す。 図9は、本発明によるダイレクトPPGのためのコンピュータ実装方法の実施形態におけるRRタコグラム抽出のステップを示す。 図10は、本発明の実施形態による方法及び装置を実現する適切な演算システム1000を示す。
図1は、本発明によるダイレクトPPGのための方法の一実施形態100において後に実行されるステップを示す。第1のステップ101において、複数のPPG信号は、例えば、スマートウォッチのラスタ内において統合された複数のフォトダイオードなど、ウェアラブル装置内のそれぞれのセンサから取得される。PPG信号は、単一の色について取得されるか、又は代わりに、PPG信号は、センサのそれぞれについて、例えばR、G及びB色又はC、M及びY色などの複数の色について取得することもできる。PPG信号は、センサの全体表面について取得され得るか、又はPPG信号は、センサのサブ領域、即ちセンサがカメラとなる場合、例えばレンズの象限のような隣接するピクセルのサブセットについて取得することもできる。PPG信号は、通常、数十秒から最大で数分までに設定される予め定義された時間インターバル中に取得される。PPG信号は、30Hzの例示のための周波数において取得され、これは、PPG信号のためのベースとして機能するために30枚の画像/秒が撮像装置によって取得されることを意味する。例えば、カメラ又は撮像装置などのセンサの特定の設定は、PPG信号が取得される時間インターバル中にロックされることが重要であることを試験が実証しており、その理由は、センサ設定をロックすることにより、PPG信号の品質が大幅に改善するからである。これらの設定は、少なくとも、ダイアフラムと、光感度又は露光とを含む。PPG信号が、例えば、スマートフォン内において統合されたセンサなどのウェアラブル装置によって取得されるのに伴って、ステップ101の実行時にロックされた状態に留まるようにセンサ設定を遠隔制御することが推奨される。
第2のステップ102において、すべての信号の等しいサンプリングを保証するため、それぞれの信号ごとに補間が実行される。その後、ステップ103において、ノイズを除去するために、且つ対象の周波数帯域内のPPG信号を取得するためにそれぞれのPPG信号がフィルタリングされ、通常、帯域通過フィルタリングされる。対象の周波数帯域は、医療用途により判定することができる。心鼓動、心拍数又は心拍数変動分析の場合、対象の周波数帯域は、例えば、30Hz〜200Hzの範囲の周波数帯域である。PPG信号を取得するステップ101、補間ステップ102及びフィルタリングステップは、例えば、ダイレクトPPGが適用される人物によって装用されるスマートフォン又は他の電子装置上でリモート実行される事前処理の一部分を協働して形成し得ることに留意されたい。以下の段落で説明されることになるが、但し一般的にはより処理集約的である後続のステップ104〜107は、通常、中央側において、即ちより高い処理能力を有するサーバー上において実行されることになるが、本発明の将来の実施形態における特定のステップ又はサブステップは、電子装置上でリモート実行され得ることが排除されるものではなく、その理由は、このような電子装置の処理パワーは、継続的に成長しているからである。
ステップ104において、それぞれのPPG信号が処理される。処理は、サブステップ141における品質を評価するステップと、サブステップ142における反転を検出するステップとの両方を伴う。品質を評価するステップ及び反転を検出するステップは、本発明の静的な実装形態では、時間インターバルの全体にわたってPPG信号の全体について適用することができる。代わりに、品質評価及び反転検出は、本発明の動的な実装形態では、PPG信号の時間セグメントに対して適用される。この結果、良好品質部分及び不良品質部分がPPG信号内において識別される。反転したPPG信号の部分は、有用状態に留まる良好品質部分となるように元に戻される。不良品質部分は、PPG信号から除去されることになる。
ステップ105では、単一のウェアラブル装置の一部分を形成する異なるセンサから得られた複数のPPG信号は、マルチセンサPPG信号、即ち複数のセンサを表す複数のPPG信号から抽出された情報を含む人工的に構成されたPPG信号として組み合わされる。複数のPPG信号の良好品質部分は、後続の生理学的パラメータ抽出において、精度及び信頼性の観点でより良好に稼働する単一のマルチセンサPPG信号として組み合わされることが明らかである。本発明の静的な実装形態では、単一の色又は複数の同期化された色の、良好な品質を有するものと見出された異なるセンサのPPG信号の全体が単一のマルチセンサPPG信号として組み合わされる。本発明の動的な実装形態では、複数のPPG信号の時間的に対応するセグメントが組み合わされる。組み合わされるPPG信号セグメントの組は、通常、時間セグメント間で変化し、即ち異なるセンサ及び/又は異なる色は、マルチセンサPPG信号の異なる時間セグメント内において表され得、その理由は、異なる色の品質及び異なるセンサの品質が時間に伴って変化するからである。
ステップ106において、ピークを検出するために、このようにして構成されたマルチセンサPPG信号に対してピーク検出アルゴリズムが適用され、且つステップ107において、患者の心拍数変動及びAFリスクレベルの分析において有用であるRRタコグラムを抽出するためにピーク間距離が判定される。ステップ106及び107は、心鼓動、心拍数又は心拍数変動分析以外の他の目的のためにダイレクトPPGを実装している本発明の実施形態では実行されない場合があることが明らかであろう。
図2は、本発明の実施形態において実行される、図1のステップ104、即ち品質評価及び反転検出の動作を示す。それぞれのPPG信号201は、ウェーブレット変換され、その結果、ウェーブレット変換されたPPG信号202が生成されている。このウェーブレット変換されたPPG信号202は、次いで、良好品質PPG信号、不良品質PPG信号及び反転されたPPG信号を弁別するようにトレーニングデータの組によってトレーニングされたニューラルネットワーク203に供給される。ニューラルネットワーク203の結果として、PPG信号は、良好品質PPG信号、不良品質PPG信号又は反転されたPPG信号として見なされる。反転されたPPG信号である場合、PPG信号は、元に戻され、且つ元に戻されたPPG信号は、良好品質PPG信号として見なされる。本発明の動的な実装形態では、ウェーブレット変換及びニューラルネットワーク分析に基づいた品質評価は、それぞれのPPG信号のそれぞれの時間セグメントごとに実行される。その結果、良好品質部分がPPG信号201内において識別されると共に、不良品質部分241、242、243がPPG信号201内において識別される。不良品質部分241、242、243は、最後に、PPG信号204から除去される。同様に、複数の色が考慮されている本発明の実装形態では、図2を参照して上述した品質評価及び反転検出は、事前選択が単一の色について実施される場合、例えば最良の色を選択するために使用される異なる品質評価の結果として単一の色に対して適用され得、良好品質色をマルチカラーマルチ領域PPG信号として静的に組み合わせ得るように、複数の色のPPG信号全体について適用され得るか、又はセンサ及び色をマルチカラーマルチセンサPPG信号として動的に組み合わせ得るように、複数の色の時間セグメントに対して適用され得る。
図3は、ウェアラブル装置301内において統合された異なるセンサS1又は321、S2又は322、S3又は323及びS4又は324から複数のPPG信号311、312、313及び314を取得するステップ101を更に詳細に示す。図3では、4つのフォトダイオードS1又は321、S2又は322、S3又は323及びS4又は324は、スマートウォッチ301のラスタ内に配置されている。第1のフォトダイオードS1又は321は、第1のPPG信号311を取得するために使用される。第2のフォトダイオードS2又は322は、第2のPPG信号312を取得するために使用される。第3のフォトダイオードS3又は323は、第3のPPG信号313を取得するために使用される。第4のフォトダイオードS4又は324は、第4のPPG信号314を取得するために使用される。取得されたPPG信号311、312、313及び314は、異なっており、その理由は、これらが身体の異なる部分における光反射から結果的に得られたものであるからであり、且つ反転のような様々なアーチファクトにも起因している。本発明によれば、異なるセンサから得られたPPG信号311、312、313及び314は、個々のPPG信号311、312、313及び314にわたって改善された信頼性及び精度を有する単一のマルチセンサPPG信号として組み合わされることになる。以下の段落では、図4、図5、図6及び図7を参照し、複数のセンサから得られたPPG信号をマルチセンサPPG信号として組み合わせる異なる方法について説明することとする。
図4は、PPG信号抽出のための時間インターバルを協働して形成する5つの後続の時間セグメントT1、T2、T3、T4及びT5において、図3に描かれたセンサS1、S2、S3及びS4からそれぞれ取得された4つのPPG信号401、402、403及び404を示す。この結果、図4では、品質評価は、PPG信号401、402、403及び404全体について実行されるものと仮定される。更に、PPG信号401及び402が不良な品質を有する一方、PPG信号403及び404は、良好な品質を有することを品質評価が示すものと仮定される。この結果、PPG信号403及び404は、例えば、これらの信号の合計の平均化などを通じてマルチセンサPPG信号405として静的に組み合わされる。不良品質PPG信号401及び402は、除去され、且つ従ってマルチセンサPPG信号405の構成で使用されない。図4に示されている、静的なマルチセンサPPGの実施形態では、信号の個々の時間セグメントは、除去されないか、又はマルチセンサPPG信号405の生成のために選択されてもいない。不良品質サブ領域PPG信号401及び402は、除去され、且つ良好品質PPG信号403及び404は、維持されているが、良好品質PPG信号403及び404の一部分を形成する不良品質セグメントは、マルチセンサPPG信号405内において使用され、且つその結果、マルチセンサPPG信号405の精度に悪影響を及ぼすことが依然として発生可能である。また、不良品質PPG信号401及び402の一部分を形成する良好品質セグメントが使用されない状態で残され、従って最適なマルチセンサPPG信号を構成するためにすべての潜在性を活用していないという状況も発生可能である。但し、図4によって示されている本発明の静的なマルチセンサPPGの実施形態は、マルチセンサPPG信号405を構成するために限られた処理のみを必要とするという点で有利である。
類似の方式により、図5は、PPG信号抽出のための時間インターバルを協働して形成する5つの後続の時間セグメントT1、T2、T3、T4及びT5において、図3において描かれたセンサS1、S2、S3及びS4からそれぞれ取得された4つのPPG信号501、502、503及び504を示す。この結果、図4では、品質評価は、PPG信号501、502、503及び504のそれぞれのものの個々の時間セグメントT1、T2、T3、T4及びT5について実行されるものと仮定される。PPG信号503及び504のセグメントT1、T2、T3及びT4は、良好な品質を有し、且つPPG信号501及び502のセグメントT5は、良好な品質を有することを品質評価が示すものと更に仮定される。他のセグメントは、そのすべてが不良な品質を有するものと想定される。その結果、PPG信号501、502、503及び504の良好品質セグメントは、マルチセンサPPG信号505を構成するために動的に組み合わされる。PPG信号503及び504のセグメントT1は、例えば、これらの信号の合計の平均化などを通じてマルチセンサPPG信号505のセグメントS1として組み合わされる。同様に、PPG信号503及び504のセグメントT2は、マルチセンサPPG信号505のセグメントT2として組み合わされ、PPG信号503及び504のセグメントT3は、マルチセンサPPG信号505のセグメントT3として組み合わされ、PPG信号503及び504のセグメントT4は、マルチセンサPPG信号505のセグメントT4として組み合わされ、且つPPG信号501及び502のセグメントT5は、マルチセンサPPG信号505のセグメントT5として組み合わされる。PPG信号501、502、503及び504の不良品質セグメントは、除去され、且つこれによりマルチセンサPPG信号505の構成で使用されない。図5によって示されている動的なマルチセンサPPGの実施形態は、図4によって示されている静的なマルチセンサPPG組成よりも処理集約的であるが、改善された精度及び信頼性を有するマルチセンサPPG信号505を生成するために、複数のセンサから得られたすべてのPPG信号のすべての良好品質セグメントが使用されるという利点をもたらす。マルチセンサPPG信号405と比較された際、マルチセンサPPG信号505は、例えば、PPG信号501及び502の良好品質セグメントT5の使用の結果として、時間セグメントT5内において更なるピークを含む。
同様に、図6は、PPG信号抽出のための時間インターバルを協働して形成する5つの後続の時間セグメントT1、T2、T3、T4及びT5において、図3に描かれたセンサS1、S2、S3及びS4から第1の色C1及び第2の色C2についてペアとしてそれぞれ取得された8つのPPG信号601、602、603、604、605、606、607及び608を示す。第1のセンサS1から、色C1についての第1のPPG信号601及び色C2についての第2のPPG信号602が取得される。第2のセンサS2から、色C1についての第1のPPG信号603及び色C2についての第2のPPG信号604が取得される。第3のセンサS3から、色C1についての第1のPPG信号605及び色C2についての第2のPPG信号606が取得される。第4のセンサS4から、色C1についての第1のPPG信号607及び色C2についての第2のPPG信号608が取得される。この結果、図6では、品質評価は、PPG信号601〜608のそれぞれのものの個々の時間セグメントT1、T2、T3、T4及びT5について実行されるものと仮定される。第1の色C1の場合、PPG信号605及び607のセグメントT1、T2、T3及びT4は、良好な品質を有し、且つPPG信号601及び603のセグメントT5は、良好な品質を有すると品質評価が示すものと更に仮定される。C1のPPG信号601、603、605及び607内のすべての他のセグメントは、不良な品質を有するものと想定される。この結果、PPG信号601、603、605及び607の良好品質C1セグメントは、第1の色C1についてのマルチセンサPPG信号609を構成するために動的に組み合わされる。PPG信号605及び607のセグメントT1は、例えば、これらの信号の合計の平均化などを通じてマルチセンサPPG信号609のセグメントT1として組み合わされる。同様に、PPG信号605及び607のセグメントT2は、マルチセンサPPG信号609のセグメントT2として組み合わされ、PPG信号605及び607のセグメントT3は、マルチセンサPPG信号609のセグメントT3として組み合わされ、PPG信号605及び607のセグメントT4は、マルチセンサPPG信号609のセグメントT4として組み合わされ、且つPPG信号601及び603のセグメントT5は、マルチセンサPPG信号609のセグメントT5として組み合わされる。PPG信号601、603、605及び607の不良品質セグメントは、除去され、且つこれにより第1の色C1についてのマルチセンサPPG信号609の構成で使用されない。第2の色C2の場合、PPG信号602及び604のセグメントT1、T2及びT3は、良好な品質を有し、且つPPG信号604、606及び608のセグメントT4及びT5は、良好な品質を有すると品質評価が示すものと更に仮定される。C2のPPG信号602、604、606及び608内のすべての他のセグメントは、不良な品質を有するものと想定される。この結果、PPG信号602、604、606及び608の良好品質C2セグメントは、第2の色C2についてのマルチセンサPPG信号610を構成するために動的に組み合わされる。PPG信号602及び604のセグメントT1は、例えば、これらの信号の合計の平均化などを通じてマルチセンサPPG信号610のセグメントT1として組み合わされる。同様に、PPG信号602及び604のセグメントT2は、マルチセンサPPG信号610のセグメントT2として組み合わされ、PPG信号602及び604のセグメントT3は、マルチセンサPPG信号610のセグメントT3として組み合わされ、PPG信号604、606及び608のセグメントT4は、マルチセンサPPG信号610のセグメントT4として組み合わされ、且つPPG信号604、606及び608のセグメントT5は、マルチセンサPPG信号610のセグメントT5として組み合わされる。PPG信号602、604、606及び608の不良品質セグメントは、除去され、且つこれにより第2の色C2についてのマルチセンサPPG信号610の構成で使用されない。この後、最良の色、即ちそのマルチセンサPPG信号がなんらかの品質尺度に従って最良の品質スコアを有する色を選択するために、品質評価がマルチセンサPPG信号609及び610について実施される。図6では、マルチセンサPPG信号609がマルチセンサPPG信号610よりも良好な品質を有すると品質評価が示すものと仮定される。この結果、第1の色C1が選択されることになる。図6によって示されている色の選択を有する動的なマルチセンサPPGの実施形態は、更に処理集約的であるが、複数のセンサから得られたすべてのPPG信号のすべての良好品質セグメントが使用され、且つこれが複数の色について使用されているという利点をもたらす。更に、最良の色は、異なる色の同期化を必要とすることなしに、マルチセンサPPG信号の精度及び信頼性を最適化するように選択されている。
同様に、図7は、PPG信号抽出のための時間インターバルを協働して形成する5つの後続の時間セグメントT1、T2、T3、T4及びT5において、図3において描かれたセンサS1、S2、S3及びS4から、第1の色C1及び第2の色C2についてペアとしてそれぞれ取得された8つのPPG信号701、702、703、704、705、706、707及び708を示す。第1のセンサS1から、色C1についての第1のPPG信号701及び色C2についての第2のPPG信号702が取得される。第2のセンサS2から、色C1についての第1のPPG信号703及び色C2についての第2のPPG信号704が取得される。第3のセンサS3から、色C1についての第1のPPG信号705及び色C2についての第2のPPG信号706が取得される。第4のセンサS4から、色C1についての第1のPPG信号707及び色C2についての第2のPPG信号708が取得される。この結果、図7では、品質評価は、サブ領域PPG信号701〜708のそれぞれのものの個々のセグメントT1、T2、T3、T4及びT5について実行されるものと仮定される。第1の色C1の場合、PPG信号705及び707のセグメントT1、T2、T3及びT4が良好な品質を有し、且つPPG信号701及び703のセグメントT5が良好な品質を有すると品質評価が示すものと更に仮定される。C1のPPG信号701、703、705及び707内のすべての他のセグメントは、不良な品質を有するものと想定される。第2の色C2の場合、PPG信号702及び704のセグメントT1、T2及びT3が良好な品質を有し、且つPPG信号704、706及び708のセグメントT4及びT5が良好な品質を有すると品質評価が示すものと更に仮定される。C2のPPG信号702、704、706及び708内のすべての他のセグメントは、不良な品質を有するものと想定される。この結果、時間的に対応し、且つ同期化されていると想定される複数の色の良好品質セグメントが単一のマルチカラーマルチセンサPPG信号709として動的に組み合わされる。従って、PPG信号702、704、705及び707のセグメントT1は、例えば、これらの信号の合計の平均などを通じてマルチセンサPPG信号709のセグメントT1として組み合わされる。同様に、PPG信号702、704、705及び707のセグメントT2は、マルチセンサPPG信号709のセグメントT2として組み合わされ、PPG信号702、704、705及び707のセグメントT3は、マルチセンサPPG信号709のセグメントT3として組み合わされ、PPG信号704、705、706、707及び708のセグメントT4は、マルチセンサPPG信号709のセグメントT4として組み合わされ、且つPPG信号701、703、704、706及び708のセグメントT5は、マルチセンサPPG信号709のセグメントT5として組み合わされる。PPG信号701〜708の不良な品質セグメントは、除去され、且つこれによりマルチセンサPPG信号709の構成で使用されない。図7によって示されている動的なマルチカラーマルチセンサPPGの実施形態は、更に処理集約的であり、且つ色C1及びC2間の同期を必要とするが、これは、すべてのセンサ及びすべての色にわたるすべてのPPG信号のすべての良好品質セグメントが組み合わされるという利点をもたらす。この結果、PPG信号709は、最適な精度及び信頼性によって構成される。図6によって示されている実施形態との比較では、例えば、センサ及び色の動的な組み合わせを通じて得られたマルチカラーマルチセンサPPG信号709は、セグメントT4内でもピークを含むが、このピークは、色の選択を有するセンサの動的な組み合わせを通じて得られたマルチセンサPPG信号609では存在しない状態に留まっていることに留意されたい。
図8は、図1のピーク検出ステップ106の可能な一実装形態を示す。マルチセンサPPG信号801において、ピークは、例えば、信号強度を平均信号強度と比較することによって検出される。マルチセンサPPG信号801内の検出されたピークは、ドットによってマーキングされる。次いで、これらのピークは、ウィンドウ化され、且つウィンドウ化されたピークは、ピークテンプレート802、即ちモデルピークを生成するために平均化される。その後、それぞれの検出されたピークは、ピークテンプレート802と相関されることになる。相関が特定の相関閾値を超過するピークは、維持される。例えば、図8の803のように、相関が相関閾値未満に留まっているピークは、除去される。残りのピークに伴って、ピークがもはやドロップされることがない安定した状況に到達する時点まで、ピークテンプレートを生成するための平均化のステップ、維持されるピーク及びドロップされるピークを識別するための相関のステップが繰り返し反復される。
図9は、図1のRRタコグラム抽出ステップ107の可能な一実装形態を示す。RRタコグラム900は、時間を水平方向軸として有し、且つマルチセンサPPG信号内の後続のピーク間の時間差を垂直方向軸として有する。従って、RRタコグラムは、ピークレートの変動を示し、即ちマルチセンサPPG信号内のピークが監視対象の人物の心鼓動を表す場合、心拍数の変動を示す。抽出されたRRタコグラムの信頼性は、マルチセンサPPG信号の品質分析を実行することにより改善することができる。この品質分析は、上述のものに類似した品質評価技法を使用することにより、即ちウェーブレット変換及びニューラルネットワーク分析に基づいて実行することができるが、当業者は、マルチセンサPPG信号内の良好品質部分と不良品質部分とを識別するために他の品質分析技法も同様に適用され得ることを理解するであろう。RRインターバルは、図9の901、902、903及び904のように、全体的又は部分的にマルチセンサPPG信号の不良品質部分内に配置されている。この結果、処理されたより信頼性の高いRRタコグラムが取得される。RRタコグラムから、ピークレートの変動を判定することができる。この変動が特定の閾値を超過する場合、対応する心房細動リスクスコア値について監視対象の人物又はその人物の医師に報告することができる。
図10は、本発明の一実施形態による適切な演算システム1000を示す。演算システム1000は、本発明に従ってダイレクトPPGのための方法の実施形態を実装するのに適している。演算システム1000は、一般に、適切な汎用コンピュータとして形成することができると共に、バス1010、プロセッサ1002、ローカルメモリ1004、1つ又は複数の任意選択の入力インターフェイス1014、1つ又は複数の任意選択の出力インターフェイス1016、通信インターフェイス1012、ストレージ要素インターフェイス1006及び1つ又は複数のストレージ要素1008を含むことができる。バス1010は、演算システム1000のコンポーネント間における通信を許容する1つ又は複数の導体を含むことができる。プロセッサ1002は、プログラミング命令を解釈し且つ実行する従来の任意のタイプのプロセッサ又はマイクロプロセッサを含むことができる。ローカルメモリ1004は、プロセッサ1002による実行のための情報及び命令を保存するランダムアクセスメモリ(RAM)又は別のタイプのダイナミックストレージ装置並びに/又はプロセッサ1002によって使用されるための静的な情報及び命令を保存する読み出し専用メモリ(ROM)又は別のタイプのスタティックストレージ装置を含むことができる。入力インターフェイス1014は、キーボード1020、マウス1030、ペン、音声認識及び/又は生体計測メカニズム、カメラなど、操作者又はユーザーが情報を演算装置1000に入力することを許容する1つ又は複数の従来のメカニズムを含むことができる。出力インターフェイス1016は、ディスプレイ1040など、情報を操作者又はユーザーに出力する1つ又は複数の従来のメカニズムを含むことができる。通信インターフェイス1012は、演算システム1000が、例えば、他の演算装置1081、1082、1083などの他の装置及び/又はシステムと通信することを可能にする、例えば1つ又は複数のイーサネットインターフェイスなどの任意のトランシーバ様のメカニズムを含むことができる。演算システム1000の通信インターフェイス1012は、ローカルエリアネットワーク(LAN)又は例えばインターネットなどのワイドエリアネットワーク(WAN)を利用して、このような別の演算システムに接続することができる。ストレージ要素インターフェイス1006は、例えば、シリアルアドバンストテクノロジーアタッチメント(SATA)ディスクドライブなどの1つ又は複数のローカルディスクなどの1つ又は複数のストレージ要素1008にバス1010を接続するための、例えばSATAインターフェイス又はスモールコンピュータシステムインターフェイス(SCSI)などのストレージインターフェイスを含むことができると共に、これらのストレージ要素1008との間における読取り及び書込みを制御することができる。上述のストレージ要素1008は、ローカルディスクとして記述されているが、一般に、着脱自在の磁気ディスク、CD又はDVD−ROMディスクなどの光ストレージ媒体、ソリッドステートドライブ、フラッシュメモリカードなどの任意の他の適切なコンピュータ可読媒体が使用され得るであろう。本発明による方法の全体は、例えば、管理センタ内のサーバー上又はクラウドシステム内などにおいて、中央集中化された状態で実行することが可能であるか、又はこれは、部分的には、例えばユーザーによって装用されたリモート電子装置上において、且つ部分的には中央サーバー上において実行され得ることに留意されたい。従って、演算システム1000は、中央において利用可能な処理システム又は電子装置内において利用可能な処理システムに対応し得るであろう。
以上では、特定の実施形態を参照し、本発明について例示したが、本発明が上述の例示のための実施形態の詳細に限定されるものではなく、且つ本発明は、その範囲から逸脱することなしに様々な変更及び変形を伴って実施され得ることが当業者に明らかとなるであろう。従って、本実施形態は、すべての観点において、限定ではなく、例示を目的としたものであると見なされるものとし、本発明の範囲は、上述の説明ではなく、添付の請求項によって示され、且つ従って請求項の均等物の意味及び範囲に含まれるすべての変更形態は、本発明に包含されることを意図されている。換言すれば、基本的な基礎をなす原理の範囲に含まれ、且つその基本的な属性が本特許出願において特許請求される任意の且つすべての変更形態、変形形態又は均等物を含むことが想定される。本特許出願の読者は、「含んでいる」又は「含む」という用語が、他の要素又はステップを排除するものではなく、「1つの(a)」又は「1つの(an)」という用語が、複数形を排除するものではなく、且つコンピュータシステム、プロセッサ又は別の統合されたユニットなどの単一の要素が、請求項において記述されているいくつかの手段の機能を充足し得ることを更に理解するであろう。請求項における任意の参照符号は、関係するそれぞれの請求項を限定するものとして解釈してはならない。「第1の」、「第2の」、「第3の」、「a」、「b」、「c」という用語及びこれらに類似したものは、説明又は請求項において使用された際に類似の要素又はステップ間を弁別するために導入され、且つ必ずしも連続的な又は時間順の順序を記述するものではない。同様に、「上部」、「下部」、「上方」、「下方」という用語及びこれらに類似したものも、説明を目的として導入され、且つ必ずしも相対的な位置を表記するためのものではない。このように使用されている用語は、適切な状況下では相互交換可能であり、且つ本発明の実施形態は、他のシーケンスにおいて又は上記で記述及び図示されている1つ若しくは複数ものと異なる向きにおいて本発明に従って動作する能力を有することを理解されたい。

Claims (17)

  1. ダイレクトフォトプレチスモグラフィ又はダイレクトPPGのためのコンピュータ実装方法(100)であって、
    − 時間インターバル中、ウェアラブル装置(301)内のそれぞれのセンサ(321、322、323、324)のための複数のPPG信号(311〜314、401〜404、501〜504、601〜608、701〜708)を取得するステップ(101)と、
    − 前記複数のPPG信号(311〜314、401〜404、501〜504、601〜608、701〜708)を組み合わせて、それによりマルチセンサPPG信号(405、505、609、709)を取得するステップ(105)と
    を含むコンピュータ実装方法(100)において、
    − 前記PPG信号の品質尺度が閾値超である前記PPG信号の良好品質セグメントと、前記PPG信号の前記品質尺度が前記閾値未満である前記PPG信号の不良品質セグメントとを識別する(141)ために前記複数のPPG信号(501〜504、601〜608、701〜708)のそれぞれのPPG信号を処理するステップ(104)と、
    − 前記複数のPPG信号のそれぞれのPPG信号から前記不良品質セグメントを除去するステップと、
    − 前記マルチセンサPPG信号(505、609、709)を取得するために前記複数のPPG信号(501〜504、601〜608、701〜708)の時間的に対応する良好品質セグメントを組み合わせるステップと
    を含むことを特徴とするコンピュータ実装方法(100)。
  2. 請求項1に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、前記良好品質セグメントは、反転されていないセグメントと、反転されたセグメントとを含み、及びそれぞれのPPG信号の前記処理は、前記反転されたセグメントを識別し、且つ前記反転されたセグメントを元に戻すステップ(142)を更に含むことを特徴とするコンピュータ実装方法(100)。
  3. 請求項1又は2に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、それぞれのPPG信号(201)の前記処理(104)は、
    − ウェーブレット変換されたPPG信号(202)を取得するために前記PPG信号(201)をウェーブレット変換するステップと、
    − 前記PPG信号の良好品質セグメントと前記PPG信号(201)の不良品質セグメント(241、242、243)とを識別するようにトレーニングされたニューラルネットワーク(203)に、前記ウェーブレット変換されたPPG信号(202)を供給するステップと
    を含むことを特徴とするコンピュータ実装方法(100)。
  4. 請求項2又は3に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、前記ニューラルネットワーク(203)は、前記反転されたセグメントを識別するように更にトレーニングされることを特徴とするコンピュータ実装方法(100)。
  5. 請求項1乃至4の何れか1項に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 色空間からのそれぞれの色(C1、C2)について、前記マルチセンサPPG信号(609)に類似する複数のマルチセンサPPG信号(609、610)を生成するステップ
    を含むことを特徴とするコンピュータ実装方法(100)。
  6. 請求項5に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記色(C1、C2)のそれぞれの1つについて品質尺度を判定するステップと、
    − 前記複数のマルチセンサPPG信号(609、610)のうち、最高品質尺度を有する前記色(C1)のための前記マルチセンサPPG信号(609)を選択するステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  7. 請求項5に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記色(C1、C2)のそれぞれの1つについて品質尺度を判定するステップと、
    − 複数の色のためのマルチセンサPPG信号をマルチカラーマルチセンサPPG信号に組み合わせるステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  8. 請求項7に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記時間インターバル中、それぞれの色(C1、C2)及びそれぞれのセンサ(321、322、323、324)のための複数のPPG信号(701、703、705、707、702、704、706、708)を取得するステップと、
    − 前記PPG信号の品質尺度が閾値超である前記PPG信号の良好品質セグメントと、前記PPG信号の前記品質尺度が前記閾値未満である前記PPG信号の不良品質セグメントとを識別するために前記複数のPPG信号(701〜708)のそれぞれのPPG信号を処理するステップと、
    − 前記複数のPPG信号(701〜708)のそれぞれのPPG信号から前記不良品質セグメントを除去するステップと、
    − 前記マルチカラーマルチセンサPPG信号(709)を取得するために前記複数のPPG信号(701〜708)の時間的に対応する良好品質セグメントを組み合わせるステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  9. 請求項1乃至8の何れか1項に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記時間インターバル中、前記センサの少なくとも1つについて、前記センサのそれぞれのサブ領域のための複数のPPG信号を取得するステップであって、前記サブ領域のそれぞれのサブ領域は、複数のピクセルをカバーする、ステップと、
    − 前記複数のPPG信号を組み合わせて、それによりマルチセンサマルチ領域PPG信号又はマルチカラーマルチセンサマルチ領域PPG信号を取得するステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  10. 請求項1乃至9の何れか1項に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、前記時間インターバル中、前記センサの1つ又は複数の設定をロックするステップを更に含み、前記設定は、少なくとも、
    − ダイアフラムと、
    − 光感度のためのセンサ設定と、
    − 露光時間と
    を含むことを特徴とするコンピュータ実装方法(100)。
  11. 請求項1乃至10の何れか1項に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、前記マルチセンサPPG信号(801)内においてピークを検出するステップ(106)と、それに対して、
    − 前記マルチセンサPPG信号(801)内において初期ピークを検出するステップと、
    − 前記マルチセンサPPG信号(801)内の前記初期ピークをウィンドウ化して、それによりウィンドウ化された初期ピークを生成するステップと、
    − 前記マルチセンサPPG信号(801)内の前記ウィンドウ化された初期ピークを平均化して、それによりピークテンプレート(802)を生成するステップと、
    − 前記初期ピークを前記ピークテンプレート(802)と相関させるステップと、
    − 相関尺度が相関閾値を超過する初期ピークをピークとして維持するステップと、
    − 前記相関尺度が前記相関閾値を超過しない初期ピークをドロップするステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  12. 請求項11に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記マルチセンサPPG信号(801)内の後続のピーク間の時間差を判定することにより、RRタコグラム(900)を抽出するステップ(107)
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  13. 請求項12に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記マルチセンサPPG信号(801)の品質尺度が閾値超である前記マルチセンサPPG信号(801)の良好品質セグメントと、前記マルチセンサPPG信号の前記品質尺度が前記閾値未満である前記マルチセンサPPG信号(801)の不良品質セグメントとを識別するために前記マルチセンサPPG信号(801)を処理するステップと、
    − 前記RRタコグラム(900)を抽出する前に、前記マルチセンサPPG信号(801)から前記不良品質セグメント内のピークを除去するステップと、
    − 前記RRタコグラムから、前記マルチセンサPPG信号(801)の前記不良品質セグメント内に全体的又は部分的に配置されたRRタコグラムインターバルを除去するステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  14. 請求項12又は13に記載のダイレクトPPGのためのコンピュータ実装方法(100)において、
    − 前記後続のピーク間の前記時間差の変動を判定するステップと、
    − 前記変動から心房細動リスクスコアを判定するステップと
    を更に含むことを特徴とするコンピュータ実装方法(100)。
  15. コンピュータプログラム製品において、プログラムがコンピュータ上で実行されるとき、請求項1乃至14の何れか1項に記載の方法を実行するためのコンピュータ可読命令を含むことを特徴とするコンピュータプログラム製品。
  16. コンピュータ可読ストレージ媒体において、請求項15に記載のコンピュータプログラム製品を含むことを特徴とするコンピュータ可読ストレージ媒体。
  17. データ処理システムにおいて、請求項1乃至14の何れか1項に記載の方法を実行するようにプログラミングされることを特徴とするデータ処理システム。
JP2020515754A 2017-10-19 2018-08-10 複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム Active JP7339676B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17197341.5 2017-10-19
EP17197341.5A EP3473173B1 (en) 2017-10-19 2017-10-19 Computer-implemented method and system for direct photoplethysmography (ppg) with multiple sensors
PCT/EP2018/071740 WO2019076510A1 (en) 2017-10-19 2018-08-10 COMPUTER-IMPLEMENTED METHOD AND SYSTEM FOR DIRECT PHOTOPLETHYSMOGRAPHY (PPG) USING A PLURALITY OF SENSORS

Publications (2)

Publication Number Publication Date
JP2020537552A true JP2020537552A (ja) 2020-12-24
JP7339676B2 JP7339676B2 (ja) 2023-09-06

Family

ID=60153139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515754A Active JP7339676B2 (ja) 2017-10-19 2018-08-10 複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム

Country Status (5)

Country Link
US (1) US11701015B2 (ja)
EP (1) EP3473173B1 (ja)
JP (1) JP7339676B2 (ja)
CN (1) CN111343913A (ja)
WO (1) WO2019076510A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023043195A1 (ko) * 2021-09-16 2023-03-23 주식회사 스카이랩스 Ppg 신호 감지 반지를 이용한 딥러닝 기반 심방 세동 판정 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4201317A1 (en) 2021-12-22 2023-06-28 Qompium A ppg signal processing device and corresponding computer-implemented method
CN115670397B (zh) * 2022-11-17 2023-06-02 北京中科心研科技有限公司 一种ppg伪迹识别方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
US20150282724A1 (en) * 2014-04-02 2015-10-08 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor
JP2016052503A (ja) * 2014-09-02 2016-04-14 アップル インコーポレイテッド 信号及びパーフュージョンインデックス最適化のための複数光路アーキテクチャー及び覆い隠し方法
JP2016538005A (ja) * 2013-10-01 2016-12-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 遠隔フォトプレチスモグラフィ波形を取得するための改良された信号選択
JP2016202347A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
WO2016207862A1 (en) * 2015-06-25 2016-12-29 Timothy Burton Methods and systems using mathematical analysis and machine learning to diagnose disease
US20170014040A1 (en) * 2015-07-13 2017-01-19 Lg Electronics Inc. Apparatus and method for measuring heartbeat/stress in mobile terminal

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140143B2 (en) 2009-04-16 2012-03-20 Massachusetts Institute Of Technology Washable wearable biosensor
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei
BR112013017067A2 (pt) 2011-01-05 2019-01-15 Koninl Philips Electronics Nv dispositivo de codificação de vídeo para codificar dados de vídeo, método de codificação de vídeo, dispositivo de decodificação de vídeo, sistema de decodificação de vídeo e programa de computador
WO2014024104A1 (en) 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
RU2016151983A (ru) * 2014-05-28 2018-07-02 Конинклейке Филипс Н.В. Уменьшение артефактов движения с помощью многоканальных сигналов ФПГ
US20170156606A1 (en) * 2015-12-02 2017-06-08 Echo Labs, Inc. Systems and methods for non-invasive blood pressure measurement
CA2958003C (en) * 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
EP3449820B1 (en) * 2017-08-30 2023-05-24 Qompium Computer-implemented method and system for direct photoplethysmography (ppg)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
JP2016538005A (ja) * 2013-10-01 2016-12-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 遠隔フォトプレチスモグラフィ波形を取得するための改良された信号選択
US20150282724A1 (en) * 2014-04-02 2015-10-08 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor
JP2016052503A (ja) * 2014-09-02 2016-04-14 アップル インコーポレイテッド 信号及びパーフュージョンインデックス最適化のための複数光路アーキテクチャー及び覆い隠し方法
JP2016202347A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
WO2016207862A1 (en) * 2015-06-25 2016-12-29 Timothy Burton Methods and systems using mathematical analysis and machine learning to diagnose disease
US20170014040A1 (en) * 2015-07-13 2017-01-19 Lg Electronics Inc. Apparatus and method for measuring heartbeat/stress in mobile terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023043195A1 (ko) * 2021-09-16 2023-03-23 주식회사 스카이랩스 Ppg 신호 감지 반지를 이용한 딥러닝 기반 심방 세동 판정 시스템

Also Published As

Publication number Publication date
US20200305738A1 (en) 2020-10-01
EP3473173A1 (en) 2019-04-24
JP7339676B2 (ja) 2023-09-06
EP3473173B1 (en) 2024-04-03
US11701015B2 (en) 2023-07-18
WO2019076510A1 (en) 2019-04-25
CN111343913A (zh) 2020-06-26
AU2018353268A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
Bobbia et al. Unsupervised skin tissue segmentation for remote photoplethysmography
CN105451646B (zh) 用于提取生理信息的设备、系统和方法
US10448900B2 (en) Method and apparatus for physiological monitoring
US10702173B2 (en) System and method for camera-based heart rate tracking
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
US20190008402A1 (en) Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
JP2020537552A (ja) 複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム
US10667704B2 (en) Apparatus and method for measuring the quality of an extracted signal
CN111050638B (zh) 用于接触式光学体积描记术(ppg)的计算机实现的方法和系统
JP2019532747A (ja) 被検体のバイタルサインを得るためのデバイス、システム及び方法
JP6504959B2 (ja) ストレスモニタリング用画像処理方法及びそのプログラム
Tabei et al. A novel diversity method for smartphone camera-based heart rhythm signals in the presence of motion and noise artifacts
WO2019202671A1 (en) Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium
KR20160016357A (ko) 기능적 자기 공명 영상의 패턴 분류 장치 및 방법
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
AU2018353268B2 (en) Computer-implemented method and system for direct photoplethysmography (PPG) with multiple sensors
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Lima et al. Remote detection of heart beat and heart rate from video sequences
JP2021023490A (ja) 生体情報検出装置
JP2023131271A (ja) 非接触脈拍推定装置、非接触脈拍推定方法及びプログラム
CN114727765A (zh) 高动态范围生命体征提取

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7339676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150