JP2021520274A - 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法 - Google Patents

対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法 Download PDF

Info

Publication number
JP2021520274A
JP2021520274A JP2020567877A JP2020567877A JP2021520274A JP 2021520274 A JP2021520274 A JP 2021520274A JP 2020567877 A JP2020567877 A JP 2020567877A JP 2020567877 A JP2020567877 A JP 2020567877A JP 2021520274 A JP2021520274 A JP 2021520274A
Authority
JP
Japan
Prior art keywords
polarized
image
polarization
radiation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020567877A
Other languages
English (en)
Other versions
JP6970840B2 (ja
Inventor
ハーン ヘラルト デ
ハーン ヘラルト デ
ウェンジーン ワーン
ウェンジーン ワーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021520274A publication Critical patent/JP2021520274A/ja
Application granted granted Critical
Publication of JP6970840B2 publication Critical patent/JP6970840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本発明は、対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法に関する。セグメンテーションを改善するために、装置は、対象を含むシーンから反射された電磁放射線を受信するよう構成された受信機210と、受信された電磁放射線に第1の偏光を適用して第1の偏光放射線を生成し、受信された電磁放射線に第1の偏光とは異なる第2の偏光を適用して第2の偏光放射線を生成するよう構成された偏光ユニット220と、第1の偏光放射線から第1の画像を生成し、第2の偏光放射線から第2の画像を生成するよう構成されたセンサユニット230と、第1及び第2の画像の組み合わせからシーン内の異なる材料の領域を識別するよう構成されたセグメンテーションユニット250とを有する。更に、上記対象の皮膚を表す領域を選択し、上記選択された領域内の第1の偏光方向から第1の偏光方向を有する第1の検出信号と、上記選択された領域内の第2の偏光放射線から第1の偏光方向と異なる第2の偏光方向を有する第2の検出信号とを生成し、上記2つの検出信号を組み合わせることにより上記2つの検出信号からバイタルサインを決定するよう構成されたバイタルサイン決定ユニット240が設けられる。

Description

本発明は、対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法に関する。本発明は特に、対象の少なくとも1つのバイタルサインを決定する方法の予備工程として使用され得る。
人のバイタルサイン例えば、心拍数(HR)、呼吸数(RR)又は(末梢若しくは拍動性)血中酸素飽和度(SpO2;これは、動脈血酸素飽和度SaO02の推定値を提供する)は、人の現状の指標として、及び重篤な医学的事象の強力な予測因子として役立つ。このため、バイタルサインは、入院及び外来ケアの状況、在宅、又は更なる健康、余暇及びフィットネスの状況において広範囲に監視される。
バイタルサインを測定する1つの方法は、プレチスモグラフィである。プレチスモグラフィは一般に、臓器又は身体部分の体積変化の測定値を意味し、特に、心拍毎に対象の身体を伝わる心血管(又は心臓血管)脈波による体積変化の検出を意味する。
フォトプレチスモグラフィ(PPG)は、関心領域又は体積の光反射率又は透過率の時間変化を評価する光学測定技術である。PPGは、血液が周囲の組織よりも多く光を吸収し、そのため、心拍ごとの血液量の変動が、それに応じて透過率又は反射率に影響を及ぼすという原理に基づかれる。脈拍数(心拍数)に関する情報の他に、PPG波形(PPG信号とも呼ばれる)は、呼吸などの更なる生理学的現象に起因する情報を含むことができる。異なる波長(典型的には赤色及び赤外線)における透過率及び/又は反射率を評価することにより、血中酸素飽和度が決定されることができる。
対象の脈拍数及び(動脈の)血液酸素飽和度を測定するための従来のパルスオキシメータ(本書では接触PPGデバイスとも呼ばれる)は、対象の皮膚、例えば指先、耳たぶ又は額に取り付けられる。従って、それらは「接触」PPGデバイスと呼ばれる。接触PPGは、基本的に非侵襲的な技術と見なされるが、接触PPG測定は、不快で目立つものとして経験されることが多い。なぜなら、パルスオキシメータは、対象に直接取り付けられ、ケーブルが移動の自由を制限し、作業の流れを妨げる場合があるためである。
目立たない測定のための非接触遠隔PPG(rPPG)デバイス(カメラベースのデバイス又はビデオ健康監視デバイスとも呼ばれる)が、過去10年間に提案される。遠隔PPGは、関心対象からある距離に配置された光源、又は一般に放射線源を利用する。同様に、検出器、例えばカメラ又は光検出器が、関心対象からある距離に配置されることができる。従って、遠隔フォトプレチスモグラフィシステム及び装置は、目立たないと考えられ、医療及び非医療の日常的な用途によく適している。
PPG技術を用いて、バイタルサインが測定されることができる。バイタルサインは、拍動する血液量により引き起こされる皮膚における微小な光吸収変化により、即ち、血液量パルスにより引き起こされるヒトの皮膚の周期的な色変化により明らかにされる。この信号は非常に小さく、照明の変化及び動きによるずっと大きな変動に隠されるので、根本的に低い信号対雑音比(SNR)を改善することに一般的な関心がある。厳しい運動、厳しい環境照明条件、又は厳しい精度要件を伴う厳しい状況が依然として存在し、バイタルサイン測定デバイス及び方法の改善された堅牢性及び精度が特に、より重大なヘルスケア用途のために必要とされる。
ビデオヘルスモニタリング(心拍数、呼吸数、SpO2、アクチグラフィ、せん妄などをモニタリング又は検出する)は、有望な新興分野である。その固有の目立たないことは、皮膚が脆弱な患者、又はNICU患者、広範囲熱傷患者、接触センサを除去する精神疾患患者、若しくは睡眠中に自宅で監視されなければならないCOPD患者など、長期間のバイタルサイン監視を必要とする患者に明確な利点がある。一般病棟又は救急室などの他の環境では、非接触監視の快適さは、依然として魅力的な特徴である。
皮膚検出は、一連の用途を有し、しばしば、色セグメント化の形成を含み、又は心周期にわたる生体の皮膚の特徴的な色変化を使用する。患者監視に使用されるrPPG測定のための自動関心領域(ROI)検出に特に関心がある。別の潜在的な用途は、真の皮膚と偽の皮膚(例えば、マスク)とを監視において確実に区別することである。このトピックは、誰かが彼/彼女のアイデンティティをうまく隠すか、又は他の誰かになりすます可能性があるときに含まれるセキュリティリスクを考慮すると、特に関連する。
カラーベースのセグメンテーション方法の問題は、背景が肌色の表面を含むときはいつでも失敗することである。これは、皮膚の反射が寝具の反射と非常に類似しているスペクトルの近赤外線部分において、より一般的である。患者監視は好ましくは、完全な暗所で機能するので、可視スペクトルにおける反射差が利用されることはできない。一方、心臓に起因する色の変化は、患者が心臓発作を起こした場合には消失する場合がある。従って、色変化に基づく特徴は、監視プロセスの最も重要な事象の間に皮膚を見失う。
結論として、背景が肌色の表面を含む場合であっても、より信頼性の高いセグメント化をもたらす、対象を含むシーンの画像の画像セグメント化のための改善された装置、システム、及び方法が必要とされる。更に、より高い信頼性を有する結果を得るために、対象の少なくとも1つのバイタルサインの決定を改善する必要がある。
US5,836,872号は、体表面の領域を監視するための方法を開示しており、これは、その領域を含む表面の第1のマルチスペクトルデジタル画像を最初に記録するステップと、その後にその領域を含む表面の後続のマルチスペクトルデジタル画像を記録するステップと、第1の画像と後続の画像とを比較するステップとを含む。また、斯かる方法では、第1及び後続の画像が高倍率画像であり、高倍率画像を含む低倍率画像を記録するステップを更に含む。また、色素性皮膚病変の診断的に有用な分類を形成する方法は、斯かる方法を使用して、複数の皮膚病変からの記録された画像から定量的に抽出された選択された特徴を含むデータベースを構築するステップと、データベース内の斯かる各病変からの特徴を、画像が記録された皮膚病変の病歴と相関させるステップとを含む。また、前メラノーマ性又は早期メラノーマ性状態の診断方法は、この方法を用いて、病変を含む表面領域を特徴付けるステップと、そのようにして得られた病変の特徴を、前メラノーマ性又は早期メラノーマ性であることが知られる病変を含む複数の皮膚病変から得られたデータベースにおける特徴と比較するステップ、又は色素性皮膚病変の診断的に有用な分類に基づき病変の特徴を分類するステップとを含む。
本発明の目的は、所望の画像領域、例えば皮膚領域をより高い信頼性でセグメント化することができる、対象を含むシーンの画像の画像セグメント化の装置、システム及び方法を提供することである。
本発明の第1の態様では、デバイスが提示され、このデバイスは、
対象を含むシーンから反射された電磁放射線を受信するよう構成された受信機と、
受信された電磁放射線に第1の偏光を適用して第1の偏光放射線を生成し、受信された電磁放射線に第1の偏光とは異なる第2の偏光を適用して第2の偏光放射線を生成するよう構成された偏光ユニットと、
上記第1の偏光放射線から第1の画像を生成し、上記第2の偏光放射線から第2の画像を生成するよう構成されたセンサユニットと、
第1及び第2の画像の組み合わせからシーン内の異なる材料の領域を識別するよう構成されたセグメンテーションユニットと、
対象の皮膚を表す領域を選択し、上記選択された領域内の第1の偏光放射線から第1の偏光方向を有する第1の検出信号と、上記選択された領域内の第2の偏光放射線から第1の偏光方向と異なる第2の偏光方向を有する第2の検出信号とを生成し、上記2つの検出信号を組み合わせて、上記2つの検出信号からバイタルサインを決定するよう構成されたバイタルサイン決定ユニットとを有する。
本発明の更なる態様では、システムが提示され、このシステムは、
偏光されていない電磁放射線又は偏光された電磁放射線で対象を含むシーンを照明するよう構成された照明ユニットと、
照明されたシーンの画像の画像セグメンテーションのために本書に開示される装置とを有する。
本発明の更に別の態様では、対応する方法が提供される。
本発明の好ましい実施形態は、従属請求項に規定される。請求項に記載される方法及びシステムは、特に従属請求項に規定され、本書に開示されるような、請求項に記載されるデバイスと類似及び/又は同一の好ましい実施形態を有することを理解されたい。
本発明は、皮膚のような混濁した媒体から反射されると、偏光が偏光解消されるという考えに基づかれる。偏光解消の程度は、様々なパラメータに依存し、等しく着色された組織を区別するための別の特徴を提供する。例えば、画像における局所的な偏光解消度を使用するセグメント化は、健康及び患者監視領域における様々な用途における皮膚検出の問題を解決するのに役立つ。
好ましくは、対象を含むシーンは、偏光されていない電磁放射線、又は偏光された電磁放射線(例えば、直線、円、又は楕円偏光された)で照射される。この場合、第1の画像センサの前の交差偏光子は、PPG信号及び強度変動をそのままにしつつ、鏡面反射(DC及び変動)を著しく抑制することができる。次いで、平行偏光子を備えた他方のセンサは、PPG信号、鏡面及び強度変動により変調される。鏡面反射の変動が最も強い歪みでない場合は、両方のチャンネルを混合することで強度変動アーチファクトが抑制されることができる。鏡面歪みが最も強い場合には、交差偏光チャネルのみが使用されることができ、一方、偏光子の不完全性を補償するために、平行チャネルのわずかな部分が減算されることができる。更に、PPG信号の最適なデミキシングを完全に自動的に決定する方法が使用されることができる。
一実施形態では、上記セグメンテーションユニットは、第1及び第2の画像の比率又は差から、シーン内の異なる材料の領域を識別するよう構成される。これは、セグメント化に関する良好な結果を提供する。
別の実施形態では、上記センサユニットは、単一の波長チャネル内、又は2つ以上の異なる波長チャネル内で上記第1及び第2の画像を生成するよう構成される。例えば、単色センサ、RGBセンサ(従来の画像センサのように)、又はフィルタアレイ、例えばベイヤフィルタを備えたセンサが適用されることができ、これは、3つの異なるカラーチャネルで3つの検出信号を提供する。
複数の波長チャネルの使用は、セグメント化を改善することができる。従って、好ましい実施形態では、上記センサユニットは、2つ以上の異なる波長チャネルで上記第1及び第2の画像を生成するよう構成され、上記セグメンテーションユニットは、波長チャネルあたりの上記第1及び第2の画像の組み合わせから、シーン内の異なる材料の領域を識別するよう構成される。代替実施形態では、上記センサユニットは、2つ以上の異なる波長チャネルで第1及び第2の画像を生成するよう構成され、上記セグメンテーションユニットは、それぞれの第1及び第2の画像の画素を、2つ以上の異なる波長チャネルの成分を有するベクトルに変換し、ベクトルを単位長に正規化し、シーン内の異なる材料の領域を識別するために、2つ以上の異なる波長チャネルのベクトル間の余弦角又は内積を決定するよう構成される。
一実施形態によれば、上記偏光ユニットは、2つの異なる偏光を同時に適用するよう構成され、上記センサユニットは、2つの検出信号を同時に生成するよう構成される。この実施形態は、入射する放射線を異なる偏光方向を有する放射線の出力部分に分割するプリズムの使用により実現されることができる。
代替的に、上記偏光ユニットは、2つの異なる偏光を時間逐次的に適用するよう構成されてもよく、上記センサユニットは、2つの検出信号を時間逐次的に生成するよう構成されてもよい。従って、上記偏光ユニットは、時間において上記偏光方向を交互に変えるよう構成されてもよい。この実施形態は、電気的に制御可能な偏光フィルタのように偏光を変化させることが可能な偏光子の使用により実現されることができる。
一般に、偏光子として、偏光フィルタが用いられることができる。しかしながら、この目的のためには、透過フィルタが使用されることができるだけでなく、同じ効果を達成するのに、反射器及び/又は鏡(例えば、偏光鏡)が使用されてもよい。
良好な結果は、第2の偏光に対して直交する第1の偏光を適用するよう構成された偏光ユニットの使用により達成される。
別の実施形態では、偏光照明が使用される。
これにより、上記偏光ユニットは、対象の皮膚領域を照明するために使用される偏光電磁放射線の偏光方向に平行又は同等(即ち、例えば、円偏光の場合同じ)である第1の偏光と、対象の皮膚領域を照明するために使用される偏光電磁放射線の偏光方向に直交又は反対(例えば、円偏光の場合)である第2の偏光とを適用するよう構成される。
上記バイタルサイン決定ユニットは、重み付けされた組み合わせにより上記2つの検出信号を線形結合することにより、上記2つの検出信号からバイタルサインを決定するよう構成され、上記重み付けされた組み合わせの重みは、ブラインド信号分離により、特に主成分分析又は独立成分分析により、及び所定の基準に基づき組み合わされた検出信号の成分チャネルを選択することにより決定される。斯かるブラインド信号分離方法は、例えばWO2017/121834A1号に記載される。基準は例えば、正規化された対応するスペクトルにおいて最も高いピークを有する信号、又は対応するスペクトルの最大歪度を有する信号等とすることができる。一般に、検出信号は、異なる波長チャネルからのものであってもよいが、好ましくは同じ偏光からのものである。複数の波長及び異なる偏光方向を使用し、それらをすべて組み合わせることも可能である。
更に、別の実施形態では、上記バイタルサイン決定ユニットは、重みを用いる重み付けされた組み合わせにより上記2つの検出信号を線形結合することにより、上記2つの検出信号からバイタルサインを決定するよう構成され、線形結合はパルス信号を生じさせ、そのパルス信号に関して、元の検出信号との積がそれぞれのシグネチャベクトルにより表される相対的脈動と等しく、シグネチャベクトルは、2つの元の検出信号における検出信号の期待される相対強度を提供する。
一般に、PPG信号は、皮膚内の血液量の変動から生じる。従って、変動は、反射光/透過光の異なるスペクトル成分で見ると、特徴的な拍動性「シグネチャ」を与える。この「シグネチャ」は基本的に、血液の吸収スペクトルと血液のない皮膚組織の吸収スペクトルとのコントラスト(差)として生じる。検出器、例えば、カメラ又はセンサが、離散的な数のカラーチャネルを有し、それぞれが光スペクトルの特定の部分を感知する場合(ここで、特定の部分は、(部分的に)重なり、「部分」を感知することは、必ずしも、部分内のすべての波長が出力に等しく寄与することを意味しない)、これらのチャネル内の相対的な拍動は、「正規化血液量ベクトル」PBVとも呼ばれる「シグネチャベクトル」内に配置されることができる。これは、G.de Haan及びA.van Leestによる「Improved motion robustness of remote−PPG blood volume pulse signature」、Physiol.Meas.35 1913、2014に示され、参照により本書に組み込まれる。これは、このシグネチャベクトルが既知である場合、カラーチャネル(又はこれらのカラーチャネルから得られる信号)及びシグネチャベクトルに基づき、運動ロバストなパルス信号抽出が可能であることを示す。パルス信号の品質のためには、シグネチャベクトルが正確であることが不可欠である。なぜなら、他の態様では、シグネチャベクトルにより示されるように、正規化されたカラーチャネルとパルスベクトルとの所定の相関を達成するために、既知の方法は、出力パルス信号にノイズを混合するからである。
PBV法の詳細及び正規化血液量ベクトル(「基準生理学的情報を示す設定方位を有する所定のインデックス要素」と呼ばれる)の使用は、US2013/271591A1号にも記載され、その詳細も参照により本書に組み込まれる。
PPG信号の特徴的な波長依存性は、血液の組成が変化するときに変化する。特に、動脈血の酸素飽和度は、620nm〜780nmの波長範囲における光吸収に強い影響を及ぼす。異なるSpO2値に対するこの変化するシグネチャは、動脈血酸素飽和度に依存する相対的なPPG拍動性をもたらす。この依存性は、適応的PBV法(APBV)と名付けられ、M.van Gastel、S.Stuijk及びG.de Haanによる「New principle for measuring arterial blood oxygenation、enabling motion−robust remote monitoring」、Nature Scientific Reports、Nov.2016に詳細に記載される、運動ロバストな遠隔SpO2監視システムを実現するために使用されることができる。上記文献におけるAPBV法の詳細の説明もまた、参照により本書に組み込まれる。
PBV法は、PBVベクトルが異なる波長チャネルにおける相対的脈動を反映して正確であるとき、最もクリーンなパルス信号を与える。このベクトルは実際のSpO2値に依存するので、SpO2値の範囲に対応する異なるPBVベクトルでPBV法をテストすると、SpO2値の結果は、最も高いSN比を持つパルス信号を与えるPBVベクトルに対応するものとなる。
提案された装置の受信機は、異なる方法で、特に異なる波長で検出信号を受信するように、好ましくはアプリケーションの種類及びシステム構成に基づき構成されることができる。一般に、検出信号は、300nm〜1000nmの波長間隔から選択され、特に、赤色光、緑色光、及び青色光に対応する波長部分を表す。これは、PPG信号が(例えば従来の)ビデオカメラにより取得された画像信号から得られる場合、及び遠隔PPGの上述の原理が1つ又は複数のバイタルサインを得るために使用される場合に特に使用される。他の実施形態では、別の色チャネルに加えて、又はその代わりに、赤外線が使用されてもよい。例えば、夜間アプリケーションでは、1つ又は複数の赤外線波長が、追加的に又は代替的に使用されてもよい。
受信機は、光学センサ、ビデオカメラ、RGBカメラ、又はウェブカメラののようなカメラといった撮像ユニットの光学要素、例えばレンズ、として構成されることができる。
好ましくは、照明ユニットは、300nm〜1000nmの波長範囲内の偏光されていない電磁放射線又は偏光された電磁放射線により、対象の皮膚領域を照明するよう構成される。
一実施形態によれば、照明ユニットは、300nm〜1000nmの波長範囲の中心波長を有する直線偏光電磁放射線で対象の皮膚領域を照明するよう構成される。
一実施形態では、放出された電磁放射線のエネルギーは、上記中心波長の周囲の波長間隔で拡散され、上記センサユニットは、2つのセンサ要素を含み、第1のセンサ要素は、偏光電磁放射線の偏光方向に平行な偏光方向を有する1つ又は2つの第1の検出サブ信号を生成するよう構成され、第2のセンサ要素は、偏光電磁放射線の偏光方向に直交する偏光方向を有する1つ又は2つの第2の検出サブ信号を生成するよう構成され、第1の検出サブ信号は、上記中心波長よりも少なくとも部分的に低い上記波長間隔の第1の波長サブ間隔における電磁放射線を表し、第2の検出サブ信号は、上記中心波長よりも少なくとも部分的に高い上記波長間隔の第2の波長サブ間隔における電磁放射線を表し、上記バイタルサイン決定ユニットは、検出サブ信号を組み合わせることにより検出サブ信号からバイタルサインを決定するよう構成される。
代替的な実施形態によれば、照明ユニットは、300nm〜1000nmの波長範囲の中心波長を有する直線偏光電磁放射線で対象の皮膚領域を照明するよう構成され、放射された電磁放射線のエネルギーは、上記中心波長の周りの波長間隔で広がり、上記センサユニットは、4つのセンサ要素を備え、第1及び第2のセンサ要素は、偏光電磁放射線の偏光方向に平行な偏光方向を有する1つ又は2つの第1の検出サブ信号を生成するよう構成され、第3及び第4のセンサ要素は、偏光電磁放射線の偏光方向に直交する偏光方向を有する1つ又は2つの第2の検出サブ信号を生成するよう構成され、第1及び第2の検出サブ信号の一方は、上記中心波長よりも少なくとも部分的に低い上記波長間隔の第1の波長サブ間隔における電磁放射線を表し、第1及び第2の検出サブ信号の他方は、上記中心波長よりも少なくとも部分的に高い上記波長間隔の第2の波長サブ間隔における電磁放射線を表し、上記バイタルサイン決定ユニットは、上記検出サブ信号を組み合わせることにより、上記検出サブ信号からバイタルサインを決定するよう構成される。
第1及び第2の波長サブ間隔は、一般に異なる。例えば、第1の波長サブ間隔は、上記中心波長よりも小さく、上記波長間隔第2の波長サブ間隔は、上記中心波長よりも大きい。しかしながら、両方の波長サブ間隔は、オーバーラップすることもできる。
提案されたシステムは、バイタルサインを出力するよう構成された出力ユニットを更に備えることができる。出力ユニットは例えば、ディスプレイ、コンピュータ又はスピーカのようなユーザインターフェースであってもよい。更に、提案されたシステムは、アラームを発するよう構成されたアラームユニットを制御するためのアラーム制御信号をバイタルサインに基づき生成し、生成されたアラーム制御信号を出力するよう構成された制御ユニットを含んでもよい。
本発明によるシステムの実施形態の概略ダイアグラムを示す図である。 本発明による装置の第1の実施形態の概略ダイアグラムを示す図である。 本発明による装置の第2の実施形態の概略ダイアグラムを示す図である。 平行偏光画像と交差偏光画像との比を用いるセグメント化を示すシーンの画像を示す図である。 平行偏光画像と交差偏光画像との比を用いるセグメント化を示すシーンの画像を示す図である。 平行偏光画像と交差偏光画像との比を用いるセグメント化を示すシーンの画像を示す図である。 平行偏光画像と交差偏光画像との比を用いるセグメント化を示すシーンの画像を示す図である。 平行偏光画像と交差偏光画像との比を用いるセグメント化を示すシーンの画像を示す図である。
本発明のこれら及び他の態様は、以下に記載される実施形態から明らかになり、これを参照して説明される。
図1は、本発明によるシステム100の一実施形態の概略図を示す。システム100は、対象120の皮膚領域から反射された電磁放射線を受信する撮像ユニット110を有する。システム100は、対象を含むシーンの画像の画像分割のための、及びオプションで、受信された電磁放射線から対象の少なくとも1つのバイタルサインを決定する装置130を更に有する。対象120は、この例では患者であり、例えば病院又は他の医療施設におけるベッド125に横たわっているが、例えばインキュベータに横たわっている新生児若しくは未熟児、又は自宅若しくは異なる環境にいる人であってもよい。
システム100は、非偏光電磁放射線又は偏光電磁放射線(光)でシーンを照らすための、ランプなどの光源140(照明ユニットとも呼ばれる)を更に有することができる。上記シーンは、患者の顔の皮膚(例えば、頬又は額の一部)などの関心領域、及びベッドの一部、患者の衣服などの他の非皮膚領域を含む。放出される放射線は、1つ又は複数の所定の波長範囲(例えば、赤、緑、及び/又は赤外線波長範囲)の光であってもよい。放射線は、所定の偏光方向を持つ所定の(例えば、線形、円形、又は楕円形)偏光で偏光されてもよいが、代替的に非偏光であってもよい。
上記照明に基づき上記関心領域142から反射された光は、受信機、例えば、撮像ユニット110(例えば、カメラ)のレンズ又はセンサの前の他の光学系により受信される。別の実施形態では、専用の光源は設けられていないが、対象120の照明のために周囲光が使用される。反射光から、複数の所望の波長範囲の光(例えば、緑色及び赤色若しくは赤外光、又は少なくとも2つの波長チャネルをカバーする十分に大きな波長範囲の光)のみが検出及び/又は評価されることができる。
装置130は、決定された情報を表示するため、並びに/又は装置130、撮像ユニット110、光源140及び/若しくはシステム100の他の任意のパラメータの設定を変更するためのインターフェースを医療従事者に提供するため、インターフェース150に更に接続されてもよい。斯かるインターフェース150は、種々のディスプレイ、ボタン、タッチスクリーン、キーボード、又は他のヒューマンマシンインターフェース手段を有することができる。
図1に示されるようなシステム100は例えば、病院、医療施設、老人医療施設等に配置されてもよい。患者のモニタリングとは別に、本発明は、新生児モニタリング、一般的なサーベイランスアプリケーション、セキュリティモニタリング、又はフィットネス機器、ウェアラブル、スマートフォンなどのハンドヘルドデバイスといったいわゆるライブスタイル環境などの他の分野にも適用されることができる。装置130とインターフェース150との間の単方向又は双方向の通信は、無線又は有線の通信チャネルを介して動作することができる。本発明の他の実施形態は、装置130の一部又は全てを含む撮像ユニットを含むことができ、これは、スタンドアロンで提供されるのではなく、カメラなどの撮像ユニット110に一体化される。
典型的には、電磁放射線は、パルス、呼吸及び血液酸素飽和度測定のために400nm〜1000nmの範囲、特に620nm〜920nmの範囲である。この特定の範囲は、SpO2測定に最も適しており、睡眠中の目立たない監視(暗やみ)には魅力的であるが、パルス又は呼吸信号が必要とされる場合、スペクトルの可視部分は、より高い品質を可能にし得る(即ち、NIRは、すべての場合において必ずしも好ましい選択肢ではない)。検出信号は、フォトセンサ(アレイ)により、及び/又は対象の皮膚を遠隔的に感知するビデオカメラを使用して取得されることができる。
図2は、対象を含むシーンの画像を画像分割し、この実施形態では、対象の少なくとも1つのバイタルサインを決定する、本発明による装置200の第1の実施形態の概略図を示す。装置200は、撮像ユニット110、例えばカメラに一体化されてもよく、又は撮像ユニット110に部分的に一体化若しくは結合されてもよく、装置130、例えばプロセッサ若しくはコンピュータにより部分的に実現されてもよい。装置200は好ましくは、対象の皮膚領域を透過した、又は対象の皮膚領域から反射された電磁放射線からバイタルサインを決定する状況(rPPG)で使用されるが、画像分割のための装置200の他の用途は、画像がセグメント化される一般的な画像処理の分野にあることに留意されたい(例えば、監視カメラからの画像の画像処理(例えば、皮膚と非皮膚又はスキニミテーションとを区別するために))。
装置200は、対象の皮膚領域から反射された電磁放射線を受信するよう構成された受信機210を有する。受信機210は、放射線、特に所望の波長範囲の光を受け取るカメラのレンズのような光学要素であってもよい。照明に基づき関心領域121から反射された光は、受信機210により受信される。
別の実施形態では、専用の光源は設けられていないが、対象120の照明のために周囲光が使用される。反射光から、複数の所望の波長範囲の光(例えば、緑色及び赤色若しくは赤外光、又は少なくとも2つの波長チャネルをカバーする十分に大きな波長範囲の光)のみが検出及び/又は評価されることができる。
装置200は更に、受信された電磁放射線に第1の偏光を適用して第1の偏光放射線を生成し、受信された電磁放射線に第1の偏光とは異なる第2の偏光を適用して第2の偏光放射線を生成するよう構成された偏光ユニット220を有する。偏光ユニット220は例えば、プリズム又は偏光フィルタを含んでもよい。第1の偏光は、平行偏光であってもよく、第2の偏光は、平行偏光と直交する交差偏光であってもよい。しかしながら、他の偏光方向及び偏光の関係が、一般に可能である。
装置200は更に、第1の偏光放射線から第1の画像を生成し、第2の偏光放射線から第2の画像を生成するよう構成されたセンサユニット230を有する。センサユニットは、各々が2つの画像の1つを生成する2つの別個のセンサ要素を備えることができる。センサユニット(又は各センサ要素)は、2つ以上の波長チャネルで画像を得るために、異なる偏光放射をフィルタリングするよう構成されたフィルタユニットを有してもよい。
装置200は、第1の画像と第2の画像との組み合わせからシーン内の異なる材料の領域を識別するよう構成されたセグメンテーションユニット250を更に有する。
従って、装置200は、画像のセグメント化に使用されることができる。セグメンテーションの結果は、様々なアプリケーションで使用されるか、又は、直接発行されてもよく、例えば、(オプションの)画面260に表示されることができる。一実施形態では、装置200は、1つ又は複数のバイタルサインを決定することに関するアプリケーションのために使用され得る。斯かるアプリケーションでは、装置200は、バイタルサインを決定するよう構成された(オプションの)バイタルサイン決定ユニット240を更に有することができ、又は別のデバイスが、セグメント化の結果を使用している。セグメンテーション及びバイタルサイン決定は、以下でより詳細に説明される。
セグメンテーションユニット250は、デジタル若しくはアナログプロセッサ、若しくはコンピュータに含まれてもよく、及び/又は、完全に若しくは部分的にソフトウェアで実現され、コンピュータ上で実行されてもよい。必要とされる機能の一部又は全部は、ハードウェア、例えば、特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)において実現されてもよい。一実施形態では、セグメンテーションユニット250は、システム100の装置130の一部であってもよい。別の実施形態では、セグメンテーションユニット250は、撮像ユニット110に統合される。オプションのバイタルサイン決定ユニット240についても同様である。
バイタルサインを決定するために、本発明は、皮膚から反射された光が、2つの成分を持つ、即ち、表面反射成分と、半透明皮膚組織内の表面の下の散乱プロセスに由来する成分とを持つという観察を活用することができる。表面反射は単一散乱事象を受け、入射光の偏光は保持される。散乱光は多重反射を受け、入射光を偏光解消させる。
偏光解消の量は、
Figure 2021520274
として表されることができ、ここで、Ip及びIcは入射光偏光に対して平行(指数p)及び垂直(指数c)の反射光の強度である。本発明は、部分的な偏光が依然として存在する場合にも良好に機能するが、光の元の偏光が生物学的潅流組織において失われると仮定することは合理的である。
散乱成分のみが、実際には、組織内で生じる血液量変化により変調され、一方、表面(又は鏡面)反射成分は、変調されないままである。従って、脈動性変調信号は、対象を照明するために決定された偏光の光を使用することにより、無変調信号から分離されることができる。言い換えると、偏光では、カメラの前に直交(交差)偏光子を使用すると、散乱反射だけが見えるようになる。カメラの前に平行に配向した偏光子があると、表面反射が画像を支配する。
遠隔PPGの場合、散乱成分は血液量の変動に関する情報を含むので、散乱光のみがPPG信号を抽出すると考えられることができる。皮膚内に侵入した反射光子は、皮膚内で複数回散乱されるので、それらは、それらの初期偏光方向を失っている。これは、入射光の偏光を保つ鏡面反射光と対照的である。偏光照明を使用することにより、撮像センサの前の交差偏光子は、鏡面反射光を抑制する。鏡面(表面)反射は典型的には望ましくないので、平行偏光子を備えるセンサは、従って、これまで使用されてこなかった。
一実施形態では、例えば鏡面(平行偏光)光及び散乱(交差偏光)光の両方を用いて異なる偏光子で同時に又は時間逐次的に撮像することが提案される。結果として得られるチャネル(異なる偏光)は、所望のPPG信号と運動アーチファクトとの異なる混合をもたらし、これを組み合わせて運動ロバストなPPG信号が抽出されることができる。
システムの一実施形態は、時間逐次偏光解消セットアップを使用する。そこでは、システムは、1つのカメラ及び1つの照明ユニットを含み、時間において偏光方向が変更される。即ち、異なる時間において、異なる偏光方向が適用される。
代替の実施形態では、デュアルカメラセットアップにより同様の効果が同時に実現されることができる。その場合、一方のカメラは、照明ユニットと平行な偏光方向を有し、他方のカメラは交差偏光方向を有する。
図3は、本発明による装置300の第2の実施形態の概略図を示す。偏光照明(偏光)は、(照明ユニット140により。図1を参照)対象の1つ又は複数の皮膚領域、及び例えば背景、衣服などの非皮膚領域を含むシーンに放出される。皮膚から反射された光301は、受光要素310、例えば光学レンズにより受光される。受光光302は、交差及び平行偏光ビーム303、304を分離し、それらを別々のセンサ330、340上に投影する(一緒に例えば、センサユニットを形成する)光学要素320、例えば、偏光ユニットに導かれる。各センサはオプションで、異なる波長チャネルを検出するために、放射スペクトルの部分に対して異なる感度を持つセンサ要素を含む。代替的に、センサ330、340はすべて、放射スペクトルに対して同じ感度を有することができる。例示的な実施形態において、センサ330、340は、いずれも、各偏光方向に対して平行に異なる波長チャネルを取得するために、画素化された(ベイヤ)フィルタを備える。しかしながら、様々な代替案が存在する。
この実施形態では、偏光ユニット320(例えば、プリズム又は偏光フィルタ)は一般に、第1の偏光放射線303を生成するために、受信された電磁放射線302に第1の偏光を適用し、第2の偏光又は非偏光放射線304を生成するために、受信された電磁放射線302に第1の偏光とは異なる第2の偏光を適用するか、又は偏光を適用しないよう構成される。更に、センサ330、340を含むセンサユニットは一般に、第1の偏光放射線303から少なくとも1つの第1の画像305を得て、第2の偏光又は非偏光放射線304から1つの第2の画像306を得るよう構成される。
更なる実施形態では、各センサ330、340は、2つ又は3つの異なる波長チャネル内の2つ又は3つの画像を得ること、及び/又は光ビーム303、304が更に分割され、別個の波長選択フィルタが、別個のセンサへの各経路内で使用されることが提供される。
従って、本装置の一実施形態では、偏光光源を使用して、可視皮膚表面を備える対象を含むシーンが照明される。撮像センサは、光源の偏光方向と比較して、平行配向と直交(交差)配向との間で(例えば、液晶材料を使用して)偏光方向を切り替える偏光子を通してシーンを見ている。コストが懸念されない場合は、図3に示されるように、2つの別々のセンサを使用して、交差チャネル及び平行チャネルが同時に取得されることができる。ここで、2つの連続する画像は、異なる偏光子を介して同じシーンを見る(時系列取得の場合に存在し得るわずかな動きは別として)。様々な表面の偏光解消特性に基づき、交差及び平行チャネルにおける反射の相対強度は異なるであろう。純粋な鏡面反射の場合、交差−偏光画像は完全に暗い表面を示し、平行チャネルは明るい領域を示す。完全な偏光解消の場合、平行及び交差偏光チャネルは同じ輝度を示す。
従って、2つの偏光チャネルを使用して、異なる材料を分類するのに役立つ特徴が構築されることができる。特徴の単純な例は、2つの画像の比率又はそれらの差である。結果として、異なる材料では、同じ全反射(明るさ、カラー)を持つ場合でも、斯かる特徴は、類似した(材料である)画素群へと画像をセグメント化するのに役立つ。
図4A〜4Eは、この基本的なシナリオを示す。特に、カラー画像の赤色チャネルのみについて計算される単一の交差平行比特徴に基づかれるセグメント化が示される。シーンは、人間の顔、人形の面、及び胴体を含む。図4Aは、平行偏光子の後に感知された画像を示す。図4Bは、対応する赤チャネル画像を示す。図4Cは、交差偏光子の後に感知された画像を示す。図4Dは、対応する赤チャネル画像を示す。図4Eは、赤色チャネルにおける交差平行比画像を示す。
この場合、セグメンテーションは容易であるように見える。なぜなら、顔は皮膚類似物体よりも暗いからである。しかしながら、特徴は、比率において除去されるので、明るさに対してブラインドであることに留意されたい。これは、説明のために十分である最良の場合であるが、一般に、単一の波長は、皮膚と非皮膚とを確実に区別するのに十分ではなく、2つ以上(例えば、3つ)のカラーチャネルを使用して、より良好な結果が可能である。
偏光解消の程度は更に、使用される波長に依存し得る。従って、本装置の有利な実施形態は、多波長画像センサを使用する。例えば、RGB可視光ビデオカメラを使用して、3つの波長チャネル(赤、緑及び青)について平行及び交差偏光画像が収集されることができる。画素は、成分R,G,Bを持つベクトルに変換され、両偏光チャネルに対して単位長に正規化される。ここで、2つの偏光チャネルから取り出されたベクトル間の余弦角(内積)は、図4に示されるように、画像をセグメント化するための特徴(この場合、特徴のみ)として使用されてもよい。対象の顔の皮膚は、たとえ皮膚に類似した物体(胴及び人形の面)が画像内に生じても、明確にセグメント化されることができる。
多波長アプローチは、特にNIR(近赤外線)波長を使用する皮膚検出にとって非常に興味深い場合がある。患者監視のために、皮膚と織物(寝具)との間の区別は、遠隔フォトプレチスモグラフィにおける重要な要素である。3つのチャネル(760nm、800nm及び900nm)及び対応する偏光子(好ましくはNIR波長範囲用)を備えるNIRカメラを使用して、セグメント化が実質的に改善されることができる。
上記のすべての場合において、例えば、G.de Haan及びA.van Leestによる上記論文「Improved motion robustness of remote−PPG by the blood volume pulse signature」に記載されるように、主成分分析(PCA)又は独立成分分析(ICA)のようなブラインドソース分離(BSS)技法を使用して、独立信号が抽出されることができる。PCAは、異なる成分の相対エネルギーが十分に異なることを必要とするものの、多くの場合、ICAよりも単純かつロバストであり、ミックスにおいて等しいエネルギーを有する独立した信号を扱うことができる。どちらのBSS方法を使用しても、2つのセンサ信号から2つの独立信号が得られる。PPG信号を選択するための一般的な戦略は、最も周期的なものを見つけることである。これを決定するために、しばしば信号の時間経過に関するフーリエ変換が行われ、選択はこの変換に基づき、例えば、スペクトルのエントロピーが最も低い信号、最も歪度の高いスペクトルの信号、又はスペクトルを正規化した後に周波数ピークが最も高いスペクトルの信号を選択することにより行われる。
別の好ましい選択肢は例えば、G.de Haan及びA.van Leestの上記の論文「Improved motion robustness of remote−PPG by using the blood volume pulse signature」に記載されるようなPBV法を使用して、運動ロバストなPPG信号を見つけることである。
この場合の手順を記述するために、正規化された信号は、時間ウィンドウにおける両方のセンサからベクトルCp及びCcとして書かれ、これは行列Cn=[Cp、Cc]へと結合され、抽出されたパルス(PPG)信号は、2つのセンサ信号の加重和であるS、即ち
Figure 2021520274
として書かれる。
PBV法は、2つのカメラチャネルにおけるパルスの相対強度に関する事前知識を用いて混合係数を得る。我々の場合、両チャネルが交差偏光チャネルのDC値により正規化されるならば、パルスは両チャネルにおいて等しい強さであり、即ちPbv=[1,1]であることが期待される。2つの偏光チャネルの帯域通過フィルタリングされたバージョンが使用される場合、最良の結果が得られる。
この方法によれば、既知のPbvベクトルが、パルス信号と歪みとを区別するために使用される。
交差及び偏光チャネルにおけるパルス信号の相対振幅がPbvにより与えられると仮定すると、パルス信号Sを与える重みWPBVが探索され、パルス信号に関して、2つの偏光チャネルCp及びCcとの相関がPbvに等しく
Figure 2021520274
となり、従って混合を決定する重みが、
Figure 2021520274
により決定され、ここで、
Figure 2021520274
が成り立ち、スカラーkは、WPBVが単位長(又は別の固定長)を有するように決定されることができる。
換言すれば、重みは、検出信号からパルス信号を抽出するために、検出信号がどのように(線形)結合されるべきかを示す。重みは未知であり、計算/選択される必要がある。
シグネチャベクトル(PBVベクトル)は、血液の吸収スペクトル及び皮膚への光の浸透により引き起こされる、異なる波長チャネルにおける所与の(既知の又は予想される)相対拍動(即ち、検出信号)を表す(光子が血液により一層吸収される場合、血液の体積変化は、血液がほぼ透明である場合よりも大きな信号をもたらす)。この知識及び観察されたデータ(即ち、検出信号)を用いて、重み(例えば、重みベクトル)が決定されることができる。結果として得られる重みは、データに依存する、即ち検出信号に依存する。
パルス信号は、各波長チャネルで異なる比のAC/DC(これは相対信号強度/脈動性とも呼ばれる)を持つため、スペクトルは、異なる色に対して異なるピーク値を持つスペクトルのパルスピークを示すことが分かる。このスペクトルは、フーリエ解析の結果であるが、パルス周波数を有する正弦波が検出信号(例ではRGB、SpO2についてはNIR波長)と相関(乗算)される場合、スペクトル内のピーク値が正確に得られ、これは規定により、シグネチャベクトル(PBVベクトル)と呼ばれることを基本的には意味する。これらのピーク値は、異なる検出信号内のパルス信号の正規化された振幅の相対強度である。
この結果は、この事前知識(即ち、シグネチャベクトル)を用いて、クリーンなパルス信号Sが得られることができる(パルス信号が検出信号の加重和の結果であると仮定して)ことである。これを行うための1つの選択肢は、正規化された検出信号Cnの共分散行列Qの逆行列を計算することである。従って、パルス信号Sを抽出するために検出信号を線形混合するための重みWは、定数シグネチャベクトルPBVを用いて、現在の分析ウィンドウ内の検出信号の共分散行列(データ依存である、即ち経時的に連続的に変化するQ)から計算されることができる。
上述の方法は、非接触型センサを使用して取得された検出信号に適用されることができる。例として、本発明は、健康管理の分野、例えば目立たない遠隔患者監視、サーベイランス、セキュリティ監視、及びフィットネス機器等のいわゆるライフスタイル環境に適用されることができる。用途は、酸素飽和度(パルスオキシメトリ)、脈拍数、血圧、心拍出量の監視、血液潅流の変化、自律神経機能、呼吸の評価、及び末梢血管疾患の検出を含み得る。本発明は例えば、自動CPR(心肺蘇生)中に、重篤な患者の迅速かつ信頼性のあるパルス検出に使用されることができる。このシステムは例えば、NICUにおける非常に敏感な皮膚を有する新生児のバイタルサインのモニタリングのために、及び損傷した(例えば、火傷した)皮膚を有する患者のために使用され得るが、一般病棟において使用されるような接触センサよりも便利であり得、運動堅牢性のためのより良好な解決策を提供し得る。関連する皮膚領域を自動的に見つけることは、現在のところ、ボトルネックの1つである。別の潜在的な用途は、監視において、真の皮膚と偽の皮膚(例えば、マスク)とを確実に区別することである。
本発明が、図面及び前述の説明において詳細に図示及び説明されてきたが、斯かる図示及び説明は、説明的又は例示的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形は、図面、開示、及び添付の請求項の検討から、請求項に記載された発明を実施する際に当業者により理解され、及び実施されることができる。
請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一の要素又は他のユニットが、請求項に列挙されるいくつかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。
コンピュータプログラムは、他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な非一時的媒体において記憶/配布されることができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布されることもできる。
請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (13)

  1. 対象を含むシーンの画像の画像セグメンテーションのための装置であって、
    前記対象を含むシーンから反射された電磁放射線を受信する受信機と、
    前記受信された電磁放射線に第1の偏光を適用して第1の偏光放射線を生成し、前記受信された電磁放射線に前記第1の偏光とは異なる第2の偏光を適用して第2の偏光放射線を生成する偏光ユニットと、
    前記第1の偏光放射線から第1の画像を生成し、前記第2の偏光放射線から第2の画像を生成するセンサユニットと、
    前記第1及び第2の画像の組み合わせから前記シーン内の異なる材料の領域を識別するセグメンテーションユニットと、
    前記対象の皮膚を表す領域を選択し、前記選択された領域内の第1の偏光放射線から第1の偏光方向を有する第1の検出信号と、前記選択された領域内の第2の偏光放射線から前記第1の偏光方向と異なる第2の偏光方向を有する第2の検出信号とを生成し、前記2つの検出信号を結合して、前記2つの検出信号からバイタルサインを決定するバイタルサイン決定ユニットとを有する、装置。
  2. 前記セグメンテーションユニットが、前記第1及び第2の画像の比率又は差から、前記シーン内の異なる材料の領域を識別する、請求項1に記載の装置。
  3. 前記センサユニットが、単一の波長チャネル又は2つ以上の異なる波長チャネルで前記第1及び第2の画像を生成する、請求項1又は2に記載の装置。
  4. 前記センサユニットが、2つ以上の異なる波長チャネルで前記第1及び第2の画像を生成し、
    前記セグメンテーションユニットは、波長チャネルあたりの前記第1の画像と第2の画像との組み合わせから、前記シーン内の異なる材料の領域を識別する、請求項1乃至3のいずれか1項に記載の装置。
  5. 前記センサユニットが、2つ以上の異なる波長チャネルで前記第1及び第2の画像を生成し、
    前記セグメンテーションユニットは、それぞれの第1及び第2の画像の画素を、前記2つ以上の異なる波長チャネルの成分を有するベクトルへと変換し、前記ベクトルを単位長に正規化し、前記シーン内の異なる材料の領域を識別するために、前記2つ以上の異なる波長チャネルのベクトル間の余弦角又は内積を決定する、請求項1乃至4のいずれか1項に記載の装置。
  6. 前記偏光ユニットが、前記2つの異なる偏光を同時に適用し、前記センサユニットは、前記2つの画像を同時に生成する、請求項1乃至5のいずれか1項に記載の装置。
  7. 前記偏光ユニットが、前記2つの異なる偏光を時間逐次的に適用し、特に、時間において前記偏光方向を交互に変更し、前記センサユニットは、前記2つの画像を時間逐次的に生成する、請求項1乃至6のいずれか1項に記載の装置。
  8. 前記偏光ユニットが、前記第2の偏光に対して直交する第1の偏光を適用する、請求項1乃至7のいずれか1項に記載の装置。
  9. 前記偏光ユニットが、前記対象の皮膚領域を照明するために使用される偏光電磁放射線の偏光方向に平行又は同等である第1の偏光と、前記対象の皮膚領域を照明するために使用される偏光電磁放射線の偏光方向に直交又は反対である第2の偏光とを適用する、請求項1乃至8のいずれか1項に記載の装置。
  10. 前記バイタルサイン決定ユニットが、重み付けされた組み合わせにより前記2つの検出信号を線形結合することにより、前記2つの検出信号からバイタルサインを決定し、前記重み付けされた組み合わせの重みは、ブラインド信号分離により、特に主成分分析又は独立成分分析により、及び所定の基準に基づき、前記結合された検出信号の成分チャネルを選択することにより決定される、請求項1乃至9のいずれか1項に記載の装置。
  11. 前記バイタルサイン決定ユニットが、重みを用いて重み付けされた組み合わせにより前記2つの検出信号を線形結合することにより、前記2つの検出信号からバイタルサインを決定し、前記線形結合がパルス信号をもたらし、前記パルス信号に関して、元の検出信号との積が、前記個別のシグネチャベクトルにより表される相対的脈動と等しく、
    前記シグネチャベクトルは、2つの元の検出信号における前記検出信号の期待される相対強度を提供する、請求項1乃至10のいずれか1項に記載の装置。
  12. 対象を含むシーンの画像を画像分割するシステムであって、
    非偏光電磁放射線又は偏光電磁放射線で対象を含むシーンを照明する照明ユニットと、
    前記照明されたシーンの画像の画像セグメンテーションのための、請求項1に記載の装置とを有する、システム。
  13. 対象を含むシーンの画像の画像セグメンテーションのための方法において、
    前記対象を含むシーンから反射される電磁放射線を受信するステップと、
    前記受信された電磁放射線に第1の偏光を適用して第1の偏光放射線を生成し、前記受信された電磁放射線に前記第1の偏光とは異なる第2の偏光を適用して第2の偏光放射線を生成するステップと、
    前記第1の偏光放射線から第1の画像を生成し、前記第2の偏光放射線から第2の画像を生成するステップと、
    前記第1及び第2の画像の組み合わせから前記シーン内の異なる材料の領域を識別するステップと、
    前記対象の皮膚を表す領域を選択するステップと、
    前記選択された領域における前記第1の偏光放射線から第1の偏光方向を有する第1の検出信号と、前記選択された領域における前記第2の偏光放射線から前記第1の偏光方向とは異なる第2の偏光方向を有する第2の検出信号とを生成するステップと、
    前記2つの検出信号を結合することにより、前記2つの検出信号からバイタルサインを決定するステップとを有する、方法。
JP2020567877A 2018-06-19 2019-06-17 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法 Active JP6970840B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18178549.4A EP3583888A1 (en) 2018-06-19 2018-06-19 Device, system and method for image segmentation of an image of a scene including a subject
EP18178549.4 2018-06-19
PCT/EP2019/065798 WO2019243214A1 (en) 2018-06-19 2019-06-17 Device, system and method for image segmentation of an image of a scene including a subject

Publications (2)

Publication Number Publication Date
JP2021520274A true JP2021520274A (ja) 2021-08-19
JP6970840B2 JP6970840B2 (ja) 2021-11-24

Family

ID=62778699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567877A Active JP6970840B2 (ja) 2018-06-19 2019-06-17 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法

Country Status (5)

Country Link
US (1) US20210201496A1 (ja)
EP (2) EP3583888A1 (ja)
JP (1) JP6970840B2 (ja)
CN (1) CN112292071A (ja)
WO (1) WO2019243214A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085221A1 (ja) * 2022-10-20 2024-04-25 富士フイルム株式会社 血流測定装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892927B (zh) * 2021-09-30 2024-03-08 歌尔科技有限公司 用于光电容积描记的测量装置及电子设备
US12029537B2 (en) 2022-08-23 2024-07-09 Samsung Electronics Co., Ltd Polarized photoplethysmography (PPG) biosensors, arrays and systems
CN117542127B (zh) * 2024-01-09 2024-05-24 南方科技大学 基于多光谱偏振光的皮肤检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
JP2002224092A (ja) * 2001-01-30 2002-08-13 Hitachi Ltd 生体監視システム及び光計測用プローブ
JP2008501196A (ja) * 2004-06-01 2008-01-17 ルミディグム インコーポレイテッド マルチスペクトル画像化バイオメトリクス
JP2014501594A (ja) * 2011-01-05 2014-01-23 コーニンクレッカ フィリップス エヌ ヴェ 特性信号から情報を抽出する装置及び方法
WO2015015793A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌分析方法、肌分析装置および肌分析装置の制御方法
JP2016052414A (ja) * 2014-09-03 2016-04-14 哲祥 志村 概日リズム検査装置、概日リズム検査システムおよび概日リズム検査方法
JP2017512576A (ja) * 2014-03-31 2017-05-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 腫瘍検出及び/又はモニタリングに関するデバイス、システム及び方法
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
JP2017532151A (ja) * 2014-10-30 2017-11-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置、システム、及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6268182B2 (ja) * 2012-11-02 2018-01-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置及び方法
EP2967376B1 (en) * 2013-03-14 2023-02-15 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
WO2016000902A1 (en) * 2014-07-02 2016-01-07 Koninklijke Philips N.V. A light-based measurement system and a method of collagen denaturation measurement and a skin treatment system
WO2016116307A1 (en) * 2015-01-19 2016-07-28 Koninklijke Philips N.V. Device, system and method for skin detection
EP3355787B1 (en) * 2015-09-29 2022-06-08 Koninklijke Philips N.V. Device, system and method for extracting physiological information
CN116269261A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息处理方法及生物体信息处理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
JP2002224092A (ja) * 2001-01-30 2002-08-13 Hitachi Ltd 生体監視システム及び光計測用プローブ
JP2008501196A (ja) * 2004-06-01 2008-01-17 ルミディグム インコーポレイテッド マルチスペクトル画像化バイオメトリクス
JP2014501594A (ja) * 2011-01-05 2014-01-23 コーニンクレッカ フィリップス エヌ ヴェ 特性信号から情報を抽出する装置及び方法
WO2015015793A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌分析方法、肌分析装置および肌分析装置の制御方法
JP2017512576A (ja) * 2014-03-31 2017-05-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 腫瘍検出及び/又はモニタリングに関するデバイス、システム及び方法
JP2016052414A (ja) * 2014-09-03 2016-04-14 哲祥 志村 概日リズム検査装置、概日リズム検査システムおよび概日リズム検査方法
JP2017532151A (ja) * 2014-10-30 2017-11-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置、システム、及び方法
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085221A1 (ja) * 2022-10-20 2024-04-25 富士フイルム株式会社 血流測定装置

Also Published As

Publication number Publication date
WO2019243214A1 (en) 2019-12-26
EP3809950B1 (en) 2022-04-06
JP6970840B2 (ja) 2021-11-24
CN112292071A (zh) 2021-01-29
EP3809950A1 (en) 2021-04-28
US20210201496A1 (en) 2021-07-01
EP3583888A1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP6849684B2 (ja) 対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム、及び方法
EP3212059B1 (en) Device, system and method for extracting physiological information
US9999355B2 (en) Device, system and method for determining vital signs of a subject based on reflected and transmitted light
US10506960B2 (en) System for screening of the state of oxygenation of a subject
CN104968259B (zh) 用于确定对象的生命体征信息的系统和方法
JP6970840B2 (ja) 対象を含むシーンの画像の画像セグメンテーションのための装置、システム及び方法
US20190200871A1 (en) System and method for vital signs detection
EP3104767B1 (en) Device, system and method for determining vital signs of a subject based on reflected and transmitted light
CN108471962A (zh) 用于确定对象的生命体征信息的设备、系统和方法
WO2016087273A1 (en) Device and method for skin detection
JP7304899B2 (ja) 対象の少なくとも1つのバイタルサインを決定するシステム及び方法
US11712185B2 (en) Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
WO2019185375A1 (en) Device, system and method for determining at least one vital sign of a subject
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
US20220265150A1 (en) Device, system and method for determining physiological information
CN112292068A (zh) 用于确定对象的至少一个生命体征的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6970840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150