JP2016518191A - 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法 - Google Patents

画像データから胸郭及び腹部呼吸信号を決定する装置及び方法 Download PDF

Info

Publication number
JP2016518191A
JP2016518191A JP2016507077A JP2016507077A JP2016518191A JP 2016518191 A JP2016518191 A JP 2016518191A JP 2016507077 A JP2016507077 A JP 2016507077A JP 2016507077 A JP2016507077 A JP 2016507077A JP 2016518191 A JP2016518191 A JP 2016518191A
Authority
JP
Japan
Prior art keywords
different
signals
respiratory
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507077A
Other languages
English (en)
Other versions
JP2016518191A5 (ja
JP6466912B2 (ja
Inventor
ムクル ジュリアス ロック
ムクル ジュリアス ロック
イェンス ミュールステフ
イェンス ミュールステフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016518191A publication Critical patent/JP2016518191A/ja
Publication of JP2016518191A5 publication Critical patent/JP2016518191A5/ja
Application granted granted Critical
Publication of JP6466912B2 publication Critical patent/JP6466912B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

本発明は対象12から呼吸信号Rを決定する装置10に関連する。この装置は、撮像野42において対象12から決定される画像データ26を受信する受信ユニット28と、上記画像データ36を評価する処理ユニット30であって、運動パターンに基づき上記撮像野42の複数の異なる領域52、54、56から上記対象のバイタルサイン情報に対応する複数の異なる交流信号Sを決定するよう構成される、処理ユニットと、上記異なる交流信号Sを評価し、上記撮像野42の上記異なる領域52、54、56から決定される上記異なる交流信号Sに基づき、上記対象12から複数の異なる呼吸信号R1、R2、R3を決定する評価ユニット34とを有する。

Description

本発明は、対象から呼吸信号を決定する装置及び方法に関連する。そこでは、撮像野において対象から決定される画像データが受信され、呼吸信号が、画像データにおいて決定される運動パターンに基づき決定される。
対象又は患者のバイタル信号及び特に対象の呼吸レートは、例えばビデオカメラといったコンタクトレスのセンサを用いて、リモートでモニタされることができる。パターン検出を用いて画像データから呼吸レートを決定する一般の方法は、例えばWO2012/1405631A1号から知られる。測定される対象はカメラの撮像野において自由に配置されることができ、かつバイタルサインが得られる関連領域はカメラの撮像野において自由に配置されることができるので、対象及び関連領域は、所望のバイタルサイン情報、例えば対象の呼吸レートの抽出のため検出及び規定されなければならない。更に、バイタルサイン情報に関して直説的な及び非直説的な異なる運動パターンが、バイタルサイン情報の正確な遠隔測定のために、識別及び区別されなければならない。
関心領域の従来の識別は一般に、人間、例えば顔若しくは胸部の検出に基づかれるか、又は背景セグメント化を用いて行われる。人間の識別に関して、及び例えば関心領域からパルス又は呼吸レートといったバイタルサインを遠隔画像検出測定に基づき測定することに関して、US2009/01411241号は、測定される対象の一部を表す関心領域を選択するため、赤外線ビデオセグメントの輪郭を検出することを提案する。
更に、WO2012/093320A2号は、対象からバイタルサイン情報を検出する、特に対象からのフォトプレチスモグラフィ信号を検出するビデオ検出デバイスを開示する。そこでは、撮像野においてバイタルサイン情報を自動的に決定するため、この場合対象の皮膚である関心領域を選択するべく、映像データは異なるブロックに分けられる。
呼吸を測定する従来の方法は、インダクティブ・プレチスモグラフィである。この場合、対象の胴周りに巻かれるワイヤを配置することで、胸部又は腹部断面領域における変化を測定する呼吸バンドにより、呼吸が検出される。胸部及び腹部呼吸を区別するために、典型的に2つの呼吸バンドが使用される。対象の呼吸を正確に測定し、特別な損傷又は不随を識別するため、胸部及び腹部呼吸の独立した測定が必要である。
対象から呼吸信号を測定する既知の方法の不利な点は、1つの呼吸信号だけが対象からリモートで決定されることができ,この場合粗い呼吸分析だけが可能である点、又は、対象からの異なる呼吸信号を正確に測定するシステムが、接触測定センサの使用が原因でユーザにとって不快である点にある。
本発明の目的は、ユーザにとってより正確でより快適に対象からの呼吸信号を決定する改良された装置及び対応する改良された方法を提供することである。
本発明の一つの側面によれば、対象から呼吸信号を決定する装置が提供され、この装置は、
撮像野において対象から決定される画像データを受信する受信ユニットと、
上記画像データを評価する処理ユニットであって、運動パターンに基づき上記撮像野の複数の異なる領域から上記対象のバイタルサイン情報に対応する複数の異なる交流信号を決定するよう構成される、処理ユニットと、
上記異なる交流信号を評価し、上記撮像野の上記異なる領域から決定される上記異なる交流信号に基づき、上記対象から複数の異なる呼吸信号を決定する評価ユニットとを有する。
本発明の別の側面によれば、対象から呼吸信号を決定する方法が提供され、この方法は、
撮像野において上記対象から決定される画像データを受信するステップと、
上記画像データを評価するステップと、
運動パターンに基づき、上記撮像野の複数の異なる領域から上記対象のバイタルサイン情報に対応する複数の異なる交流信号を決定するステップと、
上記異なる交流信号を評価するステップと、
上記撮像野の異なる領域から決定される上記異なる交流信号に基づき、上記対象から複数の異なる呼吸信号を決定するステップとを有する。
本発明の更に別の側面によれば、コンピュータで実行されるとき、コンピュータに本発明による方法のステップを実行させるプログラムコード手段を有するコンピュータプログラムが提供される。
本発明は、コンタクトレスの測定に基づき、1つの対象から異なる呼吸信号を測定し、改良された正確な呼吸測定を提供するという着想に基づかれる。これは、コンタクトレスの測定によってユーザとっては快適である。異なる呼吸信号は、測定される対象からキャプチャされる画像データから決定される運動パターンに基づき決定される。この場合、撮像野における異なる領域の運動パターンが、異なる呼吸信号を決定するために用いられる。こうして、対象の呼吸に対応する対象の異なる部分の運動が、独立して決定されることができる。その結果、例えば胸部及び腹部呼吸が独立して決定されることができ、ユーザにとって快適である。そして、全体の呼吸情報が、低い技術的な負担で決定されることができる。異なる呼吸信号に基づき、追加的な診断が実行されることができる。その結果、バイタルサイン検出がより正確になる。
本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法が、請求項に記載の装置及び従属項に記載されるデバイスと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
好ましい実施形態において、上記処理ユニットが、上記画像データにおける複数の画像セクションを規定し、運動パターン検出に基づき、各々の上記画像セクションから上記バイタルサイン情報に対応する1つの交流信号を決定するよう構成される。これは、低い技術的な負担で全体の撮像野からバイタルサイン情報を識別することを可能にする。
好ましい実施形態において、上記処理ユニットが、上記画像データにおける画像セクションのアレイとして上記異なる画像セクションを規定するよう構成される。これは、対象の異なるバイタルサイン情報を決定するため、全体の画像データを分析して、全体の撮像野を分析するシンプルなソリューションである。
好ましい実施形態において、この装置は、上記異なる画像セクションから決定される上記交流信号のスペクトルパラメータを決定する周波数分析ユニットと、上記異なる呼吸信号を決定するため、上記異なる領域として上記スペクトルパラメータに基づき、異なる画像セクションを選択する選択ユニットとを更に有する。これは、バイタルサイン情報が得られることができる撮像野において異なる関心領域を決定することを信頼性高く可能にする。
好ましい実施形態において、上記異なる画像セクションから決定されるスペクトルパラメータが、上記交流信号のスペクトルエネルギーである。これは、バイタルサイン情報と妨害信号及びノイズとを高い信頼性で区別することを可能にする。
好ましい実施形態において、上記交流信号の所定の周波数帯域の上記スペクトルエネルギーが閾値レベルを超える場合、上記選択ユニットが、上記画像セクションを選択するよう構成される。これは、低い技術的な負担でスペクトルパラメータを分析することを可能にする。
好ましい実施形態において、上記異なる呼吸信号が、上記対象の異なる部分から得られる運動ベクトルに基づき決定される。対象の異なる部分から得られる運動ベクトルを用いて、例えば胸部及び腹部呼吸に対応する異なる呼吸信号が決定されることができる。
好ましい実施形態において、上記異なる呼吸信号が、異なる波形を持つ時間依存の交流信号である。これは、シンプルな呼吸レートに加えて対象から追加的な診断情報を決定することを可能にする。
好ましい実施形態において、上記異なる呼吸信号が、互いに対するフェーズシフトを持つ時間依存信号である。これは、追加的な診断情報を決定するため、対象の異なる呼吸信号を区別することを可能にする。
好ましい実施形態において、上記評価ユニットが、上記対象からの追加的な呼吸情報として上記異なる呼吸信号の信号差を決定するよう構成される。これは、追加的な診断に関して呼吸レートを越える追加的な呼吸情報を自動的に決定するソリューションである。
好ましい実施形態において、上記評価ユニットが、上記異なる呼吸信号の上記フェーズシフトを決定し、上記決定されたフェーズシフトを考慮して、上記異なる呼吸を1つの一般的な呼吸信号へと結合するよう構成される。これは、増加した正確さ及びより高い信頼性を持つ単一の呼吸信号を決定することを可能にする。
更に好ましい実施形態では、上記評価ユニットが、上記対象の空間的な呼吸マップを提供するため、上記異なる画像セクションから得られる上記異なる呼吸信号に基づき、呼吸信号のアレイを決定するよう構成される。これは、追加的な診断可能性を提供するため、対象から全体の呼吸情報を決定することを可能にする。
更に好ましい実施形態では、上記選択ユニットが、各々の上記選択された異なる画像セクションに対する重み係数を決定するよう構成され、上記評価ユニットは、上記個別の重み係数を用いて重み付けされる上記選択された画像セクションの上記交流信号に基づき、上記異なる呼吸信号を決定するよう構成される。これは、決定された呼吸信号の正確さを増加させるため、交流信号の信号強度を考慮することを可能にする。なぜなら、妨害信号又は雑音が多い信号は、高い強さを持つ信号より考慮されないからである。
上記選択ユニットが、定期的に上記選択を実行するよう構成され、上記選択された画像セクションの各々に関する上記重み係数は、上記個別の画像セクションの選択の周波数に基づき決定される場合、更に好ましい。これは、信号強度及び重み係数を低い技術的な負担で決定することを可能にする。
上述したように、本発明は、測定される対象を含む撮像野から決定される画像データを用いて、コンタクトレスな遠隔測定に基づき1つの対象から異なるバイタルサイン情報を決定するという可能性を提供する。交流信号が撮像野の異なる領域から決定される運動パターンに基づき決定されるので、対象の異なる部分、例えば胸郭及び腹部からの呼吸信号は、呼吸検出の正確さを増加させるため、及び対象の呼吸から追加的な情報を決定するため、異なる呼吸技術に対応して決定されることができる。こうして、追加的な診断が実行されることができ、呼吸の検出は、より高い信頼性を持ち、より正確であり、コンタクトレスの測定に基づき快適に決定されることができる。
対象から呼吸信号を決定する装置の一般的なレイアウトの概略的な説明を示す図である。 呼吸信号を示す対象の運動の概略的な説明を示す図である。 対象から得られる交流信号のタイミングダイアグラムを示す図である。 図3に示される交流信号の周波数ダイヤグラムを示す図である。 撮像野における異なる交流信号の検出を示す概略的な画像セグメント化を示す図である。 撮像野の異なる部分から決定される3つの呼吸信号及び呼吸信号が決定される個別の画像を示す図である。 撮像野における対象から呼吸信号を決定する方法の実施形態のステップを表す概略的なブロックダイアグラムを示す図である。
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
図1は、対象12から呼吸信号を決定する符号10により一般に表される装置の概略的な図面を示す。対象12、例えばベッドに寝ている患者が、支持部14上で休息している。対象の頭部16は通常、対象12の呼吸に関する非直説的な部分である。この場合、胸部18又は胸郭18及び子宮20又は腹部20が、対象12の呼吸に関する直説的な部分である。一般の課題は、胸部及び腹部呼吸に対応する異なる呼吸信号が、独立に、及び低い技術的な負担でコンタクトレスで正確に測定されることができない点にある。通常、単に呼吸レート又は心拍は、一般にカメラシステム又はリモートシステムを用いて検出される。
装置10は、例えば対象12の画像フレームを記録するのに使用されることができるモノクロのカメラといった画像検出デバイス22に接続される。画像フレームは、対象12により放出又は反射される電磁放射24から得られることができる。画像データ、例えば画像フレームのシーケンスから画像情報を抽出するため、画像検出デバイス22は、インタフェース28を介して画像処理ユニット30に接続される。画像検出デバイス22は、装置10の部分もよいか、又は外部カメラ22でもよい。その結果、画像データ26は単に、一般に画像データ26を装置10に提供するため、インタフェース28に提供されるだけである。
画像検出デバイス22は、少なくとも電磁放射24のスペクトル要素に属する画像をキャプチャするよう構成される。画像検出デバイス22は、測定される対象12を含む撮像野からキャプチャされる連続的な画像データ又は画像フレームの離散的なシーケンスを提供することができる。
画像処理ユニット30は、インタフェース28を介して画像検出デバイス22から画像データ26を受信し、一般に画像データ26を評価し、例えば対象12の呼吸の直説的な部分として胸郭18及び腹部20といった対象12の異なる関心領域を検出するよう構成される。例えば胸郭18及び/又は腹部20といった関心領域を検出するため、画像処理ユニット30は、撮像野のセクション又は領域においてキャプチャされた画像を分割し、関心領域を決定するために画像セクションを別々に評価するよう構成される。画像処理ユニット30は、キャプチャされた画像を画像セクションに分割し、呼吸の直説的な部分として対象12の胸郭領域18及び/又は腹部領域20の運動を含む撮像野における対象の運動に対応する異なるセクションから、運動ベクトルを検出する。運動ベクトルは、画像セクションにおけるパターン検出を用いて、又は、画像セクションにおけるエッジ検出を用いて決定される。エッジ又はパターン検出のため、キャプチャされた画像フレームから運動ベクトルを得る方法は、例えばWO2012/140531A1号により開示される。
撮像処理ユニット30は、分析ユニット32に接続される。画像処理ユニット30は、画像セクションの各々からの運動ベクトルに基づき交流信号を決定し、分析ユニット32に交流信号を提供する。
分析ユニット32は、以下に詳細に説明される分析ユニット32に含まれる周波数分析ユニットを用いて、交流信号の各々のスペクトルパラメータを決定する。画像データ26におけるセクションの各々のスペクトルパラメータは、分析ユニット32の一部である選択ユニットにより分析される。選択ユニットは、呼吸信号に対応すると思われる交流信号が得られる画像データのそれらのセクションを選択する。選択ユニットは、個別のスペクトルパラメータに基づきセクションを選択する。スペクトルパラメータは、交流信号の各々の周波数スペクトル又はスペクトルエネルギー分布である。対象の呼吸信号が特性スペクトルエネルギー分布又は特性周波数を持つので、選択ユニットは、対象12の呼吸信号を含むセクションを選択することができる。従って、選択ユニットは、異なる呼吸信号を決定するため、画像データ26において対象12の胸郭18及び/又は腹部20を識別する。
選択ユニットは、以下に説明されるように周波数分析に基づき、異なる画像の各々に対する重み係数も決定する。重み要素は一般に、各画像セクションがどのくらい頻繁に選択されるかに依存する。こうして、重み係数は、交流信号の信号強度に対応する係数を表す。その結果、画像セクションの各々からの個別の交流信号が、信号品質に基づき考慮されることができる。
分析ユニット32は、評価ユニット34に接続され、対象12の呼吸に対応する呼吸信号を決定する評価ユニット34に交流信号を提供する。評価ユニット34は、異なる画像セクションから決定される交流信号及び異なる画像セクションに関する個別の重み係数を分析ユニット32から受信し、交流信号、重み係数及び交流信号が得られる異なる領域に基づき、異なる呼吸信号を算出する。こうして、呼吸信号は、画像データ26に基づき算出されて、完全にコンタクトレスに決定されることができる。この場合、呼吸信号は、異なる部分、例えば対象12の胸郭18及び腹部20と独立して得られることができる。
そのように算出された呼吸信号は、測定された呼吸信号を連続的に又は頻繁に表示するため、ディスプレイ36に提供されることができる。
こうして、胸部及び腹筋呼吸は、完全にコンタクトレスに、及び互いに独立して決定されることができる。その結果、呼吸測定は、より正確になり、例えば脊髄損傷又は隔膜の不随といった追加的な損傷を診断するため、対象12の呼吸から追加的な情報が得られることができる。
図2は、対象12の呼吸の遠隔測定を表すため、対象12の概略的な図を示す。対象12は、呼吸が原因で第1の直説的な部分18(胸郭18)及び第2の直説的な部分20(腹部20)の特徴的な運動を経験する。呼吸するとき、肺の拡張及び収縮は、2つの直説的な部分18、20のわずかな運動をもたらす。即ち、胸郭18及び腹部20の上昇及び下降である。通常、胸郭18及び腹部20は、交互態様において上昇及び下降する。その結果、腹部20が下降する間、胸郭18が上昇する。逆も真である。
矢印40により示される時間にわたり、直説的な部分18、20は、参照符号18a、20b及び18cにより示される縮小された位置と符号20a、18b及び20cにより示される拡張された(extracted)位置との間で移動される。基本的に、運動パターンに基づき、例えば、呼吸レート又は呼吸レート変動性又は呼吸ボリュームが、キャプチャされた画像シーケンスにおけるパターン又はエッジ検出を用いて評価されることができる。直説的な部分18、20が時間にわたり脈動している間、非直説的な部分として頭部16は実質的に静止したままである。胸郭18及び腹部20が、呼吸に関する直説的な部分としての例であり、例えば対象12のより低い肋骨での運動といった追加的な呼吸信号を決定するため、対象12の他の部分も検出されることができる点を理解されたい。
確実に、頭部16も、時間にわたり多様な運動を経験する。しかしながら、これらの運動は、胸郭18又は腹部20の周期的な脈動に対応せず、周波数分析ユニットを用いて区別されることができる。
図3は、例えば個別の画像セクションにおけるフレーム又はエッジ検出に基づき決定されることができる異なる画像セクションの運動パターンから及び/又は運動ベクトルから得られる交流信号のタイミング図を示す。交流信号は一般に、S(t)により表される。この特定のケースにおいて交流信号Sは、個別の直説的な部分18、20から受信される画像データに対応する画像セクションから得られる、対象12の胸郭18又は腹部20の運動に対応する。交流信号Sは、胸部18又は腹部20の運動、即ち対象12の呼吸に対応する特徴的な変動を示す。交流信号Sは、呼吸に重畳される高周波ノイズも示す。
交流信号Sは、撮像野の画像セクションの各々から得られる。この場合、複数の画像セクションは、例えば呼吸レートといったバイタルサイン情報を有し、多くの画像セクションは、対象12のバイタルサイン情報に関連付けられない妨害信号、又は高周波ノイズを含む他の交流信号を有することができる。バイタルサイン情報が得られることができるそれらの画像セクションを識別するため、分析ユニット32は、交流信号Sの周波数分析を実行する周波数分析デバイスを有する。周波数分析は、交流信号Sをフィルタリングすることにより、及び/又はフーリエ変換、特に交流信号Sの高速フーリエ変換(FFT)を実行することにより好ましくは実行される。以下に説明されるように、対象12の呼吸に対応するバイタルサイン情報を含む画像セクションを識別するため、交流信号Sから、周波数スペクトルが得られる。
図4は、F(f)により一般に表される図3に示される交流信号Sの周波数スペクトルを示す。周波数スペクトルFは、低周波数帯域、この特定の場合においては0及び1ヘルツの間の大きな周波数要素を示す。これは通常、1ヘルツより高くない成人の呼吸レートに対応し、1分あたり60呼吸である。所定の周波数帯域、例えば成人に対して1ヘルツ及び乳児に対して2ヘルツより高い周波数要素は、通常画像データ26における妨害信号である、又は交流信号Sのノイズに対応する。交流信号Sの品質を特徴付けるため、交流信号Sのスペクトルエネルギーが決定され、所定の周波数帯域における交流信号Sのスペクトルエネルギーが、所定の閾値レベルを超えるか、又は第2の周波数帯域、例えば全体の周波数スペクトルと比較したスペクトルエネルギーのパーセンテージを超える場合、画像セクションが、バイタルサイン情報を含む画像セクションとして規定される。例えば、0及び1又は2ヘルツの間のスペクトルエネルギーが、所定の閾値レベルより大きい場合、例えば、交流信号Sの全スペクトルエネルギーの50%より大きい、又はスペクトルの所定の範囲より大きい、例えば2...3Hz、3...4Hz等である場合、画像セクションが、バイタルサイン情報を含む画像セクションとして規定される。スペクトルエネルギーに基づき、画像セクションが、以下に説明されるように関心領域を決定して、異なる呼吸信号を決定するため、撮像野において選択される。
図5は、検出された画像データ26に基づく対象12からの異なる呼吸信号の検出を説明するため、撮像野からの概略的な画像を示す。図5に示される画像検出デバイス22により検出される撮像野は、符号42により一般に表される。画像検出デバイス22によりキャプチャされる撮像野42を表す画像フレーム44は、この場合測定される人間である対象12を示す。画像フレーム44において、格子46は、異なる部分において画像フレーム44を分割し、撮像野42において異なる領域を区別するため、及び撮像野42において異なる運動ベクトルを決定するため、画像セクション48を規定する。関心領域、即ち対象12の胸郭18及び腹部20を決定するため、運動パターンが、画像フレーム44の画像セクション48の各々から得られ、交流信号Sは、上述したように画像セクション48の各々の運動パターンから決定される運動ベクトルから決定される。運動ベクトルは、異なる画像セクションにおけるパターン検出又はエッジ検出により決定される。上述したように周波数分析に基づき、異なる画像セクション48の運動パターンが撮像野42において対象12の呼吸信号に対応するかどうか、又は、運動パターンが妨害信号若しくはノイズであるかどうかが決定される。運動パターンが呼吸信号を含むかどうかの決定は、スペクトルパラメータ及び/又はスペクトルエネルギーに基づき実行され、例えば周波数帯域におけるスペクトルエネルギーが、個別の交流信号の全体のスペクトルエネルギーの特定のパーセンテージより大きいかどうかに基づき実行される。
画像セクション48の各々に関して決定されるこれらのデータに基づき、選択ユニットは、呼吸信号を含むそれらの画像セクションを選択し、それらの選択された画像セクション48を関心領域に結合することができる。これは、図5において符号50により一般に表される。図5に示される関心領域50は、胸郭18及び腹部20に対応する2つの直説的な部分18、20を有する。特定の実施形態において、分析ユニット32は、対象12の異なる直説的な部分18、20から異なる交流信号を決定するため、互いに分離されることができる異なる関心領域を決定することができる。
関心領域50の画像セクション48から得られる異なる交流信号Sに基づき、評価ユニット34は、胸郭18及び腹部20の呼吸運動に対応する異なる呼吸信号を決定する。分析ユニット32、特に分析ユニット32の選択ユニットが、信号品質に基づき異なるセクション48の交流信号Sを重み付けするため、関心領域50の選択された画像セクション48の各々に対する重み係数を決定する。分析ユニット32により決定される重み係数は、個別の画像セクションが選択ユニットによりどのくらい頻繁に選択されるかの頻度に基づき算出されることができる。言い換えると、選択された画像セクション48としてより頻繁に選択されるそれらの画像セクション48からの交流信号Sは、個別の呼吸信号を算出するためにより大きな重みを与えられ、あまり頻繁に選択されない画像セクション48は、より少ない重みを与えられる。
同一又は対応する波形を有する交流信号Sが、(評価ユニット32により)単一の呼吸信号へと結合される。なぜなら、これらの交流信号Sは、同じ直説的な部分18、20から得られると考えられるからである。異なるセクション48からの交流信号がより大きい差、例えばフェーズシフトを持つ場合、それらの交流信号Sは、異なる直説的な部分18、20から得られると考えられ、1つの呼吸信号へと直接結合されることはない。結合ステップは、評価ユニット32により実行される。
画像セクション48の各々の呼吸信号を別々に決定し、評価ユニット34を用いて対象12及び関心領域50の空間的な呼吸マップを決定することも可能である。
図6aは、対象12の異なる部分から運動ベクトル検出によりコンタクトレスに得られる3つの異なる呼吸信号R1、R2及びR3を有するタイミング図を示す。そこから呼吸信号R1、R2、R3が得られる対象12の領域が、図6b、c及びdのキャプチャされた画像において概略的に示される。
第1の呼吸信号R1は、図6bに示されるように胸郭18又は胸部18を含む関心52の領域から決定される。第2の呼吸信号R2は、図6cに示されるように対象12の腹部20又は子宮20を含む関心領域54から得られる。第2の呼吸信号R2は、胸郭18の呼吸信号R1に対してフェーズシフトされる。第3の呼吸信号R3は、図6dに示されるように対象12の胸郭18及び腹部20の間の関心領域56から決定される。第3の呼吸信号R3は、第2の呼吸信号R2の腹式呼吸に対応する呼吸を示す。しかしながら、第3の呼吸信号R3は、より幅広いピーク形状を持つ。なぜなら、この中間部から得られる交流信号は、胸郭18及び腹部20のような信号強度を持たないからである。
呼吸信号R1、R2、R3は、異なる時点t1、t2での個別の直説的な部分18、20の運動に対応するそれらのピークを持ち、Δt1及びΔt2により示されるように互いに対してフェーズシフトされる。フェーズシフトΔt1、Δt2は、対象12の呼吸が原因で、胸郭18及び腹部20の交流運動に対応する。それゆえに、異なる呼吸信号R1、R2、R3が、装置10を用いてそコンタクトレスにリモートで独立に得られることができ、フェーズシフトΔt1、Δt2といった追加的な情報が、遠隔測定から決定されることができる。
フェーズシフトΔt1、Δt2といった追加的な情報に基づき、対象12の特定の損傷を決定するため、追加的な診断が実行されることができる。
特定の実施形態において、呼吸信号R1、R2、R3のフェーズシフトΔt1、Δt2が決定され、直説的な部分18、20の異なる領域関心52、54、56から得られる異なる呼吸信号R1、R2、R3を結合することにより、一般の呼吸信号が決定される。この場合、フェーズシフトが考慮され、信号が結合される前に呼吸信号R1、R2、R3が同相であるよう、信号が個別にシフトされる。この結合を用いて、たとえ単一の呼吸信号R1、R2、R3が低い信号強度を持つとしても、信頼性が高い呼吸信号が決定されることができる。
本発明のシンプルな実施形態において、画像データは、格子46の異なる行に基づき評価される。この場合、最高信号強度を持つ行の各々の1つの画像セクション48の交流信号Sが選択され、個別の呼吸信号R1、R2、R3が、1つの選択された画像セクション48に基づき、各々の行に関して決定される。これは、呼吸信号R1、R2、R3を決定する、装置10の技術的な負担及び算出時間を減らすことができる。
図7は、対象12から呼吸信号を検出するための方法ステップを説明するブロック図を示す。この方法は、符号60により一般に表される。方法60は、ステップ62で始まる。ステップ64において、画像フレーム44が、画像検出デバイス22を用いて検出される。ステップ66において、画像フレーム44又は画像データ26が、インタフェース28を介して画像処理ユニット30に提供され、パターン検出又はエッジ検出を用いて画像処理ユニット30により評価される。運動ベクトルが、上述したように画像セクション48の各々に関して決定される。ステップ68において、運動ベクトルに基づき、対応する交流信号Sが、画像セクション48の各々に関して算出される。ステップ70において、交流信号Sが、分析ユニット32に提供され、分析ユニット32は、交流信号Sを分析する。分析ステップ70は、フィルタユニットを用いて交流信号のフィルタリングを有する。ステップ72において、選択ユニットは、対象12の呼吸信号を含むそれらの画像セクション48を選択し、関心領域50が決定される。ステップ74において、評価ユニット34は、分析ユニット32から受信される交流信号Sを評価し、異なる直説的な部分18、20から対象12の異なる呼吸信号R1、R2、R3を決定する。
ステップ76において、異なる呼吸信号R1、R2、R3が、ディスプレイ36を用いて表示される。
ステップ78において、方法60は終わる。こうして、方法60は、異なる直説的な部分18、20の運動検出に基づき、1つの対象12から異なる呼吸信号R1、R2、R3を決定することができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体において格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 対象から呼吸信号を決定する装置であって、
    撮像野において対象から決定される画像データを受信する受信ユニットと、
    前記画像データを評価する処理ユニットであって、運動パターンに基づき前記撮像野の複数の異なる領域から前記対象のバイタルサイン情報に対応する複数の異なる交流信号を決定するよう構成される、処理ユニットと、
    前記異なる交流信号を評価し、前記撮像野の前記異なる領域から決定される前記異なる交流信号に基づき、前記対象から複数の異なる呼吸信号を決定する評価ユニットとを有する、装置。
  2. 前記処理ユニットが、前記画像データにおける複数の画像セクションを規定し、運動パターン検出に基づき、各々の前記画像セクションから前記バイタルサイン情報に対応する1つの交流信号を決定するよう構成される、請求項1に記載の装置。
  3. 前記処理ユニットが、前記画像データにおける画像セクションのアレイとして前記異なる画像セクションを規定するよう構成される、請求項2に記載の装置。
  4. 前記異なる画像セクションから決定される前記交流信号のスペクトルパラメータを決定する周波数分析ユニットと、前記異なる呼吸信号を決定するため、前記異なる領域として前記スペクトルパラメータに基づき、異なる画像セクションを選択する選択ユニットとを更に有する、請求項2に記載の装置。
  5. 前記スペクトルパラメータが、前記交流信号のスペクトルエネルギーである、請求項4に記載の装置。
  6. 前記交流信号の所定の周波数帯域の前記スペクトルエネルギーが閾値レベルを超える場合、前記選択ユニットが、前記画像セクションを選択するよう構成される、請求項5に記載の装置。
  7. 前記異なる呼吸信号が、前記対象の異なる部分から得られる運動ベクトルに基づき決定される、請求項1に記載の装置。
  8. 前記異なる呼吸信号が、異なる波形を持つ時間依存の交流信号である、請求項1に記載の装置。
  9. 前記異なる呼吸信号が、互いに対するフェーズシフトを持つ時間依存信号である、請求項1に記載の装置。
  10. 前記評価ユニットが、前記対象の追加的な呼吸情報として前記異なる呼吸信号の信号差を決定するよう構成される、請求項1に記載の装置。
  11. 前記評価ユニットが、前記異なる呼吸信号の前記フェーズシフトを決定し、前記決定されたフェーズシフトを考慮して、前記異なる呼吸を1つの一般的な呼吸信号へと結合するよう構成される、請求項9に記載の装置。
  12. 前記評価ユニットが、前記対象の空間的な呼吸マップを提供するため、前記異なる画像セクションから得られる前記異なる呼吸信号に基づき、呼吸信号のアレイを決定するよう構成される、請求項1に記載の装置。
  13. 前記選択ユニットが、各々の前記選択された異なる画像セクションに対する重み係数を決定するよう構成され、前記評価ユニットは、前記個別の重み係数を用いて重み付けされる前記選択された画像セクションの前記交流信号に基づき、前記異なる呼吸信号を決定するよう構成される、請求項4に記載の装置。
  14. 前記選択ユニットが、定期的に前記選択を実行するよう構成され、前記選択された画像セクションの各々に関する前記重み係数は、前記個別の画像セクションの選択の周波数に基づき決定される、請求項13に記載の装置。
  15. 対象から呼吸信号を決定する方法において、
    撮像野において前記対象から決定される画像データを受信するステップと、
    前記画像データを評価するステップと、
    運動パターンに基づき、前記撮像野の異なる領域から前記対象のバイタルサイン情報に対応する複数の異なる交流信号を決定するステップと、
    前記異なる交流信号を評価するステップと、
    前記撮像野の異なる領域から決定される前記異なる交流信号に基づき、前記対象から複数の異なる呼吸信号を決定するステップとを有する、方法。
JP2016507077A 2013-04-09 2014-03-17 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法 Expired - Fee Related JP6466912B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361809964P 2013-04-09 2013-04-09
US61/809,964 2013-04-09
EP13162887.7 2013-04-09
EP13162887 2013-04-09
PCT/IB2014/059888 WO2014167432A1 (en) 2013-04-09 2014-03-17 Apparatus and method for determining thorax and abdomen respiration signals from image data

Publications (3)

Publication Number Publication Date
JP2016518191A true JP2016518191A (ja) 2016-06-23
JP2016518191A5 JP2016518191A5 (ja) 2017-04-13
JP6466912B2 JP6466912B2 (ja) 2019-02-06

Family

ID=48092739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507077A Expired - Fee Related JP6466912B2 (ja) 2013-04-09 2014-03-17 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法

Country Status (8)

Country Link
US (1) US20140303503A1 (ja)
EP (1) EP2983588A1 (ja)
JP (1) JP6466912B2 (ja)
CN (1) CN105101875A (ja)
CA (1) CA2908932A1 (ja)
MX (1) MX2015014078A (ja)
RU (1) RU2691006C2 (ja)
WO (1) WO2014167432A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527603A (ja) * 2016-08-18 2019-10-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 呼吸タイプを決定するためのセンサーシステム及び方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2772884A1 (en) 2013-02-28 2014-09-03 Koninklijke Philips N.V. Apparatus and method for detecting subjects on the basis of vital signs
ES2604812T3 (es) * 2014-05-07 2017-03-09 Koninklijke Philips N.V. Sistema y procedimiento para la extracción de información fisiológica
CN104305996A (zh) * 2014-10-15 2015-01-28 大连现代医疗设备科技有限公司 基于图像识别技术的呼吸监测方法及系统
JP6565468B2 (ja) * 2015-08-18 2019-08-28 ノーリツプレシジョン株式会社 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
US10019883B2 (en) 2016-01-21 2018-07-10 Htc Corporation Method for monitoring breathing activity, electronic device, and computer-readable storage medium using the same
US11234640B2 (en) * 2017-06-28 2022-02-01 The Nemours Foundation Non-invasive pulmonary function assessment and treatment of respiratory fatigue
CN112932457B (zh) * 2021-01-26 2022-11-25 四川大学 呼吸系统健康监测装置
WO2022227044A1 (zh) * 2021-04-30 2022-11-03 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003366A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
WO2012140531A1 (en) * 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. Device and method for extracting information from characteristic signals

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886298B2 (en) * 2004-03-01 2014-11-11 Microsoft Corporation Recall device
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
CN102046076A (zh) * 2008-04-03 2011-05-04 Kai医药公司 非接触式生理运动传感器及其使用方法
US20100152600A1 (en) * 2008-04-03 2010-06-17 Kai Sensors, Inc. Non-contact physiologic motion sensors and methods for use
AU2010292972A1 (en) * 2009-09-11 2012-03-22 Compumedics Germany Gmbh Respiratory inductive plethysmography band
CN103314583B (zh) 2011-01-05 2017-05-17 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码和解码设备及方法
US20120226152A1 (en) * 2011-03-03 2012-09-06 Porikli Fatih M Tumor Tracking System and Method for Radiotherapy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003366A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
WO2012140531A1 (en) * 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. Device and method for extracting information from characteristic signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527603A (ja) * 2016-08-18 2019-10-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 呼吸タイプを決定するためのセンサーシステム及び方法

Also Published As

Publication number Publication date
MX2015014078A (es) 2015-12-11
RU2015147903A (ru) 2017-05-11
RU2015147903A3 (ja) 2018-03-19
RU2691006C2 (ru) 2019-06-07
EP2983588A1 (en) 2016-02-17
WO2014167432A1 (en) 2014-10-16
JP6466912B2 (ja) 2019-02-06
CN105101875A (zh) 2015-11-25
CA2908932A1 (en) 2014-10-16
US20140303503A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6466912B2 (ja) 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
JP6389834B2 (ja) 被験者からバイタルサインを決定する装置及び方法
RU2691928C2 (ru) Устройство и способ определения информации об основных физиологических показателях субъекта
JP6472086B2 (ja) 対象の呼吸情報を取得する装置
EP3206563B1 (en) Device and method for detecting vital sign information of a subject
JP6487340B2 (ja) バイタルサインに基づき被験者を検出する装置、方法及びコンピュータプログラム
US10292623B2 (en) Apparatus and method for determining a respiration volume signal from image data

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190110

R150 Certificate of patent or registration of utility model

Ref document number: 6466912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees