JP2016514976A - バイタルサインに基づき被験者を検出する装置及び方法 - Google Patents

バイタルサインに基づき被験者を検出する装置及び方法 Download PDF

Info

Publication number
JP2016514976A
JP2016514976A JP2015559494A JP2015559494A JP2016514976A JP 2016514976 A JP2016514976 A JP 2016514976A JP 2015559494 A JP2015559494 A JP 2015559494A JP 2015559494 A JP2015559494 A JP 2015559494A JP 2016514976 A JP2016514976 A JP 2016514976A
Authority
JP
Japan
Prior art keywords
image
image sections
sections
group
imaging field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015559494A
Other languages
English (en)
Other versions
JP6487340B2 (ja
Inventor
ミュクル ユリウス ロック
ミュクル ユリウス ロック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016514976A publication Critical patent/JP2016514976A/ja
Application granted granted Critical
Publication of JP6487340B2 publication Critical patent/JP6487340B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明は、バイタルサインに基づき、異なる被験者10、10'を検出する装置18に関する。この装置は、撮像野40から放射20を検出し、上記撮像野40から画像データ24を提供する画像検出ユニット22と、上記画像データ24において画像セクション46を規定し、異なる画像セクション46において運動パターンを検出する検出ユニット26と、上記運動パターンに基づき、上記異なる画像セクション46においてバイタルサインを特定する識別ユニット28と、上記画像データ24を分析する分析ユニット32であって、上記バイタルサインが特定される上記画像セクション48、50、54、56の、又は、画像セクションのグループ52、58の空間分離に基づき、上記撮像野40において上記異なる被験者10、10'を検出するよう構成される、分析ユニットとを有する。

Description

本発明はバイタルサインに基づき被験者を検出する装置及び方法に関する。画像データは、撮像野から決定される。バイタルサインは被験者から受信される運動パターンに基づき特定される。
被験者又は患者のバイタルサイン及び特に被験者の呼吸レートは、例えばビデオカメラといったコンタクトレスセンサを用いて、リモートで監視されることができる。パターン検出を用いて画像データから呼吸レートを決定する一般的な方法が、WO2012/140531A1号から知られる。関心被験者がカメラの撮像野において自由に位置することができるので、そこからバイタルサインが得られる被験者及び関連する領域が、所望のバイタルサイン情報の抽出のため検出及び規定されなければならない。更に、正確な遠隔測定のため、撮像野における異なる人が、特定及び区別されなければならない。
関心領域の従来の識別は一般に、例えば顔又は胸部といった人間の検出に基づかれるか、又は背景セグメント化を使用することに基づかれる。
人間の識別のため、及び例えば関心領域からパルス又は呼吸レートといったバイタルサインを測定するため、US2009/01411241号は、測定される被験者の部分を表す関心領域を選択するのに、赤外線ビデオセグメントの輪郭セグメントを検出することを提案する。
更に、US2009/0226043A1号は、呼吸パターンを検出する方法を開示する。そこでは、関心領域、及び特に関心対象者又は異なる関心対象者が、検出される人の行動偏差を示す呼吸パターン変化に基づき特定される。
既知の識別方法の不利な点は、カメラが固定されなければならず、撮像野において人間を検出するために追加的な背景情報が必要である点にある。更に、撮像野における人が部分的に遮られる場合、又は背景がカメラにより特定される前に人が背景を遮っている場合、既知の方法は適用できないか又は信頼性が高くない。
本発明の目的は、使用のより高い柔軟性及び被験者検出のより高い信頼性を提供できる、バイタルサインに基づき被験者を特定する装置及び方法を提供することである。更に、本発明の目的は、コンピュータで実行されるとき、コンピュータにバイタルサインに基づき被験者を検出させるコンピュータプログラムを提供することである。
本発明の一つの側面によれば、バイタルサインに基づき被験者を検出する装置が提供される。この装置は、
撮像野から放射を検出し、上記撮像野から画像データを提供する画像検出ユニットと、
上記画像データにおいて画像セクションを規定し、異なる画像セクションにおいて運動パターンを検出する検出ユニットと、
上記運動パターンに基づき上記異なる画像セクションにおけるバイタルサインを特定する識別ユニットと、
上記画像データを分析する分析ユニットであって、上記バイタルサインが特定される上記画像セクションの、又は、画像セクションのグループの空間分離に基づき、上記撮像野における異なる被験者を検出するよう構成される、分析ユニットとを有する。
本発明の別の側面によれば、バイタルサインに基づき異なる被験者を検出する方法が提供される。この方法は、
撮像野から放射を検出し、上記撮像野から画像データを提供するステップと、
上記画像データにおいて画像セクションを規定し、異なる画像セクションにおいて運動パターンを検出するステップと、
上記運動パターンに基づき、上記異なる画像セクションにおいてバイタルサインを特定するステップと、
上記バイタルサインが特定される上記画像セクションの、又は、上記画像セクションのグループの空間分離に基づき、上記撮像野において異なる被験者を検出するステップとを有する。
本発明の更に別の側面によれば、コンピュータで実行されるとき、コンピュータに本発明による方法のステップを実行させるプログラムコード手段を有する、コンピュータプログラムが提供される。
本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法が、請求項に記載のデバイス及び従属項に記載されるデバイスと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
本発明は、異なる被験者を特定する、例えば呼吸信号の位置に基づきビデオシーケンスにおいて人間を特定するという着想に基づかれる。呼吸運動は、撮像野から得られる画像において運動パターンを特定することにより検出される。呼吸信号の位置を特定するため、画像データは異なる画像セクションに分割され、これらのセクションは、別々に分析され、そこから運動パターンが決定される。撮像野における異なる被験者は、バイタルサインが特定されるそれらの画像セクションの空間分離に基づき特定される。言い換えると、異なる画像セクションで検出されるバイタルサインが互いに個別の距離で分離される場合、このバイタルサインは、撮像野における異なる被験者からのバイタルサインとして特定される。この装置及び方法は、単に運動パターンの特定に基づかれ、背景セグメント又は測定される人の輪郭識別に基づかれないので、この装置及び方法は、高い柔軟性で使用されることができ、撮像野における異なる人の信頼性高い特定を提供することができる。
好ましい実施形態において、運動パターンは、フレーム検出又はエッジ検出に基づき決定される。測定される人の皮膚が例えば衣服により覆われる場合であっても、これは、撮像野における被験者の呼吸を信頼性高く検出することを可能にする。
好ましい実施形態において、上記識別ユニットが、上記画像セクションの各々に関して上記個別の運動パターンから交流信号を得るよう構成される。これは、被験者からのバイタルサイン情報を特定し、バイタルサインと画像データにおける他の信号とを低い技術的な負担で区別する簡単なソリューションである。
好ましい実施形態において、上記識別ユニットが、上記バイタルサインを特定するため、上記交流信号の周波数スペクトルを分析する周波数分析デバイスを有する。これは、低い技術的な負担でバイタルサインを特定する信頼性が高いソリューションである。なぜなら、バイタルサインは特徴的な周波数範囲を持つからである。
上記周波数分析デバイスが、上記バイタルサインを特定するため、上記交流信号の各々に基づき、スペクトルパラメータを決定するよう構成される場合、更に好ましい。これは、バイタルサインを信頼性高く特定することを可能にする。なぜなら、バイタルサインは通常、小さな周波数範囲を持ち、バイタルサインに基づかれない他の交流信号から容易に区別されることができるからである。
好ましい実施形態において、上記分析ユニットが、上記個別の交流信号に基づき、接続された画像セクションと画像セクションの第1のグループとを組み合わせるよう構成される。これは、低い技術的な負担で撮像野における1つの被験者を特定することを可能にする。なぜなら、互いにに接続された画像セクションは、単一の被験者のバイタルサインを表すとみなされるからである。
好ましい実施形態によれば、上記分析ユニットが、上記個別のスペクトルパラメータ及び所定の閾値に基づき、上記接続された画像セクションと上記画像セクションの第1のグループとを組み合わせるよう構成される。言い換えると、互いに隣接し、所定の閾値より大きいスペクトルパラメータを持つ画像セクションが、撮像野における第1の被験者を特定するため、画像セクションの第1のグループに対してグループ化される。これは、単一の被験者のバイタルサインをバックグラウンド信号から、及び画像データにおけるノイズから区別する簡単なソリューションである。
好ましい実施形態において、上記分析ユニットが、接続された画像セクションを組み合わせるよう構成され、上記画像セクションは、上記個別の交流信号に基づき上記セクションの第1のグループから画像セクションの第2のグループへと分離される。これは、バイタルサインを特定する簡単なソリューションである。これらのサインは第2の被験者から受信される。なぜなら、異なるバイタルサインは、画像セクションを互いに分離することにより容易に区別されることができるからである。
好ましい実施形態において、上記分析ユニットが、上記個別のスペクトルパラメータ及び所定の閾値に基づき、上記接続された画像セクションと上記画像セクションの第2のグループとを組み合わせるよう構成される。これは、異なる画像セクションを特定する信頼性が高いソリューションである。各セクションは、第2の被験者から運動パターンを受信する。
好ましい実施形態において、上記周波数分析デバイスが、上記スペクトルパラメータとして所定のスペクトル範囲のスペクトルエネルギーを決定するよう構成される。これは、バイタルサインが受信されるかを特定するため、及び個別の被験者から関心領域を規定するため、運動パターンの信号強度を決定することを簡単に可能にする。
好ましい実施形態において、上記画像セクションの第1のグループが、上記スペクトルパラメータに基づき最初の画像セクションを選択することにより規定され、上記最初の画像セクションに隣接する画像セクションは、上記個別のスペクトルパラメータ及び上記所定の閾値レベルに基づき、上記第1のグループの接続された画像セクションとして選択される。これは、撮像野における第1の被験者を検出するため、画像セクションの第1のグループを信頼性高く規定することを可能にする。なぜなら、最初の画像セクションが、スペクトルパラメータの信号品質に基づき容易に特定されることができるからである。ここで、隣接する画像セクションから受信される信号品質は、容易に分析されることができる。これにより、第1の被験者及び個別の関心領域は、容易に決定されることができる。
好ましい実施形態において、上記画像セクションの第2のグループが、上記スペクトルパラメータに基づき、上記画像セクションの第1のグループから分離される最初の画像セクションを選択することにより規定され、上記最初の画像セクションに隣接する画像セクションは、上記個別のスペクトルパラメータ及び上記所定の閾値レベルに基づき、上記第2のグループの接続された画像セクションとして選択される。これは、バイタルサインに基づき第2の被験者を別々に特定するため、画像セクションの第2のグループを規定する簡単なソリューションである。
好ましい実施形態において、上記画像セクションが、最高のスペクトルパラメータ値を持つ最初の画像セクションとして選択される。これは、最初の画像セクションを特定する簡単なソリューションである。なぜなら、スペクトルパラメータ値は容易に比較されることができ、個別の画像セクションが容易に検出されることができるからである。
上述したように、本発明は、バイタルサインに基づき異なる被験者を特定することを柔軟で信頼性高く可能にすることを提供する。なぜなら、被験者を特定するのに単に運動パターンだけが用いられ、被験者は、バイタルサインが受信される画像セクションの分離又は距離に基づき、区別されるからである。従って、被験者が部分的に遮られる場合又は背景検出が可能でない場合であっても、本発明は確実に機能する。こうして、被験者を特定するカメラが固定される必要はなく、検出の信頼性が、撮像野に依存することもない。
従って、バイタルサインに基づく被験者の柔軟で信頼性が高い検出が提供されることができる。
例示的なバイタルサインを示す被験者の運動の概略的な説明を示す図である。 バイタルサインに基づき異なる被験者を検出する装置の概略的な説明を示す図である。 被験者から得られる交流信号のタイミングダイアグラムを示す図である。 図3に示される交流信号の周波数ダイヤグラムを示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野における異なる被験者の検出を説明する概略的な画像セグメント化を示す図である。 撮像野において異なる被験者を特定するための方法の実施形態のステップを表す概略ブロックダイヤグラムを示す図である。 キャプチャされた画像データから得られるバイタルサインの概略的なタイミングダイアグラムを示す図である。
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
図1は、関心信号を示す運動を経験する被験者10の概略的な図を示す。被験者10は、呼吸が原因で直説的な部分12の特徴的な運動を経験する。呼吸するとき、肺の拡張及び収縮が、生体の特徴的な部分のわずかな運動、例えば胸部の上昇及び下降をもたらす。腹式呼吸が、対象の体の個別の部分の特徴的な運動をもたらす可能性もある。生理的処理によりもたらされる少なくとも部分的に周期的な運動パターンは、多くの生体において、特に人間又は動物において発生する可能性がある。
時間にわたり、矢印16により示されるように、直説的な部分12は、参照番号12a、12cにより示される収縮した位置と参照番号12bにより示される拡張された部分との間で移動される。基本的に、この運動パターンに基づき、例えば呼吸レート又は呼吸レート変動が評価されることができる。直説的な部分12が時間にわたり脈動しているが、非直説的な部分14は実質的に静止したままである。確実に、非直説的な部分14も、時間にわたり多様な運動を経験する。しかしながら、これらの運動は、直説的な部分12の周期的な脈動に対応しない。
この文脈において、図2を参照して、被験者10、10'を検出する装置が、参照番号18により説明及び表示される。装置18は、複数の被験者10、10'の画像フレームを記録するのに利用されることができる。画像フレームは、被験者10、10'により放出又は反射される電磁放射20から得られることができる。画像データ、例えば一連の画像フレーム又は連続的な画像ストリームから情報を抽出するため、撮像野は、画像センサ22により観察されることができる。画像センサ22は、例えば、少なくとも電磁放射20のスペクトル要素に属する情報をキャプチャするよう構成されるカメラにより実現されることができる。デバイス18は、入力信号を処理する、即ち、前もって記録されて、それまでの間格納又はバッファリングされる入力データストリームを処理するよう構成されることもできることは言うまでもない。上述したように、電磁放射20は、少なくとも1つの少なくとも部分的に周期的なバイタル信号を示す、連続的又は離散的な特性信号を含むことができる。
斯かるバイタル信号を得る既知の方法は、触知的呼吸レート監視又は関心被験者10、10'に適用されるマーカーに依存する遠隔呼吸レート監視を有する。このために、しかしながら、目立つモニタリングが必要とされる。上述したように、代替的な方法は、画像処理方法を用いる目立たない遠隔測定に関する。
画像検出ユニット22は、画像を、例えば被験者10、10'を含む撮像野からモノクロ画像をキャプチャし、連続的又は離散的な画像データ24を検出ユニット26に提供する。検出ユニット26は、画像検出ユニット22から受信される画像データ24において画像セクションを規定するよう構成され、以下に説明されるように、画像データ24の異なる画像セクションにおいて運動パターンを検出するよう構成される。検出ユニット26は、撮像野における被験者10、10'の直説的な部分12の運動を検出し、被験者10、10'からバイタルサインを検出するため、画像データにおけるパターン又はエッジ検出により運動パターンを検出する。パターン又はエッジ検出は、例えばWO2012/140531A1号に開示されるように実行される。検出ユニット26は、識別ユニット28に接続され、異なる画像セクションにおいて検出される運動パターンを含む信号30を識別ユニット28に提供する。識別ユニット28は、検出ユニット26により規定される画像セクションの各々に関して、検出ユニット26から受信される運動パターンから、運動ベクトル及び/又は交流信号を得る。識別ユニット28は、各々の画像セクションからバイタルサインを特定するため、交流信号の周波数スペクトルを分析する周波数分析デバイス31を有する。周波数分析デバイス31は、フーリエ解析を実行する、特に交流信号の周波数スペクトルを提供するため高速フーリエ変換(FFT)を実行するよう構成される。識別ユニット28は、画像セクションにおけるバイタルサインを特定し、及び、他の信号から及び画像データ24のノイズからバイタルサインを区別するため、所定の周波数範囲に関するスペクトルエネルギーを決定する。
例えば成人で0及び1Hzの間、乳児で0及び2Hzの間といった所定の周波数範囲におけるスペクトルエネルギーが、別のスペクトル範囲のスペクトルエネルギーと比べて、又は信号の全スペクトルエネルギーと比べて、所定の閾値レベル以上である場合、例えば測定された周波数スペクトルの全スペクトルエネルギーの50%以上である場合、個別の画像セクションは、バイタルサインが検出される画像セクションとして特定される。詳細な周波数分析は、以下において詳細に説明される。
識別ユニット28は、分析ユニット32に接続され、画像セクションの各々に関する周波数分析の分析データ34を分析ユニット32に提供する。分析ユニット32は一般に、各々の画像セクションに関する周波数分析データに基づき撮像野における被験者10、10'を検出し、以下に説明されるように、個別の画像セクションの位置を決定するために提供される。
分析ユニット32は、異なる被験者10、10'が検出される位置に対応する検出された関心領域を出力信号36として提供する。出力信号36は、データを評価するため及び被験者10、10'から受信されるバイタルサイン情報を評価するため、例えば、被験者10、10'の呼吸レートを算出するために、処理ユニット(図示省略)に提供されることができる。
検出ユニット26、識別ユニット28及び分析ユニット32は、例えばシングルプロセッサ又は複数のプロセッサを持つ中央処理ユニットといった共通処理ユニット38において、一緒に実現されることができる。データを評価する処理ユニット(図示省略)が、共通処理ユニット38において一体化されることもできる。例えば、処理デバイス38は、個別の論理命令により駆動されるパーソナルコンピュータにより実現されることができる。撮像検出ユニット32が処理ユニット38に共同で接続される場合、キャプチャは、個別の下位要素を収容することができる。例えば、カメラを備える又はカメラに接続可能である携帯デバイス、例えばスマートフォン又は携帯型健康監視デバイスが、本発明の実施形態を実施するのに利用されることができる。
図3は、例えば個別の画像セクションにおけるフレーム又はエッジ検出に基づき決定されることができる異なる画像セクションの運動パターンから、及び/又は運動パターンから得られる運動ベクトルから、得られる交流信号のタイミング図を示す。交流信号は一般に、S(t)として表される。この特定の場合における交流信号は、個別の直説的な部分12から画像データを検出する画像セクションから得られる被験者10、10'の直説的な部分12の運動に対応する。交流信号は、直説的な部分12の運動、即ち被験者10の呼吸レートに対応する特徴的な変動を示す。交流信号は、呼吸レートに重畳される高周波ノイズも示す。
交流信号Sは、撮像野の画像セクションの各々から得られる。この場合、複数の画像セクションは、呼吸レートといったバイタルサイン情報を有し、複数の画像セクションは、被験者10、10'のバイタルサイン情報に関連付けられていない妨害信号又は高周波ノイズを有する他の交流信号を有することができる。バイタルサイン情報が得られることができるそれらの画像セクションを特定するため、分析ユニット32は、交流信号の周波数分析を実行する周波数分析デバイス31を有する。周波数分析は好ましくは、交流信号Sをフィルタリングすることにより及び/又はフーリエ変換、特に交流信号Sの高速フーリエ変換(FFT)を実行することにより実行される。以下に説明されるバイタルサイン情報を含む画像セクションを特定するため、交流信号から、周波数スペクトルが得られる。
図4は、図3において一般にF(f)で示される交流信号Sの周波数スペクトルを示す。周波数スペクトルFは、低周波数帯域、この特定の場合においては0及び1ヘルツの間の大きな周波数要素を示す。これは通常、1ヘルツより高くない成人の呼吸レートに対応し、即ち1分あたり60呼吸である。所定の周波数帯域、例えば成人に対して1ヘルツ及び乳児に対して2ヘルツより高い周波数要素は、通常画像データ24における妨害信号又は、又は交流信号Sのノイズに対応する。交流信号Sの品質を特徴付けるため、交流信号Sのスペクトルエネルギーが決定され、所定の周波数帯域における交流信号Sのスペクトルエネルギーが、所定の閾値レベルを超えるか、又は第2の周波数帯域、例えば全体の周波数スペクトルと比較したスペクトルエネルギーのパーセンテージを超える場合、画像セクションが、バイタルサイン情報を含む画像セクションとして規定される。例えば、0及び1又は2ヘルツの間のスペクトルエネルギーが、所定の閾値レベルより大きい場合、例えば、交流信号Sの全スペクトルエネルギーの50%より大きい、又はスペクトルの所定の範囲より大きい、例えば2...3Hz、3...4Hz等である場合、画像セクションが、バイタルサイン情報を含む画像セクションとして規定される。スペクトルエネルギーに基づき、画像セクションは、以下に説明されるように撮像野における異なる被験者10、10'を特定するために評価される。
図5A〜Gは、画像データ24において検出されるバイタルサインに基づき、異なる被験者10、10'の検出を説明するための撮像野からの概略的な画像を示す。
図5A〜Gに示される画像検出ユニット22により検出される撮像野が一般に、符号40により表される。画像検出ユニット22によりキャプチャされる撮像野40を表す画像42は、第1の被験者10及び第2の被験者10'を示し、この場合、特定及び測定されるべき人間である。
画像42において、格子44は、撮像野40の異なる領域を区別し、撮像野40における異なる信号を特定するために、異なる画像セクション46を規定する。
まず、運動パターンが、画像データ24の各々の画像セクション46から得られ、交流信号Sは、上述したように各々の画像セクション46の運動パターンから決定される運動ベクトルから決定される。周波数分析デバイス31により実行される周波数分析に基づき、異なる画像セクション46の運動パターンが撮像野40においてバイタルサインに対応するかどうかが決定される。更に、バイタルサインの質が、スペクトル分析に基づき、特に上述したようにスペクトルエネルギーに基づき決定される。バイタルサインに関する持続性の最高値を持つ、例えば所定の範囲において最高のスペクトルエネルギーを持つ画像セクション46が、図5Aに示されるように最初のセクション48として、又はシードブロック48として規定される。呼吸レートに関する最善のバイタルサイン情報を提供するのは通常人の胸部であるので、検出されるべき被験者の胸部を表す画像セクション46は通常、図5Aに表示される被験者10に関して示される最初のセクション48である。最初のセクション48に接続される又は隣接し、持続性基準を満たす、例えば例えば所定の閾値より高いスペクトルエネルギー値を持つ画像セクション50が、画像セクション52の第1のグループに対して、最初のセクション48と共にグループ化される。接続された画像セクション50は、ドットにより示される。最初のセクション48に接続又は隣接するが、持続性基準を満たさないそれらの画像セクション46は、画像セクション52の第1のグループに対してグループ化されない。接続された又は隣接する画像セクションは通常、最初のセクション48を囲む8つのセクション又はセクション52のグループの1つのセクションである。
図5Cは、持続性基準を満たす、例えば所定の閾値より大きいスペクトル値又はスペクトルエネルギーを持つ画像セクション52の第1のグループに接続される又は隣接する接続された画像セクション50を特定する追加的なステップを示す。図5Cにおいて、1つの追加的な画像セクションが、画像セクション52の第1のグループに加えられる。隣接するセクション46が持続性基準を満たす限り、接続された画像セクション50を画像セクション52の第1のグループに接続する手順は繰り返される。
画像セクション46が画像セクション52の第1のグループにグループ化されるための基準を満たさない場合、画像セクション52の特定された第1のグループは確定する。その結果、第1の被験者10が、図5Dに示されるように撮像野40において特定される。
撮像野40において、第2の被験者10'を特定するため、最高の品質のバイタルサイン情報を持つ、即ち交流信号Sの最大のスペクトル値又は最大のスペクトルエネルギーを持ち、画像セクション52の第1のグループから分離される画像セクション46が、第2の最初のセクション54として特定される。言い換えると、第2の最初のセクション54は、バイタルサインの品質に基づき又は画像セクション52の第1のグループの部分でない交流信号Sに基づき規定される。第1のグループ52及び第2の最初のセクション54は、少なくとも1つのセクション46により分離されなければならない。これは、グループ化されていない。胸部が通常、最高のバイタルサイン情報を提供するので、第2の最初のセクション54は、第2の被験者10'(直説的な部分12)の胸部の位置に対応する。
撮像野40において特定される第2の最初のセクション54に基づき、第2の最初のセクション54に接続される又は隣接し、持続性基準を満たす、例えば所定の閾値より大きいスペクトル値又はスペクトルエネルギーを持つ画像セクション56が、画像セクション58の第2のグループに対してグループ化される。接続された画像セクション56は、図5Eにおいてドットで示される。接続された画像セクション56は通常、最初のセクション54を囲む8つの画像セクション46である。更に、これらの画像セクション46のバイタルサインが上記したように持続性基準を満たす場合、画像セクション58の第2のグループに接続される若しくは隣接する、又は画像セクション58の第2のグループを囲む画像セクション46が、画像セクション58の第2のグループに対してグループ化される。
図5Fに示されるように、第2の最初のセクション54及び接続された画像セクション56は、画像セクション58の第2のグループとして規定される。
画像セクション58の第2のグループに隣接する追加的な画像セクション46が持続性基準を満たさない場合、画像セクション58の第2のグループは確定し、第2の被験者10'が撮像野40において特定される。
図5Gにおいて、第1の被験者10を特定する画像セクション52の第1のグループが示され、画像セクション52の第1のグループとは分離して、撮像野40において第2の被験者10'を特定する画像セクション58の第2のグループが示される。
こうして、2人の被験者10、10'が、図5Gに示されるように撮像野40において特定され、バイタルサインが、2人の異なる被験者10、10'のバイタルサイン情報を独立して測定するため、画像42から別々に得られることができる。
2人の被験者10、10'は、バイタルサインの空間分離又は撮像野40におけるバイタルサインの位置の間の距離に基づき、異なる被験者として特定されるので、この方法は、背景セグメント化技術とは独立しており、画像42において特定される顔又は他のパターンが遮られることとも独立している。
図6は、バイタルサインに基づき異なる被験者10、10'を検出する本方法の実施形態を示す概略的なフロー図を示す。図6に示される方法は一般に、符号60により表される。
方法60は、ステップ62で始まる。ステップ64において、全体の最大のバイタルサインを持つ、例えばより大きいスペクトル値を持つ第1の最初のセクション48が、撮像野40において特定され、画像セクション52の第1のグループとして規定される。
ステップ66において、画像セクション52の第1のグループに隣接するすべての画像セクション46が分析され、これらの画像セクション46が持続性基準を満たす場合、画像セクション52の第1のグループに対してグループ化される。ステップ68において、画像セクション52の第1のグループに隣接する追加的な画像セクション46が持続性基準を満たすかどうかがチェックされる。画像セクション52の第1のグループに隣接する画像セクション46が持続性基準を満たす場合、フィードバックループ70により示されるようにステップ66が繰り返される。こうして、持続性基準を満たす互いに隣接するすべての画像セクション46が、画像セクション52の第1のグループに対してグループ化される。
画像セクション52の第1のグループを囲むすべての画像セクション46が持続性基準を満たすわけではない場合、撮像野40において最大のバイタルサインを持ち、画像セクション52の第1のグループから分離される第2の最初の画像セクション54が、撮像野40において特定される。第2の最初のセクション54は、画像セクション58の第2のグループとして規定される。
ステップ74において、画像セクション58の第2のグループに隣接する画像セクション46が分析され、これらの画像セクション46が持続性基準を満たす場合、画像セクション58の第2のグループに対してグループ化される。
ステップ76において、画像セクション58の第2のグループに隣接する画像セクション46は、それらが持続性基準を満たすかどうか、例えばスペクトルパラメータ又はスペクトルエネルギーが所定の閾値レベルより大きいかどうかが分析される。隣接する画像セクションが、持続性基準を満たす場合、フィードバックループ78により示されるようにステップ74が繰り返される。接続された画像セクションのいずれもが基準を満たさない場合、ステップ80において、2人の被験者10、10'が撮像野40において特定され、方法60は、ステップ82で終わる。
方法60を用いると、2人の被験者10、10'が容易に特定され、バイタルサイン及び特に呼吸信号が検出される関心領域が、撮像野40において特定される。可変信号Sの分析に基づき、呼吸レートは、図7に示されるように容易に検出されることができる。
図7は、一般にR(t)により表されるフィルタリングされた可変信号のタイミング図を示す。この場合、ノイズ及び妨害信号は除去される。図7に示される斯かる得られた呼吸信号Rにおいて、呼吸レートは、図7においてドットにより示される呼吸信号Rの最大に基づき検出されることができる。ドットの間の時間距離は、例えばΔt1及びΔt2により図7に示される。呼吸レートは、呼吸信号Rにおけるドットの間の時間距離Δt1、Δt2の相互関係の値又は図7に示される時間距離の平均を用いて算出される。
こうして、呼吸レートは、画像データ26から得られる値から容易に検出されることができる。更に、異なる被験者10、10'が、装置18及び方法60を用いて特定される。被験者の呼吸レートは、装置18及び方法60により提供される関心領域に基づき決定されることができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体に格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. バイタルサインに基づき異なる被験者を検出する装置であって、
    撮像野から放射を検出し、前記撮像野から画像データを提供する画像検出ユニットと、
    前記画像データにおいて画像セクションを規定し、異なる画像セクションにおいて運動パターンを検出する検出ユニットと、
    前記運動パターンに基づき前記異なる画像セクションにおけるバイタルサインを特定する識別ユニットと、
    前記画像データを分析する分析ユニットであって、前記バイタルサインが特定される前記画像セクションの、又は、画像セクションのグループの空間分離に基づき、前記撮像野における異なる被験者を検出するよう構成される、分析ユニットとを有する、装置。
  2. 前記運動パターンが、エッジ検出に基づき決定される、請求項1に記載の装置。
  3. 前記識別ユニットが、前記画像セクションの各々に関する前記個別の運動パターンから交流信号を得るよう構成される、請求項1に記載の装置。
  4. 前記識別ユニットが、前記バイタルサインを特定するため、前記交流信号の周波数スペクトルを分析する周波数分析デバイスを有する、請求項3に記載の装置。
  5. 前記周波数分析デバイスが、前記バイタルサインを特定する前記交流信号の各々に基づき、スペクトルパラメータを決定するよう構成される、請求項4に記載の装置。
  6. 前記分析ユニットが、前記個別の交流信号に基づき、接続された画像セクションと画像セクションの第1のグループとを組み合わせるよう構成される、請求項3乃至5のいずれかに記載の装置。
  7. 前記分析ユニットが、前記個別のスペクトルパラメータ及び所定の閾値に基づき、前記接続された画像セクションを前記画像セクションの第1のグループに対して組み合わせるよう構成される、請求項6に記載の装置。
  8. 前記分析ユニットが、接続された画像セクションを組み合わせるよう構成され、前記画像セクションは、前記個別の交流信号に基づき前記セクションの第1のグループから画像セクションの第2のグループへと分離される、請求項3乃至7のいずれかに記載の装置。
  9. 前記分析ユニットが、前記個別のスペクトルパラメータ及び所定の閾値に基づき、前記接続された画像セクションを前記画像セクションの第2のグループに対して組み合わせるよう構成される、請求項8に記載の装置。
  10. 前記周波数分析デバイスが、前記スペクトルパラメータとして所定のスペクトル範囲のスペクトルエネルギーを決定するよう構成される、請求項5に記載の装置。
  11. 前記画像セクションの第1のグループが、前記スペクトルパラメータに基づき最初の画像セクションを選択することにより規定され、前記最初の画像セクションに隣接する画像セクションは、前記個別のスペクトルパラメータ及び前記所定の閾値レベルに基づき、前記第1のグループの画像セクションとして選択される、請求項6に記載の装置。
  12. 前記画像セクションの第2のグループが、前記スペクトルパラメータに基づき、前記画像セクションの第1のグループから分離される最初の画像セクションを選択することにより規定され、前記最初の画像セクションに隣接する画像セクションは、前記個別のスペクトルパラメータ及び前記所定の閾値レベルに基づき、前記第2のグループの接続された画像セクションとして選択される、請求項7に記載の装置。
  13. 前記画像セクションが、最高のスペクトルパラメータ値を持つ前記最初の画像セクションとして選択される、請求項11又は12に記載の装置。
  14. バイタルサインに基づき異なる被験者を検出する方法において、
    撮像野から放射を検出し、前記撮像野から画像データを提供するステップと、
    前記画像データにおいて画像セクションを規定し、異なる画像セクションにおいて運動パターンを検出するステップと、
    前記運動パターンに基づき、前記異なる画像セクションにおいてバイタルサインを特定するステップと、
    前記バイタルサインが特定される前記画像セクションの、又は、前記画像セクションのグループの空間分離に基づき、前記撮像野において異なる被験者を検出するステップとを有する、方法。
  15. コンピュータで実行されるとき、コンピュータに請求項14に記載の方法のステップを実行させるプログラムコード手段を有する、コンピュータプログラム。
JP2015559494A 2013-02-28 2014-02-27 バイタルサインに基づき被験者を検出する装置、方法及びコンピュータプログラム Expired - Fee Related JP6487340B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361770365P 2013-02-28 2013-02-28
EP13157247.1A EP2772884A1 (en) 2013-02-28 2013-02-28 Apparatus and method for detecting subjects on the basis of vital signs
US61/770,365 2013-02-28
EP13157247.1 2013-02-28
PCT/EP2014/053776 WO2014131812A1 (en) 2013-02-28 2014-02-27 Apparatus and method for detecting subjects on the basis of vital signs

Publications (2)

Publication Number Publication Date
JP2016514976A true JP2016514976A (ja) 2016-05-26
JP6487340B2 JP6487340B2 (ja) 2019-03-20

Family

ID=47877802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015559494A Expired - Fee Related JP6487340B2 (ja) 2013-02-28 2014-02-27 バイタルサインに基づき被験者を検出する装置、方法及びコンピュータプログラム

Country Status (8)

Country Link
US (1) US9218668B2 (ja)
EP (2) EP2772884A1 (ja)
JP (1) JP6487340B2 (ja)
CN (1) CN105027166B (ja)
BR (1) BR112015020423A2 (ja)
RU (1) RU2648602C2 (ja)
TR (1) TR201809095T4 (ja)
WO (1) WO2014131812A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016077426A (ja) * 2014-10-14 2016-05-16 富士通株式会社 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015021277A2 (pt) * 2013-03-06 2017-07-18 Koninklijke Philips Nv sistema para determinar informações de sinais vitais de um indivíduo, método para determinar as informações de sinais vitais de um indivíduo e programa de computador
US10134307B2 (en) 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
CN105518710B (zh) * 2015-04-30 2018-02-02 北京旷视科技有限公司 视频检测方法、视频检测系统以及计算机程序产品
RU2018142937A (ru) * 2016-05-06 2020-06-08 Конинклейке Филипс Н.В. Вспомогательное устройство для слр и способ определения глубины сжатия грудной клетки пациента
JP7155698B2 (ja) * 2018-07-18 2022-10-19 オムロンヘルスケア株式会社 情報処理装置、情報処理方法及び情報処理のためのプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
JP2005218507A (ja) * 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
WO2010100593A1 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Method of controlling a function of a device and system for detecting the presence of a living being
JP2010240400A (ja) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc 患者の変化パターンを推定する方法
JP2013090847A (ja) * 2011-10-26 2013-05-16 Sony Computer Entertainment Inc 個体判別装置および個体判別方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2108061C1 (ru) * 1992-12-30 1998-04-10 Юрий Николаевич Титов Устройство для дистанционной диагностики процессов дыхания и сердцебиения (варианты)
JP3477166B2 (ja) * 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
US7567833B2 (en) * 2004-03-08 2009-07-28 Stryker Leibinger Gmbh & Co. Kg Enhanced illumination device and method
JP2007105316A (ja) * 2005-10-14 2007-04-26 Konica Minolta Sensing Inc 生体情報測定器
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
US8218871B2 (en) 2008-03-05 2012-07-10 International Business Machines Corporation Detecting behavioral deviations by measuring respiratory patterns in cohort groups
CN201260669Y (zh) 2008-10-09 2009-06-24 李宝生 呼吸信号提取和呼吸运动引导装置
ES2387153B1 (es) 2010-06-16 2013-08-08 Fundación Para La Investigación Biomédica Del Hospital Universitario De La Paz Sistema y procedimiento para obtener datos acerca del ciclo respiratorio de un paciente
CN101966079A (zh) * 2010-11-18 2011-02-09 耕者有田科技(北京)有限公司 无线红外生命体征传感器
WO2012140531A1 (en) 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. Device and method for extracting information from characteristic signals
JP6006790B2 (ja) * 2011-05-30 2016-10-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 共通寝具における複数の被験者の移動及び呼吸をモニタリングするための方法及び装置
EP2772189A1 (en) 2013-02-28 2014-09-03 Koninklijke Philips N.V. Apparatus and method for determining vital sign information from a subject
BR112015021277A2 (pt) 2013-03-06 2017-07-18 Koninklijke Philips Nv sistema para determinar informações de sinais vitais de um indivíduo, método para determinar as informações de sinais vitais de um indivíduo e programa de computador
WO2014140994A1 (en) 2013-03-13 2014-09-18 Koninklijke Philips N.V. Apparatus and method for determining vital signs from a subject
EP2983588A1 (en) 2013-04-09 2016-02-17 Koninklijke Philips N.V. Apparatus and method for determining thorax and abdomen respiration signals from image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
JP2005218507A (ja) * 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
WO2010100593A1 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Method of controlling a function of a device and system for detecting the presence of a living being
JP2012519527A (ja) * 2009-03-06 2012-08-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生体の存在を検出するデバイス及びシステムの機能を制御する方法
JP2010240400A (ja) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc 患者の変化パターンを推定する方法
JP2013090847A (ja) * 2011-10-26 2013-05-16 Sony Computer Entertainment Inc 個体判別装置および個体判別方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016077426A (ja) * 2014-10-14 2016-05-16 富士通株式会社 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム

Also Published As

Publication number Publication date
EP2772884A1 (en) 2014-09-03
EP2962282A1 (en) 2016-01-06
CN105027166B (zh) 2018-10-09
RU2648602C2 (ru) 2018-03-26
TR201809095T4 (tr) 2018-07-23
JP6487340B2 (ja) 2019-03-20
CN105027166A (zh) 2015-11-04
US9218668B2 (en) 2015-12-22
EP2962282B1 (en) 2018-04-11
WO2014131812A1 (en) 2014-09-04
US20140241588A1 (en) 2014-08-28
BR112015020423A2 (pt) 2017-07-18

Similar Documents

Publication Publication Date Title
JP6389834B2 (ja) 被験者からバイタルサインを決定する装置及び方法
JP6487340B2 (ja) バイタルサインに基づき被験者を検出する装置、方法及びコンピュータプログラム
JP2016508401A (ja) 被験者からバイタルサイン情報を決定する装置及び方法
JP6371837B2 (ja) 被験者のバイタルサインを取得するデバイスと方法
EP3229676B1 (en) Method and apparatus for physiological monitoring
JP6472086B2 (ja) 対象の呼吸情報を取得する装置
JP6466912B2 (ja) 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
EP3452933A1 (en) A cpr assistance device and a method for determining patient chest compression depth
JP6415462B2 (ja) 画像データから呼吸ボリューム信号を決定する装置及び方法
EP3539082A1 (en) Method and apparatus for image processing

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190221

R150 Certificate of patent or registration of utility model

Ref document number: 6487340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees