JP2013248387A - 呼吸速度推定のためのビデオプロセッシング - Google Patents

Abstract

【課題】皮膚の露出部位から反射する光電式体積脈波記録信号をトラッキングする。皮膚の露出部位がない場合、ビデオカメラはこれらの信号を登録することができない。皮膚以外の部位の２次元（２Ｄ）ビデオの録画はモーションに関わる情報を含むが、モーションに基づく呼吸信号だけを単離させる試みは依然として効を奏していない。これらの欠点を克服するための方法を提供する。
【解決手段】対象被験者の身体の標的部位のビデオが受信される。ビデオ画像のコマは標的部位の３Ｄ時系列データを推定するために処理される。被験者の呼吸速度は３Ｄ時系列データから推定される。測定値は様々な照射条件下で取得することができる。集中治療装置や自宅でのモニタリングに有用な非接触で患者の呼吸機能のモニタリングを行い、呼吸速度の変化による生理学上の状態の突然の悪化を検出することを支援する。非接触型の呼吸機能の研究や解析に有効なツールを備えている。
【選択図】図４

Description

本発明は、呼吸機能がモニタリングされている患者の胸部の少なくとも部分的なビューを含むビデオでキャプチャされた構造化されたイルミネーションパターンの反射歪みを解析することによって呼吸速度を推定するためのシステムおよび方法に関する。

呼吸事象をモニタリングすることは致命的ともなり得る状態の早期発見に臨床的にもきわめて重要なことである。現在の技術では、人が常時着用しなければならない接触型センサを必要とする。このような必要条件は患者が不快感、依存性、尊厳の損失を感じることにつながり、さらには、モニタリング装置の着用拒否を含むさまざまな理由によって結果的にモニタリングの失敗に至ることもある。また、高齢者や乳幼児に至っては長時間のモニタリングによる悪影響を受けやすい傾向にある。したがって、患者に負担を掛けない非接触型の撮像ベースの呼吸機能モニタリング方法に対する要望は高まる一方である。

従来の方法は、被験者の対象となる部位のビデオ画像をキャプチャし心臓や呼吸機能に対する生理学上の測定値を取得するためにビデオプロセッシングを行ってきた。これらのシステムは、皮膚の露出部位から反射するフォトプレチスモグラフィ（光電式体積脈波記録）信号をトラッキングする。反射した信号は、脈動する血液量に関連する成分を識別して分離させるように処理される。皮膚の露出部位がない場合、ビデオカメラはこれらの信号を登録することができない。皮膚以外の部位の２次元（２Ｄ）ビデオの録画はモーションに関わる情報を含むが、モーションに基づく呼吸信号だけを単離させる従来の試みは依然として効を奏していない。本発明はこれらの欠点を克服するために提供されている。

本発明は対象被験者の胸部のビューを含むビデオにおいてキャプチャされた対象被験者の呼吸速度を推定するためのシステムおよび方法に関する。一実施形態において対象被験者の身体の標的部位のビデオを受信する。本明細書中により詳細に開示されているように、被験者の胸部部位のモーションがビデオに記録される。ビデオ画像コマは連続的な時系列信号を得るために処理される。その後、この信号は被験者の呼吸速度が単離される周波数情報を取得するために処理される。有利には、測定値は、患者に負担を掛けない様々な照射条件の設定下で得ることができる。本発明の教示は、呼吸速度の変化による生理学上の状態の突然の悪化の検出を助けるために特に集中治療室や自宅において有用な呼吸機能のモニタリングの非接触型のアプローチを提供する。本明細書中に開示されているシステムおよび方法は、接触しない呼吸機能の解析に有効なツールを提供する。

図１は、成人男性の前後それぞれを示す正面図と背面図である。 図２は、最大吸気と最大呼気を伴って７回の呼吸をする健常者の肺活量計の出力を示す図である。 図３は、構造化された光源によって照射された例示的なシーンと本発明の教示による呼吸速度推定のための被験者の胸部領域のビデオをアクティブに取得するビデオカメラとを示す図である。 図４は、三角測量に関して表されている撮像センサ、構造化された光プロジェクタ、オブジェクトの表面ポイントの互いの幾何学的関係を示す図である。 図５は、３つの投影パターンを有する位相シフトと１つの例示的なフリンジ画像とを示す図である。 図６は、本発明の例示的な一実施形態による位相アンラッピング処理を示す図である。 図７は、本発明の一実施形態によるパターン化された光源プロジェクタによって放たれた反射光を検知するために画像センサを使用するシステムを示す図である。 図８は、男性被験者からの測定値から得られた６０秒間の正規化されたゼロ平均値体積測定の時系列サンプル信号とトレンド除去された時系列信号を示す図である。 図９Ａは、トレンド除去前の呼吸信号のパワースペクトル密度曲線を示す図である。 図９Ｂは、トレンド除去後（λ＝８０）の呼吸信号のパワースペクトル密度曲線を示す図である。 図１０は、本発明の１つの例示的な実施形態による、呼吸機能がモニタリングされている対象被験者の呼吸速度を判断する方法を示す流れ図である。 図１１は、図１０の流れ図に関して説明したように本発明の方法の様々な態様を実施するための１つの例示的なビデオプロセッシングシステムを示すブロック図である。

「対象被験者」とは、本発明の教示に基づいてこの被験者の呼吸速度を判断され得るように呼吸機能をモニタリングされている被験者をいう。図１は成人の前（正面図）１０１および後ろ（背面図）１０２を示す図である。標的部位１０３は被験者の前の胸部を概略的に示している。標的部位１０４は被験者の後ろの胸部を概略的に示している。本明細書で使用されているように、標的部位はまた、呼吸機能を行う被験者の身体の部位の任意のビューをさす。本明細書中の用語「人間」、「人」、または「患者」の使用によって添付クレームの範囲を人間の対象被験者のみに限定するものとして見なされるべきではないことを理解されたい。本発明の教示はやはり呼吸機能を持っている他の対象被験者にも等しく適用されるものである。このような更なる被験者としては、例えば、哺乳類、鳥類、魚類、爬虫類が挙げられる。

「呼吸機能」は肺に空気を吸い込み（吸息）、ガスを交換し、肺から空気を吐き出し（呼息）、その後の呼気後休止を含む多段プロセスである。空気の吸入は胸腔内にある肺を空気で満たして肺体積を拡大させる。空気の吸入は、横隔膜筋によって始動され、肋間筋によって補助される。通常の条件下では横隔膜は空気吸入の主要な駆動子である。横隔膜が収縮すると、胸郭が広がり、腹部の内容物が下方へ移動する。これによって胸部の体積が大きくなり胸部内側に負圧（大気圧に対して）が生じる。ガス交換は呼吸器系の主要機能である。ガスの分子が外部環境と肺回路内の血液循環系との間で交換される。この交換は、血液のみならず組織の酸素化し、体内から二酸化炭素や他の代謝性廃棄物を除去することを容易にする。ガス交換はまた身体の酸塩基平衡を維持するのを助ける。ガス交換の細胞メカニズムは圧力差の単純な現象によって行われる。外気圧が低い時は、空気は肺から周囲へ流れ出る。肺内部の空気圧が低い時にはこの反対のことが起こる。呼息は、吸息による膨張に反発して胸内圧力と外の大気圧力が平衡になるまで空気を無理に押し出すような肺組織の自然の弾性による受動的プロセスである。ろうそくを吹き消すときのような強制的な呼息の間、腹筋と内部肋間筋とを含む呼息筋は肺から空気を押し出すことを補助する腹圧と胸圧を生成する。深呼吸するときのような強制的な吸息の間、外肋間筋と付帯筋肉は胸腔を膨張させてより多くの空気を肺に取り込むのを補助する。積極的な吸息の間（毎分３５回の呼吸を超える速度）、または呼吸不全に近い場合に於いて、胸鎖乳突筋、広頸筋、首の斜角筋だけでなく、胸筋および呼吸の広背筋などの付帯筋肉が呼吸を補助するために必要とされる。肺と大気との圧力間の平衡化があれば、呼息後休止が発生する。呼息後休止の継続時間は、身体活動量が増えるにつれて短くなり、身体エネルギの使用がきわめて高ければ、ゼロになる場合もある。被験者が安静時にあるとき、呼息後休止の継続時間は比較的長い。被験者の呼吸周期は、吸息の開始と呼息後休止の終わりとの間の時間間隔である。呼息後休止の後はすぐに次の周期がスタートする。

「呼吸速度」は被験者がある一定の時間以内に行う呼吸（吸息と呼息）の数（一般に毎分当たりの呼吸数）をいう。呼吸速度は、被験者の安静時に測定される場合が多く、単に被験者が一分当たりに行う呼吸気の数を判断することを含む。安静時の成人は、その人の心血管系および呼吸器系の全体的な状態にもよるが、毎分１２〜２０回の呼吸気を行う。平均的成人の全肺気量は、空気の約６．０Ｌであるから、肺は、一回の呼吸気の間に吸息と呼息の後で比較的少量の体積を移動させる。肺線維症、気胸、乳児呼吸窮迫症候群などの拘束性肺疾患は肺体積を小さくするが、喘息、気管支炎、肺気腫などの閉塞性肺疾患は空気の流れを遮断する。図２は、最大吸息と最大呼息を伴う、７回の呼吸気を行う健常者の肺活量計の出力を示している。

「リモートセンシング環境」は接触せずに被験者からデータを取得する被験者の動きを拘束しない非侵襲的な手段であり、即ち、検知デバイスは検知されている被験者に物理的接触をしない。検知デバイスは被験者から任意の距離だけ離間されて配設することができる。例えば、１インチ未満接近して配設されてもよいし、遠隔医療の場合は数マイルも遠くに離間されて配設されてもよい。本明細書の教示によれば、安静時の心臓病患者が平穏にしていられるこのようなリモートセンシング環境において所望される用途を見つけるに至った。

「ビデオ」とは、一般的に理解されているように、ビデオカメラの１シーンを使用して経時的にキャプチャされた時系列の画像コマである。例えば、３チャンネルのカラービデオカメラを使用してキャプチャされた完全実装された２Ｄ画像は、アレイ内の各ピクセルがこれらのチャンネルの各々からピクセルに対する収集されたカラー値を有しているピクセルの２Ｄアレイである。例えば、単一チャンネルのビデオカメラを使用してキャプチャされた完全実装の２Ｄ画像はアレイ内の各ピクセルが対象となる所望の波長帯域で測定されたそのピクセルロケーションの強度値を有しているピクセルの２Ｄアレイである。ビデオはまた、オーディオ（音声）、時間基準信号などの他の成分を含むこともある。ビデオデータの大きさはビデオシーケンスが長さに比例して大きくなる。ビデオはまた、皮膚の表面の湾曲による非均一な照射を補償し、身体や表面の動きによるモーション誘発のブレや撮像ブレや低速のイルミナント（発光体）の変化を補償するために、処理または前処理される。ビデオ内のモーションは、例えば、ビデオベースの２Ｄ画像や３次元（３Ｄ）表面の安定化技術を用いて補償することができる。

「ビデオを受信すること」は広い意味で解釈されるように意図されており、ビデオカメラで検索し、受信し、キャプチャし、さもなければ、本発明の方法に基づいて呼吸気胸郭体積推定を処理するためにビデオを取得することを意味する。ビデオはビデオカメラシステムのメモリまたは内部記憶装置から受信するかまたはネットワークを介してリモートデバイスから得ることができる。ビデオはまた、ＣＤＲＯＭやＤＶＤなどの媒体から検索することもできる。ビデオは、前処理や後処理のためのこのようなビデオを利用できるようにしたウェブサイトからダウンロードして受信することができる。ビデオはまたハンドヘルド携帯デバイスとして広い範囲で入手可能なアプリケーションを用いて検索することができ、ユーザの携帯電話やｉＰａｄなどの他のハンドヘルドコンピューティングデバイス上でも処理することができる。

「ビデオカメラ」はビデオをキャプチャするためのデバイスをさす。ビデオカメラは、可視波長域において感応しやすいビデオカメラであってもよいし、近赤外（ＮＩＲ）、短波長赤外赤（ＳＷＩＲ）、中波長赤外（ＭＷＩＲ）、および長波超赤外（ＬＷＩＲ）などの赤外波長範囲において感応しやすい赤外線ビデオカメラであってもよい。ビデオカメラは、可視および赤外波長の両方でビデオをキャプチャするハイブリッドデバイスを含むことができる。

「構造化されたイルミネーション光源」は知られている空間的特性を有するパターン化された格子または窓を通して光源を投影する光源である。パターンは既知の空間特性を有する擬似ランダムパターンである。シーン内のオブジェクトの正確な３Ｄ表面のプロファイル（外形）は構造化された光の原則と三角測量ベースの画像の再構築技術を用いて計算することができる。

ここで、図３を参照されたい。図３は、図１の対象被験者の胸部の標的部位３０３がキャプチャされている単一の２Ｄ画像コマ３００を示している。ビデオカメラ３１０は、構造化されたイルミネーション光源３１１によって放たれた標的部位から反射されたエネルギをキャプチャする。ビデオカメラ３１０は、ビデオが処理のために受信されるコンピュータワークステーションなどのリモートデバイスと双方向通信を実施するために通信エレメント３１３を有しているのが示されている。コントローラ３１４および３１５が示されており、アーチファクトを削減するために、構造化されたイルミネーション光源３１１および３１２の各々の操作を実施する。他のパラメータとは対照的に、操作は呼吸速度を抽出するためのビデオをキャプチャするためだけに必要とされる。本出願において、ハイブリッドビデオキャプチャは、呼吸速度を推定するために構造化されたイルミネーションによって第１の２Ｄ画像をキャプチャし、次に、心拍数を推定するための非構造化されたイルミネーションによって第２の２Ｄ画像をキャプチャするために使用することができる。このようなシステムは他の重要な生理学的パラメータを抽出するために非構造化されたイルミネーション光源を必要とするシステムと協働するときに想定されるシステムであることが理解されよう。ビデオキャプチャシステムはビデオ解析モジュールを更に含む。本発明の一実施形態において、ビデオ解析モジュールは、本発明の教示による高級速度の推定のためのコマベースでビデオ画像を解析するためにマシン可読プログラム命令を実行することが可能な少なくとも１つのプロセッサを搭載したＡＳＩＣ（特定用途向け集積回路）などのハードウェアデバイスを含む。このようなモジュールはまた、全体的または部分的に単独でまたは１つ以上のハードウェアリソースと協働して動作するソフトウェアアプリケーションを含むことができる。ソフトウェアアプリケーションは、異なるハードウェアプラットフォーム上のプロセッサによって実行されるかまたは仮想環境においてエミュレートされる。ビデオ解析モジュールのアスペクトは市販されているソフトウェアを活用することができる。

「深さマップ」は、画像のその部位内の表面から反射された構造化された光パターンの歪みの量の解析に基づいた深さの値を含むマップである。一旦、深さマップが作成されると、体積を計算することができる。図４において、構造化されたイルミネーション光源４０３はオブジェクト４０５へ正弦波格子４０４を投射し、射突している正弦波格子の反射はこれらがオブジェクトから反射する時にカメラシステム４０２によってキャプチャされる。正弦波格子は歪みのない投影されたパターンの既知の空間特性を有している。図示したように、カメラシステム４０２は、キャプチャされたビデオが処理のために連絡されるワークステーション（図示せず）などのリモートデバイスと双方向通信を行うための通信エレメント４０６を有している。シーン（場面）が３Ｄで表面変形されない平坦な表面でありかつカメラセンサと略平行に配向されている場合、取得した画像に示されているパターンは投影された構造化された光パターンのパターンに類似している。しかしながら、表面が平坦でなく、カメラセンサと平行配向されておらず、なおかつ、３Ｄオブジェクト４０５を含む場合、オブジェクトの形状は投影された構造化された光パターンを歪曲させる。このような光の歪みはカメラ４０２によって検出することができる。カメラ４０２と構造化されたイルミネーション光源４０３と３Ｄオブジェクト４０５の表面上のポイントＰの互いの幾何学的関係は、以下のように、三角測量として表すことができる。

正確な３Ｄ画像の再構築は、オブジェクトの表面上の異なるロケーションにおける位相を測定しかつこれらの位相からの深さ情報を計算する位相シフトまたは位相変調技術に基づいて行うことができる。図５は、オブジェクト表面に投影された総称して参照番号５０１が付された三つの投影されたパターンを有する位相シフトと、例示的なフリンジ画像５０２と、を示している。位相シフトを介した画像の再構築は、三つの投影されたフリンジ変調パターンのピクセル（ｘ、ｙ）ごとの強度が以下の関係式、
によって記述されているよく知られている方法である：
式中、Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ）およびＩ_３（ｘ，ｙ）は三つのフリンジパターンの強度であり、Ｉ_０（ｘ，ｙ）はＤＣ成分（背景）で、Ｉ_ｍｏｄ（ｘ，ｙ）は変調信号の振幅、φ（ｘ，ｙ）は位相であり、θは一定の位相シフト角である。位相アンラッピングは、絶対位相にラッピングされた位相を変換するプロセスである。位相情報φ（ｘ，ｙ）は、次の三つのフリンジパターンの強度から検索（すなわち、アンラッピング）することができる。

２πにおけるアークタンジェント関数の不連続値はφ’（ｘ，ｙ）値（図６参照）の倍数を加算または減算することによって取り除くことができる。
式中、ｋは投影期間を表す整数である。アンラッピング方法は相対的なアンラッピングを提供するにすぎず、絶対位相を解くわけではないことに注目されたい。３Ｄ（ｘ，ｙ，ｚ）座標は測定された位相φ（ｘ，ｙ）と基準面からの位相値との差に基づいて算出することができる。

図７のシステムを参照されたい。図７は、ビデオカメラ７０２を利用して、パターン化されたイルミネーション光源プロジェクタ７０５によって投影され（７０４において）放たれた反射光がオブジェクト７０６のポイントＰ、即ち、被験者の胸部部位におけるロケーション、から反射されていることを検知する。深さの値は以下の式によって付与される幾何学によって計算される。
この式は、
と、解くことができる。

ストライプ索引付けはまた、ストライプが観察される順序が三角測量ベースの３Ｄ表面イメージングシステムに存在する固有の視差によっておよび３Ｄの表面特徴の閉塞によって取得画像から欠落しているストライプを有する可能性によってストライプが投影される順序とは必ずしも同じ順序である必要がないため、３Ｄ表面の再構築を達成するために使用することができる。ピクセルの集合は画像を形成する。投影パターンのストライプ索引付けのためのカラーの使用は単色パターンを用いた位相シフトまたは複数のストライプ技術が直面している曖昧さの問題を緩和するのに役立つ。このタイプのシステムは、各パターンが特有のカラー値を処理することで複数のパターンを単一カラー投影画像へ符号化することが可能にする。各カラーは、復号化エラー率を下げるためにセット内の任意の他のカラーから最大距離にあるカラーセットを選択することができる。カラーの最大数は取得された画像内で発生するクロストークを最小限に抑えられるカラー間の距離に限定される。呼吸が短時間停止した場合におけるように、ターゲットとなる３Ｄオブジェクトが動いておらず、アプリケーションの取得時間が厳しい制約を課されていない場合には（シーケンシャルな）複数の撮影技術を使用することができ、より確実で精度のよい結果がもたらされることが理解されよう。一方、ターゲットが動いていれば、単一撮影技術は特定の時間において３Ｄオブジェクトのスナップショットの３Ｄ表面画像を取得するために使用される。単一撮影技術は、連続的に変化する構造化された光パターンを用いた技術、一次元（１Ｄ）の符号化スキームを用いた技術（ストリップ索引付け）、二次元（２Ｄ）の符号化スキーム（格子索引付け）を用いた技術へ分類することができる。各技術は特定のアプリケーションによって利点もあれば欠点もある。いくつかの技術を組み合わせてもよい。

また、イルミネーション光源は、操作できる、具体的には、ビデオカメラによるビデオのキャプチャ中に空間的および／またはスペクトル状に変化させることができることを理解されたい。イルミネーション光源は、異なる角度からそのシーン内のいくつかの部位へ光源光が投影されるように、例えば、そのイルミネーション光源を移動させることによって空間的に変化させることができる。イルミネーション光源は、スケジュールまたは所望される周期に応じて、例えば、光源光の投影をトグルオン／オフすることによって時間的に変化させることができる。イルミネーション光源は、例えば、電磁放射の波長帯域を変更することによってスペクトル状に変化させることができ、これによって、イルミネーション光源はシステム内の他のイルミネーション光源および／またはビデオカメラに干渉しない。デバイスコントローラは、イルミネーション光源が投影する光源光の強度を変化させるように構成することができる。

デバイス依存型の深さの示度（単位：バイト）をデバイス非依存型の周知のメトリックへ変換するために較正を実行する必要がある。デバイスの空間座標（ピクセルからミリリットルまたはメートルまたはインチへ）の較正は従来のＲＧＢカメラが較正される方法にほぼ類似した方法で実行することができる。深さの出力の較正はステレオ写真（イルミネーションと撮像モジュール）の幾何学的構成の知識を必要とする。空間座標と３Ｄ画像センサからの深さ示度は（ミリリットルまたはメートルまたはインチなどの）デバイス非依存型の単位に変換することができる。しかしながら、このことが、胸郭体積の変化と肺容積の変化は胸郭と肺の弾性差によって互いに一致しないかもしれないということもあり、推定される体積が測定されている体積に一致することを保証するものではない。よって、更なる較正が望まれる。推定値と実際の体積との互い線形関係を仮定した場合、比例定数は、測定が必要とされる範囲にわたって異なる呼吸レベルについて行われる臨床検査を通して推定することができる。実際の体積は肺活量計を用いて測定することができる。肺活量計の測定値と３Ｄイメージングシステムを用いて得られた測定値の回帰直線の傾斜は較正定数を提供する。

呼吸速度が推定される前に、好ましくは、被験者の身体に対応する深さマップの部位が画像内でセグメント化される。これは複数の方法にて達成することができる。例えば、カメラから寝台の表面までの距離が分かっているので、被験者の身体のロケーションは寝台表面によって囲まれかつ寝台自体よりもカメラに接近して配置されているピクセルを検出することによって抽出することができる。もう１つの方法は、局所化を実行しその後に同様の深さ情報を有するピクセルを含むようにターゲット部分を領域成長させることである。これは最終的にバイナリマスクを生成する。胸郭の局所化は、身体のセグメント化のステージから得られるこのバイナリマスク上のモルフォロジー演算の賢明なアプリケーションによって実行することができる。例えば、適切なサイズの構造化エレメントを有するマスクのモルフォロジカルな開口部は、胸部に対しての相対的なサイズが付与された場合に四肢や頭部に対応するピクセルを取り除くことによって行う。別の方法としては、マスクにモルフォロジカルなスケルトンを適用して得られたスケルトンの分岐ポイントを判断することである。これらの分岐点は、大体が首や肩に配置されていることから、被験者の胸部部位のロケーションを表示する。

３Ｄ時系列データの推定
時系列データは、受信したビデオの各画像コマを処理することによって推定される。画像コマを処理することには、歪みが画像内に特徴付けられるようにキャプチャされた空間歪みの空間属性を歪み無しの投影パターンの知られている空間属性と比較することが含まれる。深さマップは、標的部位の表面上の様々なロケーションで特徴付けられた歪みから計算される。３Ｄ体積は、関連する深さマップから、画像ごとに推定される。その後、処理された画像コマから得られた推定される３Ｄ体積は共に結合されて推定される３Ｄ時系列データを生成する。本発明の方法の次のステージにおいて周波数解析を実行するために、得られた時系列データの正規化と平均値減算が行われる。正規化はデータの最大値によって信号を分割することによって達成される。図８は、男性被験者を測定して得られた６０秒期間の正規化されたゼロ平均値体積の時系列信号のサンプルを示している。

呼吸速度は従来のＦＦＴ（高速フーリエ変換）（すなわち、スペクトル解析）方法を用いて正規化されたゼロ平均値の時系列信号から抽出されるので、長期間の連続的なモニタリングを行うために信号が定常化していることが重要である。時系列信号の低速変化トレンドは非定常信号成分につながり、その後、呼吸周波数の周りの大きなサブバンド（小帯域）につながる。また、この特定の場合においては、トレンド除去が低速で変化するモーション誘導型の周波数成分を除去することができる。１つの方法は、低周波数成分を除去することにより、時変性の高域通過ＦＩＲ（遠赤外線）フィルタのように動作する円滑なアプローチを使用する。トレンド除去されたほぼ定常化した呼吸信号Ｒ_ｓｔａｔは、以下の式によって得ることができる。
式中、Ｒ_{ｏｒｉｇｉｎａｌ}は正規化されたゼロ除去された時系列信号、Ｉは識別メトリック、λはトレンド除去アルゴリズムの周波数応答を調整するために使用されるパラメータ、Ｔはマトリックス変換オペレーション、およびＤ_２は以下の形式を有する２階微分マトリックスを表している。

Ｒ_{ｏｒｉｇｉｎａｌ}がＮサイズの信号である場合、ＩはＮ×Ｎサイズの識別マトリックスである。パラメータλは、低周波数成分から有用な情報を失うことがないようにサンプルデータで臨床／家庭／作業環境別に患者に実験することで先験的に設定される。

次に、図９Ａ〜図９Ｂを参照されたい。これらの図はトレンド除去された呼吸の時系列信号のスペクトルを解析するために高速フーリエ変換（ＦＦＴベースの）ノンパラメトリックな手法の使用について示している。ＦＦＴに代えて、自己回帰（ＡＲ）時系列モデリングなどのノンパラメトリックな手法を使用することもできる。図９Ａはトレンド除去前の呼吸信号に対するパワースペクトル密度曲線を示している。図９Ｂはトレンド除去後（λ＝８０）の呼吸信号のパワースペクトル密度曲線を示している。呼吸速度は、スペクトル標識が最大となるロケーションを判断することによって推定された。この解析に基づいて、毎分１０サイクルの記録はオリジナルの時系列信号における吸息および呼息サイクルの数に匹敵する１分間隔において観察された。

次に図１０の流れ図を参照されたい。図１０は本発明の例示的な実施形態による呼吸機能がモニタリングされている対象被験者の呼吸速度を判断するための方法を示している。流れの手順は、ステップ１０００で開始後、ステップ１００２へ進む。

ステップ１００２において呼吸機能がモニタリングされている対象被験者の標的部位のビデオを受信する。ビデオは、ビデオカメラと構造化された照射のパターンを投影するように構成されているイルミネータとを用いてキャプチャされた。ビデオカメラは構造化された照射の波長において電磁放射に感応し易いように構成されている。キャプチャされたビデオの各画像は構造化された照射が標的部位から反射することによって放たれる放射のサンプリングを含む。空間歪みは投影されたパターンがその表面から反射することで生じる。対象被験者の例示的な標的部位は図１に示されている。

ステップ１００４において標的部位に対して推定される３Ｄ時系列データを取得するためにビデオ画像を処理する。

ステップ１００６において３Ｄ時系列データから被験者に対する呼吸速度を推定する。

ステップ１００８においてディスプレイデバイスへ呼吸速度を伝える。この実施形態では更なる処理は停止する。別の実施形態では、被験者の呼吸速度が許容可能なパラメータ範囲外であることを示すアラームが開始される。アラームを開始することは、例えば、光を活性化し、可聴ノイズを作るか、あるいは、アクションを実行するかまたは通知を行うデバイスを作動させる信号を生成することである。生成されているアラーム信号の種類は、本発明の教示が実施される特定の実施形態によって異なる。この別の実施形態では、一旦警報信号が作動すると、更なる処理は停止する。別の実施形態では、被験者の呼吸速度が連続的にモニタリングされるように処理が繰り返される。本発明のシステムは他の健康モニタリング機器と協働するかまたは一体化して使用され、開始されたアラーム信号は他のデバイスに所望の機能を実行させることができる。

図１０の流れ図は例示目的に提供されていることを理解されたい。流れ図のいずれかに図示されているオペレーションステップの１つ以上が異なる順序で実行されてもよい。その他のオペレーションは、例えば、追加、変更、拡張、縮小、統合、またはそれらのステップと結合されてもよい。このような変形は、添付の特許請求の範囲に含まれることを前提とする。流れ図の全てまたは一部はマシン実行可能な命令と協働してハードウェアで部分的または全体的に実施される。

次に図１１を参照されたい。図１１は図１０の流れ図に関して説明したように本発明の方法の様々な態様を実施するための１つの例示的なビデオプロセッシングシステムを示すブロック図である。

図１１は、ワークステーション１１００は、例えば、図３のビデオカメラ３１０から検出された構造化されたイルミネーションパターンを受信するために、あるいは、ネットワーク１１０１を介してさまざまなデバイスとコンピュータワークステーション１１００の間で通信を実施するために、通信エレメント１１０２と情報をやりとりするように配置されている。コンピュータ１１００は情報のディスプレイをイネーブルとするためのディスプレイデバイス１１０３と、ユーザの入力や選択を実施するためのキーボード１１０５と、を含む。本発明のシステムのオペレータは、プロセッシングまたはプリプロセッシングするためにビデオの画像を識別しそうでなければ選択しかつシステムの実施のために必要とされるユーザ入力を提供するために、ワークステーションのグラフィカル・ユーザ・インターフェースを使用する。受信されたビデオは、ネットワーク１１０１を介してリモートデバイスから検索することができる。ビデオの様々な部分は、ワークステーション１１００と通信するメモリまたは記憶装置（図示せず）に格納されるかまたはリモートストレージや更なるプロセッシングのためにデバイス１１０２などの通信を介してネットワーク１１０１上でリモートデバイスに伝達される。ワークステーション１１００および通信装置１１０２は本発明の教示に基づいてビデオをプロセッシングするためのビデオプロセッシングユニット１１０６と通信する。

図示されているように、ビデオプロセッシングユニット１１０６は、バッファ１１０７を含む。このようなバッファは、例えば、画像コマ内の１つ以上の標的部位、ビデオのサイズ、時間／日付情報などの受信した画像についての情報をキューイングするために使用される。バッファは、本発明の教示に基づいて画像のプロセッシングを容易にするためにデータ、数式、他の表現を格納するように構成される。ビデオプリプロセッサ１１０８は、皮膚の表面の湾曲による非均一な照射を補償し、身体や表面の動きによるモーション誘発のブレや撮像ブレや低速のイルミナントの変化を補償するために所望や必要に応じて、任意のプリプロセッシングを行う。ビデオプリプロセッサ１１０８はデータの次元性を削減しかつビデオ信号へ独立した成分解析（ＩＣＡ）を行うようにプログラミングされる。光歪み判断子１００９は受信した反射構造化光パターンの歪み量を判断する。空間歪みプロセッサ１１１０は判断された歪み量を受信し、判断された空間歪みの空間属性を歪み無しの統制パターンの知られている空間属性と比較することで、この歪みが各画像コマにおいて特徴付けられる。空間歪みは記憶装置１１１１に送信される。深さマッププロセッサ１１１２は、記憶装置１１１１からの空間の歪みの判断された量を検索し、この歪みをビデオのコマごとにピクセル×ピクセルベースで深さ値へ変換する。その後、深さマップは標的部位の表面上の異なるロケーションで特徴付けられた歪みから生成されて記憶装置１１１１に格納される。３Ｄ体積推定子１１１３は深さマップから３Ｄ体積を一コマ単位で推定する。時系列信号生成子１１１４は得られた推定３Ｄ体積を検索しこれらを結合して推定３Ｄ時系列データを得る。呼吸速度推定子モジュール１１１５は、本明細書中に開示されているように、３Ｄ時系列データから、被験者の呼吸速度を推定する。被験者の呼吸速度は送信エレメント１１１６へ伝達され、送信エレメント１１１６がまた、呼吸速度を、例えば、患者の医師または看護師や呼吸療法士に送信する。このような通信にはオリジナルのビデオの一部またはすべておよび／または得られた３Ｄ時系列データの一部または全てが含まれている。その後、送信された信号の一部または全部はワークステーション１１００に伝達され、目視による再検討のためにグラフィカルディスプレイデバイス１１０３にディスプレイされる。別の実施形態において、患者の呼吸速度はこの患者に対して設定されていた１つ以上のパラメータと比較され、被験者の呼吸速度が許容限界外または範囲外であると判断された時点で通知信号が生成される。通知信号は、被験者が喚起したいユーザや専門家へ表示するためにしるしとして可聴音を含む。このような通知は缶入り音声メッセージや、例えば、ベルの音や警報音の形式をとる。伝達された通知メッセージは、ハンドヘルド携帯デバイスに直接伝達することができるテキスト、音声、および／またはビデオメッセージである。このような通知は、例えば、点滅するカラーライトなどの視覚的な通知を提供する可視光を起動させることを含むかまたはこれを付加的に含む。このような実施形態は添付の特許請求の範囲に含まれるように意図されている。

図１１のさまざまなモジュールおよびプロセッシングユニットはモニタ１１０３と情報をやり取りしてユーザの選択のためのその上へ情報を提示する。図１１のモジュールおよび／またはプロセッシングユニットのいずれかは場合によっては図示されている経路を介して記憶装置１１１１と情報をやり取りし、データ、パラメータ値、関数、ページ、記録、およびそれらの様々な機能を実行するために必要とされるマシン可読／実行可能プログラム命令を格納／検索する。ビデオプロセッシングシステム１１０６のモジュールやプロセッシングユニットの各々もまた、図示していない経路を介してワークステーション１１００と情報をやり取りし、更に、ネットワーク１１０１上で１つ以上のリモートデバイスとも情報をやり取りする。モジュールのいずれかに対する機能性の一部または全てがワークステーション内のコンポーネントによって全体的または部分的に実行されることを理解されたい。また、ワークステーションがディスプレイデバイス１１０３にディスプレイされた情報を入力、選択、または変更するために様々な数値、テキスト、スクロールバー、ユーザ選択可能なオプション付きのプルダウンメニューなどをディスプレイするように構成されているオペレーティングシステムおよび他の専用ソフトウェアを有していることも理解されたい。

本発明の実施形態の様々なモジュールは１つ以上のコンポーネントを指定し、これがまた、所望の機能を実行するように設計されているソフトウェアおよび／またはハードウェアを含む。複数のモジュールはまとまって１つの機能を実行する。各モジュールはマシン可読プログラム命令を実施することが可能な専用プロセッサを有している。モジュールは、ＡＳＩＣ、電子回路、または特殊用途のプロセッサなどの単体のハードウェアを含む。複数のモジュールは、単一の特殊用途のコンピュータシステムまたは並列配設された複数の特殊用途のコンピュータシステムのいずれかによって実施される。モジュール間の接続は物理的および論理的接続を含む。モジュールは１つ以上のソフトウェア／ハードウェアモジュールを更に含み、これらのモジュールはオペレーティングシステム、ドライバ、デバイスコントローラ、およびその一部またはすべてがネットワークを介して連結される他の装置を更に含む。また、本発明の方法の１つ以上の態様は専用コンピュータシステム上で実施され、また、タスクがネットワークを介して互いにリンクされるリモートデバイスによって実行される分散型コンピューティング環境で実用化されると考えられる。

上記に説明した実施形態に対して、本発明の精神および範囲から逸脱しない限りにおいて、様々な変更を加えることができる。

Claims (10)

1. 接触せずにリモートセンシング環境において呼吸機能がモニタリングされている対象被験者の呼吸速度を推定する方法であって、
   呼吸機能がモニタリングされている対象被験者の身体の標的部位のビデオを受信するステップと、
   前記ビデオの画像を処理してビデオシーンの３Ｄ深さ情報を再構築し前記標的部位の前記３Ｄ深さ情報から３Ｄ時系列データを推定するステップと、
   前記３Ｄ時系列データから前記被験者の呼吸速度を推定するステップと、
   を含む、方法。
2. 前記ビデオは、ビデオカメラと構造化されたイルミネーションのパターンを投影するように構成されているイルミネータとを使用して、キャプチャされ、前記ビデオカメラが前記構造化されたイルミネーションの波長の電磁放射に感応しやすく、前記キャプチャされたビデオの各画像が前記構造化されたイルミネーションが前記標的部位の表面から反射することによって放たれた放射のサンプリングを含み、空間歪みが前記投影されたパターンが前記表面から反射することによって引き起こされる、請求項１に記載の方法。
3. 前記３Ｄ時系列データを推定するステップが、
   前記ビデオの画像ごとに、
   前記空間歪みの空間属性を既知の空間属性を歪み無しの投影されたパターンの既知の空間属性と比較することで前記歪みを前記画像内で特徴付けることができる、比較することと
   前記標的部位の前記表面上の異なるロケーションで前記特徴付けられた歪みから深さマップを算定することと、
   前記深さマップから３Ｄ体積を推定することと、
   前記得られた３Ｄ体積を連結して前記推定された３Ｄ時系列データを取得することと、
   を含む請求項２に記載の方法。
4. 前記ビデオカメラは可視波長域が感応しやすいビデオカメラと赤外波長域が感応しやすい赤外線ビデオカメラのいずれか１つを含む、請求項２に記載の方法。
5. ＰＵＨＤタイプＩとＰＵＨＤタイプＩＩのいずれかが発生したときの前記呼吸速度の増分的変化をモニタリングすることを更に含む、請求項１に記載の方法。
6. 接触せずにリモートセンシング環境において呼吸機能がモニタリングされている対象被験者の呼吸速度を推定するシステムであって、
   構造化されたイルミネーションのパターンを投影するように構成されているイルミネータと、
   呼吸機能がモニタリングされている対象被験者の標的部位のビデオをキャプチャするためのビデオカメラであって、前記ビデオカメラが前記構造化されたイルミネーションの波長における少なくとも前記電磁放射に感応しやすい、ビデオカメラと、
   前記ビデオカメラおよびディスプレイデバイスと情報のやりとりをするプロセッサであって、前記プロセッサが前記ビデオカメラによってキャプチャされたビデオを受信するステップであって、前記ビデオの各画像が前記構造化されたイルミネーションが前記標的部位の表面から反射することにより放たれる放射のサンプリングを含み、空間歪みが前記投影されたパターンが前記表面から反射することによって引き起こされるステップと、前記ビデオを処理して前記標的部位に対して３Ｄ時系列データを推定するステップと、前記３Ｄ時系列データから呼吸速度を推定するステップと、前記推定された呼吸速度を前記ディスプレイデバイスへ伝達するステップと、を実行するためのマシン可読プログラム命令を実施する、プロセッサと、
   を含むシステム。
7. 前記ビデオは、ビデオカメラと構造化されたイルミネーションのパターンを投影するように構成されているイルミネータとを使用して、キャプチャされ、前記ビデオカメラが前記構造化されたイルミネーションの波長の電磁放射に感応しやすく、前記キャプチャされたビデオの各画像が前記構造化されたイルミネーションが前記標的部位の表面から反射することにより放たれた放射のサンプリングを含み、空間歪みが前記投影されたパターンが前記表面から反射することによって引き起こされる、請求項６に記載のシステム。
8. 前記３Ｄ時系列データを推定するステップが、
   前記ビデオの画像ごとに、
   前記空間歪みの空間属性を既知の空間属性を歪みのない投影されたパターンの既知の空間属性と比較することで前記歪みを前記画像内で特徴付ける、比較することと、
   前記標的部位の前記表面上の異なるロケーションで前記特徴付けられた歪みから深さマップを算定することと、
   前記深さマップから３Ｄ体積を推定することと、
   前記得られた３Ｄ体積を連結して前記推定された３Ｄ時系列データを取得することと、
   を含む請求項６に記載のシステム。
9. 前記ビデオカメラは可視波長域が感応しやすいビデオカメラと赤外波長域が感応しやすい赤外線ビデオカメラのいずれか１つを含む、請求項６に記載のシステム。
10. ＰＵＨＤタイプＩとＰＵＨＤタイプＩＩのいずれかが発生したときの前記呼吸速度の増分的変化をモニタリングすることを更に含む、請求項６に記載のシステム。