JP2016531658A - 監視システム及び監視方法 - Google Patents

Abstract

監視システム(10)は、少なくとも1つのビデオカメラ(14)と、モーションユニット(40)と、セグメンテーションユニット(42)とを含む。少なくとも1つのビデオカメラ(14)は、ノーマルの及び暗い部屋状態における対象者のビデオを連続的に受信するように構成される。モーションユニット(40)は、対象者についての受信したビデオにおける呼吸及び身体部分の動きに基づいて、対象者の動きのクラスタを識別する。セグメンテーションユニット(42)は、対象者の動きについての識別されたクラスタに基づいて、対象者の身体部分を区別する。

Description

以下は概して医療イメージング及び患者モニタリングに関連する。これは精神錯乱の患者についての継続的な患者動作モニタリングに関連する特定の分野に利用可能であり、その観点から詳細に説明される。しかしながら、他の利用状況における応用例も見出され、上記の例に必ずしも限定されないことが理解されるであろう。

動きは患者の状態及び健康に関する情報を提供することが可能である。例えば、精神錯乱(delirium)は、病院の多くの成人に影響を及ぼす一般に激しい混乱であり、例えば、空気をつかもうとしたり、皮膚をつまんだり、頭部、腕又は脚部の反復的及び継続的な動き等のような特殊な動きにより識別されることが可能である。他の患者の動きは、例えば、ベッドから落ちたり、ベッドから起き上がったり、医療機器を引き寄せる又は装着すること等のような患者の状態変化及び/又は緊急事態を示すことが可能である。患者の動きは、一般に、健康管理者の不定期的な観察により分析され、そのような分析は患者の状態における動きや関連する変化を見逃してしまうかもしれない。例えば、健康管理者による不定期的な観察は、精神錯乱のような深刻な問題の発見に、無視できない遅れを持ち込んでしまうかもしれない。

患者動作モニタリングに対する従来のアプローチは、身体装着型の手首センサ(リストセンサ)又は加速度計を利用することを含む。身体装着型の手首センサ又はその他の身体装着型のセンサが存在することは、患者を煩わせるかもしれない。手首センサは、他の身体部分により行われる動きを捕捉しない。手首センサは、「皮膚をつまむこと」、「空気をつかむこと」、医療機器を引き寄せること、ベッドから落ちること、ベッドから起きること等のような高度な判断を要する動きを識別することを許容しない。

患者のビデオの連続的な分析に基づくいくつかの要因は事態を複雑化する。1つの要因は、患者の認識、及び、多くの可能な環境から患者の身体部分を分離して識別することである。患者の認識及び身体部分の識別は、身体部分の直接的な観察を分かりにくくする毛布のような覆いが存在することにより、更に困難になり得る。別の要因は、訪問者や健康管理者の一時的な存在であり、ビデオに映る患者組織の部分を見えにくくする又は隠してしまう。別の困難性の要因は、照明の変更である。

以下、上記及びその他の問題に対処する新規の改善された自動連続患者動作モニタリングを説明する。

一側面によれば、監視システムは、少なくとも1つのビデオカメラと、モーションユニットと、セグメンテーションユニットとを含む。少なくとも1つのビデオカメラは、ノーマルの及び暗い部屋状態における対象者のビデオを連続的に受信するように構成される。モーションユニットは、対象者についての受信したビデオに基づいて、対象者の動きのクラスタを識別する。セグメンテーションユニットは、対象者の動きについての識別されたクラスタに基づいて、対象者の身体部分を区別する。

別の側面によれば、対象者の動きを監視する方法は、ノーマルの及び暗い部屋状態における対象者のビデオを連続的に受信することを含む。対象者の動きのクラスタは、対象者についての受信したビデオの時間的に近辺の複数のリファレンス画像と現在の画像との間で構成される絶対差分画像に基づいて識別される。対象者の身体部分は、対象者の動きについての識別されたクラスタに基づいて区別される。

別の側面によれば、患者監視システムは、ある患者ビデオを連続的に受信するように構成される少なくとも1つのカメラを含む複数の温度又は近赤外ビデオカメラと、少なくとも1つの構成されるプロセッサとを含む。少なくとも1つのプロセッサは、少なくとも１つのカメラに関し、対象者の受信したビデオからの時間的に近接する複数のリファレンス画像と現在の画像との間の絶対差に基づいて差信号を算出し、差信号に基づいて前記対象の呼吸運動のクラスタを識別するように構成される。少なくとも1つのプロセッサは、対象者の呼吸運動の識別されたクラスタに基づいて、身体部分の上半身を区別し、非呼吸運動の少なくとも1つのクラスタを識別するように構成される。少なくとも1つのプロセッサは、非呼吸運動の識別された少なくとも1つのクラスタ及び身体比率に基づいて、身体部分のうちの少なくとも頭部及び胴体を区別し、識別された動き及び区別された身体部分の距離の変化及び頻度に基づいて、対象者の動きを分類するように更に構成される。

利点の1つは患者の連続的に監視する点にある。

別の利点は、患者の複数の身体部分の動きを監視する点にある。

別の利点は、患者の身体部分についての覆いとともに又は覆い無しに動きを識別する点にある。別の利点は、患者身体にセンサを物理的に取り付けること無しに、患者を監視する点にある。

別の利点は、訪問者、健康管理者及び/又は健康管理機器から、患者の動きを分離して観察する点にある。

別の利点は、患者の身体部分の識別及び区分け、並びに、高度な判断による動きの識別を含む。

更に別の利点は、以下の詳細な説明を参照及び理解することにより当業者に認められるであろう。

本発明は、様々なコンポーネント及びコンポーネントの集まりよる形態、様々なステップ及びステップの集まりによる形態をとってもよい。図面は好ましい実施形態を説明することを目的としているにすぎず、本発明を限定するように解釈されるべきではない。

図1は自動連続患者動作モニタリングシステムの一形態を概略的に示す。 図2は自動連続患者動作モニタリング方法の一形態をフローチャートで示す。 図3は、取り込まれたビデオの中で対象を特定し、大まかな身体部分の区分けを実行する方法の一形態をフローチャートで示す。 図4は、様々な信号の例を示す。 図5は、対象を覆うカバーに対処することを含む動き分析方法の一形態をフローチャートで示す。 図6A及び6Bは、対象者の上にある覆いを含み、脚部の動きを識別する例示的な注釈付きビデオ画像フレーム及び対応する注釈付き差分画像を示す。 図6A及び6Bは、対象者の上にある覆いを含み、脚部の動きを識別する例示的な注釈付きビデオ画像フレーム及び対応する注釈付き差分画像を示す。 図7A及び7Bは、対象者の上にある覆いを含み、足の動きを識別する例示的な注釈付きビデオ画像フレーム及び対応する注釈付き差分画像を示す。 図7A及び7Bは、対象者の上にある覆いを含み、足の動きを識別する例示的な注釈付きビデオ画像フレーム及び対応する注釈付き差分画像を示す。 図8A及び8Bは、脚部、胴体及び頭部の動きクラスタ及び対象者の身体軸に適合したラインを含む例示的なビデオ画像フレーム及び対応する識別された動きクラスタを示す。 図8A及び8Bは、脚部、胴体及び頭部の動きクラスタ及び対象者の身体軸に適合したラインを含む例示的なビデオ画像フレーム及び対応する識別された動きクラスタを示す。 図9A及び9Bは、カバーが無い及びカバーが有る例示的な対象者及び動きベクトルを示す。 図9A及び9Bは、カバーが無い及びカバーが有る例示的な対象者及び動きベクトルを示す。 図10は、第三者の動きを分離することを含む動き分析方法の一形態をフローチャートで示す。

図1に関し、自動連続患者動作モニタリングシステム10の一形態が概略的に示されている。システムは、ビデオカメラ、温度カメラ、近赤外線カメラ(例えば、暗視カメラ)又はそれらの組み合わせ等のような少なくとも1つのカメラ14とともに、個々の対象者(又は対象)12を監視する。カメラは、例えば、通常の明るい部屋状態及び例えば夜中のような暗い部屋状態における院内患者などのような対象者の画像を継続的に流す(ストリーミングする)。対象者は、典型的には、ベッド16の上で休んでおり、視野18を有するカメラが配置され、視野18は対象者及びベッドを含むが、部屋20まで広がってもよい。カメラ14は、優先又は無線で動作するように構成されることが可能であり、ストリーミングビデオの伝送のためにネットワーク22及び/又はビデオ分配/収集デバイス24を含んでもよい。単独のカメラは2次元(2D)メジャーメント(計測又は測定)を含む対象を描き、2つ以上のカメラは3次元(3D)メジャーメントに関して対象を描くことが可能である。

各カメラからのビデオストリームは、コンピュータ又はワークステーション32のプロセッサのような1つ以上のプロセッサ30に流される。ビデオ画像は、ビデオ画像データストア34に保存されることが可能である。データストア(又はデータ保存部)は、ランダムアクセスメモリ(RAM)又は非一時的なコンピュータ読み取り可能な媒体(例えば、ディスク、ソリッドステートディスク、サーバーストレージ等)を含むことが可能である。データストアは、ファイル構造、データベース構造等を含むことが可能である。処理は、例えば個別化されたワークステーションによる個別的なモニタリング、例えば構築されたサーバによる組み合わせのモニタリング等を含むことが可能である。ワークステーションは、1人以上の対象者に関する生体信号のセントラルモニタリングのような他の機能を含むことも可能である。ワークステーションは、アラート又はアラームとともにセントラルモニタリングシステムの一部分とする又はそれに接続することが可能である。

システムは、対象者のストリーミングされたビデオ又はビデオ画像を受信するモーションユニット40を含む。モーションユニットは、構成された絶対差画像(absolute difference images)に基づいて対象者の動きクラスタ(motion cluster)を識別する。絶対差画像は、現在の画像と時間的に近接する何らかのリファレンス画像から構築される。

セグメンテーションユニット42は、識別された一群の動き及び身体比率に基づいて、対象者の身体部分を区分けする。セグメンテーションユニットは、追加的な動きが受信したビデオの中に存在し、モーションユニットによりクラスタ化される場合に、身体部分を徐々にセグメント化するように動作する。セグメンテーションは、先ず、呼吸運動を識別し、そのクラスタを胴体/胸部の領域としてセグメント化することにより、動きクラスタの中で対象者を特定する。追加的な非呼吸運動が動きクラスタ内に存在する場合、セグメンテーションは、身体部分を区別するために身体マスクを構築し、動きクラスタを各々の身体部分に関連付ける。セグメンテーションユニットは、頭部、胸部及び脚部のような区分けされた身体部分を表現するクラスタによるラインを当てはめることにより、体軸(body axis)を特定する。

分類ユニット44は、クラスタ及び区分けされた身体部分の動きの頻度及び尺度(例えば、角度、速度、位置、距離、加速度など)に基づいて、対象者の動きを分類する。例えば、体軸がベッド/床に平行であるまま、ベッドから床への対象者の胴体/胸部の領域の動きは、対象者がベッドから落ちたことを示す。別の例では、ベッドから上方への対象者の胴体/胸部の領域の動き、及び、「床に対して平行」から「床に対して垂直」への体軸の変化は、対象者がベッドから起きたことを示す。分類ユニットは、身体部分の動きの反復、及び、より高度な動きについての動き尺度を解釈することが可能である。例えば、精神錯乱を示す皮膚をつまむことや空気をつかむこと等のような、より高度な動きを分類することが可能である。分類ユニットは、患者を識別する患者の顔及びその他の身体部分の上の覆いをビデオに挿入する等の場合に、記録されたビデオを非識別化(de-identify)することが可能である。

モーションヒストリユニット46は、各動きクラスタを、モーションヒストリデータストア48に記録する。モーションヒストリユニットは、覆い(covering)の存在、位置又は不存在を、カバーデータストア49に記録する。モーションヒストリユニットは、区分けされた(セグメント化された)身体部分を、セグメント身体部分データストア50に記録する。モーションヒストリユニットは、対象者に関連するクラスタを識別及び記録する。モーションヒストリユニットは、対象者のクラスタを、対象者ヒストリデータストア51に保存する。モーションヒストリユニットは、第三者に関連する動きクラスタを識別及び記録する。モーションヒストリユニットは、第三者クラスタを、第三者ヒストリデータストア52に保存する。モーションヒストリデータストア48、カバーデータストア49、セグメント身体部分データストア50、対象者ヒストリデータストア51、及び、第三者ヒストリデータストア52は、単独のデータストアに結合されることが可能であり、或いは、データストアの組み合わせとすることも可能である。

モニタリングユニット54は、分類された動きと、例えばビデオの時間セグメントのようなビデオ画像の対応する履歴部分とを表示するために受信及び構成する。モニタリングユニットは、例えばワークステーション32の表示装置のようなディスプレイデバイス56にアラーム又は警告を表示することが可能である、或いは、アラーム又は警告をセントラルモニタリングシステムに伝達することが可能である。モニタリングユニットは、現在のビデオ画像を表示するように構成することも可能である。構成される表示は、様々なカメラアングル及び/又は複数の対象者についての複合的な表示を含むことが可能である。構成される表示は、分類された動き、アラーム、アラート及び/又は時間による履歴ビデオ画像の表示を含むことが可能である。

ワークステーション32は、電子プロセッサ又は電子処理装置30と、ビデオ画像、分類、警告、アラーム、メニュー、パネル及びユーザコントロール等を表示するディスプレイデバイス56と、健康管理者の選択を入力する少なくとも1つの入力デバイス58とを含む。ワークステーション20は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、モバイルコンピューティングデバイス、スマートフォン等とすることが可能である。入力デバイスは、キーボード、マウス、マイクロフォン等とすることが可能である。ディスプレイデバイスは、コンピュータモニタ、テレビジョンスクリーン(テレビ画面)、タッチスクリーン、触覚電子ディスプレイ、陰極線管(CRT)、蓄積管(Storage tube)、フラットパネルディスプレイ、発光ダイオード(LED)ディスプレイ、エレクトロルミネセントディスプレイ(ELD)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、有機発光ダイオードディスプレイ(OLED)、プロジェクタ、頭部装着型ディスプレイ等を含むことが可能である。

例えばワークステーション32の電子プロセッサ又は電子プロセッシングデバイス30等のような電子プロセッシングデバイスにより、或いは、ネットワーク22によりワークステーション32に動作可能に接続されるネットワークベースのサーバーコンピュータにより、或いは、個々の電子ユニット、ASCI、プログラマブルゲートアレイ等により、様々なユニット40、42、44、46、54は適切に実現される。更に、開示されるクラスタリング、セグメンテーション、分類及びモニタリングの技術は、命令(例えば、ソフトウェア)を保存する非一時的な記憶媒体を用いて適切に実現され、命令は、電子データプロセッシングデバイスにより読み取り可能であり且つ開示される技術を実行するように電子データプロセッシングデバイスにより実行可能である。

図2に関し、自動連続患者動作モニタリング方法の一形態がフローチャート化されている。ステップ60において、ノーマルの及び暗い部屋状態における対象者のビデオ画像が連続的に受信される。画像は選別(又はフィルタリング)されることが可能である。暗い場面を補償するために、強度は正規化されることが可能である。例えば絶対差画像を構成するステップ62において、呼吸に起因する微細な動きの領域が識別される。差分画像は、現在の画像と、時間的に近くで得られた先行する画像又はリファレンス画像との間の差分である。差分画像は、強度及び/又はその他の画像値(例えば、色、コントラスト等)に基づくことが可能である。差分のエリア又は領域は、2-Dにおける画素(群)又は3-Dにおけるボクセル(群)のクラスタを形成する。動きの尺度を提供する他の技術(例えば、空間的な特徴の相関、テクスチャ分析等)を使用することも可能である。それらの技術は、画像全体又は関心領域を利用することが可能である。

ステップ64において、差分画像に基づいて、対象者の動きのクラスタが識別される。例えば、クラスタのサイズ及び時間的な動きの周期性に基づいて、固有運動のクラスタが識別される。胸部の身体部分の大きな動きが無い場合に(例えば、身体の方向転換が無い場合に)、呼吸運動が確認されてもよい。胸部の大部分の動きが存在する場合に、呼吸運動を測定することは不可能であることが、確認されてもよい。非呼吸運動のクラスタ(non-respiratory motion clusters)が識別される。各々の動きクラスタは、サイズ、形状、方向、距離、胸部その他の識別されるクラスタに対する物理的な位置、及び/又は、速度などの属性を有することが可能である。属性は、呼吸クラスタに関連するもの及び対象者の身体比率(ボディプロポーション)に関連するものとすることが可能である。識別されるクラスタは、対象者の身体部分についての覆い(カバー)の存否を含むことが可能である。

ステップ66において、クラスタは指定及び記録される。指定又は帰属(assignment)は、対象者又は1人以上の第三者を含むことが可能である。例えば、胸部に近接し、所定のサイズであり、及び、画像毎に最小距離変化であるクラスタは、対象者の頭部を表現することが可能であり、その指定は対象者である。別の例では、ビデオ画像の外端部から登場する、或いは、呼吸クラスタから所定の距離に見えるクラスタは、第三者を表現することが可能であり、その指定は第三者である。クラスタの位置及び動きの記録は、クラスタの各自の更なる動きに対する更なる情報を提供する。

ステップ68において、対象者の身体部分は、対象者の動きについての識別されたクラスタに基づいてセグメント化される。先ず、呼吸運動のクラスタが識別され、胸部身体部分に区別される。非呼吸運動の更なるクラスタが識別されると、追加的な身体部分が区別される。識別されたクラスタに対応する区別された身体部分は、細分化及び追跡される。身体部分は、身体比率や、区別された胴体/胸部に対する近接度及び向きに基づいて、区別される。

ステップ70において、動きクラスタの動きが分類される。例えば、対象者の特定の身体部分に対応する様々なクラスタの動きは、立っていること、落下していること、歩いていること、上半身を起こしていること、食べていること等を示唆する。第三者に帰属し得る動きは、処置又は診断モニタリング時間及び場合によっては処置の施行を記録するために利用されることが可能である。動き分析は、対象者に割り振られる動きクラスタと、何らかの第三者に割り振られる動きクラスタとを分離する。動きの分類は、分類に基づいてアラート及び/又はアラームを提供することを含むことが可能である。

ビデオを受信すること、識別すること、指定すること、セグメント化すること及び分類することについてのプロセスは、ステップ72において反復される。このプロセスは、反復的に、身体部分のセグメント化を構築及び細分化し、対象者及び何らかの第三者の動きを追跡する。

図3に関し、差分信号に基づいて、取り込まれたビデオの中で対象を特定する方法の一形態がフローチャート化されている。ステップ80において、現在の画像とリファレンス画像との間の絶対差画像が算出される。差分画像は、カメラアングル、ベッド背もたれの傾斜、様々な患者が横たわる場所、身体部分の覆いの有無などに関する調整を含む。判断ステップ82において、例えば患者が呼吸しながら静止して横たわっている場合のような小さな反復的な動きの存在が、差分画像に基づいて確認される。動きクラスタが小さい場合、ステップ84において、時間的及び空間的な差分画像に基づいて差分信号が算出され、鼓動しているクラスタを識別する。鼓動している動きクラスタは、呼吸運動を表現する。ステップ86において、胸部/上腕の領域又は胴体が区別される。セグメント化(区別)は、エッジ/勾配分析、輝度値分析、及び、オブジェクト検出を含むことが可能である。

動きクラスタが小さくない場合、例えば大きな身体の動きである場合、ステップ88において、全身マスク又はシルエット(又は輪郭)が生成される。例えばベッドの中で方向転換するような大きな身体の動きは、段階的な動きを含んでもよい。例えば、初めに腕の動き、次に脚部の動き、次に頭部の動き、そして、胸部の動きが生じてもよい。ステップ90において、過去に識別されたセグメント化された胸部及び生成された全身マスクに基づいて、身体部分が更にセグメント化される。セグメント化は、全身マスクの生成における身体比率を含むことが可能である、或いは、別個に身体部分を更にセグメント化することを含むことも可能である。

図4では、例示的な様々な信号が示されている。図3に関連して説明されるように、差分信号は、呼吸に起因する動きを識別する。差分信号は、選択される任意のリファレンスフレームに基づく。差分信号は、ビデオ画像セグメントから、選択されたリファレンスフレームを減算すること、及び、差分画像を合計すること(例えば、全ての差分ピクセルを合計すること)によって算出される。図示される差分信号は、差分信号値をy軸に及び時間をx軸にとってプロットされている。信号のピークは呼吸サイクルに対応し、例えば、ピークからピーク(までの時間)は1つの呼吸サイクルに対応する。信号の周期性は、明らかに、呼吸を表す動きを示している。差分信号は、胸部の領域を表す動きクラスタを、他の身体部分の動きから分離して識別するために使用されることが可能である。

図5に関し、対象者を覆うカバーに対処することを含む動き分析方法の一形態がフローチャート化されている。ステップ100において、2つの連続する画像を利用して動きが推定され、この推定は、速度及び角度を有する動きベクトルを返す。ステップ102において、近隣のクラスタ間の角度変化、クラスタの数、及び、クラスタのサイズ等のような動きクラスタの属性が算出される。このステップは、例えばベッドのようなオブジェクト識別や、識別されたオブジェクトに対するクラスタの位置の確認などを含むことが可能である。

ステップ104において、動きクラスタの属性に基づいて、覆いの存在又は不存在が判断される。例えば、何らの覆いも無い状態の脚部の動きと比較すると、毛布の下にある脚部の動きの場合、近接して広範囲にわたる大きなクラスタが存在する。

ステップ106において、覆いがない動きの場合の特徴群(feature set)が選択され、動きが分類される。分類は、以前にセグメント化されたセグメント身体部分50の履歴を含む。このステップは、セグメント化された身体部分についての更なる細分化を含むことが可能である。例えば、カバーが掛かってない単独の反復的でない腕の動きは、通常の睡眠中の動きとして分類される。腕は、例えば上腕、前腕、手首などのように更にセグメント化されることが可能であり、その位置がセグメント身体部分に記録される。

ステップ108において、覆いの位置が推定される。動きクラスタの範囲は、エッジ検出及び/又はテキスタイル認識とともに、覆いの位置を表現する。例えば、毛布は、自動化手段により容易に識別される既存の布地及び/又は色とともに判別可能である。このステップは、カバーデータストア49内に保存された情報についての改善及び/又は更新を含むことが可能である。このステップは、セグメント化された身体部分との比較を含むことが可能である。例えば、対象者のセグメント化された頭部の上にカバーが存在することは、健康管理者に警告を与えるトリガとすることが可能である。

ステップ110において、覆いに基づく属性を含む可能性がある脚部のような身体部分が、セグメント化される。セグメント化される身体部分は、例えばセグメント身体部分データストア50に保存されるもののような過去に記録された身体部分についての追加又は細分化とすることが可能である。カバーの存在の属性は、覆いに沿って進行する動きベクトル、及び、より一般化された動きを含むことが可能である。ステップ112において、身体部分のセグメント化は、身体部分セグメント履歴及び体軸方向に基づいて、更に修正されることが可能である。

ステップ114において、カバーされた動きについての特徴群が選択され、その動きが分類される。例えば、毛布の下での足の動きは、カバーされた特徴群を選択することになり、その特徴群は、足の動きに関連する動きクラスタの属性を設定する。選択された特徴群は、例えばサイズ、距離、方向、速度、姿勢、頻度などのような動きクラスタの属性と比較され、動きを分類するためにセグメント化された身体部分に関連付けられる。例えば足を伸ばすような通常の睡眠中の動きを示す体軸に平行な片足による単独の動きとは異なり、体軸に対して左右交互の反復的な動きは、頭部の反復的な左右交互の動きと組み合わさると精神錯乱を示唆することが可能である。

図6Aでは、ベッドの上で仰向けの患者についての例示的なビデオ画像フレームが示されている。頭部は患者守秘義務により(黒い正方形で)マスクされ、小さな円は呼吸運動に基づく胸部で識別される領域を注記しており、大きな円は脚部として識別される動き領域を注記している。シートは双方を含み、対象者は注記された領域を含む。画像コントラストは、テントを張ったような位置にあるシートの部分を示し、これは、膝を立てた又は曲げた位置にある脚部を示す。

図6Bは、図6Aの画像及びリファレンス画像から構成される差分画像を注記する。3つの円は、図6Aにおける胸部及び脚部についての円の注釈に対応する差分画像を注記し、頭部にマスクは無い。脚部の動きクラスタは、セグメンテーションユニットがセグメント化する脚部の部分を識別する。カバーは動きクラスタに広がり、動きクラスタは、動きを分類するために選択される特徴群の中で適合される。体軸の向きは、図6Bの3つの注記された円の向きから観察されることが可能である。

図7Aでは、対象者が図6Aの脚部を下方に曲げた直後のビデオ画像フレーム例が示されている。右の円は、セグメント化された胸部領域の位置を注記する。左側の円は、カバーで覆われた足が動く位置を注記する。

図7Bでは3つの円を注記しており、図7Aの画像から構成される差分画像を示す。最も左側の円は、足(feet)として識別及び区別される動きクラスタの部分を注記している。中央の円は胸部を注記し、最も右側の円は頭部を注記する。胸部と足との間の動きクラスタは注記されておらず、直線的な脚部を示す。

図8Aでは、カバーが掛かってないベッド上の対象者のビデオ画像フレームが示されている。図8Bは、身体部分により識別及び区別され、脚部120、胴体122及び頭部124として注記される対応する動きクラスタを示す。カバーを含む図6B及び7Bの動きクラスタと比較して、カバーが掛かってない場合のクラスタサイズは、より小さく、クラスタ間の相違はよりいっそう大きい。体軸126の向きは、例えば最小二乗回帰分析のような、クラスタに適合されるラインにより示される。

図9Aに関し、カバーが掛かってない対象者の脚部の動きが示されている。動きベクトルが示されている。カバーが掛かっている対象者に関し、同じ脚部の動きが図9Bに示される。同じ脚部の動きに対して図9Aと異なる動きベクトルが示されている。カバーを伴う場合の動きベクトルは、カバーの領域にわたって広がり、例えば近接した位置における大きなクラスタとなり、より小さなより多数の方向を向くカバーの動きを含み、例えば、カバーが下側の脚部の動きとともに動く場合に、クラスタ間の近傍は、より短い又は様々な方向の動きを表現する。

図10に関し、第三者の動きを分離することを含む動き分析方法の一形態がフローチャート化されている。ステップ130において、差分画像が算出され、動きクラスタが識別される。ステップ132において、過去の第三者動き履歴及び患者動き履歴に対する空間的な差分が算出される。健康管理者又は訪問者のような第三者の動き履歴は、第三者データストア52に記録される。対象者動き履歴は、対象者履歴データストア51に記録される。

ステップ134において、ベッド又は画像の縁における動き情報と、動きクラスタのサイズの増加と、以前の第三者の動き及び対象者の動き(例えば、履歴画像及び/又は記録された動き)に対する空間的距離とに基づいて、クラスタは、第三者又は対象者の何れかにそれぞれ割り当てられる。画像及び/又はベッドのエッジにおける動き及び対象者動き履歴からの小さな半径が、対象者に対して割り当てられる。例えば、患者が画像の中央に過去に位置してエッジの方に移動し、及び、第三者は過去に検出されない場所における動きクラスタは、対象者に割り当てられる。別の例において、以前の対象者の動きクラスタからエッジの方に伸びるが、以前の第三者のクラスタは時間的又は空間的に近接していない動きクラスタは、対象者に割り当てられる。過去の第三者に割り当てられたクラスタに対して空間的に近接した動きクラスタは、第三者に割り当てられる。例えば領域の増大のようなクラスタの最大量の増加は、第三者クラスタの動き検出を許容する。例えば、患者は、現在の呼吸運動に基づいて画像の中心に位置し、エッジで検出されるが最大サイズを超えない動きは、第三者に割り当てられる。クラスタの最大量の増加が上回る場合、クラスタは対象者に割り当てられ、例えば、患者がベッドの端に移動した場合である。割り当てられたクラスタは、適切な履歴に記録される。

本願で提示される具体的に例示された形態との組み合わせにおいて、所定の構造的及び/又は機能的な特徴が、規定されるエレメント及び/又はコンポーネントに組み込まれるように説明されていることが認められる。しかしながら、これらの特徴は、同一又は類似する恩恵に関し、適切であるならば、他のエレメント及び/又はコンポーネントにおいても同様に組み込まれてよいことが、想定されている。例示的な形態についての異なる側面は、所望のアプリケーションに相応しい他の代替的な形態を達成するのに相応しく選択的に活用され、他の代替的な形態はそれにより本願に組み入れられる個々の形態の利点をもたらすことも認められるであろう。

本願で説明される特定のエレメント又はコンポーネントは、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより適切に実現される機能を有してよいことも認められるであろう。更に、ともに組み込まれるように本願で説明される所定のエレメントは、適切な状況の下では、スタンドローン的な形態又は分割された形態であってもよいことが、認められるであろう。同様に、ある特定のエレメントで実行されるように説明される複数の特定の機能は、個々の機能を独立に実行するように動作する複数の個々のエレメントにより実行されてもよいし、或いは、所定の個々の機能が、協調する複数の個々のエレメントにより分割及び実行されてもよい。代替的に、本願において互いに別々に説明され及び示される幾つかのエレメント又はコンポーネントは、適切であるならば、物理的又は機能的に統合されてもよい。

要するに、本明細書は好ましい実施形態に関連して説明されてきた。当然に、本明細書を参照及び理解した者により、修正及び代替がなされてもよい。それらが添付の特許請求の範囲又はその均等の範囲に属する限り、本発明は、そのような全ての修正及び代替を包含するように構成されることが、意図されている。すなわち、開示される及びその他の様々な特徴及び機能又はそれらの代替例は、多くの他の異なるシステム又はアプリケーションに適切に組み入れられてもよいこと、及び、様々な現時点では予測されない又は見込まれない代替、修正、変形又は改善も、当業者により以後になされてよく、これらも同様に特許請求の範囲内に属するように意図されることが、認められるであろう。

Claims (20)

1. 監視システムであって：
   ノーマルの及び暗い部屋状態における対象のビデオを連続的に受信するように構成される少なくとも１つのビデオカメラ；
   前記対象についての受信したビデオに基づいて、前記対象の呼吸及び身体部分の動きのクラスタを識別するモーションユニット；及び
   対象の動きについての識別されたクラスタに基づいて、前記対象の身体部分を区別するセグメンテーションユニット；
   を有する監視システム。
2. 前記モーションユニットは、前記対象の受信したビデオからの時間的に近接する複数のリファレンス画像と現在の画像との比較に基づいて差信号を算出し、前記差信号に基づいて前記対象の呼吸運動のクラスタを識別し；及び
   前記セグメンテーションユニットは、前記対象の呼吸運動の識別されたクラスタに基づいて、前記身体部分の上半身を区別する；
   請求項１に記載の監視システム。
3. 前記モーションユニットは、非呼吸運動のクラスタを識別し、全身運動マスクを生成し；及び
   前記セグメンテーションユニットは、非呼吸運動の識別されたクラスタと生成された全身運動マスクとに基づいて、前記身体部分のうちの詳細な身体部分を区別する；
   請求項２に記載の監視システム。
4. 前記モーションユニットは、前記対象についてのカバーの存在及び場所又は不存在を識別し、前記カバーの存否、区別された身体及び識別されたクラスタに基づいて対象の動きを判別する、請求項１ないし３のうち何れか１項に記載の監視システム。
5. 前記上半身を区別することは、身体比率及び識別されたクラスタに基づいて、頭部及び胴体を識別することを含む、請求項２ないし４のうち何れか１項に記載の監視システム。
6. 区別された身体部分から判別される動きの少なくとも１つの尺度に基づいて、判別された対象の動きを分類する、請求項４又は５のうち何れか１項に記載の監視システム。
7. 前記セグメンテーションユニットが、頭部、胴体及び脚部を含む区別された身体部分を通るラインを適合させることに基づいて、身体の方向を判別する、請求項１ないし６のうち何れか１項に記載の監視システム。
8. 各々の動きクラスタを記録し、前記対象に関連するクラスタを識別し、第三者に関連するクラスタを識別するモーションヒストリユニットを更に含む請求項１ないし７のうち何れか１項に記載の監視システム。
9. 前記モーションヒストリユニットは、記録されたクラスタと前記対象に関連する識別されたクラスタとの間の空間距離に基づいて、第三者に関連するクラスタを識別する、請求項８に記載の監視システム。
10. 分類された動きに基づいて、前記対象のビデオ画像の履歴部分を表示するために受信及び構成するモニタリングユニット；及び
    構成された表示を表示するディスプレイデバイス；
    を更に含む請求項１ないし９のうち何れか１項に記載の監視システム。
11. 対象の動きを監視する方法であって：
    ノーマルの及び暗い部屋状態における前記対象のビデオを連続的に受信するステップ；
    前記対象についての受信したビデオにおける呼吸及び身体部分の動きに基づいて、前記対象の動きのクラスタを識別するステップ；及び
    対象の動きについての識別されたクラスタに基づいて、前記対象の身体部分を区別するステップ；
    を有する方法。
12. 前記対象の受信したビデオからの時間的に近接する複数のリファレンス画像と現在の画像との比較に基づいて差信号を算出するステップ；
    前記差信号に基づいて前記対象の呼吸運動のクラスタを識別するステップ；
    を更に有し、
    前記区別するステップは、前記対象の呼吸運動の識別されたクラスタに基づいて、前記身体部分の上半身を区別することを含む；
    請求項１１に記載の方法。
13. 前記識別するステップは、非呼吸運動のクラスタを識別し、全身運動マスクを生成することを含み；及び
    前記区別するステップは、非呼吸運動の識別されたクラスタと生成された全身運動マスクとに基づいて、前記身体部分のうちの詳細な身体部分を区別することを含む；
    請求項１２に記載の方法。
14. 前記対象についてのカバーの存在及び場所又は不存在を識別し、前記カバーの存否、区別された身体及び識別されたクラスタに基づいて対象の動きを判別するステップを更に含む請求項１１ないし１３のうちの何れか１項に記載の方法。
15. 前記上半身を区別することは、身体比率及び識別されたクラスタの位置に基づいて、頭部及び胴体を識別することを含む、請求項１２ないし１４のうち何れか１項に記載の方法。
16. 区別された身体部分から判別される動きの少なくとも１つの尺度に基づいて、判別された対象の動きを分類するステップを更に含む請求項１４又は１５のうち何れか１項に記載の方法。
17. 前記対象又は第三者のうち少なくとも何れかに関連するクラスタを識別するステップを更に含む請求項１１ないし１６のうち何れか１項に記載の方法。
18. 請求項１１ないし１７のうち何れか１項に記載の方法を実行するように１つ以上の電子データ処理装置を制御するソフトウェアを搬送する非一時的なコンピュータ読み取り可能な記憶媒体。
19. 請求項１１ないし１７のうち何れか１項に記載の方法を実行するように構成される電子データ処理装置。
20. 患者監視システムであって：
    ある患者ビデオを連続的に受信するように構成される少なくとも１つのカメラを含む複数の温度又は近赤外ビデオカメラ；及び
    前記少なくとも１つのカメラに関し：
    前記対象の受信したビデオからの時間的に近接する複数のリファレンス画像と現在の画像との間の絶対差に基づいて差信号を算出し、前記差信号に基づいて前記対象の呼吸運動のクラスタを識別すること；
    前記対象の呼吸運動の識別されたクラスタに基づいて、前記身体部分の上半身を区別すること；
    前記対象についての受信したビデオにおいて、非呼吸運動の少なくとも１つのクラスタを識別すること；
    非呼吸運動の識別された少なくとも１つのクラスタ及び身体比率に基づいて、前記対象の少なくとも頭部及び胴体を区別すること；
    区別された身体部分から判別される動きの少なくとも１つの尺度に基づいて、対象の動きを分類すること；
    ことを行うように構成される少なくとも１つのプロセッサ；
    を有する患者監視システム。

Images