JP2022501103A - 骨格モデルを提供するための装置、システム及び方法 - Google Patents

Abstract

本発明は、患者の骨格モデルを提供するための装置、システム、方法及びコンピュータプログラムに関し、該装置は、深度情報を有する前記患者の画像及び対応する画像データを取得し、前記画像における前記患者の１つ以上の関節を位置特定することにより関節位置データを生成するよう構成された、関節識別ユニットと、前記関節位置データ及び／又は前記画像データを用いて前記患者の姿勢を推定することにより、姿勢推定データを生成するよう構成された、姿勢推定ユニットと、前記患者の身体におけるセンサの位置についての情報を有する身体位置データと、前記画像におけるセンサの位置についての情報を有する画像位置データと、を取得し、前記身体位置データ及び前記画像位置データに基づいて、前記画像におけるセンサ位置を前記患者の身体位置に割り当てる、センサ位置データを生成するよう構成された、センサ位置ユニットと、前記関節位置データ、前記姿勢推定データ及び前記センサ位置データを用いることにより、前記患者の１つ以上の身体位置に対する１つ以上の関節の割り当てを実行するよう構成された、割り当てユニットと、前記身体位置に対する前記関節の割り当てに基づいて、前記患者の骨格モデルを生成するよう構成された、骨格モデリングユニットと、を有する。

Description

本発明は、骨格モデルを提供するための装置及びシステム、並びに骨格モデルを提供するための対応する方法及びコンピュータプログラムに関する。本発明は更に、センサを患者の身体上で位置特定するための装置に関する。

連続的な患者活動モニタリングのための自動化された方法は、臨床ワークフローを改善し、臨床ケア提供者の仕事負担を軽減する。自動モニタリングにより、何らかの異常な患者行動が検出されたときに、関係する介護者に警告を発することができる。更に、患者の挙動プロファイリングのために、患者の活動の連続的なモニタリングを使用することができる。挙動プロファイルは次いで、診断目的のために、精神障害、激越、うつ病、睡眠障害などの臨床状態と関連付けることができる。

自動化された患者モニタリングのために、多くの技術が研究されてきた。カメラベースのモニタリングは、この目的のための有望な技術の一つである。カメラベースのモニタリング位置により、可視の身体部分の向き及び／又は動きを登録することができる。
他のモニタリング方法は、加速度計のようなウェアラブルセンサ用いて動作する。しかしながら、カメラとは対照的に、当該センサは特定の身体部分における動きを捉えるだけである。

一般に、実行されている活動の信頼性高い推定を提供するために、異なる身体部分からの詳細な動き情報が必要とされる。例えば、患者が呼吸マスクを引き離そうとすることのような危険な出来事を認識するには、両手及びことによると頭部と胴体の両方からの動き情報が必要であろう。

人体の骨格モデルを使用して、運動モニタリング、活動認識並びに幾つかの他の臨床及び消費者用途のためのアプリケーションを構築することができる。骨格モデルは、人体の簡潔な表現を提供し、頭部、肩、肘、手、脚等のような身体の主要な身体部分及び／又は主要な関節の全てを表す。実際には、身体の骨格モデルは、身体内の主要な関節が識別された棒状の図形の表現である。それ故、骨格モデルは、信頼性の高い患者活動モニタリングシステムを可能にする。

身体の骨格モデルは、一般に、深度画像化技術を使用して得られる。実際、深度カメラ（即ち範囲撮像カメラ又は３Ｄカメラ）は、動的照明に対する感度のような２Ｄカメラが直面する制限を受けないため、骨格モデル開発のために人気を得ている。深度画像からの骨格モデルの開発には、多くの方法及び解決策が利用可能である。これらの方法は、ゲームアプリケーションに特に使用される。斯かるゲームアプリケーションでは、骨格モデルは、ゲーム制御のために身体部分及び／又は関節の動きを追跡するために使用される。より詳細には、識別された関節位置及び対応する身体（部分）の動きは、通常、ゲームにおけるキャラクタを制御するために使用される。

深度カメラを使用する骨格モデルは、ゲームの状況のための使用及び人気の増加を見出しているが、これまでのところ、これらの解決策は、臨床モニタリングの状況では失敗している。このことは、病院の被験者が主に睡眠している姿勢で横たわっているという事実による。従って、臨床モニタリングの状況における深度画像を使用する骨格モデルの適用は、完全には調査されていない。ゲームの状況では、被験者は、全ての主要な関節が直接的かつ明確に可視状態でカメラに直接に面している。対照的に、被験者が睡眠姿勢で大部分見つかる臨床モニタリングの状況では、被験者はカメラに直接に面していないことがあり、従って、主要関節は明確に識別できないことがある。実際、最も難しい姿勢は、被験者が身体を横向きにして横たわっている姿勢である。

患者ベッドの上の天井まで吊り下げられた深度カメラ（実際には、カメラにとって唯一の実現可能な位置である）を仮定すると、患者が仰臥位で横たわっているときに、患者の身体関節が明確に見える。従って、骨格モデルを確実に得ることができる。しかしながら、患者が身体を横向きにして横たわっている場合には、少なくとも全ての身体の関節がはっきりと見えるわけではない。斯かる横向きの位置では、特に上半身部分では、身体の左側部分と右側部分の関節の間に混乱がある。特に、右腕及び左腕は、通常、深度及び空間的寸法の両方において互いに非常に近接して位置する。

斯かる複雑な姿勢を仮定すると、深度画像から骨格モデルを提供しようとする既存の方法は、例えば、右肘及び右手を左肘及び左手から正確に区別することができない。特定の身体部分領域が左肘又は右肘であるかどうかを区別する信頼性高い手段はなく、それはこれらの領域が特定の姿勢において互いに非常に近いからである。左手及び右手についても同様の混同が当てはまる。既存の深い学習に基づくアルゴリズムでさえ、どの関節が左身体部分に属し、どの関節が右身体部分に属するかを、正確に識別する際に混乱を被る。このことは、右肩が左肘及び左手に連結され、左肩が右肘及び右手に連結された骨格モデルに導く。

深度カメラによる姿勢検出の精度を制限する別の要因は、頭部の向きが身体の姿勢の信頼できる指標ではないことである。

従って、骨格モデルの信頼性は大きく損なわれる可能性があり、信頼性高い患者モニタリングを保証することができない。ゲームアプリケーションの場合、ゲーム参加者は、時には、それぞれの身体領域を区別することが困難な位置にいることもあるが、身体領域の正しい割り当ての失敗は、生命を脅かすものではない。しかしながら、患者モニタリングでは、モニタリング結果は絶対的に信頼性の高いものでなければならない。

国際特許出願公開WO2015/078735A1は、対象のパルス通過時間及び／又はパルス波速度情報を取得するための装置及び方法を開示している。被験者の画像フレームのセットと、検出された被験者の身体部分の動きとに基づいて、関心領域が種々の非運動身体部分から選択され、パルス通過時間及び／又は脈波速度情報が、種々の関心領域から抽出された取得されたＰＰＧ信号と、それぞれの関心領域間のそれぞれの決定された物理的距離とから取得される。

国際特許出願公開WO2018/104359A1は、例えば、血圧モニタリングのための、特に睡眠中の脈波速度の決定に関する。

米国特許US9892611B1は、健康管理提供者、病院、熟練看護施設及びその他の人が、障害者、高齢者又はその他の高リスクの個人をモニタリングして、支援が必要とされる場合にモニタリングされている斯かる個人による「リスクのある」挙動及び転倒の自動通知を送達することによって、転倒の影響を防止又は軽減すること、及び／又は転倒の影響を軽減することを可能にする、方法及びシステムを開示する。患者を識別するために２つのシステムが用いられ、即ち生体指標によって患者を識別する骨格追跡システムと、仮想ブロブ検出システムと、が用いられる。

本発明の目的は、信頼性高く正確な骨格モデル構築を可能にする方法を提供することにある。特に本発明の目的は、臨床患者モニタリングにおける身体部分認識に関する曖昧さを回避することである。

本発明の第１の態様においては、患者の骨格モデルを提供するための装置であって、
深度情報を有する前記患者の画像及び対応する画像データを取得し、前記画像における前記患者の１つ以上の関節を位置特定することにより関節位置データを生成するよう構成された、関節識別ユニットと、
前記関節位置データ及び／又は前記画像データを用いて前記患者の姿勢を推定することにより、姿勢推定データを生成するよう構成された、姿勢推定ユニットと、
前記患者の身体におけるセンサの位置についての情報を有する身体位置データと、前記画像におけるセンサの位置についての情報を有する画像位置データと、を取得し、前記身体位置データ及び前記画像位置データに基づいて、前記画像におけるセンサ位置を前記患者の身体位置に割り当てる、センサ位置データを生成するよう構成された、センサ位置ユニットと、
前記関節位置データ、前記姿勢推定データ及び前記センサ位置データを用いることにより、前記患者の１つ以上の身体位置に対する１つ以上の関節の割り当てを実行するよう構成された、割り当てユニットと、
前記身体位置に対する前記関節の割り当てに基づいて、前記患者の骨格モデルを生成するよう構成された、骨格モデリングユニットと、
を有する、装置が提示される。

本発明の第２の態様においては、患者の骨格モデルを提供するためのシステムであって、
ここで開示される患者の骨格モデルを提供するための装置と、
前記患者の１つ以上のバイタルサインを検出することにより１つ以上のセンサ信号を生成するよう構成された１つ以上のセンサ、及び／又は、前記患者の画像を取得し深度情報を有する対応する画像データを生成するよう構成された深度カメラと、
を有する、システムが提示される。

本発明の第３の態様においては、患者の骨格モデルを提供するための方法であって、
深度情報を有する前記患者の画像及び対応する画像データを取得し、前記画像における前記患者の１つ以上の関節を位置特定することにより関節位置データを生成するステップと、
前記関節位置データ及び／又は前記画像データを用いて前記患者の姿勢を推定することにより、姿勢推定データを生成するステップと、
前記患者の身体におけるセンサの位置についての情報を有する身体位置データと、前記画像におけるセンサの位置についての情報を有する画像位置データと、を取得し、前記身体位置データ及び前記画像位置データに基づいて、前記画像におけるセンサ位置を前記患者の身体位置に割り当てる、センサ位置データを生成するステップと、
前記関節位置データ、前記姿勢推定データ及び前記センサ位置データを用いることにより、前記患者の１つ以上の身体位置に対する１つ以上の関節の割り当てを実行するステップと、
前記身体位置に対する前記関節の割り当てに基づいて、前記患者の骨格モデルを生成するステップと、
を有する方法が提示される。

本発明の更なる態様においては、コンピュータ上で実行されるときに、コンピュータにここで開示される方法のステップを実行させるためのプログラムコード手段を備える、対応するコンピュータプログラム、及び、プロセッサによって実行されるときに、本明細書で開示される方法を実行させるコンピュータプログラム製品をその中に格納する、非一時的なコンピュータ可読記録媒体が提供される。

本発明の好適な実施例は、従属請求項に定義される。特許請求の範囲に記載された装置、方法、コンピュータプログラム及び媒体は、特に従属請求項に定義され、本明細書に開示されているような、特許請求の範囲に記載された装置と同様の及び／又は同一の好適な実施例を有することを理解されたい。

本発明は、改善された骨格モデルの構築を可能にする装置を提供するという着想に基づいている。とりわけ、骨格モデルの信頼性と精度が、特に患者がことによるとベッドに横に向きに横たわっている臨床状況で、ことによると身を寄せ合っている状況でさえも、臨床状況で、増大させられることを意図している。斯かる複雑な設定において、該装置は、身体のそれぞれの側に関して、身体の部分、特に関節を区別することが特に可能でなければならない。より詳細には、左上及び右上の身体部分の位置を正確に評価することが可能な装置が提供される。これにより、より信頼性が高く、正確な骨格モデルの構築が可能になる。

第１に、深度画像及び対応する深度画像データ、即ち深度情報を含む画像データを使用して、患者の関節の位置の初期推定が行われる。好適には、少なくとも患者の主要関節が画像内に位置し、ここで用語「関節」は広義に解釈されるべきであり、特に頭部、肩、肘、手首、尻（特に尻骨）、膝、及び踵のうちのいずれか１つを有する。関節の位置を推測するためには、患者の関節を最初に特定しなければならず、即ち、関節を表す特定の画像領域が識別される必要がある。このことは、一般的な画像認識プログラムによって達成することができる。実際、関節位置識別のための多くの方法が提案されている。幾つかのプログラムは、共同位置識別のためにヒューリスティック規則を使用するが、高度なデータ駆動アプローチも存在する。例えば、ランダムフォレスト分類器は、身体パッチ、即ち特定のサイズの画像領域を、特定の関節タイプに対応するものとして識別するようにトレーニングされ得る。

しかしながら、関節の識別（画像内に関節があるかどうかを識別することを意味する）及び位置は、患者の身体内のそのタイプ又は位置に関して関節を識別することを伴う場合があるが、例えば、左右の身体部分に対応する関節間の信頼性高い曖昧さ除去は、このユニットによって実行することができない。実際、該ユニットは、主として、どの画像部分が関節を表すかを、ことによると所定の確率で見つけようとする。

画像内の患者の関節位置を知ることにより、姿勢推定ユニットは、患者のベッド内の患者の位置及び向きを推定し得る。関節位置ユニットによって提供される関節位置データとは別に、姿勢推定ユニットは、同様に、患者を示す深度画像に対応する画像データを使用し、前記データから姿勢情報を推論し得る。
一般的に姿勢推定は、例えば機械学習モデル、特に深層学習モデルをトレーニングことによって、一般的な画像認識アルゴリズムを用いて行うことができる。

一方、関節位置は、患者の姿勢を推測するために使用されても良い。しかしながら、信頼性高い姿勢推定を得るために、好適には、少なくとも５つの関節（頭部、２つの肩部及び２つの肘／手関節）が、関節識別ユニットによって配置され、提供されなければならない。

割り当てユニットにおいては、患者の１つ以上の身体位置に対する、画像内の１つ以上の関節の位置の割り当てが実行される。

この目的のために、画像における患者の位置及び方向、即ち患者の位置／姿勢、及び彼の体内の関節を位置特定する関節位置データが使用される。それとは別に、割り当てユニットは、センサ位置データを取得する。

センサ位置データは、患者センサの位置を、患者の身体位置及び画像内の位置に割り当てるデータである。例えば、センサ位置データは、患者の右手にフォトプレチスモグラフィ（ＰＰＧ）センサが取り付けられているという情報を提供することができる。更に、センサ位置データは、前記センサの座標が位置する情報を提供する。

身体位置に関する「左側」、「右側」、「上側」又は「下側」のような用語の意味合いは、割り当てユニット及び場合によっては装置の他のユニットに対して予め決定されることを理解されたい。

センサ位置データは、身体位置データと画像位置データとを、即ち、患者の身体上のセンサの位置に関する情報を有するデータと、画像内のセンサの位置に関する情報を有するデータと、を組み合わせることによって、センサ位置ユニット内で生成される。特に、身体位置データは、例えば、患者モニタから得ることができる。

患者の身体及び画像の両方に対するセンサ位置が分かり、患者のベッド内の患者の姿勢が分かると、割り当てユニットは、１つ以上の関節の位置を患者の１つ以上の身体位置に割り当てる。

より正確には、割り当てユニットは、患者の姿勢を記述するデータとは別に、センサ位置に関する情報を受信するように構成される。次いで、前記センサ位置データは、それぞれの身体領域への関節の割り当てをサポートする。所与のデータとは別に、身体の左側及び右側のいずれかに属する関節の確率に関するあらゆる事前情報も、この処理段階で使用されても良い。換言すれば、提案される装置では、身体部分の曖昧性除去を支援するために二次情報源が使用される。このことは、上半身の左側と右側の関節を正確に同定するのが困難であるため、患者が身体を横向きにして睡眠している姿勢で横たわっている場合に特に役立つ。

例えば、第１のステップでは、割り当てユニットは、関節位置データ及び姿勢推定データを使用して、識別された関節を１つ以上の身体領域に割り当てることができる。関節識別データから、画像内の関節の位置が分かり、姿勢推定データから、画像内の患者の位置／姿勢が分かる。画像内のそれらの位置のため、関節がそれぞれの身体部分に割り当てられることができる。

しかしながら、前記第１の割り当ては、特定の身体姿勢に対する前述の困難性のために正しくないことがある。特に、上半身部分の関節の身体側は、この割り当てにおいて混同され得る。従って、第２のステップでは、センサ位置データが、第１の割り当てをサポートし、場合によっては修正するために使用される。例えば、センサ位置データは、ＰＰＧセンサが患者の右人差し指に位置し、血圧（ＢＰ）センサが患者の左上腕に取り付けられているという情報を有し得る。同時に、センサ位置データは、例えば画像座標の形で、画像内のそれぞれのセンサの位置に関する情報を提供する。従って、画像内の患者の右人差し指及び患者の左上腕の位置が分かる。それ故、センサ位置にあると同定される関節、即ちセンサ位置から所定の距離に位置する関節は、次いで、それぞれの身体領域に曖昧さなく割り当てられることができる。
例えば、ＰＰＧセンサの位置にあると識別された関節は、患者の右人差し指に明確に割り当てることができる。従って、前記関節が患者の左指に属することは除外できる。

一般に、より多くの関節が位置特定され、より多くのセンサ位置（画像及び患者の身体上のそれらの位置の両方に関して）が既知となるほど、関節割り当ての品質はより高くなり得る。特に、利用可能な関節位置は、患者の身体の左側又は身体の右側のいずれかに明白に割り当てられ得る。

次に、患者の姿勢に関する身体関節の正確な割り当てにより、患者の正しい骨格モデルをモデリングすることができる。骨格モデルを生成するために、関節は、直線によって、属する（推定される）身体領域に従ってリンクされる。従って、骨格モデリングユニットは、識別された身体内の主要関節を有する棒状の図形様表現を生成する。実際には、骨格モデリングユニットは、最良適合アルゴリズムを使用して骨格モデルを生成しても良い。

一実施例においては、患者の骨格モデルを提供する装置は、患者のバイタルサインに対応するセンサ信号を取得し、前記センサ信号に基づいて身体位置データ及び／又は姿勢推定データを生成するように構成された、センサ情報ユニットを更に有する。

好適には、センサ信号は、少なくとも２つのセンサによって測定される患者のバイタルサインに関する情報を含み、少なくとも１つのセンサは、患者の左身体部分に取り付けられ、少なくとも１つの他のセンサは、患者の右身体部分に取り付けられる。更に、それぞれのセンサの位置は、患者の身体のほぼ同じ高さにある。前記設定が与えられると、身体の左側と右側との間の生理学的差異は、身体の左側及び右側に対応するセンサの異なるセンサ読取値をもたらす。しかしながら、身体位置データ及び／又は姿勢推定データを生成するために、単一のセンサからの測定及び関連する基準値との比較も考えられる。例えば、ＥＣＧデータが、患者の身体姿勢の推定のために使用されても良い。実際、心臓軸の向きは、地球の重力場における身体の位置及び向きに依存する。それ故、異なる身体姿勢は、身体表面に対する心臓の電気的パターンの異なる投影により、信頼性が高く再現性のあるＥＣＧ信号変化をもたらす。従って、関連する参照信号とＥＣＧデータとの比較により、患者のベッド内での姿勢に関する情報が得られる。

センサ信号は、センサから直接取得されても良く、前記センサは、患者の身体に取り付けられても良く、又は、センサは例えば、カメラを用いて距離をおいて患者のバイタルサインをモニタリングしても良い。しかしながら、センサシグナルはまた、中間装置から得られても良い。

他の実施例においては、該装置は更に、センサを画像内において位置特定することによって画像位置データを生成するように構成されたセンサ認識ユニットを備える。

このことは、例えば、センサに取り付けられた特定のマーカを使用することによって達成することができ、前記マーカは、顕著な色、パターン、形状又は反射率を有しても良い。例えば、指ＰＰＧセンサは、皮膚とは反対に向けられたセンサの側面上の四角いパターンと、センサに接続されたワイヤとによって識別され、位置特定されても良い。

他の実施例においては、姿勢推定ユニットは、センサ位置データを更に使用して姿勢推定データを生成するように構成される。

例えば、血圧センサが患者の右上腕に取り付けられているという情報は、右上腕を他の身体部分から区別するのに役立ち、従って患者の姿勢を見分けるのに役立つ可能性がある。

好適な実施例においては、バイタルサインに対応するセンサ信号は、心電図データ、フォトプレチスモグラフィデータ、血圧データ、体温データ、血中酸素飽和度データ、脈拍数データ、脈拍強度データ及びパルス到着時間データのうちのいずれか１つを有する。

心電図（ＥＣＧ）データは、例えばＰ波データ、ＱＲＳ群に対応するデータ、特にＲピークのデータ、及びＴ波データのうちのいずれか１つを有する。

フォトプレチスモグラフィー（ＰＰＧ）は、末梢循環における血液の容積変化を検出するために使用される光学的技術である。ＰＰＧデータは特に、各心拍を伴う血液量の心臓同期変化に起因する拍動性（「ＡＣ」）生理学的波形、及び呼吸に起因する様々な低周波数成分を伴うゆっくりと変化する（「ＤＣ」）ベースライン上の重ね合わされた波形に関するデータを有する。ＰＰＧ信号は通常、パルスオキシメータによって得られる。

一例として、センサ情報ユニットは、２つのＰＰＧ信号及びＥＣＧ信号を取得するように構成されても良く、２つのＰＰＧ信号は、それぞれ患者の左指及び右指で行われる測定値に対応する。それぞれのセンサ位置に関する異なる信号情報の特定の特徴から、特にＰＰＧセンサが左指に取り付けられているか右指に取り付けられているかの情報を推論することができる。斯かる特徴の１つは、パルスが特定の身体位置に到着するのに要する期間であるパルス到着時間（ＰＡＴ）である。ＰＡＴは、ＥＣＧにおけるＲピークとＰＰＧ波形の対応する最大値との間の時間遅延として計算されても良い。ＰＡＴは、患者の左身体側及び右身体側の両方について測定され得る。心臓から左右の指部位までの経路長にわずかな差が存在するので、それぞれのパルス到着時間にも差が存在する。人体における心臓の位置のために、患者の左指に対応するＰＡＴは通常、右指に対応するＰＡＴよりもより短い。それ故、ＰＰＧセンサは、センサ情報ユニットによって容易に識別でき、ＰＰＧセンサの位置をそれぞれ左右の指に割り当てるセンサ位置データを生成することができる。単一のＰＰＧセンサのみが使用される場合、センサから得られたＰＰＧ信号は、以前に得られた基準値（患者から又は患者に類似した集団コホートから得られた）を使用して、依然として身体の左側又は右側から生じたものとして割り当てることができる。

パルス到着時間以外にも、幾つかの他のＰＰＧベースの特徴が、記録された信号が身体の左側又は右側から来ているかどうかを識別し推論するためにセンサ情報ユニットによって用いられ得る。前記他のＰＰＧベースの特徴は、剛性指数及び／又は二次導関数ベースのＰＰＧ形態学的特徴を含んでも良い。従って、信号が身体の左側から取得されたか右側から取得されたかを区別するために１つ以上のＰＰＧ特徴を使用するようにトレーニングされた分類器が、センサ情報ユニット内に備えられても良い。

有利な実施例においては、姿勢推定ユニットは、患者が仰臥姿勢で横たわっている仰臥姿勢と、患者が腹臥位で横たわっている腹臥姿勢と、患者が横向きに横たわっている側方姿勢と、を区別するように構成される。

しかしながら、姿勢推定ユニットは、丸まった姿勢のような前述の姿勢に明確に割り当てられない腹部姿勢を更に識別するように構成されても良い。
適切なトレーニング例により、斯かる姿勢は、深度画像を入力として用いたトレーニングされた機械学習モデルで検出できる。

骨格モデルを提供するための本装置の更なる実施例においては、姿勢推定ユニットは、画像内の１つ以上の関節の分布を識別することによって、被験者の姿勢を推定するように構成される。

仰臥位又は腹部位置において、関節は、患者の頭部から殿部に亘る軸の周りに対称的に分布される。しかしながら、横向きに横たわるとき、関節は、前記身体軸の一方の側に向かってクラスタ化される。そのため、（患者の上のカメラから見て）体軸の左側よりも右側に有意に多くの関節が見つかる場合、姿勢識別ユニットは、患者がベッドの右側に腕と脚を傾けて、左側を下にして横たわっていると仮定する。

本装置の更に他の実施例においては、関節識別ユニットは、画像内の１つ以上の極点を位置特定するように構成され、姿勢推定ユニットは、画像内の前記極点の分布を識別することによって、被験者の姿勢を推定するように構成される。

関節の位置と同様に、仰臥位にあるとき、深度画像の極点は、身体の主軸（即ち矢状軸）の周りに対称的に分布する。しかしながら、身体を横向きにして横たわるとき、点は身体の主軸の一方の側に集中する。

幾つかの方法では、関節位置は、画像内の極点に基づいて識別され、ここで該極点は例えば、それらの周囲領域に関するコントラスト差及び／又は身体の曲率によって識別される。更に、斯かる一般的な方法によって推定されるような、身体重心から識別された極点までの経路の特徴が、次いで前記極点を特定の関節タイプとして分類するために使用される。

有利な実施例においては、関節識別ユニットは、機械学習方法、特に深層学習アルゴリズム、より具体的には畳み込みニューラルネットワークを使用して、１つ以上の関節を（識別し位置特定する）。

畳み込みニューラルネットワーク（ＣＮＮ）ベースのアーキテクチャは、様々な身体部分からの深度画像パッチを使用してトレーニングされることができる。次いで、トレーニングされたネットワークは、画像セグメントを取得し、それを関節タイプの１つであるか否かを識別することが可能であり得る。

更なる実施例においては、患者の骨格モデルを提供するための装置は、２つ以上の連続する深度画像及び対応する２つ以上の骨格モデルに基づいて患者の動きを追跡するように構成された、追跡ユニットを更に有する。

特に、極点及び／又は識別された関節の位置が比較される。患者の姿勢の推定に関して比較を行われても良い。検出された差から、１つ以上の身体部分の動きの方向が推測されても良い。従って、特に３つ以上の画像がより長い時間にわたって互いに比較される場合、患者の動きを追跡することができる。幾つかの高度な方法では、フレームからフレームへの骨格モデルの変化を滑らかにするために追跡エンジンを使用することができる。

本装置の更に他の実施例においては、追跡ユニットは、２つ以上の骨格モデル間の比較を実行するように構成され、関節位置ユニットは、前記比較に基づいて関節位置データを適応させるように構成され、及び／又は骨格モデリングユニットは、前記比較に基づいて骨格モデルを適応させるように構成される。同様に、患者の姿勢の推定、又は極点に関する分析を適合させることができる。実際には、推論された関節位置及び／又は極点位置などの適応が単に為されても良いが、関節識別ユニット及び／又は姿勢推定ユニットで使用される方法の適応も行われても良い。

センサを患者の身体上において位置特定するための装置が更に提示され、本装置は、
患者のバイタルサインに対応する左センサ信号及び右センサ信号を取得するように構成された比較ユニットであって、左センサ信号は、患者の身体の左部分におけるバイタルサインを検出する左センサから取得され、右センサ信号は、患者の身体の右部分におけるバイタルサインを検出する右センサから取得され、左センサ信号及び右センサ信号の特徴の互いとの比較及び／又は基準値との比較を実行する、比較ユニットと、
該比較に基づいて患者の身体上の左センサ及び右センサを位置特定することによって身体位置データを生成するように構成された分析ユニットと、
を有する。

本発明のこれら及び他の態様は、以下に記載される実施例から明らかになり、それを参照して説明される。

本発明による患者の骨格モデルを提供するための装置の第１の実施例の模式的な図を示す。 本発明による患者の骨格モデルを提供するための装置の第２の実施例の模式的な図を示す。 本発明による患者の骨格モデルを提供するための装置の第３の実施例の模式的な図を示す。 本発明による患者の骨格モデルを提供するためのシステムの第１の実施例の模式的な図を示す。 本発明による患者の骨格モデルを提供するためのシステムの第２の実施例の模式的な図を示す。 本発明による患者の骨格モデルを提供するためのシステムの第３の実施例の模式的な図を示す。 本発明による患者の身体においてセンサを位置特定するための装置の実施例の模式的な図を示す。 患者の左の指から得られるＰＰＧ信号を示す。 患者の左の指から得られるＰＰＧ信号と同時に得られる、右の指から得られるＰＰＧ信号を示す。 同じＰＰＧ信号を、同時に測定されたＥＣＧ信号とともに示す。 それぞれ左指及び右指のＰＰＧ信号から算出されたパルス到着時間を示す。 左指及び右指からのＰＰＧ信号についてのパルス到着時間値の分布を示す。 本発明による患者の骨格モデルを提供するための方法の第１の実施例のフロー図を示す。 本発明による患者の骨格モデルを提供するための方法の第２の実施例のフロー図を示す。

図１は、被験者の骨格モデルを提供するための装置１０の第１の実施例の概略図を示す。装置１０は、関節識別ユニット１２、姿勢推定ユニット１４、センサ位置ユニット１６、割り当てユニット１８及び骨格モデリングユニット２０を有する。

本実施例においては、関節識別ユニット１２は、患者の画像及び対応する画像データ２２を取得するように構成され、前記画像データ２２は深度情報を有する。関節識別ユニット１２は、画像データ２２を使用して、前記画像データ２２内の患者の１つ以上の関節を識別し、位置特定するように構成される。換言すれば、関節識別ユニット１２は、画像データ２２によって表される画像内の位置に関節を割り当てるように構成される。画像内の位置に識別された関節を割り当てる、該生成された関節位置データ２４は、次いで、姿勢推定ユニット１４及び割り当てユニット１８の両方に提供される。姿勢推定ユニット１４には更に、関節識別ユニット１２から画像データ２２が提供される。

姿勢推定ユニット１４は、画像データ２２及び関節位置データ２４を用いて、患者の姿勢を推定して姿勢推定データ２６を生成する。本実施例においては、姿勢推定は、標準的な画像認識アルゴリズムを使用し、関節位置データ２４とのマッチングを使用して実行される。姿勢推定データ２６は次いで、割り当てユニット１８に供給される。

関節識別ユニット１２による画像データ２２の受信と同時に、割り当てユニット１８は、センサ位置データ２８を取得し、前記センサ位置データ２８は、画像内のセンサ位置を患者の身体位置に割り当てる。センサ位置データ２８は、身体位置データ３０を画像位置データ３２にリンクすることによってセンサ位置ユニット１６によって生成され、身体位置データ３０は、患者の身体上のセンサの位置に関する情報を有し、画像位置データ３２は、画像データ２２によって表される画像内のセンサの位置に関する情報を有する。

関節位置データ２４、姿勢推定データ２６及びセンサ位置データ２８が割り当てユニット１８に提供されると、該ユニットは、関節識別ユニット１２によって識別され位置特定された患者の１つ以上の関節の、患者の１つ以上の身体位置への割り当て３４を実行するように構成される。そうするために、関節位置データ２４及び姿勢推定データ２６のみを使用して、第１の割り当てが実行される。第２のステップでは、第１のステップの割り当てが、センサ位置データ２８を使用して補正される。補正された割り当て３４、即ち関節の身体位置に関する曖昧さのない割り当ては、骨格モデリングユニット２０に提供される。

次いで、骨格モデリングユニット２０は、前記曖昧さのない割り当て３４から骨格モデル３６を生成する。具体的には、骨格モデリングユニット２０は、曖昧さなく特定された関節を直線で結ぶことにより、棒状図形を生成するように構成されている。

図２は、装置１０の第２の実施例の概略図を示す。本実施例においては、装置１０は、関節識別ユニット１２、姿勢推定ユニット１４、センサ位置ユニット１６、割り当てユニット１８、骨格モデリングユニット２０、センサ情報ユニット３８及びセンサ認識ユニット４０を有する。装置１０の第１の実施例と同様に、本実施例における関節識別ユニット１２は、画像データ２２によって表される深度画像において、患者の１つ以上の関節を位置特定するように構成される。しかしながら、対応する関節位置データ２４は、割り当てユニット１８にのみ提供される。特に、姿勢推定ユニット１４には関節位置データ２４は提供されない。実際、画像及び対応する画像データ２２は、姿勢推定ユニット１４に転送されるだけである。しかしながら、本実施例における姿勢推定は、センサ信号４２及びセンサ位置データ２８によって更にサポートされる。

センサ位置データ２８は、センサ位置ユニット１６によって提供され、患者の身体及び画像の両方に関して、患者に取り付けられたセンサの位置に関する情報を有する。センサ位置データ２８を生成するために、センサ位置ユニット１６には、センサ情報ユニット３８及びセンサ認識ユニット４０からの入力が供給される。

例えば、患者が左右の指の両方にＰＰＧセンサを持ち、胸部にＥＣＧセンサを持っている場合、センサ認識ユニット４０は、画像内でこれらのセンサを識別し位置特定するように構成される。画像においてセンサを（識別及び）位置特定するために、特定の認識アルゴリズムが使用されても良い。画像内でセンサを位置特定することによって、画像位置データ３２が生成される。同時に、前記センサのセンサ信号４２が、センサ情報ユニット３８内で分析される。特に、センサ信号４２は、該信号が由来する身体位置を見つけるために使用される。この目的のため、センサ情報ユニット３８は、ＰＰＧ信号からパルス到着時間を導出し、それぞれの時間を特定の身体部分に対応する基準値と比較することができる。患者の身体及び画像に対するセンサの位置に関する情報の両方が既知となると、センサ位置ユニット１６は、該情報をリンクして、画像内のセンサ位置を患者の身体位置に割り当てるセンサ位置データ２８を生成する。

センサ位置データ２８を用いて、姿勢推定ユニット１４における姿勢推定が支援され得る。センサ信号４２自体、特にＥＣＧデータを用いて、姿勢推定を更に洗練することができる。このことは、心電図データが、患者が地球の重力場内で動くときに変化を受けやすいという事実による。この目的のために、姿勢推定ユニット１４に記憶されたＥＣＧデータの基準値が提供され、測定されたＥＣＧ信号が該基準値と比較されて、ベッド内の患者の姿勢についての情報が見出され得る。特に、ＥＣＧデータは、患者の仰臥位と腹臥位とを区別するのに役立つ可能性がある。実際に、ＥＣＧ信号は、様々な異なる身体姿勢を区別するために使用することができる。

次いで、患者の推定姿勢は、更なる処理のために姿勢推定データ２６の形で割り当てユニット１８に提供される。

図３は、被験者の骨格モデルを提供するための装置１０の第３の実施例の概略図を示す。本実施例においては、装置１０は、関節識別ユニット１２、姿勢推定ユニット１４、センサ位置ユニット１６、割り当てユニット１８、骨格モデリングユニット２０、ユーザインタフェース４４及び追跡ユニット４６を備える。

関節識別ユニット１２は、患者の２つ以上の画像及び対応する画像データ２２を取得するように構成される。関節位置、姿勢推定及び関節割り当て３４が、各画像に対して実行される。

関節割り当て３４を改善するために、割り当てユニット１８には、画像２２内のセンサの位置と患者上のセンサの位置の両方を定義するセンサ位置データ２８が提供される。センサ位置データ２８は、センサ情報データ３０及びセンサ認識データ３２を用いて、センサ位置ユニット１６において生成される。本実施例においては、センサ情報データ３２、即ち患者に対するセンサ位置に関する情報を含むデータは、ユーザインタフェース４４から取得される。特に、ユーザ即ち例えば臨床スタッフは、センサ位置に対応する情報をユーザインタフェースに手動で入力することができる。

関節割り当て３４の後、各画像に対して骨格モデル３６が生成される。その後、後続の画像２２の骨格モデル３６が追跡ユニット４６に提供される。また、追跡ユニット４６は、骨格モデル３６に対応する原画像データ２２を取得するように構成されている。

追跡ユニット４６は、特に、画像データ２２によって表される後続の画像を、後続の画像に対応する骨格モデル３６と比較する。比較結果に基づいて、追跡ユニット４６は、各画像の骨格モデル３６を補正及び／又は洗練し、従って補正された骨格モデル４８を生成する。しかしながら、追跡ユニット４６は、特定の骨格モデル３６を取捨選択しても良い。例えば、２つの後続の患者画像２２が実質的に異ならない場合、対応する骨格モデル３６も実質的に異なるものではない。しかしながら、両方の画像２２の骨格モデル３６が異なる場合、追跡ユニット４６は、前記モデル３６のうちの少なくとも１つが間違っていると仮定する。更なる画像２２及び骨格モデル３６と比較することによって、欠陥骨格モデルが特定され、補正又は選別されても良い。補正された骨格モデル４８は次いで、骨格モデリングユニット２０に戻され、更なる処理のために使用されても良い。

更に、本実施例における追跡ユニット４６は、補正後の骨格モデル４８を関節識別ユニット１２に供給するように構成されている。関節識別ユニット１２では、前記モデル４８を使用して、画像データ２２によって表される後続の患者画像内の関節を位置特定することができる。

補正された骨格モデル４８又はその他の骨格モデルを使用して、姿勢推定及び／又は身体位置への関節の割り当て３４をサポートすることができる実施例も考えられる。

図４は、本発明による患者の骨格モデルを提供するためのシステム１００の第１の実施例の概略図を示す。システム１００は、装置１０と、カメラ５０と、患者の左手首に取り付けられた左ＰＰＧセンサ５２と、患者の右手首に取り付けられた右ＰＰＧセンサ５４と、を有する。装置１０は、関節識別ユニット１２、姿勢推定ユニット１４、センサ位置ユニット１６、割り当てユニット１８、骨格モデリングユニット２０、センサ情報ユニット３８及びセンサ認識ユニット４０を備える。

左右のＰＰＧセンサ５２及び５４は、それぞれ左右のＰＰＧ信号５６及び５８を提供する。センサ情報ユニット３８は、ＰＰＧ信号５６及び５８を分析して、各手首における患者の脈拍強度を見つける。人間の心臓の位置に起因して、左手首におけるパルス強度は一般に、右手首におけるパルス強度よりも高い。このことは、他の等価な左右の身体領域にも同様に当てはまる。ＰＰＧ信号５６及び５８によって与えられるパルス強度を比較することによって、センサ情報ユニット３８は、ＰＰＧ信号５６及び５８がどのセンサに由来するものかを特定することができる。例えばセンサ信号５６及び５８が弱すぎるために、パルス強度の差が見つからない場合には、センサ情報ユニット３８は、センサ５２及び５４が取り付けられる身体の側面（左手又は右手）に関するデフォルトの臨床実務に基づいて、身体位置データ３０を生成する。

次いで、ユニット３８によって見出された身体位置データ３０が、センサ位置ユニット１６に提供され、該センサ位置ユニットが更に、画像データ２２によって表される画像内のＰＰＧセンサ５３及び５４の位置に関する情報を含むセンサ認識データ３２を得る。次いで、センサ認識データ３２及び身体位置データ３０は、センサ位置データ２８の形で結合される。

センサ位置データ２８は、続いて、装置１０の割り当てユニット１８に供給される。次に、割り当てユニット１８は、関節位置データ２４、姿勢推定データ２６及びセンサ位置データ２８を評価して、関節が対応する身体領域に正しく割り当てられている適切な患者の姿勢を見つける。続いて、骨格モデリングユニット２０は、割り当てユニット１８の割り当て３４に基づいて骨格モデル３６を作成する。

図５は、本発明による患者の骨格モデル３６を提供するためのシステム１００の第２の実施例の概略図を示す。システム１００は、装置１０と、患者の左指に取り付けられた左ＰＰＧセンサ５２と、患者の右指に取り付けられた右ＰＰＧセンサ５４と、カメラ５０と、患者の身体上のセンサの位置を特定するための装置３００と、を有する。

左右のＰＰＧセンサ５２及び５４は、それぞれ左右のＰＰＧ信号５６及び５８を提供する。ＰＰＧ信号５６及び５８の各々から、装置３００（以下患者モニタとも呼ばれる）はパルス到達時刻を計算する。一般に、身体の左側部分からのパルス到着時間は、身体内部の心臓の位置に起因して、身体の右側部分からのパルス到着時間よりもより短い。その後、両方のパルス到達時間を比較することにより、装置３００は、ＰＰＧ信号が発生するセンサ５２及び５４を位置特定することができる。装置３００に記憶された基準値との更なる比較は、結果を洗練することができ、従って、身体位置データ３０を洗練することができる。しかしながら、信号５６及び５８が低すぎる場合、患者モニタ３００は、様々な他の手段により身体位置データ３０を提供することが可能である。例えば、プローブが接続される身体の側面が、看護師／臨床医によって患者モニタ３００に手動で入力されても良い。代替としては、モニタリングのための特定のプローブ／センサが身体のどちらの側（左手又は右手）に接続されているかについての、所与のケア環境／病院について確立された臨床診療が使用されても良い。次いで、装置３００によって見出された身体位置データ３０が、更なる加工のために装置１０のセンサ位置ユニット１６に提供される。同時に、画像位置データ３２が生成される。そうするために、センサ５２及び５４を患者モニタ３００に接続するパルスオキシメトリケーブルを識別し位置特定するために、カメラ５０からの画像が用いられる。このことは、ケーブルの物体特徴を探すことによって行うことができる。

センサ位置ユニット１６が、ＰＰＧセンサの位置に関する情報を患者モニタ３００及びセンサ認識ユニット４０から受信すると、センサの位置は、身体の左側又は右側からの関節であるとして識別された関節の位置とリンクされる。

図６は、本発明による患者の骨格モデル３６を提供するためのシステム１００の第３の実施例の概略図を示す。システム１００は、装置１０と、患者の右側のこめかみに取り付けられたＰＰＧセンサ５２と、患者の右腕に取り付けられた心電図センサと、カメラ５０と、患者の身体上のセンサの位置を特定するための装置３００とを有する。

ＰＰＧセンサ５２は、ＰＰＧ信号５６を提供し、該信号から装置３００がパルス到達時間を算出する。本実施例においては、ＰＰＧ信号５６は無線で送信される。装置３００は、算出されたパルス到達時間を装置３００の記憶装置に記憶された基準値と比較し、この比較を用いてセンサ５２を被験者の身体上において位置特定する。次いで、装置３００によって見出された身体位置データ３０が、更なる加工のために装置１０のセンサ位置ユニット１６に提供される。同時に、画像位置データ３２が生成される。これを行うために、カメラ５０からの画像が、その形状及び外部印加パターンによってＰＰＧセンサ５２を識別し位置特定するために使用される。センサ位置ユニット１６が、ＰＰＧセンサの位置に関する情報を患者モニタ３００及びセンサ認識ユニット４０から受信すると、センサの位置は、識別された関節の位置にリンクされる。特に、前記関節は、患者の右身体部分に割り当てられ得る。

患者の右腕に取り付けられたＥＣＧセンサ６０は、ＥＣＧデータ６２を姿勢推定ユニット１４に提供し、姿勢推定ユニット１４は、ＥＣＧデータ６２を使用して患者の姿勢を推定する（即ち姿勢推定データ２６を生成する）ように構成される。心臓軸の向きは、地球の重力場における身体の位置及び向きに依存するので、異なる身体姿勢は、異なるＥＣＧ信号をもたらす。特に、姿勢推定ユニット１４において対応する姿勢とともに記憶されたＥＣＧパターンと、ＥＣＧデータ６２を比較することによって、姿勢推定ユニット１４は、ベッド内の患者の姿勢に関する情報を抽出することができる。

図７は、センサを身体上に配置するための装置３００の一実施例の概略図を示す。装置３００は、比較ユニット３０２と、分析ユニット３０４と、ユーザインタフェース３０６とを有する。本実施例においては、比較ユニット３０２は、患者の身体の左側部分に由来するＰＰＧ信号５６と、患者の身体の右側部分に由来するＰＰＧ信号５８とを取得する。比較ユニット３０２においては、パルス強度及び／又はパルス到達時間を含むＰＰＧ信号特性（最初に導出されなければならない場合がある）に関して、両方の信号５６及び５８が互いに比較される。更に、信号５６及び５８は、ユーザインタフェース３０６によって提供されるユーザ情報３０８に含まれる基準値と比較され得る。次いで、比較３１０の結果は、分析ユニット３０４に提供される。比較３１０の結果を使用して、分析ユニット３０４は、ＰＰＧ信号５６及び５８の各々に、これら信号が由来する患者の身体上の位置を割り当てても良い。特に、分析ユニット３０４は、左右のＰＰＧ信号５６及び５８が左又は右の身体部分のいずれから来るかを割り当てても良い。ユーザインタフェース３０６によって提供されるユーザ情報３０８を用いて、より正確な割り当てが達成され得る。例えば、ユーザインタフェース３０６は、ＰＰＧセンサが患者の指に使用されるセンサであるという情報を提供しても良い。この情報を全て収集して、分析ユニット３０４は、センサ情報データ２８を生成することができる。

図８Ａ及び８Ｂは、患者の左右の指から同時に得られたＰＰＧ信号を示す。示された信号は、２０００Ｈｚのサンプリング周波数で得られている。信号は任意単位で示されるが、左右の指からの信号はこの単位で比較可能である。左側及び右側からの信号の時間間隔のみが示され、ｘ軸は表示された時間間隔のサンプル番号を示す。

図８Ｃは、同時に測定されたＥＣＧ信号８３と共に、左指及び右指からの同じＰＰＧ信号８１及び８２をそれぞれ示す。これら信号は、ｙ軸に沿って任意単位でプロットされ、これら３つの信号全てを一緒にプロットすることによって、ＥＣＧ信号及びＰＰＧ信号におけるピークの位置のような信号特徴のタイミング情報のみが、この図により示されることが意図される。示された全ての信号は、２０００Ｈｚのサンプリング周波数で同期して記録された。明確さのために、記録全体の時間間隔のみが示されており、図中のｘ軸は対応するサンプル番号を表している。パルス到着時間（ＰＡＴ）を計算するために堅固に検出できるので、ＰＰＧのピークが使用されている。最も急峻な上昇ストロークの位置のような他のＰＰＧ形態学的基準点もこの目的のために使用することができる。ＰＰＧ信号の最大値は、対応するセンサが身体にどのように取り付けられているか（例えばいかにきつく又は緩く取り付けられているか）によって変動する可能性がある。

図９Ａは、左及び右の指ＰＰＧ信号からそれぞれ計算されたパルス到着時間９１及び９２を示す。パルス到着時間（ＰＡＴ）は、ＰＰＧ信号の最大値と（対応する) ＥＣＧ信号の最大値との間の時間差として計算される。ＰＡＴは、図９Ａに示されている心周期における各拍動について計算することができ、計算されたＰＡＴは、ｙ軸にミリ秒でプロットされている。対応する拍動数は、ＰＡＴが拍動毎にどのように変化するかを示すためにｘ軸に示されている。図９Ａから、患者の左指での測定に対応するパルス到着時間９１は一般に、患者の右指での測定に対応するパルス到着時間９２よりもより短いことが分かる。両パルス到達時間の差は０ｍｓ (−２ｍｓ）から約３５ｍｓの範囲である。

図９Ｂは、左指及び右指からのＰＰＧ信号に対するパルス到着時間値の分布９３及び９４をそれぞれ示す。この分布は、図９ＡにプロットされたＰＡＴ値に対するカーネル密度推定手順を使用して計算された。図９Ｂによれば、右指ＰＰＧ信号のパルス到着時間は一般に、左指ＰＰＧ信号のパルス到着時間よりも長い。ほとんどの場合、左指及び右指でそれぞれ測定されるＰＡＴ間の差は、約１７ｍｓである。この差は、人体内の心臓の位置によるものである。心臓は通常、人間の左側に位置しているので、心臓から左指へと血液が流れる経路は、心臓から右指へ流れる経路よりもより短い。従ってパルスは、右指よりも左指に早く到着する。

図１０は、本発明による患者の骨格モデルを提供するための方法の第１の実施例のフロー図を示す。

第１のステップＳ２において、患者の深度画像及び対応する画像データ２２が、例えばコンピュータから取得される。次のステップＳ４では、画像内の患者センサが探される。センサ認識は、センサに取り付けられた特定のマーカによって容易にすることができる。本ステップにおいて、画像位置データ３２が生成される。ステップＳ６において、関節位置データ２４は、画像データ２２によって表される画像内の患者の１つ以上の関節を位置特定することによって生成される。該第１の実施例においては、関節位置データ２４の前に画像位置データ３２が生成されるが、逆の順序を有する他の実施例も考えられる。関節位置データ２４及び／又は画像データ２２自体を使用して、ステップＳ８において、このベッド内の患者の姿勢が推定される。従って、このステップでは、姿勢推定データ２６が生成される。ステップＳ１０において、患者の身体上のセンサの位置に関する情報を含む身体位置データ３０が取得される。前記データを画像位置データ３２と組み合わせることによって、ステップＳ１２においてセンサ位置データ２８が生成される。続いて、ステップＳ１４において、関節位置データ２４からの情報、姿勢推定データ２６及びセンサ位置データ２８が融合されて、画像内の関節位置と患者の身体部分との間の適切な割り当てが得られる。患者の身体部位への関節の割り当てを得て、ステップＳ１６において骨格モデル３６が生成される。

図１１は、本発明による患者の骨格モデルを提供するための方法の第２の実施例のフロー図を示す。

本方法の第１の実施例とは対照的に、本方法の第２の実施例においては、身体位置データ３０は、患者の画像データ２２を取得した直後に取得される。次いで、画像データ２２を用いて、ステップＳ４、Ｓ６及びＳ８において、関節位置データ２４、姿勢推定データ２６及び画像位置データ３２を同時に生成する。ステップＳ１２において、画像位置データ３２及び身体位置データ３０は、センサ位置データ２８を生成するために互いにリンクされる。ステップＳ１４では、センサ位置データ２８、関節位置データ２４及び姿勢推定データ２６が互いに融合され、関節の曖昧さの解消を実行する、即ち画像内の関節位置間の正しい割り当てを得る。患者の身体部位への関節の割り当てを得て、ステップＳ１６において骨格モデル３６が生成される。続いて、別の画像から骨格モデルを生成する処理が開始される（Ｓ２）。異なる画像２２に対応する少なくとも２つの骨格モデル３６が生成されると、ステップＳ１８において、患者の動きを追跡するために異なる骨格モデルが互いに比較される。更に、該比較は、当該ステップにおいて、骨格モデルを得るための方法を洗練し、骨格モデル３６自体を洗練するために、使用される。任意のステップＳ２０では、比較結果を更に使用して、関節識別ユニット１２内の関節の識別及び位置特定が洗練されても良い。

本発明は図面及び以上の記述において詳細に説明され記載されたが、斯かる説明及び記載は説明するもの又は例示的なものであって、限定するものではないとみなされるべきであり、本発明は開示された実施例に限定されるものではない。図面、説明及び添付される請求項を読むことにより、請求される本発明を実施化する当業者によって、開示された実施例に対する他の変形が理解され実行され得る。

請求項において、「有する（comprising）」なる語は他の要素又はステップを除外するものではなく、「１つの（a又はan）」なる不定冠詞は複数を除外するものではない。単一の要素又はその他のユニットが、請求項に列記された幾つかのアイテムの機能を実行しても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。

コンピュータプログラムは、他のハードウェアと共に又はその他のハードウェアの一部として供給される光記憶媒体又は固体媒体のような適切な媒体上で保存／配布されても良いが、インターネット又はその他の有線若しくは無線通信システムを介してのような、他の形態で配布されても良い。

請求項におけるいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

Claims (14)

1. 患者の骨格モデルを提供するための装置であって、
   深度情報を有する前記患者の画像及び対応する画像データを取得し、前記画像における前記患者の１つ以上の関節を位置特定することにより関節位置データを生成するよう構成された、関節識別ユニットと、
   前記関節位置データ及び／又は前記画像データを用いて前記患者の姿勢を推定することにより、姿勢推定データを生成するよう構成された、姿勢推定ユニットと、
   前記患者の身体におけるセンサの位置についての情報を有する身体位置データと、前記画像におけるセンサの位置についての情報を有する画像位置データと、を取得し、前記身体位置データ及び前記画像位置データに基づいて、前記画像におけるセンサ位置を前記患者の身体位置に割り当てる、センサ位置データを生成するよう構成された、センサ位置ユニットと、
   前記関節位置データ、前記姿勢推定データ及び前記センサ位置データを用いることにより、前記患者の１つ以上の身体位置に対する１つ以上の関節の割り当てを実行するよう構成された、割り当てユニットと、
   前記身体位置に対する前記関節の割り当てに基づいて、前記患者の骨格モデルを生成するよう構成された、骨格モデリングユニットと、
   を有する、装置。
2. 前記患者のバイタルサインに対応するセンサ信号を取得し、前記センサ信号に基づいて前記身体位置データ及び／又は前記姿勢推定データを生成するよう構成された、センサ情報ユニットを更に有する、請求項１に記載の装置。
3. 前記画像において前記センサを位置特定することにより画像位置データを生成するよう構成されたセンサ認識ユニットを更に有する、請求項１又は２に記載の装置。
4. 前記姿勢推定ユニットは、前記センサ位置データを更に用いて前記姿勢推定データを生成するよう構成された、請求項１乃至３のいずれか一項に記載の装置。
5. 前記バイタルサインに対応するセンサ信号は、心電図データ、フォトプレチスモグラフィデータ、血圧データ、体温データ、血中酸素飽和度データ、脈拍数データ、脈拍強度データ及び脈拍到達時刻データのうちいずれか１つを有する、請求項２乃至４のいずれか一項に記載の装置。
6. 前記姿勢推定ユニットは、前記患者が仰臥位で横たわっている仰臥位姿勢と、前記患者が伏臥位で横たわっている伏臥位姿勢と、前記患者が横向きに横たわっている横向き姿勢と、を区別するよう構成された、請求項１乃至５のいずれか一項に記載の装置。
7. 前記姿勢推定ユニットは、前記画像における１つ以上の関節の分布を識別することにより、前記患者の姿勢を推定するよう構成された、請求項１乃至６のいずれか一項に記載の装置。
8. 前記関節識別ユニットは、前記画像における１つ以上の極点を位置特定するよう構成され、前記姿勢推定ユニットは、前記画像における前記極点の分布を識別することにより、前記患者の姿勢を推定するよう構成された、請求項１乃至７のいずれか一項に記載の装置。
9. 前記関節識別ユニットは、機械学習法、特に深層学習アルゴリズム、更に特に畳み込みニューラルネットワークを用いて、１つ以上の関節を位置特定する、請求項１乃至８のいずれか一項に記載の装置。
10. ２つ以上の連続する深度画像及び対応する２つ以上の骨格モデルに基づいて、前記患者の動きを追跡するよう構成された、追跡ユニットを更に有する、請求項１乃至９のいずれか一項に記載の装置。
11. 前記追跡ユニットは、前記２つ以上の骨格モデルの間の比較を実行するよう構成され、前記関節識別ユニットは、前記比較に基づいて前記関節位置データを適合させるよう構成され、及び／又は、前記骨格モデリングユニットは、前記比較に基づいて前記骨格モデルを適合させるよう構成された、請求項１０に記載の装置。
12. 患者の骨格モデルを提供するためのシステムであって、
    請求項１乃至１１のいずれか一項に記載の患者の骨格モデルを提供するための装置と、
    前記患者の１つ以上のバイタルサインを検出することにより１つ以上のセンサ信号を生成するよう構成された１つ以上のセンサ、及び／又は、前記患者の画像を取得し深度情報を有する対応する画像データを生成するよう構成された深度カメラと、
    を有する、システム。
13. 患者の骨格モデルを提供するための方法であって、
    深度情報を有する前記患者の画像及び対応する画像データを取得し、前記画像における前記患者の１つ以上の関節を位置特定することにより関節位置データを生成するステップと、
    前記関節位置データ及び／又は前記画像データを用いて前記患者の姿勢を推定することにより、姿勢推定データを生成するステップと、
    前記患者の身体におけるセンサの位置についての情報を有する身体位置データと、前記画像におけるセンサの位置についての情報を有する画像位置データと、を取得し、前記身体位置データ及び前記画像位置データに基づいて、前記画像におけるセンサ位置を前記患者の身体位置に割り当てる、センサ位置データを生成するステップと、
    前記関節位置データ、前記姿勢推定データ及び前記センサ位置データを用いることにより、前記患者の１つ以上の身体位置に対する１つ以上の関節の割り当てを実行するステップと、
    前記身体位置に対する前記関節の割り当てに基づいて、前記患者の骨格モデルを生成するステップと、
    を有する方法。
14. 患者の骨格モデルを提供するためのコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されるときに、請求項１３に記載の方法のステップを前記コンピュータに実行させるためのプログラムコード手段を有する、コンピュータプログラム。

Images