JP2021086605A - イベントの防止及び予測のためのシステム及び方法、コンピュータ実施方法、プログラム、及びプロセッサ - Google Patents

Abstract

【課題】落下が発生する前に落下を予測するイベントの防止及び予測のためのシステム及び方法、コンピュータ実施方法、プログラム及びプロセッサを提供する。【解決手段】コンピュータ実施方法は、環境内の物体の上に配置された対象の情報に基づいて、データストリームを生成することと、データストリームについて、センサから抽出された時空間特徴によって表される物体又は環境に対する対象の動きに関連付けられた特徴を抽出することと、抽出された特徴に基づく動きの尤度に関連付けられた予測及び複数の落下リスク要因に基づく動きのリスクプロファイルを生成することと、行動を実行するために、予測及びリスクプロファイルをルールベースに適用することと、を含む。【選択図】図４

Description

関連出願の相互参照
本出願は、２０１９年８月１日に出願された米国仮特許出願第６２／８８１，６６５号明細書の優先権を主張し、その全内容は参照により本明細書に組み込まれる。

実施例の態様は、行動予想、電子健康記録、及び個々のイベントリスクプロファイルの組み合わせによるイベントの防止及び予測に関連付けられた方法、システム、及びユーザ体験に関する。

関連技術では、人がベッド、椅子、又はその他の物体から落下する可能性がある。このような落下は、軽度のあざ、身体障害、又は死亡などの怪我を人に生じる可能性がある、重大な問題である。入院又は病院環境では、落下及び関連する怪我は、入院中に患者が把握する主要な状態の一部である。米国では、毎年１００万人を超える患者が病院内で落下しており、これは病院が把握した状態の８５％を占めると推定される。さらに、患者の落下の２９％から５５％は怪我を招き、落下による怪我に関わる費用は年間３００億ドルを超える。落下検出への関連技術アプローチは、病院などの医療施設、並びにそのスタッフにも、著しい経済的、感情的、及び法的な圧力を課す可能性がある。

落下の問題に対処するための関連技術アプローチは、患者がベッドから落下した後に警告を発するための、ベッド脱出警報若しくはベッド又は床のパッドの使用などのイベント検出アプローチに焦点を当ててきた。関連技術アプローチは、落下が発生した後に落下を検出するために、センサデータを分析する。しかしながら、センサデータに加えて、落下の一因となり得る人口構成、健康状態、及び周辺又は周囲環境など、その他の多面的な要因がある。

図１（ａ）から図１（ｃ）は、様々な関連技術アプローチを示している。いくつかの関連技術アプローチは、パッド上の圧力の有無に反応して警報がトリガされるように、圧力ベースになっている。たとえば、図１（ａ）は、感圧パッド１０１に圧力がかかると警報がトリガされ得るように、ベッドで寝ている患者の下に配置された感圧パッド１０１を示している。しかしながら、この関連技術アプローチは、様々な問題及び不都合を有する可能性がある。たとえば、この関連技術アプローチは反応性であり、患者がベッドから出る前に十分に迅速に起動されない可能性がある。たとえば、ただし限定ではなく、圧力ベースの関連技術アプローチは、患者の体重差及び非落下運動による頻繁な誤警報、並びに上記で説明したような起動の不適切なタイミングの問題をもたらす可能性がある。したがって、圧力パッドは、患者がベッドから出るのを検出するには正確ではない場合がある。

あるいは、患者は落下時又は落下後に警報を手動で起動してもよい。図１（ｂ）は、患者が寝ることができるベッドのフレームに配置されたベッド脱出警報１０３を示している。他のアプローチは、患者とともにシッターを利用すること、又はベッド拘束１０５として図１（ｃ）に示されるような患者自体の動きを防止するベッド拘束を含む。

加えて、関連技術では、看護師は、落下リスクが高い患者に追加のリソースを投入する必要がある。落下リスクの評価は、モース・フォール・スケール（Ｍｏｒｓｅ Ｆａｌｌ Ｓｃａｌｅ）又は運動テストなど、関連技術のリスク評価ツールに基づくことができる。しかしながら、この関連技術アプローチは、様々な問題及び不都合を有する。たとえば、ただし限定ではなく、事実上病院内のすべての患者の落下リスクが高いと評価されるため、これらのリスク評価は信頼できない。したがって、これは落下リスクの高い特定の患者にリソースを割り当てるのに有用なツールではない。さらに、落下リスクは、移動性のみならず、関連技術のリスク評価テストでカバーされない別の要因にも関連している可能性がある。これらの別の要因は、たとえば、周囲環境、医療プロセスなどを含み得る。

加えて、関連技術アプローチを採用している看護師が追加のリソースを投入したとしても、介入が必要なときに患者が看護師を呼ぶのを忘れたり、呼ぶことができなかったりする可能性がある。また、リスク評価の難しさが、いつ患者が介入を必要とするかに関する課題を提示するので、関連技術アプローチは、患者のケアに優先順位を付けること、及びどの患者が介助を必要とする場合があるか区別することを困難にする。

さらに、いくつかの関連技術アプローチは、視覚的特徴として運動履歴画像シーケンスを使用することができ、活動分類のマルコフモデルでは、運動履歴画像は、求められる動きを手動で選択する必要があって照明又はカメラのわずかな振動に敏感であり、微妙な人間の姿勢の変化を見落とす可能性がある。このような関連技術アプローチは、ベッド内の活動にのみ焦点を当てており、落下のリスクの分析のために文脈的特徴を使用しない。関連技術アプローチはまた、本明細書に記載される高密度軌跡（ｄｅｎｓｅ ｔｒａｊｅｃｔｏｒｙ）又はディープラーニングアプローチ（ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ）の代わりに、セグメント化された運動履歴も適用する。

Preventing falls in hospitals. https://www.ahrq.gov/professionals/systems/|hospital/fallpxtoolkit/fallpxtk3.html. Accessed: 2019-06-10. AMBROSE. A. et al. "Risk factors for falls among older adults: a review of the literature" Maturitas, 2013; pp. 51-61, Vol. 75, Issue 1. ATTENELLO, F, et al. "Incidence of "never events" among weekend admissions versus weekday admissions to US hospitals: national analysis" BMJ (online), April 2015, 350:h1460, 2015. CIPPITELLI, E. et al. "Radar and RGB-Depth Sensors for Fall Detection: A Review" IEEE Sensors Journal, 2017,17 (12): pp. 3585-3604. CUTTLER, S. ET AL. "Reducing medical-surgical inpatient falls and injuries with videos, icons and alarms" BMJ Open Quality, 6(2):e000119, 2017 (9 pages). DAI, XIAOXIAO "Vision-Based 3D Human Motion Analysis for Fall Detection and Bed-Exiting" Electronic Theses and Dissertations 152.2013 (65 pages) FEDER, G. et al "Guidelines for the prevention of falls in people over 65" BMJ. 2000 Oct 21; 321(7267): 1007-1011 FEIL, M. et al. The Use of Patient Sitters to Reduce Falls: Best Practices "Pennsylvania Patient Safety Advisory, Vol. 11. No.1; March 2014 (8 pages). OZDEMIR, A. T. et al "Detecting Falls with Wearable Sensors Using Machine Learning Techniques" Sensors 2014, 14, 10691-10708; doi: 10.3390/s140610691 RAJAGOPALAN, R. et al. "Fall Prediction and Prevention Systems: Recent Trends, Challenges, and Future Research Directions" Sensors, November 2017,17(11):2509.(17 pages) . SINGH,I. et al. "Risk of inpatient falls is increased with single rooms" BMJ 2013,1 page. VERONESE, N. et al. "Association Between Short Physical Performance Battery and Falls in Older People: The Progetto Veneto Anziani Study" Rejuvenation Research, June 1, 2014,17(3); pp.276-284. WANG, H. et al. "Action Recognition with Improved Trajectories" CCV- IEEE International Conference on Computer Vision, Dec 2013, Sydney, Australia, pp.3551-3558. WILLIAMS, T. et al "An analysis of patient falls and fall prevention programs across academic medical centers" Journal of Nursing Care Quality: January/March 2014 - Volume 29 - Issue 1-p 19-29. YOSHIDA, S. "A Global Report on Falls Prevention Epidemiology of Falls" Ageing and Life Course Family and Community Health World Health Organization, 2007 (40 pages). ZHOU, J. et al. "The Complexity of Standing Postural Sway Associates with Future Falls in Community-Dwelling Older Adults: The MOBILIZE Boston Study" Scientific reports, 7(1):2924,2017.

非限定的実施例の態様は、落下の防止に関し、より具体的には、落下が検出された後にのみ反応するのではなく、潜在的に落下を防止するために、落下が発生する前に落下を予測することに関する。
本開示の技術は、落下が発生する前に落下を予測することの可能なコンピュータ実施方法、プログラム、及びプロセッサを提供することを目的とする。

第１の態様によれば、コンピュータ実施方法であって、環境内の物体の上に配置された対象の情報に基づいて、データストリームを生成し、データストリームについて、物体又は環境に対する対象の動きに関連付けられた特徴を抽出し、ここで動きはセンサから抽出された時空間特徴によって表されるものであり、抽出された特徴に基づく動きの尤度に関連付けられた予測、及び複数の落下リスク要因に基づく動きのリスクプロファイルを生成し、行動を実行するために、予測及びリスクプロファイルをルールベースに適用するための、コンピュータ実施方法が提供される。
第２の態様は、第１の態様において、前記情報は、カメラセンサ及び運動センサのうちの少なくとも１つによって感知される。
第３の態様は、第２の態様において、前記カメラセンサは、深度センサ又は温度センサを含む。
第４の態様は、第１の態様において、前記特徴を抽出することは、前記データストリーム内のフレームのシーケンスから前記時空間特徴を学習するために前記特徴又は畳み込みニューラルネットワーク（ＣＮＮ）を抽出するために高密度軌跡を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することと、を含む。
第５の態様は、第１の態様において、前記予測を生成することは、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又は畳み込みニューラルネットワークに提供することであって、その出力は、前記予測を生成するためにソフトマックス層に供給される、ことを含む。
第６の態様は、第１の態様において、前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される。
第７の態様は、第１の態様において、前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行することと、を含む。
第８の態様は、第１の態様において、前記行動は、前記対象の信号を生成すること、前記物体の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む。
第９の態様は、第１の態様において、前記対象は人であり、前記物体はベッド又は椅子であり、前記動きは前記人が前記ベッド又は椅子から落下することである。
第１０の態様は、プロセッサに、環境内の物体の上に配置された対象の情報に基づいて、データストリームを生成することと、前記データストリームについて、前記物体又は前記環境に対する前記対象の動きに関連付けられた特徴を抽出することであって、前記動きは時空間の視覚的特徴によって表される、抽出することと、前記抽出された特徴に基づく前記動きの尤度に関連付けられた予測、及び複数の落下リスク要因に基づく前記動きのリスクプロファイルを生成することと、行動を実行するために、前記予測及び前記リスクプロファイルをルールベースに適用することと、を実行させるプログラムである。
第１１の態様は、第１０の態様において、前記情報は、カメラセンサ及び／又は運動センサのうちの少なくとも１つによって感知され、前記カメラセンサは深度センサ又は温度センサを備える。
第１２の態様は、第１０の態様において、前記特徴を抽出することは、前記データストリーム内のフレームのシーケンスから前記特徴を抽出するために前記時空間の視覚的特徴を学習するために高密度軌跡又は畳み込みニューラルネットワーク（ＣＮＮ）を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することと、を含む。
第１３の態様は、第１０の態様において、前記予測を生成することは、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又は畳み込みニューラルネットワークに提供することを含み、その出力は、前記予測を生成するためにソフトマックス層に供給される。
第１４の態様は、第１０の態様において、前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される。
第１５の態様は、第１０の態様において、前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行すること、を含む。
第１６の態様は、第１０の態様において、前記行動は、前記対象の信号を生成すること、前記物体の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む。
第１７の態様は、第１０の態様において、前記対象は人であり、前記物体はベッド又は椅子であり、前記動きは前記対象が前記ベッド又は椅子から落下することである。

実施例はまた、ストレージ及びプロセッサを有する非一時的コンピュータ可読媒体も含むことができ、プロセッサは、行動予想、電子健康記録、及び個々のイベントリスクプロファイルによってイベントの防止及び予測のための命令を実行することができる。
第１８の態様は、要求を処理することが可能なプロセッサであって、前記プロセッサは、環境内のベッド又は椅子の上に位置する対象の情報に基づいて、データストリームを生成する操作と、前記データストリームについて、前記ベッド又は椅子又は前記環境に対する前記対象の落下に関連付けられた特徴を抽出する操作であって、前記落下は時空間の視覚的特徴によって表されるものである、抽出する操作と、前記抽出された特徴に基づく前記落下の尤度に関連付けられた予測、及び複数の落下リスク要因に基づく前記落下のリスクプロファイルを生成する操作と、行動を実行するために、前記予測及び前記リスクプロファイルをルールベースに適用する操作と、を実行するように構成されているプロセッサである。
第１９の態様は、第１８の態様において、前記特徴を抽出する操作は、前記データストリーム内のフレームのシーケンスから前記時空間の視覚的特徴を学習するために前記特徴又は畳み込みニューラルネットワーク（ＣＮＮ）を抽出するために高密度軌跡を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することとを含み、前記予測を生成する操作は、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又はディープニューラルネットワークに提供することを含み、その出力は、前記予測を生成するためにソフトマックス層に供給され、前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される。
第２０の態様は、第１８の態様において、前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行することと、を含み、前記行動は、前記対象の信号を生成すること、前記ベッド又は椅子の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む。

関連技術アプローチを示す図である。 関連技術アプローチを示す図である。 関連技術アプローチを示す図である。

実施例による、対象及び部屋の様々な態様を示す図である。

いくつかの実施例による、システムの様々な態様を示す図である。

いくつかの実施例による、視覚システムに関連付けられた、若しくは行動又はイベントを予測するワークフローを示す図である。

いくつかの実施例による、視覚システムに関連付けられた、若しくは行動又はイベントを予測するワークフローの絵図である。

いくつかの実施例による、局所特徴の高密度サンプリングを示す図である。 いくつかの実施例による、局所特徴の高密度サンプリングを示す図である。 いくつかの実施例による、局所特徴の高密度サンプリングを示す図である。

いくつかの実施例による、予測事例の抽出を示す図である。

いくつかの実施例のプロセス例を示す図である。

いくつかの実施例での使用に適した例示的なコンピュータ装置を有する例示的な計算環境を示す図である。

いくつかの実施例に適した環境例を示す図である。

以下の詳細な説明は、本出願の図面及び実施例のさらなる詳細を提供する。明確さのため、図面間の冗長な要素の参照番号及び説明は省略される。説明全体にわたって使用される用語は、例として提供されており、限定することを意図するものではない。

実施例の態様は、イベントの発生に先立つイベントの防止に関連するシステム及び方法を対象とする。たとえば、イベントは、物体（たとえば、環境）に対する対象（たとえば、人間）の動き、より具体的には、ベッド又は椅子からの人間（たとえば、患者）の落下に関し、これは病院内の対象又は介護施設の入居者などであり得、引き続き対象と呼ばれる。たとえば、ただし限定ではなく、前述の実施例は、夢遊病又は睡眠中のその他の異常な動きなどの状態に対処するために、対象の住居内など、非病院設定で適用され得る。さらに、実施例は、睡眠時無呼吸、乳幼児突然死症候群（ＳＩＤＳ：Ｓｕｄｄｅｎ Ｉｎｆａｎｔ Ｄｅａｔｈ Ｓｙｎｄｒｏｍｅ）、又はその他の状態など、他のタイプの状態に関するリスクを予測して対処し得る、別のタイプのセンサに組み込まれ得る。上記で説明されたのと類似の方法で、病院のベッドの制御に関して、実施例は、経静脈栄養法、酸素供給、呼吸サポートなど、その他の医療機器を制御してもよい。

運動軌跡及びディープリカレントニューラルネットワーク（ＲＮＮ）に基づいて、対象が安全な位置を出ようとしているか否かを予測するために、視覚ベースの方法が提供される。また、動的で対象特有の落下リスクプロファイリングは、以下で説明されるように、内的及び外的要因に基づいて提供される。さらに、対象がベッド内の位置を出そうであるか否かの予測モデルとリスクプロファイリングとの組み合わせは、異なるリスク状況に陥ることの異なる重大性に基づいてカスタマイズ又は調整される落下の防止のために提供される信号伝達戦略を生成するために使用される。

より具体的には、実施例は、落下予測分析及び防止のための信号など、落下防止のためのシステム及び方法を含む。ビデオカメラなどのセンサから受信した情報は、対象の怪我のリスクを予想するために使用でき、ベッド又は椅子などの安全な位置から対象が動く尤度を連続的に推定し得る。

たとえば、センサは、対象の活動を監視し得る、対象の周囲の非侵入型の視覚ベースのセンサであってもよい。ビデオの色、グレースケール、深度、及びその他の態様が提供され得る。さらに、センサは、対象の動きを検出するためにパッシブ赤外線、マイクロ波、超音波、又はその他の媒体を捕捉するために提供され得る。

さらに、センサは、対象自身のごく近い場所での活動を感知するだけでなく、対象、ベッド又は椅子などの対象の安全な場所、及び対象が位置する部屋の周辺環境を含むがこれらに限定されない、対象の環境全体も感知することに、留意する。

この尤度は動的であり、対象ごとに異なる可能性がある。また、尤度は一般に、対象がベッドに横たわるか又は椅子に座るなどの安全な位置にいるときに低くなり、対象が安全な位置から動いて安全な位置から出ようとすると増加する。落下が実際に発生する前に落下を予測することで、落下を防止することができるかもしれない。

システムは、たとえば対象の健康記録から受信した情報、行動パターン、バイタルサイン、及び周囲の状況に基づいてリスク要因を監視することによって、連続的に更新できる。落下を防止するために実行すべき信号伝達戦略に関する推奨を提供するために、信号伝達の重大性に基づいてランキングが提供され得る。その結果、落下が発生した後に検出するのではなく、発生に先立って落下が予測される。

実施例は、対象が安全な位置から出ようとしているか否かを予測する、視覚ベースのアプローチを採用する。時空間の視覚的特徴（たとえば、高密度軌跡）は、移動体のデータストリーム（たとえば、画像ストリーム）から局所的原子行動パターンを抽出するために使用される。さらに、特徴を符号化するためにフィッシャーベクトルが使用され、ベッド又は椅子などの環境に関連付けられた活動予測のためにニューラルネットワークが使用される。

さらに、実施例は動的で対象特有のリスクプロファイリングを採用するが、これは落下のリスクに関連付けられている。たとえば、活動履歴、内部要因、及び外部要因は、落下に関連付けられた個人のリスク分析を提供するために融合され得る。落下に関連付けられた複数のリスク要因が変数に符号化され、回帰分析を使用して落下リスクが計算され得る。対象の行動パターンの分析を使用することで、対象の次の行動を予測するための予測モデルが生成され得る。たとえば、ただし限定ではなく、対象が横たわっていて急に起き上がった場合、対象がベッドから出ようとする尤度を計算することができる。この計算に基づいて、落下が発生する前に止めるための信号を、出ようとしている対象又は別のエンティティに提供することができる。こうして、落下を防止又は回避するために使用され得る複数のレベルの尤度のうちの１つを有する信号が、生成及び提供される。

加えて、実施例にしたがって落下防止信号伝達戦略が提供される。たとえば、対象の落下リスクと対象が安全な位置から脱出する尤度とを組み合わせることによって、タイミング及び介入の仕方とともに、介入の重大性が決定され得る。

実施例の態様は、イベントの予測を対象とし、より具体的には、対象がベッド又は椅子から脱出又は出るのを予測することを対象とする。実施例は、早期の予測及びリスク評価、これに続くタイムリーな行動を対象とする。本明細書で説明されるアプローチは、行動予想、電子健康記録、及び個別の落下リスクプロファイルを組み合わせる。

図２は、実施例によって提案されたシステム２００を示す。環境２０１で、ベッド又は椅子などの物体２０３が提供される。対象２０５は、物体２０３上の静止位置にいる。さらに、運動センサ２０７及びカメラセンサ２０９が設けられている。運動センサ２０７は、パッシブ赤外線、マイクロ波、又は超音波、若しくはこれらの組み合わせのタイプの運動センサを含み得るが、これらに限定されない。カメラセンサ２０９は、グレースケール、ＲＧＢ（赤緑青）、暗視、深度、及び／又はサーマルを含むがこれらに限定されない、１又は複数のタイプから選択され得る。運動センサ２０７及びカメラセンサ２０９は、部屋の天井又は壁などの組み合わせた場所に配置されてもよく、又は別々の場所に配置されてもよく、たとえば深度カメラ又は運動センサの使用など、プライバシーを保護するやり方で必要な情報を提供するために配置又は選択され得る。カメラの代わりの運動センサの使用、対象に関して感知又は収集された情報の匿名化、環境などを含むがこれらに限定されない、その他のプライバシー保護アプローチが提供されてもよい。

実施例によれば、そしてより具体的には、病院情報などの電子データを有する１又は複数のセンサから受信したデータを自動学習システムに組み込むことによって、ディープニューラルネットワークは、対象が安全な位置から脱出する尤度Ｐを予測するために、視覚ベースの行動予想を提供する。さらに、内在的、個人的、及び文脈的な特徴が、落下のリスクＲを推定するために融合される。

たとえば、対象が同じ位置から脱出する尤度Ｐ_ｔ、及び時間ｔにおける対象の落下に関連付けられた落下リスクＲ_ｔが計算され得る。たとえば、ただし限定ではなく、対象がベッドに横たわっている場合、Ｐ_ｔは対象がベッドから出る尤度を表し、Ｒ_ｔは対象が落下するリスクに関する連続的なリスクプロファイリングを表す。Ｒ_ｔが、所定の閾値を超えるなど、高いとき、対象又は対象の世話を担当する他者には、リスクの高い対象の介助を進めることができるように、高い注意喚起が提供されるべきである。一方、Ｒ_ｔが低いときは、実施例に関連する精度が向上するため、誤警報が回避され得る。

加えて、Ｐ及びＲは、適用される落下防止介入戦略の重大性を決定するために組み合わせられる。たとえば、以下のルールベースによる重大性のレベルに基づいて、信号が生成及び発信されてもよい。

・Ｐが低くＲも低い場合、信号を送らない

・Ｐが低くＲが高い場合、介助の要求を提案するために対象に信号を送る

・Ｐが高くＲが低い場合、安全手順に従うように対象に信号を送る

・Ｐが高くＲも高い場合、安全な位置にとどまるように対象に信号を送り、介助のためにスタッフにも直接信号を送る。

図３は、実施例によるシステム概要を示す。システム概要３００に示されるように、上記で論じられたカメラ及び／又は運動センサから、複数の入力が提供される。

より具体的には、３０１に示されるように、カメラなどのセンサから、時空間の視覚的特徴が提供される。たとえば、ただし限定ではなく、３０１でのセンサからの入力は、ビデオストリーム３１１を含むがこれに限定されず、そのために、高密度軌跡などの、ただしこれに限定されない、時空間の視覚的特徴３１３が生成される。カメラは、対象だけでなく、又はベッドだけでもなく、部屋自体の周囲環境を含むがこれに限定されない、対象がいる環境全体を感知する。

３０３に示されるように、過去のイベント及び健康記録などの電子記録から情報が提供されてもよい。たとえば、ただし限定ではなく、過去のイベントは、３１９の、トイレに行くなど最新のイベントの時刻、３２１で警報が押されたなどの対象の行動などを含むが、これらに限定されない。健康記録は、３１５での血圧などの対象のバイタルサインに関連する情報、及び３１７での以前の落下回数などの過去の関連イベントに関する情報を含み得るが、これらに限定されない。

３０１からの感知情報及び３０３からの電子記録情報は、３２３で入力としてリカレントニューラルネットワーク（ＲＮＮ）に提供される。より具体的には、本実施例は、複数のフレーム３２５を含む、長・短期記憶（ＬＳＴＭ）ＲＮＮ又は深層畳み込みニューラルネットワーク（ＣＮＮ）を含み得る。この実施例では、３２７で２つの層を有するアプローチが提供される。

表１は、実施例に入力され得る感知情報３０１及び電子記録情報３０３の例を示す。リスク要因は、個人特有、環境的、及び行動ルーチンの３つの主要なカテゴリに分類される。個人特有リスク要因は、バイタルサイン、落下履歴、医療情報、身体情報、又は人口統計情報など、対象に関連付けられた情報を含む。環境的落下リスク要因は、場所、部屋タイプなどのユニット、同室者の存在、光強度及び温度、並びに時間情報など、周辺環境に関連付けられた情報を含む。行動リスク要因は、介助者の要求、トイレの使用（たとえば、連続的活動）、睡眠パターン情報（たとえば、カテゴリ別の活動）、及び医療プロセスなど、行動ルーチンに関連付けられた情報を含む。また、リスク要因変数は、連続変数又は離散変数として特徴付けられてもよい。

現在の医療事故について収集された情報を有することに加えて、情報は、たとえば以前の医療事故、若しくは家庭又は病院で発生する別の活動などに基づいて、事前に収集されてもよい。いくつかの実施例によれば、家庭と病院とで同じセンサが提供されてもよく、各設定で受信された情報は、ローカル環境向けに較正されてもよい。

表１に記載されたリスク要因は単なる例であり、当業者によって理解されるように、別のリスク要因が含まれてもよく、又はこれらのリスク要因に置き換えられてもよい。上述のように、関連技術アプローチは、環境的リスク要因を考慮していない。

前述のリスク要因の現在の状態の測定に加えて、追加の実施例は、長期的な測定を含んでもよい。たとえば、リスク評価は、対象、及び環境及び／又は行動ルーチンについて、経時的に取得されてもよい。経時的なリスク評価の変化は、リスク評価における将来の変化を予測するために使用され得る。一実施例では、表１に示されるものなどのリスク要因は、たとえば毎年、５年ごとなどの時間間隔で、対象について取得されてもよい。結果は、将来のリスクの予想を提供するために、長期的に分析され得る。

さらに、個人に特有であり得るリスク要因の変化に加えて、リスク要因は、環境に関しても変化し得る。たとえば、ただし限定ではなく、病院内の異なる部屋は、同じ対象及び同じ行動ルーチンでも異なるリスク要因を有する場合があり、又は異なる病院は、同じ診療科の同じ対象及び同じ行動ルーチンでも、異なるリスク評価を有する場合がある。これらの変化は、リソース割り当て、スタッフ配置、部屋の割り当て、病院のレイアウトなどに起因する可能性がある。本明細書で説明されるように、このような要因は、リスク要因の決定に組み込まれ得る。

ＬＳＴＭ ＲＮＮの出力３０５は高密度層３２９を含み、ＬＳＴＭ層は、様々な時間にベッドから出るなどのイベントの尤度（たとえば、タイムスタンプ）を予測するために、高密度層と組み合わせられる。本例示的実施例では、１、５、及びｋのタイムスタンプが、それぞれ３３１、３３３、及び３３５で表されている。

ベッドから出るという予測された尤度を提供する、３０５に示される出力は、現在の落下リスクを推定するために組み合わせられる。所望により、注意ベースのＬＳＴＭが使用されてもよい。より具体的には、このアプローチは、時間的関係マイニング（ｔｅｍｐｏｒａｌ ｒｅｌａｔｉｏｎｓｈｉｐ ｍｉｎｉｎｇ）中に特徴の重要性を学習し得る。あるいは、ゲート付き回帰型ユニット（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔｓ：ＧＲＵ）及び時間的畳み込みネット（ｔｅｍｐｏｒａｌ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｓ：ＴＣＮ）などの代替シーケンスモデルを使用する、別の実施例又は代替例も使用され得る。

図４は、実施例によって提案されたワークフローを示す。より具体的には、行動予想のビデオ監視コンポーネントに関連するワークフロー４００が提供される。出力は、現在の時間に、対象がベッドから出るなど、対象が安全な位置から動く尤度に関連付けられた連続スケールＰ∈［０，１］である。

４０１では、環境を感知するために、カメラセンサなどの感知装置が提供される。たとえば、及び上記で論じられたように、ＲＧＢ、ＲＧＢ−Ｄ、サーマル、及び暗視カメラを含むがこれらに限定されないカメラが採用され得る。たとえば、ただし限定ではなく、前景の対象をセグメント化するために、深度カメラ又はサーマルカメラが使用され得る。４０３では、ベッド又は椅子の上の対象の動き、並びに対象がいる部屋など、ベッドの周りの環境で生じる可能性のある人間の動きが、ストリーミングされる。

４０５で、フレームのシーケンスから特徴が抽出されるように、特徴抽出操作が実行される。たとえば、フレームレベルの特徴を表すために、画像及びオプティカルフローシーケンスを積層するための２ストリーム畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャが採用され得る。画像シーケンスからの空間データは外観情報を含み、オプティカルフローからの時間データは動き情報に関連付けられている。あるいは、骨格関節などの特徴が、特徴表現として使用されてもよい。

実施例によれば、連続するフレームのウィンドウは、動きパターンの時空間ダイナミクスを表す特徴を抽出するために処理されてもよい。たとえば、ただし限定ではなく、このような動きパターンは、ベッドで寝返りを打つ対象、及び座っている又は横になっている対象に関連付けられた動きを含み得る。一実施例によれば、行動ダイナミクスを表すために、高密度軌跡として知られる、高密度にサンプリングされた局所的な時空間特徴が使用されてもよい。このような局所特徴の高密度サンプリングは、疎な時空間関心点よりも優れている場合がある。

したがって、実施例は、高密度サンプリングアプローチ及び高密度軌跡に沿って抽出された局所特徴の使用を対象とする。したがって、背景のセグメント化を必要とせずに、人間の行動と非常に関連のある特徴が符号化され得る。実施例で使用され得るアプローチは、勾配方向ヒストグラム（ＨＯＧ）、オプティカルフローヒストグラム（ＨＯＦ）、及び動き境界ヒストグラム（ｍｏｔｉｏｎ ｂｏｕｎｄａｒｙ ｈｉｓｔｏｇｒａｍ：ＭＢＨ）を含むが、これらに限定されない。しかしながら、当業者によって理解されるように、これらのアプローチの代わりに別のアプローチが代用されてもよい。

４０７で、行動特徴が学習される。たとえば、システムが特徴符号化のためのコードブックを学習するように、ベッドで動き、椅子に座り、歩行する対象のビデオトレーニングデータが使用され得る。

４０９で、特徴ベクトルシーケンスが符号化される。特徴記述子の符号化は、異なる特徴タイプの組み合わせ、又は特徴のサブセットの使用を含み得る。訓練中に、たとえばガウス混合モデル（ＧＭＭ）を使用して、行動特徴がクラスター化される。テスト中、連続するフレームのウィンドウから抽出された特徴は、記述子の分布を学習できるフィッシャーベクトルとして符号化されてもよく、したがって各単語の出現頻度、並びに中心からの各記述子の距離に関連付けられた符号化追加情報に対して感度が低い場合がある。代替実施例によれば、特徴は、バッグオブビジュアルワード（ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ：ＢＯＶ）ソフトＢＯＶ、又はハッシングを使用して表されてもよい。

４１１で、情報は、ＲＮＮ予想モデルなどの予想モデルに供給される。予想モデルのさらなる詳細は、以下により詳細に論じられる。

図５は、実施例による行動予想のビデオ監視のワークフローの絵画的視覚化５００を提供する。潜在的なイベント又は行動に関して人間の行動を予想する目的は、連続ビデオストリームが与えられたときに、時間内に行動を予測することである。ビデオストリームは、互いにわずかな違いを有し得る複数の行動を含み、所定のシーケンスに従うルーチン活動など、複数の順次行動を含み得る。たとえば、ただし限定ではなく、正常な睡眠中の対象と落下リスクの高い異常な睡眠中の対象の睡眠パターンの違いは、睡眠イベント中の全体的な動きに対して、対象の動きに関するわずかな違いしかない場合がある。

本実施例は、フレームレベル表現の代わりに、局所的な時空間を抽出するために高密度軌跡を使用する。特徴カテゴリ（たとえば、軌跡、ＨＯＧ、ＨＯＦ、及びＭＢＨ）の各々における高密度軌跡の記述子のコードブックを構築するために、ガウス混合モデル（ＧＭＭ）が使用される。ビデオの短いシーケンスは、トレーニング済みコードブックからのフィッシャーベクトル、続いて短距離行動特徴表現と長距離行動依存を学習するためのＴＣＮ及びＬＳＴＭなどの高レベル時間モデルとの組み合わせを使用して、表現される。ＴＣＮモデルの場合、時間畳み込みネットワークは、畳み込みの反復ブロックと、これに続く非線形活性化からなる。

ＬＳＴＭモデルの場合、入力データの順次情報が使用され、メモリセルを使用して以前のサブシーケンスから抽出された情報が与えられると、現在のサブシーケンスが処理される。したがって、ＬＳＴＭは、入力特徴から短期及び長期の両方の依存パターンを学習することができる。本実施例は、２つの逆の単方向ＬＳＴＭを備える双方向ＬＳＴＭを含み得る。メモリユニットの後には、時間分散された高密度層が続いてもよく、その結果は、予測のために出力ソフトマックス層に供給され得る。

たとえば、５０１で、前景の人間の対象をセグメント化し、ベッド又は椅子の上の人間の動きのストリーミングを提供するための、深度カメラ又はサーマルカメラの使用が示されている。５０３で、特徴抽出で使用するための高密度軌跡の生成が開示される。さらに、５０５で、様々な高密度サンプリングアプローチが開示され、その結果、５０７でのＧＭＭトレーニング行動コードブックを使用するなど、行動特徴を学習する。５０９では、抽出された特徴をフィッシャーベクトルとして符号化することが開示され、５１１では、出力行動尤度が開示される。

図６（ａ）から図６（ｃ）は、高密度軌跡アプローチを採用する実施例を示す。図６（ａ）に示されるように、人は座っている位置にあり、関心点は、座っている人の周りで密度が高くなるようにサンプリングされる。図６（ｂ）の６０３に見られるように、サンプリングされた関心点は、点の異なる色、テクスチャ、又は形状として動きを示すことができる。座っている人の周りでより高い密度でサンプリングされるため、動きの粒度は高くなる。さらに、図６（ｃ）の６０５に示されるように、関心のある密度サンプル点は、人が椅子から出て歩いて行く動きを示す。

図７は、７００で、実施例による行動尤度を予測するためのトレーニング事例のモデル学習及び収集を示す。行動予想のトレーニング事例は、行動分類タスクのための（Ｌ，ｋ）個のタイムスタンプとして設定される。たとえば、７０１、７０３、７０５、及び７０７で、ベッドで寝返りを打つ、又は起き上がるなどの感知情報が、フレームとして示される。さらに、分類子は、トレーニングデータに基づいて、睡眠が、対象又は類似の状況にある別の類似の対象の睡眠パターン又は睡眠パターンに関連付けられた履歴情報に見られるなど、正常であるか、又は一方で、正常な睡眠活動とは見なされないかどうかを分類するが、後者は落下のリスクを示す可能性がある。

この情報は、特徴抽出のシーケンス７１５を表す。要素７０９、７１１、及び７１３は、起き上がる、出るなどのような、将来のタイムスタンプにおける今後の行動又はイベントを表す。タスクは、学習した長期パターン、並びに前のＬ個のフレームの間に行われた最近の観察に基づいて、今後のｋ個のタイムスタンプにおいて、対象がベッド又は椅子の安全な位置から動くか否かなどのイベント又は行動を予測し得る。

予測モデルへの入力は、上記で説明されたように、より具体的には図４の４１１で示されたように、符号化された特徴ベクトルの時系列である。ニューラルネットワークアプローチは、ＲＮＮの変型であるＬＳＴＭの使用、モデルの長期依存、及び入力に基づく予測の提供を含む。図３の３２７で上記に示されるように、一実施例は、７１７、７１９、及び７２１としてそれぞれ示される、後続の１、５、及びｎ個のタイムスタンプにおいて、対象がベッドの安全な位置から動く尤度を予測するために、１つの高密度層と組み合わせられた２つのＬＳＴＭ層を含む。これらの予測の出力は、現在の落下リスクの推定を提供するために組み合わせられる。

代替実施例として、時間的関係マイニング中に特徴の重要性を学習するために、注意ベースのＬＳＴＭが使用され得る。別の実施例は、ゲート電流ユニット（ｇａｔｅｄ ｃｕｒｒｅｎｔ ｕｎｉｔ：ＧＲＵ）及び時間的畳み込みネット（ＴＣＮ）を含むがこれらに限定されない、別のシーケンスモデルを使用してもよい。

より具体的には、ビデオサブシーケンス

からの連続するＭ個のフレームで、Ｘは、予測モデルへの入力である視覚的特徴表現を表す。時間ステップＴの入力Ｘ_ｔが与えられると、行動の尤度はＰ_ｔで予測される。実施例によれば、ディープニューラルネットワークの出力層でソフトマックス活性化関数が使用される場合、行動の出力尤度Ｐ_ｔは、現在の行動に属する現在の入力Ｘ_ｔの確率を得ることによって取得され得る。

したがって、本実施例は、動いている人体の画像ストリームから局所的原子行動パターンを抽出するための高密度軌跡の使用、並びに特徴及びニューラルネットワークを符号化するためのフィッシャーベクトル、及びベッド又は椅子にいる対象に関連付けられたイベント及び活動を予測するためのニューラルネットワークの使用、又は落下防止を提供する。

予測モデルに関連付けられた前述の予測情報に加えて、実施例はまた、各タイムスタンプについて、対象に特有の動的なリスクプロファイリングも含む。これらの実施例は、高い注意喚起又はリスクの高い対象を提供し得る。

上述のように、表１は、落下に関連するリスク要因を開示している。いくつかの要因は、既存の医学研究及び病院の報告に基づいて提供され得る。さらに、対象は、異なる組み合わせの落下に関連するリスク要因を有する場合があり、落下リスクは、対象の入院中を含め、経時的に変化し得る。さらに、リスクは医療部隊によって異なる場合があり、病院によっても異なる場合がある。

たとえば、６５歳超の年齢、歩行障害、視覚障害、又はボディマス指数（ＢＭＩ：Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）など、固有の対象の特徴は、より落下につながりやすいだろう。加えて、落下のリスクは、落下の履歴及び神経障害の病歴がある対象の方が高いだろう。対象の部屋の特性もまた、対象の落下及び怪我のリスクに影響し得る。たとえば、外科の患者は集中治療対象よりもリスクが高い可能性があり、個室の対象は、スタッフ配置の制限のため落下のリスクが高い可能性がある。さらに、夜間シフト中の方が頻繁に怪我をする可能性がり、高齢の対象は、新しい部屋に移動した初日に落下しやすい場合があるため、日数も重要な要因であり得る。

行動ルーチンもまた、落下のリスクに影響を及ぼす可能性がある。たとえば、ただし限定ではなく、トイレに行くなどベッドの安全な位置から動く必要性を示すために複数回呼び出しボタンを使用した対象は、ベッドから出る確率又は尤度が高くなる場合があるが、他の対象は、実際にベッドから出る必要がなくても呼び出しボタンを押す場合がある。対象がベッドから出た後の落下リスクに影響し得る個々の対象のバイタル評価は、血圧、薬物、及び最近の怪我を含み得る。たとえば、血圧の低下は起立性高血圧を示す可能性があり、これはより高い落下リスクに関連しており、５種類以上の薬物を摂取することで落下リスクが高まる可能性がある。

実施例は、表１に含まれるものを含む入力、及びリスク確率の計算に基づいて、落下のリスクのプロファイルを提供する。言い換えると、リスク要因は、医学研究、病院の報告などに基づいて提供され、データはセンサによって提供され、得られた落下リスク要因の各々の値が、連続的な又はカテゴリ別の特徴のいずれかとして、バイタルサイン、電子健康記録コレクションなどを含み、収集及び符号化されるようになっていてもよい。たとえば、ただし限定ではなく、バイタルサインは、自動的に感知されるか、又は病院スタッフによって収集されてもよい。

一実施例によれば、データセットが病院から入手可能な場合、特徴重みｂを学習し、落下リスクＲ∈［０，１］を推定するために、回帰分析法が適用されてもよい。あるいは、病院スタッフが、センサによって収集された変数の重要性の手動表示を提供してもよい。上述のように、センサは、ベッドでの対象のごく近い場所のみではなく全体的な環境を見るので、リスク要因として使用され得る追加情報を感知するように構成されている。入力リスク変数は、上記で説明されたように連続的な又はカテゴリ別の特徴のいずれかとして符号化されてもよく、正規化（たとえば、医療事故、対象などにわたる標準化及び比較を許容するように、０と１との間でリスクスコアをスケーリングする）が、各特徴次元に適用されてもよい。表１に示されるものなど、Ｎ個のリスク要因ｘ_ｉのリストについて、ｉ∈［１，Ｎ］では、落下リスクＲ_ｔは、各対象の時間ｔで、以下の式（１）及び（２）に示されるように、入力リスク要因のロジスティック回帰分析として計算される。

患者の落下リスクスコアＳ_ｔ
ｂ_低血圧ｘ１
ｂ_＃落下ｘ_２
患者の落下リスクＲ_ｔ

落下のリスクＲと組み合わせた安全な位置Ｐから動く前述の尤度に基づいて、落下防止信号伝達戦略が適応され得る。表２は、実施例による、Ｐ及びＲの値に応じた落下防止プロトコルの一例を示す。

たとえば、ルールベースのアプローチは、以下のように実施され得る。Ｐが閾値未満でＲも閾値未満の場合、安全な位置から動く確率並びに落下のリスクが閾値未満なので、信号は提供されなくてよい。

別のシナリオでは、Ｐが閾値未満でＲが閾値を超える場合、対象が介助を要求するように推奨する信号が、対象に提供されてもよい。この状況は、落下リスクが高いことを示すが、対象が安全な位置から出る確率は高くない。

加えて、Ｐが閾値を超えてＲが閾値未満の場合、安全手順に従うための信号が対象に提供され得る。この状態は、対象が安全な位置から動く確率は高いが、その対象の落下のリスクは低いことに関連付けられていてもよい。

さらに、Ｐが閾値を超えてＲもまた閾値を超える場合、安全な位置にとどまるための信号が対象に提供され、また、即時の介助を直接提供するために、スタッフにも信号が提供されてもよい。

前述のシナリオは単なる例であり、限定することを意図するものではない。当業者によって理解されるような変形を伴って、別の例もまた実施され得る。たとえば、特定のシナリオの場合に発信された信号は、地域病院のプロトコル、対象の好み、又はその他の基準によって異なる可能性がある。さらに、Ｐ及びＲの閾値は異なる場合がある。さらに、プロトコルは、リマインダー及びスタッフ通知に限定されず、リハビリテーション、理学療法などのような、対象の動きの別の態様に組み込まれてもよい。

図８は、実施例によるプロセス例８００を示す。本明細書で説明されるように、プロセス例８００は、１又は複数の装置上で実行され得る。

８０１で、上記で説明されたように、カメラ又は運動センサなどによって、情報が感知される。さらに、感知情報が受信され、ストリームが生成される。ストリームは、ベッド又は椅子又は床の上の対象など、表面上の物体の動きを示す。情報の感知及びストリームの生成に関連付けられた構造及び技術は、実施例に関連して上記で説明されている。

８０３で、フレームのシーケンスからの特徴の抽出が実行され、行動特徴が学習される。たとえば、ただし限定ではなく、上記で説明された追加の技術及び実施とともに、高密度軌跡などのアプローチの使用が採用されてもよい。

８０５で、たとえば、連続するフレームのウィンドウをフィッシャーベクトルとして符号化するために、ＧＭＭトレーニング行動コードブックなどに基づいて、特徴ベクトルシーケンスが符号化される。符号化された特徴ベクトルシーケンスは、図３に関連して上記で説明された予想モデルに供給される。

８０７で、対象がベッド又は椅子から出る確率又は尤度、及び落下のリスクに関連付けられた、Ｐ及びＲの値が計算される。Ｐ及びＲの計算は、上記で説明されたような予測モデル及びリスクプロファイリングアプローチに基づく。

８０９で、Ｐ及びＲの値は、これらが相対的に高いか低いかを判断するために評価される。たとえば、Ｐ及び／又はＲの値は、閾値と比較され得る。評価に基づいて、ルールベースが適用されてもよく、上記の表２に示されるものなど、１又は複数のプロトコルが選択され得る。

８１１で、選択されたプロトコルに基づいて、行動が実行される。たとえば、ただし限定ではなく、行動は、対象に信号を提供すること、介護者又はスタッフのような第三者などの外部リソースに信号を提供すること、又はユーザに関連付けられた装置に関して自動的に行われる行動を実行することを含み、これは、上記の式（１）及び（２）に記されるような、落下のリスクと組み合わせられた、対象がベッド又は椅子の安全な位置から脱出する予測を示す、Ｐ及びＲの値に基づくプロトコルの実施に関連する行動として理解され得るような、ベッド又は保護具の位置を切り替える、落下緩和具又はパッドを所定位置に配置する、警報を起動する、部屋へのドアを解錠する、又はその他の活動などであり得る。

前述の例に加えて、行われ得る行動に関して、追加の非限定例が採用され得る。たとえば、ただし限定ではなく、行動は、対象、又は落下を防止するための即時の行動を実施する介護者又はスタッフなどの第三者に提供される信号に限定されなくてもよい。追加の行動は、プライバシーを保護するように、診療科、病院のフロア、又は病院全体などの、複数の対象の集合リスクプロファイルを提供すること、及び集合リスクプロファイルに基づいて、病院、診療科、又はその他の組織エンティティ内のリソースを割り当てることを含み得る。一実施例によれば、落下リスクが日中又は夜間の特定の時間にかなり高い場合、これらのリスク要因に対処するために、追加のリソースが割り当てられてもよく、又は対象が移動してもよい。

選択されたプロトコルに基づいて実行され得る行動のさらなる非限定例は、介入して落下を防止するための第三者を派遣すること、フロア案内などの照明又は対象のための標識を起動すること、及び室内又は対象のモバイル機器上のスピーカによって警告又は推奨を提供することを含み得るが、これらに限定されず、提供された情報は、あらかじめ記録されたメッセージ、光信号、音声メッセージ、又は当業者によって理解されるようなその他の通信であり得る。

やはり上記で説明されたように、行動は、対象による落下に関連するリスクを低減するように、装置を制御することを伴う場合がある。たとえば、上記で説明されたように、床の上にパッドを設けるための、自動又は電動レール又はその他のガードなどのベッド、又はその他の支持構造に関連する特徴は、ベッドの位置、角度、配向を変更すること、ベッド自体を移動させること、又は室内の別の物体を移動させることなどによって、落下のリスクを低減するような方法で、対象がベッドから出るのを案内し、不注意によりベッドから出るのを困難にさえし得る。

いくつかの実施例では、システムは、感知又は検出システムとインターフェースするか、又は本明細書に記載のセンサ又はカメラによって、対象が不注意によりその適切な位置にベッドの保護機能を配置しなかったかどうかを判断し得る。たとえば、レール検出システムは、場合により対象の不注意でガードを適切な位置に配置していないため、対象の睡眠中にレールが係合位置にないときを検出する。

前述の実施例では、操作は、ユーザに関連付けられたオンラインモバイルアプリケーションで行われる。たとえば、クライアント装置は、カメラセンサを含んでもよく、又は室内のセンサと直接通信してもよく、処理のいくつか又は処理のすべてがオンラインモバイルアプリケーション上でローカルに実行されてもよい。しかしながら、実施例はこれに限定されず、本発明の範囲から逸脱することなく、別のアプローチがこれに置き換えられてもよい。たとえば、ただし限定ではなく、別の例示的なアプローチは、クライアント装置からリモートで（たとえば、サーバで）操作を行ってもよい。

図９は、いくつかの実施例での使用に適した例示的なコンピュータ装置９０５を有する例示的な計算環境９００を示す。計算環境９００の計算装置９０５は、１又は複数の処理ユニット、コア、又はプロセッサ９１０、メモリ９１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部ストレージ９２０（たとえば、磁気、光、ソリッドステートストレージ、及び／又は有機）、及び／又はＩ／Ｏインターフェース９２５を含むことができ、そのいずれも、情報を通信するために通信機構又はバス９３０に結合することができ、又は計算装置９０５に埋め込まれることができる。

計算装置９０５は、入力／インターフェース９３５及び出力装置／インターフェース９４０に通信可能に結合され得る。入力／インターフェース９３５及び出力装置／インターフェース９４０の一方又は両方は、有線又は無線インターフェースであり得、取り外し可能であり得る。入力／インターフェース９３５は、物理又は仮想の任意の装置、コンポーネント、センサ、又はインターフェースを含んでもよく、これらは入力を提供するために使用され得る（たとえば、ボタン、タッチスクリーン、インターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、運動センサ、光学式リーダなど）。

出力装置／インターフェース９４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの実施例では、入力／インターフェース９３５（たとえば、ユーザインターフェース）及び出力装置／インターフェース９４０は、計算装置９０５に埋め込まれるか、又は物理的に結合されることが可能である。別の実施例では、別の計算装置が、計算装置９０５の入力／インターフェース９３５及び出力装置／インターフェース９４０として機能し、又はそれらの機能を提供してもよい。

計算装置９０５の例は、移動性の高い機器（たとえば、スマートフォン、車両及び他の機械の中の装置、人間又は動物が携帯する装置など）、モバイル機器（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯用テレビ、ラジオなど）、及び移動向けに設計されていない装置（たとえば、デスクトップコンピュータ、サーバ装置、その他のコンピュータ、情報キオスク、１又は複数のプロセッサが埋め込まれた及び／又は結合されたテレビ、ラジオなど）を含み得るが、これらに限定されない。

計算装置９０５は、同じ又は異なる構成の１又は複数の計算装置を含む、任意の数のネットワーク接続されたコンポーネント、装置、及びシステムと通信するために、外部ストレージ９４５及びネットワーク９５０に通信可能に（たとえば、Ｉ／Ｏインターフェース９２５を介して）接続され得る。計算装置９０５又は任意の接続された計算装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又はその他のラベルとして機能するか、これらのサービスを提供するか、又はこのように呼ばれることが可能である。たとえば、ただし限定ではなく、ネットワーク９５０は、ブロックチェーンネットワーク及び／又はクラウドを含み得る。

Ｉ／Ｏインターフェース９２５は、少なくとも計算環境９００内の接続されたコンポーネント、装置、及びネットワークのすべてとの間で情報を通信するための、いずれかの通信又はＩ／Ｏプロトコル又は規格（たとえば、イーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する有線及び／又は無線インターフェースを含むことができるが、これらに限定されない。ネットワーク９５０は、いずれのネットワーク又はネットワークの組み合わせ（たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であってもよい。

計算装置９０５は、一時的媒体及び非一時的媒体を含む、コンピュータ使用可能又はコンピュータ可読媒体を使用すること、及び／又はこれらを使用して通信することができる。一時的媒体は、伝送媒体（たとえば、金属ケーブル、光ファイバー）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（たとえば、ディスク及びテープ）、光媒体（たとえばＣＤ ＲＯＭ、デジタルビデオディスク、ＢＬＵ−ＲＡＹ（登録商標）ディスク）、ソリッドステート媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、及びその他の不揮発性ストレージ又はメモリを含む。

計算装置９０５は、いくつかの例示的な計算環境で技術、方法、アプリケーション、プロセス、又はコンピュータ実行命令を実施するために使用され得る。コンピュータ実行命令は、一時的媒体から取得されること、及び非一時的媒体に記憶されてそこから取得されることが可能である。実行可能な命令は、任意のプログラミング、スクリプト、及び機械言語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、ＪＡＶＡ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の１又は複数から生じることができる。

プロセッサ９１０は、ネイティブ又は仮想環境で、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行できる。論理ユニット９５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット９６０、入力ユニット９６５、出力ユニット９７０、学習及び符号化ユニット９７５、Ｐ及びＲ決定ユニット９８０、プロトコル及び行動ユニット９８５、及び異なるユニットが互いに、ＯＳと、及び別のアプリケーション（図示せず）と通信するためのユニット間通信機構９９５を含む、１又は複数のアプリケーションが展開され得る。

たとえば、学習及び符号化ユニット９７５、Ｐ及びＲ決定ユニット９８０、及びプロトコル及び行動ユニット９８５は、上記で説明された構造に関して上記で示された１又は複数のプロセスを実施してもよい。説明されたユニット及び要素は、設計、機能、構成、又は実施において異なる可能性があり、提供された説明に限定されない。

いくつかの実施例では、情報又は実行命令がＡＰＩユニット９６０から受信されると、これは１又は複数の他のユニット（たとえば、論理ユニット９５５、入力ユニット９６５、学習及び符号化ユニット９７５、Ｐ及びＲ決定ユニット９８０、及びプロトコル及び行動ユニット９８５）に通信され得る。

たとえば、学習及び符号化ユニット９７５は、上記で説明されたように、１又は複数のセンサから情報を受信して処理し、特徴抽出を実行し、行動特徴を学習する、などを行うことができる。学習及び符号化ユニット９７５の出力はＰ及びＲ決定ユニット９８０に提供され、これは、たとえば上記で説明され図２に示されたニューラルネットワークのアプリケーションに基づいて必要な予想を実行し、やはり上記で説明されたように、環境における対象の落下のリスクを提供するためにＲを決定する。加えて、プロトコル及び行動ユニット９８５は、学習及び符号化ユニット９７５及びＰ及びＲ決定ユニット９８０の出力に基づいて、行動に関連付けられた信号を提供し得る。

いくつかの事例では、論理ユニット９５５は、ユニット間の情報フローを制御し、上記で説明された幾つかの実施例におけるＡＰＩユニット９６０、入力ユニット９６５、学習及び符号化ユニット９７５、Ｐ及びＲ決定ユニット９８０、及びプロトコル及び行動ユニット９８５によって提供されるサービスを指示し得る。たとえば、１又は複数のプロセス又は実施のフローは、論理ユニット９５５のみによって、又はＡＰＩユニット９６０と併せて、制御され得る。

図１０は、いくつかの実施例に適した環境例を示す。環境１０００は、装置１００５〜１０４５を含み、その各々は、たとえばネットワーク１０６０を介して（たとえば、有線及び／又は無線接続によって）少なくとも１つの別の装置に通信可能に接続されている。いくつかの装置は、１又は複数のストレージ装置１０３０及び１０４５に通信可能に接続され得る。

１又は複数の装置１００５〜１０４５の一例は、それぞれ図９に示されている計算装置９０５であろう。装置１００５〜１０４５は、上記で説明されたようなモニタ及び関連するウェブカメラを有するコンピュータ１００５（たとえば、ラップトップ計算装置）、モバイル機器１０１０（たとえば、スマートフォン又はタブレット）、テレビ１０１５、車両に関連する装置１０２０、サーバコンピュータ１０２５、計算装置１０３５〜１０４０、ストレージ装置１０３０及び１０４５を含み得るが、これらに限定されない。

いくつかの実施例では、装置１００５〜１０２０は、ユーザに関連付けられたユーザ装置と見なされてもよく、ユーザは、予想モデル及び／又はリスクプロファイリングのための入力として使用されて感知された入力をリモートで取得し得る。本実施例では、上記で説明されたように、これらのユーザ装置の１又は複数は、予測モデリング及びリスクプロファイリングに必要な情報を感知できる、１又は複数のカメラに関連付けられてもよい。

実施例の態様は、様々な利点及び利益を有し得る。たとえば、ただし限定ではなく、本実施例は、予測的なアプローチ及び活動分析を提供する。加えて、本実施例は、対象の周囲のセンサを使用する、受動的なアプローチを採用している。さらに、本実施例は、起立、座る、横たわる、歩行、及び階段の上り下りなど、他の日常活動と落下を区別できる。

加えて、本明細書の実施例は、深度センサ及び運動センサを有するカメラを対象とし、ＲＧＢを必要とせずに、グレースケール入力を使用することができる。さらに、実施例は、ベッド内だけではなく、いずれの安全な位置にいる人間の動きも対象としている。

したがって、実施例は、ルールベースのプロトコルアプローチにしたがって、リスクの高い対象に高い注意喚起を許容する予測及びリスクプロファイリングを提供し得る。これらの実施例は、病院設定内の対象を主に対象としているが、他の例も考えられる。たとえば、ただし限定ではなく、前述の実施例は、夢遊病又は睡眠中のその他の異常な動きなどの状態に対処するために、対象の住居内など、非病院設定で適用され得る。さらに、実施例は、睡眠時無呼吸、乳幼児突然症候群（ＳＩＤＳ）、又はその他の状態など、他のタイプの状態に関するリスクを予測して対処し得る、別のタイプのセンサに組み込まれ得る。上記で説明されたのと類似の方法で、病院のベッドの制御に関して、実施例は、経静脈栄養法、酸素供給、呼吸サポートなど、その他の医療機器を制御してもよい。

少数の実施例が図示及び説明されてきたが、これらの実施例は、本明細書で説明された主題をこの分野に精通している人々に伝えるために提供される。本明細書で説明された主題は、説明された実施例に限定されることなく、様々な形態で実施され得ることが、理解されるべきである。本明細書で説明された主題は、これらの具体的に定義又は説明された事項なしで、又は説明されない他の又は異なる要素又は事項を用いて、実践することができる。添付請求項及びこれらの均等物で定義されるように、本明細書で説明された主題から逸脱することなく、これらの実施例に変更がなされ得ることは、この分野に精通している人々によって理解されるだろう。

本開示の特定の非限定的実施形態の態様は、上記で論じられた特徴、及び／又は上記で説明されていないその他の特徴に対処する。しかしながら、非限定的実施形態の態様は、上記の特徴に対処する必要はなく、本開示の非限定的実施形態の態様は、上記で説明された特徴に対処しなくてもよい。

Claims (20)

1. 環境内の物体の上に配置された対象の情報に基づいて、データストリームを生成することと、
   前記データストリームについて、前記物体又は前記環境に対する前記対象の動きに関連付けられた特徴を抽出することであって、前記動きはセンサから抽出された時空間特徴によって表されるものである、抽出することと、
   前記抽出された特徴に基づく前記動きの尤度に関連付けられた予測、及び複数の落下リスク要因に基づく前記動きのリスクプロファイルを生成することと、
   行動を実行するために、前記予測及び前記リスクプロファイルをルールベースに適用することと、
   を含むコンピュータ実施方法。
2. 前記情報は、カメラセンサ及び運動センサのうちの少なくとも１つによって感知される、請求項１に記載のコンピュータ実施方法。
3. 前記カメラセンサは、深度センサ又は温度センサを含む、請求項２に記載のコンピュータ実施方法。
4. 前記特徴を抽出することは、前記データストリーム内のフレームのシーケンスから前記時空間特徴を学習するために前記特徴又は畳み込みニューラルネットワーク（ＣＮＮ）を抽出するために高密度軌跡を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することと、を含む、請求項１に記載のコンピュータ実施方法。
5. 前記予測を生成することは、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又は畳み込みニューラルネットワークに提供することであって、その出力は、前記予測を生成するためにソフトマックス層に供給される、ことを含む、請求項１に記載のコンピュータ実施方法。
6. 前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される、請求項１に記載のコンピュータ実施方法。
7. 前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行することと、を含む、請求項１に記載のコンピュータ実施方法。
8. 前記行動は、前記対象の信号を生成すること、前記物体の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む、請求項１に記載のコンピュータ実施方法。
9. 前記対象は人であり、前記物体はベッド又は椅子であり、前記動きは前記人が前記ベッド又は椅子から落下することである、請求項１に記載のコンピュータ実施方法。
10. プロセッサに、
    環境内の物体の上に配置された対象の情報に基づいて、データストリームを生成することと、
    前記データストリームについて、前記物体又は前記環境に対する前記対象の動きに関連付けられた特徴を抽出することであって、前記動きは時空間の視覚的特徴によって表される、抽出することと、
    前記抽出された特徴に基づく前記動きの尤度に関連付けられた予測、及び複数の落下リスク要因に基づく前記動きのリスクプロファイルを生成することと、
    行動を実行するために、前記予測及び前記リスクプロファイルをルールベースに適用することと、
    を実行させるプログラム。
11. 前記情報は、カメラセンサ及び／又は運動センサのうちの少なくとも１つによって感知され、前記カメラセンサは深度センサ又は温度センサを備える、請求項１０に記載のプログラム。
12. 前記特徴を抽出することは、前記データストリーム内のフレームのシーケンスから前記特徴を抽出するために前記時空間の視覚的特徴を学習するために高密度軌跡又は畳み込みニューラルネットワーク（ＣＮＮ）を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することと、を含む、請求項１０に記載のプログラム。
13. 前記予測を生成することは、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又は畳み込みニューラルネットワークに提供することを含み、その出力は、前記予測を生成するためにソフトマックス層に供給される、請求項１０に記載のプログラム。
14. 前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される、請求項１０に記載のプログラム。
15. 前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行すること、を含む、請求項１０に記載のプログラム。
16. 前記行動は、前記対象の信号を生成すること、前記物体の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む、請求項１０に記載のプログラム。
17. 前記対象は人であり、前記物体はベッド又は椅子であり、前記動きは前記対象が前記ベッド又は椅子から落下することである、請求項１０に記載のプログラム。
18. 要求を処理することが可能なプロセッサであって、前記プロセッサは、
    環境内のベッド又は椅子の上に位置する対象の情報に基づいて、データストリームを生成する操作と、
    前記データストリームについて、前記ベッド又は椅子又は前記環境に対する前記対象の落下に関連付けられた特徴を抽出する操作であって、前記落下は時空間の視覚的特徴によって表されるものである、抽出する操作と、
    前記抽出された特徴に基づく前記落下の尤度に関連付けられた予測、及び複数の落下リスク要因に基づく前記落下のリスクプロファイルを生成する操作と、
    行動を実行するために、前記予測及び前記リスクプロファイルをルールベースに適用する操作と、
    を実行するように構成されているプロセッサ。
19. 前記特徴を抽出する操作は、前記データストリーム内のフレームのシーケンスから前記時空間の視覚的特徴を学習するために前記特徴又は畳み込みニューラルネットワーク（ＣＮＮ）を抽出するために高密度軌跡を適用することと、前記特徴を学習するために自動学習システムを適用することと、前記学習した特徴及び前記抽出された特徴に基づいて特徴ベクトルのシーケンスを符号化することとを含み、前記予測を生成する操作は、計画対象期間にわたって、高密度層に提供される出力を生成するために、前記抽出された特徴をリカレントニューラルネットワーク又はディープニューラルネットワークに提供することを含み、その出力は、前記予測を生成するためにソフトマックス層に供給され、前記リスクプロファイルは、経時的に、前記対象に特有の要因、前記対象に関連する環境に特有の要因、及び前記環境及び前記対象に関連する行動ルーチンに関連付けられた要因を含む前記複数の落下リスク要因を受信することによって生成される、請求項１８に記載のプロセッサ。
20. 前記ルールベースは、前記予測が第１の閾値を超過するか否か、及び前記リスクプロファイルが第２の閾値を超過するか否かを判断することと、前記判断に基づいて、前記行動を実行することと、を含み、前記行動は、前記対象の信号を生成すること、前記ベッド又は椅子の状態を制御すること、及び前記行動を実行するためのコマンドを外部リソースに提供すること、のうちの１又は複数を含む、請求項１８に記載のプロセッサ。

Images