JP2023084336A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2023084336A
JP2023084336A JP2021198459A JP2021198459A JP2023084336A JP 2023084336 A JP2023084336 A JP 2023084336A JP 2021198459 A JP2021198459 A JP 2021198459A JP 2021198459 A JP2021198459 A JP 2021198459A JP 2023084336 A JP2023084336 A JP 2023084336A
Authority
JP
Japan
Prior art keywords
information
person
assisted
communication device
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021198459A
Other languages
English (en)
Other versions
JP2023084336A5 (ja
Inventor
隆史 石川
Takashi Ishikawa
和樹 古家
Kazuki Koke
侑規 中村
Yuki Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paramount Bed Co Ltd
Original Assignee
Paramount Bed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paramount Bed Co Ltd filed Critical Paramount Bed Co Ltd
Priority to JP2021198459A priority Critical patent/JP2023084336A/ja
Priority to PCT/JP2022/025834 priority patent/WO2023105835A1/ja
Publication of JP2023084336A publication Critical patent/JP2023084336A/ja
Publication of JP2023084336A5 publication Critical patent/JP2023084336A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Abstract

【課題】介助者による被介助者の介助を適切にサポートする情報処理装置及び情報処理方法等の提供。【解決手段】 情報処理装置は、ウェアラブルモジュールが出力したセンサ情報と、センサ情報を受け付けた通信装置が配置された場所を識別する配置情報と、が対応付けられた情報を取得する取得部と、配置情報及びセンサ情報に基づいて、ウェアラブルモジュールを装着した被介助者の転倒リスクに関する判定である転倒判定処理を行う処理部と、を含み、処理部は、配置情報に基づいて、通信装置が配置される場所に応じた転倒判定処理を行い、転倒判定処理に基づいて、被介助者の介助を行う介助者の介助者端末における通知、及び、被介助者の周辺に位置する周辺機器の制御の少なくとも一方を行わせる。【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法等に関する。
従来、介助者が被介助者の介助を行う場面において利用されるシステムが知られている。特許文献１には、居住空間にセンサを配置し、当該センサにより取得された検知情報の時間変化に基づいて、居住空間に居住する居住者の状態に関する提供情報を生成する手法が開示されている。
特開２０２１－１８７６０号公報
介助者による被介助者の介助を適切にサポートする情報処理装置及び情報処理方法等を提供する。
本開示の一態様は、ウェアラブルモジュールが出力したセンサ情報と、前記センサ情報を受け付けた通信装置が配置された場所を識別する配置情報と、が対応付けられた情報を取得する取得部と、前記配置情報及び前記センサ情報に基づいて、前記ウェアラブルモジュールを装着した被介助者の転倒リスクに関する判定である転倒判定処理を行う処理部と、を含み、前記処理部は、前記配置情報に基づいて、前記通信装置が配置された場所に応じた前記転倒判定処理を行い、前記転倒判定処理に基づいて、前記被介助者の介助を行う介助者の介助者端末における通知、及び、前記被介助者の周辺に位置する周辺機器の制御の少なくとも一方を行わせる情報処理装置に関係する。
本開示の他の態様は、ウェアラブルモジュールが出力したセンサ情報と、前記センサ情報を受け付けた通信装置が配置された場所を識別する配置情報と、が対応付けられた情報を取得するステップと、前記配置情報及び前記センサ情報に基づいて、前記ウェアラブルモジュールを装着した被介助者の転倒リスクに関する判定である転倒判定処理を行うステップと、前記転倒判定処理に基づいて、前記被介助者の介助を行う介助者の介助者端末における通知、及び、前記被介助者の周辺に位置する周辺機器の制御の少なくとも一方を行うステップと、を含み、前記転倒判定処理を行うステップにおいて、前記配置情報に基づいて、前記通信装置が配置された場所に応じた前記転倒判定処理を行う情報処理方法に関係する。
情報処理装置の構成例を示す図である。 ウェアラブルモジュールと通信装置の配置例を説明する図である。 ウェアラブルモジュールの構成例を示す図である。 通信装置の構成例を示す図である。 本実施形態に係る情報処理システムの構成例を示す図である。 サーバシステムの構成例を示す図である。 通信装置の登録処理に用いられる表示画面を例示する図である。 ペアリングに用いられる表示画面を例示する図である。 ウェアラブルモジュールと被介助者の対応付けに用いられる表示画面を例示する図である。 アクセスポイント情報のデータ構造例を示す図である。 モジュール情報のデータ構造例を示す図である。 通知管理情報のデータ構造例を示す図である。 情報処理システムにおける処理を説明するシーケンス図である。 転倒判定処理の結果を提示する画面例である。 転倒判定処理の結果を提示する画面例である。 転倒判定処理の結果を提示する画面例である。 ベッドでの転倒に対応するセンサ情報を例示する図である。 車椅子での転倒に対応するセンサ情報を例示する図である。 トイレでの転倒に対応するセンサ情報を例示する図である。 歩行での転倒に対応するセンサ情報を例示する図である。 ニューラルネットワークの構成例を示す図である。 機械学習における入力データと出力データを例示する図である。 車椅子に配置される圧力センサを例示する図である。 車椅子に配置されるクッションの断面構造を例示する図である。 制御ボックスに設けられる操作部及び報知部を例示する図である。 周辺機器であるテーブルを例示する図である。 テーブルの駆動機構を例示する図である。 周辺機器である歩行器を例示する図である。 歩行器の駆動機構を例示する図である。 周辺機器であるベッドを例示する図である。 周辺機器の構成例を示す図である。 本実施形態に係る情報処理システムの構成例を示す図である。 情報処理システムにおける処理を説明するシーケンス図である。 食事に関する暗黙知を例示する図である。 食事を行う場面で配置されるデバイスを示す図である。 デバイス、取得されるデータ、及び状況の関係を例示する図である。 ベッド周辺に配置されるデバイスを例示する図である。 熟練者により登録される教師データを例示する図である。 介助時に表示される透過処理が施された教師データを例示する図である。 骨格トラッキングの結果の表示画面例である。 車椅子周辺に配置されるデバイスを例示する図である。 適切な側臥位である被介助者と、骨格トラッキングの結果を含む表示画面例である。 適切な側臥位でない被介助者と、骨格トラッキングの結果を含む表示画面例である。 仰臥位である被介助者と、骨格トラッキングの結果を含む表示画面例である。 看取りケアにおける入力データの選択等に用いられる表示画面例である。 看取りケアにおける分析結果の表示画面例である。 看取りケアにおける分析結果の表示画面例である。 看取りケアにおける詳細な分析結果の表示画面例である。 看取りケアの判定結果に連動するデバイスを例示する図である。 レコメンド表示が行われるデバイス及び場面を例示する図である。 レコメンド表示を行う画面例である。 レコメンド表示を行う画面例である。
以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
本実施形態に係る手法は、例えば介助者の“勘”や“暗黙知”によって行われる作業について、当該“勘”や“暗黙知”をデジタル化することによって、介助者の熟練度によらず適切な介助を行えるように、介助者に指示を与えるものである。また本実施形態の手法は、介助者へ指示を行うものに限定されず、介助用の器具等を直接制御することも妨げられない。以下、具体的な手法について説明する。
なお以下では、介助者が介護施設の介護職員であり、被介助者は当該介護施設の利用者である例について主に説明する。例えば、後述する通信装置２００等の各装置は、介護施設に配置される装置であってもよい。ただし本実施形態の手法はこれに限定されず、介助者は、病院の看護師や准看護師であってもよいし、家庭において要介護者の介護を行う家族であってもよい。また本実施形態における介助は、食事や排泄等における動作の手助けや、日常生活における身の回りの世話を含んでもよい。例えば以下の説明における「介助」は「介護」に置き換えられてもよい。
１．システム構成例
図１は、本実施形態の情報処理装置２０の構成例を示す図である。情報処理装置２０は、取得部２１と、処理部２３を含む。ただし情報処理装置２０の構成は図１に限定されず、一部の構成を省略する、他の構成を追加する等の変形実施が可能である。例えば情報処理装置２０は、不図示の記憶部、表示部、操作部等を含んでもよい。また構成の省略や追加等が可能である点は図２以降においても同様である。
取得部２１は、ウェアラブルモジュール１００が出力したセンサ情報と、センサ情報を受け付けた通信装置２００が配置される場所を特定する配置情報と、が対応付けられた情報を取得する。ウェアラブルモジュール１００は介助をうける被介助者が装着する装置であり、通信装置２００は特定の場所に配置される装置である。なお、本実施形態におけるウェアラブルモジュール１００は、被介助者の移動に伴って移動するセンサモジュールに拡張されてもよい。例えば、杖、歩行器、車椅子等を用いて移動する被介助者を対象とする場合、センサモジュールは、当該杖、歩行器、車椅子等に装着されてもよい。また、本実施形態ではウェアラブルモジュール１００が加速度センサ１２０を有する例を用いて説明するが、これに限定されることなく、例えばウェアラブルモジュール１００はジャイロセンサ、深度センサ等を含んでもよい。即ち、以下ではウェアラブルモジュール１００が出力するセンサ情報が加速度を表す情報である例について説明するが、センサ情報は角速度や深度（距離）等の他の情報であってもよい。ウェアラブルモジュール１００及び通信装置２００については図２～図４を用いて後述する。またセンサ情報や配置情報の詳細についても後述する。
処理部２３は、配置情報及びセンサ情報に基づいて、ウェアラブルモジュール１００を装着した被介助者に対する介入の要否に関する判定処理である介入判定処理を行う。ここでの介入は、介助者による介入であってもよいし、介助用の機器を用いた介入であってもよいし、その両方であってもよい。そして処理部２３は、介入判定処理に基づいて介入が必要であると判定した場合、介入を行わせる制御である介入制御を各機器に行わせる。介入制御とは、介助者端末４００において介助者に介入を促す通知を行わせる制御であってもよい。介助者端末４００は、被介助者の介助を行う介助者によって使用される装置である。介助者端末４００の詳細については、図５を用いて後述する。あるいは介入制御とは、被介助者及び通信装置２００の周辺に配置される周辺機器７００を動作させる制御であってもよい。周辺装置７００の制御については、図１９Ａ～図２２を用いて後述する。
例えば処理部２３は、配置情報に基づいて、通信装置２００が配置される場所に応じた転倒判定処理を、上記介入判定処理として実行してもよい。そして処理部２３は、転倒判定処理に基づいて、介助者端末４００における転倒リスクに関する通知、及び、周辺機器７００の制御の少なくとも一方を含む介入制御を行わせる。例えば処理部２３は、転倒リスクが検出されたことをトリガーとして、介助者端末４００や周辺機器７００に介入制御を行わせてもよい。
本実施形態の手法によれば、介護施設等に複数の通信装置２００が配置される場合に、何れの通信装置２００がセンサ情報を受け付けたかに応じて、被介助者の場所を推定できる。結果として、場所を考慮した介入判定処理を実行できるため処理精度の向上が可能になる。その際、場所の特定が自動的に行われるため、例えば介助者が場所の設定操作を行う必要がなく、利便性を高くすることが可能である。以下、本実施形態の手法について詳細に説明する。
なお、本実施形態に係る介入判定処理に用いられるセンサ情報は、ウェアラブルモジュール１００が出力する情報に限定されない。例えば取得部２１は、通信装置２００に含まれるセンサ、及び通信装置２００の周辺に配置されるデバイスに含まれるセンサの少なくとも一方を用いてセンシングされた情報を、センサ情報として取得してもよい。センサ情報を出力するデバイス選択の自由度が高くなるため、多様なセンサ情報を取得すること、及び多様な介入判定処理を行うことが可能である。例えば、図１８Ａ～図１８Ｃを用いて後述するように、転倒判定処理の内容が変更されてもよい。また介入判定処理は転倒判定処理に限定されず、図２３～図２５を用いて後述する食事における判定や、図２６～図２９を用いて後述するポジション調整の判定等を含んでもよい。
例えば、通信装置２００はカメラを含み、センサ情報は当該カメラが撮像した撮像画像であってもよい。またセンサ情報を出力するデバイスは、図１８Ａを用いて後述する圧力センサＳｅ１～Ｓｅ４、図２４を用いて後述するスロートマイクＴＭ、図３３を用いて後述する検出装置８１０等であってもよい。即ち、センサ情報は圧力を表す情報であってもよいし、音声情報であってもよいし、心拍や呼吸に関する情報であってもよい。
例えば後述するように、トイレ６００、及び歩行中にはウェアラブルモジュール１００からの加速度の情報を用いて転倒判定処理が行われ、車椅子５２０での移動中には圧力センサＳｅ１～Ｓｅ４からの圧力情報を用いた転倒判定処理が行われるように、場所に応じて介入判定処理に用いられるセンサ情報が切り替えられてもよい。以上の説明からも分かるように、本実施形態のウェアラブルモジュール１００が出力するセンサ情報は、全ての場所、全ての介入判定処理において必ず使用される必要はない。換言すれば、介入判定処理の一部の処理は、ウェアラブルモジュール１００のセンサ情報を用いない処理であってもよい。
図２は、本実施形態における情報処理システム１０の構成例を示す図であって、具体的にはウェアラブルモジュール１００及び通信装置２００の配置を説明する図である。
ウェアラブルモジュール１００は、介助者による介助の対象となる被介助者によって装着される装置である。ウェアラブルモジュール１００は例えば板状のデバイスであって、被介助者の背中に固定されてもよいし、胸部に固定されてもよい。ウェアラブルモジュール１００は、被介助者の衣類の上からテープ等を用いて貼り付けられてもよい。あるいは、ウェアラブルモジュール１００は、被介助者の皮膚に直接貼り付けられてもよい。ただし、ウェアラブルモジュール１００は被介助者によって装着される装置であればよく、固定箇所は背中や胸部に限定されない。ウェアラブルモジュール１００の構成例については図３を用いて後述する。
通信装置２００は、ウェアラブルモジュール１００との通信を行う装置である。通信装置２００は、無線ＬＡＮ（Local Area Network）のアクセスポイントやルータ等の通信用の機器であってもよいし、スマートフォン等の汎用端末であってもよい。通信装置２００の構成例については、図４を用いて後述する。
本実施形態における通信装置２００は複数であってもよい。図２では、通信装置２００として、通信装置２００－１～通信装置２００－６の６個の装置を例示しているが、通信装置２００の数はこれに限定されない。複数の通信装置２００は、それぞれ異なる場所に配置されてもよい。通信装置２００が配置される場所は、例えばベッド５１０、車椅子５２０、歩行器５４０、トイレ６００、食堂、リビング等を含む。通信装置２００－１～通信装置２００－６は、それぞれネットワークＮＷに接続される。ネットワークＮＷはインターネット等の公衆通信網であってもよいし、介護施設内のイントラネット等の内部ネットワークであってもよい。
図２の例では、通信装置２００－１は、被介助者が就寝等で利用するベッド５１０に配置される。例えばベッド５１０の一部に任意の形状のホルダー（例えばフットボードのベッド内側に矩形の切り欠きが設けられたホルダー）が取り付けられ、通信装置２００－１は当該ホルダーによって保持される。ここでのベッド５１０は、例えばボトムの角度や高さを自動的に変更できる可動ベッドであるが、このような機能を有さないベッドが使用されてもよい。なおボトムとはマットレス等を載置する面であり、板状でもメッシュ状でもよく形状は問わない。また通信装置２００－１は、ベッド５１０との対応付けが可能であればよく、例えばベッド５１０が配置される居室の壁面や床面、ベッド５１０以外の家具等に配置されてもよい。また図２６を用いて後述するように、ベッド５１０の周辺に他のデバイスが配置されてもよい。
通信装置２００－２及び通信装置２００－３は、被介助者の移動介助に用いられる機器に配置される。通信装置２００－２は、車椅子５２０に配置される。例えば車椅子５２０の背面にはポケットが設けられ、通信装置２００－２は当該ポケットに入れられる。また車椅子５２０に配置されるクッション５２１には、圧力センサＳｅ１～Ｓｅ４が設けられてもよい。圧力センサＳｅ１～Ｓｅ４については図１８Ａを用いて後述する。通信装置２００－３は、被介助者が移動に使用する歩行器５４０に配置される。通信装置２００－３は、例えば歩行器５４０の支柱に配置される。
通信装置２００－４は、被介助者が使用するトイレ６００に配置される。通信装置２００－４は、トイレ６００のタンク等に配置されてもよいし、床面や壁面に配置されてもよい。
通信装置２００－５及び通信装置２００－６は、被介助者が自室を離れて活動する場所に配置される。通信装置２００－５は、食堂に配置される。例えば図２に示すように、通信装置２００－５は、食堂のテーブル上であって、食事中の被介助者と対面する位置に配置されてもよい。また食事中には、例えば嚥下やムセを検出するスロートマイクＴＭが用いられてもよい。食事中に用いられるデバイスの詳細については図２４を用いて後述する。通信装置２００－６は、リビングやホール等、多人数での活動が可能な場所に配置される。例えば図２に示すように、通信装置２００－６は、リビングに配置されるテレビ等に固定されてもよい。
また介護施設等の他の場所に、図２に不図示の他の通信装置２００が配置されてもよい。例えば通信装置２００は、介護施設内であって、被介助者が歩行をする場所に配置されてもよい。通信装置２００が配置される場所は、廊下、階段等、種々の変形実施が可能である。このような通信装置２００は、例えば自立して歩行が可能な被介助者の歩行を介助する際に利用される。
また後述するように、本実施形態に係る介入判定処理は、看取りに関する処理を含んでもよい。看取りに関する処理結果に基づいて、図３２Ａ～図３２Ｄを用いて後述する画面の表示や、検出装置８１０の出力に基づく処理モードの変更等が実行される。そして看取りに関する処理は、図２に示した各場所での介入判定処理と連動してもよい。例えば、各場所での介入判定処理に基づいて看取りに関する処理に用いられるアルゴリズムやパラメータ（例えば閾値等）が変更されてもよい。あるいは看取りに関する処理に基づいて、各場所での処理に用いられるアルゴリズムやパラメータが変更されてもよい。看取りに関する処理の詳細については後述する。
通信装置２００とウェアラブルモジュール１００の通信は、Bluetooth（登録商標）を用いた通信であってもよいし、ＩＥＥＥ８０２．１１に規定された無線ＬＡＮを用いた通信であってもよいし、他の方式の通信であってもよい。
通信装置２００は、アクセスポイントとしてウェアラブルモジュール１００からの通信接続を受け付ける装置であってもよい。ここでのアクセスポイントとは、ウェアラブルモジュール１００のセンサ情報を直接受け付ける装置を表す。なおセンサ情報を直接受け付けるとは、具体的には他の通信装置２００を介さずにセンサ情報を受信することを表す。例えば、ウェアラブルモジュール１００がBluetooth等を用いて通信装置２００－１との接続を確立し、当該接続を用いて通信装置２００－１にセンサ情報を送信した後、通信装置２００－１が通信装置２００－２に当該センサ情報を転送する場合を考える。この例においては、通信装置２００－１はウェアラブルモジュール１００にとってのアクセスポイントであるが、通信装置２００－２はアクセスポイントとならない。
例えば通信装置２００は、Bluetoothにおけるセントラルであり、ウェアラブルモジュール１００はBluetoothにおけるペリフェラルであってもよい。あるいは通信装置２００は、無線ＬＡＮにおけるＡＰ（アクセスポイント）であり、ウェアラブルモジュール１００は無線ＬＡＮにおけるＳＴＡ（ステーション）であってもよい。以上の例からも分かるように、本実施形態におけるアクセスポイントとは、無線ＬＡＮのＡＰに限定されず、他の通信方式を用いてウェアラブルモジュール１００と直接通信を行う機器を広く含む。
ウェアラブルモジュール１００は、その位置に応じて通信対象となる通信装置２００が変化してもよい。例えばウェアラブルモジュール１００は、当該ウェアラブルモジュール１００を装着した被介助者の移動に伴ってその位置が変化する。そしてウェアラブルモジュール１００は、所定距離以下の範囲に通信装置２００が存在する場合に、当該通信装置２００との接続を試行する。ここでの所定距離は、Bluetoothのアドバタイズパケットの送受信が可能な距離であってもよいし、無線ＬＡＮのＳＳＩＤ（Service Set Identifier）ブロードキャストの送受信が可能な距離であってもよいし、他の通信方式によって規定される距離であってもよい。また通信装置２００に十分近いことが接続の条件として用いられてもよい。例えば、ウェアラブルモジュール１００と通信装置２００の接続は、アドバタイズパケットやＳＳＩＤブロードキャストの送受信における受信電波強度が所与の閾値以上であることを条件に確立されてもよい。またウェアラブルモジュール１００から所定距離範囲内に複数の通信装置２００が検出された場合、ウェアラブルモジュール１００は受信電波強度に基づいて接続対象の通信装置２００を選択してもよい。
図３は、ウェアラブルモジュール１００の構成例を示す図である。ウェアラブルモジュール１００は、制御部１１０、加速度センサ１２０、通信モジュール１３０、記憶部１４０を含む。またウェアラブルモジュール１００は、温度センサ等の不図示の構成をさらに含んでもよい。
制御部１１０は、加速度センサ１２０や通信モジュール１３０等、ウェアラブルモジュール１００の各部の制御を行う。制御部１１０は、プロセッサであってもよい。ここでのプロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。
加速度センサ１２０は、加速度を検出し、検出結果であるセンサ情報を出力するセンサである。例えば加速度センサ１２０は、３軸の並進加速度を検出する３軸加速度センサであってもよい。この場合のセンサ情報は、ｘ軸、ｙ軸及びｚ軸の各軸における加速度値の集合である。例えばウェアラブルモジュール１００が胸部に装着された状態において、ｘ軸は被介助者の前後方向に対応する軸であり、ｙ軸は左右方向に対応する軸であり、ｚ軸は鉛直上下方向に対応する軸であってもよい。ただし、加速度センサ１２０は、３軸の並進加速度及び各軸周りの角加速度を検出する６軸加速度センサであってもよく、具体的な態様は種々の変形実施が可能である。
通信モジュール１３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ（radio frequency）回路、及びベースバンド回路を含む。通信モジュール１３０は、制御部１１０による制御に従って動作してもよいし、制御部１１０とは異なる通信制御用のプロセッサを含んでもよい。通信モジュール１３０は、上述したように、無線ＬＡＮを用いた通信を行ってもよいし、Bluetoothを用いた通信を行ってもよいし、他の方式の通信を行ってもよい。
通信モジュール１３０は、加速度センサ１２０が出力したセンサ情報を、通信装置２００に送信する。上述したように、通信モジュール１３０は、例えば所定距離内に通信装置２００が存在する場合に、当該通信装置２００との接続を確立した後、センサ情報を接続先の通信装置２００に送信する。
記憶部１４０は、制御部１１０のワーク領域であって、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ（Read Only Memory）等の種々のメモリによって実現される。記憶部１４０は、加速度センサ１２０によって取得されるセンサ情報を記憶してもよい。例えば通信モジュール１３０がセンサ情報を通信装置２００に送信できなかった場合、記憶部１４０は未送信のセンサ情報を記憶してもよい。この場合、記憶部１４０はセンサ情報を通信装置２００に送信できなかった理由やエラー内容を併せて記憶してもよい。通信装置２００との通信が可能になった場合、通信モジュール１３０は、記憶部１４０に蓄積されたセンサ情報を通信装置２００に送信する。また通信モジュール１３０は、上記送信できなかった理由、エラー内容をセンサ情報と対応付けて送信してもよい。
図４は、通信装置２００の構成例を示す図である。通信装置２００は、例えば処理部２１０、記憶部２２０、通信部２３０、表示部２４０、操作部２５０を含む。
処理部２１０は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
また処理部２１０は、下記のプロセッサによって実現されてもよい。本実施形態の通信装置２００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置（ＨＤＤ：Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部２１０の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
記憶部２２０は、処理部２１０のワーク領域であって、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ等の種々のメモリによって実現される。
通信部２３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ回路、及びベースバンド回路を含む。通信部２３０は、例えばウェアラブルモジュール１００との第１通信、及び、図５を用いて後述するサーバシステム３００との第２通信を行う。
なお、第１通信と第２通信の通信方式は同じであってもよいし異なってもよい。例えば第１通信と第２通信が同じ通信方式である場合、通信部２３０は、１つの無線通信チップを含み、当該１つの無線通信チップを時分割で用いてもよいし、同じ通信方式の２つの無線通信チップを含んでもよい。また第１通信と第２通信が異なる通信方式である場合、通信部２３０は、互いに通信方式の異なる２つの無線通信チップを含んでもよい。第１通信は上述したようにBluetoothを用いた通信であってもよいし、無線ＬＡＮを用いた通信であってもよい。第２通信は、無線ＬＡＮを用いた通信であってもよいし、ＬＴＥ（Long Term Evolution）や５Ｇ等の移動通信網を用いた通信であってもよい。
なおBluetoothを用いた第１通信は、ビーコン方式であってもよいしコネクション方式であってもよい。ビーコン方式とは、所定時間（例えば１分）ごとにデータ送信を行う方式であり、コネクション方式とは、ユーザ操作をトリガーとしてデータ送信を行う方式である。ユーザ操作とは、例えば更新ボタンの押下操作である。更新ボタンは、ウェアラブルモジュール１００に設けられてもよいし、通信装置２００の表示部２４０に表示されてもよい。あるいは更新ボタンは後述する介助者端末４００等、通信装置２００以外の表示部等に表示され、当該操作が行われた場合に、その旨がウェアラブルモジュール１００や通信装置２００に送信されてもよい。このように、第１通信の中でデータ送受信タイミングが異なる複数の方式が用いられてもよい。第１通信として、Bluetooth以外の方式を用いる場合も同様である。また第２通信についても、データ送受信タイミングが異なる複数の方式が用いられてもよい。
表示部２４０は、種々の情報を表示するインターフェイスであり、液晶ディスプレイであってもよいし、有機ＥＬディスプレイであってもよいし、他の方式のディスプレイであってもよい。
操作部２５０は、ユーザ操作を受け付けるインターフェイスである。操作部２５０は、通信装置２００に設けられるボタン等であってもよい。また表示部２４０と操作部２５０は、一体として構成されるタッチパネルであってもよい。
また通信装置２００は、発光部、振動部、音出力部等、図４には不図示の構成を含んでもよい。発光部は例えばＬＥＤ（light emitting diode）であり、発光による報知を行う。振動部は例えばモータであり、振動による報知を行う。音出力部は例えばスピーカであり、音による報知を行う。また通信装置２００は、加速度センサやジャイロセンサ等のモーションセンサ、撮像センサ、ＧＰＳ（Global Positioning System）センサ等の種々のセンサを含んでもよい。
図２に示した情報処理システム１０を用いることによって、ウェアラブルモジュール１００がいずれの通信装置２００に接続したか、狭義にはウェアラブルモジュール１００のセンサ情報がいずれの通信装置２００に送信されたかに応じて、被介助者の状況を推定することが可能である。
例えば、センサ情報が通信装置２００－１に送信された場合、被介助者はベッド５１０に横になっている、またはベッド５１０に座っていると推定される。センサ情報が通信装置２００－２または通信装置２００－３に送信された場合、被介助者は車椅子５２０や歩行器５４０を用いて移動していると推定される。センサ情報が通信装置２００－４に送信された場合、被介助者はトイレに入っていると推定される。センサ情報が通信装置２００－５または通信装置２００－６に送信された場合、被介助者は食堂やリビング等、対応する場所で活動を行っていると推定される。
そして状況が推定されれば、行われる介助も推定できる。例えばベッド５１０近傍であれば、就寝中の見回り等の介助、オムツ交換、褥瘡防止のためのポジション調整、車椅子５２０への移乗介助等が行われる。また車椅子５２０に乗っている場合であれば、車椅子５２０を用いた移動介助や、食事介助が行われる。トイレに入っている場合、トイレでの排泄介助が行われる。歩行中であれば、転倒防止等の介助が行われる。
結果として、推定された介助を適切に実行するための暗黙知を特定することや、当該暗黙知を使用するための具体的なアクションを介助者に通知すること等が可能になる。例えば、ウェアラブルモジュール１００の加速度センサ１２０を用いた転倒判定処理を行う場合、場所に応じて異なる基準を用いた判定を実行できる。また通信装置２００や他のデバイスからのセンサ情報を用いた介入判定処理を行う場合、通信装置２００やデバイスに含まれるセンサをアクティブにする制御が行われてもよい。このようにすれば、場所に応じて適切なセンサ情報が取得可能になるため、判定精度の向上が可能になる。ただし、センサのアクティブ／非アクティブの制御は、ウェアラブルモジュール１００と通信装置２００の接続状況に基づいて自動的に行われるものには限定されず、一部または全部のセンサが手動でアクティブにされてもよい。このように、本実施形態の手法では、被介助者のいる場所を自動で推定できるため、具体的な状況を手動で設定せずとも、状況に応じた介助をサポートすることが可能になる。
例えば介護施設の介護職員は、上述したような種々の介護を、多数の被介助者を対象として実行する必要があり、非常にタイトなスケジュールに従って行動している。また便漏れや転倒等、イレギュラーな事象が発生した場合、元々のスケジュールを完遂することは困難であり、優先順位に従って一部の介助を後回しにする等の対応を迫られることもある。そのため、介助者をサポートするシステムが提供され、当該システムが状況に応じてサポート内容をカスタマイズ可能な構成であったとしても、介護職員には逐一カスタマイズを行っている余裕はない。例えば図１２～図１５を用いて後述するように、転倒リスクを提示することで介助者をサポートする処理において、ベッド５１０での転倒、車椅子５２０での転倒、トイレ６００での転倒、及び歩行中の転倒に対して、それぞれ個別の判定閾値等を設定することで処理精度が向上する。しかしそのような個別の設定を介護職員に行わせることは利便性の観点から好ましくない。
その点、本実施形態の手法によれば、ウェアラブルモジュール１００と通信装置２００の通信状況に基づいて設定を自動化できるため、介助者等の負担増大を抑えつつ、介助者による介助を適切にサポートできる。
図５は、本実施形態に係る情報処理システム１０の詳細な構成例を示す図である。情報処理システム１０は、図２に示したウェアラブルモジュール１００及び通信装置２００に加えて、サーバシステム３００、介助者端末４００を含んでもよい。なお、ここでは介入判定処理の結果として介助者端末４００における通知が行われる例を示している。
サーバシステム３００は、例えば図２に示したネットワークＮＷを介して通信装置２００と通信を行う。ここでのネットワークＮＷはインターネット等の公衆通信網であってもよい。この場合、通信装置２００が収集したウェアラブルモジュール１００からの情報がクラウドを用いて処理される。あるいはネットワークＮＷは、介護施設のイントラネット等の内部ネットワークであってもよい。この場合のサーバシステム３００は、例えば介護施設内に設けられる管理サーバである。
サーバシステム３００は、１つのサーバであってもよいし、複数のサーバを含んでもよい。例えばサーバシステム３００は、データベースサーバとアプリケーションサーバを含んでもよい。データベースサーバは、通信装置２００から送信されたデータや処理アルゴリズム等の種々のデータを記憶する。アプリケーションサーバは、後述する処理部３１０に対応し、例えば図９のステップＳ１０６～Ｓ１０８等の処理を行う。なおここでの複数のサーバは、物理サーバであってもよいし仮想サーバであってもよい。また仮想サーバが用いられる場合、当該仮想サーバは１つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。以上のように、本実施形態におけるサーバシステム３００の具体的な構成は種々の変形実施が可能である。
図６は、サーバシステム３００の構成例を示す図である。サーバシステム３００は、例えば処理部３１０と、記憶部３２０と、通信部３３０を含む。
処理部３１０は、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアによって構成される。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。
また処理部３１０は、ハードウェアを含むプロセッサによって実現されてもよい。サーバシステム３００はプロセッサとメモリを含む。プロセッサは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサを用いることが可能である。メモリは、半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部３１０の機能が処理として実現される。
記憶部３２０は、処理部３１０のワーク領域であって、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ等の種々のメモリによって実現される。
通信部３３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ回路、及びベースバンド回路を含む。通信部３３０は、例えば通信装置２００及び介助者端末４００との通信を行う。また通信部３３０は、図２１を用いて後述するように、周辺機器７００との通信を行ってもよい。なお、介助者端末４００及び周辺機器７００の少なくとも一方との通信が通信装置２００を介して実行されてもよく、具体的な接続態様は種々の変形実施が可能である。
介助者端末４００は、介護施設等において、介助者によって使用される装置であって、介助者への情報の提示、あるいは、介助者による情報の入力に用いられる装置である。例えば介助者端末４００は、介助者によって携帯、又は装着される装置であってもよい。
例えば図５に示すように、介助者端末４００は、携帯端末装置４１０と、ヘッドセット４２０を含んでもよい。携帯端末装置４１０は、例えばスマートフォンであるが、携帯可能な他の装置であってもよい。ヘッドセット４２０は、介助者が装着可能な機器であり、例えば、イヤホン又はヘッドホンと、マイクを含む。またヘッドセット４２０は、メガネ型の機器や、腕時計型の機器等、他のウェアラブル機器に変更されてもよい。なおメガネ型の機器には、ＡＲ（Augmented Reality）グラスや、ＭＲ（Mixed Reality）グラスが含まれてもよい。また介助者端末４００は、ＰＣ（Personal Computer）等の他の装置であってもよい。
なお、図５では２組の介助者端末４００を例示し、それぞれが携帯端末装置４１０（携帯端末装置４１０－１及び４１０－２）と、ヘッドセット４２０（ヘッドセット４２０－１及び４２０－２）を含むものとした。ただし、介助者端末４００の数は２個に限定されない。また、各介助者端末４００を構成する機器の種類や数も図５の例に限定されず、種々の変形実施が可能である。
情報処理システム１０の動作例について説明する。ウェアラブルモジュール１００は、上述したように通信装置２００のいずれかにセンサ情報を送信する。通信装置２００は、受信したセンサ情報に、当該通信装置２００が配置される場所を特定する配置情報を対応付ける。ここでの配置情報は、通信装置２００が配置された場所を特定可能な情報であり、フラグ情報であってもよいし、通信装置２００の識別情報であってもよい。
フラグ情報は、例えばそれぞれがトイレ６００、ベッド５１０、車椅子５２０、歩行を表す４ビットのデータであって、何れか１ビットの値が１となり、残り３ビットの値が０となるデータである。ただし、フラグ情報のデータ形式はこれに限定されず、００，０１，１０，１１の４つの値によってトイレ６００、ベッド５１０、車椅子５２０及び歩行の４通りを区別する２ビットのデータであってもよいし、他の形式のデータであってもよい。また通信装置２００が配置される場所は４通りに限定されないため、フラグ情報はより多くのビットを含むデータであってもよい。
通信装置２００の識別情報は、例えば通信装置２００がスマートフォンである場合、ＳＩＭ（Subscriber Identity Module）に関する情報である。ただし識別情報は、通信装置２００を一意に識別する情報であればよく、ＭＡＣアドレスやシリアル番号等の他の情報が用いられてもよい。
図８Ａを用いて後述するように、本実施形態の手法では、通信装置２００の識別情報と、場所を特定するフラグ情報を対応付けたアクセスポイント情報が記憶されてもよい。この場合、通信装置２００の識別情報に基づいてフラグ情報を特定することが可能である。即ち、フラグ情報及び通信装置２００の識別情報は、いずれも通信装置２００の場所を特定可能な情報であり、本実施形態の配置情報に含まれる。例えば、通信装置２００においてセンサ情報にフラグ情報が対応付けられてもよい。あるいは通信装置２００において、センサ情報に当該通信装置２００の識別情報が対応付けられ、サーバシステム３００において当該識別情報からフラグ情報を特定する処理が行われてもよい。以下では、後者の場合を例に説明を行う。
サーバシステム３００の処理部３１０は、識別情報及びセンサ情報に基づいて、ウェアラブルモジュール１００を装着した被介助者の介助をサポートする情報を求める。具体的には、処理部３１０は熟練者の暗黙知に基づく判定を行い、介助者の熟練度が低い場合にも熟練者に近い対応が可能となるような情報を出力する。一例としては、センサ情報は加速度の情報であり、処理部３１０は被介助者の転倒リスクを判定する転倒判定処理を行ってもよい。なおここでの転倒判定処理は転倒リスクの有無や高低を判定する処理を含めばよく、転倒そのものを検出する処理に限定されない。本実施形態の転倒判定処理は、転倒発生の前段階の状態を判定する処理、例えばバランスが悪く転倒が起こりやすい姿勢となっているか否かを判定する姿勢判定処理等を含んでもよい。この際、本実施形態では通信装置２００の識別情報に基づいて、通信装置２００が配置される場所に応じた転倒判定処理を実現できるため、精度の向上が可能になる。図２の例であれば、場所に応じた転倒判定処理は、ベッド５１０での転倒判定、車椅子５２０での転倒判定、トイレ６００での転倒判定、及び、歩行時の転倒判定を含む。処理の詳細については後述する。
そして処理部３１０は、転倒判定処理に基づいて転倒リスクが検出された場合、通信部３３０を介して、介助者端末４００に転倒リスクに関する通知を行う。具体的な通知については後述する。
図１を用いて上述した情報処理装置２０は、例えばサーバシステム３００に対応する。即ち、センサ情報と配置情報を対応付けて取得する取得部２１とは、データを取得するインターフェイス（例えば通信部３３０）であってもよい。また情報処理装置２０の処理部２３とは、図６に示した処理部３１０であってもよい。
例えばサーバシステム３００が介護施設の外部ネットワークに設けられる機器である場合、センサ情報と配置情報を対応付けた情報を、クラウドを用いて管理することが可能になる。例えば複数の介護施設の情報を統合することで処理精度を向上させること等が容易である。また通信装置２００は転倒判定処理を実行する必要がないため、通信装置２００での処理負荷軽減が可能である。またサーバシステム３００が介護施設の内部ネットワークに設けられる管理サーバ等である場合にも、処理を当該管理サーバに集約可能であるため、通信装置２００での処理負荷軽減が可能である点は同様である。
ただし、本実施形態の情報処理装置２０はサーバシステム３００に限定されない。例えば情報処理装置２０は、通信装置２００であってもよい。通信装置２００の処理部２１０は、ウェアラブルモジュール１００から取得したセンサ情報に、通信装置２００自身の識別情報またはフラグ情報を対応付ける対応付け処理部と、対応付けた情報に基づいて転倒判定処理を行う転倒判定処理部とを含んでもよい。この場合、情報処理装置２０の取得部２１は対応付け処理部であり、情報処理装置２０の処理部２３は転倒判定処理部であってもよい。
このようにすれば、通信装置２００においてセンサ情報を用いた処理を実行することが可能になる。この場合、サーバシステム３００を省略することが可能である。結果として例えば外部のクラウドを用いない介護施設内に閉じた情報処理システム１０を構築できるため、システム構築が容易であり、データ流出等のセキュリティリスクも抑制できる。あるいは、介護施設内に専用の管理サーバを設ける必要がないため、システム構築が容易になる。
例えば、本実施形態に係る通信装置２００はスマートフォンであってもよい。この場合、通信装置２００も介助者端末４００もスマートフォンにより実現できる。即ち、本実施形態の情報処理システム１０を構築するに当たり専用の機器を導入する必要性が低くなる。例えば、介護施設にＷｉ－Ｆｉ（登録商標）環境がない場合であっても、本実施形態の手法を容易に適用することが可能である。
なお通信装置２００が情報処理装置２０となる場合、当該情報処理装置２０はセンサ情報を直接取得した通信装置２００に限定されない。例えば通信装置２００－１がウェアラブルモジュール１００からセンサ情報を受信し、当該センサ情報に配置情報を対応付けた後、対応付けた情報を通信装置２００－２等の他の通信装置２００に送信してもよい。そして通信装置２００－２の処理部２１０が、配置情報とセンサ情報を対応付けた情報に基づいて転倒判定処理を行ってもよい。
この場合、情報処理装置２０とは通信装置２００－２であって、情報処理装置２０の取得部２１とは、通信装置２００－１とデータを送受信するインターフェイス（例えば通信装置２００－２の通信部２３０）であってもよい。また情報処理装置２０の処理部２３とは、通信装置２００－２の処理部２１０であってもよい。あるいは、通信装置２００－１の対応付け処理部と、通信装置２００－２の転倒判定処理部の分散処理によって情報処理装置２０が実現されてもよい。例えば、図２や図５に示した複数の通信装置２００は、それぞれが情報処理装置２０として機能する機器であってもよい。例えば、転倒判定処理等を実行するプログラムが、スマートフォンのアプリケーションソフトウェアとして各通信装置２００に提供されてもよい。
また情報処理装置２０はサーバシステム３００と通信装置２００の何れか一方に限定されず、サーバシステム３００と通信装置２００の分散処理によって実現されてもよい。以上を用いて説明した構成は情報処理システム１０や情報処理装置２０の一例であり、具体的な構成は種々の変形実施が可能である。
また本実施形態の手法は、以下の各ステップを実行する情報処理方法に適用できる。情報処理方法は、ウェアラブルモジュール１００が出力したセンサ情報と、センサ情報を受け付けた通信装置２００が配置された場所を識別する配置情報と、が対応付けられた情報を取得するステップと、配置情報及びセンサ情報に基づいて、ウェアラブルモジュール１００を装着した被介助者の転倒リスクに関する判定である転倒判定処理を行うステップと、転倒判定処理に基づいて、被介助者の介助を行う介助者の介助者端末４００における通知、及び、被介助者の周辺に位置する周辺機器７００の制御の少なくとも一方を行わせるステップと、を含む。さらに情報処理方法は、転倒判定処理を行うステップにおいて、配置情報に基づいて、通信装置２００が配置された場所に応じた転倒判定処理を行う。
また、本実施形態の情報処理装置２０が行う処理の一部又は全部は、プログラムによって実現されてもよい。情報処理装置２０が行う処理とは、例えば処理部２１０や処理部３１０が行う処理である。
本実施形態に係るプログラムは、例えばコンピュータによって読み取り可能な媒体である非一時的な情報記憶装置（情報記憶媒体）に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部２１０等は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部２１０等としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図９等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
２．転倒判定処理
次に介入判定処理の一例として、転倒判定処理について詳細に説明する。なお、以下では主にウェアラブルモジュール１００の加速度センサ１２０が出力するセンサ情報に基づく転倒判定処理について説明するが、図１８Ａを用いて後述するように、圧力センサＳｅ１～Ｓｅ４等、他のデバイスから出力されたセンサ情報に基づいて転倒判定処理が行われてもよい。
２．１ 処理の流れ
以下、本実施形態の処理について説明する。本実施形態では、まず処理に必要な情報を登録する登録フェイズが実行され、その後、実際の介助の場面に対応する利用フェイズが実行されてもよい。以下、図７Ａ～図８Ｃを用いて登録フェイズの処理を説明し、図９を用いて利用フェイズの処理を説明する。なお以下では情報処理装置２０がサーバシステム３００である例を説明するが、上述したように、処理の一部又は全部が通信装置２００において実行されてもよい。
本実施形態の手法では、通信装置２００と配置場所を対応付ける第１登録処理と、通信装置２００とウェアラブルモジュール１００を接続する第２登録処理が行われる。第２登録処理はBluetoothにおけるペアリングであってもよいし、ウェアラブルモジュール１００に無線ＬＡＮのＳＳＩＤ及びパスワードを記憶させる処理であってもよい。また第２登録処理は、通信装置２００とペアリング済のウェアラブルモジュール１００をシステム上に登録する処理を含んでもよい。
図７Ａ及び図７Ｂは登録に用いられるＵＩ（User Interface）の例であり、例えば通信装置２００の処理部２１０がアプリケーションソフトウェアに従って動作することによって、表示部２４０に表示される登録画面の例である。図７Ａが第１登録処理に用いられる画面であり、図７Ｂが第２登録処理に用いられる画面である。
例えば図７Ａ及び図７Ｂの画面は、画面下部にアクセスポイント登録ボタンであるオブジェクトＯＢ１と、センサペアリング設定ボタンであるオブジェクトＯＢ２を含んでもよい。ユーザによってオブジェクトＯＢ１の選択操作が行われた場合に、図７Ａの画面が表示され、オブジェクトＯＢ２の選択操作が行われた場合に図７Ｂの画面が表示される。ただし、登録フェイズで用いられる画面構成は図７Ａや図７Ｂに限定されず、種々の変形実施が可能である。
第１登録処理を行う場合、例えばユーザは本実施形態に係る通信装置２００として利用する機器に上記アプリケーションソフトウェアをインストールした後、当該アプリケーションソフトウェアを起動することによって図７Ａに示す画面を表示部２４０に表示させる。そしてオブジェクトＯＢ１が選択された状態において、当該通信装置２００が使用される場所を選択する。例えば図７Ａに示す画面は、「この端末を設置する場所を選択してください」という場所の選択を促すテキストともに、トイレ、車椅子、ベッド、その他のそれぞれに対応する４つのラジオボタンを含んでもよい。４つのラジオボタンはそのうちの何れか１つを選択可能である。
例えばユーザがトイレに対応するラジオボタンを選択することによって、ユーザが操作中の通信装置２００を、トイレに配置された通信装置２００として登録する処理が実行される。トイレ以外のラジオボタンが選択された場合も同様であり、ユーザが操作中の通信装置２００を、選択された場所に配置された通信装置２００として登録する処理が実行される。
なお、図７Ａに示すように、その他を選択する場合、ユーザはテキストボックスを用いてその場所に関する付加的な情報を入力してもよい。その他とは、具体的にはユーザが歩行する場所を表す。例えばユーザは、廊下、階段、食堂等、対象の通信装置２００が配置される具体的な場所を表すテキストを入力してもよい。
例えばいずれかの場所を選択する操作が行われた場合、通信装置２００は、当該通信装置２００の識別情報と、ユーザによって選択された場所を特定する情報とを対応付けて、サーバシステム３００に送信する。サーバシステム３００は、受信した情報をアクセスポイント情報として記憶部３２０に記憶する。図８Ａはサーバシステム３００が管理するアクセスポイント情報を例示する図である。図８Ａに示すように、アクセスポイント情報は、本実施形態に係る通信装置２００を識別する識別情報と、当該通信装置２００が配置される場所とを対応付けた情報である。より具体的には、アクセスポイント情報は、通信装置２００の識別情報とフラグ情報を対応付けた情報であってもよい。なおアクセスポイント情報は、通信装置２００が配置される施設を特定する情報、登録したユーザを特定する情報、登録日時等、他の情報を含んでもよい。またアクセスポイント情報は、上述したテキストボックスを用いて入力される付加的な情報を含んでもよい。このようにすれば、本実施形態に係る通信装置２００として用いられる機器と、当該機器が配置される場所を対応付けて管理することが可能になる。なお、図７Ａを用いて入力された場所を表すフラグ情報は、通信装置２００の記憶部２２０に記憶されてもよい。
また第２登録処理を行う場合、例えばユーザは本実施形態に係る通信装置２００として利用する機器において、上記アプリケーションソフトウェアを起動することによって図７Ｂに示す画面を表示部２４０に表示させる。そしてオブジェクトＯＢ２が選択された状態において、ペアリング対象となるウェアラブルモジュール１００を選択する。
例えば第２登録処理は、介護施設等においてウェアラブルモジュール１００を新たに導入する際に実行されてもよい。ユーザは、ウェアラブルモジュール１００の電源をオンにし、通信装置２００とのペアリングが可能な状態とする。例えばBluetoothを用いる場合、ユーザはウェアラブルモジュール１００をペアリング待ちの状態とする。
図７Ｂに示す画面は、通信装置２００のBluetoothのオンオフを制御するスイッチを表すオブジェクトＯＢ３と、ペアリング対象の候補となるセンサをリスト表示する領域ＲＥ１とを含む。例えばユーザはオブジェクトＯＢ３を用いて通信装置２００のBluetoothをオンにする。これにより、通信装置２００の通信部２３０は、周囲に存在するペアリングが可能な機器をサーチし、サーチ結果を領域ＲＥ１に表示する。
図７Ｂに示すように、領域ＲＥ１は、接続可能なウェアラブルモジュール１００の名称（センサ名）と、当該ウェアラブルモジュール１００と通信装置２００の接続状態を表す情報を含んでもよい。図７Ｂの例では、サーチによって少なくともｓｅｎｓｏｒＸＸＸとｓｅｎｓｏｒＹＹＹの２つを含むウェアラブルモジュール１００が探索された。通信装置２００は、ｓｅｎｓｏｒＸＸＸと接続済であり、且つ、ｓｅｎｓｏｒＹＹＹとは未接続である。
この場合、通信装置２００は、ｓｅｎｓｏｒＸＸＸの状態欄に「接続済」と表示する。また通信装置２００は、ｓｅｎｓｏｒＹＹＹの状態欄に「未接続」と表示する。また図７Ｂに示すように、領域ＲＥ１は、各ウェアラブルモジュール１００の接続状態を変化させるためのオブジェクトを含んでもよい。例えば通信装置２００の表示部２４０は、「接続済」であるｓｅｎｓｏｒＸＸＸに対して、接続を解除するための解除ボタンを表すオブジェクトＯＢ４を表示する。また表示部２４０は、「未接続」であるｓｅｎｓｏｒＹＹＹに対して、接続を確立するための接続ボタンを表すオブジェクトＯＢ５を表示する。通信装置２００の通信部２３０は、これらのオブジェクトに対する操作結果に基づいて、各ウェアラブルモジュール１００との通信制御を行う。例えばオブジェクトＯＢ４の選択操作が行われた場合、通信部２３０はｓｅｎｓｏｒＸＸＸとの接続を切断する。オブジェクトＯＢ５の選択操作が行われた場合、通信部２３０はｓｅｎｓｏｒＹＹＹとのペアリングシーケンスを実行する。
これにより通信装置２００とウェアラブルモジュール１００の通信状態を制御できる。例えば新たなウェアラブルモジュール１００（例えばｓｅｎｓｏｒＹＹＹ）が追加された場合に、通信装置２００と当該ウェアラブルモジュール１００が通信可能となるため、通信装置２００は、アクセスポイントとして対象のウェアラブルモジュール１００のセンサ情報を受信可能となる。ただし、第２登録処理が行われるタイミングはウェアラブルモジュール１００の導入時に限定されず、任意のタイミングで実行が可能である。
またサーバシステム３００の処理部３１０は、第２登録処理に関連して、通信装置２００とペアリングが行われたウェアラブルモジュール１００を記憶する処理を行ってもよい。例えば、オブジェクトＯＢ４やオブジェクトＯＢ５の選択操作が行われることによって接続／非接続の状態が変化した場合、通信装置２００は、通信装置２００の識別情報と、当該通信装置２００とペアリング済のウェアラブルモジュール１００を識別する識別情報をサーバシステム３００に送信してもよい。
サーバシステム３００は、通信装置２００の識別情報と、ウェアラブルモジュール１００の識別情報を対応付けて記憶する。このようにすれば、情報処理システム１０に新たに追加されたウェアラブルモジュール１００を管理することや、ウェアラブルモジュール１００がアクセス可能な通信装置２００を管理することが可能になる。
なお図２の例において、被介助者がベッド５１０、車椅子５２０、歩行器５４０、トイレ６００、食堂、リビング、その他（例えば歩行）の何れに対応するかを判定する場合、ウェアラブルモジュール１００は通信装置２００－１～通信装置２００－６の全てと通信可能であることが望ましい。例えば、介護施設内に新たにウェアラブルモジュール１００を導入する場合、通信装置２００－１～通信装置２００－６のそれぞれにおいて、当該ウェアラブルモジュール１００とペアリングを行う上記第２登録処理が実行されてもよい。ただし、全ての通信装置２００を対象とした第２登録処理は必須ではなく、一部の通信装置２００を対象とした第２登録処理が省略されてもよい。例えばトイレ６００での介助の必要性が低い被介助者の場合、通信装置２００－４を対象とした第２登録処理が省略されてもよい。
また、通信装置２００との接続に用いる接続用情報がウェアラブルモジュール１００に送信されることによって第２登録処理が実行されてもよい。例えば、サーバシステム３００等の機器が通信装置２００のＳＳＩＤ及びパスワードを一括管理し、新たに登録されたウェアラブルモジュール１００に対して、当該ＳＳＩＤ及びパスワードを送信する処理を行ってもよい。例えばウェアラブルモジュール１００と通信装置２００－１のペアリングによって当該ウェアラブルモジュール１００がシステム上に登録された場合、サーバシステム３００は、当該ウェアラブルモジュール１００に対して、通信装置２００－２～通信装置２００－６のＳＳＩＤ及びパスワードを送信してもよい。このようにすれば、登録におけるユーザ負担の軽減が可能である。
また本実施形態では、ウェアラブルモジュール１００の識別情報と、当該ウェアラブルモジュール１００を装着する被介助者とを対応付けて登録する第３登録処理が行われてもよい。第３登録処理は、例えば介助者が介助者端末４００（携帯端末装置４１０）を用いて実行してもよい。ここで通信装置２００にインストールされるアプリケーションソフトウェアと、携帯端末装置４１０にインストールされるアプリケーションソフトウェアは同じであってもよいし、異なってもよい。
図７Ｃは、第３登録処理に用いられる画面の例であり、例えば上述したように携帯端末装置４１０の表示部に表示される。図７Ｃに示す画面は、領域ＲＥ２～ＲＥ４を含んでもよい。領域ＲＥ２は、通信装置２００が配置される場所を選択するためのボタンが配置される。図７Ｃの例では、トイレ６００、車椅子５２０、ベッド５１０、その他の４つに対応するボタンが表示される。
領域ＲＥ３は、領域ＲＥ２を用いていずれかの場所が選択された場合に、選択された場所に配置された通信装置２００とペアリング済のウェアラブルモジュール１００をリスト表示する。例えば、第２登録処理に関連して、ペアリング済の通信装置２００とウェアラブルモジュール１００の情報がサーバシステム３００に記憶されている場合、当該情報に基づいて領域ＲＥ３に表示されるウェアラブルモジュール１００のリストが決定される。また領域ＲＥ３には、モジュール情報に基づいて、ウェアラブルモジュール１００に対応付けられた被介助者の情報が表示される。
図８Ｂはモジュール情報の例である。モジュール情報は、ウェアラブルモジュール１００を識別する識別情報と、当該ウェアラブルモジュール１００を使用する被介助者を特定する情報とを含む。ウェアラブルモジュール１００の識別情報は、例えば通信モジュール１３０のＭＡＣアドレスであるが、他の情報が用いられてもよい。また被介助者を特定する情報は、被介助者の氏名であってもよいし、ＩＤ等の他の情報であってもよい。なおモジュール情報は、ペアリングされた通信装置２００の識別情報、ウェアラブルモジュール１００が導入された施設を特定する情報、登録したユーザを特定する情報、登録日時等、他の情報を含んでもよい。
図７Ｃに示すように、すでに被介助者が対応付けられたウェアラブルモジュール１００（図７の例ではｓｅｎｓｏｒＸＸＸ, ｓｅｎｓｏｒＹＹＹ）については、モジュール情報に基づいて対応する被介助者の情報（例えばユーザ名であるＡＡＡさん、ＢＢＢさん）が表示される。一方、被介助者が対応付けられていないウェアラブルモジュール１００については、「未登録」と表示される。
ユーザは、領域ＲＥ３においていずれかのウェアラブルモジュール１００を選択する操作を行った上で、領域ＲＥ４を用いて当該ウェアラブルモジュール１００に対応付ける被介助者を変更または新規登録する操作を行う。例えば領域ＲＥ４には、施設の利用者である被介助者の情報が表示される。一例としては、領域ＲＥ４に被介助者のリストが表示され、そのうちのいずれかが選択された場合に、図７Ｃに示す被介助者の詳細情報が表示される。例えば領域ＲＥ４は登録ボタンを含み、ユーザが登録ボタンの選択操作を行った場合に、領域ＲＥ３で選択されたウェアラブルモジュール１００と、領域ＲＥ４に表示された被介助者を対応付ける処理が行われる。具体的には携帯端末装置４１０は、ウェアラブルモジュール１００の識別情報と被介助者の情報を対応付けてサーバシステム３００に送信する。サーバシステム３００の処理部３１０は、携帯端末装置４１０から送信された情報に基づいて、図８Ｂのモジュール情報を更新する処理を行う。
なお、本実施形態では、１つのウェアラブルモジュール１００の情報が、場所に応じて異なるデータとして管理されてもよい。例えばトイレに対応付けて登録されたｓｅｎｓｏｒＺＺＺのデータと、車椅子に対応付けて登録されたｓｅｎｓｏｒＺＺＺのデータが存在してもよい。ただし、これらのｓｅｎｓｏｒＺＺＺは同一のウェアラブルモジュール１００を表すため、紐付けられる被介助者も同一と考えられる。よってペアリング対象の通信装置２００が異なる場合であっても、同一のウェアラブルモジュール１００であれば第３登録処理は一括で実行されてもよい。例えば図７Ｃでは、トイレに配置された通信装置２００とｓｅｎｓｏｒＺＺＺがペアリングしており、ｓｅｎｓｏｒＺＺＺとＣＣＣさんが対応付けられる例を説明した。この場合、同じｓｅｎｓｏｒＺＺＺであれば、ペアリング対象がトイレ以外に配置される通信装置２００であっても、一括でＣＣＣさんと対応付ける処理が実行される。
また図５を用いて上述した介助者端末４００への通知を考慮すれば、本実施形態の手法では、ウェアラブルモジュール１００と、当該ウェアラブルモジュール１００に基づく情報の通知対象である介助者端末４００とを対応付けて登録する第４登録処理が行われてもよい。
例えばユーザは、携帯端末装置４１０を用いて、被介助者と、当該被介助者に関する情報の通知先となる介助者端末４００とを対応付けた情報を送信する。例えばアプリケーションソフトウェアは、サーバシステム３００と通信を行うことによって、第２登録処理で登録済みのウェアラブルモジュール１００、または当該ウェアラブルモジュール１００に対応付けられた被介助者をリスト表示してもよい。例えば所与の介助者は、自分のＩＤ及びパスワードを用いてシステムにログインしている状態において、リスト中の１または複数のウェアラブルモジュール１００を選択してもよい。携帯端末装置４１０は、ログイン中の介助者を識別する情報と、選択されたウェアラブルモジュール１００を識別する情報をサーバシステム３００に送信する。また介助者が複数の介助者端末４００を使用する場合、通知対象となる介助者端末４００を指定する入力が行われてもよい。
サーバシステム３００の処理部３１０は、受信した情報に基づいて、図８Ｃに示す通知管理情報を更新する処理を行う。図８Ｃに示すように、通知管理情報は、ウェアラブルモジュール１００の識別情報と、当該ウェアラブルモジュール１００に基づく情報の通知先となる介助者端末４００の識別情報を含む。介助者端末４００の識別情報は、ＳＩＭの情報であってもよいし、ＭＡＣアドレスであってもよいし、他の情報であってもよい。なお、ウェアラブルモジュール１００の識別情報は対応する被介助者の情報に置き換えられてもよい。また介助者端末４００の識別情報は対応する介助者の情報に置き換えられてもよい。また通知管理情報は、より詳細な通知条件を表す付加情報等を含んでもよい。
以上のように、サーバシステム３００の記憶部３２０は、第１～第４登録処理に基づいて、アクセスポイント情報、モジュール情報、通知管理情報等を記憶してもよい。処理部３１０は、これらの情報を用いることによって、図２や図５に示した情報処理システム１０に含まれる装置を適切に管理することが可能になる。
図９は、以上の登録フェイズ完了後の利用フェイズにおける、情報処理システム１０の処理を説明するシーケンス図である。まずステップＳ１０１において、ウェアラブルモジュール１００は、周辺に接続可能な通信装置２００が存在するかを判定する。ステップＳ１０１の処理は、例えばBluetoothにおけるアドバタイズパケットの送受信を含むシーケンスを実行する処理であってもよいし、無線ＬＡＮにおけるＳＳＩＤスキャンを含むシーケンスを実行する処理であってもよい。
接続可能な通信装置２００が存在する場合、ステップＳ１０２において、ウェアラブルモジュール１００と通信装置２００の接続が確立される。接続確立に必要な情報は、例えば上述した第２登録処理において取得済である。よってウェアラブルモジュール１００は、登録済みの通信装置２００が所定距離内に存在する場合、当該通信装置２００と接続を確立する。
ステップＳ１０３において、ウェアラブルモジュール１００は加速度センサ１２０によって検出されたセンサ情報を、通信モジュール１３０を用いて通信装置２００に送信する。ステップＳ１０３の処理は、例えば所定間隔で定期的に実行される。なおセンサ情報には、当該センサ情報の送信元であるウェアラブルモジュール１００を識別する識別情報が含まれてもよい。
ステップＳ１０４において、通信装置２００は、ステップＳ１０３において受信したセンサ情報に、当該通信装置２００の識別情報を対応付ける処理を行う。そしてステップＳ１０５において、対応付け後の情報をサーバシステム３００に送信する。例えば通信装置２００は、ウェアラブルモジュール１００の識別情報、センサ情報、通信装置２００の識別情報を対応付けて送信する。
ステップＳ１０６において、サーバシステム３００は、受信した情報に基づいて、被介助者の場所に応じた判定処理を実行する。例えば処理部３１０は、取得した通信装置２００の識別情報と、図８Ａに示したアクセスポイント情報とに基づいて、フラグ情報を特定する。そして処理部３１０は、フラグ情報とセンサ情報とに基づいて、被介助者の場所に応じた判定処理を実行する。なお、判定処理は転倒判定処理であってもよい。転倒判定処理の詳細については、図１６～図１７を用いて後述する。転倒判定処理の出力は、例えば後述するように、転倒リスクの有無の確からしさを表す情報である。
転倒リスクがあると判定された場合、ステップＳ１０７において、処理部３１０は転倒リスクの通知対象である介助者端末４００を特定する。具体的には、処理部３１０は、ステップＳ１０５で取得したウェアラブルモジュール１００の識別情報と、図８Ｃの通知管理情報とに基づいて、通知先となる介助者端末４００を特定する。例えば処理部３１０は、通知先の介助者端末４００のＩＰ（Internet Protocol）アドレスを取得してもよい。
ステップＳ１０８において、サーバシステム３００は、特定された介助者端末４００に転倒リスクに関する情報を通知する。ここで通知される情報は、例えば「ＡＡＡさんがトイレで転倒しそうです」等のように、転倒リスクがある旨、転倒リスクがある被介助者の氏名、及び、当該被介助者のいる場所を表す情報を含んでもよい。また通知の態様は種々の変形実施が可能であり、携帯端末装置４１０の表示部にテキストを表示してもよいし、ヘッドセット４２０に音声を出力してもよい。またＬＥＤの発光やモータを用いた振動等によって通知が行われてもよい。
また図９では、転倒リスクが検出された場合に、サーバシステム３００から介助者端末４００にプッシュ通知が行われる例を示した。ただし、センサ情報等に基づく判定結果を介助者が取得する手法はこれに限定されず、介助者が介助者端末４００を操作することによって能動的に判定結果を取得してもよい。
図１０Ａ、図１０Ｂは、例えば携帯端末装置４１０の表示部に表示される画面の例である。この画面は、上述した第１～第４登録処理を行うアプリケーションソフトウェアによって表示されてもよいし、他のアプリケーションソフトウェアによって表示されてもよい。
携帯端末装置４１０は、通信装置２００単位での情報の表示、及び、被介助者単位での情報の表示を行ってもよい。例えば図１０Ａ及び図１０Ｂの画面は、画面下部にアクセスポイント単位での情報表示を行うボタンであるオブジェクトＯＢ６と、被介助者単位での情報表示を行うボタンであるオブジェクトＯＢ７を含んでもよい。ユーザによってオブジェクトＯＢ６の選択操作が行われた場合に、図１０Ａの画面が表示され、オブジェクトＯＢ７の選択操作が行われた場合に図１０Ｂの画面が表示される。ただし、転倒判定処理の結果を閲覧する際に用いられる画面構成は図１０Ａや図１０Ｂに限定されず、種々の変形実施が可能である。
図１０Ａに示すように、通信装置２００単位での情報の表示する画面は、領域ＲＥ５～ＲＥ７を含んでもよい。領域ＲＥ５は、通知を表示する領域である。例えば転倒リスクが高いと判定された被介助者がいた場合に、領域ＲＥ５には、通信装置２００が配置された場所、被介助者の氏名が表示される。領域ＲＥ５には、確認ボタンを表すオブジェクトＯＢ８と、対応ボタンを表すオブジェクトＯＢ９が表示されてもよい。オブジェクトＯＢ８の選択操作が行われた場合、携帯端末装置４１０の表示部は転倒リスクに関する詳細情報を表示する画面に遷移する。詳細情報を表示する画面とは、例えば図１１を用いて後述する画面である。一方、オブジェクトＯＢ９の選択操作が行われた場合、携帯端末装置４１０は、当該携帯端末装置４１０に対応付けられた介助者が転倒リスクに関する対応を受け持つ旨を表す情報を処理部３１０に送信する。処理部３１０は、対応する介助者が決定された場合、転倒リスクに関する情報を表示対象から除外してもよい。換言すれば、領域ＲＥ５に表示される情報は、対応する介助者が未決定である転倒リスクに関する情報であってもよい。ただし、対応する介助者が決定済である転倒リスクに関する情報が、その旨や担当介助者の氏名とともに表示されてもよく、具体的な表示態様は種々の変形実施が可能である。
また領域ＲＥ６には、通信装置２００が配置される場所を選択するためのボタンが配置される。図７Ｃの例では、トイレ６００、車椅子５２０、ベッド５１０、その他の４つに対応するボタンが表示される。
領域ＲＥ７は、領域ＲＥ６を用いていずれかの場所が選択された場合に、選択された場所に配置された通信装置２００に関する情報をリスト表示する。図１０Ａの例では、介護施設内のＡ棟の１Ｆ、Ａ棟の２階、Ｂ棟の１階、Ｂ棟の２階の４カ所にトイレ６００があり、それぞれに異なる通信装置２００が配置されている。なお、転倒判定処理においてこれらのトイレ６００を区別する必要はないが、介助者による確認や介入をスムーズにする観点から、各トイレ６００の位置等を含む情報が記憶部３２０等に記憶されてもよい。
この場合、領域ＲＥ７には、４つの通信装置２００に関する情報が表示される。例えば領域ＲＥ７は、通信装置２００が配置される棟、階を特定する情報とともに、当該通信装置２００の近傍に位置する被介助者の氏名を表示する。処理部３１０は、通信装置２００にセンサ情報を送信しているウェアラブルモジュール１００の有無、及び、ウェアラブルモジュール１００が存在する場合にはそれに対応付けられた被介助者の情報（図８Ｂのモジュール情報）を参照することによって、図１０Ａに示す画面を表示させる制御を行う。図１０Ａの例では、Ａ棟２階のトイレ６００にはＢＢＢさんがおり、Ｂ棟２階のトイレ６００にはＣＣＣさんがおり、残り２つのトイレ６００には誰もいない状態であることが介助者に提示される。
なお、転倒リスクがあると判定された被介助者が存在する場合、領域ＲＥ７でその旨が表示されてもよい。例えば図１０Ａの例では、領域ＲＥ５に示したように、Ｂ棟２階のトイレでＣＣＣさんの転倒リスクが検出されている。よって領域ＲＥ７には、ＣＣＣさんに対応するデータに対応付けて警告を表すオブジェクトＯＢ１０が表示されてもよい。
図１０Ｂに示すように、被介助者単位での情報の表示する画面は、領域ＲＥ５、ＲＥ８を含んでもよい。領域ＲＥ５は、図１０Ａと同様であり、通知を表示する領域である。
図１０Ｂの例では、領域ＲＥ８は、ＡＡＡさん、ＢＢＢさん、ＣＣＣさんを含む少なくとも３人以上の被介助者の情報を表示する。ここで表示対象となる被介助者は、介護施設を利用する全被介助者であってもよいし、携帯端末装置４１０を使用する介助者が介助を担当する被介助者であってもよい。図１０Ｂの例では領域ＲＥ８は、被介助者を一意に識別するＩＤと、被介助者の氏名と、当該被介助者がいる場所の情報を含む。例えば処理部３１０は、通信装置２００からの情報に基づいて、各ウェアラブルモジュール１００が接続する通信装置２００を特定可能である。よって処理部３１０は、ウェアラブルモジュール１００の接続先である通信装置２００を特定する情報、図８Ａのアクセスポイント情報、及び図８Ｂのモジュール情報に基づいて、被介助者がいる場所を特定できる。図１０Ｂの例では、ＡＡＡさんは車椅子５２０、ＢＢＢさんはＡ棟２階のトイレ、ＣＣＣさんはＢ棟２階のトイレにいることが領域ＲＥ８に表示される。なお領域ＲＥ８は、図１０Ａの領域ＲＥ７と同様に、ＣＣＣさんに対応するデータに対応付けて警告を表すオブジェクトＯＢ１１が表示されてもよい。
図１１は、図１０Ａ及び図１０ＢにおいてオブジェクトＯＢ８の選択操作が行われた場合に表示される提示画面の一例である。例えば提示画面は、ウェアラブルモジュール１００を特定する情報と、被介助者の氏名と、場所を特定する情報と、転倒リスクに関する情報を含んでもよい。図１１の例ではｓｅｎｓｏｒＸＸＸがウェアラブルモジュール１００の識別情報であり、ＡＡＡさんが装着している被介助者の氏名である。即ち、図１１はｓｅｎｓｏｒＸＸＸを装着する被介助者の、トイレでの状況を介助者に提示する提示画面の例である。
例えば転倒判定処理が基準姿勢からのずれを角度で求める処理である場合、提示画面は図１１に示すように、ピクトグラムを用いて当該角度を表示する画面であってもよい。図１１に示す画面を用いることによって、例えば直立姿勢に対して前方への傾斜が２０°程度となっていることを分かりやすく介助者に提示できる。また提示画面は、「転倒しそうです」「転倒しそうではありません」といった転倒リスクの有無を表すテキスト等を含んでもよい。なお表示されるテキストはこれに限定されない。例えばトイレにおける動作の特徴が変化してきている場合「転倒リスクが上がってきています。トイレで転倒する可能性が高いです」といったように、将来的な転倒の予測や、具体的な転倒場所、転倒状況等を表すテキストが表示されてもよい。同様に歩行中であれば、歩行動作の特徴の変化に基づいて、「転倒リスクが上がってきています。段差のある場所で転倒する可能性が高いです」等の表示が行われてもよい。またプライバシーに配慮する必要はあるが、対象の場所にカメラが配置されている場合、当該カメラの撮像画像を表示することも妨げられない。
なお、図１１を用いて表示される情報は、リアルタイムの情報であってもよいし、対象の場所及び被介助者に関する過去の履歴を表す情報であってもよい。図１０Ａ～図１１に示す情報を提示することによって、被介助者がどこにおり、どのような状況にあるかを分かりやすく介助者に提示することが可能になる。また図１１の画面では、将来的な転倒状況を予測したシミュレーション情報が表示されてもよい。例えば処理部３１０は、転倒リスクがあると判定した際のセンサ情報に基づいて、被介助者の姿勢変化を予測する処理を行い、予測結果を携帯端末装置４１０の表示部に表示させてもよい。例えば処理部３１０は、所定時間（例えば３秒間）のセンサ情報に基づいて、それよりも後のタイミングにおける被介助者の姿勢を推定する。このようにすれば、将来的に発生する可能性がある転倒事故において、被介助者がどのように転倒するかを提示することが可能になる。例えば、頭部を強打するような転倒が予測されれば介助者に早めの対応を促すことが可能である。あるいは臀部からゆっくり尻餅をつくような転倒であれば、相対的に怪我のリスクが低いため、介助者はより緊急性の高い他の介助を優先する等の判定を行うことができる。
また本実施形態の手法では、「頭を打った可能性」や「大腿部骨折の可能性」等、転倒によって被介助者に重大な怪我が発生するか否かに関する情報が出力されてもよい。例えば上述したように、本実施形態では転倒が発生した／発生する可能性がある場所を推定可能であり、且つ、加速度センサ１２０等の出力に基づいて転倒時の被介助者の姿勢や転倒方向を推定できる。よって処理部３１０は、転倒リスクに関する情報として、特定の部位に大きな怪我が発生するか否か、あるいは、その発生の確からしさを表す確率値等を推定する処理を行ってもよい。また図１１等の画面を用いて、求められた情報が表示されてもよい。例えば転倒現場に介助者等のスタッフが居合わせていない場合、従来であれば、介助者は、被介助者自身から打ち付けた部位等を聞き取る、傷の有無や位置を確認する、被介助者の言動を観察する等の対応によって、精密検査等の要否を含めた対応を判定する。この判定の正確さにも介助者の熟練度が関連するため、熟練度の低い介助者は判定を誤り、例えば適切な精密検査を実施できない可能性もある。その点、本実施形態では現場に居合わせていない介助者に対して、重大な負傷の発生可能性を提示できるため、介助者の熟練度によらず、適切な対応を促すことが可能になる。また本実施形態では、「頭を打った可能性」や「大腿部骨折の可能性」があると判定された場合、精密検査を介助者等に促してもよいし、精密検査等を自動で手配する処理が行われてもよい。
なお、「頭を打った可能性」や「大腿部骨折の可能性」等を求める処理に用いられるアルゴリズム及びパラメータの少なくとも一方は、場所に応じて変更されてもよい。例えば被介助者がトイレ６００にいる場合と歩行中とで、異なる判定を用いて「頭を打った可能性」や「大腿部骨折の可能性」が求められてもよい。またこれらを求める処理は、ＮＮ等の機械学習が適用されてもよい。例えば、転倒によって実際に頭を打った場合のセンサ情報及び配置情報に対して、「頭を打った可能性」を表す確率値が１である正解データを付すことによって訓練データが生成されてもよい。このような訓練データに基づく機械学習を行うことによって、「頭を打った可能性」を表す確率値を出力する学習済モデルを生成できる。またこのような重大な負傷の発生可能性に関する表示は、介助者毎、あるいは介護施設毎に表示／非表示が決定されてもよい。例えば図１１等における表示項目の設定が可能であり、介助施設の担当者が、重大な負傷の発生可能性の表示／非表示を変更してもよい。
２．２ 場所に応じた転倒判定
次に転倒判定処理の具体例について説明する。
２．２．１ 転倒の具体的な状況の例
介護施設における転倒は種々の場所で発生しうるものであり、場所に応じて転倒が発生する状況、要因、転倒の仕方が異なる。以下、ベッド５１０、車椅子５２０、トイレ６００、歩行のそれぞれにおける転倒について説明する。なお以下における転倒は、床面等に体が倒れる狭義の転倒に限定されず、正常状態に比べてバランスを崩している状態を含んでもよい。
まずベッド５１０での転倒について説明する。ベッド５１０では、ベッドの縁に座った状態から立ち上がろうとしたときに転倒が発生する可能性がある。正常時には、まず頭を下げ、手を膝、ベッド面、手すり等について力を入れることによって足に体重が乗った状態に移行し、その後、頭を起こしながら立ち上がる動作が行われる。しかし足に十分に力が乗らず、重心が前方に移動していない状態で立とうとすると、後ろ側にバランスを崩し、ベッド面に勢いよく座り直す状態になってしまう。また、体重を足にのせる際に過剰に重心が前に行ってしまうと、そのまま前方に転倒してしまう（前転倒）。また、手をつく際にその手が外れてしまうと、外れた手の側から床面に転倒する場合もある。
一方、立った状態からベッド面に座る場合にも転倒が発生する場合がある。正常時には、まずベッド５１０を向いた状態で片手をベッド面につき、次に体を半回転させてベッド５１０と逆を向き、その後、臀部をベッド面にのせる動作が行われる。しかしベッド面についた手が外れてしまうと、体重を支えきれずに転倒が発生する。また、手をついて体を半回転させた際、ベッド面をよく確認せずに座った場合、そもそも臀部がベッド面に乗らないこともあれば、一旦乗ったものの、座り方が浅すぎてずり落ちてしまう可能性もある。
またベッド５１０から車椅子５２０等へ移乗する際に転倒が発生する場合がある。なおここでは、移乗の際の転倒は、ベッド５１０での転倒と考える。例えば、移乗先の車椅子５２０のブレーキがかかっていない、あるいは被介助者が誤ってブレーキを解除してしまうことで転倒が発生する。例えば車椅子５２０のアームサポート等に片手をついて体重を掛けた段階で車椅子５２０が移動してしまい、そのまま転倒する場合もある。あるいは、車椅子５２０の座面に座ろうとした段階で車椅子５２０が後方に移動してしまい、被介助者が尻餅をつくように転倒することがある。
次に車椅子５２０での転倒について説明する。車椅子５２０に乗っている状態では、同じ姿勢でいることで被介助者が臀部に痛みを感じ、臀部の位置を徐々に座面の前方にずらしてしまうことがある。この場合、ずれ量が大きくなると浅く座った状態となるため、最後は臀部が座面から落ち、転倒が発生する。また、車椅子５２０での移動中、被介助者は足をフットサポートにのせるが、当該フットサポートから足を外さずに立とうとして車椅子５２０自体が前方に傾き、被介助者が前方に転倒することがある。あるいは、車椅子５２０のブレーキが解除されている状態で誤って立とうとした場合、立ち上がる動作中に車椅子５２０が後方に移動してしまい、被介助者が後方に転倒する。また直接の転倒ではないが、操作ミス等により車椅子５２０が壁や家具に衝突することによって、被介助者に衝撃が加わる場合もある。
次にトイレ６００での転倒について説明する。トイレ６００では、被介助者はまず便器に向かった状態で蓋を上げ、体を半回転させて向きを変えた後、ズボンを少し下ろし、便器に座る。例えば体を半回転させる際、足がうまくでないことによって転倒が発生する可能性がある。また便器に座る際には、座面が狭いため、座り損ねることで転倒することもある。
便器に座った後、ズボンをさらに下ろし、排便をし、トイレットペーパーを取って拭く。ズボンをさらに下ろす際、及びトイレットペーパーで拭く際には体を傾ける必要があるため、バランスを崩すことで転倒が発生する。また便を出すときに腹圧をかけるので血圧が上がって気を失うこともある。この際には、前へ転倒する場合もあれば、背もたれがない場合には後方に転倒することもある。また横方向へ転倒する可能性もある。
またこの後は先ほどの逆の手順によりトイレ６００から退出する。具体的には被介助者は、ズボンを少し上げ、手すりをつかんで立ち上がり、ズボンを最後まで上げる。その後、被介助者は、体を半回転させて便器の方を向き、便を流し、便器の蓋を閉め、再度体を半回転させて向きを変えてトイレ６００から出る。例えば体を回転させる際に足がうまくでないことによって転倒が発生する可能性がある。
次に歩行での転倒について説明する。歩行中は、例えば足が前に出ない、あるいは何かに躓いた場合、被介助者は前方に転倒することがある。また何かの拍子に被介助者が後ろに重心がかかってしまうこともあり、この場合、被介助者は後方に転倒する。また足が体重を十分に支えきれない場合、例えば一方の足が曲がってしまいその足の側から転倒する。
２．２．２ 場所に応じたセンサ情報の例
以上で説明したように、ベッド５１０、車椅子５２０、トイレ６００、歩行は、それぞれ転倒が発生する状況、要因、転倒の仕方が異なる。結果として、検出対象である事象が転倒で共通であったとしても、発生場所に応じて加速度センサ１２０のセンサ情報の傾向が異なってくる。
図１２～図１５は、転倒発生時を含む時系列のセンサ情報の例である。ここでのセンサ情報は、図２に示したように被介助者の胸部や背中に装着される加速度センサ１２０の出力であって、ｘ軸、ｙ軸、ｚ軸における加速度と、３軸の加速度の二乗平均である。図１２～図１５の横軸は時間を表し、縦軸は加速度（Ｇ）を表す。また各グラフにおいて、矢印を付した点が転倒に対応する。
図１２はベッド５１０での転倒を含むセンサ情報の例、図１３は車椅子５２０での転倒を含むセンサ情報の例、図１４はトイレ６００での転倒を含むセンサ情報の例、図１５は歩行中の転倒を含むセンサ情報の例である。
例えば図１２～図１５の二乗平均を見ると分かるように、転倒した際の衝撃を表す加速度の大きさは、場所に応じて異なる。例えば図１２に示すベッド５１０の例では、３回の転倒を含むが、二乗平均の値は２．８Ｇ程度の大きい値の場合もあれば、１．５Ｇ程度の比較的小さい値も含む。そのため、例えば閾値以上の加速度が検出されたか否かに基づいてベッドでの転倒を検出する処理を行う場合、ばらつきの大きい値を適切に転倒であると判定する必要がある。
図１３に示す車椅子５２０の例では、転倒時の二乗平均の値は２．０Ｇ程度である。そのため、閾値判定に基づいて車椅子５２０での転倒を判定する場合、この値と平常時の値を切り分け可能な閾値を設定すればよい。
図１４に示すトイレ６００の例では、転倒時の二乗平均の値は１．５Ｇ程度かそれよりも小さい。そのため、閾値判定に基づいてトイレ６００での転倒を判定する場合、他の場所のように大きな閾値を設定することはできず、このような相対的に小さい衝撃を転倒として検出可能な閾値を設定する必要がある。
図１５に示す歩行中の例では、転倒時の二乗平均の値は２．０～２．４Ｇ程度である。そのため、閾値判定に基づいて歩行での転倒を判定する場合、この値と平常時の値を切り分け可能な閾値を設定すればよい。また歩行中はベッド５１０、車椅子５２０、トイレ６００に比べて平常時の動きが大きいため、正常な歩行による衝撃を転倒と誤判定することを抑制するには、過剰に小さい閾値（例えば１．５Ｇよりも小さい閾値）を設定することは好ましくない。
また以上では二乗平均の大きさのみの相違点を説明した。ただし上述の説明から分かるように、場所が異なれば転倒が発生する前の姿勢（重心の位置や体の傾き等）の条件が異なる。よって１タイミングにおける二乗平均の値だけでなく、時系列的な変化傾向も場所に応じて異なると考えられる。また、ｘ軸、ｙ軸、ｚ軸の各加速度は例えば被介助者の前後、左右、上下の各方向に対応するため、それぞれが被介助者の姿勢を表す情報となる。よってｘ軸、ｙ軸、ｚ軸のいずれか、あるいは２以上の組み合わせに着目した場合にも、センサ情報の傾向は場所に応じて異なる。
以上のように、場所に応じて転倒時のセンサ情報は異なるため、センサ情報に基づく転倒判定処理を場所に応じたものとすることによって、処理精度の向上が可能になる。
２．２．３ 転倒判定処理の具体例
上述したように、本実施形態に係る転倒判定処理は、加速度の値と閾値の比較処理であってもよい。この場合、記憶部３２０は場所ごとに閾値を記憶し、図９のステップＳ１０７において、場所の特定結果に基づいて対応する閾値を特定し、当該閾値とセンサ情報を比較する転倒判定処理を行う。ただし、転倒判定処理はこれに限定されない。
例えば処理部３１０は、機械学習を用いた転倒判定処理を行ってもよい。以下では機械学習としてニューラルネットワークを用いる例について説明する。以下、ニューラルネットワークをＮＮと表記する。ただし機械学習はＮＮに限定されず、ＳＶＭ（support vector machine）、k-means法等の他の手法が用いられてもよいし、これらを発展させた手法が用いられてもよい。また以下では教師あり学習を例示するが、教師なし学習等の他の機械学習が用いられてもよい。
図１６は、ＮＮの基本的な構造例である。図１６の１つの円をノード又はニューロンと呼ぶ。図１６の例では、ＮＮは、入力層と、２以上の中間層と、出力層を有する。入力層がＩであり、中間層がＨ１及びＨｎであり、出力層がＯである。また図１６の例においては、入力層のノード数が２、中間層のノード数がそれぞれ５、出力層のノード数が１である。ただし、中間層の層数や、各層に含まれるノードの数は種々の変形実施が可能である。また図１６では、所与の層に含まれる各ノードが、次の層に含まれるすべてのノードと接続される例を示しているが、この構成についても種々の変形実施が可能である。
入力層は、入力値を受け付け、中間層Ｈ１に出力する。図１６の例では、入力層Ｉは、２種類の入力値を受け付ける。なお入力層の各ノードは、入力値に対して何らかの処理を行い、当該処理後の値を出力してもよい。
ＮＮにおいて、接続される２つのノードの間には重みが設定されている。図１６のＷ１は、入力層Ｉと第１中間層Ｈ１の間の重みである。Ｗ１は入力層に含まれる所与のノードと、第１中間層に含まれる所与のノードとの間の重みの集合を表す。例えば図１６のＷ１は、１０個の重みを含む情報である。
第１中間層Ｈ１の各ノードでは、当該ノードに接続される入力層Ｉのノードの出力を、重みＷ１を用いて重み付け加算し、さらにバイアスを加算する演算を行う。さらに各ノードでは、加算結果に非線形関数である活性化関数を適用することによって、当該ノードの出力が求められる。活性化関数は、ＲｅＬＵ関数であってもよいし、シグモイド関数であってもよいし、他の関数であってもよい。
また、これ以降の層についても同様である。即ち、所与の層では、重みＷを用いて、１つ前の層の出力を重み付け加算し、バイアスを加算した上で活性化関数を適用することによって、次の層への出力を求める。ＮＮは、出力層の出力を、当該ＮＮの出力とする。
以上の説明からわかるように、ＮＮを用いて入力データから所望の出力データを得るためには、適切な重みとバイアスを設定する必要がある。学習では、所与の入力データと、当該入力データでの正しい出力データを表す正解データとを対応付けた訓練データを用意しておく。ＮＮの学習処理とは、訓練データに基づいて、最も確からしい重みを求める処理である。なお、ＮＮの学習処理では、誤差逆伝播法（Backpropagation）等の学習手法が種々知られている。本実施形態においては、それらの学習手法を広く適用可能であるため、詳細な説明は省略する。
また、ＮＮは、図１６に示した構成には限定されない。例えばＮＮとして、ＲＮＮ（Recurrent neural network）等の他の構成のネットワークが用いられてもよい。ＲＮＮは、例えばＬＳＴＭ（Long Short Term Memory）であってもよい。またＮＮとして畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）が用いられてもよい。
図１７は、本実施形態における入力データと出力データの関係を例示する図である。例えば、入力データは、加速度センサ１２０のセンサ情報と、場所を特定するフラグ情報を含む。センサ情報は、上述したように、ｘ軸、ｙ軸及びｚ軸の加速度値と、３軸の加速度の二乗平均を含む。ただし、この４つの値の全てを用いることは必須ではなく、一部が省略されてもよい。またフラグ情報は、例えばそれぞれがトイレ６００、ベッド５１０、車椅子５２０、歩行を表す４ビットのデータであってもよい。４ビットのデータは、例えば「１０００」がトイレ６００を表し、「０１００」がベッド５１０を表し、「００１０」が車椅子５２０を表し、「０００１」が歩行中を表す。
図１７に示すように、本実施形態の手法では、加速度センサ１２０のセンサ情報だけでなく、場所を特定する情報が入力データに含まれる。そのため、場所による転倒への影響を考慮した処理が可能になる。具体的には、場所に応じた転倒判定処理を実現できるため、処理精度の向上が可能になる。
また図１７に示すように、入力データは時系列のデータであってもよい。例えば、加速度センサ１２０が所定時間ごとに１回計測を行い、１回分の計測結果としてｘ、ｙ、ｚ及び二乗平均の４つの加速度値が求められる構成である場合に、入力データはＮ回の計測によって取得されるＮ×４の加速度値の集合である。Ｎは２以上の整数である。なお二乗平均は加速度センサ１２０が演算してもよいし、通信装置２００の処理部２１０やサーバシステム３００の処理部３１０が演算してもよい。
また上述したように、場所を表すフラグ情報は通信装置２００の識別情報に基づいて特定される情報であり、通信装置２００の識別情報は、通信装置２００がセンサ情報を受信するごとに付与されてもよい。
このように、入力データを時系列データとすることによって、入力データの時系列的な変化を考慮した処理が可能になる。例えば上述したように、場所が異なれば転倒までの経緯や、転倒の仕方等、時系列的な挙動が異なる。その点、ＬＳＴＭ等を用いて時系列の入力データを処理することによって、場所に応じた時系列的な違いを転倒判定処理に反映させることが可能になる。
また機械学習における出力データは、被介助者の転倒リスクの有無の確からしさを表す情報である。例えばＮＮの出力層は、０以上１以下の確率値を出力データとして出力してもよい。この値が大きいほど、転倒リスクがある蓋然性が高い、即ち、転倒リスクが高いことを表す。
例えばサーバシステム３００の処理部３１０は、ウェアラブルモジュール１００が出力した訓練用センサ情報と、当該訓練用センサ情報が取得された場所を識別する訓練用配置情報とを含む訓練データに基づく機械学習によって生成された学習済モデルであって、転倒リスクの確からしさを表す情報を出力する学習済モデルを取得してもよい。例えば学習段階において、処理部３１０は図１７に示した入力データと、転倒リスクの有無を表す正解データと、が対応付けられた訓練データを取得する。入力データは、上述したように通信装置２００を介して取得された加速度センサ１２０のセンサ情報に対して、場所を表すフラグ情報が付与されたデータである。なお学習段階では通信装置２００が省略され、センサ情報に対して、ユーザが場所を特定するフラグ情報を対応付けてもよい。また正解データは、例えば熟練者によって付与される情報である。例えば熟練者は、転倒リスクが大きく介助者が介入すべきであるタイミングを特定する情報を入力してもよい。この場合、当該タイミングに対応する期間（例えば当該タイミングの前の所定期間）の入力データに対して、転倒リスクが高い旨を表す正解データが対応付けられる。あるいは、被介助者が実際に転倒したか否かの履歴に基づいて正解データが付与されてもよい。例えば被介助者が実際に転倒した場合、対応する期間の入力データに転倒リスクが高い旨を表す正解データが対応付けられる。
次の処理部３１０はＮＮの重みを更新する処理を行う。具体的には、処理部３１０は、ＮＮに入力データを入力し、その段階での重みを用いて順方向の演算を行うことによって出力データを取得する。処理部３１０は、当該出力データと、正解データに基づいて目的関数を求める。ここでの目的関数は、例えば出力データと正解データの差分に基づく誤差関数、または出力データの分布と正解データの分布に基づく交差エントロピー関数である。処理部３１０は、例えば誤差関数が減少するように、重みを更新する。重みの更新手法としては上述した誤差逆伝播法等が知られており、本実施形態でもそれらの手法を広く適用可能である。
処理部３１０は、所与の条件が満たされた場合に学習処理を終了する。例えば訓練データは、学習用データとバリデーションデータに分けられてもよい。処理部３１０は、すべての学習用データを用いて重みを更新する処理が行われた場合に学習処理を終了してもよいし、バリデーションデータによる正解率が所与の閾値を超えた場合に学習処理を終了してもよい。学習処理の終了後、その段階での重みを含むＮＮが、学習済モデルとして記憶部３２０に記憶される。なお学習処理はサーバシステム３００で実行されるものには限定されず、外部機器において実行されてもよい。サーバシステム３００は、当該外部機器から学習済モデルを取得してもよい。
また推論段階では、処理部３１０は、記憶部３２０から学習済モデルを読み出す。そして処理部３１０は、通信装置２００を介して取得された加速度センサ１２０のセンサ情報に対して、フラグ情報が付与された入力データを取得し、当該入力データを学習済モデルに入力する。処理部３１０は、学習処理によって取得された重みに基づいて順方向の演算を行うことによって出力データを求める。出力データは、上述したように、転倒リスクの高低を表す数値データである。
例えばあらかじめ０＜Ｔｈ＜１である閾値Ｔｈが設定されている場合に、処理部３１０は、出力データの値がＴｈ以上である場合に転倒リスクありと判定してもよい。転倒リスク有りと判定された場合、図９のステップＳ１０７及びＳ１０８の処理が実行される。
２．２．４ 転倒判定処理における変形例
＜転倒判定処理に用いる情報の他の例（アセスメント、転倒履歴）＞
図１７では、入力データがセンサ情報と場所を特定するフラグ情報である例を説明した。ただし本実施形態の手法はこれに限定されず、入力データは他の情報を含んでもよい。
例えば入力データは、ユーザをいくつかのクラスに分類した分類結果を表す情報を含んでもよい。分類には、ウェアラブルモジュール１００とは異なる機器が用いられてもよい。
例えば以下のＵＲＬ（Uniform Resource Locator）には、インソールタイプの圧力センサを含む機器であるワルツインが開示されている。このような機器を用いることによって、例えば足裏を複数部位に分割し、各部位における足底圧をリアルタイムに計測することが可能になる。
https://media.paramount.co.jp/service/rehabilitation/waltwin/
また以下のＵＲＬには、例えば１５×１５に細分化された各領域における圧力や、対象の重心をリアルタイムに計測する機器であるＳＲ ＡＩＲが開示されている。このような機器を用いることによって、被介助者の立位、座位、歩行等の各状況における圧力変化を詳細に分析することが可能になる。
http://www.fukoku-jp.net/srsoftvision/common/img/download/download_pdf_007.pdf
例えば処理部３１０は、立位や座位の状態を維持できる期間の長さや、姿勢が崩れるときに傾きやすい方向、圧力がかかりやすい部位等に基づいて、被介助者を複数のクラスのいずれかに分類する。このように高精度且つ詳細な情報を出力する機器を被介助者のアセスメントに用いることによって、転倒しやすい状況、バランスの崩し方、転倒方向等に応じて被介助者を分類できる。分類結果を転倒判定処理における入力データに含めることによって、対象の被介助者の転倒傾向を考慮した処理が可能になるため、さらなる処理精度の向上が可能になる。またこれらの機器は被介助者の分類に用いられるのであって継続的に利用する必要がないため、システム構築も容易である。
なお本実施形態の手法は機械学習に限定されない。例えば処理部３１０は、分類結果に応じてそれぞれ異なるアルゴリズムを用いて転倒判定処理を行ってもよい。あるいは処理部３１０は、分類結果に応じてそれぞれ異なるパラメータ（例えば閾値）を用いて転倒判定処理を行ってもよい。その他、転倒判定処理に分類結果を用いる手法は種々の変形実施が可能である。
また転倒判定処理に用いられる情報は、上記アセスメント用機器の出力に限定されない。例えば介助者等のユーザは、被介助者の転倒履歴を表す転倒履歴情報を入力可能であってもよい。例えばユーザは、介助者端末４００等を用いて、被介助者を特定する情報、転倒タイミング、転倒場所、転倒状況等の情報を入力してもよい。介助者端末４００等は、入力された転倒履歴情報をサーバシステム３００に送信する。処理部３１０は、センサ情報、フラグ情報、及び転倒履歴情報に基づく転倒判定処理を行うことによって、転倒リスクを求める。転倒履歴情報は、上述した分類結果と同様に、機械学習の入力データとして用いられてもよいし、機械学習以外の処理に用いられてもよい。また転倒履歴情報と分類結果の両方が転倒判定処理に用いられてもよい。
＜車椅子における前ずれ等＞
また以上では、胸部等に装着されるウェアラブルモジュール１００のセンサ情報に基づく転倒判定処理について説明した。ただし転倒判定処理に、他のセンサを併用することは妨げられない。
図１８Ａは、車椅子５２０に配置される圧力センサの例である。図１８Ａの例では、車椅子５２０の座面に配置されるクッション５２１の裏面側に４つの圧力センサＳｅ１～Ｓｅ４が配置される。圧力センサＳｅ１は前方に配置されるセンサであり、圧力センサＳｅ２は後方に配置されるセンサであり、圧力センサＳｅ３は右方に配置されるセンサであり、圧力センサＳｅ４は左方に配置されるセンサである。なおここでの前後左右は、車椅子５２０に被介助者が座った状態における方向を表す。
図１８Ａに示すように、圧力センサＳｅ１～Ｓｅ４は、制御ボックス５２３に接続される。制御ボックス５２３は、内部に圧力センサＳｅ１～Ｓｅ４を制御するプロセッサと、プロセッサのワーク領域となるメモリを含む。ここでのプロセッサは、例えばＭＣＵ（Micro Controller Unit）であるが、他のプロセッサが用いられてもよい。メモリはＳＲＡＭ、ＤＲＡＭ、ＲＯＭ等である。また制御ボックス５２３はＵＳＢメモリ等の外部メモリが接続されてもよい。制御ボックス５２３は、例えば通信装置２００－２と同様に、車椅子５２０の背面に設けられるポケットに収納される。
プロセッサは、圧力センサＳｅ１～Ｓｅ４を動作させることによって圧力値を検出し、検出した圧力値をメモリ（ＲＯＭ）に蓄積する記憶処理を行う。記憶処理は、例えば定期的に行われてもよいし、介助者による操作に基づいて開始／終了が制御されてもよい。また制御ボックス５２３は不図示の通信モジュールを含み、プロセッサは、当該通信モジュールを介して、蓄積した圧力値を通信装置２００－２等の機器に送信してもよい。例えば圧力値は通信装置２００－２を介してサーバシステム３００に送信され、処理部３１０が圧力値に基づく転倒判定処理（後述する前ずれ、横ずれの検出処理）を行ってもよい。
またプロセッサが、圧力値に基づく転倒判定処理を行ってもよい。例えばプロセッサは、圧力センサＳｅ１～Ｓｅ４の起動、各種パラメータの初期化、圧力値の検出、転倒判定処理、記録処理を実行してもよい。またプロセッサは、初期化を行った後、圧力値の検出、転倒判定処理、記録処理の各処理を所定間隔で繰り返し実行してもよい。このようにすれば、サーバシステム３００を介さずに圧力センサＳｅ１～Ｓｅ４を用いた転倒判定処理を実行することが可能になる。
車椅子５２０に座っている被介助者は、臀部に痛みを感じ、臀部の位置をずらす可能性がある。例えば、臀部が通常よりも前にずれた状態が前ずれであり、左右にずれた状態が横ずれである。また、前ずれと横ずれが同時に発生し、重心が斜めにずれることもある。
前ずれや横ずれは転倒そのものではないが、転倒が発生しやすい状況であるため、転倒リスクとなりうる。その点、図１８Ａに示すようにクッション５２１に配置した圧力センサを用いることによって、臀部の位置の変化を適切に検出できるため、前ずれや横ずれを精度よく検出することが可能になる。
例えば、まず車椅子５２０に移乗して正常な姿勢と取ったタイミングを初期状態とする。初期状態では、被介助者は車椅子５２０の座面に深く座るため、後方の圧力センサＳｅ２の値が相対的に大きいことが想定される。一方、前ずれが起こると、臀部の位置が前方に移動するため、前方の圧力センサＳｅ１の値が大きくなる。例えば処理部３１０は、圧力センサＳｅ１の値が初期状態に比べて所定以上増加した場合に、前ずれが発生したと判定してもよい。また圧力センサＳｅ１の値を単体で用いるのではなく、圧力センサＳｅ２と圧力センサＳｅ１の値の関係を用いて処理が行われてもよい。例えば圧力センサＳｅ２と圧力センサＳｅ１の出力である電圧値の差が用いられてもよいし、電圧値の比率が用いられてもよいし、差や比率の初期状態に対する変化割合が用いられてもよい。
同様に横ずれが起こると、臀部の位置が左右何れかの方向に移動するため、左ずれであれば圧力センサＳｅ４の値が大きくなり、右ずれであれば圧力センサＳｅ３の値が大きくなる。よって処理部３１０は、圧力センサＳｅ４の値が初期状態に比べて所定以上増加した場合に、左ずれが発生したと判定し、圧力センサＳｅ３の値が初期状態に比べて所定以上増加した場合に、右ずれが発生したと判定してもよい。あるいは、処理部３１０は、圧力センサＳｅ４と圧力センサＳｅ３の値の関係を用いて右ずれ及び左ずれを判定してもよい。前ずれの例と同様に、圧力センサＳｅ４と圧力センサＳｅ３の出力である電圧値の差が用いられてもよいし、電圧値の比率が用いられてもよいし、差や比率の初期状態に対する変化割合が用いられてもよい。
なお図１８Ａに示すように、圧力センサＳｅ１は、座面の左右方向の中心に対して、左右の何れか一方側にずれた位置に配置され、圧力センサＳｅ２は、座面の左右方向の中心に対して、他方側にずれた位置に配置されてもよい。車椅子５２０は折りたたみが可能なものも多く、座面は左右に折りたたみ可能な柔らかい素材であってもよい。例えば図１８Ａに示すように、座面に置かれるクッション５２１は裏面に切り込みＮを有し、当該切り込みＮにおいて左右に折りたたみ可能である。この場合、圧力センサＳｅ１は切り込みＮに対して例えば右方に配置され、圧力センサＳｅ２は切り込みＮに対して左方に配置される。このように、左右方向での位置をそれぞれ中心からずらすことによって、圧力センサＳｅ１及びＳｅ２の位置と切り込みＮの位置の重複が避けられる。結果として、クッションに座る被介助者の体重が正確に圧力センサＳｅ１及びＳｅ２に伝わるため、前後方向のずれを精度よく検出できる。
また図１８Ａに示すように、圧力センサＳｅ３及びＳｅ４は、クッション５２１の前後方向の中心よりも後方に配置されてもよい。車椅子５２０での転倒を抑制する観点からすれば、被介助者に対して、車椅子５２０に深く座らせることが望ましい。換言すれば、標準的な姿勢において、被介助者の臀部は座面の中心からやや後方に位置する。また位置ずれが発生した場合、臀部は座面の前方へ移動していくことが想定される。よって圧力センサＳｅ３及びＳｅ４の位置を、標準的な臀部の位置（狭義には臀部の初期位置）よりもさらに後方に配置することによって、臀部の位置と圧力センサＳｅ３及びＳｅ４の位置が過剰に近くなることを抑制できる。結果として、検出可能な圧力値の上限が小さいセンサであっても検出値が飽和することを抑制できる。例えば、小型、薄型のセンサを圧力センサＳｅ３及びＳｅ４として採用できるため、システム構築が容易になる。
また図１８Ｂは、クッション５２１の断面構造を例示する図である。図１８Ｂに示したように、クッション５２１は、使用状態における鉛直上方から下方へと向かう方向において、第１層５２２ａ、第２層５２２ｂ、第３層５２２ｃがこの順に積層される構造を有してもよい。例えば、第１層５２２ａは他の層とは独立して設けられるクッションであり、第２層５２２ｂ及び第３層５２２ｃは、一体として設けられ、下面に切り込みＮが形成されるクッションである。ここで、第１層５２２ａ及び第３層５２２ｃは、第２層５２２ｂに比べて柔らかくてもよい。柔らかさは、例えばヤング率等、対象物を所定割合の歪み量まで押し込む操作等を行った際の荷重の大きさによって表されてもよい。相対的に固い第２層５２２ｂが設けられることによって、被介助者の体重を分散できるため、座り心地をよくし、褥瘡の抑制等が可能になる。一方、臀部、及び圧力センサＳｅ１～Ｓｅ４と直接接する層として相対的に柔らかい第１層５２２ａ及び第３層５２２ｃが設けられるため、位置に応じた圧力変動を精度よく検出することが可能になる。具体的には、被介助者の臀部の位置が変化した場合に圧力値が大きく変化しやすくなるため、処理精度の向上が可能である。
また図１８Ｃは、制御ボックス５２３に設けられる操作部５２４及び報知部５２５の例である。図１８Ｃに示すように、操作部５２４は、電源スイッチ５２４ａ、記録開始／終了ボタン５２４ｂ、判定ボタン５２４ｃを含む。報知部５２５は、計測中ランプ５２５ａ、記録中ランプ５２５ｂ、前ずれランプ５２５ｃ、横ずれランプ５２５ｄを含む。
本実施形態では、前ずれと横ずれを区別して説明するが、それらをまとめ「ずれ」と認識して、プロセッサがずれを検出していない場合（正常）にランプ５２５ｃを点灯させ、ずれを検出した場合にランプ５２５ｄを点灯させる態様としてもよい。
電源スイッチ５２４ａは、例えばプロセッサ、メモリ、圧力センサＳｅ１～Ｓｅ４等に電源供給を開始するスイッチである。電源スイッチ５２４ａがオンにされることによって、上述した各部が動作可能な状態に移行し、圧力センサＳｅ１～Ｓｅ４は圧力値の計測を開始する。圧力値の計測中は、計測中ランプ５２５ａが点灯する。圧力値の計測が開始されると、プロセッサは圧力値に基づく転倒判定処理を行い、前ずれが発生していると判定された場合、前ずれランプ５２５ｃを点灯させ、横ずれが発生していると判定された場合、横ずれランプ５２５ｄを点灯させる。
記録開始／終了ボタン５２４ｂは、圧力センサＳｅ１～Ｓｅ４によって検出された圧力値をメモリに記憶する記録処理の開始／終了を制御するボタンである。例えば、計測中、且つ、記録処理が開始されていない状態において、記録開始／終了ボタン５２４ｂが押下された場合、プロセッサは、圧力値をメモリに記憶する処理を開始する。記録処理の実行中は、記録中ランプ５２５ｂが点灯する。一方、記録処理の実行中に記録開始／終了ボタン５２４ｂが押下された場合、プロセッサは、圧力値の記録を終了する。記録処理が終了すると、記録中ランプ５２５ｂが消灯する。
判定ボタン５２４ｃは、計測中の圧力値に対してフラグを付加するボタンである。例えば転倒判定処理の結果が介助者の暗黙知と整合しないときに（転倒判定の処理の結果がずれと判定しているが介助者はずれていないと判断しているときや、その反対のとき）、介助者はこの判定ボタン５２４ｃを押す。プロセッサは、判定ボタン５２４ｃが押された時の圧力センサＳｅ１～Ｓｅ４の圧力値に対してフラグを付しメモリに記憶する。プロセッサはこれらのデータを、記録終了した際に、通信装置２００等を介してサーバシステム３００に送信する処理を行い、サーバシステム３００はもともとの学習用データとフラグが付された圧力値のデータに基づいて、学習済みモデルの更新を行い、更新された学習済みモデルを制御ボックス５２３に送る。制御ボックス５２３は、再度電源がオンとなったタイミングで、サーバシステム３００と通信を行い、更新された学習済みモデルをダウンロードする。制御ボックス５２３は、更新された学習済みモデルで被介助者の前ずれや横ずれの判定を行い、転倒判定の処理を行う。したがって、介助者が考える被介助者個々に最適な転倒判定の処理を行うことができる。
例えば本実施形態の手法では、サーバシステム３００は、圧力センサＳｅ１～Ｓｅ４に対応する圧力値を含む入力データを取得し、ずれの有無の確からしさを含む出力データを出力する学習済モデルを用いた処理を行ってもよい。なお入力データは、複数のタイミングにおける４つの圧力値の集合である時系列データであってもよい。出力データは、ずれ発生の確率を表す数値データであってもよい。また出力データは、前ずれの可能性を表す確率値と、横ずれの可能性を表す確率値の両方を含んでもよい。上述したように、判定ボタン５２４ｃを用いることによって、介助者は学習済モデルを用いた推定結果の誤りを指摘できる。例えば、学習済モデルがずれ有りと判定し、前ずれランプ５３５ｃや横ずれランプ５３５ｄを点灯させている状態においてフラグが付与された場合、当該フラグは、「ずれ無し」が正解であることを示すデータである。この場合、対応する圧力値に対して、ずれ発生の確率が０（あるいは十分小さい）ことを表す正解データが付加されたデータが、更新用の訓練データとしてサーバシステム３００に送信される。逆の場合も同様であり例えば、学習済モデルが「ずれ無し」と判定している状態においてフラグが付与された場合、対応する圧力値に対して、ずれ発生の確率が１（あるいは十分大きい）ことを表す正解データが付加されたデータが、更新用の訓練データとしてサーバシステム３００に送信される。このようにすれば、学習済モデルを適切に更新することが可能になる。この際、上述したように学習済モデルは被介助者毎に更新されてもよい。例えば被介助者毎に異なる学習済モデルが用いられてもよい。
なお上述したように、転倒判定処理はプロセッサが実行してもよい。また、制御ボックス５２３と通信可能な携帯情報端末で、被介助者の属性等のアンケートの回答を入力できるようにしてもよい。このアンケートの回答は、サーバシステム３００に送信され、学習済みモデルの更新に使用される。サーバシステム３００は、アンケートの結果に基づいて、被介助者のクラス分けを行い、クラスごとに学習済みモデルの更新を行う。その結果として、同じような属性をもつ被介助者に対して、制御ボックスが最適な転倒判定の処理を行うことができる。例えば上述した属性毎に異なる学習済モデルが用いられてもよいし、入力データに被介助者の属性を表すデータが追加されてもよい。ここで被介助者の属性とは、性別、年齢、体格、身体状況、動き、意思疎通等の情報を含んでもよい。例えば体格は痩せ型、標準、肥満型の何れかを表す情報であってもよいし、ＢＭＩ等の数値であってもよい。身体状況とは、片麻痺の有無や場所、痛みの有無や場所、脊髄の変形（円背や側弯の有無や強度等）を特定する情報である。動きとは、被介助者自身で座り直しをできるか否かを表す情報である。意思疎通とは、対象の被介助者が他者と意思疎通をできる状態か否かを表す情報である。
なお本実施形態では、判定ボタン５２４ｃは１つであるが、これに限定されることなく、例えば前ずれと横ずれの２つを区別して記録すべく複数のボタンを設定してもよい。例えば学習済モデルが前ずれの可能性と横ずれの可能性を個別に出力する構成である場合、正解データを付与するには、現在発生しているずれが前ずれであるか横ずれであるか、その両方であるかを入力可能であることが望ましい。この場合、前ずれフラグを付与するボタンと横ずれフラグを付与するボタンをそれぞれ設けることによって、適切なフラグ付けが可能になる。また介助者等のユーザが付与するフラグは、ずれの種類（ずれ無し、前ずれ、横ずれ等）を特定する情報に限定されないため、判定ボタン５２４ｃのボタン数は３つ以上に拡張されてもよい。例えば介助者は、記録処理によって記録される一連の圧力値のうちの一部の期間のデータを識別するためのフラグを、判定ボタン５２４ｃを用いて入力可能であってもよい。例えば記録開始／終了ボタン５２４ｂを用いた記録処理の開始から終了までの期間のうち、一部の期間のデータが特徴的なデータである（例えばずれ発生期間に対応する）と介助者が判定する場合がある。この場合、介助者が判定ボタン５２４ｃを用いて対応する期間の開始／終了を入力することによって、一部のデータに対して期間フラグを付与することが可能になる。例えば、記録処理によって記録された１つのファイルに含まれる圧力値のうち、期間フラグが付与された圧力値のみを抽出して学習済モデルの更新処理に用いることが可能になる。またユーザが付加可能なフラグは、ずれの種類、期間に限定されず、種々の変形実施が可能である。なお、判定ボタン５２４ｃの拡張はボタン数の増加に限定されない。例えばボタン以外のインターフェイスが用いられてもよいし、ボタンの押下回数や押下時間に応じて異なる入力が可能であってもよい。即ち、判定ボタン５２４ｃは、使用するフラグの種類に応じた入力が可能なインターフェイスであればよく、具体的な態様は種々の変形実施が可能である。
また前ずれや横ずれの検出において、スマートフォン等の携帯端末装置がセンサとして用いられてもよい。例えば加速度センサを含むスマートフォンが広く用いられている。例えばバンド等の固定具を用いてスマートフォンを座面の裏面に固定することによって、転倒判定処理が行われてもよい。
車椅子５２０の座面は、上述した通り、折りたたみ可能な柔らかい素材であってもよい。座面が柔らかい場合、被介助者が臀部をおいた部分が大きく沈み込み、他の部分が相対的に浮くことになるため、座面の角度は被介助者の姿勢に応じて大きく変化すると考えられる。例えば前ずれが発生すれば、正常状態を基準とした場合よりも座面の前方側が沈み込む。この場合、裏面に固定されたスマートフォンの姿勢も座面の変化に合わせて変化するため、加速度センサを用いることによって、前ずれを適切に検出できる。
同様に、横ずれが発生すれば、座面のうち左右の一方側が大きく沈み込み、他方側が相対的に浮く。この場合も、ずれ方向に応じてスマートフォンの姿勢が変化するため、当該スマートフォンの加速度センサを用いることによって、横ずれを適切に検出できる。
＜歩行に関する変形例＞
以上では、例えば図２の通信装置２００－１～通信装置２００－６とは別に歩行中に対応する通信装置２００が設けられ、当該通信装置２００の識別情報が対応付けられている場合に、対象のセンサ情報が歩行中のデータであると判定される例を説明した。ただし、歩行中のセンサ情報はベッド５１０、車椅子５２０、トイレ６００の場合と異なる特徴を有するため、処理部３１０は、当該特徴に基づいて、センサ情報が歩行中に対応するか否かを判定してもよい。
具体的には、歩行中は他の場所と異なり、被介助者は右足と左足を交互に出す動作を繰り返す必要がある。結果として、被介助者の上半身は２歩の歩行を１周期として左右に揺れる。そのため、被介助者の左右方向に対応する軸の加速度値は、周期的なデータとなる。左右方向に対応する軸とは、上述した例であればｙ軸である。
例えば処理部３１０は、ｙ軸の加速度値の周期性を判定することによって歩行中か否かを判定する。一例としては、処理部３１０は、ｙ軸の加速度値の上ピークまたは下ピークを検出し、ピーク間隔を求める。上ピークは、値が増加から減少に転じた点であり、下ピークは、減少から増加に転じた点である。ピーク間隔は、所与のピークと次のピークの時間差である。例えば処理部３１０は、所定期間におけるピーク間隔のばらつきを求め、当該ばらつきが所定以下である場合に、周期性が高く、被介助者が歩行中であると判定する。
なお周期性を判定する処理はこれに限定されない。例えばピークに変えてゼロクロス点の間隔が用いられてもよい。ゼロクロス点とは、値が正から負に転じた点、または、値が負から正に転じた点である。あるいは、処理部３１０はＦＦＴ（fast Fourier transform）等の周波数変換を行い、変換後の分布に基づいて周期性を判定してもよい。例えば処理部３１０は、周波数軸での波形におけるピーク半値幅等に基づいて、周波数のばらつきが所定以下と判定した場合に、被介助者が歩行中であると判定する。
また以上ではＮＮ等の機械学習を用いた転倒判定処理を説明したが、歩行における転倒判定処理では上述の周期的な信号に基づく判定が行われてもよい。例えば、処理部３１０は、正常状態に比べて周期性が低くなった場合に、転倒リスクが高いと判定してもよい。周期性が低くなった場合、右足と左足を出すリズムが崩れていることになり、例えば足がうまく出ない、何かに躓いた等の事象が疑われるためである。
また転倒の前後では、ｙ軸の加速度値の周期性があったとしても、振幅や周期が変動する、あるいは加速度値の下ピーク値や上ピーク値が変動する等、正常状態と相違があることが出願人の実験でわかった。よって処理部３１０は、歩行中の場合、上述した振幅、周期等のパラメータを求め、当該パラメータの変化に基づいて転倒リスクを判定してもよい。例えば処理部３１０は、周期性が崩れるパターンをいくつかに分類しておき、そのうちの何れに該当するかに基づいて、転倒を判定してもよい。なお、歩行時のパターン分類については後述する歩行能力の推定処理において説明する。
２．３ 周辺機器との連携
以上では、図５等を用いて上述したように、転倒リスクが検出された場合に介助者へ通知を行う例について説明した。ただし、情報処理装置２０の処理部２３は、転倒判定処理に基づいて他の処理を実行してもよい。なお上述した例と同様に、以下では情報処理装置２０がサーバシステム３００である例を説明する。
例えば処理部３１０は、転倒判定処理に基づいて、周辺機器７００を制御してもよい。この制御のトリガーは、例えば転倒判定処理に基づいて被介助者の転倒リスクが検出されたことであってもよい。ここでの周辺機器７００とは、被介助者によって使用される機器であって、被介助者の日常生活において当該被介助者の近傍に配置される機器を表す。このようにすれば、周辺機器７００との連携によって、被介助者の転倒を抑制すること、あるいは転倒そのものを抑制できなかったとしても当該転倒による衝撃を和らげること等が可能になる。
図１９Ａ、図１９Ｂは、周辺機器７００の一例であるテーブル５３０を例示する図である。例えばコンパクトな操作機構を有するテーブルが、「操作機構およびこれを備える移動式テーブル」という２０１５年１１月２４日に出願された特願２０１５／２２９２２０号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。
図１９Ｃ、図１９Ｄは、周辺機器７００の一例である歩行器５４０を例示する図である。例えば軽量化、安定性、メインテナンス性の向上を図った歩行器が、「歩行補助器」という２００５年６月３０日に出願された特願２００５／１９２８６０号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。
テーブル５３０は、例えばキャスターＣａ１１～Ｃａ１４を含む移動式テーブルである。また歩行器５４０は、例えばキャスターＣａ２１～Ｃａ２４を含み、被介助者の歩行を補助する機器である。テーブル５３０は、キャスターＣａ１１～Ｃａ１４の少なくとも一部をロックすることによって移動を制限する機能を有する。例えば特願２０１５／２２９２２０号には、ブレーキ機構や、当該ブレーキ機構に動作を伝達する操作ワイヤ等が開示されている。同様に歩行器５４０は、キャスターＣａ２１～Ｃａ２４の少なくとも一部をロックすることによって移動を制限する機能を有する。例えば被介助者が把持するグリップ部の近傍にブレーキレバーを有し、当該ブレーキレバーを握った場合にワイヤを用いてブレーキ状態とする歩行器が知られている。歩行器５４０は、当該ブレーキ機構をブレーキ状態で固定する機能を有してもよいし、ブレーキレバーに連動するワイヤとは異なるワイヤを用いたロック機構を有してもよい。
しかし周辺機器７００にロックがかかっているとは限らない。例えば特願２０１５／２２９２２０号に開示された移動式テーブルは、通常状態がブレーキ状態であり、操作レバー５３１を操作したときにブレーキが解除されるオフロック機能を有するテーブルである。例えば図１９Ａにおいて、２つ設けられる操作レバー５３１を上方に動かすことによってオフロックが解除される。しかしオフロック付きテーブルであっても、オフロック解除が保持されているケースもある。例えば介助者がテーブル５３０を移動させる場合、操作レバー５３１を手動で操作し続けるのではなく、ロックレバーを用いて当該操作レバー５３１を操作状態で固定することがある。この場合、オフロックが解除状態となる。テーブル５３０の移動後に介助者がロックレバーを元に戻せばオフロックが機能するため問題はない。例えばテーブル５３０は、操作状態で固定された操作レバー５３１をさらに操作する（例えばさらに上方に移動させる）ことによって、ロックレバーが元に戻る構成を有してもよい。しかし、人為的なミスによってロックレバーをそのままにしてしまい、オフロック解除が保持されることがある。
また歩行器５４０の場合、例えば被介助者が当該歩行器５４０を用いて歩いているときに、体勢を崩すことによって転倒リスクが発生する。この場合、上述したように、被介助者がブレーキレバーを操作できればキャスターＣａ２１～Ｃａ２４をロック可能である。しかし転倒しそうになっている被介助者が適切にブレーキレバーを引くことは容易でなく、ロック機構が機能しない可能性がある。また歩行器５４０の構成によっては、図１９Ｄを用いて後述するブレーキ５４７のように、キャスター近傍にのみロック機構が設けられ、ブレーキレバー自体を有さない場合もある。この場合、転倒しそうな被介助者が足等を用いてとっさにロックを掛けることは困難である。
よって処理部３１０は、転倒リスクが検出された場合、キャスターによる移動が可能な周辺機器７００のキャスターをロックする制御を行ってもよい。キャスターによる移動が可能な周辺機器７００は、例えばテーブル５３０または歩行器５４０であるが、他の周辺機器７００が用いられてもよい。例えば、キャスターを有するベッド５１０（小児用ベッドを含む）であって、電気的に当該キャスターをロックする機能を有する機器が知られている。本実施形態の周辺機器７００は、そのようなベッド５１０を含んでもよい。被介助者が転倒しそうなときには、通常、周辺機器７００につかまることが多い。本実施形態の手法によれば、被介助者がつかまろうとする周辺機器７００を確実にロック状態にできる。ロック状態では、周辺機器７００は床面に対する移動が規制されるため、被介助者の体を適切に支えることが可能であり転倒を抑制できる。
あるいは周辺機器７００は、高さ調整機能を有する機器であってもよい。高さ調整機能を有する周辺機器は、例えば図１９Ｅに示すベッド５１０であってもよい。ここでのベッド５１０とは、ボトムの高さを変更可能な可動ベッドである。ただし、高さ調整機能を有する周辺機器７００として他の機器が用いられてもよい。
処理部３１０は、転倒リスクが検出された場合、周辺機器７００の高さを下げる制御を行ってもよい。ベッド５１０は、立ち上がりや車椅子５２０への移乗時に腰掛ける場合、ベッド５１０で食事を行う場合、オムツ交換を行う場合等、状況に応じてボトムの角度や高さが調整される。しかし、ボトムが高い位置にある場合、ボトム上のマットレスや側面に設けられるサイドレールの高さも高くなっている。よって転倒しそうな被介助者がマットレスや手すりにつかまる、あるいはマットレスの上に安全に倒れるといった動作が難しい場合がある。その点、本実施形態の手法によれば、転倒リスクがある場合にベッド５１０の高さが下げられるため、当該被介助者が転倒で怪我を負うことを適切に抑制できる。
図２０は、周辺機器７００の構成を示す図である。周辺機器７００は、制御部７１０、記憶部７２０、通信部７３０、駆動機構７４０を含む。
制御部７１０は、周辺機器７００の各部の制御を行う。制御部７１０は、プロセッサであってもよい。ここでのプロセッサは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサを用いることが可能である。本実施形態の制御部７１０は、例えば後述する基板ボックス５３３に含まれるプロセッサや、筐体５４２または第２筐体に含まれるプロセッサに対応する。
記憶部７２０は、制御部７１０のワーク領域であって、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ等の種々のメモリによって実現される。本実施形態の記憶部７２０は、例えば後述する基板ボックス５３３に含まれるメモリや、筐体５４２または第２筐体に含まれるメモリに対応する。
通信部７３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ回路、及びベースバンド回路を含む。通信部７３０は、制御部７１０による制御に従って動作してもよいし、制御部７１０とは異なる通信制御用のプロセッサを含んでもよい。通信部７３０は、例えば無線ＬＡＮを用いた通信によって、サーバシステム３００と通信を行ってもよい。あるいは、図２のベッド５１０等と例と同様に、周辺機器７００にホルダー等を用いて通信装置２００が固定されてもよい。この場合、当該通信装置２００が、サーバシステム３００との通信を行ってもよい。通信部７３０は、当該通信装置２００とBluetooth等の任意の方式で通信を行うことによって、処理部３１０からの情報を取得する。
駆動機構７４０は、周辺機器７００操作する機械的な構成を含む。例えば駆動機構７４０はソレノイド５３４であってもよい。図１９Ａ、図１９Ｂに示すように、テーブル５３０は一対の操作レバー５３１と、駆動機構７４０をテーブル５３０に固定する固定部材５３２を含む。固定部材５３２は、相対的に面積の大きい主面５３２ａ、主面５３２ａに交差しテーブル面に平行な面５３２ｂ、及び主面５３２ａに交差し支柱部の１つの面に平行な面５３２ｃを有し、これらの面を用いてテーブル５３０に固定される。なおここでの平行は略平行を含み、例えば対称面（上記例であればテーブル面等）となす角度が所定以下の面を含む。固定手法は、ネジ止め、接着等、種々の手法を用いることが可能である。また図１９Ｂに示すように、固定部材にはソレノイド５３４と、当該ソレノイド５３４を駆動する基板が収容される基板ボックス５３３が設けられる。ここでの基板は、例えばソレノイド５３４を制御するプロセッサやメモリが実装される基板である。
図１９Ａに示したように、固定部材５３２がテーブル５３０に固定された状態において、ソレノイド５３４は一対の操作レバー５３１のいずれか一方の下方に配置される。より具体的には、ソレノイド５３４は、基板ボックス５３３に含まれるプロセッサの駆動によって可動鉄心が移動した際に、当該可動鉄心が操作レバー５３１に衝突する位置に配置される。例えば処理部３１０がテーブル５３０のロックを指示する制御信号を出力した場合、当該制御信号はテーブル５３０に設けられる通信装置２００を介して基板に送信され、基板は当該制御信号に基づいてソレノイド５３４を駆動する。このようにすれば、処理部３１０からの制御信号に基づいて操作レバー５３１を上方に移動させる操作が行われるため、操作レバー５３１の固定が解除され、結果としてテーブル５３０はオフロックが機能する状態へ移行する。
また駆動機構７４０は、ブレーキ機構を操作するワイヤ５４６と、当該ワイヤを巻き取るモータ５４５とを含んでもよい。図１９Ｃ、図１９Ｄに示すように、歩行器５４０は、ベースフレームとベースフレームに立設した支柱と、支柱に伸縮調節可能に設けた調節支柱と、調節支柱頂部に設けた、使用者の上半身を支えるためのもたれ部とを備えている。ベースフレームは、直状の横脚パイプ５４１ａと、横脚パイプ５４１ａの両端近傍に一端部側を一体的に結合して、他端部側を前記一端部間の間隔に比較して大きく拡開する一対の縦脚パイプ５４１ｂと、一対の縦脚パイプ５４１ｂ間を一体的に結合した、支柱を取り付けるための基部枠部材５４１ｃを含む。この場合の駆動機構７４０は、筐体５４２に収容されてもよい。筐体５４２は、フック部５４３、５４４を含み、当該フック部５４３、５４４によって一対の縦脚パイプ５４１ｂの一方に吊り下げた状態で保持される。筐体内部には、図１９Ｄに示すように、モータ５４５が設けられ、当該モータ５４５はワイヤ５４６の巻き取り及び解放を行う。なお図１９Ｄには不図示であるが、筐体５４２の内部には、モータ５４５の駆動制御を行うプロセッサと、プロセッサのワーク領域となるメモリが実装されてもよい。
図１９Ａに示すように、キャスターＣａ２３にはブレーキ５４７が設けられる。ブレーキ５４７は、例えば板状部材を含み、当該板状部材が上に引き上げられることによってキャスターＣａ２３がロックされる。上述したワイヤ５４６は、ブレーキ５４７の板状部材と連結されている。よってモータ５４５がワイヤ５４６を巻き上げることによって板状部材が上方に移動し、キャスターＣａ２３がロックされる。一方、モータ５４５がワイヤ５４６を元に戻すことによって板状部材が下方に移動し、キャスターＣａ２３のロックが解除される。
なお歩行器５４０における駆動機構７４０の構成はこれに限定されない。例えば、筐体５４２とは別に、プロセッサ及びメモリを収容する第２筐体が設けられてもよい。第２筐体は、例えば基部枠部材５４１ｃに固定されてもよい。筐体５４２のモータ５４５と、第２筐体のプロセッサは、信号線を用いて電気的に接続される。また図１９ＣではキャスターＣａ２３がロックされる機構を説明したが、ロックされるキャスターはこれ以外であってもよい。またキャスターＣａ２１～Ｃａ２４のうち、２以上のキャスターがロック対象となってもよい。例えばキャスターＣａ２３及びＣａ２４の近傍にそれぞれ筐体５４２が設けられ、この両方が基部枠部材５４１ｃに設けられる第２筐体と接続されてもよい。
また駆動機構７４０は、ベッド５１０のボトムの高さを変化させる種々の機構を含んでもよい。例えば駆動機構７４０は、ボトムの角度を保ったまま、ベッド５１０の脚部を駆動することによってボトムの高さを下げる機構であってもよい。
図２１は、周辺機器７００を含む情報処理システム１０の構成例である。ウェアラブルモジュール１００、通信装置２００については図５の例と同様である。またサーバシステム３００についても、通信装置２００からセンサ情報と通信装置２００の識別情報を対応付けた情報を取得し、場所に応じた転倒判定処理を行う点は上述した例と同様である。
図２１の例では、周辺機器７００として図１９Ａ～図１９Ｅに示したテーブル５３０、歩行器５４０、ベッド５１０を例示しているが、周辺機器７００は、キャスターによって移動可能な他の機器を含んでもよいし、高さ調整が可能な他の機器を含んでもよい。
図２２は、図２１に示すシステムにおける処理を説明するシーケンス図である。まずステップＳ２０１において、ウェアラブルモジュール１００は、周辺に接続可能な通信装置２００が存在するかを判定する。ステップＳ２０２において、ウェアラブルモジュール１００と通信装置２００の接続が確立される。
ステップＳ２０３において、ウェアラブルモジュール１００は加速度センサ１２０によって検出されたセンサ情報を、通信モジュール１３０を用いて通信装置２００に送信する。ステップＳ２０４において、通信装置２００は、ステップＳ２０３において受信したセンサ情報に、当該通信装置２００の識別情報を対応付ける処理を行う。ステップＳ２０５において、対応付け後の情報をサーバシステム３００に送信する。ステップＳ２０６において、サーバシステム３００は、受信した情報に基づいて、被介助者の場所に応じた転倒判定処理を実行する。ステップＳ２０１～Ｓ２０６に示した処理は、図９のステップＳ１０１～Ｓ１０６と同様である。
転倒リスクがあると判定された場合、ステップＳ２０７において、配置情報によって特定される通信装置２００が配置される場所、及び、ウェアラブルモジュール１００と対応付けられた被介助者を特定する情報、の少なくとも一方に基づいて、被介助者の周辺に位置する周辺機器７００を特定する処理を行う。
上述したように、本実施形態では、転倒しそうな被介助者がとっさに掴まろうとする機器を、転倒防止に適した状態に移行させる制御を行う。そのため、被介助者が容易に捕まれない位置にある周辺機器７００を制御することは転倒による怪我等の抑制において有用とは言えない。さらに言えば、他の被介助者や介助者によって使用されている周辺機器７００が駆動されてしまうと、かえって危険であり、利便性も損なう。そのため、介護施設等では複数の周辺機器７００が利用されることが想定されるが、そのうちのいずれを制御対象とするかは適切に決定される必要がある。
例えば処理部３１０は、転倒判定処理において上述したように、センサ情報に対応付けられた通信装置２００の識別情報に基づいて、通信装置２００が配置される場所を特定する。処理部３１０は、特定された場所に配置された周辺機器７００を、制御対象の機器として特定してもよい。例えばサーバシステム３００は、周辺機器７００と、当該周辺機器の配置された場所とを対応付けた周辺機器情報を記憶してもよい。処理部３１０は、通信装置２００の識別情報に基づいて特定した場所と、周辺機器情報に基づいて、転倒リスクのある被介助者の周辺に位置する周辺機器７００を、制御対象として特定する。なお、周辺機器情報に含まれる場所の情報は、介助者等のユーザによって登録される情報であってもよいし、センサを用いたトラッキング処理によって動的に変更される情報であってもよい。
あるいは図８Ｂに示したように、処理部３１０は、モジュール情報に基づいて、ウェアラブルモジュール１００と対応付けられた被介助者を特定することが可能である。またサーバシステム３００は、周辺機器７００と、当該周辺機器７００の使用者である被介助者を対応付けた周辺機器情報を記憶してもよい。例えば介護施設では、どの被介助者に対して何時にどのような介助を行うといったスケジュールが決まっているため、歩行器５４０等の周辺機器７００が、いつ、どの被介助者によって使用されるかを特定可能な場合が考えられる。またベッド５１０は、一人の被介助者によって占有される蓋然性が高いため、周辺機器７００と、その使用者である被介助者の対応付けは容易である。よって、センサ情報の送信元であるウェアラブルモジュール１００の識別情報から、転倒リスクのある被介助者を特定すれば、当該被介助者によって使用されている蓋然性の高い周辺機器７００を特定できる。
ステップＳ２０８において、処理部３１０は特定された周辺機器７００を対象として、制御信号を送信する処理を行う。ステップＳ２０９において、周辺機器７００の制御部７１０は、制御信号に従って駆動機構７４０を動作させる。なおステップＳ２０８で送信される制御信号は、ロックを指示する信号や、ボトムの高さを下げることを指示する信号であってもよい。あるいは、制御信号は転倒リスクがある旨を示す信号であり、具体的な制御内容は周辺機器７００の制御部７１０が決定してもよい。
なお、以上ではキャスターによって移動可能な周辺機器７００において、転倒リスクに基づいてキャスターをロックする例について説明した。ただし本実施形態の手法はこれに限定されない。
上述したように、本実施形態の手法は、転倒しそうな被介助者を安定した周辺機器７００に掴まらせることによって、転倒による怪我等を抑制するものである。そのため、被介助者がとっさに掴まることのできる程度に、被介助者と周辺機器７００の距離が近いことが重要である。よって処理部３１０は、転倒リスクが検出された場合、周辺機器７００のキャスターを駆動することによって、周辺機器７００を被介助者に近づける制御を行ってもよい。このようにすれば、周辺機器７００と被介助者の距離が近づくため、被介助者は周辺機器７００に掴まりやすくなり、より転倒による影響を抑制できる。
例えば、本実施形態のウェアラブルモジュール１００は、加速度センサ１２０を有するため、当該加速度センサ１２０のセンサ情報に基づいた自律測位が可能である。なおウェアラブルモジュール１００の測位は、通信装置２００やサーバシステム３００で実行されてもよい。特に、通信装置２００の位置は既知であるため、通信装置２００との通信の有無や、通信時の受信電波強度等を用いて自律測位結果を補正することによって、被介助者の位置を推定できる。
また周辺機器７００には、上述したように通信装置２００に対応するスマートフォン等の機器が配置されてもよい。これらの機器は、加速度センサを含むため、ウェアラブルモジュール１００と同様に自律測位が可能である。また他の通信装置２００との通信状況や、介護施設等における備品の使用管理情報等を用いて自律測位結果を補正することによって、被介助者の位置を推定できる。使用管理情報は、例えば特定の歩行器５４０がいつどの場所で使用されるか、また非使用時にはどこに保管されるか等の情報を含んでもよい。
このように、被介助者の位置と周辺機器７００の位置を推定することが可能である。また以上では加速度センサに基づく自律測位の例を説明したが、介護施設内に配置されるカメラの撮像画像を用いた画像処理、ＢＬＥビーコンを用いた３点測位等、他の手法によって位置推定が行われてもよい。
サーバシステム３００の処理部３１０は、推定された位置情報に基づいて、転倒しそうな被介助者と、当該被介助者の近傍に位置する周辺機器７００の位置関係を特定する。例えば処理部３１０は、周辺機器７００を被介助者に近づけるための移動方向及び移動量を推定し、推定結果に基づいて周辺機器７００のキャスターの駆動量を決定する。より具体的には処理部３１０は、キャスターを駆動するモータの回転量を決定する処理を行ってもよい。処理部３１０は、決定した回転量を周辺機器７００に通知し、周辺機器７００の制御部７１０は当該回転量だけモータを駆動させる制御を行う。また、サーバシステム３００における処理の一部を周辺機器７００、または、周辺機器７００に配置された通信装置２００が実行してもよい。
また処理部３１０は、周辺機器７００を被介助者から所定距離以下の範囲に移動させる制御を行った後、当該周辺機器７００をロックする制御を行ってもよい。このようにすれば、制御後の周辺機器７００は被介助者がつかまりやすい位置にあり、且つロック状態であるため、被介助者の転倒による影響を適切に抑制することが可能になる。
また周辺機器７００は、ベッド５１０、テーブル５３０、歩行器５４０に限定されず、他の機器であってもよい。例えば、周辺機器７００は、被介助者によって装着されるエアバッグを含んでもよい。エアバッグは、例えば収縮した状態で被介助者の腰等に装着される機器であって、制御信号を受信した場合に自動的に膨張する機器である。例えばエアバッグは通信装置２００と通信を行う通信モジュールや、マイクロコンピュータ等のプロセッサを含む。
処理部３１０は、被介助者の転倒リスクが検出された場合に、当該被介助者によって装着されるエアバッグを対象として、当該エアバッグの膨張を指示する制御信号を出力する。制御信号は、例えば通信装置２００を介してエアバッグのプロセッサに送信される。エアバッグのプロセッサは、当該制御信号に基づいてエアバッグの膨張制御を実行する。このようにすれば、転倒リスクのある被介助者を特定し、当該被介助者のエアバッグを作動させることで、転倒による怪我の発生を抑制することが可能になる。
また本実施形態の周辺機器７００は、トイレ６００の壁面や床面に配置されるエアバッグであってもよい。処理部３１０は、被介助者のトイレ６００での転倒リスクが検出された場合に、トイレ６００に配置されたエアバッグを対象として、当該エアバッグの膨張を指示する制御信号を出力してもよい。このようにすれば、転倒による怪我の発生を抑制することが可能になる。特にトイレ６００は、面積が居室や食堂等に比べて狭く、被介助者が転倒したときに体を強打するおそれのある壁面や床面の位置を絞り込みやすい。よってエアバッグをあらかじめ配置し、転倒リスクに合わせて膨張させることによって、適切に怪我の発生を抑制できる。ただし、トイレ６００以外の箇所にエアバッグが配置されることは妨げられない。
また、本実施形態では転倒リスクが検出された場合に、図５を用いて上述したように介助者端末４００への通知が行われてもよいし、図２１を用いて上述したように周辺機器７００の制御が行われてもよいし、この両方が行われてもよい。また転倒判定処理の結果に応じて、いずれが行われるかが切り替えられてもよい。
例えば転倒判定処理の出力データは、転倒までの時間を特定する情報を出力してもよい。一例としては、歩行能力の説明に関連して後述するように、歩行における転倒判定処理（歩行能力の推定処理を含む）において、加速度センサ１２０のセンサ情報のパターン分類が行われてもよい。例えば記憶部３２０は、パターンと転倒までの時間を対応付けるテーブルを保持しておき、処理部３１０はパターン分類の結果と当該テーブルに基づいて転倒までの時間を判定してもよい。
そして処理部３１０は、転倒までの時間が所定閾値以下である場合に周辺機器７００を制御し、転倒までの時間が当該閾値よりも大きい場合に介助者端末４００への通知を行ってもよい。周辺機器７００の制御とは例えばエアバッグを作動させる制御である。転倒までの時間が短い場合、介助者端末４００へ通知しても、介助者が適切に介入できない可能性がある。例えば介助者が被介助者の近くにいない、他の被介助者の介助を行っている等の要因により、即座に被介助者を支えることができない場合等が考えられる。その点、エアバッグの作動は短時間で実行できるため、怪我の発生を適切に抑制可能である。また、転倒までの時間に余裕がある場合、介助者による介入を優先することによって、エアバッグの交換費用等を抑制できる。
３．場所に応じた処理の具体例
なお以上では、場所に応じた処理の一例として、転倒判定処理について説明した。ただし、各場所において実行される処理はこれに限定されない。以下、食事、ベッド５１０や車椅子５２０でのポジション調整、オムツ交換等、具体的な状況において暗黙知を適切に利用する手法について説明する。
なお以下の各処理では、上述したとおり、配置情報に基づく被介助者の場所の特定結果がトリガーの少なくとも１つとして用いられてもよい。例えば処理部３１０は、配置情報に基づいて被介助者のいる場所を特定し、当該場所に配置されたセンサをアクティブにする制御を実行する。そして、アクティブとなったセンサからの情報に基づいて、以下で説明する各処理を実行する。具体的には処理部３１０は、被介助者が車椅子５２０にいる場合、図１８に示した座面センサ（圧力センサＳｅ１～Ｓｅ４）をアクティブにする。また処理部３１０は、被介助者がベッド５１０にいる場合、図３３を用いて後述する心拍、呼吸、体動等を検出する検出装置８１０等をアクティブにすることによって離床や睡眠に関する処理を開始する。また処理部３１０は、被介助者がトイレ６００にいる場合、トイレ６００の床に配置された圧力センサ等をアクティブにしてもよい。また処理部３１０は、対象の場所に配置されたセンサを全てアクティブにするものには限定されない。例えば処理部３１０は、対象の被介助者の属性に応じて、アクティブにするセンサを選択してもよい。このようにすれば、配置情報に基づいて、必要なセンサを適切にアクティブにすることが可能になる。
ただし本実施形態の手法はこれに限定されず、他の手法により場所や状況が特定され、その特定結果に基づいて以下の各処理が開始されてもよい。換言すれば、以下の各処理において、配置情報に基づいて場所を特定する処理は必須ではない。
３．１ 食事
例えば車椅子５２０を利用する被介助者は、居室等においてベッド５１０から車椅子５２０に移乗した後、当該車椅子５２０に乗って食堂まで移動し、そのままテーブルに向かって食事を開始する。よって本実施形態では、ウェアラブルモジュール１００が食堂に配置された通信装置２００－５にセンサ情報を送信した場合に、後述する各処理が実行されてもよい。あるいは通信装置２００－５が省略される場合、ウェアラブルモジュール１００が車椅子５２０に対応する通信装置２００－２にセンサ情報を送信し、且つ、車椅子５２０が食堂等、食事を取る場所に位置すると判定された場合に、後述する各処理が実行されてもよい。なお、車椅子５２０の位置は加速度センサを用いた自律測位で判定されてもよい。また食堂等にカメラ等の他のセンサを配置し、当該センサによって被介助者を認識することによって、被介助者が食事を取る場所にいるか否かが判定されてもよい。また以下の処理は、介助者の携帯端末装置４１０に表示される開始ボタンが押下された場合等、他の条件をトリガーとして開始されてもよい。
図２３は、食事における暗黙知を例示する図である。図２３全体が食事における暗黙知であり、当該暗黙知は食形態、トロミ濃度、食事介助に分類される。食形態とは、食材がカットされるサイズ等、食事の形態を調整するための暗黙知に対応する。トロミ濃度とは、食事のトロミの程度を調整するための暗黙知に対応する。食事介助とは、被介助者が食事を実行するという行為をサポートするための暗黙知に対応する。
図２３の「状況」は、被介助者の状況を表し、アクションとは当該状況になった場合に介助者が実行すべき行動を表す。例えば熟練者は、自身の経験に基づいて、被介助者が食事を「噛み切れなくなってきた」状況であるかを判定し、当該状況に該当した場合、「その場で細かくして提供する」、「中止」、「歯科医師に摂食指導を受ける」等の対応をとる。即ち、熟練者の暗黙知とは、被介助者の状況と、当該状況において実行すべきアクションとが対応付けられた情報であってもよい。
図２３のように１つの状況に複数のアクションが対応付けられている場合、各アクションに優先度が対応付けられてもよい。例えば上述した例に対応する暗黙知であれば、「噛み切れなくなってきたら」、「その場で細かくして提供する」ことを優先し、それでも解決しない場合に「中止」を実行する。また食事が終了した後の別のタイミングにおいて、「歯科医師に摂食指導を受ける」ことで食機能の回復を試みる。これらの状況に応じた一連の行動が、熟練者による好ましい対応であり、本実施形態の手法では介助者の熟練度によらず、同様の行動を実行できるように介助者のサポートが行われる。なお、図２３に示す各アクションは状況に応じて実行されるアクションの一例であり、他のアクションが追加されてもよい。例えば「噛み切れなくなってきた」という状況に対して、「食事内容を見直す」、「食事量を調整する」等のアクションが追加されてもよい。換言すれば、本実施形態におけるアクションは、「噛み切れなくなってきた」という状況が起こったときにそれを改善するアクションと、それ以降のタイミングにおいて、「噛み切れなくなってきた」という状況を起こりにくくするアクションと、を含んでもよい。この点は、他の状況においても同様である。
熟練の介助者であれば、被介助者の様子を観察することによって、「噛み切れなくなってきた」状況であるか等、図２３に示した各状況に該当するか否かを判定可能である。しかし、初心者等にも状況に応じた介助を実行させるためには、センサを含むデバイスを用いて、被介助者の状況を自動的に検出する必要がある。なお図２３に示すように、暗黙知は利用者の属性を含んでもよい。これは、対象の暗黙知がどのような属性の被介助者に適用できるかを表すものである。よって本実施形態の手法では、被介助者の属性が判定され、当該属性に基づいてそれぞれの状況を自動検出の対象とするか否かが切り替えられてもよい。
図２４は、食事の場面において利用されるデバイスを例示する図である。図２４に示すように、デバイスとして被介助者の首回りに装着されるスロートマイクＴＭと、カメラを有する通信装置２００－５が用いられる。なお通信装置２００－５に代えて、カメラを有する他の端末装置が用いられてもよい。スロートマイクＴＭは、被介助者の嚥下や咳込み等による音声データを出力する。通信装置２００－５のカメラは、被介助者の食事の様子を撮像した撮像画像を出力する。通信装置２００－５は、例えば被介助者の食事をする卓上に置かれるスマートフォン等である。また図２を用いて上述したように、被介助者の胸部等にはウェアラブルモジュール１００が装着される。
スロートマイクＴＭの音声データ及び通信装置２００－５の撮像画像は、サーバシステム３００に送信される。例えば通信装置２００－５は、Bluetooth等を用いてスロートマイクＴＭから音声データを取得し、当該音声データと、カメラを用いて撮像した撮像画像をサーバシステム３００に送信する。なお音声データ及び撮像画像は、車椅子５２０に配置される通信装置２００－２を介してサーバシステム３００に送信されてもよい。その他、各デバイスの出力をサーバシステム３００の送信する手法は種々の変形実施が可能である。
図２５は、上述のデバイスと、図２３に示した状況との対応付けを説明する図である。図２５の左側に示すように、食事の暗黙知で用いられるデバイスは、例えばスロートマイクＴＭ、通信装置２００－５のカメラ、ウェアラブルモジュール１００の加速度センサ１２０である。また図２５において各デバイスから延びる線上に記載された事項は、デバイスに基づいて判定可能な情報を表す。図２５において破線の枠で囲まれた部分は図２３に示した状況を表す。
スロートマイクＴＭは、被介助者のムセと、嚥下を判定する。首回りに装着したマイクを用いて嚥下を検出するデバイスは、例えば“Swallowing action measurement device and swallowing action support system”という２０１９年２月１５日に出願された米国特許出願第１６／２７６７６８号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。処理部３１０は、スロートマイクＴＭを用いることによって、図２５に示すようにムセの回数、ムセの時間（発生時刻、継続時間等）、嚥下をしたか否かを検出できる。
また通信装置２００－５のカメラは、例えば図２４に示すように被介助者を正面方向から撮像することによって、被介助者の口、目、及び被介助者が使用する箸やスプーン等を検出できる。なお画像処理に基づいてこれらの顔のパーツや物体を検出する手法は種々知られており、本実施形態では公知の手法を広く適用可能である。
例えば処理部３１０は、カメラの撮像画像に基づいて、被介助者の口が開いているか否か、口から食事が出ているか否か、食事を噛んでいるか否かを判定できる。また処理部３１０は、カメラの撮像画像に基づいて、被介助者の目が開いているか否かを判定できる。また処理部３１０は、カメラの撮像画像に基づいて、箸やスプーン等が食器の近くにあるか否か、被介助者が持てているか否か、食事をこぼしているか否かを判定できる。
本実施形態の手法では、これらデバイスから特定できる情報に基づいて、被介助者の状況を推定する。例えば処理部３１０は、ムセ及び嚥下の検出結果、及び、被介助者の口の開閉判定結果に基づいて、介助者が実行すべきアクションを特定する処理を行ってもよい。
例えば図２５に示したように、ムセの回数や時間に基づいて「ムセが頻発したら」という状況に該当するかを判定できる。例えば処理部３１０は、単位時間あたりのムセの回数が閾値を超えた場合に、ムセが頻発したと判定してもよい。このようにすれば、ムセに関する状況を自動的に判定できるため、適切なアクションを介助者に提示することが可能になる。
また図２５に示すように、処理部３１０は、嚥下の検出結果、及び、被介助者の口の開閉判定結果に基づいて、被介助者が口を開けてから嚥下するまでの嚥下時間を求め、求めた嚥下時間に基づいて介助者が実行すべきアクションを特定する処理を行ってもよい。嚥下の検出自体は、米国特許出願第１６／２７６７６８号に記載されている。しかし例えば嚥下の回数が減っていることが分かったとしても、食事を口に入れる動作自体が行われていないのか、食事を口に入れたのに嚥下が行われないのか等、具体的な状況を判定することは容易でない。
その点、口を開けてから嚥下するまでの嚥下時間を判定することによって、咀嚼及び嚥下に要する時間を求めることが可能になる。例えば処理部３１０は、通信装置２００－５の撮像画像に基づいて口が閉じた状態から開いた状態に移行したときにタイマーのカウントアップを開始し、スロートマイクＴＭによって嚥下が検出された場合にタイマーの計測を停止してもよい。停止時のタイムが、嚥下時間を表す。このようにすれば、食事において介助者が何らかのアクションを実行すべき状況であるかを精度よく判定できるため、熟練者の暗黙知を適切に利用することが可能になる。
例えば、嚥下時間が短い場合、「ペースが速いなら」という状況であると判定できる。また、嚥下時間が長い場合、処理部３１０は、デバイスを用いた他の状況判定結果に基づいて、他に考慮すべき事情の有無を判定してもよい。なお処理部３１０は、１回の食事の中での嚥下時間の変化（例えば最初の方の嚥下時間に対する増加量や比率等）に基づいて、嚥下時間が長いか否かを判定してもよい。あるいは処理部３１０は、同じ被介助者について、複数回の食事のそれぞれでの平均嚥下時間等を求め、当該平均嚥下時間の変化に基づいて嚥下時間が長くなったか否かを判定してもよい。
例えば通信装置２００－５の撮像画像による口の開閉判定結果を用いることによって、介助者がスプーン等を近づけても「開口しなくなった」状況であるかを判定できる。このように、被介助者が開口を渋る状況において、嚥下時間が長くなった場合、「ため込みが発生した」状況であると推定できる。また撮像画像を用いて口から食事が出ているか否か、食事を噛んでいるか口の認識結果を用いることによって「噛み切れなくなった」状況であるかを判定できる。例えば噛む回数は通常通りであるのに、嚥下時間が長い場合、「噛み切れなくなった」状況であると推定される。また撮像画像を用いて目が閉じていると判定された場合、「眠そうになった」状況であるかを判定できる。なお、以上は状況判定の一例であり、処理内容はこれに限定されない。例えば処理部３１０は、撮像画像に基づいて口から食事を吐き出す場合に「ため込みが発生した」状況であると推定してもよい。例えば認知症が進んでいる被介助者の場合、食事中であることを忘れて口を開けてしまうことによって、ため込みを発生させてしまうことがある。例えば処理部３１０は、認知症の進行度合い等、被介助者の属性に基づいて、デバイスのデータに基づく状況判定処理の内容を切り替えてもよい。
また図２５に示すように、上述した転倒判定処理に基づいて、被介助者がうとうとしているかを判定してもよい。例えば処理部３１０は、姿勢が正常状態に比べて崩れてきた場合や、体の周期的な揺れが検出された場合等に、被介助者がうとうとしていると判定する。この場合、処理部３１０は、被介助者が目を閉じている場合と同様に「眠そうになった」状況であると判定する。
一方、他の状況判定結果を参酌しても、嚥下時間が長くなる事情がなかった場合、処理部３１０は「嚥下するまでの時間が長くなった」状況であると判定する。一例としては、これは被介助者が満腹になった場合に相当するが、ここでは満腹度合いをセンシングするデバイスは想定しておらず、被介助者が満腹になったか否かを直接的に判定するものではない。
また図２５に示したように、撮像画像を用いて箸やスプーン等の認識処理を行うことによって、「食べ物で遊んでいる」、「器が持てない」、「食事をこぼしている」等の状況であるか否かが判定されてもよい。また、上述した転倒判定処理に基づいて、「姿勢が崩れてきた」等の状況判定が行われてもよい。
以上のように、各デバイスの出力を適切に用いることによって、被介助者の状況を判定することが可能になる。また図２３に示したように熟練者の暗黙知として、状況とアクションを対応付けた情報を保持しておくことによって、状況に応じた適切なアクションを介助者に提示することが可能になる。介助者への提示は、例えばヘッドセット４２０への音声の出力であってもよいし、携帯端末装置４１０の表示部での表示であってもよいし、他の手法を用いた提示であってもよい。例えば被介助者は車椅子５２０に座っているため、当該車椅子５２０に設けた発光部を発光させることによって通知が行われてもよい。
特に本実施形態の手法では、上記の通り、口を開けてから嚥下するまでの嚥下時間を主条件として用いることによって、食べ物を口に入れ、咀嚼し、嚥下するという食事における基本的な動作が阻害されているか否かを適切に判定できる。さらに、追加条件として他の状況判定結果を組み合わせることによって、嚥下に時間がかかる具体的な要因を絞り込むことができるため、より詳細な状況の推定、及び適切なアクションの提示が可能になる。結果として、食事において状況にあった指示を介助者に行えるため、熟練者の暗黙知の適切な利用が可能になる。
また本実施形態の手法では、処理部３１０は、食事を中止するというアクションが提示された場合に、ウェアラブルモジュール１００に含まれるセンサの起動数を増やす制御を行ってもよい。例えばウェアラブルモジュール１００は、加速度センサ１２０に加えて、温度センサを含んでもよい。例えばウェアラブルモジュール１００が被介助者の皮膚に固定される場合、温度センサは体表面の温度を測定できるため、測定値に基づいて被介助者の体温を推定できる。
このようにすれば、例えば誤嚥性肺炎の可能性がある場合に、被介助者のバイタル情報を適切にモニタリングすることが可能になる。温度センサがアクティブになる期間は、食事を中止する事象が検出されてから数時間程度であってもよいし、数日程度であってもよし、他の期間であってもよい。また、ウェアラブルモジュール１００が心拍、呼吸、ＳｐＯ２等を検出できるセンサを含む場合、食事を中止するというアクションが提示されたことをトリガーとして、これらのセンサがアクティブにされてもよい。
３．２ ポジション調整
ベッド５１０や車椅子５２０では、被介助者のポジションを調整する必要がある。例えばベッド５１０でのポジション調整は褥瘡対策に有用である。また車椅子５２０でのポジション調整はずり落ち対策や褥瘡対策に有用である。よってウェアラブルモジュール１００と通信装置２００の通信結果に基づいて、被介助者がベッド５１０にいると判定された場合、ベッドポジションの調整介助をサポートする処理が実行されてもよい。同様に被介助者が車椅子５２０にいると判定された場合、車椅子ポジションの調整介助をサポートする処理が実行されてもよい。以下、具体例について説明する。
３．２．１ ベッドポジション調整
図２６は、ベッド５１０の周辺に配置されるデバイスを例示する図である。図２６に示すように、ここでのデバイスは、ベッド５１０のフットボード側に固定される通信装置２００－１と、ベッド５１０のサイドレールに固定される第２端末装置ＣＰ２と、第２端末装置ＣＰ２の反対側に固定されるディスプレイＤＰを含む。なお第２端末装置ＣＰ２は本実施形態に係る通信装置２００であってもよいし、通信装置２００として機能しない装置であってもよい。またベッド５１０に対応する通信装置２００は居室の壁面等の他の位置に設けられ、通信装置２００－１の代わりに、通信装置２００として機能しない他の端末装置が用いられてもよい。またディスプレイＤＰは、ベッド５１０に固定されるものには限定されず、ベッドポジション調整を行う介助者が自然に閲覧可能な他の位置に配置されてもよい。例えばディスプレイＤＰは壁面に固定されてもよいし、床面に自立するスタンド等に固定されてもよい。また、通信装置２００－１と第２端末装置ＣＰ２は何れか一方が省略されてもよい。例えば以下では、通信装置２００－１を用いてベッドポジションの調整を行う例を説明する。第２端末装置ＣＰ２は、例えば後述するオムツ交換において用いられる。また通信装置２００－１がオムツ交換に用いられてもよい。
通信装置２００－１及び第２端末装置ＣＰ２は、例えばカメラを有するスマートフォン等の装置である。通信装置２００－１は直接サーバシステム３００に撮像画像を送信する。第２端末装置ＣＰ２は、直接、又は、通信装置２００－１を介して、サーバシステム３００にカメラの撮像画像を送信する。ディスプレイＤＰは、サーバシステム３００から送信された画像を直接、または通信装置２００－１等の他の装置を介して受信し、受信した画像を表示する。なお、通信装置２００－１及び第２端末装置ＣＰ２は、カメラに代えて、あるいはカメラに加えて、深度センサを有してもよい。即ち、これらのデバイスは、デプス画像を出力してもよい。
例えば、ベッドポジション調整では、教師データの登録処理と、当該教師データを用いたポジション調整処理が実行されてもよい。教師データは、例えば熟練の介助者によって登録される情報である。非熟練者である介助者は、ベッドポジションを調整する際に、教師データを選択し、当該教師データと、実際の被介助者の状態が近くなるように、ベッドポジションを調整する。例えば通信装置２００－１は、調整対象の被介助者がベッドに横になった状態（クッション等の状態も含む）を撮像した撮像画像を取得し、ディスプレイＤＰは、当該撮像画像と教師データの比較結果を表す画像を表示する。このようにすれば、介助者の熟練度によらず、熟練者と同様のポジション調整を行わせることが可能になる。
図２７は、教師データの登録画面の例である。図２７は、例えば通信装置２００－１によって撮像された撮像画像を含む画像であって、例えば熟練者の携帯端末装置４１０の表示部に表示される画面である。なお、教師データ用の撮像画像の撮像が携帯端末装置４１０を用いて行われてもよい。また、教師データの登録は、携帯端末装置４１０以外の機器を用いて行われてもよい。
熟練者は、被介助者をベッド５１０に横たわらせ、褥瘡対策等に好適なポジションとした上で、通信装置２００－１を用いて対象の被介助者を撮像する。携帯端末装置４１０の表示部は、通信装置２００－１によって撮像されている画像をリアルタイムに動画像として表示してもよいし、通信装置２００－１によって撮像された静止画像を表示してもよい。熟練者は、適切なベッドポジションとなっていることを確認した上で、登録ボタンを選択する。携帯端末装置４１０は、登録ボタンが操作された際に表示していた静止画像を、教師データとしてサーバシステム３００に送信する。このようにすれば、熟練者が好ましいと考えるポジションを教師データとして登録することが可能になる。
この際、携帯端末装置４１０は、熟練者による付加情報の入力操作を受け付けてもよい。例えば、熟練者は携帯端末装置４１０のタッチパネル等の操作部を用いて、特に重要と考えられる箇所を選択する操作を行う。例えば熟練者であるユーザは、被介助者を適切なベッドポジションとした状態の撮像画像を取得する操作と、付加情報を追加する操作をした後、図２７に示す登録ボタンを選択する。
図２７の例では、被介助者の左肩近傍、及び右膝近傍が選択されている。また携帯端末装置４１０は、位置の指定だけでなく、具体的なテキスト等を入力可能であってもよい。例えば熟練者は、左肩という部位の指定だけでなく、他の部位との角度、枕やクッションとの位置関係等、適切なベッドポジションを取らせる上で重要となるポイントをテキスト入力する。右膝近傍においても同様である。また携帯端末装置４１０は、複数箇所を指定する入力があった場合、各位置の優先度の入力を受け付けてもよい。例えば値が小さいほど優先度が高い場合であって、左肩近傍の優先度が相対的に高い旨のユーザ入力を受け付けた場合、携帯端末装置４１０は左肩近傍の優先度を１に設定し、右膝近傍の優先度を２に設定する。
また実際に介助者がベッドポジションの調整を行う際には、まず通信装置２００－１を起動し画像の撮像を開始する。例えば介助者が音声で通信装置２００－１を音声起動させ、ディスプレイＤＰは、通信装置２００－１が撮像している動画像を表示する。またサーバシステム３００の処理部３１０は、介助者による教師データの選択処理を受け付けてもよい。例えば処理部３１０は、携帯端末装置４１０の表示部に教師データのリストを表示してもよい。処理部３１０は、携帯端末装置４１０での選択操作に基づいて教師データを決定し、当該教師データをディスプレイＤＰに表示させる制御を行う。
あるいはベッドポジションの調整対象である被介助者の属性と、教師データに撮像された被介助者の属性の類似度判定に基づいて、処理部３１０が教師データを自動的に選択する処理を行ってもよい。ここでの属性は、被介助者の年齢、性別、身長、体重、既往歴、投薬履歴等の情報を含む。
あるいは、処理部３１０は、ベッドポジションの調整対象である被介助者の属性と、教師データに含まれる付加情報の比較処理に基づいて、教師データを自動的に選択する処理を行ってもよい。例えば教師データの付加情報として「ＸＸという傾向が見られる被介助者は、左肩がＹＹとなるように調整するとよい」といったテキストが含まれるとする。この場合、調整対象の被介助者がＸＸに該当する場合、当該教師データが選択されやすくなる。例えばベッドポジション調整を行う介助者は、携帯端末装置４１０等を介して被介助者を特定する情報をサーバシステム３００に送信し、処理部３１０は当該情報に基づいて被介助者の属性を特定してもよい。
また処理部３１０は、転倒判定処理における判定結果や、上述したワルツインやＳＲ ＡＩＲ等のアセスメント用の機器を用いて被介助者をいくつかのクラスに分類してもよい。そして処理部３１０は、調整対象である被介助者のクラスと、教師データに撮像された被介助者のクラスの比較処理に基づいて、教師データを自動的に選択する処理を行ってもよい。
処理部３１０は、例えば通信装置２００－１によって撮像されているリアルタイムの撮像画像に対して、透過処理が施された教師データを重畳して表示する処理を行ってもよい。図２８は、図２７に示す教師データを重畳表示する場合の画像の例である。このようにすれば、実際の被介助者と教師データの被介助者が重なるように調整することによって、熟練度の低い介助者でも容易にベッドポジションを調整することが可能になる。
また図２８に示すように、教師データの付加情報が認識可能な態様で表示されてもよい。例えば図２８では、熟練者が指定した左肩近傍及び右膝近傍の位置にそれぞれ円で囲まれた数字であるオブジェクトが表示される。ベッドポジション調整を行う介助者は当該オブジェクトを見ることで重要な箇所を把握できる。また処理部３１０は、オブジェクトの選択操作が行われた場合に、熟練者が付加したテキストをディスプレイＤＰに表示してもよい。また介助者がヘッドセット４２０のマイクを用いて「ポイントを教えて」と発話したことが検出された場合、処理部３１０はテキストを当該ヘッドセット４２０から音声として出力してもよい。
処理部３１０は、例えばポジション調整中に撮像されている画像と、教師データの類似度合いに基づいてＯＫ，ＮＧの何れかを判定し、判定結果をディスプレイＤＰに表示する。あるいは処理部３１０は、判定結果をヘッドセット４２０から音声で出力してもよい。また処理部３１０は、ＮＧと判定された具体的な点を表示する処理を行ってもよい。例えば処理部３１０は、通信装置２００－１で撮像された画像と教師データを比較し、差分が大きいと判定された箇所を強調表示する処理を行ってもよい。
このように、画像を撮像する通信装置２００－１とは異なる位置、例えばサイドフレーム側にディスプレイＤＰを設けることによって、介助者は被介助者のポジション調整を行いつつ、自然な姿勢でディスプレイＤＰを視認できる。例えば通信装置２００－１の撮像画像を通信装置２００－１の表示部を用いて閲覧する必要がないため、利便性の向上が可能になる。
その際、図２７や図２８に示したように、熟練者が重要と考えるポイントを付加情報として登録すること、及び、当該付加情報を介助者に提示することが可能である。熟練度の低い介助者は、教師データの画像だけを見た場合、ポジションをまねすることは可能かもしれないが特に重要なポイントは理解できないため、ポジション調整における優先順位をつけられない。その点、本実施形態の手法では、熟練者の意図が明確に伝わるため、熟練度の低い介助者も暗黙知を適切に利用することが可能になる。
また図２７や図２８に示したように写真である教師データを重畳表示する場合、クッション等の背景に存在する物体の情報も教師データに保持される。そのため、被介助者とクッションの位置関係も適切に調整できるという利点がある。
図２９は、ベッドポジションの調整における他の手法を説明する図であり、骨格トラッキングの結果を例示する図である。なお画像に基づく骨格トラッキングの手法としては、Zhe Cao他によるRealtime Multi-Person 2D Pose Estimation using Part Affinity Fields(https://arxiv.org/pdf/1611.08050.pdf)に開示されたOpenPose等、種々の手法が知られており、本実施形態ではそれらを広く適用できる。
例えば教師データを登録する際に、熟練者は上述した例と同様に、被介助者をベッド５１０に横たわらせ、褥瘡対策等に好適なポジションとした上で、通信装置２００－１を用いて対象の被介助者を撮像する。処理部３１０は、撮像画像に対して骨格トラッキングを行い、その結果である所定の数の位置を撮像画像に表示する。トラッキングされる箇所の数は例えば１７個であるが、これには限定されない。
処理部３１０は、骨格トラッキングの結果の全てを教師データに含めてもよい。あるいは処理部３１０は、骨格トラッキングによって検出された点の一部を選択する操作を受け付けてもよい。例えば熟練者は、ベッドポジション調整において重要と考える箇所を３点指定する。一例としては、熟練者は肩・腰・膝の３点を指定してもよい。ただし指定する部位の組み合わせはこれに限定されないし、指定する部位の数も３に限定されない。
教師データを利用したベッドポジションの調整では、上述した例と同様に、通信装置２００－１のカメラによって、被介助者を撮像した撮像画像が取得される。サーバシステム３００は、当該撮像画像に対する骨格トラッキングを行い、処理結果をディスプレイＤＰに表示する処理を行う。処理結果とは、例えば図２９と同様に、教師データとして登録された撮像画像の骨格トラッキングの結果と、通信装置２００－１のカメラで現在撮像されている撮像画像、現在撮像されている撮影画像に対する骨格トラッキングの結果とが重畳表示された画像である。この場合には、教師データとして登録された撮像画像自体は表示されない。なお、この際には骨格トラッキングで検出された全ての点が表示されてもよいし、熟練者が指定した一部の点のみが表示されてもよい。
骨格トラッキングの結果を用いたベッドポジションの調整は、先に説明した撮像画像同士（教師データの画像と、現在撮影している画像）の重ね合わせと異なり、例えば被介助者が利用するクッションなどの備品が異なっているときにも適用でき、汎用性が高い点が優れている。
処理部３１０は、教師データにおける肩・腰・膝の３点と、撮像画像における肩・腰・膝の３点を比較する処理を行う。例えば処理部３１０は、肩・腰・膝の３点が所望の角度になっているかを判定してもよいし、当該３点がある範囲の直線状に入っているかを判定してもよい。処理部３１０は、例えばＯＫ，ＮＧの何れかを判定し、判定結果をディスプレイＤＰに表示する。あるいは処理部３１０は、判定結果をヘッドセット４２０から音声で出力してもよい。また処理部３１０は、ＮＧと判定された具体的な点を表示する処理を行ってもよい。
なお以上では床面に平行（略平行を含む）であるマットレスに被介助者を横たえる場合のベッドポジション調整について説明したが、これには限定されず、被介助者の状況（シーン）に応じたベッドポジション調整が行われてもよい。
また、ベッドポジション調整はベッド５１０等の制御によって行われてもよい。例えば食事をするときに、ムセ等の姿勢が原因で生じている場合には、ベッド５１０のボトムの角度を変える制御を行うことによって食事をスムーズに実行させることが可能である。ボトムの角度を変える制御とは、背板を上げる、腰板を上げる、チルトさせる等の制御を含む。
例えば熟練者は、対象となる状況を特定する情報と対応付けて教師データを登録してもよい。上記の例であれば、「食事」、且つ、「ムセが頻発」という状況であり、ムセの要因が「姿勢」であるというタグ等が、ボトム調整後の被介助者を撮像した撮像画像に対応付けられた教師データが取得される。実際に介助を行う介助者は、当該教師データに基づいてボトムの角度を変えるベッドポジション調整を行う。あるいは、ボトムの角度を変える制御は自動で実行され、介助者は教師データに基づいてベッドポジションの細部を調整する介助を実行してもよい。換言すれば、介助者端末４００における通知に加えて、あるいは通知に代えて、周辺機器７００であるベッド５１０の制御が行われてもよい。
また処理部３１０は、デバイスに基づいて状況判定を行い、判定結果に基づいて教師データを自動的に選択してもよい。状況判定については、例えば図２３や図２５を用いて上述した処理と同様の手法を用いることが可能である。例えば処理部３１０は、スロートマイクＴＭによってムセが頻発した状況と判定され、且つ、加速度センサ１２０による転倒判定処理によってその要因が姿勢であると判定した場合に、上述した教師データが選択されやすくする。
なお、寝ているときにムセを検出したときには、ベッド５１０の制御ではなく、枕の制御によってベッドポジションの調整が行われてもよい。例えば以下のＵＲＬには、エアバッグを内蔵し、いびきを検出した場合に内蔵されたエアバッグを膨らませることによって、ユーザに寝返りを促すMotion Pillowが開示されている。例えば処理部３１０は、「寝ている」、「ムセが発生している」という状況を検出した場合、当該枕のエアバッグを制御することによって、側臥位への移行を促してもよい。即ち、介入制御の対象である周辺機器７００には枕が含まれてもよい。
http://www.motionpillow.com/
３．２．２ 車椅子でのポジション
図３０は、車椅子ポジションの調整を行う際のシステム構成を例示する図である。図３０に示すように、車椅子ポジションの調整では、カメラを有し、当該カメラによって車椅子５２０に座った被介助者の少なくとも上半身を撮像可能な高さに固定された第３端末装置ＣＰ３が用いられてもよい。なお、第３端末装置ＣＰ３は、被介助者のより広い範囲を撮像可能であってもよく、例えば膝までを撮像してもよいし、全身を撮像してもよい。第３端末装置ＣＰ３は、例えば介護施設の所定位置に配置され、介助者は被介助者を車椅子５２０に移乗させた上で、第３端末装置ＣＰ３の正面まで移動させた後、車椅子ポジションの調整を行う。
第３端末装置ＣＰ３は、表示部を含み、カメラによって撮像された画像と、教師データの比較結果を表示する。教師データの登録手法はベッドポジションと同様であり、図２７に示すように撮像画像に付加情報が付加されたデータであってもよいし、図２９に示すように骨格トラッキングの結果が付加されたデータであってもよい。処理部３１０は、第３端末装置ＣＰ３の表示部に透過処理が行われた教師データを重畳表示してもよいし、骨格トラッキング結果の差異を表示してもよい。
なお図３０に示すシステムを用いる場合、第３端末装置ＣＰ３のカメラは被介助者を正面から撮像できるため、図２６の通信装置２００－１にようにベッド５１０に固定される機器を用いる場合に比べて、被介助者の顔を鮮明に撮像可能である。よって被介助者に応じて教師データを自動選択する場合、処理部３１０は、顔認識処理の結果に基づいて調整対象の被介助者を自動的に特定してもよい。
なお第３端末装置ＣＰ３にかえて、図２４に示した食事を行うテーブル等に配置される通信装置２００－５が用いられてもよい。この場合、通信装置２００－５のカメラは被介助者の下半身を撮像することが容易でないため、処理部３１０は被介助者の上半身に基づいて判定処理を行う。なお図２４に示す通信装置２００－５を用いる場合、処理部３１０は撮像画像に基づいて前ずれや横ずれを検出してもよい。例えば処理部３１０は、頭の位置及び肩の位置が食事開始時よりも下がると前ずれしていると判定し、頭の位置及び肩の位置が横にずれていれば横ずれしていると判定する。
またポジション調整が機器等の制御を含んでもよい点は車椅子ポジションの場合も同様である。例えば処理部３１０は、食事をするときに姿勢が原因でムセ等が生じている場合には、背もたれを上げる、シーリングを締める、座面を引く等の制御を自動的に行ってもよいし、そのような制御を介助者に促す提示処理を行ってもよい。例えば図１８に示した圧力センサを用いて姿勢を検出している場合、処理部３１０は、当該圧力センサに基づいて重心の位置が通常状態に戻ったと判定されるまで上述した制御を継続してもよい。
また車椅子５２０を利用する被介助者の場合、少なくとも座位でいることは可能であるため、自分で姿勢を修正できる可能性がある。この場合、第３端末装置ＣＰ３として、相対的に表示部のサイズが大きいデバイスが用いられてもよい。この場合、被介助者にとっては自身を撮像した画像が正面の第３端末装置ＣＰ３に表示されるため、第３端末装置ＣＰ３をあたかも姿見のように利用できる。例えば上述したように、修正すべき箇所を第３端末装置ＣＰ３に表示することによって、被介助者本人に姿勢の修正を促すことが可能になる。
３．３ オムツ交換
オムツ交換における暗黙知として、熟練者は以下の点を重視していることが分かった。
Ａ．側臥位になっているか
Ｂ．オムツの位置が適切か
Ｃ．オムツからパットがでていないか
Ｄ．オムツが適切に装着されたか
よって本実施形態では、上記のＡ～Ｄのポイントが満たされているか否かを判定し、判定結果を提示する。これにより、介助者の熟練度によらず、適切にオムツ交換を実行させることが可能になる。
オムツ交換におけるシステムは、例えば図２６と同様である。例えば第２端末装置ＣＰ２は、カメラを用いて被介助者を撮像した動画像を、直接またはベッド５１０に配置された通信装置２００を介してサーバシステム３００に送信する。サーバシステム３００の処理部３１０は、動画像を構成する各画像に対して骨格トラッキング処理を行い、元画像に骨格トラッキング結果が重畳表示された画像をディスプレイＤＰに表示する。このようにすれば、介助者は被介助者のオムツ交換を行いつつ、自然な姿勢でディスプレイＤＰを確認することが可能になる。
なお、夜間にオムツ交換が行われる場合を考慮し、第２端末装置ＣＰ２は照明部を含んでもよい。また被介助者のプライバシーを考慮し、カメラではなく深度センサ等が用いられてもよい。深度センサは、ＴｏＦ（Time of Flight）方式を用いたセンサであってもよいし、構造化照明を用いたセンサであってもよいし、他の方式のセンサであってもよい。
図３１Ａ及び図３１Ｂは、オムツ交換を行う場合において、ディスプレイＤＰに表示される画像の例である。上述したように、各画像には被介助者と、被介助者の骨格トラッキング結果が含まれる。
図３１Ａの状態では、被介助者は側臥位で安定しており、第２端末装置ＣＰ２のカメラは被介助者を背面側からまっすぐ撮像した状態となる。例えば、図３１Ａでは、被介助者の体の前後方向と、カメラの光軸方向の差が小さい。結果として、図３１Ａに示すように骨格トラッキングの検出対象となる点が多数検出される。
一方、図３１Ｂは図３１Ａに比べて姿勢が安定しておらず、仰向けに倒れそうな状態となっている。第２端末装置ＣＰ２のカメラは斜め後方から被介助者を撮像した状態となるため、骨格トラッキングで検出される点の数が減少する。例えば腰に対する点がオムツ等に隠れることで検出されない。
よって処理部３１０は、骨格トラッキングの結果に基づいて上記Ａに示した側臥位になっているか否かを判定してもよい。例えば処理部３１０は、腰等の特定の部位に対応する点が骨格トラッキングによって検出された場合に、側臥位になっていると判定してもよい。ただし、側臥位の判定に腰以外の点の検出有無や、複数の点の間の関係等が用いられてもよく、具体的な手法はこれに限定されない。
また処理部３１０は、第２端末装置ＣＰ２からの動画像に基づいてオブジェクトトラッキング処理を行うことによって、継続的に画像中のオムツの領域を検出する。オブジェクトトラッキングについては公知であるため、詳細な説明は省略する。例えば図３１Ａ及び図３１Ｂではオムツ領域ＲｅＤが検出されている。
処理部３１０は、例えば骨格トラッキングの結果と、オブジェクトトラッキングにより検出されたオムツ領域ＲｅＤとの関係に基づいて、上記Ｂに示したオムツの位置が適切か否かを判定してもよい。例えばオムツが装着される位置を考慮し、骨格トラッキングによって検出された腰の位置と、オムツ領域ＲｅＤが所定の位置関係にあるかを判定する。例えば処理部３１０は、骨盤に対応する２点を含む直線がオムツ領域ＲｅＤを通過する場合に、オムツの位置が適切であると判定してもよい。あるいは、熟練者による教師データから骨格トラッキングの結果とオムツ領域ＲｅＤの検出結果を特徴量として抽出し、当該特徴量を入力データとする機械学習が行われてもよい。学習済モデルは、例えば骨格トラッキングの結果とオムツ領域ＲｅＤの検出結果を受け付けた場合に、オムツの位置が適切である確からしさを出力するモデルである。
また処理部３１０は、オムツ領域ＲｅＤの水平方向での長さに基づいて、上記Ｃに示したオムツからパットがでていないかを判定してもよい。通常、パットはオムツの内部に収まるものであるため、画像上でのオムツ領域ＲｅＤの長さは、オムツ本体の長さに対応する長さとなる。なお想定されるオムツ領域ＲｅＤのサイズは、オムツの種類及びサイズと、第２端末装置ＣＰ２のカメラの光学特性等に基づいて推定できる。一方、パットがはみ出している場合、その分だけ画像上でのオムツ領域ＲｅＤの長さが長くなる。よって、処理部３１０は、画像から検出されたオムツ領域ＲｅＤの長さが、想定される長さよりも所定閾値以上大きい場合、オムツがパットから出ており不適切であると判定する。
また処理部３１０は、オムツを装着した状態で固定するテープを検出することによって、上記Ｄに示したオムツが適切に装着されたかを判定してもよい。通常、テープはオムツ本体とは異なる色の部材が用いられる。一例としては、オムツ本体が白色であり、テープが青色である。またオムツを適切に装着するために、テープをどのように固定すべきであるかはオムツの構造から既知である。よって処理部３１０は、色に基づいて画像中のテープ領域を検出し、当該テープ領域とオムツ領域ＲｅＤの関係、あるいはテープ領域と骨格トラッキングで検出された腰等の位置の関係に基づいて、オムツが適切に装着されたかを判定できる。なお、メーカーや種類の異なる複数のオムツが用いられる場合、処理部３１０はオムツを特定する情報を取得し、特定されたオムツの種類等に基づいてオムツが適切に装着されたかを判定してもよい。
以上のようにすれば、オムツ交換における暗黙知を適切に利用し、介助者に適切にオムツ交換を実行させることが可能になる。例えば処理部３１０は、上記Ａ～ＤのそれぞれについてＯＫ，ＮＧを判定し、判定結果をディスプレイＤＰに表示する。また処理部３１０は、ＮＧである場合、正解データとの乖離が大きい部分を強調表示してもよい。
なお以上で説明した各処理は、上記Ａ～Ｄの判定をデバイスにより自動化する一例であり、他の手法が用いられてもよい。例えば、側臥位を判定する際に、骨格トラッキングではなく圧力センサが用いられてもよい。例えばベッドやマットレスの中央に比べてサイドフレーム側に寄った位置（中心に比べて左右それぞれにずれた位置）に圧力センサを配置してもよい。介助者は、ベッド中央付近に仰向けで横になっている被介助者を、左右の何れか一方に９０°回転させることによって側臥位に移行させることが可能である。即ち、側臥位が実現された場合、被介助者の体は回転の分、サイドフレーム側に移動するため圧力センサに係る荷重が大きくなる。処理部３１０は当該圧力センサの出力値が所定以上である場合に側臥位に移行したと判定してもよい。
また被介助者に体を起こさせてオムツ交換を行う場合、被介助者はサイドレールに掴まることが想定される。よってサイドレールに圧力センサを配置しておき、処理部３１０は、当該圧力センサの出力値が所定以上である場合に、側臥位に移行したと判定してもよい。
なお圧力センサや上述した深度センサを用いて上記Ａの側臥位を判定する場合、当該判定によって被介助者が側臥位になっていると判定された場合に、第２端末装置ＣＰ２のカメラによる撮像、及び上記Ｂ以降の判定が開始されてもよい。例えば夜間にオムツ交換を行う場合、処理部３１０は、被介助者が側臥位になったと判定した場合に、第２端末装置ＣＰ２の照明をオンにしてもよい。あるいは処理部３１０は、被介助者が側臥位になったと判定した場合に、被介助者の居室の照明をオンにしてもよい。このようにすれば、カメラの撮像画像を用いた処理が必要となるタイミングにおいて、適切に照明を制御することが可能になる。
また処理部３１０は、図２６に示した通信装置２００－１を用いてオムツ交換に関する処理を実行してもよい。図３１Ｃは、通信装置２００－１によって撮像された撮像画像に基づいてオムツ交換を行う場合に、ディスプレイＤＰに表示される画像の例である。通信装置２００－１の出力は、仰臥位である被介助者をフットボード側から撮像した画像となる。図３１Ｃに示すように、表示される画像には被介助者と、被介助者の骨格トラッキング結果と、オムツ領域ＲｅＤが含まれる。なお図３１Ｃでは、骨格トラッキングの結果として、腰検出結果Ｄｅｔ１，Ｄｅｔ２を例示しているが、図２９を用いて上述したように、他の部位の検出結果が表示されてもよい。
例えば処理部３１０は、上述したＡの判定に代えて、仰臥位でのオムツ交換に適した姿勢を表す教師データと、実際の撮像画像との比較処理に基づいて、被介助者がオムツ交換に適した姿勢であるかを判定してもよい。例えば処理部３１０は、ベッドポジション調整と同様に、教師データと撮像画像をディスプレイＤＰに重畳表示してもよいし、骨格トラッキングの結果を比較してもよい。
また処理部３１０は、上述したＢ～Ｄの観点からＯＫまたはＮＧを判定してもよい。例えば上記Ｂについて、処理部３１０は、骨格トラッキングで検出された腰の位置（Ｄｅｔ１及びＤｅｔ２）に対して台形領域を指定して、当該台形領域に沿うようにオムツがセットされているかを判定してもよい。例えば処理部３１０は、腰の２点を結んだ線分の垂線上、または垂線からの距離が所定以下の範囲にオムツの中心が位置し、且つ、台形領域とオムツ領域ＲｅＤが所定の位置関係にある（例えば台形領域がオムツ領域ＲｅＤに内包される）場合にＯＫと判定してもよい。ここでの台形領域は、教師データにおけるオムツ領域ＲｅＤに基づいて設定される領域である。例えば台形領域は、上底及び下底それぞれの垂直二等分線が、腰検出結果Ｄｅｔ１及びＤｅｔ２を結ぶ線分の垂直二等分線と一致（略一致を含む）する領域であって、所定の高さを有する領域である。例えば台形領域は、腰検出結果Ｄｅｔ１及びＤｅｔ２を内包し、Ｄｅｔ１から上底までの距離がＨ１であり、Ｄｅｔ１から下底までの距離がＨ２である領域であって、Ｈ１及びＨ２はパラメータとして記憶部３２０等に記憶されてもよい。ただし、腰検出結果Ｄｅｔ１及びＤｅｔ２と台形領域の関係はこれに限定されず、種々の変形実施が可能である。また台形領域の位置やサイズは固定値であってもよいし、腰検出結果Ｄｅｔ１及びＤｅｔ２の位置に応じて動的に変更されてもよい。
上記Ｃ及びＤの判定については、第２端末装置ＣＰ２を用いる場合と同様であるため、詳細な説明は省略する。
３．４ 能力推定と推定結果の利用
本実施形態では、以上で説明した処理を用いて被介助者の能力を推定してもよい。ここでの能力は、座位保持能力、歩行能力、嚥下能力を含む。以下、それぞれについて説明する。
３．４．１ 座位保持能力
車椅子５２０における転倒判定処理、及び図２５等を用いて上述した食事に関する処理に示したように、本実施形態の手法では車椅子５２０で前ずれや横ずれを検出することが可能である。これはウェアラブルモジュール１００によって検出されてもよいし、図１８Ａに示した圧力センサによって検出されてもよいし、ワルツインやＳＲ ＡＩＲ等の機器を用いて検出されてもよい。またベッド５１０で食事を行う際に、前ずれや横ずれが検出されてもよい。ベッド５１０の場合も同様に、ウェアラブルモジュール１００が用いられてもよいし、ベッド５１０に配置された圧力センサが用いられてもよいし、ワルツインやＳＲ ＡＩＲが用いられてもよい。
例えば処理部３１０は、車椅子５２０上で食事を開始してから姿勢が崩れるまでの時間を計測する。この時間の長短により、座位保持能力の高低を評価する。また処理部３１０は、姿勢が崩れた際に前ずれであるか横ずれ（右ずれ・左ずれ）であるか、及び、そのずれの程度を評価してもよい。さらに処理部３１０は、座位保持能力の有無、程度、及び横ずれ・前ずれの程度に基づいて被介助者を複数のクラスに分類してもよい。またワルツインやＳＲ ＡＩＲが用いられる場合、圧力分布の時系列変化を用いてより詳細な分類が行われてもよい。
なおＪＳＳＣ版ずれ度測定等、座位保持能力の評価は従来知られている手法である。しかし本実施形態では、食事や転倒判定処理等、被介助者の日常的な介助において実行される処理の結果を用いることが可能であるため、従来手法に比べて容易に座位保持能力を推定できる。
このように本実施形態の処理部３１０は、ベッド５１０に対応するセンサ情報、または、車椅子５２０に対応するセンサ情報に基づいて被介助者が座位状態を保持する能力を表す座位保持能力を推定してもよい。なおここでのセンサ情報は、ウェアラブルモジュール１００の加速度センサ１２０の出力に対応するが、上記の通り、座位保持能力の推定には他のセンサの出力が用いられてもよい。そして処理部３１０は、推定した座位保持能力に基づいて、少なくともトイレ６００を含む他の場所での介助に関する判定処理を実行してもよい。
例えば処理部３１０は、トイレ時に介助するかどうかの判断、トイレ時の転倒判定処理におけるパラメータ（例えば前転倒の閾値）の変更、歩行時の転倒判定処理におけるパラメータの変更等に座位保持能力の推定結果を用いる。例えば座位保持能力が高い場合、介助が不要である、あるいは、ある程度バランスが崩れても転倒リスクが低い、等の判定が行われやすくなる。また前ずれや横ずれの傾向に応じて、ある方向の転倒リスクは高く評価されやすいが、別の方向の転倒リスクは低く評価されやすい等の変更が行われてもよい。
このように、ある場所でのセンサ情報に基づく能力推定の結果が、他の場所における処理に影響を与えてもよい。即ち、被介助者の能力のように場所によらずに適用可能な情報が求められた場合、当該情報を他の場所でも共有することによって、各場所での処理精度を高くすることが可能になる。
３．４．２ 歩行能力
歩行における転倒判定処理に示したように、本実施形態の手法では歩行中の転倒リスクを検出することが可能である。例えば上述したように、処理部３１０は、左右方向の周期的な揺れのリズムが崩れたか否かに基づいて転倒リスクを判定してもよい。
処理部３１０は、歩行を開始してから転倒リスクが高くなるまでの時間の長短に基づいて歩行能力を評価する。また処理部３１０は、前転倒、後転倒等の転倒の仕方、及びその程度を評価してもよい。上記で説明した座位保持能力の評価に基づいて歩行能力を評価してもよい。
ただし、歩行中に発生しうる全ての転倒ケースをリアルタイムで判断するとサーバ負荷が重くなる可能性がある。そこで、本実施形態では、上述したワルツインを用いて歩行のアセスメントを行ってもよい。例えば処理部３１０は、ワルツインの出力に基づいて、重心位置（前重心か後重心か）、足が設置している時間、圧力の抜ける順番、圧力が時系列的にどのようなスピードでかかっていくか等を判定する。そして処理部３１０は、これらの情報に基づいてリズムが崩れるパターンを絞り込み、当該パターンを検出対象として転倒判定処理を実行してもよい。
例えば重心が後ろに行きがちの被介助者は、後転倒の可能性が高い。そして後転倒の場合には、ｙ軸の信号値が漸増していくことが多い。例えば後転倒のケースでは時間とともに周期信号の下ピークの値及び上ピークの値が増大する。よってアセスメントによって後転倒しやすい被介助者であることが分かっている場合、処理部３１０は、転倒判定処理において、加速度値が漸増しているか否かに絞った判定を行うことによって、処理負荷の軽減が可能である。歩行能力の推定処理は、上記の通り転倒判定処理の結果を流用可能であるため、歩行能力の推定処理の処理負荷軽減も可能である。
別の例としては、例えば足が接地する時間が長い被介助者の場合、リズムの崩れは接地時間の変化として検出できる。よって処理部３１０は、接地時間の変化に基づいて転倒判定処理を行ってもよい。あるいは、圧力のかかり方がゆっくりである人であれば、リズムの崩れは圧力値の傾きや周期の変化として現れる。よって処理部３１０は、加速度値の傾きや周期を求め、その変化に基づいて転倒判定処理を行ってもよい。これらの手法においても、被介助者に生じやすいパターンに限定して処理を行えるため、処理負荷の軽減が可能である。
このように本実施形態の処理部３１０は、歩行に対応するセンサ情報に基づいて被介助者が安定して歩行する能力を表す歩行能力を推定してもよい。そして処理部３１０は、推定した歩行能力に基づいて、少なくともトイレ６００を含む他の場所での介助に関する判定処理を実行してもよい。
例えば処理部３１０は、トイレ時に介助するかどうかの判断、トイレ時の転倒判定処理におけるパラメータ（例えば前転倒の閾値）の変更等に歩行能力の推定結果を用いる。このように、ある場所でのセンサ情報に基づく能力推定の結果が、他の場所における処理に影響を与えてもよい点は、座位保持能力においても同様である。
また上記のように歩行中の転倒の仕方によって、加速度センサ１２０のセンサ情報には異なるパターンが現れる。例えば１つのパターンに基づいて被介助者の歩行能力が推定された場合、当該被介助者を対象として他のパターンに基づく転倒判定処理を行う際のパラメータ（閾値等）を、推定された歩行能力に基づいて変更してもよい。例えばサーバシステム３００の処理能力に余裕がある場合、被介助者の転倒の仕方が増えた場合等には、複数のパターンを組み合わせた転倒判定処理が行われてもよい。その際、すでに推定された歩行能力を他のパターンにも反映することによって処理精度の向上が可能になる。
なお本実施形態の手法では、リズムの崩れ方が複数ある場合や以前よりも崩れ方が増えた場合には、担当介護職員に足圧センサの常時利用をレコメンドしてもよい。これにより、対象の被介助者の歩行について詳細な情報を取得することや、検出すべきパターンを適切に特定することが可能になる。
また上述したように、ウェアラブルモジュール１００は温度センサを含み、体表面温度を検出してもよい。例えば処理部３１０は、被介助者が転倒したと判断したときに、当該被介助者に対応するウェアラブルモジュール１００の温度センサをアクティブにして、温度変化を取得する。このようにすれば、骨折などの怪我の可能性がある場合に、被介助者のバイタル情報を適切にモニタリングすることが可能になる。なお、転倒以外の場合に温度センサを非アクティブとすることによって、ウェアラブルモジュール１００の消費電力の低減が可能である。
また処理部３１０は、転倒判定処理において、転倒の仕方をシミュレートすることにより、頭を打った可能性があるかどうかを推定してもよい。処理部３１０は、頭を打った可能性があると判定した場合、介助者の携帯端末装置４１０やヘッドセット４２０を用いて、詳細検査の必要性に関する情報を提示してもよい。
３．４．３ 嚥下能力
図２５を用いて上述したように、本実施形態ではスロートマイクＴＭ及び通信装置２００－５のカメラに基づいて、口を開けてから嚥下するまでの時間である嚥下時間が測定される。処理部３１０は、嚥下時間の長期的な変化に基づいて、被介助者の嚥下能力を推定してもよい。例えば、処理部３１０は、１日の中での朝食、昼食、夕食、間食等において嚥下時間を継続的に測定し、その平均値等に基づいてその日の嚥下時間を求める。そして１日あたりの嚥下時間が３０日分蓄積された場合に、値の変化を判断する。例えば処理部３１０は、嚥下時間を月単位で判定し、経時的に長くなっている場合に嚥下能力が低下していると判定してもよい。
また処理部３１０は、嚥下時間に加えて、嚥下の音、例えばスロートマイクＴＭの出力信号における振幅や周期に基づいて、嚥下能力を複数のクラスに分類してもよい。
３．５ 骨格トラッキングの応用
なお以上では、ベッドポジション、車椅子ポジション、オムツ交換等において骨格トラッキングを用いる例を説明した。ただし、骨格トラッキングは他の場面で用いられてもよい。
例えば、介護施設のリビングやホール等、多人数がまとまって活動する場所にカメラが配置され、当該カメラの撮像画像に基づいて骨格トラッキングが行われてもよい。図２を用いて上述したように、リビングのテレビ等に通信装置２００－６が配置され、当該通信装置２００－６のカメラを用いて撮像画像が撮像されてもよい。図２の例であれば、通信装置２００－６は、３人の被介助者を含む撮像画像を出力する。例えば、上述したOpenPoseでは、画像中に撮像された複数の人物のそれぞれについて骨格トラッキングを行い、その結果を表示する手法が開示されている。
例えば処理部３１０は、通信装置２００－６からの撮像画像を対象として、同様の手法によって各人物の骨格トラッキングを行うとともに、顔認識処理によって対象の被介助者を特定する処理を行ってもよい。そして処理部３１０は、骨格トラッキングの結果に基づいて、被介助者ごとに転倒判定処理を行う。例えば処理部３１０は、上述したように、歩行能力や座位保持能力等に応じて被介助者をクラス分類しておき、クラスに応じた転倒判定処理を行ってもよい。
例えば、歩行能力が低い被介助者は、立ち上がる姿勢を取るだけでも転倒する可能性がある。よって処理部３１０は、骨格トラッキングによって立ち上がる姿勢を取っているかを判定してもよい。例えば処理部３１０は、座っている状態から手を膝や椅子の座面等について前屈みになったと判定した場合に、立ち上がる姿勢であると判定し、転倒リスクを介助者に通知する。あるいは、処理部３１０は、処理対象データを数秒単位のウィンドウで区分し、各ウィンドウ内において頭や首等の特定の位置が、所定閾値以上移動した場合に立ち上がり等の姿勢変化が起こっていると判定してもよい。なお移動検出の対象となる部位は頭や首以外であってもよい。また移動方向は縦でも横でも斜めでもよい。また検出対象の部位に応じて、検出に用いる閾値が変更されてもよい。またこれらの条件は、被介助者の属性に応じて変更されてもよい。その他、被介助者の状態と、検出すべき転倒リスクは種々の変形実施が可能である。
このようにすれば、複数の被介助者が活動する場所に置いても、被介助者に応じた転倒判定処理を適切に実行することが可能になる。
４．看取りケア
また本実施形態で提供される暗黙知は、被介助者ごとに看取りケアを所定期間後に開始すべきかを示唆する情報を含んでもよい。例えば処理部３１０は、入力データとして、各食事における種類（例えば主菜・副菜としてもよいし、肉類、魚類等材料ごとでもよい）毎の摂取量または摂取割合、水分の摂取量、摂取のタイミング、疾病に関する情報、体重（またはＢＭＩ）の５種類の情報を取得する。そして処理部３１０は、当該入力データに基づいて、看取りケアを所定期間後に開始すべきか否か、看取りケア開始後にケアの内容を変更するタイミングか否か、を示す出力データを出力する。例えば入力データに対して、熟練者による正解データが付与された訓練データに基づいて、機械学習が行われてもよい。この場合、処理部３１０は学習済モデルに入力データを入力することによって出力データを求める。またＳＶＭ等の他の機械学習手法が用いられてもよいし、機械学習以外の手法が用いられてもよい。
ここでの看取りケアとは、近い将来に死亡する可能性が高いと考えられる被介助者に対する介助を表す。看取りケアでは、身体的苦痛や精神的苦痛の緩和、対象の被介助者にとって尊厳のある生活の支援等が重視される点で、通常の介助とは異なる。また看取りケアを行っている中でも、時間の経過とともに被介助者の状態が変化することによって、対象の患者に適した介助が変化していく可能性もある。即ち、看取りケアの開始タイミングや、看取りケアの中での介助内容の変更タイミングを提示することによって、被介助者に対して最期まで適切な介助を行うことが可能になる。例えば、熟練の介助者は食事量等の種々の観点から、看取りケアが必要となるタイミングやケア内容を推定する暗黙知を備えており、当該暗黙知をデジタル化することによって、他の介助者も適切な看取りケアが可能になる。
図３２Ａ～図３２Ｄは、看取りケアの判定結果を表示する画面の例である。図３２Ａ～図３２Ｄに示す画面は、携帯端末装置４１０の表示部に表示されてもよいし、介護施設で用いられるＰＣ等の表示部に表示されてもよい。以下、携帯端末装置４１０が用いられる例について説明する。
図３２Ａは、入力データのアップロード、及び看取りケアに関する分析処理の実行指示を行う画面の例である。例えば介護施設の管理サーバや携帯端末装置４１０の記憶部に、被介助者ごとに看取りケアの入力データとなるログデータが記憶されている。ログデータは、上述したように、食事における種類毎の摂取量または摂取割合、水分の摂取量、摂取のタイミング、疾病に関する情報、体重またはＢＭＩ、等の時系列データである。介助者等のユーザは、参照ボタンであるオブジェクトＯＢ１２を押し、分析対象としたい被介助者のログデータであるファイルを指定する。図３２Ａのボックスには、例えば選択されたファイルである選択ファイルの名称が表示される。選択ファイルが指定された状態において、ユーザが分析開始ボタンであるオブジェクトＯＢ１３の選択操作を行った場合、携帯端末装置４１０等は、選択ファイルをサーバシステム３００にアップロードする。サーバシステム３００の処理部３１０は、アップロードされた選択ファイルを入力データとして学習済モデルに入力することによって出力データを求める。処理部３１０は、例えば３０日後に看取りケアを開始する確率を求める。また処理部３１０は、食事種類毎の摂取量等の推移の予測結果を出力してもよい。
図３２Ｂは、分析結果を表示する画面の例である。図３２Ｂは、出力データに基づいて、３０日後に看取りケアを開始する必要がないと判定された場合の表示画面例である。なお図３２Ｂでは、アップロードファイルとして拡張子「xlsx」のファイルを用いる例を示しているが、データ形式はこれに限定されない。図３２Ｃについても同様である。
例えばサーバシステム３００の処理部３１０は、出力データである確率値が所与の閾値以下である場合に、看取りケアを開始する必要がないと判定する。この場合、図３２Ｂに示すように、例えば携帯端末装置４１０の表示部は、「３０日後に看取りケアが開始される可能性はありません」というテキストと、チェックマークを含むオブジェクトを表示する。
図３２Ｃは、分析結果を表示する画面の例であって、３０日後に看取りケアを開始する可能性があると判定された場合の表示画面例である。例えばサーバシステム３００の処理部３１０は、出力データである確率値が上記所与の閾値よりも大きい場合に、看取りケアを開始する可能性があると判定する。例えば携帯端末装置４１０の表示部は、「看取りケアが開始される可能性があります」というテキストを表示する。テキストは、図３２Ｃに示すように入力データの日付、及び看取りケアを開始する可能性がある日付を含んでもよい。また図３２に示すように、携帯端末装置４１０の表示部は、警告を表すオブジェクトを表示してもよい。さらに携帯端末装置４１０の表示部は、詳細な分析結果を表示するための詳細ボタンに対応するオブジェクトＯＢ１４を表示してもよい。
図３２Ｄは、オブジェクトＯＢ１４の選択操作が行われた場合に、携帯端末装置４１０の表示部に表示される分析結果画面の例である。分析結果画面は、例えば図３２Ｃの画面とは異なる画面としてポップアップ表示されてもよい。ただし、具体的な表示態様は種々の変形実施が可能である。
図３２Ｄに示すように、分析結果画面は、入力データに基づいて求められる特徴量の時系列変化と、看取りケアを所定期間後に開始すべきか否かの判定結果を含んでもよい。ここでの特徴量は、食事量の移動平均等、入力情報のうち重要と判定された情報であってもよいし、上記５つの入力情報に基づいて演算される情報であってもよい。例えば、ＮＮが用いられる場合、特徴量は所与の中間層または出力層の出力であってもよい。例えば、入力データは２０２０年２月１３日までの主菜の摂取量、水分量、ＢＭＩの実測値を含む。処理部３１０は、学習済モデルに基づいて、２０２０年２月１４日以降の主菜の摂取量、水分量、ＢＭＩの推移を推定してもよい。分析画面は、この３つの項目についての実測値及び推定値の時系列変化を表すグラフを含んでもよい。なお、図３２Ｄでは、これらの値の７日間での移動平均のグラフを例示している。このようにすれば、看取りケアにおいて重要な項目の推移を介助者に容易に把握させることが可能になる。なお、上述したように、入力データは他の項目を含んでもよく、分析結果画面に表示される情報は図３２Ｄの例に限定されない。
また分析結果画面は、看取りケアが行われる可能性のある期間を表示してもよい。図３２Ｄの例では、「２０２０－０３－１４から看取りケアの可能性があります」というテキストが表示されるとともに、グラフにおける対応する期間が、それ以外の期間とは異なる背景色を用いて識別可能に表示される。このようにすれば、看取りケアが必要と推定されるタイミング、期間が明示されるため、看取りケアに関する情報を適切にユーザに提示することが可能になる。
本実施形態の手法では、処理部３１０は、上述したように３０日後の情報を推定してもよい。例えば処理部３１０は、入力データに基づいて３０日後に看取りケアを開始すべきか否かを判定する。この際、入力となるデータは複数通りの設定が可能であってもよい。例えば、処理部３１０は、過去１５日分の食事の摂取量等を入力データとし、当該入力データに基づいて３０日後の看取りケアを判定する処理と、過去３０日分の食事の摂取量等を入力データとし、当該入力データに基づいて３０日後の看取りケアを判定する処理とを切り替え可能であってもよい。
看取りケアは、被介助者が亡くなる直前のケアであるため、判定に用いるデータを大量に収集することが容易でない可能性がある。その点、上記のように１５日分等の相対的に少ないデータ量での判定を可能とすることによって、データ収集が進んでいない段階でも看取りケアに関する判定を実行することが可能になる。また、データ収集が進んだ場合には、３０日分等の相対的に長い期間のデータを入力データとすることによって、判定精度の向上が可能になる。なおここでは１５日分と３０日分の２通りの入力データを例示したが、入力データの対象期間は３通り以上であってもよい。また看取りケアの開始要否を判定するタイミングも３０日後には限定されない。例えば、入力データの対象期間及び看取りケアの開始要否を判定するタイミングは、ユーザが設定してもよい。例えば、施設に応じて看取りケアに関する考え方が異なる場合があるため、施設に応じてこれらの値が変更されてもよい。
また本実施形態では、看取りケアの判定結果に基づいて、デバイスの出力に基づく処理モードを切り替える制御が行われてもよい。図３３は、処理モードの切り替え制御に関わるデバイスを例示する図である。図３３に示すように、ここでのデバイスはベッド５１０のボトムと、マットレス８２０の間に載置されるシート状の検出装置８１０であってもよい。検出装置８１０は、マットレス８２０に在床する被介助者の生体信号として体振動を検出する。そして検出装置８１０は、検出された振動に基づいて、被介助者の生体情報を算出する。例えば生体情報は、呼吸数、心拍数、活動量を含んでもよい。なお、振動に基づいて生体情報を求める処理は、検出装置８１０で実行されるものには限定されず、サーバシステム３００の処理部３１０等において実行されてもよい。なおこのような検出装置８１０は、「異常判定装置、プログラム」という２０１７年１１月３０日に出願された特願２０１７－２３１２２４号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。
特願２０１７－２３１２２４号では、生体情報に基づいて死期が迫っているかを判定する。例えば呼吸数及び心拍数が異常値を示さなくなった後、体動が長時間に亘って殆どなく、離床することがないという特徴がみられるか否か等を判定する手法が開示されている。
本実施形態のような看取りケアと組み合わせる場合、看取りケアが不要と判定された場合には、検出装置８１０が出力する生体情報に基づいて通常モードでの処理が実行され、看取りケアが必要と判定された場合に、検出装置８１０が出力する生体情報に基づいて異常判定モードでの処理が実行されてもよい。通常モードは、死期の判定を伴わない処理モードであり、例えば呼吸数や心拍数に基づいて睡眠状態等を判定するモードであってもよい。異常判定モードは、上述した死期が迫っているかを判定するモードである。なお、検出装置８１０の出力である生体情報に基づく処理は、サーバシステム３００で実行されてもよいし、検出装置８１０で実行されてもよいし、通信装置２００等の他の機器において実行されてもよい。即ちここでの処理モードは、サーバシステム３００の動作モードを表してもよいし、検出装置８１０の動作モードを表してもよいし、他の機器の動作モードを表してもよい。
このようにすれば、暗黙知に基づく看取りケアの判定結果と、検出装置８１０が検出する生体情報に基づく処理モードを連動させることが可能になる。具体的には、看取りケアにおいてある程度大まかな死期を推定できるため、必要性の高い場合に異常判定モードでの処理を実行することが可能になる。換言すれば、死期が近くないと判定された場合には通常モードでの処理が実行されるため、処理負荷の軽減等が可能になる。
５．レコメンド
また本実施形態では、以上で説明した各判定処理の結果に基づいて、被介助者に必要な道具、器具をレコメンドする処理が行われてもよい。
例えば処理部３１０は、ベッドポジションや車椅子ポジションに関する情報、被介助者の属性を表す情報等に基づいて、ベッド５１０や車椅子５２０等において用いられるクッションの種類、サイズ等をレコメンドしてもよい。その際、処理部３１０は、判定対象の被介助者が入居している施設とは異なる施設において収集された情報を用いてレコメンドを行ってもよい。また処理部３１０は、オムツ交換の暗黙知を利用する際に収集された情報に基づいて、オムツの種類やパットの種類をレコメンドしてもよい。また処理部３１０は、食事に関する暗黙知を利用する際に収集された情報に基づいて、食事で使用するスプーンや自助具等の道具の種類の変更をレコメンドしてもよい。
また処理部３１０は、推定した座位保持能力や歩行能力に応じて、チルト式車椅子やリクライニング式車椅子をレコメンドしてもよい。より詳細には、処理部３１０は、座位保持能力の時系列データを入力データとする機械学習を行うことによって、車椅子の買い替えタイミングや必要なレンタル期間を推定してもよい。このようにすれば、単価の高い機器の効率的な利用計画を作成することが可能になる。また処理部３１０は、座位保持能力や歩行能力の時系列データを入力データとする機械学習を行うことによって、要介護の悪化の程度を予測し、予測結果に応じた介護用品をレコメンドしてもよい。例えば独歩→杖歩行→歩行器→車椅子の順序で悪化が進む例を考えた場合、処理部３１０は、杖や歩行器の購入タイミング、使用が推奨される杖等の種類をレコメンドしてもよい。
また処理部３１０は、自宅・施設の生活環境／設備環境／広さ等、施設・家族の考え方等、いくつかの項目の入力を受け付けた場合に、歩行補助具・車椅子・ベッド等、対象の被介助者に必要と考えられる器具を総合的にレコメンドしてもよい。施設・家族の考え方とは、例えば安全担保しながら、且つ残存能力を生かしたい等、被介助者にどのようなスタイルでの生活を望むかの家族や施設関係者の考えを表す情報である。このようにすれば、家庭や施設等において必要となる器具を一括して提案できるため、介助者の利便性向上が可能になる。
図３４Ａは、レコメンドに用いられるシステムの例である。例えば介助者は、介助者端末４００としてＡＲグラスやＭＲグラスであるメガネ型デバイス４３０を装着する。メガネ型デバイス４３０は例えばユーザの視界に対応する領域を撮像するカメラを有する。メガネ型デバイス４３０は、レンズ部分の一部または全部がディスプレイとなっており、外界からの光を透過することによって、あるいはカメラによって撮像されたユーザ視界に相当する画像を表示することによって、外界の状況をユーザに視認させることが可能である。さらにメガネ型デバイス４３０は、ディスプレイを用いることによって、ユーザの視界上に何らかの情報を付加表示する。例えば図３４Ａに示すように、介助者がメガネ型デバイス４３０を装着した状態で被介助者を閲覧することによって、メガネ型デバイス４３０のディスプレイに当該被介助者に適したレコメンド表示が行われる。例えばメガネ型デバイス４３０の処理部、またはサーバシステム３００の処理部３１０において被介助者の顔認識処理が行われ、レコメンド対象である被介助者が検出された場合にレコメンド画面の表示制御が行われてもよい。
図３４Ｂはレコメンド表示画面の例である。図３４Ｂに示すように、メガネ型デバイス４３０によって撮像された撮像画像は例えば対象の被介助者と、車椅子５２０とを含む。この場合、対象の被介助者が車椅子５２０で移動する際に推奨される器具等がレコメンドされてもよい。例えば処理部３１０は、被介助者の顔認識処理に加えて、被介助者の周辺に位置する介助用の器具等を認識し、その結果に基づいてレコメンド情報を表示する。なお、被介助者の周辺に位置する器具の特定には、ウェアラブルモジュール１００がいずれの通信装置２００に接続しているかを表す情報が用いられてもよい。
図３４Ｂの例では、メガネ型デバイス４３０のディスプレイは、被介助者を撮像した撮像画像上に、新たな車椅子に関するレコメンド情報を表すオブジェクトＯＢ１５と、クッションに関するレコメンド情報を表すオブジェクトＯＢ１６を表示する。図３４Ｂに示すように、オブジェクトＯＢ１５は「車椅子を変えてみませんか？」というテキストを表示する。また吹き出し状の枠を用いて、撮像画像上の車椅子５２０と対応することが明示される。このようにすれば、使用中の車椅子５２０を新たな車椅子に代替することを提案する旨を介助者等に分かりやすく伝えることが可能になる。
オブジェクトＯＢ１５は、例えば提案される器具の画像、特徴を説明するテキスト、価格、使用したユーザによる評価値等を含む。またオブジェクトＯＢ１５は、ブックマークボタン、動画ボタン、理由表示ボタンを含んでもよい。ブックマークボタンは、表示された器具の情報に介助者が容易にアクセスするためのボタンである。例えば図３４Ｂに示す画面においてブックマークボタンを選択する操作が行われた場合、表示されている車椅子に関する情報がブックマークとして介助者と対応付けて記憶される。例えば介助者が介助者端末４００を用いて当該ブックマークを選択する操作を行った場合、オブジェクトＯＢ１５と同じ情報、または対応する情報が当該介助者端末４００において提示される。例えばオブジェクトＯＢ１５に含まれる画像や価格等はメーカーホームページやショッピングサイトから引用された情報であり、ブックマークとはこれらのＵＲＬを表す情報であってもよい。
また動画ボタンは、対象器具に関する動画を表示するためのボタンである。ここでの動画は、器具メーカーが作成したプロモーション動画であってもよいし、利用ユーザが投稿したレビュー動画であってもよい。また動画ボタンを押した場合、動画投稿／閲覧アプリケーション等、他のアプリケーションソフトウェアが起動されてもよい。例えば動画ボタンの押下に基づいて、商品名で動画検索を行った検索結果画面が表示されてもよい。
理由表示ボタンは、なぜ対象の器具がレコメンドされたかの理由を表示する画面である。上述したように、本実施形態では転倒判定処理や座位保持能力の判定、その他、種々の場面において暗黙知を用いた判定を行っており、その結果としてレコメンドする器具等が決定される。理由表示ボタンに基づいて決定理由を提示することによって、介助者や被介助者、あるいは介助者の家族等が対象の器具を導入するか否かの判断材料を提示することが可能になる。
オブジェクトＯＢ１６は、クッションをレコメンドするレコメンド情報の例である。表示される情報についてはオブジェクトＯＢ１５と同様であるため、詳細な説明は省略する。なお、オブジェクトＯＢ１６に連動して、対象のクッションを配置すべき場所を表すオブジェクトＯＢ１７が表示されてもよい。図３４Ｂの例では、被介助者の右側にオブジェクトＯＢ１７が表示される。このようにすれば、商品名や種類だけでなく、その配置や使用方法まで含めたレコメンドを行うことが可能になる。例えば、撮像画像の認識結果、あるいは、被介助者の属性等の情報に基づいて半身麻痺がある被介助者であると判定された場合に、図３４Ｂに示すクッションのレコメンドが行われてもよい。このようにすれば、拘縮の抑制等に有用なクッションと、その使用方法を介助者等に提示することが可能になる。
また以上ではメガネ型デバイス４３０を用いてレコメンド情報が表示される例を示したがこれには限定されない。例えばスマートフォン等のＡＲアプリケーションを用いて同様の表示が行われてもよい。図３４Ｃは、スマートフォンの表示部に表示される画面例である。図３４Ｃの領域ＲＥ９には、スマートフォンのカメラによって撮像された画像に、数字及びオブジェクトＯＢ２０が重畳された画像が表示される。また領域ＲＥ１０には、レコメンド情報を表すオブジェクトＯＢ１８及びＯＢ１９が、領域ＲＥ９と同じ数字に対応付けて表示される。なお、オブジェクトＯＢ１８～ＯＢ２０は図３４ＢのオブジェクトＯＢ１５～ＯＢ１７と同様であるため詳細な説明は省略する。
このようにすれば、広く用いられているスマートフォン等の機器を用いてレコメンド情報を閲覧することが可能になる。例えば、被介助者の家族等が自身のスマートフォンを用いて被介助者を撮像することによって図３４Ｃの画面を閲覧できるため、レコメンド情報を容易に入手することが可能になる。
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。またウェアラブルモジュール、通信装置、サーバシステム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１０…情報処理システム、２０…情報処理装置、２１…取得部、２３…処理部、１００…ウェアラブルモジュール、１１０…制御部、１２０…加速度センサ、１３０…通信モジュール、１４０…記憶部、２００，２００－１～２００－６…通信装置、２１０…処理部、２２０…記憶部、２３０…通信部、２４０…表示部、２５０…操作部、３００…サーバシステム、３１０…処理部、３２０…記憶部、３３０…通信部、４００…介助者端末、４１０，４１０－１，４１０－２…携帯端末装置、４２０、４２０－１，４２０－２…ヘッドセット、４３０…メガネ型デバイス、５１０…ベッド、５２０…車椅子、５２１…クッション、５２２ａ…第１層、５２２ｂ…第２層、５２２ｃ…第３層、５２３…制御ボックス、５２４…操作部、５２４ａ…電源スイッチ、５２４ｂ…終了ボタン、５２４ｃ…判定ボタン、５２５…報知部、５２５ａ…計測中ランプ、５２５ｂ…記録中ランプ、５２５ｃ…前ずれランプ、５２５ｄ…横ずれランプ、５３０…テーブル、５３１…操作レバー、５３２…固定部材、５３２ａ～５３２ｃ…面、５３３…基板ボックス、５３４…ソレノイド、５４０…歩行器、５４１ａ…横脚パイプ、５４１ｂ…縦脚パイプ、５４１ｃ…基部枠部材、５４２…筐体、５４３，５４４…フック部、５４５…モータ、５４６…ワイヤ、５４７…ブレーキ、６００…トイレ、７００…周辺機器、７１０…制御部、７２０…記憶部、７３０…通信部、７４０…駆動機構、８１０…検出装置、８２０…マットレス、Ｃａ１１～Ｃａ１４，Ｃａ２１－Ｃａ２４…キャスター、ＣＰ２…第２端末装置、ＣＰ３…第３端末装置、Ｄｅｔ１，Ｄｅｔ２…腰検出結果、ＤＰ…ディスプレイ、Ｎ…切り込み、ＮＷ…ネットワーク、ＯＢ１～ＯＢ２０…オブジェクト、ＲＥ１～ＲＥ１０…領域、ＲｅＤ…オムツ領域、Ｓｅ１～Ｓｅ４…圧力センサ、ＴＭ…スロートマイク

Claims (12)

  1. ウェアラブルモジュールが出力したセンサ情報と、前記センサ情報を受け付けた通信装置が配置された場所を識別する配置情報と、が対応付けられた情報を取得する取得部と、
    前記配置情報及び前記センサ情報に基づいて、前記ウェアラブルモジュールを装着した被介助者の転倒リスクに関する判定である転倒判定処理を行う処理部と、
    を含み、
    前記処理部は、
    前記配置情報に基づいて、前記通信装置が配置された場所に応じた前記転倒判定処理を行い、前記転倒判定処理に基づいて、前記被介助者の介助を行う介助者の介助者端末における通知、及び、前記被介助者の周辺に位置する周辺機器の制御の少なくとも一方を行わせる情報処理装置。
  2. 請求項１において、
    前記通信装置が配置される場所は、ベッド、車椅子及びトイレを含み、
    前記処理部は、
    前記ベッドでの転倒判定、前記車椅子での転倒判定、前記トイレでの転倒判定、及び、歩行時の転倒判定を含む前記転倒判定処理を行う情報処理装置。
  3. 請求項１または２において、
    前記処理部は、
    前記配置情報、及び、前記ウェアラブルモジュールと対応付けられた前記被介助者を特定する情報、の少なくとも一方に基づいて、前記被介助者の周辺に位置する周辺機器を特定する処理を行い、
    前記転倒判定処理に基づいて、特定された前記周辺機器を制御する情報処理装置。
  4. 請求項３において、
    前記周辺機器は、キャスターによる移動が可能な機器であり、
    前記処理部は、
    前記転倒リスクが検出された場合、前記周辺機器の前記キャスターをロックする制御を行う情報処理装置。
  5. 請求項３において、
    前記周辺機器は、キャスターによる移動が可能な機器であり、
    前記処理部は、
    前記転倒リスクが検出された場合、前記周辺機器の前記キャスターを駆動することによって、前記周辺機器を前記被介助者に近づける制御を行う情報処理装置。
  6. 請求項４または５において、
    前記キャスターによる移動が可能な前記周辺機器は、テーブルまたは歩行器の少なくとも一方を含む情報処理装置。
  7. 請求項３において、
    前記周辺機器は、高さ調整機能を有する機器であり、
    前記処理部は、
    前記転倒リスクが検出された場合、前記周辺機器の高さを下げる制御を行う情報処理装置。
  8. 請求項７において、
    前記高さ調整機能を有する前記周辺機器は、可動ベッドを含む情報処理装置。
  9. 請求項２において、
    前記処理部は、
    前記ベッドに対応する前記センサ情報、または、前記車椅子に対応する前記センサ情報に基づいて前記被介助者が座位状態を保持する能力を表す座位保持能力を推定し、
    推定した前記座位保持能力に基づいて、少なくとも前記トイレを含む他の場所での介助に関する判定処理を実行する情報処理装置。
  10. 請求項２において、
    前記処理部は、
    前記歩行時に対応する前記センサ情報に基づいて前記被介助者が安定して歩行する能力を表す歩行能力を推定し、
    推定した前記歩行能力に基づいて、少なくとも前記トイレを含む他の場所での介助に関する判定処理を実行する情報処理装置。
  11. 請求項１乃至１０の何れか一項において、
    前記処理部は、
    前記ウェアラブルモジュールが出力した訓練用センサ情報と、前記訓練用センサ情報が取得された場所を識別する訓練用配置情報とを含む訓練データに基づく機械学習によって生成された前記転倒リスクの確からしさを求めるための学習済モデルを取得し、
    前記センサ情報、前記配置情報、及び前記学習済モデルに基づいて、前記転倒判定処理を行う情報処理装置。
  12. ウェアラブルモジュールが出力したセンサ情報と、前記センサ情報を受け付けた通信装置が配置された場所を識別する配置情報と、が対応付けられた情報を取得するステップと、
    前記配置情報及び前記センサ情報に基づいて、前記ウェアラブルモジュールを装着した被介助者の転倒リスクに関する判定である転倒判定処理を行うステップと、
    前記転倒判定処理に基づいて、前記被介助者の介助を行う介助者の介助者端末における通知、及び、前記被介助者の周辺に位置する周辺機器の制御の少なくとも一方を行わせるステップと、
    を含み、
    前記転倒判定処理を行うステップにおいて、前記配置情報に基づいて、前記通信装置が配置された場所に応じた前記転倒判定処理を行う、
    情報処理方法。
JP2021198459A 2021-12-07 2021-12-07 情報処理装置及び情報処理方法 Pending JP2023084336A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021198459A JP2023084336A (ja) 2021-12-07 2021-12-07 情報処理装置及び情報処理方法
PCT/JP2022/025834 WO2023105835A1 (ja) 2021-12-07 2022-06-28 情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021198459A JP2023084336A (ja) 2021-12-07 2021-12-07 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2023084336A true JP2023084336A (ja) 2023-06-19
JP2023084336A5 JP2023084336A5 (ja) 2024-04-24

Family

ID=86730055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021198459A Pending JP2023084336A (ja) 2021-12-07 2021-12-07 情報処理装置及び情報処理方法

Country Status (2)

Country Link
JP (1) JP2023084336A (ja)
WO (1) WO2023105835A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000317002A (ja) * 1999-05-12 2000-11-21 Japan Steel Works Ltd:The 身体の転倒検出・防御方法および装置
JP4333603B2 (ja) * 2005-02-18 2009-09-16 日本電信電話株式会社 転倒管理サーバ、プログラム、及び履物
JP2006297068A (ja) * 2005-03-25 2006-11-02 Semiconductor Energy Lab Co Ltd 監視装置、被介護者監視装置、介護管理装置、介護者端末装置、および、それらを用いた介護支援システム、ならびに、介護支援方法
JP2014239603A (ja) * 2013-06-07 2014-12-18 船井電機株式会社 手動推進車両
JP2016097108A (ja) * 2014-11-21 2016-05-30 日本光電工業株式会社 医療用システム
JPWO2018034064A1 (ja) * 2016-08-18 2019-06-27 コニカミノルタ株式会社 ケアサポートシステム
JP7137155B2 (ja) * 2017-10-11 2022-09-14 コニカミノルタ株式会社 被監視者監視支援システム、被監視者監視支援方法およびプログラム
EP3723456A1 (en) * 2019-04-11 2020-10-14 Cowhill Studio BV VOF An elderly care and security system
DE102019112126A1 (de) * 2019-05-09 2020-11-12 Moio Gmbh Sensormodul, Pflegeset und Verwendung hierfür
JP2021174189A (ja) * 2020-04-23 2021-11-01 コニカミノルタ株式会社 サービスのメニューの作成を支援する方法、サービスの利用者の評価を支援する方法、当該方法をコンピューターに実行させるプログラム、および、情報提供装置

Also Published As

Publication number Publication date
WO2023105835A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
US20220157143A1 (en) Baby Vitals Monitor
US20230000396A1 (en) Systems and methods for detecting movement
US20080132383A1 (en) Device And Method For Training, Rehabilitation And/Or Support
US20150294481A1 (en) Motion information processing apparatus and method
JP7457625B2 (ja) ベッドシステム
JP2005095570A (ja) 画像表示システム、画像表示装置、画像表示方法
TWM482128U (zh) 基於物聯網的健康照護系統
TW201909058A (zh) 活動支援方法、程式及活動支援系統
JP2023109751A (ja) システム
KR20180134544A (ko) 독거인 관리용 로봇, 이를 이용한 독거인 관리 장치 및 독거인 관리 방법
WO2023105835A1 (ja) 情報処理装置及び情報処理方法
WO2018012432A1 (ja) 行動判定装置及び行動判定方法
Brummel-Smith et al. Assistive technologies in the home
Hu et al. Developing personalized intelligent interior units to promote activity and customized healthcare for aging society
JP2023161202A (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2023210035A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
Cavallo et al. A first step toward a pervasive and smart ZigBee sensor system for assistance and rehabilitation
JPWO2018016392A1 (ja) 姿勢検出装置及び姿勢検出方法
US20240037991A1 (en) Information processing system and an information processing method
JP2003345856A (ja) 高齢者又は障害者の住環境整備支援方法
JP2023172460A (ja) 情報処理装置及び情報処理方法
US20230317273A1 (en) Information processing device and information processing method
JP2024021234A (ja) 情報処理システム及び情報処理方法
WO2020171109A1 (ja) 介護施設用の介護支援システム
JP2024057425A (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240416