以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。
1.システム構成例
図1は、本実施形態に係る情報処理装置を含む情報処理システム10の構成例である。本実施形態に係る情報処理システム10は、例えば介護施設において、介護職員の“勘”や“暗黙知”によって行われる作業について、当該“勘”や“暗黙知”をデジタル化することによって、介護職員の熟練度によらず適切な介助を行えるように、介護職員に指示を与えるものである。図1に示す情報処理システム10は、サーバシステム100と、介助者用装置200と、介護装置300と、センサ群400を含む。ただし、情報処理システム10の構成は図1に限定されず、一部を省略する、他の構成を追加する等の種々の変形実施が可能である。また、構成の省略や追加等の変形実施が可能である点は、後述する図3や図4等においても同様である。
本実施形態の情報処理装置は、例えばサーバシステム100に対応する。ただし、本実施形態の手法はこれに限定されず、サーバシステム100と他の装置を用いた分散処理によって、情報処理装置の処理が実行されてもよい。例えば、本実施形態の情報処理装置は、サーバシステム100と、介助者用装置200を含んでもよい。以下、情報処理装置がサーバシステム100である例について説明する。
サーバシステム100は、例えばネットワークNWを介して介助者用装置200、介護装置300、センサ群400と接続される。ここでのネットワークNWは、例えばインターネット等の公衆通信網であるが、LAN(Local Area Network)等であってもよい。例えば、介助者用装置200、介護装置300及びセンサ群400は、介護施設等に配置される。サーバシステム100は、センサ群400からの情報に基づいて処理を行い、処理結果に基づいて、介助者用装置200への情報出力、及び、介護装置300の遠隔制御等を行う。
なお、図1では介助者用装置200、介護装置300及びセンサ群400のそれぞれが、ネットワークNWを介してサーバシステム100と通信可能な例を示したが、これには限定されない。例えば、介護施設等に不図示の中継装置が設けられてもよい。中継装置は、ネットワークNWを介してサーバシステム100と通信可能な装置である。センサ群400の出力した情報は、介護施設内のLANを用いて中継装置に集約され、中継装置が当該情報をサーバシステム100に送信してもよい。また、サーバシステム100からの情報は中継装置に送信され、中継装置が必要な情報を介助者用装置200又は介護装置300に送信してもよい。例えば介護施設では複数の介助者用装置200、複数の介護装置300が同時に使用されることが想定される。中継装置は、サーバシステム100からの情報の送信対象である介助者用装置200又は介護装置300を選択する処理を行ってもよい。あるいは、中継装置は、介護施設の管理者によって使用される管理者端末であり、当該管理者の操作入力に基づいて動作してもよい。例えば中継装置の表示部にサーバシステム100からの情報が表示され、表示結果を閲覧した管理者が、送信先の介助者用装置200又は介護装置300を選択してもよい。また上述したように、本実施形態の情報処理装置は種々の変形実施が可能であり、例えば上記の中継装置が情報処理装置に含まれてもよい。
サーバシステム100は、1つのサーバであってもよいし、複数のサーバを含んでもよい。例えばサーバシステム100は、データベースサーバとアプリケーションサーバを含んでもよい。データベースサーバは、図3を用いて後述する種々のデータを記憶する。アプリケーションサーバは、図7、図8、図18~図23等を用いて後述する処理を行う。なおここでの複数のサーバは、物理サーバであってもよいし仮想サーバであってもよい。また仮想サーバが用いられる場合、当該仮想サーバは1つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。以上のように、本実施形態におけるサーバシステム100の具体的な構成は種々の変形実施が可能である。
介助者用装置200は、介護施設等において、被介助者(患者、入居者)の介助を行う介助者によって使用される装置であって、介助者への情報の提示、あるいは、介助者による情報の入力に用いられる装置である。例えば介助者用装置200は、介助者によって携帯、又は装着される装置であってもよい。例えば介助者用装置200は、携帯端末装置210と、ウェアラブル機器220を含む。携帯端末装置210は、例えばスマートフォンであるが、携帯可能な他の装置であってもよい。ウェアラブル機器220は、介助者が装着可能な機器であり、例えば、イヤホン又はヘッドホンと、マイクを含むヘッドセットである。またウェアラブル機器220は、メガネ型の機器であってもよいし、腕時計型の機器であってもよいし、他の形状の機器であってもよい。また介助者用装置200は、PC(Personal Computer)等の他の装置であってもよい。
介護装置300は、介護施設等において、被介助者の介護(介助を含む)を行うために使用される装置である。介助者用装置200が介助者への情報提示を主とする装置であるのに対して、介護装置300は、被介助者の介助を直接的に実行するための装置である。例えば介護装置300は、ボトム(ボトムは板状でもメッシュ状でもよく形状は問わない)の角度や高さを変更可能な介護ベッド310や、介護ベッド310から車椅子への被介助者の移乗等を行うためのリフト320を含んでもよい。また介護装置300は、車椅子、歩行器、リハビリ機器、食事を配膳するための配膳車等、他の装置を含んでもよい。
図2Aは、介護ベッド310の例である。介護ベッド310は、複数のボトムの高さ及び角度をそれぞれ変更可能である。これにより、介護ベッド310に横たわった被介助者の姿勢を柔軟に変更することが可能である。図2Bは、リフト320の例である。リフト320は、例えばADL(Activity of Daily Living)の評価指数が低く、人手による移乗が難しい被介助者の移乗等に用いられる機器である。
センサ群400は、介護施設等に配置された複数のセンサを含む。センサ群400は、モーションセンサ410と、撮像センサ420と、臭気センサ430を含んでもよい。モーションセンサ410は、加速度センサであってもよいし、ジャイロセンサであってもよいし、動きを検出可能な他のセンサであってもよい。モーションセンサ410は、被介助者の動きを検出するセンサであってもよいし、介助者の動きを検出するセンサであってもよい。撮像センサ420は、レンズを介して結像した被写体像を電気信号に変換するセンサである。臭気センサ430は、臭気を検出して数値化するセンサである。またセンサ群400は、温度センサ、湿度センサ、照度センサ、磁気センサ、位置センサ、気圧センサ等、種々のセンサを含むことが可能である。
なお図1では、介助者用装置200及び介護装置300と、センサ群400とを別々に記載した。例えばセンサ群400に含まれるセンサは、介護施設内の居室、食堂、廊下、階段等に配置されてもよい。例えば、介護施設内の各箇所に、撮像センサ420を含むカメラが配置される。また介護に必要な情報をセンシングするためのセンシング装置が用いられてもよい。介護施設の各箇所にセンサを設けることで、必要な情報をセンシングするだけでなく、センサの位置も特定できる。
例えば図2Cは、介護ベッド310のマットレス上に配置されるセンシング装置440の例である。図2Cに示すセンシング装置440は、例えば臭気センサ430を含み、被介助者が排泄をしたか否かを検出する。なお、センシング装置430は、体臭や呼気から病気か否かの判定が可能であってもよい。また図2Dは、介護ベッド310上にあるマットレスの下に配置される(介護ベッド310とマットレスの間に配置される)センシング装置450の例である。図2Dに示すセンシング装置450は、例えば圧力センサを含み、被介助者の心拍数や呼吸数や活動量の検出が可能である。なお、センシング装置450は、睡眠状態か否か、離在床の判定が可能であってもよい。
ただし、本実施形態の手法は以上の例に限定されず、センサ群400に含まれるセンサは、介助者用装置200又は介護装置300に設けられてもよい。例えば、センサ群400に含まれるセンサとして、携帯端末装置210に含まれるカメラ、加速度センサ、ジャイロセンサ、GPS(Global Positioning System)センサ等が用いられてもよい。また、介護装置300に、当該介護装置300の姿勢を検出するためのモーションセンサや、当該介護装置300を使用している被介助者、介助者を撮像するためのカメラ等が設けられてもよい。
図3は、サーバシステム100の詳細な構成例を示すブロック図である。サーバシステム100は、例えば処理部110と、記憶部120と、通信部130を含む。
本実施形態の処理部110は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子によって構成できる。1又は複数の回路装置は例えばIC(Integrated Circuit)、FPGA(field-programmable gate array)等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。
また処理部110は、下記のプロセッサによって実現されてもよい。本実施形態のサーバシステム100は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。メモリは、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置(HDD:Hard Disk Drive)等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部110の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
処理部110は、要因判定部111と、サポート情報出力部112と、設定部113と、学習部114を含む。
要因判定部111は、被介助者の認知症レベル情報を少なくとも含む入力に基づいて、被介助者の行動が認知症要因の異常行動であるか否かを判定する。例えば要因判定部111は、(1)被介助者の認知症レベル情報と、(2)被介助者の環境情報、排泄情報、及び睡眠情報の少なくとも1つと、に基づいて、被介助者の行動が認知症要因の異常行動であるか否かを判定する。各情報の詳細については後述する。
サポート情報出力部112は、要因判定部111が出力する判定結果と、被介助者の介助を行う介助者、又は被介助者に関するセンシング結果であるセンサ情報に基づいて、介助者による被介助者の介助をサポートするサポート情報を出力する。サポート情報の詳細については後述する。
設定部113は、本実施形態に係る情報処理システム10を利用する際の設定処理を行う。例えば、情報処理システム10の利用者である介助者は、多数のサポート情報のうちのいずれのサポート情報を出力するかを設定可能であってもよい。この場合、図17、図18を用いて後述するように、設定部113は、介助者による設定操作の受け付け処理、及び設定情報の更新処理等を行う。また設定部113は、ユーザ固有のカスタムサポート情報を出力に追加する設定処理を実行してもよい。具体例については図25A~図25D等を用いて後述する。
学習部114は、訓練データに基づく機械学習を行うことによって、学習済モデルを出力する。ここでの機械学習は、例えば教師あり学習である。教師あり学習における訓練データは、モデルの入力に相当する入力データと、当該入力データが入力された場合の適切な出力データを表す正解データとが対応付けられたデータセットである。学習部114は、例えばニューラルネットワークを用いた機械学習を行うことによって、学習済モデルを生成してもよい。以下、ニューラルネットワークをNNと表記する。例えば学習部114は、要因判定用NN121と、サポート情報出力用NN122を生成する処理を行う。学習部114における処理の詳細については後述する。ただし、本実施形態では機械学習は必須ではなく、学習部114は省略可能である。また、機械学習を行う場合であっても、学習処理をサーバシステム100とは異なる学習装置において実行することが可能であり、この場合も学習部114を省略可能である。
記憶部120は、処理部110のワーク領域であって、種々の情報を記憶する。記憶部120は、種々のメモリによって実現が可能であり、メモリは、SRAM、DRAM、ROM、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。
記憶部120は、要因判定部111での処理に用いられる情報と、サポート情報出力部112での処理に用いられる情報を記憶する。例えば記憶部120は、NNを用いた機械学習によって取得される要因判定用NN121と、サポート情報出力用NN122を記憶してもよい。なおここでの要因判定用NN121及びサポート情報出力用NN122は、NNの構造を規定する情報に加えて、当該構造を用いた演算に用いられるパラメータを含む。パラメータとは、具体的には機械学習によって値が決定される重みである。
また記憶部120は、第1対応付け情報123、第2対応付け情報124、及び第3対応付け情報125を記憶してもよい。第1対応付け情報123は、介助者と、当該介助者に対して各サポート情報を出力するか否かを表す情報と、を対応付けた情報である。第2対応付け情報124は、サポート情報と、当該サポート情報の出力に必要なセンサ情報とを対応づけた情報である。第3対応付け情報125は、所与の介護施設と、当該介護施設において取得可能なセンサ情報とを対応付けた情報である。各対応付け情報の具体例については、図14~図16を用いて後述する。また、記憶部120はこれ以外の情報を記憶してもよい。
通信部130は、ネットワークNWを介した通信を行うためのインターフェイスであり、例えばアンテナ、RF(radio frequency)回路、及びベースバンド回路を含む。通信部130は、処理部110による制御に従って動作してもよいし、処理部110とは異なる通信制御用のプロセッサを含んでもよい。通信部130は、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)に従った通信を行うためのインターフェイスである。ただし具体的な通信方式は種々の変形実施が可能である。
図4は、介助者用装置200の例であって、携帯端末装置210の詳細な構成例を示すブロック図である。携帯端末装置210は、例えば処理部211と、記憶部212と、通信部213と、表示部214と、操作部215を含む。
処理部211は、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアによって構成される。また処理部211は、プロセッサによって実現されてもよい。プロセッサは、CPU、GPU、DSP等、各種のプロセッサを用いることが可能である。携帯端末装置210のメモリに格納された命令をプロセッサが実行することによって、処理部211の機能が処理として実現される。
記憶部212は、処理部211のワーク領域であって、SRAM、DRAM、ROM等の種々のメモリによって実現される。
通信部213は、ネットワークNWを介した通信を行うためのインターフェイスであり、例えばアンテナ、RF回路、及びベースバンド回路を含む。通信部213は、例えばネットワークNWを介して、サーバシステム100との通信を行う。
表示部214は、種々の情報を表示するインターフェイスであり、液晶ディスプレイであってもよいし、有機ELディスプレイであってもよいし、他の方式のディスプレイであってもよい。操作部215は、ユーザ操作を受け付けるインターフェイスである。操作部215は、携帯端末装置210に設けられるボタン等であってもよい。また表示部214と操作部215は、一体として構成されるタッチパネルであってもよい。
また携帯端末装置210は、発光部、振動部、音出力部等、図4には不図示の構成を含んでもよい。発光部は例えばLED(light emitting diode)であり、発光による報知を行う。振動部は例えばモータであり、振動による報知を行う。音出力部は例えばスピーカであり、音による報知を行う。また上述したように、携帯端末装置210は、センサ群400に含まれるセンサを含んでもよい。
2.要因判定とサポート情報出力
本実施形態の情報処理装置は、被介助者の行動の要因を判定する処理、及び、介助者による被介助者の介助をサポートするサポート情報を出力する処理を行う。このようにすれば、認知症等の要因を考慮した上で、被介助者に応じた適切な介助を介助者に行わせることが可能になる。以下、要因判定と、サポート情報出力処理を行う手法の具体例として機械学習について説明する。ただし、本実施形態の手法は機械学習を用いるものに限定されず、種々の変形実施が可能である。また以下では機械学習としてNNを用いる例について説明するが、機械学習はSVM(support vector machine)等の他の手法が用いられてもよいし、NNやSVMを発展させた手法が用いられてもよい。
2.1 NNの簡単な説明
図5は、NNの基本的な構造例である。図5の1つの円をノード又はニューロンと呼ぶ。図5の例では、NNは、入力層と、2以上の中間層と、出力層を有する。入力層がIであり、中間層がH1及びHnであり、出力層がOである。また図5の例においては、入力層のノード数が2、中間層のノード数がそれぞれ5、出力層のノード数が1である。ただし、中間層の層数や、各層に含まれるノードの数は種々の変形実施が可能である。また図5では、所与の層に含まれる各ノードが、次の層に含まれるすべてのノードと接続される例を示しているが、この構成についても種々の変形実施が可能である。
入力層は、入力値を受け付け、中間層H1に出力する。図5の例では、入力層Iは、2種類の入力値を受け付ける。なお入力層の各ノードは、入力値に対して何らかの処理を行い、当該処理後の値を出力してもよい。
NNにおいて、接続される2つのノードの間には重みが設定されている。図5のW1は、入力層Iと第1中間層H1の間の重みである。W1は入力層に含まれる所与のノードと、第1中間層に含まれる所与のノードとの間の重みの集合を表す。例えば図5のW1は、10個の重みを含む情報である。
第1中間層H1の各ノードでは、当該ノードに接続される入力層Iのノードの出力を、重みW1を用いて重み付け加算し、さらにバイアスを加算する演算を行う。さらに各ノードでは、加算結果に非線形関数である活性化関数を適用することによって、当該ノードの出力が求められる。活性化関数は、ReLU関数であってもよいし、シグモイド関数であってもよいし、他の関数であってもよい。
また、これ以降の層についても同様である。即ち、所与の層では、重みWを用いて、1つ前の層の出力を重み付け加算し、バイアスを加算した上で活性化関数を適用することによって、次の層への出力を求める。NNは、出力層の出力を、当該NNの出力とする。
以上の説明からわかるように、NNを用いて入力データから所望の出力データを得るためには、適切な重みとバイアスを設定する必要がある。学習では、所与の入力データと、当該入力データでの正しい出力データを表す正解データとを対応付けた訓練データを用意しておく。NNの学習処理とは、訓練データに基づいて、最も確からしい重みを求める処理である。なお、NNの学習処理では、誤差逆伝播法(Backpropagation)等の学習手法が種々知られている。本実施形態においては、それらの学習手法を広く適用可能であるため、詳細な説明は省略する。
また、NNは、図5に示した構成には限定されない。例えばNNとして、畳み込みニューラルネットワーク(CNN:Convolutional neural network)が用いられてもよい。CNNは、畳み込み層及びプーリング層を有する。畳み込み層は、畳み込み演算を行う。ここでの畳み込み演算とは、具体的にはフィルター処理である。プーリング層は、データの縦横のサイズを縮小する処理を行う。CNNにおいては、誤差逆伝播法等を用いた学習処理を行うことによって、畳み込み演算に用いられるフィルターの特性が学習される。即ち、NNにおける重みには、CNNにおけるフィルター特性が含まれる。またNNとしてRNN(Recurrent neural network)等の他の構成のネットワークが用いられてもよい。
2.2 要因判定
図6は、要因判定に用いられる要因判定用NN121の入力データと出力データを例示する図である。要因判定における入力データは、例えば認知症レベル情報を含む。また入力データは、環境情報、睡眠情報及び排泄情報の少なくとも1つを含む。図6では、入力データが環境情報、睡眠情報及び排泄情報のすべてを含む例を示している。また入力データは他の情報を含んでもよい。例えば図6に示すように、入力データは、投薬情報、食事水分情報を含んでもよい。また要因判定用NN121の構成は図6に限定されず、種々の変形実施が可能である。
認知症レベル情報は、被介助者の認知症の進行度合いを表す情報である。例えば認知症レベル情報は、MMSE(Mini-Mental State Examination)のスコアであってもよいし、改訂長谷川式簡易知能評価スケール(HDS-R)のスコアであってもよいし、認知症検査の結果を表す他の情報であってもよい。また認知症レベル情報は、CT(Computed Tomography)やMRI(magnetic resonance imaging)を用いて取得された脳画像に基づく情報であってもよい。例えば、認知症レベル情報は、脳画像に基づいて医師が診断を行った結果を表す情報であってもよいし、脳画像そのものであってもよいし、脳画像に対して何らかの画像処理を行った結果であってもよい。
環境情報は、被介助者の生活環境を表す情報である。環境情報は、被介助者の生活環境の温度を表す温度情報、湿度を表す湿度情報、照度を表す照度情報、気圧を表す気圧情報を含む。例えば、被介助者の居室、あるいは食堂等の定期的に使用する箇所に温度センサ、湿度センサ、照度センサ、気圧センサが配置され、各センサの出力に基づいて、温度情報、湿度情報、照度情報、気圧情報が取得される。
また環境情報は、音に関する情報を含んでもよい。例えば居室等の生活環境にマイクが配置され、当該マイクによって集音された情報が環境情報として用いられる。環境情報は、音圧に関する情報であってもよいし、周波数解析の結果を表す情報であってもよい。また、環境情報は、特定の音が発生する時刻等に関する情報を含んでもよい。
また環境情報は、被介助者が使用する介護ベッド310に関する情報を含んでもよい。介護ベッド310に関する情報は、介護ベッド310の機種を特定する情報であってもよいし、介護ベッド310に付随して用いられるマットレスの種類や固さ等の情報であってもよい。また、介護ベッド310に関する情報は、介護ベッド310の駆動結果を表す情報を含んでもよい。例えば介護ベッド310のボトムの角度、高さ等に関する情報や、介護ベッド310が駆動された時刻等の情報が、環境情報として用いられてもよい。
睡眠情報は、被介助者の睡眠状態を表す情報である。例えば睡眠情報は、図2Dに示したセンシング装置450等を用いて検出されてもよい。また、睡眠情報は、脈拍数を検出する光電センサ等を含む腕時計型機器を用いて検出されてもよい。睡眠情報は、例えば睡眠開始時刻、起床時刻、1日の睡眠時間、睡眠の深さ、中途覚醒の回数や時刻、睡眠中の心拍数や呼吸数や活動量等の情報を含む。
排泄情報は、被介助者の排泄状態を表す情報を含む。例えば排泄情報は、図2Cに示したセンシング装置440等を用いて検出されてもよい。センシング装置440は、例えば臭気センサ430に基づいて被介助者の排泄の有無や、排泄の種類、排泄が行われたと判定されたタイミングを出力する。排泄情報は、例えば所与のスパンにおける排泄の回数、排泄間隔、排泄の種類等の情報を含む。また、排泄情報は、排泄後のオムツを撮像した撮像画像や、介助者が付加したコメント等の情報を含んでもよい。
投薬情報は、被介助者に投与されている薬剤を特定する情報である。例えば、投薬情報は、被介助者が服用した薬の名称、服用量、服用時刻等を表す情報である。また投薬情報は、被介助者に発行された処方箋の情報等を含んでもよい。
食事水分情報は、被介助者が摂取した食事及び水分を表す情報である。例えば食事水分情報は、食事をした時刻、献立、実際に食べた量を含む。また食事水分情報は、食材の固さや大きさ等、食べやすさを特定する情報を含んでもよい。また食事水分情報は、水分を摂取した時刻、水分の種類(水やお茶等)、摂取量を含む。
学習段階では、所定の期間における上記入力データに対して、正解データを対応付けることによって、要因判定用NN121を作成するための訓練データが取得される。ここでの所定の期間は、1日等の固定の期間であってもよい。あるいは所定の期間は、被介助者が何らかの異常行動を行った場合に、当該異常行動の発生時を基準として設定される期間であってもよい。
また正解データは、例えば医師等の専門的な知識を有するエキスパートによって付与されてもよい。エキスパートは、被介助者が異常行動をした場合に、当該被介助者の診断を行い、当該異常行動の要因を特定する。ここでの正解データは、特定された要因を表す情報である。例えば正解データは、行動が認知症要因、環境要因、睡眠障害要因、排泄障害要因のいずれであるかを表す。例えば、1人の被介助者の1期間に対応する入力データと、正解データを対応付けた結果を1つのデータセットとした場合、被介助者数や対象期間を増やすことによって、多数のデータセットを含む訓練データが取得される。
サーバシステム100の学習部114は、要因判定用の訓練データを取得し、当該訓練データに基づいて機械学習を行うことによって、要因判定用NN121を作成する。
図7は、要因判定用NN121を生成する学習処理を説明するフローチャートである。この処理が開始されると、まずステップS101において、学習部114は、学習用の入力データを取得する。ここでの入力データは上述したとおりであり、例えば認知症レベル情報、環境情報、睡眠情報、排泄情報を含む。また入力データは、投薬情報や食事水分情報等の他の情報を含んでもよい。
またステップS102において、学習部114は、入力データに対応付けられた正解データを取得する。例えば学習部114は、学習段階において取得された訓練データのうちの何れか1つのデータセットを読み出すことによって、ステップS101及びS102の処理を実行する。
ステップS103において、学習部114はNNの重みを更新する処理を行う。具体的には、学習部114は、要因判定用NN121にステップS101で取得した入力データを入力し、その段階での重みを用いて順方向の演算を行うことによって出力データを取得する。学習部114は、当該出力データと、正解データに基づいて目的関数を求める。ここでの目的関数は、例えば出力データと正解データの差分に基づく誤差関数、または出力データの分布と正解データの分布に基づく交差エントロピー関数である。
例えば、要因判定用NN121の出力層が公知のソフトマックス層である場合、出力層の出力は合計が1となる確率データである。例えば、出力層は第1ノード~第4ノードの4つのノードを含む。第1ノードの出力値は、「被介助者の行動が認知症要因である確からしさ」を表す。第2ノードの出力値は、「被介助者の行動が環境要因である確からしさ」を表す。第3ノードの出力値は、「被介助者の行動が睡眠障害要因である確からしさ」を表す。第4ノードの出力値は、「被介助者の行動が排泄障害要因である確からしさ」を表す。正解データは、正解となる要因の値が1であり、他の値が0となるデータである。例えば、エキスパートが認知症要因と判定した場合、認知症要因の確からしさが1となり、他の3つの確からしさが0となるデータが正解データとして用いられる。
学習部114は、例えば誤差関数が減少するように、重みを更新する。重みの更新手法としては上述した誤差逆伝播法等が知られており、本実施形態でもそれらの手法を広く適用可能である。
ステップS104において、学習部114は学習処理を終了するか否かを判定する。例えば、訓練データに含まれる複数のデータセットは、学習用データとバリデーションデータに分けられてもよい。学習部114は、すべての学習用データを用いて重みを更新する処理が行われた場合に学習処理を終了してもよいし、バリデーションデータによる正解率が所与の閾値を超えた場合に学習処理を終了してもよい。
学習処理を終了しない場合、学習部114はステップS101に戻って処理を継続する。即ち、学習部114は、訓練データから新たなデータセットを読み出し、当該データセットに基づいて重みを更新する処理を行う。
学習処理を終了する場合、学習部114はその段階での要因判定用NN121を学習済モデルとして記憶部120に記憶する。なお、図7は学習処理の一例であり、本実施形態の手法はこれには限定されない。例えば、機械学習ではバッチ学習等の手法も広く知られており、本実施形態ではこれらの手法を広く適用可能である。
図8は、推論段階での要因判定部111の処理を説明するフローチャートである。この処理が開始されると、まずステップS201において、要因判定部111は、認知症が疑われる異常行動を被介助者が行ったか否かを判定する。なお要因判定部111は、被介助者に関するセンサ情報等に基づいて被介助者の行動が異常行動であるか否かを自動で判定してもよい。例えば、センサ群400はモーションセンサ410、撮像センサ420、マイク等を含み、要因判定部111は、被介助者の動きや発声を検出することによって異常行動の有無を判定する。あるいは介助者自身が被介助者の動きを観察し、介助者用装置200等を用いて観察結果を入力してもよい。この場合、要因判定部111は、介助者の入力に基づいてステップS201の処理を実行する。被介助者が異常行動をしていないと判定された場合、要因判定部111は、ステップS202以降を行わずに処理を終了する。
被介助者が異常行動を行ったと判定された場合、ステップS202において、要因判定部111は、当該被介助者に関する入力データを取得する。例えば記憶部120は、被介助者に関する認知症レベル情報や、センサ群400が収集したセンサ情報等を、通信部130を介して取得、記憶している。認知症レベル情報は、例えば介護施設等において取得され、当該介護施設等の装置からサーバシステム100へ送信されてもよい。要因判定部111は、収集されたデータのうち、対象となる被介助者に関するデータであって、所定期間に対応する認知症レベル情報、環境情報、睡眠情報、排泄情報等を入力データとして読み出す処理を行う。
ステップS203において、要因判定部111は、記憶部120から要因判定用NN121を読み出す。そして要因判定用NN121にステップS202で取得した入力データを入力し、順方向の演算を行うことによって出力データを求める。要因判定用NN121の出力データは、例えば上述したように、各要因の確からしさを表す4つの確率値である。要因判定部111は、例えば確率値が最大となる要因を、被介助者の異常行動の要因と判定する。例えば、認知症要因の確からしさを表す値が、他の3つの要因の確からしさよりも大きい場合、要因判定部111は、異常行動が認知症要因と判定する。また要因判定部111の出力はこれに限定されず、4つの確率値そのものであってもよいし、それらに基づいて演算される値であってもよい。
要因判定部111は、例えば定期的に図8に示す処理を実行する。処理の頻度は任意であるが、例えば1日1回程度であってもよい。このようにすれば、被介助者の異常行動の有無、及び異常行動があった場合の要因を定期的に判定できる。例えば要因判定部111は、毎日朝に図8の処理を実行し、処理結果に基づいてその日の介助方針が決定されてもよい。また被介助者に異常行動が認められた場合、次の処理タイミングを待たずに図8の処理を実行する等、要因判定部111の処理については種々の変形実施が可能である。
また、以上では要因判定用NN121を用いた処理とは別の処理として、被介助者の行動が異常行動であるか否かを判定する例について説明した(図8のステップS201参照)。ただし、異常行動か否かを含めた判定を行うNNが作成されてもよい。
例えば要因判定用NN121は、図6に示した入力データに加えて、被介助者の行動を表すセンサ情報等が入力されてもよい。要因判定用NN121は、図6に示した4つの要因の確からしさを出力するノードに加えて、「被介助者の行動に異常が無い確からしさ」を出力するノードを含んでもよい。学習段階では、異常行動があった場合のデータに加えて、異常行動がない場合のデータも用いて訓練データが作成される。具体的には、入力データに対応付けられる正解データには、「異常行動なし」を表すデータが含まれる。この場合、要因判定部111は、要因判定用NN121に入力データを入力することによって、異常行動の有無、及び、異常行動があった場合の要因を推定できる。
2.3 介助サポート
2.3.1 入力と出力
図9は、サポート情報の出力に用いられるサポート情報出力用NN122の概略的な入力データを例示する図である。図9に示すように、入力データはセンサ情報を含んでもよい。センサ情報は、被介助者をセンシングした情報又は介助者をセンシングした情報を含む。センサ情報は、例えばセンサ群400に含まれるセンサから出力される。
またセンサ情報は、被介助者の生活環境をセンシングした情報を含んでもよい。この場合のセンサ情報は、例えば上述した環境情報に相当する。例えばセンサ情報は、温度センサ、湿度センサ、照度センサ、気圧センサ、マイク等の出力を含んでもよい。
また入力データは、被介助者の属性データや、身体的評価を表す身体評価データを含んでもよい。被介助者の属性データは、被介助者の年齢、性別、身長、体重、既往歴、投薬履歴等の情報を含む。身体評価データは、ADLの評価値、リハビリの履歴、転倒リスク、褥瘡リスク等の情報を含む。
また入力データは、介助者の属性データや、介護施設に関するデータを含んでもよい。介助者の属性データは、介助者の年齢、性別、身長、体重、介助経験、保持資格等を含む。介護施設に関する情報は、当該介護施設における介護スケジュール、介護装置300の数や使用状況、被介助者の人数や要介護度の統計データ等の情報を含む。
図28~図42は、本実施形態において介助者による被介助者の介助をサポートする際の入力として用いられるデータの詳細を例示する図であり、狭義にはサポート情報出力用NN122の入力データの例を示す図である。図28~図42に示すように、本実施形態における入力データは、種々の情報を利用することが可能である。なお、図28~図42に示す入力データは、そのすべてが取得されることは必須ではなく、一部の情報が省略されてもよい。また図28~図42には不図示の他の情報が追加されてもよい。
またサポート情報出力用NN122の出力データは、介助者による被介助者の介助を複数の介助動作に細分化した場合に、各介助動作の実行をサポートするために用いられる情報である。例えばサポート情報出力用NN122の出力データは、介助の開始タイミング、介助の際の動きや発声、被介助者に提供する物の種類や量等を決定するためのサポート情報である。
図43~図45は、本実施形態において、介助者による被介助者の介助をサポートする際に用いられるデータの詳細を例示する図であり、狭義には、サポート情報出力用NN122の出力データであるサポート情報の例を示す図である。
図43は、被介助者の食事を介助する食事介助において出力されるサポート情報の例である。例えば食事介助では介助者が被介助者の特徴を把握し、且つ、それを分かりやすく被介助者自身にも説明することによって、食事の実行をスムーズにするという介助行動が行われる。例えば咀嚼能力が低いという特徴がある被介助者の場合、そのことを介助者が把握していれば誤嚥を抑制する対処が可能であるし、被介助者に「ご飯を軟らかくしてあるのでよく噛みましょう」といった案内を行うことも有用である。図43のNumber 1の出力データとは、介助者に「利用者の特徴を伝える」ためのサポート情報であり、被介助者の特徴そのものを表すデータであってもよいし、介助者が理解しやすいように変換された情報であってもよい。また上述したように、介助者は被介助者の特徴を被介助者自身に伝えてもよく、図43のNumber 1の出力データはそのためのデータを含んでもよい。Number 2以降についても同様であり、図43に示す出力データは、食事介助における介助者の種々の行動をサポートするための情報を含む。
図44は、被介助者の排泄を介助する排泄介助において出力されるサポート情報の例である。なお排泄介助は、トイレで行われてもよいし、オムツを用いて行われてもよい。Number 66-72がトイレでの排泄介助を行う場合の出力データを表し、Number 73-75がオムツを用いた排泄介助を行う場合の出力データを表す。
図45は、被介助者の移乗又は移動を介助する移乗介助、移動介助において出力されるサポート情報の例である。なお移乗・移動介助は、被介助者の状態やリフト等の空き状況に応じて、器具の有無、あるいは器具の種類が異なる。図45の例では、Number 92-103が車椅子を用いた介助を行う場合の出力データを表し、Number 104-107が杖を用いた介助を行う場合の出力データを表し、Number 108-112がリフトを用いた介助を行う場合の出力データを表す。
図43~図45に示したように、サポート情報は、食事介助、排泄介助、及び移乗・移動介助の少なくとも1つをサポートする情報を含んでもよい。このようにすれば、介護施設等において必要性の高い介助を適切にサポートすることが可能になる。例えば食事介助をサポートすることで、誤嚥等のインシデントの抑制、被介助者の栄養状態の改善等が可能になる。排泄介助をサポートすることで、排泄漏れの抑制、排泄漏れによる対応工数削減及びその際に発生するリスクの抑制、排泄障害の軽減、転倒リスクの抑制等が可能になる。また移乗・移動介助をサポートすることで、転倒リスクの軽減、必要介助者の事前準備等が可能になる。
2.3.2 サポート情報出力用NNの構成例
図10~図12は、図9に示したサポート情報出力用NN122のより具体的な構成例を示す図である。図10に示すように、サポート情報出力用NN122は、各NNが1つのサポート情報を出力する複数のNNの集合であってもよい。図10におけるサポート情報1は、図43~図45に示したサポート情報のうちの何れか1つに対応する。入力データ群1とは、図28~図42に示した複数の入力データのうち、サポート情報1の出力に必要な1または複数の入力データを表す。サポート情報2以降についても同様である。
また図11に示すように、サポート情報出力用NN122は、関連する複数の出力データをまとめて出力可能な複数のNNの集合であってもよい。図11の例では、サポート情報出力用NN122は、食事介助サポート情報出力用NNと、排泄介助サポート情報出力用NNと、移乗介助サポート情報出力用NNと、を含む。
例えば食事介助サポート情報出力用NNは、複数の食事介助サポート情報を出力する。食事介助サポート情報出力用NNの出力データは、図43に示した複数のサポート情報に対応する。食事介助サポート情報出力用NNの入力データは、図28~図42に示した複数の入力データのうち、食事介助サポート情報の出力に必要な複数の入力データを表す。排泄介助サポート情報出力用NNの出力は、図44に示した複数のサポート情報に対応する。移乗介助サポート情報出力用NNの出力は、図45に示した複数のサポート情報に対応する。
また図12に示すように、サポート情報出力用NN122は、1つのNNであってもよい。図12のNNにおける入力データは、図28~図42に示したすべてのデータの集合であり、出力データは、図43~図45に示したすべてのサポート情報の集合である。
またサポート情報出力用NN122の構成は図10~図12に限定されない。例えば食事介助サポート情報出力用NNをいくつかに分割することによって、図10と図11の中間的な構成が用いられてもよい。その他、サポート情報出力用NN122の具体的な構成は種々の変形実施が可能である。
図13は、要因判定用NN121と、サポート情報出力用NN122の関係例を示す図である。図13の要因判定用の入力データとは、図6における入力であって、認知症レベル情報等を含む。またサポート情報出力用122の入力データは、図9における入力であって、具体的には図28~図42に示したデータである。なお、要因判定用の入力データとサポート情報出力用の入力データは一部が重複してもよい。
図13に示した例では、要因判定用NN121の出力データが、サポート情報出力用NN122の入力データの一部として用いられる。要因判定用NN121の出力データは、上述したように判定結果である1つの要因を特定する情報であってもよいし、複数の確率値に基づく情報であってもよい。図10又は図11のように、サポート情報出力用NN122が複数のNNを含む場合、要因判定用NN121の出力データは、すべてのNNに入力されてもよいし、一部のNNに入力されてもよい。このようにすれば、要因判定部111における要因判定の結果に基づいて、サポート情報を出力することが可能になる。結果として、被介助者の認知症進行度合いを介助者に理解させること、及び、当該進行度合いに応じた各種介助を行わせることが可能になる。
なお、被介助者に異常行動が見られない場合、要因判定用NN121の出力が0として扱われてもよい。また上述したように、要因判定用NN121が、「異常行動なし」を表す情報を出力可能であってもよい。
ただし、本実施形態の手法では、要因判定部111による判定結果がサポート情報の出力に利用されればよく、具体的な手法は図13の例に限定されない。
2.3.3 学習処理と推論処理
学習部114におけるサポート情報出力用NN122の学習処理の流れは、要因判定用NN121を作成する場合と同様である。サポート情報出力用NN122を作成する際の訓練データは、入力データに対して、熟練の介助者が暗黙知を用いて行った介助結果を表す正解データが対応付けられたデータセットを含む。
例えば、被介助者の食事介助を行う場合、センサ群400のうち、少なくとも食事介助に必要なセンサがオンになる。結果として、図28~図42に示す入力データのうち、食事介助に関係するデータがセンサ群400によって取得され、サーバシステム100の記憶部120に蓄積される。また、熟練の介助者が被介助者に取らせた姿勢(図43のNumber 9-12等に対応)、スプーンにより食事を提供したタイミング(図43のNumber 26に対応)、一口あたりの提供量(図43のNumber 25に対応)等、介助者の介助結果を表すデータが、正解データとして記憶部120に記憶される。
学習部114は、訓練データのうちの入力データをサポート情報出力用NN122に入力し、その際の重みを用いて順方向の演算を行うことによって、出力データを求める。また学習部114は、出力データと正解データに基づいて目的関数(例えば平均2乗誤差関数等の誤差関数)を求め、誤差逆伝播法等を用いて誤差を小さくするように重みを更新する。学習が終了した際のサポート情報出力用NN122が、学習済モデルとして記憶部120に記憶される。
なお、図13に示したように、要因判定用NN121の出力がサポート情報出力用NN122の入力に含まれてもよい。この場合、訓練データのうちの入力データは、被介助者の異常行動の要因を表す情報を含む。例えば、要因判定用NN121の学習処理において説明したように、医師等のエキスパートが付与した正解データが、訓練データにおける入力データの1つとして用いられてもよい。あるいは、要因判定用NN121の学習が先に完了している場合、図8に示すように、要因判定用NN121を用いた推論処理を行い、その結果が訓練データにおける入力データの1つとして用いられてもよい。
正解データは、上述した例と同様に、熟練の介助者が暗黙知を用いて行った介助結果を表す情報である。熟練の介助者は、被介助者の認知症進行度合い等を考慮して、自然に被介助者に適した介助を行うことが可能である。即ち、熟練の介助者の介助結果を正解データとすることで、異常行動の要因に応じた適切な介助を機械学習することが可能である。訓練データが取得された後の処理は、この場合も同様である。即ち、学習部114は、訓練データのうちの入力データを用いて順方向の演算の行い、出力データと正解データから誤差関数を求め、誤差を最小とするように重みを更新する。
サーバシステム100のサポート情報出力部112は、推論段階において図28~図42に示す入力データを取得する。なおここでの入力データは、所望のサポート情報を出力可能なデータを含めばよく、図28~図42のすべての入力データの取得は必須ではない。またサポート情報出力部112は、要因判定部111の判定結果を、入力データの1つとして取得する。サポート情報出力部112は、記憶部120から学習済のサポート情報出力用NN122を読み出し、入力データをサポート情報出力用NN122に入力する。なお、図11や図12のように、複数のサポート情報を出力可能なNNを用いる場合であって、そのうちの一部のサポート情報のみの出力が求められる場合、入力データの一部が取得されていない可能性がある。この場合、サポート情報出力部112は、例えば取得されていない入力データの値を0に設定してもよい。サポート情報出力部112は、順方向の演算を行うことによって、出力データとしてサポート情報を求める。
3.処理の流れ
次に、介助施設等において、介助者による被介助者の介助をサポートする際の具体的な処理の流れについて説明する。
3.1 行動の要因推定
まずサーバシステム100は、具体的な介助シーケンスの開始、実行を行う処理とは別に、被介助者に異常行動が見られるか否か、また、異常行動が見られる場合に当該異常行動の要因が何であるかを判定する。
例えば要因判定部111は、定期的に図8を用いて上述した処理を行う。このようにすれば、介助対象となる複数の被介助者のそれぞれについて、異常行動の有無及び異常行動の要因が求められる。以下では、要因判定部111による要因判定の結果が取得されているものとして説明を行う。
3.2 介助サポート
3.2.1 ユーザ設定
本実施形態におけるサポート情報の例は、図43~図45に示したとおりである。サポート情報出力部112は、このすべてのサポート情報を出力してもよい。ただし、報知される情報量が多すぎる場合、経験の浅い介助者は内容を把握しきれない、あるいは工程ごとの重要度の差を認識できない可能性がある。また、ある程度の経験がある介助者は、サポートがなくても所与の介助を適切に実行できるため、サポート情報の報知が煩わしく感じられる可能性もある。よって本実施形態では、介助者であるユーザが、出力されるサポート情報を設定可能であってもよい。
サーバシステム100の記憶部120は、第1対応付け情報123を記憶してもよい。図14は、第1対応付け情報の具体例である。図14に示すように、第1対応付け情報123は、介助者を特定する介助者IDと、サポート情報と、当該サポート情報の出力設定を表す情報と、を対応付けた情報である。
出力設定は、アクティブと非アクティブを含む。所与のサポート情報がアクティブに設定されている場合、サポート情報出力部112は、対象となる介助者に対して、当該サポート情報を出力する。所与のサポート情報が非アクティブに設定されている場合、サポート情報出力部112は、対象となる介助者に対して、当該サポート情報を出力しない。このようにすれば、出力されるサポート情報を、介助者ごとに柔軟に設定することが可能になる。
ただし、図28~図42に示したように、本実施形態で想定する入力データの種類は非常に多いため、介護施設がすべての入力データを取得可能であるとは限らない。例えば、予算や、介護施設の構造等の制約によって、所与の入力データを取得するために必要なセンサを配置できない場合がある。この場合、入力データが欠落することによって、所与のサポート情報を十分な精度で求めることができない可能性がある。
よってサポート情報の出力設定は、アクティブ/非アクティブに加えて、出力不可を含んでもよい。出力不可は、必要な入力データが取得できないため、サポート情報を出力しない設定を表す。非アクティブは、必要な入力データは取得可能であるが敢えてサポート情報を出力しない設定を表すため、出力不可とは異なる。
例えばサーバシステム100の記憶部120は、第2対応付け情報124と、第3対応付け情報125を記憶してもよい。図15は、第2対応付け情報124の具体例である。図15に示すように、第2対応付け情報124は、サポート情報と、当該サポート情報の出力に必須な必須入力データ群とを含む。サポート情報は、図43~図45に示した複数のデータのいずれかである。必須入力データ群は、図28~図42に示したデータのうちの1または複数である。必須入力データ群は、例えばユーザによって指定されるデータであってもよい。あるいは、複数の候補入力データ群について、それぞれサポート情報出力用NN122が作成され、バリデーションデータを用いた正解率が最も高い候補入力データ群が、必須入力データ群として選択されてもよい。また必須入力データ群は1組に限定されず、所定閾値以上の正解率である複数の候補入力データ群が必須入力データ群として用いられてもよい。
図16は、第3対応付け情報125の具体例である。第3対応付け情報125は、介護施設と、当該介護施設において取得可能な入力データを対応付けた情報である。例えば、介護施設の担当者は、当該介護施設で取得可能な入力データを選択し、選択結果をサーバシステム100に送信してもよい。あるいは、介護施設に配置されたセンサ群400は、当該介護施設を特定する情報と、センサ情報を対応付けてサーバシステム100に送信する。サーバシステム100の処理部110は、センサ情報の取得履歴に基づいて、第3対応付け情報125を作成してもよい。
サーバシステム100の設定部113は、第2対応付け情報124と第3対応付け情報125に基づいて、介護施設ごとに、各サポート情報の出力可否を判定する。具体的には、設定部113は、サポート情報の出力に必要な必須入力データ群が、対象となる介護施設において取得可能な入力データ群に含まれるか否かによって、サポート情報の出力可否を判定する。
また、入力データと、当該入力データの取得に用いられるセンサには対応関係がある。よって記憶部120は、入力データと、当該入力データの取得に用いられる1または複数のセンサを対応付けた第4対応付け情報を記憶してもよい。第2対応付け情報124及び第3対応付け情報125に加えて、第4対応付け情報を用いることによって、サポート情報の出力可否をセンサ単位で判定することが可能になる。あるいは、第4対応付け情報を別途設けるのではなく、第2対応付け情報124及び第3対応付け情報125の入力データが、センサの情報に置き換えられてもよい。
また、所与のセンサを含むデバイスは1つに限定されない。例えば、モーションセンサ410と撮像センサ420が必要な場合、カメラと加速度センサの両方を含むスマートフォン等のデバイスが利用されてもよいし、それぞれ別体の2つのデバイスが利用されてもよい。またカメラの中でも、解像度や倍率等が異なる複数の機種が利用可能である。よって記憶部120は、センサと、当該センサを含むデバイスを対応付ける第5対応付け情報を記憶してもよい。この場合、データをデバイス単位で管理することが可能になる。例えば、介護施設側が導入済みのデバイスを指定すれば、サーバシステム100において、当該デバイスに含まれるセンサや、当該センサを用いて取得可能な入力データが特定される。介護施設の担当者や介助者がデバイスに含まれるセンサや、当該デバイスで取得可能な入力データを把握する必要が無いため、ユーザの利便性向上が可能である。
なお以上では介護施設を単位として、サポート情報が出力可能であるか否かを判定する例を説明した(例えば図16参照)。しかし本実施形態の手法ではこれに限定されない。例えば、1つの介護施設が要介護度合いの高い入居者用の第1スペースと、要介護度合いが低い入居者用の第2スペースを有する場合、第1スペースはセンサが多数配置され、第2スペースはセンサが少ないといったことも考えられる。この場合、サーバシステム100は、第1スペースで出力可能なサポート情報と、第2スペースで出力可能なサポート情報を別々に管理してもよい。その他、サポート情報の出力可否を被介助者ごとに管理する等、具体的な手法は種々の変形実施が可能である。
図17は、出力対象のサポート情報を設定する設定画面の例である。以下で説明する処理は、例えば携帯端末装置210の記憶部212がサーバシステム100と通信するWebアプリケーションプログラムを記憶し、処理部211が当該Webアプリケーションプログラムに従って動作することによって実現される。例えば、表示画面の表示やユーザ操作の受付は、Webアプリケーションプログラムに従って表示部214や操作部215を用いて行われる。また表示画面の生成及び更新や、ユーザ操作に従ったデータベース制御等は、サーバシステム100の設定部113が実行する。ただし本実施形態の手法はWebアプリケーションプログラムを用いるものには限定されず、いわゆるネイティブアプリを用いる等の種々の変形実施が可能である。また図17では、携帯端末装置210の表示部214に設定画面が表示される例を示すが、設定画面は他の介助者用装置200に表示されてもよい。
例えば、設定画面は、複数のサポート情報のそれぞれについて、アクティブ、非アクティブ、出力不可を選択可能な画面である。図17では、排泄介助をサポートするサポート情報である「オムツの交換タイミング」と、食事介助をサポートするサポート情報である「スプーンでの提供量」、「スプーンによる食事の提供タイミング」の3つに対応するオブジェクトOB1~OB3を含む設定画面を例示している。
例えば、対応するサポート情報がアクティブである場合、オブジェクトは第1態様で表示される。対応するサポート情報が非アクティブである場合、オブジェクトは第2態様で表示される。対応するサポート情報が出力不可である場合、オブジェクトは第3態様で表示される。なお、ここでの表示態様は、オブジェクトのサイズ、形状、色を用いて制御されてもよいし、オブジェクトに含まれるテキストのサイズ、フォント、色等を用いて制御されてもよい。その他、具体的な表示態様は種々の変形実施が可能である。
図17では、オブジェクトOB1~OB3がボタンであり、アクティブ/非アクティブ/出力不可に応じてボタンの色が異なる例を示している。例えば「オムツの交換タイミング」がアクティブであり、「スプーンでの提供量」が出力不可であり、「スプーンによる食事の提供タイミング」が非アクティブである。この場合、サポート情報出力部112は、「オムツの交換タイミング」を表すサポート情報を出力し、且つ、「スプーンによる食事の提供タイミング」を表すサポート情報を出力しない。また対象の介護施設ではセンサ不足により「スプーンでの提供量」を精度よく求めることが難しい可能性があるため、「スプーンでの提供量」の出力が許容されない。オブジェクトOB1~OB3がそれぞれ異なる態様で表示されることによって、現在の設定を分かりやすく介助者に提示することが可能である。
介助者が携帯端末装置210の操作部215を操作することによって、アクティブ/非アクティブが切り替え可能である。例えば介助者が「オムツの交換タイミング」を選択する操作を実行した場合、その旨を表す情報がサーバシステム100へ送信される。設定部113は、第1対応付け情報123のうち、対象となる介助者IDの「オムツの交換タイミング」に対応する出力設定を、非アクティブに更新する処理を行う。また設定部113は、対応するオブジェクトOB1が非アクティブに対応する第2態様で表示される表示画面を生成し、通信部130を介して携帯端末装置210に送信する。表示部214は、当該表示画面を表示する。
同様に、非アクティブであるサポート情報に対応するオブジェクトの選択操作が行われた場合、設定部113は、対象となる介助者及びサポート情報に対応する出力設定をアクティブに更新する。また表示部214は、選択操作が行われたオブジェクトの表示態様を第1態様に変更する。
一方、出力不可であるサポート情報に対応するオブジェクトの選択操作が行われても、表示部214は、出力不可を表す第3態様での表示を維持する。この場合、設定部113は、第1対応付け情報123の更新処理を行わない。
また、出力不可であるサポート情報に対応するオブジェクトの選択操作が行われた場合、当該サポート情報の出力に必要な入力データのサジェストが行われてもよい。例えばサーバシステム100は、第2対応付け情報124に基づいて必要な入力データを特定し、当該入力データを携帯端末装置210の表示部214に表示する処理を行ってもよい。また上述したように、ここでの入力データは、センサに置き換えられてもよいし、デバイスに置き換えられてもよい。例えば設定部113は、ユーザによる選択操作が行われたサポート情報の出力に必要なセンサ又はデバイスを特定し、当該センサ又はデバイスを携帯端末装置210の表示部214に表示する処理を行ってもよい。
図18は、以上の設定処理を説明するフローチャートである。まず介助者が自身の介助者用装置200を用いて、設定変更操作を実行する。ステップS301において、サーバシステム100の設定部113は、ネットワークNWを介して当該設定変更操作を受け付ける。
ステップS302において、設定部113は、その時点での第1対応付け情報123と、設定変更操作を行った介助者を表す介助者IDとに基づいて、設定画面を介助者用装置200に表示する処理を行う。ステップS302の処理は、設定画面に対応する画像を作成し、当該画像を介助者用装置200に送信する処理であってもよいし、設定画面生成用の情報を介助者用装置200に送信する処理であってもよい。設定画面生成用の情報は、第1対応付け情報123のうち、介助者IDに対応する一部のデータを抽出した抽出結果であってもよい。また、設定画面生成用の情報は、抽出結果に対して何らかの加工処理が行われた加工結果であってもよい。これにより、例えば携帯端末装置210の表示部214に図17に対応する画面が表示される。
ステップS303において、設定部113は、介助者用装置200において実行されるユーザ操作を判定する。設定変更を行う操作が検出されなかった場合、設定部113は処理を終了する。
またアクティブであったサポート情報を非アクティブにする操作、または、非アクティブであったサポート情報をアクティブにする操作が行われた場合、ステップS304において、設定部113は設定変更を反映する。具体的には、設定部113は、介助者用装置200からの情報に基づいて、第1対応付け情報123を更新する処理を行う。
また出力不可であるサポート情報の選択操作が行われた場合、ステップS305において、設定部113は、当該サポート情報の出力に不足している入力データ、又はセンサ、又はデバイスを特定する。ステップS306において、設定部113は、特定した入力データ、又はセンサ、又はデバイスを介助者に提示する処理を行う。ステップS306の処理は、ステップS302に処理と同様に、表示画像そのものを送信する処理であってもよいし、表示画像の生成に用いられる情報を送信する処理であってもよい。また、ここでの提示は表示に限定されず、音声等を用いた提示処理が行われてもよい。
3.2.2 サポート情報の出力処理
図19は、サポート情報出力部112によるサポート情報の出力処理を説明するフローチャートである。ステップS401において、サポート情報出力部112は、出力対象であるサポート情報に対応した入力データを取得する。具体的には、サーバシステム100の記憶部120は、図28~図42に示した複数の入力データのうち、対象とするサポート情報を出力するための1または複数の入力データを記憶している。サポート情報と、入力データの対応付けは、例えば上述した第2対応付け情報124を用いて行われる。
ステップS402において、サポート情報出力部112は、必要な入力データをサポート情報出力用NN122に入力することによって、サポート情報を求める。ステップS403において、サポート情報出力部112は、サポート情報に基づく報知が必要か否かを判定する。報知が必要であれば、ステップS404において、サポート情報出力部112は報知処理を行う。報知は、ヘッドセットのイヤホン等を用いた音声による報知であってもよいし、携帯端末装置210の表示部214を用いた表示であってもよいし、他の報知であってもよい。報知が不要である場合、又は、報知処理を行った後、サポート情報出力部112は処理を終了する。
上述したように、出力対象となるサポート情報の数は介護施設に設けられるセンサの種類や、介助者の設定に応じて変更が可能である。しかし、いずれの場合であっても、出力対象となるサポート情報のそれぞれについて、図19に示した、入力データの特定、NNによる演算、必要に応じた報知を行うという処理の流れは共通である。
サーバシステム100の処理性能に余裕があれば、サポート情報出力部112は、出力対象として設定されたすべてのサポート情報について、常時、図19に示す処理を行い、報知が必要と判定されたものについて、適宜、報知処理を実行してもよい。
また処理負荷の軽減を考慮すれば、そのときに必要なサポート情報に限定して図19に示す処理が実行されてもよい。例えば図43~図45に示したように、サポート情報は、食事介助に必要なサポート情報、排泄介助に必要なサポート情報、といったように、必要となる状況を分類可能である。よってサポート情報出力部112は、現在の状況において必要なサポート情報を特定し、特定されたサポート情報を対象として図19に示す処理を実行してもよい。例えば、サポート情報出力部112は、食事介助、排泄介助、移乗・移動介助のそれぞれについて、介助を開始するか否かを判定してもよい。サポート情報出力部112は、開始すると判定された介助に関連するサポート情報を対象として、図19に示す処理を行う。開始判定については、図20を用いて後述する。
また食事介助であれば、食前に行われる介助、食事中に行われる介助、食後に行われる介助等の時系列での分類が可能である。そのため、サポート情報出力部112は、複数のサポート情報の間で、図19に示す処理を実行する順序を規定することが可能である。また介助によっては、第1介助が行われた場合にのみ、第2介助が必要となる、といったように、介助間で実行順序や実行要否に制約があるものも考えられる。
よって本実施形態の情報処理システム10による介助のサポートは、複数の介助を組み合わせた介助シーケンスに従って行われてもよい。具体的には、サポート情報出力部112が、複数のサポート情報を介助シーケンスに従って順次出力することによって、介助者による被介助者の介助がサポートされる。
以下、食事介助、排泄介助、移乗・移動介助のそれぞれについて、介助シーケンスの例を説明する。具体的には、まず各介助シーケンスの開始判定を行い、その後、各介助シーケンスの具体的な流れを説明する。
なお、図21~図23を用いて後述するように、以下の介助シーケンスにおいては、説明の便宜上、図43~図45のうちの一部のサポート情報のみを出力対象としている。しかし、後述する各介助シーケンスにおいて、一部のサポート情報の出力を省略する、又は、図43~図45に示した他のサポート情報の出力を追加する等の変形実施が可能であることは当業者であれば容易に理解できることである。
3.2.3 開始判定
本実施形態における介助は、食事介助、排泄介助、移乗・移動介助を含んでもよい。ただし、これらの介助は常時行われる必要は無く、被介助者に当該介助が必要であり、且つ、介助を実行可能な介助者が存在する場合に、具体的な介助シーケンスが実行される。即ち、本実施形態では、まず介助シーケンスの開始判定が行われ、その判定結果に応じて、介助シーケンスの開始や待機が決定されてもよい。
図20は、開始判定を説明するフローチャートである。この処理は、例えば被介助者ごとに、定期的に実行される。まずステップS501において、サポート情報出力部112は、図28~図42に示す入力データの少なくとも一部を取得する。ステップS502において、サポート情報出力部112は、取得した入力データをサポート情報出力用NN122に入力することによって、サポート情報を求める。ここでのサポート情報は、食事介助の開始タイミング、排泄介助の開始タイミング、及び、移乗・移動介助の開始タイミングの少なくとも1つを特定する情報である。例えば、サポート情報出力部112は、図20の処理を行ったタイミングにおいて、各介助を開始するか否かを判定してもよい。あるいはサポート情報出力部112は、何分後に各介助を開始する等の具体的な時刻を特定する情報を出力してもよい。
ステップS503において、サポート情報出力部112は、現タイミングが介助シーケンスの開始タイミングであるかを判定する。開始タイミングでないと判定された場合、サポート情報出力部112は処理を終了し、再度、図20に示す処理が行われるまで待機する。
例えば、サポート情報出力部112は、介護施設における食事スケジュールの情報に加えて、被介助者個別の顔色、体温、体重、投薬、過去の食事履歴、排泄履歴、リハビリ履歴等を入力データとすることによって、食事介助シーケンスの開始タイミングを判定する。
また排泄介助についても、例えば1日5回等の大まかなスケジュールが決まっているケースが考えられる。よってサポート情報出力部112は、介護施設における排泄介助スケジュールの情報に加えて、被介助者個別の食事の量やタイミング、水分摂取の量やタイミング、下剤投与の有無、過去の排泄履歴、リハビリ記録、褥瘡の状態等を入力データとすることによって、排泄介助シーケンスの開始タイミングを判定する。
またサポート情報出力部112は、食事やリクリエーション等、被介助者の移動が必要イベントの発生有無に加えて、被介助者のADL、病歴等を入力データとすることによって、移乗・移動介助に関する介助シーケンスの開始タイミングを判定する。
現タイミングが介助シーケンスの開始タイミングであると判定された場合、ステップS504において、サポート情報出力部112は、対象の被介助者を介助する介助者を決定する処理を行う。例えば、サポート情報出力部112は、介護施設における介助者の勤務シフトや、被介助者の担当割り振り等の情報を保持しており、当該情報に基づいて介助者を決定してもよい。
ステップS505において、サポート情報出力部112は、決定した介助者の介助者用装置200に、介助シーケンスの開始を指示する報知処理を行う。例えば、サポート情報出力部112は、ヘッドセット等のウェアラブル機器220において「Aさんの食事介助を開始してください」等の音声を再生する処理を行ってもよい。またサポート情報出力部112は、同様のテキストを携帯端末装置210の表示部214に表示する処理を行ってもよい。
ステップS506において、サポート情報出力部112は、上記報知処理に対する介助者の応答を判定する。例えば、介助者による応答として、「OK」、「後で」、「transfer」の3通りが設定されてもよい。介助者による応答は、音声によって行われてもよい。例えばヘッドセットのマイクによる検出結果に基づいて、介助者の応答が取得されてもよい。また介助者の応答は、テキスト入力等の他の態様によって実現されてもよい。
「OK」とは、指示された介助シーケンスを開始可能である旨を表す応答である。この場合、ステップS507において、サポート情報出力部112は具体的な介助シーケンスに移行する。例えばサポート情報出力部112は、図21、図22、図23等の処理を開始する。
「後で」とは、すぐに介助シーケンスを開始することはできないが、所定時間が経過すれば開始可能と考えられる旨の応答である。例えば、現在は別の業務を行っているが、当該業務が完了すれば指示された介助シーケンスを開始可能である場合等に相当する。この場合、ステップS508において、サポート情報出力部112は所定時間待機し、待機後に、ステップS505に戻り、再度同じ介助者に報知処理を実行する。
「transfer」とは、介助シーケンスを実行することが難しく、他の介助者への依頼を求める応答である。この場合、サポート情報出力部112は、ステップS504に戻り、他の介助者を選択する。ステップS505以降の処理については同様である。
ただし、「transfer」が選択された場合の処理はこれに限定されない。例えば、所与の介助者が「transfer」を選択した場合、サポート情報出力部112は、複数の介助者に一斉通知を行ってもよい。そして、当該複数の介助者のうち、「OK」と応答した介助者を選択し、当該介助者を対象として具体的な介助シーケンスを開始してもよい。
3.2.4 食事介助
図21は、食事介助を行う場合の具体的な介助シーケンスを説明するフローチャートである。まず食事介助シーケンスが開始されると、ステップS601において、サポート情報出力部112は、介護施設等に配置されたセンサ群400のうち、食事介助のサポートに必要なセンサをオンにする制御を行う。ステップS601において、サポート情報出力部112は、センサ群400に含まれるセンサのオンオフを遠隔制御してもよい。あるいは、サポート情報出力部112は、介助者用装置200等の介護施設内の装置に、オンにするセンサやデバイスを指示し、当該指示に従って介助者がセンサをオンにする操作を行ってもよい。これ以降、フローチャートにおいては明示しないが、センサ群400は定期的にセンサ情報をサーバシステム100に送信しており、サポート情報出力部112は、サポート情報の出力に必要な入力データを取得可能であるものとする。
ステップS602において、サポート情報出力部112は、サポート情報出力用NN122に基づいて、被介助者に応じた食事を提供するためのサポート情報を出力する。例えばステップS602において、サポート情報出力部112は、被介助者のアレルギーに応じた食事、及び病状に応じた与薬を指示するサポート情報を出力する。
次にステップS603において、サポート情報出力部112は、被介助者と介助者が食事を行う位置に移動したかを判定する。食事は、被介助者の居室で行われてもよいし、食堂等で行われてもよい。ステップS603の処理は、例えばカメラやRFID(radio frequency identifier)等、被介助者及び介助者の位置を特定可能な情報を入力データとすることによって行われる。なお、ステップS603の処理は、例えば介助者が携帯するカメラの画面に被介助者と食事が撮像された時点で、サポート情報出力部112は、被介助者と介助者が食事を行う位置に移動したと判断してもよい。
被介助者及び介助者の少なくとも一方が位置に付いていない場合、ステップS604において、サポート情報出力部112は一定時間待機した後、再度、ステップS603の処理を行う。
被介助者及び介助者が位置に付いた場合、ステップS605において、サポート情報出力部112は、食事の最低提供量を求める。ここでの最低提供量とは、配膳された量よりも少ない量であってもよい。換言すれば、介助者は配膳された食事をすべて食べさせる必要は無く、最低提供量に到達すればそれ以上は無理に提供しなくてもよい。ステップS605の処理は、例えば被介助者の顔色、介護記録、体重の変化、食事スケジュール等を入力データとすることによって行われる。
ステップS606において、サポート情報出力部112は、求めた最低提供量を介助者に報知する。報知は、ヘッドセット等のイヤホン等を用いた音声による報知であってもよいし、携帯端末装置210の表示部214を用いた表示であってもよい。
ステップS607において、サポート情報出力部112は、スプーンによる食事の提供タイミングと、スプーンでの提供量を求める。スプーンによる食事の提供タイミングとは、スプーンにのせられた一口分の食事を被介助者の口に入れるタイミングを表す。スプーンでの提供量とは、一口分の食事の量を表す。ステップS607の処理は、例えば被介助者の咀嚼状態に関連する入力データを用いることによって行われる。咀嚼状態に関連する入力データとは、例えば、被介助者の口の状態、喉の状態、顔の表情、顔色、姿勢、声掛けに応答する食事の変化、飲み込むタイミング、食べ物を口の中に入れている時間、食事リズム等に関する情報であり、例えば被介助者を撮像した撮像画像であってもよい。また咀嚼状態に関連する入力データとは、顎の動き、頬の動き、顔全体の動き、からだの動きに関する情報であり、例えばモーションセンサ410のセンサ情報であってもよい。また咀嚼状態に関連する入力データは、食事の際の声掛けなどに反応した声質や声量を表す音声データや過去の食事の時のタイミングや量の違いや季節による違いや体調による違い等を表す情報を含んでもよい。なお、食事リズムを表す情報は、撮像画像であってもよいし、モーションセンサ410のセンサ情報であってもよい。その他、上記の情報を取得する際に用いられるセンサは、種々の変形実施が可能である。
ステップS608において、サポート情報出力部112は、求めたスプーンによる食事の提供タイミングと、スプーンでの提供量を介助者に報知する。例えばサポート情報出力部112は、ステップS607において、現タイミングがスプーンによる食事の提供タイミングか否かを判定する。サポート情報出力部112は、提供タイミングであると判定されたときにステップS608においてその旨を報知し、提供タイミングでないと判定されたときに報知を行わない。また、サポート情報出力部112は、提供タイミングでないと判定された場合に、介助者が食事を被介助者に提供しようとしたとき、提供タイミングでないと報知を行ってもよい。
またサポート情報出力部112は、例えば提供タイミングであると判定された場合に、ステップS607において、スプーンでの提供量を求め、ステップS608において、求められた提供量をグラム数、あるいは多め/普通/少なめ等の段階を用いて介助者に報知してもよい。あるいは、サポート情報出力部112は、ステップS607において、介助者が実際にスプーンにのせた食事の量を表す入力データを用いることによって、スプーンでの提供量が適切であるかを表すサポート情報を求めてもよい。この場合の入力データは、例えば介助者の手元を撮像するカメラの出力を含む。スプーンにのせた食事の量が多すぎる又は少なすぎる場合、ステップS608において、サポート情報出力部112は、スプーンにのせた食事の量の変更を促す報知を行ってもよい。
なお、介助者の介助が正解であるか否かの判断に、被介助者の表情が用いられてもよい。例えば、サポート情報出力部112は、被介助者が笑顔であるときには正解として特に指示を出力せず、被介助者が不快な顔をしているときに指示を出力してもよい。例えばサポート情報出力部112は、ステップS607における入力データとして、被介助者の顔を撮像した画像や、当該画像に基づく表情判定処理の結果を用いてもよい。このようにすれば、被介助者の表情に基づいて、食事のペースが適切であるか否かを判定できる。あるいは、サポート情報出力部112は、心拍(脈拍)解析からリラックス度を判定してもよい。サポート情報出力部112は、被介助者のリラックス度合いが高いときには正解として特に指示を出力せず、被介助者のリラックス度合いが低いときに指示を出力してもよい。例えばサポート情報出力部112は、ステップS607における入力データとして、心拍数、脈拍数、あるいはそれらの解析結果を表す情報を用いる。また介助が適切か否かの判定に表情やリラックス度を用いてよい点は、図21のS607以外のステップや、後述する図22及び図23においても同様である。
ステップS609において、サポート情報出力部112は、被介助者の食事を終了するか否かを判定する。終了しない場合、ステップS607に戻る。このようにステップS607及びS608の処理を繰り返すことによって、一口分の食事を提供するタイミング及びその際の提供量を、逐一、介助者に提示することが可能になる。結果として、適切なペースで被介助者に食事を行わせることが可能になる。
食事を終了すると判定した場合、ステップS610において、サポート情報出力部112は、食事結果の記録を指示する。例えば、食事結果として、食べ残しを撮像した撮像画像が取得される。なお記録の指示とは、介助者に携帯端末装置210等を用いた撮像を指示するものあってもよいし、適切な位置に配置されたカメラを遠隔制御することによって、自動で撮像を行うものであってもよい。
ステップS611において、サポート情報出力部112は、被介助者の水分補給が必要であるか否かを表すサポート情報を求める。水分補給が必要である場合、ステップS612において、サポート情報出力部112は、介助者に水分補給を指示する報知を行う。なおサポート情報出力部112は、ステップS611において、具体的な補給量を表すサポート情報を求め、ステップS612において当該補給量を報知してもよい。
水分補給が不要である場合、又は、ステップS612の処理後、食事介助シーケンスが終了される。
なお、図21は食事介助シーケンスの一例であり、具体的なシーケンスは種々の変形実施が可能である。例えば食事介助を介護ベッド310で行う場合、当該介護ベッド310を食事に適した食事モード(例えば、背ボトムを30度~90度の範囲の設定された角度まで背上げするモードや膝ボトムを0度~30度に範囲の設定された角度まで膝上げするモード、足ボトムを0度~90度に範囲の設定された角度まで足下げするモード、ベッド傾斜角度を頭側が高くなるように0度~20度に範囲の設定された角度まで傾斜するモード)に切り替える制御が追加されてもよい。例えば、サポート情報出力部112は、カメラ等の出力を入力データとすることによって、被介助者及び配膳された食事が食事開始に適した状態であるかを表すサポート情報を求めてもよい。被介助者と食事が適切にセットされていると判定した場合、サポート情報出力部112は介護ベッド310を動かしてよいかを介助者に問い合わせる報知処理を行う。介助者が「OK」と回答した場合に、介護ベッド310が食事モードに変更されてもよい。
またサポート情報出力部112は、食事場所で食事が出来るまでにも、介助者や調理担当者に対して、食事介助に関連する種々のサポート情報を出力することが可能である。
3.2.5 排泄介助
図22は、排泄介助を行う場合の具体的な介助シーケンスを説明するフローチャートである。排泄介助シーケンスが開始されると、ステップS701において、サポート情報出力部112は、介護施設等に配置されたセンサ群400のうち、排泄介助のサポートに必要なセンサをオンにする制御を行う。
次にステップS702において、サポート情報出力部112は、介助者が排泄介助を行う位置に移動したかを判定する。例えば被介助者が介護ベッド310上でオムツに排泄をした場合、排泄介助は被介助者の居室で行われることが想定される。この場合、ステップS702の処理は、例えば居室に配置されたカメラ、あるいは介助者が携帯する携帯端末装置210のカメラの出力、RFIDの出力等を入力データとすることによって行われる。
介助者が位置に付いていない場合、ステップS703において、サポート情報出力部112は一定時間待機した後、再度、ステップS702の処理を行う。介助者が位置に付いた場合、ステップS704において、サポート情報出力部112はオムツの取り外しに関するサポート情報を求める。ステップS705において、サポート情報出力部112は求めたサポート情報の報知処理を行う。
例えば、オムツを取り外す際に被介助者の姿勢や介助者の姿勢、オムツを抜き取る方向等が適切でないと、便が被介助者の衣類やシーツに付着してしまい好ましくない。よってサポート情報出力部112は、例えばステップS704において、オムツを取り外す際の介助者の動きが適切であるかを判定してもよい。例えばサポート情報出力部112は、正解となる動きを取得し、当該動きと実際の介助者の動きを比較してもよい。不適切と判定された場合、ステップS705において、サポート情報出力部112は、不適切である旨を報知してもよいし、適切な動きを具体的に指示してもよい。
ステップS706において、サポート情報出力部112はオムツの装着に関するサポート情報を求める。ステップS707において、サポート情報出力部112は求めたサポート情報の報知処理を行う。
サポート情報出力部112は、例えばステップS706において、新しいオムツを装着する際の介助者の動きが適切であるかを判定してもよい。例えばサポート情報出力部112は、正解となる動きを取得し、当該動きと実際の介助者の動きを比較してもよい。不適切と判定された場合、ステップS707において、サポート情報出力部112は、不適切である旨を報知してもよいし、適切な動きを具体的に指示してもよい。
オムツの取り外し時にシーツ等が汚れることは問題であるが、介助者がそばにいるため、当該汚れを介助者が認識しやすく、対応も比較的容易である。一方、装着が不十分で便漏れが起きた場合、便漏れ発生時に介助者が被介助者のそばにいるとは限らない。また、介助者の負担を考慮すれば、排泄介助の頻度を過剰に高くすることは容易でなく、便漏れが長時間放置されるおそれもある。以上を鑑み、サポート情報出力部112は、ステップS705の処理に比べて、ステップS707の処理における報知が行われやすくなるように、条件を設定してもよい。例えば、正解と実際の動きとの乖離度合いが、閾値を超えた場合にステップS705及びS707の報知が行われる場合、ステップS707における閾値は、ステップS705における閾値よりも小さく設定される。
あるいは、ステップS706では、オムツに設けられたセンサのセンサ情報を入力データとして用いることによって、装着状態が適切であるか否かを詳細に判定してもよい。この場合も、オムツの装着をより重視した介助を行わせることが可能になる。
ステップS708において、サポート情報出力部112は、排泄状態の記録を指示する。具体的には、サポート情報出力部112は、尿便の状態を撮像する指示、及び、尿便の重量を測定する指示を行う。なお重量の測定は、オムツの重量測定であってもよいし、ゴミ箱を搬送するのであればゴミの重量測定であってもよい。またここでの記録の指示は、介助者に撮像や重量測定を行わせるものであってもよいし、カメラやセンサを遠隔で制御するものであってもよい。
なお、図22は排泄介助シーケンスの一例であり、具体的なシーケンスは種々の変形実施が可能である。例えば排泄介助を介護ベッド310で行う場合、当該介護ベッド310の高さを排泄介助に適した高さ(例えば床面からボトム上面までの高さを介助者が腰をかがめる必要が無い高さ50mm~100mmなど)に変更する制御が追加されてもよい。例えば、図20のステップS506で介助者が「OK」と応答した場合に介護ベッド310の高さを変更することで、介助者が到着した際には排泄介助をしやすい状態が実現される。なお、介護ベッド310がスピーカを有する場合、サポート情報出力部112は、高さ変更の前に、その趣旨を被介助者に説明するための音声を出力する制御を行ってもよい。またサポート情報出力部112は、介護ベッド310の高さ変更が完了したことを、介助者に報知してもよい。
3.2.6 移乗介助又は移動介助
図23は、移乗介助又は移動介助を行う場合の具体的な介助シーケンスを説明するフローチャートである。移乗・移動介助シーケンスが開始されると、ステップS801において、サポート情報出力部112は、介護施設等に配置されたセンサ群400のうち、移乗・移動介助のサポートに必要なセンサをオンにする制御を行う。
次にステップS802において、サポート情報出力部112は、被介助者の移乗・移動介助にリフトが必要であるかを判定する。ステップS802の処理は、介助者と被介助者の体格差、被介助者のADL、移乗に必要な時間、介護施設におけるリフトの在庫等を入力データとすることによって行われる。
リフトが不要である場合、介助者は、被介助者を人手で車椅子に移乗させる。ステップS803において、サポート情報出力部112は、人手での移乗に関するサポート情報を求める。ステップS804において、サポート情報出力部112は求めたサポート情報の報知処理を行う。なお、サポート情報出力部112は、移乗前に車椅子のロックが必要か否かを介助者に問い合わせる報知を行ってもよい。介助者が必要と回答した場合、サポート情報出力部112は車椅子をロックする制御を行う。あるいはサポート情報出力部112は、ロックの要否を自動で判定し、必要と判定された場合、ステップS803の処理よりも前に、介助者に車椅子のロックを指示してもよい。
サポート情報出力部112は、例えばステップS803において、人手での移乗における介助者の身体の使い方が適切であるかを判定してもよい。例えばサポート情報出力部112は、介助者の姿勢、被介助者を足に乗せる位置等、正解となる動きを取得し、当該動きと実際の介助者の動きを比較してもよい。介助者の動きは、モーションセンサ410を用いて検出されてもよいし、撮像センサ420を用いて検出されてもよい。また、移乗・移動介助では被介助者と介助者の位置関係が重要であるため、これらのセンサは介助者の動きに加えて、被介助者の動き、姿勢を検出してもよい。不適切と判定された場合、ステップS804において、サポート情報出力部112は、不適切である旨を報知してもよいし、適切な動きを具体的に指示してもよい。
リフトが必要である場合、ステップS805において、サポート情報出力部112は、被介助者のところまでリフトを移動させる制御を行う。ステップS806において、サポート情報出力部112は、リフトでの移乗に関するサポート情報を求める。ステップS807において、サポート情報出力部112は求めたサポート情報の報知処理を行う。
サポート情報出力部112は、例えばステップS806において、リフトの使い方が適切であるかを判定してもよい。例えばサポート情報出力部112は、被介助者を安全につり上げられるスリングの装着状態等、正解となるデータを取得し、正解と実際の状態を比較してもよい。不適切と判定された場合、ステップS807において、サポート情報出力部112は、不適切である旨を報知してもよいし、適切な装着状態を具体的に指示してもよい。
なお被介助者をリフトでつり上げた後は、車椅子へ座らせてもよいし、そのまま移動させてもよい。サポート情報出力部112は、リフトの在庫や移動先、被介助者の状態を考慮して、いずれを用いるかを判定し、介助者に報知してもよい。
なお、図23は移乗・移動介助シーケンスの一例であり、具体的なシーケンスは種々の変形実施が可能である。例えば、介護ベッド310の高さ(例えば介護ベッドは床面からボトム上面までの高さが、立位が可能な非介助者の場合はベッド上に座った際に足がしっかりとつく高さ200mm~500mm、車椅子へ移乗する場合は車椅子よりも少し高い高さ200mm~500mm、車椅子からベッドへ移乗する場合は車椅子よりも少し低い高さ200mm~500mm、など)を移乗・移動介助に適した高さに変更する制御が追加されてもよい。具体的な制御は排泄介助等と同様であるため、詳細な説明は省略する。
3.2.7 要因に応じた具体的な介助の変化
以上、食事介助、排泄介助、移乗・移動介助の具体的なシーケンスについて説明した。図21~図23では説明を省略したが、各サポート情報は、異常行動の有無や要因に基づいて求められてもよい。例えば図13を用いて上述したように、サポート情報を求める際の入力データとして、異常行動の有無や異常行動の要因判定結果が用いられる。
例えば、要因判定部111が認知症要因と判定した場合、サポート情報出力部112は、認知症が進行しているものとして、各介助シーケンスにおける出力を変更する。例えば、サポート情報出力部112は、食事介助において、一口あたりの食事の提供量を表す情報(スプーンでの提供量)、及び、一口分の食事の提供タイミングを表す情報(スプーンによる食事の提供タイミング)を、サポート情報として出力する。その際、サポート情報出力部112は、行動が認知症要因の異常行動と判定された場合、行動が認知症要因の異常行動でないと判定された場合に比べて、提供量及び提供タイミングの少なくとも一方を変更してもよい。このようにすれば、認知症である被介助者と、認知症でない被介助者とで、食事のペースを適切に変更することが可能になる。例えばサポート情報出力部112は、提供量を少なくしてもよいし、提供タイミングを遅くしてもよい。このようにすれば、認知症によって被介助者がむせやすくなっている場合に、食事のペースを適切に管理することが可能になる。
またサポート情報出力部112は、排泄介助において、排泄介助を開始するタイミングである排泄介助タイミングを特定する情報を、サポート情報として出力する。その際、行動が認知症要因の異常行動と判定された場合、行動が認知症要因の異常行動でないと判定された場合に比べて、排泄介助タイミングを変更してもよい。このようにすれば、認知症であるか否かに応じて、適切なタイミングで排泄介助シーケンスを開始することが可能になる。例えばサポート情報出力部112は、排泄介助タイミングを早くしてもよい。このように排泄介助タイミングを調整することによって、認知症によって被介助者自身が排泄タイミングを制御することが難しくなった場合にも、清潔な状態を保ちやすくすることが可能になる。
その他、認知症要因の異常行動と判定された場合、サポート情報出力部112は、以下のような食事介助を行うように、サポート情報を変更してもよい。例えばサポート情報出力部112は、認知症要因の異常行動と判定された場合に、以下に関する報知の優先度を高く設定する。例えば、サポート情報出力部112は、認知症要因の場合に以下に関する報知を行い、異常行動がない場合や認知症以外の要因である場合に、以下の報知を行わなくてもよい。あるいは、サポート情報出力部112は、認知症要因であるか否かによらず以下の報知を行うが、認知症要因である場合に報知がされやすくなる制御を実行してもよい。例えばサポート情報出力部112は、認知症要因の場合に報知頻度を高くしてもよいし、報知要否の判定における条件を緩和してもよい。
・食事に専念するように食事の前に排泄を済ませる
・睡眠が十分か、体調が良いか、を通知する
・配膳後、介助せずに観察を行い、今日の状況を理解する
・環境を整える、落ち着く食器を用意する、愛着ある食器を用意する
・食べやすい姿勢に整える
・食事が進まないときは時間をずらすなどの調整をする
・食事であることを理解するために声掛けをして一口目を介助する
・声掛けをして食べ方を教えてあげる
・脱水にならないように水分を与える
・むせないようにスプーンの量、与えるスピードを調節する
・食事が進まない場合には活動量を増やす、生活リズムを整える
また認知症要因の異常行動と判定された場合、サポート情報出力部112は、以下のような排泄介助を行うように、サポート情報を変更してもよい。
・睡眠が十分か、体調が良いか、を通知
・適切なパンツ、オムツ、パッド、を選定し使用する
・トイレ排泄の場合には流しているかトイレの確認をする
・トイレに行く回数が増える可能性があるため転倒転落対策を取る
・排泄タイミングをみて、声掛けをしてトイレへ誘導する
・弄便の可能性があるため、排泄タイミングを見てトイレ誘導、オムツ交換を行う
・相性の良いスタッフを割り当てる
またサポート情報出力部112は、睡眠介助に関するサポート情報を出力してもよい。認知症要因の異常行動と判定された場合、サポート情報出力部112は、以下のような睡眠介助を行うように、サポート情報を変更してもよい。
・自律神経を正常に保つために生活リズムを整える
・日中の活動量を多くするために運動を行う
・夜間に異常行動をとらないか見守りを行う
なお夜間の見守りを行う場合、例えば、離床センサや見守りセンサのセンサ情報を入力データとして用いる。例えばサポート情報出力部112は、朝食の食事介助をしない介助者に対して、被介助者が朝食中にセンサの導入を指示する。また、運動を行う場合、サポート情報出力部112は、例えば昼の排泄介助後にレクリエーションやリハビリを提案するよう、介助者への報知を行ってもよい。
また図6を用いて上述したように、要因判定部111は、異常行動の要因として、環境要因であるか、及び、排泄障害要因であるかを判定可能であってもよい。例えば排泄障害要因の異常行動と判定された場合、サポート情報出力部112は、以下のような介助を行うように、サポート情報を変更してもよい。
・夕食の配膳に下剤の追加を通知する
・食事の内容の変更(朝食・昼食・夕食いずれにも適用)
・食後に水分の提供をするよう指示
・昼の排泄介助後にレクリエーションやリハビリを提案
なお、サポート情報出力部112は、単に下剤の追加を指示するだけでなく、具体的な下剤の種類や投薬時間を提案してもよい。例えばサポート情報出力部112は、連続して何日下剤を投与しているかを表す情報、排便間隔の情報等を入力データとして用いることによって、下剤の種類を報知してもよい。またサポート情報出力部112は、認知症起因と判断された被介助者が、その後に排泄障害起因と判断された場合、認知症に対応するために配置されたセンサのうち、排泄センサ以外のセンサを取り外すよう、介助者に指示してもよい。
また環境要因の異常行動と判定された場合、サポート情報出力部112は、以下のような介助を行うように、サポート情報を変更してもよい。
・スピーカや照明のリズムを環境起因前のデータと同じになるように自動制御する
このように異常行動が発生する前と同様の環境に近づけることによって、被介助者の生活リズムを整えることが可能になる。なお、介助者等は、自動制御の適用を一時的に停止する、あるいは自動制御を適用しない等の設定変更が可能であってもよい。またサポート情報出力部112は、認知症起因と判断された被介助者が、その後に環境起因と判断された場合、認知症に対応するために配置されたセンサを取り外すよう、介助者に指示してもよい。
またサポート情報出力部112は、行動が認知症要因と判定された場合、異常行動と判定されない場合に比べて、出力対象となるサポート情報の種類を増やしてもよい。例えば、上述した「環境を整える、落ち着く食器を用意する、愛着ある食器を用意する」ためのサポート情報は、認知症要因と判定された場合に出力されるが、他の要因と判定された場合は出力対象とならなくてもよい。この場合、例えば被介助者にとって好ましい環境を判定するために、温度センサ、湿度センサ、照度センサ、気圧センサ等の入力データが用いられてもよい。
よってサポート情報出力部112は、行動が認知症要因と判定された場合、異常行動と判定されない場合に比べて、使用するセンサ情報の種類を増やしてもよい。このようにすれば、入力データの種類が増えるため、認知症に適した介助を行うサポート情報を精度よく求めることが可能になる。
またサポート情報出力部112は、使用可能な1又は複数のセンサを特定する情報と、行動が認知症要因と判定された場合に追加されるセンサ情報とに基づいて、新たなセンサの追加要否を判定してもよい。ここで使用可能な1または複数のセンサとは、具体的には対象となる介護施設に配置されたセンサであって、図16の第3対応付け情報125に基づいて特定される。図14~図16を用いて上述したように、介護施設に配置されたセンサの種類によっては、所与のサポート情報を十分な精度で出力できないおそれがあり、当該サポート情報が「出力不可」に設定される可能性がある。そのため、介護施設によっては、要因判定部111が認知症要因と判定しても、認知症に適したサポート情報の出力が難しい可能性がある。情報処理装置は、例えばセンサの追加要否を判定し、追加が必要とされたセンサや、当該センサを含むデバイスの追加を提案してもよい。このようにすれば、要因にあわせたサポート情報を適切に出力することが可能になる。
以上で説明してきたように、異常行動の有無や、当該異常行動の要因によって、適切な介助が変化することが想定される。本実施形態の手法によれば、介助者による介助をサポートする際に、被介助者の行動の要因判定結果が用いられる。結果として、より被介助者に適した介助を介助者に行わせることが可能になる。
具体的には、熟練の介助者の暗黙知をデータ化し、熟練度の低い介助者にも適切な介助を行わせることが可能である。例えば、熟練度の低い介助者でも熟練者と同等の介助が可能になるため、介助の再現性が向上する。またケアスキルのばらつきが抑制され、組織マネジメントも容易になるため、被介助者の転倒等のインシデントが発生することが抑制される。結果として、入院に伴う空床の発生、事故報告書の作成に伴う残業の発生を抑制できる。またインシデントが抑制されれば、介助者がリスクに敏感になりすぎることも抑制されるため、ストレスの低減が可能になり、結果として離職率の抑制も可能になる。また介助者のスキル向上、労働環境の改善が可能になることによって、被介助者やその家族の満足度の向上、QOL(Quality of Life)の向上も可能になる。
なお、本実施形態の情報処理システム10、サーバシステム100、介助者用装置200等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の情報処理システム10等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶媒体(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク、HDD、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータを機能させるためのプログラムが記憶される。
また本実施形態の手法は、(1)被介助者の認知症レベル情報と、(2)被介助者の環境情報、排泄情報、及び睡眠情報の少なくとも1つと、に基づいて、被介助者の行動が認知症要因の異常行動であるか否かを判定し、判定結果と、被介助者の介助を行う介助者又は被介助者に関するセンシング結果であるセンサ情報と、に基づいて、介助者による被介助者の介助をサポートするサポート情報を出力する、情報処理方法に適用できる。
4.変形例
<複数の介助シーケンスの並列処理>
図21~図23を用いて上述した各介助シーケンスは、順次実行されてもよい。例えば、所与の介助者は、スタンバイ状態のときに図20のステップS506でOKと応答することによって、図21~図23のいずれかに対応するシーケンスを実行し、完了後にスタンバイ状態に戻る。なおスタンバイ状態とは、対象の介助者がいずれの介助シーケンスも実行していない状態を表す。そして、再度、ステップS506でOKと応答することによって、図21~図23のいずれかに対応するシーケンスを実行する。
ただし、介護施設等においては、1人の介助者が複数の被介助者の介助を並行して実施する場合もある。例えば被介助者Aと被介助者Bを近い位置に着席させた上で、1人の介助者が被介助者Aと被介助者Bの食事介助を同時に実行する。この場合、被介助者Aを対象とした図21の食事介助シーケンスの実行が完了した後、被介助者Bを対象とした図21の食事介助シーケンスの実行するのは非効率である。
よってサポート情報出力部112は、1人の介助者に関して、複数の介助シーケンスを並列に実行可能であってもよい。例えば上述の例であれば、サポート情報出力部112は、被介助者A用の食事介助シーケンスと、被介助者B用の食事介助シーケンスを並列に実行する。なお、ここでは介助者と被介助者が1:2である例について説明するが、1人の介助者が同時に担当する被介助者は3人以上であってもよい。
例えばサポート情報出力部112は、被介助者Aの食事介助シーケンスにおいて、ステップS605の処理を行い、その結果を、ステップS606において「Aさんの最低提供量はxグラムです」等の形式で報知する。同様に被介助者Bの食事介助シーケンスにおいて、ステップS605の処理を行い、その結果を、ステップS606において「Bさんの最低提供量はyグラムです」等の形式で報知する。このように、サポート情報出力部112は、被介助者Aに関する入力データの取得と被介助者Bに関する入力データの取得を並列に実行し、それぞれの入力データに基づいて、被介助者Aに関するサポート情報の出力と被介助者Bに関するサポート情報の出力を必要なタイミングで実行する。このようにすれば、介助者と被介助者が1対多の関係であっても、各被介助者に必要な介助を、介助者に実行させることが可能になる。なお、複数の被介助者を同時に撮像可能な広角カメラを設置することによって、被介助者Aに関する入力データと、被介助者Bに関する入力データを共通にすることも可能である。
ただし、介助者は1人であるため、複数のサポート情報が非常に近いタイミングで報知されたとしても、そのすべてに対応することは容易でない。例えば、被介助者AについてステップS608の報知が行われた場合、介助者は報知に従った量の食事をスプーンにとって、被介助者Aの口まで運ぶ動作を行う。それが完了する前に被介助者BについてステップS608の報知が行われたとしても、介助者は被介助者Bの食事をスプーンにとって、被介助者Bの口まで運ぶことは難しい。
あるいは、複数の被介助者の食事介助を行う場合、全員が食堂等の食事場所に集まってから、被介助者に食事を食べさせると効率的である。よって介助者と被介助者Aが位置についたと判定された(ステップS603でYes)としても、被介助者Bが位置について居ない場合、被介助者AについてステップS607-S609等の処理を開始することが好ましくない場合も考えられる。
これらのことを考慮すれば、サポート情報出力部112は、複数の被介助者に関する介助シーケンスを単に並列に実行するのではなく、複数の介助シーケンス間の関係を考慮した処理を実行してもよい。例えばサポート情報出力部112は、所与の介助者を対象として複数の介助シーケンスを並列に実行する場合、各介助シーケンスの実行、停止(サスペンド)を制御してもよい。
例えばサポート情報出力部112は、被介助者AについてステップS608の報知を行った場合、被介助者Bに関する食事介助シーケンスをサスペンドしてもよい。そして介助者による被介助者Aへの一口分の食事が完了した場合に、被介助者Bの食事介助シーケンスを再開する。サポート情報出力部112は、被介助者BについてステップS607において食事提供を行ってよいとの判定を行っているため、ステップS608において、被介助者Bに一口分の食事をとらせるための報知を、介助者に対して実行する。この場合、介助者は被介助者Bのための動作を実行中となるため、サポート情報出力部112は、当該動作が完了するまで、介助者Aの食事介助シーケンスをサスペンドする処理を行う。
あるいはサポート情報出力部112は、被介助者Aが位置に付いたと判定した場合(ステップS603でYes)、同じ介助者が食事介助を担当する他のすべての被介助者が位置に付いたと判定されるまで、被介助者Aに関する食事介助シーケンスをサスペンドしてもよい。
図24Aは、所与の介助者に関する介助シーケンスの遷移を説明する状態遷移図である。例えばサポート情報出力部112は、被介助者Aと被介助者Bの食事介助を行う介助者をサポートするために、2つの食事介助シーケンスを実行する。その際、サポート情報出力部112は、所与の条件に基づいて状態遷移を行う。例えばサポート情報出力部112は、被介助者Aに関する食事介助シーケンスを実行している状態において、介助者による一単位の介助が完了したと判定した場合に、被介助者Aに関する食事介助シーケンスを停止し、被介助者Bに関する食事介助シーケンスを実行する状態に遷移する。
あるいはサポート情報出力部112は、各介助シーケンスで報知しようとするサポート情報の優先度を判定してもよい。例えばサポート情報出力部112が、被介助者Aは食事が完了したため食事結果を記憶するための報知(ステップS610)を行うと判定し、被介助者Bは食事が完了していないため、一口分の食事提供のための報知(ステップS608)を行うと判定したとする。食事結果の記録は、後片付けを行うまでであれば任意のタイミングで実行できるのに対して、一口分の食事提供は、それを行わない限り被介助者Bの食事が完了しない。よってこの場合、サポート情報出力部112は、被介助者Bの食事介助シーケンスの実行を優先し、被介助者Aの食事介助シーケンスをサスペンドしてもよい。このようにしても、複数の被介助者を対象とした複数の介助シーケンスの間で、適切な状態遷移を実現することが可能になる。なお、複数の介助シーケンス間での状態遷移とは、実行中の介助シーケンスに対して、他の介助シーケンスが割り込みを掛けていると考えてもよい。
また、以上では2つの食事介助シーケンスが並列に実行される例を示したが、本実施形態の手法はこれに限定されない。図24Bは、本実施形態における介助シーケンス間の状態遷移を説明する他の図である。
図24Bに示すように、本実施形態では食事介助シーケンス、排泄介助シーケンス、移乗介助シーケンス、異常対応シーケンス等、種々のシーケンスが並列に実行される可能性がある。この場合、サポート情報出力部112は、図24Bに示した各介助シーケンスの間の遷移を制御してもよい。なお、図24Bでは、所与の種類の介助シーケンスから、他の種類の介助シーケンスへ遷移する際、スタンバイ状態を経由する例を示したが、各介助シーケンス間で直接遷移が行われてもよい。また図24Aに示したように、食事介助シーケンスの中に複数の介助シーケンスが含まれてもよい。同様に、排泄介助シーケンス等の他の介助シーケンスが、複数の介助シーケンスを含むことも可能である。
例えば所与の介助者が被介助者Aに食事を提供しているときに、被介助者Aが異常な状態になったとする。異常な状態とは例えばむせた場合等である。この場合、介助者は被介助者Aの食事介助を停止し、異常対応をすることになる。例えばサポート情報出力部112は、図20のステップS501~S503と同様に、異常対応シーケンスの開始判定をバックグラウンドで実行しており、被介助者Aの異常を検出した場合に、異常対応シーケンスを開始する。なお、図20のステップS505~S506の処理が実行されてもよいが、被介助者Aの担当者は食事介助の担当者と同じであること、緊急性が高い可能性があることを考慮して、ステップS505~S506の処理が省略されてもよい。
これにより、実行すべき介助シーケンスに、異常対応シーケンスが追加される。そしてサポート情報出力部112は、現在実行している食事介助シーケンスをサスペンドし、異常対応シーケンスの実行を開始する。異常対応シーケンスによって異常の解消が確認された場合、サポート情報出力部112は、サスペンドしていた食事介助シーケンスを再開する等、他の介助シーケンスへの遷移を行う。
あるいは、所与の介助者が被介助者Aに食事を提供しているときに、被介助者Aがトイレに行きたくなる場合もある。この場合、実行すべき介助シーケンスに、排泄介助シーケンスが追加される。また、被介助者AのADLやトイレの位置等によっては、移乗介助シーケンスが必要となる場合もある。例えばサポート情報出力部112は、食事介助シーケンスをサスペンドし、まずトイレに移動させるための移乗介助シーケンスを実行し、次に排泄介助シーケンスを実行し、完了後にサスペンドしていた食事介助シーケンスを再開する。
必要な介助が変化する要因には、被介助者の発意によるもの、被介助者の体調によるもの、認知症などの病気によるもの、薬によるもの、環境によるもの、季節によるもの、外的要因によるもの、その日の介護進捗と予定との乖離によるもの等、種々の要因が考えられる。例えばサポート情報出力部112は、これらの要因を検出する処理を行い、検出した要因と、現在実行している介助シーケンスに基づいて、遷移先となる介助シーケンスを決定する処理を行ってもよい。
このように、サポート情報出力部112が、複数の介助シーケンスを並列に実行すること、及び、当該複数の介助シーケンス間での状態遷移を制御することによって、種々の状況に適切に対応できる。例えば上述したように、介助者と被介助者が1対多の場合であっても、実行する介助やその順序の決定をサポートできる。介助者の負担軽減が可能であるため、被介助者の誤嚥、転倒等のインシデントのリスクを軽減できる。また所与の介助実行中に、突発的に他の介助が必要となる場合にも、介助者がそのときにすべき介助を適切にサポートできるため、介助者の負担軽減、及び被介助者のリスク軽減が可能になる。
<ユーザによるデータ追加>
以上では、学習部114によってサポート情報出力用NN122が作成されるものとして説明を行った。例えば、情報処理装置の提供者が、あらかじめ学習用に所与の介護施設等を選択し、当該介護施設等からのデータを用いてサポート情報出力用NN122を作成してもよい。あらたに情報処理装置が提供するサービスを利用する介護施設が追加される場合、例えば既存のサポート情報出力用NN122が共通に用いられる。
ただし本実施形態の手法はこれに限定されず、介護施設等のユーザによって新たに訓練データが追加され、当該訓練データを用いて追加の機械学習が実行されてもよい。
例えば、複数の介護施設でサポート情報出力用NN122が共通である状態は維持しつつ、各介護施設からのデータをまとめて機械学習に用いてもよい。この場合、複数の介護施設から訓練データを収集できるため、訓練データの数を多くしやすいという利点がある。
あるいは、介護施設ごとに追加の機械学習が実行されてもよい。この場合、介護施設ごとにサポート情報出力用NN122が更新されていく。即ち、サポート情報出力用NN122を対象となる介護施設に特化したものとすることが可能になる。
図25Aは、例えば携帯端末装置210の表示部214に表示される画面の例である。図17と比較した場合、データ追加のためのオブジェクトOB4が追加されている。介助者がオブジェクトOB4の選択操作を行った場合、図25Bの画面に遷移する。
図25Bでは、訓練データを追加する対象となるサポート情報の名称を表示する領域RE1と、被介助者ID、介助者ID、出力データを入力可能な領域RE2を含む。被介助者IDは、被介助者を特定する情報である。介助者IDは、介助者を特定する情報である。出力データとは、サポート情報出力用NN122の出力に対応する情報である。図25Bではオムツの交換タイミングを対象としているため、出力データとして時刻が用いられる例を示している。ただし、出力データの形式はサポート情報の種類に応じて種々の変形実施が可能であり、画像であってもよいし、音声であってもよいし、数値であってもよいし、真偽を表す2値データであってもよいし、他の形式であってもよい。
図25Bの例では、介助者IDがabcdeである介助者が、被介助者IDが12345である被介助者の排泄介助を行った際に、オムツの交換タイミングとして2021/MM/DD hh:mm:ssとの時刻が適切であると判定したことを表している。また介助者の操作とは別に、オムツの交換タイミングに対応する入力データは、介護施設において取得されている。即ち、入力データと、2021/MM/DD hh:mm:ssという出力データを対応付けたデータセットは、オムツの交換タイミングを出力するサポート情報出力用NN122の訓練データとなり得る。
ただし、本実施形態では、熟練の介助者の暗黙知をデータ化すること、介助者の熟練度によらず適切な介助を行うことを想定している。そのため、所与の介助者の入力によって上記のデータセットが取得されたとしても、それが正のデータであるか、負のデータであるかは不明である。正のデータとは、入力データに対して適切な正解データが対応付けられたデータセットを表し、負のデータとは、入力データに対して不適切な正解データが対応付けられたデータセットを表す。
よって学習部114は、例えば介助者IDと、介助者の熟練度を対応付ける対応付け情報を保持していてもよい。熟練度は、介護施設の管理者が手動で入力してもよいし、経験年数、保有資格、過去の介護履歴等に基づいて自動的に判定されてもおい。学習部114は、熟練度の高い介助者によるデータセットを正のデータとし、熟練度に低い介助者によるデータセットを負のデータとする。
あるいは、熟練者による介助であっても、マニュアル通りの介助を行った場合と、自らの勘で介助のやり方を調整した場合とが考えられる。熟練者の暗黙知は、当該熟練者が勘に従って行動した場合に用いられている蓋然性が高い。よって図25Bに示すように、表示画面の領域RE2は、勘を用いたか否かを入力可能であってもよい。介助者は、例えばオムツの交換タイミングを判定する際に、勘を使ったか否かを領域RE2に入力する。学習部114は、対応する入力が「yes」である場合のデータセットを、正のデータとして利用する。
訓練データを取得した後の学習処理については、図8を用いて上述した例と同様であるため詳細な説明は省略する。図25Bの例であれば、オムツの交換タイミングを出力するサポート情報出力用NN122が更新されることによって、より精度の高い交換タイミングを出力することが可能になる。なお、以上ではオムツの交換タイミングに関する例を説明したが、訓練データの追加は、他のサポート情報についても同様に可能である。
<カスタムサポート情報>
また以上では、出力可能なサポート情報として図43~図45を例示した。ただし、以上の説明からも分かるように、介助において求められるサポートは多種多様であるし、介護施設に応じて、あるいは介助者に応じて、必要なサポートも異なる可能性がある。そのため、既存のサポート情報には含まれない種類のサポート情報が必要となる場合が考えられる。よって本実施形態では、介助者が任意のカスタムサポート情報を追加可能であってもよい。
例えば図25Bにおいて、領域RE1に表示されるサポート情報の名称は固定ではなく、介助者が任意に編集可能であってもよい。介助者は、例えば「XXXXをするタイミング」といったテキストを用いて、所望のカスタムサポート情報の名称を入力する。「XXXX」は、例えば介助者が実行する具体的な介助行動を表すテキストである。また介助者は、「XXXX」に対応する介助行動を行った場合に、介助者ID、被介助者ID、出力データ、勘を使ったか否か、等を入力する。これにより、「XXXXをするタイミング」を出力するサポート情報出力用NN122の訓練データの一部として、出力データと、当該出力データが正のデータか負のデータかを表す情報が取得される。
さらに情報処理装置は、訓練データのうちの入力データを特定するための画面を、携帯端末装置210の表示部214に表示する制御を行ってもよい。図25Cは、入力データ特定用の表示画面の例である。図25Cに示す画面は、カスタムサポート情報の名称を表示する領域RE3と、対象の介護施設に配置済であるデバイスの名称、及び当該デバイスによって取得可能な入力データの名称が選択可能な領域RE4を含む。
例えば眠りスキャンとは、例えば図2Dに示したセンシング装置450であって、心拍数や呼吸数や活動量を検出可能である。介助者は、デバイスで取得可能なデータのうち、カスタムサポート情報を求める際の入力データとして使用したいデータを選択する。図25Cは、介助者が、眠りスキャンによる呼吸数、及び、ベッドサイドに設けられたカメラの画像を入力データとして使用し、パルスオキシメータの出力は入力データとして使用しないという選択をした例を示している。
図25Cに示す画面を用いることで、カスタムサポート情報の名称と、当該カスタムサポート情報の出力に用いられる入力データが対応付けられる。この対応付けを表す対応付け情報は、サーバシステム100に送信され、記憶部120に記憶される。
サーバシステム100の記憶部120には、対象の介護施設から収集した時系列の呼吸数、及び、時系列のベッドサイドのカメラ画像が蓄積されている。よって学習部114は、図25Bを用いて取得された出力データに対応する呼吸数及びカメラ画像を、入力データとして抽出する。例えば、サーバシステム100は、図25Bに基づく出力データの取得タイミングを保持しておき、当該取得タイミングに基づいて設定される所定期間の呼吸数及びカメラ画像を記憶部120から読み出す。そして学習部114は、読み出した入力データと出力データとを対応付けた訓練データに基づいて、カスタムサポート情報を出力するためのサポート情報出力用NN122の学習処理を行う。
また図25Cに示すように、携帯端末装置210の表示部214には学習開始操作を行うためのオブジェクトOB5が表示されてもよい。介助者がオブジェクトOB5の選択操作を行ったことが検出された場合に、学習部114は上記の学習処理を行う。これにより、カスタムサポート情報を出力するサポート情報出力用NN122が新たに作成される。なお学習処理については上述した例と同様であるため、詳細な説明は省略する。また、カスタムサポート情報の機械学習では、入力データと出力データを対応付けた訓練データが取得可能であればよく、ユーザインターフェイスは以上で説明したものに限定されない。
なおこの際のNNの構造は種々の変形実施が可能である。図26は、汎用的なNNの構造例を示す図である。図26に示すNNは、画像データを入力として特徴量を抽出するCNN1と、音声データを入力として特徴量を抽出するCNN2と、テキストデータを入力として特徴量を抽出するベクトル変換NNと、他のセンサ情報を入力として特徴量を抽出するCNN3とを含む。また図26のNNは、CNN1、CNN2、ベクトル変換NN、及びCNN3からの出力を受け付け、カスタムサポート情報を出力するDNN(Deep Neural Network)を含む。
図26に示すNNは、画像、音声、テキスト、及びその他のセンサ情報を入力として受付可能である。カスタムサポート情報の入力データは、例えば図25Cに示したように多様なパターンが考えられるが、いずれのパターンであっても、入力データを適切に受け付けることが可能である。なお、画像データが入力データとして選択されていない場合、CNN1の入力が0として扱われる。音声データ、テキストデータ、他のセンサ情報が入力データとして選択されない場合も同様であり、CNN2、ベクトル変換NN、CNN3のうち対応するNNの入力が0となる。
図25Dは、機械学習が完了した後に、携帯端末装置210の表示部214に表示される画面の例である。図25Dの表示画面は、例えば学習処理において、バリデーションデータを用いて取得された正解率を表示する。また図25Dの例では、この学習結果を利用して、カスタムサポート情報の出力を行うか否かについて、介助者の選択が可能になっている。例えば、「適用しますか」との問いに対して、介助者がyesを選択した場合、カスタムサポート情報の出力が可能になる。例えば、図17において上述した例と同様に、「XXXXをするタイミング」というカスタムサポート情報をアクティブに設定することによって、カスタムサポート情報が出力されるようになる。一方、介助者がnoを選択した場合、カスタムサポート情報の出力は行われない。
また、正解率が低いためそのまま採用できないが、対象のカスタムサポート情報は重要であるため利用したい、と介助者が考える可能性もある。この場合、情報処理装置の管理者、提供者に解析処理を依頼可能であってもよい。例えば、「解析を依頼しますか」との問いに対して、介助者がyesを選択した場合、サーバシステム100側でカスタムサポート情報を出力するサポート情報出力用NN122の変更処理が実行される。
サーバシステム100の学習部114は、例えば元々の正解率が所定閾値以下である場合、NNの構造を変更することによって、正解率が向上するかを試行してもよい。図26に示したNNは、上述したように汎用性を考慮した構成であるため、よりカスタムサポート情報に特化した構造とすることによって、正解率が向上する可能性があるためである。なお元々の正解率が所定閾値を超えている場合、学習部114はサポート情報出力用NN122の変更処理をスキップしてもよい。
例えば、図10に示したようにサポート情報出力用NN122として互いに構造の異なる複数のNNが存在する場合に、学習部114は、当該複数のNNをいくつかのクラスに分類してもよい。
図27は、NNの分類処理を説明する図である。例えば学習部114は、出力であるサポート情報の名称を表すテキストを用いたテキストマイニング処理を行うことによって、n次元特徴量を求め、当該n次元特徴量に基づくクラスタリングを行う。なお説明の便宜上、図27では2次元の特徴量平面を図示しているが、nは3以上であってもよい。例えばサポート情報出力用NN122のうち、「オムツの交換タイミング」を出力するNNを対象とする場合、「オムツ」、「交換」、「タイミング」等のワードが抽出され、抽出結果に基づいて「オムツの交換タイミング」を出力するNNのn次元特徴量が求められる。
また、クラスタリング手法はテキストマイニング処理に限定されず、学習部114は、ロジステック回帰分析等の分析処理を行うことによって、複数のNNをクラスタリングしてもよい。また学習部114は、図10に示す複数のNNの一部に対して、人手でクラスタリング結果を付与し、その結果を用いて残りのNNのクラスタリングを行ってもよい。このようにすれば、クラスタリング処理の精度向上が可能になる。
図27の例では、サーバシステム100が保持する複数のNNのうち、NN1~NN3はクラス1に分類され、NN4~NN7はクラス2に分類され、NN8~NN10はクラス3に分類された。また学習部114は、カスタムサポート情報の名称に基づいて同様にn次元特徴量を求めることによって、いずれのクラスに属するかを判定する。例えば学習部114は、「XXXXをするタイミング」というカスタムサポート情報の名称から、「XXXX」や「タイミング」等のワードを抽出し、抽出結果に基づいて、カスタムサポート情報に対応するn次元特徴量を求める。学習部114は、カスタムサポート情報のクラスタリング結果に基づいて、学習に用いるNNの構造を決定する。
例えば図27に示すように、カスタムサポート情報がクラス1に分類されたとする。この場合、学習部114は、NN1~NN3の何れかを選択し、選択したNNの構造と、上述したカスタムサポート情報用の訓練データを用いて、カスタムサポート情報用のNNを作成する。この際、元のNNの構造のみが用いられ、重みのすべてが新たに演算されてもよい。あるいは、元のNNの重みの一部をそのまま用いる転移学習が行われてもよい。例えば、学習部114は、NN1~NN3のそれぞれの構造と、カスタムサポート情報用の訓練データを用いて機械学習を行い、学習済モデルの正解率を求める。そして学習部114は、最も高い正解率を図25Dと同様に介助者に提示し、適用するか否かを入力させる。介助者がyesと応答した場合、対応するサポート情報出力用NN122が記憶部120に記憶され、カスタムサポート情報の出力が可能になる。
なお、追加で機械学習を行う場合、訓練データの蓄積期間、換言すれば、解析対象となるデータの取得期間と、被介助者のADLの関係が重要となる。例えば、自立して行動が可能であった被介助者が、転倒によって骨折し、車椅子による介助が必要になったとする。このようにADLが大きく変化した場合、変化前と変化後で、その被介助者に適した介助が大きく異なる。そのため、例えばADL変化前の訓練データに基づく学習結果は、ADL変化後には有用でない可能性がある。
よって図25Cには不図示であるが、例えば学習開始操作を行う際に、入力データの種類の入力だけでなく、解析期間の入力が可能であってもよい。介助者は、対象となる被介助者のADLが現在と同程度であると考えられる期間を指定する。このようにすれば、学習結果であるサポート情報出力用NN122は、現在の被介助者のADLに対応した内容となるため、適切な介助のサポートが可能になる。また、サーバシステム100は、例えば入力データの1つとして、被介助者のADLを収集することが想定される。そのため、学習開始操作が行われた際に、学習部114が対象となる被介助者のADLの時系列変化を取得し、当該ADLの時系列変化に基づいて、解析期間を自動的に設定してもよい。
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また情報処理システム、サーバシステム、携帯端末装置等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。