以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における被監視者監視システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Obを監視するものであり、端末装置と、前記端末装置と通信可能に接続される被監視者監視装置とを備える。この被監視者監視システムにおける被監視者監視装置は、被監視者Obに関わる所定のイベント(事象)(例えば対処が必要な所定のイベント)の内容を表すイベント情報、および、前記イベントに関わる被監視者Obの画像を収容した、前記イベントを通知するためのイベント通知通信信号を、前記端末装置へ通知する。より具体的には、この被監視者監視装置は、通信を行う通信部と、画像を取得する画像取得部と、前記画像取得部で取得した画像に基づいて前記被監視者が自立できるか否かを判定する自立判定処理部と、前記自立判定処理部で前記被監視者が自立できないと判定された場合に、警告を表す警告情報を収容した警告通知通信信号を前記端末装置へ前記通信部で送信する警告通知処理部とを備える。このような被監視者監視装置は、1個の装置で一体に構成されて良いが、本実施形態では、被監視者監視装置は、センサ装置と、前記センサ装置および前記端末装置それぞれと通信可能に接続される管理サーバ装置とを備えることで、2種類の各装置で別体に構成される。このセンサ装置は、被監視者Obに関わる前記所定のイベントを検知して前記管理サーバ装置へ通知(報知、送信)する。前記管理サーバ装置は、前記センサ装置から前記通知を受けると前記通知を前記センサ装置に対応付けられた所定の端末装置へ再通知(再報知、再送信)する。また、センサ装置は、撮像対象を撮像して生成した画像を時間的に連続して管理サーバ装置へ送信する。管理サーバ装置は、このセンサ装置から取得した画像に基づいて前記被監視者が自立できるか否かを判定し、前記被監視者が自立できないと判定された場合に、前記警告通知通信信号を前記端末装置へ送信する。なお、前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様であるので、以下の実施形態では、携帯端末装置を主に説明する。
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおける管理サーバ装置の構成を示す図である。図3(A)は、全体構成を示し、図3(B)は、第1態様の自立判定処理部223aの構成を示し、図3(C)は、第2態様の自立判定処理部223aの構成を示す。図4は、図3に示す前記管理サーバ装置に記憶されるサーバ側監視情報テーブルの構成を示す図である。図5は、図3に示す前記管理サーバ装置に記憶される装置間情報テーブルの構成を示す図である。図5(A)は、装置間情報テーブルのうちの通知先対応関係情報テーブルの構成を示し、図5(B)は、装置間情報テーブルのうちの通信アドレス対応関係情報テーブルの構成を示す。図6は、図3に示す前記管理サーバ装置に記憶されるサーバ側センサ情報テーブルの構成を示す図である。図7は、実施形態の被監視者監視システムにおける携帯端末装置の構成を示す図である。
実施形態における被監視者監視システムMSは、より具体的には、例えば、図1に示すように、1または複数のセンサ装置SU(SU−1〜SU−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA−1、TA−2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
被監視者監視システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知する装置である。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、端末装置SP、TAとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置である。このようなセンサ装置SUは、例えば、図2に示すように、撮像部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
SU音入出力部12は、音を入出力する回路である。すなわち、SU音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。SU音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する行動検知処理プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するSUストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、および、管理サーバ装置SVの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
SU制御処理部14は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる、対処が必要な所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信し、そして、自立性の判定のために、画像を時間的に連続して管理サーバ装置へ送信する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、行動検知処理部142、ナースコール処理部143およびセンサ側ストリーミング処理部(SUストリーミング処理部)144を機能的に備える。
SU制御部141は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。そして、本実施形態では、自立性の判定のために、SU制御部141は、撮像部11で得られた所定の時間間隔の画像を管理サーバ装置SVへ送信する。前記所定の時間間隔は、被監視者Obの移動軌跡を生成するために充分な時間長であり、例えば、0.5秒、1秒および2秒等である。なお、SU制御部141は、前記所定の時間間隔で生成した複数の画像を所定枚数纏めて管理サーバ装置SVへ送信しても良い。あるいは、センサ装置SUは、動画像を管理サーバ装置SVへ送信しても良い。
行動検知処理部142は、被監視者Obにおける、予め設定された所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、および、被監視者Obが倒れた転倒の4つの行動である。そして、行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための第1閾値Th1、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための第2閾値Th2、および、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための第3閾値Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。そして、行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出し、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出し、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
このように前記所定の行動を検知すると、行動検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、行動検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、行動検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、後述するように、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
ナースコール処理部143は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部143は、SU音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
SUストリーミング処理部144は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
図1には、一例として、4個の第1ないし第4センサ装置SU−1〜SU−4が示されており、第1センサ装置SU−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SU−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SU−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SU−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。そして、本実施形態では、管理サーバ装置SVは、複数のセンサ装置SUそれぞれからネットワークNWを介して画像を取得し、この取得した画像に基づいて前記被監視者が自立できるか否かを判定し、その結果、自立できないと判定された場合に、警告を表す警告情報を収容した警告通知通信信号を所定の端末装置SP、TAへ送信する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。
SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。本実施形態では、上述したように、自立性の判定のために用いられる画像は、センサ装置SUの撮像部11で生成され、管理サーバ装置SVは、この画像をネットワークNWを介してセンサ装置SUから取得するので、SV通信IF部21は、画像を取得する画像取得部の一例に相当する。なお、センサ装置SUと管理サーバ装置SVが一体に構成される場合には、撮像部11が画像を取得する画像取得部の一例に相当する。
SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSV監視処理プログラムや、SV通信IF部21で取得した画像に基づいて、被監視者Obが自立できるか否かを判定する自立判定処理プログラムや、前記自立判定処理プログラムで前記被監視者Obが自立できないと判定された場合に、警告を表す警告情報を収容した警告通知通信信号を前記所定の端末装置SP、TAへSV通信OF部21で送信する警告通知処理プログラム等の制御処理プログラムが含まれる。前記自立判定処理プログラムには、SV通信IF部21で取得した画像に基づいて所定時間内における総移動量を求め、この求めた総移動量に基づいて前記被監視者Obが自立できるか否かを判定する第1プログラム等が含まれる。なお、前記自立判定処理プログラムには、前記第1プログラムに代え、あるいは、追加して、SV通信IF部21で取得した画像に基づいて移動速度を求め、この求めた移動速度に基づいて前記被監視者Obが自立できるか否かを判定する第2プログラムが含まれても良い。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定の事象の通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報や、被監視者Obの移動情報等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報、センサ情報および移動情報それぞれを記憶するために、SV記憶部23は、サーバ側監視情報記憶部(SV監視情報記憶部)231、装置間情報記憶部232、サーバ側センサ情報記憶部(SVセンサ情報記憶部)233および移動情報記憶部234を機能的に備える。
SV監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、SV監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号および後述の対応受付通知通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(イベント情報、本実施形態では起床、離床、転落、転倒およびナースコール)、受信時刻、対象画像(静止画および動画)および対処の有無が互いに対応付けて記憶される。
この監視情報は、本実施形態では、テーブル形式でSV監視情報記憶部321に記憶されている。この監視情報を登録するサーバ側監視情報テーブル(SV監視情報テーブル)MT−SVは、例えば、図4に示すように、各装置SU、SP、TAから受信した通信信号に収容されたセンサIDを登録するセンサIDフィールド2311と、前記受信した通信信号に収容されたイベント情報を登録するイベントフィールド(イベントフィールド)2312と、前記受信した通信信号の受信時刻を登録する受信時刻フィールド2313と、前記受信した通信信号に収容された前記静止画を登録する静止画フィールド2314と、ライブ動画の取得先として、前記受信した通信信号に収容されたセンサIDに対応するセンサ装置SUの通信アドレス(例えばIPアドレス等)を登録する動画フィールド2315と、前記受信した通信信号に収容されたイベント情報に対する対応の受付の有無を登録する対応フィールド2316とを備え、前記受信した通信信号ごと(各イベントごと)にレコードを備える。静止画フィールド2314には、例えば、静止画の画像データが登録されて良く、また例えば、静止画の画像データのファイル名が登録されて良い。対応フィールド2316には、後述するように、前記受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたか否かを表すフラグ(対応フラグ)が登録される。例えば、本実施形態では、対応フィールド2316には、前記受信した通信信号に収容されたイベント情報(イベントフィールド2312に登録されたイベント情報)に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたことを意味する対応フラグ「1」、あるいは、前記受信した通信信号に収容されたイベント情報に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けていないことを意味する対応フラグ「0」が登録される。なお、デフォルトでは、対応フィールド2316には、未受付を意味する対応フラグ「0」が登録される。なお、第1イベント通知通信信号に、前記所定の行動を検知した検知時刻または前記ナースコールを受け付けたナースコール受付時刻が収容されている場合には、受信時刻に代え、前記検知時刻または前記ナースコール受付時刻が登録されても良い。
装置間情報記憶部232は、前記装置間情報として、本実施形態では、センサ装置SUから送信された第1イベント通知通信信号等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと報知先(再報知先)である端末IDとの対応関係(通知先対応関係)、および、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係(通信アドレス対応関係)等を記憶するものである。端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。
これら通知先対応関係および通信アドレス対応関係は、それぞれ、本実施形態では、テーブル形式で装置間情報記憶部232に記憶されている。この通知先対応関係を登録する通知先対応関係情報テーブルATは、例えば、図5(A)に示すように、送信元のセンサ装置SUのセンサIDを登録する送信元フィールド2321と、送信元フィールド2321に登録されたセンサIDに対応するセンサ装置SUから通知された通信信号を送信する送信先の端末装置SP、TAの端末IDを登録する通知先フィールド2322とを備え、センサID(センサ装置SU)ごとにレコードを備える。前記通信アドレス対応関係を登録する通信アドレス対応関係情報テーブルDTは、例えば、図5(B)に示すように、端末装置SP、TAの端末IDを登録する端末IDフィールド2323と、端末IDフィールド2323に登録された端末IDに対応する端末装置SP、TAの通信アドレスを登録する通信アドレスフィールド2324とを備え、端末ID(端末装置SP、TA)ごとにレコードを備える。
なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。
SVセンサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
このようなセンサ情報は、本実施形態では、テーブル形式でSVセンサ情報記憶部233に記憶される。より具体的には、センサ情報を登録するセンサ情報テーブルST−SVは、例えば、図6に示すように、センサIDを登録するセンサIDフィールド2331と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所を登録する配設場所フィールド2332と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUによって監視される被監視者Ob(すなわち、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所に居る被監視者Ob)の被監視者名を登録する被監視者名フィールド2333と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SU、その配設場所およびその被監視者Obに関する備考を登録する備考フィールド2334とを備え、センサID(すなわち、センサ装置SU)ごとにレコードを持つ。
移動情報記憶部234は、被監視者Obに対する自立性の判定に用いるために、被監視者Obにおける移動に関する移動情報を前記被監視者Obに対応付けて記憶するものである。前記移動情報は、本実施形態では、例えば、被監視者Obにおける所定時間内の総移動量である。また例えば、前記移動情報は、被監視者Obにおける移動速度である。本実施形態では、被監視者Obが居る部屋RMには、センサ装置SUが配設されているので、移動情報は、被監視者Obが居る部屋RMに配設されているセンサ装置SUのセンサIDと対応付けることで、被監視者Obと対応付けられる。
このような移動情報は、本実施形態では、テーブル形式で移動情報記憶部234に記憶されている。この移動情報を登録する行動情報テーブルは、例えば、被監視者Obが居る部屋RMに配設されているセンサ装置SUのセンサIDを登録するセンサIDフィールド(被監視者IDフィールド)と、センサIDフィールドに登録されているセンサIDを持つセンサ装置SUの配設場所に居る被監視者Obの移動情報を登録する移動情報フィールドとを備え、センサID(被監視者Ob)ごとにレコードを備える。
SV制御処理部22は、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定の事象の通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、被監視者Obにおける自立性の判定結果に応じて警告を前記所定の端末装置SP、TAへ送信し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理するための回路である。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、サーバ側監視処理部(SV監視処理部)222、自立性判定処理部223および警告通知処理部224を機能的に備える。
SV制御部221は、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
SV監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ報知するものである。より具体的には、SV監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。そして、SV監視処理部222は、この受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通報先(再通報先、転送先、送信先)を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定した端末装置SP、TAへ第2イベント通知通信信号を送信する。この選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて実施される。前記第2イベント通知通信信号には、前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。この通信アドレスは、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて通信アドレス対応関係から選定(検索)される。
自立判定処理部223は、SV通信IF部21で取得した画像に基づいて、被監視者Obが自立できるか否かを判定するものである。より具体的には、自立判定処理部223は、各センサ装置SUそれぞれからネットワークNWを介してSV通信IF部21で各センサ装置SUで生成した各画像を取得し、各センサ装置SUごとに(すなわち、各被監視者Obごとに)、この取得した画像に基づいて被監視者Obが自立できるか否かを判定する。
このような自立判定処理部223として、例えば、図3(B)に示す第1態様の自立判定処理部223aや、図3(C)に示す第2態様の自立判定処理部223bが用いられる。
図3(B)に示す第1態様の自立判定処理部223aは、各センサ装置SUごとに(各被監視者Obごとに)、SV通信IF部21で取得した各画像に基づいて所定時間内におけるその各総移動量を求める移動量演算部2231aと、各センサ装置SUごとに移動量演算部2231aで求めた各総移動量に基づいて、各被監視者Obが自立できるか否かを判定する移動量自立判定部2232aとを備える。
前記所定時間は、例えば、過去6時間、過去1日、過去1週間等である。この場合では、各被監視者Obの総運動量を求めるために、移動量演算部2231aは、各センサ装置SUそれぞれから所定の時間間隔で各画像をネットワークNWを介してSV通信IF部21で取得する。前記所定の時間間隔は、被監視者Obの移動軌跡を生成するために充分な時間長であり、例えば、0.5秒、1秒および2秒等である。なお、前記所定の時間間隔で生成した複数の画像を所定枚数纏めてセンサ装置SUから、移動量演算部2231aは、取得しても良い。あるいは、動画像をセンサ装置SUから、移動量演算部2231aは、取得しても良い。そして、移動量演算部2231aは、各センサ装置SUから取得した各画像それぞれに対し、次の各処理を実行する。或る被監視者ID(すなわち或るセンサID)において、まず、移動量演算部2231aは、前回時に取得した画像と今回時に取得した画像との差分から動体領域を抽出し、この動体領域の重心位置を求める。そして、前回時の重心位置(前々回時に取得した画像と前回時に取得した画像に基づいて求めた前回時の重心位置)と今回時の重心位置との差を求め、前回時から今回時までの移動量を求め、この求めた今回時の移動量を前記或るセンサIDと対応付けて移動情報記憶部234に記憶する。そして、移動量演算部2231aは、前記或るセンサIDと対応付けられて移動情報記憶部234に記憶されている、今回時の時点(現在時点)よりも過去の所定時間内における移動量を取り出し、この取り出した移動量の総和を求める。これによって、前記或るセンサIDについて、所定時間内における当該被監視者Obの総移動量が求められる。そして、前記或るセンサIDについて、移動量自立判定部2232aは、移動量演算部2231aで求めた総移動量に基づいて当該被監視者Obが自立できるか否かを判定する。より具体的には、移動量自立判定部223aは、移動量演算部2231aで求めた総移動量が予め設定された第1閾値以上である場合に、当該被監視者Obが自立できないと判定する。
疲労の蓄積は、所望の動作を行う際に、前記動作の失敗を誘引すると考えられる。そして、移動量が多ければそれだけ疲労が蓄積すると考えられるので、疲労が蓄積されている度合いは、所定時間内における総移動量で評価できる。第1態様では、総移動量に基づいて被監視者Obが自立できるか否かを判定するので、疲労が蓄積されている度合いで被監視者Obが自立できるか否かを判定できるから、第1態様の自立判定処理部233aを備える管理サーバ装置SVは、より適切に被監視者における自立の可否を判定できる。
図3(C)に示す第2態様の自立判定処理部223bは、各センサ装置SUごとに(各被監視者Obごとに)、SV通信IF部21で取得した各画像に基づいてその各移動速度を求める移動速度演算部2231bと、各センサ装置SUごとに移動速度演算部2231bで求めた各移動速度に基づいて、各被監視者Obが自立できるか否かを判定する移動速度自立判定部2232bとを備える。この移動速度は、上述のように求めたれる今回の移動量を、センサ装置SUから画像を取得する前記所定の時間間隔で除算することで求められる。そして、前記或るセンサIDについて、移動速度自立判定部2232bは、移動速度演算部2231bで求めた当該被監視者Obの移動速度に基づいて当該被監視者Obが自立できるか否かを判定する。より具体的には、移動速度自立判定部2232bは、移動速度演算部2231bで求めた当該被監視者Obの移動速度が予め設定された第2閾値以下である場合に、当該被監視者Obが自立できないと判定する。
遅い移動速度は、比較的短期では疲労の蓄積の結果、比較的長期では体力の衰えの結果であると考えられる。第2態様では、移動速度に基づいて被監視者が自立できるか否かを判定するので、疲労が蓄積されている度合いで被監視者が自立できるか否かを判定できるから、第2態様の自立判定処理部233bを備える管理サーバ装置SVは、より適切に被監視者における自立の可否を判定できる。
警告通知処理部224は、自立判定処理部223で被監視者Obが自立できないと判定された場合に、警告を表す警告情報を収容した警告通知通信信号を前記所定の端末装置SP、TAへ送信するものである。より具体的には、警告通知処理部224は、自立できないと判定された被監視者Obが居る部屋RMに配設されているセンサ装置SU(自立性の判定に用いた画像を送信したセンサ装置SU)に対応する通報先(再通報先、転送先、送信先)を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定した端末装置SP、TAへ警告通知通信信号を送信する。この警告通知通信信号には、前記警告情報、自立できないと判定された被監視者Ob(本実施形態では自立できないと判定された被監視者Obが居る部屋RMに配設されているセンサ装置SUのセンサID)が収容される。
なお、管理サーバ装置SVは、図3に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。なお、前記端末装置の一例としての固定端末装置SPは、携帯端末装置TAと同様に動作するが、本明細書では、前記端末装置の他の一例である携帯端末装置TAについて説明される。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。そして、本実施形態では、管理サーバ装置SVから警告通知通信信号を受信すると、携帯端末装置TAは、自立性に関する警告を報知する。このような携帯端末装置TAは、本実施形態では、例えば、図7に示すように、端末側通信インターフェース部(TA通信IF部)31と、端末側制御処理部(TA制御処理部)32と、端末側記憶部(TA記憶部)33と、端末側音入出力部(TA音入出力部)34と、端末側入力部(TA入力部)35と、端末側表示部(TA表示部)36と、端末側インターフェース部(TAIF部)37とを備える。
TA音入出力部34は、SU音入出力部12と同様に、TA制御処理部32に接続され、外部の音を取得して携帯端末装置TAに入力するための回路であって、TA制御処理部32の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。
TA入力部35は、TA制御処理部32に接続され、例えば、所定の操作を受け付け、携帯端末装置TAに入力する回路であり、例えば、所定の機能を割り付けられた複数の入力スイッチ等である。前記所定の操作には、例えば、ログインするためのIDの入力操作や、音声通話の要求操作およびその終了操作や、ライブでの動画の要求操作およびその終了操作や、前記通知されたイベントに関わる被監視者Obに対する例えば救命、看護、介護および介助等の対応(対処、応対)を実行する意思がある旨(“対応する”)の入力操作等の、監視する上で必要な各種操作等が含まれる。TA表示部36は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、TA入力部35から入力された所定の操作内容や、被監視者監視システムMSによって監視されている被監視者Obに対する監視に関する前記監視情報(例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等)等を表示する回路であり、例えばLCD(液晶ディスプレイ)および有機ELディスプレイ等の表示装置である。そして、本実施形態では、TA入力部35およびTA表示部36からタッチパネルが構成されている。この場合において、TA入力部35は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力デバイスである。このタッチパネルでは、TA表示部36の表示面上に位置入力デバイスが設けられ、TA表示部36に入力可能な1または複数の入力内容の候補が表示され、例えば看護師や介護士等のユーザ(監視者)が、入力したい入力内容を表示した表示位置を触れると、位置入力デバイスによってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として携帯端末装置TAに入力される。
TAIF部37は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA規格等の赤外線通信を行うインターフェース回路、および、USB規格を用いたインターフェース回路等である。
TA通信IF部31は、SU通信IF部15と同様に、TA制御処理部32に接続され、TA制御処理部32の制御に従って通信を行うための通信回路である。TA通信IF部31は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
TA記憶部33は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御するTA制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するTA監視処理プログラムや、TA音入出力部34等を用いることでセンサ装置SUとの間で音声通話を行う通話処理プログラムや、センサ装置SUから動画の配信を受け、前記配信を受けた動画をストリーミング再生でTA表示部36に表示するTAストリーミング処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータでは、自機の端末ID、TA表示部36に表示される画面情報、被監視者Obの前記監視情報およびセンサ装置SUに関するセンサ情報等の各プログラムを実行する上で必要なデータ等が含まれる。TA記憶部33は、例えばROMやEEPROM等を備える。TA記憶部33は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるTA制御処理部32のワーキングメモリとなるRAM等を含む。これら監視情報およびセンサ情報それぞれを記憶するために、TA記憶部33は、端末側監視情報記憶部(TA監視情報記憶部)331および端末側センサ情報記憶部(TAセンサ情報記憶部)332を機能的に備える。
TA監視情報記憶部331は、前記監視情報を記憶するものである。本実施形態では、TA監視情報記憶部331は、前記監視情報として、管理サーバ装置SVから受信した第2イベント通知通信信号に収容されたセンサID、イベント情報(イベント情報、本実施形態では起床、離床、転落、転倒およびナースコール)、画像および動画のダウンロード先のセンサ装置SUの通信アドレス、ならびに、当該第2イベント通知通信信号の受信時刻および対処の有無等を互いに対応付けて記憶する。より具体的には、TA監視情報記憶部331は、図4に示すように、SV監視情報テーブルMT−SVと同様な端末側監視情報テーブル(TA監視情報テーブル)MT−TAに前記監視情報を記憶する。
TAセンサ情報記憶部332は、前記センサ情報を記憶するものである。TAセンサ情報記憶部332は、センサID、配設場所、被監視者名および備考を互いに対応付けて記憶する。より具体的には、TAセンサ情報記憶部332は、図6に示すように、SVセンサ情報テーブルST−SVと同様な端末側センサ情報テーブル(TAセンサ情報テーブル)ST−TAに前記センサ情報を記憶する。
TA制御処理部32は、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obの前記監視情報を受けて表示し、ナースコールの応答や声かけするための回路である。TA制御処理部32は、例えば、CPUおよびその周辺回路を備えて構成される。TA制御処理部32は、制御処理プログラムが実行されることによって、端末側制御部(TA制御部)321、端末側監視処理部(TA監視処理部)322、通話処理部323および端末側ストリーミング処理部(TAストリーミング処理部)324を機能的に備える。
TA制御部321は、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御し、携帯端末装置TAの全体制御を司るものである。
TA監視処理部322は、被監視者Obに対する監視に関する所定の情報処理を実行するものである。より具体的には、TA監視処理部322は、センサ装置SUによって送信された第1イベント通知通信信号、に起因して管理サーバ装置SVによって送信された第2イベント通知通信信号を受信した場合に、この受信した第2イベント通知通信信号に収容された各情報(各データ)に基づき、被監視者Obの監視情報をTA監視情報記憶部331に記憶(記録)する。TA監視処理部322は、この受信した第2イベント通知通信信号に収容された各情報に応じた画面をTA表示部36に表示する。そして、TA監視処理部322は、TA入力部35から所定の入力操作を受け付けると、その入力操作に応じた所定の処理を実行する。
そして、本実施形態では、TA監視処理部322は、管理サーバ装置SVから警告通知通信信号を受信すると、自立性に関する警告を報知する。例えば、TA音入出力部34から所定の警告音や警告メッセージ等を発することで、TA監視処理部322は、自立性に関する警告を報知する。前記警告メッセージには、警告にかかる被監視者Obの名前が含まれて良い。また例えば、TA表示部36に警告画面を表示することで、TA監視処理部322は、自立性に関する警告を報知する。前記警告画面には、警告にかかる被監視者Obの名前が含まれて良い。
通話処理部323は、TA音入出力部34等を用いることでセンサ装置SUとの間で音声通話を行うものである。より具体的には、例えば、通話処理部323は、TA音入出力部34等を用い、第2イベント通知通信信号の送信の原因となった第1イベント通知通信信号を管理サーバ装置SVへ送信した送信元のセンサ装置SUとの間で例えばVoIPによって音声通話を行う。
TAストリーミング処理部324は、センサ装置SUから動画の配信を受け、前記配信を受けた動画をストリーミング再生でTA表示部36に表示するものである。
このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態の動作について説明する。図8は、図2に示す前記センサ装置の動作を示すフローチャートである。図9は、図3に示す前記管理サーバ装置の動作を示すフローチャートである。図10は、図7に示す前記携帯端末装置の動作を示すフローチャートである。図11は、図7に示す携帯端末装置に表示される待受け画面の一例を示す図である。図12は、図7に示す携帯端末装置に表示される監視情報画面の一例を示す図である。図13は、図7に示す携帯端末装置に表示されるナースコール受付画面の一例を示す図である。
上記構成の被監視者監視システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、行動検知処理部142、ナースコール処理部143およびSUストリーミング処理部144が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部21には、SV制御部211、SV監視処理部222、自立判定処理部223および警告通知処理部224が機能的に構成される。そして、携帯端末装置TAでは、その制御処理プログラムの実行によって、TA制御処理部32には、TA制御部321、TA監視処理部322、通話処理部323およびTAストリーミング処理部324が機能的に構成される。
まず、センサ装置SUの動作について説明する。センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作を検知し、また、ナースコールの受付の有無を判定している。
図8において、まず、センサ装置SUは、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する(S11)。
次に、センサ装置SUは、SU制御処理部14の行動検知処理部142によって、被監視者Obにおける所定の行動を検知する行動検知処理を前記処理S11で取得した対象画像に基づいて実行する(S12)。より具体的には、行動検知処理部142は、起床の成否を判定し、離床の成否を判定し、転落の成否を判定し、そして、転倒の成否を判定する。
次に、センサ装置SUは、行動検知処理部142によって、前記行動検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。この判定の結果、前記所定の行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行し、一方、前記所定の行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S15を実行する。
この処理S14では、処理S12および処理S13で検知した所定の行動を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、行動検知処理部142によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、行動検知処理部142は、自機のセンサID、前記所定のイベント(ここでは、起床、離床、転落および転倒のうちの1または複数)および前記対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
前記処理S15では、センサ装置SUは、ナースコール処理部143によって、ナースコールを受け付けているか否かを判定する。すなわち、図8に示す処理S11ないし処理S16は、各フレームごとに、あるいは、数フレームおきに、繰り返し実行されるが、前回における処理S15の実行から今般における処理S15の実行までの間に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、今回の本処理を終了し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S16を実行した後に、今回の本処理を終了する。
この処理S16では、処理S15でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ報知するために、センサ装置SUは、ナースコール処理部143によって、ナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部143は、自機のセンサIDおよびナースコール受付情報を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
被監視者Obにおける所定の行動の検知やナースコールの受付それぞれに関し、センサ装置SUは、以上のように動作している。
その一方で、センサ装置SUは、管理サーバ装置SVが移動情報の生成に使用するために、自機のセンサIDおよび撮像部11で撮像した画像を収容した通信信号(移動情報用画像通知通信信号)を管理サーバ装置SVへ送信している。
次に、管理サーバ装置SVの動作について説明する。一方、図9において、管理サーバ装置SVは、SV制御処理部22のSV制御部221によって、SV通信IF部21で通信信号を受信したか否かを判定する(S21)。この判定の結果、通信信号を受信していない場合(No)には、管理サーバ装置SVは、処理をS21に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、管理サーバ装置SVは、次の処理S22を実行する。すなわち、管理サーバ装置SVは、通信信号の受信を待ち受けている。
処理S22では、管理サーバ装置SVは、SV制御部221によって、この受信した通信信号の種類を判定する。この判定の結果、管理サーバ装置SVは、前記受信した通信信号が第1イベント通知通信信号である場合(第1イベント通知)には、処理S23を実行した後に処理S26を実行し、前記受信した通信信号が移動情報用画像通知通信信号である場合(移動情報用画像通知)には、処理S24を実行した後に処理S26を実行し、そして、前記受信した通信信号がこれら第1イベント通知通信信号および移動情報用画像通知通信信号ではない場合(その他)には、処理S25を実行した後に処理S26を実行する。
処理S23では、管理サーバ装置SVは、SV制御処理部22のSV監視処理部222によって、処理S21でセンサ装置SUから受信した第1イベント通知通信信号を処理する。より具体的には、まず、SV監視処理部222は、処理S21でセンサ装置SUから受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。そして、SV監視処理部222は、処理S21で受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)する。次に、SV監視処理部222は、この選定した通知先の端末装置SP、TAへの第2イベント通知通信信号を送信する。この第2イベント通知通信信号には、上述したように、処理S21で受信した第1イベント通知通信信号に収容されていたイベント情報が前記所定の行動である場合には、前記処理S21で受信した第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。一方、処理S21で受信した第1イベント通知通信信号に収容されていたイベント情報がナースコールである場合には、前記処理S21で受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
処理S24では、管理サーバ装置SVは、SV制御処理部22の自立判定処理部223によって、処理S21で受信した移動情報用画像通知通信信号に収容された画像に基づいて、被監視者Obが自立できるか否かを判定し、結果に応じて、SV制御処理部22の警告通知処理部224によって、警告通知通信信号を前記所定の端末装置SP、TAへ送信する。
より具体的には、自立判定処理部223が第1態様の自立判定処理部223aである場合には、移動量演算部2231aは、処理S21で受信した移動情報用画像通知通信信号に収容された画像に基づいて、今回時の移動量を求め、この求めた今回時の移動量を前記処理S21で受信した移動情報用画像通知通信信号に収容されたセンサIDと対応付けて移動情報記憶部234に記憶する。そして、移動量演算部2231aは、前記処理S21で受信した移動情報用画像通知通信信号に収容されたセンサIDと対応付けられて移動情報記憶部234に記憶されている、今回時の時点(現在時点)よりも過去の所定時間内における移動量を取り出し、この取り出した移動量の総和を前記センサIDについての所定時間内における総移動量として求める。そして、移動量自立判定部2232aは、この移動量演算部2231aで求めた総移動量に基づいて当該被監視者Obが自立できるか否かを判定する。この判定の結果、前記移動量演算部2231aで求めた総移動量が第1閾値以上である場合、移動量自立判定部2232aは、当該被監視者Obが自立できないと判定し、前記移動量演算部2231aで求めた総移動量が第1閾値未満である場合、移動量自立判定部2232aは、当該被監視者Obが自立可能であると判定する。
一方、自立判定処理部223が第2態様の自立判定処理部223bである場合には、移動速度演算部2231bは、処理S21で受信した移動情報用画像通知通信信号に収容された画像に基づいて、今回時の移動速度を求める。なお、この移動速度を求める際に用いる移動量は、上述のように求められ、移動情報記憶部234に記憶される。そして、移動速度自立判定部2232bは、この移動速度演算部2231bで求めた移動速度に基づいて当該被監視者Obが自立できるか否かを判定する。この判定の結果、前記移動速度演算部2231bで求めた移動速度が第2閾値以下である場合、移動量自立判定部2232aは、当該被監視者Obが自立できないと判定し、前記移動速度演算部2231bで求めた移動速度が第2閾値を越えている場合、移動速度自立判定部2232aは、当該被監視者Obが自立可能であると判定する。
警告通知処理部224は、自立判定処理部223で被監視者Obが自立できないと判定された場合に、自立できないと判定された被監視者Obが居る部屋RMに配設されているセンサ装置SU(自立性の判定に用いた画像を送信したセンサ装置SU、この例では処理S21で受信した移動情報用画像通知通信信号の送信元のセンサ装置SU)に対応する通報先(再通報先、転送先、送信先)を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定した端末装置SP、TAへ警告通知通信信号を送信する。この警告通知通信信号には、前記警告情報および処理S21で受信した移動情報用画像通知通信信号の送信元のセンサ装置SUのセンサIDが収容される。
処理S25では、管理サーバ装置SVは、SV制御処理部22によって、処理S21で受信した通信信号に応じた適宜な処理を実行する。
そして、これら処理S23ないし処理S25それぞれの後に実行される前記処理S26では、管理サーバ装置SVは、SV制御処理部22によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、管理サーバ装置SVは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、管理サーバ装置SVは、処理を処理S21に戻す。
センサ装置SUから受信した第1イベント通知通信信号や移動情報用画像通知通信信号それぞれに関し、管理サーバ装置SVは、以上のように動作している。
次に、端末装置SP、TAの動作について説明する。ここでは、代表的に、携帯端末装置TAの動作について説明する。上述したように、電源が投入され、その稼働を始めると、携帯端末装置TAでは、例えば看護師や介護士等の監視者(ユーザ)によるログイン操作が受け付けられ、TA監視処理部322によって、自機宛の通信信号を待ち受ける待受け画面がTA表示部36に表示される。この待受け画面51は、例えば、図11に示すように、メニューバーを表示するメニューバー領域511と、待ち受け中であることを表すメッセージ(例えば「通知はありません」)およびアイコンを表示する待受けメイン領域512と、現在時刻を表示する時刻領域513と、今日の年月日曜日を表示する年月日曜日領域514と、今、当該携帯端末装置TAにログインしているユーザ名を表示するユーザ名領域515とを備える。
そして、図10において、携帯端末装置TAは、TA制御処理部32のTA制御部321によって、TA通信IF部31で通信信号を受信したか否かを判定する(S31)。この判定の結果、通信信号を受信していない場合(No)には、携帯端末装置TAは、処理をS31に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、携帯端末装置TAは、次の処理S32を実行する。すなわち、携帯端末装置TAは、通信信号の受信を待ち受けている。
処理S32では、携帯端末装置TAは、TA制御部321によって、この受信した通信信号の種類を判定する。この判定の結果、携帯端末装置TAは、前記処理S31で受信した通信信号が第2イベント通知通信信号である場合(第2イベント通知)には、次の処理S33を実行し、前記処理S31で受信した通信信号が警告通知通信信号である場合(警告通知)には、次の処理S38を実行し、前記処理S31で受信した通信信号が第2イベント通知通信信号および警告通知通信信号ではない場合(その他)には、処理S31で受信した通信信号に応じた適宜な処理を行う処理S37を実行した後に本処理を終了する。
処理S33では、携帯端末装置TAは、TA制御処理部32のTA監視処理部322によって、処理S31で管理サーバ装置SVから受信した第2イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をTA監視情報記憶部331に記憶(記録)する。
この処理S33の次に、TA監視処理部322は、処理S31で受信した第2イベント通知通信信号に収容された各情報に応じた画面をTA表示部36に表示し(S34)、次の処理S35を実行する。より具体的には、TA監視処理部322は、処理S31で受信した第2イベント通知通信信号に収容された前記イベント情報が前記所定の行動である場合には、例えば図12に示す監視情報画面52をTA表示部36に表示し、一方、処理S31で受信した第2イベント通知通信信号に収容された前記イベント情報が前記ナースコールである場合には、例えば図13に示すナースコール受付画面53をTA表示部36に表示する。
この監視情報画面52は、被監視者Obの監視に関する前記監視情報を表示するための画面である。前記監視情報画面52は、例えば、図12に示すように、メニューバー領域511と、処理S31で受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、処理S31で受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、処理S31で受信した第2イベント通知通信信号に収容された前記イベント情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、処理S31で受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備える。
被監視者名領域521にセンサ装置SUの配設場所および被監視者Obの名前を表示するために、処理S31で受信した第2イベント通知通信信号に収容されたセンサIDを検索キーに、センサ装置SUの配設場所および被監視者Obの名前がTAセンサ情報記憶部332から検索され、表示される。検知情報表示領域522には、処理S31で受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では、起床、離床、転落および転倒の各名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、TA記憶部33には、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図12に示す例では、検知情報表示領域522には、起床を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(応対、対処)を実施する意思が当該携帯端末装置TAのユーザにある旨を表す実施意思情報を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
前記ナースコール受付画面53は、ナースコールの受付を表示するための画面である。このナースコール受付画面53は、例えば、図13に示すように、メニューバー領域511と、被監視者名領域521と、検知情報表示領域522と、ナースコールを受け付けた旨を表すメッセージ(例えば「ナースコールです」)を表示するナースコール受付通知表示領域531と、「対応する」ボタン524と、「話す」ボタン525とを備える。このナースコール受付画面53では、検知情報表示領域522には、処理S31で受信した第2イベント通知通信信号の受信時刻(または前記ナースコールを受け付けた受付時刻)からの経過時間のみが表示される。
なお、ナースコール受付画面53は、「LIVEを見る」ボタン526をさらに備えても良い。
処理S38では、TA監視処理部322は、処理S31で受信した警告通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所の部屋RMに居る被監視者Obが自立できない旨の警告を報知し、本処理を終了する。より具体的には、例えば、TA音入出力部34から所定の警告音や警告メッセージ等を発することで、TA監視処理部322は、前記被監視者Obの自立性に関する警告を報知する。また例えば、TA表示部36に警告画面を表示することで、TA監視処理部322は、前記被監視者Obの自立性に関する警告を報知する。前記警告画面には、警告にかかる被監視者Obの名前が含まれて良い。なお、TA監視処理部322は、前記警告の報知後、本処理を終了せずに、処理S31で受信した警告通知通信信号に収容されたセンサIDを持つセンサ装置SUで得られる監視情報を表示する監視情報画面52をTA表示部36に表示して、次の処理S35を実行しても良い。
処理S35では、携帯端末装置TAは、TA制御処理部32によって、TA入力部35およびTA表示部36を備えて成るタッチパネルで入力操作を受け付けたか否かを判定する(S35)。この判定の結果、入力操作を受け付けていない場合(No)には、携帯端末装置TAは、処理を処理S35に戻し、一方、前記判定の結果、入力操作を受け付けている場合には、携帯端末装置TAは、次の処理S36を実行する。
この処理S36では、携帯端末装置TAは、TA制御処理部32によって、入力操作の内容に応じた適宜な処理を実行し、本処理を終了する。
例えば、携帯端末装置TAは、TA制御処理部32によって、前記タッチパネルを構成するTA入力部35から「対応する」ボタン524の入力操作を受け付けると(すなわち、前記対応意思を受け付けると)、まず、現在、TA表示部36に表示している被監視者Obの監視情報に、「対応する」を受け付けた旨を付してTA監視情報記憶部331に記憶する。より具体的には、TA制御処理部32は、TA監視情報記憶部331に記憶されているTA監視情報テーブルMT−TAにおいて、現在、TA表示部36に表示している被監視者Obの監視情報を登録しているレコード(ここでは前記処理S31で受信した第2イベント通知通信信号に収容されていた監視情報を登録したレコード)の対応フィールド3316に、対応の受付を表す対応フラグ「1」を登録する。そして、TA制御処理部32は、TA表示部36に表示している被監視者Obの監視情報に対応するセンサIDおよび「対応する」を受け付けた旨を表す情報(対応受付情報)を収容した通信信号(対応受付通知通信信号)を管理サーバ装置SVへ送信する。この対応受付通知通信信号を受信した管理サーバ装置SVは、SV制御処理部22によって、この受信した対応受付通知通信信号に収容されたセンサIDおよび対応受付情報を収容した通信信号(対応受付周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、TA表示部36に表示している被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
また例えば、携帯端末装置TAは、TA制御処理部32によって、「話す」ボタン525の入力操作を受け付けると、通話処理部323によって、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、TA制御処理部32によって、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、通話処理部323によって、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
また例えば、携帯端末装置TAは、TA制御処理部32によって、「LIVEを見る」ボタン526の入力操作を受け付けると、TAストリーミング処理部324によって、現在、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生でTA表示部36に表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、そして、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、TA制御処理部32によって、「LIVE終了」ボタンの入力操作を受け付けると、TAストリーミング処理部324によって、現在、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画をTA表示部36に表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
管理サーバ装置SVから受信した第2イベント通知通信信号に関し、携帯端末装置TAは、以上のように動作している。
以上説明したように、本実施形態における被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、これらの実装された被監視者監視方法は、自立判定処理部223および警告通知処理部224を備え、自立判定処理部223で被監視者Obが自立できないと判定された場合に、警告通知通信信号を所定の端末装置SP、TAへ送信する。このため、この警告通知通信信号を受信した端末装置SP、TAは、当該端末装置SP、TAを扱う監視者に、被監視者Obが自立できないと判定されたことを警告で報知できる。したがって、前記監視者は、前記警告の報知を受けることができるから、1人の被監視者Obにおける所望の動作の開始からその終了まで、前記1人の被監視者Obを見守り続ける必要が必ずしもないため、その間、他の業務ができる。よって、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、より業務効率を向上できる。
なお、上述の実施形態では、管理サーバ装置SVが自立判定処理部223(223a、223b)を備えたが、管理サーバ装置SVが自立判定処理部223を備える代わりに、センサ装置SUが自立判定処理部223を備えてもよい。この場合、センサ装置SUは、自立判定処理部223の結果を管理サーバ装置SVへ送信し、この管理サーバ装置SVは、その受信内容の自立判定結果に応じて警告通知処理部224によって警告を端末装置SP、TAへ通知する。
また、上述の実施形態では、管理サーバ装置SVが自立判定処理部223(223a、223b)および警告通知処理部224を備えたが、管理サーバ装置SVが自立判定処理部223および警告通知処理部224を備える代わりに、センサ装置SUが自立判定処理部223および警告通知処理部224を備えてもよい。この場合、センサ装置SUが送信したイベント情報がナースコールの第1イベント通知通信信号を管理サーバ装置SVが所定の端末装置SP、TAへ第2イベント通知通信信号で再通知したように、センサ装置SUが送信した警告通知通信信号(第1警告通知通信信号)を管理サーバ装置SVが所定の端末装置SP、TAへ第2警告通知通信信号で再通知しても良い。
また、上述の実施形態では、警告通知処理部224は、自立判定処理部223で被監視者Obが自立できないと判定された場合に、警告通知通信信号を前記所定の端末装置SP、TAへ送信したが、第2イベント通知通信信号の送信後、この第2イベント通知通信信号に対する対応受付通知通信信号を受信するまでの間だけ、この第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所に居る被監視者Obについての警告通知通信信号を前記所定の端末装置SP、TAへ送信しても良い。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。