以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
本被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。そして、前記行動検知部は、前記被監視者を、前記被監視者の上方から撮像した画像に基づいて所定の行動検知アルゴリズムで前記被監視者における所定の行動を検知する。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、前記センサ装置で用いられる設定領域および行動検知線を説明するための図である。なお、図3は、これら設定領域および行動検知線を入力するための入力画面の一例でもある。図4は、前記設定領域に対するカメラの位置関係を説明するための図である。図5は、前記センサ装置で用いられる前記カメラの位置関係を求める手法を説明するための図である。図5Aは、画像中心が設定領域(寝具領域)における行動検知線の手前に位置する場合を示し、図5Bは、画像中心が設定領域(寝具領域)内に位置する場合を示す。図6は、前記センサ装置で用いられるXn用の行動検知アルゴリズムを示すメインルーチンのフローチャートである。Xnは、カメラの位置関係であり、本実施形態では、直上、手前、奥、横、斜め前および斜め奥である。図7は、前記Xn用の行動検知アルゴリズムにおけるXn用の起床判定アルゴリズムを示すサブルーチンのフローチャートである。図8は、前記Xn用の行動検知アルゴリズムにおけるXn用の離床判定アルゴリズムを示すサブルーチンのフローチャートである。図9は、前記カメラの位置関係が直上である場合に用いられる直上用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。図9左側は、カメラで取得された画像の一例を示し、図9右側は、図9左側に示す画像から抽出された人体の領域(人体領域)を示す。図10は、前記カメラの位置関係が手前である場合に用いられる手前用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。図11は、前記カメラの位置関係が横である場合に用いられる横用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。図12は、前記カメラの位置関係が奥である場合に用いられる奥用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。図13は、前記カメラの位置関係が斜め前である場合に用いられる斜め前用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。図14は、前記カメラの位置関係が斜め奥である場合に用いられる斜め奥用の行動検知アルゴリズムで用いられる起床判定手法および離床判定手法を説明するための図である。これら図10ないし図14において、図の左側は、起床前を示し、図の中央は、起床後を示し、図の右側は、離床後を示す。図11ないし図14において、上段は、カメラで取得された画像の一例を示し、下段は、上段で示す画像から抽出された人体領域を示す。
前記被監視者監視装置をシステムとして実現したその一例の被監視者監視システムMSは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SU(SU−1〜SU−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このセンサ装置SUは、後にさらに詳述する。
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、SP、TAと通信する通信機能を備え、センサ装置SUから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、上述のセンサ装置SUについてさらに説明する。センサ装置SUは、例えば、図2に示すように、カメラ1と、音入出力部2と、制御処理部3と、通信インターフェース部(通信IF部)4と、記憶部5とを備える。
カメラ1は、制御処理部3に接続され、制御処理部3の制御に従って、画像(画像データ)を生成する装置である。カメラ1は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部3へ出力する。カメラ1は、本実施形態では、静止画および動画を生成する。このようなカメラ1は、被監視者Ob全体を撮像できる蓋然性が高いことから、被監視者Obの横臥する例えばベッド等の寝具BTにおける、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように、配設されることが好ましいが、実際には、部屋のサイズ(大きさ)や形状等に応じて、適宜な位置、例えば天井や壁の上方等に配設される。カメラ1は、監視対象である被監視者Obを、被監視者Obの上方から撮像した画像を取得する画像取得部の一例である。
このようなカメラ1は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このようなカメラ1は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。カメラ1の結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。なお、カメラ1は、赤外線サーモグラフィー装置であっても良い。
なお、センサ装置SUは、被監視者における所定の行動の1つとして微体動異常を検知するために、ドップラセンサをさらに備えても良い。このドップラセンサは、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサである。前記物体が動いている場合、いわゆるドップラ効果により前記物体の動いている速度に比例して反射波の周波数がシフトするため、送信波の周波数と反射波の周波数とに差(ドップラ周波数成分)が生じる。ドップラセンサ11は、このドップラ周波数成分の信号をドップラ信号として生成し、制御処理部3へ出力する。前記送信波は、超音波やマイクロ波等であって良いが、本実施形態では、マイクロ波である。マイクロ波は、着衣を透過して被監視者Obの体表で反射できるため、被監視者Obが衣服を着ていても体表の動きを検知でき、好ましい。そして、制御処理部3は、後述の行動検知処理部36によって、前記ドップラセンサのドップラ信号に基づいて被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を求め、その胸部の体動における周期の乱れや予め設定された閾値以下である前記胸部の体動における振幅を検知すると、前記微体動異常であると判定する。
音入出力部2は、制御処理部3に接続され、外部の音を取得してセンサ装置SUに入力するための回路であって、制御処理部3の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。音入出力部2は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。音入出力部2は、外部の音を表す電気信号を制御処理部3へ出力し、また、制御処理部3から入力された電気信号を音の音響振動に変換して出力する。
通信IF部4は、制御処理部3に接続され、制御処理部3の制御に従って通信を行うための通信回路である。通信IF部4は、制御処理部3から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部4は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部3が処理可能な形式のデータに変換して制御処理部3へ出力する。なお、通信IF部4は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
記憶部5は、制御処理部3に接続され、制御処理部3の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。
前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、画像中における所定の領域を設定領域として設定するための処理を行う領域設定処理プログラム、被監視者Obにおける所定の行動を検知するために予め記憶された複数の所定の行動検知アルゴリズムのうちの少なくとも1つに用いられる、前記画像中における所定の線を行動検知線として設定するための処理を行う行動検知線設定処理プログラム、前記設定領域に対するカメラ1の位置関係を求める位置関係演算プログラム、前記複数の行動検知アルゴリズムの中から位置関係演算プログラムで求めた位置関係に基づいて行動検知アルゴリズムを選択するアルゴリズム選択プログラム、前記アルゴリズム選択プログラムで選択した行動検知アルゴリズムでカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動を検知する行動検知処理プログラム、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、カメラ12で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、音入出力部2等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。前記各種の所定のデータには、例えば、前記設定領域および前記行動検知線等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。
これら前記設定領域、前記行動検知線および前記複数の行動検知アルゴリズムを記憶するために、記憶部5は、機能的に、設定領域記憶部51、行動検知線記憶部52および行動検知アルゴリズム記憶部53を備える。
設定領域記憶部51は、画像中における所定の領域を設定領域として記憶するものである。設定領域は、被監視者Obにおける所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる領域であり、本実施形態では、前記所定の行動は、被監視者Obの起床および離床であることから、前記起床の有無および前記離床の有無を検知するために、設定領域ARは、例えば、図3に4点PT1〜PT4で囲まれた領域として示すように、カメラ1で所在空間を撮像した画像中における例えばベッド等の寝具BTの領域である。
行動検知線記憶部52は、画像中における所定の線を行動検知線として記憶するものである。行動検知線は、被監視者Obにおける所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる線であり、本実施形態では、前記所定の行動は、被監視者Obの起床および離床であることから、前記起床の有無および前記離床の有無を検知するために、行動検知線ALは、例えば、図3に2点PT2、PT3の線分として示すように、寝具BTに対し入床および離床する、寝具BTの領域として設定された設定領域ARにおける1または複数の境界線である。
行動検知アルゴリズム記憶部53は、互いに異なる複数の行動検知アルゴリズムを設定領域ARに対する、前記画像を撮像したカメラ1の位置関係に対応付けて記憶するものである。
設定領域ARに対する前記カメラ1の位置関係は、本実施形態では、例えば、図4に示すように、設定領域ARを基準に分類されており、カメラ1が設定領域ARの直上に位置する直上PO1、カメラ1が設定領域ARの手前上方に位置する手前PO2、カメラ1が設定領域ARの奥上方に位置する奥PO3、カメラ1が設定領域ARの横上方に位置する横PO4、PO4、カメラ1が設定領域ARの斜め前上方に位置する斜め前PO5、PO5、および、カメラ1が設定領域ARの斜め奥上方に位置する斜め奥PO6、PO6である。これら直上PO1、手前PO2、奥PO3、横PO4、斜め前PO5および斜め奥PO6は、後述の基本位置関係でもある。
そして、互いに異なる複数の行動検知アルゴリズムは、本実施形態では、これら6個の直上PO1、手前PO2、奥PO3、横PO4、斜め前PO5および斜め奥PO6それぞれに対応して予め用意されており、前記複数の行動検知アルゴリズムは、前記カメラ1の位置関係が直上PO1である場合に用いられる直上用の行動検知アルゴリズム、前記カメラ1の位置関係が手前PO2である場合に用いられる手前用の行動検知アルゴリズム、前記カメラ1の位置関係が奥PO3である場合に用いられる奥用の行動検知アルゴリズム、前記カメラ1の位置関係が横PO4である場合に用いられる横用の行動検知アルゴリズム、前記カメラ1の位置関係が斜め前PO5である場合に用いられる斜め前用の行動検知アルゴリズム、および、前記カメラ1の位置関係が斜め奥である場合に用いられる斜め奥用の行動検知アルゴリズムを含む。
前記直上用の行動検知アルゴリズムは、例えば、図9に示すように、画像上における設定領域AR外の被監視者Obの第1面積S1、および、前記画像上における設定領域ARと被監視者Obとが重なった第2面積S2に基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。
前記手前用の行動検知アルゴリズムは、例えば、図10に示すように、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Waに基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。この距離Waは、行動検知線ALの外側にはみ出した被監視者Obの長さに相当する。
前記横用の行動検知アルゴリズムは、例えば、図11に示すように、画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3に基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。
前記奥用の行動検知アルゴリズムは、例えば、図12に示すように、画像上における設定領域ARと被監視者Obとが重なった第2面積S2に基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。
前記斜め前用の行動検知アルゴリズムは、例えば、図13に示すように、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Wa、および、前記画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3に基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。
前記斜め奥用の行動検知アルゴリズムは、例えば、図14に示すように、画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3に基づいて被監視者Obにおける所定の行動を検知するアルゴリズムである。
これら6個の前記直上用の行動検知アルゴリズム、前記手前用の行動検知アルゴリズム、前記奥用の行動検知アルゴリズム、前記横用の行動検知アルゴリズム、前記斜め前用の行動検知アルゴリズムおよび前記斜め奥用の行動検知アルゴリズムは、大略、同様の手順であり、Xnを直上、手前、奥、横、斜め前および斜め奥とすると(Xn=直上、手前、奥、横、斜め前、斜め奥)、図6ないし図8に示すフォローチャートで表すことができる。
より具体的には、Xn用の行動検知アルゴリズムでは、図6に示すように、先ず、画像から人体の領域(人体領域)が抽出され(S1n)、次に、Xn用の起床判定処理が実行され(S2n)、そして、Xn用の離床判定処理が実行される(S3n)。人体領域は、カメラ1で取得した画像から例えば背景差分法やフレーム間差分法等の手法を用いることで動体領域を抽出することで抽出される(動体領域=人体領域)。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部5に予め記憶され、カメラ1によって生成された画像と前記背景画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。前記フレーム差分法では、カメラ1によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。なお、逆に、Xn用の離床判定処理S3nが実行された後に、Xn用の起床判定処理S2nが実行されても良い。
Xn用の起床判定処理S2nでは、図7に示すように、まず、被監視者Obにおける起床に関する現在の状態が起床前か否かが判定される(S21n)。被監視者Obにおける起床に関する現在の状態は、記憶部5に記憶される。例えば、被監視者Obにおける起床に関する現在の状態は、起床に関する状態を表すフラグ(起床状態フラグ)によって記憶部5に記憶される。例えば、被監視者Obが起床前であると判定されている場合には、この起床状態フラグは、「0」とされ、被監視者Obが起床後であると判定されている場合には、この起床状態フラグは、「1」とされる。この判定の結果、起床前ではない場合、すなわち、起床後である場合(起床状態フラグ=1、No)には、このXn用の起床判定処理S2nが終了され、起床前である場合(起床状態フラグ=0、Yes)には、次の処理S22nが実行される。処理S22nでは、Xn用の起床判定条件を満たすか否かが判定される。この処理S22nは、Xnごとに後にさらに説明する。この判定の結果、Xn用の起床判定条件を満たす場合(Yes)は、起床が通知処理部37へ通知され(S23n)、被監視者Obにおける起床に関する現在の状態が起床後として記憶部5に記憶され(起床状態フラグ←1、S24n)、このXn用の起床判定処理S2nが終了される。一方、前記判定の結果、Xn用の起床判定条件を満たさない場合(No)は、被監視者Obにおける起床に関する現在の状態が起床前として記憶部5に記憶され(起床状態フラグ←0、S25n)、このXn用の起床判定処理S2nが終了される。
Xn用の離床判定処理S3nでは、図8に示すように、まず、被監視者Obにおける離床に関する現在の状態が離床前か否かが判定される(S31n)。被監視者Obにおける離床に関する現在の状態は、記憶部5に記憶される。例えば、被監視者Obにおける離床に関する現在の状態は、離床に関する状態を表すフラグ(離床状態フラグ)によって記憶部5に記憶される。例えば、被監視者Obが離床前であると判定されている場合には、この離床状態フラグは、「0」とされ、被監視者Obが離床後であると判定されている場合には、この離床状態フラグは、「1」とされる。この判定の結果、離床前ではない場合、すなわち、離床後である場合(離床状態フラグ=1、No)には、このXn用の離床判定処理S3nが終了され、離床前である場合(離床状態フラグ=0、Yes)には、次の処理S32nが実行される。処理S32nでは、Xn用の離床判定条件を満たすか否かが判定される。この処理S32nは、Xnごとに後にさらに説明する。この判定の結果、Xn用の離床判定条件を満たす場合(Yes)は、離床が通知処理部37へ通知され(S33n)、被監視者Obにおける離床に関する現在の状態が離床後として記憶部5に記憶され(離床状態フラグ←1、S34n)、このXn用の離床判定処理S3nが終了される。一方、前記判定の結果、Xn用の離床判定条件を満たさない場合(No)は、被監視者Obにおける離床に関する現在の状態が離床前として記憶部5に記憶され(離床状態フラグ←0、S35n)、このXn用の離床判定処理S3nが終了される。
次に、図9ないし図14を用いてXnごとに、Xn用の起床判定条件およびXn用の離床判定条件について説明する。Xn用の起床判定条件およびXn用の離床判定条件は、例えば、本実施形態では、画像上における設定領域AR外の被監視者Obの第1面積S1、画像上における設定領域ARと被監視者Obとが重なった第2面積S2、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3、および、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Waのうちの1または複数に基づく条件である。大略、前記第1面積S1が大きくなるに従って起床の発生が検知され、さらに大きくなるに従って離床の発生が検知される。大略、前記第2面積S2が小さくなるに従って起床の発生が検知され、さらに小さくなるに従って離床の発生が検知される。大略、前記第3面積S3が小さくなるに従って起床の発生が検知され、さらに小さくなるに従って離床の発生が検知される。そして、大略、前記距離Waが大きくなるに従って起床の発生が検知され、さらに大きくなるに従って離床の発生が検知される。
より具体的には、まず、直上用の行動検知アルゴリズムで用いられる直上用の起床判定条件は、図9に示すように、画像上における設定領域AR外の被監視者Obの第1面積S1が予め設定された第1閾値(直上用起床判定閾値)Th1を越えたか否かである。第1面積S1が第1閾値Th1を越えた場合(S1>Th1)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる。一方、第1面積S1が第1閾値Th1以下である場合(S1≦Th1)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる。第1面積S1は、例えば、処理S1nで抽出された人体領域のうち、設定領域AR外の人体領域における画素の総数を計数することで求められる。そして、直上用の行動検知アルゴリズムで用いられる直上用の離床判定条件は、図9に示すように、画像上における設定領域ARと被監視者Obとが重なった第2面積S2が予め設定された第2閾値(直上用離床判定閾値)Th2を越えたか否かである。第2面積S2が第2閾値Th2を越えていない場合、すなわち、第2面積S2が第2閾値Th2未満である場合(S2<Th2)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる。一方、第2面積S2が第2閾値Th2以上である場合(S2≧Th2)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる。第2面積S2は、例えば、処理S1nで抽出された人体領域のうち、設定領域ARと人体領域とが重なった領域における画素の総数を計数することで求められる。これら第1および第2閾値Th1、Th2は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
手前用の行動検知アルゴリズムで用いられる手前用の起床判定条件は、図10に示すように、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Waが予め設定された第3閾値(手前用起床判定閾値)Th3を越えたか否かである。距離Waが第3閾値Th3以上である場合(Wa≧Th3)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる(図10の中央参照)。一方、距離Waが第3閾値Th3を越えていない場合、すなわち、距離Waが第3閾値Th3未満である場合(Wa<Th3)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる(図10の左側参照)。距離Waは、例えば、処理S1nで抽出された人体領域のうち、床面に最も近い位置が被監視者Obの足先位置FPとされ、行動検知線ALとこの被監視者Obの足先位置FPとの間における、縦方向に沿う1ラインの画素の総数を計数することで求められる。そして、手前用の行動検知アルゴリズムで用いられる手前用の離床判定条件は、図10に示すように、前記距離Waが予め設定された第4閾値(手前用離床判定閾値)Th4を越えたか否かである。距離Waが第4閾値Th4以上である場合(Wa≧Th4)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる(図10の右側参照)。一方、距離Waが第4閾値Th4を越えていない場合、すなわち、距離Waが第4閾値Th4未満である場合(Wa<Th4)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる(図10の中央参照)。これら第3および第4閾値Th3、Th4は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
横用の行動検知アルゴリズムで用いられる横用の起床判定条件は、図11に示すように、画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3が予め設定された第5閾値(横用起床判定閾値)Th5を越えたか否かである。第3面積S3が第5閾値Th5以下である場合(S3≦Th5)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる(図11の中央参照)。一方、第3面積S3が第5閾値Th5を越えている場合(S3>Th5)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる(図11の左側参照)。第3面積S3は、例えば、処理S1nで抽出された人体領域のうち、第1境界線BL1と第2境界線BL2に挟まれた設定領域ARと人体領域とが重なった領域における画素の総数を計数することで求められる。そして、横用の行動検知アルゴリズムで用いられる横用の離床判定条件は、図11に示すように、前記第3面積S3が予め設定された第6閾値(横用離床判定閾値)Th6を越えたか否かである。第3面積S3が第6閾値Th6以下である場合(S3≦Th6)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる(図11の右側参照)。一方、第3面積S3が第6閾値Th6を越えている場合(S3>Th6)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる(図11の中央参照)。これら第5および第6閾値Th5、Th6は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
奥用の行動検知アルゴリズムで用いられる奥用の起床判定条件は、図12に示すように、画像上における設定領域ARと被監視者Obとが重なった第2面積S2が予め設定された第7閾値(奥用起床判定閾値)Th7を越えたか否かである。第2面積S2が第7閾値Th7以下である場合(S2≦Th7)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる(図12の中央参照)。一方、第2面積S2が第7閾値Th7を越えている場合(S2>Th7)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる(図12の左側参照)。そして、奥用の行動検知アルゴリズムで用いられる奥用の離床判定条件は、図12に示すように、前記第2面積S2が予め設定された第8閾値(奥用離床判定閾値)Th8を越えたか否かである。第2面積S2が第8閾値Th8以下である場合(S2≦Th8)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる(図12の右側参照)。一方、第2面積S2が第8閾値Th8を越えている場合(S2>Th8)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる(図12の中央参照)。これら第7および第8閾値Th7、Th8は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
斜め前用の行動検知アルゴリズムで用いられる斜め前用の起床判定条件は、図13に示すように、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Waが予め設定された第9閾値(第1斜め前用起床判定閾値)Th9を越えたか否か、および、前記画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3が予め設定された第10閾値(第2斜め前用起床判定閾値)Th10を越えたか否か、である。距離Waが第9閾値Th9以上であって、第3面積S3が第10閾値Th10以下である場合(Wa≧Th9かつS3≦Th10)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる(図13の中央参照)。一方、距離Waが第9閾値Th9を超えていない場合、すなわち、距離Waが第9閾値Th9未満であって、第3面積S3が第10閾値Th10を越えている場合(Wa<Th9かつS3>Th10)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる(図13の左側参照)。そして、斜め前用の行動検知アルゴリズムで用いられる斜め前用の離床判定条件は、図13に示すように、前記距離Waが予め設定された第11閾値(第1斜め前用離床判定閾値)Th11を越えたか否か、および、前記第3面積S3が予め設定された第12閾値(第2斜め前用離床判定閾値)Th12を越えたか否かである。距離Waが第11閾値Th11以上であって、第3面積S3が第12閾値Th12以下である場合(Wa≧Th11かつS3≦Th12)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる(図13の右側参照)。一方、距離Waが第11閾値Th11を超えていない場合、すなわち、距離Waが第11閾値Th11未満であって、第3面積S3が第12閾値Th12を越えている場合(Wa<Th11かつS3>Th12)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる(図13の中央参照)。これら第9ないし第12閾値Th9〜Th12は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
斜め奥用の行動検知アルゴリズムで用いられる斜め奥用の起床判定条件は、図14に示すように、前記画像上において、設定領域ARの前記横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3が予め設定された第13閾値(斜め奥用起床判定閾値)Th13を越えたか否か、である。第3面積S3が第13閾値Th13以下である場合(S3≦Th13)には、被監視者Obが起床したと判定され、被監視者Obにおける起床に関する現在の状態は、起床後とされる(図14の中央参照)。一方、第3面積S3が第13閾値Th13を越えている場合(S3>Th13)には、被監視者Obは起床していないと判定され、被監視者Obにおける起床に関する現在の状態は、起床前とされる(図14の左側参照)。そして、斜め奥用の行動検知アルゴリズムで用いられる斜め奥用の離床判定条件は、図14に示すように、前記第3面積S3が予め設定された第14閾値(斜め奥用離床判定閾値)Th14を越えたか否かである。第3面積S3が第14閾値Th14以下である場合(S3≦Th14)には、被監視者Obが離床したと判定され、被監視者Obにおける離床に関する現在の状態は、離床後とされる(図14の右側参照)。一方、第3面積S3が第14閾値Th14を越えている場合(S3<Th14)には、被監視者Obは離床していないと判定され、被監視者Obにおける離床に関する現在の状態は、離床前とされる(図14の中央参照)。これら第13および第14閾値Th13、Th14は、例えば、複数のサンプルを統計的に処理して経験的に予め設定される。
なお、上述の第1ないし第14閾値Th1〜Th14は、画像上での被監視者Obにおける大きさや行動速度を考慮して設定されても良い。
このような図6ないし図14を用いて説明した6個の前記直上用の行動検知アルゴリズム、前記手前用の行動検知アルゴリズム、前記奥用の行動検知アルゴリズム、前記横用の行動検知アルゴリズム、前記斜め前用の行動検知アルゴリズムおよび前記斜め奥用の行動検知アルゴリズムが行動検知アルゴリズム記憶部53に予め記憶される。
このような記憶部5は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部5は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM(Random Access Memory)等を含む。
制御処理部3は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、カメラ1によって被監視者Obをその上方から撮像した画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部3は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3は、前記制御処理プログラムが実行されることによって、制御部31、領域設定処理部32、行動検知線設定処理部33、位置関係演算部34、アルゴリズム選択部35、行動検知処理部36、通知処理部37、ストリーミング処理部38およびナースコール処理部39を機能的に備える。
制御部31は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
領域設定処理部32は、画像中における所定の領域を設定領域ARとして設定するための処理を行うものである。行動検知線設定処理部33は、前記画像中における所定の線を行動検知線ALとして設定するための処理を行うものである。
本実施形態では、制御処理部3は、固定端末装置SPまたは携帯端末装置TAから設定領域ARおよび行動検知線ALそれぞれの設定を要求する通信信号(設定要求通信信号)を通信IF部4で受信すると、カメラ1で取得した画像を収容した通信信号(設定画像通信信号)を通信IF部4で返信する。固定端末装置SPまたは携帯端末装置TAは、例えば、図3に示す設定領域ARおよび行動検知線ALを入力するための設定画面を表示する。前記設定画面には、前記領域設定画像通信信号に収容された画像が表示される。ユーザ(監視者および被監視者等)は、例えばマウス等のポインティングデバイスを用いて、あるいは、タッチパネルに対するタップ操作を用いて、前記設定画面に設定領域ARの各頂点PT1〜PT4および行動検知線ALの両端点PT2、PT3それぞれを入力する。なお、入力方法は、設定領域ARの各辺の入力や行動検知線ALの線の入力等であっても良い。設定領域ARおよび行動検知線ALを受け付けると、固定端末装置SPまたは携帯端末装置TAは、これら受け付けた設定領域ARおよび行動検知線ALを収容した通信信号(設定情報通信信号)をセンサ装置SUへ送信する。この設定情報通信信号を通信IF部4で受信すると、領域設定処理部32は、この受信した設定情報通信信号に収容された設定領域AR(4頂点PT1〜PT4)を取り出して記憶部5の設定領域記憶部51に記憶することで設定領域ARをセンサ装置SUに設定し、行動検知線設定処理部33は、この受信した設定情報通信信号に収容された行動検知線AL(両端点PT2、PT3)を取り出して記憶部5の行動検知線記憶部52に記憶することで行動検知線ALをセンサ装置SUに設定する。本実施形態では、通信IF部4および行動検知線設定処理部33は、行動検知線を外部から受け付けて前記記憶部に記憶する行動検知線受付部の一例に相当する。
なお、センサ装置SUは、図1に破線で示すように、入力部6および表示部7をさらに備えても良い。入力部6は、制御処理部3に接続され、例えば、被監視者Obを監視する上で必要な各種データをセンサ装置SUに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやマウス等である。表示部7は、制御処理部3に接続され、制御処理部3の制御に従って、入力部6から入力されたデータ等を表示する機器であり、例えばCRTディスプレイ、LCDおよび有機ELディスプレイ等の表示装置である。なお、入力部6および表示部7からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部6は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置である。このタッチパネルでは、表示部7の表示面上に位置入力装置が設けられ、表示部7に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容としてセンサ装置SUに入力される。このような入力部6および表示部7が備えられている場合に、制御処理部3は、例えば、図3に示す設定領域および行動検知線を入力するための設定画面を表示部7に表示し、入力部6によって設定領域ARおよび行動検知線ALを受け付けても良い。この場合、前記設定画面には、カメラ1で取得した画像が表示される。ユーザは、例えば入力部6としてのマウス等のポインティングデバイスを用いて、あるいは、入力部6および表示部7で構成されるタッチパネルに対するタップ操作によって、前記設定画面に設定領域ARの各頂点PT1〜PT4および行動検知線ALの両端点PT2、PT3それぞれを入力する。設定領域ARおよび行動検知線ALを受け付けると、領域設定処理部32は、この入力部6で受け付けた設定領域AR(4頂点PT1〜PT4)を記憶部5の設定領域記憶部51に記憶し、行動検知線設定処理部33は、この入力部6で受け付けた行動検知線AL(両端点PT2、PT3)を記憶部5の行動検知線記憶部52に記憶する。このような場合、入力部6および行動検知線設定処理部33は、行動検知線を外部から受け付けて前記記憶部に記憶する行動検知線受付部の他の一例に相当する。
位置関係演算部34は、設定領域ARに対するカメラ1の位置関係を求めるものである。本実施形態では、位置関係演算部34は、行動検知線ALを考慮して、設定領域ARに対する前記カメラ1の位置関係を求める。より具体的には、例えば、図5に示すように、位置関係演算部34は、画像中心CPが設定領域ARおよび行動検知線ALに対してどの位置に存在するかによって前記カメラ1の位置関係を求め、この求めた前記カメラ1の位置関係を記憶部5に記憶する。図5に示すように、行動検知線ALに沿う左右方向をX方向とし、これに直交する前後方向をY方向とすると、例えば、図5Aに示すように、画像中心CPが設定領域ARより−Y方向にあり(手前にあり)、かつ、行動検知線ALと画像中心CPとの間に設定領域ARの境界が無く、かつ、行動検知線ALとY方向のいずれかの位置で重なっている場合(すなわち、画像中心CPのX座標値が行動検知線ALにおける一方端PT2のX座標値から他方端PT3のX座標値までの範囲に含まれる場合)、位置関係演算部34は、前記カメラ1の位置関係として手前PO2と演算する。また例えば、図5Bに示すように、画像中心CPが設定領域AR内にある場合、位置関係演算部34は、前記カメラ1の位置関係として直上PO1と演算する。また例えば、画像中心CPが設定領域ARより−Y方向にあり(手前にあり)、かつ、行動検知線ALと画像中心CPとの間に設定領域ARの境界が有り、かつ、行動検知線ALとY方向のいずれかの位置で重なっている場合(すなわち、画像中心のX座標値が行動検知線ALにおける一方端PT2のX座標値から他方端PT3のX座標値までの範囲に含まれる場合)、位置関係演算部34は、前記カメラ1の位置関係として奥PO3と演算する。また例えば、画像中心CPが設定領域ARよりX方向または−X方向にあり(横にあり)、かつ、設定領域ARとX方向のいずれかの位置で重なっている場合(すなわち、画像中心CPのY座標値が設定領域ARにおける最小のY座標値から最大のY座標値までの範囲に含まれる場合)、位置関係演算部34は、前記カメラ1の位置関係として横PO4と演算する。また例えば、画像中心CPが設定領域ARより−Y方向にあり(手前にあり)、かつ、行動検知線ALと画像中心CPとの間に設定領域ARの境界が無く、かつ、行動検知線ALとY方向のいずれの位置でも重なっていない場合(すなわち、画像中心CPのX座標値が行動検知線ALにおける一方端PT2のX座標値から他方端PT3のX座標値までの範囲に含まれない場合)、位置関係演算部34は、前記カメラ1の位置関係として斜め前PO5と演算する。また例えば、画像中心CPが設定領域ARより−Y方向にあり(手前にあり)、かつ、行動検知線ALと画像中心CPとの間に設定領域ARの境界が有り、かつ、行動検知線ALとY方向のいずれの位置でも重なっていない場合(すなわち、画像中心CPのX座標値が行動検知線ALにおける一方端PT2のX座標値から他方端PT3のX座標値までの範囲に含まれない場合)、位置関係演算部34は、前記カメラ1の位置関係として斜め奥PO6と演算する。なお、図5Aにおいて、上述では、行動検知線ALが点PT2と点PT3と間の線分であるので、位置関係演算部34は、前記カメラ1の位置関係として手前PO2と演算したが、仮に、行動検知線ALが点PT3と点PT4との間の線分である場合には、位置関係演算部34は、前記カメラ1の位置関係として横PO4と演算することになる。
なお、カメラ1が壁上方に配設される等によってカメラ1が斜め下向きにあおり角を持つ場合では、ユーザ入力や公知の常套手段による画像に基づく自動計算によって求めたあおり角に基づいて、カメラ1の配設位置を床面(画像上)に射影したカメラ1の直下位置が求められ、この求められた直下位置が上述の画像中心CPとされ、上述と同様に、前記カメラ1の位置関係が演算される。
アルゴリズム選択部35は、記憶部5の行動検知アルゴリズム記憶部53に記憶された前記複数の行動検知アルゴリズムの中から位置関係演算部34で求めた位置関係に基づいて行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知するものである。より具体的には、本実施形態では、アルゴリズム選択部35は、位置関係演算部34で求めた前記カメラ1の位置関係を判定し、この判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が直上PO1である場合には、上述した直上用の行動検知アルゴリズムを選択し、前記判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が手前PO2である場合には、上述した手前用の行動検知アルゴリズムを選択し、前記判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が奥PO3である場合には、上述した奥用の行動検知アルゴリズムを選択し、前記判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が横PO4である場合には、上述した横用の行動検知アルゴリズムを選択し、前記判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が斜め前PO5である場合には、上述した斜め前用の行動検知アルゴリズムを選択し、前記判定の結果、位置関係演算部34で求めた前記カメラ1の位置関係が斜め奥PO6である場合には、上述した斜め奥用の行動検知アルゴリズムを選択し、そして、この選択結果を行動検知処理部36へ通知する。
行動検知処理部36は、アルゴリズム選択部35で選択した行動検知アルゴリズムでカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知するものである。
通知処理部37は、行動検知処理部36で検知した前記所定の行動(本実施形態では、起床および離床)を外部に通知するものである。より具体的には、通知処理部37は、検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では起床および離床のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部4で管理サーバ装置SVへ送信する。
ストリーミング処理部38は、ネットワークNWおよび通信IF部4を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、カメラ1で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部4およびネットワークNWを介して配信するものである。
ナースコール処理部39は、被監視者Obからナースコールを受け付ける図略のナースコール押しボタンスイッチでその入力操作を受け付けた場合に、通信IF部4およびネットワークNWを介して、固定端末装置SPまたは携帯端末装置TAとの間で音声通話を可能にするものである。
図1には、一例として、4個の第1ないし第4センサ装置SU−1〜SU−4が示されており、第1センサ装置SU−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SU−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SU−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
次に、本実施形態の動作について説明する。図15は、前記センサ装置の動作を示すメインルーチンのフローチャートである。図16は、図15に示すメインルーチンで用いられる行動検知の動作を示すサブルーチンのフローチャートである。
このような構成の被監視者監視システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUでは、その制御処理プログラムの実行によって、制御処理部3には、制御部31、領域設定処理部32、行動検知線設定処理部33、位置関係演算部34、アルゴリズム選択部35、行動検知処理部36、通知処理部37、ストリーミング処理部38およびナースコール処理部39が機能的に構成される。
図15において、まず、制御処理部3は、領域設定処理部32によって設定領域ARが設定され(S41)、行動検知線設定処理部33によって行動検知線ALが設定される(S42)。より具体的には、上述したように、本実施形態では、固定端末装置SPまたは携帯端末装置TAから前記設定要求通信信号を通信IF部4で受信すると、制御処理部3は、前記設定画像通信信号を通信IF部4で返信する。固定端末装置SPまたは携帯端末装置TAは、例えば図3に示す前記設定画面を表示し、ユーザ(監視者および被監視者等)は、前記設定画面に設定領域ARおよび行動検知線ALそれぞれを入力する。設定領域ARおよび行動検知線ALを受け付けると、固定端末装置SPまたは携帯端末装置TAは、前記設定情報通信信号をセンサ装置SUへ送信する。この設定情報通信信号を通信IF部4で受信すると、領域設定処理部32は、この受信した設定情報通信信号に収容された設定領域ARを取り出して記憶部5の設定領域記憶部51に記憶することで設定領域ARをセンサ装置SUに設定し、行動検知線設定処理部33は、この受信した設定情報通信信号に収容された行動検知線ALを取り出して記憶部5の行動検知線記憶部52に記憶することで行動検知線ALをセンサ装置SUに設定する。
次に、制御処理部3は、位置関係演算部34によって設定領域ARに対するカメラ1の位置関係を求め、この求めた前記カメラ1の位置関係を記憶部5に記憶する(S43)。より具体的には、上述したように、本実施形態では、位置関係演算部34は、画像中心CPが設定領域ARおよび行動検知線ALに対してどの位置に存在するかによって前記カメラ1の位置関係を求める。
次に、制御処理部3は、カメラ1によって被監視者Obを被監視者Obの上方から撮像した画像を取得する。これによって1フレーム分の前記画像が取得され、センサ装置SUに入力される(S44)。
次に、制御処理部3は、行動検知処理部36によって、処理S44で取得した前記画像に基づいて被監視者Obにおける所定の行動を検知する後述の行動検知処理を実行し(S45)、次のフレームの画像に対し、この行動検知処理を実行するべく、処理を処理S44へ戻す。すなわち、制御処理部3は、処理S44および処理S45を繰り返し実行することで、1フレームごとに行動検知処理を実行する。
次に、行動検知処理S45についてさらに説明する。この行動検知処理S45では、図16において、まず、制御処理部3は、アルゴリズム選択部35によって、記憶部5の行動検知アルゴリズム記憶部53に記憶された前記複数の行動検知アルゴリズムの中から位置関係演算部34で求めた位置関係に基づいて行動検知アルゴリズムを選択する(S51)。より具体的には、アルゴリズム選択部35は、記憶部5の記憶内容を参照することで、位置関係演算部34で求めた前記カメラ1の位置関係を判定する。
この判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が直上PO1である場合(直上)には、アルゴリズム選択部35は、上述した直上用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−1を実行する。この処理S52−1では、行動検知処理部36は、アルゴリズム選択部35で選択した直上用の行動検知アルゴリズムでカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。すなわち、行動検知処理部36は、直上用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=直上)で前記画像に基づいて被監視者Obにおける起床の有無および離床の有無を判定し、起床または離床を判定すると、これを検知結果として通知処理部37へ通知し、この行動検知処理S45を終了する。
処理S51における前記判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が手前PO2である場合(手前)には、アルゴリズム選択部35は、上述した手前用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−2を実行する。この処理S52−2では、行動検知処理部36は、アルゴリズム選択部35で選択した手前用の行動検知アルゴリズム(すなわち、手前用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=手前))でカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。
処理S51における前記判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が横PO4である場合(横)には、アルゴリズム選択部35は、上述した横用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−3を実行する。この処理S52−3では、行動検知処理部36は、アルゴリズム選択部35で選択した横用の行動検知アルゴリズム(すなわち、横用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=横))でカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。
処理S51における前記判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が奥PO3である場合(奥)には、アルゴリズム選択部35は、上述した奥用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−4を実行する。この処理S52−4では、行動検知処理部36は、アルゴリズム選択部35で選択した奥用の行動検知アルゴリズム(すなわち、奥用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=奥))でカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。
処理S51における前記判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が斜め前PO5である場合(斜め前)には、アルゴリズム選択部35は、上述した斜め前用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−5を実行する。この処理S52−5では、行動検知処理部36は、アルゴリズム選択部35で選択した斜め前用の行動検知アルゴリズム(すなわち、斜め前用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=斜め前))でカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。
処理S51における前記判定の結果、処理S43によって位置関係演算部34で求めた前記カメラ1の位置関係が斜め奥PO6である場合(斜め奥)には、アルゴリズム選択部35は、上述した斜め奥用の行動検知アルゴリズムを選択し、この選択結果を行動検知処理部36へ通知する。この通知を受けた行動検知処理部36は、処理S52−6を実行する。この処理S52−6では、行動検知処理部36は、アルゴリズム選択部35で選択した斜め奥用の行動検知アルゴリズム(すなわち、斜め奥用としての図6ないし図8に示す上述のフローチャートに従った各処理(Xn=斜め奥))でカメラ1で取得した画像に基づいて被監視者Obにおける所定の行動(本実施形態では起床の有無および離床の有無)を検知し、その検知結果を通知処理部37へ通知し、この行動検知処理S45を終了する。
そして、上述の図7に示す処理S23nによる起床の通知または上述の図8に示す処理S33nによる離床の通知を受けると、通知処理部37は、被監視者Obの状態として判定された判定結果を表す判定結果情報(本実施形態では、起床および離床)や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。
管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SU、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、各被監視者Obを検知して各被監視者Obを監視している。
以上説明したように、被監視者監視装置の一例である被監視者監視システムMSならびに行動検知装置、行動検知方法および行動検知プログラムを用いたその一例のセンサ装置SUは、複数の行動検知アルゴリズムの中から、設定領域ARに対するカメラ1の位置関係に応じた行動検知アルゴリズムを選択し、この選択した行動検知アルゴリズムで被監視者Obにおける所定の行動(本実施形態では起床および離床)を検知するので、カメラ1が配設される配設位置にかかわらず、被監視者Obにおける前記所定の行動をより高精度に検知できる。また、カメラ1が配設され、行動検知の開始後に、寝具BTの位置が変更されると、寝具BTに対するカメラ1の位置関係が変わってしまうが、上記被監視者監視システムMSおよびセンサ装置SUは、記憶部5に記憶された設定領域ARを変更後の寝具BTの領域に変更することで、このような寝具BTの位置の変更による前記カメラ1の位置関係の変更にも対処できる。したがって、上記被監視者監視システムMSおよびセンサ装置SUは、寝具BTの位置にかかわらず、被監視者Obにおける前記所定の行動をより高精度に検知できる。
上記被監視者監視システムMSおよびセンサ装置SUは、前記カメラ1の位置関係として直上PO1、手前PO2、奥PO3、横PO4、斜め前PO5および斜め奥PO6のいずれであるかを求める位置関係演算部34を備えるので、カメラ1が直上、手前、奥、横、斜め前および斜め奥のいずれかに配設される場合に対処でき、これらの場合に、被監視者Obにおける前記所定の行動をより高精度に検知できる。
上記被監視者監視システムMSおよびセンサ装置SUは、図9を用いて上述した直上用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が直上PO1である場合に、画像上における設定領域AR外の被監視者Obの第1面積S1および前記画像上における設定領域ARと被監視者Obとが重なった第2面積S2を求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
上記被監視者監視システムMSおよびセンサ装置SUは、図10を用いて上述した手前用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が手前PO2である場合に、画像上における行動検知線ALと被監視者Obの足先位置FPとの距離Waを求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
上記被監視者監視システムMSおよびセンサ装置SUは、図11を用いて上述した横用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が横PO4である場合に、画像上において、設定領域ARの横の方向に沿ってカメラ1に最も近い位置に位置する第1境界線BL1と設定領域ARの前記横の方向に沿ってカメラ1に最も遠い位置に位置する第2境界線BL2との間での設定領域ARと被監視者Obとが重なった第3面積S3を求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
上記被監視者監視システムMSおよびセンサ装置SUは、図12を用いて上述した奥用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が奥PO3である場合に、前記第2面積S2を求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
上記被監視者監視システムMSおよびセンサ装置SUは、図13を用いて上述した斜め前用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が斜め前PO5である場合に、前記距離Waおよび前記第3面積S3を求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
記被監視者監視システムMSおよびセンサ装置SUは、図14を用いて上述した斜め奥用の行動検知アルゴリズムを含むので、前記カメラ1の位置関係が斜め奥PO6である場合に、前記第3面積S3を求めるという比較的簡易な画像処理で被監視者Obにおける起床の有無および離床の有無を判定できる。
上記被監視者監視システムMSおよびセンサ装置SUは、行動検知線ALを外部から受け付けて記憶部5に記憶する前記行動検知線受付部の一例として、通信IF部4および行動検知線設定処理部33を備えるので、行動検知線ALを簡易に入力して設定できる。
なお、上述の実施形態では、位置関係演算部34にて、画像中心CPが設定領域ARおよび行動検知線ALに対してどの位置に存在するかによって前記カメラ1の位置関係が求められているが、図3に示すカメラ1で取得した画像に画像中心CPも一緒に表示部7に表示され、ユーザーの入力部6の操作によって設定領域および行動検知線の入力が受け付けられ、画像中心CPと設定領域ARおよび行動検知線ALの位置関係とされても良い。
また、上述の実施形態では、アルゴリズム選択部35は、行動検知処理S45の処理S51で、複数の行動検知アルゴリズムの中から位置関係演算部34で求めた前記カメラ1の位置関係に基づく行動検知アルゴリズムを選択したが、位置関係演算部34によって前記カメラ1の位置関係を求めた後の他のタイミングで行動検知アルゴリズムを選択しても良い。例えば、アルゴリズム選択部35は、上述の処理S43で位置関係演算部34が前記カメラ1の位置関係を求めた直後に、行動検知アルゴリズムを選択しても良い。
また、上述の実施形態において、アルゴリズム選択部35は、所定期間ごとに、複数の行動検知アルゴリズムの中から位置関係演算部34で求めた前記カメラ1の位置関係に基づく行動検知アルゴリズムを選択して良く、また、ユーザから行動検知アルゴリズムの選択処理の要求を受け付けた場合に、割り込み処理で、アルゴリズム選択部35は、所定期間ごとに、複数の行動検知アルゴリズムの中から位置関係演算部34で求めた前記カメラ1の位置関係に基づく行動検知アルゴリズムを選択して良い。特に、ユーザによる設定領域ARの設定や行動検知線ALの設定後に、前記ユーザによる割り込み処理で、アルゴリズム選択部35は、行動検知アルゴリズムを選択することが好ましい。これによれば、センサ装置SUの再配置や寝具BTの再配置に適切に対処でき、被監視者Obにおける前記所定の行動をより高精度に検知できる。
また、上述の実施形態では、被監視者Obにおける所定の行動は、その一例として起床および離床であるが、これに限定されるものではない。被監視者Obにおける所定の行動は、前記被監視者の上方から撮像した画像に基づいて検知できる行動であれば、他の行動であっても良い。例えば、被監視者Obにおける所定の行動は、寝返り等によるはみ出しであっても良い。前記はみ出しは、人体領域から例えば頭部のパターンや腕のパターンを用いたパターンマッチングによって抽出された頭部や腕に基づいて検知できる。例えば前記カメラ1の位置関係が直上では、就寝中の頭部や腕の位置をベッド境界付近に設けた境界線を越えた部位面積を用いた行動検知アルゴリズムで検知でき、また例えば前記カメラ1の位置関係が手前では、ベッド高さに相当する境界線を越えた部位長さを用いた行動検知アルゴリズムで検知できる。前記転落は、人体領域から例えば頭部のパターンや体幹のパターンを用いたパターンマッチングによって抽出された頭部や体幹に基づいて検知できる。例えば前記カメラ1の位置関係が直上PO1では、起床や離床に伴う頭部の大きさや体幹の大きさにおける相違を用いた直上用の行動検知アルゴリズムで検知でき、また例えば前記カメラ1の位置関係が手前PO2では、起床や離床に伴う頭部の上下の移動量や体幹の上下の移動量における相違を用いた手前用の行動検知アルゴリズムで検知でき、また例えば前記カメラ1の位置関係が奥PO3では、起床や離床に伴う行動検知線AL上に見えている頭部の面積や体幹の面積における相違を用いた奥用の行動検知アルゴリズムで検知でき、また例えば前記カメラ1の位置関係が横PO4では、起床や離床に伴う頭部の左右および上下の各移動量や体幹の左右および上下の各移動量における相違を用いた横用の行動検知アルゴリズムで検知でき、また例えば前記カメラ1の位置関係が斜め前PO5では、上述の手前用と横用の各行動検知アルゴリズムを用いて検知でき、また例えば前記カメラ1の位置関係が斜め奥PO6では、上述の奥用と横用の各行動検知アルゴリズムを用いて検知できる。
また、上述の実施形態では、Xn用の起床判定条件およびXn用の離床判定条件は、前記第1面積S1、前記第2面積S2、前記第3面積S3および前記距離Waのうちの1または複数に対し閾値Thとの比較であったが、これに限定されるものではない。Xn用の起床判定条件およびXn用の離床判定条件は、前記被監視者の上方から撮像した画像に基づいて判定できる条件であれば、他の条件であっても良い。例えば、Xn用の起床判定条件およびXn用の離床判定条件は、前記第1面積S1と前記第2面積S2との比に対し所定の閾値Thとの比較であって良い。前記閾値Thは、例えば、上述と同様に、複数のサンプルを統計的に処理して経験的に予め設定される。また例えば、Xn用の起床判定条件およびXn用の離床判定条件は、行動検知線ALを跨ぐ動作の有無であっても良い。例えば、前記カメラ1の位置関係が直上PO1や手前PO2では、人体領域が行動検知線ALを初めて跨ぐ動作の検出によって起床が判定され、人体領域全体が行動検知線ALを跨ぐ動作の検出によって離床が判定され、前記カメラ1の位置関係が奥PO3では、人体領域が行動検知線ALを初めて跨ぐ動作の検出によって起床が判定され、人体領域の半分が行動検知線ALを跨ぐ動作の検出によって離床が判定される。
また、上述の実施形態では、設定領域ARは、ユーザによって設定されたが、自動設定されてもよい。これによれば、設定領域ARを自動設定できる。例えば、カメラ1で取得された画像からエッジフィルタを用いてエッジを抽出することで、寝具BTの領域が検出され、この検出された寝具BTの領域が設定領域ARとして自動設定される。また例えば、カメラ1で取得された画像から寝具BTのパターンを用いたパターンマッチングによって、寝具BTの領域が検出され、この検出された寝具BTの領域が設定領域ARとして自動設定される。また例えば、3Dセンサ、ベッドの脚に取り付けた位置センサおよび寝具BTの下に敷かれる圧力センサを持つカーペット等のセンサを用いることで、寝具BTの領域が検出され、この検出された寝具BTの領域が設定領域ARとして自動設定される。
また、上述の実施形態では、センサ装置SUは、前記行動検知線受付部の他の一例として、通信IF部4および行動検知線設定処理部33を備えたが、センサ装置SUは、制御処理部3に機能的に、カメラ1で取得した画像に基づいて行動検知線ALを求め、この求めた行動検知線ALを記憶部5の行動検知線記憶部52に記憶する行動検知線演算部をさらに備えても良い。これによれば、前記行動検知線演算部をさらに備えるので、行動検知線ALを自動設定できる。例えば、カメラ1で取得された画像からエッジの抽出やパターンマッチングによって、寝具BTの領域が検出され、この検出された寝具BTの長辺が行動検知線ALとして自動設定される。また例えば、上述と同様に、寝具BTの領域が検出され、前記画像取得部の一例であるカメラ1は、互いに異なる時刻に撮像した複数の画像を取得し、これら複数の画像から動体領域が人体領域として検出され、この検出された人体領域が前記寝具BTの領域から外部に出る頻度が各辺ごとに求められ、所定期間(設定期間)で最も頻度の高い辺が行動検知線ALとして自動設定される。
また、上述の実施形態では、行動検知線ALは、1個であったが、複数であっても良い。この場合、各行動検知線ALごとに前記カメラ1の位置関係が演算され、各行動検知線ALごとに、前記演算された前記カメラ1の位置関係に基づく行動検知アルゴリズムで被監視者Obにおける所定の行動が検知される。
また、上述の実施形態では、位置関係演算部34は、前記カメラ1の位置関係として、6個の直上PO1、手前PO2、奥PO3、横PO4、斜め前PO5および斜め奥PO6の基本位置関係のいずれかに演算し、アルゴリズム選択部35は、この位置関係演算部34で求めた前記カメラ1の位置関係に対応した、直上用、手前用、奥用、横用、斜め前用および斜め奥用のいずれかの行動検知アルゴリズムを選択したが、カメラ1の位置に応じて徐々に行動検知アルゴリズムを切り換えても良い。この場合では、例えば、上述の実施形態において、位置関係演算部34は、設定領域ARに対する、画像を撮像したカメラ1の位置関係を互いに異なる複数の基本位置関係に分類した場合において、前記複数の基本位置関係それぞれの重みを設定領域ARに対する前記カメラ1の位置に基づいて求めることで、設定領域ARに対する前記画像を撮像したカメラ1の位置関係を求め、前記複数の行動検知アルゴリズムは、画像に基づいて被監視者Obにおける所定の行動を検知するための所定の評価値を前記複数の基本位置関係に応じて複数求め、前記求めた複数の評価値に前記複数の基本位置関係それぞれの重みで重み付けし、前記重み付けした結果と所定の閾値との比較結果に基づいて被監視者Obにおける前記所定の行動を検知するアルゴリズムを重み付け行動検知アルゴリズムとして含み、アルゴリズム選択部35は、前記複数の行動検知アルゴリズムの中から位置関係演算部34で求めた位置関係に基づいて前記重み付け行動検知アルゴリズムを選択し、行動検知処理部36は、位置関係演算部34で求めた前記複数の基本位置関係それぞれの重みを用いてアルゴリズム選択部35で選択した重み付け行動検知アルゴリズムで前記画像に基づいて被監視者Obにおける前記所定の行動を検知する。これによれば、設定領域ARに対する前記カメラ1の位置関係を1個の基本位置関係で表すのではなく、複数の基本位置関係それぞれの重みで表し、前記複数の基本位置関係に応じた複数の評価値を前記複数の基本位置関係それぞれの重みで重み付けし、前記重み付けした結果に基づいて被監視者Obにおける所定の行動を検知するので、1個の基本位置関係に応じた行動検知アルゴリズムで被監視者Obにおける前記所定の行動を検知する場合に較べて、より高精度に被監視者Obにおける前記所定の行動を検知できる。
図17は、前記カメラの位置関係が複数の基本位置関係それぞれの重みで表された場合の前記重みの演算手法を説明するための図である。図17Aは、設定領域ARおよび画像中心CPを示し、図17Bは、図17Aに示す設定領域ARを2倍に拡大した拡大設定領域AREおよび画像中心CPを示す。より具体的には、前記基本位置関係は、例えば、上述の直上PO1、手前PO2、奥PO3、横PO4、斜め前PO5および斜め奥PO6であり、前記所定の評価値は、例えば、上述の第1面積S1、第2面積S2、第3面積S3および距離Waである。そして、位置関係演算部34は、図17に示すように、設定領域ARをその対角線(図17Bに破線で示す)の交点を中心に設定領域を2倍に拡大することで、水平幅Wで垂直幅Hである拡大設定領域AREを求める。次に、位置関係演算部34は、画像中心CPから拡大設定領域AREに最も近い距離pを求める。図17に示す例では、画像中心CPが設定領域AR内における平面視にて右下寄りでかつ設定領域ARが横長であるため、行動検知線ALが設定領域ARの下辺と判定され、画像中心CPと拡大設定領域AREとの最短距離pは、拡大設定領域AREの下辺までの距離となっている。そして、位置関係演算部34は、画像中心CPが設定領域AR、拡大設定領域AREおよび行動検知線ALに対してどの位置に存在するかによって基本位置関係を求め、この求めた基本位置関係の重みを求める。図17に示す例では、画像中心CPが設定領域AR内にあり、行動検知線ALおよび画像中心からの距離pが最短となる拡大設定領域AREの辺の両方が画像中心CPより下側にあるので、直上PO1および手前PO2の2個の基本位置関係が演算され、直上PO1の重みがpとされ、手前PO2の重みがH/2−pとされる。上述した直上用の起床判定条件は、第1面積S1と第1閾値Th1との比較であり、上述した手前用の起床判定条件は、距離Waと第3閾値Th3との比較であるので、重み付け行動検知アルゴリズムにおける起床判定条件は、V1=((Wa−Th3)×(H/2−p)+(S1−Th1)×p)×(H/2)と第15閾値Th15との比較となる。例えば第15閾値Th15は、0とされ、行動検知処理部36は、重み付けした結果V1が0以上である場合(V1≧0)には、被監視者Obが起床したと判定し、重み付けした結果V1が0未満である場合(V1<0)には、被監視者Obが起床前と判定する。また、上述した直上用の離床判定条件は、第2面積S2と第2閾値Th2との比較であり、上述した手前用の離床判定条件は、距離Waと第4閾値Th4との比較であるので、重み付け行動検知アルゴリズムにおける離床判定条件は、V2=((Wa−Th4)×(H/2−p)+(S2−Th1)×p)×(H/2)と第16閾値Th16との比較となる。例えば第16閾値Th16は、0とされ、行動検知処理部36は、重み付けした結果V2が0以上である場合(V2≧0)には、被監視者Obが離床したと判定し、重み付けした結果V2が0未満である場合(V2<0)には、被監視者Obが離床前と判定する。
また、この場合において、拡大設定領域AREの外側に画像中心CPがある場合は、十分に斜めからのカメラ1による撮像であるので、上述した横用の行動検知アルゴリズムや斜め奥用の行動検知アルゴリズム等がそのまま用いることができる。
そして、上述では、基本位置関係は、2個が選択されて重み付けされたが、3個以上が選択されて重み付けされても良い。
また、上述の実施形態では、センサ装置SUが前記行動検知部および前記通知部を備えたが、前記行動検知部および前記通知部は、管理サーバ装置SVに備えられても良く、また、固定端末装置SPに備えられても良く、また、携帯端末装置TAに備えられても良い。このような場合、センサ装置SUからネットワークNWを介して被監視者Obの上方から撮像した画像およびドップラ信号を収容した通信信号を受信して取得する通信インターフェース等が、画像取得部の一例に相当することになる。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる行動検知装置は、監視対象である被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得部と、前記画像中における所定の領域を設定領域として記憶し、前記画像に基づいて前記被監視者における所定の行動を検知するための互いに異なる複数の行動検知アルゴリズムを記憶する記憶部と、前記複数の行動検知アルゴリズムの中から、前記画像を撮像したカメラと前記設定領域との位置関係に基づいて行動検知アルゴリズムを選択するアルゴリズム選択部と、前記アルゴリズム選択部で選択した行動検知アルゴリズムで前記画像に基づいて前記被監視者における所定の行動を検知する行動検知処理部とを備える。好ましくは、上述の行動検知装置において、前記設定領域は、例えばベッド等の寝具の領域(寝具領域)である。好ましくは、上述の行動検知装置において、前記画像の中心が前記設定領域に対してどの位置に存在するかによって、前記画像を撮像したカメラと前記設定領域の前記位置関係を求める位置関係演算部をさらに備える。
このような行動検知装置は、複数の行動検知アルゴリズムの中から、カメラと設定領域との位置関係に応じた行動検知アルゴリズムを選択し、この選択した行動検知アルゴリズムで被監視者における所定の行動を検知するので、カメラが配設される配設位置にかかわらず、被監視者における所定の行動をより高精度に検知できる。また、カメラが配設され、行動検知の開始後に、寝具の位置が変更されると、前記寝具に対するカメラの位置関係が変わってしまうが、上記行動検知装置は、記憶部に記憶された前記設定領域を変更後の前記寝具の領域に変更することで、このような寝具の位置の変更による前記カメラの位置関係の変更にも対処できる。したがって、上記行動検知装置は、寝具の位置にかかわらず、被監視者における所定の行動をより高精度に検知できる。
他の一態様では、これら上述の行動検知装置において、前記位置関係は、前記カメラが前記設定領域の直上に位置する直上、前記カメラが前記設定領域の手前上方に位置する手前、前記カメラが前記設定領域の奥上方に位置する奥、前記カメラが前記設定領域の横上方に位置する横、前記カメラが前記設定領域の斜め前上方に位置する斜め前、および、前記カメラが前記設定領域の斜め奥上方に位置する斜め奥のうちのいずれかである。
このような行動検知装置は、カメラが直上、手前、奥、横、斜め前および斜め奥のいずれかに配設される場合に対処でき、これらの場合に、被監視者における所定の行動をより高精度に検知できる。
他の一態様では、これら上述の行動検知装置において、前記記憶部は、前記被監視者における所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる、前記画像中における所定の線を行動検知線としてさらに記憶し、前記位置関係演算部は、前記行動検知線を考慮して、前記画像を撮像したカメラと前記設定領域との位置関係を求める。
これによれば、前記行動検知線を考慮して前記カメラの位置関係を求める行動検知装置を提供できる。
他の一態様では、これら上述の行動検知装置において、前記複数の行動検知アルゴリズムは、前記位置関係が直上である場合に用いられる直上用の行動検知アルゴリズムを含み、前記直上用の行動検知アルゴリズムは、前記画像上における前記設定領域外の前記被監視者の第1面積、および、前記画像上における前記設定領域と前記被監視者とが重なった第2面積に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上における設定領域外の被監視者の第1面積および前記画像上における設定領域と被監視者とが重なった第2面積を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記記憶部は、前記被監視者における所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる、前記画像中における所定の線を行動検知線としてさらに記憶し、前記複数の行動検知アルゴリズムは、前記位置関係が手前である場合に用いられる手前用の行動検知アルゴリズムを含み、前記手前用の行動検知アルゴリズムは、前記画像上における前記行動検知線と前記被監視者の足先位置との距離に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上における行動検知線と被監視者の足先位置との距離を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記複数の行動検知アルゴリズムは、前記位置関係が横である場合に用いられる横用の行動検知アルゴリズムを含み、前記横用の行動検知アルゴリズムは、前記画像上において、前記設定領域の前記横の方向に沿って前記カメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と前記被監視者とが重なった第3面積に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上において、設定領域の横の方向に沿ってカメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と被監視者とが重なった第3面積を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記複数の行動検知アルゴリズムは、前記位置関係が奥である場合に用いられる奥用の行動検知アルゴリズムを含み、前記奥用の行動検知アルゴリズムは、前記画像上における前記設定領域と前記被監視者とが重なった第2面積に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上における設定領域と被監視者とが重なった第2面積を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記記憶部は、前記被監視者における所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる、前記画像中における所定の線を行動検知線としてさらに記憶し、前記複数の行動検知アルゴリズムは、前記位置関係が斜め前である場合に用いられる斜め前用の行動検知アルゴリズムを含み、前記斜め前用の行動検知アルゴリズムは、前記画像上における前記行動検知線と前記被監視者の足先位置との距離、および、前記画像上において、前記設定領域の前記横の方向に沿って前記カメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と前記被監視者とが重なった第3面積に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上における行動検知線と被監視者の足先位置との距離、および、前記画像上において、設定領域の横の方向に沿ってカメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と前記被監視者とが重なった第3面積を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記記憶部は、前記被監視者における所定の行動を検知するために前記複数の行動検知アルゴリズムのうちの少なくとも1つに用いられる、前記画像中における所定の線を行動検知線としてさらに記憶し、前記複数の行動検知アルゴリズムは、前記位置関係が斜め奥である場合に用いられる斜め奥用の行動検知アルゴリズムを含み、前記斜め奥用の行動検知アルゴリズムは、前記画像上において、前記設定領域の前記横の方向に沿って前記カメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と前記被監視者とが重なった第3面積に基づいて前記被監視者における所定の行動を検知するアルゴリズムである。
このような行動検知装置は、画像上において、設定領域の横の方向に沿ってカメラに最も近い位置に位置する第1境界線と前記設定領域の前記横の方向に沿って前記カメラに最も遠い位置に位置する第2境界線との間での前記設定領域と被監視者とが重なった第3面積を求めるという比較的簡易な画像処理で前記被監視者における所定の行動を検知できる。
他の一態様では、これら上述の行動検知装置において、前記位置関係演算部は、前記画像を撮像したカメラと前記設定領域との位置関係を互いに異なる複数の基本位置関係に分類した場合において、前記複数の基本位置関係それぞれの重みを前記設定領域に対する前記カメラの位置に基づいて求めることで、前記画像を撮像したカメラと前記設定領域との位置関係を求め、前記複数の行動検知アルゴリズムは、前記画像に基づいて前記被監視者における所定の行動を検知するための所定の評価値を前記複数の基本位置関係に応じて複数求め、前記求めた複数の評価値に前記複数の基本位置関係それぞれの重みで重み付けし、前記重み付けした結果と所定の閾値との比較結果に基づいて前記被監視者における所定の行動を検知するアルゴリズムを重み付け行動検知アルゴリズムとして含み、前記アルゴリズム選択部は、前記複数の行動検知アルゴリズムの中から前記位置関係演算部で求めた位置関係に基づいて前記重み付け行動検知アルゴリズムを選択し、前記行動検知処理部は、前記位置関係演算部で求めた前記複数の基本位置関係それぞれの重みを用いて前記アルゴリズム選択部で選択した重み付け行動検知アルゴリズムで前記画像に基づいて前記被監視者における所定の行動を検知する。
このような行動検知装置は、設定領域に対する前記カメラの位置関係を1個の基本位置関係で表すのではなく、複数の基本位置関係それぞれの重みで表し、前記複数の基本位置関係に応じた複数の評価値を前記複数の基本位置関係それぞれの重みで重み付けし、前記重み付けした結果に基づいて被監視者における所定の行動を検知するので、1個の基本位置関係に応じた行動検知アルゴリズムで前記被監視者における所定の行動を検知する場合に較べて、より高精度に前記被監視者における所定の行動を検知できる。
他の一態様では、上述の行動検知装置において、前記行動検知線を外部から受け付けて前記記憶部に記憶する行動検知線受付部をさらに備える。
このような行動検知装置は、行動検知線受付部をさらに備えるので、行動検知線を簡易に入力して設定できる。
他の一態様では、上述の行動検知装置において、前記画像取得部で取得した画像に基づいて前記行動検知線を求め、前記求めた行動検知線を前記記憶部に記憶する行動検知線演算部をさらに備える。
このような行動検知装置は、行動検知線演算部をさらに備えるので、行動検知線を自動設定できる。
他の一態様にかかる行動検知方法は、監視対象である被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、前記被監視者における所定の行動を検知するための互いに異なる複数の行動検知アルゴリズムの中から、前記画像を撮像したカメラと前記画像中における所定の領域である設定領域との位置関係に基づいて行動検知アルゴリズムを選択するアルゴリズム選択工程と、前記アルゴリズム選択工程で選択した行動検知アルゴリズムで前記画像に基づいて前記被監視者における所定の行動を検知する行動検知処理工程とを備える。
他の一態様にかかる行動検知プログラムは、コンピュータに、監視対象である被監視者を、前記被監視者の上方から撮像した画像を取得する画像取得工程と、前記被監視者における所定の行動を検知するための互いに異なる複数の行動検知アルゴリズムの中から、前記画像を撮像したカメラと前記画像中における所定の領域である設定領域との位置関係に基づいて行動検知アルゴリズムを選択するアルゴリズム選択工程と、前記アルゴリズム選択工程で選択した行動検知アルゴリズムで前記画像に基づいて前記被監視者における所定の行動を検知する行動検知処理工程と、を実行させるためのプログラムである。
このような行動検知方法および行動検知プログラムは、複数の行動検知アルゴリズムの中から、カメラと設定領域との位置関係に応じた行動検知アルゴリズムを選択し、この選択した行動検知アルゴリズムで被監視者における所定の行動を検知するので、カメラが配設される配設位置にかかわらず、被監視者における所定の行動をより高精度に検知できる。また、カメラが配設され、行動検知の開始後に、例えばベッド等の寝具の位置が変更されると、前記寝具に対するカメラの位置関係が変わってしまうが、上記行動検知方法および行動検知プログラムは、記憶部に記憶された前記設定領域を変更することで、このような寝具の位置の変更による前記カメラの位置関係の変更にも対処できる。したがって、上記行動検知方法および行動検知プログラムは、寝具の位置にかかわらず、被監視者における所定の行動をより高精度に検知できる。
他の一態様にかかる被監視者監視装置は、監視対象である被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記行動検知部は、これら上述のいずれかの行動検知装置を含む。
このような被監視者監視装置は、これら上述のいずれかの行動検知装置を含むので、カメラが配設される配設位置にかかわらず、被監視者における所定の行動をより高精度に検知できる。
この出願は、2015年6月11日に出願された日本国特許出願特願2015−118388を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。