以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。そして、前記行動検知部は、所定範囲の撮像対象を撮像した前記撮像対象の画像に基づいて互いに異なる複数の行動検知アルゴリズムで前記被監視者における所定の行動それぞれ判定し、これら複数の判定結果のうちの少なくとも1つに基づいて前記被監視者における前記所定の行動を最終的に判定して検知する。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
以下、第1実施形態として、センサ装置SUaを備えた被監視者監視システムMSaおよび第2実施形態として、センサ装置SUbを備えた被監視者監視システムMSbについて、順に、説明する。
(第1実施形態)
まず、第1実施形態の構成について説明する。図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。
前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa−1〜SUa−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa−1〜SUa−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSaは、複数の被監視者Obが入居する複数の居室RMや、ナースステーションST等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このセンサ装置SUaは、後にさらに詳述する。
管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、上述のセンサ装置SUaについてさらに説明する。センサ装置SUaは、例えば、図2に示すように、撮像部1と、制御処理部2aと、通信インターフェース部(通信IF部)3と、記憶部4aとを備える。
撮像部1は、制御処理部2aに接続され、制御処理部2aの制御に従って、画像(画像データ)を生成する装置である。撮像部1は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方(例えば天井面や上方壁面等)に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部2aへ出力する。撮像部1は、本実施形態では、静止画および動画を生成する。このような撮像部1は、隠れが生じないように前記所在空間(撮像対象)全体を撮像できる蓋然性が高いことから、図3に示すように、前記所在空間の一例である居室RMの中央上部の天井に、被監視者Obの身長より十分に高い位置に配設されることが好ましい。撮像部1は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部の一例である。
このような撮像部1は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このような撮像部1は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部1の結像光学系は、本実施形態では、その配設された前記所在空間全体(図1および図3に示す例では居室RM全体)を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。なお、センサ装置SUaは、前記所在空間を赤外線で照明するために、赤外線を放射する赤外照明装置をさらに備えても良い。
通信IF部3は、制御処理部2aに接続され、制御処理部2aの制御に従って通信を行うための通信回路である。通信IF部3は、制御処理部2aから入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部3は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部2aが処理可能な形式のデータに変換して制御処理部2aへ出力する。なお、通信IF部3は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
記憶部4aは、制御処理部2aに接続され、制御処理部2aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。
前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、撮像部1で取得した撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出プログラムや、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出プログラムで抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定プログラムや、撮像部1で取得した撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出プログラムや、前記第1行動検知アルゴリズムと異なる、被監視者Obにおける前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出プログラムで抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定プログラムや、前記第1行動判定プログラムの第1判定結果および前記第2行動判定プログラムの第2判定結果に基づいて前記所定の行動を最終的に判定する最終判定プログラムや、前記最終判定プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、撮像部1で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、例えば、後述する各閾値Th等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。
このような記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
制御処理部2aは、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2aは、前記制御処理プログラムが実行されることによって、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26a(26a−1、26a−2)、通知処理部27およびストリーミング処理部28を機能的に備える。
制御部21は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUaの全体制御を司るものである。
第1部位抽出部22は、撮像部1で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出するものである。
第1行動判定部23は、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、第1部位抽出部22で抽出した第1部位に基づいて前記所定の行動を判定するものである。より具体的には、本実施形態では、例えば、第1行動判定部23は、前記第1行動検知アルゴリズムを用いることによって、第1部位抽出部22で抽出した第1部位に基づいて,前記所定の行動の発生の確からしさを表す第1評価値を第1判定結果として求める。
第2部位抽出部24は、撮像部1で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出するものである。前記第2部位は、前記第1部位と全く異なる部位であって良く、また、前記第1部位を含む前記第1部位よりもより範囲の広い部位であって良く、また、前記第1部位を含まれる前記第1部位よりもより範囲の狭い部位であって良い。
第2行動判定部25は、前記第1行動検知アルゴリズムと異なる、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、第2部位抽出部24で抽出した第2部位に基づいて前記所定の行動を判定するものである。より具体的には、本実施形態では、例えば、第2行動判定部25は、前記第2行動検知アルゴリズムを用いることによって、第2部位抽出部24で抽出した第2部位に基づいて、前記所定の行動の発生の確からしさを表す第2評価値を第2判定結果として求める。
最終判定部26aは、第1行動判定部23の第1判定結果および第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するものである。本実施形態では、例えば、最終判定部26aは、前記第1判定結果(本実施形態では第1評価値)および前記第2判定結果(本実施形態では第2評価値)のうちの一方が所定の閾値Th未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定するものである。最終判定部26は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値Th以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とする。
より具体的には、最終判定部26aは、第1行動判定部23による第1判定結果(本実施形態では第1評価値Va1)が所定の第1閾値Th1未満である場合に、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)に基づいて前記所定の行動を最終的に判定する第1態様の最終判定部26a−1、および、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)が所定の第2閾値Th2未満である場合に、第1行動判定部23による第1判定結果(本実施形態では第1評価値Va1)に基づいて前記所定の行動を最終的に判定する第2態様の最終判定部26a−2のうちの少なくとも一方を含む。前記第1態様の最終判定部26a−1は、第1行動判定部23による前記第1判定結果(本実施形態では第1評価値Va1)が前記所定の第1閾値Th1以上である場合に、前記第1判定結果を、前記所定の行動を最終的に判定した最終判定結果とする。前記第2態様の最終判定部26a−2は、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)が前記所定の第2閾値Th2以上である場合に、前記第2判定結果を、前記所定の行動を最終的に判定した最終判定結果とする。前記所定の閾値Th、上述の例では、前記所定の第1および第2閾値Th1、Th2は、それぞれ、例えば複数のサンプルに基づいて、予め適宜な値に設定される。
一例では、好ましくは、前記第1部位は、頭部であり、前記所定の行動は、転倒および転落であり、第1行動判定部23は、前記頭部の大きさに基づいて前記所定の行動を判定する。また好ましくは、第1行動判定部23は、前記所定の行動を判定する際に、さらに前記頭部の位置に基づいても良い。
一例では、好ましくは、前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、前記所定の行動は、転倒および転落であり、第2行動判定部25は、前記本体部位の形状および前記本体部位の位置に基づいて前記所定の行動を判定する。また好ましくは、第2行動判定部25は、前記所定の行動を判定する際に、さらに前記本体部位の形状の向きに基づいても良い。また好ましくは、第2行動判定部25は、前記所定の行動を判定する際に、さらに前記本体部位の移動速度に基づいても良い。
通知処理部27は、最終判定部26aで検知した被監視者Obにおける所定の行動(本実施形態では、転倒および転落)を外部に通知するものである。より具体的には、通知処理部27は、前記検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では転倒および転落のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部3で管理サーバ装置SVへ送信する。
ストリーミング処理部28は、ネットワークNWおよび通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部1で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部3およびネットワークNWを介して配信するものである。
図1には、一例として、4個の第1ないし第4センサ装置SUa−1〜SUa−4が示されており、第1センサ装置SUa−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SUa−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SUa−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SUa−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
次に、本実施形態の動作について説明する。まず、被監視者監視システムMSaの動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部2aには、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26a(26a−1、26a−2)、通知処理部27およびストリーミング処理部28が機能的に構成される。
そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、所定のフレームレートに応じた時間間隔で撮像部1によって画像を取得し、制御処理部2aによって、この撮像部1で取得した画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(例えば、本実施形態では転倒および転落等)であると判定すると、通知処理部27によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、転倒および転落を検知するための動作(行動検知動作)は、後に詳述する。
管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
次に、被監視者監視システムMSaにおけるセンサ装置SUaの行動検知動作について、説明する。センサ装置SUaは、上述したように最終判定部26aが第1および第2態様の最終判定部26a−1、26a−2のうちの少なくとも一方を含むので、第1態様の最終判定部26a−1によるセンサ装置SUaの第1態様の動作、および、第2態様の最終判定部26a−2によるセンサ装置SUaの第2態様の動作について、以下、順に、説明する。
図4は、第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図5は、第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。図6は、部位の位置を考慮した転倒および転落を判定する判定手法を説明するための図である。図7は、本体部位の形状に基づいて転倒および転落を判定する判定手法を説明するための図である。図7Aは、被監視者Obが撮像部1の略直下に位置し、立位姿勢から横臥姿勢へ変わる場合を示し、図7Bは、被監視者Obが撮像部1より離れた位置に位置し、立位姿勢から横臥姿勢へ変わる場合を示す。
まず、第1態様の最終判定部26a−1によるセンサ装置SUaの第1態様の動作について説明する。センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
図4において、制御処理部2aは、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S11)。本実施形態では、撮像部1は、被監視者Obの所在空間を撮像対象とし、前記所在空間を天井から鉛直下方に見下ろして俯瞰した、前記結像光学系の画角に応じた前記所在空間の画像を生成し、この生成した前記所在空間の画像を制御処理部2aへ出力する。
次に、制御処理部2aは、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する(S12)。
より具体的には、第1部位抽出部22は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から、第1部位、本実施形態では、頭部(頭部の画像領域)を公知の画像処理技術を用いることによって抽出する。例えば、頭部の形状が楕円形状と仮定され、前記所在空間の画像がいわゆる一般化ハフ変換され、これによって前記所在空間の画像中における楕円形状、すなわち、頭部が抽出される。このような画像処理技術は、例えば、文献;“村上真、「人物頭部認識における特徴量表現および領域抽出に関する研究」、2003年3月、早稲田大学“に開示されている。また例えば、頭部の輪郭形状あるいはその概略形状の楕円や円形状等の頭部形状を予め用意されたテンプレートとしたテンプレートマッチングによって、あるいは、いわゆるSnake等の閉曲線をフィッティングする方法によって、前記所在空間の画像から頭部が抽出されても良い。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。例えば、画像中における肌色や黒色ではない領域、画像中における動きの全くない領域、および、アスペクト比が比較的短時間の間に頻繁に変化する領域は、頭部ではないと判定される。
なお、頭部の抽出に多重解像度戦略(多重解像度解析、多解像走査)が用いられる場合には、頭部の候補領域は、複数求められる場合が多い。この場合では、パターンマッチングで得られるいわゆるスコアが最も高い候補領域が頭部とされても良いが、より正確に頭部を抽出するために、複数の候補領域における大きさ、その位置およびスコア等に基づいて頭部が抽出されても良い。例えば、複数の候補領域における大きさの平均値が求められ、この平均値に最も近い大きさの候補領域が頭部とされる。前記平均値は、単純平均によって求められても良いが、各候補領域のスコアを重みとした重み付け平均によって求められても良い。前記多重解像度戦略は、元画像から、前記元画像より解像度が低く互いに異なる解像度を持つ複数の低解像度画像を生成し、解像度がより低い低解像度画像から抽出対象(本実施形態では頭部)を抽出し、この抽出対象が抽出された領域を次に解像度が高い低解像度画像で前記抽出対象を抽出するための候補領域とし、最も解像度が低い低解像度画像から順次に元画像まで遡って前記抽出対象を抽出して行く手法である。
次に、制御処理部2aは、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S12で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S13)。
より具体的には、本実施形態では、前記第1部位は、頭部であり、前記所定の行動は、転倒および転落であるので、第1行動判定部23は、前記第1行動検知アルゴリズムを用いることによって、処理S12で抽出した頭部の大きさに基づいて転倒の有無および転落の有無それぞれを判定する。前記所在空間の上方から、本実施形態では天井から鉛直下方に見下ろして前記所在空間を撮像した画像では、頭部の大きさは、被監視者Obの姿勢等に応じて変化するので、頭部の大きさに基づいて転倒の有無および転落の有無それぞれが判定できる。前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面上等の横臥姿勢への変化である。このため、好ましくは、例えば、立位姿勢および座位姿勢における頭部の大きさと床面上等の横臥姿勢における頭部の大きさとを区別できる所定の閾値(転倒判定閾値)Thrが、例えば複数のサンプルを用いることで予め適宜に設定され、第1行動判定部23は、処理S12で抽出した頭部の大きさと前記転倒判定閾値Thrとを比較することで転倒の有無を判定する。また、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面上等へ落下である。このため、好ましくは、例えば、前記高い位置(例えば寝具上における横臥姿勢や座位姿勢等)における頭部の大きさと前記低い位置(例えば床面上等の横臥姿勢)における頭部の大きさとを区別できる所定の閾値(転落判定閾値)Thcが、例えば複数のサンプルを用いることで予め適宜に設定され、第1行動判定部23は、処理S12で抽出した頭部の大きさと前記転落判定閾値Thcとを比較することで転落の有無を判定する。
より詳しくは、本実施形態では、第1行動判定部23は、被監視者Obにおける所定の行動の発生の確からしさを表す第1評価値Va1を第1判定結果として求めている。
前記転倒の有無を判定する場合、前記第1判定結果が転倒の発生の確からしさとして転倒確実、転倒の可能性有り、転倒の判定できず(転倒不明)および非転倒確実の4段階に分けられ、これに応じて前記転倒判定閾値Thrは、これらを切り分けるための3個の第1ないし第3転倒判定閾値Thr1〜Thr3とされる(Thr1<Thr2<Thr3)。そして、第1行動判定部23は、処理S12で抽出した頭部の大きさとこれら第1ないし第3転倒判定閾値Thr1〜Thr3とを比較し、処理S12で抽出した頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)には、前記転倒確実と判定し、前記転倒確実を示す第1評価値(第1転倒確実評価値)Var11を求め、処理S12で抽出した頭部の大きさHSが第1転倒判定閾値Thr1より大きく第2転倒判定閾値Thr2以下である場合(Thr1<HS≦Thr2)には、前記転倒の可能性有りと判定し、前記転倒の可能性有りを示す第1評価値(第1転倒可能性評価値)Var12を求め、処理S12で抽出した頭部の大きさHSが第2転倒判定閾値Thr2より大きく第3転倒判定閾値Thr3以下である場合(Thr2<HS≦Thr3)には、前記転倒不明と判定し、前記転倒不明を示す第1評価値(第1転倒不明評価値)Var13を求め、そして、処理S12で抽出した頭部の大きさHSが第3転倒判定閾値Thr3より大きい場合(Thr3<HS)には、前記非転倒確実と判定し、前記非転倒確実を示す第1評価値(第1非転倒確実評価値)Var14を求める。これら第1転倒確実評価値Var11、第1転倒可能性評価値Var12、第1転倒不明評価値Var13および第1非転倒確実評価値Var14は、それぞれ、予め適宜な値に設定された値であり、例えば、第1転倒確実評価値Var11は、「2」に設定され、第1転倒可能性評価値Var12は、「1」に設定され、第1転倒不明評価値Var13は、「0」に設定され、そして、第1非転倒確実評価値Var14は、「−1」に設定される。なお、第1転倒確実評価値Var11、第1転倒可能性評価値Var12、第1転倒不明評価値Var13および第1非転倒確実評価値Var14における各値は、これに限定されるものではなく、第1転倒確実評価値Var11>第1転倒可能性評価値Var12>第1転倒不明評価値Var13>第1非転倒確実評価値Var14であれば、任意の値でよい。
同様に、前記転落の有無を判定する場合、前記第1判定結果が転落の発生の確からしさとして転落確実、転落の可能性有り、転落の判定できず(転落不明)および非転落確実の4段階に分けられ、これに応じて前記転落判定閾値Thcは、これらを切り分けるための3個の第1ないし第3転落判定閾値Thc1〜Thc3とされる(Thc1<Thc2<Thc3)。そして、第1行動判定部23は、処理S12で抽出した頭部の大きさとこれら第1ないし第3転落判定閾値Thc1〜Thc3とを比較し、処理S12で抽出した頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)には、前記転落確実と判定し、前記転落確実を示す第1評価値(第1転落確実評価値)Vac11を求め、処理S12で抽出した頭部の大きさHSが第1転落判定閾値Thc1より大きく第2転落判定閾値Thc2以下である場合(Thc1<HS≦Thc2)には、前記転落の可能性有りと判定し、前記転落の可能性有りを示す第1評価値(第1転落可能性評価値)Vac12を求め、処理S12で抽出した頭部の大きさHSが第2転落判定閾値Thc2より大きく第3転落判定閾値Thc3以下である場合(Thc2<HS≦Thc3)には、前記転落不明と判定し、前記転落不明を示す第1評価値(第1転落不明評価値)Vac13を求め、そして、処理S12で抽出した頭部の大きさHSが第3転落判定閾値Thc3より大きい場合(Thc3<HS)には、前記非転落確実と判定し、前記非転落確実を示す第1評価値(第1非転落確実評価値)Vac14を求める。これら第1転落確実評価値Vac11、第1転落可能性評価値Vac12、第1転落不明評価値Vac13および第1非転落確実評価値Vac14は、それぞれ、予め適宜な値に設定された値であり、例えば、第1転落確実評価値Vac11は、「2」に設定され、第1転落可能性評価値Vac12は、「1」に設定され、第1転落不明評価値Vac13は、「0」に設定され、そして、第1非転落確実評価値Vac14は、「−1」に設定される。なお、第1転落確実評価値Vac11、第1転落可能性評価値Vac12、第1転落不明評価値Vac13および第1非転落確実評価値Vac14における各値は、これに限定されるものではなく、第1転落確実評価値Vac11>第1転落可能性評価値Vac12>第1転落不明評価値Vac13>第1非転落確実評価値Vac14であれば、任意の値でよい。
このように第1行動判定部23は、頭部の大きさに基づいて転倒の発生の有無や転落の発生の有無を検知できる。本実施形態では、このような頭部の大きさに基づいて転倒の有無および転落の有無を判定するアルゴリズムが前記第1行動検知アルゴリズムとして用いられている。
なお、上述の処理S13において、第1行動判定部23は、処理S12で抽出された前記頭部の大きさおよび前記頭部の位置に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)を判定しても良い。例えば、図6に示すように、画像上における寝具BTの領域AR1が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の位置が寝具BTの領域AR1内である場合には、非転倒確実および非転落確実と判定し、第1非転倒確実評価値Var14および第1非転落確実評価値Vac14を求める。また例えば、図6に示すように、画像上における、所定幅で寝具BTの周辺領域(図6に示す例では1つのベッドサイドから所定幅の周辺領域)AR2が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)であって、前記頭部の位置が周辺領域AR2内である場合には、転落確実と判定し、第1転落確実評価値Vac11を求める。なお、この場合、前記頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)に代え、前記頭部の大きさHSが第2転落判定閾値Thc2以下である場合(HS≦Thc2)が用いられても良い。また例えば、図6に示すように、画像上における、前記周辺領域AR2を除く床の領域AR3が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)であって、前記頭部の位置が床の領域AR3内である場合には、転倒確実と判定し、第1転倒確実評価値Var11を求める。なお、この場合、前記頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)に代え、前記頭部の大きさHSが第2転倒判定閾値Thr2以下である場合(HS≦Thr2)が用いられても良い。これによれば、さらに頭部の位置を考慮して転倒の発生の有無や転落の発生の有無を検知できる。
次に、制御処理部2aは、最終判定部26a−1によって、第1行動判定部23の第1判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S14)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S18を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、次に処理S15を実行する。
より具体的には、最終判定部26a−1は、第1行動判定部23による第1判定結果と所定の第1閾値Th1とを比較し、この結果、第1行動判定部23による第1判定結果が前記所定の第1閾値Th1以上である場合(Yes)に、前記第1判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S18を実行し、一方、第1行動判定部23による第1判定結果が所定の第1閾値Th1未満である場合(No)に、第2行動判定部25による第2判定結果に基づいて前記所定の行動を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。
より詳しくは、本実施形態では、上述したように、第1行動判定部23は、前記第1判定結果として第1評価値Va1を求めており、被監視者Obにおける所定の行動は、転倒および転落であるので、まず、転倒の場合では、最終判定部26a−1は、処理S13で第1行動判定部23によって求められた転倒の第1評価値Var1と2(第1閾値Th1の一例)とを比較し、第1行動判定部23によって求められた転倒の第1評価値Var1が2以上である場合(Yes)には、転倒有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S13で第1行動判定部23によって求められた転倒の第1評価値Var1が2未満である場合(No)には、第2行動判定部25による第2判定結果に基づいて転倒を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。同様に、転落の場合では、最終判定部26a−1は、処理S13で第1行動判定部23によって求められた転落の第1評価値Vac1と2(第1閾値Th1の一例)とを比較し、第1行動判定部23によって求められた転落の第1評価値Vac1が2以上である場合(Yes)には、転落有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S13で第1行動判定部23によって求められた転落の第1評価値Vac1が2未満である場合(No)には、第2行動判定部25による第2判定結果に基づいて転落を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。
処理S15において、制御処理部2aは、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する。
より具体的には、第2部位抽出部24は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から、第2部位、本実施形態では、本体部位(本体部位の画像領域)を公知の画像処理技術を用いることによって抽出する。例えば、第2部位抽出部24は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から動体領域を本体部位として抽出する。なお、この抽出した動体領域から頭部の領域を除外した残部の動体領域が前記本体部位とされても良い。この動体領域の抽出には、例えば背景差分法やフレーム間差分法等の手法が用いられる。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部4aに予め記憶され、撮像部1によって生成された画像と前記背景画像との差分画像から動体領域が抽出される。前記フレーム差分法では、撮像部1によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体領域が抽出される。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報等が組み合わされて利用されても良い。
次に、制御処理部2aは、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S15で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S16)。
より具体的には、本実施形態では、前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、前記所定の行動は、転倒および転落であるので、第2行動判定部25は、前記第2行動検知アルゴリズムを用いることによって、処理S15で抽出した本体部位の形状およびその位置に基づいて転倒の有無および転落の有無それぞれを判定する。上述したように、前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面上等の横臥姿勢への変化であり、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面上等へ落下であり、撮像部1で取得される画像は、前記所在空間の上方から、本実施形態では天井から鉛直下方に見下ろして前記所在空間を撮像した画像である。このため、例えば、図6に示すように、画像上における寝具BTの領域AR1、画像上における、所定幅で寝具BTの周辺領域(図6に示す例では1つのベッドサイドから所定幅の周辺領域)AR2および画像上における、前記周辺領域AR2を除く床の領域AR3が予め記憶部4aに記憶され、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、処理S15で抽出された前記本体部位の位置が床の領域AR3内であって、その形状が略矩形形状である場合には、転倒有りと判定し、第2行動判定部25は、処理S15で抽出された前記本体部位の位置が周辺領域AR2内であって、その形状が略矩形形状である場合には、転落有りと判定し、そして、処理S15で抽出された前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒および転落無しと判定する。この判定の際に、第2行動判定部25は、さらに前記本体部位の形状の向きに基づいても良い。例えば、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)において、図7Aに示すように、被監視者Obが撮像部1の略真下に位置する場合、被監視者Obが立位姿勢であると、本体部位の形状は、略正方形形状であり、被監視者Obが転倒して床面上等に横臥姿勢になると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に沿った向きとなる。また例えば、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)において、図7Bに示すように、被監視者Obが撮像部1の略真下の位置から離れた位置に位置する場合、被監視者Obが立位姿勢であると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に沿った向きであり、被監視者Obが転倒して床面上等に横臥姿勢になると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に交差する向きとなる。なお、上述の場合、本体部位における形状の向きは、時間的に比較的急速に変化するので、第2行動判定部25は、さらに前記形状の向きの時間変化に基づいても良い。また、上述の場合、本体部位における形状も時間的に変化する場合があるので、第2行動判定部25は、さらに前記形状の時間変化に基づいても良い。また例えば、転落の場合、本体部位が寝具BTの領域AR1から、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)へ比較的急速に移動するので、第2行動判定部25は、さらに前記本体部位の移動速度に基づいても良い。
より詳しくは、本実施形態では、第2行動判定部25は、被監視者Obにおける所定の行動の発生の確からしさを表す第2評価値Va2を第2判定結果として求めている。
前記転倒の有無を判定する場合、上述と同様に、前記第2判定結果が転倒の発生の確からしさとして転倒確実、転倒の可能性有り、転倒の判定できず(転倒不明)および非転倒確実の4段階に分けられている。例えば、第2行動判定部25は、複数の条件それぞれで転倒の有無を判定し、その各判定結果に応じた得点を求め、その合計点に基づいて前記各段階に対応する転倒の第2評価値Var2を求める。より詳しくは、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、この本体部位の位置が床の領域AR3内であって、その形状が略矩形形状である場合には、転倒有りと判定し、転倒有りの判定の得点として例えば「1」を当て、前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒無しと判定し、転倒無しの判定の得点として「−1」を当て、前記本体部位の位置またはその形状が上記を除く場合には、転倒不明と判定し、転倒不明の判定の得点として「0」を当てる。また、第2行動判定部25は、図7を用いて説明したように、前記本体部位の位置、その形状およびその形状の向きに基づいて、転倒の有無を判定し、転倒有りと判定した場合には、転倒有りの判定の得点として例えば「1」を当て、転倒なしと判定した場合には、転倒なしの判定の得点として例えば「0」を当てる。そして、第2行動判定部25は、これら2個の条件それぞれから得られた得点を合計し、この合計点が「2」である場合には、前記転倒確実と判定し、その合計点で転倒確実を示す第2評価値(第2転倒確実評価値)Var21(=2)を求め、前記合計点が「1」である場合には、前記転倒の可能性有りと判定し、その合計点で前記転倒の可能性有りを示す第2評価値(第2転倒可能性評価値)Var22(=1)を求め、前記合計点が「0」である場合には、前記転倒不明と判定し、その合計点で前記転倒不明を示す第2評価値(第2転倒不明評価値)Var23(=0)を求め、そして、前記合計点が「−1」である場合には、前記非転倒確実と判定し、その合計点で前記非転倒確実を示す第2評価値(第2非転倒確実評価値)Var24(=−1)を求める。
同様に、前記転落の有無を判定する場合、前記第2判定結果が転落の発生の確からしさとして転落確実、転落の可能性有り、転落の判定できず(転落不明)および非転落確実の4段階に分けられている。例えば、第2行動判定部25は、複数の条件それぞれで転落の有無を判定し、その各判定結果に応じた得点を求め、その合計点に基づいて前記各段階に対応する転落の第2評価値Vac2を求める。より詳しくは、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、この本体部位の位置が周辺領域AR2内であって、その形状が略矩形形状である場合には、転落有りと判定し、転落倒有りの判定の得点として例えば「1」を当て、前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒無しと判定し、転倒無しの判定の得点として「−1」を当て、前記本体部位の位置またはその形状が上記を除く場合には、転倒不明と判定し、転倒不明の判定の得点として「0」を当てる。また、第2行動判定部25は、第2行動判定部25は、処理S15で抽出された前記本体部位の位置、その形状および移動速度を求め、上述したように、略矩形形状の本体部位が寝具BTの領域AR1から周辺領域AR2へ所定の閾値より大きな速度で移動したか否かで、転落の有無を判定し、転落有りと判定した場合には、転落有りの判定の得点として例えば「1」を当て、転落なしと判定した場合には、転落なしの判定の得点として例えば「0」を当てる。そして、第2行動判定部25は、これら2個の条件それぞれから得られた得点を合計し、この合計点が「2」である場合には、前記転落確実と判定し、その合計点で転落確実を示す第2評価値(第2転落確実評価値)Vac21(=2)を求め、前記合計点が「1」である場合には、前記転落の可能性有りと判定し、その合計点で前記転落の可能性有りを示す第2評価値(第2転落可能性評価値)Vac22(=1)を求め、前記合計点が「0」である場合には、前記転落不明と判定し、その合計点で前記転落不明を示す第2評価値(第2転落不明評価値)Vac23(=0)を求め、そして、前記合計点が「−1」である場合には、前記非転落確実と判定し、その合計点で前記非転落確実を示す第2評価値(第2非転落確実評価値)Vac24(=−1)を求める。
このように第2行動判定部23は、本体部位の形状およびその位置に基づいて転倒の発生の有無や転落の発生の有無を検知でき、さらに本体部位の形状の向きを考慮して転倒の発生の有無や転落の発生の有無を検知でき、また、さらに本体部位の移動速度を考慮して転倒の発生の有無や転落の発生の有無を検知できる。本実施形態では、このような本体部位の形状等に基づいて転倒の有無および転落の有無を判定するアルゴリズムが前記第2行動検知アルゴリズムとして用いられている。
次に、制御処理部2aは、最終判定部26a−1によって、第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S17)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S18を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、処理を終了する。
より具体的には、最終判定部26a−1は、第2行動判定部25による第2判定結果と所定の第2閾値Th2とを比較し、この結果、第2行動判定部25による第2判定結果が前記所定の第2閾値Th2以上である場合(Yes)に、前記第2判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S18を実行し、一方、第2行動判定部25による第2判定結果が所定の第2閾値Th2未満である場合(No)に、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
より詳しくは、本実施形態では、上述したように、第2行動判定部25は、前記第2判定結果として第2評価値Va2を求めており、被監視者Obにおける所定の行動は、転倒および転落であるので、まず、転倒の場合では、最終判定部26a−1は、処理S16で第2行動判定部25によって求められた転倒の第2評価値Var2と2(第2閾値Th2の一例)とを比較し、第2行動判定部25によって求められた転倒の第2評価値Var2が2以上である場合(Yes)には、転倒有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S16で第2行動判定部25によって求められた転倒の第2評価値Var2が2未満である場合(No)には、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。同様に、転落の場合では、最終判定部26a−1は、処理S16で第2行動判定部25によって求められた転落の第2評価値Vac2と2(第2閾値Th2の一例)とを比較し、第2行動判定部25によって求められた転落の第2評価値Vac2が2以上である場合(Yes)には、転落有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S16で第2行動判定部25によって求められた転落の第2評価値Vac2が2未満である場合(No)には、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
処理S18では、最終判定部26a−1は、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
なお、上述の第1態様の最終判定部26a−1によるセンサ装置SUaの第1態様の動作における処理S17において、最終判定部26a−1は、前記第1判定結果および前記第2判定結果を重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定しても良い。この場合において、第1判定結果の第1重みおよび第2判定結果の第2重みが、例えば複数のサンプルを用いることによって予め適宜な値にそれぞれ設定され、そして、予め記憶部4aに記憶され、図4に破線で示すように、上述の処理S16と処理S17との間に、処理Sαが実行される。この処理Sαでは、最終判定部26a−1は、前記第1判定結果および前記第2判定結果を重み付け加算して重み付け加算結果を求める(重み付け加算結果={(第1重み)×(第1判定結果(第1評価値Va1))+(第2重み)×(第2判定結果(第2評価値Va2))}/{(第1重み)+(第2重み)})。そして、最終判定部26a−1は、第2行動判定部25による第2判定結果に代え、この処理Sαで求めた重み付け加算結果を用いて、上述の処理S17を実行する。これによれば、第1および第2判定結果の一方が、他方より適切に被監視者Obにおける所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
次に、第2態様の最終判定部26a−2によるセンサ装置SUaの第2態様の動作について説明する。センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
図5において、制御処理部2aは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S21)。
次に、制御処理部2aは、処理S15と同様に、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する(S22)。
次に、制御処理部2aは、処理S16と同様に、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S22で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S23)。
次に、制御処理部2aは、処理S17と同様に、最終判定部26a−2によって、第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S24)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S28を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、次に処理S25を実行する。より具体的には、最終判定部26a−2は、第2行動判定部25による第2判定結果(第2評価値Var2、Vac2)と所定の第2閾値Th2とを比較し、この結果、第2行動判定部25による第2判定結果が前記所定の第2閾値Th2以上である場合(Yes)に、前記第2判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S28を実行し、一方、第2行動判定部25による第2判定結果が所定の第2閾値Th2未満である場合(No)に、第1行動判定部23による第1判定結果に基づいて前記所定の行動を最終的に判定するために、制御処理部2aは、次に処理S25を実行する。
処理S25において、制御処理部2aは、処理S12と同様に、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する。
次に、制御処理部2aは、処理S13と同様に、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S15で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S26)。
次に、制御処理部2aは、処理S14と同様に、最終判定部26a−1によって、第1行動判定部23の第1判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S27)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S28を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、処理を終了する。
より具体的には、最終判定部26a−2は、第1行動判定部23による第1判定結果(第1評価値Var1、Vac1)と所定の第1閾値Th1とを比較し、この結果、第1行動判定部23による第1判定結果が前記所定の第1閾値Th1以上である場合(Yes)に、前記第1判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S28を実行し、一方、第1行動判定部23による第1判定結果が所定の第1閾値Th1未満である場合(No)に、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
処理S28では、最終判定部26a−1は、処理S18と同様に、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
なお、上述の第2態様の最終判定部26a−2によるセンサ装置SUaの第2態様の動作における処理S27において、最終判定部26a−2は、前記第1判定結果および前記第2判定結果を重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定しても良い。この場合において、第1判定結果の第1重みおよび第2判定結果の第2重みが、例えば複数のサンプルを用いることによって予め適宜な値にそれぞれ設定され、そして、予め記憶部4aに記憶され、図5に破線で示すように、上述の処理S26と処理S27との間に、処理Sβが実行される。この処理Sβでは、最終判定部26a−2は、前記第1判定結果および前記第2判定結果を重み付け加算して重み付け加算結果を求める。そして、最終判定部26a−2は、第1行動判定部23による第1判定結果に代え、この処理Sβで求めた重み付け加算結果を用いて、上述の処理S27を実行する。これによれば、第1および第2判定結果の一方が、他方より適切に被監視者Obにおける所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
以上説明したように、行動検知装置および行動検知方法を実装した一例のセンサ装置SUaならびに被監視者監視装置の一例である被監視者監視システムMSaは、画像取得部の一例である撮像部1で取得した画像から、互いに異なる第1および第2部位(本実施形態では頭部および本体部位)をそれぞれ抽出し、これら第1および第2部位それぞれに基づいて互いに異なる第1および第2行動検知アルゴリズムそれぞれを用いることによって、第1および第2判定結果をそれぞれ求め、これら第1および第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)を最終的に判定する。上記センサ装置SUaおよび被監視者監視システムMSaは、このように前判定した2個の第1および第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて被監視者Obにおける所定の行動をより精度良く検知できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、処理S14以下の各処理や処理S24以下の各処理で示すように、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)のうちの一方が所定の閾値Th1、Th2未満で、被監視者Obにおける所定の行動の発生が不確かな場合に、これらのうちの他方の判定結果(他方の評価値Va)に基づいて前記所定の行動を最終的に判定する。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を段階的に判定でき、前記所定の行動をより精度良く検知できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、処理S14や処理S24で示すように、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)のうちの一方が前記所定の閾値Th1、Th2以上で、被監視者における所定の行動の発生が確かである場合に、これらのうちの他方の判定結果(他方の評価値)に基づいて前記所定の行動を最終的に判定することなく、最終判定結果を得ることができる。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者における所定の行動をより精度良く検知した最終判定結果をより早く求めることができる。
次に、別の実施形態について説明する。
(第2実施形態)
上述の第1実施形態では、最終判定部26a(26a−1、26a−2)は、前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)のうちの一方が所定の閾値Th1、Th2以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とし、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値Th1、Th2未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定したが、第2実施形態では、後述するように、最終判定部26bは、前記第1判定結果(第1評価値Va1)と前記第2判定結果(第2評価値Va2)との両方に基づいて前記所定の行動を最終的に判定するものである。
まず、第2実施形態の構成について説明する。図8は、第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。
第2実施形態における被監視者監視システムMSbは、例えば、図1に示すように、1または複数のセンサ装置SUb(SUb−1〜SUb−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。これら第2実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)と同様であるので、その説明を省略する。
第2実施形態におけるセンサ装置SUbは、例えば、図8に示すように、撮像部1と、制御処理部2bと、通信IF部3と、記憶部4bとを備える。これら第2実施形態のセンサ装置SUbにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
記憶部4bは、記憶部4aと同様であり、さらに、重み付け加算の際に用いられる第1および第2判定結果の第1および第2重みである重み情報を記憶している。この重み情報は、本実施形態では、1個(1組)ではなく、被監視者Obにおける画像上での複数の位置に対応付けられた複数組の第1および第2重みである。基本では、第1重みと第2重みとは、同値である(第1重み=第2重み)。そして、例えば、被監視者Obにおける画像上での位置が周辺領域AR2である場合には、本体部位の形状による転倒の有無および転落の有無が判定し易いため、この場合では、第2重みが第1重みより大きな値に設定される(第1重み<第2重み)。また例えば、被監視者Obにおける画像上での位置が画像の中央領域(画像の中央位置から予め設定された所定の範囲内の領域)である場合には、頭部の大きさによる転倒の有無および転落の有無が判定し易いため、この場合では、第1重みが第2重みより大きな値に設定され(第1重み>第2重み)、逆に、被監視者Obにおける画像上での位置が画像の周辺領域(画像の周辺から予め設定された所定の範囲内の領域)である場合には、第1重みが第2重みより小さな値に設定され(第1重み<第2重み)。このような重み情報を記憶するために、記憶部4bは、機能的に、重み情報記憶部41を備えている。この重み情報記憶部41は、例えば、被監視者Obにおける画像上での位置とその位置での第1および第2重みとを対応付けたルックアップテーブルで前記重み情報を記憶する。
制御処理部2bは、制御処理部2aと同様に、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の行動を検知して通知するための回路であり、本実施形態では、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26b、通知処理部27、ストリーミング処理部28および位置演算部29を機能的に備える。これら第2実施形態の制御処理部2bにおける制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、通知処理部27およびストリーミング処理部28は、それぞれ、第1実施形態の制御処理部2bにおける制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、通知処理部27およびストリーミング処理部28と同様であるので、その説明を省略する。
位置演算部29は、第1部位抽出部22で抽出した第1部位および第2部位抽出部24で抽出した第2部位の少なくとも一方に基づいて被監視者Obにおける前記画像上での位置を求める。例えば、本実施形態では、位置演算部29は、第1部位抽出部22で抽出した第1部位、ここでは、頭部に基づいて被監視者Obにおける前記画像上での位置を求める。なお、例えば、位置演算部29は、第1部位抽出部22で抽出した第1部位および第2部位抽出部24で抽出した第2部位に基づいて被監視者Obにおける前記画像上での位置を求めて良く、また例えば、位置演算部29は、第2部位抽出部24で抽出した第2部位、ここでは、本体部位に基づいて被監視者Obにおける前記画像上での位置を求めて良い。
最終判定部26bは、最終判定部26aと同様に、第1行動判定部23の第1判定結果および第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するものであり、本実施形態では、前記第1判定結果と前記第2判定結果との両方に基づいて前記所定の行動を最終的に判定するものである。より具体的には、最終判定部26bは、前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算し、この重み付け加算した重み付け加算結果に基づいて被監視者Obにおける所定の行動を最終的に判定する。より詳しくは、最終判定部26bは、記憶部4bの重み情報記憶部41に記憶された複数の第1重みおよび第2重みの中から、位置演算部29で求めた被監視者Obにおける画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、この選択した前記第1重みおよび前記第2重みを用いて前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算することで、前記重み付け加算結果を求め、この求めた重み付け加算結果に基づいて被監視者Obにおける所定の行動を最終的に判定する。
次に、本実施形態の動作について説明する。第2実施形態における被監視者監視システムMSbの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUbの行動検知動作について、説明する。図9は、第2実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。センサ装置SUbは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
図9において、制御処理部2bは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S31)。
次に、制御処理部2bは、処理S12と同様に、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する(S32)。
次に、制御処理部2bは、処理S13と同様に、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S32で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S33)。
次に、制御処理部2bは、処理S15と同様に、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する(S34)。
次に、制御処理部2bは、処理S16と同様に、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S34で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S35)。
次に、制御処理部2bは、位置演算部29によって、処理S32で第1部位抽出部22によって抽出した第1部位に基づいて被監視者Obにおける前記画像上での位置を求め、最終判定部26bによって、記憶部4bの重み情報記憶部41に記憶された複数の第1重みおよび第2重みの中から、位置演算部29で求めた被監視者Obにおける画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、この選択した前記第1重みおよび前記第2重みを用いて前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算することで、前記重み付け加算結果を求める(S36)。
次に、制御処理部2bは、位置演算部29によって、この求めた重み付け加算結果に基づいて被監視者Obにおける所定の行動が検知されたか否かを判定する(S37)。この判定の結果、前記所定の行動が検知された場合(Yes)には、この検知した前記所定の行動を最終的な判定結果として、制御処理部2bは、次に処理S38を実行し、一方、前記所定の行動が検知されなかった場合(No)には、被監視者Obにおける所定の行動を検知しなかったとして、制御処理部2bは、処理を終了する。より具体的には、最終判定部26bは、前記重み付け加算結果と所定の第3閾値Th3とを比較し、この結果、前記重み付け加算結果が前記所定の第3閾値Th3以上である場合(Yes)に、この検知した前記所定の行動を最終的な判定結果として、制御処理部2bは、次に処理S38を実行し、一方、前記重み付け加算結果が前記所定の第3閾値Th3未満である場合(No)に、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。前記所定の第3閾値は、例えば複数のサンプルを用いることによって適宜な値(例えば2等)に設定される。
処理S38では、最終判定部26bは、処理S18と同様に、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
以上説明したように、行動検知装置および行動検知方法を実装した一例のセンサ装置SUaならびに被監視者監視装置の一例である被監視者監視システムMSaは、処理S33および処理S35で前判定した2個の第1および第2判定結果(第1および第2評価値Va1、Va2)に基づいて被監視者Obにおける所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて被監視者Obにおける所定の行動をより精度良く検知できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)の両方を同時に(一度に)用いて被監視者における所定の行動を最終的に判定でき、前記所定の行動をより精度良く検知できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、第1および第2判定結果の一方が、他方より適切に被監視者における所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者の位置に応じて第1および第2判定結果の一方が他方より適切に前記所定の行動を判定した結果を示している場合に、被監視者の位置に応じて第1および第2判定結果に優劣を付けて被監視者における所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
なお、上述の実施形態では、撮像対象の画像は、撮像部1で取得されたが、通信IF部3からネットワークNWを介して、前記撮像対象の画像を管理する他の外部機器から取得されて良く、また、前記撮像対象の画像を記録した記録媒体から通信IF部3を介して取得されても良い。このような場合、通信IF部3は、前記撮像対象の画像を取得する画像取得部の他の一例に相当する。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。