JP2019205145A - 行動監視装置及び行動監視方法 - Google Patents

Abstract

【課題】高い精度で被監視者の行動を監視できる行動監視装置等を提供する。【解決手段】行動監視装置１０は、被監視者、ベッド及びベッド近傍領域を撮影することにより撮影画像として２次元画像又は距離画像を選択的に取得する画像取得部１１と、取得された撮影画像を用いてベッドのベッド面を検出するベッド面検出部１２と、２次元画像を用いて被監視者の行動を検知するための第１行動検知アルゴリズム、及び、距離画像を用いて被監視者の行動を検知するための第２行動検知アルゴリズムを記憶している記憶部１５と、検出されたベッド面の撮影画像における形状に基づいて第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択するアルゴリズム選択部１３と、選択された第１行動検知アルゴリズム又は第２行動検知アルゴリズムを用いて被監視者の行動を検知する行動検知処理部１４とを備える。【選択図】図１

Description

本開示は、行動監視装置及び行動監視方法に関し、特に、ベッド上での被監視者の行動を監視する行動監視装置等に関する。

介護施設等においては、被監視者の行動を効率的に監視することが必要とされる。そのために、従来、被監視者の行動を監視する様々な行動監視装置が提案されている（例えば、特許文献１、２参照）。

特許文献１では、被監視者を撮影するカメラで得られた２次元画像を用いることで、２次元パターンの特徴（つまり、２次元形状）から被監視者の状態を判別している。これにより、安価で広範囲な監視が可能になるというものである。

また、特許文献２では、被監視者を撮影するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラで得られた距離画像を用いることで、３次元データの特徴（つまり、３次元形状）から被監視者の状態を判別している。なお、距離画像とは、画像を構成する各画素値が対象物までの距離を示すような画像（つまり、３次元画像）のことである。特許文献２の技術により、２次元形状による判別に比べ、高い精度での監視が可能になるというものである。

特許第６１６７５６３号公報 特許第６１１５３３５号公報

しかしながら、特許文献１の技術では、被監視者の状態変化において２次元形状の差が小さい場合には、被監視者の状態を判別することが困難になるという問題がある。

また、特許文献２の技術では、被監視者が、ＴＯＦカメラから遠い位置にいるとき、あるいは、被監視者の側面が撮影されるときには、距離画像における被監視者が占める面積が小さいために、得られる情報量が低下してしまう。そのために、このようなケースでは、被監視者の状態を判別する精度が悪化するという問題がある。

そこで、本開示は、高い精度で被監視者の行動を監視できる行動監視装置及び行動監視方法を提供することを目的とする。

上記目的を達成するために、本開示の一形態に係る行動監視装置は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得部と、前記画像取得部によって取得された前記撮影画像を用いて、前記ベッドのベッド面を検出するベッド面検出部と、前記２次元画像を用いて前記被監視者の行動を検知するための第１行動検知アルゴリズム、及び、前記距離画像を用いて前記被監視者の行動を検知するための第２行動検知アルゴリズムを記憶している記憶部と、前記ベッド面検出部で検出された前記ベッド面の前記撮影画像における形状に基づいて、前記記憶部に記憶されている前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを選択するアルゴリズム選択部と、前記アルゴリズム選択部で選択された前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを用いて、前記被監視者の行動を検知する行動検知処理部とを備える。

上記目的を達成するために、本開示の一形態に係る行動監視方法は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得ステップと、前記画像取得ステップによって取得された前記撮影画像を用いて、前記ベッドのベッド面を検出するベッド面検出ステップと、前記ベッド面検出ステップで検出された前記ベッド面の前記撮影画像における形状に基づいて、前記２次元画像を用いて前記被監視者の行動を検知するための第１行動検知アルゴリズム、又は、前記距離画像を用いて前記被監視者の行動を検知するための第２行動検知アルゴリズムを選択するアルゴリズム選択ステップと、前記アルゴリズム選択ステップで選択された前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを用いて、前記被監視者の行動を検知する行動検知処理ステップとを含む。

本開示により、高い精度で被監視者の行動を監視できる行動監視装置及び行動監視方法が提供される。

図１は、実施の形態１に係る行動監視システムの構成を示すブロック図である。 図２は、図１に示された行動監視装置の設置例を示す図である。 図３は、ベッドでの各種姿勢における被監視者の輪郭を例示する図である。 図４は、実施の形態１においてベッドに対する撮影方向に依存して被監視者の行動検知の精度がどのように変わるかを示す図である。 図５は、実施の形態１に係る行動監視システムの動作を示すフローチャートである。 図６は、実施の形態１に係る行動監視システムの端末装置での表示例を示す図である。 図７は、実施の形態２に係る行動監視システムの構成を示すブロック図である。 図８は、実施の形態２においてベッドに対する撮影方向に依存して被監視者の行動検知の精度がどのように変わるかを示す図である。 図９は、実施の形態２に係る行動監視システムの動作を示すフローチャートである。 図１０は、実施の形態３に係る行動監視システムの構成を示すブロック図である。 図１１は、図１０に示された行動監視装置の設置例を示す図である。 図１２は、実施の形態４に係る行動監視装置の構造を示す断面図である。 図１３は、実施の形態５に係る行動監視装置が備える画像取得部の特徴を説明する図である。

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

（実施の形態１）
まず、実施の形態１に係る行動監視システムについて説明する。

図１は、実施の形態１に係る行動監視システム５の構成を示すブロック図である。行動監視システム５は、介護施設等に設置される見守りシステムであり、管理室等に設置される端末装置２０と、被監視者の行動を監視して端末装置２０に通知する行動監視装置１０とで構成される。

端末装置２０は、行動監視装置１０から被監視者の行動についての通知を受ける通信装置であり、例えば、ディスプレイを有する通信機器、スマートフォン等である。なお、端末装置２０は、特定の１台の通信装置に限定されるものではなく、行動監視装置１０において通知先として任意に登録された１台以上の通信装置である。

行動監視装置１０は、画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６を備える。

画像取得部１１は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得するデバイスである。画像取得部１１は、例えば、イメージセンサと赤外パルス光源を備えるＴＯＦカメラであり、イメージセンサは、２次元画像を取得するために可視光の波長帯域に感度を有し、距離画像を取得するための赤外パルス光源が発する赤外光の波長帯域に感度を有する。

ベッド面検出部１２は、画像取得部１１によって取得された撮影画像を用いて、ベッドのベッド面を検出する処理部である。なお、ベッド面とは、ベッドの上面である。

記憶部１５は、２次元画像を用いて被監視者の行動を検知するための第１行動検知アルゴリズム、及び、距離画像を用いて被監視者の行動を検知するための第２行動検知アルゴリズムを記憶しているメモリであり、例えば、不揮発性の半導体メモリである。なお、第１行動検知アルゴリズムは、２次元画像から得られる対象物の２次元形状と、予め登録された被監視者の各種姿勢及びベッドの２次元形状とをパターンマッチングすることで、被監視者のベッドにおける行動を判別する処理手順を示す情報である。また、第２行動検知アルゴリズムは、距離画像から得られる対象物の３次元形状と、予め登録された被監視者の各種姿勢及びベッドの３次元形状とをパターンマッチングすることで、被監視者のベッドにおける行動を判別する処理手順を示す情報である。なお、被監視者のベッドにおける行動とは、被監視者のベッドにおける姿勢の変化であり、例えば、被監視者がベッドで寝ている「寝姿勢」からベッド上で座る「座位」の姿勢に変化する「起き上がり」である。

アルゴリズム選択部１３は、ベッド面検出部１２で検出されたベッド面の撮影画像における形状に基づいて、記憶部１５に記憶されている第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する処理部である。具体的には、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方又は短辺側からベッドを撮影したときに得られる形状である場合に、第２行動検知アルゴリズムを選択する。一方、ベッド面の撮影画像における形状が、ベッドの上方及び短辺側以外の方向からベッドを撮影したときに得られる形状である場合に、アルゴリズム選択部１３は、第１行動検知アルゴリズムを選択する。

行動検知処理部１４は、アルゴリズム選択部１３で選択された第１行動検知アルゴリズム又は第２行動検知アルゴリズムを用いて、被監視者の行動を検知する処理部である。

通信部１６は、行動検知処理部１４が検知した被監視者の行動を端末装置２０に通知するための通信インタフェースであり、例えば、有線又は無線ＬＡＮアダプタ等である。なお、通信部１６は、行動検知処理部１４が被監視者の特定の行動を検知したとき、あるいは、特定の行動を検知していないときに、画像取得部１１によって周期的に取得される撮影画像（例えば、２次元画像）を端末装置２０に送信する。

なお、ベッド面検出部１２、アルゴリズム選択部１３及び行動検知処理部１４は、例えば、プログラムを格納したＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、カレンダ・タイマ、周辺回路と接続するための入出力回路等で構成されるマイクロコンピュータ等で実現される。

図２は、図１に示された行動監視装置１０の設置例を示す図である。ここでは、行動監視装置１０の設置例として、２例が示されている。ある部屋、あるいは、あるときには、行動監視装置１０は、ベッド３のベッド面３ａの中央に座っている被監視者４の上方で、被監視者４から距離Ｌ１だけ離れた位置（つまり、部屋の天井の中央）に設置される。また、ある部屋、あるいは、あるときには、行動監視装置１０は、ベッド３のベッド面３ａの中央に座っている被監視者４の斜め上方で、被監視者４から距離Ｌ２だけ離れた位置（つまり、部屋の天井のコーナー）に設置される。なお、行動監視装置１０の設置例は、これらの２例に限られず、後述するように、ベッド３の短辺側、長辺側、及び、これら短辺側／長辺側と上方／斜め上方とを組み合わせた方向から被監視者４を撮影する位置等も含まれる。

このように行動監視装置１０が設置される位置に依存して、行動監視装置１０が備える画像取得部１１が被監視者４を撮影する方向、及び、画像取得部１１と被監視者４との距離が変わる。画像取得部１１が被監視者４を撮影する方向が変わることで、被監視者４の動きの種類によって、動きの前後における２次元画像での被監視者４の２次元形状の変化の度合いが変わる。また、画像取得部１１と被監視者４との距離が変わることで、距離画像を用いた距離の精度が変わる。本実施の形態では、アルゴリズム選択部１３は、画像取得部１１が被監視者４を撮影する方向、及び、画像取得部１１と被監視者４との距離を勘案して、より適切な第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する。

図３は、ベッド３での各種姿勢における被監視者４の輪郭を例示する図である。ここでは、ベッド３の短辺側から被監視者４の正面を見る方向で撮影して得られる撮影画像における被監視者４の輪郭が示されている。図３の（ａ）は、被監視者４がベッド３上で仰向けに寝ている場合（「寝姿勢」）に得られる撮影画像における被監視者４の輪郭を示す。図３の（ｂ）は、被監視者４が「寝姿勢」から起き上がった場合に得られる撮影画像における被監視者４の輪郭を示す。図３の（ｃ）は、被監視者４が座位の姿勢になっている場合に得られる撮影画像における被監視者４の輪郭を示す。

図３の（ａ）〜（ｃ）に示されるいずれの輪郭も、ほぼ直線状に延びる人の外形であり、大きな差異があるとはいえない。一方、図３には示されていないが、画像取得部１１と被監視者４の上半身との距離については、図３の（ａ）〜（ｃ）において、大きく変化する。よって、このようにベッド３の上方又は短辺側から画像取得部１１が撮影した場合には、２次元画像を用いるよりも距離画像を用いたほうが高い精度で被監視者４の行動を検知できる。

そのために、アルゴリズム選択部１３は、ベッド面３ａの撮影画像における形状が、ベッド３の上方又は短辺側からベッド３を撮影したときに得られる形状である場合に、距離画像を用いる第２行動検知アルゴリズムを選択する。一方、ベッド面３ａの撮影画像における形状が、ベッド３の上方及び短辺側以外の方向からベッド３を撮影したときに得られる形状である場合に、アルゴリズム選択部１３は、２次元画像を用いる第１行動検知アルゴリズムを選択する。

図４は、ベッドに対する画像取得部１１による撮影方向に依存して撮影画像（２次元画像及び距離画像）を用いた被監視者の行動検知の精度がどのように変わるかを示す図である。撮影方向として、ベッドの「上方」、「短辺側」、「斜め側」、及び、「長辺側」から撮影した場合の例が示されている。なお、「斜め側」からの撮影方向とは、「短辺側」からの撮影方向と「長辺側」からの撮影方向との中間に位置する撮影方向である。また、被監視者の行動として、被監視者がベッド上で「寝姿勢」から「座位の姿勢」に変化した場合の例が示されている。また、「２次元画像」の行には、上記撮影方向のそれぞれから撮影して得られる２次元画像を用いて被監視者の行動（「寝姿勢」から「座位の姿勢」への変化）を検知した場合の精度（丸印：精度が高い、三角印：精度が中程度、Ｘ印：精度が低い）を示している。「距離画像」の行には、上記撮影方向のそれぞれから撮影して得られる距離画像を用いて被監視者の行動（「寝姿勢」から「座位の姿勢」への変化）を検知した場合の精度を示している。

図４の「上方」の欄から分かるように、ベッドの上方から撮影した場合には、被監視者の２次元形状の変化が中程度であるために、２次元画像を用いた場合に得られる精度は中程度である。一方、撮影距離（画像取得部１１と被監視者との距離）の変化が大きいために、距離画像を用いた場合に得られる精度は高い。

また、図４の「短辺側」の欄から分かるように、ベッドの短辺側から撮影した場合には、被監視者の２次元形状の変化が中程度であるために、２次元画像を用いた場合に得られる精度は中程度である。一方、撮影距離の変化が大きいために、距離画像を用いた場合に得られる精度は高い。

また、図４の「斜め側」の欄から分かるように、ベッドの斜め側から撮影した場合には、被監視者の２次元形状の変化が大きいために、２次元画像を用いた場合に得られる精度は高い。一方、撮影距離の変化が中程度であるので、距離画像を用いた場合に得られる精度は中程度である。

また、図４の「長辺側」の欄から分かるように、ベッドの長辺側から撮影した場合には、被監視者の２次元形状の変化が大きいために、２次元画像を用いた場合に得られる精度は高い。一方、撮影距離の変化が小さいために、距離画像を用いた場合に得られる精度は低い。

このような図４に示される結果を勘案して、アルゴリズム選択部１３は、より高い精度で被監視者の行動を検知するために、画像取得部１１の撮影方向に依存して、被監視者の行動を検知するために用いる撮影画像及び検知アルゴリズムの種類を変える。つまり、アルゴリズム選択部１３は、ベッド面３ａの撮影画像における形状が、ベッド３の上方又は短辺側からベッド３を撮影したときに得られる形状である場合に、距離画像を用いる第２行動検知アルゴリズムを選択する。一方、アルゴリズム選択部１３は、ベッド面３ａの撮影画像における形状が、ベッド３の上方及び短辺側以外の方向からベッド３を撮影したときに得られる形状である場合に、２次元画像を用いる第１行動検知アルゴリズムを選択する。

次に、以上のように構成された本実施の形態に係る行動監視システム５の動作について説明する。

図５は、実施の形態１に係る行動監視システム５の動作（つまり、行動監視方法）を示すフローチャートである。

まず、画像取得部１１は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する（画像取得ステップＳ１０）。例えば、画像取得部１１は、撮影画像として２次元画像を取得する。

次に、ベッド面検出部１２は、画像取得部１１によって取得された撮影画像を用いて、ベッド３のベッド面３ａを検出する（ベッド面検出ステップＳ１１）。具体的には、ベッド面検出部１２は、撮影画像として取得された２次元画像に対して輪郭抽出をし、矩形、台形、菱形を含む四角形を特定することにより、ベッド面３ａを検出する。

そして、アルゴリズム選択部１３は、ベッド面検出部１２で検出されたベッド面の撮影画像における形状に基づいて、記憶部１５に記憶されている第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する（アルゴリズム選択ステップＳ１２）。具体的には、アルゴリズム選択部１３は、ベッド面検出部１２によって検出されたベッド面３ａの撮影画像における形状が、ベッドの上方又は短辺側からベッドを撮影したときに得られる形状である場合に、第２行動検知アルゴリズムを選択する。一方、アルゴリズム選択部１３は、ベッド面検出部１２によって検出されたベッド面３ａの撮影画像における形状が、ベッドの上方及び短辺側以外の方向からベッドを撮影したときに得られる形状である場合に、第１行動検知アルゴリズムを選択する。これは、図４を用いて説明した通り、被監視者の行動をより高い精度で検知するためである。

次に、行動検知処理部１４は、アルゴリズム選択部１３で選択された第１行動検知アルゴリズム又は第２行動検知アルゴリズムを用いて、被監視者の行動を検知する（行動検知処理ステップＳ１３）。例えば、行動検知処理部１４は、アルゴリズム選択部１３で第１行動検知アルゴリズムが選択された場合には、選択された第１行動検知アルゴリズムを用いて被監視者の行動を検知する。具体的には、行動検知処理部１４は、画像取得部１１が２次元画像を周期的に取得するように制御し、取得された２次元画像の解析によって被監視者が「寝姿勢」から「座位の姿勢」に変化したことを検知したときに、被監視者が「起き上がった」と検知する。一方、行動検知処理部１４は、アルゴリズム選択部１３で第２行動検知アルゴリズムが選択された場合には、選択された第２行動検知アルゴリズムを用いて被監視者の行動を検知する。具体的には、行動検知処理部１４は、画像取得部１１が距離画像を周期的に取得するように制御し、取得された距離画像の解析によって被監視者が「寝姿勢」から「座位の姿勢」に変化したことを検知したときに、被監視者が「起き上がった」と検知する。

最後に、通信部１６は、行動検知処理部１４が検知した被監視者の行動を端末装置２０に通知する（Ｓ１４）。例えば、行動検知処理部１４から、被監視者が「起き上がった」との通知を受けた通信部１６は、被監視者が「起き上がった」こと、及び、そのときに得られた撮影画像を端末装置２０に通知する。その結果、図６の端末装置２０での表示例に示されるように、端末装置２０の画面に、被監視者が起き上がったこと、及び、被監視者の画像が表示される。

以上のように、本実施の形態に係る行動監視システム５を構成する行動監視装置１０は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得部１１と、画像取得部１１によって取得された撮影画像を用いて、ベッドのベッド面を検出するベッド面検出部１２と、２次元画像を用いて被監視者の行動を検知するための第１行動検知アルゴリズム、及び、距離画像を用いて被監視者の行動を検知するための第２行動検知アルゴリズムを記憶している記憶部１５と、ベッド面検出部１２で検出されたベッド面の撮影画像における形状に基づいて、記憶部１５に記憶されている第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択するアルゴリズム選択部１３と、アルゴリズム選択部１３で選択された第１行動検知アルゴリズム又は第２行動検知アルゴリズムを用いて、被監視者の行動を検知する行動検知処理部１４とを備える。

これにより、ベッド面の撮影画像における形状に基づいて、より高い精度で被監視者の行動を検知できる行動検知アルゴリズムとして、２次元画像を用いる第１行動検知アルゴリズム又は距離画像を用いる第２行動検知アルゴリズムが選択される。そして、選択された行動検知アルゴリズムを用いて被監視者の行動が検知される。よって、従来のように、２次元画像だけ、あるいは、距離画像だけを用いて被監視者の行動を検知する場合に比べ、より高い精度で被監視者の行動が監視される。

また、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方又は短辺側からベッドを撮影したときに得られる形状である場合に、第２行動検知アルゴリズムを選択し、ベッド面の撮影画像における形状が、ベッドの上方及び短辺側以外の方向からベッドを撮影したときに得られる形状である場合に、第１行動検知アルゴリズムを選択する。

これにより、画像取得部１１が撮影する方向に依存して、確実に、高い精度で被監視者の行動を検知できる行動検知アルゴリズムが選択される。

また、本実施の形態に係る行動監視システム５による行動監視方法は、被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得ステップＳ１０と、画像取得ステップＳ１０によって取得された撮影画像を用いて、ベッドのベッド面を検出するベッド面検出ステップＳ１１と、ベッド面検出ステップＳ１１で検出されたベッド面の撮影画像における形状に基づいて、２次元画像を用いて被監視者の行動を検知するための第１行動検知アルゴリズム、又は、距離画像を用いて被監視者の行動を検知するための第２行動検知アルゴリズムを選択するアルゴリズム選択ステップＳ１２と、アルゴリズム選択ステップＳ１２で選択された第１行動検知アルゴリズム又は第２行動検知アルゴリズムを用いて、被監視者の行動を検知する行動検知処理ステップＳ１３とを含む。

これにより、ベッド面の撮影画像における形状に基づいて、より高い精度で被監視者の行動を検知できる行動検知アルゴリズムが選択され、選択された行動検知アルゴリズムを用いて被監視者の行動が検知される。よって、従来のように、２次元画像だけ、あるいは、距離画像だけを用いて被監視者の行動を検知する場合に比べ、より高い精度で被監視者の行動が監視される。

（実施の形態２）
次に、実施の形態２に係る行動監視システムについて説明する。

図７は、実施の形態２に係る行動監視システム５ａの構成を示すブロック図である。本実施の形態に係る行動監視システム５ａは、介護施設等に設置される見守りシステムであり、管理室等に設置される端末装置２０と、被監視者の行動を監視して端末装置２０に通知する行動監視装置１０ａとで構成される。行動監視装置１０ａは、実施の形態１に係る行動監視装置１０が備える構成要素（画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６）に加えて、頭部検出部１７を備える。以下、実施の形態１と異なる点を中心に説明する。

頭部検出部１７は、画像取得部１１によって取得された撮影画像を用いて、被監視者の頭部を検出する処理部である。

アルゴリズム選択部１３は、ベッド面検出部１２で検出されたベッド面の撮影画像における形状と、頭部検出部１７で検出されたベッド面における頭部の位置とに基づいて、第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する。

なお、頭部検出部１７は、ベッド面検出部１２等と同様に、例えば、プログラムを格納したＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、カレンダ・タイマ、周辺回路と接続するための入出力回路等で構成されるマイクロコンピュータ等で実現される。

図８は、ベッドに対する画像取得部１１による撮影方向に依存して撮影画像（２次元画像及び距離画像）を用いた被監視者の行動検知の精度がどのように変わるかを示す図であり、実施の形態１の図４に相当する図である。本図では、被監視者の頭部がベッド面の中心よりも画像取得部１１から遠い位置にある点、及び、「距離画像」の行における「斜め側」に対応する箇所に丸印がつけられている（つまり、精度が高い）点が、図４と異なる。

本図に示されるように、被監視者の頭部がベッド面の中心よりも画像取得部１１から遠い位置にある場合、つまり、画像取得部１１が被監視者の足側から被監視者を撮影する場合には、「斜め側」から撮影したときに、「距離画像」での精度は高くなる。これは、画像取得部１１が被監視者の足側から、かつ、「斜め側」から被監視者を撮影した場合には、撮影画像において、被監視者の足が胴体に隠れることがないので、被監視者の足の３次元情報も取得できるからである。

よって、本実施の形態では、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方又は短辺側から画像取得部１１がベッドを撮影したときに得られる形状である場合、及び、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にある場合に、第２行動検知アルゴリズムを選択する。一方、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方及び短辺側以外の方向から画像取得部１１がベッドを撮影したときに得られる形状であり、かつ、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にない場合に、第１行動検知アルゴリズムを選択する。

図９は、実施の形態２に係る行動監視システム５ａの動作（つまり、行動監視方法）を示すフローチャートである。頭部検出ステップＳ２０が追加されている点、及び、アルゴリズム選択ステップＳ１２ａにおいて頭部の位置が考慮される点が、実施の形態１と異なる。

つまり、ベッド面検出部１２によるベッド面の検出（ベッド面検出ステップＳ１１）に続いて、頭部検出部１７は、画像取得部１１によって取得された撮影画像を用いて、被監視者の頭部を検出する（頭部検出ステップＳ２０）。具体的には、頭部検出部１７は、撮影画像として取得された２次元画像に対して輪郭抽出をし、一般的な人の頭部の形状として登録されたテンプレートと類似する輪郭を特定することにより、被監視者の頭部を検出する。

そして、アルゴリズム選択部１３は、ベッド面検出部１２で検出されたベッド面の撮影画像における形状と、頭部検出部１７で検出されたベッド面における頭部の位置とに基づいて、第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する（アルゴリズム選択ステップＳ１２ａ）。具体的には、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方又は短辺側から画像取得部１１がベッドを撮影したときに得られる形状である場合、及び、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にある場合に、第２行動検知アルゴリズムを選択する。一方、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方及び短辺側以外の方向から画像取得部１１がベッドを撮影したときに得られる形状であり、かつ、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にない場合に、第１行動検知アルゴリズムを選択する。

なお、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にあるか否かの判断は、例えば、ベッド面検出ステップＳ１１で検出されたベッド面、及び、頭部検出ステップＳ２０で検出された頭部の位置に基づいて行う。具体的には、検出されたベッド面が示す四角形から、２本の対角線の交点を、ベッド面の中心として算出し、ベッド面における頭部の位置が、ベッド面の中心よりも画像取得部１１から遠い位置にあるか否かで判断する。

行動監視方法における他のステップ（Ｓ１０、Ｓ１３〜Ｓ１４）については、実施の形態１と同様である。

以上のように、本実施の形態に係る行動監視システム５ａを構成する行動監視装置１０ａは、実施の形態１に係る行動監視装置１０の構成に加えて、画像取得部１１によって取得された撮影画像を用いて、被監視者の頭部を検出する頭部検出部１７を備え、アルゴリズム選択部１３は、ベッド面の撮影画像における形状と、ベッド面における頭部の位置とに基づいて、第１行動検知アルゴリズム又は第２行動検知アルゴリズムを選択する。

これにより、実施の形態１と異なり、ベッド面の形状に加えて、被監視者の頭部のベッド面における位置も考慮したうえで、２次元画像を用いる第１行動検知アルゴリズム又は距離画像を用いる第２行動検知アルゴリズムが選択される。そして、選択された行動検知アルゴリズムを用いて被監視者の行動が検知される。よって、実施の形態１に比べ、より適切に行動検知アルゴリズムが選択されるので、より高い精度で被監視者の行動が監視される。

また、アルゴリズム選択部１３は、ベッド面の撮影画像における形状が、ベッドの上方又は短辺側から画像取得部１１がベッドを撮影したときに得られる形状である場合、及び、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にある場合に、第２行動検知アルゴリズムを選択し、ベッド面の撮影画像における形状が、ベッドの上方及び短辺側以外の方向から画像取得部１１がベッドを撮影したときに得られる形状であり、かつ、ベッド面における頭部がベッド面の中心よりも画像取得部１１から遠い位置にない場合に、第１行動検知アルゴリズムを選択する。

これにより、画像取得部１１が撮影する方向だけでなく、撮影画像において被監視者の胴体で隠れてしまう足のことも考慮されるので、より確実に、かつ、高い精度で被監視者の行動を検知できる行動検知アルゴリズムが選択される。

（実施の形態３）
次に、実施の形態３に係る行動監視システムについて説明する。

図１０は、実施の形態３に係る行動監視システム５ｂの構成を示すブロック図である。本実施の形態に係る行動監視システム５ｂは、介護施設等に設置される見守りシステムであり、管理室等に設置される端末装置２０と、被監視者の行動を監視して端末装置２０に通知する行動監視装置１０ｂとで構成される。行動監視装置１０ｂは、実施の形態１に係る行動監視装置１０が備える構成要素（画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６）に加えて、制御部１８及び赤外光源１９を備える。以下、実施の形態１と異なる点を中心に説明する。

赤外光源１９は、被監視者に向けて赤外光を発する光源であり、例えば、赤外ＬＥＤである。

制御部１８は、画像取得部１１が２次元画像を取得するときに赤外光源１９が赤外光を発するように制御する処理部である。制御部１８は、ベッド面検出部１２等と同様に、例えば、プログラムを格納したＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、カレンダ・タイマ、周辺回路と接続するための入出力回路等で構成されるマイクロコンピュータ等で実現される。

図１１は、図１０に示された行動監視装置１０ｂの設置例を示す図である。ここでは、行動監視装置１０ｂの構成要素のうち、赤外光源１９がベッド３の直上の天井からベッド３を向くように設置され、画像取得部１１等を含む他の構成要素が天井のコーナーに設置された例が示されている。

本実施の形態では、制御部１８は、画像取得部１１が２次元画像を取得するときに赤外光源１９が赤外光を発するように制御する。これにより、画像取得部１１が２次元画像を取得するときの受光量が増加し、画像取得部１１は、ＳＮ比の高い２次元画像を取得できる。よって、行動検知処理部１４は、２次元画像を用いる第１行動検知アルゴリズムを用いた場合に、高い精度で、被監視者の行動を検知できる。

なお、制御部１８は、画像取得部１１が距離画像を取得するときには、赤外光源１９をオフ（赤外光を発しない状態）に制御する。また、制御部１８は、内蔵のカレンダ・タイマを用いて現在時刻が夜間（例えば、１７時から翌朝５時までの時間帯）であると判断した場合にだけ、画像取得部１１が２次元画像を取得するときに赤外光源１９が赤外光を発するように制御してもよい。

（実施の形態４）
次に、実施の形態４に係る行動監視装置について説明する。

図１２は、実施の形態４に係る行動監視装置１０ｃの構造を示す断面図である。本実施の形態に係る行動監視装置１０ｃは、実施の形態１に係る行動監視装置１０が備える構成要素（画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６）に加えて、特徴的な光学系を有する。以下、実施の形態１と異なる点を中心に説明する。

図１２に示されるように、行動監視装置１０ｃは、主要な構造物として、筐体３０、本体部３１、フィルタ部３２、アクチュエータ３３、及び、レンズ３４を備える。

筐体３０は、例えば、プラスチック製のボックスである。

本体部３１は、画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６（いずれも図示せず）の集合体であり、例えば、回路基板等に実装された回路及びカメラ等である。

フィルタ部３２は、少なくとも４５０ｎｍ以上７００ｎｍ以下の波長帯域の可視光を遮光する光学フィルタであり、例えば、バンドパスフィルタである。なお、フィルタ部３２は、可視光を完全に遮光できなくても、可視光を減光できればよい。

アクチュエータ３３は、フィルタ部３２を軸心３２ａ回りに回動させる駆動部であり、例えば、モータ及び歯車、あるいは、ソレノイド等で構成される。アクチュエータ３３は、本体部３１が有する制御回路あるいは画像取得部１１（いずれも図示せず）からの制御信号に基づいて、フィルタ部３２がオン／オフ状態になるように駆動する。オン状態は、フィルタ部３２が、外界から本体部３１に入射する光を遮るように、筐体３０の内側面に対して垂直に立ち上がった状態である。オフ状態は、フィルタ部３２が、外界から本体部３１に入射する光を遮らないように、筐体３０の内側面に沿って倒れた状態である。

具体的には、アクチュエータ３３は、画像取得部１１が２次元画像を取得するときはフィルタ部３２をオフ状態にし、一方、画像取得部１１が距離画像を取得するときはフィルタ部３２をオン状態にする。画像取得部１１が距離画像を取得するときは、赤外光が用いられるので、ノイズとなる可視光が画像取得部１１に入射されるのを抑制するためである。

レンズ３４は、外界から本体部３１（特に、画像取得部１１（図示せず））に入射する光を、画像取得部１１が有するイメージセンサに結像する光学レンズである。なお、レンズ３４は、フィルタ部３２よりも本体部３１に近い側に配置されても良い。

以上のように、本実施の形態に係る行動監視装置１０ｃは、実施の形態１に係る行動監視装置１０の構成に加えて、少なくとも４５０ｎｍ以上７００ｎｍ以下の波長帯域の可視光を遮光するフィルタ部３２を備え、画像取得部１１は、２次元画像を取得するときはフィルタ部３２を介さずに撮影し、距離画像を取得するときはフィルタ部３２を介して撮影する。

これにより、画像取得部１１が赤外光を用いて距離画像を取得するときは、ノイズとなる可視光が画像取得部１１に入射されるのが抑制され、赤外光の相対的な受光量が増加し、ＳＮ比の高い距離画像が取得される。

（実施の形態５）
次に、実施の形態５に係る行動監視装置について説明する。

本実施の形態に係る行動監視装置は、基本的に、実施の形態１と同様の構成要素を備えるが、特徴的な画像取得部を備える。

図１３は、実施の形態５に係る行動監視装置が備える画像取得部の特徴を説明する図である。ここでは、画像取得部が有する撮像素子１１ａの情報構成が示されている。具体的には、図１３の（ａ）では、２次元画像の情報構成が示され、図１３の（ｂ）では、距離画像の情報構成が示されている。

本実施の形態に係る画像取得部は、２次元状に配置された複数のサブピクセルで構成される撮像素子１１ａを有する。そして、画像取得部は、２次元画像を取得するときは、図１３の（ａ）に示されるように、複数のサブピクセルのそれぞれの情報を１ピクセルの情報として生成する。つまり、各サブピクセルの情報（可視光の強度を示す情報）を１ピクセルの情報として出力する。これにより、複数のサブピクセルの情報（例えば、４個のサブピクセルで３色（Ｒ，Ｇ，Ｂ）以上の色の強度を示す情報）を１ピクセルの情報として出力する一般的な場合に比べ、高い解像度の２次元画像が得られる。

また、画像取得部は、距離画像を取得するときには、図１３の（ｂ）に示されるように、２以上４以下の個数のサブピクセルの情報を１ピクセルの情報として生成する。つまり、２以上４以下の個数のサブピクセルの情報を一つの距離を示す情報として生成する。例えば、発光のオン・オフを繰り返すパルス光を投光し、それに対する反射光を受光する際に、４個のサブピクセルのそれぞれで、投光のタイミングに対して０度、９０度、１８０度、及び、２７０度だけ位相が遅延したオンのタイミングで受光する。そして、４個のサブピクセルの受光量から、距離を算出する。

以上のように、本実施の形態に係る行動監視装置が備える画像取得部は、２次元状に配置された複数のサブピクセルで構成される撮像素子を有し、２次元画像を取得するときは、複数のサブピクセルのそれぞれの情報を１ピクセルの情報として生成し、距離画像を取得するときは、２以上４以下の個数のサブピクセルの情報を１ピクセルの情報として生成する。

これにより、画像取得部で取得される２次元画像は、複数のサブピクセルの情報を１ピクセルの情報として出力する一般的な方法に比べ、高い解像度の画像となる。よって、ベッド面検出部１２が２次元画像を用いてベッド面を検出した場合には、一般的な方法よりも高い精度でベッド面が検出される。また、行動検知処理部１４が２次元画像を用いる第１行動検知アルゴリズムによって被監視者の行動を検知した場合には、一般的な方法よりも高い精度で被監視者の行動が検知される。

以上、本開示に係る行動監視システム、行動監視装置及び行動監視方法について、実施の形態１〜５に基づいて説明したが、本開示は、これらの実施の形態１〜５に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態１〜５のそれぞれに施したものや、実施の形態１〜５における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

例えば、本開示に係る行動監視装置は、上記実施の形態１〜５に係る行動監視装置が有する特徴の全てを備えてもよい。その行動監視装置は、実施の形態１に係る行動監視装置１０が備える構成要素に加えて、実施の形態２に係る頭部検出部１７、実施の形態３に係る制御部１８及び赤外光源１９、実施の形態４に係るフィルタ部３２及びアクチュエータ３３、実施の形態５に係る撮像素子１１ａを有する画像取得部を備える。これにより、上記実施の形態１〜５に係る行動監視装置の特徴の全てを備える高機能な行動監視装置が実現される。

また、上記実施の形態１に係る行動監視装置１０では、各構成要素（画像取得部１１、ベッド面検出部１２、アルゴリズム選択部１３、行動検知処理部１４、記憶部１５、及び、通信部１６）が一つの筐体に収容されていたが、このような構造に限定されない。これらの各構成要素は、有線又は無線の通信路を介して分散して配置されてもよい。

また、本開示は、図４及び図９に示される行動監視方法のステップの全て又は一部を含むプログラムを含んでもよいし、そのプログラムが格納されたコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体を含んでもよい。

３ ベッド
３ａ ベッド面
４ 被監視者
５、５ａ、５ｂ 行動監視システム
１０、１０ａ、１０ｂ、１０ｃ 行動監視装置
１１ 画像取得部
１１ａ 撮像素子
１２ ベッド面検出部
１３ アルゴリズム選択部
１４ 行動検知処理部
１５ 記憶部
１７ 頭部検出部
１８ 制御部
１９ 赤外光源
３２ フィルタ部

Claims (8)

1. 被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得部と、
   前記画像取得部によって取得された前記撮影画像を用いて、前記ベッドのベッド面を検出するベッド面検出部と、
   前記２次元画像を用いて前記被監視者の行動を検知するための第１行動検知アルゴリズム、及び、前記距離画像を用いて前記被監視者の行動を検知するための第２行動検知アルゴリズムを記憶している記憶部と、
   前記ベッド面検出部で検出された前記ベッド面の前記撮影画像における形状に基づいて、前記記憶部に記憶されている前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを選択するアルゴリズム選択部と、
   前記アルゴリズム選択部で選択された前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを用いて、前記被監視者の行動を検知する行動検知処理部と
   を備える行動監視装置。
2. 前記アルゴリズム選択部は、前記ベッド面の前記撮影画像における形状が、前記ベッドの上方又は短辺側から前記ベッドを撮影したときに得られる形状である場合に、前記第２行動検知アルゴリズムを選択し、前記ベッド面の前記撮影画像における形状が、前記ベッドの上方及び短辺側以外の方向から前記ベッドを撮影したときに得られる形状である場合に、前記第１行動検知アルゴリズムを選択する
   請求項１記載の行動監視装置。
3. さらに、前記画像取得部によって取得された前記撮影画像を用いて、前記被監視者の頭部を検出する頭部検出部を備え、
   前記アルゴリズム選択部は、前記ベッド面の前記撮影画像における形状と、前記ベッド面における前記頭部の位置とに基づいて、前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを選択する
   請求項１記載の行動監視装置。
4. 前記アルゴリズム選択部は、前記ベッド面の前記撮影画像における形状が、前記ベッドの上方又は短辺側から前記画像取得部が前記ベッドを撮影したときに得られる形状である場合、及び、前記ベッド面における前記頭部が前記ベッド面の中心よりも前記画像取得部から遠い位置にある場合に、前記第２行動検知アルゴリズムを選択し、前記ベッド面の前記撮影画像における形状が、前記ベッドの上方及び短辺側以外の方向から前記画像取得部が前記ベッドを撮影したときに得られる形状であり、かつ、前記ベッド面における前記頭部が前記ベッド面の中心よりも前記画像取得部から遠い位置にない場合に、前記第１行動検知アルゴリズムを選択する
   請求項３記載の行動監視装置。
5. さらに、
   前記被監視者に向けて赤外光を発する赤外光源と、
   前記画像取得部が前記２次元画像を取得するときに前記赤外光源が赤外光を発するように制御する制御部とを備える
   請求項１〜４のいずれか１項に記載の行動監視装置。
6. さらに、少なくとも４５０ｎｍ以上７００ｎｍ以下の波長帯域の可視光を遮光するフィルタ部を備え、
   前記画像取得部は、前記２次元画像を取得するときは前記フィルタ部を介さずに撮影し、前記距離画像を取得するときは前記フィルタ部を介して撮影する
   請求項１〜５のいずれか１項に記載の行動監視装置。
7. 前記画像取得部は、２次元状に配置された複数のサブピクセルで構成される撮像素子を有し、前記２次元画像を取得するときは、前記複数のサブピクセルのそれぞれの情報を１ピクセルの情報として生成し、前記距離画像を取得するときは、２以上４以下の個数のサブピクセルの情報を１ピクセルの情報として生成する
   請求項１〜６のいずれか１項に記載の行動監視装置。
8. 被監視者、ベッド及びベッド近傍領域を撮影することにより、撮影画像として２次元画像又は距離画像を選択的に取得する画像取得ステップと、
   前記画像取得ステップによって取得された前記撮影画像を用いて、前記ベッドのベッド面を検出するベッド面検出ステップと、
   前記ベッド面検出ステップで検出された前記ベッド面の前記撮影画像における形状に基づいて、前記２次元画像を用いて前記被監視者の行動を検知するための第１行動検知アルゴリズム、又は、前記距離画像を用いて前記被監視者の行動を検知するための第２行動検知アルゴリズムを選択するアルゴリズム選択ステップと、
   前記アルゴリズム選択ステップで選択された前記第１行動検知アルゴリズム又は前記第２行動検知アルゴリズムを用いて、前記被監視者の行動を検知する行動検知処理ステップと
   を含む行動監視方法。

Images