JP2020194493A - 介護設備又は病院用の監視システム及び監視方法 - Google Patents

Abstract

【課題】病院や介護施設等において、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供すること。【解決手段】撮影部１２０と、監視対象特定部１３１と、動作認識部１３２と、ケア水準記憶部１３３と、ケア水準別の対応基準を登録することができる対応基準記憶部１３４と、ケア水準と動作との組合せを、ケア水準別の対応基準と照合することによって、監視対象者に対する対応の要否を判定する対応要否判定部１３５と、対応要否判定部１３５によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部１４０と、を備える、監視システム１００とする。【選択図】図１

Description

本発明は、介護設備又は病院用の監視システム及び監視方法に関する。

従来、病院や介護施設等において、監視対象者である被介護者の挙動を監視画像により監視する様々な監視システムが存在する。この種の監視システムは、一般に、監視対象者を撮影する監視カメラ等の撮影装置と、撮影された監視画像を監視者に送信する情報送信装置と、を含んで構成されている。

そのような監視システムでは、一般に、監視対象者の動作を画像解析等により把握して、把握した動作の種類に対応する特定の通知が行われる。そのような監視システムとして、例えば、特許文献１には、監視対象者のプライバシーに配慮し、撮影した監視画像そのものではなく、当該監視画像を解析した解析結果のみを監視者に通知する監視システム（特許文献１参照）が開示されている。

しかしながら、実際には、例えば、特許文献１に開示されている監視システムのように、監視対象者の監視画像を解析して監視者に定型的な動作に対して定型的な対応を求める情報を通知する監視システムにおいて、監視者は、画一的に発せられる通知に対して、逐一個々の監視対象者の特性を考慮した上で対応の要否を個別に判断する必要があった。

特開２０１４−７６８５号公報

本発明は、以上の状況に鑑みてなされたものであり、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供することを目的とする。

本発明は、以下の解決手段により、上述の課題を解決する。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 介護設備又は病院用の監視システムであって、監視対象領域を撮影する撮影部と、前記撮影部が撮影した監視画像中の監視対象者を特定することができる監視対象特定部と、前記監視対象特定部によって特定された監視対象者が行う動作を認識することができる動作認識部と、各々の監視対象者に個別に設定されている固有のケア水準を登録することができるケア水準記憶部と、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる対応基準記憶部と、前記監視対象者に設定されている前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と照合することによって、該監視対象者に対する対応の要否を判定する対応要否判定部と、前記対応要否判定部によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部と、を備える、監視システム。

（１）の発明は、介護設備又は病院用の監視システムにおいて、監視対象者の動作を認識して通知するための各手段に加えて、更に、ケア水準記憶部、対応基準記憶部、及び、対応要否判定部を含む構成とした。これにより、個々の監視対象者のケア水準に応じて対応の要否をより細やかに判定することができるようにした。これにより、病院や介護施設等において、監視対象者毎のケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができ、監視者の監視負担を軽減することができる。

（２） 前記撮影部が２次元情報のみを有する監視画像を撮影可能な単眼カメラであって、前記監視画像中の位置を前記監視対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部を、更に備える、（１）に記載の監視システム。

（２）の発明は、例えば、高価な３Ｄカメラ等を導入することなく廉価で取得可能な単眼カメラによって、（１）の監視システムを構成可能としたものである。これにより（１）の発明の効果をより経済的に享受することができる。

（３） 前記動作認識部は、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記３次元空間内における位置を特定する位置特定部と、を備え、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、（１）又は（２）に記載の監視システム。

（３）の発明は、例えば、後述の「ＯｐｅｎＰｏｓｅ」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができる構成としたものである。これによれば、監視者が認識すべき各種の動作を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。

（４） 各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得部を、更に備え、前記ケア水準記憶部には、各々の監視対象者の固有の前記ケア水準と該監視対象者の固有の前記顔認証情報との組合せである顔認証済ケア水準情報を、前記ケア水準として登録することができる、（１）から（３）の何れかに記載の監視システム。

（４）の発明は、（１）から（３）の何れかの発明において、監視対象者の固有の顔認証情報を取得する顔認証情報取得部を、更に備える構成としたものである。これにより、監視対象領域内に複数の監視対象者が存在する場合において、監視対象者の取り違え等のミスが起こるリスクを大幅に軽減することができる。特に大量の監視対象者が存在する大規模の病院や介護施設等、或いは、多数の監視対象者が出入りする監視対象領域において、（１）の発明の上述の高い判断精度を維持することができる。

（５） 複数の前記監視対象者を、それぞれ異なる固有の色彩及び／又は形状からなる識別情報が付加された状態で表示する、個人識別監視画像を生成する、監視画像生成部を、更に備える、（１）から（４）の何れかに記載の監視システム。

（５）の発明は、（１）から（４）の何れかの発明において、監視者が、監視用のモニター等において、個々の監視対象者の識別をより容易に行えるようにした。これにより、（１）から（４）の何れかの発明の使用時における監視者の判断負担をより軽減させて監視者の見間違い等の人為的ミスのリスクを低減させることにより、上述の高い判断精度をより実質的且つ確実に維持することができる。

（６） （１）から（５）の何れかに記載の監視システムが設置されている、介護設備又は病院。

（６）の発明は、（１）から（５）の何れかの発明の奏する上記効果を享受して、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができるシステムを介護設備又は病院に導入することができる。これにより、介護設備や病院において、介護者や看護者等による被介護者や患者に対する監視作業の負担を軽減することができる。

（７） 介護設備又は病院用の監視方法であって、各々の監視対象者に個別に設定されている固有のケア水準が登録されているケア水準記憶部と、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準が登録されている対応基準記憶部と、を備えてなる監視システムを用い、撮影部が、監視対象領域を撮影する監視撮影ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、動作認識部が、前記監視対象特定ステップにおいて特定された監視対象者が行う動作を認識する動作認識ステップと、対応要否判定部が、前記監視対象者に対する対応の要否を判定するケア要否判定ステップと、対応要求通知出力部が、前記対応要否判定部によって対応が必要であると判断された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、前記ケア要否判定ステップにおいては、前記監視対象者の固有の前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と、照合することによって、対応の要否が判定される、監視方法。

（７）の発明は、介護設備又は病院において、監視対象者の動作を認識して通知するための各手段に加えて、更に、ケア水準記憶部、対応基準記憶部、及び、対応要否判定部を含む構成としたシステムを用いることにより、個々の監視対象者のケア水準に応じて対応の要否をより細やかに判定することができるようにした。これにより、病院や介護施設等において、監視対象者毎のケアの必要度に係る情報を、従来の監視方法よりもより高い判断精度で監視者は取得することができ、監視者の監視負担を軽減することができる。

本発明によれば、病院や介護施設等において、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供することができる。

本発明の監視システムが設置されている介護設備の様子を模式的に示す図である。 本発明の監視システムの基本構成と動作の説明に供するブロック図である。 本発明の監視システムを構成するケア水準記憶部に登録される、具体的な登録データの一例を示す図面である。 本発明の監視システムを構成する対応基準記憶部に登録される、具体的な登録データの一例を示す図面である。 本発明の監視方法の動作の流れを示すフローチャートである。 本発明の監視システムの動作認識部によって認識される特定動作の例を模式的に示す図面である。 本発明の実施形態の他の一例であって、骨格抽出部、及び、位置特定部を更に備える監視システムにおける、動作認識の態様の他の一例を模式的に示す図面である。 本発明の実施形態の他の一例であって、顔認証情報登録部を更に備える監視システムにおける、監視対象者毎に異なる固有の顔認証情報の取得態様の一例を模式的に示す図面である。 本発明の実施形態の他の一例であって、個人の識別がより容易となる監視画像生成部を更に備える監視システムにおける、生成された個人識別監視画像の表示態様の一例である。 本発明の監視装置を構成する撮影部の取り付け態様の一例、及び座標の設定方法の態様の一例を示す図である。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

＜監視システム＞
図１は、監視システム１００が設置されている介護設備２００の様子を模式的に示す図である。但し、本発明の監視システムの適用対象は、同図に示すような、介護設備に限られない。介護設備以外の病院、或いは、その他何らかの医療対応や保険療養を必要とする人等を滞在させる同様の施設、設備等において、それらの施設、設備に滞在する被介護者等を、その安全を維持するために監視する手段として、広く適用可能なシステムである。尚、本発明の監視システムは、公共施設である介護施設や病院等の他、同様の状況にある個人の住居等にも設置して、その効果を享受することができる。

［全体構成］
図１に示す通り、監視システム１００の好ましい実施形態の一例として、複数の個室２１０Ａ、２１０Ｂ、２１０Ｃ、共用スペース２２０、及び、管理室２３０を有する介護設備２００において、監視対象者（非介護者）（１０Ａ〜Ｆ）が滞在する各個室（２１０Ａ、２１０Ｂ、２１０Ｃ）及び共用スペース２２０、に、それぞれ、撮影部（監視カメラ）（１２０Ａ〜１２０Ｆ）が設置されていて、監視者２１がいる管理室２３０には、対応要求通知を出力する対応要求通知出力部１４０Ａが設置されている構成を挙げることができる。又、図１に示す通り、監視システム１００においては、管理室２３０以外の場所（図１においては共用スペース２２０）にいる監視者２２が携帯する小型の情報処理端末についても、これを対応要求通知出力部１４０Ｂとして使用できるように監視システムを構成することがより好ましい。

図２のブロック図に示す通り、この監視システム１００は、少なくとも、撮影部１２０と、演算処理部１３０と、対応要求通知出力部１４０と、を含んで構成される。又、演算処理部１３０は、少なくとも、監視対象特定部１３１、動作認識部１３２、ケア水準記憶部１３３、対応基準記憶部１３４、対応要否判定部１３５と、を含んで構成される。

監視システム１００は、撮影部１２０と演算処理部１３０と、対応要求通知出力部１４０を、それぞれ適切な離れた位置に配置して構成することができる。但し、本発明の監視システムの構成は、このような配置からなる構成に限定されない。例えば、撮影部１２０と演算処理部１３０とが一体化されている装置とした構成、或いは、演算処理部１３０の一部を撮影部１２０内に搭載した構成とすることもできる。

［撮影部］
撮影部１２０は、監視対象領域を撮影する、所謂、監視カメラである。撮影部１２０は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。

又、監視システム１００において、撮影部１２０が２次元情報のみを有する監視画像を撮影可能な単眼カメラである場合、監視システム１００は、監視画像中の位置を監視対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部（図示せず）を、更に備えることが好ましい。座標設定部は撮影部１２０に内蔵されていてもよいし、別途の装置として追加的に付加されていてもよい。

座標設定部は、撮影部１２０が撮影した撮影画像中の床面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。この座標設定部が行う座標の設定は、監視を実行するよりも先に行われることが好ましい。より具体的には、座標設定部が行う座標の設定は、例えば、監視システム１００を設置したときに適切に行われていることが好ましく、これにより、その後、撮影部１２０の配置を変更したりしない限り、再度の設定を不要とすることができる。この座標設定部が設定する座標とは、撮影部１２０が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面にあるとしたときに、その床面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、実寸法と関連付けて設定される。撮影部１２０が撮影する撮影画像は、二次元の画像情報であることから、撮影画像中である位置を選択（特定）したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面上に実寸法と関連付けた座標を設定した上で、撮影画像中で選択（特定）する位置を、床面であると限定すれば、撮影画像中で選択（特定）された位置が実空間（監視領域）のどの位置の床面であるのかを特定可能となる。そこで、座標設定部は、床面に対応させた座標を設定する。このような座標の設定の具体的実施方法は後述する。

［演算処理部］
演算処理部１３０は、撮影部１２０から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部１３０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部１３０は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部１３０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部１３０は、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

演算処理部１３０は、撮影部１２０から画像データを受信することができるように撮影部１２０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部１３０は、撮影部１２０の近傍に配置せずに、撮影部１２０から離れた遠隔地に配置してもよい。

（監視対象特定部）
監視対象特定部１３１は、監視動作中に、撮影部１２０が撮影した監視画像中の任意の監視対象者を自動的に検出して、これを監視対象者として特定する。又、監視対象特定部１３１は、複数の監視対象者を同時に並行して個別に特定する機能も有するものであることが好ましい。この監視対象者の特定は、従来公知の様々な画像解析方法によることができるが、ニューラルネットワークを有する機械学習型の画像解析装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いて監視対象特定部１３１を構成することが好ましい。

（動作認識部）
動作認識部１３２は、監視対象特定部１３１によって特定された監視対象者が行う動作を認識する。この動作の特定は、従来公知の様々な画像解析方法によることができるが、上述の「ディープラーニング技術を用いた画像認識装置」を用いて動作認識部１３２を構成することが好ましい。

又、動作認識部１３２は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、この骨格抽出部が抽出した特徴点の位置を特定する位置特定部と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する（図６、図７参照）。又、位置特定部は、骨格抽出部が抽出した骨格を構成する特徴点の「監視対象領域を構成する３次元空間内における位置」を特定する。この「監視対象領域を構成する３次元空間内における位置」とは、上記の特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「３次元位置情報」に基づいて特定するこができる。

動作認識部１３２は、上記の特徴点の「監視対象領域３次元空間内における位置」の変動に係る情報に基づいて、監視対象領域３次元空間内における監視対象者の「動作」を認識することができる。尚、ここでいう「動作」には、監視対象者の位置変動、位置変動を伴わない姿勢の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象者のあらゆる動きが含まれる（図６、図７参照）。

（ケア水準記憶部）
ケア水準記憶部１３３は、例えば、図３に示すように、各々の監視対象者に個別に設定されている固有のケア水準を登録することができる。ケア水準記憶部１３３は、このような情報を登録可能な各種の記憶装置等により構成することができる。図３は、各々の監視対象者の識別（ＩＤ）情報と、各々の監視対象者毎に個別に設定されている固有のケア水準の組合せを記憶するための記憶装置内の記憶用のテーブルの一例である。このテーブルに記憶されている情報に従えば、「ＩＤ：０００１」の監視対象者と、「ＩＤ：０００２」の監視対象者のケア水準は何れも「１」であるが、「ＩＤ：０００３」、「ＩＤ：０００５」及び「ＩＤ：０００８」の監視対象者のケア水準は、何れも「３」である。

（対応基準記憶部）
対応基準記憶部１３４は、ケア水準記憶部１３３に登録されている任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる。対応基準記憶部１３４は、このような情報を登録可能な各種の記憶装置等により構成することができる。図４は、各々のケア水準と各ケア水準毎に個別に設定されている特定動作との組合せを記憶するための記憶装置内の記憶用のテーブルの一例である。

又、対応基準記憶部１３４においては、図４に例示するように、同一のケア水準に対して、個室と共用スペースにおいてそれぞれ異なる特定動作が設定されていることがより好ましい。このテーブルに記憶されている情報に従えば、「ケア水準１」に対応する特定動作は、監視対象者が個室にいる場合においては、「徘徊」であり、監視対象者が共用スペースにいる場合においては「徘徊・暴れ」である。これに対して「ケア水準２」に対応する特定動作は、監視対象者が個室にいる場合においては、「起き上がり」であり、監視対象者が共用スペースにいる場合においては「転倒」である。

（対応要否判定部）
対応要否判定部１３５は、監視対象特定部１３１及び動作認識部１３２によって取得した監視対象者の動作について、ケア水準記憶部１３３に登録されている当該監視対象者のケア水準と対応基準記憶部１３４に登録されている当該監視対象者が行った動作との組合せとして認識し、これを、対応基準記憶部１３４に登録されているケア水準別の対応基準と照合することによって、当該監視対象者に対する対応の要否を判定する。対応要否判定部１３５は、このような簡単な情報のマッチング解析とその結果の出力が可能な各種の情報処理装置やプログラム等により構成することができる。

［対応要求通知出力部］
対応要求通知出力部１４０は、対応要否判定部１３５によって任意の監視対象者について、対応が必要であると判断された場合に、対応要否判定部１３５の判定結果を対応要求通知として監視作業者が認知可能な形式で出力する。対応要求通知出力部１４０は、モニター付きのパーソナルコンピュータ（図１の１４０Ａ）、或いは、容易に持ち運ぶことができる小型の携帯情報処理端末（図１の１４０Ｂ）、等のように、対応要否判定部１３５が出力する判定結果に係る情報を、監視作業者（図１の２１、２２）が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。

［監視システムのその他の機能］
監視システム１００は、以上説明した須各構成部分の他、更に、顔認証取得部や、図９に示すような個人識別監視画像１４１を生成する機能を有する画像生成部を更に備えるものであることがより好ましい。

（顔認証情報取得部）
顔認証情報取得部は、従来の公知の各種の顔認証情報取得装置を用いることができる。監視システム１００に顔認証情報取得部を更に備えさせることにより、例えば図８に示すように、顔認証情報取得部１４０により、予め、監視対象者１０の固有の生体識別情報として顔認証情報を取得し、各々の監視対象者の固有のケア水準と当該監視対象者の固有の顔認証情報との組合せである顔認証済ケア水準情報を、ケア水準としてケア水準記憶部１３３に録しておくことができる。これにより、監視対象者の数が多数である場合であっても、各監視対象者の識別を、誤認知の極めて少ない高い精度で行うことができるようになる。

（監視画像生成部）
監視画像生成部は、図９に示すような個人識別監視画像１４１を生成する機能を有する画像処理装置であれば、特に限定なく公知の画像処理装置を用いて構成することができる。個人識別監視画像１４１は、複数の監視対象者を、それぞれ異なる固有の色彩及び／又は形状からなる識別情報が付加された状態で表示する監視画像である。図８はそのような監視画像が小型の情報処理端末である対応要求通知出力部１４０Ｂに表示されている状態を示している。

例えば、対応要求通知出力部１４０Ｂの画像表示面においてタッチパネル方式で特定の監視対象者（図９中の監視対象者１０Ｌ）を、特定の監視対象として指定することができるようにすることも好ましい。

［監視システムの動作］
図５は、監視システム１００を用いて実行することができる本発明の監視方法の流れを示すフローチャートである。

（座標設定ステップ）
座標設定ステップＳ１１を予め行う場合には、座標設定部が、座標設定処理を行う。座標設定ステップＳ１１で行われる座標設定処理とは、例えば、座標設定部が、撮影部１２０が撮影した監視画像中の床面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する３次元座標を設定する処理である。撮影部１２０が撮影する監視画像が通常の２次元の画像情報である場合、監視画像中である位置を選択（特定）したとしても、それだけでは、選択（特定された）位置（２次元位置）が、実際の３次元空間上におけるいかなる位置（３次元位置）であるのかを特定することができない。しかし、床面上に、「監視対象領域３次元空間内における実寸法」と関連付けた座標を設定した上で、監視画像中で選択（特定）する位置を、床面であると限定すれば、監視画像中で選択（特定）された位置が監視対象領域３次元空間内におけるどの位置の床面であるのかを特定することが可能となる。そこで、座標設定部は床面に対応させた座標を設定する。

座標設定ステップは、一例として図１０に示すような態様で行われる。同図に示す通り、撮影部１２０が撮影する監視画像中における、中心位置に存在する床面３００の実際の中心位置ＰＯ、即ち、撮影レンズの光軸Ｏが床面３００と交わる中心位置ＰＯは、幾何学的に特定可能である。具体的には、撮影部１２０が設置されている位置の床面３００からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１２０の真下の位置から中心位置ＰＯまでの距離ＬＯを求めることができる。又、垂直方向画角θは、撮影部１２０を構成するカメラの撮像素子のサイズと撮影レンズの諸元から一義的に決まる既知の値であるので、中心位置ＰＯから撮影範囲の最近点Ｐ１までの距離Ｌ１と、中心位置ＰＯから撮影範囲の最遠点Ｐ２までの距離Ｌ２とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と監視対象領域３次元空間内における実際の位置（実寸法、実距離）とを関連付けることができる。

尚、撮影部１２０に撮影と平行して監視画像に３次元情報を付与することができる機能、（例えば、距離センサー等の測距手段等による）を搭載する場合であれば、撮影部１２０とは別個の座標設定部や個別のステップとしての座標設定ステップは、本発明の監視方法において必ずしも必須のステップではない。

（監視撮影ステップ）
監視撮影ステップＳ１２では、撮影部１２０が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

（監視対象特定ステップ）
監視対象特定ステップＳ１３では、監視対象特定部１３１が、撮影部が撮影した監視画像中の監視対象者を検出して特定したか否かについて判断を行う。監視対象者を検出して特定した場合（Ｓ１３、Ｙｅｓ）には、動作認識ステップＳ１４へ進み、監視対象者が検出されていない場合（Ｓ１３、Ｎｏ）には、監視撮影ステップＳ１２へ戻り、監視動作を継続する。

監視対象者の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ２４で取得された画像データと、事前に取得しておいた監視領域Ａの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。

又、検出した監視対象者の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

尚、本発明においては、図６、図７に示すように、監視対象者が寝ている状態での監視が必要となる場合が多い。従来の各種の画像認識プログラム及び同プログラムを用いた画像認識装置においては、多くの場合、直立した人間における身体各部の位置関係を認識のための特徴点としている。よって監視対象者が寝ている状態、即ち、頭部の胴部と四肢の位置関係（上下関係）が直立した状態とは異なる場合に、認識の精度が著しく低下する場合がある。この場合は、例えば、座標そのものを、原点を中心に９０°、或いは、その他の適切な角度で回転させる座標変換を行うことにより、寝ている状態の人間の認識率を高めることができる。

（動作認識ステップ）
動作認識ステップＳ１４では、動作認識部１３２が、監視対象特定ステップＳ１３において特定した監視対象者が行う動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップＳ１４を行うための画像解析方法は特定の方法、手段に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の３次元空間内における位置を特定する位置特定部と、を備えなる動作認識部１３２によって行われる動作認識方法によることが好ましい。以下、動作認識ステップＳ１４が、上記の骨格抽出部及び位置特定部を備える動作認識部１３２によって行われる場合の実施形態について、具体的に説明する。

図６は、骨格抽出部及び位置特定部を備える動作認識部１３２において認識される特定動作の例を模式的に示す図面である。ぞれぞれ、監視対象者１０Ｇは、ベッドに寝ている状態、監視対象者１０Ｈは、ベッドから上半身を起こした状態、そして監視対象者１０Ｉは、ベッドの端部に座った状態（端坐位の状態）が、それぞれの監視対象者の動作として認識されている。

図７は、骨格抽出部及び位置特定部を備える動作認識部１３２によって、監視対象領域空間内での監視対象者の動作が認識されている状態を示す図である。ここでは、ベッドに側臥している監視対象者１０Ｊの姿勢や視線方向ｅが、動作認識部１３２によって認識されている。このように、骨格抽出部を備える動作認識部１３２は、監視対象者１０Ｊの骨格１０Ｊ´を抽出することができる。ここで、本明細書における、監視対象者の「骨格」とは、監視対象者の複数の特徴点とこれらを連接してなる線状の図形である。

図７に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の監視画像から「人」の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の「監視対象領域空間内における位置」を、例えば、上記の座標設定ステップによって予め設定されている座標を用いることによって特定し、特定された全ての特徴点の位置、速度を解析することによって、監視対象者の動作を認識することができる。

（ケア要否判定ステップ）
ケア要否判定ステップＳ１５では、対応要否判定部１３５が、監視対象者に設定されているケア水準と当該監視対象者が行った動作との組合せを、ケア水準別の対応基準と照合することによって、当該監視対象者に対する対応の要否を判定する。

各々の監視対象者に個別に設定されている「固有のケア水準」は、本発明の監視システム１００が必須の構成として備えるケア水準記憶部１３３に登録されている。又、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せである「ケア水準別の対応基準」は、同じく監視システム１００が必須の構成として備える対応基準記憶部１３４に登録されている。ケア要否判定ステップＳ１６においては、対応要否判定部１３５が、予め登録されているこれらの各個人情報を用いて、動作認識部１３２により認識された監視対象者の動作に応じて、当該監視対象者に対する対応の要否が判定される。

例えば、ケア水準記憶部１３３に登録されている当該監視対象者のケア水準が１である場合であれば、動作認識部１３２により認識された監視対象者の動作が、対応基準記憶部に記録されているケア水準１に対応する動作であるか否かによって、即ち、監視対象者の固有のケア水準と、当該監視対象者が行っている動作との組合せを、ケア水準別の対応基準に登録されているケア水準と特定動作との組合せと、照合することによって、当該監視対象者に対する対応の要否が判定される。この場合、認識された監視対象者が個室に滞在していて、尚且つ、徘徊が認識された場合には、対応が必要と判断される。一方で、監視対象者がケア水準３である場合であれば、動作認識部１３２により認識された監視対象者の動作が、対応基準記憶部に記録されているケア水準３に対応する動作であるか否かによって、即ち、ケア水準３であるという監視対象者の固有のケア水準と、当該監視対象者が行っている動作との組合せを、ケア水準別の対応基準に登録されているケア水準と特定動作との組合せと、照合することによって、当該監視対象者に対する対応の要否が判定される。この場合、認識された監視対象者（ケア水準３）が「個室」に滞在していて、尚且つ、端坐位が認識された場合には、対応が必要と判断される。

ケア要否判定ステップＳ１５において、対応要否判定部１３５が、監視対象者の動作から対応が必要であると判断した場合（Ｓ１５、Ｙｅｓ）には、対応要求通知出力ステップＳ１７へ進み、監視対象者の動作から対応が必要ではないと判断した場合（Ｓ１５、Ｎｏ）には、監視撮影ステップＳ１２へ戻る。

（対応要求通知出力ステップＳ１７）
対応要求通知出力ステップＳ１７では、演算処理部１３０が、監視対象者に対する対応が必要であると判断した場合に、対応要求通知を対応要求通知出力部１４０に出力する。対応要求通知の形式は監視者がどの監視対象者に対して対応が必要であるのかを識別できる形式であれば特定の形式に限定されない。監視対象者を他の対象から区別する特定の色の囲み枠線、動作の状態を認識可能な当該監視対象者の骨格情報、ケアを必要としていることを示すサイン（光の点滅や警告音等）等が監視者の保持する、対応要求通知出力部１４０から出力されることが好ましい。

対応要求通知出力部１４０に出力される上記の対応要求通知は、監視対象者毎の個別のケア水準の程度が加味された上でケアの必要度が判断されているので、従来の監視システムよりも判断の精度が高く、これに応じて、監視者は対応に着手することにより、より効率よく必要なケア対応を行うことができる。

尚、対応要求通知出力ステップＳ１７では、演算処理部１３０が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合（Ｓ１８、Ｙｅｓ）には、監視動作を終了し、それ以外の場合（Ｓ１８、Ｎｏ）には、監視撮影ステップＳ１２へ戻り、監視を継続する。

１００ 監視システム
１１０ 顔認証情報取得部
１２０（１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄ） 撮影部（監視カメラ）
１３０ 演算処理部
１３１ 監視対象特定部
１３２ 動作認識部
１３３ ケア水準記憶部
１３４ 対応基準記憶部
１３５ 対応要否判定部
１４０（１４０Ａ、１４０Ｂ） 対応要求通知出力部
１４１ 個人識別監視画像
２００ 介護施設
２１０（２１０Ａ、２１０Ｂ、２１０Ｃ） 個室
２２０ 共用スペース
２３０ 管理室
１０（１０Ａ〜１０Ｍ） 監視対象者
２１、２２ 監視者
３００ 床面
Ｓ１１ 座標設定ステップ
Ｓ１２ 監視撮影ステップ
Ｓ１３ 監視対象特定ステップ
Ｓ１４ 動作認識ステップ
Ｓ１５ ケア要否判定ステップ
Ｓ１６ 対応要求通知出力ステップ

Claims (7)

1. 介護設備又は病院用の監視システムであって、
   監視対象領域を撮影する撮影部と、
   前記撮影部が撮影した監視画像中の監視対象者を特定することができる監視対象特定部と、
   前記監視対象特定部によって特定された監視対象者が行う動作を認識することができる動作認識部と、
   各々の監視対象者に個別に設定されている固有のケア水準を登録することができるケア水準記憶部と、
   任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる対応基準記憶部と、
   前記監視対象者に設定されている前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と照合することによって、該監視対象者に対する対応の要否を判定する対応要否判定部と、
   前記対応要否判定部によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部と、
   を備える、監視システム。
2. 前記撮影部が２次元情報のみを有する監視画像を撮影可能な単眼カメラであって、
   前記監視画像中の位置を前記監視対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部を、更に備える、
   請求項１に記載の監視システム。
3. 前記動作認識部は、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記３次元空間内における位置を特定する位置特定部と、を備え、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、請求項１又は２に記載の監視システム。
4. 各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得部を、更に備え、
   前記ケア水準記憶部には、各々の監視対象者の固有の前記ケア水準と該監視対象者の固有の前記顔認証情報との組合せである顔認証済ケア水準情報を、前記ケア水準として登録することができる、
   請求項１から３の何れかに記載の監視システム。
5. 複数の前記監視対象者を、それぞれ異なる固有の色彩及び／又は形状からなる識別情報が付加された状態で表示する、個人識別監視画像を生成する、監視画像生成部を、更に備える、請求項１から４の何れかに記載の監視システム。
6. 請求項１から５の何れかに記載の監視システムが設置されている、介護設備又は病院。
7. 介護設備又は病院用の監視方法であって、
   各々の監視対象者に個別に設定されている固有のケア水準が登録されているケア水準記憶部と、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準が登録されている対応基準記憶部と、を備えてなる監視システムを用い、
   撮影部が、監視対象領域を撮影する監視撮影ステップと、
   監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、
   動作認識部が、前記監視対象特定ステップにおいて特定された監視対象者が行う動作を認識する動作認識ステップと、
   対応要否判定部が、前記監視対象者に対する対応の要否を判定するケア要否判定ステップと、
   対応要求通知出力部が、前記対応要否判定部によって対応が必要であると判断された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、
   前記ケア要否判定ステップにおいては、前記監視対象者の固有の前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と、照合することによって、対応の要否が判定される、
   監視方法。
   
   

Images