JP2020195110A - 共用スペース用の監視システム及び監視方法 - Google Patents

Abstract

【課題】監視画像内での監視対象者の識別を、誤認知の極めて少ない高い精度で行うことができる監視システムを提供する。【解決手段】複数の登録された監視対象者が滞在する共用スペース用の監視システム１００であって、顔認証情報を取得する顔認証情報取得部１１０と、撮影部１２０と、撮影部１２０が撮影した監視画像中の一の監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって顔認証情報と結び付けて、他の監視対象者とは区別して特定する、監視対象特定部１３１と、監視対象特定部１３１によって特定された監視対象者が、固有の前記顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する監視画像生成部１３３と、監視画像表示部１４０と、を備える。【選択図】図２

Description

本発明は、複数の登録された監視対象者が滞在する共用スペース用の監視システム及び監視方法に関する。

従来、病院や介護施設等、或いは、その他の宿泊施設等において、監視対象者である被介護者の挙動を監視画像により監視する様々な監視システムが存在する。この種の監視システムは、一般に、監視対象者を撮影する監視カメラ等の撮影装置と、撮影された監視画像を監視者に送信する情報送信装置と、を含んで構成されている。

そのような監視システムでは、一般に、監視対象者の動作を画像解析等により把握して、把握した動作の種類に対応する特定の通知が行われる。そのような監視システムとして、例えば、特許文献１には、監視対象者のプライバシーに配慮し、撮影した監視画像そのものではなく、当該監視画像を解析した解析結果のみを監視者に通知する監視システム（特許文献１参照）が開示されている。

しかしながら、多数の監視対象者が恒常的に出入りする共用スペースにおいては、ある監視対象者の挙動を認知できたとしても、それが、どの監視対象者の挙動なのかを画像内で速やかに間違いなく識別することは難しく、監視対象者毎に速やかに適切な対応を講じることが困難であった。

特開２０１４−７６８５号公報

本発明は、以上の状況に鑑みてなされたものである。病院や介護施設、或いは、その他の宿泊施設等において、監視対象者毎に速やかに適切な対応を講じるための監視において監視画像内での監視対象者の識別を、誤認知の極めて少ない高い精度で行うことができる監視システムを提供することを目的とする。

本発明者は、監視領域が「不特定多数」ではなく、予め登録可能な「特定複数」の存在する領域に特定されている場合であれば、生体情報取得によるＩＤ管理と、ディープラーニングを用いた画像解析による動作把握とを組合せることによって、画像内での監視対象者の識別を誤認知の極めて少ない高い精度で行うことができることに想到し本発明を完成するに至った。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 複数の登録された監視対象者が滞在する共用スペース用の監視システムであって、各々の前記監視対象者の固有の顔認証情報を取得する顔認証情報取得部と、共用スペース内を撮影する撮影部と、前記撮影部が撮影した監視画像中の一の監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって前記顔認証情報と結び付けて、他の前記監視対象者とは区別して特定する、監視対象特定部と、前記監視対象特定部によって特定された監視対象者が、固有の前記顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する監視画像生成部と、監視画像表示部と、を備える、監視システム。

（１） （１）の発明は、監視領域が、予め登録可能な「特定複数」の存在する領域に特定されている場合に好適な監視システムであり、生体情報取得によるＩＤ管理と、ディープラーニングを用いた画像解析による動作把握とを組合せることによって、監視画像内での監視対象者の識別を誤認知の極めて少ない高い精度で行うことができる。

（２） 前記監視画像生成部は、複数の登録された前記監視対象者のうち監視者が任意に選択した監視対象者のみに、選択されていない他の前記監視対象者とは異なる注意喚起視覚情報が付加された監視画像を生成する、（１）に記載の監視システム。

（２） （２）の発明は、（１）の発明において、任意に選択された監視対象者のみ注意喚起視覚情報を付加して表示する機能を更に付加したものである。これによれば、（１）の発明の奏する上述の効果を更に好ましい水準で享受することができる。

（３） （１）又は（２）に記載の監視システムが設置されている、医療・介護・養護・保育施設、学校、又は、宿泊・娯楽施設の監視システム付き共用スペース。

（３） （３）の発明によれば、多数の事前登録可能な監視対象者が滞在する上記施設において、監視画像内での監視対象者の識別を誤認知の極めて少ない監視システムを導入することができる。これにより、当該施設において、監視者による監視作業の効率を高めて作業負担を軽減することができる。

（４） 複数の登録された監視対象者が滞在する共用スペース用の監視方法であって、顔認証情報取得部が、各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、撮影部が、共用スペース内を撮影する監視撮影ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって特定する監視対象者特定ステップと、監視画像生成部が、前記監視対象者特定ステップにおいて特定された監視対象者の前記顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する、監視画像生成ステップと、を含んでなる、監視方法。

（４） （４）の発明は、監視領域が、予め登録可能な「特定複数」の存在する領域に特定されている場合に好適な監視方法であり、生体情報取得によるＩＤ管理と、ディープラーニングを用いた画像解析による動作把握とを組合せることによって、監視画像内での監視対象者の識別を誤認知の極めて少ない高い精度で行うことができる。

本発明によれば、病院や介護施設、或いは、その他の宿泊施設等において、監視対象者毎に速やかに適切な対応を講じるための監視において監視画像内での監視対象者の識別を、誤認知の極めて少ない高い精度で行うことができる監視システムを提供することができる。

本発明の監視システムを設置することができる設備の一例である介護設備の様子を模式的に示す図である。 本発明の監視システムの基本構成と動作の説明に供するブロック図である。 本発明の監視方法の動作の流れを示すフローチャートである。 本発明の監視システムの有する顔認証情報登録部による顔認証情報の取得態様の一例を模式的に示す図面である。 本発明の実施形態の一例であって、骨格抽出部、及び、位置特定部を更に備える監視システムにおける、動作認識の態様の他の一例を模式的に示す図面である。 本発明の監視システムにおける監視画像の表示態様の一例である。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

＜監視システム＞
図１は、監視システム１００を設置することができる設備の一例として、監視システム１００が設置されている介護設備２００の様子を模式的に示す図である。但し、本発明の監視システムの適用対象は、同図に示すような、介護設備や病院には限られない。本発明の監視システムは、映画館やスポーツスタジアム等、入場者の全体を特定多数の監視対象者として管理することが可能なクローズド型の設備全般、より詳細には、監視対象領域への入場迄の何れかの時点までに、全ての監視対象者の顔認識情報を取得してシステムに登録することが可能な状況にある共用スペースによって構成される施設であれば、様々な施設や設備に適用することができる監視システムである。

［全体構成］
図１に示す通り、監視システム１００の好ましい実施形態の一例として、個室２１０、共用スペース２２０、及び、管理室２３０を有する介護設備２００において、少なくとも共用スペース２２０に撮影部（監視カメラ）（１２０Ｄ〜Ｆ）が設置されていて、監視者２１がいる管理室２３０には、監視画像を表示する監視画像表示部１４０Ａが設置されている構成を挙げることができる。又、図１に示す通り、監視システム１００においては、管理室２３０以外の場所（図１においては共用スペース２２０）にいる監視者２２が携帯する小型の情報処理端末についても、これを監視画像表示部１４０Ｂとして用いることができる構成の監視システムとすることがより好ましい。

図２のブロック図に示す通り、この監視システム１００は、少なくとも、顔認証情報取得部１１０、撮影部１２０、演算処理部１３０、及び、監視画像表示部１４０と、を含んで構成される。又、演算処理部１３０は、少なくとも、監視対象特定部１３１、監視画像生成部１３３、を含んで構成される。又、演算処理部１３０は、更に、動作認識部１３２を、含んで構成されることがより好ましい。

［顔認証情報取得部］
顔認証情報取得部１１０は、従来の公知の各種の顔認証情報取得装置を用いることができる。本発明の監視システム１００においては、近年認識精度が飛躍的に向上しているディープラーニング技術を応用した各種の顔認証デバイスを用いることが好ましい。本発明の監視システム１００を稼働させる場合、例えば図５に示すように、顔認証情報取得部１１０により、予め、監視対象領域内に滞在する全ての監視対象者１０の固有の生体識別情報として顔認証情報を監視対象領域内への入場時迄の何れかの時点において取得する。

顔認証情報取得部１１０によって取得された監視対象者毎の生体識別情報である顔認証情報は、演算処理部１３０内の記憶デバイスに記憶され必要に応じて、他の構成部分から参照される。

又、この顔認証情報は、当該監視対象者に係る監視に有用な他の付帯情報と紐づけられた組合せ情報として上記の記憶デバイスに登録されることが好ましい。例えば、「顔認証情報０００１−要介護者」、「顔認証情報０００２−Ａ国王室関連ＶＩＰ」、「顔認証情報０００３−執行猶予期間中要注意人物」等が上記の組合せ情報の一例である。

［撮影部］
撮影部１２０は、監視対象領域を撮影する、所謂、監視カメラである。撮影部１２０は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。尚、監視システム１００は、監視画像中の位置を監視対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部（図示せず）を、更に備えることにより、２次元情報としての監視画像のみを撮影可能な単眼カメラで構成することができる。上記の座標設定部は撮影部１２０に内蔵されていてもよいし、別途の装置として追加的に付加されていてもよい。

［演算処理部］
演算処理部１３０は、顔認証情報取得部１１０から送信された顔認証情報及び当該情報と組合された個人情報、及び、撮影部１２０から送信された画像データを用いて、監視に必要な演算処理を行う。演算処理部１３０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部１３０は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部１３０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部１３０は、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

演算処理部１３０は、顔認証情報取得部１１０及び撮影部１２０と情報通信可能に接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。

（監視対象特定部）
監視対象特定部１３１は、監視動作中に、撮影部１２０が撮影した監視画像中の一の監視対象者を、顔認証情報取得部１１０によって取得された監視対象者毎の生体識別情報である顔認証情報と結び付けて、他の前記監視対象者とは区別して特定する。この処理を行うための画像解析及び情報処理の装置としては、ニューラルネットワークを有する機械学習型の画像解析装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いることが好ましい。

（動作認識部）
動作認識部１３２は、監視対象特定部１３１によって特定された監視対象者が行う動作を認識する。この動作の特定は、従来公知の様々な画像解析方法によることができるが、これについても「ディープラーニング技術を用いた画像認識装置」を用いて動作認識部１３２を構成することが好ましい。

又、動作認識部１３２は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、この骨格抽出部が抽出した特徴点の位置を特定する位置特定部と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する（図５参照）。又、位置特定部は、骨格抽出部が抽出した骨格を構成する特徴点の「監視対象領域を構成する３次元空間内における位置」を特定する。この「監視対象領域を構成する３次元空間内における位置」とは、上記の特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「３次元位置情報」に基づいて特定するこができる。

（監視画像生成部）
監視画像生成部１３３は、図６に示すような監視画像１４１を生成する機能を有する画像処理装置であれば、特に限定なく公知の画像処理装置を用いて構成することができる。監視画像１４１は、複数の監視対象者を、それぞれ異なる固有の色彩及び／又は形状からなる識別情報が付加された状態で表示する監視画像である。識別情報の形態は、識別力を有する形態でありさえすれば特段限定されないが、監視対象者の周囲の囲み罫線に特定の色彩を付した形態を代表的な形態として挙げることができる。

監視画像生成部１３３は、複数の登録された監視対象者のうち監視者が任意に選択した監視対象者のみに、選択されていない他の監視対象者とは異なる注意喚起視覚情報を付加して表示する機能を有することがより好ましい。注意喚起視覚情報とは、例えば、選択された特定の監視対象者の周囲の囲み罫線のみに、赤や黄色の特定の注意を喚起しやすい色彩を付す形式、或いは、当該囲み罫線自体が点滅を繰り返す形骸等、様々な形式で構成することができる。

監視画像生成部１３３は、顔認識情報と紐づけられて登録されている上述で例示した各種の監視に有用な組合せ情報を、監視画像１４１中に表示するものとしてもよい。

［監視画像表示部］
監視画像表示部１４０は、監視画像生成部１３３によって生成された監視画像１４１を表示することができる公知の各種情報処理端末や各種画像表示装置で構成することができる。図６は、監視画像生成部１３３によって生成された監視画像１４１が、小型の情報処理端末である監視画像表示部１４０Ｂに表示されている状態を示している。

尚、監視画像表示部１４０Ｂの画像表示面においてタッチパネル方式で特定の監視対象者（図５中の監視対象者１０Ｂ）を、特定の監視対象として指定することができるようにするものとしてもよい。

［監視システムの動作］
図５は、監視システム１００を用いて実行することができる本発明の監視方法の流れを示すフローチャートである。

（顔認証情報取得ステップ）
顔認証情報取得ステップＳ１１では、顔認証情報取得部１１０が、各々の監視対象者の固有の顔認証情報を取得する。

顔認証情報と紐づけられる上述の監視対象者の各種の監視に有用な付帯情報もこのステップと同時に取得して、演算処理部１３０に組合せ情報として記憶させることが好ましい。

（監視撮影ステップ）
監視撮影ステップＳ１２では、撮影部１２０が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

（監視対象特定ステップ）
監視対象特定ステップＳ１３では、監視対象特定部１３１が、監視動作中に、撮影部１２０が撮影した監視画像中の一の監視対象者を、顔認証情報取得部１１０によって取得された監視対象者毎の生体識別情報である顔認証情報と結び付けて、他の監視対象者とは区別して検出して特定したか否かについて判断を行う。上記態様で監視対象者を検出して特定した場合（Ｓ１３、Ｙｅｓ）には、動作認識ステップＳ１４へ進み、監視対象者が検出されていない場合（Ｓ１３、Ｎｏ）には、監視撮影ステップＳ１２へ戻り、監視動作を継続する。

監視対象者の特定は、近年、画像認識分野において、認識率の飛躍的向上が注目を集めている「ディープラーニングを用いた画像認識技術」の活用が極めて有効である。このような画像認識技術の採用により、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。

尚、「ディープランニングを用いた画像認識技術」については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

（動作認識ステップ）
動作認識ステップＳ１４では、動作認識部１３２が、監視対象特定ステップＳ１３において特定した監視対象者が行う動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップＳ１４を行うための画像解析方法は特定の方法、手段に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の３次元空間内における位置を特定する位置特定部と、を備えなる動作認識部１３２によって行われる動作認識方法によることが好ましい。以下、動作認識ステップＳ１４が、上記の骨格抽出部及び位置特定部を備える動作認識部１３２によって行われる場合の実施形態について、具体的に説明する。

図６は、骨格抽出部及び位置特定部を備える動作認識部１３２によって、監視対象領域空間内での監視対象者の動作が認識されている状態を示す図である。ここでは、ベッドに側臥している監視対象者１０Ｄの姿勢や視線方向ｅが、動作認識部１３２によって認識されている。このように、骨格抽出部を備える動作認識部１３２は、監視対象者の骨格を抽出することができる。ここで、本明細書における、監視対象者の「骨格」とは、監視対象者の複数の特徴点とこれらを連接してなる線状の図形である。

図５に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の監視画像から「人」の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の「監視対象領域空間内における位置」を、例えば、上記の座標設定ステップによって予め設定されている座標を用いることによって特定し、特定された全ての特徴点の位置、速度を解析することによって、監視対象者の動作を認識することができる。

（監視画像生成ステップ）
監視画像生成ステップＳ１５では、監視対象特定ステップＳ１３によって特定された監視対象者が、固有の顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する。固有の視覚情報の具体的形態については上述した通りである。

（監視画像表示ステップＳ１６）
監視画像表示ステップＳ１６では、監視画像生成ステップＳ１５において生成された監視画像１４１が、監視画像表示部１４０に表示される。

１００ 監視システム
１１０ 顔認証情報取得部
１２０（１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄ） 撮影部（監視カメラ）
１３０ 演算処理部
１３１ 監視対象特定部
１３２ 動作認識部
１３３ 監視画像生成部
１４０（１４０Ａ、１４０Ｂ） 監視画像表示部
１４１ 監視画像
２００ 介護施設
２１０ 個室
２２０ 共用スペース
２３０ 管理室
１０ 監視対象者
Ｓ１１ 顔認証情報取得ステップ
Ｓ１２ 監視撮影ステップ
Ｓ１３ 監視対象特定ステップ
Ｓ１４ 動作認識ステップ
Ｓ１５ 監視画像生成ステップ
Ｓ１６ 監視画像表示ステップ

Claims (4)

1. 複数の登録された監視対象者が滞在する共用スペース用の監視システムであって、
   各々の前記監視対象者の固有の顔認証情報を取得する顔認証情報取得部と、
   共用スペース内を撮影する撮影部と、
   前記撮影部が撮影した監視画像中の一の監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって前記顔認証情報と結び付けて、他の前記監視対象者とは区別して特定する、監視対象特定部と、
   前記監視対象特定部によって特定された監視対象者が、固有の前記顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する監視画像生成部と、
   監視画像表示部と、
   を備える、監視システム。
2. 前記監視画像生成部は、複数の登録された前記監視対象者のうち監視者が任意に選択した監視対象者のみに、選択されていない他の前記監視対象者とは異なる注意喚起視覚情報が付加された監視画像を生成する、請求項１に記載の監視システム。
3. 請求項１又は２に記載の監視システムが設置されている、医療・介護・養護・保育施設、学校、又は、宿泊・娯楽施設の監視システム付き共用スペース。
4. 複数の登録された監視対象者が滞在する共用スペース用の監視方法であって、
   顔認証情報取得部が、各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、
   撮影部が、共用スペース内を撮影する監視撮影ステップと、
   監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって特定する監視対象者特定ステップと、
   監視画像生成部が、前記監視対象者特定ステップにおいて特定された監視対象者の前記
   顔認証情報に応じて決定される固有の色彩及び／又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する、監視画像生成ステップと、を含んでなる、
   監視方法。

Images