JP2020145595A - 看視又は監視システム、又はプログラム - Google Patents

Abstract

【課題】比較的安価で簡単なシステム構成とすることができ、システムの導入が容易であって、プライバシー保護も可能な看視又は監視システムを提供する。【解決手段】看視又は監視システムにおいて、撮像手段と、制御手段と、記憶手段と、画像表示手段と、を有する。記憶手段には、撮像手段の撮像領域に対応した背景画像が記憶されている。撮像手段は、撮像領域を撮像し、撮像した画像を制御手段に伝送する。制御手段は、撮像手段で撮像した画像に含まれる人間の少なくとも１人の特徴点を検出し、特徴点を背景画像上に重ねて画像表示手段に表示する。【選択図】図３

Description

本発明は、撮像装置を用いて人間を監視又は看視するための監視装置又は看視装置に関する。

近年、社会福祉に対する意識の向上、６５歳以上の高齢者の増加等を背景として、社会福祉施設の数及び定員数が増加している。平成２９年の統計では、老人福祉施設（養護老人ホーム（一般、盲）、軽費老人ホーム（Ａ型、Ｂ型、ケアハウス、都市型）、老人福祉センター（特Ａ、Ａ型、Ｂ型））及び介護保険施設（介護老人福祉施設、介護老人保健施設、介護療養型医療施設）の施設数は併せて１８０００以上であり、定員は１１０万人以上であった。さらに、老人福祉施設及び介護保険施設を含め、保護施設、障害者支援施設等、身体障害者社会参加支援施設、婦人保護施設、児童福祉施設等を含む社会福祉施設全体としては、７万以上の施設数であって、その定員は４００万人以上となる。このような施設においては、入所者の安全、健康状態把握、防犯、防災を目的として種々の監視又は看視システムが提案されている。また、家庭内においても、一人暮らしの老人や要介護者を含む家族の数が増加しており、その老人や要介護者を監視又は看視するためのシステムも必要とされていた。

従来からの一般的な監視システムとしては、ビデオカメラ等を監視カメラとして使用して監視場所の動画を記録し、記録した動画を遠隔地に送信し、受信した動画を表示装置に表示し、監視員、警備員等が表示された動画を目視で監視できるようにしたものであった。かかる監視システムは、遠隔地からの安全、健康状態の把握だけではなく、犯罪防止、犯罪動機の抑止、不審者又は不審物の発見、入退室管理、事故や犯罪の早期発見又は対応、事故や犯罪の記録又は検証を目的として、社会福祉施設以外にも、道路、公園、学校、駅、空港、百貨店、店舗、事業所等の様々な施設に加え、一般的なマンション、住居等でも広く普及している。

また、特許文献１には、姿勢・動作の認識精度を向上させて、より信頼性の高い異常事態発生の検知が可能な対象物の認識、監視、見守りシステムとして、対象物の１次元データを取得する１次元センサと、対象物の２次元データを取得する２次元センサと、対象物の３次元データを取得する３次元センサの少なくとも２つ以上を含む同種又は異種の複数の観測手段を設け、１次元センサから得られる１次元データに基づいて、対象物の向き及び／又は動きを検出し、２次元センサ又は３次元センサから得られる２次元データ又は３次元データに基づいて、対象物の姿勢及び／又は向き及び／又は動作を検出し、これらから対象物の状態を検出するシステムが開示されている。

特許文献２には、人間の姿勢を誤って認識することなく判別することができる見守り支援装置として、ベッドの上方から下方に向けて２次元的に第１の温度分布を熱画像として測定する第１の赤外線センサと、ベッドの側方から水平に向けて２次元的に第２の温度分布を熱画像として測定する第２の赤外線センサとを設け、第１及び第２の赤外線センサで検出した空間的な温度分布のパターンを人体領域として抽出し、人体領域から、人体の立位、座位又は臥位を判定するシステムが開示されている。

また、近年、画像から人間の姿勢を推定できるソフトウェアが開発されている。非特許文献１には、動画像を入力するだけで、画像内の複数の人間の姿勢をほぼリアルタイムで推定できるＯｐｅｎＰｏｓｅが開示されている。ＯｐｅｎＰｏｓｅは、１枚の画像から複数人の姿勢を同時に推定することが可能であり、人間の左右の目、左右の耳、鼻、首、左右の肩、左右の肘、左右の手首、左右の腰、左右の膝、左右の足首の１８個の位置を画像平面上での２次元座標として検出することができる。さらに、顔については、目、鼻、口、眉毛、輪郭の７０個の特徴点をもとめることができ、手のひらについては、左右それぞれ手首付け根及び各指の４つの関節の２１個の特徴点を検出することができる。

特開２０１１−１９８１６１号 特開２０１４−１０６６３６号

樋口未来、"人物の姿勢推定（１）−ＯｐｅｎＰｏｓｅ"、［ｏｎｌｉｎｅ］、２０１８年１月２３日、株式会社マイナビ、インターネット（https://news.mynavi.jp/article/cv_future-47/）

従来から一般的に使用されているビデオカメラ等を用いた監視システムは、撮像素子及び記憶手段の低価格化と単純な装置構成から安価で簡単に導入できるため、様々な施設や家庭内で広く普及している。しかし、通常、監視システムは、カメラの撮像領域内における撮像対象を選択できず、映り込んだすべてを記録し、表示装置に表示してしまうことから、個人情報の保護、プライバシーの侵害、肖像権の侵害の点において問題があった。特に、個室、寝室、浴室、脱衣所、トイレ、更衣室等のように衣服を着脱する可能性がある場所においては、重大なプライバシー上の権利の侵害が発生するため、大きな問題となっていた。

特許文献１及び２では、複数のセンサを設置して対象物の姿勢や動きを検出するシステムが開示されているが、社会福祉施設だけでも７万以上の施設数であって、その定員は４００万人以上となるものであり、それぞれに複数のセンサを設置して看視するシステムを導入するのには経済的に問題がある。また、非特許文献１では、ソフトウェアによって人間の姿勢を検出することができるが、カメラで撮像した画像を表示して確認するものであり、カメラの撮像領域内における撮像対象を選択できず、映り込んだすべてを表示してしまう点において、プライバシーの問題が存在した。

本発明は、前述した問題に鑑みてなされてものであって、比較的安価で簡単なシステム構成とすることができ、システムの導入が容易であって、プライバシー保護も可能な看視又は監視システム及びそれを実現するためのプログラムを提供することを目的とする。

上記課題を解決するため、本発明の看視又は監視システムは、撮像手段と、制御手段と、記憶手段と、画像表示手段と、を有し、前記記憶手段には、前記撮像手段の撮像領域に対応した背景画像が記憶されており、前記撮像手段は、前記撮像領域を撮像し、撮像した画像を前記制御手段に伝送し、前記制御手段は、前記撮像手段で撮像した画像に含まれる人間の少なくとも１人の特徴点を検出し、前記特徴点を前記背景画像上に重ねて前記画像表示手段に表示することを特徴とする。

さらに、上記看視又は監視システムにおいて、前記背景画像は、前記撮像手段によって人間が不在の状態の前記撮像領域を撮像した画像であってもよい。さらに、上記看視又は監視システムにおいて、前記制御手段は、関連する特徴点同士を線で連結させて表示してもよいし、前記特徴点の表示に代えて、又は前記特徴点の表示に加えて、前記特徴点の位置に、人形の特徴点を対応させて表示してもよい。

さらに、上記看視又は監視システムにおいて、前記撮像手段は、リアルタイムで前記撮像領域を撮像し、撮像した画像を前記制御手段に伝送し、前記制御手段は、リアルタイムで前記特徴点を前記背景画像上に重ねて前記画像表示手段に表示してもよい。

さらに、上記看視又は監視システムにおいて、前記撮像手段は、複数の撮像領域の画像を取得可能であり、前記記憶手段には、前記複数の撮像領域に対応した複数の背景画像が記憶されており、前記制御手段は、前記撮像手段から画像を取得すると、取得した画像の撮像領域に対応した背景画像を前記記憶手段に記憶された複数の背景画像から選択し、選択された背景画像上に前記特徴点を重ねて前記画像表示手段に表示してもよい。さらに、上記看視又は監視システムにおいて、前記制御手段は、前記記憶手段に、前記特徴点を記憶するが、前記撮像手段で撮像した画像は記憶しなくてもよい。

さらに、上記看視又は監視システムにおいて、前記記憶手段には、特定の人間の特徴点に関する個体特定情報が記憶されており、前記制御手段は、前記個体特定情報を用いて、前記撮像手段で撮像した画像に含まれる人間から検出した特徴点から、当該人間が前記特定の人間であるか否かを判定してもよい。

さらに、上記看視又は監視システムにおいて、前記撮像領域を含む空間に進入した人間を識別する識別手段を有し、前記識別手段は、識別した人間の識別情報を前記制御手段に伝送し、前記制御手段は、前記特徴点と前記識別情報とを関連付けて前記記憶手段に記憶してもよい。

さらに、上記看視又は監視システムにおいて、前記制御手段は、前記撮像手段で撮像した画像に含まれる人間から検出した特徴点の配置又は時間的な変位に基づいて、当該人間の姿勢又は動作を推定してもよい。

また、本発明のプログラムは、撮像手段から伝送された画像を取得する画像取得ステップと、前記画像に含まれる人間の少なくとも１人の特徴点を検出する検出ステップと、検出した前記特徴点を記憶手段に記憶された前記撮像手段の撮像領域に対応した背景画像に重ねて画像表示手段に表示する表示ステップと、をコンピュータに実行させるためのものである。

さらに、上記プログラムにおいて、前記撮像手段の撮像領域内に人間が不在の状態で前記撮像領域を撮像した背景画像を入力させる背景取得ステップをコンピュータに実行させてもよい。

さらに、上記プログラムにおいて、前記撮像手段の撮像領域内に人間の数が１以上の場合に前記検出ステップに進む有人確認ステップをコンピュータに実行させてもよい。

さらに、上記プログラムにおいて、前記撮像手段で撮像した画像に含まれる人間から検出した特徴点の配置又は時間的な変位に基づいて、当該人間の姿勢又は動作を推定する推定ステップをコンピュータに実行させてもよい。

さらに、上記プログラムにおいて、前記検出ステップで検出した前記特徴点を前記画像の撮像日時と関連付けて前記記憶手段に記憶する記憶ステップと、再生日時を含む再生条件を取得する再生条件取得ステップと、をコンピュータに実行させ、前記表示ステップは、取得した再生日時に該当する撮像日時の特徴点を前記記憶手段から取得して前記背景画像に重ねて前記画像表示手段に表示してもよい。

本発明の看視又は監視システムでは、撮像手段で撮像した画像に含まれる人間の少なくとも１人の特徴点を検出し、撮像手段の撮像領域に対応した背景画像上に特徴点を重ねて画像表示手段に表示することにより、背景画像から撮像領域の家具、什器の配置や間取り等を把握することができ、その環境下における人間の特徴点の配置及び動きから当該人間の姿勢や動きを看視又は監視することが可能である。本発明では、撮像手段で撮像した画像自体は、通常の看視又は監視時には画像表示手段に表示する必要がなく、撮像領域内における人間のプライバシーを保護しつつ人間の姿勢や動きを看視又は監視できる（ただし、撮像手段で撮像した画像自体を記憶することを排除するものではない）。さらに、本発明は、安価で汎用の撮像素子とコンピュータで実現することも可能であり、導入時の経済的な負担を減らすことができ、多数の看視又は監視対象に対して適用することが容易である。その他の効果については実施の形態の中で説明する。

本発明の看視又は監視システムの概略構成図 本発明の看視又は監視システムの基本処理のフローチャートの一例 看視又は監視システムにおける各手段間のシーケンス図 人間の特徴点及びその表示方法を示す図 （Ａ）は背景画像、（Ｂ）は撮像画像、（Ｃ）は撮像画像から特徴点を検出した図、（Ｃ）は背景画像と特徴点とを合成した図 特徴点テーブルの一例 背景画像取得処理のフローチャートの一例 有人確認処理、撮像処理のフローチャートの一例 再生処理、姿勢判別処理のフローチャートの一例 本発明の看視又は監視システムの他の概略構成図

図１は、本発明の看視又は監視システム１の概略構成図であり、図２は、基本処理のフローチャートの一例である。本発明の看視又は監視システム１は、撮像手段２と、制御手段３と、記憶手段４と、画像表示手段５と、を有しており、撮像手段２の撮像領域（網掛け部分）１１内における人間の姿勢や動作を看視又は監視できる。本発明の看視又は監視システムの基本フローは、図２に示すように、制御手段３が、撮像手段２で撮像した画像を取得し（Ｓ１：画像取得ステップ）、取得した画像に含まれる人間の少なくとも１人の特徴点を検出し（Ｓ２：検出ステップ）、特徴点を記憶手段４に記憶された背景画像上に合成し（Ｓ３：合成ステップ）、画像表示手段５の画面１２に表示する（Ｓ４：表示ステップ）というものである。背景画像は、撮像領域の家具、什器の配置や間取り等を把握するための静止画であり、例えば、予め人間が不在の状態で撮像領域を撮像した画像を使用することができる。本発明では、静止画である背景画像の上に特徴点が合成されて表示され、特徴点の配置又は時間的な変位によって人間の姿勢又は動きを把握することができ、撮影された人間のプライバシーを保護しつつ看視又は監視することができる。本発明の看視又は監視システム１は、社会福祉施設、病院、家庭等における看視システム（見守りシステム）や、その他あらゆる場所での防犯、防災、不審者の発見、事故や犯罪の早期発見又は対応等を目的とした監視システムに利用することができる。特に、プライバシー保護の必要性が高い個室、寝室、浴室、脱衣所、トイレ、更衣室等における看視又は監視システムに使用することが好ましい。さらに、本発明の監視システムは、工場、店舗、道路、公園、空港、駅等における人間の動線チェックや勤怠管理に利用することも可能である。なお、合成ステップＳ３は、表示ステップＳ４の過程において実行されてもよい。

撮像手段２は、撮像領域２１の画像を撮像するための手段であり、特に限定されるものではないが、可視光の二次元画像を取得できる一般的な汎用品の撮像素子（ＣＯＭＳセンサ、ＣＣＤセンサ）を使用したビデオカメラやデジタルカメラを利用することが可能である。画像は静止画でも動画でもよい。また、撮像手段２として、暗闇の中でも人間を撮像できるように赤外線を検出できる赤外線カメラを使用してもよい。撮像手段２は、一つの撮像領域２１のみを撮像するように固定されていてもよいし、複数の撮像領域の画像を取得できるようにしてもよい。複数の撮像領域の画像を取得可能な撮像手段とは、複数の撮像素子を用いて様々な場所を撮像する場合も、一つの撮像素子の撮像条件（例えば、撮像方向、倍率、焦点等）を変更して異なる撮像領域の画像を撮像する場合も、それらを組み合わせて、複数の撮像素子を用いて少なくとも一部の撮像素子の撮像条件を変更する場合も含む。複数の撮像領域を撮像した場合、複数の撮像領域を表示するために、複数の画像表示手段を設けてもよいし、一つの画像表示手段の画面を複数の表示領域に分割したり、時間ごとに画面に表示する撮像領域を順次切り替えたりしてもよい。

制御手段３は、看視又は監視システムの各機能及び各処理を制御するものであり、制御手段３としては、例えば、プロセッサを使用することができる。制御手段３は、プロセッサなどによって記憶手段４に格納された各種プログラム、データをメモリに格納し、メモリに格納された各種プログラムを読み出して実行し、ハードウェアとプログラムとを協働させ、看視又は監視システムの有人確認処理、撮像処理、特徴点抽出処理、背景合成処理、画像表示処理等を実行する。制御手段３は、看視又は監視システムにおける他の機能や処理を制御しても、看視又は監視システム以外のシステムの機能や処理を制御してもよい。また、制御手段３として、複数のプロセッサによって処理を分担して実行してもよい。例えば、撮像手段に搭載された第１のプロセッサと、画像表示手段側に設けられた第２のプロセッサとによって看視又は監視システムを実行してもよい。より具体的には、第１のプロセッサで有人確認処理、撮像処理、画像発送処理を行い、第２のプロセッサで画像受信処理、特徴点抽出処理、背景合成処理及び画像表示処理を行ってもよいし、第１のプロセッサで有人確認処理、撮像処理、特徴点抽出処理、特徴点発送処理を行い、第２のプロセッサで特徴点受信処理、背景合成処理及び画像表示処理を行ってもよい。

記憶手段４は、各種プログラム、データを記憶、保持するものであり、例えば、ハードディスク（ＨＤＤ）、半導体メモリ（Solid State Drive：ＳＳＤを含む）などを使用することができる。記憶手段４は、撮像手段２と共に設けられていてもよいし、制御手段３と共に設けられていてもよいし、画像表示手段５と共に設けられていてもよいし、別途独立して設けられていてもよいし、複数の記憶装置（ＨＤＤ、ＳＳＤ等）を設けてもよい。記憶手段４には、少なくとも背景画像が記憶されている。背景画像は、当該システムにおける撮像手段を利用して取得することが簡易であるが、別の手段で取得したものでもよい。撮像手段２が複数の撮像領域の画像を取得できる場合は、複数の撮像領域に対応した複数の背景画像を記憶しておく。さらに、記憶手段４には、制御手段３によって検出された撮像手段２で撮像した画像に含まれる人間の特徴点が記憶されていることが好ましい。また、記憶手段４には、特徴点に関する個体特定情報又は姿勢動作特定情報が記憶されていてもよい。特徴点に関する個体特定情報とは、特徴点の配置の位置関係又はバランス等であり、例えば、右目と左目との間隔と両目を繋ぐ線分から鼻までの距離との比、顔の輪郭の縦横比、顔の輪郭に対する目、耳、鼻の位置等であり、特定の人間について、これらの個体特定情報を記憶しておくことにより、記憶された個体特定情報と画像から取得した特徴点との相関を取ることにより、画像に含まれる人間が特定の人間か否かを判定することが可能となる。特定の人間としては、識別情報などから個人情報まで特定されていてもよいし、個人情報まで特定されていなくてもよい。例えば、画像内に最初に確認された人間を個人情報不詳ではあるが特定の人間として特徴点に関する個体特定情報を記憶しておき、その後に画像内に確認された人間が最初に確認された人間と同一であるか否かを判定するために利用してもよい。また、顔認証の入退室システムと連動させて、顔認証の際に入退室システムの撮像装置で撮影した顔の画像から個体特定情報を取得してもよい。特徴点に関する姿勢動作特定情報とは、特定の姿勢（立位、座位、仰臥位、背臥位）における特徴点の配置の位置関係又はバランス、さらに特定の動作（転倒、落下、ドアの開閉）における特徴点の時間的な変位等のパターンであり、記憶された姿勢動作特定情報と画像から取得した特徴点の配置又は時間的な変位との相関を取ることにより、画像に含まれる人間の姿勢又は動作を推定することができる。姿勢動作特定情報は、特定の姿勢、動作について特徴点の配置や時間的な変位を集計し、統計的に算出し、設定し、更新することが好ましい。また、記憶手段４には、撮像手段２で撮像した画像自体が記憶されてもよい。撮像手段２で撮像した画像は、プライバシー保護の観点から記憶手段４には記憶されないように構成することが好ましいが、事後的に事実関係（事故の原因、犯罪の記録等）を確認するために記憶手段４に記憶してもよい。撮像した画像を記憶する場合には厳重な秘密保持対策を講じることが要求される。

画像表示手段５は、看視又は監視するための画像を表示する手段であり、例えば、液晶表示装置、プラズマディスプレイ、有機ＥＬディスプレイ、ブラウン管等を使用することができる。画像表示手段５の表示部１２には、撮像領域２１の背景画像がそのまま又は特徴点が重ねられて表示される。

撮像手段２、制御手段３、記憶手段４及び画像表示手段５は、直接又は間接的に接続されており、相互に情報の伝送が可能である。図１においては、制御手段３と、撮像手段２、記憶手段４及び画像表示手段５とがそれぞれ直接接続されており、撮像手段２と記憶手段４と画像表示手段５とは制御手段３を介してそれぞれ間接的に接続されている。また、一部の接続が無線又は有線のネットワークを介した接続であってもよい。ただし、撮像手段２で撮像した画像自体は極めて重要なプライバシーが含まれており、ネットワークを通じて伝送することは好ましくない。このため、少なくとも撮像手段２から制御手段３への撮像した画像の伝送はネットワークを通じて行わず、制御手段３によって画像内の特徴点を検出した後に、特徴点のみをネットワークを通じて伝送することが好ましい。例えば、撮像手段２に搭載された第１のプロセッサによって特徴点を検出した後、ネットワークを介して画像表示手段５に搭載された第２のプロセッサに特徴点を伝送し、第２のプロセッサが、特徴点と記憶手段４に記憶された背景画像とを合成して画像表示手段５に表示してもよい。

具体的な看視又は監視システムの構成として、ビデオカメラを備えたコンピュータ、携帯情報端末、携帯電話等を使用することができる。単純な構成としては、コンピュータにビデオカメラを接続し、ビデオカメラで撮影した画像をコンピュータのプロセッサで処理してコンピュータのディスプレイに特徴点を合成した背景画像を表示することで実現できる。また、ビデオカメラにプロセッサと通信機能を搭載して、撮像場所に設置し、別途監視者又は監視者側にはコンピュータ、携帯情報端末、携帯電話等のモニター端末を配置して、ビデオカメラで撮影した画像をビデオカメラに搭載したプロセッサで特徴点を検出して通信機能でモニター端末に伝送し、モニター端末において取得した特徴点を背景画像に合成して表示してもよい。このように、特徴点のみを通信することにより、画像を通信するのに比べてデータ量を小さくすることができ、低スペックの環境でもリアルタイムの看視又は監視の実現が容易である。

図３は、看視又は監視システムにおける撮像手段２、制御手段３、記憶手段４及び画像表示手段５間のシーケンス図の一例であり、手段間で伝送される情報や制御手段３の処理内容の一例が示されている。図３では、最初に背景画像を取得する背景取得ステップが行われ、その後、看視・監視ステップが行われる。背景取得ステップでは、撮像手段２によって撮像領域内に人間が不在の状態を撮影して背景画像を取得し、撮像した背景画像を制御手段３に伝送する。制御手段３は、取得した背景画像を記憶手段４に記憶し、背景画像を画像表示手段５に表示する。複数の背景画像を記憶する場合は、記憶する背景画像と対応する撮像領域とを関連付けて記憶する。看視・監視ステップでは、撮像手段２が撮像領域の画像を撮像し、撮像した画像を制御手段３に伝送する。制御手段３は、取得した画像に含まれる人間の少なくとも１人の特徴点を検出し、検出した特徴点を記憶手段４に記憶する。制御手段３は、必要に応じて取得した画像を記憶手段４に記憶してもよい。制御手段３は、記憶手段４から背景画像を取得し、背景画像に特徴点を合成し、画像表示手段５に表示する。看視・監視ステップは、撮像手段２がリアルタイムで撮像領域を撮像し、撮像した画像を制御手段３に伝送し、制御手段３がリアルタイムで特徴点を検出して背景画像上に重ねて画像表示手段５に表示することが好ましいが、撮像手段２が撮像した画像を撮像日時と関連付けて記憶したり、制御手段３によって撮像した画像から検出された特徴点を撮像日時と関連付けて記憶したりする撮像ステップと、撮像ステップで記憶した画像又は特徴点を再生して背景画像上に特徴点を合成して表示する再生ステップとを分離して別の時間軸で実行してもよい。なお、リアルタイムは、情報伝送、画像処理等によって遅延した場合も含む。

図４は、人間の特徴点及びその表示方法の一例である。本発明の制御手段３は、画像から人間の特徴点を検出できる機能を有している。特徴点を検出する機能は、各種の画像から姿勢を推定するソフトウェア、例えば、ＯｐｅｎＰｏｓｅを利用することで実現できる。特徴点とは、人間の体の関節、顔の器官（目、耳、鼻、口等）、輪郭、眉毛、髪等の人間の部位において特徴となる部分を指す。特徴点として、少なくとも人間の左右の肩、左右の肘、左右の手首、左右の腰、左右の膝、左右の足首の関節位置を検出したり、人間の胴体、左右の上腕、左右の前腕、左右の上腿、左右の下腿を検出したりして、特徴点の配置又は時間的な変位から人間の姿勢及び動きを観察できるようにする。さらに、特徴点として、頭部（特に顔の左右の目、左右の耳、鼻、口）及び首を検出できることが好ましい。図４（Ａ）では、人間の画像４１から、検出された左右の目、左右の耳、鼻、首、左右の肩、左右の肘、左右の手首、左右の腰、左右の膝、左右の足首の１８個の特徴点４２と、目と耳、目と鼻、鼻と首、首と肩、肩と肘、肘と手首、首と腰、腰と膝、膝と足首の特徴点の間を連結した線４３とを人間の画像４１に重ねて表示したものである。図４（Ｂ）は、特徴点４２のみを表示したものであるが、人間の画像を消してしまうと特徴点４２がどの部位を指すのか判別が難しくなる。このため、図４（Ｃ）に示すように、関連する特徴点間を連結する線４３を併せて表示したり、図４（Ｄ）に示すように、特徴点の位置に、人形（ひとがた）４４の特徴点を対応させて表示したりすることが好ましい。これらによって、各特徴点がどの部位であるのかを直感的に把握することができ、看視又は監視対象の姿勢や動きを見守ることが容易になる。ここで、特徴点間を連結する線４３として、図４では直線で連結しているが、曲線や折れ線等を使用してもよい。また、人形（ひとがた）４４とは、人間を抽象化して表示したものであり、頭部、胴体、手足等を模式的に図示したものである。好ましくは、人形４４の頭部には顔の特徴点に対応した目、鼻、耳、口、髪等が描かれ、体は各関節で特徴点の変位に合わせて可動するように表示されることが好ましい。図４（Ｄ）では、人形４４の頭部に丸の図形を配置し目の位置に対応させている。なお、図４（Ｄ）では、特徴点４２及び線４３を人形４４に重ねて表示しているが、特徴点４２に対応させた人形４４だけを表示させてもよい。

図５（Ａ）は、人間が不在の状態の撮像領域を撮像した背景画像５０であり、画像表示手段５に静止画として表示される。図５（Ｂ）は、人間５２が存在する状態の撮像領域を撮像した撮像画像５１である。図５（Ａ）の背景画像５０と比べると、ベッドの上に人間が座っており、ごみ箱５３、丸椅子５４及び写真立て５５が置かれている。図５（Ｂ）の撮像画像５１は、プライバシー保護の必要がある場合には画像表示手段５には通常表示されない。図５（Ｃ）は、図５（Ｂ）の撮像画像５１において人間５２の特徴点５７を検出した状態を示す画像５６である。図５（Ｄ）は、背景画像５０に特徴点５７（直線で連結したもの）を表示した画像５８であり、画像表示手段５に表示される。図５（Ｂ）の撮像画像５１では、背景画像５０に対し、人間５２の存在だけではなく撮像領域内の状況もごみ箱５３、丸椅子５４及び写真立て５５が置かれた点で変化した。人間５２の変化については特徴点を介して画像表示手段５に表示され、姿勢又は動きを把握することが可能であるが、背景の変化については、背景画像５０が使用されるため画像表示手段５では確認できない。このように、本発明においては画像表示手段５によって人間５２の姿勢又は動きは把握できるが、背景の変化は確認できないので、撮像対象の私生活や日常生活についてのプライバシーを一定程度保護できる。例えば、撮像対象が部屋を散らかしていても監視している人は確認できないし、読んでいる本、見ているテレビ番組等も監視している人は確認できない。

図６は、特徴点の情報を記憶する特徴点テーブル６０の一例である。特徴点は、画像内における座標として位置を特定することができる。図５（Ｃ）の画像５６のサイズが３５０×３５０ドットの場合、画像５６の左下の角を原点（０，０）とすれば、右下の角は（３４９，０）となり、左上の角は（０，３４９）となり、各特徴点の位置を（ｘ，ｙ）として特定できる。図６の特徴点テーブル６０では、画像ＩＤ６１、撮像日時６２、撮像領域６３、対象個体６４、画像サイズ６５、特徴点６６の情報を保持する欄が設けられている。画像ＩＤ６１は、各画像を特定する識別記号であり、複数桁の文字、数字等を組み合わせて設定される。図６では５桁の文字と数字の組み合わせである。撮像日時６２は、画像を撮像した年月日及び時間である。撮像領域６３は、画像を撮像した撮像領域を特定するための情報であり、例えば、撮像素子の向きが可変の場合には撮像した向き、また撮像した時の倍率、複数の場所に撮像素子が設置されている場合には使用した撮像素子等である。撮像領域が１種類の場合は撮像領域を記憶する必要はない。図６では、画像ＩＤがＡ０００１及びＡ０００２の画像はＡの撮像領域の画像であり、画像ＩＤがＢ０００１の画像はＢの撮像領域の画像であり、画像ＩＤの最初の１桁が撮像領域の種類に対応している。このように画像ＩＤに撮像領域の情報を含めた場合は、別途、撮像領域６３の項目を設ける必要はない。対象個体６４は、特徴点が属する人間を指しており、特徴点を検出する際に画像内に存在する人間を識別して分類する。図６においては、画像Ａ０００１では、Ｐ１という人間が一人存在すると識別され、全ての特徴点がＰ１の特徴点と分類されているが、画像Ａ０００２では、先ほどと同じＰ１という人間と新たにＰ２という人間の存在を識別し、検出した特徴点がいずれの人間に属する者か分類されている。また、画像Ｂ０００１では、Ｐ３という別の人間が識別されている。画像サイズ６５は、画像の解像度であり、例えば縦と横のピクセル数であらわされる。特徴点６６は、図６においては、画像の左下の角を原点とした各特徴点の座標（ｘ，ｙ）であり、部位ごとに座標が記憶されるが、人間の向き、姿勢、服装、髪型、陰影などで画像から特徴点が検出できない部位が存在する場合があり、その場合は検出できない特徴点の座標は空白となっている。図６においては、画像Ａ０００１ではＰ１という人間の両耳の特徴点が検出できず、画像Ａ０００２ではＰ１の両耳の特徴点及びＰ２の左目、左耳、左肩、左肘、左手首、左腰、左膝、右足首、左足首の特徴点が検出できず、画像Ｂ０００１ではＰ３の両目及び鼻の特徴点が検出できていない。このような特徴点が検出できていない部位から姿勢を判別できることもある。例えば、画像Ｂ０００１ではＰ３の両目及び鼻の特徴点が検出できていないことから、撮像手段に背を向けていることが推定される。なお、図６の特徴点テーブル６０は一例であり、かかる項目に限定されるものではなく、撮像した画像の撮像日時と、特徴点と、必要に応じて撮像領域とが関連付けて記憶されていればよい。関連付けて記憶するとは、一方が特定された場合に他方が特定されるように記憶させることであり、直接対応付けてもよいし、何らかの識別子を介して間接的に対応付けてもよい。

図７は、背景取得ステップのフローチャートの一例である。制御手段３は、記憶手段４に背景画像が格納されているかを判定し（Ｓ７１）、格納されていた場合（Ｙｅｓ）には使用者からの背景画像変更要求があるかを判定する（Ｓ７２）。背景画像変更要求とは、使用者からの背景画像を変更する指示であり、家具、什器の配置や間取り等を変更した場合には背景画像も変更し、新しい配置や間取りでの看視又は監視をすることが好ましい。背景画像が格納されていない場合（Ｓ７１のＮｏ）又は背景画像変更要求がある場合（Ｓ７２のＹｅｓ）には、背景画像を取得する（Ｓ７３）。背景画像は、撮像手段２によって撮像領域を無人の状態として撮影することで取得してもよいし、別途、家具・什器の配置や間取りが類似の場所を撮像した画像でもよいし、人工的に作成された画像（ＣＧ、手書き等）でもよい。制御手段３は、取得した背景画像を記憶手段に格納する（Ｓ７４）。複数の背景画像を記憶する場合には、背景画像と撮像領域とを関連付けて記憶する。また、すでに背景画像が格納されている場合には、新しい背景画像に変更する。そして、制御手段３は、取得した背景画像を画像表示手段に表示する（Ｓ７５）。なお、背景画像が格納されており（Ｓ７１のＹｅｓ）、背景画像変更要求がない場合（Ｓ７２のＮｏ）には、処理は終了する。

図８は、有人確認処理、撮像処理のフローチャートの一例である。看視又は監視システムは、常に作動させてもよいが、撮像領域内に人間が存在する有人の場合にのみ作動するようにしてもよい。図８では、制御手段３に有人確認用の手段、例えば赤外線センサ、入退室管理システム等を接続し、有人確認処理した後に撮像領域を撮像する処理を示す。まず、制御手段３は、有人確認用のセンサを使用して撮像領域内に人間が存在するかを判定し（Ｓ８１：有人確認ステップ）、存在する場合（Ｙｅｓ）には、撮像手段２によって撮像領域の撮像を開始し（Ｓ８２）、画像を取得する（Ｓ８３：画像取得ステップ）。無人の場合（Ｎｏ）には処理は終了する。次に、取得した画像に含まれる人間の特徴点を検出する（Ｓ８４：検出ステップ）。複数の人間が含まれる場合は、全員の特徴点を検出してもよいし、特定の人間の特徴点だけを検出してもよい。そして、検出した特徴点を記憶手段４に画像の撮像日時と関連付けて記憶する（Ｓ８５：記憶ステップ）。撮像領域が複数の場合には、撮像した撮像領域も検出した特徴点に関連付けて記憶する。その後、有人確認用のセンサを使用して撮像領域内に人間が無人であるかを判定し（Ｓ８６）、有人の場合（Ｓ８６のＮｏ）には再び画像を取得する（Ｓ８３）。無人の場合（Ｓ８６のＹｅｓ）には撮像手段２による撮像を終了し（Ｓ８７）、処理も終了となる。なお、撮像手段２は常に作動させておき、有人が確認された場合に特徴点検出又は特徴点記憶処理をするようにしてもよい。さらに、撮像手段２は常に作動させる場合には撮像した画像から人間の存在の有無を判定してもよい。

図９は、再生処理、姿勢判別処理のフローチャートの一例である。図８の撮像処理によって記憶された特徴点を用いて撮像領域における人間の姿勢又は動作を看視又は監視する。まず、制御手段３は、使用者に再生条件を入力させ、再生条件を取得する（Ｓ９１：再生条件入力ステップ）。再生条件は、再生する日時や、撮像領域などである。再生日時としては開始時間だけを入力させてもよいし、一定範囲の期間を入力させてもよい。撮像領域については撮像領域が単一の場合には特に入力する必要はないが、複数の場合には、再生する撮像領域を選択させる。制御手段３は、取得した再生条件に該当する特徴点を記録手段４から取得する（Ｓ９２）。そして、制御手段３は、取得した特徴点を該当する背景画像に合成し（Ｓ９３）、合成した画像を画像表示手段５に表示する（Ｓ９４）。また、制御手段３は、取得した特徴点から各特徴点の配置や時間的な変位を算出し（Ｓ９５）、記憶手段４に記憶された特徴点に関する姿勢動作特定情報と相関を取り、相関の高い特定の姿勢又は動作があれば、かかる姿勢又は動作であると推定する（Ｓ９６：推定ステップ）。このように、本発明の看視又は監視システムでは、観察者が画像表示手段を観察しながら人間の姿勢又は動作を看視又は監視することもできるし、制御手段によって、特定の姿勢又は動作を看視又は監視させることもできる。推定ステップでは、例えば、全身が短時間で急激に地面に近づいた場合は転倒を推定したり、転倒の変位後、特徴点の時間的変位がほとんどない場合、座位又は立位に変化しない場合等は、転倒による症状が深刻なものであると人間の状態（症状、症状の程度）も推定したりできる。また、更衣室などでロッカーを開く動作を推定させてもよいし、工場などで労働者が所定の作業をしているか否かを推定させてもよい。また、制御手段は、推定した姿勢又は動作に関して、親族、管理者、病院、警察、消防等に自動で連絡してもよい。

図１０は、本発明の看視又は監視システム１０１の他の概略構成図である。図１０において、看視又は監視システム１０１は、撮像手段として２台の撮像素子１０２Ａ、１０２Ｂを有し、制御装置１０３と、記憶装置１０４と、端末装置としてノートパソコン１０５、携帯情報端末１０６、デスクトップ型パソコン１０７を有し、さらに入退室管理システムの識別装置１０８Ａ、１０８Ｂが撮像領域の部屋のドアに設置されており、制御装置１０３と各端末装置とがネットワーク１０９によって接続されている。２台の撮像素子１０２Ａ、１０２Ｂと識別装置１０８Ａ、１０８Ｂは制御装置１０３に接続されている。

図１０の看視又は監視システム１０１では、２台の撮像素子１０２Ａ、１０２Ｂによって２つの撮像領域を看視又は監視することができる。２台の撮像素子１０２Ａ、１０２Ｂによって取得された画像は、制御装置１０３に伝送され、制御装置１０３は画像から特徴点を検出し、特徴点の座標と、撮像日時と、撮像領域とを関連付けて記憶装置１０４に記憶する。また、制御手段１０３は、記憶装置１０４から画像の撮像領域に対応した背景画像を取得し、特徴点を合成してネットワーク１０９を介して端末装置へ伝送する。記憶装置１０４には、各端末装置と伝送する撮像領域とを対応付けたテーブルを有していてもよく、例えば、撮像素子１０２Ａの画像は、ノートパソコン１０５及びデスクトップ型パソコン１０７に送信し、撮像素子１０２Ｂの画像は、携帯情報端末１０６及びデスクトップ型パソコン１０７に送信するよう対応付けられている。また、制御手段１０３は、各端末装置からの再生指示に応じて再生条件に該当する特徴点を背景画像に合成して各端末装置に伝送するように構成されてもよい。また、制御手段１０３は、検出した特徴点をネットワーク１０９を介して端末装置へ伝送し、端末装置の制御装置が端末装置に記憶された背景画像に特徴点を合成して端末装置の表示装置に表示してもよい。

識別装置１０８Ａ、１０８Ｂは、撮像領域を含む空間に進入する人間を識別する識別手段として機能し、例えば、生体認証用の撮像素子やセンサ、カードリーダー、キーリーダーなどであり、識別装置によって入室する人間の識別情報を取得することができる。識別情報は、撮像素子やセンサで読み取った生体情報（指紋、静脈、掌形、網膜、虹彩、血管、声紋、顔、ＤＮＡ、耳形、まばたき、キーストローク、筆跡等）、カードリーダーやキーリーダーで読み取ったカードやキーの情報（カードやキー自体に記憶されている情報及びカードやキーから読み取ったＩＤに紐付けられた情報を含む）であり、識別装置を使用した人間を特定するための情報である。識別装置１０８Ａ、１０８Ｂは、ドアを開ける人間を識別するだけでもよいが、ドアのカギと連動していてもよく、読み取った識別情報が予め登録された入室許可の対象であればドアのカギを解錠して入室できる状態としてもよい。

制御装置１０３と入退室システムの認証装置１０８Ａ、１０８Ｂとは接続されており、識別装置１０８Ａ、１０８Ｂは、識別した識別情報を制御装置１０３に伝送し、制御手段１０３は、取得した識別情報を特徴点と関連付けて記憶装置１０４に記憶し、特徴点の人間が識別情報の人間であると推定できるようにしてもよい。また、認証装置１０８Ａ、１０８Ｂが顔認証用の撮像素子だった場合には、制御手段１０３は、顔認証時に撮像した顔画像を認証装置１０８Ａ、１０８Ｂから取得すると、顔画像の特徴点を検出して個体特定情報として記憶装置１０４に記憶してもよい。そして、制御手段１０３は、個体特定情報を用いて、撮像素子１０２Ａ、１０２Ｂで撮像した画像に含まれる人間から検出した特徴点から、当該人間が識別情報の人間であるかを判定してもよい。

１ 看視又は監視システム
２ 撮像手段
３ 制御手段
４ 記憶手段
５ 画像表示手段
１１ 撮像領域

Claims (15)

1. 撮像手段と、制御手段と、記憶手段と、画像表示手段と、を有し、
   前記記憶手段には、前記撮像手段の撮像領域に対応した背景画像が記憶されており、
   前記撮像手段は、前記撮像領域を撮像し、撮像した画像を前記制御手段に伝送し、
   前記制御手段は、前記撮像手段で撮像した画像に含まれる人間の少なくとも１人の特徴点を検出し、前記特徴点を前記背景画像上に重ねて前記画像表示手段に表示することを特徴とする看視又は監視システム。
2. 前記背景画像は、前記撮像手段によって人間が不在の状態の前記撮像領域を撮像した画像であることを特徴とする請求項１に記載の看視又は監視システム。
3. 前記制御手段は、関連する特徴点同士を線で連結させて表示することを特徴とする請求項１又は２に記載の看視又は監視システム。
4. 前記制御手段は、前記特徴点の表示に代えて、又は前記特徴点の表示に加えて、前記特徴点の位置に、人形の特徴点を対応させて表示することを特徴とする請求項１又は２に記載の看視又は監視システム。
5. 前記撮像手段は、リアルタイムで前記撮像領域を撮像し、撮像した画像を前記制御手段に伝送し、
   前記制御手段は、リアルタイムで前記特徴点を前記背景画像上に重ねて前記画像表示手段に表示することを特徴とする請求項１乃至４の何れか１項に記載の看視又は監視システム。
6. 前記撮像手段は、複数の撮像領域の画像を取得可能であり、
   前記記憶手段には、前記複数の撮像領域に対応した複数の背景画像が記憶されており、
   前記制御手段は、前記撮像手段から画像を取得すると、取得した画像の撮像領域に対応した背景画像を前記記憶手段に記憶された複数の背景画像から選択し、選択された背景画像上に前記特徴点を重ねて前記画像表示手段に表示することを特徴とする請求項１乃至５の何れか１項に記載の看視又は監視システム。
7. 前記制御手段は、前記記憶手段に、前記特徴点を記憶するが、前記撮像手段で撮像した画像は記憶しないことを特徴とする請求項１乃至６の何れか１項に記載の看視又は監視システム。
8. 前記記憶手段には、特定の人間の特徴点に関する個体特定情報が記憶されており、
   前記制御手段は、前記個体特定情報を用いて、前記撮像手段で撮像した画像に含まれる人間から検出した特徴点から、当該人間が前記特定の人間であるか否かを判定することを特徴とする請求項１乃至７の何れか１項に記載の看視又は監視システム。
9. 前記撮像領域を含む空間に進入した人間を識別する識別手段を有し、
   前記識別手段は、識別した人間の識別情報を前記制御手段に伝送し、
   前記制御手段は、前記特徴点と前記識別情報とを関連付けて前記記憶手段に記憶することを特徴とする請求項１乃至８の何れか１項に記載の看視又は監視システム。
10. 前記制御手段は、前記撮像手段で撮像した画像に含まれる人間から検出した特徴点の配置又は時間的な変位に基づいて、当該人間の姿勢又は動作を推定することを特徴とする請求項１乃至９の何れか１項に記載の看視又は監視システム。
11. 撮像手段から伝送された画像を取得する画像取得ステップと、
    前記画像に含まれる人間の少なくとも１人の特徴点を検出する検出ステップと、
    検出した前記特徴点を記憶手段に記憶された前記撮像手段の撮像領域に対応した背景画像に重ねて画像表示手段に表示する表示ステップと、
    をコンピュータに実行させるためのプログラム。
12. 前記撮像手段の撮像領域内に人間が不在の状態で前記撮像領域を撮像した背景画像を入力させる背景取得ステップをコンピュータに実行させることを特徴とする請求項１１に記載のプログラム。
13. 前記撮像手段の撮像領域内に人間の数が１以上の場合に前記検出ステップに進む有人確認ステップをコンピュータに実行させることを特徴とする請求項１１又は１２に記載のプログラム。
14. 前記撮像手段で撮像した画像に含まれる人間から検出した特徴点の配置又は時間的な変位に基づいて、当該人間の姿勢又は動作を推定する推定ステップをコンピュータに実行させることを特徴とする請求項１１乃至１３の何れか１項に記載のプログラム。
15. 前記検出ステップで検出した前記特徴点を前記画像の撮像日時と関連付けて前記記憶手段に記憶する記憶ステップと、
    再生日時を含む再生条件を取得する再生条件取得ステップと、
    をコンピュータに実行させ、
    前記表示ステップは、取得した再生日時に該当する撮像日時の特徴点を前記記憶手段から取得して前記背景画像に重ねて前記画像表示手段に表示することを特徴とする請求項１１乃至１４の何れか１項に記載のプログラム。