JP2004187116A

JP2004187116A - Action monitoring system and program

Info

Publication number: JP2004187116A
Application number: JP2002353265A
Authority: JP
Inventors: Osamu Okura; 修大倉
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-12-05
Filing date: 2002-12-05
Publication date: 2004-07-02
Anticipated expiration: 2022-12-05
Also published as: JP4120379B2

Abstract

<P>PROBLEM TO BE SOLVED: To manage information about when and where a person whose actions are contradictory has stayed by monitoring normal and opposite actions which are in a correlation as the action style of the person, in monitoring the actions of the person by analyzing a photographed image obtained by photographing the person. <P>SOLUTION: A fixed camera management system 1 constituting an action monitoring system monitors the normal and opposite actions of the person by analyzing an photographed image obtained by photographing the person in the inside of a building, and records time information at the time when the person has taken a normal actions and position information indicating the whereabouts of the person in a monitoring table 13. Further, the system 1 monitors whether the person who has taken a normal action takes an opposite action within a limit time, and when detecting that the person does not take an opposite action within the limit time, the system 1 obtains the time information when the person has taken the normal action and the position information as action monitoring information. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する監視装置としては、例えば、以下に示す技術が知られている。すなわち、撮影画像の表示画面上でカーソル操作で不審者の位置をポイントすると、不審者を囲むカーソルエリアが表示されると共に、不審者の移動に伴ってカーソルエリアも移動するようにした旨の技術が知られている（特許文献１参照）。また、撮影画像内の人物像からその形状特徴と動き特徴を特定し、予め蓄積した不審者に関する情報と比較して、不審者を特定する旨の技術が知られている（特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１１１９８７号公報
【特許文献２】
特開平１１−３３９１３９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１の技術にあっては、撮影画像の表示画面上でカーソルを操作して不審者の位置をポイント指定するようにしている為、専用係員を配備しておかなくてはならず、しかも、人的作業では不審者を見落とす等のおそれもある。また、上述の特許文献２の技術にあっては、不審者に関する情報を予め登録しておく必要がある為、未登録者の場合には、不審者を発見することができないという問題が残る。
【０００５】
ところで、人物はその行動様式として、相対関係にある一対の行動をとるのが一般的である。例えば、施設内に入場すれば、必ず、退場するのが通常である為に、“入場”と“退場”とは、相対関係（順逆関係）にある一対の行動様式であると言える。同様に、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行（行く／進む）”と“逆方向通行（帰る／戻る）”等においても、相対関係にある一対の行動様式であると言える。
このように“順”と“逆”の関係にある一対の行動様式のうち、“順”の行動を行なった後に、“逆”の行動を行なわなかった場合、例えば、施設内に入場したにもかかわらず、その人物が退場しなかった場合には、施設内に潜んでいるか、正規な出入口以外から退場した場合が考えられる為、挙動不審な人物である可能性が高くなる。同様に、２階に上がった後に下りて来ない場合にも、２階に潜んでいる等の可能性が高くなる。
【０００６】
第１の発明の課題は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、行動様式が矛盾している人物が何時頃どの辺に居たかを管理できるようにすることである。
第２の発明の課題は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、行動様式が矛盾している人物を要注意人物として引き続き追尾監視できるようにすることである。
【０００７】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する検出手段と、この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合にその人物を特定し、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する取得手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項９記載の発明）。
【０００８】
したがって、請求項１、９記載の発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
【０００９】
なお、請求項１記載の発明は次のようなものであってもよい。
前記取得手段によって取得した行動監視情報を警備システムへ通報する通報手段を設けた（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、逆アクションを制限時間内に起さなかった際に、その行動監視情報を警備システムへ通報するようにしたから、素早い警備手配が可能となると共に、不正等を事前に回避することも可能となる。
【００１０】
前記順アクションを行った人物が制限時間内に逆アクションを行ったことが検出された場合には、そのアクション監視を解除する（請求項３記載の発明）。したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、順アクションを行った人物が制限時間内に逆アクションを行った場合には、そのアクション監視を対象外としたから、行動様式が矛盾している人物のみに絞った集中監視が可能となり、その監視を効率良く行うことが可能となる。
【００１１】
前記順アクションを行った人物が制限時間内に逆アクションを起さない場合でも、逆アクションに相当する他のアクションを制限時間内に行った場合には、そのアクション監視を解除する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、順アクションを行った人物が逆アクションに相当する他のアクションを制限時間内に行った場合には、そのアクション監視を対象外とするようにしたから、相対関係にある順逆の行動を固定化せず、柔軟な対応が可能となり、実情に即したものとなる。例えば、所定の出入口に設置されているカメラからの撮影画像に基づいて“入室”と“退室”を監視する場合、他の出入口から退場した場合には、逆アクションに相当する他のアクションとみなすことができる等、柔軟な対応が可能となる。
【００１２】
複数の行動様式毎にその順逆の行動を監視する場合に、前記制限時間は、各行動様式毎に予め決められている設定時間である（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、各行動様式毎に制限時間を設定するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”等の行動様式毎に異なる制限時間を設定することができ、実情に即した監視が可能となる。
【００１３】
請求項６記載の発明（第２の発明）は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する検出手段と、この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として追跡撮影する追跡撮影手段とを具備するものである。
更に、コンピュータに対して、上述した請求項６記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
【００１４】
したがって、請求項１、１０記載の発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物を要注意人物として追跡撮影するようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【００１５】
前記追跡撮影手段は、複数台のカメラ装置を備え、その何れかのカメラによって要注意人物を追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続する（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、複数台のカメラのうち、その人物が何れかのカメラによって追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続するようにしたから、要注意人物を見逃すことなく追跡監視することができる。
【００１６】
前記追跡撮影手段によって要注意人物を追跡監視している監視中において、前記制限時間よりも長い警戒制限時間を越えた場合には、その人物を警戒人物として特定すると共に、現在の追尾位置とその人物に関する情報を警備システムへ通報する（請求項８記載の発明）。
したがって、請求項８記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、警戒制限時間を越えた場合には、その人物を警戒人物として特定し、現在の追尾位置とその人物に関する情報を警備システムへ通報するようにしたから、要注意人物から警戒人物への特定が可能となる他、素早い警備手配が可能となる。
【００１７】
【発明の実施の形態】
以下、図１〜図１２を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における行動監視システムの全体構成を示したブロック図である。
この行動監視システムは、会社、工場等の施設内に構築された構内通信システム（ＬＡＮシステム）であり、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視するもので、複数のサブシステムである固定カメラ管理システム１、追尾カメラ管理システム２、警備システム３が構内通信網４を介して接続された構成となっている。
【００１８】
固定カメラ管理システム１は、予め撮影範囲が固定的に決められている固定カメラ群１１を管理するデータ処理装置を中核とする管理システムであり、後述するアクションテーブル１２、監視テーブル１３、監視対象用の人物画像ファイル１４を有している。追尾カメラ管理システム２は、人物を追尾して撮影可能な追尾カメラ群２１を管理するデータ処理装置を中核とする管理システムであり、後述する追尾カメラ管理テーブル２２、追尾対象用の人物画像ファイル２３を有している。警備システム３は、警備室に構築されている管理システムである。
【００１９】
図２は、施設内に設置されているカメラの配置状態を概念的に示した図である。
施設内に設置されている各種のカメラは、その用途に応じて固定カメラ群１１と追尾カメラ群２１に分類され、図中、Ａ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２、Ｄ１とＤ２は、固定カメラ群１１を示し、Ｋ１、Ｋ２、Ｋ３、Ｋ４は、追尾カメラ群２１を示している。ここで、固定カメラ群Ａ１、Ａ２、‥‥、Ｄ１、Ｄ２は、施設や室内の出入口に設置されたもので、施設／室内の入口から入場する人物をその略正面方向から撮影する入場者用の固定カメラＡ１、Ｂ１、Ｃ１、Ｄ１と、施設／室内の出口から退場する人物をその略正面方向から撮影する退場者用の固定カメラＡ２、Ｂ２、Ｃ２、Ｄ２とを有している。
【００２０】
追尾カメラ群Ｋ１、‥‥Ｋ４は、施設内や室内に設置されたもので、特定の人物（後述する要注意人物）を追跡撮影する為に、そのカメラ本体を可動させる首振り機構を有している。なお、この最大首振り角度が特定人物を追尾可能な最大追尾可能範囲となっている。ここで、何れかの追尾カメラによって人物を追跡撮影している場合に、追尾カメラ管理システム２は、その人物がそのカメラの最大追尾可能範囲を越えたことを検出した際に、その人物の移動方向に存在し、かつ追尾可能な他の追尾カメラに切り換えて当該人物を引き続き追跡撮影するようにしている。
【００２１】
図３は、固定カメラ管理システム１側に設けられているアクションテーブル１２の内容を示した図である。
このアクションテーブル１２は、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションに関する情報を固定的に記憶管理するもので、複数種の行動様式毎に、その順アクション、逆アクションに関する情報として、「順アクションカメラ（モニタ番号）」、「逆アクションカメラ（モニタ番号）」、「相殺アクションカメラ（モニタ番号）」、「第１制限時間」、「第２制限時間」が設定されている。すなわち、例えば、順逆の行動様式が施設への入退場の場合には、入場（順アクション）を監視する固定カメラ（順アクション監視用のカメラ）Ａ１と、施設からの退場（逆アクション）を監視する固定カメラ（逆アクション監視用のカメラ）Ａ２とのカメラ識別情報（モニタ番号Ａ１、Ａ２）とが対応付けて設定されている他、「第１制限時間」、「第２制限時間」が設定されている。
【００２２】
「第１制限時間」は、順アクション（入場）した人物が予め決められている時間内に逆アクション（退場）したかを監視する為に予め任意に設定された設定時間であり、この「第１制限時間」内にその逆アクションを行った場合に、固定カメラ管理システム１は、その人物を監視対象から解除して対象外とするが、「第１制限時間」を越えても逆アクションを行わない場合には、その人物を要注意人物として特定して監視対象のままとするようにしている。
「第２制限時間」は、上述のように要注意人物として特定された人物がその後も逆アクションを行わない場合に、その人物を警戒人物として特定する為に予め任意に設定された設定時間であり、上述の「第１制限時間」よりも長い警戒制限時間である。この「第２制限時間」を越えも逆アクションを行わない人物を警戒人物として特定した際に、固定カメラ管理システム１は、当該人物の現在位置とその人物に関する情報を警備システム３へ通報するようにしている。
【００２３】
また、例えば、順逆の行動様式が１箇所の出入口から室内へ出入する場合には、その出入口からの入室（順アクション）を監視する固定カメラ（順アクション監視用のカメラ）Ｂ１と、退室（逆アクション）を監視する固定カメラ（逆アクション監視用のカメラ）Ｂ２とのカメラ識別情報（モニタ番号Ｂ１、Ｂ２）とが対応付けて設定されている他、「相殺アクションカメラ（モニタ番号）」、「第１制限時間」、「第２制限時間」が設定されている。
ここで、図２で示したように、部屋の出入口が２ヵ所存在する場合には、入室時に利用した出入口とは異なる他の出入口から退室することもあり得る。このような場合、順アクションの“Ｂ１”に対する逆アクションの“Ｂ２”との相対関係は成立しないが、この逆アクションの“Ｂ２”に相当する他のアクションの“Ｃ２”、つまり、異なる他の出入口からの退室アクションが「相殺アクションカメラ（モニタ番号）」として設定されている。「第１制限時間」、「第２制限時間」は、上述の場合と同様、「第１制限時間」は、要注意人物として特定する為の制限時間、「第２制限時間」は、警戒人物として特定する為の制限時間である。
【００２４】
図４は、固定カメラ管理システム１側に設けられている監視テーブル１３の内容を示した図である。
この監視テーブル１３は、何れかの固定カメラＡ１〜Ｄ１からの撮影画像を解析することによって人物の順アクションが検知される毎に、その人物の順アクションを監視する為の監視レコードを記憶管理するもので、各監視レコードは、「人物ＩＤ」、「要注意フラグ」、「順アクション」、「アクション時刻」、「位置」、「第１制限時刻」、「第２制限時刻」の各項目を有する構成となっている。
【００２５】
固定カメラ管理システム１は、順アクションを行った人物がその「第１制限時間」が経過する前に、この順アクション対応の逆アクションを行った場合には、この順アクションを監視対象外とする為に、その監視レコードを監視テーブル１３から削除するようにしている為、順アクションを行った後にその「第１制限時間」が経過する前である場合および順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には、その監視レコードはそのまま保持される。
「人物ＩＤ」は、施設への新規入場時において、その入場者を識別する為に自動生成された一連番号である。「要注意フラグ」は、上述のようにして要注意として特定された人物に対して付加されたフラグであり、図中、〇印はフラグオンを示している。
【００２６】
「順アクション」は、順アクション対応の固定カメラを示す「モニタ番号」であり、「アクション時刻」、「位置」は、順アクションを起した時に、その人物が何時頃どの辺に居たかを示す為の時刻情報、位置情報である。この場合、「位置」は、順アクション対応の固定カメラが設置されている設置位置と、この固定カメラで撮影された撮影画像内の写っている当該人物の位置を解析することによって得られた人物の居場所とを組み合わせた構成となっている。つまり、人物の現在位置は、カメラの設置位置によって特定することができるが、この実施形態においては、例えば、固定カメラの撮影画像を２×２のマトリックス状に分割し、各分割エリアのうち、どのエリアに人物が移っているかを示すエリア番号を人物の居場所を示す情報とすることによって人物の詳細位置を特定するようにしている。
【００２７】
「第１制限時刻」、「第２制限時刻」は、順アクションに対応して設定されているアクションテーブル１２内の「第１制限時間」、「第２制限時間」に、現在時刻（アクション時刻）を加算することによって得られた制限時刻であり、固定カメラ管理システム１は、「第１制限時刻」、「第２制限時刻」の経過を監視し、「第１制限時刻」と現在時刻とを比較することによって要注意人物を特定したり、更に、「第２制限時刻」と現在時刻とを比較することによって警戒人物を特定するようにしている。
【００２８】
図５は、固定カメラ管理システム１側に設けられている人物画像ファイル１４を説明する為の図である。
この人物画像ファイル１４は、１人物１ファイル形式で、その人物画像を監視対象として登録されたもので、各人物画像ファイル１４には「人物ＩＤ」が付加されている。各人物画像は、人物の顔を中心に撮影されたもので、人物画像ファイル１４として登録されている登録画像と、新規撮影された撮影画像との特徴比較を行う際には、撮影画像の中から特徴部分を抽出して特徴比較を行う。つまり、撮影画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ等を比較する他、眼鏡の有無、衣服、髪型、色を総合的に比較して人物特定を行うようにしている。
【００２９】
図６（Ａ）は、追尾カメラ管理システム２側に設けられている追尾カメラ管理テーブル２２の内容を示した図である。
この追尾カメラ管理テーブル２２は、人物を追跡撮影する為にその追尾対象の人物に関する情報と追尾カメラに関する情報とを対応付けて記憶管理するもので、「追尾カメラ番号」、「マーク人物ＩＤ」、「追尾可能エリア」の各項目を有する構成となっている。
「追尾カメラ番号」は、人物を追跡撮影する追尾カメラを識別する為の情報（Ｋ１、‥‥Ｋ４）であり、「追尾可能エリア」は、その首振り機構によって最大限追尾することができる追尾可能範囲を示し、追尾カメラ管理システム２は、人物がこの「追尾可能エリア」を越えた際に、追尾可能な他の追尾カメラに切り換えて追跡撮影を継続する。「マーク人物ＩＤ」は、追尾対象の人物を識別する為の情報であり、図６（Ｂ）に示す人物画像ファイル２３は、この「マーク人物ＩＤ」によってアクセスされる。人物画像ファイル２３は、１人物１ファイル形式で、その人物画像を追尾対象として登録されたもので、各人物画像ファイル２３には「人物ＩＤ」が付加されている。
【００３０】
図７は、固定カメラ管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図である。なお、追尾カメラ管理システム２を構成するデータ処理装置も同様の構成要素を有する構成となっている為、以下、固定カメラ管理システム１側のデータ処理装置について説明し、追尾カメラ管理システム２側のデータ処理装置ついては、その説明を省略する。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種アプリケーションプログラムが格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。
【００３１】
この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置１０２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００３２】
次に、この実施形態における行動監視システムの動作概念を図８〜図１２に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３３】
図８〜図１０は、固定カメラ管理システム１の動作を示したフローチャートである。
先ず、固定カメラ管理システム１は、常時、モニタリングしている固定カメラ群１１からの各撮影画像を取得し（図８のステップＡ１）、何れかの撮影画像の中に人物が含まれており、人物が固定カメラ方向に向かって来るかの解析を行う（ステップＡ２）。この場合、カメラに対して正面に向いた人物像が次第に大きくなった否かを画像解析によって調べ、人物が所定の大きさになった際には、対象人物を有りと判別するが、例えば、横断する人物等を検出した場合には、対象人物無し判別する（ステップＡ３）。
【００３４】
いま、人物が固定カメラ方向に向かって来る場合に、そのカメラが順アクション監視用の固定カメラであるか、逆アクション監視用の固定カメラであるかを判別し（ステップＡ４）、順アクション監視用の固定カメラであれば、更に、施設入場用の固定カメラＡ１か否かを判別する（ステップＡ５）。ここで、施設入場用の固定カメラＡ１の方向に向かって来る入場者を検出した場合には、この撮影画像の中から人物画像を抽出すると共にその人物固有の「人物ＩＤ」を自動生成し、「人物ＩＤ」付きの抽出画像を人物画像ファイル１４として新規登録する（ステップＡ６）。
【００３５】
そして、この施設入場用の固定カメラの「モニタ番号（Ａ１）」に基づいてアクションテーブル１２をアクセスし、対応する「第１制限時間」、「第２制限時間」を取得し（ステップＡ７）、この「第１制限時間」、「第２制限時間」に現在時刻をそれぞれ加算することによって「第１制限時刻」、「第２制限時刻」を算出すると共に（ステップＡ８）、この固定カメラの設置位置とこのカメラの撮影画像の中から当該人物が写っているエリアを特定して人物の居場所を示す「位置」を求めた後に（ステップＡ９）、この「人物ＩＤ」、「モニタ番号（Ａ１）」、「位置」、「第１制限時刻」、「第２制限時刻」、「アクション時刻（現在時刻）」を含むレコードを新規生成して監視テーブル１３に新規登録する（ステップＡ１０）。
以下、施設への入場者を検知する毎に、上述の動作が繰り返される（ステップＡ１〜Ａ１０）。
【００３６】
また、固定カメラＡ１以外の順アクション監視用の固定カメラＢ１、Ｃ１、Ｄ１からの撮影画像の中にカメラ方向に向かって来る人物が有ることを検知した場合には（ステップＡ２〜Ａ５）、この撮影画像の中から人物画像を抽出すると共に、この抽出画像と登録画像（人物画像ファイル１４）との特徴比較を行って同一人物を特定する（ステップＡ１１）。これによって特定された登録画像から「人物ＩＤ」を取得した後に（ステップＡ１２）、この順アクションに応じた監視レコードを新規生成し、この生成レコードを監視テーブル１３に追加登録する処理を行う（ステップＡ１３）。
【００３７】
この生成・登録処理は、上述したステップＡ７〜Ａ１０に対応する処理を実行するもので、先ず、固定カメラの「モニタ番号」対応の「第１制限時間」、「第２制限時間」に基づいて「第１制限時刻」、「第２制限時刻」を算出すると共に、その人物の居場所を示す「位置」を求めた後に、「人物ＩＤ」、「順アクション」、「位置」、「第１制限時刻」、「第２制限時刻」、「アクション時刻」を含むレコードを新規生成して監視テーブル１３に追加登録する。
そして、この「人物ＩＤ」に基づいて監視テーブル１３を検索し、当該人物対応の他の監視レコードを指定し（ステップＡ１４）、何れかの監視レコード内に「要注意フラグ」がセットされているかをチェックする（ステップＡ１５）。この場合、「要注意フラグ」がオフされ、要注意人物でなければ、最初のステップＡ１に戻るが、「要注意フラグ」がオンされ、要注意人物であれば、図９のステップＡ１６に移り、その人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、当該人物の「位置」、「人物ＩＤ」、「人物画像」を追尾カメラ管理システム２へ送信した後、最初の図８のステップＡ１に戻る。
【００３８】
一方、固定カメラ管理システム１は、固定カメラ群１１からの各撮影画像を解析した結果、人物が含まれていないことを検知した場合には（図８のステップＡ３）、監視テーブル１３の内容に基づいて要注意人物あるいは警戒人物を特定する為の処理に移る（図１０のステップＡ２５〜Ａ３０）。この場合、上述したように、固定カメラ管理システム１は、順アクションを行った人物がその「第１制限時間」が経過する前に、この順アクション対応の逆アクションを行った場合には、この順アクションを監視対象外とする為に、その監視レコードを監視テーブル１３から削除するようにしている為、順アクションを行った後にその「第１制限時間」が経過する前である場合および順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には、その監視レコードはそのまま保持されている。
【００３９】
この状態において、固定カメラ管理システム１は、監視テーブル１３の先頭から順に読み出した監視レコード内の「第１制限時刻」と「現在時刻」とを比較することによって「第１制限時刻」を越えているかをチェックし（ステップＡ２５）、「第１制限時刻」を越えている監視レコードが有れば、言換えれば、順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には（ステップＡ２６）、当該レコード内の「人物ＩＤ」で示される人物を要注意人物として特定して当該レコード内に「要注意フラグ」をセットする（ステップＡ２７）。
【００４０】
更に、固定カメラ管理システム１は、監視テーブル１３から「要注意フラグ」がセットされている監視レコードを順次読み出し、この監視レコード内の「第２制限時刻」と「現在時刻」とを比較することによって「第２制限時刻」を越えているかをチェックし（ステップＡ２８）、「第２制限時刻」を越えている監視レコードが有れば、言換えれば、上述のように要注意人物として特定された人物が順アクションを行った後にその「第２制限時間」が経過しても対応する逆アクションを行わなかった場合には（ステップＡ２９）、当該レコード内の「人物ＩＤ」で示される人物を警戒人物として特定して当該人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、その人物の「人物ＩＤ」を追尾カメラ管理システム２へ送信する（ステップＡ３０）。
【００４１】
他方、順アクションを行った後に対応する逆アクションを行ったことを検知した場合には（図８のステップＡ４）、その撮影画像の中から人物画像を抽出した後（図９のステップＡ１７）、その人物は要注意人物かをチェックする（ステップＡ１８）。すなわち、監視テーブル１３から「要注意フラグ」がセットされている監視レコードを検索し、このレコード内から「人物ＩＤ」を取得すると共に、この「人物ＩＤ」に対応付けられている登録画像（要注意人物の人物画像ファイル１４）を取得し、この登録画像と上述の抽出画像とを比較することによって、逆アクションを行った人物は要注意人物に該当するかをチェックする。
いま、要注意人物であれば、その人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、この逆アクションカメラの設置位置とその撮影画面から特定した当該人物の居場所とを含む「位置」と、「人物ＩＤ」、「人物画像」とを追尾カメラ管理システム２へ送信した後（ステップＡ１６）、最初の図８のステップＡ１に戻る。
【００４２】
また、逆アクションを行った人物が要注意人物でなければ、この逆アクション監視用のモニタ番号に基づいてアクションテーブル１２を検索して該当する順アクション監視用のモニタ番号を読み出すと共に、この順アクション監視用のモニタ番号に基づいて監視テーブル１３を検索し、該当する全ての監視レコードから「人物ＩＤ」を抽出する（ステップＡ１９）。例えば、逆アクション監視用のモニタ番号が「Ｂ２」の場合には、それに対応する順アクション監視用のモニタ番号「Ｂ１」に基づいて図４の監視テーブル１３を検索することによって、このモニタ番号「Ｂ１」に該当する「人物ＩＤ」として「００１」、「００２」、「０００３」、‥‥を抽出する。言換えれば、入室した全ての人物を特定する。
【００４３】
これによって抽出特定された「人物ＩＤ」対応の登録画像（人物画像ファイル１４）と、上述のステップＡ１７で抽出された人物画像との特徴比較を行い、同一人物の有無をチェックする（ステップＡ２０）。いま、人物ＩＤ「００２」で示される人物が部屋から退室した場合、すなわち、順アクションに対応する逆アクションを起した場合には、ステップＡ２１で同一人物有りが検出される為、ステップＡ２４に移り、当該監視レコードを監視テーブル１３から削除して監視対象外とする。
【００４４】
また、逆アクションが順アクションに対応するものではない場合、例えば、モニタ番号「Ｂ１」の順アクションに対応する逆アクションとしてモニタ番号「Ｂ２」の行動を起さずに、「Ｃ２」の逆アクションを起した場合、言換えれば、同一の出入口から入退室をせずに、別の出入口から退室した場合には、上述のステップＡ２１で同一人物無しが検出される。この場合、この逆アクション監視用のモニタ番号「Ｃ２」に基づいてアクションテーブル１２を検索して該当する相殺アクションのモニタ番号「Ｂ２」を指定し、この相殺アクションのモニタ番号「Ｂ２」に対応する順アクションモニタ番号「Ｂ１」を読み出し、この順アクション監視用のモニタ番号「Ｂ１」に基づいて図４の監視テーブル１３を検索することによって、このモニタ番号「Ｂ１」に該当する「人物ＩＤ」として「００１」、「００２」、「０００３」、‥‥を抽出する（ステップＡ２２）。これによって抽出された「人物ＩＤ」対応の登録画像（人物画像ファイル１４）と、上述のステップＡ１７で抽出した人物画像とを比較し、同一人物を選択する（ステップＡ２３）。そして、ステップＡ２４に移り、当該監視レコードを監視テーブル１３から削除して監視対象外とする。
【００４５】
図１１は、追尾カメラ管理システム２の動作を示したフローチャートであり、追尾カメラ管理システム２は、全ての追尾カメラからの撮影画像を取得してモニタリングしている。
先ず、追尾カメラ管理システム２は、固定カメラ管理システム１からの要求有無をチェックし（ステップＢ１）、何らかの要求を受取った場合には、その要求内容を調べ、それが追尾通知か警戒通知かをチェックする（ステップＢ２）。
ここで、上述したように固定カメラ管理システム１側において、追尾通知は、順アクション時あるいは逆アクション時にその人物が要注意人物として認定された場合に送信され、警戒通知は、警戒人物として認定された場合に送信される。
【００４６】
いま、追尾通知を受信した場合には（ステップＢ２でＹＨＳ）、固定カメラ管理システム１から送信されて来た「人物ＩＤ」、「人物画像」の他に、順アクションを行った時の時刻とその位置を示す「アクション時刻」と「位置」とを受信し（ステップＢ３）、この「位置」に含まれている固定カメラの設置位置を読み出し、この設置位置の近傍で、現在、非監視中（空）の監視カメラを選択する（ステップＢ４）。例えば、「Ｃ１」の順アクション時に追尾通知を受信した場合には、追尾カメラとして「Ｋ４」を選択し、「Ｂ２」の逆アクション時に追尾通知を受信した場合には、追尾カメラとして「Ｋ１」を選択する。そして、選択カメラのカメラ番号に対応に対応付けて、追尾カメラ管理テーブル２２内に当該「人物ＩＤ」を記録した後（ステップＢ５）、選択カメラに対して追尾対象の当該人物画像を送信すると共に（ステップＢ６）、追尾開始指示を与える（ステップＢ７）。
【００４７】
図１２は、追尾開始指示を受けた追尾カメラの動作を示したフローチャートである。
先ず、追尾カメラは、その撮影画像を解析することによってその中に追尾対象の人物画像が写っているかを調べ（ステップＣ１、Ｃ２）、所定時間が経過しても追尾対象の人物が現れなかった場合には、追尾カメラ管理システム２に対してモニタ外通知を行うが（ステップＣ６）、追尾対象の出現を検知した場合には、その人物をマーキングして追跡撮影を行う（ステップＣ３）。そして、この追跡撮影中にその人物が追尾可能エリアから外れた場合には（ステップＣ４）、人物の進行方向を示す情報と共にモニタ外通知を追尾カメラ管理システム２に対して送信する（ステップＣ５）。
【００４８】
ここで、追尾カメラ管理システム２は、追尾カメラからモニタ外通知を受信した場合には（図１１のステップＢ８）、その通知元カメラの追尾可能エリアと人物の進行方向を示す情報とを参照して、当該カメラの最終追尾位置を求め、この位置の近傍で、現在、非監視中の監視カメラ（空のカメラ）を切替選択し（ステップＢ９）、この選択カメラに対して追尾対象の当該人物画像を送信すると共に（ステップＢ６）、追尾開始の指示を与える（ステップＢ７）。
【００４９】
一方、固定カメラ管理システム１から警戒通知を受信した場合には（ステップＢ２）、その「人物ＩＤ」を受信すると共に（ステップＢ１０）、この「人物ＩＤ」に基づいて追尾カメラ管理テーブル２２をアクセスし、その警戒人物を追跡撮影している追尾カメラを特定すると共に、この追尾カメラからの撮影画像を解析することによって、警戒人物が居る位置を特定する（ステップＢ１１）。そして、当該警戒人物の人物画像とその人物位置とを警備システム３に対して送信する（ステップＢ１２）。
【００５０】
以上のように、この実施形態における行動監視システムは、固定カメラ管理システム１、追尾カメラ管理システム２等から成り、固定カメラ管理システム１は、施設内の人物を撮影した撮影画像を解析することによって人物の順逆の行動を監視し、順アクションを起した時の時刻情報および当該人物の居場所を示す位置情報を監視テーブル１３内に記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の時刻情報および位置情報を監視テーブル１３から取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
【００５１】
この場合、逆アクションを「第２制限時間」内に起さなかった際に、その行動監視情報を警備システム３へ通報するようにしたから、素早い警備手配が可能となると共に、不正等を事前に回避することも可能となる。
また、順アクションを行った人物が「第１制限時間」内に逆アクションを行った場合には、そのアクション監視を対象外としたから、行動様式が矛盾している人物のみに絞った集中監視が可能となり、その監視を効率良く行うことが可能となる。
【００５２】
更に、順アクションを行った人物が逆アクションに相当する相殺アクションを「第１制限時間」内に行った場合には、そのアクション監視を対象外とするようにしたから、相対関係にある順逆の行動を固定化せず、柔軟な対応が可能となり、実情に即したものとなる。
この場合、「第１制限時間」、「第２制限時間」は、施設への“入場”と“退場”、“入室”と“退室”等の行動様式毎に異なる時間を設定するようにしたから、実情に即した監視が可能となる。
【００５３】
固定カメラ管理システム１は、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の時刻情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が「第１制限時間」内に逆アクションを行ったかを監視し、逆アクションを「第１制限時間」内に起さなかったことが検出された場合に、追尾カメラ管理システム２は、その人物を要注意人物として追跡撮影させるようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【００５４】
この場合、複数台の追尾カメラのうち、その人物が何れかの追尾カメラによって追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続するようにしたから、要注意人物を見逃すことなく追跡監視することができる。
また、「第２制限時間」を越えた場合には、その人物を警戒人物として特定し、現在の追尾位置とその人物に関する情報を警備システム３へ通報するようにしたから、要注意人物から警戒人物への特定が可能となる他、素早い警備手配が可能となる。
【００５５】
なお、上述した実施形態においては、相対関係にある順アクションと逆アクションとが“１対１”の場合を例示したが、例えば、２階に上がった後に３階に上がり、その後、３階から２階に降りた後に１階に戻る等のように、順アクションと逆アクションとは、“２対２”の関係にあってもよく、更に、“１対２”の関係、“２対１”の関係等であってもよく、順アクションと逆アクションとは、“対”になっている関係であれば、その内容は任意である。
【００５６】
また、固定カメラ管理システム１は、順アクションを起した後にその人物が逆アクションを「第１制限時間」内に起さなかったことを検出した場合に、その人物が順アクションを起した時の時刻情報および位置情報を監視テーブル１３から読み出して追尾カメラ管理システム２へ通知するようにしたが、警備システム３への通知も合わせて行うようにしてもよい。この場合、追尾カメラによる監視の他に、警備システム３側のモニタ画面によって警備員による直接的な監視も可能となる。
【００５７】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する機能と、順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５８】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する機能と、順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として特定し、この人物を追跡撮影する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
第２の発明（請求項６記載の発明）によれば、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物を要注意人物として追跡撮影するようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【図面の簡単な説明】
【図１】行動監視システムの全体構成を示したブロック図。
【図２】施設内に設置されているカメラの配置状態を概念的に示した図。
【図３】固定カメラ管理システム１側に設けられているアクションテーブル１２の内容を示した図。
【図４】固定カメラ管理システム１側に設けられている監視テーブル１３の内容を示した図。
【図５】
固定カメラ管理システム１側に設けられている人物画像ファイル１４を説明する為の図。
【図６】（Ａ）は、追尾カメラ管理システム２側に設けられている追尾カメラ管理テーブル２２の内容を示した図、（Ｂ）は、人物画像ファイル２３を説明する為の図。
【図７】固定カメラ管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図。
【図８】固定カメラ管理システム１の動作を示したフローチャート。
【図９】図８に続く、固定カメラ管理システム１の動作を示したフローチャート。
【図１０】図８に続く、固定カメラ管理システム１の動作を示したフローチャート。
【図１１】追尾カメラ管理システム２の動作を示したフローチャート。
【図１２】追尾開始指示を受けた追尾カメラの動作を示したフローチャート。
【符号の説明】
１固定カメラ管理システム
２追尾カメラ管理システム
３警備システム
１１固定カメラ群
１２アクションテーブル
１３監視テーブル
１４監視対象の人物画像ファイル
２１追尾カメラ群
２２追尾カメラ管理テーブル
２３追尾対象の人物画像ファイル
１０１ＣＰＵ
１０２記憶装置
１０４通信装置
１０５入力装置
１０６表示装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a behavior monitoring system and a program for monitoring a behavior of a person by analyzing a photographed image of the person.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, for example, the following technology is known as a monitoring device that monitors the behavior of a person by analyzing a captured image of a person in a facility. That is, when pointing to the position of a suspicious individual by a cursor operation on a display screen of a captured image, a cursor area surrounding the suspicious individual is displayed, and the cursor area is moved with the movement of the suspicious individual. Is known (see Patent Document 1). Further, a technique is known in which a shape characteristic and a movement characteristic are specified from a person image in a captured image, and the suspicious person is specified by comparing the information with a previously stored information on the suspicious person (see Patent Document 2). .
[0003]
[Patent Document 1]
JP 2001-111987 A
[Patent Document 2]
JP-A-11-339139
[0004]
[Problems to be solved by the invention]
However, in the technology of Patent Document 1 described above, since a cursor is operated on the display screen of the captured image to specify the position of the suspicious person, a dedicated staff member must be provided. In addition, there is a risk that a suspicious person may be overlooked in human work. Further, in the technique of Patent Document 2 described above, since it is necessary to register information about a suspicious individual in advance, there remains a problem that a suspicious individual cannot be found in the case of an unregistered individual.
[0005]
By the way, a person generally takes a pair of actions in a relative relationship as the action style. For example, since it is normal to always exit when entering a facility, it can be said that “entrance” and “exit” are a pair of behavioral styles that are in a relative relationship (forward / backward relationship). Similarly, there is a relative relationship between “up” and “down”, “entrance” and “exit”, “forward traffic (go / go)”, “reverse traffic (go / go)”, etc. It can be said that it is a pair of behaviors.
As described above, when the “reverse” action is not performed after performing the “forward” action among the pair of action styles having the “reverse” and “reverse” relations, for example, when entering the facility, Nevertheless, if the person did not leave, it is conceivable that he or she was lurking in the facility or exited from a place other than an authorized entrance, so the possibility of being a suspicious person is high. Similarly, if the person does not come down after going up to the second floor, the possibility of lurking on the second floor increases.
[0006]
An object of the first invention is to monitor the behavior of a person by analyzing a photographed image of the person, and monitor the behavior of the person in reverse order as a behavior style of the person, and the behavior style is inconsistent. This is to be able to manage when and where a person is.
A second object of the present invention is to monitor the behavior of a person by analyzing a photographed image of the person and, when the behavior of the person is monitored, monitor the behavior of the person in reverse order as the behavior of the person. Is to be able to continue tracking and monitoring a person who is in need of attention.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 (first invention) is a behavior monitoring system for monitoring the behavior of a person by analyzing a photographed image of the person, wherein the behavior of the person is a reverse behavior in a relative relationship. Detection means for detecting the forward action as a forward action and a reverse action, and, when it is detected that the forward action has been performed, the timing information at the time of performing the forward action and the position information indicating the location of the person. After recording, monitoring means for monitoring whether the person who performed the forward action performed the reverse action within a predetermined time limit, and detecting that the reverse action did not occur within the time limit by the monitoring means. Acquisition means for identifying the person in the event that the action has been taken, and acquiring timekeeping information and position information when the person has taken a forward action as behavior monitoring information It is intended to include a.
Further, the present invention provides a computer with a program for realizing the main functions described in the first aspect of the present invention.
[0008]
Therefore, according to the first and ninth aspects of the present invention, when the behavior of a person is monitored by analyzing a photographed image of the person, the behavior of the person is monitored as a behavior pattern of a relative relationship. After recording the time information at the time of the occurrence of the action and the position information indicating the location of the person, it is monitored whether the person who performed the forward action performed the reverse action within the time limit, and performed the reverse action within the time limit. If it is detected that the person has not taken action, the time measurement information and the position information when the person took the forward action are acquired as behavior monitoring information. For example, “entrance” and “exit” to the facility, stairs Persons who do not take a reciprocal behavior style such as "up" and "down", "entrance" and "exit", "forward traffic" and "reverse traffic", etc. ,example , It can be managed or behavior suspicious person or the like was there to which side o'clock anything, it becomes possible to easily perform the discovery and management of a suspicious person.
[0009]
The invention described in claim 1 may be as follows.
A reporting unit is provided for reporting the behavior monitoring information acquired by the acquiring unit to a security system (the invention according to claim 2).
Therefore, according to the invention of claim 2, in addition to having the same effect as the invention of claim 1, when the reverse action is not performed within the time limit, the action monitoring information is reported to the security system. As a result, quick security arrangements can be made, and fraud and the like can be avoided in advance.
[0010]
When it is detected that the person who performed the forward action performed the reverse action within the time limit, the action monitoring is canceled (the invention according to claim 3). Therefore, according to the third aspect of the invention, in addition to having the same effect as the first aspect of the invention, when a person who has performed a forward action performs a reverse action within a time limit, the action monitoring is performed. , It is possible to perform centralized monitoring focusing only on persons whose behavioral styles are inconsistent, and it is possible to perform the monitoring efficiently.
[0011]
Even if the person who has performed the forward action does not perform the reverse action within the time limit, if another action corresponding to the reverse action is performed within the time limit, the action monitoring is canceled (claim 4). Described invention).
Therefore, according to the fourth aspect of the invention, in addition to having the same effect as the first aspect of the invention, when the person who has performed the forward action performs another action corresponding to the reverse action within the time limit In this case, the action monitoring is excluded from the target, so that it is possible to flexibly respond to the actual situation without fixing the relative actions in the opposite order, thereby realizing the actual situation. For example, when monitoring “entrance” and “exit” based on a captured image from a camera installed at a predetermined entrance, when exiting from another entrance, it is regarded as another action corresponding to the reverse action. It is possible to respond flexibly, for example.
[0012]
When monitoring the reverse behavior for each of a plurality of behavior styles, the time limit is a set time that is predetermined for each behavior style (the invention according to claim 5).
Therefore, according to the fifth aspect of the invention, in addition to having the same effect as the first aspect of the invention, a time limit is set for each behavior style. A different time limit can be set for each action mode such as "exit", "up" and "down" on the stairs, "entry" and "exit", and monitoring according to the actual situation becomes possible.
[0013]
The invention according to claim 6 (second invention) is a behavior monitoring system for monitoring the behavior of a person by analyzing a photographed image of the person, wherein the behavior of the person is a reverse behavior in a relative relationship. Detection means for detecting the forward action as a forward action and a reverse action, and, when the detection means detects that the forward action has been performed, obtains and records information when the forward action was performed, and then records the forward action. Monitoring means for monitoring whether the person who performed the action has performed a reverse action within a predetermined time limit; and, when the monitoring means detects that the reverse action has not been performed within the time limit, the person And a tracking photographing means for tracking and photographing as a person requiring attention.
Further, the present invention provides a computer with a program for realizing the main functions shown in the invention described in claim 6 (the invention described in claim 10).
[0014]
Therefore, the invention according to the first and tenth aspects of the present invention monitors the behavior of a person by analyzing a photographed image of the person, and monitors the behavior of the person in a forward / reverse relationship as a behavior style of the person. After recording the time information at the time of the occurrence of the action and the position information indicating the location of the person, it is monitored whether the person who performed the forward action performed the reverse action within the time limit, and performed the reverse action within the time limit. When it is detected that there is no person, the person is tracked and taken as a person requiring caution. It is possible to find a person of interest and monitor its behavior.
[0015]
The tracking photographing means includes a plurality of camera devices, and when a person requiring attention is tracked and photographed by any one of the cameras, when the person moves and exceeds the pursuitable range of the camera. Is switched to another camera that exists in the moving direction of the person and can be tracked, and continues tracking and photographing of the person (the invention according to claim 7).
Therefore, according to the invention described in claim 7, in addition to having the same effect as the invention described in claim 6, when a person among the plurality of cameras is tracking and photographing by one of the cameras, When the tracking range of the camera is exceeded with the movement of the person, the camera is located in the moving direction of the person, and the camera is switched to another trackable camera to continue tracking and shooting the person. Tracking and monitoring can be performed without missing a person requiring attention.
[0016]
During surveillance of tracking a person of interest by the pursuit photographing means, if a surveillance time limit longer than the time limit is exceeded, the person is identified as a caution person, and the current tracking position and its The information about the person is reported to the security system (the invention according to claim 8).
Therefore, according to the invention described in claim 8, in addition to having the same effect as the invention described in claim 6, when the watch time limit is exceeded, the person is specified as a watch person and the current tracking position is determined. And the information about the person is reported to the security system, so that the person in need of attention can be identified as a person to be watched for, and quick security arrangements can be made.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing an overall configuration of a behavior monitoring system according to this embodiment.
This behavior monitoring system is a local communication system (LAN system) built in a facility such as a company or a factory, and monitors the behavior of a person by analyzing a captured image of a person in the facility. A fixed camera management system 1, a tracking camera management system 2, and a security system 3, which are a plurality of subsystems, are connected via a private communication network 4.
[0018]
The fixed camera management system 1 is a management system mainly including a data processing device that manages a fixed camera group 11 whose shooting range is fixedly determined in advance, and includes an action table 12, a monitoring table 13, and a monitoring target Person image file 14. The tracking camera management system 2 is a management system having a data processing device that manages a group of tracking cameras 21 capable of tracking and photographing a person as a core, and includes a tracking camera management table 22 described later and a tracking target person image file 23. have. The security system 3 is a management system built in a security room.
[0019]
FIG. 2 is a diagram conceptually showing an arrangement state of the cameras installed in the facility.
Various cameras installed in the facility are classified into a fixed camera group 11 and a tracking camera group 21 according to their uses. In the figure, A1 and A2, B1 and B2, C1 and C2, D1 and D2 are The fixed camera group 11 is shown, and K1, K2, K3, and K4 show the tracking camera group 21. Here, the fixed camera groups A1, A2,..., D1, and D2 are installed at entrances of facilities and rooms, and are used for visitors who photograph a person entering from the entrances of facilities / rooms from a substantially frontal direction. Fixed cameras A1, B1, C1, and D1 and fixed cameras A2, B2, C2, and D2 for exited persons photographing a person exiting from the exit of the facility / room from substantially the front direction.
[0020]
The tracking camera groups K1 and # K4 are installed in the facility or indoors, and have a swing mechanism for moving the camera body in order to track and photograph a specific person (a person requiring special attention, which will be described later). ing. Note that this maximum swing angle is the maximum tracking range in which a specific person can be tracked. Here, when a person is tracked and photographed by any one of the tracking cameras, when the tracking camera management system 2 detects that the person has exceeded the maximum tracking range of the camera, the tracking camera management system 2 moves the person. The camera is switched to another tracking camera that exists in the direction and can track, so that the person is continuously tracked and photographed.
[0021]
FIG. 3 is a diagram showing the contents of the action table 12 provided on the fixed camera management system 1 side.
The action table 12 is for permanently storing and managing information on a forward action and a reverse action having a relative relationship as a person's action style, and information on the reverse action. As the information on “forward action camera (monitor number)”, “reverse action camera (monitor number)”, “cancellation action camera (monitor number)”, “first time limit”, and “second time limit” are set. ing. That is, for example, when the forward / backward behavior mode is entry / exit to / from a facility, a fixed camera (camera for monitoring a forward action) A1 that monitors entry (forward action), and exit / exit (reverse action) from the facility are monitored. In addition to the fixed camera (a camera for monitoring the reverse action) A2 and the camera identification information (monitor numbers A1 and A2) set in association with each other, a "first time limit" and a "second time limit" are set. Have been.
[0022]
The “first time limit” is a set time arbitrarily set in advance to monitor whether a person who has performed a forward action (entrance) has performed a reverse action (leave) within a predetermined time. If the reverse action is performed within the “first time limit”, the fixed camera management system 1 releases the person from the monitoring target and excludes the person from the monitoring target, but performs the reverse action even if the “first time limit” is exceeded. If not, the person is identified as a person requiring caution and remains to be monitored.
The “second time limit” is a set time arbitrarily set in advance to specify a person identified as a person of caution as described above when the person identified as a cautionary person does not perform a reverse action thereafter. Yes, the alert time limit is longer than the above-mentioned “first time limit”. When a person who does not perform the reverse action even after the “second time limit” is specified as a watched person, the fixed camera management system 1 notifies the security system 3 of the current position of the person and information about the person. I have to.
[0023]
Further, for example, in the case where the forward / reverse behavior enters and exits the room from one entrance / exit, a fixed camera (camera for forward action monitoring) B1 that monitors the entrance (forward action) from the entrance / exit, and an exit (reverse) A fixed camera (camera for reverse action monitoring) B2 for monitoring the action) and camera identification information (monitor numbers B1, B2) are set in association with each other, and “cancellation action camera (monitor number)”, “ "First time limit" and "second time limit" are set.
Here, as shown in FIG. 2, when there are two entrances to the room, it is possible to exit from another entrance different from the entrance used when entering the room. In such a case, a relative relationship between “B2” of the reverse action and “B2” of the reverse action is not established, but “C2” of another action corresponding to “B2” of the reverse action, that is, another different action is performed. The exit action from the entrance is set as “cancellation action camera (monitor number)”. The “first time limit” and the “second time limit” are the same as in the above case, the “first time limit” is the time limit for identifying a person requiring attention, and the “second time limit” is the alert person. Is the time limit for specifying
[0024]
FIG. 4 is a diagram showing the contents of the monitoring table 13 provided on the fixed camera management system 1 side.
This monitoring table 13 stores and manages a monitoring record for monitoring the forward action of a person every time the forward action of a person is detected by analyzing a captured image from any of the fixed cameras A1 to D1. Each monitoring record includes items of “person ID”, “attention flag”, “forward action”, “action time”, “position”, “first time limit”, and “second time limit”. Configuration.
[0025]
If the person who performed the forward action performed the reverse action corresponding to the forward action before the “first time limit” elapses, the fixed camera management system 1 excludes the forward action from the monitoring target. Therefore, since the monitoring record is deleted from the monitoring table 13, the case where the "first limit time" has not yet elapsed after the forward action has been performed and the "first time limit" has been performed after the forward action has been performed. If the corresponding reverse action is not performed even after the “time limit” has elapsed, the monitoring record is kept as it is.
The “person ID” is a serial number automatically generated to identify a visitor when newly entering a facility. The "attention flag" is a flag added to a person identified as requiring attention as described above, and in the figure, a triangle indicates that the flag is on.
[0026]
“Forward action” is a “monitor number” indicating a fixed camera corresponding to the forward action, and “action time” and “position” indicate when and where the person was when the forward action was performed. Time information and position information. In this case, the “position” is a person obtained by analyzing the installation position at which the fixed camera corresponding to the forward action is installed and the position of the person in the image captured by the fixed camera. It is configured to combine the location of the house. That is, the current position of the person can be specified by the installation position of the camera. In this embodiment, for example, the image captured by the fixed camera is divided into a 2 × 2 matrix, and among the divided areas, The detailed position of the person is specified by using an area number indicating which area the person has moved to as information indicating the location of the person.
[0027]
The “first time limit” and the “second time limit” are the current time (action time) in the “first time limit” and “second time limit” in the action table 12 set corresponding to the forward action. ), And the fixed camera management system 1 monitors the progress of the “first time limit” and the “second time limit”, and determines the “first time limit” and the current time. Are compared to identify a person requiring attention, and further, by comparing the “second time limit” with the current time, a person to be alert is identified.
[0028]
FIG. 5 is a diagram for explaining the person image file 14 provided on the fixed camera management system 1 side.
This person image file 14 is registered in a one-person-one-file format with the person image as a monitoring target. Each person image file 14 has a “person ID” added thereto. Each of the portrait images is a photograph of a person's face. When comparing a registered image registered as the portrait image file 14 with a newly photographed image, the characteristics of the photographed image are compared. , And a feature comparison is performed. In other words, after correcting the orientation and size of the face of the photographed image, comparing the shape, position, size, etc. of the face contour, eyes, mouth, nose, forehead, etc., the presence or absence of glasses, clothing, hairstyle, color Are comprehensively compared to identify a person.
[0029]
FIG. 6A is a diagram showing the contents of the tracking camera management table 22 provided on the tracking camera management system 2 side.
The tracking camera management table 22 stores and manages information on a person to be tracked and information on a tracking camera in association with each other to track and photograph a person. The tracking camera number, the mark person ID, It has a configuration having each item of “trackable area”.
The “tracking camera number” is information (K1, $ K4) for identifying a tracking camera that tracks and shoots a person. The “trackable area” is a tracking that can be tracked to a maximum by its swing mechanism. The tracking camera management system 2 indicates a possible range, and when the person goes beyond the “trackable area”, switches to another tracking camera that can track, and continues tracking shooting. The “mark person ID” is information for identifying a person to be tracked, and the person image file 23 shown in FIG. 6B is accessed by the “mark person ID”. The person image file 23 is a one-person one-file format in which the person image is registered as a tracking target, and a "person ID" is added to each person image file 23.
[0030]
FIG. 7 is a block diagram showing the basic components of the data processing device that forms the core of the fixed camera management system 1. Since the data processing device that configures the tracking camera management system 2 has the same components, the data processing device of the fixed camera management system 1 will be described below. The description of the data processing device is omitted.
The CPU 101 is a central processing unit that controls the overall operation of the data processing device according to the operating system and various application software in the storage device 102. The storage device 102 has a program storage area and a data storage area. In the program storage area, in addition to an operating system, various application programs are stored. System.
[0031]
The recording device 102 may have a configuration in which a removable storage medium such as a CD-ROM or a DVD can be mounted in addition to a fixed memory such as a hard disk. The programs and data in the storage device 102 are loaded into a RAM (for example, a static RAM) 103 as necessary, or the data in the RAM 103 is saved in the storage device 102. The RAM 103 has a program execution area and a work area. Further, the CPU 101 can directly access and use a program / data of another electronic device via the communication device 104, and can receive a download via the communication device 104. On the other hand, an input device 105 and a display device 106, which are input / output peripheral devices, are connected to the CPU 101 via a bus line, and the CPU 101 controls the operation according to an input / output program.
[0032]
Next, an operation concept of the behavior monitoring system in this embodiment will be described with reference to flowcharts shown in FIGS. Here, the functions described in these flowcharts are stored in the form of readable program codes, and sequentially execute operations according to the program codes. Further, the operation according to the above-described program code transmitted via the transmission medium can be sequentially performed. That is, an operation unique to this embodiment can be executed using a program / data externally supplied via a transmission medium in addition to a recording medium.
[0033]
8 to 10 are flowcharts showing the operation of the fixed camera management system 1.
First, the fixed camera management system 1 constantly acquires each captured image from the fixed camera group 11 that is being monitored (step A1 in FIG. 8), and a person is included in any of the captured images. An analysis is performed to determine whether a person comes toward the fixed camera (step A2). In this case, the image analysis examines whether or not the image of the person facing the front of the camera has gradually increased, and when the person has reached a predetermined size, it is determined that the target person is present. When a crossing person or the like is detected, it is determined that there is no target person (step A3).
[0034]
Now, when a person comes toward the fixed camera, it is determined whether the camera is a fixed camera for monitoring forward action or a fixed camera for monitoring reverse action (step A4). If the camera is a fixed camera, it is further determined whether or not the camera is the fixed camera A1 for entering the facility (step A5). Here, when detecting a visitor coming in the direction of the fixed camera A1 for entering the facility, a person image is extracted from the captured image, and a "person ID" unique to the person is automatically generated. The extracted image with the "person ID" is newly registered as the person image file 14 (step A6).
[0035]
Then, the action table 12 is accessed based on the "monitor number (A1)" of the fixed camera for entering the facility, and the corresponding "first time limit" and "second time limit" are obtained (step A7). The "first time limit" and the "second time limit" are calculated by adding the current time to the "first time limit" and the "second time limit", respectively (step A8), and the fixed camera is installed. After identifying the area where the person is captured from the position and the image captured by the camera and obtaining the “position” indicating the whereabouts of the person (step A9), the “person ID” and the “monitor number (A1) , "Position", "first time limit", "second time limit", and "action time (current time)" are newly generated and newly registered in the monitoring table 13 (step A10).
Hereinafter, each time a visitor to the facility is detected, the above operation is repeated (steps A1 to A10).
[0036]
When it is detected that there is a person coming toward the camera direction in the captured images from the fixed cameras B1, C1, and D1 for forward action monitoring other than the fixed camera A1 (steps A2 to A5), A person image is extracted from the photographed image, and a feature comparison between the extracted image and a registered image (person image file 14) is performed to identify the same person (step A11). After acquiring the “person ID” from the registered image specified thereby (step A12), a process of newly generating a monitoring record according to the forward action and additionally registering the generated record in the monitoring table 13 is performed (step A12). A13).
[0037]
This generation / registration processing executes processing corresponding to steps A7 to A10 described above. First, based on the "first time limit" and "second time limit" corresponding to the "monitor number" of the fixed camera. After calculating the “first limit time” and the “second limit time” and obtaining the “position” indicating the location of the person, the “person ID”, “forward action”, “position”, and “first limit” A record including “time”, “second time limit”, and “action time” is newly generated and additionally registered in the monitoring table 13.
Then, the monitoring table 13 is searched based on the "person ID", and another monitoring record corresponding to the person is specified (step A14), and whether the "attention flag" is set in any of the monitoring records Is checked (step A15). In this case, the "caution flag" is turned off, and if the person is not a caution person, the process returns to the first step A1. However, if the "caution flag" is turned on and the person is a caution person, the process proceeds to step A16 in FIG. The first figure after notifying the tracking camera management system 2 that the person should be tracked and monitored, and transmitting the “position”, “person ID”, and “person image” of the person to the tracking camera management system 2, It returns to step A1 of 8.
[0038]
On the other hand, when the fixed camera management system 1 detects that no person is included as a result of analyzing each captured image from the fixed camera group 11 (step A3 in FIG. Then, the process proceeds to a process for specifying a person requiring caution or a caution person (steps A25 to A30 in FIG. 10). In this case, as described above, if the person who performed the forward action performed the reverse action corresponding to the forward action before the "first time limit" elapses, the fixed camera management system 1 The monitoring record is deleted from the monitoring table 13 in order to exclude the forward action from the monitoring target. Therefore, after the forward action is performed and before the "first time limit" elapses, and If the corresponding reverse action is not performed even after the "first time limit" has elapsed after the execution of the monitoring record, the monitoring record is held as it is.
[0039]
In this state, the fixed camera management system 1 compares the “first time limit” with the “current time” in the monitoring record sequentially read from the top of the monitoring table 13 to exceed the “first time limit”. (Step A25), and if there is a monitoring record that exceeds the “first limit time”, in other words, it is possible to respond even if the “first limit time” elapses after performing the forward action. If the reverse action has not been performed (step A26), the person indicated by the "person ID" in the record is specified as the person requiring attention, and the "attention flag" is set in the record (step A27). .
[0040]
Further, the fixed camera management system 1 sequentially reads the monitoring records in which the “caution flag” is set from the monitoring table 13 and compares the “second time limit” and the “current time” in the monitoring records. It is checked whether the time exceeds the "second time limit" (step A28). If there is a monitoring record exceeding the "second time limit", in other words, the monitoring record is identified as the person requiring caution as described above. If the corresponding person does not perform the corresponding reverse action even after the "second time limit" elapses after performing the forward action (step A29), the person indicated by the "person ID" in the record is deleted. The tracking camera management system 2 is notified that the person should be tracked and monitored by identifying the person as a watched person, and the “person ID” of the person is sent to the tracking camera management system 2. (Step A30).
[0041]
On the other hand, if it is detected that the corresponding reverse action has been performed after performing the forward action (step A4 in FIG. 8), a person image is extracted from the captured image (step A17 in FIG. 9). It is checked whether the person needs attention (step A18). That is, the monitoring table 13 is searched for a monitoring record in which the “caution flag” is set, a “person ID” is acquired from this record, and a registered image ( By acquiring the person image file 14) of the person of interest and comparing the registered image with the above-mentioned extracted image, it is checked whether the person who has performed the reverse action corresponds to the person requiring attention.
If the person is in need of attention, it notifies the tracking camera management system 2 that the person should be tracked and monitored, and includes the installation position of the reverse action camera and the location of the person identified from the shooting screen. After transmitting the "position", "person ID", and "person image" to the tracking camera management system 2 (step A16), the process returns to the first step A1 in FIG.
[0042]
If the person who performed the reverse action is not a person requiring caution, the action table 12 is searched based on the monitor number for monitoring the reverse action, and the monitor number for monitoring the corresponding forward action is read. The monitoring table 13 is searched based on the monitor number for monitoring, and the “person ID” is extracted from all applicable monitoring records (step A19). For example, when the monitor number for monitoring the reverse action is “B2”, the monitor table 13 of FIG. 4 is searched based on the monitor number “B1” for monitoring the forward action, and the monitor number “ “001”, “002”, “0003”, and ‥‥ are extracted as “person IDs” corresponding to “B1”. In other words, all persons who enter the room are specified.
[0043]
The feature of the registered image (person image file 14) corresponding to the "person ID" extracted and specified is compared with the feature of the person image extracted in step A17, and the presence or absence of the same person is checked (step A20). . Now, if the person indicated by the person ID “002” has left the room, that is, if a reverse action corresponding to the forward action has occurred, the presence of the same person is detected in step A21. Then, the monitoring record is deleted from the monitoring table 13 and is excluded from the monitoring target.
[0044]
When the reverse action does not correspond to the forward action, for example, as the reverse action corresponding to the forward action of the monitor number “B1”, the reverse action of “C2” is performed without causing the action of the monitor number “B2”. In other words, if the user does not enter and exit from the same entrance and exits from another entrance, the absence of the same person is detected in step A21 described above. In this case, the action table 12 is searched based on the monitor number “C2” for monitoring the reverse action, and the monitor number “B2” of the corresponding offset action is designated, and the monitor number “B2” corresponding to the offset action is designated. The forward action monitor number “B1” is read out, and the monitoring table 13 of FIG. 4 is searched based on the monitor number “B1” for monitoring the forward action, thereby obtaining “person ID” corresponding to the monitor number “B1”. “001”, “002”, “0003”, and ‥‥ are extracted (step A22). The registered image (person image file 14) corresponding to the “person ID” thus extracted is compared with the person image extracted in step A17, and the same person is selected (step A23). Then, the process proceeds to step A24, and the monitoring record is deleted from the monitoring table 13 and is excluded from the monitoring target.
[0045]
FIG. 11 is a flowchart showing the operation of the tracking camera management system 2. The tracking camera management system 2 acquires and monitors images captured from all the tracking cameras.
First, the tracking camera management system 2 checks whether or not there is a request from the fixed camera management system 1 (step B1). If any request is received, the tracking camera management system 2 checks the content of the request and determines whether the request is a tracking notification or a warning notification. Check (step B2).
Here, as described above, on the fixed camera management system 1 side, the tracking notification is transmitted when the person is identified as a person requiring attention during a forward action or a reverse action, and the alert notification is identified as an alert person. Sent when
[0046]
Now, when the tracking notification is received (YHS in step B2), in addition to the “person ID” and “person image” transmitted from the fixed camera management system 1, the time when the forward action is performed and The "action time" and the "position" indicating the position are received (step B3), and the installation position of the fixed camera included in the "position" is read out. An (empty) surveillance camera is selected (step B4). For example, when a tracking notification is received during the forward action of “C1”, “K4” is selected as the tracking camera, and when a tracking notification is received during the reverse action of “B2”, “K1” is selected as the tracking camera. Select Then, after recording the “person ID” in the tracking camera management table 22 in association with the camera number of the selected camera (step B5), the person image to be tracked is transmitted to the selected camera and (Step B6), a tracking start instruction is given (Step B7).
[0047]
FIG. 12 is a flowchart illustrating the operation of the tracking camera that has received the tracking start instruction.
First, the tracking camera analyzes the photographed image to check whether a tracking target person image is included therein (steps C1 and C2), and the tracking target person does not appear even after a predetermined time has elapsed. In this case, a notification outside the monitor is sent to the tracking camera management system 2 (step C6). However, when the appearance of the tracking target is detected, the person is marked to perform tracking shooting (step C3). If the person deviates from the trackable area during the tracking photographing (step C4), an out-of-monitor notification is transmitted to the tracking camera management system 2 together with information indicating the traveling direction of the person (step C5). .
[0048]
Here, when the tracking camera management system 2 receives the off-monitor notification from the tracking camera (step B8 in FIG. 11), the tracking camera management system 2 refers to the tracking area of the notification source camera and the information indicating the traveling direction of the person. Then, a final tracking position of the camera is determined, and a surveillance camera (empty camera) that is currently not monitored is switched and selected near this position (step B9). An image is transmitted (step B6) and an instruction to start tracking is given (step B7).
[0049]
On the other hand, when the alert notification is received from the fixed camera management system 1 (step B2), the "person ID" is received (step B10), and the tracking camera management table 22 is accessed based on the "person ID". Then, the tracking camera that is tracking and photographing the watched person is specified, and the position where the watched person is located is specified by analyzing the captured image from the tracking camera (step B11). Then, the person image of the guard person and the position of the person are transmitted to the security system 3 (step B12).
[0050]
As described above, the behavior monitoring system in this embodiment includes the fixed camera management system 1, the tracking camera management system 2, and the like. The fixed camera management system 1 analyzes a captured image of a person in the facility by analyzing the captured image. After monitoring the person's forward / reverse action and recording the time information when the forward action is performed and the position information indicating the whereabouts of the person in the monitoring table 13, the person who performed the forward action performs the reverse action within the time limit. Is monitored, and when it is detected that the reverse action is not performed within the time limit, the time information and the position information when the person performs the forward action are acquired from the monitoring table 13. Therefore, for example, "entrance" and "exit" to facilities, "up" and "down" stairs, "entry" and "exit", "forward traffic" and "reverse" It is possible to manage when and where a person whose behavior style is inconsistent, for example, a suspicious behavior, etc., was taken without taking a behavior style that has a relative relationship such as "passing". Can easily be discovered and managed.
[0051]
In this case, when the reverse action is not performed within the "second time limit", the action monitoring information is reported to the security system 3, so that quick security arrangements can be made and fraud and the like can be determined in advance. Can also be avoided.
Also, if the person who performed the forward action performed the reverse action within the "first time limit", the action monitoring was excluded from the target, so the centralized monitoring focused only on the person whose behavior style was inconsistent. And the monitoring can be performed efficiently.
[0052]
Furthermore, when the person who performed the forward action performed the offset action corresponding to the reverse action within the “first time limit”, the action monitoring is excluded from the target. It is possible to respond flexibly without fixing the behavior, and it will be in line with the actual situation.
In this case, the “first time limit” and the “second time limit” are set to different times for each of the behavior modes such as “entrance” and “exit”, “entrance” and “exit” to the facility. Therefore, monitoring according to the actual situation becomes possible.
[0053]
When monitoring the behavior of a person by analyzing a photographed image of a person in the facility, the fixed camera management system 1 monitors the behavior of the person in reverse order that is in a relative relationship as a behavior style of the person, and initiates a forward action. After recording the time information at the time of performing and the position information indicating the location of the person, it is monitored whether or not the person who performed the forward action performed the reverse action within the "first time limit". When it is detected that the person has not occurred within the time, the tracking camera management system 2 causes the person to be tracked and photographed as a person requiring attention. Can be continuously monitored and monitored as a person requiring caution, and it becomes possible to detect a person requiring caution and monitor its behavior.
[0054]
In this case, of the plurality of tracking cameras, if the person is tracking and photographing with any one of the tracking cameras, and when the person moves and exceeds the pursuitable range of the camera, the person is tracked. By switching to another camera that exists in the moving direction and can be tracked, the tracking photographing of the person is continued, so that the person requiring attention can be tracked and monitored without missing.
When the time exceeds the “second time limit”, the person is identified as a watched person, and the current tracking position and information about the person are reported to the security system 3. In addition to being able to identify a person, quick security arrangements are possible.
[0055]
In the above-described embodiment, the case where the forward action and the reverse action in a relative relationship are “one-to-one” is exemplified. However, for example, after going up to the second floor, going up to the third floor, and then going up from the third floor, The forward action and the reverse action may have a “2 to 2” relationship, such as returning to the 1st floor after descending to the 2nd floor, and further, a “1 to 2” relationship, a “2 to 1” relationship. The contents of the forward action and the reverse action are arbitrary as long as they are a "pair" relationship.
[0056]
In addition, when the fixed camera management system 1 detects that the person did not perform the reverse action within the “first time limit” after performing the forward action, the fixed camera management system 1 determines whether the person performed the forward action. Although the time information and the position information are read from the monitoring table 13 and notified to the tracking camera management system 2, the notification to the security system 3 may be performed together. In this case, in addition to monitoring by the tracking camera, direct monitoring by a guard is also possible on the monitor screen of the security system 3.
[0057]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, or the like) in which a program code for causing each of the above-described units to be executed may be provided to the computer.
That is, a recording medium having a program code readable by a computer. A function to detect a forward action and a reverse action, and, when it is detected that the forward action has been performed, after recording time information when the forward action is performed and position information indicating the location of the person, the forward action is performed. A function that monitors whether the person who performed the action has performed the reverse action within the predetermined time limit, and when it is detected that the reverse action has not been performed within the time limit, the person performs the forward action. A function to acquire the timekeeping information and the position information at the time of the occurrence as the behavior monitoring information. Yuta may be adapted to provide a recording medium readable.
[0058]
Further, a recording medium having a computer-readable program code, in order to monitor the behavior of a person by analyzing a photographed image of the person, the behavior of the person in order to reverse the behavior in a relative relationship. A function to detect as a forward action and a reverse action, and, when it is detected that the forward action has been performed, after acquiring and recording information when the forward action is performed, a person who has performed the forward action determines in advance. A function that monitors whether a reverse action has been taken within the time limit specified, and if it is detected that the reverse action has not occurred within the time limit, identifies that person as a person requiring attention and identifies this person. A computer-readable recording medium that stores a program for realizing the function of tracking and photographing may be provided.
[0059]
【The invention's effect】
According to the first invention (invention of claim 1), when the behavior of a person is monitored by analyzing a photographed image of the person, the behavior of the person is monitored in reverse order in a relative relationship. After recording the timing information at the time of performing the forward action and the position information indicating the location of the person concerned, it is monitored whether or not the person who performed the forward action performed the reverse action within the time limit. When it is detected that the person has not taken place, the time measurement information and the position information at the time when the person took the forward action are acquired as the behavior monitoring information. For example, "entrance" and " Inconsistent behavior styles, such as "Exit", "Up" and "Down" on the stairs, "Enter" and "Exit", "Forward" and "Reverse" Who do In example, the behavior can be suspicious person or the like to manage or were in any sides about what time, it becomes possible to easily perform the discovery and management of a suspicious person.
According to the second invention (invention of claim 6), when the behavior of a person is monitored by analyzing a photographed image of the person, the behavior of the person is monitored in the reverse order in a relative relationship. After recording the timing information at the time of performing the forward action and the position information indicating the location of the person concerned, it is monitored whether or not the person who performed the forward action performed the reverse action within the time limit. When it is detected that the person did not wake up inside, the person is tracked and taken as a person of caution. It is possible to continuously track and monitor, and it is possible to find a person requiring attention and monitor its behavior.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a behavior monitoring system.
FIG. 2 is a diagram conceptually showing an arrangement state of cameras installed in a facility.
FIG. 3 is a diagram showing the contents of an action table 12 provided on the fixed camera management system 1 side.
FIG. 4 is a diagram showing contents of a monitoring table provided in the fixed camera management system.
FIG. 5
FIG. 2 is a diagram for explaining a person image file 14 provided on the fixed camera management system 1 side.
6A is a diagram showing the contents of a tracking camera management table 22 provided in the tracking camera management system 2; FIG. 6B is a diagram for explaining a person image file 23;
FIG. 7 is a block diagram showing basic components of a data processing device that forms the core of the fixed camera management system 1.
FIG. 8 is a flowchart showing the operation of the fixed camera management system 1.
FIG. 9 is a flowchart showing the operation of the fixed camera management system 1 following FIG. 8;
FIG. 10 is a flowchart showing the operation of the fixed camera management system 1 following FIG. 8;
FIG. 11 is a flowchart showing the operation of the tracking camera management system 2.
FIG. 12 is a flowchart illustrating the operation of the tracking camera that has received the tracking start instruction.
[Explanation of symbols]
1 Fixed camera management system
2 Tracking camera management system
3 Security system
11 Fixed camera group
12 Action Table
13 Monitoring table
14 Person image files to be monitored
21 Tracking cameras
22 Tracking camera management table
23 Person image file to be tracked
101 CPU
102 storage device
104 Communication device
105 Input device
106 display device

Claims

A behavior monitoring system that monitors the behavior of a person by analyzing a captured image of a person,
Detecting means for detecting a reverse action that is in a relative relationship as a person's action style as a forward action or a reverse action;
When it is detected by the detecting means that the forward action has been performed, the time information when the forward action was performed and the position information indicating the location of the person are recorded, and then the person who performed the forward action determines in advance. Monitoring means for monitoring whether a reverse action has been taken within the time limit set forth in the following.
When it is detected that the reverse action has not occurred within the time limit by the monitoring means, acquisition means for acquiring as the behavior monitoring information the time information and the position information when the person took the forward action,
A behavior monitoring system comprising:

Providing reporting means for reporting the behavior monitoring information acquired by the acquiring means to the security system,
The behavior monitoring system according to claim 1, wherein:

If it is detected that the person who performed the forward action performed the reverse action within the time limit, cancel the action monitoring,
The behavior monitoring system according to claim 1, wherein:

Even if the person who performed the forward action does not perform the reverse action within the time limit, if another action corresponding to the reverse action is performed within the time limit, cancel the action monitoring,
The behavior monitoring system according to claim 1, wherein:

When monitoring the reverse behavior for each of a plurality of behavior styles, the time limit is a preset time that is predetermined for each behavior style,
The behavior monitoring system according to claim 1, wherein:

A behavior monitoring system that monitors the behavior of a person by analyzing a captured image of a person,
Detecting means for detecting a reverse action having a relative relationship as a person's action style as a forward action and a reverse action,
When it is detected that the forward action has been performed by the detecting means, after acquiring and recording information at the time when the forward action was performed, the person who performed the forward action within a predetermined time limit. Monitoring means for monitoring whether a reverse action has been taken;
When the monitoring unit detects that the reverse action has not been performed within the time limit, a tracking shooting unit that tracks and shoots the person as a person requiring attention;
A behavior monitoring system comprising:

The tracking photographing means includes a plurality of camera devices, and when a person requiring attention is tracked and photographed by any one of the cameras, when the person moves and exceeds the pursuitable range of the camera. Is present in the moving direction of the person, switches to another camera that can be tracked, and continues tracking and photographing of the person.
7. The behavior monitoring system according to claim 6, wherein:

During surveillance of tracking a person of interest by the pursuit photographing means, if a surveillance time limit longer than the time limit is exceeded, the person is identified as a caution person, and the current tracking position and its Report information about the person to the security system,
6. The behavior monitoring system according to claim 5, wherein:

Against the computer
In order to monitor the behavior of the person by analyzing the photographed image of the person, a function of detecting the reverse action in the relative relationship as the action of the person as a forward action, a reverse action,
When it is detected that the forward action has been performed, the timing information at the time the forward action was performed and the position information indicating the location of the person are recorded, and then the person who performed the forward action has a predetermined restriction. A function to monitor whether a reverse action was performed in time,
When it is detected that the reverse action did not occur within the time limit, a function of acquiring as the behavior monitoring information the timing information and the position information when the person took the forward action,
The program to realize.

Against the computer
In order to monitor the behavior of the person by analyzing the photographed image of the person, a function of detecting a forward / reverse action having a relative relationship as a person's behavior style as a forward action and a reverse action,
When it is detected that the forward action has been performed, after acquiring and recording information at the time of performing the forward action, the person who performed the forward action performs a reverse action within a predetermined time limit. Monitoring function,
If it is detected that the reverse action has not been performed within the time limit, a function of identifying the person as a person of interest and tracking and shooting this person;
The program to realize.