JP2004328622A - Action pattern identification device - Google Patents

Action pattern identification device Download PDF

Info

Publication number
JP2004328622A
JP2004328622A JP2003123916A JP2003123916A JP2004328622A JP 2004328622 A JP2004328622 A JP 2004328622A JP 2003123916 A JP2003123916 A JP 2003123916A JP 2003123916 A JP2003123916 A JP 2003123916A JP 2004328622 A JP2004328622 A JP 2004328622A
Authority
JP
Japan
Prior art keywords
behavior pattern
pattern
behavior
action
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003123916A
Other languages
Japanese (ja)
Inventor
Sumio Yokomitsu
澄男 横光
Shuji Inoue
修二 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003123916A priority Critical patent/JP2004328622A/en
Publication of JP2004328622A publication Critical patent/JP2004328622A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an action pattern identification device which can identify a doubtful figure and a doubtful vehicle, etc. <P>SOLUTION: The device identifies a doubtful figure and a doubtful vehicle, etc. by configurations providing an information input part 21 which inputs information in a supervisory region, a position detection part 22 which detects the position information of an object in the supervisory region, a position information memory part 23 which memories the position information, an action analysis part 24 which analyzes change of the position information and acquires an action pattern of the object, an action pattern data memory part 25 which memories data of the action pattern, a statistics processing part 26 which carries out the statistics processing of data of the action pattern, an action pattern discriminating part 27 which discriminates whether the action pattern of the object is a usual action pattern or not, and a notification part 28 which notifies the discrimination result. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、行動パターン識別装置に関し、さらに詳しくは、例えば、監視領域内の人物および車両等から不審人物および不審車両等を識別する行動パターン識別装置に関する。
【0002】
【従来の技術】
従来、この種の行動パターン識別装置は、図8に示すようなものが知られている。図8に示された行動パターン識別装置1は、監視領域を撮影する監視カメラ2と、監視カメラ2から出力された画像データを入力する画像入力部3と、画像データから人物の画像データを抽出する人物抽出部4と、監視領域を設定する監視領域設定部5と、監視条件を設定する監視条件設定部6と、監視対象の環境条件を記憶する監視モードテーブル7と、人物抽出部4によって抽出された人物の画像データに係る人物を監視する人物監視部8と、人物の画像データを格納するデータ格納部9と、画像データの表示を制御する表示制御部10と、画像データを表示する表示装置11とを備えている。
【0003】
従来の行動パターン識別装置1は、まず、監視カメラ2によって、監視領域が所定の周期で撮影され、撮影された画像データが画像入力部3に出力される。次いで、人物抽出部4によって、画像データから人物の画像データが抽出される。
【0004】
引き続き、人物監視部8によって、人物抽出部4で抽出された人物の画像データに係る人物が監視される。ここで、人物監視部8は、監視モードテーブル7に記憶された監視条件に基づいて人物を監視し、人物が店舗に侵入した侵入者か否かを判定するようになっている。例えば、店舗内を監視する場合は、店舗が開店している開店状態か、店舗が閉店している閉店状態かに基づき、閉店状態のときに抽出された人物を侵入者と判定し、この人物の画像データがデータ格納部9に格納される。
【0005】
そして、表示装置11によって、侵入者と判定された人物の画像データが表示される。
【0006】
以上のように、従来の行動パターン識別装置1は、例えば、店舗内を監視する場合において、閉店状態のときに人物抽出部4によって抽出された人物を侵入者として識別できるようになっている(例えば、特許文献1参照)。
【0007】
【特許文献1】
特開平9−330415号公報(第4頁、第1図)
【0008】
【発明が解決しようとする課題】
しかしながら、このような従来の行動パターン識別装置では、例えば、店舗内を監視する場合において、人物が存在しないと仮定した時間帯に人物が検出されるか否かに基づいて侵入者を識別するので、開店状態において挙動不審者の識別ができない場合があり、また、閉店状態において店舗の従業員、関係者等を誤って侵入者として識別する場合があるという問題があった。
【0009】
本発明は、このような問題を解決するためになされたものであり、例えば、店舗内を監視する場合において、開店状態および閉店状態に関わらず、監視領域内の人物および車両等から不審人物および不審車両等を識別することができる行動パターン識別装置を提供するものである。
【0010】
【課題を解決するための手段】
本発明の行動パターン識別装置は、物体の位置情報を入力する位置情報入力手段と、前記位置情報の変化を解析し、前記物体の行動パターンを取得する行動パターン取得手段と、前記行動パターンのデータを記憶する行動パターンデータ記憶手段と、前記行動パターンデータ記憶手段に記憶された前記行動パターンのデータに基づいて前記物体の前記行動パターンが通常の行動パターンか否かを判定する行動パターン判定手段とを備えたことを特徴とする構成を有している。
【0011】
この構成により、行動パターン判定手段は、行動パターンデータ記憶手段に記憶された行動パターンのデータに基づいて物体の行動パターンが通常の行動パターンか否かを判定するので、監視領域内の人物および車両等から不審人物および不審車両等を識別することができる。
【0012】
また、本発明の行動パターン識別装置は、前記行動パターン判定手段は、前記行動パターンを判定するプログラムを実行することによって前記物体の前記行動パターンを判定するようにしたことを特徴とする構成を有している。
【0013】
この構成により、行動パターン判定手段は、例えば、人口知能による処理ステップが記述されたプログラムを実行することにより、物体の行動パターンを判定するので、物体の行動パターンの学習および分析を行うことができ、不審人物および不審車両等を識別することによって、トラブルの発生を未然に防ぐことができる。
【0014】
また、本発明の行動パターン識別装置は、前記行動パターンデータ記憶手段に記憶された前記行動パターンのデータを統計処理する統計処理手段を備えたことを特徴とする構成を有している。
【0015】
この構成により、行動パターン判定手段は、統計処理手段によって統計処理された行動パターンに基づいて物体の行動パターンを判定するので、例えば、行動パターンの発生頻度に基づいて通常の行動パターンか否かを判定することができる。
【0016】
また、本発明の行動パターン識別装置は、通常の行動パターンを示す通常行動パターンおよび通常と異なる行動パターンを示す異常行動パターンの少なくとも一方を登録する行動パターン登録手段を備え、前記行動パターン判定手段は、前記行動パターン登録手段に登録された前記通常行動パターンおよび前記異常行動パターンの少なくとも一方に基づいて前記物体の前記行動パターンを判定するようにしたことを特徴とする構成を有している。
【0017】
この構成により、行動パターン判定手段は、行動パターン登録手段に登録された通常行動パターンおよび異常行動パターンの少なくとも一方に基づいて物体の行動パターンを判定するので、行動パターン取得手段によって取得された行動パターンが通常行動パターンか否かを容易に判定することができる。
【0018】
また、本発明の行動パターン識別装置は、前記位置情報入力手段は、前記物体が行動する方向、高度、速度、および時間を含む行動情報を取得し、前記行動パターン取得手段は、前記行動情報に基づいて前記行動パターンを取得するようにしたことを特徴とする構成を有している。
【0019】
この構成により、行動パターン取得手段は、行動情報に基づいて行動パターンを取得するので、行動パターン判定手段は、より的確に行動パターンの判定を行うことができる。
【0020】
また、本発明の行動パターン識別装置は、前記物体の固有情報および前記物体の環境情報を予め記憶する物体情報記憶手段を備えたことを特徴とする構成を有している。
【0021】
この構成により、行動パターン判定手段は、物体情報記憶手段に記憶された物体の固有情報および物体の環境情報に基づいて行動パターンを判定するので、より的確に行動パターンの判定を行うことができる。
【0022】
また、本発明の行動パターン識別装置は、前記行動パターンデータ記憶手段に記憶された前記行動パターンのデータから所定の行動パターンのデータを検索する行動パターンデータ検索手段を備えたことを特徴とする構成を有している。
【0023】
この構成により、行動パターンデータ検索手段は、行動パターンデータ記憶手段に記憶された行動パターンのデータを検索するので、物体の行動パターンを容易に分析することができる。
【0024】
また、本発明の行動パターン識別装置は、前記行動パターンデータ記憶手段は、所定のデータ記録方式に従って行動パターンのデータを記憶するようにしたことを特徴とする構成を有している。
【0025】
この構成により、例えば、行動パターンデータ記憶手段に記憶されるデータがMPEG7フォーマットに統一された場合、常に最新の検索技術、新たな検出処理、行動パターンの認識技術結果等をMPEG7の出力形式にするだけで、システムに取り込むことが可能となるので、他からの技術移転、他技術との親和性、およびシステムのフレキシビリティの向上が可能となる。
【0026】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0027】
(第1の実施の形態)
まず、本発明の第1の実施の形態の行動パターン識別装置の構成について説明する。
【0028】
図1に示すように、本実施の形態の行動パターン識別装置20は、監視領域内の情報を入力するn個の情報入力部21(21−1から21−nまで)と、情報入力部21から出力された情報から監視領域内の物体の位置情報を検出する位置検出部22と、位置情報を記憶する位置情報記憶部23と、位置情報の変化を解析し、物体の行動パターンを取得する行動解析部24と、行動パターンのデータを記憶する行動パターンデータ記憶部25と、行動パターンデータ記憶部25に記憶された行動パターンのデータを統計処理する統計処理部26と、行動パターンデータ記憶部25に記憶された行動パターンに基づいて物体の行動パターンが通常の行動パターンか否かを判定する行動パターン判定部27と、行動パターン判定部27の判定結果を通知する通知部28とを備えている。
【0029】
なお、前述の物体とは、物品、車両、動植物、および人物等の有体物をいい、以下、単に人物等という。また、情報入力部21、行動パターンデータ記憶部25、統計処理部26、および行動パターン判定部27は、それぞれ、位置情報入力手段、行動パターンデータ記憶手段、統計処理手段、および行動パターン判定手段を構成している。また、位置検出部22、位置情報記憶部23、および行動解析部24は、行動パターン取得手段を構成している。
【0030】
情報入力部21は、カメラ、赤外線センサ、マイクロホン、距離センサ、および温度センサ等によって構成され、監視領域内の昼夜の動画像、静止画像、音響、所定の位置から人物等までの距離、人物等の行動速度、および温度分布等のデータを入力するようになっている。
【0031】
位置検出部22、行動解析部24、統計処理部26、および行動パターン判定部27は、CPU、RAM、ROM等によって構成されている。また、位置情報記憶部23および行動パターンデータ記憶部25は、半導体メモリまたは磁気ディスク等によって構成されている。
【0032】
位置検出部22は、情報入力部21から出力された情報から監視領域内の人物等に係る情報、例えば、距離センサによって測定された所定の位置から人物等までの距離データおよびカメラから出力される画像データに基づいて人物等の位置情報を所定の時間間隔で取得するようになっている。ここで、位置情報とは、所定の位置から人物等までの距離および高さ等のデータをいう。
【0033】
なお、位置検出部22は、情報入力部21を構成する温度センサからの温度情報によって監視領域内の温度分布を検出することができるので、この温度分布のデータに基づいて監視領域内における人物、動物、車両等の有無および位置情報等を検出するようにしてもよい。また、位置検出部22は、人物等の位置情報のみでなく、人物等の一部の動作も検出するように構成してもよい。例えば、人物の手足の動作および車両のドアの開閉等を情報入力部21から出力された画像データ、距離データ、音響データ等によって検出するように構成してもよい。
【0034】
位置情報記憶部23は、位置検出部22によって取得された人物等の位置情報を時系列で記憶するようになっている。
【0035】
行動解析部24は、位置検出部22によって取得された人物等の位置情報が変化したとき、位置情報の変化を時系列で解析し、位置情報の一連の変化を人物等の行動として認識することによって人物等の行動パターンを取得するようになっている。例えば、情報入力部21を構成するカメラから出力された動画像のデータを解析し、人物等の行動軌跡、行動方向、行動速度、および監視領域内における人物等の滞在時間等のデータを取得することによって、人物等の行動パターンを取得するようになっている。ここで、行動パターンは、人物等が移動する移動パターンのみでなく、人物等の一部の動作パターン、例えば、人物の発声動作および喫煙動作等の動作パターンも含んでいる。
【0036】
なお、情報入力部21が、人物等が行動する方向、高度、速度、および時間を含む行動情報を取得し、行動解析部24が、行動情報に基づいて人物等の行動パターンを取得するように構成してもよい。
【0037】
行動パターンデータ記憶部25は、行動解析部24によって取得された行動パターンのデータをデータベース化して記憶するようになっている。
【0038】
統計処理部26は、行動パターンデータ記憶部25に記憶された行動パターンのデータを統計処理し、例えば、クラスタ分析によって、行動パターンデータ記憶部25に記憶された行動パターンを通常の行動パターンを示す通常行動パターンおよび通常と異なる行動パターンを示す異常行動パターンに分類するようになっている。
【0039】
行動パターン判定部27は、行動解析部24によって取得された行動パターンを行動パターンデータ記憶部25に記憶された統計処理後の行動パターンと照合することによって、前述の通常行動パターンに含まれる人物等の行動パターンを通常の行動パターンと判定し、前述の異常行動パターンに含まれる人物等の行動パターンを異常の行動パターンと判定するようになっている。
【0040】
通知部28は、例えば、画像処理回路、液晶ディスプレイ、オーディオアンプ、スピーカ等によって構成され、行動パターン判定部27によって判定された結果を画像、音響等で管理者に通知するようになっている。
【0041】
次に、本実施の形態の行動パターン識別装置20の動作について説明する。
【0042】
まず、情報入力部21によって、監視領域内の昼夜の画像、音響、所定の位置から人物等までの距離、および温度分布等のデータが入力される。次いで、位置検出部22によって、監視領域内の人物等の位置情報が取得される。次いで、位置情報記憶部23によって、人物等の位置情報が時系列で記憶される。
【0043】
引き続き、行動解析部24によって、人物等の位置情報が変化したとき、この位置情報の変化が時系列で解析され、人物等の行動パターンが取得され、行動パターンデータ記憶部25に記憶される。次いで、統計処理部26によって、行動パターンデータ記憶部25に記憶された行動パターンのデータが通常行動パターンおよび異常行動パターンに分類される。なお、データの分類については後述する。
【0044】
続いて、行動パターン判定部27によって、行動解析部24で取得された人物等の行動パターンを行動パターンデータ記憶部25に記憶された統計処理後の行動パターンと照合することによって、人物等の行動パターンが通常の行動パターンまたは異常の行動パターンの何れに含まれるかが判定され、異常の行動パターンに含まれると判定されたときは、前述の人物等は、不審者または不審車両等と判定される。そして、通知部28によって、行動パターン判定部27の判定結果、不審者または不審車両等の画像、音響等が管理者に通知される。
【0045】
ここで、通常行動パターンおよび異常行動パターンの分類例について、図2を参照して説明する。
【0046】
図2(a)においては、店舗の入口31と、店舗内の地点32から移動した人物等33と、人物等33の行動パターン34とが示されている。人物等33の行動パターン34は、店舗の入口31近傍の地点32から店舗内に進む行動パターンなので、統計処理部26によって、通常行動パターンに分類される。
【0047】
また、図2(b)においては、店舗の出口35と、店舗内の地点36から移動した人物等37と、人物等37の行動パターン38とが示されている。人物等37の行動パターン38は、店舗内の地点36から店舗の出口35に進む行動パターンなので、統計処理部26によって、通常行動パターンに分類される。
【0048】
一方、図2(c)においては、店舗の入口39と、店舗内の地点40から移動した人物等41と、人物等41の行動パターン42とが示されている。人物等41の行動パターン42は、店舗内の地点40から店舗の入口39に進む行動パターンなので、統計処理部26によって、異常行動パターンに分類される。
【0049】
以上のように、行動パターンデータ記憶部25に記憶された行動パターンを、例えば、統計処理部26によるクラスタ分析によって、通常行動パターンおよび異常行動パターンに分類し、行動解析部24によって取得された行動パターンが通常の行動パターンか否かを判定することができる。
【0050】
なお、行動パターンの分類は、行動パターンデータ記憶部25に記憶された行動パターンの数、すなわち、行動パターンの発生頻度によって分類するように構成し、発生頻度が高い行動パターンを通常行動パターン、発生頻度が低い行動パターンを異常行動パターンとして分類してもよい。
【0051】
また、行動解析部24は、時刻情報と共に行動パターンのデータを行動パターンデータ記憶部25に記憶し、統計処理部26は、記憶された行動パターンを時刻情報が付加された通常行動パターンおよび異常行動パターンに分類するように構成してもよい。時刻情報を付加することによって、行動パターン判定部27は、時刻情報に応じた行動パターンを判定することができるので、さらに精度よく行動パターンを判定することができる。
【0052】
なお、行動パターン判定部27は、人工知能による行動パターンの判定、例えば、Lisp言語およびProlog言語等のプログラミング言語で人口知能による処理ステップが記述されたプログラムを実行することにより、人物等の行動パターンの学習および分析を行い、不審人物および不審車両等を識別するよう構成してもよい。
【0053】
また、行動パターンデータ記憶部25は、所定のデータ記録方式、例えば、MPEG(Moving Picture Experts Group)によって規格化されたMPEG7フォーマットに従って行動パターンのデータを記憶するようにしてもよい。このMPEG7フォーマットに従えば、画像データおよび音響データに付帯する属性情報を記述することができるので、監視領域内の動画像、静止画像および音響等のデータの取得と共に、各データの属性情報によって行動パターンのデータ検索および管理等を効率的に実現することができる。また、画像データおよび音響データ等のデータ記録方式が、例えば、MPEG7フォーマットに統一された場合、常に最新の検索技術、新たな検出処理、行動パターンの認識技術結果等をMPEG7の出力形式にするだけで、システムに取り込むことが可能となるので、他からの技術移転、他技術との親和性、およびシステムのフレキシビリティの向上が可能となる。
【0054】
以上のように、本実施の形態の行動パターン識別装置20によれば、行動パターン判定部27は、行動パターンデータ記憶部25に記憶された通常行動パターンおよび異常行動パターンに基づき、行動解析部24によって取得された行動パターンが通常の行動パターンか否かを判定する構成としたので、監視領域内の人物および車両等から不審人物および不審車両等を識別することができる。
【0055】
なお、本実施の形態の行動パターン識別装置20は、不審人物および不審車両等の識別を行う監視システム以外のシステムにも適用することができる。例えば、本実施の形態の行動パターン識別装置20を店舗に設置し、来店した顧客の店舗内の行動パターンを取得して分析することによりマーケティングシステムに適用し、分析結果を新商品開発および販売戦略等に活用することができる。また、本実施の形態の行動パターン識別装置20をITS(Intelligent Transport System:高度道路交通システム)に適用し、車両の走行パターンを取得することによって、交通の管理および安全運転の支援等を行うよう構成することができる。
【0056】
(第2の実施の形態)
まず、本発明の第2の実施の形態の行動パターン識別装置の構成について説明する。
【0057】
図3において、本発明の第2の実施の形態の行動パターン識別装置50は、本発明の第1の実施の形態の行動パターン識別装置20に、さらに、行動パターン登録部51を備えた構成を有している。したがって、第1の実施の形態の行動パターン識別装置20の構成と同様の構成については、その説明を省略する。
【0058】
行動パターン登録部51は、例えば、CPU、RAM、ROM、キーボード、データ記憶ユニット、ディスプレイ等によって構成され、通常行動パターンおよび異常行動パターンの少なくとも一方を予め登録するようになっている。なお、登録された通常行動パターンおよび異常行動パターンのデータは、図示しないデータ記憶ユニットに記憶されるようになっている。なお、行動パターン登録部51は、行動パターン登録手段を構成している。
【0059】
次に、本実施の形態の行動パターン識別装置50の動作について説明する。なお、第1の実施の形態の行動パターン識別装置20の動作と同様の動作については、その説明を省略する。
【0060】
行動解析部24によって取得された行動パターンは、行動パターン登録部51に登録された行動パターンに基づき、行動パターン判定部27によって、通常の行動パターンか否かが判定される。
【0061】
ここで、行動パターン登録部51に登録された行動パターンの一例について、図4を参照して説明する。
【0062】
図4には、行動パターン登録部51に登録されたパターン1記述55からパターンn記述58までの異常行動パターンの記述が示されている。
【0063】
まず、パターン1記述55は、A地点に移動する行動パターンは異常と登録した記述である。このパターン1記述55に基づき、行動パターン判定部27によって、例えば、進入禁止区域内のA地点に移動した人物は、進入禁止区域内に侵入した侵入者と判定され、通知部28によって、判定結果が管理者に通知される。
【0064】
次に、パターン2記述56は、B地点からC地点に移動する行動パターンは異常と登録した記述である。このパターン2記述56に基づき、行動パターン判定部27によって、例えば、駐車場の出口で駐車料金を支払う有料駐車場において、駐車場内の入口付近のB地点から駐車場外の入口付近のC地点に移動する車両は、不審車両と判定され、通知部28によって、判定結果が管理者に通知される。
【0065】
次に、パターン3記述57は、D地点に5分以上滞在する行動パターンは異常と登録した記述である。このパターン3記述57に基づき、行動パターン判定部27によって、例えば、街路に設置された現金自動支払機の近傍のD地点に5分以上滞在する人物は、不審者と判定され、通知部28によって、判定結果が管理者に通知される。
【0066】
さらに、パターンn記述58は、E地点に22時以降に移動する行動パターンは異常と登録した記述である。このパターンn記述58に基づき、行動パターン判定部27によって、例えば、22時に閉店する店舗の駐車場内のE地点に移動する車両は、不審車両と判定され、通知部28によって、判定結果が管理者に通知される。
【0067】
なお、行動パターン登録部51に予め登録する行動パターンは、図4に示したような異常パターンのみに限定されず、通常パターンおよび異常行動パターンの少なくとも一方を登録すればよい。
【0068】
以上のように、本実施の形態の行動パターン識別装置50によれば、行動パターン登録部51に通常行動パターンおよび異常行動パターンの少なくとも一方を予め登録する構成としたので、行動パターン判定部27は、行動解析部24によって取得された行動パターンが通常行動パターンか否かを容易に判定することができ、監視領域内の人物および車両等から不審人物および不審車両等を識別することができる。
【0069】
(第3の実施の形態)
まず、本発明の第3の実施の形態の行動パターン識別装置の構成について説明する。
【0070】
図5において、本発明の第3の実施の形態の行動パターン識別装置60は、本発明の第2の実施の形態の行動パターン識別装置50に、さらに、環境データ記憶部61を備えた構成を有している。したがって、第2の実施の形態の行動パターン識別装置50の構成と同様の構成については、その説明を省略する。
【0071】
環境データ記憶部61は、半導体メモリまたは磁気ディスク等によって構成され、監視領域内の人物等の固有情報および人物等の環境情報を予め記憶するようになっている。なお、環境データ記憶部61は、物体情報記憶手段を構成している。
【0072】
ここで、人物等の固有情報とは、人物等をより確実に識別するための人物等の情報をいい、例えば、駐車場内の車両を監視する場合、車両の外形、色、大きさ、移動速度等を想定して設定した情報をいう。
【0073】
また、人物等の環境情報とは、人物等の周辺の情報をいい、例えば、行動パターン識別装置50が設置される道路、空港、店舗、鉄道、および駐車場等の情報をいう。
【0074】
次に、本実施の形態の行動パターン識別装置60の動作について説明する。なお、第2の実施の形態の行動パターン識別装置50の動作と同様の動作については、その説明を省略する。
【0075】
位置検出部22によって、監視領域内の人物等の位置情報が取得された後、行動解析部24によって、環境データ記憶部61に記憶された監視領域内の人物等の固有情報および人物等の環境情報が読み出される。次いで、行動解析部24によって、監視領域内の人物等の固有情報および人物等の環境情報に基づき、人物等の位置情報が解析された後、人物等の行動パターンが取得され、行動パターンデータ記憶部25に記憶される。
【0076】
したがって、行動解析部24は、人物等の位置情報を解析する際に、監視領域内の人物等の固有情報および人物等の環境情報を参照することができるので、人物等の行動パターンをより的確に取得することができる。
【0077】
以上のように、本実施の形態の行動パターン識別装置60によれば、環境データ記憶部61に監視領域内の人物等の固有情報および人物等の環境情報を予め記憶する構成としたので、行動解析部24は、人物等の行動パターンをより的確に取得することができる。
【0078】
(第4の実施の形態)
まず、本発明の第4の実施の形態の行動パターン識別装置の構成について説明する。
【0079】
図6において、本発明の第4の実施の形態の行動パターン識別装置70は、本発明の第3の実施の形態の行動パターン識別装置60に、さらに、データ検索部71を備えた構成を有している。したがって、第3の実施の形態の行動パターン識別装置60の構成と同様の構成については、その説明を省略する。
【0080】
データ検索部71は、例えば、CPU、RAM、ROM等によって構成され、行動パターンデータ記憶部25に記憶された行動パターンのデータから所定の行動パターンのデータを検索するようになっている。なお、データ検索部71は、行動パターンデータ検索手段を構成している。
【0081】
次に、本実施の形態の行動パターン識別装置70の動作について説明する。なお、第3の実施の形態の行動パターン識別装置60の動作と同様の動作については、その説明を省略する。
【0082】
行動解析部24によって取得された行動パターンのデータが行動パターンデータ記憶部25に記憶された後、データ検索部71によって所定の行動パターンのデータが検索される。なお、行動パターンのデータの検索は、人物等の識別と並行して実行してもよいし、人物等の識別とは別個に、例えば、行動パターンデータ記憶部25に記憶された行動パターンのデータを分析する目的で実行してもよい。
【0083】
ここで、データ検索部71による行動パターンのデータの検索例について、図7を参照して説明する。
【0084】
図7において、パターン1検索75は、A地点に移動する行動パターンを検索する条件を示している。また、パターン2検索76は、B地点からC地点に移動する行動パターンを検索する条件を示している。また、パターン3検索77は、D地点に5分以上滞在する行動パターンを検索する条件を示している。さらに、パターンn検索78は、E地点に22時以降に移動する行動パターンを検索する条件を示している。データ検索部71は、前述の行動パターンの検索条件に基づいて行動パターンデータ記憶部25に記憶された行動パターンを検索し、検索条件に一致した行動パターンを検索する。なお、データ検索部71は、統計処理部26によって統計処理された行動パターンのデータも検索するようにしてもよい。また、データ検索部71は、行動パターンのデータのみでなく、人物等の画像データおよび音響データ等も検索するようにしてもよい。
【0085】
以上のように、本実施の形態の行動パターン識別装置70によれば、データ検索部71によって、行動パターンデータ記憶部25に記憶された行動パターンのデータを検索する構成としたので、人物等の行動パターンを容易に分析することができ、分析した結果をマーケティングシステムおよびITS等に適用することができる。
【0086】
【発明の効果】
以上説明したように、本発明によれば、監視領域内の人物および車両等から不審人物および不審車両等を識別することができる行動パターン識別装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の行動パターン識別装置のブロック図
【図2】(a)店舗の入口から店舗内に進む行動パターンを示す図
(b)店舗内から店舗の出口に進む行動パターンを示す図
(c)店舗内から店舗の入口に進む行動パターンを示す図
【図3】本発明の第2の実施の形態の行動パターン識別装置のブロック図
【図4】行動パターン登録部に登録された行動パターンの一例を示す図
【図5】本発明の第3の実施の形態の行動パターン識別装置のブロック図
【図6】本発明の第4の実施の形態の行動パターン識別装置のブロック図
【図7】データ検索部による行動パターンのデータの検索例を示す図
【図8】従来の行動パターン識別装置のブロック図
【符号の説明】
20、50、60、70 行動パターン識別装置
21 情報入力部
22 位置検出部
23 位置情報記憶部
24 行動解析部
25 行動パターンデータ記憶部
26 統計処理部
27 行動パターン判定部
28 通知部
31、39 入口
32、36、40 地点
33、37、41 人物等
34、38、42 行動パターン
35 出口
51 行動パターン登録部
55 パターン1記述
56 パターン2記述
57 パターン3記述
58 パターンn記述
61 環境データ記憶部
71 データ検索部
75 パターン1検索
76 パターン2検索
77 パターン3検索
78 パターンn検索
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a behavior pattern identification device, and more particularly to, for example, a behavior pattern identification device for identifying a suspicious person, a suspicious vehicle, and the like from persons, vehicles, and the like in a monitoring area.
[0002]
[Prior art]
Conventionally, this type of behavior pattern identification device is known as shown in FIG. The behavior pattern identification device 1 illustrated in FIG. 8 includes a monitoring camera 2 that captures a monitoring area, an image input unit 3 that inputs image data output from the monitoring camera 2, and extracts image data of a person from the image data. A person extracting unit 4, a monitoring region setting unit 5 for setting a monitoring region, a monitoring condition setting unit 6 for setting a monitoring condition, a monitoring mode table 7 for storing environmental conditions to be monitored, and a person extracting unit 4. A person monitoring unit 8 for monitoring a person related to the extracted image data of a person, a data storage unit 9 for storing image data of the person, a display control unit 10 for controlling display of the image data, and displaying the image data. A display device 11 is provided.
[0003]
In the conventional behavior pattern identification device 1, first, a monitoring area is photographed by the monitoring camera 2 at a predetermined cycle, and photographed image data is output to the image input unit 3. Next, image data of a person is extracted from the image data by the person extracting unit 4.
[0004]
Subsequently, the person monitoring unit 8 monitors the person related to the image data of the person extracted by the person extracting unit 4. Here, the person monitoring unit 8 monitors the person based on the monitoring conditions stored in the monitoring mode table 7 and determines whether the person is an intruder who has entered the store. For example, when monitoring the inside of a store, a person extracted when the store is closed is determined to be an intruder based on whether the store is open or the store is closed. Are stored in the data storage unit 9.
[0005]
Then, the display device 11 displays image data of the person determined to be the intruder.
[0006]
As described above, the conventional behavior pattern identification device 1 can identify a person extracted by the person extraction unit 4 as an intruder when the store is closed, for example, when monitoring a store. For example, see Patent Document 1).
[0007]
[Patent Document 1]
JP-A-9-330415 (page 4, FIG. 1)
[0008]
[Problems to be solved by the invention]
However, in such a conventional behavior pattern identification device, for example, when monitoring the inside of a store, an intruder is identified based on whether or not a person is detected during a time period when it is assumed that no person exists. However, there is a problem that a behavior suspicious individual cannot be identified in a store opening state, and an employee or a related person of the store may be erroneously identified as an intruder in a store closed state.
[0009]
The present invention has been made in order to solve such a problem.For example, when monitoring the inside of a store, regardless of whether the store is open or closed, a suspicious person and a person in the monitoring area can be used. An object of the present invention is to provide an action pattern identification device capable of identifying a suspicious vehicle or the like.
[0010]
[Means for Solving the Problems]
The behavior pattern identification device of the present invention is a position information input unit that inputs position information of an object, a behavior pattern acquisition unit that analyzes a change in the position information, and acquires a behavior pattern of the object, and data of the behavior pattern. Action pattern data storage means for storing the action pattern data stored in the action pattern data storage means, and an action pattern determination means for determining whether the action pattern of the object is a normal action pattern based on the action pattern data Is provided.
[0011]
With this configuration, the behavior pattern determination unit determines whether or not the behavior pattern of the object is a normal behavior pattern based on the behavior pattern data stored in the behavior pattern data storage unit. The suspicious person, the suspicious vehicle, and the like can be identified from the information.
[0012]
Further, the behavior pattern identification device of the present invention is characterized in that the behavior pattern determination means is configured to determine the behavior pattern of the object by executing a program for determining the behavior pattern. are doing.
[0013]
With this configuration, the behavior pattern determination unit determines the behavior pattern of the object by, for example, executing a program in which processing steps based on artificial intelligence are described, so that learning and analysis of the behavior pattern of the object can be performed. By identifying a suspicious person, a suspicious vehicle, and the like, it is possible to prevent a trouble from occurring.
[0014]
Further, the behavior pattern identification device of the present invention has a configuration characterized by comprising a statistical processing means for statistically processing the behavior pattern data stored in the behavior pattern data storage means.
[0015]
With this configuration, the behavior pattern determination unit determines the behavior pattern of the object based on the behavior pattern statistically processed by the statistical processing unit. For example, the behavior pattern determination unit determines whether or not the object is a normal behavior pattern based on the frequency of occurrence of the behavior pattern. Can be determined.
[0016]
Further, the behavior pattern identification device of the present invention includes a behavior pattern registration unit that registers at least one of a normal behavior pattern indicating a normal behavior pattern and an abnormal behavior pattern indicating a behavior pattern different from the normal, and the behavior pattern determination unit includes: And the behavior pattern of the object is determined based on at least one of the normal behavior pattern and the abnormal behavior pattern registered in the behavior pattern registration means.
[0017]
With this configuration, the behavior pattern determination unit determines the behavior pattern of the object based on at least one of the normal behavior pattern and the abnormal behavior pattern registered in the behavior pattern registration unit, and thus the behavior pattern acquired by the behavior pattern acquisition unit. Can be easily determined whether or not is a normal behavior pattern.
[0018]
Further, in the behavior pattern identification device of the present invention, the position information input means acquires behavior information including a direction in which the object acts, altitude, speed, and time, and the behavior pattern acquisition means includes And acquiring the behavior pattern based on the behavior pattern.
[0019]
With this configuration, the behavior pattern acquisition unit acquires the behavior pattern based on the behavior information, so that the behavior pattern determination unit can more accurately determine the behavior pattern.
[0020]
Further, the behavior pattern identification device of the present invention has a configuration characterized by comprising object information storage means for storing in advance the unique information of the object and the environment information of the object.
[0021]
With this configuration, the behavior pattern determination unit determines the behavior pattern based on the unique information of the object and the environment information of the object stored in the object information storage unit, so that the behavior pattern can be determined more accurately.
[0022]
Further, the behavior pattern identification device of the present invention is provided with behavior pattern data search means for retrieving predetermined behavior pattern data from the behavior pattern data stored in the behavior pattern data storage means. have.
[0023]
According to this configuration, the action pattern data search means searches the action pattern data stored in the action pattern data storage means, so that the action pattern of the object can be easily analyzed.
[0024]
Further, the behavior pattern identification device according to the present invention is characterized in that the behavior pattern data storage means stores behavior pattern data according to a predetermined data recording method.
[0025]
With this configuration, for example, when the data stored in the behavior pattern data storage unit is unified into the MPEG7 format, the latest search technology, new detection processing, behavior pattern recognition technology result, and the like are always output in the MPEG7 output format. Alone, it can be incorporated into the system, so that technology transfer from another, compatibility with other technologies, and improvement of system flexibility can be achieved.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0027]
(First Embodiment)
First, the configuration of the behavior pattern identification device according to the first embodiment of the present invention will be described.
[0028]
As shown in FIG. 1, an action pattern identification device 20 of the present embodiment includes n information input units 21 (from 21-1 to 21-n) for inputting information in a monitoring area, and an information input unit 21. A position detecting unit 22 for detecting position information of an object in a monitoring area from information output from the, a position information storage unit 23 for storing position information, and analyzing a change in the position information to obtain a behavior pattern of the object. An action analysis section 24, an action pattern data storage section 25 for storing action pattern data, a statistical processing section 26 for statistically processing the action pattern data stored in the action pattern data storage section 25, and an action pattern data storage section The behavior pattern determination unit 27 that determines whether the behavior pattern of the object is a normal behavior pattern based on the behavior pattern stored in the behavior pattern 25, and the determination result of the behavior pattern determination unit 27 And a notification section 28 to be notified.
[0029]
The above-mentioned object refers to a tangible object such as an article, a vehicle, a flora and fauna, and a person, and is hereinafter simply referred to as a person. The information input unit 21, the behavior pattern data storage unit 25, the statistical processing unit 26, and the behavior pattern determination unit 27 include a position information input unit, a behavior pattern data storage unit, a statistical processing unit, and a behavior pattern determination unit, respectively. Make up. In addition, the position detection unit 22, the position information storage unit 23, and the behavior analysis unit 24 constitute a behavior pattern acquisition unit.
[0030]
The information input unit 21 includes a camera, an infrared sensor, a microphone, a distance sensor, a temperature sensor, and the like, and is a moving image, a still image, a sound, a distance from a predetermined position to a person, etc. The data such as the action speed and the temperature distribution are input.
[0031]
The position detection unit 22, the behavior analysis unit 24, the statistical processing unit 26, and the behavior pattern determination unit 27 are configured by a CPU, a RAM, a ROM, and the like. Further, the position information storage unit 23 and the behavior pattern data storage unit 25 are configured by a semiconductor memory, a magnetic disk, or the like.
[0032]
The position detection unit 22 outputs information on a person or the like in the monitoring area from the information output from the information input unit 21, for example, distance data from a predetermined position to a person or the like measured by a distance sensor and is output from the camera. Position information of a person or the like is acquired at predetermined time intervals based on image data. Here, the position information refers to data such as a distance and a height from a predetermined position to a person or the like.
[0033]
The position detection unit 22 can detect a temperature distribution in the monitoring area based on temperature information from a temperature sensor included in the information input unit 21. Therefore, based on the data of the temperature distribution, a person in the monitoring area, The presence or absence of an animal, a vehicle, and the like, position information, and the like may be detected. Further, the position detection unit 22 may be configured to detect not only the position information of a person or the like but also a part of the operation of the person or the like. For example, the configuration may be such that the motion of a person's limbs and the opening and closing of a vehicle door are detected by image data, distance data, sound data, and the like output from the information input unit 21.
[0034]
The position information storage unit 23 stores the position information of a person or the like acquired by the position detection unit 22 in a time-series manner.
[0035]
When the position information of a person or the like acquired by the position detection unit 22 changes, the behavior analysis unit 24 analyzes the change in the position information in a time series, and recognizes a series of changes in the position information as behavior of the person or the like. Thus, an action pattern of a person or the like is acquired. For example, data of a moving image output from a camera constituting the information input unit 21 is analyzed, and data such as an action trajectory of the person or the like, an action direction, an action speed, and a stay time of the person or the like in the monitoring area are acquired. Thereby, a behavior pattern of a person or the like is obtained. Here, the behavior pattern includes not only a movement pattern in which a person or the like moves, but also a part of the movement pattern of the person or the like, for example, an operation pattern such as a utterance operation and a smoking operation of the person.
[0036]
Note that the information input unit 21 acquires the behavior information including the direction, altitude, speed, and time in which the person or the like acts, and the behavior analysis unit 24 acquires the behavior pattern of the person or the like based on the behavior information. You may comprise.
[0037]
The behavior pattern data storage unit 25 is configured to store the data of the behavior pattern acquired by the behavior analysis unit 24 in a database.
[0038]
The statistical processing unit 26 statistically processes the data of the behavior pattern stored in the behavior pattern data storage unit 25, and indicates the behavior pattern stored in the behavior pattern data storage unit 25 as a normal behavior pattern by, for example, cluster analysis. It is classified into a normal behavior pattern and an abnormal behavior pattern showing a behavior pattern different from the normal behavior pattern.
[0039]
The behavior pattern determination unit 27 compares the behavior pattern acquired by the behavior analysis unit 24 with the behavior pattern after the statistical processing stored in the behavior pattern data storage unit 25, and thereby the person or the like included in the normal behavior pattern described above. Is determined as a normal behavior pattern, and the behavior pattern of a person or the like included in the abnormal behavior pattern described above is determined as an abnormal behavior pattern.
[0040]
The notification unit 28 includes, for example, an image processing circuit, a liquid crystal display, an audio amplifier, a speaker, and the like, and notifies the administrator of the result determined by the behavior pattern determination unit 27 by an image, sound, or the like.
[0041]
Next, the operation of the behavior pattern identification device 20 of the present embodiment will be described.
[0042]
First, the information input unit 21 inputs data such as day and night images and sounds in the monitoring area, distance from a predetermined position to a person or the like, and temperature distribution. Next, the position detection unit 22 acquires position information of a person or the like in the monitoring area. Next, the position information storage unit 23 stores the position information of the person and the like in chronological order.
[0043]
Subsequently, when the position information of the person or the like is changed by the action analysis unit 24, the change of the position information is analyzed in a time series, and the action pattern of the person or the like is acquired and stored in the action pattern data storage unit 25. Next, the statistical processing unit 26 classifies the data of the behavior pattern stored in the behavior pattern data storage unit 25 into a normal behavior pattern and an abnormal behavior pattern. The data classification will be described later.
[0044]
Subsequently, the behavior pattern of the person or the like is collated by the behavior pattern determination unit 27 with the behavior pattern after the statistical processing stored in the behavior pattern data storage unit 25 by comparing the behavior pattern of the person or the like acquired by the behavior analysis unit 24. It is determined whether the pattern is included in the normal behavior pattern or the abnormal behavior pattern, and when it is determined that the pattern is included in the abnormal behavior pattern, the aforementioned person or the like is determined to be a suspicious person or a suspicious vehicle. You. Then, the notification unit 28 notifies the administrator of the determination result of the action pattern determination unit 27, the image, the sound, and the like of the suspicious person or the suspicious vehicle.
[0045]
Here, a classification example of the normal behavior pattern and the abnormal behavior pattern will be described with reference to FIG.
[0046]
FIG. 2A shows a store entrance 31, a person or the like 33 moved from a point 32 in the store, and an action pattern 34 of the person or the like 33. The behavior pattern 34 of the person 33 or the like is a behavior pattern that proceeds from the point 32 near the store entrance 31 to the inside of the store, and is classified by the statistical processing unit 26 into a normal behavior pattern.
[0047]
FIG. 2B shows a store exit 35, a person or the like 37 that has moved from a point 36 in the store, and an action pattern 38 of the person or the like 37. The behavior pattern 38 of the person or the like 37 is a behavior pattern that proceeds from the point 36 in the store to the exit 35 of the store, and is classified by the statistical processing unit 26 into a normal behavior pattern.
[0048]
On the other hand, FIG. 2C shows a store entrance 39, a person 41 or the like 41 that has moved from a point 40 in the store, and a behavior pattern 42 of the person 41 or the like. The behavior pattern 42 of the person or the like 41 is a behavior pattern that proceeds from the point 40 in the store to the entrance 39 of the store, and is classified by the statistical processing unit 26 as an abnormal behavior pattern.
[0049]
As described above, the behavior pattern stored in the behavior pattern data storage unit 25 is classified into a normal behavior pattern and an abnormal behavior pattern by, for example, cluster analysis by the statistical processing unit 26, and the behavior acquired by the behavior analysis unit 24. It can be determined whether the pattern is a normal behavior pattern.
[0050]
The behavior patterns are classified according to the number of behavior patterns stored in the behavior pattern data storage unit 25, that is, the frequency of occurrence of the behavior patterns. A behavior pattern with a low frequency may be classified as an abnormal behavior pattern.
[0051]
The behavior analysis unit 24 stores the data of the behavior pattern together with the time information in the behavior pattern data storage unit 25, and the statistical processing unit 26 stores the stored behavior pattern in the normal behavior pattern and the abnormal behavior pattern to which the time information is added. You may comprise so that it may be classified into a pattern. By adding the time information, the action pattern determination unit 27 can determine the action pattern according to the time information, so that the action pattern can be more accurately determined.
[0052]
The behavior pattern determination unit 27 determines the behavior pattern using artificial intelligence, for example, by executing a program in which processing steps based on artificial intelligence are described in a programming language such as the Lisp language and the Prolog language. And a suspicious person, a suspicious vehicle or the like may be identified.
[0053]
Further, the behavior pattern data storage unit 25 may store the data of the behavior pattern according to a predetermined data recording method, for example, the MPEG7 format standardized by MPEG (Moving Picture Experts Group). According to the MPEG7 format, attribute information attached to image data and audio data can be described, so that data such as a moving image, a still image, and audio in a monitoring area can be obtained, and an action based on the attribute information of each data can be performed. Data search and management of patterns can be efficiently realized. In addition, when the data recording method of image data and sound data is unified to, for example, the MPEG7 format, the latest search technology, new detection processing, behavior pattern recognition technology result, etc. are always output in the MPEG7 output format. Therefore, the technology can be incorporated into the system, so that the technology transfer from another, the affinity with the other technology, and the flexibility of the system can be improved.
[0054]
As described above, according to the behavior pattern identification device 20 of the present embodiment, the behavior pattern determination unit 27 performs the behavior analysis unit 24 based on the normal behavior pattern and the abnormal behavior pattern stored in the behavior pattern data storage unit 25. It is configured to determine whether or not the behavior pattern acquired by the above is a normal behavior pattern. Therefore, a suspicious person, a suspicious vehicle, and the like can be identified from the persons, vehicles, and the like in the monitoring area.
[0055]
The behavior pattern identification device 20 according to the present embodiment can be applied to a system other than a monitoring system that identifies a suspicious person, a suspicious vehicle, and the like. For example, the behavior pattern identification device 20 of the present embodiment is installed in a store, the behavior pattern of the visiting customer in the store is acquired and analyzed, and applied to a marketing system, and the analysis result is used for a new product development and sales strategy. Etc. can be used. In addition, the behavior pattern identification device 20 of the present embodiment is applied to an intelligent transport system (ITS) to obtain traffic patterns of a vehicle, thereby performing traffic management and assisting safe driving. Can be configured.
[0056]
(Second embodiment)
First, the configuration of the behavior pattern identification device according to the second embodiment of the present invention will be described.
[0057]
In FIG. 3, the behavior pattern identification device 50 according to the second embodiment of the present invention has a configuration in which the behavior pattern identification device 20 according to the first embodiment of the present invention further includes a behavior pattern registration unit 51. Have. Therefore, the description of the same configuration as the configuration of the behavior pattern identification device 20 of the first embodiment is omitted.
[0058]
The behavior pattern registration unit 51 includes, for example, a CPU, a RAM, a ROM, a keyboard, a data storage unit, and a display, and registers at least one of a normal behavior pattern and an abnormal behavior pattern in advance. The registered normal behavior pattern and abnormal behavior pattern data are stored in a data storage unit (not shown). Note that the behavior pattern registration section 51 constitutes a behavior pattern registration unit.
[0059]
Next, the operation of the behavior pattern identification device 50 of the present embodiment will be described. The description of the same operation as the operation of the behavior pattern identification device 20 of the first embodiment is omitted.
[0060]
The behavior pattern acquired by the behavior analysis unit 24 is determined by the behavior pattern determination unit 27 based on the behavior pattern registered in the behavior pattern registration unit 51 to determine whether it is a normal behavior pattern.
[0061]
Here, an example of the behavior pattern registered in the behavior pattern registration unit 51 will be described with reference to FIG.
[0062]
FIG. 4 shows descriptions of abnormal behavior patterns from the pattern 1 description 55 to the pattern n description 58 registered in the behavior pattern registration unit 51.
[0063]
First, the pattern 1 description 55 is a description in which the behavior pattern of moving to the point A is registered as abnormal. Based on the pattern 1 description 55, for example, the person who has moved to the point A in the no-go zone is determined by the action pattern determining unit 27 to be an intruder who has entered the no-go zone, and the notification unit 28 determines the result of the determination. Is notified to the administrator.
[0064]
Next, the pattern 2 description 56 is a description in which the behavior pattern of moving from the point B to the point C is registered as abnormal. Based on the pattern 2 description 56, the behavior pattern determination unit 27 moves from point B near the entrance inside the parking lot to point C near the entrance outside the parking lot, for example, in a toll parking lot where the parking fee is paid at the exit of the parking lot. The vehicle performing the determination is determined to be a suspicious vehicle, and the notification unit 28 notifies the administrator of the determination result.
[0065]
Next, the pattern 3 description 57 is a description in which the behavior pattern of staying at the point D for 5 minutes or more is registered as abnormal. Based on the pattern 3 description 57, for example, a person who stays at a point D near a cash dispenser installed on a street for 5 minutes or more is determined to be a suspicious person by the action pattern determination unit 27, and the notification unit 28 The determination result is notified to the administrator.
[0066]
Further, the pattern n description 58 is a description in which the behavior pattern of moving to the point E after 22:00 is registered as abnormal. Based on the pattern n description 58, the vehicle that moves to the point E in the parking lot of the store that closes at 22:00 is determined to be a suspicious vehicle by the action pattern determination unit 27, and the determination result is notified by the notification unit 28 to the manager. Will be notified.
[0067]
The behavior pattern registered in advance in the behavior pattern registration unit 51 is not limited to the abnormal pattern shown in FIG. 4, and at least one of the normal pattern and the abnormal behavior pattern may be registered.
[0068]
As described above, according to the behavior pattern identification device 50 of the present embodiment, at least one of the normal behavior pattern and the abnormal behavior pattern is registered in the behavior pattern registration unit 51 in advance. In addition, it is possible to easily determine whether or not the behavior pattern acquired by the behavior analysis unit 24 is a normal behavior pattern, and to identify a suspicious person, a suspicious vehicle, and the like from the persons, vehicles, and the like in the monitoring area.
[0069]
(Third embodiment)
First, the configuration of the behavior pattern identification device according to the third embodiment of the present invention will be described.
[0070]
In FIG. 5, the behavior pattern identification device 60 according to the third embodiment of the present invention has a configuration in which the behavior pattern identification device 50 according to the second embodiment of the present invention further includes an environment data storage unit 61. Have. Therefore, the description of the same configuration as the configuration of the behavior pattern identification device 50 of the second embodiment is omitted.
[0071]
The environment data storage unit 61 is configured by a semiconductor memory, a magnetic disk, or the like, and stores in advance the unique information of a person or the like in the monitoring area and the environment information of the person or the like. Note that the environment data storage unit 61 forms an object information storage unit.
[0072]
Here, the unique information of a person or the like refers to information of a person or the like for more securely identifying the person or the like. For example, when monitoring a vehicle in a parking lot, the outer shape, color, size, and moving speed of the vehicle Refers to information set assuming the above.
[0073]
The environmental information of a person or the like refers to information around the person or the like, and includes, for example, information on a road, an airport, a store, a railroad, and a parking lot where the behavior pattern identification device 50 is installed.
[0074]
Next, the operation of the behavior pattern identification device 60 of the present embodiment will be described. The description of the same operation as the operation of the behavior pattern identification device 50 of the second embodiment is omitted.
[0075]
After the position detection unit 22 acquires the position information of the person or the like in the monitoring area, the behavior analysis unit 24 causes the unique information of the person or the like in the monitoring area stored in the environment data storage unit 61 and the environment of the person or the like. The information is read. Next, the behavior analysis unit 24 analyzes the position information of the person or the like based on the unique information of the person or the like in the monitoring area and the environment information of the person or the like, and then acquires the behavior pattern of the person or the like, and stores the behavior pattern data. Stored in the unit 25.
[0076]
Therefore, when analyzing the position information of a person or the like, the behavior analysis unit 24 can refer to the unique information of the person or the like and the environmental information of the person or the like in the monitoring area, and thus the behavior pattern of the person or the like can be more accurately determined. Can be obtained.
[0077]
As described above, according to the behavior pattern identification device 60 of the present embodiment, the environment data storage unit 61 is configured to previously store the unique information of the person and the like in the monitoring area and the environment information of the person and the like. The analysis unit 24 can more accurately acquire a behavior pattern of a person or the like.
[0078]
(Fourth embodiment)
First, the configuration of the behavior pattern identification device according to the fourth embodiment of the present invention will be described.
[0079]
In FIG. 6, the behavior pattern identification device 70 according to the fourth embodiment of the present invention has a configuration in which the behavior pattern identification device 60 according to the third embodiment of the present invention further includes a data search unit 71. are doing. Therefore, the description of the same configuration as the configuration of the behavior pattern identification device 60 of the third embodiment is omitted.
[0080]
The data search unit 71 is configured by, for example, a CPU, a RAM, a ROM, and the like, and searches for data of a predetermined behavior pattern from the data of the behavior pattern stored in the behavior pattern data storage unit 25. The data search unit 71 constitutes an action pattern data search unit.
[0081]
Next, the operation of the behavior pattern identification device 70 of the present embodiment will be described. The description of the same operation as the operation of the behavior pattern identification device 60 of the third embodiment is omitted.
[0082]
After the behavior pattern data acquired by the behavior analysis unit 24 is stored in the behavior pattern data storage unit 25, the data retrieval unit 71 retrieves data of a predetermined behavior pattern. The search for the behavior pattern data may be performed in parallel with the identification of the person or the like, or separately from the identification of the person or the like, for example, the behavior pattern data stored in the behavior pattern data storage unit 25. May be executed for the purpose of analyzing.
[0083]
Here, an example of searching for data of an action pattern by the data search unit 71 will be described with reference to FIG.
[0084]
In FIG. 7, a pattern 1 search 75 indicates a condition for searching for an action pattern of moving to the point A. The pattern 2 search 76 indicates conditions for searching for an action pattern of moving from the point B to the point C. The pattern 3 search 77 indicates a condition for searching for an action pattern that stays at the point D for 5 minutes or more. Further, the pattern n search 78 indicates conditions for searching for an action pattern of moving to the point E after 22:00. The data search unit 71 searches the action pattern stored in the action pattern data storage unit 25 based on the search condition of the action pattern described above, and searches for an action pattern that matches the search condition. Note that the data search unit 71 may also search for the data of the behavior pattern statistically processed by the statistical processing unit 26. Further, the data search unit 71 may search not only the data of the behavior pattern but also image data and sound data of a person or the like.
[0085]
As described above, according to the behavior pattern identification device 70 of the present embodiment, the data retrieval unit 71 is configured to retrieve the data of the behavior pattern stored in the behavior pattern data storage unit 25. The behavior pattern can be easily analyzed, and the analysis result can be applied to a marketing system, an ITS, and the like.
[0086]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an action pattern identification device capable of identifying a suspicious person, a suspicious vehicle, and the like from a person, a vehicle, and the like in the monitoring area.
[Brief description of the drawings]
FIG. 1 is a block diagram of a behavior pattern identification device according to a first embodiment of the present invention.
FIG. 2 (a) is a diagram showing an action pattern that proceeds from the entrance of the store to the inside of the store.
(B) Diagram showing an action pattern of proceeding from the store to the store exit
(C) Diagram showing the behavior pattern of proceeding from the store to the store entrance
FIG. 3 is a block diagram of a behavior pattern identification device according to a second embodiment of the present invention;
FIG. 4 is a diagram illustrating an example of an action pattern registered in an action pattern registration unit.
FIG. 5 is a block diagram of a behavior pattern identification device according to a third embodiment of the present invention.
FIG. 6 is a block diagram of a behavior pattern identification device according to a fourth embodiment of the present invention.
FIG. 7 is a diagram showing an example of a search for behavior pattern data by a data search unit;
FIG. 8 is a block diagram of a conventional behavior pattern identification device.
[Explanation of symbols]
20,50,60,70 Behavior pattern identification device
21 Information input section
22 Position detector
23 location information storage
24 Behavior Analysis Department
25 Behavior pattern data storage
26 Statistical processing unit
27 Behavior pattern judgment unit
28 Notification section
31, 39 entrance
32, 36, 40 points
33, 37, 41 People, etc.
34, 38, 42 Behavior pattern
Exit 35
51 Behavior pattern registration unit
55 Pattern 1 description
56 Pattern 2 Description
57 Pattern 3 Description
58 Pattern n description
61 Environmental data storage
71 Data Search Unit
75 Pattern 1 search
76 Pattern 2 search
77 Pattern 3 search
78 Pattern n search

Claims (8)

物体の位置情報を入力する位置情報入力手段と、前記位置情報の変化を解析し、前記物体の行動パターンを取得する行動パターン取得手段と、行動パターンのデータを記憶する行動パターンデータ記憶手段と、前記行動パターンデータ記憶手段に記憶された行動パターンのデータに基づいて前記物体の行動パターンが通常の行動パターンか否かを判定する行動パターン判定手段とを備えたことを特徴とする行動パターン識別装置。Position information input means for inputting position information of an object, a behavior pattern acquisition means for analyzing a change in the position information, and acquiring a behavior pattern of the object, an action pattern data storage means for storing data of the action pattern, An action pattern determining device for determining whether the action pattern of the object is a normal action pattern based on the action pattern data stored in the action pattern data storage means; . 前記行動パターン判定手段は、行動パターンを判定するプログラムを実行することによって前記物体の行動パターンを判定するようにしたことを特徴とする請求項1に記載の行動パターン識別装置。2. The behavior pattern identification device according to claim 1, wherein the behavior pattern determination unit determines a behavior pattern of the object by executing a program for determining a behavior pattern. 前記行動パターンデータ記憶手段に記憶された行動パターンのデータを統計処理する統計処理手段を備えたことを特徴とする請求項1または請求項2に記載の行動パターン識別装置。3. The behavior pattern identification device according to claim 1, further comprising a statistical processing unit that statistically processes data of the behavior pattern stored in the behavior pattern data storage unit. 通常の行動パターンを示す通常行動パターンおよび通常と異なる行動パターンを示す異常行動パターンの少なくとも一方を登録する行動パターン登録手段を備え、前記行動パターン判定手段は、前記行動パターン登録手段に登録された前記通常行動パターンおよび前記異常行動パターンの少なくとも一方に基づいて前記物体の行動パターンを判定するようにしたことを特徴とする請求項1から請求項3までの何れかに記載の行動パターン識別装置。An action pattern registering means for registering at least one of a normal action pattern indicating a normal action pattern and an abnormal action pattern indicating a different action pattern than normal, wherein the action pattern determination means is configured to register the action pattern registered in the action pattern registration means. The behavior pattern identification device according to any one of claims 1 to 3, wherein the behavior pattern of the object is determined based on at least one of a normal behavior pattern and the abnormal behavior pattern. 前記位置情報入力手段は、前記物体が行動する方向、高度、速度、および時間を含む行動情報を取得し、前記行動パターン取得手段は、前記行動情報に基づいて行動パターンを取得するようにしたことを特徴とする請求項1から請求項4までの何れかに記載の行動パターン識別装置。The position information input unit acquires behavior information including a direction in which the object acts, altitude, speed, and time, and the behavior pattern acquisition unit acquires a behavior pattern based on the behavior information. The behavior pattern identification device according to any one of claims 1 to 4, characterized in that: 前記物体の固有情報および前記物体の環境情報を予め記憶する物体情報記憶手段を備えたことを特徴とする請求項1から請求項5までの何れかに記載の行動パターン識別装置。The behavior pattern identification device according to any one of claims 1 to 5, further comprising an object information storage unit configured to previously store unique information of the object and environment information of the object. 前記行動パターンデータ記憶手段に記憶された行動パターンのデータから所定の行動パターンのデータを検索する行動パターンデータ検索手段を備えたことを特徴とする請求項1から請求項6までの何れかに記載の行動パターン識別装置。7. The apparatus according to claim 1, further comprising an action pattern data search unit that searches for data of a predetermined action pattern from the data of the action pattern stored in the action pattern data storage unit. Behavior pattern identification device. 前記行動パターンデータ記憶手段は、所定のデータ記録方式に従って行動パターンのデータを記憶するようにしたことを特徴とする請求項1から請求項7までの何れかに記載の行動パターン識別装置。The behavior pattern identification device according to any one of claims 1 to 7, wherein the behavior pattern data storage means stores behavior pattern data in accordance with a predetermined data recording method.
JP2003123916A 2003-04-28 2003-04-28 Action pattern identification device Pending JP2004328622A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003123916A JP2004328622A (en) 2003-04-28 2003-04-28 Action pattern identification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003123916A JP2004328622A (en) 2003-04-28 2003-04-28 Action pattern identification device

Publications (1)

Publication Number Publication Date
JP2004328622A true JP2004328622A (en) 2004-11-18

Family

ID=33501671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003123916A Pending JP2004328622A (en) 2003-04-28 2003-04-28 Action pattern identification device

Country Status (1)

Country Link
JP (1) JP2004328622A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219948A (en) * 2006-02-17 2007-08-30 Advanced Telecommunication Research Institute International User abnormality detection equipment and user abnormality detection method
JP2008198189A (en) * 2007-01-12 2008-08-28 Internatl Business Mach Corp <Ibm> Method, system and program for warning monitored user of behavior of monitoring object user showing adverse behavior
WO2008111459A1 (en) 2007-03-06 2008-09-18 Kabushiki Kaisha Toshiba Suspicious behavior detection system and method
JP2008225734A (en) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp Mobile body action analysis device
JP2009205594A (en) * 2008-02-29 2009-09-10 Sogo Keibi Hosho Co Ltd Security device and suspicious person determining method
JP2010072782A (en) * 2008-09-17 2010-04-02 Secom Co Ltd Abnormal behavior detector
JP2011107765A (en) * 2009-11-12 2011-06-02 Masafumi Hagiwara Method and device for detecting suspicious action
US8045758B2 (en) 2007-08-03 2011-10-25 Denso Corporation Conduct inference apparatus
JP2011215829A (en) * 2010-03-31 2011-10-27 Hitachi Ltd Monitoring device and suspicious behavior detection method
JP2012128877A (en) * 2012-03-19 2012-07-05 Toshiba Corp Suspicious behavior detection system and method
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
JP2012230686A (en) * 2007-02-08 2012-11-22 Behavioral Recognition Systems Inc Behavioral recognition system
JP2013003964A (en) * 2011-06-20 2013-01-07 Toshiba Corp Face image search system and face image search method
CN103116959A (en) * 2013-01-25 2013-05-22 上海博超科技有限公司 Analyzing and recognizing method for abnormal behaviors in intelligent videos
US8525678B2 (en) 2007-08-21 2013-09-03 Nec Corporation Behavior monitoring system and behavior monitoring method
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
WO2014174738A1 (en) * 2013-04-26 2014-10-30 日本電気株式会社 Monitoring device, monitoring method and monitoring program
JP2015228131A (en) * 2014-05-30 2015-12-17 東芝テック株式会社 Information processing device and notification system
JP2019149793A (en) * 2015-01-15 2019-09-05 日本電気株式会社 Information output device, information output system, information output method, and program
CN115394026A (en) * 2022-07-15 2022-11-25 安徽电信规划设计有限责任公司 Intelligent monitoring method and system based on 5G technology

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JP2001195678A (en) * 2000-01-07 2001-07-19 Karudeia:Kk Life management support system for aged person and handicapped person
JP2001333408A (en) * 2000-05-24 2001-11-30 Matsushita Electric Works Ltd Video server system
WO2002021441A1 (en) * 2000-09-06 2002-03-14 Hitachi, Ltd. Abnormal behavior detector
JP2002199382A (en) * 2000-12-22 2002-07-12 Mitsubishi Heavy Ind Ltd Moving image processing camera and image processing system using the camera
JP2003046911A (en) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2003087771A (en) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd Monitoring system and monitoring method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JP2001195678A (en) * 2000-01-07 2001-07-19 Karudeia:Kk Life management support system for aged person and handicapped person
JP2001333408A (en) * 2000-05-24 2001-11-30 Matsushita Electric Works Ltd Video server system
WO2002021441A1 (en) * 2000-09-06 2002-03-14 Hitachi, Ltd. Abnormal behavior detector
JP2002199382A (en) * 2000-12-22 2002-07-12 Mitsubishi Heavy Ind Ltd Moving image processing camera and image processing system using the camera
JP2003046911A (en) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2003087771A (en) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd Monitoring system and monitoring method

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219948A (en) * 2006-02-17 2007-08-30 Advanced Telecommunication Research Institute International User abnormality detection equipment and user abnormality detection method
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US9412011B2 (en) 2007-01-12 2016-08-09 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US10354127B2 (en) 2007-01-12 2019-07-16 Sinoeast Concept Limited System, method, and computer program product for alerting a supervising user of adverse behavior of others within an environment by providing warning signals to alert the supervising user that a predicted behavior of a monitored user represents an adverse behavior
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8577087B2 (en) 2007-01-12 2013-11-05 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
JP2008198189A (en) * 2007-01-12 2008-08-28 Internatl Business Mach Corp <Ibm> Method, system and program for warning monitored user of behavior of monitoring object user showing adverse behavior
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US9208678B2 (en) 2007-01-12 2015-12-08 International Business Machines Corporation Predicting adverse behaviors of others within an environment based on a 3D captured image stream
US8620028B2 (en) 2007-02-08 2013-12-31 Behavioral Recognition Systems, Inc. Behavioral recognition system
JP2012230686A (en) * 2007-02-08 2012-11-22 Behavioral Recognition Systems Inc Behavioral recognition system
EP2058777A4 (en) * 2007-03-06 2009-09-02 Toshiba Kk Suspicious behavior detection system and method
JP2008217602A (en) * 2007-03-06 2008-09-18 Toshiba Corp Suspicious behavior detection system and method
WO2008111459A1 (en) 2007-03-06 2008-09-18 Kabushiki Kaisha Toshiba Suspicious behavior detection system and method
EP2058777A1 (en) * 2007-03-06 2009-05-13 Kabushiki Kaisha Toshiba Suspicious behavior detection system and method
KR101030559B1 (en) * 2007-03-06 2011-04-21 가부시끼가이샤 도시바 Suspicious behavior detection system and method
JP2008225734A (en) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp Mobile body action analysis device
US8045758B2 (en) 2007-08-03 2011-10-25 Denso Corporation Conduct inference apparatus
US8525678B2 (en) 2007-08-21 2013-09-03 Nec Corporation Behavior monitoring system and behavior monitoring method
JP2009205594A (en) * 2008-02-29 2009-09-10 Sogo Keibi Hosho Co Ltd Security device and suspicious person determining method
JP2010072782A (en) * 2008-09-17 2010-04-02 Secom Co Ltd Abnormal behavior detector
JP2011107765A (en) * 2009-11-12 2011-06-02 Masafumi Hagiwara Method and device for detecting suspicious action
JP2011215829A (en) * 2010-03-31 2011-10-27 Hitachi Ltd Monitoring device and suspicious behavior detection method
US9171012B2 (en) 2011-06-20 2015-10-27 Kabushiki Kaisha Toshiba Facial image search system and facial image search method
JP2013003964A (en) * 2011-06-20 2013-01-07 Toshiba Corp Face image search system and face image search method
JP2012128877A (en) * 2012-03-19 2012-07-05 Toshiba Corp Suspicious behavior detection system and method
CN103116959A (en) * 2013-01-25 2013-05-22 上海博超科技有限公司 Analyzing and recognizing method for abnormal behaviors in intelligent videos
WO2014174738A1 (en) * 2013-04-26 2014-10-30 日本電気株式会社 Monitoring device, monitoring method and monitoring program
JPWO2014174738A1 (en) * 2013-04-26 2017-02-23 日本電気株式会社 Monitoring device, monitoring method and monitoring program
JP2015228131A (en) * 2014-05-30 2015-12-17 東芝テック株式会社 Information processing device and notification system
JP2019149793A (en) * 2015-01-15 2019-09-05 日本電気株式会社 Information output device, information output system, information output method, and program
US11042667B2 (en) 2015-01-15 2021-06-22 Nec Corporation Information output device, camera, information output system, information output method, and program
US11227061B2 (en) 2015-01-15 2022-01-18 Nec Corporation Information output device, camera, information output system, information output method, and program
CN115394026A (en) * 2022-07-15 2022-11-25 安徽电信规划设计有限责任公司 Intelligent monitoring method and system based on 5G technology

Similar Documents

Publication Publication Date Title
JP2004328622A (en) Action pattern identification device
US10817710B2 (en) Predictive theft notification
Adam et al. Robust real-time unusual event detection using multiple fixed-location monitors
WO2017122258A1 (en) Congestion-state-monitoring system
JP7405200B2 (en) person detection system
US20150332588A1 (en) Short-time stopping detection from red light camera evidentiary photos
US20030107650A1 (en) Surveillance system with suspicious behavior detection
US8068640B2 (en) Method for detecting image regions that are conspicuous in terms of the movement in them; apparatus and computer program for performing the method
WO2018180588A1 (en) Facial image matching system and facial image search system
Anishchenko Machine learning in video surveillance for fall detection
WO2017087041A1 (en) Traffic detection with multiple outputs depending on type of object detected
CN111814510B (en) Method and device for detecting legacy host
KR102122850B1 (en) Solution for analysis road and recognition vehicle license plate employing deep-learning
US20200401853A1 (en) Smart video surveillance system using a neural network engine
WO2021043074A1 (en) Urban pet motion trajectory monitoring method based on image recognition, and related devices
Zin et al. A Markov random walk model for loitering people detection
CN112488021A (en) Monitoring video-based garbage delivery violation detection method and system
JP2022003765A (en) Risk determination program
JP6621092B1 (en) Risk determination program and system
EP3968294A1 (en) Apparatus, system, method and program
Vu et al. Traffic incident recognition using empirical deep convolutional neural networks model
KR102328199B1 (en) Trackable de-identification method, apparatus and system
Amrutha et al. A robust system for video classification: identification and tracking of suspicious individuals from surveillance videos
Harahap et al. Detection and simulation of vacant parking lot space using east algorithm and haar cascade
Ho et al. Public space behavior modeling with video and sensor analytics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080715