JP2022086627A - Abnormality detection device and abnormality detection method - Google Patents
Abnormality detection device and abnormality detection method Download PDFInfo
- Publication number
- JP2022086627A JP2022086627A JP2020198749A JP2020198749A JP2022086627A JP 2022086627 A JP2022086627 A JP 2022086627A JP 2020198749 A JP2020198749 A JP 2020198749A JP 2020198749 A JP2020198749 A JP 2020198749A JP 2022086627 A JP2022086627 A JP 2022086627A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- node
- graph data
- unit
- abnormality detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、監視対象場所を監視して異常を検知する装置および方法に関する。 The present invention relates to an apparatus and a method for monitoring a monitored place and detecting an abnormality.
従来、不特定多数の人間が出入りする公共施設等の監視対象場所に設置された監視カメラにより撮影された映像や画像を元に、不審な行動をとる人物を発見し、その人物を不審者として扱うことで、犯罪やテロ行為等の脅威による被害を未然に防ぐ警備システムが利用されている。このような警備システムでは、監視カメラが撮影した映像や画像に映り込んだ多数の人物から不審者を発見する必要があり、従来では警備員が映像や画像を実際に見て判断することで不審者の発見を行っていた。こうした不審者の判断は難易度が高く、警備員の専門的なスキルに高度に依存する。また、監視中には常に映像や画像を見続ける必要があるため、警備員の負担も大きい。 Conventionally, a person who behaves suspiciously is discovered based on images and images taken by a surveillance camera installed in a surveillance target place such as a public facility where an unspecified number of people enter and exit, and that person is regarded as a suspicious person. By handling it, a security system is used to prevent damage caused by threats such as crime and terrorist acts. In such a security system, it is necessary to detect a suspicious person from a large number of people reflected in the images and images taken by the surveillance camera, and in the past, the guards actually saw the images and images to make a suspicious decision. Was discovering the person. Judgment of such a suspicious person is difficult and highly depends on the professional skills of the guards. In addition, since it is necessary to constantly watch images and images during monitoring, the burden on the guards is heavy.
近年、日本をはじめとする先進諸国では、労働人口の減少による警備員の不足が深刻化しており、上記のように専門的なスキルを持った警備員の確保が困難となっている。また、上記の警備システムでは映像を監視する警備員を常駐させる必要があり、そのためのコストが高いという課題もある。そこで、これらの課題を解決するために、監視カメラの映像や画像から不審者を自動的に発見する技術が求められている。 In recent years, in developed countries such as Japan, the shortage of security guards has become more serious due to the declining working population, and it has become difficult to secure security guards with specialized skills as described above. Further, in the above-mentioned security system, it is necessary to have a security guard who monitors the image permanently stationed, and there is also a problem that the cost for that is high. Therefore, in order to solve these problems, there is a demand for a technique for automatically detecting a suspicious person from the images and images of a surveillance camera.
監視カメラの画像から不審者を自動的に発見する技術として、例えば特許文献1の技術が知られている。特許文献1には、時系列画像に映った行動体の異常行動を検出する異常行動検出装置において、事前に異常行動のパターンや特徴を定義せず、通常と定義した行動とは異なる行動をとった行動体を異常体候補として抽出し、その異常体候補が異常体であるかどうかを判断する技術が開示されている。
As a technique for automatically finding a suspicious person from an image of a surveillance camera, for example, the technique of
特許文献1の技術では、ある時点で行動体が行った行動のみに注目して、異常な行動であるか否かを判断している。しかしながら、不審者がとり得る実際の行動では、同じ映像内に写った他の要素との関連性や、時間ごとに行われた行動間の関連性などを考慮してその行動を解釈しなければ、異常な行動であるか否かを正しく判断することが困難である。したがって、特許文献1の技術では、不審者を異常体として確実に判断することができない可能性がある。
In the technique of
そこで、本発明では、様々な人物や物体を撮影した映像または画像から、不審な行動や異常な行動を正確に発見して異常を検知する技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique for accurately detecting suspicious behavior or abnormal behavior from images or images of various people or objects, and detecting the abnormality.
本発明による異常検知システムは、所定の監視対象場所を撮影して得られた映像または画像に基づいて、前記監視対象場所における複数の要素を検知し、前記要素ごとの属性および前記要素間の関係性を表すグラフデータを生成するグラフデータ生成部と、前記グラフデータ生成部により生成された前記グラフデータの時空間特徴量を算出する時空間特徴量算出部と、前記時空間特徴量算出部により算出された前記時空間特徴量に基づいて、前記監視対象場所における異常を検知する異常検知部と、を備える。 The abnormality detection system according to the present invention detects a plurality of elements in the monitored place based on an image or an image obtained by photographing a predetermined monitored place, and the attributes of each element and the relationship between the elements. The graph data generation unit that generates graph data representing the sex, the spatiotemporal feature amount calculation unit that calculates the spatiotemporal feature amount of the graph data generated by the graph data generation unit, and the spatiotemporal feature amount calculation unit. An abnormality detecting unit for detecting an abnormality in the monitored place based on the calculated spatiotemporal feature amount is provided.
本発明によれば、様々な人物や物体を撮影した映像または画像から、不審な行動や異常な行動を正確に発見して異常を検知することができる。 According to the present invention, it is possible to accurately detect suspicious behavior or abnormal behavior from images or images of various people or objects and detect the abnormality.
以下、図面を参照して本発明の実施形態を説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。本発明が本実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。特に限定しない限り、各構成要素は複数でも単数でも構わない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In order to clarify the explanation, the following description and drawings are omitted or simplified as appropriate. The present invention is not limited to this embodiment, and any application example consistent with the idea of the present invention is included in the technical scope of the present invention. Unless otherwise specified, each component may be plural or singular.
以下の説明では、例えば、「xxx表」の表現にて各種情報を説明することがあるが、各種情報は表以外のデータ構造で表現されていてもよい。各種情報がデータ構造に依存しないことを示すために、「xxx表」を「xxx情報」と呼ぶことがある。 In the following description, for example, various information may be described by the expression of "xxx table", but various information may be expressed by a data structure other than the table. The "xxx table" may be referred to as "xxx information" in order to show that various types of information do not depend on the data structure.
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号(又は参照符号における共通部分)を使用し、同種の要素を区別して説明する場合は、要素のID(又は要素の参照符号)を使用することがある。 Further, in the following description, a reference code (or a common part in the reference code) is used when the same type of element is not distinguished, and when the same type of element is described separately, the element ID (or the element ID) is used. Element reference code) may be used.
以下の説明では、「プログラム」あるいはそのプロセスを主語として処理を説明する場合があるが、プログラムは、プロセッサ(例えば、CPU(Central Processing Unit))によって実行されることで、定められた処理を、適宜に記憶資源(例えば、メモリ)及び/又は通信インタフェース装置(例えば、通信ポート)を用いながら行うため、処理の主語がプロセッサであってもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。 In the following description, a process may be described with a "program" or its process as the subject, but the program is executed by a processor (for example, a CPU (Central Processing Unit)) to perform a defined process. The subject of the process may be a processor because it is performed while appropriately using a storage resource (for example, a memory) and / or a communication interface device (for example, a communication port). The processor operates as a functional unit that realizes a predetermined function by operating according to a program. A device and system including a processor is a device and system including these functional parts.
[第1の実施形態]
以下、本発明の第1の実施形態について説明する。
[First Embodiment]
Hereinafter, the first embodiment of the present invention will be described.
図1は、本発明の第1の実施形態に係る異常検知システムの構成を示すブロック図である。本実施形態の異常検知システム1は、監視カメラにより所定の監視対象場所を撮影して得られた映像または画像に基づいて、監視対象場所において発生する脅威やその予兆を異常として検知するシステムである。なお、異常検知システム1において用いられる映像または画像とは、監視カメラにより所定のフレームレートで撮影された映像または動画像であり、いずれも時系列で取得された複数の画像の組み合わせによって構成される。以下では、異常検知システム1が取り扱う映像と画像をまとめて、単に「映像」と称して説明する。
FIG. 1 is a block diagram showing a configuration of an abnormality detection system according to a first embodiment of the present invention. The
図1に示すように、異常検知システム1は、カメラ動画像入力部10、グラフデータ生成部20、グラフデータベース30、グラフデータ可視化編集部60、ノード特徴量抽出部70、エッジ特徴量抽出部80、ノード特徴量蓄積部90、エッジ特徴量蓄積部100、時空間特徴量算出部110、ノード特徴量取得部120、異常検知部130、脅威予兆度保存部140、判定根拠提示部150、および要素寄与度保存部160を備えて構成される。異常検知システム1において、カメラ動画像入力部10、グラフデータ生成部20、グラフデータ可視化編集部60、ノード特徴量抽出部70、エッジ特徴量抽出部80、時空間特徴量算出部110、ノード特徴量取得部120、異常検知部130、判定根拠提示部150の各機能ブロックは、例えばコンピュータが所定のプログラムを実行することにより実現され、グラフデータベース30、ノード特徴量蓄積部90、エッジ特徴量蓄積部100、脅威予兆度保存部140、要素寄与度保存部160は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置を用いて実現される。なお、これらの機能ブロックの一部または全部を、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)を用いて実現してもよい。
As shown in FIG. 1, the
カメラ動画像入力部10は、不図示の監視カメラにより撮影された映像(動画像)のデータを取得し、グラフデータ生成部20に入力する。
The camera moving
グラフデータ生成部20は、カメラ動画像入力部10から入力された映像データに基づいて、映像に映り込んだ様々な被写体から監視対象の要素を単数または複数抽出し、その要素ごとの属性および要素間の関係性を表すグラフデータを生成する。ここで、グラフデータ生成部20において抽出される監視対象の要素とは、監視カメラにより撮影された映像に映り込んだ様々な人物や物体のうち、監視カメラが設置された監視対象場所において移動または静止している人物や物体のことである。ただし、監視対象場所に常設されている物体や、監視対象場所が存在する建造物などは、監視対象の要素から除外することが好ましい。
The graph
グラフデータ生成部20は、時系列の映像データを所定の時刻区間Δtごとに区切ることで映像に対して複数の時間範囲を設定し、その時間範囲ごとにグラフデータを生成する。そして、生成した各グラフデータをグラフデータベース30に記録するとともに、グラフデータ可視化編集部60に出力する。なお、グラフデータ生成部20の詳細は、後で図2、図3を参照して説明する。
The graph
グラフデータベース30には、グラフデータ生成部20により生成されたグラフデータが格納される。グラフデータベース30は、ノードデータベース40およびエッジデータベース50を有している。ノードデータベース40には、グラフデータにおいて各要素の属性を表すノードのデータが格納され、エッジデータベース50には、グラフデータにおいて各要素間の関係性を表すエッジのデータが格納される。なお、グラフデータベース30、ノードデータベース40およびエッジデータベース50の詳細は、後で図4、図5、図6を参照して説明する。
The
グラフデータ可視化編集部60は、グラフデータ生成部20により生成されたグラフデータを可視化してユーザに提示するとともに、ユーザによるグラフデータの編集を受け付ける。編集後のグラフデータは、グラフデータベース30に格納される。なお、グラフデータ可視化編集部60の詳細は、後で図7を参照して説明する。
The graph data
ノード特徴量抽出部70は、ノードデータベース40に格納されたノードデータに基づいて、各グラフデータのノード特徴量を抽出する。ノード特徴量抽出部70が抽出するノード特徴量とは、各グラフデータにおける要素ごとの属性が有する特徴を数値化したものであり、各グラフデータを構成するノードごとに抽出される。ノード特徴量抽出部70は、抽出したノード特徴量の情報をノード特徴量蓄積部90に格納するとともに、ノード特徴量の算出に用いた重みを要素寄与度保存部160に格納する。なお、ノード特徴量抽出部70の詳細は、後で図8、図9を参照して説明する。
The node feature
エッジ特徴量抽出部80は、エッジデータベース50に格納されたエッジデータに基づいて、各グラフデータのエッジ特徴量を抽出する。エッジ特徴量抽出部80が抽出するエッジ特徴量とは、各グラフデータにおける要素間の関係性が有する特徴を数値化したものであり、各グラフデータを構成するエッジごとに抽出される。エッジ特徴量抽出部80は、抽出したエッジ特徴量の情報をエッジ特徴量蓄積部100に格納するとともに、エッジ特徴量の算出に用いた重みを要素寄与度保存部160に格納する。なお、エッジ特徴量抽出部80の詳細は、後で図10を参照して説明する。
The edge feature
時空間特徴量算出部110は、ノード特徴量蓄積部90とエッジ特徴量蓄積部100にそれぞれ蓄積された各グラフのノード特徴量およびエッジ特徴量に基づいて、グラフデータの時空間特徴量を算出する。時空間特徴量算出部110が算出する時空間特徴量とは、グラフデータ生成部20において時系列の映像データに対して所定の時刻区間Δtごとに生成された各グラフデータの時間的および空間的な特徴を数値化したものであり、各グラフデータを構成するノードごとに算出される。時空間特徴量算出部110は、各ノードについて蓄積されたノード特徴量に対して、空間方向と時間方向のそれぞれにおいて各ノードと隣接関係にある他のノードの特徴量と、当該隣接ノードとの間に設定されているエッジの特徴量とにそれぞれ重み付けを行って加える畳み込み操作を行う。こうした畳み込み操作を複数回繰り返して行うことにより、各ノードの特徴量に隣接ノードとの潜在的な関係性を反映した時空間特徴量を算出することができる。時空間特徴量算出部110は、算出した時空間特徴量を反映して、ノード特徴量蓄積部90に蓄積されたノード特徴量を更新する。なお、時空間特徴量算出部110の詳細は、後で図11、図12、図13を参照して説明する。
The spatiotemporal feature
ノード特徴量取得部120は、時空間特徴量算出部110により算出された時空間特徴量が反映されてノード特徴量蓄積部90に蓄積されているノード特徴量を取得し、異常検知部130に入力する。
The node feature
異常検知部130は、ノード特徴量取得部120から入力されたノード特徴量に基づいて、監視カメラにより撮影された映像に映り込んだ各要素の脅威予兆度を算出する。脅威予兆度とは、各要素に対応する人物や物体の行動や特徴が、犯罪やテロ行為等の脅威またはその予兆に該当すると考えられる度合いを示す値である。そして、各要素の脅威予兆度の算出結果に基づいて、不審な行動をとる人物や不審物が存在する場合には、これを検知する。ここで、ノード特徴量取得部120から入力されるノード特徴量には、前述のように、時空間特徴量算出部110により算出された時空間特徴量が反映されている。すなわち、異常検知部130は、時空間特徴量算出部110により算出された時空間特徴量に基づいて各要素の脅威予兆度を算出することで、監視カメラが設置された監視場所における異常を検知するものである。異常検知部130は、算出した各要素の脅威予兆度と異常検知結果を脅威予兆度保存部140に格納する。なお、異常検知部130の詳細は、後で図14、図15を参照して説明する。
The
判定根拠提示部150は、グラフデータベース30に格納された各グラフデータと、脅威予兆度保存部140に格納された各グラフデータの要素ごとの脅威予兆度と、要素寄与度保存部160に格納されたノード特徴量およびエッジ特徴量の算出時の重み付け係数とに基づいて、異常検知システム1の処理結果を示す異常検知画面をユーザに提示する。この異常検知画面には、異常検知部130により不審者または不審物として検知された人物や物体の情報とともに、異常検知部130がその判定を下した根拠を示す情報も含まれている。ユーザは、判定根拠提示部150により提示された異常検知画面を見ることで、映像に映り込んだ様々な人物や物体のうち、どの人物または物体がどのような理由で不審者または不審物として検知されたのかを確認することができる。なお、判定根拠提示部150の詳細は、後で図16、図17、図18を参照して説明する。
The determination
続いて、上記の各機能ブロックの詳細を以下に説明する。 Subsequently, the details of each of the above functional blocks will be described below.
図2は、グラフデータ生成部20の構成を示すブロック図である。図2(a)に示すように、グラフデータ生成部20は、エンティティ検知処理部21、映像内共参照解析部22および関係性検知処理部23を備えて構成される。
FIG. 2 is a block diagram showing the configuration of the graph
エンティティ検知処理部21は、カメラ動画像入力部10から入力される映像データに対してエンティティ検知処理を実施する。エンティティ検知処理部21が行うエンティティ検知処理とは、映像から監視対象要素に該当する人物や物体を検知し、各要素の属性を推定する処理のことである。図2(b)に示すように、エンティティ検知処理部21は、人物/物体検知処理部210、人物/物体追跡処理部211および人物/物体属性推定部212を備える。
The entity
人物/物体検知処理部210は、時系列の映像データを所定の時刻区間Δtごとに区切った各時間範囲について、所定のアルゴリズムやツール(例えばOpenCVやFaster R-CNNなど)を用いて、映像内に映り込んだ人物や物体を監視対象の要素として検知する。そして、検知した各要素に対してユニークなIDをノードIDとして付与するとともに、各要素の映像内の領域を囲う枠を設定し、その枠の位置や大きさに関する枠情報を取得する。
The person / object
人物/物体追跡処理部211は、人物/物体検知処理部210により取得された各要素の枠情報に基づき、所定の物体追跡アルゴリズムやツール(例えばDeepsortなど)を用いて、時系列の映像データにおける各要素の追跡処理を行う。そして、各要素の追跡処理の結果を示す追跡情報を取得し、各要素のノードIDに紐付ける。
The person / object
人物/物体属性推定部212は、人物/物体追跡処理部211により取得された各要素の追跡情報に基づいて、各要素の属性推定を行う。ここでは、例えば所定のサンプリングレート(例:1fps)で映像データをサンプリングすることで抽出された各フレームのエントロピーを計算する。各フレームのエントロピーは、例えば各フレームの検知結果の信頼度をpとすると(p∈{0,1})、H=plog(1-p)で計算される。そして、算出したエントロピーの値が最も高いフレームにおける人物や物体の画像情報を用いて、各要素の属性推定を行う。属性の推定は、例えば、事前に学習した属性推定モデルを用いて行われ、人物や物体の外見的または行動的な特徴、例えば性別、年齢、服装、マスク着用の有無、大きさ、色、滞在時間などが推定される。各要素の属性が推定できたら、その属性情報を各要素のノードIDに紐付ける。
The person / object
エンティティ検知処理部21では、以上説明した各ブロックの処理により、映像に映り込んだ様々な人物や物体が監視対象の要素としてそれぞれ検知され、各人物や各物体の特徴が要素ごとの属性として取得されるとともに、要素ごとにユニークなノードIDが付与される。そして、ノードIDに紐付けて各要素の追跡情報や属性情報が設定される。これらの情報は、各要素の特徴を表すノードデータとして、ノードデータベース40に格納される。
In the entity
映像内共参照解析部22は、エンティティ検知処理部21により取得されたノードデータに対して映像内共参照解析を実施する。映像内共参照解析部22が行う映像内共参照解析とは、映像内の各フレームの画像を相互に参照することで、ノードデータにおいて各要素に付与されたノードIDを修正する処理のことである。エンティティ検知処理部21が行うエンティティ検知処理では、同一の人物や物体に対して異なるノードIDが誤って付与されることがあり、その発生頻度はアルゴリズムの性能によって変わる。映像内共参照解析部22は、映像内共参照解析を実施することで、こうしたノードIDの誤りを修正する。図2(c)に示すように、映像内共参照解析部22は、最大エントロピーフレームサンプリング処理部220、追跡マッチング処理部221およびノードID更新部222を備える。
The in-video
最大エントロピーフレームサンプリング処理部220は、映像データにおいてエントロピーの値が最も高いフレームをサンプリングし、そのフレームにおいて検知された各要素のノードデータをノードデータベース40から読み出す。そして、読み出したノードデータに基づき、当該フレームの画像内で各要素に対応する画像領域を抽出することで、各要素のテンプレート画像を取得する。
The maximum entropy frame sampling processing unit 220 samples the frame having the highest entropy value in the video data, and reads the node data of each element detected in the frame from the
追跡マッチング処理部221は、最大エントロピーフレームサンプリング処理部220により取得されたテンプレート画像と、ノードデータベース40から読み出された各要素のノードデータに含まれる追跡情報とに基づいて、各フレーム間でのテンプレートマッチングを行う。ここでは、追跡情報から各要素が各フレームの画像においてどの範囲に存在するかを推定し、推定した画像範囲内でテンプレート画像を用いたテンプレートマッチングを行う。
The tracking
ノードID更新部222は、追跡マッチング処理部221により行われた各要素のテンプレートマッチングの結果に基づいて、各要素に付与されたノードIDを更新する。ここでは、テンプレートマッチングにより複数のフレーム間で互いに同一の人物または物体としてマッチングされた要素に対して、共通のノードIDを付与することで、ノードデータベース40に格納されている各要素のノードデータを整合させる。そして、整合されたノードデータを一定の時刻区間Δtごとに区切って属性情報と追跡情報をそれぞれ分割し、各要素のノードIDに紐付けることで、時刻区間Δt間隔で設定された時間範囲ごとのグラフデータにおける各要素のノードデータを生成する。こうして生成されたノードデータは、グラフデータごとにユニークに設定されるグラフIDとともに、ノードデータベース40に格納される。
The node
関係性検知処理部23は、映像内共参照解析部22によりノードIDを更新されたノードデータに基づき、カメラ動画像入力部10から入力される映像データに対して関係性検知処理を実施する。関係性検知処理部23が行う関係性検知処理とは、エンティティ検知処理部21により監視対象要素として検知された人物や物体に対して、相互の関係性を検知する処理のことである。図2(d)に示すように、関係性検知処理部23は、人物・物体関係検知処理部230および人物行動検知処理部231を備える。
The relationship
人物・物体関係検知処理部230は、ノードデータベース40から読み込んだ各要素のノードデータに基づき、映像内に映り込んだ人物と物体の関係を検知する。ここでは、例えば事前に学習済みの人物・物体関係検知モデルを用いて、人物が荷物等の物体に対して行う「運ぶ」、「開ける」、「置き去り」等の行動を、両者の関係として検知する。
The person / object relationship detection processing unit 230 detects the relationship between the person and the object reflected in the image based on the node data of each element read from the
人物行動検知処理部231は、ノードデータベース40から読み込んだ各要素のノードデータに基づき、映像内に映り込んだ人物間のインタラクション行動を検知する。ここでは、例えば事前に学習済みの人物インタラクション行動検知モデルを用いて、複数の人物が一緒に行う「会話」、「受け渡し」などの行動を、各人物間のインタラクション行動として検知する。
The human behavior
関係性検知処理部23では、以上説明した各ブロックの処理により、エンティティ検知処理部21により監視対象要素として検知された人物や物体について、ある人物が他の人物または物体に対して行う行動が検知され、その行動が相互の関係性として取得される。この情報は、各要素間の関係性を表すエッジデータとして、エッジデータベース50に格納される。
The relationship
図3は、グラフデータ生成部20が行う処理の概要を示す図である。図3に示すように、グラフデータ生成部20は、エンティティ検知処理部21が行うエンティティ検知処理により、カメラ動画像入力部10により撮影された映像から、人物2と人物2が運んでいる物体3を検知し、これらを映像内で追跡する。また、関係性検知処理部23が行う関係性検知処理により、人物2と物体3との関係性を検知する。そして、これらの処理結果に基づき、一定の時刻区間Δtごとに、複数のノードとエッジで構成されるグラフデータを生成する。このグラフデータでは、例えば人物2はノードP1、物体3はノードO1でそれぞれ表され、これらのノードに対して、その特徴を示す属性情報がそれぞれ設定される。また、ノードP1とノードO1の間に、人物2と物体3の関係性を示す「運ぶ」というエッジが設定される。こうして生成されたグラフデータの情報が、グラフデータベース30に格納される。
FIG. 3 is a diagram showing an outline of processing performed by the graph
図4は、グラフデータベース30のデータ構造例を示す図である。図4に示すように、グラフデータベース30は、例えば列301~304を含むデータテーブルにより表現される。列301には、データテーブルの各行に対して設定される一連の整理番号が格納される。列302には、各グラフデータに固有のグラフIDが格納される。列303、304には、各グラフデータに対応する時間範囲の開始時刻と終了時刻がそれぞれ格納される。なお、開始時刻と終了時刻は、各グラフデータの生成に使用された映像において記録された撮影開始時刻と撮影終了時刻からそれぞれ計算され、その差は前述の時刻区間Δtに等しい。これらの情報が各グラフデータについて行ごとに格納されることで、グラフデータベース30が構成される。
FIG. 4 is a diagram showing an example of a data structure of the
図5は、ノードデータベース40のデータ構造例を示す図である。ノードデータベース40は、図5(a)に示すノード属性テーブル41と、図5(b)に示す追跡情報テーブル42と、図5(c)に示すフレーム情報テーブル43とによって構成される。
FIG. 5 is a diagram showing an example of a data structure of the
図5(a)に示すように、ノード属性テーブル41は、例えば列411~414を含むデータテーブルにより表現される。列411には、データテーブルの各行に対して設定される一連の整理番号が格納される。列412には、各ノードが属するグラフデータのグラフIDが格納される。このグラフIDの値は、図4のデータテーブルにおいて列302に格納されたグラフIDの値と対応付けられており、これによって各ノードとグラフデータとの紐付けが行われる。列413には、各ノードに固有のノードIDが格納される。列414には、各ノードが表す要素に対して取得された属性情報が格納される。これらの情報が各ノードについて行ごとに格納されることで、ノード属性テーブル41が構成される。
As shown in FIG. 5A, the node attribute table 41 is represented by, for example, a data
図5(b)に示すように、追跡情報テーブル42は、例えば列421~424を含むデータテーブルにより表現される。列421には、データテーブルの各行に対して設定される一連の整理番号が格納される。列422には、各追跡情報が追跡対象としたノードのノードIDが格納される。このノードIDの値は、図5(a)のデータテーブルにおいて列413に格納されたノードIDの値と対応付けられており、これによって各追跡情報とノードとの紐付けが行われる。列423には、各追跡情報に固有のトラックIDが格納される。列424には、当該ノードが表す要素が映像内で映り込んでいる各フレームのフレームIDのリストが格納される。これらの情報が各追跡情報について行ごとに格納されることで、追跡情報テーブル42が構成される。
As shown in FIG. 5B, the tracking information table 42 is represented by, for example, a data table including columns 421-424.
図5(c)に示すように、フレーム情報テーブル43は、例えば列431~434を含むデータテーブルにより表現される。列431には、データテーブルの各行に対して設定される一連の整理番号が格納される。列432には、各フレーム情報が属する追跡情報のトラックIDが格納される。このトラックIDの値は、図5(b)のデータテーブルにおいて列423に格納されたトラックIDの値と対応付けられており、これによって各フレーム情報と追跡情報との紐付けが行われる。列433には、各フレーム情報に固有のフレームIDが格納される。列434には、当該フレーム情報が表すフレーム内での各要素の位置と、各要素の種類(人物、物体など)とを表す情報が格納される。これらの情報が各フレーム情報について行ごとに格納されることで、フレーム情報テーブル43が構成される。
As shown in FIG. 5C, the frame information table 43 is represented by, for example, a data
図6は、エッジデータベース50のデータ構造例を示す図である。図6に示すように、エッジデータベース50は、例えば列501~506を含むデータテーブルにより表現される。列501には、データテーブルの各行に対して設定される一連の整理番号が格納される。列502には、各エッジが属するグラフデータのグラフIDが格納される。このグラフIDの値は、図4のデータテーブルにおいて列302に格納されたグラフIDの値と対応付けられており、これによって各エッジとグラフデータとの紐付けが行われる。列503、504には、各エッジの始点と終点に位置するノードのノードIDがそれぞれ格納される。これらのノードIDの値は、図5(a)のデータテーブルにおいて列413に格納されたノードIDの値とそれぞれ対応付けられており、これによって各エッジがどのノード間の関係性を表しているのかが特定される。列505には、各エッジに固有のエッジIDが格納される。列506には、当該エッジが表す要素間の関係性を表すエッジ情報として、始点ノードに対応する人物が終点ノードに対応する他の人物または物体に対して行う行動の内容が格納される。これらの情報が各エッジについて行ごとに格納されることで、エッジデータベース50が構成される。
FIG. 6 is a diagram showing an example of a data structure of the
図7は、グラフデータ可視化編集部60の説明図である。グラフデータ可視化編集部60は、例えば図7に示すグラフデータ編集画面61を不図示のディスプレイに表示してユーザに提示する。このグラフデータ編集画面61において、ユーザは所定の操作を行うことにより、グラフデータを任意に編集することができる。例えば、グラフデータ編集画面61には、グラフデータ生成部20により生成されたグラフデータ610が可視化して表示される。このグラフデータ610において、ユーザは任意のノードまたはエッジを画面上で選択することにより、ノードの詳細情報を示すノード情報ボックス611、612や、エッジの詳細情報を示すエッジ情報ボックス613を表示させることができる。これらの情報ボックス611~613には、各ノードの属性情報が表示されている。ユーザは、情報ボックス611~613内で任意の属性情報を選択することにより、下線部に示した各属性情報の内容を編集することができる。
FIG. 7 is an explanatory diagram of the graph data
また、グラフデータ編集画面61には、グラフデータ610とともに、ノード追加ボタン614およびエッジ追加ボタン615が表示される。ユーザはノード追加ボタン614またはエッジ追加ボタン615を画面上で選択することにより、グラフデータ610に対して任意の位置にノードまたはエッジを追加することができる。さらに、グラフデータ610において任意のノードまたはエッジを選択し、所定の操作(例えばマウスのドラッグや右クリック)を行うことで、そのノードまたはエッジを移動または削除することもできる。
Further, on the graph
グラフデータ可視化編集部60は、以上説明したようなユーザの操作により、生成されたグラフデータの内容を適宜編集することができる。そして、編集後のグラフデータを反映してグラフデータベース30を更新する。
The graph data
図8は、ノード特徴量抽出部70の構成を示すブロック図である。図7に示すように、ノード特徴量抽出部70は、最大エントロピーフレームサンプリング処理部71、人物・物体領域画像取得部72、画像特徴量計算部73、属性情報取得部74、属性情報特徴量計算部75、特徴量結合処理部76、属性重み計算アテンション機構77およびノード特徴量計算部78を備えて構成される。
FIG. 8 is a block diagram showing the configuration of the node feature
最大エントロピーフレームサンプリング処理部71は、ノードデータベース40から各ノードのノードデータを読み出し、各ノードについて映像内で最大エントロピーを有するフレームをサンプリングする。
The maximum entropy frame
人物・物体領域画像取得部72は、最大エントロピーフレームサンプリング処理部71によりサンプリングされたフレームから、各ノードが表す要素に対応する人物や物体の領域画像を取得する。
The person / object area
画像特徴量計算部73は、人物・物体領域画像取得部72により取得された各人物または各物体の領域画像から、各ノードが表す要素ごとの画像特徴量を計算する。ここでは例えば、予め大規模の画像データセット(例えばMS COCOなど)を用いて学習済みの物体分類用のDNN(Deep Neural Network)を使用し、このDNNに各要素の領域画像を入力したときの中間層からの出力を抽出することで、画像特徴量を計算する。なお、各要素の領域画像に対して画像特徴量が計算できれば、他の方法を用いてもよい。
The image feature
属性情報取得部74は、ノードデータベース40から各ノードのノード情報を読み出し、各ノードの属性情報を取得する。
The attribute
属性情報特徴量計算部75は、属性情報取得部74により取得された属性情報から、各ノードが表す要素ごとの属性情報の特徴量を計算する。ここでは例えば、属性情報を構成するテキストデータに対して、所定の言語処理アルゴリズム(例えばword2Vecなど)を用いることにより、属性情報が表す各要素の属性項目(性別、年齢、服装、マスク着用の有無、大きさ、色、滞在時間など)ごとに特徴量を計算する。なお、各要素の属性情報に対して属性情報特徴量が計算できれば、他の方法を用いてもよい。
The attribute information feature
特徴量結合処理部76は、画像特徴量計算部73により計算された画像特徴量と、属性情報特徴量計算部75により計算された属性情報の特徴量とを結合する結合処理を行う。ここでは、例えば画像特徴量が表す人物または物体全体での特徴に対する特徴量と、属性情報が表す人物または物体の属性項目ごとの特徴量とをベクトル成分として、これらの各項目の特徴量に応じた特徴量ベクトルを要素ごとに作成する。
The feature amount
属性重み計算アテンション機構77は、特徴量結合処理部76により結合された特徴量に対して、その特徴量の項目ごとの重みを取得する。ここでは、例えば特徴量ベクトルの各ベクトル成分に対して、事前に学習された重みをそれぞれ取得する。属性重み計算アテンション機構77が取得した重みの情報は、異常検知部130により算出される脅威予兆度に対するノード特徴量の項目ごとの寄与度を表す要素寄与度として、要素寄与度保存部160に格納される。
The attribute weight
ノード特徴量計算部78は、特徴量結合処理部76により結合された特徴量に対して、属性重み計算アテンション機構77により取得された重みを乗算することで、重み付け処理を行い、ノード特徴量を計算する。すなわち、特徴量ベクトルの各ベクトル成分に対して、属性重み計算アテンション機構77により設定された重みをそれぞれ乗算した値を合計することで、ノード特徴量を計算する。
The node feature
ノード特徴量抽出部70では、以上説明した各ブロックの処理により、時刻区間Δt間隔で設定された時間範囲ごとに生成された各グラフデータについて、要素ごとの属性の特徴量を表すノード特徴量が抽出される。抽出されたノード特徴量の情報は、ノード特徴量蓄積部90に格納される。
In the node feature
図9は、ノード特徴量抽出部70が行う処理の概要を示す図である。図9に示すように、ノード特徴量抽出部70は、各グラフデータに対応する映像内で人物2のエントロピーが最大のフレームに対して、画像特徴量計算部73により画像特徴量を計算するとともに、属性情報特徴量計算部75により、人物2に対応するノードP1の属性情報の各属性項目に対して特徴量を計算することで、「全身特徴量」、「マスク」、「肌色」、「滞在時間」などの各項目に対するノードP1の特徴量を求める。そして、属性重み計算アテンション機構77により取得された重みを用いて、これらの各項目に対する重み付け演算をノード特徴量計算部78により行うことで、ノードP1の特徴量を抽出する。同様の計算を他の各ノードに対して行うことで、グラフデータの各ノードの特徴量が求められる。なお、属性重み計算アテンション機構77により取得された重みは、要素寄与度として要素寄与度保存部160に格納される。
FIG. 9 is a diagram showing an outline of the processing performed by the node feature
図10は、エッジ特徴量抽出部80の構成を示すブロック図である。図10に示すように、エッジ特徴量抽出部80は、エッジ情報取得部81、エッジ特徴量計算部82、エッジ重み計算アテンション機構83および重み付け計算部84を備えて構成される。
FIG. 10 is a block diagram showing the configuration of the edge feature
エッジ情報取得部81は、エッジデータベース50から各エッジのエッジ情報を読み出して取得する。
The edge
エッジ特徴量計算部82は、エッジ情報取得部81により取得されたエッジ情報から、各エッジが表す要素間の関係性の特徴量であるエッジ特徴量を計算する。ここでは例えば、エッジ情報として設定された行動内容を表す「受け渡し」、「会話」などのテキストデータに対して、所定の言語処理アルゴリズム(例えばword2Vecなど)を用いることにより、エッジ特徴量を計算する。
The edge feature
エッジ重み計算アテンション機構83は、エッジ特徴量計算部82により計算されたエッジ特徴量に対する重みを取得する。ここでは、例えばエッジ特徴量に対して、事前に学習された重みを取得する。エッジ重み計算アテンション機構83が取得した重みの情報は、異常検知部130により算出される脅威予兆度に対するエッジ特徴量の寄与度を表す要素寄与度として、要素寄与度保存部160に格納される。
The edge weight
重み付け計算部84は、エッジ特徴量計算部82により計算されたエッジ特徴量に対して、エッジ重み計算アテンション機構83により取得された重みを乗算することで、重み付け処理を行い、重み付け後のエッジ特徴量を計算する。
The
エッジ特徴量抽出部80では、以上説明した各ブロックの処理により、時刻区間Δt間隔で設定された時間範囲ごとに生成された各グラフデータについて、要素間の関係性の特徴量を表すエッジ特徴量が抽出される。抽出されたエッジ特徴量の情報は、エッジ特徴量蓄積部100に格納される。
In the edge feature
図11は、時空間特徴量算出部110の構成を示すブロック図である。図11に示すように、時空間特徴量算出部110は、複数の残余畳み込み演算ブロック111と、ノード特徴量更新部112とを備えて構成される。各残余畳み込み演算ブロック111は所定の段数にそれぞれ対応しており、前段の残余畳み込み演算ブロック111の演算結果を受けて畳み込み演算を実行し、後段の残余畳み込み演算ブロック111に入力する。なお、最前段の残余畳み込み演算ブロック111には、ノード特徴量蓄積部90とエッジ特徴量蓄積部100からそれぞれ読み込まれたノード特徴量およびエッジ特徴量が入力され、最終段の残余畳み込み演算ブロック111の演算結果はノード特徴量更新部112に入力される。これにより、GNN(Graph Neural Network)を用いた時空間特徴量の算出を実現している。
FIG. 11 is a block diagram showing the configuration of the spatiotemporal feature
時空間特徴量算出部110は、複数の残余畳み込み演算ブロック111のそれぞれにおいて前述のような畳み込み操作を行う。この畳み込み操作を実現するため、各残余畳み込み演算ブロック111は、2つの空間畳み込み演算処理部1110と、1つの時間畳み込み演算処理部1111とを備えて構成される。
The spatiotemporal feature
空間畳み込み演算処理部1110は、空間方向の畳み込み演算として、グラフデータにおいて各ノードに隣接する隣接ノードの特徴量と、各ノードと隣接ノードの間に設定されたエッジの特徴量との外積を計算し、この外積に対して、D×Dサイズの重み行列を用いた重み付け演算を行う。ここで、重み行列の次数Dの値は、各ノードの特徴量の長さとして定義される。これにより、学習可能な重み付き線形変換を用いて、学習の多様性を保証するようにしている。また、グラフデータを構成するノードとエッジの数による制約を受けずに重み行列の設計が可能となるため、最適な重み行列を用いて重み付け演算を実施することができる。
The spatial convolution
残余畳み込み演算ブロック111では、グラフデータを構成する各ノードに対して、空間畳み込み演算処理部1110による重み付け演算を2回行う。これにより、空間方向の畳み込み演算を実現する。
In the residual
時間畳み込み演算処理部1111は、2つの空間畳み込み演算処理部1110により空間方向の畳み込み演算を実施された各ノードの特徴量に対して、時間方向の畳み込み演算を行う。ここでは、各ノードに時間方向で隣接するノード、すなわち隣接する時間範囲の映像に対して生成されたグラフデータにおいて当該ノードと同じ人物または物体を表すノードの特徴量と、その隣接ノードに対して設定されたエッジの特徴量との外積を計算し、この外積に対して、空間畳み込み演算処理部1110と同様の重み付け演算を行う。これにより、時間方向の畳み込み演算を実現する。
The time-convolution
以上説明した空間方向および時間方向の畳み込み演算によって計算された時空間特徴量と、残余畳み込み演算ブロック111に入力されたノード特徴量とが加算されることで、残余畳み込み演算ブロック111の演算結果が求められる。こうした演算を行うことにより、空間方向と時間方向でそれぞれ隣接する隣接ノードおよび隣接ノード間のエッジの両方の特徴量を、同時に各ノードの特徴量に加えていく畳み込み操作が可能となる。
By adding the spatiotemporal feature amount calculated by the spatial and temporal convolution operations described above and the node feature amount input to the residual
ノード特徴量更新部112は、最終段の残余畳み込み演算ブロック111から出力された演算結果を用いて、ノード特徴量蓄積部90に蓄積された各ノードの特徴量を更新する。これにより、グラフデータを構成するノードごとに算出された時空間特徴量を各ノードの特徴量に反映させる。
The node feature
時空間特徴量算出部110では、以上説明した各ブロックの処理により、GNNを用いて各グラフデータの時空間特徴量を算出し、ノード特徴量に反映してノード特徴量を更新することができる。なお、時空間特徴量算出部110におけるGNNの学習では、任意の層の入力を参照した残差関数を学習することが好ましい、このようにすれば、学習時の層が深くても勾配爆発や勾配消失の問題を防ぐことができる。したがって、より正確な時空間情報を反映したノード特徴量の算出が可能となる。
The spatio-temporal
図12は、空間畳み込み演算処理部1110における演算処理を表す数式の一例を示す図である。空間畳み込み演算処理部1110は、例えば図12に示すような行列演算式をそれぞれ計算することにより、空間畳み込み演算を行う。そして、得られたN×D×P(Nはノード数、Dはノード特徴量の長さ、Pは行列演算のチャンネル数=エッジ特徴量の長さ)のテンソルに対して連結または平均プーリングを行い、これをGNNの層数に応じて設けられた残余畳み込み演算ブロック111の個数分だけ繰り返し実施することで、空間畳み込み後の特徴量を算出し、さらに時間畳み込み演算を行い、時空間特徴量を算出し、ノード特徴量に反映させる。
FIG. 12 is a diagram showing an example of a mathematical formula representing arithmetic processing in the space convolution
ここで、空間畳み込み演算処理部1110により実施される畳み込み演算と、時間畳み込み演算処理部1111により実施される畳み込み演算とは、それぞれ以下の数式(1)、(2)で表される。
Here, the convolution operation performed by the space convolution
数式(1)において、Oは連結または平均プーリング、φは非直線活性化関数、lは空間畳み込み演算処理部1110が対応するGNNの層番号をそれぞれ表している。また、数式(2)において、kは時間畳み込み演算処理部1111が対応するGNNの層番号を表している。
In the formula (1), O represents the concatenation or average pooling, φ represents the non-linear activation function, and l represents the layer number of the GNN corresponding to the space convolution
また、図12および数式(1)、(2)において、HN×Dは空間ノード特徴量の行列を表し、Nはグラフデータ内のノード数、Dはノード特徴量の長さ(次数)をそれぞれ表している。Mi L×Dはi番目のノードに対する時間ノード特徴量の行列を表し、Lは時間の長さを表している。EN×N×Pはエッジ特徴量の行列を表し、Eijはi番目のノードとj番目のノードを繋ぐエッジの特徴量(次数P)を表している。ここで、i番目のノードとj番目のノードを繋ぐエッジが存在しない場合はEij=0である。 Further, in FIG. 12 and mathematical formulas (1) and (2), H N × D represents a matrix of spatial node features, N represents the number of nodes in the graph data, and D represents the length (order) of the node features. Each is represented. M i L × D represents a matrix of time node features for the i-th node, and L represents the length of time. EN × N × P represents a matrix of edge features, and Eij represents an edge feature (order P) connecting the i-th node and the j-th node. Here, if there is no edge connecting the i-th node and the j-th node, Eij = 0.
また、図12および数式(1)、(2)において、Fi 1×Dはi番目のノードに対する時間ノード特徴量の行列を表している。Fijはj番目のグラフデータにおけるj番目のノードの存否を表している。ここで、j番目のグラフデータにj番目のノードが存在しない場合はFij=0、存在する場合はFij=1である。 Further, in FIG. 12 and mathematical formulas (1) and (2), Fi 1 × D represents a matrix of time node features for the i -th node. Fij represents the existence or nonexistence of the jth node in the jth graph data. Here, if the j-th node does not exist in the j-th graph data, F ij = 0, and if it exists, F ij = 1.
さらに、図12および数式(1)、(2)において、Q1×Lは時間方向のノード間の関係性に対する重み付けのための畳み込みカーネルを表し、WS lは空間方向のノード特徴量に関するD×Dサイズの重み付け行列を表し、WT kは時間方向のノード特徴量に関するD×Dサイズの重み付け行列を表している。 Further, in FIG. 12 and equations (1) and (2), Q1 × L represents a convolutional kernel for weighting the relationship between nodes in the time direction, and WS l is D regarding the node features in the spatial direction. It represents a weighted matrix of × D size, and WTk represents a weighted matrix of D × D size regarding node features in the time direction.
図13は、時空間特徴量算出部110が行う処理の概要を示す図である。図13において、点線は空間畳み込み演算処理部1110による空間畳み込み演算を表し、破線は時間畳み込み演算処理部1111による時間畳み込み演算を表している。図13に示すように、例えばt番目のグラフデータにおけるノード3には、隣接するノード1、4の特徴量と、これらの隣接ノードとの間に設定されたエッジの特徴量とに応じた空間特徴量が、空間畳み込み演算によって加えられる。また、直前のt-1番目のグラフデータにおけるノード3の特徴量と、直後のt+1番目のグラフデータにおけるノード3の特徴量とに応じた時間特徴量が、時間畳み込み演算によって加えられる。これにより、ノード3に対するt番目のグラフデータの時空間特徴量が算出されてノード3の特徴量に反映される。
FIG. 13 is a diagram showing an outline of processing performed by the spatiotemporal feature
図14は、異常検知部130の構成を示すブロック図である。図14に示すように、異常検知部130は、特徴量分布クラスタリング部131、中心点距離計算部132および異常判定部133を備えて構成される。
FIG. 14 is a block diagram showing the configuration of the
特徴量分布クラスタリング部131は、ノード特徴量取得部120によりノード特徴量蓄積部90から取得された各ノードの特徴量のクラスタリング処理を行い、ノード特徴量の分布を求める。ここでは、例えば各ノードの特徴量を2次元マップ上にそれぞれプロットすることで、ノード特徴量の分布を求める。
The feature amount
中心点距離計算部132は、特徴量分布クラスタリング部131により求められたノード特徴量の分布において、各ノード特徴量の中心点からの距離を計算する。これにより、時空間特徴量が反映された各ノードの特徴量を互いに比較する。中心点距離計算部132により計算された各ノード特徴量の中心点からの距離は、各ノードに対応する要素の脅威の度合いを示す脅威予兆度として、脅威予兆度保存部140に格納される。
The center point
異常判定部133は、中心点距離計算部132により計算された距離に基づいて、各ノードの脅威予兆度を判定する。その結果、脅威予兆度が所定値以上のノードが存在する場合は、そのノードに対応する要素を不審者または不審物と判断して、監視対象場所の異常を検知し、ユーザへの報知を行う。ユーザへの報知は、例えば不図示の警報装置を用いて行われる。このとき、監視カメラの映像中で不審者や不審物と判断された要素の位置を強調表示してもよい。異常判定部133による異常検知結果は、脅威予兆度と対応付けて脅威予兆度保存部140に格納される。
The
異常検知部130では、以上説明した各ブロックの処理により、時空間特徴量算出部110によって算出された時空間特徴量に基づいて、監視対象場所における異常を検知するとともに、要素ごとの時空間特徴量を互いに比較し、その比較結果に基づいて要素ごとの脅威予兆度を求めることができる。
The
図15は、異常検知部130が行う処理の概要を示す図である。図15に示すように、異常検知部130は、ノードP3、P6、O2を含むグラフデータの各ノードについて、時空間特徴量が判定されたノード特徴量を2次元マップ上にそれぞれプロットすることでノード特徴量の分布を求める。そして、求められたノード特徴量の分布の中心点を求め、この中心点から各ノード特徴量までの距離を計算することで、各ノードの脅威予兆度を求める。その結果、脅威予兆度が所定値以上であるノードに対応する要素、例えばノード特徴量が分布図上で分布円4の外側にあるノードP6に対応する人物が、不審者または不審物であると判断され、異常が検知される。
FIG. 15 is a diagram showing an outline of processing performed by the
図16は、判定根拠提示部150の構成を示すブロック図である。図16に示すように、判定根拠提示部150は、根拠確認対象選択部151、サブグラフ抽出処理部152、人物属性脅威寄与度提示部153、物体属性脅威寄与度提示部154、行動履歴寄与度提示部155および言語化サマリ生成部156を備えて構成される。
FIG. 16 is a block diagram showing the configuration of the determination
根拠確認対象選択部151は、脅威予兆度保存部140に格納された脅威予兆度を取得し、取得した各ノードの脅威予兆度に基づいて、異常検知部130により異常を検知されたノードを含むグラフデータのいずれかの部分を、異常検知の根拠確認の対象として選択する。ここでは、例えば最も脅威予兆度が高いノードに関連する部分を自動的に選択してもよいし、ユーザの操作に応じて任意のノードを指定し、そのノードに関連する部分を選択してもよい。
The basis confirmation
サブグラフ抽出処理部152は、グラフデータベース30に格納されたグラフデータを取得し、取得したグラフデータにおいて根拠確認対象選択部151により選択された部分を、異常検知の根拠確認の対象を示すサブグラフとして抽出する。例えば、最も脅威予兆度が高いノードやユーザに指定されたノードと、そのノードに接続されている各ノードおよび各エッジとを、サブグラフとして抽出する。
The subgraph
人物属性脅威寄与度提示部153は、サブグラフ抽出処理部152により抽出されたサブグラフに含まれるノードが人物を表す場合に、その人物の属性による脅威予兆度への寄与度を計算し、可視化してユーザに提示する。例えば、当該ノードのノード情報に含まれる属性情報が表す様々な属性項目(性別、年齢、服装、マスク着用の有無、滞在時間など)について、要素寄与度保存部160に保存された要素寄与度、すなわちノード特徴量に対する属性項目ごとの重みに基づき、各属性項目の寄与度を計算する。そして、計算された寄与度が高い方から所定数の属性項目を選択し、各属性項目の内容と寄与度を異常検知画面において所定のレイアウトで提示する。
When the node included in the subgraph extracted by the subgraph
物体属性脅威寄与度提示部154は、サブグラフ抽出処理部152により抽出されたサブグラフに含まれるノードが物体を表す場合に、その物体の属性による脅威予兆度への寄与度を計算し、可視化してユーザに提示する。例えば、当該ノードのノード情報に含まれる属性情報が表す様々な属性項目(大きさ、色、滞在時間など)について、要素寄与度保存部160に保存された要素寄与度、すなわちノード特徴量に対する属性項目ごとの重みに基づき、各属性項目の寄与度を計算する。そして、計算された寄与度が高い方から所定数の属性項目を選択し、各属性項目の内容と寄与度を異常検知画面において所定のレイアウトで提示する。
When the node included in the subgraph extracted by the subgraph
行動履歴寄与度提示部155は、サブグラフ抽出処理部152により抽出されたサブグラフに含まれるノードが人物または物体を表す場合に、その人物または物体と他の人物または物体との間で行われた行動による脅威予兆度への寄与度を計算し、可視化してユーザに提示する。例えば、当該ノードに接続された各エッジについて、要素寄与度保存部160に保存された要素寄与度、すなわちエッジ特徴量に対する重みに基づき、各エッジの寄与度を計算する。そして、計算された寄与度が高い方から所定数のエッジを選択し、各エッジが表す行動内容と寄与度を異常検知画面において所定のレイアウトで提示する。
The action history
言語化サマリ生成部156は、人物属性脅威寄与度提示部153、物体属性脅威寄与度提示部154および行動履歴寄与度提示部155によりそれぞれ提示された内容を言語化することで、異常検知の根拠を簡潔に表現したテキスト(サマリ)を生成する。そして、生成したサマリを異常検知画面内の所定の位置に表示する。
The verbalization
判定根拠提示部150では、以上説明した各ブロックの処理により、異常検知部130によって異常が検知された人物や物体などの要素について、当該要素に対して算出された脅威予兆度と、脅威予兆度への寄与度が高い当該要素の特徴または行動の情報と、を少なくとも含む異常検知画面を、異常検知部130の判定根拠を示す画面としてユーザに提示することができる。
In the determination
図17は、根拠確認対象選択部151およびサブグラフ抽出処理部152が行う処理の概要を示す図である。図17において、(a)はサブグラフ抽出前のグラフデータを可視化した例を、(b)はサブグラフ抽出後のグラフデータを可視化した例をそれぞれ示している。
FIG. 17 is a diagram showing an outline of the processing performed by the evidence confirmation
図17(a)に示すグラフデータにおいてユーザが所定の操作(例えばマウスのクリック等)によりいずれかのノードを指定すると、根拠確認対象選択部151は、指定されたノードと、そのノードに接続されている各ノードおよび各エッジとを、異常検知の根拠確認の対象として選択する。このときサブグラフ抽出処理部152は、根拠確認対象選択部151により選択されたノードとエッジをサブグラフとして抽出し、抽出されたサブグラフを強調表示するとともに、グラフデータのサブグラフ以外の部分をグレーアウトして表示することで、サブグラフを可視化する。
When the user designates any node by a predetermined operation (for example, clicking a mouse) in the graph data shown in FIG. 17A, the basis confirmation
例えば、図17(a)のグラフデータにおいて、ユーザがノードO2を指定した場合を考える。この場合、指定されたノードO2と、ノードO2に隣接するノードP2、P4と、ノードO2、P2、P4間にそれぞれ設定されたエッジとを含む部分が、根拠確認対象選択部151により選択され、サブグラフ抽出処理部152よりサブグラフとして抽出される。そして図17(b)に示すように、抽出されたこれらのノードおよびエッジがそれぞれ強調表示され、他の部分がグレーアウトして表示されることで、サブグラフが可視化される。
For example, consider the case where the user specifies the node O2 in the graph data of FIG. 17 (a). In this case, the portion including the designated node O2, the nodes P2 and P4 adjacent to the node O2, and the edges set between the nodes O2, P2, and P4 are selected by the grounds confirmation
図18は、判定根拠提示部150により表示される異常検知画面の例を示す図である。図18に示す異常検知画面180では、異常を検知された人物と物体のそれぞれについて、その脅威予兆度が脅威レベルとして示されるとともに、脅威予兆度に対する特徴や行動ごとの寄与度が示されている。具体的には、カメラ2で撮影された人物については「マスク」、「滞在時間」、「上半身色」の各項目に対する寄与度が示され、カメラ1で撮影された物体については「置き去り」、「滞在時間」、「受け渡し」の各項目に対する寄与度が示されている。また、これらの人物や物体に関する不審点として、言語化サマリ生成部156によって生成されたサマリが表示されている。さらに、人物がとった不審な行動を示す映像とその撮影時刻とが、行動タイムラインとして表示されている。
FIG. 18 is a diagram showing an example of an abnormality detection screen displayed by the determination
なお、図18に示した異常検知画面180は一例であり、異常検知部130による異常検知結果およびその根拠をユーザにとって分かりやすく提示できれば、これ以外の内容や画面レイアウトで異常検知画面を表示してもよい。
The
以上説明した本発明の第1の実施形態によれば、以下の作用効果を奏する。 According to the first embodiment of the present invention described above, the following effects are exhibited.
(1)異常検知システム1は、所定の監視対象場所を撮影して得られた映像または画像に基づいて、監視対象場所における複数の要素を検知し、要素ごとの属性および要素間の関係性を表すグラフデータを生成するグラフデータ生成部20と、グラフデータ生成部20により生成されたグラフデータの時空間特徴量を算出する時空間特徴量算出部110と、時空間特徴量算出部110により算出された時空間特徴量に基づいて、監視対象場所における異常を検知する異常検知部130とを備える。このようにしたので、様々な人物や物体を撮影した映像または画像から、不審な行動や異常な行動を正確に発見して異常を検知することができる。
(1) The
(2)グラフデータ生成部20は、エンティティ検知処理部21により、映像または画像に映り込んだ人物または物体を要素として検知し、検知した人物または物体の特徴を要素ごとの属性として取得するとともに、関係性検知処理部23により、人物が他の人物または物体に対して行う行動を要素間の関係性として取得する。このようにしたので、グラフデータを生成するために必要な情報を映像または画像から確実に取得して、グラフデータの生成を行うことができる。
(2) The graph
(3)グラフデータ生成部20は、要素ごとの属性を表す複数のノードと、要素間の関係性を表す複数のエッジとを組み合わせて、例えば図3に示すようなグラフデータを生成する。このようにしたので、要素ごとの属性および要素間の関係性を分かりやすく表現したグラフデータを生成することができる。
(3) The graph
(4)グラフデータ生成部20は、時系列で取得された映像または画像を所定の時刻区間Δtごとに区切った複数の時間範囲について、その時間範囲ごとにグラフデータを生成する。このようにしたので、時系列で変化する映像または画像に対して、データ量と異常検知精度のバランスを考慮した適切なグラフデータを生成することができる。
(4) The graph
(5)異常検知システム1は、所定の時間範囲ごとに生成された各グラフデータについて、要素ごとの属性の特徴量を表すノード特徴量を抽出するノード特徴量抽出部70と、時間範囲ごとに生成された各グラフデータについて、要素間の関係性の特徴量を表すエッジ特徴量を抽出するエッジ特徴量抽出部80とをさらに備える。時空間特徴量算出部110は、ノード特徴量抽出部70およびエッジ特徴量抽出部80によりそれぞれ抽出された各グラフデータのノード特徴量およびエッジ特徴量に基づいて、時空間特徴量を算出する。このようにしたので、各ノードの特徴量に隣接ノードとの潜在的な関係性を反映した時空間特徴量を算出することができる。
(5) The
(6)異常検知システム1は、グラフデータを可視化してユーザに提示し、ユーザによるグラフデータの編集を受け付けるグラフデータ可視化編集部60をさらに備える。このようにしたので、不適切なグラフデータが誤って生成された場合でも、ユーザは正しいグラフデータに修正することが可能となる。
(6) The
(7)時空間特徴量算出部110は、要素ごとに時空間特徴量を算出する。異常検知部130は、特徴量分布クラスタリング部131および中心点距離計算部132により、時空間特徴量算出部110により算出された要素ごとの時空間特徴量を互いに比較し、異常判定部133により、その比較結果に基づいて要素ごとの脅威の度合いを算出することで、異常を検知する。このようにしたので、不審な行動をとる人物や不審物が存在する場合に、これを確実に判断して異常を検知することができる。
(7) The spatiotemporal feature
(8)異常検知システム1は、判定根拠提示部150により、異常検知部130により異常が検知された要素について、当該要素に対して算出された脅威の度合いと、脅威の度合いへの寄与度が高い当該要素の特徴または行動の情報と、を少なくとも含む異常検知画面180を、異常検知部130の判定根拠を示す画面としてユーザに提示する。このようにしたので、映像に映り込んだ様々な人物や物体のうち、どの人物または物体がどのような理由で不審者または不審物として検知されたのかを、ユーザに分かりやすく確認させることができる。
(8) In the
(9)異常検知画面180は、当該要素の特徴または行動ごとの脅威の度合いへの寄与度の情報をさらに含む。このようにしたので、不審者または不審物として検知された人物や物体のどのような特徴や行動が脅威の判断において重視されたのかを、ユーザに分かりやすく確認させることができる。
(9) The
(10)異常検知システム1を構成するコンピュータは、所定の監視対象場所を撮影して得られた映像または画像に基づいて、監視対象場所における複数の要素を検知する処理(エンティティ検知処理部21が実施するエンティティ検知処理)と、要素ごとの属性および要素間の関係性を表すグラフデータを生成する処理(グラフデータ生成部20の処理)と、グラフデータの時空間特徴量を算出する処理(時空間特徴量算出部110の処理)と、時空間特徴量に基づいて、監視対象場所における異常を検知する処理(異常検知部130の処理)とを実行する。このようにしたので、コンピュータを用いた処理により、様々な人物や物体を撮影した映像または画像から、不審な行動や異常な行動を正確に発見して異常を検知することができる。
(10) The computer constituting the
なお、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 The present invention is not limited to the above embodiment, and can be carried out by using any component within the range not deviating from the gist thereof. The embodiments and modifications described above are merely examples, and the present invention is not limited to these contents as long as the features of the invention are not impaired. Further, although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects considered within the scope of the technical idea of the present invention are also included within the scope of the present invention.
1…異常検知システム、10…カメラ動画像入力部、20…グラフデータ生成部、30…グラフデータベース、40…ノードデータベース、50…エッジデータベース、60…グラフデータ可視化編集部、70…ノード特徴量抽出部、80…エッジ特徴量抽出部、90…ノード特徴量蓄積部、100…エッジ特徴量蓄積部、110…時空間特徴量算出部、120…ノード特徴量取得部、130…異常検知部、140…脅威予兆度保存部、150…判定根拠提示部、160…要素寄与度保存部 1 ... Abnormality detection system, 10 ... Camera moving image input unit, 20 ... Graph data generation unit, 30 ... Graph database, 40 ... Node database, 50 ... Edge database, 60 ... Graph data visualization editing unit, 70 ... Node feature amount extraction Unit, 80 ... Edge feature amount extraction unit, 90 ... Node feature amount storage unit, 100 ... Edge feature amount storage unit, 110 ... Spatio-temporal feature amount calculation unit, 120 ... Node feature amount acquisition unit, 130 ... Abnormality detection unit, 140 ... Threat sign storage unit, 150 ... Judgment basis presentation unit, 160 ... Element contribution storage unit
Claims (11)
前記グラフデータ生成部により生成された前記グラフデータの時空間特徴量を算出する時空間特徴量算出部と、
前記時空間特徴量算出部により算出された前記時空間特徴量に基づいて、前記監視対象場所における異常を検知する異常検知部と、を備える異常検知システム。 Based on the video or image obtained by shooting a predetermined monitoring target location, a plurality of elements in the monitoring target location are detected, and graph data showing the attributes of each element and the relationship between the elements is generated. Graph data generator and
A spatiotemporal feature amount calculation unit for calculating the spatiotemporal feature amount of the graph data generated by the graph data generation unit, and a spatiotemporal feature amount calculation unit.
An abnormality detection system including an abnormality detection unit that detects an abnormality in the monitoring target location based on the space-time feature amount calculated by the space-time feature amount calculation unit.
前記グラフデータ生成部は、前記映像または前記画像に映り込んだ人物または物体を前記要素として検知し、検知した前記人物または前記物体の特徴を前記要素ごとの属性として取得するとともに、前記人物が他の前記人物または前記物体に対して行う行動を前記要素間の関係性として取得する異常検知システム。 In the abnormality detection system according to claim 1,
The graph data generation unit detects a person or an object reflected in the image or the image as the element, acquires the detected feature of the person or the object as an attribute for each element, and the person is another person. An abnormality detection system that acquires an action performed on the person or the object as a relationship between the elements.
前記グラフデータ生成部は、前記要素ごとの属性を表す複数のノードと、前記要素間の関係性を表す複数のエッジとを組み合わせて、前記グラフデータを生成する異常検知システム。 In the abnormality detection system according to claim 1,
The graph data generation unit is an abnormality detection system that generates graph data by combining a plurality of nodes representing attributes for each element and a plurality of edges representing relationships between the elements.
前記グラフデータ生成部は、時系列で取得された前記映像または前記画像を所定の時刻区間ごとに区切った複数の時間範囲について、前記時間範囲ごとに前記グラフデータを生成する異常検知システム。 In the abnormality detection system according to claim 1,
The graph data generation unit is an abnormality detection system that generates graph data for each time range of a plurality of time ranges obtained by dividing the video or the image acquired in time series into predetermined time intervals.
前記時間範囲ごとに生成された各グラフデータについて、前記要素ごとの属性の特徴量を表すノード特徴量を抽出するノード特徴量抽出部と、
前記時間範囲ごとに生成された各グラフデータについて、前記要素間の関係性の特徴量を表すエッジ特徴量を抽出するエッジ特徴量抽出部と、をさらに備え、
前記時空間特徴量算出部は、前記ノード特徴量抽出部および前記エッジ特徴量抽出部によりそれぞれ抽出された前記各グラフデータの前記ノード特徴量および前記エッジ特徴量に基づいて、前記時空間特徴量を算出する異常検知システム。 In the abnormality detection system according to claim 4,
For each graph data generated for each time range, a node feature amount extraction unit that extracts a node feature amount representing the feature amount of the attribute for each element, and a node feature amount extraction unit.
For each graph data generated for each time range, an edge feature amount extraction unit for extracting an edge feature amount representing the feature amount of the relationship between the elements is further provided.
The spatiotemporal feature amount calculation unit is based on the node feature amount and the edge feature amount of each graph data extracted by the node feature amount extraction unit and the edge feature amount extraction unit, respectively. Anomaly detection system that calculates.
前記グラフデータを可視化してユーザに提示し、前記ユーザによる前記グラフデータの編集を受け付けるグラフデータ可視化編集部をさらに備える異常検知システム。 In the abnormality detection system according to claim 1,
An abnormality detection system further comprising a graph data visualization editing unit that visualizes the graph data, presents the graph data to the user, and accepts the user to edit the graph data.
前記時空間特徴量算出部は、前記要素ごとに前記時空間特徴量を算出し、
前記異常検知部は、前記時空間特徴量算出部により算出された前記要素ごとの前記時空間特徴量を互いに比較し、その比較結果に基づいて前記要素ごとの脅威の度合いを算出することで、前記異常を検知する異常検知システム。 In the abnormality detection system according to claim 1,
The spatiotemporal feature amount calculation unit calculates the spatiotemporal feature amount for each of the elements.
The anomaly detection unit compares the spatiotemporal feature amount for each element calculated by the spatiotemporal feature amount calculation unit with each other, and calculates the degree of threat for each element based on the comparison result. An abnormality detection system that detects the abnormality.
前記異常検知部により前記異常が検知された前記要素について、当該要素に対して算出された前記脅威の度合いと、前記脅威の度合いへの寄与度が高い当該要素の特徴または行動の情報と、を少なくとも含む異常検知画面を、前記異常検知部の判定根拠を示す画面としてユーザに提示する異常検知システム。 In the abnormality detection system according to claim 7,
For the element in which the abnormality is detected by the abnormality detection unit, the degree of the threat calculated for the element and information on the characteristics or behavior of the element having a high degree of contribution to the degree of the threat are provided. An abnormality detection system that presents an abnormality detection screen including at least to the user as a screen showing the determination basis of the abnormality detection unit.
前記異常検知画面は、当該要素の特徴または行動ごとの前記寄与度の情報をさらに含む異常検知システム。 In the abnormality detection system according to claim 8,
The abnormality detection screen is an abnormality detection system that further includes information on the degree of contribution for each feature or action of the element.
所定の監視対象場所を撮影して得られた映像または画像に基づいて、前記監視対象場所における複数の要素を検知する処理と、
前記要素ごとの属性および前記要素間の関係性を表すグラフデータを生成する処理と、
前記グラフデータの時空間特徴量を算出する処理と、
前記時空間特徴量に基づいて、前記監視対象場所における異常を検知する処理と、を実行する異常検知方法。 By computer
A process of detecting a plurality of elements in the monitored place based on an image or an image obtained by shooting a predetermined monitored place, and a process of detecting a plurality of elements in the monitored place.
Processing to generate graph data showing the attributes of each element and the relationships between the elements,
The process of calculating the spatiotemporal features of the graph data and
An abnormality detection method for executing a process of detecting an abnormality in the monitored location based on the spatiotemporal feature amount.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020198749A JP2022086627A (en) | 2020-11-30 | 2020-11-30 | Abnormality detection device and abnormality detection method |
PCT/JP2021/031589 WO2022113453A1 (en) | 2020-11-30 | 2021-08-27 | Abnormality detection device and abnormality detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020198749A JP2022086627A (en) | 2020-11-30 | 2020-11-30 | Abnormality detection device and abnormality detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022086627A true JP2022086627A (en) | 2022-06-09 |
Family
ID=81754513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020198749A Pending JP2022086627A (en) | 2020-11-30 | 2020-11-30 | Abnormality detection device and abnormality detection method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022086627A (en) |
WO (1) | WO2022113453A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186497A (en) * | 2013-03-22 | 2014-10-02 | Sumitomo Electric Ind Ltd | Image analysis device, image analysis method, and image analysis program |
JP6525542B2 (en) * | 2014-10-17 | 2019-06-05 | キヤノン株式会社 | Abnormality detection method, abnormality detection device, and program |
JP2019152927A (en) * | 2018-02-28 | 2019-09-12 | 株式会社エクォス・リサーチ | Image data generation device, image recognition device, image data generation program and image recognition program |
-
2020
- 2020-11-30 JP JP2020198749A patent/JP2022086627A/en active Pending
-
2021
- 2021-08-27 WO PCT/JP2021/031589 patent/WO2022113453A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022113453A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10321728B1 (en) | Systems and methods for full body measurements extraction | |
US10614316B2 (en) | Anomalous event retriever | |
JP5647627B2 (en) | Unusual pattern discovery | |
WO2022113439A1 (en) | Data analysis device and data analysis method | |
JP2023015989A (en) | Item identification and tracking system | |
US20190146991A1 (en) | Image search device, image search system, and image search method | |
US20230342389A1 (en) | Image Search in Walkthrough Videos | |
US20160259898A1 (en) | Apparatus and method for providing reliability for computer aided diagnosis | |
CN108229289B (en) | Target retrieval method and device and electronic equipment | |
US20200387866A1 (en) | Environment tracking | |
Harrou et al. | Malicious attacks detection in crowded areas using deep learning-based approach | |
JP2022145822A (en) | Video processing apparatus, video processing method, and program | |
US20170053172A1 (en) | Image processing apparatus, and image processing method | |
Nemmour et al. | Fuzzy neural network architecture for change detection in remotely sensed imagery | |
JP5493747B2 (en) | Tracking method, monitoring system and program | |
CN112784966B (en) | Anomaly detection method and system in defined spatial region | |
Bazo et al. | Baptizo: A sensor fusion based model for tracking the identity of human poses | |
Sree et al. | An evolutionary computing approach to solve object identification problem for fall detection in computer vision-based video surveillance applications | |
WO2022113453A1 (en) | Abnormality detection device and abnormality detection method | |
Bouma et al. | WPSS: Watching people security services | |
Chen et al. | Urban damage estimation using statistical processing of satellite images | |
Singh et al. | Chaotic whale-atom search optimization-based deep stacked auto encoder for crowd behaviour recognition | |
US20180260632A1 (en) | Representative image generation device, representative image generation method, and program | |
US10872235B2 (en) | Tracking shoppers and employees | |
JP2018142137A (en) | Information processing device, information processing method and program |