JP2022024915A - 動画解析装置及び動画解析方法 - Google Patents
動画解析装置及び動画解析方法 Download PDFInfo
- Publication number
- JP2022024915A JP2022024915A JP2020127762A JP2020127762A JP2022024915A JP 2022024915 A JP2022024915 A JP 2022024915A JP 2020127762 A JP2020127762 A JP 2020127762A JP 2020127762 A JP2020127762 A JP 2020127762A JP 2022024915 A JP2022024915 A JP 2022024915A
- Authority
- JP
- Japan
- Prior art keywords
- flow line
- person
- residence time
- unit
- total residence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
特許文献1には、「複数のカメラ1ごとの撮影画像31を取得して、その撮影画像31の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサ12を備え、このプロセッサ12は、カメラ1ごとに、撮影画像31から検出された人物について、第1、第2の追尾テーブルに基づき、うろつき人物候補であることを示す第1の人物矩形32および、うろつき人物であることを示す第2の人物矩形32を撮影画像31に重畳した監視画像を生成する」人物行動監視装置及び人物行動監視システムが開示されている(要約参照)。
(A)一般に、動線が途切れると、滞留人物がいなくなったと判定される。そのため、動線が途切れたことによる追跡エラーがあると、人物の総滞留時間が算出できない。つまり、滞留人物が物などに遮られ、人物の大部分が映らない場合、動線の検知が途切れてしまう。同様に、動線検出のための追跡対象となる人物がフレームアウトすると、動線が途切れてしまう。これにより、同一人物が再度映り込んでも別人物の滞留とされてしまい、正確な総滞留時間の算出ができない。
その他の解決手段は実施形態中において適宜記載する。
まず、図1~図20を参照して、本発明の第1実施形態を説明する。
<システム構成図>
図1は、第1実施形態に係る動画解析システムZの構成例を示す図である。
動画解析システムZは、動画解析サーバ1、総滞留時間解析サーバ2、カメラなどの動画撮影装置(撮像部)3、データベース4、出力サーバ5、出力装置(出力部)6を有する。
動画解析サーバ1は、動画データ処理部(動画取得部)11、一時記憶部12、フレーム画像解析部13、動線解析部14を有する。
動画データ処理部11は、動画撮影装置3から取得した動画データを構成するフレーム画像のデータ(以下、フレーム画像データと称する)を抽出し、抽出したフレーム画像データを一時記憶部12に格納する。なお、一時記憶部12は、メモリ71(図5参照)に形成される記憶領域である。
動線解析部14は、フレーム画像解析部13が解析した結果を用いて、それぞれの連続したフレーム画像データにおける人物画像の移動軌跡を追跡し、動線データ42を抽出する。そして、動線解析部14は、抽出した動線に関する情報をデータベース4に格納されている図7の動線データ42に格納する。
総滞留時間解析部21は、一旦、データベース4に格納された動線に関する情報に対して、同一人物の動線であるか否かを再検索する。そして、総滞留時間解析部21は再検索の結果を基に、それぞれの人物の総滞留時間を算出する。さらに、総滞留時間解析部21は、算出した総滞留時間を基にアラーム通知の要不要を判定する。
図2は、第1実施形態におけるフレーム画像解析部13の詳細な構成を示す図である。図2において、図1と同様の構成については同一の符号を付して説明を省略する。
フレーム画像解析部13は、フレーム画像データ取得部131、人物抽出処理部132を有する。
フレーム画像データ取得部131は、一時記憶部12に格納されているフレーム画像データを取得し、人物抽出処理部132へわたす。
人物抽出処理部132は、フレーム画像データ取得部131が取得したフレーム画像データから人物画像を抽出する。そして、人物抽出処理部132は抽出した人物画像に関する情報(人物情報411)を一時記憶部12の人物データ41(図6参照)に格納する。加えて、人物抽出処理部132は人物情報411をデータベース4の人物データ41に格納する。
図3は、第1実施形態における動線解析部14の詳細な構成を示す図である。図3において、図1と同様の構成については同一の符号を付して説明を省略する。
動線解析部14は、人物情報取得部141、動線検出処理部(判定部)142を有する。
人物情報取得部141は一時記憶部12に格納されている人物データ41(図6参照)から人物情報411を取得する。
動線検出処理部142は、人物情報取得部141が取得した人物情報411を基に、連続したフレーム画像データにおける人物それぞれの軌跡である動線の検出を行う。
動線検出処理部142による処理の結果生成される動線の情報(動線情報421)はデータベース4に格納されている動線データ42に格納される。
図4は、第1実施形態における総滞留時間解析部21の詳細な構成を示す図である。図4において、図1と同様の構成については同一の符号を付して説明を省略する。
総滞留時間解析部21は、定期検索部211、動線再検出部212、総滞留時間算出部213、アラーム判定処理部214を有する。
定期検索部211は、ユーザが総滞留時間の検索を定期的に行うよう設定している場合、総滞留時間の検索時刻になったか否かを判定する。なお、定期検索部211は省略可能である。
動線再検出部212は、一旦、データベース4に格納された動線に関する情報に対して、同一人物の動線であるか否かを再検索する。再検索の結果である動線再検出情報441等はデータベース4の動線再検出データ44(図9参照)に格納される。
総滞留時間算出部213は、データベース4に格納されている動線再検出データ44を基に、それぞれの人物の総滞留時間を算出する。
アラーム判定処理部214は、算出した総滞留時間を基にアラーム通知の要不要を判定する。総滞留時間算出部213によって算出された総滞留時間、及び、アラーム判定処理部214によるアラーム通知の要不要判定結果はデータベース4に格納されている総滞留時間データ45(図10参照)に格納される。
図5は、演算装置7のハードウェア構成図を示す図である。
ここで、演算装置7は、動画解析サーバ1、総滞留時間解析サーバ2、出力サーバ5を構成するものである。
演算装置7は、メモリ71、CPU72(Central Processing Unit)、HD(Hard Disk)等の記憶装置73、通信装置74、入力装置75を有している。
通信装置74は、他の装置や、データベース4との情報の送受信を行うものである。
入力装置75は、キーボードや、マウス等である。
また、記憶装置73に格納されているプログラムがメモリ71にロードされる。そして、ロードされたプログラムがCPU72によって実行される。これにより、動画データ処理部11、フレーム画像解析部13、動線解析部14、総滞留時間解析部21、及び、フレーム画像解析部13、動線解析部14、総滞留時間解析部21を構成する各部131~132,141~142,211~214が具現化する。
次に、図6~図10を参照してデータベース4や一時記憶部12に格納されている各データ41~45を説明する。
(人物データ41)
図6は、人物データ41の例を示す図である。
人物データ41は、「人物ID」、「フレームID」、「矩形情報」、「タイムスタンプ」、「人物特徴量」、「動線ID」、「人物画像」の各欄を有する。
「人物ID」欄には、フレーム画像データ内で検出された人物画像に対して一意に付与されるIDが格納される。なお、例え、同一人物でも、検出元のフレーム画像データが異なれば異なる人物IDが付与される。
「フレームID」欄には、「人物ID」が示す人物画像が検出されたフレーム画像データに付与されるIDが格納される。
「矩形情報」欄には、人物画像を包含する矩形に関する情報が格納される。
「タイムスタンプ」欄には、「フレームID」が示すフレーム画像データが撮像された日時に関する情報が格納される。
「人物特徴量」欄には、検出された人物画像が示す特徴に関する情報が格納される。
「動線ID」欄には、動線解析部14によって付与されるIDであり、同一人物であると判定された人物IDを繋げるIDが格納される動線IDをたどることによって、ある人物の動線(移動の軌跡)を追うことができる。
「人物画像」欄には、検出された人物画像データが格納される。
図7は、動線データ42の例を示す図である。
動線データ42は、「動線ID」、「人物IDのリスト」、「開始フレームID」、「終了フレームID」、「フレームアウトの有無」の各欄を有している。
「動線ID」欄には、人物データ41の「動線ID」と同様のデータが格納される。
「人物IDのリスト」欄には、同じ動線IDが付与された人物IDがリストとして格納される。
「開始フレームID」欄には、対象となる動線IDが付与された人物画像が検出された最初のフレームのフレームIDが格納される。
「終了フレームID」欄には、対象となる動線IDが付与された人物画像が検出された最後のフレームのフレームIDが格納される。
「フレームアウトの有無」欄には、フレームアウトの有無に関する情報が格納される。フレームアウトの有無は、動線の最後のフレームにおいて人物画像がフレーム画像の端にあったか否かで判定される。動線の最後のフレームにおいて人物画像がフレーム画像の端にあった場合、「フレームアウトの有無」欄に「有」が格納される。
図8は、フレームデータ43の例を示す図である。
フレームデータ43は、「フレームID」、「フレーム画像」、「サムネイル画像」の各欄を有している。
「フレームID」欄には、フレーム画像それぞれに対して一意に付与されるIDである。
「フレーム画像」欄には、フレーム画像データが格納される。
「サムネイル画像」欄には、「フレーム画像」におけるフレーム画像データのサイズを小さくしたサムネイル画像が格納される。
図9は、動線再検出データ44の例を示す図である。
動線再検出データ44は、「動線ID」、「滞留開始時刻」、「滞留終了時刻」、「滞留時間(秒)」、「人物特徴量」、「同一人物有無」、「同一人物ID」の各欄を有する。
「動線ID」欄には、図6の人物データ41における動線IDと同様であり、同一人物であると判定された人物IDを繋げるIDが格納される。
「滞留開始時刻」欄には、動線IDで繋げられる人物IDを含む一連のフレーム画像(すなわち、動線IDで繋げられるフレーム画像)における最初のフレーム画像が示す時刻である。
「滞留終了時刻」欄には、動線IDで繋げられる人物IDを含む一連のフレーム画像(すなわち、動線IDで繋げられるフレーム画像)における最後のフレーム画像が示す時刻である。
「滞留時間(秒)」欄には、「滞留終了時刻」から「滞留開始時刻」を差し引いた時間が格納される。
「人物特徴量」欄には、図7の動線データ42において動線IDと対応付けられている人物画像の人物特徴量が格納される。
「同一人物有無」欄には、動線再検出データ44に格納されている動線において、対象となる動線IDと同一人物の動線IDが他にあるか否かを示す情報が格納される。
「同一人物ID」欄には、同一人物と判定された動線に対して付与される共通のIDが格納される。図9の例において「同一人物ID」として「A」が付与されている動線IDのそれぞれは同一人物であると判定された動線IDである。また、「B」が付与されている動線IDのそれぞれは、「A」とは別人であるが、同一人物であると判定された動線IDである。なお、「同一人物ID」に格納される情報は、一般的に人物の氏名ではなく、ID番号である。
図10は、総滞留時間データ45の例を示す図である。
総滞留時間データ45は、「同一人物ID」、「総滞留時間」、「超過判定」の各欄を有する。
「同一人物ID」欄には、図9と同一人物IDが格納される。
「総滞留時間」欄には、図9の動線再検出データ44において同じ同一人物IDが付与されている動線IDの滞留時間がすべて加算された総滞留時間が格納される。
「超過判定」欄には、総滞留時間が所定の時間(第1閾値V1)を超過しているか(「超過」)、総滞留時間が所定の時間(第2閾値V2;V1>V2)を超えているか(「警戒」)等の情報が格納されている。また、総滞留時間が所定の時間(第2閾値V2)を超えていない場合、「超過判定」欄には「正常」が格納される。
(全体処理)
図11及び図12は、第1実施形態で行われる長期滞留者検知処理の手順を示すフローチャートである。
まず、図11を参照して、動線収集処理を説明する。
図11は、第1実施形態で行われる動線収集処理の手順を示すフローチャートである。
まず、動画データ処理部11及びフレーム画像解析部13が動画解析処理を行う(S1)。動画解析処理の詳細は後記する。
次に、動線解析部14が動線検出処理を行う(S2)。動線検出処理の詳細は後記する。ステップS1~S2によって、動線に関する情報が収集される。
図12は、第1実施形態で行われる総滞留時間抽出処理の手順を示すフローチャートである。
まず、総滞留時間解析部21が動線再検出処理を行う(S4)。動線再検出処理の詳細は後記する。ステップS4によって、ステップS1,S2において、別々の人物のものとして認識されていた動線について、同一人物の動線であるか否かが検索される。
続いて、総滞留時間算出部213が、ステップS4の結果を用いて人物毎の総滞留時間を算出する総滞留時間算出処理を行う(S5)。総滞留時間算出処理の詳細は後記する。
その後、出力処理部51が総滞留時間算出処理によって算出された総滞留時間を表示装置に表示する画面表示処理を行う(S6)。画面表示処理の詳細は後記する。
図13は、第1実施形態で行われる動画解析処理(図11のステップS1)の詳細な手順を示すフローチャートである。
まず、動画データ処理部11は、動画撮影装置3が撮像した動画データを取得する(S101)。
次に、動画データ処理部11は、取得した動画データから、動画データを構成するフレーム画像データのそれぞれを取得し(S102)、それぞれのフレーム画像データを一時記憶部12へ格納する(S103)。動画データ処理部11は、取得したフレーム画像データのそれぞれに対してフレームIDを付与した上で一時記憶部12のフレームデータ43(図8参照)にフレーム画像データを格納する。
次に、人物抽出処理部132は、人物特徴量を基に取得したフレーム画像データから人物画像を抽出する(S112)。ここでは、フレーム画像中に存在するすべての人物画像が抽出される。
そして、人物抽出処理部132は、抽出した人物画像それぞれに人物IDを付し、それぞれの人物特徴量や、フレーム画像に関するデータ、人物画像データを抽出した人物画像毎に人物データ41(図6参照)へ格納する(S113)。
すべての人物の人物画像の抽出が終了していない場合(S114→No)、動線解析部14はステップS111へ処理を戻す。
すべての人物の人物画像の抽出が終了している場合(S114)、動画解析サーバ1は図11のステップS2へ処理をリターンする。
図14は、第1実施形態で行われる動線検出処理(図11のステップS2)の詳細な手順を示すフローチャートである。
まず、人物情報取得部141は、人物データ41から人物情報411を取得する(S201)。前記したように、人物情報411とは、図6に示す人物データ41のレコードを示す。
続いて、動線検出処理部142は、人物データ41において、現在のフレーム画像の1つ前のフレーム画像における人物特徴量と、ステップS112の人物画像の抽出において算出される人物特徴量とを比較することにより、類似の人物特徴量を有する人物情報411(類似の人物情報411)が1つ前のフレーム画像に存在するか否かを判定する(S202)。類似の人物特徴量とは、人物特徴量の差が所定の範囲(人物特徴量閾値)以内の値を有することである。また、人物情報411とは、図6に示す人物データ41のレコードである。
また、動線検出処理部142は、図7に示す動線データ42の「動線ID」欄に、ステップS202で新たに付与した動線IDを格納し、「人物IDのリスト」欄に処理対象となっている人物情報411の人物IDを格納する(S204)。ステップS203において、動線検出処理部142は、図7の動線データ42の「開始フレームID」欄に処理対象となっている人物情報411のフレームIDを格納する。この際、動線検出処理部142は、人物データ41の動線ID欄にも付与した動線IDを格納する。
また、動線検出処理部142は、図7に示す動線データ42において、ステップS204で処理対象となっている動線IDのレコードの「人物IDのリスト」欄に処理対象となっている人物情報411の人物IDを格納する(S213)。
すべての人物情報411について動線IDとの対応付けが完了していない場合(S214→No)、動線検出処理部142はステップS201へ処理を戻す。
すべての人物情報411について動線IDとの対応付けが完了している場合(S214→Yes)、動線検出処理部142は、それぞれの動線IDについて終了フレーム画像を検出し、図7に示す動線データ42の「終了フレームID」欄に検出した終了フレーム画像のフレームIDを格納する(S215)。その後、動画解析サーバ1は図11の処理へリターンする。
図15は、第1実施形態に係る動線再検出処理(図12のステップS4)の詳細な手順を示すフローチャートである。
まず、定期検索部211が、前回の滞留検索に参照したタイムスタンプからユーザが設定した時間が経過したか否かを判定する(S401)。なお、本実施形態では、ユーザが設定した時間が経過すると、ステップS402以下の処理が行われるとしているが、ユーザが総滞留時間の検索開始を指示するとステップS402以下の処理が行われるようにしてもよい。
一定時間経過していない場合(S401→No)、定期検索部211はステップS401へ処理を戻す。
ユーザが設定した時間経過している場合(S401→Yes)、動線再検出部212は、動線データ42における指定時間範囲内の動線IDをすべて動線データ42から取得する(S403)。ここで、指定時間範囲は入力装置75を介して、ユーザによって入力されるものである。動線再検出部212は、ステップS403で取得した動線IDを、図9に示す動線再検出データ44の「動線ID」欄に格納する。
そして、動線再検出部212は、ステップS403で取得した動線IDにおける人物画像の内、ステップS404で取得した動線IDにおける人物画像と、同一人物と考えられる人物画像を検索する(同一人物の検索;S405)。具体的には、動線再検出部212は、ステップS403で取得した動線IDを有する動線情報421に格納されている人物IDを取得する。この人物IDを動線再検出人物IDと称する。続いて、動線再検出部212は、人物データ41を検索して、動線再検出人物IDの人物特徴量を取得する。ここで、取得した人物特徴量を動線再検出人物特徴量と称する。また、動線再検出人物特徴量を有する人物を動線再検出人物と称する。
同一人物と考えられる人物画像が存在しない場合(S411→No)、動線再検出部212は、単独人物として、動線再検出人物特量に関する情報である動線再検出情報441を図9に示す動線再検出データ44に格納し(S412)、ステップS414へ処理を進める。
同一人物と考えられる人物画像が存在する場合(S411→Yes)、動線再検出部212は、同一人物と考えられる動線IDを図9に示す動線再検出データ44に格納する(S413)。
(A)同一人物が存在しない場合。
動線再検出部212は、動線再検出人物の動線IDに該当するレコードの「滞留開始時刻」、「滞留終了時刻」、「人物特徴量」の各欄に情報を格納する。ちなみに、「滞留開始時刻」及び「滞留終了時刻」は、動線IDをキーとして、動線データ42の「開始フレームID」及び「終了フレームID」を取得する。さらに、動線再検出部212は、人物データ41を検索し、取得した「開始フレームID」及び「終了フレームID」のタイムスタンプを取得し、取得した、それぞれのタイムスタンプを動線再検出データ44の「滞留開始時刻」及び「滞留終了時刻」欄に格納する。
さらに、動線再検出部212は、「同一人物有無」の欄に「無」を格納し、「同一人物ID」欄には、他の人物画像と共通とならないような同一人物IDが格納される(図9の例では「C」)。
動線再検出部212は、動線再検出人物の動線IDと、ステップS405で動線再検出人物と同一人物と判定された人物画像の動線IDとに対応するレコードのそれぞれにおける「滞留開始時刻」、「滞留終了時刻」、「人物特徴量」の各欄に情報を格納する。これらの欄における情報は、(A)同一人物が存在しない場合と同様であるので、ここでの説明を省略する。また、「同一人物有無」欄には「有」を格納し、「同一人物ID」には、その他の人物画像と共通しない同一人物IDを格納する。
なお、この段階で動線再検出部212は、滞留終了時刻と滞留開始時刻との差分を算出することで、動線ID毎の滞留時間を算出し(S414)、算出した滞留時間を動線再検出データ44の「滞留時間」欄に格納する。ステップS414で、算出される滞留時間は動線1つ1つに相当する滞留時間である。
そして、動線再検出部212は、ステップS202で取得した動線IDが残っているか否かを判定する(S416)。
動線IDが残っている場合(S416→Yes)、ステップS403へ処理を戻し、動線再検出部212は、残っている動線IDから新たな動線IDを選択する。
動線IDが残っていない場合(S416→No)、総滞留時間解析部21は図12のステップS5へ処理をリターンする。
図16は、第1実施形態で行われる総滞留時間算出処理(図12のステップS5)の詳細な手順を示すフローチャートである。
まず、総滞留時間算出部213は、図9に示す動線再検出データ44を参照し、動線IDを1つ選択する(S501)。
その後、総滞留時間算出部213は、動線再検出データ44の「同一人物ID」欄を参照して、ステップS501で選択した動線IDに対応付けられている同一人物IDと同じ同一人物IDを有する動線IDをすべて取得する(S502)。
総滞留時間が所定の閾値を超えていない場合(S511→No)、総滞留時間算出部213は、ステップS513へ処理を進める。
総滞留時間が処理の閾値を超えている場合(S511→Yes)、出力処理部51は図18に示す監視動画表示画面810に、ポップアップ画面812を表示することでアラーム出力する(S512)。
未処理の動線IDが存在する場合(S513→Yes)、総滞留時間算出部213はステップS501へ処理を戻す。
未処理の動線IDが存在しない場合(S513→No)、総滞留時間解析部21は図12のステップS6へ処理をリターンする。
図17は、第1実施形態で行われる総滞留時間詳細画面表示処理(図12のステップS6)の詳細な手順を示すフローチャートである。
図17に示す総滞留時間詳細画面表示処理は、図19に示す総滞留時間詳細画面820を表示するための処理である。
図19に示す総滞留時間詳細画面820の表示指示が行われると、出力処理部51は図10に示す総滞留時間データ45の「総滞留時間」欄に格納されている総滞留時間を大きい順にソートする(S601)。総滞留時間詳細画面820の表示指示については後記する。
続いて、出力処理部51は、総滞留時間データ45の同一人物IDを一つ選択する(S602)。
次に、出力処理部51は、総滞留時間データ45の「総滞留時間」欄を参照し、選択した同一人物IDに対応する総滞留時間Tが第1閾値V1を超えているか否かを判定する(T>V1?;S603)。
第1閾値V1を超えている場合(S603→Yes)、出力処理部51は総滞留時間データ45(図10参照)の該当するレコードにおける「超過判定」欄に「超過」を格納する(S611)。そして、図19に示す総滞留時間詳細画面820における処理対象となっている人物の棒グラフ821を、例えば「赤」に表示する(S612)。つまり、総滞留時間が所定の閾値を超えていることを示す出力が行われる。
第2閾値V2を超えている場合(S621→Yes)、出力処理部51は総滞留時間データ45の該当するレコードにおける「超過判定」欄に「警戒」を格納する(S622)。そして、図19に示す総滞留時間詳細画面820における処理対象となっている人物の棒グラフ821を、例えば「橙」に表示する(S623)。
すべての同一人物IDについて処理が完了していない場合(S633→No)、出力処理部51はステップS602へ処理を戻し、未処理の同一人物IDを1つ取得する(S602)。
すべての同一人物IDについて処理が完了している場合(S633→Yes)、出力処理部51は、図12の処理にリターンする。
(監視動画表示画面810)
図18は、監視動画表示画面810を示す図である。
監視動画表示画面810は、監視動画表示部811と、総滞留時間詳細画面表示ボタン813等を有している。
監視動画表示部811は、動画撮影装置3で撮像されている動画が表示される。
総滞留時間詳細画面表示ボタン813を、ユーザが選択入力すると(総滞留時間詳細画面820の表示指示)、図19に示す総滞留時間詳細画面820が表示部に表示される。
図19は、総滞留時間詳細画面820を示す図である。
総滞留時間詳細画面820は、前記したように、図3における総滞留時間詳細画面表示ボタン813や、ポップアップ画面812が選択入力されることで表示される。
総滞留時間詳細画面820は、総滞留時間表示部825と、人物画像表示部823とを有する。
総滞留時間表示部825には、図10に示す滞留判定データに格納されている「総滞留時間」を基に、人物毎の総滞留時間が棒グラフ821として表示される。図19に示す例では、「A」、「B」、「C」、「D」の4人の人物(滞留人物)の総滞留時間が表示されている。なお、「A」、「B」、「C」、「D」は、それぞれの人物の氏名ではなく、識別番号等である。ユーザが、入力装置75を介して、いずれからの棒グラフ821が選択入力されると、図20に示す個人滞留情報表示画面830が表示され、選択入力された棒グラフ821に対応付けられている人物の滞留情報が表示される。ここで、破線822は、超過判定閾値(図17における第1閾値V1)を示しており、総滞留時間が破線822を超えている人物「A」の棒グラフ821aは、例えば赤く表示される。また、総滞留時間が破線822を超えていないものの、総滞留時間が破線822に近い(図17において、総滞留時間TがV1>T>V2;V2は第2閾値)人物「B」の棒グラフ821bは、例えば橙色に表示される。それ以外の人物「C」、「D」の棒グラフ821cは、総滞留時間が正常であることを示す緑色で表示される。棒グラフ821の色は、前記したように出力処理部51が総滞留時間データ45(図10参照)を検索することによって決定される。総滞留時間が正常であるとは、ここでは、総滞留時間が長期にわたっていないことを意味する。
図20は、個人滞留情報表示画面830を示す図である。
個人滞留情報表示画面830は、動画解析サーバ1が同一と判定した人物の滞留時間についての詳細な情報を表示する画面である。図20に示すように、個人滞留情報表示画面830は、滞留時間情報表示部831、人物画像表示部836、チェックボックス837、削除ボタン38、総滞留時間表示部839B、検索開始時刻表示部839Aを有する。図20の例では、現在時刻(13:00:00)から過去4時間、すなわち、滞留時間の検索開始時刻を9:00:00としている。
次に、図21~図23を参照して、本発明の第2実施形態について説明する。第2実施形態は、動線乗り移り防止に関する発明である。
図21は、動線乗り移りを説明する図である。
図21では、最初、人物H1が検知されているが、時刻T1において人物H2が人物H1に重なった状態で検知される。人物H1と、人物H2との特徴量が近ければ、動画解析サーバ1は、人物H2と人物H1とを混同してしまい、時刻T1以降は人物H2を人物H1として動線検出をおこなってしまう。つまり、動線乗り移りが生じてしまう(太実線矢印901)。第2実施形態では、このような動線乗り移りを防止することを課題とする。なお、人物H1は、時刻T1でしばらく停止した後、移動を始めるものとする。これにより、時刻T1以降、人物H1は、太実線矢印901とは異なる動線(太破線矢印902)として検出されるものとする。
図22は、第2実施形態で行われる総滞留時間抽出処理の手順を示すフローチャートである。
なお、図22において、図12と同様の処理については同一のステップ番号を付して説明を省略する。
図22において、図12と異なる処理は、最初に、ユーザが入力装置75を介して、人物特徴量閾値を所定の値未満で設定している点である(ステップS3)。このとき、人物特徴量閾値は、できる限り小さくなるよう設定される。
このように、人物特徴量閾値を小さく設定することにより、図14のステップS202において、「No」と判定される確率が高くなる。すなわち、動線を意図的に途切れやすくする。このようにすることによる効果について図23を参照して説明する。
図23では、図21と同様、人物H1が検知されているが(動線M0)、時刻T1において人物H2が人物H1に重なった状態で検知される。しかし、人物特徴量閾値が小さいため、時刻T1より前の人物H1と、時刻T1で人物H1に重なった人物H2とを区別することができる。このため、時刻T1で動線が途切れる。なお、時刻T1の動線は、動線M1の最初となる。
次に、図24~図28を参照して、本発明の第3実施形態を説明する。第3実施形態では、途切れている2つの動線が、同一人物のものである判定された場合に、この2つの動線を結合して、1つの動線として認識できるようにするものである。第1実施形態では、途切れた動線は、途切れたままで同一人物の動線を収集している。これに対して、第3実施形態では、人物特徴量及び画像中の人物の位置が近ければ動線を結合させ、1つの動線として扱うものである。
図24は、第3実施形態における動線解析部14bの詳細な構成を示す図である。図24において、図3と同様の構成については同一の符号を付して説明を省略する。
動画解析サーバ1bの動線解析部14bが、図3に示す動線解析部14と異なる点は、同一人物と判定された動線を結合する動線結合部144を有している点である。
動画解析サーバ1bについて動線結合部144以外の構成は、図1、図2、図4で示す構成と同様であるため、図示及び説明を省略する。
図25は、第3実施形態で用いられる動線データ42bの例を示す図である。
図25において、図7に示す動線データ42と異なる点は、「次の動線ID」欄を有していることである。
例えば、動線ID「00002」で示される動線が、動線ID「00007」で示される動線と同一人物の動線であると判定されたものとする。このような場合、動線ID「00002」のレコードにおける「次の動線ID」欄に動線ID「00007」が格納される。これにより、動線ID「00002」の動線と、動線ID「00007」の動線とが結合され、1つの動線として認識される。図25の例では、動線ID「00015」の動線が、動線ID「00019」の動線と結合し、さらに、動線ID「00023」の動線と結合している。
(動線検出処理)
図26は、第3実施形態で行われる動線検出処理の手順を示すフローチャートである。図26において、図13と同様の処理については同一のステップ番号を付して説明を省略する。
図26において、図13と異なる点は、ステップS215の後に動線結合処理(S221)が行われている点である。動線結合処理の詳細は後記する。
図27は、第3実施形態で行われる動線結合処理(図26のS221)の詳細な手順を示すフローチャートである。
まず、動線結合部144は、動線データ42から動線IDを2つ選択する(S701)。ここで、選択される動線IDは、一方の動線IDの最後のフレーム画像の時刻と、他方の動線IDの最初のフレーム画像の時刻とが所定の範囲内に存在しているものである。
そして、選択された2つの動線IDが示す動線のうち、時刻的に前の動線(第1動線と称する)の最後のフレーム画像から矩形情報を取得する(S702)。ステップS702で取得される矩形情報を第1矩形情報と称する。
次に、動線結合部144は、第1動線の最後のフレーム画像に対して、所定時間以内に最初のフレーム画像が存在する動線(第2動線と称する)の最初のフレーム画像から矩形情報を取得する(S703)。ステップS703で取得される取得される矩形情報を第2矩形情報と称する。第1矩形情報及び第2矩形情報は、動線データ42と、人物データ41から取得される。
距離Dが所定の値D1以下である場合(S711→Yes)、動線結合部144は、第1矩形情報における人物特徴量(第1人物特徴量C1と称する)と、第2矩形情報における人物特徴量(第2人物特徴量C2と称する)とを比較する。そして、動線結合部144は、第1人物特徴量C1と、第2人物特徴量C2と差の絶対値が所定の値C以下であるか否かを判定する(|C1-C2|≦C;S712)。
第1人物特徴量C1と、第2人物特徴量C2と差の絶対値が所定の値C以下である場合(S712→Yes)、動線結合部144は、第1動線と第2動線とが同一人物の動線であると判定し、第1動線と第2動線とを結合する(S713)。動線結合部144は、図25に示す動線データ42bにおいて、第1動線を示す動線情報421の「次の動線ID」に第2動線の動線IDを格納する。
すべての動線IDについてステップS701~S713の処理を完了していない場合(S721→No)、動線結合部144はステップS701へ処理を戻す。
すべての動線IDについてステップS701~S713の処理を完了している場合(S721→Yes)、動線解析部14bは図26の処理にリターンする。
図28は、動線結合処理の具体例を示す図である。
フレーム画像F1は、ある動線を構成するフレーム画像の最後のフレーム画像を示している。また、フレーム画像F2は、フレーム画像F1が示す時刻から所定時刻以内のフレーム画像を示し、フレーム画像F1が属す動線とは別の動線を構成するフレーム画像のうち、最初のフレーム画像を示している。また、矩形R1は、フレーム画像F1における人物H11の人物画像を含んでいる。矩形R2及び矩形R3は、フレーム画像F2に含まれる人物の画像(人物画像)を含んでいる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
6 出力装置(出力部)
11 動画データ処理部(動画取得部)
41 人物データ(人物画像を含む)
75 入力装置(入力部)
42b 動線データ(結合した動線のデータを含む)
51 出力処理部
132 人物抽出処理部(人物検出部)
142 動線検出処理部(判定部)
213 総滞留時間算出部
421 動線情報
821,821a,821b 棒グラフ(総滞留時間に関する情報、総滞留時間が前記所定の閾値を超えていることを示す出力)
823 人物画像表示部(総滞留時間の算出対象となっている人物の情報)
837,837a チェックボックス(所定の動線の情報を削除)
838 削除ボタン(所定の動線の情報を削除)
S1 動画解析処理(人物検出ステップ)
S2 動線検出処理(動線検出処理ステップ)
S3 動線再検出処理(判定ステップ)
S4 総滞留時間算出処理(総滞留時間算出ステップ)
S5 画面表示処理(出力処理ステップ)
Z 動画解析システム(動画解析装置)
Claims (7)
- 撮像部から動画を取得する動画取得部と、
取得した前記動画を構成する画像それぞれにおける人物画像を検出する人物検出部と、
検出した前記人物画像について、ひとつづきの動線を抽出し、抽出した前記動線に関する情報である動線情報を検出する動線検出処理部と、
前記動線検出処理部が検出した、一度途切れている前記動線情報を複数取得し、取得した複数の前記動線情報それぞれについて、同一人物の前記動線であるか否かを、前記動線における人物特徴量を基に判定する判定部と、
前記同一人物と判定された前記動線情報を基に、その人物の総滞留時間を算出する総滞留時間算出部と、
算出した前記総滞留時間を出力部に出力する出力処理部と、
を有することを特徴とする動画解析装置。 - 前記動線検出処理部は、
前記動線が示す時間が、所定時間以上とならないよう前記動線を検出する
ことを特徴とする請求項1に記載の動画解析装置。 - 前記出力処理部は、
算出した前記総滞留時間に関する情報と、当該総滞留時間の算出対象となっている人物の情報とを前記出力部に表示し、
算出した前記総滞留時間が所定の閾値を超えている場合、前記総滞留時間が前記所定の閾値を超えていることを示す出力を行う
ことを特徴とする請求項1に記載の動画解析装置。 - 前記出力処理部は、
それぞれの人物における動線の情報を前記出力部に出力し、
入力部を介して、所定の動線の情報を削除可能である
ことを特徴とする請求項1に記載の動画解析装置。 - 前記動線検出処理部は、
前記人物特徴量に基づいて、前記動線を検出し、
前記動線を抽出する際の、前記人物特徴量の閾値はできる限り小さくなるよう設定される
ことを特徴とする請求項1に記載の動画解析装置。 - 前記動線検出処理部は、
人物特徴量、及び、前後の前記画像における前記人物画像の位置に基づいて、異なる前記動線が同一人物の前記動線であると判定される場合、これらの前記動線を結合させる
ことを特徴とする請求項1に記載の動画解析装置。 - 人物の総滞留時間を算出する動画解析装置が、
撮像部から取得した動画を構成する画像それぞれにおける人物画像を検出する人物検出ステップと、
検出した前記人物画像について、ひとつづきの動線を抽出し、抽出した前記動線に関する情報である動線情報を検出する動線検出処理ステップと、
前記動線検出処理ステップが検出した、一度途切れている前記動線情報を複数取得し、取得した複数の前記動線情報それぞれについて、同一人物の前記動線であるか否かを、前記動線における人物特徴量を基に判定する判定ステップと、
前記同一人物と判定された前記動線情報を基に、その人物の総滞留時間を算出する総滞留時間算出ステップと、
算出した前記総滞留時間を出力部に出力する出力処理ステップと、
を実行することを特徴とする動画解析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127762A JP6794575B1 (ja) | 2020-07-28 | 2020-07-28 | 動画解析装置及び動画解析方法 |
PCT/JP2021/027931 WO2022025127A1 (ja) | 2020-07-28 | 2021-07-28 | 動画解析装置及び動画解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127762A JP6794575B1 (ja) | 2020-07-28 | 2020-07-28 | 動画解析装置及び動画解析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6794575B1 JP6794575B1 (ja) | 2020-12-02 |
JP2022024915A true JP2022024915A (ja) | 2022-02-09 |
Family
ID=73544681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020127762A Active JP6794575B1 (ja) | 2020-07-28 | 2020-07-28 | 動画解析装置及び動画解析方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6794575B1 (ja) |
WO (1) | WO2022025127A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201987A1 (ja) | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | 画像解析装置、画像解析システム、画像解析方法及びプログラム |
WO2022249312A1 (ja) * | 2021-05-26 | 2022-12-01 | 三菱電機株式会社 | 人物追跡装置及び人物追跡方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016048834A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2017017488A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 監視システム、撮影制御方法及びプログラム |
JP2019125238A (ja) * | 2018-01-18 | 2019-07-25 | グローリー株式会社 | 滞在時間検出システム、滞在時間検出装置、及び滞在時間検出方法 |
JP2020091649A (ja) * | 2018-12-05 | 2020-06-11 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006215858A (ja) * | 2005-02-04 | 2006-08-17 | Toshiba Corp | 入退場管理システムおよび入退場管理方法 |
CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
-
2020
- 2020-07-28 JP JP2020127762A patent/JP6794575B1/ja active Active
-
2021
- 2021-07-28 WO PCT/JP2021/027931 patent/WO2022025127A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016048834A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP2017017488A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 監視システム、撮影制御方法及びプログラム |
JP2019125238A (ja) * | 2018-01-18 | 2019-07-25 | グローリー株式会社 | 滞在時間検出システム、滞在時間検出装置、及び滞在時間検出方法 |
JP2020091649A (ja) * | 2018-12-05 | 2020-06-11 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2022025127A1 (ja) | 2022-02-03 |
JP6794575B1 (ja) | 2020-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
WO2022025127A1 (ja) | 動画解析装置及び動画解析方法 | |
JP6446971B2 (ja) | データ処理装置、データ処理方法、及び、コンピュータ・プログラム | |
US9141184B2 (en) | Person detection system | |
KR100808316B1 (ko) | 인물 검색 장치, 인물 검색 방법 및 입퇴장 관리 시스템 | |
US20160350583A1 (en) | Image search system and image search method | |
JP5751321B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
JP5202419B2 (ja) | 警備システムおよび警備方法 | |
KR20220098030A (ko) | 타깃 운동 궤적 구축 방법, 기기 및 컴퓨터 저장 매체 | |
US9613271B2 (en) | Determining severity of a geomagnetic disturbance on a power grid using similarity measures | |
JP5236607B2 (ja) | 異常検知装置 | |
JP2010117952A (ja) | 物体判別方法および物体判別装置 | |
US10783365B2 (en) | Image processing device and image processing system | |
JP2006163527A (ja) | 画像検索装置及び方法 | |
Suprem et al. | Evaluating generalizability of fine-tuned models for fake news detection | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
JP2011180684A (ja) | 移動物体追跡装置 | |
JP7235820B2 (ja) | 類似画像検索による人流分析方法および装置 | |
JP2012049774A (ja) | 映像監視装置 | |
JP2010087937A (ja) | 映像検出装置、映像検出方法および映像検出プログラム | |
JP6770227B2 (ja) | 画像処理装置、画像領域検出方法および画像領域検出プログラム | |
JP6112346B2 (ja) | 情報収集システム、プログラムおよび情報収集方法 | |
JP7540500B2 (ja) | グループ特定装置、グループ特定方法、及びプログラム | |
JP6923011B2 (ja) | 移動時間記憶システム、移動時間記憶方法および移動時間記憶プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200728 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200728 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6794575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |