JP2009110152A - Congestion estimation device - Google Patents
Congestion estimation device Download PDFInfo
- Publication number
- JP2009110152A JP2009110152A JP2007280205A JP2007280205A JP2009110152A JP 2009110152 A JP2009110152 A JP 2009110152A JP 2007280205 A JP2007280205 A JP 2007280205A JP 2007280205 A JP2007280205 A JP 2007280205A JP 2009110152 A JP2009110152 A JP 2009110152A
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- texture information
- motion
- information
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像を基に人物の混雑度を推定する混雑推定装置に関し、特に人物の滞留状態や移動状態の種類を判定し、異常状態を検出する混雑推定装置に関する。 The present invention relates to a congestion estimation device that estimates the degree of congestion of a person based on an image, and more particularly to a congestion estimation device that determines the type of a person's staying state or movement state and detects an abnormal state.
従来から、画像における人物の混雑度を推定するための様々な技術が提案されてきている。例えば、動きベクトルを導出し、導出した動きベクトルをまとめ、そのまとまりの単位で人物を計数する技術が提案されている（例えば、特許文献１を参照）。
また、人物の頭部を検出して、その数を計測し、混雑度を推定する技術が提案されている（例えば、特許文献２を参照）。
また、フレーム間差分や背景差分処理により抽出した前景の面積を利用して混雑度を推定する技術が提案されている（例えば、特許文献３または特許文献４を参照）。
Conventionally, various techniques for estimating the degree of congestion of a person in an image have been proposed. For example, a technique has been proposed in which motion vectors are derived, the derived motion vectors are combined, and the number of persons is counted in units (see, for example, Patent Document 1).
Further, a technique for detecting the head of a person, measuring the number thereof, and estimating the degree of congestion has been proposed (see, for example, Patent Document 2).
Further, a technique for estimating the degree of congestion using the foreground area extracted by inter-frame difference or background difference processing has been proposed (see, for example, Patent Document 3 or Patent Document 4).
しかしながら、動きベクトルをまとめ、まとまりの単位で人物を計測する方法においては、各人毎に切り出す方法であり、人が少ない場合には比較的高精度な推定ができるが、雑踏のような状況では人同士の隠蔽が生じるため適用が難しく、精度が悪化するという課題がある。また、動きベクトルを抽出する際、カメラの画角等により、通常の動きによる動きベクトル、ノイズ等により生じる微小な動きベクトルのサイズは異なり、事前に上記動きベクトルのサイズの閾値を設定する必要がある。 However, in the method of summarizing motion vectors and measuring people in a unit of unit, it is a method of cutting out for each person, and when there are few people, it can be estimated with relatively high accuracy, but in situations like crowds Since concealment between people occurs, it is difficult to apply and there is a problem that accuracy deteriorates. In addition, when extracting a motion vector, the size of a motion vector due to normal motion, a minute motion vector caused by noise, etc. differs depending on the angle of view of the camera, and it is necessary to set a threshold value for the size of the motion vector in advance. is there.
また、人物の頭部を検出する手法も、人が少ない場合には比較的高精度な推定ができるが、人が多くなると頭部検出の精度が低下するという課題がある。
また、フレーム間差分処理により抽出した前景の面積を利用して混雑度を推定する手法は、人物が静止しているときには前景が抽出されず、また背景差分処理により抽出した前景の面積を利用して混雑度を推定する手法は、画面の大部分に人が存在する場合には精度良く前景領域を求めることが困難になるという課題がある。また、カメラの揺れなどに対して脆弱であるという課題がある。また、上記方法では、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）を求める方法は無く、また部分的な混雑状況の把握も困難である．
The method for detecting the head of a person can also be estimated with relatively high accuracy when there are few people, but there is a problem that the accuracy of head detection decreases when the number of people increases.
The method for estimating the degree of congestion using the foreground area extracted by inter-frame difference processing does not extract the foreground when the person is stationary, and uses the foreground area extracted by background difference processing. Thus, there is a problem that the method for estimating the degree of congestion makes it difficult to accurately obtain the foreground region when a person is present on most of the screen. In addition, there is a problem that it is vulnerable to camera shake. In addition, in the above method, there is no method for obtaining an index of the congestion state (staying area, moving area, normal area, staying start state, stay canceling state, normal state), and it is difficult to grasp the partial congestion state.
本発明は、かかる事情に鑑みてなされたものであり、画像を用いた人物の混雑度の推定を容易に且つ精度良く行うことができる混雑推定装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a congestion estimation device that can easily and accurately estimate the degree of congestion of a person using an image.
前記目的を達成するため、本発明の混雑推定装置は、各種シーンの映像やカメラからの映像をデジタル化して出力をする画像生成手段と、入力画像を部分領域に分ける領域分割手段と、前記画像生成手段から出力された画像より動き情報を算出する動き情報生成手段と、前記画像生成手段から出力された画像に対して画像のテクスチャ情報を生成するテクスチャ情報生成手段と、個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成手段と、個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する基準テクスチャ情報生成手段と、基準動き情報や基準テクスチャ情報を格納する格納手段と、前記動き情報生成手段から出力された動き情報と前記基準動き情報生成手段により生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定する動き情報判定手段と、前記テクスチャ情報生成手段から出力されたテクスチャ情報と前記基準テクスチャ情報生成手段により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定手段と、前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定手段と、を備えた。 In order to achieve the above object, the congestion estimation apparatus of the present invention includes an image generation means for digitizing and outputting images of various scenes and images from a camera, an area dividing means for dividing an input image into partial areas, and the image Motion information generating means for calculating motion information from the image output from the generating means, texture information generating means for generating texture information of the image for the image output from the image generating means, and for each partial region Reference motion information generating means for holding / updating reference motion information as a reference of motion, and reference texture information generating means for holding / updating reference texture information for determining the presence / absence of a person for each partial region, Storage means for storing reference motion information and reference texture information, motion information output from the motion information generation means, and reference motion information generation means. It is generated by a motion information determination unit that compares the generated reference motion information and determines whether or not there is motion in each partial area, and the texture information output from the texture information generation unit and the reference texture information generation unit The texture information determination means for comparing the reference texture information with each other and determining whether there is the same texture information as a person in each partial area, and receiving each determination result of the motion information determination means and the texture information determination means And residence determination means for determining whether or not a person is present in each area.
この構成によれば、動き情報判定手段により個々の領域において動きの有無を判定し、テクスチャ情報判定手段により動きが無い場合においても、テクスチャ類似度から人の有無を判定することができ、個々の領域において、移動している領域、滞留している領域、静止している領域、人が存在しない領域など領域の状態を推定することができる。そして、その個々の情報を用いて滞留判定手段により混雑度を判定することができる。 According to this configuration, it is possible to determine the presence / absence of motion in each region by the motion information determination unit, and to determine the presence / absence of a person from the texture similarity even when there is no motion by the texture information determination unit. In the region, it is possible to estimate the state of the region such as a moving region, a staying region, a stationary region, a region where no person exists. Then, the congestion degree can be determined by the stay determination means using the individual information.
また、上記構成において、前記画像生成手段より得られる画像を入力として人が存在するか否かを動き情報から判定し、人が存在している場合のみ前記基準動き情報生成手段および前記基準テクスチャ情報生成手段に対して更新タイミングを知らせるタイミング生成手段を備えた。 Further, in the above configuration, whether or not a person exists is determined by using the image obtained from the image generation means as input, and only when the person exists, the reference motion information generation means and the reference texture information Timing generation means for informing the generation means of update timing is provided.
この構成によれば、基準動き情報生成手段および基準テクスチャ情報生成手段に対して基準動き情報と基準テクスチャ情報の更新が更新タイミング毎に行われることで、環境が変化する際にも動きの有無の判定やテクスチャ判定が環境変動に適応し、常に精度の高い判定を行うことができる。 According to this configuration, the reference motion information and the reference texture information generation unit are updated at each update timing with respect to the reference motion information generation unit and the reference texture information generation unit. Judgment and texture judgment are adapted to environmental fluctuations, and judgment with high accuracy can always be performed.
また、上記構成において、前記タイミング生成手段は、車両の進入タイミングを検知して、この進入タイミング毎に前記基準動き情報生成手段と前記基準テクスチャ情報生成手段に対して更新タイミングを知らせる。 In the above configuration, the timing generation means detects the vehicle entry timing and notifies the reference motion information generation means and the reference texture information generation means of the update timing for each entry timing.
この構成によれば、基準動き情報生成手段および基準テクスチャ情報生成手段に対して基準動き情報と基準テクスチャ情報の更新が車両の進入タイミング毎に行われることで、車両の進入前後での人の動きや人のテクスチャを基準にした動きの有無の判定やテクスチャ判定を行うことができる。 According to this configuration, the reference motion information and the reference texture information generation unit are updated for the reference motion information and the reference texture information every time the vehicle enters, so that the human motion before and after the vehicle enters It is possible to determine the presence or absence of motion and texture determination based on the texture of a person.
また、上記構成において、前記基準動き情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準動き情報のサンプリングを行って基準動き情報の閾値の設定を行い、前記動き情報判定手段は、基準動き情報が前記基準動き情報の閾値を超えた場合には動きありと判定し、前記基準動き情報閾値を超えない場合は、動き無しであると判定する。 Further, in the above configuration, the reference motion information generation unit samples the reference motion information at a timing notified by the timing generation unit to set a threshold value of the reference motion information, and the motion information determination unit When the motion information exceeds the threshold value of the reference motion information, it is determined that there is motion, and when the motion information does not exceed the reference motion information threshold value, it is determined that there is no motion.
この構成によれば、基準動き情報生成手段に対して基準動き情報の更新が更新タイミング毎に行われ、同時に基準動き情報の閾値を更新タイミングでの動き情報を設定することで、更新タイミングでの動きを基準にした動き情報判定を行うことができる。 According to this configuration, the reference motion information is updated at the update timing with respect to the reference motion information generation unit, and at the same time, the threshold information of the reference motion information is set as the motion information at the update timing. Motion information determination based on motion can be performed.
また、上記構成において、前記テクスチャ情報判定手段は、入力情報に対して周波数変換処理を行い、周波数領域での類似度判定を行う。 Further, in the above configuration, the texture information determination unit performs frequency conversion processing on the input information and performs similarity determination in the frequency domain.
この構成によれば、人物の模様やシルエットに基づいた類似度評価を行うことができる。 According to this configuration, similarity evaluation based on a person's pattern or silhouette can be performed.
また、上記構成において、基準テクスチャ情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準テクスチャ情報のサンプリングを行って基準テクスチャ情報の設定を行い、前記テクスチャ情報判定手段は、前記テクスチャ情報生成手段により得られるテクスチャ情報と前記基準テクスチャ情報生成手段より得られる基準テクスチャ情報との類似度を判定し、類似している場合は人が存在すると判定する。 Further, in the above configuration, the reference texture information generation unit sets the reference texture information by sampling the reference texture information at the timing notified by the timing generation unit, and the texture information determination unit includes the texture information generation unit. The similarity between the texture information obtained by the means and the reference texture information obtained by the reference texture information generation means is determined. If they are similar, it is determined that there is a person.
この構成によれば、基準テクスチャ情報生成手段に対して基準テクスチャ情報の更新が更新タイミング毎に行われ、更新タイミングでのテクスチャを基準にしたテクスチャの類似度判定を行うことができる。 According to this configuration, the reference texture information generation unit updates the reference texture information at each update timing, and the texture similarity can be determined based on the texture at the update timing.
また、上記構成において、前記滞留判定手段は、前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を入力とし、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域のいずれかの状態を出力する。 In the above configuration, the stay determination unit receives each determination result of the motion information determination unit and the texture information determination unit as an input, and the state of each region is any of a stay region, a moving region, a noise region, or a foreground region. The state is output.
この構成によれば、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域を出力することで、混雑判定手段での混雑推定処理を行う際に領域の種別毎に計測することができ、また、全体の混雑度もカウントするだけで計算を行うことができる。 According to this configuration, a staying area, a moving area, a noise area, and a foreground area are output as the state of each area, so that it is possible to measure for each area type when the congestion estimation process is performed by the congestion determination unit. In addition, the calculation can be performed simply by counting the total congestion.
また、上記構成において、前記滞留判定手段から出力される情報を入力とし、入力された各状態を解析して異常混雑であるかどうかを判定する異常判定手段を備えた。 Further, in the above configuration, the apparatus includes an abnormality determination unit that receives information output from the stay determination unit and analyzes each input state to determine whether the congestion is abnormal.
この構成によれば、個々の領域の状態から、撮影環境全体が正常な混雑度なのか、それとも異常な混雑度なのか判別を行うことができる。 According to this configuration, it is possible to determine whether the entire photographing environment has a normal congestion level or an abnormal congestion level from the state of each region.
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、前記タイミング生成手段により得られる車両の進入タイミング後に滞留領域と移動領域を加算した混雑度指標が予め設定しておいた閾値以上減少しない場合に異常状態であると判定する。 Further, in the above configuration, the abnormality determination unit counts various states, stay regions, moving regions, noise regions, and foreground regions for each area output by the stay determination unit, and the timing generation unit If the congestion index obtained by adding the staying area and the moving area does not decrease by a predetermined threshold or more after the obtained vehicle entry timing, it is determined that the state is abnormal.
この構成によれば、車両の進入タイミング後の個々の領域の状態をカウントし混雑度指標を算出することにより、正常な混雑状態であるか、あるいは異常な混雑状態であるかの判定を行うことができる。 According to this configuration, it is possible to determine whether the vehicle is in a normal congestion state or an abnormal congestion state by counting the state of each area after the vehicle entry timing and calculating the congestion degree index. Can do.
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域の割合が予め設定をしておいた値よりも超えた場合に異常状態であると判定する。 Further, in the above configuration, the abnormality determination unit counts various states, stay regions, moving regions, noise regions, and foreground regions for each area output by the stay determination unit, and the ratio of the stay region is When it exceeds the value set in advance, it is determined that the state is abnormal.
この構成によれば、常時、個々の領域の状態をカウントし混雑度指標を算出し、滞留領域の割合を導出することで、滞留領域の割合に基づく異常検知を行うことができる。 According to this configuration, abnormality detection based on the ratio of staying areas can be performed by always counting the state of each area, calculating the congestion index, and deriving the ratio of staying areas.
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域、移動領域の時系列の割合から、滞留開始、滞留解消、通常状態などの人物の流量傾向を判定する。 Further, in the above configuration, the abnormality determination unit counts various states, stay regions, movement regions, noise regions, and foreground regions for each region output by the stay determination unit, From the time series ratio, the flow rate tendency of the person such as the start of stay, stay cancellation, and normal state is determined.
この構成によれば、常時、個々の領域の状態を時系列の変化量とともにカウントし混雑度指標を算出することで、滞留開始、滞留解消、通常状態などの人物の流量傾向判定を行うことができ、異常混雑に到達する前の事前警告を行うことや、また異常混雑の解消開始の通知を行うことができる。 According to this configuration, by always counting the state of each region together with the amount of change in time series and calculating the congestion degree index, it is possible to determine the flow rate tendency of a person such as stay start, stay stop, normal state, etc. It is possible to give a prior warning before reaching the abnormal congestion, and to notify the start of elimination of the abnormal congestion.
本発明によれば、動き情報の基準移動量を自動設定することで、動いている状態と動いていない状態を判別し、また、動きの有無とテクスチャを用いた類似度判定を用いて個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別し、また、各領域の各状態を用いて混雑度を推定し、さらに、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかの情報を提供できるので、画像を用いた人物の混雑度の推定を容易に且つ精度良く行うことができる。 According to the present invention, by automatically setting the reference movement amount of the motion information, it is possible to discriminate between the moving state and the non-moving state, and the presence / absence of motion and the similarity determination using the texture Various states for each region, staying region, moving region, noise region, foreground region are discriminated, the degree of congestion is estimated using each state of each region, and an indicator of the congestion state (staying region, moving region, Since it is possible to provide information on whether the state is a normal region, a stay start state, a stay cancellation state, a normal state) and an abnormal state, it is possible to easily and accurately estimate the degree of congestion of a person using an image.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
（実施の形態１）
図１は、本発明の実施の形態１に係る混雑推定装置の概略構成を示すブロック図である。同図において、本実施の形態の混雑推定装置１０Ａは、各種シーンの映像やカメラからの映像をデジタル化して出力をする画像生成部１１と、入力画像を部分領域に分ける領域分割部１２と、画像生成部１１の画像列から動き情報を算出する動き情報生成部１３と、個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する部分領域における基準動き情報生成部１４と、画像生成部１１から出力された画像に対して、画像のテクスチャ情報を生成するテクスチャ情報生成部１５と、個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する部分領域における基準テクスチャ情報生成部１６と、基準動き情報や基準テクスチャ情報を格納する格納部１７と、動き情報生成部１３から出力された動き情報と基準動き情報生成部１４により生成された基準動き情報とを比較し、個々の部分領域において動きがあるかどうかを判定する動き情報判定部１８と、テクスチャ情報生成部１５から出力されたテクスチャ情報と基準テクスチャ情報生成部１６により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定部１９と、動き情報判定部１８とテクスチャ情報判定部１９の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定部２０とを備えて構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of the congestion estimation apparatus according to Embodiment 1 of the present invention. In the figure, a congestion estimation device 10A of the present embodiment includes an image generation unit 11 that digitizes and outputs various scene images and video from a camera, an area dividing unit 12 that divides an input image into partial areas, A motion information generation unit 13 that calculates motion information from an image sequence of the image generation unit 11; a reference motion information generation unit 14 in a partial region that holds and updates reference motion information that is a reference for motion for each partial region; A texture information generation unit 15 that generates image texture information for an image output from the image generation unit 11 and a reference texture information for determining the presence / absence of a person for each partial area Motion output from the reference texture information generation unit 16 in the partial area to be stored, the storage unit 17 that stores reference motion information and reference texture information, and the motion information generation unit 13 The motion information determination unit 18 that compares the information with the reference motion information generated by the reference motion information generation unit 14 and determines whether there is motion in each partial region, and the texture output from the texture information generation unit 15 A texture information determination unit 19 that compares the information with the reference texture information generated by the reference texture information generation unit 16 and determines whether there is texture information that is the same as that of a person in each partial region; In response to each determination result of the texture information determination unit 19, a residence determination unit 20 that determines whether or not a person exists in each region is configured.
以上のように構成された混雑推定装置１０Ａについて、その動作を図２、図３、図４を用いて説明する。まず、画像生成部１１より得られる画像データを動き情報生成部１３およびテクスチャ情報生成部１５に送る。ここで、図２を用いて画像分割部１２の機能を説明する。領域分割部１２は、まず動き情報生成部１３および基準動き情報生成部１４のための領域分割を行う。領域は対象となるオブジェクトのサイズを基準に決定し、前方および後方の各位置に対して、それぞれ対応となるオブジェクトサイズに合わせた矩形領域その(１)３０、矩形領域その(２)３１を設定する。設定された２つの矩形領域を用いて任意位置での動き処理領域を線形補間により決める。図３に動き処理領域分割例を示す。 The operation of the congestion estimation device 10A configured as described above will be described with reference to FIGS. First, image data obtained from the image generation unit 11 is sent to the motion information generation unit 13 and the texture information generation unit 15. Here, the function of the image dividing unit 12 will be described with reference to FIG. The region dividing unit 12 first performs region division for the motion information generating unit 13 and the reference motion information generating unit 14. The area is determined based on the size of the target object, and a rectangular area (1) 30 and a rectangular area (2) 31 are set for each of the front and rear positions according to the corresponding object size. To do. A motion processing area at an arbitrary position is determined by linear interpolation using the two set rectangular areas. FIG. 3 shows an example of motion processing area division.
次に、決定された動き情報のための領域分割結果を用いて、テクスチャ情報生成部１５および基準テクスチャ情報生成部１６のためのテクスチャ処理領域を決める。テクスチャ用のテクスチャ処理領域の分割は、動き情報のための領域分割結果を複数個まとめた単位を１つのテクスチャ処理領域とする。ここでは、縦２個と横２個の合計４個の動き情報のための動き処理領域結果を１つのテクスチャ処理用の領域とする例を図４に示す。なお、ここでは４個をまとめたが、設定により自由にサイズを変更することも可能である。 Next, texture processing regions for the texture information generation unit 15 and the reference texture information generation unit 16 are determined using the determined region division result for motion information. In the division of the texture processing area for texture, a unit in which a plurality of area division results for motion information are collected is defined as one texture processing area. Here, FIG. 4 shows an example in which a motion processing area result for a total of four pieces of motion information of two vertical and two horizontal is used as one texture processing area. In addition, although four were collected here, it is also possible to change a size freely by setting.
次に、動き情報生成部１３、基準動き情報生成部１４、動き情報判定部１８の動作に関して図５を用いて説明する。画像生成部１１により入力される画像は画像バッファ部４０に格納される。そして、オプティカルフロー計算部４１とエッジ抽出部４３にそれぞれ入力される。オプティカルフロー計算部４１は、画像中の特徴点を抽出して、抽出した特徴点が次フレームでどの位置に移動したかという特徴点の対応点を探索する。対応する特徴点と元画像の特徴点を接続したベクトルが動きベクトルとなる。フロー代表方向／サイズ算出部４２では、個々の動き処理領域毎の代表フローと代表サイズを導出する。 Next, operations of the motion information generation unit 13, the reference motion information generation unit 14, and the motion information determination unit 18 will be described with reference to FIG. An image input by the image generation unit 11 is stored in the image buffer unit 40. Then, the data is input to the optical flow calculation unit 41 and the edge extraction unit 43, respectively. The optical flow calculation unit 41 extracts a feature point in the image, and searches for a corresponding point of the feature point where the extracted feature point has moved in the next frame. A vector connecting the corresponding feature points and the feature points of the original image becomes a motion vector. The flow representative direction / size calculating unit 42 derives a representative flow and a representative size for each motion processing area.
個々の動き処理領域の中には複数の動きベクトルを持つが、複数の動きベクトルの平均を代表サイズ、また複数の方向性を持つ動きベクトルがある場合は、頻度が一番多い方向ベクトルをフロー代表方向として導出する。また、方向性を計算する場合、ある一定以上のサイズを持つフローのみで頻度分布を作成し、ノイズのフローを除去する。 Each motion processing area has multiple motion vectors, but if there is a motion vector with a representative size and multiple directions in the average of multiple motion vectors, the direction vector with the highest frequency flows. Derived as the representative direction. Further, when calculating the directionality, a frequency distribution is created only with flows having a certain size or more, and noise flows are removed.
フローの代表方向情報（単位：ラジアン）とフローの代表サイズ（単位：ピクセル）は、動き処理領域毎に保持しておき、動ベクトル状態判定部４７に送られる。基準動き情報生成部１４は、基準動ベクトルマップ参照部４５と基準差分領域マップ参照部４６とを備える。基準動ベクトルマップ参照部４５には図６のような基準動ベクトルマップ５０が格納され、それぞれの動き処理領域毎に動きの有無の基準となる閾値を保持している。例えば、領域(１)５１、領域(２)５２、領域(３)５３（図６では、数値を囲む“（ ）”は省略しており、以下も同様）などは“１０”という閾値を保持しており、それよりも大きいサイズのフローであれば動き有りと判定され、小さい場合は動き無しと判定される。同じく領域(８)５４、領域(９)５５などは“９”という閾値を保持しており、個々の動き処理領域は全て閾値を持つ。 The flow representative direction information (unit: radians) and the flow representative size (unit: pixels) are stored for each motion processing region and sent to the motion vector state determination unit 47. The standard motion information generation unit 14 includes a standard motion vector map reference unit 45 and a standard difference area map reference unit 46. A reference motion vector map 50 as shown in FIG. 6 is stored in the reference motion vector map reference unit 45, and a threshold value serving as a reference for the presence or absence of motion is held for each motion processing region. For example, the area (1) 51, the area (2) 52, the area (3) 53 (in FIG. 6, “()” surrounding the numerical value is omitted, and the same applies hereinafter) holds the threshold value “10”. If the flow is larger than that, it is determined that there is motion, and if it is smaller, it is determined that there is no motion. Similarly, the area (8) 54, the area (9) 55, and the like have a threshold value of “9”, and each motion processing area has a threshold value.
図５に戻り、エッジ抽出部４３は、入力された画像のエッジをソーベルフィルタ等の既存のエッジ抽出プログラムを用いて抽出し、エッジフレーム間差分部４４へ送る。エッジフレーム間差分部４４は、過去のエッジフレームと現在入力されたエッジフレームとの差を計算することにより過去フレームと現フレームとの違うピクセルを抽出し、差分領域状態判定部４８へ送る。基準動き情報生成部１４は、基準差分領域マップ参照部４６を保持しており、マップは、個々の動き処理領域のうち何％の領域に動きピクセルが発生すれば動きありと判定するか否かの判定を行うマップを持つ。図７に基準差分領域マップ６０の例を示す。 Returning to FIG. 5, the edge extraction unit 43 extracts the edge of the input image using an existing edge extraction program such as a Sobel filter, and sends it to the edge frame difference unit 44. The inter-edge frame difference unit 44 extracts a pixel between the past frame and the current frame by calculating the difference between the past edge frame and the currently input edge frame, and sends it to the difference region state determination unit 48. The reference motion information generation unit 14 holds a reference difference region map reference unit 46, and the map determines whether or not it is determined that there is a motion if a motion pixel is generated in what percentage of the individual motion processing regions. It has a map that performs the determination. FIG. 7 shows an example of the reference difference area map 60.
基準差分領域マップ６０では、領域(１)６１、領域(２)６２、領域(３)６３（図７では、数値を囲む“（ ）”は省略しており、以下も同様）などは処理領域において１０％の動き領域があれば動き領域と判定し、それ以下の場合は動き無しと判定する。領域(８)６４、領域(９)６５などは１５％の動き領域があれば動き領域と判定する。このようにして全ての動き処理領域の判定を差分領域状態判定部４８で行う。動領域状態判定部４９は、動ベクトル状態判定部４７の判定結果と差分領域状態判定部４８の判定結果で双方とも動き領域であると判定された動き処理領域を動き有り領域と判定し、滞留判定部２０（図１参照）へ送る。動ベクトル状態判定部４７の判定結果と差分領域状態判定部４８の判定結果でどちらか一方でも動きが無いと判定された動き処理領域は、動き無し領域として滞留判定部２０へ送る。 In the reference difference area map 60, the area (1) 61, the area (2) 62, the area (3) 63 (in FIG. 7, “()” surrounding numerical values is omitted, and the same applies to the following). If there is a 10% motion region, it is determined as a motion region, and if it is less than that, it is determined that there is no motion. Region (8) 64, region (9) 65, etc. are determined to be motion regions if there is a 15% motion region. In this way, all the motion processing areas are determined by the difference area state determination unit 48. The motion region state determination unit 49 determines that the motion processing region, which is determined to be both a motion region based on the determination result of the motion vector state determination unit 47 and the determination result of the difference region state determination unit 48, is a motion presence region. It sends to the determination part 20 (refer FIG. 1). The motion processing area that is determined to have no motion based on the determination result of the motion vector state determination unit 47 and the determination result of the difference region state determination unit 48 is sent to the stay determination unit 20 as a no-motion area.
次に、テクスチャ情報生成部１５、基準テクスチャ情報生成部１６、テクスチャ情報判定部１９の動作に関して図８、図９を用いて説明する。テクスチャ情報生成部１５は、領域分割部１２により分割されたテクスチャ処理領域毎にテクスチャ特徴量を抽出する。テクスチャ特徴量としてはフーリエ変換を用いて周波数変換処理を行う。図８に入力画像７０の例を示しており、領域(ｔ１)７１、領域(ｔ２)７２、領域(ｔ３)７３、…（図８では、符号と数値を囲む“（ ）”は省略しており、以下も同様）と順番に周波数変換処理を行う。図９にテクスチャ特徴量抽出処理結果の例を示す。領域(ｔ１)７１、領域(ｔ２)７２、領域(ｔ３)７３、…（図９では、符号と数値を囲む“（ ）”は省略しており、以下も同様）を入力として周波数変換処理を行った結果は、テクスチャ特徴量抽出結果８０となり、それぞれ領域ｔ１テクスチャ特徴量８１、領域ｔ２テクスチャ特徴量８２、領域ｔ３テクスチャ特徴量８３、…となる。 Next, operations of the texture information generation unit 15, the reference texture information generation unit 16, and the texture information determination unit 19 will be described with reference to FIGS. The texture information generating unit 15 extracts a texture feature amount for each texture processing region divided by the region dividing unit 12. As the texture feature amount, frequency transformation processing is performed using Fourier transformation. FIG. 8 shows an example of the input image 70, where a region (t1) 71, a region (t2) 72, a region (t3) 73,... (In FIG. 8, “()” surrounding the sign and the numerical value is omitted. In the same manner, the frequency conversion processing is performed in the following order. FIG. 9 shows an example of the result of the texture feature amount extraction process. The region (t1) 71, the region (t2) 72, the region (t3) 73,... (In FIG. 9, “()” surrounding the sign and the numerical value is omitted, and the same applies hereinafter), and frequency conversion processing is performed. The result obtained is a texture feature amount extraction result 80, which is a region t1 texture feature amount 81, a region t2 texture feature amount 82, a region t3 texture feature amount 83,.
基準テクスチャ情報生成部１６は、人が存在するシーン群および人が存在しないシーン群を保持しておき、それぞれの場合において、テクスチャ処理領域単位にテクスチャ特徴量を抽出しておく。図１０は、人が存在するシーン(１)９０（図１０では、数値または符号と数値を囲む“（ ）”は省略しており、以下も同様）を示しており、テクスチャ処理領域９１の個々の領域、領域(ｔ１)９２、…、領域(ｔ１７)９３、…に対して、テクスチャ特徴量の抽出を行い、存在シーン１.領域ｔ１基準テクスチャ特徴量９４、…、存在シーン１.領域ｔ１７基準テクスチャ特徴量９５、…を導出する。同様に、図１１は人が存在しないシーン(１)１００（図１１では、数値または符号と数値を囲む“（ ）”は省略しており、以下も同様）を示しており、個々のテクスチャ処理領域１０１の領域(ｔ１)１０２、…、領域(ｔ１７)１０３、…に対して、テクスチャ特徴量の抽出を行い、非存在シーン１.領域ｔ１基準テクスチャ特徴量１０４、…、非存在シーン１.領域ｔ１７基準テクスチャ特徴量１０５、…を導出する。 The reference texture information generation unit 16 holds a scene group where a person exists and a scene group where a person does not exist, and in each case, extracts a texture feature amount in units of texture processing areas. FIG. 10 shows a scene (1) 90 in which a person exists (in FIG. 10, “()” surrounding a numerical value or a sign and a numerical value is omitted, and the same applies hereinafter). , Region (t1) 92,..., Region (t17) 93,..., And the presence scene 1. region t1 reference texture feature 94,. A reference texture feature amount 95 is derived. Similarly, FIG. 11 shows a scene (1) 100 in which no person exists (in FIG. 11, “()” surrounding a numerical value or a sign and a numerical value is omitted, and the same applies hereinafter). Extracting the texture feature amount from the region (t1) 102,..., Region (t17) 103,... Of the region 101, the non-existing scene 1. The region t1 reference texture feature amount 104,. A region t17 reference texture feature value 105,... Is derived.
テクスチャ情報判定部１９の処理については図１２を用いて説明をする。テクスチャ情報判定部１９は、テクスチャ情報生成部１５により、入力画像７０に対して、個々のテクスチャ処理領域、領域(ｔ１)７１、…（図１２では、数値または符号と数値を囲む“（ ）”は省略しており、以下も同様）毎に領域ｔ１テクスチャ特徴量８１、…を出力する。また、基準テクスチャ情報生成部１６が、各テクスチャ領域に対応した基準テクスチャ特徴量を保持しているため、例えば入力画像の領域(ｔ１)９２および領域(ｔ１)１０２に対応した非存在シーン１．領域ｔ１基準テクスチャ特徴量１０４と存在シーン１．領域ｔ１基準テクスチャ特徴量９４を取り出し、領域ｔ１テクスチャ特徴量８１との類似度計算１０６をそれぞれに対して行う。人が存在しないシーンの領域との類似度が高い場合、テクスチャ情報判定部１９は、人は存在しない領域として判定し、人が存在するシーンの領域との類似度が高い場合、テクスチャ情報判定部１９は人が存在する領域として判定する。類似度計算はＳＡＤ（Sam of Absolute Difference：絶対差分和）で最小となる類似テクスチャを導出してもよいし、正規化相互相関の指標を用いてもよい。 The processing of the texture information determination unit 19 will be described with reference to FIG. The texture information determination unit 19 uses the texture information generation unit 15 to make individual texture processing regions, regions (t1) 71,... (In FIG. 12, enclose numerical values or signs and numerical values “()”. Are omitted, and the same applies to the following). In addition, since the reference texture information generation unit 16 holds the reference texture feature amount corresponding to each texture region, for example, the non-existing scene 1... Corresponding to the region (t1) 92 and the region (t1) 102 of the input image. An area t1 reference texture feature 104 and an existing scene. The region t1 reference texture feature value 94 is extracted, and the similarity calculation 106 with the region t1 texture feature value 81 is performed for each. When the similarity with the area of the scene where the person does not exist is high, the texture information determination unit 19 determines that the person does not exist, and when the similarity with the area of the scene where the person exists is high, the texture information determination unit 19 19 is determined as a region where a person exists. In the similarity calculation, a similar texture that is minimized by SAD (Sam of Absolute Difference) may be derived, or a normalized cross-correlation index may be used.
次に、滞留判定部２０の動作に関して図１３を用いて説明する。動き情報判定部動き有り判定１１０と判定された領域で、テクスチャ情報判定部人存在判定１１２と判定された領域は移動領域１１４と判定する。動き情報判定部動き有り判定１１０と判定された領域で、テクスチャ情報判定部人非存在判定１１３と判定された領域はノイズ領域１１５と判定する。動き情報判定部動き無し判定１１１と判定された領域でテクスチャ情報判定部人存在判定１１２と判定された領域は滞留領域１１６と判定する。動き情報判定部動き無し判定１１１と判定された領域でテクスチャ情報判定部人非存在判定１１３と判定された領域は前景領域１１７と判定することで、個々の領域の状態を図１４のように出力可能になる。図１４には移動領域１２０、滞留領域１２１、前景領域１２３、ノイズ領域１２４の各状態が割り当てられる。 Next, the operation of the stay determination unit 20 will be described with reference to FIG. The region determined as the motion information determination unit motion presence determination 110 and the region determined as the texture information determination unit person presence determination 112 is determined as the movement region 114. The region determined as the motion information determination unit motion determination 110 and the region determined as the texture information determination unit human absence determination 113 is determined as the noise region 115. The region determined as the texture information determination unit human presence determination 112 in the region determined as the motion information determination unit no-motion determination 111 is determined as the staying region 116. In the area determined as the motion information determination unit no-motion determination 111, the area determined as the texture information determination unit human absence determination 113 is determined as the foreground area 117, and the state of each area is output as shown in FIG. It becomes possible. In FIG. 14, states of a movement area 120, a stay area 121, a foreground area 123, and a noise area 124 are assigned.
以上述べたように、動き情報判定部１８により動きの有無の領域を、テクスチャ情報判定部１９によりテクスチャを用いた類似度判定を用いて、人の存在、非存在の領域を判定し、滞留判定部２０により、個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別することができる。 As described above, the motion information determination unit 18 determines the presence / absence region of the person by using the motion information determination unit 18 and the texture information determination unit 19 using the similarity determination using the texture. The unit 20 can determine various states, staying areas, moving areas, noise areas, and foreground areas for each area.
なお、本実施の形態の混雑推定装置１０Ａのテクスチャ情報生成部１５および基準テクスチャ情報生成部１６は、フーリエ変換による周波数変換でテクスチャ特徴量を抽出したが、本発明はこの例に限定されるものではない。例えば、エッジ情報を利用したり、ガボール特徴量を用いた特徴量抽出でも構わない。 The texture information generation unit 15 and the reference texture information generation unit 16 of the congestion estimation apparatus 10A according to the present embodiment extract the texture feature amount by frequency conversion using Fourier transform, but the present invention is limited to this example. is not. For example, feature information extraction using edge information or Gabor feature values may be used.
また、本実施の形態の混雑推定装置１０Ａの基準テクスチャ情報生成部１６は、人が存在するシーンおよび人が存在しないシーンを各１パターンの基準テクスチャ生成処理を示したが、本発明はこの例に限定されるものではない。例えば、人が存在するシーンおよび人が存在しないシーンそれぞれ複数枚のシーンを用いて複数の基準テクスチャを用いることも可能であり、多人数のシーン、通常人数のシーン、少人数のシーン、人が存在しないシーンなど複数枚のシーンから基準テクスチャを保持しておき、テクスチャ情報判定部１９により、人の有無の領域の判定に用いてもよい。また、複数シーンをサポートベクタマシン（ＳＶＭ）やブースティングなどの学習方法により学習させることにより、人が存在するシーンの代表基準テクスチャおよび人が存在しないシーンの代表特徴量を用いて、人の有無の領域の判定を行う構成でも構わない。 In addition, the reference texture information generation unit 16 of the congestion estimation apparatus 10A according to the present embodiment has shown one pattern of reference texture generation processing for each of a scene where a person exists and a scene where a person does not exist. It is not limited to. For example, it is also possible to use a plurality of reference textures using a plurality of scenes each of a scene where a person exists and a scene where a person does not exist, and a large number of scenes, a normal number of scenes, a small number of scenes, A reference texture may be stored from a plurality of scenes such as a non-existing scene, and may be used by the texture information determination unit 19 to determine the presence / absence of a person. In addition, by learning a plurality of scenes using a learning method such as support vector machine (SVM) or boosting, the presence / absence of a person is obtained using a representative reference texture of a scene where a person exists and a representative feature amount of a scene where a person does not exist. It may be configured to perform the determination of the area.
（実施の形態２）
図１５は、本発明の実施の形態２に係る混雑推定装置の概略構成を示すブロック図である。本実施の形態の混雑推定装置１０Ｂは、実施の形態１の混雑推定装置１０Ａと比較して、基準動き情報生成部１４および基準テクスチャ情報生成部１６へ入力基準情報の更新タイミングを入力するタイミング生成部２１を追加した点が異なる。その他の構成は実施の形態１と同じであるため、詳細な説明を省略する。
(Embodiment 2)
FIG. 15 is a block diagram showing a schematic configuration of the congestion estimation apparatus according to Embodiment 2 of the present invention. Compared with the congestion estimation apparatus 10A of the first embodiment, the congestion estimation apparatus 10B of the present embodiment generates timing generation that inputs the input reference information update timing to the reference motion information generation unit 14 and the reference texture information generation unit 16. The point which added the part 21 differs. Since other configurations are the same as those of the first embodiment, detailed description thereof is omitted.
図１６、図１７に、タイミング生成部２１において、電車の進入・停止・出発のタイミングで基準動き情報生成部１４および基準テクスチャ情報生成部１６へ更新タイミングを通知する処理について説明する。図１６に示すように、駅のプラットフォームにおけるカメラ１３０の視野に線路が写るように設置する。その線路上に電車が進入してきた場合には、フレーム間差分および背景差分処理等の画像処理技術を用いて電車進入時の線路の変化を検知し、進入タイミングを基準動き情報生成部１４および基準テクスチャ情報生成部１６へ通知する。電車の進入直前は、電車待ちの行列ができるため、人が存在するためのテンプレートとして基準テクスチャ情報判定部１９での基準テクスチャの更新に利用される。次に電車が停止している時は、乗車および降車の人々がいるため、この停車タイミングを基準動き情報生成部１４は基準動き情報の更新に利用する。図１７にこの処理の流れを示す。 16 and 17, a process in which the timing generation unit 21 notifies the update timing to the reference motion information generation unit 14 and the reference texture information generation unit 16 at the timing of entry / stop / departure of a train will be described. As shown in FIG. 16, it is installed so that the track can be seen in the field of view of the camera 130 on the platform of the station. When a train enters on the track, a change in the track at the time of entering the train is detected using an image processing technique such as inter-frame difference and background difference processing, and the entry timing is determined based on the reference motion information generation unit 14 and the reference The texture information generator 16 is notified. Immediately before entering the train, there is a queue waiting for the train, and therefore, the template is used for updating the reference texture in the reference texture information determination unit 19 as a template for the presence of a person. Next, when the train is stopped, there are people who get on and off the vehicle, so the reference motion information generating unit 14 uses this stop timing for updating the reference motion information. FIG. 17 shows the flow of this processing.
車両進入検知ステップＳ１４１により、車両の進入を画像処理により検知し更新タイミング通知ステップＳ１４５へ送信する。車両停止検知ステップＳ１４２は、車両進入検知ステップＳ１４１により進入が検知された後、線路において動きが無くなった時点を車両停止として判断し、更新タイミング通知ステップＳ１４５へ通知する。車両出発検知ステップＳ１４３は車両停止検知ステップＳ１４２において車両の停止が検知された後、再び線路に動きが生じた時点で車両の出発として判定し、更新タイミング通知ステップＳ１４５へと通知する。この処理は処理終了指示があるまで常に車両の進入、停止、出発の検知を行い続ける（ステップＳ１４４）。 In vehicle entry detection step S141, vehicle entry is detected by image processing and transmitted to update timing notification step S145. In the vehicle stop detection step S142, after the entry is detected in the vehicle entry detection step S141, it is determined that the vehicle has stopped on the track as the vehicle stop, and the update timing notification step S145 is notified. In the vehicle departure detection step S143, after the vehicle stop is detected in the vehicle stop detection step S142, it is determined that the vehicle has started again when the movement of the track occurs again, and the update timing notification step S145 is notified. This process continues to detect entry, stop and departure of the vehicle until a process end instruction is issued (step S144).
図１８に、車両進入タイミングにおける駅プラットフォームの画像列を示す。図１８に示すように、進入タイミングにおいて得られる複数枚のシーンを基準テクスチャ情報生成部１６に送付し、このシーン群から基準テクスチャを生成することにより人が存在する時の基準テクスチャをシーンに適応させていくことができる。また、時間帯毎あるいは曜日毎にこのような基準テクスチャを保持しておくことで、時間帯、曜日などと同期したテクスチャ情報の判定が可能になる。 FIG. 18 shows an image sequence of the station platform at the vehicle approach timing. As shown in FIG. 18, a plurality of scenes obtained at the entry timing are sent to the reference texture information generation unit 16, and the reference texture when the person is present is adapted to the scene by generating the reference texture from the scene group. I can let you. In addition, by storing such a reference texture for each time zone or each day of the week, it is possible to determine texture information synchronized with the time zone, day of the week, and the like.
また、図１９に車両停止タイミングにおける駅プラットフォームの動ベクトル処理抽出処理後の動ベクトル取得結果列の例を示す。図１９に示すように車両停止タイミングにおいて得られる複数枚のシーンを基準動き情報生成部１４に送付し、その時におけるシーン群から個々の動き処理領域の動きの大きさや方向ベクトルを抽出し、その時の動きを基準動き量として用い、個々の動き処理領域に対しての方向ベクトルを獲得することが可能になる。また、時間帯毎，あるいは曜日毎にこのような基準動き情報を保持しておくことで、時間帯、曜日などと同期した動き情報の判定が可能になる。 FIG. 19 shows an example of a motion vector acquisition result sequence after the station platform motion vector processing extraction processing at the vehicle stop timing. As shown in FIG. 19, a plurality of scenes obtained at the vehicle stop timing are sent to the reference motion information generation unit 14, and the motion magnitude and direction vector of each motion processing area are extracted from the scene group at that time. Using the motion as a reference motion amount, it becomes possible to obtain a direction vector for each motion processing region. Further, by storing such reference motion information for each time zone or each day of the week, it is possible to determine motion information synchronized with the time zone, the day of the week, or the like.
以上述べたように、タイミング生成部２１により、動き情報の基準移動量や人が存在するテクスチャ情報を、車両の進入、停止、出発のタイミングを用いて自動設定することで、動いている状態と動いていない状態を判別する。また、人物が存在する、あるいは存在しないという判別をすることができるようになる。 As described above, the timing generation unit 21 automatically sets the reference movement amount of the motion information and the texture information on which the person exists using the timing of approach, stop, and departure of the vehicle, Determine the state that is not moving. It is also possible to determine whether a person exists or does not exist.
なお、本実施の形態の混雑推定装置１０Ｂのタイミング生成部２１は、車両の進入に対して、画像処理技術を用いて行う処理を示したが、本発明はこの例に限定されるものではない。例えば、線路内に検知センサを敷設して、そのセンサの情報から、車両の進入、停止、出発の情報を得てもよい。また、時刻表を用いて、時刻表の時刻と同期して電車の進入タイミングを通知してもよい。 In addition, although the timing generation unit 21 of the congestion estimation device 10B according to the present embodiment has shown the processing performed using the image processing technique for the approach of the vehicle, the present invention is not limited to this example. . For example, a detection sensor may be laid on the track, and vehicle entry, stop, and departure information may be obtained from the sensor information. Moreover, you may notify the approach timing of a train using a timetable synchronizing with the time of a timetable.
また、タイミング生成部２１は車両の進入、停止、出発のタイミングを用いた例を示したが、本発明はこの例に限定されるものではない。任意の時間間隔毎にタイミング生成部２１から更新タイミングを生成してもよい。 Moreover, although the timing generation part 21 showed the example using the timing of approach, stop, and departure of a vehicle, this invention is not limited to this example. The update timing may be generated from the timing generation unit 21 at arbitrary time intervals.
（実施の形態３）
図２０は、本発明の実施の形態３に係る混雑推定装置の概略構成を示すブロック図である。同図において、本実施の形態の混雑推定装置１０Ｃは、実施の形態１の混雑推定装置１０Ａと比較して、基準動き情報生成部１４および基準テクスチャ情報生成部１６へ入力基準情報の更新タイミングを入力するタイミング生成部２１および処理領域の時系列的な割合を解析して異常混雑かどうかを判定する異常判定部２２を追加した点が異なる。その他の構成は、実施の形態１の混雑推定装置１０Ａと同じであるため、詳細な説明を省略する。
(Embodiment 3)
FIG. 20 is a block diagram showing a schematic configuration of the congestion estimation apparatus according to Embodiment 3 of the present invention. In the figure, the congestion estimation device 10C according to the present embodiment indicates the update timing of the input reference information to the reference motion information generation unit 14 and the reference texture information generation unit 16 as compared with the congestion estimation device 10A according to the first embodiment. The difference is that an input timing generation unit 21 and an abnormality determination unit 22 that analyzes the time-series ratio of the processing region and determines whether or not there is an abnormal congestion are added. Since the other configuration is the same as that of the congestion estimation device 10A of the first embodiment, detailed description thereof is omitted.
図２１に滞留判定部２０から出力される処理領域の領域状態判定結果列１５０を示す。領域状態判定結果列１５０は、ｔ(０)１５１、ｔ(１)１５２、ｔ(２)１５３、…、ｔ(ｎ)１５６（図２１では、数値を囲む“（ ）”は省略しており、以下も同様）の時系列データとして領域判定結果を保持している。また、領域状態判定結果列１５０をグラフにプロットした混雑度指標時系列グラフ１６０を図２２に示す。本グラフは時系列に滞留領域１６３、移動領域１６２、ノイズ領域１６４、合計混雑度１６１をプロットしたものである。合計混雑度１６１は、移動領域１６２の数と滞留領域１６３の数を加算した値を示す。異常混雑判定部２２は、合計混雑度１６１が事前に設定していた閾値を超えた場合に異常状態と判定する。例えば、合計混雑度１６１が８０％を超えた場合に異常混雑度と判定するような閾値を設定していた場合、ｔ(５)１５４、ｔ(３０)１５５のタイミングで異常混雑であると判定し通知を行う。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、滞留領域１６３の割合による異常混雑の判定を行うことも可能である。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、移動領域１６２の割合による異常混雑の判定を行うことも可能である。 FIG. 21 shows a region state determination result sequence 150 of the processing regions output from the stay determination unit 20. In the region state determination result column 150, t (0) 151, t (1) 152, t (2) 153,..., T (n) 156 (in FIG. 21, “()” surrounding numerical values is omitted. The same holds for the area determination result as time-series data. Further, FIG. 22 shows a congestion index time series graph 160 in which the region state determination result sequence 150 is plotted on a graph. This graph plots the stay area 163, the movement area 162, the noise area 164, and the total congestion 161 in time series. The total congestion degree 161 indicates a value obtained by adding the number of moving areas 162 and the number of staying areas 163. The abnormal congestion determination unit 22 determines an abnormal state when the total congestion degree 161 exceeds a preset threshold value. For example, when a threshold value is set so that the abnormal congestion degree is determined when the total congestion degree 161 exceeds 80%, it is determined that the congestion is abnormal at the timing of t (5) 154 and t (30) 155. Notification. In addition, although an example in which the determination of abnormal congestion is performed at the rate of the total congestion degree 161 has been shown, it is also possible to determine abnormal congestion based on the rate of the staying region 163. In addition, although an example in which the determination of abnormal congestion is performed at the rate of the total congestion degree 161 has been shown, it is also possible to perform determination of abnormal congestion based on the rate of the moving area 162.
次に、図２３に混雑度指標時系列グラフにタイミング生成部２１から得られるｔ１０: 車両進入１６５、ｔ２０: 車両進入１６８のタイミング、ｔ１１: 車両停止１６６、ｔ２１: 車両停止１６９のタイミング、ｔ１２: 車両出発１６７、ｔ２２: 車両出発１７０のタイミングを重畳した混雑度指標時系列グラフを示す。異常判定部２２は、ｔ１０: 車両進入１６５、ｔ２０: 車両進入１６８のタイミングの一定時間後に、合計混雑度１６１が事前に設定していた閾値以上減少しない場合に異常状態であると判定し通知を行う。例えばｔ１０: 車両進入１６５のタイミングから事前に設定している判定期間１７１の範囲において、合計混雑度１６１が６０％以上減少しない場合には、異常混雑として判定し、通知を行う。 Next, in FIG. 23, t10: vehicle approach 165, t20: vehicle entry 168 timing, t11: vehicle stop 166, t21: vehicle stop 169 timing, t12: Vehicle departure 167, t22: A congestion index time series graph in which the timing of vehicle departure 170 is superimposed is shown. The abnormality determination unit 22 determines that the abnormality is in an abnormal state when the total congestion degree 161 does not decrease by a predetermined threshold or more after a predetermined time of t10: vehicle entry 165, t20: vehicle entry 168, and notifies the abnormality. Do. For example, if the total congestion 161 does not decrease by 60% or more in the range of the determination period 171 set in advance from the timing of t10: vehicle approach 165, it is determined as abnormal congestion and notified.
図２３の例はｔ１０: 車両進入１６５およびｔ２０: 車両進入１６８のタイミングの判定期間１７１後において、合計混雑度１６１が６０％以下にまで減少しているため、異常混雑とは判定されない。また、車両進入タイミングにおける合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、滞留領域１６３の割合による異常混雑の判定を行うことも可能である。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、移動領域１６２の割合による異常混雑の判定を行うことも可能である。 In the example of FIG. 23, after the determination period 171 of the timing of t10: vehicle entry 165 and t20: vehicle entry 168, the total congestion 161 has decreased to 60% or less, so that it is not determined that the congestion is abnormal. Moreover, although the example which determines the abnormal congestion by the ratio of the total congestion degree 161 in a vehicle approach timing was shown, it is also possible to determine the abnormal congestion by the ratio of the stay area 163. In addition, although an example in which the determination of abnormal congestion is performed at the rate of the total congestion degree 161 has been shown, it is also possible to perform determination of abnormal congestion based on the rate of the moving area 162.
次に、図２４に滞留判定部２０により判定された各処理領域の状態から、滞留開始、滞留解消、通常状態等の人物の流量傾向を判定する処理について説明する。滞留領域検知ステップＳ１８０は滞留領域が発生した領域を検出する処理を行う。滞留領域近傍探索ステップＳ１８１は、滞留領域が発生した領域を基準に、その領域を包囲する近傍領域に対して滞留領域が新たに発生したか、あるいは滞留領域が消滅したかの判定を行い、その情報を滞留領域連続増加判定ステップＳ１８２および滞留領域連続減少判定ステップＳ１８５へ送る。 Next, a process of determining a flow rate tendency of a person such as a start of stay, a stay cancellation, and a normal state from the state of each processing area determined by the stay determination unit 20 will be described with reference to FIG. The stay area detection step S180 performs a process of detecting an area where the stay area has occurred. The stay area vicinity search step S181 determines whether a stay area has newly occurred in the vicinity area surrounding the stay area or whether the stay area has disappeared with reference to the area where the stay area has occurred. Information is sent to stay area continuous increase determination step S182 and stay area continuous decrease determination step S185.
滞留領域連続増加判定ステップＳ１８２は、滞留領域の増加が連続的に単調増加しているかどうかを判定し、滞留領域の連続増加が閾値以上かどうかの判定を行い（ステップＳ１８３）、予め設定した閾値以上であれば滞留開始判定通知ステップＳ１８４から滞留状況が増加し異常混雑なる前の事前警告として通知される。同じく、滞留領域連続減少判定ステップＳ１８５は、滞留領域の減少が連続的に単調減少しているかどうかを判定し、滞留領域の連続減少が閾値以上かどうかの判定を行い（ステップＳ１８６）、予め設定した閾値以上であれば滞留解消判定通知ステップＳ１８７から混雑状況が解消されているとして通知される。 The stay area continuous increase determination step S182 determines whether or not the increase of the stay area continuously increases monotonously, determines whether or not the increase of the stay area is equal to or greater than a threshold value (step S183), and sets a preset threshold value. If it is above, it will be notified as a prior warning from stay start determination notification step S184 before the stay situation increases and becomes abnormally crowded. Similarly, in the stay region continuous decrease determination step S185, it is determined whether or not the decrease in the stay region is continuously monotonously decreased, and it is determined whether or not the continuous decrease in the stay region is equal to or greater than a threshold (step S186). If it is equal to or greater than the threshold value, notification is made that the congestion status has been eliminated from the stay elimination determination notification step S187.
図２５は上記処理の例を示したものである。時刻(ｔ-４)１９０、時刻(ｔ-３)１９１(図２５では、符号と数値を囲む“（ ）”は省略しており、以下も同様）は移動領域のみ検出されている。時刻(ｔ-２)１９２の時に滞留領域が発生し、この滞留領域を基準滞留領域１９５として認識する。時刻(ｔ-１)１９３には基準滞留領域１９５の近傍に新規滞留領域が発生し、これらの滞留領域群を基準滞留領域群とする。時刻(ｔ)１９４では基準滞留領域群に対して新たに３つの新規滞留領域が発生し、滞留領域が３つ以上の場合に滞留開始と判定する閾値を事前に設定しておいた場合、この時点で滞留開始１９６として通知する。滞留解消についても同様な処理で実現できる。また、滞留開始判定、滞留解消判定以外のときを通常状態と判定することで通常状態も通知可能である。 FIG. 25 shows an example of the above processing. Only the moving region is detected at time (t-4) 190 and time (t-3) 191 (in FIG. 25, “()” surrounding the sign and numerical value is omitted, and so on). A stay area is generated at time (t-2) 192, and this stay area is recognized as a reference stay area 195. At time (t-1) 193, new staying areas are generated in the vicinity of the reference staying area 195, and these staying area groups are set as the reference staying area group. At time (t) 194, three new staying areas are newly generated with respect to the reference staying area group, and when the threshold value for determining the staying start is set in advance when there are three or more staying areas, At this point, notification is made as a stay start 196. Residual elimination can also be realized by a similar process. Further, it is possible to notify the normal state by determining the normal state other than the stay start determination and the stay cancellation determination.
以上述べたように、個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を利用して混雑状況の指標（滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかを判定することができる。 As described above, whether there are congestion status indicators (stay start status, stay cancel status, normal status) and abnormal status using various statuses for each area, stay area, moving area, noise area, foreground area Can be determined.
本発明は、動き情報の基準移動量を自動設定することで、動いている状態と動いていない状態を判別し、また、動きの有無とテクスチャを用いた類似度判定を用いて個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別し、また、各領域の各状態を用いて混雑度を推定し、さらに、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかの情報を提供できるといった効果を有し、異常混雑状態通知を行う装置への適用が可能である。 The present invention automatically sets a reference movement amount of motion information to discriminate between a moving state and a non-moving state, and also uses a presence / absence of motion and similarity determination using a texture for each region. Various states, staying area, moving area, noise area, foreground area, and estimating the degree of congestion using each state of each area, and further, an indicator of congestion status (staying area, moving area, normal area) It is possible to provide information on whether or not there is a retention start state, a retention cancellation state, a normal state) and an abnormal state, and the present invention can be applied to an apparatus that notifies an abnormal congestion state.
１０Ａ、１０Ｂ、１０Ｃ 混雑推定装置
１１ 画像生成部
１２ 領域分割部
１３ 動き情報生成部
１４ 基準動き情報生成部
１５ テクスチャ情報生成部
１６ 基準テクスチャ情報生成部
１７ 格納部
１８ 動き情報判定部
１９ テクスチャ情報判定部
２０ 滞留判定部
２１ タイミング生成部
２２ 異常判定部
３０ 矩形領域その１
３１ 矩形領域その２
４０ 画像バッファ部
４１ オプティカルフロー計算部
４２ フロー代表方向／サイズ算出部
４３ エッジ抽出部
４４ エッジフレーム間差分部
４５ 基準動ベクトルマップ参照部
４６ 基準差分領域マップ参照部
４７ 動ベクトル状態判定部
４８ 差分領域状態判定部
４９ 動領域状態判定部
５０ 基準動ベクトルマップ
６０ 基準差分領域マップ
７０ 入力画像
８０ テクスチャ特徴抽出処理結果
９０ 人が存在するシーン１
９１、１０１ テクスチャ処理領域
１００ 人が存在しないシーン１
１０６ 類似度計算
１１０ 動き情報判定部動き有り判定
１１１ 動き情報判定部動き無し判定
１１２ テクスチャ情報判定部人存在判定
１１３ テクスチャ情報判定部人非存在判定
１１４、１２０、１６２ 移動領域
１１５、１２３、１６４ ノイズ領域
１１６、１２１、１６３ 滞留領域
１１７、１２２ 前景領域
１３０ カメラ
１６０ 混雑度指標時系列グラフ
１９５ 基準滞留領域
１９６ 滞留開始
10A, 10B, 10C Congestion estimation device 11 Image generation unit 12 Region division unit 13 Motion information generation unit 14 Reference motion information generation unit 15 Texture information generation unit 16 Reference texture information generation unit 17 Storage unit 18 Motion information determination unit 19 Texture information determination Section 20 Residence determination section 21 Timing generation section 22 Abnormality determination section 30 Rectangular area 1
31 Rectangular area 2
DESCRIPTION OF SYMBOLS 40 Image buffer part 41 Optical flow calculation part 42 Flow representative direction / size calculation part 43 Edge extraction part 44 Edge frame difference part 45 Reference | standard motion vector map reference part 46 Reference | standard difference area map reference part 47 Motion vector state determination part 48 Difference area State determination unit 49 Moving region state determination unit 50 Reference motion vector map 60 Reference difference region map 70 Input image 80 Texture feature extraction processing result 90 Scene 1 in which people exist
91, 101 Texture processing area 100 Scene 1 where no one exists
106 Similarity calculation 110 Motion information determination unit Motion determination 111 Motion information determination unit No motion determination 112 Texture information determination unit Person presence determination 113 Texture information determination unit Person non-existence determination 114, 120, 162 Moving region 115, 123, 164 Noise Area 116, 121, 163 Stay area 117, 122 Foreground area 130 Camera 160 Congestion index time series graph 195 Standard stay area 196 Start of stay
Claims (11)
入力画像を部分領域に分ける領域分割手段と、
前記画像生成手段から出力された画像より動き情報を算出する動き情報生成手段と、
前記画像生成手段から出力された画像に対して画像のテクスチャ情報を生成するテクスチャ情報生成手段と、
個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成手段と、
個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する基準テクスチャ情報生成手段と、
基準動き情報や基準テクスチャ情報を格納する格納手段と、
前記動き情報生成手段から出力された動き情報と前記基準動き情報生成手段により生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定する動き情報判定手段と、
前記テクスチャ情報生成手段から出力されたテクスチャ情報と前記基準テクスチャ情報生成手段により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定手段と、
前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定手段と、
を備えた混雑推定装置。 Image generation means for digitizing and outputting various scene images and camera images; and
Area dividing means for dividing the input image into partial areas;
Motion information generating means for calculating motion information from the image output from the image generating means;
Texture information generating means for generating image texture information for the image output from the image generating means;
Reference motion information generating means for holding and updating reference motion information that is a reference of motion for each partial area;
Reference texture information generating means for holding and updating reference texture information for determining the presence or absence of a person for each partial area;
Storage means for storing reference motion information and reference texture information;
Motion information determining means for comparing the motion information output from the motion information generating means with the reference motion information generated by the reference motion information generating means to determine whether there is motion in each partial area;
Texture information determination that compares the texture information output from the texture information generation means with the reference texture information generated by the reference texture information generation means and determines whether there is the same texture information as a person in each partial area Means,
A stay determination unit that receives each determination result of the motion information determination unit and the texture information determination unit and determines whether or not there is a person in each region;
A congestion estimation device comprising:
前記動き情報判定手段は、基準動き情報が前記基準動き情報の閾値を超えた場合には動きありと判定し、前記基準動き情報閾値を超えない場合は、動き無しであると判定する請求項２または請求項３に記載の混雑推定装置。 The reference motion information generation means samples the reference motion information at the timing notified by the timing generation means and sets a threshold value of the reference motion information,
The motion information determination means determines that there is motion when the reference motion information exceeds a threshold value of the reference motion information, and determines that there is no motion when the reference motion information threshold value is not exceeded. Or the congestion estimation apparatus of Claim 3.
前記テクスチャ情報判定手段は、前記テクスチャ情報生成手段により得られるテクスチャ情報と前記基準テクスチャ情報生成手段より得られる基準テクスチャ情報との類似度を判定し、類似している場合は人が存在すると判定する請求項１乃至請求項５のいずれかに記載の混雑推定装置。 The reference texture information generation means sets the reference texture information by sampling the reference texture information at the timing notified by the timing generation means,
The texture information determination unit determines the similarity between the texture information obtained by the texture information generation unit and the reference texture information obtained by the reference texture information generation unit, and determines that there is a person if they are similar. The congestion estimation apparatus according to any one of claims 1 to 5.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007280205A JP4966820B2 (en) | 2007-10-29 | 2007-10-29 | Congestion estimation apparatus and method |
| CN2012100617661A CN102582664A (en) | 2007-10-26 | 2008-10-20 | Congestion estimating apparatus |
| PCT/JP2008/002970 WO2009054119A1 (en) | 2007-10-26 | 2008-10-20 | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method, abnormality judging program, and congestion estimating device |
| US12/601,950 US8472715B2 (en) | 2007-10-26 | 2008-10-20 | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
| CN2008800183147A CN101681555B (en) | 2007-10-26 | 2008-10-20 | Situation judging device, situation judging method, abnormality judging device, and abnormality judging method |
| US13/826,162 US8655078B2 (en) | 2007-10-26 | 2013-03-14 | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007280205A JP4966820B2 (en) | 2007-10-29 | 2007-10-29 | Congestion estimation apparatus and method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009110152A true JP2009110152A (en) | 2009-05-21 |
| JP2009110152A5 JP2009110152A5 (en) | 2011-09-29 |
| JP4966820B2 JP4966820B2 (en) | 2012-07-04 |
Family
ID=40778605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007280205A Expired - Fee Related JP4966820B2 (en) | 2007-10-26 | 2007-10-29 | Congestion estimation apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4966820B2 (en) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011155439A1 (en) * | 2010-06-07 | 2011-12-15 | 三洋電機株式会社 | Motion detection device |
| JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| WO2012042705A1 (en) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | Method of detecting moving object and moving object detecting device |
| US8411999B2 (en) | 2010-01-26 | 2013-04-02 | Sanyo Electric Co., Ltd. | Calibrating apparatus |
| WO2013057904A1 (en) * | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | Thronging determination device and thronging determination method |
| JP2013127716A (en) * | 2011-12-19 | 2013-06-27 | Nippon Signal Co Ltd:The | Abnormal state detection system for congestion |
| JP2013206034A (en) * | 2012-03-28 | 2013-10-07 | Fujitsu Ltd | Information processing apparatus, image processing method and program |
| JP2014215679A (en) * | 2013-04-23 | 2014-11-17 | 日本電気株式会社 | Image processing system, image processing method, and program |
| JP2015014919A (en) * | 2013-07-05 | 2015-01-22 | 綜合警備保障株式会社 | Route generation device and route generation method |
| JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
| JP2016151833A (en) * | 2015-02-16 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2016189119A (en) * | 2015-03-30 | 2016-11-04 | セコム工業株式会社 | Detection device |
| JP2017045438A (en) * | 2015-08-27 | 2017-03-02 | 株式会社東芝 | Image analyzer, image analysis method, image analysis program and image analysis system |
| US9600732B2 (en) | 2011-06-07 | 2017-03-21 | Panasonic Intellectual Property Management Co., Ltd. | Image display apparatus and image display method |
| US9858486B2 (en) | 2013-11-11 | 2018-01-02 | Nec Corporation | Device and method for detecting circumventing behavior and device and method for processing cause of circumvention |
| JP2018042049A (en) * | 2016-09-06 | 2018-03-15 | パナソニックＩｐマネジメント株式会社 | Apparatus, system and method for congestion detection |
| US9934576B2 (en) | 2013-08-27 | 2018-04-03 | Nec Corporation | Image processing system, image processing method, and recording medium |
| JP2018072938A (en) * | 2016-10-25 | 2018-05-10 | 株式会社パスコ | Number-of-targets estimation device, number-of-targets estimation method, and program |
| JP2018520435A (en) * | 2015-11-04 | 2018-07-26 | 三菱電機株式会社 | Method and system for determining pedestrian flow |
| JP2018129090A (en) * | 2014-08-21 | 2018-08-16 | パナソニックＩｐマネジメント株式会社 | Detection apparatus, detection system, and program |
| US10289884B2 (en) | 2015-08-27 | 2019-05-14 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
| JP2019075029A (en) * | 2017-10-19 | 2019-05-16 | セコム株式会社 | Object distribution estimation device |
| US10607356B2 (en) | 2016-05-13 | 2020-03-31 | Hitachi, Ltd. | Congestion analysis device, congestion analysis method, and congestion analysis program |
| JP2021002791A (en) * | 2019-06-24 | 2021-01-07 | いであ株式会社 | Environmental abnormality detection device |
| EP4012666A1 (en) | 2020-12-09 | 2022-06-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| US11455804B2 (en) | 2019-04-02 | 2022-09-27 | Canon Kabushiki Kaisha | People flow analysis apparatus, people flow analysis method, and storage medium |
| JP7362387B2 (en) | 2019-09-20 | 2023-10-17 | 東芝テック株式会社 | Information notification device and notification program |
| JP7433864B2 (en) | 2019-11-27 | 2024-02-20 | キヤノン株式会社 | Image processing device, image processing method, and program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015040929A1 (en) | 2013-09-19 | 2015-03-26 | 日本電気株式会社 | Image processing system, image processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07296166A (en) * | 1994-04-22 | 1995-11-10 | Matsushita Electric Works Ltd | Congestion degree detector |
| JPH10290446A (en) * | 1997-04-14 | 1998-10-27 | Oki Electric Ind Co Ltd | Method and device for generating background image |
| JPH1196376A (en) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | Device and method for tracking moving object |
| JP2002008042A (en) * | 2000-06-19 | 2002-01-11 | Hitachi Ltd | Action recognizing and processing device, and moving object action analyzing system |
| JP2004258927A (en) * | 2003-02-25 | 2004-09-16 | Matsushita Electric Works Ltd | Human detection method and device |
-
2007
- 2007-10-29 JP JP2007280205A patent/JP4966820B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07296166A (en) * | 1994-04-22 | 1995-11-10 | Matsushita Electric Works Ltd | Congestion degree detector |
| JPH10290446A (en) * | 1997-04-14 | 1998-10-27 | Oki Electric Ind Co Ltd | Method and device for generating background image |
| JPH1196376A (en) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | Device and method for tracking moving object |
| JP2002008042A (en) * | 2000-06-19 | 2002-01-11 | Hitachi Ltd | Action recognizing and processing device, and moving object action analyzing system |
| JP2004258927A (en) * | 2003-02-25 | 2004-09-16 | Matsushita Electric Works Ltd | Human detection method and device |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8411999B2 (en) | 2010-01-26 | 2013-04-02 | Sanyo Electric Co., Ltd. | Calibrating apparatus |
| WO2011155439A1 (en) * | 2010-06-07 | 2011-12-15 | 三洋電機株式会社 | Motion detection device |
| JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| WO2012042705A1 (en) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | Method of detecting moving object and moving object detecting device |
| US9600732B2 (en) | 2011-06-07 | 2017-03-21 | Panasonic Intellectual Property Management Co., Ltd. | Image display apparatus and image display method |
| WO2013057904A1 (en) * | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | Thronging determination device and thronging determination method |
| JPWO2013057904A1 (en) * | 2011-10-19 | 2015-04-02 | パナソニックＩｐマネジメント株式会社 | Collection determination device and collection determination method |
| US9165195B2 (en) | 2011-10-19 | 2015-10-20 | Panasonic Intellectual Property Management Co., Ltd. | Thronging determination device and thronging determination method |
| JP2013127716A (en) * | 2011-12-19 | 2013-06-27 | Nippon Signal Co Ltd:The | Abnormal state detection system for congestion |
| JP2013206034A (en) * | 2012-03-28 | 2013-10-07 | Fujitsu Ltd | Information processing apparatus, image processing method and program |
| JP2014215679A (en) * | 2013-04-23 | 2014-11-17 | 日本電気株式会社 | Image processing system, image processing method, and program |
| JP2015014919A (en) * | 2013-07-05 | 2015-01-22 | 綜合警備保障株式会社 | Route generation device and route generation method |
| US9934576B2 (en) | 2013-08-27 | 2018-04-03 | Nec Corporation | Image processing system, image processing method, and recording medium |
| US9858486B2 (en) | 2013-11-11 | 2018-01-02 | Nec Corporation | Device and method for detecting circumventing behavior and device and method for processing cause of circumvention |
| JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
| JP2018129090A (en) * | 2014-08-21 | 2018-08-16 | パナソニックＩｐマネジメント株式会社 | Detection apparatus, detection system, and program |
| JP2016151833A (en) * | 2015-02-16 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2016189119A (en) * | 2015-03-30 | 2016-11-04 | セコム工業株式会社 | Detection device |
| JP2017045438A (en) * | 2015-08-27 | 2017-03-02 | 株式会社東芝 | Image analyzer, image analysis method, image analysis program and image analysis system |
| US10289884B2 (en) | 2015-08-27 | 2019-05-14 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
| JP2018520435A (en) * | 2015-11-04 | 2018-07-26 | 三菱電機株式会社 | Method and system for determining pedestrian flow |
| US10607356B2 (en) | 2016-05-13 | 2020-03-31 | Hitachi, Ltd. | Congestion analysis device, congestion analysis method, and congestion analysis program |
| WO2018047646A1 (en) * | 2016-09-06 | 2018-03-15 | パナソニックＩｐマネジメント株式会社 | Congestion sensing device, congestion sensing system, and congestion sensing method |
| JP2018042049A (en) * | 2016-09-06 | 2018-03-15 | パナソニックＩｐマネジメント株式会社 | Apparatus, system and method for congestion detection |
| JP2018072938A (en) * | 2016-10-25 | 2018-05-10 | 株式会社パスコ | Number-of-targets estimation device, number-of-targets estimation method, and program |
| JP2019075029A (en) * | 2017-10-19 | 2019-05-16 | セコム株式会社 | Object distribution estimation device |
| US11455804B2 (en) | 2019-04-02 | 2022-09-27 | Canon Kabushiki Kaisha | People flow analysis apparatus, people flow analysis method, and storage medium |
| JP2021002791A (en) * | 2019-06-24 | 2021-01-07 | いであ株式会社 | Environmental abnormality detection device |
| JP7362387B2 (en) | 2019-09-20 | 2023-10-17 | 東芝テック株式会社 | Information notification device and notification program |
| JP7433864B2 (en) | 2019-11-27 | 2024-02-20 | キヤノン株式会社 | Image processing device, image processing method, and program |
| EP4012666A1 (en) | 2020-12-09 | 2022-06-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4966820B2 (en) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4966820B2 (en) | Congestion estimation apparatus and method | |
| Hu et al. | Moving object detection and tracking from video captured by moving camera | |
| KR102153591B1 (en) | Method and apparatus for detecting garbage dumping action in real time on video surveillance system | |
| JP4700477B2 (en) | MOBILE BODY MONITORING SYSTEM AND MOBILE BODY FEATURE CALCULATION DEVICE | |
| KR101910542B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
| US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
| AU2014240669B2 (en) | Object monitoring system, object monitoring method, and monitoring target extraction project | |
| US20140161319A1 (en) | Information processing apparatus, method for tracking object and program storage medium | |
| US8971577B2 (en) | Monitoring device, reliability calculation program, and reliability calculation method | |
| EP2309454B1 (en) | Apparatus and method for detecting motion | |
| US11164006B2 (en) | Information processing apparatus, control method, and program | |
| JP5271227B2 (en) | Crowd monitoring device, method and program | |
| US9256945B2 (en) | System for tracking a moving object, and a method and a non-transitory computer readable medium thereof | |
| JP2018156586A (en) | Monitoring system | |
| JP6837356B2 (en) | Lost child detection device and lost child detection method | |
| KR20180138558A (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
| JP2008005399A (en) | Device and method for detecting a neglected object | |
| JP2009268005A (en) | Intrusion object detecting and tracking device | |
| JP2009194711A (en) | Region user management system and management method of the same | |
| JP5626099B2 (en) | Pedestrian detection device | |
| JP2010199865A (en) | Abnormality detection system, abnormality detection method, and abnormality detection program | |
| WO2014112407A1 (en) | Information processing system, information processing method, and program | |
| KR20160108979A (en) | Method and apparatus of tracking targets | |
| JPWO2015198592A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| Baba et al. | Stray dogs behavior detection in urban area video surveillance streams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100402 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4966820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |