JP2011090708A - Apparatus and method for detecting the number of objects - Google Patents
Apparatus and method for detecting the number of objects Download PDFInfo
- Publication number
- JP2011090708A JP2011090708A JP2010294428A JP2010294428A JP2011090708A JP 2011090708 A JP2011090708 A JP 2011090708A JP 2010294428 A JP2010294428 A JP 2010294428A JP 2010294428 A JP2010294428 A JP 2010294428A JP 2011090708 A JP2011090708 A JP 2011090708A
- Authority
- JP
- Japan
- Prior art keywords
- data
- objects
- learning
- difference
- factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 52
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000000611 regression analysis Methods 0.000 claims abstract description 13
- 238000013075 data extraction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000000556 factor analysis Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Abstract
Description
本発明は、動画像を取り込んで任意の方向に移動する人や車などの複数種の対象物の個数を種類別に検出することができる対象個数検出装置および対象個数検出方法に関するものである。 The present invention relates to a target number detection device and a target number detection method that can detect the number of a plurality of types of objects such as people and cars that move in an arbitrary direction by capturing a moving image.
現在、監視カメラシステム、高度道路交通システム、ロボットの視覚などにおいて、移動物体の認識は重要な課題である。また、人の流れや混雑具合を時々刻々と監視し記録することで、人が一ヶ所に集中するために生じる事故を未然に防いだり、空き／混雑情報の提供、店舗内での人員配置プラン等の戦略などに利用するため、人の流れや混雑具合などをモニタリングするニーズもある。 Currently, recognition of moving objects is an important issue in surveillance camera systems, intelligent road traffic systems, and robot vision. Also, by constantly monitoring and recording the flow of people and the degree of congestion, accidents that occur due to the concentration of people in one place can be prevented, availability / congestion information provided, and staff assignment plans in the store There is also a need to monitor the flow of people and the degree of congestion in order to use them for such strategies.
人の流れや混雑具合といったものを自動的にモニタリングするようなシステムの場合、移動物体の流れや数といった全体の状況を高速かつロバストに認識を行うことができる必要がある。しかし、コンピュータによって自動的に移動物体を認識することは非常に難しい課題である。認識を難しくしている要因としては、たとえば以下のものが挙げられる。
（１）カメラの画像内には複数の人が存在したり、自転車などといったさまざまな種類の移動物体が存在する。
（２）同じ移動物体でもさまざまな方向や速度の動きが存在する。
（３）カメラと対象の距離や大人と子供、身長差などのため画面内での対象のスケール（大きさ）がさまざまである。
In the case of a system that automatically monitors the flow of people and the degree of congestion, it is necessary to be able to recognize the entire situation such as the flow and number of moving objects at high speed and robustly. However, it is very difficult to recognize a moving object automatically by a computer. Examples of factors that make recognition difficult include the following.
(1) There are a plurality of people and various types of moving objects such as bicycles in the camera image.
(2) Even in the same moving object, there are movements in various directions and speeds.
(3) The scale (size) of the object in the screen varies due to the distance between the camera and the object, the adult and child, and the height difference.
移動物体の検出や認識を行う研究は数多く存在するが、それらのほとんどは、移動物体の切り出しとトラッキングを行うため、対象の数や種類に比例した計算コストがかかってしまい、多数の対象を高速かつ高精度で認識することは困難であった。また、スケールの違い等によって検出精度も低かった。 There are many researches on detecting and recognizing moving objects, but most of them perform segmentation and tracking of moving objects, which incurs a calculation cost proportional to the number and type of objects, and makes many objects faster. And it was difficult to recognize with high accuracy. Also, the detection accuracy was low due to the difference in scale.
一方、本発明者らが出願した下記の特許文献１には、静止画像に対して高次局所自己相関特徴を抽出し、多変量解析手法を使用して対象の個数の推定を行う技術が開示されている。
また、本発明者らは、画像全体から対象物の動きの違いを認識する異常動作認識の研究を行い、本発明者らが出願した下記の特許文献２には、立体高次局所自己相関特徴（以下、CHLACデータとも記す）を用いて異常動作認識を行う技術が開示されている。
On the other hand, the following
In addition, the present inventors have studied abnormal motion recognition that recognizes the difference in motion of an object from the entire image, and the following
移動物体の数やその流れといった全体の状況を知りたい場合、個々の物体の位置情報は不要である。右に歩く人が１人、左に歩く人が２人、左に走る自転車が１台という全体の状況が分かることが大切であり、登場するすべての移動物体をトラッキングしなくても、このような状況についての情報とその変化のみで人の流れや混雑具合を把握することは十分可能である。 When it is desired to know the overall situation such as the number of moving objects and their flow, position information of each object is not necessary. It is important to understand the overall situation: one person walking to the right, two people walking to the left, and one bike running to the left. It is fully possible to grasp the flow of people and the degree of congestion only by information about the situation and its changes.
上記した異常動作認識技術においては、動作特徴として動画面全体から抽出したCHLACデータを用いており、このCHLACデータは対象の場所や時間に依らない位置不変な値である。また、画面内に複数個の対象がある場合、全体の特徴値はそれぞれの個別の特徴値の和になるという加法性がある。即ち、例えば「右に歩く人」が２人いる場合には、特徴値は「右に歩く人」１人の特徴値の２倍になる。そこで、CHLACデータを移動物体の数やその移動方向の検出に適用することが考えられる。 In the abnormal motion recognition technology described above, CHLAC data extracted from the entire moving image plane is used as the motion feature, and this CHLAC data is a position-invariant value that does not depend on the target location or time. Further, when there are a plurality of objects in the screen, there is an additive property that the entire feature value is the sum of the individual feature values. That is, for example, when there are two “people walking to the right”, the feature value is twice the feature value of one “person walking to the right”. Therefore, it is conceivable to apply CHLAC data to the detection of the number of moving objects and their moving directions.
上記したCHLACデータを移動物体の数やその流れの検出に適用しようとした場合には、動画面上の対象のスケール（大きさ）や動き方の種別（速度や方向）によって特徴値が変化するので個数の検出精度が低下してしまうという問題点があった。
本発明の目的は、上記したような従来例の問題点を解決し、動画像を取り込んで立体高次局所自己相関特徴を用いて所定の方向に移動する人や車などの複数種の対象物の個数を種類別に高精度で検出することができる対象個数検出装置および対象個数検出方法を提供する点にある。
When the above-mentioned CHLAC data is applied to the detection of the number of moving objects and their flow, the feature value varies depending on the scale (size) of the target on the video screen and the type of movement (speed and direction). Therefore, there has been a problem that the number detection accuracy is lowered.
An object of the present invention is to solve the problems of the conventional examples as described above, and to acquire a plurality of types of objects such as a person or a car that takes in a moving image and moves in a predetermined direction using a stereoscopic higher-order local autocorrelation feature The object number detection device and the object number detection method that can detect the number of objects with high accuracy by type are provided.
本発明の対象個数検出装置は、検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、２値化する差分２値化データ生成手段と、直近の複数の前記フレーム間差分２値化データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、予め学習により生成された、１つの検出対象について複数の因子ベクトルを並べた因子行列と前記特徴データから各因子ベクトルの係数を求める係数取得手段と、１つの検出対象についての複数の前記係数を加算する加算手段と、前記加算手段の出力値の小数点未満を四捨五入して整数化することにより個数を生成する整数化手段とを備えたことを主要な特徴とする。 The target number detection device according to the present invention includes a difference binary data generation unit that generates inter-frame difference data from video data including a plurality of image frame data obtained by photographing a detection target, and binarizes the difference data. A feature data extracting means for extracting feature data from the three-dimensional data composed of the binarized inter-frame difference data by a cubic higher-order local autocorrelation, and a plurality of factor vectors for one detection target generated in advance by learning are arranged. A coefficient acquisition means for obtaining a coefficient of each factor vector from the factor matrix and the feature data, an addition means for adding a plurality of the coefficients for one detection target, and rounding off the decimal point of the output value of the addition means The main feature is that it is provided with an integerizing means for generating the number by converting it into an integer.
また、前記した対象個数検出装置において、更に、学習データから得られた特徴データに基づいて因子行列を生成する学習手段を備えた点にも特徴がある。また、前記した対象個数検出装置において、前記学習手段は、学習データである検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、２値化する差分２値化データ生成手段と、複数の前記フレーム間差分２値化データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、学習データにおける対象の既知の個数を使用し、複数の学習データと対応する前記特徴データから因子分析によって因子行列を求める因子行列生成手段とを備えている点にも特徴がある。 In addition, the above-described target number detection apparatus is further characterized in that it further includes a learning unit that generates a factor matrix based on feature data obtained from the learning data. In the above-described target number detection device, the learning unit generates difference data between frames from moving image data including a plurality of image frame data obtained by photographing a detection target that is learning data, and binarizes the difference. Using featured data generating means, feature data extracting means for extracting feature data from three-dimensional data consisting of a plurality of inter-frame difference binarized data by means of high-order local autocorrelation, and a known number of objects in learning data In addition, there is a feature in that a factor matrix generation unit that obtains a factor matrix by factor analysis from the feature data corresponding to a plurality of learning data is provided.
また、前記した対象個数検出装置において、前記因子行列に含まれる、１つの検出対象と対応する複数の因子ベクトルは画面上の対象のスケール、移動速度、移動方向の内の少なくとも１つが異なる複数の学習データからそれぞれ生成されたものである点にも特徴がある。 Further, in the above-described target number detection device, a plurality of factor vectors corresponding to one detection target included in the factor matrix are a plurality of different at least one of a scale, a moving speed, and a moving direction of the target on the screen. It is also characterized in that it is generated from learning data.
本発明の他の対象個数検出装置は、検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、２値化する差分２値化データ生成手段と、直近の複数の前記フレーム間差分２値化データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、画面上の対象のスケール、移動速度、移動方向の内の少なくとも１つが異なる複数の学習データから得られた特徴データに基づいて検出対象の個数を算出するための係数行列を生成する学習手段と、予め前記学習手段により生成された係数行列と、認識データから得られた特徴データから個数を求める個数生成手段と、前記個数生成手段の出力値の小数点未満を四捨五入して整数化する整数化手段とを備えたことを主要な特徴とする。 Another target number detection apparatus according to the present invention includes a difference binary data generation unit that generates inter-frame difference data from moving image data including a plurality of image frame data obtained by photographing a detection target, and binarizes the difference data. Feature data extracting means for extracting feature data from three-dimensional data comprising a plurality of inter-frame difference binarized data by means of three-dimensional local autocorrelation, and at least one of a scale, a moving speed, and a moving direction of a target on the screen A learning means for generating a coefficient matrix for calculating the number of detection targets based on feature data obtained from a plurality of different learning data, a coefficient matrix previously generated by the learning means, and recognition data. A number generation means for obtaining a number from the obtained feature data; and an integerization means for rounding off an output value of the number generation means to an integer. The main feature that.
本発明の対象個数検出方法は、学習データに基づき、立体高次局所自己相関に基づく因子行列を生成するステップ、検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、２値化するステップ、直近の複数の前記フレーム間差分２値化データからなる３次元データから立体高次局所自己相関によって特徴データを抽出するステップ、予め学習により生成された、１つの検出対象について複数の因子ベクトルを並べた因子行列および前記特徴データから各因子ベクトルの係数を求めるステップ、１つの検出対象についての複数の前記係数を加算するステップ、前記加算手段の出力値の小数点未満を四捨五入して整数化することにより個数を生成するステップを含むことを主要な特徴とする。 The target number detection method of the present invention includes a step of generating a factor matrix based on three-dimensional higher-order local autocorrelation based on learning data, and inter-frame difference data from moving image data composed of a plurality of image frame data obtained by photographing the detection target. A step of generating and binarizing, a step of extracting feature data by three-dimensional high-order local autocorrelation from three-dimensional data composed of a plurality of latest inter-frame difference binarized data, A step of obtaining a coefficient of each factor vector from the factor matrix in which a plurality of factor vectors are arranged for the detection target and the feature data, a step of adding the plurality of the coefficients for one detection target, and a decimal point of the output value of the adding means The main feature is that it includes a step of generating a number by rounding to an integer.
本発明によれば、以下のような効果がある。
（１）１つの検出対象について、予め因子分析を使用した学習によってスケールや移動速度の異なる対象と対応する複数の因子ベクトルを並べた因子行列を用意し、認識時において各因子ベクトルの係数を加算してから四捨五入して整数化することにより個数を生成するようにしたので、係数の和の変動が小さく、かつ認識したい対象の個数と高精度で一致する。従って対象のスケール、速度、方向の違いやこれらの動的変化にロバストな認識が可能となり、個数の検出精度が向上する。
（２）対象物の切り出しを行わずに複数の対象物を同時に認識するので、特徴抽出や個数識別判定のための計算量が少ない。また、計算量は対象物の個数に依らず一定である。従って実時間処理が可能である。
（３）予めスケール、移動速度、方向の異なる対象の画像を用いた重回帰分析に基づく学習によって係数行列を生成し、直接的かつ高速に個数を算出することができる。速度や方向、スケールにロバストな個数の検出が可能となる。
The present invention has the following effects.
(1) For one detection target, prepare a factor matrix in which multiple factor vectors corresponding to targets with different scales and moving speeds are prepared in advance by learning using factor analysis, and add the coefficients of each factor vector during recognition Then, the number is generated by rounding off to an integer, so that the variation in the sum of the coefficients is small and matches the number of objects to be recognized with high accuracy. Therefore, robust recognition can be made with respect to differences in scale, speed and direction of the object and dynamic changes thereof, and the number detection accuracy is improved.
(2) Since a plurality of objects are recognized at the same time without cutting out the objects, the amount of calculation for feature extraction and number identification determination is small. Further, the calculation amount is constant regardless of the number of objects. Therefore, real-time processing is possible.
(3) A coefficient matrix can be generated in advance by learning based on multiple regression analysis using images of objects with different scales, moving speeds, and directions, and the number can be calculated directly and at high speed. Robust detection of speed, direction and scale is possible.
以下の実施例においては、対象物が左または右に歩行する人である例について説明するが、対象物については動画として撮影可能な任意の移動体あるいは運動体、形状や大きさ、色、明るさのいずれかが変化する対象物に適用可能である。 In the following embodiments, an example in which the object is a person walking to the left or right will be described. However, the object may be any moving body or moving body that can be photographed as a moving image, shape, size, color, brightness, etc. It can be applied to an object in which one of the above changes.
図１は、本発明による対象個数検出装置の構成を示すブロック図である。ビデオカメラ１０は対象となる人や車等の動画像フレームデータをリアルタイムで出力する。ビデオカメラ１０はモノクロでもよいしカラーカメラであってもよい。コンピュータ１１は例えば動画像を取り込むためのビデオキャプチャー回路を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述する処理のプログラムを作成してインストールして起動することにより実現される。
モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば対象の検出個数をオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。なお、実施例においては、例えばビデオカメラ１０から入力された動画像データを実時間で処理してもよいし、一旦動画像ファイルに保存してから順次読み出して処理してもよい。また、ビデオカメラ１０は任意の通信網を介してコンピュータ１１と接続されていてもよい。
FIG. 1 is a block diagram showing the configuration of a target number detection apparatus according to the present invention. The
The
図２は、本発明による対象個数検出処理の概要を示す説明図である。例えばビデオカメラ１０によって、３６０画素×２４０画素のグレースケール（モノクロ多値）動画像が撮影され、順次コンピュータ１１に取り込まれる。
取り込まれたフレームデータ（ａ）から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に１、そうでない場合に０とする差分２値化フレームデータ（ｃ）を得る。次に、直近の３枚の差分２値化フレームデータ（ｄ）から後述する方法で、画素毎にCHLACデータを計算し、この画素対応CHLACデータを１フレーム分加算してフレーム対応CHLACデータ（ｆ）を得る。以上の処理は学習モードと認識モード共通の処理である。
FIG. 2 is an explanatory diagram showing an outline of the target number detection processing according to the present invention. For example, a 360 × 240 pixel gray scale (monochrome multi-value) moving image is captured by the
The absolute value of the difference from the captured frame data (a) with the luminance value of the same pixel in the immediately preceding frame is obtained, and a
学習モードにおいては、所定領域（例えば時間幅３０フレーム分）のフレーム対応CHLACデータ（ｇ）を加算する処理（ｈ）を実行することにより、複数の学習データと対応する複数の学習データ対応CHLAC特徴データを求める。そして、学習データにおける既知の対象物の各因子の個数情報を使用して因子分析（ｉ）によって因子行列を求める。因子行列（ｊ）は、１つの対象、例えば「右に歩く人」に対して、「右に早足で歩くスケールの大きい人」、「右に普通に歩くスケールの小さい人」などと対応する複数の因子ベクトルデータを並べたものである。 In the learning mode, by executing the process (h) of adding frame-corresponding CHLAC data (g) in a predetermined region (for example, 30 frames in time width), a plurality of learning data-corresponding CHLAC features corresponding to a plurality of learning data Ask for data. Then, a factor matrix is obtained by factor analysis (i) using the number information of each factor of the known object in the learning data. The factor matrix (j) corresponds to one object, for example, “a person who walks to the right” and “a person who has a large scale that walks quickly to the right”, “a person who has a small scale that normally walks to the right”, etc. The factor vector data of are arranged.
一方、認識モードにおいては、直近の所定領域（例えば時間幅３０フレーム分）のフレーム対応CHLACデータ（ｋ）を加算する処理（ｌ）を実行することにより、（Ｍ）CHLAC特徴データを得る。そして、学習モードにて予め求めた因子行列（ｊ）を使用して（Ｎ）後述する方法により対象物の個数を推定する。
個数推定処理（Ｎ）においては、個々の因子ベクトルの係数を求め、１つの対象と対応する複数の係数を加算してから小数点未満を四捨五入して個数を算出する。この処理によって、対象のスケールや速度の違いやこれらの動的変化にロバストな認識が可能となる。
On the other hand, in the recognition mode, (M) CHLAC feature data is obtained by executing the process (l) for adding the frame-corresponding CHLAC data (k) in the most recent predetermined area (for example, 30 frames of time width). Then, using the factor matrix (j) obtained in advance in the learning mode (N), the number of objects is estimated by a method described later.
In the number estimation process (N), the coefficient of each factor vector is obtained, a plurality of coefficients corresponding to one object are added, and then the number is calculated by rounding off the fractional part. This process makes it possible to recognize the difference in the scale and speed of the target and the dynamic changes thereof.
以下に、処理の詳細について説明する。図７は、本発明による対象個数検出処理（学習モード）の内容を示すフローチャートである。Ｓ１０においては、未処理の学習データを選択する。学習データは、例えば２種類の対象である「右に歩く人」および「左に歩く人」について、それぞれ任意の人数を異なる移動速度（普通、早足、駆け足）やスケール（大（近）、中、小（遠））で撮影した動画像データである。２種類の対象が任意の個数混在していてもよい。なお、学習データにおける各対象の個数、移動速度、スケールは既知である。なお、この時点において学習データ対応CHLACデータをクリアしておく。 Details of the processing will be described below. FIG. 7 is a flowchart showing the contents of the target number detection process (learning mode) according to the present invention. In S10, unprocessed learning data is selected. The learning data is for two types of subjects, for example, “person walking to the right” and “person walking to the left”, each with a different speed of movement (normal, fast, running) and scale (large (near), medium , Small (far)) moving image data. Any number of two types of objects may be mixed. Note that the number of objects, the moving speed, and the scale in the learning data are known. At this time, the learning data correspondence CHLAC data is cleared.
Ｓ１１においては、フレームデータを入力（メモリに読み込む）する。このときの画像データは例えば２５６階調のグレイスケールデータである。Ｓ１２においては、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。 In S11, frame data is input (read into a memory). The image data at this time is, for example, 256 gray scale data. In S12, "motion" information is detected for the moving image data, and difference data is generated for the purpose of removing stationary objects such as the background.
差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎にＲＧＢのカラーデータを持っている場合には、２つの画素の差分データとして、２つのＲＧＢカラーベクトル間の距離を算出してもよい。 As a method of taking the difference, an inter-frame difference method that extracts a change in luminance of a pixel at the same position between adjacent frames is adopted, but an edge difference that extracts a luminance change portion in a frame or both are adopted. May be. If each pixel has RGB color data, the distance between the two RGB color vectors may be calculated as difference data between the two pixels.
更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による２値化を行う。なお、２値化の方法としては、例えば一定閾値、下記非特許文献１に開示されている判別最小二乗自動閾値法、閾値０及びノイズ処理方式（濃淡画像において差が０以外を全て動き有り＝１とし、公知のノイズ除去法によってノイズを除去する方法）等を採用可能である。
Further, binarization is performed by automatic threshold selection to remove color information and noise unrelated to “movement”. As a binarization method, for example, a fixed threshold value, a discriminative least square automatic threshold value method disclosed in
判別最小二乗自動閾値法では対象が全く存在しないシーンではノイズを検出してしまうので、二値化を行う輝度差分値の閾値が所定の下限値より小さい場合には、下限値を閾値とする。以上の前処理により入力動画データは画素値に「動いた（１）」「動かない（０）」の論理値をもつフレームデータ（ｃ）の列となる。
Ｓ１３においては、１フレームの画素それぞれについて２５１次元特徴データである画素CHLACデータを抽出し、１フレーム分加算してフレーム対応CHLACデータを得る。
ここで、立体高次局所自己相関(CHLAC)特徴について説明する。Ｎ次自己相関関数は次の数式１のように表せる。
In S13, pixel CHLAC data which is 251 dimensional feature data is extracted for each pixel of one frame, and is added by one frame to obtain frame-corresponding CHLAC data.
Here, the three-dimensional higher order local autocorrelation (CHLAC) feature will be described. The Nth-order autocorrelation function can be expressed as the following
ここで、ｆは画素値（差分値）であり、参照点（注目画素）ｒおよび参照点からみたＮ個の変位ａi（ｉ＝１，…，Ｎ）は差分２値化フレーム内の二次元座標および時間も成分として持つ三次元のベクトルである。 Here, f is a pixel value (difference value), and N displacements a i (i = 1,..., N) viewed from the reference point (target pixel) r and the reference point are two in the difference binarized frame. It is a three-dimensional vector having dimensional coordinates and time as components.
高次自己相関関数は変位方向、次数のとり方により無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。立体高次局所自己相関特徴では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。１組の変位方向に対応する数式１の積分値が特徴量の１つの要素になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量の要素が生成される。
A high-order autocorrelation function can be considered innumerable depending on the direction of displacement and the order of the order, but the high-order local autocorrelation function is limited to a local region. In the three-dimensional high-order local autocorrelation feature, the displacement direction is limited to a 3 × 3 × 3 pixel local area centered on the reference point r, that is, in the vicinity of 26 of the reference point r. The integral value of
特徴量の要素数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。２値画像の場合、画素値１を何回乗算しても１であるので、二乗以上の項は乗数のみが異なる１乗の項と重複するものとして削除する。また数式１の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。数式１右辺の式は参照点（ｆ(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。
The number of elements of the feature quantity, that is, the dimension of the feature vector corresponds to the type of mask pattern. In the case of a binary image, since the
この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの：１個、２個のもの：２６個、３個のもの：２６×２５／２＝３２５個の計３５２個あるが、数式１の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となる。
As a result, the number of types of mask patterns including the center point is 352 with a total number of selected pixels of one: one, two: 26, three: 26 × 25/2 = 325. However, if overlapping patterns are removed by the integration operation (parallel movement: scan) of
なお、画素の値が多値の濃淡画像の場合には、例えば画素値をａとすると、相関値はａ（０次）≠ａ×ａ（１次）≠ａ×ａ×ａ（２次）となり、選択画素が同じでも乗数の異なるものを重複削除できない。従って、多値の場合には、２値の場合より選択画素数が１の場合に２個、選択画素数が２の場合に２６個増加し、マスクパターンの種類は計２７９種類となる。 When the pixel value is a multi-value gray image, for example, when the pixel value is a, the correlation value is a (0th order) ≠ a × a (primary) ≠ a × a × a (secondary). Thus, even if the selected pixels are the same, those having different multipliers cannot be redundantly deleted. Therefore, in the case of multi-value, the number is 2 when the number of selected pixels is 1 and 26 when the number of selected pixels is 2, and the number of mask patterns is 279 in total.
図３は、３次元画素空間における自己相関処理座標を示す説明図である。図３においては、ｔ−１フレーム、ｔフレーム、ｔ＋１フレームの３つの差分フレームのｘｙ平面を並べて図示してある。本発明においては、注目する参照画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。マスクパターンでは注目画素（中心の画素：参照点）は必ず選択される。 FIG. 3 is an explanatory diagram showing autocorrelation processing coordinates in a three-dimensional pixel space. In FIG. 3, the xy planes of three difference frames of t−1 frame, t frame, and t + 1 frame are shown side by side. In the present invention, a correlation is obtained for pixels inside a cube of 3 × 3 × 3 (= 27) pixels centered on the reference pixel of interest. The mask pattern is information indicating a combination of pixels to be correlated, and data of pixels selected by the mask pattern is used for calculation of correlation values, but pixels not selected by the mask pattern are ignored. In the mask pattern, the target pixel (center pixel: reference point) is always selected.
図４は、自己相関マスクパターンの例を示す説明図である。図４（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次マスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている３次マスクパターン例であり、この他に多数のパターンがある。そして、前記したように、重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、３×３×３画素の３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となり、要素の値は０か１である。 FIG. 4 is an explanatory diagram showing an example of an autocorrelation mask pattern. FIG. 4A shows the simplest 0th-order mask pattern of only the target pixel. (2) is a primary mask pattern example in which two hatched pixels are selected, (3) and (4) are tertiary mask pattern examples in which three hatched pixels are selected, There are many other patterns. As described above, the number of types of mask patterns is 251 except for overlapping patterns. That is, the three-dimensional high-order local autocorrelation feature vector for 3 × 3 × 3 pixel three-dimensional data has 251 dimensions, and the element value is 0 or 1.
図７に戻って、Ｓ１４においては、フレーム対応CHLACデータを学習データ対応CHLACデータに要素毎に加算する。Ｓ１５においては、学習データの全フレームの処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１３に移行するが、肯定の場合にはＳ１６に移行する。Ｓ１６においては、学習データ対応CHLACデータを保存する。Ｓ１７においては、学習データ全て処理完了か否かが判定され、判定結果が否定の場合にはＳ１０に移行するが、肯定の場合にはＳ１８に移行する。 Returning to FIG. 7, in S14, the frame-corresponding CHLAC data is added to the learning data-corresponding CHLAC data for each element. In S15, it is determined whether or not the processing of all frames of the learning data has been completed. If the determination result is negative, the process proceeds to S13, but if the determination is affirmative, the process proceeds to S16. In S16, CHLAC data corresponding to learning data is stored. In S17, it is determined whether or not the processing of all the learning data is completed. If the determination result is negative, the process proceeds to S10, but if the determination is affirmative, the process proceeds to S18.
Ｓ１８においては、既知の因子の個数データに基づいて、因子分析を行って因子行列を求める。ここで因子分析について説明する。まず実施例における因子とは形状、スケール、移動速度などによって識別される対象物の種別のことである。実施例においては、例えば「右に歩く人」という１つの対象の中の「右に普通速度で歩くスケール大の人」が１つの因子であり、速度やスケールが違えば同じ対象でも別の因子となる。 In S18, factor analysis is performed based on the number data of known factors to obtain a factor matrix. Here, factor analysis will be described. First, the factor in the embodiment is the type of the object identified by the shape, scale, moving speed, and the like. In the embodiment, for example, “a person with a large scale walking to the right at a normal speed” in one object “a person walking to the right” is one factor. It becomes.
そして、例えば画面上に１つの因子のみが存在する学習データより抽出された立体高次局所自己相関特徴ベクトルは因子ベクトルと等価となる。つまり因子ベクトルとは個々の因子に固有な特徴ベクトルである。
ここで立体データとしての動画像がｍ個の因子ベクトルｆj（0≦j≦m-1）の組み合わせから成るとすると、その立体データから得られる立体高次局所自己相関特徴ｚはその加法性および位置不変性により、ｆjの線形結合によって以下のように表現される。
For example, a three-dimensional higher-order local autocorrelation feature vector extracted from learning data in which only one factor exists on the screen is equivalent to the factor vector. That is, the factor vector is a characteristic vector unique to each factor.
Here, if a moving image as stereoscopic data is composed of a combination of m factor vectors f j (0 ≦ j ≦ m−1), the cubic higher-order local autocorrelation feature z obtained from the stereoscopic data is additive. And by position invariance, the linear combination of f j is expressed as:
ここでＦを因子行列、線形結合で表す際の係数ａjを因子付加量、それを並べてベクトル化したａを因子付加量ベクトルと定義する。また、ｅは誤差を表す。因子付加量は因子と対応する対象物の個数を表している。例えばｆ0が人が右に歩く因子だとするとａ0＝２なら動画像中で右に歩いている人が２人いることを示している。従って、因子付加量ベクトルを得ることができれば、どの対象物が画面中にどれだけ存在するかが分かる。そのために、学習によって因子行列を予め獲得し、認識時には因子行列を使用して因子付加量ベクトルを求める。 Here, F is defined as a factor matrix, a coefficient a j when expressed by linear combination is defined as a factor addition amount, and a obtained by arranging the coefficients a and b is defined as a factor addition vector. E represents an error. The factor addition amount represents the number of objects corresponding to the factor. For example, if f 0 is a factor that a person walks to the right, a 0 = 2 indicates that there are two people walking to the right in the moving image. Therefore, if a factor addition vector can be obtained, it can be understood how many objects are present in the screen. For this purpose, a factor matrix is acquired in advance by learning, and a factor addition vector is obtained using the factor matrix during recognition.
学習モードでは因子行列Ｆ=[f0;f1;・・;fm-1]Tを求める。教師信号としては各因子に対応する個数である因子付加量ベクトルａを与える。以下に具体的な学習過程について述べる。学習データとして用いる動画像データの数をＮ、ｉ番目（1≦i≦N）の学習データに対応する立体高次局所自己相関特徴をｚi、因子付加量ベクトルをａi=[ai0;ai1;・・・;ai(m-1)]とする。このとき因子行列Ｆは以下の数式３において誤差ｅを最小にすることにより陽に求めることができる。
In the learning mode, a factor matrix F = [f 0 ; f 1 ;..; F m−1 ] T is obtained. As the teacher signal, a factor addition vector a which is the number corresponding to each factor is given. The specific learning process is described below. The number of moving image data used as learning data is N, the cubic higher-order local autocorrelation feature corresponding to the i-th (1 ≦ i ≦ N) learning data is z i , and the factor addition vector is a i = [a i0 ; a i1 ;... a i (m−1) ]. At this time, the factor matrix F can be obtained explicitly by minimizing the error e in
数式３の平均２乗誤差は以下のようになる。
The mean square error of
ＲaaおよびＲazはそれぞれａiの自己相関行列、ａiとｚiの相互相関行列である。このとき誤差ｅを最小にするＦは以下の数式５を解いて、解は数式６のように線形代数の範囲で陽に求まる。
R aa and R az autocorrelation matrix of each a i, a cross-correlation matrix of a i and z i. At this time, F that minimizes the error e solves
この学習方法による長所は以下に示す３点である。
（１）個々の対象を切り出して教示する必要がない。
（２）画面内にいる対象の個数を教示するだけで認識に必要な因子をシステムが自動的かつ適応的に獲得する。
（３）解は線形代数の範囲で陽に求まるので、解の収束性や局所解への収束を考える必要がなく、計算量が少ない。
The advantages of this learning method are the following three points.
(1) There is no need to cut out and teach individual objects.
(2) The system automatically and adaptively acquires factors necessary for recognition simply by teaching the number of objects in the screen.
(3) Since the solution is obtained explicitly in the range of linear algebra, it is not necessary to consider the convergence of the solution or the convergence to the local solution, and the amount of calculation is small.
図６は、学習モードで生成された因子行列の例を示す説明図である。この例では、対象として「右に歩く人」と「左に歩く人」の２種類を含む因子行列を示している。「右に歩く人」には、移動速度（駆け足、早歩き、普通歩き）やスケール（大、中、小）の異なる９個の因子ベクトルｆ0〜ｆ16（添え字が偶数）が属し、「左に歩く人」にも９個の因子ベクトルｆ1〜ｆ17（添え字が奇数）が属している。図６に示した画像は個々の因子ベクトルと対応する学習データの差分２値画像例である。 FIG. 6 is an explanatory diagram illustrating an example of a factor matrix generated in the learning mode. In this example, a factor matrix including two types of “person walking to the right” and “person walking to the left” is shown as a target. The “person who walks to the right” has nine factor vectors f 0 to f 16 (even subscripts) with different moving speeds (running, fast walking, normal walking) and scales (large, medium, small), Nine factor vectors f 1 to f 17 (subscripts are odd numbers) belong to the “person walking to the left”. The image shown in FIG. 6 is an example of a binary difference image of learning data corresponding to each factor vector.
図８は、本発明による対象個数検出処理（認識モード）の内容を示すフローチャートである。Ｓ２０においては、フレーム入力されるまで待ち、Ｓ２１においては、フレームデータを入力する。Ｓ２２においては、前記したように差分データを生成し、２値化する。Ｓ２３においては、１フレームの画素それぞれについて画素CHLACデータを抽出し、１フレーム分を加算してフレーム対応CHLAC特徴データを得る。Ｓ２１〜Ｓ２３の処理は前記した学習モードにおけるＳ１１〜Ｓ１３と同一である。Ｓ２４においては、フレーム対応CHLACデータを保存する。Ｓ２５においては、直近の所定時間幅のフレーム対応CHLACデータを加算してCHLAC特徴データを得る。 FIG. 8 is a flowchart showing the contents of the target number detection process (recognition mode) according to the present invention. In S20, the process waits until a frame is input. In S21, frame data is input. In S22, difference data is generated and binarized as described above. In S23, pixel CHLAC data is extracted for each pixel of one frame, and one frame is added to obtain frame-corresponding CHLAC feature data. The processes of S21 to S23 are the same as S11 to S13 in the learning mode described above. In S24, the frame-corresponding CHLAC data is stored. In S25, CHLAC feature data is obtained by adding the frame-corresponding CHLAC data of the latest predetermined time width.
図５は、本発明による動画像の実時間処理の内容を示す説明図である。Ｓ２４において得られるCHLAC特徴データはフレームのシーケンスとなっている。そこで時間方向に一定幅の時間窓を設定し、窓内のフレーム集合を１つの３次元データとする。そして、新たなフレームが入力される度に時間窓を移動させ、古いフレームを削除することで有限な３次元データが得られる。この時間窓の長さは、認識しようとする動作の１周期と等しいか、より長く設定することが望ましい。 FIG. 5 is an explanatory diagram showing the contents of real-time processing of a moving image according to the present invention. The CHLAC feature data obtained in S24 is a frame sequence. Therefore, a time window having a certain width is set in the time direction, and a frame set in the window is set as one three-dimensional data. Each time a new frame is input, the time window is moved, and the old frame is deleted to obtain finite three-dimensional data. The length of this time window is desirably set equal to or longer than one cycle of the operation to be recognized.
なお、実際には画像フレームデータは差分を取るために１フレームのみ保存され、フレームと対応するフレーム対応CHLACデータが時間窓分だけ保存される。即ち、時刻ｔに新たなフレームが入力された時点では、直前の時間窓（t-1，t-n-1）に対応するフレーム対応CHLACデータはすでに算出されている。但し、フレームCHLACデータを計算するためには直近の３つの差分フレームが必要であるが、（t-1）フレームは端なのでフレームCHLACデータは（t-2）フレームに対応するものまで算出されている。 Actually, only one frame is stored in order to obtain a difference in image frame data, and frame-corresponding CHLAC data corresponding to the frame is stored for a time window. That is, when a new frame is input at time t, the frame-corresponding CHLAC data corresponding to the immediately preceding time window (t−1, t−n−1) has already been calculated. However, in order to calculate the frame CHLAC data, the last three difference frames are necessary, but since the (t-1) frame is the end, the frame CHLAC data is calculated up to the one corresponding to the (t-2) frame. Yes.
そこで、新たに入力されたｔフレームを用いて（t-1）フレームに対応するフレーム対応CHLACデータを生成してCHLAC特徴データに加算する。また、最も古い（t-n-1）フレームと対応するフレーム対応CHLACデータをCHLAC特徴データから減算する。このような処理により、時間窓と対応するCHLAC特徴データが更新される。 Therefore, using the newly input t frame, frame-corresponding CHLAC data corresponding to the (t−1) frame is generated and added to the CHLAC feature data. In addition, the CHLAC data corresponding to the oldest (t-n-1) frame is subtracted from the CHLAC feature data. Through such processing, the CHLAC feature data corresponding to the time window is updated.
図８に戻って、Ｓ２６においては、学習によって得られた既知の因子行列に基づき、各因子ベクトルの因子付加量（係数）ａを求める。認識したい動画像から得られた立体高次局所自己相関特徴ｚがあるとき、数式３のようにｚは学習によって得られた因子ベクトルｆの線形結合として表されるはずである。従って、このとき誤差ｅを最小にするような係数のベクトルである因子付加量ベクトルａを求める。
Returning to FIG. 8, in S26, a factor addition amount (coefficient) a of each factor vector is obtained based on a known factor matrix obtained by learning. When there is a three-dimensional higher-order local autocorrelation feature z obtained from a moving image to be recognized, z should be expressed as a linear combination of factor vectors f obtained by learning, as shown in
以下に数式３における誤差ｅを最小とする因子付加量ａを求める具体的な過程について説明する。最小２乗誤差は、以下の数式７のようになる。
A specific process for obtaining the factor addition amount a that minimizes the error e in
これを最小とする係数ａは、以下の数式８を解いて、数式９のように陽に求まる。
The coefficient a that minimizes this is obtained explicitly by solving
このようにして求まる因子付加量ａは整数とはならず、小数点未満を含む実数となる。Ｓ２７においては、同じ対象に属する複数の因子の係数の合計を求める。即ち、例えば図６に示す「右に移動する人」に属する９個の因子（f0,f2,f4…f16）の係数の合計を求める。
Ｓ２８においては、係数の合計の小数点未満を四捨五入して整数化し、各対象毎の個数として出力する。Ｓ２９においては、処理終了か否かが判定され、判定結果が否定の場合にはＳ２０に移行するが、肯定の場合には処理を終了する。
The factor addition amount a obtained in this way is not an integer, but a real number including less than a decimal point. In S27, the sum of the coefficients of a plurality of factors belonging to the same object is obtained. That is, for example, the sum of the coefficients of nine factors (f 0 , f 2 , f 4 ... F 16 ) belonging to the “person moving to the right” shown in FIG.
In S28, the fraction of the total of the coefficients is rounded off to an integer and output as the number for each object. In S29, it is determined whether or not the process is ended. If the determination result is negative, the process proceeds to S20, but if the determination is affirmative, the process ends.
従来のCHLACデータによる個数認識においては、単純に各因子の係数である因子付加量を四捨五入してそれを個数の認識結果としていた。しかし、それではスケールや速度の違う因子が存在するような場合に個数の認識がうまくいかなかった。そこで本発明者が各種の実験を行った結果、１つの対象について、画面内のスケールや歩く速度の違いによって因子を分けて設け、更に、同じ対象に属する因子の因子付加量を足し合わせてから四捨五入するという方式を用いることでスピードや速度の違いに頑健な認識ができることが判明した。 In the conventional number recognition using CHLAC data, the factor addition amount, which is the coefficient of each factor, is simply rounded off and used as the number recognition result. However, it did not recognize the number when there were factors with different scales and speeds. Therefore, as a result of various experiments conducted by the present inventor, for one object, the factors are divided according to the difference in scale and walking speed in the screen, and the factor addition amount of the factors belonging to the same object is added. It was found that using the method of rounding off makes it possible to recognize robustly the difference in speed and speed.
図９は、Ｓ１３の画素CHLACデータ抽出処理の内容を示すフローチャートである。Ｓ３０においては、２５１個の相関パターン対応の相関値群データをクリアする。Ｓ３１においては、未処理の画素（参照点）を１つ選択する（フレーム内で参照点である注目画素を順にスキャンする）。Ｓ３２においては、未処理の相関マスクパターンを１つ選択する。 FIG. 9 is a flowchart showing the contents of the pixel CHLAC data extraction process in S13. In S30, the correlation value group data corresponding to 251 correlation patterns is cleared. In S31, one unprocessed pixel (reference point) is selected (a pixel of interest that is a reference point in the frame is sequentially scanned). In S32, one unprocessed correlation mask pattern is selected.
Ｓ３３においては、前記した数式１を用いてパターンと対応する位置の差分値（０または１）を乗算して相関値を計算する。なお、この処理は前記した数式１におけるf(r)f(r+a1)…f(r+aN)の演算に相当する。
Ｓ３４においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ３５に移行するが、否定の場合にはＳ３６に移行する。Ｓ３５においては、マスクパターンと対応する相関値データに１を加算する。Ｓ３６においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ３７に移行するが、否定の場合にはＳ３２に移行する。
In S33, the correlation value is calculated by multiplying the difference value (0 or 1) of the position corresponding to the pattern by using the above-described
In S34, it is determined whether or not the correlation value is 1. If the determination result is affirmative, the process proceeds to S35, but if not, the process proceeds to S36. In S35, 1 is added to the correlation value data corresponding to the mask pattern. In S36, it is determined whether or not processing has been completed for all mask patterns. If the determination result is affirmative, the process proceeds to S37, but if not, the process proceeds to S32.
Ｓ３７においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ３８に移行するが、否定の場合にはＳ３１に移行する。Ｓ３８においては、１フレーム分が加算された相関値群データをフレーム対応CHLACデータとして出力する。 In S37, it is determined whether or not the processing has been completed for all pixels. If the determination result is affirmative, the process proceeds to S38, but if not, the process proceeds to S31. In S38, the correlation value group data with one frame added is output as frame-corresponding CHLAC data.
実施例１の因子分析では、求めたい計測結果を得るため、学習時に個々の移動物体の種類や動き、スケール等に固有の因子ベクトルを求め、認識時に各因子ベクトルの係数の和の形で対象の個数を求めた。この際、スケールやスピードの違いに応じた因子を用意し、それらの係数を加算してから四捨五入することで対象のスケールやスピードの変化に頑健な認識を行うことができた。この手法は、各因子に対応する特徴ベクトルを求めているため、それらを利用した手法、例えば交通量計測や異常検出には有用である。 In the factor analysis of the first embodiment, in order to obtain a measurement result to be obtained, a factor vector specific to the type, movement, scale, etc. of each moving object is obtained during learning, and the target is in the form of the sum of coefficients of each factor vector during recognition. The number of was determined. At this time, factors corresponding to the difference in scale and speed were prepared, and those coefficients were added and then rounded off, so that robust recognition of changes in the target scale and speed could be achieved. Since this method obtains a feature vector corresponding to each factor, it is useful for methods using them, for example, traffic volume measurement and abnormality detection.
しかし、実験の結果、単純に個数のみを知りたい場合には、因子分析に比べてより直接的な手法である重回帰分析を用いることにより、高速かつロバストに個数の計測が可能であることが判明した。
重回帰分析を用いて、スケールやスピードに対して頑健な認識を行うためには、因子分析の場合と同様に様々なスケールやスピードの対象を含んだ学習データを用いて学習を行う。ただし、学習データに対する教師信号については因子分析とは異なる与え方をする。
However, as a result of experiments, if you want to know only the number, it is possible to measure the number rapidly and robustly by using multiple regression analysis, which is a more direct method than factor analysis. found.
In order to perform robust recognition with respect to scale and speed using multiple regression analysis, learning is performed using learning data including targets of various scales and speeds as in the case of factor analysis. However, the teacher signal for the learning data is given differently from the factor analysis.
因子分析ではスケールやスピードの違いも含めた教師信号を用い、認識時に検出対象の係数を足し合わせることを行うが、重回帰分析では予め教師信号の段階で足し合わせたものを用いる。すなわちスケールやスピードの違いを無視した教師信号を用いる。 In factor analysis, teacher signals including differences in scale and speed are used and the coefficients to be detected are added at the time of recognition. In multiple regression analysis, the signals added in advance at the stage of the teacher signal are used. That is, a teacher signal that ignores differences in scale and speed is used.
例えば、「右に歩く人」としてスケール大中小が含まれるデータがあった場合、因子分析ではそれらを分けて「右に歩くスケール大の人」が１人というように教師信号を与えるが、重回帰分析ではスケールやスピードの違いを無視して単純に「右に歩く人」の個数を与える。認識時においては加算を行う必要はなく、スケールやスピードの違いに頑健に人数を計測することが可能である。以下、具体的な内容について説明する。 For example, if there is data that includes large, medium, and small scales as "person walking to the right", the factor analysis divides them and gives a teacher signal so that "one person with large scale walking to the right" is one person. Regression analysis simply gives the number of people walking to the right, ignoring differences in scale and speed. At the time of recognition, it is not necessary to perform addition, and it is possible to measure the number of people robustly due to differences in scale and speed. Hereinafter, specific contents will be described.
実施例２において用いる重回帰分析とは、ある特徴量ｚiが得られる際の望ましい計測結果をａiとしたとき、出力ｙi=ＢTｚiとａiの最小２乗誤差を最も小さくするような係数行列Ｂを決定する手法である。この場合、最適な係数行列は一意に求まり、得られた最適な係数行列Ｂを用いることにより、システムは新たな入力特徴ベクトルに対する計測値（個数）を高速に算出することができる。以下に詳しい算出方法を説明する。 The multiple regression analysis used in Example 2, when the desired measurement result when a feature quantity z i obtained was a i, the smallest least squares error of the output y i = B T z i and a i This is a method for determining such a coefficient matrix B. In this case, the optimum coefficient matrix is uniquely obtained, and by using the obtained optimum coefficient matrix B, the system can calculate the measurement value (number) for the new input feature vector at high speed. A detailed calculation method will be described below.
＜＜学習フェーズ＞＞
学習データとして用いる立体データの数、すなわち学習データ数をＮ、ｉ番目（１≦ｉ≦Ｎ）の立体データに対応する立体高次局所自己相関特徴をｚi、教師信号をａi＝［ａi0,ａi1,・・・,ａi(m-1)］Tとする。教師信号は学習データがスケールやスピードが様々な「右に歩く人」と「左に歩く人」がいるデータであっても、スケールやスピードの違いを無視し、ａ＝(右に歩く人の数、左に歩く人の数)Tとする。教師信号ａiと出力ｙi=ＢTｚiの平均２乗誤差は以下のようになる。
<< Learning Phase >>
The number of three-dimensional data used as learning data, that is, the number of learning data is N, the three-dimensional higher-order local autocorrelation feature corresponding to the i-th (1 ≦ i ≦ N) three-dimensional data is z i , and the teacher signal is a i = [a i 0 , a i1 ,..., a i (m−1) ] T. The teacher signal ignores the difference in scale and speed, even if the learning data is data that has "people walking to the right" and "people walking to the left" with various scales and speeds. number, and number) T of the person walking to the left. The mean square error between the teacher signal a i and the output y i = B T z i is as follows.
ＲzzおよびＲzaはそれぞれ、ｚiの自己相関行列およびｚiとａiの相互相関行列である。このとき、平均２乗誤差を最小にするＢは下記の数式１１を解いて、数式１２に示すように線形代数の範囲で陽に求まる。
R zz and R za are each a cross-correlation matrix of the autocorrelation matrix and z i and a i of z i. At this time, B, which minimizes the mean square error, is obtained explicitly in the range of linear algebra as shown in
＜＜認識フェーズ＞＞
認識においては、得られた特徴ベクトルに対し学習フェーズで得られた係数行列Ｂを以下のように掛け合わせることで直接的に対象の個数を得ることができる。
<< Recognition phase >>
In recognition, the number of objects can be directly obtained by multiplying the obtained feature vector by the coefficient matrix B obtained in the learning phase as follows.
重回帰分析を用いた場合、各因子ベクトルを直接的に得ていないため、各因子ベクトルのなす部分空間との距離を用いることによる異常検出や、交通量計測の際に必要となる付加的な情報などは得られない。従って、対象や状況により、実施例１と実施例２の手法を使い分ける必要がある。また、２つの手法を組み合わせて使用することにより、処理速度の向上と認識精度の向上の両立を図ることも可能である。 When multiple regression analysis is used, each factor vector is not obtained directly, so additional detections are required for anomaly detection using the distance from the subspace formed by each factor vector and traffic measurement. Information is not available. Therefore, it is necessary to use the methods of the first embodiment and the second embodiment depending on the object and the situation. Further, by combining the two methods, it is possible to improve both the processing speed and the recognition accuracy.
以上、実施例を説明したが、本発明は、例えば画面内を通過した車や人の数を計測する交通量計測システムに適用可能である。実施例のシステムにおいては、画面内の対象の個数がリアルタイムに出力されるが、例えば１時間当たりの通過個数は実施例のシステムから直接得ることはできない。そこで、単位時間当たりの対象の通過個数は、本発明のシステムから出力される個数情報を時間積分し、この積分値を対象の平均移動速度等から求めた画面を通過する平均時間で除算することによって算出できる。対象が画面を通過する平均時間は、本発明のシステムから出力される個数情報の変動からも推定可能である。 As mentioned above, although the Example was described, this invention is applicable to the traffic measurement system which measures the number of the vehicles and the person who passed the inside of a screen, for example. In the system of the embodiment, the number of objects in the screen is output in real time. For example, the passing number per hour cannot be obtained directly from the system of the embodiment. Therefore, the number of passing objects per unit time is obtained by time integrating the number information output from the system of the present invention, and dividing this integrated value by the average time passing through the screen determined from the average moving speed of the object. Can be calculated. The average time for the object to pass through the screen can also be estimated from the variation in the number information output from the system of the present invention.
また、本発明には以下のような変形例も考えられる。実施例においては、１つの対象についてスケールや移動速度などが異なる複数の因子ベクトルを全て学習データから因子分析によって生成する例を開示したが、例えばスケール大と対応する因子ベクトルとスケール小に対応する因子ベクトルからスケール中と対応する因子ベクトルを計算によって生成するなど、因子ベクトルを他の因子ベクトルから内挿補間演算あるいは外挿補間演算により求めてもよい。 Also, the present invention can be modified as follows. In the embodiment, an example in which a plurality of factor vectors having different scales, moving speeds, and the like for one target are all generated from learning data by factor analysis has been disclosed. For example, a factor vector corresponding to a large scale and a small scale are supported. The factor vector may be obtained from other factor vectors by interpolation or extrapolation, such as by generating a factor vector corresponding to the scale from the factor vector.
実施例においては、対象画像のスケールや速度について各種の学習用データを用いる例を開示したが、対象の移動方向についても、スケールや速度と同様にロバストな個数計測が可能である。例えば、因子分析を用いたロバストな個数計測の応用例として、様々な方向に歩く人を上方から撮影し、任意の方向に移動する人の合計数を計測することが可能である。 In the embodiment, an example in which various learning data is used for the scale and speed of the target image is disclosed. However, the number of the movements of the target can be as robust as the scale and speed. For example, as an application example of robust counting using factor analysis, it is possible to photograph a person walking in various directions from above and measure the total number of persons moving in any direction.
人が歩く方向の因子としては、例えば上下、左右、斜め右上(下)、斜め左上(下) の８方向を採用する。そして８方向の因子を学習する。認識時には、学習した因子行列を用いて各因子付加量を求め、スケールやスピードの場合と同様にそれらの因子付加量を加算し、四捨五入することにより歩行者の数とする。なお、用意する方向としては、用途に応じて増減が可能である。また、重回帰分析を用いる場合には方向性を無視して単に歩行者の数のみを教師信号とすればよい。 As factors for the direction in which a person walks, for example, eight directions of up and down, left and right, diagonally upper right (lower) and diagonally upper left (lower) are adopted. And it learns factors in 8 directions. At the time of recognition, each factor addition amount is obtained using the learned factor matrix, and the factor addition amount is added as in the case of scale and speed, and rounded off to obtain the number of pedestrians. In addition, as a direction to prepare, it can increase / decrease according to a use. When using multiple regression analysis, the directionality is ignored and only the number of pedestrians is used as a teacher signal.
以上の方法により、様々な方向に動く対象を扱う場合においてもロバストに個数の計測ができる。実用的なアプリケーションとしては(スクランブル)交差点などを上方から撮影したカメラによる歩行者や車両の個数計測、動いている生物や粒子の個数計測、特に顕微鏡などを用いた微細生物、粒子等の個数計測。静止しているものと動いているものの個数比較、動きの傾向分析などが考えられる。 By the above method, the number of objects can be measured robustly even when an object moving in various directions is handled. Practical applications include (scramble) counting the number of pedestrians and vehicles using a camera that has been photographed from the top, etc., counting the number of moving organisms and particles, especially the number of fine organisms and particles using a microscope. . It is possible to compare the number of objects that are stationary and those that are moving, and to analyze movement trends.
１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス
DESCRIPTION OF
Claims (2)
直近の複数の前記フレーム間差分２値化データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
画面上の対象の移動方向が異なる複数の学習データから得られた前記特徴データに基づいて重回帰分析によって検出対象の個数を算出するための係数行列を生成するものであって、前記重回帰分析においては、前記対象の移動方向が異なる複数の学習データの教師信号として、前記対象の移動方向の違いを無視し、対象の個数を足し合わせた数値を用いる学習手段と、
予め得られた前記係数行列を使用して、認識すべきデータから得られた特徴データから個数を求める個数生成手段と、
前記個数生成手段の出力値の小数点未満を四捨五入して整数化する整数化手段と
を備えたことを特徴とする対象個数検出装置。 Differential binary data generation means for generating inter-frame difference data from moving image data composed of a plurality of image frame data obtained by photographing a detection target, and binarizing the difference data;
Feature data extraction means for extracting feature data by three-dimensional higher-order local autocorrelation from three-dimensional data composed of a plurality of latest inter-frame difference binarization data;
Generating a coefficient matrix for calculating the number of detection targets by multiple regression analysis based on the feature data obtained from a plurality of learning data having different moving directions of objects on the screen, the multiple regression analysis In the learning means using a learning value of a plurality of learning data different in the movement direction of the object, ignoring the difference in the movement direction of the object, and using a numerical value obtained by adding the number of objects,
Using the coefficient matrix obtained in advance, a number generating means for obtaining the number from the feature data obtained from the data to be recognized,
An object number detecting apparatus comprising: an integerizing means for rounding off an output value of the number generating means to an integer.
コンピュータが、直近の複数の前記２値化されたフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出するステップ、
コンピュータが、画面上の対象の移動方向が異なる複数の学習データから得られた前記特徴データに基づいて重回帰分析によって検出対象の個数を算出するための係数行列を生成するものであって、前記重回帰分析においては、前記対象の移動方向が異なる複数の学習データの教師信号として、前記対象の移動方向の違いを無視し、対象の個数を足し合わせた数値を用いるステップ、
コンピュータが、前記係数行列を使用して、認識すべきデータから得られた特徴データから個数値を求めるステップ、
コンピュータが、前記個数値の小数点未満を四捨五入して整数化するステップ
を含むことを特徴とする対象個数検出方法。 A step in which a computer generates inter-frame difference data from moving image data composed of a plurality of image frame data obtained by photographing a detection target, and binarizes the data;
A computer extracting feature data by means of three-dimensional higher-order local autocorrelation from three-dimensional data consisting of a plurality of the binarized inter-frame difference data,
The computer generates a coefficient matrix for calculating the number of detection targets by multiple regression analysis based on the feature data obtained from a plurality of learning data with different moving directions of the objects on the screen, In multiple regression analysis, as a teacher signal of a plurality of learning data different in the movement direction of the target, ignoring the difference in the movement direction of the target, using a numerical value obtained by adding the number of objects,
A computer using the coefficient matrix to determine a number value from feature data obtained from the data to be recognized;
The computer includes a step of rounding off the decimal value of the number value to an integer, and the target number detection method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010294428A JP4918615B2 (en) | 2010-12-29 | 2010-12-29 | Object number detection device and object number detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010294428A JP4918615B2 (en) | 2010-12-29 | 2010-12-29 | Object number detection device and object number detection method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009141781A Division JP4674920B2 (en) | 2009-06-15 | 2009-06-15 | Object number detection device and object number detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011090708A true JP2011090708A (en) | 2011-05-06 |
| JP4918615B2 JP4918615B2 (en) | 2012-04-18 |
Family
ID=44108840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010294428A Active JP4918615B2 (en) | 2010-12-29 | 2010-12-29 | Object number detection device and object number detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4918615B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014415A (en) * | 2007-07-02 | 2009-01-22 | National Institute Of Advanced Industrial & Technology | Object recognition device and method |
| JP2016206836A (en) * | 2015-04-20 | 2016-12-08 | 国立大学法人 東京大学 | Feature amount generation unit, collation device, feature amount generation method, and feature amount generation program |
| JP2017049178A (en) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | Travel speed estimation device, method, and program |
| US11189015B2 (en) | 2018-05-30 | 2021-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring feature data from low-bit image |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02101586A (en) * | 1988-10-11 | 1990-04-13 | Agency Of Ind Science & Technol | Adaptive learning type general purpose picture measuring system |
| JP2005092346A (en) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | Characteristic extraction method from three-dimensional data and device |
-
2010
- 2010-12-29 JP JP2010294428A patent/JP4918615B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02101586A (en) * | 1988-10-11 | 1990-04-13 | Agency Of Ind Science & Technol | Adaptive learning type general purpose picture measuring system |
| JP2005092346A (en) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | Characteristic extraction method from three-dimensional data and device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009014415A (en) * | 2007-07-02 | 2009-01-22 | National Institute Of Advanced Industrial & Technology | Object recognition device and method |
| JP2016206836A (en) * | 2015-04-20 | 2016-12-08 | 国立大学法人 東京大学 | Feature amount generation unit, collation device, feature amount generation method, and feature amount generation program |
| JP2017049178A (en) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | Travel speed estimation device, method, and program |
| US11189015B2 (en) | 2018-05-30 | 2021-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring feature data from low-bit image |
| US11636575B2 (en) | 2018-05-30 | 2023-04-25 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring feature data from low-bit image |
| US11893497B2 (en) | 2018-05-30 | 2024-02-06 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring feature data from low-bit image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4918615B2 (en) | 2012-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4429298B2 (en) | Object number detection device and object number detection method | |
| Hu et al. | Moving object detection and tracking from video captured by moving camera | |
| EP2858008B1 (en) | Target detecting method and system | |
| JP4215781B2 (en) | Abnormal operation detection device and abnormal operation detection method | |
| CN109598794B (en) | Construction method of three-dimensional GIS dynamic model | |
| CN109727275B (en) | Object detection method, device, system and computer readable storage medium | |
| CN103093198A (en) | Crowd density monitoring method and device | |
| US11030478B1 (en) | System and method for correspondence map determination | |
| CN111382637A (en) | Pedestrian detection tracking method, device, terminal equipment and medium | |
| JP4918615B2 (en) | Object number detection device and object number detection method | |
| CN111028263B (en) | Moving object segmentation method and system based on optical flow color clustering | |
| JP4674920B2 (en) | Object number detection device and object number detection method | |
| Bharath et al. | Moving object detection, classification and its parametric evaluation | |
| JP2007156897A (en) | Speed-measuring apparatus, method, and program | |
| JP2008276613A (en) | Mobile body determination device, computer program and mobile body determination method | |
| KR20140045834A (en) | Method and apparatus for monitoring video for estimating size of single object | |
| JP6127958B2 (en) | Information processing apparatus, information processing method, and program | |
| Balcilar et al. | Extracting vehicle density from background estimation using Kalman filter | |
| KR102150661B1 (en) | Method and Apparatus for Preprocessing Image for Detecting Objects | |
| JP2009076094A (en) | Moving object monitoring device | |
| JP2010113562A (en) | Apparatus, method and program for detecting and tracking object | |
| JP6606340B2 (en) | Image detection apparatus, image detection method, and program | |
| JP2006010652A (en) | Object-detecting device | |
| Tupper et al. | Pedestrian proximity detection using RGB-D data | |
| KR101357581B1 (en) | A Method of Detecting Human Skin Region Utilizing Depth Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4918615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |