JP2008140267A - Motion recognition apparatus and method for processing motion recognition - Google Patents
Motion recognition apparatus and method for processing motion recognition Download PDFInfo
- Publication number
- JP2008140267A JP2008140267A JP2006327395A JP2006327395A JP2008140267A JP 2008140267 A JP2008140267 A JP 2008140267A JP 2006327395 A JP2006327395 A JP 2006327395A JP 2006327395 A JP2006327395 A JP 2006327395A JP 2008140267 A JP2008140267 A JP 2008140267A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- motion recognition
- motion
- order local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、動画像データに対してデータ処理を行い、動作認識を行う動作認識装置および動作認識処理方法に関するものであり、特に、観察対象空間から取り出した動画像データをモーションヒストリーイメージ(Motion History Image:MHI)データに変換し、このMHIデータの高次局所自己相関特徴を用いて動作認識を行う動作認識処理装置および動作認識処理方法に関するものである。 The present invention relates to a motion recognition device and a motion recognition processing method for performing motion recognition on motion image data and performing motion recognition. In particular, the present invention relates to motion history data (Motion History image) extracted from motion observation space. The present invention relates to a motion recognition processing apparatus and a motion recognition processing method for converting motion data into image (MHI) data and performing motion recognition using higher-order local autocorrelation features of the MHI data.
近年、犯罪等の増加により映像監視に関する研究が盛んとなっている。特に汎用的で高速、高精度な対象と動きの特徴抽出手法として立体高次局所自己相関特徴(Cubic Higher order Local Auto Correlation:CHLAC)が報告されており、非常に高い識別率を得る事が出来ている(非特許文献1,非特許文献2)。
In recent years, research on video surveillance has become active due to an increase in crimes. In particular, cubic high-order local autocorrelation (CHLAC) has been reported as a general-purpose, high-speed, high-accuracy target and motion feature extraction method, and a very high identification rate can be obtained. (Non-Patent
また、非特許文献3に記載のように、動きに関する情報を持つ画像であるPARCOR 画像を形成し、この画像より高次局所自己相関特徴(Higher order Local Auto Correlation:HLAC)を抽出し、ジェスチャー認識に利用する手法も報告されている。
Further, as described in Non-Patent
また、動画像データを扱う場合には、1つの方法としてMHIデータが用いられる。MHIデータ処理においては、動画像から動きのある部分を抽出し、履歴を含んだ形で画像化される。フレーム間差分を取って輝度値変化が見られた部分には常に最大明度を割り振り、その後、輝度値が変化しない場合は逐次明度を減少させていく。MHIデータは一般に下式で作成される(非特許文献4)。
非特許文献5に記載されているように、高次局所自己相関特徴(HLACデータ)は定常時系列データの有効な特徴の一つである自己相関特徴を画像認識および計測等に有効な画像特徴として拡張したものであり、次の式で表現される。
例えば、図3に示すように、濃淡画像に対するHLACの局所パターンは3×3画素の領域における3箇所までの輝度値の積となり、平行移動による等価な特徴を除き、かつ重複した領域の選択を許す35通りとなる。 For example, as shown in FIG. 3, the local pattern of HLAC for a grayscale image is a product of luminance values of up to three locations in a 3 × 3 pixel region, excluding equivalent features due to parallel movement, and selecting overlapping regions. There are 35 ways to forgive.
また、特許文献1および特許文献2には、本発明者等が提案した2次元画像に対する高次局所自己相関特徴(HLACデータ)を用いた学習適応型画像認識・計測方法の技術が開示されている。
立体高次局所自己相関特徴とは、2次元画像を時系列に並べたボクセルデータ(3次元データ)に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボクセルデータ全体にわたって積分することにより得られる統計的特徴量であり、動作特徴であるといえる。
特許文献1および特許文献2において提案されている高次局所自己相関特徴を利用した適応的画像認識・計測手法においては、高次局所自己相関特徴(HLACデータ)の計算を、画像中のすべての場所で局所領域の画素の輝度値の積を計算し、それらを均一な重みで足し合わせるようにして行う。
In the adaptive image recognition / measurement technique using higher-order local autocorrelation features proposed in
高次局所自己相関特徴を利用する場合には、その特徴と適応的な学習を組み合わせることにより、画像中の対象の認識や計測が可能となる。しかし、この高次局所自己相関特徴を直接に用いて、動画像処理を行うことはできないという問題がある。 When a higher-order local autocorrelation feature is used, recognition and measurement of an object in an image can be performed by combining the feature and adaptive learning. However, there is a problem that moving image processing cannot be performed by directly using this higher-order local autocorrelation feature.
本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、動画像データに対して高次局所自己相関特徴によるデータ処理を行い、低計算量、高識別率での動作認識を可能とする動作認識装置および動作認識処理方法に提供することにある。 The present invention has been made in order to solve the above-described problems, and an object of the present invention is to perform data processing based on higher-order local autocorrelation features on moving image data, thereby reducing the amount of calculation and high discrimination. It is intended to provide a motion recognition device and a motion recognition processing method that enable motion recognition at a rate.
上記のような目的を達成するため、本発明の動作認識装置および動作認識処理方法においては、動画像データに対して高次局所自己相関特徴によるデータ処理を行うため、観察対象空間から取り出した動画像データを、モーションヒストリーイメージ(Motion History Image:MHI)データに変換し、MHIデータに対して高次局所自己相関特徴を演算して抽出し、抽出された特徴を用いて動作認識を行う。 In order to achieve the above object, in the motion recognition apparatus and motion recognition processing method of the present invention, a moving image extracted from the observation target space is used to perform data processing based on higher-order local autocorrelation features on moving image data. Image data is converted into motion history image (Motion History Image: MHI) data, high-order local autocorrelation features are calculated and extracted from the MHI data, and motion recognition is performed using the extracted features.
具体的に、本発明は、第1の態様として、本発明による動作認識装置は、動画像データをモーションヒストリーイメージデータに変換するデータ変換手段と、濃淡画像データに対する高次局所自己相関特徴の局所パターンを格納する局所パターン格納手段と、前記高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する特徴抽出手段と、前記高次局所自己相関特徴抽出手段により抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする処理手段と、前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識手段とを備える構成とされる。 Specifically, as a first aspect of the present invention, the motion recognition apparatus according to the present invention includes a data conversion means for converting moving image data to motion history image data, and local of higher-order local autocorrelation features for grayscale image data. Local pattern storage means for storing a pattern; feature extraction means for extracting higher order local autocorrelation features from the motion history image data based on a local pattern of the higher order local autocorrelation features; and the higher order local autocorrelation features A processing unit that performs principal component analysis on the higher-order local autocorrelation features extracted by the extraction unit to obtain feature vector data whose dimensions are compressed, and similarity between the feature vector data and reference data by dynamic programming processing And a motion recognition means for evaluating the degree.
また、第2の態様として、本発明による動作認識装置においては、更に、観察対象空間から動画像データを取得する撮像手段を備え、前記基準データは、個人の動作認識のための動画像データから作成された基準データであり、前記評価手段は、更に、類似度に基づいて個人識別を行うように構成される。このような構成により、動画像データから個人識別を行うことができる。 Further, as a second aspect, the motion recognition apparatus according to the present invention further includes an imaging unit that acquires moving image data from the observation target space, and the reference data is obtained from moving image data for personal motion recognition. The created reference data, and the evaluation means is further configured to perform personal identification based on the similarity. With such a configuration, individual identification can be performed from moving image data.
本発明は、第3の態様として、本発明の動作認識処理方法が、動画像データを取り込み、動画像データから動作認識処理をコンピュータにより行う動作認識処理方法であって、動画像データをモーションヒストリーイメージデータに変換する変換ステップと、予め格納された濃淡画像データに対する高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する抽出ステップと、前記抽出ステップにより抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする圧縮ステップと、前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識ステップとの処理をコンピュータにより実行するように構成される。 According to a third aspect of the present invention, there is provided a motion recognition processing method in which the motion recognition processing method of the present invention captures moving image data and performs motion recognition processing from the moving image data by a computer. A conversion step for converting to image data; an extraction step for extracting higher-order local autocorrelation features from the motion history image data based on a local pattern of higher-order local autocorrelation features for previously stored grayscale image data; and the extraction The step of performing principal component analysis on the higher-order local autocorrelation features extracted in the step and converting the dimension into feature vector data, and the similarity between the feature vector data and the reference data by dynamic programming processing Evaluate the action recognition step and process the computer Configured to more run.
この場合、本発明の動作認識処理方法において、更に、撮像手段により観察対象空間から動画像データを取得するステップの処理をコンピュータにより実行し、前記基準データが、個人の動作認識のための動画像データから作成された基準データであり、評価ステップでは、更に、類似度に基づいて個人識別を行うように構成される。このような動作認識処理方法によって、動画像データから個人識別を行うことができる。 In this case, in the motion recognition processing method of the present invention, the processing of acquiring moving image data from the observation target space by the imaging means is further executed by the computer, and the reference data is a moving image for personal motion recognition. Reference data created from the data, and the evaluation step is further configured to perform personal identification based on the similarity. With such a motion recognition processing method, personal identification can be performed from moving image data.
本発明による動作認識装置および動作認識処理方法における動作認識では、動画像データから動作認識のデータ処理を、立体高次局所自己相関特徴(CHLAC)による特徴の抽出よりも簡便な手法として、動きの情報を持った画像データ(MHIデータ)に変換し、この画像データから取得した高次局所自己相関特徴(HLAC)の特徴を用いて動作認識を行う。動きに関する情報を持つ画像データとしては、自己回帰分析を用いたPARCOR画像よりも直接的な動きに関する情報で構成されるモーションヒストリーイメージデータ(MHIデータ)を使用することにより、低計算量、高識別率で動作認識を行うことができる動作認識装置が構成できる。高次局所自己相関特徴(HLAC)は1画像あたり35次元の特徴量となるが、更に次元圧縮を行うため、主成分分析(Principal Component Analysis:PCA)を行い、累積寄与率が所定値(99%)以上となった第二主成分スコアまでを用いて、ダイナミックプログラミング処理によるマッチングを行い、動作を認識する。このように、本発明によれば、低計算量、高識別率で動作認識を行うことができる動作認識装置および動作認識処理方法が提供される。 In motion recognition in the motion recognition apparatus and motion recognition processing method according to the present invention, motion recognition data processing from moving image data is performed as a simpler technique than feature extraction by stereoscopic higher-order local autocorrelation features (CHLAC). Conversion into image data (MHI data) having information is performed, and motion recognition is performed using features of higher-order local autocorrelation features (HLAC) acquired from the image data. By using motion history image data (MHI data) composed of information related to direct motion rather than PARCOR images using autoregressive analysis, the image data having information related to motion is low computational complexity and high discrimination. A motion recognition device capable of performing motion recognition at a rate can be configured. The high-order local autocorrelation features (HLAC) are 35-dimensional feature amounts per image. However, in order to perform further dimensional compression, principal component analysis (PCA) is performed, and the cumulative contribution rate is a predetermined value (99). %) The second principal component score up to or above is used to perform matching by dynamic programming processing to recognize the movement. Thus, according to the present invention, a motion recognition device and a motion recognition processing method capable of performing motion recognition with a low calculation amount and a high recognition rate are provided.
次に、本発明を実施するための形態について、具体的に図面を参照して説明する。図1および図2は、本発明による動作認識装置の構成を示すブロック図である。また、これらのブロック図は、本発明による動作認識処理方法を処理プロセスをデータの流れで示すフロー図となっている。 Next, a mode for carrying out the present invention will be specifically described with reference to the drawings. 1 and 2 are block diagrams showing the configuration of the motion recognition apparatus according to the present invention. In addition, these block diagrams are flowcharts showing the process of the operation recognition processing method according to the present invention in the form of data flow.
図1において、10は観察対象空間から取得した動画像データ、11はMHIデータ変換処理部、12はMHIデータ、13はHLAC局所パターン格納部、14はHLAC処理部、15は多次元ベクトルデータのHLACデータ、20は観察対象空間から動画像データを取得する監視カメラ装置である。また、図2において、15はHLACデータ、16はPCA処理部、17はPCAデータ、18はDPマッチング処理部、19は動作認識結果データである。
In FIG. 1, 10 is moving image data acquired from the observation target space, 11 is an MHI data conversion processing unit, 12 is MHI data, 13 is an HLAC local pattern storage unit, 14 is an HLAC processing unit, and 15 is multidimensional vector data.
図1は、本発明による動作認識装置において、動作認識のデータ処理で動画像データからHLACデータを得るまでの処理プロセスを示す図であり、図2は、同じく、本発明による動作認識装置において、動作認識のデータ処理でHLACデータから動作認識結果を得るまでの処理プロセスを示す図である。 FIG. 1 is a diagram showing a processing process for obtaining HLAC data from moving image data by motion recognition data processing in the motion recognition device according to the present invention. FIG. It is a figure which shows the processing process until it obtains a motion recognition result from HLAC data by the data processing of motion recognition.
動作認識のデータ処理では、図1に示すように、監視カメラ装置20により観察対象空間を撮影して動画像データ10が取得されて、または予め観察対象空間から取得された動画像データ10が、MHIデータ変換処理部11に入力されると、MHIデータ変換処理部11は、動画像データ10をモーションヒストリーイメージデータに変換する処理を行い、MHIデータ12を出力する。
In the data processing for motion recognition, as shown in FIG. 1, moving
MHIデータ12は、動画像データから動作履歴の情報を抽出するためにMHIの時系列データに変換されたものであり、動画像データのフレーム毎に背景差分を取り、最新のフレームにおける動作体(前景)の画素における輝度値が最高となるように重み付けをしたデータである。動作履歴の画像表現のデータとなっている。前述したように、下式に示す通りのデータを用いる。
MHIデータ12は、HLAC処理部14に入力されて、HLAC局所パターン格納部13に格納されているマスクパターンを用いて、積和演算を行い、高次局所自己相関特徴を抽出して、多次元ベクトルデータのHLACデータ15とされる。ここで、HLAC処理を行うために用いられるマスクパターンは、濃淡画像データに対する高次局所自己相関特徴の局所パターンであり、局所パターン格納部13に予め格納されているマスクスパターンである。このようにして、前記高次局所自己相関特徴の局所パターンに基づいてMHIデータから高次局所自己相関特徴が抽出されて、多次元ベクトルデータのHLACデータ15とされる。
The
次に、図2に示すように、各MHIデータから取得したHLACデータ15に対して、PCA処理部16によって、主成分分析の処理を行い、特徴ベクトルの次元を圧縮する処理を行い、PCAデータ17とされる。主成分分析の処理が行われたPCAデータ17については、第1成分スコアを横軸とし、第2成分スコアを縦軸とした2次元表示した例を示している。そして、圧縮したベクトルデータに基づいて、DPマッチング処理部18が動的計画法を用いたマッチング(Dynamic Programming matching)処理を行い、基準データとの類似度を評価して動作の認識を行い、認識結果19を出力する。
Next, as shown in FIG. 2, the
すなわち、抽出された高次局所自己相関特徴のHLACデータに対して主成分分析を行い、次元を圧縮した特徴ベクトルデータのPCAデータ17とされ、DPマッチング処理部18により、PCAデータ17の特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価し、動作認識結果17として出力する。
That is, principal component analysis is performed on the extracted HLAC data of higher-order local autocorrelation features to obtain
次に、サンプルデータに対して、本発明による動作認識処理の実験を行った概略について説明する。動画像データより取得したMHIデータの動作終了となるtフレームまでにおいて、各フレームにおけるHLACデータを取得し、時系列特徴ベクトルとし、この特徴ベクトルに対してPCAを用いた次元圧縮を行い、DPマッチング処理を用いたサンプル間の類似度を比較する際の入力ベクトルとした。 Next, an outline of an experiment of motion recognition processing according to the present invention performed on sample data will be described. Up to t frames when the operation of the MHI data acquired from moving image data ends, the HLAC data in each frame is acquired and used as a time-series feature vector. The feature vector is subjected to dimensional compression using PCA and DP matching. It was set as an input vector when comparing the similarity between samples using processing.
ここでは、MHIより取得したHLACは、主成分分析(PCA)を用いて次元を圧縮した後に、脱落挿入を許容したDPマッチング処理により評価した。DPマッチング処理による評価は、類似度が最小となった訓練サンプルが属するクラスと評価サンプルが属するクラスを比較し、その正答率を算出することにより求めた。 Here, the HLAC acquired from MHI was evaluated by DP matching processing that allowed drop-out insertion after compressing dimensions using principal component analysis (PCA). The evaluation by the DP matching process was obtained by comparing the class to which the training sample with the lowest similarity belongs and the class to which the evaluation sample belongs, and calculating the correct answer rate.
実験では、比較対照となる動画像サンプルより、異なる個人または日付のサンプルを5例づつ、計10例選別することにより訓練サンプルとし、それ以外を評価サンプルとした。訓練サンプルにおけるMHIより取得したHLACに対して、主成分分析(PCA)を行い、累積寄与率が99%以上となる第二主成分スコアまでを比較に用いた。同様に評価サンプルにおいてもMHIより取得したHLACに対し、訓練サンプルで形成したPCA空間への射影を行い、第二主成分スコアまでを比較に用いた。 In the experiment, 10 samples of different individuals or dates were selected from the moving image samples to be used as comparative controls, and a total of 10 samples were selected as training samples, and the others were used as evaluation samples. Principal component analysis (PCA) was performed on the HLAC obtained from the MHI in the training sample, and up to the second principal component score with a cumulative contribution rate of 99% or higher was used for comparison. Similarly, in the evaluation sample, the HLAC acquired from the MHI was projected onto the PCA space formed by the training sample, and up to the second principal component score was used for comparison.
図4は、各投手のMHIおよびPCA結果を説明する図である。図4において、上段は投手AおよびBのMHIデータの画像である。サンプルに使用したMHIデータでは、セットポジションから足が地面に着地するまでを1投球動作としている。下段は訓練サンプルにおける第一、第二主成分スコアのプロット図である。左側が投手Aの異なる投球回におけるランナー無の場合のプロット図であり、中央が投手AおよびBにおけるランナー無の場合のプロット図である。右側が投手AおよびBにおけるランナー有の場合のプロット図である。投球動作の開始点は全て第三象限であり、プロットされた点の軌跡が動作の違いを示している。ここでは、この軌跡を基準データとDPマッチング処理により、類似比較を行い、動作認識を行う。 FIG. 4 is a diagram for explaining the MHI and PCA results of each pitcher. In FIG. 4, the upper row is an image of MHI data of pitchers A and B. In the MHI data used for the sample, one throwing operation is performed from the set position until the foot reaches the ground. The lower row is a plot of the first and second principal component scores in the training sample. The left side is a plot diagram in the case of no runner in pitching times with different pitchers A, and the center is a plot diagram in the case of no runner in pitchers A and B. The right side is a plot when the pitchers A and B have runners. The starting points of the pitching motion are all in the third quadrant, and the locus of the plotted points indicates the difference in motion. Here, the trajectory is compared with reference data and DP matching processing to perform motion recognition.
また、このような動作認識を用いると、個人は特有な動作を行うことから、個人識別を行うことができる。この実験について説明する。投手AおよびBの動画像各15例から訓練サンプルを各個人5例ずつ計10例、評価サンプルを計20例とした。これらのサンプルにおいて動作履歴の残る時間を1000ミリ秒としたMHIを取得し、この300×300ピクセルの元画像の解像度を90×90ピクセルに変更した後HLACを取得、PCAを用いて特徴量の次元圧縮を行った後、訓練サンプルに対する評価サンプルの比較をDP matchingを用いて行った。 In addition, when such motion recognition is used, an individual can perform personal identification because the individual performs a specific motion. This experiment will be described. A total of 10 training samples for each individual from 15 examples of the moving images of the pitchers A and B, and a total of 20 evaluation samples. In these samples, the MHI with the remaining operation history of 1000 milliseconds is acquired, the resolution of the original image of 300 × 300 pixels is changed to 90 × 90 pixels, the HLAC is acquired, and the feature amount is obtained using PCA. After performing dimensional compression, the evaluation sample was compared with the training sample using DP matching.
図4に示すように、上段に示した各投手のMHIデータに対して、データ処理を行った結果に下段に示している。訓練サンプルの第一主成分スコア、第二主成分スコアを時系列でプロットした結果である。このように、野球における投球の動作では、塁にランナーが存在しない場合の動作は似たものとなる。これは、図4の下段左側のプロット図より明らかである。また、異なる投手の場合に動作が異なっていることは、図4下段中央および右側のプロット図より明らかであり、投手AおよびBでは投球動作の開始後、特に、第1、第4象限付近に属する領域において異なる挙動を示している。 As shown in FIG. 4, the result of data processing performed on the MHI data of each pitcher shown in the upper part is shown in the lower part. It is the result of having plotted the first principal component score and the second principal component score of the training sample in time series. As described above, in a pitching operation in baseball, the operation when a runner is not present in the base is similar. This is apparent from the plot on the left side of the lower part of FIG. In addition, it is clear from the plots on the lower center and right side of FIG. 4 that the operation is different for different pitchers. In the pitchers A and B, after the pitching operation is started, particularly in the vicinity of the first and fourth quadrants. Different behavior is shown in the region to which it belongs.
このように、主成分分析を行うことにより、例えば、第一主成分スコア、第二主成分スコアを用いることにより、PCAの結果に個人の動作の違いが反映されている。DPマッチング処理を用いた比較結果からも明らかであり、表1に示すように、投手AおよびBの個人識別に関しては100%の識別率を得ることができた。
野球における投球動作では、ランナーの有無で動作が微妙に異なるため、ランナーの有無に対する識別率は65%となった。このことは、投手Aにおけるランナーの有無および投手Bにおけるランナーの有無を識別する4クラスの識別問題として考えると、25%以上の識別率を達成しており、識別はしているものと考えられる。この検証のため、次に、2クラスの識別問題として、異なる日付の同一投手におけるランナーの有無に対する識別率の比較を行った。 In the pitching operation in baseball, since the operation is slightly different depending on the presence or absence of the runner, the identification rate for the presence or absence of the runner was 65%. Considering this as a 4-class identification problem that identifies the presence or absence of runners in pitcher A and the presence or absence of runners in pitcher B, this has achieved an identification rate of 25% or more and is considered to be identifying. . For this verification, as a two-class identification problem, we compared the identification rates for the presence or absence of runners at the same pitcher on different dates.
個人識別で使用した投手Bにおける動作認識を行った実験の結果について説明する。HLACの位置不変性より、記録日時が異なることによって発生するカメラアングルの差異は識別に大きな影響は与えないと判断し、異なる日付ではあるが、投手Bのランナーが塁に出ていない場合および一塁に出ている場合の2クラスの動画像を計40サンプル取得した。この取得した動画像データにおいて、上述の2クラスを含む計10サンプルを訓練サンプルとし、残り30サンプルを評価サンプルとして、同様の手法で評価実験を行った。 The result of the experiment which performed the operation | movement recognition in the pitcher B used by personal identification is demonstrated. From the HLAC position invariance, it is determined that the difference in camera angle caused by the difference in the recording date / time does not have a significant effect on the identification. In total, 40 samples of 2 classes of moving images were obtained. In the acquired moving image data, an evaluation experiment was performed by the same method using a total of 10 samples including the above-described two classes as training samples and the remaining 30 samples as evaluation samples.
評価実験の結果、解像度が90×90ピクセルの場合、83.3%の識別率を得ることができた。また、解像度を変化させた場合の識別率では、元となる動画像データと同様の解像度である300×300ピクセルの場合は80%の識別率となったが、10×10から25×25ピクセルの解像度では96.7%の識別率を得ることができた。このため、この手法における最適な解像度は25×25ピクセル以下であると考えられる(図5)。 As a result of the evaluation experiment, an identification rate of 83.3% was obtained when the resolution was 90 × 90 pixels. In the case of changing the resolution, the identification rate is 80% in the case of 300 × 300 pixels, which is the same resolution as the original moving image data, but from 10 × 10 to 25 × 25 pixels. A resolution of 96.7% was obtained at a resolution of. For this reason, it is considered that the optimum resolution in this method is 25 × 25 pixels or less (FIG. 5).
図5は、解像度変更による識別率の変化を説明するための図であり、300×300ピクセル,150×150ピクセルおよび100×100から10×10ピクセルまで解像度を変更した際のランナーの有無についての識別率をグラフ化した図である。300×300ピクセルは元となる動画像の解像度、100×100から10×10ピクセルの間は5ピクセル毎に解像度を変更している。 FIG. 5 is a diagram for explaining the change in the identification rate due to the change in resolution. The presence or absence of a runner when the resolution is changed from 300 × 300 pixels, 150 × 150 pixels, and 100 × 100 to 10 × 10 pixels. It is the figure which graphed the identification rate. The resolution of the original moving image is 300 × 300 pixels, and the resolution is changed every 5 pixels between 100 × 100 and 10 × 10 pixels.
高次局所自己相関に基づく特徴は、近傍画素の濃淡値の積を全画面で足し合わせたものとなるので、非常に局所的な特徴となる。よって、異なる解像度により得られたHLACを結合させることにより、大まかな特徴から詳細な特徴までの多段階の特徴を取得できるようになる。したがって、異なる解像度のHLACを結合させることによる識別率の向上を検討した(表2)。 The feature based on the higher-order local autocorrelation is a very local feature because the product of the gray values of neighboring pixels is added to the entire screen. Therefore, by combining HLACs obtained at different resolutions, it becomes possible to acquire multi-stage features from rough features to detailed features. Therefore, improvement of the identification rate by combining HLACs with different resolutions was examined (Table 2).
表2は、HLAC結合による識別率の違いを表している。表2に示すように、識別率が96.7%となった10×10ピクセル,15×15ピクセルおよび20×20ピクセルのサンプルにおいて、それぞれの35次元HLACを結合して70次元の特徴量とし、この70次元HLACに対してPCAを用いた次元圧縮を行った後、累積寄与率が99%以上となった第二主成分スコアまでを用いて、DPマッチング処理による識別率の導出を行った。
表2における3通りの識別結果において、HLACを結合させた場合の識別率は、結合させない場合の最高の識別率である96.7%と同様であった。よって本手法を用いた場合における動作認識では、計算量低減の観点からも25×25ピクセル以下の画像解像度を用いた35次元HLACを用いる事で十分である事が示唆される。 In the three discrimination results in Table 2, the discrimination rate when the HLAC was combined was the same as the maximum discrimination rate of 96.7% when the HLAC was not combined. Therefore, it is suggested that the use of the 35-dimensional HLAC using the image resolution of 25 × 25 pixels or less is sufficient for the recognition of motion when this method is used from the viewpoint of reducing the amount of calculation.
以上の動作認識の結果はMHI取得において動作履歴の持続時間を1000ミリ秒に固定して検討したものである。また、動作履歴の持続時間を変化させた場合における識別率の変化の検討を行った(図6)。 The above results of motion recognition were examined with the duration of the motion history fixed at 1000 milliseconds in MHI acquisition. In addition, the change of the identification rate when the duration of the operation history was changed was examined (FIG. 6).
図6は、MHI持続時間変更による識別率の変化を説明するための図である。図6に示すように、MHIにおける動作履歴の持続時間を、1,10,100,500,1000,1500および2000ミリ秒として、10×10および90×90ピクセルの解像度における識別率の変化を検討した。 FIG. 6 is a diagram for explaining a change in the identification rate due to a change in MHI duration. As shown in FIG. 6, the change of the identification rate at the resolution of 10 × 10 and 90 × 90 pixels is considered with the operation history duration in MHI as 1, 10, 100, 500, 1000, 1500 and 2000 milliseconds. did.
図6に示すように、識別率が最大であり、かつ解像度が最小となる10×10ピクセルのサンプルおよび解像度90×90ピクセルのサンプルを用いて動作履歴の持続時間を変更し、同様の手法で比較実験を行った。10×10ピクセルの解像度では動作履歴の持続時間が1500ミリ秒以上、また90×90ピクセルの解像度では動作履歴の持続時間が100ミリ秒以上で識別率の低下が見られた。この事は、動作履歴の持続時間を延長する事により画像に存在するノイズの影響を受けているものと考えられる。 As shown in FIG. 6, the duration of the operation history is changed using a sample of 10 × 10 pixels and a sample of resolution 90 × 90 pixels with the highest identification rate and the lowest resolution, and the same method is used. A comparative experiment was conducted. At a resolution of 10 × 10 pixels, the operation history duration was 1500 milliseconds or more, and at a resolution of 90 × 90 pixels, the operation history duration was 100 milliseconds or more, and the identification rate decreased. This is considered to be influenced by noise existing in the image by extending the duration of the operation history.
この評価実験に示されるように、MHIより取得したHLACを使用することにより、個人識別では100%の識別率、動作認識においても最高で96.7%の識別率を得ることができた。また、使用するMHIの画像解像度も25×25ピクセル以下が識別に適した解像度であった。この値は元となる動画像の解像度300×300ピクセルの10%以下の大きさである。これらの結果は本手法が高識別率、低計算量な動作認識手法である事を示唆するものである。 As shown in this evaluation experiment, by using HLAC obtained from MHI, it was possible to obtain a recognition rate of 100% for personal identification and a maximum of 96.7% for motion recognition. Also, the image resolution of the MHI to be used was a resolution suitable for identification of 25 × 25 pixels or less. This value is 10% or less of the resolution of the original moving image of 300 × 300 pixels. These results suggest that this method is a motion recognition method with a high recognition rate and low computational complexity.
また、更なる識別率の向上を目指す場合には、事前にサンプルのクラス分類が可能なことから特徴量の次元圧縮において判別分析(Discriminant Analysis)を使用する事が有効であると考えられる。また、さらにサンプル数を増加させられる場合には、隠れマルコフモデル(Hidden Markov model)を用いた訓練、評価サンプル間の比較が有効であると考えられる。 In order to further improve the identification rate, it is considered effective to use discriminant analysis (dimensional analysis) in dimensional compression of features because sample classification is possible in advance. In addition, when the number of samples can be further increased, it is considered that training using a hidden Markov model and comparison between evaluation samples are effective.
10 動画像データ
11 MHIデータ変換処理部
12 MHIデータ
13 HLAC局所パターン格納部
14 HLAC処理部
15 HLACデータ
16 PCA処理部
17 PCAデータ
18 DPマッチング処理部
19 動作認識結果データ
20 監視カメラ装置
DESCRIPTION OF
Claims (4)
濃淡画像データに対する高次局所自己相関特徴の局所パターンを格納する局所パターン格納手段と、
前記高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する特徴抽出手段と、
前記高次局所自己相関特徴抽出手段により抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする処理手段と、
前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識手段と、
を備えることを特徴とする動作認識装置。 Data conversion means for converting moving image data to motion history image data;
Local pattern storage means for storing local patterns of higher-order local autocorrelation features for grayscale image data;
Feature extraction means for extracting higher order local autocorrelation features from the motion history image data based on a local pattern of the higher order local autocorrelation features;
Processing means for performing principal component analysis on the higher-order local autocorrelation features extracted by the higher-order local autocorrelation feature extraction means, and converting the dimensions into feature vector data;
Action recognition means for evaluating the similarity between the feature vector data and reference data by dynamic programming processing;
A motion recognition apparatus comprising:
観察対象空間から動画像データを取得する撮像手段を備え、
前記基準データは、個人の動作認識のための動画像データから作成された基準データであり、
前記評価手段は、更に、類似度に基づいて個人識別を行う
ことを特徴とする動作認識装置。 The motion recognition device according to claim 1, further comprising:
An imaging means for acquiring moving image data from the observation target space;
The reference data is reference data created from moving image data for personal motion recognition,
The evaluation means further performs personal identification based on the degree of similarity.
動画像データをモーションヒストリーイメージデータに変換する変換ステップと、
予め格納された濃淡画像データに対する高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する抽出ステップと、
前記抽出ステップにより抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする圧縮ステップと、
前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識ステップと
の処理をコンピュータにより実行することを特徴とする動作認識処理方法。 A motion recognition processing method for capturing motion image data and performing motion recognition processing from the motion image data by a computer,
A conversion step for converting moving image data to motion history image data;
An extraction step for extracting higher order local autocorrelation features from the motion history image data based on a local pattern of higher order local autocorrelation features for pre-stored grayscale image data;
A compression step of performing principal component analysis on the higher-order local autocorrelation features extracted by the extraction step and converting the dimensions into feature vector data;
A motion recognition processing method characterized in that the computer executes a process with a motion recognition step of evaluating similarity between the feature vector data and reference data by dynamic programming processing.
撮像手段により観察対象空間から動画像データを取得するステップの処理をコンピュータにより実行し、
前記基準データが、個人の動作認識のための動画像データから作成された基準データであり、
評価ステップでは、更に、類似度に基づいて個人識別を行う
ことを特徴とする動作認識処理方法。 The motion recognition processing method according to claim 3, further comprising:
The processing of the step of acquiring the moving image data from the observation target space by the imaging means is executed by the computer,
The reference data is reference data created from moving image data for personal motion recognition;
In the evaluation step, the action recognition processing method further includes performing personal identification based on the similarity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327395A JP2008140267A (en) | 2006-12-04 | 2006-12-04 | Motion recognition apparatus and method for processing motion recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327395A JP2008140267A (en) | 2006-12-04 | 2006-12-04 | Motion recognition apparatus and method for processing motion recognition |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008140267A true JP2008140267A (en) | 2008-06-19 |
Family
ID=39601631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006327395A Pending JP2008140267A (en) | 2006-12-04 | 2006-12-04 | Motion recognition apparatus and method for processing motion recognition |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008140267A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228100A (en) * | 2016-06-23 | 2017-12-28 | コニカミノルタ株式会社 | Behavior recognition device and behavior recognition program |
JP2021120820A (en) * | 2020-01-30 | 2021-08-19 | 富士通株式会社 | Calculation program, calculation method and calculation device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139309A (en) * | 1997-07-15 | 1999-02-12 | Canon Inc | Picture retrieval device and its method |
JP2005092346A (en) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | Characteristic extraction method from three-dimensional data and device |
WO2005046942A1 (en) * | 2003-11-13 | 2005-05-26 | Japan Science And Technology Agency | Robot drive method |
JP2006298041A (en) * | 2005-04-18 | 2006-11-02 | Nikon Corp | Operation support system for vehicle |
-
2006
- 2006-12-04 JP JP2006327395A patent/JP2008140267A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139309A (en) * | 1997-07-15 | 1999-02-12 | Canon Inc | Picture retrieval device and its method |
JP2005092346A (en) * | 2003-09-12 | 2005-04-07 | National Institute Of Advanced Industrial & Technology | Characteristic extraction method from three-dimensional data and device |
WO2005046942A1 (en) * | 2003-11-13 | 2005-05-26 | Japan Science And Technology Agency | Robot drive method |
JP2006298041A (en) * | 2005-04-18 | 2006-11-02 | Nikon Corp | Operation support system for vehicle |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228100A (en) * | 2016-06-23 | 2017-12-28 | コニカミノルタ株式会社 | Behavior recognition device and behavior recognition program |
JP2021120820A (en) * | 2020-01-30 | 2021-08-19 | 富士通株式会社 | Calculation program, calculation method and calculation device |
JP7415611B2 (en) | 2020-01-30 | 2024-01-17 | 富士通株式会社 | Calculation program, calculation method and calculation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10990191B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
Shao et al. | Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing | |
JP5629803B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
Woodard et al. | On the fusion of periocular and iris biometrics in non-ideal imagery | |
CN109800643B (en) | Identity recognition method for living human face in multiple angles | |
KR101490016B1 (en) | Person image processing apparatus and person image processing method | |
JP4743823B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
EP2737434B1 (en) | Gait recognition methods and systems | |
Bashir et al. | Feature selection on gait energy image for human identification | |
JP5675229B2 (en) | Image processing apparatus and image processing method | |
US20130142426A1 (en) | Image recognition apparatus, control method for image recognition apparatus, and storage medium | |
CN103942577A (en) | Identity identification method based on self-established sample library and composite characters in video monitoring | |
García-Martín et al. | Robust real time moving people detection in surveillance scenarios | |
Lobachev et al. | Machine learning models and methods for human gait recognition | |
Al-agha et al. | Geometric-based feature extraction and classification for emotion expressions of 3D video film | |
JP2008140267A (en) | Motion recognition apparatus and method for processing motion recognition | |
Martín-Félez et al. | Human recognition based on gait poses | |
Tafazzoli et al. | Improving human gait recognition using feature selection | |
Zhang et al. | Ethnicity classification based on fusion of face and gait | |
CN109815786A (en) | A kind of gait recognition method based on Region Entropy feature | |
Yang et al. | Combining attention mechanism and dual-stream 3d convolutional neural network for micro-expression recognition | |
Thi et al. | Weakly supervised action recognition using implicit shape models | |
CN105447446A (en) | Face recognition method and system based on principal component of rough set | |
CN110751084B (en) | Gait feature representation and extraction method based on line scanning statistical vector | |
Tian et al. | A robust framework for 2d human pose tracking with spatial and temporal constraints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090212 |
|
A977 | Report on retrieval |
Effective date: 20110317 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Effective date: 20110531 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111011 |