JP2008165578A - 動体の動作表現方法および動作認識方法 - Google Patents
動体の動作表現方法および動作認識方法 Download PDFInfo
- Publication number
- JP2008165578A JP2008165578A JP2006355662A JP2006355662A JP2008165578A JP 2008165578 A JP2008165578 A JP 2008165578A JP 2006355662 A JP2006355662 A JP 2006355662A JP 2006355662 A JP2006355662 A JP 2006355662A JP 2008165578 A JP2008165578 A JP 2008165578A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- images
- moving object
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】入力された時系列画像の連続する2枚の画像(映像入力)から動体の動きベクトルを計算し(動きベクトル生成)、この動きベクトル成分を異なる複数方向にそれぞれ動きのみを表現する複数種類の画像に分解し(動きベクトル分解)、該複数種類の画像をそれぞれ独立して時間軸方向に重みを付けて重ね合わせ画像を形成する(重ね合わせ画像生成)動作の表現方法認識、並びに、この重ね合わせ画像から特徴ベクトル(特徴量)を抽出し(特徴ベクトル抽出)および認識を行う前に予め用意していたテンプレート画像の特徴ベクトルとのパターンマッチングによって、動体の動作を認識する(動作認識)動作認識方法。
【選択図】図1
Description
そして、これらの画像の動作認識にあっては、認識したい動作を行う人物などを含む画像から以上の方法によって求められた画像と、予め取得していた動作のテンプレート画像(即ち、学習画像)とのパターンマッチングを行って、該当人物の動作認識を行っている。
また、以上の例に使用されているMHIはフレーム間差分画像を2値化した画像から生成するため、閾値の設定によっては、同じ動作でも異なるMHIが生成されてしまうという問題がある。また、フレーム間差分で得られる動き情報には動作認識の対象となる人とカメラの相対的な移動情報も含まれるため、同じ動作でも対象者の移動速度の違いやカメラの移動によって、生成されるMHIが異なるという問題がある。
ここで、第1の発明において、前記異なる複数方向は、前記動きベクトルの画像に対して上下左右の4方向であるのが好ましい。また、動きベクトルを複数方向に分解して表現する以外の具体的処方については従来技術が適用可能である。
この場合、MHI(正確にはDMHI)に処理するデータは動きベクトル(フレーム画像ではない)であるから、単なるフレーム画像と異なり、閾値は必ずしも必要でない。
そして、この動体の動作認識方法において、前記テンプレート画像は、既知の動作を行う動体を含む映像から前記動作表現方法によって得られる重ね合わせ画像からなるのが好ましい。これによって同一処理物の比較となるので、認識精度が向上する。
そして、請求項3〜5記載の動体の動作認識方法においては、上記のような動体の動作表現方法を用いることによって、更に認識率の向上を図ることが可能となるとともに、観察方向に依存しない動作認識が可能となる。
ここで、図1は本発明の一実施の形態に係る動体の動作認識方法を適用した動作認識装置の構成図、図2はフレーム画像の説明図(写真を含む)、図3は差分画像の説明図、図4は本発明の一実施の形態に係る動体の動作表示方法の説明用写真、図5は同方法の説明用写真、図6はフーモーメント処理の説明図、図7は実施例の状況を示すカメラ配置図、図8は動体(人物)の各動作を示す写真、図9は実施例で用いた各動作から生成されるMHIとDMHIの例を示す写真である。
図1に示すように、本発明の一実施の形態に係る動作認識方法を適用した動作認識装置10は、映像データを入力する映像入力部11と、映像入力部11に記憶されている画像データから動きベクトルを生成する動きベクトル生成部12と、動きベクトル生成部12によって処理された動きベクトルの動作を複数方向(即ち、上下左右)に分解する動きベクトル分解部13と、動きベクトル分解部13によって分解された上下左右の各画像からモーションヒストリーイメージを作成する重ね合わせ画像生成部14と、重ね合わせ画像生成部14から特徴ベクトルを抽出する特徴ベクトル抽出部15と、特徴ベクトル抽出部15の画像を学習データ(テンプレート画像)と比較して人の動作を決定する動作認識部16とを備えている。以下、これらについて詳細に説明する。
この様子を図2に示すが、映像データは、幅がW、高さがHで撮影した映像(動画像)のある時点tにおけるフレーム画像の集合からなり、各フレーム画像は、W×H個の画素(ピクセル)を持つ。従って、映像データは、画像の左上を原点としてそこから右にx、下にy画素分だけ進んだ場所にあるピクセルがf(x,y,t)と表わされる。このf(x,y,t)は例えば0〜255の値を持ち、255が真っ白、0が真っ黒で、その間の場合は0に近いほど黒く、255に近いほど白くなる(グレイスケール画像)。従って、図2では壁の部分におけるf(x,y,t)は255に近い値を持ち、人の髪の毛やズボンの部分のf(x,y,t)は0に近い値を持つことになる。
モーションヒストリーイメージは、前述のBobick(非特許文献1)らによって提案されたもので、一つの画像に過去の画像を残して行く時系列画像の表現方法の一つであって、新しい画像ほど明るく、過去の画像ほど暗く表示され、以下の式(1)によって生成される。
これに対応する、τの期間に動きのあった領域を表現する2値画像モーションエナジーイメージ(MEI; Motion Energy Image)は式(2)で与えられる。
以上の手法によって、動体の画像を複数枚のDMHIによって表現できる。
まず、(3)〜(6)式で示されるDMHIに対応する動きの情報を持つモーションエナジーイメージ(DMEI; Directional Motion Energy Images)を生成する。これは(2)式で示されるMEIの場合と同様に、式(2)によりDMHIを閾値0で2値化して得られる。得られたDMHIおよびDMEIの合計8つの特徴画像からそれぞれ7つのHu momentを求め、合計56個の特徴量を得る。
先の式(1)で説明したように、多値の入力画像から生成されるMHIは以下の式(7)で表される。
Hσ(x,y,t)=max(f(x,y,t),σHσ(x,y,t−1)) ・・・(7)
ここでf(x,y,t)はtフレーム目における入力画像、保存率σはτに対応するパラメータで0<σ<1の値を持ち、1に近いほど過去の画像が残り、0に近いほど過去の画像は早く消去される。この式より得られるMHIは0を最小値とした実数値画像である。
一方、DMHIの入力として用いられる方向成分は、オプティカルフローの垂直・水平成分を正負に分解した値の絶対値が入っているため、これも0を最小値とした実数値画像である。よって、式(7)はそのままDMHIの生成に用いることができる。
まず、与えられているデータ群を用いて特徴ベクトルを低次元空間に写像する写像行列を求める。クラスωi(i=1,・・・,c)に属するデータの平均ベクトルおよびデータ数をベクトルxiおよびNiとし、クラスωiの共分散行列Σiを、式(8)と定義すると、クラス内変動行列Σwおよびクラス間変動行列ΣBは式(9)、式(10)より得られる。ここでベクトルxおよびNは全データの平均ベクトルおよびデータ数である。
認識は、未知データがどのクラスに属するかの判定を写像行列により写像された空間内で行う。本発明では、変換後の空間での各クラスの平均ベクトルと共分散行列を用いてそのクラスを表現し、未知データの写像点とのマハラノビス距離が最も近いクラスが未知データの属するクラスであるという判定を行う。なお、認識実験の前にLDAによる写像行列および平均ベクトル、共分散行列をあらかじめ算出する作業を「学習」と呼ぶこととする。
[実施例1]
図7に示すように、対象者の向いている方向を中心に取り囲むように配置された4台のカメラを用いて、11人の5種類の動作を撮影した。動作は「箱をつかんで持ち上げる」、「小さなものを拾う」、「うずくまる」、「その場で歩く」、そして「倒れる」である。動作の例を図8に示す。
この実験では、動作1つを1つの動画ファイルとして切り出し、その動画ファイルの最終フレーム時点で得られるMHIおよびDMHIを認識に用いた。MHIおよびDMHIに残す履歴の長さを決定するパラメータτはファイルのフレーム数と同じとした。
パラメータの設定は以下の通りである。MHIの入力画像を生成するためのフレーム間差分画像の閾値は40、DMHIの閾値thHは1.0、認識のためのk‐NNはk=3とした。実験結果より得られた認識率を表1に示す。表1(a)がMHI(従来例)の結果、(b)がDMHI(本発明)の結果である。
この実験で得られたMHIおよびDMHIの例を図9に示す。
実験は9人の6種類の動作を用いた。結果の比較のため、次の4種類の手法で実験を行った。
1.フレーム間差分の2値画像を入力とする式(1)で生成されるMHI(従来技術)に先に述べたLDAに基づく認識を用いる手法
2.フレーム間差分を入力とする式(7)で生成されるMHIにLDAに基づく認識を用いる手法
3.オプティカルフローの方向成分の2値画像を入力とする式(3)〜式(6)で生成されるDMHIにLDAに基づく認識を用いる手法(本発明)
4.オプティカルフローの方向成分を入力とする式(7)で生成されるDMHIにLDAに基づく認識を用いる手法(本発明)
パラメータの設定は以下の通りである。2値画像を入力とするMHIの生成のためのフレーム間差分の閾値は20、DMHI生成のための方向成分の閾値は1.0とした。LDAの前処理に用いたPCAは累積寄与率が90%となる最小の次元を用いた。なお、式(7)からDMHIを生成する手法では、ノイズ除去のため、動きベクトルを方向成分に分割後、各成分の値がある閾値以上であった場合はその閾値に置き換えその値を抑制した。この実験では方向成分が3.0以上だった場合とした。
この実験でも認識結果を算出する際に複数の異なるパラメータで生成されたMHIの多数決を行っている。今回は3つのMHIの多数決を行った。MHIのパラメータは、2値画像から生成されるMHIで25、30、35、多値のMHIで0.95、0.92、0.89とした。
Claims (5)
- 入力された時系列画像の連続する2枚の画像から動体の動きベクトルを計算し、この動きベクトル成分を異なる複数方向にそれぞれ動きのみを表現する複数種類の画像に分解し、該複数種類の画像をそれぞれ独立して時間軸方向に重みを付けて重ね合わせ画像を形成することを特徴とする動体の動作表現方法。
- 請求項1記載の動体の動作表現方法において、前記異なる複数方向は、前記動きベクトルの画像に対して上下左右の4方向であることを特徴とする動体の動作表現方法。
- 認識したい動作を行う動体を含む画像から請求項1および2のいずれか1項に記載の動体の動作表現方法によって得られた前記重ね合わせ画像、および認識を行う前に予め用意していたテンプレート画像のパターンマッチングによって、前記動体の動作を認識することを特徴とする動体の動作認識方法。
- 請求項3記載の動体の動作認識方法において、前記パターンマッチングは、前記重ね合わせ画像から特徴量を抽出し、この特徴量と予め用意された前記テンプレート画像の特徴量とのユークリッド距離を計算することによって行うことを特徴とする動体の動作認識方法。
- 請求項3および4のいずれか1項に記載の動体の動作認識方法において、前記テンプレート画像は、既知の動作を行う動体を含む映像から前記動作表現方法によって得られる重ね合わせ画像からなることを特徴とする動体の動作認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006355662A JP4929460B2 (ja) | 2006-12-28 | 2006-12-28 | 動体の動作認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006355662A JP4929460B2 (ja) | 2006-12-28 | 2006-12-28 | 動体の動作認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008165578A true JP2008165578A (ja) | 2008-07-17 |
JP4929460B2 JP4929460B2 (ja) | 2012-05-09 |
Family
ID=39694968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006355662A Active JP4929460B2 (ja) | 2006-12-28 | 2006-12-28 | 動体の動作認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4929460B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061376A (ja) * | 2008-09-03 | 2010-03-18 | National Institute Of Advanced Industrial Science & Technology | 動作評価装置および動作評価方法 |
JP2013145453A (ja) * | 2012-01-13 | 2013-07-25 | Nippon Telegr & Teleph Corp <Ntt> | 動作分析装置、方法、及びプログラム |
WO2013146156A1 (ja) * | 2012-03-29 | 2013-10-03 | スタンレー電気株式会社 | 被測定物情報取得装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10285581A (ja) * | 1997-04-04 | 1998-10-23 | Fujitsu Ltd | 自動監視装置 |
JP2002374520A (ja) * | 2001-06-14 | 2002-12-26 | Hitachi Ltd | 動画像表示方法、映像による監視装置 |
-
2006
- 2006-12-28 JP JP2006355662A patent/JP4929460B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10285581A (ja) * | 1997-04-04 | 1998-10-23 | Fujitsu Ltd | 自動監視装置 |
JP2002374520A (ja) * | 2001-06-14 | 2002-12-26 | Hitachi Ltd | 動画像表示方法、映像による監視装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061376A (ja) * | 2008-09-03 | 2010-03-18 | National Institute Of Advanced Industrial Science & Technology | 動作評価装置および動作評価方法 |
JP2013145453A (ja) * | 2012-01-13 | 2013-07-25 | Nippon Telegr & Teleph Corp <Ntt> | 動作分析装置、方法、及びプログラム |
WO2013146156A1 (ja) * | 2012-03-29 | 2013-10-03 | スタンレー電気株式会社 | 被測定物情報取得装置 |
JP2013205368A (ja) * | 2012-03-29 | 2013-10-07 | Stanley Electric Co Ltd | 被測定物情報取得装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4929460B2 (ja) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Multi-layered gesture recognition with Kinect. | |
US8620024B2 (en) | System and method for dynamic gesture recognition using geometric classification | |
Sonkusare et al. | A review on hand gesture recognition system | |
Schwarz et al. | Manifold learning for tof-based human body tracking and activity recognition. | |
JP2008310796A (ja) | コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法 | |
Kuzmanic et al. | Hand shape classification using DTW and LCSS as similarity measures for vision-based gesture recognition system | |
CN110688965A (zh) | 基于双目视觉的ipt模拟训练手势识别方法 | |
Alksasbeh et al. | Smart hand gestures recognition using K-NN based algorithm for video annotation purposes | |
Paul et al. | Extraction of facial feature points using cumulative histogram | |
Chen et al. | Silhouette-based object phenotype recognition using 3D shape priors | |
He et al. | Scale space histogram of oriented gradients for human detection | |
Song et al. | Visual-context boosting for eye detection | |
Vafadar et al. | A vision based system for communicating in virtual reality environments by recognizing human hand gestures | |
Jalilian et al. | Persian sign language recognition using radial distance and Fourier transform | |
JP4929460B2 (ja) | 動体の動作認識方法 | |
KR20090050199A (ko) | 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식 | |
Vo et al. | Dynamic gesture classification for Vietnamese sign language recognition | |
KR101035291B1 (ko) | 관절모델db을 이용한 포즈인식 시스템 | |
Caplier et al. | Comparison of 2D and 3D analysis for automated cued speech gesture recognition | |
Poonkodi et al. | RETRACTED ARTICLE: Action recognition using Correlation of Temporal Difference Frame (CTDF)—an algorithmic approach | |
Elsayed et al. | Hybrid method based on multi-feature descriptor for static sign language recognition | |
Rasines et al. | Feature selection for hand pose recognition in human-robot object exchange scenario | |
Mahbub et al. | One-shot-learning gesture recognition using motion history based gesture silhouettes | |
Ayre-Storie et al. | Deep learning-based human posture recognition | |
Naveed et al. | Comparison of GLCM based hand gesture recognition systems using multiple classifiers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |