JP2002373340A - 動作特徴抽出法および動作認識装置ならびに動作認識プログラム - Google Patents

Abstract

(57)【要約】 【課題】 一般的な映像中の被写体の動作認識を行うこ
とができる動作特徴抽出法および動作認識装置ならびに
動作認識プログラムを提供する。 【解決手段】 動作認識装置１は、動画像の画像データ
から被写体の動作を認識する動作認識装置であって、あ
る画像データとその直前の画像データとに基づいて前記
被写体の動きベクトルを算出する動きベクトル算出手段
５と、この動きベクトル算出手段５によって算出された
動きベクトルの方向のみからなる、前記動画像の画像デ
ータの変遷に伴うヒストグラムを生成するヒストグラム
生成手段７と、標準的なヒストグラムを蓄積している蓄
積手段１３と、この蓄積手段１３に蓄積されている標準
的なヒストグラムと前記ヒストグラムとの比較結果に基
づいて、前記被写体の動作を認識する動作認識手段１１
と、を備えた。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、動画像認識に係
り、特に動画像における、被写体の動作を認識する特徴
を抽出する動作特徴抽出法および動作認識装置ならびに
動作認識プログラムに関する。

【０００１】

【従来の技術】従来、動作認識、識別の手法は、特別な
条件下で撮影した映像（例えば、単色背景で撮影した映
像）を元に、その映像に写っている被写体の動作を認識
するものであった。こういった手法に関しては、背景情
報を入力画像から減算することによって動作認識する方
法（特願平０９−３５９３１８号）、特殊な撮影環境を
用いる方法（特願平１１−１６１３０９号）、等が提案
されている。

【０００２】動作認識する方法（特願平０９−３５９３
１８号）は、被写体の動作認識に利用する特徴量として
「顕著な色差」のみに着目し、予め、背景（単色背景）
を限定して、その背景の元で、被写体の動作を撮影し
て、被写体の色と、背景の色との違いに基づいて、この
被写体の動作を認識する方法であった。つまり、背景の
色が一定であるという撮影条件が必須の構成要件であっ
た。

【０００３】特殊な撮影環境を用いる方法（特願平１１
−１６１３０９号）は、被写体の動作認識に利用する特
徴量として「画像上での被写体の移動」のみに着目し、
被写体を撮影する撮影カメラの移動範囲を規定すると共
に、被写体に照射した照射光が反射した反射光を撮影
し、この反射光に基づいて、被写体の動作を認識する方
法であった。つまり、撮影カメラは、通常の動画像を撮
影する際に行われるカメラワークを制限された状態（撮
影条件を制限）で、被写体を撮影することが必須の構成
要件であった。

【０００４】

【発明が解決しようとする課題】つまり、従来の方法で
は、動作認識に利用する特徴量（動画像中に含まれる情
報）が撮影条件を制限した場合に得られるものであっ
て、撮影条件を制限しない場合、つまり、一般的な映像
中の人物等の被写体の動作認識には適用できないという
問題がある。

【０００５】そこで、本発明の目的は前記した従来の技
術が有する課題を解消し、一般的な映像中の被写体の動
作認識を行うことができる動作特徴抽出法および動作認
識装置ならびに動作認識プログラムを提供することにあ
る。

【０００６】

【課題を解決するための手段】請求項１記載の動作特徴
抽出法は、動画像の画像データから被写体の動作を認識
する特徴を抽出する動作特徴抽出法であって、基準とす
る画像データおよび一定時間経過後の画像データに基づ
いて前記被写体の動きベクトルを算出し、この算出した
動きベクトルの方向の出現頻度からなる、前記動画像の
画像データの変遷に伴うヒストグラムを生成し、このヒ
ストグラムから前記被写体の動作を認識する特徴を抽出
する。

【０００７】この方法では、まず、動画像の画像データ
のある部分、つまり、基準とする画像データと一定時間
経過後の画像データに基づいて被写体の動きベクトルを
算出する。この動きベクトルは方向と大きさを備えてい
るが、方向の出現頻度に着目し、動画像の画像データの
変遷に伴うヒストグラムを生成する。その後、このヒス
トグラムから被写体の動作の特徴を得る。

【０００８】なお、画像データとは、一般的な映像デー
タにおける、いわゆる「フレーム」に相当するものであ
る。基準とする画像データとは、画像データ中における
任意の画像データから設定されるものである。一定時間
経過後とは、基準とする画像データから直前、直後の画
像データを指す場合、１／１秒間のフレーム数（秒）経
過後となり、基準とする画像データから複数（ａ）の画
像データを指す場合、ａ／１秒間のフレーム数（秒）経
過後となる。また、画像データの変遷とは、時間経過に
よる画像データの移り変わりのことである。

【０００９】請求項２記載の動作特徴抽出法は、請求項
１に記載した動作特徴抽出法において、前記ヒストグラ
ムに対応させて、正規化、閾値処理の少なくとも１つを
行うことによって、前記被写体の動作の特徴を得る。

【００１０】前記動作特徴抽出法では、生成されるヒス
トグラムの高さは、認識する対象となる被写体の大きさ
に依存するが、ここで、ヒストグラムに対し、正規化、
閾値処理の少なくとも１つを施すことによって、被写体
の大きさによるヒストグラムへの影響が消去（排除）さ
れる。

【００１１】請求項３記載の動作特徴抽出法は、請求項
１に記載した動作特徴抽出法において、前記ヒストグラ
ムに対応させて、時間軸方向の伸縮、時間軸および角度
軸の精度変更、減算処理の少なくとも１つを行うことに
よって、前記被写体の動作の特徴を得る。

【００１２】前記動作特徴抽出法では、ヒストグラムに
対して、時間軸方向の伸縮を施すことによって、被写体
の動作スピードの違いによるヒストグラムへの影響が消
去（除去）される。時間軸および角度軸の精度を可変
（精度変更）にしておくとにより、予め、実験的に求め
られた、最も高い認識精度で動作認識できる時間軸およ
び角度軸に設定される。

【００１３】さらに、被写体の含まれる動画像を得る際
に、被写体を撮影する撮影カメラのカメラレンズがズー
ムすると、すべての方向の動きベクトルが動画像全体に
現れることから、ヒストグラム全体から一定値を減算す
ること（減算処理）により、撮影カメラのカメラレンズ
のズームや、撮影カメラ自体を被写体に近づけたり遠ざ
ける操作による、ヒストグラムへの影響が消去（除去）
される。

【００１４】或いは、被写体の含まれる動画像を得る際
に、撮影カメラを左右方向に振る、いわゆる、パン操作
が行われると、角度０度または角度１８０度の動きベク
トルが動画像全体に現れることから、ヒストグラム上で
角度０度または角度１８０度の値から一定値を減算する
こと（減算処理）により、撮影カメラのパン操作の影響
が消去（除去）される。同様に、撮影カメラを上下方向
に動かす、いわゆる、チルト操作の時には、９０度また
は２７０度の値から一定値を減算すること（減算処理）
により、撮影カメラのチルト操作の影響が消去（除去）
される。

【００１５】請求項４記載の動作認識装置は、認識対象
となる被写体を含んだ動画像の画像データおよびこの動
画像を認識する以前に得る、前記被写体を含んだ従前の
動画像の画像データから被写体の動作を認識する動作認
識装置であって、基準とする画像データおよび一定時間
経過後の画像データに基づいて前記被写体の動きベクト
ルを算出する動きベクトル算出手段と、この動きベクト
ル算出手段によって算出された動きベクトルの方向の出
現頻度からなる、前記動画像の画像データの変遷に伴う
ヒストグラムを生成するヒストグラム生成手段と、予め
従前の動画像の画像データから求めた標準ヒストグラム
を蓄積している蓄積手段と、この蓄積手段に蓄積されて
いる標準ヒストグラムと前記ヒストグラムとの比較結果
に基づいて、前記被写体の動作を認識する動作認識手段
と、を備えたことを特徴とする。

【００１６】かかる構成によれば、動きベクトル算出手
段によって、被写体の動きベクトルが算出され、ヒスト
グラム生成手段によって、動きベクトルの方向の出現頻
度に基づくヒストグラムが生成され、動作認識手段によ
って、生成されたヒストグラムと、蓄積手段に蓄積され
ている標準ヒストグラムとが比較され、この比較結果に
基づいて被写体の動作認識がなされる。

【００１７】請求項５記載の動作認識装置は、請求項４
に記載の動作認識装置において、前記動作認識手段は、
前記ヒストグラムに対応させて、正規化、閾値処理の少
なくとも１つを行うヒストグラム演算手段を備えたこと
を特徴とする。

【００１８】かかる構成によれば、動作認識装置におい
て、ヒストグラム演算手段によって、ヒストグラムに対
応させて、正規化、閾値処理の少なくとも１つが施さ
れ、被写体の大きさによるヒストグラムへの影響が消去
（排除）される。

【００１９】請求項６記載の動作認識装置は、請求項４
に記載の動作認識装置において、前記動作認識手段は、
前記ヒストグラムに対応させて、時間軸方向の伸縮、時
間軸および角度軸の精度変更、減算処理の少なくとも１
つを行うヒストグラム演算手段を備えたことを特徴とす
る。

【００２０】かかる構成によれば、動作認識装置におい
て、ヒストグラム演算手段によってヒストグラムに対し
て、時間軸方向の伸縮、減算処理を施すことによって、
被写体の動作スピードの違いによるヒストグラムへの影
響が消去（除去）される。また、時間軸および角度軸の
精度を可変（精度変更）にしておくとにより、予め、実
験的に求められた、最も高い認識精度で動作認識できる
時間軸および角度軸に設定される。さらに、減算処理に
より、ヒストグラム全体或いはヒストグラムの特定の角
度における値から一定値が減算されることによって、被
写体を撮影する時に用いられる撮影カメラのカメラレン
ズのズームや、撮影カメラ自体の動きによるヒストグラ
ムへの影響が消去（除去）される。なお、撮影カメラ自
体の動きとは、撮影カメラを被写体に近づけたり遠ざけ
る操作、撮影カメラを左右方向に振る、いわゆるパン操
作、撮影カメラを上下方向に振る、いわゆるチルト操作
による動きのことを指すものである。

【００２１】請求項７記載の動作認識プログラムは、動
画像の画像データから被写体の動作を認識するためにコ
ンピュータを、基準とする画像データおよび一定時間経
過後の画像データに基づいて前記被写体の動きベクトル
を算出する動きベクトル算出手段、この動きベクトル算
出手段によって算出された動きベクトルの方向の出現頻
度からなる、前記動画像の画像データの変遷に伴うヒス
トグラムを生成するヒストグラム生成手段、前記動画像
を認識する以前に得る、前記被写体を含んだ従前の動画
像の画像データから求めた標準ヒストグラムを蓄積して
いる蓄積手段、この蓄積手段に蓄積されている標準ヒス
トグラムと前記ヒストグラムとの比較結果に基づいて、
前記被写体の動作を認識する動作認識手段、として機能
させることを特徴とする。

【００２２】かかる構成によれば、動きベクトル算出手
段によって、被写体の動きベクトルが算出され、ヒスト
グラム生成手段によって、動きベクトルの方向の出現頻
度に基づくヒストグラムが生成され、動作認識手段によ
って、生成されたヒストグラムと、蓄積手段に蓄積され
ている標準ヒストグラムとが比較され、この比較結果に
基づいて被写体の動作認識がなされる。

【００２３】請求項８記載の動作認識プログラムは、請
求項７記載の動作認識プログラムにおいて、前記動作認
識手段は、前記ヒストグラムに対応させて、正規化、閾
値処理の少なくとも１つを行うヒストグラム演算手段を
備えたことを特徴とする。

【００２４】かかる構成によれば、動作認識プログラム
において、ヒストグラム演算手段によって、ヒストグラ
ムに対応させて、正規化、閾値処理の少なくとも１つが
施され、被写体の大きさによるヒストグラムへの影響が
消去（排除）される。

【００２５】請求項９記載の動作認識プログラムは、請
求項７記載の動作認識プログラムにおいて、前記動作認
識手段は、前記ヒストグラムに対応させて、時間軸方向
の伸縮、時間軸および角度軸の精度変更、減算処理の少
なくとも１つを行うヒストグラム演算手段を備えたこと
を特徴とする。

【００２６】かかる構成によれば、動作認識プログラム
において、ヒストグラム演算手段によって、ヒストグラ
ムに対して、時間軸方向の伸縮を施すことによって、被
写体の動作スピードの違いによるヒストグラムへの影響
が消去（除去）される。時間軸および角度軸の精度を可
変（精度変更）にしておくとにより、予め、実験的に求
められた、最も高い認識精度で動作認識できる時間軸お
よび角度軸に設定される。さらに、減算処理により、ヒ
ストグラム全体或いはヒストグラムの特定の角度におけ
る値から一定値が減算されることによって、被写体を撮
影する時に用いられる撮影カメラのカメラレンズのズー
ムや、撮影カメラ自体の動きによるヒストグラムへの影
響が消去（除去）される。なお、撮影カメラ自体の動き
とは、撮影カメラを被写体に近づけたり遠ざける操作、
撮影カメラを左右方向に振る、いわゆるパン操作、撮影
カメラを上下方向に振る、いわゆるチルト操作による動
きのことを指すものである。

【００２７】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて詳細に説明する。 （動作認識装置の構成）図１に、動作認識装置のブロッ
ク図を示す。この図１に示すように、動作認識装置１
は、映像入力部３と、動き検出部５と、ヒストグラム算
出部７と、ヒストグラム演算処理部９と、ヒストグラム
照合部１１と、標準ヒストグラム記憶部１３とを備えて
構成されている。

【００２８】動作認識装置１は、一般的な動画像から、
この動画像に含まれている被写体の動作を認識する装置
であって、そのハードウェア構成は、主制御装置、記憶
装置、入力装置、表示装置等を備えた通常のコンピュー
タによって実現可能なものである。

【００２９】映像入力部３は、ビデオテープ、ＣＤ−Ｒ
ＯＭ、ＣＤ−ＲＷ、ＤＶＤ等の記憶媒体に記憶されたデ
ータを読み取り可能なドライブ等、或いは、ネットワー
ク等を介して外部から種々のデータを入力可能なインタ
ーフェース等を備えて構成されており、動画像の画像デ
ータ（映像）が入力されるものである。

【００３０】動き検出部５は、映像入力部３に入力され
た動画像の画像データから、その画像データに含まれて
いる（写っている）被写体の動きを検出して、被写体の
動きベクトルを算出するものである。動きベクトルを算
出するには、ブロックマッチングによる手法、オプティ
カルフローの勾配法、変形関数を用いる手法（位相相関
法）等の様々な手法がある。なお、この実施の形態で
は、ブロックマッチングによる手法を使用している。こ
のブロックマッチングによる手法は、ある時刻ｔの画像
データ（フレーム）の画素およびその近傍の画素（ブロ
ック）と、時刻ｔ＋１の画像データ（フレーム）の画素
およびその近傍の画素（ブロック）とを照合し、最もよ
くマッチしているブロックの位置を探索することによっ
て、時刻ｔの画像データと、時刻ｔ＋１の画像データと
の対応する位置が定まり、動きベクトルの推定ができる
ものである。

【００３１】或いは、動きベクトルは勾配法、位相相関
法によって推定される。勾配法は、画像の空間的な勾配
とフレーム間の信号レベルの差から直接動きベクトルを
求める方法であり、位相相関法は、入力された画像デー
タをフーリエ変換した場合の位相項が物体の移動量に相
当することを利用した方法である。

【００３２】ただし、動き検出部５は、時刻ｔと時刻ｔ
＋１との画像データの画素（ブロック）を照合し、探索
するだけではなく、時刻ｔと時刻ｔ＋αとの画像データ
の画素（ブロック）を照合し、探索することができるも
のである。また、動きベクトルは、大きさと方向とを備
えるものであるが、ここでは、動きベクトルの方向のみ
に着目する。動きベクトルの方向は、０度から３６０度
までの角度によって与えられるものであり、この角度
は、右向きの水平方向を０度（３６０度）として、時計
と反対回りに増加するように付されたものである。な
お、動き検出部５が請求項３、５に記載した動きベクト
ル算出手段に相当するものである。

【００３３】ヒストグラム算出部７は、動き検出部５に
よって検出された被写体の動きベクトルに基づいて、必
要なデータを算出してヒストグラムを生成するものであ
る。このヒストグラム算出部７では、動きベクトルの大
きさ（移動量）が一定の値より大きくなる画素につい
て、動きベクトルの方向が求められ、各方向（角度）に
出現する動きベクトルの数が数えられる。そして、動画
像の所要時間に亘り、各画像データについて動きベクト
ルの数が数えられる。その後、動きベクトルの方向（角
度）と時間を軸とした２次元ヒストグラムが生成され
る。

【００３４】ヒストグラムとは、後記する図６に示すよ
うに、動きベクトルの方向と時間とを底面（ｘｙ軸）
に、出現頻度を高さ（ｚ軸）にとった分布関数のグラフ
表示であって、一般的なヒストグラムでは長方形の幅
（例えば、ｘｙ平面上のｘの長さ）は観測値の領域を分
割した区間を示しており、その高さ（ｚ軸における値）
は各区間に現出された観測回数を示すものである。

【００３５】また、このヒストグラムを描画するために
必要なデータとは、動きベクトル方向の角度と、画像デ
ータ（フレーム）の経過時間と、その画像データにおけ
る動きベクトル方向の角度毎にカウントされる動きベク
トルの数（出現数）とを指すものである。なお、ヒスト
グラム算出手段７が請求項３、５に記載したヒストグラ
ム生成手段に相当するものである。

【００３６】ところで、ヒストグラム算出部７によっ
て、生成された２次元ヒストグラムは、画像データ中の
被写体の位置に関する情報が含まれていないので、例え
ば、同じ動作をする人物が、画像データ中において、異
なった位置にいる場合でも２次元ヒストグラム自体はほ
とんど変わらない。しかしながら、画像データ中におい
て同じ動作をする人物の大きさが異なる場合、動きベク
トルの数が異なるので、２次元ヒストグラムの高さが異
なることになる。

【００３７】また、同じ動作であっても動作スピードが
異なれば、２次元ヒストグラム上の時間軸が伸縮するこ
とになる。さらに、動画像を得る際に、撮影カメラ（図
示せず）がパン、チルト、ズーム等のカメラワークを伴
って被写体を撮影した場合、これらのカメラワークは、
２次元ヒストグラムの特定のパターンとして現れる。こ
れらの被写体の状態や、撮影条件の違いを消去するため
に、ヒストグラム演算処理部９による処理が施される。

【００３８】ヒストグラム演算処理部９は、ヒストグラ
ム算出部７によって、生成された２次元ヒストグラム
を、動画像の画像データ上における被写体の大きさやス
ピードに応じて、正規分布化（正規化）、閾値処理、時
間軸方向の伸縮、時間軸および角度軸の精度変更、減算
処理等の演算処理を施すものである。つまり、被写体を
撮影カメラ等で撮影して動画像を得る際に、被写体の動
きに応じて、当該カメラが特定のカメラワーク（パン、
チルト、ズーム）を伴う場合、画像データ中の被写体の
大きさや被写体の位置が不規則に変化するが、このヒス
トグラム演算処理部９における演算処理により、被写体
の大きさや位置の不規則な変化が“補正”されることに
なる。また、カメラワークに伴って現れる動きベクトル
は、ヒストグラムとしては単純であり、定数値の減算処
理によって容易にヒストグラムが除去される。

【００３９】例えば、画像データ上における同一の被写
体（同一の動作）の大きさの違いは、２次元ヒストグラ
ムでは高さの違いとして現れる。この場合、２次元ヒス
トグラムの高さに対して閾値処理が施され、２次元ヒス
トグラムの高さが２値化される。この２値化処理によっ
て、閾値以上に動きベクトルの数（高さ）があれば、１
と、閾値以下であれば０となるので、画像データにおけ
る被写体の大きさの影響が消去される。また、被写体の
大きさの影響を消去する方法は、クリッピングや線形変
換による正規化等でも行うことができる。

【００４０】或いは、被写体の動作速度（スピード）の
違いによる２次元ヒストグラムの時間軸の伸縮について
は、２次元ヒストグラム上で、被写体の動作の開始点と
終了点とを検出し、この開始点から終了点までの時間の
間隔が、常に一定になるように２次元ヒストグラムの時
間軸を軸方向に伸縮する処理が施される。この処理が請
求項に記載した「時間軸方向の伸縮」に該当するもので
ある。

【００４１】ここで、補足しておくと、動画像を得る際
に用いられた撮影カメラ（図示せず）が、パン、チル
ト、ズーム等のカメラワークを伴って被写体を撮影した
場合、これらのカメラワークは２次元ヒストグラム上で
は以下のように現れる。パン（カメラの横方向の動き）
は、角度０度および３６０度または１８０度近辺の時間
軸に平行な直線として、チルト（カメラの上下方向の動
き）は角度９０度または２７０度近辺の時間軸に平行な
直線として現れる。

【００４２】また、撮影カメラのレンズのズームまたは
撮影カメラ本体が被写体に近づいたり遠ざかるカメラワ
ークでは、すべての動きベクトルの方向（角度）の変化
が画像データ上に現れるので、そのようなカメラワーク
のない場合の２次元ヒストグラムに対して、すべての角
度で一定値（出現頻度）が加算されたものとなる。これ
らが、ヒストグラム演算処理部９の減算処理により、一
定値減算される。なお、ヒストグラム演算処理部９が請
求項に記載したヒストグラム演算手段に相当するもので
ある。

【００４３】ヒストグラム照合部１１は、ヒストグラム
演算処理部９によって、演算処理されたヒストグラム
と、標準ヒストグラム記憶部に記憶されている標準ヒス
トグラムとを比較照合して、演算処理されたヒストグラ
ムが被写体のどのような動作を表しているかを判別する
ものである（被写体の動作認識をするものである）。な
お、ヒストグラム照合部１１が請求項に記載した動作認
識手段に相当するものである。

【００４４】標準ヒストグラム記憶部１３は、標準ヒス
トグラムを記憶しておくものであって、標準ヒストグラ
ムは、過去の動画像の画像データを累積したデータベー
スを参照して、推定されたものである。なお、標準ヒス
トグラムは、動作認識する被写体の、過去の動画像の画
像データから推定されたものであることが好ましい。な
お、標準ヒストグラム記憶部１３が請求項に記載した蓄
積手段に相当するものである。

【００４５】（動作認識装置の動作）次に、図２に示す
フローチャートを参照して、動作認識装置１の動作を説
明する。まず、標準ヒストグラムを標準ヒストグラム記
憶部１３に記憶させておく（Ｓ１）。この標準ヒストグ
ラムは、次のステップで撮影する動画像に含まれている
被写体の、過去の動画像、或いは、被写体がスポーツ選
手等であった場合、同じスポーツをする他の選手の写っ
ている動画像から得られたものである。例えば、スポー
ツの一例は、野球、テニス等である。

【００４６】そして、動作認識する対象となる動画像の
図示を省略した撮影装置で撮影する（Ｓ２）。撮影され
た動画像を映像入力部３へ入力する（Ｓ３）。すると、
動き検出部５が動きベクトルを算出する（Ｓ４）。この
動きベクトルは、この実施の形態では、ブロックマッチ
ング法によって求められるものであり、ブロックマッチ
ング法は、動画像中の画像データ（フレーム）の微小ブ
ロックと、その直前の画像データ（フレーム）の微小ブ
ロックとにおける、色差、輝度差等に基づいて、被写体
の動きベクトルを求められるものである。

【００４７】この後、動き検出部５において、算出され
た動きベクトルは、ヒストグラム算出部７に出力され、
このヒストグラム算出部７は、図３（ａ）に示すよう
な、動きベクトルの方向と画像データの経過時間とを底
面の２軸とした２次元のヒストグラムを生成する（Ｓ
５）。さらに、ヒストグラム算出部７において生成され
たヒストグラムは、ヒストグラム演算処理部９に出力さ
れ、このヒストグラム演算処理部９は、この実施の形態
では、図３（ｂ）に示すような、閾値処理を施したヒス
トグラムの濃淡表示を出力する（Ｓ６）。

【００４８】そして、ヒストグラム演算処理部９におい
て、演算処理されたヒストグラムは、ヒストグラム照合
部１１に出力され、このヒストグラム照合部１１は、演
算処理されたヒストグラムと、標準ヒストグラム記憶部
１３に記憶されている標準ヒストグラムとを比較、照合
し、その出力結果を認識結果として、動作認識装置１の
外部に設けられている表示装置（図示せず）に表示出力
する（Ｓ７）。

【００４９】なお、ヒストグラム照合部１１にて、演算
処理したヒストグラムと標準ヒストグラムとを照合した
結果、動画像中の被写体の動作の認識結果が良好でない
と、ユーザが判断した場合には、標準ヒストグラム記憶
部１３に記憶してある標準ヒストグラムを別のサンプル
（他の被写体）から得られた標準ヒストグラムに変更す
るか、ヒストグラム演算処理部９における演算処理を変
更する等の処置がユーザによってなされる。

【００５０】（動作認識装置による被写体の動作認識
例１）次に、図４から図６を参照して、動作認識装置１
の簡略化した動画像の動作認識の例を説明する。図４
は、動画像のある時刻ｔにおける画像データ（フレー
ム）と、この画像データ（フレーム）の直後の時刻ｔ＋
１における画像データ（フレーム）とを示したものであ
る。図４（ａ）に示すように、時刻ｔにおける画像デー
タは、図中の中間よりやや左側に位置する“車”と、図
中の右上方に位置する“鳥”とが含まれて構成されてお
り、図４（ｂ）に示すように、図中の中間に位置する
“車”と図中の右側中程に位置する“鳥”とが含まれて
構成されている。

【００５１】図４（ａ）に示した画像データと図４
（ｂ）に示した画像データとは連続した時系列データと
して構成されており、被写体（この場合、“車”、
“鳥”）が動くことにより、各画像データ（フレーム）
における位置や形状が微妙に異なる。つまり、ある時刻
ｔにおける“車”と“鳥”の画像データ（図４（ａ））
があれば、“車”が横方向へと、“鳥”が右下方向へと
動くことにより、次の時刻ｔ＋１において“車”と
“鳥”の位置が変化し、図４（ｂ）に示したようにな
る。

【００５２】そして、時刻ｔの画像データにおける点
（画素）が、次の時刻ｔ＋１でどの方向へ、どの程度動
いたのかを表すものが、動きベクトルであり、被写体
（“車”、“鳥”）の動きベクトルが動き検出部５にお
いて検出される。また、ここで補足しておくと、画像デ
ータ（フレーム）全体或いはその一部についての動きベ
クトルの集まりを総合的に動き情報という。

【００５３】図４（ａ）から図４（ｂ）に変遷した動き
情報を図５（ａ）に示す。この図５（ａ）に示すよう
に、“車”の動きベクトルでは、動きベクトルの集まり
が、実際の車の外観を彷彿させるのに対し、“鳥”の動
きベクトルでは、動きベクトルの集まりから「何かが動
いている」ということ以外、読みとることはできない。
つまり、これら、動きベクトルのみでは、被写体が何で
あるかがわからない場合があり、動作認識を行うことは
できない。それゆえ、被写体の動作認識を行うために
は、この動きベクトルからヒストグラムを生成する必要
が生じる。

【００５４】一般に動きベクトル（ベクトル）は、方向
と大きさとの２つの値を関連づけて表されたものである
が、ここ（本願発明および本実施の形態）では、動きベ
クトルの方向のみに着目する。ヒストグラム算出部７
が、動きベクトルの方向のみのヒストグラムを生成す
る。つまり、動きベクトルの方向は、真横右方向を０度
とし、時計と反対周りに増加する０度から３６０度の角
度の値で表現され、画像データ全体或いは画像データの
一部の領域について、各方向を向いている動きベクトル
の数をカウントする。なお、このとき、各方向とそれに
対応する出現頻度の関数は、動き方向のヒストグラムと
呼ばれる。

【００５５】図５（ａ）に示した動き情報について、動
き方向のヒストグラムを表示すると図５（ｂ）のように
なる。つまり、“車”は横右方向へ動いているので、
“車”に対応する動きベクトルは０度（および３６０
度）付近に密集して現れる、即ち、０度付近で出現頻度
のピークが発生する。また、“鳥”は右下方向へ動いて
いるので、“鳥”に対応する動きベクトルは３３０度付
近に密集して現れる、即ち、３３０度付近で出現頻度の
ピークが発生する。そして、図５（ａ）に示されるよう
に、“車”に対応する動きベクトルの数が“鳥”に対応
する動きベクトルの数よりも多いので、“車”の出現頻
度のピークの方が“鳥”の出現頻度のピークよりも高く
なっている。

【００５６】このように、ある時刻ｔと直後の時刻ｔ＋
１との画像データに基づいて、動きベクトルの動き方向
のヒストグラムを求めることができる。そして、このヒ
ストグラムの求め方を、連続した画像データに適用させ
ると、各時刻の各画像データにおけるヒストグラムを求
めることができる。さらに、各時刻の各画像データのヒ
ストグラムを、経過した時間順に並べると、図６に示す
ような、動きベクトルの方向と時間とを底面の軸とした
２次元ヒストグラムが得られる。

【００５７】この図６は、時間経過に伴い、“車”が横
左方向から横右方向に移動すると共に、“鳥”が右下に
動き続けた場合の２次元ヒストグラムであり、０度（３
６０度）および３３０度に出現頻度のピークが現れてい
る。“鳥”が画像（画像データ）外に出たら、この
“鳥”に対応した出現頻度の小さいピークが消えてなく
なり、“車”が画像外に出たら、この“車”に対応した
出現頻度の大きいピークは消えてなくなる。また、仮に
“車”が反対方向に、つまり、横左方向へ動いたら、
“車”に対応する、動きベクトルの方向の出現頻度のピ
ークは、１８０度付近に現れることになる。また、仮
に、“鳥”の動きの方向に変化があれば、各時刻におい
て、出現頻度のピークは異なる角度において現れること
になる。

【００５８】ここで、補足しておくと、２次元ヒストグ
ラムは動画像における被写体の動きを特徴付けるもので
あり、この２次元ヒストグラムには、画像データにおけ
る被写体の位置に関する情報が全く反映されておらず、
当該２次元ヒストグラムのグラフの形状と、被写体の動
きが現れる位置とは無関係である。また、同一の被写体
であっても、パン、チルト、ズーム等のカメラワークの
違いによって、画像データ上の被写体の大きさが異なる
場合、或いは、複数の被写体の移動スピードが異なる場
合には、２次元ヒストグラムにその影響が及ぶが、ヒス
トグラム演算処理部９によって、影響が消去される。

【００５９】そして、ヒストグラム照合部１１によっ
て、被写体の動作認識が行われる。特に、被写体が人物
であり、特定の動作について標準の２次元ヒストグラム
を標準ヒストグラム記憶部１３に記憶している場合、与
えられた画像データから２次元ヒストグラムを生成し、
記憶されているものと照合することによって動作を識別
することができる。

【００６０】（動作認識装置による被写体の動作認識
例２）さらに、図７から図１３を参照して、動作認識装
置１をスポーツ選手（野球）の動作認識に具体的に応用
した例を説明する。この動作認識装置１によって、どの
程度、動作認識が可能かどうかを検討するために、図７
に示す実験用動作データ（動画像）を用意した。この実
験用動作データは、それぞれ２人分の「ピッチャーが投
球する」、「バッターが構える前にバットを振る」、
「走っている選手をカメラが追っている」の約７０フレ
ームの画像系列（連続する７０個の画像データ）であ
る。

【００６１】それぞれの実験用動作データについて、ヒ
ストグラム算出部７によって画像面全体を用いて、ヒス
トグラムを求め、ヒストグラム演算処理部９によって閾
値処理を施した。また、１つのヒストグラムを基準とし
て選び、そのヒストグラムと重なりが最大となるよう
に、他のヒストグラムを時間軸方向にずらした。これら
のヒストグラムを図８に示した。

【００６２】ヒストグラムの関係を分析するために、ヒ
ストグラム照合部１１において、多次元尺度法（プログ
ラムのアルゴリズムとして）を用いた。多次元尺度法
は、多次元パターンの間の距離を元にして、低次元特徴
空間におけるパターンの配置を求める方法である。

【００６３】ヒストグラムをＨ（φ，ｔ）と表し、ｉと
ｊ番目の映像のヒストグラム間距離を

【数１】 として定義する。但し、ΦとＴとは、それぞれ、ヒスト
グラムの方向軸と時間軸との範囲である。

【００６４】この多次元尺度法による分析結果を図９に
示す。このときのデータ点と映像内容の対応は、図１０
に示す通りである。これらの結果から分かるように、そ
れぞれ動作に対応しているデータが特徴空間で明確なク
ラスタを形成している。すなわち、ヒストグラムによ
り、動作の識別（動作認識）が可能であることを示して
いる。

【００６５】特徴空間におけるデータのクラスタの配置
は、ヒストグラムを求めるときの閾値、方向軸の刻みの
精度などに影響される。それについて検討した結果につ
いて述べる。低次元特徴空間におけるクラスタ間の関係
を定量的に評価するために分離度という指標を用いる。

【００６６】分離度は

【数２】 のように定義する。ここで、Ｄ_i,jクラスタｉとｊの中
心の距離であり、σ² _i,jは、クラスタｉとｊの中心を結
ぶ直線に、クラスタｉのデータを射影して分散を求めた
ものである。

【００６７】このように定義した分離度はクラスタ分離
のしやすさを定量的に表すもので、値が大きい場合はク
ラスタが分離しやすいことを意味している。ヒストグラ
ムの閾値をθ＝１、方向軸の刻みを１度ずつとした場
合、分離度は図１１に示すようになる。分離度を用い
て、ヒストグラムを求める時の閾値の影響を調べる。ヒ
ストグラム方向軸の刻みを１度に固定し、閾値の値をθ
＝１からθ＝１００までに変えながら、分離度の最小
値、最大値と平均値のそれぞれを求めた。この結果を図
１２に示す。

【００６８】この図１２からわかるように、グラフには
明確なピークが現れ、平均値の値に注目すると、ピーク
はθ＝６のときに現れる。この結果は閾値には最適な値
が存在することを示している。次はヒストグラムの方向
軸の刻みと分離度の関係について検討する。この場合、
閾値を図１２のグラフによる最適値、すなわち、θ＝６
に固定し、刻みを１〜９０度の範囲で変えながら分離度
の最小値、最大値と平均値とのそれぞれを求めた。その
結果を図１３に示す。この図１３からわかるように。刻
みの最も細かい場合（１度ずつ）に分離度の最大値が得
られる。分析の結果はヒストグラムを元にして動作の識
別が可能であることを示唆するものである。

【００６９】この実施の形態では、以下の効果を奏す。
動作認識装置１は、特殊な条件を付加しない状態で撮影
された映像（動画像）を映像入力部３に入力されると、
動き検出部５によって、被写体の動きベクトルが算出さ
れ、ヒストグラム算出部７によって、動きベクトルの方
向の出現頻度に基づくヒストグラムが生成され、ヒスト
グラム照合部９によって、生成されたヒストグラムと、
標準ヒストグラム記憶部１３に記憶されている標準ヒス
トグラムとが比較され、この比較結果に基づいて被写体
の動作認識がなされる。この結果、一般的な映像中の被
写体の動作認識を行うことができる。

【００７０】また、動作認識装置１では、ヒストグラム
演算処理部９によって、ヒストグラムに対し、正規化、
閾値処理、時間軸方向の伸縮、時間軸および角度軸の精
度変更、減算処理の少なくとも１つが施されることによ
って、被写体の大きさ、被写体撮影時の撮影カメラのカ
メラワーク、被写体の動作スピードによるヒストグラム
への影響が消去（排除）される。つまり、撮影時の撮影
カメラによるカメラワーク（ズーム、パン、チルト）に
よって生じる被写体の大きさの変化等の影響がなくな
り、最適な動作認識結果を導き出すことができる。

【００７１】以上、一実施形態に基づいて本発明を説明
したが、本発明はこれに限定されるものではない。例え
ば、この実施の形態では、動作認識装置１として、説明
したが、動作認識装置１の構成である動き検出部５と、
ヒストグラム算出部７と、ヒストグラム演算処理部９と
の一連の処理を、動画像の画像データから被写体の動作
の特徴を抽出する方法（動作特徴抽出法）とみなすこと
ができる。

【００７２】この動作特徴抽出法では、まず、動画像の
画像データのある部分、つまり、ある画像データとその
直前の画像データとに基づいて被写体の動きベクトルを
算出する。この動きベクトルは方向と大きさを備えてい
るが、方向の出現頻度のみに着目し、動画像の画像デー
タの変遷に伴うヒストグラムを生成する。その後、この
ヒストグラムから被写体の動作の特徴を得ることにな
る。つまり、特殊な条件下で撮影されていない、一般的
な映像（動画像）においても、被写体の動作の特徴を抽
出することができる。

【００７３】また、この動作特徴抽出法では、生成され
るヒストグラムの高さは、認識する対象となる被写体の
大きさに依存するが、ここで、ヒストグラムに対し、正
規化、閾値処理、時間軸方向の伸縮、時間軸および角度
軸の精度変更、減算処理の少なくとも１つを施すこと
（ヒストグラム演算処理部９の処理に相当する）によっ
て、被写体の大きさによるヒストグラムへの影響が消去
（排除）される。このため、例えば、撮影時の撮影カメ
ラによるカメラワークの影響がなくなり、最適な動作の
特徴を導き出すことができる。

【００７４】或いは、動作認識装置１の各構成において
行われる処理、動き検出部５、ヒストグラム算出部７、
ヒストグラム演算処理部９、ヒストグラム照合部１１、
標準ヒストグラム記憶部１３を、コンピュータ上で実行
可能なプログラム（動作認識プログラム）として記述
し、このプログラムをコンピュータ上で実行することは
可能である。また、このプログラムをコンピュータで読
み取り可能な記憶媒体に格納（記憶）して、流通させる
ことも可能である。この動作認識プログラムは、動作認
識装置１と同様な作用効果を得ることができる。

【００７５】

【発明の効果】請求項１記載の発明によれば、この方法
では、まず、動画像の画像データのある部分、つまり、
基準とする画像データおよび一定時間経過後の画像デー
タに基づいて被写体の動きベクトルを算出する。この動
きベクトルは方向と大きさを備えているが、方向の出現
頻度に着目し、動画像の画像データの変遷に伴うヒスト
グラムを生成する。その後、このヒストグラムから被写
体の動作の特徴を得る。このため、特殊な条件下で撮影
されていない、一般的な映像（動画像）においても、被
写体の動作の特徴を抽出することができる。

【００７６】請求項２記載の発明によれば、生成される
ヒストグラムの高さは、認識する対象となる被写体の大
きさに依存するが、ここで、ヒストグラムに対応させ
て、正規化、閾値処理の少なくとも１つを施すことによ
って、被写体の大きさによるヒストグラムへの影響が消
去（排除）される。このため、例えば、撮影時の撮影カ
メラによるカメラワークによって生じる被写体の大きさ
変化の影響がなくなり、最適な動作の特徴を導き出すこ
とができる。

【００７７】請求項３記載の発明によれば、ヒストグラ
ムに対して、時間軸方向の伸縮を施すことによって、被
写体の動作スピードの違いによるヒストグラムへの影響
が消去（除去）される。時間軸および角度軸の精度を可
変（精度変更）にしておくとにより、予め、実験的に求
められた、最も高い認識精度で動作認識できる時間軸お
よび角度軸に設定される。さらに、減算処理により、ヒ
ストグラム全体或いはヒストグラムの特定の角度におけ
る値から一定値が減算されることによって、被写体を撮
影する時に用いられる撮影カメラのカメラレンズのズー
ムや、撮影カメラ自体の動きによるヒストグラムへの影
響が消去（除去）される。なお、撮影カメラ自体の動き
とは、撮影カメラを被写体に近づけたり遠ざける操作、
撮影カメラを左右方向に振る、いわゆるパン操作、撮影
カメラを上下方向に振る、いわゆるチルト操作による動
きのことを指すものである。このため、撮影時の撮影カ
メラによるカメラワークがヒストグラムに及ぼす影響が
なくなり、最適な動作の特徴が導き出されると共に、高
い認識精度で動作認識することができる。

【００７８】請求項４記載の発明によれば、動きベクト
ル算出手段によって、被写体の動きベクトルが算出さ
れ、ヒストグラム生成手段によって、動きベクトルの方
向の出現頻度に基づくヒストグラムが生成され、動作認
識手段によって、生成されたヒストグラムと、蓄積手段
に蓄積されている標準ヒストグラムとが比較され、この
比較結果に基づいて被写体の動作認識がなされる。この
結果、一般的な映像中の被写体の動作認識を行うことが
できる。

【００７９】請求項５記載の発明によれば、動作認識装
置において、ヒストグラムに対し、ヒストグラム演算手
段によって、正規化、閾値処理の少なくとも１つが施さ
れ、被写体の大きさによるヒストグラムへの影響が消去
（排除）される。つまり、例えば、撮影時の撮影カメラ
によるカメラワークによって生じる被写体の大きさ変化
の影響がなくなり、最適な動作認識結果を導き出すこと
ができる。

【００８０】請求項６記載の発明によれば、動作認識装
置において、ヒストグラム演算手段によって、ヒストグ
ラムに対して、時間軸方向の伸縮が施され、被写体の動
作スピードの違いによるヒストグラムへの影響が消去
（除去）される。また、時間軸および角度軸の精度を可
変（精度変更）にしておくとにより、予め、実験的に求
められた、最も高い認識精度で動作認識できる時間軸お
よび角度軸に設定される。さらに、減算処理が施され、
ヒストグラム全体或いはヒストグラムの特定の角度にお
ける値から一定値が減算されることによって、被写体を
撮影する時に用いられる撮影カメラのカメラレンズのズ
ームや、撮影カメラ自体の動きによるヒストグラムへの
影響が消去（除去）される。なお、撮影カメラ自体の動
きとは、撮影カメラを被写体に近づけたり遠ざける操
作、撮影カメラを左右方向に振る、いわゆるパン操作、
撮影カメラを上下方向に振る、いわゆるチルト操作によ
る動きのことを指すものである。このため、撮影時の撮
影カメラによるカメラワークがヒストグラムに及ぼす影
響がなくなり、最適な動作の特徴が導き出されると共
に、高い認識精度で動作認識することができる。

【００８１】請求項７記載の発明によれば、コンピュー
タを機能させるプログラムとして記述された動きベクト
ル算出手段によって、被写体の動きベクトルが算出さ
れ、ヒストグラム生成手段によって、動きベクトルの方
向の出現頻度に基づくヒストグラムが生成され、動作認
識手段によって、生成されたヒストグラムと、蓄積手段
に蓄積されている標準ヒストグラムとが比較され、この
比較結果に基づいて被写体の動作認識がなされる。この
結果、一般的な映像中の被写体の動作認識を行うことが
できる。

【００８２】請求項８記載の発明によれば、動作認識プ
ログラムにおいて、ヒストグラム演算手段によって、ヒ
ストグラムに対応させて、正規化、閾値処理の少なくと
も１つが施され、被写体の大きさによるヒストグラムへ
の影響が消去（排除）される。つまり、例えば、撮影時
の撮影カメラによるカメラワークによって生じる被写体
の大きさ変化の影響がなくなり、最適な動作認識結果を
導き出すことができる。

【００８３】請求項９記載の発明によれば、動作認識プ
ログラムにおいて、ヒストグラム演算手段によって、ヒ
ストグラム演算手段によって、ヒストグラムに対して、
時間軸方向の伸縮が施され、被写体の動作スピードの違
いによるヒストグラムへの影響が消去（除去）される。
また、時間軸および角度軸の精度を可変（精度変更）に
しておくとにより、予め、実験的に求められた、最も高
い認識精度で動作認識できる時間軸および角度軸に設定
される。さらに、減算処理が施され、ヒストグラム全体
或いはヒストグラムの特定の角度における値から一定値
が減算されることによって、被写体を撮影する時に用い
られる撮影カメラのカメラレンズのズームや、撮影カメ
ラ自体の動きによるヒストグラムへの影響が消去（除
去）される。なお、撮影カメラ自体の動きとは、撮影カ
メラを被写体に近づけたり遠ざける操作、撮影カメラを
左右方向に振る、いわゆるパン操作、撮影カメラを上下
方向に振る、いわゆるチルト操作による動きのことを指
すものである。このため、撮影時の撮影カメラによるカ
メラワークがヒストグラムに及ぼす影響がなくなり、最
適な動作の特徴が導き出されると共に、高い認識精度で
動作認識することができる。

【図面の簡単な説明】

【図１】本発明による一実施の形態である動作認識装置
のブロック図である。

【図２】動作認識装置の動作を説明したフローチャート
である。

【図３】動作認識装置のヒストグラム算出部によって生
成されるヒストグラムと、ヒストグラム演算処理部によ
って処理されたヒストグラムとを説明した説明図であ
る。

【図４】（ａ） 動作認識装置の簡略化した動画像の動
作認識の例を説明した説明図（時刻ｔにおける画像デー
タ）である。 （ｂ） 動作認識装置の簡略化した動画像の動作認識の
例を説明した説明図（時刻ｔ＋１における画像データ）
である。

【図５】（ａ） 動作認識装置の簡略化した動画像の動
作認識の例を説明した説明図（動き情報）である。 （ｂ） 動作認識装置の簡略化した動画像の動作認識の
例を説明した説明図（動くベクトル方向）である。

【図６】動作認識装置の簡略化した動画像の動作認識の
例を説明した説明図（生成されたヒストグラム）であ
る。

【図７】動作認識装置をスポーツ選手（野球）の動作認
識に具体的に応用した例を説明した説明図（実験用動作
データ）である。

【図８】動作認識装置をスポーツ選手（野球）の動作認
識に具体的に応用した例を説明した説明図（閾値処理し
たヒストグラム）である。

【図９】動作認識装置をスポーツ選手（野球）の動作認
識に具体的に応用した例を説明した説明図（ヒストグラ
ムの相互関係）である。

【図１０】動作認識装置をスポーツ選手（野球）の動作
認識に具体的に応用した例を説明した説明図（データの
点の対応）である。

【図１１】動作認識装置をスポーツ選手（野球）の動作
認識に具体的に応用した例を説明した説明図（分離度の
例）である。

【図１２】動作認識装置をスポーツ選手（野球）の動作
認識に具体的に応用した例を説明した説明図（閾値と分
離度の関係）である。

【図１３】動作認識装置をスポーツ選手（野球）の動作
認識に具体的に応用した例を説明した説明図（方向軸刻
みと分離度の関係）である。

【符号の説明】

１ 動作認識装置 ３ 映像入力部 ５ 動き検出部（ベクトル算出部） ７ ヒストグラム算出部（ヒストグラム生成手段） ９ ヒストグラム演算処理部（ヒストグラム演算手段） １１ ヒストグラム照合部（動作認識手段） １３ 標準ヒストグラム記憶部（蓄積手段）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C021 RA01 RA16 5L096 BA08 CA04 DA05 EA13 EA18 FA35 FA67 GA08 GA51 GA59 HA02 HA04 HA07 JA03

Claims (9)

【特許請求の範囲】
1. 【請求項１】 動画像の画像データから被写体の動作の
   特徴を抽出する動作特徴抽出法であって、 基準とする画像データおよび一定時間経過後の画像デー
   タに基づいて前記被写体の動きベクトルを算出し、 この算出した動きベクトルの方向の出現頻度からなる、
   前記動画像の画像データの変遷に伴うヒストグラムを生
   成し、 このヒストグラムから前記被写体の動作の特徴を抽出す
   る動作特徴抽出法。
2. 【請求項２】 前記ヒストグラムに対応させて、正規
   化、閾値処理の少なくとも１つを行うことによって、前
   記被写体の動作の特徴を抽出する請求項１に記載の動作
   特徴抽出法。
3. 【請求項３】 前記ヒストグラムに対応させて、時間軸
   方向の伸縮、時間軸および角度軸の精度変更、減算処理
   の少なくとも１つを行うことによって、前記被写体の動
   作の特徴を抽出する請求項１に記載の動作特徴抽出法。
4. 【請求項４】 認識対象となる被写体を含んだ動画像の
   画像データおよびこの動画像を認識する以前に得る、前
   記被写体を含んだ従前の動画像の画像データから被写体
   の動作を認識する動作認識装置であって、 基準とする画像データおよび一定時間経過後の画像デー
   タに基づいて前記被写体の動きベクトルを算出する動き
   ベクトル算出手段と、 この動きベクトル算出手段によって算出された動きベク
   トルの方向の出現頻度からなる、前記動画像の画像デー
   タの変遷に伴うヒストグラムを生成するヒストグラム生
   成手段と、 前記従前の動画像の画像データから求めた標準ヒストグ
   ラムを蓄積している蓄積手段と、 この蓄積手段に蓄積されている標準ヒストグラムと前記
   ヒストグラムとの比較結果に基づいて、前記被写体の動
   作を認識する動作認識手段と、 を備えたことを特徴とする動作認識装置。
5. 【請求項５】 前記動作認識手段は、前記ヒストグラム
   に対応させて、正規化、閾値処理の少なくとも１つを行
   うヒストグラム演算手段を備えたことを特徴とする請求
   項４に記載の動作認識装置。
6. 【請求項６】前記動作認識手段は、前記ヒストグラムに
   対応させて、時間軸方向の伸縮、時間軸および角度軸の
   精度変更、減算処理の少なくとも１つを行うヒストグラ
   ム演算手段を備えたことを特徴とする請求項４に記載の
   動作認識装置。
7. 【請求項７】 動画像の画像データから被写体の動作を
   認識するためにコンピュータを、 基準とする画像データおよび一定時間経過後の画像デー
   タに基づいて前記被写体の動きベクトルを算出する動き
   ベクトル算出手段、 この動きベクトル算出手段によって算出された動きベク
   トルの方向の出現頻度からなる、前記動画像の画像デー
   タの変遷に伴うヒストグラムを生成するヒストグラム生
   成手段、 前記動画像を認識する以前に得る、前記被写体を含んだ
   従前の動画像の画像データから求めた標準ヒストグラム
   を蓄積している蓄積手段、 この蓄積手段に蓄積されている標準ヒストグラムと前記
   ヒストグラムとの比較結果に基づいて、前記被写体の動
   作を認識する動作認識手段、として機能させることを特
   徴とする動作認識プログラム。
8. 【請求項８】 前記動作認識手段は、前記ヒストグラム
   に対応させて、正規化、閾値処理の少なくとも１つを行
   うヒストグラム演算手段を備えたことを特徴とする請求
   項７に記載の動作認識プログラム。
9. 【請求項９】 前記動作認識手段は、前記ヒストグラム
   に対応させて、時間軸方向の伸縮、時間軸および角度軸
   の精度変更、減算処理の少なくとも１つを行うヒストグ
   ラム演算手段を備えたことを特徴とする請求項７に記載
   の動作認識プログラム。 【０００１】