JP2003141544A - 被写体の動き評価方法及び被写体の動き評価プログラム及び被写体の動き評価プログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 代表動きベクトルで表現できない「均一度が
小さい動き」と、代表輝度変化量で表現できない「均一
度が大きい動き」の両方を特徴付けることを可能とす
る。 【解決手段】 本発明は、ブロックの代表動きベクトル
の差と、ブロックの代表輝度変化量の差の絶対値を、動
きの均一度によって重み付けし、動きの沿う緯度を評価
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の動き評価
方法及び被写体の動き評価プログラム及び被写体の動き
評価プログラムを格納した記憶媒体に係り、特に、動く
被写体を撮影した動画像について、検索のために被写体
の動きを符号化した動きを比較し、類似性を評価するた
めの被写体の動き評価方法及び被写体の動き評価プログ
ラム及び被写体の動き評価プログラムを格納した記憶媒
体に関する。

【０００２】

【従来の技術】ビデオ画像などの動画像中の動きを符号
化する方法や、符号化した動きを比較する方法は、例え
ば、Ramprasad Polana and Randal Nelson, "TEMPORAL
TEXTURE AND ACTIVITY RECOGNITION" Motion-Based Rec
ognition, Kluwer Academic Publishers（以下、文献１
と記す）に述べられているものがある。以下に、文献１
に述べられている方法を説明する。

【０００３】まず、動画像の全フレーム及び全画素につ
いて動きパラメータを算出する。動きを表すパラメータ
には、画素毎の輝度の時間変化量やその絶対値や、画素
に対応する被写体の点の動きベクトルがある。動きベク
トルは、例えば、勾配法や、ブロックマッチング法によ
って得られる。

【０００４】次に、被写体の映っている領域を覆う長方
形の領域と、被写体の動きの開始フレームと終了フレー
ムを定める。この開始フレームと終了フレームの間の長
方形の領域の時系列は、時空間画像内の直方体状の領域
となる。

【０００５】以下、図５に示すように、画像の横方向を
ｘ軸、縦方向をｙ軸、時間をｔ軸で表す。時空間画像内
の直方体の領域を、ｘ軸方向にｎ分割、ｙ軸方向にｍ分
割、ｔ軸方向にｋ分割し、全体でｎ×ｍ×ｋ個のブロッ
クに分割する。そして、このブロックの中に含まれる複
数の画素の動きパラメータを平均し、ブロックの動きパ
ラメータとする。

【０００６】文献１では、画素の動きパラメータとして
一つのスカラ量を選択し、ブロックの動きパラメータも
同じく一つのスカラ量とする方法が示されている。この
ようにすると、時空間画像の直方体の領域の中の被写体
の動きが、ｎ×ｍ×ｋ次元のベクトルで符号化されたこ
とになる。このベクトルの差によって、動きの相違度を
評価することができる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の文献１における方法では、以下のような問題が生じ
る。

【０００８】動きパラメータとして、動きベクトルの方
向を選択した場合、以下に示す２種類の動きを判別でき
ないという問題がある。今、ブロック内の動きベクトル
が図６に示されているブロック２１と図７に示されてい
るブロック３１を比較するとする。図６は、全ての画素
で動きが発生しているが、動きの方向が不揃いであるよ
うな状態を模式的に表している。このような状態は、例
えば、木が揺れている様子や、ブロック内で複数の物体
がばらばらに動いているような場合に発生し得る。この
ような動きを「均一度が小さい動き」と称する。図７
は、一つの画素だけで動きが発生していて他の画素では
被写体が静止しているような状態を模式的に表してい
る。このような状態は、例えば、静止した背景の中で小
さな物体が少し動いているような場合に発生し得る。動
きベクトル２２を平均すると図８の代表ベクトル４２に
なり、動きベクトル３２を同様に平均すると図９の代表
ベクトル５２になる。２つの代表ベクトルは偶然類似し
たものとなる可能性がある。このとき、２つの動きは全
く異なっているにも関わらず、それらを区別できない。
画素のパラメータとして画素の輝度の時間変化量の絶対
値（画素の輝度変化量）を選択した場合、図１０に示す
ような横方向に周期性のある模様が画面右向きに動いて
いる場合、左向きに動いている場合を区別できないとい
う問題がある。なぜなら、画素の輝度変化量をブロック
内で平均し、代表輝度変化量を求めると、どちらも同程
度になるためである。このようにブロックの内部で全体
的に被写体が同一方向に動いているような動きを、以下
では、「均一度が大きい動き」と称する。

【０００９】本発明は、上記の点に鑑みなされたもの
で、代表動きベクトルで表現できない「均一度が小さい
動き」と、代表輝度変化量で表現できない「均一度が大
きい動き」の両方を特徴付けることが可能な動きの符号
化及び比較を行なうための被写体の動き評価方法及び被
写体の動き評価プログラム及び被写体の動き評価プログ
ラムを格納した記憶媒体に関する。

【００１０】

【課題を解決するための手段】本発明（請求項１）は、
時空間画像中の動く２つの被写体の動きを比較する被写
体の動き評価方法において、処理の対象とする動画像の
時空間領域を入力し、各時空間領域を複数のブロックに
分割し、分割されたブロックに含まれる画素の輝度の時
間変化量と動きベクトルを求め、画素の輝度の時間変化
量と動きベクトルから、時空間領域に含まれる全てのブ
ロックの代表輝度差分と代表動きベクトルを求め、時空
間領域に含まれる全てのブロックの代表輝度差分と代表
動きベクトルを組にしたものを、被写体の動きの符号と
する。

【００１１】本発明（請求項２）は、時空間領域とし
て、領域のｘ軸の最大値と最小値、ｙ軸の最大値と最小
値、及び開始時刻と終了時刻を入力し、時空間領域をｘ
軸方向、ｙ軸方向、時間軸方向にブロック分割し、時空
間領域内の画素毎に輝度の時間変化量の絶対値を算出
し、時空間領域内の各画素について動きベクトルを算出
し、輝度の時間変化量の絶対値と動きベクトルから、分
割されたブロック毎に代表輝度差分と代表動きベクトル
を求め、該代表輝度差分と該代表動きベクトルを当該ブ
ロックの被写体の動きの符号とする。

【００１２】本発明（請求項３）は、時空間画像中の動
く２つの被写体の動きを比較する被写体の動き評価方法
において、ブロックの代表輝度差分と代表動きベクトル
を組にした２つの被写体の動きの符号を入力し、２つの
被写体の動きの符号の対応するブロックの代表輝度差分
の相違度を求め、２つの符号の対応するブロックの代表
動きベクトルの相違度を求め、ブロック毎の代表輝度差
分と代表動きベクトルの相違度を合計したものを２つの
被写体の動きの相違度とする。

【００１３】本発明（請求項４）は、２つの被写体の動
きの符号から代表輝度差分の差の絶対値と代表動きベク
トルの差の絶対値を求め、ブロック内の画素の動きの均
一度を求め、所定の関数を用いて代表輝度差分の差の絶
対値と代表動きベクトルの差の絶対値をブロックの均一
度によって重み付けし、２つの被写体の動きの相違度を
求める。

【００１４】図１は、本発明の原理を説明するための図
である。

【００１５】本発明（請求項５）は、時空間画像中の動
く２つの被写体の動きを比較する被写体の動き評価方法
において、処理の対象とする動画像の時空間領域を入力
し（ステップ１）、各時空間領域を複数のブロックに分
割し（ステップ２）、分割されたブロックに含まれる画
素の輝度の時間変化量と動きベクトルを求め（ステップ
３）、画素の輝度の時間変化量と動きベクトルから、時
空間領域に含まれるすべてのブロックの代表輝度差分と
代表動きベクトルを求め（ステップ４）、時空間領域に
含まれる全てのブロックの代表輝度差分と代表動きベク
トルを組にしたものを、被写体の動きの符号する（ステ
ップ５）符号化過程と、２つの被写体の動きの符号を入
力し、２つの被写体の動きの符号の対応するブロックの
代表輝度差分の相違度を求め（ステップ６）、２つの符
号の対応するブロックの代表動きベクトルの相違度を求
め（ステップ７）、ブロック毎の代表輝度差分と代表動
きベクトルの相違度を合計したものを２つの被写体の動
きの相違度とする（ステップ８）評価過程からなる。

【００１６】本発明（請求項６）は、符号化過程におい
て、時空間領域として、領域のｘ軸の最大値と最小値、
ｙ軸の最大値と最小値、及び開始時刻と終了時刻を入力
し、時空間領域をｘ軸方向、ｙ軸方向、時間軸方向にブ
ロック分割し、時空間領域内の画素毎に輝度の時間変化
量の絶対値を算出し、時空間領域内の各画素について動
きベクトルを算出し、分割されたブロック毎に代表輝度
差分と代表動きベクトルを求め、該代表輝度差分と該代
表動きベクトルを当該ブロックの被写体の動きの符号と
し、評価過程において、２つの被写体の動きの符号から
代表輝度差分の差の絶対値と代表動きベクトルの差の絶
対値を求め、ブロック内の画素の動きの均一度を求め、
代表輝度差分の差の絶対値と代表動きベクトルの差の絶
対値を均一度によって重み付けし、２つの被写体の動き
の相違度を求める。

【００１７】本発明（請求項７）は、時空間画像中の動
く２つの被写体の動きを比較する被写体の動き評価プロ
グラムであって、動画像の時空間領域として、該時空間
領域のｘ軸の最大値及び最小値、ｙ軸の最大値及び最小
値、開始時刻及び終了時刻を入力するプロセスと、時空
間領域に含まれる画素毎に、輝度の時間変化量の絶対値
を算出するプロセスと、指定された時空間領域内の各画
素について動きベクトルを算出するプロセスと、時空間
領域をｘ軸方向、ｙ軸方向、時間軸方向にブロック分割
するプロセスと、輝度の時間変化量の絶対値から、分割
されたそれぞれのブロックの代表輝度差分を算出するプ
ロセスと、動きベクトルから、分割されたそれぞれのブ
ロックの代表動きベクトルを算出するプロセスと、ブロ
ックの代表輝度差分と代表動きベクトルの組を当該ブロ
ックの被写体の動きの符号として符号化するプロセス
と、２つの動きの符号を入力し、２つのブロック内の画
素の動きの均一度を求め、該符号に含まれる代表輝度差
分の差の絶対値と代表動きベクトルの差の絶対値を該均
一度で重み付けし、２つの被写体の動きの相違度を求め
るプロセスとを有する。

【００１８】本発明（請求項８）は、時空間画像中の動
く２つの被写体の動きを比較する被写体の動き評価プロ
グラムを格納した記憶媒体であって、動画像の時空間領
域として、該時空間領域のｘ軸の最大値及び最小値、ｙ
軸の最大値及び最小値、開始時刻及び終了時刻を入力す
るプロセスと、時空間領域に含まれる画素毎に、輝度の
時間変化量の絶対値を算出するプロセスと、指定された
時空間領域内の各画素について動きベクトルを算出する
プロセスと、時空間領域をｘ軸方向、ｙ軸方向、時間軸
方向にブロック分割するプロセスと、輝度の時間変化量
の絶対値から、分割されたそれぞれのブロックの代表輝
度差分を算出するプロセスと、動きベクトルから、分割
されたそれぞれのブロックの代表動きベクトルを算出す
るプロセスと、ブロックの代表輝度差分と代表動きベク
トルの組を当該ブロックの被写体の符号として符号化す
るプロセスと、２つの動きの符号を入力し、２つのブロ
ック内の画素の動きの均一度を求め、該符号に含まれる
代表輝度差分の差の絶対値と代表動きベクトルの差の絶
対値を該均一度で重み付けし、２つの被写体の動きの相
違度を求めるプロセスとを有する。

【００１９】前述した従来の技術による問題の原因は、
「均一度が小さい」動きが存在するブロックでは、代表
動きベクトルだけでは被写体の動きの情報を十分に表現
し得ないことにある。つまり、ブロックの画素全体で動
きが発生していて、お互いにキャンセルし合った結果、
代表動きベクトルが小さくなっているのか、それともブ
ロックの中の小さな被写体が少し動いて小さい代表動き
ベクトルとなっているのか区別ができないことによる。

【００２０】一方では、代表輝度差分だけでは、「均一
度が小さい動き」を表現し得ない。これに対して、本発
明では、被写体の動きの比較において、ブロックの代表
動きベクトルの差の絶対値と、ブロックの代表輝度差分
の差の絶対値を、動きの均一度によって重み付けし、動
きの相違度を評価する。動きの均一度が小さい場合には
代表輝度差分の差を重視し、動きの均一度が大きい場合
には代表動きベクトルの差を重視するように重み付けす
る。

【００２１】このようにすることで、被写体の動きを符
号化し、２つの符号を比較すれば、被写体の動きの均一
度の大小によらず、相違度を評価することが可能とな
る。また、本発明では、被写体の動きの符号化におい
て、被写体の位置の微小なずれに寛容であり、被写体の
位置が多少ずれていても、動きの比較が可能である。

【００２２】

【発明の実施の形態】［第１の実施の形態］本実施の形
態では、被写体の動きの符号化方法について説明する。

【００２３】本発明の符号化では、動画像を入力とし、
その中の被写体の動きパラメータを出力する。

【００２４】図２は、本発明の第１の実施の形態におけ
る被写体の動きの符号化の処理のフローチャートであ
る。

【００２５】以下の説明において、入力動画像の時刻ｔ
における座標（ｘ，ｙ）の画素（ｘ，ｙ，ｔ）の輝度を
Ｉ（ｘ，ｙ，ｔ）と表すものとする。

【００２６】ステップ１０１） 処理対象とする動画像
の時空間領域を入力する。３次元空間の領域を指定する
方法は種々あるが、本実施の形態では、領域のｘ軸の最
大値、最小値（Ｘｍａｘ，Ｘｍｉｎ）、ｙ軸の最大値、
最少値（Ｙｍａｘ，Ｙｍｉｎ）、開始時刻（Ｔｂｅｇｉ
ｎ）、終了時刻（Ｔｅｎｄ）を入力し、 Ｘｍｉｎ≦ｘ≦Ｘｍａｘ， Ｙｍｉｎ≦ｙ≦Ｙｍａｘ， Ｔｂｅｇｉｎ≦ｔ≦Ｔｅｎｄ を満たす画素Ｉ（ｘ，ｙ，ｔ）の集合を処理対象とす
る。この場合、時空間領域は、直方体の形になる。この
例は、前述の図５に示す時空間領域と同様である。な
お、ｘ軸方向、ｙ軸方向の領域は、画像全体としてもよ
い。

【００２７】ステップ１０２） 指定された時空間領域
内の画素毎に輝度の時間変化量の絶対値Ｉ’（ｘ，ｙ，
ｔ）を算出する。

【００２８】Ｉ’（ｘ，ｙ，ｔ）＝｜Ｉ（ｘ，ｙ，ｔ＋
１）−Ｉ（ｘ，ｙ，ｔ）｜ ステップ１０３） 指定された時空間領域内の各画素に
ついて，動きベクトルｆ^* （ｘ，ｙ，ｔ）（なお、＊は
ベクトルを表す）を算出する。動きベクトルは、例え
ば、勾配法やブロックマッチング法として知られる方法
で得られる。勾配法については文献“Berthold K.P.Hor
n and Braian G.Schunck,,[Determing Optical Flow,]
Artificial Intelligence, Vol. 17, 1981,pp. 185-20
3”を参照されたい。ブロックマッング法は、隣接フレ
ーム間で被写体の同一点を探索し、その位置の差から動
きベクトルを求める方法である。２枚の画像の被写体の
同一点を探索する問題はステレオ法の問題として盛んに
研究されている。例えば、文献“G.Xu and Z.hang, [Ep
ipolar Geometry Stereo, Motion and Object Recognit
ion ・A unified Approach], Kluwer Academic Publish
ers, 1996 ”などを参照されたい。

【００２９】ステップ１０４） 時空間領域をｘ軸方向
にｎ分割、ｙ軸方向にｍ分割、時間軸方向にｋ分割し、
全体でｎ×ｍ×ｋブロックに分割し、各々のブロックに
ついて動きパラメータを算出する。ｎ＝３，ｍ＝３，ｋ
＝２として分割した様子が前述の図５に模式的に示され
ている。なお、必ずしも等分割である必要はない。ブロ
ックに０からｎ×ｍ×ｋ−１までの番号を付け、ｉ番目
のブロックをブロックｉと呼ぶことにする。番号の付け
方は、例えば、図３に示すように、左からν番目（０≦
ν＜ｎ）、上からμ番目（（０≦μ＜ｍ）、開始フレー
ムから時間軸方向にρ番目（０≦ρ＜ｋ）のブロックを
番号ｉ＝ν＋μ×ｎ＋ρ×ｎ×ｍとする。ブロックｉの
代表輝度差分Ｎｉは、ブロックｉの内部に含まれる画素
の輝度変化量の和として算出する（数式（２））。

【００３０】

【数１】 代表輝度差分Ｎｉを求める方法は、これに限らず他の方
法を採用してもよい。例えば、画素の輝度変化量の平均
値をとってもよいし、medianをとってもよい。ブロック
ｉの代表動きベトルｖi ^* は、ブロックｉの内部に含ま
れる画素の動きベクトルの和として算出する。

【００３１】

【数２】 代表動きベクトルｖi ^* を求める方法はこれに限らず他
の方法を採用してもよい。例えば、画素の動きベクトル
の平均値をとってもよいし、ｘ成分、ｙ成分毎にmedian
をとってもよいし（数式（４）（５））、動きベクトル
の絶対値の平均と動きベクトルの和の偏角成分から構成
してもよい（数式（６））。 ｆ^* （ｘ，ｙ，ｔ）＝（ｆx （ｘ，ｙ，ｔ），ｆy （ｘ，ｙ，ｔ））…（４） ｖ^* ＝（medianｆx （ｘ，ｙ，ｔ），medianｆy （ｘ，ｙ，ｔ）） …（５） ｜ｖi ^* ｜＝avg ｜ｆ^* ｜，Arg ｖi ^* ＝Arg Σｆ^* …（６） ブロックｉの輝度差分と動きベクトルの組（Ｎi ，ｖi
^* ）を、ブロックｉの動きパラメータとする。

【００３２】以上のようにして求められたｎ×ｍ×ｎ個
の動きパラメータをもって、時空間画像の処理対象領域
内の被写体の動きパラメータとし、動きが符号化された
ことになる。

【００３３】なお、一般に動きベクトルの算出は計算コ
ストの高い処理である。そこで、計算時間を減らすため
に、ステップ１０３において、全画素について動きベク
トルを算出せず、数画素おきに算出したり、数フレーム
おきに算出するなどして、画素を間引いてもよい。この
ときは、ステップ１０４の輝度差分Ｎi の算出におい
て、ブロックｉの内部に含まれる画素の動きベクトルを
合計すべきところを、ブロックｉの内部に含まれてい
て、且つ、動きベクトルが算出されている画素について
合計するように変更すればよく、手順は本質的に変わら
ない。

【００３４】［第２の実施の形態］本実施の形態では、
被写体の動きの比較処理について説明する。

【００３５】本実施の形態では、前述の第１の実施の形
態で得られた符号化された２つの動きパラメータを入力
とし、その相違度ｄを出力する。

【００３６】なお、動きパラメータを比較するために
は、図３における動きパラメータの算出のステップ１０
４における時空間領域のブロック分割の分割数及び分割
の割合は一致していなければならない。

【００３７】図４は、本発明の第２の実施の形態におけ
る被写体の動きの比較処理のフローチャートである。

【００３８】ステップ２０１） ２つの動きパラメータ
を入力し、その間の相違度を算出する。入力となる２つ
の動きを、動きＡ、動きＢとする。動きＡの動きパラメ
ータをＭa 、動きＢの動きパラメータをＭb とする。Ｍ
a は、ブロックの代表輝度差分とブロックの代表動きベ
クトルの組｛Ｎai，ｖai^* ｝をさらに、ｎ×ｍ×ｋ個組
にしたものである。Ｍb は、ブロックの代表輝度差分と
ブロックの代表動きベクトルの組｛Ｎbi，ｖbi^* ｝をさ
らに、ｎ×ｍ×ｋ個組にしたものである。また、動きＡ
のブロックｉの動き均一度をＣaiとする。Ｃaiを全ての
ブロックｉについて組にしたものをＣa とする。同様に
動きＢのブロックｉの動きの均一度をＣbiとし、Ｃbiを
すべてのｉについて組にしたものをＣb とする。代表輝
度差分の距離関数をＤN とする。本実施の形態では、輝
度差分の差の絶対値とする。Ｄvを代表動きベクトルの
距離関数とする。ブロックｉの均一度Ｃi は、数式
（７）で求められる。

【００３９】

【数３】 均一度Ｃi はこれに限らず、他の方法で求めてもよい。
例えば、動きベクトルｆ^* の方向を量子化し、ヒストグ
ラムを構築し、値のばらつきを評価してもよい。

【００４０】代表輝度差分の距離関数ＤN は、例えば、
数式（８）のように代表輝度差分の差を絶対値とする。

【００４１】 ＤN （Ｎai，Ｎbi）＝｜Ｎai−Ｎbi｜ …（８） また、ＤN は、これに限らず、他の方法で構成してもよ
い。例えば、数式（９）のように代表輝度差分の差の絶
対値の二乗でもよい。

【００４２】 ＤN （Ｎai，Ｎbi）＝｜Ｎai−Ｎbi｜² …（９） 代表動きベクトルの距離関数Ｄv は、例えば、数式（１
０）のように、代表動きベクトルの差の絶対値とする。

【００４３】 ＤV （ｖai^* ，ｖbi^* ）＝｜ｖai^* −ｖbi^* ｜ …（１０） また、Ｄv は、これに限らず、他の方法で構成してもよ
い。例えば、数式（１１）のように代表動きベクトルの
差の絶対値の二乗でもよい。

【００４４】 ＤV （ｖai^* ，ｖbi^* ）＝｜ｖai^* −ｖbi^* ｜² …（１１） 動きＡと動きＢの相違度ｄは、数式（１２）に示すよう
に動きパラメータＭa，Ｍb 、均一度Ｃa の関数とす
る。

【００４５】 ｄ＝Ｆ（Ｍa ，Ｍb ，Ｃa ，Ｃb ） …（１２） 関数Ｆは、ＤN とＤv の値を反映するが、動きの均一度
が小さい場合には、Ｄv よりＤN の重みが大きくなるよ
うに、かつ、動きの均一度が大きい場合には、ＤN より
Ｄv の重みが大きくなるように構成する。例えば、Ｆを
数式（１３）のように構成する。

【００４６】

【数４】 上記のｗは、予め定める重み定数である。

【００４７】関数Ｆの構成はこれに限らず、他の構成で
もよい。例えば、閾値Ｓを定め、数式（１４）に示すよ
うにしてもよい。

【００４８】

【数５】 また、数式（１５）のように簡単な構成でもよい。

【００４９】

【数６】 均一度が小さいときには、画素の動きベクトルの方向が
不揃いで、それらの和をとると自然に代表動きベクトル
の絶対値は小さくなる。すると、Ｄv の値が常に小さく
なり、代表輝度差分の距離関数ＤN の重みが増す。逆に
均一度が大きく、画素の動きベクトルの方向が揃ってい
る場合には、Ｄv は代表動きベクトルの差を反映するよ
うになる。数式（１５）には、均一度Ｃai，Ｃbi が陽
に用いられているないが、関数Ｆの要件を満たしてい
る。

【００５０】なお、数式（１３）〜（１５）では、ブロ
ック毎の相違度を、全ブロックについて単純に加算して
いるが、単純な加算に限らず、例えば、輝度変化量によ
って重み付けをして加算したり、ブロック番号ｉによっ
て重み付けして加算するなど、他の計算方法を用いても
よい。

【００５１】このようにして得られたｄが大きければ、
２つの動きの相違度が大きく、ｄが小さければ、類似度
が大きいと判断できる。

【００５２】動きＭa とＭb が同じ動きかどうかを検査
するには、予め閾値Ｅを定め、ｄ＜Ｅであれば両者は同
じ動きであると判定すればよい。

【００５３】ブロックに分割して動きを比較すると、被
写体の位置がブロックの大きさに比較して小さい範囲で
ずれていても、相違度に大きく影響しないので、被写体
の位置に寛容な動きの比較を行なうことができる。ブロ
ック毎でなく、画素毎に動きパラメータの比較を行なう
と、１画素ずれても相違度が大きくなり、被写体の位置
を精密に指定しなければならない。

【００５４】また、本発明は、上記の実施の形態の動作
をプログラムとして構築し、被写体の動き評価装置とし
て利用されるコンピュータにインストールする、また
は、ネットワークを介して流通させることが可能であ
る。

【００５５】また、構築されたプログラムを被写体の動
き評価装置として利用されるコンピュータに接続される
ハードディスク装置や、フロッピー（登録商標）ディス
ク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本
発明を実施する際にインストールすることにより、容易
に本発明を実現できる。

【００５６】なお、本発明は、上記の実施の形態に限定
されることなく、特許請求の範囲内において、種々変更
・応用が可能である。

【００５７】

【発明の効果】上述のように、本発明によれば、被写体
の動きを符号化し、２つの符号を比較すれば、被写体の
動きの均一度の大小によらず、相違度を評価することが
できるようになる。

【００５８】また、本発明に示す被写体の動きの符号化
方法は、被写体の位置の微小なずれに寛容であり、被写
体の位置が多少ずれていても動きの比較ができる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の第１の実施の形態における被写体の動
きの符号化処理のフローチャートである。

【図３】本発明の第１の実施の形態における時空間領域
を分割したブロックの番号付けを表す図である。

【図４】本発明の第２の実施の形態における動きの比較
手順のフローチャートである。

【図５】従来の技術における時空間画像と時空間画像の
ブロック分割を表す図である。

【図６】従来の技術におけるブロックの中で被写体が不
揃いに動いている状態を表す模式図である。

【図７】従来の技術におけるブロックの中で小さな被写
体が少し動いている状態を示す模式図である。

【図８】従来の技術における図６に示された代表動きベ
クトルを示す図である。

【図９】従来の技術における図７に示されたブロックの
代表動きベクトルを示す図である。

【図１０】従来の技術における横方向に周期性のある模
様を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C059 KK19 NN01 NN08 NN28 NN40 PP04 SS20 UA02 5L096 AA06 GA08 GA19 HA04

Claims (8)

【特許請求の範囲】
1. 【請求項１】 時空間画像中の動く２つの被写体の動き
   を比較する被写体の動き評価方法において、 処理の対象とする動画像の時空間領域を入力し、 各時空間領域を複数のブロックに分割し、 分割された前記ブロックに含まれる画素の輝度の時間変
   化量と動きベクトルを求め、 前記画素の輝度の時間変化量と前記動きベクトルから、
   前記時空間領域に含まれる全てのブロックの代表輝度差
   分と代表動きベクトルを求め、 前記時空間領域に含まれる全てのブロックの前記代表輝
   度差分と前記代表動きベクトルを組にしたものを、前記
   被写体の動きの符号とすることを特徴とする被写体の動
   き評価方法。
2. 【請求項２】 前記時空間領域として、領域のｘ軸の最
   大値と最小値、ｙ軸の最大値と最小値、及び開始時刻と
   終了時刻を入力し、 前記時空間領域をｘ軸方向、ｙ軸方向、時間軸方向にブ
   ロック分割し、 前記時空間領域内の画素毎に輝度の時間変化量の絶対値
   を算出し、 前記時空間領域内の各画素について動きベクトルを算出
   し、 前記輝度の時間変化量の絶対値と前記動きベクトルか
   ら、分割されたブロック毎に代表輝度差分と代表動きベ
   クトルを求め、該代表輝度差分と該代表動きベクトルを
   当該ブロックの被写体の動きの符号とする請求項１記載
   の被写体の動き評価方法。
3. 【請求項３】 時空間画像中の動く２つの被写体の動き
   を比較する被写体の動き評価方法において、 ブロックの代表輝度差分と代表動きベクトルを組にした
   ２つの被写体の動きの符号を入力し、 前記２つの被写体の動きの符号の対応するブロックの代
   表輝度差分の相違度を求め、 ２つの符号の対応するブロックの代表動きベクトルの相
   違度を求め、 ブロック毎の前記代表輝度差分と前記代表動きベクトル
   の相違度を合計したものを前記２つの被写体の動きの相
   違度とすることを特徴とする被写体の動き評価方法。
4. 【請求項４】 前記２つの被写体の動きの符号から代表
   輝度差分の差の絶対値と代表動きベクトルの差の絶対値
   を求め、 ブロック内の画素の動きの均一度を求め、 所定の関数を用いて前記代表輝度差分の差の絶対値と前
   記代表動きベクトルの差の絶対値を前記ブロックの均一
   度によって重み付けし、２つの被写体の動きの相違度を
   求める請求項３記載の被写体の動き評価方法。
5. 【請求項５】 時空間画像中の動く２つの被写体の動き
   を比較する被写体の動き評価方法において、 処理の対象とする動画像の時空間領域を入力し、 各時空間領域を複数のブロックに分割し、 分割された前記ブロックに含まれる画素の輝度の時間変
   化量と動きベクトルを求め、 前記画素の輝度の時間変化量と前記動きベクトルから、
   前記時空間領域に含まれるすべてのブロックの代表輝度
   差分と代表動きベクトルを求め、 前記時空間領域に含まれる全てのブロックの前記代表輝
   度差分と前記代表動きベクトルを組にしたものを、前記
   被写体の動きの符号とする符号化過程と、 ２つの被写体の動きの符号を入力し、 前記２つの被写体の動きの符号の対応するブロックの代
   表輝度差分の相違度を求め、 ２つの符号の対応するブロックの代表動きベクトルの相
   違度を求め、 ブロック毎の前記代表輝度差分と前記代表動きベクトル
   の相違度を合計したものを前記２つの被写体の動きの相
   違度とする評価過程からなることを特徴とする被写体の
   動き評価方法。
6. 【請求項６】 前記符号化過程において、 前記時空間領域として、領域のｘ軸の最大値と最小値、
   ｙ軸の最大値と最小値、及び開始時刻と終了時刻を入力
   し、 前記時空間領域をｘ軸方向、ｙ軸方向、時間軸方向にブ
   ロック分割し、 前記時空間領域内の画素毎に輝度の時間変化量の絶対値
   を算出し、 前記時空間領域内の各画素について動きベクトルを算出
   し、 前記輝度の時間変化量の絶対値と前記動きベクトルから
   分割されたブロック毎に代表輝度差分と代表動きベクト
   ルを求め、該代表輝度差分と該代表動きベクトルを当該
   ブロックの被写体の動きの符号とし、 前記評価過程において、 ２つの被写体の動きの符号から代表輝度差分の差の絶対
   値と代表動きベクトルの差の絶対値を求め、 ブロック内の画素の動きの均一度を求め、 前記代表輝度差分の差の絶対値と前記代表動きベクトル
   の差の絶対値を前記均一度によって重み付けし、２つの
   被写体の動きの相違度を求める請求項５記載の被写体の
   動き評価方法。
7. 【請求項７】 時空間画像中の動く２つの被写体の動き
   を比較する被写体の動き評価プログラムであって、 動画像の時空間領域として、該時空間領域のｘ軸の最大
   値及び最小値、ｙ軸の最大値及び最小値、開始時刻及び
   終了時刻を入力するプロセスと、 前記時空間領域に含まれる画素毎に、輝度の時間変化量
   の絶対値を算出するプロセスと、 指定された前記時空間領域内の各画素について動きベク
   トルを算出するプロセスと、 前記時空間領域をｘ軸方向、ｙ軸方向、時間軸方向にブ
   ロック分割するプロセスと、 前記輝度の時間変化量の絶対値から、分割されたそれぞ
   れのブロックの代表輝度差分を算出するプロセスと、 前記動きベクトルから、前記分割されたそれぞれのブロ
   ックの代表動きベクトルを算出するプロセスと、 前記ブロックの代表輝度差分と前記代表動きベクトルの
   組を当該ブロックの被写体の動きの符号として符号化す
   るプロセスと、 ２つの前記動きの符号を入力し、２つのブロック内の画
   素の動きの均一度を求め、該符号に含まれる代表輝度差
   分の差の絶対値と代表動きベクトルの差の絶対値を該均
   一度で重み付けし、２つの被写体の動きの相違度を求め
   るプロセスとを有することを特徴とする被写体の動き評
   価プログラム。
8. 【請求項８】 時空間画像中の動く２つの被写体の動き
   を比較する被写体の動き評価プログラムを格納した記憶
   媒体であって、 動画像の時空間領域として、該時空間領域のｘ軸の最大
   値及び最小値、ｙ軸の最大値及び最小値、開始時刻及び
   終了時刻を入力するプロセスと、 前記時空間領域に含まれる画素毎に、輝度の時間変化量
   の絶対値を算出するプロセスと、 指定された前記時空間領域内の各画素について動きベク
   トルを算出するプロセスと、 前記時空間領域をｘ軸方向、ｙ軸方向、時間軸方向にブ
   ロック分割するプロセスと、 前記輝度の時間変化量の絶対値から、分割されたそれぞ
   れのブロックの代表輝度差分を算出するプロセスと、 前記動きベクトルから、前記分割されたそれぞれのブロ
   ックの代表動きベクトルを算出するプロセスと、 前記ブロックの代表輝度差分と前記代表動きベクトルの
   組を当該ブロックの被写体の動きの符号として符号化す
   るプロセスと、 ２つの前記動きの符号を入力し、２つのブロック内の画
   素の動きの均一度を求め、該符号に含まれる代表輝度差
   分の差の絶対値と代表動きベクトルの差の絶対値を該均
   一度で重み付けし、２つの被写体の動きの相違度を求め
   るプロセスとを有することを特徴とする被写体の動き評
   価プログラムを格納した記憶媒体。