JP2000348187A - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体Info
- Publication number
- JP2000348187A JP2000348187A JP2000081365A JP2000081365A JP2000348187A JP 2000348187 A JP2000348187 A JP 2000348187A JP 2000081365 A JP2000081365 A JP 2000081365A JP 2000081365 A JP2000081365 A JP 2000081365A JP 2000348187 A JP2000348187 A JP 2000348187A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- evaluation value
- motion
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Abstract
(57)【要約】
【課題】 少ない演算時間で、精度の高い動き検出を行
う。 【解決手段】 時系列の複数のフレームのうちの所定の
注目フレームの注目画素について、複数の動きの方向そ
れぞれに対する評価値が、複数のフレームの、動きの方
向にある画素に基づいて演算される。そして、その複数
の動きの方向どうしが、それぞれに対する評価値を重み
として重み付け加算され、その加算の結果得られる方向
が、注目画素の最終的な動きの方向とされる。
う。 【解決手段】 時系列の複数のフレームのうちの所定の
注目フレームの注目画素について、複数の動きの方向そ
れぞれに対する評価値が、複数のフレームの、動きの方
向にある画素に基づいて演算される。そして、その複数
の動きの方向どうしが、それぞれに対する評価値を重み
として重み付け加算され、その加算の結果得られる方向
が、注目画素の最終的な動きの方向とされる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、画像（動画像）から、動きのある部分や動きのない
部分を抽出する場合に用いて好適な画像処理装置および
画像処理方法、並びに記録媒体に関する。
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、画像（動画像）から、動きのある部分や動きのない
部分を抽出する場合に用いて好適な画像処理装置および
画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】従来の、動画像から、動きのある物体
（オブジェクト）を抽出する画像処理装置においては、
例えば、順次入力されるフレームの幾つかを用い、各画
素について、ブロックマッチングによる動きベクトルの
検出が行われ、各動きベクトルが、その空間方向におい
て周辺にある動きベクトルを用いて修正される。さら
に、修正後の動きベクトルが、その動きベクトルを用い
てブロックマッチングを行うことにより評価され、その
評価値に基づき、動きベクトルを修正することが再帰的
に繰り返されることにより、より信頼性の高い動きベク
トルが最終的に求められる。そして、その最終的に得ら
れた動きベクトルに基づいて、動きのあるオブジェクト
が抽出される。
（オブジェクト）を抽出する画像処理装置においては、
例えば、順次入力されるフレームの幾つかを用い、各画
素について、ブロックマッチングによる動きベクトルの
検出が行われ、各動きベクトルが、その空間方向におい
て周辺にある動きベクトルを用いて修正される。さら
に、修正後の動きベクトルが、その動きベクトルを用い
てブロックマッチングを行うことにより評価され、その
評価値に基づき、動きベクトルを修正することが再帰的
に繰り返されることにより、より信頼性の高い動きベク
トルが最終的に求められる。そして、その最終的に得ら
れた動きベクトルに基づいて、動きのあるオブジェクト
が抽出される。
【０００３】即ち、従来の画像処理装置においては、い
ま注目している注目画素について、例えば、８×８画素
等のブロックが構成され、このブロックを用いて、ブロ
ックマッチングが行われる。具体的には、注目画素につ
いてのブロックを構成する各画素と、近接フレームのブ
ロックを構成する対応する画素との画素値の差分の２乗
和等の、いわゆる予測誤差が計算され、その予測誤差を
最も小さくする近接フレームのブロック（以下、適宜、
予測誤差最小ブロックという）が求められる。そして、
注目画素についてのブロックと、予測誤差最小ブロック
との位置関係から、注目画素の動きベクトルが求められ
る。
ま注目している注目画素について、例えば、８×８画素
等のブロックが構成され、このブロックを用いて、ブロ
ックマッチングが行われる。具体的には、注目画素につ
いてのブロックを構成する各画素と、近接フレームのブ
ロックを構成する対応する画素との画素値の差分の２乗
和等の、いわゆる予測誤差が計算され、その予測誤差を
最も小さくする近接フレームのブロック（以下、適宜、
予測誤差最小ブロックという）が求められる。そして、
注目画素についてのブロックと、予測誤差最小ブロック
との位置関係から、注目画素の動きベクトルが求められ
る。
【０００４】このようにして、注目している注目フレー
ムのすべての画素を、順次、注目画素として、各画素の
動きベクトルが求められると、各画素の動きベクトルが
修正される。
ムのすべての画素を、順次、注目画素として、各画素の
動きベクトルが求められると、各画素の動きベクトルが
修正される。
【０００５】即ち、ある画素に注目すれば、その注目画
素の動きベクトルが、その注目画素の空間方向に近接す
る画素の動きベクトルを、例えば、その動きベクトルに
ついての予測誤差（動きベクトルを求めたときに得られ
た予測誤差）に対応する重みで用いて修正される。さら
に、注目画素についてのブロックと、その位置から、修
正後の動きベクトルだけ移動した位置にある近接フレー
ムのブロックとを用いて、修正後の動きベクトルについ
ての予測誤差が計算される。この予測誤差は、修正後の
動きベクトルの評価に用いられるとともに、上述のよう
な動きベクトルの修正時における重みとして用いられ
る。
素の動きベクトルが、その注目画素の空間方向に近接す
る画素の動きベクトルを、例えば、その動きベクトルに
ついての予測誤差（動きベクトルを求めたときに得られ
た予測誤差）に対応する重みで用いて修正される。さら
に、注目画素についてのブロックと、その位置から、修
正後の動きベクトルだけ移動した位置にある近接フレー
ムのブロックとを用いて、修正後の動きベクトルについ
ての予測誤差が計算される。この予測誤差は、修正後の
動きベクトルの評価に用いられるとともに、上述のよう
な動きベクトルの修正時における重みとして用いられ
る。
【０００６】以上のような動きベクトルの修正が、注目
フレームのすべての画素について、例えば、各画素の動
きベクトルについての予測誤差の総和がある程度収束す
るまで、再帰的に行われる。
フレームのすべての画素について、例えば、各画素の動
きベクトルについての予測誤差の総和がある程度収束す
るまで、再帰的に行われる。
【０００７】
【発明が解決しようとする課題】上述のように、従来の
画像処理装置では、各画素について、空間方向にある程
度の大きさを有する、複数画素からなるブロックが構成
され、動きベクトルの予測誤差を求めるブロックマッチ
ングが、再帰的に行われる。
画像処理装置では、各画素について、空間方向にある程
度の大きさを有する、複数画素からなるブロックが構成
され、動きベクトルの予測誤差を求めるブロックマッチ
ングが、再帰的に行われる。
【０００８】ブロックマッチングでは、上述したよう
に、注目画素についてのブロックを構成する各画素と、
近接フレームのブロックを構成する対応する画素との画
素値の差分の２乗和等が、予測誤差として計算されるか
ら、その演算量は多く、従来の画像処理装置では、この
ような演算量の多いブロックマッチングを再帰的に行う
ために、全体の演算量は、膨大なものとなる。
に、注目画素についてのブロックを構成する各画素と、
近接フレームのブロックを構成する対応する画素との画
素値の差分の２乗和等が、予測誤差として計算されるか
ら、その演算量は多く、従来の画像処理装置では、この
ような演算量の多いブロックマッチングを再帰的に行う
ために、全体の演算量は、膨大なものとなる。
【０００９】また、最初の動きベクトルを求めるブロッ
クマッチングでは、その検出精度を向上させようとする
と、近接フレームにおける予測誤差最小ブロックをサー
チする範囲を広くしなければならないが、この場合、そ
のような広い範囲の近接フレームの各位置のブロックと
の間の予測誤差を計算する必要があり、その演算量は膨
大なものとなる。
クマッチングでは、その検出精度を向上させようとする
と、近接フレームにおける予測誤差最小ブロックをサー
チする範囲を広くしなければならないが、この場合、そ
のような広い範囲の近接フレームの各位置のブロックと
の間の予測誤差を計算する必要があり、その演算量は膨
大なものとなる。
【００１０】従って、ブロックマッチングによる場合に
は、例えば、近接フレーム全体等の広い範囲を、サーチ
範囲とすることは、演算量の観点から困難であり、注目
画素の位置を中心とするある程度狭い範囲を、サーチ範
囲とする必要がある。このため、最初に検出される動き
ベクトルの精度には、ある程度の限界があり、その精度
を向上させるために、上述したような、演算量の多いブ
ロックマッチングを利用した動きベクトルの修正を再帰
的に行う必要がある。
は、例えば、近接フレーム全体等の広い範囲を、サーチ
範囲とすることは、演算量の観点から困難であり、注目
画素の位置を中心とするある程度狭い範囲を、サーチ範
囲とする必要がある。このため、最初に検出される動き
ベクトルの精度には、ある程度の限界があり、その精度
を向上させるために、上述したような、演算量の多いブ
ロックマッチングを利用した動きベクトルの修正を再帰
的に行う必要がある。
【００１１】また、ブロックマッチングによる動きベク
トルの検出精度を向上させるには、上述のようにサーチ
範囲を広くする他、ブロックマッチングに用いるブロッ
クの大きさも大きくする必要があるが、ブロックを大き
くすると、やはり演算量が増加する。
トルの検出精度を向上させるには、上述のようにサーチ
範囲を広くする他、ブロックマッチングに用いるブロッ
クの大きさも大きくする必要があるが、ブロックを大き
くすると、やはり演算量が増加する。
【００１２】さらに、ブロックマッチングは、注目フレ
ームの注目画素について構成されるブロックと近似する
ブロックを、例えば、注目フレームの次のフレームから
サーチする処理であるから、基本的に、注目フレーム
と、その次のフレームだけを用いて行われる。従って、
例えば、ある一連の動画像を構成するすべてのフレーム
が既に蓄積されている場合であっても、ブロックマッチ
ングでは、すべてのフレームを有効に利用することが困
難であり、その結果、動きのあるオブジェクトの抽出精
度が劣化する課題があった。
ームの注目画素について構成されるブロックと近似する
ブロックを、例えば、注目フレームの次のフレームから
サーチする処理であるから、基本的に、注目フレーム
と、その次のフレームだけを用いて行われる。従って、
例えば、ある一連の動画像を構成するすべてのフレーム
が既に蓄積されている場合であっても、ブロックマッチ
ングでは、すべてのフレームを有効に利用することが困
難であり、その結果、動きのあるオブジェクトの抽出精
度が劣化する課題があった。
【００１３】本発明は、このような状況に鑑みてなされ
たものであり、少ない演算時間で、精度の高い動き検出
を行い、さらに、これにより、例えば、動きのある部分
や動きのない部分を、精度良く抽出することができるよ
うにするものである。
たものであり、少ない演算時間で、精度の高い動き検出
を行い、さらに、これにより、例えば、動きのある部分
や動きのない部分を、精度良く抽出することができるよ
うにするものである。
【００１４】
【課題を解決するための手段】本発明の第１の画像処理
装置は、注目画面の各画素に対応する複数の動きの方向
それぞれに対応する評価値を、時系列の記複数の画面
の、各動きの方向にある画素に基づいて演算する演算手
段と、複数の動きの方向を、その複数の動きの方向それ
ぞれに対応する評価値に基づいて加工することにより、
所定の注目画面の各画素に対応する動きの方向を算出す
る算出手段とを備えることを特徴とする。
装置は、注目画面の各画素に対応する複数の動きの方向
それぞれに対応する評価値を、時系列の記複数の画面
の、各動きの方向にある画素に基づいて演算する演算手
段と、複数の動きの方向を、その複数の動きの方向それ
ぞれに対応する評価値に基づいて加工することにより、
所定の注目画面の各画素に対応する動きの方向を算出す
る算出手段とを備えることを特徴とする。
【００１５】この第１の画像処理装置には、注目画面の
各画素に対応する複数の動きの方向を設定する方向設定
手段と、各動きの方向に対応する評価値を演算するため
の、方向設定手段により設定された動きの方向上にある
複数の画面の画素の抽出範囲を設定する範囲設定手段と
をさらに設けることができ、この場合、演算手段には、
方向設定手段により設定された動きの方向上の複数の画
面の画素のうち、範囲設定手段により設定された範囲の
画素に基づいて、動きの方向に対応する評価値を演算さ
せることができる。
各画素に対応する複数の動きの方向を設定する方向設定
手段と、各動きの方向に対応する評価値を演算するため
の、方向設定手段により設定された動きの方向上にある
複数の画面の画素の抽出範囲を設定する範囲設定手段と
をさらに設けることができ、この場合、演算手段には、
方向設定手段により設定された動きの方向上の複数の画
面の画素のうち、範囲設定手段により設定された範囲の
画素に基づいて、動きの方向に対応する評価値を演算さ
せることができる。
【００１６】第１の画像処理装置において、範囲設定手
段には、動きの方向に対応する評価値の演算に用いる画
素の範囲を、その動きの方向に沿ってシフトさせること
ができ、この場合、演算手段には、動きの方向に沿って
シフトされる各画素の範囲それぞれについて評価値を演
算させ、その評価値に基づいて、動きの方向に対応する
最終的な評価値を演算させることができる。
段には、動きの方向に対応する評価値の演算に用いる画
素の範囲を、その動きの方向に沿ってシフトさせること
ができ、この場合、演算手段には、動きの方向に沿って
シフトされる各画素の範囲それぞれについて評価値を演
算させ、その評価値に基づいて、動きの方向に対応する
最終的な評価値を演算させることができる。
【００１７】第１の画像処理装置において、演算手段に
は、動きの方向に沿ってシフトされる各画素の範囲それ
ぞれについて評価値を演算させ、各評価値を加算するこ
とにより、動きの方向に対応する最終的な評価値を演算
させることができる。
は、動きの方向に沿ってシフトされる各画素の範囲それ
ぞれについて評価値を演算させ、各評価値を加算するこ
とにより、動きの方向に対応する最終的な評価値を演算
させることができる。
【００１８】第１の画像処理装置において、算出手段に
は、複数の動きの方向それぞれに対応する最終的な評価
値を重みとして、複数の動きの方向を重み付け加算する
ことにより、注目画面の各画素の動きの方向を算出させ
ることができる。
は、複数の動きの方向それぞれに対応する最終的な評価
値を重みとして、複数の動きの方向を重み付け加算する
ことにより、注目画面の各画素の動きの方向を算出させ
ることができる。
【００１９】第１の画像処理装置には、注目画面の各画
素の評価値を記憶する評価値記憶手段と、評価値記憶手
段に記憶された評価値を、方向設定手段により設定され
た動きの方向上の画素から求められる評価値に基づいて
更新する評価値更新手段とをさらに設けることができ
る。
素の評価値を記憶する評価値記憶手段と、評価値記憶手
段に記憶された評価値を、方向設定手段により設定され
た動きの方向上の画素から求められる評価値に基づいて
更新する評価値更新手段とをさらに設けることができ
る。
【００２０】第１の画像処理装置において、評価値更新
手段には、評価値記憶手段に記憶された評価値を、方向
設定手段により設定された動きの方向上の画素から求め
られる評価値と加算することにより更新させることがで
きる。
手段には、評価値記憶手段に記憶された評価値を、方向
設定手段により設定された動きの方向上の画素から求め
られる評価値と加算することにより更新させることがで
きる。
【００２１】第１の画像処理装置において、方向設定手
段には、複数の動きの方向を順次設定させることがで
き、この場合、第１の画像処理装置には、注目画面の各
画素に対応して、動きの方向を記憶する動き方向記憶手
段と、動き方向記憶手段に記憶された動きの方向を、方
向設定手段により新たに設定された動きの方向に基づい
て更新する動き方向更新手段とをさらに設けることがで
きる。
段には、複数の動きの方向を順次設定させることがで
き、この場合、第１の画像処理装置には、注目画面の各
画素に対応して、動きの方向を記憶する動き方向記憶手
段と、動き方向記憶手段に記憶された動きの方向を、方
向設定手段により新たに設定された動きの方向に基づい
て更新する動き方向更新手段とをさらに設けることがで
きる。
【００２２】第１の画像処理装置において、動き方向更
新手段には、動き方向記憶手段に記憶される動きの方向
と、方向設定手段により新たに設定された動きの方向と
を、それぞれの動きの方向に対する評価値を重みとして
重み付け加算することにより、動き方向記憶手段に記憶
される動きの方向を更新させることができる。
新手段には、動き方向記憶手段に記憶される動きの方向
と、方向設定手段により新たに設定された動きの方向と
を、それぞれの動きの方向に対する評価値を重みとして
重み付け加算することにより、動き方向記憶手段に記憶
される動きの方向を更新させることができる。
【００２３】第１の画像処理装置において、演算手段に
は、所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、時系列の複数の画面の
各動きの方向上にある複数の画像ブロックに基づいて演
算させることができる。
は、所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、時系列の複数の画面の
各動きの方向上にある複数の画像ブロックに基づいて演
算させることができる。
【００２４】第１の画像処理装置には、時系列の複数の
画面を構成する動画像データを記憶する記憶手段をさら
に設けることができ、この場合、演算手段には、所定の
注目画面の各画素に対応する複数の動きの方向それぞれ
に対応する評価値を、記憶手段に記憶される時系列の複
数の画面すべての各動きの方向上にある画素に基づいて
演算させることができる。
画面を構成する動画像データを記憶する記憶手段をさら
に設けることができ、この場合、演算手段には、所定の
注目画面の各画素に対応する複数の動きの方向それぞれ
に対応する評価値を、記憶手段に記憶される時系列の複
数の画面すべての各動きの方向上にある画素に基づいて
演算させることができる。
【００２５】第１の画像処理装置において、演算手段に
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の分散の逆数を、動きの方向に対応す
る評価値として演算させることができる。
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の分散の逆数を、動きの方向に対応す
る評価値として演算させることができる。
【００２６】第１の画像処理装置において、演算手段に
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の連続性の逆数を、動きの方向に対応
する評価値として演算させることができる。
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の連続性の逆数を、動きの方向に対応
する評価値として演算させることができる。
【００２７】本発明の第１の画像処理方法は、注目画面
の各画素に対応する複数の動きの方向それぞれに対応す
る評価値を、時系列の記複数の画面の、各動きの方向に
ある画素に基づいて演算する演算ステップと、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出ステップ
とを備えることを特徴とする。
の各画素に対応する複数の動きの方向それぞれに対応す
る評価値を、時系列の記複数の画面の、各動きの方向に
ある画素に基づいて演算する演算ステップと、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出ステップ
とを備えることを特徴とする。
【００２８】本発明の第１の記録媒体は、注目画面の各
画素に対応する複数の動きの方向それぞれに対応する評
価値を、時系列の記複数の画面の、各動きの方向にある
画素に基づいて演算する演算ステップと、複数の動きの
方向を、その複数の動きの方向それぞれに対応する評価
値に基づいて加工することにより、所定の注目画面の各
画素に対応する動きの方向を算出する算出ステップとを
備えるプログラムが記録されていることを特徴とする。
画素に対応する複数の動きの方向それぞれに対応する評
価値を、時系列の記複数の画面の、各動きの方向にある
画素に基づいて演算する演算ステップと、複数の動きの
方向を、その複数の動きの方向それぞれに対応する評価
値に基づいて加工することにより、所定の注目画面の各
画素に対応する動きの方向を算出する算出ステップとを
備えるプログラムが記録されていることを特徴とする。
【００２９】本発明の第２の画像処理装置は、所定の注
目画面の各画素に対応する複数の動きの方向それぞれに
対応する評価値を、時系列の複数の画面の、動きの方向
上にある画素に基づいて演算する演算手段と、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出手段と、
算出手段により算出される動きの方向に基づいて、動き
部の有無を判定する判定手段とを備えることを特徴とす
る。
目画面の各画素に対応する複数の動きの方向それぞれに
対応する評価値を、時系列の複数の画面の、動きの方向
上にある画素に基づいて演算する演算手段と、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出手段と、
算出手段により算出される動きの方向に基づいて、動き
部の有無を判定する判定手段とを備えることを特徴とす
る。
【００３０】この第２の画像処理装置には、注目画面の
各画素に対応する複数の動きの方向を設定する方向設定
手段と、各動きの方向に対応する評価値を演算するため
の、方向設定手段により設定された動きの方向上にある
複数の画面の画素の抽出範囲を設定する範囲設定手段と
をさらに設けることができ、この場合、演算手段には、
方向設定手段により設定された動きの方向上の複数の画
面の画素のうち、範囲設定手段により設定された範囲の
画素に基づいて、動きの方向に対応する評価値を演算さ
せることができる。
各画素に対応する複数の動きの方向を設定する方向設定
手段と、各動きの方向に対応する評価値を演算するため
の、方向設定手段により設定された動きの方向上にある
複数の画面の画素の抽出範囲を設定する範囲設定手段と
をさらに設けることができ、この場合、演算手段には、
方向設定手段により設定された動きの方向上の複数の画
面の画素のうち、範囲設定手段により設定された範囲の
画素に基づいて、動きの方向に対応する評価値を演算さ
せることができる。
【００３１】第２の画像処理装置において、範囲設定手
段には、動きの方向に対応する評価値の演算に用いる画
素の範囲を、その動きの方向に沿ってシフトさせること
ができ、この場合、演算手段には、動きの方向に沿って
シフトされる各画素の範囲それぞれについて評価値を演
算させ、その評価値に基づいて、動きの方向に対応する
最終的な評価値を演算させることができる。
段には、動きの方向に対応する評価値の演算に用いる画
素の範囲を、その動きの方向に沿ってシフトさせること
ができ、この場合、演算手段には、動きの方向に沿って
シフトされる各画素の範囲それぞれについて評価値を演
算させ、その評価値に基づいて、動きの方向に対応する
最終的な評価値を演算させることができる。
【００３２】第２の画像処理装置において、演算手段に
は、動きの方向に沿ってシフトされる各画素の範囲それ
ぞれについて評価値を演算させ、各評価値を加算するこ
とにより、動きの方向に対応する最終的な評価値を演算
させることができる。
は、動きの方向に沿ってシフトされる各画素の範囲それ
ぞれについて評価値を演算させ、各評価値を加算するこ
とにより、動きの方向に対応する最終的な評価値を演算
させることができる。
【００３３】第２の画像処理装置において、算出手段に
は、複数の動きの方向それぞれに対応する最終的な評価
値を重みとして、複数の動きの方向を重み付け加算する
ことにより、注目画面の各画素の動きの方向を算出させ
ることができる。
は、複数の動きの方向それぞれに対応する最終的な評価
値を重みとして、複数の動きの方向を重み付け加算する
ことにより、注目画面の各画素の動きの方向を算出させ
ることができる。
【００３４】第２の画像処理装置には、注目画面の各画
素の評価値を記憶する評価値記憶手段と、評価値記憶手
段に記憶された評価値を、方向設定手段により設定され
た動きの方向上の画素から求められる評価値に基づいて
更新する評価値更新手段とをさらに設けることができ
る。
素の評価値を記憶する評価値記憶手段と、評価値記憶手
段に記憶された評価値を、方向設定手段により設定され
た動きの方向上の画素から求められる評価値に基づいて
更新する評価値更新手段とをさらに設けることができ
る。
【００３５】第２の画像処理装置において、評価値更新
手段には、評価値記憶手段に記憶される評価値を、方向
設定手段により設定される動きの方向上の画素から求め
られる評価値と加算することにより更新させることがで
きる。
手段には、評価値記憶手段に記憶される評価値を、方向
設定手段により設定される動きの方向上の画素から求め
られる評価値と加算することにより更新させることがで
きる。
【００３６】第２の画像処理装置において、方向設定手
段には、複数の動きの方向を順次設定させることがで
き、この場合、第２の画像処理装置には、注目画面の各
画素に対応して、動きの方向を記憶する動き方向記憶手
段と、動き方向記憶手段に記憶された動きの方向を、方
向設定手段により新たに設定された動きの方向に基づい
て更新する動き方向更新手段とをさらに設けることがで
きる。
段には、複数の動きの方向を順次設定させることがで
き、この場合、第２の画像処理装置には、注目画面の各
画素に対応して、動きの方向を記憶する動き方向記憶手
段と、動き方向記憶手段に記憶された動きの方向を、方
向設定手段により新たに設定された動きの方向に基づい
て更新する動き方向更新手段とをさらに設けることがで
きる。
【００３７】第２の画像処理装置において、動き方向更
新手段には、動き方向記憶手段に記憶される動きの方向
と、方向設定手段により新たに設定された動きの方向と
を、それぞれの動きの方向に対応する評価値に基づいて
重み付け加算することにより、動き方向記憶手段に記憶
される動きの方向を更新させることができる。
新手段には、動き方向記憶手段に記憶される動きの方向
と、方向設定手段により新たに設定された動きの方向と
を、それぞれの動きの方向に対応する評価値に基づいて
重み付け加算することにより、動き方向記憶手段に記憶
される動きの方向を更新させることができる。
【００３８】第２の画像処理装置において、判定手段に
は、動きの方向を２値化することにより、注目画面の動
き部を検出させることができる。
は、動きの方向を２値化することにより、注目画面の動
き部を検出させることができる。
【００３９】第２の画像処理装置において、判定手段に
は、動きの方向を２値化することにより、注目画面の動
きのない部分である静止部を検出させることができる。
は、動きの方向を２値化することにより、注目画面の動
きのない部分である静止部を検出させることができる。
【００４０】第２の画像処理装置において、判定手段に
は、注目画面の各画素の動きの方向を、その平均値で２
値化することにより、動き部の有無を判定させることが
できる。
は、注目画面の各画素の動きの方向を、その平均値で２
値化することにより、動き部の有無を判定させることが
できる。
【００４１】第２の画像処理装置において、判定手段に
は、注目画面の各画素の動きの方向に対応する評価値が
所定の閾値より高い動きの方向に基づいて、動き部の有
無を判定させることができる。
は、注目画面の各画素の動きの方向に対応する評価値が
所定の閾値より高い動きの方向に基づいて、動き部の有
無を判定させることができる。
【００４２】第２の画像処理装置において、演算手段に
は、所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、時系列の複数の画面の
各動きの方向上にある複数の画像ブロックに基づいて演
算させることができる。
は、所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、時系列の複数の画面の
各動きの方向上にある複数の画像ブロックに基づいて演
算させることができる。
【００４３】第２の画像処理装置には、時系列の複数の
画面を構成する動画像データを記憶する記憶手段をさら
に設けることができ、この場合、演算手段には、所定の
注目画面の各画素に対応する複数の動きの方向それぞれ
に対応する評価値を、記憶手段に記憶される時系列の複
数の画面すべての各動きの方向上にある画素に基づいて
演算させることができる。
画面を構成する動画像データを記憶する記憶手段をさら
に設けることができ、この場合、演算手段には、所定の
注目画面の各画素に対応する複数の動きの方向それぞれ
に対応する評価値を、記憶手段に記憶される時系列の複
数の画面すべての各動きの方向上にある画素に基づいて
演算させることができる。
【００４４】第２の画像処理装置において、演算手段に
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の分散の逆数を、動きの方向に対応す
る評価値として演算させることができる。
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の分散の逆数を、動きの方向に対応す
る評価値として演算させることができる。
【００４５】第２の画像処理装置において、演算手段に
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の連続性の逆数を、動きの方向に対応
する評価値として演算させることができる。
は、方向設定手段により設定された動きの方向上の複数
の画面の画素のうち、範囲設定手段により設定された範
囲の画素の画素値の連続性の逆数を、動きの方向に対応
する評価値として演算させることができる。
【００４６】本発明の第２の画像処理方法は、所定の注
目画面の各画素に対応する複数の動きの方向それぞれに
対応する評価値を、時系列の複数の画面の、動きの方向
上にある画素に基づいて演算する演算ステップと、複数
の動きの方向を、その複数の動きの方向それぞれに対応
する評価値に基づいて加工することにより、所定の注目
画面の各画素に対応する動きの方向を算出する算出ステ
ップと、算出ステップにおいて算出される動きの方向に
基づいて、動き部の有無を判定する判定ステップとを備
えることを特徴とする。
目画面の各画素に対応する複数の動きの方向それぞれに
対応する評価値を、時系列の複数の画面の、動きの方向
上にある画素に基づいて演算する演算ステップと、複数
の動きの方向を、その複数の動きの方向それぞれに対応
する評価値に基づいて加工することにより、所定の注目
画面の各画素に対応する動きの方向を算出する算出ステ
ップと、算出ステップにおいて算出される動きの方向に
基づいて、動き部の有無を判定する判定ステップとを備
えることを特徴とする。
【００４７】本発明の第２の記録媒体は、所定の注目画
面の各画素に対応する複数の動きの方向それぞれに対応
する評価値を、時系列の複数の画面の、動きの方向上に
ある画素に基づいて演算する演算ステップと、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出ステップ
と、算出ステップにおいて算出される動きの方向に基づ
いて、動き部の有無を判定する判定ステップとを備える
プログラムが記録されていることを特徴とする。
面の各画素に対応する複数の動きの方向それぞれに対応
する評価値を、時系列の複数の画面の、動きの方向上に
ある画素に基づいて演算する演算ステップと、複数の動
きの方向を、その複数の動きの方向それぞれに対応する
評価値に基づいて加工することにより、所定の注目画面
の各画素に対応する動きの方向を算出する算出ステップ
と、算出ステップにおいて算出される動きの方向に基づ
いて、動き部の有無を判定する判定ステップとを備える
プログラムが記録されていることを特徴とする。
【００４８】本発明の第１の画像処理装置および画像処
理方法、並びに記録媒体においては、注目画面の各画素
に対応する複数の動きの方向それぞれに対応する評価値
が、時系列の記複数の画面の、各動きの方向にある画素
に基づいて演算され、複数の動きの方向が、その複数の
動きの方向それぞれに対応する評価値に基づいて加工さ
れることにより、所定の注目画面の各画素に対応する動
きの方向が算出される。
理方法、並びに記録媒体においては、注目画面の各画素
に対応する複数の動きの方向それぞれに対応する評価値
が、時系列の記複数の画面の、各動きの方向にある画素
に基づいて演算され、複数の動きの方向が、その複数の
動きの方向それぞれに対応する評価値に基づいて加工さ
れることにより、所定の注目画面の各画素に対応する動
きの方向が算出される。
【００４９】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体においては、所定の注目画面の
各画素に対応する複数の動きの方向それぞれに対応する
評価値が、時系列の複数の画面の、動きの方向上にある
画素に基づいて演算され、複数の動きの方向が、その複
数の動きの方向それぞれに対応する評価値に基づいて加
工することにより、所定の注目画面の各画素に対応する
動きの方向が算出される。そして、その算出された動き
の方向に基づいて、動き部の有無が判定される。
理方法、並びに記録媒体においては、所定の注目画面の
各画素に対応する複数の動きの方向それぞれに対応する
評価値が、時系列の複数の画面の、動きの方向上にある
画素に基づいて演算され、複数の動きの方向が、その複
数の動きの方向それぞれに対応する評価値に基づいて加
工することにより、所定の注目画面の各画素に対応する
動きの方向が算出される。そして、その算出された動き
の方向に基づいて、動き部の有無が判定される。
【００５０】
【発明の実施の形態】図１は、本発明を適用した画像処
理装置の第１実施の形態のハードウェア構成例を示して
いる。
理装置の第１実施の形態のハードウェア構成例を示して
いる。
【００５１】この画像処理装置においては、ある一連の
動画像を構成するすべてのフレームが一旦蓄積され、そ
のすべてのフレームを利用して、その中の所定の注目フ
レームにおける動きの方向を検出する動き検出処理が行
われ、さらに、その動き方向の検出結果を用いて、蓄積
された画像データに対して、所定の処理が施されるよう
になっている。
動画像を構成するすべてのフレームが一旦蓄積され、そ
のすべてのフレームを利用して、その中の所定の注目フ
レームにおける動きの方向を検出する動き検出処理が行
われ、さらに、その動き方向の検出結果を用いて、蓄積
された画像データに対して、所定の処理が施されるよう
になっている。
【００５２】即ち、入力部１には、ある一連の動画像を
構成する時系列のフレームの画像データ（例えば、４：
２：２のＹＵＶ信号や、ＲＧＢ（Red, Green, Blue）信
号など）が、順次入力されるように構成されており、入
力部１は、その各フレームの画像データを、画像メモリ
２に供給するように構成されている。画像メモリ２は、
複数のフレームメモリを有し、入力部１から供給される
一連の動画像を構成する複数のフレームすべての画像デ
ータを、一時記憶するように構成されている。
構成する時系列のフレームの画像データ（例えば、４：
２：２のＹＵＶ信号や、ＲＧＢ（Red, Green, Blue）信
号など）が、順次入力されるように構成されており、入
力部１は、その各フレームの画像データを、画像メモリ
２に供給するように構成されている。画像メモリ２は、
複数のフレームメモリを有し、入力部１から供給される
一連の動画像を構成する複数のフレームすべての画像デ
ータを、一時記憶するように構成されている。
【００５３】動き方向／評価範囲設定部３は、画像メモ
リ２に記憶された複数フレームの所定のフレームを、注
目フレームとし、その注目フレームの各画素を、順次、
注目画素として、その注目画素について、複数の動きの
方向を順次設定するように構成されている。この注目画
素について設定された複数の動きの方向Ｖｘ１は、遅延
回路１２に順次供給される。
リ２に記憶された複数フレームの所定のフレームを、注
目フレームとし、その注目フレームの各画素を、順次、
注目画素として、その注目画素について、複数の動きの
方向を順次設定するように構成されている。この注目画
素について設定された複数の動きの方向Ｖｘ１は、遅延
回路１２に順次供給される。
【００５４】さらに、動き方向／評価範囲設定部３は、
画像メモリ２に記憶された複数フレームの、注目画素に
ついて設定した動きの方向にある画素から、その動きの
方向（動き方向）に対する評価値（設定された動きの方
向が、注目画素の動きの方向として正しいかどうかを表
す値）を演算するのに用いる画素の範囲（以下、適宜、
評価範囲という）を、動きの方向に沿ってシフトしなが
ら順次設定するようにも構成されている。そして、動き
方向／評価範囲設定部３において設定された評価範囲内
の画素は、画像メモリ２から読み出され、評価値演算部
４に供給される。
画像メモリ２に記憶された複数フレームの、注目画素に
ついて設定した動きの方向にある画素から、その動きの
方向（動き方向）に対する評価値（設定された動きの方
向が、注目画素の動きの方向として正しいかどうかを表
す値）を演算するのに用いる画素の範囲（以下、適宜、
評価範囲という）を、動きの方向に沿ってシフトしなが
ら順次設定するようにも構成されている。そして、動き
方向／評価範囲設定部３において設定された評価範囲内
の画素は、画像メモリ２から読み出され、評価値演算部
４に供給される。
【００５５】評価値演算部４は、画像メモリ２から供給
される評価範囲内の画素を用いて、動き方向／評価範囲
設定部３で設定された注目画素についての動きの方向に
対する評価値を演算し、演算器６および遅延回路１０に
供給するように構成されている。
される評価範囲内の画素を用いて、動き方向／評価範囲
設定部３で設定された注目画素についての動きの方向に
対する評価値を演算し、演算器６および遅延回路１０に
供給するように構成されている。
【００５６】即ち、評価値演算部４は、例えば、注目画
素の画素値と、評価範囲内の画素の画素値とを用いて、
これらの画素値の分散を演算し、その逆数を、注目画素
について設定された動きの方向に対する評価値α１とし
て求めるように構成される。あるいは、評価値演算部４
は、例えば、注目画素の画素値と、評価範囲内の画素の
画素値との中から、動き方向上にある隣接する画素値ど
うしを順次選択して、それらの差分の２乗平均値等の、
いわば画素の連続性を表すような値を演算し、その逆数
を、注目画素について設定された動きの方向に対する評
価値α１として求めるように構成される。なお、ここで
は、動き方向／評価範囲設定部３で設定された動きの方
向が、注目画素の動きの方向として正しい場合には、大
きな値の評価値が、逆に正しくない場合には、小さな値
の評価値が、それぞれ求められるように構成される。
素の画素値と、評価範囲内の画素の画素値とを用いて、
これらの画素値の分散を演算し、その逆数を、注目画素
について設定された動きの方向に対する評価値α１とし
て求めるように構成される。あるいは、評価値演算部４
は、例えば、注目画素の画素値と、評価範囲内の画素の
画素値との中から、動き方向上にある隣接する画素値ど
うしを順次選択して、それらの差分の２乗平均値等の、
いわば画素の連続性を表すような値を演算し、その逆数
を、注目画素について設定された動きの方向に対する評
価値α１として求めるように構成される。なお、ここで
は、動き方向／評価範囲設定部３で設定された動きの方
向が、注目画素の動きの方向として正しい場合には、大
きな値の評価値が、逆に正しくない場合には、小さな値
の評価値が、それぞれ求められるように構成される。
【００５７】評価値メモリ５は、注目フレームの各画素
について、動き方向に対する評価値を記憶するように構
成され、その記憶している評価値を、演算器６および８
に出力するように構成される。さらに、評価値メモリ５
は、注目フレームの各画素について既に記憶している動
き方向に対する評価値を、遅延回路９から供給される動
き方向に対する評価値の更新値に書き換えるように構成
される。
について、動き方向に対する評価値を記憶するように構
成され、その記憶している評価値を、演算器６および８
に出力するように構成される。さらに、評価値メモリ５
は、注目フレームの各画素について既に記憶している動
き方向に対する評価値を、遅延回路９から供給される動
き方向に対する評価値の更新値に書き換えるように構成
される。
【００５８】演算器６には、上述したように、評価値演
算部４で求められた注目画素についての動き方向に対す
る評価値α１と、評価値メモリ５に既に記憶されている
注目画素についての動き方向に対する評価値α０とが供
給される。演算器６は、これらの評価値α１とα０とを
加算することで、評価値メモリ５に既に記憶されている
注目画素についての動き方向に対する評価値を更新し、
その更新した評価値α２を、演算器７および遅延回路９
に供給する。
算部４で求められた注目画素についての動き方向に対す
る評価値α１と、評価値メモリ５に既に記憶されている
注目画素についての動き方向に対する評価値α０とが供
給される。演算器６は、これらの評価値α１とα０とを
加算することで、評価値メモリ５に既に記憶されている
注目画素についての動き方向に対する評価値を更新し、
その更新した評価値α２を、演算器７および遅延回路９
に供給する。
【００５９】演算器７は、演算器６からの評価値の逆数
を演算し、演算器８および演算器１１に供給する。演算
器８は、演算器７の出力と、評価値メモリ５からの評価
値α０とを乗算し、演算器１５に供給する。遅延回路９
は、演算器６からの評価値α２を、所定の時間だけ遅延
して、評価値メモリ５に供給する。遅延回路１０は、評
価値演算器４で求められた評価値α１を、所定の時間だ
け遅延して、演算器１１に供給する。演算器１１は、遅
延回路１０の出力と、演算器７の出力とを乗算し、演算
器１３に供給する。遅延回路１２は、動き方向／評価範
囲設定部３から供給される動き方向を、所定の時間だけ
遅延し、演算器１３に供給する。演算器１３は、演算器
１１の出力と、遅延回路１２の出力とを乗算し、遅延回
路１６に出力する。
を演算し、演算器８および演算器１１に供給する。演算
器８は、演算器７の出力と、評価値メモリ５からの評価
値α０とを乗算し、演算器１５に供給する。遅延回路９
は、演算器６からの評価値α２を、所定の時間だけ遅延
して、評価値メモリ５に供給する。遅延回路１０は、評
価値演算器４で求められた評価値α１を、所定の時間だ
け遅延して、演算器１１に供給する。演算器１１は、遅
延回路１０の出力と、演算器７の出力とを乗算し、演算
器１３に供給する。遅延回路１２は、動き方向／評価範
囲設定部３から供給される動き方向を、所定の時間だけ
遅延し、演算器１３に供給する。演算器１３は、演算器
１１の出力と、遅延回路１２の出力とを乗算し、遅延回
路１６に出力する。
【００６０】動き方向メモリ１４は、注目フレームの各
画素について、その動き方向を記憶するように構成さ
れ、その記憶している動き方向を、演算器１５に出力す
るように構成される。さらに、動き方向メモリ１４は、
注目フレームの各画素について既に記憶している動き方
向を、演算器１８から供給される動き方向の更新値に書
き換えるようにも構成されている。
画素について、その動き方向を記憶するように構成さ
れ、その記憶している動き方向を、演算器１５に出力す
るように構成される。さらに、動き方向メモリ１４は、
注目フレームの各画素について既に記憶している動き方
向を、演算器１８から供給される動き方向の更新値に書
き換えるようにも構成されている。
【００６１】演算器１５は、動き方向メモリ１４に既に
記憶されている注目画素についての動き方向Ｖｘ０と、
演算器８の出力とを乗算し、遅延回路１７に出力する。
遅延回路１６は、演算器１３の出力を、所定の時間だけ
遅延し、演算器１８に供給する。遅延回路１７は、演算
器１５の出力を、所定の時間だけ遅延して、演算器１８
に供給する。演算器１８は、遅延回路１６の出力と、遅
延回路１７の出力とを加算することにより、動き方向メ
モリ１４に既に記憶されている注目画素についての動き
方向の更新値を求め、その更新された動き方向Ｖｘ２
を、動き方向メモリ１４に供給する。
記憶されている注目画素についての動き方向Ｖｘ０と、
演算器８の出力とを乗算し、遅延回路１７に出力する。
遅延回路１６は、演算器１３の出力を、所定の時間だけ
遅延し、演算器１８に供給する。遅延回路１７は、演算
器１５の出力を、所定の時間だけ遅延して、演算器１８
に供給する。演算器１８は、遅延回路１６の出力と、遅
延回路１７の出力とを加算することにより、動き方向メ
モリ１４に既に記憶されている注目画素についての動き
方向の更新値を求め、その更新された動き方向Ｖｘ２
を、動き方向メモリ１４に供給する。
【００６２】出力部１９は、動き方向メモリ１４に記憶
された、注目フレームの各画素について最終的に得られ
た動き方向を読み出し、処理部２０に供給する。処理部
２０には、さらに、画像メモリ２に記憶された画像デー
タが供給され、処理部２０は、供給された画像データに
対し、出力部１９からの動き方向を用いて所定の処理を
施して出力する。
された、注目フレームの各画素について最終的に得られ
た動き方向を読み出し、処理部２０に供給する。処理部
２０には、さらに、画像メモリ２に記憶された画像デー
タが供給され、処理部２０は、供給された画像データに
対し、出力部１９からの動き方向を用いて所定の処理を
施して出力する。
【００６３】即ち、処理部２０は、出力部１９からの動
き方向に基づいて、例えば、各フレームの対応する画素
（画像の同一オブジェクトの一部分を構成する画素）を
検出し、それらの画素を加算することにより、画像か
ら、ノイズを除去する。また、処理部２０は、出力部１
９からの動き方向に基づいて、例えば、各フレームの動
きのない部分を検出し、その動きのない部分を構成す
る、各フレームの対応する画素どうしを加算することに
より、背景の画像を生成する。
き方向に基づいて、例えば、各フレームの対応する画素
（画像の同一オブジェクトの一部分を構成する画素）を
検出し、それらの画素を加算することにより、画像か
ら、ノイズを除去する。また、処理部２０は、出力部１
９からの動き方向に基づいて、例えば、各フレームの動
きのない部分を検出し、その動きのない部分を構成す
る、各フレームの対応する画素どうしを加算することに
より、背景の画像を生成する。
【００６４】次に、以上のように構成される画像処理装
置において行われる動き方向検出処理について説明す
る。但し、ここでは、説明を簡単にするために、例え
ば、図２に示すような、剛体としてのトラックが、一定
方向としての左から右方向に、等速で移動している画像
が表示された時系列の６０フレームを、動き方向検出処
理の対象動画像とする。なお、動き方向検出処理の単位
とするフレーム数を、少ないフレーム数とすれば、その
少ないフレーム数の中では、剛体が、一定方向に、等速
で移動していると仮定しても、大きな問題はない。
置において行われる動き方向検出処理について説明す
る。但し、ここでは、説明を簡単にするために、例え
ば、図２に示すような、剛体としてのトラックが、一定
方向としての左から右方向に、等速で移動している画像
が表示された時系列の６０フレームを、動き方向検出処
理の対象動画像とする。なお、動き方向検出処理の単位
とするフレーム数を、少ないフレーム数とすれば、その
少ないフレーム数の中では、剛体が、一定方向に、等速
で移動していると仮定しても、大きな問題はない。
【００６５】動き方向検出処理では、まず最初に、図３
に示すように、図２に示した時系列の６０フレームのう
ちの所定のフレームが注目フレームとされる。ここで、
図３では、第３１フレーム（先頭から３１フレーム目）
が注目フレームとされている。
に示すように、図２に示した時系列の６０フレームのう
ちの所定のフレームが注目フレームとされる。ここで、
図３では、第３１フレーム（先頭から３１フレーム目）
が注目フレームとされている。
【００６６】そして、注目フレームの各画素を、順次、
注目画素として、その注目画素について、複数の動き方
向が設定される。なお、ここでは、動き方向検出処理の
対象とする画像に表示された剛体が、左から右に移動し
ているから、水平方向のみが注目される。注目画素と、
注目フレームの次のフレーム（ここでは、第３２フレー
ム）の、注目画素と同一位置にある画素を中心として水
平方向にある画素それぞれとを結ぶ直線の方向が、注目
画素についての動き方向として、順次設定される。即
ち、いま、第ｔフレームの、左からｘ番目で、下からｙ
番目にある画素の座標を（ｔ，ｘ，ｙ）と表すものと
し、この場合の注目フレームの注目画素の座標が、
（Ｔ，Ｘ，Ｙ）と表されるとすると、第Ｔフレームの点
（Ｔ，Ｘ，Ｙ）と、第Ｔ＋１フレームの点・・・，（Ｔ
＋１，Ｘ−１，Ｙ），（Ｔ＋１，Ｘ，Ｙ），（Ｔ＋１，
Ｘ＋１，Ｙ），・・・それぞれとを結ぶ直線の方向が、
注目画素についての動き方向として、順次設定される。
注目画素として、その注目画素について、複数の動き方
向が設定される。なお、ここでは、動き方向検出処理の
対象とする画像に表示された剛体が、左から右に移動し
ているから、水平方向のみが注目される。注目画素と、
注目フレームの次のフレーム（ここでは、第３２フレー
ム）の、注目画素と同一位置にある画素を中心として水
平方向にある画素それぞれとを結ぶ直線の方向が、注目
画素についての動き方向として、順次設定される。即
ち、いま、第ｔフレームの、左からｘ番目で、下からｙ
番目にある画素の座標を（ｔ，ｘ，ｙ）と表すものと
し、この場合の注目フレームの注目画素の座標が、
（Ｔ，Ｘ，Ｙ）と表されるとすると、第Ｔフレームの点
（Ｔ，Ｘ，Ｙ）と、第Ｔ＋１フレームの点・・・，（Ｔ
＋１，Ｘ−１，Ｙ），（Ｔ＋１，Ｘ，Ｙ），（Ｔ＋１，
Ｘ＋１，Ｙ），・・・それぞれとを結ぶ直線の方向が、
注目画素についての動き方向として、順次設定される。
【００６７】具体的には、ここでは、例えば、注目フレ
ームである第３１フレームの注目画素（３１，Ｘ，Ｙ）
と、その次の第３２フレームの画素（３２，Ｘ−１６，
Ｙ），（３２，Ｘ−１５，Ｙ），・・・，（３２，Ｘ，
Ｙ），・・・，（３２，Ｘ＋１５，Ｙ），（３２，Ｘ＋
１６，Ｙ）それぞれとを結ぶ３３の直線の方向が、注目
画素（３１，Ｘ，Ｙ）についての動き方向として、順次
設定される。ここで、注目画素（Ｔ，Ｘ，Ｙ）と、画素
（Ｔ＋１，Ｘ＋ｍ，Ｙ）とを結ぶ直線の方向である動き
方向Ｖｘは、ｍで表される。
ームである第３１フレームの注目画素（３１，Ｘ，Ｙ）
と、その次の第３２フレームの画素（３２，Ｘ−１６，
Ｙ），（３２，Ｘ−１５，Ｙ），・・・，（３２，Ｘ，
Ｙ），・・・，（３２，Ｘ＋１５，Ｙ），（３２，Ｘ＋
１６，Ｙ）それぞれとを結ぶ３３の直線の方向が、注目
画素（３１，Ｘ，Ｙ）についての動き方向として、順次
設定される。ここで、注目画素（Ｔ，Ｘ，Ｙ）と、画素
（Ｔ＋１，Ｘ＋ｍ，Ｙ）とを結ぶ直線の方向である動き
方向Ｖｘは、ｍで表される。
【００６８】なお、動き方向は、注目画素と、注目フレ
ームの次のフレームの、注目画素に対応する画素を中心
として水平方向にある画素だけでなく、垂直方向にある
画素や斜め方向にある画素とを結ぶ直線の方向に設定す
ることも可能である。即ち、注目画素（Ｔ，Ｘ，Ｙ）
と、画素（Ｔ＋１，Ｘ＋ｍ，Ｙ＋ｎ）とを結ぶ直線の方
向に設定することも可能である。この場合の動き方向Ｖ
は、（ｍ，ｎ）で表される。
ームの次のフレームの、注目画素に対応する画素を中心
として水平方向にある画素だけでなく、垂直方向にある
画素や斜め方向にある画素とを結ぶ直線の方向に設定す
ることも可能である。即ち、注目画素（Ｔ，Ｘ，Ｙ）
と、画素（Ｔ＋１，Ｘ＋ｍ，Ｙ＋ｎ）とを結ぶ直線の方
向に設定することも可能である。この場合の動き方向Ｖ
は、（ｍ，ｎ）で表される。
【００６９】注目画素について、ある動き方向が設定さ
れた場合、その注目画素を通る動き方向の直線は、図４
に示すように、動き方向検出処理の対象である６０フレ
ームの少なくとも一部のフレームの画素を通る。いま、
この直線が通る画素を、動き方向にある画素（動き方向
上の画素）というと、この動き方向上にある画素に基づ
いて、その動き方向に対する評価値（注目画素が、その
動き方向に動いているとすることの正しさ）が演算され
る。そして、注目画素について設定された複数の動き方
向が、それぞれの動き方向に対する評価値を重みとして
重み付け加算されることにより、注目画素についての最
終的な動き方向が求められる。
れた場合、その注目画素を通る動き方向の直線は、図４
に示すように、動き方向検出処理の対象である６０フレ
ームの少なくとも一部のフレームの画素を通る。いま、
この直線が通る画素を、動き方向にある画素（動き方向
上の画素）というと、この動き方向上にある画素に基づ
いて、その動き方向に対する評価値（注目画素が、その
動き方向に動いているとすることの正しさ）が演算され
る。そして、注目画素について設定された複数の動き方
向が、それぞれの動き方向に対する評価値を重みとして
重み付け加算されることにより、注目画素についての最
終的な動き方向が求められる。
【００７０】以上のような動き方向検出処理によれば、
注目フレームの各画素について、その画素を通る直線上
にある各フレームの画素に基づいて、その直線方向に動
いていることをの正しさを評価する評価値が求められ
る。従って、従来のオブジェクト抽出のように、各画素
についてブロックが構成されることに起因して演算量が
多くなるブロックマッチングによる評価値計算を行う場
合に比較して、少ない演算量で、各画素の動き方向を得
ることができる。
注目フレームの各画素について、その画素を通る直線上
にある各フレームの画素に基づいて、その直線方向に動
いていることをの正しさを評価する評価値が求められ
る。従って、従来のオブジェクト抽出のように、各画素
についてブロックが構成されることに起因して演算量が
多くなるブロックマッチングによる評価値計算を行う場
合に比較して、少ない演算量で、各画素の動き方向を得
ることができる。
【００７１】即ち、例えば、いま、動き方向検出処理に
おいて、注目フレームの、ある画素を通る直線上にある
各フレームの画素数と、ブロックマッチングにおいて、
注目フレームの、ある画素について構成されるブロック
の画素数とがＮ個で、同一であるとすると、ブロックマ
ッチングでは、評価値に相当する前述の予測誤差の計算
に、ある画素について構成されるブロックのＮ個の画素
と、近接フレームのブロックのＮ個の画素との２Ｎ個の
画素が用いられるのに対して、動き方向検出処理では、
評価値の計算に、Ｎ個の画素を用いるだけで済み、その
結果、演算量が少なくなる。
おいて、注目フレームの、ある画素を通る直線上にある
各フレームの画素数と、ブロックマッチングにおいて、
注目フレームの、ある画素について構成されるブロック
の画素数とがＮ個で、同一であるとすると、ブロックマ
ッチングでは、評価値に相当する前述の予測誤差の計算
に、ある画素について構成されるブロックのＮ個の画素
と、近接フレームのブロックのＮ個の画素との２Ｎ個の
画素が用いられるのに対して、動き方向検出処理では、
評価値の計算に、Ｎ個の画素を用いるだけで済み、その
結果、演算量が少なくなる。
【００７２】また、動き方向検出処理では、注目画素に
ついて設定された動き方向が、それぞれの動き方向に対
する評価値を重みとして重み付け加算されることによ
り、注目画素についての最終的な動き方向が求められ
る。従って、従来のオブジェクト抽出のように、評価値
の計算を再帰的に行う必要がなく、このことによって
も、演算量が少なくなる。
ついて設定された動き方向が、それぞれの動き方向に対
する評価値を重みとして重み付け加算されることによ
り、注目画素についての最終的な動き方向が求められ
る。従って、従来のオブジェクト抽出のように、評価値
の計算を再帰的に行う必要がなく、このことによって
も、演算量が少なくなる。
【００７３】さらに、動き方向検出処理によれば、上述
のように、６０フレームすべての画像データ、即ち、時
間方向のデータを有効に利用して、注目フレームの各画
素について、最終的な動き方向が求められるので、注目
フレームと、近接フレームだけを利用してブロックマッ
チングが行われる従来のオブジェクト抽出に比較して、
精度の高い、あるいは信頼性の高い動き方向を得ること
ができる。
のように、６０フレームすべての画像データ、即ち、時
間方向のデータを有効に利用して、注目フレームの各画
素について、最終的な動き方向が求められるので、注目
フレームと、近接フレームだけを利用してブロックマッ
チングが行われる従来のオブジェクト抽出に比較して、
精度の高い、あるいは信頼性の高い動き方向を得ること
ができる。
【００７４】なお、従来のオブジェクト抽出において
も、注目フレームと、他のすべてのフレームそれぞれと
の間でブロックマッチングを行い、そのブロックマッチ
ングの結果得られる予測誤差を総合的に評価することに
より、動き方向検出処理の場合と同様に、時間方向のデ
ータを有効に利用して、精度または信頼性の高い動き方
向を求めることが、理論的には可能である。しかしなが
ら、注目している画素のフレームと、他のすべてのフレ
ームそれぞれとの間でブロックマッチングを行うこと
は、演算量の観点からは非現実的であり、これに対し
て、動き方向検出処理によれば、上述のように、少ない
演算量で、精度または信頼性の高い動き方向を得ること
ができる。
も、注目フレームと、他のすべてのフレームそれぞれと
の間でブロックマッチングを行い、そのブロックマッチ
ングの結果得られる予測誤差を総合的に評価することに
より、動き方向検出処理の場合と同様に、時間方向のデ
ータを有効に利用して、精度または信頼性の高い動き方
向を求めることが、理論的には可能である。しかしなが
ら、注目している画素のフレームと、他のすべてのフレ
ームそれぞれとの間でブロックマッチングを行うこと
は、演算量の観点からは非現実的であり、これに対し
て、動き方向検出処理によれば、上述のように、少ない
演算量で、精度または信頼性の高い動き方向を得ること
ができる。
【００７５】次に、図５のフローチャートを参照して、
図１の画像処理装置が行う動き方向検出処理について、
さらに説明する。
図１の画像処理装置が行う動き方向検出処理について、
さらに説明する。
【００７６】ステップＳ１では、入力部１に画像データ
が入力され、画像メモリ２に供給されて記憶される。そ
して、ステップＳ２に進み、図示せぬコントローラ等に
おいて、所定のフレーム数の画像データが、画像メモリ
２に記憶されたか否かが判定され、まだ記憶されていな
いと判定された場合、ステップＳ１に戻り、次に入力さ
れる画像データを、画像メモリ２に供給して記憶させる
ことを繰り返す。
が入力され、画像メモリ２に供給されて記憶される。そ
して、ステップＳ２に進み、図示せぬコントローラ等に
おいて、所定のフレーム数の画像データが、画像メモリ
２に記憶されたか否かが判定され、まだ記憶されていな
いと判定された場合、ステップＳ１に戻り、次に入力さ
れる画像データを、画像メモリ２に供給して記憶させる
ことを繰り返す。
【００７７】また、ステップＳ２において、コントロー
ラ等により、画像メモリ２に所定のフレーム数の画像デ
ータが記憶されたと判定された場合、注目フレームが設
定され、ステップＳ３に進む。なお、注目フレームは、
例えば、装置において、動きのある物体の全体が表示さ
れているフレームを検出し、そのうちの１フレームに設
定したり、また、ユーザに設定してもらうこと等が可能
である。
ラ等により、画像メモリ２に所定のフレーム数の画像デ
ータが記憶されたと判定された場合、注目フレームが設
定され、ステップＳ３に進む。なお、注目フレームは、
例えば、装置において、動きのある物体の全体が表示さ
れているフレームを検出し、そのうちの１フレームに設
定したり、また、ユーザに設定してもらうこと等が可能
である。
【００７８】ステップＳ３では、注目フレームの中のあ
る画素が注目画素として設定され、ステップＳ４に進
み、動き方向／評価範囲設定部３において、注目画素に
ついて、動き方向と、評価範囲とが設定される。
る画素が注目画素として設定され、ステップＳ４に進
み、動き方向／評価範囲設定部３において、注目画素に
ついて、動き方向と、評価範囲とが設定される。
【００７９】即ち、動き方向／評価範囲設定部３では、
まず、注目画素について、動き方向が設定される。
まず、注目画素について、動き方向が設定される。
【００８０】ここで、注目画素を通る、動き方向の直線
が、動き方向検出処理の対象とするフレームのうちの最
初のフレーム（あるいは最初のフレームに最も近いフレ
ーム）と交わる点と、最後のフレーム（あるいは最後の
フレームに最も近いフレーム）と交わる点とを結ぶ線分
を、以下、適宜、動き方向線という。また、その最初の
フレーム（あるいは最初のフレームに最も近いフレー
ム）と交わる点、または最後のフレーム（あるいは最後
のフレームに最も近いフレーム）と交わる点を、それぞ
れ、動き方向線の始点または終点という。
が、動き方向検出処理の対象とするフレームのうちの最
初のフレーム（あるいは最初のフレームに最も近いフレ
ーム）と交わる点と、最後のフレーム（あるいは最後の
フレームに最も近いフレーム）と交わる点とを結ぶ線分
を、以下、適宜、動き方向線という。また、その最初の
フレーム（あるいは最初のフレームに最も近いフレー
ム）と交わる点、または最後のフレーム（あるいは最後
のフレームに最も近いフレーム）と交わる点を、それぞ
れ、動き方向線の始点または終点という。
【００８１】注目画素について、動き方向が設定される
と、その動き方向に対して、図６に示すように、１つの
動き方向線が決まる。そして、動き方向／評価範囲設定
部３では、例えば、その動き方向線の始点のフレームか
ら、所定数のフレーム（例えば、２０フレームなど）に
おける、動き方向線上の画素の範囲が、評価範囲として
設定される。
と、その動き方向に対して、図６に示すように、１つの
動き方向線が決まる。そして、動き方向／評価範囲設定
部３では、例えば、その動き方向線の始点のフレームか
ら、所定数のフレーム（例えば、２０フレームなど）に
おける、動き方向線上の画素の範囲が、評価範囲として
設定される。
【００８２】ここで、動き方向／評価範囲設定部３にお
いて、以上のようにして、評価範囲が設定されると、そ
の評価範囲の画素を用いて、ステップＳ５乃至Ｓ８の処
理が行われる。そして、ステップＳ９において、コント
ローラ等により、すべての動き方向の設定と、各動き方
向についてのすべての評価範囲の設定とが、まだ終了し
ていないと判定されると、ステップＳ４に戻り、まだ、
処理の対象としていない動き方向と評価範囲の設定が行
われる。この設定は、例えば、次のような順番で行われ
る。
いて、以上のようにして、評価範囲が設定されると、そ
の評価範囲の画素を用いて、ステップＳ５乃至Ｓ８の処
理が行われる。そして、ステップＳ９において、コント
ローラ等により、すべての動き方向の設定と、各動き方
向についてのすべての評価範囲の設定とが、まだ終了し
ていないと判定されると、ステップＳ４に戻り、まだ、
処理の対象としていない動き方向と評価範囲の設定が行
われる。この設定は、例えば、次のような順番で行われ
る。
【００８３】即ち、動き方向／評価範囲設定部３では、
最初に、図７（Ａ）に示すように、ある動き方向が設定
され、その動き方向についての動き方向線Ｌ１の始点の
フレームから、所定数のフレームにおける、動き方向線
Ｌ１上の画素の範囲が、評価範囲として設定される。そ
して、その後は、図７（Ｂ）に示すように、他の動き方
向が設定され、その動き方向についての動き方向線Ｌ２
の始点のフレームから、所定数のフレームにおける、動
き方向線Ｌ２上の画素の範囲が、評価範囲として設定さ
れる。以下、同様にして、まだ設定されていない動き方
向について、その動き方向線の始点のフレームからの評
価範囲が設定される。
最初に、図７（Ａ）に示すように、ある動き方向が設定
され、その動き方向についての動き方向線Ｌ１の始点の
フレームから、所定数のフレームにおける、動き方向線
Ｌ１上の画素の範囲が、評価範囲として設定される。そ
して、その後は、図７（Ｂ）に示すように、他の動き方
向が設定され、その動き方向についての動き方向線Ｌ２
の始点のフレームから、所定数のフレームにおける、動
き方向線Ｌ２上の画素の範囲が、評価範囲として設定さ
れる。以下、同様にして、まだ設定されていない動き方
向について、その動き方向線の始点のフレームからの評
価範囲が設定される。
【００８４】そして、すべての動き方向について、その
動き方向線の始点から、所定数のフレームにおける、動
き方向線上の画素の範囲が、評価範囲として設定され
る。その後、再び、最初に設定された動き方向が設定さ
れ、その動き方向についての動き方向線Ｌ１上に、前回
設定された評価範囲を、１フレーム分だけ終点方向にシ
フトした評価範囲が設定される。
動き方向線の始点から、所定数のフレームにおける、動
き方向線上の画素の範囲が、評価範囲として設定され
る。その後、再び、最初に設定された動き方向が設定さ
れ、その動き方向についての動き方向線Ｌ１上に、前回
設定された評価範囲を、１フレーム分だけ終点方向にシ
フトした評価範囲が設定される。
【００８５】即ち、図７（Ｃ）に示すように、動き方向
線Ｌ１の始点のフレームの次のフレームから、所定数の
フレームにおける、動き方向線Ｌ１上の画素の範囲が、
評価範囲として設定される。その後は、図７（Ｄ）に示
すように、図７（Ｂ）における場合と同一の動き方向が
設定され、その動き方向についての動き方向線Ｌ２の始
点のフレームの次のフレームから、所定数のフレームに
おける、動き方向線Ｌ２上の画素の範囲が、評価範囲と
して設定される。以下、同様にして、まだ設定されてい
ない動き方向と評価範囲の組み合わせの設定が、評価範
囲の一端が、動き方向線の終点に到達するまで、繰り返
し行われる。
線Ｌ１の始点のフレームの次のフレームから、所定数の
フレームにおける、動き方向線Ｌ１上の画素の範囲が、
評価範囲として設定される。その後は、図７（Ｄ）に示
すように、図７（Ｂ）における場合と同一の動き方向が
設定され、その動き方向についての動き方向線Ｌ２の始
点のフレームの次のフレームから、所定数のフレームに
おける、動き方向線Ｌ２上の画素の範囲が、評価範囲と
して設定される。以下、同様にして、まだ設定されてい
ない動き方向と評価範囲の組み合わせの設定が、評価範
囲の一端が、動き方向線の終点に到達するまで、繰り返
し行われる。
【００８６】ステップＳ４において、動き方向／評価範
囲設定部３により、ある動き方向Ｖｘ１と評価範囲の組
み合わせが設定されると、動き方向Ｖｘ１は、遅延回路
１２に出力され、所定の時間だけ遅延されて、演算器１
３に供給される。また、評価範囲の画素は、注目画素と
ともに、画像メモリ２から読み出され、評価値演算部４
に供給される。
囲設定部３により、ある動き方向Ｖｘ１と評価範囲の組
み合わせが設定されると、動き方向Ｖｘ１は、遅延回路
１２に出力され、所定の時間だけ遅延されて、演算器１
３に供給される。また、評価範囲の画素は、注目画素と
ともに、画像メモリ２から読み出され、評価値演算部４
に供給される。
【００８７】評価値演算部４では、ステップＳ５におい
て、画像メモリ２からの評価範囲の画素と注目画素の分
散が計算され、その逆数が、動き方向Ｖｘ１に対する評
価値α１として出力される。この評価値α１は、演算器
６に供給されるとともに、遅延回路１０を介して、演算
器１１に供給される。
て、画像メモリ２からの評価範囲の画素と注目画素の分
散が計算され、その逆数が、動き方向Ｖｘ１に対する評
価値α１として出力される。この評価値α１は、演算器
６に供給されるとともに、遅延回路１０を介して、演算
器１１に供給される。
【００８８】このとき、演算器６には、評価値メモリ５
から、注目画素について記憶されている動き方向に対す
る評価値α０が供給される。演算器６は、この評価値α
０と、評価値演算部４からの評価値α１とを加算するこ
とで、評価値メモリ５に記憶されていた評価値α０を更
新し、その更新された評価値α２を求める。即ち、ここ
では、式α２＝α０＋α１・・・（１）にしたがって、
評価値メモリ５に記憶されていた評価値α０が、評価値
演算部４でいま求められた評価値α１を用いて、評価値
α２に更新される。この更新後の評価値α２は、後述す
るようにして求められる動き方向の更新値Ｖx2に対する
評価値として、遅延回路９を介して、評価値メモリ５に
供給されるとともに、演算器７に供給される。
から、注目画素について記憶されている動き方向に対す
る評価値α０が供給される。演算器６は、この評価値α
０と、評価値演算部４からの評価値α１とを加算するこ
とで、評価値メモリ５に記憶されていた評価値α０を更
新し、その更新された評価値α２を求める。即ち、ここ
では、式α２＝α０＋α１・・・（１）にしたがって、
評価値メモリ５に記憶されていた評価値α０が、評価値
演算部４でいま求められた評価値α１を用いて、評価値
α２に更新される。この更新後の評価値α２は、後述す
るようにして求められる動き方向の更新値Ｖx2に対する
評価値として、遅延回路９を介して、評価値メモリ５に
供給されるとともに、演算器７に供給される。
【００８９】そして、ステップＳ６に進み、演算器７，
８，１１，１３，１５、遅延回路１６および１７、並び
に演算器１８で構成される回路において、動き方向メモ
リ１４に既に記憶されている注目画素についての動き方
向Ｖｘ０が更新される。
８，１１，１３，１５、遅延回路１６および１７、並び
に演算器１８で構成される回路において、動き方向メモ
リ１４に既に記憶されている注目画素についての動き方
向Ｖｘ０が更新される。
【００９０】即ち、演算器７では、演算器６が出力する
更新後の評価値α２（＝α０＋α１）の逆数（１／α2
＝１／（α0＋α1））が演算され、演算器８および１１
に供給される。演算器８では、評価値メモリ５から、注
目画素について記憶されている評価値α０が読み出さ
れ、演算器７の出力（１／（α０＋α１））と乗算され
る。この乗算結果（α０／（α０＋α１））は、演算器
１５に供給される。また、演算器１１では、遅延回路１
０からの、評価値演算部４で求められた評価値α１と、
演算器７の出力（１／（α０＋α１））とが乗算され、
その結果得られる乗算値（α１／（α０＋α１））が、
演算器１３に供給される。
更新後の評価値α２（＝α０＋α１）の逆数（１／α2
＝１／（α0＋α1））が演算され、演算器８および１１
に供給される。演算器８では、評価値メモリ５から、注
目画素について記憶されている評価値α０が読み出さ
れ、演算器７の出力（１／（α０＋α１））と乗算され
る。この乗算結果（α０／（α０＋α１））は、演算器
１５に供給される。また、演算器１１では、遅延回路１
０からの、評価値演算部４で求められた評価値α１と、
演算器７の出力（１／（α０＋α１））とが乗算され、
その結果得られる乗算値（α１／（α０＋α１））が、
演算器１３に供給される。
【００９１】演算器１３では、遅延回路１３からの、動
き方向／評価範囲設定部３で設定された動き方向Ｖｘ１
と、演算器１１の出力（α１／（α０＋α１））とが乗
算され、その乗算結果（α１／（α０＋α１）×Ｖｘ
１）が、遅延回路１６を介して、演算器１８に供給され
る。
き方向／評価範囲設定部３で設定された動き方向Ｖｘ１
と、演算器１１の出力（α１／（α０＋α１））とが乗
算され、その乗算結果（α１／（α０＋α１）×Ｖｘ
１）が、遅延回路１６を介して、演算器１８に供給され
る。
【００９２】一方、演算器１５では、動き方向メモリ１
４に記憶されている注目画素についての動きベクトルＶ
ｘ０が読み出され、演算器８の出力（α０／（α０＋α
１））と乗算される。この乗算結果（α０／（α０＋α
１）×Ｖｘ０）は、遅延回路１７を介して、演算器１８
に供給される。
４に記憶されている注目画素についての動きベクトルＶ
ｘ０が読み出され、演算器８の出力（α０／（α０＋α
１））と乗算される。この乗算結果（α０／（α０＋α
１）×Ｖｘ０）は、遅延回路１７を介して、演算器１８
に供給される。
【００９３】演算器１８では、以上のようにして遅延回
路１６と１７を介して供給される乗算結果どうし（α１
／（α０＋α１）×Ｖｘ１と、α０／（α０＋α１）×
Ｖｘ０）が加算され、その加算結果が、動き方向メモリ
１４に記憶されていた注目画素についての動き方向Ｖｘ
０の更新値Ｖｘ２として求められる。
路１６と１７を介して供給される乗算結果どうし（α１
／（α０＋α１）×Ｖｘ１と、α０／（α０＋α１）×
Ｖｘ０）が加算され、その加算結果が、動き方向メモリ
１４に記憶されていた注目画素についての動き方向Ｖｘ
０の更新値Ｖｘ２として求められる。
【００９４】従って、動き方向メモリ１４に記憶されて
いた注目画素についての動き方向Ｖｘ０は、その動き方
向Ｖｘ０と、いま設定された動き方向Ｖｘ１とを、それ
ぞれに対する評価値α０とα１を重みとして、次式で示
すような重み付け加算することにより、動き方向Ｖｘ２
に更新される。
いた注目画素についての動き方向Ｖｘ０は、その動き方
向Ｖｘ０と、いま設定された動き方向Ｖｘ１とを、それ
ぞれに対する評価値α０とα１を重みとして、次式で示
すような重み付け加算することにより、動き方向Ｖｘ２
に更新される。
【００９５】 Ｖｘ２＝α０／（α０＋α１）×Ｖｘ０＋（α１／（α０＋α１）×Ｖｘ １ ・・・（２）
【００９６】そして、ステップＳ７に進み、式（２）に
したがって求められた動き方向Ｖｘ２は、演算器１８か
ら、動き方向メモリ１４に供給され、動き方向メモリ１
４に記憶されていた注目画素についての動き方向Ｖｘ０
に替えて新たに記憶される（上書きされる）。この新た
に記憶された動き方向Ｖｘ２は、注目画素について、動
き方向と評価範囲が、新たに設定されたときに、動き方
向メモリ１４に記憶されている注目画素についての動き
方向Ｖｘ０として読み出され、更新の対象とされる。
したがって求められた動き方向Ｖｘ２は、演算器１８か
ら、動き方向メモリ１４に供給され、動き方向メモリ１
４に記憶されていた注目画素についての動き方向Ｖｘ０
に替えて新たに記憶される（上書きされる）。この新た
に記憶された動き方向Ｖｘ２は、注目画素について、動
き方向と評価範囲が、新たに設定されたときに、動き方
向メモリ１４に記憶されている注目画素についての動き
方向Ｖｘ０として読み出され、更新の対象とされる。
【００９７】その後、ステップＳ８に進み、式（１）に
したがって求められた評価値α２は、遅延回路９から、
評価値メモリ５に供給され、評価値メモリ５に記憶され
ていた注目画素についての評価値α０に替えて新たに記
憶される。この新たに記憶された評価値α２は、注目画
素について、動き方向と評価範囲が、新たに設定された
ときに、評価値メモリ５に記憶されている注目画素につ
いての評価値α０として読み出され、やはり、更新の対
象とされる。
したがって求められた評価値α２は、遅延回路９から、
評価値メモリ５に供給され、評価値メモリ５に記憶され
ていた注目画素についての評価値α０に替えて新たに記
憶される。この新たに記憶された評価値α２は、注目画
素について、動き方向と評価範囲が、新たに設定された
ときに、評価値メモリ５に記憶されている注目画素につ
いての評価値α０として読み出され、やはり、更新の対
象とされる。
【００９８】そして、ステップＳ９に進み、コントロー
ラ等により、すべての動き方向と評価範囲との組み合わ
せについて設定を行ったかどうかが判定され、まだ行っ
ていないと判定された場合、ステップＳ４に戻り、まだ
設定されていない動き方向と評価範囲との組み合わせに
ついて、以下、同様の処理が繰り返される。
ラ等により、すべての動き方向と評価範囲との組み合わ
せについて設定を行ったかどうかが判定され、まだ行っ
ていないと判定された場合、ステップＳ４に戻り、まだ
設定されていない動き方向と評価範囲との組み合わせに
ついて、以下、同様の処理が繰り返される。
【００９９】また、ステップＳ９において、コントロー
ラ等により、すべての動き方向と評価範囲との組み合わ
せについて設定を行ったと判定された場合、ステップＳ
１０に進み、コントローラ等により、注目フレームのす
べての画素を注目画素として処理を行ったかどうかが判
定される。ステップＳ１０において、コントローラ等
が、注目フレームのすべての画素を注目画素として、ま
だ処理を行っていないと判定した場合、ステップＳ３に
戻り、注目フレームの中の、まだ注目画素としていない
画素を、新たに注目画素として、以下、同様の処理が繰
り返される。
ラ等により、すべての動き方向と評価範囲との組み合わ
せについて設定を行ったと判定された場合、ステップＳ
１０に進み、コントローラ等により、注目フレームのす
べての画素を注目画素として処理を行ったかどうかが判
定される。ステップＳ１０において、コントローラ等
が、注目フレームのすべての画素を注目画素として、ま
だ処理を行っていないと判定した場合、ステップＳ３に
戻り、注目フレームの中の、まだ注目画素としていない
画素を、新たに注目画素として、以下、同様の処理が繰
り返される。
【０１００】一方、ステップＳ１０において、コントロ
ーラ等が、注目画素のすべての画素を、注目画素として
処理を行ったと判定した場合、即ち、注目フレームのす
べての画素についての最終的な動き方向が、動き方向メ
モリ１４に記憶された場合、動き方向検出処理を終了す
る。
ーラ等が、注目画素のすべての画素を、注目画素として
処理を行ったと判定した場合、即ち、注目フレームのす
べての画素についての最終的な動き方向が、動き方向メ
モリ１４に記憶された場合、動き方向検出処理を終了す
る。
【０１０１】以上のように、複数フレームに亘る、動き
方向線上の画素によって、その動き方向に対する評価値
を求め、評価値を、重みとして、動き方向の重み付け加
算を行うことにより、各画素の最終的な動き方向を求め
るようにしたので、与えられた全動画像を、時間方向に
有効に利用して、注目画素の動き方向を、精度良く求め
ることが可能となる。従って、例えば、画像が、多少の
ノイズを有していても、精度の良い動き方向を求めるこ
とが可能となり、ロバスト（robust）性を向上させるこ
とができる。
方向線上の画素によって、その動き方向に対する評価値
を求め、評価値を、重みとして、動き方向の重み付け加
算を行うことにより、各画素の最終的な動き方向を求め
るようにしたので、与えられた全動画像を、時間方向に
有効に利用して、注目画素の動き方向を、精度良く求め
ることが可能となる。従って、例えば、画像が、多少の
ノイズを有していても、精度の良い動き方向を求めるこ
とが可能となり、ロバスト（robust）性を向上させるこ
とができる。
【０１０２】また、動き方向／評価範囲設定部３におい
て設定される複数の動き方向を、各動き方向に対する評
価値を重みとして足し込んでいくことで、より信頼性の
高い動きベクトルを推定することが可能なため、従来の
オブジェクト抽出のように、推定動きベクトルを、空間
方向においてその周辺にある推定動きベクトルから修正
し、その修正後の動きベクトルの評価値を求めるブロッ
クマッチングを行うことを繰り返すという再帰的な処理
を行う必要がなく、その結果、短時間で、最終的な動き
方向を、精度良く求めることができる。
て設定される複数の動き方向を、各動き方向に対する評
価値を重みとして足し込んでいくことで、より信頼性の
高い動きベクトルを推定することが可能なため、従来の
オブジェクト抽出のように、推定動きベクトルを、空間
方向においてその周辺にある推定動きベクトルから修正
し、その修正後の動きベクトルの評価値を求めるブロッ
クマッチングを行うことを繰り返すという再帰的な処理
を行う必要がなく、その結果、短時間で、最終的な動き
方向を、精度良く求めることができる。
【０１０３】なお、以上においては、評価範囲の大きさ
を、２０フレーム固定としたが、評価範囲の大きさは、
例えば、その評価範囲の端点と注目画素との距離等に応
じて変更するようにすることも可能である。
を、２０フレーム固定としたが、評価範囲の大きさは、
例えば、その評価範囲の端点と注目画素との距離等に応
じて変更するようにすることも可能である。
【０１０４】また、評価範囲は、動き方向線上の始点か
ら終点までを、１フレームずつシフトさせるようにした
が、評価範囲は、動き方向線上の一部の範囲の中をシフ
トさせても良く、さらに、シフト量は、２フレーム以上
ずつにしても良い。
ら終点までを、１フレームずつシフトさせるようにした
が、評価範囲は、動き方向線上の一部の範囲の中をシフ
トさせても良く、さらに、シフト量は、２フレーム以上
ずつにしても良い。
【０１０５】さらに、評価値演算部４においては、評価
範囲の画素の他、注目画素も含めて、分散を演算するよ
うにしたが、評価値演算部４においては、評価範囲の画
素のみの分散を求め、その逆数を、評価値とするように
することも可能である。
範囲の画素の他、注目画素も含めて、分散を演算するよ
うにしたが、評価値演算部４においては、評価範囲の画
素のみの分散を求め、その逆数を、評価値とするように
することも可能である。
【０１０６】また、評価値メモリ５や、動き方向メモリ
１４の初期値については、特に言及しなかったが、評価
値メモリ５や、動き方向メモリ１４においては、上述し
たように、評価値や、動き方向が足し込まれていくの
で、極端に大きな値を設定しない限り、処理への影響は
ほとんどない。即ち、評価値メモリ５または動き方向メ
モリ１４それぞれの初期値を、例えば０とすると、最初
は、動き方向／評価範囲設定部３で設定された評価範囲
の画素から求められた評価値、または動き方向が記憶さ
れることになり、その後は、順次設定される評価範囲の
画素から求められた評価値、または動き方向が足し込ま
れていく。従って、その足し込みによって、最終的に
は、評価値メモリ５には、動き方向メモリ１４に記憶さ
れている注目フレームの各画素についての動き方向に対
する正当な評価値が、動き方向メモリ１４には、注目フ
レームの各画素についての正しい動き方向が、それぞれ
記憶されることになる。
１４の初期値については、特に言及しなかったが、評価
値メモリ５や、動き方向メモリ１４においては、上述し
たように、評価値や、動き方向が足し込まれていくの
で、極端に大きな値を設定しない限り、処理への影響は
ほとんどない。即ち、評価値メモリ５または動き方向メ
モリ１４それぞれの初期値を、例えば０とすると、最初
は、動き方向／評価範囲設定部３で設定された評価範囲
の画素から求められた評価値、または動き方向が記憶さ
れることになり、その後は、順次設定される評価範囲の
画素から求められた評価値、または動き方向が足し込ま
れていく。従って、その足し込みによって、最終的に
は、評価値メモリ５には、動き方向メモリ１４に記憶さ
れている注目フレームの各画素についての動き方向に対
する正当な評価値が、動き方向メモリ１４には、注目フ
レームの各画素についての正しい動き方向が、それぞれ
記憶されることになる。
【０１０７】次に、上述のような動き方向検出処理につ
いて本件発明者が行ったシミュレーション結果について
説明する。
いて本件発明者が行ったシミュレーション結果について
説明する。
【０１０８】シミュレーションでは、図２に示したよう
な、静止している背景において、トラックが左から右方
向に、約１４画素／フレームの等速度で移動している６
０フレームのＹＵＶ（４：２：２）でなる動画像を対象
とした。さらに、シミュレーションでは、その６０フレ
ームのうちの第３１フレームを注目フレームとした。こ
の注目フレームとした第３１フレームの画像を、図８に
示す。
な、静止している背景において、トラックが左から右方
向に、約１４画素／フレームの等速度で移動している６
０フレームのＹＵＶ（４：２：２）でなる動画像を対象
とした。さらに、シミュレーションでは、その６０フレ
ームのうちの第３１フレームを注目フレームとした。こ
の注目フレームとした第３１フレームの画像を、図８に
示す。
【０１０９】さらに、シミュレーションでは、ＹＵＶの
うちの輝度（Ｙ）のみを、動き方向検出処理に用い、動
き方向／評価範囲設定部３では、動き方向Ｖｘ１を、−
１６乃至１６の範囲の整数値に順次設定するようにし
た。
うちの輝度（Ｙ）のみを、動き方向検出処理に用い、動
き方向／評価範囲設定部３では、動き方向Ｖｘ１を、−
１６乃至１６の範囲の整数値に順次設定するようにし
た。
【０１１０】以上の条件において、注目フレームの動き
のある部分の画素、または動きのない部分の画素それぞ
れについての動き方向Ｖｘ１と、その動き方向Ｖｘ１に
対する評価値との関係を、図９に示す。
のある部分の画素、または動きのない部分の画素それぞ
れについての動き方向Ｖｘ１と、その動き方向Ｖｘ１に
対する評価値との関係を、図９に示す。
【０１１１】なお、図９（Ａ）は、動きのある部分の画
素についての動き方向Ｖｘ１と評価値との関係を、図９
（Ｂ）は、動きのない部分の画素についての動き方向Ｖ
ｘ１と評価値との関係を、それぞれ示している。
素についての動き方向Ｖｘ１と評価値との関係を、図９
（Ｂ）は、動きのない部分の画素についての動き方向Ｖ
ｘ１と評価値との関係を、それぞれ示している。
【０１１２】また、図９においては、１の動き方向Ｖｘ
１に対して、複数の評価値（図９において、ひし形で示
す部分）が示されているが、これは、１の動き方向Ｖｘ
１については、その動き線上をシフトするように、複数
の評価範囲が設定されるので、この複数の評価範囲から
それぞれ得られた評価値を図示してあるためである（図
９において、１の動き方向Ｖｘ１に対して、１の評価値
しか示されていないものもあるが、これは、複数の評価
値が、重なっているためである）。
１に対して、複数の評価値（図９において、ひし形で示
す部分）が示されているが、これは、１の動き方向Ｖｘ
１については、その動き線上をシフトするように、複数
の評価範囲が設定されるので、この複数の評価範囲から
それぞれ得られた評価値を図示してあるためである（図
９において、１の動き方向Ｖｘ１に対して、１の評価値
しか示されていないものもあるが、これは、複数の評価
値が、重なっているためである）。
【０１１３】図９においては、動きのある部分の画素に
ついては（図９（Ａ））、動き方向Ｖｘ１が１４画素／
フレーム付近において、大きな評価値が得られており、
また、動きのない部分の画素については（図９
（Ｂ））、動き方向が０画素／フレーム付近において、
大きな評価値が得られており、従って、各画素の真の動
き方向付近において、大きな評価値が得られていること
が分かる。さらに、このことにより、動き方向を、その
動き方向に対する評価値を重みとして重み付け加算する
ことで、各画素の真の動き方向にほぼ一致する動き方向
が得られることが分かる。
ついては（図９（Ａ））、動き方向Ｖｘ１が１４画素／
フレーム付近において、大きな評価値が得られており、
また、動きのない部分の画素については（図９
（Ｂ））、動き方向が０画素／フレーム付近において、
大きな評価値が得られており、従って、各画素の真の動
き方向付近において、大きな評価値が得られていること
が分かる。さらに、このことにより、動き方向を、その
動き方向に対する評価値を重みとして重み付け加算する
ことで、各画素の真の動き方向にほぼ一致する動き方向
が得られることが分かる。
【０１１４】また、図１０（図１０（Ａ））は、図８に
示した注目フレームを、各画素について最終的に求めら
れた動き方向に対応した階調（明るさ）で表示したもの
を示している。なお、図１０において明るい部分は、動
き方向の大きさが大きい部分（ここでは、水平方向への
動きが大きい部分）を、暗い部分は動き方向の大きさが
小さい部分（ここでは、水平方向への動きが小さい部
分）を、それぞれ示している（灰色の部分は、動き方向
の大きさが１４画素／フレームの部分を、黒色の部分
は、動き方向の大きさが０画素／フレームの部分を示し
ている）。図１０においては、トラックの形状が精度良
く再現されており、従って、動き方向に基づいて、静止
している背景と、動いている前景であるトラックとを精
度良く分離することができることが分かる。
示した注目フレームを、各画素について最終的に求めら
れた動き方向に対応した階調（明るさ）で表示したもの
を示している。なお、図１０において明るい部分は、動
き方向の大きさが大きい部分（ここでは、水平方向への
動きが大きい部分）を、暗い部分は動き方向の大きさが
小さい部分（ここでは、水平方向への動きが小さい部
分）を、それぞれ示している（灰色の部分は、動き方向
の大きさが１４画素／フレームの部分を、黒色の部分
は、動き方向の大きさが０画素／フレームの部分を示し
ている）。図１０においては、トラックの形状が精度良
く再現されており、従って、動き方向に基づいて、静止
している背景と、動いている前景であるトラックとを精
度良く分離することができることが分かる。
【０１１５】なお、図１０（Ａ）に示してある動きのあ
る部分または動きのない部分にそれぞれ対応して、同図
（Ｂ）または同図（Ｃ）には、図９（Ａ）または図９
（Ｂ）と同様に、その動きのある部分または動きのない
部分の画素についての動き方向Ｖｘ１と評価値との関係
を、それぞれ示してある。
る部分または動きのない部分にそれぞれ対応して、同図
（Ｂ）または同図（Ｃ）には、図９（Ａ）または図９
（Ｂ）と同様に、その動きのある部分または動きのない
部分の画素についての動き方向Ｖｘ１と評価値との関係
を、それぞれ示してある。
【０１１６】次に、図１１は、本発明を適用した画像処
理装置の第２実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１１の画像処理装置は、演算器７，
８，１１，１３，１５、および１８、遅延回路１０，１
６、および１７、並びに動き方向メモリ１４が削除さ
れ、動き方向算出部２１が新たに設けられている他は、
基本的に、図１における場合と同様に構成されている。
理装置の第２実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１１の画像処理装置は、演算器７，
８，１１，１３，１５、および１８、遅延回路１０，１
６、および１７、並びに動き方向メモリ１４が削除さ
れ、動き方向算出部２１が新たに設けられている他は、
基本的に、図１における場合と同様に構成されている。
【０１１７】次に、図１２のフローチャートを参照し
て、図１１の画像処理装置が行う動き方向検出処理につ
いて説明する。
て、図１１の画像処理装置が行う動き方向検出処理につ
いて説明する。
【０１１８】この場合、ステップＳ２１乃至Ｓ２３にお
いて、図５のステップＳ１乃至Ｓ３における場合とそれ
ぞれ同様の処理が行われ、ステップＳ２４に進み、動き
方向／評価範囲設定部３において、注目画素について、
動き方向と、評価範囲とが設定される。
いて、図５のステップＳ１乃至Ｓ３における場合とそれ
ぞれ同様の処理が行われ、ステップＳ２４に進み、動き
方向／評価範囲設定部３において、注目画素について、
動き方向と、評価範囲とが設定される。
【０１１９】即ち、図１の画像処理装置では、図７で説
明したように、ある動き方向が設定され、その動き方向
について、ある評価範囲が設定された後は、他の動き方
向が設定され、その動き方向について、評価範囲が設定
されるといったように、動き方向が、前回設定されたも
のから変化するような順番で設定が行われるようになっ
ていたが、図１１の画像処理装置では、ある動き方向が
設定され、その動き方向について、ある評価範囲が設定
された後は、その動き方向について、他の評価範囲が設
定され（評価範囲がシフトされ）、以下、同様にして、
その動き方向について、すべての評価範囲が設定された
後に、他の動き方向が設定されるような順番で設定が行
われる。
明したように、ある動き方向が設定され、その動き方向
について、ある評価範囲が設定された後は、他の動き方
向が設定され、その動き方向について、評価範囲が設定
されるといったように、動き方向が、前回設定されたも
のから変化するような順番で設定が行われるようになっ
ていたが、図１１の画像処理装置では、ある動き方向が
設定され、その動き方向について、ある評価範囲が設定
された後は、その動き方向について、他の評価範囲が設
定され（評価範囲がシフトされ）、以下、同様にして、
その動き方向について、すべての評価範囲が設定された
後に、他の動き方向が設定されるような順番で設定が行
われる。
【０１２０】従って、この場合、動き方向／評価範囲設
定部３では、最初に、図７（Ａ）に示したように、ある
動き方向が設定され、その動き方向についての動き方向
線Ｌ１の始点のフレームから、所定数のフレームにおけ
る、動き方向線Ｌ１上の画素の範囲が、評価範囲として
設定される。そして、その後は、図７（Ｃ）に示したよ
うに、前回と同一の動き方向が設定され、その動き方向
についての動き方向線Ｌ１の始点のフレームの次のフレ
ームから、所定数のフレームにおける、動き方向線Ｌ１
上の画素の範囲が、評価範囲として設定される。以下、
同様の設定が、評価範囲の一端が動き方向線Ｌ１の終点
に到達するまで行われる。
定部３では、最初に、図７（Ａ）に示したように、ある
動き方向が設定され、その動き方向についての動き方向
線Ｌ１の始点のフレームから、所定数のフレームにおけ
る、動き方向線Ｌ１上の画素の範囲が、評価範囲として
設定される。そして、その後は、図７（Ｃ）に示したよ
うに、前回と同一の動き方向が設定され、その動き方向
についての動き方向線Ｌ１の始点のフレームの次のフレ
ームから、所定数のフレームにおける、動き方向線Ｌ１
上の画素の範囲が、評価範囲として設定される。以下、
同様の設定が、評価範囲の一端が動き方向線Ｌ１の終点
に到達するまで行われる。
【０１２１】そして、評価範囲の一端が、動き方向線Ｌ
１の終点に到達すると、図７（Ｂ）に示したように、他
の動き方向が設定され、その動き方向についての動き方
向線Ｌ２の始点のフレームから、所定数のフレームにお
ける、動き方向線Ｌ２上の画素の範囲が、評価範囲とし
て設定される。その後は、図７（Ｄ）に示したように、
前回と同一の動き方向が設定され、その動き方向につい
ての動き方向線Ｌ２の始点のフレームの次のフレームか
ら、所定数のフレームにおける、動き方向線Ｌ２上の画
素の範囲が、評価範囲として設定される。以下、同様の
順番で、動き方向と評価範囲の設定が行われていく。
１の終点に到達すると、図７（Ｂ）に示したように、他
の動き方向が設定され、その動き方向についての動き方
向線Ｌ２の始点のフレームから、所定数のフレームにお
ける、動き方向線Ｌ２上の画素の範囲が、評価範囲とし
て設定される。その後は、図７（Ｄ）に示したように、
前回と同一の動き方向が設定され、その動き方向につい
ての動き方向線Ｌ２の始点のフレームの次のフレームか
ら、所定数のフレームにおける、動き方向線Ｌ２上の画
素の範囲が、評価範囲として設定される。以下、同様の
順番で、動き方向と評価範囲の設定が行われていく。
【０１２２】ステップＳ２４において、ある動き方向Ｖ
ｘ１と評価範囲が設定されると、動き方向Ｖｘ１は、遅
延回路１２に出力され、所定の時間だけ遅延されて、動
き方向算出部２１に供給される。また、評価範囲の画素
は、注目画素とともに、画像メモリ２から読み出され、
評価値演算部４に供給される。
ｘ１と評価範囲が設定されると、動き方向Ｖｘ１は、遅
延回路１２に出力され、所定の時間だけ遅延されて、動
き方向算出部２１に供給される。また、評価範囲の画素
は、注目画素とともに、画像メモリ２から読み出され、
評価値演算部４に供給される。
【０１２３】評価値演算部４では、ステップＳ２５にお
いて、画像メモリ２からの評価範囲の画素と、注目画素
との分散が計算され、その逆数が、動き方向Ｖｘ１に対
する評価値α１として出力される。この評価値α１は、
演算器６に供給される。
いて、画像メモリ２からの評価範囲の画素と、注目画素
との分散が計算され、その逆数が、動き方向Ｖｘ１に対
する評価値α１として出力される。この評価値α１は、
演算器６に供給される。
【０１２４】このとき、演算器６には、評価値メモリ５
から、注目画素について記憶されている動き方向に対す
る評価値α０が供給されるようになっており、演算器６
は、この評価値α０と、評価値演算部４からの評価値α
１とを加算することで、即ち、式（１）にしたがって、
評価値メモリ５に記憶されていた評価値α０を、評価値
演算部４でいま求められた評価値α１を用いて、評価値
α２に更新する。この更新後の評価値α２は、遅延回路
９を介して、評価値メモリ５に供給される。
から、注目画素について記憶されている動き方向に対す
る評価値α０が供給されるようになっており、演算器６
は、この評価値α０と、評価値演算部４からの評価値α
１とを加算することで、即ち、式（１）にしたがって、
評価値メモリ５に記憶されていた評価値α０を、評価値
演算部４でいま求められた評価値α１を用いて、評価値
α２に更新する。この更新後の評価値α２は、遅延回路
９を介して、評価値メモリ５に供給される。
【０１２５】そして、ステップＳ２６に進み、評価値メ
モリ５では、遅延回路９からの評価値α２が、そこに記
憶されていた注目画素についての評価値α０に替えて新
たに記憶される。この新たに記憶された評価値α２は、
注目画素について、動き方向と評価範囲が、新たに設定
されたときに、評価値メモリ５に記憶されている注目画
素についての評価値α０として読み出され、更新の対象
とされる。
モリ５では、遅延回路９からの評価値α２が、そこに記
憶されていた注目画素についての評価値α０に替えて新
たに記憶される。この新たに記憶された評価値α２は、
注目画素について、動き方向と評価範囲が、新たに設定
されたときに、評価値メモリ５に記憶されている注目画
素についての評価値α０として読み出され、更新の対象
とされる。
【０１２６】その後、ステップＳ２７に進み、コントロ
ーラ等により、すべての動き方向と評価範囲との組み合
わせについて設定を行ったかどうかが判定され、まだ行
っていないと判定された場合、ステップＳ２４に戻り、
まだ設定されていない動き方向と評価範囲との組み合わ
せについて、以下、同様の処理が繰り返される。
ーラ等により、すべての動き方向と評価範囲との組み合
わせについて設定を行ったかどうかが判定され、まだ行
っていないと判定された場合、ステップＳ２４に戻り、
まだ設定されていない動き方向と評価範囲との組み合わ
せについて、以下、同様の処理が繰り返される。
【０１２７】また、ステップＳ２７において、コントロ
ーラ等により、すべての動き方向と評価範囲との組み合
わせについて設定を行ったと判定された場合、ステップ
Ｓ２８に進み、動き方向算出部２１において、注目画素
についての最終的な動き方向が算出される。
ーラ等により、すべての動き方向と評価範囲との組み合
わせについて設定を行ったと判定された場合、ステップ
Ｓ２８に進み、動き方向算出部２１において、注目画素
についての最終的な動き方向が算出される。
【０１２８】即ち、動き方向算出部２１には、遅延回路
１２を介して、動き方向／評価範囲設定部３で設定され
た動き方向が供給されるとともに（なお、動き方向／評
価範囲設定部３では、同一の動き方向が複数回設定され
るが、動き方向算出部２１には、同一の動き方向につい
ては、１回だけ供給されるようになっている）、評価値
メモリ５に記憶された各動き方向に対する評価値（式
（１）にしたがって足し込みが行われたもの）が供給さ
れる。
１２を介して、動き方向／評価範囲設定部３で設定され
た動き方向が供給されるとともに（なお、動き方向／評
価範囲設定部３では、同一の動き方向が複数回設定され
るが、動き方向算出部２１には、同一の動き方向につい
ては、１回だけ供給されるようになっている）、評価値
メモリ５に記憶された各動き方向に対する評価値（式
（１）にしたがって足し込みが行われたもの）が供給さ
れる。
【０１２９】そして、動き方向算出部２１では、ステッ
プＳ２８において、注目画素について、式（２）にした
がい、動き方向／評価範囲設定部３で設定された複数
（種類）の動き方向が、評価値メモリ５からの、その動
き方向に対する評価値を重みとして重み付け加算され、
その重み付け加算結果が、最終的な動き方向として求め
られる。
プＳ２８において、注目画素について、式（２）にした
がい、動き方向／評価範囲設定部３で設定された複数
（種類）の動き方向が、評価値メモリ５からの、その動
き方向に対する評価値を重みとして重み付け加算され、
その重み付け加算結果が、最終的な動き方向として求め
られる。
【０１３０】即ち、例えば、いま、説明を簡単にするた
めに、３種類の動き方向Ｖ１，Ｖ２，Ｖ３と、それに対
する評価値αＶ１，αＶ２，αＶ３を考えると、動き方
向算出部２１では、式（３）または（４）にしたがっ
て、最終的な動き方向Ｖｆｉｎａｌが求められる。
めに、３種類の動き方向Ｖ１，Ｖ２，Ｖ３と、それに対
する評価値αＶ１，αＶ２，αＶ３を考えると、動き方
向算出部２１では、式（３）または（４）にしたがっ
て、最終的な動き方向Ｖｆｉｎａｌが求められる。
【０１３１】 Ｖ’＝αＶ１／（αＶ１＋αＶ２）×Ｖ１＋αＶ２／（αＶ１＋αＶ２） ×Ｖ２ α’＝αＶ１＋αＶ２ Ｖｆｉｎａｌ＝α’／（α’＋αＶ３）×Ｖ’＋αＶ３／（α’＋αＶ３ ）×Ｖ３ ・・・（３） Ｖｆｉｎａｌ＝αＶ１／（αＶ１＋αＶ２＋αＶ３）×Ｖ１ ＋αＶ２／（αＶ１＋αＶ２＋αＶ３）×Ｖ２ ＋αＶ３／（αＶ１＋αＶ２＋αＶ３）×Ｖ３ ・・・（４） なお、式（３）と（４）とは、等価である。
【０１３２】その後、ステップＳ２９に進み、コントロ
ーラ等により、注目フレームのすべての画素を注目画素
として処理を行ったかどうかが判定される。ステップＳ
２９において、コントローラ等により、注目フレームの
すべての画素を注目画素として、まだ処理を行っていな
いと判定された場合、ステップＳ２３に戻り、注目フレ
ームの中の、まだ注目画素としていない画素を、新たに
注目画素として、以下、同様の処理が繰り返される。
ーラ等により、注目フレームのすべての画素を注目画素
として処理を行ったかどうかが判定される。ステップＳ
２９において、コントローラ等により、注目フレームの
すべての画素を注目画素として、まだ処理を行っていな
いと判定された場合、ステップＳ２３に戻り、注目フレ
ームの中の、まだ注目画素としていない画素を、新たに
注目画素として、以下、同様の処理が繰り返される。
【０１３３】一方、ステップＳ２９において、コントロ
ーラ等により、注目画素のすべての画素を、注目画素と
して処理を行ったと判定された場合、即ち、注目フレー
ムのすべての画素についての最終的な動き方向が、動き
方向算出部２１において求められた場合、動き方向検出
処理を終了する。
ーラ等により、注目画素のすべての画素を、注目画素と
して処理を行ったと判定された場合、即ち、注目フレー
ムのすべての画素についての最終的な動き方向が、動き
方向算出部２１において求められた場合、動き方向検出
処理を終了する。
【０１３４】なお、動き方向算出部２１で求められた注
目フレームの各画素についての動き方向は、出力部１９
によって読み出される。
目フレームの各画素についての動き方向は、出力部１９
によって読み出される。
【０１３５】ここで、図１と図１１のいずれの画像処理
装置においても、注目フレームの各画素について得られ
る動き方向は、基本的に、同一のものが得られる。但
し、図１の場合と、図１１の場合とでは、動き方向検出
処理を、コンピュータプログラムによって実現する場合
に差異が生じる。
装置においても、注目フレームの各画素について得られ
る動き方向は、基本的に、同一のものが得られる。但
し、図１の場合と、図１１の場合とでは、動き方向検出
処理を、コンピュータプログラムによって実現する場合
に差異が生じる。
【０１３６】即ち、図１１の画像処理装置による動き方
向検出処理では、上述したように、動き方向を固定し
て、評価範囲を変えていくように、動き方向と評価範囲
の設定が行われるため、ある動き方向に対して、異なる
評価範囲の画素から求められる評価値が連続して得られ
る。この場合、動き方向は変わらないから、その同一の
動き方向について、異なる評価範囲から求められた評価
値を重みとして重み付け加算を行っても、その加算値
は、元の動き方向と変わらない。従って、この場合、動
き方向と評価範囲の組み合わせが、新たに設定されて
も、動き方向を更新する必要がない。しかしながら、注
目画素についての最終的な動き方向が、動き方向と評価
範囲のすべての組み合わせについて設定が行われてから
求められるために、その最終的な動き方向を算出するこ
とができるようになるまで、注目画素について設定され
る各動き方向に対する評価値を記憶しておく必要があ
る。この場合、各動き方向に対する評価値を記憶してお
くための配列変数が必要となる。この配列変数は、動き
方向／評価範囲設定部３において設定される動き方向の
数が多くなると大きくなる。
向検出処理では、上述したように、動き方向を固定し
て、評価範囲を変えていくように、動き方向と評価範囲
の設定が行われるため、ある動き方向に対して、異なる
評価範囲の画素から求められる評価値が連続して得られ
る。この場合、動き方向は変わらないから、その同一の
動き方向について、異なる評価範囲から求められた評価
値を重みとして重み付け加算を行っても、その加算値
は、元の動き方向と変わらない。従って、この場合、動
き方向と評価範囲の組み合わせが、新たに設定されて
も、動き方向を更新する必要がない。しかしながら、注
目画素についての最終的な動き方向が、動き方向と評価
範囲のすべての組み合わせについて設定が行われてから
求められるために、その最終的な動き方向を算出するこ
とができるようになるまで、注目画素について設定され
る各動き方向に対する評価値を記憶しておく必要があ
る。この場合、各動き方向に対する評価値を記憶してお
くための配列変数が必要となる。この配列変数は、動き
方向／評価範囲設定部３において設定される動き方向の
数が多くなると大きくなる。
【０１３７】これに対して、図１の画像処理装置による
動き方向検出処理では、動き方向と評価範囲の組み合わ
せが、新たに設定されるごとに、注目画素についての動
き方向（動き方向メモリ１４に記憶された動き方向）が
順次更新される。従って、注目画素についての最終的な
動き方向は、動き方向と評価範囲のすべての組み合わせ
について設定が行われた後に求まっているから、図１１
における場合のように、注目画素について設定される各
動き方向に対する評価値を記憶しておく必要はない。
動き方向検出処理では、動き方向と評価範囲の組み合わ
せが、新たに設定されるごとに、注目画素についての動
き方向（動き方向メモリ１４に記憶された動き方向）が
順次更新される。従って、注目画素についての最終的な
動き方向は、動き方向と評価範囲のすべての組み合わせ
について設定が行われた後に求まっているから、図１１
における場合のように、注目画素について設定される各
動き方向に対する評価値を記憶しておく必要はない。
【０１３８】即ち、注目画素について設定される動き方
向に対する評価値は、その動き方向に基づいて、動き方
向メモリ１４に記憶されている動き方向を更新するとき
の重みとして用いられるから、この更新が逐次行われる
図１の場合には、注目画素について設定された動き方向
に対する評価値は、動き方向の更新に用いた後は必要な
くなり、記憶しておく必要がない。従って、図１１にお
ける場合のような、動き方向／評価範囲設定部３におい
て設定される動き方向の数に対応して大きさの変動する
配列変数が必要ないため、その分、コンピュータプログ
ラムを、容易に作成することが可能となる。
向に対する評価値は、その動き方向に基づいて、動き方
向メモリ１４に記憶されている動き方向を更新するとき
の重みとして用いられるから、この更新が逐次行われる
図１の場合には、注目画素について設定された動き方向
に対する評価値は、動き方向の更新に用いた後は必要な
くなり、記憶しておく必要がない。従って、図１１にお
ける場合のような、動き方向／評価範囲設定部３におい
て設定される動き方向の数に対応して大きさの変動する
配列変数が必要ないため、その分、コンピュータプログ
ラムを、容易に作成することが可能となる。
【０１３９】次に、図１３は、本発明を適用した画像処
理装置の第３実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１３の画像処理装置は、動き方向メモ
リ１４と、出力部１９との間に、２値化部３１が新たに
設けられている他は、図１における場合と同様に構成さ
れている。
理装置の第３実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１３の画像処理装置は、動き方向メモ
リ１４と、出力部１９との間に、２値化部３１が新たに
設けられている他は、図１における場合と同様に構成さ
れている。
【０１４０】２値化部３１は、動き方向メモリ１４に記
憶された、注目フレームの各画素についての最終的な動
き方向に基づいて、動きのある部分と、動きのない部分
とを判定するようになっている。即ち、２値化部３１
は、例えば、動き方向メモリ１４に記憶された動き方向
を、所定の閾値と比較することにより２値化すること
で、注目フレームから、動きのある部分と、動きのない
部分とを分離する。そして、この動きのある部分と、動
きのない部分それぞれを構成する画素の座標を、出力部
１９に供給する。
憶された、注目フレームの各画素についての最終的な動
き方向に基づいて、動きのある部分と、動きのない部分
とを判定するようになっている。即ち、２値化部３１
は、例えば、動き方向メモリ１４に記憶された動き方向
を、所定の閾値と比較することにより２値化すること
で、注目フレームから、動きのある部分と、動きのない
部分とを分離する。そして、この動きのある部分と、動
きのない部分それぞれを構成する画素の座標を、出力部
１９に供給する。
【０１４１】ここで、所定の閾値としては、例えば、注
目フレームの各画素の動き方向の平均値や、各画素の動
き方向のヒストグラムの面積が略２等分される動き方向
等を用いることができる。
目フレームの各画素の動き方向の平均値や、各画素の動
き方向のヒストグラムの面積が略２等分される動き方向
等を用いることができる。
【０１４２】上述したように、動き方向メモリ１４に記
憶された、注目フレームの各画素についての最終的な動
き方向は、精度が高く、そのような精度の高い動きの方
向に基づいて、動きのある部分と、動きのない部分とを
判定することで、注目フレームから、動きのある部分、
即ち動きオブジェクトと、動きのない部分、即ち静止オ
ブジェクトとを精度良く分離することができる。
憶された、注目フレームの各画素についての最終的な動
き方向は、精度が高く、そのような精度の高い動きの方
向に基づいて、動きのある部分と、動きのない部分とを
判定することで、注目フレームから、動きのある部分、
即ち動きオブジェクトと、動きのない部分、即ち静止オ
ブジェクトとを精度良く分離することができる。
【０１４３】なお、本実施の形態では、フレーム単位で
処理を行うようにしたが、フィールド単位で処理を行う
ようにすることも可能である。
処理を行うようにしたが、フィールド単位で処理を行う
ようにすることも可能である。
【０１４４】また、本実施の形態では、注目画素につい
て設定された動き方向に対する評価値を、その動き線上
にある画素のみを用いて求めるようにしたが、その他、
例えば、動き線上にある画素を中心とする所定の大きさ
のブロック（例えば、３×３画素のブロックなど）内に
ある画素を用いて求めるようにすることも可能である。
この場合、ロバスト性をより向上させることができる。
て設定された動き方向に対する評価値を、その動き線上
にある画素のみを用いて求めるようにしたが、その他、
例えば、動き線上にある画素を中心とする所定の大きさ
のブロック（例えば、３×３画素のブロックなど）内に
ある画素を用いて求めるようにすることも可能である。
この場合、ロバスト性をより向上させることができる。
【０１４５】さらに、本実施の形態では、動き方向メモ
リ１４に記憶された最終的な動き方向に基づいて、処理
部２０や２値化部３１で処理を行うようにしたが、処理
部２０や２値化部３１での処理は、動き方向メモリ１４
に記憶された最終的な動き方向だけでなく、評価値メモ
リ５に最終的に記憶される、最終的な動き方向に対する
評価値を用いて行うようにしても良い。即ち、処理部２
０や２値化部３１での処理は、例えば、評価値の高い動
き方向のみを用いて行うようにすることが可能である。
リ１４に記憶された最終的な動き方向に基づいて、処理
部２０や２値化部３１で処理を行うようにしたが、処理
部２０や２値化部３１での処理は、動き方向メモリ１４
に記憶された最終的な動き方向だけでなく、評価値メモ
リ５に最終的に記憶される、最終的な動き方向に対する
評価値を用いて行うようにしても良い。即ち、処理部２
０や２値化部３１での処理は、例えば、評価値の高い動
き方向のみを用いて行うようにすることが可能である。
【０１４６】また、本実施の形態では、注目画素を通る
動き方向の直線上にある画素を用いて、その動き方向に
対する評価値を求めるようにしたが、注目画素を通り、
動き方向を接線方向とする任意の曲線上にある画素を用
いて、評価値を求めるようにすることも可能である。こ
の場合、変形する物体の動き方や、速度を変えながら移
動している物体の動き等の検出が可能となる。
動き方向の直線上にある画素を用いて、その動き方向に
対する評価値を求めるようにしたが、注目画素を通り、
動き方向を接線方向とする任意の曲線上にある画素を用
いて、評価値を求めるようにすることも可能である。こ
の場合、変形する物体の動き方や、速度を変えながら移
動している物体の動き等の検出が可能となる。
【０１４７】また、本実施の形態では、動き方向線に対
し、評価範囲を設定し、これにより、１の動き方向に対
して、複数の評価値を求めるようにしたが、評価値は、
評価範囲を設定せずに、動き方向線上のすべての画素を
用いて求めるようにする。即ち、１の動き方向に対し
て、１の評価値を求めるようにすることも可能である。
但し、動き方向によっては、その動き方向線上の画素
の、例えば半分程度が、前景（動きのない部分）を構成
し、残りが全景（動きのある部分）を構成する場合があ
り、この場合、動き方向線上のすべての画素を用いて、
動き方向に対する評価値を求めると、その評価値は、あ
る程度大きくなる。即ち、動き方向線上のすべての画素
を用いると、その動き方向が正しくなくても、評価値が
大きくなる。従って、動き方向に対する評価値は、その
動き方向線上に、上述したような評価範囲を設定し、各
評価範囲について求めるようにするのが好ましい。
し、評価範囲を設定し、これにより、１の動き方向に対
して、複数の評価値を求めるようにしたが、評価値は、
評価範囲を設定せずに、動き方向線上のすべての画素を
用いて求めるようにする。即ち、１の動き方向に対し
て、１の評価値を求めるようにすることも可能である。
但し、動き方向によっては、その動き方向線上の画素
の、例えば半分程度が、前景（動きのない部分）を構成
し、残りが全景（動きのある部分）を構成する場合があ
り、この場合、動き方向線上のすべての画素を用いて、
動き方向に対する評価値を求めると、その評価値は、あ
る程度大きくなる。即ち、動き方向線上のすべての画素
を用いると、その動き方向が正しくなくても、評価値が
大きくなる。従って、動き方向に対する評価値は、その
動き方向線上に、上述したような評価範囲を設定し、各
評価範囲について求めるようにするのが好ましい。
【０１４８】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
【０１４９】そこで、図１４は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【０１５０】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。
【０１５１】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。
【０１５２】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。
【０１５３】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。
【０１５４】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。
【０１５５】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【０１５６】
【発明の効果】本発明の第１の画像処理装置および画像
処理方法、並びに記録媒体によれば、注目画面の各画素
に対応する複数の動きの方向それぞれに対応する評価値
が、時系列の記複数の画面の、各動きの方向にある画素
に基づいて演算され、複数の動きの方向が、その複数の
動きの方向それぞれに対応する評価値に基づいて加工さ
れることにより、所定の注目画面の各画素に対応する動
きの方向が算出される。従って、少ない演算時間で、精
度の高い動き検出を行うことが可能となる。
処理方法、並びに記録媒体によれば、注目画面の各画素
に対応する複数の動きの方向それぞれに対応する評価値
が、時系列の記複数の画面の、各動きの方向にある画素
に基づいて演算され、複数の動きの方向が、その複数の
動きの方向それぞれに対応する評価値に基づいて加工さ
れることにより、所定の注目画面の各画素に対応する動
きの方向が算出される。従って、少ない演算時間で、精
度の高い動き検出を行うことが可能となる。
【０１５７】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体によれば、所定の注目画面の各
画素に対応する複数の動きの方向それぞれに対応する評
価値が、時系列の複数の画面の、動きの方向上にある画
素に基づいて演算され、複数の動きの方向が、その複数
の動きの方向それぞれに対応する評価値に基づいて加工
することにより、所定の注目画面の各画素に対応する動
きの方向が算出される。そして、その算出された動きの
方向に基づいて、動き部の有無が判定される。従って、
画像から、動きのある部分やない部分を、精度良く抽出
することが可能となる。
理方法、並びに記録媒体によれば、所定の注目画面の各
画素に対応する複数の動きの方向それぞれに対応する評
価値が、時系列の複数の画面の、動きの方向上にある画
素に基づいて演算され、複数の動きの方向が、その複数
の動きの方向それぞれに対応する評価値に基づいて加工
することにより、所定の注目画面の各画素に対応する動
きの方向が算出される。そして、その算出された動きの
方向に基づいて、動き部の有無が判定される。従って、
画像から、動きのある部分やない部分を、精度良く抽出
することが可能となる。
【図１】本発明を適用した画像処理装置の第１実施の形
態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
【図２】図１の画像処理装置の処理対象とする動画像を
説明するための図である。
説明するための図である。
【図３】注目フレームと、それを構成する画素に設定さ
れる動き方向を示す図である。
れる動き方向を示す図である。
【図４】注目フレームを構成する画素に設定される動き
方向を示す図である。
方向を示す図である。
【図５】図１の画像処理装置による動き方向検出処理を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図６】動き方向線と評価範囲を説明するための図であ
る。
る。
【図７】動き方向／評価範囲設定部３による動き方向と
評価範囲の設定の順番を説明するための図である。
評価範囲の設定の順番を説明するための図である。
【図８】シミュレーションに用いた画像の中の注目フレ
ームを示すディスプレイ上に表示された中間階調の写真
である。
ームを示すディスプレイ上に表示された中間階調の写真
である。
【図９】シミュレーションにより得られた動き方向と評
価値との関係を示す図である。
価値との関係を示す図である。
【図１０】シミュレーション結果を示すディスプレイ上
に表示された中間階調の写真である。
に表示された中間階調の写真である。
【図１１】本発明を適用した画像処理装置の第２実施の
形態の構成例を示すブロック図である。
形態の構成例を示すブロック図である。
【図１２】図１１の画像処理装置による動き方向検出処
理を説明するためのフローチャートである。
理を説明するためのフローチャートである。
【図１３】本発明を適用した画像処理装置の第３実施の
形態の構成例を示すブロック図である。
形態の構成例を示すブロック図である。
【図１４】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
１ 入力部， ２ 画像メモリ， ３ 動き方向／評価
範囲設定部， ４ 評価値演算部， ５ 評価値メモ
リ， ６乃至８ 演算器， ９，１０ 遅延回路， １
１ 演算器， １２ 遅延回路， １３ 演算器， １
４ 動き方向メモリ， １５ 演算器， １６，１７
遅延回路， １８ 演算器， １９ 出力部， ２０
処理部， ２１ 動き方向算出部， ３１ ２値化部，
１０１バス， １０２ CPU， １０３ ROM， １０
４ RAM， １０５ ハードディスク， １０６ 出力
部， １０７ 入力部， １０８ 通信部， １０９
ドライブ， １１０ 入出力インタフェース， １１１
リムーバブル記録媒体
範囲設定部， ４ 評価値演算部， ５ 評価値メモ
リ， ６乃至８ 演算器， ９，１０ 遅延回路， １
１ 演算器， １２ 遅延回路， １３ 演算器， １
４ 動き方向メモリ， １５ 演算器， １６，１７
遅延回路， １８ 演算器， １９ 出力部， ２０
処理部， ２１ 動き方向算出部， ３１ ２値化部，
１０１バス， １０２ CPU， １０３ ROM， １０
４ RAM， １０５ ハードディスク， １０６ 出力
部， １０７ 入力部， １０８ 通信部， １０９
ドライブ， １１０ 入出力インタフェース， １１１
リムーバブル記録媒体
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA16 BA02 DA07 DB02 DC08 DC32 DC39 5C059 KK19 MA05 MB01 MB04 NN03 NN08 NN11 NN28 NN29 PP04 PP15 PP16 SS20 SS26 UA02 UA33 UA39 5L096 BA04 DA02 FA33 FA67 GA17 GA19 HA04 HA05 JA11 KA03 LA01 LA10
Claims (34)
- 【請求項１】 時系列の複数の画面のうちの、所定の注
目画面における、各画素の動きの方向を算出する画像処
理装置であって、 前記注目画面の各画素に対応する複数の動きの方向それ
ぞれに対応する評価値を、前記時系列の記複数の画面
の、各動きの方向にある画素に基づいて演算する演算手
段と、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出手段とを備えることを特徴とする画像処理装
置。 - 【請求項２】 前記注目画面の各画素に対応する前記複
数の動きの方向を設定する方向設定手段と、 各動きの方向に対応する評価値を演算するための、前記
方向設定手段により設定された前記動きの方向上にある
前記複数の画面の画素の抽出範囲を設定する範囲設定手
段とをさらに備え、 前記演算手段は、前記方向設定手段により設定された前
記動きの方向上の前記複数の画面の画素のうち、前記範
囲設定手段により設定された範囲の画素に基づいて、前
記動きの方向に対応する評価値を演算することを特徴と
する請求項１に記載の画像処理装置。 - 【請求項３】 前記範囲設定手段は、前記動きの方向に
対応する評価値の演算に用いる画素の範囲を、その動き
の方向に沿ってシフトし、 前記演算手段は、前記動きの方向に沿ってシフトされる
各画素の範囲それぞれについて前記評価値を演算し、そ
の評価値に基づいて、前記動きの方向に対応する最終的
な評価値を演算することを特徴とする請求項２に記載の
画像処理装置。 - 【請求項４】 前記演算手段は、前記動きの方向に沿っ
てシフトされる各画素の範囲それぞれについて評価値を
演算し、各評価値を加算することにより、前記動きの方
向に対応する最終的な評価値を演算することを特徴とす
る請求項３に記載の画像処理装置。 - 【請求項５】 前記算出手段は、前記複数の動きの方向
それぞれに対応する前記最終的な評価値を重みとして、
前記複数の動きの方向を重み付け加算することにより、
前記注目画面の各画素の動きの方向を算出することを特
徴とする請求項３に記載の画像処理装置。 - 【請求項６】 前記注目画面の各画素の前記評価値を記
憶する評価値記憶手段と、 前記評価値記憶手段に記憶された評価値を、前記方向設
定手段により設定された動きの方向上の画素から求めら
れる前記評価値に基づいて更新する評価値更新手段とを
さらに備えることを特徴とする請求項２に記載の画像処
理装置。 - 【請求項７】 前記評価値更新手段は、前記評価値記憶
手段に記憶された評価値を、前記方向設定手段により設
定された動きの方向上の画素から求められる前記評価値
と加算することにより更新することを特徴とする請求項
６に記載の画像処理装置。 - 【請求項８】 前記方向設定手段は、前記複数の動きの
方向を順次設定し、前記注目画面の各画素に対応して、
前記動きの方向を記憶する動き方向記憶手段と、 前記動き方向記憶手段に記憶された前記動きの方向を、
前記方向設定手段により新たに設定された動きの方向に
基づいて更新する動き方向更新手段とをさらに備えるこ
とを特徴とする請求項２に記載の画像処理装置。 - 【請求項９】 前記動き方向更新手段は、前記動き方向
記憶手段に記憶される前記動きの方向と、前記方向設定
手段により新たに設定された動きの方向とを、それぞれ
の動きの方向に対する前記評価値を重みとして重み付け
加算することにより、前記動き方向記憶手段に記憶され
る前記動きの方向を更新することを特徴とする請求項８
に記載の画像処理装置。 - 【請求項１０】 前記演算手段は、前記所定の注目画面
の各画素に対応する複数の動きの方向それぞれに対応す
る評価値を、前記時系列の複数の画面の各動きの方向上
にある複数の画像ブロックに基づいて演算することを特
徴とする請求項１に記載の画像処理装置。 - 【請求項１１】 前記時系列の複数の画面を構成する動
画像データを記憶する記憶手段をさらに備え、 前記演算手段は、前記所定の注目画面の各画素に対応す
る複数の動きの方向それぞれに対応する評価値を、前記
記憶手段に記憶される前記時系列の複数の画面すべての
各動きの方向上にある画素に基づいて演算することを特
徴とする請求項１に記載の画像処理装置。 - 【請求項１２】 前記演算手段は、前記方向設定手段に
より設定された前記動きの方向上の前記複数の画面の画
素のうち、前記範囲設定手段により設定された範囲の画
素の画素値の分散の逆数を、前記動きの方向に対応する
評価値として演算することを特徴とする請求項２に記載
の画像処理装置。 - 【請求項１３】 前記演算手段は、前記方向設定手段に
より設定された前記動きの方向上の前記複数の画面の画
素のうち、前記範囲設定手段により設定された範囲の画
素の画素値の連続性の逆数を、前記動きの方向に対応す
る評価値として演算することを特徴とする請求項２に記
載の画像処理装置。 - 【請求項１４】 時系列の複数の画面のうちの、所定の
注目画面における、各画素の動きの方向を算出する画像
処理方法であって、 前記注目画面の各画素に対応する複数の動きの方向それ
ぞれに対応する評価値を、前記時系列の記複数の画面
の、各動きの方向にある画素に基づいて演算する演算ス
テップと、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出ステップとを備えることを特徴とする画像処理
方法。 - 【請求項１５】 時系列の複数の画面のうちの、所定の
注目画面における、 各画素の動きの方向を算出する画像処理を、コンピュー
タに行わせるプログラムが記録されている記録媒体であ
って、 前記注目画面の各画素に対応する複数の動きの方向それ
ぞれに対応する評価値を、前記時系列の記複数の画面
の、各動きの方向にある画素に基づいて演算する演算ス
テップと、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出ステップとを備えるプログラムが記録されてい
ることを特徴とする記録媒体。 - 【請求項１６】 時系列の複数の画面のうちの所定の注
目画面の、動きのある部分である動き部の有無を判定す
る画像処理装置であって、 前記所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、前記時系列の複数の画
面の、前記動きの方向上にある画素に基づいて演算する
演算手段と、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出手段と、 前記算出手段により算出される前記動きの方向に基づい
て、前記動き部の有無を判定する判定手段とを備えるこ
とを特徴とする画像処理装置。 - 【請求項１７】 前記注目画面の各画素に対応する前記
複数の動きの方向を設定する方向設定手段と、 各動きの方向に対応する評価値を演算するための、前記
方向設定手段により設定された前記動きの方向上にある
前記複数の画面の画素の抽出範囲を設定する範囲設定手
段とをさらに備え、 前記演算手段は、前記方向設定手段により設定された前
記動きの方向上の複数の画面の画素のうち、前記範囲設
定手段により設定された範囲の画素に基づいて、前記動
きの方向に対応する評価値を演算することを特徴とする
請求項１６に記載の画像処理装置。 - 【請求項１８】 前記範囲設定手段は、前記動きの方向
に対応する評価値の演算に用いる画素の範囲を、その動
きの方向に沿ってシフトし、 前記演算手段は、前記動きの方向に沿ってシフトされる
各画素の範囲それぞれについて前記評価値を演算し、そ
の評価値に基づいて、前記動きの方向に対応する最終的
な評価値を演算することを特徴とする請求項１７に記載
の画像処理装置。 - 【請求項１９】 前記演算手段は、前記動きの方向に沿
ってシフトされる各画素の範囲それぞれについて前記評
価値を演算し、各評価値を加算することにより、前記動
きの方向に対応する最終的な評価値を演算することを特
徴とする請求項１８に記載の画像処理装置。 - 【請求項２０】 前記算出手段は、前記複数の動きの方
向それぞれに対応する最終的な評価値を重みとして、前
記複数の動きの方向を重み付け加算することにより、前
記注目画面の各画素の動きの方向を算出することを特徴
とする請求項１８に記載の画像処理装置。 - 【請求項２１】 前記注目画面の各画素の前記評価値を
記憶する評価値記憶手段と、 前記評価値記憶手段に記憶された評価値を、前記方向設
定手段により設定された動きの方向上の画素から求めら
れる前記評価値に基づいて更新する評価値更新手段とを
さらに備えることを特徴とする請求項１７に記載の画像
処理装置。 - 【請求項２２】 前記評価値更新手段は、前記評価値記
憶手段に記憶される前記評価値を、前記方向設定手段に
より設定される動きの方向上の画素から求められる前記
評価値と加算することにより更新することを特徴とする
請求項２１に記載の画像処理装置。 - 【請求項２３】 前記方向設定手段は、前記複数の動き
の方向を順次設定し、 前記注目画面の各画素に対応して、前記動きの方向を記
憶する動き方向記憶手段と、 前記動き方向記憶手段に記憶された前記動きの方向を、
前記方向設定手段により新たに設定された動きの方向に
基づいて更新する動き方向更新手段とをさらに備えるこ
とを特徴とする請求項１７に記載の画像処理装置。 - 【請求項２４】 前記動き方向更新手段は、前記動き方
向記憶手段に記憶される前記動きの方向と、前記方向設
定手段により新たに設定された動きの方向とを、それぞ
れの動きの方向に対応する前記評価値に基づいて重み付
け加算することにより、前記動き方向記憶手段に記憶さ
れる前記動きの方向を更新することを特徴とする請求項
２３に記載の画像処理装置。 - 【請求項２５】 前記判定手段は、前記動きの方向を２
値化することにより、前記注目画面の動き部を検出する
ことを特徴とする請求項１６に記載の画像処理装置。 - 【請求項２６】 前記判定手段は、前記動きの方向を２
値化することにより、前記注目画面の動きのない部分で
ある静止部を検出することを特徴とする請求項１６に記
載の画像処理装置。 - 【請求項２７】 前記判定手段は、前記注目画面の各画
素の動きの方向を、その平均値で２値化することによ
り、前記動き部の有無を判定することを特徴とする請求
項１６に記載の画像処理装置。 - 【請求項２８】 前記判定手段は、前記注目画面の各画
素の動きの方向に対応する評価値が所定の閾値より高い
前記動きの方向に基づいて、前記動き部の有無を判定す
ることを特徴とする請求項１６に記載の画像処理装置。 - 【請求項２９】 前記演算手段は、前記所定の注目画面
の各画素に対応する複数の動きの方向それぞれに対応す
る評価値を、前記時系列の複数の画面の各動きの方向上
にある複数の画像ブロックに基づいて演算することを特
徴とする請求項１６に記載の画像処理装置。 - 【請求項３０】 前記時系列の複数の画面を構成する動
画像データを記憶する記憶手段をさらに備え、 前記演算手段は、前記所定の注目画面の各画素に対応す
る複数の動きの方向それぞれに対応する評価値を、前記
記憶手段に記憶される前記時系列の複数の画面すべての
各動きの方向上にある画素に基づいて演算することを特
徴とする請求項１６に記載の画像処理装置。 - 【請求項３１】 前記演算手段は、前記方向設定手段に
より設定された前記動きの方向上の前記複数の画面の画
素のうち、前記範囲設定手段により設定された範囲の画
素の画素値の分散の逆数を、前記動きの方向に対応する
評価値として演算することを特徴とする請求項１７に記
載の画像処理装置。 - 【請求項３２】 前記演算手段は、前記方向設定手段に
より設定された前記動きの方向上の前記複数の画面の画
素のうち、前記範囲設定手段により設定された範囲の画
素の画素値の連続性の逆数を、前記動きの方向に対応す
る評価値として演算することを特徴とする請求項１７に
記載の画像処理装置。 - 【請求項３３】 時系列の複数の画面のうちの所定の注
目画面の、動きのある部分である動き部の有無を判定す
る画像処理方法であって、 前記所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、前記時系列の複数の画
面の、前記動きの方向上にある画素に基づいて演算する
演算ステップと、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出ステップと、 前記算出ステップにおいて算出される前記動きの方向に
基づいて、前記動き部の有無を判定する判定ステップと
を備えることを特徴とする画像処理方法。 - 【請求項３４】 時系列の複数の画面のうちの所定の注
目画面の、動きのある部分である動き部の有無を判定す
る画像処理を、コンピュータに行わせるプログラムが記
録されている記録媒体であって、 前記所定の注目画面の各画素に対応する複数の動きの方
向それぞれに対応する評価値を、前記時系列の複数の画
面の、前記動きの方向上にある画素に基づいて演算する
演算ステップと、 前記複数の動きの方向を、その複数の動きの方向それぞ
れに対応する評価値に基づいて加工することにより、前
記所定の注目画面の各画素に対応する動きの方向を算出
する算出ステップと、 前記算出ステップにおいて算出される前記動きの方向に
基づいて、前記動き部の有無を判定する判定ステップと
を備えるプログラムが記録されていることを特徴とする
記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000081365A JP4496595B2 (ja) | 1999-03-29 | 2000-03-23 | 画像処理装置および画像処理方法、並びに記録媒体 |
| KR1020000015773A KR100616755B1 (ko) | 1999-03-29 | 2000-03-28 | 화상 처리 장치, 화상 처리 방법 및 저장 매체 |
| US09/538,019 US6968074B1 (en) | 1999-03-29 | 2000-03-29 | Image processing device, image processing method, and storage medium |
| US10/360,419 US6956960B2 (en) | 1999-03-29 | 2003-02-07 | Image processing device, image processing method, and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8557999 | 1999-03-29 | ||
| JP11-85579 | 1999-03-29 | ||
| JP2000081365A JP4496595B2 (ja) | 1999-03-29 | 2000-03-23 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000348187A true JP2000348187A (ja) | 2000-12-15 |
| JP2000348187A5 JP2000348187A5 (ja) | 2007-04-26 |
| JP4496595B2 JP4496595B2 (ja) | 2010-07-07 |
Family
ID=26426592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000081365A Expired - Fee Related JP4496595B2 (ja) | 1999-03-29 | 2000-03-23 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US6968074B1 (ja) |
| JP (1) | JP4496595B2 (ja) |
| KR (1) | KR100616755B1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007194979A (ja) * | 2006-01-20 | 2007-08-02 | Hitachi Ltd | 映像ノイズ削減処理装置及び映像処理装置 |
| JP2009153093A (ja) * | 2007-11-29 | 2009-07-09 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
| JP2011060282A (ja) * | 2009-09-04 | 2011-03-24 | Sharp Corp | 動き領域の非線形スムージングを用いた動き検出方法およびシステム |
| JP2011078136A (ja) * | 2011-01-11 | 2011-04-14 | Hitachi Ltd | 映像ノイズ削減処理装置及び映像処理装置 |
| US8503531B2 (en) | 2004-03-29 | 2013-08-06 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7920959B1 (en) | 2005-05-01 | 2011-04-05 | Christopher Reed Williams | Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera |
| EP2185434B1 (en) * | 2007-09-04 | 2014-12-10 | Lifefactory, Inc. | Protective sleeves for containers |
| US8433143B1 (en) * | 2012-01-04 | 2013-04-30 | Doug Carson & Associates, Inc. | Automated detection of video artifacts in an information signal |
| US9315192B1 (en) * | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
| US9161029B1 (en) * | 2014-07-03 | 2015-10-13 | Interra Systems, Inc. | Systems and methods for detecting defective pixels in a video sequence |
| CN109348226B (zh) * | 2017-04-08 | 2022-11-11 | 腾讯科技（深圳）有限公司 | 一种图片文件处理方法及智能终端 |
| WO2019238128A1 (en) | 2018-06-14 | 2019-12-19 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image processing |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02117276A (ja) * | 1988-10-27 | 1990-05-01 | Canon Inc | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
| JPH02219391A (ja) * | 1989-02-20 | 1990-08-31 | Victor Co Of Japan Ltd | 動き補償予測符号化復号化方式 |
| JPH02275497A (ja) * | 1989-04-17 | 1990-11-09 | Sanyo Electric Co Ltd | 音声認識装置 |
| JPH08205166A (ja) * | 1995-01-25 | 1996-08-09 | Daewoo Electron Co Ltd | 動きベクトル検知装置 |
| JPH08251547A (ja) * | 1995-03-10 | 1996-09-27 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出方法および動きベクトル検出装置 |
| JPH099263A (ja) * | 1995-06-21 | 1997-01-10 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の動き補償予測符号化方法および符号化器 |
| JPH0974543A (ja) * | 1995-06-30 | 1997-03-18 | Sony Corp | 画像信号変換装置及び画像信号変換方法 |
| JPH10336666A (ja) * | 1997-05-28 | 1998-12-18 | Nec Corp | 動きベクトル検出装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0497586A3 (en) * | 1991-01-31 | 1994-05-18 | Sony Corp | Motion detection circuit |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| KR100292138B1 (ko) | 1993-07-12 | 2002-06-20 | 이데이 노부유끼 | 디지탈비디오신호용송신기및수신기 |
| JPH07123406A (ja) * | 1993-10-22 | 1995-05-12 | Canon Inc | 動きベクトル検出装置 |
| US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| KR0171147B1 (ko) * | 1995-03-20 | 1999-03-20 | 배순훈 | 그레디언트 변화를 이용한 특징점 선정장치 |
| AP9701084A0 (en) * | 1995-03-22 | 1997-10-31 | Idt International Digital Tech Deutschland Gmbh | Method and apparatus for coordination of motion determination over multiple frames. |
| JP3852120B2 (ja) | 1995-07-21 | 2006-11-29 | ソニー株式会社 | 画像信号処理装置および方法 |
| KR100229803B1 (ko) * | 1996-11-15 | 1999-11-15 | 전주범 | 움직임 벡터 검출 방법 및 장치 |
| JPH10336668A (ja) * | 1997-06-02 | 1998-12-18 | Sharp Corp | 動きベクトル検出装置 |
| US6078701A (en) | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
| JP4214425B2 (ja) | 1997-09-30 | 2009-01-28 | ソニー株式会社 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
| JPH11112992A (ja) * | 1997-10-02 | 1999-04-23 | Kdd | 動き補償画像符号化装置 |
| KR100251548B1 (ko) * | 1997-11-01 | 2000-04-15 | 구자홍 | 디지털영상을위한움직임추정장치및방법 |
| KR100269147B1 (ko) * | 1997-12-29 | 2000-10-16 | 이중구 | 움직임 방향성 분류를 이용한 영상 데이터 부호화 장치 |
| JP3149840B2 (ja) * | 1998-01-20 | 2001-03-26 | 日本電気株式会社 | 動きベクトル検出装置及び方法 |
| US6463164B1 (en) * | 1998-08-20 | 2002-10-08 | Lucent Technologies Inc. | Motion vector estimation based on statistical features of an image frame |
| EP1120976A4 (en) * | 1999-07-29 | 2006-03-29 | Mitsubishi Electric Corp | METHOD FOR DETECTING MOTION VECTOR |
| US6442203B1 (en) * | 1999-11-05 | 2002-08-27 | Demografx | System and method for motion compensation and frame rate conversion |
-
2000
- 2000-03-23 JP JP2000081365A patent/JP4496595B2/ja not_active Expired - Fee Related
- 2000-03-28 KR KR1020000015773A patent/KR100616755B1/ko not_active IP Right Cessation
- 2000-03-29 US US09/538,019 patent/US6968074B1/en not_active Expired - Fee Related
-
2003
- 2003-02-07 US US10/360,419 patent/US6956960B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02117276A (ja) * | 1988-10-27 | 1990-05-01 | Canon Inc | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
| JPH02219391A (ja) * | 1989-02-20 | 1990-08-31 | Victor Co Of Japan Ltd | 動き補償予測符号化復号化方式 |
| JPH02275497A (ja) * | 1989-04-17 | 1990-11-09 | Sanyo Electric Co Ltd | 音声認識装置 |
| JPH08205166A (ja) * | 1995-01-25 | 1996-08-09 | Daewoo Electron Co Ltd | 動きベクトル検知装置 |
| JPH08251547A (ja) * | 1995-03-10 | 1996-09-27 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出方法および動きベクトル検出装置 |
| JPH099263A (ja) * | 1995-06-21 | 1997-01-10 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の動き補償予測符号化方法および符号化器 |
| JPH0974543A (ja) * | 1995-06-30 | 1997-03-18 | Sony Corp | 画像信号変換装置及び画像信号変換方法 |
| JPH10336666A (ja) * | 1997-05-28 | 1998-12-18 | Nec Corp | 動きベクトル検出装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503531B2 (en) | 2004-03-29 | 2013-08-06 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| JP2007194979A (ja) * | 2006-01-20 | 2007-08-02 | Hitachi Ltd | 映像ノイズ削減処理装置及び映像処理装置 |
| JP4679372B2 (ja) * | 2006-01-20 | 2011-04-27 | 株式会社日立製作所 | 映像ノイズ削減処理装置及び映像表示装置 |
| JP2009153093A (ja) * | 2007-11-29 | 2009-07-09 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
| JP2011060282A (ja) * | 2009-09-04 | 2011-03-24 | Sharp Corp | 動き領域の非線形スムージングを用いた動き検出方法およびシステム |
| US8711938B2 (en) | 2009-09-04 | 2014-04-29 | Sharp Laboratories Of America, Inc. | Methods and systems for motion estimation with nonlinear motion-field smoothing |
| JP2011078136A (ja) * | 2011-01-11 | 2011-04-14 | Hitachi Ltd | 映像ノイズ削減処理装置及び映像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4496595B2 (ja) | 2010-07-07 |
| KR100616755B1 (ko) | 2006-08-31 |
| US6956960B2 (en) | 2005-10-18 |
| US6968074B1 (en) | 2005-11-22 |
| KR20000063035A (ko) | 2000-10-25 |
| US20030118105A1 (en) | 2003-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101130060B1 (ko) | 일시적 움직임 벡터 필터링 | |
| US9667991B2 (en) | Local constraints for motion matching | |
| US8804834B2 (en) | Image processing apparatus, image processing method and image processing program | |
| US20090086103A1 (en) | Robust camera pan vector estimation using iterative center of mass | |
| JP2002511716A (ja) | 整合画素数を利用した類似度測定方法及び装置 | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP4496595B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3308617B2 (ja) | 動きベクトル検出装置及びその方法 | |
| CN114937050A (zh) | 绿幕抠图方法、装置及电子设备 | |
| US6668070B2 (en) | Image processing device, image processing method, and storage medium | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2001084368A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP4203136B2 (ja) | 動画像表示方法 | |
| JP2009021864A (ja) | 動きベクトル探索装置 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP4758272B2 (ja) | 移動物体追跡装置及びプログラム | |
| TWI733188B (zh) | 用於獨立物件之運動估計的裝置以及方法 | |
| KR101192162B1 (ko) | 히스토그램 기반 및 픽셀 기반의 물체 추적 방법 및 장치 | |
| JP4207763B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| CN115272519A (zh) | 动态区域检测方法及存储介质 | |
| JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム | |
| JP2003304507A (ja) | 動きベクトル検出装置及び方法 | |
| JPH09187013A (ja) | 動きベクトル検出装置および方法 | |
| JP2008147974A (ja) | 動きベクトル検出装置、検出方法、および検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070302 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100323 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100405 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |