JP2000099744A - Method and device for detecting moving vector of image - Google Patents
Method and device for detecting moving vector of imageInfo
- Publication number
- JP2000099744A JP2000099744A JP10269405A JP26940598A JP2000099744A JP 2000099744 A JP2000099744 A JP 2000099744A JP 10269405 A JP10269405 A JP 10269405A JP 26940598 A JP26940598 A JP 26940598A JP 2000099744 A JP2000099744 A JP 2000099744A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- local
- input images
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、時間的に連続した
複数枚の画像の画像全体の動きを検出する方法およびそ
の装置に関する。さらに詳しくは、携帯情報端末やＰＣ
（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）等のカメラア
プリケーション（シームレス合成等）、またはビデオカ
メラの手ブレ補正機能等を実現する際に用いられる方法
およびその装置である。[0001] 1. Field of the Invention [0002] The present invention relates to a method and an apparatus for detecting the motion of a plurality of temporally continuous images. For more information,
A method and a device used for realizing a camera application (such as seamless composition) such as a personal computer or a camera shake correction function of a video camera.
【０００２】[0002]
【従来の技術】画像全体の動きを検出するには時間的に
連続した複数の画像中の複数箇所において局所的動きベ
クトルの検出を行い、その結果から全体の動きを算出す
る方法が使われている。局所的動きベクトルの検出方法
に関しては、代表点マッチング、ブロックマッチング等
さまざまな方法が知られている。2. Description of the Related Art In order to detect the motion of an entire image, a method of detecting local motion vectors at a plurality of locations in a plurality of temporally continuous images and calculating the entire motion from the result is used. I have. As a method of detecting a local motion vector, various methods such as representative point matching and block matching are known.
【０００３】以下、ブロックマッチングを用いた場合を
一例として、従来の画像動きベクトルの検出方法につい
て説明する。[0003] A conventional method for detecting an image motion vector will be described below, taking the case of using block matching as an example.
【０００４】まず、図４に示す２枚の画像のうち、図４
（ａ）に示す画像を基準側画像１１１とし、図４（ｂ）
に示す画像を比較対象側画像１１２とする。この基準側
画像１１１の任意の箇所を注目点１１３とし、その周辺
から予め定められた大きさおよび形状の微小画像を取り
出す。通常、この微小画像の大きさは数ピクセルから十
数ピクセルであり、形状は長方形もしくは正方形であ
る。このような微小画像をブロック１１４という。ま
た、比較対象側画像１１２の任意の位置を注目点とし、
基準側画像１１１と同様にブロック１１６を切り出し、
両ブロック間の相関を示す値を算出する。次式（１）
は、この相関を示す値を算出する際に用いられる式であ
り、左辺のＣSSD は相関を示す値であり、右辺では、そ
れぞれのブロック１１３，１１６内の対応する位置にあ
るピクセルの画素値の差の自乗の合計を算出している。
なお、式（１）において、ｆ（ｉ，ｊ）は、基準側画像
１１１に含まれるブロック１１３内のあるピクセルの画
素値を示し、ｇ（ｉ，ｊ）は、比較対象側画像１１２に
含まれるブロック１１６内のあるピクセルの画素値を示
す。First, of the two images shown in FIG.
The image shown in FIG. 4A is defined as a reference side image 111, and FIG.
Is an image to be compared 112. An arbitrary portion of the reference-side image 111 is set as a point of interest 113, and a small image having a predetermined size and shape is extracted from the periphery. Usually, the size of the micro image is several pixels to several tens of pixels, and the shape is a rectangle or a square. Such a minute image is called a block 114. Further, an arbitrary position of the comparison target side image 112 is set as a point of interest,
Block 116 is cut out in the same manner as the reference side image 111,
A value indicating the correlation between both blocks is calculated. The following equation (1)
Is a formula used to calculate a value indicating the correlation, C SSD on the left side is a value indicating the correlation, and the right side is a pixel value of a pixel at a corresponding position in each of the blocks 113 and 116. The sum of the squares of the differences is calculated.
In Expression (1), f (i, j) indicates a pixel value of a certain pixel in the block 113 included in the reference side image 111, and g (i, j) is included in the comparison target side image 112. 4 shows a pixel value of a pixel in a block 116 to be processed.
【０００５】[0005]
【数１】 (Equation 1)
【０００６】つまり、基準側画像１１１および比較対象
側画像１１２のブロック同士が近似している程、相関を
示す値ＣSSD は小さくなる。この相関を示す値ＣSSD を
最小にする、すなわち、比較対象側画像上の複数のブロ
ック１１６から、基準側画像１１１から切り出したある
ブロック１１４に最も近似しているブロック１１６を探
索し、前記基準側画像１１１のあるブロック１１４の注
目点１１３と、探索したブロック１１６の注目点１１５
との相対的な位置ベクトルを、基準側画像１１１の注目
点における局所的動きベクトルとする。That is, the closer the blocks of the reference side image 111 and the comparison side image 112 are, the smaller the value C SSD indicating the correlation becomes. The value C SSD indicating this correlation is minimized, that is, a block 116 that is the closest to a certain block 114 cut out from the reference side image 111 is searched from a plurality of blocks 116 on the comparison side image, Attention point 113 of block 114 having side image 111 and attention point 115 of searched block 116
Is a local motion vector at the point of interest in the reference-side image 111.
【０００７】また、前記ブロックマッチング等による局
所的動きベクトル検出を複数箇所で行い、検出された複
数箇所の局所的動きベクトルから画像全体の動きを算出
する方法には、一般に、多数決方式といわれる方法が用
いられる。すなわち、複数箇所の局所的動きベクトルの
中で最も多い局所的動きベクトルを画像全体の動きであ
るとする方法である。この多数決方式を実施すること
は、局所的動きベクトルのヒストグラムを生成し、その
最大値を検出することと等価である。A method of performing local motion vector detection by block matching or the like at a plurality of locations and calculating the motion of the entire image from the detected local motion vectors at the plurality of locations is generally a method called a majority decision method. Is used. In other words, the method is such that the local motion vector that is the largest among the local motion vectors at a plurality of locations is the motion of the entire image. Implementing this majority method is equivalent to generating a histogram of local motion vectors and detecting the maximum value.
【０００８】[0008]
【発明が解決しようとする課題】従来の画像動きベクト
ル検出方法においては、局所的動きベクトル検出の計算
量が大きくなるので、性能を損なわない範囲で可能な限
り少ない箇所での局所的動きベクトルの検出のみから画
像動きベクトルを算出することが必要とされる。In the conventional image motion vector detection method, the amount of calculation for local motion vector detection is large, so that local motion vector detection is performed at as few places as possible without impairing performance. It is necessary to calculate an image motion vector only from detection.
【０００９】しかしながら、単純な多数決方式は、原理
的に充分に多くの箇所での局所的動きベクトルの検出を
行わないと、安定した画像動きベクトル検出結果を得る
ことができない。すなわち、局所的動きベクトルの検出
数が充分でない場合、さまざまな要因から発生する画像
全体の動きとは異なる局所的動きベクトルを誤って画像
動きベクトルとして検出してしまう可能性がある。However, in the simple majority method, unless a local motion vector is detected in a sufficiently large number of places in principle, a stable image motion vector detection result cannot be obtained. That is, when the number of detected local motion vectors is not sufficient, a local motion vector different from the motion of the entire image generated due to various factors may be erroneously detected as an image motion vector.
【００１０】例えば、背景が平坦な箇所では局所的動き
ベクトルの検出は不安定になり、誤検出を起こす割合が
増加する。このような領域が画像上で大きな面積を占め
ている場合、局所的動きベクトルの誤検出が増大するた
め、これに基づき生成したヒストグラムはノイズが多く
なると同時に求める画像全体の動きベクトルにあたる箇
所のピークが低くなり、単純な多数決論理による方法、
すなわち単純にヒストグラム上の最大値をとるベクトル
を画像動きベクトルとする方法では画像動きベクトルの
検出を安定して行うことができなくなる。For example, the detection of a local motion vector becomes unstable in a place where the background is flat, and the rate of erroneous detection increases. If such a region occupies a large area on the image, erroneous detection of a local motion vector increases, so that the histogram generated based on this increases the noise and at the same time the peak at the position corresponding to the motion vector of the entire image to be obtained. Is lower, the simple majority logic method,
That is, the method of simply using the vector having the maximum value on the histogram as the image motion vector cannot stably detect the image motion vector.
【００１１】また、物体の移動などによって画像中の対
応する箇所が影に隠れてしまった場合等のように局所的
動きベクトルの検出が不可能な場合に局所的動きベクト
ルが無意味な値をとることがある。これも、誤検出の一
種である。このような形で誤検出された局所的動きベク
トルもヒストグラム上では同様にノイズとなるため、画
像動きベクトルの検出の安定性を損なう要因となる。Further, when it is impossible to detect a local motion vector, for example, when a corresponding portion in an image is hidden by a shadow due to movement of an object or the like, the local motion vector has an insignificant value. May take. This is also a type of erroneous detection. A local motion vector erroneously detected in this manner also becomes noise on the histogram, and thus becomes a factor that impairs the stability of the detection of the image motion vector.
【００１２】本発明はこのような問題を解決すべく創案
されたもので、より少ない箇所での局所的動きベクトル
の検出結果から安定した画像全体の動きベクトルの算出
ができる画像動きベクトル検出方法およびその装置を提
供することにある。The present invention has been devised to solve such a problem. An image motion vector detecting method and a motion vector detecting method capable of calculating a stable motion vector of an entire image from a result of detecting a local motion vector in a smaller number of places. It is to provide the device.
【００１３】[0013]
【課題を解決するための手段】本発明の請求項１記載の
画像動きベクトル検出方法は、複数枚の入力画像の複数
の検出箇所において各画像間の局所的動きベクトルをそ
れぞれ検出し、局所的動きベクトル検出結果から画像全
体の動きベクトルを算出する画像動きベクトル検出方法
であって、全ての検出箇所の局所的動きベクトル検出結
果に対して、検出箇所ごとに入力画像に応じた重み付け
を行い、重み付け後の局所的動きベクトル検出結果に基
づいて入力画像間の画像動きベクトルを決定するもので
ある。According to a first aspect of the present invention, there is provided an image motion vector detecting method for detecting a local motion vector between respective images at a plurality of detection positions of a plurality of input images, respectively. An image motion vector detection method for calculating a motion vector of an entire image from a motion vector detection result, wherein a local motion vector detection result of all detection locations is weighted according to an input image for each detection location, An image motion vector between input images is determined based on the weighted local motion vector detection result.
【００１４】また、前記重み付けを行う際に、局所的動
きベクトルを検出した箇所を含む周辺部の画像の複雑さ
を算出し、その算出結果に基づき画像が複雑であるほど
重みを大きくする。When performing the weighting, the complexity of the peripheral image including the position where the local motion vector is detected is calculated, and based on the calculation result, the weight is increased as the image becomes more complicated.
【００１５】また、前記重み付けを行う際に、前記複数
枚の入力画像における局所的動きベクトルを検出した箇
所間の相関の度合を算出し、その算出結果に基づき相関
の度合が高いほど重みを大きくする。When performing the weighting, the degree of correlation between locations where local motion vectors are detected in the plurality of input images is calculated, and based on the calculation result, the higher the degree of correlation, the greater the weight. I do.
【００１６】また、本発明の請求項４記載の画像動きベ
クトル検出方法は、複数枚の入力画像の複数の検出箇所
において各画像間の局所的動きベクトルをそれぞれ検出
し、局所的動きベクトル検出結果から画像全体の動きベ
クトルを算出する画像動きベクトル検出方法であって、
全ての検出箇所の局所的動きベクトル検出結果に対し
て、検出箇所ごとに入力画像に応じた重み付けを行う際
に、局所的動きベクトルを検出した箇所を含む周辺部の
画像の複雑さ、ならびに複数枚の入力画像における局所
的動きベクトルを検出した箇所間の相関の度合をそれぞ
れ算出し、その算出結果に基づき、画像が複雑であるほ
ど、また、相関の度合が高いほど重みを大きくするよう
に重み付けを行い、重み付け後の局所的動きベクトル検
出結果に基づいて入力画像間の画像動きベクトルを決定
するものである。According to a fourth aspect of the present invention, there is provided an image motion vector detecting method, wherein local motion vectors between respective images are detected at a plurality of detection locations of a plurality of input images, respectively, and a local motion vector detection result is obtained. An image motion vector detection method for calculating a motion vector of the entire image from
When weighting the local motion vector detection results of all detected locations according to the input image for each detected location, the complexity of the image of the peripheral part including the location where the local motion vector was detected, and multiple The degree of correlation between locations where local motion vectors are detected in one input image is calculated, and based on the calculation result, the weight is increased as the image becomes more complex and the degree of correlation is higher. Weighting is performed, and an image motion vector between input images is determined based on a result of the local motion vector detection after the weighting.
【００１７】また、本発明の請求項５記載の画像動きベ
クトル検出装置は、複数枚の入力画像の複数の検出箇所
において各画像間の局所的動きベクトルをそれぞれ検出
し、局所的動きベクトル検出結果から画像全体の動きベ
クトルを算出する画像動きベクトル検出装置であって、
前記複数枚の入力画像を記憶する画像記憶部と、複数枚
の入力画像のうちの１枚の画像から第１の局所的な画像
を複数箇所切り出す第１の切り出し部と、残りの入力画
像上から第２の局所的な画像を切り出すことと、この第
２の局所的な画像と第１の局所的な画像との間の近似度
を計算することとを切り出し位置を変えながら繰り返し
て行い、第１の局所的な画像との間の近似度が一番高い
第２の局所的な画像を探索する第２の局所的画像探索部
と、第１の局所的な画像の複雑さを算出するとともに、
第１の局所的な画像および第２の局所的な画像間の相関
の度合を算出し、これらの算出結果に基づき、各箇所に
おける局所的動きベクトルに重み付けを行う重み決定部
と、重み付け後の局所的動きベクトル検出結果に基づい
て、入力画像間の画像動きベクトルとなる局所的動きベ
クトルを検出する検出部とから構成されてなるものであ
る。According to a fifth aspect of the present invention, an image motion vector detecting apparatus detects local motion vectors between respective images at a plurality of detection locations of a plurality of input images, and obtains a local motion vector detection result. An image motion vector detection device that calculates a motion vector of the entire image from
An image storage unit that stores the plurality of input images, a first cutout unit that cuts out a plurality of first local images from one of the plurality of input images, From the second local image and calculating the degree of approximation between the second local image and the first local image are repeatedly performed while changing the cut position, A second local image search unit that searches for a second local image having the highest degree of approximation with the first local image, and calculates the complexity of the first local image With
A weight determining unit that calculates a degree of correlation between the first local image and the second local image, and weights a local motion vector at each location based on the calculation results; And a detection unit that detects a local motion vector, which is an image motion vector between input images, based on the local motion vector detection result.
【００１８】[0018]
【発明の実施の形態】本発明の画像動きベクトル検出方
法およびその装置の実施の形態について図面を参照しつ
つ説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image motion vector detecting method and apparatus according to the present invention will be described with reference to the drawings.
【００１９】図１は、本発明の画像動きベクトル検出方
法の一実施の形態を示すフローチャートであり、図２
は、本発明の画像動きベクトル検出方法を実施する際に
使用される画像動きベクトル検出装置を示すブロック図
である。なお、図２に示す検出装置を構成する各要素の
内、カメラ１以外の回路要素は汎用の計算機上でソフト
ウエアのみによって実現する事も容易である。また、こ
のカメラ１は写真機のような静止画像を撮影するものに
限定されず、例えば、ビデオカメラのような動画像を撮
影し得るものをカメラ１として用いてもよい。FIG. 1 is a flowchart showing one embodiment of the method for detecting an image motion vector according to the present invention.
FIG. 1 is a block diagram showing an image motion vector detecting device used when performing the image motion vector detecting method of the present invention. It should be noted that among the components constituting the detection device shown in FIG. 2, the circuit components other than the camera 1 can be easily realized by software only on a general-purpose computer. Further, the camera 1 is not limited to a camera such as a camera that captures a still image, but may be a camera capable of capturing a moving image such as a video camera.
【００２０】第１の手順として局所的動きベクトルの検
出を行うために、まず、カメラ１によって２枚の画像を
入力する。本実施の形態においても図４に示す２枚の画
像を入力された２枚の画像の一例とする。通常、この２
枚の画像としては、動画像中の時間的に近接または隣接
する２枚の画像が用いられる。この入力された２枚の画
像のうち、一方（図４（ａ）に示す画像）を基準側画像
１１１として基準側画像メモリ２に格納し、他方（図４
（ｂ）に示す画像）を比較対象側画像１１２として比較
対象側画像メモリ３に格納する。次いで、基準側画像１
１１上で予め定められた複数の（本実施の形態では１６
個）注目点１１３全てに関し、局所的動きベクトルの検
出を行う（Ｓ１）。First, two images are input by the camera 1 in order to detect a local motion vector as a first procedure. Also in the present embodiment, the two images shown in FIG. 4 are examples of two input images. Usually this 2
As images, two images that are temporally close to or adjacent to each other in a moving image are used. Of the two input images, one (the image shown in FIG. 4A) is stored in the reference image memory 2 as the reference image 111, and the other (the image shown in FIG.
(B) is stored in the comparison target image memory 3 as the comparison target image 112. Next, the reference side image 1
11, a plurality of (predetermined in this embodiment, 16
A local motion vector is detected for all the attention points 113 (S1).
【００２１】具体的には、まず、基準側画像１１１上で
予め定められた複数の注目点１１３から一つの注目点１
１３を選択し、この注目点１１３周辺の部分画像を第１
ブロック切り出し部４において取り出す。この切り出さ
れた部分画像は第１の局所的な画像であり、本実施の形
態においてはブロック１１４という。More specifically, first, a plurality of predetermined points of interest 113 on the reference side image 111
13 and the partial image around the point of interest 113 is
It is taken out in the block cutout section 4. This cut-out partial image is a first local image, and is referred to as a block 114 in the present embodiment.
【００２２】次いで、比較対象側画像１１２上で、切り
出された前記ブロック１１４に最も似ている箇所を検索
する。この検索は、比較対象側画像１１２上から第２の
局所的な画像を切り出すことと、この第２の局所的な画
像と第１の局所的な画像（ブロック１１４）との間の近
似度を計算することとを切り出し位置を変えながら繰り
返して行い、第１の局所的な画像（ブロック１１４）と
の間の近似度が一番高い第２の局所的な画像を第２の局
所的画像探索部によって探索することによって行われ
る。この第２の局所的画像探索部は、第２ブロック切り
出し部５と第２相関値計算部６と局所動きベクトル探索
部７とから構成されている。この第２ブロック切り出し
部５は、比較対象側画像１１２上から第２の局所的な画
像を切り出すために設けられている。なお、本実施の形
態においては、第２の局所的な画像をブロック１１６と
いう。また、第２相関値計算部６は、基準側画像１１１
から切り出されたブロック１１４と比較対象側画像１１
２から切り出されたブロック１１６との相関の度合を計
算するために設けられ、局所動きベクトル探索部７は、
ブロック１１４，１１６同士の相関の度合が最も高くな
るブロック１１６を探索するために設けられる。Next, on the comparison target side image 112, a portion most similar to the cut-out block 114 is searched. In this search, the second local image is cut out from the comparison target side image 112, and the degree of approximation between the second local image and the first local image (block 114) is determined. The calculation is repeatedly performed while changing the cutout position, and the second local image having the highest degree of approximation with the first local image (block 114) is searched for in the second local image. This is done by searching by the department. The second local image search unit includes a second block cutout unit 5, a second correlation value calculation unit 6, and a local motion vector search unit 7. The second block cutout unit 5 is provided to cut out a second local image from the comparison target side image 112. In this embodiment, the second local image is referred to as a block 116. Further, the second correlation value calculation unit 6 calculates the reference side image 111
114 and comparison target side image 11 cut out from
The local motion vector search unit 7 is provided to calculate the degree of correlation with the block 116 extracted from the block 2.
It is provided to search for the block 116 having the highest degree of correlation between the blocks 114 and 116.
【００２３】この相関の度合の計算方法としてはさまざ
まな方法が知られている。前記式１や、次に示す式２お
よび式３はよく知られた相関の計算方法である。式１は
画素値の差の自乗の合計を算出する式であり、その解は
一般にＣSSD と呼ばれる。式２は画素値の差の絶対値の
合計を算出する式であり、その解は一般にＣSAD と呼ば
れる。Various methods are known for calculating the degree of the correlation. Equation 1 and Equations 2 and 3 below are well-known methods for calculating correlations. Equation 1 is an equation for calculating the sum of the squares of the pixel value differences, and the solution is generally called C SSD . Equation 2 is an equation for calculating the sum of the absolute values of the pixel value differences, and its solution is generally called C SAD .
【００２４】[0024]
【数２】 (Equation 2)
【００２５】式３は、複数ある正規化相互関数を算出す
るための式の１つであり、その解はＣRCC と呼ばれる。Equation 3 is one of equations for calculating a plurality of normalized cross-functions, and the solution is called C RCC .
【００２６】[0026]
【数３】 (Equation 3)
【００２７】本発明においては、いずれの相関の度合を
算出する式も容易に適用可能であるが、本実施の形態で
は式１を用いている。式１においては計算された値Ｃ
SSD がより小さいほど相関の度合が高い。In the present invention, any equation for calculating the degree of correlation can be easily applied, but in this embodiment, Equation 1 is used. In equation 1, the calculated value C
The smaller the SSD, the higher the degree of correlation.
【００２８】前記基準側画像１１１上の注目点１１３の
位置と、相関の度合が最も高くなるブロック１１６を切
り出したときの比較対象側画像１１２上の注目点１１５
の位置との間の相対位置ベクトルが、基準側画像１１１
の注目点１１３における局所的動きベクトルである。The position of the attention point 113 on the reference side image 111 and the attention point 115 on the comparison target side image 112 when the block 116 having the highest degree of correlation is cut out.
Relative position vector between the reference side image 111
Is a local motion vector at the attention point 113 of FIG.
【００２９】同様にして、前述の局所的動きベクトルの
検出を基準側画像１１１の全ての注目点１１３に関して
繰り返し行い、全ての注目点１１３における局所的動き
ベクトルを得る。なお、本実施の形態においては、１つ
の画像を複数のブロックに区切って行う、いわゆるブロ
ックマッチングによる局所的動きベクトル検出手順を使
用しているが、本発明は他の局所的動きベクトル検出手
順も容易に適用可能である。In the same manner, the above-described detection of the local motion vector is repeated for all the points of interest 113 of the reference side image 111, and the local motion vectors at all the points of interest 113 are obtained. In the present embodiment, a local motion vector detection procedure based on so-called block matching, in which one image is divided into a plurality of blocks, is used. However, the present invention also employs other local motion vector detection procedures. It is easily applicable.
【００３０】さらに、第２の手順として、前述の手順に
よって求められたそれぞれの注目点１１３における局所
的動きベクトルに対し重み付けを行う（Ｓ２）。Further, as a second procedure, the local motion vector at each point of interest 113 obtained by the above procedure is weighted (S2).
【００３１】具体的には、まず、注目点１１３付近の画
像の複雑さを示す重み付け係数Ｗｃｏｍｐｌｅｘを複雑
さ計算部８において決定する。例えば、前記重み付け係
数Ｗｃｏｍｐｌｅｘを次に示す式４〜式６の解であるＳ
2 、ＳまたはＤと定義した場合、複雑さ計算部８におい
て式４〜式６の解を計算し重み付け係数Ｗｃｏｍｐｌｅ
ｘを決定する。More specifically, first, the complexity calculator 8 determines a weighting coefficient Wcomplex indicating the complexity of the image near the point of interest 113. For example, the weighting coefficient Wcomplex is calculated by solving the following equations (4) to (6).
2 , S, or D, the complexity calculator 8 calculates the solutions of Equations 4 to 6 and calculates the weighting coefficient Wcomple.
Determine x.
【００３２】式４は、分散Ｓ2 を求める計算式の一例で
ある。右辺の１／ｍｎは１／（ｍｎ−１）とする場合も
あるが、本実施の形態においては、除算を高速に処理す
るために１／（ｍｎ−１）の代わりに近似的に１／ｍｎ
を採用している。また、式５に示すように標準偏差Ｓを
式４で求めた分散Ｓ2 から容易に求めることができる。
なお、ｍ×ｎはブロック１１４中の画素数を示し、ｍは
縦方向、ｎは横方向のブロックの大きさを示す。Equation 4 is an example of an equation for calculating the variance S 2 . Although 1 / mn on the right side may be 1 / (mn-1), in the present embodiment, in order to process the division at high speed, approximately 1 / mn instead of 1 / (mn-1). mn
Is adopted. Further, as shown in Expression 5, the standard deviation S can be easily obtained from the variance S 2 obtained by Expression 4.
Note that m × n indicates the number of pixels in the block 114, m indicates the size of the block in the vertical direction, and n indicates the size of the block in the horizontal direction.
【００３３】[0033]
【数４】 (Equation 4)
【００３４】[0034]
【数５】 (Equation 5)
【００３５】また、式６は、画素値の絶対値の合計を算
出する計算式の一例である。画素値の微分による計算式
としては本実施の形態で例示したものの他にもさまざま
な計算式がある。Formula 6 is an example of a calculation formula for calculating the sum of the absolute values of the pixel values. As a calculation formula based on the differentiation of the pixel value, there are various calculation formulas other than those exemplified in the present embodiment.
【００３６】[0036]
【数６】 (Equation 6)
【００３７】前述の式４および式６はいずれも本発明に
容易に適用できるが、本実施の形態においては式４を適
用、すなわち前記ブロックマッチングにおいて基準側画
像１１１から切り出したブロックの画素値の分散の値を
重み付け係数Ｗｃｏｍｐｌｅｘとして使用する。また、
本実施の形態では、画像の複雑さの計算に使用する画素
値としてブロックマッチングで使用したブロックの画素
値を使用しているが、必ずしも両者が同一である必要は
ない。なお、画像が複雑である程、この画像に関わる局
所的動きベクトルを信用できるので、重みを大きくす
る。Although both of the above equations 4 and 6 can be easily applied to the present invention, in the present embodiment, equation 4 is applied, that is, the pixel values of the blocks cut out from the reference-side image 111 in the block matching. The value of the variance is used as a weighting coefficient Wcomplex. Also,
In the present embodiment, the pixel values of the block used in the block matching are used as the pixel values used for calculating the complexity of the image, but they need not always be the same. It should be noted that the more complicated the image, the more reliable the local motion vector related to this image is.
【００３８】例えば、図４（ａ）において、右から１番
目、上から１番目の注目点１１３ａと、右から１番目、
上から３番目の注目点１１３ｂとを比較した場合、注目
点１１３ａを含むブロック１１４ａには背景しか含まれ
ておらず、注目点１１３ｂを含むブロック１１４ｂには
背景と車の一部が含まれている。そのため、注目点１１
３ｂを含むブロック１１４ｂは、注目点１１３ａを含む
ブロック１１４ａよりも複雑な画像であると判断され
る。従って、注目点１１３ｂに関する局所的動きベクト
ルの重み付け係数Ｗｃｏｍｐｌｅｘは、注目点１１３ａ
に関する局所的動きベクトルの重み付け係数Ｗｃｏｍｐ
ｌｅｘよりも大きくなる。For example, in FIG. 4A, the first attention point 113a from the right and the first attention point 113a, the first attention point 113a from the right,
When the third point of interest 113b from the top is compared, the block 114a including the point of interest 113a includes only the background, and the block 114b including the point of interest 113b includes the background and a part of the car. I have. Therefore, attention point 11
The block 114b including 3b is determined to be a more complex image than the block 114a including the point of interest 113a. Therefore, the weighting coefficient Wcomplex of the local motion vector for the point of interest 113b is
Weighting coefficient Wcomp of the local motion vector with respect to
lex.
【００３９】次いで、前記ブロックマッチングにおける
基準側画像１１１から切り出したブロックと、それとの
相関が最も高かった比較対象側画像１１２から切り出し
たブロックとの相関の度合から重み付け係数Ｗｃｏｒｒ
ｅｌａｔｉｖｅを第１相関値計算部９において計算す
る。Next, a weighting coefficient Wcorr is calculated based on the degree of correlation between the block cut out from the reference side image 111 in the block matching and the block cut out from the comparison side image 112 having the highest correlation therewith.
Elastic is calculated by the first correlation value calculator 9.
【００４０】先に、ブロックマッチングの説明のところ
でも述べたように、相関の度合の計算式としてはさまざ
まな式があり、本発明にそれらを適用することは容易で
ある。本実施の形態においては、ブロックマッチングと
同様に式１の解であるＣSSDを重み付け係数Ｗｃｏｒｒ
ｅｌａｔｉｖｅと定義する。ただし、ブロックマッチン
グを行う場合や重み付け係数を計算する場合において、
相関の度合の計算式や、使用するブロックのサイズや形
状は必ずしも同一である必要はない。なお、相関の度合
いが高い程、局所的動きベクトルを信用できるので、重
みを大きくする。As described earlier in the description of block matching, there are various equations for calculating the degree of correlation, and it is easy to apply them to the present invention. In this embodiment, block matching as well as weighting C SSD is the solution of formula 1 coefficients Wcorr
Defined as "elative". However, when performing block matching or calculating weighting coefficients,
The equation for calculating the degree of correlation and the size and shape of the blocks used do not necessarily need to be the same. It should be noted that the higher the degree of correlation, the more reliable the local motion vector is, so the weight is increased.
【００４１】例えば、図４（ａ）において、右から１番
目、上から３番目の注目点１１３ｂと、右から１番目、
上から４番目の注目点１１３ｃとを比較した場合、注目
点１１３ｂは、図４（ｂ）中の右から１番目、上から３
番目の注目点１１５ａと対応しており、注目点１１３ｃ
は、図４（ｂ）中の右から１番目、上から４番目の注目
点１１５ｂと対応している。図４から明らかなように、
図４（ｂ）中の注目点１１５ａを含むブロック１１６ａ
は、図４（ａ）中の注目点１１３ｂを含むブロック１１
４ｂとほぼ一致しており相関の度合が高く、図４（ｂ）
中の注目点１１５ｂを含むブロック１１６ｂは、図４
（ａ）中の注目点１１３ｃを含むブロック１１４ｃと比
べて、右にシフトしており相関の度合が低い。従って、
注目点１１３ｂに関する局所的動きベクトルの重み付け
係数Ｗｃｏｒｒｅｌａｔｉｖｅは、注目点１１３ｃに関
する局所的動きベクトルの重み付け係数Ｗｃｏｒｒｅｌ
ａｔｉｖｅよりも大きくなる。For example, in FIG. 4A, the first attention point 113b from the right, the third attention point 113b from the top, and the first attention point 113b from the right,
In comparison with the fourth point of interest 113c from the top, the point of interest 113b is the first point from the right in FIG.
The point of interest 113c corresponds to the
Corresponds to the first attention point 115b from the right and the fourth attention point 115b from the top in FIG. 4B. As is clear from FIG.
A block 116a including the point of interest 115a in FIG.
Is a block 11 including the point of interest 113b in FIG.
4b, the degree of correlation is high, and FIG.
The block 116b including the point of interest 115b in FIG.
(A) It is shifted to the right and the degree of correlation is lower than that of the block 114c including the attention point 113c in the middle. Therefore,
The weighting coefficient Wcorrelative of the local motion vector regarding the point of interest 113b is the weighting coefficient Wcorrel of the local motion vector regarding the point of interest 113c.
larger than active.
【００４２】最後に、前述の手順によって求めた各重み
を統合し、一つの局所的動きベクトル検出結果に対する
最終的な重みを重み決定部１０において決定する。本実
施の形態においては、式７に示すように、最終的な重み
Ｗｔｏｔａｌを計算するために１つの注目点１１３ごと
に重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏ
ｒｒｅｌａｔｉｖｅとの積を算出している。なお、最終
的な重みＷｔｏｔａｌを計算する際には、重み付け係数
Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉ
ｖｅとの積の他に、例えば重み付け係数Ｗｃｏｍｐｌｅ
ｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの和を計
算する等、さまざまな算出手順があり、本発明に対して
これらを適用することは容易である。Finally, the weights obtained by the above-described procedure are integrated, and the final weight for one local motion vector detection result is determined by the weight determination unit 10. In the present embodiment, as shown in Expression 7, in order to calculate the final weight Wtotal, the weighting coefficient Wcomplex and the weighting coefficient Wco
The product with relative is calculated. When calculating the final weight Wtotal, the weighting coefficient Wcomplex and the weighting coefficient Wcorrelati are calculated.
ve, for example, a weighting coefficient Wcomplete
There are various calculation procedures, such as calculating the sum of x and the weighting coefficient Wcorrelative, and it is easy to apply them to the present invention.
【００４３】[0043]
【数７】 (Equation 7)
【００４４】前記最終的な重みＷTOTAL を全ての注目点
１１３に関して計算し、全ての注目点１１３における局
所的動きベクトルの重みを決定する。The final weight W TOTAL is calculated for all the points of interest 113, and the weights of the local motion vectors at all the points of interest 113 are determined.
【００４５】さらに、第３の手順として、局所的動きベ
クトル探索部７において求めた局所的動きベクトルと、
重み決定部１０において求めた各局所的動きベクトルの
重み付け係数とから、重み付けを行った後の局所的動き
ベクトルのヒストグラムをヒストグラム作成部１１にお
いて作成する（Ｓ３）。Further, as a third procedure, the local motion vector obtained by the local motion vector
From the weighting coefficient of each local motion vector obtained by the weight determining unit 10, a histogram of the local motion vector after weighting is created by the histogram creating unit 11 (S3).
【００４６】図３は、作成されたヒストグラムの一例を
示すグラフである。なお、図３は１次元のヒストグラム
となっているが、これは説明を簡便にするためであり、
本実施の形態におけるヒストグラムは動きベクトルの水
平成分および垂直成分を軸とする２次元のヒストグラム
が作成される。FIG. 3 is a graph showing an example of the created histogram. Although FIG. 3 shows a one-dimensional histogram, this is for the sake of simplicity.
As the histogram in the present embodiment, a two-dimensional histogram is created with the horizontal and vertical components of the motion vector as axes.
【００４７】さらに、第４の手順として、前述の手順で
作成されたヒストグラムに対し、ピーク検出部１２にお
いてピーク検出を行う（Ｓ４）。本実施の形態において
は、予め設定しておいた大きさのウィンドウＷを使用
し、ウィンドウＷ内のヒストグラム値の合計の最大にな
る箇所をピークＰとしている。すなわち、次式８を満足
する（ｘ，ｙ）を求めてこれをピークとする。なお、
（ｘ，ｙ）は、ヒストグラム上のある座標を示し、ｈ
（ｘ＋ｉ，ｙ＋ｊ）は、ヒストグラム上のある座標にお
ける最終的な重みＷｔｏｔａｌの合計を示す。Further, as a fourth procedure, the peak detector 12 performs peak detection on the histogram created in the above procedure (S4). In the present embodiment, a window W having a size set in advance is used, and a point where the sum of the histogram values in the window W is maximum is set as a peak P. That is, (x, y) that satisfies the following equation (8) is obtained, and this is set as a peak. In addition,
(X, y) indicates a certain coordinate on the histogram, and h
(X + i, y + j) indicates the total of the final weights Wtotal at certain coordinates on the histogram.
【００４８】[0048]
【数８】 (Equation 8)
【００４９】ピーク検出手順は、前述のもの以外に、単
純に最大値を検索する方法や、クラスタリングによる方
法等、さまざまな方法が有り、これらさまざまなピーク
検出方法は本発明に容易に適用できる。There are various methods for peak detection other than those described above, such as a method of simply searching for the maximum value and a method by clustering, and these various peak detection methods can be easily applied to the present invention.
【００５０】前記ピーク検出によって得られたピークＰ
に関わる局所的動きベクトル、すなわち式８を満足する
（ｘ，ｙ）に関わる局所的動きベクトルが、基準側画像
１１１と比較対象側画像１１２との間の画像動きベクト
ルである。The peak P obtained by the above peak detection
Is the image motion vector between the reference side image 111 and the comparison target side image 112. That is, the local motion vector relating to (x, y) that satisfies Expression 8 is.
【００５１】[0051]
【発明の効果】以上説明したように、本発明によれば、
従来よりも少ない局所的動きベクトル検出結果から画像
全体の動きベクトルを安定して検出することができる。
従って、回路によって実現する場合には回路規模の縮小
ができ、汎用の計算機上でソフトウエアによって実現す
る場合にはより計算能力の小さい計算機を用いて実施す
ることができる。また、それによりコストダウンや消費
電力の軽減が可能となる。As described above, according to the present invention,
It is possible to stably detect a motion vector of the entire image from a smaller number of local motion vector detection results than in the related art.
Therefore, the circuit scale can be reduced when implemented by a circuit, and can be implemented by using a computer having a smaller calculation capability when implemented by software on a general-purpose computer. In addition, cost and power consumption can be reduced.
【図１】本発明の画像動きベクトル検出方法の一実施の
形態を示すフローチャートである。FIG. 1 is a flowchart illustrating an embodiment of an image motion vector detection method according to the present invention.
【図２】本発明の画像動きベクトル検出方法を実施する
際に使用される画像動きベクトル検出装置を示すブロッ
ク図である。FIG. 2 is a block diagram showing an image motion vector detecting device used when implementing the image motion vector detecting method of the present invention.
【図３】作成されたヒストグラムの一例を示すグラフで
ある。FIG. 3 is a graph showing an example of a created histogram.
【図４】カメラから入力された２枚の画像の一例を示す
説明図である。FIG. 4 is an explanatory diagram illustrating an example of two images input from a camera.
１ カメラ ２ 基準側画像メモリ ３ 比較対象側画像メモリ ４ 第１ブロック切り出し部 ５ 第２ブロック切り出し部 ６ 第２相関値計算部 ７ 局所動きベクトル探索部 ８ 複雑さ計算部 ９ 第１相関値計算部 １０ 重み決定部 １１ ヒストグラム作成部 １２ ピーク検出部 Reference Signs List 1 camera 2 reference-side image memory 3 comparison-side image memory 4 first block cutout unit 5 second block cutout unit 6 second correlation value calculation unit 7 local motion vector search unit 8 complexity calculation unit 9 first correlation value calculation unit Reference Signs List 10 weight determination unit 11 histogram creation unit 12 peak detection unit
Claims (5)
いて各画像間の局所的動きベクトルをそれぞれ検出し、
局所的動きベクトル検出結果から画像全体の動きベクト
ルを算出する画像動きベクトル検出方法であって、 全ての検出箇所の局所的動きベクトル検出結果に対し
て、検出箇所ごとに入力画像に応じた重み付けを行い、 重み付け後の局所的動きベクトル検出結果に基づいて入
力画像間の画像動きベクトルを決定することを特徴とす
る画像動きベクトル検出方法。1. detecting local motion vectors between images at a plurality of detection locations of a plurality of input images,
An image motion vector detection method for calculating a motion vector of an entire image from local motion vector detection results, in which a local motion vector detection result of all detected locations is weighted according to an input image for each detected location. Performing an image motion vector between input images based on a weighted local motion vector detection result.
クトルを検出した箇所を含む周辺部の画像の複雑さを算
出し、その算出結果に基づき画像が複雑であるほど重み
を大きくする請求項１記載の画像動きベクトル検出方
法。2. The method according to claim 1, wherein, when performing the weighting, a complexity of an image of a peripheral portion including a portion where a local motion vector is detected is calculated, and the weight is increased as the image is more complicated based on the calculation result. 2. The method for detecting an image motion vector according to claim 1.
入力画像における局所的動きベクトルを検出した箇所間
の相関の度合を算出し、その算出結果に基づき相関の度
合が高いほど重みを大きくする請求項１記載の画像動き
ベクトル検出方法。3. When performing the weighting, the degree of correlation between locations where a local motion vector is detected in the plurality of input images is calculated, and the higher the degree of correlation is, the greater the weight is based on the calculation result. The method of detecting an image motion vector according to claim 1.
いて各画像間の局所的動きベクトルをそれぞれ検出し、
局所的動きベクトル検出結果から画像全体の動きベクト
ルを算出する画像動きベクトル検出方法であって、 全ての検出箇所の局所的動きベクトル検出結果に対し
て、検出箇所ごとに入力画像に応じた重み付けを行う際
に、局所的動きベクトルを検出した箇所を含む周辺部の
画像の複雑さ、ならびに複数枚の入力画像における局所
的動きベクトルを検出した箇所間の相関の度合をそれぞ
れ算出し、 その算出結果に基づき、画像が複雑であるほど、また、
相関の度合が高いほど重みを大きくするように重み付け
を行い、 重み付け後の局所的動きベクトル検出結果に基づいて入
力画像間の画像動きベクトルを決定することを特徴とす
る画像動きベクトル検出方法。4. A local motion vector between respective images is detected at a plurality of detection points of a plurality of input images, respectively.
An image motion vector detection method for calculating a motion vector of an entire image from local motion vector detection results, in which a local motion vector detection result of all detected locations is weighted according to an input image for each detected location. When performing the calculation, the complexity of the peripheral image including the location where the local motion vector is detected, and the degree of correlation between the locations where the local motion vector is detected in a plurality of input images are calculated, and the calculation result is obtained. The more complex the image, the more
An image motion vector detection method, characterized in that weighting is performed so that the weight increases as the degree of correlation increases, and an image motion vector between input images is determined based on the weighted local motion vector detection result.
いて各画像間の局所的動きベクトルをそれぞれ検出し、
局所的動きベクトル検出結果から画像全体の動きベクト
ルを算出する画像動きベクトル検出装置であって、 前記複数枚の入力画像を記憶する画像記憶部と、 複数枚の入力画像のうちの１枚の画像から第１の局所的
な画像を複数箇所切り出す第１の切り出し部と、 残りの入力画像上から第２の局所的な画像を切り出すこ
とと、この第２の局所的な画像と第１の局所的な画像と
の間の近似度を計算することとを切り出し位置を変えな
がら繰り返して行い、第１の局所的な画像との間の近似
度が一番高い第２の局所的な画像を探索する第２の局所
的画像探索部と、 第１の局所的な画像の複雑さを算出するとともに、第１
の局所的な画像および第２の局所的な画像間の相関の度
合を算出し、これらの算出結果に基づき、各箇所におけ
る局所的動きベクトルに重み付けを行う重み決定部と、 重み付け後の局所的動きベクトル検出結果に基づいて、
入力画像間の画像動きベクトルとなる局所的動きベクト
ルを検出する検出部とから構成されてなることを特徴と
する画像動きベクトル検出装置。5. A local motion vector between respective images is detected at a plurality of detection locations of a plurality of input images, respectively.
An image motion vector detecting device that calculates a motion vector of an entire image from a local motion vector detection result, comprising: an image storage unit that stores the plurality of input images; and one image among the plurality of input images. A first cutout unit that cuts out a first local image from a plurality of places, a second local image is cut out from the remaining input images, and the second local image and the first local image are cut out. Calculating the degree of approximation between the first local image and the second local image having the highest degree of approximation to the first local image A second local image search unit that calculates the complexity of the first local image,
A weight determining unit that calculates the degree of correlation between the local image and the second local image, and weights the local motion vector at each location based on the calculation results. Based on the motion vector detection result,
An image motion vector detection device, comprising: a detection unit configured to detect a local motion vector serving as an image motion vector between input images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26940598A JP4245695B2 (en) | 1998-09-24 | 1998-09-24 | Image motion vector detection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26940598A JP4245695B2 (en) | 1998-09-24 | 1998-09-24 | Image motion vector detection method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000099744A true JP2000099744A (en) | 2000-04-07 |
| JP4245695B2 JP4245695B2 (en) | 2009-03-25 |
Family
ID=17471965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26940598A Expired - Fee Related JP4245695B2 (en) | 1998-09-24 | 1998-09-24 | Image motion vector detection method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4245695B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006054387A1 (en) * | 2004-10-28 | 2006-05-26 | Sharp Kabushiki Kaisha | Camera shake correcting device |
| JP2007151008A (en) * | 2005-11-30 | 2007-06-14 | Casio Comput Co Ltd | Image processor and program |
| JP2009533009A (en) * | 2006-04-06 | 2009-09-10 | クゥアルコム・インコーポレイテッド | Electronic video image stabilization |
| JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
| JP2010109461A (en) * | 2008-10-28 | 2010-05-13 | Canon Inc | Device and method for detecting motion vector, image capturing apparatus, and program |
| JP2011151795A (en) * | 2009-12-21 | 2011-08-04 | Olympus Imaging Corp | Imaging device, method of imaging, and imaging program |
| JP2011523515A (en) * | 2008-03-10 | 2011-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video processing |
-
1998
- 1998-09-24 JP JP26940598A patent/JP4245695B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
| US7880769B2 (en) | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
| WO2006054387A1 (en) * | 2004-10-28 | 2006-05-26 | Sharp Kabushiki Kaisha | Camera shake correcting device |
| KR100864999B1 (en) * | 2004-10-28 | 2008-10-23 | 샤프 가부시키가이샤 | Camera shake correcting device |
| JP2007151008A (en) * | 2005-11-30 | 2007-06-14 | Casio Comput Co Ltd | Image processor and program |
| JP4665737B2 (en) * | 2005-11-30 | 2011-04-06 | カシオ計算機株式会社 | Image processing apparatus and program |
| JP2009533009A (en) * | 2006-04-06 | 2009-09-10 | クゥアルコム・インコーポレイテッド | Electronic video image stabilization |
| JP2012009036A (en) * | 2006-04-06 | 2012-01-12 | Qualcomm Inc | Stabilization of electronic video image |
| JP2011523515A (en) * | 2008-03-10 | 2011-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video processing |
| JP2010109461A (en) * | 2008-10-28 | 2010-05-13 | Canon Inc | Device and method for detecting motion vector, image capturing apparatus, and program |
| JP2011151795A (en) * | 2009-12-21 | 2011-08-04 | Olympus Imaging Corp | Imaging device, method of imaging, and imaging program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4245695B2 (en) | 2009-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8605946B2 (en) | Moving object detection apparatus and moving object detection method | |
| US8582822B2 (en) | Moving object detection apparatus and moving object detection method | |
| JP3481430B2 (en) | Mobile tracking device | |
| US8335257B2 (en) | Vector selection decision for pixel interpolation | |
| US8467575B2 (en) | Moving-object detection apparatus, moving-object detection method and moving-object detection program | |
| US8665326B2 (en) | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method | |
| US9436981B2 (en) | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program | |
| US20100296701A1 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
| US20070133840A1 (en) | Tracking Using An Elastic Cluster of Trackers | |
| US20120134541A1 (en) | Object tracking device capable of detecting intruding object, method of tracking object, and storage medium | |
| US20080199044A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
| JP4373840B2 (en) | Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus | |
| US20130070105A1 (en) | Tracking device, tracking method, and computer program product | |
| US20180352186A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| JP2011076255A (en) | Gesture recognizing device, gesture recognizing method and gesture recognizing program | |
| KR20180102639A (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
| US20110135150A1 (en) | Method and apparatus for tracking objects across images | |
| JP2000099744A (en) | Method and device for detecting moving vector of image | |
| CN113298852A (en) | Target tracking method and device, electronic equipment and computer readable storage medium | |
| JP2004348741A (en) | Image comparison method, computer readable storage medium for storing program for execution of the method, and device for execution of the method | |
| JP2012181710A (en) | Object tracking device, method and program | |
| JP5788299B2 (en) | Image search apparatus, image search method, and program | |
| JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
| JPH09261646A (en) | Motion detector for image | |
| JP3929819B2 (en) | Monitoring device, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070704 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070808 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |