JP2000197061A - Motion vector estimate method and motion vector estimate device - Google Patents
Motion vector estimate method and motion vector estimate deviceInfo
- Publication number
- JP2000197061A JP2000197061A JP36723398A JP36723398A JP2000197061A JP 2000197061 A JP2000197061 A JP 2000197061A JP 36723398 A JP36723398 A JP 36723398A JP 36723398 A JP36723398 A JP 36723398A JP 2000197061 A JP2000197061 A JP 2000197061A
- Authority
- JP
- Japan
- Prior art keywords
- area
- motion vector
- block
- cutout
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、入力画像信号か
ら動きベクトルの推定を行う動きベクトル推定装置およ
び動きベクトル推定方法に関する。The present invention relates to a motion vector estimating apparatus and a motion vector estimating method for estimating a motion vector from an input image signal.
【０００２】[0002]
【従来の技術】入力画像信号から動きベクトルを推定す
る方法として、ブロックマッチング法が従来から知られ
ている。かかる方法では、ブロックのサイズ、形状等が
予め決定されており、そのようなブロックを例えば時間
的に連続する２個のフレーム（以下、フレームｔ，フレ
ームｔ＋１と表記する）からそれぞれ切り出して、例え
ばフレームｔ＋１から切り出した幾つかのブロックの
内、フレームｔから切り出したブロックとのマッチング
の程度が高いと判定されるブロックの位置と、フレーム
ｔから切り出したブロックの位置とから動きベクトルを
推定する。2. Description of the Related Art As a method for estimating a motion vector from an input image signal, a block matching method has been conventionally known. In this method, the size, shape, and the like of a block are determined in advance, and such a block is cut out from, for example, two temporally continuous frames (hereinafter, referred to as a frame t and a frame t + 1), and, for example, Among several blocks extracted from the frame t + 1, a motion vector is estimated from a position of a block determined to have a high degree of matching with a block extracted from the frame t and a position of a block extracted from the frame t.
【０００３】[0003]
【発明が解決しようとする課題】この場合、ブロックの
サイズ、形状等が動いているオブジェクトに対して適切
でない場合には、動きベクトルの推定が正しく行われな
いという問題がある。例えば、図１１Ａに示すように、
薄墨を付して示す楕円形のオブジェクトがフレームｔ，
ｔ＋１の間で動きを有する場合に、オブジェクトに対し
てブロックのサイズが小さ過ぎると、フレームｔ中のブ
ロック２１０とマッチングの程度が高いと判定される、
フレームｔ＋１中のブロックが例えばブロック２２０で
あるとされるおそれがある。この場合、本来推定される
べきブロックは２２０’であるから、結果として動きベ
クトルの推定が誤ることになる。In this case, if the size, shape, and the like of the block are not appropriate for a moving object, there is a problem that a motion vector cannot be estimated correctly. For example, as shown in FIG.
The elliptical object shown with a thin black ink is frame t,
If the size of the block is too small for the object when there is movement during t + 1, it is determined that the degree of matching with the block 210 in the frame t is high.
There is a possibility that the block in the frame t + 1 is, for example, the block 220. In this case, since the block to be estimated is 220 ′, the estimation of the motion vector is erroneous as a result.
【０００４】また、ブロックのサイズが大き過ぎると、
ブロック内に複数のオブジェクトが含まれ、各オブジェ
クトが互いに異なる動きをする場合に、個々のオブジェ
クトの動きを正しく捉えることができないおそれがあ
る。例えば、図１１Ｂに示すように、静止しているオブ
ジェクト３００と、動きの大きいオブジェクト４００と
がフレームｔ中で同一のブロック４１０内に含まれる場
合に、かかるブロック４１０とマッチングの程度が高い
と判定される、フレームｔ＋１中のブロックが例えばブ
ロック４２０であるとされるおそれがある。この場合、
オブジェクト４００の動きに則して本来推定されるべき
ブロックの位置は４２０’であるから、結果として動き
ベクトルの推定が誤ることになる。If the size of a block is too large,
When a plurality of objects are included in a block and each object moves differently, there is a possibility that the movement of each object cannot be correctly captured. For example, as shown in FIG. 11B, when a stationary object 300 and an object 400 with a large motion are included in the same block 410 in the frame t, it is determined that the degree of matching with the block 410 is high. There is a possibility that the block in the frame t + 1 to be performed is, for example, the block 420. in this case,
Since the position of the block that should be originally estimated based on the motion of the object 400 is 420 ', as a result, the estimation of the motion vector is erroneous.
【０００５】この発明は、上述の問題点に鑑みてなされ
たものであり、従って、この発明の目的は、動きベクト
ルを精度良く推定することを可能とする、動きベクトル
推定方法および動きベクトル推定装置を提供することに
ある。SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and accordingly, it is an object of the present invention to provide a motion vector estimating method and a motion vector estimating apparatus capable of accurately estimating a motion vector. Is to provide.
【０００６】[0006]
【課題を解決するための手段】請求項１の発明は、入力
画像信号から動きベクトルを推定する動きベクトル推定
装置において、入力画像信号中の第１のフレームから領
域を切り出し、切り出した領域内の画素値に基づく所定
の演算の結果が所定の条件を満たす場合に領域を第１の
領域として出力する領域切り出し手段と、入力画像信号
中の第２のフレームにおける探索範囲内の各画素を中心
とする第２の領域を、第２のフレームから第１の領域を
切り出す際の切り出し条件と同一の切り出し条件の下で
順次切り出し、切り出した第２の領域の各々と第１の領
域との間で差分絶対値の和を順次計算し、計算した差分
絶対値の和を探索範囲内の各画素に対応するように保持
してなる評価値テーブルを作成する手段と、評価値テー
ブルから最小値を検索する手段と、評価値テーブル上で
最小値をとる位置と、第１の領域の中心画素の位置との
ずれ量を算出し、算出したずれ量を動きベクトルとして
出力する手段とを有することを特徴とする動きベクトル
推定装置である。According to a first aspect of the present invention, in a motion vector estimating apparatus for estimating a motion vector from an input image signal, an area is cut out from a first frame in the input image signal, and An area cutout unit that outputs an area as a first area when a result of a predetermined operation based on a pixel value satisfies a predetermined condition; and a center of each pixel within a search range in a second frame in the input image signal. The second region to be cut out is sequentially cut out under the same cut-out condition as the cut-out condition for cutting out the first region from the second frame, and between each of the cut-out second regions and the first region. Means for sequentially calculating the sum of absolute difference values, and creating an evaluation value table holding the calculated sum of absolute difference values so as to correspond to each pixel within the search range; Searching means; and calculating means for calculating a shift amount between a position having a minimum value on the evaluation value table and a center pixel position of the first area, and outputting the calculated shift amount as a motion vector. This is a motion vector estimating device that is a feature.
【０００７】請求項１７の発明は、入力画像信号から動
きベクトルを推定する動きベクトル推定方法において、
入力画像信号中の第１のフレームから領域を切り出し、
切り出した領域内の画素値に基づく所定の演算の結果が
所定の条件を満たす場合に領域を第１の領域として出力
する領域切り出しステップと、入力画像信号中の第２の
フレームにおける探索範囲内の各画素を中心とする第２
の領域を、第２のフレームから第１の領域を切り出す際
の切り出し条件と同一の切り出し条件の下で順次切り出
し、切り出した第２の領域の各々と第１の領域との間で
差分絶対値の和を順次計算し、計算した差分絶対値の和
を探索範囲内の各画素に対応するように保持してなる評
価値テーブルを作成するステップと、評価値テーブルか
ら最小値を検索するステップと、評価値テーブル上で最
小値をとる位置と、第１の領域の中心画素の位置とのず
れ量を算出し、算出したずれ量を動きベクトルとして出
力するステップとを有することを特徴とする動きベクト
ル推定方法である。The invention according to claim 17 is a motion vector estimating method for estimating a motion vector from an input image signal,
An area is cut out from the first frame in the input image signal,
An area extracting step of outputting an area as a first area when a result of a predetermined operation based on a pixel value in the extracted area satisfies a predetermined condition; The second centered on each pixel
Are sequentially cut out under the same cut-out condition as the cut-out condition for cutting out the first area from the second frame, and the absolute difference between each of the cut-out second areas and the first area A step of creating an evaluation value table that holds the sum of the calculated absolute differences so as to correspond to each pixel within the search range, and a step of searching for the minimum value from the evaluation value table. Calculating a shift amount between a position having a minimum value on the evaluation value table and a position of a center pixel of the first area, and outputting the calculated shift amount as a motion vector. This is a vector estimation method.
【０００８】以上のような発明によれば、動きベクトル
を推定するためのブロックマッチング等の演算に使用す
るブロックを切り出す際の大きさ、形状、回転角等の切
り出し条件を適切に設定することができる。According to the invention described above, it is possible to appropriately set the cutout conditions such as the size, shape, rotation angle, and the like when cutting out a block used for calculation such as block matching for estimating a motion vector. it can.
【０００９】[0009]
【発明の実施の形態】この発明の一実施形態の構成の一
例を図１に示す。入力画像信号がフレームメモリ１０
と、評価値テーブル作成部１３とに供給される。フレー
ムメモリ１０は、新たなフレームが供給される毎に、既
に記憶しているフレームをフレームメモリ１１に供給す
る。フレームメモリ１１は、フレームメモリ１０から供
給されるフレームを記憶する。このようにして、フレー
ムメモリ１０、１１が連続する２個のフレームｔ＋１、
フレームｔをそれぞれ保持することになる。ブロック切
り出し部１２は、フレームメモリ１１の記憶内容から、
ブロックマッチングに用いる所定数の画素を含むブロッ
クの切り出しを行う。そして、切り出したブロックを評
価値テーブル作成部１３に供給する。FIG. 1 shows an example of the configuration of an embodiment of the present invention. The input image signal is stored in the frame memory 10
And the evaluation value table creation unit 13. The frame memory 10 supplies the already stored frame to the frame memory 11 every time a new frame is supplied. The frame memory 11 stores a frame supplied from the frame memory 10. In this way, the two frames t + 1,
Each frame t is held. The block cutout unit 12 calculates the content of the frame memory 11
A block including a predetermined number of pixels used for block matching is cut out. Then, the cut-out block is supplied to the evaluation value table creation unit 13.
【００１０】評価値テーブル作成部１３は、フレームメ
モリ１０の記憶内容から、フレームｔ＋１における探索
範囲内のそれぞれの画素を中心としたブロックを切り出
し、切り出したブロックと、ブロック切り出し部１２が
切り出したブロックとの間で差分絶対値の和を計算す
る。そして、探索範囲の画素毎にその和を評価値テーブ
ルとして保持する。最小評価値探索部１４は、評価値テ
ーブル作成部１３によって作成された評価値テーブルか
ら最小値を探索する。動きベクトル推定部１５は、最小
評価値探索部１４によって探索された最小値の位置とフ
レームｔから切り出したブロックの中心位置とのずれ量
を算出し、動きベクトルとする。The evaluation value table creator 13 cuts out a block centered on each pixel within the search range in the frame t + 1 from the contents stored in the frame memory 10, and the cut out block and the block cut out by the block cut out unit 12. Calculate the sum of absolute differences between and. Then, the sum is stored as an evaluation value table for each pixel in the search range. The minimum evaluation value search unit 14 searches for a minimum value from the evaluation value table created by the evaluation value table creation unit 13. The motion vector estimating unit 15 calculates the amount of deviation between the position of the minimum value searched by the minimum evaluation value searching unit 14 and the center position of the block cut out from the frame t, and sets it as a motion vector.
【００１１】図２に、ブロック切り出し部１２の構成の
一例を示す。ブロック切り出し部１２は、切り出し処理
回路１２１、ブロック内分散計算回路１２２、比較回路
１２３、およびカウンター１２４を有する。切り出し処
理回路１２１においては、カウンター１２４から供給さ
れる値に関連して切り出すべきブロックのサイズが設定
される。切り出し処理回路１２１は、切り出したブロッ
クをブロック内分散計算回路１２２に供給する。また、
切り出し処理回路１２１は、比較回路１２３から後述す
るような出力指令信号を受け取った場合には、切り出し
たブロックをブロック切り出し部１２の最終的な出力と
して評価値テーブル作成部１３に供給する。FIG. 2 shows an example of the configuration of the block cutout section 12. The block cutout unit 12 includes a cutout processing circuit 121, an intra-block variance calculation circuit 122, a comparison circuit 123, and a counter 124. In the cutout processing circuit 121, the size of the block to be cut out is set in relation to the value supplied from the counter 124. The cutout processing circuit 121 supplies the cutout block to the intra-block variance calculation circuit 122. Also,
When receiving an output command signal, which will be described later, from the comparison circuit 123, the cutout processing circuit 121 supplies the cutout block to the evaluation value table creation unit 13 as a final output of the block cutout unit 12.
【００１２】ブロック内分散計算回路１２２は、切り出
し処理回路１２１が切り出したブロック内の画素値の分
散を計算する。例えば図３に示すようなＸ００〜Ｘｎｎ
を含む正方形状に画素が並んでなるブロックについて
は、次の式（１）に従って分散Ｖを計算することができ
る。このようにして計算される分散値は、比較回路１２
３に供給する。The intra-block variance calculation circuit 122 calculates the variance of the pixel values in the block extracted by the extraction processing circuit 121. For example, X00 to Xnn as shown in FIG.
Can be calculated according to the following equation (1) for a block in which pixels are arranged in a square shape including. The variance value calculated in this manner is calculated by the comparison circuit 12
Supply 3
【００１３】[0013]
【数１】 (Equation 1)
【００１４】比較回路１２３は、供給される分散値を所
定のしきい値と比較する。そして、比較回路１２３は、
分散値がしきい値以下の場合には、所定のカウントアッ
プ信号をカウンター１２４に供給する。また、比較回路
１２３は、分散値がしきい値より大きい場合には、所定
の出力指令信号を切り出し処理回路１２１に供給すると
共に、所定のリセット信号をカウンター１２４に供給す
る。カウンター１２４は、カウントアップ信号を受取る
毎に例えば１ずつカウントアップを行い、また、リセッ
ト信号を受取った場合にはカウント値を初期化する。カ
ウンター１２４のカウント値は、切り出し処理回路１２
１に供給される。The comparison circuit 123 compares the supplied dispersion value with a predetermined threshold value. Then, the comparison circuit 123
If the variance is equal to or smaller than the threshold, a predetermined count-up signal is supplied to the counter 124. When the variance value is larger than the threshold value, the comparison circuit 123 supplies a predetermined output command signal to the cutout processing circuit 121 and supplies a predetermined reset signal to the counter 124. Each time the counter 124 receives a count-up signal, it increments by one, for example, and when it receives a reset signal, it initializes a count value. The count value of the counter 124 is determined by the cutout processing circuit 12.
1 is supplied.
【００１５】以上のような構成によってなされる処理に
ついて、図４のフローチャートを参照して説明する。ス
テップＳ１として、入力画像信号からその時点で設定さ
れているブロックサイズのブロックを切り出す。ステッ
プＳ２として、ステップＳ１によって切り出したブロッ
クについて上述した式（１）等に従ってブロック内分散
を計算する。ステップＳ３として、ステップＳ２によっ
て計算されたブロック内分散値が所定のしきい値より大
きいか否かを判定する。The processing performed by the above configuration will be described with reference to the flowchart of FIG. In step S1, a block of the block size set at that time is cut out from the input image signal. In step S2, the intra-block variance is calculated for the block extracted in step S1 according to the above-described equation (1) and the like. In step S3, it is determined whether or not the intra-block variance calculated in step S2 is larger than a predetermined threshold.
【００１６】ブロック内分散値が所定のしきい値より大
きいと判定される場合には、その時のブロックをブロッ
ク切り出し処理の最終的な結果として出力し、また、カ
ウント値を初期化する（ステップＳ４）。一方、ブロッ
ク内分散値が所定のしきい値より大きいと判定される場
合以外の場合には、ステップＳ５に移行してカウントア
ップを行う。そして、ステップＳ１に移行し、新たなカ
ウント値に関連して設定されるブロックサイズでブロッ
クを切り出す。If it is determined that the variance value in the block is larger than the predetermined threshold value, the block at that time is output as the final result of the block cutout processing, and the count value is initialized (step S4). ). On the other hand, when it is determined that the variance value in the block is not larger than the predetermined threshold value, the process proceeds to step S5 to count up. Then, the process proceeds to step S1, and blocks are cut out with the block size set in association with the new count value.
【００１７】上述したような処理によって切り出される
ブロックのサイズとカウント値との関係について、図５
を参照して概念的に説明する。ここでは正方形のブロッ
クを例とした。初期のブロック３０0 に対し、カウント
値が１、２と大きくなるに従って、３０ 1，３０2 のよ
うにブロックのサイズが大きくなされる。そして、ブロ
ック内にオブジェクト３５のエッジ或いはテクスチャを
含むことができた時に、ブロック内の分散がしきい値を
越える。図５中ではブロック３０2 がオブジェクト３５
のエッジを含んでおり、このため、ブロック３０2 内の
分散がしきい値を越えることになる。従って、ここで
は、カウント値２の時のブロック３０2 がブロック切り
出し部１２による切り出しの結果として出力される。FIG. 5 shows the relationship between the size of a block cut out by the processing described above and the count value.
This will be described conceptually with reference to FIG. Here, a square block is taken as an example. Of the initial block 30 0, according to the count value becomes large as 1, the size of the block is made large as 30 1, 30 2. Then, when the edge or the texture of the object 35 can be included in the block, the variance in the block exceeds the threshold. 5 Block 30 2 object 35 in
Includes edge, Therefore, the dispersion of the block 30 2 is to exceed the threshold. Therefore, here, the block 302 when the count value is 2 is output as a result of the cutout by the block cutout unit 12.
【００１８】次に、図１中の評価値テーブル作成部１３
の動作について、図６を参照してより詳細に説明する。
評価値テーブル作成部１３は、ブロック切り出し部１２
が上述したようにしてフレームｔから切り出した、画素
７０を中心画素とするブロック７１に対するマッチング
の程度を表す評価値を配列してなる評価値テーブルを以
下のようにして作成する。まず、フレームｔ＋１におけ
る所定の探索範囲（符号５０を付して示す）内で画素を
矢印で示すように順次走査し、各画素を中心としてブロ
ックを順次切り出す。すなわち、ブロック６１1 ，６１
2 ・・・が順次切り出される。但し、図６では、６１2
・・・の図示を省略し、ブロック６１1のみを図示し
た。なお、ブロック６１1 は、画素６０1 を中心画素と
するブロックである。ここで、ブロック６１1 ，６１2
・・・の切り出しは、ブロック７１の切り出し時と同一
のサイズ、形状等の切り出し条件の下でなされる。Next, the evaluation value table creating unit 13 shown in FIG.
Will be described in more detail with reference to FIG.
The evaluation value table creation unit 13 includes the block cutout unit 12
Creates an evaluation value table which is obtained by arranging evaluation values indicating the degree of matching with respect to the block 71 having the pixel 70 as the center pixel, which is cut out from the frame t as described above. First, pixels are sequentially scanned as indicated by arrows within a predetermined search range (indicated by reference numeral 50) in frame t + 1, and blocks are sequentially cut out centering on each pixel. That is, the blocks 61 1 , 61
2 are sequentially cut out. However, in FIG. 6, 61 2
(Not shown) of ..., shown only block 61 1. Incidentally, the block 61 1 is a block centered pixel pixel 60 1. Here, blocks 61 1 and 61 2
.. Are performed under the same size, shape, and other cutting conditions as when the block 71 was cut out.
【００１９】さらに、ブロック７１に対する、ブロック
６１1 ，６１2 ・・・のマッチングの程度を評価するた
めの評価値として、ブロック７１とブロック６１1 ，ブ
ロック７１とブロック６１2 ・・・について各々のブロ
ック内の各画素の差分絶対値の和Ｔが順次計算される。
この際の計算は、例えば次の式（２）に従って行われ
る。Furthermore, for the block 71, as an evaluation value for evaluating the degree of matching blocks 61 1, 61 2 ..., Block 71 and Block 61 1, each for the block 71 and the block 61 2 ... The sum T of the absolute difference values of each pixel in the block is sequentially calculated.
The calculation at this time is performed, for example, according to the following equation (2).
【００２０】[0020]
【数２】 (Equation 2)
【００２１】但し、式（２）は、フレームｔから切り出
されるブロック７１、フレームｔ＋１から切り出される
ブロック（例えばブロック６１1 ）の画素値がそれぞ
れ、図７Ａ中のｘ00，ｘ01・・・ｘnn，図７Ｂ中の
ｙ00，ｙ01・・・ｙnnである場合を前提とした計算式で
ある。[0021] However, Equation (2) is a block 71 which is cut from the frame t, a pixel value of a block cut from the frame t + 1 (e.g., block 61 1), respectively, x in FIG. 7A 00, x 01 ··· x nn , y 00 , y 01 ... y nn in FIG. 7B.
【００２２】そして、計算された差分絶対値の和がブロ
ック６１1 ，ブロック６１2 ・・・の中心画素６０1 ，
６０2 ・・・に対応する位置６０1 Ｔ，６０2 Ｔ・・・
上に順次プロットされることにより、評価値テーブル８
０が形成される。但し、図６中では、位置６０2 Ｔ・・
・の図示を省略し、位置６０1 Ｔのみを図示した。例え
ばブロック７１とブロック６１1 との間で計算された各
画素の差分絶対値の和は、ブロック６１1 の中心画素６
０1 に対応する評価値テーブル８０上の位置６０1 Ｔ上
にプロットされる。[0022] Then, the sum block 61 1 of the calculated difference absolute value, the center pixel 60 1 Block 61 2 ...,
60 2 corresponding to ... position 60 1 T, 60 2 T ...
By being sequentially plotted on the top, the evaluation value table 8
0 is formed. However, in FIG. 6, the position 60 2 T.
Is omitted, and only the position 60 1 T is illustrated. For example the sum of the difference absolute value of each pixel computed between the block 71 and the block 61 1, block 61 1 center pixel 6
0 is plotted at the position 60 on 1 T on the evaluation value table 80 that corresponds to 1.
【００２３】最小評価値検索部１４は、上述したように
して作成される評価値テーブル８０を順次走査し、差分
絶対値の和の最小値を検索する。これにより、差分絶対
値の和の最小値がプロットされている位置６２Ｔが求め
られる。位置６２Ｔと、ブロック７１の中心画素７０に
対応する評価値テーブル上の位置７０Ｔとに基づいて、
動きベクトル推定部１５が動きベクトルを推定する。す
なわち、７０Ｔ（ｘ0，ｙ0 ）と、６２Ｔ（ｘmin ，ｙ
min ）とに基づいて、フレームｔ内でブロック７１に係
るオブジェクトの動きを表す動きベクトルとして（ｘ
min −ｘ0 ，ｙmin −ｙ0 ）が求められる。The minimum evaluation value search unit 14 sequentially scans the evaluation value table 80 created as described above, and searches for the minimum value of the sum of absolute difference values. Thereby, the position 62T where the minimum value of the sum of the absolute differences is plotted is obtained. Based on the position 62T and the position 70T on the evaluation value table corresponding to the center pixel 70 of the block 71,
The motion vector estimating unit 15 estimates a motion vector. That is, 70T (x 0 , y 0 ) and 62T (x min , y
min ) and (x) as a motion vector representing the motion of the object related to the block 71 in the frame t.
min −x 0 , y min −y 0 ).
【００２４】上述したように、ブロック切り出し部１２
がフレームｔからオブジェクトの動きを捉えるために好
適なサイズのブロックを切り出し、また、フレームｔ＋
１から、フレームｔからブロックを切り出す際の切り出
し条件と同一の切り出し条件下で順次ブロックを切り出
し、切り出したブロックを用いてブロックマッチングを
行うことにより、動きベクトルの推定を精度良く行うこ
とができる。As described above, the block cutting section 12
Cuts out a block of a suitable size to capture the movement of the object from the frame t,
From 1, it is possible to estimate a motion vector with high accuracy by sequentially cutting out blocks under the same cut-out condition as the cut-out condition when cutting out a block from frame t, and performing block matching using the cut-out block.
【００２５】上述したこの発明の一実施形態は、ブロッ
ク内の分散を計算し、計算される分散値に基づいて、オ
ブジェクトの動きを捉えるために好適なブロックサイズ
のブロックを切り出すようにしたものである。これに対
して、ブロック内の画素値のＤＲ（ダイナミックレン
ジ）を計算し、計算されるＤＲの値に基づいて、オブジ
ェクトの動きを捉えるために好適となるように切り出す
べきブロックの回転角を設定するようにした、この発明
の他の実施形態について以下に説明する。この発明の他
の実施形態の全体的な構成はこの発明の一実施形態と同
様であるが、この発明の他の実施形態では、ブロック切
り出し部１２として、図８に示すような構成を用いる。In one embodiment of the present invention described above, the variance in a block is calculated, and a block having a block size suitable for capturing the motion of an object is cut out based on the calculated variance value. is there. On the other hand, the DR (dynamic range) of the pixel value in the block is calculated, and the rotation angle of the block to be cut out is set based on the calculated DR value so as to be suitable for capturing the motion of the object. Hereinafter, another embodiment of the present invention will be described. The overall configuration of another embodiment of the present invention is the same as that of the embodiment of the present invention. However, in another embodiment of the present invention, the configuration shown in FIG.
【００２６】すなわち、ブロック切り出し部１２内に
は、切り出し処理回路１３１、ブロック内分散計算回路
１３２、比較回路１３３、およびカウンター１３４が設
けられる。切り出し処理回路１３１は、カウンター１３
４から供給される値に関連してブロックの形状を回転さ
せて切り出しを行い、切り出したブロックをブロック内
ＤＲ計算回路１３２に供給する。また、切り出し処理回
路１３１は、比較回路１３３から後述するような出力指
令信号を受け取った場合には、切り出したブロックをブ
ロック切り出し部１２の最終的な出力として評価値テー
ブル作成部１３に供給する。That is, in the block cutout section 12, a cutout processing circuit 131, an intra-block variance calculation circuit 132, a comparison circuit 133, and a counter 134 are provided. The cutout processing circuit 131 includes a counter 13
The shape of the block is rotated in relation to the value supplied from 4 to cut out the block, and the cut out block is supplied to the intra-block DR calculation circuit 132. When the cutout processing circuit 131 receives an output command signal described later from the comparison circuit 133, it supplies the cutout block to the evaluation value table creation unit 13 as a final output of the block cutout unit 12.
【００２７】ブロック内ＤＲ計算回路１３２は、切り出
し処理回路１３１が切り出したブロックについてブロッ
ク内ＤＲを計算する。具体的には、供給されるブロック
内の画素値を順次スキャンすることによってブロック内
の画素値の最大値ｍａｘ、およびブロック内の画素値の
最小値ｍｉｎを検出し、ｍａｘ、ｍｉｎの値に基づいて
以下の式（３）に従ってＤＲの値を算出することができ
る。このようにして算出されるＤＲの値が比較回路１３
３に供給される。The intra-block DR calculation circuit 132 calculates the intra-block DR for the block extracted by the extraction processing circuit 131. Specifically, the maximum value max of the pixel values in the block and the minimum value min of the pixel values in the block are detected by sequentially scanning the pixel values in the supplied block, and based on the values of max and min. Thus, the value of DR can be calculated according to the following equation (3). The value of DR calculated in this way is compared with the comparison circuit 13
3 is supplied.
【００２８】ＤＲ＝ｍａｘ−ｍｉｎ （３）比較
回路１３３は、供給されるＤＲの値を所定のしきい値と
比較し、かかるＤＲの値分散値がしきい値以下の場合に
は、所定のカウントアップ信号をカウンター１３４に供
給する。また、かかるＤＲの値がしきい値より大きい場
合には、比較回路１３３が所定の出力指令信号を切り出
し処理回路１３１に供給すると共に、所定のリセット信
号をカウンター１３４に供給する。カウンター１３４
は、カウントアップ信号およびリセット信号に基づい
て、上述したこの発明の一実施形態と同様に動作する。DR = max−min (3) The comparison circuit 133 compares the supplied DR value with a predetermined threshold value, and when the DR variance value is equal to or smaller than the threshold value, the predetermined value. The count-up signal is supplied to the counter 134. When the value of DR is larger than the threshold value, the comparison circuit 133 supplies a predetermined output command signal to the cutout processing circuit 131 and supplies a predetermined reset signal to the counter 134. Counter 134
Operates similarly to the above-described embodiment of the present invention based on the count-up signal and the reset signal.
【００２９】以上のような構成によってなされる処理に
ついて、図９のフローチャートを参照して説明する。ス
テップＳ１０１として、入力画像信号からその時点で設
定されている回転角のブロックを切り出す。ステップＳ
２として、ステップＳ１によって切り出したブロックに
ついて上述した式（３）等に従ってブロック内ＤＲを計
算する。ステップＳ３として、ステップＳ２によって計
算されたブロック内ＤＲ値が所定のしきい値より大きい
か否かを判定する。The processing performed by the above configuration will be described with reference to the flowchart of FIG. In step S101, a block having a rotation angle set at that time is cut out from the input image signal. Step S
As 2, the intra-block DR is calculated for the block cut out in step S1 according to the above-described equation (3) and the like. In step S3, it is determined whether or not the intra-block DR value calculated in step S2 is larger than a predetermined threshold.
【００３０】ブロック内ＤＲ値が所定のしきい値より大
きいと判定される場合には、その時のブロックをブロッ
ク切り出し処理の最終的な結果として出力し、また、カ
ウント値を初期化する（ステップＳ１０４）。一方、ブ
ロック内分散値が所定のしきい値より大きいと判定され
る場合以外の場合には、ステップＳ１０５に移行してカ
ウントアップを行う。そして、ステップＳ１０１に移行
し、新たなカウント値に関連して設定される回転角の下
でブロックを切り出す。If it is determined that the DR value in the block is larger than the predetermined threshold value, the block at that time is output as the final result of the block cutout processing, and the count value is initialized (step S104). ). On the other hand, when it is determined that the variance value in the block is not larger than the predetermined threshold value, the process proceeds to step S105 and counts up. Then, the process proceeds to step S101, and blocks are cut out under the rotation angle set in relation to the new count value.
【００３１】以上のようにしてフレームｔから切り出さ
れるブロックに基づく評価値テーブルの作成、最小評価
値の探索、動きベクトルの推定等は、上述したこの発明
の一実施形態と略同様に行われる。但し、フレームｔ＋
１から切り出されるブロックは、ブロック切り出し部１
２がフレームｔから切り出すブロックと同一の形状、回
転角等の条件を有するものとされる。The creation of the evaluation value table based on the blocks cut out from the frame t as described above, the search for the minimum evaluation value, the estimation of the motion vector, and the like are performed in substantially the same manner as in the above-described embodiment of the present invention. However, the frame t +
1 is a block cutout unit 1
2 has the same shape, rotation angle, and other conditions as the blocks cut out from the frame t.
【００３２】上述したような処理によって切り出される
ブロックの回転角とカウント値との関係について、図１
０を参照して概念的に説明する。ここでは正方形のブロ
ックを例とした。初期のブロック１７０0 に対し、カウ
ント値が１、２と大きくなるに従って、１７０ 1，１７
０2 のようにブロックの回転角が大きくなされる。そし
て、ブロック内にオブジェクト１８０のエッジ或いはテ
クスチャを含むことができた時に、ブロック内の分散が
しきい値を越える。図７中ではブロック１７０2 がオブ
ジェクト１８０のエッジの一部を含んでおり、このた
め、ブロック１７０2 内の分散がしきい値を越えること
になる。従って、ここでは、カウント値が２の時のブロ
ック１７０2 がブロック切り出し部１２による切り出し
の結果として出力されることになる。FIG. 1 shows the relationship between the rotation angle of the block cut out by the processing described above and the count value.
This will be described conceptually with reference to FIG. Here, a square block is taken as an example. Of the initial block 170 0, according to the count value becomes large as 1, 170 1, 17
Rotation angle of the block is made large as the 0 2. Then, when the edge or texture of the object 180 can be included in the block, the variance in the block exceeds the threshold. In Figure 7 is a block 170 2 includes a part of an edge of the object 180, Therefore, the dispersion of the block 170 in 2 would exceed the threshold. Thus, here, so that the count value block 170 2 when the 2 is output as a result of the clipping by the block cutout unit 12.
【００３３】上述したように、ブロック切り出し部１２
がフレームｔからオブジェクトの動きを捉えるために好
適な回転角のブロックを切り出し、また、フレームｔ＋
１から切り出されるブロックがフレームｔから切り出さ
れるブロックと同一の回転角、形状等の条件を有するも
のとされるので、動き検出をより適切に行うことができ
る。As described above, the block cutting section 12
Cuts out a block having a rotation angle suitable for capturing the movement of the object from the frame t, and
Since the block cut out from 1 has the same conditions such as the rotation angle and the shape as the block cut out from the frame t, the motion detection can be performed more appropriately.
【００３４】上述したこの発明の一実施形態およびこの
発明の他の実施形態は、それぞれ、ブロック内の分散お
よびＤＲに基づいてオブジェクトの動きを捉えるために
好適なブロックサイズおよびブロックの回転角を設定す
るようにしたものであるが、ブロックを切り出す際の条
件と、当該条件を設定する方法との組合わせはこれらに
限定されるものではない。例えば、ブロック内の分散お
よびＤＲの内の一方または両方に基づいて、ブロックサ
イズおよびブロックの回転角の内の一方または両方を設
定することが可能である。すなわち、ブロック内の分散
に基づいてブロックの回転角を設定するようにする、或
いは、ブロック内のＤＲに基づいてブロックサイズを設
定する等が可能である。In one embodiment of the present invention and another embodiment of the present invention, a block size and a block rotation angle suitable for capturing the motion of an object are set based on the variance and DR in the block, respectively. However, a combination of a condition for cutting out a block and a method for setting the condition is not limited to these. For example, it is possible to set one or both of the block size and the rotation angle of the block based on one or both of the variance and DR within the block. That is, it is possible to set the rotation angle of the block based on the variance in the block, or to set the block size based on the DR in the block.
【００３５】また、ブロックを切り出す際の条件とし
て、ブロックサイズおよびブロックの回転角以外に例え
ばブロックの形状を使用することもできる。すなわち、
ブロック内の分散およびＤＲの内の一方または両方に基
づいてブロックの形状を変形させ、ブロックの形状をオ
ブジェクトの動きを捉えるために好適なものとすること
も可能である。As a condition for cutting out a block, for example, the shape of the block can be used in addition to the block size and the rotation angle of the block. That is,
The shape of the block may be modified based on one or both of the variance and DR within the block, making the shape of the block suitable for capturing the motion of the object.
【００３６】また、上述したこの発明の一実施形態およ
びこの発明の他の実施形態は、時間的に連続する２個の
フレームから適切なブロックサイズ、ブロックの回転角
等の切り出し条件の下で切り出したブロックを用いてブ
ロックマッチング法を行うものであるが、ブロックマッ
チング法を行うために切り出されるブロックを、時間的
に連続する２個のフレーム以外のフレームから切り出す
ようにしても良い。In the above-described embodiment of the present invention and another embodiment of the present invention, clipping is performed from two temporally consecutive frames under a clipping condition such as an appropriate block size and a block rotation angle. Although the block matching method is performed using the blocks that have been selected, the blocks cut out for performing the block matching method may be cut out from frames other than two temporally continuous frames.
【００３７】[0037]
【発明の効果】この発明によれば、入力画像信号から切
り出される領域の内で、当該領域内の各画素値に基づく
所定の演算の結果が所定の条件を満たすように設定され
たサイズ、形状、回転角等の条件の下で切り出されたブ
ロックが切り出し領域として出力される。これにより、
動きベクトルの推定に係るオブジェクトの動きを捉える
ために適切なサイズ、形状、回転角等を有するブロッ
ク、例えば動きベクトルの推定に係るオブジェクトのエ
ッジ、テクスチャ等を含むようなサイズ、形状、回転角
等を有するブロックを使用して動きベクトルを推定する
ためのブロックマッチング法等の計算処理が行われる。According to the present invention, the size and the shape of the region cut out from the input image signal are set so that the result of the predetermined operation based on each pixel value in the region satisfies the predetermined condition. , A block cut out under conditions such as a rotation angle is output as a cut-out area. This allows
A block having an appropriate size, shape, rotation angle, or the like for capturing the motion of the object related to the estimation of the motion vector, such as a size, shape, rotation angle, or the like including the edge, texture, or the like of the object related to the estimation of the motion vector. Calculation processing such as a block matching method for estimating a motion vector is performed using a block having.
【００３８】従って、オブジェクトの大きさ、形状等に
依存しない、高精度の動きベクトル推定を実現すること
ができる。Therefore, it is possible to realize a highly accurate motion vector estimation independent of the size and shape of the object.
【００３９】また、特に入力画像信号から切り出される
領域内の各画素値に基づく演算結果が所定の条件を満た
す迄、切り出すべき領域のサイズを段階的に拡大するよ
うにした場合には、動きベクトルの推定に係るオブジェ
クトのエッジ、テクスチャ等を含むために必要な最小範
囲またはそれに最も近いサイズのブロックを使用して動
きベクトルを推定するための計算処理が行われる。この
ため、動きベクトルを推定するための計算処理を効率良
く行うことができる。In particular, when the size of the region to be cut out is gradually increased until the calculation result based on each pixel value in the region cut out from the input image signal satisfies a predetermined condition, the motion vector A calculation process for estimating a motion vector is performed using a block of a minimum range necessary to include an edge, a texture, and the like of an object related to the estimation of the motion vector or a block having a size closest to the minimum range. Therefore, calculation processing for estimating a motion vector can be performed efficiently.
【図１】この発明の一実施形態の全体的な構成の一例を
示すブロック図である。FIG. 1 is a block diagram showing an example of the overall configuration of an embodiment of the present invention.
【図２】この発明の一実施形態の一部の構成の一例を示
すブロック図である。FIG. 2 is a block diagram illustrating an example of a partial configuration of an embodiment of the present invention.
【図３】ブロック内での分散の計算について説明するた
めの略線図である。FIG. 3 is a schematic diagram for explaining calculation of variance in a block.
【図４】この発明の一実施形態における処理の一部につ
いて説明するためのフローチャートである。FIG. 4 is a flowchart illustrating a part of a process according to an embodiment of the present invention.
【図５】この発明の一実施形態において順次切り出され
るブロックの大きさとオブジェクトの大きさについて説
明するための略線図である。FIG. 5 is a schematic diagram illustrating a size of a block and a size of an object sequentially cut out according to the embodiment of the present invention;
【図６】評価値テーブルの作成と、評価値テーブルに基
づいて動きベクトルを推定する処理について説明するた
めの略線図である。FIG. 6 is a schematic diagram illustrating a process of creating an evaluation value table and estimating a motion vector based on the evaluation value table.
【図７】ブロック間の差分絶対値和の計算について説明
するための略線図である。FIG. 7 is a schematic diagram for explaining calculation of a sum of absolute differences between blocks.
【図８】この発明の他の実施形態の一部の構成の一例を
示すブロック図である。FIG. 8 is a block diagram illustrating an example of a partial configuration of another embodiment of the present invention.
【図９】この発明の他の実施形態における処理の一部に
ついて説明するためのフローチャートである。FIG. 9 is a flowchart illustrating a part of a process according to another embodiment of the present invention.
【図１０】この発明の他の実施形態におけるブロックの
回転角とオブジェクトとの位置関係について説明するた
めの略線図である。FIG. 10 is a schematic diagram illustrating a positional relationship between a rotation angle of a block and an object according to another embodiment of the present invention.
【図１１】従来の動き検出における問題点について説明
するための略線図である。FIG. 11 is a schematic diagram for explaining a problem in the conventional motion detection.
１２・・・ブロック切り出し部、１２１・・・切り出し
処理回路、１２２・・・ブロック内分散計算回路、１２
３・・・比較回路、１２４・・・カウンター、１３２・
・・ブロック内計算回路、１３３・・・比較回路、１３
４・・・カウンター12: block extraction unit, 121: extraction processing circuit, 122: intra-block variance calculation circuit, 12
3 ··· Comparison circuit, 124 ·· Counter, 132 ·
..In-block calculation circuit, 133... Comparison circuit, 13
4 ... Counter
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中屋 秀雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK19 LC03 NN03 NN08 NN28 NN31 TA12 TA63 TB08 TC02 TD02 TD04 TD12 UA34 UA38 5L096 DA02 EA35 FA33 FA39 FA62 FA69 GA08 GA19 GA51 GA53 HA04 9A001 BB06 GG03 HH23 HH24 HH28 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Hideo Nakaya 6-35 Kita Shinagawa, Shinagawa-ku, Tokyo F-term in Sony Corporation (reference) 5C059 KK19 LC03 NN03 NN08 NN28 NN31 TA12 TA63 TB08 TC02 TD02 TD04 TD12 UA34 UA38 5L096 DA02 EA35 FA33 FA39 FA62 FA69 GA08 GA19 GA51 GA53 HA04 9A001 BB06 GG03 HH23 HH24 HH28
Claims (17)
る動きベクトル推定装置において、 入力画像信号中の第１のフレームから領域を切り出し、
切り出した上記領域内の画素値に基づく所定の演算の結
果が所定の条件を満たす場合に上記領域を第１の領域と
して出力する領域切り出し手段と、 上記入力画像信号中の第２のフレームにおける探索範囲
内の各画素を中心とする第２の領域を、上記第２のフレ
ームから上記第１の領域を切り出す際の切り出し条件と
同一の切り出し条件の下で順次切り出し、切り出した上
記第２の領域の各々と上記第１の領域との間で差分絶対
値の和を順次計算し、計算した上記差分絶対値の和を上
記探索範囲内の各画素に対応するように保持してなる評
価値テーブルを作成する手段と、 上記評価値テーブルから最小値を検索する手段と、 上記評価値テーブル上で上記最小値をとる位置と、上記
第１の領域の中心画素の位置とのずれ量を算出し、算出
した上記ずれ量を動きベクトルとして出力する手段とを
有することを特徴とする動きベクトル推定装置。1. A motion vector estimating apparatus for estimating a motion vector from an input image signal, wherein an area is cut out from a first frame in the input image signal.
An area cutout unit that outputs the area as a first area when a result of a predetermined operation based on a pixel value in the cutout area satisfies a predetermined condition; and a search in a second frame in the input image signal. A second area centered on each pixel within the range is sequentially cut out under the same cut-out condition as the cut-out condition for cutting out the first area from the second frame, and the cut-out second area Evaluation value table which sequentially calculates the sum of absolute difference values between each of the first area and the first area, and holds the calculated sum of absolute difference values so as to correspond to each pixel within the search range. Means for searching for a minimum value from the evaluation value table; calculating a shift amount between a position at which the minimum value is obtained on the evaluation value table and a position of a center pixel of the first area. , Calculated Motion vector estimation device characterized by having a means for outputting as a motion vector displacement amount.
置。2. The motion vector estimating device according to claim 1, wherein the first frame is a current frame.
特徴とする動きベクトル推定装置。3. The motion vector estimating apparatus according to claim 1, wherein the area extracting means calculates a variance of pixel values in the extracted area.
に応じて切り出すべき領域のサイズを段階的に拡大する
ように制御されることを特徴とする動きベクトル推定装
置。4. The method according to claim 1, wherein the area cutout means is configured to calculate a variance of pixel values in the cutout area, and to increase a size of the area to be cutout in a stepwise manner according to the calculated value. A motion vector estimating device.
が所定のしきい値より小さい場合には切り出すべき領域
のサイズを拡大して再度領域の切り出しを行い、計算値
が所定のしきい値以上となる場合にはその時点で切り出
されている領域を上記第１の領域として出力することを
特徴とする動きベクトル推定装置。5. The method according to claim 1, wherein the area cutout means calculates a variance of pixel values in the cutout area, and expands the size of the area to be cutout if the calculated value is smaller than a predetermined threshold. A motion vector estimating device for extracting the region again and outputting the region cut out at that time as the first region when the calculated value is equal to or more than a predetermined threshold value.
に応じて切り出すべき領域の形状を変形するように制御
されることを特徴とする動きベクトル推定装置。6. The method according to claim 1, wherein the area cutout means is configured to calculate a variance of pixel values in the cutout area, and to control a shape of the area to be cutout according to the calculated value. A motion vector estimating apparatus characterized by the following.
が所定のしきい値より小さい場合には切り出すべき領域
の形状を変形させて再度領域の切り出しを行い、計算値
が所定のしきい値以上となる場合にはその時点で切り出
されている領域を上記第１の領域として出力することを
特徴とする動きベクトル推定装置。7. The area extracting means according to claim 1, wherein the area extracting means calculates a variance of pixel values in the extracted area, and when the calculated value is smaller than a predetermined threshold, deforms the shape of the area to be extracted. The motion vector estimating apparatus is characterized in that the region is cut out again, and when the calculated value is equal to or larger than a predetermined threshold value, the region cut out at that time is output as the first region.
に応じて切り出すべき領域の回転角を変化させるように
制御されることを特徴とする動きベクトル推定装置。8. The method according to claim 1, wherein the area cutout means is configured to calculate a variance of pixel values in the cutout area, and change a rotation angle of the area to be cutout according to the calculated value. A motion vector estimating device characterized by the following.
が所定のしきい値より小さい場合には切り出すべき領域
の回転角を変化させて再度領域の切り出しを行い、計算
値が所定のしきい値以上となる場合にはその時点で切り
出されている領域を上記第１の領域として出力すること
を特徴とする動きベクトル推定装置。9. The method according to claim 1, wherein the area cutout means calculates a variance of pixel values in the cutout area, and when the calculated value is smaller than a predetermined threshold value, calculates a rotation angle of the area to be cut out. A motion vector estimating apparatus characterized in that a region is cut out again after being changed, and when the calculated value is equal to or greater than a predetermined threshold value, the region cut out at that time is output as the first region. .
計算することを特徴とする動きベクトル推定装置。10. The motion vector estimating device according to claim 1, wherein the region clipping means calculates a dynamic range of pixel values in the clipped region.
計算し、計算値に応じて切り出すべき領域のサイズを段
階的に拡大するように制御されることを特徴とする動き
ベクトル推定装置。11. The method according to claim 1, wherein the area cutout means calculates a dynamic range of pixel values in the cutout area, and controls the size of the area to be cutout in a stepwise manner according to the calculated value. A motion vector estimating apparatus characterized by being performed.
計算し、計算値が所定のしきい値より小さい場合には切
り出すべき領域のサイズを拡大して再度領域の切り出し
を行い、計算値が所定のしきい値以上となる場合にはそ
の時点で切り出されている領域を上記第１の領域として
出力することを特徴とする動きベクトル推定装置。12. The area extracting device according to claim 1, wherein the area extracting means calculates a dynamic range of a pixel value in the extracted area, and when the calculated value is smaller than a predetermined threshold, determines a size of the area to be extracted. A motion vector estimating apparatus characterized in that an area is enlarged and cut out again, and when the calculated value is equal to or more than a predetermined threshold value, the area cut out at that time is output as the first area. .
計算し、計算値に応じて切り出すべき領域の形状を変形
するように制御されることを特徴とする動きベクトル推
定装置。13. The method according to claim 1, wherein the area cutout means is configured to calculate a dynamic range of pixel values in the cutout area, and to change a shape of the area to be cutout according to the calculated value. A motion vector estimating device characterized by the following.
計算し、計算値が所定のしきい値より小さい場合には切
り出すべき領域の形状を変形させて再度領域の切り出し
を行い、計算値が所定のしきい値以上となる場合にはそ
の時点で切り出されている領域を上記第１の領域として
出力することを特徴とする動きベクトル推定装置。14. The method according to claim 1, wherein the area cutout means calculates a dynamic range of a pixel value in the cutout area, and when the calculated value is smaller than a predetermined threshold value, determines a shape of the area to be cut out. A motion vector estimating apparatus characterized in that the region is cut out again after being deformed, and when the calculated value is equal to or larger than a predetermined threshold value, the region cut out at that time is output as the first region. .
計算し、計算値に応じて切り出すべき領域の回転角を変
化させるように制御されることを特徴とする動きベクト
ル推定装置。15. The method according to claim 1, wherein the area cutout means is configured to calculate a dynamic range of a pixel value in the cutout area and change a rotation angle of the area to be cutout according to the calculated value. A motion vector estimating device, characterized in that:
計算し、計算値が所定のしきい値より小さい場合には切
り出すべき領域の回転角を変化させて再度領域の切り出
しを行い、計算値が所定のしきい値以上となる場合には
その時点で切り出されている領域を上記第１の領域とし
て出力することを特徴とする動きベクトル推定装置。16. The method according to claim 1, wherein the region clipping means calculates a dynamic range of pixel values in the clipped region, and when the calculated value is smaller than a predetermined threshold, a rotation angle of the region to be clipped. Is changed again, and the region is cut out again. If the calculated value is equal to or more than a predetermined threshold value, the region cut out at that time is output as the first region. apparatus.
する動きベクトル推定方法において、 入力画像信号中の第１のフレームから領域を切り出し、
切り出した上記領域内の画素値に基づく所定の演算の結
果が所定の条件を満たす場合に上記領域を第１の領域と
して出力する領域切り出しステップと、 上記入力画像信号中の第２のフレームにおける探索範囲
内の各画素を中心とする第２の領域を、上記第２のフレ
ームから上記第１の領域を切り出す際の切り出し条件と
同一の切り出し条件の下で順次切り出し、切り出した上
記第２の領域の各々と上記第１の領域との間で差分絶対
値の和を順次計算し、計算した上記差分絶対値の和を上
記探索範囲内の各画素に対応するように保持してなる評
価値テーブルを作成するステップと、 上記評価値テーブルから最小値を検索するステップと、 上記評価値テーブル上で上記最小値をとる位置と、上記
第１の領域の中心画素の位置とのずれ量を算出し、算出
した上記ずれ量を動きベクトルとして出力するステップ
とを有することを特徴とする動きベクトル推定方法。17. A motion vector estimating method for estimating a motion vector from an input image signal, comprising: extracting an area from a first frame in the input image signal;
An area extracting step of outputting the area as a first area when a result of a predetermined operation based on a pixel value in the extracted area satisfies a predetermined condition; and searching for a second frame in the input image signal A second area centered on each pixel within the range is sequentially cut out under the same cut-out condition as the cut-out condition for cutting out the first area from the second frame, and the cut-out second area Evaluation value table which sequentially calculates the sum of absolute difference values between each of the first area and the first area, and holds the calculated sum of absolute difference values so as to correspond to each pixel within the search range. A step of searching for a minimum value from the evaluation value table; and calculating a shift amount between a position at which the minimum value is obtained on the evaluation value table and a position of a center pixel of the first area. Motion vector estimation method characterized by a step of outputting the calculated the deviation amount motion as a vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36723398A JP4161441B2 (en) | 1998-12-24 | 1998-12-24 | Motion vector estimation apparatus and motion vector estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36723398A JP4161441B2 (en) | 1998-12-24 | 1998-12-24 | Motion vector estimation apparatus and motion vector estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000197061A true JP2000197061A (en) | 2000-07-14 |
| JP4161441B2 JP4161441B2 (en) | 2008-10-08 |
Family
ID=18488809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36723398A Expired - Fee Related JP4161441B2 (en) | 1998-12-24 | 1998-12-24 | Motion vector estimation apparatus and motion vector estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4161441B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012450A1 (en) * | 2002-07-30 | 2004-02-05 | Sony Corporation | Storage device, signal processor, and image signal processor, and their methods |
| WO2004012451A1 (en) * | 2002-07-30 | 2004-02-05 | Sony Corporation | Storage device, signal processor, image signal processor, and their methods |
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| CN100466746C (en) * | 2005-07-21 | 2009-03-04 | 海信集团有限公司 | Method for information selecting and dividing based on micro block inner edge |
| JP2010102384A (en) * | 2008-10-21 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | Partial image association device, partial image association method, and partial image association program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101423586B (en) * | 2007-11-01 | 2011-09-07 | 中国石油天然气股份有限公司 | Method for producing high conversion rate butadiene-acrylonitrile copolymer rubber |
-
1998
- 1998-12-24 JP JP36723398A patent/JP4161441B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012450A1 (en) * | 2002-07-30 | 2004-02-05 | Sony Corporation | Storage device, signal processor, and image signal processor, and their methods |
| WO2004012451A1 (en) * | 2002-07-30 | 2004-02-05 | Sony Corporation | Storage device, signal processor, image signal processor, and their methods |
| CN1326394C (en) * | 2002-07-30 | 2007-07-11 | 索尼株式会社 | Memory device, signal processing apparatus, image signal processing apparatus and methods of the same |
| US7634111B2 (en) | 2002-07-30 | 2009-12-15 | Sony Corporation | Storage device, signal processor, image signal processor, and their methods |
| US7800624B2 (en) | 2002-07-30 | 2010-09-21 | Sony Corporation | Memory device signal processing apparatus image signal processing apparatus and methods of the same |
| CN100466746C (en) * | 2005-07-21 | 2009-03-04 | 海信集团有限公司 | Method for information selecting and dividing based on micro block inner edge |
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2010102384A (en) * | 2008-10-21 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | Partial image association device, partial image association method, and partial image association program |
| JP4688920B2 (en) * | 2008-10-21 | 2011-05-25 | 日本電信電話株式会社 | Partial image association apparatus, partial image association method, and partial image association program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4161441B2 (en) | 2008-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3576987B2 (en) | Image template matching method and image processing apparatus | |
| US20120321134A1 (en) | Face tracking method and device | |
| EP1640937A1 (en) | Collision time estimation apparatus, method and alarm for vehicles | |
| KR20050066400A (en) | Apparatus and method for the 3d object tracking using multi-view and depth cameras | |
| JP2003098424A (en) | Range finder based on image processing | |
| CN109543534B (en) | Method and device for re-detecting lost target in target tracking | |
| JP2000197061A (en) | Motion vector estimate method and motion vector estimate device | |
| JPH1185993A (en) | Area detecting device | |
| JP3988574B2 (en) | Image processing device | |
| JPH0991436A (en) | Image processing method and device therefor | |
| JPH089379A (en) | Motion vector detection method | |
| JP3321936B2 (en) | Moving object detection device | |
| JPH08329110A (en) | Method for processing picture | |
| CN115588018A (en) | Image processing method and device, electronic equipment and storage medium | |
| JP4245695B2 (en) | Image motion vector detection method and apparatus | |
| JP3230509B2 (en) | Moving image processing device | |
| JP3794199B2 (en) | Image matching method | |
| JPH11120351A (en) | Image matching device and storage medium to store image matching program | |
| US8300926B2 (en) | Image processing apparatus and image processing method | |
| JPH05250475A (en) | Pattern matching method | |
| JPH096947A (en) | Object tracking device | |
| JP3047952B2 (en) | Image processing device | |
| JP3050283B2 (en) | Moving object recognition device | |
| JP2000348175A (en) | Method and device for corresponding point detection | |
| JP2006107314A (en) | Image processor and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |