JP2005202921A - Motion vector detector - Google Patents
Motion vector detector Download PDFInfo
- Publication number
- JP2005202921A JP2005202921A JP2004266177A JP2004266177A JP2005202921A JP 2005202921 A JP2005202921 A JP 2005202921A JP 2004266177 A JP2004266177 A JP 2004266177A JP 2004266177 A JP2004266177 A JP 2004266177A JP 2005202921 A JP2005202921 A JP 2005202921A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector
- motion
- block matching
- matching method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、動きベクトル検出装置に関し、特に初期偏位ベクトルを用いた勾配法等による動きベクトルの検出に適用することができる。本発明は、所定の判定基準値を基準にしたフィールド間差分、動きベクトルの判定により、動きが急変した場合であって、既検出による初期偏位ベクトルではフィールド間差分値が大きな場合に、ブロックマッチング法による動きベクトルを初期偏位ベクトルに設定することにより、ブロックマッチング法により検出した動きベクトルを初期偏位ベクトルの候補に加えて勾配法により動きベクトルを検出する場合に、従来に比して一段と動きベクトルの誤検出を低減することができるようにする。 The present invention relates to a motion vector detection apparatus, and in particular, can be applied to detection of a motion vector by a gradient method using an initial deviation vector. The present invention relates to a case where the motion is suddenly changed by the determination of the inter-field difference and the motion vector based on a predetermined determination reference value, and the block value when the inter-field difference value is large in the detected initial deviation vector. By setting the motion vector by the matching method to the initial deviation vector, the motion vector detected by the block matching method is added to the initial deviation vector candidate and the motion vector is detected by the gradient method compared to the conventional method. It is possible to further reduce detection errors of motion vectors.
従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。 Conventionally, in high-efficiency encoding processing of video signals, motion vectors are used to improve the efficiency of inter-frame encoding processing. In television signal format conversion, motion using motion vectors is used. By the correction, the jerky movement due to the conversion of the number of fields is corrected to a smooth movement.
このような動きベクトルの検出は、ビデオ信号をm画素×nライン(m、nは整数)による動きベクトルの検出単位(すなわちマクロブロックである)にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭55−162683号公報、特開昭55−162684号公報に開示のパターンマッチング法、特開昭60−158786号公報に開示の勾配法、位相相関法等が用いられるようになされている。 In such motion vector detection, a video signal is blocked into motion vector detection units (that is, macro blocks) of m pixels × n lines (m and n are integers), and a motion vector is detected for each block. For example, there are a pattern matching method disclosed in Japanese Patent Laid-Open Nos. 55-162683 and 55-162684, a gradient method disclosed in Japanese Patent Laid-Open No. 60-158786, a phase correlation method, and the like. It is made to be used.
このような動きベクトル検出手法のうち勾配法においては、例えば特開昭62−206980号公報に、初期偏位ベクトルを用いて動きベクトルを検出する方法が提案されるようになされている。ここでこの初期偏位ベクトルは、動きベクトルの予測値であり、例えば周囲の動きベクトル検出ブロックで既に検出された動きベクトル等より検出される。この初期偏位ベクトルを用いた動きベクトル検出方法においては、特開平4−78286号公報に、この初期偏位ベクトルを基準にして偏位ベクトルを検出した後、この初期偏位ベクトルと偏位ベクトルとの加算により動きベクトルを検出することにより、簡易な構成で動きベクトルを検出する方法が開示されるようになされている。この検出方法によれば、動きベクトル=初期偏位ベクトル+偏位ベクトルにより動きベクトルを検出することができ、例えばカメラパンのような動きが一様な場合には、偏位ベクトルは「0」となり、初期偏位ベクトルのみが値を持つようになる。 Among such motion vector detection methods, for the gradient method, for example, Japanese Patent Application Laid-Open No. 62-206980 proposes a method for detecting a motion vector using an initial deviation vector. Here, the initial deviation vector is a predicted value of a motion vector, and is detected from, for example, a motion vector already detected in a surrounding motion vector detection block. In this motion vector detection method using an initial displacement vector, Japanese Patent Laid-Open No. 4-78286 discloses a method of detecting a displacement vector with reference to the initial displacement vector, and then the initial displacement vector and the displacement vector. A method for detecting a motion vector with a simple configuration by detecting a motion vector by addition to the above is disclosed. According to this detection method, a motion vector can be detected by motion vector = initial displacement vector + deviation vector. For example, when the motion is uniform such as camera pan, the displacement vector is “0”. Thus, only the initial deviation vector has a value.
しかしながら、勾配法により動きベクトルを検出する方法は、画像勾配とフレーム間差分値とを用いた演算式で動きベクトルを検出する方法であり、検出精度が高い一方、数画素分の検出精度しかなく、動き量が急変した場合においては検出精度が劣化し、真の動き量に追従するまで数フィールドの時間が必要となる問題があった。 However, the method of detecting a motion vector by the gradient method is a method of detecting a motion vector by an arithmetic expression using an image gradient and an inter-frame difference value, and has high detection accuracy but only detection accuracy for several pixels. When the amount of movement suddenly changes, the detection accuracy deteriorates, and there is a problem that it takes several fields to follow the true amount of movement.
この問題を解決する1つの方法として、特開平7−135663号公報に、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの選択対象に加えて処理する方法が開示されるようになされている。すなわちブロックマッチング法による動きベクトルの検出においては、単に動きベクトル検出範囲で検出されるフィールド間差分値、フレーム間差分値の大小判定により動きベクトル検出していることにより、時間軸方向に相関の無い動きについても検出することができ、これにより動きが急変した場合についても動きベクトルを検出することができる。これによりブロックマッチング法で検出した動きベクトルを初期偏位候補ベクトルに加えて勾配法により動きベクトル検出すれば、動きの急変にも対応して、高い精度で動きベクトルを検出することができると考えられる。 As one method for solving this problem, Japanese Patent Application Laid-Open No. 7-135663 discloses a method of processing a motion vector detected by a block matching method in addition to an initial deviation vector selection target. . In other words, in motion vector detection by the block matching method, there is no correlation in the time axis direction by simply detecting the motion vector by determining the magnitude of the inter-field difference value and inter-frame difference value detected in the motion vector detection range. The motion can also be detected, and thus the motion vector can be detected even when the motion changes suddenly. Thus, if the motion vector detected by the block matching method is added to the initial deviation candidate vector and the motion vector is detected by the gradient method, the motion vector can be detected with high accuracy in response to a sudden change in motion. It is done.
しかしながらこのように単にブロックマッチング法で検出した動きベクトルを初期偏位候補ベクトルに加えて勾配法により動きベクトル検出する場合にあっては、動きベクトルを誤検出する場合もある。すなわちブロックマッチング法による動きベクトルの検出においては、単に、各マクロブロックで、動きベクトル検出範囲で検出されるフィールド間差分値、フレーム間差分値の大小判定により動きベクトル検出していることにより、動きベクトルが誤って検出され、隣接するマクロブロックでランダムに動きベクトルが検出されるためである。 However, when the motion vector detected simply by the block matching method is added to the initial deviation candidate vector and the motion vector is detected by the gradient method, the motion vector may be erroneously detected. In other words, in motion vector detection by the block matching method, motion vectors are detected by simply determining the magnitude of the inter-field difference value and inter-frame difference value detected in the motion vector detection range in each macro block. This is because a vector is erroneously detected, and a motion vector is detected randomly in an adjacent macroblock.
このような動きベクトルの誤検出にあっては、動き量が小さいときに顕著となる傾向がある。しかしながらブロックマッチング法で検出した動きベクトルを初期偏位候補ベクトルに加えて勾配法により動きベクトル検出する場合、動き量が大きいときには、動きの急激な変化に対しても良好に動きベクトルを検出することができる。
本発明は以上の点を考慮してなされたもので、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトル検出する場合に、従来に比して動きベクトルの誤検出を低減することができる動きベクトル検出装置を提案しようとするものである。 The present invention has been made in consideration of the above points, and in addition to the motion vector detected by the block matching method in addition to the initial deviation vector candidate, for example, when motion vector detection is performed by the gradient method, the motion is compared with the prior art. It is an object of the present invention to propose a motion vector detection device that can reduce erroneous vector detection.
係る課題を解決するため請求項1の発明においては、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、既検出の動きベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備え、所定の条件を満足する場合が、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が判定基準値以下の場合であるようにする。 In order to solve such a problem, in the first aspect of the invention, an initial deviation vector is detected from the detected motion vector, and the deviation vector is detected using the initial deviation vector to correct the initial deviation vector. The motion vector detection means for detecting a motion vector of a video signal by a block matching method and outputting a motion vector by the block matching method, applied to a motion vector detection device for detecting a motion vector of a sequentially input video signal And a difference value calculation means for the block matching method for detecting an inter-frame difference value or an inter-field difference value for the block matching method by performing motion correction using a motion vector by the block matching method, and an initial bias from the detected motion vector. The calculation means for detecting the candidate of the position vector and the candidate of the initial deviation vector Difference value calculation means for the detected motion vector for detecting the inter-frame difference value or the inter-field difference value related to the detected motion vector after motion correction, and outputting the initial displacement vector candidate as the initial displacement vector And selecting means for selecting and outputting a motion vector based on the block matching method as an initial displacement vector instead of the initial displacement vector candidate when the predetermined condition is satisfied, and satisfying the predetermined condition Is when the inter-frame difference value or the inter-field difference value related to the detected motion vector is larger than a predetermined determination reference value, and the inter-frame difference value or the inter-field difference value related to the block matching method is equal to or less than the determination reference value. To be.
また請求項2の発明においては、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備え、所定の条件を満足する場合が、ブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ初期偏位候補ベクトルの大きさの最大値が第1の判定基準値より値の小さな第2の判定基準値以下の場合であるようにする。 In the second aspect of the invention, the initial deviation vector is detected from the detected motion vector, the deviation vector is detected using the initial deviation vector, and the initial deviation vector is corrected to be sequentially input. Motion vector detecting means for detecting a motion vector of a video signal, detecting a motion vector of the video signal by a block matching method, and outputting a motion vector by the block matching method; An initial deviation candidate vector is selected from the motion vector, an arithmetic means for detecting an initial deviation vector candidate from the selected initial deviation candidate vector, and an initial deviation vector candidate are output as an initial deviation vector, and predetermined If the above condition is satisfied, the initial motion vector by the block matching method is used instead of the initial deviation vector candidate. Selection means for selecting and outputting as a position vector, and when a predetermined condition is satisfied, the magnitude of the motion vector by the block matching method is not less than the first determination reference value and the initial displacement candidate vector The maximum value of the magnitude is less than or equal to the second determination reference value that is smaller than the first determination reference value.
また請求項3の発明においては、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備え、所定の条件を満足する場合が、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が判定基準値以下の場合であって、かつブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ初期偏位候補ベクトルの大きさの最大値が第1の判定基準値より値の小さな第2の判定基準値以下の場合であるようにする。
In the invention of
また請求項4の発明においては、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、既検出の動きベクトルから初期偏位ベクトルを検出して出力する選択出力手段と、ビデオ信号より動きの急変したマクロブロックを検出する検出手段とを備え、検出手段による検出結果に基づいて、動きの急変したマクロブロックで、選択出力手段における初期偏位ベクトルの選択対象に、ブロックマッチング法による動きベクトルを加える。 In the invention of claim 4, the initial displacement vector is detected from the detected motion vector, the displacement vector is detected using the initial displacement vector, and the initial displacement vector is corrected, so that the initial displacement vector is sequentially input. Motion vector detecting means for detecting a motion vector of a video signal, detecting a motion vector of the video signal by a block matching method, and outputting a motion vector by the block matching method; A selection output means for detecting and outputting an initial deviation vector from a motion vector, and a detection means for detecting a macroblock whose movement has changed suddenly from a video signal, and a macro whose movement has changed suddenly based on a detection result by the detection means The block matching method is used to select the initial deviation vector in the selection output means in the block. Add a vector.
また請求項5の発明においては、請求項4の構成において、検出手段は、初期偏位ベクトルの選択に係る既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前マクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定する。 According to a fifth aspect of the present invention, in the configuration of the fourth aspect, the detecting means includes an inter-field difference value obtained by correcting the motion of the immediately preceding field with a motion vector that has already been detected according to the selection of the initial displacement vector, and the immediately preceding field. If the difference value between the difference value between fields detected by the motion vector already detected in the macroblock is larger than a predetermined determination reference value, it is determined that the motion has suddenly changed.
また請求項6の発明においては、請求項4又は請求項5の構成において、検出手段は、初期偏位ベクトルの選択に係る既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前フィールドの対応するマクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定する。 According to a sixth aspect of the present invention, in the configuration of the fourth or fifth aspect, the detection means obtains the inter-field difference obtained by correcting the motion of the immediately preceding field with the detected motion vector related to the selection of the initial deviation vector. When the difference value between the value and the inter-field difference value detected by the motion vector already detected in the macroblock corresponding to the immediately preceding field is larger than a predetermined determination reference value, it is determined that the motion has suddenly changed.
また請求項7の発明においては、請求項4、請求項5又は請求項6の構成において、動きの急変したマクロブロックで、選択出力手段における初期偏位ベクトルの選択対象に、ブロックマッチング法による動きベクトルと共に、ブロックマッチング法による動きベクトルより生成される動きベクトルを加える。 According to a seventh aspect of the present invention, in the configuration of the fourth, fifth or sixth aspect, a macroblock having a sudden change in motion is subjected to a motion based on a block matching method as a selection target of an initial deviation vector in the selection output means. A motion vector generated from a motion vector by the block matching method is added together with the vector.
また請求項8の発明においては、請求項7の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、ブロックマッチング法による動きベクトルを2次元のローパスフィルタにより平滑化した動きベクトルであるようにする。
In the invention of
また請求項9の発明においては、請求項7又は請求項8の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、ブロックマッチング法による動きベクトルをローパスフィルタにより時間軸方向に平滑化した動きベクトルであるようにする。
In the invention of claim 9, in the structure of
また請求項10の発明においては、請求項7、請求項8又は請求項9の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、直前フィールドで多くを占める動きベクトルであるようにする。
In the invention of claim 10, in the structure of
請求項1の構成により、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、既検出の動きベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備えるようにすれば、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出することができる。またこの所定の条件を満足する場合が、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が判定基準値以下の場合であるようにすれば、ブロックマッチング法に係る動きベクトルの信頼性が高いと判断される場合に、ブロックマッチング法に係る動きベクトルを初期偏位ベクトルに適用し得、これによりブロックマッチング法により検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出する場合に、動きベクトルの誤検出を低減することができる。 According to the configuration of the first aspect, the initial deviation vector is detected from the detected motion vector, the deviation vector is detected using the initial deviation vector, and the initial deviation vector is corrected to sequentially input video. Motion vector detection means for detecting a motion vector of a video signal by a block matching method applied to a motion vector detection device for detecting a motion vector of a signal and outputting a motion vector by the block matching method, and motion by the block matching method Detecting initial deviation vector candidates from the difference value calculation means according to the block matching method for detecting the interframe difference value or the interfield difference value according to the block matching method by performing motion correction with the vector The motion is corrected by the calculation means and the initial deviation vector candidate, and the detected motion is detected. When the difference value calculation means for the detected motion vector for detecting the inter-frame difference value or the inter-field difference value related to the vector and the initial deviation vector candidate are output as the initial deviation vector and the predetermined condition is satisfied And selecting means for selecting and outputting a motion vector by the block matching method as an initial displacement vector instead of the initial displacement vector candidate, the motion vector detected by the block matching method can be used as an initial displacement. In addition to vector candidates, a motion vector can be detected by, for example, a gradient method. When this predetermined condition is satisfied, the inter-frame difference value or inter-field difference value related to the detected motion vector is larger than the predetermined determination reference value, and the inter-frame difference value or inter-field difference related to the block matching method is used. If the value is equal to or less than the criterion value, the motion vector according to the block matching method can be applied to the initial deviation vector when it is determined that the motion vector according to the block matching method is highly reliable. Thus, when a motion vector detected by the block matching method is added to the initial deviation vector candidate and, for example, a motion vector is detected by the gradient method, erroneous detection of the motion vector can be reduced.
また請求項2の構成により、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備えるようにすれば、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出することができる。またこの所定の条件を満足する場合が、ブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ初期偏位候補ベクトルの大きさの最大値が第1の判定基準値より値の小さな第2の判定基準値以下の場合であることにより、動きの急激な変化が発生した場合に、ブロックマッチング法に係る動きベクトルを初期偏位ベクトルに適用し得、これによりブロックマッチング法により検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出する場合に、動きベクトルの誤検出を低減することができる。 Further, according to the configuration of the second aspect, the initial deviation vector is detected from the detected motion vector, the deviation vector is detected using the initial deviation vector, and the initial deviation vector is corrected to be sequentially input. Motion vector detection means for detecting a motion vector of a video signal by a block matching method by applying to a motion vector detection device for detecting a motion vector of a video signal, and outputting a motion vector by the block matching method; An initial deviation candidate vector is selected from the vector, an arithmetic means for detecting an initial deviation vector candidate from the selected initial deviation candidate vector, and an initial deviation vector candidate are output as an initial deviation vector, If the condition is satisfied, the initial deviation of the motion vector by the block matching method is used instead of the initial deviation vector candidate. If so and selecting means for selecting and outputting a vector, it is possible to detect the motion vector by adding the motion vector detected by block matching method to the candidate of the initial vector for example the gradient method. When this predetermined condition is satisfied, the magnitude of the motion vector by the block matching method is equal to or greater than the first determination reference value, and the maximum value of the initial deviation candidate vector is the first determination reference value. The motion vector according to the block matching method can be applied to the initial deviation vector when a sudden change in motion occurs due to the case where the value is less than the second determination reference value with a smaller value, and thereby the block matching When the motion vector detected by the method is added to the initial deviation vector candidate and, for example, the motion vector is detected by the gradient method, the erroneous detection of the motion vector can be reduced.
また請求項3の構成により、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから初期偏位ベクトルの候補を検出する演算手段と、初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、初期偏位ベクトルの候補を初期偏位ベクトルとして出力し、所定の条件を満足する場合に、初期偏位ベクトルの候補に代えてブロックマッチング法による動きベクトルを初期偏位ベクトルとして選択して出力する選択手段とを備えるようにすれば、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出することができる。またこの所定の条件を満足する場合が、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が判定基準値以下の場合であって、かつブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ初期偏位候補ベクトルの大きさの最大値が第1の判定基準値より値の小さな第2の判定基準値以下の場合であるようにすれば、ブロックマッチング法に係る動きベクトルの信頼性が高いと判断される場合であって、かつ動きの急激な変化が発生した場合に、ブロックマッチング法に係る動きベクトルを初期偏位ベクトルに適用し得、これによりブロックマッチング法により検出した動きベクトルを初期偏位ベクトルの候補に加えて例えば勾配法により動きベクトルを検出する場合に、動きベクトルの誤検出を低減することができる。
According to the configuration of
また請求項4の構成により、既検出の動きベクトルから初期偏位ベクトルを検出し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、ブロックマッチング法によりビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、既検出の動きベクトルから初期偏位ベクトルを検出して出力する選択出力手段と、ビデオ信号より動きの急変したマクロブロックを検出する検出手段とを備え、検出手段による検出結果に基づいて、動きの急変したマクロブロックで、選択出力手段における初期偏位ベクトルの選択対象に、ブロックマッチング法による動きベクトルを加えるようにすれば、動きが急変して勾配法による既検出の動きベクトルを初期偏位ベクトルに適用したのでは、動きの急変に追従できない場合に、ブロックマッチング法による動きベクトルを初期偏位ベクトルに設定して動きベクトルを検出することができ、これにより従来に比して動きベクトルの誤検出を低減することができる。 According to the configuration of claim 4, the initial deviation vector is detected from the detected motion vector, the deviation vector is detected using the initial deviation vector, and the initial deviation vector is corrected to be sequentially input. Motion vector detection means for detecting a motion vector of a video signal by a block matching method by applying to a motion vector detection device for detecting a motion vector of a video signal, and outputting a motion vector by the block matching method; A selection output means for detecting and outputting an initial deviation vector from the vector; and a detection means for detecting a macroblock whose movement is suddenly changed from the video signal, and a macroblock whose movement is suddenly changed based on a detection result by the detection means. Thus, the motion vector based on the block matching method is selected as the initial deviation vector selection target in the selection output means. If the motion is suddenly changed and the motion vector already detected by the gradient method is applied to the initial deviation vector, the motion vector by the block matching method is changed to the initial bias when the sudden motion change cannot be followed. It is possible to detect a motion vector by setting the position vector, thereby reducing false detection of the motion vector as compared with the prior art.
また請求項5の構成により、請求項4の構成において、検出手段は、初期偏位ベクトルの選択に係る既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前マクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定すれば、ブロックマッチング法による動きベクトルを初期偏位ベクトルに設定して動きベクトルを検出して好適な場合に、ブロックマッチング法による動きベクトルを初期偏位ベクトルに設定することができ、これにより従来に比して動きベクトルの誤検出を低減することができる。
According to the configuration of
また請求項6の構成により、請求項4又は請求項5の構成において、検出手段は、初期偏位ベクトルの選択に係る既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前フィールドの対応するマクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定すれば、具体的に、動きの急変を検出して、動きベクトルの誤検出を低減することができる。
According to the configuration of claim 6, in the configuration of claim 4 or
また請求項7の構成により、請求項4、請求項5又は請求項6の構成において、動きの急変したマクロブロックで、選択出力手段における初期偏位ベクトルの選択対象に、ブロックマッチング法による動きベクトルと共に、ブロックマッチング法による動きベクトルより生成される動きベクトルを加えるようにすれば、一段と初期偏位ベクトルに適した動きベクトルを選択対象に設定して初期偏位ベクトルを検出することができる。
Further, according to the configuration of
また請求項8の構成により、請求項7の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、ブロックマッチング法による動きベクトルを2次元のローパスフィルタにより平滑化した動きベクトルであるようにすれば、具体的に、初期偏位ベクトルに適した動きベクトルを選択対象に設定して初期偏位ベクトルを検出することができる。
According to the configuration of
また請求項9の構成により、請求項7又は請求項8の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、ブロックマッチング法による動きベクトルをローパスフィルタにより時間軸方向に平滑化した動きベクトルであるようにしても、具体的に、初期偏位ベクトルに適した動きベクトルを選択対象に設定して初期偏位ベクトルを検出することができる。
Further, according to the configuration of claim 9, in the configuration of
また請求項10の構成により、請求項7、請求項8又は請求項9の構成において、ブロックマッチング法による動きベクトルより生成される動きベクトルが、直前フィールドで多くを占める動きベクトルであるようにしても、具体的に、初期偏位ベクトルに適した動きベクトルを選択対象に設定して初期偏位ベクトルを検出することができる。
According to the configuration of claim 10, in the configuration of
本発明によれば、従来に比して動きベクトルの誤検出を低減することができるようにする。 According to the present invention, erroneous detection of a motion vector can be reduced as compared with the prior art.
以下、適宜図面を参照しながら本発明の実施例を詳述する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(1)実施例の構成
図2は、本発明の実施例1に係る動きベクトル検出装置を示すブロック図である。この動きベクトル検出装置1は、例えばフォーマット変換装置、MPEG(Moving Picture Experts Group)等による符号化装置、ノイズ軽減装置等に適用されて、ビデオ信号を構成する輝度信号Yから動きベクトルVを検出して出力する。なお動きベクトルの検出においては、輝度信号Yを使用する場合に限らず、色差信号R−Y、B−Yを使用することも可能である。
(1) Configuration of Embodiment FIG. 2 is a block diagram showing a motion vector detection apparatus according to Embodiment 1 of the present invention. This motion vector detection device 1 is applied to, for example, a format conversion device, a coding device based on MPEG (Moving Picture Experts Group), a noise reduction device, etc., and detects a motion vector V from a luminance signal Y constituting a video signal. Output. In the detection of the motion vector, not only when the luminance signal Y is used, but the color difference signals RY and BY can also be used.
この動きベクトル検出装置1は、初期偏位ベクトルV1によっておおよその動きベクトルを検出し、この検出された動きベクトルを用いて勾配法により偏位ベクトルΔVを検出して初期偏位ベクトルV1を補正することにより、動きベクトルVを検出する。 The motion vector detection device 1 detects an approximate motion vector from the initial displacement vector V1, detects the displacement vector ΔV by the gradient method using the detected motion vector, and corrects the initial displacement vector V1. Thus, the motion vector V is detected.
すなわち動きベクトル検出装置1において、前置フィルタ2は、二次元のローパスフィルタであり、輝度信号Yを入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。また前置フィルタ2は、輝度信号Yがインターレース方式によるビデオ信号によるものの場合、いわゆる重心補正の処理を実行し、これにより連続するフィールド間で動きベクトルを検出する際に、フィールド間でラインが異なることによる動きベクトルの検出精度の劣化を防止するようになされている。なおこの前置フィルタ2はローパスフィルタに限らず、帯域通過フィルタを適用することもできる。 That is, in the motion vector detection device 1, the pre-filter 2 is a two-dimensional low-pass filter, which receives the luminance signal Y and suppresses high frequency components, thereby preventing erroneous detection of motion vectors due to noise. In addition, when the luminance signal Y is based on an interlaced video signal, the pre-filter 2 executes so-called center-of-gravity correction processing, so that when detecting a motion vector between consecutive fields, the lines differ between the fields. This prevents the deterioration of the motion vector detection accuracy. The pre-filter 2 is not limited to a low-pass filter, and a band-pass filter can be applied.
1フィールド遅延回路3は、この前置フィルタ2から輝度信号Yを入力し、1フィールドの期間だけ遅延させて出力する。
The 1-
動きベクトル検出回路4は、ブロックマッチング法により、1フィールド遅延回路3から出力される輝度信号Y1を基準にして前置フィルタ2から出力される輝度信号Yの動きベクトルMVBを順次検出して出力する。なおこの実施例では、前置フィルタ2から出力される輝度信号Yに順次マクロブロックを設定して、マクロブロック単位で動きベクトルMVBを検出するようになされ、このマクロブロックが8画素×8ラインの大きさに設定されるようになされている。
The motion vector detection circuit 4 sequentially detects and outputs the motion vector MVB of the luminance signal Y output from the pre-filter 2 based on the luminance signal Y1 output from the one-
初期偏位ベクトル選択回路5は、メモリ回路8に保持されている既に検出された動きベクトルから初期偏位候補ベクトルVK1〜VK8を入力すると共に、動きベクトル検出回路4から動きベクトルMVBを入力し、これらの動きベクトルVK1〜VK8、MVBより初期偏位ベクトルV1を選択して出力する。
The initial deviation
勾配法演算回路6は、初期偏位ベクトル選択回路5から出力される初期偏位ベクトルV1を基準にして、勾配法により偏位ベクトルΔVを検出する。すなわち勾配法演算回路6は、1フィールド遅延回路3から出力される輝度信号Y1を初期偏位ベクトルV1により動き補正し、この動き補正した輝度信号と前置フィルタ2から出力される輝度信号Yとの間の勾配法による演算により、偏位ベクトルΔVを検出する。
The gradient method computing circuit 6 detects the displacement vector ΔV by the gradient method with reference to the initial displacement vector V1 output from the initial displacement
加算回路7は、この偏位ベクトルΔVを初期偏位ベクトルV1に加算することにより初期偏位ベクトルV1を補正し、その結果を動きベクトルVとして出力する。
The adding
メモリ回路8は、加算回路7から出力される動きベクトルVを記録して保持する。またこの保持した動きベクトルVより、勾配法演算回路6で偏位ベクトルΔVの計算に供する動きベクトル検出対象のマクロブロックに対応して、この保持した動きベクトルVを初期偏位候補ベクトルの一部として出力する。なおこの実施例では、前フィールド及び現フィールドの既検出の動きベクトルから、8種類の動きベクトルVK1〜VK8を初期偏位候補ベクトルの一部として出力するようになされている。
The
図1は、初期偏位ベクトル選択回路5をその周辺の回路と共に示すブロック図である。初期偏位ベクトル選択回路5は、既検出の動きベクトルVから初期偏位ベクトルの候補を検出し、この候補のベクトルとブロックマッチングによる動きベクトルとから動きベクトルの検出に適した動きベクトルを選択して初期偏位ベクトルに設定する。すなわち初期偏位ベクトル選択回路5において、メモリ回路11は、1フィールド遅延回路3から出力される輝度信号Y1を記録して保持し、この保持した輝度信号Y1をマクロブロックに対応する大きさの領域単位で出力する。この処理おいて、メモリ回路11は、輝度信号Y1の書き込みに供した書き込みアドレスに対して、動きベクトル検出回路4で検出した動きベクトルMVBの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Y1を出力し、これにより保持した輝度信号Y1を動きベクトルMVBで動き補正して出力する。
FIG. 1 is a block diagram showing the initial deviation
差分演算回路12は、前置フィルタ2から出力される輝度信号Yのマクロブロック単位で、メモリ回路11から出力される輝度信号Y1と、前置フィルタ2から出力される輝度信号Yとの間で、フィールド間差分値DFD Bを計算して出力する。なおここでこの実施例において、このフィールド間差分値DFD Bには、対応する画素間で画素値の差分値を計算し、この差分値の絶対値をマクロブロック毎に加算した差分絶対値和が適用さてるようになされている。なおフィールド間差分値DFD Bには、このような差分値の2乗和を適用するようにしてもよい。
The
メモリ/差分演算回路14は、メモリ回路8から出力される初期偏位候補ベクトルVK1〜VK8より、最も初期偏位ベクトルに適した動きベクトルINT MVAを検出して出力する。すなわちメモリ/差分演算回路14は、1フィールド遅延回路3から出力される輝度信号Y1を記録して保持し、この保持した輝度信号Y1をマクロブロックに対応する大きさの領域単位で読み出して前置フィルタ2から出力される輝度信号Yとの間で処理することにより、既検出の動きベクトルVから初期偏位ベクトルの候補である動きベクトルINT MVAを検出して出力する。
The memory /
具体的に、メモリ/差分演算回路14は、前置フィルタ2から出力される輝度信号Yのマクロブロック単位で、輝度信号Y1の書き込みに供した書き込みアドレスに対して、それぞれ初期偏位候補ベクトルVK1〜VK8の分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Y1を読み出し、これにより保持した輝度信号Y1をそれぞれ初期偏位候補ベクトルVK1〜VK8で動き補正する。またこの読み出した輝度信号Y1と、前置フィルタ2から出力される輝度信号Yとの間で、それぞれ初期偏位候補ベクトルVK1〜VK8毎にフィールド間差分値を計算し、このフィールド間差分値が最も小さな初期偏位候補ベクトルを選択して動きベクトルINT MVAにより出力する。またこの動きベクトルINT MVAに係るフィールド間差分値DFD Aを併せて出力する。なおこの初期偏位候補ベクトルVK1〜VK8に係るフィールド間差分値にあっても、差分絶対値和が適用されるものの、動きベクトルMVBに係るフィールド間差分値に対応して、各画素値の差分値の2乗和を適用するようにしてもよい。
Specifically, the memory /
差分比較回路13は、動きベクトル検出回路4から出力されるブロックマッチング法による動きベクトルMVBと、メモリ/差分演算回路14から出力される既検出による動きベクトルVK1〜VK8の最大値MAX VK(VK1〜VK8)とを所定の判定基準により判定して初期偏位ベクトルV1を選択出力する。
The
すなわち差分比較回路13は、ブロックマッチング法による動きベクトルMVBの大きさが所定の判定基準値β1以上(MVB≧β1)であり、また既検出による動きベクトルVK1〜VK8の大きさの最大値MAX VK(VK1〜VK8)が所定の判定基準値β2以下(MAX VK(VK1〜VK8)≦β2)である場合であって、さらにブロックマッチング法に係るフィールド間差分値DFD Bが所定の判定基準値αより小さく、既検出に係るフィールド間差分値DFD Aがこの判定基準値αより大きい場合(DFD
A>α>DFD B)、ブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1に選択する。ここで判定基準値β1及びβ2は、β1>β2である。またこの条件を満足しない場合には、既検出による動きベクトルINT MVAを初期偏位ベクトルV1に設定する。
That is, the
A>α> DFD B), the motion vector MVB by the block matching method is selected as the initial deviation vector V1. Here, the determination reference values β1 and β2 satisfy β1> β2. If this condition is not satisfied, the detected motion vector INT MVA is set as the initial deviation vector V1.
なお判定基準値β1及びβ2は、それぞれX成分及びY成分について設けられるようになされ、動きベクトルMAX VK(VK1〜VK8)、MVBの判定基準値β1、β2による判定においては、それぞれX成分(VX)及びY成分(VY)について、それぞれ各成分による判定基準により実行され、何れかの方向の成分について上述の判定基準を満足する場合には、ブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1に選択するようになされている。なお判定基準値β1及びβ2、判定基準値αは、オペレータの操作により設定された値が適用され、又は事前に設定された固定値が適用される。なお動きベクトルMAX VK(VK1〜VK8)、MVBの判定基準値β1、β2による判定においては、動きベクトルの水平方向成分VX及び垂直方向成分VYをMV=(VX2 +VY2 )1/2 の関係式により処理してそれぞれ動きベクトルMAX VK(VK1〜VK8)、MVBの大きさMVを検出し、この大きさMVを判定基準値β1、β2により判定するようにしてもよい。 The determination reference values β1 and β2 are provided for the X component and the Y component, respectively. In the determination based on the determination reference values β1 and β2 of the motion vector MAX VK (VK1 to VK8) and MVB, the X component (VX ) And Y component (VY) are executed according to the determination criteria for each component, and when the above-mentioned determination criteria are satisfied for the component in any direction, the motion vector MVB by the block matching method is used as the initial displacement vector V1. Has been made to choose. Note that, as the determination reference values β1 and β2 and the determination reference value α, values set by an operator's operation are applied, or fixed values set in advance are applied. In the determination based on the determination reference values β1 and β2 of the motion vector MAX VK (VK1 to VK8) and MVB, the horizontal component VX and the vertical component VY of the motion vector are expressed by a relational expression of MV = (VX2 + VY2) 1/2. It is also possible to detect the magnitudes MV of the motion vectors MAX VK (VK1 to VK8) and MVB, respectively, and determine the magnitude MV based on the determination reference values β1 and β2.
しかしてこの動きベクトル検出装置1において、ブロックマッチング法による動きベクトルMVBが所定の判定基準値β1以上(MVB≧β1)であり、また既検出による動きベクトルVK1〜VK8の最大値MAX VK(VK1〜VK8)が所定の判定基準値β2以下(MAX VK(VK1〜VK8)≦β2)である場合、直前フィールドまでは動きが小さく、現フィールドにおける動きが大きい場合であり、動きが急変した場合であると判断することができる。 Therefore, in this motion vector detection device 1, the motion vector MVB by the block matching method is equal to or greater than a predetermined determination reference value β1 (MVB ≧ β1), and the maximum value MAX VK (VK1 to VK1) of the motion vectors VK1 to VK8 already detected. When VK8) is equal to or less than a predetermined determination reference value β2 (MAX VK (VK1 to VK8) ≦ β2), the motion is small up to the previous field, the motion in the current field is large, and the motion suddenly changes. It can be judged.
これに対してブロックマッチング法に係るフィールド間差分値DFD Bが所定の判定基準値α以下であり、かつ既検出に係るフィールド間差分値DFD Aがこの判定基準値αより大きい場合、ブロックマッチング法に係る動きベクトルMVBにより動き補正した方がフィールド間差分が小さくなると言え、ブロックマッチング法に係る動きベクトルMVBによる動き補正の方が高い信頼性により動き補正できる。 On the other hand, when the inter-field difference value DFD B according to the block matching method is equal to or smaller than the predetermined determination reference value α and the already-detected inter-field difference value DFD A is larger than the determination reference value α, the block matching method It can be said that the motion correction by the motion vector MVB according to the method has a smaller inter-field difference, and the motion correction by the motion vector MVB according to the block matching method can perform the motion correction with higher reliability.
これらにより差分比較回路13は、動きが急変した場合であって、かつブロックマッチング法に係る動きベクトルMVBによる動き補正の方が高い信頼性により動き補正できると判断できる場合に、ブロックマッチング法に係る動きベクトルMVBを初期偏位ベクトルに設定し、これ以外の場合には、既検出の動きベクトルを初期偏位ベクトルに設定するようになされている。
Accordingly, the
(2)実施例の動作
以上の構成において、この動きベクトル検出装置1において、処理対象であるビデオ信号の輝度信号Yは(図2)、前置フィルタ2により周波数特性が補正された後、初期偏位ベクトル選択回路5で初期偏位ベクトルV1が検出され、この初期偏位ベクトルV1を用いた勾配法演算回路6における勾配法の処理により偏位ベクトルΔVが検出される。輝度信号Yは、この偏位ベクトルΔVが初期偏位ベクトルV1に加算されて動きベクトルVが検出され、この動きベクトルVがメモリ回路8に記録されると共に、例えばフィールド内挿等に適用される。
(2) Operation of Embodiment In the above-described configuration, in the motion vector detection device 1, the luminance signal Y of the video signal to be processed (FIG. 2) is the initial value after the frequency characteristic is corrected by the prefilter 2. The displacement
またメモリ回路8に記録された動きベクトルは、続く動きベクトル検出対象のマクロブロックに応じて、メモリ回路8から複数の動きベクトルVK1〜VK8が初期偏位ベクトルV1の候補として初期偏位ベクトル選択回路5に供給され、この初期偏位ベクトル選択回路5におけるメモリ/差分演算回路14(図1)において、それぞれ各動きベクトルVK1〜VK8毎にフィールド間差分値が検出され、このフィールド間差分値が最も小さな動きベクトルが初期偏位ベクトルV1として選択される。
The motion vector recorded in the
これによりこの動きベクトル検出装置1では、連続するフィールド間の相関を有効に利用して、動きが小さい場合に、高い検出精度により動きベクトルVを検出することができる。しかしながらこのままでは、動きが急変した場合に、この動きに追従するように動きベクトルVを検出できなくなり、動きベクトルVを誤検出することになる。 Thereby, in this motion vector detection apparatus 1, when the motion is small, the motion vector V can be detected with high detection accuracy by effectively using the correlation between successive fields. However, in this state, when the motion changes suddenly, the motion vector V cannot be detected so as to follow this motion, and the motion vector V is erroneously detected.
すなわち例えばそれまで物体が左から右に10画素/1フィールドの大きさで動いている状態から、急に動きを変化させ、右から左に5画素/1フィールドの大きさで動くようになった場合、初期偏位ベクトルに適用される既検出の動きベクトルVXにあっては、VX=10になる。この場合、このVX=10による動きベクトルを初期偏位ベクトルに適用した勾配法による動きベクトルの検出においては、偏位ベクトルとして15画素/1フィールドの動きを検出しなければならない。しかしながら勾配法においては、検出可能な動きベクトルの範囲が狭いことにより(実際上、0〜3画素の範囲である)、結局、このような物体については、動きベクトルを誤検出することになり、最終的に動きに追従できるまでに数フィールド時間が必要となる。 That is, for example, from the state where the object has been moving from left to right with a size of 10 pixels per field, the movement suddenly changed, and from right to left it moved with a size of 5 pixels per field. In this case, in the detected motion vector VX applied to the initial deviation vector, VX = 10. In this case, in the detection of the motion vector by the gradient method in which the motion vector of VX = 10 is applied to the initial displacement vector, the motion of 15 pixels / 1 field must be detected as the displacement vector. However, in the gradient method, since the range of the motion vector that can be detected is narrow (in practice, it is a range of 0 to 3 pixels), the motion vector is erroneously detected for such an object. Several field hours are required to finally follow the movement.
これに対してブロックマッチング法は、連続するフィールド間の相関に無関係に動きベクトルを検出することにより、動きベクトルの探索範囲内であれば、動きが急激に変化した場合でも、1フィールド以内に動きを検出することができる。これにより上述したように動きが急激に変化した場合でも、それまでの動きベクトルVX=10から、続くフィールドでは動きベクトルVX=−5を検出することができる。 On the other hand, the block matching method detects a motion vector regardless of the correlation between successive fields, and within a motion vector search range, even if the motion changes suddenly, the motion can be moved within one field. Can be detected. As a result, even when the motion changes rapidly as described above, the motion vector VX = −5 can be detected in the following field from the motion vector VX = 10.
しかしながらブロックマッチング法は、連続するフィールド間はもとより、周辺のマクロブロックとの間でも相関性が小さいことにより、結局、検出された動きベクトルを隣接するマクロブロックとの間で平滑化しない限り、フォーマット変換装置の内挿処理に適用できない。しかしながらこのような平滑化処理にあっては、小物体の動きも周囲のマクロブロックの動きに平滑化されることになり、結局、このような小物体の動きについては検出できなくなる。 However, since the block matching method has a small correlation not only between continuous fields but also with surrounding macroblocks, unless the detected motion vector is smoothed between adjacent macroblocks, the format is changed. It cannot be applied to the interpolation process of the converter. However, in such a smoothing process, the movement of the small object is also smoothed to the movement of the surrounding macroblock, and eventually the movement of such a small object cannot be detected.
このためこの動きベクトル検出装置1においては、既検出の動きベクトルVによる初期偏位ベクトルV1の候補INT MVAと、ブロックマッチングによる動きベクトルMVBとから動きベクトルの検出に適した動きベクトルが選択されて初期偏位ベクトルV1に設定され、これにより動きベクトルの誤検出が有効に回避される。 Therefore, in this motion vector detection device 1, a motion vector suitable for detecting a motion vector is selected from the candidate INT MVA of the initial deviation vector V1 based on the already detected motion vector V and the motion vector MVB based on block matching. The initial deviation vector V1 is set, thereby effectively avoiding false detection of motion vectors.
すなわり動きベクトル検出装置1においては、勾配法による動きベクトルVを初期偏位ベクトルV1に設定して動きベクトルVを検出するようにして、動きが急変した場合であって、かつ既検出に係る初期偏位ベクトルV1によるフィールド間差分値がブロックマッチング法によるフィールド間差分値より大きくなる場合に、既検出に係る動きベクトルに代えて、ブロックマッチング法により検出した動きベクトルが初期偏位ベクトルに設定され、これにより動きベクトルVの誤検出が有効に回避される。 In other words, in the motion vector detection device 1, the motion vector V by the gradient method is set to the initial deviation vector V1 to detect the motion vector V, and the motion is suddenly changed and already detected. When the inter-field difference value by the initial displacement vector V1 becomes larger than the inter-field difference value by the block matching method, the motion vector detected by the block matching method is used as the initial displacement vector instead of the motion vector according to the already detected method. Thus, erroneous detection of the motion vector V is effectively avoided.
すなわち動きベクトル検出装置1では、動きベクトル検出回路4において、ブロックマッチング法により動きベクトルMVBが検出され、この動きベクトルMVBによるフィールド間差分値DFD Bが差分演算回路12により検出される。またメモリ/差分演算回路14で初期偏位候補ベクトルVK1〜VK8より検出される初期偏位ベクトルの候補について、フィールド間差分値DFD Aが検出される。
That is, in the motion vector detection device 1, the motion vector detection circuit 4 detects the motion vector MVB by the block matching method, and the
動きベクトル検出装置1では、このようにして検出したブロックマッチング法に係るフィールド間差分値DFD Bと、既検出に係る動きベクトルによるフィールド間差分値DFD Aとが差分比較回路13に入力され、ここで所定の判定基準値αを用いて比較され、これにより既検出に係るフィールド間差分値DFD Aがブロックマッチング法によるフィールド間差分値DFD Bより大きくなる場合が検出される。この差分比較回路13において、既検出による動きベクトルVK1〜VK8の最大値MAX VK(VK1〜VK8)、ブロックマッチング法による動きベクトルMVBがそれぞれ判定基準値β1、β2により判定され、これによりそれまで動きが小さく、急に動きが大きくなった場合が、動きが急変した場合として検出される。
In the motion vector detection apparatus 1, the inter-field difference value DFD B related to the block matching method detected in this way and the inter-field difference value DFD A based on the already detected motion vector are input to the
これらにより動きベクトル検出装置1では、このような差分比較回路13における判定基準値α、β1、β2による判定結果に基づいて、動きが急変した場合であって、既検出による初期偏位ベクトルV1ではフィールド間差分値が大きな場合に、ブロックマッチング法による動きベクトルMVBが初期偏位ベクトルに設定される。
Thus, in the motion vector detection device 1, the motion is suddenly changed based on the determination results based on the determination reference values α, β1, and β2 in the
(3)実施例の効果
以上の構成によれば、既検出の動きベクトルから得られる初期偏位ベクトルの候補とブロックマッチング法による動きベクトルとから動きベクトルの検出に適した動きベクトルを選択して初期偏位ベクトルに設定することにより、従来に比して動きベクトルの誤検出を低減することができる。
(3) Advantages of the embodiment According to the above configuration, a motion vector suitable for motion vector detection is selected from the initial deviation vector candidate obtained from the already detected motion vector and the motion vector based on the block matching method. By setting the initial displacement vector, it is possible to reduce erroneous detection of the motion vector as compared with the conventional case.
より具体的に、所定の判定基準値を基準にしたフィールド間差分、動きベクトルの判定により、動きが急変した場合であって、既検出による初期偏位ベクトルではフィールド間差分値が大きな場合に、ブロックマッチング法による動きベクトルを初期偏位ベクトルに設定することにより、動きベクトルの誤検出を低減することができる。 More specifically, when the motion has suddenly changed due to the determination of the inter-field difference based on a predetermined determination reference value and the motion vector, and the inter-field difference value is large in the detected initial deviation vector, By setting the motion vector based on the block matching method as the initial deviation vector, it is possible to reduce erroneous detection of the motion vector.
この実施例に係る動きベクトル検出装置では、図1について上述した差分比較回路13において、ブロックマッチング法による動きベクトルMVBの大きさが所定の判定基準値β1以上であるか否か、及び既検出による動きベクトルVK1〜VK8の大きさの最大値MAX VK(VK1〜VK8)が所定の判定基準値β2以下であるか否かを判断し、ブロックマッチング法による動きベクトルMVBの大きさが所定の判定基準値β1以上であり、かつ既検出による動きベクトルVK1〜VK8の大きさの最大値MAX VK(VK1〜VK8)が所定の判定基準値β2以下である場合にブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1に選択する。なおこの実施例に係る動きベクトル検出装置では、この差分比較回路に係る構成が異なる点を除いて、図1及び図2について上述した動きベクトル検出装置1と同様の構成を有する。
In the motion vector detection apparatus according to this embodiment, in the
このようにすれば、動きが急変した場合にブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1として選択することにより、動き量が大きな場合に良好な動きベクトルを検出し得るブロックマッチング法により初期偏位ベクトルを設定することができる。これによりこの実施例に係る動きベクトル検出装置によれば、ブロックマッチング法に係るフィールド間差分値DFD B及び既検出に係るフィールド間差分値DFD
Aを判定基準値αと比較するための処理に係る構成を省略し得る分、動きベクトル検出装置の構成を簡易化することができる。
In this way, when the motion changes suddenly, the motion vector MVB by the block matching method is selected as the initial displacement vector V1, so that the initial motion can be detected by the block matching method that can detect a good motion vector when the motion amount is large. A deviation vector can be set. As a result, according to the motion vector detection device of this embodiment, the inter-field difference value DFD B related to the block matching method and the inter-field difference value DFD related to the previous detection
Since the configuration related to the process for comparing A with the determination reference value α can be omitted, the configuration of the motion vector detection device can be simplified.
この実施例に係る動きベクトル検出装置では、図1について上述した差分比較回路13において、ブロックマッチング法に係るフィールド間差分値DFD Bが所定の判定基準値αより小さいか否か、及び既検出に係るフィールド間差分値DFD Aがこの判定基準値αより大きいか否かを判断し、ブロックマッチング法に係るフィールド間差分値DFD Bが所定の判定基準値αより小さく、かつ既検出に係るフィールド間差分値DFD Aがこの判定基準値αより大きい場合(DFD A>α>DFD B)に、ブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1に選択する。なおこの実施例に係る動きベクトル検出装置では、この差分比較回路に係る構成が異なる点を除いて、図1及び図2について上述した動きベクトル検出装置1と同様の構成を有する。
In the motion vector detection apparatus according to this embodiment, whether or not the inter-field difference value DFD B according to the block matching method is smaller than a predetermined determination reference value α in the
このようにすれば、ブロックマッチング法による動きベクトルMVBの信頼性が高いと判断される場合に、ブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1として設定することができる。これによりこの実施例に係る動きベクトル検出装置によれば、ブロックマッチング法による動きベクトルMVBの大きさが所定の判定基準値β1以上(MVB≧β1)であり、また既検出による動きベクトルVK1〜VK8の大きさの最大値MAX VK(VK1〜VK8)が所定の判定基準値β2以下(MAX VK(VK1〜VK8)≦β2)である場合を判定する処理に係る構成を省略し得る分、動きベクトル検出装置の構成を簡易化することができる。 In this way, when it is determined that the reliability of the motion vector MVB by the block matching method is high, the motion vector MVB by the block matching method can be set as the initial deviation vector V1. As a result, according to the motion vector detection device of this embodiment, the magnitude of the motion vector MVB by the block matching method is equal to or greater than the predetermined determination reference value β1 (MVB ≧ β1), and the motion vectors VK1 to VK8 based on the previous detection. Since the maximum value MAX VK (VK1 to VK8) is less than or equal to a predetermined determination reference value β2 (MAX VK (VK1 to VK8) ≦ β2), the configuration relating to the process for determining the motion vector can be omitted. The configuration of the detection device can be simplified.
(1)実施例の構成
図3は、本発明の実施例4に係る動きベクトル検出装置に適用される初期偏位ベクトル選択回路を示すブロック図である。この実施例に係る動きベクトル検出装置では、図1について上述した初期偏位ベクトル選択回路5に代えて、この初期偏位ベクトル選択回路25が適用される点を除いて、実施例1について上述した動きベクトル検出装置1と同一に構成される。
(1) Configuration of Embodiment FIG. 3 is a block diagram showing an initial deviation vector selection circuit applied to a motion vector detection apparatus according to Embodiment 4 of the present invention. In the motion vector detection apparatus according to this embodiment, the first embodiment has been described above with the exception that the initial displacement
ここでこの実施例4に係る動きベクトル検出装置の初期偏位ベクトル選択回路25において、初期偏位ベクトル選択回路26は、メモリ回路8から初期偏位候補ベクトルVK1〜VK8を入力し、これら初期偏位候補ベクトルVK1〜VK8から初期偏位ベクトルV1の候補MV0(実施例1のINT MVAに対応する)を選択して出力する。すなわち初期偏位ベクトル選択回路26は、前置フィルタ2から出力される輝度信号Yのマクロブロック単位で、輝度信号Y1の書き込みに供した書き込みアドレスに対して、それぞれ初期偏位候補ベクトルVK1〜VK8の分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Y1を読み出し、これにより保持した輝度信号Y1をそれぞれ初期偏位候補ベクトルVK1〜VK8で動き補正する。またこの読み出した輝度信号Y1と、前置フィルタ2から出力される輝度信号Yとの間で、それぞれ初期偏位候補ベクトルVK1〜VK8毎にフィールド間差分値を計算し、このフィールド間差分値が最も小さな初期偏位候補ベクトルを選択して初期偏位ベクトルV1の候補MV0を出力する。またこの動きベクトルMV0に係るフィールド間差分値DFD0を併せて出力する。なおこの初期偏位候補ベクトルVK1〜VK8に係るフィールド間差分値は、差分絶対値和が適用されるものの、動きベクトルMVBに係るフィールド間差分値に対応して、各画素値の差分値の2乗和を適用するようにしてもよく、さらには単に差分値を加算するようにしてもよい。
Here, in the initial deviation
動き量偏移検出回路27は、この初期偏位ベクトルV1の候補MV0について、直前マクロブロック、直前フィールドの対応するマクロブロックで検出されている動きベクトルVとの比較により、動きの急変を検出する。具体的に、動き量偏移検出回路27は、直前マクロブロックで検出されら動きベクトルMV1を用いて、直前マクロブロックについて、輝度信号Y1を動き補正して輝度信号Yとの間でフィールド間差分値DFD1を計算する。また直前フィールドの対応するマクロブロックで検出されている動きベクトルMV2を用いて、この直前フィールドのマクロブロックについて、輝度信号Y1を動き補正して輝度信号Yとの間でフィールド間差分値DFD2を計算する。
The motion amount
またこれらのフィールド間差分値DFD0〜DFD2の間で、DFD1−DFD0>α1、DFD2−DFD0>α2の関係式が共に成立する場合、動きが急変した場合と判定する。 Further, when the relational expressions of DFD1-DFD0> α1 and DFD2-DFD0> α2 are both established between these inter-field difference values DFD0 to DFD2, it is determined that the motion has suddenly changed.
すなわちこの初期偏位ベクトルV1の候補MV0にあっては、勾配法に係る初期偏位ベクトルV1であることにより、直前マクロブロックで検出された動きベクトル、直前フィールドの対応するマクロブロックで検出された動きベクトルと動き補正して得られるフィールド間差分値DFD0〜DFD2を比較した場合、動きが急変していない場合には、フィールド間差分値DFD0は、直前マクロブロック、直前フィールドの対応するマクロブロックで検出されるフィールド間差分値DFD1、DFD2に比して減少することになる。従ってこれらフィールド間差分値DFD0〜DFD2でこのような関係を検出できない場合、動きが急変した場合と判断することができ、既検出の動きベクトルを初期偏位ベクトルV1に適用したのでは、動きの急変に追従できないことになる。従って、この場合は、ブロックマッチング法による動きベクトルMVBを初期偏位ベクトルV1に設定した方が、動きの急変に追従して精度良く動きベクトルを検出できることになる。 That is, in the candidate MV0 of the initial displacement vector V1, since it is the initial displacement vector V1 according to the gradient method, the motion vector detected in the immediately preceding macroblock and the macroblock corresponding to the immediately preceding field are detected. When the motion vector and the inter-field difference values DFD0 to DFD2 obtained by the motion correction are compared, if the motion does not change suddenly, the inter-field difference value DFD0 is the macroblock corresponding to the immediately preceding macroblock and the immediately preceding field. This is a decrease compared to the detected inter-field difference values DFD1, DFD2. Therefore, when such a relationship cannot be detected using the inter-field difference values DFD0 to DFD2, it can be determined that the motion has suddenly changed. If the detected motion vector is applied to the initial displacement vector V1, You will not be able to follow sudden changes. Therefore, in this case, when the motion vector MVB by the block matching method is set to the initial deviation vector V1, the motion vector can be accurately detected following the sudden change in motion.
これによりこの実施例において、動き量偏移検出回路27は、上述した関係式の双方が成立した場合、動きが急変したマクロブロックと判断して、制御信号S1を出力する。ここで制御信号S1は、ブロックマッチング法による動きベクトルMVBと、この動きベクトルMVBを処理して発生した動きベクトルを、初期偏位ベクトルの選択対象に加わえる制御信号である。なおここでこの実施例では、上述の2つの関係式の双方を満足する場合に、動きが急変した場合としたが、必要に応じて上述の2つの関係式の何れか一方を満足する場合に、動きが急変した場合としてもよい。なおここで判定基準値α1、α2は、α1≒α2とし、8×8画素のマクロブロックでα1=128とした。
As a result, in this embodiment, when both of the relational expressions described above are satisfied, the motion amount
ローパスフィルタ(LPF)30は、2次元のローパスフィルタであり、ブロックマッチング法による動きベクトルMVBを平滑化して出力する。しかしてブロックマッチング法で検出される動きベクトルMVBは、隣接するマクロブロック間で相関が小さい特徴があり、これによりこの実施例ではローパスフィルタ30により平滑化して、動きベクトルVの検出精度を向上する。なおここでこの実施例では、水平方向及び垂直方向にタップ係数が1:2:2:2:1に設定された5×5タップのフィルタが適用される。
The low-pass filter (LPF) 30 is a two-dimensional low-pass filter, and smoothes and outputs a motion vector MVB by a block matching method. Therefore, the motion vector MVB detected by the block matching method has a feature that the correlation between adjacent macroblocks is small. In this embodiment, the motion vector MVB is smoothed by the low-
ローパスフィルタ31は、時間軸方向のローパスフィルタであり、現フィールド、現フィールドの前フィールド、この前フィールドのさらに前フィールドに係る対応する3つのマクロブロックによる動きベクトルMVBを平滑化して出力する。
The low-
代表ベクトル発生回路32は、処理対象の周辺マクロブロックで、最も多数を占めるブロックマッチング法による動きベクトルMVBを検出して代表ベクトルとして出力する。この実施例では、直前フィールドで検出された動きベクトルのうち、最も多くを占める動きベクトルをこの代表ベクトルに設定する。
The representative
切替回路33は、動き量偏移検出回路27から出力される制御信号により、上述した2つの関係式の双方が成立する場合に、ブロックマッチング法による動きベクトルMVB、この動きベクトルMVBより派生する動きベクトルであるローパスフィルタ30、31、代表ベクトル発生回路32から出力される動きベクトルを初期偏位ベクトル選択回路34に出力する。
The switching circuit 33 is a motion vector MVB based on the block matching method and a motion derived from the motion vector MVB when both of the two relational expressions described above are satisfied by the control signal output from the motion amount
初期偏位ベクトル選択回路34は、切替回路33から出力される動きベクトル、動き量偏移検出回路27から出力される動きベクトルMV0より、初期偏位ベクトルV1を選択して出力する。具体的に、初期偏位ベクトル選択回路34は、実施例1について上述した差分比較回路13と同様に、これら5つの動きベクトルについて、フィールド間差分値の比較により動きベクトルの検出に適した動きベクトルを選択して初期偏位ベクトルにより出力する。
The initial deviation
以上の構成によれば、既検出の動きベクトルから初期偏位ベクトルの候補MV0を選択して、この候補により動きが急変したマクロブロックを検出し、この動き急変したマクロブロックでのみ、初期偏位ベクトルの選択対象にブロックマッチングによる動きベクトルを設定することにより、動きの急変に追従して高い精度により動きベクトルを検出することができる。 According to the above configuration, the initial deviation vector candidate MV0 is selected from the already detected motion vectors, the macro block whose motion is suddenly changed by this candidate is detected, and the initial deviation is detected only in the macro block whose motion is suddenly changed. By setting a motion vector by block matching as a vector selection target, it is possible to detect a motion vector with high accuracy following a sudden change in motion.
またこのような初期偏位ベクトルの候補MV0により動きが急変したマクロブロックを検出するようにして、具体的に、この候補により動き補正して得られるフィールド間差分値DFD0と、直前マクロブロックにおける動き補正によるフィールド間差分値DFD1との差分値を所定の判定基準値α1により判定して動きが急変したマクロブロックを検出することにより、水平方向に連続するマクロブロック間の相関を有効に利用して動きの急変を検出することができる。 In addition, by detecting a macroblock whose motion is suddenly changed by such an initial deviation vector candidate MV0, specifically, the inter-field difference value DFD0 obtained by motion correction by this candidate and the motion in the immediately preceding macroblock. By detecting a macroblock whose motion has suddenly changed by determining a difference value from the inter-field difference value DFD1 by the correction based on a predetermined determination reference value α1, it is possible to effectively use the correlation between macroblocks that are horizontally continuous. A sudden change in motion can be detected.
またこのような初期偏位ベクトルの候補MV0により動きが急変したマクロブロックを検出するようにして、具体的に、この候補により動き補正して得られるフィールド間差分値DFD0と、直前フィールドの対応するマクロブロックにおける動き補正によるフィールド間差分値DFD2との差分値を所定の判定基準値α2により判定して動きが急変したマクロブロックを検出することにより、連続するフィールド間の相関を有効に利用して動きの急変を検出することができる。 Further, by detecting a macroblock whose motion has changed suddenly by such an initial deviation vector candidate MV0, specifically, the inter-field difference value DFD0 obtained by correcting the motion by this candidate corresponds to the immediately preceding field. By utilizing the correlation between successive fields effectively by detecting a macroblock whose motion has changed suddenly by determining a difference value from the inter-field difference value DFD2 by motion correction in the macroblock by a predetermined determination reference value α2. A sudden change in motion can be detected.
またこのような初期偏位ベクトルV1の選択対象に、ブロックマッチング法による動きベクトルMVBだけでなく、この動きベクトルMVBより派生する動きベクトルを加えることにより、一段と動きベクトルの検出精度を向上することができる。 Further, by adding not only the motion vector MVB by the block matching method but also a motion vector derived from this motion vector MVB to the selection target of the initial deviation vector V1, the detection accuracy of the motion vector can be further improved. it can.
すなわち2次元のローパスフィルタによりブロックマッチング法による動きベクトルMVBを平滑化して選択対象に加えることにより、ブロックマッチング法による動きベクトルMVBにあっては隣接するマクロブロック間で相関が小さいと言う欠点を補正して動きベクトルを検出することができる。 In other words, the motion vector MVB by the block matching method is smoothed by a two-dimensional low-pass filter and added to the selection target, thereby correcting the disadvantage that the correlation between adjacent macroblocks is small in the motion vector MVB by the block matching method. Thus, the motion vector can be detected.
またこのような2次元のローパスフィルタによる処理結果に加えて、時間軸方向のローパスフィルタによりブロックマッチング法による動きベクトルMVBを平滑化して選択対象に加えることにより、2次元のローパスフィルタ30による平滑化によっては、動きが急激に変化したマクロブロックを検出できないような場合でも、動きの変化に追従して動きベクトルV1を検出することができる。具体的に、回転パターンなどのように、動きベクトルの方向が変化する場合では2次元ローパスフィルタによる処理結果に比して、時間軸方向に平滑化した動きベクトルの方が実際の動き量に近くなり、これによりこのような場合には、時間軸方向に平滑化した動きベクトルによる初期偏位ベクトルが選択されて高い精度により動きベクトルを検出することができる。
In addition to the processing result by the two-dimensional low-pass filter, the motion vector MVB by the block matching method is smoothed by the low-pass filter in the time axis direction and added to the selection target, thereby smoothing by the two-dimensional low-
また既検出の動きベクトルで、多くを占める動きベクトルを代表ベクトルとして選択対象に加えることにより、例えば背景から新たに画像が出現するシーン等において、この代表ベクトルが実際の動き量に速く近づくことができ、これによりこのような場合には、この代表ベクトルが選択されて高い精度により動きベクトルを検出することができる。 In addition, by adding a motion vector that occupies most of the detected motion vectors as a representative vector to the selection target, for example, in a scene where a new image appears from the background, the representative vector can quickly approach the actual motion amount. In this case, the representative vector is selected and the motion vector can be detected with high accuracy.
これらによりこの実施例では、動きの急変に追従して高い精度により動きベクトルを検出することができる。 Thus, in this embodiment, it is possible to detect a motion vector with high accuracy following a sudden change in motion.
なお上述の実施例においては、勾配法により偏位ベクトルを検出する場合について述べたが、本発明はこれに限らず、例えば位相相関法等、他の方法により偏位ベクトルを検出するようにしてもよい。 In the above-described embodiment, the case where the deviation vector is detected by the gradient method has been described. However, the present invention is not limited to this, and the deviation vector is detected by another method such as a phase correlation method. Also good.
また上述の実施例においては、8種類の候補により初期偏位候補ベクトルを選択する場合について述べたが、本発明はこれに限らず、複数の候補より初期偏位候補ベクトルを選択する場合に広く適用することができる。 In the above-described embodiment, the case where the initial deviation candidate vector is selected from the eight types of candidates has been described. However, the present invention is not limited to this, and the case where the initial deviation candidate vector is selected from a plurality of candidates is widely used. Can be applied.
また上述の実施例においては、フィールド間で動きベクトルを検出する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出するようにしてもよい。この場合、1フィールド遅延回路3に代えて1フレーム遅延回路を適用し、輝度信号Yを1フレーム遅延させるようにすればよい。
In the above-described embodiment, the case where the motion vector is detected between the fields is described. However, the present invention is not limited to this, and the motion vector may be detected between the frames. In this case, a 1-frame delay circuit may be applied instead of the 1-
本発明は、動きベクトル検出装置及び動きベクトル検出方法に関し、例えばフォーマット変換装置に適用することができる。 The present invention relates to a motion vector detection device and a motion vector detection method, and can be applied to, for example, a format conversion device.
1……動きベクトル検出装置、3……1フィールド遅延回路、4……動きベクトル検出回路、5……初期偏位ベクトル選択回路、6……勾配法演算回路、7……加算回路、8……メモリ回路、12……差分演算回路、13……差分比較回路、14……メモリ/差分演算回路、25……初期偏位ベクトル選択回路
DESCRIPTION OF SYMBOLS 1 ... Motion vector detection apparatus, 3 ... 1 field delay circuit, 4 ... Motion vector detection circuit, 5 ... Initial deflection vector selection circuit, 6 ... Gradient method arithmetic circuit, 7 ... Addition circuit, 8 ... ... Memory circuit, 12 ... Difference calculation circuit, 13 ... Difference comparison circuit, 14 ... Memory / Difference calculation circuit, 25 ... Initial deviation vector selection circuit
Claims (10)
ブロックマッチング法により前記ビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、
前記ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、
前記既検出の動きベクトルから前記初期偏位ベクトルの候補を検出する演算手段と、
前記初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、
前記初期偏位ベクトルの候補を前記初期偏位ベクトルとして出力し、所定の条件を満足する場合に、前記初期偏位ベクトルの候補に代えて前記ブロックマッチング法による動きベクトルを前記初期偏位ベクトルとして選択して出力する選択手段とを備え、
前記所定の条件を満足する場合が、
前記既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつ前記ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が前記判定基準値以下の場合である
ことを特徴とする動きベクトル検出装置。 By detecting an initial deviation vector from the already detected motion vector, detecting the deviation vector using the initial deviation vector, and correcting the initial deviation vector, the motion vector of the sequentially input video signal is obtained. In the motion vector detection device to detect,
Motion vector detecting means for detecting a motion vector of the video signal by a block matching method and outputting a motion vector by the block matching method;
A difference value calculation means according to a block matching method for detecting a difference value between frames or a difference value between fields according to the block matching method by performing motion correction by a motion vector according to the block matching method;
Computing means for detecting a candidate for the initial deviation vector from the detected motion vector;
A difference value calculation means for the detected motion vector for detecting the interframe difference value or the interfield difference value for the detected motion vector by performing motion correction with the initial deviation vector candidate;
The initial deviation vector candidate is output as the initial deviation vector, and when a predetermined condition is satisfied, a motion vector obtained by the block matching method is used as the initial deviation vector instead of the initial deviation vector candidate. Selecting means for selecting and outputting,
When the predetermined condition is satisfied,
The inter-frame difference value or inter-field difference value related to the detected motion vector is larger than a predetermined determination reference value, and the inter-frame difference value or inter-field difference value related to the block matching method is equal to or less than the determination reference value This is a motion vector detection device.
ブロックマッチング法により前記ビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、
前記既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから前記初期偏位ベクトルの候補を検出する演算手段と、
前記初期偏位ベクトルの候補を前記初期偏位ベクトルとして出力し、所定の条件を満足する場合に、前記初期偏位ベクトルの候補に代えて前記ブロックマッチング法による動きベクトルを前記初期偏位ベクトルとして選択して出力する選択手段とを備え、
前記所定の条件を満足する場合が、
前記ブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ前記初期偏位候補ベクトルの大きさの最大値が前記第1の判定基準値より値の小さな第2の判定基準値以下の場合である
ことを特徴とする動きベクトル検出装置。 By detecting an initial deviation vector from the already detected motion vector, detecting the deviation vector using the initial deviation vector, and correcting the initial deviation vector, the motion vector of the sequentially input video signal is obtained. In the motion vector detection device to detect,
Motion vector detecting means for detecting a motion vector of the video signal by a block matching method and outputting a motion vector by the block matching method;
Calculating means for selecting an initial deviation candidate vector from the detected motion vector, and detecting the initial deviation vector candidate from the selected initial deviation candidate vector;
The initial deviation vector candidate is output as the initial deviation vector, and when a predetermined condition is satisfied, a motion vector based on the block matching method is used as the initial deviation vector instead of the initial deviation vector candidate. Selecting means for selecting and outputting,
When the predetermined condition is satisfied,
A second determination in which a magnitude of a motion vector by the block matching method is equal to or larger than a first determination reference value and a maximum value of the initial deviation candidate vector is smaller than the first determination reference value; A motion vector detection device characterized by being a case where the value is below a reference value.
ブロックマッチング法により前記ビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、
前記ブロックマッチング法による動きベクトルにより動き補正して、ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値を検出するブロックマッチング法に係る差分値演算手段と、
前記既検出の動きベクトルから初期偏位候補ベクトルを選択し、該選択した初期偏位候補ベクトルから前記初期偏位ベクトルの候補を検出する演算手段と、
前記初期偏位ベクトルの候補により動き補正して、既検出の動きベクトルに係るフレー
ム間差分値又はフィールド間差分値を検出する既検出の動きベクトルに係る差分値演算手段と、
前記初期偏位ベクトルの候補を前記初期偏位ベクトルとして出力し、所定の条件を満足する場合に、前記初期偏位ベクトルの候補に代えて前記ブロックマッチング法による動きベクトルを前記初期偏位ベクトルとして選択して出力する選択手段とを備え、
前記所定の条件を満足する場合が、
前記既検出の動きベクトルに係るフレーム間差分値又はフィールド間差分値が所定の判定基準値より大きく、かつ前記ブロックマッチング法に係るフレーム間差分値又はフィールド間差分値が前記判定基準値以下の場合であって、
かつ前記ブロックマッチング法による動きベクトルの大きさが第1の判定基準値以上であり、かつ前記初期偏位候補ベクトルの大きさの最大値が前記第1の判定基準値より値の小さな第2の判定基準値以下の場合である
ことを特徴とする動きベクトル検出装置。 By detecting an initial deviation vector from the already detected motion vector, detecting the deviation vector using the initial deviation vector, and correcting the initial deviation vector, the motion vector of the sequentially input video signal is obtained. In the motion vector detection device to detect,
Motion vector detecting means for detecting a motion vector of the video signal by a block matching method and outputting a motion vector by the block matching method;
A difference value calculation means according to a block matching method for detecting a difference value between frames or a difference value between fields according to a block matching method by performing motion correction by a motion vector according to the block matching method;
Calculating means for selecting an initial deviation candidate vector from the detected motion vector, and detecting the initial deviation vector candidate from the selected initial deviation candidate vector;
A difference value calculation means related to a detected motion vector that detects a difference value between frames or a difference value between fields related to a detected motion vector by performing motion correction using the initial deviation vector candidates;
The initial deviation vector candidate is output as the initial deviation vector, and when a predetermined condition is satisfied, a motion vector based on the block matching method is used as the initial deviation vector instead of the initial deviation vector candidate. Selecting means for selecting and outputting,
When the predetermined condition is satisfied,
When the inter-frame difference value or inter-field difference value related to the detected motion vector is larger than a predetermined determination reference value, and the inter-frame difference value or inter-field difference value related to the block matching method is equal to or less than the determination reference value Because
And the magnitude of the motion vector according to the block matching method is equal to or greater than a first determination reference value, and the maximum value of the initial deviation candidate vector is smaller than the first determination reference value. A motion vector detection apparatus characterized by being a case where the value is equal to or less than a determination reference value.
ブロックマッチング法により前記ビデオ信号の動きベクトルを検出して、ブロックマッチング法による動きベクトルを出力する動きベクトル検出手段と、
前記既検出の動きベクトルから前記初期偏位ベクトルを検出して出力する選択出力手段と、
前記ビデオ信号より動きの急変したマクロブロックを検出する検出手段とを備え、
前記検出手段による検出結果に基づいて、前記動きの急変したマクロブロックで、前記選択出力手段における前記初期偏位ベクトルの選択対象に、前記ブロックマッチング法による動きベクトルを加える
ことを特徴とする動きベクトル検出装置。 By detecting an initial deviation vector from the already detected motion vector, detecting the deviation vector using the initial deviation vector, and correcting the initial deviation vector, the motion vector of the sequentially input video signal is obtained. In the motion vector detection device to detect,
Motion vector detecting means for detecting a motion vector of the video signal by a block matching method and outputting a motion vector by the block matching method;
Selection output means for detecting and outputting the initial deviation vector from the detected motion vector;
Detecting means for detecting a macroblock whose movement is suddenly changed from the video signal;
A motion vector according to the block matching method is added to a selection target of the initial deviation vector in the selection output means in the macro block whose motion has suddenly changed based on a detection result by the detection means. Detection device.
前記初期偏位ベクトルの選択に係る前記既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前マクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定する
ことを特徴とする請求項4に記載の動きベクトル検出装置。 The detection means includes
An inter-field difference value obtained by correcting the motion of the immediately preceding field with the detected motion vector related to the selection of the initial deviation vector, and an inter-field difference value detected with the detected motion vector in the immediately preceding macroblock The motion vector detection device according to claim 4, wherein when the difference value is greater than a predetermined determination reference value, it is determined that the motion has suddenly changed.
前記初期偏位ベクトルの選択に係る前記既検出の動きベクトルにより直前フィールドを動き補正して得られるフィールド間差分値と、直前フィールドの対応するマクロブロックで既検出の動きベクトルで検出されるフィールド間差分値との差分値が所定の判定基準値より大きい場合、動きが急変した場合と判定する
ことを特徴とする請求項4又は請求項5に記載の動きベクトル検出装置。 The detection means includes
The inter-field difference value obtained by correcting the motion of the immediately preceding field with the previously detected motion vector related to the selection of the initial deviation vector and the field detected with the motion vector already detected in the corresponding macroblock of the immediately preceding field The motion vector detection device according to claim 4 or 5, wherein when the difference value from the difference value is larger than a predetermined determination reference value, it is determined that the motion has suddenly changed.
ことを特徴とする請求項4、請求項5又は請求項6に記載の動きベクトル検出装置。 Adding a motion vector generated from the motion vector based on the block matching method to the selection target of the initial displacement vector in the selection output means in the macro block whose motion has suddenly changed; The motion vector detection device according to claim 4, 5, or 6.
ことを特徴とする請求項7に記載の動きベクトル検出装置。 The motion vector detection according to claim 7, wherein the motion vector generated from the motion vector by the block matching method is a motion vector obtained by smoothing the motion vector by the block matching method by a two-dimensional low-pass filter. apparatus.
ことを特徴とする請求項7又は請求項8に記載の動きベクトル検出装置。 The motion vector generated from the motion vector by the block matching method is a motion vector obtained by smoothing the motion vector by the block matching method in a time axis direction by a low-pass filter. The motion vector detection device described.
ことを特徴とする請求項7、請求項8又は請求項9に記載の動きベクトル検出装置。
The motion vector detection device according to claim 7, wherein the motion vector generated from the motion vector by the block matching method is a motion vector that occupies most in the immediately preceding field.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004266177A JP2005202921A (en) | 2003-12-17 | 2004-09-14 | Motion vector detector |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003418884 | 2003-12-17 | ||
JP2004266177A JP2005202921A (en) | 2003-12-17 | 2004-09-14 | Motion vector detector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005202921A true JP2005202921A (en) | 2005-07-28 |
Family
ID=34829203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004266177A Pending JP2005202921A (en) | 2003-12-17 | 2004-09-14 | Motion vector detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005202921A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012108088A1 (en) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | Differing region detection system and differing region detection method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55162683A (en) * | 1979-06-07 | 1980-12-18 | Nippon Hoso Kyokai <Nhk> | Movement detection method for television picture |
JPS55162684A (en) * | 1979-06-07 | 1980-12-18 | Nippon Hoso Kyokai <Nhk> | Asymptotic detection method of picture dynamic vector |
JPS60158786A (en) * | 1984-01-30 | 1985-08-20 | Kokusai Denshin Denwa Co Ltd <Kdd> | Detection system of picture moving quantity |
JPH0478286A (en) * | 1990-07-18 | 1992-03-12 | Oki Electric Ind Co Ltd | Detection method for moving vector using initial deviation vector |
JPH07135663A (en) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | Method and device for detecting movement vector |
JPH0865674A (en) * | 1994-08-26 | 1996-03-08 | Oki Electric Ind Co Ltd | Motion vector detector |
JPH11250264A (en) * | 1998-03-05 | 1999-09-17 | Nippon Hoso Kyokai <Nhk> | Method and device for estimating motion vector |
JPH11313322A (en) * | 1998-04-30 | 1999-11-09 | Sony Corp | Image signal processing unit and its method |
JP2003163935A (en) * | 2001-11-27 | 2003-06-06 | Shibasoku:Kk | Method and program for detecting movement vector |
-
2004
- 2004-09-14 JP JP2004266177A patent/JP2005202921A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55162683A (en) * | 1979-06-07 | 1980-12-18 | Nippon Hoso Kyokai <Nhk> | Movement detection method for television picture |
JPS55162684A (en) * | 1979-06-07 | 1980-12-18 | Nippon Hoso Kyokai <Nhk> | Asymptotic detection method of picture dynamic vector |
JPS60158786A (en) * | 1984-01-30 | 1985-08-20 | Kokusai Denshin Denwa Co Ltd <Kdd> | Detection system of picture moving quantity |
JPH0478286A (en) * | 1990-07-18 | 1992-03-12 | Oki Electric Ind Co Ltd | Detection method for moving vector using initial deviation vector |
JPH07135663A (en) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | Method and device for detecting movement vector |
JPH0865674A (en) * | 1994-08-26 | 1996-03-08 | Oki Electric Ind Co Ltd | Motion vector detector |
JPH11250264A (en) * | 1998-03-05 | 1999-09-17 | Nippon Hoso Kyokai <Nhk> | Method and device for estimating motion vector |
JPH11313322A (en) * | 1998-04-30 | 1999-11-09 | Sony Corp | Image signal processing unit and its method |
JP2003163935A (en) * | 2001-11-27 | 2003-06-06 | Shibasoku:Kk | Method and program for detecting movement vector |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012108088A1 (en) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | Differing region detection system and differing region detection method |
US9424469B2 (en) | 2011-02-10 | 2016-08-23 | Nec Corporation | Differing region detection system and differing region detection method |
JP5991488B2 (en) * | 2011-02-10 | 2016-09-14 | 日本電気株式会社 | Different region detection system and different region detection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20080151106A1 (en) | Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images | |
JP2000134585A (en) | Motion vector deciding method and method and circuit for number of frames of image signal conversion | |
JP3960258B2 (en) | Signal processing apparatus and signal processing method | |
JP4342032B2 (en) | Interpolation field generation circuit and field double speed conversion circuit | |
JP4861636B2 (en) | Image processing apparatus and image processing program | |
US8605790B2 (en) | Frame interpolation apparatus and method for motion estimation through separation into static object and moving object | |
JP2005051460A (en) | Apparatus and method for processing video signal | |
US20060033839A1 (en) | De-interlacing method | |
JP2000201328A (en) | Method and circuit for detecting motion vector | |
JP2006203597A (en) | Digital image decoder and decoding method | |
JPH1051787A (en) | Motion vector detector | |
JP2007243627A (en) | Video signal processor | |
JP2005202921A (en) | Motion vector detector | |
JP4261381B2 (en) | Video signal processing device | |
JP2947103B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP2642846B2 (en) | Motion detector between fields | |
JP3121519B2 (en) | Motion interpolation method and motion interpolation circuit using motion vector, and motion vector detection method and motion vector detection circuit | |
JP2008118340A (en) | Motion vector detecting device and video signal processor | |
JP3022977B2 (en) | Television signal interpolation method | |
JP2006129326A (en) | Motion vector detecting device | |
JP2006303910A (en) | Film mode detecting apparatus | |
JP4274430B2 (en) | Motion vector detection device | |
JPS6225587A (en) | Detector circuit for moving vector | |
KR100624304B1 (en) | Apparatus and method for de-interlacing adaptively field image by using motion | |
JP3172323B2 (en) | Video signal format converter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110111 |