JP2000201328A - Method and circuit for detecting motion vector - Google Patents

Method and circuit for detecting motion vector

Info

Publication number
JP2000201328A
JP2000201328A JP258299A JP258299A JP2000201328A JP 2000201328 A JP2000201328 A JP 2000201328A JP 258299 A JP258299 A JP 258299A JP 258299 A JP258299 A JP 258299A JP 2000201328 A JP2000201328 A JP 2000201328A
Authority
JP
Japan
Prior art keywords
motion vector
block
vector
detecting
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP258299A
Other languages
Japanese (ja)
Inventor
Yasuhiro Hirano
裕弘 平野
Masahito Sugiyama
雅人 杉山
Mitsuo Nakajima
満雄 中嶋
Yasutaka Tsuru
康隆 都留
Takaaki Matono
孝明 的野
Haruki Takada
春樹 高田
Kazuo Ishikura
和夫 石倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP258299A priority Critical patent/JP2000201328A/en
Publication of JP2000201328A publication Critical patent/JP2000201328A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To highly accurately and efficiently detect a motion vector suitable for motion correcting processing by performing search processing to a mini block for which a block is horizontally/vertically fractionized, based on this motion vector. SOLUTION: Among detected reference vectors RMV, one of least predictive error is set as a representative vector TMV (S2). Concerning a block having the representative vector TMV of predictive error more than a prescribed value, a search area determined from a search setting signal MOD is searched again by block matching processing and a motion vector MV1 is generated (S3). A special vector is detected from the correlation of the motion vector with a block adjacent to the target block and replaced with the motion vector of high correlation and an erroneous detection vector is removed. Then, an accurate motion vector MV is generated (S4). A motion vector is generated for each mini block fractionized horizontally/vertically and in this output, a motion vector PV for the unit of pixel suitable for motion correcting processing is obtained (S5).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は画像の単位時間当た
りの動きベクトルを検出する方法および回路に係り、特
に動き補正処理を用いたフレーム数変換や飛び越し〜順
次の走査変換などの信号処理に好適な動きベクトルの検
出方法および回路に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and a circuit for detecting a motion vector per unit time of an image, and is particularly suitable for signal processing such as frame number conversion and interlaced to sequential scan conversion using a motion correction process. The present invention relates to a method and a circuit for detecting a simple motion vector.

【0002】[0002]

【従来の技術】近年、情報家電端末として、テレビジョ
ン受像機やPCでは、画像信号の各種フォーマット変換
機能、例えば、フレーム数変換、飛び越し〜順次の走査
変換、画素数変換などの機能が必要になっている。そし
て、これらのフォーマット変換機能を高画質で行うた
め、動き補正処理を用いた信号処理の関心が高まってい
る。
2. Description of the Related Art In recent years, television receivers and PCs as information home appliances have required various format conversion functions for image signals, such as frame number conversion, interlaced to sequential scan conversion, and pixel number conversion. Has become. In order to perform these format conversion functions with high image quality, interest in signal processing using motion correction processing is increasing.

【0003】さて、画像の高能率符号化の分野では動き
補償の予測符号化が主流になってきた。これは、ブロッ
ク単位(例えば、8画素×8ライン)で検出した動きベ
クトルで画像の位置を移動させて生成する予測フレーム
の信号と、現フレームの信号との誤差成分を符号化す
る。従って、動きベクトルはブロック単位でよく、ま
た、検出精度が悪くても符号化効率が若干悪くなるだけ
で、画質を著しく劣化させることはない。
In the field of high-efficiency coding of images, predictive coding for motion compensation has become mainstream. This encodes an error component between a signal of a predicted frame generated by moving a position of an image by a motion vector detected in a block unit (for example, 8 pixels × 8 lines) and a signal of a current frame. Therefore, the motion vector may be a block unit, and even if the detection accuracy is low, the coding efficiency is slightly lowered, but the image quality is not significantly degraded.

【0004】一方、動き補正処理を用いた高画質化のた
めの信号処理では、動きベクトルが不正確であると画像
の一部が無関係な画像に置き換わるといった目障りな画
質劣化が発生する。したがって、動きベクトルの検出で
は高精度が要求される。また、信号処理を画素毎に行う
ため、画素毎での動きベクトルが必要になる。
[0004] On the other hand, in signal processing for improving image quality using the motion correction processing, an inaccurate motion vector causes an unsightly image quality degradation such that a part of an image is replaced by an unrelated image. Therefore, high accuracy is required for detecting a motion vector. In addition, since the signal processing is performed for each pixel, a motion vector for each pixel is required.

【0005】動き補正処理に適した動きベクトルの検出
方法としてこれまで多くの考案がなされている。例え
ば、特開平7−170496号公報では動きベクトルを
効率よく探索する方法が開示されている。しかしなが
ら、これら従来技術では動きベクトルの検出精度に課題
を有し、動き補正処理を用いた信号処理を実現するうえ
で大きな障害になっている。
Many methods have been devised so far as a method of detecting a motion vector suitable for a motion correction process. For example, JP-A-7-170496 discloses a method for efficiently searching for a motion vector. However, these prior arts have a problem in the accuracy of detecting a motion vector, which is a major obstacle in realizing signal processing using motion correction processing.

【0006】[0006]

【発明が解決しようとする課題】本発明は、上記の問題
に鑑みてなされたもので、動き補正処理に適した動きベ
クトルを高精度、かつ効率よく検出する動きベクトルの
検出方法および回路の提供を目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and provides a method and a circuit for detecting a motion vector which efficiently and efficiently detects a motion vector suitable for a motion correction process. With the goal.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するた
め、本発明においては以下に述べる技術的手段を採用す
る。
In order to achieve the above object, the present invention employs the following technical means.

【0008】動きベクトルの検出は段階的に行い、ま
ず、ブロックマッチング処理をベースとしたブロック単
位の動きベクトルの検出、次に、ブロックを水平・垂直
に細分化したミニブロックに対してこの動きベクトルを
もとに探索処理し、最終的に画素毎の動きベクトルを検
出する。そして、各段階では、既検出した動きベクトル
の情報、および画像の動きの特徴をフルに活用した検出
処理を行う。
The detection of the motion vector is performed stepwise. First, the detection of the motion vector for each block is performed based on the block matching processing. , And finally a motion vector for each pixel is detected. Then, in each stage, a detection process that makes full use of the information of the motion vector that has been detected and the features of the motion of the image is performed.

【0009】ブロック間では動きベクトルの相関が高い
性質に着目し、ブロック単位の動きベクトルの検出で
は、対象ブロックに隣接するブロックの既検出の動きベ
クトルのうちで予測誤差成分が最少なものを対象ブロッ
クの代表ベクトルに設定する。そして、この代表ベクト
ルによる予測誤差が所定値を越えるときは、所定領域内
の既検出した動きベクトルより算出した平均速度とその
方向で規定する探索領域をブロックマッチング処理で探
索し、対象ブロックの動きベクトルを検出する。
Focusing on the property that the motion vector has a high correlation between the blocks, the detection of a motion vector in units of a block is based on the motion vector having the smallest prediction error component among the motion vectors already detected in the blocks adjacent to the target block. Set to the representative vector of the block. When the prediction error caused by the representative vector exceeds a predetermined value, a search area defined by the average speed and the direction calculated from the already detected motion vectors in the predetermined area is searched for by a block matching process. Find the vector.

【0010】次に、隣接ブロックの動きベクトルとの相
関の低い動きベクトルを特異ベクトルとして検出し、隣
接ブロックの動きベクトルのうちで予測誤差が最少なも
ので置き換える修正を行う。
Next, a motion vector having a low correlation with a motion vector of an adjacent block is detected as a singular vector, and correction is performed by replacing the motion vector of the adjacent block with a motion vector having a minimum prediction error.

【0011】以上の技術的手段により、ブロック単位の
動きベクトルを、高精度、かつ、効率よく検出すること
が可能になる。
With the above technical means, it is possible to detect a motion vector in block units with high accuracy and efficiency.

【0012】最終目標である画素毎の動きベクトルの検
出は、ブロックを水平・垂直に細分化したミニブロック
に対して、予測誤差が設定値未満の時は対象ブロックの
動きベクトル、設定値以上のミニブロックでは、対象ブ
ロックおよびこれに隣接するブロックの動きベクトルの
うちで予測誤差が最少なものを、それぞれミニブロック
内の画素の動きベクトルに割り当てる。この際、ミニブ
ロックのサイズを例えば、2画素×2ライン程度と設定
すれば、ミニブロック内の画素はほぼ同じ動きベクトル
となる可能性が極めて高く、効率よく画素毎の動きベク
トルを検出することができる。
The detection of a motion vector for each pixel, which is the final target, is performed for a mini-block obtained by subdividing a block horizontally and vertically, when the prediction error is smaller than a set value, the motion vector of the target block, and In the mini-block, among the motion vectors of the target block and blocks adjacent thereto, the one with the smallest prediction error is assigned to the motion vector of each pixel in the mini-block. At this time, if the size of the mini-block is set to, for example, about 2 pixels × 2 lines, it is extremely likely that the pixels in the mini-block will have almost the same motion vector, and the motion vector for each pixel can be efficiently detected. Can be.

【0013】また、ブロック単位の動きベクトルの検出
では、フレーム間の差分信号成分より静止ブロックと動
画ブロックに判別し、動きベクトルの検出は動画ブロッ
クのみに限定して行う。
In detecting a motion vector in block units, a still block and a moving image block are determined based on a difference signal component between frames, and the detection of a motion vector is performed only for a moving image block.

【0014】さらに、動き補償予測符号化で用いる動き
ベクトル情報を活用し、これを所定単位時間当たりの動
きベクトルに変換したものを併用して代表ベクトルの設
定を行う。
Further, the motion vector information used in the motion compensation predictive coding is utilized, and a representative vector is set by using the converted motion vector information per unit time.

【0015】これらの技術的手段により、動き補正処理
に適した動きベクトルを、より高精度、より効率よく検
出することが可能になる。
With these technical means, it becomes possible to detect a motion vector suitable for the motion correction processing with higher accuracy and more efficiently.

【0016】[0016]

【発明の実施の形態】(実施例1)本発明の第1の実施
例について、図1〜図12の図面で説明する。図1は本
発明の実施例1の動きベクトル検出回路のこのブロック
構成を示し、遅延部1、代表ベクトル設定部2、再探索
部3、特異ベクトル検出部4、ミニブロック探索部5、
メモリ部6、ベクトル解析部7、制御部8で構成され
る。
(Embodiment 1) A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 shows this block configuration of the motion vector detection circuit according to the first embodiment of the present invention. The delay unit 1, the representative vector setting unit 2, the re-search unit 3, the singular vector detection unit 4, the mini-block search unit 5,
It comprises a memory unit 6, a vector analysis unit 7, and a control unit 8.

【0017】入力画像信号S1(走査形態は飛び越し走
査もしくは順次走査、信号成分は輝度信号もしくは輝度
信号と色差信号のいずれの組み合わせも可能)の一方は
遅延部1に入力し、所定の単位時間遅延させた信号S2
を生成する。例えば、フレーム数変換処理で使用する場
合は信号S2は1フレーム期間遅延させた信号、飛び越
し〜順次の走査変換で使用する場合は信号S2は数フレ
ーム期間遅延させた信号である。
One of the input image signals S1 (the scanning mode is interlaced scanning or sequential scanning, and the signal component can be a luminance signal or any combination of a luminance signal and a chrominance signal) is input to the delay unit 1 and is delayed by a predetermined unit time. Signal S2
Generate For example, when used in the frame number conversion process, the signal S2 is a signal delayed by one frame period, and when used in interlaced to sequential scan conversion, the signal S2 is a signal delayed by several frame periods.

【0018】代表ベクトル設定部2は、図2に示す動き
ベクトル検出のフローチャートの第1、第2ステップの
信号処理を行う。すなわち、対象ブロックが静止/動画
ブロックのいずれかを判別し、静止ブロックの時は代表
ベクトルTMVに0、動画ブロックの時は既検出の参照
ベクトルRMVのうちで予測誤差が最少なものを代表ベ
クトルTMVに設定する。なお、ブロックのサイズは、
例えば、水平8画素×垂直8ラインである。
The representative vector setting unit 2 performs the signal processing of the first and second steps in the flowchart of the motion vector detection shown in FIG. That is, it is determined whether the target block is a still / moving block. If the target block is a still block, 0 is added to the representative vector TMV. Set to TMV. The size of the block is
For example, there are 8 horizontal pixels × 8 vertical lines.

【0019】再探索部3は、図2のフローチャートの第
3ステップの信号処理を行う。すなわち、代表ベクトル
TMVの予測誤差が所定値以上のブロックに対し、探索
設定信号MODで定まる探索領域をブロックマッチング
処理で再探索し、動きベクトルMV1を生成する。
The re-search section 3 performs the signal processing of the third step in the flowchart of FIG. That is, for a block in which the prediction error of the representative vector TMV is equal to or larger than a predetermined value, the search area determined by the search setting signal MOD is re-searched by the block matching process to generate the motion vector MV1.

【0020】特異ベクトル検出部4は、図2のフローチ
ャートの第4ステップの信号処理を行う。すなわち、対
象ブロックとこれに隣接するブロックとの動きベクトル
の相関から特異ベクトルを検出し、相関の高い動きベク
トルで置換する修正処理を行い、誤検出ベクトル(画像
本来の動きとは異なる動きのベクトル)を除去する。そ
して、精度の高い動きベクトルMVを生成する。
The singular vector detector 4 performs the signal processing of the fourth step in the flowchart of FIG. That is, a singular vector is detected from the correlation between the motion vector of the target block and a block adjacent thereto, and a correction process of replacing the singular vector with a motion vector having a high correlation is performed. ) Is removed. Then, a highly accurate motion vector MV is generated.

【0021】動きベクトルMVの一方は、メモリ部6に
記憶し、既検出の参照ベクトルRMVを出力する。ま
た、ベクトル解析部7は、この出力をもとに、所定領域
における動きベクトルの平均速度、方向などの動きベク
トル情報MVIFを抽出する。
One of the motion vectors MV is stored in the memory unit 6 and outputs a detected reference vector RMV. Further, the vector analysis unit 7 extracts motion vector information MVIF such as an average speed and a direction of a motion vector in a predetermined area based on the output.

【0022】ミニブロック探索部5は、図2のフローチ
ャートの第5ステップの信号処理を行う。すなわち、ブ
ロックを水平・垂直方向に細分化したミニブロック(サ
イズは例えば水平2画素×垂直2ライン)毎の動きベク
トルを生成する。そして、この出力に動き補正処理に適
した画素単位の動きベクトルPVを得る。
The mini-block search unit 5 performs the signal processing of the fifth step in the flowchart of FIG. That is, a motion vector is generated for each mini-block (the size is, for example, two horizontal pixels × two vertical lines) obtained by subdividing the block in the horizontal and vertical directions. Then, a motion vector PV in pixel units suitable for the motion correction process is obtained from this output.

【0023】制御部8は、動きベクトル情報MVIFよ
り探索設定信号MODを生成する。また、図面には明示
されていないが、各ブロックでの信号処理の動作に必要
な信号類を生成する。
The control unit 8 generates a search setting signal MOD from the motion vector information MVIF. Although not explicitly shown in the drawings, signals necessary for signal processing operation in each block are generated.

【0024】以上で全体構成の説明を終え、以下では、
各ブロックの構成、動作について詳述する。
The description of the overall configuration is now complete.
The configuration and operation of each block will be described in detail.

【0025】初めに代表ベクトル設定部2について、図
3〜図4の図面で説明する。図3は代表ベクトル設定部
2の一構成例を示し、静止動画ブロック判別部9、演算
部10、判定部11で構成される。
First, the representative vector setting unit 2 will be described with reference to FIGS. FIG. 3 shows an example of the configuration of the representative vector setting unit 2, which includes a still and moving image block determining unit 9, a calculating unit 10, and a determining unit 11.

【0026】静止動画ブロック判別部9は、まず、信号
S1とS2との減算処理でフレーム間(例えば、1〜数
フレーム期間)の差分信号成分を抽出する。そして、こ
の差分成分が閾値未満の画素の占める比率が例えば10
%以上のブロックは静止ブロック、以下は動画ブロック
と判別し、信号SMFに静止ブロックでは0、動画ブロ
ックでは1を出力する。
First, the still / moving block discriminating section 9 extracts a difference signal component between frames (for example, one to several frame periods) by subtraction processing of the signals S1 and S2. Then, the ratio of pixels whose difference components are smaller than the threshold value is, for example, 10
The blocks equal to or more than% are determined to be still blocks, and the following blocks are determined to be moving image blocks.

【0027】演算部10−1〜10−nは、既検出の参
照ベクトルRMVi(i=1,…,n)に対して、数1
に示す予測誤差ERiの算出を行う。そして、既検出の
参照ベクトルRMV1〜RMVnと、その予測誤差ER
1〜ERnとを出力する。
The arithmetic units 10-1 to 10-n calculate the following equation 1 with respect to the detected reference vector RMVi (i = 1,..., N).
Of the prediction error ERi shown in FIG. Then, the detected reference vectors RMV1 to RMVn and their prediction errors ER
1 to ERn.

【0028】[0028]

【数1】 ERi=Σ|S1(x,y)−S2(x+Vxi,y+Vyi)| …(1) (ここに、S1(x,y)は対象ブロック内の画素
(x,y)の信号、S2(x+Vxi,y+Vyi)は
画素(x,y)を参照ベクトルRMVi(x方向成分V
xi、y方向成分Vyi)で位置を移動させた点の信
号、記号||はその絶対値、Σは対象ブロック内の画素
の総和を示す) 図4は、この既検出の参照ベクトルの一例である。対象
ブロックに隣接するブロックの動きベクトルを参照ベク
トルとして使用する。なお、対象ブロックより以前では
現フレームで検出した動きベクトル、以降(図面中の斜
線で示す領域)では前フレームで検出した動きベクトル
がそれぞれ参照ベクトルになる。
ERi = Σ | S1 (x, y) −S2 (x + Vxi, y + Vyi) | (1) (where S1 (x, y) is the signal of pixel (x, y) in the target block, S2 (x + Vxi, y + Vyi) uses pixel (x, y) as a reference vector RMVi (x-direction component V
xi, y-direction component Vyi) The signal of the point whose position has been moved, the symbol || indicates its absolute value, and Σ indicates the sum of the pixels in the target block. FIG. 4 shows an example of this detected reference vector. is there. A motion vector of a block adjacent to the target block is used as a reference vector. The motion vector detected in the current frame before the target block is used as a reference vector, and the motion vector detected in the previous frame is used as a reference vector thereafter (in the hatched area in the drawing).

【0029】図3に戻り、判定部11は、信号SMFが
0の静止ブロックは代表ベクトルTMVと予測誤差ER
Tに0を出力する。一方、信号SMFが1の動画ブロッ
クでは、予測誤差ER1〜ERnのうちで最少なものを
検出し、対応する参照ベクトルを代表ベクトルTMV、
その予測誤差をERTに出力する。
Returning to FIG. 3, the determination unit 11 determines that the stationary block whose signal SMF is 0 is the representative vector TMV and the prediction error ER.
Outputs 0 to T. On the other hand, in the moving image block in which the signal SMF is 1, the smallest one of the prediction errors ER1 to ERn is detected, and the corresponding reference vector is represented by the representative vector TMV,
The prediction error is output to ERT.

【0030】次に、再探索部3について、図5〜図7の
図面で説明する。図5は上記再探索部3の一構成例で、
第1探索領域設定部12、ブロックマッチング処理部1
3、16、第2探索領域設定部15、設定部14、17
からなる。
Next, the re-search section 3 will be described with reference to FIGS. FIG. 5 shows an example of the configuration of the re-search section 3.
First search area setting unit 12, block matching processing unit 1
3, 16, second search area setting unit 15, setting units 14, 17
Consists of

【0031】第1探索領域設定部12は、制御部からの
探索設定信号MODに従い、図6に示す特性でブロック
マッチング処理で探索する領域を指定する制御信号SR
1を生成する。
The first search area setting section 12 controls a control signal SR for designating an area to be searched in the block matching process with the characteristics shown in FIG. 6 according to the search setting signal MOD from the control section.
1 is generated.

【0032】すなわち、MODが1〜3で平均の動きベ
クトルの方向ang(ang=ave|Vy|/ave|Vx
|で、ave|Vx|、ave|Vy|は平均水平速度、平均
垂直速度)が1/2以下の水平方向の動きが主体の時
は、制御信号SR1は、平均水平速度ave|Vx|の大
小に比例する0.5〜2の値の探索範囲設定係数Sxで
水平方向の探索領域DXは12*Sx画素と広く、垂直
方向の探索領域DYは1〜4ラインと狭い横長形状の領
域を指定する。
That is, when the MOD is 1 to 3 and the direction of the average motion vector is ang (ang = ave | Vy | / ave | Vx
│, ave│Vx│, ave│Vy│ are average horizontal speeds and average vertical speeds), and when the horizontal movement is 1 / or less, the control signal SR1 indicates that the average horizontal speed ave│Vx│ With a search range setting coefficient Sx of a value of 0.5 to 2 proportional to the magnitude, the horizontal search area DX is as wide as 12 * Sx pixels, and the vertical search area DY is a narrow horizontally long area as 1 to 4 lines. specify.

【0033】また、MODが4のベクトル方向が1/2
<ang<2の時は、制御信号SR1は、水平方向の最
大探索領域DXが12*Sx画素、垂直方向の最大探索
領域DYが12*Syラインとなる四角形状の領域を指
定する。なお、探索範囲設定係数Syは、平均垂直速度
ave|Vy|の大小に比例する0.5〜2の値をとる。
The vector direction of MOD = 4 is 4
When <ang <2, the control signal SR1 specifies a rectangular area in which the horizontal maximum search area DX is 12 * Sx pixels and the vertical maximum search area DY is 12 * Sy lines. Note that the search range setting coefficient Sy is an average vertical speed.
ave | Vy | takes a value of 0.5 to 2 in proportion to the magnitude of ave | Vy |.

【0034】一方、MODが5〜7でベクトル方向が2
以上の垂直方向の動きが主体の時は、制御信号SR1
は、水平方向の探索領域DXは1〜4画素と狭く、垂直
方向の探索領域DYは12*Syと広い、縦長形状の領
域を指定する。
On the other hand, if the MOD is 5 to 7 and the vector direction is 2
When the above vertical movement is the main, the control signal SR1
Specifies a vertically long area where the horizontal search area DX is as narrow as 1 to 4 pixels and the vertical search area DY is as wide as 12 * Sy.

【0035】以上に述べた処理を行うことで、探索領域
を画像の動きにマッチした領域に設定することができ
る。
By performing the processing described above, the search area can be set to an area that matches the motion of the image.

【0036】図5に戻り、ブロックマッチング処理部1
3は、制御信号SR1で指定された探索領域について、
逐次、ブロックマッチング処理を行い、動きベクトルM
VBiとその予測誤差ERを出力する。
Returning to FIG. 5, the block matching processing unit 1
3 is for the search area specified by the control signal SR1
A block matching process is sequentially performed, and a motion vector M
VBi and its prediction error ER are output.

【0037】設定部14は、この予測誤差ERに対し
て、逐次、大小比較を行い、予測誤差が最少なものを検
出する。そして、その動きベクトルMVBと予測誤差E
Rminを出力する。
The setting section 14 sequentially compares the magnitudes of the prediction errors ER and detects the one with the smallest prediction error. Then, the motion vector MVB and the prediction error E
Outputs Rmin.

【0038】次に、予測誤差の大小と動きベクトルの精
度との間にはかなり高い相関があることに着目し、第2
探索領域設定部15は、図7(a)に示すように、動き
ベクトルMVBを起点にブロックマッチング処理で第2
探索する領域を、予測誤差が小では実線、中では点線、
大では太線の領域に指定する制御信号SR2を生成す
る。この特性例を図7(b)に示す。まず、予測誤差E
Rminが設定値th未満の時は動きベクトルの精度は高
いと判定する。そして、制御信号SR2は、探索設定係
数Scが0で第2探索の水平方向の探索領域DXS、垂
直方向の探索領域DYSのいずれもが0の領域を指定す
る。したがって、この時には、第2探索は行わないこと
になる。
Next, focusing on the fact that there is a fairly high correlation between the magnitude of the prediction error and the accuracy of the motion vector,
As illustrated in FIG. 7A, the search area setting unit 15 performs a second block matching process using the motion vector MVB as a starting point.
If the prediction error is small, a solid line, a dotted line,
In a large case, a control signal SR2 for specifying a region indicated by a thick line is generated. An example of this characteristic is shown in FIG. First, the prediction error E
When Rmin is less than the set value th, it is determined that the accuracy of the motion vector is high. The control signal SR2 specifies an area where the search setting coefficient Sc is 0 and both the horizontal search area DXS and the vertical search area DYS of the second search are 0. Therefore, at this time, the second search is not performed.

【0039】一方、予測誤差ERminが設定値th以上
の時は、動きベクトルの精度は悪いと判断し、第2探索
で精度の向上を図る。そこで、制御信号SR2は、第2
探索の水平方向の探索領域DXS=DX*Scと垂直方
向の探索領域DYS=DY*Scの領域を指定する。な
お、DX,DYは、第1探索領域設定部で指定したもの
である。また、予測誤差がth〜th1では探索設定係
数Scを0.2、th1〜th2では0.4、th2以
上では0.6と設定し、予測誤差に比例して探索領域を
拡大する。
On the other hand, when the prediction error ERmin is equal to or larger than the set value th, it is determined that the accuracy of the motion vector is low, and the accuracy is improved in the second search. Therefore, the control signal SR2 is
The horizontal search area DXS = DX * Sc and the vertical search area DYS = DY * Sc are specified. Note that DX and DY are specified by the first search area setting unit. Further, the search setting coefficient Sc is set to 0.2 when the prediction error is from th to th1, set to 0.4 for th1 to th2, and set to 0.6 for th2 or more, and the search area is enlarged in proportion to the prediction error.

【0040】図5のブロックマッチング処理部16は、
動きベクトルMVBを起点に制御信号SR2で指定され
た探索領域を逐次ブロックマッチング処理し、動きベク
トルMVBmとその予測誤差ERRを出力する。
The block matching processing unit 16 in FIG.
The search area specified by the control signal SR2 is sequentially subjected to block matching processing starting from the motion vector MVB, and the motion vector MVBm and its prediction error ERR are output.

【0041】設定部17は、この予測誤差ERRを逐次
大小比較し、予測誤差が最少なものを検出する。そし
て、その動きベクトルMV1を出力する。
The setting unit 17 sequentially compares the prediction errors ERR in magnitude, and detects the one with the smallest prediction error. Then, the motion vector MV1 is output.

【0042】次に、特異ベクトル検出部4について、図
8〜図9の図面で説明する。図8は上記特異ベクトル検
出部4の一構成例で、予測誤差算出部18、ベクトル相
関検出部19、判別部20からなる。
Next, the singular vector detecting section 4 will be described with reference to FIGS. FIG. 8 shows an example of the configuration of the singular vector detection unit 4, which includes a prediction error calculation unit 18, a vector correlation detection unit 19, and a determination unit 20.

【0043】ベクトル相関検出部19は、図9に示すよ
うに、対象ブロックと隣接する上、左、右、下のブロッ
クの動きベクトルの相関を調べ、相関の少ない特異ベク
トルを検出する。具体的には、対象ブロックの動きベク
トルMVが、隣接する4つのブロックの動きベクトルM
Vu,MVl,MVr,MVdのいずれかと一致する時
は相関が高いと判定して信号SVFには0を出力する。
一方、MVが4つの動きベクトルのいずれとも異なる時
は特異ベクトルと判定し、信号SVFに1を出力する。
なお、この特異ベクトルの殆どは誤検出ベクトル(前述
したように画像の動きとは異なるベクトル)に相当す
る。
As shown in FIG. 9, the vector correlation detecting section 19 examines the correlation between the motion vectors of the upper, left, right, and lower blocks adjacent to the target block, and detects a singular vector having a small correlation. Specifically, the motion vector MV of the target block is the motion vector M of the four adjacent blocks.
When it matches any of Vu, MVl, MVr, and MVd, it is determined that the correlation is high, and 0 is output to the signal SVF.
On the other hand, when the MV is different from any of the four motion vectors, the MV is determined to be a singular vector, and 1 is output to the signal SVF.
Most of the singular vectors correspond to erroneous detection vectors (vectors different from the motion of the image as described above).

【0044】図8の予測誤差算出部18は、対象ブロッ
ク上で前記数1に示した予測誤差を、上述した4つの動
きベクトルに対して逐次算出し、その動きベクトルMV
1i(図9のMVu,MVl,MVr,MVd)と予測
誤差ERRを出力する。
The prediction error calculator 18 shown in FIG. 8 sequentially calculates the prediction error shown in the above equation (1) on the target block with respect to the above four motion vectors, and calculates the motion vector MV.
1i (MVu, MVl, MVr, MVd in FIG. 9) and a prediction error ERR.

【0045】設定部20は、信号SVFが0の時は、対
象ブロックの動きベクトルMVとその予測誤差、信号S
VFが1の時は、4つの動きベクトルのうちで予測誤差
が最少な動きベクトルとその予測誤差を信号MV、ER
minに出力する。この信号処理で誤検出ベクトルの発生
を大幅に抑圧する。
When the signal SVF is 0, the setting unit 20 sets the motion vector MV of the target block, its prediction error,
When VF is 1, the motion vector having the smallest prediction error among the four motion vectors and the prediction error are signal MV, ER
Output to min. This signal processing greatly suppresses the generation of erroneous detection vectors.

【0046】次にミニブロック探索部5について、図1
0〜図11の図面で説明する。図10は上記ミニブロッ
ク探索部5の一構成例で、分割探索判定部21、隣接ベ
クトル生成部22、演算部23、選択部24からなる。
Next, regarding the mini-block search section 5, FIG.
This will be described with reference to FIGS. FIG. 10 shows an example of the configuration of the mini-block search unit 5, which includes a division search determination unit 21, an adjacent vector generation unit 22, a calculation unit 23, and a selection unit 24.

【0047】分割探査判定部21は、予測誤差ERmin
の大小に応じて、ミニブロック分割探索の動作を制御す
る信号CTを生成する。具体的には、予測誤差ERmin
が設定値未満のブロックは、動きベクトルの精度は高い
と判定し、信号CTに0を出力する。一方、予測誤差が
設定値以上のブロックは動きベクトルが不正確と判定
し、信号CTに1を出力する。
The divided search judging section 21 calculates the prediction error ERmin
A signal CT for controlling the operation of the mini-block division search is generated in accordance with the magnitude of. Specifically, the prediction error ERmin
Is smaller than the set value, the accuracy of the motion vector is determined to be high, and 0 is output to the signal CT. On the other hand, for a block whose prediction error is equal to or larger than the set value, the motion vector is determined to be incorrect, and 1 is output to the signal CT.

【0048】隣接ベクトル生成部22は、図11に示す
ように、ミニブロック分割探索で使用する参照ベクトル
MVu,MVr,…,MVdを出力する。すなわち、対
象ブロックと、この周縁の左上、上、右上、左、右、左
下、下、右下のブロックの動きベクトルを参照ベクトル
として出力する。
As shown in FIG. 11, the adjacent vector generation section 22 outputs reference vectors MVu, MVr,..., MVd used in the mini-block division search. That is, the motion vector of the target block and the upper left, upper, upper right, left, right, lower left, lower, and lower right blocks of the periphery are output as reference vectors.

【0049】演算部23は、図11に示すように、ブロ
ックを水平・垂直方向に細分化したミニブロック(サイ
ズは例えば水平2画素×垂直2ライン)毎に、参照ベク
トルによる予測誤差を算出し、参照ベクトルと予測誤差
とを出力する。
As shown in FIG. 11, the calculation unit 23 calculates a prediction error based on a reference vector for each mini-block (the size is, for example, two horizontal pixels × two vertical lines) obtained by subdividing the block in the horizontal and vertical directions. , A reference vector and a prediction error.

【0050】選択部24は、信号CTが0のブロックで
は、全てのミニブロックにブロックの動きベクトルを選
択し、CTが1のブロックでは、各ミニブロック毎に予
測誤差が最少な参照ベクトルを選択し、高精度な画素単
位の動きベクトルPVを出力する。
The selector 24 selects the motion vectors of the blocks for all the mini-blocks in the block where the signal CT is 0, and selects the reference vector with the smallest prediction error for each mini-block in the block where the signal CT is 1 Then, a highly accurate motion vector PV in pixel units is output.

【0051】このミニブロック探索部5の信号処理によ
り、図11に示すように、ブロック内に異なる動きが存
在する場合(図面では点線より上部の物体は右上方向、
太字点線より下部の物体は左方向の動き)でも、上部物
体に含まれるミニブロックは予測誤差が最少になる例え
ば上ブロックの動きベクトルMVu、下部物体に含まれ
るミニブロックは予測誤差が最少になる例えば右下ブロ
ックの動きベクトルMVrdになる。したがって、ミニ
ブロック分割探索の処理で、画素の動きベクトルを高精
度に検出することができる。
According to the signal processing of the mini-block searching unit 5, as shown in FIG. 11, when there is a different motion in the block (the object above the dotted line in the drawing is in the upper right direction,
Even if the object below the bold dotted line moves leftward), the miniblock contained in the upper object has the smallest prediction error, for example, the motion vector MVu of the upper block, and the miniblock contained in the lower object has the smallest prediction error. For example, it is the motion vector MVrd of the lower right block. Therefore, the motion vector of the pixel can be detected with high accuracy in the mini-block division search processing.

【0052】なお、ミニブロック内の画素は全て同じ動
きベクトルとなるが、ミニブロックのサイズを小さくす
ることで、動き補正処理による信号処理では全く問題の
ない動きベクトルを得ることができる。
It should be noted that all the pixels in the mini-block have the same motion vector, but by reducing the size of the mini-block, it is possible to obtain a motion vector having no problem in signal processing by the motion correction processing.

【0053】最後に、ベクトル解析部7について、図1
2の図面で説明する。図12は上記ベクトル解析部7の
一構成例で、|Vx|累積部25、|Vy|累積部2
6、動き方向算出部27、|Vx|平均速度算出部2
8、|Vy|平均速度算出部29からなる。
Finally, regarding the vector analysis unit 7, FIG.
This will be described with reference to FIG. FIG. 12 shows an example of the configuration of the above-mentioned vector analysis unit 7, and | Vx | accumulation unit 25 and | Vy | accumulation unit 2
6. Motion direction calculator 27, | Vx | average speed calculator 2
8, a | Vy | average speed calculation unit 29.

【0054】|Vx|累積部25と|Vy|累積部26
は、動きベクトルMVの水平成分の絶対値|Vx|と、
垂直成分の絶対値|Vy|を所定領域の間で累積し、そ
の累積値を信号S3、S4に出力する。なお、所定領域
には、画像の1画面、あるいは1画面をN個に分割した
N分割画面の領域など様々な領域を設定することができ
る。
| Vx | accumulator 25 and | Vy | accumulator 26
Is the absolute value | Vx | of the horizontal component of the motion vector MV,
The absolute value | Vy | of the vertical component is accumulated between predetermined regions, and the accumulated value is output to signals S3 and S4. In the predetermined area, various areas such as one screen of an image or an N divided screen area obtained by dividing one screen into N pieces can be set.

【0055】動き方向算出部27は、S4をS3で除算
する演算でベクトル方向ang|Vy|/|Vx|を算
出し、動きベクトル情報MVIF1に出力する。
The motion direction calculation section 27 calculates the vector direction ang | Vy | / | Vx | by performing an operation of dividing S4 by S3, and outputs it to the motion vector information MVIF1.

【0056】|Vx|平均速度算出部28は、S3を所
定領域内の動きベクトルが0でないもののブロック数で
除算する演算で平均水平速度ave|Vx|を算出し、動
きベクトル情報MVIF2に出力する。
The | Vx | average velocity calculation unit 28 calculates the average horizontal velocity ave | Vx | by calculating S3 by dividing the number of blocks although the motion vector in the predetermined area is not 0, and outputs the result to the motion vector information MVIF2. .

【0057】|Vy|平均速度算出部29は、S4を所
定領域内の動きベクトルが0でないもののブロック数で
除算する演算で平均垂直速度ave|Vy|を算出し、動
きベクトル情報MVIF3に出力する。
The | Vy | average speed calculation unit 29 calculates the average vertical speed ave | Vy | by calculating S4 by dividing the S4 by the number of blocks although the motion vector in the predetermined area is not 0, and outputs it to the motion vector information MVIF3. .

【0058】以上に述べた如く、本発明の第1の実施例
によれば、動き補正処理に適した動きベクトルを、高精
度、かつ、効率よく検出する動きベクトルの検出回路が
実現できる。
As described above, according to the first embodiment of the present invention, it is possible to realize a motion vector detection circuit for detecting a motion vector suitable for motion correction processing with high accuracy and efficiency.

【0059】(実施例2)次に、本発明の第2の実施例
について、図13〜図15の図面で説明する。本実施例
は、動き補償予測符号化で使用する動きベクトルの情報
を併用し、より高精度な動きベクトルを検出するのに好
適なものである。
(Embodiment 2) Next, a second embodiment of the present invention will be described with reference to FIGS. The present embodiment is suitable for detecting a motion vector with higher accuracy by using information of a motion vector used in motion compensation prediction coding.

【0060】図13は本実施例のブロック構成例で、第
1の実施例にベクトル変換部30を追加して構成する。
このうち、遅延部1、代表ベクトル設定部2、再探索部
3、特異ベクトル検出部4、ミニブロック探索部5、メ
モリ部6、ベクトル解析部7、制御部8の構成や動作は
第1の実施例と同様であり、以下では、ベクトル変換部
30に関して、図14〜図15の図面で説明する。
FIG. 13 shows an example of a block configuration of this embodiment, which is configured by adding a vector conversion unit 30 to the first embodiment.
Among them, the configurations and operations of the delay unit 1, representative vector setting unit 2, re-search unit 3, singular vector detection unit 4, mini-block search unit 5, memory unit 6, vector analysis unit 7, and control unit 8 are the first. This is the same as the embodiment, and the vector conversion unit 30 will be described below with reference to FIGS.

【0061】図14は上記ベクトル変換部30の一構成
例で、Pベクトル変換部31、Bベクトル変換部32、
選択部33からなる。
FIG. 14 shows an example of the configuration of the above-mentioned vector conversion unit 30, in which a P-vector conversion unit 31, a B-vector conversion unit 32,
It comprises a selection unit 33.

【0062】動き補償予測符号化(例えばMPEGビデ
オ符号化など)の信号系列を所定の復号処理で復号して
得る動きベクトル情報MVDのうち、Pピクチャ符号化
に使用する動きベクトルは、Pベクトル変換部31で所
定の単位時間当たりの動きベクトルMTV1に変換す
る。
Among the motion vector information MVD obtained by decoding a signal sequence of motion compensation prediction coding (for example, MPEG video coding) by a predetermined decoding process, a motion vector used for P picture coding is a P vector conversion. The unit 31 converts the motion vector into a motion vector MTV1 per unit time.

【0063】この動作概略を図15(a)に示す。動き
補償予測符号化のPピクチャ符号化では、画像信号系列
のうち記号IとPで示したフレームの信号を一方向予測
の動き補償処理で符号化する。すなわち、PベクトルP
Vで位置を移動させて生成した予測フレームと現フレー
ムとの差分成分を符号化する。そして、この符号化を行
うPの記号のフレームは複数フレーム周期(図では3フ
レーム周期)にとられる。そこで、このPベクトルPV
を1/N倍する変換処理を行い、所定の単位時間、例え
ば、1フレーム期間の動きベクトルMVT1(図ではN
=3に相当)を生成する。
FIG. 15A schematically shows this operation. In the P picture coding of the motion compensation prediction coding, a signal of a frame indicated by symbols I and P in an image signal sequence is coded by a motion compensation process of one-way prediction. That is, the P vector P
The difference component between the predicted frame generated by moving the position by V and the current frame is encoded. The frame of the symbol P to be encoded is taken in a plurality of frame periods (three frame periods in the figure). Therefore, this P vector PV
Of the motion vector MVT1 (N in the figure) for a predetermined unit time, for example, one frame period.
= 3).

【0064】一方、Bベクトル変換部32は、Bピクチ
ャ符号化に使用する動きベクトルより所定の単位時間当
たりの動きベクトルMTV2に変換する。この動作概略
を図15(b)に示す。Bピクチャ符号化では、画像信
号系列のうち記号Bで示したフレームの信号を双方向の
動き補償処理で符号化する。したがって、この符号化に
使用するBベクトルBVは、方向の異なる2種類のベク
トルとなる。そこで、これらBベクトルのうちで所定の
単位時間、例えば1フレーム期間のものを選択し、動き
ベクトルMVT2を生成する。
On the other hand, the B vector conversion unit 32 converts a motion vector used for encoding a B picture into a motion vector MTV2 per a predetermined unit time. This operation is schematically shown in FIG. In the B picture encoding, a signal of a frame indicated by a symbol B in an image signal sequence is encoded by a bidirectional motion compensation process. Therefore, the B vector BV used for this encoding is two types of vectors having different directions. Therefore, a predetermined unit time, for example, one frame period is selected from these B vectors, and a motion vector MVT2 is generated.

【0065】図14に戻り、選択部33は、両者の動き
ベクトルのうち信頼性の高いもの、言い換えれば予測誤
差が少ないものを選択し、参照ベクトルRMV1に出力
する。
Referring back to FIG. 14, the selection unit 33 selects a motion vector having a high reliability from the two motion vectors, in other words, a motion vector having a small prediction error, and outputs the selected motion vector to the reference vector RMV1.

【0066】なお、代表ベクトル設定部2では、参照ベ
クトルRMVに、さらに参照ベクトルRMV1を併用し
て代表ベクトルの設定を行う。
The representative vector setting unit 2 sets the representative vector by using the reference vector RMV and the reference vector RMV1 together.

【0067】以上に述べた如く、本発明の第2の実施例
によれば、動き補正処理に適した動きベクトルを、より
高精度、かつ、効率よく検出する動きベクトルの検出回
路が実現できる。
As described above, according to the second embodiment of the present invention, it is possible to realize a motion vector detecting circuit for detecting a motion vector suitable for motion correction processing with higher accuracy and efficiency.

【0068】(実施例3)次に本発明の第3の実施例に
ついて図16の図面で説明する。本実施例はシーンチェ
ンジが発生した領域での動きベクトル検出に要する演算
量を抑圧するのに好適なものである。
Embodiment 3 Next, a third embodiment of the present invention will be described with reference to FIG. This embodiment is suitable for suppressing the amount of calculation required for detecting a motion vector in a region where a scene change has occurred.

【0069】この実施例においては、第1の実施例にシ
ーンチェンジ検出部34を追加し、制御部35では、シ
ーンチェンジの発生領域では動きベクトル検出の動作を
中止する制御を行う。なお、遅延部1、代表ベクトル設
定部2、再探索部3、特異ベクトル検出部4、ミニブロ
ック探索部5、メモリ部6、ベクトル解析部7の構成や
動作は第1の実施例と同様である。
In this embodiment, a scene change detection section 34 is added to the first embodiment, and the control section 35 controls to stop the motion vector detection operation in the scene change occurrence area. The configurations and operations of the delay unit 1, the representative vector setting unit 2, the re-search unit 3, the singular vector detection unit 4, the mini-block search unit 5, the memory unit 6, and the vector analysis unit 7 are the same as in the first embodiment. is there.

【0070】シーンチェンジ検出部34は、信号S1と
S2との減算処理でフレーム差分信号成分を抽出し、こ
れが閾値を越える画素の数が例えば1画面の半数以上の
場合をシーンチェンジの発生領域として検出する。そし
て、信号SCFに1を出力する。これ以外の場合は0を
出力する。なお、シーンチェンジ領域ではフレーム差分
信号成分のレベルが相当に大きいため、通常の動き検出
の場合に比べ、閾値はかなり高い値に設定することが望
ましい。
The scene change detecting section 34 extracts a frame difference signal component by a subtraction process between the signals S1 and S2, and sets a case where the number of pixels exceeding the threshold value is, for example, half or more of one screen as a scene change occurrence area. To detect. Then, 1 is output to the signal SCF. Otherwise, 0 is output. Since the level of the frame difference signal component is considerably large in the scene change area, it is desirable to set the threshold value to a considerably higher value than in the case of normal motion detection.

【0071】制御部35は、信号SCFが1の時は、各
ブロック動きベクトル検出の動作を中止する信号を発生
する。
When the signal SCF is 1, the control unit 35 generates a signal for stopping the operation of detecting each block motion vector.

【0072】なお、図面には明示していないが、動き補
正処理による高画質化信号処理では信号SCFが1の時
は、動き補正処理を中止するなどの動作制御に使用する
ことができる。
Although not explicitly shown in the drawings, when the signal SCF is 1 in the high-quality signal processing by the motion correction processing, it can be used for operation control such as stopping the motion correction processing.

【0073】(実施例4)最後に、本発明の第4の実施
例を図17に示す。本実施例は、前記第2の実施例にシ
ーンチェンジ検出部34を追加したものであり、制御部
35はシーンチェンジの発生領域での動きベクトル検出
を中止する制御を行うものである。この構成や動作に関
してはこれまでの説明で容易に理解できるため、説明は
省略する。
(Embodiment 4) Finally, FIG. 17 shows a fourth embodiment of the present invention. In the present embodiment, a scene change detecting section 34 is added to the second embodiment, and a control section 35 controls to stop detecting a motion vector in a scene change occurrence area. Since this configuration and operation can be easily understood from the above description, the description is omitted.

【0074】以上に述べた如く、本発明の第3、第4の
実施例によれば、動き補正処理に適した動きベクトル
を、より高精度、かつ、より効率よく検出する動きベク
トルの検出回路を実現できる。
As described above, according to the third and fourth embodiments of the present invention, a motion vector detecting circuit for detecting a motion vector suitable for motion correction processing with higher accuracy and more efficiently. Can be realized.

【0075】なお、実施例の説明では特にはふれなかっ
たが、本発明では、予測誤差の算出において、輝度信
号、あるいは輝度信号と色差信号のいずれかの信号で行
うこともできる。
Although no particular mention has been made in the description of the embodiment, in the present invention, the calculation of the prediction error can be performed using a luminance signal or any one of a luminance signal and a color difference signal.

【0076】また、本発明では、飛び越し走査、もしく
は順次走査のいずれの形態の信号に対しても適用するこ
とができる。
In the present invention, the present invention can be applied to signals in any of interlaced scanning and sequential scanning.

【0077】[0077]

【発明の効果】本発明によれば、高画質化のための動き
補正処理に適した動きベクトルを、高精度、かつ効率よ
く検出する動きベクトルの検出方法および回路を実現す
ることが可能になる。これにより動き検出回路の低コス
ト化、さらには情報家電端末の高画質化に顕著な効果を
得ることができる。
According to the present invention, it is possible to realize a method and a circuit for detecting a motion vector that accurately and efficiently detect a motion vector suitable for a motion correction process for improving image quality. . As a result, a remarkable effect can be obtained in reducing the cost of the motion detection circuit and further improving the image quality of the information home appliance terminal.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施例の動きベクトル検出回路
のブロック構成図。
FIG. 1 is a block diagram of a motion vector detection circuit according to a first embodiment of the present invention.

【図2】動きベクトル検出のフローチャート図。FIG. 2 is a flowchart of motion vector detection.

【図3】第1実施例の代表ベクトル設定部の一構成例
図。
FIG. 3 is a diagram illustrating a configuration example of a representative vector setting unit according to the first embodiment.

【図4】参照ベクトルの一例図。FIG. 4 is an example diagram of a reference vector.

【図5】第1実施例の再探索部の一構成例図。FIG. 5 is a diagram illustrating a configuration example of a re-search unit according to the first embodiment;

【図6】第1探索領域設定部の一特性例図。FIG. 6 is a characteristic example diagram of a first search area setting unit.

【図7】第2探索領域設定部の特性例図。FIG. 7 is a characteristic example diagram of a second search area setting unit.

【図8】第1実施例の特異ベクトル検出部の一構成例
図。
FIG. 8 is a diagram illustrating a configuration example of a singular vector detection unit according to the first embodiment.

【図9】ベクトル相関検出の動作概略図。FIG. 9 is an operation schematic diagram of vector correlation detection.

【図10】第1実施例のミニブロック探索部の一構成例
図。
FIG. 10 is a diagram illustrating a configuration example of a mini-block searching unit according to the first embodiment;

【図11】ミニブロック探索部の動作概略図。FIG. 11 is an operation schematic diagram of a mini-block search unit.

【図12】ベクトル解析部の一構成例図。FIG. 12 is a diagram illustrating a configuration example of a vector analysis unit.

【図13】本発明の第2の実施例の動きベクトル検出回
路のブロック構成図。
FIG. 13 is a block diagram of a motion vector detection circuit according to a second embodiment of the present invention.

【図14】第2実施例におけるベクトル変換部の一構成
例図。
FIG. 14 is a diagram illustrating a configuration example of a vector conversion unit according to the second embodiment.

【図15】ベクトル変換部の動作概略図。FIG. 15 is an operation schematic diagram of a vector conversion unit.

【図16】本発明の第3の実施例の動きベクトル検出回
路のブロック構成図。
FIG. 16 is a block diagram of a motion vector detection circuit according to a third embodiment of the present invention.

【図17】本発明の第4の実施例の動きベクトル検出回
路のブロック構成図。
FIG. 17 is a block diagram of a motion vector detection circuit according to a fourth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…遅延部、2…代表ベクトル設定部、3…再探索部、
4…特異ベクトル検出部、5…ミニブロック探索部、6
…メモリ部、7…ベクトル解析部、8,35…制御部、
9静止動画ブロック判別部、10,23…演算部、11
…判定部、12…第1探索領域設定部、13,16…ブ
ロックマッチング処理部、14,17…設定部、15…
第2探索領域設定部、18…予測誤差算出部、19…ベ
クトル相関検出部、20…判別部、21…分割探索判定
部、22…隣接ベクトル生成部、24,33…選択部、
25…|Vx|累積部、26…|Vy|累積部、27…
動き方向算出部、28…|Vx|平均速度算出部、29
…|Vy|平均速度算出部、30…ベクトル変換部、3
1…Pベクトル変換部、32…Bベクトル変換部、34
シーンチェンジ検出部。
1 ... delay section, 2 ... representative vector setting section, 3 ... re-search section,
4: singular vector detection unit, 5: mini-block search unit, 6
... memory unit, 7 ... vector analysis unit, 8, 35 ... control unit,
9 Still and moving image block discriminating unit, 10, 23 ... computing unit, 11
... Judgment unit, 12 first search area setting unit, 13, 16 block matching processing unit, 14, 17 setting unit, 15
2nd search area setting unit, 18 prediction error calculation unit, 19 vector correlation detection unit, 20 determination unit, 21 division search determination unit, 22 adjacent vector generation unit, 24, 33 ... selection unit,
25 ... | Vx | accumulator, 26 ... | Vy | accumulator, 27 ...
Motion direction calculator, 28... | Vx | average speed calculator, 29
... | Vy | average speed calculation unit, 30 ... vector conversion unit, 3
1 ... P vector converter, 32 ... B vector converter, 34
Scene change detection unit.

フロントページの続き (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 都留 康隆 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所AV事業部内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所AV事業部内 (72)発明者 石倉 和夫 東京都小平市上水本町五丁目20番1号 株 式会社日立製作所システムLSI開発セン タ内 Fターム(参考) 5C059 KK00 LA00 NN02 NN03 NN11 NN21 NN28 NN29 PP05 PP06 PP07 UA34 5C063 BA12 Continued on the front page (72) Inventor Mitsuo Nakajima 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Prefecture Inside the Multimedia Systems Development Division of Hitachi, Ltd. (72) Inventor Yasutaka Tsuru 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa, Japan Hitachi, Ltd. Multimedia System Development Division (72) Inventor Takaaki Matino 292, Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Pref. Hitachi, Ltd. AV Business Unit (72) Inventor Haruki Takada Yoshida, Totsuka-ku, Yokohama, Kanagawa No. 292, Hitachi, Ltd. In the AV Division of Hitachi, Ltd. (72) Inventor Kazuo Ishikura 5-20-1, Kamisumihonmachi, Kodaira-shi, Tokyo F-term in the System LSI Development Center of Hitachi, Ltd. 5C059 KK00 LA00 NN02 NN03 NN11 NN21 NN28 NN29 PP05 PP06 PP07 UA34 5C063 BA12

Claims (20)

【特許請求の範囲】[Claims] 【請求項1】画像の単位時間当たりの動きベクトルを検
出する動きベクトル検出方法において、既検出した動き
ベクトルの平均速度と方向とを抽出する動きベクトル解
析の手段と、対象ブロックと隣接するブロックの既検出
な動きベクトルより上記対象ブロックの代表動きベクト
ルを設定する手段と、上記代表動きベクトルによる予測
誤差が所定値を越えるブロックは上記動きベクトル解析
で定まる所定の探索領域を探索して動きベクトルを検出
する再探索の手段と、隣接ブロックの動きベクトルとの
相関の低い動きベクトルを検出し相関の高い動きベクト
ルに修正する特異ベクトル検出の手段と、ブロックを水
平・垂直に細分化したミニブロックに対して対象ブロッ
クおよびこれに隣接するブロックの動きベクトルを参照
して上記ミニブロックの動きベクトルを検出するミニブ
ロック分割探索の手段とを備えてなることを特徴とする
動きベクトルの検出方法。
1. A motion vector detecting method for detecting a motion vector per unit time of an image, comprising: a motion vector analyzing means for extracting an average speed and a direction of the detected motion vector; Means for setting a representative motion vector of the target block from the already detected motion vector; and a block in which a prediction error of the representative motion vector exceeds a predetermined value is searched for a predetermined search area determined by the motion vector analysis, and a motion vector is determined. Re-search means to detect, singular vector detection means to detect motion vectors with low correlation with the motion vectors of adjacent blocks and correct them to motion vectors with high correlation, and mini-blocks into which blocks are subdivided horizontally and vertically On the other hand, referring to the motion vector of the target block and the block adjacent thereto, Detection method of a motion vector, characterized by comprising a means of mini-block division search for detecting a motion vector of the click.
【請求項2】上記対象ブロックが静止のブロックか動画
のブロックかを判別する手段を備え、静止のブロックで
は、代表動きベクトルを設定する手段と再探索の手段の
動作を中止し、上記対象ブロックには0の動きベクトル
を割り当てることを特徴とする請求項1に記載の動きベ
クトルの検出方法。
Means for determining whether the target block is a stationary block or a moving image block. In the stationary block, the operations of the means for setting a representative motion vector and the means for re-searching are stopped. The motion vector detecting method according to claim 1, wherein 0 is assigned to the motion vector.
【請求項3】上記特異ベクトル検出の手段においては、
対象ブロックに隣接するブロックの動きベクトルのうち
で上記対象ブロックでの予測誤差が最少な動きベクトル
を上記対象ブロックの動きベクトルとする修正を行うこ
とを特徴とする請求項1または2に記載の動きベクトル
の検出方法。
3. The singular vector detecting means includes:
The motion according to claim 1 or 2, wherein a correction is performed using, as a motion vector of the target block, a motion vector having a minimum prediction error in the target block among motion vectors of blocks adjacent to the target block. Vector detection method.
【請求項4】上記ミニブロック分割探索の手段において
は、対象ブロックの予測誤差が設定値未満の時は上記対
象ブロック内の全てのミニブロックには上記対象ブロッ
クの動きベクトルを割り当て、設定値以上の時は上記対
象ブロックとこれに隣接するブロックの動きベクトルの
うちでミニブロックでの予測誤差が最少な動きベクトル
を上記ミニブロックの動きベクトルとすることを特徴と
する請求項1ないし3のいずれかに記載の動きベクトル
の検出方法。
4. The mini-block division search means, wherein when the prediction error of the target block is smaller than a set value, the motion vectors of the target block are assigned to all mini blocks in the target block, and 4. The method according to claim 1, wherein a motion vector having a minimum prediction error in the mini-block among the motion vectors of the target block and adjacent blocks is set as the motion vector of the mini-block. The method for detecting a motion vector described in Crab.
【請求項5】上記予測誤差の算出においては、画像信号
の輝度信号成分を用いることを特徴とする請求項1ない
し4のいずれかに記載の動きベクトルの検出方法。
5. The motion vector detecting method according to claim 1, wherein said prediction error is calculated by using a luminance signal component of an image signal.
【請求項6】上記予測誤差の算出においては、画像信号
の輝度信号成分と色差信号成分とを用いることを特徴と
する請求項1ないし4のいずれかに記載の動きベクトル
の検出方法。
6. The motion vector detecting method according to claim 1, wherein the calculation of the prediction error uses a luminance signal component and a color difference signal component of the image signal.
【請求項7】画像のシーンチェンジを検出する手段を備
え、シーンチェンジの区間では動きベクトルの検出の動
作を中止することを特徴とする請求項1ないし6のいず
れかに記載の動きベクトルの検出方法。
7. A motion vector detecting apparatus according to claim 1, further comprising means for detecting a scene change of the image, wherein the operation of detecting the motion vector is stopped in a section of the scene change. Method.
【請求項8】上記動きベクトルの検出に使用する画像信
号は飛び越し走査の形態の信号であることを特徴とする
請求項1ないし7のいずれかに記載の動きベクトルの検
出方法。
8. The motion vector detecting method according to claim 1, wherein the image signal used for detecting the motion vector is an interlaced scanning signal.
【請求項9】上記動きベクトルの検出に使用する画像信
号は順次走査の形態の信号であることを特徴とする請求
項1ないし7のいずれかに記載の動きベクトルの検出方
法。
9. The motion vector detecting method according to claim 1, wherein the image signal used for detecting the motion vector is a signal in a form of progressive scanning.
【請求項10】動き補償予測符号化に用いられる動きベ
クトルを所定の単位時間当たりの動きベクトルに変換す
るベクトル変換の手段を有し、対象ブロックにおいては
上記変換した動きベクトル、もしくは上記変換した動き
ベクトルと既検出の動きベクトルとの併用により代表動
きベクトルを設定することを特徴とする請求項1ないし
9のいずれかに記載の動きベクトルの検出方法。
10. A vector conversion means for converting a motion vector used for motion compensated prediction encoding into a motion vector per a predetermined unit time, and in the target block, the converted motion vector or the converted motion vector The method for detecting a motion vector according to claim 1, wherein the representative motion vector is set by using both the vector and the already detected motion vector.
【請求項11】画像の単位時間当たりの動きベクトルを
検出する動きベクトルの検出回路において、既検出した
動きベクトルの平均速度と方向とを抽出する動きベクト
ル解析部と、対象ブロックと隣接するブロックの既検出
な動きベクトルより上記対象ブロックの代表動きベクト
ルを設定する代表ベクトル設定部と、上記代表動きベク
トルによる予測誤差が所定値を越えるブロックは上記動
きベクトル解析で定まる所定の探索領域を探索して動き
ベクトルを検出する再探索部と、隣接ブロックの動きベ
クトルとの相関の低い動きベクトルを検出し相関の高い
動きベクトルに修正する特異ベクトル検出部と、ブロッ
クを水平・垂直に細分化したミニブロックに対して対象
ブロックおよびこれに隣接するブロックの動きベクトル
を参照して上記ミニブロックの動きベクトルを検出する
ミニブロック探索部とを備えてなることを特徴とする動
きベクトルの検出回路。
11. A motion vector detecting unit for detecting a motion vector per unit time of an image, a motion vector analyzing unit for extracting an average speed and a direction of the detected motion vector; A representative vector setting unit that sets a representative motion vector of the target block from the detected motion vector; and a block in which a prediction error of the representative motion vector exceeds a predetermined value searches a predetermined search area determined by the motion vector analysis. A re-searching unit that detects a motion vector, a singular vector detecting unit that detects a motion vector with low correlation with the motion vector of an adjacent block and corrects it to a motion vector with high correlation, and a mini-block that subdivides blocks horizontally and vertically The motion vector of the target block and its neighboring blocks. Detection circuit of a motion vector, characterized by comprising a mini-block searching section for detecting a motion vector of the block.
【請求項12】対象ブロックが静止のブロックか動画の
ブロックかを判別する静止動画ブロック判別部を備え、
静止ブロックでは、代表動きベクトルの設定と再探索の
動作を中止し、上記対象ブロックには0の動きベクトル
を割り当てることを特徴とする請求項11に記載の動き
ベクトルの検出回路。
12. A still / moving block determining unit for determining whether a target block is a still block or a moving block,
12. The motion vector detecting circuit according to claim 11, wherein the operation of setting a representative motion vector and re-searching is stopped in a still block, and a zero motion vector is assigned to the target block.
【請求項13】上記特異ベクトル検出部においては、対
象ブロックに隣接するブロックの動きベクトルのうちで
上記対象ブロックでの予測誤差が最少な動きベクトルを
上記対象ブロックの動きベクトルとする修正を行うこと
を特徴とする請求項11または12に記載の動きベクト
ルの検出回路。
13. The singular vector detecting section corrects a motion vector having a minimum prediction error in the target block among motion vectors of blocks adjacent to the target block as a motion vector of the target block. The motion vector detection circuit according to claim 11, wherein:
【請求項14】上記ミニブロック探索部においては、対
象ブロックの予測誤差が設定値未満の時は上記対象ブロ
ック内の全てのミニブロックには上記対象ブロックの動
きベクトルを割り当て、設定値以上の時は上記対象ブロ
ックとこれに隣接するブロックの動きベクトルのうちで
ミニブロックでの予測誤差が最少な動きベクトルを上記
ミニブロックの動きベクトルとすることを特徴とする請
求項11ないし13のいずれかに記載の動きベクトルの
検出回路。
14. The mini-block searching unit assigns motion vectors of the target block to all mini-blocks in the target block when the prediction error of the target block is less than a set value, 14. The method according to claim 11, wherein, among the motion vectors of the target block and blocks adjacent thereto, a motion vector having a minimum prediction error in a mini-block is used as the motion vector of the mini-block. The described motion vector detection circuit.
【請求項15】上記予測誤差の算出においては、画像信
号の輝度信号成分を用いることを特徴とする請求項11
ないし14のいずれかに記載の動きベクトルの検出回
路。
15. The method according to claim 11, wherein said prediction error is calculated by using a luminance signal component of an image signal.
15. The motion vector detection circuit according to any one of claims 14 to 14.
【請求項16】上記予測誤差の算出においては、画像信
号の輝度信号成分と色差信号成分とを用いることを特徴
とする請求項11ないし14のいずれかに記載の動きベ
クトルの検出回路。
16. The motion vector detecting circuit according to claim 11, wherein the calculation of the prediction error uses a luminance signal component and a color difference signal component of the image signal.
【請求項17】画像のシーンチェンジを検出するシーン
チェンジ検出部を備え、シーンチェンジの区間では動き
ベクトルの検出の動作を中止することを特徴とする請求
項11ないし16のいずれかに記載の動きベクトルの検
出回路。
17. The motion according to claim 11, further comprising a scene change detecting section for detecting a scene change of the image, wherein an operation of detecting a motion vector is stopped during a scene change. Vector detection circuit.
【請求項18】上記動きベクトルの検出に使用する画像
信号は飛び越し走査の形態の信号であることを特徴とす
る請求項11ないし17のいずれかに記載の動きベクト
ルの検出回路。
18. The motion vector detecting circuit according to claim 11, wherein the image signal used for detecting the motion vector is a signal in the form of interlaced scanning.
【請求項19】上記動きベクトルの検出に使用する画像
信号は順次走査の形態の信号であることを特徴とする請
求項11ないし17のいずれかに記載の動きベクトルの
検出回路。
19. The motion vector detecting circuit according to claim 11, wherein the image signal used for detecting the motion vector is a signal of a progressive scanning form.
【請求項20】動き補償予測符号化に用いられる動きベ
クトルを所定の単位時間当たりの動きベクトルに変換す
るベクトル変換部を有し、対象ブロックにおいては上記
変換した動きベクトル、もしくは上記変換した動きベク
トルと既検出の動きベクトルとの併用により代表動きベ
クトルを設定することを特徴とする請求項11ないし1
9のいずれかに記載の動きベクトルの検出回路。
20. A vector conversion unit for converting a motion vector used for motion compensated prediction encoding into a motion vector per a predetermined unit time, and in the target block, the converted motion vector or the converted motion vector A representative motion vector is set by using a combination of a motion vector and an already detected motion vector.
9. The motion vector detection circuit according to any one of 9.
JP258299A 1999-01-08 1999-01-08 Method and circuit for detecting motion vector Pending JP2000201328A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP258299A JP2000201328A (en) 1999-01-08 1999-01-08 Method and circuit for detecting motion vector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP258299A JP2000201328A (en) 1999-01-08 1999-01-08 Method and circuit for detecting motion vector

Publications (1)

Publication Number Publication Date
JP2000201328A true JP2000201328A (en) 2000-07-18

Family

ID=11533379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP258299A Pending JP2000201328A (en) 1999-01-08 1999-01-08 Method and circuit for detecting motion vector

Country Status (1)

Country Link
JP (1) JP2000201328A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030009684A (en) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 method for estimation of motion vectors in video
JP2009004919A (en) * 2007-06-19 2009-01-08 Sharp Corp Motion vector processing device, motion vector detecting method, motion vector detecting program, and recording medium with the program recorded therein
WO2009081675A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
US7899120B2 (en) 2004-10-02 2011-03-01 Samsung Electronics Co., Ltd. Method for selecting output motion vector based on motion vector refinement and transcoder using the same
JP2011182356A (en) * 2010-03-04 2011-09-15 Fujitsu Ltd Motion vector detecting apparatus
US8184703B2 (en) 2006-11-30 2012-05-22 Kabushiki Kaisha Toshiba Interpolated frame generating method and interpolated frame generating apparatus
US8265142B2 (en) 2007-03-14 2012-09-11 Nippon Telegraph And Telephone Corporation Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program
US8396130B2 (en) 2007-03-14 2013-03-12 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus, program therefor, and storage medium which stores the program
US9161042B2 (en) 2007-03-14 2015-10-13 Nippon Telegraph And Telephone Corporation Quantization control method and apparatus, program therefor, and storage medium which stores the program
US9455739B2 (en) 2007-03-14 2016-09-27 Nippon Telegraph And Telephone Corporation Code amount estimating method and apparatus, and program and storage medium therefor

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030009684A (en) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 method for estimation of motion vectors in video
US7899120B2 (en) 2004-10-02 2011-03-01 Samsung Electronics Co., Ltd. Method for selecting output motion vector based on motion vector refinement and transcoder using the same
US8184703B2 (en) 2006-11-30 2012-05-22 Kabushiki Kaisha Toshiba Interpolated frame generating method and interpolated frame generating apparatus
US8265142B2 (en) 2007-03-14 2012-09-11 Nippon Telegraph And Telephone Corporation Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program
US8396130B2 (en) 2007-03-14 2013-03-12 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus, program therefor, and storage medium which stores the program
US9161042B2 (en) 2007-03-14 2015-10-13 Nippon Telegraph And Telephone Corporation Quantization control method and apparatus, program therefor, and storage medium which stores the program
US9455739B2 (en) 2007-03-14 2016-09-27 Nippon Telegraph And Telephone Corporation Code amount estimating method and apparatus, and program and storage medium therefor
JP2009004919A (en) * 2007-06-19 2009-01-08 Sharp Corp Motion vector processing device, motion vector detecting method, motion vector detecting program, and recording medium with the program recorded therein
WO2009081675A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
JP2011182356A (en) * 2010-03-04 2011-09-15 Fujitsu Ltd Motion vector detecting apparatus

Similar Documents

Publication Publication Date Title
JP4997281B2 (en) Method for determining estimated motion vector in image, computer program, and display device
US6509930B1 (en) Circuit for scan conversion of picture signal using motion compensation
US5387947A (en) Motion vector detecting method of a video signal
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
KR100973429B1 (en) Background motion vector detection
JP4092778B2 (en) Image signal system converter and television receiver
EP1742485A2 (en) Motion estimator and estimating method
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US20030206246A1 (en) Motion estimator for reduced halos in MC up-conversion
JP2000134585A (en) Motion vector deciding method and method and circuit for number of frames of image signal conversion
WO2009034489A2 (en) Method and apparatus for motion estimation in video image data
JP2005287048A (en) Improvement of motion vector estimation at image border
US20060045365A1 (en) Image processing unit with fall-back
JP2005318586A (en) Motion vector detection with improved motion vector selection
JPH11112940A (en) Generation method for motion vector and device therefor
JP2001024988A (en) System and device for converting number of movement compensation frames of picture signal
JP2000201328A (en) Method and circuit for detecting motion vector
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
US7773151B2 (en) Deinterlacing of a sequence of moving images
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
JP3201079B2 (en) Motion compensated prediction method, coding method and apparatus for interlaced video signal
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JPS6225587A (en) Detector circuit for moving vector