JP2007097028A - Motion vector detecting method and motion vector detecting circuit - Google Patents
Motion vector detecting method and motion vector detecting circuit Download PDFInfo
- Publication number
- JP2007097028A JP2007097028A JP2005286202A JP2005286202A JP2007097028A JP 2007097028 A JP2007097028 A JP 2007097028A JP 2005286202 A JP2005286202 A JP 2005286202A JP 2005286202 A JP2005286202 A JP 2005286202A JP 2007097028 A JP2007097028 A JP 2007097028A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- detected
- field
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 346
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 73
- 238000006073 displacement reaction Methods 0.000 claims description 50
- 238000010586 diagram Methods 0.000 description 8
- 230000003321 amplification Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、TV(Tele-Vision)信号において、動画像の大きさおよび方向、すなわち動きベクトルを検出する方法および回路に関するものである。 The present invention relates to a method and circuit for detecting the size and direction of a moving image, that is, a motion vector, in a TV (Tele-Vision) signal.
動きベクトルは、TV信号の高能率符号化におけるフレーム間符号化効率を向上させる際や、TV方式変換におけるフィールド数の変換による動きの不連続性を軽減させる際に用いられている。 The motion vector is used when improving the inter-frame coding efficiency in high-efficiency coding of a TV signal, or when reducing motion discontinuity due to the conversion of the number of fields in the TV system conversion.
また、一般的な動きベクトル検出方式は、TV信号をm画素×nライン(m、nは整数)のブロックに細分化した後、ブロック毎に動きベクトルを検出する方法であり、特許文献2、特許文献3のパターンマッチング法や、特許文献4の反復勾配法などがよく知られている。 A general motion vector detection method is a method of detecting a motion vector for each block after subdividing a TV signal into blocks of m pixels × n lines (m and n are integers). The pattern matching method disclosed in Patent Document 3 and the iterative gradient method disclosed in Patent Document 4 are well known.
さらに反復勾配法のなかには、動きベクトルの検出精度を向上させるために初期偏位ベクトル(特許文献5)を用いたものがある。この方法は、既に検出されている複数の動きベクトルのなかから動きベクトルを初期偏位ベクトルとして選択し、この初期偏位ベクトルを起点として、所定の偏位ベクトル検出を行い、真の動きベクトルを検出する方式である。 Furthermore, some iterative gradient methods use an initial deviation vector (Patent Document 5) in order to improve motion vector detection accuracy. In this method, a motion vector is selected from among a plurality of motion vectors that have already been detected as an initial deviation vector, and a predetermined deviation vector is detected using this initial deviation vector as a starting point, and a true motion vector is obtained. This is a detection method.
特許文献1も、初期偏位ベクトルを選択して反復勾配法を利用する技術である。特許文献1では、かかる反復勾配法にて動きベクトルを検出した後の処理に特徴がある。すなわち、動きベクトルが検出された動き領域にも拘らず、その領域中に、前フィールドから静止したままの静領域が検出された場合に、その周辺の動きベクトルをゼロベクトルに置換する技術である。 Patent Document 1 is also a technique that uses an iterative gradient method by selecting an initial deviation vector. Patent Document 1 is characterized by processing after detecting a motion vector by the iterative gradient method. In other words, when a static region that is stationary from the previous field is detected in the motion region where the motion vector is detected, the surrounding motion vector is replaced with a zero vector. .
例えば特許文献1の場合、初期偏位ベクトルの候補として用意するベクトルは、動きベクトルを検出すべき被検出ブロックの近傍について過去に検出された動きベクトルと、ゼロベクトルである。通常、初期偏位ベクトルの候補としての近傍の動きベクトルの優先順位は、被検出ブロックにて検出されるべき動きベクトルが近傍の動きに追従したものとなるよう、高くなっている。したがって、映像信号中に動いている部分と静止している部分とが混在している場合、本来、動きベクトルとしてゼロベクトルが検出されるべき静止部分が、その近傍の動いている部分に影響され、一定の量のある動きベクトルを誤って検出してしまうおそれがある。これにより、その静止部分の輪郭や形状を乱してしまうという欠点があった。 For example, in Patent Document 1, the vectors prepared as candidates for the initial deviation vector are a motion vector detected in the past in the vicinity of the detected block whose motion vector is to be detected, and a zero vector. Usually, the priority order of neighboring motion vectors as initial deviation vector candidates is high so that the motion vector to be detected in the detected block follows the neighboring motion. Therefore, when a moving part and a stationary part are mixed in the video signal, the stationary part where the zero vector should be detected as a motion vector is influenced by the moving part in the vicinity. There is a risk that a certain amount of motion vectors will be erroneously detected. As a result, there is a drawback that the contour and shape of the stationary part are disturbed.
本発明はこのような課題に鑑み、静止した領域についても、動きベクトルとして正しいものが検出されやすい、精度の高い動きベクトル検出方法および回路を提供することを目的とする。 In view of such a problem, an object of the present invention is to provide a highly accurate motion vector detection method and circuit that can easily detect a correct motion vector even in a stationary region.
本発明は、上述の課題を解決するために、デジタル化された映像信号をフィールド毎に所定の大きさのブロックに細分化し、被検出フィールド内の被検出ブロックについて、被検出フィールドから1フィールド以上離れた基準フィールドを基準とする動きベクトルを検出する、動きベクトル検出方法において、被検出ブロックと、基準フィールド内において被検出ブロックと同一の位置にある基準ブロックとの間で、フィールド間差分の総和を計算する工程と、フィールド間差分の総和に基づいて被検出ブロックの動き/静止を判定する工程と、この判定する工程において静止と判定した場合、動きベクトルを検出する初期値である初期偏位ベクトルの候補である複数のベクトルのうち、ゼロベクトルの優先順位を高めて初期偏位ベクトルを選択する工程と、この工程で選択した初期偏位ベクトルに基づいて動きベクトルを検出する工程とを含み、これによって、動きベクトル検出の精度を向上させることを特徴とする。 In order to solve the above-described problems, the present invention subdivides a digitized video signal into blocks of a predetermined size for each field, and detects one or more fields from the detected field for the detected block in the detected field. In a motion vector detection method for detecting a motion vector based on a distant reference field, a sum of differences between fields between a detected block and a reference block at the same position as the detected block in the reference field , A step of determining the motion / stillness of the detected block based on the sum of the differences between fields, and an initial deviation that is an initial value for detecting a motion vector when it is determined that the motion block is still in this determination step Among the multiple vectors that are candidate vectors, the initial vector is determined by increasing the priority of the zero vector. A step of-option, and a step of detecting a motion vector based on the initial vector selected in this step, thereby characterized in that to improve the accuracy of motion vector detection.
本発明によれば、映像中に動いている部分と静止している部分とが混在している場合に、静止部分がその周辺の動いている部分に影響されて動きベクトルを誤検出してしまい、その静止部分の輪郭や形状を乱してしまうという欠点を除去可能である。 According to the present invention, when a moving part and a stationary part are mixed in the video, the stationary part is affected by the surrounding moving part and erroneously detects a motion vector. The disadvantage of disturbing the contour and shape of the stationary part can be eliminated.
次に添付図面を参照して本発明による動きベクトル検出方法および動きベクトル検出回路の実施例を詳細に説明する。本文において、本発明に直接関係のない要素については、図示および説明を省略する。また、信号はそれが現れる信号線の符号を用いて指示するものとする。 Next, embodiments of a motion vector detection method and a motion vector detection circuit according to the present invention will be described in detail with reference to the accompanying drawings. In the present text, illustration and description of elements not directly related to the present invention are omitted. In addition, the signal is indicated using the sign of the signal line on which the signal appears.
図1は、本発明による動きベクトル検出回路の実施例を示すブロック図である。動きベクトル検出回路10は、デジタル化された映像信号を入力として受信し、動きベクトルを検出する回路である。動きベクトルの検出は、映像信号を構成する連続したフィールドのうち、先行する基準フィールド(前フィールド)を基準とし、これから1フィールド以上離れた後続の被検出フィールド(現フィールド)までの動きに対して行なう。より詳細に言えば、動きベクトルの検出は、被検出ブロックを所定の大きさのブロックに細分化してブロック毎に行なう。
FIG. 1 is a block diagram showing an embodiment of a motion vector detection circuit according to the present invention. The motion
図1に示すように、動きベクトル検出回路10はフィールドディレー回路12を含み、この回路12は、動きベクトル検出回路10の入力端子14に接続されている。フィールドディレー回路12は、これに入力される映像信号14を1フィールド分遅延させ、必要に応じて増幅等の処理を行なった基準フィールド信号16を出力する回路である。動きベクトル検出回路10の入力端子14には、増幅器18も接続されている。このように映像信号14は、増幅器18により、時間的には遅延されない単に増幅処理のみを受けた被検出フィールド信号20としても出力される。基準フィールド信号16は先行するフィールドとして動きベクトル検出の基準となる。一方、被検出フィールド信号20は、動きベクトルの検出の対象となる。
As shown in FIG. 1, the motion
図1に示すように、動きベクトル検出回路10は動き検出回路22を含み、これは、基準フィールド信号16と被検出フィールド信号20とを入力信号として受信する。動き検出回路22は、基準フィールドおよび被検出フィールドを所定の大きさのブロックに細分化する回路である。ブロックのサイズは例えば8画素×8ラインの大きさとしてよく、他のいかなる大きさのブロックにしてもよい。動き検出回路22はまた、被検出フィールド内の被検出ブロックと、基準フィールド内において被検出ブロックと同一の位置にある基準ブロックとの間で、フィールド間差分FD(Field Difference)の総和ΣFDを計算し、出力する回路である。
As shown in FIG. 1, the motion
ここでフィールド間差分について説明する。図2は、図1において動き検出回路22に入力される基準フィールドと被検出フィールドとのブロックの対応を示す図である。図2に示すように、被検出フィールド20には、基準フィールド16を基準として動きベクトルを検出すべき被検出ブロック26が存在する。そして、基準フィールド16には、被検出ブロック26と同一の位置にある基準ブロック28が存在する。フィールド間差分FDは、図2に示す通り、被検出ブロック26と基準ブロック28との間で、対応する位置にある画素毎に信号の差分である。動き検出回路22は、フィールド間差分FDをブロック全体にわたって加算し、フィールド間差分の総和ΣFDを計算する。
Here, the difference between fields will be described. FIG. 2 is a diagram showing a block correspondence between a reference field and a detected field input to the
図1に示すように、動きベクトル検出回路10は動き判定回路30を含み、これは、動き検出回路22の出力ΣFDに接続され、フィールド間差分の総和ΣFDを入力信号として受信する。動き判定回路30は、フィールド間差分の総和ΣFDに基づいて被検出ブロックの動き/静止を判定し、その判定結果を信号32として出力する回路である。
As shown in FIG. 1, the motion
動き判定回路30は、フィールド間差分の総和ΣFDが所定の閾値より大きい場合に動きと判定する。すなわち、同位置にある基準ブロック28と被検出ブロック26とは異なる画像であり、したがって、被検出ブロック26は、基準ブロック28とは異なる、基準フィールド16における別のブロックから動いたものであると判定する。一方、動き判定回路30は、フィールド間差分の総和ΣFDが所定の閾値より小さい場合、言いかえれば、ゼロまたは一定の誤差を持ってゼロに近似である場合、静止と判定する。すなわち、同位置にある基準ブロック28と被検出ブロック26とは同じ画像である可能性が高く、したがって、被検出ブロック26は、基準ブロック28がそのまま静止し続けたものであると判定する。
The
図1に示すように、動きベクトル検出回路10はブロックディレー回路34、36を含み、回路34は基準フィールド信号16を入力信号として受信し、回路36は、被検出フィールド信号20を入力信号として受信する。ブロックディレー回路34、36は、それぞれ、入力されたフィールド信号16、20を所定の大きさのブロックに細分化し、遅延させ、ブロック信号38、40として出力する回路である。ブロックのサイズは、動き検出回路22がフィールド信号をブロックに分割したのと同一である。
As shown in FIG. 1, the motion
ブロックディレー34、36から被検出ブロック信号38・基準ブロック信号40が回路42へ入力されるタイミングは、それら被検出ブロック・基準ブロックについて動き判定回路30から回路42へ動き/静止の判定結果32が入力されるタイミングと同期させてよい。いずれにせよ、基準フィールド・被検出フィールド全体にわたって動き/静止の判定結果32が回路42に入力された時点で、各フィールド全体のブロック信号38・40が回路42に入力されていればよい。
The detected
図1に示すように、動きベクトル検出回路10はベクトルメモリ44を含み、ベクトルメモリ44は、複数のベクトルを記憶する記憶装置である。ベクトルメモリ44に記憶された複数のベクトルは、後述の初期偏位ベクトルV0の候補である。図3は図1のベクトルメモリ44に記憶される、初期偏位ベクトルの候補の例を示す図である。符号A〜C、F〜N、P〜Xは、すべて、後述する勾配法演算回路52、54によって過去に既に検出された、連続するフィールド48、16、20におけるそれぞれのブロックにおける動きベクトルを示す。
As shown in FIG. 1, the motion
図3に示すように、ベクトルメモリ44には、初期偏位ベクトルの候補として、斜線領域で示す被検出ブロック26すなわちこれから動きベクトルを検出すべきブロックの近傍のブロックについて既に検出した動きベクトルA〜Cを含めてよい。これら候補のうち、動きベクトルA、Bは、被検出ブロック26の8近傍に属するブロックにおいて検出された動きベクトルである。また、動きベクトルCのように、被検出ブロック26の8近傍に属さないブロックにおいて過去に検出された動きベクトルであっても、予め定めた範囲の近傍のブロックにおいて検出された動きベクトルであれば、初期偏位ベクトルの候補としてベクトルメモリに含めてよい。
As shown in FIG. 3, in the
また、図3には、被検出フィールド20から1フィールド先行する基準フィールド16と、さらに1フィールド先行する前々フィールド48を示す。図3に示すフィールド以前にも、先行するフィールドが存在することは言うまでもない。こうした、被検出フィールド20から1フィールド以上離れたフィールドにおいて既に検出した動きベクトルF〜N、P〜Xも、初期偏位ベクトルの候補として、ベクトルメモリ44に含めてよい。
FIG. 3 shows a
図1に示すように、動きベクトル検出回路10は初期偏位ベクトル選択回路42を含み、回路42は動き判定回路30の出力である動き/静止信号32を入力信号として受信する。また、初期偏位ベクトル選択回路42は、ベクトルメモリ44の出力端子46にも接続されている。初期偏位ベクトル選択回路42は、ベクトルメモリ44から受信した複数のベクトルに優先順位を付け、さらに、動き/静止信号32に応じて上記の優先順位を変更し、上位のものから順番に初期偏位ベクトルV0にふさわしいものか否かを検討し、ふさわしいものが見付かった場合に、それを初期偏位ベクトルV0として選択する回路である。ここで「初期偏位ベクトル」とは、最終的に検出すべき動きベクトルVを検出するための初期値である。
As shown in FIG. 1, the motion
初期偏位ベクトル選択回路42がベクトルメモリ44から読み出す初期偏位ベクトルV0の候補は、図3に示す動きベクトルA〜Cのように、被検出ブロック26の8近傍やそれ以外の近傍に属するブロックにおいて過去に検出された動きベクトルにすればよい。それでも候補の数が不足する場合は、順番に、基準フィールド16にて過去に検出された動きベクトルF〜Nを追加し、さらに不足であれば前々フィールド48にて過去に検出された動きベクトルP〜Xを追加すればよい。基準フィールド16や前々フィールド48など、被検出フィールド20から1フィールド以上離れた先行するフィールドから初期偏位ベクトルV0の候補を選択するときは、まず、基準フィールド16の基準ブロック28のように、被検出ブロック26と同一の位置にあるブロックにおいて過去の検出された動きベクトル、すなわちベクトルJを優先的に候補に加え、その後、その近傍の動きベクトルを候補に加えるとよい。なお、図3に示すベクトル過去に既に検出された動きベクトルを自由に加算平均して、初期偏位ベクトルV0の候補としてもよい。
Candidates for the initial displacement vector V 0 that the initial displacement
初期偏位ベクトル選択回路42がベクトルメモリ44から読み出す、初期偏位ベクトルV0の候補の数は、例えば8としてよいが、これ以上または以下のいかなる数にしてもよい。ただし、候補のなかには、必ずゼロベクトルを含めることとする。したがって、候補の数が8の場合、初期偏位ベクトル選択回路42は、ベクトルメモリ44から7個の候補ベクトルを読み出し、残りの1個の候補はゼロベクトルとする。
The number of candidates for the initial displacement vector V 0 that the initial displacement
初期偏位ベクトル選択回路42は、初期偏位ベクトルV0の候補である複数のベクトルのうち、ゼロベクトルを除いたものの優先順位を、ベクトルの絶対値の降順としてよい。近傍で検出されたなるべく大きな動きベクトルに追従した動きベクトルを検出しやすくするためである。
The initial displacement
初期偏位ベクトル選択回路42は、動き/静止信号32が「静止」である場合、初期偏位ベクトルV0の候補である複数のベクトルのうち、ゼロベクトルの優先順位を高めて、初期偏位ベクトルV0を選択する。ゼロベクトルの優先順位は、従前のものより上位にすれば何位にしてもよく、最上位にしてもよい。
When the motion / still signal 32 is “still”, the initial displacement
一方、初期偏位ベクトル選択回路42は、動き/静止信号32が「動き」である場合、初期偏位ベクトルV0の候補である複数のベクトルのうち、ゼロベクトルの優先順位を低めて、初期偏位ベクトルV0を選択する。ゼロベクトルの優先順位は、従前のものより下位にすれば何位にしてもよく、最下位にしてもよい。ゼロベクトルの優先順位が当初から最下位の場合は、そのまま維持すればよい。
On the other hand, when the motion / still signal 32 is “motion”, the initial displacement
本実施例では、動き/静止信号32が「静止」または「動き」の二者択一としているが、既に説明した動き判定回路30は、これら2つ以外の信号を判定結果として出力してよい。例えばフィールド間差分の総和ΣFDの大きさに応じて、3つ以上の種類の信号を判定結果として出力してよい。その場合、初期偏位ベクトル選択回路42は、判定結果に応じて、ゼロベクトルの優先順位を3つ以上のいずれかの順位としてよい。
In this embodiment, the motion / still signal 32 is one of “static” and “motion”. However, the
初期偏位ベクトル選択回路42は、初期偏位ベクトルV0の候補である複数のベクトルを優先順位の高いものから順番に候補ベクトルとし、初期偏位ベクトルV0たりうるものか否かを検討する。この検討は以下のように行なえばよい。すなわち、まず候補ベクトルを初期偏位ベクトルV0と仮定する。そして、図2に示す被検出ブロック26と、基準フィールド16内にあって、初期偏位ベクトルV0によって被検出ブロックが偏位される前の位置にある対応ブロック50との間でフィールド間差分DFD(Displaced Field Difference)の総和ΣDFDを計算する。
Initial
図4は、図1に示す動き検出回路22が計算するフィールド間差分FDの総和ΣFDと、初期偏位ベクトル選択回路42が計算するフィールド間差分DFDの総和ΣDFDとの相違を示す図である。フィールド間差分FDの総和ΣFDは、図4に示すように、被検出ブロック26と、基準フィールド16にあって同一の位置にある基準ブロック28との間で計算されるものである。一方、フィールド間差分DFDの総和ΣDFDは、図4に示すように、被検出ブロック26と、基準フィールド16にあって仮定された初期偏位ベクトルV0によって被検出ブロック26が偏位される前の位置にある対応ブロック50との間で計算されるものである。対応ブロック50と被検出ブロック26との関係は図2にも示す。対応ブロック50の座標は(m1,n1)であり、初期偏位ベクトルV0=(α0,β0)であり、対応ブロック50が初期偏位ベクトルによって偏位された座標(m1+α0,n1+β0)に位置するのが、被検出ブロック26である。
FIG. 4 is a diagram showing a difference between the sum ΣFD of inter-field differences FD calculated by the
そして、フィールド間差分DFDの総和ΣDFDが所定の閾値より小さければ、言いかえればゼロまたは一定の誤差を持ってゼロに近似であれば、候補ベクトルを正式に初期偏位ベクトルV0として選択する。あるいは、総和ΣDFDを最小にする候補ベクトルを正式に初期偏位ベクトルV0として選択する。複数の候補によって、フィールド間差分の総和ΣDFDを同じ最小値となる場合は、あらかじめ定めておいた優先順位の高い候補を初期偏位ベクトルとして選択する。対応ブロック50の映像信号と被検出ブロック26の映像信号との差が小さく、両者は類似していて、被検出ブロック26は、基準フィールド16においては、対応ブロック50の位置にあったものと推測できるからである。
If the sum ΣDFD of the inter-field difference DFD is smaller than a predetermined threshold, in other words, if it is zero or approximates to zero with a certain error, the candidate vector is formally selected as the initial displacement vector V 0 . Alternatively, a candidate vector that minimizes the sum ΣDFD is formally selected as the initial displacement vector V 0 . When the sum ΣDFD of the inter-field differences has the same minimum value due to a plurality of candidates, a candidate having a predetermined high priority is selected as the initial deviation vector. The difference between the video signal of the corresponding block 50 and the video signal of the detected
図1に示すように、動きベクトル検出回路10は勾配法演算回路52、54を含み、これら回路52、54は、初期偏位ベクトルV0に対して、反復勾配法を適用する回路である。回路52、54の構成および処理は共通しているため、以下、回路52を代表として説明する。勾配法演算回路52は、初期偏位ベクトル選択回路42の出力である初期偏位ベクトルV0に勾配法を適用する。1回目勾配法演算回路52は、被検出ブロック26が偏位される前の位置にあるブロック、すなわち対応ブロック50と、被検出ブロック26とで次式(1)〜(4)に示す演算を行ない、1回目偏位ベクトルV1を求める演算回路である。
VX=Σ{(SGNΔX)・DFD}/Σ|ΔX|・・・・(1)
VY=Σ{(SGNΔY)・DFD}/Σ|ΔY|・・・・(2)
ΔX=(An+1,m−An−1,m)/2・・・・・・・・(3)
ΔY=(An,m+1−An,m−1)/2・・・・・・・・(4)
ただし、値VXは1回目偏位ベクトルV1のX方向成分、値VYは1回目偏位ベクトルV1のY方向成分、値An,mはn画素、mラインの座標の信号、値ΔXは画像のX方向の勾配、値ΔYは画像のY方向の勾配、値DFD はフィールド間差分値を示す。また、SGNは、「0」を含むΔX、ΔYの符号を示す。
As shown in FIG. 1, the motion
V X = Σ {(SGNΔX) · DFD} / Σ | ΔX | (1)
V Y = Σ {(SGNΔY) · DFD} / Σ | ΔY | (2)
ΔX = (A n + 1, m −A n−1, m ) / 2 (3)
ΔY = (A n, m + 1 −A n, m−1 ) / 2 (4)
Where the value V X is the X-direction component of the first displacement vector V 1 , the value V Y is the Y-direction component of the first displacement vector V 1 , the values An, m are n pixels, and the m-line coordinate signal, The value ΔX represents the gradient in the X direction of the image, the value ΔY represents the gradient in the Y direction of the image, and the value DFD represents the inter-field difference value. SGN indicates the signs of ΔX and ΔY including “0”.
1回目偏位ベクトルV1は、加算器56にて初期偏位ベクトルV0と加算されてベクトルV0+V1となり、次の2回目勾配法演算回路54に入力される。回路54は、1回目勾配法演算回路52と同様に、ベクトルV0+V1に対して、2回目の勾配法演算を行ない、2回目偏位ベクトルV2を出力する。出力された2回目偏位ベクトルV2は、加算器58にてベクトルV0+V1と加算されて、最終的に検出すべき動きベクトルV=V0+V1+V2が検出される。図5はこれらの動きベクトルの関係を説明する図である。検出された動きベクトルVは、過去に既に検出された動きベクトルとして、ベクトルメモリ44に入力され、他のブロックについて動きベクトルを検出する際の、初期偏位ベクトルV0の候補として使用される。
The first deviation vector V 1 is added to the initial deviation vector V 0 by the
ここで本発明の利点について述べる。本発明の最終的な目的は、被検出ブロック26について、動きベクトルVを検出することである。しかし、被検出ブロック26が、もともと、基準フィールド16から被検出フィールド20までの間に動いていない領域であれば、最終的に検出すべき動きベクトルはゼロベクトルである。そこで、上述の初期偏位ベクトル選択回路42にて選択した初期偏位ベクトルV0を用いて後述の反復勾配法にて動きベクトルを検出する前に、図1に示す動き検出回路22・動き判定回路30を設け、これらによって、被検出ブロック26がもともと静止しているものであるか否かを判定する。そして判定結果が「静止」であれば、初期偏位ベクトルV0の候補中、ゼロベクトルの優先順位を高め、これが初期偏位ベクトルたりうるか否かの検討を、優先的に行なう。
The advantages of the present invention will now be described. The ultimate object of the present invention is to detect the motion vector V for the detected
このようにすれば、被検出ブロックはもとより静止しているものと判定されているのであるから、ゼロベクトルが初期偏位ベクトルV0として選択される可能性が高くなる。そして、反復勾配法により最終的に検出される動きベクトルも、ゼロベクトルまたはそれに近いベクトルが検出される可能性が高くなり、動きベクトルの検出の精度が高まるのが本願発明の利点である。 In this way, since it is determined that the detected block is originally stationary, there is a high possibility that the zero vector is selected as the initial deviation vector V 0 . The motion vector finally detected by the iterative gradient method is also likely to be a zero vector or a vector close thereto, and it is an advantage of the present invention that the accuracy of motion vector detection is improved.
図6は従来の初期偏位ベクトルを用いた動きベクトル検出回路の例を示すブロック図である。図1に示す本発明の実施例の構成の特徴は、図6の従来の動きベクトル検出回路100に、動き検出回路22および動き判定回路30を加えた点である。これらの構成上の特徴があるため、図6の回路100に比較すると、本発明の実施例を用いた方が、初期偏位ベクトルV0として適切なものが選択される可能性が高い。
FIG. 6 is a block diagram showing an example of a motion vector detection circuit using a conventional initial deviation vector. A feature of the configuration of the embodiment of the present invention shown in FIG. 1 is that a
以下、これまで説明してきた構成を有する本発明による動きベクトル検出回路の実施例の動作を説明する。図1に示す動きベクトル検出回路10の入力端子14からフィールドディレー回路12に映像信号14が入力されると、回路12は映像信号14を1フィールド分遅延させ、必要に応じて増幅等の処理を行なった基準フィールド信号16とし、動き検出回路22およびブロックディレー回路34に入力する。一方、映像信号14は、増幅器18により、時間的には遅延されない単に増幅処理のみを受けた被検出フィールド信号20とされ、同様に動き検出回路22およびブロックディレー回路34に入力される。このように、基準フィールド信号16は、被検出フィールド信号20より1フィールド分過去の信号である。
The operation of the embodiment of the motion vector detection circuit according to the present invention having the configuration described so far will be described below. When the
動き検出回路22は、受信した信号16、20を用いて、基準フィールドおよび被検出フィールドを所定の大きさのブロックに細分化する。動き検出回路22はまた、被検出フィールド内被検出ブロックと、基準フィールド内において被検出ブロックと同一の位置にあるすべての基準ブロックとの間で、フィールド間差分FD(Field Difference)の総和ΣFDを計算する。この総和ΣFDの計算は、基準フィールドおよび被検出フィールドのすべてのブロックにわたって、ブロック毎に行ない、動き判定回路へ入力する。
Using the received signals 16 and 20, the
動き判定回路30は、フィールド間差分の総和ΣFDに基づいて被検出フィールド全体にわたり、被検出ブロックの動き/静止を判定し、その判定結果を信号32として初期偏位ベクトル選択回路42へ入力する。
The
ブロックディレー回路34、36は、それぞれ受信する基準フィールド信号16および被検出フィールド信号20を用いて、それらフィールドを所定の大きさのブロックに細分化し、遅延させて、1ブロックずつのブロック信号38、40として初期偏位ベクトル選択回路42に入力する。これにより、基準フィールド・被検出フィールド全体にわたって動き/静止の判定結果32が回路42に入力された時点で、各フィールド全体のブロック信号38・40の回路42への入力は完了する。
The
初期偏位ベクトル選択回路42は、ある被検出ブロックの動きベクトルを検出する初期値となる初期偏位ベクトルを選択するにあたり、ベクトルメモリ44から所定の複数、例えば7個のベクトルを読み出し、これらにゼロベクトルを加えて計8個の候補ベクトルをそろえる。そしてそれらの候補ベクトルに優先順位を付ける。優先順位は、例えば、ベクトルの絶対値の降順にすればよい。そしてさらに、上記の被検出ブロックの動き/静止信号32の判定結果が「静止」であれば、初期偏位ベクトルの候補中、ゼロベクトルの優先順位を高める。このときゼロベクトルは最上位にしてもよい。一方、判定結果が「動き」であれば、ゼロベクトルの優先順位を低める。
The initial deviation
初期偏位ベクトル選択回路42は、以上のようにして決定した優先順位に従って、それぞれの候補ベクトルを初期偏位ベクトルV0と仮定する。そして、図2に示す被検出ブロック26と対応ブロック50との間でフィールド間差分DFD(Displaced Field Difference)の総和ΣDFDを計算する。そして、フィールド間差分DFDの総和ΣDFDが所定の閾値より小さければ、言いかえればゼロまたは一定の誤差を持ってゼロに近似であれば、候補ベクトルを正式に初期偏位ベクトルV0として選択する。あるいは、総和ΣDFDを最小にする候補ベクトルを正式に初期偏位ベクトルV0として選択する。正式に選択した初期偏位ベクトルV0は勾配法演算回路52に入力される。
The initial displacement
勾配法演算回路52、54は、初期偏位ベクトルV0に対して、反復勾配法を適用し、回路52が1回目偏位ベクトルV1を算出し、回路54が2回目偏位ベクトルV2を算出する。これらの偏位ベクトルを加算し、最終的に、動きベクトルV=V0+V1+V2が検出される。なお、このようにして検出された動きベクトルVは、過去に既に検出された動きベクトルとして、ベクトルメモリ44に入力され、他のブロックについて動きベクトルを検出する際の、初期偏位ベクトルV0の候補として使用される。
The gradient method
本発明による動きベクトル検出回路は、入力された映像信号から、動きベクトルを検出するものである。したがって、TV方式変換装置に組み込み可能である。たとえば、TV方式変換装置によって、TV信号をPAL方式からNTSC方式に方式変換する場合、50フィールドから60フィールドのフィールド数変換が必要となる。したがって、5フィールド毎に1つの内挿フィールドを形成してフィールド数の変換を行なう。このような場合、本発明による動きベクトル検出回路によれば、動きベクトルの検出により、内挿フィールドの形成が可能である。本発明はまた、動きベクトル検出する必要のある他の装置、例えばTV信号圧縮・伸張装置(MPEG2-CODEC)等にも適用可能である。 The motion vector detection circuit according to the present invention detects a motion vector from an input video signal. Therefore, it can be incorporated in a TV system conversion device. For example, when a TV signal is converted from a PAL system to an NTSC system by a TV system conversion device, it is necessary to convert the number of fields from 50 fields to 60 fields. Therefore, the number of fields is converted by forming one interpolation field for every five fields. In such a case, the motion vector detection circuit according to the present invention can form an interpolation field by detecting a motion vector. The present invention is also applicable to other devices that require motion vector detection, such as a TV signal compression / decompression device (MPEG2-CODEC).
10 動きベクトル検出回路
22 動き検出回路
30 動き判定回路
42 初期偏位ベクトル選択回路
44 ベクトルメモリ
10 Motion vector detection circuit
22 Motion detection circuit
30 Motion judgment circuit
42 Initial deviation vector selection circuit
44 vector memory
Claims (20)
前記被検出ブロックと、前記基準フィールド内において前記被検出ブロックと同一の位置にある基準ブロックとの間で、フィールド間差分の総和を計算する工程と、
該フィールド間差分の総和に基づいて前記被検出ブロックの動き/静止を判定する工程と、
該判定する工程において静止と判定した場合、前記動きベクトルを検出する初期値である初期偏位ベクトルの候補である複数のベクトルのうち、ゼロベクトルの優先順位を高めて前記初期偏位ベクトルを選択する工程と、
該工程で選択した初期偏位ベクトルに基づいて動きベクトルを検出する工程とを含み、
これによって、動きベクトル検出の精度を向上させることを特徴とする動きベクトル検出方法。 The digitized video signal is subdivided into blocks of a predetermined size for each field, and a motion vector based on a reference field one or more fields away from the detected field is detected for the detected block in the detected field. In the motion vector detection method, the method includes:
Calculating the sum of inter-field differences between the detected block and a reference block at the same position as the detected block in the reference field;
Determining movement / stillness of the detected block based on a sum of differences between the fields;
If it is determined that the motion vector is stationary in the determining step, among the plurality of vectors that are candidates for the initial displacement vector, which is an initial value for detecting the motion vector, the priority of the zero vector is increased and the initial displacement vector is selected. And a process of
Detecting a motion vector based on the initial deviation vector selected in the step,
A motion vector detection method characterized in that the accuracy of motion vector detection is thereby improved.
前記被検出ブロックと、前記基準フィールド内において前記被検出ブロックと同一の位置にある基準ブロックとの間で、フィールド間差分の総和を計算する手段と、
該フィールド間差分の総和に基づいて前記被検出ブロックの動き/静止を判定する手段と、
前記動きベクトルを検出する初期値である初期偏位ベクトルの候補である複数のベクトルを記憶する記憶手段と、
前記判定する手段が静止と判定した場合、前記複数のベクトルのうち、ゼロベクトルの優先順位を高めて前記初期偏位ベクトルを選択する手段と、
該手段で選択した初期偏位ベクトルに基づいて動きベクトルを検出する手段とを含み、
これによって、動きベクトル検出の精度を向上させることを特徴とする動きベクトル検出回路。 The digitized video signal is subdivided into blocks of a predetermined size for each field, and a motion vector based on a reference field one or more fields away from the detected field is detected for the detected block in the detected field. In the motion vector detection circuit, the circuit includes:
Means for calculating a sum of differences between fields between the detected block and a reference block at the same position as the detected block in the reference field;
Means for determining movement / stillness of the detected block based on a sum of differences between the fields;
Storage means for storing a plurality of vectors that are candidates for an initial deviation vector that is an initial value for detecting the motion vector;
A means for increasing the priority of a zero vector among the plurality of vectors and selecting the initial displacement vector when the determining means determines that it is stationary;
Means for detecting a motion vector based on the initial deviation vector selected by the means,
Thus, a motion vector detection circuit characterized by improving the accuracy of motion vector detection.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005286202A JP2007097028A (en) | 2005-09-30 | 2005-09-30 | Motion vector detecting method and motion vector detecting circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005286202A JP2007097028A (en) | 2005-09-30 | 2005-09-30 | Motion vector detecting method and motion vector detecting circuit |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007097028A true JP2007097028A (en) | 2007-04-12 |
Family
ID=37982130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005286202A Pending JP2007097028A (en) | 2005-09-30 | 2005-09-30 | Motion vector detecting method and motion vector detecting circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007097028A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081843A (en) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | Discomfort degree estimation device and discomfort degree estimation program |
JP2018152878A (en) * | 2011-01-12 | 2018-09-27 | キヤノン株式会社 | Decoding method, apparatus, program, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0262178A (en) * | 1988-08-26 | 1990-03-02 | Fujitsu Ltd | Motion detection system for picture processor |
JPH07135663A (en) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | Method and device for detecting movement vector |
-
2005
- 2005-09-30 JP JP2005286202A patent/JP2007097028A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0262178A (en) * | 1988-08-26 | 1990-03-02 | Fujitsu Ltd | Motion detection system for picture processor |
JPH07135663A (en) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | Method and device for detecting movement vector |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018152878A (en) * | 2011-01-12 | 2018-09-27 | キヤノン株式会社 | Decoding method, apparatus, program, and storage medium |
JP2014081843A (en) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | Discomfort degree estimation device and discomfort degree estimation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008167103A (en) | Video processor and video display device with the same | |
JP2010288110A (en) | Image processing apparatus and method | |
JP2005287048A (en) | Improvement of motion vector estimation at image border | |
US20120113326A1 (en) | System and method for detecting motion vectors in a recursive hierarchical motion estimation system using a non-rasterized scan | |
JP2006331136A (en) | Moving vector detection apparatus | |
JP2010108205A (en) | Super resolution image creating method | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP2007097028A (en) | Motion vector detecting method and motion vector detecting circuit | |
US8705626B2 (en) | Motion estimation method | |
JPH09182077A (en) | Image encoding method and device | |
JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
JP5114290B2 (en) | Signal processing device | |
EP2237559A1 (en) | Background motion estimate based halo reduction | |
JP2009118456A (en) | Image interpolation apparatus and method | |
JP2011223086A (en) | Resolution converting device and method, scanning line interpolating device and method, and video display device and method | |
JP2005229166A (en) | Apparatus and method for measuring noise amount in video signal | |
US20090225227A1 (en) | Motion vector detecting device | |
JP3601506B2 (en) | Apparatus and method for detecting motion vector, and apparatus and method for correcting image vibration | |
JPH08242454A (en) | Method for detecting global motion parameter | |
JPH02131690A (en) | Movement compensation circuit | |
JPS62230179A (en) | Movement correcting system | |
JP2008118340A (en) | Motion vector detecting device and video signal processor | |
JP4274430B2 (en) | Motion vector detection device | |
JP4039273B2 (en) | Motion vector detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20070201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100810 |