JP2007060706A - Motion vector detecting apparatus and method - Google Patents

Motion vector detecting apparatus and method Download PDF

Info

Publication number
JP2007060706A
JP2007060706A JP2006282976A JP2006282976A JP2007060706A JP 2007060706 A JP2007060706 A JP 2007060706A JP 2006282976 A JP2006282976 A JP 2006282976A JP 2006282976 A JP2006282976 A JP 2006282976A JP 2007060706 A JP2007060706 A JP 2007060706A
Authority
JP
Japan
Prior art keywords
search
motion vector
motion
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006282976A
Other languages
Japanese (ja)
Other versions
JP4131287B2 (en
Inventor
Hidefumi Ogura
英史 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006282976A priority Critical patent/JP4131287B2/en
Publication of JP2007060706A publication Critical patent/JP2007060706A/en
Application granted granted Critical
Publication of JP4131287B2 publication Critical patent/JP4131287B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To expand search area without increasing transfer rate of search data when motion vector is detected. <P>SOLUTION: When motion vector is detected per a reference block by calculating image data of a reference block and calculating image data of an inspection block in search area, variable setting of the search area is performed, based on motion vectors detected in a plurality of continuous reference blocks. Blocks which are continuous in horizontal direction or vertical direction are preferable for a plurality of the reference blocks. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、例えばMPEG(Moving Picture Image Coding Experts Group)に準拠した画像符号化装置における動きベクトル検出装置及び動きベクトル検出方法に関する。   The present invention relates to a motion vector detection device and a motion vector detection method in an image encoding device compliant with, for example, MPEG (Moving Picture Image Coding Experts Group).

MPEG方式は、DCT(Discrete Cosine Transform)と動き補償予測と可変長符号化とを組み合わせて画像データの圧縮を行う符号化方式である。   The MPEG system is an encoding system that compresses image data by combining DCT (Discrete Cosine Transform), motion compensation prediction, and variable length encoding.

図13にMPEG方式に準拠した画像符号化装置の構成を示す。この図において、入力端子T1に画像データが供給される。この画像データは動きベクトル検出回路21と減算回路22とに入力される。動きベクトル検出回路21は、入力された画像データを用いて現フレームと参照フレーム(例えば前フレーム)との動きベクトルを求め、動き補償回路23へ与える。   FIG. 13 shows the configuration of an image encoding device compliant with the MPEG system. In this figure, image data is supplied to the input terminal T1. This image data is input to the motion vector detection circuit 21 and the subtraction circuit 22. The motion vector detection circuit 21 obtains motion vectors between the current frame and a reference frame (for example, the previous frame) using the input image data, and provides the motion vector to the motion compensation circuit 23.

参照フレームの画像データはフレームメモリ24内にも格納されている。この画像データは動き補償回路23へ供給される。動き補償回路23では、動きベクトル検出回路21から送られてくる動きベクトルを用いて、フレームメモリ24から送られてくる画像データの動き補償を行う。動き補償回路23の出力は減算回路22と加算回路25へ送られる。   The image data of the reference frame is also stored in the frame memory 24. This image data is supplied to the motion compensation circuit 23. The motion compensation circuit 23 performs motion compensation of the image data sent from the frame memory 24 using the motion vector sent from the motion vector detection circuit 21. The output of the motion compensation circuit 23 is sent to the subtraction circuit 22 and the addition circuit 25.

減算回路22では、入力端子T1から供給される現フレームの画像データと、動き補償回路23から供給される動き補償された参照フレームの画像データとを減算して予測誤差データを求め、DCT回路26へ供給する。DCT回路26は、この予測誤差データをDCT処理して量子化器27へ送る。量子化器27はDCT回路26の出力を量子化し、可変長符号化回路28へ送る。可変長符号化回路28は量子化器27の出力を可変長符号化し、出力端子T2から出力する。   The subtraction circuit 22 subtracts the current frame image data supplied from the input terminal T1 and the motion compensated reference frame image data supplied from the motion compensation circuit 23 to obtain prediction error data, and the DCT circuit 26 To supply. The DCT circuit 26 subjects this prediction error data to DCT processing and sends it to the quantizer 27. The quantizer 27 quantizes the output of the DCT circuit 26 and sends it to the variable length coding circuit 28. The variable length coding circuit 28 performs variable length coding on the output of the quantizer 27 and outputs it from the output terminal T2.

量子化器27の出力は逆量子化器29にも供給される。そして、ここで逆量子化処理を受け、その出力は逆DCT回路30において逆DCT処理を受けて、元の予測誤差データに戻され、加算回路25へ与えられる。   The output of the quantizer 27 is also supplied to the inverse quantizer 29. Then, the inverse quantization process is performed here, and the output thereof is subjected to the inverse DCT process in the inverse DCT circuit 30, is returned to the original prediction error data, and is given to the addition circuit 25.

加算回路25では、この予測誤差データを動き補償回路23の出力データに加算して現フレームの画像データを求める。求められた画像データは次の参照フレームの画像データとしてフレームメモリ24に格納される。   The adder circuit 25 adds the prediction error data to the output data of the motion compensation circuit 23 to obtain the image data of the current frame. The obtained image data is stored in the frame memory 24 as image data of the next reference frame.

このような画像符号化装置における動きベクトル検出の方法としてはブロックマッチング法が知られている。ブロックマッチング法は、画面を小さな矩形領域(ブロック)に分割して、ブロック毎に動きを検出する。ブロックのサイズとしては、横8画素×縦8画素(以下8×8と略す)、16×16等がある。次に図14を参照しながらブロックマッチング法について説明する。   A block matching method is known as a motion vector detection method in such an image encoding device. In the block matching method, a screen is divided into small rectangular areas (blocks), and motion is detected for each block. The block size includes 8 horizontal pixels × 8 vertical pixels (hereinafter abbreviated as 8 × 8), 16 × 16, and the like. Next, the block matching method will be described with reference to FIG.

図14において、基準フレーム41内にM×Nの基準ブロックRBを設定する。また、検索フレーム42内に基準ブロックRBと同じサイズの検査ブロックSBを設定する。検査ブロックSBは、基準ブロックRBと同じ位置を中心に±m×±nの所定のサーチ範囲43内を巡って移動される。そして、基準ブロックRBと検査ブロックSBとの一致度を計算し、最も一致度の高い検査ブロックをマッチングブロックとし、このマッチングブロックから動きベクトルを求める。   In FIG. 14, an M × N reference block RB is set in the reference frame 41. In addition, a test block SB having the same size as the reference block RB is set in the search frame 42. The inspection block SB is moved around a predetermined search range 43 of ± m × ± n around the same position as the reference block RB. Then, the degree of coincidence between the reference block RB and the inspection block SB is calculated, and the inspection block having the highest degree of coincidence is set as a matching block, and a motion vector is obtained from the matching block.

すなわち、基準ブロックRBと同じ位置にある検査ブロックSB0から(u,v)シフトした位置にある検査ブロックSBkの一致度が最も高い場合には、その基準ブロックRBの動きベクトルを(u,v)とする。このとき、基準ブロックRBと検査ブロックSBの同じ位置の画素毎の絶対値差分の総和や画素毎の差分の2乗の総和等が最小になる検査ブロックを最も一致度の高い検査ブロックとする。   That is, when the matching degree of the inspection block SBk at the position shifted (u, v) from the inspection block SB0 at the same position as the reference block RB is the highest, the motion vector of the reference block RB is (u, v). And At this time, the inspection block having the smallest sum of absolute value differences for each pixel at the same position in the reference block RB and the inspection block SB, the sum of squares of the differences for each pixel, and the like is set as the inspection block with the highest degree of coincidence.

MPEG方式においては動画像の1シーケンスを複数のフレーム(ピクチャー)からなるGOP(Group of Picture)に分割して符号化を行う。GOPはフレーム内符号化画像(Iピクチャー)と、既に符号化された時間的に前のフレームから予測するフレーム間符号化画像(Pピクチャー)と、既に符号化された時間的に前後の2フレームから予測するフレーム間符号化画像(Bピクチャー)とから構成される。   In the MPEG system, one sequence of moving images is divided into GOPs (Group of Pictures) made up of a plurality of frames (pictures) for encoding. The GOP includes an intra-frame encoded image (I picture), an inter-frame encoded image (P picture) predicted from an already encoded temporally previous frame, and two frames that are already encoded temporally. And an inter-frame encoded image (B picture) predicted from the image.

例えば図15においては、始めにPピクチャーであるP3を基準フレームとし、IピクチャーであるI0を検索フレームとして動き検出を行う。次にBピクチャーであるB1を基準フレームとし、I0とP3を検索フレームとして両方向の動き検出を行う。次にBピクチャーであるB2を基準フレームとし、I0とP3を検索フレームとして両方向の動き検出を行う。   For example, in FIG. 15, first, motion detection is performed using P3 which is a P picture as a reference frame and I0 which is an I picture as a search frame. Next, motion detection in both directions is performed using B1, which is a B picture, as a reference frame and I0 and P3 as search frames. Next, motion detection in both directions is performed using B2, which is a B picture, as a reference frame and I0 and P3 as search frames.

図16に示すように、一般に動き検出に必要なサーチ範囲は基準フレームと検索フレームとのフレーム間隔に比例して増大することが望ましい。ここでは、ブロックサイズが16×16の場合について説明を行なう。例えば1フレーム離れた場合にサーチ範囲が水平方向、垂直方向共に±16とすると、2フレーム離れた場合には±32、3フレーム離れた場合には±48のサーチ範囲とすることが望ましい。   As shown in FIG. 16, it is generally desirable that the search range necessary for motion detection increases in proportion to the frame interval between the reference frame and the search frame. Here, a case where the block size is 16 × 16 will be described. For example, if the search range is ± 16 in both the horizontal and vertical directions when separated by one frame, it is desirable that the search range be ± 32 when separated by 2 frames and ± 48 when separated by 3 frames.

しかしながら、このようにフレーム間隔に比例してサーチ範囲を広げた場合には、動き検出に必要ハード量もそれぞれ1フレーム離れた場合の4倍、9倍と増加してしまう。つまり、P3を基準フレームとし、I0を検索フレームとした動き検出のような3フレーム間離れた動き検出を行なうためには非常に大きなハード量が必要となる。   However, when the search range is expanded in proportion to the frame interval in this way, the amount of hardware necessary for motion detection also increases by 4 and 9 times, respectively, when one frame is separated. That is, a very large amount of hardware is required to perform motion detection separated by three frames, such as motion detection using P3 as a reference frame and I0 as a search frame.

そこで、ハード量を増加させずにサーチ範囲を拡大する方法としてテレスコピックサーチが知られている。これは、サーチする範囲は常に±16としながらも、基準ブロック毎にサーチ範囲の中心にオフセットを持たせることにより大きなサーチ範囲をカバーするものである。次に図17を参照しながらテレスコピックサーチについて説明する。   Therefore, telescopic search is known as a method for expanding the search range without increasing the hardware amount. This is to cover a large search range by providing an offset at the center of the search range for each reference block while the search range is always ± 16. Next, telescopic search will be described with reference to FIG.

図17に示すように、例えば基準フレームに対して3フレーム離れた検索フレーム3においてサーチを行なう場合には、始めに1フレーム離れた検索フレーム1において±16のサーチ範囲で、基準ブロックにおける動きベクトルMV1を求める。次に2フレーム離れた検索フレーム2において、MV1をサーチ範囲の中心として±16のサーチ範囲でサーチを行ない動きベクトルMV2を求める。このとき、基準フレーム内の基準ブロックから見たサーチ範囲は±32となる。最後に3フレーム離れた検索フレーム3において、MV2をサーチ範囲の中心として±16のサーチ範囲でサーチを行ない動きベクトルMV3を求める。このようにして最後に3フレーム離れた動きベクトルがサーチ範囲±48に対して求まる。この場合に必要なハード量は±16のサーチ範囲をカバーするハード量のみでよい。   As shown in FIG. 17, for example, when a search is performed in search frame 3 that is three frames away from the reference frame, the motion vector in the reference block is first searched within ± 16 in search frame 1 one frame away. Find MV1. Next, in a search frame 2 that is two frames away, a search is performed within a search range of ± 16 with MV1 as the center of the search range to obtain a motion vector MV2. At this time, the search range viewed from the reference block in the reference frame is ± 32. Finally, in search frame 3 that is three frames away, a search is performed in a search range of ± 16 with MV2 as the center of the search range to obtain a motion vector MV3. In this way, the motion vector finally three frames away is obtained for the search range ± 48. In this case, the hardware amount required is only a hardware amount that covers a search range of ± 16.

図18にサーチデータの転送量の比較をサーチ範囲が固定の場合とテレスコピックサーチの場合について示す。   FIG. 18 shows a comparison of search data transfer amounts for the case where the search range is fixed and the case of telescopic search.

サーチ範囲を固定した場合には、この図の(1)に示すように、水平方向に隣接した基準ブロック例えばRB0とRB1では32×48はサーチ範囲が重なるため、サーチ範囲が重ならない16×48のデータのみを新たに転送すれば良い。   When the search range is fixed, as shown in (1) of this figure, since the search range overlaps 32 × 48 in the reference blocks adjacent in the horizontal direction, for example, RB0 and RB1, the search range does not overlap 16 × 48 Only the new data need be transferred.

これに対して、テレスコピックサーチの場合には、検索フレーム2及び3においては、基準ブロック毎にサーチ範囲が異なる為に、各基準ブロック毎に±16のサーチ範囲分(48×48)を256(=16×16)クロックで転送する必要がある。   On the other hand, in the case of the telescopic search, in the search frames 2 and 3, since the search range is different for each reference block, ± 16 search ranges (48 × 48) are set to 256 (48 × 48) for each reference block. = 16 × 16) It is necessary to transfer with a clock.

つまり、±16のサーチ範囲でテレスコピックサーチを行なうためには、(48×48)/(16×48)=3倍のサーチデータの転送レートを必要とすることになる。この値はサーチ範囲が増大するとさらに大きくなり、例えば±32の場合にはテレスコピックサーチで必要とする転送レートは、(80×80)/(80×16)=5倍となってしまい、データの転送が非常に困難となる。画素データ8ビット、画素クロックを13.5MHzとすると、この場合には、(80×80/256)×13.5MHz×1byte=337.5Mバイト/secもの転送レートが必要となる。この大きな転送レートはハードを実現する上で大きな障害となる。   That is, in order to perform a telescopic search within a search range of ± 16, a search data transfer rate of (48 × 48) / (16 × 48) = 3 times is required. This value further increases as the search range increases. For example, in the case of ± 32, the transfer rate required for the telescopic search is (80 × 80) / (80 × 16) = 5 times, and the data The transfer becomes very difficult. If the pixel data is 8 bits and the pixel clock is 13.5 MHz, in this case, a transfer rate of (80 × 80/256) × 13.5 MHz × 1 byte = 337.5 Mbyte / sec is required. This large transfer rate is a major obstacle to realizing hardware.

また、従来のテレスコピックサーチにおいては、図19に示すように、斜め右上へ大きく動いたと判断して±16のサーチ範囲を設定した後、正しい動きベクトルが動きの小さいベクトルであった場合には、±16のサーチ範囲内で正しい動きベクトルは検出できない。この場合、画像の動きが小さいので視覚的に大きな画質劣化となる。   Further, in the conventional telescopic search, as shown in FIG. 19, after setting the search range of ± 16 after determining that the position has moved largely diagonally to the upper right, if the correct motion vector is a vector with small motion, A correct motion vector cannot be detected within the search range of ± 16. In this case, since the motion of the image is small, the image quality deteriorates visually.

このように、従来のテレスコピックサーチでは、検索データを転送するために非常に大きなデータ転送レートが必要であるという欠点を持っていた。また、大きく動いたと判断を行ない、正しい動きベクトルが動きの小さいベクトルであった場合には、正しい動きベクトルは検出できず、しかも画像の動きが小さいので、視覚的に大きな画質劣化となる欠点を持っていた。   As described above, the conventional telescopic search has a drawback that a very large data transfer rate is required to transfer search data. Also, if the correct motion vector is determined to have moved greatly and the correct motion vector is a small motion vector, the correct motion vector cannot be detected, and the image motion is small, resulting in a large visual degradation. had.

本発明はこのような問題点に鑑みてなされたものであって、検索データの転送レートを増大させることなくサーチ範囲を拡大できる動きベクトル検出装置及び動きベクトル検出方法を提供するものである。   The present invention has been made in view of such problems, and provides a motion vector detection device and a motion vector detection method capable of expanding a search range without increasing a search data transfer rate.

本発明は、基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、基準フレームの基準ブロックとNフレーム(N>M)離れた検索フレームの検索ブロックとの動きベクトルを検出する動きベクトル検出装置において、前記基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、前記基準フレームと前記Mフレーム離れた検索フレーム間の動きベクトル分布を検出し、検出された前記動きベクトル分布に基づき、前記Nフレーム離れた検索フレームにおけるサーチ範囲を設定する設定手段と、前記設定手段により設定されるサーチ範囲において、前記基準フレームの基準ブロックと前記Nフレーム離れた検索フレームの検索ブロックとの動きベクトルを検出する動き検出手段と、を有することを特徴とする。   The present invention relates to a motion vector between a reference block of a reference frame and a search block of a search frame separated by N frames (N> M) based on a motion vector of the reference block of the reference frame and a search block of a search frame separated by M frames. Detecting a motion vector distribution between the reference frame and the search frame separated by M frames based on a motion vector of a reference block of the reference frame and a search block of a search frame separated by M frames And setting means for setting a search range in search frames separated by N frames based on the detected motion vector distribution, and in the search range set by the setting means, the reference block of the reference frame and the N frames Working with search blocks in remote search frames And having a motion detection means for detecting a vector.

また、本発明は、基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、基準フレームの基準ブロックとNフレーム(N>M)離れた検索フレームの検索ブロックとの動きベクトルを検出する動きベクトル検出方法であって、前記基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、前記基準フレームと前記Mフレーム離れた検索フレーム間の動きベクトル分布を検出し、検出された前記動きベクトル分布に基づき、前記Nフレーム離れた検索フレームにおけるサーチ範囲を設定し、前記設定されるサーチ範囲における、前記基準フレームの基準ブロックと前記Nフレーム離れた検索フレームの検索ブロックとの動きベクトルを検出することを特徴とする。   Further, the present invention is based on a motion vector between a reference block of a reference frame and a search block of a search frame that is M frames away from the reference block of the reference frame and a search block of a search frame that is N frames (N> M) apart. A motion vector detection method for detecting a motion vector, comprising: a motion between a reference frame and a search frame separated by M frames based on a motion vector between a reference block of the reference frame and a search block of a search frame separated by M frames A vector distribution is detected, a search range in the search frame separated by N frames is set based on the detected motion vector distribution, and the reference block of the reference frame in the set search range is separated by N frames. Detect motion vector with search block of search frame And wherein the door.

本発明によれば、検索データの転送レートを増加させることなく、動きベクトルのサーチ範囲を拡大することができる。   According to the present invention, the motion vector search range can be expanded without increasing the search data transfer rate.

また、常に動きの小さい部分をカバーしながらサーチ範囲を可変にすることにより、サーチ範囲のモードの判定に誤りがあった場合や、スライスの一部の基準ブロックの動きが他の基準ブロックと動く方向が異なる場合についても画質劣化の目につきやすい、動きの小さなものに対しては対処が可能となる。   In addition, by making the search range variable while always covering a small movement part, if there is an error in determining the mode of the search range, or the movement of some reference blocks in a slice moves with other reference blocks Even in the case where the directions are different, it is possible to cope with a small movement that is easily noticeable in image quality degradation.

以下、本発明の実施の形態について、図面を参照しながら、〔1〕動きベクトル検出回路の第1の実施の形態、〔2〕動きベクトル検出回路の第2の実施の形態、〔3〕動きベクトル検出回路の第3の実施の形態、〔4〕動きベクトル検出回路の第4の実施の形態、〔5〕本発明に係る動きベクトル検出回路を備えた撮像記録装置の順序で詳細に説明する。   Embodiments of the present invention will be described below with reference to the drawings. [1] First embodiment of motion vector detection circuit, [2] Second embodiment of motion vector detection circuit, [3] Motion A third embodiment of the vector detection circuit, [4] a fourth embodiment of the motion vector detection circuit, and [5] an imaging recording apparatus provided with the motion vector detection circuit according to the present invention will be described in detail in the order. .

〔1〕動きベクトル検出回路の第1の実施の形態
図1は本発明を適用した動きベクトル検出回路の第1の実施の形態を示すブロック図である。この動きベクトル検出回路は、基準フレームメモリ1と、検索フレームメモリ2と、動き検出回路3と、動きベクトル分布検出回路4とから構成されている。
[1] First Embodiment of Motion Vector Detection Circuit FIG. 1 is a block diagram showing a first embodiment of a motion vector detection circuit to which the present invention is applied. This motion vector detection circuit includes a reference frame memory 1, a search frame memory 2, a motion detection circuit 3, and a motion vector distribution detection circuit 4.

基準フレームメモリ1は基準フレームの画像を格納する。検索フレームメモリ2は、検索フレームメモリの画像を格納し、動きベクトル分布検出回路4から送られる検索データ読み出し制御信号cにしたがって、検査ブロックのサーチ範囲を設定する。   The reference frame memory 1 stores an image of the reference frame. The search frame memory 2 stores the image of the search frame memory, and sets the search range of the inspection block according to the search data read control signal c sent from the motion vector distribution detection circuit 4.

動き検出回路3は、基準フレームメモリ1から転送されてくる基準ブロックの画像データaと検索フレームメモリ2から転送されてくる検査ブロックの画像データbとからその基準ブロックの動きベクトルdを求める。この動きベクトルdは、従来例と同じくブロックマッチング法により求める。すなわち、基準ブロックと検査ブロックの同じ位置の画素毎の絶対値差分の総和や画素毎の差分の2乗の総和(以下残差という)が最小になる検査ブロックの位置から動きベクトルdを求める。動き検出回路3は求めた動きベクトルdをそのときの残差eと共に出力する。   The motion detection circuit 3 obtains the motion vector d of the reference block from the image data a of the reference block transferred from the reference frame memory 1 and the image data b of the inspection block transferred from the search frame memory 2. This motion vector d is obtained by the block matching method as in the conventional example. That is, the motion vector d is obtained from the position of the test block that minimizes the sum of absolute value differences for each pixel at the same position in the reference block and the test block and the sum of squares of the differences for each pixel (hereinafter referred to as residual). The motion detection circuit 3 outputs the obtained motion vector d together with the residual e at that time.

動きベクトル分布検出回路4は、動き検出回路3から送られてくる動きベクトルdと残差eとを基に検索データ読み出し制御信号cを生成し、検索フレームメモリ2へ供給する。   The motion vector distribution detection circuit 4 generates a search data read control signal c based on the motion vector d and the residual e sent from the motion detection circuit 3 and supplies them to the search frame memory 2.

図2は前述した動き検出回路3のサーチ範囲を説明する図である。この図の(a)は、基準ブロックを画像の横方向へ左端から右端へ移動させる操作を上端から下端へと進める場合であり、(b)は基準ブロックを画像の縦方向へ上端から下端へ移動させる操作を左端から右端へと進める場合である。以下の説明では、横方向の連続した基準ブロックを水平スライス、縦方向の連続した基準ブロックを垂直スライスという。   FIG. 2 is a diagram for explaining the search range of the motion detection circuit 3 described above. (A) of this figure is a case where the operation of moving the reference block in the horizontal direction from the left end to the right end is advanced from the upper end to the lower end, and (b) is the reference block in the vertical direction of the image from the upper end to the lower end. This is a case where the moving operation is advanced from the left end to the right end. In the following description, a horizontal reference block is referred to as a horizontal slice, and a vertical reference block is referred to as a vertical slice.

本発明においては、基準フレームと参照フレームとの動きベクトルの分布を水平スライス又は垂直スライス毎に求め、その分布状態に応じて離れたフレームにおけるサーチ範囲を設定する。以下の説明では、図2(a)に示した水平スライス毎に動きベクトルの分布を求める場合について説明する。   In the present invention, the distribution of motion vectors between the base frame and the reference frame is obtained for each horizontal slice or vertical slice, and the search range in the distant frame is set according to the distribution state. In the following description, a case will be described in which a motion vector distribution is obtained for each horizontal slice shown in FIG.

図2(a)において、画像のサイズを720×576とし、基準ブロックのサイズを16×16とすると、576/16=36個の水平スライスが形成される。また、1水平スライス当り720/16=45個の基準ブロックとなる。ここでは、各水平スライス毎に基準ブロックと1フレーム前の検査ブロックとの動きベクトルを検出し、その分布を求める。そして、その分布状態に応じて2フレーム以上離れた参照フレームにおけるその水平スライスのサーチ範囲を設定する。   In FIG. 2A, when the image size is 720 × 576 and the reference block size is 16 × 16, 576/16 = 36 horizontal slices are formed. In addition, 720/16 = 45 reference blocks per horizontal slice. Here, the motion vector between the reference block and the test block one frame before is detected for each horizontal slice, and the distribution is obtained. Then, the search range of the horizontal slice in the reference frame separated by two or more frames is set according to the distribution state.

例えば、ある水平スライスにおける45個の動きベクトルの内、上を向いている動きベクトルの数が所定のしきい値を超えている場合には、上方向にサーチ範囲を設定する。   For example, when the number of motion vectors facing upward among 45 motion vectors in a certain horizontal slice exceeds a predetermined threshold, the search range is set upward.

図18を参照しながら説明したように、テレスコピックサーチでは、検索フレーム2及び3においては、基準ブロック毎にサーチ範囲が異なる為に、各基準ブロック毎に±16のサーチ範囲分(48×48)を256(=16×16)クロックで転送する必要がある。これに対して、本実施の形態では、水平スライス毎にサーチ範囲を設定しているため、水平スライス内では水平方向に隣接した基準ブロック同士でサーチ範囲を共有するので、図18(1)に示した、通常のサーチ範囲を固定した場合と検索画像データの読み出しレートは同一である。   As described with reference to FIG. 18, in the telescopic search, in the search frames 2 and 3, since the search range is different for each reference block, ± 16 search ranges (48 × 48) for each reference block. Must be transferred with 256 (= 16 × 16) clocks. On the other hand, in this embodiment, since the search range is set for each horizontal slice, the search range is shared between reference blocks adjacent in the horizontal direction in the horizontal slice. The read rate of the search image data is the same as that in the case where the normal search range is shown.

〔2〕動きベクトル検出回路の第2の実施の形態
図3は本発明を適用した動きベクトル検出回路の第2の実施の形態を示すブロック図である。ここで、図1と対応する部分には同一の番号が付してある。
[2] Second Embodiment of Motion Vector Detection Circuit FIG. 3 is a block diagram showing a second embodiment of a motion vector detection circuit to which the present invention is applied. Here, the same number is attached | subjected to the part corresponding to FIG.

この動きベクトル検出回路は、第1の動き検出回路3−Aと第2の動き検出回路3−Bを備えている。また、第1の動き検出回路3−Aが出力する動きベクトルd1と残差e1、又は第2の動き検出回路3−Bが出力する動きベクトルd2と残差e2から、スライス毎の動きベクトルの分布を検出し、検索データ読み出し制御信号cを生成する動きベクトル分布検出回路4’を備えている。さらに、第1の動き検出回路3−Aが出力する動きベクトルd1と残差e1、及び第2の動き検出回路3−Bが出力する動きベクトルd2と残差e2から、最終動きベクトルfを求める比較回路5を備えている。   This motion vector detection circuit includes a first motion detection circuit 3-A and a second motion detection circuit 3-B. The motion vector d1 and the residual e1 output from the first motion detection circuit 3-A or the motion vector d2 and the residual e2 output from the second motion detection circuit 3-B are used to determine the motion vector for each slice. A motion vector distribution detection circuit 4 ′ that detects the distribution and generates a search data read control signal c is provided. Further, the final motion vector f is obtained from the motion vector d1 and the residual e1 output from the first motion detection circuit 3-A and the motion vector d2 and the residual e2 output from the second motion detection circuit 3-B. A comparison circuit 5 is provided.

第1の動き検出回路3−Aと第2の動き検出回路3−Bとは互いに異なるサーチ範囲において動き検出を行うことができる。それぞれの動き検出回路のサーチ範囲は水平垂直方向共に±16とする。   The first motion detection circuit 3-A and the second motion detection circuit 3-B can perform motion detection in different search ranges. The search range of each motion detection circuit is ± 16 in both the horizontal and vertical directions.

サーチ範囲を固定とする場合には、一般に水平方向に大きく動く画像が多いことから、水平方向のサーチ範囲が垂直方向のサーチ範囲よりも大きくなるように図4(1)のように設定する。この図において、Y軸の左側に3−Aと指示した範囲は第1の動き検出回路3−Aのサーチ範囲であり、Y軸の右側に3−Bと指示した範囲は第2の動き検出回路3−Bのサーチ範囲である。この場合、第1の動き検出回路3−Aと第2の動き検出回路3−Bのトータルのサーチ範囲は、水平±32、垂直±16となり、サーチ範囲の中心に対応する基準ベクトルは、(X,Y)=(0,0)となる。   When the search range is fixed, since there are generally many images that move greatly in the horizontal direction, the horizontal search range is set to be larger than the vertical search range as shown in FIG. In this figure, the range designated 3-A on the left side of the Y axis is the search range of the first motion detection circuit 3-A, and the range designated 3-B on the right side of the Y axis is the second motion detection. This is the search range of the circuit 3-B. In this case, the total search range of the first motion detection circuit 3-A and the second motion detection circuit 3-B is horizontal ± 32 and vertical ± 16, and the reference vector corresponding to the center of the search range is ( X, Y) = (0, 0).

一方、水平スライス単位でサーチ範囲を可変にする場合には、第1の動き検出回路3−Aのサーチ範囲を固定し、第2の動き検出回路3−Bのサーチ範囲を変化させる。これにより、図4(2)に示すように、サーチ範囲を水平±48、垂直±48に拡大することが可能となる(詳細は後述する)。   On the other hand, when the search range is variable in units of horizontal slices, the search range of the first motion detection circuit 3-A is fixed and the search range of the second motion detection circuit 3-B is changed. As a result, as shown in FIG. 4B, the search range can be expanded to horizontal ± 48 and vertical ± 48 (details will be described later).

以下図5を参照しながら図3に示した動きベクトル検出回路の動き検出動作を説明する。図5において、3フレーム離れたP3からI0への動き検出を行なう前に、1フレーム離れたB1からI0への動き検出を第1の動き検出回路3−Aを用いて行ない、その残差e1及び動きベクトルd1の結果を動きベクトル分布検出回路4’に保存する。また、2フレーム離れたB−2からI0への動き検出を第2の動き検出回路3−Bを用いて行なう。このときのサーチ範囲は、第1の動き検出回路3−A、第2の動き検出回路3−B共に水平±16、垂直±16であり、サーチ範囲の中心に対応する基準ベクトルは、(X,Y)=(0,0)である。   The motion detection operation of the motion vector detection circuit shown in FIG. 3 will be described below with reference to FIG. In FIG. 5, before performing motion detection from P3 to I0 separated by 3 frames, motion detection from B1 to I0 separated by 1 frame is performed using the first motion detection circuit 3-A, and the residual e1 The result of the motion vector d1 is stored in the motion vector distribution detection circuit 4 ′. Also, motion detection from B-2 to I0 separated by two frames is performed using the second motion detection circuit 3-B. The search range at this time is horizontal ± 16 and vertical ± 16 for both the first motion detection circuit 3-A and the second motion detection circuit 3-B, and the reference vector corresponding to the center of the search range is (X , Y) = (0, 0).

次に第1の動き検出回路3−Aでは、2フレーム離れたB2からI0への動き検出を行ない、第2の動き検出回路3−Bでは、1フレーム離れたB−1からI0への動き検出を行なう。   Next, the first motion detection circuit 3-A performs motion detection from B2 to I0 separated by 2 frames, and the second motion detection circuit 3-B performs motion from B-1 to I0 separated by 1 frame. Perform detection.

そして、次に3フレーム離れたP3からI0への動き検出を、先に求めて動きベクトル分布検出回路4’に保存しておいたB1からI0への動き検出の結果を用いて水平スライス毎にサーチ範囲を変えて行なう。   Then, motion detection from P3 to I0, which is 3 frames away, is obtained for each horizontal slice using the result of motion detection from B1 to I0 previously obtained and stored in the motion vector distribution detection circuit 4 ′. Change the search range.

以上の説明では、1フレーム離れた画像の動き検出の結果を用いて3フレーム離れた画像の動き検出をスライス毎にサーチ範囲を変えて行っているが、一般的には、Mフレーム又はフィールド離れた画像の動き検出の結果を用いてNフレーム又はフィールド(N、MはN>M≧1を満たす整数)離れた画像の動き検出をスライス毎にサーチ範囲を変えて行なう。   In the above description, the motion detection of the image separated by 3 frames is performed by changing the search range for each slice using the result of the motion detection of the image separated by 1 frame. The motion detection of the images separated by N frames or fields (N and M are integers satisfying N> M ≧ 1) is performed by changing the search range for each slice using the motion detection results of the images.

図6〜図8は、図3に示した動きベクトル検出回路のサーチ範囲のモードを示す図であり、図9はその動きベクトル検出回路がP3からI0への動き検出を行なう際の動作を示すフローチャートである。   6 to 8 are diagrams showing the search range modes of the motion vector detection circuit shown in FIG. 3, and FIG. 9 shows the operation when the motion vector detection circuit detects the motion from P3 to I0. It is a flowchart.

図9に示すように、始めにステップS1においてフレーム間の動き検出を行なう。これは図5を参照しながら既に説明した、B1からI0への1フレーム間の動き検出を行なうことに相当する。   As shown in FIG. 9, first, motion detection between frames is performed in step S1. This corresponds to the motion detection between one frame from B1 to I0 already described with reference to FIG.

次にステップS2において、1フレーム間の動き検出に対する動きベクトル分布を1スライス分作成する。具体的には、水平±16、垂直±16(32×32)の動きベクトルのサーチ範囲を4×4の大きさの小ブロックに分割し、その小ブロック毎に検出された動きベクトルの数をカウントする。このとき、ある閾値よりも残差の大きい動きベクトルは、信頼性が低いのでカウントしない。   Next, in step S2, a motion vector distribution for motion detection between one frame is created for one slice. Specifically, the horizontal ± 16 and vertical ± 16 (32 × 32) motion vector search range is divided into small blocks of 4 × 4 size, and the number of motion vectors detected for each small block is calculated. Count. At this time, a motion vector having a residual larger than a certain threshold is not counted because it has low reliability.

次にステップS3において、静止モード(ノーマルモード)かどうかの判定を行なう。Count(エリア1)が閾値Th1以上であればノーマルモードと判定する。ここで、Count(指定領域)という関数は、指定領域に含まれる動きベクトル数の合計を返す関数である。   Next, in step S3, it is determined whether or not it is a still mode (normal mode). If Count (area 1) is equal to or greater than the threshold Th1, the normal mode is determined. Here, a function called Count (designated area) is a function that returns the total number of motion vectors included in the designated area.

エリア1は、図6(2)の中心部に網掛けを施した±4のエリアである。このエリアは動きの小さい領域に相当する。すなわち、ステップ1で作成した1スライスの動きベクトルの大多数が動きの小さい動きベクトルである場合にはノーマルモードと判定する。   Area 1 is a ± 4 area in which the central portion of FIG. 6B is shaded. This area corresponds to an area where the movement is small. That is, when the majority of the motion vectors of one slice created in step 1 are motion vectors with small motion, the normal mode is determined.

ステップS3においてノーマルモードと判定した場合には、次にステップS4においてノーマルモードに設定し、ステップS10においてノーマルモードに応じたサーチ範囲を設定する。   If the normal mode is determined in step S3, then the normal mode is set in step S4, and the search range corresponding to the normal mode is set in step S10.

図6(1)は静止モードのサーチ範囲を示す。このサーチ範囲は、図4(1)に示したサーチ範囲固定の場合と同一である。そして、サーチ範囲の中心ベクトルは、それぞれSMV1=(mvx1,mvy1)=(−16,0)、SMV2=(mvx2,mvy2)=(16,0)である。   FIG. 6A shows the search range in the still mode. This search range is the same as the case where the search range is fixed as shown in FIG. The center vectors of the search range are SMV1 = (mvx1, mvy1) = (− 16, 0) and SMV2 = (mvx2, mvy2) = (16, 0), respectively.

以上ステップS3で静止モードであると判定した場合について説明した。ステップS3で静止モードでないと判定した場合には、次にステップS5で水平,垂直移動モードであるかどうかを判定する。この判定は、図7(2)〜(5)に示すエリア2−1〜2−4毎にそのエリアに含まれる動きベクトルの合計が所定の閾値Th2以上であるかどうかを調べることにより行う。   The case where it is determined in step S3 that the mode is the still mode has been described. If it is determined in step S3 that the mode is not the still mode, it is next determined in step S5 whether the mode is the horizontal or vertical movement mode. This determination is performed by examining whether or not the sum of the motion vectors included in each area 2-1 to 2-4 shown in FIGS. 7 (2) to (5) is equal to or greater than a predetermined threshold Th2.

そして、エリア2−1に含まれる動きベクトルの合計がTh2以上であればモード2−1、エリア2−2に含まれる動きベクトルの合計がTh2以上であればモード2−2、エリア2−3に含まれる動きベクトルの合計がTh2以上であればモード2−3、エリア2−4に含まれる動きベクトルの合計がTh2以上であればモード2−4と判定する。   If the total of motion vectors included in area 2-1 is equal to or greater than Th2, mode 2-1 is selected. If the total of motion vectors included in area 2-2 is equal to or greater than Th2, mode 2-2 is selected. If the sum of the motion vectors included in is greater than or equal to Th2, it is determined as mode 2-3, and if the sum of the motion vectors included in area 2-4 is greater than or equal to Th2, it is determined as mode 2-4.

ステップS5において水平,垂直移動モード、すなわちモード2−1〜2−4のいずれかであると判定した場合には、次にステップS6においてそのモードに設定し、ステップS10においてそのモードに応じたサーチ範囲を設定する。   If it is determined in step S5 that the mode is horizontal or vertical movement mode, that is, any of modes 2-1 to 2-4, the mode is set in step S6, and a search corresponding to the mode is performed in step S10. Set the range.

図7(1)にモード2−1〜2−4のサーチ範囲を示す。この図において、中心部の±16のサーチ範囲は第1の動き検出回路3−Aのサーチ範囲であり、それに隣接する2−1〜2−4はそれぞれモード2−1〜2−4における第2の動き検出回路3−Bのサーチ範囲である。それぞれのサーチ範囲の中心ベクトルは以下のとおりである。   FIG. 7A shows the search range of modes 2-1 to 2-4. In this figure, the ± 16 search range in the center is the search range of the first motion detection circuit 3-A, and the adjacent 2-1 to 2-4 are the first in the modes 2-1 to 2-4. 2 is a search range of the motion detection circuit 3-B. The center vector of each search range is as follows.

モード2−1・・・SMV1=(0,0)、SMV2=(0,16)
モード2−2・・・SMV1=(0,0)、SMV2=(16,0)
モード2−3・・・SMV1=(0,0)、SMV2=(0,−16)
モード2−4・・・SMV1=(0,0)、SMV2=(−16,0)
ステップS5で水平,垂直移動モードでないと判定した場合には、次にステップS7で斜め移動モードであるかどうかの判定を行なう。この判定は、図8(2)〜(5)に示すエリア3−1〜3−4毎にそのエリアに含まれる動きベクトルの合計が所定の閾値Th3以上であるかどうかを調べることにより行う。
Mode 2-1 ... SMV1 = (0,0), SMV2 = (0,16)
Mode 2-2 ... SMV1 = (0,0), SMV2 = (16,0)
Mode 2-3... SMV1 = (0, 0), SMV2 = (0, -16)
Mode 2-4... SMV1 = (0, 0), SMV2 = (-16, 0)
If it is determined in step S5 that the mode is not the horizontal or vertical movement mode, it is next determined in step S7 whether the mode is the oblique movement mode. This determination is performed by checking whether or not the total of motion vectors included in each area 3-1 to 3-4 shown in FIGS. 8 (2) to 8 (5) is equal to or greater than a predetermined threshold Th3.

そして、エリア3−1に含まれる動きベクトルの合計がTh3以上であればモード3−1、エリア3−2に含まれる動きベクトルの合計がTh3以上であればモード3−2、エリア3−3に含まれる動きベクトルの合計がTh3以上であればモード3−3、エリア3−4に含まれる動きベクトルの合計がTh3以上であればモード3−4と判定する。   If the total of motion vectors included in area 3-1 is equal to or greater than Th3, mode 3-1 is selected. If the total of motion vectors included in area 3-2 is equal to or greater than Th3, mode 3-2 is selected, and area 3-3 is determined. If the sum of the motion vectors included in is greater than or equal to Th3, it is determined as mode 3-3, and if the sum of the motion vectors included in area 3-4 is greater than or equal to Th3, it is determined as mode 3-4.

ステップS7において斜め移動モード、すなわちモード3−1〜3−4のいずれかであると判定した場合には、次にステップS8においてそのモードに設定し、ステップS10においてそのモードに応じたサーチ範囲を設定する。   If it is determined in step S7 that the mode is an oblique movement mode, that is, any of modes 3-1 to 3-4, then that mode is set in step S8, and a search range corresponding to that mode is set in step S10. Set.

図8(1)にモード3−1〜3−4のサーチ範囲を示す。この図において、中心部の±16のサーチ範囲は第1の動き検出回路3−Aのサーチ範囲であり、その外側の3−1〜3−4はそれぞれモード3−1〜3−4における第2の動き検出回路3−Bのサーチ範囲である。それぞれのサーチ範囲の中心ベクトルは以下のとおりである。   FIG. 8A shows the search range of modes 3-1 to 3-4. In this figure, the search range of ± 16 in the center is the search range of the first motion detection circuit 3-A, and the outer 3-1 to 3-4 are the first in the modes 3-1 to 3-4. 2 is a search range of the motion detection circuit 3-B. The center vector of each search range is as follows.

モード3−1・・・SMV1=(0,0)、SMV2=(16,16)
モード3−2・・・SMV1=(0,0)、SMV2=(16,−16)
モード3−3・・・SMV1=(0,0)、SMV2=(−16,−16)
モード3−4・・・SMV1=(0,0)、SMV2=(−16,16)
ステップS7で斜め移動モードでないと判定した場合、つまり静止モード、水平、垂直モード、斜め移動モードのいずれのモードにも判定されなかった場合には、ステップS9でノーマルモードに設定する。そして、ステップS10においてノーマルモードに応じたサーチ範囲を設定する。
Mode 3-1 ... SMV1 = (0,0), SMV2 = (16,16)
Mode 3-2... SMV1 = (0, 0), SMV2 = (16, -16)
Mode 3-3... SMV1 = (0, 0), SMV2 = (-16, -16)
Mode 3-4... SMV1 = (0, 0), SMV2 = (-16, 16)
If it is determined in step S7 that the mode is not the oblique movement mode, that is, if it is not determined in any of the still mode, the horizontal, vertical mode, or the diagonal movement mode, the normal mode is set in step S9. In step S10, a search range corresponding to the normal mode is set.

ステップS10においてサーチ範囲を設定したら、次にステップS11において、3フレーム離れたP3からI0への動き検出を対応する1水平スライス分、行なう。第1の動き検出回路3−Aと第2の動き検出回路3−Bからの結果は、図3の比較回路5へ入力され、残差の小さい動きベクトルが最終的に動きベクトルfとして出力される。   After the search range is set in step S10, next, in step S11, motion detection from P3 to I0 separated by three frames is performed for the corresponding one horizontal slice. The results from the first motion detection circuit 3-A and the second motion detection circuit 3-B are input to the comparison circuit 5 in FIG. 3, and a motion vector having a small residual is finally output as the motion vector f. The

次にステップS12において、1フレーム分の処理を終えているかをどうかを判定し、終えていなければ、ステップS2へ戻り処理を繰り返す。1フレーム分の処理を終えていれば処理を終える。   Next, in step S12, it is determined whether or not the processing for one frame has been completed. If not, the process returns to step S2 to repeat the processing. If the processing for one frame is finished, the processing is finished.

このように、本実施の形態によれば常に(0,0)の周辺(ここでは、水平、垂直共に±16)をカバーしながらサーチ範囲を可変にする。したがって、動きのモードの判定に誤りがあった場合や、スライスの一部の基準ブロックの動きが他の基準ブロックと動く方向が異なる場合についても、画質劣化の目につきやすい、動きの小さなものに対しては対処が可能となる。   Thus, according to the present embodiment, the search range is made variable while always covering the periphery of (0, 0) (here, ± 16 in both horizontal and vertical directions). Therefore, even if there is an error in determining the motion mode, or when the motion of some reference blocks in the slice is different from the motion direction of other reference blocks, the image quality is likely to be noticeable and the motion is small. It is possible to deal with it.

この実施の形態では、3種類の動きのモード(静止、水平,垂直移動、斜め移動)を持っているが、より多くの細かいモードを持つように構成してもよい。また、この実施の形態では、1フレーム間のベクトル分布により3フレーム間の動きベクトルを求める実施例を示したが、実際には、Mフレーム又はフィールド間の動きベクトルよりNフレーム又はフィールド間(N、MはN>M≧1を満たす整数)の動きベクトルを求めることが可能である。   In this embodiment, there are three types of motion modes (stationary, horizontal, vertical movement, and diagonal movement), but it may be configured to have more fine modes. In this embodiment, an example in which a motion vector between three frames is obtained based on a vector distribution between one frame has been shown. However, in reality, N frames or fields (N , M is an integer satisfying N> M ≧ 1).

〔3〕動きベクトル検出回路の第3の実施の形態
図10に本発明を適用した動きベクトル検出回路の第3の実施の形態におけるサーチ範囲を示す。装置の構成はほぼ図3と同じである。ただし、本実施の形態では第1の動き検出回路3−Aは水平、垂直共±16のサーチ範囲で従来のテレスコピックサーチを行い、第2の動き検出回路3−Bは常に(0,0)を中心として水平、垂直共±16のサーチ範囲でサーチ範囲固定のサーチを行うので、図3の動きベクトル分布検出回路4’の代わりに、従来のテレスコピックサーチとサーチ範囲固定のサーチに必要な検索データ読み出し制御信号の作成を行う回路を設ける。
[3] Third Embodiment of Motion Vector Detection Circuit FIG. 10 shows a search range in a third embodiment of a motion vector detection circuit to which the present invention is applied. The configuration of the apparatus is almost the same as in FIG. However, in the present embodiment, the first motion detection circuit 3-A performs a conventional telescopic search within a search range of ± 16 for both horizontal and vertical, and the second motion detection circuit 3-B is always (0, 0). Because the search range is fixed within the search range of ± 16 for both horizontal and vertical centering on the center, the search necessary for the conventional telescopic search and the search range fixed search is used instead of the motion vector distribution detection circuit 4 'in FIG. A circuit for generating a data read control signal is provided.

このように構成すれば、大きく動いたと判断を行ない、正しい動きベクトルが動きの小さいベクトルであった場合にも、第2の動き検出回路3−Bにより正しい動きベクトルの検出が可能となる。   With this configuration, the second motion detection circuit 3-B can detect the correct motion vector even if it is determined that the motion has moved greatly and the correct motion vector is a vector with small motion.

〔4〕動きベクトル検出回路の第4の実施の形態
図11は本発明を適用した動きベクトル検出回路の第4の実施の形態を示すブロック図である。ここで、図1と対応する部分には同一の番号が付してある。この画像符号化装置の構成は基本的には図1に示した動きベクトル検出回路と同じである。ただし、この装置では、動きベクトル分布検出回路4”は動き検出回路3が出力する動きベクトルdと残差eとを用いるのではなく、外部から動き信号gを受け取る。この動き信号gは、例えばビデオカメラの手ブレ補正に用いる動きベクトル検出回路や角速度センサーから受け取る。この場合、動き検出回路3におけるサーチ範囲はスライス毎に可変ではなく、全スライスについて同じになる。
[4] Fourth Embodiment of Motion Vector Detection Circuit FIG. 11 is a block diagram showing a fourth embodiment of a motion vector detection circuit to which the present invention is applied. Here, the same number is attached | subjected to the part corresponding to FIG. The configuration of this image encoding apparatus is basically the same as that of the motion vector detection circuit shown in FIG. However, in this apparatus, the motion vector distribution detection circuit 4 ″ does not use the motion vector d and the residual e output from the motion detection circuit 3, but receives a motion signal g from the outside. In this case, the search range in the motion detection circuit 3 is not variable for each slice, but is the same for all slices.

〔5〕本発明に係る動きベクトル検出回路を備えた撮像記録装置
図12に本発明に係る動きベクトル検出回路を備えた撮像記録装置を示す。この図において、符号化回路12は基本的に図13のように構成されているが、その内部の動きベクトル検出回路はこれまで説明した図1、図3、又は図11のように構成されている。この符号化回路12には、カメラ部11からビデオ信号と動き信号gとが供給される。動き信号gは、図11において説明したものである。そして、符号化回路12における動きベクトル検出回路を図1又は図3のように構成した場合には、動きベクトル分布検出回路は、動き検出回路から送られてくる動きベクトルと残差、及びカメラ部11から送られてくる動き信号gの双方を用いて、検索フレームメモリの検索データ読み出し制御信号を生成する。
[5] Imaging / Recording Device Equipped with Motion Vector Detection Circuit According to the Present Invention FIG. 12 shows an imaging / recording device equipped with a motion vector detection circuit according to the present invention. In this figure, the encoding circuit 12 is basically configured as shown in FIG. 13, but the internal motion vector detection circuit is configured as shown in FIG. 1, FIG. 3, or FIG. Yes. The encoding circuit 12 is supplied with a video signal and a motion signal g from the camera unit 11. The motion signal g has been described with reference to FIG. When the motion vector detection circuit in the encoding circuit 12 is configured as shown in FIG. 1 or FIG. 3, the motion vector distribution detection circuit includes the motion vector and residual sent from the motion detection circuit, and the camera unit. 11 is used to generate a search data read control signal for the search frame memory.

符号化回路12により符号化されたビデオ信号は変調回路13において所定の記録変調処理を受け、記録デバイス14に記録される。記録デバイスとしては、ハードディスク、光磁気ディスク、DVD(Digital Video Disk)−RAM(Random Access Memory)等を使用する。
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。例えば、サーチ範囲を可変とする単位を水平スライスの右半分、左半分のようにしてもよい。この場合には、水平スライスの中心のサーチ範囲の変化する部分でわずかに検索データの読み出しレートの増加が起こるが、水平ブランキング期間で時間的に吸収可能である。このようにサーチ範囲を可変とする単位を小さくすることにより、検索データの読み出しレートは増加するものの細かい動きに対応可能となる。また、本発明は、フィールド間の動きを検出する場合にも適用することができる。
The video signal encoded by the encoding circuit 12 undergoes a predetermined recording modulation process in the modulation circuit 13 and is recorded in the recording device 14. As the recording device, a hard disk, a magneto-optical disk, a DVD (Digital Video Disk) -RAM (Random Access Memory), or the like is used.
In addition, this invention is not limited to the said embodiment, A various deformation | transformation is possible based on the meaning of this invention. For example, the unit for changing the search range may be the right half and the left half of the horizontal slice. In this case, the reading rate of the search data slightly increases at the portion where the search range at the center of the horizontal slice changes, but it can be absorbed in time in the horizontal blanking period. By reducing the unit for making the search range variable in this way, it is possible to cope with fine movements although the search data read rate increases. The present invention can also be applied when detecting motion between fields.

本発明を適用した動きベクトル検出装置の第1の実施の形態を示すブロック図である。It is a block diagram which shows 1st Embodiment of the motion vector detection apparatus to which this invention is applied. 図1における動き検出回路のサーチ範囲を説明する図である。It is a figure explaining the search range of the motion detection circuit in FIG. 本発明を適用した動きベクトル検出回路の第2の実施の形態を示すブロック図である。It is a block diagram which shows 2nd Embodiment of the motion vector detection circuit to which this invention is applied. 図3における動き検出回路のサーチ範囲を説明する図である。It is a figure explaining the search range of the motion detection circuit in FIG. 図3の動きベクトル検出回路の動き検出の例を示す図である。It is a figure which shows the example of the motion detection of the motion vector detection circuit of FIG. 図3における動き検出回路の静止モードを示す図である。It is a figure which shows the still mode of the motion detection circuit in FIG. 図3における動き検出回路の水平,垂直移動モードを示す図である。It is a figure which shows the horizontal and vertical movement modes of the motion detection circuit in FIG. 図3における動き検出回路の斜め移動モードを示す図である。It is a figure which shows the diagonal movement mode of the motion detection circuit in FIG. 図3の動きベクトル検出回路の動作を示すフローチャートである。4 is a flowchart showing an operation of the motion vector detection circuit of FIG. 3. 本発明を適用した動きベクトル検出装置の第3の実施の形態におけるサーチ範囲を示す図である。It is a figure which shows the search range in 3rd Embodiment of the motion vector detection apparatus to which this invention is applied. 本発明を適用した動きベクトル検出回路の第4の実施の形態を示すブロック図である。It is a block diagram which shows 4th Embodiment of the motion vector detection circuit to which this invention is applied. 本発明に係る動きベクトル検出回路を備えた撮像記録装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging recording device provided with the motion vector detection circuit which concerns on this invention. MPEG方式に準拠した画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus based on an MPEG system. ブロックマッチング法について説明するための図である。It is a figure for demonstrating the block matching method. MPEGにおける動き検出の例を示す図である。It is a figure which shows the example of the motion detection in MPEG. フレーム間隔と望ましいサーチ範囲との関係を示す図である。It is a figure which shows the relationship between a frame space | interval and a desirable search range. 従来のテレスコピックサーチを示す図である。It is a figure which shows the conventional telescopic search. 通常のサーチとテレスコピックサーチのデータ転送量を比較する図である。It is a figure which compares the data transfer amount of a normal search and a telescopic search. テレスコピックサーチにおいて正しい動きベクトルが検出できない様子を示す図である。It is a figure which shows a mode that a correct motion vector cannot be detected in a telescopic search.

符号の説明Explanation of symbols

1…基準フレームメモリ、2…検索フレームメモリ、3,3−A,3−B…動き検出回路、4,4’,4”…動きベクトル分布検出回路   DESCRIPTION OF SYMBOLS 1 ... Reference | standard frame memory, 2 ... Search frame memory, 3, 3-A, 3-B ... Motion detection circuit, 4, 4 ', 4 "... Motion vector distribution detection circuit

Claims (4)

基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、基準フレームの基準ブロックとNフレーム(N>M)離れた検索フレームの検索ブロックとの動きベクトルを検出する動きベクトル検出装置において、
前記基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、前記基準フレームと前記Mフレーム離れた検索フレーム間の動きベクトル分布を検出し、検出された前記動きベクトル分布に基づき、前記Nフレーム離れた検索フレームにおけるサーチ範囲を設定する設定手段と、
前記設定手段により設定されるサーチ範囲において、前記基準フレームの基準ブロックと前記Nフレーム離れた検索フレームの検索ブロックとの動きベクトルを検出する動き検出手段と、
を有することを特徴とする動きベクトル検出装置。
Motion for detecting a motion vector between a reference block of a reference frame and a search block of a search frame separated by N frames (N> M) based on a motion vector of a reference block of the reference frame and a search block of a search frame separated by M frames In the vector detection device,
Based on a motion vector between a reference block of the reference frame and a search block of a search frame separated by M frames, a motion vector distribution between the reference frame and the search frame separated by M frames is detected, and the detected motion vector distribution is detected. And setting means for setting a search range in search frames separated by N frames,
Motion detection means for detecting a motion vector between a reference block of the reference frame and a search block of the search frame separated by N frames in a search range set by the setting means;
A motion vector detection apparatus comprising:
2個以上の独立した動き検出手段を有することを特徴とする請求項1に記載の動きベクトル検出装置。   The motion vector detection apparatus according to claim 1, further comprising two or more independent motion detection means. 基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、基準フレームの基準ブロックとNフレーム(N>M)離れた検索フレームの検索ブロックとの動きベクトルを検出する動きベクトル検出方法であって、
前記基準フレームの基準ブロックとMフレーム離れた検索フレームの検索ブロックとの動きベクトルに基づき、前記基準フレームと前記Mフレーム離れた検索フレーム間の動きベクトル分布を検出し、
検出された前記動きベクトル分布に基づき、前記Nフレーム離れた検索フレームにおけるサーチ範囲を設定し、
前記設定されるサーチ範囲における、前記基準フレームの基準ブロックと前記Nフレーム離れた検索フレームの検索ブロックとの動きベクトルを検出する
ことを特徴とする動きベクトル検出方法。
Motion for detecting a motion vector between a reference block of a reference frame and a search block of a search frame separated by N frames (N> M) based on a motion vector of a reference block of the reference frame and a search block of a search frame separated by M frames A vector detection method,
Detecting a motion vector distribution between the reference frame and the search frame separated by M frames based on the motion vector of the reference block of the reference frame and a search block of the search frame separated by M frames;
Based on the detected motion vector distribution, setting a search range in the search frames separated by N frames,
Detecting a motion vector between a reference block of the reference frame and a search block of a search frame separated by N frames in the set search range;
A motion vector detection method characterized by the above.
動きベクトルを2個以上の独立した動き検出手段により検出することを特徴とする請求項3記載の動きベクトル検出方法。   4. The motion vector detection method according to claim 3, wherein the motion vector is detected by two or more independent motion detection means.
JP2006282976A 2006-10-17 2006-10-17 Motion vector detection apparatus and motion vector detection method Expired - Fee Related JP4131287B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006282976A JP4131287B2 (en) 2006-10-17 2006-10-17 Motion vector detection apparatus and motion vector detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006282976A JP4131287B2 (en) 2006-10-17 2006-10-17 Motion vector detection apparatus and motion vector detection method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP34459895A Division JP3994445B2 (en) 1995-12-05 1995-12-05 Motion vector detection apparatus and motion vector detection method

Publications (2)

Publication Number Publication Date
JP2007060706A true JP2007060706A (en) 2007-03-08
JP4131287B2 JP4131287B2 (en) 2008-08-13

Family

ID=37923679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006282976A Expired - Fee Related JP4131287B2 (en) 2006-10-17 2006-10-17 Motion vector detection apparatus and motion vector detection method

Country Status (1)

Country Link
JP (1) JP4131287B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502866A (en) * 2011-04-01 2014-01-08 富士胶片株式会社 Imaging device and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502866A (en) * 2011-04-01 2014-01-08 富士胶片株式会社 Imaging device and program
JPWO2012137650A1 (en) * 2011-04-01 2014-07-28 富士フイルム株式会社 Imaging apparatus and program
US8860871B2 (en) 2011-04-01 2014-10-14 Fujifilm Corporation Imaging device and computer readable medium having a focusing control function

Also Published As

Publication number Publication date
JP4131287B2 (en) 2008-08-13

Similar Documents

Publication Publication Date Title
JP3994445B2 (en) Motion vector detection apparatus and motion vector detection method
KR101135454B1 (en) Temporal interpolation of a pixel on basis of occlusion detection
KR100973429B1 (en) Background motion vector detection
JP4724459B2 (en) Motion vector detection using adaptive time prediction
KR100905880B1 (en) Motion estimation and/or compensation
US20100201870A1 (en) System and method for frame interpolation for a compressed video bitstream
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
JP4887750B2 (en) Image processing apparatus, control method, and program
US7212573B2 (en) Method and/or apparatus for determining minimum positive reference indices for a direct prediction mode
JPH10262258A (en) Image coder and its method
JP2001169288A (en) Device and method for searching motion vector
JP2008510359A (en) Panorama motion estimation and compensation
JP2005318576A (en) Motion detection employing adaptive spatial update vector
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
US20190110060A1 (en) A video encoding and decoding method, and its inter-frame prediction method, device and system thereof
JP2007122232A (en) Image processor and program
JP2006100871A (en) Coder, coding method, program of coding method, and recording medium with the program recorded thereon
JP2007228560A (en) Moving picture coding method and moving picture coding device
JP2007510213A (en) Improved motion vector field for tracking small fast moving objects
JP4131287B2 (en) Motion vector detection apparatus and motion vector detection method
JP4235209B2 (en) Motion vector detection apparatus and motion vector detection method
JP2009218965A (en) Image processor, imaging device mounted with the same and image reproduction device
JP6313614B2 (en) Video encoding apparatus and control method thereof
JPH1023420A (en) Method and device for detecting movement
JP2000059779A (en) Dynamic image encoding device and dynamic image encoding method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080513

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees