JP2006340211A - Motion compensation prediction apparatus - Google Patents

Motion compensation prediction apparatus Download PDF

Info

Publication number
JP2006340211A
JP2006340211A JP2005164639A JP2005164639A JP2006340211A JP 2006340211 A JP2006340211 A JP 2006340211A JP 2005164639 A JP2005164639 A JP 2005164639A JP 2005164639 A JP2005164639 A JP 2005164639A JP 2006340211 A JP2006340211 A JP 2006340211A
Authority
JP
Japan
Prior art keywords
pixels
precision
pixel
motion compensation
compensation prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005164639A
Other languages
Japanese (ja)
Inventor
Koji Arimura
耕治 有村
Tatsuro Shigesato
達郎 重里
Kazuo Saigo
賀津雄 西郷
Hiroshi Arakawa
博 荒川
Hideyuki Okose
秀之 大古瀬
Hisaki Maruyama
悠樹 丸山
Hiroshi Tasaka
啓 田坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005164639A priority Critical patent/JP2006340211A/en
Publication of JP2006340211A publication Critical patent/JP2006340211A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion compensation prediction apparatus in which motion compensation prediction processing is performed at high speed by interpolating pixels of 1/2 precision and pixels of 1/4 precision between horizontally or vertically continuous integer pixels through one time of pipeline processing. <P>SOLUTION: A motion compensation prediction apparatus for performing motion compensation prediction of decimal precision comprises: a pixel interpolation section 47 for applying FIR filter processing to horizontally or vertically continuous integer pixels to simultaneously interpolate pixels of 1/2 precision and pixels of 1/4 precision between adjacent two integer pixels within one clock; a frame memory 48 for recording the pixels of decimal precision interpolated by the pixel interpolation section 47; and a motion compensation prediction section 49 for performing motion compensation prediction using the pixels of decimal precision recorded in the frame memory 48. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、小数精度の動き補償予測を行う動き補償予測装置に関し、特に、1/4精度の画素を補間する技術に関する。   The present invention relates to a motion compensation prediction apparatus that performs motion compensation prediction with decimal precision, and more particularly to a technique for interpolating ¼ precision pixels.

近年、AV情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。映像信号は膨大な情報量を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化するのが一般的である。映像信号の符号化技術としては、MPEG(Moving Picture Experts Group)という作業部会により策定された国際規格が広く利用されている。   In recent years, digitalization of AV information has progressed and devices capable of digitizing and handling video signals are becoming widespread. Since a video signal has an enormous amount of information, encoding is generally performed while reducing the amount of information in consideration of recording capacity and transmission efficiency. As a video signal encoding technique, an international standard established by a working group called MPEG (Moving Picture Experts Group) is widely used.

MPEGにおいては、動きベクトルを用いた動き補償予測が利用される。動き補償予測とは、連続するフレーム間で映っている要素がどのように動いたかを検出して効率よく圧縮する手法をいう。すなわち、垂直方向16画素×水平方向16画素のマクロブロックと呼ばれる処理単位に符号化画像を分割し、時間的に前後する参照画像における所定の探索範囲内において、符号化対象のブロックと相関性の高いブロックの位置を検出する。この参照画像上のマクロブロックの移動量が動きベクトルである。動きベクトルとともに、符号化画像と参照画像との差分値を用いて符号化対象ブロックを符号化することによって、符号化画像の情報量を削減することができる。   In MPEG, motion compensation prediction using a motion vector is used. Motion-compensated prediction is a method of efficiently compressing by detecting how elements reflected between consecutive frames have moved. That is, an encoded image is divided into processing units called macroblocks of 16 pixels in the vertical direction × 16 pixels in the horizontal direction, and the correlation with the block to be encoded is within a predetermined search range in the reference image that is temporally related. Detect high block position. The movement amount of the macroblock on the reference image is a motion vector. By encoding the encoding target block using the difference value between the encoded image and the reference image together with the motion vector, the information amount of the encoded image can be reduced.

動きベクトルの精度は規格によって定められている。MPEG1とMPEG2では1/2精度を採用しているが、MPEG4とMPEG4AVCでは1/4精度を採用しており、符号化効率を向上させている(例えば、非特許文献1参照)。参照画像の小数精度位置に画素を補間し、符号化画像のマクロブロックとマッチング処理をすることによって、小数精度の動きベクトルを求めることができる。   The accuracy of the motion vector is determined by the standard. MPEG1 and MPEG2 employ ½ precision, but MPEG4 and MPEG4AVC employ ¼ precision to improve encoding efficiency (see Non-Patent Document 1, for example). By interpolating a pixel at the decimal position of the reference image and performing a matching process with the macroblock of the encoded image, a motion vector with a decimal precision can be obtained.

図7は、MPEG4AVCにおいて1/4精度の動き補償予測を行う場合の画素補間の説明図である。丸は整数画素を示し、三角は1/2精度の画素を示し、四角は1/4精度の画素を示している。以下の説明では、1/4精度の画素をその精度位置とともにいう場合は、「1/4位置の画素」「2/4位置の画素」または「3/4位置の画素」という。   FIG. 7 is an explanatory diagram of pixel interpolation in the case of performing motion compensated prediction with 1/4 accuracy in MPEG4AVC. Circles indicate integer pixels, triangles indicate ½ precision pixels, and squares indicate ¼ precision pixels. In the following description, when a pixel with ¼ precision is referred to together with its precision position, it is referred to as “a pixel at ¼ position”, “a pixel at 2/4 position” or “a pixel at 3/4 position”.

まず、整数画素に6タップのFIR(Finite Impulse Response)フィルタ処理を施して1/2精度の画素を生成する。例えば、1/2精度の画素bを生成する場合は、整数画素E、F、G、H、I、Jに6タップのFIRフィルタ処理を施す。6タップのFIRフィルタ係数の一例としては、(1,−5,20,20,−5,1)//32が定められている。//は、丸め(四捨五入)つきの除算であることを意味している。   First, a 6-tap FIR (Finite Impulse Response) filter process is performed on the integer pixel to generate a ½ precision pixel. For example, when generating a pixel b with 1/2 precision, 6-tap FIR filter processing is performed on the integer pixels E, F, G, H, I, and J. As an example of a 6-tap FIR filter coefficient, (1, -5, 20, 20, -5, 1) // 32 is defined. // means a division with rounding (rounding off).

次に、隣接する整数画素と1/2精度の画素とに、または1/2精度の画素と1/2精度の画素とに2タップのFIRフィルタ処理を施して1/4精度の画素を生成する。例えば、1/4精度の画素aを生成する場合は、整数画素Gと1/2精度の画素bとに2タップのFIRフィルタ処理を施す。2タップのFIRフィルタ係数の一例としては、(1,1)//2が定められている。   Next, 2-tap FIR filter processing is performed on adjacent integer pixels and 1/2 precision pixels, or 1/2 precision pixels and 1/2 precision pixels to generate 1/4 precision pixels. To do. For example, when generating a quarter precision pixel a, a 2-tap FIR filter process is performed on the integer pixel G and the half precision pixel b. As an example of a 2-tap FIR filter coefficient, (1, 1) // 2 is defined.

図8は、従来の画素補間方式の説明図である。
図8(A)及び(B)は、整数画素に6タップのFIRフィルタ処理が施されて1/2精度の画素が生成される様子を表している。図8(B)及び(C)は、隣接する整数画素と1/2精度の画素とに、または1/2精度の画素と1/2精度の画素とに2タップのFIRフィルタ処理が施されて1/4精度の画素が生成される様子を表している。なお、この図8(A)(B)(C)では、説明の都合上、領域Eを異なる大きさで描いているが、各領域Eは同じ大きさの領域である。
FIG. 8 is an explanatory diagram of a conventional pixel interpolation method.
FIGS. 8A and 8B show a state in which half-tap pixels are generated by performing 6-tap FIR filter processing on integer pixels. In FIGS. 8B and 8C, 2-tap FIR filter processing is performed on adjacent integer pixels and 1/2 precision pixels, or 1/2 precision pixels and 1/2 precision pixels. This shows how quarter-precision pixels are generated. In FIGS. 8A, 8B, and 8C, for convenience of explanation, the area E is drawn with different sizes, but each area E is an area having the same size.

図9は、従来の画素補間処理の流れの説明図である。
すなわち、1/2精度の画素101、102、103、104がパイプライン処理で補間された後、1/4精度の画素201、202、203、204、205、206がパイプライン処理で補間される様子を表している。この図では、水平方向について小数精度の画素が補間される様子を表しているが、垂直方向について小数精度の画素が補間される場合も同様である。
FIG. 9 is an explanatory diagram of the flow of conventional pixel interpolation processing.
That is, after the half precision pixels 101, 102, 103, and 104 are interpolated by pipeline processing, the quarter precision pixels 201, 202, 203, 204, 205, and 206 are interpolated by pipeline processing. It represents the situation. This figure shows a state where pixels with decimal precision are interpolated in the horizontal direction, but the same applies when pixels with decimal precision are interpolated in the vertical direction.

図10は、MPEG4AVCにおける画像符号化装置の構成図である。以下、この図を用いて、従来の1/4精度の動き補償予測を用いた画像符号化について説明する。   FIG. 10 is a configuration diagram of an image encoding device in MPEG4 AVC. Hereinafter, the conventional image coding using the 1/4 compensated motion compensated prediction will be described with reference to FIG.

イントラ符号化が行われる画像は、動き補償予測部49に供給され、イントラ予測が実施される。イントラ予測後の画像は、直交変換部41に供給され、フレーム内のブロックに対して直交変換される。直交変換された画像は、量子化部42に供給され、設定された量子化値によって量子化される。量子化された画像は、エントリピー符号化部43に供給され、エントロピー符号化されて出力される。   The image on which intra coding is performed is supplied to the motion compensation prediction unit 49, where intra prediction is performed. The intra-predicted image is supplied to the orthogonal transform unit 41 and orthogonally transformed with respect to the blocks in the frame. The orthogonally transformed image is supplied to the quantization unit 42 and quantized with the set quantization value. The quantized image is supplied to the entry-pe encoder 43, entropy-coded, and output.

一方、インター符号化が行われる画像は、動き補償予測部49に供給され、動き補償予測が実施される。インター符号化には参照画像が必要である。この参照画像としては、既に、直交変換部41において直交変換され、量子化部42において量子化された画像が用いられる。量子化された画像は、逆量子化部44に供給され、逆量子化される。逆量子化された画像は、逆直交変換部45に供給され、逆直交変換される。逆量子化された画像は、設定によりループフィルタ46に供給され、デブロックフィルタが掛けられ、画素補間部47に供給される。   On the other hand, an image on which inter coding is performed is supplied to the motion compensation prediction unit 49, and motion compensation prediction is performed. A reference image is required for inter coding. As the reference image, an image that has already been orthogonally transformed by the orthogonal transformation unit 41 and quantized by the quantization unit 42 is used. The quantized image is supplied to the inverse quantization unit 44 and inversely quantized. The inversely quantized image is supplied to the inverse orthogonal transform unit 45 and subjected to inverse orthogonal transform. The inversely quantized image is supplied to the loop filter 46 according to the setting, deblocked, and supplied to the pixel interpolation unit 47.

図11は、従来の画素補間部47の構成図であり、この図を用いて補間動作を説明する。   FIG. 11 is a configuration diagram of a conventional pixel interpolation unit 47, and an interpolation operation will be described with reference to this diagram.

まず、整数画素が1/2画素生成部51に供給される。1/2画素生成部51は、整数画素に6タップのFIRフィルタ処理を施すことによって1/2精度の画素を生成する。生成された1/2精度の画素は、整数画素とともにフレームメモリ48に記録される。フレームメモリ48に記録された1/2精度の画素と整数画素、または1/2精度の画素のみが1/4画素生成部52に供給される。1/4画素生成部52は、これら画素に2タップのFIRフィルタ処理を施すことによって1/4精度の画素を生成する。生成された1/4精度の画素はフレームメモリ48に記録される。   First, integer pixels are supplied to the ½ pixel generation unit 51. The ½ pixel generation unit 51 generates ½ precision pixels by performing 6-tap FIR filter processing on the integer pixels. The generated half-precision pixels are recorded in the frame memory 48 together with the integer pixels. Only ½ precision pixels and integer pixels, or ½ precision pixels recorded in the frame memory 48 are supplied to the ¼ pixel generation unit 52. The ¼ pixel generation unit 52 generates ¼ precision pixels by performing 2-tap FIR filter processing on these pixels. The generated ¼ precision pixels are recorded in the frame memory 48.

図12は、1/2画素生成部51の回路構成図である。
順次供給される整数画素は、遅延回路によって所定時間遅延される。遅延された整数画素の画素値のそれぞれにFIRフィルタ係数(1,−5,20,20,−5,1)が掛けられ、その総和が四捨五入されて(その総和に16が加算されて)、32で除算(5ビットシフト)される。生成された1/2精度の画素はフレームメモリ48に記録される。
FIG. 12 is a circuit configuration diagram of the ½ pixel generation unit 51.
The sequentially supplied integer pixels are delayed for a predetermined time by the delay circuit. Each pixel value of the delayed integer pixel is multiplied by an FIR filter coefficient (1, -5, 20, 20, -5, 1), and the sum is rounded (16 is added to the sum). Divide by 32 (5-bit shift). The generated half-precision pixel is recorded in the frame memory 48.

図13は、1/4画素生成部52の回路構成図である。
1/4画素生成部52には、フレームメモリ48に記録された1/2精度の画素と整数画素、または1/2精度の画素のみが供給される。1/2精度の画素の画素値と整数画素の画素値との和が四捨五入されて(和に1が加算されて)、2で除算(1ビットシフト)される。生成された1/4精度の画素はフレームメモリ48に記録される。
FIG. 13 is a circuit configuration diagram of the ¼ pixel generation unit 52.
The ¼ pixel generation unit 52 is supplied with only ½ precision pixels and integer pixels or ½ precision pixels recorded in the frame memory 48. The sum of the pixel value of the ½ precision pixel and the pixel value of the integer pixel is rounded off (1 is added to the sum) and divided by 2 (1 bit shift). The generated ¼ precision pixels are recorded in the frame memory 48.

このように小数精度の画素が補間されてフレームメモリ48に記録されると、動き補償予測部49は、先に入力された符号化画像と、フレームメモリ48から供給される参照画像とを用いて、マクロブロック毎にマッチング処理を行い、動きベクトルと差分データとを作成する。動きベクトルは、そのままエントリピー符号化部43に供給されて符号化される。差分データは、直交変換部41において直交変換され、量子化部42において量子化された後、エントロピー符号化部43において符号化されて出力される。
“Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T recommendation, H.264/ISO/IEC 14496-10 AVC) " 8.4.2.2 Fractional sample interpolation process pp.119-123 Joint Video Team (JVT) of ISO/IEC MPEG and ITUT VCEG, JVT-G050, Mar. 2003.
When the pixels with decimal precision are interpolated and recorded in the frame memory 48 in this way, the motion compensation prediction unit 49 uses the previously input encoded image and the reference image supplied from the frame memory 48. Then, a matching process is performed for each macroblock to create a motion vector and difference data. The motion vector is supplied as it is to the entry-pe encoder 43 and encoded. The difference data is orthogonally transformed by the orthogonal transformation unit 41, quantized by the quantization unit 42, encoded by the entropy coding unit 43, and output.
“Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T recommendation, H.264 / ISO / IEC 14496-10 AVC)” 8.4.2.2 Fractional sample interpolation process pp.119-123 Joint Video Team ( JVT) of ISO / IEC MPEG and ITUT VCEG, JVT-G050, Mar. 2003.

図9に示したように、前記従来の画像符号化装置によって水平または垂直方向に連続する整数画素間に1/4精度の画素を補間するためには、まず、整数画素をフレームメモリ48から読み出し、6タップのFIRフィルタ処理を施して1/2精度の画素を生成し、フレームメモリ48に記録する必要がある。そして、このように記録した1/2精度の画素をフレームメモリ48から読み出し、2タップのFIRフィルタ処理を施して1/4精度の画素を生成し、フレームメモリ48に記録する必要がある。   As shown in FIG. 9, in order to interpolate a ¼ precision pixel between integer pixels continuous in the horizontal or vertical direction by the conventional image encoding device, first, the integer pixel is read from the frame memory 48. , 6-tap FIR filter processing must be performed to generate ½ precision pixels and recorded in the frame memory 48. Then, it is necessary to read out the ½ precision pixels recorded in this way from the frame memory 48, apply a 2-tap FIR filter process to generate ¼ precision pixels, and record them in the frame memory 48.

しかしながら、このような手順によると、1/2精度の画素と1/4精度の画素とをパイプライン処理で補間することができないため、処理の高速化が図れないという問題がある。また、1/2精度の画素と1/4精度の画素の生成時間に遅延があるために、動き補償予測もパイプライン化することができず、処理の高速化が図れないという問題もある。   However, according to such a procedure, it is not possible to interpolate ½ precision pixels and ¼ precision pixels by pipeline processing, so there is a problem that the processing speed cannot be increased. In addition, since there is a delay in the generation time of the ½ precision pixel and the ¼ precision pixel, there is a problem that the motion compensation prediction cannot be pipelined and the processing speed cannot be increased.

本発明は、このような問題点に鑑みてなされたものであり、水平または垂直方向に連続する整数画素間に1/2精度の画素と1/4精度の画素とを1回のパイプライン処理で補間することによって高速に動き補償予測処理をすることが可能な動き補償予測装置を提供することを目的とする。   The present invention has been made in view of such problems, and performs one-time pipeline processing on pixels of 1/2 accuracy and pixels of 1/4 accuracy between integer pixels that are continuous in the horizontal or vertical direction. It is an object of the present invention to provide a motion compensation prediction apparatus capable of performing motion compensation prediction processing at a high speed by performing interpolation at the above.

前記目的を達成するために、本発明に係る動き補償予測装置は、小数精度の動き補償予測を行う動き補償予測装置であって、水平または垂直方向に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを1クロックにおいて一括して補間する画素補間手段と、前記画素補間手段によって補間された小数精度の画素を用いて動き補償予測を行う動き補償予測手段とを備えることを特徴とする。言い換えると、前記画素補間手段は、第1の1/2精度の画素を補間した後、前記第1の1/2精度の画素に対して水平または垂直方向に連続する第2の1/2精度の画素を補間する前に、前記第1の1/2精度の画素に隣接する1/4精度の画素を補間することになる。これによって、水平または垂直方向に連続する整数画素間に1/2精度の画素と1/4精度の画素とが1回のパイプライン処理で補間されるので、高速に動き補償予測処理をすることが可能となる。   In order to achieve the above object, a motion compensated prediction apparatus according to the present invention is a motion compensated prediction apparatus that performs decimal precision motion compensated prediction, and performs filtering processing on integer pixels that are continuous in a horizontal or vertical direction. Pixel interpolating means for interpolating ½ precision pixels and ¼ precision pixels between two adjacent integer pixels in one clock at a time, and decimal precision pixels interpolated by the pixel interpolating means And motion compensation prediction means for performing motion compensation prediction using. In other words, the pixel interpolation means interpolates the first ½ precision pixel, and then the second ½ precision that continues in the horizontal or vertical direction with respect to the first ½ precision pixel. Before interpolating the first pixel, the quarter precision pixel adjacent to the first half precision pixel is interpolated. As a result, half-precision pixels and quarter-precision pixels are interpolated by one pipeline processing between integer pixels that are continuous in the horizontal or vertical direction, so that motion compensation prediction processing can be performed at high speed. Is possible.

具体的には、前記画素補間手段は、前記整数画素に6タップのフィルタ処理を施すことによって1/2位置に画素を補間し、補間された前記1/2位置の画素と該1/2位置の画素に隣接する整数画素の一方とに2タップのフィルタ処理を施すことによって1/4位置に画素を補間し、補間された前記1/2位置の画素と該1/2位置の画素に隣接する整数画素の他方とに2タップのフィルタ処理を施すことによって3/4位置に画素を補間する。これによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを一括して補間することができる。   Specifically, the pixel interpolating means interpolates a pixel at a ½ position by performing a 6-tap filter process on the integer pixel, and the interpolated pixel at the ½ position and the ½ position A pixel is interpolated at a 1/4 position by applying a 2-tap filter process to one of the integer pixels adjacent to the pixel, and the interpolated pixel at the 1/2 position is adjacent to the pixel at the 1/2 position. A pixel is interpolated at a 3/4 position by applying a 2-tap filter process to the other of the integer pixels to be performed. Accordingly, it is possible to interpolate a ½ precision pixel and a ¼ precision pixel together between two adjacent integer pixels.

また、前記画素補間手段は、前記整数画素に対して、フィルタ係数が(1、−5、52、20、−5、1)//64である6タップのフィルタ処理を施すことによって1/4位置に画素を補間し、フィルタ係数が(1、−5、20、20、−5、1)//32である6タップのフィルタ処理を施すことによって1/2位置に画素を補間し、フィルタ係数が(1、−5、20、52、−5、1)//64である6タップのフィルタ処理を施すことによって3/4位置に画素を補間する。これによっても、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを一括して補間することができる。   Further, the pixel interpolating means performs 1/4 tap processing on the integer pixel by performing a 6-tap filter process with a filter coefficient of (1, -5, 52, 20, -5, 1) // 64. A pixel is interpolated at a position, and a 6-tap filter process with a filter coefficient of (1, -5, 20, 20, -5, 1) // 32 is performed to interpolate the pixel at a 1/2 position and filter A pixel is interpolated at a 3/4 position by applying a 6-tap filter process with a coefficient of (1, -5, 20, 52, -5, 1) // 64. This also makes it possible to interpolate ½ precision pixels and ¼ precision pixels together between two adjacent integer pixels.

ここで、前記画素補間手段は、水平および垂直方向の一方に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを一括して補間した後、水平および垂直方向の他方に連続する整数画素にフィルタ処理を施すことによって、1/2精度の画素と1/4精度の画素とを一括して補間するとともに、水平および垂直方向の他方に連続する1/2精度の画素にフィルタ処理を施すことによって、1/2精度の画素と1/4精度の画素とを一括して補間する。例えば、水平方向について画素補間処理を施した後に垂直方向について画素補間処理を施す場合、垂直方向については、整数画素だけでなく、先に生成された1/2精度の画素をも用いて画素補間処理を施すようにしている。これによって、より処理の高速化を図ることができる。   Here, the pixel interpolation means performs filtering on integer pixels that are continuous in one of the horizontal and vertical directions, so that a ½ precision pixel and a ¼ precision pixel are provided between two adjacent integer pixels. And then interpolating ½ precision pixels and ¼ precision pixels together by filtering the integer pixels that are continuous in the other in the horizontal and vertical directions, By filtering the half-precision pixels that are continuous in the other of the horizontal and vertical directions, the half-precision pixels and the quarter-precision pixels are collectively interpolated. For example, when performing pixel interpolation processing in the vertical direction after performing pixel interpolation processing in the horizontal direction, pixel interpolation is performed using not only integer pixels but also previously generated half-accuracy pixels in the vertical direction. Processing is performed. As a result, the processing speed can be further increased.

また、前記画素補間手段は、1/2精度の画素に2タップのフィルタ処理を施すことによって残余の1/4精度の画素を補間する。これによって、残余の1/4精度の画素が補間され、全ての小数精度位置に画素が補間されることになる。   The pixel interpolating means interpolates the remaining 1/4 precision pixels by performing a 2-tap filter process on the 1/2 precision pixels. As a result, the remaining ¼ precision pixels are interpolated, and the pixels are interpolated at all decimal precision positions.

さらに、前記動き補償予測部は、前記小数精度の画素を空間配置の順に読み出して動き補償予測を行う。これによって、動き補償予測では、符号化画像とのマッチング処理をパイプライン化することができ、動き補償予測処理が高速化される。   Further, the motion compensation prediction unit performs motion compensation prediction by reading the decimal precision pixels in the order of spatial arrangement. As a result, in motion compensated prediction, matching processing with an encoded image can be pipelined, and the motion compensated prediction processing is speeded up.

なお、本発明は、このような動き補償予測装置として実現することができるだけでなく、このような動き補償予測装置が備える特徴的な手段をステップとする動き補償予測方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。   The present invention can be realized not only as such a motion compensation prediction apparatus, but also as a motion compensation prediction method using steps characteristic of the motion compensation prediction apparatus. It can also be realized as a program for causing a computer to execute steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.

また、ブロック図の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。   Each functional block in the block diagram is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。   Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after the manufacture of the LSI or a reconfigurable processor that can reconfigure the connection and setting of the circuit cells inside the LSI may be used.

さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。   Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.

以上のように、本発明に係る動き補償予測装置によれば、水平または垂直方向に連続する整数画素間に1/2精度の画素と1/4精度の画素とを1回のパイプライン処理で補間することが可能である。また、動き補償予測では、隣接する1/2精度の画素と1/4精度の画素との生成時間に遅延がないため、小数精度の参照画像を空間配置の順に連続して読み出すことが可能である。これによって、符号化画像とのマッチング処理をパイプライン化することができ、動き補償予測処理が高速化される。   As described above, according to the motion compensated prediction apparatus according to the present invention, a ½ precision pixel and a ¼ precision pixel are obtained by one pipeline process between integer pixels that are continuous in the horizontal or vertical direction. It is possible to interpolate. In motion compensated prediction, since there is no delay in the generation time of adjacent ½ precision pixels and ¼ precision pixels, it is possible to read out decimal precision reference images successively in the order of spatial arrangement. is there. As a result, the matching process with the encoded image can be pipelined, and the motion compensation prediction process is speeded up.

以下、本発明の実施の形態について図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(実施の形態1)
実施の形態1の画像符号化装置の構成は、画素補間部47と動き補償予測部49の機能が異なるものの、従来の画像符号化装置(図10)と同じである。以下、本発明の画像符号化装置の構成を従来の画像符号化装置と異なる点のみ説明する。
(Embodiment 1)
The configuration of the image coding apparatus according to the first embodiment is the same as that of the conventional image coding apparatus (FIG. 10), although the functions of the pixel interpolation unit 47 and the motion compensation prediction unit 49 are different. Hereinafter, only the difference of the configuration of the image encoding device of the present invention from the conventional image encoding device will be described.

図1は、本発明の画素補間部47の構成図である。本発明の画素補間部47は、1/2精度の画素と1/4精度の画素とを一括して生成する小数画素一括生成部81と、残余の1/4精度の画素(後述する)を生成する1/4画素生成部52とを備える。   FIG. 1 is a configuration diagram of the pixel interpolation unit 47 of the present invention. The pixel interpolation unit 47 of the present invention includes a fractional pixel batch generation unit 81 that collectively generates ½ precision pixels and ¼ precision pixels, and a remaining ¼ precision pixel (described later). And a 1/4 pixel generation unit 52 for generation.

すなわち、整数画素は、水平または垂直方向の順に小数画素一括生成部81に供給される。小数画素一括生成部81は、6タップのFIRフィルタ処理と2タップのFIRフィルタ処理とを一括して行って、1/2精度の画素と1/4精度の画素とを一括して生成する。生成された1/2精度の画素と1/4精度の画素とは整数画素とともにフレームメモリ48に記録される。   That is, the integer pixels are supplied to the decimal pixel batch generation unit 81 in the order of the horizontal or vertical direction. The fractional pixel batch generation unit 81 collectively performs a 6-tap FIR filter process and a 2-tap FIR filter process to generate a ½ precision pixel and a ¼ precision pixel together. The generated ½ precision pixel and ¼ precision pixel are recorded in the frame memory 48 together with the integer pixels.

フレームメモリ48に記録された1/2精度の画素は1/4画素生成部52に供給される。1/4画素生成部52は、1/2精度の画素に2タップのFIRフィルタ処理を施すことによって1/4精度の画素を生成する。生成された1/4精度の画素はフレームメモリ48に記録される。   The ½ precision pixels recorded in the frame memory 48 are supplied to the ¼ pixel generation unit 52. The ¼ pixel generation unit 52 generates a ¼ precision pixel by performing a 2-tap FIR filter process on the ½ precision pixel. The generated ¼ precision pixels are recorded in the frame memory 48.

図2は、実施の形態1における小数画素一括生成部81の回路構成図である。
順次供給される整数画素は、遅延回路によって所定時間遅延される。遅延された整数画素の画素値のそれぞれにFIRフィルタ係数(1,−5,20,20,−5,1)が掛けられ、その総和が四捨五入されて、32で除算される。生成された1/2精度の画素は、フレームメモリ48に記録されるとともに、加算器P1及びP2に供給される。
FIG. 2 is a circuit configuration diagram of the decimal pixel batch generation unit 81 according to the first embodiment.
The sequentially supplied integer pixels are delayed for a predetermined time by the delay circuit. Each pixel value of the delayed integer pixel is multiplied by the FIR filter coefficient (1, -5, 20, 20, -5, 1), and the sum is rounded off and divided by 32. The generated half-precision pixels are recorded in the frame memory 48 and supplied to the adders P1 and P2.

一方の加算器P1には、1/2精度の画素に加え、整数画素が供給される。これによって、1/2精度の画素の画素値と整数画素の画素値との和が四捨五入されて2で除算される。生成された1/4位置の画素はフレームメモリ48に記録される。   One adder P1 is supplied with integer pixels in addition to half-precision pixels. As a result, the sum of the pixel value of the ½ precision pixel and the pixel value of the integer pixel is rounded off and divided by two. The generated pixel at the 1/4 position is recorded in the frame memory 48.

他方の加算器P2についても同様である。すなわち、1/2精度の画素の画素値と整数画素の画素値との和が四捨五入されて2で除算される。生成された3/4位置の画素はフレームメモリ48に記録される。   The same applies to the other adder P2. That is, the sum of the pixel value of the half precision pixel and the pixel value of the integer pixel is rounded off and divided by two. The generated pixel at the 3/4 position is recorded in the frame memory 48.

図3は、本発明の画素補間処理の流れの説明図である。
1/2精度の画素と1/4精度の画素とがパイプライン処理で補間される。ここでは、クロック毎に一括生成される小数精度の画素を点線の矩形で囲っている。すなわち、1/2精度の画素11と1/4精度の画素21及び22とが第1のクロックで一括生成されて、隣接する整数画素間に補間される。次のクロックで1/2精度の画素12と1/4精度の画素23及び24とが一括生成され、その次のクロックで1/2精度の画素13と1/4精度の画素25及び26とが一括生成される。
FIG. 3 is an explanatory diagram of the flow of pixel interpolation processing of the present invention.
A half precision pixel and a quarter precision pixel are interpolated by pipeline processing. Here, the decimal precision pixels that are collectively generated for each clock are surrounded by a dotted rectangle. That is, the ½ precision pixel 11 and the ¼ precision pixels 21 and 22 are collectively generated by the first clock and interpolated between adjacent integer pixels. At the next clock, the ½ precision pixel 12 and the ¼ precision pixels 23 and 24 are collectively generated. At the next clock, the ½ precision pixel 13 and the ¼ precision pixels 25 and 26 are generated. Are generated in a batch.

ここでは、水平方向について小数精度の画素が補間される流れを説明したが、垂直方向についても同様である。ただし、垂直方向に小数精度の画素を補間する場合は、整数画素だけでなく、先に生成された1/2精度の画素をフレームメモリ48から読み出す。すなわち、以下に説明するように、整数画素間だけでなく1/2精度の画素間にも小数精度の画素を補間することによって、より処理の高速化を図るようにしている。   Here, the flow of interpolating pixels with decimal precision in the horizontal direction has been described, but the same applies to the vertical direction. However, in the case of interpolating decimal precision pixels in the vertical direction, not only integer pixels but also previously generated half precision pixels are read from the frame memory 48. That is, as will be described below, the processing speed is further increased by interpolating decimal precision pixels not only between integer pixels but also between ½ precision pixels.

図4及び図5は、本発明の画素補間処理の流れの説明図である。
図4(A)に示すように、初期状態では整数画素のみが存在する。まず、図4(B)に示すように、水平方向の一列L1について小数精度の画素が一括補間される。少数画素が一括補間される様子は図3を用いて説明した通りであるため、ここでは詳しい説明を省略する。以降は、図4(C)から図4(F)に示すように、水平方向の各列L2からL5について、順次、小数精度の画素が一括補間される。
4 and 5 are explanatory diagrams of the flow of pixel interpolation processing of the present invention.
As shown in FIG. 4A, only integer pixels exist in the initial state. First, as shown in FIG. 4B, the decimal precision pixels are collectively interpolated for one column L1 in the horizontal direction. Since the manner in which a small number of pixels are interpolated is as described with reference to FIG. 3, detailed description thereof is omitted here. Thereafter, as shown in FIGS. 4C to 4F, the decimal precision pixels are sequentially batch-interpolated sequentially for each of the columns L2 to L5 in the horizontal direction.

次いで、垂直方向の一列L6について小数精度の画素が一括補間される。この一列L6について小数精度の画素を一括補間する手法も図3を用いて説明した通りである。次いで、垂直方向の一列L7について小数精度の画素が一括補間される。すなわち、先に生成された1/2精度の画素間に小数精度の画素が補間される。この一列L7について小数精度の画素を一括補間する手法は、整数画素でなく1/2精度の画素を用いる点を除き、図3を用いて説明した通りである。以降は、図5(C)から図5(J)に示すように、垂直方向の各列L8からL14について、順次、小数精度の画素が一括補間される。   Next, the decimal precision pixels are collectively interpolated for the vertical line L6. The method of collectively interpolating the decimal precision pixels for this row L6 is also as described with reference to FIG. Next, the decimal precision pixels are collectively interpolated for the vertical line L7. That is, the decimal precision pixels are interpolated between the previously generated half precision pixels. The method of collectively interpolating the decimal precision pixels for this row L7 is as described with reference to FIG. 3 except that half precision pixels are used instead of integer pixels. Thereafter, as shown in FIGS. 5C to 5J, decimal precision pixels are sequentially interpolated sequentially for each of the columns L8 to L14 in the vertical direction.

次いで、残余の1/4精度の画素を補間する。すなわち、水平方向と垂直方向とに小数精度の画素を一括補間し終わった状態では、図5(J)に示すように、領域A10等、1/4精度の画素の補間が完了していない領域が存在する。そこで、1/4画素生成部52は、フレームメモリ48に記録されている1/2精度の画素を読み出して、図5(K)に示すように1/4精度の画素を補間する。すなわち、領域A1内の1/2精度の画素を用いて両画素間に1/4精度の画素を補間する。領域A2とA3についても同様である。これによって、図5(L)に示すように、残余の1/4精度の画素が全て補間されてフレームメモリ48に記録されると、画素補間処理が終了する。   Then, the remaining 1/4 precision pixels are interpolated. That is, in the state where the decimal interpolation of pixels in the horizontal direction and the vertical direction is completed, as shown in FIG. 5 (J), the area where interpolation of the quarter precision pixels such as the area A10 is not completed. Exists. Therefore, the ¼ pixel generation unit 52 reads out ½ precision pixels recorded in the frame memory 48 and interpolates ¼ precision pixels as shown in FIG. That is, a ¼ precision pixel is interpolated between the two pixels using a ½ precision pixel in the area A1. The same applies to the areas A2 and A3. As a result, as shown in FIG. 5L, when all the remaining 1 / 4-accuracy pixels are interpolated and recorded in the frame memory 48, the pixel interpolation process ends.

次に、動き補償予測部49は、小数精度の画素(参照画像)をフレームメモリ48から読み出して、符号化画像とのマッチング処理を行い、動きベクトルを決定する。この際、全ての小数精度の画素が生成されるのを待つことなく、画素補間部47によって生成される空間配置の順にフレームメモリ48から画素を読み出し、マッチング処理を進める。   Next, the motion compensation prediction unit 49 reads out decimal precision pixels (reference images) from the frame memory 48, performs matching processing with the encoded image, and determines a motion vector. At this time, without waiting for all the decimal precision pixels to be generated, the pixels are read out from the frame memory 48 in the order of the spatial arrangement generated by the pixel interpolation unit 47, and the matching process proceeds.

以上のように、本実施の形態1の画像符号化装置によれば、水平または垂直方向に連続する整数画素間に1/2精度の画素と1/4精度の画素とを1回のパイプライン処理で補間することが可能である。また、動き補償予測では、隣接する1/2精度の画素と1/4精度の画素との生成時間に遅延がないため、画素補間部47によって生成された小数精度の参照画像を空間配置の順に連続して読み出すことが可能である。これによって、符号化画像とのマッチング処理をパイプライン化することができ、動き補償予測処理が高速化される。   As described above, according to the image coding apparatus of the first embodiment, a half-precision pixel and a quarter-precision pixel are connected to a single pipeline between integer pixels that are continuous in the horizontal or vertical direction. It is possible to interpolate by processing. Further, in motion compensation prediction, since there is no delay in the generation time of adjacent 1/2 precision pixels and 1/4 precision pixels, the decimal precision reference images generated by the pixel interpolation unit 47 are arranged in the spatial arrangement order. It is possible to read continuously. As a result, the matching process with the encoded image can be pipelined, and the motion compensation prediction process is speeded up.

なお、ここでは、画像符号化装置に本発明を適用した構成を例示したが、本発明はこれに限定されるものではない。すなわち、画素補間部と動き補償予測部とを備える装置である以上、本発明を適用することができる。   In addition, although the structure which applied this invention to the image coding apparatus was illustrated here, this invention is not limited to this. That is, as long as the apparatus includes a pixel interpolation unit and a motion compensation prediction unit, the present invention can be applied.

また、ここでは、小数精度の画素として1/2精度の画素と1/4精度の画素とを例示しているが、本発明はこれに限定されるものではない。すなわち、他の小数精度の画素を補間する場合にも、本発明を適用することが可能である。   In addition, although the half precision pixel and the quarter precision pixel are illustrated here as the decimal precision pixels, the present invention is not limited to this. That is, the present invention can also be applied when interpolating other decimal precision pixels.

(実施の形態2)
前記実施の形態1では、1/2精度の画素と整数画素とに2タップのフィルタ処理を施すことによって1/4精度の画素を生成することとしている。従って、1/2精度の画素と1/4精度の画素とを1回のパイプライン処理で補間することができるものの、1/2精度の画素が生成されるまで1/4精度の画素を生成することはできない。すなわち、前記実施の形態1においては特に言及しなかったが、1/4精度の画素を生成する場合(図2参照)は、1/2精度の画素が生成されるタイミングに合わせるために、整数画素を所定時間遅延させたうえで加算器P1・P2に供給する必要がある。
(Embodiment 2)
In the first embodiment, a ¼ precision pixel is generated by performing a 2-tap filter process on a ½ precision pixel and an integer pixel. Therefore, although a half precision pixel and a quarter precision pixel can be interpolated by one pipeline process, a quarter precision pixel is generated until a half precision pixel is generated. I can't do it. That is, although not particularly mentioned in the first embodiment, when generating a ¼ precision pixel (see FIG. 2), an integer is used to match the timing at which the ½ precision pixel is generated. It is necessary to delay the pixels for a predetermined time before supplying them to the adders P1 and P2.

以下、本実施の形態2を前記実施の形態1と異なる点のみ説明する。
本実施の形態2では、整数画素のみに6タップのフィルタ処理を施して1/4精度の画素を生成する。具体的には、FIRフィルタ係数として(1、−5、52、20、−5、1)//64を採用することによって1/4位置の画素を生成し、また、FIRフィルタ係数として(1、−5、20、52、−5、1)//64を採用することによって3/4位置の画素を生成する。このような簡便な手法によっても、前記実施の形態1において生成される1/4精度の画素とほぼ同じものを生成することができる。
Hereinafter, only differences between the second embodiment and the first embodiment will be described.
In the second embodiment, a 6-tap filter process is performed only on integer pixels to generate ¼ precision pixels. Specifically, by adopting (1, -5, 52, 20, -5, 1) // 64 as the FIR filter coefficient, a pixel at a 1/4 position is generated, and as the FIR filter coefficient, (1 , −5, 20, 52, −5, 1) // 64, the pixel at the 3/4 position is generated. Even with such a simple technique, it is possible to generate substantially the same pixels as the quarter-accuracy pixels generated in the first embodiment.

図6は、実施の形態2における小数画素一括生成部81の回路構成図である。
1/2精度の画素を生成する手法は前記実施の形態1と同じである。すなわち、順次供給される整数画素は、遅延回路によって所定時間遅延される。遅延された整数画素の画素値のそれぞれにFIRフィルタ係数(1,−5,20,20,−5,1)が掛けられ、その総和が四捨五入されて(その総和に16が加算されて)、32で除算(5ビットシフト)される。生成された1/2精度の画素はフレームメモリ48に記録される。
FIG. 6 is a circuit configuration diagram of the decimal pixel batch generation unit 81 according to the second embodiment.
The method of generating a ½ precision pixel is the same as that in the first embodiment. That is, the sequentially supplied integer pixels are delayed by a predetermined time by the delay circuit. Each pixel value of the delayed integer pixel is multiplied by an FIR filter coefficient (1, -5, 20, 20, -5, 1), and the sum is rounded (16 is added to the sum). Divide by 32 (5-bit shift). The generated half-precision pixel is recorded in the frame memory 48.

1/4位置の画素を生成する手法は、FIRフィルタ係数が異なる点を除き、1/2精度の画素を生成する手法と同じである。すなわち、順次供給される整数画素は、遅延回路によって所定時間遅延される。遅延された整数画素の画素値のそれぞれにFIRフィルタ係数(1、−5、52、20、−5、1)が掛けられ、その総和が四捨五入されて(その総和に32が加算されて)、64で除算(6ビットシフト)される。生成された1/4位置の画素はフレームメモリ48に記録される。   The method for generating the pixels at the 1/4 position is the same as the method for generating the pixels with 1/2 accuracy except that the FIR filter coefficients are different. That is, the sequentially supplied integer pixels are delayed by a predetermined time by the delay circuit. Each of the pixel values of the delayed integer pixels is multiplied by the FIR filter coefficient (1, -5, 52, 20, -5, 1), and the sum is rounded (32 is added to the sum). Divide by 64 (6 bit shift). The generated pixel at the 1/4 position is recorded in the frame memory 48.

3/4位置の画素を生成する手法も、FIRフィルタ係数が異なる点を除き、1/2精度の画素を生成する手法と同じである。すなわち、順次供給される整数画素は、遅延回路によって所定時間遅延される。遅延された整数画素の画素値のそれぞれにFIRフィルタ係数(1、−5、20、52、−5、1)が掛けられ、その総和が四捨五入されて(その総和に32が加算されて)、64で除算(6ビットシフト)される。生成された1/4位置の画素はフレームメモリ48に記録される。   The method for generating a pixel at the 3/4 position is the same as the method for generating a pixel with 1/2 accuracy except that the FIR filter coefficients are different. That is, the sequentially supplied integer pixels are delayed by a predetermined time by the delay circuit. Each of the delayed integer pixel pixel values is multiplied by the FIR filter coefficients (1, -5, 20, 52, -5, 1) and the sum is rounded (32 is added to the sum). Divide by 64 (6 bit shift). The generated pixel at the 1/4 position is recorded in the frame memory 48.

以上のように、本実施の形態2では、新規なFIRフィルタ係数を採用するという簡便な手法を採用することによって、整数画素のみに6タップのフィルタ処理を施して1/4精度の画素を生成することを可能としている。このようにすれば、1/2精度の画素が生成されるのを待つことなく1/4精度の画素を生成することができるので、さらに処理を高速化することが可能である。   As described above, in the second embodiment, by adopting a simple method of adopting a new FIR filter coefficient, a 6-tap filter process is performed only on integer pixels to generate a quarter precision pixel. It is possible to do. In this way, it is possible to generate a ¼ precision pixel without waiting for a ½ precision pixel to be generated, so that the processing can be further speeded up.

本発明に係る動き補償予測装置は、水平または垂直方向に連続する整数画素間に1/2精度の画素と1/4精度の画素とを1回のパイプライン処理で補間することによって高速に動き補償予測処理をすることが必要な画像符号化装置等の用途に適用できる。   The motion compensated prediction apparatus according to the present invention moves at high speed by interpolating ½ precision pixels and ¼ precision pixels between integer pixels that are continuous in the horizontal or vertical direction by a single pipeline process. The present invention can be applied to applications such as an image encoding device that needs to perform compensation prediction processing.

本発明の画素補間部の構成図Configuration diagram of pixel interpolation unit of the present invention 実施の形態1における小数画素一括生成部の回路構成図Circuit configuration diagram of decimal pixel batch generation unit in the first embodiment 本発明の画素補間処理の流れの説明図Explanatory drawing of the flow of pixel interpolation processing of the present invention 本発明の画素補間処理の流れの説明図Explanatory drawing of the flow of pixel interpolation processing of the present invention 本発明の画素補間処理の流れの説明図Explanatory drawing of the flow of pixel interpolation processing of the present invention 実施の形態2における小数画素一括生成部の回路構成図Circuit configuration diagram of decimal pixel batch generation unit in the second embodiment MPEG4AVCにおける1/4精度画素補間の説明図Explanatory drawing of 1/4 precision pixel interpolation in MPEG4AVC 従来の画素補間方式の説明図Illustration of conventional pixel interpolation method 従来の画素補間処理の流れの説明図Explanatory drawing of the flow of conventional pixel interpolation processing 動き補償予測を用いた画像符号化装置の構成図Configuration diagram of image coding apparatus using motion compensated prediction 従来の画素補間部の構成図Configuration of conventional pixel interpolation unit 1/2画素生成部の回路構成図Circuit configuration diagram of 1/2 pixel generator 1/4画素生成部の回路構成図Circuit configuration diagram of 1/4 pixel generator

符号の説明Explanation of symbols

40 画像符号化装置
41 直行変換部
42 量子化部
43 エントロピー符号化部
44 逆量子化部
45 逆直行変換部
46 ループフィルタ
47 画素補間部
48 フレームメモリ
49 動き補償予測部
51 1/2画素生成部
52 1/4画素生成部
81 小数画素一括生成部
DESCRIPTION OF SYMBOLS 40 Image coding apparatus 41 Direct transformation part 42 Quantization part 43 Entropy encoding part 44 Inverse quantization part 45 Inverse orthogonal transformation part 46 Loop filter 47 Pixel interpolation part 48 Frame memory 49 Motion compensation prediction part 51 1/2 pixel production | generation part 52 1/4 Pixel Generation Unit 81 Decimal Pixel Batch Generation Unit

Claims (10)

小数精度の動き補償予測を行う動き補償予測装置であって、
水平または垂直方向に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを1クロックにおいて一括して補間する画素補間手段と、
前記画素補間手段によって補間された小数精度の画素を用いて動き補償予測を行う動き補償予測手段と
を備えることを特徴とする動き補償予測装置。
A motion compensated prediction apparatus that performs motion compensated prediction with decimal precision,
Pixels that collectively interpolate ½ precision pixels and ¼ precision pixels between two adjacent integer pixels in one clock by performing filtering on integer pixels that are continuous in the horizontal or vertical direction. Interpolation means;
A motion compensation prediction apparatus comprising: motion compensation prediction means for performing motion compensation prediction using pixels with decimal precision interpolated by the pixel interpolation means.
前記画素補間手段は、第1の1/2精度の画素を補間した後、前記第1の1/2精度の画素に対して水平または垂直方向に連続する第2の1/2精度の画素を補間する前に、前記第1の1/2精度の画素に隣接する1/4精度の画素を補間する
ことを特徴とする請求項1記載の動き補償予測装置。
The pixel interpolating unit interpolates the first ½ precision pixel, and then performs a second ½ precision pixel continuous in a horizontal or vertical direction with respect to the first ½ precision pixel. The motion compensated prediction apparatus according to claim 1, wherein a quarter precision pixel adjacent to the first half precision pixel is interpolated before the interpolation.
前記画素補間手段は、前記整数画素に6タップのフィルタ処理を施すことによって1/2位置に画素を補間し、
補間された前記1/2位置の画素と該1/2位置の画素に隣接する整数画素の一方とに2タップのフィルタ処理を施すことによって1/4位置に画素を補間し、
補間された前記1/2位置の画素と該1/2位置の画素に隣接する整数画素の他方とに2タップのフィルタ処理を施すことによって3/4位置に画素を補間する
ことを特徴とする請求項1記載の動き補償予測装置。
The pixel interpolating means interpolates a pixel at a 1/2 position by applying a 6-tap filter process to the integer pixel,
Interpolating the pixel at the 1/4 position by applying a 2-tap filter process to the interpolated pixel at the 1/2 position and one of the integer pixels adjacent to the 1/2 position pixel,
A pixel is interpolated at a 3/4 position by performing a 2-tap filter process on the interpolated pixel at the 1/2 position and the other of the integer pixels adjacent to the 1/2 position pixel. The motion compensation prediction apparatus according to claim 1.
前記画素補間手段は、前記整数画素に
フィルタ係数が(1、−5、52、20、−5、1)//64である6タップのフィルタ処理を施すことによって1/4位置に画素を補間し、
フィルタ係数が(1、−5、20、20、−5、1)//32である6タップのフィルタ処理を施すことによって1/2位置に画素を補間し、
フィルタ係数が(1、−5、20、52、−5、1)//64である6タップのフィルタ処理を施すことによって3/4位置に画素を補間する
ことを特徴とする請求項1記載の動き補償予測装置。
The pixel interpolation means interpolates a pixel at a 1/4 position by applying a 6-tap filter process with a filter coefficient of (1, -5, 52, 20, -5, 1) // 64 to the integer pixel. And
Interpolating a pixel at 1/2 position by applying a 6-tap filter process with a filter coefficient of (1, -5, 20, 20, -5, 1) // 32
The pixel is interpolated at a 3/4 position by applying a 6-tap filter process with a filter coefficient of (1, -5, 20, 52, -5, 1) // 64. Motion compensated prediction device.
前記画素補間手段は、水平および垂直方向の一方に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを一括して補間した後、
水平および垂直方向の他方に連続する整数画素にフィルタ処理を施すことによって、1/2精度の画素と1/4精度の画素とを一括して補間するとともに、水平および垂直方向の他方に連続する1/2精度の画素にフィルタ処理を施すことによって、1/2精度の画素と1/4精度の画素とを一括して補間する
ことを特徴とする請求項1記載の動き補償予測装置。
The pixel interpolating unit applies a filtering process to integer pixels that are continuous in one of the horizontal and vertical directions, and collectively applies ½ precision pixels and ¼ precision pixels between the two adjacent integer pixels. And interpolate
By filtering the integer pixels that are continuous in the other direction in the horizontal and vertical directions, the half-precision pixels and the quarter-precision pixels are interpolated at the same time, and the other in the horizontal and vertical directions are continuous. The motion compensated prediction apparatus according to claim 1, wherein the half precision pixel and the quarter precision pixel are collectively interpolated by performing filtering on the half precision pixel.
前記画素補間手段は、1/2精度の画素に2タップのフィルタ処理を施すことによって残余の1/4精度の画素を補間する
ことを特徴とする請求項5記載の動き補償予測装置。
6. The motion compensated prediction apparatus according to claim 5, wherein the pixel interpolation means interpolates the remaining 1/4 precision pixels by performing a 2-tap filter process on the 1/2 precision pixels.
前記動き補償予測部は、前記小数精度の画素を空間配置の順に読み出して動き補償予測を行う
ことを特徴とする請求項1記載の動き補償予測装置。
The motion compensation prediction apparatus according to claim 1, wherein the motion compensation prediction unit performs motion compensation prediction by reading the decimal precision pixels in the order of spatial arrangement.
小数精度の動き補償予測を行う動き補償予測方法であって、
水平または垂直方向に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを1クロックにおいて一括して補間する画素補間ステップと、
前記画素補間ステップにおいて補間された小数精度の画素を用いて動き補償予測を行う動き補償予測ステップと
を含むことを特徴とする動き補償予測方法。
A motion compensation prediction method for performing motion compensation prediction with decimal precision,
Pixels that collectively interpolate ½ precision pixels and ¼ precision pixels between two adjacent integer pixels in one clock by performing filtering on integer pixels that are continuous in the horizontal or vertical direction. An interpolation step;
A motion compensation prediction method, comprising: a motion compensation prediction step that performs motion compensation prediction using the decimal precision pixels interpolated in the pixel interpolation step.
小数精度の動き補償予測を行うためのプログラムであって、
水平または垂直方向に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを1クロックにおいて一括して補間する画素補間ステップと、
前記画素補間ステップにおいて補間された小数精度の画素を用いて動き補償予測を行う動き補償予測ステップと
をコンピュータに実行させるためのプログラム。
A program for performing motion compensation prediction with decimal precision,
Pixels that collectively interpolate ½ precision pixels and ¼ precision pixels between two adjacent integer pixels in one clock by performing filtering on integer pixels that are continuous in the horizontal or vertical direction. An interpolation step;
A program for causing a computer to execute a motion compensation prediction step of performing motion compensation prediction using pixels with decimal precision interpolated in the pixel interpolation step.
小数精度の動き補償予測を行う集積回路であって、
水平または垂直方向に連続する整数画素にフィルタ処理を施すことによって、隣接する2つの前記整数画素間に1/2精度の画素と1/4精度の画素とを1クロックにおいて一括して補間する画素補間手段と、
前記画素補間手段によって補間された小数精度の画素を用いて動き補償予測を行う動き補償予測手段と
を備えることを特徴とする集積回路。
An integrated circuit that performs motion compensation prediction with decimal precision,
Pixels that collectively interpolate ½ precision pixels and ¼ precision pixels between two adjacent integer pixels in one clock by performing filtering on integer pixels that are continuous in the horizontal or vertical direction. Interpolation means;
An integrated circuit, comprising: motion compensation prediction means for performing motion compensation prediction using pixels with decimal precision interpolated by the pixel interpolation means.
JP2005164639A 2005-06-03 2005-06-03 Motion compensation prediction apparatus Pending JP2006340211A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005164639A JP2006340211A (en) 2005-06-03 2005-06-03 Motion compensation prediction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005164639A JP2006340211A (en) 2005-06-03 2005-06-03 Motion compensation prediction apparatus

Publications (1)

Publication Number Publication Date
JP2006340211A true JP2006340211A (en) 2006-12-14

Family

ID=37560333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005164639A Pending JP2006340211A (en) 2005-06-03 2005-06-03 Motion compensation prediction apparatus

Country Status (1)

Country Link
JP (1) JP2006340211A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121716A1 (en) * 2010-03-30 2011-10-06 株式会社 東芝 Moving image encoding method, decoding method, encoder apparatus and decoder apparatus
CN101527847B (en) * 2009-01-04 2012-01-04 炬力集成电路设计有限公司 Motion compensation interpolation device and method
JP2013243743A (en) * 2013-07-17 2013-12-05 Toshiba Corp Moving image coding method, decoding method, coding device, and decoding device
CN105812800A (en) * 2010-10-06 2016-07-27 Sk电信有限公司 Method and apparatus for image encoding/decoding using high resolution filter

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527847B (en) * 2009-01-04 2012-01-04 炬力集成电路设计有限公司 Motion compensation interpolation device and method
WO2011121716A1 (en) * 2010-03-30 2011-10-06 株式会社 東芝 Moving image encoding method, decoding method, encoder apparatus and decoder apparatus
JP5323252B2 (en) * 2010-03-30 2013-10-23 株式会社東芝 Video encoding method, decoding method, encoding device, and decoding device
US9100650B2 (en) 2010-03-30 2015-08-04 Kabushiki Kaisha Toshiba Video encoding method, decoding method, and apparatus
CN105812800A (en) * 2010-10-06 2016-07-27 Sk电信有限公司 Method and apparatus for image encoding/decoding using high resolution filter
CN105915915A (en) * 2010-10-06 2016-08-31 Sk电信有限公司 Method and apparatus for encoding/decoding video using high-precision filter
US10158880B2 (en) 2010-10-06 2018-12-18 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using high-precision filter
CN105915915B (en) * 2010-10-06 2019-09-10 Sk电信有限公司 A kind of video decoding apparatus
JP2013243743A (en) * 2013-07-17 2013-12-05 Toshiba Corp Moving image coding method, decoding method, coding device, and decoding device

Similar Documents

Publication Publication Date Title
US9743088B2 (en) Video encoder and video encoding method
Chen et al. Analysis and design of macroblock pipelining for H. 264/AVC VLSI architecture
US11051045B2 (en) High efficiency adaptive loop filter processing for video coding
US10986373B2 (en) Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device
JP7195348B2 (en) Apparatus and method for filtering in video coding
KR20080078700A (en) Scaler architecture for image and video processing
TW201939952A (en) Intra prediction for 360-degree video
JP2015012410A (en) Image decoder
JP2011023995A (en) Moving image processing apparatus, and method of operating the same
JP2007129370A (en) Motion vector detecting apparatus and method
TW202232955A (en) Upsampling reference pixels for intra-prediction in video coding
JP2006340211A (en) Motion compensation prediction apparatus
US20230353777A1 (en) Motion compensation methods for video coding
US20170332103A1 (en) Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
JP2021527362A (en) Methods and equipment for intra-prediction
TW202315411A (en) Method and apparatus for video coding
JP2006165699A (en) Image encoder and image encoding method
US11317122B2 (en) Filters for motion compensation interpolation with reference down-sampling
Azevedo et al. Motion compensation decoder architecture for H. 264/AVC main profile targeting HDTV
JP2008187481A (en) Motion detection device and motion detection method
US20080019450A1 (en) Apparatus and method of restoring image
JP5990133B2 (en) Video encoding apparatus and video encoding method
CN115804095A (en) Intra-frame prediction method in video coding