JP2010011075A - Method and apparatus for encoding and decoding moving image - Google Patents

Method and apparatus for encoding and decoding moving image Download PDF

Info

Publication number
JP2010011075A
JP2010011075A JP2008167884A JP2008167884A JP2010011075A JP 2010011075 A JP2010011075 A JP 2010011075A JP 2008167884 A JP2008167884 A JP 2008167884A JP 2008167884 A JP2008167884 A JP 2008167884A JP 2010011075 A JP2010011075 A JP 2010011075A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
region
moving
signal
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008167884A
Other languages
Japanese (ja)
Other versions
JP2010011075A5 (en )
Inventor
Takeshi Nakajo
Akiyuki Tanizawa
健 中條
昭行 谷沢
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving image encoding method by which a background region and a moving region are separated in a moving image and motion compensation/prediction processing is performed upon the separated moving region. <P>SOLUTION: A binary moving region separation mask indicating a moving region and a background region is generated for each reference image signal, one background image signal is generated or updated by comparing two or more reference image signals or in accordance with a value of the binary moving region separation mask for each reference image signal, the moving region separation mask is used to perform motion compensation processing upon a first portion of the image to be predicted corresponding to the moving region, and a signal obtained by interpolating the background image signal is complemented for a second portion of the image to be predicted corresponding to the background region, thereby generating a prediction image signal. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、動画像から背景領域と動領域を分離し、分離した動領域に対して動き補償予測処理を行う動画像符号化及び動画像復号化の方法及び装置に関する。 The present invention separates the background area and moving area from the moving image, to a method and apparatus for video encoding and video decoding to perform motion compensation prediction process on the separated motion area.

近年、大幅に符号化効率を向上させた動画像符号化方法がITU-TとISO/IECとの共同で、ITU-T Rec. H. 264及びISO/IEC 14496-10(以下、H. 264という)として勧告されている。 Recently, significant co of the moving picture coding method to enhance a coding efficiency as ITU-T and ISO / IEC, ITU-T Rec. H. 264 and ISO / IEC 14496-10 (hereinafter, H. 264 It has been recommended as) called. H.264では、予測処理・変換処理・エントロピー符号化処理が矩形ブロック単位(16x16,8x8等)で行われる。 In H.264, the prediction processing and transform processing, entropy coding is performed in the rectangular block unit (16X16,8x8 etc.). このため、H. 264では矩形ブロックで表現出来ないオブジェクトを予測する際に、より小さな予測ブロック形状(4×4等)を選択することで予測効率を高めている。 Therefore, H. In predicting object that can not be represented in the 264 At rectangular block, to enhance the prediction efficiency by selecting a smaller prediction block shape (4 × 4, etc.). このようなオブジェクトを効果的に予測するために、矩形ブロックに複数の予測パターンを用意する方法や、ブロックを任意の線分で分割し、分割した形状毎に動き補償を適応する方法などが提案されている。 To predict such an object effectively, a method of preparing a plurality of prediction patterns into rectangular blocks, and a method of dividing a block in any segment, to adapt the motion compensation for each divided shape proposed It is.

背景画像と前景画像を分離する予測方法として、2枚の参照画像に挟まれた符号化スライス(B-slice)に着目して、前景・後景を分離し、別々に動き補償する手法が提案されている[特許文献1]。 As the prediction method of separating a background image and foreground image, proposed by paying attention to two sandwiched reference picture coded slices (B-slice), to separate the foreground-rear ground, a technique to separate a motion compensated is [Patent Document 1]. また、既に符号化が完了した複数の参照画像間の差分から、それぞれの参照画像に対応する背景画像マスクと背景参照画像を作成し、動き補償予測の際に合成する手法が提案されている[非特許文献1]。 Further, from an already differences between the plurality of reference images encoded is completed, the background image mask and a background reference image corresponding to each of the reference image to create a technique for combining the time of motion compensation prediction has been proposed [ non-Patent Document 1].

特許文献1の方法では、前景・後景に対応した動きベクトル情報やブロック分割情報を符号化する必要があるため、低ビットレート時に対して符号化効率が低下する問題がある。 In the method of Patent Document 1, it is necessary to encode the motion vector information and block division information corresponding to the foreground-rear ground, there is a problem that coding efficiency for at low bit rate is reduced. また、エンコーダでは、最適な予測モードを選択するために、繰り返し符号化する必要があり演算量が増大する。 Further, in the encoder, in order to select the optimum prediction mode, it is necessary to repeatedly encoding operation amount increases.

非特許文献1の方法では、画像間の絶対差分値を基準として画素毎に領域を分離するため、符号化する映像に含まれるノイズや、高圧縮に符号化する際などに発生する量子化誤差などの影響によって、オブジェクトと背景領域との分離が困難となり、予測効率が低下する場合がある。 In Non-Patent Document 1 method, for separating the area for each pixel absolute difference value as a reference between images, the quantization error generated noise or included in a video to be encoded, etc. when encoding at a high compression the influence of, it is difficult to separate the object and the background area, there is a case where the prediction efficiency decreases. また、参照画像毎に背景画像マスクと背景参照画像メモリを生成する必要があり、デコーダのメモリが増大すると言う問題がある。 Further, there is for each reference image is necessary to generate a background image mask and the background reference image memory, there is a problem that the memory of the decoder is increased.
特開2002−359854号公報 JP 2002-359854 JP

本発明の目的は、復号化済みの複数の参照画像から、それぞれの参照画像信号毎に対応する二値の動領域分離マスクとただ1つの背景画像信号を生成し、動領域分離マスクから動領域と判定された領域に対して動き補償予測を実施し、背景領域と判定された領域に対して、背景画像信号を補完した値を補填することによって、過度のブロック細分化による符号量の増加を防ぎ、予測効率を向上させる。 An object of the present invention, the decoded plurality of reference images to generate a motion segmentation mask and only one background image signals of the two values ​​corresponding to each respective reference image signals, moving area from moving segmentation mask performing motion compensation prediction with respect to a region determined as the relative area determined as the background region, by compensating the complementary value a background image signal, an increase in code amount due to excessive blocking subdivision prevent, improve prediction efficiency.

本発明の一態様は、入力画像信号を複数の画素ブロックに分割し、参照画像信号を用いて各画素ブロックの予測処理を行い,前記入力画像信号と予測画像信号との差分信号を符号化する動画像符号化方法において、各参照画像の信号毎に動領域と背景領域とを示す二値の動領域分離マスクを生成するマスク生成ステップと、2つ以上の前記参照画像の信号の比較或いは前記参照画像の信号毎の二値の前記動領域分離マスクの値により、1つの背景画像の信号を生成或いは更新する背景画像生成/更新ステップと、前記動領域分離マスクを用いて、(1)前記動領域に対応する、予測対象画像の第1部分に対して動き補償処理を行い、(2)前記背景領域に対応する、前記予測対象画像の第2部分には前記背景画像の信号を補間した信号を補填す One aspect of the present invention divides an input image signal into a plurality of pixel blocks, using the reference image signal performs prediction processing for each pixel block, for encoding the differential signal of the input image signal and the prediction image signal the moving image coding method, a mask generation step of generating a motion area separation mask binary indicating the moving area and the background area for each signal of each reference picture, comparing or said two or more said reference image signal the value of the motion area separation mask of the two values ​​for each signal of a reference image, the background image generation / update step of generating or updating the signal of one of the background image, using the motion segmentation mask, (1) the corresponding to the moving region, performs motion compensation processing on the first part of the prediction target image, (2) corresponding to the background region, wherein the second portion of the prediction target image by interpolating the signals of the background image to compensate for the signal 、ことによって予測画像信号を生成する予測画像生成ステップと、を有するように構成される動画像符号化方法を提供する。 , To provide a moving picture coding method configured to have a predictive image generation step of generating a predictive image signal by.

本発明の手法を用いることで、矩形ブロックに適さない動オブジェクトを予測するために、過度のブロック分割が施されて、ブロック分割情報が増大することを防ぐ。 By using the technique of the present invention, in order to predict the dynamic object that is not suitable for the rectangular block, excessive block division is subjected, prevent block division information is increased. つまり、付加的な情報を増加させずに、ブロック内の動領域と背景領域を分離し、それぞれに最適な予測方法を適用することによって、符号化効率を向上させると共に主観画質も向上するという効果を奏する。 In other words, the effect without increasing additional information, separates the moving area and the background area in the block, by applying an optimum prediction method in each of the subjective image quality is improved while improving the coding efficiency achieve the.

以下、図面を参照して本発明の第1〜第6の実施形態を説明する。 Hereinafter, with reference to the drawings illustrating the first to sixth embodiments of the present invention.

<動画像符号化装置> <Video encoding device>
本発明に従った動領域分離予測符号化を実現するための動画像符号化装置100の構成は図1に示されている。 Configuration of a video encoding apparatus 100 for implementing the dynamic segmentation predictive coding in accordance with the present invention is shown in FIG. 動画像符号化装置100の予測部106の詳細なブロック図は図2に示されている。 Detailed block diagram of the prediction unit 106 of the moving picture coding apparatus 100 is shown in FIG. 動領域分離予測符号化方法を実施する動領域分離予測符号化に関連するインター予測部のブロック図は図3に示されている。 Block diagram of the inter prediction unit associated with motion area separation predictive coding to implement the dynamic segmentation prediction coding method is shown in FIG. まず、動画像符号化に関する動領域分離予測符号化方法について図1、図2、図3を参照しながら実施形態について説明する。 First, FIG. 1 for moving the segmentation prediction coding method relating to moving picture coding, FIG. 2, an embodiment with reference to FIG. 3 will be described.

(第1の実施形態) (First Embodiment)
図1を参照して、第1の実施形態に従った動画像符号化装置を説明する。 Referring to FIG. 1, illustrating a video encoding apparatus according to the first embodiment. この画像符号化装置は、入力画像信号を構成する各々のフレームを複数の画素ブロックに分割し、これら分割した画素ブロックに対して符号化処理を行って圧縮符号化し、符号列を出力するよう構成されている。 The image encoding apparatus, configured to divide each of frames constituting the input image signal into a plurality of pixel blocks, and compression coding by performing coding processing to these divided pixel blocks, and outputs the code sequence It is. 具体的には、この画像符号化装置100は入力画像信号110と予測画像信号117との差分を計算し、予測誤差信号111を出力する減算値101と、予測誤差信号111を変換及び量子化し、変換係数112を出力する変換・量子化部102と、変換係数112を逆量子化し、逆変換して復元予測誤差信号113を生成する逆量子化・逆変換部103とを含む。 Specifically, the image encoding apparatus 100 calculates the difference between the input image signal 110 and the prediction image signal 117, the subtraction value 101 for outputting a prediction error signal 111, and converts and quantizes the prediction error signal 111, includes a transform and quantization unit 102 outputs the transform coefficients 112, the transform coefficients 112 and inverse quantization, an inverse quantization and inverse transform unit 103 for generating a restoration prediction error signal 113 to inverse transform. 更に、画像符号化装置100は復元予測誤差信号113と予測画像信号117とを加算して復号画像信号114を生成する加算器104と、復号画像信号114を参照画像信号として記憶する参照画像メモリ105と、参照画像信号116と入力画像信号110とを用いて予測画像信号117を生成する予測部106を備えている。 Further, an adder 104 which is the image coding apparatus 100 generates a restoration prediction error signal 113 and the prediction image signal 117 and the decoded image signal 114 by adding the reference image memory 105 for storing the decoded image signal 114 as a reference image signal When using a reference image signal 116 and the input image signal 110 and a prediction unit 106 that generates a prediction image signal 117. 更に、動画像符号化装置100は変換係数112を符号化列に符号化し、符号列を出力バッファ109に出力する符号列符号化部108を備えている。 Further, a code string coding part 108 video encoding apparatus 100 outputs the transform coefficients 112 and encoded into a coded sequence, a code sequence to the output buffer 109. この動画像符号化装置100は符号化制御部107によって制御される。 The moving picture coding apparatus 100 is controlled by the coding control unit 107.

上記構成の動画像符号化装置では、動画像または静止画像の入力画像信号110が小画素ブロック単位、例えばマクロブロック単位に分割され、動画像符号化装置100に入力される。 In the moving picture encoding apparatus of the above configuration, the input image signal 110 of the moving image or still image is divided small pixel block, for example, each macro block is input to the moving picture coding apparatus 100. ここで入力画像信号110とは、フレーム及びフィールドの両方を含む1つの符号化の処理単位(ピクチャ)を意味している。 Here, the input image signal 110, which means the unit of processing one coding including both a frame and field (picture). また、ここでは、マクロブロックを符号化処理の基本的な処理ブロックサイズとする。 Further, here, the macro-block basic process block size for the encoding process. マクロブロックは、典型的に例えば図4Aに示すような16×16画素ブロックであるが、32×32画素ブロック単位であっても8×8画素ブロック単位であってもよく、またマクロブロックの形状は正方格子である必要は必ずしもない。 Macroblock, typically for example, a 16 × 16 pixel block as shown in FIG. 4A, may be 8 × 8 pixel block even 32 × 32 pixel block, also the macro-block-shaped It need not necessarily be a square lattice. 以下、入力画像信号110の符号化対象マクロブロックを単に対象ブロックという。 Hereinafter referred to simply as target block-encoded macroblock of the input image signal 110. 本実施形態では、説明を簡単にするために図4Aに示されているように左上から右下に向かって符号化処理がなされていくものとする。 In the present embodiment, it is assumed that the encoding processing will be done from the upper left to the lower right as shown in FIG. 4A for simplicity of explanation.

動画像符号化装置100は、ブロックサイズや予測画像信号117の生成方法の異なる複数の予測モードが用意されている。 Moving picture coding apparatus 100 includes a plurality of prediction modes with different generation method block size and the prediction image signal 117 are prepared. 予測画像信号117の生成方法は、具体的には大きく分けて符号化対象のフレーム内(フィールド内)だけで予測画像を生成するイントラ予測(フレーム内予測)と、時間的に異なる複数の参照フレーム(参照フィールド)を用いて予測を行うインター予測(フレーム間予測)がある。 Method of generating a predictive image signal 117 is specifically roughly in the encoding target frame and the (field) only intra predicting and generating a predicted image (intra-frame prediction), a plurality of reference frames temporally different there is inter prediction to perform prediction using the (reference field) (interframe prediction).

次に、動画像符号化装置100による符号化の流れを説明する。 Next, the flow of coding by the moving picture coding apparatus 100. まず、入力画像信号110が、最初に減算器101へと入力される。 First, the input image signal 110 is input to the first subtracter 101. 減算器101には、後述する予測部106から出力された各々の予測モードに応じた予測画像信号117が更に入力される。 The subtractor 101, the predictive image signal 117 corresponding to the prediction mode of each output from the prediction unit 106 to be described later is further input. 減算器101は、入力画像信号110から予測画像信号117を減算した予測誤差信号111を算出する。 Subtractor 101 calculates a prediction error signal 111 obtained by subtracting the predictive image signal 117 from the input image signal 110. 減算器101で生成され、出力された予測誤差信号111は変換・量子化部102へと入力される。 Generated by the subtractor 101, the output prediction error signal 111 is input to the transform and quantization unit 102. 変換・量子化部102では、予測誤差信号111に対して例えば離散コサイン変換(DCT)のような直交変換が施されることにより、変換係数が生成される。 In transform and quantization unit 102, by orthogonal transformation such as discrete cosine transform on the prediction error signal 111 (DCT) is performed, transform coefficients are generated.

変換・量子化部102は、符号化制御部107によって与えられる量子化パラメータ、量子化マトリクス等に代表される量子化情報に従って変換係数を量子化する。 Transform and quantization unit 102, the quantization parameter provided by the encoding control unit 107 quantizes the transform coefficients according to quantization information represented by the quantization matrix and the like. 量子化後の変換係数112は変換・量子化部102から出力され、符号列符号化部108へと入力されるとともに、逆量子化・逆変換部103へも出力される。 Transform coefficients 112 after quantization is output from the transform and quantization unit 102, is input to the coding sequence encoding section 108, is also output to the inverse quantization and inverse transform unit 103. ここで、変換・量子化部102における変換には、H.264で用いられているような離散コサイン変換について説明したが、離散サイン変換、ウェーブレット変換や独立成分解析などの手法を用いてもよい。 Here, the conversion in the transform and quantization unit 102 has been described discrete cosine transform as used in H.264, the discrete sine transform, it may be used a technique such as wavelet transform or independent component analysis .

符号列符号化部108では、量子化後の変換係数112と共に、符号化制御部107から出力された予測情報119などを含んだ、対象ブロックを符号化したときに用いた様々な符号化パラメータに対してエントロピー符号化、例えばハフマン符号化や算術符号化などが行われ、符号化データが生成される。 In the code sequence encoding section 108, together with the transform coefficients 112 after quantization, including such prediction information 119 outputted from the coding control unit 107, a target block to various coding parameters used when coding entropy coding for, for example, Huffman coding or arithmetic coding is performed, coded data is generated. ここで符号化パラメータとは、予測情報119はもとより、変換係数に関する情報、量子化に関する情報、などの復号の際に必要になるあらゆるパラメータを指す。 Here, the coding parameters, the prediction information 119 as well as refers information about the conversion coefficient, any parameters that are required for decoding such information, relating to quantization.

符号列符号化部108により生成された符号化データ118は動画像符号化装置100から出力され、多重化器(図示せず)によって復号に必要なパラメータと多重化され、出力バッファ109に一旦蓄積される。 Encoded data 118 generated by the code string coding section 108 is output from the video encoding apparatus 100, the parameters and multiplexing necessary for decoding the multiplexer (not shown), temporarily stored in the output buffer 109 It is. 出力バッファ109の符号化データ118は、符号化制御部107が管理する出力タイミングに従って動画像符号化装置100外へ出力される。 Encoded data 118 of the output buffer 109 is output to the video encoding apparatus 100 outside in accordance with the output timing of the encoding control unit 107 manages. 符号化データ118は、図示しない蓄積系(蓄積メディア)または伝送系(通信回線)へ送出される。 Encoded data 118 is sent to a not shown storage system (storage medium) or a transmission system (communication line).

一方、変換・量子化部102から出力された量子化後の変換係数112は、逆量子化・逆変換部103へと入力される。 On the other hand, the transform coefficients 112 after quantization output from transform and quantization unit 102 are inputted to the inverse quantization and inverse transform unit 103. 逆量子化・逆変換部103では、変換係数112は最初に逆量子化処理が行われる。 In the inverse quantization and inverse transform unit 103, transform coefficients 112 the inverse quantization process is performed first. ここでは、変換・量子化部102で使用されたものと同様の量子化パラメータ、量子化マトリクス等に代表される量子化情報が、符号化制御部107からロードされて変換係数112は逆量子化処理が行われる。 Here, the same quantization parameter as that used in the transform and quantization unit 102, quantization information represented by the quantization matrix etc., transform coefficients 112 the inverse quantization is loaded from the encoding control unit 107 processing is carried out.

逆量子化後の変換係数は、逆離散コサイン変換(IDCT)のような逆直交変換が施されることによって、復号後の予測誤差信号113が再生される。 Transform coefficients after inverse quantization by the inverse orthogonal transform such as inverse discrete cosine transform (IDCT) is performed, the prediction error signal 113 decoded is reproduced. 復号予測誤差信号113は、加算器104に入力される。 Decoded prediction error signal 113 is input to the adder 104. 加算器104では、復号予測誤差信号113と予測部106から出力された予測画像信号117とが加算されることにより、復号画像信号114(局所復号画像信号)が生成される。 The adder 104, by the decoded prediction error signal 113 and the prediction image signal 117 output from the prediction unit 106 is added, the decoded image signal 114 (local decoded image signal) is generated. 復号画像信号114は、参照画像メモリ105に参照画像信号116として蓄積される。 Decoded image signal 114 is accumulated in the reference image memory 105 as a reference image signal 116. 参照画像メモリ105に蓄積された参照画像信号116は、予測部106に出力され予測の際などに参照される。 Reference image signal 116 stored in the reference image memory 105 is referenced, such as when the predicted output to the prediction unit 106. 予測部106から出力された動領域分離マスク115は参照画像メモリ105に入力され、同時刻の復号画像信号114とともに参照画像メモリ105内に蓄積される。 Dynamic segmentation mask 115 output from the prediction unit 106 is input to the reference image memory 105, it is stored in the reference picture memory 105 with decoded image signal 114 at the same time. 以後、参照画像信号116とは、同一時刻に符号化又は局所復号化処理された復号画像信号114と動領域分離マスク115のセットを指す。 Thereafter, the reference image signal 116, refers to the set of the decoded image signal 114 and the dynamic segmentation mask 115 that has been processed coded or locally decoded at the same time.

予測部106では、参照画像メモリ105に蓄積された参照画像信号116の画素(復号化済み参照画素と生成済みの動領域分離マスクの画素)を利用して、インター予測またはイントラ予測が行われ、対象ブロックに対して選択可能な予測画像信号117が生成される。 The prediction unit 106, referring using pixels of image reference stored in the memory 105 the image signal 116 (pixels of decoded reference pixel and the generated dynamic segmentation mask), the inter prediction or intra prediction is performed, is selectable prediction image signal 117 is generated for the current block. ただし、H. 264のイントラ予測、例えば図4Cに示される4×4画素ブロックに対応するイントラ予測または図4Dに示される8×8画素ブロックに対するイントラ予測のように、対象ブロック内で局部復号信号を作成しないと次の予測ができないような予測モードに関しては、予測部106の内部で変換/量子化及び逆量子化/逆変換或いは、それぞれ対応する画素ブロック毎の復号化処理などを行ってもよい。 However, H. 264 intra prediction, for example, as intra-prediction for 8 × 8 pixel block illustrated in intra prediction or Figure 4D corresponds to a 4 × 4 pixel block shown in FIG. 4C, the local decoded signal in the target block If you do not create respect to prediction mode which can not be the next prediction, the internal conversion / quantization and dequantization / inverse transform of the prediction unit 106 or be subjected to such respective decoding of each corresponding pixel block processing good.

図2に予測部106のブロック図を示す。 It shows a block diagram of a prediction unit 106 in FIG. 予測部106は、イントラ予測部201、インター予測部202、動きベクトル推定部203、モード判定スイッチ204、モード判定部205を備えている。 Prediction unit 106, intra prediction unit 201, an inter prediction unit 202, motion vector estimation unit 203, the mode determination switch 204, a mode determination unit 205. 予測部106に参照画像信号116が入力されると、イントラ予測部201とインター予測部202は、画素ブロックにおける利用可能な予測モードの予測画像信号117を生成する。 With reference image signal 116 is input to the prediction unit 106, an intra prediction unit 201 and the inter prediction unit 202 generates a prediction image signal 117 of the prediction modes available in the pixel block. それぞれの予測方法については後述する。 For each of the prediction method will be described later. イントラ予測部201で生成された予測画像信号とインター予測部202で生成された予測画像信号がモード判定スイッチ204へと出力される。 Predicted image signal generated by the prediction image signal and the inter prediction unit 202 generated by the intra prediction unit 201 is outputted to the mode determination switch 204. モード判定スイッチ204は、入力されてきた予測画像信号のどちらを利用するかを切り替える機能を有する。 Mode determination switch 204 has a function of switching whether to use the prediction image signal that has been input. スイッチを切り替える情報は、モード判定部205から提供される予測情報206に基づいている。 Information for switching the switch is based on the prediction information 206 that is provided from the mode determining unit 205. モード判定部205の動作については後述する。 It will be described later operation of the mode determining unit 205.

イントラ予測部201における予測モードの例として、H.264のイントラ予測について説明する。 Examples of the prediction mode in the intra prediction unit 201 will be described intra prediction of H.264. H.264のイントラ予測では、4×4画素イントラ予測(図4C参照)、8×8画素イントラ予測(図4D参照)、16x16画素イントラ予測(図4B参照)が規定されている。 In intra prediction of H.264, 4 × 4 intra-prediction (see Fig. 4C), (see FIG. 4D) 8 × 8 intra-prediction, 16x16 intra-prediction (see FIG. 4B) is defined. このイントラ予測では、参照画像メモリ105に保存されている参照画像信号116から、補間画素を作成し、空間方向にコピーすることによって予測値を生成する。 This intra prediction from the reference picture signal 116 stored in the reference picture memory 105, and generates an interpolation pixel, and generates a predicted value by copying the spatial direction.

次に、図3を参照してインター予測部202の構成及び動作を説明する。 Next, a configuration and operation of the inter prediction unit 202 with reference to FIG. 図3によると、インター予測部202は参照画像信号116が入力される動き補償部301及び動領域分離予測部302並びに背景画像生成部303を備えている。 According to FIG. 3, the inter prediction unit 202 includes a motion compensation unit 301 and the motion region separating prediction unit 302 and the background image generation unit 303 reference image signal 116 is input. 動領域分離予測部302には、動領域分離予測するために動領域分離マスク115,参照画像信号116,動きベクトル207及び背景画像信号306が入力される。 The dynamic segmentation prediction unit 302, motion segmentation mask 115 in order to predict the dynamic segmentation, the reference image signal 116, the motion vector 207 and the background image signal 306 is input. 動き補償部301及び動領域分離予測部302は予測分離スイッチ305によって切換えられる。 Motion compensation unit 301 and the motion region separating prediction unit 302 is switched by the prediction isolation switch 305. 予測分離スイッチ305の切換えは予測切換部304によって行われる。 Switching of prediction isolation switch 305 is performed by the prediction switching unit 304.

上記構成のインター予測部202では、図2の動きベクトル推定部203で算出された予測対象ブロックの動きベクトル207と参照画像信号116を元に、補間処理を行って予測画像信号117を生成する。 The inter prediction unit 202 of the above configuration, based on a reference image signal 116 and the motion vector 207 of the prediction target block calculated by the motion vector estimation unit 203 of FIG. 2, and generates a prediction image signal 117 by performing an interpolation process. 図5にインター予測の動き補償予測の一例を示す。 It shows an example of motion compensated prediction of the inter prediction in FIG. インター予測では、参照画像メモリ105に蓄積されている複数の参照画像信号116を用いて補間処理を行い、作成した補間画像と原画像信号との同位置の画素ブロックからのズレ量を元に予測画像信号117が生成される。 In inter prediction, a reference image subjected to the interpolation process using a plurality of reference image signal 116 stored in the memory 105, the prediction based on the shift amount of the pixel block at the same position between the interpolated image and the original image signal created image signal 117 is generated. 補間処理としては、1/2画素精度の補間処理や、1/4画素精度の補間処理などが用いられ、参照画像信号116に対してフィルタリング処理を行うことによって、補間画素の値を生成する。 The interpolation processing, 1/2 interpolation processing and pixel precision, such as 1/4-pixel accuracy interpolation is used, by performing a filtering process to the reference image signal 116 to generate the value of the interpolated pixel. 例えば輝度信号に対して1/4画素精度までの補間処理が可能なH. For example interpolation process to 1/4 pixel accuracy for the luminance signal is capable H. 264では、ズレ量は整数画素精度の4倍で表現される。 In 264, the shift amount is represented by four times the integer pixel accuracy. このズレ量を動きベクトルと呼ぶ。 The displacement amount of motion is called a vector.

インター予測では、複数の予測ブロックの中から現在の予測対象ブロックに適したブロックサイズを選択することが可能である。 In inter prediction, it is possible to select a block size that is suitable from a plurality of prediction blocks to the current block to be predicted. 図6Aにマクロブロック単位の動き補償ブロックのサイズを、図6Bにサブブロック(8×8画素ブロック以下)単位の動き補償ブロックのサイズを示す。 The size of the motion compensation block of the macroblock in FIG. 6A, showing the size of the sub-blocks (8 × 8 pixel block or less) unit of motion compensation block in Figure 6B. これらの予測ブロックのサイズ毎に、動きベクトルを求めることが可能であるため、入力画像信号110の局所的な性質に従って、最適な予測ブロックの形状と動きベクトルを利用することが可能である。 For each size of these prediction blocks, since it is possible to obtain a motion vector, according to the local properties of the input image signal 110, it is possible to use a shape motion vector of the optimum prediction block. また、どの参照画像信号に対して動きベクトルを計算したかの情報はRef_idxとして最小で8×8画素ブロック毎に変更することが可能である。 Further, any reference of information to calculate the motion vector for the image signal may be changed to minimum 8 × 8 pixels for each block as Ref_idx.

次に、動きベクトル推定部203について説明する。 Next, a description will be given motion vector estimation unit 203. 動きベクトル推定部203は、入力画像信号110と参照画像信号116を用いて、予測対象ブロックに適した動きベクトル207を算出する機能を有する。 Motion vector estimation unit 203 uses the reference image signal 116 and the input image signal 110, has a function of calculating a motion vector 207 that is suitable for the prediction target block. 動きベクトル207の算出では、入力画像信号110の予測対象ブロックと、参照画像信号116の補間画像との間でブロックマッチングを行う。 In the calculation of the motion vector 207, performs a prediction target block of the input image signal 110, the reference image signal 116 of the block matching between the interpolated image. マッチングの評価基準としては、入力画像信号110とマッチング後の補間画像との差分を画素毎に累積した値を用いる。 The evaluation criteria for matching, a value obtained by accumulating for each pixel the difference between the interpolation image after matching the input image signal 110. 最適な動きベクトル207の決定では、前述した方法の他に予測された画像と原画像との差を変換した値を用いても良いし、動きベクトルの大きさを加味したり、動きベクトルの符号量などを加味したりして、判定してもよい良い。 Optimal in the determination of the motion vector 207, may be used in addition to the value obtained by converting the difference between the predicted image and the original image of the methods described above, or considering the size of the motion vector, the sign of the motion vector and or consideration of such amount may be also be determined. また後述する式(1)(2)などを利用しても良い。 Also described below formula (1) (2) may be used like. また、マッチングのやり方は、符号化装置の外部から提供される探索範囲情報に基づいてマッチングの範囲内を全探索しても良いし、画素精度毎に階層的に実施しても良い。 Further, the manner of matching, may be full search a range of matching based on the search range information provided from the outside of the encoding apparatus may be hierarchically performed for each pixel accuracy.

このようにして複数の参照画像信号(時間的に異なる局部復号画像信号を指す)に対して算出された動きベクトル207は、インター予測部202へと入力され、予測画像信号117の生成に利用される。 Motion vector 207 calculated for a plurality of reference image signal in this way (refer to temporally different local decoded image signal) is inputted to the inter prediction unit 202, is used to generate a prediction image signal 117 that. 算出された動きベクトル207は、対応する画素ブロック形状などの予測に係わる情報とともに予測情報119として符号化制御部107に保持され、符号列符号化部108へ予測情報119として渡されて、エントロピー符号化された後、符号化データに多重化される。 Motion vectors 207 calculated are held in the encoding control section 107 as the prediction information 119 with information related to prediction such as the corresponding pixel block shape, it is passed as prediction information 119 to the code string coding unit 108, an entropy coding after being of, it is multiplexed into encoded data.

次に、モード判定部205について概要を説明する。 Next, the mode determination unit 205 will be described. モード判定部205は、現在符号化しているスライスの情報に応じて、スイッチ切替情報206をモード判定スイッチ204へ出力する。 Mode determination unit 205, according to the information of the slice that is currently encoded, and outputs the switch changeover information 206 to the mode determination switch 204. スイッチ切替情報206には、イントラ予測部201の出力端とインター予測部202の出力端のどちらと、スイッチを繋ぐかの情報が記述されている。 The switch switching information 206, and both output terminals of the inter prediction section 202 of the intra prediction unit 201, is one of information linking the switch is described.

次に、モード判定部205の機能を説明する。 Next, the functions of the mode determining unit 205. 現在符号化しているスライスがイントラ符号化スライスである場合、モード判定部205は、モード判定スイッチ204の出力端をイントラ予測部201に接続する。 If the slice that is currently encoded is an intra coded slices, the mode determination unit 205 connects the output end of the mode determination switch 204 to the intra prediction unit 201. 一方、現在符号化しているスライスがインター符号化スライスである場合、モード判定部205はモード判定スイッチ204をイントラ予測部201の出力端に繋ぐか、インター予測部202の出力端へ繋ぐかを判定する。 On the other hand, determine a slice that is currently encoded may be inter-coded slice, or the mode determination unit 205 connects the mode determination switch 204 to the output end of the intra prediction unit 201, connects to the output of the inter prediction section 202 to.

より具体的に説明すると、上記の場合、モード判定部205では次式(1)のようなコストを用いたモード判定を行う。 To be more specific, the case described above, the mode determination using a cost like the following equation in the mode determination unit 205 (1). 予測モードを選択した際に必要となる予測情報119に関する符号量(例えば動きベクトルの符号量やブロック形状の符号量など)をOH、入力画像信号110と予測画像信号117の差分絶対和(予測誤差信号111の絶対累積和を意味する)をSADとすると、以下のモード判定式を用いる。 Code amount relating to the prediction information 119 that is required when selecting the prediction mode (e.g., the code amount of the code amount and the block shape of a motion vector, etc.) OH, differential absolute sum of the input image signal 110 predicted image signal 117 (prediction error When the absolute cumulative sum means) the SAD of the signal 111, using the following mode determination equation.

ここでKはコスト、λは定数をそれぞれ表す。 Where K represents each cost, lambda is a constant. λは量子化スケールや量子化パラメータの値に基づいて決められるラグランジュ未定乗数である。 λ is the Lagrange multiplier is determined based on the value of the quantization scale and the quantization parameter. このようにして得られたコストKを基に、モード判定が行われる。 Based on the cost K obtained in this way, the mode determination is made. すなわち、コストKが最も小さい値を与えるモードが最適な予測モードとして選択される。 That is, the mode in which the cost K gives the smallest value is selected as the optimum prediction mode.

モード判定部205においては、式(1)に代えて(a)予測情報119のみ、(b)SADのみ、を用いてモード判定を行ってもよいし、これら(a)予測情報119のみ、(b)SADのみにアダマール変換を施した値、またはそれに近似した値を利用してもよい。 In the mode determining unit 205, instead of the equation (1) (a) prediction information 119 only, (b) SAD only, may perform mode determination using these (a) prediction information 119 only, ( b) may be utilized SAD values ​​only subjected to Hadamard transform, or a value approximate to it. さらに、モード判定部205において入力画像信号110のアクテビティ(信号値の分散)を用いてコストを作成してもよいし、量子化スケールまたは量子化パラメータを利用してコスト関数を作成してもよい。 Furthermore, using Akutebiti of the input image signal 110 (signal dispersion value) may be created cost in the mode determining unit 205 may create a cost function using a quantization scale or a quantization parameter .

さらに別の例として、仮符号化ユニットを用意し、仮符号化ユニットによりある予測モードで生成された予測誤差信号111を実際に符号化した場合の符号量と、入力画像信号110と復号画像信号114との間の二乗誤差を用いてモード判定を行ってもよい。 As yet another example, providing a temporary coding unit, a code amount when actually encoding the prediction error signal 111 generated by the prediction mode with the tentative coding unit, an input image signal 110 and the decoded image signal 114 may be performed mode determination using a square error between. この場合のモード判定式は、以下のようになる。 Mode determination equation of this case is as follows.

ここで、Jは符号化コスト、Dは入力画像信号110と復号画像信号114との間の二乗誤差を表す符号化歪みである。 Here, J is the encoding distortion representing a square error between the coding cost, D is an input image signal 110 and the decoded image signal 114. 一方、Rは仮符号化によって見積もられた符号量を表している。 Meanwhile, R represents a code amount estimated by temporary encoding.

式(2)の符号化コストJを用いると、予測モード毎に仮符号化と局部復号処理が必要となるため、回路規模または演算量は増大する。 With encoding cost J of the equation (2), since the tentative coding and local decoding process for each prediction mode is required, the circuit scale or amount of calculation increases. 反面、より正確な符号量と符号化歪みを用いるため、高い符号化効率を維持することができる。 On the other hand, since the use of more accurate code amount and the encoding distortion, it is possible to maintain high coding efficiency. 式(2)に代えてRのみ、またはDのみを用いてコストを算出してもよいし、RまたはDを近似した値を用いてコスト関数を作成してもよい。 Only R instead of equation (2), or it may calculate the cost by using only D, may create a cost function using the value obtained by approximating R or D.

以上のようにして、イントラ予測部201で生成された予測画像信号を選ぶか、インター予測部202で生成された予測画像信号を選ぶか、を判定し、モード判定スイッチ204の出力端を切り替える。 As described above, either select a prediction image signal generated by the intra prediction unit 201, or choose a prediction image signal generated by the inter prediction section 202 determines to switch the output of the mode determination switch 204. ここで選択された予測モードの予測画像信号117が予測部106から出力されて、減算器101へ入力されるとともに、加算器104へ出力される。 Prediction image signal 117 of the prediction mode selected here is output from the prediction unit 106, is input to the subtracter 101, and output to the adder 104.

次に、インター予測部202についてより詳細に説明する。 Next, a description will be given inter prediction section 202 in more detail. 図3にインター予測部202のブロック図が示されている。 Block diagram of the inter prediction unit 202 is shown in FIG. インター予測部202は、上述したように動き補償部301、動領域分離予測部302、背景画像生成部303、予測切替部304、予測分離スイッチ305を備えている。 Inter prediction unit 202, motion compensation unit 301, as described above, the dynamic segmentation prediction unit 302, the background image generation unit 303, prediction switching unit 304, a prediction isolation switch 305.

参照画像メモリ105から出力された参照画像信号116は、予測部106へと入力され、インター予測部202へと入力される。 Reference image signal 116 outputted from the reference image memory 105 is input to the prediction unit 106 is input to the inter prediction unit 202. 同時に動きベクトル推定部203で推定された動きベクトル207が入力される。 At the same time motion vector 207 that is estimated by the motion vector estimation unit 203 is input. 動き補償部301では、まず動きベクトル207の情報に従って、予測画素ブロックの位置から、次式(3)を用いて動きベクトル207で参照されている位置を割り出す。 The motion compensation unit 301, first, according to the information of the motion vector 207 from the position of the prediction pixel block, determine the position that is referenced by the motion vector 207 by using the following equation (3). ここでは前述の通り、H. As described above Here, H. 264の1/4画素精度の補間を例に挙げて説明する。 The quarter-pixel accuracy interpolation in 264 will be described as an example. つまり、動きベクトルの各成分が4の倍数である場合は、整数画素位置を指していることを意味する。 That is, if each component of the motion vector is a multiple of 4, meaning that it points to the integer pixel positions. それ以外の場合は、分数精度の補間位置に対応する予測位置であることがわかる。 Otherwise, it can be seen that a predicted position corresponding to the interpolation position of fractional precision.

ここで、(x,y)は予測対象ブロックの先頭位置を表す垂直、水平方向のインデックスであり、(x_pos,y_pos)は参照画像信号の対応する予測位置を表している。 Here, (x, y) is the index of the vertical, horizontal representing the head position of the prediction target block, (x_pos, y_pos) represents the corresponding predicted position of the reference image signal. (mv_x,mv_y)は1/4画素精度を持つ動きベクトルを示している。 (Mv_x, mv_y) indicates a motion vector with quarter-pixel accuracy. 次に割り出した画素位置に対して、参照画像信号116の対応する画素位置の補填又は補間処理によって予測画素を生成する。 Against then indexed pixel position to generate a predicted pixel by padding or interpolation process of corresponding pixel positions of the reference image signal 116.

図7にH. FIG. 7 H. 264の予測画素生成の例を示す。 264 shows an example of a prediction pixel generation of. 図中大文字で示されるアルファベット(斜線で表示された正方形)は整数位置の画素を示しており、網掛けで表示されている正方形は1/2画素位置の補間画素を示している。 FIG alphabet represented by capital letters (squares displayed by hatching) shows a pixel integer position, the square that is displayed by hatching indicates the interpolation pixel of 1/2 pixel position. また、白塗りで表示された正方形は1/4画素位置に対応する補間画素を示している。 Also, a square that is displayed in white painted indicates the interpolated pixel corresponding to a quarter pixel position. 例えば、図中でアルファベットb、hの位置に対応する1/2画素の補間処理は次式(4)で算出される。 For example, interpolation of half pixels corresponding to the alphabets b, the position of h in the figure is calculated by the following equation (4).

また、図中でアルファベットa、dの位置に対応する1/4画素の補間処理は次式(5)で算出される。 Further, the interpolation processing with the quarter-pixel corresponding to the alphabet a, the position of the d in the figure is calculated by the following equation (5).

このように1/2画素位置の補間画素は、6タップFIRフィルタ(タップ係数:(1,−5,20,20、−5,1)/32)を用いて生成し、1/4画素位置の補間画素は、2タップの平均値フィルタ(タップ係数:(1/2,1/2))を用いて算出される。 Interpolation pixel of the thus 1/2 pixel position, 6-tap FIR filter (tap coefficients: (1, -5,20,20, -5, 1) / 32) were generated using a 1/4-pixel positions the interpolated pixel, the average value filter (tap coefficients: (1 / 2,1 / 2)) of the 2-tap is calculated using. 4つの整数画素位置の中間に存在するアルファベットjに対応する1/2画素の補間処理は、垂直方向6タップと水平方向6タップの両方向を行うことによって生成される。 Interpolation half pixel corresponding to the alphabet j present in the middle of the four integer pixel positions are generated by performing both vertically 6-tap and horizontal 6-tap. 説明した以外の画素位置も同様のルールで補間値が生成できる。 Pixel positions other than those described can be generated interpolated values ​​in the same rule. 以上が、動き補償部301おける予測画像信号生成の例である。 The above is an example of a definitive motion compensation unit 301 predicted image signal generating.

次に、背景画像生成部303について説明する。 Next, a description will be given background image generation unit 303. 背景画像生成部303は、入力された参照画像信号116を用いて、背景画像信号306及び動領域分離マスク115を生成する機能と、生成した背景画像信号306を保持するメモリとしての機能を有する。 Background image generation unit 303 uses the reference image signal 116 is input, functions as a memory for storing a function of generating a background image signal 306 and the dynamic segmentation mask 115, the generated background image signal 306. まず、動領域分離マスク115の生成について説明する。 First, discussion will be made on generation of the motion segmentation mask 115. 動領域分離マスク115は、参照画像信号116で提供された各々の時刻で復号された復号画像信号114に対してそれぞれ1つずつ存在する。 Dynamic segmentation mask 115 is present, one each for the decoded image signal 114 decoded at the time of each provided in the reference image signal 116. 動領域分離マスク115は、同時刻に復号された復号画像信号114の各画素に対して、それ以前に復号された復号画像信号114との時間的な輝度変化(差分値)が予め定めた規定値THよりも小さい場合に背景画素と認定し、輝度変化が規定値THを超える場合を動画素と判定する2値のマスクマップである。 Dynamic segmentation mask 115 defines the respective pixels of the decoded image signal 114 decoded at the same time, the temporal brightness variation of the decoded image signal 114 decoded it previously (difference value) is predetermined finding that the background pixel is smaller than the value TH, a mask map binary determines a moving element a case where luminance variation exceeds a predetermined value TH.

利用可能な参照画像信号116が複数ある場合は、時間方向に同位置の全ての画素に対して差分値を算出して、後述する代表値を確定し、確定した差分値に対して規定値を用いて背景画素であるか、動画素であるかを判定する。 If the reference image signal 116 available are a plurality calculates a difference value for all pixels at the same position in the time direction, to confirm the representative value described below, the specified value for the determined difference value whether it is a background pixel using determines whether video disjoint.

ここで、LDは局所復号画像信号を表している。 Here, LD represents the local decoded image signal. sは時間方向の変位を表すインデックスであり、s=0は予測対象画像そのものを指している。 s is an index representing the time direction of displacement, s = 0 points to predict the target image itself. 例えば参照画像信号のインデックスに対応する。 For example corresponding to the index of the reference image signal. 図8に複数の参照画像信号に対して差分値を求める際の参照画素と対象画素の対応関係を示す。 It shows the correspondence between the reference pixel and the target pixel for obtaining a difference value for a plurality of reference image signal in FIG. wは時間的な距離に応じて重み付けを行う変数である。 w is a variable for weighting according to the temporal distance. 例えば時間的に近い復号画像信号に対して大きな重みを与え、時間的に距離の遠い復号画像信号に対しては小さな重みを与えることによって、時間相関を考慮することが可能となる。 For example given a large weight to temporally close decoded image signal, by providing a small weight against distant decoded image signals temporally distances, it is possible to consider the time correlation. 図9に予測対象画素ブロックからの時間的距離に応じて重みwを変える例を示す。 An example of changing the weight w according to the temporal distance from the prediction pixel block in FIG.

尚、上記では単純に差分値のみによって画素の領域判定を行う例を示したが、代表値を決める指標として、利用可能な複数の復号画像信号間(時間方向)の画素の差分値の絶対和、差分値の最大値、差分値の平均値、差分値のメディアン値、差分値の分散を用いて判定しても良いし、復号画像信号の領域判定を行う画素に隣接する画素(空間方向)の差分値の絶対和、差分値の最大値、差分値の平均値、差分値のメディアン値、差分値の分散、などの指標を用いて判定しても良い。 Incidentally, an example of performing simple area determination pixel by only the difference value is above, as an index for determining a representative value, the difference value of pixels between the plurality of available decoded image signal (time direction) absolute sum , the maximum value of the difference value, the average value of the difference value, the median value of the difference value may be determined using the variance of the difference value, the pixel (spatial direction) adjacent to the pixel to be an area determination of the decoded image signal absolute sum of the difference values, the maximum value of the difference value, the average value of the difference value, the median value of the difference value, the variance of the difference value may be determined by using an index such as.

また、一度生成した動領域分離マスクに対して補正を行っても良い。 Also, it may be corrected with respect to time generated dynamic segmentation mask. 例えば、生成した動領域分離マスクの補正対象画素において、隣接位置に対応する上下左右の4点、或いは対角方向も含めた9点のマスクの値を用いて、孤立点となるような領域を補正したり、予測ブロック形状に合わせてブロック境界のマスクの値を修正したりしても良い。 For example, the correction target pixel of the generated dynamic segmentation mask, four vertical and horizontal, corresponding to the adjacent position, or using the value of the diagonal direction 9 points of the mask, including the region such that an isolated point correction or may be or modify the values ​​of the mask of the block boundary in accordance with the prediction block shape. この場合の例を次式(8)で示す。 An example of this case by the following equation (8).

ここで(i,j)は、対象画素に隣接する画素のインデックスを示しており、(i,j)=(0,0)は補正対象画素を示している。 Here (i, j) is, and the index of the pixels adjacent to the target pixel, (i, j) = (0,0) represents the correction target pixel. 図10に対象画素と隣接画素の関係を示す。 Shows the relationship between the adjacent pixels and the target pixel in FIG. 10. 丸印の密度が高くなるほど対象画素との距離が離れることを意味している。 The distance between the more pixel density circle increases means that the leaves. また、vは隣接画素の位置関係に応じて重み付けを行う変数である。 Also, v is a variable for weighting according to the positional relationship of adjacent pixels. 例えば、空間的距離が近い(i,j)=(0,1)、(1,0)、(0,-1)、(-1,0)に対して重みを大きくし、空間的距離が大きい(i,j)=(1,1)、(1,-1)、(-1,1)、(-1,-1)などの画素の重みを小さくする、などの空間的相関を考慮するために利用される。 For example, close spatial distance (i, j) = (0,1), (1,0), (0, -1), (- 1,0) the weight is increased with respect to, the spatial distance large (i, j) = (1,1), (1, -1), (- 1,1), (- 1, -1) to reduce the weight of the pixels, such as, considering spatial correlation, such as It is used to.

図11に空間方向の市街地距離に応じて、重みvを変更する例を示す。 Depending on the city block distance of the spatial direction in FIG. 11 shows an example of changing the weight v. 算出されたDiffが予め定めた規定値TVより大きい場合は、隣接画素の動領域分離マスクの値が異なっており、相関が低いと判定できることから、対象画素のマスクの値を変更する。 If the calculated Diff is greater than a predetermined specified value TV is different values ​​of the dynamic segmentation mask of the adjacent pixels, because it can determine the correlation is low, it changes the value of the mask of the target pixel. 一方、規定値TVより小さい場合は、空間相関が高いために値を変更しない、などの処理を行う。 On the other hand, if the specified value TV smaller performs processing for high spatial correlation does not change the value, and the like. このように空間方向に対して重みvを適切に設定することによって、生成された動領域分離マスクを補正することができ、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等が可能となる。 By thus appropriately setting the weights v to the spatial direction, can be corrected generated motion segmentation mask, removal of isolated points, connecting the discontinuity, the region of the rectangular block enlargement reduction, edge corrected, the pixel compensation becomes possible pixel matching and the like. 尚、本実施の形態では、市街地距離による重み変更例を示したが、距離の定義は市街地距離、マンハッタン距離などを含む、ミンコフスキー距離の中から1つを用いて計算することが可能である。 In this embodiment, although the weight modified example of city block distance, defined distance can be city block distance, including Manhattan distance, calculated using one of Minkowski distances.

次に、背景画像信号306の生成について説明する。 Next, discussion will be made on generation of the background image signal 306. 背景画像信号306とは、時間方向で輝度変化が少ない背景領域のみを集めた信号となっており、動領域分離マスク115と時間的に最近接の復号画像信号114に基づいて画素毎に導出される。 The background image signal 306, has a signal collecting only a small background region brightness change in the time direction, is derived for each pixel on the basis of the decoded image signal 114 temporally closest and dynamic segmentation mask 115 that. 前述した動領域分離マスク115から次式(9)を用いて背景画像信号306を生成する。 Generating a background image signal 306 by using the following equation (9) from moving segmentation mask 115 described above.

ここでBGは背景画像信号306を表しており、LDは更新するフレームに対して時間的に最近接の復号画像信号114を表している。 Here BG represents the background image signal 306, LD represents the decoded image signal 114 temporally closest to the frame to be updated.

上式の通り、当該時刻の背景画像信号306の更新時は、参照画像信号116の中の時間的に最近接の復号画像信号114と動領域分離マスク115を利用し、マスクの値が0(背景画素の場合)のみ、最近接の復号画像信号114と更新前の背景画像信号306の重み付き和で更新が行われる。 As the above equation, when updating the background image signal 306 of the time, using the decoded image signal 114 and the dynamic segmentation mask 115 temporally closest in the reference image signal 116, the value of the mask is 0 ( for background pixel) only, it is updated with the weighted sum of the decoded image signal 114 to the unchanged background image signal 306 of the nearest place. 重み付き和は例えばwt=1/2に設定することで平均値フィルタとなる。 Weighted sum becomes the average value filter by setting the example wt = 1/2. 一方、マスクの値が1(動画素)の場合には、更新は行われない。 On the other hand, when the value of the mask is 1 (moving element), the update is not performed. 尚、背景画像信号306の初期値は、予め定めた輝度値(例えば輝度信号であれば0や最大輝度値(8ビットでは256)、色差信号であれば中間輝度値(8ビットで128))で埋めておいても良いし、画面内予測だけで符号化されるようなI-sliceの輝度値を用いたりしても良い。 The initial value of the background image signal 306, a predetermined luminance value (e.g., if the luminance signal 0 and the maximum luminance value (256) is an 8-bit, the intermediate luminance value if the color difference signals (128 in 8 bits)) in may be previously filled, it may be or using a luminance value of the I-slice as encoded in only predicting the screen. 背景画像信号306のリフレッシュは、入力画像信号においてシーンチェンジが行われるような場合や、IDRピクチャが挿入される場合に行われる。 Refresh of the background image signal 306, if the input image signal as a scene change is performed or is performed when the IDR picture is inserted. 本実施の形態ではI-sliceのタイミングで必ず背景画像信号306のリフレッシュが行われる例を示している。 In the present embodiment shows an example in which refresh is performed for always background image signal 306 at the timing of I-slice. 以上のような過程で背景画像信号306が適切なタイミングで更新される。 Background image signals 306 in the process described above is updated in a timely manner.

尚、背景画像信号306は、背景画像生成部303の内部メモリに保持されており、更新された信号が動領域分離予測部302へと出力される。 Incidentally, the background image signal 306 is held in the internal memory of the background image generation unit 303, the updated signal is output to the motion segmentation prediction unit 302. また、生成された動領域分離マスク115は、インター予測部202から出力され、予測部106を経て、同じ時刻の復号画像信号114とともに参照画像信号105として参照画像メモリ105へと保存される。 Also, the dynamic segmentation mask 115 generated is outputted from the inter prediction unit 202, via the prediction unit 106, is stored into the reference image memory 105 as a reference image signal 105 with decoded image signal 114 of the same time.

ここでは、時間的に最近接の復号画像信号を用いた例を説明したが、(1)ディスプレイの表示時間的に利用可能な最近接の参照画像の画素値を補填する方法、(2)符号化の実行時間的に利用可能な最近接の参照画像の画素値を補填する方法、(3)次に符号化される画像に対して時間的に利用可能な最近接の参照画像の画素値を補填する方法、(4)前記背景画像メモリに蓄積されている画素と前記表示時間的に利用可能な最近接の参照画像の画素の線形和で生成された画素を補填する方法、(5)前記背景画像メモリに蓄積されている画素と前記符号化時間的に利用可能な最近接の参照画像の画素の線形和で生成された画素を補填する方法、(6)前記背景画像メモリに蓄積されている画素と前記次に符号化される画像に時間的に利用可能な最近接の参照画像の Where the method has been described an example using a decoded image signal temporally nearest, to compensate for (1) the pixel value of the reference image display time-available closest of the display, (2) code how to compensate the pixel value of the execution time recently available contact the reference image of the pixel values ​​of (3) then temporally available closest reference image for the image to be encoded how to compensate, (4) a method of compensating the pixels generated by the linear sum of the pixel of the background recently the pixel which is stored the display temporal available contact of the reference image in the image memory, (5) the how to compensate for pixels generated by the linear sum of the pixel of the pixel and the coded temporally recent available contact of the reference image stored in the background image memory, stored in (6) the background image memory pixels and the next image temporally available closest reference picture to be encoded that are 素の線形和で生成された画素を補填する方法、の中からいずれか1つの方法を利用してもよい。 How to compensate for pixels generated by the linear sum of elementary may utilize any one of the methods from the.

次に、動領域分離予測部302について説明する。 Next, a description will be given dynamic segmentation prediction unit 302. 動領域分離予測部302は、動きベクトル推定部203から出力された動きベクトル207、参照画像メモリ105から出力された参照画像信号116、及び背景画像信号生成部303から出力された背景画像信号306が入力される。 Dynamic segmentation prediction unit 302, the motion vector estimation unit motion vector 207 output from 203, the reference image the reference image signal 116 output from the memory 105 the background image signal 306 and the output from the background image signal generating section 303, It is input. 動領域分離予測部302は、入力された動領域分離マスク115を用いて、動領域に対して動き補償処理を、背景領域に対しては、背景画像信号の補填を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 302 uses the motion segmentation mask 115 that has been input, the motion compensation processing to the moving area, with respect to the background region, performs compensation of the background image signal, in different prediction methods It has the function of combining the predicted signal. 尚、入力された動きベクトル207を用いて動領域分離マスク115にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 115 using the motion vector 207 entered. つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク115にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 115. この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは次式(10)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by the following equation (10).

ここで、(mv_x,mv_y)はそれぞれ1/4画素精度の動きベクトルの水平成分、垂直成分を表しており、(imv_x,imv_y)はそれぞれ整数画素精度の動きベクトルの水平成分、垂直成分を表している。 Here, (mv_x, mv_y) is the horizontal component of the motion vector of each quarter-pixel precision, represents a vertical component, (imv_x, imv_y) is the horizontal component of the motion vector of each integer pixel accuracy, represents the vertical component ing. 導出された整数精度の動きベクトルを用いて次式(11)のようにして動領域分離予測が行われる。 Using the motion vector of the derived integer precision motion segmentation prediction is performed as following equation (11).

ここでPは動領域分離予測によって生成される予測画像信号を表している。 Where P represents the prediction image signal generated by the motion segmentation prediction. MCは、動き補償予測部301で行われる動き補償予測によって生成される予測画像信号であり、既に動き補償部301の説明で詳細を述べているため、ここでは説明を省略する。 MC is the predicted image signals generated by the motion compensation prediction performed in the motion compensation prediction unit 301, because it is already described in detail in the description of the motion compensation unit 301, and a description thereof will be omitted. 例えば図7で生成された補間画素a、b、jなどの値や整数画素G、H、Mなどの値が予測画像信号MCに入る。 For example interpolation pixel a generated in FIG. 7, b, values ​​and integer pixel G, such as j, H, values ​​such as M enters the prediction image signal MC. 同時刻の復号画像信号114と動領域分離マスク115に対して動きベクトル207が適用され、動領域に対しては通常の動き補償予測を、背景領域に対しては背景画像信号306を補填することによって、動オブジェクトの形状によらずに予測精度を上げることが可能となる。 Motion vector 207 is applied to the decoded image signal 114 and the dynamic segmentation mask 115 at the same time, the normal motion compensated prediction for the moving area, to compensate for the background image signal 306 with respect to the background area Accordingly, it becomes possible to increase the prediction accuracy regardless of the shape of the moving object. 図12に、参照画像信号が時間方向に4枚利用可能な場合の、復号画像信号114と動領域分離マスク115の例と背景画像信号306の例を示す。 Figure 12 shows the reference image signal in a case the time direction to four available examples of embodiment and the background image signal 306 of the decoded image signal 114 and the dynamic segmentation mask 115. このようにして作成された予測画像信号が動領域分離予測部302から出力されるとともに、この時利用したブロック形状、動きベクトルなどの予測情報119が、符号化制御部107に記録される。 With such a predicted image signal generated by the output from the motion area separation predicting unit 302, the time block shape using, prediction information 119 such as motion vectors, it is recorded in the encoding control unit 107.

次に、予測切替部304と予測分離スイッチ305について説明する。 Next, a description will be given prediction isolation switch 305 and the prediction switching unit 304. 予測切替部304は、入力されてきた動領域分離マスク115の情報に基づいて、予測分離スイッチ305を制御するための予測切替情報307を出力する。 Prediction switching unit 304, based on the information of the dynamic segmentation mask 115 that has been input, and outputs the prediction switching information 307 for controlling the prediction isolation switch 305. 予測分離スイッチ305は、予測切替情報307に従って、スイッチの出力端を動き補償部301側に接続するか、動領域分離予測部302側に接続するかを切り替える機能を有する。 It predicted separation switch 305, according to the prediction switching information 307, having either connects the output terminal of the switch to the motion compensation unit 301 side, a function of switching whether to connect to the dynamic segmentation prediction unit 302 side. より具体的に説明すると、当該予測対象画素ブロック内に含まれる動領域分離マスクの比率を算出し、動領域が予め設定した規定値TPより大きいか、小さいかによって予測切替情報307を更新する。 To be more specific, the calculated ratio of the dynamic segmentation mask included in the candidate prediction pixel block, motion area Do predetermined value greater than the TP set in advance, and updates the prediction switching information 307 with or smaller. 例えば、予測対象とした8×8画素ブロック内に含まれる64個のマスク値の内、4個の画素のみが0を、残り60個の画素が1を取っている場合、対象とする画素ブロックは9割以上が動領域であるため、スイッチの出力端を動き補償部301へと接続する。 For example, of the 64 mask value contained in the 8 × 8 pixel block and the prediction target, only four pixels are 0, if 60 pixels remaining is taking 1, pixel block of interest since more than 90% is moving region, it connects the output terminal of the switch to the motion compensation unit 301. このように、予測対象画素ブロック内の動領域分離マスクの比率を算出し、この比率の値の大きさによって、どちらの予測部と接続するかを動的に切り替えることができる。 Thus, to calculate the ratio of the dynamic segmentation mask of the prediction target pixel block, the size of the value of this ratio, how to connect with either of the prediction unit can be dynamically switched. 図13に、TP=90%に設定した場合の切替の例を示している。 Figure 13 shows an example of switching of setting the TP = 90%. このようにして、予測対象画素ブロックのインター予測の予測方法(動き補償予測と動領域分離予測)が切り替えられ、インター予測部202から予測画像信号117が出力される。 In this way, the prediction method of predicting inter-prediction of the target pixel block (motion compensation prediction and motion segmentation prediction) is switched, the prediction image signal 117 from the inter prediction unit 202 is outputted.

次に、図15を用いてインター予測部202内の背景画像生成部303の処理フローを説明する。 Next, a processing flow of the background image generation unit 303 in the inter prediction unit 202 with reference to FIG. 15. まず、背景画像生成部303で行われる動領域分離マスク115の生成と背景画像信号306の更新は、1枚のフレーム又はスライスの符号化処理或いは局所復号処理が完了した後、或いは次のフレーム又はスライスの符号化処理が行われる直前に行われる(S501)。 First, update of the generation and the background image signal 306 of the motion area separation mask 115 to be performed in the background image generation unit 303, after encoding of one frame or slice processing or local decoding process is completed, or the next frame or encoding process of the slice is performed immediately before is performed (S501). まず、背景画像生成部303は、現在の符号化スライス(次に予測が行われる符号化スライス)のスライスの種類をチェックする。 First, the background image generation unit 303 checks the type of slices of the current coded slice (encoded next slice prediction is performed). 当該符号化スライスがイントラ符号化スライス(I-slice)である場合(S502の判定がYES)、背景画像信号306が初期化される(S503)。 The coded slice may be intra-coded slice (I-slice) (the determination at S502 YES), the background image signal 306 is initialized (S503). 当該符号化スライスがI-slice以外の場合(S502の判定がNO)、参照画像信号116を用いて、動領域分離マスク115が生成される(S504)。 If the coded slice is other than I-slice (decision NO in S502), using the reference image signal 116, the dynamic segmentation mask 115 is generated (S504). 更に参照画像信号116と生成された動領域分離マスク115などを用いて背景画像信号306の更新を行う(S505)。 Updating the background image signal 306 by using a dynamic segmentation mask 115 further generates a reference image signal 116 (S505). この背景画像信号306は、背景画像生成部303に存在する内部メモリに保持されている。 The background image signal 306 is stored in the internal memory present in the background image generation unit 303. 生成した動領域分離マスク115が出力(S506)されるとともに、背景画像信号306が動領域分離予測部302へと出力される(S507)。 Together with the generated motion segmentation mask 115 is output (S506), the background image signal 306 is output to the dynamic segmentation prediction unit 302 (S507). 次に、当該符号化スライスが最終符号化フレームかどうかの判定(S508)が行われ、かかる判定がNOの場合、当該符号化スライスが符号化されるのを待って、処理がS502へと戻る。 Then, the coded slice of determining whether the last encoded frame (S508) is performed, if the determination is NO, waiting for the coded slice is encoded, the process returns to S502 . 一方かかる判定がYESの場合、処理を終了する(S509)。 On the other hand the determination is If YES, the process ends (S509).

次に図16を用いて、上述した詳細機能を除いた、インター予測部202内の背景画像生成部303の全体の処理フローを説明する。 Next, with reference to FIG. 16, except for the advanced features mentioned above, explaining the overall processing flow of the background image generation unit 303 in the inter prediction section 202. 動領域分離予測部302へ、動きベクトル207と参照画像信号116及び背景画像信号306が入力されると(S601)、入力ベクトル207を用いて参照画像信号116中の対応する復号画像信号114の予測位置を導出する(S602)。 To dynamic segmentation prediction unit 302, the reference image signal 116 and the background image signal 306 and the motion vector 207 is inputted (S601), the prediction of the corresponding decoded image signal 114 in the reference image signal 116 by using the input vector 207 position to derive a (S602). 次に動きベクトル207を用いて整数精度の動きベクトルを導出し、動領域分離マスクの対応位置を導出する(S603)。 Then deriving the motion vectors of integer precision using the motion vector 207, it derives the corresponding position of the motion area separation mask (S603). また、動領域分離マスク115内の予測対象ブロック内に含まれる動画素の比率を算出する(S604)。 Moreover, to calculate the ratio of the moving element included in the prediction target block of the motion area in the isolation mask 115 (S604). 算出された動画素の比率が予め設定した規定値TPよりも大きいかどうかをチェックする(S605)。 The ratio of the calculated moving element to check whether larger than a specified value TP previously set (S605). かかる判定がYESの場合、画素idxを0に初期化し(S613)、画素idxに対応する画素に対して動き補償予測処理を行い(S614)、画素idxをインクリメントする(S616)。 If the determination is YES, and initializes the pixel idx to 0 (S613), performs motion compensation prediction processing on pixels corresponding to the pixel idx (S614), it increments the pixel idx (S616). インクリメント後の画素idxが予め定めた対象予測ブロックの最後の画素に対応する値であるかどうかを判定し(S616)、かかる判定がNOの場合は、インクリメントされた画素idxで再度画素idxに対応する画素に対して動き補償予測を行う(S614)。 Pixel idx the incremented is determined whether the value corresponding to the last pixel of a predetermined target prediction block (S616), if the determination is NO, corresponding to re pixel idx increment pixel idx performing motion compensated prediction for pixels of (S614). 一方、かかる判定がYESの場合、予測画像信号117を出力(S617)して処理を終了する(S618)。 On the other hand, the determination is If YES, and terminates the output (S617) to process the prediction image signal 117 (S618).

S605の判定がNOの場合、まず、画素idxを0に初期化する。 If the determination at S605 is NO, first initializes the pixel idx to 0. 画素idxに対して、動領域分離マスクの対応する位置の値をチェックし(S607)、当該画素のマスク値が動画素であった場合(S607がYES)、当該画素に対して動き補償予測処理を実施する(S612)。 For the pixel idx, and check the value of the corresponding position of the motion area separation mask (S607), if the mask value of the pixel is a moving element (S607 is YES), the motion compensation prediction process on the pixel to implement the (S612). 一方、当該画素のマスク値が背景画素であった場合(S607がNO)、背景画像信号の予測位置を導出し(S608)、当該予測位置の背景画像信号を補填する(S609)。 On the other hand, if the mask value of the pixel is a background pixel (S607 is NO), to derive a predicted position of the background image signal (S608), to compensate for the background image signal of the predicted position (S609). 次に、画素idxの値をインクリメントし(S610)、画素idxが予め定めた対象予測ブロックの最後の画素に対応する値であるかどうかを判定し(S611)、かかる判定がNOの場合は、インクリメントされた画素idxで再度動領域分離マスクの対応する位置の値をチェックする(S607)。 Next, increment the value of the pixel idx (S610), and determines whether the pixel idx is a value corresponding to the last pixel of a predetermined target prediction block (S611), if the determination is NO, checks the value of the corresponding position of the incremented again moving the segmentation mask pixel idx (S607). かかる判定がYESの場合、予測画像信号117を出力(S617)して処理を終了する(S618)。 If the determination is YES, and terminates the output (S617) to process the prediction image signal 117 (S618). フローチャートの各ステップの内、S604、S605は予測切替部304の有する機能であり、ステップS613-S616までは動き補償部301が有する機能である。 Among the steps of the flowchart, S604, S605 is a function of the prediction switching unit 304, steps S613-S616 is a function of the motion compensation unit 301. また、ステップS602、S603及びS607−S611までが主に動領域分離予測部302が有する機能である。 It is also function of the main motion segmentation prediction unit 302 to the step S602, S603 and S607-S611.

次に、本動画像符号化装置100におけるシンタクス構造について説明する。 Next, a description will be given syntax structure in the moving picture coding apparatus 100. 図23に示すとおり、シンタクスは主に3つのパートからなり、ハイレベルシンタクス1601は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。 As shown in FIG. 23, syntax consists of three main parts, a high level syntax 1601, syntax information of the above upper layer slices are packed. スライスレベルシンタクス1602では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス1603では、マクロブロック毎に必要とされるデータが明記されている。 In the slice level syntax 1602, information necessary for each slice have been specified, the macro-block level syntax 1603, data required for each macro block is specified.

それぞれは、更に詳細なシンタクスで構成されており、ハイレベルシンタクス1601では、シーケンスパラメータセットシンタクス1604とピクチャパラメータセットシンタクス1605などのシーケンス、ピクチャレベルのシンタクスから構成されている。 Each is composed of further consists of a detailed syntax, the high level syntax 1601, a sequence such as a sequence parameter set syntax 1604 and picture parameter set syntax 1605, the picture level syntax. スライスレベルシンタクス1602では、スライスヘッダーシンタクス1605、スライスデータシンタクス1606などから成る。 In the slice level syntax 1602, slice header syntax 1605, and the like slice data syntax 1606. 更に、マクロブロックレベルシンタクス1603は、マクロブロックレイヤーシンタクス1607、マクロブロックプレディクションシンタクス1608などから構成されている。 Further, the macroblock level syntax 1603, macro block layer syntax 1607, and a like macroblock prediction syntax 1608.

図24にスライスヘッダーシンタクスの例を示す。 Figure 24 shows an example of a slice header syntax. 図中に示されるslice_motion_region_separation_flagは、インター予測部202中の予測切替部304から出力される予測切替情報307に利用される。 slice_motion_region_separation_flag shown in the figures, is used to predict switching information 307 outputted from the prediction switching unit 304 in the inter prediction section 202. slice_motion_region_separation_flagが0である場合、予測切替部304は、スライスにおいて常に動き補償予測部301の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 If slice_motion_region_separation_flag is 0, the prediction switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output of the motion compensation prediction unit 301 in a slice. つまり、必ず動き補償予測が行われることを意味している。 That is, always it means that the motion-compensated prediction is made. 一方、slice_motion_region_separation_flagが1である場合、前述の通り、スライスにおいて背景画像生成部303から出力された動領域分離マスク115の信号に基づいて動き補償予測と動領域分離予測が動的に切り替わる。 On the other hand, if the slice_motion_region_separation_flag is 1, as described above, based on the signal of the dynamic segmentation mask 115 outputted from the background image generation unit 303 in the slice motion compensated prediction and the dynamic segmentation predicted dynamically switched.

図25に符号化パラメータの例としてマクロブロックレイヤーシンタクスの例を示す。 An example of a macroblock layer syntax Examples of the encoding parameters in Fig. 25. 表中に示されるmb_typeは、マクロブロックタイプ情報を示している。 mb_type shown in the table indicates the macroblock type information. すなわち、現在のマクロブロックがイントラ符号化されているか、インター符号化されているか、或いはどのようなブロック形状で予測が行われているか、などの情報を含んでいる。 That is, the current macroblock are either intra-coded or are inter-coded, or any block or shape prediction is being made, and includes information such as. 表中に示されるcoded_block_patternは、8×8画素ブロック毎に、変換係数が存在するかどうかを示している。 coded_block_pattern shown in the tables, each 8 × 8 pixel blocks, and indicates whether transform coefficients are present. 例えばこの値が0である時、対象ブロックに変換係数が存在しないことを意味している。 For example, when the value is 0, which means that there is no transform coefficient in the target block. 表中のmb_qp_deltaは、量子化パラメータに関する情報を示している。 mb_qp_delta in the table shows the information about the quantization parameter. この情報は対象ブロックの1つ前に符号化されたブロックの量子化パラメータからの差分値を表している。 This information represents the difference value from the quantization parameter coded block before one of the target block. 表中のintra_pred_modeは、イントラ予測の予測方法を示す予測モードを示している。 intra_pred_mode in the table indicates the prediction mode indicating prediction method of the intra prediction. 表中のref_idx_l0及びref_idx_l1は、インター予測が選択されているときに、対象ブロックがどの参照画像を用いて予測されたか、を表す参照画像のインデックスを示している。 ref_idx_l0 and ref_idx_l1 in the table, when the inter prediction is selected, and the index of the reference image indicating how was predicted using any reference image target block. 表中のmv_l0、mv_l1は動きベクトル情報を示している。 mv_l0 in the table, Mv_l1 shows the motion vector information. 表中のtransform_8x8_flagは、対象ブロックが8×8変換であるかどうかを示す変換情報を表している。 transform_8x8_flag in the table, the target block represents the conversion information that indicates whether the 8 × 8 transform.

表中の行間には、本発明で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても良い。 The rows in the table, to syntax elements not specified in the present invention it is possible to be inserted, may be included description of conditional branch otherwise. 或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。 Alternatively, dividing the syntax table to multiple tables, it is also possible to integrate. また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても良い。 Furthermore, not always necessary to use the same term may be changed arbitrarily depending on the form to be used. 更に、当該マクロブロックレイヤーシンタクスに記述されている各々のシンタクスエレメントは、後述するマクロブロックデータシンタクスに明記されるように変更しても良い。 Furthermore, each of the syntax elements described in the macroblock layer syntax may be changed as specified in below macroblock data syntax.

以上が、本発明に係わる動画像符号化装置100の説明である。 The above is an explanation of the moving picture coding apparatus 100 according to the present invention.

(第1の実施形態:変更例1:切替情報のシグナリング) (First Embodiment: Modification 1: signaling switching information)
本実施の形態では、インター予測部202内の予測方法として、動き補償部301と動領域分離予測部302の2つを予測切替部304によって動的に切り替える例を示したが、動き補償予測と動領域分離予測の切替を動的に行わない実施の形態も可能である。 In this embodiment, as the prediction method in the inter prediction unit 202, while two of the motion compensation unit 301 and the dynamic segmentation prediction unit 302 showing an example of dynamically switching the prediction switching unit 304, the motion compensation prediction embodiments that do not dynamically performed switching of dynamic segmentation prediction is possible. この場合、どちらの予測方法が利用されたかのインデックスを符号化する必要が生じる。 In this case, necessary to encode occurs whether the index which of the prediction method has been utilized. このインデックスは、予測切替情報307に記述されており、選択された予測画像信号117に対するインデックスが予測切替情報307に記述されるとともに、この情報は符号化制御部107に保持される。 This index is described in the prediction switching information 307, together with the index is written to the prediction switching information 307 with respect to the prediction image signal 117 is selected, this information is held in the coding control unit 107. 予測方法を用いて生成された予測画像信号117が符号化されるのと同時に、符号化制御部107から予測情報119として、保持されていた予測切替情報307がロードされ、符号列符号化部108へと入力されるとともに符号化処理が行われる。 At the same time prediction image signal 117 generated using a prediction method as that encoded, as prediction information 119 from the encoding control unit 107, the prediction switching information 307 that has been held is loaded, the code string coding part 108 coding processing is performed is input to.

図14にマクロブロック毎に利用した予測方法を示すインデックスを符号化する例を示す。 An example of encoding an index indicating a prediction method using for each macro block in Fig. 9割以上の画素が動画素である場合は、動き補償予測が選択され、背景画素で占められているマクロブロックは動領域分離予測を行っている。 If more than 90% of pixels is moving prime the motion compensated prediction is selected, the macro block occupied by the background pixel is performed moving segmentation prediction. 更に、動画素と背景画素の比率が規定値THMAXからTHMINの間に含まれる場合は、どちらの予測を利用したかを示すインデックスを符号化する。 Further, if the ratio of the moving element and the background pixel is included from specified value THMAX during THMIN, encodes the index indicating whether using either prediction.

図26に本実施の形態におけるマクロブロックレイヤーシンタクスの例を示す。 Figure 26 shows an example of a macroblock layer syntax according to the present embodiment. 図中に示されるmb_motion_region_separation_flagは、インター予測部202中の予測切替部304から出力される予測切替情報307に利用される。 mb_motion_region_separation_flag shown in the figures, is used to predict switching information 307 outputted from the prediction switching unit 304 in the inter prediction section 202. mb_motion_region_separation_flagが0である場合、予測切替部304は、マクロブロックにおいて常に動き補償予測部301の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 If mb_motion_region_separation_flag is 0, the prediction switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output of the motion compensation prediction unit 301 in the macro block. つまり、必ず動き補償予測が行われることを意味している。 That is, always it means that the motion-compensated prediction is made. 一方、mb_motion_region_separation_flagが1である場合、予測切替部304は、当該マクロブロックにおいて常に動領域分離予測部302の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 On the other hand, if the mb_motion_region_separation_flag is 1, the predicted switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output end of the dynamic segmentation prediction unit 302 in the macroblock. つまり、必ず動領域分離予測が行われることを意味している。 That means that the always dynamic segmentation prediction is performed. SignalingFlagはmb_motion_region_separation_flagを符号化するかどうかを決定するための内部パラメータである。 SignalingFlag is an internal parameter for determining whether to encode the Mb_motion_region_separation_flag. SignalingFlagが1の場合、動画素の比率が規定値THMAXからTHMINの間に含まれることを意味する。 If SignalingFlag is 1, it means that the ratio of the moving element is included from the specified value THMAX during THMIN. 一方、SignalingFlagが0の場合、動画素の比率が規定値THMAXからTHMINの間に含まれないことを意味する。 On the other hand, if the SignalingFlag is 0, it means that the ratio of the moving element does not contain the prescribed value THMAX during THMIN.

(第1の実施形態:変更例2:予測画像信号の使いまわし) (First Embodiment: Modification 2: loincloth use of the prediction image signal)
本実施の形態では、動き補償部301と動領域分離予測部302をそれぞれ別々の予測方法として記述しているが、図16のフローチャートでも示したとおり、動領域分離予測部302内で動き補償部301と同様の予測方法も用いている。 In the present embodiment, which describes the motion compensation unit 301 and the dynamic segmentation prediction unit 302 as a separate prediction methods respectively, as shown in the flowchart of FIG. 16, a motion compensation unit in the motion area separation within prediction unit 302 It is also used the same prediction method and 301. このように同様の処理を複数回行うことによる演算量の増加を避けるため、図17に示すように動き補償部301で算出した予測画像信号117を動領域分離予測部302へと入力する構造としても良い。 To avoid an increase in the computation amount by performing a plurality of times in this way the same processing, a structure for inputting the predictive image signal 117 calculated by the motion compensation unit 301 as shown in FIG. 17 into the dynamic segmentation prediction unit 302 it may be. 或いは動き補償部301の機能を動領域分離予測部302と統合させても良い。 Or may the functions of the motion compensation unit 301 is integrated with the dynamic segmentation prediction unit 302.

(第1の実施形態:変更例3:切替構造の削除) (First Embodiment: Modification 3: Remove the switching structure)
本実施の形態では、動き補償部301と動領域分離予測部302をそれぞれ別々の予測方法として記述しているが、予測方法を動領域分離予測302に単一化して、予測切替部304を削除する構造としても良い。 In the present embodiment, which describes the motion compensation unit 301 and the dynamic segmentation prediction unit 302 as a separate prediction methods respectively, and unifies a prediction method in moving the segmentation prediction 302, deletes the prediction switching unit 304 it may be used as the structure to be. 図18に、動き補償部301、予測切替部304、予測分離スイッチ305を削除した実施例を示す。 18 shows a motion compensation unit 301, prediction switching unit 304, and deletes the predicted separation switch 305 Example. 予測構造が簡略化するため、ハードウェア規模などの増大を防ぐことが可能となる。 Since prediction structures are simplified, it is possible to prevent an increase in such hardware scale.

(第2の実施形態:グローバルMC) (Second Embodiment: Global MC)
本実施の形態では、動画像符号化装置100の構造は図2と同一であるため、説明を省略する。 In the present embodiment, the structure of the moving picture coding apparatus 100 is the same as FIG. 2, the description thereof is omitted. 但し、予測部106の機能が異なっているため、予測701が設けられている。 However, since the different functions of the prediction unit 106, the prediction 701 is provided. 図19に第2の実施形態における予測部701の構造を示す。 Figure 19 shows the structure of the prediction unit 701 in the second embodiment. 尚、既に説明した機能と同様の機能を持つものに対しては同じインデックスを与えて、その説明を省略する。 Incidentally, for those with already the same functions described functionality gives the same index, and a description thereof will be omitted. 尚、図2のインター予測部202とは、機能の違いのために異なるインデックスとしてインター予測部801が設けられている。 Note that the inter prediction section 202 in FIG. 2, the inter prediction unit 801 is provided as a different index for functional differences.

予測部701では、インター予測部801に加えて、グローバルベクトル推定部802が備えられている。 The prediction unit 701, in addition to the inter prediction unit 801, the global vector estimating unit 802 are provided. グローバルベクトル推定部802は、符号化フレーム毎、符号化スライス毎或いはマクロブロック毎に、カメラなどの撮像系の変化によって生じる画面全体の変化量を表すベクトル(グローバルMV(動きベクトル)803)を算出する機能を有する。 Global vector estimation unit 802 calculates each encoded frame, each coding slices or per macroblock, vector representing an amount of change entire screen caused by a change of the imaging system such as a camera (global MV (motion vector) 803) It has a function of. 本実施の形態では、画面全体の動きを求めるための枠組みとして平行移動モデルについて説明するが、動きのモデルとしてアフィン変換を用いたモデルや、相似変換、射影変換などに基づいたモデルを用いても良い。 In the present embodiment, it will be described translation model as a framework for determining the motion of the entire screen, the model and using the affine transformation as the motion model, similarity transformation, even using a model based on such projective transformation good. 平行移動モデルでは、撮影した映像のカメラのパン・チルトに対応することが出来るが、アフィン変換モデルなどを使うことにより、拡大・縮小などにも対応が可能である。 The translation model, it is possible to correspond to the pan-tilt of the captured image of the camera, by using the affine transformation model, it is possible to respond to such scaling. また、グローバルMVの精度は整数画素精度の場合について説明を行うが、前述の通り分数精度への拡張も容易である。 Further, the accuracy of the global MV is a description for the case of integer pixel precision, it is easy to expand to previously described fractional precision.

グローバルベクトル推定部802の基本的なベクトル推定機能は、既に説明した動きベクトル推定部203と同様であるが、ブロックなどの領域毎に算出した局所的な動きベクトル(ローカル動きベクトル)を統合して、グローバルMV803を算出する機能が追加されている。 Basic vector estimation function of global vector estimating unit 802 is similar to the motion vector estimation unit 203 already described, by integrating the local motion vector (local motion vector) calculated for each region such as block , the ability to calculate the global MV803 has been added. 例えば4×4画素ブロックごとの画面内の動きベクトルを算出し、算出した動きベクトルのヒストグラムを作成する。 For example to calculate the motion vectors in the screen of each 4 × 4 pixel block, a histogram of the calculated motion vector. 局所的なブロックで算出した局所動きベクトルでは、画面内の移動オブジェクトの影響により、カメラの動きに追随できない場合がある。 For topical motion vector calculated by the local block, due to the influence of the moving object in the screen, it may not follow the movement of the camera. そこで、グローバルな動きベクトルを求めるため、この中でもっとも出現頻度が高い動きベクトルをグローバル動きベクトル702に設定する。 Therefore, in order to determine the global motion vector, the most frequency in this is to set a high motion vectors to the global motion vector 702. グローバルベクトル推定部802で算出されたグローバルMV803は、インター予測部801へと入力される。 Global MV803 calculated by the global vector estimating unit 802 is input to the inter prediction section 801.

次に、インター予測部801について説明する。 Next, a description will be given inter prediction unit 801. 図20はインター予測部801のブロック図である。 Figure 20 is a block diagram of the inter prediction section 801. 第1の実施形態の背景画像生成部303及び動領域分離予測部302に、グローバルMV803が入力されている以外は図1と同一であるが、背景画像信号生成部901、動領域分離予測部902の処理が異なる。 To a first embodiment of the background image generation unit 303 and the motion region separating prediction unit 302, but other than the global MV803 is input is the same as FIG. 1, the background image signal generating unit 901, the dynamic segmentation prediction unit 902 of the process is different.

まず、背景画像生成部901について説明する。 First described the background image generation unit 901. 背景画像生成部901は、参照画像メモリ105から出力された参照画像信号116及びグローバルMV803が入力される。 Background image generation unit 901, the reference image signal 116 and the global MV803 outputted from the reference image memory 105 is input. 背景画像生成部901は、グローバルMV803を利用することによって、カメラが動いているような映像に対しても、背景画像信号306を生成することが可能である。 Background image generation unit 901, by utilizing the global MV803, even for a video, such as the camera is moving, it is possible to generate a background image signal 306. まず、動領域分離マスク115の生成方法について説明する。 First, a description method for generating motion area separation mask 115. 動領域分離マスク115は、参照画像信号116とグローバルMV803を用いて次式(12)で算出される。 Dynamic segmentation mask 115 using the reference image signal 116 and the global MV803 is calculated by the following equation (12).

ここで、(gmv_x,gmv_y)はグローバルMV803の水平・垂直成分を表している。 Here, (gmv_x, gmv_y) represents the horizontal and vertical components of the global MV803. また、MCLDは、動き補償処理を施した復号画像信号を表しており、グローバルMV803が分数精度の場合は、動き補償部301で説明したような動き補償処理を適用する。 Further, MCLD represents the decoded image signal subjected to the motion compensation processing, global MV803 is the case of fractional accuracy, applying motion compensation processing described by the motion compensation unit 301. 例えば1/4画素精度の場合は、式中の(gmv_x,gmv_y)をそれぞれ(gmv_x/4,gmv_y/4)に置き換える。 For example the case of quarter-pixel precision, replaced in the formula (gmv_x, gmv_y) to each (gmv_x / 4, gmv_y / 4). グローバルMV803が整数精度の場合は、式(12)のMCLDをLDに置き換えた処理となる。 Global MV803 is the case of the integer precision, the process of replacing the MCLD of formula (12) in the LD.

ここで、差分値の代表値を決める指標は、第1の実施形態で述べた方法を当てはめることが可能である。 Here, an index for determining a representative value of the difference value may be fitted to the method described in the first embodiment. また、第1の実施形態と同様に一度生成した動領域分離マスクに対して補正を行っても良い。 Also, it may be corrected with respect to the first embodiment as well as once generated dynamic segmentation mask.

次に、背景画像信号306の生成について説明する。 Next, discussion will be made on generation of the background image signal 306. 背景画像信号306は、前述した動領域分離マスク115と復号画像信号114、及びグローバルMV803を用いてから次式(13)で導出される。 Background image signal 306 is derived decoded image signal 114 and the motion segmentation mask 115 described above, and using the global MV803 by the following formula (13).

ここで、MCBGは背景画像信号306に対してグローバルMV803を用いて動き補償処理を行った値を示している。 Here, MCBG indicates a value obtained by motion compensation process using the global MV803 the background image signal 306. 上式の通り、当該時刻の背景画像信号306の更新時は、参照画像信号116の中の時間的に最近接の復号画像信号114と動領域分離マスク115を利用し、マスクの値が0(背景画素)の場合は、最近接の復号画像信号114と更新前の背景画像信号306にグローバルMV803を考慮したものの重み付き和で更新が行われる。 As the above equation, when updating the background image signal 306 of the time, using the decoded image signal 114 and the dynamic segmentation mask 115 temporally closest in the reference image signal 116, the value of the mask is 0 ( for background pixels), the decoded image signal 114 to the unchanged background image signal 306 nearest the updated weighted sum but considering global MV803 performed.

次に、動領域分離予測部902について説明する。 Next, a description will be given dynamic segmentation prediction unit 902. 動領域分離予測部902は、動きベクトル推定部203から出力された動きベクトル207、参照画像メモリ105から出力された参照画像信号116、及び背景画像信号生成部901から出力された背景画像信号306、及びグローバルMV803が入力される。 Dynamic segmentation prediction unit 902, motion vector estimation unit 203 a motion vector 207 output from the reference image memory 105 reference image signal 116 output from, and the background image signal generating unit 901 background image signal 306 output from, and global MV803 is input. 動領域分離予測部902は、入力された動領域分離マスク115を用いて、動領域に対して動き補償処理を、背景領域に対しては、グローバルMV803を用いた動き補償処理を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 902 uses the motion segmentation mask 115 that has been input, the motion compensation processing to the moving area, with respect to the background region, performs motion compensation processing using the global MV803, separate It has the function of combining the predicted signal in a predictable way. 尚、入力された動きベクトル207を用いて動領域分離マスク115にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 115 using the motion vector 207 entered. つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク115にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 115. この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは式(11)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by Equation (11). 導出された整数精度の動きベクトルを用いて次式(14)のようにして動領域分離予測が行われる。 Using the motion vector of the derived integer precision motion segmentation prediction is performed as following equation (14).

ここでPは動領域分離予測によって生成される予測画像信号を表している。 Where P represents the prediction image signal generated by the motion segmentation prediction. 動領域に対しては通常の動き補償予測を、背景領域に対しては、背景画像信号306を、グローバルMV803を用いて動き補償することによって、動オブジェクトの形状によらずに予測精度を上げることが可能となる。 The normal motion compensated prediction for the moving area, with respect to the background region, the background image signal 306, by motion compensation using a global MV803, raising the prediction accuracy regardless of the shape of the moving object it is possible. このようにして作成された予測画像信号が動領域分離予測部302から出力されるとともに、この時利用したブロック形状、動きベクトル207、及びグローバルMV803などの予測情報119が、符号化制御部107に記録され、エントロピー符号化され、最終的に符号化データに多重化される。 Together with the prediction image signal thus created is output from the motion area separation predicting unit 302, the time block shape using a motion vector 207, and the prediction information 119 such as the global MV803 is, the encoding control section 107 is recorded, entropy coded, multiplexed finally coded data.

図27に本実施の形態におけるスライスヘッダーシンタクスの例を示す。 An example of a slice header syntax in the present embodiment in FIG. 27. 図中に示されるslice_global_motion_flagは、グローバルMV803を利用した動領域分離予測を行うかどうかを示すフラグである。 slice_global_motion_flag shown in the figure, a flag indicating whether to perform dynamic segmentation prediction using global MV803. slice_global_motion_flagが0である場合、背景画像生成部901及び動領域分離予測部902は、第1の実施の形態で説明した背景画像生成部303及び動領域分離予測部302と同様の予測を行う。 If slice_global_motion_flag is 0, the background image generation unit 901 and the motion region separating prediction unit 902 performs the same predicted background image generation unit 303 and the motion region separating prediction unit 302 described in the first embodiment. つまり、グローバルMV803は送られず、利用しない。 In other words, global MV803 is not sent, do not use. 一方、slice_global_motion_flagが1である場合、予め定められたグローバルMV803のパラメータの数を示すNumOfGMPの数だけ、gmv_paramを符号化する。 On the other hand, if the slice_global_motion_flag is 1, the number of NumOfGMP indicating the number of parameters of global MV803 predetermined encodes Gmv_param. これらの情報を用いて、背景画像生成部901及び動領域分離予測902で対応する予測画像信号が生成される。 Using these information, the corresponding predictive image signal is generated by the background image generation unit 901 and the motion region separated prediction 902. 本実施の形態では、NumOfGMP=2の例を示しており、gmv_param[0]は水平方向の動きベクトルを、gmv_param[1]は垂直方向の動きベクトルを表している。 In the present embodiment, shows an example of NumOfGMP = 2, gmv_param [0] is the horizontal motion vector, gmv_param [1] represents the vertical direction of the motion vector. これらの情報は、グローバルベクトル推定部802によって算出され、符号化制御部107が与える予測情報119として符号列符号化部108で符号化される。 This information is calculated by the global vector estimating unit 802 is encoded with code sequence encoding unit 108 as prediction information 119 that the coding control unit 107 gives.

ここで、本実施の形態ではgmv_paramが直接グローバルMV803のパラメータとして与えられる例を示したが、直近に符号化されたスライスのグローバルMV803からの差分値を符号化しても良いし、予め定めた予測方法によってグローバルMV803を算出し、そこからの差分値を符号化しても良い。 Here, the prediction is gmv_param in this embodiment is an example given as a parameter of direct global MV803, to the difference value from the global MV803 slice encoded most recently may be encoded, a predetermined calculating a global MV803 by the way, may also be encoded difference value therefrom.

以上が、本発明に係わる動画像符号化装置100のインター予測部801の説明である。 The above is the description of the inter prediction unit 801 of the moving picture coding apparatus 100 according to the present invention.

(第3の実施形態:適応補間フィルタ) (Third Embodiment: adaptive interpolation filtering)
本実施の形態では、動画像符号化装置100の構造は図2と同一であるため、説明を省略する。 In the present embodiment, the structure of the moving picture coding apparatus 100 is the same as FIG. 2, the description thereof is omitted. 但し、予測部106の機能が異なっているため、予測部1001が設けられている。 However, since the different functions of the prediction unit 106, the prediction unit 1001 is provided. 図21に第3の実施形態における予測部1001を示す。 Figure 21 shows the prediction unit 1001 in the third embodiment. 尚、既に説明した機能と同様の機能を持つものに対しては同じインデックスを与えて、その説明を省略する。 Incidentally, for those with already the same functions described functionality gives the same index, and a description thereof will be omitted. 尚、インター予測部202は、機能の違いのためにインター予測部1101が設けられている。 Note that the inter prediction unit 202, an inter prediction unit 1101 is provided for the differences in function.

予測部1001では、インター予測部1101に加えて、動き補償フィルタ係数推定部1102が設けられている。 The prediction unit 1001, in addition to the inter prediction unit 1101, a motion compensation filter coefficient estimator 1102 is provided. 動き補償フィルタ係数推定部1102は、符号化フレーム毎、符号化スライス毎或いはマクロブロック毎に、インター予測の動き補償処理で用いるフィルタ係数1103を算出する機能を有する。 Motion compensation filter coefficient estimator 1102, each encoded frame, each coding slices or every macroblock has a function of calculating the filter coefficients 1103 to be used in the motion compensation processing in the inter prediction. 本実施の形態では、動き補償処理として二次元6タップのFIRフィルタを例に挙げて説明するが、タップ数はNタップと仮定することが可能であり、利用するハードウェア等の制限によって自由に選択できる。 In the present embodiment, is described as an example an FIR filter of the two-dimensional 6-tap as a motion compensation process, the number of taps is possible to assume that N taps, freely by hardware limitations such as the use It can be selected. また、一次元フィルタ、二次元フィルタや三次元フィルタなども適用可能である。 Also, one-dimensional filter can be applied such as two-dimensional filter or a three-dimensional filter.

動き補償フィルタ係数推定部1102では、入力画像信号110や予測画像信号117の性質に応じてフィルタ係数を設計する。 The motion compensation filter coefficient estimation unit 1102, to design a filter coefficient according to the nature of the input image signal 110 and the prediction image signal 117. 例えば、既に第1、2の実施の形態中の動き補償部301で説明したように、フィルタ係数固定の動き補償フィルタで予測したときの予測誤差と動きベクトルとの対応関係を累積し、動きベクトルが指す分数位置毎の予測誤差が最小になるように、最小二乗法を用いてフィルタ係数を算出する。 For example, as already described by the motion compensation unit 301 in the embodiment of the first, second accumulating the correspondence between the prediction error and the motion vector when the prediction filter coefficients fixed motion compensation filter, the motion vector as the prediction error for each fractional position pointed to is minimized, it calculates the filter coefficient by using the least squares method. このときの評価基準として次式(15)を用いる。 Using the following equation (15) as a measure of this time.

ここで、Oは入力画像信号110を示しており、MCは固定フィルタを用いて算出された予測画像信号である。 Here, O denotes an input image signal 110, MC is a prediction image signal calculated using a fixed filter. hは導出するフィルタ係数1103を示しており、(i,j)はフィルタリング処理を行う分数位置を示している。 h denotes a filter coefficient 1103 to derive, (i, j) indicates the fractional position for filtering process. また、(a,b)はフィルタオフセットを示す固定値である。 Further, a fixed value indicating the (a, b) is a filter offset. 式(15)の二乗コストが最小となるようにフィルタ係数hを設計する。 Squares cost of formula (15) is designed filter coefficient h so as to minimize. 設計されたフィルタ係数1103は、インター予測部1101へと入力される。 Filter coefficient 1103 that is designed is input to the inter prediction unit 1101.

本実施の形態では、通常の固定動き補償フィルタを用いてフィルタを設計する方法について説明したが、入力画像信号110の特徴量を用いてフィルタを設計しても良い。 In the present embodiment it has been described how to design a filter using a conventional fixed motion compensation filter, using the feature quantity of the input image signal 110 may be designed to filter. 例えば、高周波数成分用のフィルタ係数セット、中周波数成分用のフィルタ係数セット、低周波数成分用のフィルタ係数セットを用意しておき、入力画像信号の周波数特性に応じて、選択的にフィルタ係数を入力しても良い。 For example, the filter coefficient set for the high-frequency components, the filter coefficient set for middle frequency components, is prepared a set of filter coefficients for the low frequency component, depending on the frequency characteristics of the input image signal, the selective filter coefficients it may be input.

次に、インター予測部1101について説明する。 Next, a description will be given inter prediction unit 1101. 図22はインター予測部1101のブロック図である。 Figure 22 is a block diagram of the inter prediction unit 1101. 第1の実施形態の動領域分離予測部302に対してフィルタ係数1103が入力されている以外は図1と同一であるため、それ以外の説明を省略する。 Since, except that the filter coefficient 1103 is entered for motion segmentation prediction unit 302 of the first embodiment is the same as FIG. 1 are omitted other description.

先ず動領域分離予測部1201について説明する。 First it will be described the dynamic segmentation prediction unit 1201. 動領域分離予測部1201は、動きベクトル推定部203から出力された動きベクトル207、参照画像メモリ105から出力された参照画像信号116、及び背景画像信号生成部901から出力された背景画像信号306、及びフィルタ係数1103が入力される。 Dynamic segmentation prediction unit 1201, the motion vector estimation unit 203 a motion vector 207 output from the reference image memory 105 reference image signal 116 output from, and the background image signal generating unit 901 background image signal 306 output from, and the filter coefficient 1103 is input. 動領域分離予測部1201は、入力された動領域分離マスク115を用いて、動領域に対して適応動き補償処理を、背景領域に対しては、背景画像信号306の補填を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 1201 uses the dynamic segmentation mask 115 that has been input, the adaptive motion compensation processing to the moving area, with respect to the background region, performs compensation of the background image signal 306, a separate prediction It has the function of combining the predicted signal in a way. 尚、入力された動きベクトル207を用いて動領域分離マスク115にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 115 using the motion vector 207 entered. つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク115にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 115. この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは式(10)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by Equation (10). 導出された整数精度の動きベクトルを用いて次式(16)によって予測画像信号が生成される。 Predicted image signal by the following equation (16) is generated using the motion vector of the derived integer precision.

ここでAMCは適応動き補償予測によって導出された予測値を示している。 Here AMC represents the predicted value derived by the adaptive motion compensated prediction. より具体的に図7を参照しながら適応動き補償予測を説明する。 Describing more specifically while referring to an adaptive motion compensated prediction to FIG.

最初に1/2画素位置に対応するa,b,c,d,h,nの画素位置の予測値を6タップの1次元フィルタで生成する。 First corresponding to 1/2 pixel position a, b, c, d, h, the predicted value of the pixel position of the n generated by six-tap one-dimensional filter. 例えばa、dの画素位置に対応する予測値は次式(17)で生成される。 For example a, the predicted value corresponding to the pixel position of d is generated by the following equation (17).

次に残りの分数精度位置に対応するe,f,g,i,j,k,p,q,rの画素位置の予測値を6タップの2次元フィルタで生成する。 Then e corresponding to the remaining fractional precision position, f, g, i, j, k, p, q, and generates a two-dimensional filter the predicted values ​​of the pixel position of r 6 taps. 例えばeの画素位置に対応する予測は次式(18)で生成される。 For example prediction corresponding to the pixel position of e is generated by the following equation (18).

上記生成方法で予測画像を作成する場合、フィルタ係数が最大360個程度発生する。 When creating a predicted image by the above generating method, the filter coefficients are generated about 360 up. そこで、空間的対照性を加味してフィルタ係数を統合する。 Therefore, to integrate the filter coefficients by taking into account spatial control properties. 例えば、上記画素a,c,d,lの対象性を利用して次式(19)でフィルタ係数を統合する。 For example, the pixel a, c, d, by using the symmetry of l integrating filter coefficient by the following equation (19).

このような対照性を利用した係数を利用することで、適応動き補償予測で用いるフィルタ係数を削減することが可能である。 By using the coefficients using such control properties, it is possible to reduce the filter coefficients used in the adaptive motion compensated prediction.

このように動き補償フィルタ係数推定部1102で算出され、入力されたフィルタ係数1103を利用して式(16)のAMCの予測画像信号を生成する。 Thus calculated by the motion compensation filter coefficient estimation section 1102, by using the filter coefficient 1103 that is input to generate a prediction image signal of the AMC of formula (16).

動領域に対しては、算出されたフィルタ係数1103を用いて、適応動き補償を行い、背景領域に対しては、背景画像信号306を補填することによって、動いているオブジェクトと背景領域毎に最適な予測画像信号が生成できるため、予測精度を高めることが可能となる。 For moving area, using a filter coefficient 1103 is calculated, an adaptive performs motion compensation for the background area, the optimum by filling the background image signal 306, for each moving objects and the background area since Do predictive image signal can be generated, it is possible to improve the prediction accuracy. このようにして作成された予測画像信号117が動領域分離予測部1201から出力されるとともに、この時利用したブロック形状、動きベクトル207、及びフィルタ係数1103などの予測情報119が、符号化制御部107に記録され、エントロピー符号化され、最終的に符号化データに多重化される。 With this way prediction image signal 117 created is outputted from the motion segmentation prediction unit 1201, the time block shape using a motion vector 207, and the prediction information 119 such as a filter coefficient 1103, the coding control unit 107 is recorded in, entropy coded, multiplexed finally coded data.

図27に本実施の形態におけるスライスヘッダーシンタクスの例を示す。 An example of a slice header syntax in the present embodiment in FIG. 27. 図中に示されるslice_adaptive_filter_flagは、適応動き補償予測を利用した動領域分離予測を行うかどうかを示すフラグである。 slice_adaptive_filter_flag shown in the figure, a flag indicating whether to perform dynamic segmentation prediction using adaptive motion compensated prediction. slice_adaptive_filter_flagが0である場合、動領域分離予測部1201は、第1の実施の形態で説明した動領域分離予測部302と同様の予測を行う。 If slice_adaptive_filter_flag is 0, the dynamic segmentation prediction unit 1201 performs the same prediction as motion segmentation prediction unit 302 described in the first embodiment. つまり、動画素に対する適応動き補償予測は行われず、フィルタ係数も利用しない。 In other words, the adaptive motion compensated prediction for video element is not performed, the filter coefficients not used. 一方、slice_adaptive_filter_flagが1である場合、予め定められた二次元のフィルタ係数1103の個数を示すNumOfPosXとNumOfPosYの数だけ、filter_coeffを符号化する。 On the other hand, if the slice_adaptive_filter_flag is 1, the number of NumOfPosX and NumOfPosY indicating the number of two-dimensional filter coefficients 1103 a predetermined encodes Filter_coeff. これらの情報を用いて、動領域分離予測1201で動画素に対して適応動き補償予測が行われ、予測画像信号が生成される。 Using these information, adaptive motion compensated prediction on the moving element is performed by moving the segmentation prediction 1201, the prediction image signal is generated. これらの情報は、動き補償フィルタ係数推定部1102によって算出され、符号化制御部107が与える予測情報119として符号列符号化部108で符号化される。 This information is calculated by the motion compensation filter coefficient estimator 1102 is encoded with code sequence encoding unit 108 as prediction information 119 that the coding control unit 107 gives.

ここで、本実施の形態ではfilter_coeffが直接フィルタ係数1103のパラメータとして与えられる例を示したが、直近に符号化されたスライスのフィルタ係数1103からの差分値を符号化しても良いし、予め定めた予測方法によってフィルタ係数1103を算出し、そこからの差分値を符号化しても良い。 Here, filter_coeff in this embodiment is an example given as a parameter of direct filter coefficients 1103, to the difference value from the filter coefficient 1103 of the slice encoded most recently may be encoded, determined in advance was calculated filter coefficients 1103 by the predictive method, it may encode a difference value therefrom.

以上が、本発明に係わる動画像符号化装置100のインター予測部1101の説明である。 The above is the description of the inter prediction unit 1101 of the moving picture coding apparatus 100 according to the present invention.

以上説明したように、本実施形態では、矩形ブロックに適さない動オブジェクトを予測するために、過度のブロック分割が施されて、ブロック分割情報が増大することを防ぐ。 As described above, in the present embodiment, in order to predict the dynamic object that is not suitable for the rectangular block, excessive block division is subjected, prevent block division information is increased. つまり、付加的な情報を増加させずに、ブロック内の動領域と背景領域を分離し、それぞれに最適な予測方法を適用することによって、符号化効率を向上させると共に主観画質も向上するという効果を奏する。 In other words, the effect without increasing additional information, separates the moving area and the background area in the block, by applying an optimum prediction method in each of the subjective image quality is improved while improving the coding efficiency achieve the.

<動画像復号化装置> <Video decoding apparatus>
次に、動画像復号化に関する第4〜第6の実施形態について述べる。 Next, we described fourth to sixth embodiments relating to video decoding.
(第4の実施形態) (Fourth Embodiment)
図29は、図1〜図28を用いて説明した第1〜第3の実施形態に従う動画像符号化装置に対応する、第4の実施形態に従う動画像復号化装置を示している。 Figure 29 corresponds to the video encoding apparatus according to the first to third embodiments described with reference to FIGS. 1 to 28 shows a video decoding apparatus according to a fourth embodiment. 動画像復号化装置400は、入力バッファ401から入力される符号化データ409を復号する符号列復号部402、符号列復号部402からの変換係数を逆量子化し、逆変換する逆量子化・逆変換部403、逆量子化・逆変換部403からの予測誤差信号411と予測画像信号415とを加算する加算器404、加算器404からの復号画像信号を参照画像として記憶する参照画像メモリ405、参照画像信号413,動領域マスク414,予測情報および動きベクトル417を受けて予測画像信号415を生成する予測部406を備えている。 Moving picture decoding apparatus 400, the code string decoding unit 402 for decoding encoded data 409 input from the input buffer 401, and inverse quantized transform coefficients from the bit stream decoding unit 402, inverse quantization and inverse to the inverse transform conversion unit 403, an adder 404 for adding the prediction image signal 415 and the prediction error signal 411 from the inverse quantization and inverse transform unit 403, the reference image memory 405 for storing the decoded image signal from the adder 404 as a reference image, reference image signal 413, the dynamic area mask 414, a prediction unit 406 for generating a predictive image signal 415 receives prediction information and the motion vector 417. 動画像符号化装置400は符号化制御部408によって制御され、復号画像信号を出力バッファ407に出力する。 Moving picture coding apparatus 400 is controlled by the coding control unit 408, and outputs the decoded image signal to the output buffer 407.

上記構成において、図1に示した動画像符号化装置100などから送出され、蓄積系または伝送系を経て送られてきた符号化データ409は入力バッファ401に一度蓄えられ、多重化された符号化データが動画像復号化装置400に入力される。 In the above structure, sent from such video encoding apparatus 100 shown in FIG. 1, the encoded data 409 sent through the storage system or transmission system is stored once in the input buffer 401, multiplexed encoded data is input to the video decoding apparatus 400.

動画像復号化装置400では、符号化データが符号列復号部402に入力され、1フレームまたは1フィールド毎にシンタクスに基づいて構文解析による解読が行われる。 In the moving picture decoding apparatus 400, coded data is inputted to the code string decoding unit 402, the decryption by parsing is performed on the basis of the one frame or syntax for each field. すなわち、符号列復号部402では、順次各シンタクスの符号列がエントロピー復号化され、予測情報416、変換係数410、対象ブロックの符号化パラメータなどが再生される。 That is, in the code string decoding unit 402, are sequentially code string entropy decoding of each syntax, the prediction information 416, transform coefficients 410, such as encoding parameters of the target block is reproduced. 本実施の形態においては、符号化パラメータとは、予測情報416はもとより、変換係数に関する情報、量子化に関する情報、などの復号の際に必要になるあらゆるパラメータを指す。 In the present embodiment, the coding parameters, the prediction information 416 as well as refers information about the conversion coefficient, any parameters that are required for decoding such information, relating to quantization.

符号列復号部402で解読が行われた変換係数410は、逆量子化・逆変換部403へと入力される。 Transform coefficients 410 the decryption is performed in the code string decoding unit 402 is input to the inverse quantization and inverse transform unit 403. 符号列復号部402によって解読された量子化に関する様々な情報、すなわち、量子化パラメータや量子化マトリクスは、復号化制御部408に設定され、逆量子化処理として利用される際にロードされる。 Various information on the quantization which is decoded by the code string decoding unit 402, i.e., the quantization parameter and the quantization matrix is ​​set to the decoding control unit 408, is loaded when it is utilized as an inverse quantization processing. ロードされた量子化に関する情報を用いて、逆量子化・逆変換部403では、最初に逆量子化処理が行われる。 Using information on quantization loaded, the inverse quantization and inverse transform unit 403, the first inverse quantization process is performed. 逆量子化された変換係数410は、続いて逆変換処理(例えば逆離散コサイン変換など)が実行される。 Transform coefficient 410 inverse quantized, followed by inverse transform processing (e.g. inverse discrete cosine transform, etc.) is executed. ここでは、逆直交変換について説明したが、符号化装置でウェーブレット変換などが行われている場合、逆量子化・逆変換部403は、対応する逆量子化及び逆ウェーブレット変換などが実行されても良い。 Here it has been described the inverse orthogonal transform, if the Wavelet transform or the like in the encoding device is performed, the inverse quantization and inverse transform unit 403, even if such a corresponding inverse quantization and inverse wavelet transform is performed good.

逆量子化・逆変換部403を通って、復元された予測誤差信号411は加算器404へと入力され、ここで後述する予測部406で生成された予測画像信号415と加算され、復号画像信号412が生成される。 Through the inverse quantization and inverse transform unit 403, the prediction error signal 411 reconstructed is input to the adder 404, is added to the prediction image signal 415 generated by the prediction unit 406 to be described later herein, the decoded image signal 412 is generated. 生成された復号画像信号412は、動画像復号化装置400から出力されて、出力バッファ407に一旦蓄積された後、復号化制御部408が管理する出力タイミングに従って出力される。 Decoded image signal 412 generated is outputted from the video decoding apparatus 400, after being temporarily stored in the output buffer 407, the decoding control unit 408 is output in accordance with output timing managed. また、この復号画像信号412は参照画像メモリ405へと保存され、参照画像信号413となる。 Further, the decoded image signal 412 is stored into the reference image memory 405, the reference image signal 413. 参照画像信号413は参照画像メモリ405から、順次フレーム毎或いはフィールド毎に読み出され、予測部406へと入力される。 Reference image signal 413 from the reference image memory 405 is read out for each sequential frame or every field, it is input to the prediction unit 406.

次に、予測部406について説明する。 Next, a description will be given predictor 406. 符号列復号部402で解読された予測方法を示す予測情報416が予測部406に入力されるとともに、参照画像メモリ405に蓄積されている既に符号化済みの復号画像信号412が参照画像413として予測部406へと入力される。 Together with the prediction information 416 indicating the decrypted prediction method in the code string decoder 402 are input to the prediction unit 406, prediction already encoded decoded image signal 412 stored in the reference image memory 405 as the reference image 413 is input to the section 406. 尚、本図では、説明時の簡略化のために、動き補償予測と動領域分離予測で利用される予測情報416中の動きベクトル417を分けて入力している。 In this figure, for simplicity of explanation when being entered separately motion vector 417 in the prediction information 416 to be used in motion compensation prediction and motion segmentation prediction.

図30に予測部406のブロック図を示す。 It shows a block diagram of a prediction unit 406 in FIG. 30. 予測部406は、予測切替スイッチ503、イントラ予測部501、インター予測部502を備えている。 Prediction unit 406, the prediction selector switch 503, an intra prediction unit 501, and a inter prediction unit 502. 予測部406に入力された予測情報416に含まれる予測モードに従って予測切替スイッチ503は、どの予測方法で予測するかを切り替える機能を有する。 Prediction selector switch 503 according to the prediction mode included in the prediction information 416 that is input to the prediction unit 406 has a function of switching whether to predict with any prediction method. 予測モードがイントラ予測であった場合、予測切替スイッチ503はイントラ予測部501へと接続される。 If the prediction mode is the intra prediction, the prediction change-over switch 503 is connected to the intra prediction unit 501. 一方、予測モードがインター予測であった場合、予測切替スイッチはインター予想部502へと接続される。 On the other hand, when the prediction mode is the inter prediction, the prediction change-over switch is connected to the inter predicting unit 502.

イントラ予測部501は、第1の実施の形態で説明した処理を行って予測画像信号417を生成する。 The intra prediction unit 501 generates a prediction image signal 417 by performing the processing described in the first embodiment. 本実施の形態では、4×4画素イントラ予測(図4C参照)、8×8画素イントラ予測(図4D参照)、16x16画素イントラ予測(図4B参照)が規定されている。 In the present embodiment, 4 × 4 intra-prediction (see Fig. 4C), (see FIG. 4D) 8 × 8 intra-prediction, 16x16 intra-prediction (see FIG. 4B) is defined. このイントラ予測では、参照画像メモリ405に保存されている参照画像信号413から、補間画素を作成し、空間方向にコピーすることによって予測値を生成している。 This intra prediction from the reference picture signal 413 stored in the reference image memory 405, and generates an interpolation pixel, and generates a predicted value by copying the spatial direction.

次に、インター予測部502について説明する。 Next, a description will be given inter prediction unit 502. インター予測部502の構造は図2で説明した動画像符号化装置におけるインター予測部202と全く同じである。 Structure of the inter prediction unit 502 is exactly the same as the inter prediction unit 202 in the moving picture coding apparatus as described in FIG. 但し、予測部406内で生成される予測画像信号415は、予測情報416で与えられる予測モードのみの予測画像信号生成処理だけを行えばよい。 However, the prediction image signal 415 generated in the prediction unit 406 may perform only the predicted image signal generating processing only prediction modes given by the prediction information 416. つまり、与えられた予測モード以外の予測画像信号415を生成する必要はない。 In other words, it is not necessary to generate a prediction image signal 415 of other than the expected given mode. 例えば、予測情報416で与えられる予測モードがインター予測である場合、符号列復号部402にて解読され、生成された動きベクトル417と予測情報416内に含まれるブロック形状情報、利用する参照画像信号のインデックスなどが与えられ、対象ブロックに対してこれらの与えられた情報からただ1つの予測画像信号415を生成すればよい。 For example, if the prediction mode given by the prediction information 416 is an inter predicted, is decoded by the code string decoding unit 402, the block shape information generated with the motion vector 417 included in the prediction information 416, the reference image signal to be utilized given such indexes may generate only one prediction image signal 415 from the information given these to the subject block.

インター予測部502(202)内の動き補償部301についてより詳細に説明する。 It will be described in more detail the motion compensation unit 301 in the inter prediction section 502 (202). 動き補償部301では、まず動きベクトル417(207)の情報に従って、当該予測画素ブロックの位置から、式(3)を用いて動きベクトル417(207)で参照されている位置を割り出す。 The motion compensation unit 301, first, according to the information of the motion vector 417 (207), the position of the prediction pixel block, determine the position that is referenced by the motion vector 417 (207) using equation (3). ここでは、H. Here, H. 264の1/4画素精度の補間を例に挙げて説明する。 The quarter-pixel accuracy interpolation in 264 will be described as an example. 動きベクトルの各成分が4の倍数である場合は、整数画素位置を指していることを意味する。 If each component of the motion vector is a multiple of 4, meaning that it points to the integer pixel positions. それ以外の場合は、分数精度の補間位置に対応する予測位置であることがわかる。 Otherwise, it can be seen that a predicted position corresponding to the interpolation position of fractional precision. 次に割り出した画素位置に対して、参照画像信号413(116)の対応する画素位置の補填もしくは補間処理によって予測画素を生成する。 Against then indexed pixel position to generate a predicted pixel by padding or interpolation of the corresponding pixel position of the reference image signal 413 (116). 図8にH. H. in Figure 8 264の予測画素生成の例を示す。 264 shows an example of a prediction pixel generation of. 例えば、図中でアルファベットb、hの位置に対応する1/2画素の補間処理は式(4)で算出される。 For example, interpolation of half pixels corresponding to the alphabets b, the position of h in the figure is calculated by the equation (4). また、図中でアルファベットa、dの位置に対応する1/4画素の補間処理は式(5)で算出される。 Further, the interpolation processing with the quarter-pixel corresponding to the alphabet a, the position of the d in the figure is calculated by the equation (5). このように1/2画素位置の補間画素は、6タップFIRフィルタ(タップ係数:(1,−5,20,20、−5,1)/32)を用いて生成し、1/4画素位置の補間画素は、2タップの平均値フィルタ(タップ係数:(1/2,1/2))を用いて算出される。 Interpolation pixel of the thus 1/2 pixel position, 6-tap FIR filter (tap coefficients: (1, -5,20,20, -5, 1) / 32) were generated using a 1/4-pixel positions the interpolated pixel, the average value filter (tap coefficients: (1 / 2,1 / 2)) of the 2-tap is calculated using. 4つの整数画素位置の中間に存在するアルファベットjに対応する1/2画素の補間処理は、垂直方向6タップと水平方向6タップの両方向を行うことによって生成される。 Interpolation half pixel corresponding to the alphabet j present in the middle of the four integer pixel positions are generated by performing both vertically 6-tap and horizontal 6-tap. 説明した以外の画素位置も同様のルールで補間値が生成できる。 Pixel positions other than those described can be generated interpolated values ​​in the same rule. 以上が、動き補償部301おける予測画像信号生成の例である。 The above is an example of a definitive motion compensation unit 301 predicted image signal generating.

次に、背景画像生成部303について説明する。 Next, a description will be given background image generation unit 303. 背景画像生成部303は、入力された参照画像信号413(116)を用いて、背景画像信号306及び動領域分離マスク414(115)を生成する機能と、生成した背景画像信号306を保持するメモリとしての機能を有する。 Background image generation unit 303 uses the reference image signal 413 is input (116), retains a function of generating a background image signal 306 and the dynamic segmentation mask 414 (115), the generated background image signal 306 memory It has a function as a. まず、動領域分離マスク414(115)の生成について説明する。 First, discussion will be made on generation of the motion segmentation mask 414 (115). 動領域分離マスク414(115)は、参照画像信号413(116)で提供された各々の時刻で復号された復号画像信号114に対してそれぞれ1つずつ存在する。 Dynamic segmentation mask 414 (115) are present one each for the reference image signal 413 (116) the decoded image signal 114 decoded at the time of each provided in. 動領域分離マスク414(115)は、同時刻に復号された復号画像信号412の各画素に対して、それ以前に復号された復号画像信号412との時間的な輝度変化(差分値)が予め定めた規定値THよりも小さい場合に背景画素と認定し、輝度変化が規定値THを超える場合を動画素と判定する2値のマスクマップであり式(6)で表される。 Dynamic segmentation mask 414 (115), for each pixel of the decoded image signal 412 decoded at the same time, the temporal brightness variation of the decoded image signal 412 decoded it previously (difference value) in advance finding that the background pixel is smaller than prescribed specified value TH, the formula be a mask map binary determines a moving element a case where luminance variation exceeds a predetermined value TH (6).

利用可能な参照画像信号413(116)が複数ある場合は、式(7)を用いて背景画素であるか、動画素であるかを判定する。 If the available reference image signal 413 (116) have more than one determines whether the pixel is a background pixel using Equation (7), there video disjoint. 図9に複数の参照画像信号に対して差分値を求める際の対応関係を示す。 It shows the relationship for obtaining the difference values ​​for a plurality of reference image signal in Fig. また、図11に予測対象画素ブロックからの時間的距離に応じて重みwを変える例を示す。 Further, an example of changing the weight w according to the temporal distance from the prediction pixel block in FIG. 11.

尚、上記では単純に差分値のみによって画素の領域判定を行う例を示したが、代表値を決める指標として、利用可能な複数の復号画像信号間(時間方向)の画素の差分値、差分値の最大値、差分値の平均値、差分値のメディアン値、差分値の分散を用いて判定しても良いし、復号画像信号の領域判定を行う画素に隣接する画素(空間方向)の差分値の最大値、差分値の平均値、差分値のメディアン値、差分値の分散、などの指標を用いて判定しても良い。 Incidentally, an example of performing simple area determination pixel by only the difference value is above, as an index for determining a representative value, the difference value of pixels between the available plurality of decoded image signal (time direction), the difference value the maximum value of the average value of the difference value, the median value of the difference value may be determined using the variance of the difference value, the difference value of the pixel (spatial direction) adjacent to the pixel to be an area determination of the decoded image signal the maximum value of the average value of the difference value, the median value of the difference value, the variance of the difference value may be determined by using an index such as.

また、一度生成した動領域分離マスクに対して補正を行っても良い。 Also, it may be corrected with respect to time generated dynamic segmentation mask. 例えば、生成した動領域分離マスクの補正対象画素において、隣接位置に対応する上下左右の4点、或いは対角方向も含めた9点のマスクの値を用いて、孤立点となるような領域を補正したり、予測ブロック形状に合わせてブロック境界のマスクの値を修正したりしても良い。 For example, the correction target pixel of the generated dynamic segmentation mask, four vertical and horizontal, corresponding to the adjacent position, or using the value of the diagonal direction 9 points of the mask, including the region such that an isolated point correction or may be or modify the values ​​of the mask of the block boundary in accordance with the prediction block shape. この場合の例が式(8)に示されている。 An example of this case is shown in equation (8). 図11に対象画素と隣接画素の関係を示す。 Shows the relationship between the adjacent pixels and the target pixel in FIG. 11. 図10の丸印の密度が高くなるほど対象画素との距離が離れることを意味している。 The distance between the more pixel density circle increases in FIG. 10 means that the leaves. 更に図12に空間方向の市街地距離に応じて、重みvを変更する例を示す。 Further in accordance with the city block distance of the spatial direction in FIG. 12 shows an example of changing the weight v. このように空間方向に対して重みvを適切に設定することによって、生成された動領域分離マスクを補正することができ、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等が可能となる。 By thus appropriately setting the weights v to the spatial direction, can be corrected generated motion segmentation mask, removal of isolated points, connecting the discontinuity, the region of the rectangular block enlargement reduction, edge corrected, the pixel compensation becomes possible pixel matching and the like. 尚、本発明の本実施の形態では、市街地距離による重み変更例を示したが、距離の定義は市街地距離、マンハッタン距離などを含む、ミンコフスキー距離の中から1つを用いて計算することが可能である。 In this embodiment of the present invention, although the weight modified example of city block distance, defined distance can city block distance, including Manhattan distance, calculated using one of Minkowski distances it is.

次に、背景画像信号306の生成について説明する。 Next, discussion will be made on generation of the background image signal 306. 背景画像信号306とは、時間方向で輝度変化が少ない背景領域のみを集めた信号となっており、動領域分離マスク414(115)と時間的に最近接の復号画像信号412に基づいて画素毎に導出される。 The background image signal 306, based on the decoded image signal 412 in the time direction has a signal collecting only a small background region luminance varies temporally closest and dynamic segmentation mask 414 (115) for each pixel It is derived in. 前述した動領域分離マスク414(115)から式(9)を用いて背景画像信号306を生成する。 Generating a background image signal 306 using Equation (9) from moving segmentation mask 414 described above (115). 当該時刻の背景画像信号306の更新時は、参照画像信号413(116)の中の時間的に最近接の復号画像信号412と動領域分離マスク414(115)を利用し、マスクの値が0(背景画素の場合)のみ、最近接の復号画像信号114と更新前の背景画像信号306の重み付き和で更新が行われる。 When updating the time of the background image signal 306 is temporally using the decoded image signal 412 and the dynamic segmentation mask 414 closest (115), the value of the mask in the reference image signal 413 (116) 0 (for background pixels) only, it is updated with the weighted sum of the decoded image signal 114 to the unchanged background image signal 306 of the nearest place. 重み付き和は例えばwt=1/2に設定することで平均値フィルタとなる。 Weighted sum becomes the average value filter by setting the example wt = 1/2. 一方、マスクの値が1(動画素の場合)には、更新は行われない。 On the other hand, the value of the mask is 1 (case of a moving element), updating is not performed. 尚、背景画像信号306の初期値は、予め定めた輝度値(例えば輝度信号であれば0や最大輝度値(8ビットでは256)、色差信号であれば中間輝度値(8ビットで128))で埋めておいても良いし、画面内予測だけで符号化されるようなI-sliceの輝度値を用いたりしても良い。 The initial value of the background image signal 306, a predetermined luminance value (e.g., if the luminance signal 0 and the maximum luminance value (256) is an 8-bit, the intermediate luminance value if the color difference signals (128 in 8 bits)) in may be previously filled, it may be or using a luminance value of the I-slice as encoded in only predicting the screen. 背景画像信号306のリフレッシュは、I-sliceが挿入された場合や、IDRピクチャが挿入された場合に行われる。 Refresh of the background image signal 306, and if I-slice is inserted, is performed when the IDR picture is inserted. 本実施の形態ではI-sliceのタイミングで必ず背景画像信号306のリフレッシュが行われる例を示している。 In the present embodiment shows an example in which refresh is performed for always background image signal 306 at the timing of I-slice. 以上のような過程で背景画像信号306が適切なタイミングで更新される。 Background image signals 306 in the process described above is updated in a timely manner.

尚、背景画像信号306は、背景画像生成部303の内部メモリに保持されており、更新された信号が動領域分離予測部302へと出力される。 Incidentally, the background image signal 306 is held in the internal memory of the background image generation unit 303, the updated signal is output to the motion segmentation prediction unit 302. また、生成された動領域分離マスク414(115)は、インター予測部202から出力され、予測部106を経て、同じ時刻の復号画像信号412とともに参照画像信号413として参照画像メモリ405へと保存される。 Also, the dynamic segmentation mask 414 generated (115) is outputted from the inter prediction unit 202, via the prediction unit 106, is stored with the decoded image signal 412 of the same time as the reference image memory 405 as a reference image signal 413 that.

次に、動領域分離予測部302について説明する。 Next, a description will be given dynamic segmentation prediction unit 302. 動領域分離予測部302は、符号列復号部402で解読された動きベクトル417(207)、参照画像メモリ405から出力された参照画像信号413(116)、及び背景画像信号生成部303から出力された背景画像信号306が入力される。 Dynamic segmentation prediction unit 302, motion vector 417 (207) which is decoded by the code string decoding unit 402, the reference image reference output from the memory 405 the image signal 413 (116), and is output from the background image signal generating unit 303 background image signal 306 is input. 動領域分離予測部302は、入力された動領域分離マスク414(115)を用いて、動領域に対して動き補償処理を、背景領域に対しては、背景画像信号の補填を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 302 uses the motion segmentation mask 414 that has been input (115), motion compensation processing for the moving area, with respect to the background region, performs compensation of the background image signals, separate It has the function of combining the predicted signal in a predictable way. 尚、入力された動きベクトル417(207)を用いて動領域分離マスク414(115)にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 414 (115) using the motion vector 417 inputted (207). つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク115にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 115. この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは式(10)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by Equation (10). 導出された整数精度の動きベクトルを用いて式(11)のようにして動領域分離予測が行われる。 Using the motion vector of the derived integer precision as equation (11) is moving segmentation prediction is performed.

例えば図8で生成された補間画素a、b、jなどの値や整数画素G、H、Mなどの値がMCに入る。 For example interpolation pixel a generated in FIG. 8, b, values ​​and integer pixel G, such as j, H, values ​​such as M enters the MC. 図13に、参照画像信号が時間方向に4枚利用可能な場合の、復号画像信号412と動領域分離マスク414(115)の例と背景画像信号306の例を示す。 13 shows the reference image signal in a case the time direction to four available examples of embodiment and the background image signal 306 of the decoded image signal 412 and the dynamic segmentation mask 414 (115). このようにして作成された予測画像信号が動領域分離予測部302から出力される。 Such predictive image signal generated in the is output from the motion area separation predicting unit 302.

次に、予測切替部304と予測分離スイッチ305について説明する。 Next, a description will be given prediction isolation switch 305 and the prediction switching unit 304. 予測切替部304は、入力されてきた動領域分離マスク414(115)の情報に基づいて、予測分離スイッチ305を制御するための予測切替情報307を出力する。 Prediction switching unit 304, based on the information of the dynamic segmentation mask 414 that has been input (115), and outputs the prediction switching information 307 for controlling the prediction isolation switch 305. 予測分離スイッチ305は、予測切替情報307に従って、スイッチの出力端を動き補償部301側に接続するか、動領域分離予測部302側に接続するかを切り替える機能を有する。 It predicted separation switch 305, according to the prediction switching information 307, having either connects the output terminal of the switch to the motion compensation unit 301 side, a function of switching whether to connect to the dynamic segmentation prediction unit 302 side. より具体的に説明すると、当該予測対象画素ブロック内に含まれる動領域分離マスクの比率を算出し、動領域が予め設定した規定値TPより大きいか、小さいかによって予測切替情報307を更新する。 To be more specific, the calculated ratio of the dynamic segmentation mask included in the candidate prediction pixel block, motion area Do predetermined value greater than the TP set in advance, and updates the prediction switching information 307 with or smaller. 図14に、TP=90%に設定した場合の切替の例を示している。 Figure 14 shows an example of switching of setting the TP = 90%. このようにして、予測対象画素ブロックのインター予測の予測方法(動き補償予測と動領域分離予測)が動的に切り替えられ、インター予測部202から予測画像信号415(117)が出力される。 In this way, the prediction target prediction method of pixel block inter prediction (motion compensation prediction and motion segmentation prediction) is dynamically switched, predicted from the inter prediction unit 202 the image signal 415 (117) is output.

次に、本動画像復号化装置400におけるシンタクス構造について説明する。 Next, a description will be given syntax structure in the video decoding apparatus 400. 図24に示すとおり、シンタクスは主に3つのパートからなり、ハイレベルシンタクス1601は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。 As shown in FIG. 24, syntax consists of three main parts, a high level syntax 1601, syntax information of the above upper layer slices are packed. スライスレベルシンタクス1602では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス1603では、マクロブロック毎に必要とされるデータが明記されている。 In the slice level syntax 1602, information necessary for each slice have been specified, the macro-block level syntax 1603, data required for each macro block is specified.

それぞれは、更に詳細なシンタクスで構成されており、ハイレベルシンタクス1601では、シーケンスパラメータセットシンタクス1604とピクチャパラメータセットシンタクス1605などのシーケンス、ピクチャレベルのシンタクスから構成されている。 Each is composed of further consists of a detailed syntax, the high level syntax 1601, a sequence such as a sequence parameter set syntax 1604 and picture parameter set syntax 1605, the picture level syntax. スライスレベルシンタクス1602では、スライスヘッダーシンタクス1605、スライスデータシンタクス1606などから成る。 In the slice level syntax 1602, slice header syntax 1605, and the like slice data syntax 1606. 更に、マクロブロックレベルシンタクス1603は、マクロブロックレイヤーシンタクス1607、マクロブロックプレディクションシンタクス1608などから構成されている。 Further, the macroblock level syntax 1603, macro block layer syntax 1607, and a like macroblock prediction syntax 1608.

図25にスライスヘッダーシンタクスの例を示す。 An example of a slice header syntax in FIG. 25. 図中に示されるslice_motion_region_separation_flagは、インター予測部502(202)中の予測切替部304から出力される予測切替情報307に利用される。 slice_motion_region_separation_flag shown in the figures, is used to predict switching information 307 outputted from the prediction switching unit 304 in the inter prediction section 502 (202). slice_motion_region_separation_flagが0である場合、予測切替部304は、スライスにおいて常に動き補償予測部301の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 If slice_motion_region_separation_flag is 0, the prediction switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output of the motion compensation prediction unit 301 in a slice. つまり、必ず動き補償予測が行われることを意味している。 That is, always it means that the motion-compensated prediction is made. 一方、slice_motion_region_separation_flagが1である場合、前述の通り、スライスにおいて背景画像生成部303から出力された動領域分離マスク414(115)の信号に基づいて動き補償予測と動領域分離予測が動的に切り替わる。 On the other hand, if the slice_motion_region_separation_flag is 1, as described above, the motion compensation prediction and motion segmentation predicted dynamically switched based on the signal of the dynamic segmentation mask 414 outputted from the background image generator 303 (115) in the slice .

図26に符号化パラメータの例としてマクロブロックレイヤーシンタクスの例を示す。 An example of a macroblock layer syntax Examples of the encoding parameters in Fig. 26. 表中に示されるmb_typeは、マクロブロックタイプ情報を示している。 mb_type shown in the table indicates the macroblock type information. すなわち、現在のマクロブロックがイントラ符号化されているか、インター符号化されているか、或いはどのようなブロック形状で予測が行われているか、などの情報を含んでいる。 That is, the current macroblock are either intra-coded or are inter-coded, or any block or shape prediction is being made, and includes information such as. 表中に示されるcoded_block_patternは、8×8画素ブロック毎に、変換係数が存在するかどうかを示している。 coded_block_pattern shown in the tables, each 8 × 8 pixel blocks, and indicates whether transform coefficients are present. 例えばこの値が0である時、対象ブロックに変換係数が存在しないことを意味している。 For example, when the value is 0, which means that there is no transform coefficient in the target block. 表中のmb_qp_deltaは、量子化パラメータに関する情報を示している。 mb_qp_delta in the table shows the information about the quantization parameter. 対象ブロックの1つ前に符号化されたブロックの量子化パラメータからの差分値を表している。 It represents the difference value from the quantization parameter of the coding block to the previous target block. 表中のintra_pred_modeは、イントラ予測の予測方法を示す予測モードを示している。 intra_pred_mode in the table indicates the prediction mode indicating prediction method of the intra prediction. 表中のref_idx_l0及びref_idx_l1は、インター予測が選択されているときに、対象ブロックがどの参照画像を用いて予測されたか、を表す参照画像のインデックスを示している。 ref_idx_l0 and ref_idx_l1 in the table, when the inter prediction is selected, and the index of the reference image indicating how was predicted using any reference image target block. 表中のmv_l0、mv_l1は動きベクトル情報を示している。 mv_l0 in the table, Mv_l1 shows the motion vector information. 表中のtransform_8x8_flagは、対象ブロックが8×8変換であるかどうかを示す変換情報を表している。 transform_8x8_flag in the table, the target block represents the conversion information that indicates whether the 8 × 8 transform.

表中の行間には、本発明で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても良い。 The rows in the table, to syntax elements not specified in the present invention it is possible to be inserted, may be included description of conditional branch otherwise. 或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。 Alternatively, dividing the syntax table to multiple tables, it is also possible to integrate. また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても良い。 Furthermore, not always necessary to use the same term may be changed arbitrarily depending on the form to be used. 更に、マクロブロックレイヤーシンタクスに記述されている各々のシンタクスエレメントは、後述するマクロブロックデータシンタクスに明記されるように変更しても良い。 Furthermore, each of the syntax elements described in the macroblock layer syntax may be changed as specified in below macroblock data syntax.

以上が、本発明に係わる動画像復号化装置400の説明である。 The above is the description of the video decoding apparatus 400 according to the present invention.

(第4の実施形態:変更例1:切替情報のシグナリング) (Fourth Embodiment: Modification 1: signaling switching information)
本実施の形態では、インター予測部502(202)内の予測方法として、動き補償部301と動領域分離予測部302の2つを予測切替部304によって動的に切り替える例を示したが、動き補償予測と動領域分離予測の切替を動的に行わない実施の形態も可能である。 In this embodiment, as the prediction method of the inter prediction section 502 (202), although two of the motion compensation unit 301 and the dynamic segmentation prediction unit 302 showing an example of dynamically switching the prediction switching unit 304, a motion embodiments that do not dynamically performed switching of compensation prediction and motion segmentation prediction is possible. この場合、どちらの予測方法が利用されたかのインデックスを復号化する必要が生じる。 In this case, both the prediction method is necessary to decode the index if it were utilized occurs. このインデックスは、予測切替情報307に記述されており、選択された予測画像信号117に対するインデックスが予測切替情報307に記述されている。 This index is described in the prediction switching information 307, an index to the predicted image signal 117 selected is described in the prediction switching information 307.

図15にマクロブロック毎に利用した予測方法を示すインデックスを復号化する例を示す。 An example for decoding an index indicating a prediction method utilizing for each macroblock in FIG. また、図27に本実施の形態におけるマクロブロックレイヤーシンタクスの例を示す。 Further, an example of a macroblock layer syntax according to the present embodiment in FIG. 27. 図中に示されるmb_motion_region_separation_flagは、インター予測部502(202)中の予測切替部304から出力される予測切替情報307に利用される。 mb_motion_region_separation_flag shown in the figures, is used to predict switching information 307 outputted from the prediction switching unit 304 in the inter prediction section 502 (202). mb_motion_region_separation_flagが0である場合、予測切替部304は、マクロブロックにおいて常に動き補償予測部301の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 If mb_motion_region_separation_flag is 0, the prediction switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output of the motion compensation prediction unit 301 in the macro block. つまり、必ず動き補償予測が行われることを意味している。 That is, always it means that the motion-compensated prediction is made. 一方、mb_motion_region_separation_flagが1である場合、予測切替部304は、マクロブロックにおいて常に動領域分離予測部302の出力端を出力するように予測切替情報307を設定して予測分離スイッチ305を切り替える。 On the other hand, if the mb_motion_region_separation_flag is 1, the predicted switching unit 304 switches the prediction isolation switch 305 to set the prediction switching information 307 to always output the output end of the dynamic segmentation prediction unit 302 in the macro block. つまり、必ず動領域分離予測が行われることを意味している。 That means that the always dynamic segmentation prediction is performed. SignalingFlagはmb_motion_region_separation_flagを符号化するかどうかを決定するための内部パラメータである。 SignalingFlag is an internal parameter for determining whether to encode the Mb_motion_region_separation_flag. SignalingFlagが1の場合、動画素の比率が規定値THMAXからTHMINの間に含まれることを意味する。 If SignalingFlag is 1, it means that the ratio of the moving element is included from the specified value THMAX during THMIN. 一方、SignalingFlagが0の場合、動画素の比率が規定値THMAXからTHMINの間に含まれないことを意味する。 On the other hand, if the SignalingFlag is 0, it means that the ratio of the moving element does not contain the prescribed value THMAX during THMIN.

(第4の実施形態:変更例2:予測画像信号の使いまわし) (Fourth Embodiment: Modification 2: loincloth use of the prediction image signal)
本実施の形態では、動き補償部301と動領域分離予測部302をそれぞれ別々の予測方法として記述しているが、動領域分離予測部302内で動き補償部301と同様の予測方法も用いている。 In this embodiment, although described as separately prediction methods motion compensation unit 301 and the dynamic segmentation prediction unit 302, and a similar prediction method with the motion compensation unit 301 used in the dynamic segmentation within prediction unit 302 there. このように同様の処理を複数回行うことによる演算量の増加を避けるため、図18に示すように動き補償部301で算出した予測画像信号415(117)を動領域分離予測部302へと入力する構造としても良い。 Thus in order to avoid an increase in the computation amount by performing a plurality of times the same processing, the input and a predicted image signal 415 calculated by the motion compensation unit 301 (117) as shown in FIG. 18 to the dynamic segmentation prediction unit 302 it may be used as the structure to be. 或いは動き補償部301の機能を動領域分離予測部302と統合させても良い。 Or may the functions of the motion compensation unit 301 is integrated with the dynamic segmentation prediction unit 302.

(第4の実施形態:変更例3:切替構造の削除) (Fourth Embodiment: Modification 3: Remove the switching structure)
本実施の形態では、動き補償部301と動領域分離予測部302をそれぞれ別々の予測方法として記述しているが、予測方法を動領域分離予測302に単一化して、予測切替部304を削除する構造としても良い。 In the present embodiment, which describes the motion compensation unit 301 and the dynamic segmentation prediction unit 302 as a separate prediction methods respectively, and unifies a prediction method in moving the segmentation prediction 302, deletes the prediction switching unit 304 it may be used as the structure to be. 図19に、動き補償部301、予測切替部304、予測分離スイッチ305を削除した実施形態を示す。 Figure 19 shows a motion compensation unit 301, prediction switching unit 304, and deletes the predicted separation switch 305 embodiment. 予測構造が簡略化するため、ハードウェア規模などの増大を防ぐことが可能となる。 Since prediction structures are simplified, it is possible to prevent an increase in such hardware scale.

(第5の実施形態:グローバルMC) (Fifth Embodiment: Global MC)
本実施の形態では、動画像復号化装置400において、予測情報416にグローバルMV1401の情報が含まれている。 In this embodiment, the moving picture decoding apparatus 400, includes information of a global MV1401 the prediction information 416. 尚、動画像復号化装置400としての構造は図29と変わらないため、同じ構成要素に関する説明は省略する。 Since the structure of the moving picture decoding apparatus 400 does not change the 29, description for the identical components will be omitted. 但し、予測部406の機能が異なるため、図31に示されるように新たに予測部1400が設けられている。 However, since the function of the predicting unit 406 is different, a new prediction unit 1400 is provided as shown in Figure 31. 予測部1400は、構造としては予測部406と同一であるが、予測情報416に含まれているグローバルMV1401がインター予測部801へと入力されている点だけが異なる。 Prediction unit 1400, As the structure is identical to the prediction unit 406, only in that global MV1401 is inputted to the inter prediction unit 801 is different from that included in the prediction information 416.

インター予測部801内の機能について図20を用いて説明する。 Be described with reference to FIG. 20 functions in the inter prediction section 801. まず、背景画像生成部901について説明する。 First described the background image generation unit 901. 背景画像生成部901は、参照画像メモリ405(105)から出力された参照画像信号413(116)及びグローバルMV1401(803)が入力される。 Background image generation unit 901, the reference image signal 413 outputted from the reference image memory 405 (105) (116) and global MV1401 (803) is input. 背景画像生成部901は、グローバルMV1401(803)を利用することによって、カメラが動いているような映像に対しても、背景画像信号306を生成することが可能である。 Background image generation unit 901, by utilizing a global MV1401 (803), even for video as a camera is in motion, it is possible to generate a background image signal 306. まず、動領域分離マスク414(115)の生成方法について説明する。 First, a description method for generating motion area separation mask 414 (115). 動領域分離マスク414(115)は、参照画像信号413(116)とグローバルMV1401(803)を用いて式(12)で算出される。 Dynamic segmentation mask 414 (115), reference image signal 413 and (116) using the global MV1401 (803) is calculated by equation (12). ここで、差分値の代表値を決める指標は、第4の実施形態で述べた方法を当てはめることが可能である。 Here, an index for determining a representative value of the difference value may be fitted to the method described in the fourth embodiment. また、第4の実施形態と同様に一度生成した動領域分離マスクに対して補正を行っても良い。 Also, it may be corrected with respect to the fourth embodiment similarly to a time generated motion area separation mask.

次に、背景画像信号306の生成について説明する。 Next, discussion will be made on generation of the background image signal 306. 背景画像信号306は、前述した動領域分離マスク414(115)と復号画像信号412、及びグローバルMV1401(803)を用いてから式(13)で導出される。 Background image signal 306 is derived by the equation (13) from using the dynamic segmentation mask 414 (115) and the decoded image signal 412 as described above, and global MV1401 (803).

次に、動領域分離予測部902について説明する。 Next, a description will be given dynamic segmentation prediction unit 902. 動領域分離予測部902は、動きベクトル417(207)、参照画像信号413、及び背景画像信号生成部901から出力された背景画像信号306、及びグローバルMV1401(803)が入力される。 Dynamic segmentation prediction unit 902, motion vector 417 (207), reference image signal 413, and the background image signal generating unit 901 background image signal 306 output from, and global MV1401 (803) is input. 動領域分離予測部902は、入力された動領域分離マスク414(115)を用いて、動領域に対して動き補償処理を、背景領域に対しては、グローバルMV1401(803)を用いた動き補償処理を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 902 uses the motion segmentation mask 414 that has been input (115), motion compensation processing for the moving area, for the background area, the motion compensation using the global MV1401 (803) performs processing, has a function of synthesizing a predicted signal in different prediction method. 尚、入力された動きベクトル417(207)を用いて動領域分離マスク414(115)にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 414 (115) using the motion vector 417 inputted (207). つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク414(115)にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 414 (115). この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは式(10)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by Equation (10). 導出された整数精度の動きベクトルを用いて式(14)のようにして動領域分離予測が行われる。 Using the motion vector of the derived integer precision as equation (14) is moving segmentation prediction is performed.

動領域に対しては通常の動き補償予測を、背景領域に対しては、背景画像信号306を、グローバルMV1401(803)を用いて動き補償することによって、動オブジェクトの形状によらずに予測精度を挙げることが可能となる。 The normal motion compensated prediction for the moving area, with respect to the background region, the background image signal 306, by motion compensation using the global MV1401 (803), the prediction accuracy regardless of the shape of the moving object it is possible to like.

図27に本実施の形態におけるスライスヘッダーシンタクスの例を示す。 An example of a slice header syntax in the present embodiment in FIG. 27. 図中に示されるslice_global_motion_flagは、グローバルMV1401(803)を利用した動領域分離予測を行うかどうかを示すフラグである。 slice_global_motion_flag shown in the figure, a flag indicating whether to perform dynamic segmentation prediction using global MV1401 (803). slice_global_motion_flagが0である場合、背景画像生成部901及び動領域分離予測部902は、第4の実施の形態で説明した背景画像生成部303及び動領域分離予測部302と同様の予測を行う。 If slice_global_motion_flag is 0, the background image generation unit 901 and the motion region separating prediction unit 902 performs the same predicted background image generation unit 303 and the motion region separating prediction unit 302 described in the fourth embodiment. つまり、グローバルMV1401(803)は復号されず、利用できない。 In other words, global MV1401 (803) is not decoded, unavailable.

一方、slice_global_motion_flagが1である場合、予め定められたグローバルMV1401(803)のパラメータの数を示すNumOfGMPの数だけ、gmv_paramを復号化する。 On the other hand, if the slice_global_motion_flag is 1, the number of NumOfGMP indicating the number of parameters of global MV1401 (803) a predetermined, decodes the Gmv_param. これらの情報を用いて、背景画像生成部901及び動領域分離予測902で対応する予測画像信号が生成される。 Using these information, the corresponding predictive image signal is generated by the background image generation unit 901 and the motion region separated prediction 902. 本実施の形態では、NumOfGMP=2の例を示しており、gmv_param[0]は水平方向の動きベクトルを、gmv_param[1]は垂直方向の動きベクトルを表している。 In the present embodiment, shows an example of NumOfGMP = 2, gmv_param [0] is the horizontal motion vector, gmv_param [1] represents the vertical direction of the motion vector.

ここで、本実施の形態ではgmv_paramが直接グローバルMV1401(803)のパラメータとして与えられる例を示したが、直近に復号されたスライスのグローバルMV1401(803)からの差分値を符号化しても良いし、予め定めた予測方法によってグローバルMV1401(803)を算出し、そこからの差分値を復号しても良い。 Here, in this embodiment an example given as a parameter of the global MV1401 gmv_param directly (803), to the difference value from the global MV1401 (803) of the slice decoded most recently may be coded calculates the global MV1401 (803) by a predetermined prediction method may be decoded difference value therefrom.

以上が、本発明に係わる動画像復号化装置の説明である。 The above is the description of the video decoding apparatus according to the present invention.

(第6の実施形態:適応補間フィルタ) (Sixth Embodiment: adaptive interpolation filtering)
本発明の本実施の形態では、動画像復号化装置400において、予測情報416にフィルタ係数1501の情報が含まれている。 In this embodiment of the present invention, in the moving picture decoding apparatus 400 includes information of the filter coefficients 1501 to the prediction information 416. 尚、動画像復号化装置400としての構造は図29と変わらないため、同じ構成要素に関する説明は省略する。 Since the structure of the moving picture decoding apparatus 400 does not change the 29, description for the identical components will be omitted. 但し、予測部406の機能が異なるため、新たに予測部1500のインデックスを与え、図32で説明する。 However, since the function of the predicting unit 406 is different, newly giving the index of the prediction unit 1500 will be described in FIG. 32. 予測部1500は、構造としては予測部406と同一であるが、予測情報416に含まれているフィルタ係数1501がインター予測部1101へと入力されている点だけが異なる。 Prediction unit 1500 is identical to the prediction unit 406 as a structure, only in that the filter coefficients 1501 included in the prediction information 416 are inputted to the inter prediction unit 1101 is different.

インター予測部1101内の機能について図22を用いて説明する。 It will be described with reference to FIG. 22 for the function of the inter-prediction unit 1101. 動領域分離予測部1201は、動きベクトル417(207)、参照画像信号413(116)、及び背景画像信号生成部901から出力された背景画像信号306、及びフィルタ係数1501(1103)が入力される。 Dynamic segmentation prediction unit 1201, the motion vector 417 (207), reference image signal 413 (116), and the background image signal generating unit 901 background image signal 306 output from the and the filter coefficients 1501, (1103) is input . 動領域分離予測部1202は、入力された動領域分離マスク414(115)を用いて、動領域に対して適応動き補償処理を、背景領域に対しては、背景画像信号306の補填を行い、別々の予測方法で予測された信号を合成する機能を有する。 Dynamic segmentation prediction unit 1202 uses the dynamic segmentation mask 414 that has been input (115), the adaptive motion compensation processing to the moving area, with respect to the background region, performs compensation of the background image signal 306, It has the function of combining the predicted signal in different prediction method. 尚、入力された動きベクトル417(207)を用いて動領域分離マスク414(115)にもマッチングを行う。 Incidentally, for matching to the dynamic segmentation mask 414 (115) using the motion vector 417 inputted (207). つまり、動き補償部301の説明で述べた動きベクトルから補間位置の導出を動領域分離マスク414(115)にも適用する。 That also applies the derivation of the interpolated position from the motion vectors described in the explanation of the motion compensation unit 301 to the motion segmentation mask 414 (115). この場合、動領域分離マスクは整数画素精度のみなので、分数精度の動きベクトルの場合は、整数画素精度へのマッピングを行う。 In this case, since the dynamic segmentation mask only integer pixel accuracy, when the motion vector of decimal precision, performs mapping to integer pixel accuracy. 1/4画素精度の動き補償処理の場合の整数画素位置へのマッピングは式(10)で表される。 Mapping to integer pixel positions in the case of the motion compensation processing of 1/4 pixel accuracy is expressed by Equation (10). 導出された整数精度の動きベクトルを用いて式(16)によって予測画像信号が生成される。 Prediction image signal by equation (16) is generated using the motion vector of the derived integer precision.

より具体的に図8を参照しながら適応動き補償予測を説明する。 Describing more specifically while referring to an adaptive motion compensated prediction to FIG. 最初に1/2画素位置に対応するa,b,c,d,h,nの画素位置の予測値を6タップの1次元フィルタで生成する。 First corresponding to 1/2 pixel position a, b, c, d, h, the predicted value of the pixel position of the n generated by six-tap one-dimensional filter. 例えばa、dの画素位置に対応する予測値は式(17)で生成される。 For example a, the predicted value corresponding to the pixel position of d is generated by the equation (17). 次に残りの分数精度位置に対応するe,f,g,i,j,k,p,q,rの画素位置の予測値を6タップの2次元フィルタで生成する。 Then e corresponding to the remaining fractional precision position, f, g, i, j, k, p, q, and generates a two-dimensional filter the predicted values ​​of the pixel position of r 6 taps. 例えばeの画素位置に対応する予測は式(18)で生成される。 For example prediction corresponding to the pixel position of e is generated by the equation (18). 尚フィルタの対照性を考慮して、式(19)を用いてフィルタ係数1501(1103)を統合する。 Note taking into account the control of the filter, to integrate the filter coefficients 1501 (1103) using equation (19). このような対照性を利用した係数を利用することで、適応動き補償予測で用いるフィルタ係数1501(1103)を削減することが可能である。 By using the coefficients using such control properties, it is possible to reduce the filter coefficients 1501 (1103) used in the adaptive motion compensated prediction.

動領域に対しては復号されたフィルタ係数1501(1103)を用いて、適応動き補償を行い、背景領域に対しては、背景画像信号306を補填することによって、動いているオブジェクトと背景領域毎に最適な予測画像信号が生成できるため、予測精度を高めることが可能となる。 Using the filter coefficient 1501 is decoded for moving region (1103), adaptive performs motion compensation for the background area, by filling the background image signal 306, a moving object and a background area each since the optimum predictive image signal can be generated, it becomes possible to improve the prediction accuracy.

図28に本実施の形態におけるスライスヘッダーシンタクスの例を示す。 An example of a slice header syntax in the present embodiment in FIG. 28. 図中に示されるslice_adaptive_filter_flagは、適応動き補償予測を利用した動領域分離予測を行うかどうかを示すフラグである。 slice_adaptive_filter_flag shown in the figure, a flag indicating whether to perform dynamic segmentation prediction using adaptive motion compensated prediction. slice_adaptive_filter_flagが0である場合、動領域分離予測部1201は、第3の実施の形態で説明した動領域分離予測部302と同様の予測を行う。 If slice_adaptive_filter_flag is 0, the dynamic segmentation prediction unit 1201 performs the same prediction as motion segmentation prediction unit 302 described in the third embodiment. つまり、動画素に対する適応動き補償予測は行われず、フィルタ係数も利用しない。 In other words, the adaptive motion compensated prediction for video element is not performed, the filter coefficients not used. 一方、slice_adaptive_filter_flagが1である場合、予め定められた二次元のフィルタ係数の個数を示すNumOfPosXとNumOfPosYの数だけ、filter_coeffを復号する。 On the other hand, if the slice_adaptive_filter_flag is 1, the number of NumOfPosX and NumOfPosY indicating the number of two-dimensional filter coefficients predetermined, decodes the Filter_coeff. これらの情報を用いて、動領域分離予測1201で動画素に対して適応動き補償予測が行われ、予測画像信号が生成される。 Using these information, adaptive motion compensated prediction on the moving element is performed by moving the segmentation prediction 1201, the prediction image signal is generated.

ここで、本実施の形態ではfilter_coeffが直接フィルタ係数1501(1103)のパラメータとして与えられる例を示したが、直近に復号化されたスライスのフィルタ係数1501(1103)からの差分値を復号化しても良いし、予め定めた予測方法によってフィルタ係数を算出し、そこからの差分値を復号化しても良い。 Here, in the present embodiment has shown an example given as a parameter of the filter coefficient 1501 (1103) directly Filter_coeff, decodes a difference value from the filter coefficients of the slice decoded most recently 1501 (1103) it is also good to calculate the filter coefficients by a predetermined prediction method may be decoded difference value therefrom.

以上が、本発明に係わる動画像復号化装置の説明である。 The above is the description of the video decoding apparatus according to the present invention.

(第1〜第6の実施形態の変形例) (Modification of the first to sixth embodiments)
(1)第1〜第6の実施形態においては、処理対象フレームを16×16画素サイズなどの短形ブロックに分割し、図4Aに示したように画面左上のブロックから右下に向かって順に符号化/復号化する場合について説明しているが、符号化/復号化順序はこれに限られない。 (1) In the first to sixth embodiments, dividing the frame to be processed into rectangle blocks such as 16 × 16 pixel size, in order toward the lower right from the top left of the block as shown in FIG. 4A It has described the case where encoding / decoding, encoding / decoding order is not limited thereto. 例えば、右下から左上に向かって順に符号化/復号化を行ってもよいし、画面中央から渦巻状に向かって順に符号化/復号化を行ってもよい。 For example, it may be carried out sequentially encoding / decoding toward the lower right to the upper left, it may be performed sequentially encoding / decoding toward the screen center in a spiral shape. さらに、右上から左下に向かって順に符号化/復号化を行ってもよいし、画面の周辺部から中心部に向かって順に符号化/復号化を行ってもよい。 Furthermore, it may be sequentially carried out coding / decoding in a direction from upper right to lower left, may be performed sequentially encoding / decoding toward the central portion from the peripheral portion of the screen.

(2)第1〜第6の実施形態においては、ブロックサイズを4×4画素ブロック、8×8画素ブロックとして説明を行ったが、対象ブロックは均一なブロック形状にする必要なく、16×8画素ブロック、8×16画素ブロック、8×4画素ブロック、4×8画素ブロックなどのブロックサイズであってもよい。 (2) In the first to sixth embodiments, 4 × 4 pixel block to the block size has been described as a 8 × 8 pixel blocks, the target block is not required to be uniform block shape, 16 × 8 pixel block, 8 × 16 pixel block, 8 × 4 pixel block may be a block size such as 4 × 8 pixel block. また、1つのマクロブロック内でも均一なブロックサイズを取る必要はなく、それぞれ異なるサイズのブロックを混在させてもよい。 Moreover, it is not necessary to take a uniform block size even in a macro block may be mixed different sizes of blocks, respectively. この場合、分割数が増えると分割情報を符号化するための符号量が増加するが、変換係数の符号量と局部復号画像とのバランスを考慮して、ブロックサイズを選択すればよい。 In this case, the amount of codes for encoding the division information and the division number is increased is increased, in consideration of the balance between the code quantity and the local decoded image of the transform coefficients may be selected block size.

(3)第1〜第6の実施形態においては、輝度信号と色差信号を分割せず、一方の色信号成分に限定した例として記述した。 (3) In the first to sixth embodiments, without dividing the luminance signal and color difference signals, described as an example of limiting to one of the color signal components. しかし、予測処理が輝度信号と色差信号で異なる場合、それぞれ異なる予測方法を用いてもよいし、同一の予測方法を用いても良い。 However, if the prediction process is different luminance signal and a color difference signal, it may be used different prediction methods respectively, may be using the same prediction method. 異なる予測方法を用いる場合は、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化/復号化する。 In the case of using a different prediction method for encoding / decoding a prediction method selected for the color difference signals with the luminance signal the same way.

(4)第1及び第4の実施形態においては、図17で説明したように、動き補償部301で生成された予測画像信号を動領域分離予測部302で使いまわす変更例や、図18で説明したように、動き補償部301を削除して、常に動領域分離予測部302を利用する変更例を示したが、これらの変更例は第2、3実施の形態及び第5,6実施の形態においても同様の枠組みが適応可能である。 (4) In the first and fourth embodiments, as described in FIG. 17, and modifications to reuse a prediction image signal generated by the motion compensation unit 301 in the motion segmentation prediction unit 302, in FIG. 18 as described, by removing the motion compensation portion 301, always showed a variation that uses the dynamic segmentation prediction unit 302, an example of these modifications in form and fifth and sixth embodiment of the second and third embodiments it is applicable same framework also in. また、第2及び5実施の形態におけるグローバルMV803を利用した動き補償予測を、動き補償部301に適用しても良いし、実施の形態3及び6におけるフィルタ係数1103を利用する適応動き補償予測を動き補償部301に適応しても一向に構わない。 Moreover, motion compensated prediction using global MV803 in the second and fifth exemplary embodiments may be applied to the motion compensation unit 301, an adaptive motion compensated prediction using the filter coefficient 1103 in the third and sixth embodiments it may at all be adapted to the motion compensation unit 301.

なお、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。 Incidentally, the invention is not limited to the above embodiments and may be embodied with the components modified without departing from the scope of the invention. また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。 Also, by properly combining the structural elements disclosed in the above embodiments, various inventions can be formed. 例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。 For example, it is possible to delete some of the components shown in the embodiments. さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 It may be appropriately combined components in different embodiments.

第1の実施形態に従う動画像符号化装置を示すブロック図 Block diagram illustrating a video encoding apparatus according to a first embodiment 第1の実施形態に従う予測部を示すブロック図 Block diagram illustrating a prediction unit according to the first embodiment 第1の実施形態に従うインター予測部を示すブロック図 Block diagram illustrating an inter prediction unit according to a first embodiment 符号化の処理の流れを示す図 It shows a process flow of coding 16×16画素ブロックを示す図 It shows a 16 × 16 pixel block 4×4画素ブロックを示す図 It shows a 4 × 4 pixel block 8×8画素ブロックを示す図 It shows the 8 × 8 pixel block 参照画像信号と予測対象画像との位置関係と動きベクトルとの関係を示す図 Figure reference image signal and indicating the relationship between the positional relationship between the motion vector of the prediction target image マクロブロック単位の動き補償ブロックのサイズを示す図 It shows the size of the motion compensation block of the macroblock サブブロック単位の動き補償ブロックのサイズを示す図 It shows a size of the motion compensation block of the sub-block units 動き補償予測の際の整数画素と分数画素の位置関係を示す図 Diagram showing the positional relationship between the integer pixels and fractional pixel when motion compensation prediction 複数の参照画像信号に対する対象画素と時間的に同位置の画素との関係を示す図 Diagram showing the relationship between the pixels of the target pixel and temporally same position for a plurality of reference image signal 予測対象画素ブロックからの時間的距離と重みとの関係を示す図 Diagram showing the relationship between the temporal distance and weight from the prediction pixel block 対象画素と隣接画素の空間的位置関係と距離を示す図 Figure target pixel shows the spatial relationship and the distance between adjacent pixels 予測対象画素ブロックからの空間的距離と重みとの関係を示す図 Diagram showing the relationship between the spatial distance and the weight from the prediction pixel block 複数の復号画像信号と動領域分離マスク及び背景画像信号の予測の概要を示す図 It shows an outline of a prediction of a plurality of decoded image signal and the dynamic segmentation mask and the background image signals 動領域分離マスク上の動画素と背景画素の比率によって予測方法が変わることを示す図 It shows that the change is a prediction method by the ratio of the moving element and the background pixels on the dynamic segmentation mask 動領域分離マスク上の動画素と背景画素の比率によって予測の切替を行うことを示す図 Shows that to switch predicted by the ratio of the moving element and the background pixels on the dynamic segmentation mask 背景画像信号生成部の処理の流れを示すフローチャート Flowchart showing the flow of processing of the background image signal generating unit 動領域分離予測部の処理の流れを示すフローチャート Flowchart showing a flow of processing of the dynamic segmentation prediction unit 第1の実施形態の変形例として示されるインター予測部のブロック図 Block diagram of the inter prediction unit shown as a modification of the first embodiment 第1の実施形態の変形例として示されるインター予測部のブロック図 Block diagram of the inter prediction unit shown as a modification of the first embodiment 第2の実施形態に従った動画像符号化装置に設けられる予測部のブロック図 Block diagram of the prediction unit provided in the video encoding apparatus according to the second embodiment 図19の予測部に設けられるインター予測部のブロック図 Block diagram of the inter prediction section provided to the prediction unit of FIG. 19 第3の実施形態に従った動画像符号化装置に設けられる予測部のブロック図 Block diagram of the prediction unit provided in the video encoding apparatus according to the third embodiment 図21の予測部に設けられるインター予測部のブロック図 Block diagram of the inter prediction section provided to the prediction unit of FIG. 21 シンタクス構造を示す図 Diagram illustrating the syntax structure スライスヘッダーに含まれる情報を示す図 Shows the information included in the slice header 第1の実施の形態におけるマクロブロックレイヤーに含まれる情報を示す図 Shows the information included in the macro block layer in the first embodiment 第1の実施の形態の変更例におけるマクロブロックレイヤーに含まれる情報を示す図 Shows the information included in the macro block layer in the modification of the first embodiment 第2の実施の形態におけるスライスヘッダーシンタクスに含まれる情報を示す図 Shows the information included in the slice header syntax in the second embodiment 第3の実施の形態におけるスライスヘッダーシンタクスに含まれる情報を示す図 Shows the information included in the slice header syntax in the third embodiment 第4、5、6の実施形態に従う動画像復号化装置のブロック図 Block diagram of a video decoding apparatus according to an embodiment of the fourth, fifth and sixth 第4の実施形態に従う動画像復号化装置に設けられる予測部を示すブロック図 Block diagram illustrating a prediction unit provided in the video decoding apparatus according to the fourth embodiment 第5の実施形態に従う動画像復号化装置に設けられる予測部を示すブロック図 Block diagram illustrating a prediction unit provided in the video decoding apparatus according to a fifth embodiment 第6の実施形態に従う動画像復号化装置に設けられる予測部を示すブロック図 Block diagram illustrating a prediction unit provided in the video decoding apparatus according to the sixth embodiment

符号の説明 DESCRIPTION OF SYMBOLS

101…減算器、102…変換・量子化部、103…逆変換・逆量子化部、104…加算器、105…参照画像メモリ、106…予測部、107…符号化制御部、108…符号列符号化部、109…出力バッファ、114…復号画像信号、115…動領域分離マスク、116…参照画像信号、117…予測画像信号、201…イントラ予測部、202…インター予測部、203…動きベクトル推定部、204…モード判定スイッチ、205…モード判定部、301…動き補償部、302…動領域分離予測部、303…背景画像生成部、304…予測切替部、305…予測分離スイッチ、306…背景画像信号 101 ... subtractor, 102 ... transform and quantization unit, 103 ... inverse transform and inverse quantization unit, 104 ... adder, 105 ... reference image memory, 106 ... prediction unit, 107 ... encoding controller, 108 ... code sequence encoding unit, 109 ... output buffer, 114 ... decoded image signal, 115 ... motion segmentation mask, 116 ... reference image signal, 117 ... prediction image signal, 201 ... intra-prediction unit, 202 ... inter prediction unit, 203 ... motion vector estimating section, 204 ... mode determination switch, 205 ... mode identifying unit, 301 ... motion compensation unit, 302 ... motion segmentation prediction unit, 303 ... background image generation unit, 304 ... prediction switching unit, 305 ... prediction isolation switch, 306 ... background image signal

Claims (36)

  1. 入力画像信号を複数の画素ブロックに分割し、参照画像信号を用いて各画素ブロックの予測処理を行い,前記入力画像信号と予測画像信号との差分信号を符号化する動画像符号化方法において、 Dividing an input image signal into a plurality of pixel blocks, using the reference image signal performs prediction processing for each pixel block, in the moving picture coding method for coding a difference signal of the input image signal and the prediction image signal,
    各参照画像の信号毎に動領域と背景領域とを示す二値の動領域分離マスクを生成するマスク生成ステップと、 A mask generation step of generating a motion area separation mask binary indicating the moving area and the background area for each signal of each reference image,
    2つ以上の前記参照画像の信号の比較或いは前記参照画像の信号毎の二値の前記動領域分離マスクの値により、1つの背景画像の信号を生成或いは更新する背景画像生成/更新ステップと、 The value of the motion area separation mask of the two values ​​for each signal of the comparison or the reference image of two or more said reference image signal, the background image generation / update step of generating or updating the signal of one of the background image,
    前記動領域分離マスクを用いて、(1)前記動領域に対応する、予測対象画像の第1部分に対して動き補償処理を行い、(2)前記背景領域に対応する、前記予測対象画像の第2部分には前記背景画像の信号を補間した信号を補填する、ことによって予測画像信号を生成する予測画像生成ステップと、 Using the motion segmentation mask, (1) corresponding to the moving area, it performs motion compensation processing on the first part of the prediction target image, (2) corresponding to the background area, the predicted target image the second part compensates a signal obtained by interpolating the signals of the background image, the predicted image generation step of generating a predictive image signal by,
    を有するように構成される動画像符号化方法。 Video encoding method configured to have.
  2. 前記マスク生成ステップは、前記参照画像の画素を前記動領域或いは前記背景領域と決定する基準を、利用可能な2つ以上の参照画像間或いは参照画像内の画素の差分値から導出される値に従って決定する、ことを特徴とする請求項1記載の動画像符号化方法。 Said mask generating step, the criteria for determining the pixels of the reference image the moving area or the background area, according to the value derived from the difference values ​​of pixels of two or more reference images or between the reference image available determining, moving picture coding method according to claim 1, wherein a.
  3. 前記マスク生成ステップ及び前記背景画像生成/更新ステップは、 It said mask generating step and said background image generation / updating step,
    利用可能な2つ以上の参照画像のいずれかと前記予測対象画像間に対して、撮像系の変化に起因する画像間の変化量を補正するためのグローバルベクトルを推定するステップと、推定されたグローバルベクトルに基づいて補間した画像を用いて、前記動領域分離マスクを生成及び前記背景画像の信号を生成或いは更新するステップと、 Estimating relative between the prediction target image and one of the two or more reference images available, the global vector for correcting the change amount between the images due to a change in the imaging system, the estimated global a step of using an image interpolation based on the vector, to generate or update a signal generator and the background image the dynamic segmentation mask,
    前記グローバルベクトルに関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化するステップと、 A step of encoding the information relating to the global vector, each sequence, each image, slice by slice, either a unit for each block,
    を含むことを特徴とする請求項1又は2記載の動画像符号化方法。 Moving picture coding method according to claim 1 or 2 comprising a.
  4. 前記予測画像生成ステップは、前記動領域分離マスクが動領域と決定された画素に対して、整数精度或いは分数精度の補間画像を生成するフィルタの係数を画素位置ごとに変更するステップと、前記変更したフィルタ係数に関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化するステップと、 The predictive image generation step includes a step in which the moving area separating mask is changed relative to the pixels which are determined as moving area, the coefficients of the filter for generating an interpolated image of integer precision or fractional precision for each pixel position, the changing a step of encoding the information about the filter coefficients, each sequence, each image, slice by slice, in units of either each blocks,
    を含むことを特徴とする請求項1乃至3のいずれか1項記載の動画像符号化方法。 Moving picture coding method of any one of claims 1 to 3, characterized in that it comprises a.
  5. 前記マスク生成ステップは、生成された前記動領域分離マスクに関して、空間的、或いは時間的に近接する、前記動領域分離マスクの複数の画素の距離に基づいた重みと、前記画素の差分値から導出される値に基づいて、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等の補正を行うステップを含むことを特徴とする請求項1乃至4のいずれか1項記載の動画像符号化方法。 Said mask generating step, with respect to the generated the motion area separation mask, spatial, or temporal proximity, and weights based on the distance of a plurality of pixels of the moving image region separating mask, derived from the difference value of the pixel based on the values, claims, characterized in that it comprises removal of isolated points, connecting the discontinuity, area scaling to the rectangular block, the edge modification, the pixel compensation, the step of correcting such a pixel matching moving picture coding method according to any one of 1 to 4.
  6. 前記予測画像生成ステップは、 The predictive image generation step,
    前記予測対象画像の前記第1部分のブロックと同位置又は前記整数精度にマッピングしたローカル動きベクトルに基づいて導出された位置のいずれか1つ以上の動領域分割マスクに対して、前記動領域の比率或いは前記背景領域の比率を算出するステップと、 With respect to the prediction target image the first portion of the block in the same position or the any one or more of the motion area division masks derived position based on the local motion vector mapped to integer precision of the moving area the ratio or step of calculating a ratio of the background area,
    前記動領域の比率或いは前記背景領域の比率のいずれかが予め定めた規定値より大きいか、小さいか、に従って予測方法を切り替えるステップと、 A step of switching a prediction method wherein either of the ratio of the ratio or the background region of the moving region is greater than the predetermined specified value, or smaller, according to,
    を含むことを特徴とする請求項4項記載の動画像符号化方法。 Moving picture coding method according to claim 4, wherein wherein the containing.
  7. 前記予測画像生成ステップは、 The predictive image generation step,
    前記動領域分離マスクに基づいて前記動領域と前記背景領域に対してそれぞれ異なる予測方法を適用する第1の予測方法と、前記予測対象画像のブロックに含まれる前記動領域分離マスクの値が全て動領域とみなして、単一の予測方法で予測する第2の予測方法を持ち、前記第1及び第2の予測方法のいずれの予測方法を用いたかを示す情報を符号化するステップを更に含むことを特徴とする請求項1乃至4のいずれか1項記載の動画像符号化方法。 The moving area first prediction method for applying different prediction methods respectively the background area and the moving area based on the isolation mask, the prediction said included in a block of the target image motion area value of isolation mask all regarded as moving region has a second prediction method of predicting a single prediction method further comprises the step of encoding the information indicating whether using any prediction method of the first and second prediction methods moving picture coding method of any one of claims 1 to 4, characterized in that.
  8. 前記予測画像生成ステップは、 The predictive image generation step,
    前記動領域分離マスクで前記背景領域と決定された画素に対して、前記背景画像の信号を前記グローバルベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成するステップと、 And generating the predictive image signal by using to the pixels which are determined as the background region in the moving area separating mask, a pixel value interpolated based on the global vector signal of the background image,
    前記動領域と決定された画素に対して、前記参照画像信号を前記ローカル動きベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成するステップと、 And generating the predictive image signal by using for the pixels determined to the moving area, the pixel value interpolated based on the reference image signal to said local motion vectors,
    を含むことを特徴とする請求項1乃至3のいずれか1項記載の動画像符号化方法。 Moving picture coding method of any one of claims 1 to 3, characterized in that it comprises a.
  9. 前記予測画像生成ステップは、輝度成分と色差成分毎又は、各々の色成分毎に、同じ動領域分離マスク又は異なる動領域分離マスクを利用できる予測方法を用いて前記予測画像信号を生成することを特徴とする請求項1乃至4のいずれか1項記載の動画像符号化方法。 The predictive image generation step, the luminance component and each color difference component or for each respective color components, to generate the prediction image signal using the prediction method can use the same motion segmentation mask or different dynamic segmentation mask moving picture coding method of any one of claims 1 to 4, characterized.
  10. 入力画像信号を構成する各フレームを画素ブロック単位に符号化処理して得られた動画像符号化データを解読し、規定された方法で復号化処理する動画像復号化方法において、 Each frame constituting the input image signal to decode the video encoded data obtained by performing encoding processing on the pixel block, at a defined moving picture decoding method for decoding processing by the method,
    各参照画像の信号毎に動領域と背景領域とを示す二値の動領域分離マスクを生成するマスク生成ステップと 前記2つ以上の参照画像の信号の比較或いは前記参照画像の信号毎の二値の前記動領域分離マスクの値により、1つの背景画像信号を生成或いは更新する背景画像生成/更新ステップと、 Comparison or two values ​​for each signal of the reference image signal of a mask generation step and the two or more reference images to generate a motion area separation mask binary indicating the moving area and the background area for each signal of each reference image the value of the motion area separation mask, the background image generation / update step of generating or updating one of the background image signals,
    前記動領域分離マスクを用いて、(1)前記動領域に対応する、予測対象画像の第1部分に動き補償処理を行い、(2)前記背景領域に対応する、前記予測対象画像の第2部分には前記背景画像の信号を補間した信号を補填することによって予測画像信号を生成する予測画像信号生成ステップと、 Using the motion segmentation mask, (1) the corresponding moving area, performs motion compensation processing in the first part of the prediction target image, (2) corresponding to the background area, a second of the prediction target image the predicted image signal generating step of generating a predictive image signal by compensating a signal obtained by interpolating the signals of the background image in the portion,
    を有することを特徴とする動画像復号化方法。 Moving picture decoding method characterized by having a.
  11. 前記マスク生成ステップは、前記動領域或いは前記背景領域と判定する基準を、利用可能な2つ以上の参照画像間或いは参照画像内の画素の差分値から導出される値に従って決定する、ことを特徴とする請求項10記載の動画像復号化方法。 Said mask generating step, wherein said dynamic region or criteria for determining said background region is determined according to a value derived from the difference values ​​of pixels of two or more reference images or between the reference image available, it moving picture decoding method of claim 10 wherein.
  12. (動画像復号化:動領域分離マスクのカメラ補正:中位概念) (Moving picture decoding: Dynamic segmentation mask of the camera correction: Medium Concept)
    前記マスク生成ステップ及び前記背景画像生成/更新ステップは、 It said mask generating step and said background image generation / updating step,
    利用可能な2つ以上の参照画像の信号のいずれかと前記予測対象画像間に対して、撮像系の変化に起因する画像間の変化量を補正するためのグローバルベクトルの推定を行い、推定されたグローバルベクトルに基づいて補間した画像を用いて、前記動領域分離マスクを生成及び前記背景画像信号を生成或いは更新するステップと、 Respect between the prediction target image and one of the available two or more reference image signal, performs estimation of the global vector for correcting the change amount between the images due to a change in the imaging system, it was estimated a step of using an image interpolation based on the global vector, to generate or update the product and the background image signal to the dynamic segmentation mask,
    前記グローバルベクトルに関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化するステップと、 A step of encoding the information relating to the global vector, each sequence, each image, slice by slice, either a unit for each block,
    を含むことを特徴とする請求項10又は11記載の動画像復号化方法。 Moving picture decoding method according to claim 10 or 11, wherein the containing.
  13. 前記予測画像生成ステップは、 The predictive image generation step,
    前記動領域分割マスクが動領域と判定された画素に対して、整数精度或いは分数精度の補間画像を生成するフィルタの係数を画素位置ごとに変更するステップと、 A step in which the moving area split masks to change to pixels determined as motion area, the coefficients of the filter for generating an interpolated image of integer precision or fractional precision for each pixel position,
    前記変更したフィルタ係数に関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化するステップと、 A step of encoding the information relating to the modified filter coefficients, each sequence, each image, slice by slice, either a unit for each block,
    を含むことを特徴とする前記請求項10乃至12のいずれか1項記載の動画像復号化方法。 Moving picture decoding method according to any one of the claims 10 to 12, characterized in that it comprises a.
  14. 前記マスク生成ステップは、生成された前記動領域分離マスクに関して、空間的、或いは時間的に近接する、前記動領域分離マスクの複数の画素の距離に基づいた重みと、前記画素の差分値から導出される値に基づいて、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等の補正を行うステップを含む、ことを特徴とする前記請求項10乃至13のいずれか1項記載の動画像復号化方法。 Said mask generating step, with respect to the generated the motion area separation mask, spatial, or temporal proximity, and weights based on the distance of a plurality of pixels of the moving image region separating mask, derived from the difference value of the pixel based on the values, the removal of isolated points, connecting the discontinuity, area scaling to the rectangular block, said edge modification, the pixel compensation comprises the step of performing correction such as pixel matching, it is characterized by moving picture decoding method of any one of claims 10 to 13.
  15. 前記予測画像生成ステップは、前記予測対象画像の前記一部のブロックと同位置又は前記整数精度にマッピングしたローカル動きベクトルに基づいて導出された位置のいずれか1つ以上の動領域分割マスクに対して、前記動領域の比率或いは前記背景領域の比率を算出するステップと、前記動領域の比率或いは前記背景領域の比率のいずれかが予め定めた規定値より大きいか、小さいか、に従って予測方法を切り替えるステップと、 The predictive image generation step, to the prediction target image wherein any one or more of the motion area masks positions derived based on the mapping to a part of the block in the same position or the integer precision local motion vectors of Te, calculating the ratio or proportion of the background area of ​​the moving area, or any proportion of the ratio or the background region of the moving area is greater than the predetermined specified value, or smaller, a prediction method in accordance with and the step of switching,
    を含むことを特徴とする前記請求項10乃至13のいずれか1項記載の動画像復号化方法。 Moving picture decoding method according to any one of the claims 10 to 13, characterized in that it comprises a.
  16. 前記予測画像生成ステップは、 The predictive image generation step,
    前記動領域分離マスクに基づいて前記動領域と前記背景領域に対してそれぞれ異なる予測方法を適用する第1の予測方法と、前記予測対象画像の前記第1部分のブロックに含まれる前記動領域分離マスクの値が全て動領域とみなして、単一の予測方法で予測する第2の予測方法を持ち、前記第1の予測方法と前記第2の予測方法のいずれの予測方法を用いたかを示す情報を復号化するステップを含む、ことを特徴とする前記請求項10乃至13のいずれか1項記載の動画像復号化方法。 The moving area separation first prediction method for applying different prediction methods respectively, included in the block of the first portion of the prediction target image relative to the moving area separating mask the background area and the moving area based on the value of the mask are all regarded as moving region has a second prediction method of predicting a single prediction method, indicate using any prediction method of the first predictive method and the second prediction methods comprising the step of decrypting the information, moving picture decoding method according to any one of the claims 10 to 13, characterized in that.
  17. 前記予測画像生成ステップは、 The predictive image generation step,
    前記動領域分離マスクで前記背景領域と判定された画素に対して、前記背景画像信号を前記グローバルベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成するステップと、 And generating the predictive image signal by using to the moving area pixel determined as the background region in isolation mask, a pixel value interpolated based on the global vector of the background image signals,
    前記動領域と判定された画素に対して、前記参照画像信号を前記ローカル動きベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成するステップと、 And generating the predictive image signal by using relative determination pixel and the moving region, the pixel value interpolated based on the reference image signal to said local motion vectors,
    を含むことを特徴とする前記請求項10乃至12のいずれか1項記載の動画像復号化方法。 Moving picture decoding method according to any one of the claims 10 to 12, characterized in that it comprises a.
  18. 前記予測画像生成ステップは、輝度成分と色差成分毎又は、各々の色成分毎に、同じ動領域分離マスク又は異なる動領域分離マスクを利用できる予測方法を用いて前記予測画像信号を生成することを特徴とする前記請求項10乃至13のいずれか1項記載の動画像復号化方法。 The predictive image generation step, the luminance component and each color difference component or for each respective color components, to generate the prediction image signal using the prediction method can use the same motion segmentation mask or different dynamic segmentation mask moving picture decoding method according to any one of the claims 10 to 13, characterized.
  19. 入力画像信号を複数の画素ブロックに分割し、参照画像信号を用いて各画素ブロックの予測処理を行い,前記入力画像信号と予測画像信号との差分信号を符号化する動画像符号化装置において、 Dividing an input image signal into a plurality of pixel blocks, using the reference image signal performs prediction processing for each pixel block, in the moving picture coding apparatus for coding a difference signal of the input image signal and the prediction image signal,
    各参照画像の信号毎に動領域と背景領域とを示す二値の動領域分離マスクを生成するマスク生成手段と、 A mask generating means for generating a motion area separation mask binary indicating the moving area and the background area for each signal of each reference image,
    2つ以上の前記参照画像の信号の比較或いは前記参照画像の信号毎の二値の前記動領域分離マスクの値によって、1つの背景画像の信号を生成或いは更新する背景画像生成/更新手段と、 By two or more values ​​of the motion area separation mask comparison or two values ​​for each signal of the reference image signal of the reference image, the background image generation / updating means for generating or updating the signal of one of the background image,
    前記動領域分離マスクを用いて、(1)前記動領域に対応する、予測対象画像の第1部分に対して動き補償処理を行い、(2)前記背景領域に対応する、前記予測対象画像の第2部分には背景画像信号を補間した信号を補填することによって予測画像信号を生成する予測画像生成手段と、 Using the motion segmentation mask, (1) corresponding to the moving area, it performs motion compensation processing on the first part of the prediction target image, (2) corresponding to the background area, the predicted target image a predictive image generation means for generating a predictive image signal by compensating a signal obtained by interpolating the background image signal to the second portion,
    を有するように構成される動画像符号化装置。 Moving picture coding apparatus configured to have.
  20. 前記マスク生成手段は、前記参照画像の画素を前記動領域或いは前記背景領域と決定する基準を、利用可能な2つ以上の参照画像間或いは参照画像内の画素の差分値から導出される値に従って決定する手段を含むことを特徴とする請求項19記載の動画像符号化装置。 Said mask generating means, a reference to determine the pixels of the reference image the moving area or the background area, according to the value derived from the difference values ​​of pixels of two or more reference images or between the reference image available video encoding apparatus according to claim 19, characterized in that it comprises a determining means.
  21. 利用可能な2つ以上の参照画像のいずれかと前記予測対象画像間に対して、撮像系の変化に起因する画像間の変化量を補正するためのグローバルベクトルを推定する推定手段と、前記グローバルベクトルに関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化する符号化手段と、を更に含み、 Respect between the prediction target image and one of the two or more reference images available, and estimation means for estimating a global vector for correcting the change amount between the images due to a change in the imaging system, the global vector information, each sequence, each image, further comprises for each slice, and encoding means for encoding either the units for each block, the related,
    前記マスク生成手段及び前記背景画像生成/更新手段は、推定された前記グローバルベクトルに基づいて補間した画像を用いて、前記動領域分離マスクを生成するマスク生成手段及び前記背景画像の信号を生成或いは更新する背景画像生成/更新手段によって構成される、 Said mask generating means and the background image generation / updating means uses an image interpolation on the basis of the global vector estimated, it generates a signal of the mask generation means for generating a dynamic segmentation mask and the background image or constituted by updating the background image generating / updating unit,
    ことを特徴とする請求項19又は20記載の動画像符号化装置。 Moving picture encoding apparatus according to claim 19 or 20, wherein the.
  22. 前記予測画像手段は、前記動領域分離マスクが動領域と決定された画素に対して、整数精度或いは分数精度の補間画像を生成するフィルタの係数を画素位置ごとに変更する変更手段と、前記変更したフィルタ係数に関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化する符号化手段と、 The prediction image means, with respect to pixels where the moving area isolation mask is determined to motion region, and changing means for changing the coefficients of the filter for generating an interpolated image of integer precision or fractional precision for each pixel position, the changing encoding means for encoding the information about the filter coefficients, each sequence, each image, slice by slice, either a unit for each block that,
    を含むことを特徴とする請求項19乃至21のいずれか1項記載の動画像符号化装置。 Moving picture coding apparatus according to any one of claims 19 to 21, characterized in that it comprises a.
  23. 前記マスク生成手段は、生成された前記動領域分離マスクに関して、空間的、或いは時間的に近接する、前記動領域分離マスクの複数の画素の距離に基づいた重みと、前記画素の差分値から導出される値に基づいて、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等の補正を行う補正手段を含むことを特徴とする請求項19乃至22のいずれか1項記載の動画像符号化装置。 Said mask generating means, with respect to the generated the motion area separation mask, spatial, or temporal proximity, and weights based on the distance of a plurality of pixels of the moving image region separating mask, derived from the difference value of the pixel based on the values, the removal of isolated points, connecting the discontinuity, area scaling to the rectangular block, the edge modification, the pixel compensation, claims characterized in that it comprises a correcting means for correcting such a pixel matching moving picture coding apparatus according to any one of claim 19 to 22.
  24. 前記予測画像手段は、 The predicted image section,
    前記予測対象画像の前記第1部分のブロックと同位置又は前記整数精度にマッピングしたローカル動きベクトルに基づいて導出された位置のいずれか1つ以上の動領域分割マスクに対して、前記動領域の比率或いは前記背景領域の比率を算出する算出手段と、 With respect to the prediction target image the first portion of the block in the same position or the any one or more of the motion area division masks derived position based on the local motion vector mapped to integer precision of the moving area the ratio or calculating means for calculating the ratio of the background area,
    前記動領域の比率或いは前記背景領域の比率のいずれかが予め定めた規定値より大きいか、小さいか、に従って予測方法を切り替える切替手段と、 Switching means for the either of the ratio of the ratio or the background region of the moving region is greater than the predetermined specified value, or smaller, switch the prediction method according to,
    を含むことを特徴とする請求項22項記載の動画像符号化装置。 Moving picture encoding apparatus according to claim 22 wherein, wherein the containing.
  25. 前記予測画像生成手段は、 The predicted image generating means,
    前記動領域分離マスクに基づいて前記動領域と前記背景領域に対してそれぞれ異なる予測方法を適用する第1の予測方法と、前記予測対象画像のブロックに含まれる前記動領域分離マスクの値が全て動領域とみなして、単一の予測方法で予測する第2の予測方法を持ち、前記第1及び第2の予測方法のいずれの予測方法を用いたかを示す情報を符号化する符号化手段を更に含むことを特徴とする請求項19乃至22のいずれか1項記載の動画像符号化装置。 The moving area first prediction method for applying different prediction methods respectively the background area and the moving area based on the isolation mask, the prediction said included in a block of the target image motion area value of isolation mask all regarded as moving region has a second prediction method of predicting a single prediction method, an encoding means for encoding information indicating whether using any prediction method of the first and second prediction methods further moving picture coding apparatus according to any one of claims 19 to 22, characterized in that it comprises.
  26. 前記予測画像生成手段は、 The predicted image generating means,
    前記動領域分離マスクで前記背景領域と決定された画素に対して、前記背景画像の信号を前記グローバルベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成する生成手段と、 A generating means for generating the predictive image signal by using to the pixels which are determined as the background region in the moving area separating mask, a pixel value interpolated based on the global vector signal of the background image,
    前記動領域と決定された画素に対して、前記参照画像の信号を前記ローカル動きベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成する生成手段と、 A generating means for generating the predictive image signal by using the relative pixel determined to motion region, a pixel value interpolated based signal of the reference image on the local motion vectors,
    を含むことを特徴とする請求項19乃至22のいずれか1項記載の動画像符号化装置。 Moving picture coding apparatus according to any one of claims 19 to 22, characterized in that it comprises a.
  27. 前記予測画像生成手段は、輝度成分と色差成分毎又は、各々の色成分毎に、同じ動領域分離マスク又は異なる動領域分離マスクを利用できる予測方法を用いて前記予測画像信号を生成することを特徴とする請求項19乃至22のいずれか1項記載の動画像符号化装置。 The predicted image generating means, a luminance component and each color difference component or for each respective color components, to generate the prediction image signal using the prediction method can use the same motion segmentation mask or different dynamic segmentation mask moving picture coding apparatus according to any one of claims 19 to 22, characterized.
  28. 入力画像信号を構成する各フレームを画素ブロック単位に符号化処理して得られた動画像符号化データを解読し、規定された方法で復号化処理する動画像復号化装置において、 Decodes the moving picture encoded data of each frame obtained by performing encoding processing on the pixel block constituting the input image signal, the moving picture decoding apparatus for decoding processing in a defined manner,
    各参照画像の信号毎に動領域と背景領域とを示す二値の動領域分離マスクを生成するマスク生成手段と 前記2つ以上の参照画像の信号の比較或いは前記参照画像の信号毎の二値の前記動領域分離マスクの値により、1つの背景画像信号を生成或いは更新する背景画像生成/更新手段と、 Comparison or two values ​​for each signal of the reference image signal of the mask generating means and said two or more reference images to generate a motion area separation mask binary indicating the moving area and the background area for each signal of each reference image the value of the motion area separation mask, the background image generation / updating means for generating or updating one of the background image signals,
    前記動領域分離マスクを用いて、(1)前記動領域に対応する、予測対象画像の第1部分に動き補償処理を行い、(2)前記背景領域に対応する、前記予測対象画像の第2部分には前記背景画像の信号を補間した信号を補填することによって予測画像信号を生成する予測画像信号生成手段と、 Using the motion segmentation mask, (1) the corresponding moving area, performs motion compensation processing in the first part of the prediction target image, (2) corresponding to the background area, a second of the prediction target image the predicted image signal generating means for generating a predictive image signal by compensating a signal obtained by interpolating the signals of the background image in the portion,
    を有することを特徴とする動画像復号化装置。 Video decoding apparatus characterized by having a.
  29. 前記マスク生成手段は、前記動領域或いは前記背景領域と判定する基準を、利用可能な2つ以上の参照画像間或いは参照画像内の画素の差分値から導出される値に従って決定する手段を含むことを特徴とする請求項28記載の動画像復号化装置。 It said mask generating means comprises a means for determining in accordance with the value of the criteria for determining the motion region or the background region, which is derived from the difference value of pixels between two or more reference images or the reference image available moving picture decoding apparatus according to claim 28, wherein.
  30. 利用可能な2つ以上の参照画像の信号のいずれかと前記予測対象画像間に対して、撮像系の変化に起因する画像間の変化量を補正するためのグローバルベクトルの推定を行う推定手段と、前記グローバルベクトルに関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化する符号化手段と、を含み、 Respect between any said prediction object image available two or more reference image signal, and estimation means for estimating a global vector for correcting the change amount between the images due to a change in the imaging system, It said include information about global vector, each sequence, each image, slice by slice, and encoding means for encoding either the units for each block, and
    前記マスク生成手段及び前記背景画像生成/更新手段は、推定された前記グローバルベクトルに基づいて補間した画像を用いて、前記動領域分離マスクを生成するマスク生成手段及び前記背景画像信号を生成或いは更新する背景画像生成/更新手段とで構成される、 It said mask generating means and the background image generation / updating means uses an image interpolation on the basis of the global vector estimated, generated or updated the mask generating means and the background image signal to generate the motion segmentation mask composed of the background image generation / updating means for,
    ことを特徴とする請求項28又は29記載の動画像復号化装置。 Moving picture decoding apparatus according to claim 28 or 29, wherein the.
  31. 前記予測画像生成手段は、 The predicted image generating means,
    前記動領域分割マスクが動領域と判定された画素に対して、整数精度或いは分数精度の補間画像を生成するフィルタの係数を画素位置ごとに変更する変更手段と、 For a pixel in which the moving area split masks is determined to motion region, and changing means for changing the coefficients of the filter for generating an interpolated image of integer precision or fractional precision for each pixel position,
    前記変更したフィルタ係数に関する情報を、シーケンス毎、画像毎、スライス毎、ブロック毎のいずれかの単位で符号化する符号化手段と、 Information relating to the modified filter coefficients, each sequence, each image, slice by slice, and encoding means for encoding either the units for each block,
    を含むことを特徴とする前記請求項28乃至30のいずれか1項記載の動画像復号化装置。 Moving picture decoding apparatus according to any one of the claims 28 to 30, characterized in that it comprises a.
  32. 前記マスク生成手段は、生成された前記動領域分離マスクに関して、空間的、或いは時間的に近接する、前記動領域分離マスクの複数の画素の距離に基づいた重みと、前記画素の差分値から導出される値に基づいて、孤立点の除去、不連続点の連結、矩形ブロックへの領域拡大・縮小、エッジ修正、画素補填、画素マッチング等の補正を行う補正手段を含む、ことを特徴とする請求項28乃至31のいずれか1項記載の動画像復号化装置。 Said mask generating means, with respect to the generated the motion area separation mask, spatial, or temporal proximity, and weights based on the distance of a plurality of pixels of the moving image region separating mask, derived from the difference value of the pixel based on the values, the removal of isolated points, connecting the discontinuity, area scaling to the rectangular block, the edge modification, the pixel compensation, including correction means for correcting such a pixel matching, characterized in that moving picture decoding apparatus of any one of claims 28 to 31.
  33. 前記予測画像生成手段は、前記予測対象画像の前記一部のブロックと同位置又は前記整数精度にマッピングしたローカル動きベクトルに基づいて導出された位置のいずれか1つ以上の動領域分割マスクに対して、前記動領域の比率或いは前記背景領域の比率を算出する算出手段と、前記動領域の比率或いは前記背景領域の比率のいずれかが予め定めた規定値より大きいか、小さいか、に従って予測方法を切り替える切替手段と、 The predicted image generating means, to the prediction target image wherein any one or more of the motion area masks positions derived based on the mapping to a part of the block in the same position or the integer precision local motion vectors of Te, prediction methods and calculating means, either the ratio of the ratio or the background region of the moving area is greater than the predetermined specified value, or smaller, according to calculate the ratio or proportion of the background area of ​​the moving area and switching means for switching,
    を含むことを特徴とする前記請求項28乃至31のいずれか1項記載の動画像復号化装置。 Moving picture decoding apparatus according to any one of the claims 28 to 31, characterized in that it comprises a.
  34. 前記予測画像生成手段は、 The predicted image generating means,
    前記動領域分離マスクに基づいて前記動領域と前記背景領域に対してそれぞれ異なる予測方法を適用する第1の予測方法と、前記予測対象画像の前記第1部分のブロックに含まれる前記動領域分離マスクの値が全て動領域とみなして、単一の予測方法で予測する第2の予測方法を持ち、前記第1の予測方法と前記第2の予測方法のいずれの予測方法を用いたかを示す情報を復号化する復号手段を含む、ことを特徴とする前記請求項28乃至31のいずれか1項記載の動画像復号化装置。 The moving area separation first prediction method for applying different prediction methods respectively, included in the block of the first portion of the prediction target image relative to the moving area separating mask the background area and the moving area based on the value of the mask are all regarded as moving region has a second prediction method of predicting a single prediction method, indicate using any prediction method of the first predictive method and the second prediction methods including decoding means for decoding information, that the moving picture decoding apparatus according to any one of the claims 28 to 31, characterized in.
  35. 前記予測画像生成手段は、 The predicted image generating means,
    前記動領域分離マスクで前記背景領域と判定された画素に対して、前記背景画像信号を前記グローバルベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成する生成手段と、 The relative pixels determined to be the background area in the moving area separating mask, and generating means for generating the prediction image signal the background image signal by using a pixel value interpolated based on the global vector,
    前記動領域と判定された画素に対して、前記参照画像信号を前記ローカル動きベクトルに基づいて補間した画素値を用いることによって前記予測画像信号を生成する生成手段と、 A generating means for generating the predictive image signal by using relative determination pixel and the moving region, the pixel value interpolated based on the reference image signal to said local motion vectors,
    を含むことを特徴とする前記請求項28乃至30のいずれか1項記載の動画像復号化装置。 Moving picture decoding apparatus according to any one of the claims 28 to 30, characterized in that it comprises a.
  36. 前記予測画像生成手段、輝度成分と色差成分毎又は、各々の色成分毎に、同じ動領域分離マスク又は異なる動領域分離マスクを利用できる予測方法を用いて前記予測画像信号を生成することを特徴とする前記請求項28乃至30のいずれか1項記載の動画像復号化装置。 The predictive image generation means, the luminance component and each color difference component or, characterized in that each respective color components, and generates the prediction image signal using the prediction method can use the same motion segmentation mask or different dynamic segmentation mask moving picture decoding apparatus according to any one of the claims 28 to 30 and.
JP2008167884A 2008-06-26 Pending JP2010011075A5 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008167884A JP2010011075A5 (en) 2008-06-26

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008167884A JP2010011075A5 (en) 2008-06-26

Publications (2)

Publication Number Publication Date
JP2010011075A true true JP2010011075A (en) 2010-01-14
JP2010011075A5 true JP2010011075A5 (en) 2011-07-14

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142279A1 (en) * 2010-05-13 2011-11-17 シャープ株式会社 Encoding device, decoding device, and data structure
WO2011152518A1 (en) * 2010-06-04 2011-12-08 ソニー株式会社 Image processing device and method
JP2012186573A (en) * 2011-03-04 2012-09-27 Kddi Corp Moving image encoder, moving image encoding method, and program
CN103299644A (en) * 2011-01-03 2013-09-11 苹果公司 Video coding system using implied reference frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507541A (en) * 1996-12-30 2001-06-05 シャープ株式会社 Sprite-based by the video encoding system
WO2007002437A2 (en) * 2005-06-24 2007-01-04 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507541A (en) * 1996-12-30 2001-06-05 シャープ株式会社 Sprite-based by the video encoding system
WO2007002437A2 (en) * 2005-06-24 2007-01-04 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142279A1 (en) * 2010-05-13 2011-11-17 シャープ株式会社 Encoding device, decoding device, and data structure
JP5670444B2 (en) * 2010-05-13 2015-02-18 シャープ株式会社 Encoding device and decoding device
CN102918837B (en) * 2010-06-04 2015-09-30 索尼公司 The image processing apparatus and method
WO2011152518A1 (en) * 2010-06-04 2011-12-08 ソニー株式会社 Image processing device and method
CN103369323B (en) * 2010-06-04 2016-12-28 索尼公司 The image processing apparatus and method
CN103369323A (en) * 2010-06-04 2013-10-23 索尼公司 Image processing device and method
CN103369322A (en) * 2010-06-04 2013-10-23 索尼公司 Image processing device and method
US9369704B2 (en) 2010-06-04 2016-06-14 Sony Corporation Image processing apparatus and method
US8731310B2 (en) 2010-06-04 2014-05-20 Sony Corporation Image processing apparatus and method
CN102918837A (en) * 2010-06-04 2013-02-06 索尼公司 Image processing device and method
US9380299B2 (en) 2010-06-04 2016-06-28 Sony Corporation Image processing apparatus and method
US8849052B2 (en) 2010-06-04 2014-09-30 Sony Corporation Image processing apparatus and method
US9924177B2 (en) 2010-06-04 2018-03-20 Sony Corporation Image processing apparatus and method
KR101607735B1 (en) * 2011-01-03 2016-03-30 애플 인크. Video coding system using implied reference frames
JP2014504823A (en) * 2011-01-03 2014-02-24 アップル インコーポレイテッド Video encoding system using implicit reference frame
CN103299644A (en) * 2011-01-03 2013-09-11 苹果公司 Video coding system using implied reference frames
CN102655591B (en) * 2011-03-04 2016-12-14 Kddi株式会社 Moving picture coding apparatus, moving picture decoding apparatus and a moving picture coding method
JP2012186573A (en) * 2011-03-04 2012-09-27 Kddi Corp Moving image encoder, moving image encoding method, and program

Similar Documents

Publication Publication Date Title
US20100118945A1 (en) Method and apparatus for video encoding and decoding
US20100135389A1 (en) Method and apparatus for image encoding and image decoding
US20060222074A1 (en) Method and system for motion estimation in a video encoder
WO2009090884A1 (en) Image encoding method and image decoding method
WO2012096150A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, and dynamic image decoding method
JP2010010950A (en) Image coding/decoding method and apparatus
JP2006262004A (en) Dynamic image encoding/decoding method and device
WO2011125256A1 (en) Image encoding method and image decoding method
KR20050018948A (en) Method and system for selecting interpolation filter type in video coding
CN1666429A (en) Method and system for selecting interpolation filter type in video coding
US20110176614A1 (en) Image processing device and method, and program
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
WO2010021108A1 (en) Interpolation filtering method, image encoding method, image decoding method, interpolation filtering device, program, and integrated circuit
WO2008148272A1 (en) Method and apparatus for sub-pixel motion-compensated video coding
JP2012504910A (en) Video coding using a large macro-block
JP2010135864A (en) Image encoding method, device, image decoding method, and device
WO2010123056A1 (en) Image processing apparatus and method
JPH1188888A (en) Method for predictively encoding moving vector, method for decoding moving vector, predictively encoding device, decoding device, and recording medium recording predictively encoding program and decoding program for moving vector
WO2010143583A1 (en) Image processing device and method
JP2011082725A (en) Method and device for encoding video, method and device for decoding video, video encoding/decoding method, and program
WO2011039931A1 (en) Image encoding device, image decoding device, image encoding method and image decoding method
JP2010011075A (en) Method and apparatus for encoding and decoding moving image
WO2012148139A2 (en) Method for managing a reference picture list, and apparatus using same
KR20080069110A (en) Method and apparatus for video encoding and decoding using adaptive interpolation filter
WO2009126937A1 (en) Offsets at sub-pixel resolution

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626