JP2007166555A - Encoding device and method - Google Patents

Encoding device and method Download PDF

Info

Publication number
JP2007166555A
JP2007166555A JP2005364048A JP2005364048A JP2007166555A JP 2007166555 A JP2007166555 A JP 2007166555A JP 2005364048 A JP2005364048 A JP 2005364048A JP 2005364048 A JP2005364048 A JP 2005364048A JP 2007166555 A JP2007166555 A JP 2007166555A
Authority
JP
Japan
Prior art keywords
encoding
image
resolution
reference frame
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005364048A
Other languages
Japanese (ja)
Inventor
Fumitaka Nakayama
文貴 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005364048A priority Critical patent/JP2007166555A/en
Publication of JP2007166555A publication Critical patent/JP2007166555A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain the high quality of image by performing an encoding with referring to as many frames when interframe coding is performed by effectively using a memory in the case that an SD image is recorded in an encoding device which records an HD picture. <P>SOLUTION: This encoding device is provided with a reference frame buffer (102) which memorizes a reference frame image, and encoding means (104-113) which encodes an input frame image by using the the reference frame image in the reference frame buffer. In the reference frame buffer, according to resolution of the input frame image, the number of frames which can memorize the reference frame image is changed. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、符号化装置及び方法に関する。   The present invention relates to an encoding apparatus and method.

近年、デジタルビデオカメラやデジタルテレビではハイビジョン化の流れが進行しハイデフィニション画像(HD画像)をH264等の高能率符号化方式で記録するハイビジョン用符号化装置に対する需要が大きくなっている。またハイビジョン用符号化装置は、HD画像のみを記録するだけでなく、スタンダードデフィニション画像(SD画像)も記録可能であることが仕様として要求されている。   In recent years, with the progress of high-definition video in digital video cameras and digital televisions, the demand for high-definition encoding devices that record high-definition images (HD images) using a high-efficiency encoding method such as H264 is increasing. In addition, it is required as a specification that the high-definition encoding apparatus not only records HD images but also can record standard definition images (SD images).

下記の特許文献1には、SD画像とHD画像の両方が記録可能なビデオカメラが記載されている。   Patent Document 1 below describes a video camera capable of recording both SD images and HD images.

特開平11−196336号公報JP-A-11-196336

しかしながら、前述のような符号化装置はHD画像を符号化可能なスペックを持っているため、HD画像の符号化を行う際は、その装置が持つメモリなどを十分に使用して符号化を行うことになる。しかし、SD画像の符号化を行う際は、HD画像の符号化と同じ方法ではメモリを十分に有効利用することができない。   However, since the encoding apparatus as described above has specifications capable of encoding HD images, when encoding HD images, use the memory etc. of the apparatus sufficiently. It will be. However, when encoding an SD image, the memory cannot be used sufficiently effectively by the same method as encoding an HD image.

本発明の目的は、H264等の高能率符号化方式でHD画像を記録する符号化装置においてSD画像を記録する際に、メモリを有効利用してフレーム間符号化を行う際により多くのフレームを参照ながら符号化することで高画質化を実現することである。   An object of the present invention is to record more frames when inter-frame coding is performed effectively using a memory when recording an SD image in an encoding device that records an HD image using a high-efficiency encoding method such as H264. It is to realize high image quality by encoding with reference.

本発明の符号化装置は、参照フレーム画像を記憶する参照フレームバッファと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化方法は、参照フレーム画像を参照フレームバッファに記憶する記憶ステップと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
The encoding apparatus of the present invention includes a reference frame buffer that stores a reference frame image, and an encoding unit that encodes an input frame image using the reference frame image in the reference frame buffer, and the reference frame buffer Is characterized in that the number of frames in which the reference frame image can be stored changes according to the resolution of the input frame image.
The encoding apparatus according to the present invention further includes encoding means for encoding the input image by changing the encoding order of the input frame image in accordance with the resolution of the input image.
In addition, the encoding apparatus of the present invention includes encoding means for encoding an input image by changing a picture type composition ratio according to the resolution of the input image.
The encoding method of the present invention includes a storing step of storing a reference frame image in a reference frame buffer, and an encoding step of encoding an input frame image using the reference frame image in the reference frame buffer. In the reference frame buffer, the number of frames in which the reference frame image can be stored is changed according to the resolution of the input frame image.
In addition, the encoding method of the present invention includes an encoding step of encoding the input image by changing the encoding order of the input frame image according to the resolution of the input image.
In addition, the encoding method of the present invention includes an encoding step of encoding the input image by changing the picture type composition ratio according to the resolution of the input image.

参照フレームバッファを有効活用することができ、高画質化を実現することができる。   The reference frame buffer can be used effectively, and high image quality can be realized.

(第1の実施形態)
本発明の第1の実施の形態による符号化装置を図1、図2、図3に基づき説明する。第1の実施形態では入力信号の解像度に応じて参照フレームバッファ102の管理方法を変更する形態である。GOP(Group of Pictures)内のピクチャ並び順はHD解像度とSD解像度で同じであるが、符号化を行う際に使用する参照ピクチャの管理方法を解像度に応じて変更する形態である。
(First embodiment)
An encoding apparatus according to the first embodiment of the present invention will be described with reference to FIGS. 1, 2, and 3. FIG. In the first embodiment, the management method of the reference frame buffer 102 is changed according to the resolution of the input signal. Although the picture arrangement order in the GOP (Group of Pictures) is the same for the HD resolution and the SD resolution, the management method of the reference picture used for encoding is changed according to the resolution.

図1は第1の実施形態による符号化装置の全体システム構成図であり、図2はHD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。図3はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。   FIG. 1 is an overall system configuration diagram of an encoding apparatus according to the first embodiment, and FIG. 2 is a diagram illustrating a relationship between an input picture and an encoded picture when an HD image is encoded by the present encoding apparatus. FIG. 3 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.

H.264/AVC符号化方式では、マクロブロックごとに、予測モードとして、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号(参照フレーム画像信号)を参照して動きベクトルを検出する。これにより、動き補償フレーム間予測を行う複数の「インタ(INTER)予測モード」と、同一空間上の符号化済みである近傍のマクロブロックの画素値を用いた空間予測を行う複数の「イントラ(INTRA)予測モード」とが用意されている。なお、「INTER予測モード」においては、マクロブロックをさらに任意の領域(例えば、8画素×16ライン)に分割したブロック(対象領域)毎に動き検出、動き予測、及び動き補償の各処理(詳細は後述する。)が行われる。動画像符号化装置は、入力映像信号の局所的な性質に応じてマクロブロック単位で予測モードを切り替え、効率的な情報圧縮を行うことができるように構成されている。   H. In the H.264 / AVC encoding method, a motion vector is detected for each macroblock with reference to a plurality of encoded frame image signals (reference frame image signals) that are temporally different from the frame image signal as a prediction mode. Accordingly, a plurality of “inter prediction modes” for performing motion compensation inter-frame prediction and a plurality of “intra (inter)” predictions using spatially encoded pixel values of neighboring macroblocks on the same space. INTRA) prediction mode "is prepared. In the “INTER prediction mode”, motion detection, motion prediction, and motion compensation processes (details) are performed for each block (target region) obtained by further dividing the macroblock into arbitrary regions (for example, 8 pixels × 16 lines). Will be described later). The moving picture coding apparatus is configured to perform efficient information compression by switching the prediction mode in units of macroblocks according to the local nature of the input video signal.

本符号化装置は、機能的な構成要素として、図1に示すように、入力部と、フレームバッファ101、参照フレームバッファ102、動き予測部104と、動き補償部105、イントラ予測部106を備える。さらに、本符号化装置は、直交変換部107、量子化部108、エントロピー符号化部109、逆量子化部110、逆直交変換部111と、スイッチ113を備える。以下、各構成要素について説明する。   As shown in FIG. 1, the encoding apparatus includes an input unit, a frame buffer 101, a reference frame buffer 102, a motion prediction unit 104, a motion compensation unit 105, and an intra prediction unit 106 as functional components. . Furthermore, the encoding apparatus includes an orthogonal transform unit 107, a quantization unit 108, an entropy encoding unit 109, an inverse quantization unit 110, an inverse orthogonal transform unit 111, and a switch 113. Hereinafter, each component will be described.

入力部は、外部から入力される動画像信号を符号化のための並べ替えを行う部分であり、並べ替えを行った後のフレームデータはフレームバッファ101に保存される。   The input unit is a part that rearranges moving image signals input from the outside for encoding, and the frame data after the rearrangement is stored in the frame buffer 101.

動き予測部104は、予測モードの選択と動きベクトルの検出を行う部分であり、「INTER予測モード」を選択した場合、参照フレーム信号を用いて、動きベクトルを検出する。より具体的には、動き予測部104は、参照フレーム信号を用いて、あらかじめ参照フレームバッファ102に蓄積されている複数の符号化済みフレーム画像の中から所定の探索範囲内で、現フレーム内の画像信号パターンに類似する画像信号パターンを探し出す。そして、両画像信号パターン間の空間的な変位量である動きベクトルを検出する。動き予測部104は、動きベクトル差分値と、参照フレーム番号と、選択された予測モードとを含む信号をエントロピー符号化部109へ送る。前記動きベクトル差分値は、検出された動きベクトルと符号化済みの隣接ブロックの動きベクトルから算出する最適予測動きベクトル(動きベクトル予測値)との差分情報である。前記参照フレーム番号は、動きベクトルの検出に用いた参照フレーム画像信号を示す。同時に、動き予測部104は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号を動き補償部105に送る。   The motion prediction unit 104 is a part that selects a prediction mode and detects a motion vector. When the “INTER prediction mode” is selected, the motion prediction unit 104 detects a motion vector using a reference frame signal. More specifically, the motion prediction unit 104 uses a reference frame signal, and within a predetermined search range from a plurality of encoded frame images stored in the reference frame buffer 102 in advance, An image signal pattern similar to the image signal pattern is searched for. Then, a motion vector that is a spatial displacement amount between both image signal patterns is detected. The motion prediction unit 104 sends a signal including the motion vector difference value, the reference frame number, and the selected prediction mode to the entropy encoding unit 109. The motion vector difference value is difference information between the detected motion vector and the optimal prediction motion vector (motion vector prediction value) calculated from the motion vector of the encoded adjacent block. The reference frame number indicates a reference frame image signal used for motion vector detection. At the same time, the motion prediction unit 104 sends a signal including the selected prediction mode, motion vector, and reference frame number to the motion compensation unit 105.

また、動き補償部105は、動き予測部104から送られた動きベクトルを用いて、参照フレームバッファ102中の参照フレーム番号で示されるフレームの符号化済み画像信号(参照フレーム画像信号)を参照する。そして、動き補償部105は、各ブロックの予測画像信号を生成し、スイッチ113に送り、符号化対象画像との差分をとって後段の直交変換部107へ送る。   In addition, the motion compensation unit 105 refers to the encoded image signal (reference frame image signal) of the frame indicated by the reference frame number in the reference frame buffer 102 using the motion vector transmitted from the motion prediction unit 104. . Then, the motion compensation unit 105 generates a predicted image signal of each block, sends it to the switch 113, takes the difference from the encoding target image, and sends it to the subsequent orthogonal transform unit 107.

一方、動き予測部104が「INTRA予測モード」を選択した場合、イントラ予測部106において同一空間上の符号化済みである近傍のブロックの画素値を用いた予測信号をスイッチ113に送る。減算器は、その予測信号と符号化対象画像との差分をとって後段の直交変換部107へ送る。   On the other hand, when the motion prediction unit 104 selects the “INTRA prediction mode”, the intra prediction unit 106 sends a prediction signal using pixel values of neighboring blocks that have been encoded in the same space to the switch 113. The subtracter takes the difference between the prediction signal and the encoding target image and sends the difference to the subsequent orthogonal transform unit 107.

直交変換部107は、予測残差信号を直交変換することにより、直交変換係数を生成して量子化部108に送る。   The orthogonal transform unit 107 generates an orthogonal transform coefficient by performing orthogonal transform on the prediction residual signal, and sends the orthogonal transform coefficient to the quantization unit 108.

これに対して、量子化部108が、直交変換部107から送信された直交変換係数を量子化することにより、量子化直交変換係数を生成し、エントロピー符号化部109及び逆量子化部110に送る。   On the other hand, the quantization unit 108 quantizes the orthogonal transform coefficient transmitted from the orthogonal transform unit 107 to generate a quantized orthogonal transform coefficient, which is sent to the entropy encoding unit 109 and the inverse quantization unit 110. send.

次に、エントロピー符号化部109は、量子化部108から送信された量子化直交変換係数と、動き予測部104から送信された予測モードと、動きベクトル差分値と、参照フレーム番号とに基づいてエントロピー符号化を行って圧縮ストリームに多重化する。そして、エントロピー符号化部109は、それを外部へ伝送する。   Next, the entropy encoding unit 109 is based on the quantized orthogonal transform coefficient transmitted from the quantization unit 108, the prediction mode transmitted from the motion prediction unit 104, the motion vector difference value, and the reference frame number. Entropy encoding is performed and multiplexed into a compressed stream. Then, the entropy encoding unit 109 transmits it to the outside.

また、逆量子化部110は、量子化部108から送信された量子化直交変換係数について逆量子化を行うことにより、直交変換係数を生成して、逆直交変換部111に送る。   In addition, the inverse quantization unit 110 generates an orthogonal transform coefficient by performing inverse quantization on the quantized orthogonal transform coefficient transmitted from the quantization unit 108, and sends the orthogonal transform coefficient to the inverse orthogonal transform unit 111.

そして、逆直交変換部111は、逆量子化部110から送信された直交変換係数について逆直交変換を行うことにより、予測残差信号を生成し、加算器に送る。   Then, the inverse orthogonal transform unit 111 generates a prediction residual signal by performing inverse orthogonal transform on the orthogonal transform coefficient transmitted from the inverse quantization unit 110, and sends the prediction residual signal to the adder.

加算器は、逆直交変換部111から送信された予測残差信号とスイッチ113から送信された予測画像信号とを加算してフレーム画像信号を生成し、図示しないループフィルタでフィルタリングされた後、参照フレームバッファ102に送る。このフレーム画像信号が、参照フレームバッファ102に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に含んで同時に格納される。   The adder adds the prediction residual signal transmitted from the inverse orthogonal transform unit 111 and the prediction image signal transmitted from the switch 113 to generate a frame image signal, which is filtered by a loop filter (not shown), and then referred to Send to frame buffer 102. This frame image signal is stored in the reference frame buffer 102 and used as a reference frame image signal in the subsequent encoding process. In addition, information on motion vectors and reference frame numbers is also included in the reference frame image signal and stored simultaneously.

本装置に入力される画像信号の解像度がHD解像度である場合の本装置の符号化方法を説明する。   An encoding method of the apparatus when the resolution of the image signal input to the apparatus is HD resolution will be described.

図2において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、B1、B2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、この参照フレームバッファ102は、H.264ではデコーディッドピクチャバッファ(DPB : Decoded Picture Buffer)とも呼ばれ、レベルである解像度に応じてそのサイズが規定されている。そのため、入力画像がHD画像の場合、そのレベルは4であり(小数点以下はないものとする)、HD解像度画像4枚分が保存可能なメモリ領域が必要となる。このメモリ量はデコード側で規定するものであってエンコードの際はこれ以下のメモリ量で符号化しても構わない。この後の説明では4枚分の画像が保存可能なメモリ量をもつものとする。   In FIG. 2, F0 to F14 indicate input signals in units of frames, I0, B1, B2,... Are encoded pictures, and the target picture is encoded below each encoded picture. The reference frame buffer 102 used at this time is shown. The reference frame buffer 102 is also called a decoded picture buffer (DPB) in H.264, and the size of the reference frame buffer 102 is defined in accordance with the level resolution. For this reason, when the input image is an HD image, the level is 4 (assuming that there are no decimal places), and a memory area that can store four HD resolution images is required. This memory amount is defined on the decoding side, and encoding may be performed with a memory amount smaller than this. In the following description, it is assumed that there is a memory amount that can store four images.

入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、F0はローカルデコードされたI0ピクチャを参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0ピクチャを参照してB2ピクチャを生成する。またF5はローカルデコードされたI0ピクチャを参照してP3ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ102に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコードを保存しながら符号化信号を形成していく。   The input signals F0, F1, and F2 are temporarily stored in the frame buffer 101 and the frames are rearranged. Thereafter, F2 is encoded as an I picture to generate I0. At this time, since the I0 picture is used as a reference picture for the next frame and thereafter, it is locally decoded inside the apparatus and stored in the reference frame buffer 102. The mechanism for performing local decoding is as described above. Next, F0 generates a B1 picture using the locally decoded I0 picture as a reference picture, and F1 also generates a B2 picture by referring to the locally decoded I0 picture. F5 generates a P3 picture with reference to the locally decoded I0 picture. Since it is used as a reference picture for subsequent encoding, F5 is locally decoded and stored in the reference frame buffer 102. Thereafter, the same operation is repeated to form an encoded signal while storing the local decode in the reference frame buffer 102.

ここで、F13ならびにF14フレームを符号化する際の参照フレームバッファ102の管理方法を説明する。F14は順方向予測画像(以下、Pピクチャと呼ぶ)として符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP12の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。また、この時点でP12が今後の参照フレームとして使用されるため、参照フレームバッファ102に保存されているI0ピクチャが破棄されて、P12が参照フレームバッファ102に保存される。   Here, a management method of the reference frame buffer 102 when encoding the F13 and F14 frames will be described. Since F14 is encoded as a forward prediction image (hereinafter referred to as a P picture), the preceding encoded picture is used as a reference picture, and at this time, the encoded frame I0, P3 is stored in the reference frame buffer 102. , P6 and P9 are stored as four images. F14 encodes P12 using these pictures, but F14 is a P picture and is used as a reference picture for the next frame and thereafter, and is locally decoded and stored in the reference frame buffer 102. Since P12 is used as a future reference frame at this time, the I0 picture stored in the reference frame buffer 102 is discarded and P12 is stored in the reference frame buffer 102.

F13はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みの、P3、P6、P9、P12をローカルデコードした4枚の画像が保存されている。F13はそれらのピクチャを用いてB14の符号化を行う。   Since F13 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the reference frame buffer 102 has already decoded P3, P6, P9, and P12 as local decodes. The four images are stored. F13 encodes B14 using these pictures.

以上のように参照フレームバッファ102を管理すると、Pピクチャを符号化する際には常に前方4枚の画像を参照ピクチャとして使用し、Bピクチャは常に前方3枚、後方1枚の画像を参照ピクチャとして使用できるようになる。   If the reference frame buffer 102 is managed as described above, the front four images are always used as reference pictures when the P picture is encoded, the B picture always uses the front three images, and the rear one image as the reference pictures. Can be used as

次に、本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。   Next, the encoding method of this apparatus when the resolution of the image signal input to this apparatus is SD resolution will be described.

図3において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、B1、B2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像7枚分が保存可能なメモリ領域が必要となる。しかし、前述のとおり、エンコード側で7枚分のメモリ領域を持つ必要はなく、6枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はHD解像度画像を符号化するためのメモリ領域としてHD解像度4枚分のメモリ領域を既に持っているため、SD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。   3, F0 to F14 indicate input signals in units of frames, I0, B1, B2,... Are encoded pictures, and the target picture is encoded under each encoded picture. The reference frame buffer 102 used at this time is shown. Note that when the input image is an SD image, the reference frame buffer 102 has a level of 3 (there are no decimal places) and requires a memory area capable of storing seven SD resolution images. However, as described above, it is not necessary to have seven memory areas on the encoding side, and encoding may be performed with a memory amount of six or less. However, since this apparatus already has a memory area for four HD resolutions as a memory area for encoding an HD resolution image, there is sufficient memory area for six SD resolutions. Therefore, when the resolution of the input signal is SD resolution, encoding is performed by effectively using the reference frame buffer 102, which is an area where HD resolution can be encoded.

入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、F0はローカルデコードされたI0ピクチャを参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0ピクチャを参照してB2ピクチャを生成する。またF5はローカルデコードされたI0ピクチャを参照してP3ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ102に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコードを保存しながら符号化信号を形成していく。   The input signals F0, F1, and F2 are temporarily stored in the frame buffer 101 and the frames are rearranged. Thereafter, F2 is encoded as an I picture to generate I0. At this time, since the I0 picture is used as a reference picture for the next frame and thereafter, it is locally decoded inside the apparatus and stored in the reference frame buffer 102. The mechanism for performing local decoding is as described above. Next, F0 generates a B1 picture using the locally decoded I0 picture as a reference picture, and F1 also generates a B2 picture by referring to the locally decoded I0 picture. F5 generates a P3 picture with reference to the locally decoded I0 picture. Since it is used as a reference picture for subsequent encoding, F5 is locally decoded and stored in the reference frame buffer 102. Thereafter, the same operation is repeated to form an encoded signal while storing the local decode in the reference frame buffer 102.

ここで、F13ならびにF14フレームを符号化する際の参照フレームバッファ102の管理方法を説明する。F14はPピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP12の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。   Here, a management method of the reference frame buffer 102 when encoding the F13 and F14 frames will be described. Since F14 is encoded as a P picture, the front encoded picture is used as a reference picture. At this time, the reference frame buffer 102 has four encoded I0, P3, P6, and P9 locally decoded. Images are saved. F14 encodes P12 using these pictures, but F14 is a P picture and is used as a reference picture for the next frame and thereafter, and is locally decoded and stored in the reference frame buffer 102.

F13はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9、P12をローカルデコードした5枚の画像が保存されている。F13はそれらのピクチャを用いてB14の符号化を行う。   Since F13 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the encoded frame I0, P3, P6, P9, and P12 are locally stored in the reference frame buffer 102. Five decoded images are stored. F13 encodes B14 using these pictures.

図2ならびに図3は説明を簡略化するために1GOP分しか表示していない。しかし、当該GOPの前ならびに後ろにもフレームが続いてあるものとし、参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されている。オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。   2 and 3 show only 1 GOP for the sake of simplicity. However, it is assumed that there are frames before and after the GOP, and the reference picture stored in the reference frame buffer 102 is an image obtained by locally decoding a P picture included in the GOP before the displayed GOP. Has been. In the case of an open GOP structure, it is possible to easily refer to GOPs. In the example shown here, the B picture is not used as a reference picture. However, in H.264 / AVC, the B picture can be used as a reference frame, so the B picture is locally decoded and the picture is referred to. It does not matter if such a form is used.

以上のように参照フレームバッファ102を管理すると、Pピクチャを符号化する際には常に前方6枚の画像を参照ピクチャとして使用し、Bピクチャを符号化する際には常に前方5枚、後方1枚の画像を参照ピクチャとして使用できるようになる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。   When the reference frame buffer 102 is managed as described above, the front six images are always used as reference pictures when the P picture is encoded, and the front five images and the rear one are always used when the B picture is encoded. One image can be used as a reference picture. Therefore, in encoding of P picture and B picture that perform inter-frame prediction, it is possible to use a frame that is temporally distant from the encoding target frame as a reference picture, so that the prediction efficiency can be greatly improved. Become.

なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度の参照フレームの保持枚数は上記で説明したものと逆に、HD解像度信号を符号化する時の参照フレームの枚数がSD解像度信号を符号化する時の参照フレームの枚数よりも多くすることも可能である。   In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. In addition, the number of reference frames stored in HD resolution and SD resolution is opposite to that described above, and the number of reference frames when encoding an HD resolution signal is the number of reference frames when encoding an SD resolution signal. It is possible to have more.

以上のように、本実施形態は、参照フレーム画像を記憶する参照フレームバッファ102と、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段104〜113とを有する。前記参照フレームバッファ102は、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更する。   As described above, the present embodiment includes the reference frame buffer 102 that stores the reference frame image, and the encoding units 104 to 113 that encode the input frame image using the reference frame image in the reference frame buffer. . The reference frame buffer 102 changes the number of frames in which the reference frame image can be stored according to the resolution of the input frame image.

前記参照フレームバッファ102は、入力画像フレームが低解像度(SD解像度)のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度(HD解像度)のときの参照フレーム画像を記憶可能なフレーム数より多い。   The reference frame buffer 102 can store a reference frame image when the input image frame has a low resolution (SD resolution) and a reference frame image when the input image frame has a high resolution (HD resolution). More than the number of frames.

また、前記参照フレームバッファ102は、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より少なくしてもよい。   Further, the reference frame buffer 102 has a smaller number of frames that can store a reference frame image when the input image frame has a low resolution than a number of frames that can store a reference frame image when the input image frame has a high resolution. May be.

(第2の実施形態)
本発明の第2の実施の形態による符号化装置を図1、図4に基づき説明する。第2の実施形態では入力信号の解像度に応じて符号化順序を変更する形態である。
(Second Embodiment)
An encoding apparatus according to the second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, the encoding order is changed according to the resolution of the input signal.

全体システム構成図は第1の実施形態と共通であるため図1と変わらない。よって図1の説明は第1の実施形態で述べてあるので省略する。またHD解像度の場合は図2ならびに第1の実施形態に示した方法で符号化を行うものとする。図4はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。   Since the overall system configuration diagram is the same as that of the first embodiment, it is not different from FIG. Therefore, the description of FIG. 1 is omitted since it has been described in the first embodiment. In the case of HD resolution, encoding is performed by the method shown in FIG. 2 and the first embodiment. FIG. 4 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.

本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。   An encoding method of the apparatus when the resolution of the image signal input to the apparatus is the SD resolution will be described.

図4において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、P1、P2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像6枚分が保存可能なメモリ領域が必要となる。しかし、前述の通り、エンコード側で6枚分のメモリ領域を持つ必要はなく、6枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はHD解像度画像を符号化するためのメモリ領域としてHD解像度4枚分のメモリ領域を既に持っているため、SD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度HD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。   4, F0 to F14 indicate input signals in units of frames, I0, P1, P2,... Are encoded pictures, and the target picture is encoded under each encoded picture. The reference frame buffer 102 used at this time is shown. Note that when the input image is an SD image, the reference frame buffer 102 has a level of 3 (there are no decimal places) and requires a memory area capable of storing six SD resolution images. However, as described above, it is not necessary to have six memory areas on the encoding side, and encoding may be performed with a memory amount of six or less. However, since this apparatus already has a memory area for four HD resolutions as a memory area for encoding an HD resolution image, there is sufficient memory area for six SD resolutions. Therefore, when the resolution of the input signal is SD resolution, encoding is performed by effectively using the reference frame buffer 102, which is an area where HD resolution HD resolution can be encoded.

入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは第1の実施形態内に述べた通りである。次に、入力信号F3、F4、F5がフレームバッファ101に一旦保存されてフレームの並べ替えを行い、I0を参照ピクチャとしてF5を符号化してP1を生成する。このP1も後のフレームの参照ピクチャとして用いるためローカルデコードを行い参照フレームバッファ102に保存される。同様にF8からP2を生成してローカルデコード画像を参照フレームバッファ102に保存する。   The input signals F0, F1, and F2 are temporarily stored in the frame buffer 101 and the frames are rearranged. Thereafter, F2 is encoded as an I picture to generate I0. At this time, since the I0 picture is used as a reference picture for the next frame and thereafter, it is locally decoded inside the apparatus and stored in the reference frame buffer 102. Note that the mechanism for performing local decoding is as described in the first embodiment. Next, the input signals F3, F4, and F5 are temporarily stored in the frame buffer 101, the frames are rearranged, and F5 is encoded using I0 as a reference picture to generate P1. This P1 is also used as a reference picture for a subsequent frame, and is locally decoded and stored in the reference frame buffer 102. Similarly, P2 is generated from F8 and the local decoded image is stored in the reference frame buffer 102.

次に、F0はローカルデコードされたI0、P1、P2を参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0、P1、P2を参照してB2ピクチャを生成する。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコード画像を保存しながら符号化信号を形成していく。   Next, F0 generates a B1 picture using the locally decoded I0, P1, and P2 as reference pictures, and F1 also generates a B2 picture by referring to the locally decoded I0, P1, and P2. Thereafter, the same operation is repeated to form an encoded signal while storing the local decoded image in the reference frame buffer 102.

ここで、F10ならびにF14フレームを符号化する際の符号化順序を説明する。F14はPピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P1、P2、P7をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP8の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。   Here, the encoding sequence when encoding the F10 and F14 frames will be described. Since F14 is encoded as a P picture, the front encoded picture is used as a reference picture. At this time, four frames in which the encoded I0, P1, P2, and P7 are locally decoded are used in the reference frame buffer 102. Images are saved. F14 encodes P8 using these pictures, but F14 is a P picture and is used as a reference picture for the next frame and thereafter, and is locally decoded and stored in the reference frame buffer 102.

F10はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みの、I0、P1、P2、P7、P8をローカルデコードした5枚の画像が保存されている。F10はそれらのピクチャを用いてB12の符号化を行う。   Since F10 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the reference frame buffer 102 stores encoded I0, P1, P2, P7, and P8. Five locally decoded images are stored. F10 encodes B12 using these pictures.

図4は説明を簡略化するために1GOP分しか表示していないが、第1の実施形態と同様、当該GOPの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されており、オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。   FIG. 4 shows only one GOP for the sake of simplification, but it is assumed that there are frames before and after the GOP as in the first embodiment. In the reference picture stored in the reference frame buffer 102, an image obtained by locally decoding a P picture or the like included in a GOP before the displayed GOP is stored. In the case of an open GOP structure, it is possible to refer to the GOP across GOPs. Suppose it is possible easily. In the example shown here, the B picture is not used as a reference picture. However, in H.264 / AVC, the B picture can be used as a reference frame, so the B picture is locally decoded and the picture is referred to. It does not matter if such a form is used.

以上のように最初にPピクチャだけを符号化しておいて、その後にBピクチャを符号化するような符号化順序で符号化を行うと、Pピクチャを符号化する際には常に前方6枚の画像を参照ピクチャとして使用する。そして、Bピクチャを符号化する際には後方2枚以上のピクチャを参照フレームとして使用できるようになる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。   As described above, if only the P picture is encoded first and then the encoding is performed in such an encoding order that the B picture is encoded, the six pictures in front always are encoded. Use the image as a reference picture. When a B picture is encoded, two or more backward pictures can be used as reference frames. Therefore, in encoding of P picture and B picture that perform inter-frame prediction, it is possible to use a frame that is temporally distant from the encoding target frame as a reference picture, so that the prediction efficiency can be greatly improved. Become.

なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度の符号化順序は上記で説明したものと逆でもよい。すなわち、HD解像度信号を符号化する時の符号化順序が上記で説明したSD解像度信号を符号化する時の符号化順序になり、SD解像度信号を符号化するときの符号化順序が上記で説明したHD解像度信号を符号化するときの符号化順序になることも可能である。   In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. Also, the encoding order of the HD resolution and the SD resolution may be reverse to that described above. That is, the encoding order when encoding the HD resolution signal is the encoding order when encoding the SD resolution signal described above, and the encoding order when encoding the SD resolution signal is described above. It is also possible to use the encoding order when encoding the HD resolution signal.

以上のように、本実施形態は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、複数のピクチャ単位で符号化を行い、低解像度(SD解像度)の入力画像を符号化するときに、フレーム内符号化画像(Iピクチャ)の符号化を行う。その後、前記複数のピクチャ内に含まれる順方向予測画像(Pピクチャ)の符号化を全て行い、その後、双方向予測画像(Bピクチャ)の符号化を行う。   As described above, this embodiment includes an encoding unit that encodes an input image by changing the encoding order of the input frame image in accordance with the resolution of the input image. The encoding means performs encoding in units of a plurality of pictures, and encodes an intra-frame encoded image (I picture) when encoding a low resolution (SD resolution) input image. Thereafter, all of the forward prediction images (P pictures) included in the plurality of pictures are encoded, and then the bidirectional prediction image (B picture) is encoded.

符号化手段は、複数のピクチャ単位で符号化を行い、高解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行ってもよい。   The encoding unit performs encoding in units of a plurality of pictures, encodes an intra-frame encoded image when encoding a high-resolution input image, and then performs forward prediction included in the plurality of pictures. It is also possible to perform all of the image coding and then perform the bi-directional prediction image coding.

(第3の実施形態)
本発明の第3の実施の形態による符号化装置を図1、図5に基づき説明する。第3の実施形態では入力信号の解像度に応じてGOP(Group of Pictures)を形成するPピクチャの比率を変更する形態である。
(Third embodiment)
An encoding apparatus according to the third embodiment of the present invention will be described with reference to FIGS. In the third embodiment, the ratio of P pictures forming a GOP (Group of Pictures) is changed according to the resolution of the input signal.

全体システム構成図は第1の実施形態と共通であるため図1と変わらない。よって図1の説明は第1の実施形態で述べてあるので省略する。またHD解像度の場合は図2ならびに第1の実施形態に示した方法で符号化を行うものとする。図5はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。   Since the overall system configuration diagram is the same as that of the first embodiment, it is not different from FIG. Therefore, the description of FIG. 1 is omitted since it has been described in the first embodiment. In the case of HD resolution, encoding is performed by the method shown in FIG. 2 and the first embodiment. FIG. 5 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.

本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。   An encoding method of the apparatus when the resolution of the image signal input to the apparatus is the SD resolution will be described.

図5において、F0〜F8は入力信号をフレーム単位で示したものであり、I0、P1、P2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像6枚分が保存可能なメモリ領域が必要となるが、第2の実施形態と同様の理由でSD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度HD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。   In FIG. 5, F0 to F8 indicate input signals in units of frames, I0, P1, P2,... Are encoded pictures, and the target picture is encoded below each encoded picture. The reference frame buffer 102 used at this time is shown. When the input image is an SD image, the reference frame buffer 102 has a level of 3 (there is no decimal point) and requires a memory area that can store six SD resolution images. For the same reason as the second embodiment, there is sufficient memory area for six SD resolutions. Therefore, when the resolution of the input signal is SD resolution, encoding is performed by effectively using the reference frame buffer 102, which is an area where HD resolution HD resolution can be encoded.

入力信号F0〜F8はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは第1の実施形態内に述べた通りである。次に、F4はローカルデコードされたI0を参照ピクチャとしてP1を生成し、F6はローカルデコードされたI0、P1を参照ピクチャとしてP2を生成し、F8も同様にP3を生成する。その後F0はI0、P1、P2、P3を参照ピクチャとしてB4を生成し、この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコード画像を保存しながら符号化信号を形成していく。   The input signals F0 to F8 are temporarily stored in the frame buffer 101 and the frames are rearranged. Thereafter, F2 is encoded as an I picture to generate I0. At this time, since the I0 picture is used as a reference picture for the next frame and thereafter, it is locally decoded inside the apparatus and stored in the reference frame buffer 102. Note that the mechanism for performing local decoding is as described in the first embodiment. Next, F4 generates P1 using the locally decoded I0 as a reference picture, F6 generates P2 using the locally decoded I0 and P1 as a reference picture, and F8 similarly generates P3. Thereafter, F0 generates B4 using I0, P1, P2, and P3 as reference pictures, and thereafter repeats the same operation to form an encoded signal while storing the local decoded image in the reference frame buffer 102.

ここで、F5を符号化する際の符号化順序を説明する。F5はBピクチャとして符号化するため、前方の符号化済みピクチャと後方の符号化済みピクチャを参照ピクチャとして使用する。しかし、その際、参照フレームバッファ102には符号化済みのI0、P1、P2、P3をローカルデコードした4枚の画像が保存されている。F5はそれらのピクチャを用いてB7の符号化を行う。   Here, the encoding order when encoding F5 will be described. Since F5 is encoded as a B picture, a front encoded picture and a rear encoded picture are used as reference pictures. However, at this time, the reference frame buffer 102 stores four images obtained by local decoding of the encoded I0, P1, P2, and P3. F5 uses these pictures to encode B7.

図5は説明を簡略化するために短い1GOP分しか表示していないが、第1の実施形態と同様、当該GOPの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されており、オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。   FIG. 5 shows only one short GOP for the sake of simplicity, but it is assumed that there are frames before and after the GOP as in the first embodiment. In the reference picture stored in the reference frame buffer 102, an image obtained by locally decoding a P picture or the like included in a GOP before the displayed GOP is stored. In the case of an open GOP structure, it is possible to refer to the GOP across GOPs. Suppose it is possible easily. In the example shown here, the B picture is not used as a reference picture. However, in H.264 / AVC, the B picture can be used as a reference frame, so the B picture is locally decoded and the picture is referred to. It does not matter if such a form is used.

以上のようにGOPを構成するPピクチャの比率を変更すると、Pピクチャを符号化する際は常に前方最高6枚までのピクチャを参照して符号化を行う。Bピクチャを符号化する際は、GOPを形成するフレームの先頭から最後までのフレームを参照ピクチャとして符号化することが可能となる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。   As described above, when the ratio of the P pictures constituting the GOP is changed, the encoding is always performed with reference to up to six pictures at the front when the P picture is encoded. When encoding a B picture, it is possible to encode a frame from the beginning to the end of a frame forming a GOP as a reference picture. Therefore, in encoding of P picture and B picture that perform inter-frame prediction, it is possible to use a frame that is temporally distant from the encoding target frame as a reference picture, so that the prediction efficiency can be greatly improved. Become.

なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度のPピクチャの比率は上記で説明したものと逆に、HD解像度信号を符号化する時のPピクチャの比率がSD解像度信号を符号化する時のPピクチャの比率よりも多くすることも可能である。   In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. Further, the ratio of the P picture of the HD resolution and the SD resolution is opposite to that described above, and the ratio of the P picture when the HD resolution signal is encoded is more than the ratio of the P picture when the SD resolution signal is encoded. Can also be increased.

以上のように、本実施形態は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像(Pピクチャ)の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも多くなるように符号化する。低解像度は、例えばSD解像度である。   As described above, this embodiment includes an encoding unit that encodes an input image by changing the picture type configuration ratio according to the resolution of the input image. When the encoding means encodes a low-resolution input image in GOP units, the ratio of forward predicted images (P pictures) constituting the GOP is the GOP when encoding a high-resolution input image. Are encoded so as to be larger than the ratio of the forward-predicted images. The low resolution is, for example, the SD resolution.

また、前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも少なくなるように符号化してもよい。   Further, the encoding means configures the GOP when encoding a high-resolution input image such that a ratio of forward prediction images configuring the GOP when encoding a low-resolution input image in GOP units. The encoding may be performed so as to be smaller than the ratio of the forward prediction images.

以上詳述したように、第1〜第3の実施形態によれば、様々な解像度信号を符号化可能な本符号化装置において、フレーム間符号化を行う際の参照ピクチャの管理方法を入力画像の解像度に応じて変更する。これにより、メモリを有効利用して、多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。   As described above in detail, according to the first to third embodiments, in the present encoding apparatus capable of encoding various resolution signals, a reference picture management method when performing interframe encoding is described as an input image. Change according to the resolution. As a result, it is possible to generate a high-quality encoded signal by effectively using the memory and performing encoding while referring to many frames.

また本装置において、フレーム間符号化を行う際の符号化順番を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。   Also, in this device, by changing the coding order when performing interframe coding according to the resolution of the input image, coding is performed while referring to many frames using the memory effectively, and high-quality coding is performed. Can be generated.

また本装置において、GOPを形成するPピクチャの比率を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。   In this device, by changing the ratio of P pictures that form a GOP according to the resolution of the input image, encoding is performed while referring to many frames using the memory effectively, and high-quality encoded signals are converted. Can be generated.

なお、符号化手段は、H.264符号化方式で符号化してもよいし、MPEG符号化方式で符号化してもよい。上記実施形態の符号化装置は、光ディスクや磁気テープを記録媒体にもつデジタルビデオカメラ等の符号化装置に適用することができる。   The encoding means is H.264. It may be encoded by the H.264 encoding method or may be encoded by the MPEG encoding method. The encoding device of the above embodiment can be applied to an encoding device such as a digital video camera having an optical disk or a magnetic tape as a recording medium.

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の第1の実施形態による符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus by the 1st Embodiment of this invention. 符号化装置において、HD解像度信号を符号化した際の入力フレームと符号化フレームの関係を示す図である。It is a figure which shows the relationship between the input frame at the time of encoding an HD resolution signal in an encoding apparatus, and an encoding frame. 本発明の第1の実施形態において、SD解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。In the 1st Embodiment of this invention, it is a figure which shows the relationship between the input frame at the time of encoding an SD resolution image, and an encoding frame. 本発明の第2の実施形態において、SD解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。In the 2nd Embodiment of this invention, it is a figure which shows the relationship between the input frame at the time of encoding an SD resolution image, and an encoding frame. 本発明の第3の実施形態において、SD解像度画像を符号化した際の入力フレームと符号化フレームの関係を示す図である。In the 3rd Embodiment of this invention, it is a figure which shows the relationship between the input frame at the time of encoding an SD resolution image, and an encoding frame.

符号の説明Explanation of symbols

101 フレームバッファ
102 参照フレームバッファ
104 動き予測部
105 動き補償部
106 イントラ予測部
107 直交変換部
108 量子化部
109 エントロピー符号化部
110 逆量子化部
111 逆直交変換部
113 スイッチ
101 Frame buffer 102 Reference frame buffer 104 Motion prediction unit 105 Motion compensation unit 106 Intra prediction unit 107 Orthogonal transformation unit 108 Quantization unit 109 Entropy coding unit 110 Inverse quantization unit 111 Inverse orthogonal transformation unit 113 Switch

Claims (18)

参照フレーム画像を記憶する参照フレームバッファと、
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化装置。
A reference frame buffer for storing a reference frame image;
Encoding means for encoding an input frame image using a reference frame image in the reference frame buffer;
The encoding apparatus according to claim 1, wherein the reference frame buffer changes the number of frames in which the reference frame image can be stored according to the resolution of the input frame image.
前記参照フレームバッファは、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より多いことを特徴とする請求項1記載の符号化装置。   The reference frame buffer is characterized in that the number of frames that can store a reference frame image when the input image frame has a low resolution is larger than the number of frames that can store a reference frame image when the input image frame has a high resolution. The encoding apparatus according to claim 1. 前記参照フレームバッファは、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より少ないことを特徴とする請求項1記載の符号化装置。   The reference frame buffer is characterized in that the number of frames that can store a reference frame image when the input image frame has a low resolution is smaller than the number of frames that can store a reference frame image when the input image frame has a high resolution. The encoding apparatus according to claim 1. 前記符号化手段は、H.264符号化方式で符号化することを特徴とする請求項1〜3のいずれか1項に記載の符号化装置。   The encoding means includes H.264. The encoding apparatus according to any one of claims 1 to 3, wherein encoding is performed using an H.264 encoding method. 前記符号化手段は、MPEG符号化方式で符号化することを特徴とする請求項1〜3のいずれか1項に記載の符号化装置。   The encoding apparatus according to any one of claims 1 to 3, wherein the encoding means performs encoding using an MPEG encoding method. 入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有することを特徴とする符号化装置。   An encoding apparatus comprising encoding means for encoding an input image by changing an encoding order of the input frame image in accordance with the resolution of the input image. 前記符号化手段は、複数のピクチャ単位で符号化を行い、低解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、前記複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行うことを特徴とする請求項6記載の符号化装置。   The encoding means performs encoding in units of a plurality of pictures, encodes an intra-frame encoded image when encoding a low-resolution input image, and thereafter, in the order included in the plurality of pictures. The encoding apparatus according to claim 6, wherein encoding of the direction prediction image is performed, and thereafter, the bidirectional prediction image is encoded. 前記符号化手段は、複数のピクチャ単位で符号化を行い、高解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、前記複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行うことを特徴とする請求項6記載の符号化装置。   The encoding means performs encoding in units of a plurality of pictures, encodes an intra-frame encoded image when encoding a high-resolution input image, and thereafter, in the order included in the plurality of pictures. The encoding apparatus according to claim 6, wherein encoding of the direction prediction image is performed, and thereafter, the bidirectional prediction image is encoded. 前記符号化手段は、H.264符号化方式で符号化することを特徴とする請求項6〜8のいずれか1項に記載の符号化装置。   The encoding means includes H.264. The encoding apparatus according to any one of claims 6 to 8, wherein encoding is performed using an H.264 encoding method. 前記符号化手段は、MPEG符号化方式で符号化することを特徴とする請求項6〜8のいずれか1項に記載の符号化装置。   The encoding apparatus according to any one of claims 6 to 8, wherein the encoding means performs encoding by an MPEG encoding method. 入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有することを特徴とする符号化装置。   An encoding apparatus comprising encoding means for encoding an input image by changing a picture type composition ratio in accordance with the resolution of the input image. 前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも多くなるように符号化することを特徴とする請求項11記載の符号化装置。   The encoding means is configured such that when a low-resolution input image is encoded in GOP units, a ratio of forward-predicted images constituting the GOP is the order in which the GOP is formed when a high-resolution input image is encoded. 12. The encoding apparatus according to claim 11, wherein encoding is performed so as to be larger than a ratio of the direction prediction images. 前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも少なくなるように符号化することを特徴とする請求項11記載の符号化装置。   The encoding means is configured such that when a low-resolution input image is encoded in GOP units, a ratio of forward-predicted images constituting the GOP is the order in which the GOP is formed when a high-resolution input image is encoded. 12. The encoding apparatus according to claim 11, wherein encoding is performed so as to be smaller than a ratio of the direction prediction image. 前記符号化手段は、H.264符号化方式で符号化することを特徴とする請求項11〜13のいずれか1項に記載の符号化装置。   The encoding means includes H.264. The encoding apparatus according to any one of claims 11 to 13, wherein encoding is performed using an H.264 encoding scheme. 前記符号化手段は、MPEG符号化方式で符号化することを特徴とする請求項11〜13のいずれか1項に記載の符号化装置。   The encoding apparatus according to any one of claims 11 to 13, wherein the encoding means performs encoding using an MPEG encoding method. 参照フレーム画像を参照フレームバッファに記憶する記憶ステップと、
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化方法。
Storing a reference frame image in a reference frame buffer;
An encoding step of encoding an input frame image using a reference frame image in the reference frame buffer;
The encoding method according to claim 1, wherein the reference frame buffer changes the number of frames in which the reference frame image can be stored according to the resolution of the input frame image.
入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化ステップを有することを特徴とする符号化方法。   An encoding method comprising: an encoding step of encoding an input image by changing an encoding order of the input frame image in accordance with the resolution of the input image. 入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化ステップを有することを特徴とする符号化方法。   An encoding method comprising: an encoding step of encoding an input image by changing a picture type composition ratio according to a resolution of the input image.
JP2005364048A 2005-12-16 2005-12-16 Encoding device and method Pending JP2007166555A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005364048A JP2007166555A (en) 2005-12-16 2005-12-16 Encoding device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005364048A JP2007166555A (en) 2005-12-16 2005-12-16 Encoding device and method

Publications (1)

Publication Number Publication Date
JP2007166555A true JP2007166555A (en) 2007-06-28

Family

ID=38248893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005364048A Pending JP2007166555A (en) 2005-12-16 2005-12-16 Encoding device and method

Country Status (1)

Country Link
JP (1) JP2007166555A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169765A (en) * 2011-02-10 2012-09-06 Canon Inc Encoder
JP2021061501A (en) * 2019-10-04 2021-04-15 シャープ株式会社 Moving image conversion device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169765A (en) * 2011-02-10 2012-09-06 Canon Inc Encoder
JP2021061501A (en) * 2019-10-04 2021-04-15 シャープ株式会社 Moving image conversion device and method

Similar Documents

Publication Publication Date Title
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
JP4324844B2 (en) Image decoding apparatus and image decoding method
JP4014263B2 (en) Video signal conversion apparatus and video signal conversion method
JP2012502592A (en) Decoding system and method using parallel processing
JP2000270332A (en) Method and device for encoding dynamic picture
WO2009139123A1 (en) Image processor and imaging device using the same
WO2014010224A1 (en) Video compression device, video decoding device, image compression device, image decoding device, imaging device, and program
JP2001285876A (en) Image encoding device, its method, video camera, image recording device and image transmitting device
WO1993003578A1 (en) Apparatus for coding and decoding picture signal with high efficiency
JP4616057B2 (en) Image coding apparatus and image coding method
KR100824161B1 (en) Image processing apparatus
WO1993013626A1 (en) Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium
US20160134888A1 (en) Video encoding apparatus, video encoding method, video decoding apparatus, and video decoding method
JP3676525B2 (en) Moving picture coding / decoding apparatus and method
JP4185014B2 (en) VIDEO ENCODING METHOD, VIDEO ENCODING DEVICE, VIDEO ENCODING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM, AND VIDEO DECODING METHOD, VIDEO DECODER, VIDEO DECODED PROGRAM, AND COMPUTER-READABLE RECORDING THE PROGRAM recoding media
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
JP2007166555A (en) Encoding device and method
JP2009218965A (en) Image processor, imaging device mounted with the same and image reproduction device
WO2016047375A1 (en) Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method
JP5974691B2 (en) MOVING IMAGE COMPRESSION DEVICE, IMAGING DEVICE, AND PROGRAM
JP2011055023A (en) Image encoding device and image decoding device
JP2012169765A (en) Encoder
JPH0698311A (en) High efficiency coding and decoding device for picture signal
JP2018129753A (en) Image encoder, image decoder, control method thereof, and control program
JP2005323393A (en) Moving image encoding method and apparatus