JP2007166555A - Encoding device and method - Google Patents
Encoding device and method Download PDFInfo
- Publication number
- JP2007166555A JP2007166555A JP2005364048A JP2005364048A JP2007166555A JP 2007166555 A JP2007166555 A JP 2007166555A JP 2005364048 A JP2005364048 A JP 2005364048A JP 2005364048 A JP2005364048 A JP 2005364048A JP 2007166555 A JP2007166555 A JP 2007166555A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- resolution
- reference frame
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、符号化装置及び方法に関する。 The present invention relates to an encoding apparatus and method.
近年、デジタルビデオカメラやデジタルテレビではハイビジョン化の流れが進行しハイデフィニション画像(HD画像)をH264等の高能率符号化方式で記録するハイビジョン用符号化装置に対する需要が大きくなっている。またハイビジョン用符号化装置は、HD画像のみを記録するだけでなく、スタンダードデフィニション画像(SD画像)も記録可能であることが仕様として要求されている。 In recent years, with the progress of high-definition video in digital video cameras and digital televisions, the demand for high-definition encoding devices that record high-definition images (HD images) using a high-efficiency encoding method such as H264 is increasing. In addition, it is required as a specification that the high-definition encoding apparatus not only records HD images but also can record standard definition images (SD images).
下記の特許文献1には、SD画像とHD画像の両方が記録可能なビデオカメラが記載されている。
しかしながら、前述のような符号化装置はHD画像を符号化可能なスペックを持っているため、HD画像の符号化を行う際は、その装置が持つメモリなどを十分に使用して符号化を行うことになる。しかし、SD画像の符号化を行う際は、HD画像の符号化と同じ方法ではメモリを十分に有効利用することができない。 However, since the encoding apparatus as described above has specifications capable of encoding HD images, when encoding HD images, use the memory etc. of the apparatus sufficiently. It will be. However, when encoding an SD image, the memory cannot be used sufficiently effectively by the same method as encoding an HD image.
本発明の目的は、H264等の高能率符号化方式でHD画像を記録する符号化装置においてSD画像を記録する際に、メモリを有効利用してフレーム間符号化を行う際により多くのフレームを参照ながら符号化することで高画質化を実現することである。 An object of the present invention is to record more frames when inter-frame coding is performed effectively using a memory when recording an SD image in an encoding device that records an HD image using a high-efficiency encoding method such as H264. It is to realize high image quality by encoding with reference.
本発明の符号化装置は、参照フレーム画像を記憶する参照フレームバッファと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化装置は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有することを特徴とする。
また、本発明の符号化方法は、参照フレーム画像を参照フレームバッファに記憶する記憶ステップと、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
また、本発明の符号化方法は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化ステップを有することを特徴とする。
The encoding apparatus of the present invention includes a reference frame buffer that stores a reference frame image, and an encoding unit that encodes an input frame image using the reference frame image in the reference frame buffer, and the reference frame buffer Is characterized in that the number of frames in which the reference frame image can be stored changes according to the resolution of the input frame image.
The encoding apparatus according to the present invention further includes encoding means for encoding the input image by changing the encoding order of the input frame image in accordance with the resolution of the input image.
In addition, the encoding apparatus of the present invention includes encoding means for encoding an input image by changing a picture type composition ratio according to the resolution of the input image.
The encoding method of the present invention includes a storing step of storing a reference frame image in a reference frame buffer, and an encoding step of encoding an input frame image using the reference frame image in the reference frame buffer. In the reference frame buffer, the number of frames in which the reference frame image can be stored is changed according to the resolution of the input frame image.
In addition, the encoding method of the present invention includes an encoding step of encoding the input image by changing the encoding order of the input frame image according to the resolution of the input image.
In addition, the encoding method of the present invention includes an encoding step of encoding the input image by changing the picture type composition ratio according to the resolution of the input image.
参照フレームバッファを有効活用することができ、高画質化を実現することができる。 The reference frame buffer can be used effectively, and high image quality can be realized.
(第1の実施形態)
本発明の第1の実施の形態による符号化装置を図1、図2、図3に基づき説明する。第1の実施形態では入力信号の解像度に応じて参照フレームバッファ102の管理方法を変更する形態である。GOP(Group of Pictures)内のピクチャ並び順はHD解像度とSD解像度で同じであるが、符号化を行う際に使用する参照ピクチャの管理方法を解像度に応じて変更する形態である。
(First embodiment)
An encoding apparatus according to the first embodiment of the present invention will be described with reference to FIGS. 1, 2, and 3. FIG. In the first embodiment, the management method of the
図1は第1の実施形態による符号化装置の全体システム構成図であり、図2はHD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。図3はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。 FIG. 1 is an overall system configuration diagram of an encoding apparatus according to the first embodiment, and FIG. 2 is a diagram illustrating a relationship between an input picture and an encoded picture when an HD image is encoded by the present encoding apparatus. FIG. 3 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.
H.264/AVC符号化方式では、マクロブロックごとに、予測モードとして、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号(参照フレーム画像信号)を参照して動きベクトルを検出する。これにより、動き補償フレーム間予測を行う複数の「インタ(INTER)予測モード」と、同一空間上の符号化済みである近傍のマクロブロックの画素値を用いた空間予測を行う複数の「イントラ(INTRA)予測モード」とが用意されている。なお、「INTER予測モード」においては、マクロブロックをさらに任意の領域(例えば、8画素×16ライン)に分割したブロック(対象領域)毎に動き検出、動き予測、及び動き補償の各処理(詳細は後述する。)が行われる。動画像符号化装置は、入力映像信号の局所的な性質に応じてマクロブロック単位で予測モードを切り替え、効率的な情報圧縮を行うことができるように構成されている。 H. In the H.264 / AVC encoding method, a motion vector is detected for each macroblock with reference to a plurality of encoded frame image signals (reference frame image signals) that are temporally different from the frame image signal as a prediction mode. Accordingly, a plurality of “inter prediction modes” for performing motion compensation inter-frame prediction and a plurality of “intra (inter)” predictions using spatially encoded pixel values of neighboring macroblocks on the same space. INTRA) prediction mode "is prepared. In the “INTER prediction mode”, motion detection, motion prediction, and motion compensation processes (details) are performed for each block (target region) obtained by further dividing the macroblock into arbitrary regions (for example, 8 pixels × 16 lines). Will be described later). The moving picture coding apparatus is configured to perform efficient information compression by switching the prediction mode in units of macroblocks according to the local nature of the input video signal.
本符号化装置は、機能的な構成要素として、図1に示すように、入力部と、フレームバッファ101、参照フレームバッファ102、動き予測部104と、動き補償部105、イントラ予測部106を備える。さらに、本符号化装置は、直交変換部107、量子化部108、エントロピー符号化部109、逆量子化部110、逆直交変換部111と、スイッチ113を備える。以下、各構成要素について説明する。
As shown in FIG. 1, the encoding apparatus includes an input unit, a
入力部は、外部から入力される動画像信号を符号化のための並べ替えを行う部分であり、並べ替えを行った後のフレームデータはフレームバッファ101に保存される。
The input unit is a part that rearranges moving image signals input from the outside for encoding, and the frame data after the rearrangement is stored in the
動き予測部104は、予測モードの選択と動きベクトルの検出を行う部分であり、「INTER予測モード」を選択した場合、参照フレーム信号を用いて、動きベクトルを検出する。より具体的には、動き予測部104は、参照フレーム信号を用いて、あらかじめ参照フレームバッファ102に蓄積されている複数の符号化済みフレーム画像の中から所定の探索範囲内で、現フレーム内の画像信号パターンに類似する画像信号パターンを探し出す。そして、両画像信号パターン間の空間的な変位量である動きベクトルを検出する。動き予測部104は、動きベクトル差分値と、参照フレーム番号と、選択された予測モードとを含む信号をエントロピー符号化部109へ送る。前記動きベクトル差分値は、検出された動きベクトルと符号化済みの隣接ブロックの動きベクトルから算出する最適予測動きベクトル(動きベクトル予測値)との差分情報である。前記参照フレーム番号は、動きベクトルの検出に用いた参照フレーム画像信号を示す。同時に、動き予測部104は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号を動き補償部105に送る。
The
また、動き補償部105は、動き予測部104から送られた動きベクトルを用いて、参照フレームバッファ102中の参照フレーム番号で示されるフレームの符号化済み画像信号(参照フレーム画像信号)を参照する。そして、動き補償部105は、各ブロックの予測画像信号を生成し、スイッチ113に送り、符号化対象画像との差分をとって後段の直交変換部107へ送る。
In addition, the
一方、動き予測部104が「INTRA予測モード」を選択した場合、イントラ予測部106において同一空間上の符号化済みである近傍のブロックの画素値を用いた予測信号をスイッチ113に送る。減算器は、その予測信号と符号化対象画像との差分をとって後段の直交変換部107へ送る。
On the other hand, when the
直交変換部107は、予測残差信号を直交変換することにより、直交変換係数を生成して量子化部108に送る。
The
これに対して、量子化部108が、直交変換部107から送信された直交変換係数を量子化することにより、量子化直交変換係数を生成し、エントロピー符号化部109及び逆量子化部110に送る。
On the other hand, the
次に、エントロピー符号化部109は、量子化部108から送信された量子化直交変換係数と、動き予測部104から送信された予測モードと、動きベクトル差分値と、参照フレーム番号とに基づいてエントロピー符号化を行って圧縮ストリームに多重化する。そして、エントロピー符号化部109は、それを外部へ伝送する。
Next, the
また、逆量子化部110は、量子化部108から送信された量子化直交変換係数について逆量子化を行うことにより、直交変換係数を生成して、逆直交変換部111に送る。
In addition, the
そして、逆直交変換部111は、逆量子化部110から送信された直交変換係数について逆直交変換を行うことにより、予測残差信号を生成し、加算器に送る。
Then, the inverse
加算器は、逆直交変換部111から送信された予測残差信号とスイッチ113から送信された予測画像信号とを加算してフレーム画像信号を生成し、図示しないループフィルタでフィルタリングされた後、参照フレームバッファ102に送る。このフレーム画像信号が、参照フレームバッファ102に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に含んで同時に格納される。
The adder adds the prediction residual signal transmitted from the inverse
本装置に入力される画像信号の解像度がHD解像度である場合の本装置の符号化方法を説明する。 An encoding method of the apparatus when the resolution of the image signal input to the apparatus is HD resolution will be described.
図2において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、B1、B2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、この参照フレームバッファ102は、H.264ではデコーディッドピクチャバッファ(DPB : Decoded Picture Buffer)とも呼ばれ、レベルである解像度に応じてそのサイズが規定されている。そのため、入力画像がHD画像の場合、そのレベルは4であり(小数点以下はないものとする)、HD解像度画像4枚分が保存可能なメモリ領域が必要となる。このメモリ量はデコード側で規定するものであってエンコードの際はこれ以下のメモリ量で符号化しても構わない。この後の説明では4枚分の画像が保存可能なメモリ量をもつものとする。
In FIG. 2, F0 to F14 indicate input signals in units of frames, I0, B1, B2,... Are encoded pictures, and the target picture is encoded below each encoded picture. The
入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、F0はローカルデコードされたI0ピクチャを参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0ピクチャを参照してB2ピクチャを生成する。またF5はローカルデコードされたI0ピクチャを参照してP3ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ102に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコードを保存しながら符号化信号を形成していく。
The input signals F0, F1, and F2 are temporarily stored in the
ここで、F13ならびにF14フレームを符号化する際の参照フレームバッファ102の管理方法を説明する。F14は順方向予測画像(以下、Pピクチャと呼ぶ)として符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP12の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。また、この時点でP12が今後の参照フレームとして使用されるため、参照フレームバッファ102に保存されているI0ピクチャが破棄されて、P12が参照フレームバッファ102に保存される。
Here, a management method of the
F13はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みの、P3、P6、P9、P12をローカルデコードした4枚の画像が保存されている。F13はそれらのピクチャを用いてB14の符号化を行う。
Since F13 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the
以上のように参照フレームバッファ102を管理すると、Pピクチャを符号化する際には常に前方4枚の画像を参照ピクチャとして使用し、Bピクチャは常に前方3枚、後方1枚の画像を参照ピクチャとして使用できるようになる。
If the
次に、本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。 Next, the encoding method of this apparatus when the resolution of the image signal input to this apparatus is SD resolution will be described.
図3において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、B1、B2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像7枚分が保存可能なメモリ領域が必要となる。しかし、前述のとおり、エンコード側で7枚分のメモリ領域を持つ必要はなく、6枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はHD解像度画像を符号化するためのメモリ領域としてHD解像度4枚分のメモリ領域を既に持っているため、SD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。
3, F0 to F14 indicate input signals in units of frames, I0, B1, B2,... Are encoded pictures, and the target picture is encoded under each encoded picture. The
入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは上述した通りである。次に、F0はローカルデコードされたI0ピクチャを参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0ピクチャを参照してB2ピクチャを生成する。またF5はローカルデコードされたI0ピクチャを参照してP3ピクチャを生成するが、この後の符号化の参照ピクチャとして用いられるため、ローカルデコードされて参照フレームバッファ102に保存される。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコードを保存しながら符号化信号を形成していく。
The input signals F0, F1, and F2 are temporarily stored in the
ここで、F13ならびにF14フレームを符号化する際の参照フレームバッファ102の管理方法を説明する。F14はPピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP12の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。
Here, a management method of the
F13はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P3、P6、P9、P12をローカルデコードした5枚の画像が保存されている。F13はそれらのピクチャを用いてB14の符号化を行う。
Since F13 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the encoded frame I0, P3, P6, P9, and P12 are locally stored in the
図2ならびに図3は説明を簡略化するために1GOP分しか表示していない。しかし、当該GOPの前ならびに後ろにもフレームが続いてあるものとし、参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されている。オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
2 and 3 show only 1 GOP for the sake of simplicity. However, it is assumed that there are frames before and after the GOP, and the reference picture stored in the
以上のように参照フレームバッファ102を管理すると、Pピクチャを符号化する際には常に前方6枚の画像を参照ピクチャとして使用し、Bピクチャを符号化する際には常に前方5枚、後方1枚の画像を参照ピクチャとして使用できるようになる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。
When the
なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度の参照フレームの保持枚数は上記で説明したものと逆に、HD解像度信号を符号化する時の参照フレームの枚数がSD解像度信号を符号化する時の参照フレームの枚数よりも多くすることも可能である。 In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. In addition, the number of reference frames stored in HD resolution and SD resolution is opposite to that described above, and the number of reference frames when encoding an HD resolution signal is the number of reference frames when encoding an SD resolution signal. It is possible to have more.
以上のように、本実施形態は、参照フレーム画像を記憶する参照フレームバッファ102と、前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段104〜113とを有する。前記参照フレームバッファ102は、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更する。
As described above, the present embodiment includes the
前記参照フレームバッファ102は、入力画像フレームが低解像度(SD解像度)のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度(HD解像度)のときの参照フレーム画像を記憶可能なフレーム数より多い。
The
また、前記参照フレームバッファ102は、入力画像フレームが低解像度のときの参照フレーム画像を記憶可能なフレーム数が、入力画像フレームが高解像度のときの参照フレーム画像を記憶可能なフレーム数より少なくしてもよい。
Further, the
(第2の実施形態)
本発明の第2の実施の形態による符号化装置を図1、図4に基づき説明する。第2の実施形態では入力信号の解像度に応じて符号化順序を変更する形態である。
(Second Embodiment)
An encoding apparatus according to the second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, the encoding order is changed according to the resolution of the input signal.
全体システム構成図は第1の実施形態と共通であるため図1と変わらない。よって図1の説明は第1の実施形態で述べてあるので省略する。またHD解像度の場合は図2ならびに第1の実施形態に示した方法で符号化を行うものとする。図4はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。 Since the overall system configuration diagram is the same as that of the first embodiment, it is not different from FIG. Therefore, the description of FIG. 1 is omitted since it has been described in the first embodiment. In the case of HD resolution, encoding is performed by the method shown in FIG. 2 and the first embodiment. FIG. 4 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.
本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。 An encoding method of the apparatus when the resolution of the image signal input to the apparatus is the SD resolution will be described.
図4において、F0〜F14は入力信号をフレーム単位で示したものであり、I0、P1、P2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像6枚分が保存可能なメモリ領域が必要となる。しかし、前述の通り、エンコード側で6枚分のメモリ領域を持つ必要はなく、6枚以下のメモリ量で符号化しても構わない。しかしながら、本装置はHD解像度画像を符号化するためのメモリ領域としてHD解像度4枚分のメモリ領域を既に持っているため、SD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度HD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。
4, F0 to F14 indicate input signals in units of frames, I0, P1, P2,... Are encoded pictures, and the target picture is encoded under each encoded picture. The
入力信号F0、F1、F2はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは第1の実施形態内に述べた通りである。次に、入力信号F3、F4、F5がフレームバッファ101に一旦保存されてフレームの並べ替えを行い、I0を参照ピクチャとしてF5を符号化してP1を生成する。このP1も後のフレームの参照ピクチャとして用いるためローカルデコードを行い参照フレームバッファ102に保存される。同様にF8からP2を生成してローカルデコード画像を参照フレームバッファ102に保存する。
The input signals F0, F1, and F2 are temporarily stored in the
次に、F0はローカルデコードされたI0、P1、P2を参照ピクチャとしてB1ピクチャを生成し、F1もローカルデコードされたI0、P1、P2を参照してB2ピクチャを生成する。この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコード画像を保存しながら符号化信号を形成していく。
Next, F0 generates a B1 picture using the locally decoded I0, P1, and P2 as reference pictures, and F1 also generates a B2 picture by referring to the locally decoded I0, P1, and P2. Thereafter, the same operation is repeated to form an encoded signal while storing the local decoded image in the
ここで、F10ならびにF14フレームを符号化する際の符号化順序を説明する。F14はPピクチャとして符号化するため、前方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みのI0、P1、P2、P7をローカルデコードした4枚の画像が保存されている。F14はそれらのピクチャを用いてP8の符号化を行うが、F14はPピクチャであり、次フレーム以降の参照ピクチャとして使用されるため、ローカルデコードを行い参照フレームバッファ102に保存される。
Here, the encoding sequence when encoding the F10 and F14 frames will be described. Since F14 is encoded as a P picture, the front encoded picture is used as a reference picture. At this time, four frames in which the encoded I0, P1, P2, and P7 are locally decoded are used in the
F10はBピクチャとして符号化するため、前方ならびに後方の符号化済みピクチャを参照ピクチャとして使用するが、その際、参照フレームバッファ102には符号化済みの、I0、P1、P2、P7、P8をローカルデコードした5枚の画像が保存されている。F10はそれらのピクチャを用いてB12の符号化を行う。
Since F10 is encoded as a B picture, the front and rear encoded pictures are used as reference pictures. At this time, the
図4は説明を簡略化するために1GOP分しか表示していないが、第1の実施形態と同様、当該GOPの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されており、オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
FIG. 4 shows only one GOP for the sake of simplification, but it is assumed that there are frames before and after the GOP as in the first embodiment. In the reference picture stored in the
以上のように最初にPピクチャだけを符号化しておいて、その後にBピクチャを符号化するような符号化順序で符号化を行うと、Pピクチャを符号化する際には常に前方6枚の画像を参照ピクチャとして使用する。そして、Bピクチャを符号化する際には後方2枚以上のピクチャを参照フレームとして使用できるようになる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。 As described above, if only the P picture is encoded first and then the encoding is performed in such an encoding order that the B picture is encoded, the six pictures in front always are encoded. Use the image as a reference picture. When a B picture is encoded, two or more backward pictures can be used as reference frames. Therefore, in encoding of P picture and B picture that perform inter-frame prediction, it is possible to use a frame that is temporally distant from the encoding target frame as a reference picture, so that the prediction efficiency can be greatly improved. Become.
なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度の符号化順序は上記で説明したものと逆でもよい。すなわち、HD解像度信号を符号化する時の符号化順序が上記で説明したSD解像度信号を符号化する時の符号化順序になり、SD解像度信号を符号化するときの符号化順序が上記で説明したHD解像度信号を符号化するときの符号化順序になることも可能である。 In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. Also, the encoding order of the HD resolution and the SD resolution may be reverse to that described above. That is, the encoding order when encoding the HD resolution signal is the encoding order when encoding the SD resolution signal described above, and the encoding order when encoding the SD resolution signal is described above. It is also possible to use the encoding order when encoding the HD resolution signal.
以上のように、本実施形態は、入力画像の解像度に応じて入力フレーム画像の符号化順序を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、複数のピクチャ単位で符号化を行い、低解像度(SD解像度)の入力画像を符号化するときに、フレーム内符号化画像(Iピクチャ)の符号化を行う。その後、前記複数のピクチャ内に含まれる順方向予測画像(Pピクチャ)の符号化を全て行い、その後、双方向予測画像(Bピクチャ)の符号化を行う。 As described above, this embodiment includes an encoding unit that encodes an input image by changing the encoding order of the input frame image in accordance with the resolution of the input image. The encoding means performs encoding in units of a plurality of pictures, and encodes an intra-frame encoded image (I picture) when encoding a low resolution (SD resolution) input image. Thereafter, all of the forward prediction images (P pictures) included in the plurality of pictures are encoded, and then the bidirectional prediction image (B picture) is encoded.
符号化手段は、複数のピクチャ単位で符号化を行い、高解像度の入力画像を符号化するときに、フレーム内符号化画像の符号化を行い、その後、複数のピクチャ内に含まれる順方向予測画像の符号化を全て行い、その後、双方向予測画像の符号化を行ってもよい。 The encoding unit performs encoding in units of a plurality of pictures, encodes an intra-frame encoded image when encoding a high-resolution input image, and then performs forward prediction included in the plurality of pictures. It is also possible to perform all of the image coding and then perform the bi-directional prediction image coding.
(第3の実施形態)
本発明の第3の実施の形態による符号化装置を図1、図5に基づき説明する。第3の実施形態では入力信号の解像度に応じてGOP(Group of Pictures)を形成するPピクチャの比率を変更する形態である。
(Third embodiment)
An encoding apparatus according to the third embodiment of the present invention will be described with reference to FIGS. In the third embodiment, the ratio of P pictures forming a GOP (Group of Pictures) is changed according to the resolution of the input signal.
全体システム構成図は第1の実施形態と共通であるため図1と変わらない。よって図1の説明は第1の実施形態で述べてあるので省略する。またHD解像度の場合は図2ならびに第1の実施形態に示した方法で符号化を行うものとする。図5はSD画像を本符号化装置で符号化する際の入力ピクチャと符号化ピクチャの関係を示す図である。なお、本装置の符号化方式はH.264/AVCであるとし、解像度がHDとSDの時での本装置の動作を示す。 Since the overall system configuration diagram is the same as that of the first embodiment, it is not different from FIG. Therefore, the description of FIG. 1 is omitted since it has been described in the first embodiment. In the case of HD resolution, encoding is performed by the method shown in FIG. 2 and the first embodiment. FIG. 5 is a diagram illustrating a relationship between an input picture and a coded picture when an SD image is encoded by the present encoding device. Note that the encoding method of this apparatus is H.264 / AVC, and the operation of this apparatus when the resolution is HD and SD is shown.
本装置に入力される画像信号の解像度がSD解像度である場合の本装置の符号化方法を説明する。 An encoding method of the apparatus when the resolution of the image signal input to the apparatus is the SD resolution will be described.
図5において、F0〜F8は入力信号をフレーム単位で示したものであり、I0、P1、P2・・・は符号化したピクチャであり、各符号化ピクチャの下には対象ピクチャを符号化する際に使用する参照フレームバッファ102を示したものである。なお、参照フレームバッファ102は入力画像がSD画像の場合、そのレベルは3であり(小数点以下はないものとする)、SD解像度画像6枚分が保存可能なメモリ領域が必要となるが、第2の実施形態と同様の理由でSD解像度6枚分のメモリ領域が十分ある。そのため、入力信号の解像度がSD解像度である場合はHD解像度HD解像度を符号化可能な領域である参照フレームバッファ102を有効利用して符号化を行う。
In FIG. 5, F0 to F8 indicate input signals in units of frames, I0, P1, P2,... Are encoded pictures, and the target picture is encoded below each encoded picture. The
入力信号F0〜F8はフレームバッファ101に一旦保存されてフレームの並べ替えが行われる。その後F2をIピクチャとして符号化してI0を生成する。その際、I0ピクチャは次フレーム以降の参照ピクチャとして使用されるため、本装置内部でローカルデコードされて参照フレームバッファ102に保存される。なお、ローカルデコードを行う仕組みは第1の実施形態内に述べた通りである。次に、F4はローカルデコードされたI0を参照ピクチャとしてP1を生成し、F6はローカルデコードされたI0、P1を参照ピクチャとしてP2を生成し、F8も同様にP3を生成する。その後F0はI0、P1、P2、P3を参照ピクチャとしてB4を生成し、この後も同様の動作を繰り返すことで参照フレームバッファ102にローカルデコード画像を保存しながら符号化信号を形成していく。
The input signals F0 to F8 are temporarily stored in the
ここで、F5を符号化する際の符号化順序を説明する。F5はBピクチャとして符号化するため、前方の符号化済みピクチャと後方の符号化済みピクチャを参照ピクチャとして使用する。しかし、その際、参照フレームバッファ102には符号化済みのI0、P1、P2、P3をローカルデコードした4枚の画像が保存されている。F5はそれらのピクチャを用いてB7の符号化を行う。
Here, the encoding order when encoding F5 will be described. Since F5 is encoded as a B picture, a front encoded picture and a rear encoded picture are used as reference pictures. However, at this time, the
図5は説明を簡略化するために短い1GOP分しか表示していないが、第1の実施形態と同様、当該GOPの前ならびに後ろにもフレームが続いてあるものとする。参照フレームバッファ102に保存されている参照ピクチャは表示したGOPより前のGOPに含まれるPピクチャなどをローカルデコードした画像が保存されており、オープンGOP構造の場合、GOPをまたいで参照することは容易に可能であるとする。また、今回示した例ではBピクチャを参照ピクチャに用いるようにしてはいないが、H.264/AVCではBピクチャを参照フレームに用いることが可能なのでBピクチャをローカルデコードして、そのピクチャを参照するような形態でも構わない。
FIG. 5 shows only one short GOP for the sake of simplicity, but it is assumed that there are frames before and after the GOP as in the first embodiment. In the reference picture stored in the
以上のようにGOPを構成するPピクチャの比率を変更すると、Pピクチャを符号化する際は常に前方最高6枚までのピクチャを参照して符号化を行う。Bピクチャを符号化する際は、GOPを形成するフレームの先頭から最後までのフレームを参照ピクチャとして符号化することが可能となる。よって、フレーム間予測を行うPピクチャならびにBピクチャの符号化において、符号化対象フレームから時間的に離れたフレームを参照ピクチャとして使用することが可能となるので大幅な予測効率の向上が行えることになる。 As described above, when the ratio of the P pictures constituting the GOP is changed, the encoding is always performed with reference to up to six pictures at the front when the P picture is encoded. When encoding a B picture, it is possible to encode a frame from the beginning to the end of a frame forming a GOP as a reference picture. Therefore, in encoding of P picture and B picture that perform inter-frame prediction, it is possible to use a frame that is temporally distant from the encoding target frame as a reference picture, so that the prediction efficiency can be greatly improved. Become.
なお、本実施形態ではHD解像度とSD解像度を例にとって説明したが、解像度はこの2つだけに限らない。また、HD解像度とSD解像度のPピクチャの比率は上記で説明したものと逆に、HD解像度信号を符号化する時のPピクチャの比率がSD解像度信号を符号化する時のPピクチャの比率よりも多くすることも可能である。 In the present embodiment, the HD resolution and the SD resolution have been described as examples. However, the resolution is not limited to these two. Further, the ratio of the P picture of the HD resolution and the SD resolution is opposite to that described above, and the ratio of the P picture when the HD resolution signal is encoded is more than the ratio of the P picture when the SD resolution signal is encoded. Can also be increased.
以上のように、本実施形態は、入力画像の解像度に応じてピクチャタイプ構成比を変更して入力画像を符号化する符号化手段を有する。前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像(Pピクチャ)の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも多くなるように符号化する。低解像度は、例えばSD解像度である。 As described above, this embodiment includes an encoding unit that encodes an input image by changing the picture type configuration ratio according to the resolution of the input image. When the encoding means encodes a low-resolution input image in GOP units, the ratio of forward predicted images (P pictures) constituting the GOP is the GOP when encoding a high-resolution input image. Are encoded so as to be larger than the ratio of the forward-predicted images. The low resolution is, for example, the SD resolution.
また、前記符号化手段は、GOP単位で低解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率が、高解像度の入力画像を符号化するときに前記GOPを構成する順方向予測画像の比率よりも少なくなるように符号化してもよい。 Further, the encoding means configures the GOP when encoding a high-resolution input image such that a ratio of forward prediction images configuring the GOP when encoding a low-resolution input image in GOP units. The encoding may be performed so as to be smaller than the ratio of the forward prediction images.
以上詳述したように、第1〜第3の実施形態によれば、様々な解像度信号を符号化可能な本符号化装置において、フレーム間符号化を行う際の参照ピクチャの管理方法を入力画像の解像度に応じて変更する。これにより、メモリを有効利用して、多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。 As described above in detail, according to the first to third embodiments, in the present encoding apparatus capable of encoding various resolution signals, a reference picture management method when performing interframe encoding is described as an input image. Change according to the resolution. As a result, it is possible to generate a high-quality encoded signal by effectively using the memory and performing encoding while referring to many frames.
また本装置において、フレーム間符号化を行う際の符号化順番を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。 Also, in this device, by changing the coding order when performing interframe coding according to the resolution of the input image, coding is performed while referring to many frames using the memory effectively, and high-quality coding is performed. Can be generated.
また本装置において、GOPを形成するPピクチャの比率を入力画像の解像度に応じて変更することで、メモリを有効利用して多くのフレームを参照しながら符号化を行い、高画質符号化信号を生成することが可能となる。 In this device, by changing the ratio of P pictures that form a GOP according to the resolution of the input image, encoding is performed while referring to many frames using the memory effectively, and high-quality encoded signals are converted. Can be generated.
なお、符号化手段は、H.264符号化方式で符号化してもよいし、MPEG符号化方式で符号化してもよい。上記実施形態の符号化装置は、光ディスクや磁気テープを記録媒体にもつデジタルビデオカメラ等の符号化装置に適用することができる。 The encoding means is H.264. It may be encoded by the H.264 encoding method or may be encoded by the MPEG encoding method. The encoding device of the above embodiment can be applied to an encoding device such as a digital video camera having an optical disk or a magnetic tape as a recording medium.
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
101 フレームバッファ
102 参照フレームバッファ
104 動き予測部
105 動き補償部
106 イントラ予測部
107 直交変換部
108 量子化部
109 エントロピー符号化部
110 逆量子化部
111 逆直交変換部
113 スイッチ
101
Claims (18)
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化手段とを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化装置。 A reference frame buffer for storing a reference frame image;
Encoding means for encoding an input frame image using a reference frame image in the reference frame buffer;
The encoding apparatus according to claim 1, wherein the reference frame buffer changes the number of frames in which the reference frame image can be stored according to the resolution of the input frame image.
前記参照フレームバッファ内の参照フレーム画像を用いて入力フレーム画像を符号化する符号化ステップとを有し、
前記参照フレームバッファは、入力フレーム画像の解像度に応じて参照フレーム画像を記憶可能なフレーム数が変更することを特徴とする符号化方法。 Storing a reference frame image in a reference frame buffer;
An encoding step of encoding an input frame image using a reference frame image in the reference frame buffer;
The encoding method according to claim 1, wherein the reference frame buffer changes the number of frames in which the reference frame image can be stored according to the resolution of the input frame image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005364048A JP2007166555A (en) | 2005-12-16 | 2005-12-16 | Encoding device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005364048A JP2007166555A (en) | 2005-12-16 | 2005-12-16 | Encoding device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007166555A true JP2007166555A (en) | 2007-06-28 |
Family
ID=38248893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005364048A Pending JP2007166555A (en) | 2005-12-16 | 2005-12-16 | Encoding device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007166555A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012169765A (en) * | 2011-02-10 | 2012-09-06 | Canon Inc | Encoder |
JP2021061501A (en) * | 2019-10-04 | 2021-04-15 | シャープ株式会社 | Moving image conversion device and method |
-
2005
- 2005-12-16 JP JP2005364048A patent/JP2007166555A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012169765A (en) * | 2011-02-10 | 2012-09-06 | Canon Inc | Encoder |
JP2021061501A (en) * | 2019-10-04 | 2021-04-15 | シャープ株式会社 | Moving image conversion device and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
JP4324844B2 (en) | Image decoding apparatus and image decoding method | |
JP4014263B2 (en) | Video signal conversion apparatus and video signal conversion method | |
JP2012502592A (en) | Decoding system and method using parallel processing | |
JP2000270332A (en) | Method and device for encoding dynamic picture | |
WO2009139123A1 (en) | Image processor and imaging device using the same | |
WO2014010224A1 (en) | Video compression device, video decoding device, image compression device, image decoding device, imaging device, and program | |
JP2001285876A (en) | Image encoding device, its method, video camera, image recording device and image transmitting device | |
WO1993003578A1 (en) | Apparatus for coding and decoding picture signal with high efficiency | |
JP4616057B2 (en) | Image coding apparatus and image coding method | |
KR100824161B1 (en) | Image processing apparatus | |
WO1993013626A1 (en) | Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium | |
US20160134888A1 (en) | Video encoding apparatus, video encoding method, video decoding apparatus, and video decoding method | |
JP3676525B2 (en) | Moving picture coding / decoding apparatus and method | |
JP4185014B2 (en) | VIDEO ENCODING METHOD, VIDEO ENCODING DEVICE, VIDEO ENCODING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM, AND VIDEO DECODING METHOD, VIDEO DECODER, VIDEO DECODED PROGRAM, AND COMPUTER-READABLE RECORDING THE PROGRAM recoding media | |
JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
JP2007166555A (en) | Encoding device and method | |
JP2009218965A (en) | Image processor, imaging device mounted with the same and image reproduction device | |
WO2016047375A1 (en) | Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method | |
JP5974691B2 (en) | MOVING IMAGE COMPRESSION DEVICE, IMAGING DEVICE, AND PROGRAM | |
JP2011055023A (en) | Image encoding device and image decoding device | |
JP2012169765A (en) | Encoder | |
JPH0698311A (en) | High efficiency coding and decoding device for picture signal | |
JP2018129753A (en) | Image encoder, image decoder, control method thereof, and control program | |
JP2005323393A (en) | Moving image encoding method and apparatus |