JP2010098633A - Prediction coding apparatus, and prediction coding method - Google Patents
Prediction coding apparatus, and prediction coding method Download PDFInfo
- Publication number
- JP2010098633A JP2010098633A JP2008269422A JP2008269422A JP2010098633A JP 2010098633 A JP2010098633 A JP 2010098633A JP 2008269422 A JP2008269422 A JP 2008269422A JP 2008269422 A JP2008269422 A JP 2008269422A JP 2010098633 A JP2010098633 A JP 2010098633A
- Authority
- JP
- Japan
- Prior art keywords
- divided
- encoding
- image
- image signals
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画素数の大きい動画像信号を符号化するために、動画像を分割してN系統の符号化回路を用いて並列に符号化を行い、出力されるN系統の符号化ストリームを統合する並列符号化装置とその方法に関するものである。 In the present invention, in order to encode a moving image signal having a large number of pixels, a moving image is divided and encoded in parallel using N encoding circuits, and the output N encoded streams are output. The present invention relates to a parallel encoding apparatus to be integrated and a method thereof.
近年、表示デバイスの大型化により、高品位テレビジョン(HDTV:High Definition TeleVision)信号のような高精細な画像信号を、符号化/復号化するAV機器が必要とされている。今後、さらに、4K2Kサイズのような超高精細な画像信号を扱う必要も容易に予想される。その際、画素数の増加により、非常に高速な符号化処理が要求されるため、実現が難しい事に加えて非常に高価な装置となる。そのため、現状、普及している安価な符号化用LSIを用いて、HDTV信号を複数の画像信号に分割して、複数の符号化用LSIで並列に符号化することにより、安価にシステムを構成することができる。 In recent years, with the increase in the size of display devices, AV equipment for encoding / decoding high-definition image signals such as high definition television (HDTV) signals is required. In the future, the need to handle ultra high-definition image signals such as 4K2K size is also expected. At that time, since the number of pixels increases, a very high-speed encoding process is required, so that it is difficult to realize and an extremely expensive device. Therefore, the system can be configured at low cost by dividing the HDTV signal into a plurality of image signals and encoding them in parallel with the plurality of encoding LSIs using an inexpensive encoding LSI that is currently popular. can do.
図10〜図13を用いて、従来システムの動作を説明する。 The operation of the conventional system will be described with reference to FIGS.
図10は特許文献1に記載された、従来の動画像符号化システムの構成を示すブロック図である。図10において、動画像符号化装置1000は、画面分割装置1010、第1〜第4の分割画像符号化装置1020-1〜1020-4、符号化ストリーム統合装置1030、および制御装置1040を有する。動画像符号化装置1000には、入力動画像信号VIDEOとして、図12に示すようなHDTV信号が入力される。このHDTV信号は、輝度信号の構成が横1920画素×縦1080ラインで、色差信号の構成が横960画素×縦1080ラインあるような、4:2:2形式のインターレース信号である。
FIG. 10 is a block diagram showing a configuration of a conventional moving picture coding system described in
画面分割装置1010は以下に述べる入力動画像信号VIDEOのサイズ変更を行う。画面分割装置1010は、まず、入力動画像信号VIDEOの各フレーム画像を、フィルタ処理により輝度信号を横方向1440画素に、色差信号を横方向に720画素に変換する。MPEG2の規格ではインターレース画像では縦方向のライン数は32の倍数でなければならないと決められている。従って、画面分割装置1010は次いで、輝度信号、色差信号とも画像の下にそれぞれ8ラインのダミーデータを付け、1088ラインとする。画面分割装置1010は上記のようにサイズの変更処理後、1画面の入力動画像信号VIDEOを、図12に示すように、輝度信号の構成が各々、縦720画素×縦544ラインとなるような4つの領域A、B、C、Dに分割する。そして、画面分割装置1010は、各分割領域の画像信号を第1〜第4の分割画像符号化装置1020-1〜1020-4に出力する。4つの領域A,B,C,Dに分割された画像信号(以下、分割画像信号VIDEO−A、VIDEO−B、VIDEO−C、VIDEO−D)にする。分割画像信号VIDEO−A,−B,−C,−Dのそれぞれは、複数のマクロブロックからなる。各マクロブロックには複数の画像信号が含まれている。たとえば、1マクロブロックの大きさを16画素×16画素とすると、1個の分割画像信号は720/16×544/16=45×34個のマクロブロックから構成される。
The screen dividing
第1〜第4の分割画像符号化装置1020-1〜1020-4はそれぞれ入力された分割画像信号VIDEO−A,−B,−C,−Dを、MPEG2により符号化して、ビデオストリーム統合装置1040に出力する。その際、各分割画像符号化装置1020-i(i=1〜4)において、対応する分割画像信号VIDEO−A,−B,−C,−Dを構成する各マクロブロックに対して、分割境界との位置関係に応じて符号化条件を決定し符号化を行なう。その際、各分割画像符号化装置1020-i(i=1〜4)は分割した境界との位置関係に応じて、符号化マクロブロックタイプ、および量子化スケールコード(Qスケールコード)を決定する。 The first to fourth divided image encoding devices 1020-1 to 1020-4 encode the input divided image signals VIDEO-A, -B, -C, -D according to MPEG2, respectively, and a video stream integrating device. Output to 1040. At that time, in each divided image encoding device 1020-i (i = 1 to 4), for each macroblock constituting the corresponding divided image signal VIDEO-A, -B, -C, -D, a division boundary is set. Encoding conditions are determined according to the positional relationship between and. At that time, each divided image encoding device 1020-i (i = 1 to 4) determines an encoding macroblock type and a quantization scale code (Q scale code) according to the positional relationship with the divided boundaries. .
第1〜第4の分割画像符号化装置1020-1〜1020-4は同じ構成をしており、各分割画像符号化装置1020-i(i=1〜4)の構成を図11に示す。分割画像符号化装置1020-i(i=1〜4)は高性能が要求されない一般的な、MPEG2−MP@MLのエンコーダとして構成されている。 The first to fourth divided image encoding devices 1020-1 to 1020-4 have the same configuration, and the configuration of each divided image encoding device 1020-i (i = 1 to 4) is shown in FIG. The divided image encoding device 1020-i (i = 1 to 4) is configured as a general MPEG2-MP @ ML encoder that does not require high performance.
図11に示す分割画像符号化装置1020-i(i=1〜4)は、画面並び換え部1121、減算器1122、離散コサイン変換処理部(DCT処理部)1123、量子化部1124、可変長符号化部1125、バッファ1126、レート制御部1127、逆量子化部1128、逆DCT処理部1129、加算器1130、フレームメモリ1131、動き補償予測部1132、および分割画像符号化装置内制御部1133を有する。
A divided image encoding device 1020-i (i = 1 to 4) illustrated in FIG. 11 includes a
図11に示した分割画像符号化装置1020-i(i=1〜4)の基本的な動作を説明する。 A basic operation of the divided image encoding device 1020-i (i = 1 to 4) shown in FIG. 11 will be described.
分割画像符号化装置1020-i(i=1〜4)は、画面分割装置1010から順次入力されるピクチャごとの各分割画像信号に対して、図示しないフォーマット変換部において4:2:2形式から4:2:0形式に変換する。そして、画面並び換え部1121において符号化ピクチャタイプに合わせて画像信号を並べ替え、符号化順にDCT処理部1123においてDCT処理を行なう。
The divided image encoding device 1020-i (i = 1 to 4) converts each divided image signal for each picture sequentially input from the screen dividing
ピクチャタイプがPあるいはBピクチャであって、マクロブロックタイプがイントラマクロブロックでない場合、減算器1122は画面並べ替え部1121で並べ替えた信号から動き補償予測部1132の信号を減じて予測誤差を検出する。DCT処理部1123は予測誤差をDCT処理してDCT係数を算出する。量子化部1124はDCT処理部1123で得られたD11T係数を量子化し、可変長符号化部1125は量子化結果を動きベクトルおよび符号化モード情報とともに可変長符号化し、バッファ1126がその結果を蓄積する。ピクチャタイプがIピクチャおよびPピクチャの場合には、後でピクチャを動き補償予測の参照画面として用いる必要がある。そのため、上述した画面並べ替え部1121、減算器1122、DCT処理部1123、量子化部1124、可変長符号化部1125およびバッファ1126における処理の他に、復号装置が行う処理に類似した下記の処理が行われる。
When the picture type is a P or B picture and the macroblock type is not an intra macroblock, the
逆量子化部1128は量子化結果を逆量子化して、量子化部1124に入力される前のDCT係数に該当するDCRT係数を算出する。逆DCT部1129は逆量子化結果を逆DCT処理してDCT処理部1123に入力される前の予測誤差に該当する値を算出する。加算器1130はDCT処理部1123の結果と動き補償予測部1132の結果とを加算して、減算器1122に入力される前の画面並べ替え部1121の出力に該当する信号を算出し、加算結果がフレームメモリ1131に記憶する。フレームメモリ1131に記憶された画像は動き補償予測部1132において動き補償が予測されて、その結果が加算器1130、および減算器1122に入力される。上述した分割画像符号化装置A20-i(i=1〜4)の各部の処理は、分割画像符号化装置A20-i(i=1〜4)内の制御部1133により制御される。
The
上述した動作を行なう分割画像符号化装置1020-i(i=1〜4)において、下記の方法により、符号化マクロブロックタイプの決定および量子化スケールコードの決定を行なう。 In the divided image encoding apparatus 1020-i (i = 1 to 4) performing the above-described operation, the encoding macroblock type and the quantization scale code are determined by the following method.
分割画像符号化装置1020i(i=1〜4)は符号化マクロブロックタイプについて、入力動画像信号VIDEOを分割したときの分割境界からの位置に応じて、イントラ化の程度を決定していく。入力動画像信号VIDEOを分割した際の分割境界に接するマクロブロック、および、その次のマクロブロックの符号化マクロブロックタイプを、強制的にイントラマクロブロックとする。なお、分割境界に接するマクロブロックとしては、最小1マクロブロック、必要に応じて、数マクロブロックまで拡大することができる。入力動画像信号VIDEOの分割境界から遠ざかる方向の各マクロブロックについては、強制的にイントラマクロブロックにする比率(%)を順に下げながらも、所定の分布および所定のイントラ化の程度でイントラマクロブロックとしていく。この制御は、縦横方向の分割境界に対して同様の処理を行なう。また、この処理はPピクチャに対するものであるが、Bピクチャに対しても同様に処理を行うものとする。ただし、Iピクチャのマクロブロックはすべてイントラマクロブロックなので実質的にこの処理は行なわない。 The divided image encoding device 1020i (i = 1 to 4) determines the degree of intra conversion for the encoded macroblock type according to the position from the division boundary when the input moving image signal VIDEO is divided. The macroblock that is in contact with the division boundary when the input moving image signal VIDEO is divided and the encoded macroblock type of the next macroblock are forcibly set to the intra macroblock. It should be noted that the macroblocks that are in contact with the division boundary can be expanded to a minimum of one macroblock and, if necessary, several macroblocks. For each macroblock in the direction away from the division boundary of the input moving image signal VIDEO, the intra macroblock is forced to have a predetermined distribution and a predetermined degree of intra-motion while sequentially decreasing the ratio (%) of forcibly setting the intra-macroblock. Go on. In this control, the same processing is performed on the division boundaries in the vertical and horizontal directions. This process is for a P picture, but the same process is performed for a B picture. However, since all macroblocks of the I picture are intra macroblocks, this processing is not substantially performed.
分割画像符号化装置1020-i(i=1〜4)における量子化スケールコードの決定は、制御部1033が分割画像符号化装置1020-i(i=1〜4)の各部を制御して行なわれる。 Determination of the quantization scale code in the divided image encoding device 1020-i (i = 1 to 4) is performed by the control unit 1033 controlling each unit of the divided image encoding device 1020-i (i = 1 to 4). It is.
分割画像符号化装置1020-i(i=1〜4)内の量子化部1124は、入力動画像信号VIDEOについて分割境界をはさむマクロブロックの、量子化スケールコード(Qスケールコード)あるいは量子化スケール(Qスケール)を下げる。量子化部1124は、分割境界から離れた列のマクロブロックについても、分割境界から離れるにつれて、下げるQスケールコードあるいはQスケールの大きさが徐々に小さくなるように、各QスケールコードあるいはQスケールを下げる。逆に、分割境界からある程度以上離れたマクロブロックにおいては、量子化部1124はQスケールコードあるいはQスケールを上げる。
The
ビデオストリーム統合装置1030は、分割画像符号化装置1020-1〜1020-4から出力される4つのMPEG2−MP@MLのビデオストリームを合成し、MPEG2−MP@HLのビデオストリームを生成する。なお、720×544,30フレーム/秒は、サンプル数がMP@MLの上限をわずかに越えるが、ここでは便宜上MP@MLと記す。即ち、ビデオストリーム統合装置1040は、4つのMPEG2−MP@MLのビデオストリームをスライス単位で分解し、それらを1つのビデオストリームに再構成することにより、1つのMPEG2−MP@HLのビデオストリームを得る。
The video
制御装置1040は、動画像符号化装置A00が上述した所望の動作をするように、各構成部を制御する。
従来システムのは、1画面を所定の方法で一律に分割し、複数に分割した画像について複数の画像符号化装置が並行して独立に符号化を行う。このため、画像の分割境界において画像が不連続となり、結果的に分割領域における符号化画像の品質が低下するという課題に遭遇する。その課題に対して、前記特許文献1で実施されている従来の構成において、分割境界でのマクロブロックタイプ決定制御、分割境界でのQスケール制御によるレート制御により、分割境界での画素の不連続性を解消する方法が提案されていたが、上述の制御は、ピクチャタイプがI-ピクチャの場合には、実質的に適用されず、やはり分割境界における符号化画像の品質が低下するという課題に遭遇する。
In the conventional system, one screen is uniformly divided by a predetermined method, and a plurality of image coding apparatuses independently code the divided images in parallel. For this reason, the image becomes discontinuous at the division boundary of the image, and as a result, the problem that the quality of the encoded image in the divided region is lowered is encountered. In order to solve this problem, in the conventional configuration implemented in
また、近年、MPEG4-AVC/H.264符号化が採用されたAV機器が増えており、この符号化規格が採用している画面内予測符号化においても、画像を分割した境界での、符号化画像の品質低下という同様の課題に遭遇する。 In recent years, the number of AV devices that employ MPEG4-AVC / H.264 coding has increased, and even in intra-screen predictive coding employed by this coding standard, A similar problem of reduced quality of the digitized image is encountered.
図13において、入力画像を4分割した例を示す。MPEG4-AVC/H.264における画面内予測処理は、符号化対象マクロブロックに隣接する上および左のマクロブロックが画素情報を用いて予測処理を行う。フレームの境界に位置するマクロブロックについては、境界外に画素が存在しないため、画素が存在する部分のみを用いて予測処理が行われる。従って、4分割した分割画像の斜線部分のマクロブロックは隣接マクロブロック情報がないため、符号化効率が低下し、画質劣化が起こる。そのため、復号後の4分割画像を再度結合した場合、分割境界が現れてしまう。 FIG. 13 shows an example in which the input image is divided into four. In the intra-screen prediction process in MPEG4-AVC / H.264, the upper and left macroblocks adjacent to the encoding target macroblock perform the prediction process using the pixel information. For the macroblock located at the boundary of the frame, since there is no pixel outside the boundary, the prediction process is performed using only the portion where the pixel exists. Accordingly, since the macroblocks in the hatched portion of the divided image divided into four do not have adjacent macroblock information, the coding efficiency is lowered and the image quality is deteriorated. For this reason, when the decoded four-divided images are combined again, a division boundary appears.
本発明は、前記従来の課題を解決するもので、HDTV信号以上の高精細な動画像信号に対して、フレームを分割して符号化する際に、分割境界付近に発生する符号化画像画質の不連続を低減または除去して、全体の符号化画像の画質を実質的に低下させることなく符号化することのできる予測符号化装置を提供することを目的とする。 The present invention solves the above-described conventional problems. When a frame is divided and encoded for a high-definition moving image signal higher than an HDTV signal, the encoded image quality generated near the division boundary is reduced. It is an object of the present invention to provide a predictive coding apparatus that can perform coding without reducing or eliminating discontinuities and substantially reducing the image quality of the entire coded image.
本発明は以上の点を考慮してなされたもので、
請求項1の発明に係る予測符号化装置は、分割領域反転手段を備える。この構成において、入力フレーム信号をN領域に画面分割してN系統の符号化手段に入力する際に、画面内予測処理に必要な参照画素領域を考慮して画面分割を行い、その分割フレームを上下左右に反転することにより、分割境界における画面内予測符号化効率を向上させることが可能となる。
The present invention has been made in consideration of the above points,
The predictive coding apparatus according to the first aspect of the present invention includes divided region inversion means. In this configuration, when the input frame signal is divided into N regions and input to N systems of encoding means, the screen is divided in consideration of the reference pixel region necessary for the intra prediction process, and the divided frames are divided. By flipping up, down, left and right, it is possible to improve the intra prediction encoding efficiency at the division boundary.
請求項2の発明に係る予測符号化装置は、予測モード制御手段を備える。この構成において、符号化ストリームに挿入する分割境界における画面内予測モード情報のビット量を削減することができ、分割境界における画面内予測符号化効率を向上させることが可能となる。
The predictive coding apparatus according to the invention of
請求項3の発明に係る予測符号化装置は、分割画像回転手段を備える。この構成において、すべての方向からの画面内予測符号化を行い、符号化効率向上に最適な分割画像の予測方向を選択することができ、分割境界における画面内予測符号化効率を向上させることが可能となる。 A predictive coding apparatus according to a third aspect of the present invention includes divided image rotation means. In this configuration, intra prediction encoding from all directions can be performed, the optimal prediction direction of the divided image can be selected for improving the encoding efficiency, and the intra prediction encoding efficiency at the division boundary can be improved. It becomes possible.
請求項4の発明に係る予測符号化装置は、予測参照領域制御手段を備える。この構成において、画面内予測符号化に必要な参照画素領域を前フレームの同じ位置のマクロブロック情報から取得することにより、参照画素領域を符号化することなく、分割境界における画面内予測符号化効率を向上させることが可能となる。 According to a fourth aspect of the present invention, there is provided a predictive coding apparatus comprising predictive reference region control means. In this configuration, by obtaining the reference pixel area necessary for intra prediction encoding from the macroblock information at the same position in the previous frame, the intra prediction encoding efficiency at the division boundary without encoding the reference pixel area. Can be improved.
本発明の予測符号化装置によれば、画像を分割して並列に符号化を行う際、分割境界の画素不連続性を損なうことなく、画面内予測符号化を行うことができるため、分割境界における予測符号化効率を向上させることができる。 According to the predictive encoding device of the present invention, when an image is divided and encoded in parallel, intra-screen predictive encoding can be performed without impairing pixel discontinuity at the division boundary. Predictive coding efficiency can be improved.
以下本発明の実施の形態について、図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(実施の形態1)
本発明の実施の形態を説明するにあたって、図1〜図9を用いて説明する。
(Embodiment 1)
The embodiments of the present invention will be described with reference to FIGS.
図1は、本発明の実施の形態1における予測符号化装置100のブロック図である。
FIG. 1 is a block diagram of a
図示しない画像入力手段から入力される画像信号はフレームバッファ170に保持される。本実施の形態において、入力画像サイズは4K2K画像信号(4096画素x2048画素)を例に説明を行う。図1に示すように、この予測符号化装置100は、フレームバッファ170に入力される画像信号を符号化する。バッファ170に入力された画像信号は画面分割手段110によって、N個の分割画像信号に分割され、フレームバッファ150-i(i=1〜4)に保持される。図4に画面分割手段110によってN個の分割画像に分割された分割画像を示す。図4において、N個に分割された分割画像のサイズは、縦横共に1マクロブロックサイズ大きいサイズに分割され、各々の分割画像401-i(i=1〜4)は隣接する分割画像間でオーバーラップする領域を有する。分割された分割画像401-i(i=1〜4)は分割領域反転手段160-i(i=1〜4)によって、隣接する分割画像間のオーバーラップ領域が左および上に位置するように上下、左右、もしくは上下左右に反転される。
An image signal input from an image input unit (not shown) is held in the frame buffer 170. In the present embodiment, the input image size will be described by taking a 4K2K image signal (4096 pixels × 2048 pixels) as an example. As shown in FIG. 1, the
図5において、画面分割手段110によってN個に分割された分割画像401-i(i=1〜4)は、分割領域反転手段160-i(i=1〜4)によって反転された分割画像501-i(i=1〜4)になる。次に、各々反転された分割画像501-i(i=1〜4)は、分割画像符号化手段102-i(i=1〜4)によって符号化される。 In FIG. 5, the divided images 401-i (i = 1 to 4) divided into N pieces by the screen dividing means 110 are divided into the divided images 5001 reversed by the divided area reversing means 160-i (i = 1 to 4). -i (i = 1 to 4). Next, the inverted divided images 501-i (i = 1 to 4) are encoded by the divided image encoding means 102-i (i = 1 to 4).
図2に分割画像符号化手段102-i(i=1〜4)の処理ブロックを示す。 FIG. 2 shows processing blocks of the divided image encoding means 102-i (i = 1 to 4).
図2に示す分割画像符号化手段102-i(i=1〜4)は、減算器221、直交変換部222、量子化部223、可変長符号化部224、バッファ225、レート制御部226、逆量子化部227、逆直交変換部228、加算器229、デブロックフィルタ部2210、フレームメモリ2211、動き補償予測部2212、画面内予測部2213、および予測モード制御部2214を有する。
The divided image encoding means 102-i (i = 1 to 4) shown in FIG. 2 includes a
図2に示した分割画像符号化手段102-i(i=1〜4)の基本的な動作を説明する。分割画像符号化手段102-i(i=1〜4)は、分割領域反転手段160-i(i=1〜4)から順次入力されるピクチャごとの各分割画像信号に対して、直交変換部222において直交変換処理を行なう。ピクチャタイプがP-ピクチャであって、マクロブロックタイプがイントラマクロブロックでない場合には、減算器221は分割画像信号から動き補償予測部2212の画像信号を減じて動き補償予測画像との予測誤差を検出する。直交変換部222は予測誤差を直交変換処理して変換係数を算出する。量子化部223は直交変換部222で得られた変換係数を量子化し、可変長符号化部224は量子化結果を動きベクトルおよび符号化モード情報とともに可変長符号化し、バッファ225がその結果を蓄積する。
The basic operation of the divided image encoding means 102-i (i = 1 to 4) shown in FIG. 2 will be described. The divided image encoding unit 102-i (i = 1 to 4) is an orthogonal transform unit for each divided image signal for each picture sequentially input from the divided region inversion unit 160-i (i = 1 to 4). At 222, orthogonal transform processing is performed. When the picture type is a P-picture and the macroblock type is not an intra macroblock, the subtractor 2221 subtracts the image signal of the motion compensated
ピクチャタイプがI-ピクチャおよびP-ピクチャの場合には、後でピクチャを動き補償予測の参照画面として用いる必要がある。このため、上述した減算器221、直交変換部222、量子化部223、可変長符号化部224およびバッファ225における処理の他に、復号装置が行う処理に類似した下記の処理が行われる。逆量子化部227は量子化結果を逆量子化して量子化部223に入力される前の直交変換係数を算出する。逆直交変換部228は逆量子化結果を逆直交変換処理して直交変換部222に入力される前の予測誤差に該当する値を算出する。インターマクロブロックなら、加算器229は直交変換部222の結果と動き補償予測部2212の結果とを加算して、減算器221に入力される前の分割画像信号の出力に該当する信号を算出し、結果をフレームメモリ2211に記憶する。イントラマクロブロックなら、加算器229は直交変換部222の結果と画面内予測部2213の結果とを加算して、減算器221に入力される前の分割画像信号の出力に該当する信号を算出し、加算結果をフレームメモリ2211に記憶する。
When the picture types are I-picture and P-picture, it is necessary to use the picture later as a reference screen for motion compensation prediction. For this reason, the following processing similar to the processing performed by the decoding apparatus is performed in addition to the processing in the
フレームメモリ2211に記憶された画像は、インターマクロブロックであれば動き補償予測部2212において動き補償が予測されて、その結果が加算器229および減算器221に入力される。また、イントラマクロブロックであれば画面内予測部2213において隣接画素による画面内予測がされて、その結果が加算器229および減算器221に入力される。
If the image stored in the
上述した画面内予測部2213の処理は、予測モード制御手段2214により制御される。
The processing of the
図6、図7を用いて画面内予測処理を説明する。図6において符号化対象マクロブロックMBxの画面内予測は、符号化対象マクロブロックMBxの左隣接マクロブロックMBaと上隣接マクロブロックMBbの画素情報を用いて行われる。8方向からの予測モードにより、符号化対象MBxの残差情報が生成される。図7において、Block1は垂直予測モード(=0)、Block2は水平予測モード(=1)が行われることを図示している。隣接するマクロブロックがない画像領域境界のマクロブロックの予測モードは、DC予測モード(=2)に決定されることがMPEG4-AVC/H.264符号化規格で定義されている。DC予測モードは、存在する隣接画素の平均値を予測値として残差情報が生成される。また、全く隣接画素が存在しない、左上の画像領域境界のDC予測モードは、128を予測値として残差情報が生成される。そのため、画像領域周辺の予測符号化効率が低下していた。しかし、本実施形態では、縦横共に1マクロブロックサイズ大きいサイズに分割し、拡張領域が分割画像領域の左および上に位置するように、分割領域反転手段160-i(i=1〜4)によって、上下、左右、もしくは上下左右に反転される。拡張領域を画面内予測処理に用いることができるため、図6において、符号化対象マクロブロックMBxの左側および上側のブロックの予測モードはDC予測以外の符号化モードを選択することができ、符号化効率の向上が可能となる。また、画面内予測モードを符号化する際、予測モードの情報ビットが極力発生させないように、符号化対象マクロブロックの予測モードは、左と上に隣接するマクロブロックの予測モードを元に符号化される。符号化対象マクロブロックの予測モードが、周辺の隣接マクロブロックの、予測モードの最小値と一致する場合、余分なビットは発生しない。しかし、周辺の隣接マクロブロックよりも大きい予測モードが発生した場合、符号化ストリームにはrem_intra4x4_pred_modeという3ビットの符号化情報が挿入される。従って、画像を分割する際に拡張した1マクロブロック領域における境界ブロックより内側のブロックに関しては、DC予測モードより小さい予測モードが発生するように予測モード制御部2214は画面内予測部2213を制御する。DC予測モードより小さい予測モードとは、具体的には、0:垂直予測、1:水平予測、2:DC予測である。
The in-screen prediction process will be described with reference to FIGS. In FIG. 6, intra prediction of the encoding target macroblock MBx is performed using pixel information of the left adjacent macroblock MBa and the upper adjacent macroblock MBb of the encoding target macroblock MBx. Residual information of the encoding target MBx is generated by the prediction mode from eight directions. In FIG. 7,
次に、図3において、分割領域回転手段F60-i(i=1〜4)について説明する。図3は図1における分割領域反転手段160-i(i=1〜4)を置き換えたものである。前述した分割領域反転手段160-i(i=1〜4)は分割した画像領域を拡張領域が左上に位置するように、各々の分割画像を上下および/または左右に反転することを行った。しかし、場合によっては、全ての予測方向を行った上で一番符号化効率の良い符号化方向を選択するほうが符号化効率が向上する場合がある。そのため、図8に示すように、分割領域回転手段360-i(i=1〜4)は分割画像領域を90度毎に回転させて画面内予測符号化を行うことが可能となる。 Next, in FIG. 3, the divided area rotating means F60-i (i = 1 to 4) will be described. FIG. 3 replaces the divided region inversion means 160-i (i = 1 to 4) in FIG. The above-described divided region inversion means 160-i (i = 1 to 4) inverts each divided image up and down and / or left and right so that the divided image region is positioned at the upper left. However, in some cases, encoding efficiency may be improved by selecting the encoding direction with the highest encoding efficiency after performing all prediction directions. Therefore, as shown in FIG. 8, the divided region rotating means 360-i (i = 1 to 4) can perform the intra prediction encoding by rotating the divided image region every 90 degrees.
次に、図9において、予測参照領域制御手段について説明する。 Next, the prediction reference area control means will be described with reference to FIG.
前述した画面内予測処理に用いる参照画像領域は、同じフレーム内の、違う分割画像領域の画素情報を用いていた。そのため、復号化の際の参照画素領域は同じフレームの符号化データから再構成する必要があるため、符号化の際には拡張画素領域も含めて符号化を行う必要があった。そこで、予測参照領域を前フレームの同じ位置のマクロブロック情報から取得すること、つまり、既に符号化済のフレーム情報を用いることで、余分な予測参照領域を符号化する必要がなくなる。図9において、斜線領域901-1が本来符号化すべき符号化領域であり、画面内予測処理には、1マクロブロック拡張した901-2領域が必要である。その領域を前フレーム(N-1)の901-3領域から取得することで、斜線部分901-4領域のみ符号化を行えば、復号化の際の参照画素領域は既に復号済の前フレームの再構成された画素情報を使用することができる。 The reference image area used for the intra-screen prediction process described above uses pixel information of different divided image areas in the same frame. Therefore, since it is necessary to reconstruct the reference pixel area at the time of decoding from the encoded data of the same frame, it is necessary to perform the encoding including the extended pixel area at the time of encoding. Therefore, by acquiring the prediction reference area from the macroblock information at the same position of the previous frame, that is, by using already encoded frame information, it is not necessary to encode an extra prediction reference area. In FIG. 9, a hatched area 901-1 is an encoding area that should be encoded originally, and the 901-2 area expanded by one macroblock is required for the intra prediction process. By acquiring the region from the 901-1 region of the previous frame (N-1), if only the shaded portion 9014-4 region is encoded, the reference pixel region at the time of decoding is the same as that of the previous frame that has already been decoded. Reconstructed pixel information can be used.
なお、上述の実施例においては、H.264規格に従って符号化処理を行う場合を想定して述べたが、本発明はこれに限らず、複数のピクチャを参照ピクチャとすることが可能な種々の符号化方式で符号化処理を行う場合に広く適用できる。 In the above-described embodiment, H.P. However, the present invention is not limited to this, and the present invention is not limited to this. In the case where encoding processing is performed using various encoding schemes in which a plurality of pictures can be used as reference pictures. Widely applicable.
また、上述の実施例においては、各処理手段がハードウェアで構成され、そのハードウェアが符号化処理端末として構成される場合について述べた。しかし、本発明ではこれに限らず、各処理手段がハードウェアで構成され、そのハードウェアが一つのLSIとして構成される場合も考えられる。 Further, in the above-described embodiment, a case has been described in which each processing unit is configured by hardware and the hardware is configured as an encoding processing terminal. However, the present invention is not limited to this, and each processing unit may be configured by hardware, and the hardware may be configured as one LSI.
また、ソフトウェア処理により、LSI内の専用デジタル信号処理プロセッサの演算処理手段を制御する組み込みプログラムとして構成される場合も考えられる。 In addition, it may be configured as a built-in program for controlling the arithmetic processing means of the dedicated digital signal processor in the LSI by software processing.
また、ソフトウェア処理により、パーソナルコンピュータ内の汎用演算処理手段を制御するプログラムとして構成される場合も考えられる。 In addition, it may be configured as a program for controlling general-purpose arithmetic processing means in the personal computer by software processing.
この場合、演算処理手段のプログラムは、光ディスク、磁気ディスク、メモリカード、LSI内の命令メモリ等の、種々の記録媒体に記録して提供してもよく、また、インターネット等のネットワークを介して提供するようにしてもよい。 In this case, the program of the arithmetic processing means may be provided by being recorded on various recording media such as an optical disk, a magnetic disk, a memory card, an instruction memory in an LSI, or provided via a network such as the Internet. You may make it do.
本発明に係る予測符号化装置は、例えば、H.264符号化を用いてHDTV以上の高精細画像の符号化処理を行う撮影システムとして有用である。 The predictive coding apparatus according to the present invention is, for example, H.264. It is useful as an imaging system that performs encoding processing of high-definition images higher than HDTV using H.264 encoding.
100 予測符号化装置
110 画面分割手段
120 分割画像符号化手段
130 符号化ストリーム統合手段
140 予測モード制御手段
150 フレームバッファ
160 分割領域反転手段
170 予測参照領域制御手段
180 フレームバッファ
190 記録装置
221 減算器
222 直交変換部
223 量子化部
224 可変長符号化部
225 バッファ
226 レート制御部
227 逆量子化部
228 逆直交変換部
229 加算器
2210 デブロックフィルタ部
2211 フレームメモリ
2212 動き補償予測部
2213 画面内予測部
2214 予測モード制御部
360 分割領域回転手段
401 分割領域画像
501 分割領域反転画像
801 分割領域回転画像
901 符号化対象分割領域
1000 画像符号化装置
1010 画面分割装置
1020 分割画像符号化装置
1030 符号化ストリーム統合装置
1040 制御装置
1050 ビデオテープ記録装置
1121 画面並び替え部
1122 減算器
1123 DCT部
1124 量子化部
1125 可変長符号化部
1126 バッファ
1127 レート制御部
1128 逆量子化部
1129 逆DCT部
1130 加算器
1131 フレームメモリ
1132 動き補償予測部
1133 制御部
DESCRIPTION OF
Claims (7)
前記生成したN個の分割画像信号を各々上下および/または左右に反転する分割領域反転手段と、
前記生成したN個の分割反転画像信号を各々符号化し、N個の符号化画像信号を生成するN個の分割画像符号化手段と、
前記複数の分割画像符号化手段で生成したN個の符号化画像信号を統合し、前記入力画像に対応する1個の符号化画像信号を生成する統合手段と
を有することを特徴とする予測符号化装置。 Screen dividing means for dividing an input image into N regions and generating N divided image signals corresponding to the regions;
Divided region inversion means for inverting the generated N divided image signals vertically and / or horizontally;
N divided image encoding means for encoding each of the generated N divided inverted image signals to generate N encoded image signals;
A predictive code, comprising: an integration unit that integrates N encoded image signals generated by the plurality of divided image encoding units and generates one encoded image signal corresponding to the input image; Device.
前記生成したN個の分割画像信号を各々上下および/または左右に反転する分割領域反転ステップと、
前記生成したN個の分割反転画像信号を各々符号化し、N個の符号化画像信号を生成する分割画像符号化ステップと、
前記複数の分割画像符号化ステップで生成したN個の符号化画像信号を統合し、前記入力画像に対応する1個の符号化画像信号を生成する統合ステップと
を有することを特徴とする予測符号化方法。 A screen dividing step of dividing the input image into N regions and generating N divided image signals corresponding to the regions;
A divided region inversion step of inverting the generated N divided image signals vertically and / or horizontally;
A divided image encoding step of encoding each of the generated N divided inverted image signals to generate N encoded image signals;
A prediction code comprising: an integration step of integrating the N encoded image signals generated in the plurality of divided image encoding steps and generating one encoded image signal corresponding to the input image; Method.
入力画像をN個の領域に分割し、当該各領域に対応するN個の分割画像信号を生成する画面分割ステップと、
前記生成したN個の分割画像信号を各々上下左右に反転する分割領域反転ステップと、
前記生成したN個の分割反転画像信号を各々符号化し、N個の符号化画像信号を生成する分割画像符号化ステップと、
前記複数の分割画像符号化ステップで生成したN個の符号化画像信号を統合し、前記入力画像に対応する1個の符号化画像信号を生成する統合ステップと
を実行させることを特徴とする予測符号化方法のプログラム。 On the computer,
A screen dividing step of dividing the input image into N regions and generating N divided image signals corresponding to the regions;
A divided region inversion step of inverting the generated N divided image signals vertically and horizontally;
A divided image encoding step of encoding each of the generated N divided inverted image signals to generate N encoded image signals;
A prediction step, wherein the N encoded image signals generated in the plurality of divided image encoding steps are integrated, and an integrated step of generating one encoded image signal corresponding to the input image is executed. Encoding method program.
前記生成したN個の分割画像信号を各々上下左右に反転する分割領域反転ステップと、
前記生成したN個の分割反転画像信号を各々符号化し、N個の符号化画像信号を生成する分割画像符号化ステップと、
前記複数の分割画像符号化ステップで生成したN個の符号化画像信号を統合し、前記入力画像に対応する1個の符号化画像信号を生成する統合ステップと
を有することを特徴とする予測符号化方法のプログラムを記録した記録媒体。 A screen dividing step of dividing the input image into N regions and generating N divided image signals corresponding to the regions;
A divided region inversion step of inverting the generated N divided image signals vertically and horizontally;
A divided image encoding step of encoding each of the generated N divided inverted image signals to generate N encoded image signals;
A prediction code comprising: an integration step of integrating N encoded image signals generated in the plurality of divided image encoding steps and generating one encoded image signal corresponding to the input image; A recording medium on which a program for the conversion method is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008269422A JP2010098633A (en) | 2008-10-20 | 2008-10-20 | Prediction coding apparatus, and prediction coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008269422A JP2010098633A (en) | 2008-10-20 | 2008-10-20 | Prediction coding apparatus, and prediction coding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010098633A true JP2010098633A (en) | 2010-04-30 |
Family
ID=42259985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008269422A Pending JP2010098633A (en) | 2008-10-20 | 2008-10-20 | Prediction coding apparatus, and prediction coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010098633A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114637A (en) * | 2010-11-24 | 2012-06-14 | Fujitsu Ltd | Video encoding device |
EP2610870A2 (en) | 2011-12-28 | 2013-07-03 | JVC KENWOOD Corporation | Image pickup device and control method thereof |
JP2013141065A (en) * | 2011-12-28 | 2013-07-18 | Jvc Kenwood Corp | Image pickup device and control method |
JP2014116836A (en) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding device and video encoding program |
CN104038766A (en) * | 2014-05-14 | 2014-09-10 | 三星电子(中国)研发中心 | Device used for using image frames as basis to execute parallel video coding and method thereof |
-
2008
- 2008-10-20 JP JP2008269422A patent/JP2010098633A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114637A (en) * | 2010-11-24 | 2012-06-14 | Fujitsu Ltd | Video encoding device |
EP2610870A2 (en) | 2011-12-28 | 2013-07-03 | JVC KENWOOD Corporation | Image pickup device and control method thereof |
JP2013141065A (en) * | 2011-12-28 | 2013-07-18 | Jvc Kenwood Corp | Image pickup device and control method |
JP2014116836A (en) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | Video encoding device and video encoding program |
CN104038766A (en) * | 2014-05-14 | 2014-09-10 | 三星电子(中国)研发中心 | Device used for using image frames as basis to execute parallel video coding and method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101972407B1 (en) | Apparatus and method for image coding and decoding | |
CN114208197A (en) | Block dividing method for video coding and decoding | |
JP5918328B2 (en) | Image encoding method and image decoding method | |
US11375199B2 (en) | Interpolation filter for an inter prediction apparatus and method for video coding | |
CN113796086A (en) | Method and apparatus for encoding or decoding using mode dependent intra smoothing filter in intra prediction | |
JP5396711B2 (en) | Moving picture decoding apparatus, moving picture decoding method, and program | |
JP2023521295A (en) | Method for signaling video coded data | |
JP2010098633A (en) | Prediction coding apparatus, and prediction coding method | |
WO2007148619A1 (en) | Dynamic image decoding device, decoded image recording device, and their method and program | |
JP2011250400A (en) | Moving picture encoding apparatus and moving picture encoding method | |
US20230239462A1 (en) | Inter prediction method based on variable coefficient deep learning | |
JP4318019B2 (en) | Image processing apparatus and method, recording medium, and program | |
US11202082B2 (en) | Image processing apparatus and method | |
WO2020059341A1 (en) | Image decoding device, image encoding device, image processing system, and program | |
WO2024079965A1 (en) | Image coding device, image coding method and program, image decoding device, and image decoding method and program | |
KR102668077B1 (en) | Apparatus and method for image coding and decoding | |
US11228780B2 (en) | Inter prediction apparatus and method for video coding | |
JP6519185B2 (en) | Video encoder | |
JP5990133B2 (en) | Video encoding apparatus and video encoding method | |
CN114830645A (en) | Image encoding method and image decoding method | |
JP2018082250A (en) | Image encoder and control method thereof | |
JP2015033105A (en) | Motion picture encoding device |