JP2012060423A - Video encoder - Google Patents
Video encoder Download PDFInfo
- Publication number
- JP2012060423A JP2012060423A JP2010201780A JP2010201780A JP2012060423A JP 2012060423 A JP2012060423 A JP 2012060423A JP 2010201780 A JP2010201780 A JP 2010201780A JP 2010201780 A JP2010201780 A JP 2010201780A JP 2012060423 A JP2012060423 A JP 2012060423A
- Authority
- JP
- Japan
- Prior art keywords
- intra
- screen
- scene change
- inter
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像符号化規格に従って、動画像データの符号化処理を行う動画像符号化装置に関する。 The present invention relates to a moving picture coding apparatus that performs coding processing of moving picture data in accordance with a moving picture coding standard.
近年、動画像データの伝送量は増加の一途を辿っている。ここでNTSC(National Television System Committee)方式のビデオ信号を符号化処理する場合の伝送データ量は次の通りである。 In recent years, the transmission amount of moving image data has been increasing. Here, the amount of transmission data when the NTSC (National Television System Committee) video signal is encoded is as follows.
1フレームを構成する画素数は水平方向に720画素、垂直方向に480画素である。これらの各画素は8ビットの輝度データと、2つの色差データ8ビットとによって表わされる。そして、1秒間の動画は30枚の画面(フレーム)から構成されている。 The number of pixels constituting one frame is 720 pixels in the horizontal direction and 480 pixels in the vertical direction. Each of these pixels is represented by 8 bits of luminance data and 2 color difference data of 8 bits. A moving image for one second includes 30 screens (frames).
現在は、輝度成分のデータに対して、色成分(2つの色差信号)については垂直および水平方向に各半分のデータを割当てるようにしている。従って、1秒間のデータ量は
720×480×(8+8×1/2×1/2+8×1/2×1/2)×30=124416000ビットである。即ち、伝送レートとしては、約120Mbpsとなる。
At present, half of each of the color components (two color difference signals) is assigned to the luminance component data in the vertical and horizontal directions. Therefore, the amount of data per second is
720 × 480 × (8 + 8 × 1/2 × 1/2 + 8 × 1/2 × 1/2) × 30 = 1244416000 bits. That is, the transmission rate is about 120 Mbps.
しかしながら、現在家庭用ブロードバンドとして普及している光ファイバであっても、100Mbps程度であり、映像を非圧縮で伝送する事は出来ない。日本では、2011年にテレビジョン放送が地上ディジタル放送に切り替わる。地上ディジタル放送におけるデータ量は1.5Gbpsと言われており、高効率圧縮技術は今後一段とその重要性を増してくるものと目されている。 However, even an optical fiber that is currently popular as home broadband is about 100 Mbps, and cannot transmit video without compression. In Japan, television broadcasting will switch to terrestrial digital broadcasting in 2011. The amount of data in terrestrial digital broadcasting is said to be 1.5 Gbps, and high-efficiency compression technology is expected to become even more important in the future.
現在、高効率の動画像圧縮符号化標準規格としてH.264/AVC(以下、H.264)がある。 Currently, the H.264 standard is a highly efficient moving image compression coding standard. H.264 / AVC (hereinafter referred to as H.264).
H.264は、電気通信に関する国際標準機関であるITU−T(International
Telecommunication Union-Telecommunication Standardization Sector)のビデオ符号化専門家グループであるVCEG(Video Coding Experts Group)とISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)の動画像符号化専門家グループであるMPEG(Moving Picture Expert Group)が2001年12月に共同で設立したJVT(Joint Video Team)によって開発された動画像符号化の最新の国際標準規格である。
H. H.264 is an international standard organization for telecommunications, ITU-T (International
Video Coding Experts Group (VCEG), which is a video coding expert group of Telecommunication Union-Telecommunication Standardization Sector, and MPEG, which is a video coding expert group of ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission). It is the latest international standard for moving picture coding developed by JVT (Joint Video Team) jointly established in December 2001 by the Moving Picture Expert Group.
ITU−Tでは勧告として、2003年5月に承認されている。第一合同技術委員会であるISO /IEC JTC 1では2003年にMPEG4 part−10:AVC(Advanced Video Coding)として標準化されている。 ITU-T approved in May 2003 as a recommendation. In 2003, ISO / IEC JTC 1, which is the first joint technical committee, was standardized as MPEG4 part-10: Advanced Video Coding (AVC).
また、色空間や画素階調に関する拡張作業も行われ、Fidelity Range Extention (FRExt)として2004年7月に最終標準案が作成されている。 In addition, expansion work related to color space and pixel gradation has been carried out, and a final standard draft was created in July 2004 as Fidelity Range Extension (FRExt).
H.264の主な特徴は以下の通りである。
・従来方式のMPEG−2やMPEG−4に比べて約2倍の符号化効率で同程度の画質を実現できる。
・圧縮アルゴリズム:ピクチャ間予測、量子化、エントロピー符号を採用している。
・携帯電話等の低ビットレートからハイビジョンテレビ等の高ビットレートまで幅広く利用可能である。
H. The main features of H.264 are as follows.
The same level of image quality can be realized with a coding efficiency about twice that of conventional MPEG-2 and MPEG-4.
Compression algorithm: Inter picture prediction, quantization, entropy code is adopted.
-It can be used in a wide range from low bit rates such as mobile phones to high bit rates such as high-definition televisions.
このように、動画像符号化技術は、今日、様々な議論がなされており、次期規格としてH.265の標準化作業も進められている。 As described above, various discussions have been made on the moving picture coding technology today. H.265 standardization work is also underway.
次に、図面を参照してH.264による動画像符号化処理について詳細に説明する。 Next, referring to the drawings, H.C. The video encoding process by H.264 will be described in detail.
図3は、H.264における一般的なエンコーダの構成を表す機能ブロック図である。H.264の処理を行うこのエンコーダ300では、入力端301に供給される動画像データが、1つの画面内で予測画像を生成する画面内予測部302と、複数の画面に基づいて予測画像を生成する画面間予測部303との各一方の入力端に供給される。
FIG. 2 is a functional block diagram illustrating a configuration of a general encoder in H.264. H. In the
尚、入力端301に供給される動画像データは、H.264に規定されたFMO(Flexible Macroblock Ordering)によってマクロブロック化された画像データブロックのうち任意のブロックを読み出せるようにするためのフレームバッファを経て、当該マクロブロック毎に後段の処理に附されるが、図3においてはこのフレームバッファは省略してある。またFMOについても説明を省略する。
The moving image data supplied to the
上述の画面内予測部302で実行される画面内予測処理、および、画面間予測部303で実行される画面間予測処理は、何れもH.264において規定されている通りの処理であり、それぞれ予測画像データを得る。
The intra-screen prediction process executed by the
画面内予測部302および画面間予測部303で得た各予測画像データは、選択切替え部304を介して選択された予測画像データが差分器305に供給され、ここで入力端301から供給される動画像データとの差分が求められる。この差分器305における処理は、上述の予測画像データおよび動画像データについてのそれぞれのマクロブロック毎に区分されたデータについて差分を求める形で実行され、差分画像データを得る。
Predicted image data selected via the
差分器305の出力である差分画像データは、直交変換器306において離散コサイン変換(DCT)等の直交変換が施され、次いで、量子化器307において量子化され、更に、符号化器308において符号化され、この符号化器308の出力として動画像符号化出力データである符号化画像データストリームを得る。
The difference image data that is the output of the
一方、量子化器307において量子化されたデータは、逆量子化器309で逆量子化され、次いで、逆直交変換器310で逆DCT変換され、更に、加算器311で予測画像データが加えられて、復元画像データが得られる。
On the other hand, the data quantized by the
この復元画像データは、一方では、画面内予測処理を行うための一つの入力データとして画面内予測部302の他方の入力端に供給され、他方では、フィルタ312を通して一旦メモリ313に蓄積される。そして、この蓄積された画像データのうち入力端301に供給される動画像データのフレームの到来時点から複数フレーム分遡及した期間に該当する画像データが読み出されて画面間予測部303の他方の入力端に供給されて画面間予測処理に供される。
On the one hand, the restored image data is supplied to the other input terminal of the
H.264では、上述のように差分画像データのみを符号化し、伝送することによって高い符号化効率および伝送効率を実現している。 H. H.264 realizes high encoding efficiency and transmission efficiency by encoding and transmitting only differential image data as described above.
ここで、画面内予測部302で実行される画面内予測処理とは、近接画素間の相関を利用して予測画像を生成する手法である。この画面内予測処理では、予測対象画素を表すデータをその周辺画素との相関によって生成しており、予測対象ブロックの左側から右上の画素を利用する。
Here, the intra-screen prediction process executed by the
次に、図4を参照して画面内予測処理について更に説明する。 Next, the intra-screen prediction process will be further described with reference to FIG.
図4は、例として、4×4画素単位で画面内予測処理によって予測画像生成を行う場合の画面内予測処理について説明するための図である。 FIG. 4 is a diagram for explaining the intra-screen prediction process when predictive image generation is performed by the intra-screen prediction process in units of 4 × 4 pixels as an example.
図4におけるA−Mが予測に用いる参照画素となる。H.264/AVCでは4×4画素のブロック単位(以下:4×4ブロック)、8×8画素のブロック単位(以下:8×8ブロック)、16×16画素のブロック単位(以下:16×16ブロック)で予測画像の生成を行うことが可能である。これらのブロック単位に対して、適用可能な画面内予測の処理モードとしては、4×4ブロックおよび8×8ブロックについては各9モード、16×16ブロックについては4モードの合計22モードが適用可能である。 A-M in FIG. 4 is a reference pixel used for prediction. H. In H.264 / AVC, a block unit of 4 × 4 pixels (hereinafter: 4 × 4 blocks), a block unit of 8 × 8 pixels (hereinafter: 8 × 8 blocks), and a block unit of 16 × 16 pixels (hereinafter: 16 × 16 blocks) ) Can generate a predicted image. For these block units, as the applicable intra-screen prediction processing modes, a total of 22 modes of 9 modes each for 4 × 4 blocks and 8 × 8 blocks and 4 modes for 16 × 16 blocks can be applied. It is.
次いで、図5を参照して画面間予測処理について説明する。 Next, the inter-screen prediction process will be described with reference to FIG.
画面間予測は、図5に示すように、予測対象の画像P501(時点t=0)に対し、その前後のピクチャ(参照ブロック)P500(時点t=−1)およびピクチャ(参照ブロック)P502(時点t=1)から予測画像を生成する処理である。即ち、画面間予測では、前後のピクチャから予測対象画素の動きベクトルを計算し、予測画像を生成する。 As shown in FIG. 5, inter-screen prediction is performed on a picture P501 (time t = 0) to be predicted, a picture (reference block) P500 (time t = −1) and a picture (reference block) P502 (previous time). This is a process for generating a predicted image from time t = 1). That is, in inter-screen prediction, a motion vector of a prediction target pixel is calculated from the previous and subsequent pictures, and a predicted image is generated.
以上説明したように、H.264は、様々な手法を駆使しており、MPEG1,2などよりも更なる高効率の動画像圧縮技術として規格化されるに到っている。 As explained above, H.P. H.264 makes full use of various methods, and has come to be standardized as a moving picture compression technique with higher efficiency than MPEG1, 2 and the like.
ここで、画面間予測について、図6を参照して更に説明する。
図6では一般的な符号化処理の流れを時間軸に沿って示し、説明の便宜上、簡易的に6枚のピクチャを図示している。この例では、最初のピクチャI0は画面内予測処理によって符号化し、以降のピクチャP1〜P5は画面間予測処理によって符号化している。この時、ピクチャP5はP4を参照画像として用いた予測画像として生成されたものであると仮定する。P4とP5との両ピクチャ間の時点でシーンチェンジが発生すると、両ピクチャ間の時間的な相関が失われる。このため、画面間予測の精度が下がり、シーンチェンジ後に画質劣化が暫らく続いてしまうといった問題がある。このような問題に対して、シーンチェンジ検出時に画面内予測を用いて符号化を行うIDR(Instantaneous Decoder Refresh)ピクチャを挿入する方法が提案されている(特許文献1参照)。
Here, the inter-screen prediction will be further described with reference to FIG.
In FIG. 6, the flow of a general encoding process is shown along a time axis, and for convenience of explanation, six pictures are simply illustrated. In this example, the first picture I0 is encoded by intra prediction processing, and the subsequent pictures P1 to P5 are encoded by inter prediction processing. At this time, it is assumed that the picture P5 is generated as a predicted image using P4 as a reference image. If a scene change occurs at the time between both pictures P4 and P5, the temporal correlation between the two pictures is lost. For this reason, the accuracy of inter-screen prediction is lowered, and there is a problem that image quality deterioration continues for a while after a scene change. To solve such a problem, a method of inserting an IDR (Instantaneous Decoder Refresh) picture that performs encoding using intra prediction when a scene change is detected has been proposed (see Patent Document 1).
しかしながら、画面内予測によって発生する符号量は画面間予測に比べて大きく、特許文献1における提案手法のようにシーンチェンジ検出時にIDRピクチャを挿入しても、符号化効率が低下し、寧ろ画質劣化を来たす虞がある。
However, the amount of code generated by intra prediction is larger than inter prediction, and even if an IDR picture is inserted when a scene change is detected as in the method proposed in
本発明は、シーンチェンジ時に符号化効率が低下し、画質劣化が生ずるという従来の問題点に対し、シーンチェンジ時における符号化効率の低下を回避し、画質劣化を抑止することを可能にした動画像符号化装置を提供することを目的とする。 The present invention avoids a decrease in coding efficiency at the time of a scene change and suppresses the image quality deterioration with respect to the conventional problem that the encoding efficiency is lowered at the time of a scene change and image quality is deteriorated. An object is to provide an image encoding device.
上記目的を達成するべく、本願では次のような動画像符号化装置を提案する。
(1)符号化の対象となる動画像を、画面内予測処理によるイントラマクロブロックと画面間予測処理によるインターマクロブロックとを切替えて適用することによって形成した予測画面と当該動画像中の該予測画面に対応する画面との差分について符号化器により符号化処理を実行することによって符号化する動画像符号化装置であって、
前記動画像におけるシーンチェンジを検出し、該シーンチェンジ検出後の予測符号化画面を、一端側から他端側に向けて一定領域を占めるイントラマクロブロックの領域を漸次移動させつつ当該イントラマクロブロックが通過後の領域をインターマクロブロックの領域で充当すると共に前記符号化器に符号化処理制御信号を供給して当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を当該インターマクロブロックの領域が画面全域を占めるに到るまで継続することによって形成するシーンチェンジ検出部を備え、
前記符号化器は、前記シーンチェンジ検出部から供給される符号化処理制御信号に応じて、前記ワイプ処理の期間中、当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる処理を実行することを特徴とする動画像符号化装置。
In order to achieve the above object, the present application proposes the following moving picture encoding apparatus.
(1) A prediction screen formed by switching and applying a moving image to be encoded by switching between an intra macroblock by intra prediction processing and an inter macro block by inter prediction processing, and the prediction in the moving image A video encoding device that encodes a difference between a screen and a screen corresponding to a screen by performing an encoding process by an encoder,
The intra macroblock detects a scene change in the moving image, and gradually moves the region of the intra macroblock that occupies a certain region from one end side to the other end side of the predictive coding screen after the scene change is detected. Wipe in a form in which the area after passing is allocated with the area of the inter macro block and the encoding process control signal is supplied to the encoder to skip the encoding process of the partial area where the area of the intra macro block has not yet reached. A scene change detection unit that is formed by continuing the process until the area of the inter-macroblock reaches the entire screen;
The encoder skips the encoding process of the partial area where the area of the intra macroblock has not yet reached during the wipe process according to the encoding process control signal supplied from the scene change detection unit. A moving image encoding apparatus that executes processing.
上記(1)の動画像符号化装置では、シーンチェンジ後の符号化画面の形成を上述のワイプ処理によって実行するため、緩やかにシーンチェンジが行われ、動画像符号化におけるシーンチェンジに際しての画質劣化が効果的に回避される。 In the moving image encoding apparatus of (1), since the formation of the encoded screen after the scene change is executed by the above-described wiping process, the scene change is performed slowly, and the image quality deteriorates at the time of the scene change in the moving image encoding. Is effectively avoided.
また、シーンチェンジ後に画面内予測処理によるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、発生する符号量が抑制される。 In addition, the amount of generated code is suppressed as compared to a method of inserting an intra-coded screen (I picture) by intra prediction processing after a scene change.
本発明の動画像符号化装置によれば、シーンチェンジ後に画面内予測処理によるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、発生する符号量が抑制され、且つ、画質劣化も抑制される動画像符号化装置を実現することができる。 According to the moving image encoding apparatus of the present invention, the amount of generated code is suppressed and image quality deterioration is also suppressed as compared with a method of inserting an intra-encoded screen (I picture) by intra prediction processing after a scene change. It is possible to realize a moving image encoding apparatus.
以下、図面を参照して本発明の実施の形態としての動画像符号化装置について詳述することにより本発明を明らかにする。
(本発明の動画像符号化装置の構成)
図1は、本発明の一つの実施の形態としての動画像符号化装置の構成を表す機能ブロック図である。
Hereinafter, the present invention will be clarified by describing in detail a moving picture coding apparatus as an embodiment of the present invention with reference to the drawings.
(Configuration of video encoding apparatus of the present invention)
FIG. 1 is a functional block diagram showing the configuration of a moving picture encoding apparatus as one embodiment of the present invention.
図1の動画像符号化装置100において、符号化処理の対象とされる動画像データは入力端101に供給される。
In the moving
この入力端101に供給される動画像データは、H.264に規定されたFMOによってマクロブロック化された画像データのうち任意のマクロブロックを読み出せるようにするための図示しないフレームバッファを経て、当該マクロブロック毎に後段の処理に附される。しかしながら、この部分の処理自体は公知のものであるため、以下では、適宜簡略化して、動画像データ乃至は画像データに関する処理として説明する。
The moving image data supplied to the
入力端101に供給された動画像データは画面内予測部102と、画面間予測部103との各一方の入力端に供給される。
The moving image data supplied to the
画面内予測部102は、1つの画面内で予測画像を生成する画面内予測処理を実行し、画面間予測部103は、複数の画面に基づいて予測画像を生成する画面間予測処理を実行する。
The
上述の画面内予測部102で実行される画面内予測処理、および、画面間予測部103で実行される画面間予測処理は、何れもH.264において規定されている処理である。
The intra-screen prediction process executed by the
画面内予測部102および画面間予測部103で得た各予測画像データは、シーンチェンジ検出部104を介して差分器105に供給される。
Each predicted image data obtained by the
差分器105によって、入力端101から供給される動画像データと各予測画像データとの差分が求められる。差分器105における処理は、より詳細には、各予測画像データおよび動画像データについてのそれぞれのマクロブロック毎に区分されたデータについて差分を求める形で実行され、差分画像データを得る。
The
差分器105から出力される差分画像データは、直交変換器106において離散コサイン変換(DCT)等の直交変換が施され、次いで、量子化器107において量子化され、更に、符号化器108において符号化される。そして、この符号化器108の出力として動画像符号化出力データである符号化画像データストリームを得る。
The difference image data output from the
後述するように、この実施の形態では、符号化器108は、シーンチェンジ検出部104から供給される符号化処理制御信号SCによってその動作が制御される。
As will be described later, in this embodiment, the operation of the
一方、量子化器107において量子化されたデータは、逆量子化器109で逆量子化され、次いで、逆直交変換器110で逆DCT変換され、更に、加算器111で予測画像データが加えられて、復元画像データが得られる。
On the other hand, the data quantized by the
この復元画像データは、一方では画面内予測処理を行うための一つの入力データとして画面内予測部102の他方の入力端に供給され、他方ではフィルタ112を通して一旦メモリ113に蓄積される。そして、この蓄積された画像データのうち入力端301に供給される動画像データのフレームの到来時点から複数フレーム分遡及した期間に該当する画像データが読み出されて画面間予測部103の他方の入力端に供給されて画面間予測処理に供される。
On the one hand, this restored image data is supplied to the other input terminal of the
H.264では、上述のように差分画像データのみを符号化し、伝送することによって高い符号化効率および伝送効率を実現している。 H. H.264 realizes high encoding efficiency and transmission efficiency by encoding and transmitting only differential image data as described above.
画面内予測部102で実行される画面内予測処理については、図4を参照して既述の通りである。
The intra-screen prediction process executed by the
また、画面間予測部103で実行される画面間予測処理については、図5を参照して既述の通りである。
Further, the inter-screen prediction process executed by the
シーンチェンジ検出部104におけるシーンチェンジの検出は、例えば、特開平9−214975号公報等に開示された公知の手法を適用して実行され得る。
Detection of a scene change in the scene
後述するように、本実施の形態では、シーンチェンジ検出部104では、シーンチェンジを検出すると、画面内予測を用いて符号化したイントラマクロブロック(16画素×16画素)を画面左端から一定領域に挿入し、それ以外のマクロブロックをスキップする。
As will be described later, in this embodiment, when the scene
また、前述の一定領域のイントラマクロブロックを画面右端に向けて動かすことによって、緩やかにシーンチェンジを行い動画像符号化におけるシーンチェンジに際しての画質劣化を効果的に回避している。 In addition, by moving the above-described intra-macroblock in a certain area toward the right end of the screen, the scene is gradually changed to effectively avoid the image quality deterioration at the time of the scene change in the moving image coding.
尚、上述のスキップは、シーンチェンジ検出部104でシーンチェンジの検出に基づいて生成した符号化処理制御信号SCを符号化器108に供給し、この符号化器108における処理動作を制御することによって実行される。
(動画像符号化装置における処理の流れ)
次に図2を参照して、図1の動画像符号化装置100における処理の流れを説明する。
Note that the above-described skip is performed by supplying the encoding process control signal SC generated based on the scene change detection by the scene
(Processing flow in the video encoding device)
Next, with reference to FIG. 2, the flow of processing in the
図2は、図1の動画像符号化装置における動画像符号化処理の流れを説明するための概念図である。 FIG. 2 is a conceptual diagram for explaining the flow of the moving image encoding process in the moving image encoding apparatus of FIG.
図2では、動画像における時系列の順次のピクチャ(その画像データ)の遷移について、或るシーンチェンジが検出された時点t1直前の状態のピクチャをピクチャ−1と表記し、これ以降の、各時点t2、t3、t4、…、tm、tm+1における各ピクチャをピクチャ0、ピクチャ1、ピクチャ2、…、ピクチャn、ピクチャtn+1と表記している。
In FIG. 2, regarding the transition of time-series sequential pictures (image data) in a moving image, a picture in a state immediately before a time point t1 when a scene change is detected is denoted as picture-1, and each of the subsequent pictures Each picture at time points t2, t3, t4,..., Tm, tm + 1 is denoted as
シーンチェンジ検出部104は、シーンチェンジを検出すると(t1)、先ずシーンチェンジ後の最初のピクチャを符号化する際に、画面端(図示の例では左側端)から一定の部分領域に画面内予測処理による画像であるイントラマクロブロック(16画素×16画素)を適用するようにして予測画像の画面を構成する(t2:ピクチャ0)。
When the scene
図2のピクチャ0の画面では、画面内予測処理による画像の一定の部分領域(イントラマクロブロックを適用して形成された部分)について「I」と表記している。そして、ピクチャ0の画面における残りのマクロブロックはスキップするようにして処理される。
In the
上述のようなスキップする処理は、シーンチェンジ検出部104が符号化器108に供給する符号化処理制御信号SCによって符号化器108の動作を制御することによって実行される。
The skipping process as described above is executed by controlling the operation of the
次の時点t3では、上述のピクチャ0においてイントラマクロブロックを適用した一定の部分領域については、この部分領域が右へ移動している。そして、この右への移動によってイントラマクロブロックを適用した一定の部分領域が通過した後の領域については、画面間予測処理による画像であるインターマクロブロックを適用してこの領域に充当する。これにより、先のピクチャ0におけるイントラマクロブロックを適用した一定の部分領域が画面の右側に移動して、該移動後にインターマクロブロックを充当した領域の右側に隣接する一定の部分領域を占めるようなピクチャ1の画面が形成される。
At the next time point t3, for a certain partial region to which the intra macroblock is applied in the
図2のピクチャ1の画面では、新たな画面間予測処理による画像の部分(インターマクロブロックを適用して形成された部分)について「P」と表記し、その右側に隣接するインターマクロブロックを適用した領域について「I」と表記している。そして、ピクチャ0の画面における残りのマクロブロックは符号化器108においてスキップするようにして処理される。
In the
既述のように、スキップする処理は、シーンチェンジ検出部104が符号化器108に供給する符号化処理制御信号SCによって符号化器108の動作を制御することによって実行される。
As described above, the skipping process is executed by controlling the operation of the
更に次の時点t4では、イントラマクロブロックを適用した一定の部分領域が更に画面の右側に移動する。この移動の後に、上述のピクチャ1においてイントラマクロブロックを適用してリフレッシュされた一定の部分領域については、インターマクロブロックを適用してこの部分領域に充当する。この結果、インターマクロブロックで充当した領域は先の2倍の幅に右側に広がり、その右側に隣接する一定の部分領域をイントラマクロブロックを適用した一定の部分領域が占めるようなピクチャ2の画面が形成される。
Further, at the next time point t4, a certain partial area to which the intra macroblock is applied moves further to the right side of the screen. After this movement, for a certain partial area refreshed by applying an intra macroblock in
図2のピクチャ2の画面では、インターマクロブロックを適用して形成した拡張された領域について「P」と表記し、その右側に隣接するイントラマクロブロックを適用した領域について「I」と表記している。そして、ピクチャ0の画面における残りのマクロブロックはスキップするようにして処理される。
In the picture 2 screen of FIG. 2, the expanded area formed by applying the inter macroblock is denoted by “P”, and the area to which the adjacent intra macroblock is applied on the right side is denoted by “I”. Yes. The remaining macroblocks on the
上述の場合も、スキップする処理は、シーンチェンジ検出部104が符号化器108に供給する符号化処理制御信号SCによって符号化器108の動作を制御することによって実行される。
Also in the above-described case, the skipping process is executed by controlling the operation of the
以上のような時系列のピクチャ0、ピクチャ1、ピクチャ2、…、ピクチャnにおける画面形成処理を、順次、イントラマクロブロックを適用して形成した一定の部分領域を漸次画面の右側に移動させつつ実行する(時点tm:ピクチャn)。ここでは、図2を参照して説明したような処理をワイプ処理と称呼し、図中、ワイプ処理を適用する期間を矢線に「ワイプ処理」と併記して表している。
The screen formation processing in time series of
そして、インターマクロブロックの領域が画面全域を占めるに到る際にワイプ処理を終了する。 Then, the wipe process ends when the area of the inter macro block reaches the entire screen.
本実施の形態では、このワイプ処理の終了後、H.264規格に従った通常の処理に移行する(時点tm+1:ピクチャn+1)。 In the present embodiment, after the end of the wipe process, the H.D. Transition to normal processing according to the H.264 standard (time tm + 1: picture n + 1).
本実施の形態では、ワイプ処理が完了したマクロブロックを、画面間予測を用いて符号化することによって、ピクチャ間の時間的な相関を利用することが可能である。このため、予測精度の低下を抑制することができ、且つ、シーンチェンジ後に画面内予測処理による予測画面であるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、符号化効率を悪化させるという問題を効果的に回避することができる。 In the present embodiment, it is possible to use temporal correlation between pictures by encoding a macroblock for which a wiping process has been completed using inter prediction. For this reason, a decrease in prediction accuracy can be suppressed, and the encoding efficiency is deteriorated as compared with a method of inserting an intra-coded screen (I picture) that is a predicted screen by intra-screen prediction processing after a scene change. Can be effectively avoided.
水平1920画素の場合、符号化画面形成のためにイントラマクロブロックを各ピクチャで12ブロック挿入した場合、10ピクチャでワイプ処理が完了する。この処理時間は地上デジタルテレビジョンにおける1920×1080/59.94iのフォーマット(1920×1080画素インターレース方式の規格で、フィールド周波数は59.94Hz、フレームレートが秒間30コマ再生)の場合には、約0.16秒に相当する。一般に、この程度の時間であれば、主観画質評価においてもワイプ処理による違和感は生じない。 In the case of horizontal 1920 pixels, when 12 intra-macroblocks are inserted for each picture to form an encoded screen, the wiping process is completed for 10 pictures. This processing time is about 0.1 in the case of a 1920 × 1080 / 59.94i format (1920 × 1080 pixel interlace standard, field frequency 59.94 Hz, frame rate 30 frames per second) in terrestrial digital television. This corresponds to 16 seconds. In general, if this time is used, the sense of incongruity due to the wiping process does not occur in the subjective image quality evaluation.
更に、本実施の形態ではH.264に準拠した符号化処理が行われるため、符号化された動画像を一般的なH.264デコーダによって容易に復号処理することが可能であるという利点がある。
(付記)
以上に説明した本発明の実施の形態は次に付記として例示的に列挙するような技術思想として敷衍され乃至は要約される。
(付記1)
H.264規格に従って符号化処理を行うエンコーダにおけるイントラマクロブロックとインターマクロブロックとを選択切替え部により切替えて適用することによって形成した予測画面と符号化対象の動画像中の該予測画面に対応する画面との差分について符号化器により符号化処理を実行する構成における前記選択切替え部を、シーンチェンジ検出機能を有するシーンチェンジ検出部として構成すると共に、前記符号化器を前記シーンチェンジ検出部から供給される符号化処理制御信号によって符号化処理態様を制御可能に構成し、且つ、
前記シーンチェンジ検出部は、シーンチェンジ検出後の予測符号化画面を、一端側から他端側に向けて一定領域を占めるイントラマクロブロックの領域を漸次移動させつつ当該イントラマクロブロックが通過後の領域をインターマクロブロックの領域で充当すると共に前記符号化器に符号化処理制御信号を供給して当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を当該インターマクロブロックの領域が画面全域を占めるに到るまで継続することによって形成し、該形成後、前記ワイプ処理を終了してH.264規格に従った通常の予測符号化画面形成処理に復帰するように構成され、
前記符号化器は、前記シーンチェンジ検出部から供給される符号化処理制御信号に応じて、前記ワイプ処理の期間中、当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を実行し、前記ワイプ処理の終了後、H.264規格に従った通常の符号化処理を行う状態に復帰するように構成されていることを特徴とする動画像符号化装置。
Further, in this embodiment, H.264 is used. Since the encoding processing conforming to H.264 is performed, the encoded moving image is converted into a general H.264 format. There is an advantage that it can be easily decoded by an H.264 decoder.
(Appendix)
The embodiments of the present invention described above are laid out or summarized as technical ideas which will be exemplified below as additional notes.
(Appendix 1)
H. A prediction screen formed by switching and applying an intra macroblock and an inter macroblock in an encoder that performs encoding processing according to the H.264 standard, and a screen corresponding to the prediction screen in a moving image to be encoded; The selection switching unit in the configuration in which the encoding process is performed by the encoder with respect to the difference is configured as a scene change detection unit having a scene change detection function, and the encoder is supplied from the scene change detection unit. An encoding process control signal is configured to be controllable by an encoding process control signal; and
The scene change detection unit gradually moves the region of the intra macroblock that occupies a certain region from one end side to the other end side of the predictive coding screen after the scene change is detected, and the region after the intra macroblock has passed Is applied in the area of the inter macroblock and the encoding process control signal is supplied to the encoder to skip the encoding process of the partial area that has not reached the area of the intra macroblock. The macroblock area is formed by continuing until it occupies the entire area of the screen. Configured to return to normal predictive coding screen formation processing according to the H.264 standard,
The encoder skips the encoding process of the partial area where the area of the intra macroblock has not yet reached during the wipe process according to the encoding process control signal supplied from the scene change detection unit. Form wipe process, and after the wipe process is completed, The moving picture coding apparatus is configured to return to a state in which normal coding processing according to the H.264 standard is performed.
上記(付記1の)動画像符号化装置では、シーンチェンジ後の符号化画面の形成を上述のワイプ処理によって実行するため、緩やかにシーンチェンジが行われ、動画像符号化におけるシーンチェンジに際しての画質劣化が効果的に回避される。 In the above moving image encoding apparatus (Appendix 1), since the coding screen after the scene change is formed by the above-described wipe process, the scene change is performed slowly, and the image quality at the time of the scene change in the moving image encoding is Degradation is effectively avoided.
また、シーンチェンジ後に画面内予測処理によるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、発生する符号量が抑制される。 In addition, the amount of generated code is suppressed as compared to a method of inserting an intra-coded screen (I picture) by intra prediction processing after a scene change.
更に、H.264に準拠した符号化処理が行われるため、符号化された動画像を一般的なH.264デコーダによって容易に復号処理することが可能であるという利点がある。
(付記2)
符号化の対象となる動画像を、画面内予測処理によるイントラマクロブロックと画面間予測処理によるインターマクロブロックとを切替えて適用することによって形成した予測画面と当該動画像中の該予測画面に対応する画面との差分について符号化処理を実行することによって符号化する動画像符号化方法であって、
前記動画像におけるシーンチェンジを検出し、該シーンチェンジ検出後の予測符号化画面を、一端側から他端側に向けて一定領域を占めるイントラマクロブロックの領域を漸次移動させつつ当該イントラマクロブロックが通過後の領域をインターマクロブロックの領域で充当すると共に当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を当該インターマクロブロックの領域が画面全域を占めるに到るまで継続することによって形成するように符号化処理を実行することを特徴とする動画像符号化方法。
Further, H.C. Since the encoding processing conforming to H.264 is performed, the encoded moving image is converted into a general H.264 format. There is an advantage that it can be easily decoded by an H.264 decoder.
(Appendix 2)
Corresponds to the prediction screen formed by switching between the intra-macroblock by intra-frame prediction processing and the inter-macroblock by inter-screen prediction processing, and the prediction screen in the video, as the video to be encoded A video encoding method for encoding by executing an encoding process on a difference from a screen to be performed,
The intra macroblock detects a scene change in the moving image, and gradually moves the region of the intra macroblock that occupies a certain region from one end side to the other end side of the predictive coding screen after the scene change is detected. The inter-macro block area occupies the entire screen in a wipe process in which the area after passing is allocated with the area of the inter-macro block and the encoding process of the partial area where the intra-macro block area has not been reached is skipped. A moving picture coding method, characterized in that the coding process is executed so as to be formed by continuing until reaching.
上記(付記2)の動画像符号化方法では、シーンチェンジ後の符号化画面の形成を上述のワイプ処理によって実行するため、緩やかにシーンチェンジが行われ、動画像符号化におけるシーンチェンジに際しての画質劣化が効果的に回避される。 In the moving image encoding method of (Appendix 2), since the formation of the encoded screen after the scene change is executed by the wipe process described above, the scene change is performed slowly, and the image quality at the time of the scene change in the moving image encoding is Degradation is effectively avoided.
また、シーンチェンジ後に画面内予測処理によるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、発生する符号量が抑制される。
(付記3)
H.264規格に従って符号化処理を行う動画像符号化方法において、イントラマクロブロックとインターマクロブロックとを切替えて適用することによって形成した予測画面と符号化対象の動画像中の該予測画面に対応する画面との差分について符号化処理を実行する処理における前記選択切替え部の処理を、シーンチェンジ検出と共に実行し、且つ、
シーンチェンジ検出後の予測符号化画面を、一端側から他端側に向けて一定領域を占めるイントラマクロブロックの領域を漸次移動させつつ当該イントラマクロブロックが通過後の領域をインターマクロブロックの領域で充当すると共に当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を当該インターマクロブロックの領域が画面全域を占めるに到るまで継続することによって形成し、該形成後、前記ワイプ処理を終了してH.264規格に従った通常の予測符号化画面形成処理に復帰することを特徴とする動画像符号化方法。
In addition, the amount of generated code is suppressed as compared to a method of inserting an intra-coded screen (I picture) by intra prediction processing after a scene change.
(Appendix 3)
H. In a video encoding method that performs encoding processing according to the H.264 standard, a prediction screen formed by switching and applying an intra macroblock and an inter macroblock, and a screen corresponding to the prediction screen in the video to be encoded And the process of the selection switching unit in the process of executing the encoding process for the difference between and the scene change detection, and
The intra-macroblock area is the area after the intra macroblock passes while the intra-macroblock area occupying a certain area is gradually moved from one end to the other end of the predictive coding screen after the scene change is detected. The wiping process in the form of allocating and skipping the encoding process of the partial area where the intra macroblock area has not been reached is continued until the area of the inter macroblock occupies the entire screen, After forming, the wiping process is terminated and A moving picture coding method characterized by returning to a normal predictive coding screen forming process according to the H.264 standard.
上記(付記3)の動画像符号化方法では、シーンチェンジ後の符号化画面の形成を上述のワイプ処理によって実行するため、緩やかにシーンチェンジが行われ、動画像符号化におけるシーンチェンジに際しての画質劣化が効果的に回避される。 In the moving image encoding method of (Appendix 3), since the formation of the encoded screen after the scene change is executed by the above-described wipe process, the scene change is performed slowly, and the image quality at the time of the scene change in the moving image encoding is Degradation is effectively avoided.
また、シーンチェンジ後に画面内予測処理によるイントラ符号化画面(Iピクチャ)を挿入する方法に比し、発生する符号量が抑制される。 In addition, the amount of generated code is suppressed as compared to a method of inserting an intra-coded screen (I picture) by intra prediction processing after a scene change.
更に、H.264に準拠した符号化処理が行われるため、符号化された動画像を一般的なH.264デコーダによって容易に復号処理することが可能であるという利点がある。 Further, H.C. Since the encoding processing conforming to H.264 is performed, the encoded moving image is converted into a general H.264 format. There is an advantage that it can be easily decoded by an H.264 decoder.
100,300…動画像符号化装置
101,301…入力部
102,302…画面内予測部
103,303…画面間予測部
104……………シーンチェンジ検出部
105,305…差分器
106,306…直交変換器
107,307…量子化器
108,308…符号化器
109,309…逆量子化器
110,310…逆直交変換器
111,311…加算器
112,312…フィルタ
113,313…メモリ
304……………選択切替え部
100, 300 ... moving
Claims (1)
前記動画像におけるシーンチェンジを検出し、該シーンチェンジ検出後の予測符号化画面を、一端側から他端側に向けて一定領域を占めるイントラマクロブロックの領域を漸次移動させつつ当該イントラマクロブロックが通過後の領域をインターマクロブロックの領域で充当すると共に前記符号化器に符号化処理制御信号を供給して当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる形態のワイプ処理を当該インターマクロブロックの領域が画面全域を占めるに到るまで継続することによって形成するシーンチェンジ検出部を備え、
前記符号化器は、前記シーンチェンジ検出部から供給される符号化処理制御信号に応じて、前記ワイプ処理の期間中、当該イントラマクロブロックの領域が未到の部分領域の符号化処理をスキップさせる処理を実行することを特徴とする動画像符号化装置。
Corresponds to the prediction screen formed by switching between the intra-macroblock by intra-frame prediction processing and the inter-macroblock by inter-screen prediction processing, and the prediction screen in the video, as the video to be encoded A video encoding device that encodes a difference from a screen to be encoded by executing an encoding process by an encoder,
The intra macroblock detects a scene change in the moving image, and gradually moves the region of the intra macroblock that occupies a certain region from one end side to the other end side of the predictive coding screen after the scene change is detected. Wipe in a form in which the area after passing is allocated with the area of the inter macro block and the encoding process control signal is supplied to the encoder to skip the encoding process of the partial area where the area of the intra macro block has not yet reached. A scene change detection unit that is formed by continuing the process until the area of the inter-macroblock reaches the entire screen;
The encoder skips the encoding process of the partial area where the area of the intra macroblock has not yet reached during the wipe process according to the encoding process control signal supplied from the scene change detection unit. A moving image encoding apparatus that executes processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201780A JP2012060423A (en) | 2010-09-09 | 2010-09-09 | Video encoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201780A JP2012060423A (en) | 2010-09-09 | 2010-09-09 | Video encoder |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012060423A true JP2012060423A (en) | 2012-03-22 |
Family
ID=46056975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010201780A Pending JP2012060423A (en) | 2010-09-09 | 2010-09-09 | Video encoder |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012060423A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016136458A1 (en) * | 2015-02-26 | 2016-09-01 | 株式会社日立国際電気 | Video switching device provided with encoder, and video switching method including encoding method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638194A (en) * | 1992-07-14 | 1994-02-10 | Canon Inc | Encoder |
JPH0837663A (en) * | 1994-07-22 | 1996-02-06 | Canon Inc | Encoder |
JPH09214977A (en) * | 1996-02-06 | 1997-08-15 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for encoding video |
JPH1141609A (en) * | 1997-07-23 | 1999-02-12 | Hitachi Ltd | Signal processor |
-
2010
- 2010-09-09 JP JP2010201780A patent/JP2012060423A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638194A (en) * | 1992-07-14 | 1994-02-10 | Canon Inc | Encoder |
JPH0837663A (en) * | 1994-07-22 | 1996-02-06 | Canon Inc | Encoder |
JPH09214977A (en) * | 1996-02-06 | 1997-08-15 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for encoding video |
JPH1141609A (en) * | 1997-07-23 | 1999-02-12 | Hitachi Ltd | Signal processor |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016136458A1 (en) * | 2015-02-26 | 2016-09-01 | 株式会社日立国際電気 | Video switching device provided with encoder, and video switching method including encoding method |
JP2016158185A (en) * | 2015-02-26 | 2016-09-01 | 株式会社日立国際電気 | Video switching device including encoder and video switching method including coding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11051043B2 (en) | Image processing device and image processing method | |
CN105379284B (en) | Moving picture encoding device and method of operating the same | |
US9800869B2 (en) | Method and apparatus for efficient slice header processing | |
KR101089325B1 (en) | Encoding method, decoding method, and encoding apparatus for a digital picture sequence | |
KR101662139B1 (en) | Efficient storage of motion information for high efficiency video coding | |
KR20140120891A (en) | Method and apparatus for efficient transform unit encoding | |
KR20050074286A (en) | Image encoding device, image encoding method and image encoding program | |
WO2005062622A1 (en) | Image decoding device, image decoding method, and image decoding program | |
JP4799547B2 (en) | Encoding method and encoding apparatus for picture sequence using predictive picture and non-predictive picture each including multi-macroblock | |
JP5640979B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding program | |
JP5365805B2 (en) | Moving picture conversion apparatus, moving picture conversion method, and moving picture conversion program | |
WO2012098845A1 (en) | Image encoding method, image encoding device, image decoding method, and image decoding device | |
JP5560009B2 (en) | Video encoding device | |
Chono et al. | Detented quantization to suppress flicker artifacts in periodically inserted intra-coded pictures in H. 264 video coding | |
KR100770873B1 (en) | Method and apparatus of controling bit rate in image encoding | |
JP2012060423A (en) | Video encoder | |
KR101678138B1 (en) | Video encoding method, device, and program | |
JP4926912B2 (en) | Video encoding apparatus and method | |
JP5946980B1 (en) | Image decoding method | |
JP6181242B2 (en) | Image decoding method | |
JP5951915B2 (en) | Image decoding method | |
JP5750191B2 (en) | Image decoding method | |
JP5911982B2 (en) | Image decoding method | |
JPH10327413A (en) | Image coding method and device, image decoder, image encoding decoding device, intra-coding control method and ratio image communication terminal equipment conducting intra-coding control processing | |
JP5061355B2 (en) | Image encoding method, apparatus and program, and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120523 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120523 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140430 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140902 |