JP2008136038A - Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program - Google Patents

Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program Download PDF

Info

Publication number
JP2008136038A
JP2008136038A JP2006321354A JP2006321354A JP2008136038A JP 2008136038 A JP2008136038 A JP 2008136038A JP 2006321354 A JP2006321354 A JP 2006321354A JP 2006321354 A JP2006321354 A JP 2006321354A JP 2008136038 A JP2008136038 A JP 2008136038A
Authority
JP
Japan
Prior art keywords
video signal
signal
decoding
unit
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006321354A
Other languages
Japanese (ja)
Inventor
Toru Kumakura
徹 熊倉
Kazuhiro Shimauchi
和博 嶋内
Satoshi Sakazume
智 坂爪
Motoharu Ueda
基晴 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006321354A priority Critical patent/JP2008136038A/en
Publication of JP2008136038A publication Critical patent/JP2008136038A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To increase the prediction efficiency between resolutions in video hierarchy decoding. <P>SOLUTION: An extract section 109 divides a bit stream for outputting to a base layer decoding section 110 and an enhancement layer decoding section 112. A high resolution estimation signal restoring section 111 refers to a quantization parameter obtained in base layer decoding to restore a high resolution estimation signal from a base layer decoding signal to output the signal to the enhancement layer decoding section 112. At the enhancement layer decoding section 112, the bit stream obtained from the extract section 109 and the high resolution estimation signal outputted from the high resolution estimation signal restoring section 111 are supplied, the bit stream is decoded, and a signal obtained there and the high resolution estimation signal are used to decode a signal having the space resolution of an original video signal. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、映像信号の復号化、特に階層復号化に関する。   The present invention relates to decoding of a video signal, and more particularly to hierarchical decoding.

従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広い。   Conventionally, many coding schemes have been proposed for realizing spatial resolution, temporal resolution, and SNR scalability in video coding, and these have been put to practical use in various fields. In particular, the spatial resolution scalability includes a wide range of applications including still image coding.

映像の空間解像度スケーラビリティを実現する従来技術として特許文献1がある。図11に特許文献1の符号化部1101と復号化部1103の構成例を示す。符号化部1101にはオリジナルの映像信号が入力され、符号化部1101で生成されたビットストリームが通信回線またはメディアなど1102を介して復号化部1103に伝送される。復号化部1103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。   There is Patent Document 1 as a conventional technique for realizing spatial resolution scalability of video. FIG. 11 shows a configuration example of the encoding unit 1101 and the decoding unit 1103 of Patent Document 1. The original video signal is input to the encoding unit 1101, and the bit stream generated by the encoding unit 1101 is transmitted to the decoding unit 1103 via a communication line or media 1102. The decoding unit 1103 extracts necessary information from the supplied bit stream and outputs a decoded video signal having a spatial resolution suitable for the performance of a display or the like.

符号化部1101は、空間デシメーション部（空間的縮小部）1104、ベースレイヤエンコード部1105、空間インターポレーション部（空間的拡大部）1106、エンハンスメントレイヤ符号化部1107および多重化部1108から構成される。   The encoding unit 1101 includes a spatial decimation unit (spatial reduction unit) 1104, a base layer encoding unit 1105, a spatial interpolation unit (spatial expansion unit) 1106, an enhancement layer encoding unit 1107, and a multiplexing unit 1108. The

空間デシメーション部1104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。また、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部1105に出力する機能を有する。   The spatial decimation unit 1104 has a function of receiving an original video signal as an input and spatially decimating the input signal to a desired spatial resolution (a function of reducing the resolution). Further, it has a function of outputting a signal that has been spatially decimated to a desired spatial resolution to the base layer encoding unit 1105.

ベースレイヤエンコード部1105は、空間デシメーション部1104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部1108へ出力する機能を有する。ここで、エンコードの方法には、MPEG-2などが用いられる。また、MPEG-2等におけるローカルデコード（局部復号）をおこなった信号を空間インターポレーション部1106へ出力する機能を有する。   The base layer encoding unit 1105 has a function of receiving the output of the spatial decimation unit 1104 as an input, encoding the input signal to generate a bit stream, and outputting the bit stream to the multiplexing unit 1108. Here, MPEG-2 or the like is used as an encoding method. Further, it has a function of outputting a signal subjected to local decoding (local decoding) in MPEG-2 or the like to the spatial interpolation unit 1106.

空間インターポレーション部1106は、ベースレイヤエンコード部1105から出力されるローカルデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤエンコード部1107へ出力する機能を有する。   Spatial interpolation section 1106 has a function of receiving a local decode signal output from base layer encoding section 1105 as an input and spatially interpolating the input signal to the resolution of the enhancement layer signal. Further, it has a function of outputting a signal spatially interpolated to the resolution of the enhancement layer signal to the enhancement layer encoding unit 1107.

エンハンスメントレイヤエンコード部1107は、オリジナルの映像信号と空間インターポレーション部1106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。また、符号化されて生成されるビットストリームを多重化部1108に出力する機能を有する。   The enhancement layer encoding unit 1107 has a function of receiving an original video signal and a signal output from the spatial interpolation unit 1106 as inputs. Each input signal is used to perform prediction using correlation between spatial resolutions and time, and has a function of encoding a prediction error signal generated in association with the prediction. In addition, it has a function of outputting a bit stream generated by encoding to the multiplexing unit 1108.

多重化部1108は、ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部1101の外部、例えば通信回線やメディアなど1102へ出力する機能を有する。   The multiplexing unit 1108 receives as input the respective bitstreams output from the base layer encoding unit 1105 and the enhancement layer encoding unit 1107 and multiplexes them to generate one bitstream, for example, outside the encoding unit 1101, for example, communication It has a function to output to 1102 such as a line or media.

復号化部1103は、エクストラクト部1109、ベースレイヤデコード部1110、空間インターポレーション部1111およびエンハンスメントレイヤデコード部1112から構成される。
エクストラクト部1109は、ビットストリームを入力として受け付ける機能を有する。復号化部1103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部1110およびエンハンスメントレイヤデコード部1112に出力する機能を有する。 The decoding unit 1103 includes an extract unit 1109, a base layer decoding unit 1110, a spatial interpolation unit 1111, and an enhancement layer decoding unit 1112.
The extractor 1109 has a function of accepting a bitstream as an input. In accordance with the performance of the decoding unit 1103 or the display, etc., it has a function of extracting what is necessary for decoding from the entire bit stream, dividing it, and outputting each to the base layer decoding unit 1110 and the enhancement layer decoding unit 1112.

ベースレイヤデコード部1110は、エクストラクト部1109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を空間インターポレーション部1111と必要に応じてディスプレイ等への出力をおこなう機能を有する。ここで、復号にはMPEG-2デコーダなどを用いる。   The base layer decoding unit 1110 has a function of accepting the base layer bit stream extracted by the extract unit 1109 as an input. It has a function of decoding the input bit stream and outputting the decoded video signal to the spatial interpolation unit 1111 and, if necessary, to a display or the like. Here, an MPEG-2 decoder or the like is used for decoding.

空間インターポレーション部1111は、ベースレイヤデコード部1110から出力されるベースレイヤデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤデコード部1112へ出力する機能を有する。   Spatial interpolation section 1111 has a function of accepting the base layer decoded signal output from base layer decoding section 1110 as an input and spatially interpolating the input signal to the resolution of the enhancement layer signal. In addition, it has a function of outputting a signal spatially interpolated to the resolution of the enhancement layer signal to the enhancement layer decoding unit 1112.

エンハンスメントレイヤデコード部1112は、エクストラクト部1109から得られるビットストリームおよび空間インターポレーション部1111から出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。   The enhancement layer decoding unit 1112 has a function of accepting a bit stream obtained from the extract unit 1109 and a signal output from the spatial interpolation unit 1111 as inputs. Each input signal has a function of decoding the spatial resolution signal of the original video signal. The decoded video signal is output to a display or the like.

図11に示した符号化部1101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図12に示す。
オリジナルの映像信号を、まず、空間デシメーション部1104において空間解像度のデシメーションをおこなう[ステップS1201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部1105を用いて符号化し、ビットストリームを生成する[ステップS1202]。生成されたビットストリームを多重化部1108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106へ送る。ベースレイヤエンコード部1105より得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106において空間解像度のインターポレーションをおこなう[ステップS1203]。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部1107に送る。 FIG. 12 shows a procedure for spatially scalable encoding of a video signal using the configuration example of the encoding unit 1101 shown in FIG.
First, spatial resolution decimation is performed on the original video signal in the spatial decimation unit 1104 [step S1201]. The signal with the spatial resolution decimated is encoded using the base layer encoding unit 1105 to generate a bitstream [step S1202]. The generated bit stream is sent to multiplexing section 1108, and the base layer local decoded signal obtained in the encoding process is sent to spatial interpolation section 1106. The base layer local decode signal obtained from the base layer encoding unit 1105 is spatially interpolated in the spatial interpolation unit 1106 [step S1203]. Then, the spatially interpolated signal is sent to the enhancement layer encoding unit 1107.

オリジナルの映像信号と空間インターポレーション部1106の出力信号を用いて、エンハンスメントレイヤエンコード部1107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS1204]。そして、符号化により生成されたビットストリームを、多重化部1108へ送る。ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より得られたそれぞれのビットストリームを多重化部1108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS1205]。   Using the original video signal and the output signal of the spatial interpolation unit 1106, the enhancement layer encoding unit 1107 performs prediction using the correlation between the spatial resolutions and the time, and encodes the prediction error signal generated thereby [ Step S1204]. Then, the bit stream generated by the encoding is sent to the multiplexing unit 1108. Each bit stream obtained from the base layer encoding unit 1105 and the enhancement layer encoding unit 1107 is multiplexed in the multiplexing unit 1108 to generate one bit stream [step S1205].

図11に示した復号化部1103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図13に示す。
通信回線やメディア等1102からビットストリームをエクストラクト部1109を用いて受信する。ビットストリームを解析し、復号化部1103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部1110、エンハンスメントレイヤデコード部1112それぞれに対応したデータに分割して出力する[ステップS1301]。 FIG. 13 shows a procedure for obtaining a decoded video signal by decoding a spatially scalable bit stream using the configuration example of the decoding unit 1103 shown in FIG.
A bit stream is received from the communication line or media 1102 using the extract unit 1109. The bit stream is analyzed, and necessary code data is extracted in accordance with the performance of the decoding unit 1103 and the display. Then, the data is divided into data corresponding to the base layer decoding unit 1110 and the enhancement layer decoding unit 1112 and output [step S1301].

エクストラクト部1109で分割したベースレイヤに対応するデータをベースレイヤデコード部1110で復号する[ステップS1302]。復号したベースレイヤデコード映像信号を空間インターポレーション部1111に出力し、必要があればディスプレイ等にも出力する。ベースレイヤデコード部1110より得られるベースレイヤのデコード映像信号を空間インターポレーション部1111において空間解像度のインターポレーションをおこなう[ステップS1303]。そして、空間インターポレーションした信号をエンハンスメントレイヤデコード部1112に送る。エクストラクト部1109で分割したエンハンスメントレイヤに対応するデータおよび空間インターポレーション部1111で空間インターポレーションした信号をエンハンスメントレイヤデコード部1112で復号する[ステップS1304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。   Data corresponding to the base layer divided by the extractor 1109 is decoded by the base layer decoder 1110 [step S1302]. The decoded base layer decoded video signal is output to the spatial interpolation unit 1111 and output to a display or the like if necessary. The base layer decoded video signal obtained from the base layer decoding unit 1110 is subjected to spatial resolution interpolation in the spatial interpolation unit 1111 [step S1303]. The spatially interpolated signal is sent to the enhancement layer decoding unit 1112. The data corresponding to the enhancement layer divided by the extractor 1109 and the signal spatially interpolated by the spatial interpolation unit 1111 are decoded by the enhancement layer decoding unit 1112 [step S1304]. Then, the decoded decoded video signal is output to a display or the like.

一方、画像拡大法の分野において、画像拡大時に拡大後の解像度に適切な高周波数成分を推定して付加する非特許文献1の技術がある。非特許文献1は、階層符号化におけるラプラシアンピラミッドの考え方を画像拡大法に応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度がひとつ高い階層のラプラシアン成分の推定を成し遂げる方法である。   On the other hand, in the field of image enlargement methods, there is a technique of Non-Patent Document 1 that estimates and adds a high-frequency component suitable for the resolution after enlargement when an image is enlarged. Non-Patent Document 1 applies the idea of the Laplacian pyramid in hierarchical coding to the image enlargement method. This is a method for achieving the estimation of the Laplacian component of the layer having a higher spatial resolution from only the signal of the layer of interest using the strong correlation of the Laplacian component between the layers.

図14に非特許文献1による高周波数成分推定を伴う画像拡大部1401の構成例を示す。高周波数成分を伴う画像拡大部1401は、第1のハイパスフィルタリング部1402、第1のインターポレーション部1403、振幅制限・定数倍処理部1404、第2のハイパスフィルタリング部1405、第2のインターポレーション部1406及び信号合成部1407で構成される。   FIG. 14 shows a configuration example of the image enlargement unit 1401 accompanied by high-frequency component estimation according to Non-Patent Document 1. The image enlarging unit 1401 with a high frequency component includes a first high-pass filtering unit 1402, a first interpolation unit 1403, an amplitude limiting / constant multiplication unit 1404, a second high-pass filtering unit 1405, and a second interpolator. And a signal synthesizing unit 1407.

第1のハイパスフィルタリング部1402は、拡大対象のオリジナルの信号を入力として受け付け、入力信号のラプラシアン成分を抽出する機能を有する。入力信号のラプラシアン成分の抽出は次のように行う。ここで、説明を簡単にするために、1次元の信号モデルを例にして、入力信号をG0(x)、入力信号から抽出されるラプラシアン成分をL0(x)とする。 The first high-pass filtering unit 1402 has a function of receiving an original signal to be enlarged as an input and extracting a Laplacian component of the input signal. The Laplacian component of the input signal is extracted as follows. Here, for the sake of simplicity, taking a one-dimensional signal model as an example, the input signal is G 0 (x), and the Laplacian component extracted from the input signal is L 0 (x).

Figure 2008136038
Figure 2008136038

Figure 2008136038
Figure 2008136038

ここで、ρは、ガウシアンフィルタの帯域を調整するためのパラメータである。また、第1のハイパスフィルタリング部1402は、入力信号から抽出したラプラシアン成分の信号を第1のインターポレーション部1403へ出力する機能を有する。 Here, ρ is a parameter for adjusting the band of the Gaussian filter. The first high-pass filtering unit 1402 has a function of outputting a Laplacian component signal extracted from the input signal to the first interpolation unit 1403.

第1のインターポレーション部1403は、第1のハイパスフィルタリング部1402より出力されるラプラシアン成分の信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rL0(x)は、入力ラプラシアン成分信号をL0(x)とすると、 The first interpolation unit 1403 has a function of accepting a Laplacian component signal output from the first high-pass filtering unit 1402 as an input, and performing interpolation at an arbitrary magnification so that the signal has a desired resolution. Have Interpolation at an arbitrary magnification is performed as follows. Interpolation signal (EXPAND) r L 0 (x ) is optionally magnification r, when the input Laplacian component signal L 0 and (x),

Figure 2008136038
Figure 2008136038

Figure 2008136038
Figure 2008136038

Figure 2008136038
Figure 2008136038

で与えられる。ここでint(・)は整数部分を取り出す操作を示す。また、第1のインターポレーション部1403は、インターポレーションした信号を振幅制限・定数倍処理部1404へ出力する機能を有する。 Given in. Here, int (·) indicates an operation for extracting the integer part. The first interpolation unit 1403 has a function of outputting the interpolated signal to the amplitude limit / constant multiplication unit 1404.

振幅制限・定数倍処理部1404は、第1のインターポレーション部1403より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は、入力される信号に対して、振幅制限と定数倍処理を行うことで実現される。生成される信号Ｌrバー(x)は、入力される信号を(EXPAND)rL0(x)とすると、 The amplitude limiting / constant multiplication processing unit 1404 has a function of receiving a signal output from the first interpolation unit 1403 as an input and performing a first step for estimating an unknown high frequency component. The first step for estimating an unknown high-frequency component is realized by performing amplitude limitation and constant multiplication on the input signal. The generated signal L r bar (x) is expressed as (EXPAND) r L 0 (x).

Figure 2008136038
Figure 2008136038

で与えられる。ここで、振幅制限のためのパラメータT及び定数倍処理のためのパラメータαrは、非特許文献1中で実験的に求められている。なお、パラメータαrは、拡大率に応じて可変である。また、振幅制限・定数倍処理部1404は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部1405へ出力する機能を有する。 Given in. Here, the parameter T for amplitude limitation and the parameter α r for constant multiplication processing are experimentally obtained in Non-Patent Document 1. The parameter α r is variable according to the enlargement ratio. The amplitude limiting / constant multiplication processing unit 1404 has a function of outputting the signal subjected to the amplitude limiting / constant multiplication processing to the second high-pass filtering unit 1405.

第2のハイパスフィルタリング部1405は、振幅制限・定数倍処理部1404より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、振幅制限・定数倍処理より出力された信号から低域成分を取り除き、本来求めようとしている高周波数成分のみを得るものである。これは、入力される信号に対してハイパスフィルタリングをおこなうことで実現される。ハイパスフィルタリングされた信号、すなわち、推定された未知の高周波数成分Ｌrハット(x)は、入力される信号をＬrバー(x)とすると、 The second high-pass filtering unit 1405 has a function of receiving a signal output from the amplitude limiting / constant multiplication processing unit 1404 as an input and performing a second step for estimating an unknown high-frequency component. In the second step for estimating the unknown high frequency component, the low frequency component is removed from the signal output by the amplitude limiting / constant multiplication processing, and only the high frequency component originally obtained is obtained. This is realized by performing high-pass filtering on the input signal. The high-pass filtered signal, that is, the estimated unknown high-frequency component L r hat (x) is defined as L r bar (x).

Figure 2008136038
Figure 2008136038

で与えられる。ここで、W(i)は式(2)に示したものである。また、第2のハイパスフィルタリング部1405は、推定された高周波数成分を信号合成部1407へ出力する機能を有する。
第2のインターポレーション部1406は、拡大対象のオリジナルの信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rG0(x)は、入力信号をG0(x)とすると、 Given in. Here, W (i) is shown in Equation (2). The second high-pass filtering unit 1405 has a function of outputting the estimated high frequency component to the signal synthesis unit 1407.
The second interpolation unit 1406 has a function of accepting an original signal to be enlarged as an input, and performing interpolation at an arbitrary magnification so that the signal has a desired resolution. Interpolation at an arbitrary magnification is performed as follows. The signal (EXPAND) r G 0 (x) interpolated to an arbitrary magnification r is G 0 (x).

Figure 2008136038
Figure 2008136038

で与えられる。ここで、Wr(i)は式(4)と式(5)で示したものである。また、第2のインターポレーション部1406は、インターポレーションした信号を信号合成部1407へ出力する機能を有する。 Given in. Here, W r (i) is represented by Expression (4) and Expression (5). The second interpolation unit 1406 has a function of outputting the interpolated signal to the signal synthesis unit 1407.

信号合成部1407は、第2のハイパスフィルタリング部1405より出力される信号と第2のインターポレーション部1406より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて、高周波数成分推定を伴う画像拡大部1401の外部に出力する機能を有する。   The signal synthesis unit 1407 has a function of receiving the signal output from the second high-pass filtering unit 1405 and the signal output from the second interpolation unit 1406 as inputs. Also, it has a function of adding the input signals and outputting them to the outside of the image enlarging unit 1401 accompanied by high frequency component estimation.

図14に示した高周波数成分推定を伴う画像拡大部1401の構成例を用いて画像信号を拡大する手順を図15に示す。
まず、拡大対象の入力信号を第2のインターポレーション部1406において所望の解像度にインターポレーションする[ステップS1501]。 FIG. 15 shows a procedure for enlarging the image signal using the configuration example of the image enlarging unit 1401 with high frequency component estimation shown in FIG.
First, the input signal to be enlarged is interpolated to a desired resolution in the second interpolation unit 1406 [step S1501].

次に、第1のハイパスフィルタリング部1402を用いて拡大対象の入力信号からラプラシアン成分信号を抽出する[ステップS1502]。抽出したラプラシアン成分信号を第1のインターポレーション部1403において所望の解像度にインターポレーションする[ステップS1503]。インターポレーションした信号を振幅制限・定数倍処理部1404を用いて振幅制限・定数倍処理をおこなう[ステップS1504]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS1505]。   Next, a Laplacian component signal is extracted from the input signal to be enlarged using the first high-pass filtering unit 1402 [step S1502]. The extracted Laplacian component signal is interpolated to a desired resolution in the first interpolation unit 1403 [step S1503]. The interpolated signal is subjected to amplitude limiting / constant multiplication processing using the amplitude limiting / constant multiplication processing unit 1404 [step S1504]. A high-pass filtering process is performed in the second high-pass filtering unit on the signal subjected to the amplitude limiting constant multiplication process to obtain an estimated high-frequency component signal [step S1505].

最後に、入力信号をインターポレーションした信号と推定された高周波数成分信号を信号合成部1407を用いて足し合わせて、高周波数成分推定を伴う画像拡大処理された信号を得る[ステップS1506]。
特開平7-162870号公報 高橋靖正, 田口亮, "高周波数成分推定を伴う任意倍率可能な画像拡大法," 信学論(A), vol. J84-A, no. 9, pp1192-1201, Sep. 2001. Finally, the input signal is interpolated and the estimated high frequency component signal is added using the signal synthesis unit 1407 to obtain an image-enlarged signal with high frequency component estimation [step S1506].
Japanese Unexamined Patent Publication No. 7-16870 Takamasa Takamasa and Taguchi Ryo, "Image magnification method with high-frequency component estimation, arbitrary magnification," IEICE Tech. (A), vol. J84-A, no. 9, pp1192-1201, Sep. 2001.

映像の空間解像度スケーラビリティを実現する従来技術の一般的なものは、その一例として特許文献1（特開平7-162870号公報）に示されるように、ベースレイヤのローカルデコードをインターポレーションし、それをエンハンスメントレイヤ符号化における予測信号に用いている。これは、エンハンスメントレイヤに入力されるオリジナルの映像信号とベースレイヤの信号との間にある程度の相関がある、すなわち、オリジナルの映像信号の一部の周波数成分をベースレイヤの信号がもっていることを利用したものである。したがって、ベースレイヤのローカルデコード信号とエンハンスメントレイヤに入力されるオリジナルの映像信号との間の相関がより高ければ、符号化効率は高くなる。したがって、より効率的な符号化を実現する為には、ベースレイヤのローカルデコードを単純にインターポレーションして予測信号を得るのではなく、よりオリジナルの映像信号に近づけるような推定処理（高解像度化処理）をおこなって予測信号を得ることが必要であると考えられる。   As a typical example of the prior art that realizes spatial resolution scalability of video, as shown in Patent Document 1 (Japanese Patent Laid-Open No. 7-16870), as an example, the base layer local decoding is interpolated. Is used for a prediction signal in enhancement layer coding. This means that there is a certain degree of correlation between the original video signal input to the enhancement layer and the base layer signal, that is, the base layer signal has some frequency components of the original video signal. It is used. Therefore, the higher the correlation between the base layer local decode signal and the original video signal input to the enhancement layer, the higher the coding efficiency. Therefore, in order to realize more efficient encoding, an estimation process (high resolution) that brings the original video signal closer rather than simply interpolating the local decoding of the base layer to obtain a prediction signal. It is considered that it is necessary to obtain a prediction signal by performing a conversion process.

ここで、非特許文献1を階層符号化の推定処理にそのまま適用することには問題がある。それは、非特許文献1が自然画像の拡大を対象につくられていることである。ベースレイヤのローカルデコード信号は、劣化した信号であり、本来の高い周波数成分をもたない。また、量子化の程度が荒い場合には、オリジナルの信号との相関が低くなった信号となっている。したがって、自然画像用にチューニングされた非特許文献1を単純に前述の推定処理に適用した場合、期待する符号化効率の効果が得られるとは限らない。   Here, there is a problem in applying Non-Patent Document 1 as it is to the estimation process of hierarchical encoding. That is that Non-Patent Document 1 is designed for natural image enlargement. The local decode signal of the base layer is a deteriorated signal and does not have an original high frequency component. Further, when the degree of quantization is rough, the signal has a low correlation with the original signal. Therefore, when Non-Patent Document 1 tuned for natural images is simply applied to the above-described estimation process, the expected effect of coding efficiency is not always obtained.

本発明は、予測信号の適確な高解像度化処理を行ってより効率的に映像階層符号化された符号化データに対して、効率的な映像階層復号化を実現することを目的とする。   An object of the present invention is to realize efficient video hierarchical decoding on encoded data that has been subjected to accurate high-resolution processing of a prediction signal and more efficiently video hierarchically encoded.

そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１） 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化手段と、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元手段と、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化手段と、
を備え、
前記復元手段は、前記第１の復号化手段での復号化に用いた量子化パラメータと、前記第の２復号化手段において前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化装置。
（２） 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離ステップと、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化ステップと、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元ステップと、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化ステップと、
を備え、
前記復元ステップは、前記第１の復号化ステップでの復号化に用いた量子化パラメータと、前記第の２復号化ステップにおいて前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化方法。
（３） 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化手段と、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元手段と、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化手段と、
してコンピュータを機能させるための映像信号階層復号化プログラムであり、
前記復元手段は、前記第１の復号化手段での復号化に用いた量子化パラメータと、前記第の２復号化手段において前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化プログラム。 Therefore, in order to solve the above problems, the present invention provides the following apparatus, method, and program.
(1) first encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions; And the second encoded data obtained by encoding the video signal by the inter-spatial resolution prediction, and the second encoded data is encoded in the process of encoding the first video signal. High resolution with high frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. To obtain a second video signal, which is a high-resolution enlarged video signal, by spatially enlarging the signal, and using the second video signal as a prediction signal, the original video signal is obtained by inter-resolution resolution prediction. Encoded data Separating means for separating the multiplexed data that is a data into the first and second encoded data;
First decoding means for decoding the separated first encoded data and obtaining the first video signal having a low resolution;
A restoration means for performing a high resolution restoration process for spatially expanding the decoded first video signal and restoring the second video signal which is the high resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal Second decoding means for obtaining a signal;
With
The restoration means includes the quantization parameter used for decoding by the first decoding means, and the second decoding data obtained before the decoding of the second encoded data by the second decoding means. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
And a video signal hierarchical decoding apparatus.
(2) first encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions; And the second encoded data obtained by encoding the video signal by the inter-spatial resolution prediction, and the second encoded data is encoded in the process of encoding the first video signal. High resolution with high frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. To obtain a second video signal, which is a high-resolution enlarged video signal, by spatially enlarging the signal, and using the second video signal as a prediction signal, the original video signal is obtained by inter-resolution resolution prediction. Encoded data A separation step of separating the multiplexed data that is a data into the first and second encoded data;
A first decoding step of decoding the separated first encoded data to obtain the first video signal having a low resolution;
A restoration step of performing a high-resolution restoration process that spatially enlarges the decoded first video signal and restores the second video signal that is the high-resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal A second decoding step to obtain a signal;
With
The restoration step includes the quantization parameter used for decoding in the first decoding step, and the second encoded data obtained in the pre-decoding stage of the second encoded data in the second decoding step. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
And a video signal hierarchical decoding method.
(3) first encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions; And the second encoded data obtained by encoding the video signal by the inter-spatial resolution prediction, and the second encoded data is encoded in the process of encoding the first video signal. High resolution with high frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. To obtain a second video signal, which is a high-resolution enlarged video signal, by spatially enlarging the signal, and using the second video signal as a prediction signal, the original video signal is obtained by inter-resolution resolution prediction. Encoded data Separating means for separating the multiplexed data that is a data into the first and second encoded data;
First decoding means for decoding the separated first encoded data and obtaining the first video signal having a low resolution;
A restoration means for performing a high resolution restoration process for spatially expanding the decoded first video signal and restoring the second video signal which is the high resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal Second decoding means for obtaining a signal;
And a video signal hierarchical decoding program for causing the computer to function.
The restoration means includes the quantization parameter used for decoding by the first decoding means, and the second decoding data obtained before the decoding of the second encoded data by the second decoding means. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
A video signal hierarchical decoding program.

本発明によれば、階層符号化された映像信号の符号化データをより効率よく高品位に復号化することが可能となる。   According to the present invention, encoded data of a hierarchically encoded video signal can be decoded more efficiently and with high quality.

本発明における復号の対象となる符号化データを得る符号化は、従来の階層符号化に階層間の予測効率を上げるための推定処理を導入することがまずひとつの新しい概念であり、それに加えて、入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化する過程で得られる局部復号化信号（ベースレイヤローカルデコード信号）を、ベースレイヤローカルデコード信号の符号化特性に基づいて入力映像信号に近づけることがもうひとつの新しい概念である。これらの符号化に対応した復号を実現するための構成、方法及びプログラムの実施例を以下に示す。なお、以下に示す実施例は、説明を簡単にするために二階層の階層符号化・復号化を例に挙げているが、これを多階層で実現しても良い。
［実施例１］
図1に、本発明の実施例１を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置の構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。 In the coding for obtaining the coded data to be decoded in the present invention, the introduction of an estimation process for increasing the prediction efficiency between layers in the conventional layered coding is one new concept. A local decoded signal (base layer local decoded signal) obtained in the process of encoding a video signal having a resolution lower than that of the input video signal obtained by decomposing the input video signal into layers having different resolutions. Another approach is to approach the input video signal based on the encoding characteristics of the decoded signal. Examples of a configuration, a method, and a program for realizing decoding corresponding to these encodings are shown below. In addition, although the Example shown below has mentioned the hierarchy encoding / decoding of 2 hierarchies as an example in order to simplify description, you may implement | achieve this in multiple hierarchies.
[Example 1]
FIG. 1 shows a configuration example of a hierarchical encoding / decoding apparatus that realizes spatial resolution scalability to which the first embodiment of the present invention is applied. The original video signal is input to the encoding unit 101, and the bit stream generated by the encoding unit 101 is transmitted to the decoding unit 103 via a communication line or media 102. The decoding unit 103 extracts necessary information from the supplied bit stream and outputs a decoded video signal having a spatial resolution suitable for the performance of a display or the like.

符号化部101は、空間デシメーション部（空間的縮小手段）104、ベースレイヤエンコード部（第１の符号化手段）105、高解像度推定信号生成部（空間的拡大手段、第３の符号化手段）106、エンハンスメントレイヤ符号化部（第２の符号化手段）107および多重化部108から構成される。   The encoding unit 101 includes a spatial decimation unit (spatial reduction unit) 104, a base layer encoding unit (first encoding unit) 105, and a high-resolution estimated signal generation unit (spatial expansion unit, third encoding unit). 106, an enhancement layer encoding unit (second encoding unit) 107 and a multiplexing unit 108.

空間デシメーション部104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。ここで、空間デシメーションの方法はいくつか考えられるが、ラプラシアンピラミッドと同様の関係を利用するために後述する高解像度推定信号生成部106で扱うフィルタに対応した方法を用いることが望ましい。そして、任意縮小率にも対応していることが望ましい。また、空間デシメーション部104は、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部105に出力する機能を有する。   The spatial decimation unit 104 has a function of receiving an original video signal as an input and spatially decimating the input signal to a desired spatial resolution (a function of reducing the resolution). Here, several spatial decimation methods can be considered, but in order to use the same relationship as the Laplacian pyramid, it is desirable to use a method corresponding to a filter handled by the high-resolution estimated signal generation unit 106 described later. It is also desirable to support an arbitrary reduction ratio. In addition, the spatial decimation unit 104 has a function of outputting a signal subjected to spatial resolution decimation to a desired spatial resolution to the base layer encoding unit 105.

ベースレイヤエンコード部105は、空間デシメーション部104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部108へ出力する機能を有する。ここで、エンコードの方法は、いくつか考えられるが、例えば、MPEG-2やH.264などのクローズドループのエンコーダなどが用いられる。時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。オープンループのエンコーダを用いた場合、そのエンコーダにはローカルデコード(リコンストラクト)機能を含むものとする。また、ベースレイヤエンコード部105内においてローカルデコード（局部復号）をおこなった信号及び符号化に用いた量子化パラメータを空間インターポレーション（空間的拡大部）機能を有する高解像度推定信号生成部106へ出力する機能を有する。   The base layer encoding unit 105 has a function of receiving the output of the spatial decimation unit 104 as an input, encoding the input signal to generate a bit stream, and outputting the bit stream to the multiplexing unit 108. Here, several encoding methods can be considered. For example, a closed loop encoder such as MPEG-2 or H.264 is used. Functions such as scalability in the time direction and S / N ratio scalability may be included. When an open loop encoder is used, the encoder includes a local decoding (reconstruction) function. In addition, the signal subjected to local decoding (local decoding) in the base layer encoding unit 105 and the quantization parameter used for encoding are sent to the high resolution estimation signal generation unit 106 having a spatial interpolation (spatial expansion unit) function. Has a function to output.

高解像度推定信号生成部106は、ベースレイヤエンコード部105から出力されるローカルデコード信号及びベースレイヤ量子化パラメータを、また、量子化制御部４２３からエンハンスメントレイヤの符号化に用いるエンハンスメントレイヤ量子化パラメータを入力として受け付け、ベースレイヤのローカルデコード信号からオリジナルの解像度の映像信号を推定する機能を有する。詳細については後述する。また、ベースレイヤのローカルデコード信号からオリジナルの高解像度映像信号を推定した信号をエンハンスメントレイヤエンコード部107へ出力する機能を有する。   The high-resolution estimated signal generation unit 106 receives the local decode signal and the base layer quantization parameter output from the base layer encoding unit 105, and the enhancement layer quantization parameter used for encoding the enhancement layer from the quantization control unit 423. It has a function of accepting it as an input and estimating an original resolution video signal from a base layer local decode signal. Details will be described later. Further, it has a function of outputting a signal obtained by estimating the original high-resolution video signal from the base layer local decode signal to the enhancement layer encoding unit 107.

エンハンスメントレイヤエンコード部107は、オリジナルの映像信号と高解像度推定信号生成部106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。詳細については後述する。また、符号化されて生成されるビットストリームを多重化部108に出力する機能を有する。   The enhancement layer encoding unit 107 has a function of receiving an original video signal and a signal output from the high resolution estimation signal generation unit 106 as inputs. Each input signal is used to perform prediction using correlation between spatial resolutions and time, and has a function of encoding a prediction error signal generated in association with the prediction. Details will be described later. Further, it has a function of outputting the bit stream generated by encoding to the multiplexing unit 108.

多重化部108は、ベースレイヤエンコード部105エンハンスメントレイヤエンコード部107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部101の外部、例えば通信回線やメディアなど102へ出力する機能を有する。   The multiplexing unit 108 receives each bit stream output from the base layer encoding unit 105 enhancement layer encoding unit 107 as an input, multiplexes to generate one bit stream, and generates a single bit stream, for example, a communication line And a function of outputting to 102 such as media.

復号化部103は、エクストラクト部（分離手段）109、ベースレイヤデコード部（第１の復号化手段）110、高解像度推定信号復元部（復元手段）111およびエンハンスメントレイヤデコード部（第２の復号化手段）112から構成される。   The decoding unit 103 includes an extraction unit (separating unit) 109, a base layer decoding unit (first decoding unit) 110, a high-resolution estimated signal restoration unit (reconstruction unit) 111, and an enhancement layer decoding unit (second decoding unit). ) 112.

エクストラクト部109は、ビットストリームを入力として受け付ける機能を有する。復号化部103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112に出力する機能を有する。   The extractor 109 has a function of accepting a bitstream as an input. In accordance with the performance of the decoding unit 103 or the display, what is necessary for decoding is cut out from the entire bit stream, divided and divided into the base layer decoding unit 110, the high resolution estimated signal restoration unit 111, and the enhancement layer decoding unit 112, respectively. Has a function to output.

ベースレイヤデコード部110は、エクストラクト部109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を高解像度推定信号復元部111と必要に応じてディスプレイ等への出力をおこなう機能を有する。また、復号に用いた量子化パラメータを高解像度推定信号復元部111へ出力する機能を有する。ここで、復号には、例えばMPEG-2やH.264などを用いる。また、時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。   The base layer decoding unit 110 has a function of accepting the base layer bit stream extracted by the extract unit 109 as an input. It has a function of decoding the input bit stream and outputting the decoded video signal to the high-resolution estimated signal restoring unit 111 and, if necessary, a display. In addition, it has a function of outputting the quantization parameter used for decoding to the high-resolution estimated signal restoration unit 111. Here, for decoding, for example, MPEG-2, H.264, or the like is used. Also, it may include functions such as time direction scalability and SN ratio scalability.

高解像度推定信号復元部111は、ベースレイヤデコード部110から出力されるベースレイヤデコード信号及び量子化パラメータ、さらには、エンハンスメントレイヤデコード部112から量子化パラメータを入力として受け付ける機能を有する。また、その２つの量子化パラメータを用いて、ベースレイヤデコード信号から高解像度推定信号を復元し、その信号をエンハンスメントレイヤデコード部112へ出力する機能を有する。詳細については後述する。   The high-resolution estimated signal restoration unit 111 has a function of receiving the base layer decoded signal and the quantization parameter output from the base layer decoding unit 110, and further receiving the quantization parameter from the enhancement layer decoding unit 112 as input. Further, the high-resolution estimation signal is restored from the base layer decoded signal using the two quantization parameters, and the signal is output to the enhancement layer decoding unit 112. Details will be described later.

エンハンスメントレイヤデコード部112は、エクストラクト部109から得られるビットストリーム及び高解像度推定信号復元部111から出力される高解像度推定信号を入力として受け付ける機能を有する。ビットストリームを復号し、そこで得られる信号と、高解像度推定信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。また、エンハンスメントレイヤデコード部112は、オリジナル映像信号の空間解像度の信号を復号するために用いる量子化パラメータを高解像度推定信号復元部111に出力する機能を有する。   The enhancement layer decoding unit 112 has a function of receiving the bit stream obtained from the extract unit 109 and the high resolution estimation signal output from the high resolution estimation signal restoration unit 111 as inputs. It has a function of decoding a bit stream and decoding a spatial resolution signal of the original video signal using a signal obtained there and a high resolution estimation signal. The decoded video signal is output to a display or the like. In addition, the enhancement layer decoding unit 112 has a function of outputting a quantization parameter used for decoding a spatial resolution signal of the original video signal to the high resolution estimated signal restoration unit 111.

図1に示した符号化部101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図2に示す。
オリジナルの映像信号を、まず、空間デシメーション部104において空間解像度のデシメーションをおこなう[ステップS201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ビットストリームを生成する[ステップS202]。生成されたビットストリームを多重化部108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号及び量子化パラメータを高解像度推定信号生成部106へ送る。高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107を用いて高解像度映像信号を推定する[ステップS203]。詳細については後述する。そして、ここで生成した高解像度推定信号をエンハンスメントレイヤエンコード部107へ送る。オリジナルの映像信号と高解像度推定信号を用いて、エンハンスメントレイヤエンコード部107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS204]。そして、符号化により生成されたビットストリームを、多重化部108へ送る。ベースレイヤエンコード部105及びエンハンスメントレイヤエンコード部107より得られたそれぞれのビットストリームを多重化部108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS205]。 FIG. 2 shows a procedure for spatially scalable video signals using the configuration example of the encoding unit 101 shown in FIG.
First, spatial resolution decimation is performed on the original video signal in the spatial decimation unit 104 [step S201]. The signal obtained by decimating the spatial resolution is encoded using the base layer encoding unit 105 to generate a bit stream [step S202]. The generated bit stream is sent to multiplexing section 108, and the base layer local decode signal and quantization parameter obtained in the encoding process are sent to high resolution estimation signal generating section 106. A high resolution video signal is estimated using the high resolution estimation signal generation unit 106 and the enhancement layer encoding unit 107 [step S203]. Details will be described later. Then, the high-resolution estimation signal generated here is sent to the enhancement layer encoding unit 107. Using the original video signal and the high-resolution estimation signal, the enhancement layer encoding unit 107 performs prediction using the correlation between the spatial resolutions and the time, and encodes the prediction error signal generated accordingly [step S204]. Then, the bit stream generated by the encoding is sent to the multiplexing unit 108. Each bit stream obtained from the base layer encoding unit 105 and the enhancement layer encoding unit 107 is multiplexed in the multiplexing unit 108 to generate one bit stream [step S205].

図1に示した復号化部103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図3に示す。
通信回線やメディア等102に伝送または記録されたビットストリームを、エクストラクト部109を介して受信する。ビットストリームを解析し、復号化部103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部110及びエンハンスメントレイヤデコード部112それぞれに対応したデータに分割して出力する[ステップS301]。 FIG. 3 shows a procedure for obtaining a decoded video signal by decoding a spatially scalable bit stream using the configuration example of the decoding unit 103 shown in FIG.
A bit stream transmitted or recorded on the communication line or the media 102 is received via the extract unit 109. The bit stream is analyzed, and necessary code data is extracted in accordance with the performance of the decoding unit 103 and the display. Then, the data is divided into data corresponding to each of the base layer decoding unit 110 and the enhancement layer decoding unit 112 and output [step S301].

エクストラクト部109で分割したベースレイヤに対応するデータをベースレイヤデコード部110で復号する[ステップS302]。復号したベースレイヤデコード映像信号及び量子化パラメータを高解像度推定信号復元部111に出力し、必要があればベースレイヤデコード映像信号をディスプレイ等にも出力する。ベースレイヤデコード部110より得られるベースレイヤのデコード映像信号とベースレイヤ量子化パラメータ、エンハンスメントレイヤデコード部１１２より得られるエンハンスメントレイヤ量子化パラメータ、を用いて高解像度推定信号を復元する[ステップS303]。そして、復元した高解像度推定信号をエンハンスメントレイヤデコード部112に送る。エンハンスメントレイヤデコード部112において、エクストラクト部109から得られるエンハンスメントレイヤに対応するデータを復号し、そこで得られる信号と高解像度推定信号を用いてオリジナルの映像信号の解像度の再生映像をデコードする[ステップS304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。   Data corresponding to the base layer divided by the extractor 109 is decoded by the base layer decoder 110 [step S302]. The decoded base layer decoded video signal and quantization parameter are output to the high resolution estimated signal restoration unit 111, and if necessary, the base layer decoded video signal is also output to a display or the like. The high-resolution estimation signal is restored using the base layer decoded video signal obtained from the base layer decoding unit 110, the base layer quantization parameter, and the enhancement layer quantization parameter obtained from the enhancement layer decoding unit 112 [step S303]. Then, the restored high resolution estimation signal is sent to the enhancement layer decoding unit 112. The enhancement layer decoding unit 112 decodes the data corresponding to the enhancement layer obtained from the extract unit 109, and decodes the reproduced video having the resolution of the original video signal using the signal obtained there and the high resolution estimation signal [step S304]. Then, the decoded decoded video signal is output to a display or the like.

高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107の詳細な構成例を示したものが、図4である。
高解像度推定信号生成部106は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409で構成される。 FIG. 4 shows a detailed configuration example of the high-resolution estimated signal generation unit 106 and the enhancement layer encoding unit 107.
The high-resolution estimated signal generation unit 106 includes a first high-pass filtering unit 403, a first interpolation unit 404, an amplitude limiting / constant multiplication processing unit 405, a second high-pass filtering unit 406, and a second interpolation unit. 407, a signal synthesis unit 408, and an estimation degree determination unit 409.

第1のハイパスフィルタリング部403は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、式(1)、(2)では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。また、第1のハイパスフィルタリング部403は、ここで得た高周波数成分を第1のインターポレーション部404へ出力する機能を有する。   The first high-pass filtering unit 403 has a function of receiving a base layer (local) decoded signal as an input and extracting a high-frequency component from the input signal. The high frequency component is obtained by the above formulas (1) and (2). Here, in Equations (1) and (2), high frequency components are extracted using a Gaussian function, but this may be replaced with other methods. However, the filters and interpolation functions used here, and the filters and interpolation functions used for the spatial decimation unit 104, the first interpolation unit 404, the second high-pass filtering unit 406, and the second interpolation unit 407, etc. It is desirable that the relationship satisfies the pyramid configuration. For example, when the sinc function is used for the spatial decimation unit, the sinc function is also used for the first interpolation unit 404, the second high-pass filtering unit 406, and the second interpolation unit 407, so that the pyramid based on the sinc function is used. A configuration relationship can be established. Further, the first high-pass filtering unit 403 has a function of outputting the high frequency component obtained here to the first interpolation unit 404.

第1のインターポレーション部404は、第1のハイパスフィルタリング部403より出力される高周波数成分の信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(3)、(4)、(5)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(3)、(4)、(5)以外のものを用いても良い。また、第1のインターポレーション部404は、インターポレーションした信号を振幅制限・定数倍処理部405へ出力する機能を有する。   The first interpolation unit 404 receives the high-frequency component signal output from the first high-pass filtering unit 403 as an input, so that the signal has the resolution of the original video signal input to the enhancement layer. , Has the function of interpolating. Interpolation can be realized by the aforementioned equations (3), (4), and (5). Here again, interpolation methods (filter coefficients, interpolation functions, etc.) may be used other than equations (3), (4), and (5). Further, the first interpolation unit 404 has a function of outputting the interpolated signal to the amplitude limiting / constant multiplication unit 405.

振幅制限・定数倍処理部405は、パラメータ及び第1のインターポレーション部404より出力される信号入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は式(6)で与えられる。ここで、パラメータαrとTは、非特許文献1と同様のものを用いても良いが、本実施例では、拡大率だけではなくベースレイヤの量子化の程度と、エンハンスメントレイヤの量子化の程度にも推定精度が関わるため、適切なパラメータが得られるように、そのパラメータの決定をおこなう推定度判断部409に接続されている。この推定度判断部409より出力されるパラメータを用いて未知の高周波数成分を推定するための第1工程を実施する。また、振幅制限・定数倍処理部405は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部406へ出力する機能を有する。 The amplitude limiting / constant multiplication processing unit 405 has a function of receiving a parameter and a signal input output from the first interpolation unit 404 and performing a first step for estimating an unknown high frequency component. The first step for estimating the unknown high frequency component is given by equation (6). Here, the parameters α r and T may be the same as those in Non-Patent Document 1, but in this embodiment, not only the enlargement ratio but also the degree of quantization of the base layer and the quantization of the enhancement layer Since the estimation accuracy is also related to the degree, it is connected to an estimation degree determination unit 409 that determines the parameter so that an appropriate parameter can be obtained. A first step for estimating an unknown high-frequency component is performed using the parameter output from the estimation degree determination unit 409. The amplitude limiting / constant multiplication processing unit 405 has a function of outputting the signal subjected to the amplitude limiting / constant multiplication processing to the second high-pass filtering unit 406.

第2のハイパスフィルタリング部406は、振幅制限・定数倍処理部405より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、式(7)で与えられる。ここでも、高周波数成分の抽出方法は式(7)以外のものを用いても良い。また、第2のハイパスフィルタリング部406は、推定された高周波数成分を信号合成部408へ出力する機能を有する。   The second high-pass filtering unit 406 has a function of receiving a signal output from the amplitude limiting / constant multiplication processing unit 405 as an input and performing a second step for estimating an unknown high-frequency component. The second step for estimating the unknown high frequency component is given by equation (7). In this case as well, a method other than Expression (7) may be used as the high frequency component extraction method. The second high-pass filtering unit 406 has a function of outputting the estimated high frequency component to the signal synthesis unit 408.

第2のインターポレーション部407は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第2のインターポレーション部907は、インターポレーションした信号を信号合成部408へ出力する機能を有する。   The second interpolation unit 407 has a function of accepting a base layer (local) decoded signal as an input and performing the interpolation so that the signal becomes the resolution of the original video signal input to the enhancement layer. Have. Interpolation can be realized by the aforementioned equation (8). Again, interpolation methods (filter coefficients, interpolation functions, etc.) may be used other than the equation (8). The second interpolation unit 907 has a function of outputting the interpolated signal to the signal synthesis unit 408.

信号合成部408は、第2のハイパスフィルタリング部406より出力される信号と第2のインターポレーション部407より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて出力する機能を有する。   The signal synthesis unit 408 has a function of receiving the signal output from the second high-pass filtering unit 406 and the signal output from the second interpolation unit 407 as inputs. Also, it has a function of adding and outputting the input signals.

推定度判断部409は、ベースレイヤエンコード部105から出力されるベースレイヤの符号化に用いた量子化パラメータと量子化制御部423から出力されるエンハンスメントレイヤの符号化に用いる量子化パラメータとを入力として受け付ける機能を有する。そして、入力された量子化パラメータから適切な高周波数成分推定のためのパラメータαrとTを決定する機能を有する。前述のように、本発明による高周波数成分の推定は、ベースレイヤの量子化の程度、およびエンハンスメントレイヤの量子化の程度によってその精度が異なる。ベースレイヤの量子化パラメータが大きくなると、それに伴ってベースレイヤローカル信号の劣化が大きくなるため、高周波数成分の推定精度が悪くなり、かえって符号化効率の低下を招くことになる。また、エンハンスメントレイヤの量子化パラメータが小さい場合は、推定信号に要求される精度が高まるが、劣化したベースレイヤ信号から要求された精度を満足することが困難であり、この場合も符号化効率の低下を招くことがある。そこで、ベースレイヤの量子化パラメータとエンハンスメントレイヤの量子化パラメータ、および推定のためのパラメータαrとTの適切な関係をあらかじめ推定度判断部409に与えておき、これをもとにして、入力された量子化パラメータを適切な推定のためのパラメータαrとTに変換する。例えば、ベースレイヤの量子化パラメータとエンハンスメントレイヤの量子化パラメータ、αrの関係を図18に示すグラフのように定義しておく。ベースレイヤの量子化パラメータが小さくなるにつれ、エンハンスメントレイヤの量子化パラメータが大きくなるにつれ、αrが大きくなるように設定するが、なめらかに推移するのではなく、量子化パラメータが幾つ増えるごとにαrといったような不連続な関係であっても良い。ベースレイヤの量子化パラメータ、エンハンスメントレイヤの量子化パラメータからαrを算出する手段については、算術計算の形によってであっても良いし、量子化パラメータをインデックスとした図19に示すようなテーブルを記憶しておきそのテーブルを参照する形であっても良い。量子化パラメータを変換したαrとTを振幅制限・定数倍処理部405へ出力する機能を有する。 The estimation degree determination unit 409 receives the quantization parameter used for base layer encoding output from the base layer encoding unit 105 and the quantization parameter used for encoding enhancement layer output from the quantization control unit 423. It has the function to accept as. It has a function of determining parameters α r and T for appropriate high frequency component estimation from the input quantization parameter. As described above, the accuracy of high frequency component estimation according to the present invention varies depending on the degree of quantization of the base layer and the degree of quantization of the enhancement layer. When the base layer quantization parameter is increased, the base layer local signal is greatly deteriorated accordingly, so that the estimation accuracy of the high frequency component is deteriorated and the encoding efficiency is lowered. Also, when the enhancement layer quantization parameter is small, the accuracy required of the estimated signal is increased, but it is difficult to satisfy the accuracy required from the degraded base layer signal. May cause a drop. Therefore, the base layer quantization parameter, the enhancement layer quantization parameter, and an appropriate relationship between the estimation parameters α r and T are given in advance to the estimation degree determination unit 409, and the input is based on this. The quantized parameters are converted into parameters α r and T for appropriate estimation. For example, the relationship between the base layer quantization parameter, the enhancement layer quantization parameter, and α r is defined as shown in the graph of FIG. Α r is set to increase as the base layer quantization parameter decreases and as the enhancement layer quantization parameter increases, but it does not change smoothly. It may be a discontinuous relationship such as r . The means for calculating α r from the quantization parameter of the base layer and the enhancement layer quantization parameter may be in the form of arithmetic calculation, or a table as shown in FIG. 19 using the quantization parameter as an index. The form may be stored and referred to. The function of outputting α r and T obtained by converting the quantization parameter to the amplitude limit / constant multiplication unit 405 is provided.

エンハンスメントレイヤエンコード部107は、フレームメモリ1：411、フレームメモリ2：412、動き推定部413、動き補償部414、イントラ予測部415、予測信号選択部416、予測誤差信号生成手段417、直交変換・量子化部418、エントロピー符号化部419、逆量子化・逆直交変換部420、信号合成部421及びデブロッキングフィルタ部422で構成される。この構成例は、H.264エンコーダの一部を変更したものであり、各部分は従来技術でほぼ実現可能である。   The enhancement layer encoding unit 107 includes a frame memory 1: 411, a frame memory 2: 412, a motion estimation unit 413, a motion compensation unit 414, an intra prediction unit 415, a prediction signal selection unit 416, a prediction error signal generation unit 417, an orthogonal transform / A quantization unit 418, an entropy encoding unit 419, an inverse quantization / inverse orthogonal transform unit 420, a signal synthesis unit 421, and a deblocking filter unit 422 are configured. This configuration example is obtained by changing a part of the H.264 encoder, and each part can be substantially realized by the conventional technology.

フレームメモリ1：411は、オリジナルの映像信号を入力として受け付け、少なくとも1GOP(Group Of Picture)分の信号を格納できる機能を有する。また、格納した信号を予測信号生成部417、動き推定部413へ、エンハンスメントレイヤエンコード部107と高解像度推定信号生成部106の処理の同期が取れるように対応するフレームの信号を出力する機能を有する。   The frame memory 1: 411 has a function of receiving an original video signal as an input and storing a signal for at least 1 GOP (Group Of Picture). In addition, the stored signal has a function of outputting a corresponding frame signal to the prediction signal generation unit 417 and the motion estimation unit 413 so that the processing of the enhancement layer encoding unit 107 and the high resolution estimation signal generation unit 106 can be synchronized. .

フレームメモリ2：412は、デブロッキングフィルタ部422より出力される信号を入力として受け付け、少なくとも1フレーム分格納する機能を有する。そして、動き推定に必要なフレームの信号を動き推定部413へ、動き補償に必要なフレームの信号を動き補償部414へ出力する機能を有する。   The frame memory 2: 412 has a function of receiving a signal output from the deblocking filter unit 422 as an input and storing at least one frame. It has a function of outputting a frame signal necessary for motion estimation to the motion estimation unit 413 and a frame signal necessary for motion compensation to the motion compensation unit 414.

動き推定部413は、フレームメモリ1：411及びフレームメモリ2：412より出力される信号を入力として受け付け、例えばH.264のような動き推定をおこなう機能を有する。動き推定によって得られた動き情報を動き補償部414及びエントロピー符号化部419へ出力する機能を有する。   The motion estimation unit 413 has a function of receiving a signal output from the frame memory 1: 411 and the frame memory 2: 412 as an input and performing motion estimation such as H.264. It has a function of outputting motion information obtained by motion estimation to the motion compensation unit 414 and the entropy encoding unit 419.

動き補償部414は、フレームメモリ2：412より出力される信号及び動き情報を入力として受け付け、例えばH.264のような動き補償をおこなう機能を有する。また、動き補償によって得られた信号を予測信号選択部416へ出力する機能を有する。   The motion compensation unit 414 has a function of receiving a signal and motion information output from the frame memory 2: 412 as inputs and performing motion compensation such as H.264. Further, it has a function of outputting a signal obtained by motion compensation to the prediction signal selection unit 416.

イントラ予測部415は、信号合成部421より出力される信号を入力として受け付け、例えばH.264のようなイントラ予測をおこなう機能を有する。また、イントラ予測して得られた信号を予測信号選択部416へ出力する機能を有する。   The intra prediction unit 415 has a function of receiving a signal output from the signal synthesis unit 421 as an input and performing intra prediction such as H.264, for example. Further, it has a function of outputting a signal obtained by intra prediction to the prediction signal selection unit 416.

予測信号選択部416は、動き補償部414、イントラ予測部415よりそれぞれから出力される信号及び高解像度推定信号を受け付け、入力される信号のうち、いずれかひとつを選択する、または、それぞれの信号に重みを与えて合成する機能を有する。信号の選択、合成の判断基準は任意である。例えば、符号化効率を重視する場合は、予測誤差信号の二乗平均が小さくなるように、信号を選択、合成する。また、予測信号選択部416は、選択または合成した信号を予測誤差信号生成部417及び信号合成手段421へ出力する機能を有する。   The prediction signal selection unit 416 receives a signal and a high resolution estimation signal output from the motion compensation unit 414 and the intra prediction unit 415, and selects any one of the input signals or each signal. It has a function of giving a weight to and combining. The criteria for selecting and combining signals are arbitrary. For example, when importance is placed on coding efficiency, signals are selected and synthesized so that the mean square of the prediction error signal becomes small. The prediction signal selection unit 416 has a function of outputting the selected or synthesized signal to the prediction error signal generation unit 417 and the signal synthesis unit 421.

予測誤差信号生成部417は、フレームメモリ1：411より出力される信号及び予測信号選択部416より出力される予測信号を入力として受け付ける機能を有する。また、フレームメモリ1：411より出力される信号から予測信号を差し引いて予測誤差信号を生成し、それを直交変換・量子化部418へ出力する機能を有する。   The prediction error signal generation unit 417 has a function of receiving a signal output from the frame memory 1: 411 and a prediction signal output from the prediction signal selection unit 416 as inputs. Further, it has a function of generating a prediction error signal by subtracting the prediction signal from the signal output from the frame memory 1: 411 and outputting it to the orthogonal transform / quantization unit 418.

直交変換・量子化部418は、予測誤差信号生成部417より出力される信号を、量子化制御部423より出力されるエンハンスメントレイヤ量子化パラメータを入力として受け付け、入力信号を直交変換及び量子化する機能を有する。直交変換には、DCTやウェーブレットなどが用いられる。H.264のように、直交変換と量子化を合成した手段を採用しても良い。また、直交変換及び量子化した信号をエントロピー符号化部419及び逆量子化・逆直交変換部420へ出力する機能を有する。   The orthogonal transform / quantization unit 418 receives the signal output from the prediction error signal generation unit 417 as an input of the enhancement layer quantization parameter output from the quantization control unit 423, and orthogonally transforms and quantizes the input signal. It has a function. For orthogonal transform, DCT or wavelet is used. As in H.264, a method that combines orthogonal transformation and quantization may be employed. Further, it has a function of outputting the orthogonal transformed and quantized signal to the entropy coding unit 419 and the inverse quantization / inverse orthogonal transform unit 420.

エントロピー符号化部419は、直交変換・量子化部418から出力される信号及び動き推定部913より出力される動き情報を入力として受け付け、それらをエントロピー符号化する機能を有する。また、エントロピー符号化の結果生成されるビットストリームをエンハンスメントレイヤエンコード部107の外部へ出力する機能、エントロピー符号化により生成されたビットストリームの発生符号量を量子化制御部423へ出力する機能を有する。   The entropy encoding unit 419 has a function of receiving the signal output from the orthogonal transform / quantization unit 418 and the motion information output from the motion estimation unit 913 as inputs, and entropy encoding them. Also, it has a function of outputting the bitstream generated as a result of entropy coding to the outside of the enhancement layer encoding unit 107, and a function of outputting the generated code amount of the bitstream generated by entropy coding to the quantization control unit 423. .

逆量子化・逆直交変換部420は、直交変換・量子化された状態の信号を入力として受け付け、その信号を逆量子化・逆直交変換する機能を有する。また、逆量子化・逆直交変換した信号を信号合成部421へ出力する機能を有する。   The inverse quantization / inverse orthogonal transform unit 420 has a function of receiving a signal in an orthogonal transform / quantized state as an input and performing inverse quantization / inverse orthogonal transform on the signal. Further, it has a function of outputting a signal obtained by inverse quantization and inverse orthogonal transform to the signal synthesis unit 421.

信号合成部421は、予測信号選択部416より出力される信号及び逆量子化・逆直交変換部420より出力される信号を入力として受け付け、2つの信号を合成する機能を有する。また、合成した信号をイントラ予測部415及びデブロッキングフィルタ部422へ出力する機能を有する。   The signal synthesis unit 421 has a function of receiving the signal output from the prediction signal selection unit 416 and the signal output from the inverse quantization / inverse orthogonal transform unit 420 as inputs, and combining the two signals. Further, it has a function of outputting the synthesized signal to the intra prediction unit 415 and the deblocking filter unit 422.

デブロッキングフィルタ部422は、信号合成部421より出力される信号を入力として受け付け、入力された信号に対してデブロッキングフィルタ処理をおこなう機能を有する。ここで、デブロッキングフィルタは、例えばH.264で用いられているものなどがある。また、デブロッキングフィルタ処理した信号をフレームメモリ2：412へ出力する機能を有する。   The deblocking filter unit 422 has a function of receiving a signal output from the signal synthesis unit 421 as an input and performing deblocking filter processing on the input signal. Here, examples of the deblocking filter include those used in H.264. Further, it has a function of outputting a signal subjected to the deblocking filter processing to the frame memory 2: 412.

量子化制御部423は、外部よりユーザの量子化要求を取得する機能と、エントロピー符号化部419より出力される発生符号量を取得する機能を有する。取得したユーザの量子化要求と発生符号量の両方、または一方を用いてエンハンスメントレイヤ量子化パラメータを決定する機能を有する。また、決定したエンハンスメントレイヤ量子化パラメータを直交変換・量子化部418と、推定度判断部409へ出力する機能を有する。   The quantization control unit 423 has a function of acquiring a user's quantization request from the outside and a function of acquiring the generated code amount output from the entropy encoding unit 419. It has a function of determining enhancement layer quantization parameters using both or one of the acquired user quantization request and generated code amount. Further, it has a function of outputting the determined enhancement layer quantization parameter to the orthogonal transform / quantization unit 418 and the estimation degree determination unit 409.

図4に示した高解像度推定信号生成部106の構成例を用いて高解像度推定信号を生成する手順を図5に示す。
まず、第2のインターポレーション部407を用いて入力信号をインターポレーションする[ステップS501]。 FIG. 5 shows a procedure for generating a high resolution estimation signal using the configuration example of the high resolution estimation signal generation unit 106 shown in FIG.
First, the input signal is interpolated using the second interpolation unit 407 [step S501].

次に、推定度判断部409を用いて、量子化パラメータを推定パラメータαrとTに変換する[ステップS507]。
一方、第1のハイパスフィルタリング部403を用いて入力から高周波数成分信号を抽出する[ステップS502]。そして、抽出した高周波数成分信号を第1のインターポレーション部404においてインターポレーションする[ステップS503]。インターポレーションした信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。ここで、振幅制限及び定数倍処理に伴うパラメータは、推定度判断部409から与えられたものを用いる。第2のハイパスフィルタリング部406において、振幅制限及び定数倍処理した信号から推定した高周波数成分を抽出する[ステップS505]。信号合成部408を用いて入力信号をインターポレーションした信号と推定した高周波数成分を足し合わせ、高解像度推定信号を得る[ステップS506]。 Next, the estimation parameter determination unit 409 is used to convert the quantization parameter into the estimation parameters α r and T [step S507].
On the other hand, a high frequency component signal is extracted from the input using the first high-pass filtering unit 403 [step S502]. Then, the extracted high frequency component signal is interpolated by the first interpolation unit 404 [step S503]. Amplitude limiting and constant multiplication processing are performed on the interpolated signal using the amplitude limiting / constant multiplication processing unit 405 [step S504]. Here, the parameters given from the estimation degree determination unit 409 are used as parameters associated with the amplitude limitation and constant multiplication processing. The second high-pass filtering unit 406 extracts a high frequency component estimated from the signal subjected to the amplitude limiting and constant multiplication processing [Step S505]. The signal synthesis unit 408 is used to add the interpolated signal and the estimated high frequency component to obtain a high resolution estimated signal [step S506].

図4に示したエンハンスメントレイヤエンコード部107の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を符号化する手順を図6に示す。
イントラ予測部415を用いてイントラ予測をおこなう[ステップS601]。イントラ予測した信号を予測信号選択部416へ送る。 FIG. 6 shows a procedure for encoding a signal (enhancement layer) having the resolution of the original video signal using the configuration example of the enhancement layer encoding unit 107 shown in FIG.
Intra prediction is performed using the intra prediction unit 415 [step S601]. The intra-predicted signal is sent to the prediction signal selection unit 416.

一方、動き推定部413及び動き補償部414を用いて、動き推定及び動き補償(動き補償予測)をおこなう[ステップS602]。動き補償予測した信号を予測信号選択部416へ送る。
また、高解像度推定信号生成部106を用いて高解像度推定信号を生成する[ステップS603]。詳細については前述したとおりである。生成した高解像度推定信号を予測信号選択部416へ送る。 On the other hand, motion estimation and motion compensation (motion compensation prediction) are performed using the motion estimation unit 413 and the motion compensation unit 414 [step S602]. The motion compensation predicted signal is sent to the prediction signal selection unit 416.
In addition, a high resolution estimation signal is generated using the high resolution estimation signal generation unit 106 [step S603]. Details are as described above. The generated high resolution estimation signal is sent to the prediction signal selection unit 416.

予測信号選択部416において、イントラ予測した信号、動き補償予測した信号及び高解像度推定信号のいずれかひとつを選択、または、それぞれの信号に重みを与えて合成する[ステップS604]。選択、または、合成して生成した予測信号をフレームメモリ1：411から出力される信号から差し引いて予測誤差信号を生成する[ステップS605]。予測誤差信号を直交変換・量子化部418を用いて直交変換及び量子化する[ステップS606]。直交変換及び量子化した信号及び動き情報を、エントロピー符号化部419を用いてエントロピー符号化する[ステップS607]。   The prediction signal selection unit 416 selects any one of the intra-predicted signal, the motion-compensated prediction signal, and the high-resolution estimation signal, or combines each signal with a weight [step S604]. The prediction error signal is generated by subtracting the prediction signal generated by selection or synthesis from the signal output from the frame memory 1: 411 [step S605]. The prediction error signal is orthogonally transformed and quantized using the orthogonal transformation / quantization unit 418 [step S606]. The entropy coding unit 419 performs entropy coding on the orthogonally transformed and quantized signal and motion information [step S607].

符号化対象の信号を全て符号化した場合は、ここで処理を終了する。そうでない場合は、現在符号化している信号が他の信号の符号化時に参照されることが可能となるように、次に示す手順によってローカルデコード及びデブロッキング処理する[ステップS608]。   If all the signals to be encoded have been encoded, the process ends here. Otherwise, local decoding and deblocking are performed according to the following procedure so that the currently encoded signal can be referred to when other signals are encoded [step S608].

ステップS606で直交変換及び量子化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換する[ステップS609]。逆量子化及び逆直交変換した信号を、信号合成部421を用いて、予測信号と合成し、ローカルデコード信号を得る[ステップS610]。ローカルデコード信号をイントラ予測部415及びデブロッキングフィルタ部422へ送る。そして、ローカルデコード信号をデブロッキングフィルタ部422においてデブロッキングフィルタ処理する[ステップS611]。デブロッキングフィルタ処理した信号をフレームメモリ2：412に格納する[ステップS612]。   The signal that has been orthogonally transformed and quantized in step S606 is inversely quantized and inversely orthogonally transformed by the inverse quantization / inverse orthogonal transform unit 420 [step S609]. The signal subjected to inverse quantization and inverse orthogonal transform is combined with the prediction signal using the signal combining unit 421 to obtain a local decoded signal [step S610]. The local decoding signal is sent to the intra prediction unit 415 and the deblocking filter unit 422. Then, the deblocking filter unit 422 performs deblocking filtering on the local decoded signal [step S611]. The signal subjected to the deblocking filter processing is stored in the frame memory 2: 412 [step S612].

高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112の詳細な構成例を示したものが、図7である。
高解像度推定信号復元部111は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409で構成される。すなわち、高解像度推定信号復元部111は、符号化側の高解像度推定信号生成部106と同じもので実現できる。このため、図7の高解像度推定信号復元部111の各部分には、図4と同じ番号で示してある。なお、図7の高解像度推定信号復元部111の構成例を用いて高解像度推定信号を復元する手順を図9示したが、これについても符号化側における高解像度推定信号を生成する手順(図5)と同じである。 FIG. 7 shows a detailed configuration example of the high-resolution estimated signal restoration unit 111 and the enhancement layer decoding unit 112.
The high-resolution estimated signal restoration unit 111 includes a first high-pass filtering unit 403, a first interpolation unit 404, an amplitude limiting / constant multiplication unit 405, a second high-pass filtering unit 406, and a second interpolation unit. 407, a signal synthesis unit 408, and an estimation degree determination unit 409. That is, the high resolution estimated signal restoration unit 111 can be realized by the same one as the high resolution estimated signal generation unit 106 on the encoding side. Therefore, each part of the high resolution estimated signal restoration unit 111 in FIG. 7 is denoted by the same number as in FIG. The procedure for restoring the high resolution estimation signal using the configuration example of the high resolution estimation signal restoration unit 111 in FIG. 7 is shown in FIG. 9, and this is also the procedure for generating the high resolution estimation signal on the encoding side (FIG. Same as 5).

エンハンスメントレイヤデコード部702は、エントロピー復号化部710、フレームメモリ2：412、動き補償部414、イントラ予測部415、予測信号選択部416、逆量子化・逆直交変換部420、信号合成部420及びデブロッキングフィルタ部422で構成される。ここで、エントロピー復号化部710以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。   The enhancement layer decoding unit 702 includes an entropy decoding unit 710, a frame memory 2: 412, a motion compensation unit 414, an intra prediction unit 415, a prediction signal selection unit 416, an inverse quantization / inverse orthogonal transform unit 420, a signal synthesis unit 420, and The deblocking filter unit 422 is configured. Here, functions provided in each part other than the entropy decoding unit 710 can be realized by the same functions as those in FIG.

エントロピー復号化部710は、エクストラクト部109より出力されるビットストリームのうち、エンハンスメントレイヤに相当するものを入力として受け付け、復号する機能を有する。また、復号した信号を逆量子化・逆直交変換部420へ、復号した動き情報を動き補償部414へ出力する機能を有する。また、復号したエンハンスメントレイヤ量子化パラメータ（オリジナル映像信号の空間解像度の信号を復号するために用いる量子化パラメータ）を推定度判断部409へ出力する機能を有する。   The entropy decoding unit 710 has a function of receiving and decoding a bit stream output from the extractor 109 as an input corresponding to the enhancement layer. Further, it has a function of outputting the decoded signal to the inverse quantization / inverse orthogonal transform unit 420 and the decoded motion information to the motion compensation unit 414. Further, it has a function of outputting the decoded enhancement layer quantization parameter (quantization parameter used for decoding the spatial resolution signal of the original video signal) to the estimation degree determination unit 409.

図7に示したエンハンスメントレイヤデコード部702の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を復号化する手順を図8に示す。
エクストラクト部109より得られるエンハンスメントレイヤに相当するビットストリームをエントロピー復号化部710で復号化する[ステップS801]。復号化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換して予測誤差信号を復元する[ステップS802]。注目するブロックが、イントラ予測、動き補償予測及び高解像度推定信号による予測のいずれが選択されていたか、または合成されていたかを解読し、それに対応する処理をおこなう[ステップS803]。イントラ予測が選択されていた場合、イントラ予測部415を用いてイントラ予測をおこなう[ステップS804]。一方、動き補償予測が選択されていた場合には、動き補償部414を用いて動き補償をおこなう[ステップS805]。また、高解像度推定信号による予測が選択されていた場合には、高解像度推定信号復元部111を用いて高解像度推定信号を復元する[ステップS806]。それぞれの信号が合成されていた場合には、ステップS804、ステップS805及びステップS806をすべて実行し、重みをつけて合成する。 FIG. 8 shows a procedure for decoding a signal (enhancement layer) of the resolution of the original video signal using the configuration example of the enhancement layer decoding unit 702 shown in FIG.
A bit stream corresponding to the enhancement layer obtained from the extractor 109 is decoded by the entropy decoder 710 [step S801]. The decoded signal is dequantized and inverse orthogonal transformed by the inverse quantization / inverse orthogonal transform unit 420 to restore the prediction error signal [step S802]. It is decoded whether the block of interest has been selected or synthesized from intra prediction, motion compensated prediction, and prediction based on a high resolution estimation signal, and performs a corresponding process [step S803]. When intra prediction is selected, intra prediction is performed using the intra prediction unit 415 [step S804]. On the other hand, if motion compensation prediction has been selected, motion compensation is performed using the motion compensation unit 414 [step S805]. Further, when the prediction based on the high resolution estimation signal is selected, the high resolution estimation signal is restored using the high resolution estimation signal restoration unit 111 [step S806]. If the respective signals have been combined, step S804, step S805, and step S806 are all executed and combined with weights.

ステップS804、ステップS805及びステップS806のいずれか、またはそれらの合成によって得られた信号と予測誤差信号を信号合成部421で合成する[ステップS807]。合成した信号をデブロッキングフィルタ部422でデブロッキングフィルタ処理する[ステップS808]。デブロッキングフィルタ処理した信号は復号映像信号としてディスプレイ等へ出力される。復号化対象ビットストリームが残されている場合、復号映像信号を参照フレームとしてフレームメモリ2：412に蓄積する[ステップS810]。そして、ステップS801からステップS810の処理を繰り返す[ステップS809]。   The signal synthesizer 421 synthesizes a signal obtained by combining one of step S804, step S805, and step S806, or a combination thereof with the prediction error signal [step S807]. The combined signal is subjected to deblocking filter processing by the deblocking filter unit 422 [step S808]. The signal subjected to the deblocking filter processing is output to a display or the like as a decoded video signal. When the decoding target bit stream remains, the decoded video signal is stored in the frame memory 2: 412 as a reference frame [step S810]. Then, the processing from step S801 to step S810 is repeated [step S809].

図10に、本発明の実施例を適用した符号化機能および復号化機能を備えた情報処理装置1001の一例のブロック図を示す。情報処理装置1001は、外部記憶装置1002、一時記憶装置1003、通信装置1004、入力装置1005、中央処理制御装置1006および出力装置1007で構成されており、コンピュータである中央処理制御装置1006により、上述の実施例１の符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1006に取り込まれても良いし、ネットワークを介して通信装置1004により受信されて中央処理制御装置1006に取り込まれても良い。   FIG. 10 shows a block diagram of an example of an information processing apparatus 1001 having an encoding function and a decoding function to which the embodiment of the present invention is applied. The information processing apparatus 1001 includes an external storage device 1002, a temporary storage device 1003, a communication device 1004, an input device 1005, a central processing control device 1006, and an output device 1007. The functions of the encoding and decoding apparatus according to the first embodiment are realized by a program. Here, the above program may be read from the recording medium and taken into the central processing control apparatus 1006, or may be received by the communication apparatus 1004 via the network and taken into the central processing control apparatus 1006.

中央処理制御装置1006は、上記プログラムにより、図10の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
［実施例２］
本発明の実施例２を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置について説明する。この実施例２適用した装置は、上述の実施例１を適用した高解像度推定信号生成部106(図4)および高解像度推定信号復元部111(図7)を一部変更したものである。実施例1におけるインターポレーションと高周波数成分抽出の処理の順序を変えることで、実施例1と同様の効果を得るとともに、さらにメモリ等の資源および処理量の幾分かの削減を実現する。 The central processing control device 1006 realizes each means shown in the central processing control device of FIG. 10 by hardware or software processing by the above program.
[Example 2]
A hierarchical encoding / decoding device that realizes spatial resolution scalability to which Embodiment 2 of the present invention is applied will be described. The apparatus to which the second embodiment is applied is obtained by partially changing the high-resolution estimated signal generating unit 106 (FIG. 4) and the high-resolution estimated signal restoring unit 111 (FIG. 7) to which the first embodiment is applied. By changing the order of the processing of interpolation and high frequency component extraction in the first embodiment, the same effects as in the first embodiment can be obtained, and some reduction in resources such as memory and processing amount can be realized.

実施例1では、最初にベースレイヤ(ローカル)デコード信号に対して高周波数成分の抽出をおこない、抽出した高周波数成分と、ベースレイヤ(ローカル)デコード信号それぞれにインターポレーションを実施していた。これに対して実施例2では、最初にベースレイヤ(ローカル)デコード信号に対してインターポレーションをおこない、インターポレーションした信号の高周波数成分の抽出をおこなうことで、処理量やメモリ等の資源の幾分かの削減を実現する。なお、インターポレーションおよび高周波数成分の抽出をそれぞれ線形とすることで、それらの順序を変えても結果は同じとなる。ただし、実施例2では、インターポレーションした後に高周波数成分抽出をおこなう、すなわち、サンプリング周波数が変化した信号に対してのフィルタ処理をおこなうことになるため、ここで用いるフィルタは、それに対応したものを用いることが望ましい。以下に実施例2の詳細を示す。   In the first embodiment, high frequency components are first extracted from the base layer (local) decode signal, and interpolation is performed on each of the extracted high frequency components and the base layer (local) decode signal. On the other hand, in the second embodiment, the base layer (local) decoded signal is first interpolated, and the high frequency components of the interpolated signal are extracted, so that resources such as processing amount and memory are obtained. Achieve some reduction of It should be noted that the interpolation and the extraction of the high frequency component are linear, so that the result is the same even if their order is changed. However, in Example 2, high frequency component extraction is performed after interpolation, that is, filter processing is performed on a signal whose sampling frequency has changed, so the filter used here corresponds to that. It is desirable to use Details of Example 2 are shown below.

図16に、実施例２適用の高解像度推定信号生成部1601を示す。高解像度推定信号生成部1601は、第1のインターポレーション部1602、第1のハイパスフィルタリング部1603、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、信号合成部408、推定度判断部409で構成される。ここで、第1のインターポレーション部1602及び第1のハイパスフィルタリング部1603以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。   FIG. 16 shows a high-resolution estimated signal generation unit 1601 applied to the second embodiment. The high-resolution estimated signal generation unit 1601 includes a first interpolation unit 1602, a first high-pass filtering unit 1603, an amplitude limiting / constant multiplication processing unit 405, a second high-pass filtering unit 406, a signal synthesis unit 408, an estimation degree The determination unit 409 is configured. Here, the functions of each part other than the first interpolation unit 1602 and the first high-pass filtering unit 1603 can be realized by the same functions as those in FIG.

第1のインターポレーション部1602は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第1のインターポレーション部1602は、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ出力する機能を有する。   The first interpolation unit 1602 has a function of accepting a base layer (local) decoded signal as an input, and interpolating the signal so that it has the resolution of the original video signal input to the enhancement layer. Have. Interpolation can be realized by the aforementioned equation (8). Again, interpolation methods (filter coefficients, interpolation functions, etc.) may be used other than the equation (8). The first interpolation unit 1602 has a function of outputting the interpolated signal to the first high-pass filtering unit 1603 and the signal synthesis unit 408.

第1のハイパスフィルタリング部1603は、第1のインターポレーション部1602より出力された信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、実施例2の第1のハイパスフィルタリング部1603に入力される信号は、インターポレーションによってサンプリング周波数(解像度)が高くなっているため、式(2)の帯域をそれに応じたものに設定することが望ましい。例えば、拡大率が2倍の場合には、式(2)の帯域を実施例1の場合の半分に設定する。また、式(1)、(2)をそれ以外の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部1602、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。また、第1のハイパスフィルタリング部1603は、ここで得た高周波数成分を振幅制限・定数倍処理部405へ出力する機能を有する。   The first high-pass filtering unit 1603 has a function of receiving a signal output from the first interpolation unit 1602 as an input and extracting a high-frequency component from the input signal. The high frequency component is obtained by the above formulas (1) and (2). Here, since the signal input to the first high-pass filtering unit 1603 of Example 2 has a higher sampling frequency (resolution) due to interpolation, the band of Equation (2) is set accordingly. It is desirable to do. For example, when the enlargement ratio is twice, the band of Expression (2) is set to half that in the first embodiment. Further, the expressions (1) and (2) may be replaced with other methods. However, the filters and interpolation functions used here, and the filters and interpolation functions used for the spatial decimation unit 104, the first interpolation unit 1602, the second high-pass filtering unit 406, and the second interpolation unit 407, etc. It is desirable that the relationship satisfies the pyramid configuration. Further, the first high-pass filtering unit 1603 has a function of outputting the high frequency component obtained here to the amplitude limiting / constant multiplication processing unit 405.

図16に示した高解像度推定信号生成部1601の構成例を用いて高解像度推定信号を生成する手順を図17に示す。ここで、ステップS504からステップS507の各ステップは図5(実施例1)と同じである為、同じ番号で示してある。   FIG. 17 shows a procedure for generating a high resolution estimation signal using the configuration example of the high resolution estimation signal generation unit 1601 shown in FIG. Here, since each step from step S504 to step S507 is the same as FIG. 5 (Example 1), it is denoted by the same number.

まず、第1のインターポレーション部1602を用いて入力信号をインターポレーションする[ステップS1701]。そして、インターポレーションの結果得られた信号を、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ送る。   First, the input signal is interpolated using the first interpolation unit 1602 [step S1701]. Then, the signal obtained as a result of the interpolation is sent to the first high-pass filtering unit 1603 and the signal synthesis unit 408.

次に、第1のハイパスフィルタリング部1603を用いてインターポレーションした信号から高周波数成分信号を抽出する[ステップS1702]。抽出した高周波数成分信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。それ以降は、実施例1の[ステップS505〜S507]と同様の手順で高解像度推定信号を生成する。   Next, a high frequency component signal is extracted from the signal interpolated using the first high-pass filtering unit 1603 [step S1702]. The extracted high frequency component signal is subjected to amplitude limiting and constant multiplication processing using the amplitude limiting / constant multiplication processing unit 405 [step S504]. Thereafter, a high resolution estimation signal is generated in the same procedure as [Steps S505 to S507] in the first embodiment.

なお、実施例2における復号側の高解像度推定信号復元部は、実施例2の図16の高解像度推定信号生成部1601と同様の構成で実現でき、高解像度推定信号を復元する手順も図17と同様である。   The decoding-side high-resolution estimated signal restoration unit in the second embodiment can be realized with the same configuration as the high-resolution estimated signal generation unit 1601 in FIG. 16 in the second embodiment, and the procedure for restoring the high-resolution estimated signal is also shown in FIG. It is the same.

本発明の実施例１を適用した階層符号化・復号化装置の一例を示す構成図である。It is a block diagram which shows an example of the hierarchy encoding / decoding apparatus to which Example 1 of this invention is applied. 図１に示す装置の符号化部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the encoding part of the apparatus shown in FIG. 図１に示す装置の復号化部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the decoding part of the apparatus shown in FIG. 図１に示す装置の符号化部における高解像度推定信号生成部及びエンハンスメントレイヤエンコード部を示す構成図である。It is a block diagram which shows the high-resolution estimated signal production | generation part and enhancement layer encoding part in the encoding part of the apparatus shown in FIG. 図４に示す高解像度推定信号生成部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the high resolution estimated signal production | generation part shown in FIG. 図４に示すエンハンスメントレイヤエンコード部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the enhancement layer encoding part shown in FIG. 図１に示す装置の復号化部における高解像度推定信号復元部及びエンハンスメントレイヤデコード部を示す構成図である。It is a block diagram which shows the high-resolution estimated signal decompression | restoration part and enhancement layer decoding part in the decoding part of the apparatus shown in FIG. 図７に示すエンハンスメントレイヤデコード部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the enhancement layer decoding part shown in FIG. 図７に示す高解像度推定信号復元部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the high-resolution estimated signal restoration | reconstruction part shown in FIG. 本発明の一実施例を適用した符号化および復号化プログラムを実行する情報処理装置の一例を示すブロック図である。It is a block diagram which shows an example of the information processing apparatus which performs the encoding and decoding program to which one Example of this invention is applied. 従来技術の符号化部および復号化部を示す構成図である。It is a block diagram which shows the encoding part and decoding part of a prior art. 従来技術の符号化部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the encoding part of a prior art. 従来技術の復号化部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the decoding part of a prior art. 従来技術の高周波数成分推定を伴う画像拡大部を示す構成図である。It is a block diagram which shows the image expansion part accompanied by the high frequency component estimation of a prior art. 従来技術の高周波数成分推定を伴う画像拡大部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image expansion part accompanied by the high frequency component estimation of a prior art. 本発明の実施例２を適用した階層符号化・復号化装置における高解像度推定信号生成部を示す構成図である。It is a block diagram which shows the high-resolution estimated signal production | generation part in the hierarchy encoding / decoding apparatus to which Example 2 of this invention is applied. 図１６に示す高解像度推定信号生成部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the high-resolution estimated signal production | generation part shown in FIG. 実施例1を適用した階層符号化・復号化装置、及び実施例２を適用した階層符号化・復号化装置における推定度判断部で用いる量子化パラメータと推定用パラメータの関係を示す図である。FIG. 6 is a diagram illustrating a relationship between a quantization parameter and an estimation parameter used in an estimation degree determination unit in a hierarchical encoding / decoding device to which Example 1 is applied and a hierarchical encoding / decoding device to which Example 2 is applied. 図4の推定度判断部をテーブルとして実現した場合の一例を示す図である。FIG. 5 is a diagram illustrating an example when the estimation degree determination unit in FIG. 4 is implemented as a table.

符号の説明Explanation of symbols

101 符号化部
102 通信回線またはメディア
103 復号化部
104 空間デシメーション部
105 ベースレイヤエンコード部
106 高解像度推定信号生成部
107 エンハンスメントレイヤエンコード部
108 多重化部
109 エクストラクト部
110 ベースレイヤデコード部
111 高解像度推定信号復元部
112 エンハンスメントレイヤデコード部
403 第1のハイパスフィルタリング部
404 第1のインターポレーション部
405 振幅制限・定数倍処理部
406 第2のハイパスフィルタリング部
407 第2のインターポレーション部
408 信号合成部
409 推定度判断部
411 フレームメモリ1
412 フレームメモリ2
413 動き推定部
414 動き補償部
415 イントラ予測部
416 予測信号選択部
417 予測誤差信号生成部
418 直交変換・量子化部
419 エントロピー符号化部
420 逆量子化・逆直交変換部
421 信号合成部
422 デブロッキングフィルタ部
701 高解像度推定信号復元部
702 エンハンスメントレイヤデコード部
710 エントロピー復号化部
1001 情報処理装置
1002 外部記憶装置
1003 一時記憶装置
1004 通信装置
1005 入力装置
1006 中央処理制御装置
1007 出力装置
1101 符号化部
1102 通信回線またはメディア
1103 復号化部
1104 空間デシメーション部
1105 ベースレイヤエンコード部
1106 空間インターポレーション部
1107 エンハンスメントレイヤエンコード部
1108 多重化部
1109 エクストラクト部
1110 ベースレイヤデコード部
1111 空間インターポレーション部
1112 エンハンスメントレイヤデコード部
1401 高周波数成分推定を伴う画像拡大部
1402 第1のハイパスフィルタリング部
1403 第1のインターポレーション部
1404 振幅処理・定数倍処理部
1405 第2のハイパスフィルタリング部
1406 第2のインターポレーション部
1407 信号合成部
1601 高解像度推定信号生成部
1602 第1のインターポレーション部
1603 第1のハイパスフィルタリング部 101 Encoder
102 Communication line or media
103 Decryption unit
104 Spatial decimation section
105 Base layer encoding part
106 High-resolution estimation signal generator
107 Enhancement layer encoding part
108 Multiplexer
109 Extract part
110 Base layer decoding section
111 High-resolution estimated signal restoration unit
112 Enhancement layer decoding unit
403 First high-pass filtering unit
404 1st interpolation part
405 Amplitude limit and constant multiplier
406 Second high-pass filtering unit
407 Second interpolation part
408 Signal synthesis unit
409 Estimator
411 Frame memory 1
412 Frame memory 2
413 Motion estimation unit
414 Motion compensation unit
415 Intra prediction unit
416 Predictive signal selector
417 Prediction error signal generator
418 Orthogonal Transform / Quantizer
419 Entropy Coding Unit
420 Inverse quantization and inverse orthogonal transform
421 Signal synthesis unit
422 Deblocking filter
701 High resolution estimation signal restoration unit
702 Enhancement layer decoding unit
710 Entropy decoding unit
1001 Information processing equipment
1002 External storage device
1003 Temporary storage
1004 Communication equipment
1005 Input device
1006 Central processing controller
1007 Output device
1101 Encoder
1102 Communication line or media
1103 Decryption unit
1104 Spatial decimation section
1105 Base layer encoding part
1106 Spatial interpolation section
1107 Enhancement layer encoding part
1108 Multiplexer
1109 Extract part
1110 Base layer decoding section
1111 Spatial interpolation section
1112 Enhancement layer decoding part
1401 Image enlargement with high frequency component estimation
1402 First high-pass filtering section
1403 First interpolation section
1404 Amplitude processing and constant multiplication processing section
1405 Second high-pass filtering unit
1406 Second interpolation section
1407 Signal synthesis unit
1601 High resolution estimation signal generator
1602 First interpolation part
1603 First high-pass filtering unit

Claims (3)

元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化手段と、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元手段と、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化手段と、
を備え、
前記復元手段は、前記第１の復号化手段での復号化に用いた量子化パラメータと、前記第の２復号化手段において前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化装置。 First encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions, and the original video signal Is the multiplexed data obtained by multiplexing the second encoded data encoded by inter-spatial resolution prediction, and the second encoded data is a local part obtained in the encoding process of the first video signal. The decoded signal is subjected to high-resolution processing with high-frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. A second video signal that is an enlarged video signal with high resolution is obtained by spatially expanding, and the original video signal is encoded by inter-resolution prediction using the second video signal as a prediction signal. Encoded data The multiplexed data separation means for separating the first and second of each coded data,
First decoding means for decoding the separated first encoded data and obtaining the first video signal having a low resolution;
A restoration means for performing a high resolution restoration process for spatially expanding the decoded first video signal and restoring the second video signal which is the high resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal Second decoding means for obtaining a signal;
With
The restoration means includes the quantization parameter used for decoding by the first decoding means, and the second decoding data obtained before the decoding of the second encoded data by the second decoding means. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
And a video signal hierarchical decoding apparatus. 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離ステップと、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化ステップと、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元ステップと、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化ステップと、
を備え、
前記復元ステップは、前記第１の復号化ステップでの復号化に用いた量子化パラメータと、前記第の２復号化ステップにおいて前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化方法。 First encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions, and the original video signal Is the multiplexed data obtained by multiplexing the second encoded data encoded by inter-spatial resolution prediction, and the second encoded data is a local part obtained in the encoding process of the first video signal. The decoded signal is subjected to high-resolution processing with high-frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. A second video signal that is an enlarged video signal with high resolution is obtained by spatially expanding, and the original video signal is encoded by inter-resolution prediction using the second video signal as a prediction signal. Encoded data The multiplexed data, a separation step of separating the first and second of each coded data,
A first decoding step of decoding the separated first encoded data to obtain the first video signal having a low resolution;
A restoration step of performing a high-resolution restoration process that spatially enlarges the decoded first video signal and restores the second video signal that is the high-resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal A second decoding step to obtain a signal;
With
The restoration step includes the quantization parameter used for decoding in the first decoding step, and the second encoded data obtained in the pre-decoding stage of the second encoded data in the second decoding step. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
And a video signal hierarchical decoding method. 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、前記元となる映像信号を空間解像度間予測により符号化した第２の符号化データとが多重化された多重化データであり、前記第２の符号化データは、前記第１の映像信号の符号化過程で得られる局部復号信号を、前記第１の映像信号の符号化に用いた量子化パラメータと、前記元となる映像信号の符号化に用いられる量子化パラメータとに基づく高周波数成分推定を伴う高解像度化処理によって空間的に拡大して高解像度化拡大映像信号である第２の映像信号を得て、この第２の映像信号を予測信号として用いて前記元となる映像信号を空間解像度間予測により符号化した符号化データである前記多重化データを、前記第１及び第２の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い前記第１の映像信号を得る第１の復号化手段と、
前記復号された第１の映像信号を空間的に拡大し前記高解像度化拡大映像信号である前記第２の映像信号を復元する高解像度化復元処理を行う復元手段と、
前記復元された第２の映像信号を予測信号として用いて、分離された前記第２の符号化データを空間解像度間予測により復号化して、解像度の高い側の映像信号である前記元となる映像信号を得る第２の復号化手段と、
してコンピュータを機能させるための映像信号階層復号化プログラムであり、
前記復元手段は、前記第１の復号化手段での復号化に用いた量子化パラメータと、前記第の２復号化手段において前記第２の符号化データの復号化前段で得られ前記第２の符号化データの復号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化復元処理を行い前記第２の映像信号を復元するものである、
ことを特徴とする映像信号階層復号化プログラム。 First encoded data obtained by encoding a first video signal having a resolution lower than that of the original video signal obtained by decomposing the original video signal into layers having different resolutions, and the original video signal Is the multiplexed data obtained by multiplexing the second encoded data encoded by inter-spatial resolution prediction, and the second encoded data is a local part obtained in the encoding process of the first video signal. The decoded signal is subjected to high-resolution processing with high-frequency component estimation based on the quantization parameter used for encoding the first video signal and the quantization parameter used for encoding the original video signal. A second video signal that is an enlarged video signal with high resolution is obtained by spatially expanding, and the original video signal is encoded by inter-resolution prediction using the second video signal as a prediction signal. Encoded data The multiplexed data separation means for separating the first and second of each coded data,
First decoding means for decoding the separated first encoded data and obtaining the first video signal having a low resolution;
A restoration means for performing a high resolution restoration process for spatially expanding the decoded first video signal and restoring the second video signal which is the high resolution enlarged video signal;
Using the restored second video signal as a prediction signal, the separated second encoded data is decoded by inter-spatial resolution prediction, and the original video which is a higher-resolution video signal Second decoding means for obtaining a signal;
And a video signal hierarchical decoding program for causing the computer to function.
The restoration means includes the quantization parameter used for decoding by the first decoding means, and the second decoding data obtained before the decoding of the second encoded data by the second decoding means. Based on the quantization parameter used for decoding the encoded data, the high-resolution restoration processing for controlling the degree of high-frequency component estimation is performed to restore the second video signal.
A video signal hierarchical decoding program.
JP2006321354A 2006-11-29 2006-11-29 Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program Withdrawn JP2008136038A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006321354A JP2008136038A (en) 2006-11-29 2006-11-29 Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006321354A JP2008136038A (en) 2006-11-29 2006-11-29 Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program

Publications (1)

Publication Number Publication Date
JP2008136038A true JP2008136038A (en) 2008-06-12

Family

ID=39560552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006321354A Withdrawn JP2008136038A (en) 2006-11-29 2006-11-29 Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program

Country Status (1)

Country Link
JP (1) JP2008136038A (en)

Similar Documents

Publication Publication Date Title
JP4565392B2 (en) Video signal hierarchical decoding device, video signal hierarchical decoding method, and video signal hierarchical decoding program
RU2479939C2 (en) Method of encoding and decoding video signal using weighted prediction and apparatus therefor
KR100664929B1 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
JP5369893B2 (en) Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, video decoding program, video re-encoding device, video re-encoding method, video re-encoding Encoding program
US7864219B2 (en) Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
JP2007174634A (en) Layered coding and decoding methods, apparatuses, and programs
JP4844741B2 (en) Moving picture coding apparatus and moving picture decoding apparatus, method and program thereof
JP2008522536A (en) Multi-layer video encoding / decoding method and apparatus using DCT upsampling
JP2009141953A (en) Method and apparatus encoding/decoding video hierarchically
KR20190088042A (en) Method for multiple interpolation filters, and apparatus for encoding by using the same
JP2006121701A (en) Method and device for efficiently compressing motion vector with video coder of multilayer base
JP4870120B2 (en) Moving picture hierarchy coding apparatus, moving picture hierarchy coding method, moving picture hierarchy coding program, moving picture hierarchy decoding apparatus, moving picture hierarchy decoding method, and moving picture hierarchy decoding program
KR100880640B1 (en) Method for scalably encoding and decoding video signal
JP4844455B2 (en) Video signal hierarchical decoding device, video signal hierarchical decoding method, and video signal hierarchical decoding program
KR100878824B1 (en) Method for scalably encoding and decoding video signal
KR100883604B1 (en) Method for scalably encoding and decoding video signal
KR102345770B1 (en) Video encoding and decoding method and device using said method
JP4844456B2 (en) Video signal hierarchical encoding apparatus, video signal hierarchical encoding method, and video signal hierarchical encoding program
JP4565393B2 (en) Video signal hierarchical encoding apparatus, video signal hierarchical encoding method, and video signal hierarchical encoding program
JP4835855B2 (en) Apparatus, method and program for moving picture encoding, and apparatus method and program for moving picture decoding
JP4404157B2 (en) Moving picture coding apparatus and moving picture coding method
JP2008136037A (en) Video signal hierarchy encoder, video signal hierarchy encoding method, and video signal hierarchy encoding program
JP4251291B2 (en) Moving picture coding apparatus and moving picture coding method
JP2008136038A (en) Video signal hierarchy decoder, video signal hierarchy decoding method, and video signal hierarchy decoding program
JP2008011009A (en) Video signal encoder, video signal decoder, video signal encoding program, and video signal decoding program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100303