JP2017073668A - 映像符号化装置、映像復号装置及びプログラム - Google Patents

Abstract

【課題】映像信号の符号化効率を改善する。【解決手段】映像符号化装置１の最適化手段２４は、ブロック分割手段１０、再標本化手段１２等にて用いるパラメータを様々に変化させて試行し、レート歪特性が最高または最高を近似するものとなるパラメータを特定し、特定したパラメータ（最適モードのパラメータ）を、ブロック分割手段１０、再標本化手段１２等に出力し、当該パラメータに従って動作させる。再標本化手段１２は、ブロックの画素値列から予測画像の画素値列を減算した結果であるブロックの残差値列を入力し、最適化手段２４から入力したパラメータ（最適再標本化モードのパラメータ）が示す再標本化規則に従い、入力標本点を再標本化して出力標本点の残差値列を求める。再標本化手段１２により、ブロック単位に、標本点の数、配置及び残差値が変更される。【選択図】図１

Description

本発明は、映像信号を圧縮符号化する映像符号化装置、映像信号を復号する映像復号装置、及びプログラムに関する。

従来、信号の符号化方式として、信号波形を予測し、予測残差を符号化する手法が知られている。特に、映像信号を符号化する場合においては、あるフレームを符号化する際に、映像をブロックに分割し、その符号化対象ブロック毎に既に符号化済みの別のフレームまたは当該フレーム内の画像から予測処理を行う。そして、予測処理の結果と符号化対象ブロックとの誤差に対して離散コサイン変換等の変換処理を行い、変換処理の結果である変換係数を量子化し、さらに量子化結果をエントロピー符号化する。このようにして、映像信号のデータが圧縮符号化される。

〔従来の映像符号化装置〕
まず、従来の映像符号化装置について説明する。図６は、従来の映像符号化装置の構成例を示すブロック図である。この映像符号化装置１００は、ブロック分割手段１０、差分手段１１、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７、加算手段１９、ループフィルタ２０、メモリ２１、予測手段２２及び最適化手段２３を備えている。

映像符号化装置１００は、映像信号を入力し、映像信号に対し既存の符号化処理を行い符号化ビット列を生成し、符号化ビット列を後述する映像復号装置２００へ出力する。

ブロック分割手段１０は、映像信号を入力し、映像信号のフレーム毎に、当該フレームをブロック分割する。ブロック分割手段１０は、分割したブロックを差分手段１１、予測手段２２及び最適化手段２３に出力する。

ブロック分割は、一定の大きさの正方形で行われることもあれば、MPEG-4 AVC／H.264、MPEG−H HEVC／H.265等で規定されているように、様々な大きさの矩形で行われることもある。

尚、後述する差分手段１１、直交変換手段１３、逆直交変換手段１７及び加算手段１９の処理におけるブロック形状と、後述する予測手段２２及び最適化手段２３の処理におけるブロック形状とが異なる場合もあり得る。この場合、ブロック分割手段１０は、差分手段１１等用のブロック形状と予測手段２２等用のブロック形状とが異なるように、それぞれの分割形状を割り当てる。そして、ブロック分割手段１０は、映像信号のフレームを、それぞれのブロック形状のブロックに分割し、一方のブロックを差分手段１１に出力し、他方のブロックを予測手段２２及び最適化手段２３に出力する。

差分手段１１は、ブロック分割手段１０からブロックを入力すると共に、予測手段２２から予測画像を入力し、当該ブロックの位置について、ブロックの画素値列から予測画像の画素値列を減算し、その減算結果である残差値列を求める。差分手段１１は、ブロックの残差値列を直交変換手段１３に出力する。

直交変換手段１３は、差分手段１１からブロックの残差値列を入力し、残差値列に対し、所定の複数の基底関数にて直交変換を施し、変換係数列を生成する。直交変換手段１３は、ブロックの変換係数列を量子化手段１４に出力する。

基底関数には、例えば離散コサイン変換、その整数近似である整数変換が用いられる。また、MPEG−H HEVC／H.265においては、所定の条件下で離散サイン変換も用いられる。変換係数列とは、水平及び垂直の２次元空間周波数のそれぞれについて、異なる基底関数を適用した結果の変換係数を並べたものである。

量子化手段１４は、直交変換手段１３からブロックの変換係数列を入力し、変換係数列に対し、所定の量子化テーブルに基づき量子化（離散値化）し、量子化インデックス列を生成する。量子化手段１４は、ブロックの量子化インデックス列をエントロピー符号化手段１５及び逆量子化手段１６に出力する。

量子化の幅は、量子化ステップ及び量子化パラメータ（ＱＰ：Quantization Parameter）により決定される。また、量子化の幅は、通例、空間周波数により異なるように設定され、空間周波数が高いほど広く（粗く）、空間周波数が低いほど狭く（細かく）設定される。量子化パラメータは、値が大きいほど変換係数列が粗く量子化され、情報圧縮の度合いが大きくなる反面、画質の劣化が大きくなる。

エントロピー符号化手段１５は、量子化手段１４からブロックの量子化インデックス列を入力し、量子化インデックス列に対し、変換係数列の統計的性質を考慮したモデルに基づきエントロピー符号化を行って符号を割り当て、符号化ビット列を生成する。エントロピー符号化手段１５により生成された符号化ビット列は、後述する映像復号装置２００へ出力される。

エントロピー符号化には、例えば、ハフマン符号化、算術符号化、ランレングス符号化、ＣＡＶＬＣ（Context−adaptive Variable Length Coding）、ＣＡＢＡＣ（Context−adaptive Binary Arithmetic Coding）等が用いられる。

ここで、エントロピー符号化手段１５により、量子化インデックス列に加え、後述する予測手段２２にて求めた動きベクトル情報、後述する最適化手段２３にて求めた最適モード情報、映像の大きさ等の情報、その他、使用者等により付加された情報等もエントロピー符号化され、符号化ビット列として出力される。

逆量子化手段１６は、量子化手段１４からブロックの量子化インデックス列を入力し、量子化手段１４の逆の処理を行うことで、量子化インデックス列を逆量子化し、量子化インデックス列を変換係数列に戻す。逆量子化手段１６は、ブロックの変換係数列を逆直交変換手段１７に出力する。

量子化手段１４においては、ある量子化インデックス値を与える変換係数値には所定の範囲（幅）があるが、逆量子化手段１６は、入力した量子化インデックス値に対する変換係数値として、当該範囲の代表値（例えば、中央値）を出力する。

逆直交変換手段１７は、逆量子化手段１６からブロックの変換係数列を入力し、直交変換手段１３の逆の処理を行うことで、変換係数列に逆直交変換を施し、復号残差値列を生成する。逆直交変換手段１７は、ブロックの復号残差値列を加算手段１９に出力する。例えば、逆直交変換手段１７は、直交変換手段１３が離散コサイン変換を行う場合、逆離散コサイン変換を行う。

加算手段１９は、逆直交変換手段１７からブロックの復号残差値列を入力すると共に、後述する予測手段２２から予測画像を入力する。そして、加算手段１９は、当該ブロックの位置について、復号残差値列に予測画像の画素値列を加算し、その加算結果である復号画素値列を求める。加算手段１９は、復号画素値列をループフィルタ２０に出力する。

ループフィルタ２０は、加算手段１９から復号画素値列を入力し、復号画素値列に対してフィルタ処理を行い、フィルタ処理後の復号画素値列をメモリ２１に格納すると共に、最適化手段２３に出力する。これにより、ブロック境界の歪み等を抑制することができる。ループフィルタ２０には、例えばデブロッキングフィルタ、ＳＡＯ（Sample Adaptive Offset）、ＡＬＦ（Adaptive Loop Filter）等が用いられる。

メモリ２１には、ループフィルタ２０によりフィルタ処理後の復号画素値列が格納される。ここで、ループフィルタ２０は、復号画素値列を、ブロックの位置を考慮しながら、メモリ２１に格納する。これにより、復号画像が順次形成される。順次というのは、ブロック分割手段１０により分割されたブロックの領域について順次処理するにあたり、ループフィルタ２０がその処理を終える毎に、当該ブロックの領域の復号画素値列が埋め込まれ、復号画像が形成される過程を意図している。

予測手段２２は、メモリ２１においてこれまでに形成された復号画像（これまでに復号された他の時刻のフレームであってもよい）の画素値列を読み出すと共に、必要に応じてブロック分割手段１０から映像信号のフレームのブロックを入力する。そして、予測手段２２は、これから処理すべきブロック内の画素値列を予測的に合成し、予測画像を生成する。予測手段２２は、予測画像を差分手段１１及び加算手段１９に出力する。

予測手段２２は、例えば、処理対象のブロックの領域において、メモリ２１内に既に形成されている他の時刻の復号画像の画素値列と、ブロック分割手段１０から入力したブロックにより構成された現フレームの画素値列とを比較し、その画素値列が最も整合する（誤差が小さくなる）空間的な相対位置関係を動きベクトルとして求める（動き探索により動きベクトルを求める）。そして、予測手段２２は、当該動きベクトルに基づいて、他の時刻の復号画像の画素値列を空間的に移動させる（動き補償する）ことで、予測画像を生成する。

また、予測手段２２は、例えば、処理対象のブロックの領域に空間的に隣接し、かつメモリ２１内に既に形成されている画素値列に基づいて、その画素値列を空間的に一定方向に外挿したり、その画素値列間で演算を行った結果で埋めたりすることで、予測画像を生成する。

最適化手段２３は、ブロック分割手段１０、直交変換手段１３（これに対応する逆直交変換手段１７）、量子化手段１４（これに対応する逆量子化手段１６）、エントロピー符号化手段１５、ループフィルタ２０及び予測手段２２にて用いるパラメータを様々に変化させて試行する。そして、最適化手段２３は、レート歪特性（より少ない符号量、より少ない誤差を以てより良好とする）が最高または最高を近似するものとなるパラメータ（レート歪み特性を表す値が最高値から所定分低い値までの間に存在する場合のパラメータ）を特定する。

最適化手段２３は、特定したパラメータを最適モードのパラメータとし、最適モードのパラメータをブロック分割手段１０、直交変換手段１３（これに対応する逆直交変換手段１７）、量子化手段１４（これに対応する逆量子化手段１６）、エントロピー符号化手段１５、ループフィルタ２０及び予測手段２２に出力し、当該パラメータに従って動作させる。

これにより、ブロック分割手段１０、直交変換手段１３（これに対応する逆直交変換手段１７）、量子化手段１４（これに対応する逆量子化手段１６）、エントロピー符号化手段１５、ループフィルタ２０及び予測手段２２は、最適化手段２３から入力したパラメータに従った処理を行う。

また、最適化手段２３は、最適モードのパラメータを最適モード情報としてエントロピー符号化手段１５に出力する。

これにより、最適モード情報は、エントロピー符号化手段１５によりエントロピー符号化され、符号化ビット列として後述する映像復号装置２００へ出力される。

このように、映像符号化装置１００の既存の符号化処理により、量子化インデックス列及び最適モード情報等が符号化ビット列に変換され、後述する映像復号装置２００へ出力される。

〔従来の映像復号装置〕
次に、従来の映像復号装置について説明する。図７は、従来の映像復号装置の構成例を示すブロック図である。この映像復号装置２００は、エントロピー復号手段３１、逆量子化手段３２、逆直交変換手段３３、加算手段３５、ループフィルタ３６、メモリ３７及び予測手段３８を備えている。

映像復号装置２００は、映像符号化装置１００から量子化インデックス列及び最適モード情報等の符号化ビット列を入力し、最適モード情報の示す最適モードのパラメータに従い既存の復号処理を行い、量子化インデックス列から元の映像信号のフレームを復元する。そして、映像復号装置２００は、復号映像信号を出力する。

エントロピー復号手段３１は、映像符号化装置１００から符号化ビット列を入力し、図６に示したエントロピー符号化手段１５の逆の処理を行い、符号化ビット列をエントロピー復号することで、元の情報に可逆的に復号する。元の情報には、量子化インデックス列に加え、図１に示した予測手段２２にて求めた動きベクトル情報、最適化手段２３にて求めた最適モード情報、映像の大きさ等の情報、その他、使用者等により付加された情報等も含まれる。

エントロピー復号手段３１は、エントロピー復号した最適モード情報である最適モードのパラメータを、後述する逆量子化手段３２、逆直交変換手段３３、ループフィルタ３６及び予測手段３８に出力し、当該パラメータに従って動作させる。

これにより、後述する逆量子化手段３２、逆直交変換手段３３、ループフィルタ３６及び予測手段３８は、エントロピー復号手段３１から入力した最適モードのパラメータに従った処理を行う。

また、エントロピー復号手段３１は、エントロピー復号したブロックの量子化インデックス列を逆量子化手段３２に出力する。

逆量子化手段３２は、エントロピー復号手段３１からブロックの量子化インデックス列を入力し、図６に示した逆量子化手段１６と同様の処理を行うことで、量子化インデックス列を変換係数列に変換する。逆量子化手段３２は、ブロックの変換係数列を逆直交変換手段３３に出力する。

逆直交変換手段３３は、逆量子化手段３２からブロックの変換係数列を入力し、図６に示した逆直交変換手段１７と同様の処理を行うことで、変換係数列に逆直交変換を施し、復号残差値列を生成する。逆直交変換手段３３は、ブロックの復号残差値列を加算手段３５に出力する。

加算手段３５は、逆直交変換手段３３からブロックの復号残差値列を入力すると共に、後述する予測手段３８から予測画像を入力する。そして、加算手段３５は、図６に示した加算手段１９と同様の処理を行うことで、当該ブロックの位置について、復号残差値列に予測画像の画素値列を加算し、その加算結果である復号画素値列を求める。加算手段３５は、復号画素値列をループフィルタ３６に出力する。

ループフィルタ３６は、加算手段３５から復号画素値列を入力し、図６に示したループフィルタ２０と同様の処理を行うことで、復号画素値列に対してフィルタ処理を行い、フィルタ処理後の復号画素値列をメモリ３７に格納する。

メモリ３７には、図６に示したメモリ２１と同様に、ループフィルタ３６によりフィルタ処理後の復号画素値列が、対応するブロックの位置に順次格納される。これにより、メモリ３７には、復号画像が順次形成される。

映像復号装置２００は、メモリ３７内に復号画像が完全に形成された後、メモリ３７から復号画像を読み出し、復号映像信号として外部へ出力する。

予測手段３８は、メモリ３７においてこれまでに形成された復号画像（これまでに復号された他の時刻のフレームであってもよい）の画素値列を読み出し、図６に示した予測手段２２と同様に、これから処理すべきブロック内の画素値列を予測的に合成し、予測画像を生成する。予測手段３８は、予測画像を加算手段３５に出力する。

予測手段３８は、例えば、動きベクトル情報を利用する場合、エントロピー復号手段３１からパラメータである動きベクトル情報を入力し、動きベクトル情報に基づいて、他の時刻の復号画像の画素値列を空間的に移動させる（動き補償する）ことで、予測画像を生成する。この場合、動き探索は行わない。

このように、映像復号装置２００の既存の復号処理により、符号化ビット列が量子化インデックス列及び最適モード情報等に変換され、元の映像信号のフレームが復元される。

図６及び図７にて説明した符号化方式は、ハイブリッド符号化またはＭＣ−ＤＣＴ（Motion Compensation／Discrete Cosine Transform）符号化と呼ばれている。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、及びＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５の各映像符号化方式は、ＭＣ−ＤＣＴ符号化に属する方式である。

また、ＭＣ−ＤＣＴ符号化を含む既存の映像符号化方式に、前処理及び後処理を付加することで、符号化効率及び主観画質を向上する手法が開示されている（例えば特許文献１を参照）。特許文献１の手法では、前処理に解像度削減処理を用いることで、既存の映像符号化方式における圧縮率を緩和し、一方、後処理に超解像技術を応用することで、ぼやけの少ない解像度復元を実現している。このとき、解像度復元の処理を調整可能とし、入力映像を最もよく再現できる最適な調整値を送信側で予め求めて、最適な調整値を復号側へ補助情報として伝送することで、高効率な圧縮伝送を可能とする

特許第５４１９７９５号公報

しかしながら、特許文献１の手法は、前処理及び後処理が、既存の符号化処理の外側に付加される形態である。このため、既存の符号化処理において実行される最適化（例えば、レート歪最適化：Rate-Distortion Optimization（ＲＤＯ））と、前処理及び後処理において実行される最適化（解像度復元処理等において実行される最適化）とは、異なる処理であって互いに独立している。既存の符号化処理において最適化が行われ、かつ前処理及び後処理において最適化が行われたとしても、全体として最適化が行われるとは限らない。したがって、特許文献１の手法は、既存の符号化処理、前処理及び後処理の全体の大局的な観点において、必ずしも最適化に適しているとは限らない。

例えば、前処理及び後処理は、既存の符号化処理におけるブロック分割とは無関係に実行される。このため、前処理の後の画像形状または標本化構造は、既存の符号化処理に入力可能な形態である必要が生じ、前処理として適用可能な変換処理が限定的であった。また、既存の符号化処理において、ブロック内の場所毎に異なる倍率の解像度変換を適用したり、標本化格子形状を縦横以外の方向に拡大または縮小したり、非線形的な標本化構造により再標本化することは、一般的に許容されていない。

このように、特許文献１の手法により、既存の符号化処理に対し前処理及び後処理を付加することで符号化効率を高めることはできるが、前述のとおり、既存の符号化処理と前処理及び後処理との間で十分に連係を図ることができないことから、全体として最適化が不十分であるという問題があった。このため、全体の大局的な観点で最適化を実現するべく、さらなる改善が望まれていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像信号の符号化効率を改善可能な映像符号化装置、映像復号装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像符号化装置は、映像信号のフレームをブロックに分割し、前記ブロックの各標本点の画素値、または前記画素値と予測画像の画素値との間の差である残差値に対し、直交変換及び量子化を施し、エントロピー符号化した符号化ビット列を出力する映像符号化装置において、前記ブロックを単位として、前記標本点の数、配置、及び前記画素値または前記残差値のうちの少なくとも１つを変更することで、前記標本点を再標本化する再標本化手段を備え、前記再標本化手段により再標本化された前記画素値または前記残差値に対し、前記直交変換及び前記量子化を施す、ことを特徴とする。

係る構成によれば、映像信号のフレームがブロックに分割された後に、当該ブロックを単位として再標本化が行われる。これにより、再標本化の処理とブロックを単位として行われる直交変換及び量子化の処理とを連動させることができるから、ブロックの単位とは無関係な前処理及び後処理が行われる従来技術に比べ、全体として効果的な最適化を実現できる。結果として、符号化効率を改善することが可能となる。

また、請求項２の映像符号化装置は、請求項１に記載の映像符号化装置において、前記再標本化手段にて用いるパラメータ、並びに前記ブロックを分割する処理、前記直交変換の処理及び前記量子化の処理にて用いるそれぞれのパラメータを含む複数のパラメータを変化させ、符号化効率を表す評価値をそれぞれ求め、前記評価値が所定範囲の値のときの前記複数のパラメータを、最適な複数のパラメータとして特定する最適化手段と、前記再標本化手段により再標本化され、前記直交変換及び前記量子化が施された量子化インデックス列、及び、前記最適化手段により特定された前記複数のパラメータをエントロピー符号化し、前記符号化ビット列を生成するエントロピー符号化手段と、を備え、前記再標本化手段が、前記最適化手段により特定されたパラメータに対応した再標本化規則に従い、前記標本点を再標本化する、ことを特徴とする。

係る構成によれば、ブロックを単位として、最適なパラメータに対応した再標本化が行われるから、最適化を確実に実現することができる。結果として、符号化効率を改善することが可能となる。

また、請求項３の映像符号化装置は、請求項２に記載の映像符号化装置において、前記再標本化手段が入力する標本点を入力標本点とし、前記再標本化手段により再標本化された標本点を出力標本点とした場合に、前記再標本化規則が、前記ブロックを単位として、前記入力標本点の数を削減するように、または前記入力標本点の粗密を変化させるように、前記出力標本点の配置を設定し、前記出力標本点を基点とした所定範囲に存在する所定数の前記入力標本点の前記画素値または前記残差値に基づいて、前記出力標本点の前記画素値または前記残差値を算出する規則である、ことを特徴とする。

係る構成によれば、例えば、画素値または残差値が所定の広い範囲で類似値となる映像信号について、最適なパラメータに対応して広い範囲のブロックが分割された場合、再標本化手段により、最適なパラメータに対応して標本点の数が削減されることになり得る。これにより、標本点の数が少なくなるから、後段の直交変換処理の演算負荷を抑えつつ、等価的な直交変換処理のサポート範囲を拡大することができる。また、再標本化手段により、最適なパラメータに対応して、標本化格子をブロック内のテクスチャ、その残差の程度または複雑さ等に応じて粗密を変化させることができる。これにより、ブロック内で必要な箇所に多くの標本点を配置することができ、映像信号の近似精度を向上させることができる。結果として、符号化効率を改善することが可能となる。

さらに、請求項４の映像復号装置は、請求項１の映像符号化装置により出力された符号化ビット列を入力し、前記符号化ビット列をエントロピー復号し、逆量子化及び逆直交変換して元の映像信号のフレームを復元する映像復号装置において、前記映像信号のフレームが分割されたブロックを単位として、前記映像符号化装置が標本点を再標本化する処理とは逆の処理にて、前記標本点の数、配置、及び前記逆直交変換及び前記逆直交変換された復号画素値または復号残差値のうちの少なくとも１つを変更することで、前記標本点を逆再標本化する逆再標本化手段を備え、前記逆再標本化手段により逆再標本化された前記復号画素値または前記復号残差値に基づいて、前記元の映像信号のフレームを復元する、ことを特徴とする。

係る構成によれば、ブロックを単位として逆再標本化が行われる。これにより、ブロックを単位として行われる逆量子化及び逆直交変換の処理と逆標本化の処理とを連動させることができるから、ブロックの単位とは無関係な前処理及び後処理が行われる従来技術に比べ、全体として効果的な最適化を実現できる。結果として、符号化効率を改善することが可能となる。

また、請求項５の映像復号装置は、請求項２の映像符号化装置により出力された符号化ビット列を入力し、前記符号化ビット列をエントロピー復号し、逆量子化及び逆直交変換して元の映像信号のフレームを復元する映像復号装置において、前記符号化ビット列をエントロピー復号し、量子化インデックス列及び複数のパラメータを生成するエントロピー復号手段と、前記映像信号のフレームが分割されたブロックを単位として、前記映像符号化装置が標本点を再標本化する処理とは逆の処理にて、前記エントロピー復号手段により生成されたパラメータに対応した逆再標本化規則に従い、前記標本点の数、配置、及び前記量子化インデックス列が逆直交変換及び前記逆直交変換された復号画素値または復号残差値のうちの少なくとも１つを変更することで、前記標本点を逆再標本化する逆再標本化手段と、を備え、前記逆再標本化手段により逆再標本化された前記復号画素値または前記復号残差値に基づいて、前記元の映像信号のフレームを復元する、ことを特徴とする。

係る構成によれば、ブロックを単位として、最適なパラメータに対応した逆再標本化が行われるから、最適化を確実に実現することができる。結果として、符号化効率を改善することが可能となる。

また、請求項６の映像復号装置は、請求項５に記載の映像復号装置において、前記逆再標本化手段が入力する標本点を入力標本点とし、前記逆再標本化手段により逆再標本化された標本点を出力標本点とした場合に、前記逆再標本化規則が、前記ブロックを単位として、前記標本点の数を増加させるように、または前記入力標本点の粗密を変化させるように、前記出力標本点の配置を設定し、前記出力標本点を基点とした所定範囲に存在する所定数の前記入力標本点の前記復号画素値または前記復号残差値に基づいて、前記出力標本点の前記復号画素値または前記復号残差値を算出する規則である、ことを特徴とする。

係る構成によれば、例えば、画素値または残差値が所定の広い範囲で類似値となる映像信号について、映像符号化装置にて最適なパラメータに対応して広い範囲のブロックが分割され、映像符号化装置の再標本化手段により、最適なパラメータに対応して標本点の数が減少された場合、当該映像復号装置の逆再標本化手段により、最適なパラメータに対応して標本点の数を増加して元の標本点に戻すことができる。また、映像符号化装置の再標本化手段により、最適なパラメータに対応して、標本化格子をブロック内のテクスチャ、その残差の程度または複雑さ等に応じて粗密を変化させた場合、当該映像復号装置の逆再標本化手段により、最適なパラメータに対応して元の標本点に戻すことができる。結果として、符号化効率を改善することが可能となる。

以上のように、本発明によれば、映像信号の符号化効率を改善することが可能となる。

本発明の実施形態による映像符号化装置の構成例を示すブロック図である。 再標本化処理の例を説明する図である。 ４つの入力標本点の残差値（画素値）に基づいた双一次補間を行う数式（１）を説明する図である。 逆再標本化処理の例を説明する図である。 本発明の実施形態による映像復号装置の構成例を示すブロック図である。 従来の映像符号化装置の構成例を示すブロック図である。 従来の映像復号装置の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔映像符号化装置〕
まず、本発明の実施形態による映像符号化装置について説明する。図１は、本発明の実施形態による映像符号化装置の構成例を示すブロック図である。この映像符号化装置１は、ブロック分割手段１０、差分手段１１、再標本化手段１２、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７、逆再標本化手段１８、加算手段１９、ループフィルタ２０、メモリ２１、予測手段２２及び最適化手段２４を備えている。

図６に示した従来の映像符号化装置１００と、図１に示す本発明の実施形態による映像符号化装置１とを比較すると、両映像符号化装置１，１００は、ブロック分割手段１０、差分手段１１、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７、加算手段１９、ループフィルタ２０、メモリ２１及び予測手段２２を備えている点で同一である。

一方、映像符号化装置１は、映像符号化装置１００の構成に加え、さらに再標本化手段１２及び逆再標本化手段１８を備え、映像符号化装置１００に備えた最適化手段２３とは異なる最適化手段２４を備えている点で、映像符号化装置１００と相違する。図１において、図６と共通する部分には図６と同一の符号を付し、その詳しい説明は省略する。

再標本化手段１２は、差分手段１１と直交変換手段１３の間に設けられ、差分手段１１からブロックの残差値列を入力し、ブロック単位に、標本点の数、配置及び残差値を変更することで標本点を再標本化する。そして、再標本化手段１２は、再標本化後のブロックの残差値列を直交変換手段１３に出力する。

尚、再標本化手段１２は、標本点の数のみを変更することで再標本化してもよいし、標本点の配置のみを変更することで再標本化してもよいし、標本点の残差値のみを変更することで再標本化してもよい。要するに、再標本化手段１２は、標本点の数、配置及び残差値のうちの１つ、２つまたは全てを変更することで、標本点を再標本化すればよい。

図２は、再標本化手段１２による再標本化処理の例を説明する図である。図２において、○印は、再標本化手段１２に入力されるブロックの残差値列についての標本点（再標本化前の標本点（入力標本点））を示し、×印は、再標本化手段１２が出力するブロックの残差値列についての標本点（再標本化後の標本点（出力標本点））を示す。入力標本点の残差値列を出力標本点の残差値列に変換するための再標本化の規則（再標本化規則）は、図２に示す入力標本点及び出力標本点の数、配置が定義され、出力標本点の残差値を算出するための数式を用いた変換規則として、予め設定されているものとする。

再標本化手段１２は、後述する最適化手段２４から最適再標本化モードのパラメータを入力し、当該パラメータに基づいて、予め設定された複数の再標本化規則（例えば図２（ａ）〜（ｄ）の規則）の中から１つの再標本化規則を決定する。そして、再標本化手段１２は、決定した再標本化規則に従い、標本点を再標本化する。

図２（ａ）は、標本化格子を変更しない例であり、再標本化を行わないものと等価である。再標本化手段１２は、図２（ａ）の予め設定された再標本化規則に従い、図２（ａ）に示す入力標本点を再標本化し、図２（ａ）に示す出力標本点の残差値列を求める。この場合、再標本化手段１２は、再標本化を行わないで、入力した残差値列をそのまま出力する。この再標本化規則は、図２（ａ）に示すように、入力標本点及び出力標本点の数及び配置を変更せず、かつその残差値も変更しない規則である。

図２（ｂ）は、標本数を削減し（水平方向に１／２倍、垂直方向に１／２倍に削減し）、再標本化後の配置も均一な間隔とする例である。再標本化手段１２は、図２（ｂ）の予め設定された再標本化規則に従い、図２（ｂ）に示す入力標本点を再標本化し、図２（ｂ）に示す出力標本点の残差値列を求める。この再標本化規則は、図２（ｂ）に示すように、入力標本点の標本数を水平方向に１／２倍、垂直方向に１／２倍に削減し、入力標本点（の均一な間隔）とは異なる均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の残差値を算出する規則である。

図２（ｃ）は、標本数を保ったまま、再標本化の位置を不均一な間隔に（標本点の粗密を変化させるように）再配置する例である。再標本化手段１２は、図２（ｃ）の予め設定された再標本化規則に従い、図２（ｃ）に示す入力標本点を再標本化し、図２（ｃ）に示す出力標本点の残差値列を求める。この再標本化規則は、図２（ｃ）に示すように、入力標本点及び出力標本点の標本数を同一とし、入力標本点と同じまたは異なる位置かつ不均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の残差値を算出する規則である。

図２（ｄ）は、標本数を削減し（水平方向に１／４倍、垂直方向に１／４倍に削減し）、かつ再標本化の位置を不均一な間隔に（標本点の粗密を変化させるように）再配置する例である。再標本化手段１２は、図２（ｄ）の予め設定された再標本化規則に従い、図２（ｄ）に示す入力標本点を再標本化し、図２（ｄ）に示す出力標本点の残差値列を求める。この再標本化規則は、図２（ｄ）に示すように、入力標本点の標本数を水平方向に１／４倍、垂直方向に１／４倍に削減し、入力標本点と同じまたは異なる位置かつ不均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の残差値を算出する規則である。

図２（ａ）〜（ｄ）に示すように、再標本化規則において、出力標本点の位置と入力標本点の位置とは、必ずしも重なる必要はない。また、再標本化規則において、出力標本点の残差値は、当該出力標本点の近傍に存在する１以上の入力標本点（当該出力標本点を基点とした所定範囲に存在する所定数の入力標本点）の残差値に基づいて算出されるように定義されている。

例えば、出力標本点の位置（ｘ，ｙ）における残差値は、当該位置（ｘ，ｙ）からの距離（例えば、ユークリッド距離）が最も近い入力標本点の残差値であると定義してもよい。また、例えば、出力標本点の位置（ｘ，ｙ）における残差値は、当該位置（ｘ，ｙ）に最も近い４つの入力標本点の残差値に基づいて、双一次補間（バイリニア補間）により算出されるように定義してもよい。

出力標本点の位置（ｘ，ｙ）における残差値をＬ（ｘ，ｙ）、入力標本点の位置（ｘ，ｙ）における残差値をＨ（ｘ，ｙ）とし、入力標本点の位置における水平及び垂直座標がともに整数の格子点である場合、以下の数式が用いられる。この数式は、４つの入力標本点の残差値に基づいた双一次補間を行う式である。

図３は、４つの入力標本点の残差値に基づいた双一次補間を行う数式（１）を説明する図である。図３において、○印は入力標本点を示し、×印は出力標本点を示す。前記数式（１）のとおり、図３に示す４つの○印の入力標本点ａ１〜ａ４における残差値Ｈを用いて双一次補間を行い、×印の出力標本点ｂ１における残差値Ｌが算出される。

尚、再標本化手段１２は、再標本化の前処理として、間引きフィルタ（例えば低域通過型フィルタ）を適用しても構わない。この場合、再標本化手段１２は、差分手段１１から残差値列を入力し、間引きフィルタを用いて残差値列にフィルタ処理を施し、フィルタ処理後の標本点を再標本化する。

図１に戻って、逆再標本化手段１８は、逆直交変換手段１７と加算手段１９の間に設けられている。逆再標本化手段１８は、逆直交変換手段１７からブロックの復号残差値列を入力し、再標本化手段１２の逆の処理を行い、ブロック単位に、標本点の数、配置及び復号残差値を変更することで、標本点を逆再標本化する。そして、逆再標本化手段１８は、逆標本化後のブロックの復号残差値列を加算手段１９に出力する。

尚、逆再標本化手段１８は、標本点の数のみを変更することで逆再標本化してもよいし、標本点の配置のみを変更することで逆再標本化してもよいし、標本点の復号残差値のみを変更することで逆再標本化してもよい。要するに、逆再標本化手段１８は、標本点の数、配置及び復号残差値のうちの１つ、２つまたは全てを変更することで、標本点を逆再標本化すればよい。

図４は、逆再標本化手段１８による逆再標本化処理の例を説明する図である。図４において、×印は、逆再標本化手段１８に入力されるブロックの復号残差値列についての標本点（逆再標本化前の標本点（入力標本点））を示し、○印は、逆再標本化手段１８が出力するブロックの復号残差値列についての標本点（逆再標本化後の標本点（出力標本点））を示す。入力標本点の復号残差値列を出力標本点の復号残差値列に変換するための逆再標本化の規則（逆再標本化規則）は、図２に示した再標本化規則の逆であり、図４に示す入力標本点及び出力標本点の数と配置が定義され、出力標本点の復号残差値を算出するための所定の数式を用いた変換規則として、予め設定されているものとする。

逆再標本化手段１８は、後述する最適化手段２４から最適逆再標本化モードのパラメータを入力し、当該パラメータに基づいて、予め設定された複数の再標本化規則（例えば図４（ａ）〜（ｄ）の規則）の中から１つの逆再標本化規則を決定する。そして、逆再標本化手段１８は、決定した逆再標本化規則に従い、標本点を再標本化する。

図４（ａ）は、図２（ａ）に対応し、標本化格子を変更しない例であり、逆再標本化を行わないものと等価である。逆再標本化手段１８は、図４（ａ）の予め設定された逆再標本化規則に従い、図４（ａ）に示す入力標本点を再標本化し、図４（ａ）に示す出力標本点の復号残差値列を求める。この場合、逆再標本化手段１８は、逆再標本化を行わないで、入力した復号残差値列をそのまま出力する。この逆再標本化規則は、図４（ａ）に示すように、入力標本点及び出力標本点の数及び配置を変更せず、かつその復号残差値も変更しない規則である。

図４（ｂ）は、図２（ｂ）に対応し、標本数を増加し（水平方向に２倍、垂直方向に２倍に増加し）、逆再標本化後の配置を均一な間隔に復元する例である。逆再標本化手段１８は、図４（ｂ）の予め設定された逆再標本化規則に従い、図４（ｂ）に示す入力標本点を逆再標本化し、図４（ｂ）に示す出力標本点の復号残差値列を求める。この逆再標本化規則は、図４（ｂ）に示すように、入力標本点の標本数を水平方向に２倍、垂直方向に２倍に増加し、元の均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の復号残差値を算出する規則である。

図４（ｃ）は、図２（ｃ）に対応し、標本数を保ったまま、逆再標本化後の配置を均一な間隔に復元する（標本点の粗密を元に戻す）例である。逆再標本化手段１８は、図４（ｃ）の予め設定された逆再標本化規則に従い、図４（ｃ）に示す入力標本点を逆再標本化し、図４（ｃ）に示す出力標本点の復号残差値列を求める。この逆再標本化規則は、図４（ｃ）に示すように、入力標本点及び出力標本点の標本数を同一とし、元の均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の復号残差値を算出する規則である。

図４（ｄ）は、図２（ｄ）に対応し、標本数を増加し（水平方向に４倍、垂直方向に４倍に増加し）、かつ逆再標本化後の位置を均一な間隔に復元する（標本点の粗密を元に戻す）例である。逆再標本化手段１８は、図４（ｄ）の予め設定された逆再標本化規則に従い、図４（ｄ）に示す入力標本点を逆再標本化し、図４（ｄ）に示す出力標本点の復号残差値列を求める。この逆再標本化規則は、図４（ｄ）に示すように、入力標本点の標本数を水平方向に４倍、垂直方向に４倍に増加し、元の均一な間隔となるように、出力標本点の配置を設定すると共に、所定の数式にて出力標本点の復号残差値を算出する規則である。

図４（ａ）〜（ｄ）に示すように、逆再標本化規則において、出力標本点の位置と入力標本点の位置とは、必ずしも重なる必要はない。また、逆再標本化規則において、出力標本点の復号残差値は、当該出力標本点の近傍に存在する１以上の入力標本点の復号残差値に基づいて算出されるように定義されている。

例えば、出力標本点の位置（ｘ，ｙ）における復号残差値は、当該位置（ｘ，ｙ）からの距離（例えば、ユークリッド距離）が最も近い入力標本点の復号残差値であるとしてもよい。また、例えば、出力標本点の位置（ｘ，ｙ）における復号残差値は、当該位置（ｘ，ｙ）に最も近い４つの入力標本点の復号残差値に基づいて、双一次補間により算出されるようにしてもよい。

尚、逆再標本化手段１８は、逆再標本化の前処理として、間引きフィルタ（例えば低域通過型フィルタ）を適用しても構わない。この場合、逆再標本化手段１８は、逆直交変換手段１７から復号残差値列を入力し、間引きフィルタを用いて復号残差値列にフィルタ処理を施し、フィルタ処理後の標本点を逆再標本化する。

また、逆再標本化手段１８は、出力標本点の復号残差値を算出する際に、当該出力標本点の近傍に存在する１以上の入力標本点の復号残差値、または必要に応じて以前に処理を行った入力標本点の復号残差値に基づいて、再標本化手段１２が再標本化を行ったときに失った高域情報を、超解像技術により復元または合成しても構わない。

図１に戻って、最適化手段２４は、ブロック分割手段１０、直交変換手段１３（これに対応する逆直交変換手段１７）、量子化手段１４（これに対応する逆量子化手段１６）、エントロピー符号化手段１５、ループフィルタ２０及び予測手段２２に加え、再標本化手段１２（これに対応する逆再標本化手段１８）にて用いるパラメータを様々に変化させて試行する。例えば、最適化手段２４は、再標本化手段１２に対し、図２（ａ）〜（ｄ）に対応するパラメータを変化させて試行する。また、最適化手段２４は、再標本化手段１２に対応する逆再標本化手段１８に対し、図４（ａ）〜（ｄ）に対応するパラメータを変化させて試行する。

最適化手段２４は、図６に示した最適化手段２３と同様に、レート歪特性が最高または最高を近似するものとなるパラメータ（レート歪み特性を表す値が最高値から所定分低い値までの間に存在する場合のパラメータ）を特定する。特定されたパラメータは、最高または最高を近似するものとなる符号化効率を実現可能なデータである。

すなわち、最適化手段２４は、ブロック分割手段１０、再標本化手段１２等のパラメータを様々に変化させ、符号化効率を表す評価値（例えば、画質の良さの程度及び符号量の少なさの程度を表した値）を算出し、当該評価値が所定範囲に入るときのパラメータを特定する。特定されたパラメータは、例えば、所定の画質を実現する場合に符号量が最も少なくて済み、かつ所定の符号量を用いる場合に画質が最も良くなるパラメータである。

最適化手段２４は、特定したパラメータと最適モードのパラメータとし、最適モードのパラメータをブロック分割手段１０、再標本化手段１２等に出力し、当該パラメータに従って動作させる。これにより、ブロック分割手段１０、再標本化手段１２等が最適モードのパラメータに従って動作することで、全体としてバランスのとれた所望の符号化効率を実現することができる。

例えば、最適化手段２４は、再標本化手段１２について、レート歪特性が最高または最高を近似するものとなる再標本化モードのパラメータを、最適再標本化モードのパラメータとして特定する。また、最適化手段２４は、逆再標本化手段１８について、レート歪特性が最高または最高を近似するものとなる逆再標本化モードのパラメータを、最適逆再標本化モードのパラメータとして特定する。

ブロック分割手段１０、再標本化手段１２等は、最適化手段２４から入力したパラメータに従った処理を行う。例えば、再標本化手段１２は、最適化手段２４から最適再標本化モードのパラメータを入力し、パラメータが示す再標本化規則（例えば図２（ａ）〜（ｄ）のうちのいずれかの再標本化規則）に従った処理を行う。逆再標本化手段１８は、最適化手段２４から最適逆再標本化モードのパラメータを入力し、パラメータが示す逆再標本化規則（例えば図４（ａ）〜（ｄ）のうちのいずれかの再標本化規則）に従った処理を行う。

また、最適化手段２４は、最適モードのパラメータを最適モード情報としてエントロピー符号化手段１５に出力する。

これにより、最適モード情報は、エントロピー符号化手段１５によりエントロピー符号化され、符号化ビット列として後述する映像復号装置２へ出力される。

このように、映像符号化装置１の符号化処理により、量子化インデックス列及び最適モード情報等が符号化ビット列に変換され、後述する映像復号装置２へ出力される。

尚、最適化手段２４は、再標本化手段１２及び逆再標本化手段１８を最適化の対象に含めるようにしたが、含めないようにしても構わない。この場合、再標本化手段１２は、予め設定された再標本化モードのパラメータが示す再標本化規則に従い、再標本化を行う。また、逆再標本化手段１８は、予め設定された逆再標本化モードのパラメータが示す逆再標本化規則に従い、逆再標本化を行う。

以上のように、本発明の実施形態の映像符号化装置１によれば、最適化手段２４は、ブロック分割手段１０、再標本化手段１２等にて用いるパラメータを様々に変化させて試行し、レート歪特性が最高または最高を近似するものとなるパラメータを特定し、特定したパラメータ（最適モードのパラメータ）を、ブロック分割手段１０、再標本化手段１２等に出力し、当該パラメータに従って動作させる。最適化手段２４により特定された最適モードのパラメータは、エントロピー符号化手段１５にて量子化インデックス列と共にエントロピー符号化され、符号化ビット列として後述する映像復号装置２へ出力される。

再標本化手段１２は、ブロックの画素値列から予測画像の画素値列を減算した結果であるブロックの残差値列を入力し、最適化手段２４から入力したパラメータ（最適再標本化モードのパラメータ）が示す再標本化規則に従い、入力標本点を再標本化して出力標本点の残差値列を求める。再標本化手段１２により、ブロック単位に、標本点の数、配置及び残差値が変更される。

これにより、最適化手段２４により特定された最適モードのパラメータは、最高の符号化効率を実現可能なデータであるから、この最適モードのパラメータが示す再標本化規則も、最高の符号化効率を実現可能な規則となる。つまり、再標本化手段１２は、最高の符号化効率を実現するように、ブロック分割手段１０により分割されたブロックに対する符号化処理の中で、ブロック単位に、標本点の数、配置及び残差値を変更することができる。

例えば、映像信号の残差値が所定の広い範囲で類似値となる場合に、最適化手段２４が、最適モードのパラメータとして、ブロック分割手段１０について所定の広い範囲でブロック分割を行うパラメータを特定し、再標本化手段１２について標本点の数を減少させる最適再標本化モードのパラメータを特定した場合を想定する。この場合、再標本化手段１２は、所定の広い範囲のブロックについて、標本点の数を減少させた残差値列を求めることになる。これにより、標本点の数が少なくなるから、後続の処理の演算負荷を低減することができ、符号化効率を改善することができる。

また、例えば、最適化手段２４が、最適モードのパラメータとして、再標本化手段１２についてブロック内の所定の箇所につき標本点の数を増加させる最適再標本化モードのパラメータを特定した場合、再標本化手段１２は、ブロック内の所定の箇所につき標本点の数を増加させた残差値列を求めることになる。これにより、図２（ｃ）及び（ｄ）に示したように、ブロック内の必要な箇所に多くの標本点を配置したり、ブロック内の他の箇所に少ない標本点を配置したり、すなわち標本点の粗密を変化させることができるから、映像信号の近似精度を向上させることができ、符号化効率を改善することができる。

本発明の実施形態は、符号化処理の内部に再標本化手段１２の処理を挿入し、再標本化手段１２に対し、ブロック分割手段１０によるブロック分割処理、直交変換手段１３による直交変換処理及び量子化手段１４による量子化処理と連動して、ブロック単位に、標本点の数、配置及び残差値を変更させるものである。

本発明の実施形態では、既存の符号化処理の外側に前処理及び後処理を付加する従来技術とは異なり、ブロック単位に再標本化を行うことができる。つまり、本発明の実施形態における再標本化処理は、ブロック分割後の他の処理（直交変換処理、量子化処理等）と連動して、同じフレームの他のブロック及び他のフレームのブロックとの間で符号化効率を考慮したバランスを図ることができ、最適な符号化処理を実現することができる。結果として、映像信号の符号化効率を改善し、映像信号を高画質に圧縮符号化及び復号することが可能となる。

〔映像復号装置〕
次に、本発明の実施形態による映像復号装置について説明する。図５は、本発明の実施形態による映像復号装置の構成例を示すブロック図である。この映像復号装置２は、エントロピー復号手段３９、逆量子化手段３２、逆直交変換手段３３、逆再標本化手段３４、加算手段３５、ループフィルタ３６、メモリ３７及び予測手段３８を備えている。

図７に示した従来の映像復号装置２００と、図５に示す本発明の実施形態による映像復号装置２とを比較すると、両映像復号装置２，２００は、逆量子化手段３２、逆直交変換手段３３、加算手段３５、ループフィルタ３６、メモリ３７及び予測手段３８を備えている点で同一である。

一方、映像復号装置２は、映像復号装置２００の構成に加え、さらに逆再標本化手段３４を備え、映像復号装置２００に備えたエントロピー復号手段３１とは異なるエントロピー復号手段３９を備えている点で、映像復号装置２００と相違する。図５において、図７と共通する部分には図７と同一の符号を付し、その詳しい説明は省略する。

映像復号装置２は、映像符号化装置１から量子化インデックス列及び最適モード情報等の符号化ビット列を入力し、最適モード情報のパラメータに従い、逆再標本化を含む復号処理を行い、量子化インデックス列から元の映像信号のフレームを復元する。そして、映像復号装置２は、復号映像信号を出力する。

エントロピー復号手段３９は、映像符号化装置１から符号化ビット列を入力し、図１に示したエントロピー符号化手段１５の逆の処理を行い、符号化ビット列をエントロピー復号することで、元の情報に可逆的に復号する。元の情報には、量子化インデックス列に加え、図１に示した予測手段２２にて求めた動きベクトル情報、最適化手段２３にて求めた最適モード情報、映像の大きさ等の情報、その他、使用者等により付加された情報等も含まれる。最適モード情報には、最適逆再標本化モードのパラメータが含まれる。

エントロピー復号手段３９は、エントロピー復号した最適モード情報である最適モードのパラメータを、逆量子化手段３２、逆直交変換手段３３、逆再標本化手段３４、ループフィルタ３６及び予測手段３８に出力し、当該パラメータに従って動作させる。この場合、エントロピー復号手段３９は、最適逆再標本化モードのパラメータを逆再標本化手段３４に出力する。

これにより、逆量子化手段３２、逆直交変換手段３３、逆再標本化手段３４、ループフィルタ３６及び予測手段３８は、エントロピー復号手段３９から入力した最適モードのパラメータに従った処理を行う。

また、エントロピー復号手段３９は、エントロピー復号したブロックの量子化インデックス列を逆量子化手段３２に出力する。

逆再標本化手段３４は、逆直交変換手段３３と加算手段３５の間に設けられる。逆再標本化手段３４は、逆直交変換手段３３からブロックの復号残差値列を入力し、図１に示した逆再標本化手段１８と同様の処理を行い、所定の逆再標本化規則に従って、ブロック単位に、標本点の数、配置及び復号残差値を変更することで、標本点を逆再標本化する。そして、逆再標本化手段３４は、逆標本化後のブロックの復号残差値列を加算手段３５に出力する。

尚、逆再標本化手段３４は、標本点の数のみを変更することで逆再標本化してもよいし、標本点の配置のみを変更することで逆再標本化してもよいし、標本点の復号残差値のみを変更することで逆再標本化してもよい。要するに、逆再標本化手段３４は、標本点の数、配置及び復号残差値のうちの１つ、２つまたは全てを変更することで、標本点を逆再標本化すればよい。

このように、映像復号装置２の復号処理により、符号化ビット列が量子化インデックス列及び最適モード情報等に変換され、元の映像信号のフレームが復元される。

尚、映像復号装置２が映像符号化装置１から最適逆再標本化モードのパラメータを含む符号化ビット列を入力する場合について説明したが、最適逆再標本化モードのパラメータを含む符号化ビット列を入力しない場合もあり得る。この場合、逆再標本化手段３４は、予め設定された逆再標本化モードのパラメータが示す逆再標本化規則に従い、逆再標本化を行う。

以上のように、本発明の実施形態の映像復号装置２によれば、エントロピー復号手段３９は、映像符号化装置１から入力した符号化ビット列をエントロピー復号し、量子化インデックス列及び最適モードのパラメータを生成し、当該パラメータを、逆量子化手段３２、逆再標本化手段３４等に出力し、当該パラメータに従って動作させる。

逆再標本化手段３４は、ブロックの画素値列から予測画像の画素値列が減算された結果であるブロックの復号残差値列を入力し、エントロピー復号手段３９から入力したパラメータ（最適逆再標本化モードのパラメータ）が示す逆再標本化規則に従い、入力標本点を逆再標本化して出力標本点の復号残差値列を求める。逆再標本化手段３４により、ブロック単位に、標本点の数、配置及び復号残差値が変更され、元に戻る。そして、元の映像信号が復号される。

これにより、映像符号化装置１から入力してエントロピー復号手段３９により復号された最適モードのパラメータは、最高の符号化効率を実現可能なデータであるから、この最適モードのパラメータが示す逆再標本化規則も、最高の符号化効率を実現可能な規則となる。つまり、逆再標本化手段３４は、最高の符号化効率を実現するように、映像復号装置２における復号処理の中で、ブロック単位に、標本点の数、配置及び復号残差値を、元に戻すように変更することができる。

例えば、映像信号の残差値が所定の広い範囲で類似値となる場合に、映像符号化装置１の最適化手段２４が、最適モードのパラメータとして、ブロック分割手段１０について所定の広い範囲でブロック分割を行うパラメータを特定し、再標本化手段１２について標本点の数を減少させる最適再標本化モードのパラメータを特定した場合を想定する。この場合、映像復号装置２のエントロピー復号手段３９は、最適モードのパラメータとして、所定の広い範囲でブロック分割が行われたブロックに対するパラメータを復号し、逆再標本化手段３４について標本点の数を増加させる最適逆再標本化モードのパラメータを復号する。そして、逆再標本化手段３４は、所定の広い範囲のブロックについて、映像符号化装置１の再標本化手段１２及び逆再標本化手段１８に対応して、標本点の数を増加させた復号残差値列を求めることになる。これにより、標本点の数を元に戻すことができ、符号化効率を改善することができる。

また、例えば、映像符号化装置１の最適化手段２４が、最適モードのパラメータとして、再標本化手段１２についてブロック内の所定の箇所につき標本点の数を増加させる最適再標本化モードのパラメータを特定した場合を想定する。この場合、映像復号装置２のエントロピー復号手段３９は、逆再標本化手段３４についてブロック内の所定の箇所につき標本点の数を減少させる最適逆再標本化モードのパラメータを復号する。そして、逆再標本化手段３４は、映像符号化装置１の再標本化手段１２及び逆再標本化手段１８に対応して、図４（ｃ）及び（ｄ）に示したように、ブロック内の所定の箇所につき標本点の数を減少させた復号残差値列を求めることになる。これにより、標本点の数を元に戻すことができ、符号化効率を改善することができる。

本発明の実施形態は、復号処理の内部に逆再標本化手段３４の処理を挿入し、逆再標本化手段３４に対し、逆量子化手段３２による逆量子化処理及び逆直交変換手段３３による逆直交変換処理と連動して、ブロック単位に、標本点の数、配置及び復号残差値を元に戻すように変更させるものである。

本発明の実施形態では、従来技術とは異なり、ブロック単位に逆再標本化を行うことができる。つまり、本発明の実施形態における逆再標本化処理は、他の処理（逆量子化処理、逆直交変換処理等）と連動して、同じフレームの他のブロック及び他のフレームのブロックとの間で符号化効率を考慮したバランスを図ることができ、最適な符号化処理に対応した復号処理を実現することができる。結果として、映像信号の符号化効率を改善し、映像信号を高画質に圧縮符号化及び復号することが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態において、図１に示した映像符号化装置１はループフィルタ２０を備えているが、必ずしもループフィルタ２０を備える必要はない。映像符号化装置１がループフィルタ２０を備えていない場合、メモリ２１には、加算手段１９により求められた復号画素値列が格納される。ここで、加算手段１９は、復号画素値列を、ブロックの位置を考慮しながら、メモリ２１に格納する。これにより、メモリ２１には、復号画像が順次形成される。

また、図５に示した映像復号装置２はループフィルタ３６を備えているが、必ずしもループフィルタ３６を備える必要はない。映像復号装置２がループフィルタ３６を備えていない場合、メモリ３７には、加算手段３５により求められた復号画素値列が、対応するブロックの位置に順次格納される。これにより、メモリ３７には、復号画像が順次形成される。

また、前記実施形態では、図１に示した映像符号化装置１の再標本化手段１２、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７及び逆再標本化手段１８は、ブロックの各標本点について、映像信号の画素値から予測画像の画素値を減算した結果である残差値（復号残差値）を対象にして処理を行うようにした。これに対し、再標本化手段１２、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７及び逆再標本化手段１８は、標本点の残差値（復号残差値）の代わりに、標本点の画素値（復号画素値）を対象にして処理を行うようにしてもよい。図５に示した映像復号装置２の逆量子化手段３２、逆直交変換手段３３、逆再標本化手段３４等についても同様である。

また、前記実施形態では、図１に示した映像符号化装置１の最適化手段２４は、ブロック分割手段１０、再標本化手段１２（これに対応する逆再標本化手段１８）、直交変換手段１３（これに対応する逆直交変換手段１７）、量子化手段１４（これに対応する逆量子化手段１６）、エントロピー符号化手段１５、ループフィルタ２０及び予測手段２２にて用いるパラメータを様々に変化させて試行し、最適なパラメータを特定するようにした。これに対し、最適化手段２４は、これらの構成部のうちの１以上の構成部にて用いるパラメータを様々に変化させて試行するようにしてもよい。試行の対象でない構成部は、予め設定されたパラメータに従い、処理を行う。

尚、本発明の実施形態による映像符号化装置１及び映像復号装置２のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置１及び映像復号装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像符号化装置１に備えたブロック分割手段１０、差分手段１１、再標本化手段１２、直交変換手段１３、量子化手段１４、エントロピー符号化手段１５、逆量子化手段１６、逆直交変換手段１７、逆再標本化手段１８、加算手段１９、ループフィルタ２０、メモリ２１、予測手段２２及び最適化手段２３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像復号装置２に備えたエントロピー復号手段３９、逆量子化手段３２、逆直交変換手段３３、逆再標本化手段３４、加算手段３５、ループフィルタ３６、メモリ３７及び予測手段３８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，１００ 映像符号化装置
２，２００ 映像復号装置
１０ ブロック分割手段
１１ 差分手段
１２ 再標本化手段
１３ 直交変換手段
１４ 量子化手段
１５ エントロピー符号化手段
１６，３２ 逆量子化手段
１７，３３ 逆直交変換手段
１８，３４ 逆再標本化手段
１９，３５ 加算手段
２０，３６ ループフィルタ
２１，３７ メモリ
２２，３８ 予測手段
２３，２４ 最適化手段
３１，３９ エントロピー復号手段

Claims (6)

1. 映像信号のフレームをブロックに分割し、前記ブロックの各標本点の画素値、または前記画素値と予測画像の画素値との間の差である残差値に対し、直交変換及び量子化を施し、エントロピー符号化した符号化ビット列を出力する映像符号化装置において、
   前記ブロックを単位として、前記標本点の数、配置、及び前記画素値または前記残差値のうちの少なくとも１つを変更することで、前記標本点を再標本化する再標本化手段を備え、
   前記再標本化手段により再標本化された前記画素値または前記残差値に対し、前記直交変換及び前記量子化を施す、ことを特徴とする映像符号化装置。
2. 請求項１に記載の映像符号化装置において、
   前記再標本化手段にて用いるパラメータ、並びに前記ブロックを分割する処理、前記直交変換の処理及び前記量子化の処理にて用いるそれぞれのパラメータを含む複数のパラメータを変化させ、符号化効率を表す評価値をそれぞれ求め、前記評価値が所定範囲の値のときの前記複数のパラメータを、最適な複数のパラメータとして特定する最適化手段と、
   前記再標本化手段により再標本化され、前記直交変換及び前記量子化が施された量子化インデックス列、及び、前記最適化手段により特定された前記複数のパラメータをエントロピー符号化し、前記符号化ビット列を生成するエントロピー符号化手段と、を備え、
   前記再標本化手段は、
   前記最適化手段により特定されたパラメータに対応した再標本化規則に従い、前記標本点を再標本化する、ことを特徴とする映像符号化装置。
3. 請求項２に記載の映像符号化装置において、
   前記再標本化手段が入力する標本点を入力標本点とし、前記再標本化手段により再標本化された標本点を出力標本点とした場合に、
   前記再標本化規則は、前記ブロックを単位として、前記入力標本点の数を削減するように、または前記入力標本点の粗密を変化させるように、前記出力標本点の配置を設定し、前記出力標本点を基点とした所定範囲に存在する所定数の前記入力標本点の前記画素値または前記残差値に基づいて、前記出力標本点の前記画素値または前記残差値を算出する規則である、ことを特徴とする映像符号化装置。
4. 請求項１の映像符号化装置により出力された符号化ビット列を入力し、前記符号化ビット列をエントロピー復号し、逆量子化及び逆直交変換して元の映像信号のフレームを復元する映像復号装置において、
   前記映像信号のフレームが分割されたブロックを単位として、前記映像符号化装置が標本点を再標本化する処理とは逆の処理にて、前記標本点の数、配置、及び前記逆直交変換及び前記逆直交変換された復号画素値または復号残差値のうちの少なくとも１つを変更することで、前記標本点を逆再標本化する逆再標本化手段を備え、
   前記逆再標本化手段により逆再標本化された前記復号画素値または前記復号残差値に基づいて、前記元の映像信号のフレームを復元する、ことを特徴とする映像復号装置。
5. 請求項２の映像符号化装置により出力された符号化ビット列を入力し、前記符号化ビット列をエントロピー復号し、逆量子化及び逆直交変換して元の映像信号のフレームを復元する映像復号装置において、
   前記符号化ビット列をエントロピー復号し、量子化インデックス列及び複数のパラメータを生成するエントロピー復号手段と、
   前記映像信号のフレームが分割されたブロックを単位として、前記映像符号化装置が標本点を再標本化する処理とは逆の処理にて、前記エントロピー復号手段により生成されたパラメータに対応した逆再標本化規則に従い、前記標本点の数、配置、及び前記量子化インデックス列が逆直交変換及び前記逆直交変換された復号画素値または復号残差値のうちの少なくとも１つを変更することで、前記標本点を逆再標本化する逆再標本化手段と、を備え、
   前記逆再標本化手段により逆再標本化された前記復号画素値または前記復号残差値に基づいて、前記元の映像信号のフレームを復元する、ことを特徴とする映像復号装置。
6. 請求項５に記載の映像復号装置において、
   前記逆再標本化手段が入力する標本点を入力標本点とし、前記逆再標本化手段により逆再標本化された標本点を出力標本点とした場合に、
   前記逆再標本化規則は、前記ブロックを単位として、前記標本点の数を増加させるように、または前記入力標本点の粗密を変化させるように、前記出力標本点の配置を設定し、前記出力標本点を基点とした所定範囲に存在する所定数の前記入力標本点の前記復号画素値または前記復号残差値に基づいて、前記出力標本点の前記復号画素値または前記復号残差値を算出する規則である、ことを特徴とする映像復号装置。

Images