JP2019208090A - 映像符号化装置、映像復号装置及びプログラム - Google Patents

Abstract

【課題】処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善する。【解決手段】映像符号化装置１の予測部１６は、今回の入力画像のピクチャの処理において、前回のピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像ＤについてＲＤコストを算出し、ＲＤコストが最小の画像を選択する。画面間予測部２７は、ＲＤコストが最小の画像を参照ピクチャとして画面間予測を行い、今回の入力画像のピクチャについての予測画像Ｙを生成する。そして、今回の入力画像及び予測画像Ｙに基づいて、直交変換等が行われて符号化データが生成され、逆直交変換等が行われて今回のピクチャの復号画像Ｆが生成される。また、超解像処理部２３は、復号画像Ｆから今回のピクチャの超解像画像Ｃを生成し、ぼやけ処理部２４は、復号画像Ｆから今回のピクチャのぼやけ画像Ｄを生成する。【選択図】図２

Description

本発明は、映像信号を符号化する符号化装置、符号化データを復号する復号装置及びプログラムに関する。

従来、解像度の高い４Ｋまたは８Ｋ映像を対象とした動画圧縮方式の標準規格として、H.265/HEVC（High Efficiency Video Coding）が知られている（例えば非特許文献１を参照）。このH.265/HEVCの規格は、既に符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する、動き補償及び直交変換の技術を基本としている。

しかしながら、H.265/HEVCの符号化処理により符号化されたフレームは、復号処理が行われると、空間高周波成分が失われてしまう。このため、復号画像に超解像処理を施す技術が採用されている（例えば特許文献１を参照）。

具体的には、特許文献１の技術は、復号画像を雑音成分と信号成分とに分離し、信号成分及び雑音成分のそれぞれに超解像処理を施し、これらの超解像画像を加算して縮小画像 の超解像画像を生成するものである。これにより、符号化データを復号した際に、良好な画質の画像を得ることができる。

特許第５９６５７６０号公報

大久保榮、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン

前述のH.265/HEVCの規格において、符号化効率を向上させるためには、画面間予測（フレーム間予測）が行われる。符号化装置は、画面間予測処理において、処理対象のピクチャと参照ピクチャとの間で動きベクトルの検出及び予測を行うことで、動き補償を行い、動きベクトル情報及び残差信号のみを復号装置へ出力する。これにより、符号量を削減することができる。

しかしながら、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合の画面間予測処理においては、オブジェクトのぼやけ等が生じる。被写界深度内外に移動するオブジェクトは、例えば、被写界深度外のぼやけた状態から、被写界深度内のピントが合う状態へ変化し、または、その逆の状態に変化する。

このため、被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が低くなり、残差信号のデータ量が多くなり、結果として符号化効率が低下するという問題があった。

このような問題を解決するために、H.265/HEVCの規格に、前述の特許文献１の技術を適用することが想定される。前述の特許文献１の技術は、符号化処理の前段で画像縮小を行い、後段で超解像処理を行うものである。

しかしながら、特許文献１の超解像処理は、H.265/HEVCによる符号化処理及び復号処理からなる符号化ループの外部で行われるものであり、符号化ループの内部で行われるものではない。このため、H.265/HEVCの規格に前述の特許文献１の技術をそのまま適用したとしても、H.265/HEVCによる符号化ループの内部は変わらないから、符号化効率は必ずしも効果的に改善できるとは限らない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善可能な映像符号化装置及び映像復号装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像符号化装置は、映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、前記入力画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記入力画像がＰピクチャまたはＢピクチャである場合、前記メモリに格納された前記復号画像及び前記ぼやけ画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、前記メモリには、前記フィルタ及び前記ぼやけ処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像及び前記ぼやけ画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記ぼやけ画像を読み出し、当該復号画像及び当該ぼやけ画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記ぼやけ画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像及び前記ぼやけ画像のうち、前記ＲＤコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする。

また、請求項２の映像符号化装置は、映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部と、前記入力画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記入力画像がＰピクチャまたはＢピクチャである場合、前記メモリに格納された前記復号画像及び前記超解像画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、前記メモリには、前記フィルタ及び前記超解像処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像及び前記超解像画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記超解像画像を読み出し、当該復号画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像及び前記超解像画像のうち、前記ＲＤコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする。

また、請求項３の映像符号化装置は、請求項１に記載の映像符号化装置において、さらに、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部を備え、前記メモリには、前記フィルタ、前記ぼやけ処理部及び前記超解像処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像、前記ぼやけ画像及び前記超解像画像が格納され、前記参照ピクチャ選択部が、前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像を読み出し、当該復号画像、当該ぼやけ画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像、前記ぼやけ画像及び前記超解像画像のうち、前記ＲＤコストが最小の画像を前記参照ピクチャとして選択する、ことを特徴とする。

また、請求項４の映像符号化装置は、請求項１または３に記載の映像符号化装置において、前記ぼやけ処理部が、前記復号画像をウェーブレットパケット分解し、周波数帯域毎の画像を生成し、当該周波数帯域毎の画像に対しゲイン調整を行い、ゲイン調整後の前記周波数帯域毎の画像に対しウェーブレットパケット再構成を行い、前記ぼやけ画像を生成する、ことを特徴とする。

また、請求項５の映像符号化装置は、請求項２または３に記載の映像符号化装置において、前記超解像処理部が、前記復号画像に対し複数階層の周波数分解を行って周波数分解画像を生成し、当該周波数分解画像のうち、第１の分解階数を有する第１分解画像及び第２の分解階数を有する第２分解画像を決定し、前記第１分解画像の低周波成分画像と前記第２分解画像の低周波成分画像との間で位置合わせを行ってその位置関係を示す位置合わせ情報を生成し、当該位置合わせ情報を用いて、前記第１分解画像の高周波成分画像と前記第２分解画像の高周波成分画像との間で割付けを行って超解像高周波成分画像を生成し、前記第１分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って前記超解像画像を生成する、ことを特徴とする。

さらに、請求項６の映像復号装置は、符号化データを入力し、当該符号化データをエントロピー復号し、逆量子化及び逆直交変換して復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、元の映像信号の画像を復元すると共に、前記加算後画像に基づいて前記予測画像を生成する映像復号装置において、前記符号化データには、当該符号化データを出力する映像符号化装置によりＩピクチャ、Ｐピクチャ及びＢピクチャのそれぞれについての予測画像の生成のために用いた参照ピクチャが復号画像である場合、復号選択情報のパラメータが含まれており、前記参照ピクチャがぼやけ画像である場合、ぼやけ選択情報のパラメータが含まれている場合に、前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、前記符号化データに含まれるパラメータが前記復号選択情報を示している場合、前記復号画像をメモリに格納するフィルタと、前記符号化データに含まれるパラメータが前記ぼやけ選択情報を示している場合、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、前記復号画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、前記復号画像がＰピクチャまたはＢピクチャである場合、前記メモリから前記復号画像または前記ぼやけ画像を読み出し、前記復号画像または前記ぼやけ画像を前記参照ピクチャとして画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備えたことを特徴とする。

さらに、請求項７のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の映像符号化装置として機能させることを特徴とする。

さらに、請求項８のプログラムは、コンピュータを、請求項６に記載の映像復号装置として機能させることを特徴とする。

以上のように、本発明によれば、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、符号化効率を改善することができる。

本発明の実施形態による映像符号化装置の構成例を示すブロック図である。 映像符号化装置に備えた予測部の構成例を示すブロック図である。 入力画像を構成するＧＯＰの処理例を示すフローチャートである。 Ｉピクチャの処理例（ステップＳ３０１）を示すフローチャートである。 Ｐピクチャの処理例（ステップＳ３０２）を示すフローチャートである。 Ｉ，Ｐ，Ｂピクチャの処理の流れを説明する図である。 超解像処理部の処理例を示すフローチャートである。 位置合わせ処理（ステップＳ７０４）を説明する図である。 超解像高周波成分画像生成処理（ステップＳ７０５）を説明する図である。 ぼやけ処理部の処理例を示すフローチャートである。 ３階ウェーブレットパケット分解の処理（ステップＳ１００２）を説明する図である。 本発明の実施形態による映像復号装置の構成例を示すブロック図である。 映像復号装置に備えた予測部の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、H.265/HEVCの標準規格を改良した新たな符号化技術を提供するものである。

以下に説明する本発明の実施形態は、処理対象のピクチャと参照ピクチャとの間で動きベクトルの検出及び予測を行い、動き補償を行う画面間予測処理において、復号画像、当該復号画像の超解像画像及びぼやけ画像のうち、ＲＤ（Rate Distortion）コストが最小の画像を参照ピクチャとして選択し、符号化処理を行う。

尚、本発明の実施形態は、復号画像及び超解像画像のうち、ＲＤコストが小さい方の画像を参照ピクチャとするようにしてもよく、復号画像及びぼやけ画像のうち、ＲＤコストが小さい方の画像を参照ピクチャとするようにしてもよい。

〔映像符号化装置〕
まず、本発明の実施形態による映像符号化装置について説明する。図１は、本発明の実施形態による映像符号化装置の構成例を示すブロック図である。この映像符号化装置１は、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５、予測部１６及びエントロピー符号化部１７を備えている。

減算部１０は、映像信号の入力画像のピクチャ（Ｉピクチャ、Ｐピクチャ及びＢピクチャ）を入力すると共に、予測部１６から当該ピクチャの予測画像Ｙを入力する。そして、減算部１０は、入力画像のピクチャから予測画像Ｙを減算し、減算結果の残差画像を生成し、残差画像を直交変換部１１に出力する。

直交変換部１１は、減算部１０から残差画像を入力し、残差画像に対し直交変換を行い、変換係数列を生成する。そして、直交変換部１１は、変換係数列を量子化部１２に出力する。

量子化部１２は、直交変換部１１から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部１２は、量子化インデックス列を逆量子化部１３及びエントロピー符号化部１７に出力する。

逆量子化部１３は、量子化部１２から量子化インデックス列を入力し、量子化部１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部１３は、変換係数列を逆直交変換部１４に出力する。

逆直交変換部１４は、逆量子化部１３から変換係数列を入力し、直交変換部１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部１４は、復号残差画像を加算部１５に出力する。

加算部１５は、逆直交変換部１４から復号残差画像を入力すると共に、予測部１６から予測画像Ｙを入力する。そして、加算部１５は、予測画像Ｙに復号残差画像を加算し、加算後の画像を復号画像Ｅとして生成し、復号画像Ｅを予測部１６に出力する。

予測部１６は、加算部１５から復号画像Ｅを入力し、所定の予測処理を行うことで予測画像Ｙを生成し、予測画像Ｙを減算部１０及び加算部１５に出力する。

また、予測部１６は、復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうち、ＲＤコストが最小の画像を選択する処理において、実際に選択した画像（参照ピクチャとして選択した画像）の種類を選択画像種類としたパラメータを設定する。そして、予測部１６は、選択画像種類を含むパラメータをエントロピー符号化部１７に出力する。

選択した画像が復号画像Ｆの場合、選択画像種類として、復号選択情報のパラメータが設定され、選択した画像が超解像画像Ｃの場合、選択画像種類として、超解像選択情報のパラメータが設定される。また、選択した画像がぼやけ画像Ｄの場合、選択画像種類として、ぼやけ選択情報のパラメータが設定される。予測部１６の処理の詳細については後述する。

エントロピー符号化部１７は、量子化部１２から量子化インデックス列を入力すると共に、予測部１６から選択画像種類を含むパラメータを入力し、さらに、直交変換部１１等からパラメータを入力する。そして、エントロピー符号化部１７は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化データを生成する。エントロピー符号化部１７は、符号化データを後述する映像復号装置２へ出力する。

（予測部１６）
次に、図１に示した予測部１６について詳細に説明する。図２は、映像符号化装置１に備えた予測部１６の構成例を示すブロック図である。この予測部１６は、ループ内フィルタ（In-Loopフィルタ）２０、画面内予測部２１、切替部２２、超解像処理部２３、ぼやけ処理部２４、メモリ２５、参照ピクチャ選択部２６、画面間予測部２７及びパラメータ処理部２８を備えている。

尚、図２の予測部１６には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

ループ内フィルタ２０は、加算部１５から復号画像Ｅを入力し、復号画像Ｅに対しフィルタ処理を行い、復号画像Ｆを生成する。ループ内フィルタ２０は、復号画像ＦがＩピクチャである場合、画面内予測処理のための復号画像Ｆを画面内予測部２１に出力する。

また、ループ内フィルタ２０は、復号画像ＦがＩピクチャ、ＰピクチャまたはＢピクチャである場合、復号画像Ｆをメモリ２５に格納すると共に、超解像処理部２３及びぼやけ処理部２４に出力する。

画面内予測部２１は、ループ内フィルタ２０からＩピクチャの復号画像Ｆを入力し、復号画像Ｆに対し画面内予測を行い、Ｉピクチャの予測画像Ｙを生成する。そして、画面内予測部２１は、予測画像Ｙを切替部２２に出力する。

切替部２２は、画面内予測部２１から予測画像Ｙを入力すると共に、画面間予測部２７から予測画像Ｙを入力し、画面内予測部２１からの予測画像Ｙ及び画面間予測部２７からの予測画像Ｙのいずれかを選択して切り替える。切替部２２は、切り替え後の予測画像Ｙを減算部１０及び加算部１５に出力する。

映像符号化装置１の入力画像がＩピクチャの場合、画面内予測部２１からのＩピクチャの予測画像Ｙが切替部２２から出力され、入力画像がＰ，Ｂピクチャの場合、画面間予測部２７からのＰ，Ｂピクチャの予測画像Ｙが切替部２２から出力される。

超解像処理部２３は、ループ内フィルタ２０から復号画像Ｅを入力し、復号画像Ｅに対し超解像処理を行い、超解像画像Ｃを生成する。そして、超解像処理部２３は、超解像画像Ｃをメモリ２５に格納する。超解像処理部２３の処理の詳細については後述する。

ぼやけ処理部２４は、ループ内フィルタ２０から復号画像Ｅを入力し、復号画像Ｅに対しぼやけ処理を行い、ぼやけ画像Ｄを生成する。そして、ぼやけ処理部２４は、ぼやけ画像Ｄをメモリ２５に格納する。ぼやけ処理部２４の処理の詳細については後述する。

メモリ２５には、Ｉピクチャ、Ｐピクチャ及びＢピクチャのそれぞれについて、復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄが格納される。メモリ２５に格納されたＩピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＰピクチャの予測画像Ｙを生成するために用いられる。

また、Ｐピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＢピクチャの予測画像Ｙを生成するために用いられ、Ｂピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＢピクチャの予測画像Ｙを生成するために用いられる。

予測部１６が入力画像のピクチャに対する予測画像Ｙを生成する際に、参照ピクチャ選択部２６は、メモリ２５から、前回の（メモリ２５に最新に格納された）ピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄを読み出す。

参照ピクチャ選択部２６は、前回のピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれについて、画面間予測部２７、切替部２２、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５及びループ内フィルタ２０による今回のピクチャの画面間予測符号化及び復号を行い、復号画像ＦＦ，ＦＣ，ＦＤを生成する。この場合、画面間予測部２７は、メモリ２５から読み出した復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれを参照ピクチャとして、画面間予測を行い、予測画像ＹＦ，ＹＣ，ＹＤを生成する。

復号画像ＦＦ，ＦＣ，ＦＤ及び予測画像ＹＦ，ＹＣ，ＹＤは、メモリ２５から読み出した復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄにそれぞれ対応している。

参照ピクチャ選択部２６は、今回のピクチャと、前回のピクチャの復号画像Ｆを用いた画面間予測符号化及び復号により得られた復号画像ＦＦとの間の差分に基づいて、復号画像ＦのＲＤコストを算出する。また、参照ピクチャ選択部２６は、今回のピクチャと、前回のピクチャの超解像画像Ｃを用いた画面間予測符号化及び復号により得られた復号画像ＦＣとの間の差分に基づいて、超解像画像ＣのＲＤコストを算出する。さらに、参照ピクチャ選択部２６は、今回のピクチャと、前回のピクチャのぼやけ画像Ｄを用いた画面間予測符号化及び復号により得られた復号画像ＦＤとの間の差分に基づいて、ぼやけ画像ＤのＲＤコストを算出する。

参照ピクチャ選択部２６は、復号画像Ｆ、超解像画像Ｃ及びぼやけ画像ＤのうちＲＤコストが最小の画像を、後段の画面間予測部２７にて用いる参照ピクチャとして選択する。そして、参照ピクチャ選択部２６は、選択した参照ピクチャ（復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうちのいずれか）を画面間予測部２７に出力する。

画面間予測部２７は、参照ピクチャ選択部２６から参照ピクチャ（復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうちのいずれか）を入力し、参照ピクチャを用いて画面間予測を行い、今回のピクチャの予測画像Ｙを生成する。そして、画面間予測部２７は、予測画像Ｙを切替部２２に出力する。

パラメータ処理部２８は、参照ピクチャ選択部２６により選択された画像の種類（復号画像Ｆの種類（復号選択情報）、超解像画像Ｃの種類（超解像選択情報）またはぼやけ画像Ｄの種類（ぼやけ選択情報））を選択画像種類として設定する。そして、パラメータ処理部２８は、選択画像種類を含むパラメータをエントロピー符号化部１７に出力する。

（映像符号化装置１の処理）
次に、図１に示した映像符号化装置１の処理について説明する。図３は、入力画像を構成するＧＯＰ（Group Of Picture）の処理例を示すフローチャートである。

映像符号化装置１は、入力画像のＧＯＰを単位として、例えばＩピクチャの処理（ステップＳ３０１）、Ｐピクチャの処理（ステップＳ３０２）、Ｂピクチャの処理（ステップＳ３０３）、・・・、Ｂピクチャの処理（ステップＳ３０ｎ）を順番に行う。ｎは４以上の整数である。映像符号化装置１は、ステップＳ３０３からステップＳ３０ｎまでの各ステップにおいて、Ｂピクチャの処理を行う。

（Ｉピクチャの処理）
図４は、Ｉピクチャの処理例（ステップＳ３０１）を示すフローチャートであり、図６は、Ｉ，Ｐ，Ｂピクチャの処理の流れを説明する図である。

図４及び図６を参照して、映像符号化装置１は、Ｉピクチャを入力すると、Ｉピクチャの画面内予測符号化及び復号を行い、符号化データを出力する（ステップＳ４０１）。画面内予測符号化及び復号は、画面内予測部２１、切替部２２、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５及びループ内フィルタ２０により行われ、符号化データは、エントロピー符号化部１７により生成される。また、Ｉピクチャの復号画像Ｅは、図６に示すように、ステップＳ４０１にて、加算部１５により生成される。

映像符号化装置１は、加算部１５にて生成した復号画像Ｅに対し、ループ内フィルタ２０にてフィルタ処理を行い、Ｉピクチャの復号画像Ｆを生成する（ステップＳ４０２）。そして、映像符号化装置１は、復号画像Ｆに対し、超解像処理部２３にて超解像処理を行い、Ｉピクチャの超解像画像Ｃを生成する（ステップＳ４０３）。また、映像符号化装置１は、復号画像Ｆに対し、ぼやけ処理部２４にてぼやけ処理を行い、Ｉピクチャのぼやけ画像Ｄを生成する（ステップＳ４０４）。

映像符号化装置１は、Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄをメモリ２５に格納する（ステップＳ４０５）。図６に示すように、Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＰピクチャの処理において、Ｐピクチャの予測画像Ｙを生成するために用いられる。

（Ｐピクチャの処理）
図５は、Ｐピクチャの処理例（ステップＳ３０２）を示すフローチャートである。図５及び図６を参照して、映像符号化装置１は、Ｐピクチャを入力すると、メモリ２５から、前回のＩピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄを読み出す（ステップＳ５０１）。

映像符号化装置１は、Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれについて、これを参照ピクチャとしてＰピクチャの画面間予測符号化及び復号を行い、Ｐピクチャの復号画像ＦＦ，ＦＣ，ＦＤを生成する（ステップＳ５０２）。

画面間符号化及び復号は、画面間予測部２７、切替部２２、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５及びループ内フィルタ２０により行わる。復号画像ＦＦ，ＦＣ，ＦＤは、ループ内フィルタ２０により生成される。

Ｐピクチャの復号画像ＦＦは、Ｉピクチャの復号画像Ｆを参照ピクチャとして用いた場合の復号画像であり、Ｐピクチャの復号画像ＦＣは、Ｉピクチャの超解像画像Ｃを参照ピクチャとして用いた場合の復号画像である。また、Ｐピクチャの復号画像ＦＤは、Ｉピクチャのぼやけ画像Ｄを参照ピクチャとして用いた場合の復号画像である。

映像符号化装置１は、Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれについて、入力したＰピクチャと当該Ｐピクチャの復号画像ＦＦ，ＦＣ，ＦＤとの間の差分に基づいて、ＲＤコストを算出する（ステップＳ５０３）。

これにより、復号画像Ｆを用いた場合のＲＤコスト、超解像画像Ｃを用いた場合のＲＤコスト、及びぼやけ画像Ｄを用いた場合のＲＤコストが得られる。

映像符号化装置１は、復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうち、ＲＤコストが最小の画像を選択する（ステップＳ５０４）。ＲＤコストの算出及びＲＤコストの最小となる画像の選択は、参照ピクチャ選択部２６により行われる。

映像符号化装置１は、ステップＳ５０４にて選択した画像（Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうちのいずれか）を参照ピクチャとし、画面間予測符号化及び復号を行い、符号化データを出力する（ステップＳ５０５）。

画面間予測符号化及び復号は、画面間予測部２７、切替部２２、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５及びループ内フィルタ２０により行われ、符号化データは、エントロピー符号化部１７により生成される。この場合、画面間予測部２７により、ステップＳ５０４にて選択した画像（Ｉピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうちのいずれか）が参照ピクチャとして用いられ、Ｐピクチャの予測画像Ｙが生成される。また、Ｐピクチャの復号画像Ｅは、図６に示すように、ステップＳ５０５にて、加算部１５により生成される。

映像符号化装置１は、加算部１５にて生成した復号画像Ｅに対し、ループ内フィルタ２０にてフィルタ処理を行い、Ｐピクチャの復号画像Ｆを生成する（ステップＳ５０６）。そして、映像符号化装置１は、復号画像Ｆに対し、超解像処理部２３にて超解像処理を行い、Ｐピクチャの超解像画像Ｃを生成する（ステップＳ５０７）。また、映像符号化装置１は、復号画像Ｆに対し、ぼやけ処理部２４にてぼやけ処理を行い、Ｐピクチャのぼやけ画像Ｄを生成する（ステップＳ５０８）。

映像符号化装置１は、Ｐピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄをメモリ２５に格納する（ステップＳ５０９）。図６に示すように、Ｐピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＢピクチャの処理において、Ｂピクチャの予測画像Ｙを生成するために用いられる。

（Ｂピクチャの処理）
図３に示したＢピクチャの処理例（ステップＳ３０３〜Ｓ３０ｎ）は、図５に示した処理例と同様である。映像符号化装置１は、Ｂピクチャを入力すると、ステップＳ５０１，Ｓ５０２と同様に、メモリ２５から、前回のＰピクチャ（またはＢピクチャ）の復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄを読み出し、Ｂピクチャの復号画像ＦＦ，ＦＣ，ＦＤを生成する。

映像符号化装置１は、ステップＳ５０３，Ｓ５０４と同様に、前回のＰピクチャ（またはＢピクチャ）の復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれについて、ＲＤコストを算出し、ＲＤコストが最小の画像を選択する。

映像符号化装置１は、ステップＳ５０５と同様に、選択した画像を参照ピクチャとし、画面間予測符号化及び復号を行い、符号化データを出力すると共に、ステップＳ５０６と同様に、Ｂピクチャの復号画像Ｆを生成する。

映像符号化装置１は、ステップＳ５０７，Ｓ５０８と同様に、復号画像Ｆに対し超解像処理を行い、Ｐピクチャの超解像画像Ｃを生成すると共に、復号画像Ｆに対しぼやけ処理を行い、Ｐピクチャのぼやけ画像Ｄを生成する。

映像符号化装置１は、ステップＳ５０９と同様に、Ｂピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄをメモリ２５に格納する。図６に示すように、今回のＢピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄは、次のＢピクチャの処理において、予測画像Ｙを生成するために用いられる。

以上のように、本発明の実施形態の映像符号化装置１によれば、予測部１６の参照ピクチャ選択部２６は、今回の入力画像のピクチャの処理において、今回の入力画像のピクチャと、前回のピクチャの復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのそれぞれを参照ピクチャとして画面間予測符号化及び復号により得られた復号画像ＦＦ，ＦＣ，ＦＤとに基づいて、それぞれのＲＤコストを算出する。そして、参照ピクチャ選択部２６は、復号画像Ｆ、超解像画像Ｃ及びぼやけ画像ＤのうちＲＤコストが最小の画像を、後段の画面間予測部２７にて用いる参照ピクチャとして選択する。

画面間予測部２７は、ＲＤコストが最小の画像（復号画像Ｆ、超解像画像Ｃ及びぼやけ画像Ｄのうちのいずれか）を参照ピクチャとして画面間予測を行い、今回の入力画像のピクチャについての予測画像Ｙを生成する。

そして、今回の入力画像及び予測画像Ｙに基づいて、直交変換等が行われて符号化データが生成され、逆直交変換等が行われて今回のピクチャの復号画像Ｆが生成される。

超解像処理部２３は、復号画像Ｆから今回のピクチャの超解像画像Ｃを生成し、ぼやけ処理部２４は、復号画像Ｆから今回のピクチャのぼやけ画像Ｄを生成する。

これにより、ＲＤコストが最小の復号画像Ｆ、超解像画像Ｃまたはぼやけ画像Ｄを参照ピクチャとして選択するようにしたから、入力画像と予測画像Ｙとの間の差である残差画像のデータ量は少なくなる。

したがって、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が高くなり、残差画像のデータ量が少なくなり、結果として符号化効率を改善することができる。

（超解像処理部２３の処理）
次に、図２に示した超解像処理部２３の処理について説明する。超解像処理部２３は、画面内予測符号化及び復号、または画面間予測符号化及び復号の処理により失われた空間高周波成分を補完し、空間解像度はそのままとした超解像画像Ｃを生成する。

図７は、超解像処理部２３の処理例を示すフローチャートである。超解像処理部２３は、ループ内フィルタ２０から復号画像Ｆを入力し（ステップＳ７０１）、復号画像Ｆに対して複数階層の周波数分解（多重解像度分解）を行い、周波数分解画像を生成する（ステップＳ７０２）。

周波数分解画像は、復号画像Ｆの低周波成分画像ＬＬⁿと、復号画像Ｆの高周波成分画像である水平高周波成分画像ＬＨⁿ、垂直高周波成分画像ＨＬⁿ及び対角高周波成分画像ＨＨⁿとからなる。ｎは分解階数を示し、例えば、復号画像Ｆを３階周波数分解した場合、ｎ＝１，２，３の周波数分解画像が生成される。例えば、周波数分解の処理として、ウェーブレットパケット分解が行なわれる。

超解像処理部２３は、復号画像Ｆの高周波成分画像に基づいて分解階数を決定し、ステップＳ７０２にて生成した周波数分解画像のうち、位置合わせ及び超解像高周波成分画像の生成のために用いる第１分解画像及び第２分解画像を決定する（ステップＳ７０３）。

具体的には、超解像処理部２３は、復号画像Ｆの高周波成分画像ＬＨⁿ，ＨＬⁿ，ＨＨⁿのパワー値としてＲＭＳ（Root Mean Square）値をそれぞれ算出する。そして、超解像処理部２３は、いずれのＲＭＳ値が閾値未満となる分解階数αを第１の分解階数に決定すると共に、いずれかのＲＭＳ値が閾値以上となる分解階数βを第２の分解階数に決定する。

そして、超解像処理部２３は、第１の分解階数αを有する第１分解画像、及び第２の分解階数βを有する第２分解画像を決定する。第１分解画像の低周波成分画像ＬＬ^α及び第２分解画像の低周波成分画像ＬＬ^βは、後段のステップＳ７０４にて位置合わせの処理に用いられる。また、第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^α及び第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βは、後段のステップＳ７０５にて超解像高周波成分画像の生成処理に用いられる。

超解像処理部２３は、ステップＳ７０３にて決定した第１分解画像の低周波成分画像ＬＬ^αと第２分解画像の低周波成分画像ＬＬ^βとの間で位置合わせを行い、その位置関係を示す位置合わせ情報を生成する（ステップＳ７０４）。

図８は、位置合わせ処理（ステップＳ７０４）を説明する図である。第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αのＲＭＳ値のいずれもが閾値未満であり、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βのＲＭＳ値のいずれかが閾値以上であるとする。

超解像処理部２３は、例えば低周波成分画像ＬＬ^αと低周波成分画像ＬＬ^βとの間でブロックマッチングを行い、両画像間で類似度（相関性）の高いブロックの位置関係を特定し、その位置関係を示す位置合わせ情報を生成する。

ブロックマッチングは、絶対値誤差和（ＳＡＤ：Sum of Absolute Difference）、二乗誤差和（ＳＳＤ：Sum of Squared Difference）等の評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば パラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。尚、ＳＡＤまたはＳＳＤの評価関数の値が閥値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

図７に戻って、超解像処理部２３は、ステップＳ７０４にて生成した位置合わせ情報を用いて、ステップＳ７０３にて決定した第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αと、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βとの間で割付けを行う。そして、超解像処理部２３は、超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’を生成する（ステップＳ７０５）。

図９は、超解像高周波成分画像生成処理（ステップＳ７０５）を説明する図である。超解像処理部２３は、位置合わせ情報に従って、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βを、第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αの小数画素位置（１画素未満の画素位置）に割付ける。

ここで、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βを割付ける際には、第２分解画像の低周波成分画像ＬＬ^βと同じ位相位置の位置合わせ情報に従うこととする。これは、第２分解画像の低周波成分画像ＬＬ^β内のあるブロックＰが第１分解画像の低周波成分画像ＬＬ^α内のブロックＱに対応（類似）している場合、第２分解画像の各高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^β内におけるブロックＰと同じ位相位置のブロックが、第１分解画像の各高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^α内におけるブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いからである。

尚、超解像処理部２３は、ステップＳ７０５において、割付けた値を用いて、再構成（例えばＭＡＰ再構成）するようにしてもよい。ＭＡＰ再構成の詳細については、例えば、以下の文献を参照されたい。
E. Levitan and G. Herman，“A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”， IEEE Transactions on Medical Imaging，vol.6，no.3，pp.185-192，Sep.1987.

また、その他の方法として、ＭＬ法、割付けた画素の距離に応じた重み付けにより、再構成するようにしてもよい。

図７に戻って、超解像処理部２３は、ステップＳ７０３にて決定した第１分解画像の低周波成分画像ＬＬ^αを低周波成分とし、ステップＳ７０５にて生成した超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’を高周波成分とする。そして、超解像処理部２３は、周波数再構成処理を行って超解像画像Ｃを生成し、超解像画像Ｃをメモリ２５に格納する（ステップＳ７０６，Ｓ７０７）。

尚、超解像処理部２３は、ステップＳ７０２の周波数分解の処理としてウェーブレットパケット分解を行った場合、ステップＳ７０６の周波数再構成の処理としてウェーブレットパケット再構成を行う。

以上のように、超解像処理部２３は、復号画像Ｆに対して周波数分解を行い、周波数分解した第１分解画像における低周波成分画像ＬＬ^αと第２分解画像における低周波成分画像ＬＬ^βとの間で位置合わせを行う。

そして、超解像処理部２３は、第１分解画像における高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αと第２分解画像における高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βとの間で割付けを行う。超解像処理部２３は、超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’を生成し、第１画像の低周波成分画像ＬＬ^αと超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’とを用いて、超解像画像Ｃを生成する。

これにより、低い空間周波数から高い空間周波数に渡り、高画質の超解像画像Ｃが生成されるから、画面内予測符号化及び復号、または画面間予測符号化及び復号の処理により失われた空間高周波成分を補完することができる。したがって、復号画像Ｆの高周波成分を高精度で補完した超解像画像Ｃを得ることができる。

尚、超解像処理部２３は、図７に示した処理を行うようにしたが、線形及び非線形フィルタを用いる等、既知の処理を行うようにしてもよい。

（ぼやけ処理部２４の処理）
次に、図２に示したぼやけ処理部２４の処理について説明する。図１０は、ぼやけ処理部２４の処理例を示すフローチャートである。ぼやけ処理部２４は、ループ内フィルタ２０から復号画像Ｆを入力し（ステップＳ１００１）、復号画像Ｆを３階ウェーブレットパケット分解し（ステップＳ１００２）、周波数帯域毎の周波数分解画像を生成する。

ぼやけ処理部２４は、周波数分解画像に対しゲイン調整を行い（ステップＳ１００３）、ゲイン調整後の周波数分解画像に対しウェーブレットパケット再構成を行い、ぼやけ画像Ｄを生成する（ステップＳ１００４）。そして、ぼやけ処理部２４は、ぼやけ画像Ｄをメモリ２５に格納する（ステップＳ１００５）。

図１１は、３階ウェーブレットパケット分解の処理（ステップＳ１００２）を説明する図である。周波数分解画像ＬＬ^P，ＬＨ^P，ＨＬ^P，ＨＨ^Pは、それぞれ低周波成分画像、水平高周波成分画像、垂直高周波成分画像及び対角高周波成分画像である。Ｐは、周波数帯域の番号（帯域番号）を示す。

復号画像Ｆが１階ウェーブレットパケット分解されることで、４個の周波数分解画像ＬＬ¹，ＬＨ¹，ＨＬ¹，ＨＨ¹が生成される。また、復号画像Ｆが２階ウェーブレットパケット分解されることで、１６個の周波数分解画像ＬＬ^1〜4，ＬＨ^1〜4，ＨＬ^1〜4，ＨＨ^1〜4が生成される。さらに、復号画像Ｆが３階ウェーブレットパケット分解されることで、図１１に示すように、６４個の周波数分解画像ＬＬ^1〜16，ＬＨ^1〜16，ＨＬ^1〜16，ＨＨ^1〜16が生成される。

ここで、図１１に示したように、復号画像Ｆが、以下の周波数帯域に３階ウェーブレットパケット分解された場合を想定する。
｛ＬＬ^P，ＬＨ^P，ＨＬ^P，ＨＨ^P｜ｐ∈１〜１６｝

ぼやけ処理部２４は、ステップＳ１００３のゲイン調整処理において、Ｐ＝１３〜１６の周波数分解画像の成分を０とすることで、水平方向に１／２、垂直方向に１／２の周波数帯域制限がなされたぼやけ画像Ｄを生成することができる。

以上のように、ぼやけ処理部２４は、復号画像Ｆに対し、ウェーブレットパケット分解及びゲイン調整を行い、ウェーブレットパケット再構成を行うことで、ぼやけ画像Ｄを生成する。これにより、簡易な処理にてぼやけ画像Ｄを得ることができる。

尚、ぼやけ処理部２４は、図１０に示した処理を行うようにしたが、フィルタを用いる等、既知の処理を行うようにしてもよい。

〔映像復号装置〕
次に、本発明の実施形態による映像復号装置について説明する。図１２は、本発明の実施形態による映像復号装置の構成例を示すブロック図である。この映像復号装置２は、エントロピー復号部３０、逆量子化部３１、逆直交変換部３２、加算部３３及び予測部３４を備えている。

エントロピー復号部３０は、映像符号化装置１により出力された符号化データを入力し、図１に示したエントロピー符号化部１７の逆の処理を行うことで、符号化データに対しエントロピー復号を行い、量子化インデックス列及びパラメータを生成する。

エントロピー復号部３０は、量子化インデックス列を逆量子化部３１に出力し、選択画像種類を含むパラメータを予測部３４に出力すると共に、パラメータを逆量子化部３１等に出力する。

逆量子化部３１は、エントロピー復号部３０から量子化インデックス列を入力し、図１に示した量子化部１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部３１は、変換係数列を逆直交変換部３２に出力する。

逆直交変換部３２は、逆量子化部３１から変換係数列を入力し、図１に示した直交変換部１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部３２は、復号残差画像を加算部３３に出力する。

加算部３３は、逆直交変換部３２から復号残差画像を入力すると共に、予測部３４から予測画像Ｙ’を入力する。そして、加算部３３は、予測画像Ｙ’に復号残差画像を加算し、加算後の画像を復号画像Ｅ’として生成し、復号画像Ｅ’を予測部３４に出力する。

予測部３４は、図１に示した予測部１６に対応する処理を行う。予測部３４は、エントロピー復号部３０から選択画像種類を含むパラメータを入力すると共に、加算部３３から復号画像Ｅ’を入力する。そして、予測部３４は、パラメータに基づいて所定の予測処理を行うことで予測画像Ｙ’を生成し、予測画像Ｙ’を加算部３３に出力し、元の映像信号の復号画像Ｏを出力する。これにより、元の映像信号の画像が復元される。

ここで、予測部３４は、画面間予測処理において、パラメータに含まれる選択画像種類が復号画像Ｆを示している場合、復号画像Ｆ’を用いて画面間予測を行う。一方、予測部３４は、画面間予測処理において、パラメータに含まれる選択画像種類が超解像画像Ｃを示している場合、復号画像Ｆ’に基づいて生成した超解像画像Ｃ’を用いて、画面間予測を行う。また、予測部３４は、画面間予測処理において、パラメータに含まれる選択画像種類がぼやけ画像Ｄを示している場合、復号画像Ｆ’に基づいて生成したぼやけ画像Ｄ’を用いて、画面間予測を行う。予測部３４の処理の詳細については後述する。

（予測部３４）
次に、図１２に示した予測部３４について詳細に説明する。図１３は、映像復号装置２に備えた予測部３４の構成例を示すブロック図である。この予測部３４は、ループ内フィルタ２０、画面内予測部２１、切替部２２、超解像処理部２３、ぼやけ処理部２４、メモリ２５、画面間予測部２７及びパラメータ処理部２９を備えている。

図２に示した予測部１６とこの予測部３４とを比較すると、両予測部１６，３４は、ループ内フィルタ２０、画面内予測部２１、切替部２２、超解像処理部２３、ぼやけ処理部２４、メモリ２５及び画面間予測部２７を備えている点で共通する。一方、予測部３４は、予測部１６の参照ピクチャ選択部２６を備えておらず、予測部１６のパラメータ処理部２８とは異なるパラメータ処理部２９を備えている点で相違する。

尚、図１３において、図２と同一部分には同一符号を付し、重複する説明は省略する。また、図１３の予測部３４には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

ループ内フィルタ２０は、加算部３３から復号画像Ｅ’を入力し、復号画像Ｅ’に対しフィルタ処理を行う。ループ内フィルタ２０は、復号画像Ｆ’がＩピクチャである場合、画面内予測処理のための復号画像Ｆ’を画面内予測部２１に出力する。

ループ内フィルタ２０は、パラメータ処理部２９から選択画像種類を入力し、選択画像種類が復号画像Ｆを示している場合、復号画像Ｆ’をメモリ２５に格納する。また、ループ内フィルタ２０は、選択画像種類が超解像画像Ｃを示している場合、復号画像Ｆ’を超解像処理部２３に出力し、選択画像種類がぼやけ画像Ｄを示している場合、復号画像Ｆ’をぼやけ処理部２４に出力する。

画面内予測部２１は、Ｉピクチャの復号画像Ｆ’を用いて画面内予測を行い、Ｉピクチャの予測画像Ｙ’を生成し、予測画像Ｙ’を切替部２２に出力する。

切替部２２は、画面内予測部２１からの予測画像Ｙ’及び画面間予測部２７からの予測画像Ｙ’のいずれかを選択して切り替える。切替部２２は、切り替え後の予測画像Ｙ’を加算部３３に出力する。

映像復号装置２が入力した符号化データがＩピクチャの場合、Ｉピクチャの予測画像Ｙ’が切替部２２から出力される。符号化データがＰピクチャの場合、Ｐピクチャの予測画像Ｙ’が出力され、符号化データがＢピクチャの場合、Ｂピクチャの予測画像Ｙ’が出力される。

超解像処理部２３は、パラメータ処理部２９から選択画像種類を入力し、選択画像種類が超解像画像Ｃを示している場合、ループ内フィルタ２０から入力した復号画像Ｅ’に対し前述の超解像処理を行い、超解像画像Ｃ’を生成する。そして、超解像処理部２３は、超解像画像Ｃ’をメモリ２５に格納する。

ぼやけ処理部２４は、パラメータ処理部２９から選択画像種類を入力し、選択画像種類がぼやけ画像Ｄを示している場合、ループ内フィルタ２０から入力した復号画像Ｅ’に対し前述のぼやけ処理を行い、ぼやけ画像Ｄ’を生成する。そして、ぼやけ処理部２４は、ぼやけ画像Ｄ’をメモリ２５に格納する。

メモリ２５には、Ｉピクチャ、Ｐピクチャ及びＢピクチャのそれぞれについて、復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかが順次格納され、復号画像Ｏが形成される。メモリ２５に格納されたＩピクチャの復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかは、次のＰピクチャの予測画像Ｙ’を生成するために用いられる。

また、メモリ２５に格納されたＰピクチャの復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかは、次のＢピクチャの予測画像Ｙ’を生成するために用いられる。また、メモリ２５に格納されたＢピクチャの復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかは、次のＢピクチャの予測画像Ｙ’を生成するために用いられる。

予測部３４が符号化データのピクチャに対する予測画像Ｙ’を生成する際に、画面間予測部２７は、メモリ２５から、前回の（メモリ２５に最新に格納された）ピクチャの画像（復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれか）を読み出す。

画面間予測部２７は、メモリ２５から読み出した画像（復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれか）を参照ピクチャとして画面間予測を行い、今回のピクチャの予測画像Ｙ’を生成する。そして、画面間予測部２７は、予測画像Ｙ’を切替部２２に出力する。

パラメータ処理部２９は、エントロピー復号部３０から選択画像種類を含むパラメータを入力し、パラメータから選択画像種類を抽出し、選択画像種類をループ内フィルタ２０、超解像処理部２３及びぼやけ処理部２４に出力する。図示しない読み出し部は、メモリ２５から復号画像Ｏを読み出して出力する。

以上のように、本発明の実施形態の映像復号装置２によれば、予測部３４のループ内フィルタ２０は、映像符号化装置１から出力された符号化データのパラメータに含まれる選択画像種類が復号画像Ｆである場合、生成した復号画像Ｆ’をメモリ２５に格納する。

超解像処理部２３は、パラメータに含まれる選択画像種類が超解像画像Ｃである場合、生成した超解像画像Ｃ’をメモリ２５に格納する。また、ぼやけ処理部２４は、パラメータに含まれる選択画像種類がぼやけ画像Ｄである場合、生成したぼやけ画像Ｄ’をメモリ２５に格納する。

メモリ２５には、Ｉピクチャ、Ｐピクチャ及びＢピクチャのそれぞれについて、復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかが順次格納され、復号画像Ｏが形成される。そして、メモリ２５から復号画像Ｏが読み出され、出力される。

画面内予測部２１は、Ｉピクチャの処理において、ループ内フィルタ２０により生成された復号画像Ｆ’に対し画面内予測を行い、予測画像Ｙ’を生成する。一方、画面間予測部２７は、ＰピクチャまたはＢピクチャの処理において、メモリ２５から画像（復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれか）を読み出し、これを参照ピクチャとして画面間予測を行い、予測画像Ｙ’を生成する。加算部３３は、予測画像Ｙ’に、逆直交変換部３２により生成された復号残差画像を加算して復号画像Ｅ’を生成する。復号画像Ｅ’は、ループ内フィルタ２０に入力される。

ここで、パラメータに含まれる選択画像種類に従ってメモリ２５に格納された復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれかは、映像符号化装置１において、ＲＤコストが最小となるように選択された画像である。つまり、パラメータに含まれる選択画像種類に従った画像（復号画像Ｆ’、超解像画像Ｃ’及びぼやけ画像Ｄ’のうちのいずれか）は、映像符号化装置１において残差画像のデータ量が最小となるように用いた参照ピクチャに対応する画像である。

したがって、処理対象のピクチャと参照ピクチャとの間で被写界深度内外に移動するオブジェクトを含む場合に、動きべクトルの検出及び予測の精度及び確度が高くなる。そして、映像符号化装置１における残差画像のデータ量が少なくなり、結果として符号化効率を改善することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態は、図２及び図１３に示したとおり、予測部１６，３４は、超解像処理部２３及びぼやけ処理部２４の両方を備えるようにした。これに対し、予測部１６，３４は、超解像処理部２３及びぼやけ処理部２４のうちのいずれか一方を備えるようにしてもよい。

つまり、予測部１６，３４は、復号画像Ｆ，Ｆ’及び超解像画像Ｃ，Ｃ’のうち、ＲＤコストが小さい方の画像を参照ピクチャとするようにしてもよい。また、予測部１６，３４は、復号画像Ｆ，Ｆ’及びぼやけ画像Ｄ，Ｄ’のうち、ＲＤコストが小さい方の画像を参照ピクチャとするようにしてもよい。

また、本発明の実施形態は、ピクチャ間で被写界深度内外に移動するオブジェクトを含む場合だけでなく、オブジェクトが静止状態から動作状態に変化し、またはその逆の状態に変化した場合にも適用がある。すなわち、画面全体で大きな変化があった場合にも適用がある。例えばカメラが突然パンまたはチルトの動作をした場合、これらの動作が停止した場合、画面内でオブジェクトが奥から手前へ移動した場合、この逆に移動した場合等に適用がある。

尚、本発明の実施形態による映像符号化装置１及び映像復号装置２のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置１及び映像復号装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像符号化装置１の減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５、予測部１６及びエントロピー符号化部１７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、映像復号装置２のエントロピー復号部３０、逆量子化部３１、逆直交変換部３２、加算部３３及び予測部３４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 映像符号化装置
２ 映像復号装置
１０ 減算部
１１ 直交変換部
１２ 量子化部
１３，３１ 逆量子化部
１４，３２ 逆直交変換部
１５，３３ 加算部
１６，３４ 予測部
１７ エントロピー符号化部
２０ ループ内フィルタ（In-Loopフィルタ）
２１ 画面内予測部
２２ 切替部
２３ 超解像処理部
２４ ぼやけ処理部
２５ メモリ
２６ 参照ピクチャ選択部
２７ 画面間予測部
２８，２９ パラメータ処理部
３０ エントロピー復号部

Claims (8)

1. 映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、
   前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、
   前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、
   前記入力画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
   前記入力画像がＰピクチャまたはＢピクチャである場合、前記メモリに格納された前記復号画像及び前記ぼやけ画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、
   前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、
   前記メモリには、
   前記フィルタ及び前記ぼやけ処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像及び前記ぼやけ画像が格納され、
   前記参照ピクチャ選択部は、
   前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記ぼやけ画像を読み出し、当該復号画像及び当該ぼやけ画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記ぼやけ画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像及び前記ぼやけ画像のうち、前記ＲＤコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
2. 映像信号の入力画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換及び量子化を行ってエントロピー符号化を行い、符号化データを出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像に基づいて前記予測画像を生成する映像符号化装置において、
   前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、当該復号画像をメモリに格納するフィルタと、
   前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部と、
   前記入力画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
   前記入力画像がＰピクチャまたはＢピクチャである場合、前記メモリに格納された前記復号画像及び前記超解像画像のうちのいずれかを参照ピクチャとして選択する参照ピクチャ選択部と、
   前記参照ピクチャ選択部により選択された前記参照ピクチャを用いて画面間予測を行うことにより前記予測画像を生成する画面間予測部と、を備え、
   前記メモリには、
   前記フィルタ及び前記超解像処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像及び前記超解像画像が格納され、
   前記参照ピクチャ選択部は、
   前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像及び前記超解像画像を読み出し、当該復号画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像及び前記超解像画像のうち、前記ＲＤコストが小さい画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
3. 請求項１に記載の映像符号化装置において、
   さらに、前記フィルタにより生成された前記復号画像に対し超解像処理を行うことにより超解像画像を生成し、当該超解像画像を前記メモリに格納する超解像処理部を備え、
   前記メモリには、
   前記フィルタ、前記ぼやけ処理部及び前記超解像処理部により、前記Ｉピクチャ、前記Ｐピクチャ及び前記Ｂピクチャのそれぞれについての前記復号画像、前記ぼやけ画像及び前記超解像画像が格納され、
   前記参照ピクチャ選択部は、
   前記入力画像における今回のピクチャの処理において、前記メモリから前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像を読み出し、当該復号画像、当該ぼやけ画像及び当該超解像画像のそれぞれを参照ピクチャとして画面間予測により前記予測画像が生成され、今回のピクチャの前記入力画像との間の前記残差画像が生成され、当該残差画像に対応する前記復号画像がそれぞれ生成され、今回のピクチャと、前回のピクチャの前記復号画像、前記ぼやけ画像及び前記超解像画像に対応するそれぞれの前記復号画像とに基づいて、それぞれのＲＤコストを算出し、前記復号画像、前記ぼやけ画像及び前記超解像画像のうち、前記ＲＤコストが最小の画像を前記参照ピクチャとして選択する、ことを特徴とする映像符号化装置。
4. 請求項１または３に記載の映像符号化装置において、
   前記ぼやけ処理部は、
   前記復号画像をウェーブレットパケット分解し、周波数帯域毎の画像を生成し、当該周波数帯域毎の画像に対しゲイン調整を行い、ゲイン調整後の前記周波数帯域毎の画像に対しウェーブレットパケット再構成を行い、前記ぼやけ画像を生成する、ことを特徴とする映像符号化装置。
5. 請求項２または３に記載の映像符号化装置において、
   前記超解像処理部は、
   前記復号画像に対し複数階層の周波数分解を行って周波数分解画像を生成し、当該周波数分解画像のうち、第１の分解階数を有する第１分解画像及び第２の分解階数を有する第２分解画像を決定し、前記第１分解画像の低周波成分画像と前記第２分解画像の低周波成分画像との間で位置合わせを行ってその位置関係を示す位置合わせ情報を生成し、当該位置合わせ情報を用いて、前記第１分解画像の高周波成分画像と前記第２分解画像の高周波成分画像との間で割付けを行って超解像高周波成分画像を生成し、前記第１分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って前記超解像画像を生成する、ことを特徴とする映像符号化装置。
6. 符号化データを入力し、当該符号化データをエントロピー復号し、逆量子化及び逆直交変換して復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、元の映像信号の画像を復元すると共に、前記加算後画像に基づいて前記予測画像を生成する映像復号装置において、
   前記符号化データには、当該符号化データを出力する映像符号化装置によりＩピクチャ、Ｐピクチャ及びＢピクチャのそれぞれについての予測画像の生成のために用いた参照ピクチャが復号画像である場合、復号選択情報のパラメータが含まれており、前記参照ピクチャがぼやけ画像である場合、ぼやけ選択情報のパラメータが含まれている場合に、
   前記加算後画像に対しフィルタ処理を行うことにより復号画像を生成し、前記符号化データに含まれるパラメータが前記復号選択情報を示している場合、前記復号画像をメモリに格納するフィルタと、
   前記符号化データに含まれるパラメータが前記ぼやけ選択情報を示している場合、前記フィルタにより生成された前記復号画像に対し、周波数帯域を制限するためのぼやけ処理を行うことによりぼやけ画像を生成し、当該ぼやけ画像を前記メモリに格納するぼやけ処理部と、
   前記復号画像がＩピクチャである場合、前記復号画像を用いて画面内予測を行うことにより前記予測画像を生成する画面内予測部と、
   前記復号画像がＰピクチャまたはＢピクチャである場合、前記メモリから前記復号画像または前記ぼやけ画像を読み出し、前記復号画像または前記ぼやけ画像を前記参照ピクチャとして画面間予測を行うことにより前記予測画像を生成する画面間予測部と、
   を備えたことを特徴とする映像復号装置。
7. コンピュータを、請求項１から５までのいずれか一項に記載の映像符号化装置として機能させるためのプログラム。
8. コンピュータを、請求項６に記載の映像復号装置として機能させるためのプログラム。

Images