JP2017028372A - 符号化方式変換装置、方法及びプログラム - Google Patents

Abstract

【課題】第１の符号化方式の処理対象フレームで参照した参照画像情報を、第２の符号化方式での参照画像インデックスに容易に利用できる符号化方式変換装置を提供する。【解決手段】符号化方式変換装置は、第１の復号画像として復号する第１手段１１と、第１の復号画像を、第２の符号化画像として符号化する第２手段１２と、復号過程で参照された参照画像を管理する参照画像テーブルと、参照画像を第１の復号画像毎に対応付けたマップを生成する第３手段１３と、第２の符号化画像の符号化過程で参照される参照画像を管理する第２の画像リストと、参照画像テーブルとを用いて、マップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する第４手段１４とを有する。【選択図】図１

Description

本発明は、符号化方式変換装置、方法及びプログラムに関し、例えば、符号化方式の異なる映像ストリームへのトランスコードを行う符号化方式変換装置、方法及びプログラムに適用し得るものである。

例えば、Ｈ．２６２／ＭＰＥＧ−２（以下、「ＭＰＥＧ−２」とも呼ぶ。）、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ。）やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これを可変長符号や算術符号といったエントロピー符号化することによって高効率の映像圧縮を実現している。

現在、ＡＶＣやＨＥＶＣを含む種々の映像符号化方式が混在して使用されており、或る符号化方式で符号化された映像ストリームを、別の符号化方式で再度符号化するトランスコード技術が必要とされている。

トランスコードは、入力となる第１の符号化方式によるストリームを復号（デコード）し、復号画像を入力として第２の符号化方式による符号化（エンコード）を行う方法が一般に用いられる。

このようなトランスコードを効率的に行う方法として、例えば、特許文献１では、図３に示すように第１の符号化方式によるストリームから得られる動きベクトル情報を利用して第２の符号化方式によるエンコードを行う技術が開示されている。

ＡＶＣやＨＥＶＣを符号化方式として用いる場合、インター予測の動き補償に用いる参照画像は、参照画像バッファ中の複数の参照画像のうちから、どの参照画像を用いて動き補償予測を行うかを、予測単位ごとに参照画像インデックス番号で指定可能である。複数の参照画像から選択可能な符号化方式を用いる場合は、利用可能な参照画像ごとに動きベクトル探索を行い、最も良好な予測画像を生成する参照画像を用いる参照画像インデックスを選択するような処理を行って符号化処理が行われる。

ＨＥＶＣでは、図４に示すように、これまでのＡＶＣ等の映像符号化方式における符号化単位となる１６×１６画素単位のマクロブロックを拡張して、最大６４×６４画素の符号化ツリー単位（以下、「ＣＴＵ」とも呼ぶ。）を、８×８画素から６４×６４画素まで（すなわち、８×８、１６×１６、３２×３２、６４×６４の画素）の符号化単位であるコーディング単位（以下、「ＣＵ」とも呼ぶ。）の４分木構造の符号化ツリーとして、表現することが可能となっており、多様なブロックサイズでの符号化を行う事ができる。

また、ＣＵは、垂直／水平方向に分割した予測単位（以下、「ＰＵ」とも呼ぶ。）に分割可能である。例えば、動き補償予測等は、図５に示すように、ＣＵのサイズ２Ｎ×２Ｎに対して、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎや非対称な分割形状などに分割した領域単位（予測単位）での予測が可能となっている。

ＨＥＶＣでは、予測単位（ＰＵ）ごとに参照画像（参照画像インデックス）が選択可能であるため、最適な参照画像の探索処理を効率的に行う技術が従来に比べより求められている。例えば、効率的な参照画像の探索処理の案として、所定ブロックに対して、第１の符号化方式（例えば、ＡＶＣ）のインター予測で用いた参照画像を、第２の符号化方式（例えば、ＨＥＶＣ）のインター予測でも再度利用して、参照画像の探索処理を効率的に行う案が考えられる。

特開２００３−３０９８５１号公報

しかしながら、第１の符号化方式で使用された参照画像インデックス番号の順番と、第２の符号化方式で用いる参照画像インデックス番号の順番は必ずしも一致しない。例えば、符号化方式が異なる場合や、画像の符号化順を変更しながら変換する場合など、参照画像インデックス番号が指し示す参照画像が別の時間の参照画像を指し示す場合がある。

よって、トランスコードを行う符号化方式変換装置は、第２の符号化方式での処理において、第１の符号化方式で使用された参照画像インデックスを単純に用いることはできず、第２の符号化方式での複数の参照画像からの探索を効率的に行うこと等が困難であるという課題があった。

そのため、第１の符号化方式の処理対象フレームにおける各ブロックが動き補償のために参照した参照画像情報を、第２の符号化方式での参照画像インデックスに容易に利用できる符号化方式変換装置、方法及びプログラムが望まれている。

第１の本発明は、第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換装置において、（１）入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号する復号処理手段と、（２）前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化する符号化処理手段と、（３）前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理する参照画像テーブルと、（４）前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成するインデックスマップ生成手段と、（５）前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する変換テーブル生成手段とを有することを特徴とする。

第２の本発明は、第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換方法において、（１）復号処理手段は、入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号し、（２）符号化処理手段は、前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化し、（３）参照画像テーブルは、前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理し、（４）インデックスマップ生成手段は、前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成し、（５）変換テーブル生成手段は、前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成することを特徴とする。

第３の本発明は、第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換装置に搭載されるコンピュータを、（１）入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号する復号処理手段と、（２）前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化する符号化処理手段と、（３）前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理する参照画像テーブルと、（４）前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成するインデックスマップ生成手段と、（５）前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する変換テーブル生成手段として機能させることを特徴とする。

本発明によれば、第１の符号化方式の処理対象フレームにおける各ブロックが動き補償のために参照した参照画像情報を、第２の符号化方式での参照画像インデックスに容易に利用できる。

実施形態に係る符号化方式変換装置の内部構成を示すブロック図である。 実施形態に係る参照画像テーブル、インデックスマップ、及び参照インデックス変換テーブルの具体例を示す説明図である。 従来の符号化方式変換装置の構成を示すブロック図である。 ４分木構造による符号化単位への分割を説明する説明図である。 符号化単位から予測単位への分割を説明する説明図である。

（Ａ）主たる実施形態
以下、本発明による符号化方式変換装置、方法及びプログラムの実施形態を、図面を参照しながら詳述する。

（Ａ−１）実施形態の構成
図１は、この実施形態に係る符号化方式変換装置の内部構成を示すブロック図である。実施形態に係る符号化方式変換装置は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。

図１において、実施形態に係る符号化方式変換装置５は、第１の符号化方式デコード部１１、第２の符号化方式エンコード部１２、参照画像インデックスマップ生成部１３、参照画像インデックス変換テーブル生成部１４を有する。

第１の符号化方式デコード部１１は、第１の符号化方式により符号化された映像ストリームを、第１の符号化方式によるデコード（復号）処理を行って、復号画像を得るものである。第１の符号化方式デコード部１１は、この復号画像を第２の符号化方式エンコード部１２に出力する。また、第１の符号化方式デコード部１１は、第１の符号化方式による映像ストリームのエントロピー復号過程（後述するエントロピー復号部１０１等での処理）で得られる各復号画像を特定する情報、参照画像リスト情報、参照画像インデックス番号情報を参照画像インデックスマップ生成部１３に出力する。

第１の符号化方式デコード部１１は、エントロピー復号部１０１、逆量子化部１０２、逆変換部１０３、予測画像生成部１０４、加算部１３３を有する。

エントロピー復号部１０１は、入力ストリームをエントロピー復号して、変換係数、符号化モード情報、動きベクトル情報、参照画像インデックス情報等を得るものである。ここで、変換係数は、離散コサイン変換等がなされた変換係数である。また、符号化モード情報は、例えば、符号化処理がイントラモードで行われたのか、あるいはインターモードで行われたのか等を示す符号化モードに関する情報である。動きベクトル情報は、インターモードの場合に動き補償フレーム間予測に用いられる動きベクトルを示す情報である。参照画像インデックス情報は、参照画像を特定するための識別情報である。

逆量子化部１０２は、エントロピー復号部１０１により与えられた変換係数を逆量子化するものである。

逆変換部１０３は、逆量子化部１０２により逆量子化された信号を逆変換して残差信号を復元して、加算部１３３に与えるものである。

加算部１３３は、逆変換部１０３から与えられた復元された残差信号に、予測画像生成部１０４から与えられた予測画像を加算して、復号画像（以下、「第１の復号画像」と呼ぶ）を算出するものである。加算部１３３は、算出された第１の復号画像を、第２の符号化方式エンコード部１２（符号化候補生成部１１１）及び予測画像生成部１０４に出力する。

予測画像生成部１０４は、加算部１３３により与えられた復号画像を用いて、動き補償予測、イントラ予測等の処理を行い、予測画像を生成するものである。

第２の符号化方式エンコード部１２は、第１の符号化方式デコード部１１（加算部１３３）から与えられた第１の復号画像の系列を入力画像として、第２の符号化方式によるエンコード（符号化）処理を行って得られた第２の符号化方式による映像ストリームを出力するものである。

第２の符号化方式エンコード部１２は、符号化候補生成部１１１、差分処理部１３１、変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、加算部１３２、参照画像バッファ１２０、イントラ予測部１２２、インター予測部１２１、切り替え部１２３を有する。

符号化候補生成部１１１は、第１の符号化方式デコード部１１より与えられた第１の復号画像から符号化候補生成部１１１で生成される符号化単位（以下、「ＣＵ」とも呼ぶ）、予測単位（以下、「ＰＵ」とも呼ぶ）の組み合わせを種々のアルゴリズムにより探索して生成するものである。

差分処理部１３１は、予測残差信号を求めるために、符号化候補生成部１１１からの所定の処理単位領域（例えば、ＣＵ毎）に分割された入力画像と、インター予測部１２１若しくはイントラ予測部１２２からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として変換部１０５に与えるものである。

変換部１０５は、入力された予測残差信号を変換係数に変換するものである。

量子化部１０６は、変換部１０５から与えられた変換係数に対して、量子化を行うものである。

エントロピー符号化部１０７は、符号の出現確率の偏りを圧縮するために、量子化部１０６からの量子化された変換係数等をエントロピー符号化した符号化信号を、出力ストリームとして、出力するものである。

逆量子化部１０８は、符号化信号から残差信号（残差画像）を復元するために、量子化部１０６からの量子化された変換係数を逆量子化するものである。

逆変換部１０９は、逆量子化部１０８により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１３２に与えるものである。

加算部１３２は、逆変換部１０９からの復元された残差信号に、切り替え部１２３を介してインター予測部１２１又はイントラ予測部１２２からの予測画像を加算して、復号側で復号される復号画像を求めるものである。加算部１３２は、復号画像を、参照画像バッファ１２０及びイントラ予測部１２２に与える。

参照画像バッファ１２０は、加算部１３２から出力される画像を、参照画像として保持するものである。この画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。

インター予測部１２１は、参照画像バッファ１２０に保持されている画像を参照画像として取得して動き補償予測を行うものである。

イントラ予測部１２２は、加算部１３２から出力される画像を用いてイントラ予測を行うものである。

切り替え部１２３は、符号化モード（イントラモード又はインターモード）に応じて、インター予測部１２１又はイントラ予測部１２２の出力を切り替えるものである。

参照画像インデックスマップ生成部１３は、第１の符号化方式デコード部１１から得られる参照画像に関する参照画像インデックス等の情報から、現在の画像（フレーム）から参照される参照画像を列挙した参照画像テーブルＴ１と、インター予測で参照した画像が、参照画像テーブルＴ１の何番目のエントリであったかを、個々の画像ブロックごとに求めた参照画像テーブルＴ１へのインデックスマップＭを生成するものである。参照画像インデックスマップ生成部１３は、生成した参照画像テーブルＴ１と、インデックスマップＭを参照画像インデックス変換テーブル生成部１４に出力する。なお、参照画像インデックスマップ生成部１３の詳しい動作は、後述する動作の項で明らかにする。

参照画像インデックス変換テーブル生成部１４は、参照画像インデックスマップ生成部１３から与えられる参照画像テーブルＴ１、インデックスマップＭ、及び第２の符号化方式エンコード部１２で用いる参照画像リスト情報から、インデックスマップＭのインデックス番号を、第２の符号化方式の参照画像インデックスに変換する参照インデックス変換テーブルＴ２を生成するものである。なお、参照画像インデックス変換テーブル生成部１４の詳しい動作は、後述する動作の項で明らかにする。

第２の符号化方式エンコード部１２は、この参照インデックス変換テーブルＴ２を用いて変換された参照画像インデックスを利用して符号化処理を行う。

（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の符号化方式変換装置５の動作を説明する。

図１に示すように、符号化方式変換装置５は、入力された第１の符号化方式によるストリームを、第２の符号化方式によるストリームにトランスコードして外部に出力する。なお、第１の符号化方式及び第２の符号化方式には、種々様々な符号化方式を適用することができるが、この実施形態では、第１の符号化方式としてＡＶＣを、第２の符号化方式としてＨＥＶＣを適用した例について、説明する。

まず、第１の符号化方式デコード部１１の動作を中心に説明する。

エントロピー復号部１０１は、入力ストリームをエントロピー復号して、離散コサイン変換等の変換係数、符号化モード情報、動きベクトル情報、参照画像インデックス情報等を得る。

逆量子化部１０２及び逆変換部１０３は、エントロピー復号部１０１より与えられた変換係数を、逆量子化及び逆変換して、残差信号を得る。

加算部１３３は、残差信号と、予測画像生成部１０４で動き補償予測やイントラ予測等を行って生成された予測画像を加算して第１の復号画像を得る。加算部１３３は、第１の復号画像を第２の符号化方式エンコード部１２の符号化対象画像として第２の符号化方式エンコード部１２（符号化候補生成部１１１）に供給する。また、加算部１３３は、第１の復号画像を後続の入力ストリームの復号処理の参照画像として予測画像生成部１０４に供給する。なお、供給される第１の復号画像は、第１の符号化方式が、ＡＶＣやＨＥＶＣの符号化方式の場合には、デブロッキングフィルタ等のループ内フィルタが適用された画像である。

エントロピー復号部１０１は、上記一連の復号処理の過程で、予測画像生成部１０４で用いる各予測ブロックの参照画像インデックス情報と、参照画像インデックスが指し示す参照画像を特定する参照画像リスト情報と、現在のフレームの復号画像を特定する情報を得る。

例えば、ＡＶＣの符号化方式の場合には、エントロピー復号部１０１は、Ｐスライスに対して「リスト０」と呼ばれる参照画像リストと、ブロックごとの「リスト０インデックス」を得ることができる。また、エントロピー復号部１０１は、Ｂスライスに対して「リスト０」、「リスト１」と呼ばれる２種の参照画像リストと、ブロックごとの「リスト０インデックス」、「リスト１インデックス」を得ることができる。

また、エントロピー復号部１０１は、参照画像や現在のフレームを特定する情報として、出力順番号（ＰＯＣ：ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）や、フレーム番号（ｆｒａｍｅ ｎｕｍｂｅｒ）を用いることができる。なお、ＡＶＣの符号化方式の場合には、参照画像リストは、フレームを分割したスライスごとに設定され、その並び順もスライスごとに変更することが可能である。

エントロピー復号部１０１は、取得した参照画像インデックス情報、参照画像リスト情報、現在のフレームの復号画像を特定する情報を参照画像インデックスマップ生成部１３に与える。

参照画像インデックスマップ生成部１３は、スライスごとやリストごとに意味が変わる参照画像インデックスを、フレーム内で統一した番号体系に変換したインデックスマップＭの生成を行う。すなわち、参照画像インデックスマップ生成部１３は、第１の符号化方式のブロックごとの参照画像インデックスを、参照画像テーブルＴ１へのインデックスマップＭに変換する。

ここで、参照画像テーブルＴ１は、現在のフレームから参照され得る参照画像を列挙したものであり、例えば、予測画像生成部１０４が内部に保持している参照画像を先頭から列挙したもので良い。また、参照画像テーブルＴ１は、ＡＶＣ等の符号化方式の場合等にスライスごとの参照画像リストの並べ替え処理をする前のデフォルトの参照画像リストをそのまま用いる構成としても良い。

参照画像インデックスマップ生成部１３は、各ブロックの参照画像インデックスを変換して、参照画像テーブルＴ１へのインデックスを現在のフレーム分保持するインデックスマップＭを生成する。そして、参照画像インデックスマップ生成部１３は、生成したインデックスマップＭを、参照画像インデックス変換テーブル生成部１４に出力する。なお、ＡＶＣの符号化方式のように参照画像リストが複数ある場合には、参照画像インデックスマップ生成部１３は、対応するインデックスマップＭを複数生成する。すなわち、参照画像インデックスマップ生成部１３は、リスト０のインデックスマップと、リスト１のインデックスマップを生成することになる。

次に、第２の符号化方式エンコード部１２の動作を中心に説明する。第２の符号化方式エンコード部１２は、第１の符号化方式デコード部１１からの第１の復号画像を符号化対象画像として、第２の符号化方式によるエンコード処理を行い、得られた第２の符号化方式による映像ストリームを出力する。以下、各部の動作を詳述する。

符号化候補生成部１１１は、第１の復号画像に対して、符号化単位（以下、「ＣＵ」とも呼ぶ。）、予測単位（以下、「ＰＵ」とも呼ぶ。）の組み合わせである符号化候補を、所定のアルゴリズムにより探索（生成）する。言い換えれば、符号化候補生成部１１１は、第１の復号画像を符号化候補ごとに分割する。そして、分割された第１の復号画像（符号化候補）は、符号化処理単位領域ごとに差分処理部１３１に与えられる。

インター予測部１２１では、参照画像バッファ１２０に保持されている画像を参照画像として動き補償を伴うインター予測画像が予測され、その動き補償を伴う予測画像が生成される。また、イントラ予測部１２２では、画面内の符号化済みの画素等に基づいてイントラ予測画像が生成される。

切り替え部１２３は、符号化モードに応じて、インター予測部１２１又はイントラ予測部１２２のいずれかに切り替え、インター予測画像又はイントラ予測画像のいずれを差分処理部１３１に与える。

差分処理部１３１では、符号化処理単位領域に対して、入力画像（第１の復号画像）と予測画像との差分が求められ、その差分が予測残差信号として、変換部１０５に出力される。

予測残差信号は、変換部１０５に入力され、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換係数に変換される。得られた変換係数は、量子化部１０６により量子化される。

そして、量子化された変換係数は、ＣＵの分割情報、動きベクトル情報、参照画像インデックス情報、予測モード情報などとともにエントロピー符号化部１０７により、エントロピー符号化され、出力ストリームとして出力される。

一方、逆量子化部１０８及び逆変換部１０９において、量子化部１０６で量子化された変換係数は、逆量子化・逆変換することで残差信号を復元し、加算部１３２により予測画像と加算することで図示しない第２の符号化方式の復号器で復号した場合に得られる第２の復号画像(以下、「第２の復号画像」と呼ぶ)を生成する。生成された第２の復号画像は、画面内の後続の符号化処理単位のイントラ予測のための隣接領域の参照画素としてイントラ予測部１２２に供給される。また、この第２の復号画像は、後続の処理対象画像のインター予測を用いる符号化処理のための参照画像として参照画像バッファ１２０に供給される。なお、ＡＶＣやＨＥＶＣの符号化方式の場合には、加算部１３２で求められた復号画像に対して、デブロッキングフィルタ等のループ内フィルタを適用した第２の復号画像が、参照画像バッファ１２０に供給される。

インター予測部１２１は、参照画像バッファ１２０に保持された複数の参照画像から各予測単位で用いる参照画像を選択する探索が行われる。この探索を効率的に行うために、本発明の実施形態では、第１の符号化方式による復号時に、どの参照画像が参照されていたかの情報を利用する。

参照画像インデックス変換テーブル生成部１４は、参照画像インデックスマップ生成部１３で生成した参照画像テーブルＴ１、参照画像テーブルＴ１へのインデックスマップＭ、及び第２の符号化方式エンコード部１２で用いる現在のスライスの参照画像リスト情報からインデックスマップＭのインデックス番号を第２の符号化方式の現在のスライスの参照画像インデックスに変換する参照インデックス変換テーブルＴ２を生成する。

図２は、実施形態に係る参照画像テーブルＴ１、インデックスマップＭ、及び参照インデックス変換テーブルＴ２の具体例を示す説明図である。

図２では、参照画像や現在の画像（フレーム）を特定する情報は、出力順番号（ＰＯＣ）である。また、参照画像テーブルＴ１は、出力順番号（ＰＯＣ）を、単に昇順で並べたテーブルである。さらに、第１の参照画像リストＬ１は、第１の符号化方式デコード部１１の入力ストリームで用いられた現在のスライスの参照画像リストである。また、第２の参照画像リストＬ２は、第２の符号化方式エンコード部１２で用いる現在のスライスの参照画像リストである。

図２では、現在の処理対象であるＰＯＣ３４の画像（フレーム）に対して、第１の符号化方式のストリームでは、参照画像リストとして、図２（Ａ）で示す第１の参照画像リストＬ１が用いられたスライスの或るブロックが、第２の符号化方式のスライスでは、図２（Ｃ）で示す第２の参照画像リストＬ２に属している場合を例に挙げて説明する。

図２（Ａ）で示す第１の参照画像リストＬ１では、例えば、第１の符号化方式のストリームにおける参照画像インデックス「０」番のブロックは、ＰＯＣ３２の画像を指し示している。また、図２（Ｃ）で示す第２の参照画像リストＬ２では、例えば、第２の符号化方式のストリームにおける参照画像インデックス「１番」のブロックは、先のＰＯＣ３２の画像を指し示している。つまり、第１の参照画像リストＬ１、及び第２の参照画像リストＬ２では、ＰＯＣ３２の画像を指し示すインデックス番号は異なっている。

この場合、先述の参照画像インデックスマップ生成部１３では、第１の符号化方式の参照画像インデックスが０番であるブロックに対して、インデックスマップＭには、図２（Ｂ）で示す参照画像テーブルＴ１の１番のエントリを示す「１」を記入する。同様に、参照画像インデックスマップ生成部１３は、第１の符号化方式の参照画像インデックスが、１番、２番であるブロック（ＰＯＣ３３、ＰＯＣ３１）に対して、参照画像テーブルＴ１の２番のエントリを示す「２」、０番のエントリを示す「０」を記入する。なお、この変換は、後述する参照画像インデックス変換テーブル生成部１４と同様な方法で、第１の符号化方式の参照画像インデックス(０、１、２)を参照画像テーブルＴ１のエントリ(１、２、０)に変換するテーブルを作成して行っても良い。

参照画像インデックス変換テーブル生成部１４では、処理対象のスライスごとにインデックスマップＭに記入された番号を、処理対象のスライスの第２の参照画像リストＬ２へのインデックスに変換する参照インデックス変換テーブルＴ２を生成する。

図２では、インデックスマップＭに記入された０番（ＰＯＣ３１を参照していることを示すエントリ）を、２番（第２の参照画像リストＬ２で、ＰＯＣ３１を指し示しているインデックス）に変換し、同様にインデックスマップＭに記入された「１」、「２」番を、第２の参照画像リストＬ２のインデックス「１」、「０」番に変換する参照インデックス変換テーブルＴ２を生成している。

この参照インデックス変換テーブルＴ２の生成は、参照画像テーブルＴ１が指し示している参照画像（ＰＯＣ）が、第２の参照画像リストＬ２の何番目に位置するかを探索することによって作成可能である。また、この処理は、スライスの処理の開始時に１度だけ行えば良く、例えば、１フレームが１スライスのみから構成されるような符号化を行う場合は、１フレームに対して１度だけ変換テーブルの生成処理を行えば良い。

以上のようにして作成された参照インデックス変換テーブルＴ２と、インデックスマップＭを用いることで、第２の符号化方式エンコード部１２では、処理対象のブロックが、第１の符号化方式のストリームではどの参照画像インデックスの画像を参照していたかを容易に知ることが可能となり、種々の処理を効率的に行うことが可能となる。

例えば、第２の符号化方式エンコード部１２は、複数の参照画像候補から現在の予測単位（ＰＵ）で用いる参照画像インデックスを選択する探索処理を、単純に第１の符号化方式のストリームで用いられていた参照画像を用いることとし、その他の参照画像インデックスを候補とする探索処理を削減する構成にして良い。また、例えば、第２の符号化方式エンコード部１２は、第１の符号化方式のストリームとは異なるサイズの予測単位（ＰＵ）を候補として探索を行う際に、参照画像の候補としては、処理対象のＰＵに対応する領域のインデックスマップＭに含まれる参照画像のみ候補とし、処理対象領域から参照されていなかった参照画像に対する探索処理を削減するよう構成しても良い。

また、第１の符号化方式で複数の参照画像を同時に参照して動き補償を行っている場合に、現在探索を行っている第２の符号化方式の参照画像リスト番号とは無関係に、第１の符号化方式の複数のインデックスマップＭからの複数のインデックス番号に対応する、複数の第２の符号化方式での参照画像インデックスを参照画像の探索候補とするよう構成しても良い。例えば、第１の符号化方式でリスト０とリスト１の双方を参照して動き補償を行っていたブロックに対して、リスト０インデックス若しくはリスト１インデックスに対応する第２の符号化方式の参照画像インデックスを、参照画像インデックスの探索候補とするよう構成しても良い。

さらに、第１の符号化方式のストリームからの情報として動きベクトル情報も利用して符号化処理を行う場合に、現在の参照画像候補として探索中の参照画像に対して、第１の符号化方式のストリームでは、現在の参照画像候補以外を参照している場合がある。このような場合に、現在の参照画像候補以外の参照画像への動きベクトルを、現在の参照画像候補への動きベクトル候補として用いるために、符号化方式変換装置５は、参照画像テーブルに画像の表示時間に関する情報を含めて保持しても良い。先述の図２の例では、画像を特定する情報として出力順番号（ＰＯＣ）を用いる例を示したが、この場合、符号化方式変換装置５は、時間に関する情報としてＰＯＣをそのまま用いても良い。符号化方式変換装置５は、各画像間の時間差情報を用いることで、第１の符号化方式のストリームでの動きベクトルを、現在の参照画像候補への動きベクトルにスケーリングして動きベクトル候補として利用することが可能となる。例えば、符号化方式変換装置５は、動きベクトル探索の初期値の候補として用いるような構成としても良い。図２を例に挙げると、第１の符号化方式のストリームでは、ＰＯＣ３２を参照していたベクトルをＰＯＣ３１を参照するベクトルにスケーリングする場合、符号化方式変換装置５は、第１の符号化方式の動きベクトルＶ_１に対して、Ｖ_２＝Ｖ_１×（３１−３４）／（３２−３４）のようにスケーリングした動きベクトルＶ_２を用いる。

以上の処理によって、符号化方式変換装置５は、第１の符号化方式によるストリームを第２の符号化方式によるストリームに変換する。

（Ａ−３）実施形態の効果
この実施形態では、以下のような効果を奏することができる。

符号化方式変換装置５は、フレーム内で統一した番号体系に変換したインデックスマップＭと、インデックスマップＭのインデックス番号を第２の符号化方式の現在のスライスの参照画像インデックスに変換する参照インデックス変換テーブルＴ２を利用することによって、第１の符号化方式で各ブロックが動き補償のために参照した参照画像情報を、第２の符号化方式での参照画像インデックスに容易に変換可能となり、参照画像情報を用いた符号化候補の探索処理を効率的に行うことが可能となる。

（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）上記の実施形態では、異なる符号化方式間のトランスコード処理を例に挙げて説明したが、同じ符号化方式間のビットレート変換や解像度変換等のトランスコード処理においても、本発明の技術的思想を適用することができる。

（Ｂ−２）上記実施形態では、第１の符号化方式のストリームから得られる情報として動き補償で用いる参照画像インデックスや動きベクトルを変換して利用する方法に関して説明したが、その他にも符号化モード情報や量子化パラメータ情報も抽出して第２の符号化方式による符号化処理を効率的に行うように符号化方式変換装置５を構成しても良い。また、符号化候補の探索の効率化方法は、用途に応じて組み合わせて用いるように符号化方式変換装置５を構成しても良いし、ユーザの設定により削減処理の組み合わせ方を設定できるように構成しても良い。

５…符号化方式変換装置、１１…第１の符号化方式デコード部、１２…第２の符号化方式エンコード部、１３…参照画像インデックスマップ生成部、１４…参照画像インデックス変換テーブル生成部、１０１…エントロピー復号部、１０２…逆量子化部、１０３…逆変換部、１０４…予測画像生成部、１０５…変換部、１０６…量子化部、１０７…エントロピー符号化部、１０８…逆量子化部、１０９…逆変換部、１１１…符号化候補生成部、１２０…参照画像バッファ、１２１…インター予測部、１２２…イントラ予測部、１２３…切り替え部、１３１…差分処理部、１３２…加算部、１３３…加算部、Ｌ１…第１の参照画像リスト、Ｌ２…第２の参照画像リスト、Ｍ…インデックスマップ、Ｔ１…参照画像テーブル、Ｔ２…参照インデックス変換テーブル。

Claims (11)

1. 第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換装置において、
   入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号する復号処理手段と、
   前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化する符号化処理手段と、
   前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理する参照画像テーブルと、
   前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成するインデックスマップ生成手段と、
   前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する変換テーブル生成手段と
   を有することを特徴とする符号化方式変換装置。
2. 前記符号化処理手段は、前記変換テーブルを利用して前記第１の復号画像の符号化処理を行うことを特徴とする請求項１に記載の符号化方式変換装置。
3. 前記符号化処理手段は、入力された前記第１の復号画像の処理対象のブロックに対応する前記インデックスマップの領域が示す前記第１の識別番号を、
   前記変換テーブルにより、前記第１の識別番号から前記第２の識別番号に変換し、前記第２の識別番号が識別する参照画像を、参照画像の候補として使用し、他の参照画像の候補を探索する処理を省略する
   ことを特徴とする請求項１又は２に記載の符号化方式変換装置。
4. 前記符号化処理手段は、入力された前記第１の復号画像の処理対象のブロックに対応する前記インデックスマップの領域が複数の前記第１の識別番号を含む場合には、複数の前記第１の識別番号を、
   前記変換テーブルにより、複数の前記第１の識別番号から複数の前記第２の識別番号に変換し、複数の前記第２の識別番号が識別する複数の参照画像を、参照画像の候補とすることを特徴とする請求項１又は２に記載の符号化方式変換装置。
5. 前記インデックスマップ生成手段は、前記復号処理手段が複数の参照画像を同時に参照して動き補償を行っている場合には、前記インデックスマップを複数生成し、
   前記符号化処理手段は、入力された前記第１の復号画像の処理対象のブロックに対応する複数の前記インデックスマップの領域が示す複数の第１の識別番号を、
   前記変換テーブルにより、複数の前記第１の識別番号から複数の前記第２の識別番号に変換し、複数の前記第２の識別番号が識別する複数の参照画像を、参照画像の候補とする
   ことを特徴とする請求項１又は２に記載の符号化方式変換装置。
6. 前記参照画像テーブルは、識別する参照画像ごとに、各参照画像の表示時間に関する情報を含めて管理し、
   前記符号化処理手段は、入力された前記第１の復号画像の処理対象のブロックに対応する前記インデックスマップの領域が示す前記第１の識別番号が識別する参照画像以外の、現在の参照画像を使用する場合には、
   前記参照画像テーブルにより管理される参照画像の時間差情報を用いて、現在の参照画像以外の参照画像への前記復号処理手段で用いられた動きベクトルを、現在の参照画像への動きベクトルに変換し、この変換した動きベクトルを、動きベクトルの候補として使用する
   ことを特徴とする請求項１又は２に記載の符号化方式変換装置。
7. 前記復号処理手段は、復号処理の過程で得られる符号化モード情報、量子化パラメータ情報等を抽出して保持し、
   前記符号化処理手段は、前記符号化モード情報、及び前記量子化パラメータ情報を利用して符号化処理を行う
   ことを特徴とする請求項１〜６に記載の符号化方式変換装置。
8. 前記第１の符号化方式、又は前記第２の符号化方式がＨ．２６４／ＭＰＥＧ−４ ＡＶＣであることを特徴とする請求項１〜７のいずれかに記載の符号化方式変換装置。
9. 前記第１の符号化方式、又は前記第２の符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣであることを特徴とする請求項１〜８のいずれかに記載の符号化方式変換装置。
10. 第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換方法において、
    復号処理手段は、入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号し、
    符号化処理手段は、前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化し、
    参照画像テーブルは、前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理し、
    インデックスマップ生成手段は、前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成し、
    変換テーブル生成手段は、前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する
    ことを特徴とする符号化方式変換方法。
11. 第１の符号化方式の画像を第２の符号化方式の画像に変換する符号化方式変換装置に搭載されるコンピュータを、
    入力された第１の符号化方式の画像を、第１の符号化方式に従い、第１の復号画像として復号する復号処理手段と、
    前記復号処理手段により復号された前記第１の復号画像を、第２の符号化方式に従い、第２の符号化画像として符号化する符号化処理手段と、
    前記復号処理手段を用いてインター予測を行い前記第１の復号画像を復号する処理の過程で、所定ブロック毎に参照された１又は複数の参照画像を識別して管理する参照画像テーブルと、
    前記第１の復号画像の所定ブロック毎に参照された１又は複数の参照画像を、前記第１の復号画像の所定ブロック毎に対応付けたインデックスマップを生成するインデックスマップ生成手段と、
    前記符号化処理手段を用いてインター予測を行い前記第２の符号化画像を符号化する処理の過程で参照される１又は複数の参照画像を識別して管理する第２の参照画像リストと、前記参照画像テーブルとを用いて、前記インデックスマップの各所定ブロックが参照する参照画像を識別する第１の識別番号を、前記第２の参照画像リストの参照画像を識別する第２の識別番号に変換する変換テーブルを生成する変換テーブル生成手段と
    して機能させることを特徴とする符号化方式変換プログラム。

Images