JP2018186419A - トランスコーダ、トランスコード方法、及びトランスコードプログラム - Google Patents

Abstract

【課題】トランスコードを行う場合の符号化パラメータの継承判断及びトランスコード自体の計算量を低減させる。
【解決手段】トランスコーダ１０は、第１の符号化方式にて量子化に応じて量子化された量子化係数から、第１の符号化方式の符号化モードを第２の符号化方式の符号化モードとして継承するか否かを判定する。そして、トランスコーダ１０は、符号化モードを継承しないと判定された場合に、第１の符号化方式の符号化モードを用いて第２の符号化方式の符号化を行う。
【選択図】図１

Description

開示の技術は、第１の符号化方式により符号化された符号化結果（ストリーム）を第２の符号化方式で符号化されたストリームに変換するトランスコード技術に関する。

従来、再符号化時（トランスコード時）に量子化ステップ変更のために必要なコストと発生する符号量を考慮して、画質劣化が少ない画像符号化方式変換及び符号化レート変換を行う画像符号化データ変換装置が知られている。この画像符号化データ変換装置は、変換時の量子化ステップの再利用を行うことで量子化ステップ変換のコストを考慮した変換を実施する。

特開２００３−２４４７０６号公報

所定の符号化方式である第１の符号化方式によって符号化されたビットストリームを、別の符号化方式である第２の符号化方式により再度符号化することをトランスコードという。トランスコードを行う場合、第２の符号化方式において、第１の符号化方式の符号化モード（例えば、動きベクトルに関するモード及びブロックサイズに関するモード等）を継承すると、第１の符号化方式に存在しない符号化モードを用いることができないため、符号化効率が最適にならない場合がある。

符号化効率を最適化する手法の一例としてRate-Distortion（ＲＤ）コストによる最適化がある。ＲＤコストによる最適化では、符号化モード毎に符号化に関するコストを算出し、コストが最小である符号化モードが選択される。しかし、符号化モードを選択する際のコストの算出には、演算量が多いという課題がある。

開示の技術は、一つの側面として、トランスコードを行う場合の符号化パラメータの継承判断及びトランスコード自体の計算量を低減させることを目的とする。

開示の技術は、一つの態様として、判定部は第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する。判定部は、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する。そして、演算部は、前記判定部によって前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う。

開示の技術は、一つの側面として、トランスコードを行う際の符号化モード決定のための計算量を低減させることができる、という効果を有する。

第１の実施形態に係るトランスコーダの機能構成図である。 符号化コストを用いた符号化モードの継承に関する判定と量子化誤差及びビット量との関係を説明するための説明図である。 第１の実施形態に係るトランスコーダとして機能するコンピュータの構成図である。 第１の実施形態に係る動画像符号化処理の流れを示すフローチャートである。 コストを用いた符号化モードの継承に関する判定と量子化誤差及びビット量との関係を説明するための説明図である。 第３の実施形態に係るトランスコーダの機能構成図である。 第３の実施形態に係るトランスコーダとして機能するコンピュータの構成図である。 第３の実施形態に係る動画像符号化処理の流れを示すフローチャートである。

以下、図面を参照して開示の技術の実施形態の一例として、動画像を符号化するトランスコーダを詳細に説明する。

＜第１の実施形態＞

図１には、第１の実施形態に係るトランスコーダ１０が示されている。図１に示すように、トランスコーダ１０は、可変長復号部１２と、逆量子化部１４と、仮量子化部１６と、コスト算出部１８と、継承判定部２０と、符号化部２２とを備えている。トランスコーダ１０は、第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式にて再符号化する。なお、仮量子化部１６は、開示の技術の量子化部の一例である。また、継承判定部２０は、開示の技術の判定部の一例である。また、符号化部２２は、開示の技術の演算部の一例である。

可変長復号部１２は、第１の符号化方式によって符号化された第１のビットストリームを入力として受け付ける。次に、可変長復号部１２は、第１の符号化方式に応じた復号方式に従って、第１のビットストリームを可変長復号する。そして、可変長復号部１２は、可変長復号された第１のビットストリームから、動画像のフレームの各ブロックについての量子化パラメータと、第１の符号化方式にて量子化された各フレームの第１の量子化係数とを取得する。また、可変長復号部１２は、動きベクトルに関する処理モード等を含む符号化モードと、第１の符号化方式の符号化モードに応じて算出された符号化パラメータとを、可変長復号された第１のビットストリームから取得する。符号化モードには、予測モード、ブロックサイズに関するモード、及び動きベクトルに関するモード等を表す処理モードに関する情報が含まれる。符号化パラメータは、処理モードに応じて計算された値を表し、例えば、動きベクトルに関するモードに対する動きベクトルの推定量を表す。符号化モード及び符号化パラメータは、復号された第１のビットストリーム内に含まれている。

逆量子化部１４は、可変長復号部１２によって取得された量子化パラメータ及び量子化された各フレームの第１の量子化係数に基づいて、フレーム毎に、各ブロックの第１の量子化係数を逆量子化して、各ブロックの第１の逆量子化係数を取得する。

仮量子化部１６は、フレーム毎に、逆量子化部１４によって取得された各ブロックの第１の逆量子化係数を、第２の符号化方式に対応した量子化方式を用いて量子化し、第２の符号化方式に対応した各ブロックの第２の量子化係数として取得する。また、第２の量子化係数を逆量子化して第２の逆量子化係数を算出する。

コスト算出部１８は、フレーム毎に、各ブロックの第２の逆量子化係数と、逆量子化部１４にて逆量子化した第１の逆量子化係数とを取得する。そして、コスト算出部１８は、フレーム毎に、逆量子化部１４によって取得された各ブロックの第１の逆量子化係数と各ブロックの第２の逆量子化係数とから、第２の符号化方式の量子化によって発生する量子化誤差Ｄを算出する。

具体的には、コスト算出部１８は、フレームのブロック毎に、逆量子化部１４によって取得された第１の逆量子化係数と第２の逆量子化係数との差分２乗和を算出する。そして、コスト算出部１８は、フレームのブロック毎に、算出された差分２乗和を、ブロックに対応するビット数に応じて正規化することで量子化誤差Ｄを算出する。量子化誤差Ｄは、第２の符号化方式による符号化において、第１の符号化方式の符号化モードを継承した場合に発生する量子化誤差の推定値として使用される。

次に、コスト算出部１８は、仮量子化部１６によって取得された各フレームの各ブロックの第２の量子化係数を用いて第２の符号化方式によって符号化した場合に発生するビット量Ｂを推定する。ビット量Ｂの推定方法としては、第２の符号化方式を用いて第２の量子化係数を可変長符号化してもよい。また、可変長復号部１２で取得された符号化パラメータを、第２の符号化方式にて符号化した場合に発生するビット量Ｂ_ｐを推定し、ビット量Ｂに加算して推定してもよい。

次に、コスト算出部１８は、算出された量子化誤差Ｄと推定されたビット量Ｂとに基づいて、符号化コストＣｔを算出する。例えば、コスト算出部１８は、以下の式（１）に従って、符号化コストＣｔを算出する。

符号化コストＣｔ＝Ｄ＋λ・Ｂ （１）

上記式（１）におけるλはRate-Distortion（ＲＤ）最適化手法で用いられるパラメータである。パラメータλは、第２の符号化方式にて量子化を行う場合の量子化パラメータｑに比例する値を用いて算出することができる。例えば、以下の式（２）に従ってパラメータλを算出することができる。量子化パラメータは、量子化の際の圧縮率を調整するパラメータである。

λ＝０．８５・２^{（ｑ‐１２）／３} （２）

継承判定部２０は、コスト算出部１８によって算出された符号化コストＣｔに基づいて、第１の符号化方式の符号化モードを、第２の符号化方式の符号化モードとして継承するか否かを判定する。

具体的には、継承判定部２０は、符号化コストＣｔが所定の閾値ＴＨ以下であるか否かに応じて、可変長復号部１２によって取得された第１の符号化方式の符号化モードを継承するか否かを判定する。継承判定部２０は、符号化コストＣｔが所定の閾値ＴＨ以下である場合には、可変長復号部１２によって取得された第１の符号化方式の符号化モードを継承すると判定する。一方、継承判定部２０は、符号化コストＣｔが所定の閾値ＴＨより大きい場合には、第１の符号化方式の符号化モードを継承しないと判定し、後述するモード判定部２４において第２の符号化方式のモード判定が行われる。

本実施形態では、逆量子化部１４による逆量子化によって、量子化されていた対象データが復元される。そして、仮量子化部１６は、復元された対象データに対し、第２の符号化方式の量子化に対応した仮量子化を行う。これにより、仮量子化部１６によって得られた仮量子化結果を、第２の符号化方式での量子化結果の推定値とすることができる。

図２に、符号化コストＣｔを用いた符号化モードの継承に関する判定と量子化誤差Ｄ及びビット量Ｂとの関係を説明するための説明図を示す。図２に示すように、量子化誤差Ｄとビット量Ｂとに応じて、第１の符号化方式の符号化モードを継承するか又は新たにモード判定を行うかの判定が行われる。

なお、閾値ＴＨの設定方法としては、例えば、前ピクチャの１ブロック当たりのビット数の平均をｂとし、前ピクチャの１ブロック当たりの量子化誤差の平均をｄとした場合、以下の式（３）に従って、閾値ＴＨを設定することができる。

ＴＨ＝ｄ＋λ・ｂ （３）

上記式（３）により算出される閾値ＴＨを用いることにより、前ピクチャの統計情報から推測できる平均的な符号化コストを閾値として設定することができる。

符号化部２２は、継承判定部２０の判定結果に応じた符号化を行う。符号化部２２は、モード判定部２４と、パラメータ生成部２６と、変換部２８とを備える。

モード判定部２４は、継承判定部２０によって第１の符号化方式の符号化モードを継承しないと判定した場合に、第２の符号化方式の符号化モードの判定をする。符号化モードの判定には、動画像における画像の動き量の推定方式の一例である動きベクトルに関するモードの判定が含まれる。

具体的には、モード判定部２４は、第２の符号化方式に適した符号化モードの判定を行う。第２の符号化方式の符号化モードの判定を行うことにより、例えば、予測モード、ブロックサイズに関するモード、及び動きベクトルに関するモードについて、何れのモードを選択すべきかが判定される。例えば、第２の符号化方式としてＨ．２６４／Advanced Video Coding（ＡＶＣ）を用いる場合、Joint Model（ＪＭ）という符号化モードの判定方法を用いることができる。ＪＭでは、符号化効率に関する評価尺度に応じて特定の予測モードが選択される。

また、第２の符号化方式としてHigh Efficiency Video Coding（ＨＥＶＣ）を用いる場合、HEVC Test Model（ＨＭ）という符号化モードの判定方法を用いることできる。ＨＭでは、複数のブロックサイズから符号化に適したブロックサイズが選択される。

そして、モード判定部２４は、第２の符号化方式に適した符号化モードに応じた符号化パラメータを生成する。

パラメータ生成部２６は、継承判定部２０によって第１の符号化方式の符号化モードを第２の符号化方式の符号化モードとして継承すると判定された場合に、継承された符号化モードに応じた符号化パラメータを生成する。

例えば、第１の符号化方式がＨ．２６４であり、第２の符号化方式がＨＥＶＣである場合の符号化パラメータの生成について説明する。以下の表１に、Ｈ．２６４の符号化モードから、ＨＥＶＣの符号化モードへ変換する例を示す。なお、動画像の各フレームには、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの３種類が存在するが説明の簡単のため、以下の表１では、符号化モードの一例であるＰピクチャのMacro Block Type（ＭＢＴＹＰＥ）の変換例を示す。

上記表１に示されるように、Ｈ.２６４の各マクロブロックタイプに対し、ＨＥＶＣの３種類のパラメータが対応する。なお、Ｈ．２６４のマクロブロックサイズは１６ｘ１６である。また、ＨＥＶＣでは、画像はCoding Tree Unit（ＣＴＵ）と呼ばれるブロックに分割される。ＨＥＶＣのＣＴＵサイズは１６ｘ１６〜６４ｘ６４で選択可能であるが、ここでは、ＣＴＵサイズを１６ｘ１６とした例を示す。なお、ＣＴＵサイズが１６ｘ１６より大きい場合であっても、Coding Unit（ＣＵ）が１６ｘ１６以下になるように分割すればよい。

上記表１におけるＭＢＴＹＰＥは、Ｈ．２６４のＰピクチャにおけるマクロブロックタイプを表す。「P_L0_16x16」は、インター予測、ブロックタイプが１６ｘ１６、１つの１６ｘ１６動き予測パーティション、及びＬ０方向の予測を表している。また、「P_L0_L0_16x8」は、インター予測、ブロックタイプが１６ｘ８、２つの１６ｘ８動き予測パーティション、及び２つともＬ０方向の予測を表している。「P_8x8」は、４つの８ｘ８サブマクロブロックに分割されることを表す。また、「P_8x8ref0」及び「P_SKIP」は、参照ベクトルが何れであるかの情報を表す参照インデックスを省略して符号化するマクロブロックタイプを表す。

また、「CUSplitFlag」はスプリットフラグを表し、「CUSplitFlag」が「０」の場合は、ＨＥＶＣにおいてはブロックを分割しないことを表す。また、「CUSplitFlag」が「１」の場合は、ＨＥＶＣにおいてブロックを１回分割し、サブマクロブロックを生成することを表す。

また、「PredMode」は予測モードを表し、「INTER」は予測モードがインター予測であることを表す。また「PartMode」はブロックの分割モードを表す。例えば、「PART_2Nx2N」は、ＨＥＶＣにおいてＣＵが分割されないことを表す。

上記表１のＭＢＴＹＰＥの符号化モードが、「CUSplitFlag」、「PredMode」、及び「PartMode」の各設定に応じて第２の符号化方式であるＨＥＶＣの符号化モードとして継承される。

そして、パラメータ生成部２６は、継承された符号化モードに応じて符号化パラメータを生成する。

変換部２８は、モード判定部２４によって生成された符号化パラメータ又はパラメータ生成部２６によって生成された符号化パラメータに基づいて、第２のビットストリームを生成する。具体的には、変換部２８は、第２の符号化方式に適用する符号化パラメータに基づいて、符号化対象ブロックへの分割、予測差分の取得、予測差分に対する直交変換と量子化を行い、第２のビットストリームを生成する。

トランスコーダ１０は、例えば、図３に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置及び入力装置等の入出力装置５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークinterface（Ｉ／Ｆ）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０をトランスコーダ１０として機能させるための動画像符号化プログラム６０が記憶されている。動画像符号化プログラム６０は、可変長復号プロセス６２と、逆量子化プロセス６３と、仮量子化プロセス６４と、コスト算出プロセス６５と、継承判定プロセス６６と、モード判定プロセス６７と、パラメータ生成プロセス６８と、変換プロセス６９とを有する。

ＣＰＵ５１は、動画像符号化プログラム６０を記憶部５３から読み出してメモリ５２に展開し、動画像符号化プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、可変長復号プロセス６２を実行することで、図１に示す可変長復号部１２として動作する。また、ＣＰＵ５１は、逆量子化プロセス６３を実行することで、図１に示す逆量子化部１４として動作する。また、ＣＰＵ５１は、仮量子化プロセス６４を実行することで、図１に示す仮量子化部１６として動作する。また、ＣＰＵ５１は、コスト算出プロセス６５を実行することで、図１に示すコスト算出部１８として動作する。また、ＣＰＵ５１は、継承判定プロセス６６を実行することで、図１に示す継承判定部２０として動作する。また、ＣＰＵ５１は、モード判定プロセス６７を実行することで、図１に示すモード判定部２４として動作する。また、ＣＰＵ５１は、パラメータ生成プロセス６８を実行することで、図１に示すパラメータ生成部２６として動作する。また、ＣＰＵ５１は、変換プロセス６９を実行することで、図１に示す変換部２８として動作する。これにより、動画像符号化プログラム６０を実行したコンピュータ５０が、トランスコーダ１０として機能することになる。そのため、ソフトウェアである動画像符号化プログラム６０を実行するプロセッサはハードウェアである。

なお、動画像符号化プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、第１の実施形態に係るトランスコーダ１０の作用について説明する。トランスコーダ１０において、第１の符号化方式に対応した第１のエンコーダによって符号化された第１のビットストリームが入力されると、可変長復号部１２に入力され、第１のビットストリームを取得する。そして、可変長復号部１２は、第１のビットストリームから処理対象とするピクチャを設定する。そして、トランスコーダ１０において、図４に示す再符号化処理が実行される。図４に示す再符号化処理は、フレームを表すピクチャ毎に実行される。以下、各処理について詳述する。

ステップＳ９０において、可変長復号部１２は、処理対象とするピクチャに含まれる１つのブロックを設定する。

ステップＳ１００において、可変長復号部１２は、第１の符号化方式に応じた復号化方式に従って、上記ステップＳ９０で設定されたブロックを復号する。そして、可変長復号部１２は、復号されたブロックの量子化パラメータ、第１の符号化方式に応じて量子化された第１の量子化係数、符号化モード、及び符号化パラメータを取得する。

ステップＳ１０２において、逆量子化部１４は、上記ステップＳ１００で取得されたブロックの量子化パラメータ及び量子化された第１の量子化係数に基づいて、第１の量子化係数を逆量子化して、第１の逆量子化係数を取得する。

ステップＳ１０４において、仮量子化部１６は、上記ステップＳ１０２で取得された第１の逆量子化係数を、第２の符号化方式に対応した量子化方式を用いて量子化し、第２の量子化係数を取得する。また、仮量子化部１６は、第２の量子化係数を逆量子化して第２の逆量子化係数を算出する。

ステップＳ１０６において、コスト算出部１８は、上記ステップＳ１０４で取得された第２の量子化係数を逆量子化し、第２の逆量子化係数を取得する。そして、コスト算出部１８は、上記ステップＳ１０２で取得された第１の逆量子化係数と、上記ステップＳ１０４で取得された第２の逆量子化係数とから量子化誤差Ｄを算出する。また、コスト算出部１８は、仮量子化部１６によって取得された第２の量子化係数を第２の符号化方式によって符号化した場合に発生するビット量Ｂを推定する。

ステップＳ１０８において、コスト算出部１８は、上記ステップＳ１０６で算出された量子化誤差Ｄ及びビット量Ｂに基づいて、例えば上記式（１）に従って、符号化コストＣｔを算出する。なお、上記式（１）におけるパラメータλは、上記ステップＳ１００で取得された量子化パラメータに基づいて、上記式（２）に従って算出される。

ステップＳ１１０において、継承判定部２０は、上記ステップＳ１０８で算出された符号化コストＣｔと閾値ＴＨとに基づいて、第１の符号化方式の符号化モードを、第２の符号化方式の符号化モードとして継承するか否かを判定する。具体的には、継承判定部２０は、上記ステップＳ１０８で算出された符号化コストＣｔが閾値ＴＨ以下である場合には、第１の符号化方式の符号化モードを継承すると判定し、ステップＳ１１２へ進む。一方、継承判定部２０は、上記ステップＳ１０８で算出された符号化コストＣｔが閾値ＴＨより大きい場合には、第１の符号化方式の符号化モードを継承しないと判定し、ステップＳ１１４へ進む。なお、閾値ＴＨを上記式（３）に従って算出する場合には、継承判定部２０は、前ピクチャの１ブロック当たりのビット数の平均ｂと、前ピクチャの１ブロック当たりの量子化誤差の平均ｄとを取得し、上記式（３）に従って、閾値ＴＨを算出する。

ステップＳ１１２において、パラメータ生成部２６は、第１の符号化方式の符号化モードを第２の符号化方式の符号化モードとして継承し、継承した符号化モードに応じた符号化パラメータを生成する。

ステップＳ１１４において、モード判定部２４は、第２の符号化方式に適した符号化モードの判定をする。そして、モード判定部２４は、判定した第２の符号化方式の符号化モードに応じた符号化パラメータを生成する。

ステップＳ１１６において、変換部２８は、上記ステップＳ１１２で生成された符号化パラメータ又は上記ステップＳ１１４で生成された符号化パラメータに基づいて、第２のビットストリームを生成する。

ステップＳ１１８において、変換部２８は、特定のピクチャに含まれる全てのブロックについて、上記ステップＳ９０〜ステップＳ１１６の処理を実行したか否かを判定する。全てのブロックについて、上記ステップＳ９０〜ステップＳ１１６の処理を実行した場合には、処理を終了する。一方、上記ステップＳ９０〜ステップＳ１１６の処理を実行していないブロックが存在する場合には、ステップＳ９０へ戻る。

以上説明したように、第１の実施形態に係るトランスコーダは、第１の符号化方式にて量子化された第１の量子化係数を逆量子化して、第１の逆量子化係数を取得する。そして、トランスコーダは、第１の逆量子化係数を、第２の符号化方式にて量子化して、第２の量子化係数を取得する。そして、トランスコーダは、第２の量子化係数が逆量子化された第２の逆量子化係数と第１の逆量子化係数との差分に応じた量子化誤差に基づいて、符号化コストを算出する。そして、トランスコーダは、符号化コストに応じて、第１の符号化方式の符号化モードを第２の符号化方式の符号化モードとして継承するか否かを判定する。これにより、トランスコードを行う場合の計算量を低減させることができる。具体的には、第１の符号化方式の符号化モードを継承する場合には、第２の符号化方式の符号化モードの判定を行う必要がないため、計算量を低減させることができる。

また、本実施形態のトランスコーダは、第２の符号化方式に対応した量子化を行った場合の量子化誤差Ｄ及び第２の符号化方式を用いて符号化を行った場合のビット量Ｂを事前に算出し、量子化誤差Ｄ及びビット量Ｂから符号化コストＣｔを算出する。そして、動画像符号化装置は、第２の符号化方式の符号化モード判定（例えば、動きベクトル探索）を行う前に、第１の符号化方式の符号化モードを継承するか否かの判定を行うため、符号化モード判定の計算量を低減させることができる。従って、第２の符号化方式に応じた量子化及び逆量子化に関する符号化コストの計算処理が増えるのみであり、トランスコードの処理の全体としては計算量を低減させることができる。

また、符号化コストが大きいブロックを低演算量で検知することで、トランスコードのモード判定を効率良く行い、モード判定にかかる演算量を削減する。

また、全てのフレームについてモード判定を行う場合の計算量と、全てのフレームについて符号化モードを継承する場合の符号化効率とに応じて、モード判定処理と符号化モードの継承との間におけるベストバランスを考慮したトランスコードを行うことができる。

＜第２の実施形態＞

次に、第２の実施形態について説明する。第２の実施形態では、量子化誤差とビット量との比を表すコストに応じて、第１の符号化方式の符号化モードを継承するか否かを判定する点が、第１の実施形態と異なる。なお、第２の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施形態のトランスコーダ１０のコスト算出部１８は、第１の実施形態と同様に、量子化誤差Ｄ及びビット量Ｂを算出する。次に、コスト算出部１８は、算出された量子化誤差Ｄと推定されたビット量Ｂとに基づいて、以下の式（４）に従って、コストＲを算出する。

コストＲ＝量子化誤差Ｄ／ビット量Ｂ （４）

上記式（４）により算出されるコストＲは、１ｂｉｔあたりの量子化誤差を表す。１ｂｉｔあたりの量子化誤差が小さければ、符号化効率が高いといえる。

第２の実施形態のトランスコーダ１０の継承判定部２０は、コスト算出部１８によって算出されたコストＲと予め定められた閾値とを比較する。そして、継承判定部２０は、コストＲが閾値以下の場合、第１の符号化方式の符号化モードを継承したときの符号化効率が高いと判定し、第１の符号化方式の符号化モードの継承を選択する。一方、継承判定部２０は、コストＲが閾値より大きい場合、より符号化効率を高めるために、第２の符号化方式の符号化モード判定の実行を選択する。

図５に、コストＲを用いた符号化モードの継承に関する判定と量子化誤差Ｄ及びビット量Ｂとの関係を説明するための説明図を示す。量子化誤差Ｄとビット量Ｂとに応じてコストＲの値は異なるため、図５に示すように、量子化誤差Ｄとビット量Ｂとに応じて第１の符号化方式の符号化モードを継承するか又は新たにモード判定を行うかの判定が行われる。なお、継承を判定するための閾値は、第１の実施形態におけるパラメータλと同様に量子化パラメータに依存する。そのため、継承を判定するための閾値は、量子化パラメータによって調整される。

また、例えば、ブロック内の画素数が少なく低レートである場合、１ｂｉｔあたりの量子化誤差を低減させる必要があるため、継承を判定するための閾値が高く設定されるようにしてもよい。また、ブロック内の画素値の変動が少ない平坦部では、ブロックサイズの拡大などの選択が可能であり、１ｂｉｔあたりの量子化誤差を低減させる必要性は低いため、継承を判定するための閾値が低く設定されるようにしてもよい。

以上説明したように、第２の実施形態に係る動画像符号化装置は、量子化誤差とビット量との比を表すコストに応じて、第１の符号化方式の符号化モードを継承するか否かを判定する。これにより、符号化効率に応じて、第１の符号化方式の符号化モードを継承するか否かを判定することができる。

＜第３の実施形態＞

次に、第３の実施形態について説明する。

符号化方式の直交変換方式としては、例えば、Ｈ．２６４ではDiscrete Cosine Transform（ＤＣＴ）が直交変換方式として採用されており、ＨＥＶＣのIntra4ｘ4ではDiscrete Sine Transform（ＤＳＴ）が直交変換方式として採用されている。そのため、直交変換方式が異なる符号化方式間においてトランスコードを行う場合には対策を施す必要がある。

第３の実施形態では、第１の符号化方式における第１の直交変換方式と、第２の符号化方式における第２の直交変換方式とが異なる場合について説明する。第３の実施形態では、第１の符号化方式における第１の直交変換方式がＤＣＴであり、第２の符号化方式における第２の直交変換方式がＤＳＴである場合を例に説明する。なお、第１又は第２実施形態と同一の部分には同一の符号を付し、説明を省略する。

図６に示す第３実施形態に係るトランスコーダ３１０は、可変長復号部１２と、逆量子化部１４と、逆直交変換部３１４と、仮正直交変換部３１５と、仮量子化部１６と、コスト算出部１８と、継承判定部２０と、符号化部２２とを備えている。仮正直交変換部３１５は、開示の技術の正直交変換部の一例である。

逆直交変換部３１４は、逆量子化部１４によって取得された第１の逆量子化係数に対しＤＣＴの逆直交変換を行い、第１の逆量子化係数に対する逆直交変換係数を取得する。

仮正直交変換部３１５は、逆直交変換部３１４によって取得された逆直交変換係数に対しＤＳＴの直交変換を行い、逆直交変換係数に対する第２の直交変換係数を取得する。

なお、逆直交変換部３１４及び仮正直交変換部３１５の演算は、行列演算で表現することができる。例えば、ＤＣＴの直交変換行列をＸ_１、ＤＳＴの直交変換行列をＸ_２、第１の逆量子化係数の係数行列をＣ’とする。

第１の逆量子化係数の係数行列Ｃ’に対する逆直交変換によって得られる、逆直交変換係数の係数行列はＸ_１ ^ｔ・Ｃ’・Ｘ_１となる。逆直交変換係数の係数行列Ｘ_１ ^ｔ・Ｃ’・Ｘ_１は画素行列Ｃに対応する。

また、画素行列Ｃに対する直交変換は、Ｘ_２・Ｃ・Ｘ_２ ^ｔとなる。そのため、逆直交変換部３１４及び仮正直交変換部３１５の演算は、以下の式（５）に示すようになる。

Ｘ_２・（Ｘ_１ ^ｔ・Ｃ’・Ｘ_１）・Ｘ_２ ^ｔ （５）

上記式（５）において、Ｘ_２・Ｘ_１ ^ｔ＝Ｙ_ａとおき、かつＸ_１・Ｘ_２ ^ｔ＝Ｙ_ｂとおけば、上記式（５）は、以下の式（６）に示すようになる。

Ｙ_ａ・Ｃ’・Ｙ_ｂ （６）

なお、第１の逆量子化係数の係数行列Ｃ’は、第１の符号化方式による量子化によって一度量子化された係数であるため、０が多い疎行列となる。そのため、係数行列Ｃ’の各列のうち、全ての要素が０の列は処理しなくてよいため、係数行列Ｃ’に対して演算することで、単に直交変換するよりも計算量を低減させることができる。

次に、ＤＣＴの変換行列の具体例を用いて説明する。なお、以下の説明では、直交変換の対象となる画素ブロックのサイズを４ｘ４とし、整数化された直交変換を例に説明する。ＤＣＴの４ｘ４の直交変換行列Ｘ_{１（４ｘ４）}は、例えば、以下の式（７）によって表される。

（７）

上記式（７）に示す直交変換行列Ｘ_{１（４ｘ４）}の逆行列は転置行列と一致する。そのため、Ｘ_{１（４ｘ４）}の逆行列ｉＸ_{１（４ｘ４）}をｉＸ_{１（４ｘ４）}＝Ｘ_１ ^ｔ _{（４ｘ４）}とすると、４ｘ４の画素ブロックをＣとした場合、２次元ＤＣＴによる直交変換行列は以下の式（８）で表せる。なお、以下の式（８）における「（６４＊６４）」は、予め設定されたスケール係数である。

Ｃ’＝Ｘ_{１（４ｘ４）}・Ｃ・Ｘ_１ ^ｔ _{（４ｘ４）}／（６４＊６４） （８）

そのため、ＤＣＴによる逆直交変換は、以下の式（９）で表せる。

Ｃ＝Ｘ_１ ^ｔ _{（４ｘ４）}・Ｃ’・Ｘ_{１（４ｘ４）}／（６４＊６４） （９）

また、ＤＳＴの４ｘ４の直交変換行列Ｘ_{２（４ｘ４）}は、例えば、以下の式（１０）によって表される。

（１０）

上記式（１０）の直交変換行列Ｘ_{２（４ｘ４）}の逆行列をＸ_２ ^ｔ _{（４ｘ４）}とすると、ＤＳＴによる直交変換は、以下の式（１１）によって表される。

Ｃ’＝Ｘ_{２（４ｘ４）}・Ｃ・Ｘ_２ ^ｔ _{（４ｘ４）}／（６４＊６４） （１１）

つまり、上記式（９）のＤＣＴによる逆直交変換と、上記式（１１）のＤＳＴによる直交変換とを統合すると、以下の式（１２）に示すようになる。

Ｃ’＝Ｘ_{２（４ｘ４）}・Ｘ_１ ^ｔ _{（４ｘ４）}・Ｃ・Ｘ_{１（４ｘ４）}／（６４＊６４）・Ｘ_２ ^ｔ _{（４ｘ４）}／（６４＊６４）
Ｃ’＝Ｘ_{２（４ｘ４）}・Ｘ_１ ^ｔ _{（４ｘ４）}・Ｃ・Ｘ_{１（４ｘ４）}・Ｘ_２ ^ｔ _{（４ｘ４）}／（６４＊６４＊６４＊６４）
（１２）

ここで、Ｙ_ａ＝Ｘ_{２（４ｘ４）}・Ｘ_１ ^ｔ _{（４ｘ４）}とし、Ｙ_ｂ＝Ｘ_{１（４ｘ４）}・Ｘ_２ ^ｔ _{（４ｘ４）}とすると、以下の式（１３）となる。

Ｃ’＝Ｙ_ａ・Ｃ・Ｘ_{１（４ｘ４）}・Ｙ_ｂ／（６４＊６４＊６４＊６４） （１３）

また、具体的には、Ｙ_ａ及びＹ_ｂは以下の式（１４）、（１５）に示すようになる。

（１４）

（１５）

したがって、入力されたビットストリームの４ｘ４の直交変換係数行列をＣとした場合、上記式（１３）に従って、第２の符号化方式に応じて直交変換されたときに得られる係数行列Ｃ’が算出される。

仮量子化部１６は、仮正直交変換部３１５によって取得された各フレームの第２の直交変換係数を、第２の量子化に応じて量子化して、各フレームの第２の量子化係数を取得する。

トランスコーダ３１０は、例えば、図７に示すコンピュータ３５０で実現することができる。コンピュータ３５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部３５３を備える。また、コンピュータ３５０は、表示装置及び入力装置等の入出力装置５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部５５を備える。また、コンピュータ３５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部３５３、入出力装置５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部３５３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部３５３には、コンピュータ３５０をトランスコーダ３１０として機能させるための動画像符号化プログラム３６０が記憶されている。動画像符号化プログラム３６０は、可変長復号プロセス６２と、逆量子化プロセス６３と、逆直交変換プロセス３６２と、仮正直交変換プロセス３６３とを有する。また、動画像符号化プログラム３６０は、仮量子化プロセス６４と、コスト算出プロセス６５と、継承判定プロセス６６と、モード判定プロセス６７と、パラメータ生成プロセス６８と、変換プロセス６９とを有する。

ＣＰＵ５１は、動画像符号化プログラム３６０を記憶部３５３から読み出してメモリ５２に展開し、動画像符号化プログラム３６０が有するプロセスを順次実行する。ＣＰＵ５１は、可変長復号プロセス６２を実行することで、図６に示す可変長復号部１２として動作する。また、ＣＰＵ５１は、逆量子化プロセス６３を実行することで、図６に示す逆量子化部１４として動作する。また、ＣＰＵ５１は、逆直交変換プロセス３６２を実行することで、図６に示す逆直交変換部３１４として動作する。また、ＣＰＵ５１は、仮正直交変換プロセス３６３を実行することで、図６に示す仮正直交変換部３１５として動作する。また、ＣＰＵ５１は、仮量子化プロセス６４を実行することで、図６に示す仮量子化部１６として動作する。また、ＣＰＵ５１は、コスト算出プロセス６５を実行することで、図６に示すコスト算出部１８として動作する。また、ＣＰＵ５１は、継承判定プロセス６６を実行することで、図６に示す継承判定部２０として動作する。また、ＣＰＵ５１は、モード判定プロセス６７を実行することで、図６に示すモード判定部２４として動作する。また、ＣＰＵ５１は、パラメータ生成プロセス６８を実行することで、図６に示すパラメータ生成部２６として動作する。また、ＣＰＵ５１は、変換プロセス６９を実行することで、図６に示す変換部２８として動作する。これにより、動画像符号化プログラム３６０を実行したコンピュータ３５０が、トランスコーダ３１０として機能することになる。そのため、ソフトウェアである動画像符号化プログラム３６０を実行するプロセッサはハードウェアである。

なお、動画像符号化プログラム３６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、第３の実施形態に係るトランスコーダ３１０の作用について説明する。トランスコーダ３１０において、第１のエンコーダによって符号化された第１のビットストリームが入力されると、トランスコーダ３１０において、図８に示す動画像符号化処理が実行される。以下、各処理について詳述する。

ステップＳ１００〜ステップＳ１０２は、第１の実施形態と同様に実行される。

ステップＳ２０２において、逆直交変換部３１４は、ステップＳ１０２で取得された第１の逆量子化係数に対しＤＣＴの逆直交変換を行い、第１の逆量子化係数に対する逆直交変換係数を取得する。

ステップＳ２０３において、仮正直交変換部３１５は、上記ステップＳ２０２で取得された逆直交変換係数に対しＤＳＴの直交変換を行い、逆直交変換係数に対する第２の直交変換係数を取得する。

ステップＳ１０４〜ステップＳ１１８は、第１の実施形態と同様に実行される。

以上説明したように、第３の実施形態に係る動画像符号化装置は、第１の符号化方式の第１の直交変換方式と、第２の符号化方式の第２の直交変換方式とが異なる場合、逆量子化係数に対し第１の直交変換方式の逆直交変換を行い、逆直交変換係数を取得する。そして、動画像符号化装置は、逆直交変換係数に対し第２の直交変換方式の直交変換を行い、逆直交変換係数に対する第２の直交変換係数を第１の逆量子化係数として取得する。これにより、第１の符号化方式における第１の直交変換方式と第２の符号化方式における第２の直交変換方式とが異なる場合であっても、第１の符号化方式の符号化モードを第２の符号化方式の符号化モードとして継承するか否かを判定することができる。

なお、上記では、動画像符号化プログラム６０及び動画像符号化プログラム３６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する判定部と、
前記判定部によって前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う演算部と、
を含むトランスコーダ。

（付記２）
前記量子化係数である第１の量子化係数を逆量子化して、第１の逆量子化係数を取得する逆量子化部と、
前記逆量子化部によって取得された前記第１の逆量子化係数を、前記第２の符号化方式にて量子化し、更に逆量子化した第２の逆量子化係数を取得する量子化部と、を更に含み、
前記判定部は、前記逆量子化部によって取得された前記第１の逆量子化係数と、前記量子化部によって取得された前記第２の逆量子化係数とに応じた量子化誤差に基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記１に記載のトランスコーダ。

（付記３）
前記判定部は、前記量子化誤差と、前記第２の符号化方式にて符号化した場合に発生するビット量とに基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記２に記載のトランスコーダ。

（付記４）
前記演算部は、前記判定部によって前記符号化モードを継承すると判定された場合に、継承された前記符号化モードに応じた符号化パラメータを生成する、
付記２又は付記３に記載のトランスコーダ。

（付記５）
前記第１の符号化方式における第１の直交変換方式と、前記第２の符号化方式における第２の直交変換方式とが異なる場合、前記逆量子化部によって取得された前記逆量子化係数に対し、前記第１の直交変換方式の逆直交変換を行い、逆直交変換係数を取得する逆直交変換部と、
前記逆直交変換部によって取得された前記逆直交変換係数に対し、前記第２の直交変換方式に対応する直交変換を行い、前記逆直交変換係数に対する第２の直交変換係数を前記第１の逆量子化係数として取得する正直交変換部と、
を更に含む、付記２〜付記４の何れか１項に記載のトランスコーダ。

（付記６）
第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定し、
前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う、
処理をコンピュータが実行するトランスコード方法。

（付記７）
前記量子化係数である第１の量子化係数を逆量子化して、第１の逆量子化係数を取得し、
取得された前記第１の逆量子化係数を、前記第２の符号化方式にて量子化し、更に逆量子化した第２の逆量子化係数を更に取得し、
取得された前記第１の逆量子化係数と、取得された前記第２の逆量子化係数とに応じた量子化誤差に基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記６に記載のトランスコード方法。

（付記８）
前記量子化誤差と、前記第２の符号化方式にて符号化した場合に発生するビット量とに基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記７に記載のトランスコード方法。

（付記９）
前記符号化モードを継承すると判定された場合に、継承された前記符号化モードに応じた符号化パラメータを生成する、
付記７又は付記８に記載のトランスコード方法。

（付記１０）
前記第１の符号化方式における第１の直交変換方式と、前記第２の符号化方式における第２の直交変換方式とが異なる場合、取得された前記逆量子化係数に対し、前記第１の直交変換方式の逆直交変換を行い、逆直交変換係数を取得し、
取得された前記逆直交変換係数に対し、前記第２の直交変換方式に対応する直交変換を行い、前記逆直交変換係数に対する第２の直交変換係数を前記第１の逆量子化係数として取得する、
付記７〜付記９の何れか１項に記載のトランスコード方法。

（付記１１）
第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定し、
前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う、
処理をコンピュータに実行させるトランスコードプログラム。

（付記１２）
前記量子化係数である第１の量子化係数を逆量子化して、第１の逆量子化係数を取得し、
取得された前記第１の逆量子化係数を、前記第２の符号化方式にて量子化し、更に逆量子化した第２の逆量子化係数を更に取得し、
取得された前記第１の逆量子化係数と、取得された前記第２の逆量子化係数とに応じた量子化誤差に基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記１１に記載のトランスコードプログラム。

（付記１３）
前記量子化誤差と、前記第２の符号化方式にて符号化した場合に発生するビット量とに基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
付記１２に記載のトランスコードプログラム。

（付記１４）
前記符号化モードを継承すると判定された場合に、継承された前記符号化モードに応じた符号化パラメータを生成する、
付記１２又は付記１３に記載のトランスコードプログラム。

（付記１５）
前記第１の符号化方式における第１の直交変換方式と、前記第２の符号化方式における第２の直交変換方式とが異なる場合、取得された前記逆量子化係数に対し、前記第１の直交変換方式の逆直交変換を行い、逆直交変換係数を取得し、
取得された前記逆直交変換係数に対し、前記第２の直交変換方式に対応する直交変換を行い、前記逆直交変換係数に対する第２の直交変換係数を前記第１の逆量子化係数として取得する、
付記１２〜付記１４の何れか１項に記載のトランスコードプログラム。

（付記１６）
第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定し、
前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う、
処理をコンピュータに実行させるトランスコードプログラムを記憶した記憶媒体。

１０，３１０ 動画像符号化装置
１２ 可変長復号部
１４ 逆量子化部
１６ 仮量子化部
１８ コスト算出部
２０ 継承判定部
２２ 符号化部
２４ モード判定部
２６ パラメータ生成部
２８ 変換部
５０，３５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３，３５３ 記憶部
６０，３６０ 動画像符号化プログラム
３１４ 逆直交変換部
３１５ 仮正直交変換部

Claims (7)

1. 第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する判定部と、
   前記判定部によって前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う演算部と、
   を含むトランスコーダ。
2. 前記量子化係数である第１の量子化係数を逆量子化して、第１の逆量子化係数を取得する逆量子化部と、
   前記逆量子化部によって取得された前記第１の逆量子化係数を、前記第２の符号化方式にて量子化し、更に逆量子化した第２の逆量子化係数を取得する量子化部と、を更に含み、
   前記判定部は、前記逆量子化部によって取得された前記第１の逆量子化係数と、前記量子化部によって取得された前記第２の逆量子化係数とに応じた量子化誤差に基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
   請求項１に記載のトランスコーダ。
3. 前記判定部は、前記量子化誤差と、前記第２の符号化方式にて符号化した場合に発生するビット量とに基づいて、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定する、
   請求項２に記載のトランスコーダ。
4. 前記演算部は、前記判定部によって前記符号化モードを継承すると判定された場合に、継承された前記符号化モードに応じた符号化パラメータを生成する、
   請求項２又は請求項３に記載のトランスコーダ。
5. 前記第１の符号化方式における第１の直交変換方式と、前記第２の符号化方式における第２の直交変換方式とが異なる場合、前記逆量子化部によって取得された前記逆量子化係数に対し、前記第１の直交変換方式の逆直交変換を行い、逆直交変換係数を取得する逆直交変換部と、
   前記逆直交変換部によって取得された前記逆直交変換係数に対し、前記第２の直交変換方式に対応する直交変換を行い、前記逆直交変換係数に対する第２の直交変換係数を前記第１の逆量子化係数として取得する正直交変換部と、
   を更に含む、請求項２〜請求項４の何れか１項に記載のトランスコーダ。
6. 第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定し、
   前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う、
   処理をコンピュータが実行するトランスコード方法。
7. 第１の符号化方式によって符号化されたビットストリームを、第２の符号化方式によって符号化する場合に、前記第１の符号化方式にて量子化された量子化係数から、前記第１の符号化方式の符号化モードを前記第２の符号化方式の符号化モードとして継承するか否かを判定し、
   前記符号化モードを継承すると判定された場合に、前記第１の符号化方式の符号化モードを用いて前記第２の符号化方式の符号化を行う、
   処理をコンピュータに実行させるトランスコードプログラム。