JP2010187337A

JP2010187337A - 動画像変換装置及び動画像変換方法

Info

Publication number: JP2010187337A
Application number: JP2009031749A
Authority: JP
Inventors: Takahiro Takimoto; 崇博瀧本; Tomoya Kodama; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-02-13
Filing date: 2009-02-13
Publication date: 2010-08-26

Abstract

【課題】トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供すること。
【解決手段】符号化された入力画像データの一のフレームの符号化複雑度を独立変数とし、出力画像データにおける一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、変換関数により、出力画像データにおけるフレームの符号化複雑度を算出する、推定符号化複雑度算出部と、算出された符号化複雑度に基づいて、目標符号量を割り当てる割当符号量算出部と、入力画像データにおける一のフレームが復号化された復号化画像の符号化を行う符号化部と、を有することを特徴とする動画像変換装置。
【選択図】図１

Description

本発明は、動画像変換装置及び方法、特に、符号化複雑度を用いて適応的な符号量割り当てを提供する動画像変換装置及び方法に関する。

従来から、可変ビットレート制御により、動画像を符号化する技術、又は、入力画像ストリームを別の形式に再圧縮（以下、「トランスコード」という。）する技術がある。このような技術では、適応的な符号量割り当てを実現するために、これから符号化する画像シーケンスのフレーム毎の符号化の難しさ（以下、「符号化複雑度」という。）を長い区間精度良く推定することが重要となってくる。

シーケンスを通じて、量子化パラメータが同じ場合は、入力画像ストリームの発生符号量遷移は、シーケンスを通じての符号化複雑度遷移と同じと見なすことができ、各フレームの符号化複雑度に応じて符号量を割り当てることができる。

例えば、特開２００６−３３０１４号公報（特許文献１）では、トランスコードする際、入力画像ストリームの符号量の時間軸上の変化を前もって取得し、取得したトランスコード前の符号量遷移に基づき、出力画像ストリームの符号量を割り当て制御する映像信号変換装置等の発明が開示されている。特許文献１では、符号化複雑度と発生符号量の遷移は同じとみなすことで適応的な符号量割り当てを行う。

また例えば、米国登録特許７０９９３８９公報では、トランスコードする際、トランスコード終了後の入力画像ストリームの符号化複雑度と出力画像ストリームの符号化複雑度との比率を用いて、出力画像ストリームにおいて未だトランスコードされないフレームの符号化複雑度を推定する発明が開示されている。

特開２００６−３３０１４号公報米国登録特許７０９９３８９公報特開平１０−０２３４１２号公報

しかしながら、放送などで用いられる固定ビットレート制御では、量子化パラメータを変化させてビットレートを一定に保つため、発生符号量遷移と符号化複雑度遷移とが同じではなく、上記特許文献１に記載の発明では符号化複雑度を推定することができない。

また、例えば同じ画像をＭＰＥＧ−２とＨ．２６４とで符号化した場合、双方の符号化複雑度の関係は必ずしも比例になるとは限らない。そこで、上記特許文献２に示される符号化複雑度推定法では、これからトランスコードするフレームの入力画像ストリームに関する符号化複雑度が、すでにトランスコードが終了したフレームに対する符号化複雑度と離れるほど、推定の信頼度が低下する。
特許文献１及び特許文献２の手法を用いると、符号化複雑度の推定精度が低い場合には、適切な符号量割り当てが行えず、画質劣化を招く。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供することを目的とする。

上記目的を達成するために、本発明の動画像変換装置は次の如き構成を採用した。

本発明の動画像変換装置は、符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出部と、算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出部と、割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化部と、を有する構成とすることができる。

また、上記目的を達成するために、本発明の動画像変換方法は、符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出ステップと、前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出ステップと、算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出ステップと、割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化ステップと、
を有する構成とすることができる。

本発明の動画像変換装置及び動画像変換方法によれば、トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供することが可能になる。

図１は、本発明の第一の実施形態に係わる映像変換装置の構成を示すブロック図である。図２は、符号化部１０７の構成図である。図３は、復号化部１０６の構成図である。図４は、本発明の第一の実施形態の動作を示すフローチャートである。図５は、ＧＯＰ内のピクチャ構造を表した概念図である。図６は、ＭＰＥＧ−２とＨ．２６４／ＡＶＣの符号化複雑度の関係を表した概念図である。図７は、符号化複雑度推定方法の概念図である。復号化の処理と符号化の処理との間に、バッファを設ける構成を示す図である。

以下、本実施の形態を図面に基づき説明する。

〔本実施の形態〕
図１は、第１の実施形態に係る動画像変換装置の機能構成を示すブロック図である。本実施形態に係る動画像符号化装置は、符号化情報取得部１０１、バッファ１０２、符号化情報取得部１０３、バッファ１０４、バッファ１０５、復号化部１０６、符号化部１０７、符号化複雑度変換関数算出部１０８、推定符号化複雑度算出部１０９、割当符号量算出部１１０、及び、量子化スケール決定部１１１を有する。

符号化情報取得部１０１は、入力画像ストリームの符号化情報を算出する。符号化情報取得部１０１は、例えば、入力画像ストリームから、フレーム毎の符号化複雑度を算出する。より詳細には、入力画像ストリームから、量子化スケール及びフレーム毎の符号量を取得し、これらの値から、符号化複雑度を算出する。バッファ１０２は、符号化情報取得部１０１が算出した符号化情報、例えば、符号化複雑度を格納する。

符号化情報取得部１０３は、符号化部１０７により符号化されて生成する出力画像ストリームにおける、フレーム毎の量子化スケール及び発生符号量を取得し、フレーム毎の符号化複雑度を出力する。バッファ１０４は、符号化情報取得部１０３により取得された符号化複雑度を格納する。

バッファ１０５は、入力画像ストリームを格納する。復号化部１０６は、入力画像ストリームを復号して、復号画像を生成し、符号化部１０７に対して出力する。符号化部１０７は、復号化部１０６から出力される復号画像を符号化して再び画像ストリームにする。これにより、トランスコードが実現できる。

符号化複雑度変換関数算出部１０８は、これから符号化するフレームの符号化複雑度を算出する変換関数を算出する。符号化複雑度変換関数算出部１０８は、トランスコード済みのフレームの、入力画像ストリームにおける符号化複雑度と出力画像ストリームにおける符号化複雑度との比から、変換関数を算出する。より詳細には、入力画像ストリームにおける一のフレームの符号化複雑度と、同一のフレームの出力画像ストリームにおける符号化複雑度との比を算出し、複数のフレームの符号化複雑度の比から、変換関数を算出する。

推定符号化複雑度算出部１０９は、符号化複雑度変換関数算出部１０８が算出する関数により、これから符号化するフレームの符号化複雑度を算出する。これにより、これから符号化するフレームの符号化複雑度を推定することができる。

割当符号量算出部１１０は、推定符号化複雑度算出部１０９により算出された符号化複雑度に基づいて、フレーム毎に割り当てる符号量を算出する。この符号量を目標値、すなわち目標符号量として、量子化スケール決定部１１１及び符号化部１０７が符号化の処理を行う。量子化スケール決定部１１１は、算出される符号化複雑度と割り当てられた符号量とから、フレーム毎の量子化スケールを決定する。

図２は、符号化部１０７の機能構成の例を説明する図である。符号化部１０７は、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣに準拠した符号化を行う。符号化部１０７は、動き検出部２０１、動き補償部２０２、減算部２０３、離散コサイン変換部２０４、量子化部２０５、エントロピー符号化部２０６、フレームメモリ２０７、加算部２０８、逆離散コサイン変換部２０９、及び、逆量子化部２１０を有する。なお、図中「離散コサイン変換」を「ＤＣＴ」と表記する。

動き検出部２０１は、符号化するフレームと参照するフレームとの間の動き検出を行い、動きベクトルを生成する。動き補償部２０２は、動きベクトルにより、参照するフレームに対する動き補償を行う。減算部２０３は、符号化するフレームと参照するフレームとの間の差分を取ることによりフレーム間の予測データを生成する。なお、参照するフレームに対して動き補償が行われた場合には、動き補償されたフレームと符号化するフレームとの間の差分データを生成する。

ＤＣＴ部２０４は、予測データ又は符号化するフレームのデータに対し、直交変換による周波数分解を行う。ＤＣＴ部２０４は、例えば、ＤＣＴを行う。量子化部２０５は、ＤＣＴ部２０４から出力される変換係数を量子化する。量子化部２０５は、量子化スケール決定部１１１により決定された量子化スケールに基づいて量子化を行う。これにより、符号化部１０７が出力する画像ストリームが、割り当てられた符号量になるように制御される。

エントロピー符号化部２０６は、量子化された変換係数に対し、エントロピー符号化処理を行う。エントロピー符号化部２０６は、例えば、ハフマン符号化処理又は算術符号化処理を行う。

逆量子化部２１０は、量子化部２０５から出力される量子化された変換係数を逆量子化する。逆ＤＣＴ部２０９は、逆量子化された変換係数に対し、逆直交変換処理を行う。逆ＤＣＴ部２０９は、例えば、逆ＤＣＴ処理を行う。

加算部２０８は、動き補償された参照するフレームと逆直交変換処理されて出力される予測データとを加算することにより、復号画像を生成する。フレームメモリ２０７は、復号画像を蓄積する。フレームメモリ２０７に格納される復号画像は、次以降に符号化されるフレームが参照するフレームとなる。

図３は、復号化部１０６の機能構成の例を説明する図である。復号化部１０６は、例えば、ＭＰＥＧ−２に準拠した復号化を行う。復号化部１０６は、また例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣに準拠した復号化を行ってよい。復号化部１０６は、可変長復号化部３０１、逆量子化部３０２、逆離散コサイン変換部３０３、動き補償部３０４、及び、フレームメモリ３０５を有する。

可変長復号化部３０１は、入力される画像ストリームを可変長復号する。これにより、例えば、量子化された変換係数を出力する。逆量子化部３０２は、逆量子化処理を行って、変換係数を取得する。逆離散コサイン変換部３０３は、逆ＤＣＴ処理により、変換係数から画素データを取得する。逆離散コサイン変換部３０３が出力する画素データは、動き補償された画素データでもよい。なお、逆離散コサイン変換部３０３は、逆ＤＣＴ処理の他に、ＤＣＴの他の直行変換の逆変換処理を行ってよい。

動き補償部３０４は、逆直行変換処理された画素データに対し、動き補償を行う。これにより、復号化された画像が生成される。フレームメモリ３０５は、復号化された画像を格納する。フレームメモリ３０５に格納される画像は、次以降に復号される画像に対する動き補償処理、又は、予測処理の補償に用いられる。

本実施形態では、入力画像ストリームと出力画像ストリームとの予測構造は、同一のものとして変換する。すなわち、入力画像ストリームがＭＰＥＧ−２であり、出力画像ストリームがＨ．２６４の場合いは、ＭＰＥＧ−１のＩピクチャは、Ｈ．２６４のＩスライスに、ＭＰＥＧ−２のＰピクチャは、Ｈ．２６４のＰスライスに、ＭＰＥＧ−２のＢピクチャは、Ｈ．２６４のＢスライスに変換される。

図４は、本実施形態に係る動画像符号化装置の動作を示すフローチャートである。図４を用いて、本実施形態に係る動画像符号化装置の動作について説明する。

（ステップＳ０）
図４のステップＳ０では、未符号化の入力画像ストリームがＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）毎に読み込まれ、符号化情報取得部１０１が、フレーム毎の符号化複雑度を算出する。

図５は、ＧＯＰを説明する図である。１つのＧＯＰは、フレーム内符号化がされるＩピクチャ、過去のフレームのみを用いて前方向の動き補償予測を行うＰピクチャ、及び、過去・未来両方のフレームを用いて双方向の動き補償予測を行うＢピクチャのうち、１つ以上のピクチャから構成される。各ＧＯＰにおいて最初に符号化されるピクチャは必ずＩピクチャとなる。図５の例では１つのＧＯＰは１枚のＩピクチャ、４枚のＰピクチャ、及び、１０枚のＢピクチャ、合計１５枚のピクチャから１つのＧＯＰが構成されている。

図４に戻り、各フレームの符号化複雑度（Ｘ）は、当該フレームの平均量子化スケール（Ｑ）と当該フレームの符号量（Ｓ）を用いて、式（１）より求められる。

ここで、ｇ_ｉ（ｉ＝Ｉ、Ｐ、Ｂ）はピクチャタイプ毎に決定される固定値である。なお、特許文献３には、同一のピクチャタイプであれば、画像によらずほぼ一定となることが記載されている。

なお、ここで求める符号化複雑度は、入力画像ストリームであるＭＰＥＧ−２ビットストリームを可変長復号化（ＶＬＤ：ＶａｒｉａｂｌｅＬｅｎｇｔｈＤｅｃｏｄｅ）等により完全に解読する必要はない。例えば、ＭＰＥＧ−２のスライスヘッダには当該スライスで用いる量子化スケールの初期値が記述されているので、各フレーム全てのスライスヘッダを参照することで、そのフレームの平均量子化スケールを近似的に算出してよい。また、例えば、フレーム毎の符号量は、ピクチャヘッダ間の符号量をカウントすれば算出してよい。

バッファ１０２は、算出した各フレームの符号化複雑度を格納する。バッファ１０２には、例えば、１ＧＯＰ内にあるフレーム分の符号化複雑度を格納する。

（ステップＳ１）
以降の説明では、以下の変数を用いて説明する。
Ｆ（ｔ）：入力画像ストリームのｔ番目のフレーム
ｘ（ｔ）：Ｆ（ｔ）に対応するＭＰＥＧ−２符号化複雑度
Ｘ（ｔ）：Ｆ（ｔ）に対応するＨ．２６４へのトランスコードによって得られた符号化複雑度
ｐ（ｔ）：Ｆ（ｔ）に対応するＭＰＥＧ−２ピクチャタイプであり、ｐ（ｔ）＝（Ｉ,Ｐ,Ｂ）である。

ステップＳ１では、符号化複雑度変換関数算出部１０８が、トランスコード済みの複数のフレームの入力画像の符号化複雑度と出力画像の符号化複雑度とを用いて、入力画像ストリームの符号化複雑度と出力画像ストリームの符号化複雑度の関係を表す関数を算出する。

ここで、ｔ番目のフレームをトランスコードする場合について考える。バッファ１０２には、Ｌ枚のトランスコード済みのフレームのＭＰＥＧ−２の符号化複雑度：ｘ（ｔ−Ｌ），ｘ（ｔ−Ｌ＋１），．．．，ｘ（ｔ−１）と、Ｍ枚のトランスコード前のフレームのＭＰＥＧ−２の符号化複雑度：ｘ（ｔ），ｘ（ｔ＋１），．．．，ｘ（ｔ＋Ｍ−１）が保存されているものとする。

また、バッファ１０４には、後述するステップＳ７で生成されるＬ枚のＨ．２６４の符号化複雑度：Ｘ（ｔ−Ｌ），Ｘ（ｔ−Ｌ＋１），．．．，Ｘ（ｔ−１）が保存されているものとする。すでにトランスコードが終了したフレームに関しては、ＭＰＥＧ−２の符号化複雑度とＨ．２６４の符号化複雑度との組：（ｘ（ｔ−ｋ），Ｘ（ｔ−ｋ）），ｋ＝１，２，…，Ｌを形成することができる。

そこで、ピクチャタイプ毎に入力画像ストリームと出力画像ストリームのトランスコード済みフレームの符号化複雑度の組（ｘ（ｔ−ｋ），Ｘ（ｔ−ｋ））を複数個用いて、ピクチャタイプ毎に入力画像ストリームと出力画像ストリームの符号化複雑度の関係を表す関数を算出する。

あるフレームにおける発生符号量は、サイド情報部分の発生符号量とＤＣＴ係数の発生符号量の総和で求めることができる。ＭＰＥＧ−２からＨ．２６４へのトランスコードの場合には、Ｈ．２６４はＭＰＥＧ−２より画素の予測効率が高い。そこで、符号化複雑度が小さい画像に関しては、Ｈ．２６４はＭＰＥＧ−２と比較して、ＤＣＴ係数が０になりやすい。したがって、ＭＰＥＧ−２とＨ．２６４の符号化複雑度の関係は、図６に示す折れ線状に変化すると考えることができる。

本実施形態では、入力画像ストリームの符号化複雑度「ｘ」と出力画像ストリームの符号化複雑度「Ｘ」の関係を、図７に示す、最小二乗法によって線形近似される直線と所定の定数による直線とからなる折れ線で近似する。図７に示す折れ線により表される関数の入力値、すなわち、独立変数が、入力画像ストリームの符号化複雑度となる。図７に示す折れ線により表される関数の出力値、すなわち、従属変数が、出力画像ストリームの符号化複雑度となる。

線形近似によって得られた１次係数をａ_ｉ，ａ_ｐ，ａ_ｂ、０次係数をｂ_ｉ，ｂ_ｐ，ｂ_ｂとすると、図７に示す関数は、式（２）に示すピクチャタイプ毎の式により求めることができる。

なお、Ｃ_ｉ，Ｃ_ｐ，Ｃ_ｂは、Ｈ．２６４で符号化したときの最小の割当符号量に対応する０以上の所定の定数であり、ＭＡＸ（Ａ、Ｂ）はＡとＢの大きい方を出力する関数である。

（ステップＳ２）
ステップＳ２では、ステップＳ１で算出した関数と、トランスコード前のＭＰＥＧ−２画像ストリームの符号化複雑度を用いて、トランスコード前のＨ．２６４符号化複雑度を推定する。

まず、推定符号化複雑度算出部１０９が、未トランスコードフレーム（Ｆ（ｔ），Ｆ（ｔ＋１），・・・，Ｆ（ｔ＋Ｍ））をＨ。２６４で符号化した際の符号化複雑度の推定値である推定符号化複雑度（Ｘ〜（ｔ），Ｘ〜（ｔ＋１），．．．，Ｘ〜（ｔ＋Ｍ））を算出する。この明細書中で、「Ｘ〜」は「Ｘ・チルダ（x-tilde）」、すなわち「Ｘ」の上に「〜（チルダ）」が配置された文字の代替表記として使われている。ステップＳ０において、ＭＰＥＧ−２の符号化複雑度は既知であるので、Ｘ〜（ｔ＋ｊ），（但し、ｊ＝０，１，・・・，Ｍ）は、式（３）を用いて表すことができる。

（ステップＳ３）
ステップＳ３では、割当符号量算出部１１０が、所定のビットレート：（Ｂｉｔｒａｔｅ）により、動画像を符号化するために必要なトランスコード対象画像へ割り当てる符号量を算出する。ここでは、まずステップＳ０で読み込まれている入力画像ストリームのうち、バッファ１０５に保持されているＭ枚のトランスコード前のフレーム全体に与える符号量（Ｓ_ａｌｌ）を算出する。次に最初のＧＯＰに割り当てる符号量（Ｓ_ｇｏｐ）を算出し、その後にＧＯＰ内の各ピクチャの割当符号量を算出する。
まず、未トランスコードフレーム全体に割り当てる符号量を式（４）とする。

ここで、ＦｒａｍｅＲａｔｅはフレームレートを表し、Ｓ_ｄｉｆｆはひとつ前のＧＯＰを符号化する際に与えた符号量と、実際に発生した符号量との差である。

次に、Ｎ枚のトランスコード前のフレームのうち、最初のＧＯＰに符号量を割り当てる。例えば、各ＧＯＰにおけるフレーム毎の複雑度の総和を算出し、この総和を比例配分する。式（５）は、ＧＯＰ内にＮ枚のフレームが存在している場合、ＧＯＰ全体に割り当てる符号量（Ｓ_ｇｏｐ）を、ＧＯＰ内のＮ枚のフレームの符号化複雑度の総和（Ｘ〜_ｇｏｐ）を用いて表す式である。

次に各ＧＯＰ内にある各ピクチャに符号量を割り当てる。ＧＯＰ内にある各フレームに割り当てる符号量をＳ（ｔ＋ｋ），（但し、ｋ＝０，１，・・・，Ｎ−１）とした場合、Ｓ（ｔ＋ｋ）は、ステップＳ２で推定したＧＯＰ内の各ピクチャにおける符号化複雑度と式（５）により算出したＳ_ｇｏｐから、式（６）で求められる。

ここで、Ｋ_ｉ，Ｋ_ｐ，Ｋ_ｂは各ピクチャに対する符号量割当の重みを規定する定数を表している。
また、トランスコード開始直後のＭフレームに関しては、Ｘ〜（ｔ）を推定するのに十分な実績データがないため、式（６）において、推定符号化複雑度（Ｘ〜（ｔ））と入力画像ストリームの符号化複雑度（ｘ（ｔ））とは等しいものと仮定してＳ（ｔ）を算出する。

（ステップＳ４）
ステップＳ４では、ステップＳ０で読み込まれた入力画像ストリームのうち、バッファ１０５に格納されている１ＧＯＰ分の入力画像ストリームを、１フレームずつ復号化部１０６で復号化する。

（ステップＳ５）
次に、ステップ５では量子化スケール決定部１１１において、推定符号化複雑度算出部１０９から出力される推定符号化複雑度（Ｘ〜（ｔ＋ｋ））と、割当符号量算出部１１０から得た割当符号量（Ｓ（ｔ＋ｋ））とから、トランスコード対象画像に対する量子化スケール（Ｑ（ｔ＋ｋ））を算出する。ここでは、式（２）から導出される式（７）を用いて量子化パラメータを決定する。

（ステップＳ６）
ステップＳ６では、符号化部１０７が、ステップＳ５で求めた量子化スケールＱ（ｔ）に基づいて、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣに準拠した方式で符号化を行い、符号化画像ストリームを出力する。

（ステップＳ７）
ステップＳ７では、符号化情報取得部１０３が、符号化が終了した出力画像ストリームが読み込まれた後に、読み込んだ出力画像ストリームのフレーム毎の量子化スケール、及び、発生符号量を取得する。符号化情報取得部１０３は、さらに、フレーム毎の符号化複雑度を式（１）により算出する。バッファ１０４は、算出されたフレーム毎の符号化複雑度を格納する。ここで、バッファ１０４には、例えば、少なくとも１ＧＯＰに対応するフレーム分の、トランスコードが終了した出力画像に対応するフレームの符号化複雑度を格納するとよい。

（ステップＳ８）
次にステップＳ８では、１ＧＯＰに含まれる全てのフレームの符号化が終了したかどうかの判定を行う。１ＧＯＰ分のフレームの符号化が終わっていない場合は、ステップＳ４まで戻り、ステップＳ４からステップＳ７を実行する。１ＧＯＰ分のフレームの符号化が終了した場合は、ステップＳ９に進む。

（ステップＳ９）
ステップＳ９では、シーケンスに含まれる全てのフレームの符号化が終了したかどうかの判定を行う。シーケンス内の全フレームの符号化が終了した場合は、全ての処理を終了する。シーケンス内の全フレームの符号化が終わっていない場合は、ステップＳ０からステップＳ８を実行する。

以上説明したように本実施形態では、トランスコード後の複数の入力画像ストリームと出力画像ストリームの符号化複雑度群から、一次近似した直線と所定の定数とにより表される折れ線の関数を用いて、入力画像ストリームおよび出力画像ストリームの符号化複雑度の関係を算出する。算出した近似直線にトランスコード前の入力画像ストリームの符号化複雑度を代入することで、トランスコード前の出力画像ストリームの符号化複雑度を推定する。これにより、入力画像ストリームと出力画像ストリームの符号化複雑度の関係が実際の符号化特性の違いに適合させることができるため、符号化複雑度の精度を向上させ適応的な符号量割り当てが可能となる。

なお、本発明は上記実施形態に係わらず、その主旨を逸脱しない限り、種々に変更することが可能である。

（変更例１）
上記実施形態では、入力画像ストリーム（ｘ（ｔ））と出力画像ストリームの複雑度（Ｘ（ｔ））の関係式を、線形近似を用いることで求めたが、必ずしもこれに限定されるものではない。入力画像ストリームの圧縮形式と出力画像ストリームの圧縮形式の特性に応じて種々の近似方式が適用できる。

（変更例２）
上記実施形態では、量子化スケールを式（７）により求めることとしたが、各フレームのトランスコード中に、予測発生符号量と実測発生符号量とのずれに応じて、量子化スケールをフィードバック的に変化させても良い。

（変更例３）
上記実施例では、入力画像ストリームをバッファに保存し、保存していたストリームを１フレーム毎に復号化することとした。これにより、符号化部１０７の処理は、復号化部１０６の処理と、パイプライン的に接続されるため、バッファ１０５の容量を小さくすることができる。

図８は、復号化の処理と符号化の処理との間に、バッファを設ける構成を示す図である。図８において、図１と同一の機能及び構成を有する各部は、図１と同一の符号を付し、ここでは説明を省略する。図８の復号化部４０６は、入力画像ストリームを復号する。バッファ４０５は、復号化部４０６が復号して得る復号画像を格納する。

図８の構成により、入力画像ストリームを先に１ＧＯＰ分復号化し、その復号化したフレームをバッファに保存することができる。これにより、符号化部１０７の処理と復号化部４０６の処理とを同期させる必要がなくなる。

なお、本発明の実施の形態に係る動画像変換装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る動画像変換方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。

本実施の形態によれば、入力画像ストリームと出力画像ストリームの符号化複雑度の関係が比例関係にない場合でも、適切な符号化複雑度の推定が行われる。これにより、実際の符号化複雑度に適合した符号量割当が実現でき、安定した画質を得ることができる動画像変換装置を提供できる。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

以上のように、本発明にかかる動画像変換装置及び動画像変換方法は、符号化複雑度が異なる圧縮フォーマット間のトランスコードに有用である。

１０１符号化情報取得部
１０２バッファ
１０３符号化情報取得部
１０４バッファ
１０５バッファ
１０６復号化部
１０７符号化部
１０８符号化複雑度変換関数算出部
１０９推定符号化複雑度算出部
１１０割当符号量算出部
１１１量子化スケール決定部
２０１動き検出部
２０２、３０４動き補償部
２０３減算部
２０４離散コサイン変換部
２０５量子化部
２０６エントロピー符号化部
２０７、３０５フレームメモリ
２０８加算部
２０９、３０３逆離散コサイン変換部
２１０、３０２逆量子化部
３０１可変長復号化部
４０５バッファ
４０６復号化部

Claims

符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、
前記変換関数に従って、前記出力画像データにおける前記一のフレームの符号化複雑度の推定値である推定符号化複雑度を算出する、推定符号化複雑度算出部と、
前記推定符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出部と、
割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化部と、
を有することを特徴とする動画像変換装置。
前記変換関数は、前記一次関数と、前記出力画像データにおける前記一のフレームの符号化複雑度を０以上の所定の定数とする直線と、のうち、前記出力画像データにおける前記一のフレームの符号化複雑度が大きい値を、出力値とすることを特徴とする請求項１記載の動画像変換装置。
前記一次関数、及び、前記変換関数は、前記入力画像データ又は前記出力画像データのピクチャタイプ毎に算出されることを特徴とする請求項１又は２記載の動画像変換装置。
前記入力画像データにおける先頭から所定数のフレームに対応する前記復号化画像の符号化処理が未だ行われない場合に、
前記推定符号化複雑度算出部は、前記推定符号化複雑度として、前記入力画像データにおける先頭から所定数のフレームの符号化複雑度を出力することを特徴とする請求項１ないし３何れか一項に記載の動画像変換装置。
前記入力画像データのフレーム毎の符号化複雑度を、前記入力画像データに含まれる量子化に係る情報及び前記フレーム毎の符号量に基づいて取得する符号化情報取得部を有することを特徴とする請求項１ないし４何れか一項に記載の動画像変換装置。
前記出力画像データのフレーム毎の符号化複雑度を、前記出力画像データを符号化する際の量子化に係る情報及び前記フレーム毎の符号量に基づいて取得する符号化情報取得部を有することを特徴とする請求項１ないし４何れか一項に記載の動画像変換装置。
前記入力画像データを復号化して復号化画像を出力する復号化部と、
前記復号化画像を格納する記憶部と、
を有し、
前記符号化部は、前記記憶部に格納される復号化画像を符号化する請求項１ないし６何れか一項に記載の動画像変換装置。
前記入力画像データを格納する記憶部と、
前記入力画像データを復号化して復号化画像を出力する復号化部と、
を有し、
前記符号化部は、前記復号化部から出力される復号化画像を符号化する請求項１ないし６何れか一項に記載の動画像変換装置。
符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出ステップと、
前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出ステップと、
算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出ステップと、
割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化ステップと、
を有することを特徴とする動画像変換方法。