JP2009049551A - 動画像符号化装置、動画像符号化方法およびプログラム - Google Patents

動画像符号化装置、動画像符号化方法およびプログラム Download PDF

Info

Publication number
JP2009049551A
JP2009049551A JP2007211710A JP2007211710A JP2009049551A JP 2009049551 A JP2009049551 A JP 2009049551A JP 2007211710 A JP2007211710 A JP 2007211710A JP 2007211710 A JP2007211710 A JP 2007211710A JP 2009049551 A JP2009049551 A JP 2009049551A
Authority
JP
Japan
Prior art keywords
encoding
code amount
frame
stage
stage encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007211710A
Other languages
English (en)
Other versions
JP4842899B2 (ja
Inventor
Takeshi Murakami
剛 村上
Ryuichi Kanda
龍一 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007211710A priority Critical patent/JP4842899B2/ja
Priority to US12/192,275 priority patent/US8218646B2/en
Publication of JP2009049551A publication Critical patent/JP2009049551A/ja
Application granted granted Critical
Publication of JP4842899B2 publication Critical patent/JP4842899B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】量子化制御変数ごとの発生符号量を正確に推定し、フレームごとの符号量を適切に割り当てながら、処理時間が著しく増大しない動画像符号化装置等を提供する。
【解決手段】動画像符号化装置１は、第１段階目の符号化を異なる量子化制御変数によって複数回実行する第１段階符号化手段５５と、第１段階目の複数の符号化結果を用いて全ての量子化制御変数に対してフレームごとに発生する符号量を推定する符号量推定手段５７と、符号量の推定結果からフレームごとの符号量の割り当てを行う符号量割り当て手段５９と、割り当てたフレームごとの符号量に基づいて第２段階目の符号化を実行する第２段階符号化手段６１と、を具備する。特に、第１段階符号化手段５５はフレームの属性に応じて実行する符号化の回数を可変とし、２回目以降の符号化処理に含まれる処理の一部を省略する。
【選択図】図３

Description

本発明は、２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う動画像符号化装置、動画像符号化方法およびプログラムに関する。
動画像符号化技術は、国際標準化作業とともに進歩を遂げている。標準化の理由は、符号化された動画像コンテンツを広く流通させるには、復号化処理における相互運用性が必要だからである。現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの標準方式が存在する。これらの標準方式によって定められた規約は、復号化処理のための最低限の相互運用性を確保するためのものであり、標準方式の実現には技術競争の余地が残されている。従って、多くの技術者たちが、処理時間の短縮や画像品質の向上等を図り、研究開発を行っている。
例えば、主に、画像品質の向上を目的として、２段階の符号化を実施する仕組みが知られている（特許文献１、特許文献２、特許文献３）。
特許文献１では、第１段階目の符号化によってフレーム単位の統計データを取得し、それに基づいて動画像シーケンス全体にわたって画像品質の向上を目的としたフレーム単位の符号量割り当てを行い、可変ビットレートによる第２段階目の符号化を行っている。
また、特許文献２では、１つの量子化スケールのみによって第１段階目の符号化を行い、当該量子化スケールと発生符号量の積などで表される複雑度指標データなるものに基づいて、フレーム単位の符号量割り当てを行っている。
また、特許文献３では、ある適当な量子化スケールを用いた第１段階目の符号化によって取得した統計データのサンプルを用いて、その他の全量子化スケール（＝第１段階目の符号化に用いていない量子化スケール）による発生符号量を指数関数や高次関数の近似式で推定する。そして、その推定結果を基に、指定されたビットレート等のパラメータ条件を満たし、かつ画像品質が最も向上するようなフレーム単位の符号量割り当てを行い、第２段階目の符号化を行っている。
特開平８−１８６８２１号公報 特開２００３−１８６０３号公報 特開２００７−２８１５６号公報
しかしながら、特許文献１では、最適符号量割り当ての具体例として、希望的な結果を示す図（特許文献１の図６）と、「最適符号量割当は、伝送路の最大レートとバッファリングの制限を満たす範囲で安定した画質を得るために、入力画像の複雑さに応じた符号量割当を行うことでなされる。」（特許文献１の段落番号００３８）と記載しているに過ぎない。これでは、符号量割り当てについて、動画像符号化装置の具体的な動作が記載されているとは言えない。
また、特許文献２の仕組みでは、第１段階目の符号化を１回しか行わず、すなわち、１つの量子化スケールしか用いず、符号量割り当て処理に用いる統計データ（＝第１段階目の符号化による発生符号量）が１つである。これでは、複雑度指標データなるものの精度が十分とは言えず、ひいては符号量割り当てを適切に行うことはできない。
また、特許文献３の仕組みでは、近似式の具体例として、符号量が量子化スケールの逆数に依存して決まる式を挙げている（特許文献３の段落番号００３１）。そして、「第１符号化において、フレーム毎に固定の量子化スケールを用いて符号化を行い、フレームごとの発生符号量を量子化の影響を受ける部分とヘッダ等の量子化の影響を受けない部分とに分離して集計する・・・」（特許文献３の段落番号００３３）と記載されている。すなわち、特許文献３の仕組みでは、フレームごとに固定の量子化スケールを用いて第１符号化を行うことから、特許文献２と同様、フレームごとに１つの量子化スケールに対する統計データしか得られない。確かに、前述の近似式の具体例は、量子化の影響を受けて決定する係数が１つしかないことから、１つの量子化スケールに対する統計データだけでも式の決定は可能である。しかしながら、近似式のモデル自体が、様々な画像の性質に対応できるものにはなっていないことから、発生符号量推定の精度は十分と言えず、ひいては符号量割り当てを適切に行うことはできない。
以上のとおり、特許文献１から特許文献３に係る従来技術では、符号量割り当てを適切に行うことが出来ず、画像品質の向上を図ることはできない。
尚、量子化スケールとは、量子化の粗さを既定する値であり、量子化スケールが大きい場合、量子化によって失われる情報量は多くなるが、圧縮効率は上がる。一方、量子化スケールが小さい場合、量子化によって失われる情報量は少なくなるが、圧縮効率は下がる。
これに対し、量子化パラメータとは、量子化を実施する際に用いるパラメータであり、量子化スケールと量子化パラメータの間には符号化方式ごとに関係が規定されている。量子化スケールをＱＳ、量子化パラメータをＱＰとすると、Ｈ．２６４／ＡＶＣでは、ＱＳ＝２＾（（ＱＰ−４．０）／６）（但し、ｘ^ｙは、ｘのｙ乗を意味する。）である。また、ＭＰＥＧ−４では、ＱＳ＝２×ＱＰである。以下では、「量子化制御変数」を量子化スケールと量子化パラメータの両方を含む用語として用いることとする。
本発明は、前述した問題点に鑑みてなされたもので、その目的は、量子化制御変数ごとの発生符号量を正確に推定し、フレームごとの符号量を適切に割り当てるための動画像符号化装置等を提供することである。
更に、同時に達成すべき目的として、符号量の正確な推定を実現しながら処理時間が著しく増大しない動画像符号化装置等を提供することである。
前述した目的を達成するために第１の発明は、２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う動画像符号化装置であって、前記第１段階目の符号化を異なる量子化制御変数によって複数回実行する第１段階符号化手段と、前記第１段階符号化手段の符号化結果から、全ての前記量子化制御変数に対してフレームごとに発生する符号量を推定する符号量推定手段と、前記符号量推定手段の推定結果から、前記フレームごとの前記符号量の割り当てを行う符号量割り当て手段と、前記符号量割り当て手段によって割り当てた前記フレームごとの前記符号量に基づいて前記第２段階目の符号化を実行する第２段階符号化手段と、を具備することを特徴とする動画像符号化装置である。
前記第１段階符号化手段は、前記フレームの属性に応じて実行する符号化の回数を可変とすることが望ましい。また、前記第１段階符号化手段は、２回目以降の符号化処理に含まれる処理の一部を省略することが望ましい。また、前記符号量推定手段は、前記フレームごとに前記符号量の推定ロジックを選択可能とすることが望ましい。また、前記符号量割り当て手段は、同一の前記量子化制御変数によって推定した前記フレームごとの前記符号量が、符号化対象の動画像シーケンス全体で、指定されたビットレートに最も適したものとなる前記量子化制御変数を決定し、決定した前記量子化制御変数によって前記フレームごとの前記符号量を割り当てることが望ましい。
第２の発明は、２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う動画像符号化方法であって、前記第１段階目の符号化を異なる量子化制御変数によって複数回実行する第１段階符号化ステップと、前記第１段階符号化ステップの結果から、全ての前記量子化制御変数に対してフレームごとに発生する符号量を推定する符号量推定ステップと、前記符号量推定ステップの結果から、前記フレームごとの前記符号量の割り当てを行う符号量割り当てステップと、前記符号量割り当てステップによって割り当てた前記フレームごとの前記符号量に基づいて前記第２段階目の符号化を実行する第２段階符号化ステップと、を含むことを特徴とする動画像符号化方法である。
前記第１段階符号化ステップは、前記フレームの属性に応じて実行する符号化の回数を可変とすることが望ましい。また、前記第１段階符号化ステップは、２回目以降の符号化処理に含まれる処理の一部を省略することが望ましい。また、前記符号量推定ステップは、前記フレームごとに発生符号量の推定ロジックを選択可能とすることが望ましい。また、前記符号量割り当てステップは、同一の前記量子化制御変数によって推定した前記フレームごとの前記符号量が、符号化対象の動画像シーケンス全体で、指定されたビットレートに最も適したものとなる前記量子化制御変数を決定し、決定した前記量子化制御変数によって前記フレームごとの前記符号量を割り当てることが望ましい。
第３の発明は、コンピュータを第１の発明の動画像符号化装置として機能させるプログラムである。
本発明により、量子化制御変数ごとの発生符号量を正確に推定し、フレームごとの符号量を適切に割り当てるための動画像符号化装置等を提供することができる。また、符号量の正確な推定を実現しながら処理時間が著しく増大しない動画像符号化装置等を提供することができる。
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本実施の形態に係る動画像符号化装置１を実現するコンピュータのハードウェア構成図である。尚、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
動画像符号化装置１は、制御部３、記憶部５、メディア入出力部７、通信制御部９、入力部１１、表示部１３、周辺機器Ｉ／Ｆ部１５等が、バス１７を介して接続される。
制御部３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部５、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１７を介して接続された各装置を駆動制御し、動画像符号化装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部５、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部３が各種処理を行う為に使用するワークエリアを備える。
記憶部５は、ＨＤＤ（ハードディスクドライブ）であり、制御部３が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述の処理に相当するアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部３により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
メディア入出力部７（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＭＯドライブ等のメディア入出力装置を有する。
通信制御部９は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク１９間の通信を媒介する通信インタフェースであり、ネットワーク１９を介して、他のコンピュータ間との通信制御を行う。
入力部１１は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１１を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１３は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
周辺機器Ｉ／Ｆ（インタフェース）部１５は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１５を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１５は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１７は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
次に、図２を参照しながら、標準方式の規約を準拠したコンピュータが具備する符号化処理の機能の概要について説明する。図２は、Ｈ．２６４／ＡＶＣの規約を準拠したコンピュータが具備する符号化処理の機能を示すブロック図である。Ｈ．２６４／ＡＶＣの規約を前提とした場合、本実施の形態に係る動画像符号化装置１は、図２に示す機能を具備する。尚、標準方式をＨ．２６４／ＡＶＣとしたのは一例に過ぎず、本実施の形態に係る動画像符号化装置１に係る技術的思想は、他の標準方式（将来規定されるものを含む）についても適用可能である。
図２に示すように、Ｈ．２６４／ＡＶＣの規約を準拠したコンピュータは、減算回路２３、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）回路２５、量子化回路２７、逆量子化回路２９、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）回路３１、加算回路３３、デブロッキングフィルタ３５、画面内予測回路３７、動き補償回路３９、重み付き予測回路４１、動きベクトル検出回路４３、可変長符号化回路４５等を具備する。尚、各回路はハードウェアを示すものではなく、ソフトウェアによって実現される機能を示す。
符号化対象データ２１は、複数のフレームデータの集合体として規定される。フレームデータは、一つ以上のマクロブロックの集合体である。マクロブロックは、１６×１６画素ブロックの輝度信号と８×８画素ブロックの二つの色差信号によって構成される。
フレームは、予測モードの制限によって３つのフレームタイプがある。すなわち、（１）前後のフレームとは関係なくその画面内（Ｉｎｔｒａ）だけで独立して符号化するＰフレーム、（２）フレーム間（Ｉｎｔｅｒ）の順方向予測符号化によって得られるＰフレーム、（３）順方向予測、逆方向予測、両方向予測を用いることのできるＢフレーム、の三つである。
マクロブロックは、マクロブロック内で独立して符号化するＩｎｔｒａマクロブロック、ブロック間の順方向予測符号化によって得られるＩｎｔｅｒマクロブロックに分類される。
そして、Ｉフレームは、Ｉｎｔｒａマクロブロックのみで構成され、ＰフレームやＢフレームは、ＩｎｔｒａマクロブロックとＩｎｔｅｒマクロブロックの両者で構成される。
減算回路２３は、符号化対象データ２１に含まれるフレームデータと、画面内予測回路３７または重み付き予測回路４１から出力された予測データとの差を算出し、差分データをＤＣＴ回路２５に出力する。
ＤＣＴ回路２５は、減算回路２３から出力された差分データに対して、離散コサイン変換を行い、変換データを量子化回路２７、および必要に応じて画面内予測回路３７に出力する。
量子化回路２７は、ＤＣＴ回路２５から出力された変換データに対して、予め定められた量子化パラメータによって量子化を行い、量子化データを逆量子化回路２９および可変長符号化回路４５に出力する。
逆量子化回路２９は、量子化回路２７から出力された量子化データに対して、量子化回路２７の量子化に対応する逆量子化を行い、逆量子化データをＩＤＣＴ回路３１に出力する。
ＩＤＣＴ回路３１は、逆量子化回路２９から出力された逆量子化データに対して、ＤＣＴ回路２５の離散コサイン変換に対応する逆離散コサイン変換を行い、逆変換データを加算回路３３に出力する。
加算回路３３は、ＩＤＣＴ回路３１から出力された逆変換データに対して、画面内予測回路３７または重み付き予測回路４１から出力された予測データを用いて局所復号を行い、局所復号データをデブロックフィルタ３５に出力する。
デブロッキングフィルタ３５は、加算回路３３から出力された局所復号データに対して、ブロックの歪みを除去し、フィルタリングデータを動き補償回路３９に出力する。
画面内予測回路３７は、ＤＣＴ回路２５から出力された変換データを基に、同一フレーム上の近傍画素を用いて予測を行い、予測データを減算回路２３および加算回路３３に出力する。尚、３８は、処理に応じて画面内予測回路３７と重み付き予測回路４１をスイッチする。
動き補償回路３９は、動きベクトル検出回路４３から出力された動きベクトルデータと、デブロッキングフィルタ３５から出力されたフィルタリングデータとを基に、動き補償を行い、動き補償データを重み付き予測回路４１に出力する。
重み付き予測回路４１は、動き補償回路３９から出力された動き補償データに対して、重み付き予測を行い、予測データを減算回路２３および加算回路３３に出力する。
動きベクトル検出回路４３は、符号化対象データ２１に含まれるフレームデータと、過去のフレームデータとを基に、動きベクトルを検出し、動きベクトルデータを動き補償回路３９および可変長符号化回路４５に出力する。
可変長符号化回路４５は、量子化回路２７から出力された量子化データ、および動きベクトル検出回路４３から出力された動きベクトルデータ等を含む符号化データ４７をバッファ（図示しない）に格納する。
次に、図３から図７を参照しながら、本実施の形態に係る動画像符号化装置１全体の機能を実現する構成について説明する。
図３は、動画像符号化装置１の機能を示すブロック図である。
図３に示すように、動画像符号化装置１は、符号化対象データ入力手段５１、符号化条件設定手段５３、第１段階符号化手段５５、符号量推定手段５７、符号量割り当て手段５９、第２段階符号化手段６１、符号化データ出力手段６３等を備える。そして、動画像符号化装置１は、２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う。
符号化対象データ入力手段５１は、符号化対象データ２１を入力する。データの入力は、メディア入出力部７によって各メディアから行っても良い。また、通信制御部９によってネットワーク１９を介して他のコンピュータから行っても良い。また、周辺機器Ｉ／Ｆ部１５によって各周辺機器から行っても良い。
入力された符号化対象データ２１は、一旦、記憶部５に記憶し、制御部３が記憶部５から読み出して後述する処理を行っても良い。また、制御部３のＲＡＭに保持し、後述する処理を行っても良い。
符号化条件設定手段５３は、後述する符号化処理における符号化条件を設定する。符号化条件は、入力部１１を介して入力しても良いし、通信制御部９によってネットワーク１９を介して他のコンピュータから入力しても良い。入力された符号化条件は、符号化条件設定手段５３が所定の変数に値を保持し、後述する処理に用いられる。ここで、符号化条件とは、例えば、ビットレートである。また、その他の制御変数のデフォルト値等であっても良い。
第１段階符号化手段５５は、第１段階目の符号化を異なる量子化制御変数によって複数回実行する。符号化処理は、図２の説明にて前述した機能によって行われる。ここで、量子化制御変数は、例えば、量子化スケール、または量子化パラメータである。以下では、混乱を避けるために、量子化制御変数として量子化パラメータを採用した場合について説明することとする。但し、本発明に係る技術的思想は、量子化制御変数として量子化スケールを採用する場合であっても、同様に適用可能である。
第１段階符号化手段５５による第１段階目の符号化は、符号化対象の動画像データに対して、フレーム単位の画像の性質に関する情報を収集することを目的とする。ここで、収集する情報は、フレームごとに決まるフレームタイプ、符号化を実行した量子化パラメータ、フレームごとの発生符号量、フレームに含まれるＩｎｔｒａマクロブロックの個数およびＩｎｔｒａマクロブロックとして発生したビット数、フレームに含まれるＩｎｔｅｒマクロブロックの個数およびＩｎｔｅｒマクロブロックとして発生したビット数等である。尚、収集する情報は、後述する符号量推定手段５７の推定ロジックに応じて適宜選択することが可能である。
また、第１段階符号化手段５５は、フレームの属性によって符号化の回数を可変とする。
図４は、フレームの属性による分類の一つ目の例を示す図である。
図４に示すように、動画像シーケンス７１に含まれるフレームは、フレームタイプによって分類することができる。具体的には、Ｉフレーム７３、Ｐフレーム７５等に分類できる。このとき、第１段階符号化手段５５の第１の実行ロジックは、数種類の量子化パラメータによって、Ｉフレーム７３とＰフレーム７５の両方に対し、同じ回数の第１段階目の符号化を行うものである。
尚、Ｂフレームについては特に言及していないが、前述の第１の実行ロジック、並びに後述する符号量推定手段５７の推定ロジックの決定においては、Ｐフレームと同様に扱うことができる。
また、本実施の形態に係る符号化処理は、動画像シーケンス７１全体に対して行っても良いし、動画像シーケンス７１をある単位（例えば、グループオブピクチャ等）で分割して行っても良い。
図５は、フレームの属性による分類の二つ目の例を示す図である。
図５に示すように、動画像シーケンス７１に含まれるフレームは、フレームタイプに基づくフレームの属性によって分類することができる。具体的には、Ｉフレーム７３、Ｉフレーム直後のＰフレーム７７、その他のＰフレーム７９等に分類できる。このとき、第１段階符号化手段５５の第２の実行ロジックは、３つに分類したフレームごとに符号化回数を可変とするものである。例えば、Ｉフレーム７３に対しては、数種類の量子化パラメータによって、複数回の第１段階目の符号化を行う。また、Ｉフレーム直後のＰフレーム７７に対しては、直前のＩフレーム７３と同様の量子化パラメータによって、複数回の第１段階目の符号化を行う。そして、その他のＰフレーム７９に対しては、一種類の量子化パラメータによって、一回の第１段階目の符号化を行う。
尚、Ｂフレームについては特に言及していないが、前述の第２の実行ロジック、並びに後述する符号量推定手段５７の推定ロジックの決定においては、Ｐフレームと同様に扱うことができる。
また、本実施の形態に係る符号化処理は、動画像シーケンス７１全体に対して行っても良いし、動画像シーケンス７１をある単位（例えば、グループオブピクチャ等）で分割して行っても良い。
第２の実行ロジックにおいて、その他のＰフレーム７９に対して第１段階目の符号化を１回しか行わない理由は、計算処理の負荷を低減するためである。但し、符号化を１回しか行わない場合、符号量の推定の精度が問題となる。そこで、その他のＰフレーム７９に対する符号量の推定では、Ｉフレーム直後のＰフレーム７７の符号化結果を参照することで、精度を保つこととする。精度が保たれる理由は、その他のＰフレーム７９に係る画像の性質が、Ｉフレーム直後のＰフレーム７７に係る画像の性質と類似していることによるものである。
また、前述のように、第１段階符号化手段５５における符号化処理では、同一のフレームに対して、異なる量子化パラメータによって、複数回の符号化が行われる。従って、計算処理の負荷は、回数に比例して増大することになる。この計算処理の負荷の増大を回避するため、第１段階符号化手段５５は、２回目以降の符号化処理において、図２の説明にて前述した符号化処理に含まれる処理の一部を省略する。具体的には、動きベクトル検出処理、デブロッキングフィルタ処理、動き補償予測処理、逆量子化処理、ＩＤＣＴ処理を省略する。これらの処理は、２回目以降の符号化処理において、発生符号量に影響を与えない、または代替手段が存在する処理である。例えば、動きベクトルは、１回目の符号化で得られたものを共通で使用することができることから、動きベクトル検出処理は２回目以降では不要である。
図３の説明に戻り、符号量推定手段５７は、第１段階符号化手段５５による複数の符号化結果を用いて、全ての量子化パラメータに対してフレームごとに発生する符号量を推定する。具体的には、符号量推定手段５７は、第１段階符号化手段５５によって収集した複数の量子化パラメータによる符号化結果の情報を用いて、フレームごとに発生符号量の推定ロジックを適宜選択し、全ての量子化パラメータに対する符号量を推定する。
図６は、量子化パラメータと発生符号量の関係を示す図である。
一般に、量子化パラメータと発生符号量の関係は、画像の性質に応じて変化するものである。図６では、（ａ）が標準的な画像における量子化パラメータと発生符号量の関係を示している。そして、画像の変化が大きい場合、量子化パラメータと発生符号量の関係は、（ｂ）に示すような特性を持つ。また、画像の変化が小さい場合、量子化パラメータと発生符号量の関係は、（ｃ）に示すような特性を持つ。そして、従来技術のように、第１段階目の符号化を１回のみ行い、ある１つの量子化パラメータに対する発生符号量（以下、単に「サンプル値」という。）しか収集できていない場合、このように画像の性質に応じて変化する量子化パラメータと発生符号量の関係を表す式を決定することは困難である。また、仮に、１つのサンプル値によって式を決定できたとしても、その結果推定される発生符号量に大きな誤差が生じることは明らかである。
符号量推定手段５７は、このような量子化パラメータと発生符号量の関係について、第１段階符号化手段５５によって収集した複数のサンプル値を用いて推定する。
まず、第１の推定ロジックについて説明する。
第１の推定ロジックでは、下記の式を用いる。
Figure 2009049551
 ただし、ＱＰ1 、ＱＰ2：第１段階目の符号化を実行した量子化パラメータ、
ｑｐ：（ＱＰ1＋１）≦ｑｐ≦（ＱＰ2−１）の範囲の量子化パラメータ、Ｂｉｔ
：（ｑｐにおける）発生符号量、ΔＢｉｔ：（ＱＰ1の場合の発生符号量）−（ＱＰ2の場合の発生符号量）、β：ＱＰ2の場合の発生符号量、である。
Ｈ．２６４／ＡＶＣの規約では、量子化パラメータが６増加すると、量子化ステップサイズが２倍になり、発生符号量がおおよそ１／２に近い値となる。第１の推定ロジックに用いる数１は、このことを考慮したものとなっている。
次に、第２の推定ロジックについて説明する。
第２の推定ロジックでは、下記の式を用いる。
Figure 2009049551
 ただし、ＱＰ1 、ＱＰ2：第１段階目の符号化を実行した量子化パラメータの最小値と最大値、ｑｐ：（ＱＰ1＋１）≦ｑｐ≦（ＱＰ2−１）を取り得る量子化パラメータ、Ｂｉｔ：（ｑｐにおける）発生符号量、である。
数２を用いる第２の推定ロジックでは、多項式によって発生符号量を推定する。このように、多項式によって推定する場合、多項式の次数が高くなるに従って、必要となるサンプル値の数、すなわち、第１段階目の符号化を実行する回数が増える。２次多項式であれば３つのサンプル値、３次多項式であれば４つのサンプル値、４次多項式であれば５つのサンプル値が必要となる。
次に、第３の推定ロジックについて説明する。
第３の推定ロジックでは、下記の式を用いる。
Figure 2009049551
 ただし、ＱＳ：量子化スケール、α、β：係数、δ：符号化に関係ないヘッダ等の符号量、Ｂｉｔ：（ＱＳにおける）発生符号量である。
ここで、量子化スケールは、量子化パラメータによって算出される。第３の推定ロジックでは、量子化による影響を受ける係数であるαとβの二つの値を決定することから、少なくとも二つのサンプル値が必要となる。
次に、第４の推定ロジックについて説明する。
第４の推定ロジックでは、その他のＰフレーム７９の発生符号量の推定に用いることを想定し、自らのサンプル値のみでなく、他のフレームの推定結果も利用する。これは、その他のＰフレーム７９自体は、一つのサンプル値しか収集しない為、第１の推定ロジックから第３の推定ロジックまでのように、自らのサンプル値のみで発生符号量を推定することは困難だからである。
具体的には、下記の式を用いる。
Figure 2009049551
 ただし、Ｘ：推定対象のその他のＰフレーム７９、Ｙ：推定結果を利用するＩフレーム直後のＰフレーム７７、ＱＰ1 ：Ｘに対して第１段階目の符号化を実行した量子化パラメータ、Ｂｉｔ（Ｆ、ＱＰ）：量子化パラメータＱＰにおけるフレームＦに係る発生符号量、である。
数４において、Ｂｉｔ（Ｘ、ＱＰ1）、Ｂｉｔ（Ｙ、ＱＰ1）はサンプル値であり、Ｂｉｔ（Ｙ、ｑｐ）はＹの推定結果である。このように、その他のＰフレーム７９の発生符号量は、Ｉフレーム直後のＰフレーム７７の発生符号量と同じ比率で推定する。これにより、推定の精度を保ちながら、一つのサンプル値のみで発生符号量を推定することができる。
図７は、区間ごとの符号量の推定を示す図である。
図７に示すように、（１）ＱＰ0＋１≦ｑｐ≦ＱＰ1−１の範囲の量子化パラメータｑｐ、（２）ＱＰ1＋１≦ｑｐ＜ＱＰ2−１の範囲の量子化パラメータｑｐと複数の区間に分割し、別々に符号量を推定するようにしても良い。また、区間ごとに異なる推定ロジックで符号量を推定するようにしても良い。
例えば、図７に示す区間に分割し、（１）の区間と（２）の区間に対して別々に第１の推定ロジックによって符号量を推定する場合、まず、ＱＰ0、ＱＰ1、ＱＰ2の３つの量子化パラメータによって第１段階目の符号化を３回行う。次に、（１）の区間に対しては、ＱＰ0、ＱＰ1の量子化パラメータに係るサンプル値を用いて符号量の推定を行い、（２）の区間に対しては、ＱＰ1、ＱＰ2の量子化パラメータに係るサンプル値を用いて符号量の推定を行う。
尚、（３）ｑｐ≦ＱＰ0−１の範囲の量子化パラメータｑｐ、（４）ＱＰ2＋１≦ｑｐの範囲の量子化パラメータｑｐに対しては、別の量子化パラメータによる第１段階目の符号化を行って推定しても良い。また、指定されたビットレートによって、（３）、（４）の区間に含まれる量子化パラメータを第２段階目の符号化において使用しないことが明らかな場合、当該範囲における符号量の推定を行わなくても良い。すなわち、指定されるビットレートに応じて、量子化パラメータの最小値と最大値を定義しておき、符号量を推定する範囲を限定するようにしても良い。
ここで、第１段階符号化手段５５における第１段階目の符号化の実行ロジックと、符号量推定手段５７における符号量の推定ロジックとの関係について説明する。
図８は、第１の実行ロジックによって第１段階目の符号化を実行した場合の推定ロジックの選択を示す図である。
図８に示すように、第１の実行ロジックでは、フレームはＩフレーム７３とＰフレーム７５とに分類される。そして、Ｉフレーム７３の符号量推定においては、第１の推定ロジックから第３の推定ロジックまでのいずれを選択しても良い。また、Ｐフレーム７５の符号量推定においても、第１の推定ロジックから第３の推定ロジックまでのいずれを選択しても良い。
図９は、第２の実行ロジックによって第１段階目の符号化を実行した場合の推定ロジックの選択を示す図である。
図９に示すように、第２の実行ロジックでは、フレームはＩフレーム７３とＩフレーム直後のＰフレーム７７とその他のＰフレーム７９とに分類される。そして、Ｉフレーム７３、およびＩフレーム直後のＰフレーム７７の符号量推定においては、第１の推定ロジックから第３の推定ロジックまでのいずれを選択しても良い。一方、その他のＰフレーム７９の符号量推定においては、第４の推定ロジックのみ選択することができる。
尚、前述した第１の推定ロジックから第４の推定ロジックは一例に過ぎず、他の推定ロジックに従って符号量の推定を行っても良い。例えば、第１段階符号化手段５５によって、フレームに含まれるＩｎｔｒａマクロブロックの個数およびＩｎｔｒａマクロブロックとして発生したビット数、フレームに含まれるＩｎｔｅｒマクロブロックの個数およびＩｎｔｅｒマクロブロックとして発生したビット数等を収集した場合、マクロブロック単位での符号量推定も可能であり、より精度の高い符号量の推定を行うことができる。
このように、符号量推定手段５７は、符号量の推定ロジックをフレームごとに選択することが可能である。そして、様々な推定ロジックの中から最適の推定ロジックを選択することによって、精度の高い符号量の推定を行うことができる。
図３の説明に戻り、符号量割り当て手段５９は、符号量推定手段５７の推定結果から、フレームごとの符号量の割り当てを行う。
一般に、量子化を伴う符号化では、量子化パラメータの増加に伴って符号化歪が増加し、復号化後の画像品質が低下する。また、符号化歪は、一義的には量子化パラメータによって決まり、画像の性質には依存しない特徴がある。つまり、動画像シーケンス７１全体にわたって安定した再生画質を得るためには、量子化パラメータの変動を抑制し、均一の量子化パラメータを用いればよいことが知られている。従って、同一の量子化パラメータによって推定したフレームごとの符号量が、符号化対象の動画像シーケンス７１全体で、指定されたビットレートに最も適したものとなる量子化パラメータを決定し、決定した量子化パラメータによってフレームごとの符号量割り当てを決定すれば良いことになる。
具体的には、符号量割り当て手段５９は、最初に、指定されたビットレートから符号量の合計の目標値を設定する。次に、符号量割り当て手段５９は、量子化パラメータごとに、推定したフレームごとの符号量の合計を算出する。そして、符号量割り当て手段５９は、指定されたビットレートから設定した符号量の合計の目標値と、推定したフレームごとの符号量の合計値との差が最も少ない量子化パラメータを決定する。更に、符号量割り当て手段５９は、決定した量子化パラメータによって推定した符号量をフレームごとに割り当てる。
また、符号量割り当て手段５９では、前述の符号量の割り当てが規約に従っているかどうかを判定し、必要に応じて符号量の割り当ての修正を行う。
具体的には、符号量割り当て手段５９は、ＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒ Ｖｅｒｉｆｉｅｒ）として採用されている仮想デコーダの受信バッファモデルを用いて、バッファのアンダーフローやオーバーフローが発生するかどうか、すなわちバッファ占有量の条件を満たすかどうかチェックする。条件を満たさない場合、符号量割り当て手段５９は、符号量の割り当ての修正を行う。これらの仕組みの実現については、例えば、特願２００６−０２１９６５に示された手法等を用いることができる。
第２段階符号化手段６１は、符号量割り当て手段５９によって割り当てたフレームごとの符号量に基づいて第２段階目の符号化を実行する。第２段階目の符号化は一回のみであり、例えば、Ｈ．２６４／ＡＶＣの規約に従う場合、図２の説明にて前述した符号化処理を実行する。
符号化データ出力手段６３は、第２段階符号化手段６１によってバッファに格納された符号化データ４７を出力する。データの出力は、メディア入出力部７によって各メディアに対して行っても良い。また、通信制御部９によってネットワーク１９を介して他のコンピュータに対して行っても良い。また、記憶部５に記憶するようにしても良い。
次に、図１０を参照しながら、動画像符号化装置１の動作の詳細について説明する。
図１０は、２段階の符号化処理全体の流れを示すフローチャートである。
以下では、フローチャートとともに、具体例についても説明する。具体例は、第１段階符号化手段５５の第２の実行ロジックに従い、Ｉフレーム７３およびＩフレーム直後のＰフレーム７７に対しては第１段階目の符号化を３回実行し、その他のＰフレーム７９に対しては第１段階目の符号化を１回実行する場合とする。尚、１回目から３回目までに用いる量子化パラメータは事前に設定されているとする。
図１０に示すように、制御部３は、第１段階目の符号化に用いる量子化パラメータを決定し（Ｓ１０１）、決定した量子化パラメータを用いて第１段階目の符号化を実行し（Ｓ１０２）、符号化結果を保持する（Ｓ１０３）。
ここで、具体例においては、Ｓ１０１からＳ１０３までの処理が１回目の場合、事前に設定された１回目の量子化パラメータを用いることを決定し、全てのフレーム、すなわち、Ｉフレーム７３およびＩフレーム直後のＰフレーム７７およびその他のＰフレーム７９に対して、第１段階目の符号化を実行し、符号化結果を保持する。
次に、Ｓ１０１からＳ１０３までの処理が２回目または３回目の場合、事前に設定された２回目または３回目の量子化パラメータを用いることを決定し、Ｉフレーム７３およびＩフレーム直後のＰフレーム７７に対して、第１段階目の符号化を実行し、符号化結果を保持する。ここで、符号化の際、収集する情報に影響のない処理は省略することができる。
次に、制御部３は、第１段階目の符号化の終了条件を満たすかどうか確認する（Ｓ１０４）。ここで、具体例における終了条件は、Ｓ１０１からＳ１０３までの処理を３回実行したことである。
終了条件を満たさない場合（Ｓ１０４のＮｏ）、Ｓ１０１から繰り返す。
終了条件を満たす場合（Ｓ１０４のＹｅｓ）、Ｓ１０５に進む。
次に、制御部３は、発生する符号量を推定するフレームを決定し（Ｓ１０５）、決定したフレームに対して符号量推定を実行する（Ｓ１０６）。
ここで、具体例においては、例えば、動画像シーケンス７１の順に符号量を推定するフレームを決定すれば良い。尚、その他のＰフレーム７９については、参照するＩフレーム直後のＰフレーム７７の符号量の推定が終了していないと、処理を実行することはできない。
符号量推定ロジックの選択は、Ｉフレーム７３およびＩフレーム直後のＰフレーム７７に対しては、第１の推定ロジックから第３の推定ロジックのいずれを選択することも可能である。但し、サンプルは３つであることから、第２の推定ロジックの場合、２次多項式によって推定することになる。一方、その他のＰフレーム７９に対しては、第４の推定ロジックのみ選択することが可能である。
次に、制御部３は、全てのフレームについて符号量推定の処理が終了したかどうか確認する（Ｓ１０７）。
ここで、前述した具体例の説明においてフレーム数には言及していないが、例えば、フレーム数が３００であれば、Ｓ１０５からＳ１０７までの処理が３００回繰り返されることになる。
終了していない場合（Ｓ１０７のＮｏ）、Ｓ１０５から繰り返す。
終了している場合（Ｓ１０７のＹｅｓ）、Ｓ１０８に進む。
次に、制御部３は、符号量合計を算出する量子化パラメータを決定し（Ｓ１０８）、符号量合計を算出する（Ｓ１０９）。
ここで、前述した具体例の説明において量子化パラメータの範囲には言及していないが、例えば、量子化パラメータの最小値を５、最大値を４５と事前に設定していた場合、最小値である５から順に１ずつ加算して量子化パラメータを決定すれば良い。また、最大値である４５から順に１ずつ減算して量子化パラメータを決定しても良い。
符号量の合計は、フレーム数が３００であれば、３００通りの推定式に、決定した量子化パラメータの値をそれぞれ代入して、フレームごとの符号量を算出し、これらを合算することで算出する。
次に、制御部３は、指定されたビットレートに対して当該量子化パラメータが最適かどうか確認する（Ｓ１１０）。
具体的には、制御部３は、指定されたビットレートから設定した符号量の合計の目標値と、Ｓ１０９で算出した符号量の合計値との差を算出する。そして、現時点の最適量子化パラメータによる符号量の合計値との差よりも小さい場合、（現時点では）最適であると判断する。
最適である場合（Ｓ１１０のＹｅｓ）、当該量子化パラメータを最適量子化パラメータとして保持する（Ｓ１１１）。
最適でない場合（Ｓ１１０のＮｏ）、Ｓ１１２に進む。
次に、制御部３は、最適量子化パラメータの決定の終了条件を満たすかどうか確認する（Ｓ１１２）。
ここで、最適量子化パラメータの決定の終了条件は、例えば、取り得る全ての量子化パラメータに対して、Ｓ１０８からＳ１１１までの処理を実行したことである。
終了条件を満たさない場合（Ｓ１１２のＮｏ）、Ｓ１０８から繰り返す。
終了条件を満たす場合（Ｓ１１２のＹｅｓ）、Ｓ１１３に進む。
次に、制御部３は、最適量子化パラメータによって推定された符号量の割り当てを行う（Ｓ１１３）。
次に、制御部３は、バッファ占有量の遷移を算出し（Ｓ１１４）、バッファ占有量の条件を満たすかどうか確認する（Ｓ１１５）。
条件を満たさない場合（Ｓ１１５のＮｏ）、制御部３は、符号量の割り当てを修正し（Ｓ１１６）、Ｓ１１４から繰り返す。
条件を満たす場合（Ｓ１１５のＹｅｓ）、Ｓ１１７に進む。
次に、制御部３は、割り当てられたフレームごとの符号量に基づいて、第２段階目の符号化を実行する（Ｓ１１７）。
以上のように、動画像符号化装置１は、２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う。
次に、図１１を参照しながら、本実施の形態に係る実施例について説明する。
図１１は、従来方式と実施例に係る新方式の性能テストの一例を示す図である。
本実施例で使用したＰＣ（パーソナルコンピュータ）は、ＣＰＵがＰｅｎｔｉｕｍ（登録商標）Ｄ（動作周波数３．２０ＧＨｚ）、メモリが１ＧＢ、ＨＤＤの空き容量が６６．７ＧＢ、ＯＳがＷｉｎｄｏｗｓ（登録商標）ＸＰであった。
また、符号化処理はＨ．２６４／ＡＶＣの標準方式に従い、フレームレートは３０ｆｐｓ、ビットレートは２５６ｋｂｐｓであった。符号化対象のコンテンツは、性能テストによく用いられるテスト用のサンプル動画像データを用いた。
図１１に示す旧方式では、第１段階目の符号化を１回のみとした。一方、実施例に係る新方式では、第１段階目の符号化を３種類の量子化パラメータによって３回行った。フレームは図４に示すようにＩフレーム７３とＰフレーム７５に分類し、両方に対し、同じ回数、すなわち３回の第１段階目の符号化を行った。また、符号量推定手段５７は、第３の推定ロジックを用いた。
新方式の第１段階目の符号化に要した処理時間は、従来方式の第１段階目の符号化に要した処理時間と比べて、全てのコンテンツに対し、２倍以下となっている。新方式では、３回の第１段階目の符号化を行っていることから、単純計算では３倍となるはずである。しかしながら、新方式では、既に述べてきた処理時間の増大を抑える仕組みを採用しており、符号量の正確な推定を実現しながら処理時間は著しく増大しない結果となった。
また、（新方式の全体の処理時間）／（従来方式の全体の処理時間）の平均値は約１．４倍程度であり、実用化にも問題のない性能を示す結果となった。
以上説明したように、本発明の実施の形態によれば、動画像符号化装置１は、第１段階目の符号化を異なる量子化パラメータによって複数回実行し、第１段階目の複数の符号化結果を用いて、全ての量子化パラメータに対してフレームごとに発生する符号量を推定する。そして、動画像符号化装置１は、符号量の推定結果から、フレームごとの符号量の割り当てを行い、割り当てたフレームごとの符号量に基づいて第２段階目の符号化を実行する。特に、第１段階目の符号化は、フレームの属性に応じて実行する符号化の回数を可変とし、２回目以降の符号化処理に含まれる処理の一部を省略する。また、符号量の推定は、フレームごとに符号量の推定ロジックを選択する。
本発明の実施の形態に係る動画像符号化装置１によって、量子化パラメータごとの発生符号量を正確に推定し、フレームごとの符号量を適切に割り当てることができる。更に、符号量の正確な推定を実現しながら処理時間の増大を抑えることができる。
以上、添付図面を参照しながら、本発明に係る動画像符号化装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
動画像符号化装置１を実現するコンピュータのハードウェア構成図 Ｈ．２６４／ＡＶＣの規約を準拠したコンピュータが具備する符号化処理の機能を示すブロック図 動画像符号化装置１の機能を示すブロック図 フレームの属性による分類の一つ目の例を示す図 フレームの属性による分類の二つ目の例を示す図 量子化パラメータと発生符号量の関係を示す図 区間ごとの符号量の推定を示す図 第１の実行ロジックによって第１段階目の符号化を実行した場合の推定ロジックの選択を示す図 第２の実行ロジックによって第１段階目の符号化を実行した場合の推定ロジックの選択を示す図 ２段階の符号化処理全体の流れを示すフローチャート 従来方式と実施例に係る新方式の性能テストの一例を示す図
符号の説明
１………動画像符号化装置
３………制御部
５………記憶部
７………メディア入出力部
９………通信制御部
１１………入力部
１３………表示部
１５………周辺機器Ｉ／Ｆ部
１７………バス
１９………ネットワーク
５１………符号化対象データ入力手段
５３………符号化条件設定手段
５５………第１段階符号化手段
５７………符号量推定手段
５９………符号量割り当て手段
６１………第２段階符号化手段
６３………符号化データ出力手段
７１………動画像シーケンス
７３………Ｉフレーム
７５………Ｐフレーム
７７………Ｉフレーム直後のＰフレーム
７９………その他のＰフレーム

Claims (11)

  1. ２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う動画像符号化装置であって、
    前記第１段階目の符号化を異なる量子化制御変数によって複数回実行する第１段階符号化手段と、
    前記第１段階符号化手段による複数の符号化結果を用いて、全ての前記量子化制御変数に対してフレームごとに発生する符号量を推定する符号量推定手段と、
    前記符号量推定手段の推定結果から、前記フレームごとの前記符号量の割り当てを行う符号量割り当て手段と、
    前記符号量割り当て手段によって割り当てた前記フレームごとの前記符号量に基づいて前記第２段階目の符号化を実行する第２段階符号化手段と、
    を具備することを特徴とする動画像符号化装置。
  2. 前記第１段階符号化手段は、前記フレームの属性に応じて実行する符号化の回数を可変とすることを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記第１段階符号化手段は、２回目以降の符号化処理に含まれる処理の一部を省略することを特徴とする請求項１または請求項２に記載の動画像符号化装置。
  4. 前記符号量推定手段は、前記フレームごとに前記符号量の推定ロジックを選択可能とすることを特徴とする請求項１から請求項３までのいずれかに記載の動画像符号化装置。
  5. 前記符号量割り当て手段は、同一の前記量子化制御変数によって推定した前記フレームごとの前記符号量が、符号化対象の動画像シーケンス全体で、指定されたビットレートに最も適したものとなる前記量子化制御変数を決定し、決定した前記量子化制御変数によって前記フレームごとの前記符号量を割り当てることを特徴とする請求項１から請求項４までのいずれかに記載の動画像符号化装置。
  6. ２段階の符号化を実施し、第１段階目の符号化の結果によって符号化対象の画像の性質を解析し、その解析結果に基づいて第２段階目の符号化を行う動画像符号化方法であって、
    前記第１段階目の符号化を異なる量子化制御変数によって複数回実行する第１段階符号化ステップと、
    前記第１段階符号化ステップによる複数の符号化結果を用いて、全ての前記量子化制御変数に対してフレームごとに発生する符号量を推定する符号量推定ステップと、
    前記符号量推定ステップの結果から、前記フレームごとの前記符号量の割り当てを行う符号量割り当てステップと、
    前記符号量割り当てステップによって割り当てた前記フレームごとの前記符号量に基づいて前記第２段階目の符号化を実行する第２段階符号化ステップと、
    を含むことを特徴とする動画像符号化方法。
  7. 前記第１段階符号化ステップは、前記フレームの属性に応じて実行する符号化の回数を可変とすることを特徴とする請求項６に記載の動画像符号化方法。
  8. 前記第１段階符号化ステップは、２回目以降の符号化処理に含まれる処理の一部を省略することを特徴とする請求項６または請求項７に記載の動画像符号化方法。
  9. 前記符号量推定ステップは、前記フレームごとに発生符号量の推定ロジックを選択可能とすることを特徴とする請求項６から請求項８までのいずれかに記載の動画像符号化方法。
  10. 前記符号量割り当てステップは、同一の前記量子化制御変数によって推定した前記フレームごとの前記符号量が、符号化対象の動画像シーケンス全体で、指定されたビットレートに最も適したものとなる前記量子化制御変数を決定し、決定した前記量子化制御変数によって前記フレームごとの前記符号量を割り当てることを特徴とする請求項６から請求項９までのいずれかに記載の動画像符号化方法。
  11. コンピュータを請求項１から請求項５までのいずれかに記載の動画像符号化装置として機能させるプログラム。
JP2007211710A 2007-08-15 2007-08-15 動画像符号化装置、動画像符号化方法およびプログラム Expired - Fee Related JP4842899B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007211710A JP4842899B2 (ja) 2007-08-15 2007-08-15 動画像符号化装置、動画像符号化方法およびプログラム
US12/192,275 US8218646B2 (en) 2007-08-15 2008-08-15 Moving image encoding apparatus, moving image encoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007211710A JP4842899B2 (ja) 2007-08-15 2007-08-15 動画像符号化装置、動画像符号化方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2009049551A true JP2009049551A (ja) 2009-03-05
JP4842899B2 JP4842899B2 (ja) 2011-12-21

Family

ID=40362944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007211710A Expired - Fee Related JP4842899B2 (ja) 2007-08-15 2007-08-15 動画像符号化装置、動画像符号化方法およびプログラム

Country Status (2)

Country Link
US (1) US8218646B2 (ja)
JP (1) JP4842899B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013247683A (ja) * 2012-05-24 2013-12-09 Fujitsu Ltd 画像圧縮方法及びその装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033479A (ja) * 1989-05-30 1991-01-09 Nec Corp 画像信号の符号化方式
JPH05191651A (ja) * 1992-01-13 1993-07-30 Toshiba Corp 画像符号化装置
JPH08186821A (ja) * 1994-12-27 1996-07-16 Toshiba Corp 動画像符号化装置及び動画像伝送装置
JPH08340531A (ja) * 1995-06-14 1996-12-24 Toshiba Corp 可変レート符号化装置
JP2003018603A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 動画像符号化方法及び装置
JP2007028156A (ja) * 2005-07-15 2007-02-01 Sony Corp 符号化装置、符号化方法、プログラムおよび記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
US6118823A (en) * 1997-04-01 2000-09-12 International Business Machines Corporation Control scheme for shared-use dual-port predicted error array
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
JP3395892B2 (ja) * 1999-05-06 2003-04-14 日本電気株式会社 動画像符号化装置
US7277483B1 (en) * 2000-04-18 2007-10-02 Ati International Srl Method and apparatus for rate control for constant-bit-rate finite-buffer-size video encoder
US7079697B2 (en) * 2001-03-19 2006-07-18 Texas Instruments Incorporated Image compression with transform coefficient analysis
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
KR101108661B1 (ko) * 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
DE602005015067D1 (de) * 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033479A (ja) * 1989-05-30 1991-01-09 Nec Corp 画像信号の符号化方式
JPH05191651A (ja) * 1992-01-13 1993-07-30 Toshiba Corp 画像符号化装置
JPH08186821A (ja) * 1994-12-27 1996-07-16 Toshiba Corp 動画像符号化装置及び動画像伝送装置
JPH08340531A (ja) * 1995-06-14 1996-12-24 Toshiba Corp 可変レート符号化装置
JP2003018603A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 動画像符号化方法及び装置
JP2007028156A (ja) * 2005-07-15 2007-02-01 Sony Corp 符号化装置、符号化方法、プログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013247683A (ja) * 2012-05-24 2013-12-09 Fujitsu Ltd 画像圧縮方法及びその装置

Also Published As

Publication number Publication date
US8218646B2 (en) 2012-07-10
JP4842899B2 (ja) 2011-12-21
US20090046780A1 (en) 2009-02-19

Similar Documents

Publication Publication Date Title
US11317101B2 (en) Inter frame candidate selection for a video encoder
JP4127818B2 (ja) 動画像符号化方法及びその装置
JP4554927B2 (ja) ビデオトランスコーディングにおけるレート制御方法およびシステム
JP4513841B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
EP3038362B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
CN102271257B (zh) 图像处理设备
JP4425563B2 (ja) フェーディング補償のためのパラメータ化
JP4545388B2 (ja) フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法
US20060104527A1 (en) Video image encoding method, video image encoder, and video image encoding program
US20120128064A1 (en) Image processing device and method
JP2007267414A (ja) フレーム内画像符号化方法及びその装置
JPWO2006101126A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
CN101523915B (zh) 使用min-max方法的用于视频编码的两遍速率控制技术
CN112087628A (zh) 使用两级帧内搜索对视频进行编码
US20230056211A1 (en) Video encoding method and apparatus, video decoding method and apparatus, computer program product, computer-readable storage medium, and electronic device
JP4842899B2 (ja) 動画像符号化装置、動画像符号化方法およびプログラム
CN108028938A (zh) 视频编码方法及装置
US20090257497A1 (en) Moving image processing system, encoding device, and decoding device
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP4037839B2 (ja) 画像符号化方法及び装置
RU2587412C2 (ru) Управление скоростью передачи видео на основе гистограммы коэффициентов преобразования
US20070297517A1 (en) Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods
JP2007251996A (ja) 動画像符号化方法及びその装置
JP2018186419A (ja) トランスコーダ、トランスコード方法、及びトランスコードプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111006

R150 Certificate of patent or registration of utility model

Ref document number: 4842899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees