JP2017069707A - 動画像符号化装置、動画像符号化方法、及びプログラム - Google Patents

Abstract

【課題】係数最適化を行うことによる動画像の符号化効率の低下を抑制する。【解決手段】動画像符号化装置は、量子化部と、統計情報算出部と、テーブル保持部と、を備える。量子化部は、処理単位ブロック内の変換ブロック毎に予測誤差信号の変換係数を量子化する。統計情報算出部は、予測誤差信号を生成する際の予測結果に基づいて統計情報を算出する。テーブル保持部は、統計情報と、量子化パラメータと、変換係数を量子化した際に０以外の係数が発生する係数発生確率とを関連付けた係数発生確率テーブルを保持する。この動画像符号化装置の量子化部は、処理単位ブロックが画面内の所定の位置である場合、当該処理単位ブロックについての前記係数発生確率が予め定めた閾値以上となるよう、変換ブロック毎に係数を最適化する量子化及び最適化しない量子化のいずれを行うか設定した後、当該設定に従って変換ブロック毎に変換係数を量子化する。【選択図】図１

Description

本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。

近年、デジタルビデオカメラ等の撮像装置で撮像した動画像データや、Computer Graphics（ＣＧ）により作成された動画像データの高精細化が進んでいる。それに伴い、動画像データを効率よく符号化することが望まれている。例えば、４Ｋ、８Ｋ等の動画像データの符号化においては、ピクチャ或いはフレームと呼ばれる一画面分の画像データの符号化に要する時間を短縮することや、符号化による動画像データの圧縮率を高くすることが望まれている。

動画像データを符号化する動画像符号化装置は、一画面分の画像データをｎ×ｍ個の複数の処理単位ブロックに分割し、処理単位ブロック毎に符号化する。ここで、処理単位ブロックは、例えば、動画像の符号化規格の１つであるＨ．２６５／ＨＥＶＣにおいてCoding Tree Unit（ＣＴＵ）と呼ばれている画素ブロックである。

Ｈ．２６５／ＨＥＶＣに従って動画像データを符号化する動画像符号化装置には、例えば、水平方向に並んだ複数のＣＴＵを１つのグループ（ＣＴＵライン）とし、各ＣＴＵラインのＣＴＵについての符号化を並列に行うものがある。このように、複数のＣＴＵの符号化を並列で行うことにより、動画像符号化装置における一画面分の画像データの符号化に要する時間を短縮することが可能になる。

また、符号化による動画像データの圧縮率を高くする技術の１つとして、係数最適化と呼ばれる最適化処理が知られている。係数最適化は、予測誤差信号に対し直交変換を行うことで得られる直交変換係数を量子化する際に、量子化された直交変換係数のRate Distortion（ＲＤ）コストが低くなるよう最適化する処理である。以下、量子化された直交変換係数のことを単に係数ともいう。

この係数最適化の方法としては、例えば、Rate Distortion Optimized Quantization（ＲＤＯＱ）と呼ばれる処理方法（例えば特許文献１を参照）や、係数ゼロ化と呼ばれる処理方法（例えば特許文献２を参照）が知られている。

ところで、動画像の符号化においては、１つの処理単位ブロックを複数の変換ブロックに分割し、変換ブロック毎に直交変換及び量子化を行う。例えば、Ｈ．２６５／ＨＥＶＣに従った動画像の符号化においては、ＣＴＵ内の１つのCoding Unit（ＣＵ）を複数のTransform Unit（ＴＵ）に分割し、ＴＵ毎に直交変換及び量子化を行う。１個のＴＵは複数の画素を含んでおり、直交変換により得られる変換係数は画素毎に算出される。

また、上記の係数最適化はＴＵ単位で行われ、係数最適化の結果、１個のＴＵに含まれる全ての係数が「０」になる可能性がある。すなわち、Ｈ．２６５／ＨＥＶＣに従った動画像の符号化において係数最適化を行う場合、１個のＣＵに含まれる全ての係数が「０」になる可能性がある。

特定の条件、例えば画面の左端に位置するＣＴＵ内における左上ＣＵ内の全ての係数が「０」になった場合、量子化パラメータ差分ΔＱＰを符号化するため量子化後に「０」以外の係数を付加する処理を行わなければならない場合がある（例えば特許文献３を参照）。

特開２０１１−１７６４８３号公報 特開２０１３−２２９９０６号公報 特開２０１５−１１１７８７号公報

Ｈ．２６５／ＨＥＶＣに従った動画像の符号化においては、上述のように、例えば係数最適化により画面の左端に位置するＣＴＵ内における左上ＣＵ内の全ての係数が「０」にると、係数付加処理により改めて「０」以外の係数を付加することとなる。従って、係数最適化を行う場合、量子化後のＣＵ（ＴＵ）に係数付加処理を行う頻度が増大し、動画像符号化装置の処理負荷の増大や符号化効率の低下を招来する可能性がある。

また、係数付加処理を行った場合、例えば、係数を最適化しない量子化により得られた係数と、係数付加処理後の係数とが異なる可能性がある。そのため、係数付加処理後の係数の値によっては、係数最適化を行う前の係数を用いた場合よりもＲＤコストが大きくなり、符号化効率が低下する可能性がある。

１つの側面において、本発明は、係数最適化を行うことによる動画像の符号化効率の低下を抑制することを目的とする。

１つの態様の動画像符号化装置は、予測処理部と、変換部と、量子化部と、統計情報算出部と、テーブル保持部と、を備える。予測処理部は、動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて処理単位ブロック毎に予測画像を生成する。変換部は、処理単位ブロックを１個の変換ブロックとして、又は処理単位ブロックを複数の変換ブロックに分割して、処理単位ブロックについての入力画像データと予測画像とを用いて生成される予測誤差信号を変換ブロック毎に直交変換する。量子化部は、変換部で変換された予測誤差信号の変換係数を変換ブロック毎に量子化する。統計情報算出部は、予測部における予測結果に基づいて統計情報を算出する。テーブル保持部は、統計情報と、量子化パラメータと、変換係数を量子化した際に０以外の係数が発生する係数発生確率とを関連付けた係数発生確率テーブルを保持する。この動画像符号化装置における量子化部は、量子化する処理単位ブロックが一画面における所定の位置である場合、処理単位ブロックに含まれる変換ブロック毎に係数を最適化する量子化と係数を最適化しない量子化のどちらを行うか設定する。どちらの量子化を行うかの設定は、当該処理単位ブロックについての前記係数発生確率が予め定めた閾値以上となるよう、統計情報、量子化パラメータ、及び係数発生確率テーブルに基づいて行う。そして、量子化部は、上記の設定に従って変換ブロック毎に変換係数を量子化する。

上述の態様によれば、係数最適化を行うことによる動画像の符号化効率の低下を抑制することが可能となる。

一実施形態に係る動画像符号化装置の機能的構成を示す図である。 係数発生確率テーブルの例を示す図である。 ＣＴＵラインの並列処理を説明する図である。 量子化部が１個のＣＵに対して行う処理を説明するフローチャートである。 最適化設定切替処理を説明するフローチャートである。 １個のＣＵにおけるＴＵの分割形状と第２の係数発生確率の例を示す図である。 １個目のＴＵの係数最適化の設定をオンからオフに変更した場合の各ＴＵの係数発生確率の例を示す図である。 ２個目のＴＵの係数最適化の設定をオンからオフに変更した場合の各ＴＵの係数発生確率の例を示す図である。 係数発生確率の閾値の設定方法の例を説明する図である。 テーブル保持部の他の構成例を示す図である。 コンピュータのハードウェア構成を示す図である。

図１は、一実施形態に係る動画像符号化装置の機能的構成を示す図である。
図１に示すように、本実施形態に係る動画像符号化装置１は、予測誤差信号生成部１０１と、直交変換部１０２と、量子化部１０３と、エントロピー符号化部１０４と、を備える。また、動画像符号化装置１は、逆量子化部１０５と、逆直交変換部１０６と、復号画像生成部１０７と、フィルタ処理部１０８と、フレームメモリ１０９と、予測処理部１１０と、を備える。また、動画像符号化装置１は、統計情報算出部１１４と、テーブル保持部１１５と、を更に備える。また、動画像符号化装置１の予測処理部１１０は、インター予測部１１１と、イントラ予測部１１２と、予測画像生成部１１３と、を含む。

予測誤差信号生成部１０１は、予測誤差信号として、原画データ（入力画像データ）と、予測画像生成部１１３で生成した予測画像データとの差分データを生成する。予測誤差信号生成部１０１は、生成した予測誤差信号を直交変換部１０２に出力する。

予測画像生成部１１３は、インター予測部１１１の予測結果、及びイントラ予測部１１２の予測結果に基づいて、歪（コスト）の最も小さい予測モードを判定し、当該予測モードに対応した予測画像を生成する。インター予測部１１１は、原画データと、フレームメモリ１０９に記憶させた参照画像データとを用いたフレーム間予測を行う。すなわち、インター予測部１１１は、フレームメモリ１０９から現符号化対象のフレームとは別の、符号化済みのフレームにおける所定領域の画像データを参照画像として読み出して予測を行う。一方、イントラ予測部１１２は、原画データと、現符号化対象のフレームにおける符号化済み（復号済み）の領域の画素を参照画素として予測を行う。

直交変換部１０２は、Discrete Cosine Transform（ＤＣＴ）等の直交変換により、ＴＵ毎に予測誤差信号を周波数領域の信号（係数）に変換する。直交変換部１０２は、変換後の係数（以下「変換係数」という）を量子化部１０３に出力する。

量子化部１０３は、ＴＵ毎に変換係数を量子化する。量子化部１０３は、１個のＣＵに含まれる複数のＴＵに対し、それぞれ別個に係数最適化を行うか否かを設定する。量子化部１０３は、量子化パラメータ、予測誤差、及び係数発生確率に基づいて、各ＴＵに対し量子化した変換係数の最適化を行うか否かを設定する。量子化部１０３は、図示しない符号化処理制御部等から量子化パラメータを取得する。また、量子化部１０３は、統計情報算出部１１４から予測誤差を取得するとともに、テーブル保持部１１５から係数発生確率を取得する。統計情報算出部１１４は、インター予測部１１１の予測結果、及びイントラ予測部１１２の予測結果を取得して予測誤差等の統計情報を算出する。テーブル保持部１１５は、第１の係数発生確率テーブルと、第２の係数発生確率テーブルとを保持する。第１の係数発生確率テーブルは、変換係数の最適化を行わない量子化により「０」以外の係数が発生する確率を、量子化パラメータ及び予測誤差に関連付けてテーブル化したものである。第２の係数発生確率テーブルは、変換係数の最適化を行う量子化により「０」以外の係数が発生する確率を、量子化パラメータ及び予測誤差に関連付けてテーブル化したものである。以下、変換係数の最適化を係数最適化という。また、以下の説明においては、係数最適化を行わない量子化を第１の量子化ともいい、係数最適化を行う量子化を第２の量子化ともいう。

なお、量子化部１０３は、第１の量子化及び第２の量子化を、それぞれ、動画像の符号化規格に従い、既知の動画像符号化における量子化処理のいずれかにより行う。また、量子化部１０３は、１個のＣＵにおける量子化後の変換係数が全て「０」となった場合、係数付加処理を行う。量子化部１０３は、量子化後の変換係数をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、ＣＵ内の量子化された変換係数を符号化し、ビットストリームとして出力する。エントロピー符号化部１０４は、動画像の符号化規格に従い、既知の動画像符号化におけるエントロピー符号化処理のいずれかにより量子化後の変換係数を符号化する。

逆量子化部１０５は、ＴＵ毎に、量子化後の変換係数に対し逆量子化を行う。逆量子化部１０５は、量子化部１０３においてＴＵ内の変換係数に対して行った量子化に基づいて、量子化後の変換係数を量子化前の変換係数に復元する逆量子化処理を行う。逆量子化部１０５は、逆量子化により得られた変換係数を、逆直交変換部１０６に出力する。

逆直交変換部１０６は、逆量子化された変換係数に対し逆直交変換を行う。逆直交変換部１０６は、直交変換部１０２において予測誤差信号に対して行った直交変換に基づいて、逆量子化された変換係数（周波数領域の信号）を空間領域の信号に復元する逆直交変換を行う。逆直交変換部１０６は、逆直交変換により得られた信号を復号画像生成部１０７に出力する。

復号画像生成部１０７は、予測画像生成部１１３から出力された予測画像のデータと、逆直交変換部１０６から出力された信号とを加算することで、符号化対象ブロックのブロックデータを再生した復号画像を生成する。復号画像生成部１０７は、生成した復号画像をフィルタ処理部１０８とイントラ予測部１１２に出力する。

フィルタ処理部１０８は、復号画像に生じるブロック歪等を低減するためのフィルタ処理を行う。例えば、Ｈ．２５６／ＨＥＶＣ規格に従って動画像を符号化する場合、フィルタ処理部１０８は、デブロッキングフィルタ処理を行うＤＦ処理部と、Sample Adaptive Offset（ＳＡＯ）処理を行うＳＡＯ処理部とを含む。ＤＦ処理部は、入力された復号画像に対しブロック歪を低減するためのデブロッキングフィルタをかけるＤＦ処理を行う。ＳＡＯ処理部は、ＤＦ処理後の画像に対し所定の方法に従って画素値にオフセットを加減算するＳＡＯ処理を行う。フィルタ処理部１０８は、フィルタ処理を行った復号画像を復号信号（再生ブロックデータ）としてフレームメモリ１０９に記憶させる。

フレームメモリ１０９は、フィルタ処理部１０８から入力された再生ブロックデータを新たな参照ピクチャのブロックデータとして記憶する。この参照ピクチャのブロックデータは、インター予測部１１１が参照する。

図２は、係数発生確率テーブルの例を示す図である。
本実施形態の動画像符号化装置１は、上記のように、テーブル保持部１１５を備える。テーブル保持部１１５は、図２に示すように、第１の係数発生確率テーブル１１５Ａと、第２の係数発生確率テーブル１１５Ｂと、を保持する。第１の係数発生確率テーブル１１５Ａ及び第２の係数発生確率テーブル１１５Ｂは、各ＴＵを量子化する際に係数最適化を行うか否かを判定するために量子化部１０３が参照する。

係数発生確率は、量子化により１個のＴＵ内に「０」以外の係数が発生する確率である。第１の係数発生確率テーブル１１５Ａは、係数最適化を行わない量子化（第１の量子化）における係数発生確率を、量子化パラメータＱＰ及び予測誤差と関連付けてテーブル化したものである。また、第２の係数発生確率テーブル１１５Ｂは、係数最適化を行う量子化（第２の量子化）における係数発生確率を、量子化パラメータＱＰ及び予測誤差と関連付けてテーブル化したものである。

量子化パラメータＱＰ、予測誤差、及び係数発生確率の間には、次の２つの相関関係が存在する。第１の相関関係は、予測誤差の値が大きい場合、量子化後の変換係数が「０」ではない確率（係数発生確率）が高い、という関係である。第２の相関関係は、量子化パラメータＱＰが小さい場合、量子化後の変換係数が「０」ではない確率（係数発生確率）が高い、という関係である。

そのため、第１の係数発生確率テーブル１１５Ａは、量子化パラメータＱＰを一定の値（例えば０から７のいずれかの値）に固定した場合、予測誤差が大きくなるほど第１の係数発生確率が高くなるようにしてある。また、第１の係数発生確率テーブル１１５Ａは、予測誤差を一定の値（例えば０から１００までいずれかの値）に固定した場合、量子化パラメータＱＰが小さいほど係数発生確率が高くなるようにしてある。

同様に、第２の係数発生確率テーブル１１５Ｂは、量子化パラメータＱＰを一定の値（例えば０から７のいずれかの値）に固定した場合、予測誤差が大きくなるほど第２の係数発生確率が高くなるようにしてある。また、第２の係数発生確率テーブル１１５Ｂは、予測誤差を一定の値（例えば０から１００までいずれかの値）に固定した場合、量子化パラメータＱＰが小さいほど係数発生確率が高くなるようにしてある。

また、上記のように、係数最適化を行う量子化は、係数最適化を行わない量子化に比べて、量子化後の変換係数が全て「０」になる確率が高い。すなわち、最適化した場合の第２の係数発生確率は、最適化しない場合の第１の係数発生確率よりも低くなる。従って、第２の係数発生確率テーブル１１５Ｂにおける係数発生確率は、それぞれ、量子化パラメータＱＰ及び予測誤差の値の組み合わせが同じである第１の係数発生確率テーブル１１５Ａにおける係数発生確率以下となる。

なお、量子化パラメータＱＰ、予測誤差、及び係数発生確率の間に存在する第１及び第２の相関関係はいずれも定性的な関係である。そのため、第１の係数発生確率テーブル１１５Ａ及び第２の係数発生確率テーブル１１５Ｂにおける係数発生確率の値は、それぞれ、予め用意した複数種類の動画像データを量子化した際の係数発生確率に基づいて適宜設定すればよい。また、第１の係数発生確率テーブル１１５Ａ及び第２の係数発生確率テーブル１１５Ｂにおける量子化パラメータＱＰの分割態様は、図２に示した例に限らず、例えば、４個の連続したＱＰ値毎に分割する態様でも良い。同様に、第１の係数発生確率テーブル１１５Ａ及び第２の係数発生確率テーブル１１５Ｂにおける予測誤差の分割態様は、図２に示した例に限らず、例えば、５０毎に分割する態様でも良い。

図３は、ＣＴＵラインの並列処理を説明する図である。
本実施形態の動画像符号化装置１は、動画像符号化の規格の１つであるＨ．２６５／ＨＥＶＣに従って動画像データを符号化する。この動画像符号化装置１は、例えば、図３に示すように、１つのピクチャ（フレーム）２をｎ×ｍ個のＣＴＵ（０，０）〜ＣＴＵ（ｎ−１，ｍ−１）に分割し、ＣＴＵ毎に予測処理、変換処理、量子化処理等を行う。

また、動画像符号化装置１は、水平方向に並んだｎ個のＣＴＵを１つのグループ（ＣＴＵライン）ＬＮとし、各ＣＴＵラインＬＮ_０〜ＬＮ_ｎ−１の左端に位置するＣＴＵから順に符号化処理を行うものとする。更に、動画像符号化装置１は、複数のＣＴＵラインＬＮ_０〜ＬＮ_ｍ−１の符号化を並列に行う。図３に示した例では、ピクチャ２の上端側に位置する３つのＣＴＵラインＬＮ_０〜ＬＮ_２のＣＴＵの符号化処理が並列に行われている。この際、動画像符号化装置１は、例えば、ＣＴＵラインＬＮ_１における左から３個目のＣＴＵ（２，１）の符号化を開始すると、１つ下のＣＴＵラインＬＮ_２における左端のＣＴＵ（０，２）を開始する。

動画像符号化装置１は、符号化処理の対象に指定されたＣＴＵに設定されたＣＵに対し予測処理、予測画像の生成処理、予測誤差信号の生成処理、直交変換処理、及び量子化処理を順次行う。予測処理は、インター予測部１１１及びイントラ予測部１１２が行う。予測画像の生成処理は、予測画像生成部１１３が行う。予測誤差信号の生成処理は、予測誤差信号生成部１０１が行う。直交変換処理は、直交変換部１０２が行う。量子化処理は、量子化部１０３が統計情報算出部１１４等と協働して行う。統計情報算出部１１４は、上記のように、インター予測部１１１の予測結果及びイントラ予測部１１２の予測結果に基づいて予測誤差を含む統計情報を算出する。

本実施形態の動画像符号化装置１が行う予測処理、予測画像の生成処理、予測誤差画像の生成処理、及び直交変換処理は、それぞれ、Ｈ．２６５／ＨＥＶＣ規格に従って動画像データを符号化する既知の動画像符号化装置において行われる処理でよい。動画像符号化装置１は、ＣＵ内のＴＵ毎に、予測誤差画像の生成処理、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、及び復号画像生成処理を行う。動画像符号化装置１は、量子化部１０３において当該ＣＵに含まれる各ＴＵの変換係数を量子化する。本実施形態に係る量子化部１０３は、各ＣＵに対し、図４及び図５に示したような量子化処理を行う。以下、本実施形態の動画像符号化装置１における量子化部１０３が行う処理について、図４及び図５を参照して説明する。なお、以下の説明では、図３に示したように、各ＣＴＵラインにおけるＣＴＵの符号化は画面（ピクチャ２）の左端に位置するＣＴＵから順に行うものとする。

図４は、量子化部が１個のＣＵに対して行う処理を説明するフローチャートである。図５は、最適化設定切替処理を説明するフローチャートである。

動画像符号化装置１の量子化部１０３は、図４に示すように、まず、量子化するＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置であるか否かを判定する（ステップＳ１）。ステップＳ１において、量子化部１０３は、例えばＣＵの位置情報に基づいて、当該ＣＵの位置が画面（ピクチャ２）の左端に位置するＣＴＵ内の最左上であるか否かを判定する。なお、ＣＴＵ内の各ＣＵに対する処理をＺスキャン順で行う場合、ステップＳ１では、ＣＴＵ内のＣＵのうち最初に処理を行うＣＵであるか否かによりＣＴＵ内の最左上位置であるか否かを判定してもよい。

量子化するＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置ではない場合（ステップＳ１；Ｎｏ）、量子化部１０３は、ＣＵに含まれる全ＴＵの係数最適化の設定をオンにする（ステップＳ２）。すなわち、ステップＳ２において、量子化部１０３は、全てのＴＵに対し第２の量子化、すなわち係数最適化を行う量子化をするよう設定する。その後、量子化部１０３は、量子化処理（ステップＳ８）以降の処理を行う。

一方、量子化するＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置である場合（ステップＳ１；Ｙｅｓ）、量子化部１０３は、次に、ＣＵ（ＴＵ）についての量子化パラメータＱＰ及び予測誤差の値を取得する（ステップＳ３）。ステップＳ３において、量子化部１０３は、符号化処理全体の制御を行う図示しない制御部等から量子化パラメータＱＰの値を取得する。また、ステップＳ３において、量子化部１０３は、統計情報算出部１１４から予測誤差の値等の統計情報を取得する。統計情報算出部１１４は、インター予測部１１１及びイントラ予測部１１２から予測結果を取得し、ＣＵについての統計情報を算出する。また、統計情報算出部１１４は、所定の期間、例えば１つのピクチャ２の符号化が完了するまで、算出した統計情報を保持しておく。

次に、量子化部１０３は、ＣＵに含まれる全ＴＵの係数最適化の設定をオンにする（ステップＳ４）。ステップＳ４において、量子化部１０３は、全てのＴＵに対し第２の量子化、すなわち係数最適化を行う量子化をするよう設定する。

次に、量子化部１０３は、テーブル保持部１１５の第２の係数発生確率テーブル１１５Ｂを参照し、第２の係数発生確率を用いてＣＵ全体についての係数発生確率ＰＡを算出する（ステップＳ５）。ステップＳ５において、量子化部１０３は、ＣＵ内のＴＵ毎に、量子化パラメータＱＰの値及び予測誤差の値をキー情報として、第２の係数発生確率テーブル１１５Ｂから対応する第２の係数発生確率を読み出す。その後、量子化部１０３は、読み出した第２の係数発生確率を各ＴＵの係数発生確率ＰＴとし、全ＴＵに対し係数最適化を行った場合のＣＵ全体についての係数発生確率ＰＡを算出する。ＣＵ全体についての係数発生確率ＰＡは、例えば、下記式（１）を用いて算出する。

式（１）において、係数発生確率ＰＴの添え字ｋは、ＣＵ内のＫ個のＴＵを識別するために各ＴＵに付した通し番号を表す数値である。この添え字ｋで表される通し番号は、例えば、ＣＵ内において量子化を行う順に付しておく。

式（１）における１−ＰＴ_ｋは、ＴＵ_ｋを量子化した際に係数が発生しない確率、言い換えるとＴＵ_ｋ内の量子化後の係数が全て「０」になる確率を表している。式（１）の右辺は、各ＴＵ_ｋに係数が発生しない確率１−ＰＴ_ｋの積で与えられる全ＴＵに量子化後の係数が発生しない確率を、１から引いた値である。よって、式（１）で表されるＣＵ全体についての係数発生確率ＰＡは、ＣＵ内に「０」以外の係数が発生する確率を表している。

ＣＵ全体についての係数発生確率ＰＡを算出すると、量子化部１０３は、次に、算出した係数発生確率ＰＡを閾値Ｎと比較し、ＰＡ≧Ｎであるか否かを判定する（ステップＳ６）。ＰＡ≧Ｎの場合（ステップＳ６；Ｙｅｓ）、量子化部１０３は、次に、ＣＵ内の各ＴＵに対する量子化処理（ステップＳ８）を行う。

一方、係数発生確率ＰＡと閾値Ｎとの大小関係がＰＡ＜Ｎの場合（ステップＳ６；Ｎｏ）、量子化部１０３は、次に、最適化設定切替処理（ステップＳ７）を行う。ステップＳ７において、量子化部１０３は、ＣＵ全体についての係数発生確率ＰＡが閾値Ｎ以上（Ｐ≧Ｎ）になるまで、第１の係数発生確率と第２の係数発生確率との差分値Ｄ_ｋが大きいＴＵ_ｋから順に係数発生確率ＰＴを第１の係数発生確率に変更する。そして、ステップＳ７の最適化設定切替処理を終えると、量子化部１０３は、次に、ＣＵ内の各ＴＵに対する量子化処理（ステップＳ８）を行う。

ステップＳ８の量子化処理は、ＣＵ内のＴＵ毎に係数最適化の設定に基づいて行われる。すなわち、ＣＵ内の全ＴＵのうち係数最適化の設定がオンになっているＴＵについては、係数を最適化する第２の量子化により変換係数を量子化する。一方、係数最適化の設定がオフになっているＴＵについては、係数を最適化しない第１の量子化（いわゆる通常の量子化）により変換係数を量子化する。第２の量子化及び第１の量子化には、それぞれ、Ｈ．２６５／ＨＥＶＣ規格において行われる既知の量子化処理のいずれかを適用する。

ステップＳ８の量子化処理を終えると、量子化部１０３は、次に、ＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置であり、かつＣＵ内の量子化後の係数が全て０であるか否かを判定する（ステップＳ９）。ＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置ではない場合、又はＣＵ内に０以外の量子化係数がある場合（ステップＳ９；Ｎｏ）、量子化部１０３は、１個のＣＵに対する処理を終了する。この場合、量子化部１０３は、ステップＳ８の量子化処理の結果をエントロピー符合部１０４に出力する。

一方、ＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置であり、かつＣＵ内の量子化係数が全て０である場合（ステップＳ９；Ｙｅｓ）、量子化部１０３は、ステップＳ８の量子化処理の結果を用いて係数付加処理（ステップＳ１０）を行う。ステップＳ１０において、量子化部１０３は、既知の動画像の符号化における係数付加処理のいずれかを行う。そして、ステップＳ１０の係数付加処理を終えると、量子化部１０３は、係数付加処理後の係数をエントロピー符合部１０４に出力して、１個のＣＵに対する処理を終了する。

このように、量子化部１０３は、ＣＵ内の全ＴＵの係数発生確率を第２の係数発生確率として算出したＣＵについての係数発生確率ＰＡが閾値Ｎよりも小さい場合、最適化設定切替処理（ステップＳ７）を行ってから量子化処理（ステップＳ８）を行う。量子化部１０３は、最適化設定切替処理として、例えば、図５に示したような処理を行う。図５は、最適化設定切替処理を説明するフローチャートである。

最適化設定切替処理において、量子化部１０３は、まず、各ＴＵ_ｋの係数発生確率の差分値Ｄ_ｋを算出し、差分値Ｄ_ｋの大きさ順にＴＵ_ｋをソートする（ステップＳ７０１）。ステップＳ７０１において、量子化部１０３は、テーブル保持部１１５の第１の係数発生確率テーブル１１５Ａを参照し、各ＴＵ_ｋについての第１の係数発生確率を取得する。そして、量子化部１０３は、取得した第１の係数発生確率と、ステップＳ５において取得した第２の係数発生確率とを用い、各ＴＵ_ｋについての係数発生確率の差分値Ｄ_ｋを算出する。その後、量子化部１０３は、算出した差分値Ｄ_ｋの大きさ順にＴＵ_ｋをソートする。なお、差分値Ｄ_ｋが同じ値であるＴＵ_ｋが複数存在する場合、量子化部１０３は、例えば、当該複数のＴＵについて、量子化する際の順番が早いＴＵから順にソートする。

ステップＳ７０１のソートを終えると、量子化部１０３は、次に、係数最適化の設定がオンであるＴＵがあるか否かをチェックする（ステップＳ７０２）。係数最適化の設定がオンであるＴＵがない場合（ステップＳ７０２；Ｎｏ）、量子化部１０３は、各ＴＵの係数最適化の設定を保持し（ステップＳ７０７）、最適化設定切替処理を終了する（リターン）。

一方、係数最適化の設定がオンであるＴＵがある場合（ステップＳ７０２；Ｙｅｓ）、量子化部１０３は、係数最適化の設定がオンであるＴＵのうち差分値Ｄが最も大きいＴＵの係数最適化の設定をオフに変更する（ステップＳ７０３）。また、ステップＳ７０３の処理の後、量子化部１０３は、係数最適化の設定をオフに変更したＴＵの係数発生確率ＰＴを、第２の係数発生確率から第１の係数発生確率に変更する（ステップＳ７０４）。

ステップＳ７０３，Ｓ７０４の処理の後、量子化部１０３は、現時点における各ＴＵの係数最適化の設定に基づいて、ＣＵ全体についての係数発生確率ＰＡを算出する（ステップＳ７０５）。ステップＳ７０５において、量子化部１０３は、上記の式（１）を用いて係数発生確率ＰＡを算出する。なお、ステップＳ７０５において、量子化部１０３は、係数最適化の設定がオンであるＴＵ_ｋの係数発生確率ＰＴ_ｋには第２の係数発生確率を用いる。また、量子化部１０３は、係数最適化の設定がオフであるＴＵ_ｋの係数発生確率ＰＴ_ｋには第１の係数発生確率を用いる。

次に、量子化部１０３は、ステップＳ７０５で算出した係数発生確率ＰＡを閾値Ｎと比較し、ＰＡ≧Ｎであるか否かを判定する（ステップＳ７０６）。ＰＡ≧Ｎの場合（ステップＳ７０６；Ｙｅｓ）、量子化部１０３は、ＣＵ内の各ＴＵの係数最適化の設定を保持し（ステップＳ７０７）、最適化設定切替処理を終了する。

一方、ＰＡ＜Ｎの場合（ステップＳ７０６；Ｎｏ）、量子化部１０３は、ステップＳ７０２の判定処理に戻る。以降、量子化部１０３は、全てのＴＵに対する係数最適化の設定がオフになるか、又はＰＡ≧Ｎになるまで、ステップＳ７０２〜Ｓ７０６の処理を繰り返す。

このように、量子化部１０３は、処理対象のＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置である場合、ＣＵ全体についての係数発生確率ＰＡが閾値Ｎ以上になるよう、各ＴＵの係数最適化のオン／オフの設定を切り替える。このとき、量子化部１０３は、まず、全ＴＵの係数最適化の設定をオンにした状態で算出した係数発生確率ＰＡを閾値Ｎと比較する。そして、ＰＡ＜Ｎとなる場合、量子化部１０３は、係数最適化の設定がオフであるときの係数発生確率と係数最適化の設定でオンであるときの係数発生確率との差分値Ｄが大きいＴＵから順に、ＰＡ≧Ｎとなるまで係数最適化の設定をオフにしていく。

各ＴＵの係数発生確率は、上述したように、量子化パラメータＱＰ及び予測誤差と相関がある。また、量子化パラメータＱＰ及び予測誤差が同じ値である場合、各ＴＵの係数発生確率は、係数最適化を行わない量子化と対応する第１の係数発生確率のほうが、係数最適化を行う量子化と対応する第２の係数発生確率よりも高い。そのため、あるＴＵ_ｋにおける係数最適化の設定をオンからオフに変更すると、係数発生確率ＰＴ_ｋが大きくなり、当該ＴＵ_ｋに係数が全く発生しない確率１−ＰＴ_ｋは小さくなる。

従って、全てのＴＵの係数最適化の設定をオンにした状態から、いくつかのＴＵの係数最適化の設定をオフに変更することで、式（１）における量子化後の係数が全く発生しない確率Π（１−ＰＴ_ｋ）の値が小さくなる。すなわち、全てのＴＵの係数最適化の設定をオンにした状態から、いくつかのＴＵの係数最適化の設定をオフに変更することで、式（１）から算出されるＣＵ全体についての係数発生確率ＰＡは大きくなる。

これにより、量子化部１０３では、画面の左端に位置するＣＴＵ内の最左上に位置するＣＵに対し量子化を行う際にＣＵ内のＴＵの係数が全て０になる確率（頻度）を少なくすることが可能になる。そのため、量子化部１０３では、画面の左端に位置するＣＴＵ内の最左上に位置するＣＵを量子化した後、当該ＣＵに対して係数付加処理を行う頻度を少なくすることが可能になる。また、ＣＵ全体についての係数発生確率ＰＡがＰＡ≧ＮになったときにＣＵ内に係数最適化の設定がオンのＴＵがある場合、量子化部１０３は、ＣＵ内のいくつかのＴＵに対し係数を最適化する第２の量子化を行う。そのため、ＣＵ内のいくつかのＴＵについては量子化後の係数が最適化されることとなり、その分ＲＤコストが良くなる（低くなる）。従って、本実施形態に係る動画像符号化装置は、係数付加処理による符号化効率の低下を抑制しつつ、係数の最適化による画質の向上を図ることができる。

以下、図４及び図５のフローチャートに沿った処理についての具体例を、図６Ａ〜図６Ｃを参照して説明する。

図６Ａは、１個のＣＵにおけるＴＵの分割形状と第２の係数発生確率の例を示す図である。図６Ｂは、１個目のＴＵの係数最適化の設定をオンからオフに変更した場合の各ＴＵの係数発生確率の例を示す図である。図６Ｃは、２個目のＴＵの係数最適化の設定をオンからオフに変更した場合の各ＴＵの係数発生確率の例を示す図である。

本実施形態の動画像符号化装置１における量子化部１０３は、図４及び図５に示した手順で各ＣＵに対する量子化処理を行う。

上記のＨ．２６５／ＨＥＶＣ規格に従った動画像の符号化では、ＣＴＵ内のＣＵに対する予測誤差信号の直交変換処理及び量子化処理を行う際、１個のＣＵ内に１個又は２個以上のＴＵを設定し、ＴＵ単位で直交変換処理及び量子化処理を行う。１個のＣＵ内に２以上のＴＵを設定する場合、動画像符号化装置１では、例えば、図６Ａに示すようにＣＵ内を再帰的に四分木分割する。

図６Ａに示したＣＵは６４×６４画素の正方画素ブロックであり、まず３２×３２画素の４つのＴＵに分割している。この４つのＴＵのうち、ＣＵ内の右上に位置するＴＵは、更に１６×１６画素の４つのＴＵに分割している。また、この４つの１６×１６画素のＴＵのうち、右下に位置するＴＵは、更に８×８画素の４つのＴＵに分割している。

この図６Ａに示したＣＵに対して量子化処理を行う場合、量子化部１０３は、Ｚスキャンと呼ばれるスキャン手順に従ってＣＵ内の各ＴＵに対する量子化処理を行う。すなわち、量子化部１０３は、図６ＡのＣＵ内に対しＴＵ_ｋの添え字ｋの値が小さいＴＵから順（ＴＵ_０，ＴＵ_１，ＴＵ_２，ＴＵ_３，・・・，ＴＵ_８，ＴＵ_９の順）に量子化を行う。

量子化部１０３では、まず、ステップＳ１においてＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置であるか否かを判定する。そして、ＣＵの位置が画面の左端に位置するＣＴＵ内の最左上位置である場合、量子化部１０３は、各ＴＵについての量子化パラメータＱＰ及び予測誤差を取得するとともに、ＣＵ内の全ＴＵの係数最適化の設定をオンにする。その後、量子化部１０３は、取得した量子化パラメータＱＰ及び予測誤差をキー情報として第２の係数発生確率テーブル１１５Ｂを参照し、各ＴＵの係数発生確率ＰＴ_ｋを取得する。図６Ａには、第２の係数発生確率テーブル１１５Ｂから読み出した各ＴＵ_ｋの係数発生確率ＰＴ_ｋの例を示している。

図６Ａに示したＣＵの位置が画面の左端に位置するＣＴＵ内の最左上であり、かつ全ＴＵ_ｋの係数最適化の設定がオンである場合、量子化部１０３は、式（１）を用い、ＣＵ全体についての係数発生確率ＰＡを次のように算出する。

PA＝1-｛(1-PT₀)×(1-PT₁)×(1-PT₂)×(1-PT₃)×…×(1-PT₈)×(1-PT₉)｝
＝1-｛(1-0.15)×(1-0.01)×(1-0)×(1-0.03)×…×(1-0.1)×(1-0.1)｝
＝1-｛0.85×0.99×1×0.97×…×0.9×9.9｝
＝0.38

すなわち、図６Ａに示したＣＵ全体についての係数発生確率ＰＡは、０．３８（３８％）となる。

ここで、ステップＳ６において係数発生確率ＰＡと比較する閾値Ｎが０．３８以下であれば、ＰＡ≧Ｎとなる。ＰＡ≧Ｎの場合、量子化部１０３は、全てのＴＵの係数最適化の設定をオンにしたまま量子化処理を行う。

一方、閾値Ｎが０．３８よりも大きい場合、ＰＡ＜Ｎとなる。ＰＡ＜Ｎの場合、量子化部１０３は、図５に示したような最適化設定切替処理を行う。最適化設定切替処理を行う場合、量子化部１０３は、第１の係数発生確率テーブル１１５Ａを参照して各ＴＵ_ｋについての係数発生確率の差分値Ｄ_ｋを算出し、差分値Ｄ_ｋの大きい順にＴＵ_ｋをソートする。その後、量子化部１０３は、差分値Ｄ_ｋが最も大きいＴＵ_ｋの係数最適化の設定をオンからオフに変更する。

ここで、図６Ａに示したＣＵ内の各ＴＵ_ｋのうち、左下に位置する３２×３２画素のＴＵ_８における差分値Ｄ_８が最大であったとする。この場合、量子化部１０３は、当該ＴＵ_８の係数最適化の設定をオンからオフに変更する（ステップＳ７０３）。

また、係数最適化の設定を変更したＴＵ_８は、予測誤差が２０１〜３００の間の値であり、かつ量子化パラメータＱＰが５６〜６３の間の値であったとする。この場合、図２Ａに示した第１の係数発生確率テーブル１１５Ａから、ＴＵ_８の第１の係数発生確率は２５％となる。そのため、量子化部１０３は、ＴＵ_８の係数最適化の設定を変更した後、図６Ｂに示すように当該ＴＵ８の係数発生確率ＰＴ_ｋを１０％（０．１）から２５％（０．２５）に変更する（ステップＳ７０４）。

その後、量子化部１０３は、式（１）を用い、図６Ｂに示したＣＵ全体についての係数発生確率ＰＡを次のように算出する（ステップＳ７０５）。

PA＝1-｛(1-PT₀)×(1-PT₁)×(1-PT₂)×(1-PT₃)×…×(1-PT₈)×(1-PT₉)｝
＝1-｛(1-0.15)×(1-0.01)×(1-0)×(1-0.03)×…×(1-0.25)×(1-0.1)｝
＝1-｛0.85×0.99×1×0.97×…×0.75×9.9｝
＝0.48

すなわち、ＣＵ内の１個のＴＵ_８の係数最適化の設定をオンからオフに変更したことにより、ＣＵ全体についての係数発生確率ＰＡが０．３８から０．４８に増加する。

ここで、上記の閾値Ｎが０．４８以下であれば、ステップＳ７０５で算出した係数発生確率ＰＡと閾値Ｎとの大小関係は、ＰＡ≧Ｎとなる。ステップＳ７０６においてＰＡ≧Ｎであった場合、量子化部１０３は、ＴＵ_８の係数最適化の設定のみがオフであり、残りの全てのＴＵの係数最適化の設定はオンであるという設定情報を保持し、最適化設定切替処理を終了する。これにより、量子化処理１０８では、ＴＵ_８のみが第１の量子化により量子化され、残りの全てのＴＵは第２の量子化により量子化される。

一方、閾値Ｎが０．４８よりも大きい場合（ＰＡ＜Ｎ）、量子化部１０３は、係数発生確率の差分値Ｄ_ｋが２番目に大きいＴＵ_ｋの係数最適化の設定をオンからオフに変更する。

ここで、図６Ｂに示したＣＵ内の各ＴＵの差分値Ｄうち、ＴＵ_３における差分値Ｄ_３が２番目に大きい値であったとすると、量子化部１０３は、当該ＴＵ_３の係数最適化の設定をオンからオフに変更する（ステップＳ７０３）。

また、係数最適化の設定を変更したＴＵ_３は、予測誤差が１０１〜２００の間の値であり、かつ量子化パラメータＱＰが５６〜６３の間の値であったとする。この場合、図２Ｂに示した第１の係数発生確率テーブル１１５Ａから、ＴＵ_３の第１の係数発生確率は１０％となる。そのため、量子化部１０３は、ＴＵ_３の係数最適化の設定を変更した後、図６Ｃに示すように、当該各ＴＵ_３の係数発生確率ＰＴ_３を３％（０．０３）から１０％（０．１）に変更する（ステップＳ７０４）。

その後、量子化部１０３は、式（１）を用い、図６Ｃに示したＣＵ全体についての係数発生確率ＰＡを次のように算出する（ステップＳ７０５）。

PA＝1-｛(1-PT₀)×(1-PT₁)×(1-PT₂)×(1-PT₃)×…×(1-PT₈)×(1-PT₉)｝
＝1-｛(1-0.15)×(1-0.01)×(1-0)×(1-0.1)×…×(1-0.25)×(1-0.1)｝
＝1-｛0.85×0.99×1×0.9×…×0.75×9.9｝
＝0.52

ここで、上記の閾値Ｎが０．５２以下であれば、ステップＳ７０５で算出した係数発生確率ＰＡと閾値Ｎとの大小関係は、ＰＡ≧Ｎとなる。ステップＳ７０６においてＰＡ≧Ｎであった場合、量子化部１０３は、ＴＵ_３，ＴＵ_８の係数最適化の設定がオフであり、残りの全てのＴＵの係数最適化の設定はオンであるという設定情報を保持し、最適化設定切替処理を終了する。

一方、閾値Ｎが０．５２よりも大きい場合（ＰＡ＜Ｎ）、量子化部１０３は、ステップＳ７０３において係数発生確率の差分値Ｄ_ｋが３番目に大きいＴＵ_ｋの係数最適化の設定をオンからオフに変更する。以降、量子化部１０３は、ＰＡ≧Ｎとなるか、全ＴＵの係数最適化の設定がオフになるまで、上記の手順に沿った処理を繰り返す。

このように、ステップＳ７の最適化設定切替処理において係数最適化の設定をオンからオフに変更するＴＵの数は、閾値Ｎの値に依存している。以下、閾値Ｎの値の設定方法について、図７を参照して説明する。

図７は、係数発生確率の閾値の設定方法の例を説明する図である。なお、図７には、閾値Ｎの設定方法を説明する図として、係数発生確率とＲＤコスト（画質）との関係を表すグラフを示している。図７のグラフにおける横軸は、１０個のＴＵに分割されているＣＵを量子化する場合の係数最適化を行うＴＵの数である。また、図７のグラフにおける縦軸は、ＲＤコストであり、上に行くほどＲＤコストの値が大きくなる（すなわち画質が低下する）。

図７に示したグラフにおけるＣ０は、ＣＵ内の全てのＴＵの係数最適化の設定がオフである場合、すなわち全てのＴＵに対して第１の量子化（係数を最適化しない量子化）を行った場合のＲＤコストの値を示している。また、図７におけるＣ１は、ＣＵ内の全てのＴＵの係数最適化の設定がオンである場合、すなわち全てのＴＵに対して第２の量子化（係数を最適化する量子化）を行った場合のＲＤコストの値を示している。更に、図７におけるＣ２は、全てのＴＵに対して第２の量子化を行った結果全ての係数が「０」となり、係数付加処理を行った場合のＲＤコストの値を示している。

動画像を符号化したときの最終的な画質の期待値は、係数付加処理を行った場合のＲＤコストＣ２、係数最適化を行った場合のＲＤコストＣ１、及びＣＵ全体についての係数発生確率ＰＡから求めることができる。

図７に示したように、係数付加処理を行った場合のＲＤコストＣ２は、全てのＴＵに対して第１の量子化を行った場合のＲＤコストＣ０よりも大きくなる。そのため、係数付加処理を行った場合の画質は、全てのＴＵに対して第１の量子化を行った場合の画質よりも低下する。

また、全てのＴＵに対して第２の量子化を行った場合のＲＤコストＣ１は、全てのＴＵに対して第１の量子化を行った場合のＲＤコストＣ０よりも小さくなる。そして、いくつかのＴＵに対して第２の量子化を行う場合のＲＤコストは、図７に示した曲線ＥＰ１、すなわち全てのＴＵに対して第１の量子化を行った場合のＲＤコストＣ０と、全てのＴＵに対して第２の量子化を行った場合のＲＤコストＣ１とを結ぶ曲線で表される。そのため、本実施形態のようにＣＵ内のＴＵ毎に係数最適化の設定をした場合、最適化するＴＵの数が増えるにつれてＲＤコストが小さくなり、画質が向上する。

なお、図７に示したＲＤコストＣ１及び曲線ＥＰ１は、係数付加処理を行わなくてよい場合、すなわち量子化後のＣＵ内に「０」以外の係数が発生している場合のＲＤコスト及びＲＤコストの変化を示している。よって、図７に示したＲＤコストＣ１及び曲線Ｐ１は、ＣＵ全体についての係数発生確率ＰＡが１（１００％）である場合のＲＤコスト及びＲＤコストの変化を表しているといえる。

これに対し、係数付加処理を行った場合のＲＤコストＣ２は、ＣＵ内の係数が全て「０」になった場合のＲＤコストを表している。よって、係数付加処理を行った場合のＲＤコストＣ２は、ＣＵ全体についての係数発生確率ＰＡが０（０％）である場合のＲＤコストを表しているともいえる。

上記のＲＤコストＣ１，Ｃ２と係数発生確率ＰＡとの関係から、係数発生確率ＰＡが０＜ＰＡ＜１である場合のＲＤコストの期待値は、曲線ＥＰ１とＲＤコストＣ２との間の値となり、かつ係数発生確率ＰＡの値が大きいほど曲線Ｐ１に近づく。例えば、係数発生確率ＰＡを０．２５にした場合、０．５にした場合、及び０．７５にした場合の３通りでＲＤコストの期待値を算出すると、それぞれ、曲線ＥＣ（ＰＡ＝０．２５）、ＥＣ（ＰＡ＝０．５）、及びＥＣ（ＰＡ＝０．７５）のようになる。

また、図６Ａ〜図６Ｃに示したＣＵにおけるＣＵ全体についての係数発生確率ＰＡに基づいて算出したＲＤコストの期待値を図７に重ねて示すと、それぞれ、点ＰＡＣ０，ＰＡＣ１，及びＰＡＣ２の位置になる。更に、図６Ｃに示したＣＵに対し差分値Ｄが大きいＴＵから順に係数最適化の設定を変更して係数発生確率ＰＡを求めＲＤコストを算出すると、それぞれのＲＤコストの期待値は、例えば図７に示した点ＰＡＣ３〜ＰＡＣ１０の位置になる。

ここで、ステップＳ６等で係数発生確率ＰＡと比較する閾値Ｎについて考える。
例えば、ＰＡ＝０．２５である場合のＲＤコストの期待値は、図７に示した曲線ＥＣ（ＰＡ＝０．２５）で表される。そのため、閾値Ｎを０．２５（Ｎ＝０．２５）に設定した場合、係数発生確率ＰＡが０．２５よりも大きくなると、ＲＤコストが曲線ＥＣ（ＰＡ＝０．２５）で表される値よりも小さくなる。

すなわち、閾値Ｎを０．２５に設定した場合、図６Ａに示したＣＵ全体についての係数発生確率ＰＡ（＝０．３８）は閾値Ｎよりも大きくなる。従って、閾値Ｎを０．２５に設定した場合、量子化部１０３は、図６Ａに示したＣＵに対して最適化設定切替処理（ステップＳ７）を行わない。よって、閾値Ｎを０．２５に設定した場合、図６Ａに示したＣＵに対する量子化では、全てのＴＵに対して係数の最適化が行われる。

ところが、図６Ａに示したＣＵにおいては、上述のように、係数発生確率の差分値Ｄが大きい２個のＴＵに対する係数最適化の設定をオフにして量子化したほうがＲＤコストの期待値が小さくなり、画質が向上する。そのため、閾値Ｎを小さい値に設定した場合、係数最適化を行うＴＵの数が多くなるものの、ＲＤコストが大きくなり画質が劣化する可能性がある。しかも、閾値Ｎが小さい場合、ＣＵ全体についての係数発生確率ＰＡが小さくなるので、ＣＵ内の係数が全て「０」になる可能性が高くなる。従って、閾値Ｎが小さく係数を最適化するＴＵの数が多い場合、係数付加処理を行う頻度が多くなり、符号化効率の低下や画質の劣化を招来する可能性がある。

一方、閾値Ｎを大きな値（例えば、Ｎ＝０．７５）にした場合、図７に示したように、係数を最適化するＴＵの数を変えて算出したＲＤコストの期待値ＰＡＣ０〜ＰＡＣ１０が全て曲線ＥＣ（Ｎ＝ＰＡ＝０．７５）で表される値よりも大きくなる可能性がある。この場合、量子化部１０３は、図６Ａに示したＣＵ内の全てのＴＵに対して係数を最適化しない第１の量子化を行う。よって、閾値Ｎを大きな値にした場合、係数最適化によるＲＤコストの低減、言い換えると係数最適化による符号化効率や画質の向上といった効果を得難くなる。

上記の点を考慮すると、図７に示した例においては、閾値Ｎを０．５（Ｎ＝０．５）にすることが好ましいといえる。Ｎ＝０．５にした場合、図６Ｃに示したＣＵのように係数発生確率の差分値が大きい２個のＴＵ_３及びＴＵ_８の係数最適化の設定をオンからオフに変更すると、ＲＤコストの期待値ＰＡＣ２が曲線ＥＣ（ＰＡ＝０．５）よりも小さくなる。このため、当該ＣＵに対し、量子化部１０３は、ＴＵ_３及びＴＵ_８には係数を最適化しない量子化を行い、残りのＴＵには係数を最適化する量子化を行う。このときのＲＤコストの期待値ＰＡＣ２は、当該ＣＵについて係数最適化の設定がオンであるＴＵの数を変えて算出したＲＤコストの期待値ＰＡＣ０〜ＰＡＣ１０のうち最も値が小さい。従って、図７に示した例においては、閾値Ｎを０．５（Ｎ＝０．５）にすると、図６Ａに示したＣＵについてのＲＤコストを最小値又は最小値に近い値にすることができる。また、閾値Ｎを０．５にすると、ＣＵ全体についての係数発生確率ＰＡが０．５よりも大きい状態でＣＵを量子化するため、ＣＵ内の全ての係数が「０」になる確率、言い換えると係数付加処理を行う確率は０．５（５０％）未満となる。そのため、全てのＴＵの係数最適化の設定をオンにして量子化した場合に比べて、係数付加処理を行う頻度は低くなる。したがって、本実施形態の動画像符号化装置１は、量子化部１０３において係数最適化を行うことによる量子化後の係数付加処理の頻度の増大を抑制することが可能となる。よって、本実施形態の動画像符号化装置１は、係数最適化動画像の符号化効率の低下を抑制することが可能になる。

なお、図７に示した曲線ＥＰ１，ＥＣ（ＰＡ＝０．２５），ＥＣ（ＰＡ＝０．５），及びＥＣ（ＰＡ＝０．７５）の分布は、入力する映像の特性や量子化値によって変化する。従って、閾値Ｎは、例えば、事前に収集した評価映像の符号化結果から得られるＣＵ内の係数発生確率、係数付加処理を行ったときのＲＤコスト、及び係数最適化を行ったときのＲＤコスト等の平均値と、所望の画質（ＲＤコスト）とに応じて適宜設定すればよい。

また、図２には、テーブル保持部１１５が保持する係数発生確率テーブルとして、第１の係数発生確率テーブル１１５Ａと第２の係数発生確率テーブル１１５Ｂとの１組の係数発生確率テーブルを示している。しかしながら、係数発生確率テーブルは、これに限らず、複数組の係数発生確率テーブルを用意し、テーブル保持部１１５に保持させてもよい。

図８は、テーブル保持部の他の構成例を示す図である。図８に示したテーブル保持部１１５は、インター予測用の係数発生確率テーブル１１５１と、イントラ予測用の係数発生確率テーブル１１５２とを保持する。

インター予測用の係数発生確率テーブル１１５１は、インター予測により生成した予測画像と原画像との予測誤差信号を直交変換し量子化したときの係数発生確率についてのテーブルである。インター予測用の係数発生確率テーブル１１５１は、第１の係数発生確率テーブル１１５１Ａと、第２の係数発生確率テーブル１１５１Ｂとを含む。第１の係数発生確率テーブル１１５１Ａは、係数を最適化しない場合の係数発生確率と、量子化パラメータＱＰと、予測誤差とを関係付けたテーブルである。第２の係数発生確率テーブル１１５１Ｂは、係数を最適化する場合の係数発生確率と、量子化パラメータＱＰと、予測誤差とを関係付けたテーブルである。

イントラ予測用の係数発生確率テーブル１１５２は、イントラ予測により生成した予測画像と原画像との予測誤差信号を直交変換し量子化したときの係数発生確率についてのテーブルである。イントラ予測用の係数発生確率テーブル１１５２は、第１の係数発生確率テーブル１１５２Ａと、第２の係数発生確率テーブル１１５２Ｂとを含む。
第１の係数発生確率テーブル１１５２Ａは、係数を最適化しない場合の係数発生確率と、量子化パラメータＱＰと、予測誤差とを関係付けたテーブルである。第２の係数発生確率テーブル１１５２Ｂは、係数を最適化する場合の係数発生確率と、量子化パラメータＱＰと、予測誤差とを関係付けたテーブルである。

インター予測用及びイントラ予測用の２組の係数発生確率テーブル１１５１，１１５２を用いる場合、量子化部１０３は、処理対象のＣＵについての予測誤差信号がインター予測及びイントラ予測のどちらの予測画像に基づいて作成されたかを判定する。量子化部１０３は、この判定を、図５に示したステップＳ５において、又はステップＳ５よりも前に行う。予測誤差信号がインター予測に基づいて作成されたＣＵである場合、量子化部１０３は、インター予測用の係数発生確率テーブル１１５１を参照してＣＵ内の各ＴＵに対する係数最適化の設定のオン／オフを決定する。また、予測誤差信号がイントラ予測に基づいて作成されたＣＵである場合、量子化部１０３は、イントラ予測用の係数発生確率テーブル１１５２を参照してＣＵ内の各ＴＵに対する係数最適化の設定のオン／オフを決定する。

このように、インター予測及びイントラ予測のどちらの予測画像を用いているかにより参照する係数発生確率テーブルを変えることにより、それぞれの予測における係数発生確率の傾向に応じて係数最適化の設定のオン／オフを決定することが可能になる。そのため、インター予測かイントラ予測かによらず１組の係数発生確率テーブルを参照する場合に比べて、係数最適化の設定のオン／オフのより適切な切替が可能となる。

また、テーブル保持部１１５で保持する係数発生確率テーブルは、インター予測用とイントラ予測用とに限らず、符号化する動画像の特徴、例えば、被写体の複雑さや動きの速さ等に応じた複数組の係数発生確率テーブルであってもよい。

また、図１に示した動画像符号化装置１の機能的構成は一例に過ぎず、適用する符号化規格等に応じて一部の構成を省略又は変更してもよい。また、図４及び図５に示したフローチャートは一例に過ぎず、適用する符号化規格等に応じて一部の処理を省略又は変更してもよい。更に図３に示したＣＴＵラインの並列処理は一例に過ぎず、並列処理を行うＣＴＵラインの数は動画像符号化装置１の処理性能や適用する符号化規格等に応じて設定すればよい。

上記の動画像符号化装置１は、例えば、コンピュータと、コンピュータに図４及び図５に示した処理を含む動画像の符号化処理を実行させるプログラムとにより実現可能である。以下、動画像符号化装置１として動作させることが可能なコンピュータについて、図９を参照して説明する。

図９は、コンピュータのハードウェア構成を示す図である。図９に示すように、コンピュータ５は、Central Processing Unit（ＣＰＵ）５０１と、主記憶装置５０２と、補助記憶装置５０３と、入力装置５０４と、表示装置５０５と、Digital Signal Processor（ＤＳＰ）５０６と、インタフェース装置５０７と、通信装置５０８と、記憶媒体駆動装置５０９と、を備える。コンピュータ５におけるこれらの要素５０１〜５０９は、バス５１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

ＣＰＵ ５０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ５の全体の動作を制御する演算処理装置である。

主記憶装置５０２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ５の起動時にＣＰＵ ５０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、ＣＰＵ ５０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。ＲＡＭは、例えば、図４及び図５に示した処理で用いる係数発生確率ＰＴ，ＰＡや係数発生確率の差分値Ｄの保持等に利用可能である。

補助記憶装置５０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置５０２に比べて容量の大きい記憶装置である。補助記憶装置５０３には、ＣＰＵ ５０１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置５０３に記憶させるプログラムとしては、例えば、図４及び図５に示した処理を含む動画像の符号化処理をコンピュータ５に実行させるプログラムが挙げられる。また、補助記憶装置５０３に記憶させるデータとしては、例えば、撮像装置から取得した動画像データや符号化した動画像データ等が挙げられる。また、補助記憶装置５０３は、図４及び図５に示した処理で用いる係数発生確率テーブルの保持等にも利用可能である。

入力装置５０４は、例えばキーボード装置やマウス装置であり、コンピュータ５のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ５０１に送信するものである。

表示装置５０５は、例えば液晶ディスプレイ装置であり、ＣＰＵ ５０１等から送信される表示データに従って各種のテキスト、動画像（映像）等を表示する。

ＤＳＰ ５０６は、図４及び図５に示した処理を含む動画像符号化処理における一部の演算処理を行う演算処理装置である。ＤＳＰ ５０６は、ＣＰＵ ５０１からの命令に従って補助記憶装置５０３から符号化対象の動画像データ（ピクチャ）を読み込み、所定の動画像符号化処理を行う。また、ＤＳＰ ５０６は、符号化後のデータ（ビットストリーム）を補助記憶装置５０３に記憶させる。

インタフェース装置５０７は、コンピュータ５を撮像装置等の他の電子機器と接続し、コンピュータ５と電子機器との間でのデータの送受信を可能にする装置である。インタフェース装置５０７は、例えば、Universal Serial Bus（ＵＳＢ）規格の入出力コネクタや、High-Definition Multimedia Interface（ＨＤＭＩ(登録商標））規格の入出力コネクタを備える。

通信装置５０８は、所定の通信規格に従ってコンピュータ５を他の通信機器と通信可能に接続する装置である。

記憶媒体駆動装置５０９は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置５０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う装置である。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタを備えらたフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。

このコンピュータ５は、ＣＰＵ ５０１が補助記憶装置５０３から動画像符号化のためのプログラムを読み出し、主記憶装置５０２、補助記憶装置５０３、ＤＳＰ ５０６等と協働して、図４及び図５に示した処理を含む動画像データの符号化処理を実行する。符号化する動画像データは、例えば、インタフェース装置５０７を用いてコンピュータ５に接続したデジタルビデオカメラ等の撮像装置から取得する。コンピュータ５は、例えば、動画像データを撮像装置から取得しながらリアルタイムで符号化する。また、コンピュータ５は、撮像装置の記憶部或いは可搬型記憶媒体から補助記憶装置５０３に転送した撮像済みの動画をオフラインで符号化してもよい。また、コンピュータ５は、符号化した動画像データを補助記憶装置５０３に記憶させるだけでなく、通信装置５０８及びインターネット等の通信網を介して他のコンピュータに転送（配信）してもよい。

なお、動画像符号化装置１として用いるコンピュータ５は、図９に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、図４及び図５に示した処理を含む動画像の符号化処理における演算処理を全てＣＰＵ ５０１で実行する場合、ＤＳＰ ５０６を省略することが可能である。また、コンピュータ５は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、動画像の符号化処理に特化した専用の情報処理装置でもよい。更に、コンピュータ５は、動画像の符号化処理及び符号化された動画像の復号化処理に特化した専用の情報処理装置でもよい。

以上記載した実施形態に関し、更に以下の付記を開示する。
（付記１）
動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて前記処理単位ブロック毎に予測画像を生成する予測処理部と、
前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて生成される予測誤差信号を前記変換ブロック毎に直交変換する変換部と、
前記変換部で変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する量子化部と、
前記予測部における予測結果に基づいて統計情報を算出する統計情報算出部と、
前記統計情報と、量子化パラメータと、前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを関連付けた係数発生確率テーブルを保持するテーブル保持部と、
を備え、
前記量子化部は、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合に、
当該処理単位ブロックについての前記係数発生確率が予め定めた閾値以上となるよう、前記統計情報、前記量子化パラメータ、及び前記係数発生確率テーブルに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定し、
当該設定に従って前記変換ブロックに前記変換係数を量子化する、
ことを特徴とする動画像符号化装置。
（付記２）
前記テーブル保持部は、前記係数を最適化しない場合の第１の係数発生確率を含む第１の係数発生確率テーブルと、前記係数を最適化した場合の第２の係数発生確率を含む第２の係数発生確率テーブルとを保持し、
前記量子化部は、前記処理単位ブロックに含まれる全ての変換ブロックに対し前記係数を最適化する量子化を行うよう設定して算出した前記処理単位ブロックについての係数発生確率が前記閾値よりも低い場合に、前記第１の係数発生確率と前記第２の係数発生確率との差分値が大きい変換ブロックから順に前記係数を最適化しない量子化を行うよう設定を変更する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記テーブル保持部は、前記第１の係数発生確率テーブルと前記第２の係数発生確率テーブルとの組を複数組保持し、
前記量子化部は、量子化する前記処理単位ブロック毎に前記係数発生確率の算出に用いる前記係数発生確率テーブルの組を選択する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記４）
前記予測処理部は、前記処理単位ブロックを含む画像データとは別の画像データを参照したインター予測を行うインター予測部と、前記処理単位ブロックを含む画像データを用いたイントラ予測を行うイントラ予測部と、前記インター予測部の予測結果及び前記イントラ予測部の予測結果に基づいて前記予測画像を生成する予測画像生成部と、を含み、
前記テーブル保持部は、前記インター予測の予測結果に基づいて予測画像を生成した前記処理単位ブロックに対する係数発生確率テーブルの組と、前記イントラ予測の予測結果に基づいて予測画像を生成した前記処理対象ブロックに対する係数発生確率テーブルの組と、を保持し、
前記量子化部は、前記処理単位ブロックについての予測画像が前記インター予測及び前記イントラ予測のいずれの予測結果により生成されたかを判定し、当該判定結果に基づいて前記係数発生確率テーブルの組を選択する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記５）
前記量子化部は、前記処理単位ブロックが前記一画面の左端に位置する場合に、当該処理単位ブロックについての前記係数発生確率が前記閾値以上となるよう、前記処理単位ブロックに含まれる変換ブロック毎に前記係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記６）
前記量子化部は、前記処理単位ブロックに含まれる変換ブロック毎に前記変換係数を量子化した後、当該処理単位ブロックに含まれる変換ブロックの前記係数が全て０になった場合に、係数を付加する処理を行う、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記７）
コンピュータが、
動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて処理単位ブロック毎に予測画像を生成し、
前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて予測誤差信号を生成し、
生成した前記予測誤差信号を前記変換ブロック毎に直交変換し、
前記予測画像を生成する際の予測結果に基づいて統計情報を算出し、
直交変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する、
処理を実行し、
前記量子化する処理では、前記コンピュータは、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合に、
前記統計情報と量子化パラメータと前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを対応付けた係数発生確率テーブルを参照し、
前記処理単位ブロックについての係数発生確率が予め定めた閾値以上となるよう、前記統計情報と前記量子化パラメータと前記係数発生確率テーブルとに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定し、
当該設定に従って前記変換ブロック毎に前記変換係数を量子化する、
ことを特徴とする動画像符号化方法。
（付記８）
前記一画面分の画像データに含まれる複数の処理単位ブロックに対する前記予測画像を生成する処理、前記予測誤差信号を直交変換する処理、及び前記変換係数を量子化する処理を含む符号化処理を前記コンピュータが並列に行う、
ことを特徴とする付記７に記載の動画像符号化方法。
（付記９）
前記係数を最適化しない場合の第１の係数発生確率を含む第１の係数発生確率テーブルと、前記係数を最適化した場合の第２の係数発生確率を含む第２の係数発生確率テーブルとを前記コンピュータに保持させておき、
前記一画面における所定の位置にある前記処理単位ブロックを量子化する処理では、前記処理単位ブロックに含まれる全ての変換ブロックに対し前記係数を最適化する量子化を行うよう設定して前記処理単位ブロックについての係数発生確率を算出し、
算出した前記前記処理単位ブロックについての係数発生確率が前記閾値よりも低い場合に、前記第１の係数発生確率と前記第２の係数発生確率との差分値が大きい変換ブロックから順に前記係数を最適化しない量子化を行うよう設定を変更する、
ことを特徴とする付記８に記載の動画像符号化方法。
（付記１０）
動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて処理単位ブロック毎に予測画像を生成し、
前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて予測誤差信号を生成し、
生成した前記予測誤差信号を前記変換ブロック毎に直交変換し、
前記予測画像を生成する際の予測結果に基づいて統計情報を算出し、
直交変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する、
処理をコンピュータに実行させるプログラムであって、
前記量子化する処理では、前記コンピュータに、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合に、
前記統計情報と量子化パラメータと前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを対応付けた係数発生確率テーブルを参照させ、
前記処理単位ブロックについての係数発生確率が予め定めた閾値以上となるよう、前記統計情報と前記係数発生確率テーブルとに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定させる、
ことを特徴とするプログラム。
（付記１１）
前記一画面分の画像データに含まれる複数の処理単位ブロックに対する前記予測画像を生成する処理、前記予測誤差信号を生成する処理、前記予測誤差信号を直交変換する処理、及び前記変換係数を量子化する処理を含む符号化処理を前記コンピュータに並列に行わせる、
ことを特徴とする付記１０に記載のプログラム。
（付記１２）
前記コンピュータに、前記係数を最適化しない場合の第１の係数発生確率を含む第１の係数発生確率テーブルと、前記係数を最適化した場合の第２の係数発生確率を含む第２の係数発生確率テーブルとを保持させ、
前記一画面における所定の位置にある前記処理単位ブロックを量子化する処理では、前記コンピュータに、前記処理単位ブロックに含まれる全ての変換ブロックに対して前記係数を最適化する量子化を行うよう設定して前記処理単位ブロックについての係数発生確率を算出させ、
算出した前記処理単位ブロックについての係数発生確率が前記閾値よりも低い場合に、前記第１の係数発生確率と前記第２の係数発生確率との差分値が大きい変換ブロックから順に前記係数を最適化しない量子化を行うよう設定を変更させる、
ことを特徴とする付記１０に記載のプログラム。

１ 動画像符号化装置
１０１ 予測誤差信号生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ フィルタ処理部
１０９ フレームメモリ
１１０ 予測処理部
１１１ インター予測部
１１２ イントラ予測部
１１３ 予測画像生成部
１１４ 統計情報算出部
１１５ テーブル保持部
１１５Ａ，１１５１Ａ，１１５２Ａ 第１の係数発生確率テーブル
１１５Ｂ，１１５１Ｂ，１１５２Ｂ 第２の係数発生確率テーブル
２ ピクチャ
５ コンピュータ
５０１ ＣＰＵ
５０２ 主記憶装置
５０３ 補助記憶装置
５０４ 入力装置
５０５ 表示装置
５０６ ＤＳＰ
５０７ インタフェース装置
５０８ 通信装置
５０９ 記憶媒体駆動装置

Claims (8)

1. 動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて前記処理単位ブロック毎に予測画像を生成する予測処理部と、
   前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて生成される予測誤差信号を前記変換ブロック毎に直交変換する変換部と、
   前記変換部で変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する量子化部と、
   前記予測部における予測結果に基づいて統計情報を算出する統計情報算出部と、
   前記統計情報と、量子化パラメータと、前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを関連付けた係数発生確率テーブルを保持するテーブル保持部と、
   を備え、
   前記量子化部は、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合に、
   当該処理単位ブロックについての前記係数発生確率が予め定めた閾値以上となるよう、前記統計情報、前記量子化パラメータ、及び前記係数発生確率テーブルに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定し、
   当該設定に従って前記変換ブロックに前記変換係数を量子化する、
   ことを特徴とする動画像符号化装置。
2. 前記テーブル保持部は、前記係数を最適化しない場合の第１の係数発生確率を含む第１の係数発生確率テーブルと、前記係数を最適化した場合の第２の係数発生確率を含む第２の係数発生確率テーブルとを保持し、
   前記量子化部は、前記処理単位ブロックに含まれる全ての変換ブロックに対し前記変換係数を最適化する量子化を行うよう設定して算出した前記処理単位ブロックについての係数発生確率が前記閾値よりも低い場合に、前記第１の係数発生確率と前記第２の係数発生確率との差分値が大きい変換ブロックから順に前記係数を最適化しない量子化を行うよう設定を変更する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記テーブル保持部は、前記第１の係数発生確率テーブルと前記第２の係数発生確率テーブルとの組を複数組保持し、
   前記量子化部は、量子化する前記処理単位ブロック毎に前記係数発生確率の算出に用いる前記係数発生確率テーブルの組を選択する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
4. 前記予測処理部は、前記処理単位ブロックを含む画像データとは別の画像データを参照したインター予測を行うインター予測部と、前記処理単位ブロックを含む画像データを用いたイントラ予測を行うイントラ予測部と、前記インター予測部の予測結果及び前記イントラ予測部の予測結果に基づいて前記予測画像を生成する予測画像生成部と、を含み、
   前記テーブル保持部は、前記インター予測の予測結果に基づいて予測画像を生成した前記処理単位ブロックに対する係数発生確率テーブルの組と、前記イントラ予測の予測結果に基づいて予測画像を生成した前記処理対象ブロックに対する係数発生確率テーブルの組と、を保持し、
   前記量子化部は、前記処理単位ブロックについての予測画像が前記インター予測及び前記イントラ予測のいずれの予測結果により生成されたかを判定し、当該判定結果に基づいて前記係数発生確率テーブルの組を選択する、
   ことを特徴とする請求項３に記載の動画像符号化装置。
5. 前記量子化部は、前記処理単位ブロックが前記一画面の左端に位置する場合に、当該処理単位ブロックについての前記係数発生確率が前記閾値以上となるよう、前記処理単位ブロックに含まれる変換ブロック毎に前記係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
6. 前記量子化部は、前記処理単位ブロックに含まれる変換ブロック毎に前記変換係数を量子化した後、当該処理単位ブロックに含まれる変換ブロックの前記係数が全て０になった場合に、係数を付加する処理を行う、
   ことを特徴とする請求項１に記載の動画像符号化装置。
7. コンピュータが、
   動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて処理単位ブロック毎に予測画像を生成し、
   前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて予測誤差信号を生成し、
   生成した前記予測誤差信号を前記変換ブロック毎に直交変換し、
   前記予測画像を生成する際の予測結果に基づいて統計情報を算出し、
   直交変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する、
   処理を実行し、
   前記量子化する処理では、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合、前記コンピュータが、
   前記統計情報と量子化パラメータと前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを対応付けた係数発生確率テーブルを参照し、
   前記処理単位ブロックについての係数発生確率が予め定めた閾値以上となるよう、前記統計情報と前記量子化パラメータと前記係数発生確率テーブルとに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定し、
   当該設定に従って前記変換ブロック毎に前記変換係数を量子化する、
   ことを特徴とする動画像符号化方法。
8. 動画像データにおける一画面分の画像データを複数の処理単位ブロックに分割し、入力画像データと符号化済みの画像データとに基づいて処理単位ブロック毎に予測画像を生成し、
   前記処理単位ブロックを１個の変換ブロックとして、又は前記処理単位ブロックを複数の変換ブロックに分割して、前記処理単位ブロックについての前記入力画像データと前記予測画像とを用いて予測誤差信号を生成し、
   生成した前記予測誤差信号を前記変換ブロック毎に直交変換し、
   前記予測画像を生成する際の予測結果に基づいて統計情報を算出し、
   直交変換された前記予測誤差信号の変換係数を前記変換ブロック毎に量子化する、
   処理をコンピュータに実行させるプログラムであって、
   前記量子化する処理では、量子化する前記処理単位ブロックが前記一画面における所定の位置である場合、前記コンピュータに、
   前記統計情報と量子化パラメータと前記変換係数を量子化した際に０以外の係数が発生する係数発生確率とを対応付けた係数発生確率テーブルを参照させ、
   前記処理単位ブロックについての係数発生確率が予め定めた閾値以上となるよう、前記統計情報と前記係数発生確率テーブルとに基づいて前記処理単位ブロックに含まれる変換ブロック毎に、係数を最適化する量子化及び前記係数を最適化しない量子化のいずれを行うか設定させる、
   ことを特徴とするプログラム。

Images