JP2018082299A - 映像符号化装置、映像復号装置、及びプログラム - Google Patents

Abstract

【課題】量子化歪に起因する画質劣化を目立たなくする映像符号化装置を提供する。
【解決手段】映像信号処理システム１において、映像符号化装置１０は、第１の映像信号を直交変換して第１の変換係数を取得し、第１の変換係数を量子化し、量子化の処理結果をエントロピー符号化して符号を生成し、量子化の処理結果を逆量子化して第２の変換係数を取得し、第２の変換係数を逆直交変換して第２の映像信号を取得し、第２の映像信号に係る映像信号に基づいて予測を行う。雑音信号を発生する雑音発生部１１０と、雑音発生部が発生した雑音信号を、量子化前に、第１の映像信号、又は、第１の変換係数に加算する加算部１１１と、雑音発生部が発生した雑音信号を、逆量子化後に、第２の映像信号、又は、第２の変換係数から減算する減算部１１２と、を具備する。
【選択図】図１

Description

本発明は、映像符号化装置、映像復号装置、及びプログラムに関する。

映像符号化の手法として、動き補償予測および直交変換（例えば、離散コサイン変換等の周波数変換）を基本とするハイブリッド符号化がある。ハイブリッド符号化方式では、直交変換の結果として得られる変換係数に対し、量子化処理を行い、その量子化ステップに応じて圧縮率及び画質を設定することが行われている。前記量子化ステップを大きくするほど、圧縮率は高くなる反面、量子化歪のために画質の劣化も大きくなる。量子化歪とは、前記変換係数が量子化及び逆量子化の過程において、元の係数値から外れることをいう。この量子化歪に起因する画質劣化を目立たなくするため、符号化装置の局部復号部における逆直交変換部（逆周波数変換部）において雑音を付加する手法が開示されている（例えば、特許文献１）。

再公表ＷＯ２０１１／６４９４４号公報

ところで、特許文献１に記載の手法では、逆直交変換部において雑音を付加するものの、当該雑音を直接的に相殺する手段を有しない。そのため、復号装置における逆量子化後の変換係数値は尚も量子化ステップ間隔の離散的な値しか取り得ず、量子化ステップの中間的な変換係数値での復号ブロックが現れることがない。そのため、従来の手法では、十分なディザリング効果が得られない場合があった。従って、量子化歪に起因する画質劣化を目立たなくすることが望まれている。

本発明のいくつかの態様は、量子化歪に起因する画質劣化を目立たなくすることができる映像符号化装置、映像復号装置、及びプログラムを提供することを目的の一つとする。

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする映像符号化装置、映像復号装置、及びプログラムを提供することを目的の一つとする。

上述した課題を解決するために、本発明の一態様は、第１の映像信号を直交変換して第１の変換係数を取得し、前記第１の変換係数を量子化し、前記量子化の処理結果をエントロピー符号化して符号を生成し、前記量子化の処理結果を逆量子化して第２の変換係数を取得し、前記第２の変換係数を逆直交変換して第２の映像信号を取得し、前記第２の映像信号を用いて予測を行う映像符号化装置であって、雑音信号を発生する雑音発生部と、前記雑音発生部が発生した雑音信号を、前記量子化前に、第１の映像信号、又は、前記第１の変換係数に加算する加算部と、前記雑音発生部が発生した雑音信号を、前記逆量子化後に、第２の映像信号、又は、前記第２の変換係数から減算する減算部と、を具備することを特徴とする映像符号化装置である。

また、本発明の一態様は、前記映像復号装置であって、前記加算部は、前記雑音発生部が発生した雑音信号を、前記直交変換後、且つ、前記量子化前に、前記第１の変換係数に加算し、前記減算部は、前記雑音発生部が発生した雑音信号を、前記逆量子化後、且つ、前記逆直交変換前に、前記第２の変換係数に加算する映像符号化装置である。

また、本発明の一態様は、前記映像復号装置であって、前記雑音発生部は、前記第１の変換係数に対する量子化ステップに応じた値域を有する一様乱数又は一様な疑似乱数に基づいて、雑音信号を発生する映像符号化装置である。

また、本発明の一態様は、前記映像復号装置であって、前記雑音発生部は、前記第１の変換係数の各々の周波数成分の高低に応じた値域を有する雑音信号を発生する映像符号化装置である。

また、本発明の一態様は、前記映像符号化装置がエントロピー符号化した符号の復号結果を逆量子化して第３の変換係数を取得し、前記第３の変換係数を逆直交変換して第３の映像信号を取得する映像復号装置であって、前記映像符号化装置が具備する前記雑音発生部と同系列の雑音信号を発生する復号側雑音発生部と、前記雑音発生部が発生した雑音信号を、前記逆量子化後に、第２の映像信号又は前記第２の変換係数から減算する復号側減算部と、を具備することを特徴とする映像復号装置である。

また、本発明の一態様は、コンピュータを、前記映像符号化装置、又は、前記映像復号装置として機能させるためのプログラムである。

本発明の一態様によれば、量子化歪に起因する画質劣化を目立たなくすることができる。

本発明に第１の実施形態に係る映像信号処理システムの構成を示すブロック図である。 同実施形態に係る映像信号処理システムの効果を説明するための図である。 同実施形態に係る映像信号処理システムにより処理した画像を示す図である。 本発明の第２の実施形態に係る映像信号処理システムの構成を示す図である。 同実施形態に係る映像信号処理システムにおける雑音の生成処理を説明するための図である。 変形例に係る映像信号処理システムの構成を示すブロック図である。 従来技術に係る映像信号処理システムの構成を示すブロック図である。 従来技術に係る映像信号処理システムにより処理した画像を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
まず、本実施形態に係る映像信号処理システム１は、ハイブリッド符号化方式により、映像を符号化、復号するシステムである。
図１は、映像信号処理システム１の構成を示すブロック図である。また、図７は、従来技術に係る映像信号処理システム９の構成を示すブロック図である。
映像信号処理システム１は、映像符号化装置１０と、伝送・蓄積装置２０と、映像復号装置３０と、を備える。また、映像信号処理システム９は、映像符号化装置７０と、伝送・蓄積装置８０と、映像復号装置９０と、を備える。映像符号化装置１０は、映像符号化装置７０に対応する。伝送・蓄積装置２０は、伝送・蓄積装置８０に対応する。映像復号装置３０は、映像復号装置９０に対応する。

映像符号化装置１０は、映像信号をエントロピー符号化し、符号化したビット列を伝送・蓄積装置２０に出力する。
伝送・蓄積装置２０は、伝送路、蓄積装置、又は、その両者の複合媒体であり、映像符号化装置１０から取得したビット列を、映像復号装置３０に出力する。
映像復号装置３０は、伝送・蓄積装置２０から取得したビット列を復号する。

映像符号化装置１０は、ブロック分割部１００と、メモリ１０１と、予測部１０２と、減算部１０３と、変換部１０４と、量子化部１０５と、エントロピー符号化部１０６と、逆量子化部１０７と、逆変換部１０８と、加算部１０９と、雑音発生部１１０と、加算部１１１と、減算部１１２と、を備える。これに対して、映像符号化装置７０は、ブロック分割部７００と、メモリ７０１と、予測部７０２と、減算部７０３と、変換部７０４と、量子化部７０５と、エントロピー符号化部７０６と、逆量子化部７０７と、逆変換部７０８と、加算部７０９と、を備える。映像符号化装置１０のブロック分割部１００、メモリ１０１、予測部１０２、減算部１０３、変換部１０４、量子化部１０５、エントロピー符号化部１０６、逆量子化部１０７、逆変換部１０８、加算部１０９は、ブロック分割部７００、メモリ７０１、予測部７０２、減算部７０３、変換部７０４、量子化部７０５、エントロピー符号化部７０６、逆量子化部７０７、逆変換部７０８、加算部７０９と同様の構成である。
つまり、映像符号化装置１０は、映像符号化装置７０と比較して、雑音発生部１１０と、加算部１１１と、減算部１１２と、を備える点が異なる。

映像復号装置３０は、エントロピー復号部３００と、逆量子化部３０１と、逆変換部３０２と、メモリ３０３と、予測部３０４と、加算部３０５と、雑音発生部３０６と、減算部３０７と、を備える。映像復号装置９０は、エントロピー復号部９００と、逆量子化部９０１と、逆変換部９０２と、メモリ９０３と、予測部９０４と、加算部９０５と、を備える。映像復号装置３０のエントロピー復号部３００、逆量子化部３０１、逆変換部３０２、メモリ３０３、予測部３０４、加算部３０５は、映像復号装置９０のエントロピー復号部９００、逆量子化部９０１、逆変換部９０２、メモリ９０３、予測部９０４、加算部９０５と同様の構成である。
つまり、映像復号装置３０は、映像復号装置９０と比較して、雑音発生部３０６と、減算部３０７と、を備える点が異なる。

次に、映像符号化装置１０の構成について説明する。
ブロック分割部１００は、入力画像を、複数の部分領域（以下、「ブロック」と称する。）に分割する。ここで、入力画像は、映像信号の場合は、フレームである。典型的にはブロック形状は矩形である。以下では、一例として、水平方向（横方向）に８画素、垂直方向（縦方向）に８画素の６４画素領域によって画像を分割する場合について説明する。

なお、ブロック分割部１００は異なるブロック形状複数の中から、画像の特徴や符号化時のレート歪特性によってブロック形状を適応的に選択して、ブロック分割するものであっても構わない。この場合、ブロック分割部１００は、ブロック位置等に応じてブロック形状を変えつつ順次ブロックを切り出し、当該ブロック単位で以降の符号化処理を行う。

メモリ１０１は、符号化処理及び復号処理をブロック単位で実行した結果である局部復号ブロックを順次記憶する。すなわち、メモリ１０１は、画像のうちこれまでに符号化・復号された部分領域の画素値列を保持する。

予測部１０２は、メモリ１０１に保持されている画素値列に基づき、ブロック分割部１００が次に符号化するブロック内の画素値列を推測（予測）して、予測画素値列を得る。予測部１０２には、例えば、画像内予測（イントラ予測）や動き補償予測（フレーム間予測、インター予測）が含まれる。

減算部１０３は、ブロック分割部１００から取得したブロック内の画素値列から、予測部１０２により予測された画素値列を画素位置ごとに減じ、その結果たる残差値列を出力する。

変換部１０４は、減算部１０３から取得した残差値列に対し、数学的な変換を施し、その結果たる変換係数列を出力する。変換部１０４が実行する変換は、単一種類であっても構わないし、複数種類の中からブロック形状や画像の特徴、レート歪特性に応じて適応的に選択した物であっても構わない。

変換部１０４において実行する変換としては、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換、ウォルシュ・アダマール変換、及び、これらの変換に整数近似や離散近似を施した変換が挙げられる。

量子化部１０５は、変換部１０４によって得られた変換係数列を、当該変換係数列の信号値レベルに比して多くない信号値レベルに変換（量子化）する。具体的には、量子化部１０５は、変換係数列を所定の正値（量子化ステップ）によって除し、その結果を整数値に丸めた数列を出力する。

なお、量子化部１０５は、変換係数列の各項を、各項の位置ごとに決められた量子化ステップ（量子化テーブル）によって除すよう構成してもよい。さらに、量子化ステップや量子化テーブルを予め複数用意しておき、これらの中から使用者により指定されたものを用いたり、自動的に選択されたものを用いたりしても構わない。さらに量子化部１０５は、これら複数の量子化ステップ、量子化テーブルを、自動的に切り替えるように構成しても構わない。

ここで、量子化部１０５による量子化の演算例について説明する。
あるブロックＢについて、ｎ番目の変換係数をｃ_ｎ（Ｂ）とし、当該ブロックＢの変換係数ｃ_ｎに対する量子化ステップをＱ_ｎ（Ｂ）とおく。ｎは、０以上Ｎ−１以下の整数である。また、Ｎは、変換部１０４において変換を施した結果の変換係数の総数を表す自然数である。変換係数の順番（ｎ番目）は、例えば、２次元空間周波数を、低周波数領域から高周波数領域へとジグザグ走査して設定される。

ここで、変換係数ｃ_ｎ（Ｂ）を量子化ステップＱ_ｎ（Ｂ）で量子化した結果たる量子化変換係数をｑ_ｎ（Ｂ）とおくと、従来（例えば、映像符号化装置７０の量子化部７０５）は、下記の式（１）の演算により量子化を実行していた。

ここで、関数

は、実数ｚよりも大きくない最大の整数を表す（床関数）。
これに対して、量子化部１０５は、下記の式（２）に示す演算により量子化を実行する。

式（２）は、雑音ｅ_ｎ（Ｂ）を、変換係数ｃ_ｎ（Ｂ）に加算する点が、式（１）とは異なる。雑音ｅ_ｎ（Ｂ）は、雑音発生部１１０が発生する乱数である。雑音ｅ_ｎ（Ｂ）については、後述する。

エントロピー符号化部１０６は、量子化部１０５が取得した量子化変換係数列をそのエントロピーに基づいて符号化する。エントロピー符号化部１０６は、量子化変換係数列の他、ブロック分割部１００、変換部１０４、量子化部１０５、予測部１０２による符号化の各処理の動作状態をも符号化しても構わない。符号化の各処理の動作状態とは、例えば、複数の異なる動作のうちのいずれを用いたかを表す識別子であり、具体的には、モード等である。

エントロピー符号化部１０６には、例えば、ハフマン符号化やその変形であるＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）等の可変長符号化、或いは、算術符号化やその変形であるＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）を用いることができる。

逆量子化部１０７は、量子化部１０５が取得した量子化変換係数列に、量子化ステップを乗ずることにより、逆量子化変換係数列を得る。
例えば、ブロックＢに係る量子化変換係数をｑ_ｎ（Ｂ）とおき、ブロックＢに係る量子化ステップをＱ_ｎ（Ｂ）とおくと、逆量子化部１０７は、下記の式（３）に示す演算により、ブロックＢを逆量子化し、逆量子化変換係数ｄ_ｎを得る。

逆変換部１０８は、逆量子化部１０７が取得した逆量子化変換係数列に対し変換部１０４の逆変換を実行し、その結果たる復号残差値列を得る。復号残差値列は、減算部１１２において、量子化部１０５により加算された雑音ｅ_ｎ（Ｂ）についての補正を受け、補正復号残差値列として、加算部１０９に出力される。
加算部１０９は、予測部１０２が取得した予測画素値列と、減算部１１２による補正復号残差値列とを画素位置ごとに加算し、その結果たる復号画素値列を出力する。加算部１０９が出力した復号画素値列は、メモリ１０１内の現在処理中のブロックに対応する記憶領域に書き込まれる。

以下では、映像符号化装置１０に特有の構成である雑音発生部１１０と、加算部１１１と、減算部１１２とについて説明する。
雑音発生部１１０は乱数系列を発生する。この乱数系列は疑似乱数系列であって構わない。雑音発生部１１０は、疑似乱数系列により雑音を発生する場合、漸化式等の数式により順次疑似乱数を発生してもよいし、或いは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）上に表形式で予め記録された数列を順次読み出して疑似乱数を発生しても構わない。雑音発生部１１０は、好ましくは、ブロックＢの量子化ステップＱ_ｎ（Ｂ）に応じて、半開区間［−Ｑ_ｎ（Ｂ）／２，＋Ｑ_ｎ（Ｂ）／２）を値域とする一様乱数を発生する。例えば、雑音発生部１１０は、下記の式（４）により雑音ｅ_ｎを生成する。

ここで、Ｕは一様分布である。なお、雑音ｅ_ｎ（Ｂ）は半開区間［−Ｑ_ｎ（Ｂ）／２，＋Ｑ_ｎ（Ｂ）／２）内のあらゆる実数値を取ってもよいし、当該区間内の有限の個数の実数値集合の中の値を取っても構わない。

加算部１１１は、雑音発生部１１０が発生した雑音ｅ_ｎ（Ｂ）を、変換部１０４が取得した変換係数ｃ_ｎ（Ｂ）に加算し、その結果ｃ_ｎ（Ｂ）＋ｅ_ｎ（Ｂ）を量子化部１０５に対して出力する。

減算部１１２は、逆量子化部１０７から取得した逆量子化された変換係数ｄ_ｎ（Ｂ）から、雑音発生部１１０が生成した雑音ｅ_ｎ（Ｂ）を減じ、その結果ｄ_ｎ（Ｂ）−ｅ_ｎ（Ｂ）を、補正変換係数列として逆変換部１０８に対して出力する。
以上の動作により、映像符号化装置１０は、入力画像をビット列に変換する。

次に、映像復号装置３０の構成と動作について説明する。
エントロピー復号部３００は、エントロピー符号化部１０６と対をなす構成であり、エントロピー符号化部１０６と逆の処理を行う。エントロピー復号部３００は、伝送・蓄積装置２０により伝送・蓄積されたビット列を復号し、量子化変換係数列を出力する。また、エントロピー復号部３００は、量子化変換係数列に加えて、ブロック分割部１００、変換部１０４、量子化部１０５、予測部１０２による符号化の各処理の動作状態を出力する。

逆量子化部３０１は、エントロピー復号部３００が取得した量子化変換係数列に対して、逆量子化部１０７と同様の処理を行う。
逆量子化部３０１、逆変換部３０２、メモリ３０３、予測部３０４、加算部３０５は、それぞれ、逆量子化部３０１、逆変換部１０８、メモリ１０１、予測部１０２、および加算部１０９と同様の処理を行い、メモリ３０３内に復号画像を構成する。

メモリ３０３内に復号画像が完全に構成されると、メモリ３０３は復号画像を出力する。なお、映像符号化装置１０及び映像復号装置３０が動画像を処理するものである場合には、メモリ３０３に構成された画像を必要に応じて保持して出力のタイミングを調整してもよい。さらに、映像符号化装置１０及び映像復号装置３０が動画像をフレームの順序を入れ替えて符号化を行う場合、メモリ３０３が出力する復号画像をメモリ３０３内もしくはその後段に設けられる他のメモリに一時的に蓄積し、画像の出力順序が入力画像の順序と一致するよう出力順序を入れ替える。

以下では、映像復号装置３０に特有の構成である、雑音発生部３０６と減算部３０７とを備える。
雑音発生部３０６は、雑音発生部１１０と同様の処理を行い、雑音を発生する。雑音発生部３０６は、映像復号装置３０があるブロックＢを処理する際には、映像符号化装置１０の雑音発生部１１０が同ブロックＢを処理した際に発生した雑音と同一の雑音を発生する。つまり、雑音発生部３０６は、雑音発生部１１０と共通の乱数系列を発生する。ブロックＢのｎ番目の変換係数ｃ_ｎに対する雑音として、乱数ｅ_ｎを発生する。
雑音発生部１１０及び雑音発生部３０６は、共通の系列の雑音を発生するために、共通の乱数シードを使用してもよい。この場合、乱数シードは、雑音発生部１１０及び雑音発生部３０６において共通の定数であってもよいし、雑音発生部１１０で使用した乱数シードを、映像符号化装置１０から映像復号装置３０へ通知するよう構成しても構わない。

減算部３０７は、減算部１１２と同様の処理を行う。具体的には、減算部３０７は、あるブロックＢに関して、逆量子化部３０１から取得した逆量子化変換係数ｄ_ｎ（Ｂ）から、雑音発生部３０６が発生した雑音ｅ_ｎ（Ｂ）を減じ、補正変換係数ｄ_ｎ（Ｂ）−ｅ_ｎ（Ｂ）を得る。減算部３０７は、取得した補正変換係数列を、逆変換部３０２に対して出力する。

以上の説明したように、映像符号化装置１０は、第１の映像信号（例えば、残差値列）を直交変換して第１の変換係数を取得し、前記第１の変換係数を量子化し、前記量子化の処理結果（例えば、量子化変換係数）をエントロピー符号化して符号を生成し、前記量子化の処理結果を逆量子化して第２の変換係数（例えば、逆量子化変換係数）を取得し、前記第２の変換係数を逆直交変換して第２の映像信号（例えば、復号残差値列）を取得し、前記第２の映像信号に係る映像信号（例えば、補正復号残差値列）に基づいて予測を行う映像符号化装置であって、雑音信号を発生する雑音発生部１１０（雑音発生部の一例）と、雑音発生部１１０が発生した雑音信号を、前記量子化前に、第１の映像信号、又は、前記第１の変換係数に加算する加算部１１１と、雑音発生部１１０が発生した雑音信号を、前記逆量子化後に、第２の映像信号、又は、前記第２の変換係数から減算する減算部１１２と、を具備する。

これにより、変換係数の量子化にあたってディザリングが適用され、ブロック歪の出現形態が時々刻々変化する。また、時間平均的に量子化歪が相殺されるように符号化が施される。

また、映像復号装置３０は、映像符号化装置１０がエントロピー符号化した符号の復号結果を逆量子化して第３の変換係数（例えば、逆量子化変換係数）を取得し、前記第３の変換係数を逆直交変換して第３の映像信号（例えば、復号残差値列）を取得する映像復号装置であって、映像符号化装置１０が具備する雑音発生部１１０と同系列の雑音信号を発生する雑音発生部３０６（復号側雑音発生部の一例）と、雑音発生部３０６が発生した雑音信号を、前記逆量子化後に、前記第３の変換係数、又は、第３の映像信号から減算する減算部３０７（復号側減算部の一例）と、を具備する。

また、映像符号化装置１０において、加算部１１１は、雑音発生部１１０が発生した雑音信号を、直交変換後、且つ、量子化前に、第１の変換係数に加算し、減算部１１２は、雑音発生部１１０が発生した雑音信号を、逆量子化後、且つ、逆直交変換前に、前記第２の変換係数に加算する。

これにより、映像符号化装置１０は、量子化対象の変換係数に対して、雑音の加算を行い、逆量子化により得られた変換係数に対して減算を行う。よって、映像符号化装置１０は、量子化歪を効率的に抑制することができる。

また、映像符号化装置１０において、雑音発生部１１０は、第１の変換係数に対する量子化ステップに応じた値域を有する一様乱数又は一様な疑似乱数に基づいて、雑音信号を発生する。

これにより、映像符号化装置１０は、付加する雑音を量子化歪のディザリングに必要十分なレベルとすることができる。よって、映像符号化装置１０は、雑音の過付加による画質劣化を引き起こしてしまったり、雑音の不足によりディザリングが不十分になってしまったりすることを避けることができる。

ここで、図２、３を参照して映像信号処理システム１の作用効果を具体的に説明する。
図２は、量子化の入出力特性の例を示すグラフである。
この例において、変換係数「＋２」が量子化部１０５に入力されると、その出力たる量子化変換係数は「０」となる。比較対象の映像信号処理システム９の場合、量子化変換係数「０」に対して、映像復号装置３０の逆量子化部９０１から出力される逆量子化変換係数は「０×１０＝０」である。量子化を適用しない本来の変換係数は「＋２」であったから、映像信号処理システム９における量子化・逆量子化で発生した量子化歪の絶対値は「２」である。

次に、量子化変換係数の後においてのみ雑音を付加する単純なディザリングの量子化歪について説明する。
まず、あるブロックのある周波数成分について、継続的に変換係数が値「＋２」をとるとする。また、雑音としては、Ｕ［−５，＋５）の一様乱数を付加するものとする。この場合、量子化変換係数値は、乱数値が「−５」以上「＋３」未満のときは「０」となり、乱数値が「＋３」以上「＋５」未満のときは「＋１」となる。よって、逆量子化変換係数は、乱数値が「−５」以上「＋３」未満のときは「０」となり、乱数値が「＋３」以上「＋５」未満のときは「＋１０」となる。乱数が実数体上で一様であるとすると、逆量子化変換係数は、８０％の確率で「０」をとり、２０％の確率で「＋１０」をとるため、逆量子化変換係数値の期待値は「０×０．８＋１０×０．２＝＋２」である。よって、逆量子化変換係数値は期待値としては本来の変換係数値である「＋２」と同値であり、ブロック歪などの符号化劣化は目立たなくなる。

しかしながら、逆量子化変換係数は「０」及び「＋１０」の二者択一であり、２種類の両極端な符号化劣化態様が確率的に切り替わって表示されることとなる。しかも、逆量子化変換係数値が「＋１０」をとる瞬間の量子化歪の絶対値は「８」であり、瞬間的には却って目障りな歪となる可能性がある。つまり、単純なディザリングでは、量子化歪が目立ってしまうことがある。

次に、映像信号処理システム１における量子化歪について説明する。
上記と同様に、あるブロックのある周波数成分について、継続的に変換係数が値「＋２」をとる場合を考える。また、雑音発生部１１０は、Ｕ［−５，＋５）の一様乱数を発生するものとする。この場合、量子化変換係数は、乱数値が「−５」以上「＋３」未満のときは「０」となり、乱数値が「＋３」以上「＋５」未満のときは「＋１」となる。よって、逆量子化変換係数は、乱数値が「−５」以上「＋３」未満のときは「０」、乱数値が「＋３」以上「＋５」未満のときは「＋１０」となる。乱数が実数体上で一様であるとすると、逆量子化変換係数は、８０％の確率で「０」をとり、２０％の確率で「＋１０」をとる。ここまでは、上記の単純なディザリングの場合と同様である。

しかしながら、映像信号処理システム１では、逆量子化部１０７、逆量子化部３０１の後段において乱数値を減算する減算部１１２、減算部３０７が設けられている。減算部１１２及び減算部３０７から出力される変換係数値は、乱数値ｅが「−５」以上「＋３」未満のときは「−ｅ」となり、乱数値ｅが「＋３」以上「＋５」未満のときは「１０−ｅ」となる。すなわち、減算部１１２及び減算部３０７の出力からは、「−３」を超え「＋５」以下、及び、「＋５」を超え「＋７」以下の値が一様に出現することになる。つまり、映像信号処理システム１の場合は、減算部１１２及び減算部３０７から出力される変換係数値として、「−３」を超え「＋７」以下の値が一様に出現する。よって、減算部１１２及び減算部３０７から出力される変換係数値の期待値は、本来の変換係数値である「＋２」と同値であり、ブロック歪などの符号化劣化は目立たなくなる。しかも、逆量子化変換係数値は「−３」から「＋７」のさまざまな値をとるため劣化の悪影響が平滑化されて知覚されづらくなる。加えて、逆量子化変換係数値における量子化歪の絶対値の最大値は、上記の単純なディザリングの場合の「８」に比して小さい「４」である。つまり、変換係数の分散を小さくすることができるため、瞬間的な劣化が目立ちにくい。

図８は、比較対象の映像信号処理システム９により符号化、復号した画像の例を示す。また、図３は、映像信号処理システム１により符号化、復号した画像の例を示す。
図８に示す画像例と、図３に示す画像例とでは、入力画像は同一である。
図８に示す画像例Ｐ９では、低周波数領域における画像劣化が目立っている。例えば、画像領域Ｐ９１、Ｐ９２では、精細な輝度の変化が失われ、ブロック状の不自然なエッジが生じている。

これに対して、図３に示す画像例Ｐ１では、低周波数領域においても画像劣化が目立たない。例えば、画像領域Ｐ９１に対応する画像領域Ｐ１１、及び、画像領域Ｐ９２に対応する画像領域Ｐ１２では、輝度が精細に変化しており、視覚的に自然な画像となっている。

以上説明したように、映像信号処理システム１は、変換係数に対する雑音重畳により、量子化歪が生じる際の誤差の符号及び振幅を時間的に変化させるディザリング効果を生じる。また、映像信号処理システム１は、逆量子変換係数値を局部復号時に当該雑音値を相殺するように変動させることにより、逆量子化変換係数を量子化ステップより細かい単位で摂動させるため、ブロック歪の現れ方を多様化し、画質の劣化を目立たなくすることができる。また、量子化ステップ単位のディザリングでは量子化歪の絶対量としては却って大きくなり符号化効率の低下を招くが、映像信号処理システム１は、量子化歪の絶対量を抑えるため、符号化効率の低下を抑えることができる。

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
図４は、本実施形態に係る映像信号処理システム１Ａの構成を示すブロック図である。
映像信号処理システム１Ａは、映像信号処理システム１が備える映像符号化装置１０、映像復号装置３０に代えて、映像符号化装置１０Ａ、映像復号装置３０Ａを備える。
映像符号化装置１０Ａは、映像符号化装置１０が備える雑音発生部１１０に代えて、雑音発生部１１０Ａを備える。同様に、映像復号装置３０Ａは、映像復号装置３０が備える雑音発生部３０６に代えて、雑音発生部３０６Ａを備える。

雑音発生部１１０Ａ及び雑音発生部３０６Ａは、雑音発生部１１０及び雑音発生部３０６と同様に雑音を発生する。ただし、雑音発生部１１０及び雑音発生部３０６は、一様雑音を発生したのに対して、雑音発生部１１０Ａ及び雑音発生部３０６Ａは周波数成分ごとに値域が異なる雑音成分を生成する点が異なる。

図５は、本実施形態に係る雑音の生成処理を説明するための模式図である。
図５に示すように、雑音発生部１１０Ａ及び雑音発生部３０６Ａは、一様雑音ｒ_ｎに対して、周波数成分ごとの重み付け係数を乗算することにより、雑音ｅ_ｎを生成する。ここで、周波数成分ごとの重み付け係数は、低周波数成分に対して重みを大きくし、高周波数成分に対して重みを小さくする。

以上説明したように、映像信号処理システム１Ａにおいて、雑音発生部１１０Ａ及び雑音発生部３０６Ａは、変換係数の各々の周波数成分の高低に応じた値域を有する雑音信号を発生する。

一般に、ブロック歪に関しては、低周波数成分の方が、高周波数成分に比して目立ちやすい。この点、映像信号処理システム１Ａは、周波数成分の高低に応じて、加算、減算する雑音の地域を調整するため、画質の劣化をさらに目立ちにくくすることができる。

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜第２の実施形態において説明した各構成は、任意に組み合わせることができる。また、上述の第１〜第２の実施形態において説明した各構成は、任意に分離して、別体の装置に備えることができる。

例えば、図６の変形例に係る映像信号処理システム１Ｂのブロック図に示すように、上述の第１〜第２の実施形態において説明した雑音の加算（加算部１１１Ｂ）は、量子化部１０５による処理の前ではなく、変換部１０４による処理の前に行われても構わない。この場合、雑音の減算は、逆量子化部１０７、逆量子化部３０１による処理の後ではなく、逆変換部３０２による処理の後（減算部１１２Ｂ、減算部３０７Ｂ）で行う。例えば、量子化ステップが均一であれば、映像符号化装置１０Ｂの雑音発生部１１０Ｂ及び映像復号装置３０Ｂの雑音発生部３０６Ｂが発生する雑音を一様乱数又は一様な疑似乱数とすることにより、映像信号処理システム１と同様の効果を得ることができる。

また、上述した実施形態において、雑音の減算を省略してもよい。例えば、量子化ステップに応じた値域を有する雑音の加算や周波数成分ごとに重み付けを行った雑音の加算のみでも、従来のディザリング手法に比して、画質劣化を目立たなくすることができる。

また、上述の映像符号化装置１０、１０Ａ、１０Ｂ、映像復号装置３０、３０Ａ、３０Ｂの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化装置１０、１０Ａ、１０Ｂ、映像復号装置３０、３０Ａ、３０Ｂとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した実施形態における映像符号化装置１０、１０Ａ、１０Ｂ、映像復号装置３０、３０Ａ、３０Ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。映像符号化装置１０、１０Ａ、１０Ｂ、映像復号装置３０、３０Ａ、３０Ｂの各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１、１Ａ、１Ｂ…映像信号処理システム、１０、１０Ａ、１０Ｂ…映像符号化装置、１００…ブロック分割部、１０１…メモリ、１０２…予測部、１０３…減算部、１０４…変換部、１０５…量子化部、１０６…エントロピー符号化部、１０７…逆量子化部、１０８…逆変換部、１１１、１１１Ｂ…加算部、１１２、１１２Ｂ…減算部、２０…伝送・蓄積装置、３０、３０Ａ、３０Ｂ…映像復号装置、３００…エントロピー復号部、３０１…逆量子化部、３０２…逆変換部、３０３…メモリ、３０４…予測部、３０５…加算部、３０６、３０６Ａ、３０６Ｂ…雑音発生部、３０７、３０７Ｂ…減算部

Claims (6)

1. 第１の映像信号を直交変換して第１の変換係数を取得し、前記第１の変換係数を量子化し、前記量子化の処理結果をエントロピー符号化して符号を生成し、前記量子化の処理結果を逆量子化して第２の変換係数を取得し、前記第２の変換係数を逆直交変換して第２の映像信号を取得し、前記第２の映像信号に係る映像信号に基づいて予測を行う映像符号化装置であって、
   雑音信号を発生する雑音発生部と、
   前記雑音発生部が発生した雑音信号を、前記量子化前に、第１の映像信号、又は、前記第１の変換係数に加算する加算部と、
   前記雑音発生部が発生した雑音信号を、前記逆量子化後に、第２の映像信号、又は、前記第２の変換係数から減算する減算部と、
   を具備することを特徴とする映像符号化装置。
2. 前記加算部は、前記雑音発生部が発生した雑音信号を、前記直交変換後、且つ、前記量子化前に、前記第１の変換係数に加算し、
   前記減算部は、前記雑音発生部が発生した雑音信号を、前記逆量子化後、且つ、前記逆直交変換前に、前記第２の変換係数に加算する
   請求項１に記載の映像符号化装置。
3. 前記雑音発生部は、前記第１の変換係数に対する量子化ステップに応じた値域を有する一様乱数又は一様な疑似乱数に基づいて、雑音信号を発生する
   請求項１又は請求項２に記載の映像符号化装置。
4. 前記雑音発生部は、前記第１の変換係数の各々の周波数成分の高低に応じた値域を有する雑音信号を発生する
   請求項１から請求項３のいずれか一項に記載の映像符号化装置。
5. 請求項１から請求項４のいずれか一項に記載の映像符号化装置がエントロピー符号化した符号の復号結果を逆量子化して第３の変換係数を取得し、前記第３の変換係数を逆直交変換して第３の映像信号を取得する映像復号装置であって、
   前記映像符号化装置が具備する前記雑音発生部と同系列の雑音信号を発生する復号側雑音発生部と、
   前記雑音発生部が発生した雑音信号を、前記逆量子化後に、前記第３の変換係数、又は、第３の映像信号から減算する復号側減算部と、
   を具備することを特徴とする映像復号装置。
6. コンピュータを、請求項１から請求項４のいずれか一項に記載の映像符号化装置、又は、請求項５に記載の映像復号装置として機能させるためのプログラム。