JP2007053620A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 動画内容に応じて最適な量子化パラメータで動画の画質を制御する。
【解決手段】 動画の画質を量子化パラメータに基づいて制御する画像処理装置１０において、量子化パラメータに基づいて画像を量子化処理して量子化値を求める量子化部１４と、求めた量子化値における画質を求める画質算出部１２と、求めた画質と目標とする画質との差分画質を蓄積し、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に、当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求めると、当該補正量子化パラメータを用いて量子化処理を行うべく、前記量子化部に出力する画質制御部１３とを備える。
【選択図】 図１

Description

本発明は、動画像を処理する装置および方法に関し、特に動画の画質を量子化パラメータに基づいて制御する画像処理装置および画像処理方法に関するものである。

動画の画質を量子化パラメータに基づいて制御する画像処理装置の一例として、特許文献１に画像情報符号化装置が開示されている。
特許文献１に開示されている画像情報符号化装置は、動画において画質の低下が顕著化されない程度に画像の圧縮符号化を図っており、該圧縮符号化により動画における冗長的な情報を削減している。

一般的な圧縮符号化は、動画における原画像をデジタル化した非圧縮のＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）を生成すると、該ＰＣＭに対し冗長的な情報を削除し易いように例えば従来から知られたＤＣＴ（離散コサイン変換／Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｏｎ Ｔｒａｎｓｆｏｒｍ）と称される手法を用いて低周波数や高周波数などの周波数成分（以降、空間周波数と称す）に変換し、当該空間周波数を量子化パラメータに基づいての離散化する量子化処理を行う。その後、量子化処理の結果を、例えばハフマン符号処理により可変長符号化している。
このような圧縮符号化は非可逆的であり、つまり生成した符号から画像を復号することができるものの僅かな誤差が含まれてており、原画像と同じ画像を得ることはできない。

ところで、復号結果は、量子化処理における離散間隔が大きくなればなるほど、すなわち量子化パラメータが大きければ大きい離散間隔は大きくなり、復号した画像の画質が低下することが知られている。

しかし、高画質を得ようと量子化パラメータの値を小さくすれば、冗長的な情報の削減率が低下してしまう。つまり、量子化パラメータの値は、復号した画像の画質および冗長的な情報の削減率とトレードオフの関係にある。

このようにトレードオフの関係にある量子化パラメータは、度重なる画像の圧縮符号化実験を行って得た統計結果に基づいて最適と思われる汎用的な値が決定され、用いられていた。
特開２０００−１０１８４６号公報

しかし、従来の画像処理装置では、統計結果に基づいて量子化パラメータの値が一旦決定されると、量子化パラメータの値は変更されることなく、一様に使い続けられる。従って、汎用的な量子化パラメータでは、例えば風景などの静的な動画に適していても、動きの早い動画や、雪山などの単一色が多い場合などには不適格の場合もあり、動画の内容に応じて変更されることのない量子化パラメータでは、動画の画質を良好に制御することができず、その改善が望まれていた。

従って、本発明の目的は、動画内容に応じて最適な量子化パラメータで動画の画質を制御し得る画像処理装置および画像処理方法を提供することにある。

本発明は、以上の点を解決するために、次の構成を採用する。
〈構成１〉
動画の画質を量子化パラメータに基づいて制御する画像処理装置において、量子化パラメータに基づいて画像を量子化処理して量子化値を求める量子化部と、求めた量子化値における画質を求める画質算出部と、求めた画質と目標とする画質との差分画質を蓄積し、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に、当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求めると、当該補正量子化パラメータを用いて量子化処理を行うべく、前記量子化部に出力する画質制御部と、を備えることを特徴とする。

〈構成２〉
画質制御部は、差分画質を算出する差分画質算出部と、差分画質を蓄積する差分画質蓄積部と、差分画質蓄積部で蓄積する差分画質の平均を差分画質平均として求める差分画質平均部と、求めた差分画質平均と、統計結果に基づく画質および量子化パラメータの関係を示す関数の傾き値とに基づいて、差分画質平均分の量子化パラメータの値を前記補正量としての差分量子化パラメータとして求める差分量子化パラメータ算出部と、補正量子化パラメータを蓄積する補正量子化パラメータ蓄積部と、補正量子化パラメータ蓄積部で蓄積する補正量子化パラメータの平均を求める補正量子化パラメータ平均部と、求めた補正量子化パラメータ平均および差分量子化パラメータを加算処理し、加算結果を前記次の補正量子化パラメータとして求める補正部とを備えることを特徴とする。

〈構成３〉
画像処理装置は、動画の画質をフレーム単位で制御しており、順次処理するフレームにおいて、フレーム間予測におけるフレーム間の画像誤差を補正するフレーム内予測における基準フレームであるか否かを判定する基準フレーム判定部を備えており、画質制御部は、基準フレーム判定部で処理対象のフレームが基準フレームであると判断されると、求めた補正量子化パラメータを用いた量子化処理後に目標画質に近づけるため、当該補正量子化パラメータに対し、所定の修正を施す量子化パラメータ修正部を備えることを特徴とする。

〈構成４〉
画質制御部は、差分画質算出部で求める差分画質が所定の閾値以下であるか否かを判定する閾値判定部を備えており、補正部は、閾値判定部で差分画質が所定の閾値以下と判定されると、差分量子化パラメータの値をゼロとして加算処理を行うことを特徴とする。

〈構成５〉
処理装置は、Ｈ．２６４／ＡＶＣによる規格で画像処理を行う場合、画像の予測を行い、予測画像と原画像との差分を直交変換する予測変換部を備えており、予測変換部は、フレームの画像を構成する各ブロック間の歪を取除く処理を行うデブロッキングフィルタを有しており、該デブロッキングフィルタは、画質制御部で求めた補正量子化パラメータおよび各ブロックの境界付近の予測画素値に基づいて、ブロック間の歪み除去処理の内容を変更することを特徴とする。

〈構成６〉
差分画質平均部は、蓄積する差分画質に対し蓄積時間に応じた重み付けを行い、当該重み付け差分画質の平均を求めることを特徴とする。
〈構成７〉
補正量子化パラメータ平均部は、蓄積する補正量子化パラメータに対し蓄積時間に応じた重み付けを行い、当該重み付け補正量子化パラメータの平均を求めることを特徴とする。

〈構成８〉
動画の画質を量子化パラメータに基づいて制御する画像処理方法において、量子化パラメータに基づいて画像を量子化処理して量子化値を求めること、求めた量子化値における画質を求めること、求めた画質と目標とする画質との差分画質を蓄積し、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に、当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求めると、当該補正量子化パラメータを用いて量子化処理を行うことを特徴とする。

本発明によれば、量子化パラメータに基づいて画像を量子化処理して量子化値を求めると、当該量子化値における画質と目標とする画質との差分画質を蓄積する。そして、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求め、当該補正量子化パラメータを用いて量子化処理を行う。これにより、目標とする画質との差分画質を蓄積して求めた補正量と、蓄積した補正量子化パラメータとに基づいて、補正量および補正量子化パラメータが補正された次の補正量子化量子化パラメータを刻々と変化する動画内容に応じて得ることから、当該補正量子化パラメータ（次の補正量子化パラメータ）を用いて動画内容に応じた最適な量子化パラメータで画質を制御することができる。

以下、本発明の実施形態について、図を用いて詳細に説明する。以下の説明では、各実施の形態に用いる図面について同一の構成要素は同一の符号を付し、かつ重複する説明は可能な限り省略する。
尚、本実施例では、Ｈ．２６４／ＡＶＣと称される動画像圧縮符号化技術（動画の画像フレームをブロックに分割し、既に符号化したフレームから次の動きを予測する予測符号化技術を用いた動画像圧縮符号化技術）の国際標準を準拠した例で本発明の画像処理装置を説明する。

実施例１の画像処理装置１０は、図１に示すように、供給される動画の圧縮符号化処理を行って符号化データ(ビットストリーム)を生成する圧縮符号化処理部１１と、該圧縮符号化処理部１１での処理結果において画質を算出する画質算出部１２と、画質算出部１２で求める画質および目標とする画質に基づいて圧縮符号化処理部１１での符号化処理に用いるパラメータを補正符号化パラメータとして求める画質制御部１３とを備える。

圧縮符号化処理部１１は、予測変換部１８と、量子化部１４と、符号化部１５とを備える。
圧縮符号化処理部１１は、予測変換部１８で画像の予測を行い、予測画像を生成し、該予測画像と原画像との差分を、例えば離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と称される手法により直交変換してＤＣＴ係数を求め、量子化部１４で求めたＤＣＴ係数を量子化パラメータに基づいて離散化を行い量子化値を求め、符号化部１５で量子化部１４で求めた量子化値を符号化処理してビットストリームを生成する。

ところで、予測変換部１８は、動画における１ピクチャの画像を予測し、予測画像と原画像との差分を、ＤＣＴなどの手法を用いて直交変換する。予測変換部１８は、前記した直交変換して求めた周波数成分をＤＣＴ係数として取得する。量子化部１４は、予測変換部１８で予測し、直交変換して求めた周波数成分（ＤＣＴ係数）を量子化パラメータに基づいて離散化する。符号化部１５は、量子化部１４で量子化処理して求めた量子化値である主情報と、予測変換部１８で予測画像を求める際に用いた動き補償ベクトルや符号化方法などの補助情報とをハフマン符号処理などによる可変長符号化を行いビットストリームを生成する。

ところで、Ｈ．２６４／ＡＶＣの場合、デブロッキングフィルタと称される画像の処理単位の境界線におけるノイズを軽減するための機能を予測変換部１８に備えている。このデブロッキングフィルタは量子化パラメータや、境界線付近の予測画素値などに応じてフィルタ強度が適宜設定される。すなわち、予測変換部１８は、画質制御部１３より供給される量子化パラメータの値を用いてフィルタの強度調整を行う。

ここで量子化部１４が行う離散化処理（量子化処理）を説明する。
量子化部１４は、ＤＣＴ係数を、離散間隔を示す量子化パラメータを用いて割り算することにより、量子化パラメータの離散間隔でＤＣＴ係数を丸める丸め処理を行う。従って量子化部１４は、例えば値が大きな量子化パラメータを用いて離散化処理を行うと、離散間隔が広く情報量が少ない量子化値を算出し、値が小さな量子化パラメータを用いて離散化処理を行うと、離散間隔が狭く情報量の多い量子化値を算出する。

尚、値が大きな量子化パラメータを用いて離散化処理を行って生成される量子化値は情報量が少ないものの、当該量子化値を復号した際の画質は悪くなる。一方、値が小さな量子化パラメータを用いて離散化処理を行って生成される量子化値は情報量が多いものの、当該量子化値を復号した際に良好な画質を得ることができる。

ところで、一般的に風景などの静的な動画を離散化処理して得た量子化値を復号した画質と同じ画質を、動きの速い動的な動画を離散化処理して得た量子化値を復号した画質で得ようとする場合、動きの速い動的な動画では、量子化パラメータの値を小さくして離散間隔を狭くする必要がある。換言すると、静的な動画を量子化するための量子化パラメータの値と動的な動画を量子化するための量子化パラメータの値とが同じでは、離散化処理して得る各量子化値をそれぞれ復号した各画像の画質は異なってしまい、例えば動画内容が異なる各コンテンツ間において画質ムラを招く恐れがある。

これを解決すべく、本発明では動きの速い動的な動画を圧縮符号化処理する際、静的な動画の量子化パラメータの値より小さく設定した量子化パラメータの値を用いて圧縮符号化処理を行うべく、後述する画質制御部１３で動画の内容に応じて量子化パラメータの値を補正した補正量子化パラメータを生成する。

圧縮符号化処理部１１の符号化部１５は、量子化部１４で生成した量子化値を符号化処理してビットストリームを生成する。

画質算出部１２は、圧縮符号化処理部１１で生成するビットストリームを復号し、量子化値を求めると、当該量子化値における画質を求める。
すなわち、画質算出部１２は、量子化部１４での量子化処理に用いた量子化パラメータに基づいて、ビットストリームを復号して得た量子化値に逆量子化処理を施して画像を求めると、当該画像における画質を求める。尚、本実施例では、画像の画質評価の一つとして、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｉｔｏ）を用いた例で説明を行う。尚、ＰＳＮＲは、原画像と圧縮／伸張した画像との最小二乗誤差をデシベル表記した映像品質の客観的な評価指数であり、ＰＳＮＲにおける数値が高くなるほど画質が良いことを示す。

画質制御部１３は、動画の各フレーム毎に量子化パラメータの値を求めるべく、差分画質算出部３１と、差分画質蓄積部３２と、差分画質平均部３３と、差分量子化パラメータ算出部３４と、補正量子化パラメータ蓄積部３５と、補正量子化パラメータ平均部３６と、補正部３７とを備える。

差分画質算出部３１は、予め設定されている目標とする画質（Ｔａｒｇｅｔ ＰＳＮＲ）と、画質算出部１２で求めた画質との差分を差分画質（ΔＰＳＮＲ）として算出する（図２参照）。すなわち差分画質算出部３１は、量子化処理を行って求めた量子化値における画質と、目標とする画質との差分を求める。この差分算出処理により、目標とする画質より、差分画質算出部３１で求めた画質が悪い場合は、プラス値の差分画質が算出され、目標とする画質より差分画質算出部３１で求めた画質が良い場合は、マイナス値の差分画質が算出される。

差分画質蓄積部３２は、差分画質算出部３１で求めた差分画質（ΔＰＳＮＲ）を蓄積しており、その蓄積量は任意に設定可能である。尚、蓄積量は、後述する処理により、蓄積する差分画質を用いてフレーム毎に量子化パラメータの値を補正することを勘案して、適宜、設定することが好ましい。

差分画質平均部３３は、差分画質蓄積部３２で蓄積する差分画質の平均を求める。差分画質平均部３３が行う平均処理は、例えば差分画質蓄積部３２で蓄積する全ての差分画質の平均を求めるようにしても良いし、差分画質における最大値および最小値を除いた平均を求めるようにしてもよく、更に蓄積時間、すなわち蓄積順序に応じて差分画質に重み付けを行い、その平均を求めるようにしてもよい。尚、以降の説明では、差分画質平均部３３で算出する差分画質の平均を「平均ΔＰＳＮＲ」と記述する。

差分量子化パラメータ算出部３４は、差分画質平均部３３で求めた差分画質平均（平均ΔＰＳＮＲ）分の量子化パラメータの値を求める。具体的には、圧縮符号化実験を行って得た統計結果に基づいて、図３に示すように、画質（ＰＳＮＲ）と量子化パラメータの値（ＱＰ）との関係を示す切片βおよび傾きα（但し、α＜０）の式１に示す関数を予め求めており、当該関数における傾きαを用いて、差分量子化パラメータ算出部３４は差分画質平均（平均ΔＰＳＮＲ）分の量子化パラメータの値を求める。尚、以降の説明では、差分画質平均（平均ΔＰＳＮＲ）分の量子化パラメータの値を差分量子化パラメータ（ΔＱＰ）と記述する。
ＰＳＮＲ＝αＱＰ＋β （但し α＜０） （式１）

ところで、式１の関数は、次の圧縮符号化実験を行って得た統計結果に基づいて求められている。具体的には、複数のコンテンツにおいて、異なる固定の量子化パラメータを用いて圧縮符号化を行う。次に、圧縮符号化したコンテンツにおけるＰＳＮＲの平均を算出する。その後各コンテンツ毎に量子化パラメータおよびＰＳＮＲの近似直線を最小二乗法を用いて求め、求めた各近似曲線における傾きの平均を傾きαとして求め、該各近似曲線における切片の平均を切片βとして求める。

ここで、図２のグラフを詳細に説明する。図２のグラフには、圧縮符号化実験を行って得た統計結果に基づく画質（ＰＳＮＲ）と量子化パラメータ（ＱＰ）との関係を示す切片βおよび傾きαのグラフと、目標とする画質（Ｔａｒｇｅｔ ＰＳＮＲ）と、差分画質平均部３３で求めた差分画質平均（平均ΔＰＳＮＲ）との関係を示しており、当該差分画質平均（平均ΔＰＳＮＲ）が目標画質（Ｔａｒｇｅｔ ＰＳＮＲ）より高い例で示されている。ここで、″ｎ″は、現時刻における処理を示し、″ｎ−１″は、一つ前の処理を示す。

目標画質（Ｔａｒｇｅｔ ＰＳＮＲ）と差分画質平均（平均ΔＰＳＮＲ）とが、図２に示す関係にあり、統計結果に基づく画質（ＰＳＮＲ）と量子化パラメータ（ＱＰ）との関係が傾きαで示されるとき、差分量子化パラメータ算出部３４は、傾きαを用いて差分画質平均（平均ΔＰＳＮＲ）分の差分量子化パラメータ（ΔＱＰ）を求める。

尚、図２に示すグラフでは、差分画質平均（平均ΔＰＳＮＲ）が目標画質（Ｔａｒｇｅｔ ＰＳＮＲ）より高いことから、後述する量子化パラメータ（補正量子化パラメータ）の補正処理で、求めた差分量子化パラメータ（ΔＱＰ）分の低画質化を離散化間隔を拡大することで図るべく、差分量子化パラメータ（ΔＱＰ）分を現在の量子化パラメータに加算する補正が行われる。

このようにして補正された量子化パラメータは、補正量子化パラメータとして補正量子化パラメータ蓄積部３５で蓄積される。補正量子化パラメータ蓄積部３５における蓄積量は、任意に設定可能であるが、蓄積する補正量子化パラメータを用いてフレーム毎に圧縮符号化処理部１１に出力する補正量子化パラメータの値を補正することを勘案して、適宜、設定することが好ましい。また、量子化パラメータの蓄積量は、前述の差分画像の蓄積量と同一にすることが好ましい。

補正量子化パラメータ平均部３６は、補正量子化パラメータ蓄積部３５で蓄積する補正量子化パラメータの平均を求める。補正量子化パラメータ平均部３６が行う平均処理は、例えば補正量子化パラメータ蓄積部３５で蓄積する全ての補正量子化パラメータの平均を求めるようにしても良いし、補正量子化パラメータにおける最大値および最小値を除いた平均を求めるようにしてもよく、更に蓄積時間、すなわち蓄積順序に応じて補正量子化パラメータに重み付けを行い、その平均を求めるようにしてもよい。

補正部３７は、差分量子化パラメータ算出部３４で求めた差分量子化パラメータ（ΔＱＰ）と、補正量子化パラメータ平均部３６で求めた補正量子化パラメータ平均とを加算処理し、加算結果を補正量子化パラメータとして圧縮符号化処理部１１に出力すると共に、補正量子化パラメータ蓄積部３５に蓄積させる。

尚、補正部３７は、例えば、図２に示すように、差分画質平均（平均ΔＰＳＮＲ）が目標画質（Ｔａｒｇｅｔ ＰＳＮＲ）より高い場合、目標画質に近づけるべく、補正量子化パラメータ平均に、マイナス値の差分量子化パラメータ（ΔＱＰ）を加算処理する。これにより、画質の低下を離散化間隔を拡大することで図るべく、補正量子化パラメータ平均から差分量子化パラメータ（ΔＱＰ）分が増加された値が補正量子化パラメータとして生成される。

一方、差分画質平均（平均ΔＰＳＮＲ）が目標画質（Ｔａｒｇｅｔ ＰＳＮＲ）より低い場合、補正部３７は、画質の向上を図るべく、補正量子化パラメータ平均に、プラス値の差分量子化パラメータ（ΔＱＰ）を加算処理する。これにより、画質の向上を離散化間隔を縮小することで図るべく、補正量子化パラメータ平均に差分量子化パラメータ（ΔＱＰ）が減算された値が補正量子化パラメータとして生成される。

次に、実施例１の画像処理装置１０の動作を図４のフローチャートに沿って説明する。
尚、圧縮符号化実験を行って得た統計結果に基づいて、ＰＳＮＲおよびＱＰの関係を示す式１の関数を求め、当該関数における傾きαおよび切片βを予め取得しており、デフォルトの量子化パラメータを用いて圧縮符号化処理部１１で、動画のフレームに圧縮符号化が既に行われていることを前提に説明を行う。

圧縮符号化処理部１１は、動画のフレーム毎に予測変換部１８で画像の予測を行い、予測画像と原画像との差分をＤＣＴと称される手法により直交変換し、量子化部１４で量子化パラメータに基づいて量子化処理を行い、符号化部１５で符号化処理を行ってビットストリームを生成する（ステップＳ１）。

圧縮符号化処理部１１から出力されるビットストリームは、画像処理結果として画像処理装置１０から出力されると共に、画質算出部１２に送られ該画質算出部１２で、当該ビットストリームにおける画質を求め（ステップＳ２）、当該画質を画質制御部１３に出力する。

画質制御部１３は、差分画質算出部３１で目標とする画質（Ｔａｒｇｅｔ ＰＳＮＲ）と、画質算出部１２からの画質との差分画質（ΔＰＳＮＲ）を求め、該差分画質（ΔＰＳＮＲ）を差分画質蓄積部３２に蓄積する（ステップＳ３）。差分画質平均部３３は、差分画質蓄積部３２で蓄積する差分画質の平均（平均ΔＰＮＳＲ）を求める（ステップＳ４）。

画質制御部１３の差分量子化パラメータ算出部３４は、差分画質平均部３３で求めた差分画質の平均（平均ΔＰＮＳＲ）と予め求めた式１の傾きαとに基づいて、差分画質平均（平均ΔＰＳＮＲ）分の量子化パラメータの値を差分量子化パラメータ（ΔＱＰ）として求め（ステップＳ５）、該差分量子化パラメータ（ΔＱＰ）を補正部３７に出力する。

ところで、圧縮符号化処理部１１で圧縮符号化に用いる量子化パラメータは補正量子化パラメータ蓄積部３５で蓄積されており（ステップＳ６）、補正量子化パラメータ平均部３６は、補正量子化パラメータ蓄積部３５で蓄積する量子化パラメータ（補正量子化パラメータ）の平均を求め補正部３７に出力する（ステップＳ７）。

補正部３７は、差分量子化パラメータ（ΔＱＰ）と量子化パラメータ（補正量子化パラメータ）の平均とを加算処理して量子化パラメータを求めると（ステップＳ８）、当該量子化パラメータを補正量子化パラメータとして圧縮符号化処理部１１に出力すると共に、補正量子化パラメータ蓄積部３５に蓄積する。

尚、圧縮符号化処理部１１は、画質制御部１３の補正部３７で生成された補正量子化パラメータに基づいて、次のフレームの圧縮符号化処理を行ってビットストリームを生成する。以降、圧縮符号化処理部１１は、フレーム毎に補正された補正量子化パラメータに基づいて圧縮符号化処理を行う。

前記したように、実施例１の画像処理装置１０によれば、ビットストリームを生成するための量子化パラメータを蓄積した平均に、生成したビットストリームによる画像の画質と目標とする画質との差分画質を蓄積した平均分を加算処理して、フレーム毎に量子化パラメータの値を補正した補正量子化パラメータを生成することにより、動画の内容に応じて更新される最適な補正量子化パラメータを用いて動画の圧縮符号化処理を行うことから、動画内容に応じて動画の画質を制御することができる。

実施例２の画像処理装置２０は、図５に示すように、前記した画像処理装置１０の構成に、処理対象の画像のフレームが基準フレームであるか否かを判定する基準フレーム判定部１６を備えている。尚、実施例２の画質制御部１３は、基準フレーム判定部１６の判定結果に基づいて、求めた補正量子化パラメータの値に所定の修正を施す量子化パラメータ修正部１７を備えている。

ここで、基準フレームについて説明する。順次処理するフレームの相関が高いことを利用して、フレーム間の相関関係から冗長的な情報を削除するフレーム間の予測が行われており、予測した画像と原画像との間の誤差を補正するための基準フレームを所定のフレーム数毎に設けている。尚、以降の説明では、基準フレームに対する予測処理をフレーム内予測と称し、各フレーム間における予測処理をフレーム間予測と称する。

基準フレーム判定部１６は、図示しないフレームの処理カウンタを備えており、当該カウンタの値が、予め決められたフレーム内予測を行うための値であるか否かを判定している。これにより、基準フレーム判定部１６は、処理対象のフレームがフレーム内予測を行う基準フレームであるか否かを判定している。

基準フレーム判定部１６は、図６に示すように、フレーム内予測のための基準フレームと判定し（ステップＳ１１）、その判定結果を量子化パラメータ修正部１７に通知すると、通知を受けた量子化パラメータ修正部１７は、離散間隔を拡大して目標画質に近づけるべく、補正部３７で求めた補正量子化パラメータの値に、所定値を加算する処理を行う（ステップＳ１２）。
これにより、圧縮符号化処理部１１は、画質の向上を図るべく修正された補正量子化パラメータに基づいて、フレーム内予測における圧縮符号化処理を行う。

基準フレームであるフレーム内予測では、フレーム間予測によって生じた誤差の補正を行う。そのため、フレーム内予測では、フレーム間予測と同処理の量子化パラメータで量子化を行った場合、一般的に画質がフレーム間予測の場合よりよくなる。これを防止すべく、前記したように、実施例２の画像形成装置２０によれば、基準フレーム判定部１６で基準フレーム（フレーム内予測）であると判定されると、量子化パラメータ修正部１７で補正部３７で求めた補正量子化パラメータの値に目標画質へ近づける修正を施すことにより、圧縮符号化処理で生成されたビットストリームにおけるフレーム間予測とフレーム内予測との予測方法の違いによる画質の劣化を防止することができる。

実施例３の画像処理装置３０は、図７に示すように、前記した画像処理装置１０の画質制御部１３に差分画質算出部３１で求める差分画質が所定の閾値以下である否かを判定する閾値判定部３８を備える。
実施例３の補正部３９は、図８に示すように、閾値判定部３８で、差分画質が所定の閾値以下と判定されると（ステップＳ２１）、差分画質の蓄積のみ行い、差分量子化パラメータの値を差分画質平均より求めるのではなく、差分量子化パラメータの値をゼロとして（ステップＳ２２）、補正量子化パラメータ平均部３６で求める補正量子化パラメータ平均との加算処理を行う。

前記したように、実施例３の画像処理装置３０は、差分画質が所定の閾値以下であるとき、差分量子化パラメータの値を「０」として加算処理を行う。その理由として次のことが挙げられる。量子化パラメータは整数値であるため離散的な値をとる。量子化パラメータを１変動させると画質はα変動する。そのため、量子化パラメータを変動させることによって、目標画質との差分が大きくなる。よって、差分画質算出部３１で求める差分画質が閾値以下の場合は、差分量子化パラメータの値を「０」とし、前のフレームの圧縮符号化処理に用いた補正量子化パラメータで現フレームの圧縮符号化処理を行うことが目標画質を得る可能性が最も高い。

また、画像の開始時やシーンチェンジなどで、差分画質算出部３１で求めた差分が大きい場合がある。この場合、実施例１においては、差分を全て蓄積しているために目標画質に近づける制御を行うと、一旦目標画像に近づいた後、目標画質がら離れる過制御が発生し、目標画像周辺に収束するまでに画質の振動が起こり得る。しかし、実施例３の画像処理装置３０では、一旦目標画像に近づいた際、差分画質算出部３１で求める差分画質が所定の閾値以下の場合は、差分量子化パラメータを差分画質平均より求めることなく、「０」とし、前のフレームの画像処理に用いた補正量子化パラメータで現フレームの圧縮符号化処理を行うことで、目標画質付近の画質が得られ、差分画質が大きい場合におきる過制御を抑制し、目標画質付近への収束を早めることができる。

前記した実施例では、Ｈ．２６４／ＡＶＣにおける圧縮符号化（画質制御）を例に説明を行ったが、これに限る必要は無く例えばＭＰＥＧ−２やＭＰＥＧ−４などにおいても本発明を適用することができる。

実施例１の画像処理装置のブロック図である。 差分画質を示すグラフである。 統計結果に基づいて求める関数を示す図である。 実施例１の画像処理装置のフローチャートである。 実施例２の画像処理装置のブロック図である。 実施例２の画像処理装置の動作の要旨を示すフローチャートである。 実施例３の画像処理装置のブロック図である。 実施例３の画像処理装置の動作の要旨を示すフローチャートである。

符号の説明

１０、２０、３０ 画像処理装置
１１ 圧縮符号化処理部
１２ 画質算出部
１３ 画質制御部
１４ 量子化部
１５ 符号化部
１６ 基準フレーム判定部
１７ 量子化パラメータ修正部
３１ 差分画質算出部
３２ 差分画質蓄積部
３３ 差分画質平均部
３４ 差分量子化パラメータ算出部
３５ 補正量子化パラメータ蓄積部
３６ 補正量子化パラメータ平均部
３７ 補正部
３８ 閾値判定部

Claims (8)

1. 動画の画質を量子化パラメータに基づいて制御する画像処理装置において、
   量子化パラメータに基づいて画像を量子化処理して量子化値を求める量子化部と、
   求めた量子化値における画質を求める画質算出部と、
   求めた画質と目標とする画質との差分画質を蓄積し、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に、当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求めると、当該補正量子化パラメータを用いて量子化処理を行うべく、前記量子化部に出力する画質制御部と、を備えることを特徴とする画像処理装置。
2. 前記画質制御部は、
   前記差分画質を算出する差分画質算出部と、
   前記差分画質を蓄積する差分画質蓄積部と、
   前記差分画質蓄積部で蓄積する差分画質の平均を差分画質平均として求める差分画質平均部と、
   求めた差分画質平均と、統計結果に基づく画質および量子化パラメータの関係を示す関数の傾き値とに基づいて、差分画質平均分の量子化パラメータの値を前記補正量としての差分量子化パラメータとして求める差分量子化パラメータ算出部と、
   前記補正量子化パラメータを蓄積する補正量子化パラメータ蓄積部と、
   前記補正量子化パラメータ蓄積部で蓄積する補正量子化パラメータの平均を求める補正量子化パラメータ平均部と、
   求めた補正量子化パラメータ平均および前記差分量子化パラメータを加算処理し、加算結果を前記次の補正量子化パラメータとして求める補正部とを備えることを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理装置は、動画の画質をフレーム単位で制御しており、
   順次処理するフレームにおいて、フレーム間予測におけるフレーム間の画像誤差を補正するフレーム内予測における基準フレームであるか否かを判定する基準フレーム判定部を備えており、
   前記画質制御部は、前記基準フレーム判定部で処理対象のフレームが基準フレームであると判断されると、求めた補正量子化パラメータを用いた量子化処理後に目標画質に近づけるため、当該補正量子化パラメータに対し、所定の修正を施す量子化パラメータ修正部を備えることを特徴とする請求項１および請求項２記載の画像処理装置。
4. 前記画質制御部は、前記差分画質算出部で求める差分画質が所定の閾値以下であるか否かを判定する閾値判定部を備えており、
   前記補正部は、前記閾値判定部で差分画質が所定の閾値以下と判定されると、前記差分量子化パラメータの値をゼロとして前記加算処理を行うことを特徴とする請求項２記載の画像処理装置。
5. 前記処理装置は、Ｈ．２６４／ＡＶＣによる規格で画像処理を行う場合、画像の予測を行い、予測画像と原画像との差分を直交変換する予測変換部を備えており、
   前記予測変換部は、フレームの画像を構成する各ブロック間の歪を取除く処理を行うデブロッキングフィルタを有しており、
   該デブロッキングフィルタは、前記画質制御部で求めた補正量子化パラメータおよび各ブロックの境界付近の予測画素値に基づいて、ブロック間の歪み除去処理の内容を変更することを特徴とする請求項１記載の画像処理装置。
6. 前記差分画質平均部は、蓄積する差分画質に対し蓄積時間に応じた重み付けを行い、当該重み付け差分画質の平均を求めることを特徴とする請求項２記載の画像処理装置。
7. 前記補正量子化パラメータ平均部は、蓄積する補正量子化パラメータに対し蓄積時間に応じた重み付けを行い、当該重み付け補正量子化パラメータの平均を求めることを特徴とする請求項２記載の画像処理装置。
8. 動画の画質を量子化パラメータに基づいて制御する画像処理方法において、
   量子化パラメータに基づいて画像を量子化処理して量子化値を求めること、
   求めた量子化値における画質を求めること、
   求めた画質と目標とする画質との差分画質を蓄積し、蓄積した差分画質に基づいて補正量を求め、該補正量を用いて補正量子化パラメータを求めると共に、当該補正量子化パラメータを蓄積し、蓄積した補正量子化パラメータと次に求める補正量とに基づいて次の補正量子化パラメータを求めると、当該補正量子化パラメータを用いて量子化処理を行うことを特徴とする画像処理方法。
   

Images