JP2013183178A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】 画像データの量子化処理における丸め処理としての切り捨てと四捨五入の双方の利点を考慮し、情報量の削減と画質の向上の双方を実現化する。
【解決手段】 量子化部１３が切り捨て処理による量子化を採用しているので、四捨五入を採用したときよりも情報量を削減できると共に、そのように圧縮符号化された画像データを展開する際には、通常の逆量子化の後に、オフセット値を加えて量子化誤差を０近傍にシフトさせているので、画質を向上させることができる。特に、オフセット値をＱ／２とすれば、量子化誤差は−Ｑ／２〜Ｑ／２の範囲内となるので、最大限に画質を向上させることができる。また、予測符号化を採用して、頻度の高い残差０近傍のより広い範囲、すなわち−Ｑ＜ｘ＜Ｑの範囲、を値０に対応させて、他の領域の２倍の範囲とすることにより、値０の頻度をより高くする。
【選択図】 図１

Description

本発明は、画像処理方法及び画像処理装置に関し、特に、画像データに対する量子化処理を含む画像処理方法及び画像処理装置に関する。

従来から、画像データの圧縮処理に採用される手法として、いわゆる予測符号化という手法がある。画像データは、二次元空間的に（動画にあっては時間的にも）近接するものほど相関が高いという性質を利用して、圧縮効率を高くすることができる手法である。

図４は、従来のおける画像データの符号化方法を説明するための図である。図５乃至図７は、従来における画像データの符号化方法の課題を説明するための図である。

図４において、減算器３２は、原画像データの各画素値から予測部３１の予測値を減算し、予測残差値として量子化部３３へ供給する。量子化部３３は、入力した各予測残差値を量子化係数Ｑに基づいて量子化し、量子化後のデータビット数を削減し、その結果を可変長符号化部３４に出力する。可変長符号化部３４は、入力したデータに対して、ハフマン符号化や算術符号化等の可変長符号化による可逆圧縮処理を施し、その結果を画像データ格納部３５に格納する。

なお、予測部３１における予測値は、量子化部３３の出力値を逆量子化したものから生成するようにしてもよい。

ここで、前述のように、画像データは、二次元空間的に（動画にあっては時間的にも）近接するものほど相関が高いので、減算器３２から出力される残差値のそれぞれは、図７に示すように、値０の近傍に集中するものとなる。ここで、可変長符号化部３４における可変長符号化処理においては、入力される各データ値の頻度が不均一であればあるほど圧縮効率が高くなることから、図７に示すようなデータによれば、更に情報量の削減の効果が生ずる。

特開２００７−３６５６６号公報

ところで、量子化部３３における量子化処理に注目してみると、ここでは基本的に、入力された量子化されるべき値を量子化係数Ｑで除算し、その端数を丸めることにより量子化が行われる。従って、量子化係数Ｑが大きいほど、量子化による情報量はより削減されることになる。一方、この量子化処理は、量子化後のデータを逆量子化しても、元の値が復元されない非可逆処理であるが、量子化係数Ｑが大きいほど、量子化誤差、すなわち逆量子化により得られた値と元の画素値との差、は大きくなる。つまり、復元後の画像の画質は落ちる。ここで、画質の良し悪しを示す指標として、例えば、式（１）に示すピーク信号対雑音比（Peak Signal-to-Noise Ratio：ＰＳＮＲ）がある。

更に、量子化係数Ｑが同じであっても、端数の丸め処理に仕方によって、情報量及び画質は変わってくる。

例えば、量子化における端数の丸め処理に、四捨五入を採用する場合をまず考える。図５は、量子化における端数の丸め処理に、四捨五入を採用した場合を説明するための図である。そこで、量子化前の０〜１６Ｑ−１（ここで、Ｑは例えば“８”で、そのとき、１６Ｑ−１は“２５５”となる）までの値のデータを量子化係数Ｑで割ると、小数点以下の端数を有する実数を含む、０〜１６までの値となる。それらの値を四捨五入すると、０〜１６までの１７個の整数となる。

一方、量子化における端数の丸め処理に、切り捨てを採用した場合では、結果的に０〜１５までの整数となる。従って、量子化係数Ｑが同じでも、切り捨て処理による量子化処理の方が、情報量を削減できるという利点がある。

次に、量子化における端数の丸め処理に、四捨五入又は切り捨てを採用した場合の量子化誤差について考える。図６は、量子化における端数の丸め処理に、四捨五入又は切り捨てを採用した場合の量子化誤差について説明するための図である。そこで、切り捨てを採用した場合には、同図（ａ）に示すように、各画素について、量子化誤差は０〜Ｑまでに分布する。一方、四捨五入を採用した場合には、同図（ｂ）に示すように、各画素について、同誤差は、−Ｑ／２〜Ｑ／２に分布する。これを誤差の絶対値とその頻度という観点からみると、同図（ｃ）に示すようになる。ここで、式（１）のＰＳＮＲに当てはめてみると、切り捨て処理の方が、ＰＳＮＲの値は小さくなる。すなわち、切り捨て処理の方が画質は落ちる。なお、このことは、誤差による人間の視認性の影響と一致している。故に、量子化係数が同じでも、四捨五入処理による量子化処理の方が、画質がよいという利点があることになる。

以上を考慮すると、量子化における端数の丸め処理としての四捨五入及び切り捨てに関し、上述の双方の利点を享受できることが望まれる。なお、特許文献１は、デジタル撮像装置における信号符号化及び復号化方法及び装置を開示しているが、量子化処理において、切り捨てと四捨五入の双方の利点を考慮することについては、何ら開示していない。

本発明は上述のような事情から為されたものであり、本発明の目的は、画像データの量子化処理における丸め処理としての切り捨てと四捨五入の双方の利点を考慮し、情報量の削減と画質の向上の双方を実現化できる画像処理方法及び画像処理装置を提供することにある。

上記目的を達成するため、本発明の画像処理方法は、画像を構成する各画像データを量子化係数（：Ｑ）に基づき量子化する際に、端数を切り捨てる処理により量子化を行い、前記量子化された各画像データを逆量子化する際に、前記量子化された各画像データに前記量子化係数を乗算した後、得られた値に所定の偏倚量を加えて前記画像を復元することを要旨とする。ここで、前記所定の偏倚量は、Ｑ／２であることが好適である。

また、前記画像を構成する各画像データに対して予測処理を施し、得られた予測残差に対して前記量子化を施し、前記所定の偏倚量を加えた結果に対して、前記予測処理に対応した逆処理を行うことにより前記画像を復元することが好適である。

前記量子化の処理の後に、前記量子化された各画像データに対して、可変長符号化処理を行い、前記量子化された各画像データを逆量子化する前に、前記可変長符号化処理に対応した可変長復号化処理を行うことが更に好適である。

また、前記予測残差を量子化して量子化後の各値に割り当てる際に、頻度のより多い予測残差を含む予測残差のより広い範囲を、１つの値に割り当てるように非線形に前記量子化の処理を行うことがより更に好適である。

このとき、例えば、−Ｑより大きく、＋Ｑよりも小さい前記予測残差に対して、量子化後の値０を割り当てる。

また、このとき、前記予測残差を負の方向に切り捨て処理した後、１の補数表現をとることにより、前記量子化の処理を行う。

また、上記目的を達成するため、本発明の画像処理装置は、端数を切り捨てる処理により、画像を構成する各画像データを量子化係数（：Ｑ）に基づき量子化する量子化部と、前記量子化部により量子化された各画像データに前記量子化係数を乗算して逆量子化する逆量子化部と、前記逆量子化部により得られた値に所定の偏倚量を加える第一加算器と、を備えたことを要旨とする。ここで、前記所定の偏倚量は、Ｑ／２であることが好適である。

このとき、時間的に以前の、又は空間的に隣接する画像データを保持する第一予測部と、現画像データから前記第一予測部が保持する画像データを差し引いて、前記量子化部に与える減算器と、先に復元された画像データを保持する第二予測部と、前記加算器による加算結果に対して前記第二予測部の保持された画像データを加算する第２加算器と、を更に備えることが好適である。

前記量子化部による量子化の処理の後に、前記量子化された各画像データに対して、可変長符号化処理を行う可変長符号化部と、前記可変長符号化部により可変長符号化処理された画像データに対して、前記可変長符号化処理に対応した可変長復号化処理を行い、得られた結果を前記逆量子化部に与える可変長復号化部と、を更に備えることが更に好適である。

また、前記量子化部は、前記予測残差を量子化して量子化後の各値に割り当てる際に、頻度のより多い予測残差を含む予測残差のより広い範囲を、１つの値に割り当てるように非線形に前記量子化の処理を行うことがより更に好適である。

このとき、前記量子化部は、例えば、−Ｑより大きく、＋Ｑよりも小さい前記予測残差に対して、量子化後の値０を割り当てる。

また、このとき、前記量子化部は、前記予測残差を負の方向に切り捨て処理した後、１の補数表現をとることにより、前記量子化の処理を行う。

本発明の画像処理方法及び画像処理装置によれば、切り捨て処理による量子化を採用しているので、四捨五入を採用したときよりも情報量を削減できると共に、そのように圧縮符号化された画像データを展開する際には、通常の逆量子化の後に、所定の偏倚量を加えて量子化誤差を０近傍にシフトさせているので、画質を向上させることができる。特に、偏倚量をＱ（量子化係数）／２とすれば、量子化誤差は−Ｑ／２〜Ｑ／２の範囲内となるので、最大限に画質を向上させることができる。

また、予測符号化を採用し、前記予測残差を量子化して量子化後の各値に割り当てる際に、頻度のより多い予測残差を含む予測残差のより広い範囲を、１つの値に割り当てるように非線形に前記量子化の処理を行っているので、可変長符号化処理において、より圧縮率が高くなる。このとき、前記予測残差を負の方向に切り捨て処理した後、１の補数表現をとることにより、前記量子化の処理を行えば、ハードウェアで実現する場合に、回路規模を小さくできる。

本発明の画像処理方法の一実施形態の手順を示すフローチャートである。 本発明の画像処理装置の一実施形態の構成ブロック図である。 本発明の一実施形態の量子化部における量子化処理を説明するための図である。 従来のおける画像データの符号化方法を説明するための図である。 量子化における端数の丸め処理に、四捨五入を採用した場合を説明するための図である。 量子化における端数の丸め処理に、四捨五入又は切り捨てを採用した場合の量子化誤差について説明するための図である。 予測処理における残差値の分布を示す図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像処理方法の一実施形態の手順を示すフローチャートである。図２は、本発明の画像処理装置の一実施形態の構成ブロック図である。

図２に示すように、本発明の一実施形態に係る画像処理装置は、予測部１１と、減算器１２と、量子化部１３と、可変長符号化部１４と、画像データ格納部１５と、可変長復号化部２１と、逆量子化部２２と、オフセット値２３と、加算器２４及び２５と、予測部２６とを備えている。

そこで、減算器１２は、原画像データの各画素値から予測部１１の予測値を減算し、残差値として量子化部１３へ供給する（ステップＳ１）。なお、量子化部１３の出力値を逆量子化部により逆量子化し、その結果を予測部１１の入力としてもよい。

量子化部１３は、入力した各残差値を量子化係数Ｑに基づいて量子化する（ステップＳ２）。ここで、量子化部１３における量子化処理を、図３を参照して詳細に説明する。図２に示した量子化部１３においては、基本的には、前述のように情報量の削減の観点から、端数の丸め処理として切り捨て処理を採用するが、更に以下の特徴を有している。

図３（ｂ）は、減算器１２の出力である予測残差の分布を示す図であり、前述のように、０に集中して分布している。ここで、同図においては、以下の説明の便宜上、残差−２Ｑ，−Ｑ，０，Ｑ，２Ｑのそれぞれの値のところで区分けしている。そこで、図３（ａ）の最上段と同図（ｂ）とに示す残差ｘを量子化係数Ｑで割ると、同図（ａ）の２段目と同図（ｃ）とに示すようになる。すなわち、値−２Ｑ，−Ｑ，０，Ｑ，２Ｑは、値−２，−１，０，１，２に対応するようになる。

次に、切り捨て処理を行うのであるが、正の数については通常通りであり、負の数については、次のように行う。すなわち、マイナス符号を無視し、絶対値について切り捨て処理を行い、その結果に再度マイナス符号を付ける。これにより、例えば、−１＜ｘ／Ｑ≦０の範囲の値は“０”となり、−２＜ｘ／Ｑ≦−１の範囲の値は、“−１”となる。総じて、元の値ｘ／Ｑに対応して得られる整数値の絶対値は、図３（ａ）の最下段に示すようになり、符号はその上段に示すようになる。ここで、得られる“０”に注目すると、−１＜ｘ／Ｑ≦０の範囲の値は、“−０”に対応し、０≦ｘ／Ｑ＜１の範囲の値は、“＋０”に対応するということになる。つまり、−Ｑ＜ｘ＜Ｑの範囲にある残差ｘが量子化値０として得られることになる。その結果、他の各範囲と比較して２倍の範囲が、１つの“０”という値に丸められることとなる。このことと、前述の残差値は、値０の近傍に集中しているという性質から、より多くの残差値を“０”に対応させることができ、前述の出現の頻度の不均一性と圧縮率の関係から、後段の可変長符号化処理においてより圧縮率を向上させることができることとなる。なお、上述の切り捨て処理は、図３（ｄ）に示す“１の補数表現”と類似の概念である。従って、ハードウェアで実現する場合には、回路規模を小さくできる。但し、上述の割り当ては一例であり、一般的に、頻度に応じて非線形に割り当てればよいことになる。

図１及び図２に戻り、次に、可変長符号化部１４は、量子化部１３により量子化されたデータに対して、ハフマン符号化や算術符号化等の可変長符号化による可逆圧縮処理を施し（ステップＳ３）、その結果を画像データ格納部１５に格納する（ステップＳ４）。なお、上述のように、量子化部１３において、端数の丸め方法として切り捨て処理により量子化が行われているので、画像データ格納部１５に格納される符号化画像データに関し、四捨五入を採用した場合と比較して圧縮率の点で有利となる。

引き続き、画像データ格納部１５に格納された圧縮符号化画像データから元の画像を復元する処理を説明する。つまり、可変長復号化部２１は、画像データ格納部１５に格納される圧縮符号化画像データを読み出し（ステップＳ５）、可変長符号化部１４における符号化処理に対応した復号化処理を行う（ステップＳ６）。次に、逆量子化部２２は、可変長復号化部２１による処理後のデータに対して、量子化部１３における量子化係数と同じ量子化係数Ｑを掛けることにより、逆量子化処理を行う（ステップＳ７）。

次に、量子化処理における切り捨て処理による画質低下分を補償すべく、加算器２４が、逆量子化部２２による逆量子化後の値に、オフセット値を加える（ステップＳ８）。ここで、このオフセット値は、０〜Ｑまでの任意の値が適用できるが、最も好適には、Ｑ／２である。オフセット値をＱ／２にした場合には、量子化誤差は最大でも±Ｑ／２に抑えられ、量子化処理における切り捨て処理による画質低下分を最大限に補償できる。最後に、加算器２５が、加算器２４によるオフセット値加算後のデータに、予測部２６からの予測値を加算し、それにより元の画像データを復元する（ステップＳ９）。

以上のように、本発明における上述の実施形態によれば、量子化部１３が切り捨て処理による量子化を採用しているので、四捨五入を採用したときよりも情報量を削減できると共に、そのように圧縮符号化された画像データを展開する際には、通常の逆量子化の後に、オフセット値を加えて量子化誤差を０近傍にシフトさせているので、画質を向上させることができる。特に、オフセット値をＱ／２とすれば、量子化誤差は−Ｑ／２〜Ｑ／２の範囲内となるので、最大限に画質を向上させることができる。

また、予測符号化を採用し、頻度の高い残差０近傍のより広い範囲、すなわち−Ｑ＜ｘ＜Ｑの範囲、を値０に対応させて、他の領域の２倍の範囲としているので、値０の頻度がより高くなり、可変長符号化処理において、より圧縮率が高くなる。

本発明の画像処理方法及び画像処理装置は、画像データに対する量子化処理を含む画像処理方法及び画像処理装置に適用できる。

１１ 予測部
１２ 減算器
１３ 量子化部
１４ 可変長符号化部
１５ 画像データ格納部
２１ 可変長復号化部
２２ 逆量子化部
２３ オフセット値
２４ 加算器
２５ 加算器
２６ 予測部

Claims (14)

1. 画像を構成する各画像データを量子化係数（：Ｑ）に基づき量子化する際に、端数を切り捨てる処理により量子化を行い、
   前記量子化された各画像データを逆量子化する際に、前記量子化された各画像データに前記量子化係数を乗算した後、得られた値に所定の偏倚量を加えて前記画像を復元することを特徴とする画像処理方法。
2. 前記所定の偏倚量は、Ｑ／２であることを特徴とする請求項１に記載の画像処理方法。
3. 前記画像を構成する各画像データに対して予測処理を施し、得られた予測残差に対して前記量子化を施し、
   前記所定の偏倚量を加えた結果に対して、前記予測処理に対応した逆処理を行うことにより前記画像を復元することを特徴とする請求項１に記載の画像処理方法。
4. 前記量子化の処理の後に、前記量子化された各画像データに対して、可変長符号化処理を行い、
   前記量子化された各画像データを逆量子化する前に、前記可変長符号化処理に対応した可変長復号化処理を行うことを特徴とする請求項３に記載の画像処理方法。
5. 前記予測残差を量子化して量子化後の各値に割り当てる際に、頻度のより多い予測残差を含む予測残差のより広い範囲を、１つの値に割り当てるように非線形に前記量子化の処理を行うことを特徴とする請求項４に記載の画像処理方法。
6. −Ｑより大きく、＋Ｑよりも小さい前記予測残差に対して、量子化後の値０を割り当てることを特徴とする請求項５に記載の画像処理方法。
7. 前記予測残差を負の方向に切り捨て処理した後、１の補数表現をとることにより、前記量子化の処理を行うことを特徴とする請求項５に記載の画像処理方法。
8. 端数を切り捨てる処理により、画像を構成する各画像データを量子化係数（：Ｑ）に基づき量子化する量子化部と、
   前記量子化部により量子化された各画像データに前記量子化係数を乗算して逆量子化する逆量子化部と、
   前記逆量子化部により得られた値に所定の偏倚量を加える第一加算器と、
   を備えたことを特徴とする画像処理装置。
9. 前記所定の偏倚量は、Ｑ／２であることを特徴とする請求項８に記載の画像処理装置。
10. 時間的に以前の、又は空間的に隣接する画像データを保持する第一予測部と、
    現画像データから前記第一予測部が保持する画像データを差し引いて、前記量子化部に与える減算器と、
    先に復元された画像データを保持する第二予測部と、
    前記加算器による加算結果に対して前記第二予測部の保持された画像データを加算する第２加算器と、
    を更に備えることを特徴とする請求項８に記載の画像処理装置。
11. 前記量子化部による量子化の処理の後に、前記量子化された各画像データに対して、可変長符号化処理を行う可変長符号化部と、
    前記可変長符号化部により可変長符号化処理された画像データに対して、前記可変長符号化処理に対応した可変長復号化処理を行い、得られた結果を前記逆量子化部に与える可変長復号化部と、
    を更に備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記量子化部は、前記予測残差を量子化して量子化後の各値に割り当てる際に、頻度のより多い予測残差を含む予測残差のより広い範囲を、１つの値に割り当てるように非線形に前記量子化の処理を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記量子化部は、−Ｑより大きく、＋Ｑよりも小さい前記予測残差に対して、量子化後の値０を割り当てることを特徴とする請求項１２に記載の画像処理装置。
14. 前記量子化部は、前記予測残差を負の方向に切り捨て処理した後、１の補数表現をとることにより、前記量子化の処理を行うことを特徴とする請求項１２に記載の画像処理装置。
    

Images