JP2016105528A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】画像符号化装置において、ブロック単位で直交変換を行う処理と行わない処理とが切り替わる符号化を行う場合でも、量子化行列を用いた量子化処理を適切に行うことを可能とする。【解決手段】本発明に係る画像符号化装置１００は、文字領域有無判定部１１１において符号化対象ピクチャとする入力画像に文字や線の領域があるかどうかを判定し、文字や線の領域がないと判定された場合は、全てのブロックサイズに対応する量子化行列を、低周波数成分から高周波数成分にかけて傾斜を持つ係数値で生成し、文字や線の領域があると判定された場合は、４×４画素のブロックサイズに対応する量子化行列のみを、低周波数成分から高周波数成分にかけて傾斜を持たない係数値で生成し、生成した量子化行列を用いて量子化処理を行う。【選択図】図１

Description

本発明は、入力された画像をブロックに分割して符号化する画像符号化装置に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画像符号化方式の標準化活動が進んでいる。

このような画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報をから予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

ＨＥＶＣ（非特許文献１）では、前述の直交変換において、符号化対象とするブロック毎に、４×４画素、８×８画素、１６×１６画素、３２×３２画素のサイズの中から任意のサイズを選択して直交変換を行うことが可能となっている。これにより、画像の性質に応じて直交変換のサイズを適応的に切り替えることで符号化効率の向上に大きく貢献している。また、４×４画素のサイズを選択した場合に限り、直交変換を行わずに差分画像をそのまま量子化するという方法を選択することも可能となっている。

また、前述の量子化処理では、ブロック毎に設定した量子化パラメータとピクチャ毎に設定した量子化行列とを掛け合わせることで決定される量子化幅によって量子化が行われる。一般的に量子化行列は、人が認識し易い（人が画質の劣化に気付き易い）低周波数領域の成分に対してはより細かい係数値を適用するように構成される。一方、人が認識し難い（人が画質の劣化に気付き難い）高周波数領域の成分に対してはより粗い係数値を適用するように構成される。その結果、上記量子化行列は、低周波数領域から高周波数領域にかけて傾斜を持つ係数値で構成される。また、量子化行列は直交変換のサイズ毎に定義することが必要であるため、ＨＥＶＣでは、４×４画素、８×８画素、１６×１６画素、３２×３２画素のそれぞれに対応した量子化行列を符号化対象とするピクチャに設定する。

JCTVC-L1003: High Efficiency Video Coding (HEVC) text specification draft10 (01/2013)

ＨＥＶＣでは前述の通り、直交変換を行う際のサイズとして４×４画素を選択した場合、（１）直交変換を行って生成した残差係数に対して量子化する方法と、（２）直交変換を行わずに差分画像をそのまま量子化する方法とのいずれかをブロック毎に選択することが可能となっている。しかし、量子化を行うために使用される量子化行列は、４×４画素のサイズに対して１つしか設定することができないため、両者の方法に対して同じ量子化行列が適用されてしまう。

直交変換を行うことを想定した量子化行列を設定すると、直交変換を行わない場合に画質劣化を発生させてしまい、逆に、直交変換を行わないことを想定した量子化行列を設定すると、直交変換を行った場合に符号化効率の低下を発生させてしまう。

本発明は上記課題を解決するものであり、ＨＥＶＣを用いた画像符号化装置において、（１）直交変換を行って生成した残差係数に対して量子化する方法と、（２）直交変換を行わずに差分画像をそのまま量子化する方法とを効果的に使用しながら、画質劣化や符号化効率の低下を発生させない量子化行列を設定する方法を提供することを目的とする。

本開示における画像符号化装置は、入力画像を量子化処理が含まれた所定の符号化規格にて符号化し、符号列を生成する画像符号化装置であって、入力画像を取得する取得部と、取得した入力画像を、予め設定される複数のブロックサイズのうちいずれかのブロックサイズで構成される画素群毎に出力するブロック分割部と、取得した入力画像内に文字または線画で描画された領域があるか否かを判定する文字領域有無判定部と、出力される画素群に対する予測画像を生成する予測画像生成部と、生成した予測画像と出力される画素群との差分値を残差画像として出力する差分演算部と、（１）差分画像を直交変換し残差係数を生成して出力する第１動作と、（２）差分画像を直交変換せずに差分画像をそのまま出力する第２動作と、を選択的に切り替えて実行する直交変換部と、直交変換部から出力される出力結果を量子化する際に利用する量子化行列を、直交変換処理の有無に関係なく共通して設定する量子化行列生成部と、設定した量子化行列を用いて出力結果を量子化する量子化部と、前記量子化行列生成部から出力される量子化行列を符号列のヘッダ領域に記述して符号列を生成する符号列生成部と、を備え、量子化行列生成部が生成する量子化行列のうち、４×４画素ブロック用の量子化に利用する量子化行列は、文字領域有無判定部における判定結果に基づいてその係数値が変化し、４×４画素ブロック用以外の量子化に利用する量子化行列は、文字領域有無判定部における判定結果に依存せず共通の係数値が設定される。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

以上より、本発明における画像符号化装置は、直交変換を行って生成した残差係数に対して量子化する方法と、直交変換を行わずに差分画像をそのまま量子化する方法とを効果的に使用しながら、画質劣化や符号化効率の低下を発生させない量子化行列を設定することが可能となる。

本実施の形態１に係る画像符号化装置を示すブロック図 直交変換処理および量子化処理で生成される信号の一例を説明するための概念を示す図 逆量子化処理および逆直交変換処理で生成される信号の一例を説明するための概念を示す図 本実施の形態１に係る量子化行列生成処理を示すフローチャート 本実施の形態によって生成される符号列の一例を説明するための概念を示す図 本実施の形態によって生成される量子化行列の一例を説明するための概念を示す図 本実施の形態２に係る画像符号化装置を示すブロック図 本実施の形態２に係る量子化行列生成処理を示すフローチャート

（実施の形態１）
以下、本実施の形態１について、図面を参照しながら説明する。

（符号化装置全体の処理説明）
図１は、本実施の形態に係る画像符号化装置１００のブロック図である。画像符号化装置１００は、ピクチャ単位で入力された画像をブロックに分割する。そして、画像符号化装置１００はブロック単位で符号化処理し、符号列を生成する。

この画像符号化装置１００は、ピクチャメモリ１０１と、ブロック分割部１０２と、直交変換部１０３と、非直交変換部１０４と、量子化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、逆非直交変換部１０８と、予測画像生成部１０９と、符号列生成部１１０と、文字領域有無判定部１１１と、量子化行列生成部１１２とを備えている。

ピクチャメモリ１０１は、入力画像信号をピクチャ単位で格納し、ブロック分割部１０２からの読出し命令を受け付けると当該読出し命令に係る画像信号を出力する。

ブロック分割部１０２は、ピクチャメモリ１０１から入力された画像信号を、符号化処理単位であるコーディングユニット（以下、ＣＵと称す）と呼ばれるブロックに分割する。例えばブロック分割部１０２は、画像信号を６４×６４画素のＣＵに分割し出力する。

さらに、ブロック分割部１０２は、ＣＵを予測画像生成の処理単位であるプレディクションユニット（以下、ＰＵと称す）と呼ばれるブロックに分割する。ブロック分割部１０２は、例えば画像信号を８×８画素のＰＵに分割し出力する。

またブロック分割部１０２は、ＣＵを直交変換の処理単位であるトランスフォームユニット（以下、ＴＵと称す）と呼ばれるブロックに分割する。ブロック分割部１０２は、例えば画像信号を８×８画素のＴＵに分割する。

以降の処理は、処理内容に応じて、これらのＣＵ、ＰＵ、ＴＵのいずれかのブロック単位で処理が行われる。

差分演算部１１３は、ブロック分割部１０２から入力されたＰＵ単位の画像信号と、予測画像生成部１０９から入力されたＰＵ単位の予測画像信号との差分を算出し、差分画像信号を生成する。

差分演算部１１３は、生成した差分画像信号を直交変換部１０３もしくは非直交変換部１０４のいずれかに出力する。

このとき、差分演算部１１３は、ブロック分割部１０２によって分割されたＴＵのサイズに基づいて、直交変換部１０３および非直交変換部１０４のうちいずれか一方に出力する。

ＴＵのサイズが８×８画素もしくは１６×１６画素もしくは３２×３２画素である場合、差分演算部１１３は、常に差分画像信号を直交変換部１０３に出力する。

一方、ＴＵのサイズが４×４画素である場合、差分演算部１１３は直交変換部１０３と非直交変換部１０４のうちいずれか一方を任意で選択して出力する。この場合、差分演算部１１３は、一般的に符号化処理を行った結果生成される再構成画像の画質がよりよくなると判断される方を任意の一方として選択する。

直交変換部１０３は、差分演算部１１３から入力される差分画像信号に対してＴＵ単位で直交変換し、残差係数を生成する。

図２（ａ）は、直交変換部１０３が生成する残差係数を示す。直交変換部１０３は、図２に示す差分画像を直交変換し、図２（ａ）に示す残差係数を生成する。生成される残差係数における各々の係数値は周波数成分毎の信号の大きさを示すものであり、左上が低周波数成分の係数、右下が高周波数成分の係数となっている。図２（ａ）に示す残差係数では、直交変換を行ったことにより大きな信号が左上の低周波数成分に集中している。

一方、非直交変換部１０４は、差分演算部１１３から入力される差分画像信号に対してＴＵ単位での直交変換を行わず、差分画像信号をそのまま残差係数として生成する。

図２（ｂ）は、非直交変換部１０４が直交変換せずにそのまま残差画像を出力した場合の残差係数を示す。図２（ｂ）における残差係数における各々の係数値は差分画像の対応する画素位置の画素値そのものであり、信号の変換は行われていないことが分かる。

量子化部１０５は、直交変換部１０３もしくは非直交変換部１０４から入力される残差係数信号をＴＵ単位で量子化する。このとき、量子化部１０５は、量子化値および量子化行列を用いて、残差係数信号をTU単位で量子化し、量子化残差係数を生成する。

ここで、量子化値は、CU単位で設定される値である。

一方、量子化行列は、ピクチャ単位で設定される値である。なお、量子化部１０５は、量子化行列生成部１１２から量子化行列を取得する。

具体的に、量子化部１０５は、図２（ａ）に示す残差係数を量子化することにより、図２（ｃ）に示す量子化残差係数を生成する。

また、量子化部１０５は、図２（ｂ）に示す残差係数を量子化することにより、図２（ｄ）に示す量子化残差係数を生成する。

逆量子化部１０６は、量子化部１０５から入力される量子化残差係数信号に対してＴＵ単位で逆量子化し、再構成残差係数を生成する。逆量子化部１０６は、生成した再構成残差係数を、逆直交変換部１０７もしくは逆非直交変換部１０８のいずれかに出力する。入力される量子化残差係数信号が、直交変換部１０３による処理を行って生成されたものである場合、逆量子化部１０６は、再構成残差係数を逆直交変換部１０７に出力する。一方、逆量子化部１０６は、非直交変換部１０４による処理を行って生成されたものである場合、再構成残差係数を逆非直交変換部１０８に出力する。

具体的に逆量子化部１０６は、図３（ｃ）に示す量子化残差係数を逆量子化することにより、図３（ｅ）に示す再構成残差係数を生成する。一方、逆量子化部１０６は、図３（ｄ）に示す量子化残差係数（ｄ）を逆量子化することにより、図３（ｆ）に示す再構成残差係数を生成する。

逆直交変換部１０７は、逆量子化部１０６から入力される再構成残差係数信号に対してＴＵ単位で逆直交変換し、再構成差分画像を生成する。

具体的に逆直交変換部１０７は、図３（ｅ）に示す再構成残差係数を逆直交変換し、図３（ｇ）に示す再構成差分画像を生成する。

一方、逆非直交変換部１０８は、逆量子化部１０６から入力される再構成残差係数信号に対してＴＵ単位で逆直交変換を行わず、再構成残差係数信号をそのまま再構成差分画像として生成する。

具体的に逆直交変換部１０７は、図３（ｆ）に示す再構成残差係数を逆直交変換せずに、この再構成残差係数を図３（ｈ）に示す再構成差分画像として出力する。

加算演算部１１４は、逆直交変換部１０７もしくは逆非直交変換部１０８から入力される再構成差分画像信号と、予測画像生成部１０９から入力される予測画像信号とをＰＵ単位で加算することにより再構成画像を生成する。

予測画像生成部１０９は、ブロック分割部１０２から入力されたＰＵ単位の画像信号を基に、加算演算部１１４から入力される再構成画像信号を用いてＰＵ単位で画面内予測または画面間予測を行って予測画像を生成する。画面間予測を用いる場合、予測画像生成部１０９は既に符号化済みの過去のピクチャの再構成画像信号を用いる。一方、画面内予測を用いる場合、予測画像生成部１０９は符号化対象のＰＵに隣接する既に符号化済みの同じピクチャの再構成画像信号を用いる。なお、画像符号化装置１００に入力される入力画像が１枚のピクチャのみから構成される静止画である場合は、過去のピクチャが存在しないため、常に画面内予測のみが用いられる。

符号列生成部１１０は、量子化部１０５から入力された量子化残差係数信号、および量子化行列生成部１１２から入力された量子化行列信号、およびその他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化を行うことで符号列を生成する。

（文字領域有無判定部および量子化行列生成部の具体的な説明）
ここで、文字領域有無判定部１１１および量子化行列生成部１１２において量子化行列を生成する方法について、図４のフローチャートを用いて具体的に説明する。

まず、文字領域有無判定部１１１は、画像符号化装置１００を動作させる際に外部から設定する外部信号を入力とし、入力された外部信号が符号化対象ピクチャとする入力画像に文字や線の領域があることを示しているかどうかを判定する（Ｓ４０１）。

なお、外部信号は、画像符号化装置１００を動作させる際に、ユーザが符号化対象ピクチャとする入力画像に応じて直接設定しても良い。また、外部信号は、符号化対象ピクチャとする入力画像が新聞や雑誌などの出版物の紙面である場合に自動的に設定されるようにしても良い。

ステップＳ４０１において、入力画像に文字や線の領域がないと判定された場合、量子化行列生成部１１２は、４×４画素のＴＵブロックに対応する量子化行列であって、低周波領域から高周波領域にかけて傾斜を有する量子化行列を生成する（Ｓ４０２）。

一方、ステップＳ４０１において、入力画像に文字や線の領域があると判定された場合、量子化行列生成部１１２は、４×４画素のＴＵブロックに対応する量子化行列であって、低周波領域から高周波領域にかけて傾斜を持たない量子化行列を生成する（Ｓ４０３）。

さらに、量子化行列生成部１１２は、４×４画素以外のＴＵブロック（例えば、８×８画素、１６×１６画素、３２×３２画素のＴＵブロック）に対応する各々の量子化行列であって、低周波領域から高周波領域にかけて傾斜を有する量子化行列を生成する（Ｓ４０４）。

つまり、４×４画素ブロック用の量子化に利用する量子化行列は、文字等の領域判定結果に基づいてその係数値が変化する。一方、４×４画素ブロック用以外の量子化に利用する量子化行列は、文字等の領域判定結果に依存せず共通の係数値が設定される。

量子化行列生成部１１２は、生成した量子化行列を量子化部１０５に出力する。そして、量子化部１０５は、ＴＵ単位の残差係数信号を量子化する際に、この量子化行列を使用する。また、量子化行列生成部１１２は、生成した量子化行列を符号列生成部１１０に出力する。そして、符号列生成部１１０は、この量子化行列に関する情報をヘッダ領域に有する符号列を生成する。

図５は符号列生成部１１０によって生成される符号列の例である。

符号列のヘッダ領域の一部であるＰｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ）の中に、４×４画素のＴＵブロックに対応する量子化行列（４×４ＱＭ）から、３２×３２画素のＴＵブロックに対応する量子化行列（３２×３２ＱＭ）までが記載されている。

なお、図５の例ではＰＰＳに量子化行列を記載しているが、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ）に量子化行列を記載した場合も、ＰＰＳとＳＰＳの両方に量子化行列を記載した場合も同様である。また、図５の例では４×４ＱＭから３２×３２ＱＭまでの４種類の量子化行列を記載しているが、符号化対象とするピクチャで使用されるＴＵブロックサイズに対応した量子化行列のみを記載した場合も同様である。

（４×４画素用の量子化行列に関する説明）
以下、４×４画素用の量子化行列について図面を参照しながら説明する。

図６は、４×４画素用の量子化行列の具体例を説明するための図である。

ここで、量子化行列の最も左上の係数値をDC（Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分とする。

図６（ａ）は、ステップＳ４０２において生成される傾斜を持つ量子化行列の例である。最も左上に位置するＤＣ成分の係数値が８、最も右下に位置する係数値が４８となっており、低周波数成分である左上から高周波数成分である右下にかけて係数値に傾斜があることが分かる。

量子化部１０５に入力される残差係数信号が直交変換部１０３から入力されたものである場合、人が認識し易い（人が画質の劣化に気付き易い）低周波数成分は、小さな量子化幅（細かい精度）で量子化される。これにより、発生符号量は大きくなるが情報の精度は高くなる。逆に、人が認識し難い（人が画質の劣化に気付き難い）高周波数成分は大きな量子化幅（粗い精度）で量子化される。これにより、情報の精度は低くなるが発生符号量は小さくなる。その結果、両者のバランスが取れることで効率の良い量子化を行うことができる。

一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４から入力されたものである場合、周波数成分とは無関係に、符号化対象ブロックの左上の画素位置における画素は細かい精度で量子化される。それに対して、符号化対象ブロックの右下の画素位置における画素は粗い精度で量子化されることになる。その結果、ブロック内の画素位置によって画質の良し悪しが異なる主観的に違和感のある画像となってしまう。

次に、図６（ｂ）は、ステップＳ４０３において生成される傾斜を持たない量子化行列の例である。ＤＣ成分から右下に位置する高周波数成分の係数値まで、全ての係数が１６となっており、左上から右下にかけて係数値に傾斜がないことが分かる。

量子化部１０５に入力される残差係数信号が直交変換部１０３から入力されたものである場合、人が認識し易い（人が画質の劣化に気付き易い）低周波数成分も、人が認識し難い（人が画質の劣化に気付き難い）高周波数成分も、同じ量子化幅で量子化される。その結果、人の視覚特性に即した量子化が行われず効率の悪い量子化が行われることになる。

一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４から入力されたものである場合、周波数成分とは無関係に、符号化対象ブロックの左上の画素位置における画素も、符号化対象ブロックの右下の画素位置における画素も、同じ量子化幅で量子化が行われることになり、ブロック内の画素位置によって画質の良し悪しが均一な主観的に違和感が少ない画像となる。

（文字を含む画像における効果の説明）
一般的に、文字や線のように画素の値が小さな範囲で極端に変化するような画像に対しては、小さなＴＵブロックサイズを用いた方が符号化ノイズを抑制し易い。また、さらに非直交変換部１０４を用いた直交変換を行わない処理が効果的に働く場合が多い。従って、図６（ｂ）の傾斜を持たない量子化行列を使用すると、符号化効率が高くなる傾向がある。逆に、図６（ａ）の傾斜を持つ量子化行列を使用してしまうと主観的に違和感のある画像となってしまう可能性が高くなる。

一方、自然画像のように画素の値が連続的に変化するような画像に対しては、大きなＴＵブロックサイズを用いた方が発生符号量を削減し易い。さらに、直交変換部１０３を用いた直交変換を行なう処理が効果的に働く場合が多い。従って、図６（ａ）の傾斜を持つ量子化行列を使用すると、符号化効率が高くなる傾向がある。逆に、図６（ｂ）の傾斜を持たない量子化行列を使用すると主観的には大きな違和感は発生しないが符号化効率が低下してしまう可能性が高くなる。

本実施の形態では、符号化対象ピクチャとする入力画像に文字や線の領域を含む場合にのみ、４×４画素のＴＵブロックに対応する量子化行列のみを図６（ｂ）の傾斜を持たない量子化行列を使用する。これにより、符号化対象ピクチャ内における文字や線の領域に対しては高い符号化効率を得ることが可能となる。一方、符号化対象ピクチャ内における自然画像の領域では４×４画素のＴＵブロックを使用する頻度が低いため、符号化効率の低下を限定的とすることができる。

また、本実施の形態では、符号化対象ピクチャとする入力画像に文字や線の領域を含まない場合は、４×４画素のＴＵブロックに対応する量子化行列も他のＴＵブロックサイズに対応する各々の量子化行列と同様に図６（ａ）の傾斜を持つ量子化行列を使用する。これにより、従来と同様の高い符号化効率を得ることが可能となる。
（４×４量子化行列の別の例）
なお、図６（ａ）および（ｂ）で説明した量子化行列は一例であり、図に記載した係数値とは異なる係数値で構成される量子化行列を用いることも可能である。

例えば、図６（ｃ）は図６（ｂ）で説明した傾斜を持たない量子化行列の別の例である。ＤＣ成分が８、およびその周辺の係数値のみが小さな値を持ち、それ以外の係数値は全て１６となっており、ほとんど傾斜を持たない量子化行列となっていることが分かる。

量子化部１０５に入力される残差係数信号が直交変換部１０３から入力されたものである場合は、低周波数成分の周辺のみ小さな量子化幅（細かい精度）で量子化が行われることになり、それ以外の成分は中間的な量子化幅で量子化が行われることになる。図６（ａ）のように高周波数成分の発生符号量を小さくする効果はないが、低周波数成分の周辺の情報の精度を高くする効果を得ることができる。

一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４から入力されたものである場合、符号化対象ブロックの左上の画素位置とその周辺における画素は細かい精度で量子化されることになり、それ以外の成分は中間的な量子化幅で量子化が行われることになる。図６（ｂ）のように全画素位置の画質を均一にすることはできないが、ブロック内の一部分の画素位置のみ画質が悪くなくという現象は発生しないため主観的に違和感のない画像を得ることができる。

また、図６（ｄ）は図６（ｂ）で説明した傾斜を持たない量子化行列のまた別の例である。ＤＣ成分が８、右下に位置する高周波数成分の係数値が２８となっており、左上から右下にかけて係数値にやや傾斜があるが、図６（ａ）と比較すると傾斜が半分以下であり、ほとんど傾斜を持たない量子化行列となっていることが分かる。

量子化部１０５に入力される残差係数信号が直交変換部１０３から入力されたものである場合は、図６（ａ）に比べると効果は小さくなくなるが、低周波数成分の情報の精度を高めながら、高周波数成分の発生符号量を小さくなるという効果を得ることができる。

一方、量子化部１０５に入力される残差係数信号が非直交変換部１０４から入力されたものである場合、符号化対象ブロックの左上の画素位置における画素は細かい精度で量子化されることになり、符号化対象ブロックの右下の画素位置における画素はやや粗い精度で量子化されることになる。しかし、図６（ａ）に比べるとブロック内の画素位置によって極端に画質の良し悪しが異なるという現象を低減できるため主観的に違和感のない画像を得ることができる。
（実施の形態２）
以下、本実施の形態２について、図面を参照しながら説明する。

（符号化装置全体の処理説明）
図７は、本実施の形態に係る画像符号化装置７００のブロック図である。画像符号化装置７００は、ピクチャ単位で入力された画像をブロックに分割し、ブロック単位で符号化処理し、符号列を生成する。

実施の形態１において図１を用いて説明した画像符号化装置１００との違いは、文字領域有無判定部７１１においてピクチャメモリ１０１から入力された画像信号を用いて処理を行っている点のみであり、それ以外の処理ブロックについては全く同じであるのでここでは説明を省略する。

（文字領域有無判定部および量子化行列生成部の具体的な説明）
図８のフローチャートは文字領域有無判定部７１１および量子化行列生成部１１２において量子化行列を生成する処理方法を示したものである。

まず、文字領域有無判定部７１１は、ピクチャメモリ１０１から入力された符号化対象ピクチャの入力画像信号から画像特徴量を算出して文字や線の領域を抽出する（Ｓ８０１）。

画像特徴量の算出方法はどのような方法を用いても同様に扱うことが可能であるが、例えば、画素値が特定の２値に集中しているかどうかを表す情報を画像特徴量とし、算出された画像特徴量が特定の閾値以上の場合は、その領域を文字や線の領域として抽出するという方法がある。

次に、Ｓ８０１の抽出結果に従って、入力画像に文字や線の領域があるかを判定し、文字や線の領域がない場合はステップＳ４０２の処理に、文字や線の領域がある場合はステップＳ４０３の処理に切り替える（Ｓ８０２）。

量子化行列生成部１１２における、ステップＳ４０２、Ｓ４０３、Ｓ４０４の各々の処理、および生成される量子化行列、および生成される符号列については、実施の形態１において、図４、図５、図６を用いて説明したものと全く同じであるのでここでは説明を省略する。

本実施の形態を用いると、画像符号化装置７００を動作させる際に、ユーザが符号化対象ピクチャとする入力画像に応じて、入力画像に文字や線の領域があるかどうかを示す外部信号を設定する必要がなくなるため、ユーザは符号化対象ピクチャがどのようなコンテンツであるかを意識せずに符号化処理を実施することが可能となる。
（まとめ）
以下、本実施形態1および2に記載される画像符号化装置１００および画像符号化装置７００は、入力画像を取得し、取得した入力画像を、予め設定される複数のブロックサイズのうちいずれかのブロックサイズで構成される画素群毎に出力し、取得した入力画像内に文字または線画で描画された領域があるか否かを判定し、出力される画素群に対する予測画像を生成し、生成した予測画像と出力される画素群との差分値を残差画像として出力し、（１）差分画像を直交変換し残差係数を生成して出力する第１動作と、（２）差分画像を直交変換せずに差分画像をそのまま出力する第２動作とを選択的に切り替えて実行し、第１動作および第２動作の結果である出力結果を量子化する際に利用する量子化行列を、直交変換処理の有無に関係なく共通して設定し、設定した量子化行列を用いて出力結果を量子化し、設定した量子化行列を符号列のヘッダ領域に記述して符号列を生成し、生成する量子化行列のうち、４×４画素ブロック用の量子化に利用する量子化行列は、文字領域の判定結果に基づいてその係数値が変化し、４×４画素ブロック用以外の量子化に利用する量子化行列は、文字領域の判定結果に依存せず共通の係数値が設定される特徴を有する。

また、取得した入力画像内に文字または線画で描画された領域があると文字領域有無判定部が判定した場合、量子化行列生成部は、低周波数領域から高周波数領域までの全ての係数値が同じである４×４画素ブロック用の量子化行列を生成し、取得した入力画像内に文字または線画で描画された領域がないと文字領域有無判定部が判定した場合、量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を持った係数値で構成される４×４画素ブロック用の量子化行列を生成する構成でも構わない。

また、取得した入力画像内に文字または線画で描画された領域があると文字領域有無判定部が判定した場合、量子化行列生成部は、ＤＣ成分およびＤＣ成分に隣接する係数値のみ低周波成分から高周波成分にかけて傾斜を有し、それ以外の係数値はすべて同じ値である４×４画素ブロック用の量子化行列を生成し、取得した入力画像内に文字または線画で描画された領域がないと文字領域有無判定部が判定した場合、量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を持った係数値で構成される４×４画素ブロック用の量子化行列を生成する構成でも構わない。

また、取得した入力画像内に文字または線画で描画された領域があると文字領域有無判定部が判定した場合、量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を有する４×４画素ブロック用の量子化行列（以下、第１量子化行列と称す）を生成し、取得した入力画像内に文字または線画で描画された領域がないと文字領域有無判定部が判定した場合、量子化行列生成部は、第１量子化行列が有する低周波数領域から高周波数領域までに傾斜よりも急な傾斜を持った４×４画素ブロック用の量子化行列を生成する構成でも構わない。
（その他の実施形態）
さらに、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態で示した画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、上記実施の形態に係る、画像符号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、例えば、新聞や雑誌等の紙面を静止画の画像データとして入力し、符号化処理を行うことで静止画像符号列として出力する画像符号化装置や、文字や図が多重化された映像を動画の画像データとして入力し、符号化処理を行うことで動画像符号列として出力する画像符号化装置として有用である。

１００ 画像符号化装置
１０１ ピクチャメモリ
１０２ ブロック分割部
１０３ 直交変換部
１０４ 非直交変換部
１０５ 量子化部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 逆非直交変換部
１０９ 予測画像生成部
１１０ 符号列生成部
１１１ 文字領域有無判定部
１１２ 量子化行列生成部
１１３ 差分演算部
１１４ 加算演算部
７００ 画像符号化装置
７１１ 文字領域有無判定部

Claims (5)

1. 入力画像を量子化処理が含まれた所定の符号化規格にて符号化し、符号列を生成する画像符号化装置であって、
   入力画像を取得する取得部と、
   前記取得した入力画像を、予め設定される複数のブロックサイズのうちいずれかのブロックサイズで構成される画素群毎に出力するブロック分割部と、
   前記取得した入力画像内に文字または線画で描画された領域があるか否かを判定する文字領域有無判定部と、
   前記出力される画素群に対する予測画像を生成する予測画像生成部と、
   前記生成した予測画像と前記出力される画素群との差分値を残差画像として出力する差分演算部と、
   （１）前記差分画像を直交変換し残差係数を生成して出力する第１動作と、（２）前記差分画像を直交変換せずに差分画像をそのまま出力する第２動作と、を選択的に切り替えて実行する直交変換部と、
   前記直交変換部から出力される出力結果を量子化する際に利用する量子化行列を、直交変換処理の有無に関係なく共通して設定する量子化行列生成部と、
   前記設定した量子化行列を用いて前記出力結果を量子化する量子化部と、
   前記量子化行列生成部から出力される量子化行列を符号列のヘッダ領域に記述して符号列を生成する符号列生成部と、を備え、
   前記量子化行列生成部が生成する量子化行列のうち、４×４画素ブロック用の量子化に利用する量子化行列は、前記文字領域有無判定部における判定結果に基づいてその係数値が変化し、４×４画素ブロック用以外の量子化に利用する量子化行列は、前記文字領域有無判定部における判定結果に依存せず共通の係数値が設定される、
   画像符号化装置。
2. 前記取得した入力画像内に文字または線画で描画された領域があると前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、低周波数領域から高周波数領域までの全ての係数値が同じである４×４画素ブロック用の量子化行列を生成し、
   前記取得した入力画像内に文字または線画で描画された領域がないと前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を持った係数値で構成される４×４画素ブロック用の量子化行列を生成する、
   請求項１に記載の画像符号化装置。
3. 前記取得した入力画像内に文字または線画で描画された領域があると前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、ＤＣ成分および前記ＤＣ成分に隣接する係数値のみ低周波成分から高周波成分にかけて傾斜を有し、それ以外の係数値はすべて同じ値である４×４画素ブロック用の量子化行列を生成し、
   前記取得した入力画像内に文字または線画で描画された領域がないと前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を持った係数値で構成される４×４画素ブロック用の量子化行列を生成する、
   請求項１に記載の画像符号化装置。
4. 前記取得した入力画像内に文字または線画で描画された領域があると前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、低周波数領域から高周波数領域にかけて傾斜を有する４×４画素ブロック用の量子化行列（以下、第１量子化行列と称す）を生成し、
   前記取得した入力画像内に文字または線画で描画された領域がないと前記文字領域有無判定部が判定した場合、前記量子化行列生成部は、前記第１量子化行列が有する低周波数領域から高周波数領域までに傾斜よりも急な傾斜を持った４×４画素ブロック用の量子化行列を生成する、
   請求項１に記載の画像符号化装置。
5. 入力画像を量子化処理が含まれた所定の符号化規格にて符号化し、符号列を生成する画像符号化方法であって、
   入力画像を取得し、
   前記取得した入力画像を、予め設定される複数のブロックサイズのうちいずれかのブロックサイズで構成される画素群毎に出力し、
   前記取得した入力画像内に文字または線画で描画された領域があるか否かを判定し、
   前記出力される画素群に対する予測画像を生成し、
   前記生成した予測画像と前記出力される画素群との差分値を残差画像として出力し、
   （１）前記差分画像を直交変換し残差係数を生成して出力する第１動作と、（２）前記差分画像を直交変換せずに差分画像をそのまま出力する第２動作と、を選択的に切り替えて実行し、
   前記第１動作および第２動作の結果である出力結果を量子化する際に利用する量子化行列を、直交変換処理の有無に関係なく共通して設定し、
   前記設定した量子化行列を用いて前記出力結果を量子化し、
   前記設定した量子化行列を符号列のヘッダ領域に記述して符号列を生成し、
   前記生成する量子化行列のうち、４×４画素ブロック用の量子化に利用する量子化行列は、前記文字領域の判定結果に基づいてその係数値が変化し、４×４画素ブロック用以外の量子化に利用する量子化行列は、前記文字領域の判定結果に依存せず共通の係数値が設定される、
   画像符号化方法。