JP2005039542A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】 画像データの圧縮時に、専用の圧縮伸張アルゴリズムを使用しなくても画質を維持しつつ圧縮率を向上できるようにする。
【解決手段】 原画像データＳ０により表される原画像Ｓ０上の横方向のラインについて、修正部４において例えば１ライン毎に全画素値を一定値に修正して修正済み画像データＳ２を得、これを圧縮部５において圧縮する。この際、画像Ｓ０の明度および彩度を特徴量として抽出し、修正部４が修正する一定値に応じて明度および彩度を補正することにより原画像Ｓ０の画質を変更して画質変更画像データＳ１を得る。そして、画質変更画像データＳ１を修正部４において修正することにより、修正済み画像データＳ２を得る。
【選択図】 図１

Description

本発明は、とくに画像データを圧縮する際に圧縮率を向上させることが可能な画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

画像データは容量が大きいため圧縮することにより容量を小さくして取り扱いを容易にしている。とくにパソコン等を用いて作成された比較的大きいサイズの画像を携帯電話機等の携帯端末装置のモニタに表示するためには、画像のサイズを変換するとともに圧縮率を大きくしてデータ容量を非常に小さくしている。しかしながら、圧縮率を大きくすると容量は小さくなるものの画質が劣化してしまう。

このため、従来より圧縮率を向上させつつも画質の劣化を抑える様々な手法が提案されている。例えば、画像データにローパスフィルタによるフィルタリング処理を施して高周波成分を除去した後に圧縮することにより、画質をそれほど落とすことなく圧縮率を向上させる方法（特許文献１参照）、画像データを解析して画像の統計的性質情報を求め、この情報に基づいて画質への影響が少ない信号成分を減らすためのフィルタを求め、このフィルタにより画像データをフィルタリング処理して圧縮時の画質劣化を防止する方法（特許文献２参照）等が提案されている。また、インタレース方式の動画像に対して１ライン間隔で１つのフレームを構成する２つのフィールドのそれぞれについて、ライン間にはデータが存在しないということを前提とした圧縮アルゴリズムにより圧縮率を向上させる方法が知られている（特許文献３参照）。

ところで、上記特許文献１，２に記載された方法は、圧縮された画像データを伸張する際に、伸張された画像データに対して、元の画像の画質に戻すための後処理を施す必要がある。このため、例えば携帯電話機等のように圧縮された画像データを表示する表示装置は、上記後処理を行うための専用の圧縮伸張アルゴリズムを備えている必要がある。したがって、すでに普及している既存の表示装置において特許文献１，２の方法により圧縮された画像データを表示するためには、既存の圧縮伸張アルゴリズムを専用の圧縮伸張アルゴリズムに載せ替えなければならない。

しかしながら、すでに普及している表示装置において圧縮伸張アルゴリズムを載せ替えることは現実的ではなく、また圧縮伸張アルゴリズムを載せ替えることができない場合も多いため、特許文献１，２の方法により圧縮された画像データを高画質に伸張することができないのが現状である。また、上記特許文献３の方法はインタレース方式の画像データに対応した伸張アルゴリズムを搭載した表示装置においては表示することができるが、インタレース方式に対応していない表示装置においては表示することができない。

このため、専用の圧縮伸張アルゴリズムがなくても圧縮率を向上できるように、本出願人により、画像上の横方向のラインについて例えば１ライン毎に全画素値を一定値に修正する方法が提案されている（特許文献４参照）。この方法によれば、修正したラインの情報は失われるが、所定数毎のラインの全画素値が一定値とされているため、圧縮率は向上されることとなる。
特開平１０−２５７４８４号公報 特開２００２−２０９２０９号公報 特開平８−３１７３８６号公報 特願２００３−１３７１７０号

しかしながら、上記特許文献４に記載された方法においては、例えば一定値を黒色とした場合には、修正後の画像データにより表される画像は、修正前の画像データにより表される画像と比較して色味や明るさが低減されてしまう。逆に一定値を白色とした場合には、修正前後で色味が低減し明るさが強調されてしまう。このため、上記特許文献４に記載された方法によっては、修正前の画像と比較して画質が変更されてしまうこととなる。

本発明は上記事情に鑑みなされたものであり、専用の圧縮伸張アルゴリズムがなくても画質を維持しつつ圧縮率を向上できるようにすることを目的とする。

本発明による画像処理装置は、２次元状に画素が配列された原画像を表す原画像データの入力を受け付ける入力受け付け手段と、
所定の圧縮アルゴリズムにより前記原画像データを圧縮した際に圧縮率が向上するように、前記原画像の所定数毎のラインの全画素値を一定値に修正する修正手段とを備えた画像処理装置であって、
前記修正手段により修正される前の前記原画像データに対して、前記一定値に応じて該原画像の画質を変更する処理を施す画質変更手段をさらに備えたことを特徴とするものである。

「所定の圧縮アルゴリズム」とは、原画像データに対して特殊なフィルタリング処理等の前処理を施すことなく、原画像データにより表される原画像における縦横いずれか一方向のラインにおける冗長性を考慮して圧縮処理を行うアルゴリズムであり、汎用のパソコン、携帯端末装置等の画像を表示する装置において取り扱うことが可能なファイルフォーマットの画像データを生成するアルゴリズムをいう。具体的なファイルフォーマットとしては、ｇｉｆ、ｐｎｇ等が挙げられる。

「一定値」としては、全画素値の最大値、最小値、全画素の平均輝度、平均輝度よりも低い値等を用いることができる。

「所定数毎」は、１ライン毎、２ライン毎のように任意のライン毎であることを意味する。なお、圧縮率を向上できるラインの位置を考慮して一定値に修正するラインの間隔を決めてもよい。

なお、前記一定値は、前記画像の全画素値の代表値であってもよい。

代表値とは、平均値、中間値、中央部分を重み付けした平均値等を用いることができる。

「一定値に応じて画質を変更する」とは、画質が変更された原画像を修正手段により修正することにより得られる修正済み画像と原画像の画質とがほぼ同一となるように原画像の画質を変更することをいう。

なお、本発明による画像処理装置においては、前記画質変更手段を、前記原画像の明度および／または彩度を変更することにより前記原画像の画質を変更する処理を施す手段としてもよい。

また、本発明による画像処理装置においては、前記原画像データを修正手段により修正することにより得られる修正済み画像データにより表される修正済み画像と前記原画像とを比較することにより、前記画質を変更するためのパラメータを決定するパラメータ決定手段を備えるものとし、
前記修正手段を、該パラメータ決定手段により決定されたパラメータにより、前記画質を変更する処理を施す手段としてもよい。

また、本発明による画像処理装置においては、前記修正手段により得られた修正済みの画像データを前記所定の圧縮アルゴリズムにより圧縮する圧縮手段をさらに備えるものとしてもよい。

本発明による画像処理方法は、２次元状に画素が配列された原画像を表す原画像データの入力を受け付け、
所定の圧縮アルゴリズムにより前記原画像データを圧縮した際に圧縮率が向上するように、前記原画像の所定数毎のラインの全画素値を一定値に修正する画像処理方法であって、
前記修正される前の前記原画像データに対して、前記一定値に応じて該原画像の画質を変更する処理を施すことを特徴とするものである。

なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、所定の圧縮アルゴリズムにより原画像データを圧縮した際に圧縮率が向上するように、原画像の所定数毎のラインの全画素値を一定値に修正するようにしたため、画素値が変更されたラインについては圧縮率を向上できる。また、特殊な伸張アルゴリズムを用いなくても圧縮された原画像データを伸張することができる。なお、所定数毎のラインの全画素値を一定値に修正した場合、そのラインの情報は失われて修正の前後で画質が変更されてしまうが、一定値に応じて原画像データにより表される原画像の画質を変更する処理を修正前の原画像データに対して施しているため、修正済み画像データにより表される修正済み画像の画質が変更されることを防止することができる。したがって、画質の変更を防止しつつ圧縮率を向上できる。

また、原画像の明度および／または彩度を変更することにより原画像の画質を変更するようにすれば、修正済み画像データにより表される修正済み画像の明度および／または彩度の変更を防止することができる。

また、画質を変更するためのパラメータを、原画像データを修正して得られる修正済み画像データにより表される修正済み画像と原画像とを比較して決定することにより、修正の前後で画質の変化がなくなるようにパラメータを決定できるため、画質の変更を確実に防止することができる。

以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を備えた画像圧縮システムの構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による画像圧縮システム１は、デジタルカメラ、ネットワーク上のデータベース、ハードディスク、各種メディア等から画像データＳ０を読み出すことにより原画像データＳ０の入力を受け付ける入力部２と、原画像データＳ０により表される原画像（以下原画像についても同様の符号Ｓ０を用いる）の画質を変更して画質が変更された画質変更画像データＳ１を得る画質変更部３と、画質変更画像データＳ１により表される画質変更画像（以下画質変更画像についても同様の符号Ｓ１を用いる）の所定数毎のラインの全画素値を一定値に修正して修正済み画像データＳ２を得る修正部４と、修正済み画像データＳ２を圧縮して圧縮画像データＳ３を得る圧縮部５とを備える。

入力部２は、原画像データＳ０を読み出す上記デジタルカメラやネットワーク上のデータベース等に対応したインターフェースからなる。

修正部４は、画質変更画像Ｓ１における横方向の各ラインの全画素値が、１ライン毎に一定値となるように修正して修正済み画像（以下修正済み画像についても参照符号Ｓ２を用いる）を表す修正済み画像データＳ２を取得する。すなわち、図２に示すように画質変更画像Ｓ１の横方向のラインを１ライン毎に一定値（斜線部）となるように修正する。

画質変更部３は、原画像Ｓ０から原画像Ｓ０の特徴量を抽出する特徴量抽出部３１と、特徴量抽出部３１が抽出した特徴量を補正する特徴量補正部３２と、補正された特徴量を逆変換して画質変更画像データＳ１を得る逆変換部３３とを備える。

特徴量抽出部３１は、下記の変換式（Ｉ）によりＲＧＢ３色の色データからなる原画像Ｓ０の各画素値を変換してＨ（色相）、Ｓ（彩度）およびＶ（明度）を特徴量として取得する。なお、ＲＧＢの色データの値が８ビットで０〜２５５の値をとる場合、２５５により除して０〜１の値となるように正規化した後にＨＳＶに変換するものとする。

（１）Ｖ＝ＭＡＸ｛Ｒ，Ｇ，Ｂ｝
（２）Ｖ＝０のとき Ｓ＝０、Ｈ＝不定
（３）（２）以外（Ｖ＝０でない）のとき
（３−１）ｖ＝ＭＩＮ｛Ｒ，Ｇ，Ｂ｝ ｖ：Ｒ，Ｇ，Ｂの最小値
（３−２）Ｓ＝（Ｖ−ｖ）／Ｖ
（３−３）Ｒ＝Ｖであれば Ｈ０＝（Ｇ−Ｂ）／（Ｖ−ｖ）
Ｇ＝Ｖであれば Ｈ０＝２＋（Ｂ−Ｒ）／（Ｖ−ｖ）
Ｂ＝Ｖであれば Ｈ０＝４＋（Ｒ−Ｇ）／（Ｖ−ｖ）
（３−４）Ｈ＝Ｈ０×６０
（３−５）Ｈ＜０であれば Ｈ＝（Ｈ０×６０）＋３６０ （Ｉ）
なお、Ｈは０〜３５９、ＳおよびＶは０〜１の値をとる。

特徴量補正部３２は、特徴量抽出部３１が抽出した彩度Ｓおよび明度Ｖを、修正部４が変更するラインの一定値に応じて補正して補正彩度Ｓ′および補正明度Ｖ′を得る。ここで、ラインの一定値が黒色のように暗い色である場合には、修正済み画像Ｓ２は原画像Ｓ０と比較して彩度および明度が低減される。逆にラインの一定値が白色のように明るい色である場合には、修正済み画像Ｓ２は原画像Ｓ０と比較して彩度が低減されるが明度が強調される。

このため、特徴量補正部３２は、ラインの一定値が黒色のように暗い色である場合には、彩度Ｓおよび明度Ｖを強調するように、彩度Ｓおよび明度Ｖのそれぞれに一定値ｋ１，ｋ２（ｋ１，ｋ２＞１）を乗算して補正彩度Ｓ′および補正明度Ｖ′を得る。すなわち、
Ｓ′＝Ｓ×ｋ１ （ＩＩ）
Ｖ′＝Ｖ×ｋ２ （ＩＩＩ）
の演算により補正彩度Ｓ′および補正明度Ｖ′を得る。

逆にラインの一定値が白色のように明るい色である場合には、彩度Ｓを強調し、明度Ｖを低減するように、彩度Ｓおよび明度Ｖのそれぞれに一定値ｋ３（＞１），ｋ４（＜１）を乗算して補正彩度Ｓ′および補正明度Ｖ′を得る。すなわち、
Ｓ′＝Ｓ×ｋ３ （ＩＶ）
Ｖ′＝Ｖ×ｋ４ （Ｖ）
の演算により補正彩度Ｓ′および補正明度Ｖ′を得る。

逆変換部３３は、色相Ｈ、補正彩度Ｓ′および補正明度Ｖ′を下記の変換式（ＶＩ）により変換してＲＧＢ３色の色データからなる画質変更画像データＳ１を得る。なお、変換式（ＶＩ）により得られるＲＧＢの色データは０〜１の値をとるため、２５５を乗算してＲＧＢの値からなる画質変更画像データＳ１を得るものとする。

（１）Ｓ＝０であればＲ＝Ｇ＝Ｂ＝Ｖ′
（２）Ｓ＝０でないとき
（２−１）Ｈ０＝Ｈ／６０
（２−２）ｆ＝Ｆｌｏｏｒ（Ｈ０） ｆ：Ｈの小数部
（２−３）ｉ＝Ｉｎｔ（Ｈ０） ｉ：Ｈの整数部
（２−４）ｐ１＝Ｖ′×（１−Ｓ′）
ｐ２＝Ｖ′×（１−Ｓ′×ｆ）
ｐ３＝Ｖ′×（１−Ｓ×（１−ｆ））
（２−５）ｉ＝０のとき：Ｒ＝Ｖ′，Ｇ＝ｐ３，Ｂ＝ｐ１
ｉ＝１のとき：Ｒ＝ｐ２，Ｇ＝Ｖ′，Ｂ＝ｐ１
ｉ＝２のとき：Ｒ＝ｐ１，Ｇ＝Ｖ′，Ｂ＝ｐ３
ｉ＝３のとき：Ｒ＝ｐ１，Ｇ＝ｐ２，Ｂ＝Ｖ′
ｉ＝４のとき：Ｒ＝ｐ３，Ｇ＝ｐ１，Ｂ＝Ｖ′
ｉ＝５のとき：Ｒ＝Ｖ′，Ｇ＝ｐ１，Ｂ＝ｐ２ （ＶＩ）
圧縮部５は、修正部４において得られた修正済み画像データＳ２を所定の圧縮アルゴリズムにより圧縮する。所定のアルゴリズムとしては、修正済み画像データＳ２に対して特殊なフィルタリング処理等の前処理を施すことなく、修正済み画像Ｓ２における横方向のラインにおける冗長性を考慮して圧縮処理を行うアルゴリズムである。ここで、画素値が修正されたラインは一定値を有するため、圧縮することにより情報量を大きく低減することができる。

次いで、第１の実施形態において行われる処理について説明する。図３は、第１の実施形態において行われる処理を示すフローチャートである。まず、入力部２が原画像データＳ０の入力を受け付けると（ステップＳ１）、画質変更部３が原画像データＳ０の画質を変更して画質変更画像データＳ１を得る（ステップＳ２）。次いで、修正部４が画質変更画像Ｓ１における横方向のラインについて、１ライン毎に一定値に修正して修正済み画像データＳ２を得る（ステップＳ３）。そして、修正済み画像データＳ２を圧縮部５が圧縮して圧縮画像データＳ３を得、（ステップＳ４）、処理を終了する。

このように、第１の実施形態においては、１ライン毎に全画素値を一定値に修正しているため、圧縮率は向上される。一方、所定数毎のラインの全画素値を一定値に修正した場合、そのラインの情報は失われて修正の前後で画質が変更されてしまうが、修正する一定値に応じて原画像Ｓ０の画質を変更する処理を修正前の原画像データＳ０に対して施しているため、修正済み画像Ｓ２の画質の変更を防止することができる。したがって、画質の変更を防止しつつ圧縮率を向上できる。

ここで、本出願人の実験により、第１の実施形態により得られる修正済み画像データＳ２を圧縮した場合のデータ容量が、修正前の原画像データＳ０を圧縮した場合のデータ容量の６０％程度となったことが確認された。

また、図４（ａ）に示すような原画像Ｓ０において、１ライン毎のラインを黒色の一定値となるように修正すると、修正済み画像Ｓ２は図４（ｂ）に示すように、彩度および明度が低減される。これに対して、第１の実施形態のように画像Ｓ０の彩度および明度を強調するように画質を変更した画質変更画像Ｓ１を修正することにより得られる修正済み画像Ｓ２は図４（ｃ）に示すものとなり、原画像Ｓ０と比較して彩度および明度の変更を防止できていることが分かる。

なお、上記第１の実施形態においては、一定値を黒または白の無彩色としているが有彩色としてもよい。この場合においても一定値に応じて原画像Ｓ０の彩度および明度を補正することにより原画像Ｓ０の画質を変更して画質変更画像Ｓ１を得るようにすればよい。

また、上記第１の実施形態においては、明度および彩度の双方を補正しているが、明度および彩度のいずれか一方のみを補正するようにしてもよい。

次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態による画像処理装置を備えた画像圧縮システム１′の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、ここでは詳細な説明は省略する。第２の実施形態においては、画像加工部７およびパラメータ決定部８を備えた点が第１の実施形態と異なる。

画像加工部７は、修正部４と同様の原画像データＳ０により表される原画像Ｓ０の所定数毎のラインの全画素を一定値に修正することにより修正済み画像データＳ４を得る。

パラメータ決定部８は、修正済み画像データＳ４により表される修正済み画像Ｓ４の明度の平均値ＶＭ４と、原画像Ｓ０の明度の平均値ＶＭ０との比Ｃ０（＝ＶＭ０／ＶＭ４）を明度Ｖを変更するためのパラメータと決定する。なお、原画像Ｓ０および修正済み画像Ｓ４の明度は上記変換式に示すように、原画像Ｓ０および修正済み画像Ｓ４のＲＧＢの最大値とすればよい。

なお、第２の実施形態においては、画質変更部３の特徴量補正部３２は、下記の式に示すように彩度Ｓおよび明度Ｖのそれぞれに一定値ｋ１（ｋ１＞１）および比Ｃ０をそれぞれ乗算して補正彩度Ｓ′および補正明度Ｖ′を得る。すなわち、
Ｓ′＝Ｓ×ｋ１ （ＶＩＩ）
Ｖ′＝Ｖ×Ｃ０ （ＶＩＩＩ）
の演算により補正彩度Ｓ′および補正明度Ｖ′を得る。

次いで、第２の実施形態において行われる処理について説明する。図６は、第２の実施形態において行われる処理を示すフローチャートである。まず、入力部２が原画像データＳ０の入力を受け付けると（ステップＳ１１）、画像加工部７が原画像Ｓ０における横方向のラインについて、１ライン毎に一定値に修正して修正済み画像データＳ４を得る（ステップＳ１２）そして、変更量決定部８が、修正済み画像データＳ４により表される修正済み画像Ｓ４の明度の平均値ＶＭ４と、原画像Ｓ０の明度の平均値ＶＭ０との比Ｃ０を算出し、これを明度Ｖを変更するためのパラメータと決定する（ステップＳ１３）。

続いて、変更量決定部８が決定したパラメータを用いて、画質変更部３が原画像Ｓ０データの画質を変更して画質変更画像データＳ１を得る（ステップＳ１４）。次いで、修正部４が画質変更画像Ｓ１における横方向のラインについて、１ライン毎に一定値に修正して修正済み画像データＳ２を得る（ステップＳ１５）。そして、修正済み画像データＳ２を圧縮部５が圧縮して圧縮画像データＳ３を得（ステップＳ１６）、処理を終了する。

このように、第２の実施形態においては、画質を変更するためのパラメータを、修正済み画像データＳ４により表される修正済み画像Ｓ４と、修正前の原画像Ｓ０とを比較して決定することにより、修正の前後で画質の変化がなくなるようにパラメータを決定できるため、画質の変更を確実に防止することができる。

なお、上記第１および第２の実施形態においては、１ライン毎に画素値を修正しているが、２ライン毎または３ライン毎のように任意のライン間隔にて画素値を修正してもよい。

また、原画像Ｓ０を解析し、圧縮率を向上できるラインを考慮することにより、例えば一定値とするラインを奇数ラインとするあるいは偶数ラインとする等のように、一定値に修正するラインの位置を決めるようにしてもよい。

また、上記第１および第２の実施形態においては、ＲＧＢの原画像データＳ０をＨＳＶ空間に変換することにより原画像Ｓ０の特徴量を抽出しているが、ＨＳＶ空間以外のＨＬＳ空間やＹＣＣ輝度色差空間に変換することにより原画像Ｓ０の特徴量を抽出してもよい。

本発明の第１の実施形態による画像処理装置を備えた画像圧縮システムの構成を示す概略ブロック図 第１の実施形態における画素値の修正を説明するための図 第１の実施形態において行われる処理を示すフローチャート 画素値の修正前後の画像の例を示す図 本発明の第２の実施形態による画像処理装置を備えた画像圧縮システムの構成を示す概略ブロック図 第２の実施形態において行われる処理を示すフローチャート

符号の説明

１，１′ 画像圧縮システム
２ 入力部
３ 画質変更部
４ 修正部
５ 圧縮部
７ 画像加工部
８ パラメータ決定部
３１ 特徴量抽出部
３２ 特徴量補正部
３３ 逆変換部

Claims (6)

1. ２次元状に画素が配列された原画像を表す原画像データの入力を受け付ける入力受け付け手段と、
   所定の圧縮アルゴリズムにより前記原画像データを圧縮した際に圧縮率が向上するように、前記原画像の所定数毎のラインの全画素値を一定値に修正する修正手段とを備えた画像処理装置であって、
   前記修正手段により修正される前の前記原画像データに対して、前記一定値に応じて該原画像の画質を変更する処理を施す画質変更手段をさらに備えたことを特徴とする画像処理装置。
2. 前記画質変更手段は、前記原画像の明度および／または彩度を変更することにより前記原画像の画質を変更する処理を施す手段であることを特徴とする請求項１記載の画像処理装置。
3. 前記原画像データを修正手段により修正することにより得られる修正済み画像データにより表される修正済み画像と前記原画像とを比較することにより、前記画質を変更するためのパラメータを決定するパラメータ決定手段を備え、
   前記修正手段は、該パラメータ決定手段により決定されたパラメータにより、前記画質を変更する処理を施す手段であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記修正手段により得られた修正済みの画像データを前記所定の圧縮アルゴリズムにより圧縮する圧縮手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. ２次元状に画素が配列された原画像を表す原画像データの入力を受け付け、
   所定の圧縮アルゴリズムにより前記原画像データを圧縮した際に圧縮率が向上するように、前記原画像の所定数毎のラインの全画素値を一定値に修正する画像処理方法であって、
   前記修正される前の前記原画像データに対して、前記一定値に応じて該原画像の画質を変更する処理を施すことを特徴とする画像処理方法。
6. ２次元状に画素が配列された原画像を表す原画像データの入力を受け付ける手順と、
   所定の圧縮アルゴリズムにより前記原画像データを圧縮した際に圧縮率が向上するように、前記原画像の所定数毎のラインの全画素値を一定値に修正する手順とを有する画像処理方法をコンピュータに実行させるためのプログラムであって、
   前記修正される前の前記原画像データに対して、前記一定値に応じて該原画像の画質を変更する処理を施す手順をさらに有することを特徴とするプログラム。

Images