JP2001292449A - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 従来の画像処理装置では、画像品質を指定し
て符号化処理を行っても画像の内容に依存して品質が変
動してしまうという問題点があったが、本発明では、画
像の内容に依存せずに指定された品質の符号化画像を生
成できる画像処理装置、画像処理方法、及び記録媒体を
提供する。 【解決手段】 符号化パラメータ推定部４３が入出力条
件と、画像品質値と、入力画像データとに基づいて符号
化パラメータを推定し、推定した符号化パラメータで符
号化部４４が入力画像データを符号化し、さらに復号し
た画像データと入力画像データとから符号化パラメータ
を逐次補正して、補正後の符号化パラメータで入力画像
データの符号化を行う画像処理装置、画像処理方法、及
び画像処理プログラムを格納した記録媒体である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像圧縮を行う画
像処理装置、画像処理方法、及び画像処理プログラムを
格納した記録媒体に係り、特に画像品質設定の改良に関
する。

【０００２】

【従来の技術】近年、コンピュータや、デジタルカメラ
の普及に伴い、デジタル関連製品での画像処理技術が注
目されている。コンピュータ上では種々の静止画像を加
工（レタッチ）するためのソフトウエアがあり、デジタ
ルカメラ内部ではＣＣＤ（光−電子変換素子）等でキャ
プチャーした画像を所定のフォーマットの画像ファイル
として格納する。さらに動画像であってもデジタルデー
タとして取り扱うことができるようになっており、動画
像データをデジタル的に格納するデジタルビデオカメラ
も数多く製造されている。

【０００３】従来、これら画像データを取り扱う製品に
おいては、電気通信網を介して、画像データの交換を行
う際の負荷や、フロッピー（登録商標）ディスクやＭＯ
（光磁気ディスク）に格納する際の事情を考慮して、所
定の方法で圧縮処理が行われている。

【０００４】このような圧縮処理には、大別して元のデ
ータを完全に再現できる形式の圧縮（損失なし圧縮）
と、元のデータの一部を削除する形式の圧縮（損失あり
圧縮）の２種類がある。一般に画像データでは、十分な
画質があれば多少の損失があっても構わない場合が多い
ため、損失あり圧縮によりデータの圧縮を行うことが多
い。そのような圧縮方式の代表的なものとして、ＪＰＥ
Ｇ（Joint PhotographicExperts Group）がある。デジ
タルカメラ等では、撮像した画像データをこのＪＰＥＧ
方式により圧縮処理し、圧縮した画像データを各種の媒
体に記録している。

【０００５】以下、ＪＰＥＧ圧縮処理を行う従来の画像
処理装置について、デジタルカメラを例として説明す
る。従来のデジタルカメラは、図１０に示すように、撮
像部１０と、画像処理部２０と、外部記憶装置３０とか
ら基本的に構成されている。また、画像処理部２０は、
ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３とから構成さ
れている。

【０００６】以下、各部を具体的に説明する。撮像部１
０は、ＣＣＤ素子（光−電気変換素子）を格子状に配列
したもので、各素子で受光した光の強度に応じた信号を
画像処理部２０に出力する。画像処理部２０のＣＰＵ２
１は、この信号に基づいて、各画素における光の三原色
（赤、緑、青）の各色ごとの強度値（ＲＧＢ値）を演算
して、ＲＡＭ２２上に画像データを展開する。また、こ
のＣＰＵ２１は、ＲＡＭ２２上に展開した画像データを
事前に設定された圧縮率でＪＰＥＧ圧縮し、外部記憶装
置３０に出力する。ＲＡＭ２２は、ＣＰＵ２１のワーク
メモリとして動作する。ＲＯＭ２３は、ＣＰＵ２１によ
って実行される処理プログラム（ＪＰＥＧ圧縮プログラ
ム等）が格納されている。外部記憶装置３０は、ＣＰＵ
２１から入力されるＪＰＥＧ圧縮された画像データをス
マートメディア（商標）等の外部記憶媒体に格納する。

【０００７】ここで、ＣＰＵ２１が行うＪＰＥＧ圧縮処
理について簡単に説明する。ＣＰＵ２１は、ＲＡＭ２２
に格納された圧縮前の画像データを８×８画素ごとのブ
ロックに分割し、各ブロックに含まれる座標（ｘ，ｙ）
（ｘ，ｙはそれぞれ０から７までの整数）における画素
のＲＧＢ値ｆ（ｘ，ｙ）ごとに離散コサイン変換（ＤＣ
Ｔ（Discrete Cosine Transform））を適用して、次の
［数１］によりＤＣＴ係数Ｓ（ｕ，ｖ）を得る。この手
続きは、画素のＲＧＢ値の変化量を周波数領域に変換す
る手続きに相当する。

【０００８】

【数１】 そしてＣＰＵ２１は、このＤＣＴ係数Ｓ（ｕ，ｖ）を次
の［数２］に示すように量子化テーブルの値Ｑ（ｕ，
ｖ）で除して、四捨五入（round）し、量子化ＤＣＴ係
数Ｓｑ（ｕ，ｖ）を得る。この手続きは、周波数ごとの
情報量を量子化により低減する圧縮処理に相当する。

【０００９】

【数２】 ここで、量子化テーブルの値Ｑは、ＪＰＥＧ標準化グル
ープの推奨値ＩＴＵ勧告Ｔ．８０の付録Ｋに記載されて
いるものが一般に用いられる。一般に写真画像では隣接
する画素のＲＧＢ値が極端に変化することが少ないため
に、高周波領域の成分が少なく、この領域の量子化を大
きくしても画質の劣化にはさほどの影響がないといわれ
る。しかし、現実には画像によって画質の劣化に影響す
る周波数成分は異なるため、この量子化テーブルの値Ｑ
は、予め想定された写真画像で、所定の品質を達成する
ことができるようにある程度調整されている。

【００１０】また、パーソナルコンピュータ上で動作す
る多くのフォトレタッチソフトウエアでは、この量子化
テーブルの値を全体的にスケーリングして画質を調整す
ることが行われている。

【００１１】

【発明が解決しようとする課題】このように、上記従来
の画像処理装置では、予め想定された画像で所定品質を
達成することができても、利用者が撮影したり加工した
りする画像での品質は保証されていない。例えば利用者
がコントラストの強い映像（高周波成分を多く含む画
像）を撮影したときには、デジタルカメラのように事前
に設定された量子化テーブル値によってＪＰＥＧ圧縮を
行うこととすれば、高周波成分の量子化が強すぎてブロ
ックノイズやモスキートノイズといった画質の劣化を生
じる。また、フォトレタッチソフトにおいても、一定の
量子化テーブルの値をスケーリングしているだけである
ので、「高品質」のオプションで画像を加工しても、画
像の内容によって、その現実の品質値は大きく異なる。
すなわち、従来の画像処理装置では、画像の内容によら
ず、一定の量子化テーブルの値を用いるので、品質が一
定しないという問題点があった。

【００１２】さらに、常に高品質を得られるように量子
化テーブルを設定すると、ＪＰＥＧ圧縮の効果が薄れて
ファイルサイズが大きくなってしまうという問題点があ
った。

【００１３】そこで、従来、画質主導型と呼ばれるＪＰ
ＥＧ符号化の方法が考えられている。この画質主導型の
ＪＰＥＧ符号化方法においては、画質を測定する量とし
て、１〜１００までの値をとるQuality Scale（ＱＳ）
を用いて、量子化テーブルの値Ｑ^＊を次の［数３］に示
すように補正する。

【００１４】

【数３】 そして、この補正後の量子化テーブル値Ｑ^＊を用いて、
［数２］に対応する次の［数４］を用いて量子化ＤＣＴ
係数を算出する。

【００１５】

【数４】 また、Quality Scaleは、人間の目に感じる画質の評価
を表す値：ＱＭ（Quality Measure）には必ずしも線形
に応答していないので、実験的にこのＱＭからＱＳを推
定する。このためには、事前に数枚の静止画像に基づい
てアンケート試験により集計し、ＱＭとＱＳとの相関関
係式を近似的に評価する。この近似式は、具体的には、
次の［数５］に示すようなものである。

【００１６】

【数５】 尚、電子情報通信学会論文誌Ｂ Vol.J83-B, No.1の１２
１ページ〜１２７ページに掲載されている堀田裕弘他著
の「白黒静止画像における画質主導型ＪＰＥＧ符号化方
式」には、このようにして利用者が指定した画質評価値
ＱＭから求めたＱＳをさらに、画像の性質を表すテクス
チャ特徴量を用いて補正し、さらに符号化特性をフィー
ドバック制御して所望の画質を達成する実用的システム
が開示されている。

【００１７】しかしながら、この論文に開示の内容によ
っても、画像の最終出力やそれを利用者が目にするとき
の状況、さらに撮影、スキャン時点の条件など入出力条
件が考慮されていないので、例えばディスプレイ画面
（約１００ｄｐｉの画像を１０〜３０ｃｍ離れてみる）
であると、ポスター印刷（約３００ｄｐｉの画像を１ｍ
以上離れてみる）であるとを問わず、同一の処理で得ら
れたＱＳ及びそれによって算出された量子化テーブルを
用いるので、入出力の条件如何によっては、意図した品
質で観察されなかったり、圧縮の効果が薄れてしまう可
能性がある。

【００１８】さらに、上記論文に開示されている方法に
よって量子化テーブルを決定したとしても、ステレオグ
ラム（立体視）用の画像圧縮や、動画像の圧縮には配慮
していないので、これらの画像の圧縮には、そのまま応
用することができない。

【００１９】本発明は上記実情に鑑みて為されたもの
で、画像の内容、種類のいかんを問わず、均質な画像品
質での画像圧縮処理を行うことができる画像処理装置、
画像処理方法及び画像処理プログラムを格納した記録媒
体を提供することを目的とする。

【００２０】

【課題を解決するための手段】上記従来例の問題点を解
決するための請求項１記載の発明は、入力画像データに
対し、符号化パラメータに基づく圧縮処理を行って圧縮
画像データを生成する画像処理装置において、前記入力
画像データの特徴量を検出する手段と、前記圧縮画像デ
ータの画像品質値と、入力又は出力の少なくとも一方の
条件に関連した入出力条件パラメータとの入力を受け
て、平均的符号化パラメータを出力する手段と、前記平
均的符号化パラメータを前記特徴量で補正し、前記符号
化パラメータを演算する手段と、を含むことを特徴とし
ている。これにより、入出力条件を考慮した画像圧縮を
行うことができる。尚、ここで画像品質値は、段階的に
設定可能とすることも好ましい。

【００２１】また、上記従来例の問題点を解決するため
の請求項２記載の発明は、請求項１記載の画像処理装置
において、さらに、圧縮画像データの現実の品質値を検
出する手段と、入力された画像品質値と、現実の品質値
との差信号が所定のしきい値を下回るまで、当該差信号
に基づいて前記符号化パラメータの補正を行う動作と、
当該補正後の符号化パラメータで入力画像データを圧縮
する動作とを繰り返し行う補正手段と、を含むことを特
徴としている。このように、フィードバック制御を行う
ことで、より適切な符号化パラメータを設定でき、利用
者の希望した品質を達成できる。

【００２２】上記従来例の問題点を解決するための請求
項３記載の発明は、請求項２記載の画像処理装置におい
て、前記入力画像データは左目用入力画像データと右目
用入力画像データとを含み、前記特徴量を検出する手段
は、前記左目用画像データ及び右目用画像データの各々
の特徴量を検出し、前記補正手段は、平均的符号化パラ
メータを前記左目用画像データ及び右目用画像データの
各特徴量で補正するとともに、圧縮後の左目用画像デー
タの現実の品質値と、圧縮後の右目用画像データの現実
の品質値との差である第１の差信号と、入力された画像
品質値と圧縮後の左目用又は右目用の画像データの少な
くとも一方の現実の品質値との第２の差信号とがそれぞ
れ所定のしきい値を下回るまで、前記第１の差信号及び
第２の差信号とに基づいて、前記左目用画像データの符
号化パラメータと、右目用画像データの符号化パラメー
タとの補正と、入力画像データの圧縮とを繰り返し行う
ことを特徴としている。

【００２３】このように、左目用画像と右目用画像との
画像品質の差を一定以下とすることで、違和感のないス
テレオ画像を提供でき、また、利用者の希望した品質を
達成することができる。

【００２４】さらに、上記従来例の問題点を解決するた
めの請求項４記載の発明は、一連の静止画像データから
なる動画像データに対し、符号化パラメータに基づいて
逐次圧縮処理し、圧縮動画像データを生成する画像処理
装置において、前記一連の静止画像データの各々の特徴
量を検出する手段と、圧縮動画像データの画像品質値の
入力を受けて、平均的符号化パラメータを出力する手段
と、前記平均的符号化パラメータを前記特徴量で補正
し、前記符号化パラメータを演算する補正手段と、を含
むことを特徴としている。

【００２５】また、上記従来例の問題点を解決するため
の請求項５記載の発明は、請求項４に記載の画像処理装
置において、さらに、先行する静止画像データの現実の
品質値を保持する手段を含み、前記補正手段は、入力さ
れた画像品質値と現実の品質値とに応じて逐次補正演算
することを特徴としている。このように、先行する画像
の現実の品質値に応じた符号化パラメータの補正を行う
ことで、動画像全体での画像品質を均質なものとするこ
とができる。

【００２６】上記従来例の問題点を解決するための請求
項６記載の発明は、入力画像データに対し、符号化パラ
メータに基づく圧縮処理を行って圧縮画像データを生成
する画像処理方法であって、前記入力画像データの特徴
量を検出する工程と、圧縮画像データの画像品質値と、
入力又は出力の少なくとも一方の条件に関連した入出力
条件パラメータとの入力を受けて、当該画像品質値と、
入出力条件パラメータと、前記特徴量とに基づいて、前
記符号化パラメータを演算する工程と、を含むことを特
徴としている。

【００２７】また、上記従来例の問題点を解決するため
の請求項７記載の発明は、一連の静止画像データからな
る動画像データに対し、前記静止画像データの各々を符
号化パラメータに基づいて圧縮処理し、圧縮動画像デー
タを生成する画像処理方法であって、前記各静止画像デ
ータの特徴量を検出する工程と、圧縮動画像データの画
像品質値と、前記特徴量とに基づいて、前記符号化パラ
メータを演算する工程と、を含むことを特徴としてい
る。

【００２８】さらに、上記従来例の問題点を解決するた
めの本発明は、コンピュータ読み取り可能な記録媒体で
あって、入力画像データに対し、符号化パラメータに基
づく圧縮処理を行って圧縮画像データを生成する画像処
理プログラムであって、前記入力画像データの特徴量を
検出するモジュールと、圧縮画像データの画像品質値
と、入力又は出力の少なくとも一方の条件に関連した入
出力条件パラメータとの入力を受けて、当該画像品質値
と、入出力条件パラメータと、前記特徴量とに基づい
て、前記符号化パラメータを演算するモジュールと、を
含む画像処理プログラムを格納したことを特徴とする。

【００２９】上記従来例の問題点を解決するための本発
明は、コンピュータ読み取り可能な記録媒体であって、
一連の静止画像データからなる動画像データに対し、前
記静止画像データの各々を符号化パラメータに基づいて
圧縮処理し、圧縮動画像データを生成する画像処理プロ
グラムであって、前記各静止画像データの特徴量を検出
するモジュールと、圧縮動画像データの画像品質値と、
前記特徴量とに基づいて、前記符号化パラメータを演算
するモジュールと、を含む画像処理プログラムを格納し
たことを特徴とする。

【００３０】上記従来例の問題点を解決するための本発
明は、入力画像データに対し、符号化パラメータに基づ
く圧縮処理を行って圧縮画像データを生成する画像処理
装置であって、前記入力画像データの特徴量を検出する
手段と、電気通信網を介して、前記圧縮画像データの画
像品質値と、入力又は出力の少なくとも一方の条件に関
連した入出力条件パラメータとを取得して、平均的符号
化パラメータを出力する手段と、前記平均的符号化パラ
メータを前記特徴量で補正し、前記符号化パラメータを
演算する手段と、前記符号化パラメータを用いて圧縮処
理された圧縮画像データを電気通信網を介して配信する
手段と、を含むことを特徴とする。

【００３１】

【発明の実施の形態】［実施形態１］本発明の第１の実
施の形態について図面を参照しながら説明する。以下、
本発明の第１の実施の形態に係る画像処理装置として、
具体的にデジタルカメラの場合を例として説明する。本
実施の形態に係る画像処理装置としてのデジタルカメラ
は、図１に示すように、撮像部１０と、画像処理部４０
と、外部記憶装置３０とから主として構成されている。
尚、従来と同様の構成をとる部分については同一の符号
を付して詳細な説明を省略する。

【００３２】本実施の形態の画像処理部４０は、図２に
示すように、入出力条件入力部４１と、画像品質値入力
部４２と、符号化パラメータ推定部４３と、符号化部４
４と、復号化部４５と、画像品質評価部４６と、符号化
パラメータ補正部４７とから基本的に構成されている。
尚、この画像処理部４０は、ＣＰＵのソフトウエア処理
として実現しておくことも好ましい。この場合には、外
部からＥＥＰＲＯＭ等の記録媒体にこの画像処理部の各
部を具現化するソフトウエアを格納してＣＰＵに処理さ
せることが好ましい。

【００３３】以下、この画像処理部４０の各部の動作に
ついて説明する。入出力条件入力部４１は、撮影対象画
像の性質や、撮影方式、さらに最終出力の予定形態等の
入力を利用者から受けて、これらの条件に基づくパラメ
ータ値を符号化パラメータ推定部４３と、画像品質評価
部４６と、符号化パラメータ補正部４７とにそれぞれ出
力する。具体的に、この入出力条件入力部４１は、図３
に示すように、デイライトで撮影する場合と、フラッシ
ュで撮影する場合との区別を設定するとともに、ホーム
ページ用画像等、主としてディスプレイ上で観察される
画像として用いるか、ビデオプリンタ等で印刷して観る
ための画像として用いるかを設定する。尚、図３では、
液晶ディスプレイ等にグラフィカルなユーザインタフェ
ースを表示して、利用者からの入力を受ける公知の方法
を用いて本実施の形態の入出力条件入力部４１を具現化
した場合を図示している。この場合には、入力条件に応
じて高周波成分の反映度の強弱（デイライトでは反映度
を弱く、フラッシュ撮影時等コントラストの明確な画像
では反映度を強くする）を表すパラメータと、最終出力
を見る際の当該画像のサイズと、当該画像とそれを見る
者との距離との関係を表すパラメータ（視点距離と称す
る）とが出力される。

【００３４】尚、この入出力条件入力部４１は、さら
に、ピントの位置（被写体までの距離）及び被写界深度
等の種々の条件を考慮してパラメータを出力することと
するのも好適である。このようなピント等の情報は、レ
ンズ設定や絞りの設定から取得することで、利用者の利
便性を向上することができる。

【００３５】画像品質値入力部４２は、利用者が望む画
像の品質値の入力を受けて、符号化パラメータ推定部４
３と、符号化パラメータ補正部４７とに出力する。この
画像品質値入力部４２にて入力する画像品質値は、広く
用いられている評価語に対応する５段階評価によること
で実現できる。具体的にこの５段階とは、「（圧縮前の
画像に比べ圧縮後の画像では）劣化がひどくて使いもの
にならない」とする第１の段階と、「劣化が邪魔にな
る」と感じられる第２の段階と、「劣化が気になるが邪
魔にならない」と感じられる第３の段階と、「劣化が分
かるが気にならない」と感じられる第４の段階と、「劣
化が全く気にならない」と感じられる第５の段階とであ
る。一般にこの評価尺度の「５」段階目と「４」段階目
の中間である４．５程度がいわゆる検知限と呼ばれ、劣
化が検知されるかされないかの限界値に相当する。ま
た、３．５程度は許容限と呼ばれ、多くの利用者が使い
ものになる画像として認識する限界値に相当する。さら
に、２．５程度の値は、いわゆる我慢限と呼ばれ、これ
以上劣化すると、見るに耐えないと一般の利用者が判断
する限界の値に相当する。すなわち、画像品質値入力部
４２では、これらの検知限、許容限、我慢限の値のいず
れかを利用者が選択できるようにしておくことが好まし
い。

【００３６】尚、実際のインタフェースとしては、例え
ば図４に示すように、液晶ディスプレイ等にグラフィカ
ルなインタフェースを表示し、利用者がスライダを左右
に動かして所望の画像品質値を入力するようにしてお
く。また、スライダの所定の点には、図示したように、
例えば「低品質」、「標準」、「高品質」等、それぞれ
我慢限、許容限、検知限に対応したラベルを付しておけ
ば、利便性を向上できる。また、図示したように「非圧
縮」時の設定も可能としておくのが好ましい。

【００３７】符号化パラメータ推定部４３は、入出力条
件入力部４１と、画像品質値入力部４２とからそれぞれ
入出力条件に対応するパラメータ値と、画像品質値との
入力を受けて、また、撮像部１０から入力画像データの
入力を受けて、適切な符号化パラメータを推定する。

【００３８】ここで、符号化パラメータ推定部４３の具
体的内容について、図５を参照しつつ説明する。符号化
パラメータ推定部４３は、平均的符号化パラメータ算出
部５０と、テクスチャ特徴量算出部５１と、符号化パラ
メータ算出部５２とから構成されている。この平均的符
号化パラメータ算出部５０が本発明の平均的符号化パラ
メータを出力する手段に対応し、テクスチャ特徴量算出
部５１が本発明の入力画像データの特徴量を検出する手
段に相当し、符号化パラメータ算出部５２が本発明の符
号化パラメータを演算する手段に相当している。

【００３９】平均的符号化パラメータ算出部５０は、画
質評価値と、入出力パラメータ値との入力を受けて、ま
ず、画像品質値に基づいて［数５］により、基本符号化
パラメータを算出する。さらに、この平均的符号化パラ
メータ算出部５０は、この基本符号化パラメータを入出
力パラメータに基づいてスケーリングする。このスケー
リングの度合いは、人間の目で見た実際の画質に合わせ
るために実験的に設定する。具体的に、視点距離と、
［数５］を検定した実験の際に用いた視点距離（通常の
２１インチモニタスクリーンの縦方向画像サイズの４倍
（尚、視角に関連づけるため、画像のサイズに対する比
によって視点距離を設定している））を基準視点距離と
したときの差によって、視点距離が基準視点距離よりも
長いときには基本符号化パラメータを低くスケーリング
し、視点距離が基準視点距離よりも短いときには基本符
号化パラメータを高くスケーリングして、このスケーリ
ング後の基本符号化パラメータを平均的符号化パラメー
タとして符号化パラメータ算出部５２に出力する。

【００４０】テクスチャ特徴量算出部５１は、入力画像
データのテクスチャ特徴量を算出して、画像の特徴量と
して符号化パラメータ算出部５２に出力する。符号化パ
ラメータ算出部５２は、平均的符号化パラメータをテク
スチャ特徴量で補正して符号化パラメータＱＳを出力す
る。例えば、テクスチャ特徴量としての自己相関性が大
きいとき（地模様として周期的に現れる部分が多いと
き）には、平坦部分が多い画像に比べて劣化が目立ちに
くいことが知られているので、テクスチャ特徴量が大き
いときには、平均的符号化パラメータを低くスケーリン
グする。そして、この符号化パラメータＱＳは、このよ
うに補正した平均的符号化パラメータを符号化パラメー
タＱＳとして符号化部４４に出力する。

【００４１】さらに、ここでは、テクスチャ特徴量のみ
を使って説明したが、画像の特徴量としては、最高輝度
と最低輝度との差（コントラストが強いほど平均的符号
化パラメータを小さくスケーリングする）や平均輝度、
色味等により、各特徴量に応じた平均的符号化パラメー
タのスケーリングを行うこととするのが好ましい。

【００４２】符号化部４４は、符号化パラメータ推定部
４３から入力される符号化パラメータとしてのＱＳ値に
より、入力画像データのＪＰＥＧ符号化を行い、ＪＰＥ
Ｇ圧縮した画像データを出力する。また、この符号化部
４４は、符号化パラメータ補正部４７から補正後の符号
化パラメータの入力を受けて、さらにこの符号化パラメ
ータによって入力画像データのＪＰＥＧ符号化を行い、
ＪＰＥＧ圧縮した画像データを出力する。復号化部４５
は、符号化部４４にてＪＰＥＧ圧縮された画像データを
復号化し、この復号画像データを画像品質評価部４６に
出力する。

【００４３】画像品質評価部４６は、入力画像データと
復号画像データとの差の信号（差信号）を演算し、入出
力条件入力部４１から入力される入出力条件のパラメー
タ値に応じて、当該復号画像データの劣化度を評価す
る。この画像品質評価部４６は、具体的には、図６に示
すように、輪郭検出部６１と、重み付け誤差算出部６２
と、テクスチャ特徴量算出部６３と、誤差特徴量算出部
６４と、評価値算出部６５とから構成されている。この
画像品質評価部４６が、本発明の現実の品質値を検出す
る手段に相当する。

【００４４】ここで、輪郭検出部６１は、入力画像デー
タから輪郭を検出し、輪郭画像データを出力する。輪郭
の検出については、隣接する画素の輝度の微分値が所定
のしきい値を越える部分を検出するような一般的な方法
で実現できる。重み付け誤差算出部６２は、入力画像デ
ータと復号画像データとの差信号を演算し、さらに、入
出力条件のパラメータに応じてこの差信号をスケーリン
グする。具体的には、視点距離と事前に設定されている
基準となる視点距離（基準視点距離）との差に基づい
て、基準視点距離よりも視点距離が長ければ差信号を小
さくスケーリングし、基準視点距離よりも視点距離が短
ければ差信号を大きくスケーリングし、誤差信号として
出力する。テクスチャ特徴量算出部６３は、すでに説明
した符号化パラメータ推定部４３のテクスチャ特徴量算
出部５１と同様にして、復号画像データに基づいてテク
スチャ特徴量を算出する。

【００４５】誤差特徴量算出部６４は、輪郭画像データ
と、誤差信号との入力を受けて、符号化した画像データ
の誤差特徴量を算出する。本実施の形態において特徴的
なことは、この誤差特徴量算出部６４が、輪郭画像デー
タを用いて、誤差信号を補正していることである。すな
わち、輪郭部分では符号化時の量子化の効果によってい
わゆるモスキートノイズが発生しやすいため、輪郭部分
の周囲の誤差信号を抑制して評価することとして画面全
体に平均化した誤差特徴量を算出できる。また、輪郭部
分の周囲の誤差信号を強めて評価すれば、誤差特徴量が
厳しく評価されることになる。

【００４６】評価値算出部６５は、誤差特徴量と、テク
スチャ特徴量との入力を受けて、誤差特徴量をテクスチ
ャ特徴量で補正して評価値を算出し、出力する。具体的
にテクスチャ特徴量により相関量が大きいと判断される
場合には、評価値を低めにスケーリングする。すなわ
ち、この評価値は、元の画像との差、すなわち画質品質
に相当している。

【００４７】符号化パラメータ補正部４７は、符号化パ
ラメータ推定部４３が出力する符号化パラメータを初期
値として、入力された画像品質値に基づいて、求められ
ている画像の品質が得られるまで繰り返し符号化パラメ
ータを補正する。具体的に符号化パラメータ補正部４７
は、図７に示すように画像品質誤差算出部７１と、符号
化パラメータメモリ７２と、補正パラメータ算出部７３
とから構成されている。この符号化パラメータ補正部
が、本発明の補正手段に相当する。

【００４８】ここで、画像品質誤差算出部７１は、画像
品質値と、評価値との入力を受けて、評価値で表される
画像品質（以下、評価値と略称する）よりも、画像品質
値が大きく、かつその差が所定の値を超えているときに
は、補正パラメータ算出部７３に符号化パラメータを低
めにスケーリングすべき指示を出力する。符号化パラメ
ータメモリ７２は、符号化パラメータ推定部４３から符
号化パラメータの入力を受けると、この符号化パラメー
タを格納して保持する。また、この符号化パラメータメ
モリ７２は、補正パラメータ算出部７３から入力された
補正後の符号化パラメータを格納して保持する。

【００４９】補正パラメータ算出部７３は、画像品質誤
差算出部７１から符号化パラメータを低めにスケーリン
グすべき指示の入力を受けて符号化パラメータメモリ７
２に格納されている符号化パラメータを小さめにスケー
リングし、このスケーリング後の符号化パラメータを符
号化パラメータメモリ７２に格納して保持させるととも
に、符号化部４４に出力する。

【００５０】尚、画像品質誤差算出部７１は、画像品質
値と評価値との差が所定の値以下であるときには、符号
化パラメータメモリ７２に格納されている符号化パラメ
ータを符号化部４４に出力し、符号化部４４が出力する
符号化後の画像データを外部記憶装置３０に出力させ
る。

【００５１】さらに、この画像品質誤差算出部７１は、
評価値よりも画像品質値が小さく、かつその差が所定の
値を超えていれば、補正パラメータ算出部７３に符号化
パラメータを大きめにスケーリングすべき指示を出力す
ることとしてもよい。この場合には、利用者が指定した
画質の条件を満たす適切な圧縮率とすることができ、圧
縮効率を高めることができる。

【００５２】次に本実施の形態に係る画像処理装置とし
てのデジタルカメラの動作について説明する。利用者
は、撮影の前に入力条件としての撮影条件の情報と、出
力条件としての撮影後の画像データの取り扱いの情報と
を図３に示すインタフェースにより入力する。具体的に
ここでは、デイライトで人物等を撮影して、プリンタに
出力する場合を想定して説明する。利用者はさらに、事
前に必要な画像品質を図４に示すスライダを調整して設
定する。このスライダの設定においては、品質値のほ
か、外部記憶装置３０に挿入されている外部記憶素子の
残り記憶容量から、あと何枚程度保存できるかを表す情
報とすることも好ましい。この場合には、残り容量情報
と、圧縮率の平均的な情報とから残り枚数を算出する。
以下の説明では、利用者が「高品質」（検知限であり、
ＱＭ＝４．５）を選択したとして説明する。また、［数
５］の関係式の検定に用いられた画像データがデイライ
トで撮影されたものであるとする。

【００５３】すると、入出力条件入力部４１がデイライ
ト撮影で、プリンタ出力（画像サイズが高々１５ｃｍ程
度で、１５ｃｍ程度の距離から眺めるため、視点距離は
「１」）であることを表す入出力パラメータ値を出力
し、画像品質値入力部４２が、検知限としてのＱＭ値
（４．５）を出力する。そして、符号化パラメータ推定
部４３がＱＭ値に基づいて［数５］から基本符号化パラ
メータを得、入出力条件が［数５］の関係式の検定に用
いた画像データと同様にデイライト撮影されているの
で、この基本符号化パラメータを平均的符号化パラメー
タとし、入力画像のテクスチャ特徴量に基づいて、この
平均的符号化パラメータを補正して、符号化パラメータ
の初期値ＱＳ0として出力する。

【００５４】ここで利用者がシャッターボタンを押下し
て、撮像部１０がレンズを通して撮影された風景写真を
デジタルの入力画像データとして画像処理部４０に出力
する。すると、画像処理部４０の符号化部４４に入力画
像データが入力され、符号化部４４が符号化パラメータ
推定部４３から入力される符号化パラメータＱＳ0で画
像データを符号化して出力する。

【００５５】この符号化された画像データは、復号化部
４５で復号画像データに復号化され、画像品質評価部４
６により、入力画像データとの差に基づく評価値が算出
される。そして、符号化パラメータ補正部４７が、符号
化パラメータＱＳ0を初期値として、評価値と画像品質
値とに応じて符号化パラメータＱＳ0を補正し、補正後
の符号化パラメータＱＳ1を出力する。そして、符号化
部４４がこの符号化パラメータＱＳ1で入力画像データ
を符号化して出力する。以下、この符号化と符号化パラ
メータとの補正を繰り返し行い、やがて評価値と画像品
質値との差が所定の値より小さくなれば、そのときの符
号化パラメータによって符号化された画像データが外部
記憶装置３０に出力され、外部記憶装置３０が、この符
号化された画像データを挿入された外部記憶素子に格納
する。

【００５６】このように本実施形態の画像処理装置とし
てのデジタルカメラであれば、画像の内容に拘わらず、
利用者が求める品質を達成できる圧縮符号化が行われる
ので、圧縮の効果を高めつつ、画像の内容によらずに所
定の品質の画像データを生成できる。

【００５７】［実施形態２］本発明の第２の実施の形態
に係る画像処理装置について、図８を参照しつつ説明す
る。本実施の形態に係る画像処理装置は、立体視用の画
像データを生成するもので、具体的には、図８に示すよ
うに、左目用の画像を撮影する第１の撮像部１０ａと、
右目用の画像を撮影する第２の撮像部１０ｂと、画像処
理部８０と、外部記憶装置３０とから構成されている。
また、画像処理部８０は、入出力条件入力部４１と、画
像品質値入力部４２と、符号化パラメータ推定部４３
と、第１の符号化部４４ａと、第２の符号化部４４ｂ
と、第１の復号化部４５ａと、第２の復号化部４５ｂ
と、第１の画像品質評価部４６ａと、第２の画像品質評
価部４６ｂと、第１の符号化パラメータ補正部８１ａ
と、第２の符号化パラメータ補正部８１ｂとから構成さ
れている。尚、第１の実施の形態と同様の構成をとるも
のについては同じ符号を付して詳細な説明を省略する。
ここで第１の符号化パラメータ補正部８１ａ及び第２の
符号化パラメータ補正部８１ｂとが、本発明の補正手段
に相当する。

【００５８】符号化パラメータ推定部４３は、左目用の
入力画像データ又は右目用の入力画像データのいずれか
に基づいて符号化パラメータを推定して出力する。第１
の符号化部４４ａは、第１の撮像部１０ａで撮影された
左目用の入力画像データを符号化パラメータによって符
号化して出力する。第２の符号化部４４ｂは、第２の撮
像部１０ｂで撮影された右目用の入力画像データを符号
化パラメータによって符号化して出力する。第１の復号
化部４５ａは、第１の符号化部４４ａで符号化された画
像データを復号化して、第１の復号画像データとして出
力する。第２の復号化部４５ｂは、第２の符号化部４４
ｂで符号化された画像データを復号化して、第２の復号
画像データとして出力する。第１の画像品質評価部４６
ａは、第１の復号画像データに基づく第１の評価値を出
力する。第２の画像品質評価部４６ｂは、第２の復号画
像データに基づく第２の評価値を出力する。

【００５９】第１の符号化パラメータ補正部８１ａは、
第１の評価値と、第２の評価値と、画像品質値との入力
を受けて、これらに基づいて符号化パラメータ推定部４
３が出力する符号化パラメータを逐次補正し、補正後の
符号化パラメータを第１の符号化部４４ａに出力する処
理を繰り返し行う。また、この第１の符号化パラメータ
補正部８１ａは、第１の評価値と第２の評価値との差が
事前に設定された値よりも小さくなり、かつ、第１の評
価値と画像品質値との差が事前に設定されたもう一つの
値よりも小さくなったときには、その時点での符号化パ
ラメータによって符号化した画像データを外部記憶装置
３０に出力するよう制御する。

【００６０】また、第２の符号化パラメータ補正部８１
ｂは、第２の評価値と、画像品質値との入力を受けて、
これらに基づいて符号化パラメータを逐次補正し、補正
後の符号化パラメータを第２の符号化部４４ｂに出力す
る処理を繰り返し行う。

【００６１】このようにすることで、第１の符号化部４
４ａが符号化した左目用の符号化画像データと、第２の
符号化部４４ｂが符号化した右目用の符号化画像データ
との画像品質の差が小さくなるように制御することで、
立体視の際に違和感のない画像データを生成でき、かつ
画像の内容に拘わらず、利用者が求める品質を達成でき
るＪＰＥＧ圧縮符号化が行われるので、圧縮の効果を高
めつつ、画像の内容によらずに所定の品質の画像データ
を生成できる。

【００６２】さらに、ここでは、第１の符号化パラメー
タ補正部８１ａが第２の符号化パラメータ補正部８１ｂ
の出力する符号化パラメータにすりあわせることとして
いるが、その逆としてもよい。具体的に上記の第２の符
号化パラメータ補正部８１ｂのように主導的な役割を持
つ符号化パラメータ補正部は、利用者の利き目に対応す
るものとするのが好適である。

【００６３】［実施の形態３］次に、本発明の第３の実
施の形態に係る画像処理装置について図面を参照しつつ
説明する。本実施の形態の画像処理装置は、動画像を処
理して、動画像の内容によらず、利用者が望む品質の画
像を生成するもので、具体的には、図９に示すように、
撮像部１０と、画像処理部９０と、外部記憶装置３０と
から基本的に構成されており、画像処理部９０は、入出
力条件入力部４１と、画像品質値入力部４２と、符号化
パラメータ推定部４３と、符号化部４４と、復号化部４
５と、画像品質評価部４６と、符号化パラメータ補正部
９１と、画像品質記憶部９２とから構成されている。
尚、第１の実施の形態のものと同様の構成をとる部分に
ついては、同じ符号を付して詳細な説明を省略する。こ
こで、画像品質記憶部９２が現実の品質値を保持する手
段に相当する。

【００６４】本実施の形態の画像処理装置は、第１の実
施の形態のものと同様の動作によって、動画像をなす一
連の静止画像の各々を符号化処理するものであるが、各
々直前の静止画像の画像品質を記憶し、この記憶した画
像品質と現在の静止画像の画像品質との差が所定の値以
下となるまで符号化パラメータの補正を行う点が異な
る。

【００６５】すなわち、符号化パラメータ補正部９１
は、動画をなす１枚目の静止画像に対しては、評価値
と、画像品質値との比較により、符号化パラメータ推定
部４３が推定した符号化パラメータを逐次補正した符号
化パラメータを用い、以降は、直前の評価値を画像品質
記憶部９２に格納して、この直前の静止画像に対する評
価値（過去評価値）と、現在の静止画に対する評価値
（現在評価値）との比較により、符号化パラメータを逐
次補正する。尚、このときに、過去評価値から見て画像
品質値との差の符号及び値に応じて、現在評価値を設定
することが好ましい。すなわち、現在評価値を過去評価
値と画像品質値との間になるまで逐次補正することとす
ることで、動画像を再生しつつ、所望の画像品質に設定
することができる。また、本実施の形態の画像処理装置
によれば、画像の品質が再生中に不連続にならないよう
に制御しているので、違和感のない動画像を生成でき
る。また、この動画像の各コマの静止画像の品質を画像
の内容によらず一定のものとすることができる。

【００６６】尚、本発明の第１から第３の実施の形態に
係る画像処理装置は、例えば米国Ａｄｏｂｅ社のｐｈｏ
ｔｏｓｈｏｐ（商標）に対する画像データ書き出し用の
プラグインとして実現することも可能である。

【００６７】さらに、ここまでの説明では、符号化とし
てＪＰＥＧ符号化について説明したが、符号化パラメー
タが品質に関連する符号化の方式であれば、本発明は、
ＪＰＥＧ２０００やＭＰＥＧ、さらにＰＮＧ形式等その
ほかのものにも適用できる。

【００６８】また、ここまでの説明では、画像処理装置
が利用者から画質評価値（ＱＭ）の入力を受けて圧縮処
理を行う場合について説明したが、この画像処理装置が
さらに、画像データを格納する格納部と、通信処理部と
を含み、ネットワーク等の電気通信網を介して受信した
ＱＭ及び、画像データを特定する情報に応じて、当該特
定された画像データのテクスチャ特徴量等の特徴量と、
ＱＭとに応じて当該画像データを圧縮処理して、画像デ
ータの要求元に対して圧縮後の画像データを提供するこ
ととするのも好ましい。すなわち、これによれば、Ｗｅ
ｂ等のページ上で公開されている画像データを取得する
際に、画質評価値を本発明の第１から第３の実施の形態
に係る画像処理装置側に送信し、画像処理装置側で当該
画質評価値に対応する品質の画像データを圧縮生成して
配信する。これにより、本発明の第１から第３の実施の
形態に係る画像処理装置を画像データベースやネットワ
ークを介した動画像放送等に適用して、その利便性を向
上できる。

【００６９】

【発明の効果】本発明によれば、画像の内容に依存せず
に指定された品質の画像を生成でき、かつ圧縮の効果を
高めることができる。

【００７０】また、左目用画像と右目用画像との品質の
差が所定の値以下になるまで繰り返し処理を行う本発明
によれば、さらに、違和感のない立体視画像を生成でき
る。

【００７１】さらに、一連の静止画像からなる動画像に
ついて、先行する静止画像の品質と現在の静止画像の品
質との差を所定の値以下にするよう制御する本発明によ
れば、違和感のない動画像を得ることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態に係る画像処理装
置の構成ブロック図である。

【図２】 本発明の第１の実施の形態に係る画像処理部
の構成ブロック図である。

【図３】 入出力条件入力部のインタフェースの一例を
表す説明図である。

【図４】 画像品質値入力部のインタフェースの一例を
表す説明図である。

【図５】 符号化パラメータ推定部の構成ブロック図で
ある。

【図６】 画像品質評価部の構成ブロック図である。

【図７】 符号化パラメータ補正部の構成ブロック図で
ある。

【図８】 本発明の第２の実施の形態に係る画像処理装
置の構成ブロック図である。

【図９】 本発明の第３の実施の形態に係る画像処理装
置の構成ブロック図である。

【図１０】 従来の画像処理装置の一例を表す構成ブロ
ック図である。

【符号の説明】

１０ 撮像部、２０ 画像処理部、３０ 外部記憶装
置、４０，８０，９０画像処理部、４１ 入出力条件入
力部、４２ 画像品質値入力部、４３ 符号化パラメー
タ推定部、４４ 符号化部、４５ 復号化部、４６ 画
像品質評価部、４７，８１，９１ 符号化パラメータ補
正部、５０ 平均的符号化パラメータ算出部、５１，６
３ テクスチャ特徴量算出部、５２ 符号化パラメータ
算出部、６１ 輪郭検出部、６２ 誤差算出部、６４
誤差特徴量算出部、６５ 評価値算出部、７１ 画像品
質誤差算出部、７２ 符号化パラメータメモリ、７３
補正パラメータ算出部、９２ 画像品質記憶部。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK23 LA00 MA00 MA23 PP01 SS06 SS15 SS20 SS26 SS28 5C061 AB10 5C078 AA04 BA44 BA57 CA01 9A001 HH24 HH31 HH34 JJ35 KK42

Claims (11)

【特許請求の範囲】
1. 【請求項１】 入力画像データに対し、符号化パラメー
   タに基づく圧縮処理を行って圧縮画像データを生成する
   画像処理装置において、 前記入力画像データの特徴量を検出する手段と、 前記圧縮画像データの画像品質値と、入力又は出力の少
   なくとも一方の条件に関連した入出力条件パラメータと
   の入力を受けて、平均的符号化パラメータを出力する手
   段と、 前記平均的符号化パラメータを前記特徴量で補正し、前
   記符号化パラメータを演算する手段と、 を含むことを特徴とする画像処理装置。
2. 【請求項２】 請求項１記載の画像処理装置において、
   さらに、 圧縮画像データの現実の品質値を検出する手段と、 入力された画像品質値と、現実の品質値との差信号が所
   定のしきい値を下回るまで、当該差信号に基づいて前記
   符号化パラメータの補正を行う動作と、当該補正後の符
   号化パラメータで入力画像データを圧縮する動作とを繰
   り返し行う補正手段と、 を含むことを特徴とする画像処理装置。
3. 【請求項３】 請求項２記載の画像処理装置において、 前記入力画像データは左目用入力画像データと右目用入
   力画像データとを含み、 前記特徴量を検出する手段は、前記左目用画像データ及
   び右目用画像データの各々の特徴量を検出し、 前記補正手段は、平均的符号化パラメータを前記左目用
   画像データ及び右目用画像データの各特徴量で補正する
   とともに、圧縮後の左目用画像データの現実の品質値
   と、圧縮後の右目用画像データの現実の品質値との差で
   ある第１の差信号と、入力された画像品質値と圧縮後の
   左目用又は右目用の画像データの少なくとも一方の現実
   の品質値との第２の差信号とがそれぞれ所定のしきい値
   を下回るまで、前記第１の差信号及び第２の差信号とに
   基づいて、前記左目用画像データの符号化パラメータ
   と、右目用画像データの符号化パラメータとの補正と、
   入力画像データの圧縮とを繰り返し行うことを特徴とす
   る画像処理装置。
4. 【請求項４】 一連の静止画像データからなる動画像デ
   ータに対し、符号化パラメータに基づいて逐次圧縮処理
   し、圧縮動画像データを生成する画像処理装置におい
   て、 前記一連の静止画像データの各々の特徴量を検出する手
   段と、 圧縮動画像データの画像品質値の入力を受けて、平均的
   符号化パラメータを出力する手段と、 前記平均的符号化パラメータを前記特徴量で補正し、前
   記符号化パラメータを演算する補正手段と、を含むこと
   を特徴とする画像処理装置。
5. 【請求項５】 請求項４に記載の画像処理装置におい
   て、さらに、 先行する静止画像データの現実の品質値を保持する手段
   を含み、 前記補正手段は、入力された画像品質値と現実の品質値
   とに応じて逐次補正演算することを特徴とする画像処理
   装置。
6. 【請求項６】 入力画像データに対し、符号化パラメー
   タに基づく圧縮処理を行って圧縮画像データを生成する
   画像処理方法であって、 前記入力画像データの特徴量を検出する工程と、 圧縮画像データの画像品質値と、入力又は出力の少なく
   とも一方の条件に関連した入出力条件パラメータとの入
   力を受けて、当該画像品質値と、入出力条件パラメータ
   と、前記特徴量とに基づいて、前記符号化パラメータを
   演算する工程と、を含むことを特徴とする画像処理方
   法。
7. 【請求項７】 一連の静止画像データからなる動画像デ
   ータに対し、前記静止画像データの各々を符号化パラメ
   ータに基づいて圧縮処理し、圧縮動画像データを生成す
   る画像処理方法であって、 前記各静止画像データの特徴量を検出する工程と、 圧縮動画像データの画像品質値と、前記特徴量とに基づ
   いて、前記符号化パラメータを演算する工程と、を含む
   ことを特徴とする画像処理方法。
8. 【請求項８】 入力画像データに対し、符号化パラメー
   タに基づく圧縮処理を行って圧縮画像データを生成する
   画像処理プログラムであって、 前記入力画像データの特徴量を検出するモジュールと、 圧縮画像データの画像品質値と、入力又は出力の少なく
   とも一方の条件に関連した入出力条件パラメータとの入
   力を受けて、当該画像品質値と、入出力条件パラメータ
   と、前記特徴量とに基づいて、前記符号化パラメータを
   演算するモジュールと、を含む画像処理プログラムを格
   納したことを特徴とするコンピュータ読み取り可能な記
   録媒体。
9. 【請求項９】 一連の静止画像データからなる動画像デ
   ータに対し、前記静止画像データの各々を符号化パラメ
   ータに基づいて圧縮処理し、圧縮動画像データを生成す
   る画像処理プログラムであって、 前記各静止画像データの特徴量を検出するモジュール
   と、 圧縮動画像データの画像品質値と、前記特徴量とに基づ
   いて、前記符号化パラメータを演算するモジュールと、
   を含む画像処理プログラムを格納したことを特徴とする
   コンピュータ読み取り可能な記録媒体。
10. 【請求項１０】 請求項６又は７に記載の画像処理方法
    によって得られることを特徴とする画像データ。
11. 【請求項１１】 入力画像データに対し、符号化パラメ
    ータに基づく圧縮処理を行って圧縮画像データを生成す
    る画像処理装置であって、 前記入力画像データの特徴量を検出する手段と、 電気通信網を介して、前記圧縮画像データの画像品質値
    と、入力又は出力の少なくとも一方の条件に関連した入
    出力条件パラメータとを取得して、平均的符号化パラメ
    ータを出力する手段と、 前記平均的符号化パラメータを前記特徴量で補正し、前
    記符号化パラメータを演算する手段と、 前記符号化パラメータを用いて圧縮処理された圧縮画像
    データを電気通信網を介して配信する手段と、 を含むことを特徴とする画像処理装置。