JPH11511318A - System and method for automatically processing image data to provide images with optimal perceived image quality - Google Patents

System and method for automatically processing image data to provide images with optimal perceived image quality

Info

Publication number
JPH11511318A
JPH11511318A JP10-501544A JP50154498A JPH11511318A JP H11511318 A JPH11511318 A JP H11511318A JP 50154498 A JP50154498 A JP 50154498A JP H11511318 A JPH11511318 A JP H11511318A
Authority
JP
Japan
Prior art keywords
image
image processing
information
image data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10-501544A
Other languages
Japanese (ja)
Inventor
コットレル,エフ.リチャード
オー.,ザ サード フルトグレン,ブロル
Original Assignee
ポラロイド コーポレイション
Filing date
Publication date
Application filed by ポラロイド コーポレイション filed Critical ポラロイド コーポレイション
Publication of JPH11511318A publication Critical patent/JPH11511318A/en
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 一連の選択された画像処理動作を受けている画像の知覚質を自動的に最適化する画像処理システムである。自動最適化能力によって、システムは、相互作用方法に関連する費用および時間のかかる試行錯誤方法を回避することができる。システムは、画像処理動作のセットと、アーキテクチャと、インテリジエント制御からなる。これらの要素は、生成される画像のソースのプロファイル、目的のアプリケーションのプロファイル、および画像処理動作が知覚された画質に(個別または共に)与える影響を考慮する。分析は、画質に対する人間の知覚と、画像内容の客観的な測定基準(鮮明度、不鮮明度、色合い、および色など)とを結びつける多数の関係を用いる。用いられる関係は、人間の観察者および写真画像を用いた高価な心理視覚テストに基づいている。インテリジェント制御は、テスト結果を具体化し、それによって人間の合成観察者(synthetic human observer)として機能する。リクエストされた画像処理動作において調整可能なパラメータの集合を制御すると、得られる画像に対する主観的な質が自動的に最大になる。最適なパラメータ値が決定されると、次に、システムは、画像データ自体を対応の処理動作にかけ、画像を目的のアプリケーションに提供する。処理動作のセットを最初に選択する以外は、これはすべてオペレータの介入なしに成し遂げられる。システムの機能は、コンピュータワークステーション、ならびに計算および制御が成分間で分布する離散成分の通信セットを含む種々の物理的アーキテクチャにおいて実行され得る。 (57) [Summary] An image processing system that automatically optimizes the perceptual quality of an image that has undergone a series of selected image processing operations. The automatic optimization capability allows the system to avoid costly and time-consuming trial and error methods associated with the interaction method. The system consists of a set of image processing operations, an architecture, and intelligent control. These factors take into account the profile of the source of the generated image, the profile of the intended application, and the effect (individually or together) of the image processing operations on the perceived image quality. The analysis uses a number of relationships that link human perception of image quality with objective metrics of image content (such as sharpness, blur, hue, and color). The relationships used are based on expensive psychovisual tests with human observers and photographic images. Intelligent control embodies the test results and thereby acts as a synthetic human observer. Controlling the set of adjustable parameters in the requested image processing operation automatically maximizes the subjective quality for the resulting image. Once the optimal parameter values have been determined, the system then performs the corresponding processing operations on the image data itself to provide the image to the intended application. All this is accomplished without operator intervention, except for initially selecting a set of processing actions. The functions of the system may be implemented in various physical architectures, including computer workstations, and communication sets of discrete components in which computation and control are distributed among the components.

Description

【発明の詳細な説明】 名称:画像データを自動的に処理して 最適な知覚画質を有する画像を提供する システムおよび方法 発明の分野 本発明は、一般に画像処理の分野に関する。特に、多くの様々なタイプのダウ ンストリーム利用要素によって使用されるように多くの様々なタイプの画像デー タ源によって提供され得る画像データを、オペレータによって特定される画像処 理動作に従って処理するためのアレンジメントに関する。 発明の背景 過去においては、例えば写真画像の処理には、無数の光学レンズおよび他の要 素を含む複雑で高価な光学系を使用する必要があることが多く、オペレータはこ れらにより多くの特殊効果を生成し、また合成およびその他の操作を行うことが できた。このような処理の完全性は、明らかに、光学系の質および光学系の耐用 期間にわたる保守の程度に相関する。このような光学系は明らかにアナログであ るため、例えば1つの系で行われる処理が他の系で正確に再生され得ることを保 証するのは困難であり得る。 もっと最近では、高速コンピュータおよび高速デジタル論理回路によって画像 のデジタル処理が実行可能になった。デジタル処理は多くの明瞭な利点を有する 。デジタルシステムは、一般には、高質のアナログシステムより安価であり、必 要な保守もはるかに少ない。さらに、同じデジタルシステムのいくつかの異なる 複製は、同じデータを同じ一連の操作に従って処理すると、同じ結果を正確に生 成するはずである。デジタルシステムは、従来のアナログシステムを使用して可 能であった特殊効果、合成、および他の動作が可能であるだけではなく、例えば ノイズの低減および画像の鮮明化を含む、画像の外観を最適化するための補助と なり得る多くの他の動作が可能である。適用されるこれらの画像高質化動作のう ち の特定の動作、および特定の画像高質化動作が適用される程度は、一般に、画像 を記録または「獲得」するために使用される特定の装置、および処理された画像 を例えば印刷または「描写」するために使用される特定の装置に関連し、またこ れらのおよび他の動作が適用される順序に相関し得る。しかし、それぞれが画像 を獲得および描写するために配備され得るそれ自体の獲得および描写特性セット を有する無数のタイプの装置、およびオペレータが画像に適用することを望む無 数のタイプの画像高質化および他の動作が存在することを考慮すると、描写装置 によって最適な画像が出力され得るように画像高質化動作をどの程度まで適用す べきかを演繹的に予想するのは一般に困難である。 もっと一般的に述べれば、今日では、オペレータは画像処理アプリケーション プログラムを走らせ、特定の意図(すなわち、この目的のために可能な最良の画 像を拡大しプリンタXに送る)を心に抱いて端末に向かう。オペレータは、モニ タの表示に基づいて、何が間違っているかを判断し、プルダウンメニューを介し て鮮明化などの動作を選択して画像を高質化させる。オペレータが選択する鮮明 化量は推量であり、オペレータの経験に依存して多少は効果的であり得る。これ が完了すると、対話方式によりオペレータは画像のサイズを変更して一片を切り 取ることを望むかもしれない。これを行うと、最初の動作により実現した鮮明度 はもはや有効ではなくなり、画像をもっと鮮明にする必要があると考えるかもし れない。このように画像をもっと鮮明にしているとノイズが大きな問題となり、 オペレータは何らかの方法で鮮明度を下げて妥協させようとする。画像が最終的 に良好であるように見えると、オペレータはこれをプリンタに送るが、プリンタ からは色、コントラスト、鮮明度および色合いがモニタとは全く異なる画像が印 刷される。オペレータはモニタ上の画像に戻り、これを変更して、印刷された画 像の問題点を異なる方法で補償して再度印刷を試みる。このプロセスは、オペレ ータが飽きるかまたは受け入れ可能なプリントが得られるまで繰り返される。こ のプロセスをうまく行うには経験が必要であり、非常に主観的で時間が掛かり且 つ苛立つ作業である。 発明の要旨 本発明は、多くの様々なタイプのダウンストリーム利用要素によって使用され るように、多くの様々なタイプの画像データ源によって提供される画像データを オペレータによって特定される画像処理動作に従って処理し、この処理は画像デ ータ源およびダウンストリーム利用要素によって提供される基準画像データに従 って行われる、新規のおよび改良されたアレンジメントを提供する。 簡単に要約すれば、この新規の画像処理システムは、画像データ源から画像デ ータを受け取り、オペレータによって識別されるこれに関連した一連の処理動作 を行って処理済み画像データを生成し、処理済み画像データをダウンストリーム 利用要素に提供する。画像処理システムは、画像データ処理部と特性処理部とを 含む。画像データ処理部は、入力された画像データに関連した実際の画像処理動 作を行い、この処理は処理動作パラメータ情報に関連して行われる。特性処理部 は、画像データ源およびダウンストリーム利用要素の選択された特性を定義する データ源およびダウンストリーム利用要素特性情報を受け取り、オペレータによ って選択される画像処理動作ならびにデータ源特性情報およびダウンストリーム 利用要素特性情報に応じて処理動作パラメータ情報を生成する。特性処理部は、 画像データ処理部が選択された最適の画像特性を有する処理済み画像データを生 成することが可能なように処理動作パラメータ情報を生成する。 図面の簡単な説明 本発明は、添付の請求の範囲に述べる詳細事項により示される。本発明の上記 のおよびさらに別の利点は、以下の添付図面に関連して記載される下記の説明を 参照することによってより良好に理解され得る。 図1は、本発明により構成された画像処理システムを含む画像獲得および描写 システムの図である。 図2は、図1に示した画像獲得および描写システムの一部を形成する画像処理 システムの機能ブロック図である。 図3は、図2に示した画像処理システムの1部分を構成する画像データ処理部 によって行われる一般的な動作を示すフローチャートである。 図4は、図2に示した画像処理システムの別の部分を構成する特性処理部によ って行われる一般的な動作を示すフローチャートである。 図5は、図2に示した画像処理システムの画像データ処理部の一般的な構造を 示す機能ブロック図である。 図6〜図8は、図5に示した画像処理部の各部分の詳細を示す詳細機能ブロッ ク図である。 図9は、図2に示した画像処理システムの特性処理部を示す詳細ブロック図で ある。 実施態様の詳細な説明 I.概説 心理視覚(psychovisual)試験においては、画質についての人間の主観的な意見 はカテゴリースケーリングまたは対比較などの既知の方法によって定量化される 。これらの方法により、観察者グループによって判断される画像の平均的な質を 表す数値をその画像に関連付けることができる。さらに、これらの方法により、 個々の画像を位置付ける数値スケールが確立される。これらの方法は再生可能で あること、および相互に関連することなどが証明されている。 画質は主に4つの画像パラメータ、すなわち画像鮮明度、色合い、色調描写、 および色描写によって定義される。これは、サイズ、境界、表面の光沢、シーン の内容もまた役割を果たすという点において制約的な定義であることを意味しな い。これら4つの主要な画像パラメータは、客観的な測定基準によって定量化さ れ実験室で測定され得る。例えば、画像化装置の鮮明度は、変調伝達関数、ウィ ーナースペクトルによる粒度、特性曲線による色調再生、およびL*,a*,b*色特定 化システムの△E*などの色差測定基準によって特性付けられ得る。 画質の人間による観察と相関する客観的な測定基準を選択することは最も有利 である。従って、後述するように特性付けを行う変調伝達関数鮮明度データを「 目測(eye weights)」する鮮明度測定基準を選択することができると有利である 。主観的に定義された画質と相関する多くのこのような測定基準が提案されてい る。このような測定基準の1つとして客観的な画質値または「SQV」がある。こ れについては後述する。同様に、4つの主要な画質変数のそれぞれを画質と相 関する客観的な測定基準により特性付けることができる。チェーン内に含まれる 入力装置、出力装置、および画像処理ステップの特性測定基準が与えられれば、 システム全体の客観的な測定基準を計算することができる。4つの主要な客観的 な測定基準に対するシステム測定基準の特性付けが与えられると、主観的に定義 された画質をこれら客観的な測定基準に関連させる予め定義された相関関係に基 づいて、このような画像に対して予想される画質を計算することができる。上記 に定義したシステムは、パラメータにより制御される画像処理ステップを含むた め、最適なパラメータセットを見つけ出すことが可能である。 図1は、本発明に従って構成される画像処理システム10(図2に示す)の1つ の実施態様を含む画像獲得および描写システム2の図である。図1を参照して、 1つの実施態様における画像獲得および描写システム2は、コンピュータ3と、 画像を獲得しこれをデジタル画像データに変換する、カメラ4Aおよび文書または 頁スキャナー4B(一般に参照番号4で示す)によって表される1つ以上の画像獲 得装置と、出力画像を生成する、プリンタ5Aおよびビデオ出力5B(一般に参照番 号5で示す)によって表される1つ以上の画像描写装置とを含む。コンピュータ 3は、1つの実施態様では、画像処理システム10を含む汎用プログラム格納デジ タルコンピュータであり、デジタル画像データを受け取り、例えば画像描写装置 による描写のために、図2〜図9に関連して後述するようにこれを処理する。 従来のように、コンピュータ3は、プロセッサモジュール6と、キーボード7A および/またはマウス7B(一般に参照番号7で示す)などのオペレータ入力構成 要素およびビデオ表示装置8などのオペレータ出力構成要素を含むオペレータイ ンタフェース要素とを備えている。プロセッサモジュール6は、例えば、プロセ ッサ、メモリ、入力されるデジタルデータに関連して処理および格納動作を行う ディスクおよび/またはテープ格納要素などの大量格納装置(個別には図示せず )を含む。画像処理システム10として作動するときは、コンピュータ3は、一般 的には、図2〜図9に関連して後述するように、選択された画像処理動作を行っ てデジタル画像データを処理することを可能にする所定のプログラムを処理して いる。オペレータ入力要素7は、画像処理動作を制御するための情報を含む処理 のための情報をオペレータが入力するのを可能にするために配備される。ビデ オ表示装置8は、画像データの処理に関連してオペレータが行い得る所定の選択 を識別する情報などの出力情報をオペレータに表示するために配備される。コン ピュータ3は、オペレータからの入力情報を受け取るためにはキーボードおよび マウス、そして出力情報をオペレータに表示するためにはビデオ表示装置などの 特定の構成要素を含むように示されているが、コンピュータシステム3は、図1 に示した構成要素に加えてまたはこれらの代わりに様々な構成要素を含み得るこ とは理解され得る。 画像処理システム10を含むことに加えて、コンピュータ3はまた、画像をデジ タル画像データの形態で生成および編集する従来のコンピュータグラフィックス システムも備えている。コンピュータグラフィックスシステムによって生成され るデジタル画像データは、画像処理システム10に関連して処理され得る。さらに 、画像処理システム10によって生成される処理済みデジタル画像データは、編集 のためにコンピュータグラフィックスシステムに提供され得る。コンピュータグ ラフィックスシステムに関連して、コンピュータ3は、オペレータがオペレータ 入力構成要素7を用いて画像の生成を制御することを可能にする所定のコンピュ ータグラフィックスプログラムを処理し得る。典型的には、コンピュータ3は、 ビデオ表示装置8を用いて画像の生成中に画像をオペレータに表示する。 画像処理システム10の1つの実施態様を汎用プログラム格納コンピュータ3の 構成要素として示したが、画像処理システム10は、専用ハードウェアおよび/ま たはプログラム構成要素、もしくはコンピュータ3と専用のハードウェアおよび /またはプログラム構成要素との組み合わせを含み得る。 図2は、画像処理システム10の機能ブロック図である。図2を参照して、画像 処理システム10は、画像データ源11から画像を定義する画像データを得、これを 後述のように処理し、そして処理された画像データをダウンストリーム利用要素 12に提供する。画像データ源11は、画像獲得装置4からの、または上述のコンピ ュータグラフィックスシステムなどの画像データ生成アレンジメント13からの画 像データを提供し得る。いずれの場合にも、デジタル画像データは、一般には、 バッファ14または他の画像データ源選択アレンジメントを介して画像処理システ ム10に提供され得る。画像処理システム10がデジタル形態の画像データを処理す る1つの特定の実施態様では、画像獲得アレンジメントまたは他の画像データ源 は画像データをデジタル形態で提供する。この場合、画像は、それぞれが画像の 対応する点に関連する画素(picture element)すなわち「ピクセル(pixel)」の多 次元アレイによって表される。各画素は、例えば、画像内の画素対応点の色およ び強度を定義するデジタルデータによって表される。従来のように、各画素に関 連するデジタルデータは「RGB」フォーマットであり得る。このフォーマットで は、各画素に関連するデータは画素の色、すなわち赤、緑および青の強度を識別 する。デジタル画像データを表す他の従来のフォーマットも当該分野では周知で ある。 図2に示すダウンストリーム利用要素12は、後述するように画像処理システム 10によって生成される処理済み画像データを使用する多くのタイプの要素または アプリケーションのいずれかを表し得る。ダウンストリーム利用要素の例として は、例えば、図1に関連して上述したコンピュータグラフィックスシステムなど の、処理済み画像データによって表される画像をオペレータが対話方式で編集し 得るコンピュータグラフィックスシステムのようなダウンストリームアプリケー ションを含む。他のダウンストリーム利用要素12としては、例えは、処理済み画 像データによって表される画像のハードコピープリントを与えるインクジェット またはレーザ印刷装置、印刷プラントで使用される色分離を生成するシステムな ど、もしくは単に処理済み画像データを将来の使用のために格納するバッファ装 置または格納装置を含み得る。 画像処理システム10は、システム10のための画像データを生成する特定の画像 データ源11の選択された特性を表す画像源特性データ、および処理済み画像デー タを利用する特定のダウンストリーム利用要素12の選択された特性を表すダウン ストリーム利用要素特性データ、ならびにオペレータによって提供される画像処 理動作選択情報に関連して、画像のためのデジタル画像データを処理する。ダウ ンストリーム利用要素12は、画像処理システム10から処理済み画像データを受け 取ると、その動作において、例えば出力画像を描写するとき、それ自体でさらな る処理を行い得る。また、画像処理処理システム10は、ダウンストリーム利用要 素12がその処理を行っているとき、ダウンストリーム利用要素がオペレータによ って特定される処理動作に関連した最適の特性を有する画像を描写するように処 理を行う。例えば、ダウンストリーム利用要素12が画像をハードコピー形態で描 写するプリンタの場合は、処理済み画像データは、プリンタが所定の最適の視覚 特性を有する描写画像を生成するのを可能にし得る。同様に、ダウンストリーム 利用要素12が、処理済み画像データに応じて色分離を生成する場合は、処理済み 画像データは、印刷プラントで使用されるときは、同様の最適の視覚特性を有す る描写画像を提供する色分離の生成を可能にし得る。 この動作を実現するために、画像処理システム10は、共に制御要素22の制御下 にある画像データ処理部20と特性処理部21とを含む。画像データ処理部20は、特 性処理部21によって生成される画像処理パラメータ情報によって表される様々な 処理パラメータに関連して、オペレータ入力7を介してオペレータによって選択 され画像処理動作選択情報によって表される実際の処理動作を行う。次に、特性 処理部21は、画像データ源11の特性を示す画像源特性データ、ダウンストリーム 利用要素特性データ、および画像処理動作選択情報によって識別されるオペレー タによって選択された特定の処理動作に関連して画像処理パラメータ情報を生成 する。特性処理部21によって生成される画像処理パラメータ情報は、画像データ 処理部20が、ダウンストリーム利用要素12によって処理されるときに最適の視覚 特性または他の特性を有する画像を表す処理済み画像データを生成するのを可能 にする。 1つの実施態様では、画像データ処理部20は、オペレータの制御下で画像デー タを選択的に処理する多くの要素を含む。図5〜図8に関連して後に詳述するよ うに、これらの要素は、それぞれが提供される画像データに関連して画像処理動 作を行う多くの画像処理「原子」を含む。これら原子の所定の動作は、特性処理 部21によって生成される画像処理パラメータデータの値に応じて制御され得る。 特性処理部21は、画像データ源11およびダウンストリーム利用要素12の所定の 特性を示す情報に応じて画像処理パラメータデータを生成する。これらの特性は 、画像に応じてデジタル画像データを生成するとき特定の画像データ源11によっ て行われる、および処理済み画像データを受け取った後ダウンストリーム利用要 素12によって行われる処理についての情報を提供する。特性処理部21は、画像処 理 プロファイル生成器21Aと、画質値生成器21Bと、パラメータ最適化器21Cとを含 み、すべてはコントローラ21Dによって制御される。これらのすべては図9に関 連して後に詳述する。 予備的に述べると、画像処理プロファイル生成器21Aは、画像データ源11およ びダウンストリーム利用要素12の両方からの特性データの処理を行い、さらにパ ラメータ最適化器21Cによって提供される試行パラメータに応じて所定の処理済 み基準値を生成する。特性データに関連して画像処理プロファイル生成器21Aに よって行われる動作は、実質的には、オペレータによって選択され画像データに 関連して画像データ処理部20によって行われる画像処理動作に対応する。従って 、画像処理プロファイル生成器によって生成される処理済み基準値は、本質的に は、試行パラメータに応じて基準画像に対応する画像に関連して画像データ処理 部20によって行われ得る処理を表す。画質値生成器21Bは、画像処理プロファイ ル生成器21Aによって生成される処理済み基準値に応じて単一の画質測定基準値 を生成する。パラメータ最適化器21Cは、画質値生成器21Bによって生成される画 質測定基準値を受け取って新しい試行パラメータセットを生成し、これは再び画 像処理プロファイル生成器によって処理される。画像処理プロファイル生成器21 A、画質値生成器21B、およびパラメータ最適化器21Cは、パラメータ最適化器が 画質値生成器21Bによって生成される画質測定基準値を最適化するパラメータの 値セットを生成したと決定するまで一連の反復を通してこれらの動作を繰り返す 。 上記のことを背景として、共に制御要素22の制御下にある画像データ処理部20 および特性処理部21によって行われる動作を、それぞれ図3および図4に示すフ ローチャートに関連して概略的に述べる。例示する特定の一連の画像処理動作に 関連して画像データ処理部20および特性処理部21によって行われる動作を、図5 〜図8に関連して述べる。先ず図3を参照して、画像データ処理部20は、制御要 素22の制御の下で、オペレータから画像処理動作選択情報を受け取り(ステップ 100)、画像処理動作選択情報によって識別される画像処理動作を表す画像処理 「原子」を選択する(ステップ101)。各「原子」は、画像処理動作選択情報に よって識別される個々の処理動作を行う要素を含む。1つの実施態様では、原子 は、様々に、専用の電子ハードウェア要素および/または特定の処理動作を行う ために適切にプログラムされたデジタルコンピュータを含む。画像処理原子を選 択した後、画像データ処理部20は、画像処理動作選択情報で定義される処理動作 シーケンスに適合するように画像処理原子チェーンを形成する(ステップ101) 。 制御要素22は、特性処理部21が処理パラメータの特定の値を生成することを可 能にした後のある時点で、画像データ処理部20が特性処理部からの値を受け取る ことを可能にする(ステップ102)。画像データ処理部20は、処理動作原子チェ ーンを確立し(ステップ101)画像処理パラメータ情報を受け取った(ステップ1 02)後、画像処理原子チェーンが、画像データ源からの画像データと、特性処理 部21からの画像処理パラメータ情報で定義された処理パラメータの値とに関連し て画像処理動作シーケンスを行うことを可能にし(ステップ103)、これにより ダウンストリーム利用要素12によって使用される処理済み画像データが生成され る。 制御要素22の制御の下で特性処理部21によって行われる一般的な動作を図4に 示す。図4を参照して、特性処理部21はまた、制御要素22の制御の下で、オペレ ータからの画像処理動作選択情報を受け取り(ステップ110)、画像処理動作選 択情報によって識別される画像処理動作を表す画像処理「原子」を選択する(ス テップ111)。画像データ処理部20の場合のように、特性処理部21によって選択 され得る各「原子」は、画像処理動作選択情報によって識別される個々の処理動 作を行う要素を含む。図3に関連して上述した1つの実施態様では、各原子は、 専用電子ハードウェア要素および/または特定の処理動作を行うための適切にプ ログラムされたデジタルコンピュータを含む。画像処理原子を選択した後、特性 処理部は、画像処理選択情報で定義された処理動作シーケンスに適合するように 画像処理原子チェーンを形成する(ステップ111)。 制御要素22はまた、特性処理部21が画像データ源11に対しては画像源特性デー タを、およびダウンストリーム利用要素12に対してはダウンストリーム利用要素 特性データを受け取ることを可能にする(ステップ112)。特性処理部21が画像 源およびダウンストリーム利用要素特性データを得ると、制御要素21Dは、特性 処理部21、特に上述の画像プロファイル生成器21Aが、1つの実施態様では図9 に関連して後述する他の要素と共に、およびパラメータ最適化器21Cによって提 供される試行パラメータ値セットに応じて、画像処理原子チェーンを使用して基 準画質情報を生成することを可能にする(ステップ113)。次にコントローラ21D は、画質値生成器21Bが単一の画質値を生成することを可能にし(ステップ114) 、またパラメータ最適化器がこの画質値が最適値であるかどうかを決定すること を可能にする(ステップ114)。パラメータ最適化器は、ステップ114で画質値生 成器21Bによって決定された画質値が最適ではないと決定する場合は、新しい試 行パラメータ値セットを生成し(ステップ115)、コントローラ21Dはステップ11 3に戻り、新しい基準画質情報の生成を可能にする。コントローラ21Dは、パラメ ータ最適化器21Cがステップ114で画質値が最適であると決定するまで、画像処理 プロファイル生成器21A、画質値生成器21B、およびパラメータ最適化器21Cがス テップ113〜115を繰り返すことを可能にする。画質値が最適であると決定された 時点で、パラメータ最適化器21Cはステップ116に進み、画像データ処理部20に画 像処理パラメータ値を提供する。 特性処理部21は、図2に示すように、画像獲得装置4または画像データ生成ア レンジメント13(図2)などの特定の画像データ源および画像処理システム10が 接続する特定のダウンストリーム利用要素12から直接、画像源およびダウンスト リーム利用要素特性データを得てもよい。この配置では、画像データ源11は、例 えば、画像源特性データを画像データと共に提供し得、オペレータが画像処理動 作選択情報でダウンストリーム利用要素12を識別する場合は、制御要素22は、そ のダウンストリーム利用要素12が、特性処理部21がその情報を使用して動作を行 う前のある時点でダウンストリーム利用要素特性データを特性処理部21に提供す ることを可能にし得る。 もしくは、画像データ源11は、すべてのタイプの画像獲得装置4または画像デ ータ生成アレンジメント13に対して有用であり得るデフォルト特性データを提供 し得る、自らが維持するデフォルト源特性ライブラ15からデフォルト源特性デー タを提供し得る。または、特定のクラスのこのような装置またはアレンジメント に対するデフォルト特性データを提供し得る。もしくはまたは上記に加えて、画 像処理システム10は、様々なタイプの画像データ源11およびダウンストリーム利 用要素12のための画像源およびダウンストリーム利用要素特性データのライブ ラリ(図示せず)を維持し得、制御要素22は、使用される特定のタイプの画像デ ータ源11およびダウンストリーム利用要素12を識別し、特定の画像源11およびダ ウンストリーム利用要素12のための画像源およびダウンストリーム利用要素特性 データがライブラリから特性処理部21に提供されるのを可能にすることができる 。ライブラリは、特定のタイプの画像データ源11およびダウンストリーム利用要 素12のための画像源およびダウンストリーム利用要素特性データを格納すること に加えて、所定のクラスの画像源11およびダウンストリーム利用要素12(例えば 、画像源11としては写真カメラ、ビデオカメラなど、ダウンストリーム利用要素 12としては様々なタイプまたは様々な製造業者によるプリンタおよび表示装置) のための画像源およびダウンストリーム利用要素特性データ、ならびにデフォル ト特性データを含み得る。ライブラリが特定の画像源11またはダウンストリーム 利用要素12のための特性データを有しない場合は、その処理で使用されるように そのクラスの特性データまたはデフォルトデータを特性処理部21に提供し得る。 画像処理システム10は、広範囲の様々なタイプの画像データ源11によって提供 される画像処理および自動高質化が広範囲の様々なダウンストリーム利用要素12 に提供されることを可能にし、特に、視覚的に最適の画像が、広範囲の様々なフ ォーマットで広範囲の様々な印刷または表示装置によって描写または表示される ことを可能にする統合画像処理システムを提供することは理解され得る。システ ム10は、オペレータが、実際の画像データに関連して画像データ処理部20によっ て行われる画像処理動作を選択するのを可能にし、さらに、特性処理部21によっ て値が生成されるパラメータに関連して行われる処理を提供する。特性処理部21 は、心理視覚試験から発展させた原理に従って画像処理パラメータデータを含む 様々なパラメータの値を生成し、これにより画像データを生成した特定の画像デ ータ源、処理済み画像データを受け取る予定の特定の目的地の利用要素、および 画像データ処理部20によって行われる予定の画像処理動作に対する、エキスパー ト統合画像観察者として働く。特性処理部21は、特性処理部が生成する特定のパ ラメータの値を最適化して、特性処理部21によって生成される最適化画像を供給 する。 1つの実施態様では、特性処理部21は、画像処理パラメータデータを生成して 、 画像データ処理部によって生成される画像処理データチェーンの、処理中の画像 データの画像の空間属性に影響を与える部分を制御する。この実施態様では、画 像データ処理部20は、後述するように色整合および色調再生アレンジメントに従 って画像データの色情報を含む部分を処理する。 II.画像処理システム10の詳細な説明 A.画像データ処理部20 図5〜図9に関連して以下に述べる画像処理システム10の1つの特定の実施態 様では、画像データ処理部20および特性データ処理部21によって使用される原子 は「分子」へと組織化される。各分子は、分子内で所定の順列またはチェーン状 に組織化される1つ以上の選択された原子を有する。この実施態様では、分子は さらに分子クラスに組織化され、画像データ処理部20および特性データ処理部21 は、オペレータからの画像処理動作選択情報に応じて画像データまたは特性デー タ処理チェーンを確立するとき、各分子クラス内から1つの分子を選択する。以 下に述べるように、各分子クラス内では、分子は同様の動作を行うが、各分子ク ラス内の分子を構成する原子は、一般には、異なる動作を行う。1つの実施態様 では、1つの分子クラス内のいくつかの分子は、速い動作を行うが質は他の分子 より幾分低下する。オペレータは、画像処理動作選択情報を介して、特定の動作 を行うときの処理速度および質を選択する。画像データ処理部20および特性処理 部21はこの処理動作選択情報を用いて、特定の画像データ処理動作で使用される 画像データおよび特性データ処理チェーンを形成するときに用いられる分子を各 分子クラス内で選択する。さらに、各分子は、「原子活性アクチュエータ/非ア クチュエータ」アレンジメントを含み、これらもオペレータによって提供される 画像処理選択情報に応じて制御可能であり、またオペレータが、画像処理動作選 択情報に応じて確立される画像データおよび特性データ処理チェーン内の原子を 事実上選択的にイネーブルまたは不能にし得るように、分子内の各原子がイネー ブルまたは不能にされるのを可能にする。 詳しくは、図5を参照して、画像データ処理部20は、画像データ処理ライブラ リ30と画像データ処理制御要素31とを含む。画像データ処理制御要素31は、オペ レータからの画像処理動作選択情報に応じて画像データの処理を制御する。画像 データ処理ライブラリ30は、画像データ展開分子クラス32、画像完全性分子クラ ス33、特殊効果分子クラス34、および画像データ圧縮分子クラス35を含む、画像 データ源11とダウンストリーム利用要素12との間で順列またはチェーン状に組織 化される一連の分子クラスを含む。画像データ展開分子クラス32は、1つ以上の 画像データ展開分子32(O)〜32(J)(一般に参照番号32(j)で識別される)を含み 、これらはそれぞれ1つ以上の原子(図6を参照して後により詳細に示す)を含 み、また、オペレータからの画像処理動作選択情報に応じて画像データ処理制御 要素31によってイネーブルにされる場合に、画像データ源11によって提供される 画像データに関連してデータ展開動作を行う。同様に、画像完全性分子クラス33 は、1つ以上の画像完全性分子33(O)〜32(K)(一般に参照番号33(k)で識別され る)を含み、これらはそれぞれ1つ以上の原子(図7を参照して後により詳細に 示す)を含む。各画像完全性分子33(k)の原子は、オペレータからの画像処理動 作選択情報に応じて画像データ処理制御要素31によってイネーブルにされる場合 に、画像データに関連して、ノイズ低減、鮮明化、つや出しおよびおおい焼きな どの多くの動作を行う。 さらに、特殊効果分子クラス34は1つ以上の特殊効果分子34(O)〜34(L)(一般 に参照番号34(l)で識別される)を含み、これらはそれぞれ1つ以上の原子を含 む。各特殊効果分子34(l)は、画像フリッピング、引き延ばし、湾曲などの1つ 以上の動作を行い、加えて大規模な中核鮮明化および色再割り付けを行う。これ らの動作もまた、オペレータからの画像処理動作選択情報に応じて画像データ処 理制御要素31によってイネーブルにされる。最後に、画像データ圧縮分子クラス 35は1つ以上の画像データ圧縮分子35(O)〜35(M)(一般に参照番号35(m)で識別 される)を含み、これらはそれぞれ1つ以上の原子(図8を参照して後により詳 細に示す)を含み、オペレータからの画像処理動作選択情報に応じて画像データ 処理制御要素31によってイネーブルにされる場合に、ダウンストリーム利用要素 12に提供される画像データに関連してデータ圧縮動作を行う。 図5に示す実施態様では、画像データ処理ライブラリ30はまた、展開された画 像データが画像完全性分子クラス33の選択された分子33(k)によって処理される 前に、画像データ展開分子32の選択された分子32(j)によって提供される展開さ れた画像データを一時格納するバッファ36を含む。図5に示す画像データ処理ラ イブラリ30には1つのバッファ36のみが配備されているが、他の分子クラス間に も他のバッファが配備され得ることは理解され得る。さらに、画像データ処理ラ イブラリ30は、特殊効果分子クラス34からデータを受け取り、このデータに関連 した色マッピングを行う色マップ37を含む。すなわち、色マップ37は、特殊効果 分子クラス34から入力されるデータによって表される1つ以上の色を、1つ以上 の他の色にマッピングし、これにより画像の着色を変更する。このマッピングは 画像処理制御要素31によって制御される。 上述のように、画像データ処理ライブラリ30の分子クラス32〜35のそれぞれは 、1つ以上の分子を含み、各分子クラス内の1つの分子が、オペレータからの画 像処理動作選択情報に応じて、画像処理動作中に、特に画像データ処理制御要素 31によって選択される。各分子クラスは、分子入力セレクタ32(i)、33(i)、34(i )、および35(i)にそれぞれ関連付けられる。各分子入力セレクタは、画像データ 源11からまたはチェーン内の先行する分子クラスからそれぞれ分子クラス32、33 、34、35に入力されるデータを、画像データ処理制御要素31によって選択される 分子クラス内の1つの選択された分子32(js)、33(ks)、34(ls)、35(ms)に連結さ せる。さらに、各分子クラス32、33、34、35は、分子出力セレクタ32(o)、33(o) 、34(o)、35(o)に関連付けられ、各分子出力セレクタは、分子クラス32、33、34 、35から出力されるデータを、分子クラス内の同じ選択された分子32(Js)、33(ks )、34(ls)、35(ms)からチェーン内の次の分子クラスまたはダウンストリーム利 用要素12へ連結させる。画像データ処理制御要素31は、各分子クラス32、33、34 、35の分子入力セレクタ32(i)、33(i)、34(i)、35(i)および分子出力セレクタ32 (o)、33(o)、34(o)、35(o)を用いて、画像処理動作中に処理を行う分子クラス内 の特定の分子の選択を制御する。 画像データ処理部20を構成する様々な分子クラス32〜35内の特定の分子のアー キテクチャーの具体的な例を図6〜図8に関連して述べる。図6は展開分子クラ ス32の分子32(j)を示し、図7は画像完全性分子クラス33の分子33(k)を示し、図 8は圧縮分子クラスの分子(35(m))を示す。先ず図6を参照して、また図5に関 連して上述したように、展開分子クラス32は、それぞれが、例えば画像データ源 11からの画像データに関連して特定のタイプの展開動作を行う複数の分子32(O) 〜32(J)を含む。画像データ源11からの画像データが特定の圧縮方法に基づいた 圧縮形態にある場合は、オペレータは、画像処理動作選択情報において、この圧 縮方法に基づいた特定の展開動作を識別し、画像データ処理制御要素31は、この 情報に基づいてセレクタ32(i)および32(o)を制御して、この特定の圧縮方法に基 づいた展開を可能にし得る。もしくは、画像データ自体に含まれる情報によって などの別の方法で圧縮方法を識別してもよく、画像データ処理制御要素31はオペ レータからの情報がなくても自動的に展開を可能にし得る。 1つの実施態様では、例示される分子は、従来のJPEG(ジョイントフォトグラ フィックエキスパートグループ)の標準JPEG DIS 10918(分子32(0))、小波展 開(分子32(1))、およびサブバンド展開(分子32(2))に基づいて画像データ展 開を行う。しかし、他の方法に関連して画像データ展開を行うために他の分子32 (j)もまた提供され得る。1つの展開分子、すなわち、JPEG展開分子32(0)の構造 を図6に詳細に示す。図6に示すように、分子32(0)は3つの要素、復号要素70 とマスク乗算要素71と逆DCT(離散コサイン変換)要素72とを含む。分子32(0)は 、(i)DCT係数の形態であり(すなわち、画像を構成する画素を定義する画素デー タに関連してDCT演算が行われ、JPEG圧縮分子32(0)に提供される画像データは、 DCT演算に応じて生成されるDCT係数を含む)、また(ii)周知のハフマン符号化方 法を用いて符号化される圧縮画像データに関連して使用される。図6に示すよう に、圧縮画像データは、画像の記録に使用される各原色に対して個別に提供され 得る。復号要素70はハフマン符号化DCT係数を復号して、実際の係数値を生成す る。マスク乗算要素71は、DCT係数に従来のJPEG量子化マスクマトリックスを掛 ける。従来のように、画像は二次元であるため、復号要素70によって復号される 画像を定義するDCT係数は二次元マトリックスの形態であり、マスク乗算要素71 によって使用されるマスクマトリックスもまた二次元マトリックスである。マス ク乗算要素71は、マスク乗算演算を行うときDCT係数マトリックスとJPEG量子化 マスクマトリックスとの対応する位置にあるマトリックス要素同士を乗算し、実 質的に、マスクされたDCT係数マトリックスを生成する。最後に、逆DCT要素72は 、 マスクされたDCT係数マトリックスに関連して逆離散コサイン変換演算を行い、 空間画像データ、すなわち画像のための画素値を定義するデータを生成する。展 開動作は画質に影響を及ぼす変換とはならないため、JPEG展開分子32(0)は、特 性処理部からのパラメータ値に関連して動作を行わないことは理解され得る。 展開分子クラス32内のJPEG展開分子32(0)以外の他の分子32(j)の詳細な構造は 、展開を行うために必要な特定の一連の動作に依存する。これは当業者には明ら かである。 図7は、画像完全性分子クラス33の分子33(k)の詳細な構造を示す。1つの特 定の実施態様では、分子33(k)はすべて、ほぼ同じ動作を同じ順序で行う原子を 含むが、動作の方法は様々に異なり、これにより分子33(k)のいくつかは概して 速いが質が幾分低下する動作を行うのに対して、他の分子33(k)はもっと遅いが 質が高い動作を行い得る。さらに、特定の分子33(k)によって行われる利用可能 な動作のうちの特定の動作は、オペレータからの画像処理動作選択情報によって 特定される。画像処理動作選択情報が、特定の動作を行わないように特定すると 、その動作に関連する原子は作動しない。分子33(k)はほぼ同じ動作を行う原子 を含むため、これらの原子はほぼ同様に構成され、従って、図7には1つの分子 、すなわち分子33(0)の一般的な構造のみを詳細に示している。 図7に示すように、分子33(0)は、展開分子クラス32内の展開分子32(j)から展 開画像データを受け取る。上述のように、展開分子クラス32によって供給される 展開画像データは空間形態であり、画像のための画素値を定義するデータを有す る。オペレータが、オペレータからの画像処理動作選択情報に応じて画像の切り 取りまたはサイズ変更を行うことができるように、切り取り/サイズ変更要素80 が配備される。切り取り/サイズ変更要素80の出力はバッファ81に一時格納され る。バッファ81の出力は、微細処理チャネル82および粗雑処理チャネル83を含む 2つの処理チャネルに接続される。微細処理チャネル82は、切り取り/サイズ変 更要素80によって提供される実際の画素データを処理し、粗雑処理チャネルは、 様々な粗雑度の順列または階層状の画像を生成する。階層内の各レベルの粗雑画 像を生成するとき、粗雑処理チャネル83は、本質的には、次の下層レベルの選択 された数の画素のブロックからの画素値に応じて各画素を形成し、階層内の最下 層レベルの粗雑画像は実際の画像内の画素のための画素データ(すなわち、バッ ファ81によって提供される画素データ)ブロックから生成される。従って、実際 の画素データと、階層内の一連の粗雑画像のうちの連続した画像を定義する画素 データとは、概念的に、階層内の上層レベルにある画像ほど画素数が段階的に少 なくなる「ピラミッド」を形成する。 微細処理チャネル82では、色マップ要素84がバッファ81からの画素データを受 け取る。上述のように、画素データは本質的に、画像を構成する赤、緑および青 などの様々な色の強度レベルを表し、画像処理動作選択情報によってイネーブル にされる場合に、色マップ要素84は、これに応じて輝度(「Y」)およびクロミ ナンス(「u」および「v」)の形態の画素データを生成する。輝度およびクロミ ナンスデータは空間形態であり、輝度およびクロミナンスデータに関連して離散 コサイン変換を行うために重複DCT要素85が配備され、オペレータによりイネー ブルにされる場合に、輝度およびクロミナンス情報に関連した重複DCT係数マト リックスを生成する。 粗雑処理チャネル83では、ブロック平均/重複要素90が上述のような粗雑画像 の階層のための画素データを生成し、これをバッファ91に提供する。上述の微細 処理チャネル82での画素データにおけるように、各粗雑画像のための画素データ は、画像を構成する様々な原色の強度レベルを表し、オペレータからの画像処理 動作選択情報によってイネーブルにされる場合に原色画素データを輝度およびク ロミナンス形態に変換するために、色マップ92が配備される。 微細処理チャネル82の重複DCT要素85からの重複DCT係数マトリックス、および 粗雑処理チャネル83の色マップ要素92からの輝度およびクロミナンスデータは、 基本ノイズ低減要素93と高レベルノイズ低減要素94とを連結して含むノイズ低減 要素に提供される。オペレータからの画像処理動作選択情報によってノイズ低減 がイネーブルにされると、基本ノイズ低減要素93と高レベルノイズ低減要素94と は協同して、基本ノイズ低減要素93が重複DCT要素85から受け取る重複DCT係数マ トリックスに関連して、およびさらに特性処理部21によって提供される画像処理 パラメータデータに関連してノイズ低減動作を行い、これにより表示される画像 内のノイズが低減される。 1つの実施態様では、高レベルノイズ低減要素94は粗雑画像の階層の上層レベ ルを用いて、基本レベルノイズ低減要素93に提供されるノイズ低減情報を生成す る。この動作では、高レベルノイズ低減要素94は一連の粗雑画像を生成して階層 を形成する。階層内の各画像を形成するには、高レベルノイズ低減要素94は、次 の下層レベルの画像内の画素をブロックまたは「タイル」セットに分割し、各タ イルに対して単一画素値が生成される。この単一画素値は、階層の次の上層レベ ルの画像内の対応する位置の画素の画素値とされる。高レベルノイズ低減要素は 、各タイル内の画素のDCT変換が生成されるとき単一画素値を生成し、このよう にして生成されたゼロ次のDCT係数の値が単一画素値として決定される。 階層内の様々な画像を生成した後、高レベルノイズ低減要素94は、特性処理部 からの画像処理パラメータデータの一部を形成するノイズ低減パラメータ値、お よび階層内の上層レベル画像(すなわち、最も粗雑な画像)を使用して、上層レ ベル画像を定義するDCT係数の値を訂正するために使用されるノイズ低減マスク を生成する。高レベルノイズ低減要素94は、訂正済みDCT係数値を、階層内の次 の下層レベルの画像に伝え、この動作が繰り返される。階層内の上層レベルにわ たって動作を繰り返した後、高レベルノイズ低減要素は訂正済みDCT係数値を基 本レベルノイズ低減要素に提供し、基本レベルノイズ低減要素は実際の画像のた めのDCT係数に関連して同様の動作を行う。 基本ノイズ低減要素93によって生成されるノイズ低減済み重複DCT係数マトリ ックスは鮮明化要素95に接続される。オペレータからの画像処理動作選択情報に よって画像鮮明化がイネーブルにされる場合に、鮮明化要素95は、ノイズ低減済 み重複DCT係数マトリックスに応じて、およびさらに特性処理部21からの画像処 理パラメータデータに応じて画像鮮明化動作を行う。後にさらに詳述するように 、画像鮮明化動作を行うとき、鮮明化要素95は、画像処理パラメータデータに応 じて鮮明化マスクマトリックスを生成し、次に鮮明化マトリックスおよびノイズ 低減済みDCT係数マトリックスの対応するマトリックス要素同士を乗算する。オ ペレータからの画像処理動作選択情報によってイネーブルにされる場合に重複DC T係数マトリックスを空間画素データ値に変換するために、逆DCT要素96が配備さ れる。これら空間画素データ値は、ノイズが低減され鮮明化された画像のための 輝度およびクロミナンス情報を含む。さらに、オペレータからの画像処理動作選 択情報によってイネーブルにされる場合に逆DCT要素96からの画素データ値に関 連して非重複離散コサイン変換動作を行うために、DCT要素97が配備される。 粗雑処理チャネル83に戻って、高レベルノイズ低減要素94はまた、オペレータ からの画像処理動作選択情報によってノイズ削減がイネーブルにされる場合に画 像階層内の上層レベルを構成する画像のためのノイズ低減済み画素値を表す出力 を生成する。いずれの場合においても、高レベルノイズ低減要素94の出力は画像 シーン分析要素100に接続される。シーン分析をイネーブルにするオペレータか らの画像処理動作選択情報に応じて、および高質化されるかまたは処理される予 定の画像の詳細を含む画像の所定の部分を識別して、画像シーン分析要素100は 、オペレータからの情報に従って画像の必要な変更を実現するために画素値の調 整を決定する。画像シーン分析要素100は、画素レベルおよび画像レベルの両方 で輝度を調整するように作動する。画像シーン分析要素100からの画素値調整値 は中間格納のためにバッファ101に接続される。オペレータが画像処理動作選択 情報において画像シーン分析/つや出しおよびおおい焼き要素100をイネーブル にしない場合は、バッファ101は空であることは理解され得る。 非重複DCT要素97からの出力、および存在する場合はバッファ101に一時格納さ れた画素値調整値は、画像訂正要素102に接続される。オペレータが画像シーン 分析/つや出しおよびおおい焼きをイネーブルにする場合は、非重複DCT要素97 は不能にされ、この場合は、要素97によって画像訂正要素102に渡された値は、 逆DCT要素96からの空間画素値である。この場合には、画像訂正要素102は、空間 画素値およびバッファ101からの画素値調整値に応じて訂正済み画像画素値を生 成する。画像訂正要素102によって生成される調整済み画素値は、回転/アップ サンプル要素103に接続され、この要素は、オペレータからの画像処理動作選択 情報によってイネーブルにされる場合に、オペレータからの画像処理動作選択情 報によって特定される角度だけ画像を回転させるように調整済み画素値を処理す る。最後に、回転/アップサンプル要素103によって生成される回転および調整 された係数マトリックスは、逆色マップ要素に接続され、この要素は、要素84お よび92に関連して上述したように、色マッピングがオペレータからの画像処理動 作選択情報によってイネーブルにされる場合に、輝度およびクロミナンス画素情 報を分子33(0)の出力としての選択された色画素情報に変換する逆色マップ要素 に接続される。オペレータが画像処理動作選択情報を介して非重複DCT要素97を イネーブルにする場合は、要素102〜104は不能にされ、この場合には、非重複DC T係数値が分子33(0)の出力として提供されることは理解され得る。 画像データ処理部20が分子33(0)内のイネーブルにされた原子によって行われ る動作を開始する特定の順序は上述の順序とは異なることは理解され得る。特に 、粗雑処理チェーン83に関連する処理は、微細処理チェーン82に関連して用いら れ得る包括的な調整値を生成するため、粗雑処理チェーン83の動作は微細処理チ ェーン82の動作を行う前に行われ得る。いずれの場合にも、ノイズ低減がイネー ブルにされる場合は、基本ノイズ低減情報は高レベルノイズ低減要素94によって 生成されるノイズ低減情報を用いるため、高レベルノイズ低減要素94は基本ノイ ズ低減要素93によるノイズ低減に先だって動作を行い得る。さらに、画像訂正要 素102によって行われる動作は画像シーン分析/つや出しおよびおおい焼き要素1 00によって生成される情報を使用するため、画像シーン分析/つや出しおよびお おい焼き要素100は、イネーブルにされる場合は、画像訂正要素102に先だって動 作を行い得る。 1つの実施態様では、色マッピング要素84および92に関連して上述した色マッ ピングは、逆色マッピング要素104のためにRGB画素色値を「L」輝度および「u、v 」クロミナンス値におよびこの逆にマッピングするルックアップテーブル(個別 には図示せず)によって行われる。特定の画像データのための色マッピングおよ び逆色マッピング要素84、92および104で用いられるルックアップテーブルは、 特定のタイプの画像データ獲得装置4または画像データを生成する画像データ生 成アレンジメント13およびその画像データを利用する特定のダウンストリーム利 用要素12を反映する。ルックアップテーブルで使用される値は、好ましくは装置 から独立した色空間を媒介物として用いて、1つの色空間を別の色空間にマッピ ングするために生成される。 色マッピングおよび逆色マッピングが観察者によって観察される画像の質に影 響を及ぼす一方で、1つの実施態様では、これらの特性は画像データの空間処理 には影響を及ぼさないため、これらは特性処理部21によって処理されないことは 理解され得る。 特殊効果分子クラス34を構成する多様な分子34(l)のそれぞれは、オペレータ からの画像処理動作選択情報によってイネーブルにされる場合に画像注釈、パレ ットへの色マッピングなどの画像データに関連する1つのタイプの特殊効果動作 を協同で行う1つ以上の原子を含む。各分子34(l)の構造および動作は、行われ る特定のタイプの特殊効果動作に依存するが、分子34(l)の一般的な構造は上記 の記述により明らかであるためここではさらに提示はしない。 図8は、圧縮分子クラス35の分子35(m)を示す。図8に示すように、および図 5に関連して上述したように、圧縮分子クラス35は複数の分子35(O)〜35(M)を含 み、これら分子のそれぞれは、特殊効果分子クラス34から受け取るデータに関連 して特定のタイプの圧縮動作を行い、オペレータからの画像処理動作選択情報に 応じてイネーブルにされる場合に、データをダウンストリーム利用要素12への転 送に先立って圧縮する。分子35(m)のそれぞれは、選択された圧縮方法に関連し た圧縮を行い、オペレータが、画像処理動作選択情報において特定の圧縮方法を 識別する場合は、画像データ処理制御要素31は、その情報に基づいてセレクタ35 (i)および35(o)を制御して選択された圧縮方法に基づいた圧縮を可能にする。も しくは、圧縮方法を別の方法で識別し、画像データ処理制御要素31がオペレータ からの情報がなくても自動的に圧縮を可能にしてもよい。 図5に関連して上述した1つの実施態様では、例として示す分子35(m)は、画 像データ展開を行うとき分子32(j)によって使用される方法と同じ方法に基づい て画像データ圧縮を行う。特に、分子は、上述の従来のJPEG(ジョイントフォト グラフィックエキスパートグループ)標準JPEG DIS 10918(分子35(0))、小波 圧縮(分子35(1))、およびサブバンド圧縮(分子35(2))に基づいてデータ圧縮 を行うように提供され得る。もっとも、他の方法に関連した圧縮を行うために他 の分子35(m)もまた提供され得る。1つの圧縮分子、すなわちJPEG圧縮分子35(0) の構造を図8に詳細に示す。図8に示すように、分子35(0)は、DCT要素110、マ スク乗算要素111,量子化要素112、DCT変換要素113、および符号化要素114を含 む5つの要素を有する。特殊効果分子クラス34の出力が画像画素データを含む場 合は、オペレータからの画像処理動作選択情報により、DCT要素110は、これに関 連する二次元離散コサイン変換動作を重複形態または非重複形態で行って、DCT 係数マトリックスを生成することが可能になる。分子35(0)の要素111、112およ び114は、オペレータからの画像処理動作選択情報に応じてまとめてイネーブル または不能にされ、DCT変換要素113は、DCT要素110がDCT係数マトリックスを重 複形態で生成したか非重複形態で生成したかどうかに依存して選択的にイネーブ ルまたは不能にされる。要素111、112、および114がイネーブルにされる場合は 、マスク乗算要素111は、マスクマトリックスを使用してDCT要素110からのDCT係 数マトリックスに関連するマスク乗算演算を行って、本質的に、要素71(図6) によって行われるマスキング演算とは逆のまたはこれを相補するマスキング演算 を行う。量子化要素112は、以下に述べるように量子化動作を行って、画像処理 パラメータデータ内の特性処理部21によって提供される量子化パラメータに関連 してDCT係数マトリックスの要素を量子化する。DCT要素110が重複離散コサイン 変換を使用してDCT係数マトリックスを生成した場合は、DCT変換要素113はイネ ーブルにされ、量子化された重複DCT係数マトリックスを非重複形態に変換し、 マトリックス要素値の整数部分のみを保持する。最後に、符号化要素114は、例 えば上述のホフマン符号化方法を用いて、DCT変換要素113によって出力されるマ トリックス要素を便宜よく符号化する。 上述のように、特性処理部によって提供される画像処理パラメータデータは、 例として示した分子33(0)および35(0)の3つの特定の要素、すなわち、ノイズ低 減を行う原子93および94、鮮明化原子95、および量子化原子112において使用さ れる。これらの原子は、画像データによって定義される画像の外観を改変するよ うに、画像データ源11およびダウンストリーム利用要素12の特性に関連する方法 で、入力されるデータに関連して処理を行い、これにより、これらの原子は特性 処理部21によって提供される画像処理パラメータ情報に関連して動作を行うこと は理解され得る。 B.特性処理部21の詳細な説明 上述のように、特性処理部21は、画像データを獲得するために用いられる特定 の装置または方法、および例えば画像処理システム10がダウンストリーム利用要 素12に処理済み画像データを提供した後で画像を描写するとき画像データを得る ために用いられる特定の装置または方法に関連して画像データを処理するとき画 像データ処理部20によって使用される画像処理パラメータデータを生成する。1 つの実施態様では、特性処理部21は、「変調伝達関数」および「ウィーナーノイ ズスペクトル」関数を含む画像源およびダウンストリーム利用要素特性データに 応じて画像処理パラメータ情報を生成する。光学系の変調伝達関数およびウィー ナーノイズスペクトルは、システムがその入力に応じて出力を生成するときシス テムによって行われる画像データの変更および空間フィルタリング、ならびに出 力を生成するときシステムによって生成される画像ノイズを定義する。一般に、 本明細書では画像源特性データに対しては「MTFI(f)」として示され、ダウンス トリーム利用要素特性データに対しては「MTFO(f)」として示される変調伝達関 数は、画像データ源11およびダウンストリーム利用要素12がそれぞれ、例えば画 像データ源の場合には画像獲得中に、ダウンストリーム利用要素の場合には描写 中に、画像の外観をどのように変調するかを識別する。一般に、モノクロの光学 系に対しては、光学系への入力および光学系からの出力の空間分布は、Ii(x,y) およびIo(x,y)によって与えられる。ここで、「x」および「y」は従来の座標軸 して定義され、ここで「*」は乗算演算である]、光学系の変調伝達関数MTF(f) 伝達関数MTF(f)は各色に対して個別に決定される。ウィーナースペクトルは、画 像データ源11によって提供されるオリジナルデータと共に導入されるノイズ、画 像データ処理部20での連続した処理動作中に加えられるかまたは除去されるノイ ズ、およびダウンストリーム利用要素による描写中に導入されるノイズを含む画 像内のノイズを特性付ける。ウィーナースペクトルは、均一の源画像がシステム に提供される場合に描写された画像内のデータ変動を観察することによって最も 容易に評価される。 上述のように、画像化システムの変調伝達関数およびウィーナーノイズスペク トルは合同して、システムが入力に応じて出力を生成するときシステムによって 行われる空間フィルタリング、および出力を生成するときシステムによって生成 されるノイズを定義する。従って、特定の画像データ源11のための変調伝達関数 およびウィーナーノイズスペクトルは、本質的に、例えば源画像または物理的な 目的物から画像データを獲得または生成するとき画像データ源11によって行われ る空間「処理」を定義し、一方、特定のダウンストリーム利用要素12のための変 調伝達関数およびウィーナーノイズスペクトルは、本質的に、画像を描写すると きダウンストリーム利用要素によって行われる「処理」を定義する。異なる光学 系または異なるタイプの光学系が異なったやり方で入力を「処理」する場合は、 これらの光学系は異なる変調伝達関数およびウィーナーノイズスペクトルを有す る。画像処理パラメータ情報を生成するとき、特性処理部21は、本質的には、画 像データを提供した特定の画像データ源11および処理済み画像データを使用する 予定のダウンストリーム利用要素12の特定の変調伝達関数およびウィーナーノイ ズスペクトルに関連してオペレータによって提供される画像処理動作選択情報に おいて要求されるのと同じ順序で処理動作を行い、これにより、この画像データ 源11およびダウンストリーム利用要素12に対して、画像データ処理部20による画 像データの処理が最適化される。 上記のことを背景として、図2に示すように、特性処理部21は、画像処理プロ ファイル生成器21Aと画質値生成器21Bとパラメータ最適化器21Cとを含み、これ らすべてがコントローラ21Dによって制御され、画像データ処理部20によって使 用されるパラメータの最適値セットを生成する。これらの要素について図9に関 連して詳細に述べる。一般に、コントローラ21Dは、オペレータからの画像処理 動作選択情報に応じて、画像処理プロファイル生成器21Aを、それぞれ画像デー タ源11およびダウンストリーム利用要素12からの画像源およびダウンストリーム 利用要素特性データを処理する特性処理原子チェーンとして確立する。画像処理 システム10のいかなる特定の実施態様においてもコントローラ21Dにアクセス可 能な特定の特性処理原子は、画像データ処理ライブラリ30を構成する分子および 分子クラス内の原子の集合によって使用され得るパラメータに依存する原子であ ることは理解され得る。図6〜図8に関連して上述した特定の画像処理原子に関 連して使用される特性処理原子の特定の例を図9に関連して以下に述べる。コン トローラ21Dは、特性処理原子のうちの特定の原子を選択し、これらを連結して 画像処理動作選択情報で特定される1つ以上の特性処理チェーン(上記の図4の ステップ111)を含む画像処理プロファイル生成器21Aを形成し、これらを使用し て画像処理パラメータデータを生成する。 特定の特性処理チェーンの例を図9に示す。上述のように、1つの実施態様で は、画像源およびダウンストリーム利用要素特性データは、変調伝達関数情報お よびウィーナーノイズスペクトル情報を含む。この実施態様では、特性処理コン トローラ21Dは、実際には、画像処理プロファイル生成器を2つの特性処理チェ ーンとして確立する。これらチェーンの一方は、変調伝達関数情報を処理するも ので参照番号122によって識別され、他方は、ウィーナーノイズスペクトル情報 を処理するもので参照番号123によって識別される。チェーン122および123のそ れぞれの原子列は、オペレータからの画像処理動作選択情報によってイネーブル にされる画像データ処理ライブラリ30内の選択された分子32〜35内の画像データ の空間処理を行う原子列に対応する。従って、上述のように、分子32(0)(図5 )、33(0)(図6)、および35(0)(図7)が選択される場合、および画像データ に関連する空間処理を行う原子のすべてがイネーブルにされる場合に、特性処理 コントローラ21Dは、図9に示すようなチェーン122および123を確立する。 従って、図9を参照して、変調伝達関数処理チェーン122は、画像サイズ変更 /ズーム動作を行う原子122(0)、ノイズ低減動作を行う原子122(1)、鮮明化動作 を行う原子122(2)、圧縮動作を行う原子122(3)、および例えば画像を描写すると き特定のダウンストリーム利用要素12によって行われる処理に対応する処理動作 を行う原子122(J)を含む、一連の特性処理原子122(0)〜122(J)(一般に参照番号 122(j)によって識別される)を含む。1つの実施態様に関連して原子122(1)〜122 (J)によって行われる特定の動作を以下に述べる。チェーン122内の原子122(0)、 122(1)、122(2)、および122(3)の順序は、画像サイズ変更/ズーム、ノイズ低減 、鮮明化、および圧縮が、上述のように分子32(0)、33(0)、および35(0)の画像 データ処理部によって行われる順序に対応することは理解され得る。さらに、ダ ウ ンストリーム利用要素12は明らかに、例えば描写される前に画像データに関連し て行われる最後の処理であるため、ダウンストリーム利用要素12に関連する原子 122(J)は最後に位置する。原子122(J-1)によって表される追加の原子は、例えば 、特殊効果分子クラス34内の選択された特殊効果分子34(l)または図6〜図8に は示していない分子32(0)、33(0)、および34(0)内に配備され得る他の原子によ ってパラメータが必要とされる可能性を表すために示されている。 ウィーナーノイズスペクトル処理チェーン123は、ウィーナーノイズスペクト ル情報に関連して対応する画像サイズ変更/ズーム、ノイズ低減、鮮明化、圧縮 などの動作を行う原子123(0)〜123(J)を含む。ウィーナーノイズスペクトル処理 チェーン123内の原子123(0)〜123(J)は、変調伝達関数処理チェーン122内の原子 122(0)〜122(J)によって行われる動作に対応する動作を行うが、原子123(0)〜12 3(J)によって行われる特定の動作は、原子122(0)〜122(J)によって行われる特定 の動作と同じである必要はない。ウィーナーノイズスペクトル処理チェーンの原 子123(0)〜123(J)によって行われる特定の動作の例についても以下に述べる。 特性処理部21はさらに、画質関数値決定要素124とパラメータ最適化要素125と を含み、これらは共に図9に示され、それぞれ画質値生成器21Bとパラメータ最 適化器21C(図2)に対応する。上述のように、特性処理部21は、例えば、画像 を獲得および描写する特定の画像データ源11およびダウンストリーム利用要素12 に関連する変調伝達関数およびウィーナーノイズスペクトル情報を処理して、画 像データ処理部20によって使用される画像処理パラメータを生成する。これを行 うとき、変調伝達関数チエーン122を構成する原子122(j)およびウィーナーノイ ズスペクトルチェーン123を構成する原子123(j)は、一般に、パラメータ最適化 要素125によって提供されるパラメータを使用して、変調伝達関数およびウィー ナーノイズスペクトル情報を処理して、画質関数値決定要素124によって、例え ばダウンストリーム利用要素12によって描写される画像の質を表す単一の画質関 数値を生成するために、使用される情報を生成する。パラメータ最適化要素125 は、この画質関数値を受け取り、変調伝達関数チェーン122およびウィーナーノ イズスペクトルチェーン123に提供される様々なパラメータの値を使用して、更 新パラメータ値を生成する。変調伝達関数チェーン122およびウィーナーノイズ スペクトルチェーン123は、更新されたパラメータ値を使用して動作を繰り返し 、画質関数決定要素124に提供すべき更新情報を生成する。変調伝達関数チェー ン122およびウィーナーノイズスペクトルチエーン123からの更新情報に応じて、 画質関数決定要素124は、チェーン122および123に提供され得るさらに別のパラ メータ値セットを生成するときパラメータ最適化要素125によって使用される更 新画質関数値を生成する。これらの動作は、パラメータ最適化要素125が、反復 中に生成するパラメータ値が所定の反復終了基準を満たすと決定するまで一連の 反復により繰り返され、反復終了基準を満たすと決定されると、反復は停止され 、パラメータ最適化要素は、決定されたパラメータ値を画像処理パラメータデー タとして画像データ処理部20に提供する。1つの実施態様では、パラメータ最適 化要素125によって変調伝達関数チェーン122およびウィーナーノイズスペクトル チェーン123に提供されるパラメータ値初期セットはランダム値として生成され 、最適化要素は、所定の反復中に生成されるパラメータ値が前の反復中に使用さ れた対応するパラメータ値の選択された許容範囲内であるかどうかを決定するこ とによってパラメータ終了基準を満たしているかどうかを決定する。 変調伝達関数、ウィーナーノイズスペクトル、およびパラメータ最適化要素12 5によって提供されるパラメータの値に関連してチェーン122および123を構成す る原子122(j)および123(j)によって行われる特定の動作は、上述のように、一般 に、画像データ処理部20内の選択された分子32(j)、33(k)、34(l)、および35(m) の対応する原子によって行われる動作によって決定される。チェーン122および1 23に提供される変調伝達関数およびウィーナーノイズスペクトルはDCT係数値の 形態であり、変調伝達関数およびウィーナーノイズスペクトルを生成するとき使 用される様々な周波数fiに対する値のマトリックスを事実上構成する。従って、 変調伝達関数マトリックスは本明細書では「M(fi)」として表され、確立された 慣行に従えば、二次元ウィーナースペクトルマトリックスW(fi,O)を通る一次元 スライスはW(fi)として表される。 画像サイズ変更/ズーム原子122(0)および123(0)は、ズームファクター「Z」 ならびに特性処理部21に提供される入力変調伝達関数M(fi)およびウィーナーノ イズスペクトルW(fi)に応じて、サイズ変更またはズーム化された画像のそれぞ れ変調伝達関数およびウィーナーノイズスペクトルを表すズーム化された変調伝 達関数およびウィーナーノイズスペクトル値を、各周波数成分fiに対して以下の ように生成する。 Mz(fi)=M(fi *Z) ...(1) Wz(fi)=W(fi *Z)*2 ...(2) ズームファクター「Z」の値は、画像処理動作選択情報の一部としてオペレータ によって提供されるか、またはさらに画像データ源およびダウンストリーム利用 要素のピクセル(画素)のサイズに相関し得る。 ノイズ低減原子122(1)および123(1)は、提供されるズーム化された変調伝達関 数Mz(fi)およびウィーナーノイズスペクトルWz(fi)に応じてノイズ低減された変 調伝達関数およびウィーナーノイズスペクトル値M'(fi)およびW'(fi)を以下のよ うに生成する。 M′(fi)=NM(α,β,M(fi),W(fi))*z(fi) ...(3) および W′(fi)=Nw(α,β)*z(fi) ...(4) ここで、NM(α,β,M(fi),W(fi))は、パラメータαおよびβ、ならびに変調伝達 関数処理チェーン122のノイズ低減原子123(1)に提供される変調伝達関数M(fi)お よびウィーナーノイズスペクトルW(fi)の関数であり、Nw(α,β)は、パラメータ αおよびβ、ならびにウィーナーノイズスペクトル処理チェーン123のノイズ低 減原子123(1)に提供されるウィーナーノイズスペクトルW(fi)の関数である。1 つの実施態様におけるパラメータαおよびβを以下に述べる。 1つの実施態様では、ウィーナーノイズスペクトル処理チェーン123のノイズ 低減原子123(1)は、一般化されたノイズフィルタとしてモデル化される。一般に 、ウィーナーノイズフィルタに入力される信号C(fi)は所望の信号成分S(fi)およ びノイズ成分N(fi)の両方を含む。すなわち、C(fi)=S(fi)+N(fi)である。一般 化さ れたウィーナーノイズフィルタは以下の等式に従って各周波数fiのための出力C' (fi)を生成する。 均一画像に対しては、入力信号の所望の信号成分はゼロ値であり、従って入力信 号全体がノイズ成分によって表される。すなわちC(fi)=N(fi)である。従って、 等式(5)から、 が得られる(ここで、「ε」は期待値関数を示す)。なぜなら、N(fi)によって 表されるノイズはランダムであると推定されるからである。ノイズ低減されたウ ィーナーノイズスペクトルW'(fi)を生成するためには、期待値は、ゼロと1の分 散との平均値を有する新しいランダム分布の変数 を使用することによって、等式(6)に基づいてウィーナーノイズスペクトルノイ ズ低減ファクター「nrfw(α,β)」を生成することによって生成される。この場 合には、ウィーナーノイズスペクトルノイズ低減ファクターは、 に対応し、従って、ξの離散値に対しては、 である。ここで、ξj=jδξであり、δξはサンプリング間隔である。1つの実 施態様では、高レベルのノイズ低減では、観察される実際の残留ノイズ量は、等 式(8)から得られるノイズ低減ファクターnrfW(fi)を等式(4)のNw(α,β,W(fi)) として直接使用した場合に存在する量より幾分多い。この差を調節するために、 ノイズ低減されたウィーナーノイズスペクトルは以下のようにモデル化される。 これにより、等式(4)のNw(α,β)は、 Nw(α,β,W(fi)=0.996*nrfw(α,β)+0.011* e -12.2nrfW( α.β) に対応する。高レベルのノイズ低減では、nrfW(α,β)が比較的低いときは、NW( α,β)の値は値「0.011}」に近づき、ノイズ低減ファクター値が大きくなるに 従ってNw(α,β)の値は0.996*nrfw(α,β)に近づく。 等式(3)のノイズ低減された変調伝達関数M'(fi)を計算するためにNM(α,β,M( fi),W(fi))のための式を決定するとき、変調伝達関数は、ノイズ低減原子122(1) によって処理されるノイズ低減された信号振幅C'(fi)の期待値の入力信号振幅C( fi)の期待値に対する比率の期待値から決定され得る。すなわち、各周波数fiに 対して、 が成り立つ。一般に、実世界の画像Sw(fi)のための平均スペクトル信号振幅分布 は、ε[Sw(fi)]=So/fiに対応し、ここでSoは、画像にわたる信号振幅の分散に関 連 する。上述のような画像獲得システムのための変調伝達関数の定義から、画像獲 得システムによって獲得される画像の信号振幅の期待値ε[Si(fi)]は以下に対応 する。 信号およびノイズの両方が、平均値がゼロの独立したランダム変数である場合は 、和C(fi)もまたゼロ平均値で分散が のランダムであり、 の確率分布関数を有する。等式(12)で、指数 を変数「λ」に置換すると、等式(5)および等式(10)が結合されて以下の式とな る。 または ここで、λj=j*δλである。ノイズ低減原子122(1)は、ノイズ低減された変調伝 達関数M'(fi)を生成するとき、等式(10)と共に各周波数fiに対してNM(α,β,M(fi ),W(fi))の値を使用する。 鮮明化原子122(2)および123(2)は、鮮明化マトリックスK(fi)を用いて、提供 されるノイズ低減された変調伝達関数マトリックスM'(fi)およびノイズ低減され たウィーナーノイズスペクトルマトリックスW'(fi)の様々な値のうちの複数の値 に関連して以下のような鮮明化を行う。すなわち、変調伝達関数チェーン122の 鮮明化原子122(2)に対しては M″(fi)=K(fi)M′(fi) ...(15) およびウィーナーノイズスペクトルチェーン123の鮮明化原子123(2)に対しては W″(fi)=[K(fi)]2W′(fi) ...(16) のように鮮明化を行う。1つの実施態様では、鮮明化マトリックスK(fi)の各要 素は により決定される。ここで、γおよびΔはパラメータであり、δは画素の幅を表 す。等式(15)および(16)の両方から、鮮明化マトリックスK(fi)をノイズ低減さ れた変調伝達関数マトリックスM'(fi)およびノイズ低減されたウィーナーノイズ スペクトルマトリックスW'(fi)と乗算するとき、各マトリックスの対応する要素 同士が乗算されることは明らかである。等式(17)の鮮明化マトリックスK(fi)は 、一般に、より高い周波数の変調伝達関数およびウィーナーノイズスペクトル成 分に関連するマトリックスM'(fi)およびW'(fi)のマトリックス要素の値を増加さ せ、この増加の程度はパラメータγおよびΔの幾分複雑な関数であることは理解 され得る。変調伝達関数チェーン122の鮮明化原子122(2)は、等式(15)および(17 )に従ってマトリックスM"(fi)を生成し、ウィーナーノイズスペクトルチェーン1 23の鮮明化原子123(2)は、等式(16)および(17)に従ってマトリックスW"(fi)を生 成する。これらの原子は得られるマトリックスをそれぞれの圧縮原子122(3)およ び 123(3)に提供する。 図8に関連して上述したように、JPEG圧縮分子35(m)は、事実上、量子化およ びハフマン符号化の両方を用いて圧縮を行う。ハフマン符号化は事実上画像情報 を失うことはないが、量子化は画像情報を失い得るため、圧縮原子122(3)および 123(3)は、圧縮の量子化部分のみに関連して処理を行い、量子化された変調伝達 関数およびウィーナーノイズスペクトル値を以下のように事実上生成する。 M(fi)q=LM(fiq(fi))M″(fi) ...(18) W(fi)q=Lw(fiq(fi))W″(fi) ...(19) ここで、LM(fiq(fi))およびLW(fiq(fi))は、周波数fiおよび後述するスケ ール化量子化間隔Δq(fi)の両方の関数であり、それぞれノイズ低減された鮮明 化変調伝達関数値M"(fi)およびウィーナーノイズスペクトル値W"(fi)を量子化す るとき圧縮原子122(3)および123(3)によって使用される量子化ファクターを表す 。JPEG標準に関連して圧縮を行うときは、圧縮原子122(3)および123(3)は、異な る周波数fiのそれぞれのための量子化値間の間隔を定義し、眼の感度を詳細に示 すコントラスト感度関数から引き出されるスケール化量子化マスクQ(fi)を使用 する。圧縮原子122(3)および123(3)は、スケーリングファクターに関連して量子 化間隔をスケール化する。従って、任意の特定の周波数fiに対して、スケール化 量子化間隔は以下によって与えられる。 Δq(fi)=S*Q(fi) ...(20) ここで、「S」は量子化スケーリングファクターであり、特性処理部21によって 提供されるパラメータの1つである。 Xqの分散はxの分散に関連して以下により決定される。 ここで、Δqは有効量子化間隔である。 一般に、信号パワースペクトルSi(fi)およびノイズパワースペクトルW(fi)の 値はランダム変数の分散を表す。従って、量子化変調伝達関数は量子化後の信号 パワーの非量子化信号パワーに対する比率から決定されるため、等式(21)から、 量子化変調伝達関数M(fi)qは以下に対応する。 ここで、 は画像の信号パワーの期待値を表し(上記の基準等式(11))、Δqは、等式(20) によって与えられる量子化間隔に対応する。同様に、量子化されたウィーナーノ イズスペクトル値は以下によって与えられる。 ゼロに対応する周波数成分fiに対しては、量子化された変調伝達関数M(fi)qは値 「1」を有し、量子化されたウィーナーノイズスペクトルW(0)qの値は以下によっ て与えられる。 変調伝達関数処理チェーン122およびウィーナーノイズスペクトル処理チェー ン123のダウンストリーム利用要素原子122(J)および123(J)はそれぞれ、ダウン ストリーム利用要素12を特性付ける提供されるダウンストリーム利用要素変調伝 達関数情報およびダウンストリーム利用要素ウィーナーノイズスペクトル情報に 関連して、それぞれの上流側の原子122(J-1)および123(J-1)によって提供される 変調伝達関数およびウィーナーノイズスペクトルを処理する。この例示する実施 態様では、画像処理選択情報により、画像完全性分子クラス33内で分子33(0)が 選択され、また圧縮分子内でJPEG圧縮分子35(0)が選択されるのが可能になるが 、画像処理選択情報はまた、原子122(J)および123(J)が、処理チェーン122およ び123内でそれぞれの圧縮原子122(3)および123(3)の直後に続くことを可能にす る。従って、ダウンストリーム利用要素処理原子122(J)および123(J)は、量子化 、鮮明化、およびノイズ低減が行われた変調伝達関数およびウィーナーノイズス ペクトル値M(fi)q(等式(22))およびW(fi)q(等式(24))を受け取り、ダウンス トリーム利用要素12のために、それぞれ変調伝達関数およびウィーナーノイズス ペクトルに関連してこれらを処理する。 ダウンストリーム利用要素12が、それぞれMDOWN(fi)およびWDOWN(fi)によって 表される変調伝達関数およびウィーナーノイズスペクトルによって特性付けられ る場合は、例えば画像を描写するとき、ダウンストリーム利用要素は、画像の変 調伝達関数にダウンストリーム利用装置12を特性付ける変調伝達関数を掛けるこ とによって、および画像を特性付けるウィーナーノイズスペクトルをダウンスト リーム利用装置12を特性付けるウィーナーノイズスペクトルに加えることによっ て、提供される画像情報を処理する。すなわち、ダウンストリーム利用要素12へ の入力としての画像情報が変調伝達関数MIM(fi)およびウィーナーノイズスペク トルWIM(fi)によって特性付けられる場合、描写された画像は事実上MDOWN(fi)*MIM (fi)によって特性付けられる。ここで、「*」は乗算演算を表し、WDOWN(fi)+ WIM(fi)である。従って、上述の例示した実施態様では、ダウンストリーム利用 要素に接続される処理済み画像データは、事実上、それぞれ量子化、鮮明化、お よびノイズ低減が行われた変調伝達関数およびウィーナーノイズスペクトルM(fi )qおよびW(fi)qによって表されるため、変調伝達関数ダウンストリーム利用要素 原子122(J)は、処理済み変調伝達関数出力M'(fi)qを以下のように生成し、 M′(f)q=MDOWN(fi)*M(fi)q ...(26) ウィーナーノイズスペクトルダウンストリーム利用要素原子123(j)は、ウィーナ ーノイズスペクトルダウンストリーム利用要素値を以下のように生成する。 W′(fi)q=WDOWN(fi)+W(fi)q ...(27) ダウンストリーム利用要素12の変調伝達関数MDOWN(fi)およびウィーナーノイズ スペクトルWDOWN(fi)が特定されない場合は、1つの実施態様では、これらはそ れぞれ値1およびゼロを有すると仮定される。本質的には、ダウンストリーム利 用要素12は、入力される変調伝達関数に影響を及ぼさずまたノイズがないと仮定 される。すなわち、入力される画像を本質的に変更せずに転送すると仮定される 。ダウンストリーム利用要素原子122(J)および123(J)によって生成されるM'(fi)q およびW'(fi)q値は、それぞれ変調伝達関数処理チェーン122およびウィーナー ノイズスペクトル処理チェーンの出力を表し、事実上、反復中にパラメータ最適 化要素125によって提供される特定の予備パラメータ値に応じた、およびさらに 、例えば画像を描写するときダウンストリーム利用要素12によって行われる処理 に応じた、画像データの処理を表す。 上述のように、原子122(J)および123(J)は、M'(fi)qおよびW'(fi)q値を、これ らの値を処理して単一の画質関数値を生成する画質関数決定要素124に接続させ る。単一の画質関数値は次に、引き続く反復で変調伝達関数処理チェーン122お よびウィーナーノイズスペクトル処理チェーン123によって使用されるようにパ ラメータ値を更新するときパラメータ最適化要素125によって使用される。1つ の実施態様では、画質関数値決定要素124は、2つの成分、すなわち変調伝達関 数情報M'(fi)qによって特性付けられる描写画像の鮮明度を反映する鮮明度成分 と、ウィーナーノイズスペクトル情報W'(fi)qによって特性付けられる描写画像 の粒子粗さを反映する粒子粗さ成分に応じて、単一の画質関数値を生成する。両 成分に対して、画質関数決定要素124は、以下のように定義されるスペクトル重 み付けファクターω(fi)を使用する。 ここで、E(fi)は、選択された視界距離での画像に対する眼(または他の視覚系 )のスペクトル反応である。所定の周波数成分fiに対する画像の鮮明度は、その 周波数成分に対する変調伝達関数の値およびスペクトル重み付けファクターω(fi )に相関し、鮮明度の客観的な測定基準は、周波数範囲にわたる乗法積の積分を 同じ周波数範囲にわたるスペクトル重み付けファクターω(fi)の積分によって基 準化したものとして定義される。従って、1つの実施態様では、画質関数決定要 素は、変調伝達関数M'(fi)qおよびスペクトル重み付けファクターに応じて鮮明 度ファクター値SQVを以下のように生成する。 ここで、「ηs」は任意の比例定数であり、これは1つの実施態様では、100であ ると選択される。等式(29)の積分は、ゼロからナイキスト周波数fNまでの周波数 範囲にわたってとられる。1つの実施態様では、画質関数決定要素124は、周知 のシンプソンの近似規則を用いて等式(29)の積分を概算する。またこの実施態様 では、鮮明度ファクター値を以下のように生成する。 ここで、flは一連の周波数成分fiのうちで最も低い非ゼロ周波数成分である。画 質関数決定要素124は、等式(29)を用いて生成する鮮明度ファクター値または等 式(30)を用いて生成する近似値を使用して、画質関数決定で用いられる鮮明度測 定基準QSを以下のように生成する。 QS=αSSQV+βS ...(31) ここで、αSβSは、値が経験により決定される定数であり、1つの実施態様では 、定数αSおよびβSの値は経験によりそれぞれ2.068および-38.66と決定された 。 上述のように、ウィーナーノイズスペクトルは、獲得または描写された画像の 粒子粗さに関連し、このため画質関数決定要素124は、粒子粗さファクターGを 生成するとき、ウィーナーノイズスペクトル処理チェーン123によって生成され るウィーナーノイズスペクトル値W'(fi)qを使用する。所定の周波数成分fiに対 する画像の粒子粗さは、ウィーナーノイズスペクトルの値、およびこの周波数成 分に対するスペクトル重み付けファクターω(fi)の二乗の関数である。また、粒 子粗さの客観的な測定基準は、周波数領域にわたる乗法積の積分を同じ周波数領 域にわたるスペクトル重み付けファクターω(fi)の二乗の積分によって基準化し たものとして定義される。従って、1つの実施態様では、画質関数決定要素124 は、ウィーナーノイズスペクトルW'(fi)qおよびスペクトル重み付けファクター に応じて粒子粗さ値Gを以下のように生成する。 等式(32)内の積分は、ゼロからナイキスト周波数fNまでの周波数領域にわたって とられる。1つの実施態様では、画質関数決定要素124は、シンプソンの近似規 則を用いて等式(32)の積分を概算し、またこの実施態様では、粒子粗さ値を以下 のように生成する。 画質関数決定要素124は、等式(32)を用いて生成する粒子粗さ値または等式(33) を用いて生成する近似値を用いて、画質関数決定で使用される粒子粗さ測定基準 QGを以下のように生成する。 QG=αGlogl0G+βG ...(34) ここで、αGおよびβGは、値が経験により決定される定数であり、1つの実施態 様では、定数αGおよびβGの値は経験によりそれぞれ-75.07および104.5と決定 された。 画質関数決定要素124は、鮮明度測定基準QSおよび粒子粗さ測定基準QGを使用 して、画質関数を用いて画質測定基準値IMQを以下のように生成する。 明度測定基準QSまたは粒子粗さ測定基準QGの一方が比較的大きな値を有し、他方 が比較的小さな値を有する場合は、比較的小さな値を有する測定基準が一般に画 質値IMQを制御するように選択される。一方、鮮明度測定基準QSおよび粒子粗さ 測定基準QGがほぼ同じ値を有する場合は、画質値IMQは両測定基準の値に大きく 依存する値を有する。 さ測定基準QGに対して高い値で反映される高質レベルでは、観察者によって観察 される画質が水準化されるという経験により観察された事実を反映するためであ る。1つの実施態様では、測定基準は上述のように生成され、「n」は値「2.5」 を有し、シーリング画質値を与えるQCEILの値は、特定のタイプの画像の多くの 心理視覚的評価に対する予測画質の画質関数値における最小二乗法誤差を最小限 にする値を有するように選択され、この実施態様では、所定のクラスの画像、す なわち写真プリントに含まれる画像に対しては118の値を有する。 上述のように、変調伝達関数およびウィーナーノイズスペクトル処理チェーン 122および123、画質関数決定要素124、およびパラメータ最適化要素125は、一連 の反復を行い、各反復の間に、変調伝達関数およびウィーナーノイズスペクトル 処理チェーンは、パラメータ最適化要素125からの試行パラメータセットに応じ て、それぞれの処理済み変調伝達関数およびウィーナーノイズスペクトル値M'(fi )qおよびW'(fi)q(等式(26)および(27))を生成し、画質関数決定要素124は、処 理チェーン122および123によって生成される処理済み変調伝達関数およびウィー ナーノイズスペクトル値M'(fi)qおよびW'(fi)qに応じて、画質値IMq(等式(35)) を生成する。上述のように、パラメータ最適化要素125は、画質値IMqを最大限に するパラメータα、β、γ、Δ、およびSの値セットを生成する。パラメータ最 適化要素は、この最大画質値IMqを提供するパラメータ値セットを識別すると、 画像データ処理部20による画像処理を最適化するパラメータ値を事実上決定し、 これらのパラメータ値を画像処理パラメータデータとして、ノイズ低減原子93お よび94(パラメータαおよびβ)、鮮明化原子95(パラメータγおよびΔ)、な らびに量子化原子112(パラメータS)によって使用されるように、画像データ 処理部20に提供する。 パラメータ最適化要素125は、関数の極値、特に最大値の位置を突き止める多 くの周知の方法のいずれかを用いて所望のパラメータ値セットを生成し得る。こ のような方法のいくつかについては、例えば、W.PressらのNumerical Recipes In Fortran 2d ed.(Cambridge University Press,1992)の第10章に記載されて いる。1つの実施態様では、パラメータ最適化要素125は、改変された「下り坂 単体方法(downhill simplex methodology)」に従って作動する。例えば上記のPr essの本の402〜406頁に記載されている下り坂単体方法は、複数個「N」の変数( この場合は、ノイズ低減原子122(1)および123(1)によって使用されるパラメータ αおよびβ、鮮明化原子122(2)および123(2)によって使用されるパラメータγお よびΔ、ならびに圧縮原子122(3)および123(3)によって使用されるパラメータS )の特定の関数(この場合は、画質値IMq)に対して、この関数の極値(すなわ ち、最大値または最小値)およびこの極値を提供する変数の値の識別を可能にす る方法である。下り坂単体方法によれば、パラメータ最適化要素125は、N次元 の幾何学形状として表される最初の「単体」を生成する。画質値IMqは5つのパ ラメータα、β、γ、Δ、およびSの関数であるため、画質関数IMqに関連する 単体は、6個の頂点(すなわちN+1個の頂点、「N」は独立変数の数)を有する 五次元の形状(各次元は変数、すなわちパラメータα、β、γ、Δ、およびSの うちの1つに関連する)として表され、これは最初はランダムに選択され得る。 五次元空間では、単体の各頂点Viは、各頂点Viが関連する画質関数値IMqiを有す る5集合体(αi、βi、γi、Δi、Si)として定義される。 下り坂単体方法によれば、パラメータ最適化要素125は、試行パラメータαi、 βi、γi、Δi、およびSi(「i」は1〜6の整数)の6つの異なる値セットをラ ンダムに選択して単体を定義する6つの頂点Viを表し、各セット「i」に対して 変調伝達関数およびウィーナーノイズスペクトル処理チエーン122および123なら びに画質関数決定要素124が上述のように画質値IMqiを生成するのを可能にする ことによって、最初の単体を定義する6つの頂点の初期セットを確立する。パラ メータαi、βi、γi、Δi、およびSi(「i」は1〜6の添字)の6つの初期セ ットすべてに対して画質値IMqiが生成された後、パラメータ最適化要素125は、 6つのオリジナルセットαi、βi、γi、Δi、およびSiのうちの1つによって 表される頂点Vi、すなわち画質関数IMqIに対して最も低い値を与える頂点VIに置 き換わる単体のための新しい頂点V7を表す新しいパラメータセットα7、β7、γ7 、Δ7、およびS7を生成する。新しい頂点V7を生成するとき、パラメータ最適 化要素125は、選択された頂点VIに関連する多くの動作のうちの1つを行って、 パラメータ値α7、β7、γ7、Δ7、およびSiが、頂点VIに関連する画質値IMqI より良好である画質値IMq7を提供する新しい頂点を得ようとする。パラメータ最 適化要素125は、(a)容積を保持する一方で選択された頂点Viを単体の対向面を通 して反映すること、(b)選択された頂点Viの反映および対向面に直交する方向へ の拡張または収縮、ならびに(c)1つ以上の面の収縮を含む単体に関連した多 くのタイプの動作を行い得る。 新しい頂点V7を生成するとき、パラメータ最適化要素125は、上述の動作を用 いて、試行パラメータ値セットα7 T、β7 T、γ7 T、Δ7 T、およびS7 Tを含む新し い試行頂点V7 Tを生成し、パラメータ最適化要素125はこれらを変調伝達関数およ びウィーナーノイズスペクトル処理チェーン122および123ならびに画質関数決定 要素124に提供して、試行画質値IMQ7 Tを生成する。試行画質値IMq7 Tが少なくと も二番目に低い試行画質値IMqiより高い場合は、パラメータ最適化要素125は、 その試行 画質値IMq7 Tに関連する試行頂点V7 Tを、その単体のための新しい頂点V7として使 用する。さもなくば、新しい試行頂点V7 Tに応じて生成される試行画質値IMq7 Tが 少なくとも二番目に低い試行画質値IMqiより高くない場合は、選択された頂点VI に関連して上述の選択された動作のうちの他の動作またはこれらの組み合わせを 行って別の新しい試行頂点V7 Tを見つけ、そしてこれらの動作を繰り返す。パラ メータ最適化要素125は、値が少なくとも二番目に低い試行画質値IMqiより高い 試行画質値IMq7 Tの試行頂点V7 Tを識別し、この試行頂点V7 Tを新しい頂点V7とし て使用するまでこれらの動作を繰り返す。 パラメータ最適化要素125は、一連の反復を通して上述の動作を繰り返し、各 反復の間に新しい頂点Vi(「i」は7より大きい添字)を生成して最も低い画質 値IMqに関連する頂点を置き換える。反復は選択された終了基準が満たされるま で続く。1つの実施態様では、パラメータ最適化要素125は、好ましくは、単体 を定義する頂点のうちの少なくともいくつかの頂点の最も高い画質値IMqiが選択 された許容値内であるとき終了する。さらに、上記の好適な終了基準を満たして いない場合は、パラメータ最適化要素125のための所定の最大反復数が特定され 、パラメータ最適化要素125は、この所定の最大数の反復を行った後終了し得る ことは理解され得る。パラメータ最適化要素125は、少なくとも第1の終了基準 に関連して処理を終了すると、上述の画像データ処理での使用のために、最も高 い画質値IMqに関連するパラメータ値を画像データ処理部20に提供する。(例え ば最大画質値IMqを決定することができないエラー条件を考慮して、選択された 最大反復数に基づく第2の終了基準が提供され得、この基準に応じて反復を終了 させる場合は、パラメータ最適化要素125は最も高い画質値IMqを有する頂点Viに 関連するパラメータの値を画像データ処理部20に提供し得る。もしくは、パラメ ータ最適化要素125は、ランダムに生成される新しい頂点を有する新しい単体を 使用して下り坂単体方法を繰り返し得る。) 1つの特定の実施態様では、様々なパラメータα、β、γ、Δ、およびSの値 は所定の範囲に限定される。この実施態様では、試行頂点Vi Tの位置を突き止め るとき、この試行頂点を特定するパラメータのうちの1つ以上のパラメータの試 行値がパラメータの範囲を外れる場合は、パラメータ最適値125はペナルティ機 能 を提供し、これにより、試行頂点に関連する試行画質値が事実上小さくされる。 このペナルティ機能は、パラメータの値が所定の範囲を外れる程度に比例する。 変形例としては、パラメータ最適化要素125は、試行頂点ViTを生成するとき、様 々なパラメータの所定の範囲内にある頂点のみに限定し得る。 上述のように、変調伝達関数処理チェーン122およびウィーナーノイズスペク トル処理チェーン123は、画像データ源11によって行われ、また例えばダウンス トリーム利用要素12によって描写される処理を事実上定義する画像データ源およ びダウンストリーム利用要素特性データを、実際の通信データが、オペレータに よって提供される画像処理動作選択情報に応じて選択される画像データ処理部20 の分子によって処理される方法に対応する方法で処理するために提供される。従 って、変調伝達関数およびウィーナーノイズスペクトル処理チェーン122および1 23内に配備される特定の原子セットは、様々な分子クラス32〜35からの特定の分 子セット32(j)、33(k)、34(l)、および35(m)、ならびにイネーブルにされるそれ ぞれの分子内の特定の原子に対応する。さらに、変調伝達関数およウィーナーノ イズスペクトル処理チェーン122および123内には、オペレータによって特定され る特定の処理動作に関連するが、それらのパラメータは生成されない原子が提供 され得る。一般には、変調伝達関数およびウィーナーノイズスペクトル処理チェ ーン122および123の原子は、画像データに関連する空間処理を行う選択された分 子32(j)、33(k)、34(l)、および35(m)のイネーブルにされた原子に対応する。 さらに、画質関数決定要素124によって提供される特定の画質値に関連して多 くの変更がなされ得ることは理解され得る。例えば、画質関数決定要素124は、 等式(35)に関連して上述した画質値IMqを提供することに加えて、またはこのよ うな画質値を提供する代わりに、画像データ源11およびダウンストリーム利用要 素12の選択された特性を反映する画質値を提供し得る。一例として、画質関数決 定要素124は、上述の画質値IMqに応じて、以下のように選択される色均衡矯正画 質値を生成し得る。 ここで、「ΔE」は、均一の所定の色のサンプル画像に基づくダウンストリーム 利用要素の色再生誤差を表し、E0はスケールファクターである。生成された画質 値はパラメータ最適化要素125に提供される。このようにして生成された色均衡 矯正画質値IMCBは、例えば観察者によって感知される描写画像の画質は、画像デ ータ源11によって生成される画像データまたはダウンストリーム利用要素12によ って描写される画像の色均衡に影響されるという事実を反映する。他の改変もま た当業者には明らかである。 画像処理システム10には多くの利点がある。特に、多様なタイプの画像データ 源によって提供され、オペレータによって選択される特定のタイプの処理動作に 基づいて多様なタイプのダウンストリーム利用要素によって使用される最適な画 像データ処理が容易となる。選択される処理動作セット、およびこれら処理動作 が適用される順序は、例えば、画像データ源によって描写される画像の外観に影 響を及ぼし、システム10は、最適画像または基準画像を表す画像データ源特性デ ータおよびダウンストリーム利用要素特性データを使用して、実際の画像データ の最適画質を提供するように画像データを処理するとき使用される多様なパラメ ータのための最適値セットを自動的に決定する。 画像処理システム10は専用のハードウェアまたは適切にプログラムされた汎用 デジタルコンピュータシステムで具現化され得る。もしくは、画像処理システム の選択された部分が専用ハードウェアで具現化され、他の部分が適切にプログラ ムされた汎用デジタルコンピュータシステムで具現化され得る。例えば、様々な 集積回路チップ製造業者が、上記のJPEG標準に従って画像データを処理する専用 処理回路を提供しており、このような回路を使用する画像処理システムの具現化 は当業者には明らかである。このような回路の例としては、例えば、LSI Logic Corporationによって提供されるCW702 JPEGコアがある。 上記の記述は、本発明の特定の実施態様に限定して行った。しかし、本発明に 変更および改変を行っても、本発明の利点のいくつかまたはすべてが得られ得る ことは明らかである。本発明の真の精神および範囲の内にあるこれらのまたは他 の変更および改変を包含することが添付の請求の範囲の目的である。DETAILED DESCRIPTION OF THE INVENTION                    Name: Automatically process image data                   Providing images with optimal perceived image quality                            System and method                                Field of the invention   The present invention relates generally to the field of image processing. In particular, many different types of dow There are many different types of image data as used by Image data that can be provided by a data source And an arrangement for processing according to the logical operation.                                Background of the Invention   In the past, for example, the processing of photographic images has involved a myriad of optical lenses and other requirements. Operators often need to use complex and expensive optics, They can produce more special effects and also perform compositing and other operations did it. Clearly, the integrity of such processing is clearly the quality of the optics and the lifetime of the optics Correlates to the degree of maintenance over time. These optics are clearly analog Therefore, for example, it is ensured that processing performed in one system can be accurately reproduced in another system. It can be difficult to prove.   More recently, high-speed computers and high-speed digital logic Digital processing became possible. Digital processing has many distinct advantages . Digital systems are generally cheaper than high-quality analog systems and are Requires much less maintenance. In addition, several different of the same digital system Replication processes the same data according to the same set of operations and produces exactly the same result. Should be done. Digital systems can be created using traditional analog systems. Special effects, compositing, and other actions that were not only possible, but also Aids to optimize the appearance of the image, including noise reduction and image sharpening Many other possible operations are possible. These image enhancement operations applied Chi The specific behavior of a particular image, and the extent to which a particular image enhancement Specific device used to record or "acquire" the image, and the processed image Related to the particular device used, for example, for printing or "drawing" The order in which these and other operations are applied may be correlated. But each is an image A set of acquisition and rendering properties of its own that can be deployed to acquire and render Countless types of devices with and without operators wanting to apply to images Given the existence of several types of image enhancement and other operations, The image enhancement operation so that the optimal image can be output It is generally difficult to predict a priori a priori.   More generally, today, operators use image processing applications Run the program for a specific intent (ie, the best image possible for this purpose). Enlarge the image and send it to Printer X) and head for the terminal. The operator is Determine what is wrong based on the display of the And select an operation such as sharpening to enhance the image quality. Sharpness selected by operator The amount of inflection is guesswork and may be somewhat effective depending on the experience of the operator. this Is completed, the operator interactively resizes the image and cuts it into pieces. You may want to take. When you do this, the sharpness achieved by the first action Is no longer valid and you may need to sharpen the image Not. If the image is sharper like this, noise becomes a big problem, The operator attempts to compromise by reducing the sharpness in some way. The image is final If it looks good, the operator sends it to the printer, Displays an image that is completely different from the monitor in color, contrast, sharpness and tint. Is printed. The operator returns to the image on the monitor, modifies it, and prints the image. Try printing again, compensating for the image problem in a different way. This process is Repeat until the data is tired or an acceptable print is obtained. This Successful processes require experience, are very subjective, time consuming and It is a frustrating task.                                Summary of the Invention   The present invention is used by many different types of downstream utilization elements. Image data provided by many different types of image data sources, Process according to the image processing operation specified by the operator, and this process According to the reference image data provided by the data source and downstream utilization elements. To provide new and improved arrangements.   Briefly summarized, the new image processing system uses image data from image data sources. A series of related processing operations that receive data and are identified by the operator. To generate processed image data, and process the processed image data downstream. Provide to the usage element. The image processing system includes an image data processing unit and a characteristic processing unit. Including. The image data processing unit performs an actual image processing operation related to the input image data. This processing is performed in association with the processing operation parameter information. Characteristic processing section Defines selected characteristics of image data sources and downstream utilization elements Receiving data source and downstream usage element characteristic information, Processing operation and data source characteristic information and downstream selected Processing operation parameter information is generated according to the usage element characteristic information. The characteristic processing unit The image data processing section generates the processed image data having the selected optimal image characteristics. The processing operation parameter information is generated so that the processing operation parameter information can be generated.                             BRIEF DESCRIPTION OF THE FIGURES   The invention is pointed out with particularity in the appended claims. The above of the present invention And further advantages will be apparent from the following description, taken in conjunction with the accompanying drawings, in which: It can be better understood by reference.   FIG. 1 is an image acquisition and depiction including an image processing system configured according to the present invention. It is a diagram of a system.   FIG. 2 is an image processing forming part of the image acquisition and rendering system shown in FIG. It is a functional block diagram of a system.   FIG. 3 is an image data processing unit that constitutes a part of the image processing system shown in FIG. 3 is a flowchart showing a general operation performed by the CPU.   FIG. 4 is a block diagram showing a characteristic processing unit constituting another part of the image processing system shown in FIG. Is a flowchart showing a general operation performed by the user.   FIG. 5 shows a general structure of an image data processing unit of the image processing system shown in FIG. It is a functional block diagram shown.   6 to 8 are detailed function blocks showing details of each part of the image processing unit shown in FIG. FIG.   FIG. 9 is a detailed block diagram showing a characteristic processing unit of the image processing system shown in FIG. is there.                           Detailed description of the embodiments I.Overview   In psychovisual tests, human subjective opinions about image quality Is quantified by known methods such as category scaling or pair comparison . These methods can be used to reduce the average quality of an image as determined by a group of observers. A numerical value to represent can be associated with the image. Furthermore, by these methods, A numerical scale is established that positions the individual images. These methods are renewable It has been proved that they are and are related to each other.   Image quality is primarily based on four image parameters: image sharpness, hue, tonal description, And color description. This is the size, border, surface gloss, scene Content is also a restrictive definition in that it also plays a role. No. These four key image parameters are quantified by objective metrics. Can be measured in the laboratory. For example, the sharpness of an imaging device is determined by the modulation transfer function, Particle size reproduction by toner spectrum, color reproduction by characteristic curve, and L *, a *, b * color identification Can be characterized by a color difference metric such as the △ E * of the quantization system.   Choosing objective metrics that correlate with human observation of image quality is most beneficial It is. Therefore, the modulation transfer function sharpness data for characterizing as described later is referred to as “ It would be advantageous to be able to select a sharpness metric to "eye weights" . Many such metrics have been proposed that correlate with subjectively defined image quality. You. One such metric is an objective image quality value or "SQV". This This will be described later. Similarly, each of the four key image quality variables Can be characterized by objective metrics. Included in the chain Given the input device, output device, and characteristic metrics of the image processing steps, Objective metrics for the entire system can be calculated. Four main objectives Is subjectively defined, given the characterization of the system metric for various metrics Based on predefined correlations that relate measured image quality to these objective metrics. Thus, the expected image quality for such an image can be calculated. the above The system defined in, includes an image processing step controlled by parameters. Therefore, it is possible to find an optimal parameter set.   FIG. 1 shows an image processing system 10 (shown in FIG. 2) configured in accordance with the present invention. 1 is a diagram of an image acquisition and depiction system 2 including the embodiment of FIG. Referring to FIG. The image acquisition and rendering system 2 in one embodiment comprises a computer 3, Camera 4A and a document or to acquire an image and convert it to digital image data One or more image captures represented by page scanner 4B (generally designated by reference numeral 4) Acquisition device and a printer 5A and a video output 5B (generally referenced (Shown at number 5). Computer 3 is a general purpose program storage digital system including the image processing system 10 in one embodiment. A digital computer that receives digital image data, for example, an image rendering device This is processed as described below in connection with FIGS.   As before, the computer 3 comprises a processor module 6 and a keyboard 7A. And / or an operator input configuration such as a mouse 7B (generally designated by reference numeral 7) Operator output components, such as components and video display 8. Interface element. The processor module 6, for example, Performs processing and storage operations in relation to the processor, memory, and incoming digital data. Mass storage devices such as disk and / or tape storage elements (not separately shown) )including. When operating as the image processing system 10, the computer 3 Specifically, as described later with reference to FIGS. 2 to 9, the selected image processing operation is performed. Processing a predetermined program that allows to process digital image data I have. The operator input element 7 performs processing including information for controlling the image processing operation. Provided to allow an operator to enter information for the Bidet (E) The display device 8 has a predetermined selection that can be made by the operator in connection with the processing of the image data. It is provided to display output information such as information for identifying to the operator. Con The computer 3 has a keyboard and a keyboard for receiving input information from the operator. A mouse, and a video display to display output information to the operator. Although shown to include certain components, the computer system 3 is shown in FIG. Various components may be included in addition to or in place of those shown in Can be understood.   In addition to including the image processing system 10, the computer 3 also digitizes images. Conventional computer graphics generated and edited in the form of visual image data It also has a system. Generated by a computer graphics system Digital image data may be processed in connection with the image processing system 10. further The processed digital image data generated by the image processing system 10 can be edited For a computer graphics system. Computer In connection with the Rapix system, the computer 3 A predetermined computer which allows the input component 7 to control the generation of the image. Data graphics programs. Typically, the computer 3 The image is displayed to the operator during the generation of the image using the video display device 8.   One embodiment of the image processing system 10 is a computer program Although shown as components, the image processing system 10 may be dedicated hardware and / or Or a program component or the computer 3 and dedicated hardware and And / or may include combinations with program components.   FIG. 2 is a functional block diagram of the image processing system 10. Referring to FIG. Processing system 10 obtains image data defining an image from image data source 11 and Process the image data as described below, and process the processed image data Provide to 12. The image data source 11 is provided from the image acquisition device 4 or from a computer as described above. Images from an image data generation arrangement 13 such as a computer graphics system. Image data may be provided. In each case, the digital image data is generally Image processing system via buffer 14 or other image data source selection arrangement Can be provided to the system 10. An image processing system 10 processes image data in digital form. In one particular embodiment, an image acquisition arrangement or other image data source Provides image data in digital form. In this case, the images are each The number of picture elements or "pixels" associated with the corresponding point Represented by a dimensional array. Each pixel has, for example, the color and the color of the pixel corresponding point in the image. It is represented by digital data that defines the intensity and intensity. As before, each pixel The associated digital data may be in "RGB" format. In this format The data associated with each pixel identifies the color of the pixel, i.e. the intensity of red, green and blue I do. Other conventional formats for representing digital image data are well known in the art. is there.   The downstream use element 12 shown in FIG. Many types of elements that use the processed image data generated by 10 or Can represent any of the applications. Examples of downstream usage elements Is, for example, the computer graphics system described above in connection with FIG. The operator interactively edits the image represented by the processed image data Get downstream applications like computer graphics systems Including options. Other downstream usage elements 12 include, for example, Inkjet to provide a hardcopy print of an image represented by image data Or a laser printing device, a system that produces color separations used in printing plants, etc. Or simply a buffer device to store the processed image data for future use. Or a storage or storage device.   The image processing system 10 generates specific image data for the system 10 Image source characteristic data representing selected characteristics of data source 11 and processed image data. Downstream representing selected characteristics of a particular downstream usage element 12 utilizing the data Stream usage element characteristic data, and image processing provided by the operator The digital image data for the image is processed in association with the operation selection information. Dow The stream utilization element 12 receives the processed image data from the image processing system 10. In doing so, in its operation, for example, when rendering an output image, Can be performed. In addition, the image processing system When element 12 is performing the processing, the downstream utilization element Processing to render an image with optimal characteristics associated with the processing operation identified by Work. For example, the downstream usage element 12 draws the image in hard copy form. In the case of a printer that prints, the processed image data is It may be possible to generate a depiction image having properties. Similarly, downstream If the usage element 12 generates color separation according to the processed image data, Image data has similar optimal visual characteristics when used in printing plants May provide for the generation of color separations that provide a rendered image.   To realize this operation, the image processing system 10 is controlled by the control element 22 together. And an image data processing unit 20 and a characteristic processing unit 21. The image data processing unit 20 Various types represented by the image processing parameter information generated by the sex processing unit 21 Selection by the operator via operator input 7 in relation to the processing parameters Then, an actual processing operation represented by the image processing operation selection information is performed. Next, the characteristics The processing unit 21 includes image source characteristic data indicating characteristics of the image data source 11, a downstream The operation identified by the usage element characteristic data and the image processing operation selection information Generates image processing parameter information associated with a specific processing operation selected by the I do. The image processing parameter information generated by the characteristic processing unit 21 includes image data The processing unit 20 has the optimal visual quality when processed by the downstream utilization element 12. Able to generate processed image data representing images with characteristics or other characteristics To   In one embodiment, the image data processor 20 controls the image data under the control of an operator. Includes many elements that selectively process data. It will be described in detail later with reference to FIGS. As such, each of these elements is associated with an image processing operation in relation to the image data provided. Includes many image processing "atoms" that do the work. The predetermined action of these atoms is It can be controlled according to the value of the image processing parameter data generated by the unit 21.   The characteristic processing unit 21 is configured to perform a predetermined processing of the image data source 11 and the downstream utilization element 12. Image processing parameter data is generated according to the information indicating the characteristic. These characteristics When generating digital image data according to an image, a specific image data source 11 Required after receiving the processed image data. Provides information about the processing performed by element 12. The characteristic processing unit 21 Reason It includes a profile generator 21A, an image quality value generator 21B, and a parameter optimizer 21C. Only everything is controlled by the controller 21D. All of these are related to FIG. It will be described later in detail.   Preliminarily, the image processing profile generator 21A includes the image data source 11 and the Process the characteristic data from both the Pre-determined according to trial parameters provided by parameter optimizer 21C Generate only reference values. The image processing profile generator 21A related to the characteristic data The operations performed are, in effect, selected by the operator and applied to the image data. This corresponds to an image processing operation performed by the image data processing unit 20 in relation thereto. Therefore , The processed reference value generated by the image processing profile generator is essentially Process the image data in relation to the image corresponding to the reference image according to the trial parameters This represents a process that can be performed by the unit 20. The image quality value generator 21B A single image quality metric according to the processed reference generated by the image generator 21A Generate The parameter optimizer 21C is an image generated by the image quality value generator 21B. The quality metrics are received and a new set of trial parameters is generated, which is Processed by an image processing profile generator. Image processing profile generator 21 A, the image quality value generator 21B, and the parameter optimizer 21C Of parameters for optimizing the image quality measurement reference value generated by the image quality value generator 21B. Repeat these actions through a series of iterations until you determine that you have generated a value set .   Against this background, the image data processing unit 20 both under the control of the control element 22 3 and FIG. 4 illustrate operations performed by the characteristic processing unit 21. This will be described briefly in connection with a flowchart. For a specific series of image processing operations illustrated The operations performed by the image data processing unit 20 and the characteristic processing unit 21 in relation to each other are shown in FIG. This will be described with reference to FIG. First, referring to FIG. 3, the image data processing unit 20 Under the control of element 22, image processing operation selection information is received from the operator (step 100) image processing representing the image processing operation identified by the image processing operation selection information "Atom" is selected (step 101). Each "atom" is included in the image processing operation selection information. Therefore, it includes elements for performing the individual processing operations identified. In one embodiment, the atom Perform various dedicated electronic hardware components and / or specific processing operations Including a digital computer properly programmed for. Select image processing atoms After the selection, the image data processing unit 20 executes the processing operation defined by the image processing operation selection information. Form an image processing atomic chain to match the sequence (Step 101) .   The control element 22 allows the characteristic processing unit 21 to generate a specific value of the processing parameter. At some point after activation, the image data processing unit 20 receives a value from the characteristic processing unit. (Step 102). The image data processing unit 20 includes a processing operation atomic chain. (Step 101) and receives image processing parameter information (Step 1). 02) After that, the image processing atom chain converts the image data from the image data source Associated with the processing parameter values defined in the image processing parameter information from unit 21. To perform an image processing operation sequence (step 103). The processed image data used by the downstream utilization element 12 is generated You.   FIG. 4 shows a general operation performed by the characteristic processing unit 21 under the control of the control element 22. Show. Referring to FIG. 4, the characteristic processing unit 21 also operates under the control of the control element 22. The image processing operation selection information is received from the data (step 110), and the image processing operation selection information is received. Select the image processing “atom” that represents the image processing operation identified by the selection information. Step 111). Selected by the characteristic processing unit 21 as in the case of the image data processing unit 20 Each "atom" that can be performed is a separate processing action identified by the image processing action selection information. Contains the elements that perform the work. In one embodiment described above in connection with FIG. 3, each atom is Dedicated electronic hardware components and / or appropriate processors to perform certain processing operations Includes programmed digital computers. After selecting the image processing atoms, the properties The processing unit conforms to the processing operation sequence defined in the image processing selection information. An image processing atomic chain is formed (step 111).   The control element 22 also causes the characteristic processing unit 21 to transmit the image source characteristic data to the image data source 11. Downstream element for the downstream element 12 Enable to receive characteristic data (step 112). The characteristic processing unit 21 Once the source and downstream utilization element characteristic data is obtained, the control element 21D The processing unit 21, in particular, the image profile generator 21A described above, Along with other elements described below in connection with and by the parameter optimizer 21C. Depending on the set of trial parameter values provided, the It is possible to generate quasi-image quality information (step 113). Next, controller 21D Enables the image quality value generator 21B to generate a single image quality value (step 114). , And the parameter optimizer to determine whether this image quality value is the optimal value Is enabled (step 114). The parameter optimizer generates the image quality value in step 114. If you determine that the image quality value determined by generator 21B is not optimal, A row parameter value set is generated (step 115), and the controller 21D executes step 11 Return to 3 to enable generation of new reference image quality information. Controller 21D Image processing until the data optimizer 21C determines in step 114 that the image quality value is optimal. The profile generator 21A, image quality value generator 21B, and parameter optimizer 21C Steps 113-115 can be repeated. Image quality value determined to be optimal At this point, the parameter optimizer 21C proceeds to step 116, where the image is Provide image processing parameter values.   As shown in FIG. 2, the characteristic processing unit 21 includes an image acquisition device 4 or an image data generation device. A specific image data source such as a rangement 13 (FIG. 2) and an image processing system 10 Source and downstream directly from the specific downstream Ream use element characteristic data may be obtained. In this arrangement, the image data source 11 For example, image source characteristic data can be provided along with the image data, and the operator can perform image processing operations. When the downstream use element 12 is identified by the operation selection information, the control element 22 The downstream processing element 12 performs an operation using the information by the characteristic processing unit 21. At some point before the operation, the downstream utilization element characteristic data is provided to the characteristic processing unit 21. May be able to   Alternatively, the image data source 11 can store all types of image acquisition devices 4 or image data. Provides default characterization data that may be useful for data generation arrangements 13 Default source characteristic data from the default source characteristic library 15 May be provided. Or a specific class of such devices or arrangements May provide default property data for Or or in addition to the above, The image processing system 10 includes various types of image data sources 11 and downstream Live image source and downstream utilization element characteristic data for application element 12 Library (not shown), the control element 22 controls the particular type of image data used. Data source 11 and downstream utilization element 12 to identify a particular image source 11 and Image source and downstream usage element characteristics for downstream usage element 12 Data can be provided from the library to the property processing unit 21 . The library is designed for specific types of image data sources11 and downstream usage requirements. Storing image source and downstream utilization element characteristic data for element 12 In addition to the image source 11 and downstream utilization element 12 of a given class (eg, , The image source 11 is a downstream use element such as a photo camera and a video camera. 12 for printers and displays from different types or different manufacturers) Source and downstream usage element characteristic data for May include characteristic data. Library is a specific image source 11 or downstream If you do not have property data for the usage element 12, it will be used in that process. The characteristic data or default data of the class can be provided to the characteristic processing unit 21.   Image processing system 10 provided by a wide variety of different types of image data sources 11 Image processing and automatic quality enhancement are widely used for various downstream elements12 In particular, visually optimal images can be provided to a wide variety of Portrayed or displayed in a wide variety of printing or display devices in format It can be appreciated that an integrated image processing system is provided that enables System The system 10 is operated by the operator by the image data processing unit 20 in relation to the actual image data. To select the image processing operation to be performed. Provide the processing performed in connection with the parameter for which the value is generated. Characteristic processing unit 21 Contains image processing parameter data according to principles developed from psycho-visual testing Generates the values of various parameters and thereby the specific image data that generated the image data Data source, specific destination utilization elements that will receive the processed image data, and Experts on image processing operations to be performed by the image data processing unit 20 Work as an integrated image observer. The characteristic processing unit 21 includes a specific parameter generated by the characteristic processing unit. Optimize the parameter values and supply the optimized image generated by the characteristic processing unit 21 I do.   In one embodiment, the characteristic processing unit 21 generates the image processing parameter data and , The image being processed in the image processing data chain generated by the image data processing unit Controls which parts of the data affect the spatial attributes of the image. In this embodiment, the image The image data processing unit 20 follows the color matching and tone reproduction arrangement as described later. Thus, the portion including the color information of the image data is processed. II.Detailed description of the image processing system 10   A. Image data processing unit 20   One particular embodiment of the image processing system 10 described below in connection with FIGS. In this case, the atomic data used by the image data processing unit 20 and the characteristic data processing unit 21 Are organized into "molecules". Each molecule has a specific permutation or chain within the molecule Having one or more selected atoms organized into In this embodiment, the molecule is Furthermore, they are organized into molecular classes, and the image data processing unit 20 and the characteristic data processing unit 21 Indicates image data or characteristic data according to the image processing operation selection information from the operator. When establishing a data processing chain, one molecule is selected from within each molecule class. Less than As described below, within each molecule class, molecules behave similarly, but each molecule class The atoms that make up the molecules in the glass generally perform different actions. One embodiment So, some molecules in one molecule class perform fast, but the quality is Somewhat lower. The operator can select a specific operation via the image processing operation selection information. Select the processing speed and quality when performing. Image data processing unit 20 and characteristic processing The unit 21 uses this processing operation selection information to be used in a specific image data processing operation. The molecules used to form the image data and characteristic data processing chains are Select within a molecule class. In addition, each molecule is labeled "Atom-active actuator / non- Includes "Cutator" arrangements, also provided by the operator It can be controlled according to the image processing selection information, and the operator can select the image processing operation. Atoms in the image data and characteristic data processing chains that are established in response to Each atom in the molecule is enabled so that it can be selectively enabled or disabled effectively. Bull or allow to be disabled.   More specifically, referring to FIG. 5, the image data processing unit 20 includes an image data processing library. And an image data processing control element 31. The image data processing control element 31 The processing of the image data is controlled according to the image processing operation selection information from the generator. image The data processing library 30 includes the image data development molecule class 32 and the image integrity molecule class. Images, including the source 33, special effects molecule class 34, and image data compression molecule class 35 Organize in a permutation or chain between data source 11 and downstream usage element 12 Contains a series of molecular classes to be Image data development molecule class 32 includes one or more Includes image data development molecules 32 (O) -32 (J) (generally identified by reference numeral 32 (j)) Each of which contains one or more atoms (shown in more detail below with reference to FIG. 6). Image data processing control according to image processing operation selection information from the operator. Provided by image data source 11 when enabled by element 31 A data expansion operation is performed in relation to the image data. Similarly, image integrity molecule class 33 Are identified by one or more image integrity molecules 33 (O) -32 (K) (generally identified by reference numeral 33 (k)). Each of which may have one or more atoms (described in more detail below with reference to FIG. 7). Shown). The atoms of each image integrity molecule 33 (k) are converted by the operator When enabled by the image data processing control element 31 according to the operation selection information In addition, noise reduction, sharpening, polishing and dodging Which do many actions.   Further, the special effect molecule class 34 includes one or more special effect molecules 34 (O) to 34 (L) (general 34 (l)), each containing one or more atoms. No. Each special effect molecule 34 (l) is one of the following: image flipping, stretching, curving, etc. The above operations are performed, and in addition, large-scale core sharpening and color reallocation are performed. this These operations also perform image data processing according to image processing operation selection information from the operator. Enabled by the logical control element 31. Finally, the image data compression molecule class 35 is one or more image data compression molecules 35 (O) to 35 (M) (generally identified by reference number 35 (m) ), Each of which contains one or more atoms (described in more detail below with reference to FIG. 8). Image data according to the image processing operation selection information from the operator. Downstream utilization element when enabled by processing control element 31 A data compression operation is performed in relation to the image data provided to 12.   In the embodiment shown in FIG. 5, the image data processing library 30 also Image data is processed by selected molecule 33 (k) of image integrity molecule class 33 Previously, the image data developed by the selected molecule 32 (j) of the molecule 32 And a buffer 36 for temporarily storing the acquired image data. The image data processing line shown in FIG. Although only one buffer 36 is provided in the library 30, it can be used between other molecular classes. It can be appreciated that other buffers may be provided as well. In addition, image data processing Library 30 receives data from special effects molecule class 34 and associates it with this data. And a color map 37 for performing color mapping. That is, the color map 37 One or more colors represented by data entered from molecule class 34 To another color, thereby changing the coloring of the image. This mapping is It is controlled by the image processing control element 31.   As described above, each of the molecule classes 32-35 of the image data processing library 30 is Contains one or more molecules, one molecule in each molecule class According to the image processing operation selection information, during the image processing operation, in particular, the image data processing control element Selected by 31. Each molecule class has a molecule input selector 32 (i), 33 (i), 34 (i ), And 35 (i), respectively. Each molecule input selector selects image data Molecular classes 32, 33 from source 11 or from the preceding molecular class in the chain, respectively , 34, 35 are selected by the image data processing control element 31 One selected molecule 32 (js), 33 (ks), 34 (ls), 35 (ms) Let Further, each molecule class 32, 33, 34, 35 is a molecular output selector 32 (o), 33 (o) , 34 (o), 35 (o), and each molecule output selector is associated with a molecule class 32, 33, 34. , 35 are output to the same selected molecule 32 (Js), 33 (ks ), 34 (ls), 35 (ms) To the next molecule class in the chain or downstream Connected to the element 12. The image data processing control element 31 is provided for each molecule class 32, 33, 34 , 35 molecular input selectors 32 (i), 33 (i), 34 (i), 35 (i) and molecular output selector 32 (o), 33 (o), 34 (o), 35 (o), within the molecule class that performs processing during image processing operation Controls the selection of specific molecules.   The specific molecule in various molecule classes 32-35 that make up the image data processing unit 20 A specific example of the architecture will be described with reference to FIGS. Figure 6 shows the expanded molecular class. FIG. 7 shows a molecule 33 (k) of the image integrity molecule class 33, and FIG. 8 indicates a molecule (35 (m)) of the compressed molecule class. Referring first to FIG. 6 and to FIG. As described above, each of the development molecule classes 32 is, for example, an image data source. Multiple molecules 32 (O) performing a particular type of unfolding operation in relation to the image data from 11 ~ 32 (J). Image data from image data source 11 is based on a specific compression method In the case of the compression mode, the operator specifies this compression in the image processing operation selection information. The image data processing control element 31 identifies a specific decompression operation based on the compression method. The selector controls the selectors 32 (i) and 32 (o) based on the Based deployment can be possible. Or, depending on the information contained in the image data itself The compression method may be identified by another method such as the image data processing control element 31. It can automatically enable deployment without information from the lator.   In one embodiment, the exemplified molecule is a conventional JPEG (Joint Photograph). Fic Expert Group) Standard JPEG DIS 10918 (Molecule 32 (0)), Shonami Exhibition Image data exhibition based on open (molecule 32 (1)) and subband expansion (molecule 32 (2)) Open. However, in order to perform image data expansion in connection with other methods, other molecules 32 (j) may also be provided. Structure of one development molecule, ie, JPEG development molecule 32 (0) Is shown in detail in FIG. As shown in FIG. 6, the numerator 32 (0) has three elements, a decoding element 70 And a mask multiplication element 71 and an inverse DCT (discrete cosine transform) element 72. The numerator 32 (0) , (I) in the form of DCT coefficients (ie, pixel data defining the pixels that make up the image). The DCT operation is performed in relation to the data, and the image data provided to the JPEG compressed molecule 32 (0) is (Including DCT coefficients generated according to the DCT operation), and (ii) a well-known Huffman coding method. Used in connection with compressed image data that is encoded using a method. As shown in FIG. In addition, compressed image data is provided separately for each primary color used to record the image. obtain. Decoding element 70 decodes the Huffman coded DCT coefficients to generate actual coefficient values. You. The mask multiplication element 71 multiplies the DCT coefficients by a conventional JPEG quantization mask matrix. I can. As before, the image is two-dimensional and thus is decoded by the decoding element 70 The DCT coefficients that define the image are in the form of a two-dimensional matrix and include a mask multiplication element 71 Is also a two-dimensional matrix. trout The mask multiplication element 71 performs the DCT coefficient matrix and the JPEG quantization when performing the mask multiplication operation. Multiplies the matrix elements at corresponding positions in the mask matrix by Qualitatively, generate a masked DCT coefficient matrix. Finally, the inverse DCT element 72 is , Perform an inverse discrete cosine transform operation on the masked DCT coefficient matrix, Generate spatial image data, ie, data that defines pixel values for the image. Exhibition Since the opening operation does not affect the image quality, the JPEG expansion molecule 32 (0) It can be appreciated that no action is taken in relation to the parameter values from the sex processor.   The detailed structure of the molecule 32 (j) other than the JPEG development molecule 32 (0) in the development molecule class 32 is , Depending on the specific sequence of actions required to perform the deployment. This is obvious to those skilled in the art. Is.   FIG. 7 shows the detailed structure of molecule 33 (k) of image integrity molecule class 33. One feature In certain embodiments, all of the molecules 33 (k) have atoms that perform approximately the same actions in the same order. Include, but operate in a variety of ways, so that some of the molecules 33 (k) generally The other molecule 33 (k) is slower, while it performs a fast but somewhat degraded action. High quality operation can be performed. In addition, available made by certain molecules 33 (k) Specific operations are determined by the image processing operation selection information from the operator. Specified. If the image processing operation selection information specifies that no specific operation is performed, , The atoms involved in its operation do not work. Molecule 33 (k) is an atom that performs almost the same action , These atoms are constructed in much the same way, and therefore FIG. That is, only the general structure of molecule 33 (0) is shown in detail.   As shown in FIG. 7, the molecule 33 (0) is expanded from the expanded molecule 32 (j) in the expanded molecule class 32. Receive open image data. As described above, provided by the deployment molecule class 32 The decompressed image data is in a spatial form and has data defining pixel values for the image. You. The operator cuts the image according to the image processing operation selection information from the operator. Cut / Resize element 80 so that it can be cut or resized Is deployed. The output of the cut / resizing element 80 is temporarily stored in the buffer 81 You. The output of the buffer 81 includes a fine processing channel 82 and a coarse processing channel 83 It is connected to two processing channels. The fine processing channel 82 has a cut / size change Processing the actual pixel data provided by the further element 80, the coarse processing channel comprises: Generate permutations or hierarchical images with varying degrees of coarseness. Rough painting of each level in the hierarchy When generating an image, the coarse processing channel 83 is essentially a selection of the next lower level Each pixel according to the pixel value from a block of pixels of the specified number, and Layer-level coarse images contain pixel data (i.e., Generated from the pixel data) block provided by the FA 81. Therefore, actually Pixel data and pixels defining a continuous image in a series of coarse images in the hierarchy Conceptually, data is an image at a higher level in the hierarchy that has a progressively smaller number of pixels. Form a disappearing "pyramid".   In the fine processing channel 82, the color map element 84 receives pixel data from the buffer 81. Take away. As mentioned above, the pixel data is essentially the red, green and blue that make up the image. Represents various color intensity levels, such as, and is enabled by image processing operation selection information Color map element 84, the luminance ("Y") and chrominance Generate pixel data in the form of nonces ("u" and "v"). Brightness and chromy Nonce data is a spatial form and is discrete with respect to luminance and chrominance data. A duplicate DCT element 85 is deployed to perform the cosine transform and enabled by the operator. Duplicate DCT coefficient matrices related to luminance and chrominance information Generate ricks.   In the coarse processing channel 83, the block average / overlapping element 90 is a coarse image as described above. , And supplies the pixel data to the buffer 91. Fine above Pixel data for each coarse image, as in pixel data in processing channel 82 Represents the intensity levels of the various primary colors that make up the image, and image processing from the operator. When enabled by the operation selection information, primary color pixel data is A color map 92 is provided for conversion to the luminance form.   An overlapping DCT coefficient matrix from the overlapping DCT elements 85 of the microprocessing channel 82, and The luminance and chrominance data from the color map element 92 of the coarse processing channel 83 Noise reduction including the combination of the basic noise reduction element 93 and the high-level noise reduction element 94 Provided to the element. Noise reduction by image processing operation selection information from the operator Is enabled, the basic noise reduction element 93 and the high-level noise reduction element 94 Cooperate to map the overlapping DCT coefficient that the basic noise reduction element 93 receives from the overlapping DCT element 85. Image processing in relation to the tricks and further provided by the property processing unit 21 Performs a noise reduction operation in relation to the parameter data and displays the image The noise inside is reduced.   In one embodiment, the high-level noise reduction element 94 includes an upper level To generate noise reduction information provided to the base level noise reduction element 93. You. In this operation, the high-level noise reduction element 94 generates a series of To form To form each image in the hierarchy, the high-level noise reduction element 94 Divides the pixels in the lower level image into blocks or "tiles" A single pixel value is generated for the file. This single pixel value is the next higher level in the hierarchy. Pixel value of a pixel at a corresponding position in the image of the file. The high level noise reduction factor is Generate a single pixel value when a DCT transform of the pixels in each tile is generated, such as Is determined as a single pixel value.   After generating the various images in the hierarchy, the high-level noise reduction element 94 Noise reduction parameter values that form part of the image processing parameter data from And the upper level image in the hierarchy (ie, the coarsest image) Noise reduction mask used to correct the DCT coefficient values that define the bell image Generate The high-level noise reduction element 94 converts the corrected DCT coefficient value to the next value in the hierarchy. , And the operation is repeated. At a higher level in the hierarchy After repeating the operation, the high-level noise reduction factor is based on the corrected DCT coefficient value. Provided to this level noise reduction element, the basic level noise reduction element A similar operation is performed in relation to the DCT coefficient for the second step.   Noise reduced duplicate DCT coefficient matrices generated by basic noise reduction element 93 Box is connected to a sharpening element 95. Image processing operation selection information from the operator Thus, if image sharpening is enabled, the sharpening element 95 Image processing from the characteristic processing unit 21 in accordance with the The image sharpening operation is performed according to the logical parameter data. As will be explained in more detail later When performing the image sharpening operation, the sharpening element 95 responds to the image processing parameter data. To generate the sharpening mask matrix, then the sharpening matrix and noise Multiply corresponding matrix elements of the reduced DCT coefficient matrix by each other. Oh Duplicate DC when enabled by image processing operation selection information from perlator An inverse DCT element 96 is provided to transform the T coefficient matrix into spatial pixel data values. It is. These spatial pixel data values are used for sharpened images with reduced noise. Includes luminance and chrominance information. In addition, the operator selects image processing operations. Pixel data values from inverse DCT element 96 when enabled by A DCT element 97 is provided to perform a non-overlapping discrete cosine transform operation in succession.   Returning to the coarse processing channel 83, the high-level noise reduction element 94 also When noise reduction is enabled by image processing operation selection information from Output representing noise-reduced pixel values for images making up the upper level in the image hierarchy Generate In either case, the output of high-level noise reduction element 94 is Connected to scene analysis element 100. Operator to enable scene analysis According to the image processing operation selection information, and the quality is enhanced or is to be processed. Identifying a given portion of the image, including certain image details, the image scene analysis element 100 Pixel value adjustment to achieve the necessary changes in the image according to the information from the operator. Determine the adjustment. The image scene analysis element 100 provides both pixel-level and image-level It works to adjust the brightness with. Pixel value adjustment value from image scene analysis element 100 Are connected to the buffer 101 for intermediate storage. Operator selects image processing operation Enable image scene analysis / polishing and dodging element 100 in information Otherwise, it can be understood that buffer 101 is empty.   Output from the non-overlapping DCT element 97, and if present, temporarily stored in buffer 101. The adjusted pixel value is connected to the image correction element 102. The operator has an image scene When enabling analysis / polishing and dodging, use the non-overlapping DCT element 97 Is disabled, in which case the value passed to the image correction element 102 by the element 97 is Spatial pixel values from inverse DCT element 96. In this case, the image correction element 102 A corrected image pixel value is generated according to the pixel value and the pixel value adjustment value from the buffer 101. To achieve. The adjusted pixel value generated by the image correction element 102 is rotated / up Connected to the sample element 103, this element selects the image processing operation from the operator When enabled by information, the image processing operation selection information from the operator. Process the adjusted pixel values to rotate the image by the angle specified by the report. You. Finally, the rotation and adjustment produced by the rotation / upsample element 103 The resulting coefficient matrix is connected to the inverse color map element, which is As described above in connection with and 92, the color mapping is performed by the image processing operation from the operator. Brightness and chrominance pixel information when enabled by operation selection information. Inverse color map element to convert the information into selected color pixel information as output of numerator 33 (0) Connected to. The operator selects the non-overlapping DCT element 97 via the image processing operation selection information. If enabled, elements 102-104 are disabled, in this case non-overlapping DC It can be appreciated that the T coefficient value is provided as an output of the numerator 33 (0).   Image data processor 20 is performed by the enabled atoms in molecule 33 (0). It can be appreciated that the particular order in which the operations begin are different from the order described above. Especially The processing related to the coarse processing chain 83 is used in connection with the fine processing chain 82. The operation of the coarse processing chain 83 produces fine adjustments that can be made. This can be done before performing the operation of chain 82. In each case, noise reduction is enabled. If enabled, the basic noise reduction information is Since the generated noise reduction information is used, the high-level noise reduction element 94 uses the basic noise. Operation may be performed prior to noise reduction by the noise reduction element 93. In addition, image correction required The actions performed by element 102 are image scene analysis / polish and dodge factor 1. Image scene analysis / polish and The dodge element 100 is activated prior to the image correction element 102, if enabled. You can do cropping.   In one embodiment, the color mapping described above in connection with color mapping elements 84 and 92 is used. Ping converts RGB pixel color values to “L” luminance and “u, v "Lookup tables that map to chrominance values and vice versa (Not shown). Color mapping and specific image data The look-up tables used in the color mapping elements 84, 92 and 104 are: A specific type of image data acquisition device 4 or image data generation device for generating image data Configuration 13 and the specific downstream usage of the image data. Reflects element 12 for The values used in the lookup table are preferably Map one color space to another using a color space that is independent of Generated for printing.   Color mapping and inverse color mapping may affect the quality of the image viewed by the viewer. While in one embodiment, these properties are associated with the spatial processing of the image data. These are not processed by the property processing unit 21 because they do not affect Can be understood.   Each of the various molecules 34 (l) that make up the special effect molecule class 34 is an operator Image annotation, palette when enabled by image processing action selection information from One type of special effects operation related to image data, such as color mapping to a set Include one or more atoms that work together. The structure and operation of each molecule 34 (l) is performed Depending on the particular type of special effect behavior, the general structure of molecule 34 (l) is Will not be further described here.   FIG. 8 shows a molecule 35 (m) of the compressed molecule class 35. As shown in FIG. As described above in connection with 5, compressed molecule class 35 includes a plurality of molecules 35 (O) -35 (M). Each of these molecules is associated with data received from the special effects molecule class 34. To perform a specific type of compression operation, and add the image processing operation selection information from the operator. Data to downstream usage elements 12 when enabled Compress before sending. Each of the molecules 35 (m) is associated with the selected compression method. The compression method, and the operator specifies a specific compression method in the image processing operation selection information. When identifying, the image data processing control element 31 determines the selector 35 based on the information. (i) and 35 (o) are controlled to enable compression based on the selected compression method. Also Alternatively, the compression method is identified by another method, and the image data processing control element 31 The compression may be automatically enabled even if there is no information from.   In one embodiment described above in connection with FIG. 5, the exemplary molecule 35 (m) is Based on the same method used by molecule 32 (j) when performing image data expansion To perform image data compression. In particular, the molecule is the same as the conventional JPEG (Joint Photo Graphic Expert Group) Standard JPEG DIS 10918 (Molecule 35 (0)), Small wave Data compression based on compression (numerator 35 (1)) and subband compression (numerator 35 (2)) May be provided. However, to perform compression related to other methods, Of the molecule 35 (m) may also be provided. One compressed molecule, the JPEG compressed molecule 35 (0) 8 is shown in detail in FIG. As shown in FIG. 8, the molecule 35 (0) contains the DCT element 110, A multiplication element 111, a quantization element 112, a DCT transformation element 113, and a coding element 114. It has five elements. If the special effects molecule class 34 output contains image pixel data In this case, the DCT element 110 determines the DCT by performing consecutive two-dimensional discrete cosine transform operations in overlapping or non-overlapping It is possible to generate a coefficient matrix. Elements 111, 112 and 35 of molecule 35 (0) And 114 are collectively enabled according to the image processing operation selection information from the operator. Or disabled, the DCT transform element 113 causes the DCT element 110 to overlap the DCT coefficient matrix. Selectively enable depending on whether it was generated in multiple forms or non-overlapping forms Or disabled. If elements 111, 112, and 114 are enabled , The mask multiplication element 111 uses the mask matrix to convert the DCT Perform the mask multiplication operation associated with the number matrix to essentially form element 71 (FIG. 6). Masking operation that is opposite to or complementary to the masking operation performed by I do. The quantization element 112 performs a quantization operation as described below to perform image processing. Related to the quantization parameter provided by the property processing unit 21 in the parameter data Then, the elements of the DCT coefficient matrix are quantized. DCT element 110 has duplicate discrete cosine If a DCT coefficient matrix was generated using a transform, the DCT Convert the duplicated, quantized DCT coefficient matrix into a non-overlapping form, Keep only the integer part of the matrix element value. Finally, the encoding element 114 For example, using the Huffman coding method described above, the mask output by the DCT Trix elements are conveniently encoded.   As described above, the image processing parameter data provided by the characteristic processing unit is The three specific elements of the example molecules 33 (0) and 35 (0), namely the noise Used in reducing atoms 93 and 94, sharpening atoms 95, and quantizing atoms 112. It is. These atoms modify the appearance of the image as defined by the image data. Thus, the method relating to the characteristics of the image data source 11 and the downstream utilization element 12 Process in relation to the input data, so that these atoms To perform an operation related to the image processing parameter information provided by the processing unit 21 Can be understood.   B. Detailed description of the characteristic processing unit 21   As described above, the characteristic processing unit 21 performs the identification processing used to acquire the image data. Device or method and, for example, the image processing system 10 Obtain image data when rendering an image after providing processed image data to element 12 When processing image data in connection with the particular device or method used for Image processing parameter data used by the image data processing unit 20 is generated. 1 In one embodiment, the characteristic processing unit 21 includes a “modulation transfer function” and a “Wiener Source and downstream utilization element characteristic data including the The image processing parameter information is generated accordingly. Modulation transfer function of optical system The noise spectrum is determined when the system produces an output in response to its input. Image data modification and spatial filtering performed by the system Defines the image noise generated by the system when generating the force. In general, In this specification, “MTFI(f) " `` MTFO(f). The number is determined, for example, by the image data source 11 and the downstream utilization During image acquisition for image data sources, depiction for downstream utilization elements During, identify how to modulate the appearance of the image. Generally, monochrome optics For a system, the spatial distribution of the input to and output from the optical system is Ii(x, y) And Iogiven by (x, y). Where “x” and “y” are conventional coordinate axes Where “*” is a multiplication operation], and the modulation transfer function MTF (f) of the optical system. The transfer function MTF (f) is determined individually for each color. The Wiener spectrum is Noise, image introduced with the original data provided by the image data source 11 Noise added or removed during successive processing operations in the image data processing unit 20 Images containing noise introduced during rendering by downstream Characterize the noise in the image. The Wiener spectrum is a uniform source image By observing data fluctuations in the depicted image when provided to Easily appreciated.   As described above, the imaging system modulation transfer function and Wiener noise spec Are jointly operated by the system when it produces output in response to input. Spatial filtering performed and generated by the system when generating output Define the noise to be generated. Thus, the modulation transfer function for a particular image data source 11 And the Wiener noise spectrum is essentially the same as the source image or physical Performed by the image data source 11 when acquiring or generating image data from the object. Defines the spatial “processing” of the The tonal transfer function and the Wiener noise spectrum are essentially "Process" performed by the downstream use element is defined. Different optics If the system or different types of optics "process" the input in different ways, These optics have different modulation transfer functions and Wiener noise spectra You. When generating the image processing parameter information, the characteristic processing unit 21 Use the specific image data source 11 that provided the image data and the processed image data The specific modulation transfer function and Wiener Neutral of the intended downstream utilization element 12 Image processing operation selection information provided by the operator in connection with the Processing operations in the same order as required by the Source 11 and downstream utilization element 12 The processing of the image data is optimized.   Against this background, as shown in FIG. 2, the characteristic processing unit 21 Including a file generator 21A, an image quality value generator 21B, and a parameter optimizer 21C, Are controlled by the controller 21D and used by the image data processing unit 20. Generate an optimal set of parameters to be used. Figure 9 shows these elements. It will be described in detail in succession. Generally, the controller 21D performs image processing from an operator. According to the operation selection information, the image processing profile generator 21A Image source and downstream from the data source 11 and the downstream utilization element 12 It is established as a property processing atom chain that processes the usage element property data. Image processing Access controller 21D in any particular embodiment of system 10 The specific characteristic processing atoms that can be used are the molecules and the constituents of the image data processing library 30. Atoms that depend on parameters that can be used by the set of atoms in the molecule class It can be understood that. The specific image processing atoms described above with reference to FIGS. A specific example of a property processing atom used in conjunction is described below in connection with FIG. Con Troller 21D selects specific atoms among the characteristic processing atoms, connects them, and One or more characteristic processing chains specified by the image processing operation selection information (see FIG. Form an image processing profile generator 21A including step 111) and use these To generate image processing parameter data.   An example of a specific property processing chain is shown in FIG. As mentioned above, in one embodiment The image source and downstream utilization element characteristic data are And Wiener noise spectrum information. In this embodiment, the characteristic processing The controller 21D actually uses the image processing profile generator in two characteristic processing chains. Established as One of these chains processes modulation transfer function information. The other is identified by reference numeral 122, while the other is Wiener noise spectral information And is identified by reference numeral 123. Chain 122 and 123 Each atomic row is enabled by the operator's image processing operation selection information. Image data in selected molecules 32-35 in image data processing library 30 Corresponding to the atomic sequence for which spatial processing is performed. Therefore, as described above, the molecule 32 (0) (FIG. 5) ), 33 (0) (FIG. 6), and 35 (0) (FIG. 7), and image data If all of the atoms that perform spatial processing related to Controller 21D establishes chains 122 and 123 as shown in FIG.   Therefore, referring to FIG. 9, the modulation transfer function processing chain 122 / Atom 122 (0) performing zoom operation, Atom 122 (1) performing noise reduction operation, sharpening operation Atom 122 (2) performing the compression operation, atom 122 (3) performing the compression operation, and, for example, drawing an image. Processing operation corresponding to the processing performed by the specific downstream usage element 12 A series of property processing atoms 122 (0) -122 (J), including atoms 122 (J) that perform 122 (j)). Atoms 122 (1) -122 in one embodiment The specific operation performed by (J) is described below. Atom 122 (0) in chain 122, 122 (1), 122 (2), and 122 (3) in order of image resizing / zoom, noise reduction Images of the molecules 32 (0), 33 (0), and 35 (0) as described above, with sharpening and compression It can be appreciated that this corresponds to the order performed by the data processing unit. In addition, C Stream usage element 12 is obviously associated with image data, for example, before being rendered. Atoms associated with the downstream utilization element 12 122 (J) is located last. Additional atoms represented by atom 122 (J-1) are, for example, The selected special effect molecule 34 (l) in the special effect molecule class 34 or FIG. Are not shown due to other atoms that may be deployed in molecules 32 (0), 33 (0), and 34 (0). Parameters to indicate the likelihood that a parameter will be required.   The Wiener noise spectrum processing chain 123 uses the Wiener noise spectrum Image resizing / zooming, noise reduction, sharpening, and compression related to file information Including the atoms 123 (0) to 123 (J) that perform such operations. Wiener noise spectrum processing The atoms 123 (0) to 123 (J) in the chain 123 are the atoms in the modulation transfer function processing chain 122. Perform operations corresponding to those performed by 122 (0) -122 (J), but with atoms 123 (0) -12 The specific action performed by 3 (J) is the specific action performed by atoms 122 (0) -122 (J). Does not have to be the same as The origin of the Wiener noise spectrum processing chain Examples of specific operations performed by the children 123 (0) to 123 (J) are also described below.   The characteristic processing unit 21 further includes an image quality function value determination element 124, a parameter optimization element 125, These are both shown in FIG. 9 and each have an image quality value generator 21B and a parameter This corresponds to the optimizer 21C (FIG. 2). As described above, the characteristic processing unit 21 Specific image data source 11 and downstream utilization element 12 to acquire and render Process the modulation transfer function and Wiener noise spectral information associated with An image processing parameter used by the image data processing unit 20 is generated. Do this The atoms 122 (j) constituting the modulation transfer function chain 122 and the Wiener Neutral The atoms 123 (j) that make up the noise spectrum chain 123 are generally parameter optimized Using the parameters provided by element 125, the modulation transfer function and Processing the noise spectrum information, for example, by the image quality function value determining element 124. For example, a single image quality function that describes the quality of the image depicted by the downstream Generates information used to generate numbers. Parameter optimization factor 125 Receives the image quality function value and modulates the transfer function chain 122 and Wiener Update using the values of the various parameters provided to the Generate new parameter values. Modulation transfer function chain 122 and Wiener noise Spectrum chain 123 repeats operation using updated parameter values , Update information to be provided to the image quality function determining element 124. Modulation transfer function chain According to the update information from the channel 122 and the Wiener noise spectrum chain 123, Image quality function determinant 124 is a further parameter that may be provided to chains 122 and 123. Updates used by parameter optimization element 125 when generating meter value sets Generate a new image quality function value. These operations are performed when the parameter optimization element 125 During a series of iterations until it is determined that the parameter values generated during If the iteration is repeated and it is determined that the iteration termination criteria are met, the iteration is stopped The parameter optimization element converts the determined parameter values into image processing parameter data. The data is provided to the image data processing unit 20 as data. In one embodiment, the parameter optimal Transfer function chain 122 and Wiener noise spectrum The initial set of parameter values provided to chain 123 is generated as random values. The optimization factor is that the parameter values generated during a given iteration are used during the previous iteration. To determine if the corresponding corresponding parameter value is within the selected tolerance. To determine whether the parameter termination criteria are satisfied.   Modulation transfer function, Wiener noise spectrum, and parameter optimization factor 12 Configure chains 122 and 123 in relation to the values of the parameters provided by 5 The specific action taken by the atoms 122 (j) and 123 (j) In addition, the selected molecules 32 (j), 33 (k), 34 (l), and 35 (m) in the image data processing unit 20 Is determined by the action taken by the corresponding atom of. Chains 122 and 1 The modulation transfer function and Wiener noise spectrum provided in Form used to generate the modulation transfer function and Wiener noise spectrum. Various frequencies usediEffectively constructs a matrix of values for. Therefore, The modulation transfer function matrix is referred to herein as "M (fi) " According to convention, the two-dimensional Wiener spectral matrix W (fi, O) through one dimension The slice is W (fi).   Image Resize / Zoom Atoms 122 (0) and 123 (0) have a zoom factor of “Z” And the input modulation transfer function M (fi) And Wiernano Noise spectrum W (fiEach of the resized or zoomed images depending on) Zoomed modulation transfer representing the modulation transfer function and Wiener noise spectrum Function and Wiener noise spectrum value for each frequency component fiAgainst Generated.                           Mz(fi) = M (fi *Z) ... (1)                           Wz(fi) = W (fi *Z)*ZTwo                  ... (2) The value of the zoom factor “Z” is set by the operator as part of the image processing operation selection information. Provided by or additionally image data source and downstream use It may be correlated to the size of the element pixel (pixel).   The noise reducing atoms 122 (1) and 123 (1) are provided with a zoomed modulation transfer function provided. Number Mz (fi) And the Wiener noise spectrum Wz (fi), The noise is reduced. Tone transfer function and Wiener noise spectrum value M '(fi) And W '(fi) Generated.           M '(fi) = NM(α, β, M (fi), W (fi))*Mz(fi) ... (3) and           W '(fi) = Nw(α, β)*Wz(fi) ...(Four) Where NM(α, β, M (fi), W (fi)) Are the parameters α and β, and the modulation transfer The modulation transfer function M (f provided to the noise reducing atom 123 (1) of the function processing chain 122i) And Wiener noise spectrum W (fi), And Nw (α, β) is a parameter α and β, and the noise reduction of the Wiener noise spectrum processing chain 123 The Wiener noise spectrum W (f provided to the reduced atom 123 (1)i). 1 The parameters α and β in one embodiment are described below.   In one embodiment, the noise of the Wiener noise spectrum processing chain 123 is The reduced atoms 123 (1) are modeled as generalized noise filters. In general , The signal C (fi) Is the desired signal component S (fi) And Noise component N (fi). That is, C (fi) = S (fi) + N (fi). General Transformed The obtained Wiener noise filter calculates each frequency f according to the following equation:iOutput for C ' (fi) Is generated. For a uniform image, the desired signal component of the input signal is zero value, and therefore the input signal The entire signal is represented by a noise component. That is, C (fi) = N (fi). Therefore, From equation (5), (Where “ε” indicates an expected value function). Because N (fiBy) This is because the noise represented is assumed to be random. Noise reduced Wiener noise spectrum W '(fi), The expected value is the fraction of zero and one New random distribution variable with mean with scatter By using the Wiener noise spectrum noise based on equation (6). Noise reduction factor "nrfw(α, β) ”. This place In this case, the Wiener noise spectrum noise reduction factor is And therefore, for discrete values of 、, It is. Where ξj= jδξ, where δξ is the sampling interval. One fruit In embodiments, at high levels of noise reduction, the actual amount of residual noise observed is equal to Noise reduction factor nrf obtained from equation (8)W(fi) To Nw (α, β, W (fi)) Somewhat higher than would be present when used directly as To adjust for this difference, The noise-reduced Wiener noise spectrum is modeled as follows. This gives Nw (α, β) in equation (4)     Nw (α, β, W (fi) = 0.996*nrfw(α, β) +0.011* e -12.2nrfW ( α.β) Corresponding to For high levels of noise reduction, nrfWWhen (α, β) is relatively low, NW( α, β) approaches the value “0.011}” and the noise reduction factor value increases. Therefore Nw(α, β) is 0.996 * nrfwapproaching (α, β).   The noise reduced modulation transfer function M '(fiN to calculate)M(α, β, M ( fi), W (fiWhen determining the formula for)), the modulation transfer function is the noise reducing atom 122 (1) Noise reduced signal amplitude C ′ (fi) Input signal amplitude C ( fi) Can be determined from the expected value of the ratio to the expected value. That is, each frequency fiTo for, Holds. In general, real-world images Sw(fiAverage spectral signal amplitude distribution for Is ε [Sw(fi)] = So/ fi, Where SoIs related to the variance of the signal amplitude across the image. Communicating I do. From the definition of the modulation transfer function for an image acquisition system as described above, Expected value ε [S of the signal amplitude of the image acquired by the acquisition systemi(fi)] Corresponds to I do. If both signal and noise are independent random variables with zero mean , Sum C (fi) Also has zero mean and variance Is random and Has a probability distribution function of In equation (12), the exponent Is replaced by the variable λ, Equations (5) and (10) are combined to give: You. Or Where λj= j * δλ. The noise reducing atom 122 (1) Function M '(fi) At each frequency f along with equation (10).iFor NM(α, β, M (fi ), W (fiUse the value of)).   The sharpening atoms 122 (2) and 123 (2) form the sharpening matrix K (fiProvided using Noise reduced modulation transfer function matrix M ′ (fi) And noise reduced The Wiener noise spectrum matrix W '(fiMultiple of the various values of) The following sharpening is performed in relation to That is, the modulation transfer function chain 122 For sharpening atom 122 (2)                     M ″ (fi) = K (fi) M '(fi) ... (15) And the sharpening atom 123 (2) in the Wiener noise spectral chain 123                   W ″ (fi) = [K (fi)]TwoW '(fi) ... (16) Perform sharpening as in In one embodiment, the sharpening matrix K (fi) Element Is determined by Here, γ and Δ are parameters, and δ represents the pixel width. You. From both equations (15) and (16), the sharpening matrix K (fi) The noise is reduced The modulation transfer function matrix M '(fi) And reduced Wiener noise The spectral matrix W '(fi)), The corresponding element of each matrix Obviously, they are multiplied. The sharpening matrix K (fi) Is In general, higher frequency modulation transfer functions and Wiener noise spectral components The matrix M '(fi) And W '(fi) Increase the value of the matrix element However, it is understood that the magnitude of this increase is a somewhat complex function of the parameters γ and Δ. Can be done. The sharpening atoms 122 (2) of the modulation transfer function chain 122 are given by equations (15) and (17). ) According to the matrix M "(fi) To generate the Wiener noise spectral chain 1 Twenty-three sharpening atoms 123 (2) are formed according to equations (16) and (17) using matrix W "(fi) To achieve. These atoms divide the resulting matrix into the respective compressed atoms 122 (3) and And Provided at 123 (3).   As described above in connection with FIG. 8, the JPEG compressed molecule 35 (m) is effectively quantized and And Huffman coding. Huffman coding is virtually image information , But quantization can lose image information, so compressed atoms 122 (3) and 123 (3) performs processing related to only the quantization part of the compression, and The function and Wiener noise spectrum values are effectively generated as follows.                 M (fi)q= LM(fi, Δq(fi)) M ″ (fi) ... (18)                 W (fi)q= Lw(fi, Δq(fi)) W ″ (fi) ... (19) Where LM(fi, Δq(fi)) And LW(fi, Δq(fi)) Indicates the frequency fi and the schedule described later. Quantization interval Δq(fi) Are both functions, each with reduced noise Modulation transfer function value M "(fi) And Wiener noise spectrum value W "(fi) Is quantized Represents the quantization factor used by compressed atoms 122 (3) and 123 (3) when . When performing compression in connection with the JPEG standard, the compressed atoms 122 (3) and 123 (3) Frequency fiDefine the interval between quantization values for each of the Scaled quantization mask Q (fi)use I do. Compressed atoms 122 (3) and 123 (3) are quantum Scaling interval. Therefore, any particular frequency fiScaled against The quantization interval is given by:                         Δq(fi) = S*Q (fi) ... (20) Here, “S” is a quantization scaling factor, and is calculated by the characteristic processing unit 21. One of the parameters provided.   XqIs determined in relation to the variance of x by: Where ΔqIs the effective quantization interval.   In general, the signal power spectrum Si(fi) And the noise power spectrum W (fi)of The value represents the variance of the random variable. Therefore, the quantized modulation transfer function is the signal after quantization. Since it is determined from the ratio of the power to the unquantized signal power, from equation (21), Quantized modulation transfer function M (fi)qCorresponds to here, Represents the expected value of the signal power of the image (reference equation (11) above), ΔqIs the equation (20) Corresponding to the quantization interval given by Similarly, the quantized Wiener The noise spectrum value is given by Frequency component f corresponding to zeroiFor, the quantized modulation transfer function M (fi)qIs the value Quantized Wiener noise spectrum W (0) having "1"qThe value of Given.   Modulation transfer function processing chain 122 and Wiener noise spectrum processing chain Downstream utilization element atoms 122 (J) and 123 (J) of Provided downstream usage element modulation transmission characterizing stream usage element 12 Function information and downstream element Wiener noise spectrum information Relatedly, provided by the respective upstream atoms 122 (J-1) and 123 (J-1) Process modulation transfer function and Wiener noise spectrum. This illustrative implementation In an embodiment, the molecule 33 (0) is within the image integrity molecule class 33 by the image processing selection information. Selected and within the compressed molecule it is possible to select the JPEG compressed molecule 35 (0) The image processing selection information also indicates that the atoms 122 (J) and 123 (J) And immediately follow each compressed atom 122 (3) and 123 (3) in You. Therefore, the downstream utilization element processing atoms 122 (J) and 123 (J) are quantized. Transfer function and Wiener noise with sharpening, sharpening and noise reduction Vector value M (fi)q(Equation (22)) and W (fi)q(Equation (24)) The modulation transfer function and Wiener noise for the Process these in relation to the vector.   Downstream usage elements 12 are each MDOWN(fi) And WDOWN(fiBy) Characterized by the represented modulation transfer function and Wiener noise spectrum For example, when rendering an image, the downstream usage element The modulation transfer function is multiplied by the modulation transfer function characterizing the downstream utilization device 12. By and down the Wiener noise spectrum characterizing the image By adding to the Wiener noise spectrum that characterizes the And process the provided image information. That is, to the downstream usage element 12 The image information as input of the modulation transfer function MIM(fi) And Wiener noise spec Tor WIM(fi), The image depicted is effectively MDOWN(fi) * MIM (fi). Here, “*” indicates a multiplication operation, and WDOWN(fi) + WIM(fi). Thus, in the illustrated embodiment above, the downstream utilization The processed image data connected to the elements is effectively quantized, sharpened, And noise-reduced modulation transfer function and Wiener noise spectrum M (fi )qAnd W (fi)qThe modulation transfer function downstream utilization element as represented by Atom 122 (J) has a processed modulation transfer function output M '(fi)qIs generated as follows,                     M '(f)q= MDOWN(fi)*M (fi)q                 ... (26) Wiener noise spectrum Downstream utilization element atom 123 (j) -Generate a noise spectrum downstream utilization element value as follows.                 W '(fi)q= WDOWN(fi) + W (fi)q                   ... (27) Modulation transfer function M of downstream utilization element 12DOWN(fi) And Wiener noise Spectrum WDOWN(fiIf) are not specified, in one embodiment they are It is assumed to have values 1 and zero, respectively. In essence, downstream usage Element 12 has no effect on the incoming modulation transfer function and is assumed to be noise-free Is done. That is, it is assumed that the input image is transferred essentially unchanged . M ′ (fi) generated by downstream utilization element atoms 122 (J) and 123 (J)q And W '(fi)qValues are modulation transfer function processing chain 122 and Wiener Represents the output of the noise spectrum processing chain, effectively parameter optimized during iteration Depending on the specific preliminary parameter values provided by the The processing performed by the downstream utilization element 12, for example when rendering an image Represents the processing of the image data according to.   As described above, atoms 122 (J) and 123 (J) are converted to M '(fi)qAnd W '(fi)qThe value, this Connected to an image quality function decision element 124 that processes these values to produce a single image quality function value. You. The single image quality function value is then converted in a subsequent iteration to the modulation transfer function processing chain 122 and And used as used by the Wiener noise spectrum processing chain 123. Used by parameter optimization element 125 when updating parameter values. One In one embodiment, the image quality function value determining element 124 includes two components: a modulation transfer function. Number information M '(fi)qSharpness component that reflects the sharpness of the depicted image characterized by And the Wiener noise spectrum information W '(fi)qDepiction image characterized by A single image quality function value is generated according to a particle roughness component that reflects the particle roughness of the image. Both For the component, the image quality function determining element 124 determines the spectral weight defined as Finding factor ω (fi). Where E (fi) Is the eye (or other visual system) for the image at the selected viewing distance ) Is a spectral response. Predetermined frequency component fiThe sharpness of the image for The value of the modulation transfer function for the frequency component and the spectral weighting factor ω (fi ) And an objective metric of sharpness is the integration of the multiplicative product over the frequency range. The spectral weighting factor ω (fi) It is defined as standardized. Therefore, in one embodiment, the image quality function determination The prime is the modulation transfer function M '(fi)qAnd sharp according to spectral weighting factor The degree factor value SQV is generated as follows. Here, “ηsIs an arbitrary proportionality constant, which in one embodiment is 100. Is selected. The integral in equation (29) is calculated from zero to the Nyquist frequency fNFrequency up to Taken over a range. In one embodiment, the image quality function determinant 124 is Estimate the integral of equation (29) using Simpson's approximation rule of Also this embodiment Then, a sharpness factor value is generated as follows. Where flIs a series of frequency components fiIs the lowest non-zero frequency component. Picture The quality function determinant 124 includes a sharpness factor value or an equality value generated using equation (29). Using the approximation value generated using Equation (30), the sharpness measurement used in determining the image quality function is performed. Standard CSIs generated as follows.                             QS= ΑSSQV + βS                   ... (31) Where αSβSIs a constant whose value is determined empirically, in one embodiment , Constant αSAnd βSHas been determined by experience to be 2.068 and -38.66, respectively. .   As mentioned above, the Wiener noise spectrum is the value of the acquired or depicted image. In relation to the particle roughness, the image quality function determinant 124 therefore determines the particle roughness factor G Generated by the Wiener noise spectrum processing chain 123 The Wiener noise spectrum value W '(fi)qUse Predetermined frequency component fiTo The graininess of the resulting image is determined by the value of the Wiener noise spectrum and this frequency component. Spectrum weighting factor ω (fi) Squared function. Also grain An objective measure of roughness is the integration of the multiplicative product over the frequency domain in the same frequency domain. Spectral weighting factor ω (fi) Squared Is defined as Accordingly, in one embodiment, the image quality function determinant 124 Is the Wiener noise spectrum W '(fi)qAnd spectral weighting factors Generates a particle roughness value G as follows. The integral in equation (32) is from zero to the Nyquist frequency fNOver the frequency range up to Be taken. In one embodiment, the image quality function determinant 124 includes the Simpson approximation The rule is used to estimate the integral of equation (32), and in this embodiment, the particle roughness value is Is generated as follows. The image quality function determining element 124 generates the particle roughness value or equation (33) using equation (32). Particle roughness metric used in determining image quality functions using approximations generated using QGIs generated as follows.                           QG= ΑGlogl0G + βG                    ... (34) Where αGAnd βGIs a constant whose value is determined empirically, The constant αGAnd βGIs determined by experience to be -75.07 and 104.5 respectively Was done.   The image quality function determining element 124 is based on the sharpness metric QSAnd particle roughness measurement standard QGuse And the image quality metric IM using the image quality functionQIs generated as follows. Lightness metric QSOr particle roughness measurement standard QGOne has a relatively large value, the other If the metric has a relatively small value, the metric with the relatively small value is generally Quality IMQTo be controlled. On the other hand, sharpness metric QSAnd particle roughness Metric QGHave approximately the same value, the image quality value IMQIs large for both metrics Has a value that depends on it. Metric QGAt high quality levels, reflected in high values for To reflect the facts observed from the experience that the image quality You. In one embodiment, the metric is generated as described above, and “n” has the value “2.5” Q that gives the ceiling image quality valueCEILThe value of many of a particular type of image Minimize least squares error in image quality function value of predicted image quality for psychovisual evaluation , And in this embodiment, a predetermined class of images, That is, the image included in the photo print has a value of 118.   As mentioned above, modulation transfer function and Wiener noise spectrum processing chain 122 and 123, the image quality function determination element 124, and the parameter optimization element 125 , And between each iteration, the modulation transfer function and Wiener noise spectrum The processing chain depends on the trial parameter set from the parameter optimization element 125 To calculate the respective processed modulation transfer function and Wiener noise spectral value M '(fi )qAnd W '(fi)q(Equations (26) and (27)), and the image quality function determining element 124 Processed transfer functions and wires generated by control chains 122 and 123. Ner noise spectrum value M '(fi)qAnd W '(fi)qDepending on the image quality value IMq(Equation (35)) Generate As described above, the parameter optimization element 125 determines the image quality value IMqMaximize Of the parameters α, β, γ, Δ, and S to be generated. Parameter The optimization factor is this maximum image quality value IMqIdentifying the parameter value set that provides A parameter value for optimizing the image processing by the image data processing unit 20 is practically determined, These parameter values are used as image processing parameter data, And 94 (parameters α and β), sharpening atom 95 (parameters γ and Δ), Image data as used by the quantized atom 112 (parameter S) Provided to the processing unit 20.   The parameter optimization element 125 is used to locate the extreme values of the function, especially the maximum value. The desired set of parameter values may be generated using any of a number of well-known methods. This For some of the methods such as Press et al.Numerical Recipes In Fortran  2d ed. (Cambridge University Press, 1992) I have. In one embodiment, the parameter optimization element 125 includes a modified “downhill” It works according to the "downhill simplex methodology". For example, Pr above The downhill simplex method described on pages 402-406 of the book of ess uses a plurality of "N" variables ( In this case, the parameters used by the noise reducing atoms 122 (1) and 123 (1) α and β, parameters γ and γ used by sharpening atoms 122 (2) and 123 (2) And Δ, and the parameter S used by the compressed atoms 122 (3) and 123 (3) ) For a particular function (in this case, the image quality value IMq) To the extreme value of this function (that is, (Maximum or minimum) and the value of the variable that provides this extreme value. It is a method. According to the downhill simplex method, the parameter optimization element 125 Generate the first "simplex" represented as the geometric shape of. Image quality value IMqIs five The image quality function IM is a function of the parameters α, β, γ, Δ, and S.qis connected with Simplex has 6 vertices (ie, N + 1 vertices, where “N” is the number of independent variables) Five-dimensional shape (where each dimension is a variable, ie, the parameters α, β, γ, Δ, and S) Associated with one of them), which can be initially randomly selected. In a five-dimensional space, each vertex V of a simple substanceiIs each vertex ViIs related to the image quality function value IMqiHave 5 aggregates (αi, Βi, Γi, Δi, Si).   According to the downhill simplex method, the parameter optimization element 125 includes the trial parameter αi, βi, Γi, Δi, And Si("I" is an integer from 1 to 6) 6 vertices V that randomly select and define a simplexiAnd for each set "i" Modulation transfer function and Wiener noise spectrum processing for chains 122 and 123 And the image quality function determining element 124 determines the image quality value IM as described above.qiAllows to generate This establishes an initial set of six vertices that define the first simplex. Para Meter αi, Βi, Γi, Δi, and Si("I" is a subscript from 1 to 6) IM quality value for allqiIs generated, the parameter optimization element 125 6 original sets αi, Βi, Γi, Δi, And SiBy one of Vertex V representediI.e. the image quality function IMqIVertex V that gives the lowest value forIPut in New vertex V for replacing simplex7A new parameter set α7, Β7, Γ7 , Δ7, And S7Generate New vertex V7When generating Element 125 is the selected vertex VIPerforms one of many actions associated with Parameter value α7, Β7, Γ7, Δ7, And SiIs the vertex VIImage quality value IM related toqI Better image quality value IMq7Try to get a new vertex that provides. Parameter The optimizing element 125 can (a) retain the volume while selecting the selected vertex ViThrough the opposing surface of the unit (B) selected vertex ViReflection and direction perpendicular to the facing surface Multiples associated with a single substance, including expansion or contraction of the element, and (c) contraction of one or more surfaces. Many types of operations can be performed.   New vertex V7, The parameter optimization element 125 uses the operation described above. And the trial parameter value set α7 T, Β7 T, Γ7 T, Δ7 T, And S7 TNew including Vertex V7 TAnd the parameter optimization element 125 converts them to the modulation transfer function and And Wiener noise spectrum processing chains 122 and 123 and image quality function determination Providing element 124 with the trial quality value IMQ7 TGenerate Trial image quality value IMq7 TAt least Also the second lowest trial quality value IMqiIf higher, the parameter optimization element 125 is That trial Image quality value IMq7 TThe trial vertex V associated with7 TAnd the new vertex V for its simplex7Used as To use. Otherwise, a new trial vertex V7 TImage quality value IM generated according toq7 TBut At least the second lowest trial quality value IMqiIf not higher, the selected vertex VI Other operations or combinations thereof of the selected operations described above in connection with Go to another new trial vertex V7 TAnd repeat these actions. Para The meter optimization element 125 includes a trial image quality value IM having a value at least the second lowest.qitaller than Trial image quality value IMq7 TTrial vertex V7 TIdentify this trial vertex V7 TThe new vertex V7age These operations are repeated until used.   The parameter optimization element 125 repeats the above operation through a series of iterations, New vertex V during iterationi("I" is a subscript greater than 7) to generate the lowest image quality Value IMqReplace the vertices associated with. The iterations will continue until the selected termination criteria are met. Followed by In one embodiment, the parameter optimization element 125 is preferably a single Highest image quality value IM of at least some of the vertices definingqiIs selected When the value is within the set tolerance, the process ends. In addition, satisfying the above preferred termination criteria If not, a predetermined maximum number of iterations for the parameter optimization element 125 is identified. , The parameter optimization element 125 may exit after performing this predetermined maximum number of iterations That can be understood. The parameter optimization element 125 includes at least a first termination criterion. When processing is completed in connection with the above, the highest level is used for use in the image data processing described above. Image quality IMqIs provided to the image data processing unit 20. (example Max image quality IMqConsidering error conditions that cannot be determined A second termination criterion based on the maximum number of iterations may be provided, and the iteration is terminated according to this criterion. Parameter optimization element 125 is the highest image quality value IMqVertex V withiTo The values of the relevant parameters may be provided to the image data processor 20. Or parame The data optimization element 125 creates a new simplex with a randomly generated new vertex The downhill alone method can be used to repeat. )   In one particular embodiment, the values of the various parameters α, β, γ, Δ, and S Is limited to a predetermined range. In this embodiment, the trial vertex Vi TLocate Test one or more of the parameters identifying this trial vertex. If the row value is out of range for the parameter, the optimal parameter value 125 will be Noh Which effectively reduces the trial quality value associated with the trial vertex. This penalty function is proportional to the extent to which the value of the parameter falls outside a predetermined range. As a variant, the parameter optimization element 125 isTWhen generating Only vertices within a predetermined range of various parameters may be limited.   As described above, the modulation transfer function processing chain 122 and the Wiener noise spec The processing chain 123 is performed by the image data source 11 and also, for example, An image data source and an image data source that effectively define the processing described by the The actual communication data to the operator. The image data processing unit 20 selected according to the provided image processing operation selection information Provided for processing in a manner corresponding to the manner in which the molecule is treated. Obedience The modulation transfer function and Wiener noise spectrum processing chains 122 and 1 The specific set of atoms deployed in 23 are specific fractions from the various molecular classes 32-35. Child sets 32 (j), 33 (k), 34 (l), and 35 (m), and those enabled It corresponds to a specific atom in each molecule. In addition, the modulation transfer function and Wienerno Within the spectrum processing chains 122 and 123 Related to certain processing operations, but those parameters are provided by atoms that are not generated Can be done. In general, modulation transfer functions and Wiener noise spectral processing checks The atoms in regions 122 and 123 are selected to perform spatial processing related to the image data. It corresponds to the enabled atoms of the children 32 (j), 33 (k), 34 (l), and 35 (m).   In addition, there may be a number associated with the particular image quality value provided by the image quality function determinator 124. It can be appreciated that many changes can be made. For example, the image quality function determining element 124 Image quality value IM described above in connection with equation (35)qIn addition to providing or this Image data source 11 and downstream usage requirements An image quality value that reflects the selected characteristic of element 12 may be provided. As an example, the image quality function decision The constant element 124 is the image quality value IM described above.qDepending on the color balance correction image selected as follows A quality value may be generated. Here, “ΔE” is a downstream value based on a uniform predetermined color sample image. Represents the color reproduction error of the element used, E0Is the scale factor. Generated image quality The value is provided to the parameter optimization element 125. The color balance generated in this way Corrected image quality value IMCBFor example, the quality of the rendered image as perceived by the observer The image data generated by the data source 11 or the downstream utilization Reflects the fact that it is affected by the color balance of the image depicted. Other modifications It will be apparent to those skilled in the art.   Image processing system 10 has many advantages. In particular, various types of image data To a particular type of processing action provided by the source and selected by the operator Optimal image used by various types of downstream utilization elements based on Image data processing is facilitated. Selected processing operation set and these processing operations The order in which they are applied, for example, affects the appearance of the image rendered by the image data source. System 10, the image data source characteristic data representing the optimal image or the reference image. Actual image data using data and downstream usage element characteristic data. The various parameters used when processing image data to provide optimal image quality Automatically determine the optimal value set for the data.   Image processing system 10 can be dedicated hardware or appropriately programmed general purpose It can be embodied in a digital computer system. Or image processing system Selected parts of the software are embodied in dedicated hardware, while other parts are properly programmed. And may be embodied in a programmed general purpose digital computer system. For example, various An integrated circuit chip manufacturer dedicated to processing image data according to the JPEG standard above Provide processing circuits and implement image processing systems that use such circuits Will be apparent to those skilled in the art. Examples of such circuits include, for example, LSI Logic There is a CW702 JPEG core provided by Corporation.   The foregoing description has been limited to a specific embodiment of this invention. However, in the present invention Changes and modifications may still yield some or all of the advantages of the invention. It is clear. These or other within the true spirit and scope of the invention It is the object of the appended claims to cover such changes and modifications.

───────────────────────────────────────────────────── 【要約の続き】 ータ値が決定されると、次に、システムは、画像データ 自体を対応の処理動作にかけ、画像を目的のアプリケー ションに提供する。処理動作のセットを最初に選択する 以外は、これはすべてオペレータの介入なしに成し遂げ られる。システムの機能は、コンピュータワークステー ション、ならびに計算および制御が成分間で分布する離 散成分の通信セットを含む種々の物理的アーキテクチャ において実行され得る。────────────────────────────────────────────────── ─── [Continuation of summary] Once the data values have been determined, then the system Apply the processing itself to the corresponding processing operation, and To offer Select a set of processing actions first Except that this is all achieved without operator intervention Can be The function of the system is And the separation of calculations and controls between components. Various physical architectures including dispersive communication sets Can be performed.

Claims (1)

【特許請求の範囲】 1.画像データソースから画像データを受け取り、画像処理選択情報によって特 定されるように、該画像に関連して複数の画像処理動作のうちの少なくとも1つ の画像処理動作を行い、処理された画像データを生成し、該処理された画像デー タをダウンストリーム利用要素に提供するための画像処理システムであって、 A.入力された画像データに関連して該少なくとも1つの画像処理動作を行う ための画像データ処理部であって、処理動作パラメータ情報に関連して該少なく とも1つの画像処理動作を行い、それによって、所定の心理視覚属性に従って最 適化された該処理された画像データを生成する、画像データ処理部と、 B.該画像データソースおよび該ダウンストリーム利用要素の少なくとも1つ の選択された特性を規定するソース特性情報およびダウンストリーム利用要素特 性情報を受け取り、該画像処理選択情報、該ソース特性情報および該ダウンスト リーム利用要素特性情報に応答して該処理動作パラメータ情報を生成し、それに よって、該画像データ処理部が、該所定の心理視覚属性に従って最適化された該 処理された画像データを生成することを可能にする該処理動作パラメータ情報を 生成するための特性処理部と、 によって特徴づけられる画像処理システム。 2.前記画像データ処理部が、それぞれが前記複数の画像処理動作の1つの動作 を行うための複数の画像処理原子と、該画像処理原子からいくつかの原子を選択 し、該選択された画像処理原子が、前記画像処理選択情報に応答して前記画像デ ータを処理することを可能にするための画像処理制御とによってさらに特徴づけ られる、請求項1に記載の画像処理システム。 3.前記複数の画像処理原子の1つが、前記特性処理部によって生成される前記 処理動作パラメータ情報に応答して動作し、前記画像処理制御が、前記画像処理 選択情報に応答して生成される該処理動作パラメータ情報に応答して前記複数の 画像処理動作の前記1つの動作を可能にすることによってさらに特徴づけられる 、 請求項2に記載の画像処理システム。 4.前記複数の画像処理原子の少なくとも2つが、前記複数の画像処理動作のい くつかの動作を所定の順序で行うための画像処理分子を含み、前記画像処理制御 が、前記画像処理選択情報に応答して該画像処理分子および該分子中の原子のそ れぞれを選択および可能にすることによってさらに特徴づけられる、請求項2に 記載の画像処理システム。 5.前記画像処理分子の少なくとも2つが、分子クラスを含み、該分子クラスの それぞれにおける該画像処理分子の該少なくとも2つが、予め選択されたタイプ の画像処理動作を行い、前記画像処理制御が、前記画像処理選択情報に応答して 、該画像処理分子および該分子内の原子のそれぞれを選択および可能にすること によってさらに特徴づけられる、請求項4に記載の画像処理システム。 6.前記分子クラスの1つが、それぞれが選択された展開方法に従って画像デー タ展開を行う複数の画像処理分子を含むデータ展開分子クラスであり、前記画像 処理制御が、前記画像処理選択情報における展開方法情報に応答して該展開分子 クラスから該複数の画像処理分子の1つを選択することによってさらに特徴づけ られる、請求項5に記載の画像処理システム。 7.前記分子クラスの1つが、それぞれが空間画像情報に関連して一連の画像処 理動作を行う複数の画像完全性分子を含む画像完全性分子クラスであり、前記画 像処理制御が、前記画像処理選択情報における画像完全性選択情報に応答して該 画像完全性分子クラスから該複数の画像完全性分子の1つを選択することによっ てさらに特徴づけられる、請求項5に記載の画像処理システム。 8.前記分子クラスの1つが、それぞれが一連の特殊効果画像処理動作を行う複 数の特殊効果分子を含む特殊効果分子クラスであり、前記画像処理制御が、前記 画像処理選択情報における特殊効果選択情報に応答して該特殊効果分子クラスか らの該複数の特殊効果分子の1つを選択することによってさらに特徴づけられる 、請求項5に記載の画像処理システム。 9.前記分子クラスの1つが、それぞれが選択された圧縮方法に従って画像デー タ圧縮を行う複数の画像処理分子を含む圧縮分子クラスであり、前記画像処理制 御が、前記画像処理選択情報における圧縮方法情報に応答して該圧縮分子クラス から該複数の画像処理分子の1つを選択することによってさらに特徴づけられる 、請求項5に記載の画像処理システム。 10.前記特性処理部がさらに、 A.更新パラメータ値を生成するためのパラメータ最適化要素と、 B.基準画像および該更新パラメータ値に応答して、前記ソース特性情報およ び前記ダウンストリーム利用要素特性情報の両方から基準画質値を生成するため の基準画質値決定要素と、 C.該パラメータ最適化要素および該基準画質値決定要素を制御し、一連の繰 り返しによって該パラメータ最適化要素が該更新パラメータ値を生成し、最適値 を有する該基準画質値を提供することを可能にし、該基準画質値が該最適値と等 しいときに、該画像データ処理部に該更新パラメータ値である前記処理動作パラ メータ情報を提供するための繰り返し制御要素と、 によってさらに特徴づけられる、請求項1に記載の画像処理システム。 11.前記基準画質値決定要素が、 A.前記ソース特性情報および前記ダウンストリーム利用要素特性情報に関連 して前記画像データ処理部によって行われる画像処理動作に対応する処理動作を 行い、複数の基準画像プロファイル値を生成する、基準プロファイル生成器と、 B.該複数の基準画像プロファイル値に応答して該基準画質値を生成するため の画質値決定要素と、 によってさらに特徴づけられる、請求項10に記載の画像処理システム。 12.前記ソース特性情報および前記ダウンストリーム利用要素特性情報が共に変 調伝達機能情報およびノイズパワースペクトル情報を含むことによって特徴づけ られ、前記基準プロファイル生成器が、該変調伝達機能情報に応答して変調伝達 機能プロファイル値を生成し、該ノイズパワースペクトル情報に応答してノイズ パワースペクトルプロファイル値を生成し、該画質値決定要素が、該変調伝達機 能プロファイル値および該ノイズパワースペクトルプロファイル値の両方に応答 して該基準画質値をさらに生成する、請求項11に記載の画像処理システム。 13.前記画質値決定要素が、前記変調伝達機能プロファイル値およびスペクトル 重み付け因子に応答して鮮明質値を生成することによってさらに特徴づけられ、 該鮮明質値に応答して前記基準画質をさらに生成する、請求項12に記載の画像処 理システム。 14.前記画質値決定要素が、前記ノイズパワースペクトルプロファイル値および スペクトル重み付け因子に応答して不鮮明値を生成することによってさらに特徴 づけられ、該不鮮明値に応答して前記基準画質値をさらに生成する、請求項12に 記載の画像処理システム。 15.画像データソースから受け取った画像データを処理し、画像処理選択情報に よって特定されるように、該画像に関連して少なくとも1つの画像処理動作を行 い、処理された画像データを生成し、該処理された画像データをダウンストリー ム利用要素に提供するための画像処理方法であって、 A.該画像データソースおよび該ダウンストリーム利用要素の少なくとも1つ の選択された特性を規定するソース特性情報およびダウンストリーム利用要素特 性情報を受け取り、該画像処理選択情報、該ソース特性情報および該ダウンスト リーム利用要素特性情報に応答して処理動作パラメータ情報を生成し、画像デー タ処理部が、所定の心理視覚属性に従って最適化された該少なくとも1つの選択 された特性を有する該処理された画像データを生成することを可能にする工程と 、 B.該画像データ処理部において該少なくとも1つの画像処理動作を行い、該 処理動作パラメータ情報に応答して該処理された画像データを生成する工程であ って、該処理された画像データが該所定の心理視覚属性に従って最適化される、 工程と、 によって特徴づけられる方法。 16.一連の前記少なくとも1つの画像処理動作が、前記画像処理選択情報によっ て選択される順序で行われることによってさらに特徴づけられる、請求項15に記 載される画像処理方法。 17.前記一連の前記少なくとも1つの画像処理動作の少なくとも1つが、前記処 理動作パラメータ情報を用いて行われることによってさらに特徴づけられる、請 求項16に記載の画像処理方法。 18.前記少なくとも1つの画像処理動作が、前記画像処理選択情報に従って所定 の画像処理動作シーケンスにグループ分けされることによってさらに特徴づけら れる、請求項17に記載の画像処理システム。 19.前記所定の画像処理動作シーケンスがシーケンスクラスにグループ分けされ 、該シーケンスクラスのそれぞれにおける該所定の画像処理動作シーケンスが、 多数の選択されたタイプの画像処理動作の1つを規定し、該所定の画像処理動作 シーケンスが、前記画像処理選択情報に応答して、該シーケンスクラスのそれぞ れにおいて行われることによってさらに特徴づけられる、請求項18に記載の画像 処理方法。 20.前記シーケンスクラスの1つが、それぞれが選択された展開方法に従って画 像データ展開を行う複数の前記所定の画像処理動作シーケンスを含むデータ展開 動作クラスとして特徴づけられ、前記画像処理選択情報が、該所定の画像処理動 作シーケンスを特定するための展開方法情報を含む、請求項19に記載の画像処理 方法。 21.前記シーケンスクラスの1つが、それぞれが空間画像情報に関連して前記一 連の前記少なくとも1つの画像処理動作シーケンスを行う複数の前記所定の画像 処理動作を含む画像完全性動作クラスとして特徴づけられ、前記画像処理選択情 報が、画像完全性動作に関連した該所定の画像処理動作シーケンスを同定するた めの画像完全性選択情報を含む、請求項19に記載の画像処理方法。 22.前記シーケンスクラスの1つが、それぞれが特殊効果に関連して前記一連の 前記少なくとも1つの画像処理動作を行う複数の前記所定の画像処理動作シーケ ンスを含む特殊効果動作クラスとして特徴づけられ、前記画像処理選択情報が、 特殊効果に関連した該所定の画像処理動作シーケンスを特定するための特殊効果 選択情報を含む、請求項19に記載の画像処理方法。 23.前記シーケンスクラスの1つが、それぞれが選択された圧縮方法に従って画 像データ圧縮を行う複数の前記所定の画像処理動作シーケンスを含むデータ圧縮 動作クラスであり、前記画像処理選択情報が、該所定の画像処理動作シーケンス を同定するための圧縮方法情報を含むことによって特徴づけられる、請求項19に 記載の画像処理方法。 24.前記工程15Aが、 A.更新パラメータ値を生成する工程と、 B.基準画像情報および該更新パラメータ値に応答して、前記画像データソー スによって画像処理を規定する前記ソース特性情報および前記ダウンストリーム 利用要素特性情報の両方から基準画質値を生成する工程と、 C.一連の繰り返しにおいて、前記処理動作パラメータ情報に応答して、該更 新パラメータ値および該基準画質値を共に制御し、該更新パラメータ値を生成し 、該基準画質値の最適値を提供する工程と、 によって特徴づけられる、請求項15に記載の画像処理方法。 25.前記生成工程24Bが、 A.前記ソース特性情報および前記ダウンストリーム利用要素特性情報の両方 に応答して、前記少なくとも1つの画像処理動作に対応する処理動作を行い、基 準画像プロファイル値を生成する工程と、 B.該基準画像プロファイル値に応答して該基準画質値を生成する工程と、 によって特徴づけられる、請求項24に記載の画像処理方法。 26.前記ソース特性情報および前記ダウンストリーム利用要素特性情報が共に変 調伝達機能情報およびノイズパワースペクトル情報を含み、 前記工程25Aにおいて、該変調伝達機能情報から変調伝達機能プロファイル値 を生成する工程と、 該工程25Aにおいて、前記ノイズパワースペクトル情報からノイズパワースペ クトルプロファイル値を生成する工程と、 該変調伝達機能プロファイル値および該ノイズパワースペクトルプロファイル 値の両方に応答して、前記工程25Bにおいて前記基準画質値を生成する工程と、 によってさらに特徴づけられる、請求項25に記載の画像処理方法。 27.前記基準画質値を生成する前記工程が、 前記変調伝達機能プロファイル値およびスペクトル重み付け因子の両方に応答 して鮮明質値を生成する工程と、 該鮮明質値に応答して前記基準画質値を生成する工程と、 によってさらに特徴づけられる、請求項26に記載の画像処理方法。 28.前記基準画質値を生成する工程が、前記ノイズパワースペクトルプロファイ ル値およびスペクトル重み付け因子の両方に応答して不鮮明値を生成し、該不鮮 明値から該基準画質値を生成することによってさらに特徴づけられる、請求項26 に記載の画像処理方法。 29.前記画像処理選択情報が、メモリおよびオペレータの1つによって提供され ることによってさらに特徴づけられる、請求項15に記載の画像処理方法。 30.画像データソースから受け取った入力画像データから生成される出力画像デ ータによって示される画像であって、ダウンストリーム利用要素に与えられる該 出力画像データが、 A.該画像データソースおよび該ダウンストリーム利用要素の少なくとも1つ の選択された特性を規定するソース特性情報およびダウンストリーム利用要素特 性情報を受け取り、画像処理動作選択情報、該ソース特性情報および該ダウンス トリーム利用要素特性情報に応答して、処理動作パラメータ情報を生成する工程 であって、該処理動作パラメータ情報が、最適な所定の心理視覚特性を有する該 出力画像データの生成を可能にする、工程と、 B.該入力画像データに関連して該少なくとも1つの画像処理動作を行い、該 処理動作パラメータ情報を生成する工程であって、画像データ処理部が、該処理 動作パラメータ情報に応答して、該所定の心理視覚属性によって最適化された該 処理された画像データを生成する、工程と、 によって特徴づけられる方法によって生成される、画像。[Claims] 1. Receives image data from the image data source, and At least one of a plurality of image processing operations associated with the image as defined. Performs the image processing operation of (i), generates the processed image data, and An image processing system for providing data to downstream usage elements,   A. Performing the at least one image processing operation in relation to the input image data An image data processing section for processing, the processing data comprising: Perform one image processing operation, thereby performing the most Generating an adapted processed image data, an image data processing unit,   B. At least one of the image data source and the downstream utilization element Source characteristics information and downstream usage element characteristics that specify the selected characteristics of the Receiving the image processing selection information, the source characteristic information and the downstream The processing operation parameter information is generated in response to the Therefore, the image data processing unit optimizes the image data processing unit according to the predetermined psycho-visual attribute. The processing operation parameter information enabling the generation of processed image data A characteristic processing unit for generating;   An image processing system characterized by: 2. The image data processing unit may be one of the plurality of image processing operations Multiple image processing atoms to perform and select some atoms from the image processing atoms Then, the selected image processing atom responds to the image processing selection information to generate the image data. Further characterized by image processing controls to allow data to be processed The image processing system according to claim 1, wherein: 3. One of the plurality of image processing atoms is generated by the property processing unit. Operating in response to processing operation parameter information, wherein the image processing In response to the processing operation parameter information generated in response to the selection information, Further characterized by enabling said one of the image processing operations , The image processing system according to claim 2. 4. At least two of the plurality of image processing atoms are associated with the plurality of image processing operations. An image processing molecule for performing a number of operations in a predetermined order; Responds to the image processing selection information by recognizing the image processing molecules and the atoms in the molecules. 3. The method of claim 2, further characterized by selecting and enabling each. The image processing system described in the above. 5. At least two of the image processing molecules include a molecule class, wherein The at least two of the image processing molecules in each are of a preselected type. Perform the image processing operation, the image processing control responds to the image processing selection information Selecting and enabling each of the image processing molecules and atoms within the molecules The image processing system according to claim 4, further characterized by: 6. One of the molecular classes is image data according to the selected development method. A data development molecule class including a plurality of image processing molecules for performing data development; Processing control responds to the development method information in the image processing selection information, Further characterizing by selecting one of the plurality of image processing molecules from a class The image processing system according to claim 5, wherein: 7. One of the molecular classes is a series of image processing, each associated with spatial image information. An image integrity molecule class including a plurality of image integrity molecules performing The image processing control responds to the image integrity selection information in the image processing selection information. By selecting one of the plurality of image integrity molecules from the image integrity molecule class. The image processing system according to claim 5, further characterized by: 8. One of the molecule classes is a complex that each performs a series of special effects image processing operations. A special effect molecule class including a number of special effect molecules, wherein the image processing control is In response to the special effect selection information in the image processing selection information, the special effect molecule class Further characterized by selecting one of the plurality of special effect molecules. The image processing system according to claim 5. 9. One of the molecular classes is used for image data according to the compression method selected for each. A compressed molecule class including a plurality of image processing molecules for performing data compression. Controlling the compressed molecule class in response to the compression method information in the image processing selection information. Further characterized by selecting one of the plurality of image processing molecules from The image processing system according to claim 5. Ten. The characteristic processing unit further includes:   A. A parameter optimization element for generating an updated parameter value;   B. In response to a reference image and the updated parameter values, the source characteristic information and To generate a reference image quality value from both of the Reference image quality value determining factors,   C. The parameter optimization element and the reference image quality value determination element are controlled, and a series of The parameter optimization element generates the updated parameter value by the return To provide the reference quality value with the reference quality value equal to the optimal value. When it is determined that the update parameter value is the processing operation parameter, A repetitive control element for providing meter information;   The image processing system according to claim 1, further characterized by: 11. The reference image quality value determining element is:   A. Related to the source characteristic information and the downstream utilization element characteristic information A processing operation corresponding to the image processing operation performed by the image data processing unit. A reference profile generator to perform and generate a plurality of reference image profile values;   B. Generating the reference image quality value in response to the plurality of reference image profile values Image quality value determining factors,   The image processing system according to claim 10, further characterized by: 12. Both the source characteristic information and the downstream utilization element characteristic information change. Characterized by including key transfer function information and noise power spectrum information Wherein the reference profile generator modulates and transmits in response to the modulation transfer function information. Generating a function profile value and responding to the noise power spectrum information Generating a power spectrum profile value, wherein the image quality value determining element includes: Response to both noise profile and noise power spectrum profile values 12. The image processing system according to claim 11, further comprising: generating the reference image quality value. 13. The image quality value determining element includes the modulation transfer function profile value and the spectrum. Further characterized by generating sharpness values in response to the weighting factors, 13. The image processor according to claim 12, further comprising generating the reference image quality in response to the sharpness value. Management system. 14. The image quality value determining element includes the noise power spectrum profile value and Further features by generating blur values in response to spectral weighting factors 13. The method of claim 12, further comprising generating the reference image quality value in response to the blur value. The image processing system described in the above. 15. Processes the image data received from the image data source and adds it to the image processing selection information. Perform at least one image processing operation in association with the image as specified. Generates the processed image data and downloads the processed image data An image processing method for providing to the   A. At least one of the image data source and the downstream utilization element Source characteristics information and downstream usage element characteristics that specify the selected characteristics of the Receiving the image processing selection information, the source characteristic information and the downstream The processing operation parameter information is generated in response to the The at least one selection optimized according to a predetermined psycho-visual attribute. Enabling the processing to generate the processed image data having the characteristics ,   B. Performing at least one image processing operation in the image data processing unit; Generating the processed image data in response to the processing operation parameter information. Thus, the processed image data is optimized according to the predetermined psycho-visual attribute, Process and   A method characterized by: 16. A series of the at least one image processing operation is performed according to the image processing selection information. 17. The method of claim 15, further characterized by being performed in the order selected. Image processing method to be mounted. 17. At least one of the series of the at least one image processing operation is the Contracts, which are further characterized by being performed using 17. The image processing method according to claim 16. 18. The at least one image processing operation is performed according to the image processing selection information. Are further characterized by being grouped into image processing operation sequences 18. The image processing system according to claim 17, wherein 19. The predetermined image processing operation sequence is grouped into a sequence class. , The predetermined image processing operation sequence in each of the sequence classes is Defining one of a number of selected types of image processing operations; A sequence is responsive to the image processing selection information for each of the sequence classes. 19. The image of claim 18, further characterized by being performed in Processing method. 20. One of the sequence classes is mapped according to the selected development method. Data expansion including a plurality of the predetermined image processing operation sequences for performing image data expansion The image processing selection information is characterized by an operation class. 20. The image processing according to claim 19, wherein the image processing includes expansion method information for specifying the operation sequence. Method. twenty one. One of the sequence classes may be one of the sequence classes, each associated with spatial image information. A plurality of the predetermined images for performing the sequence of the at least one image processing operation Characterized by an image integrity operation class including a processing operation, wherein the image processing selection information Information identifying the predetermined image processing operation sequence associated with the image integrity operation. 20. The image processing method according to claim 19, wherein the image processing method includes image integrity selection information. twenty two. One of the sequence classes is a sequence of the series, each associated with a special effect. A plurality of the predetermined image processing operation sequences for performing the at least one image processing operation; Characterized as a special effect operation class including the image processing, the image processing selection information, A special effect for specifying the predetermined image processing operation sequence related to the special effect 20. The image processing method according to claim 19, comprising selection information. twenty three. One of the sequence classes is imaged according to the compression method selected for each. Data compression including a plurality of the predetermined image processing operation sequences for performing image data compression An operation class, wherein the image processing selection information is the predetermined image processing operation sequence. Claim 19, characterized by including compression method information for identifying The image processing method described in the above. twenty four. The step 15A includes:   A. Generating an update parameter value;   B. In response to the reference image information and the updated parameter value, the image data source The source characteristic information defining the image processing by the source and the downstream Generating a reference image quality value from both of the usage element characteristic information;   C. In a series of repetitions, the updating is performed in response to the processing operation parameter information. Controlling both the new parameter value and the reference image quality value to generate the updated parameter value; Providing an optimal value of the reference image quality value;   16. The image processing method according to claim 15, characterized by: twenty five. The generation step 24B,   A. Both the source characteristic information and the downstream utilization element characteristic information Performs a processing operation corresponding to the at least one image processing operation in response to Generating quasi-image profile values;   B. Generating the reference image quality value in response to the reference image profile value;   25. The image processing method according to claim 24, characterized by: 26. Both the source characteristic information and the downstream utilization element characteristic information change. Including tone transfer function information and noise power spectrum information,   In the step 25A, a modulation transfer function profile value is obtained from the modulation transfer function information. Generating a;   In the step 25A, a noise power spectrum is obtained from the noise power spectrum information. Generating a vector profile value;   The modulation transfer function profile value and the noise power spectrum profile Generating the reference image quality value in step 25B in response to both of the values.   26. The image processing method according to claim 25, further characterized by: 27. The step of generating the reference image quality value includes:   Responsive to both the modulation transfer function profile value and the spectral weighting factor Generating sharpness values by performing   Generating the reference quality value in response to the sharpness value;   The image processing method according to claim 26, further characterized by: 28. The step of generating the reference image quality value comprises the step of generating the noise power spectrum profile. Generating a blur value in response to both the pixel value and the spectral weighting factor; 27. The method of claim 26, further comprising generating the reference quality value from a light value. The image processing method according to 1. 29. The image processing selection information is provided by one of a memory and an operator. 16. The image processing method according to claim 15, further characterized by: 30. Output image data generated from input image data received from an image data source The image given by the data, Output image data is   A. At least one of the image data source and the downstream utilization element Source characteristics information and downstream usage element characteristics that specify the selected characteristics of the , The image processing operation selection information, the source characteristic information, and the downlink. Generating processing operation parameter information in response to the trim use element characteristic information Wherein the processing operation parameter information has an optimal predetermined psycho-visual characteristic. A process that enables generation of output image data;   B. Performing the at least one image processing operation in connection with the input image data; Generating processing operation parameter information, wherein the image data processing unit In response to the operating parameter information, the optimized by the predetermined psycho-visual attribute Generating the processed image data;   An image generated by a method characterized by.
JP10-501544A 1996-06-13 System and method for automatically processing image data to provide images with optimal perceived image quality Pending JPH11511318A (en)

Publications (1)

Publication Number Publication Date
JPH11511318A true JPH11511318A (en) 1999-09-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649625B2 (en) 2007-04-25 2014-02-11 Nec Corporation Method, device and program for measuring image quality adjusting ability, and method, device and program for adjusting image quality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649625B2 (en) 2007-04-25 2014-02-11 Nec Corporation Method, device and program for measuring image quality adjusting ability, and method, device and program for adjusting image quality

Similar Documents

Publication Publication Date Title
US5694484A (en) System and method for automatically processing image data to provide images of optimal perceptual quality
US5835627A (en) System and method for automatically optimizing image quality and processing time
US6075926A (en) Computerized method for improving data resolution
JP4452497B2 (en) Method and system for modifying a digital image in consideration of noise
US7116838B2 (en) Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
US7136072B2 (en) System and method for performing texture synthesis
Bolin et al. A frequency based ray tracer
US6975742B2 (en) Rate-distortion optimization system and method for image compression
EP0757334A2 (en) Data compression method and apparatus
EP1069529A2 (en) Representing digital images in a plurality of image processing states
US8050506B2 (en) Image enhancement device
JP2002358513A (en) Method and device for correcting position dependence on photograph image data, computer program, recording medium and photograph image recording device
Grundland et al. Color histogram specification by histogram warping
JP4864490B2 (en) Image output system, program, and information recording medium
US10867412B2 (en) Data compression by means of adaptive subsampling
US6947055B2 (en) System and method for synthesis of parametric texture map textures
US20150326878A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
JPH11511318A (en) System and method for automatically processing image data to provide images with optimal perceived image quality
EP0843866A1 (en) System and method for automatically processing image data to provide images of optimal perceptual quality
JPH11261740A (en) Picture evaluating method, its device and recording medium
JP4412688B2 (en) Image processing apparatus and method
JP2005141659A (en) Image processor, image forming apparatus, image processing method, image processing program and image processing program-recorded recording medium
WO2023102189A2 (en) Iterative graph-based image enhancement using object separation
JPH08511138A (en) Digital image compression using tile segmentation
Xue et al. A color quantization algorithm based on minimization of modified lp norm error in a cielab space