JP2006303999A

JP2006303999A - 画像処理方法および画像処理装置、および画像処理システム

Info

Publication number: JP2006303999A
Application number: JP2005123981A
Authority: JP
Inventors: Tomokazu Yanagiuchi; 智和柳内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-04-21
Filing date: 2005-04-21
Publication date: 2006-11-02

Abstract

【課題】従来の擬似中間調処理においては、遺伝的アルゴリズムによれば「高画質であるが、処理コストが大」、誤差拡散法によれば「処理コストは小であるが、低画質」であり、高画質化と小コスト化を両立することは困難であった。
【解決手段】まず、誤差拡散処理の目標としての２値画像であるターゲット画像を、遺伝的アルゴリズムに基づいて生成しておく(S301)。そして、均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成し(S303)、該比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定し(S305)、この画質評価関数による評価値が最小となるように、誤差拡散パラメータを最適化する(S307)。
【選択図】図21

Description

本発明は画像処理方法および画像処理装置、および画像処理システムに関し、特に、誤差拡散処理を行う画像処理方法および画像処理装置、および画像処理システムに関する。

従来より、多階調の入力画像に対し、その階調数を下げて表現するための擬似中間調処理として、例えば遺伝的アルゴリズムを用いた方法が知られている。これは、入力画像と階調数が削減された出力画像の画質評価値の差が最小になるように、遺伝的アルゴリズムを用いて最適解を探索する方法である（例えば、非特許文献１参照）。

また、他の中間調処理として誤差拡散法も知られている。この誤差拡散法は、ある注目画素の量子化時に発生した量子化誤差を周辺の未量子化画素に拡散し、マクロ的に出力画像の平均濃度を入力画像と等しくする擬似中間調処理である（例えば、非特許文献２参照）。
小林，斎藤，"遺伝的アルゴリズムを用いた擬似濃淡表示法"，電子情報通信学会論文誌ＤII, Vol.J78-D-II, No.10, pp.1450-1459,1995 "An Adaptive Algorithm for Spatial Gray Scale" in society for Information Display 1975 Symposium Digest of Technical Papers, 1975 36。

しかしながら、遺伝的アルゴリズムを用いた擬似中間調処理では、高品位な階調数削減画像が得られるものの、処理コストが非常に大きいうえに、画像を得るまでに多大な時間を要してしまう。そのため、この処理方法を階調数変換を行う画像処理装置にそのまま採用することは現実的でなかった。

一方、誤差拡散法による擬似中間調処理は高速である。しかし、誤差拡散法は特定階調において特異テクスチャが発生し、その特異テクスチャ発生前後の階調で「擬似輪郭」が発生してしまうという課題がある。さらに誤差拡散法では、階調ごとに「粒状性が変化する」ということも課題となっている。

このような誤差拡散法における「擬似輪郭」や「粒状性の変化」を回避する方法として、常に同じ拡散係数を用いるのではなく、入力画像の階調により最適な誤差拡散係数を切り替える方法が知られているが、その誤差拡散係数の決定は経験によるものが大きく、また拡散係数の数が増えた場合に、これを手作業で調整するのは困難であった。

以上のように、従来の擬似中間調処理においては、遺伝的アルゴリズムによれば「高画質であるが、処理コストが大」であり、誤差拡散法によれば「処理コストは小であるが、低画質」であった。すなわち、従来の擬似中間調処理において高画質化と小コスト化を両立することは困難であった。

本発明は上述した問題を解決するために成されたものであり、低い処理コストで高品位な画像が得られる誤差拡散処理を可能とする画像処理装置およびその方法、および画像処理システムを提供することを目的とする。

上記目的を達成するための一手法として、本発明の画像処理方法は以下の構成を備える。

すなわち、誤差拡散処理の目標としての２値画像であるターゲット画像を、遺伝的アルゴリズムに基づいて生成するターゲット生成ステップと、均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成する誤差拡散ステップと、前記比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定する評価関数設定ステップと、前記画質評価関数による評価値が最小となるように、前記誤差拡散パラメータを最適化する最適化ステップと、を有することを特徴とする。

例えば、前記ターゲット生成ステップにおいては前記ターゲット画像を全階調について生成し、前記誤差拡散ステップにおいては全階調の均一輝度画像に対して比較画像を生成することを特徴とする。

本発明によれば、あらかじめ遺伝的アルゴリズムを用いてターゲット画像を求め、そのターゲット画像の画質評価値に近くなるよう誤差拡散パラメータを最適化する。この誤差拡散パラメータを使用することによって、誤差拡散処理において低い処理コストで高品位な画像を得ることが可能となる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。

本実施形態においては、誤差拡散による擬似中間調処理を行うに先立って、入力画像の全階調についての目標２値画像(以下、ターゲット画像)を遺伝的アルゴリズムにより求め、各階調の誤差拡散パラメータを、それぞれのターゲット画像の画質評価値(ターゲット値)に近づくように最適化することを特徴とする。このように最適化された誤差拡散パラメータを用いることによって、高品位な誤差拡散処理を実現することができる。

●システム構成
図1に、本発明に係る一実施形態を実現する画像処理システムのブロック構成を示す。同図において、1はターゲット生成装置であり、誤差拡散処理の目標としての、入力階調ごとのターゲット画像およびその画質評価値であるターゲット値を作成するターゲット生成装置である。2は、該ターゲット画像に基づいて誤差拡散パラメータを最適化するパラメータ最適化装置装置である。

ターゲット生成装置1において、101はターゲット画像およびターゲット値を求めるのに必要な画質評価パラメータをユーザ指示に基づいて設定する評価パラメータ設定部(101において画質評価パラメータがユーザ設定される旨を明記しました)、102は評価パラメータ設定部102にて設定された画質評価パラメータを用いて、遺伝的アルゴリズムにてターゲット画像およびターゲット値を求めるアルゴリズム処理部、103はアルゴリズム処理部102で求めたターゲット画像およびターゲット値を保持するターゲット保持部、104はターゲット保持部103に保持されたターゲット画像およびターゲット値をパラメータ最適化装置2へ出力するための外部とのインターフェイスであるデータ出力部、である。

パラメータ最適化装置2において、201はターゲット生成装置1にて求められたターゲット画像およびターゲット値を入力するための外部とのインターフェイスであるデータ入力部、202はデータ入力部201にて得られたターゲット画像およびターゲット値を保持しておくターゲット保持部である。203は誤差拡散パラメータを保持する誤差拡散パラメータ保持部、204はパラメータ保持部203にて保持された誤差拡散パラメータを使用して、均一輝度画像に対して誤差拡散処理を施し、階調数が削減された画像データを形成する誤差拡散処理部、205は誤差拡散処理部204にて処理された画像データを画質評価する際の画質評価パラメータをユーザ指示に基づいて設定する評価パラメータ設定部、206は評価パラメータ設定部205にて設定された画質評価パラメータを用いて画像データの画質評価を行う画質評価部である。

また、207は画質評価部206で算出された評価値に対する重み値をユーザ指示に基づいて調整する重み値設定部、208は画質評価部206および重み値設定部207から出力された評価値および重み値に基づいて画質評価関数を設定し、該画質評価関数の値が最小になるように誤差拡散パラメータの最適化を行うパラメータ最適化部である。209は誤差拡散処理部204による処理後の画像データや、画質評価部206で算出した画質評価値、パラメータ最適化部208で最適化された誤差拡散パラメータなどを表示する表示部、210はパラメータ最適化部208にて最適化された誤差拡散パラメータを、それを使用する外部のプリンタ等へ渡すインターフェイスであるデータ出力部である。

●誤差拡散パラメータ最適化処理
以下、図1に示す構成による、誤差拡散パラメータを最適化する処理について、まず大まかな流れを説明した後、各処理の詳細について説明する。

図2は、本実施形態における誤差拡散パラメータの最適化処理を示すフローチャートである。まずステップS1において、ターゲット生成装置1にてターゲット画像およびターゲット値を求め、次にステップS2において、パラメータ最適化装置2にて、ステップS1で求めたターゲット画像およびターゲット値に近づくように、誤差拡散パラメータを最適化する。なお、詳しくは後述するがステップS2においては、最適化の際に、複数の画質評価値の重み付けをユーザが選択することによって画質評価関数を設定し、該評価関数の値が最小となるように、誤差拡散パラメータの最適化を自動的に行い、決定された画像処理パラメータをプリンタなどの外部装置へ出力する。

以下、図2に示す各処理について、詳細に説明する。なお、以下では入力階調数を8ビットで表現する256階調画像から1ビット表現の2階調画像へ変換する例を示すが、この他の入力階調数および出力階調数であってもよいことはいうまでもない。

＜ステップS1(ターゲット生成)＞
図3は、ステップS1におけるターゲット生成処理の詳細を示すフローチャートである。

＜＜S101(画質評価パラメータ設定)＞＞
まずステップS101において、ユーザが評価パラメータ設定部101にて画質評価パラメータを設定する。ここで画質評価パラメータとは、階調数削減画像をどのような空間周波数特性にするかを示すパラメータである。以下、画質評価パラメータ設定の具体例を示すが、ここでは画質評価をする際に、遮断周波数f_cutoff(k)のガウス特性ローパスフィルタ（以下、GaussLPF）:G_k(f)を使用する場合を考える。

f_cutoff(k)とG_k(f)との関係は、平均をμ、分散σ²のガウス分布密度関数をN(μ,σ²)とすると、(1)式のように示される。なお、(1)式においてfは周波数、kは入力画像の階調値(0≦k≦255)である。

(1)式において、aはガウス特性の広がりを示すパラメータである。a=3であれば、G_k(f)はf=f_cutoff(k)のとき、ほぼ減衰する。また、a=１であれば、G_k(f)はf=f_cutoff(k)のとき、あまり減衰しない。このように、aの値によってG_k(f)が変化する。よってaは、本実施形態において画質評価用のGaussLPFを決定するパラメータの一つとなる。

なお、画質評価の際のフィルタはGaussLPFでなくてももちろん良い。例えば、矩形ローパスフィルタでも良いし、バンドパスフィルタ（帯域通過型）やバンドストップフィルタ（帯域阻止型）であっても良い。矩形ローパスフィルタでは理想遮断周波数を、バンドパスフィルタやバンドストップフィルタでは中心周波数や帯域幅などを、画質評価用フィルタのパラメータとするとよい。選択するパラメータにより、再現したい画像の周波数特性が決まるため、例えばドット分散型なのかドット集中型なのかに応じて、評価パラメータ設定部101にて画質評価パラメータを設定すれば良い。

以下では、パラメータa=3とした場合を例として説明する。

図4に、入力階調kが8ビット表現される場合(0≦k≦255)の、k=80に相当するランダム2値画像1011を示し、図5にその周波数スペクトルの遷移の様子を示す。図5において、1012は2値画像1011の周波数スペクトルを、1013は画質評価用のGaussLPFの特性を示し、1014はこれら1012と1013の積を示す。なお、GaussLPF特性1013において1015はGaussLPFの遮断周波数f_cutoff(k)である。同図によれば、周波数スペクトル1012は低周波側のスペクトルを有しているため、GaussLPF特性1013との積は、1014に示すように低周波側にスペクトルを持つ結果となる。

一般に人間の視覚は「低周波数に敏感で、高周波数に鈍感」な特性を持つことから、視覚上良好な画像を求めるには、なるべく低周波にスペクトルを持たないほうが望ましい。すると2値画像1011は低周波数にスペクトルを持つため、視覚上良好な2値画像とはいえない。そこで、視覚上良好な2値画像を求めるには、周波数スペクトル1012とGaussLPF特性1013との積が小さくなる、すなわち、1014のスペクトルが存在しないように、2値画像を最適化すればよい。この最適化の方法については後述する。

ここで理想的な2値画像の一例として、階調k=80に相当する視覚上良好な2値画像を図6の1016に示す。また、図7にその周波数スペクトル1017と、GaussLPF特性1018、1017と1018の積1019を示す。GaussLPF特性1018において1020はGaussLPFの遮断周波数を示す。同図によれば、視覚上良好な2値画像1016については、GaussLPFとの積を計算した後のスペクトル1019が小さいことがわかる。

以上をまとめると、視覚上良好な2値画像を得るためには、画質評価用のGaussLPF:G_k(f)を設計し、該G_k(f)を通過するスペクトルが最小になるように、2値画像を最適化すればよい。このようなG_k(f)は、遮断周波数f_cutoff(k)によって設定される。

以下、適切なG_k(f)を決定する、遮断周波数f_cutoff(k)の設定方法について説明する。本実施形態においてf_cutoff(k)の設定に際し、ハイライト・シャドウ部では再現可能な周波数帯域を、中間調部では周波数強調の防止を、それぞれ考慮する必要がある。以下、それぞれの階調部における遮断周波数f_cutoff(k)の設定方法について説明する。

・ハイライト・シャドウ部（再現可能な周波数帯域）
図8の1021〜1025はそれぞれ、階調32,64,128,192,224に相当する2値画像である。以下、例えば階調32の2値画像を32階調画像と称する。同図によれば、32階調画像1021および64階調画像1022では、黒ドットに対して白ドットの数が少なく、白ドットは白ドット間の平均距離が最も大きくなるように配置されている。また、128階調画像1023では、黒と白が市松模様にならび、これも白ドット間の平均距離が最も大きくなるように配置されている。さらに、192階調画像1024および224階調画像1025ではそれぞれ、64階調画像1022と32階調画像1021の白黒ドットを反転させたものとなっており、黒ドットは黒ドット間の平均距離が最も大きくなるように設定されている。

図8に示す各階調の2値画像において、白黒ドットのうち数が少ないほうのドットについて、そのドット間距離が最も大きくなる状態をドット分散性が最も大きいといい、そのような状態において画像を均一にかつ高周波数で再現できる。このようなドット分散性が最も大きい場合の空間周波数は、Principal Frequencyと呼ばれている。なお、Principal Frequencyについては、「Digital Halftoning,Robert Ulichney, MIT Press, P.234」に記載されている。

ここで、図8に示す階調ごとのPrincipal Frequencyをfg(k)とし、階調kとfg(k)の関係をプロットすると、図9に示すグラフが得られる。fg(k)は以下の(2),(3)式となり、階調128までは単調増加し、以降は単調減少する。すなわち、fg(k)は階調128を境に左右対称となり、階調128に近ければ近いほど、高い周波数の2値画像を生成できることが分かる。

図9において、階調32と階調64のfg(k)を比較すると、fg(32)よりもfg(64)のほうが高いことがわかる。すなわち、2値画像の分散性を大きくしようとすると、階調によって再現できる周波数帯域が異なり、ハイライト部(階調255付近)やシャドウ部(階調0付近)では、原理上高い周波数にすることが不可能となる。そこで、ハイライト部やシャドウ部においては図10のように、GaussLPFを通過する周波数域内でなるべく高い周波数の2値画像を生成することが望ましい。そのためには図11,図12に示すように、階調A以下のシャドウ部および階調255-A以上のハイライト部ではf_cutoff(k)=fg(k)とすることによって、なるべく高い周波数を持つ2値画像を生成できるよう、画質評価用のGaussLPFを設計すればよい。

すなわち以上をまとめると、ハイライト部ではf_cutoff(k)を以下の(4)式のように設定し、シャドウ部では(5)式のように設定すればよい。このように本実施形態では、遮断周波数f_cutoff(k)を階調によって可変にすることを特徴とする。

・中間調（周波数強調の防止）
階調128などの中間階調においては、Principal Frequency:fg(k)が非常に高い周波数となるため、上述したハイライト・シャドウ部と同様にf_cutoff(k)=fg(k)として画質評価用のGaussLPF:G_k(f)を設計すると、最適化される2値画像は図13に示すように、高い周波数成分を持ち過ぎる傾向がある。さらに図13によれば、周波数スペクトルに山があり、特定の周波数成分が強調されていることが分かる。これは結果として、図8に示す128階調画像1023のように、ドットが市松模様の配置となってしまい、階調性が悪くなることを示している。

そこで本実施形態では図12に示すように、階調A以上255-A以下の中間階調においては、f_cutoff(k)を一定とする。これにより図14に示すように、図13(f_cutoff(k)= fg(k))では存在していた周波数スペクトルの山がなくなり、特定の周波数成分が強調されることを防げる。この結果、ドットが市松模様に配置されることを防ぐことができる。

すなわち以上をまとめると、中間調A≦k≦255-Aにおいては以下の(6)式のように、遮断周波数f_cutoff(k)を一定とすればよい。

なお、(6)式において階調Aを大きくすると、中間階調でドット分散型となって2値画像の解像性が増し、階調Aを小さくすると、ドット集中型の2値画像となって2値画像の階調性が増す。よって、画質評価用のGaussLPF:G_k(f)の遮断周波数f_cutoff(k)を決定するには、階調Aを決定すればよい。すなわち、遮断周波数f_cutoff(k)を求めるには、中間調域を決定する階調Aを与えればよいことになる。

以上説明したように本実施形態においては、画質評価用GaussLPF:G_k(f)を決定するためのパラメータとして、画質評価パラメータaと階調Aを与えればよい。すなわち、ユーザが評価パラメータ設定部101にて画質評価パラメータaと階調Aを設定する。

＜＜S102(遺伝的アルゴリズムによる最適化)＞＞
図3のステップS101で画質評価パラメータ[a,A]が設定されると、次にステップS102で遺伝的アルゴリズム処理部102において、2値画像の画質評価値が最小となるように最適化を行う。なお、本実施形態では「遺伝的アルゴリズム」という表現を使用するが、遺伝的アルゴリズムは周知であるため、ここでは詳細な説明は割愛する。

本実施形態における最適化処理は、対象画像を小さなブロックに分け、該ブロック単位に実行する。これは、最適化するサイズが大きいと、最適解を検出するまでに多大な時間を要してしまうためである。例えば、ブロックサイズを8×8〜64×64画素程度にすると最適解を検出しやすい。本実施形態では図15に示すように、ブロックサイズがL×L(Lは2のべき乗)、最適化対象となる画像全体のサイズがN×N(NはLの整数倍)である例について説明する。なお、本実施形態では図15に示すように、画像の左上から順次ブロック単位で最適化する例を説明するが、もちろんその他の順番で最適化を行っても良い。

図16は、ステップS102における最適化処理の詳細を示すフローチャートである。まずステップS201において、画像全範囲(N×Nサイズ)の最適化が終了したか否かの判定を行う。全範囲について終了した場合には最適化処理を終了し、そうでない場合はステップS202へ進む。

ステップS202においては、P個のL×Lサイズブロックからなる初期ランダム画像を生成する。この処理は、遺伝的アルゴリズムでP個の初期集団を生成することと等価である。ここで集団とは、個体(すなわち染色体)の集まりである。図17に、8×8の初期ランダム画像の例を示す。同図において、遺伝子:1に相当するのが白画素、遺伝子:0に相当するのが黒画素である。なお、初期ランダム画像は白黒ドット比率を考えずに生成しても良いし、再現階調の比率と同じになるように拘束条件を設定してもよい。なお「再現階調と同じ比率となるように白黒ドットを生成する」ということは、例えば階調64に相当する2値画像を生成したい場合、白ドットと黒ドットの比率を、白ドット:黒ドット=1:3とすることである。この場合、最適化の収束が速くなるが、白黒ドット比率を考えずに画像を生成したほうが、より広い可能性を探索することが可能となる。

次にステップS203でP個の初期ランダム画像について、ステップS101で設定されたパラメータ(例えば[a,A])からGaussLPF:G_k(f)を与えて画質評価を行う。本実施形態においては、最適化するブロックの位置によって画質評価方法が異なる。図15に示すように画像の左上ブロックから順次最適化することを考えると、図18に示すように、ブロックの位置によって参照ブロックの扱い方が異なる。ここで参照ブロックとは「既に最適化されたブロック画像」のことであり、「現在最適化中であるブロック(注目ブロック)画像」との間に不連続性がなく、注目ブロックの最適化の際に参照される。

例えば、図18においてタイプAのブロック(左上)を最適化する場合、既に最適化済みである参照ブロックは存在しないため、注目ブロックのみに対する画質評価を行う。また、タイプBのブロックを最適化する場合、左隣のブロックは既に最適化済みであるため、これら左隣のブロックを参照ブロックとし、H=2L,V=Lのサイズに対し画質評価を行う。また、タイプCのブロックを最適化する場合、上隣のブロックは既に最適化済みであるため、これら上隣のブロックを参照ブロックとし、H=L,V=2Lのサイズに対し画質評価を行う。また、タイプDのブロックを最適化する場合、左、左上、上隣のブロックは既に最適化済みであるため、左、左上、上隣のブロックを参照ブロックとし、H=2L,V=2Lのサイズに対し画質評価を行う。

なお、参照ブロックの画像は既に決定されたものであるから、ステップS203における最適化(画質評価)の際に変更されない。

画質評価に使用する評価関数を、以下の(7)式に示す。(7)式において、N_kは画像のノイズを表し、D_kは入力画像の階調kに対する濃度保存性を表す。また、w_N,k，w_D,kは重み値である。(7)式の画質評価関数によって得られるIがすなわち、本実施形態における画質評価値である。なお、ここで示す画質評価関数は一例に過ぎず、他の評価関数でも良いことはいうまでもない。

I = w_N,k・N_k + w_D,k・D_k
・・・(7)
ここで、画像ノイズN_kは以下の(8)式で、濃度保存性D_kは(11)式で、それぞれ示される。

ただし、(8)式において

遺伝的アルゴリズムは適応度が大きい個体を探索するアルゴリズムであるから、画質評価値Iが小さいものほど大きな適応度を持たせる必要がある。そのために例えば、適応度Fを以下の(12)式のように定めれば良い。

F = (I_max - I) + α ・・・(12)
(12)式においてαは正の定数、I_maxはその世代における集団が持つ最大の評価値(最も画質が悪い個体の値)である。なお、画質評価値Iから適応度Fへの変換式は上記(12)式に限るものではなく、シグモイド関数などを用いて、画質評価値Iが小さくなるほど適応度Fを大きくするものであれば良い。

ステップS203における画質評価が終了すると、次にステップS204において、注目ブロックに対する最適化が終了したか否かを判定する。すなわち、画質評価値Iが所定値以下となっていれば最適化が終了したと判断され、終了した場合はステップS201へ進んで次の注目ブロックの処理へ移り、未終了であればステップS205へ進む。

ステップS205では最適化が未終了である注目ブロックに対し、遺伝的アルゴリズムによる選択を行う。遺伝的アルゴリズムによる選択とは、適応度の大きな個体を次の世代に残す処理である。適応度が大きければ大きいほど選択される確率が大きくなるように、ルーレットルールを設定するが、この他に、選択にトーナメント方式を採用しても良い。なお、ここでルーレットルールやトーナメント方式については、遺伝的アルゴリズムにおける周知の処理であるため、詳細な説明を省略する。

ステップS206では、ステップS205で選択された個体(ブロック)どうしを交叉確率pc(0≦pc≦1)で交叉させる。この交叉は図19に示すように縦交叉と横交叉があり、そのいずれをとるか、および交叉位置についてはランダムに切り替える。

そしてステップS207では、突然変異確率pm(0≦pm≦1)で個体を突然変異させる。この突然変異は図20の示すように、白画素2001を黒画素2002に反転する操作を行うが、反転対象画素が黒画素であれば、もちろんこれを白画素に反転させる。なお、突然変異の位置はランダムに決定される。

このように、ステップS205,S206,S207によって遺伝的アルゴリズムによる選択、交叉、突然変異が行われ、すなわち注目ブロックに対する最適化がなされる。

ステップS207の突然変異が終了するとステップS203へ戻り、最適化後の注目ブロックに対する画質評価を行う。

＜＜S103(ターゲット保持)＞＞
図3のステップS102において、N×Nサイズの画像全範囲についての遺伝的アルゴリズムによる最適化が終了すると、次にステップS103において、ステップS102で最適化されたターゲット画像とその画質評価値(ターゲット値)Iをターゲット保持部103に保持する。そしてステップS104において、すべての階調(階調0〜255)の画像データが最適化されたか否かを判定し、すべての階調について最適化がなされた場合は処理を終了し、未処理の階調がある場合はステップS101へ戻る。

＜S2：誤差拡散パラメータ最適化処理＞
以下、図1のステップS2における誤差拡散パラメータ最適化処理について、図21のフローチャートを用いて詳細に説明する。ここでは、誤差拡散パラメータを図22に示すようなK1〜K12の係数とするが、係数の数はこれに限らず、例えばFloyd&SteinbergのようにK1〜K4としてもよいし、K1〜K12以上としてもよい。

まずステップS301において、誤差拡散パラメータ最適化装置2のデータ入力部201で、ターゲット生成装置1のターゲット保持部103に保持されているターゲット画像を読み込み、ターゲット保持部202に保存する。そしてステップS302では画質評価部206において、評価パラメータ設定部205にて設定された画質評価パラメータを使用して、ターゲット画像に対する画質評価値をk=0〜255のすべての階調について算出し、表示部209のディスプレイなどに表示する。なお、ターゲット画像の画質評価値としては、ノイズN_T,k，パワースペクトルPS_T,k(u,v)などが考えられ、これらは以下の(13),(14)式のように求められる。

なお、

次にステップS303において、パラメータ保持部203に保存されているデフォルトの誤差拡散係数を用いて、誤差拡散処理部204にて0〜255階調に相当する256通りの8ビット均一画像に対する誤差拡散処理を行い、256通りの2値画像(以下、比較画像と称する)を生成する。本実施形態では以下に詳述するように、これら256個の比較画像と、対応する256個のターゲット画像の画質評価値の差が最小となるように、誤差拡散パラメータを最適化することを特徴とする。

なお、ここで用いられる誤差拡散パラメータは図22に示すようなK1〜K12の係数とし、そのデフォルトとしては例えば、図23に示すJarvis,Judice&Ninkeの係数を用いれば良い。なお、この誤差拡散処理の詳細については後述する。

次にステップS304では画質評価部206において、ステップS303で得られた誤差拡散後の画像(すなわち最適化前の比較画像)に対し、評価パラメータ設定部205にて設定された画質評価パラメータを使用して、画質評価値をk=0〜255のすべての階調について算出し、表示部209のディスプレイなどに表示する。ここで、比較画像の画質評価値としては、ノイズN_k，パワースペクトルPS_k(u,v)などが考えられ、これらは以下の(16),(17)式のように求められる。

なお、

そしてステップS305において、ユーザはステップS302,S304にて算出された画質評価値を比較し、重み値設定部207で画質評価関数J(k)のノイズ重み値w_N,k，パワースペクトル重み値w_ps,kを設定する。ここで、画質評価関数J(k)の一例を以下の(19)式に示す。

この画質評価関数J(k)によって、比較画像とターゲット画像の同一階調同士が1対1で評価される。すなわち、階調kの8ビット画像に対して誤差拡散し2値化した比較画像と、階調kに相当するターゲット２値画像の画質評価値の差が最小になるよう、階調kの誤差拡散係数を最適化する。

本実施形態において単一階調kの誤差拡散パラメータを求める際、(19)式のように単一階調の処理結果により最適な誤差拡散パラメータを最適化しても良いし、もしくは、以下に示す(20)式のように、同一誤差拡散パラメータで前後m階調分を処理した画質評価値の和に基づき、最も画質評価関数が小さくなるように最適化しても良い。

すなわち(20)式によれば、複数の比較画像と複数のターゲット画像を評価して、誤差拡散係数を最適化することができる。例えば、階調kの誤差拡散係数を最適化する際に、前後4階調分(m=4)の画質評価値を考慮する場合、階調k-4〜k+4の8ビット画像に対して誤差拡散し2値化した比較画像と、階調k-4〜k+4に相当するターゲット２値画像の画質評価値の差が最小になるよう、階調kの誤差拡散係数を最適化する。

このように、1階調だけでなく近隣の階調における2値画像の評価値も考慮することによって、選ばれる係数が1階調毎に大きく変化することがなくなり、階調変化の滑らかな2値化が可能となる。

そしてステップS306において、パラメータ保持部203に保存されている誤差拡散係数を用いて、誤差拡散処理部204にて比較画像に対するさらなる誤差拡散処理を実行する。なお、この誤差拡散処理の詳細については後述する。

そしてステップS307ではパラメータ最適化部208において、画質評価関数J(k)の値が最小となるように、誤差拡散係数パラメータを最適化する。このとき重み値を大きく設定すれば、計算上の評価値が大きくなるため評価値の改善率が高まる。本実施形態では係数K1〜K12を遺伝的アルゴリズムを用いて最適化するが、その他、ニューラルネットワークを用いてもよい。なお誤差拡散係数は、以下の(21)式を満たすように調整する。

(K1+K2+K3+K4+K5+K6+K7+K8+K9+K10+K11+K12) / 12 = 1 ・・・(21)
そしてステップS308において、ステップS307で最適化された誤差拡散係数パラメータをパラメータ保持部203に保存する。

次にステップS309では、ステップS307における最適化の際に算出された画質評価関数J(k)の値を参照し、これが所定値以上であれば最適化が十分でないと判断して、再び最適化を行うためにステップS306へ進むが、最適化が十分であればステップS310に進む。

ステップS310では、すべての階調(0〜255)について誤差拡散係数パラメータを最適化したか否かを判断する。すべて終了した場合はステップ311へ進むが、終了してない場合はステップS305に進む。

ステップS311では誤差拡散パラメータ出力部210において、最適化されたすべての階調(0〜255)の誤差拡散係数パラメータを、プリンタなどの外部装置へアップロードし、処理を終了する。

・誤差拡散処理
以下、誤差拡散処理部204における誤差拡散処理について説明する。

図24は、誤差拡散処理部204の詳細構成を示すブロック図である。同図において、10は画素データを入力する入力部、11は累積誤差を加算する累積誤差加算部、12は入力画素データと画素位置に従って量子化に用いる閾値を設定する閾値設定部、13は量子化部、14は処理後のデータを出力する出力部、15は誤差演算部、16は誤差拡散部、17は累積誤差を格納する誤差バッファ、である。ここで入力画素データとは、階調k=0〜255の範囲の整数値である。

以下、図24に示す構成からなる誤差拡散処理部204の動作について、図25のフローチャートを用いて説明する。

まずステップS401において、不図示の画像走査部により入力画像(8ビット均一輝度画像)が順次走査され、各画素データが入力部10より入力される。ここで画像の走査は、画像領域の左上画素から開始して右方向に1画素ずつ進み、右端に達したら1画素下の左端画素から同様に右下画素までを走査する。

次にステップS402で累積誤差加算部11において、入力画素データIに対し、誤差バッファ17の画素位置に対応する値が加算される。なお、ここでは注目されている入力画素を注目画素と称し、注目している画素の位置によりその同一性が保持されるものとする。すなわち、入力された値に対して何らかの加工がされた場合であっても、位置が変わらない限り注目画素であることは変わらない。

以下、誤差拡散係数が図22で示される場合を例として説明する。この場合、誤差バッファ17には、画像の横画素数Wと同数の記憶領域E(x,y)(0≦x≦W-1, 0≦y≦2)が含まれ、該記憶領域E(x,y)には後述する方法で量子化誤差が格納されている。なお、誤差バッファ17は処理開始前に全て初期値0で初期化されているものとする。

累積誤差加算部11では、入力画素データIに対して画素位置(x,y)に対応する誤差E(x,y)が加えられる。即ち、誤差加算後のデータをI'とすると、(22)式に示す処理が行われる。

Ｉ'(x,y)＝Ｉ(x,y)＋Ｅ(x,y) ・・・(22)
次にステップS403では、閾値選択部12において閾値Tを選択する。閾値Tは例えば128に固定しても良いし、特開2003-8893で示されているように入力画素データI(x,y)に応じて変化させても良い。この場合すなわち、ドット生成遅延を回避するため、平均量子化誤差が小さくなるように平均量子化誤差を減算し、ノイズマトリクスによるノイズを加えることによって、閾値Tを入力画素データI(x,y)に応じて変化させる。

次にステップS404では量子化部13において、誤差加算後の画素データI'(x,y)と閾値Tを比較し、出力画素値Opを(23)式により決定する。

Op＝0 (Ｉ'＜Ｔ)
Op＝255 (Ｉ'≧Ｔ) ・・・(23)
次にステップS405では誤差演算部15において、注目画素Iに誤差を加算した画素データI'と、出力画素値Opとの差分Errを、(24)式により算出する。

Ｅrr(x,y)＝I'(x,y)−Op(x,y) ・・・(24)
次にステップS406では誤差拡散部16において(25)式に基づき、横画素位置xに応じた誤差Err(x,y)の拡散処理が行われる。

Ｅ(x+1,y)＝Ｅ(x+1,y) + K1・Ｅrr(x,y)
Ｅ(x+2,y)＝Ｅ(x+2,y)＋Ｋ2・Ｅrr(x,y)
Ｅ(x-2,y+1)＝Ｅ(x-2,y+1)＋Ｋ3・Ｅrr(x,y)
Ｅ(x-1,y+1)＝Ｅ(x-1,y+1)＋Ｋ4・Ｅrr(x,y)
Ｅ(x,y+1)＝Ｅ(x,y+1)＋Ｋ5・Ｅrr(x,y)
Ｅ(x+1,y+1)＝Ｅ(x+1,y+1)＋Ｋ6・Ｅrr(x,y) ・・・(25)
Ｅ(x+2,y+1)＝Ｅ(x+2,y+1)＋Ｋ7・Ｅrr(x,y)
Ｅ(x-2,y+2)＝Ｅ(x-2,y+2)＋Ｋ8・Ｅrr(x,y)
Ｅ(x-1,y+2)＝Ｅ(x-1,y+2)＋Ｋ9・Ｅrr(x,y)
Ｅ(x,y+2)＝Ｅ(x,y+2)＋Ｋ10・Ｅrr(x,y)
Ｅ(x+1,y+2)＝Ｅ(x+1,y+2)＋Ｋ11・Ｅrr(x,y)
Ｅ(x+2,y+2)＝Ｅ(x+2,y+2)＋Ｋ12・Ｅrr(x,y)
以上説明したステップS401〜S406の処理によって、1画素分の2値化処理が完了する。この処理を全ての画素について行うことにより、画像の擬似中間調処理が実現される。

●本実施形態による効果
以上説明したように本実施形態によれば、全階調についてのターゲット画像を遺伝的アルゴリズムにより求め、各階調の誤差拡散パラメータを、それぞれのターゲット画像の画質評価値に近づくように最適化する。このように最適化された誤差拡散パラメータを用いることによって、高品位な誤差拡散処理を実現することができる。

なお本実施形態では、1ラインの処理方向を固定として説明したが、ライン毎に左右交互あるいは予め定められた順序で処理方向を切り替えてもよい。図26に、右端から左方向に2値化処理を行う場合の誤差拡散係数の例を示す。同図は、図22に示した誤差拡散係数の位置を左右逆にしたものであり、すなわち、左端から右方向に2値化処理を行う場合とは逆の位置に誤差が分配される。

＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明に係る一実施形態を実現する画像処理システムのブロック構成を示す図である。本実施形態における誤差拡散パラメータの最適化処理を示すフローチャートである。ターゲット生成処理(S1)を示すフローチャートである。ランダム2値画像の一例を示す図である。図4に示すランダム2値画像の周波数スペクトルの遷移の様子を示す図である。視覚上良好な2値画像の一例を示す図である。図6に示す2値画像の周波数スペクトルとGaussLPF特性、およびそれらの積を示す図である。階調32,64,128,192,224に相当する2値画像の一例を示す図である。階調ごとのPrincipal Frequencyと階調kの関係を示すグラフである。ハイライト/シャドウ部における理想的な2値画像の周波数スペクトル例を示す図である。階調50におけるGaussLPF特性の一例を示す図である。本実施形態におけるGaussLPFの遮断周波数とPrincipal Frequencyの関係を示す図である。中間調部においてGaussLPFの遮断周波数をPrincipal Frequencyに等しくした場合に生じる不具合を説明するための図である。中間調部においてGaussLPFの遮断周波数を一定にした場合に生じる効果を説明するための図である。最適化処理における処理単位である画素ブロックの構成を示す図である。最適化処理(S102)の詳細を示すフローチャートである。 8×8の初期ランダム画像の例を示す図である。最適化処理におけるブロック位置に応じた画質評価方法を示す図である。遺伝的アルゴリズムにより選択されたブロックどうしの縦交叉および横交叉の一例を示す図である。遺伝的アルゴリズムにより選択されたブロックの突然変異例を示す図である。誤差拡散パラメータ最適化処理(S2)の詳細を示すフローチャートである。誤差拡散係数の構成を示す図である。誤差拡散係数のデフォルト値の一例を示す図である。誤差拡散処理部204の詳細構成を示すブロック図である。誤差拡散処理部204で実行される誤差拡散処理を示すフローチャートである。誤差拡散係数の他の例を示す図である。

Claims

誤差拡散処理の目標としての２値画像であるターゲット画像を、遺伝的アルゴリズムに基づいて生成するターゲット生成ステップと、
均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成する誤差拡散ステップと、
前記比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定する評価関数設定ステップと、
前記画質評価関数による評価値が最小となるように、前記誤差拡散パラメータを最適化する最適化ステップと、
を有することを特徴とする画像処理方法。
前記ターゲット生成ステップにおいては前記ターゲット画像を全階調について生成し、前記誤差拡散ステップにおいては全階調の均一輝度画像に対して比較画像を生成することを特徴とする請求項１記載の画像処理方法。
前記ターゲット生成ステップは、
ユーザ指示に基づいて、前記ターゲット画像に対する画質評価用のパラメータを設定するパラメータ設定ステップと、
前記パラメータに基づく画質評価結果が所定条件を満たすように、前記ターゲット画像を遺伝的アルゴリズムに基づいて生成する画像生成ステップと、
を有することを特徴とする請求項１または２記載の画像処理方法。
前記画像生成ステップにおいては、ガウス特性ローパスフィルタを使用して画質評価を行うことを特徴とする請求項３記載の画像処理方法。
前記画像生成ステップにおいては、前記ガウス特性ローパスフィルタを通過するスペクトルが最小となるように、前記ターゲット画像を生成することを特徴とする請求項４記載の画像処理方法。
前記パラメータ設定ステップにおいては、前記ガウス特性ローパスフィルタを設定することを特徴とする請求項４または５記載の画像処理方法。
前記パラメータ設定ステップにおいては、前記ガウス特性ローパスフィルタをその遮断周波数が階調によって可変となるように設定することを特徴とする請求項６記載の画像処理方法。
前記パラメータ設定ステップにおいて中間調域を設定することによって、前記ガウス特性ローパスフィルタの遮断周波数が該中間調域において一定となることを特徴とする請求項７記載の画像処理方法。
前記画像生成ステップにおいては、ランダム画像をブロック分割し、最適化対象である注目ブロックの位置に応じて画質評価方法が異なることを特徴とする請求項３乃至８のいずれかに記載の画像処理方法。
前記画像生成ステップにおいては、前記注目ブロックの位置に応じて画質評価の対象領域が異なることを特徴とする請求項９記載の画像処理方法。
前記評価関数設定ステップにおいては、
ユーザ指示に基づいて、画質評価用のパラメータを設定するパラメータ設定ステップと、
前記パラメータを用いて前記ターゲット画像の画質を評価するターゲット画像評価ステップと、
前記パラメータを用いて前記比較画像の画質を評価する比較画像評価ステップと、
ユーザ指示に基づいて、前記ターゲット画質評価ステップおよび前記比較画像評価ステップによる画質評価値の重みを設定する重み設定ステップと、
を有することを特徴とする請求項１乃至１０のいずれかに記載の画像処理方法。
さらに、前記ターゲット画像評価ステップおよび前記比較画像評価ステップによる画質評価値を表示する表示ステップを有することを特徴とする請求項１１記載の画像処理方法。
前記画質評価値は、ノイズおよびパワースペクトルを含むことを特徴とする請求項１２記載の画像処理方法。
さらに、前記最適化ステップにおいて最適化された誤差拡散パラメータを外部装置へ出力する出力ステップを有することを特徴とする請求項１乃至１３のいずれかに記載の画像処理方法。
誤差拡散処理の目標としての２値画像であるターゲット画像を、遺伝的アルゴリズムに基づいて生成するターゲット生成手段と、
均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成する誤差拡散手段と、
前記比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定する評価関数設定手段と、
前記画質評価関数による評価値が最小となるように、前記誤差拡散パラメータを最適化する最適化手段と、
を有することを特徴とする画像処理装置。
前記ターゲット生成手段においては前記ターゲット画像を全階調について生成し、前記誤差拡散手段においては全階調の均一輝度画像に対して比較画像を生成することを特徴とする請求項１５記載の画像処理装置。
前記ターゲット生成手段は、
ユーザ指示に基づいて、前記ターゲット画像に対する画質評価用のパラメータを設定するパラメータ設定手段と、
初期画像としてのターゲット画像を生成する初期画像生成手段と、

前記ターゲット画像に対して前記パラメータに基づく画質評価を行う画質評価手段と、
前記画質評価手段による評価結果が所定条件を満たすように、前記ターゲット画像を遺伝的アルゴリズムに基づいて最適化する画像最適化手段と、
を有することを特徴とする請求項１５または１６記載の画像処理装置。
前記画質評価手段は、ガウス特性ローパスフィルタを使用して画質評価を行い、
前記画像最適化手段は、前記ガウス特性ローパスフィルタを通過するスペクトルが最小となるように、前記ターゲット画像を最適化する
ことを特徴とする請求項１７記載の画像処理装置。
前記パラメータ設定手段で中間調域を設定することによって、前記ガウス特性ローパスフィルタの遮断周波数が該中間調域において一定となり、その他の階調域においては階調により可変となることを特徴とする請求項１８記載の画像処理装置。
誤差拡散処理の目標としての２値画像であるターゲット画像を、遺伝的アルゴリズムに基づいて生成するターゲット生成装置と、前記ターゲット画像に基づいて誤差拡散パラメータを生成するパラメータ生成装置とを接続した画像処理システムであって、前記パラメータ生成装置は、
均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成する誤差拡散手段と、
前記比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定する評価関数設定手段と、
前記画質評価関数による評価値が最小となるように、前記誤差拡散パラメータを最適化する最適化手段と、
を有することを特徴とする画像処理システム。
さらに、前記パラメータ生成装置によって生成された誤差拡散パラメータを用いて２値化処理を行う２値化処理装置を接続したことを特徴とする請求項２０記載の画像処理システム。
誤差拡散処理の目標としての２値画像であるターゲット画像を遺伝的アルゴリズムに基づいて生成する画像生成装置であって、
ユーザ指示に基づいて、前記ターゲット画像に対する画質評価用のパラメータを設定するパラメータ設定手段と、
初期画像としてのターゲット画像を生成する初期画像生成手段と、

前記ターゲット画像に対して前記パラメータに基づく画質評価を行う画質評価手段と、
前記画質評価手段による評価結果が所定条件を満たすように、前記ターゲット画像を遺伝的アルゴリズムに基づいて最適化する画像最適化手段と、
を有し、
前記画質評価手段は、ガウス特性ローパスフィルタを使用して画質評価を行い、
前記画像最適化手段は、前記ガウス特性ローパスフィルタを通過するスペクトルが最小となるように、前記ターゲット画像を最適化する
ことを特徴とする画像生成装置。
前記パラメータ設定手段で中間調域を設定することによって、前記ガウス特性ローパスフィルタの遮断周波数が該中間調域において一定となり、その他の階調域においては階調により可変となることを特徴とする請求項２２記載の画像生成装置。
誤差拡散処理の目標としての２値画像であるターゲット画像を入力するターゲット入力手段と、
均一輝度画像に対して誤差拡散パラメータを用いた誤差拡散処理を施すことによって比較画像を生成する誤差拡散手段と、
前記比較画像と前記ターゲット画像の画質の差を評価する画質評価関数を設定する評価関数設定手段と、
前記画質評価関数による評価値が最小となるように、前記誤差拡散パラメータを最適化する最適化手段と、
を有することを特徴とするパラメータ生成装置。
前記ターゲット入力手段においては前記ターゲット画像の全階調を入力し、前記誤差拡散手段においては全階調の均一輝度画像に対して比較画像を生成することを特徴とする請求項２４記載のパラメータ生成装置。
前記評価関数設定手段においては、
ユーザ指示に基づいて、画質評価用のパラメータを設定するパラメータ設定手段と、
前記パラメータを用いて前記ターゲット画像の画質を評価するターゲット画像評価手段と、
前記パラメータを用いて前記比較画像の画質を評価する比較画像評価手段と、
ユーザ指示に基づいて、前記ターゲット画質評価手段および前記比較画像評価手段による画質評価値の重みを設定する重み設定手段と、
を有することを特徴とする請求項２４または２５記載のパラメータ生成装置。
前記画質評価値は、ノイズおよびパワースペクトルを含むことを特徴とする請求項２６記載のパラメータ生成装置。
情報処理装置を制御することによって、該情報処理装置上において請求項１乃至１４の何れかに記載された画像処理方法を実行可能とすることを特徴とするプログラム。
請求項２８に記載されたプログラムが記録されたことを特徴とする記録媒体。