JP2012156769A - 画像処理装置、画素補間方法およびプログラム - Google Patents

Abstract

【課題】 カラー画像の高精度な画素補間を実現できる装置および方法を提供する。
【解決手段】 この装置は、カラー画像を複数の色成分に分解し、各色の画像を生成する色分解部３０と、各色の画像につき、補間対象の補間画素を含む画像領域が周期領域であるかを判定する周期性判定部３１と、第一補間方法を用いて画素値を生成する第一画素値生成部３２と、第二補間方法を用いて画素値を生成する第二画素値生成部３３と、周期性判定部３１の判定結果を基に、いずれの画素値生成部を用いて画素値を生成するかを判断する制御部３４と、制御部３４が決定した画素値生成部により各色の画像につき生成された候補画素値を合成し、補間するための合成画素値を算出する画素値合成部３５とを含む。
【選択図】 図２

Description

本発明は、画像中の画素値が欠落した画素や不正な画素値を有する画素を補間するために画素補間処理を行う装置、その装置により行われる画素補間方法、その方法を実現するためのコンピュータ可読なプログラムに関する。

光学的な手段を用いて画像を読み取るスキャナ装置には、ＣＩＳ(Contact Image Sensor)を採用する装置と、ＣＣＤ(Charge Coupled Device)を採用する装置とがある。ＣＩＳを採用する装置は、原稿を読み取り面に密着しなければならないことから、立体的な原稿を読み取ることができないが、ＣＣＤを採用する装置と比較して、本体の厚さが薄く、価格も安く、読み取った画像に出やすいノイズを低減する技術が向上してきていることから、近年では広く使用されるようになってきている。例えば、ＣＩＳは、１パス両面読取機能を有する画像読取装置において、裏面を読み取るために用いられている。

このＣＩＳは、光源にＲＧＢの発光ダイオード(LED)を用い、ＲＧＢの光をそれぞれ高速に切り換えて、原稿からの光を、レンズを通して撮像素子(CMOSイメージセンサ)へ入力し、ＣＭＯＳイメージセンサで、その入力された原稿からの光を１画素ずつ電圧値へ変換し、出力するものである。

このＣＩＳを採用したスキャナ装置は、原稿をローラでセンサに密着させて１ラインずつ読み取る密着イメージセンサ方式を採用する。ＣＩＳは、１本の長いセンサを作製することが難しいことから、短いセンサを、その長さ方向へ複数並べるように配置して読み取り部を構成する。このため、センサ間に一定のギャップが生じ、このギャップにおいては画像信号を取得することができない。その結果、画像信号の欠落が生じる。

また、ＣＩＳを採用した装置に限らず、スキャナ装置では、画像信号を読み取るセンサの不具合や、原稿がセットされるコンタクトガラスの汚れ等の光路の途中に遮蔽物が存在することによっても、画像信号が欠落したり、読み取られた画像信号が不正な値を示したりすることがある。

これでは、読み取られた画像に欠落した画素や不正な画素値を有する画素が存在することとなり、画質が低下してしまうという問題があった。この問題に鑑み、従来において欠落した画素の画素値や不正な画素値を、その画素の周囲にある画素の画素値を用いて推定し、その推定した値に置き換えて補間する技術が知られている。

例えば、対象画素の周囲にある画素の画素値を用いて線形補間する方法や、２次以上の関数を用いて多項式補間あるいはスプライン補間する方法等がある。線形補間による補間方法は、濃度変化の少ない部分の補間には適しているが、網点領域のように濃度変化の激しい部分の補間には適していない。

多項式補間やスプライン補間による内挿法は、デジタル写真等の、画像を標本化する際のサンプリング周期が画像のパターンの変動周期に対して十分に短いものに対し、高い精度で画素値を推定することができる。しかしながら、網点画像については、網点の線数に比較して画像の解像度が十分でないことから、サンプリング周期が画像の変動周期に対して十分ではなく、この内挿法では、元のパターンを正しく再現することができない場合が多い。

そこで、内挿法の問題点を解決するべく、パターンマッチングを用いる手法が提案されている。この手法では、内挿法では再現することができない高い周波数成分を、補間画素の近隣した位置にある類似パターンを用いて再現することができる。

しかしながら、一般的にパターンマッチングでは、内挿法と比較して広い範囲の情報を用いることから、基準とするパターンに対する最適解が求まるが、それが補間画素に対して最適であるとは限らない。これは、パターンマッチングで類似パターンを探索する際に、全体として少しずつ異なるパターンと、大部分が一致するのであるが、一部大きく異なるパターンとの区別を行わないために生じる問題である。

特に、高数線の網点領域のように、特定の画素に情報が偏在しているケースでは、類似パターンの選択仕方が補間結果に大きな影響を与えることになる。また、濃度の低い網点領域では相対的に背景に属する画素の占める割合が高いため、網点領域ではない背景領域に類似パターンを検出してしまうか、その反対に検出されないことがある。

したがって、補間を行う際には補間画素の属する領域の特性に応じて補間手法を使い分ける必要がある。そこで、補間画素の画素値を正確に推定するため、補間画素の位置が網点領域内であればパターンマッチングを用いて補間画素を含むパターンと類似パターンを画像中から探索し、最も類似するパターン内で補間画素に対応する画素の画素値を、補間画素の画素値として決定する装置が提案されている（特許文献１参照）。

この装置は、画像読取センサによって読み取られた画像データに基づいて、コンタクトイメージセンサの連結部分に対応する補間対象画素位置が網点領域内であるか非網点領域内であるかを判別し、その補間対象画素位置が非網点領域である場合には、線形補間により補間対象画素の画素データを生成し、補間対象画素位置に挿入する。一方、網点領域である場合には、パターンマッチングにより補間対象画素の画素データを生成し、補間対象画素位置に挿入する。

このとき、補間対象画素位置付近の画像領域内に、その補間対象画素を含む１つの基準ブロックと、その基準ブロックと同じ大きさでかつ補間対象画素を含まない複数の参照ブロックとを設定し、その基準ブロック内の画素データと各参照ブロック内の画素データとに基づいて、基準ブロックと各参照ブロックとの間の相関値をそれぞれ算出し、基準ブロックと最も相関が高い参照ブロック内の画素データのうち、基準ブロック内の補間対象画素と対応する画素の画素データを、補間対象画素の画素データとして決定している。

しかしながら、この補間手法では、画素値がなだらかに変化する画像については高い精度で補間することができるものの、画素値が急激に変化する画像については補間精度が低くなるという問題があった。

カラー画像に用いられる網点は、一般にＣＭＹ（シアン、マゼンタ、イエロー）の３色またはＣＭＹＫの４色により構成されており、正確な補間を行うためには個々の色の網点を再現しなければならないが、従来において、このような個々の色の網点を再現する方法は知られていない。

そこで、画素値が急激に変化する画像についても高い精度で補間処理を行うことができ、かつ、カラー画像における個々の色の網点を再現することができる装置および方法の提供が望まれていた。

本発明は、上記課題に鑑み、入力されたカラー画像を複数の色成分に分解し、分解した色成分ごとに補間画素に用いる画素値を生成し、その生成した画素値を合成した上で補間画素に挿入する構成を採用する。これを実現するための装置は、具体的には以下の各部を備える構成とすることができる。

すなわち、補間画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるかを判定する周期性判定部と、この判定結果に基づいて、第一補間方法を用いて補間画素の画素値を生成する第一画素値生成部と、第一補間方法とは異なる第二補間方法を用いて補間画素の画素値を生成する第二画素値生成部のいずれを用いて画素値を生成するかを判断する制御部と、その判断により決定された画素値生成部により生成した画素値を補間画素に挿入する画素値挿入部とを備える。

さらに、入力されたカラー画像を複数の色成分に分解する色分解部と、制御部により決定された第一画素値生成部または第二画素値生成部が各色につき生成した補間画素の画素値である候補画素値を合成し、補間画素を補間するための１つの合成画素値を算出する画素値合成部とを備える。

このような色分解部と画素値合成部とを備え、色ごとに補間画素の候補画素値を生成し、それを合成して補間画素に挿入する画素値としての合成画素値を得ることにより、カラー画像における個々の色の網点を再現することができ、また、周期性判定部と制御部とを備え、周期性の有無で補間方法を変えることにより、画素値が急激に変化する画像についても高い精度で補間処理を行うことができる。

本発明では、画素値合成部は、第一画素値生成部または第二画素値生成部が生成した候補画素値が合成に適しているか否かを判断し、適していると判断した候補画素値のみを使用して合成を行うことができる。判断基準としては、候補画素値を生成するのに用いられた補間方法を挙げることができる。具体的には、第一補間方法が判断基準として設定されていて、制御部が第一画素値生成部を用いることを決定すれば、画素値合成部は適していると判断し、制御部が第二画素値生成部を用いることを決定すれば、画素値合成部は適していないと判断する。

第一補間方法としては、例えば、パターンマッチング法を挙げることができ、第二補間方法としては、第一補間方法とは異なる方法である内挿法を挙げることができる。上記のように候補画素値が合成に適しているかを判断することにより、第一補間方法としてのパターンマッチング法により生成された候補画素値と、第二補間方法としての内挿法により生成された候補画素値とが混在した状況で合成した場合に、パターンマッチング法により再現された高周波成分が、内挿法により再現された値と混じり合うことによって失われてしまうことを防止することができる。

また、画素値合成部は、複数の合成方法を用い、補間画素に対して複数の合成画素値を算出し、合成画素値を挿入して補間した所定サイズの基準パターンと、補間画素に近隣した位置に設定される基準パターンと同じサイズの１以上の参照パターンとの一致度をそれぞれ求め、各合成画素値が補間に適したものであるかを判断することができる。これにより、最も高い一致度をもつ基準パターンに設定された合成画素値を、補間画素へ挿入すべき合成画素値として決定することができる。

画素値合成部は、候補画素値の組を複数作成し、各組につき、その組に含まれる候補画素値を合成して合成画素値を複数算出し、これら複数の合成画素値を用いて複数の基準パターンを作成する。これらの基準パターンと、補間画素に近隣した位置に設定される、基準パターンに類似した１以上の参照パターンとの一致度を求め、その一致度が最も高い基準パターンに設定された合成画素値を、補間画素へ挿入すべき合成画素値として選択することも可能である。

また、本発明では、周期性判定部が補間画素を含む画像領域が周期領域であるかを判断するが、１ラインのような広い範囲で見ると周期性があっても、補間画素近傍の狭い範囲で見ると、周期性がないケースが存在し、このようなケースでは判断基準で周期性があると誤判定されてしまう。例えば、網点領域に近傍する非網点領域や、２つの網点領域に挟まれた非網点領域は、誤判定を受けやすい。誤判定されてしまうと、網点領域の外側にある平坦な領域を網点領域として補間してしまい、補間結果として不正な画素値が出現してしまう。そこで、本発明では、周期領域であると判定された場合に補間画素に近隣して１以上の参照領域を設定し、その１以上の参照領域の画像特徴に基づき、その補間画素が周期領域と非周期領域とのいずれに存在するかを判定する境界判定部をさらに備えることができる。

この場合、制御部は、周期性判定部による判定結果に加えて、この境界判定部による判定結果を用いて、第一画素値生成部または第二画素値生成部のいずれを用いて画素値を生成するかを判定する。

補間精度を高めるには、生成された候補画素値が妥当であるかを検証することが望ましい。このため、本発明では、この検証を行うための妥当性検証部をさらに含む構成を採用することができる。この妥当性検証部は、第一画素値生成部が候補画素値を生成する際に得られる関連情報に基づいて、その候補画素値の妥当性を判断する。このとき、妥当でないと判断した場合、制御部は、第一画素値生成部に代えて第二画素値生成部により画素値を生成させるように切り替える。

この妥当性検証部は、第一画素値生成部が候補画素値を生成する際に得られる関連情報としての相違度または類似度を用い、その相違度が閾値未満であるか、またはその類似度が閾値以上であるかを判断することにより、妥当であるかを判断することができる。

また、本発明では、さらに補間精度を高めるために、第一補間方法および第二補間方法とは異なる第三補間方法を用いて補間画素の画素値を生成する第三画素値生成部をさらに含むことができる。この場合、妥当性検証部は、第一画素値生成部が候補画素値を生成する際に得られる関連情報に基づいて、その候補画素値の妥当性を判断し、妥当でないと判断した場合、制御部が、第一画素値生成部に代えて第三画素値生成部により画素値を生成させる。そして、再び妥当性検証部は、第三画素値生成部が候補画素値を生成する際に得られる関連情報に基づいて、その候補画素値の妥当性を判断し、妥当でないと判断した場合、制御部が、第三画素値生成部に代えて第二画素値生成部により画素値を生成させる。

また、制御部は、周期性判定部と境界判定部とから得られた判定結果に基づき、第一画素値生成部と第二画素値生成部と第三画素値生成部のいずれを用いて画素値を生成するかを判断することができる。判断された画素値生成部は自己が採用する補間方法を用いて候補画素値を生成し、それを画素値合成部が合成して１つの合成画素値を求め、画素値挿入部がその合成画素値を補間画素に与えて補間する。

本発明では、上記の各部を備える画像処理装置を提供することができるが、そのほか、この画像処理装置により補間画素を補間する方法も提供することができる。この方法は、色分解部が、カラー画像を複数の色成分に分解し、各色のプレーン画像を生成するステップと、周期性判定部が、各色のプレーン画像につき、補間画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるかを判定するステップと、制御部が、その判定結果に基づき、第一画素値生成部と第二画素値生成部のいずれを用いて補間画素の画素値を生成するかを判断するステップと、画素値合成部が、判断された画素値生成部が各色のプレーン画像につき生成した補間画素の候補画素値を合成し、補間画素を補間するための合成画素値を算出するステップとを含む。

本発明では、この画素補間方法を実現するためのコンピュータ可読なプログラムを提供することもでき、さらには、このプログラムをＣＤ−ＲＯＭやＳＤカード等の記録媒体に格納して提供することも可能である。

本発明の画像処理装置のハードウェア構成を例示した図。 画像処理装置の１つの実施形態を示した機能ブロック図。 補間画素を含む画像を例示した図。 判定領域と、判定領域における水平方向の画素の位置と画素値との関係を例示した図。 周期領域および非周期領域の例を示した図。 代表周期を示す画像とテンプレートとを例示した図。 画素の位置と画素値との関係を例示した図。 図２に示す画像処理装置により実行される画素補間処理の流れを示したフローチャート図。 図８に示すステップ８１５で行われる処理の流れを示したフローチャート図。 部分領域の周期性判定に用いる判定領域を例示した図。 図９に示すステップ９１０、９２０、９２５で行われる周期性の判定の詳細な処理を示したフローチャート図。 図８に示すステップ８３０で行われる処理の流れを示したフローチャート図。 図８に示すステップ８４５で行われる処理の一例を示したフローチャート図。 図８に示すステップ８４５で行われる処理の別の例を示したフローチャート図。 図８に示すステップ８４５で行われる処理のさらに別の例を示したフローチャート図。 画像処理装置の別の実施形態を示した機能ブロック図。 図１６に示す画像処理装置により実行される画素補間処理の流れを示したフローチャート図。

本発明の画像処理装置は、カラー画像を読み取るスキャナ装置とケーブルで直接、またはネットワークを介して接続される。スキャナ装置は、これに限られるものではないが、ここではＣＩＳを採用したスキャナ装置とされる。このスキャナ装置により読み取られた画像には、センサ間のギャップにより欠落した画素値や不正な画素値を有する画素が含まれることから、この画像処理装置は、それらの画素（補間画素）に対し、正しい画素値を求め、その画素値を設定する補間処理を行う。

この画像処理装置は、補間処理を施すべきカラー画像の入力を受け付け、そのカラー画像を各色のみから構成されるプレーン画像に分解し、そのプレーン画像から補間画素に挿入すべき画素値として候補画素値を求め、各色につき求めた候補画素値を合成して１つの画素値を生成し、その画素値を補間画素に挿入することにより設定する装置である。

ここで、画素値は、１画素を８ビットで表すグレースケール画像では、黒が０で、白が２５５の値をとり、１画素をＲＧＢの各色８ビットで表すカラー画像では、赤、緑、青の各色につき０〜２５５の値をとり、すべてが０のとき黒で、すべてが２５５のとき白を表すものである。

これらの処理を実現するために画像処理装置は、ＰＣ、ワークステーション、サーバ、ＭＦＰ等の、この処理を実行可能なプログラムが記録された記憶装置と、このプログラムを読み出し実行するプロセッサと、スキャナ装置やネットワークと接続するためのインタフェースとを含んで構成される。

具体的には、図１に示すように、例えば、プロセッサとしてマイクロプロセッサユニット(MPU）１１を備え、記憶装置として、ＢＩＯＳ(Basic Input Output System)やファームウェアを格納する不揮発性メモリであるＲＯＭ(Read Only Memory)１２と、ＭＰＵ１１によるプログラム処理を可能とする実行記憶空間を提供するＲＡＭ(Random Access Memory)１３とを備える構成とすることができる。

ＭＰＵ１１は、内部バスを介してインタフェースの１つである記憶制御用インタフェース１４に接続され、その記憶制御用インタフェース１４に接続される記憶装置の１つであるハードディスク１５へアクセスし、各種アプリケーションやデータの読み出し、実行し、書き込みを行う。この記憶制御用インタフェース１４としては、ＩＤＥ(Integrated Device Electronics)、ＡＴＡ(AT Attachment)、シリアルＡＴＡ、ＵｌｔｒａＡＴＡ等の規格により、ハードディスク１５の入出力を管理するインタフェースを使用することができる。ＭＰＵ１１は、内部バスを介してＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４等のシリアルまたはパラレル・インタフェース１６を制御し、キーボード、マウス、プリンタといった入出力装置１７と通信し、ユーザからの入力を受け付けることができる。

この画像処理装置１０は、ＭＰＵ１１からの指令に応答して、ビデオ信号を処理し、表示装置１８へと表示させるＶＲＡＭ(Video RAM)１９、グラフィックチップ２０と、ネットワークを介して他の機器と通信するために該ネットワークと接続されるネットワークＩ／Ｆ２１とを含んで構成することができる。ＶＲＡＭ１９は、表示装置１８に対するビデオ表示のための記憶装置として使用されるＲＡＭであり、グラフィックチップ２０は、画像データ処理を行う集積回路である。

また、この画像処理装置１０は、ＲＯＭ１２やハードディスク１５、その他の図示しないＮＶ−ＲＡＭやＳＤカード等の記憶装置に格納されたプログラムをＭＰＵ１１が読み出し、ＲＡＭ１３のメモリ領域に展開することにより、適切なＯＳ(Operating System)の下、後述する各処理を実現し、そのＭＰＵ１１を、各処理を実現するための各部として構成することができる。ＯＳとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）等を採用することができる。なお、この画像処理装置１０は、上述したＰＣ等に限られるものではなく、特定の用途向けに複数機能の回路を１つにまとめたＡＳＩＣ(Application Specific Integrated Circuit)として構成することも可能である。

図２は、本発明の画像処理装置の第１実施形態を示した機能ブロック図である。画像処理装置１０は、上述したように、ＲＯＭ１２やハードディスク１５等の記憶装置に記憶されているプログラムを、プロセッサであるＭＰＵ１１が読み出し実行することにより各機能を実現することができる。すなわち、画像処理装置１０は、色分解部３０と、周期性判定部３１と、第一画素値生成部３２と、第二画素値生成部３３と、制御部３４と、画素値合成部３５と、画素値挿入部３６とを含む構成とされる。図２には図示していないが、補間画素を設定する画素設定部をさらに備えることができる。

色分解部３０は、補間処理を行うカラー画像の画像データを受け付け、そのカラー画像を予め指定された複数の色成分に分解し、各色成分のみで構成される各色の濃淡画像であるプレーン画像を生成する。カラー画像は、一般にデジタル画像であればＲＧＢ（赤、緑、青）の３色で構成される。色分解部３０は、このカラー画像を、ＣＭＹ（シアン、マゼンタ、イエロー）、ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）、ＲＧＢ、Ｌａｂ、ＹＩＱといった色成分に分解する。例えば、色分解部３０は、ＲＧＢの各色の色フィルタを透過した光によって色分解し、プレーン画像を生成することができる。

ここで、Ｌａｂは、明度を表す値Ｌと、緑から赤への色相の要素を表す値ａと、青から黄への色相の要素を表す値ｂという３つの値で構成されるものである。ＹＩＱは、輝度を表す値Ｙと、オレンジからシアンの色差を表す値Ｉと、青紫から黄緑の色差を表す値Ｑという３つの値で構成されるものである。

印刷物のハーフトーン領域は、ＣＭＹＫの４色の網点で階調が表現されていることから、ＣＭＹＫに色分解することが望ましい。しかしながら、ＲＧＢとＣＭＹとは補色関係にあり、シアンの網点は赤成分のプレーン画像（Ｒプレーン画像）に、マゼンタの網点は緑成分のプレーン画像（Ｇプレーン画像）に、イエローの網点は青成分のプレーン画像（Ｂプレーン画像）に、それぞれ明暗のパターンとして出現することから、ＲＧＢに色分解しても大きな問題は生じない。なお、ブラックの網点は赤、緑、青のすべての色のプレーン画像に出現することになるが、ＣＭＹの網点と区別することなく補間処理を行い、これらＲＧＢプレーン画像に出現する網点のパターンを再現することによって間接的にブラックの網点も再現することができる。

色分解部３０による色分解は、補間対象のカラー画像を受け付けた際に行うこともできるが、画像設定部による補間画素の検出後に行うことも可能である。また、この色分解は、カラー画像の場合にのみ行うことができ、モノクロ画像等、一色で構成されている画像については色分解する必要がないため、省略することができる。カラー画像であっても、色分解を行ってプレーン画像を作成することなく、そのカラー画像から直接目的の画素を検出し、その画素の画素値から特定の色成分値を抜き出し、それを利用することで、この色分解を省略することも可能である。

次に、上記の画素設定部により、画素値を挿入し補間する対象の補間画素を、処理対象となる画像内で検出する。補間画素は、予めユーザが位置を検出しておくこともできるし、装置が逐次その位置を検出することも可能である。位置は、例えば、向かって左下隅の座標を基準座標（０，０）として主走査方向と同じ右方向への画素数ｘと、上方向への画素数ｙとを用い、座標（ｘ，ｙ）として表すことができる。

画像処理装置１０が補間画素を検出する場合の検出方法としては、例えば、予め指定された明るさや色の画素であるかどうかを、１画素ずつ画素値を調べて補間画素を検出する方法や、既知の画像を読み取った際の正解値からのずれ量の大きさを評価することにより補間画素を検出する方法や、水平または鉛直方向の周期性が不連続となる位置を検出し、その位置にある画素を補間画素として検出する方法を挙げることができる。この補間画素は、孤立した点であってもよいし、点が連続した線分であってもよい。この線分であってもよいとしているのは、ギャップは、撮像素子が移動する方向である副走査方向へ連続して形成され、点が連続した線分として構成されることもあるからである。

一般的にすべてのプレーン画像で補間画素の位置は等しく設定するが、特定の色成分値のみを補間したい場合には、その色のプレーン画像でのみ補間画素を設定することも可能である。

補間画素を含む画像としては、図３に示す黒色のほぼ同じ大きさの点がほぼ規則正しく配列する網点画像の中に、縦すじが発生したものが挙げられる。この縦すじは、その画像の中央部を横断するように、点が欠落している部分と点が周囲より大きくなっている部分とから構成されている。このような画像の場合、点は一定の間隔で配列していることから周期性を有し、その縦すじの部分において周期性が不連続となる。このため、水平方向の周期性が不連続となる位置を検出することで、補間画素を検出することができる。

周期性判定部３１は、プレーン画像の補間画素を含むように所定の大きさの判定領域を定め、その判定領域内で画素値の変動に周期性があるか否かを判定する。判定領域は、補間画素を含む高さ１画素の領域、すなわち画像の１ラインとすることもできるし、補間画素を含む任意の高さをもった矩形領域とすることもできる。

判定領域のサイズは、予めユーザによって設定することもできるし、装置が動的に決定することも可能である。装置が動的に決定する場合、予め指定された領域サイズで一度補間処理を行い、それより小さいサイズでも十分に補間処理を行うことができるようであれば、一定サイズで小さくしていくことができ、反対に補間処理を行うことができない場合には、一定サイズで大きくしていくことができる。

画像の１ラインを抜き出し、判定領域としたものを図４に例示する。図４（ａ）では、黒色で示される網点を表す画素と、白色で示される背景を表す画素とが一定間隔で配置されていて、その間にグラデーションを与えるように画素値が異なるグレーの画素が配置されている。また、この図４（ａ）には、上記のギャップによって欠落した画素４０が示されている。

この判定領域における水平方向の画素の位置と、画素値との関係を例示した図を、図４（ｂ）に示す。画素値はその画素において一定であることから、とびとびの値を示すが、これを滑らかにつなぐと、一定の周期で画素値が増減する波形で表すことができる。このため、この判定領域では画素値の変動に周期性があることを検出することができる。

このような周期性がある判定領域を例示すると、図５（ａ）に示す網点や斜線で表される網点領域を挙げることができる。一方、周期性のない判定領域を例示すると、図５（ｂ）に示す文字や規則的に配列していない点から構成される不連続領域、図５（ｃ）に示す１色やグラデーションで表される背景等の平坦領域を挙げることができる。

なお、網点で表される網点画像は、実際には点が任意のスクリーン角をもって直線状に配置されることから、点が水平方向に一定の間隔で配列したものとはなっておらず、斜めに一定の間隔で配列したものとなっている。このため、図４（ｂ）に示すような同じ振幅の波形にはならないものの、振幅が異なる一定間隔でピークを有する波形になることから、周期性があることを判定することができる。

図３や図４のように図に示すことで、周期性の有無を容易に判断することができるが、実際には図を作成し、それを参照して判断することはできないことから、例えば、プレーン画像の補間画素を含む所定のサイズの領域である判定領域を設定し、その判定領域内において変動周期を計算し、計算された変動周期を用いて判定領域の周期性の有無を判定することにより、周期性を判定することができる。このため、周期性判定部３１は、変動周期を計算するための図示しない周期計算部を備えることができる。

周期性を判定するために変動周期を求める必要があるが、判定領域内の画素値の変動周期が常に一定とは限らない。そこで、周期性を判定するために用いる変動周期として代表周期を採用する。この代表周期を求める一例として、判定領域内において画素値が極大となる位置（ピーク位置）、具体的には図４（ｂ）に示す波形の正方向のピークを示す画素の位置を記録していき、あるピーク位置から次のピーク位置までの距離のヒストグラムを判定領域全体にわたって作成した上で、度数の最も多い階級に対する値である最頻値となる距離を代表周期として採用することができる。この代表周期は、画素数で表すことができ、図４に示す実施形態では、ほぼ６画素ごとにピークとなり、ピーク間距離が６画素となることが最も多いことから、代表周期は６画素とされる。なお、代表周期にある程度の誤差を許容する観点から、代表周期±１の距離を用いることも可能である。

このとき、極大となる位置ではなく、極小となる位置（図４（ｂ）に示す波形の負方向のピークを示す画素の位置）を用いて求めることも可能である。代表周期を求める際に画素値の変動の周期性を利用するとノイズ耐性が低いため、画素値の自己相関を求め、その変動の周期性を利用すればノイズ耐性が上昇する。このため、これらの極大となる位置および極小となる位置を用いて求める場合、自己相関を用いることが望ましい。ここで、ノイズ耐性が上昇する理由は、ノイズが多くの場合に画素値に乗るため、画素値を直接利用する場合よりも、複数の画素値を用いて導出された自己相関という形で利用した場合のほうが、ノイズによる影響を低く抑えることができるからである。

自己相関とは、ある信号とその信号に所定の位相ずれを与えた信号との相関のことである。この場合、判定領域内において自己相関を求めていき、画素値に代えて自己相関の値を用いてヒストグラムを作成し、最頻値を代表周期として採用することができる。この自己相関の値としては、相関係数を用いることもできるし、共分散を用い、より計算を簡便にすることも可能である。

ここで、共分散Ｓは、２つの画素値の共変動の大きさを示す指標で、比較するパターンの一方のｉ番目の画素値をｘ_ｉとし、他方のパターンのｉ番目の画素値をｙ_ｉとし、一方のパターンの画素値の平均値をｘ_ｍとし、他方のパターンの画素値の平均値をｙ_ｍとし、パターンの画素数をｎとすると、下記式１により求めることができる。

相関係数Ｒは、２つの確率変数の間の類似性の度合いを示す指標で、一方のパターンの標準偏差をσ_ｘとし、他方のパターンの標準偏差をσ_ｙとすると、下記式２により求めることができる。

信頼度Ｃ_ｖは、例えば、以下の式３を用いて求めることができる。式３中、Ｔは、上記で求めた代表周期で、Ｆ_ｒは、上記ヒストグラムにおける代表周期Ｔに対応する距離の度数で、Ｎは、判定領域の画素数である。なお、Ｆ_ｒは、代表周期Ｔの度数だけでなく、代表周期を推定する際の誤差を許容するためにＴ±１の度数の合計を用いてもよい。この式３は、代表周期と同じピーク位置間の距離を有するものが、判定領域全体のどの程度の割合を占めているかを信頼度として定義することを意味している。

この信頼度が閾値よりも高い場合に周期性があると判断し、閾値以下である場合には周期性なしと判断するが、この閾値は、予めユーザによって設定することができ、また、動的に決定することも可能である。予めユーザによって設定する場合、シミュレーションや実験を行い、周期性の有無を判断するのに好適な信頼度を求めることにより閾値を決定し、その閾値を設定することができる。動的に決定する場合は、例えば、実際に周期性を有する網点領域と周期性を有しない不連続領域または平坦領域について信頼度を求め、その中間値を閾値として決定することができる。

第一画素値生成部３２は、補間方法として、パターンマッチング法を用いて、補間画像の画素値を生成する。パターンマッチング法の具体例として、テンプレートマッチングを用いることができる。テンプレートマッチングは、画像の中から指定した部分、大きさの画像領域である基準パターンとしてのテンプレートを用い、そのテンプレートと似ている位置を探すもので、テンプレートと画像の中のパターン間の一致度を求めることにより行うことができる。

この機能を実現するために第一画素値生成部３２は、最初に、テンプレートのサイズを決定する。テンプレートの幅は、上記のようにして求めた代表周期を基準として設定する。このテンプレートの幅は、代表周期の幅と一致させることができるが、これに限られるものではなく、代表周期の幅の画素数より左右に１画素ずつ大きめにしたり、左右に１画素ずつ小さめとする等、やや大きめまたはやや小さめにすることができる。次に、テンプレートの高さを設定するが、幅と同様に、代表周期の高さと一致させることができる。この高さも、これに限られるものではなく、やや大きめあるいは小さめとすることができる。上記では１画素ずつ大きめあるいは小さめと例示したが、２画素以上であってもよい。

補間画素が網点領域に属する場合には、一辺が概ね代表周期である正方形の領域として設定することが望ましい。これは、代表周期を示す画像を、例えば幅６画素で、高さ１画素の図６（ａ）に示すようなものとすると、幅６画素、高さ６画素の正方形の領域とすることで、図６（ｂ）に示すように網点１つ分を表現することができるからである。このように網点１つ分の領域としてテンプレートのサイズを決定することで、類似パターンを探索する際に、網点１つ分のみの情報を用い、補間画素を含む網点に最適な類似パターンを取得することができる。

また、代表周期が非常に小さい場合、例えば３画素のような場合には、テンプレートのサイズを少し大きめ、例えば、その３画素の左右に１画素ずつ追加した５画素にすることができる。これは、代表周期が非常に小さい場合、一致度の評価に用いる画素数が少なくなってしまい、類似パターンの検出の安定性が低下してしまうからである。

第一画素値生成部３２は、上記のようにして決定したテンプレートのサイズに基づき、補間画素を含む領域をプレーン画像から切り出し、これをテンプレートに設定する。このとき、テンプレートは、補間画素を中心としてその左右、上下が対称となる形状として切り出し、設定することが好ましい。このように切り出し、設定することで、補間画素を含むパターンの方向性に依存することなく、類似パターンの探索を行うことができる。

第一画素生成部３２は、次に、そのテンプレートを用いて当該テンプレートに類似する類似パターンを探索するにあたって、所定の探索領域を設定する。この探索領域は、代表周期に基づき設定することができる。探索領域は、例えば、代表周期が上記の幅６画素、高さ１画素とされるとき、その代表周期を中心として左右に６画素ずつ追加した幅１８画素で、幅と同じ高さ１８画素の正方形の領域とすることができる。このように、幅と高さを同じ画素数とすることで、探索範囲のパターンの方向性に依存せずに探索を行うことができる。上記の幅１８画素、高さ１８画素の領域は、あくまで１つの例であるので、これに限られるものではなく、これより広い、幅３０画素、高さ３０画素という領域等を探索領域とすることができる。

探索領域は、上記の正方形の領域に限られるものではないが、画像をバッファするメモリの制約等からその範囲の高さを低く抑える必要がある場合は、その分、幅を広くとることが望ましい。高さを低く抑えると、類似パターンを探索する対象が少なくなり、画素補間の精度が低下するからである。また、周期性判定部３１により補間画素に向かって左側に設定された領域が周期性なしと判断された場合、補間画素に向かって左側に設定された領域を探索領域から除外することが望ましい。右側についても同様である。このように探索領域を狭めることにより、類似パターンが検出されるべきでない領域からの誤検出を防止することができる。

第一画素値生成部３２は、探索領域を上記のようにして設定した後、生成したテンプレートを用い、その探索領域内にある類似パターンを探索する。具体的には、探索領域内の各位置においてテンプレートとの一致度を求め、最も一致度が高い位置を類似パターンとして選択する。一致度として、ＳＡＤ(Sum of Absolute Difference)やＳＳＤ(Sum of Squared Difference)等の相違度、相関係数や共分散等の類似度を用いることができる。

ＳＡＤは、テンプレートと比較するパターンを切り出し、テンプレートとパターンの同じ位置にある画素の輝度値の差をそれぞれ求め、その差の絶対値を合計したものであり、この合計値が小さいほど類似し、大きいほど相違することを示すものである。また、ＳＳＤは、その輝度値の差を二乗し、その合計を用いるもので、これも、この合計値が小さいほど類似し、大きいほど相違することを示すものである。相関係数および共分散については上記式１、２により求めることができる。相関係数は、−１から１までの値をとり、その値が１に近づくほど強い正の相関があり、０に近いほど相関が弱く、−１に近づくほど負の相関がある。これは、１に近づくほど類似するパターンであることを意味し、−１に近づくほど反転したパターンに類似したものとなる。このことから、値が大きいほど類似度が高いと判断することができる。共分散は、相関係数に対応することから、その値が大きいほど類似度が高いと判断することができる。

一致度の評価に際して、補間画素の画素値が一致度に影響を与えないように補間画素を一致度の計算から除外するか、比較対象のパターンにおいて同じ位置にある画素の画素値を用いて仮の画素値を設定しておくことが望ましい。なお、類似するパターンは一致度が高い順に複数選択することも可能である。

また、補間画素が画像全体で複数存在する場合、一致度の計算において、今挿入しようとしている補間画素だけでなく、他の補間画素も計算から除外するか、比較対象のパターンの同じ位置にある画素の画素値を用いて仮の画素値を設定しておくことが望ましい。これは、基準パターンや比較対象のパターンに今挿入しようとしている補間画素だけではなく、他の補間画素が含まれている場合があり、補間画素は基本的に画素値が欠落しているか、不正な値を保持しているため、一致度の計算に使用されることは好ましくないからである。なお、既に挿入済みの補間画素の画素値は一致度の計算に使用することができる。また、比較対象パターンに他の補間画素が存在する場合、その補間画素が一致度の計算に用いられないように計算から除外するか、基準パターンの同じ位置にある画素の画素値を用いて仮の画素値を設定しておくことが望ましい。

例えば、補間画素を含むテンプレートが、画素ａ_{ｉ−２，ｊ−２}から画素ａ_{ｉ＋２，ｊ＋２}までの５行、５列からなり、補間すべき画素がｉ列の画素すべてで、今補間しようとしている画素をａ_ｉ，ｊとし、補間画素の処理を順に行い、同じｉ列のａ_{ｉ，ｊ−２}およびａ_{ｉ，ｊ−１}には既に画素値が挿入されているものとする。この条件において一致度を計算する場合、１つの方法として、補間画素ａ_{ｉ，ｊ−２}、ａ_{ｉ，ｊ−１}、ａ_ｉ，ｊ、ａ_{ｉ，ｊ＋１}、ａ_{ｉ，ｊ＋２}を除外して計算を行う方法が挙げられる。第２の方法としては、補間画素ａ_{ｉ，ｊ−２}、ａ_{ｉ，ｊ−１}、ａ_ｉ，ｊ、ａ_{ｉ，ｊ＋１}、ａ_{ｉ，ｊ＋２}に、比較対象パターンの対応する位置にある画素の画素値を用いて仮の画素値を設定し、計算を行う方法が挙げられる。

第３の方法としては、補間画素ａ_{ｉ，ｊ−２}、ａ_{ｉ，ｊ−１}には既に画素値が挿入されているので、その値を用い、それ以外の補間画素ａ_ｉ，ｊ、ａ_{ｉ，ｊ＋１}、ａ_{ｉ，ｊ＋２}は除外して計算を行う方法が挙げられる。第４の方法としては、補間画素ａ_{ｉ，ｊ−２}、ａ_{ｉ，ｊ−１}には既に画素値が挿入されているので、その値を用い、それ以外の補間画素ａ_ｉ，ｊ、ａ_{ｉ，ｊ＋１}、ａ_{ｉ，ｊ＋２}は、比較対象パターンの対応する位置にある画素の画素値を用いて仮の画素値を設定し、計算を行う方法が挙げられる。

このようにして探索した最も類似するパターンにおいて、テンプレートにおける補間画素の位置に対応する位置にあるカラー画像の画素の画素値を取得する。最も類似するパターンのみを用いる場合には、このようにして取得した画素値を補間画素の画素値とすることができる。例えば、カラー画像がＲＧＢ画像である場合、Ｒプレーン画像から候補画素値のＲ成分値を、Ｇプレーン画像から候補画素値のＧ成分値を、Ｂプレーン画像から候補画素値のＢ成分値をそれぞれ取得することも可能である。また、一致度が高い順に選択した複数のパターンを用いる場合には、それら複数のパターンから取得した画素値を合成し、補間画素の画素値を求めることができる。画素値を合成する方法としては、一様な重みにより平均する方法、類似パターンの一致度が高いほど大きな重みとなるように制御した上で加重平均を行う方法を挙げることができる。

ここで、テンプレートマッチングには、二次元テンプレートマッチング、一次元テンプレートマッチングがある。二次元テンプレートマッチングでは、画像内の補間画素近辺、すなわち補間画素の左右や上下、斜め方向にある任意の領域をパターンとして切り出し、そのパターンとテンプレートとの一致度を求めることにより、最も類似するパターンを探索する。この実施形態において、第一画素値生成部３２が採用するテンプレートマッチングは二次元テンプレートマッチングである。これに対し、一次元テンプレートマッチングでは、補間画素が存在する１ライン内からパターンを切り出し、一致度を求め、最も類似するパターンを探索する。この二次元テンプレートマッチングと一次元テンプレートマッチングは、異なる補間方法であるため、後述する第二画素値生成部３３や、第三画素値生成部等において採用することができる。

第二画素値生成部３３は、第一画素値生成部３２とは異なる補間方法を用いて、補間画素の画素値を生成する。異なる補間方法として、内挿法を用いることができる。この内挿法には、最近傍補間（０次補間）、線形補間（一次補間）、放物線補間（二次補間）、キュービック補間（三次補間）、多項式補間、スプライン補間、ラグランジュ補間等があり、線形補間やキュービック補間を二次元に拡張したバイリニア補間やバイキュービック補間等を用いることも可能である。

１ライン上に順に配列する画素Ａ〜Ｆがあり、画素Ｃの画素値が欠落している場合、これを、画素の位置と画素値との関係を示すグラフに表すと、図７（ａ）に示すようなものとなる。画素Ｃの実際の画素値は、白丸で示す値である。この場合、画素の位置が１つ移動するにつれて画素値が一定の値ほど増加しているので、画素の位置と画素値との関係を一次関数で表すことができ、得られた一次関数を用いて補間すべき画素Ｃの画素値を求めることができる（線形補間）。

また、図７（ｂ）に示すような曲線で表される場合は、その曲線に最も適合する補間方法を選択することにより行うことができる。二次関数により表すことができる場合は、放物線補間を、三次関数により表すことができる場合は、キュービック補間を、多項式により表すことができる場合は、多項式補間あるいはラグランジュ補間を、個別の多項式を用いて表現できる場合は、スプライン補間を選択することができる。

ここでは、第一画素値生成部３２がパターンマッチング法を採用し、第二画素値生成部３３が内挿法を採用する構成としているが、本発明では、第一画素値生成部３２が内挿法を採用し、第二画素値生成部３３がパターンマッチング法を採用する構成としてもよい。また、本発明では、同じパターンマッチング法ではあるが、二次元テンプレートマッチングと一次元テンプレートマッチングや、同じ内挿法ではあるが、線形補間とスプライン補間といった異なる補間法を採用することも可能である。

制御部３４は、色分解部３０により色成分が分解され、各色成分のみで構成されたプレーン画像のデータを受け付け、それを周期性判定部３１へ送り、周期性判定部３１が判定した結果を受け取り、それに基づき、第一画素値生成部３２と第二画素値生成部３３のいずれを用いて画素値を生成するかを判断する。制御部３４は、周期性判定部３１において周期性があると判定された場合に、パターンマッチング法を用いる第一画素値生成部３２を採用し、そうでない場合に内挿法を用いる第二画素値生成部３３を採用することができる。そして、決定した第一画素値生成部３２または第二画素値生成部３３へ画像のデータを送り、そのいずれかが生成した複数の画素値を候補画素値として受け付け、それらの候補画素値を画素値合成部３５へ送り、合成して得られた１つの合成画素値を取得し、画素値挿入部３６へカラー画像のデータと設定した画素の位置情報とともに、その合成画素値を送る。

周期性判定部３１、第一画素値生成部３２、第二画素値生成部３３および制御部３４は、各プレーン画像に対し、周期性の判定、補間方法の決定、候補画素値の生成を繰り返し、各プレーン画像につき候補画素値を取得する。

画素値合成部３５は、プレーン画像の数ほど得られた候補画素値を合成して１つの合成画素値を生成する。このときに採用することができる合成方法としては、以下のような方法を用いることができる。

その１つとして、加重平均を用いることができる。これは、個々の候補画素値に対し、重みを付与した上で平均する方法である。具体的には、各候補画素値に対して決定された、重みに対応する値（重み値）と、各候補画素値とを乗算してそれらの和をとり、これを候補画素値の数で除することにより、合成した画素値を計算するものである。

上記の例では、候補画素値ごとに異なる重み値を採用しているが、これに限られるものではなく、すべての候補画素値に対し、同じ重み値を採用することもできるし、一部の候補画素値の重み値を０とし、特定の候補画素値のみを選択的に採用することも可能である。

その他の方法として、候補画素値の色成分値を合成する方法がある。これは、処理対象画像の赤成分のＲプレーン画像から得られた候補画素値のＲ成分値を、緑成分のＧプレーン画像から得られた候補画素値のＧ成分値を、青成分のＢプレーン画像から得られた候補画素値のＢ成分値を、それぞれ取得して１つのＲＧＢ値としてまとめる方法である。この方法では、Ｒ成分値、Ｇ成分値、Ｂ成分値にそれぞれゲインやオフセットを与えて値の補正を行うこともできる。ゲインやオフセットは、例えば、各候補画素値の明度が等しくなるように決定する等の方法により求めることができる。

また、合成式を用いて合成する方法を採用することも可能である。これは、下記式４〜１０を使用して各候補画素値を合成して１つの画素値にまとめる方法である。下記式４〜６中、合成した画素の画素値を（ｒ’，ｇ’，ｂ’）とし、Ｒ成分値をｒ、Ｇ成分値をｇ、Ｂ成分値をｂで表し、Ｒプレーン画像の候補画素値を（ｒ_Ｒ，ｇ_Ｒ，ｂ_Ｒ）、Ｇプレーン画像の候補画素値を（ｒ_Ｇ，ｇ_Ｇ，ｂ_Ｇ）、Ｂプレーン画像の候補画素値を（ｒ_Ｂ，ｇ_Ｂ，ｂ_Ｂ）とする。なお、式４〜６中のαは、式１０により求められる値である。

画素値挿入部３６は、画素値合成部３５により算出された合成画素値を、先に設定された補間画素に挿入する。画素値挿入部３６は、補間画素に対し、画素値合成部３５が合成して算出した合成画素値を設定し、また、既に設定されている場合にはこの合成画素値へ置き換えることにより、補間画素へ画素値を挿入する。これにより、補間画素１つ分の補間処理が完了する。補間画素が複数存在する場合には、上記の各部における処理を補間画素の数だけ繰り返す。

画素値挿入部３６が合成画素値を挿入する方法として、以下の２つの方法を挙げることができる。１つは、カラー画像の補間画素に合成画素値を挿入する方法である。すなわち、元のカラー画像における補間画素の位置に合成画素値を挿入する方法である。上述した特定の色成分値のみを補間したい場合は、合成画素値の対応する色成分値を用い、補間画素の色成分値を置き換えることにより、特定の色成分値のみを補間することができる。

もう１つは、プレーン画像ごとの補間画素に合成画素値の色成分値を挿入する方法である。これは、プレーン画像ごとの補間画素に合成画素値の対応する色成分値を挿入していき、すべてのプレーン画像に補間画素の補間処理をし終えたところで、プレーン画像を合成してカラー画像に戻すものである。プレーン画像へ挿入する値としては、プレーン画像に対応する合成画素値の色成分値が用いられる。例えば、カラー画像がＲＧＢ画像である場合、Ｒプレーン画像には合成画素値のＲ成分値を、Ｇプレーン画像には合成画素値のＧ成分値を、Ｂプレーン画像には合成画素値のＢ成分値をそれぞれ設定して補間処理を終え、ＲＧＢのすべてのプレーン画像を合成してカラーのＲＧＢ画像へ戻す。なお、プレーン画像ごとに補間画素の位置が異なる場合は、現在補間しようとしているプレーン画像に合成画素値の対応する色成分値を挿入し、合成画素値の他の成分値は破棄する。

これらの各部が各処理を行い、補間画素の画素値を生成し、その画素値により補間画素を補間する処理について、図８に示すフローチャートを参照して説明する。ステップ８００からこの処理を開始し、まず、ステップ８０５において、色分解部３０が、処理対象画像を予め指定された色成分に分解し、各色成分のみで構成されるプレーン画像を生成する。その後、ステップ８１０において、画素設定部が、１つのプレーン画像につき、画素値を挿入する対象の補間画素を検出し、補間処理すべき補間画素を設定する。この検出は、上述した方法を用いて行うことができる。補間画素が複数存在する場合は、例えばその画素が配置されている座標位置に基づいて順に並べ、順に１つを選択し、その１つを設定することができる。

ステップ８１５において、周期性判定部３１が、補間画素を含む領域を指定し、その領域内で、画素値の変動に周期性を有するか否かを判定する。上述した領域サイズの決定方法、周期性の判定方法を用いて、判定領域を指定し、周期性の有無を判定する。

次にステップ８２０で、補間画素に用いる補間方法を決定する。これは、制御部３４が、ステップ８１５において判定された結果に基づき、第一画素値生成部３２と第二画素値生成部３３のいずれを採用し、補間画素の画素値を生成するかを判断する。上述したように、周期性判定部３１が周期性ありと判定した場合は、パターンマッチング法と決定し、周期性なしと判定した場合は、内挿法と決定する。

ステップ８２５で、第一画素値生成部３２が採用されるか否かが判断される。ステップ８２０で決定された補間方法が、パターンマッチング法であれば、その方法を用いて補間処理を行う第一画素値生成部３２が採用されると判断され、それ以外であれば、第一画素値生成部３２は採用されないと判断される。

ステップ８２５で第一画素値生成部３２が採用されると判断された場合、ステップ８３０へ進み、第一画素値生成部３２が用いるパターンマッチング法により類似パターンを探索し、その探索した類似パターンに基づき補間画素へ挿入すべき画素値の候補、すなわち候補画素値を生成する。一方、ステップ８２５で第一画素値生成部３２が採用されないと判断された場合、ステップ８３５へ進み、第二画素値生成部３３が用いる内挿法により補間画素の候補画素値を生成する。

ステップ８４０で、すべてのプレーン画像につき、補間画素へ挿入すべき候補画素値の生成が終了したかを判断する。すべて終了していない場合は、ステップ８１５へ戻り、次のプレーン画像につき、周期性を判定する。一方、すべてのプレーン画像について候補画素値の生成が終了したと判断した場合は、ステップ８４５へ進み、生成された候補画素値を合成し、その補間画素へ挿入すべき１つの合成画素値を算出する。合成方法については、上述した方法により合成することができる。

次にステップ８５０において、ステップ８４５で算出された合成画素値を、ステップ８１０において設定した補間画素へ挿入する。この補間画素は、画素値を有しないか、有するにしても不正な値であるため、この補間画素へ生成した画素値を設定することにより、補間画素に画素値を挿入する。合成画素値の挿入は、上述した２つの方法のいずれかにより行うことができる。そして、ステップ８５５へ進み、すべての補間画素の補間を終えたかを判断する。ステップ８１０において検出した補間画素が複数存在する場合は、そのすべてに生成された画素値が挿入されたかを判定する。

ステップ８５５においてすべての補間画素の補間を終えたと判断された場合はステップ８６０へ進み、この処理を終了する。一方、まだ終えていないと判断された場合、ステップ８１０へ戻り、次の補間画素を設定し、候補画素値の生成を行い、候補画像値を合成して合成画素値を算出し、その合成画素値を挿入する処理を行う。

ここで、ステップ８１５では、補間画素を含む領域の周期性を判定するために、図９に示すような処理を実行することができる。まず、ステップ９００で、周期性の判定を行うステップを開始すると、ステップ９０５で、判定領域内の各画素の画素値を用い、代表周期を計算する。すなわち、信頼度を計算し、テンプレートのサイズや探索領域を決定する上で必要となる代表周期を算出する。そして、ステップ９１０で、その代表周期を用い、判定領域全体の周期性を判定する。

それに続いて、ステップ９１５で、判定領域を、補間画素を中心として左右の領域に分け、左側の領域と右側の領域とを設定する。ここでは、周期性判定部３１が、さらに部分領域周期性判定部を備えており、この部分領域周期性判定部が左右の領域に分け、それらを部分領域として設定し、各部分領域に周期性があるか否かを判定する。

したがって、ステップ９２０において、補間画素に向かって左側の領域に対し、その領域における代表周期を求め、それを用いて周期性を判定し、ステップ９２５で、補間画素に向かって右側の領域に対し、その領域における代表周期を求め、それを用いて周期性を判定する。これらの判定が終了したところで、ステップ９３０において周期性の判定を終了する。

これらのステップ９１５〜９２５では、図１０（ａ）に示すように、補間画素５０が中心にくるようにして判定領域５１を設定すると、図１０（ｂ）に示すように、補間画素５０の左右で判定領域を分割し、補間画素５０の左側の領域を、左側の周期性を判定する部分領域５２として、また、補間画素５０の右側の領域を、右側の周期性を判定する部分領域５３として設定し、各部分領域５２、５３につき周期性を判定することができる。

周期性の有無を適切に判定することができれば、図１０（ｂ）に示すような補間画素５０の高さ方向である真上および真下の領域を除く、補間画素５０の左右に隣接する判定領域５１といった大きい部分領域５２、５３とする必要はなく、これよりも小さい、図１０（ｃ）に示すような範囲の部分領域５４、５５とすることも可能である。また、部分領域は、判定領域５１内でなければならないということはなく、一部が判定領域５１外にはみ出すように設定することも可能である。

図１０では、判定領域５１を、３画素以上の所定の幅および高さとして二次元の領域として設定しているが、補間画素５０と同じ高さ、すなわち高さ１画素で、所定の画素数からなる幅の一次元の領域を判定領域５１とすることも可能である。

このように、補間画素の左右の領域の周期性、補間画素を含む判定領域全体の周期性を判定することで、その補間画素を含む領域の周期性を判定することができる。すなわち、左右、全体の領域に周期性があれば、補間画素を含む領域に周期性があると言え、補間画素を含む領域は周期性がある領域と判定することができる。

ステップ９１０、ステップ９２０および９２５において行われる判定では、各周期性の有無を判定するために、図１１に示すような処理を実行する。まず、ステップ１１００で、各ステップ（ステップ９１０、ステップ９２０、ステップ９２５）の実行を開始すると、その処理を開始し、ステップ１１０５で、上記のようにして判定領域内において画素値が極大となるピーク間の距離の最頻値を求め、その最頻値を画素値の代表周期として算出する。なお、判定領域全体の代表周期は、ステップ９１０において算出していることから、ここでは省略し、それを採用することができる。

次に、ステップ１１１０で、先のステップで求めた代表周期を用いて信頼度を計算する。信頼度は、上述した相違度や類似度を計算することにより求めることができる。ステップ１１１５で、その求めた信頼度が閾値を超えるかどうかを判断することにより周期性の有無を判定し、ステップ１１２０においてこの処理を終了する。信頼度が閾値を超える場合は周期性ありと判定し、閾値以下である場合は周期性なしと判定する。

図９に示す処理の流れでは、代表周期を推定した後、判定領域全体の周期性を判定し、続いて左側の部分領域の周期性を判定し、それに続いて右側の部分領域の周期性を判定することにより、補間画素を含む領域の周期性を判定しているが、本発明ではこれに限られるものではなく、まず、左右の部分領域の周期性を判定した後に、判定領域全体の周期性を判定することも可能である。また、左右の周期性を判定し、その判定において周期性があれば、それを代表周期として採用するとともに全体が周期性ありと判定し、左右のいずれも周期性がないと判定されれば、全体も周期性なしと判定することも可能である。

したがって、左右の部分領域の少なくとも一方に周期性があると判断されれば、周期性ありと判定し、両方になければ、周期性なしと判定することができる。これは、少なくとも一方に周期性が認められれば、その補間画素を含む領域は、周期性を有する可能性が高く、周期性を有する際に使用する補間方法を採用して補間処理を行うほうが、高い精度で補間することができるからである。

図８に示すステップ８３０で第一画素値生成部３２がテンプレートマッチングにより補間画素の画素値を生成する際、この第一画素値生成部３２は、図１２に示す処理を実行する。まず、ステップ１２００でこの処理を開始し、ステップ１２０５でテンプレートのサイズを決定する。このサイズの決定は、上記のように代表周期を基準として行うことができる。

次に、ステップ１２１０において、決定したテンプレートサイズに基づき、補間画素を含むそのサイズの領域を切り出し、これを基準パターンとして生成する。ステップ１２１５で、代表周期に基づき、類似パターンを探索する探索領域を決定し、設定する。この探索領域は、上記のようにして決定し、その領域を設定することができる。そして、ステップ１２２０で、生成した基準パターンをテンプレートとして用い、設定した探索領域内を、類似パターンを求めて探索する。類似パターンの探索は、テンプレートとの一致度を求め、最も一致度が高いパターンを選択することにより行うことができる。

ステップ１２２５において、探索した類似パターンと、その類似パターンを探索するために使用したテンプレートとを比較し、テンプレート内の補間画素の位置に対応する位置にある類似パターン内の画素の画素値を、補間画素へ挿入すべき候補画素値として取得する。この取得により、ステップ１２３０へ進み、この処理を終了する。

次に、本発明の画像処理装置の第２実施形態について説明する。画像処理装置の構成は、図２に示したものと同様であり、全体的な処理の流れも、図８に示したフローチャートと同様であるため、ここでは省略し、図８に示したステップ８４５で行われる処理の詳細のみを図１３に示し、詳細に説明する。

図１３に示す処理は、図８に示すステップ８４５の処理が開始されたことに応答して、ステップ１３００から開始される。ステップ１３０５において、画素値合成部３５が、生成された候補画素値が合成に適しているかを判定する。

合成に適しているかを判断するための基準の一例としては、候補画素値を生成した画素値生成部がいずれであるかによって判断することができる。具体的には、第一画素値生成部３２により生成された候補画素値のみを利用するという基準が設定され、得られた候補画素値がその第一画素値生成部３２により生成されたものであれば、適していると判定し、そうでない場合は適していないと判定することができる。一方、第二画素値生成部３３により生成された候補画素値のみを利用するという基準が設定され、得られた候補画素値がその第二画素値生成部３３により生成されたものであれば、適していると判定し、そうでない場合は適していないと判定することができる。

これは、第一画素値生成部３２がパターンマッチング法により候補画素値を生成し、第二画素値生成部３３が内挿法により候補画素値を生成し、それぞれが生成した候補画素値が混在した状況の下で合成を行うと、周期領域をすべてパターンマッチング法による結果で再現すれば、高周波成分を高い精度で再現できていたものが、それより低い精度の内挿法による結果が混在することによって、補間精度が低下してしまうからである。なお、この場合は第一画素値生成部３２により生成された候補画素値を優先的に採用するという判断基準を設定することで、このような補間精度の低下という問題を解決することができる。

次に、ステップ１３１０において、合成に適した候補画素値が存在するかを判定する。これは、ステップ１３０５における判定を基に、判定を行うことができる。適した候補画素値が存在する場合には、ステップ１３１５へ進み、合成に適していない候補画素値を、他の補間方法により生成された候補画素値で代替する。そして、ステップ１３２０で、合成に適した候補画素値と、代替された候補画素値とを用い、これらを上記の合成方法により合成して１つの合成画素値を生成する。

具体的には、第一画素値生成部３２により生成された候補画素値が、合成に適した候補画素値として判断される場合において、第二画素値生成部３３により一部の候補画素値が生成されたとき、適した候補画素値が存在するので、ステップ１３１５へ進み、適していない第二画素値生成部３３により生成された候補画素値を、第一画素値生成部３２により生成された候補画素値へ代替し、ステップ１３２０で合成を行う。

適した候補画素値が存在しない場合には、いずれの候補画素値も第二画素値生成部３３が生成したものであることから、ステップ１３２５へ進み、それらの候補画素値を平均し、１つの合成画素値を生成する。このようにして、ステップ１３２０またはステップ１３２５で合成画素値を生成したところで、ステップ１３３０へ進み、この処理を終了する。

ここではステップ１３２５で候補画素値を平均し、１つの合成画素値を生成しているが、候補画素値のうちの１つを代表値として選択し、それを合成画素値とすることも可能である。なお、合成に適していない候補画素値を生成せず、合成に適した候補画素値のみを生成するようにすることで、ステップ１３０５〜ステップ１３１５、ステップ１３２５における処理を省略することが可能である。

本発明の画像処理装置の第３実施形態について説明する。画像処理装置の構成は、図２に示したものと同様であり、全体的な処理の流れも、図８に示したフローチャートと同様であるため、ここでは省略し、図８に示したステップ８４５で行われる処理の詳細のみを図１４に示し、詳細に説明する。

図１４に示す処理は、図８に示すステップ８４５の処理が開始されたことに応答して、ステップ１４００から開始される。ステップ１４０５において、予め設定された合成方法の中から、合成して生成される画素値の適性の判断を行っていない方法を選択する。合成方法としては、上記に例示した方法を挙げることができる。

ステップ１４１０で、選択された方法を用いて候補画素値を合成し、１つの画素値を生成する。次に、ステップ１４１５で、生成された画素値が補間に適しているかどうかを判断する。この判断方法としては、テンプレートマッチングを用いて判断する方法を挙げることができる。

上述したテンプレートマッチング法による処理の流れと概ね同様であり、まず、テンプレートのサイズを決定し、次に、テンプレートを生成し、探索領域を決定し、その決定した探索領域内の各位置でテンプレートとの一致度を求め、その一致度が最も高い位置を類似パターンとして選択する。

処理対象画像がカラー画像であることから、複数の色成分から構成される画素同士の一致度を計算する必要がある。この計算例の１つとして、色差等の特定の色空間における２つの画素値の距離を用いる方法を挙げることができる。具体的には、Ｌａｂ色空間であれば、Ｌ、ａ、ｂという各値の差の２乗を取り、それらを加算して平方根を取ることにより距離を求めることができる。この距離が短いほど一致度が高く、離れるほど一致度が低くなる。

そのほか、色成分ごとに分解されたプレーン画像を用いる方法を挙げることができる。プレーン画像を用いる場合、同様の２つの画素値の距離から、その一致度を求め、それを合成することにより最終的な一致度とする。一致度の合成方法としては、上述した加重平均する方法や最も高いまたは低い一致度を採用する方法等を用いることができる。

このようにして選択した候補画素値の合成方法について一致度を求めたら、ステップ１４２０においてすべての合成方法について適性を判断したかを判定する。判断していない候補画素値の合成方法が存在する場合は、ステップ１４０５へ戻り、残りの合成方法についてステップ１４０５〜１４２０までの処理を繰り返す。なお、すべての合成方法につき、適性を判断するのではなく、一致度の閾値を設けておき、一致度がその閾値以上となる十分な適性をもつ合成方法を検出した段階で、ステップ１４０５〜１４２０までの処理を打ち切ることも可能である。

ステップ１４２０で、すべての合成方法について適性を判断したと判定された場合に、ステップ１４２５へ進み、求められた一致度の中で最も高い一致度となる合成方法により得られた合成画素値を、補間画素へ挿入すべき画素値と判断し、画素値合成部３５は、その画素値を制御部３４に対して出力し、ステップ１４３０でこの処理を終了する。

この処理の終了後、図８のステップ８５０へ進み、画素値挿入部３６が、制御部３４が出力した合成画素値を、ステップ８１０において設定した補間画素へ挿入する。そして、ステップ８５５で、すべての補間画素の補間を終えたかを判断し、すべての補間画素の補間を終えたと判断された場合はステップ８６０へ進み、処理対象画像に対する補間処理が終了する。

本発明の画像処理装置の第４実施形態について説明する。画像処理装置の構成は、図２に示したものと同様であり、全体的な処理の流れも、図８に示したフローチャートと同様であるため、ここでは省略し、図８に示したステップ８４５で行われる処理の詳細のみを図１５に示し、詳細に説明する。

図１５に示す処理は、図８に示すステップ８４５の処理が開始されたことに応答して、ステップ１５００から開始される。ステップ１５０５において、図１４に示す実施形態と同様の、予め設定された合成方法の中から、合成して生成される画素値の適性の判断を行っていない方法を選択する。合成方法としては、上記に例示した方法を挙げることができる。

ステップ１５１０で、候補画素値の組み合わせを選択する。すなわち、プレーン画像の数だけ存在する候補画素値の中から所定数の候補画素値を選択し、その選択された候補画素値の組を作成する。候補画素値の数は、１以上で全画素数以下であればいかなる数であってもよい。ただし、合成方法によって候補画素値の数に制限がある場合には、それに従う必要がある。

例えば、４色に色分解し、４つのプレーン画像を生成するとき、各プレーン画像につき最も一致度が高い類似パターンから１つの候補画素値が生成されるため、１つの補間画素につき４つの候補画素値が生成される。組み合わせの作成例としては、予め設定された組み合わせる候補画素値の数（ここでは２個とする。）に基づき、４つの候補画素値の中から２つを選択して組み合わせていき、同じペアが作成されたときには重複を防止するために一方を破棄し、最終的に候補画素値のペアを６組作成するといった方法を挙げることができる。

次に、ステップ１５１５で、作成された候補画素値の組を１つ選択し、その組を構成する候補画素値を合成して１つの合成画素値を算出する。そして、ステップ１５２０で、算出された合成画素値が補間に適しているかどうかを判断する。この判断方法としては、上述したテンプレートマッチングを用いて判断する方法を採用することができる。

ステップ１５２５で、すべての組につき適性を判断したかを判定する。判断していない組が存在する場合は、ステップ１５１０へ戻り、別の組を選択し、合成し、適性を判断する処理を繰り返す。この場合、すべての組につき、適性を判断するのではなく、一致度の閾値を設けておき、一致度がその閾値以上となる十分な適性をもつ組を検出した段階で、ステップ１５１０〜１５２５までの処理を打ち切ることも可能である。

ステップ１５２５で、すべての合成方法について適性を判断したと判定された場合に、ステップ１５３０へ進み、すべての合成方法の適性を判断したかを判定する。判断していない合成方法が存在する場合は、ステップ１５０５へ戻り、別の合成方法を選択し、ステップ１５１０〜１５２５までの処理を繰り返す。この場合も、すべての合成方法につき、適性を判断するのではなく、一致度の閾値を設けておき、一致度がその閾値以上となる十分な適性をもつ組み合わせを検出した段階で、ステップ１５０５〜１５３０までの処理を打ち切ることも可能である。

すべての合成方法につき、適性を判断したと判定された場合、ステップ１５３５へ進み、求められた一致度の中で最も高い一致度となる合成方法により得られた合成画素値を、補間画素へ挿入すべき画素値と判断し、画素値合成部３５は、その合成画素値を制御部３４に対して出力し、ステップ１５４０でこの処理を終了する。

この処理の終了後、図８のステップ８５０へ進み、画素値挿入部３６が、制御部３４が出力した合成画素値を、ステップ８１０において設定した補間画素へ挿入する。そして、ステップ８５５で、すべての補間画素の補間を終えたかを判断し、すべての補間画素の補間を終えたと判断された場合はステップ８６０へ進み、処理対象画像に対する補間処理が終了する。

図１６は、画像処理装置の第５実施形態を示した機能ブロック図である。この実施形態では、図２に示す第１実施形態と同様の、色分解部６０、周期性判定部６１、第一画素値生成部６２、第二画素値生成部６３、制御部６４、画素値合成部６５、画素値挿入部６６を備えるほか、さらに、境界判定部６７、妥当性検証部６８、第三画素値生成部６９を含んで構成されている。

色分解部６０、周期性判定部６１、第一画素値生成部６２、第二画素値生成部６３、制御部６４、画素値合成部６５、画素値挿入部６６が行う処理については、上述した第１実施形態と同様であるので、ここでは説明を省略し、境界判定部６７、妥当性検証部６８、第三画素値生成部６９について説明する。

境界判定部６７は、周期性判定部６１により補間画素を含む画像領域が周期性のある領域（周期領域）であると判定された場合に、その補間画素が本当に周期領域に属しているか否かを判定する。補間画素は、周期領域内または非周期領域内のいずれかに存在し、補間画素の画素値は、同じ領域内のその補間画素の近傍に存在する画素の画素値から推定することが可能である。これは、補間画素を中心とした数個の連続する画素から構成されるパターンが、その近傍に存在するパターンに類似することから、その近傍に存在するパターンから推定可能だからである。

しかしながら、補間画素が周期領域と非周期領域との境界付近に存在する場合、補間画素は周期領域内に存在するのに、その近傍に存在するパターンは非周期領域のものを採用すると、正しく補間することができなくなる。このため、正しい周期領域内のパターンを採用して推定することができるように、境界判定部６７が本当にどちらの領域に属するかを判定する。

その一例として、補間画素を中心として、この補間画素から所定の距離だけ左右に離れた位置に参照領域を設定し、補間画素の左右に設定した参照領域において画像特徴の１つである画素値の分散を個別に求め、左右両方とも分散が閾値以上であれば周期領域に、閾値未満である場合には非周期領域に存在すると判定することができる。

上記所定の距離は、例えば３画素とすることができる。これは、網点が６画素ごとに配置される場合、後述するパターンマッチングに、補間画素を中心としてこの補間画素の左右３画素分をテンプレートとして用いることから、このテンプレートの外側で最も近い位置である、補間画素の左右３画素分離れた位置に参照領域を設定するものである。最も近い位置としているのは、テンプレートにパターンが近似しているものは、テンプレートの近傍に存在していることが多いためである。なお、この距離は３画素に限られるものではなく、適切に判断することができるのであれば、いかなる距離であってもよい。

参照領域は、例えば、補間画素を含む高さ１画素の領域、すなわち画像の１ラインとすることができる。また、参照領域は、上記の判定領域と同様、補間画素を含む任意の高さを有する矩形領域とすることもできる。この領域も、予めユーザによって設定することもできるし、上記判定領域の場合と同様にして、装置が動的に決定することも可能である。この参照領域は、補間画素の左右に限られるものではなく、上下や上下左右等に設定することができ、１以上の領域を設定することができる。

分散は、下記式１１により求めることができる。式１１中、ｘ_ｉは、参照領域内のｉ番目にある画素の画素値で、ｘ_ｍは、参照領域内にある画素の画素値の平均値であり、ｎは、参照領域内にある画素の画素数である。なお、この分散は、参照領域内の画素の最大輝度値と最小輝度値との差や、カラー画像の場合には最大の緑成分の値（Ｇ成分値）と最小のＧ成分値との差等で代替することも可能である。

制御部６４は、周期性判定部６１による周期性の判定に加えて、境界判定部６７による判定の結果に基づき、補間方法を決定し、第一画素値生成部６２、第二画素値生成部６３、第三画素値生成部６９のいずれを採用するかを決定し、決定した画素値生成部に補間画素に挿入すべき画素値を生成させるが、予め第一画素値生成部６２、第二画素値生成部６３、第三画素値生成部６９のすべてにおいて補間画素の画素値を生成しておき、制御部６４がいずれかを選択するという並列処理で実現することも可能である。なお、第三画素値生成部６９は、第一画素値生成部６２および第二画素値生成部６３が採用する補間方法とは異なる補間方法により候補画素値を生成するものである。

妥当性検証部６８は、第一画素値生成部６２、第二画素値生成部６３、第三画素値生成部６９により生成された候補画素値の妥当性を検証する。この検証により、妥当でなければ、他の画素値生成部に指示し、当該他の画素値生成部が候補画素値を生成する。そして、妥当性検証部６８は、この候補画素値が妥当であるかを再度検証する。

例えば、第一画素値生成部６２により生成された候補画素値の妥当性の検証は、第一画素値生成部６２が画素値を生成する際に得られる関連情報を用いて行うことができる。関連情報としては、第一画素値生成部６２が補間方法としてパターンマッチング法を用いる場合、テンプレートと比較する対象のパターンとの相違度または類似度を挙げることができる。このとき、テンプレートとしては、補間画素を除いたものを用いることもできるし、生成した画素値を挿入した後のものを用いることも可能である。相違度または類似度は、上述したＳＡＤ、ＳＳＤ、相関係数、共分散等を用いることができる。

妥当性検証部６８は、その相違度が閾値未満であるか、またはその類似度が閾値以上であるかを判断することにより、妥当であるかを判断することができる。相違度が閾値未満なら妥当、類似度が閾値以上であれば妥当と判断することができる。

このため、妥当性検証部６８において、相違度または類似度を閾値処理し、相違度が閾値未満または類似度が閾値以上であることを妥当と判断するための条件とすることができる。この閾値も、上述した閾値等と同様に、予めユーザによって設定することもできるし、装置が動的に決定することも可能である。

制御部６４は、これに伴い、第一画素値生成部６２が採用された際に生成された候補画素値が妥当であるか否かを妥当性検証部６８によって検証し、妥当性がないと判定された場合、第三画素値生成部６９により候補画素値を生成させ、それでも妥当性がないと判定された場合、第二画素値生成部６３により候補画素値を生成させるが、これに限られるものではなく、予め第一画素値生成部６２、第二画素値生成部６３、第三画素値生成部６９のすべてにおいて候補画素値を生成しておき、妥当性検証部６８による検証結果に基づき、いずれかを選択するという並列処理で実現することも可能である。

図１６に示す画像処理装置を用いて、補間画素の画素値を補正する処理について、図１７に示すフローチャートを参照して説明する。ステップ１７００からこの処理を開始し、まず、ステップ１７０５において色分解部６０が、処理対象画像を予め指定された色成分に分解し、各色成分のみで構成されるプレーン画像を生成する。その後、ステップ１７１０において画素設定部が、１つのプレーン画像を選択し、そのプレーン画像につき、画素値を挿入する対象の補間画素を検出し、補間処理すべき補間画素を設定する。この検出は、上述した方法を用いて行うことができる。補間画素が複数存在する場合は、例えばその画素が配置されている座標位置に基づいて順に並べ、順に１つを選択し、その１つを設定することができる。

ステップ１７１５において、周期性判定部６１が、補間画素を含む領域を指定し、その領域内で、画素値の変動に周期性を有するか否かを判定する。上述した領域サイズの決定方法、周期性の判定方法を用いて、判定領域を指定し、周期性の有無を判定する。続いて、ステップ１７２０において、境界判定部６７が、補間画素が本当に周期領域と非周期領域のどちらの領域に存在するかを判定する。この判定には、上記の境界の判定方法、参照領域のサイズ決定方法を採用し、左右の参照領域で個別に画素値の分散を求め、求めた分散が左右の参照領域でいずれも閾値以上であるかを判断することにより行う。閾値以上であれば、補間画素は周期領域に存在すると判定される。

次に、ステップ１７２５で、補間画素に用いる補間方法を決定する。これは、制御部６４が、ステップ１７１５およびステップ１７２０において判定された結果に基づき、第一画素値生成部６２が採用する補間方法、第二画素値生成部６３が採用する補間方法、第三画素値生成部６９が採用する補間方法のいずれを用い、候補画素値を生成するかを判断する。

例えば、補間画素を含む領域に周期性があり、その補間画素が周期領域内に存在するのであれば、第一画素値生成部６２が採用するテンプレートマッチング法、補間画素を含む領域に周期性はあるが、その補間画素が非周期領域内に存在する場合には、第二画素値生成部６３が採用する内挿法、補間画素を含む領域に周期性がなく、その補間画素が非周期領域内に存在する場合には、第三画素値生成部６９が採用するそれ以外の補間方法と決定することができる。

これ以外に、補間画素を含む領域の周期が短く、その補間画素が周期領域内に存在する場合にはテンプレートマッチング法、補間画素を含む領域の周期が短く、その補間画素が非周期領域内に存在する場合は内挿法、それ以外の場合は第三画素値生成部６９が採用する補間方法と決定することもできる。

ここで、第三画素値生成部６９が採用する補間方法は、第一画素値生成部６２および第二画素値生成部６３が採用する補間方法以外であればどのような補間方法であってもよい。例えば、第一画素値生成部６２が二次元テンプレートマッチングを採用し、第二画素値生成部６３がキュービック補間を採用する場合、第三画素値生成部６９は、それら以外の、一次元テンプレートマッチング、最近傍補間、線形補間、放物線補間、多項式補間、スプライン補間、ラグランジュ補間、バイリニア補間、バイキュービック補間等を採用することができる。

次のステップ１７３０では、決定された補間方法に基づき、第一画素値生成部６２が採用されるかを判定する。このステップ１７３０で第一画素値生成部６２が採用されると判定された場合、ステップ１７３５へ進み、第一画素値生成部６２が用いる補間方法により各色のプレーン画像につき候補画素値を生成する。続いて、ステップ１７４０において、妥当性検証部６８は、第一画素値生成部６２が候補画素値を生成する際に得られる関連情報に基づき、その候補画素値が妥当であるか否かを検証し、ステップ１７４５において、その候補画素値が妥当かを判定する。

ステップ１７３０で第一画素値生成部６２が採用されないと判定された場合、ステップ１７５０へ進み、第三画素値生成部６９が採用されるかを判定する。第三画素値生成部６９が採用されると判定された場合、また、ステップ１７４５で妥当でないと判定された場合は、ステップ１７５５へ進み、第三画素値生成部６９が用いる補間方法により候補画素値を生成する。続いて、ステップ１７６０において、妥当性検証部６８は、第三画素値生成部６９が候補画素値を生成する際に得られる関連情報に基づき、その候補画素値が妥当であるか否かを検証し、ステップ１７６５において、その候補画素値が妥当かを判定する。

ステップ１７５０で第三画素値生成部６９が採用されないと判定された場合、ステップ１７７０へ進み、第二画素値生成部６３が用いる補間方法により候補画素値を生成する。また、ステップ１７６５において妥当でないと判定された場合、ステップ１７７０へ進み、第二画素値生成部６３が用いる補間方法により候補画素値を生成する。

ステップ１７４５で妥当と判定された場合、ステップ１７６５で妥当と判定された場合、ステップ１７７０で候補画素値が生成された後、ステップ１７７５へ進み、すべてのプレーン画像につき、補間画素へ挿入すべき候補画素値の生成が終了したかを判断する。すべて終了していない場合は、ステップ１７１５へ戻り、次のプレーン画像につき、周期性を判定する。一方、すべてのプレーン画像について候補画素値の生成が終了したと判断した場合は、ステップ１７８０へ進み、生成された候補画素値を合成し、その補間画素へ挿入すべき１つの合成画素値を算出する。合成方法については、上述した方法により合成することができる。

その後、ステップ１７８５へ進み、ステップ１７１０において設定した補間画素へその合成画素値を挿入する。合成画素値の挿入は、上述した２つの方法のいずれかにより行うことができる。そして、ステップ１７９０へ進み、すべての補間画素の補間を終えたかを判断する。ステップ１７１０において設定した補間画素が複数存在する場合は、そのすべてに合成画素値が挿入されたかを判定する。

ステップ１７９０においてすべての補間画素の補間を終えたと判断された場合はステップ１７９５へ進み、この処理を終了する。一方、まだ終えていないと判断された場合、ステップ１７１０へ戻り、再び補間画素を設定し、候補画素値の生成を行い、合成して合成画素値を求め、それを挿入する処理を行う。

上記の第５実施形態では、色分解部６０、周期性判定部６１、第一画素値生成部６２、第二画素値生成部６３、制御部６４、画素値合成部６５、画素値挿入部６６のほかに、境界判定部６７、妥当性検証部６８、第三画素値生成部６９を備える構成を採用しているが、本発明では、境界判定部６７のみをさらに備える構成、妥当性検証部６８のみをさらに備える構成、第三画素値生成部６９のみをさらに備える構成、境界判定部６７と妥当性検証部６８を備える構成、境界判定部６７と第三画素値生成部６９を備える構成、妥当性検証部６８と第三画素値生成部６９を備える構成とすることも可能である。

本発明では、上述した画像処理装置や、その画像処理装置により実行される画像検査方法のほか、その方法を実現するためのコンピュータ可読なプログラムも提供することが可能である。なお、このプログラムは、ＦＤ、ＣＤ、ＤＶＤ、ＳＤカード、ＵＳＢメモリ等の記録媒体に格納し、そのプログラムが記録された記録媒体として提供することも可能である。

これまで本発明を、画像処理装置および画像検査方法として上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…画像処理装置、１１…ＭＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶制御用インタフェース、１５…ハードディスク、１６…インタフェース、１７…入出力装置、１８…表示装置、１９…ＶＲＡＭ、２０…グラフィックチップ、２１…ネットワークＩ／Ｆ、３０、６０…色分解部、３１、６１…周期性判定部、３２、６２…第一画素値生成部、３３、６３…第二画素値生成部、３４、６４…制御部、３５、６５…画素値合成部、３６、６６…画素値挿入部、４０…欠落した画素、５０…補間画素、５１…判定領域、５２〜５５…部分領域、６７…境界判定部、６８…妥当性検証部、６９…第三画素値生成部

特許第４３３０１６４号公報

Claims (16)

1. カラー画像の所定の位置にある画素の画素値を生成し、前記画素値により前記画素を補間する画像処理装置であって、
   前記カラー画像を複数の色成分に分解し、各色の画像を生成する色分解部と、
   前記各色の画像につき、前記画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるかを判定する周期性判定部と、
   第一補間方法を用いて前記画素の画素値を生成する第一画素値生成部と、
   前記第一補間方法とは異なる第二補間方法を用いて前記画素の画素値を生成する第二画素値生成部と、
   前記周期性判定部により得られた判定結果に基づき、前記第一画素値生成部と前記第二画素値生成部のいずれを用いて前記画素値を生成するかを判断する制御部と、
   前記制御部により決定された第一画素値生成部または第二画素値生成部が前記各色の画像につき生成した前記画素の画素値である候補画素値を合成し、前記画素を補間するための合成画素値を算出する画素値合成部とを含む、画像処理装置。
2. 前記画素値合成部は、前記候補画素値の生成に用いられた補間方法に基づき、前記候補画素値が合成に適しているか否かを判断し、前記合成に適していると判断した候補画素値のみを使用して合成を行う、請求項１に記載の画像処理装置。
3. 前記画素値合成部は、複数の合成方法を用い、前記画素に対して複数の合成画素値を算出し、前記合成画素値により補間した前記画素を含む画像領域から構成される基準パターンと、前記画素に近隣した位置に設定される当該基準パターンと同じ大きさの１以上の参照パターンとの一致度に基づき、各前記合成画素値が前記画素の補間に適しているか否かを判断する、請求項１または２に記載の画像処理装置。
4. 前記画素値合成部は、前記候補画素値の組を複数作成し、前記組に含まれる候補画素値を合成して前記合成画素値を複数算出し、複数の前記合成画素値を用いて作成した複数の前記基準パターンのうち、前記１以上の参照パターンとの一致度が最も高い基準パターンとなる前記合成画素値を選択する、請求項３に記載の画像処理装置。
5. 前記周期性判定部により前記周期領域と判定された場合に、前記画素に近隣して１以上の参照領域を設定し、前記１以上の参照領域の画像特徴に基づき、前記画素が前記周期領域と該周期領域以外の非周期領域とのいずれに存在するかを判定する境界判定部をさらに含み、
   前記制御部は、前記周期性判定部および前記境界判定部により得られた判定結果に基づき、前記第一画素値生成部と前記第二画素値生成部のいずれを用いて前記候補画素値を生成するかを判断する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 生成された前記候補画素値が妥当であるかを検証する妥当性検証部をさらに含み、
   前記妥当性検証部は、前記第一画素値生成部が前記候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断し、妥当でないと判断した場合、前記制御部は、前記第一画素値生成部に代えて前記第二画素値生成部により前記画素値を生成させる、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 生成された前記候補画素値が妥当であるかを検証する妥当性検証部と、前記第一補間方法および前記第二補間方法とは異なる第三補間方法を用いて前記画素の画素値を生成する第三画素値生成部とをさらに含み、
   前記妥当性検証部は、前記第一画素値生成部が前記候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断し、妥当でないと判断した場合、前記制御部が、前記第一画素値生成部に代えて前記第三画素値生成部により前記画素値を生成させる、請求項１〜５のいずれか１項に記載の画像処理装置。
8. さらに、前記妥当性検証部は、前記第三画素値生成部が候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断し、妥当でないと判断した場合、前記制御部が、前記第三画素値生成部に代えて前記第二画素値生成部により前記画素値を生成させる、請求項７に記載の画像処理装置。
9. 画像処理装置によりカラー画像の所定の位置にある画素の画素値を生成し、前記画素値により前記画素を補間する方法であって、
   前記カラー画像を複数の色成分に分解し、各色の画像を生成する色分解ステップと、
   前記各色の画像につき、前記画素を含む画像領域が周期的な画素値の変動を伴う周期領域であるかを判定する周期性判定ステップと、
   前記周期性判定ステップにより得られた判定結果に基づき、前記画像処理装置が備える第一補間方法を用いて前記画素の画素値を生成する第一画素値生成部と、前記第一補間方法とは異なる第二補間方法を用いて前記画素の画素値を生成する第二画素値生成部のいずれを用いて前記画素値を生成するかを判断する判断ステップと、
   前記判断ステップで判断された前記第一画素値生成部または前記第二画素値生成部が前記各色の画像につき生成した前記画素の画素値である候補画素値を合成し、前記画素を補間するための合成画素値を算出する合成ステップとを含む、画素補間方法。
10. 前記合成ステップでは、前記候補画素値の生成に用いられた補間方法に基づき、前記候補画素値が合成に適しているか否かを判断し、前記合成に適していると判断した候補画素値のみを使用して合成を行う、請求項９に記載の画素補間方法。
11. 前記合成ステップでは、複数の合成方法を用い、前記画素に対して複数の合成画素値を算出し、前記合成画素値により補間した前記画素を含む画像領域から構成される基準パターンと、前記画素に近隣した位置に設定される当該基準パターンと同じ大きさの１以上の参照パターンとの一致度に基づき、各前記合成画素値が前記画素の補間に適しているか否かを判断する、請求項９または１０に記載の画素補間方法。
12. 前記合成ステップでは、前記候補画素値の組を複数作成し、前記組に含まれる候補画素値を合成して前記合成画素値を複数算出し、複数の前記合成画素値を用いて作成した複数の前記基準パターンのうち、前記１以上の参照パターンとの一致度が最も高い基準パターンとなる前記合成画素値を選択する、請求項１１に記載の画素補間方法。
13. 前記第一画素値生成部が前記候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断するステップと、妥当でないと判断した場合、前記第一画素値生成部に代えて前記第二画素値生成部により前記候補画素値を生成するステップとを含む、請求項９〜１２のいずれか１項に記載の画素補間方法。
14. 前記第一画素値生成部が前記候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断するステップと、妥当でないと判断した場合、前記第一画素値生成部に代えて、前記第一補間方法および前記第二補間方法とは異なる第三補間方法を用いて前記画素の画素値を生成する第三画素値生成部により前記候補画素値を生成するステップとを含む、請求項９〜１２のいずれか１項に記載の画素補間方法。
15. さらに、前記第三画素値生成部が候補画素値を生成する際に得られる関連情報に基づいて該候補画素値の妥当性を判断するステップと、妥当でないと判断した場合、前記第三画素値生成部に代えて前記第二画素値生成部により前記候補画素値を生成するステップとを含む、請求項１４に記載の画素補間方法。
16. 請求項９〜１５のいずれか１項に記載の画素補間方法を実行するためのコンピュータ可読なプログラム。