JP2008219119A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像中のグラデーション領域の裏写りを低減する画像処理装置及び画像処理プログラムを提供する。
【解決手段】グラデーション方向判定部１１は、画像中に存在する色または濃度が変化する方向であるグラデーション方向を判定し、この判定結果をもとに参照領域設定部１２は推定部１３で色を推定する際の参照領域の形状を設定する。参照領域の設定は、例えばグラデーション方向が縦方向である場合には横長に、また、グラデーション方向が横方向の場合には縦長にして、参照領域内の色や濃度の変化が小さくなるようにする。色推定部１３は、参照領域設定部１２で設定された参照領域内の画素値をもとに、裏写りしていないもとの色を推定する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

従来より、両面に画像がある原稿の画像を読み取った場合や、原稿を重ねて画像を読み取った場合に、読取対象面の画像だけでなく、裏面や他の原稿の画像が透けて読み取られてしまう、いわゆる裏写りが発生している。また、デジタルカメラなどによりガラスを通して被写体を撮影した場合に、ガラスの表面において被写体とは別のシーンが反射して写ってしまう、いわゆる写り込みが発生する場合がある。得られた画像としては、いずれの場合も所望の画像に不所望の薄い画像が重なった画像となる。以下の説明では、所望の画像に不所望の薄い画像が重なった状態を裏写りと称して説明する。

裏写りを除去する技術の一つとして、原稿の両面の画像を読み込み、それら両面の画像を参照することで裏写りの除去を行うことが知られている。また、片面のみの画像から裏写りを除去する方法としては、いわゆる下地除去処理を行う方法が従来より採用されている。下地除去処理は、ある固定値もしくは検出された下地レベルに従って、読み取った画像に対して階調補正を行うものである。

この方法を応用したものとして、例えば特許文献１には、プレスキャンによって得られた画像からヒストグラムを作成して下地レベルを検出し、その下地レベルを用いて濃度変換を行っている。

また別の方法として、例えば特許文献２には、画像中のエッジを検出してエッジ以外の領域に対してカラー閾値処理を行って背景色画像を推定し、裏写り部分を修正することが記載されている。エッジ部分では背景色の推定が難しく、色が平坦な領域のみについて裏写りを除去しようとするものである。

特開２００３−５１９４６号公報 特開２００１−１６９０８０号公報

ところで、色または濃度が変化するグラデーション領域に生じている裏写りについては防止できなかった。
本発明は、画像中のグラデーション領域の裏写りを低減する画像処理装置及び画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、画像中に存在する色または濃度が変化する方向であるグラデーション方向を判定するグラデーション方向判定手段と、前記グラデーション方向判定手段による判定結果に基づき参照領域の形状を設定する参照領域設定手段と、前記参照領域設定手段により設定された参照領域内の画素値に基づいて、画像の裏写りのない状態の色を推定してもとの画素値と置き換える色推定手段とを有することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、本願請求項１に記載の画像処理装置の構成における前記グラデーション方向判定手段が、第１の閾値よりも大きな色または濃度の変化をグラデーションとしてグラデーション方向を判定することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の画像処理装置の構成における前記グラデーション方向判定手段が、グラデーション方向が縦または横であるかをそれぞれ判定し、縦方向のグラデーションと横方向のグラデーションを検出したとき斜めのグラデーション方向を判定することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、本願請求項１ないし請求項３のいずれか１項に記載の画像処理装置の構成における前記グラデーション方向判定手段が、カラー画像中の輝度によりグラデーション方向の判定を行うことを特徴とする画像処理装置である。

本願請求項５に記載の発明は、本願請求項４に記載の画像処理装置の構成における前記グラデーション方向判定手段が、輝度による判定でグラデーションではないと判断された場合に、さらに彩度によりグラデーション方向の判定を行うことを特徴とする画像処理装置である。

本願請求項６に記載の発明は、本願請求項１ないし請求項５のいずれか１項に記載の画像処理装置の構成に加えて、画像からエッジが存在する領域を除去するエッジ領域除去手段を有し、前記グラデーション方向判定手段は、前記エッジ領域除去手段でエッジが存在する領域が除去された画像に基づき前記グラデーション方向を判定することを特徴とする画像処理装置である。

本願請求項７に記載の発明は、本願請求項１ないし請求項６のいずれか１項に記載の画像処理装置の構成に加えて、画像を縮小する縮小手段を有し、前記グラデーション方向判定手段は、前記縮小手段によって縮小された画像に基づき前記グラデーション方向を判定することを特徴とする画像処理装置である。

本願請求項８に記載の発明は、本願請求項１ないし請求項７のいずれか１項に記載の画像処理装置の参照領域設定手段が、前記グラデーション方向の幅が他の方向の幅に対して短くなるように前記参照領域の形状を設定することを特徴とする画像処理装置である。

本願請求項９に記載の発明は、コンピュータに、請求項１ないし請求項８のいずれか１項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、本発明の構成を有しない場合に比べてグラデーション領域の裏写りを低減することができるという効果がある。

本願請求項２に記載の発明によれば、濃淡むらをグラデーションとして誤判定しないようにすることができるという効果がある。

本願請求項３に記載の発明によれば、グラデーションとして最も多い縦または横方向について高速にグラデーションを検出することができるという効果がある。

本願請求項４に記載の発明によれば、簡易にグラデーション方向を判定することができるという効果がある。

本願請求項５に記載の発明によれば、同じ輝度のグラデーションであってもグラデーション方向の検出漏れを防ぐことができるという効果がある。

本願請求項６に記載の発明によれば、文字や線などがグラデーション領域に存在していても裏写りを低減することができるという効果がある。

本願請求項７に記載の発明によれば、画像中に網点画像領域が存在していても裏写りを低減することができるという効果がある。

本願請求項８に記載の発明によれば、色や濃度の変化が小さい領域を参照して裏写りしていないもとの色を推定することができるという効果がある。

本願請求項９に記載の発明によれば、本発明の構成を有しない場合に比べてグラデーション領域の裏写りを低減することができるという効果がある。

図１は、本発明の第１の実施の形態を示すブロック図である。図中、１１はグラデーション方向判定部、１２は参照領域設定部、１３は色推定部である。入力画像はどのようなものでもよいが、裏写りを除去するための処理を行うことから、特に裏写りが生じている画像を入力画像とするとよい。裏写りは、上述のように例えば両面に画像が形成された原稿を読み取った場合や、原稿を重ねて画像を読み取った場合に発生することが多く、またここでは、例えば写り込みが発生している画像についても裏写りとしている。

グラデーション方向判定部１１は、画像中に存在する色または濃度が変化する方向であるグラデーション方向を判定する。この判定は、画像中の部分領域ごとに行う。

参照領域設定部１２は、グラデーション方向判定部１１による判定結果をもとに、後述する色推定部１３で色を推定する際の参照領域の形状を設定する。参照領域の設定は、参照領域のグラデーション方向の幅が、他の方向の幅に対して短くなるように設定する。参照領域を設定する際には、グラデーション方向の他に様々な要素を考慮して決定してもよい。

色推定部１３は、参照領域設定部１２で設定された参照領域内の画素値をもとに、裏写りしていないもとの色を推定し、入力された画像の画素値に置き換えて出力する。図２は、色推定部１３の一例を示すブロック図である。図中、２１は色ヒストグラム算出部、２２は色値候補選出部、２３は推定色決定部、２４はパラメータ入力部である。色ヒストグラム算出部２１は、処理対象の画素を含む参照領域設定部１２で設定された参照領域内のそれぞれの画素の色のヒストグラムを算出する。

色値候補選出部２２は、処理対象の画素の色を置き換える、すなわち裏写りしていないもとの色の候補（色値候補）を選出する。そのための処理として、例えば、処理対象の画素の色に対応する色空間中の位置を含む部分色空間内のヒストグラムを２次微分し、頻度の凸部の色（頻度が局所最大値となる色）を求める。求められた頻度の凸部の色を色値候補とすればよい。

推定色決定部２３は、色値候補選出部２２で選出された色値候補から、裏写り前のもとの色と推定される推定色を決定する。決定方法としてはいくつかの方法が考えられる。例えば色値候補のうち、色値候補の頻度値が最大のものや、処理対象の画素の色との色差が小さいもの、明度が高いもの、などを選択すればよい。もちろん、これらを組み合わせたり、他の条件により選択してもよい。あるいは、複数の色値候補の中間色を推定色として決定したり、処理対象の画素の色との関係から重み付け演算して決定するなど、他の方法で推定色を決定してもよい。

パラメータ入力部２４は、キーボード等の入力装置から入力されたり、あるいは予め記憶されているパラメータを取得し、色ヒストグラム算出部２１、色値候補選出部２２、推定色決定部２３の各部に設定する。例えば参照領域設定部１２からの参照領域の設定を受けて、設定された参照領域に応じたパラメータを各部に設定する。

図３は、本発明の第１の実施の形態における動作の一例を示すフローチャートである。まずＳ１０１〜Ｓ１０５において、グラデーション方向判定部１１が画像中に存在するグラデーションの方向を判定する。図４は、グラデーション方向判定部１１の動作の一例の説明図である。ここでは一例として、図中の縦と示した方向に画像の色や濃度が変化している場合にグラデーション方向が縦であると判定する。また、図中の縦と示した方向に画像の色や濃度が変化している場合には、グラデーション方向が横であると判定する例を示している。もちろん、このほかに例えば横方向に対して４５度斜め方向あるいは１３５度斜め方向など、斜め方向に色や濃度が変化していることを検出してこれらのグラデーション方向を判定してもよい。

図４中、（Ａ）から（Ｂ）への過程は横方向のグラデーションを検出するものであり、（Ｃ）から（Ｄ）への過程は縦方向のグラデーションを検出するものである。また図４（Ａ），（Ｂ）における矩形はそれぞれが画像中の数画素、例えばｎ×ｎ画素の領域を示すものであり、図４に示した例では３×３個の領域を参照してグラデーション方向を判定している。もちろん、グラデーション方向を判定するために参照する領域の大きさ及び領域の個数は任意である。

図３のＳ１０１では、縦方向に細い領域ごとに、その領域に含まれる画素の平均値を求める。図４（Ａ）に示す例では、３×３個の領域について太線で囲んだように縦方向に並ぶ３個ずつの領域に含まれる画素の平均値を求め、その平均値をそれぞれＣ１０，Ｃ１１，Ｃ１２としている。また図３のＳ１０２では、横方向に細い領域ごとに、その領域に含まれる画素の平均値を求める。図４（Ｃ）に示す例では、太線で囲んだように横方向に並ぶ３個ずつの領域に含まれる画素の平均値を求め、その平均値をそれぞれＣ２０，Ｃ２１，Ｃ２２としている。なお、Ｓ１０１とＳ１０２を行う順序は任意である。

図３のＳ１０３では、Ｓ１０１で求めた各領域の平均値をもとに、横方向のグラデーションが存在するか否かを判定する。図４（Ｂ）に示す例では、図４（Ａ）で求めた平均値Ｃ１０，Ｃ１１，Ｃ１２が次の条件に適合するか否かを判定している。
Ｃ１０＞Ｃ１１＞Ｃ１２ かつ Ｂ＜（Ｃ１０−Ｃ１１）＜Ｄ かつ Ｂ＜（Ｃ１１−Ｃ１２）＜Ｄ
または、
Ｃ１０＜Ｃ１１＜Ｃ１２ かつ Ｂ＜（Ｃ１１−Ｃ１０）＜Ｄ かつ Ｂ＜（Ｃ１２−Ｃ１１）＜Ｄ
この条件を満たす場合はＹ１、満たさない場合はＮ１とする。

図３のＳ１０４では、Ｓ１０２で求めた各領域の平均値をもとに、縦方向のグラデーションが存在するか否かを判定する。図４（Ｄ）に示す例では、図４（Ｃ）で求めた平均値Ｃ２０，Ｃ２１，Ｃ２２が次の条件に適合するか否かを判定する。
Ｃ２０＞Ｃ２１＞Ｃ２２ かつ Ｂ＜（Ｃ２０−Ｃ２１）＜Ｄ かつ Ｂ＜（Ｃ２１−Ｃ２２）＜Ｄ
または、
Ｃ２０＜Ｃ２１＜Ｃ２２ かつ Ｂ＜（Ｃ２１−Ｃ２０）＜Ｄ かつ Ｂ＜（Ｃ２２−Ｃ２１）＜Ｄ
この条件を満たす場合はＹ２、満たさない場合はＮ２とする。

図４（Ｂ）、（Ｄ）においてＢ、Ｄは閾値である。閾値Ｂは濃淡むらをグラデーションと誤判定しないようにするためのものである。また、閾値Ｄはエッジをグラデーションと誤判定しないようにするためのものである。なお、Ｓ１０３及びＳ１０４は、いずれを先に行ってもよい。また、Ｓ１０３の処理はＳ１０１の後であればＳ１０２の前に行ってもよいし、Ｓ１０４の処理はＳ１０２の後であればＳ１０１の前に行ってもよい。

図３のＳ１０５では、Ｓ１０３の判定結果とＳ１０４の判定結果から、最終的なグラデーションの有無及びその方向を判定する。図４（Ｅ）に示した例では、図４（Ｂ）、（Ｄ）で判定した結果をもとに、例えば横方向のグラデーションを検出し（Ｙ１）、縦方向のグラデーションを検出しなかった（Ｎ２）場合にはグラデーション方向を横方向と判定する。また、縦方向のグラデーションを検出し（Ｙ２）、横方向のグラデーションを検出しなかった（Ｎ１）場合にはグラデーション方向を縦方向と判定する。それ以外の場合にはグラデーションは存在しないものとして判定している。もちろん、両方向のグラデーションを検出している（Ｙ１＆Ｙ２）場合に、斜め方向のグラデーションとして検出し、あるいはさらに４５度または１３５度など、どの斜め方向かを判定するようにしてもよい。

一般にカラー画像はＲＧＢやＣＭＹ、Ｌ^* ａ^* ｂ^* など、いくつかの色成分により構成されている。例えば、上述のＳ１０１〜Ｓ１０５において行うグラデーション方向の判定を、それぞれの色成分について行い、各色成分における判定結果を総合することにより最終的なグラデーション方向を判定すればよい。簡易的には輝度（例えばＬ^* 値）のみでグラデーション方向の判定を行ってもよい。また、輝度（例えばＬ^* 値）のみでグラデーション方向の判定を行い、グラデーションではないと判断された場合には、さらに彩度（例えばａ^* 値とｂ^* 値）に対してグラデーション判定を行い、最終的なグラデーション方向の判定を行ってもよい。もちろん、色成分ごとではなく色値として処理し、Ｓ１０１及びＳ１０２（図４（Ａ），（Ｃ））においては平均色値を求め、Ｓ１０３及びＳ１０４（図４（Ｂ）、（Ｄ））においては色差を用いた判定を行ってもよい。

図３のＳ１０６では、Ｓ１０５でグラデーション方向判定部１１によって検出した判定結果をもとに、参照領域設定部１２が色推定部１３で色を推定する際に用いる参照領域の形状を設定する。図５は、参照領域設定部１２の動作の一例の説明図である。ここではグラデーションが存在しない、平坦な色領域の色推定を行う際に参照する領域を図５（Ａ）に示した大きさの正方形の領域であるものとしている。

例えばグラデーション方向判定部１１で判定されたグラデーション方向が縦方向の場合には、図５（Ｂ）に示すように縦方向に短い横長の参照領域を設定する。また、グラデーション方向判定部１１で判定されたグラデーション方向が横方向の場合には、図５（Ｃ）に示すように横方向に短い縦長の参照領域を設定する。このような参照領域では、図５（Ａ）に示した参照領域の場合に比べて参照領域内での色や濃度の変化が小さくなる。

なお、図４（Ｅ）に示したグラデーション方向の判定を行った場合には、グラデーション方向が縦方向か横方向かそれ以外かしか判定されていないため、図５（Ａ）〜（Ｃ）のいずれかの参照領域が設定される。例えば縦方向と横方向の両方のグラデーションを検出している（図４（Ｅ）のＹ１＆Ｙ２）の場合についても判定結果が参照領域設定部１２に通知される場合には、例えば図５（Ｄ）に示すように縦方向及び横方向とも短い参照領域を設定してもよい。あるいは、このような場合には色推定部１３に対して色推定処理を行わないように通知してもよい。さらに、グラデーション方向判定部１１で横方向に対して４５度や１３５度などの斜め方向の判定を行い、その判定結果が通知される場合には、通知されたグラデーション方向について短くした、斜めに細長い参照領域を設定してもよい。

図３のＳ１０７では、Ｓ１０６で参照領域設定部１２が設定した参照領域を用いて、色推定部１３が裏写り前のもとの色を推定し、もとの入力画像の画素と置き換える。図３のＳ１０８で未処理の画素が残っているか否かを判定し、残っている場合にはＳ１０１に戻って未処理の画素についての処理を行う。全ての画素について処理が終われば、図３に示した処理を終えて処理後の画像を出力する。なお、Ｓ１０１〜Ｓ１０５、あるいはさらにＳ１０６の処理については画素毎に行わなくてもよく、例えば図４（Ａ）、（Ｂ）に示した矩形の領域内の画素についてはグラデーションの判定結果あるいはさらに参照領域の形状やサイズなどは共通して用いるように構成してもよい。

図３のＳ１０７において行われる色推定部１３の処理の具体例についてさらに説明する。図６は、色推定部の動作の一例を示すフローチャート、図７は、色推定部の動作の一例の説明図である。ここでは入力画像中の１つの注目画素（Ｐ）に対する処理について説明している。参照領域設定部１２からは、注目画素（Ｐ）を含む参照領域Ｗ（Ｐ）が設定されているものとする。

まずＳ１１１において、色ヒストグラム算出部２１は、参照領域設定部１２が設定した参照領域に含まれる画素について、その画素の色のヒストグラムを算出する。ここでは図７（Ａ）において太線で囲んだ部分が注目画素（Ｐ）に対して参照領域設定部１２が設定した参照領域Ｗ（Ｐ）であったものとし、この範囲内の画素の色のヒストグラム（すなわち色空間における頻度分布）を算出する。算出されたヒストグラムは、図７（Ｂ）に示すような、例えば３次元の色空間中の頻度値となる。

もちろん、参照領域は図７（Ａ）に示したような正方形に限られず、グラデーション方向によって図５（Ｂ）や図５（Ｃ）に示したような横長あるいは縦長の矩形領域となる。例えばグラデーション方向が縦方向の場合には図５（Ｂ）に示したように横長の矩形領域を参照領域とすれば、図５（Ａ）に示した参照領域を用いるよりもグラデーションによる色の変化は少なくなり、色ヒストグラムを算出した場合に色空間における色の広がりは小さくなる。また、例えばグラデーション方向が横方向の場合についても、図５（Ｃ）に示したように縦長の矩形領域を参照領域とすれば、図５（Ａ）に示した参照領域を用いるよりもグラデーションによる色の変化は少なくなり、色ヒストグラムを算出した場合に色空間における色の広がりは小さくなる。

続いてＳ１１２において、色値候補選出部２２は、注目画素Ｐの画素値の色空間における位置の近傍に部分色空間を定義する。図７（Ｂ）においては、注目画素Ｐの画素値Ｖ（Ｐ）の色空間における位置を黒丸で示し、当該位置を一つの頂点とする立方体を部分色空間Ｓ（Ｐ）として定義した例を示す。この部分色空間は、注目画素Ｐの画素値を置き換えるべき色値（換言すれば裏写り前のもとの色値と推定される推定色値）を探索する領域である。部分色空間Ｓ（Ｐ）の位置やサイズ、形状については、固定しておいてもよいし、画像データの特性、あるいは注目画素Ｐの画素値などに基づいて適宜設定してもよい。例えば形状としては直方体や球などであってもよい。ただし、通常、裏写りが起きている画素の画素値は、本来の画像の色と不所望の画像の色との減法混色となるので、このことを考慮して部分色空間Ｓ（Ｐ）の位置を決定するのが好ましい。図７（Ｂ）においては、Ｖ（Ｐ）によりも明度が高い領域に部分色空間Ｓ（Ｐ）が位置している場合が示されている。

また、部分色空間Ｓ（Ｐ）を立方体とする場合、この立方体のサイズ（一辺の長さ）については、例えば、注目画素の画素値に基づき、以下のようにして決定すればよい。すなわち、注目画素Ｐの画素値Ｖ（Ｐ）の明度をＢ（Ｐ）、注目画素Ｐのエッジ度をＥ（Ｐ）とすると、一辺の長さＬを以下の式に従って決定する。
Ｌ＝ｆ［Ｂ（Ｐ）］；ｆ［ｘ］はｘの単調増加関数 （１）
Ｌ＝ｇ［Ｅ（Ｐ）］；ｇ［ｘ］はｘの単調減少関数 （２）

例えば、ｆ（ｘ）＝ａ×ｘ^(r) である。ここで、ａは正の定数、ｒは１以上の実数である。またｇ（ｘ）は、例えばｇ（ｘ）＝−ａ×ｘ^(r) である。あるいはｇ（ｘ）＝ａ×ｅｘｐ（−ｘ^r ）のような指数減少関数であってもよい。すなわち、式（１）においては、注目画素が明るいほど、部分色空間Ｓ（Ｐ）のサイズを大きく設定する。部分色空間Ｓ（Ｐ）のサイズを大きくすれば、その中に含まれる画素の数も大きくなる。従って、注目画素の画素値から色値が離れた（すなわち色空間における距離が大きい）画素が候補として選択され得るようにするのである。これは、明度の高い画素ほど、より明度の高い色値に置き換えないと裏写りを完全に除去するのが難しくなるという経験的事実を考慮したものである。

また、式（２）においては注目画素Ｐのエッジ度が低いほど、部分色空間Ｓ（Ｐ）のサイズを大きく設定するのが好ましい。これは、エッジ度が高い（すなわちその画素がエッジ領域付近にある）場合は、注目画素の画素値Ｖ（Ｐ）から色値が大きく離れた画素を候補として選出することがないようにするためである。エッジ部においては、濃度変化が大きく、また裏写り前のもとの色として複数の色が存在する可能性が低くない。そのため、誤った色をもとの色として推定しないように、エッジ部においては部分色空間Ｓ（Ｐ）のサイズを小さくするとよい。また非エッジ領域については広い色範囲から色の推定を行い、裏写りで色が変化している場合でも良好に裏写り前の色が推定される。

なお、上述の式（１）と式（２）を組み合わせて明度およびエッジ度の両者を考慮し、以下の式に従って一辺の長さＬを算出してもよい。
Ｌ＝ｑ１×ｆ［Ｂ（Ｐ）］＋ｑ２×ｇ［Ｅ（Ｐ）］ （３）
ここで、ｑ１、ｑ２は重み係数である。上述のような部分色空間Ｓ（Ｐ）のサイズや形状の設定は、色値候補選出部２２で行うほか、パラメータ入力部２４で行ってもよい。

続いてＳ１１３において、色値候補選出部２２は、Ｓ１１１で算出した色ヒストグラムから、ピーク位置（すなわち頻度が極大値をとる画素値）およびその値（頻度ピーク値）を決定する。ピーク位置は、例えば、３次元色ヒストグラムの微分値および２次微分値を計算することにより決定すればよい。このピーク位置を、裏写りしていない、もとの色の候補である色値候補として選出する。また、ピーク位置のうち部分色空間Ｓ（Ｐ）内に存在する画素値を抽出する。図７（Ｂ）に示す例では、黒丸で示す注目画素値Ｖ（Ｐ）の位置を頂点とする３次元領域（部分色空間）を２次微分の対象としている。図７（Ｃ）には、その２次微分の対象となる３次元領域のみを取り出して示しており、黒丸は２次微分により頻度が極大となる色を示している。この色が色値候補となる。

続いてＳ１１４において、色値候補選出部２２は、抽出した画素値のなかから、所定数（例えば「３」）だけ選出し、これを色値候補とする。選出方法としては、例えば３次元色ヒストグラムの２次微分値の値に基づきピークの鋭さが大きいものから順に選出する。あるいは、頻度ピーク値の大きいものから順に選出する。あるいは、抽出したピーク位置の数が所定数に達しない場合は、抽出して全てのピーク位置の画素値を色値候補として選出してもよい。図７（Ｃ）においては、３つの色値候補Ｃ１（Ｐ）、Ｃ２（Ｐ）およびＣ３（Ｐ）が選出された場合を示している。

続いてＳ１１５において、推定色決定部２３は、色値候補に基づき注目画素Ｐに対する裏写りしていないもとの色を推定し、推定色を決定する。裏写り前の元の色の推定は、以下の４つの基準の少なくともいずれか１つを採用することにより行えばよい。なお、以下ではｎ＝１，２，・・・，Ｎであって、Ｎは選出された色値候補の総数を表す。
（ア）色値候補Ｃｎ（Ｐ）の頻度値：（具体的には、頻度値が大きい色値候補ほど、もとの色値に近いと判定する）
（イ）注目画素の画素値Ｖ（Ｐ）と色値候補Ｃｎ（Ｐ）の色値の差：（具体的には、注目画素の画素値Ｖ（Ｐ）との色差が小さいほど、もとの色値に近いと判定する）
（ウ）注目画素のエッジ度Ｅ（Ｐ）と色値候補Ｃｎ（Ｐ）の明度との関係：（具体的には、注目画素のエッジ度Ｅ（Ｐ）が小さいほど、より高明度の色値候補がもとの色値に近いと判定する）
（エ）注目画素の画素値Ｖ（Ｐ）のうちの明度値と色値候補Ｃｎ（Ｐ）の明度値との関係：（具体的には、注目画素Ｐの明度が高いほど、より明度の高い色値候補がもとの色値に近いと判定する）
これらの基準のいずれかを用い、もとの色値に最も近いと判定した色値候補Ｃｎ（Ｐ）を推定色として、注目画素の画素値Ｖ（Ｐ）を置換する。例えば上記（ア）を採用する場合、頻度値が最大の色値候補Ｃｎ（Ｐ）により注目画素値の画素値Ｖ（Ｐ）を置換する。

また、上述した４つの基準を組み合わせて推定色を決定してもよい。具体的には、各色値候補Ｃｎ（Ｐ）に対し以下の数式で定義される真色値度Ｄｎ（Ｐ）を各々算出し、その中で最も高い真色値度Ｄ（＝Ｍａｘ｛Ｄ１（Ｐ），Ｄ２（Ｐ），・・・，ＤＮ（Ｐ）｝）を有する色値候補を、裏写り前のもとの色値であると決定する。なお、Ｍａｘ（Ｘｎ）（ｎ＝１、２、・・・）は、Ｘ１、Ｘ２、・・・の最大値を表す。真色値度Ｄｎ（Ｐ）は、例えば以下のようにして求める。
Ｄｎ（Ｐ）＝ｗ１×ｆ１［Ｓｎ（Ｐ）／Ｍａｘ（Ｓｎ（Ｐ））］
＋ｗ２×ｇ１［ＡＢＳ（Ｖ（Ｐ）−Ｃｎ（Ｐ））］
＋ｗ３×ｇ２［Ｅ（Ｐ）］×ｆ２［Ｌｎ（Ｐ）］
＋ｗ４×ｆ３［Ｌ（Ｐ）］×ｆ４［Ｌｎ（Ｐ）］ （４）
上記の式において、ｆｉ［Ｘ］（ｉ＝１〜４）はＸの単調増加関数、ｇｊ［Ｘ］（ｊ＝１〜２）はＸの単調減少関数である。また、Ｓｎ（Ｐ）は色値候補Ｃｎ（Ｐ）の頻度値、ｗｍ（ｍ＝１〜４，ｗｍ＞０）はそれぞれ上記基準（１）ないし（４）に対応する重み係数である。さらに、Ｌ（Ｐ）およびＬｎ（Ｐ）は、それぞれ注目画素Ｐの明度および色値候補Ｃｎ（Ｐ）の明度を表す。また、ＡＢＳ（Ｘ）はＸの絶対値を表す。

式（４）から判るように、第１項ないし第４項はそれぞれ上記（ア）ないし（エ）からの寄与を表している。なお、各基準に対応する重み係数ｗｍの値は任意であるが、例えば、ｗ１＞ｗ２＞ｗ３＞ｗ４＞となるように設定するのが好ましい。すなわち、この場合は、色値候補Ｃｎ（Ｐ）から推定色を選ぶに際し、上記（ア）（すなわち色値候補Ｃｎ（Ｐ）の頻度値Ｓｎ（Ｐ））が相対的に最も重視され、上記（エ）（すなわち注目画素の画素値Ｖ（Ｐ）のうちの明度値Ｌ（Ｐ）と色値候補Ｃｎ（Ｐ）の明度値Ｌｎ（Ｐ）との関係）が相対的に最も軽視されることになる。

また、色値候補のうちの一つを選択することにより推定色を決定するのではなく、複数の色値候補の中間色を求めて推定色を決定してもよい。具体的には、注目画素Ｐに対応する真色値ＣＴ（Ｐ）の値を以下の数式に従って算出する。
ＣＴ（Ｐ）＝Σ_n=1 ^Nｋｎ・Ｓｎ（Ｐ）・Ｃｎ（Ｐ） （５）
ここで、ｋｎは重み係数であって、例えば、全てのｎ（ｎ＝１，２，・・・，Ｎ）に対しｋｎ＝１／Ｍａｘ｛Ｓｊ（Ｐ）｝である。上記数式から判るように、この例では、計Ｎ個の色値候補の各々につき、その色値にその頻度値を乗じて加算することにより、真色値ＣＴ（Ｐ）を算出する。この真色値を推定色として決定すればよい。この例では、抽出した色値候補の全てが推定色に反映されることになる。

上式の例は、上記（ア）を採用したものであるが、これに限らず、上記（イ）ないし（エ）の少なくとも一つを用いて算出した値を推定色として決定してもよい。要は、選定した色値候補の情報（明度等の色値およびその色値の頻度値等）に基づいて、裏写り前のもとの色値と推定される色値が一つ決定されればよい。

このようにして、ある注目画素Ｐについて推定色を決定し、入力された注目画素Ｐの画素値に置き換えて出力する。上述のように推定色は、参照領域設定部１２において設定された参照領域を参照して決定される。そのため、例えば入力画像にグラデーションが存在する場合でも、そのグラデーション方向については幅を短くして参照領域内での色の変化を小さくしているので、参照領域内の明るい色の影響を受けずに裏写り前のもとの色が推定されることになる。例えば従来技術として示した特許文献２では、非エッジ領域における所定の領域に対して２色化を行い、２色のうち明るい方の色を推定色とし、領域内の画素を推定色で置き換える。そのため、グラデーションが存在していると、領域ごとにその領域内の明るい色で塗りつぶされ、領域間で色の段差が生じる。そのため、特許文献２に記載されている技術では、グラデーションが保持されなくなる。また、グラデーションが存在していると参照領域内の明るい色に変換してしまい、原画像より明るくなって原画像の色情報を維持できなくなる。これに対して上述の本発明の実施の形態では、このような色の段差が生じることはなく、グラデーション部分についてもグラデーションが保持され、原画像の色情報が維持される。

なお、上述の色推定部１３の各部で使用する参照領域以外のパラメータは、パラメータ入力部２４からユーザが入力して設定してもよい。あるいは、パラメータのセットと画像の所定の特性を予めＲＯＭ等の記憶手段に記憶しておき、入力画像の特性に最も適合するパラメータセットを記憶手段から読み出して使用してもよい。

また、図６に示した処理の一例では、参照領域設定部１２により設定された参照領域を用いることとして説明したが、例えば参照領域設定部１２から参照領域の形状や大きさのパラメータを受け取って、実際にいずれの画素を参照するかは色ヒストグラム算出部２１で注目画素Ｐをもとに、例えば注目画素Ｐが中心となるように設定してもよい。また、複数の注目画素に対して一つの参照領域を用い、色ヒストグラムを算出してもよい。例えば、参照領域設定部１２で参照領域の大きさを１００画素×１００画素の領域を設定したとすれば、その中心付近の例えば５×５＝２５個の画素（注目画素群）に対しては、当該参照領域Ｗ（およびその参照領域Ｗから算出される色ヒストグラム）を使用する。このようにすれば、色ヒストグラム算出処理の回数が減り、全体の処理速度が向上する。この際、参照領域Ｗのサイズが注目画素群のサイズに対して十分大きければ、算出される色ヒストグラムの誤差は小さく、裏写り除去能力を実質的に低下させずに済む。

図４に示した色推定部１３の構成及び図６、図７に示した色推定部１３の動作は一例であって、他の方法により裏写りのない、もとの色を推定するように構成してもよい。

図８は、本発明の第２の実施の形態を示すブロック図である。図中、１４はエッジ領域除去部である。ここでは上述の第１の実施の形態と異なる部分について主に説明する。

エッジ領域除去部１４は、入力画像からエッジが存在する領域を除去する。エッジ領域の判定方法は任意である。このエッジ領域の除去によって、例えば文字や線などが存在している場合に、その領域が除去される。

グラデーション方向判定部１１では、エッジ領域除去部１４でエッジ領域が除去された画像をもとに、グラデーション方向の判定を行うことになる。例えば図４でも説明したように縦方向または横方向に細い領域の画素の平均値を算出する。その際に、文字や線などがグラデーション中に存在しているとその影響を受けて平均値が変化し、正しくグラデーション方向の判定を行えない場合が生じる。エッジ領域除去部１４で文字や線などが存在しているエッジ領域を除去しているので、例えばグラデーション中に文字や線が存在していても、正しくグラデーション方向が判定される。

図９は、本発明の第２の実施の形態におけるグラデーションと参照領域の関係の具体例の説明図である。このように、例えば図９（Ａ）、（Ｂ）に示すようにグラデーション中に文字が存在している場合には、その文字の部分が除去されてグラデーション方向の判定が行われる。なお、図９（Ｃ）、（Ｄ）では、除去した文字の部分を破線で示している。図９（Ａ）、（Ｃ）は縦方向に色や濃度が変化する、縦方向のグラデーション中に文字が存在する場合を示している。エッジ領域除去部１４により文字の部分が除去され、図９（Ｃ）に示すように文字に影響されずにグラデーション方向が判定されて横長の参照領域が設定される。また図９（Ｂ）、（Ｄ）は横方向に色や濃度が変化する、横方向のグラデーション中に文字が存在する場合を示している。エッジ領域除去部１４により文字の部分が除去され、図９（Ｄ）に示すように文字に影響されずにグラデーション方向が判定されて縦長の参照領域が設定される。これらの参照領域を用い、色推定部１３で裏写り前の色の推定が正しく行われることになる。

図１０は、本発明の第３の実施の形態を示すブロック図である。図中、１５は縮小部、１６はエッジ判定部である。縮小部１５は、入力画像に対して縮小処理を施す。縮小方法としてはどのような公知の方法を用いてもよい。縮小率も任意であるが、スクリーン処理された網点画像領域について、網点がつぶれるようにする。

グラデーション方向判定部１１は、縮小部１５で縮小された画像をもとにグラデーション方向の判定を行う。網点画像をそのまま用いて例えば図４に示したようにしてグラデーション方向の判定を行うと、網点の点の部分と背景の部分との色や濃度の大きな違いにより誤判定が発生することがある。この実施の形態では、縮小部１５によって網点をつぶしているので、正しくグラデーション方向の判定が行われる。

また、この実施の形態ではエッジ判定部１６を設け、その判定結果を色推定部１３で利用する構成としている。エッジ判定部１２は、縮小部１５で縮小された画像をもとに、画像中のエッジを判定する。エッジの判定方法は任意である。縮小部１５で縮小することにより網点がつぶれているので、網点画像でも正しくエッジが検出される。

色推定部１３は、エッジ判定部１６によるエッジ判定結果に従い、エッジ判定結果がエッジを示しているエッジ領域については、入力画像を用いて色の推定を行う。また、エッジ判定部１２によるエッジ判定結果がエッジ以外であることを示している非エッジ領域については、縮小部１５で縮小された画像を用いて、処理対象の画素の色の推定を行う。さらに、色の推定の際の各種の処理パラメータ（設定）を、エッジ領域と非エッジ領域とで異ならせる。

このように非エッジ領域では縮小部１５で縮小した画像を使用するので、参照領域設定部１２で設定された大きさの参照領域を適用した場合には、エッジ領域で入力画像を用いる場合に比べて入力画像上では広い範囲を参照することになる。従って、非エッジ領域では広い範囲の画素の色から推定を行うことになり、逆にエッジ領域については狭い範囲の画素の色からの推定を行うことになる。エッジ領域では狭い参照領域から推定色を求めることによりエッジが保存される。

なお、エッジ領域と非エッジ領域とで参照範囲を異ならせてもよく、参照領域設定部１２の設定を考慮して色ヒストグラム算出部２１がそれぞれの参照領域を設定してもよい。また、そのようなエッジ領域、非エッジ領域に応じた参照領域の設定を、参照領域設定部１２がエッジ判定部１６の判定結果を取得して行うように構成してもよい。例えばグラデーション方向においては、エッジ領域、非エッジ領域について入力画像上の参照幅を統一するように構成することが考えられる。

上述の第２の実施の形態と第３の実施の形態を組み合わせてもよい。その場合、図８のエッジ領域除去部１４と図１０のエッジ判定部１６を統合して、例えば図１０におけるエッジ判定部１６で縮小画像からエッジ領域の除去を行ってグラデーション方向判定部１１に渡すように構成すればよい。この場合、網点領域や、文字または線がグラデーション部分に存在する場合でも、グラデーション方向判定部１１によって正しくグラデーション方向が判定され、色推定部１３によって精度よく裏写り前の色が推定されることになる。

図１１は、本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、３１はプログラム、３２はコンピュータ、４１は光磁気ディスク、４２は光ディスク、４３は磁気ディスク、４４はメモリ、５１はＣＰＵ、５２は内部メモリ、５３は読取部、５４はハードディスク、５５，５６はインタフェース、５７は通信部である。

上述の各実施の形態で説明した各部の機能の一部または全部を、コンピュータにより実行可能なプログラム３１によって実現してもよい。その場合、そのプログラム３１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部５３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部５３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク４１，光ディスク４２（ＣＤやＤＶＤなどを含む）、磁気ディスク４３，メモリ４４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム３１を格納しておき、例えばコンピュータ３２の読取部５３あるいはインタフェース５５にこれらの記憶媒体を装着することによって、コンピュータからプログラム３１を読み出し、内部メモリ５２またはハードディスク５４に記憶し、ＣＰＵ５１によってプログラム３１を実行することによって、本発明の各実施の形態で説明した機能が実現される。あるいは、ネットワークなどを介してプログラム３１をコンピュータ３２に転送し、コンピュータ３２では通信部５７でプログラム３１を受信して内部メモリ５２またはハードディスク５４に記憶し、ＣＰＵ５１によってプログラム３１を実行することによって、本発明の各実施の形態で説明した機能を実現してもよい。なお、コンピュータ３２には、このほかインタフェース５６を介して様々な装置と接続してもよく、例えば情報を表示する表示装置やユーザが情報を入力する入力装置等も接続されている。もちろん画像形成手段が接続され、裏写り除去後の画像を画像形成手段で形成するように構成してもよい。

もちろん、一部の機能についてハードウェアによって構成してもよいし、すべてをハードウェアで構成してもよい。あるいは、他の構成とともに本発明も含めたプログラムとして構成してもよい。例えば複写機などの画像読取装置や画像形成装置を含む装置において制御プログラムとともに１つのプログラムとして構成し、画像読取装置で読み取られた裏写りを含む画像から裏写りを除去するように構成してもよい。もちろん、他の用途に適用する場合には、その用途におけるプログラムと一体化すればよい。

本発明の第１の実施の形態を示すブロック図である。 色推定部１３の一例を示すブロック図である。 本発明の第１の実施の形態における動作の一例を示すフローチャートである。 グラデーション方向判定部１１の動作の一例の説明図である。 参照領域設定部１２の動作の一例の説明図である。 色推定部の動作の一例を示すフローチャートである。 色推定部の動作の一例の説明図である。 本発明の第２の実施の形態を示すブロック図である。 本発明の第２の実施の形態におけるグラデーションと参照領域の関係の具体例の説明図である。 本発明の第３の実施の形態を示すブロック図である。 本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

符号の説明

１１…グラデーション方向判定部、１２…参照領域設定部、１３…色推定部、２１…色ヒストグラム算出部、２２…色値候補選出部、２３…推定色決定部、２４…パラメータ入力部、３１…プログラム、３２…コンピュータ、４１…光磁気ディスク、４２…光ディスク、４３…磁気ディスク、４４…メモリ、５１…ＣＰＵ、５２…内部メモリ、５３…読取部、５４…ハードディスク、５５，５６…インタフェース、５７…通信部。

Claims (9)

1. 画像中に存在する色または濃度が変化する方向であるグラデーション方向を判定するグラデーション方向判定手段と、前記グラデーション方向判定手段による判定結果に基づき参照領域の形状を設定する参照領域設定手段と、前記参照領域設定手段により設定された参照領域内の画素値に基づいて、画像の裏写りのない状態の色を推定してもとの画素値と置き換える色推定手段とを有することを特徴とする画像処理装置。
2. 前記グラデーション方向判定手段は、第１の閾値よりも大きな色または濃度の変化をグラデーションとしてグラデーション方向を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記グラデーション方向判定手段は、グラデーション方向が縦または横であるかをそれぞれ判定し、縦方向のグラデーションと横方向のグラデーションを検出したとき斜めのグラデーション方向を判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記グラデーション方向判定手段は、カラー画像中の輝度によりグラデーション方向の判定を行うことを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
5. 前記グラデーション方向判定手段は、輝度による判定でグラデーションではないと判断された場合に、さらに彩度によりグラデーション方向の判定を行うことを特徴とする請求項４に記載の画像処理装置。
6. 画像からエッジが存在する領域を除去するエッジ領域除去手段を有し、前記グラデーション方向判定手段は、前記エッジ領域除去手段でエッジが存在する領域が除去された画像に基づき前記グラデーション方向を判定することを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. 画像を縮小する縮小手段を有し、前記グラデーション方向判定手段は、前記縮小手段によって縮小された画像に基づき前記グラデーション方向を判定することを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像処理装置。
8. 前記参照領域設定手段は、前記グラデーション方向の幅が他の方向の幅に対して短くなるように前記参照領域の形状を設定することを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理装置。
9. コンピュータに、請求項１ないし請求項８のいずれか１項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。

Images