JP2019033329A - コンピュータプログラム、および、画像処理装置 - Google Patents

Abstract

【課題】原稿と原稿の外側に配置された余白とを含む画像のうちの一部分の色を修正すべきか否かを適切に判断する。【解決手段】原稿と原稿の外側に配置された余白とを含む読取画像を示す読取画像データを取得する。読取画像内の原稿を含む部分を矩形状の領域に区切って得られる矩形原稿領域の４つの辺を特定する。４つの辺のうちのいずれかの辺に接する矩形原稿領域内の領域であって原稿ではない領域の候補である候補領域を特定する。候補領域の色を修正すべきか否かを判断する。余白を示す領域であって矩形原稿領域の外側の領域である余白領域の少なくとも一部を構成する部分余白領域であって、４つの辺のうちの互いに異なる辺に接する１以上の部分余白領域のそれぞれに関して、色を修正すべきか否かを判断する。色を修正すべきであると判断された領域の色を修正して、出力画像を示す出力画像データを生成する。【選択図】 図１

Description

本明細書は、画像のうちの一部分の色を修正すべきか否かを判断する技術に関する。

従来から、スキャナなどの画像読取装置を用いて、原稿を示す画像データが生成されている。また、画像データのうち、原稿の切れた箇所などの欠陥を示す部分を、色を修正してマスキングする技術が、提案されている。

特開２００１−１６９０８１号公報

ところで、画像データとしては、原稿に加えて、原稿の外側に配置された余白を含む画像を示す画像データが利用される場合がある。このように余白を含む画像を示す画像データを処理する場合に、画像のうちの一部分の色を修正すべきか否かを判断する点については、工夫の余地があった。

本明細書は、原稿と原稿の外側に配置された余白とを含む画像のうちの一部分の色を修正すべきか否かを適切に判断できる技術を開示する。

本明細書は、例えば、以下の適用例を開示する。

［適用例１］プログラムであって、原稿を光学的に読み取ることによって生成され、原稿と前記原稿の外側に配置された余白とを含む読取画像を示す前記読取画像データを取得する取得機能と、前記読取画像データを解析することによって、前記読取画像内の前記原稿を含む部分を矩形状の領域に区切って得られる矩形原稿領域の４つの辺を特定する辺特定機能と、前記４つの辺のうちのいずれかの辺に接する前記矩形原稿領域内の領域であって前記原稿ではない領域の候補である候補領域を特定する候補領域特定機能と、前記候補領域の色を修正すべきか否かを判断する第１判断機能と、前記余白を示す領域であって前記矩形原稿領域の外側の領域である余白領域の少なくとも一部を構成する部分余白領域であって、前記４つの辺のうちの互いに異なる辺に接する１以上の部分余白領域のそれぞれに関して、色を修正すべきか否かを判断する第２判断機能と、前記候補領域に関する前記第１判断機能による判断の結果と、前記１以上の部分余白領域のそれぞれに関する前記第２判断機能による判断の結果と、を用いて、色を修正すべきであると判断された領域の色を修正する処理である選択修正処理を実行し、前記選択修正処理済の前記矩形原稿領域と前記選択修正処理済の前記１以上の部分余白領域のそれぞれとを含む出力画像を示す出力画像データを生成する画像生成機能と、をコンピュータに実現させ、前記第２判断機能は、注目部分余白領域と予め決められた連続関係にある領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断される場合に、前記注目部分余白領域の色を修正すべきではないと判断し、前記注目部分余白領域の色を修正すべきと前記第２判断機能によって判断されるための条件は、前記１以上の部分余白領域と前記候補領域とのうちの前記注目部分余白領域と前記予め決められた連続関係にある領域を構成する領域が、色を修正すべきではないと判断される領域を含まないことを、含む、コンピュータプログラム。

この構成によれば、注目部分余白領域と予め決められた連続関係にある領域に関して色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきではないと判断される。そして、注目部分余白領域の色を修正すべきと判断されるための条件は、注目部分余白領域と予め決められた連続関係にある領域を構成する部分余白領域と候補領域とが、色を修正すべきではないと判断される領域を含まないことを、含む。これらにより、色が修正された領域に色が修正されない領域が接することが抑制される。この結果、色が修正された領域と色が修正されない領域との間の色の差が目立つことが、抑制される。

［適用例２］適用例１に記載のコンピュータプログラムであって、前記候補領域の前記色を修正すべきではないと前記第１判断機能によって判断されるための条件は、前記候補領域に接する前記辺からの前記候補領域の長さが第１閾値以上であることを含む、コンピュータプログラム。

仮に、大きな候補領域の色が修正される場合、色が修正される領域が大きいので、色が修正された領域が不自然に見える可能性がある。上記構成によれば、大きな候補領域に関しては、色を修正すべきではないと判断されるので、色が修正された領域が不自然に見えることを抑制できる。

［適用例３］適用例１または２に記載のコンピュータプログラムであって、ユーザの指示に応じて、前記出力画像内における前記１以上の部分余白領域のそれぞれの幅を決定する決定機能を、前記コンピュータに実現させ、前記部分余白領域の色を修正すべきではないと前記第２判断機能によって判断されるための条件は、前記ユーザの指示に応じて決定した前記部分余白領域の前記幅が第２閾値以上であることを含む、コンピュータプログラム。

仮に、大きな部分余白領域の色が修正される場合、色が修正される領域が大きいので、色が修正された領域が不自然に見える可能性がある。上記構成によれば、大きな部分余白領域に関しては、色を修正すべきではないと判断されるので、色が修正された領域が不自然に見えることを抑制できる。

［適用例４］適用例１から３のいずれかに記載のコンピュータプログラムであって、前記第２判断機能は、（Ａ）前記注目部分余白領域が、前記部分余白領域の色を修正すべきではないと仮に判断するための非対象仮条件を満たすか否かを判断し、（Ｂ）前記注目部分余白領域が、前記非対象仮条件を満たさない場合には、前記注目部分余白領域に接する候補領域であるゼロ個以上の隣接候補領域が、前記候補領域の色を修正すべきではないと判断される候補領域である非対象候補領域を含むか否かを判断し、前記隣接候補領域が前記非対象候補領域を含む場合に、前記注目部分余白領域の色を修正すべきではないと判断し、（Ｃ）前記注目部分余白領域が、前記非対象仮条件を満たす場合には、前記隣接候補領域が前記非対象候補領域を含むか否かを判断せずに、前記注目部分余白領域の色を修正すべきではないと判断する、コンピュータプログラム。

この構成によれば、注目部分余白領域が非対象仮条件を満たさない場合、すなわち、注目部分余白領域の色を修正すべきと判断され得る場合であっても、隣接候補領域が非対象候補領域を含む場合には、注目部分余白領域の色を修正すべきではないと判断されるので、色が修正された余白に色が修正されない候補領域が隣接することが抑制される。この結果、色が修正されない候補領域が目立つことが、抑制される。また、注目部分余白領域が非対象仮条件を満たす場合には、隣接候補領域が非対象候補領域を含むか否かが判断されずに、注目部分余白領域の色を判断すべきではないと判断されるので、処理速度の低下を抑制しつつ、適切な判断が可能である。

［適用例５］適用例１から４のいずれかに記載のコンピュータプログラムであって、前記第２判断機能は、前記１以上の部分余白領域のそれぞれの色を修正すべきか否かを、他の部分余白領域とは独立に、仮に判断し、前記注目部分余白領域の色を修正すべきと仮に判断した場合には、前記注目部分余白領域に接するとともに基準幅より大きい幅の隣の部分余白領域と、前記隣の部分余白領域に接するとともに前記注目部分余白領域の向かい側に位置する前記基準幅より大きい幅の対向部分余白領域と、の少なくとも一方が、色を修正すべきではないと仮に判断されたか否かを判断し、前記隣の部分余白領域と前記対向部分余白領域との少なくとも一方が、色を修正すべきでないと仮に判断された場合に、前記注目部分余白領域の色を修正すべきではないと判断する、コンピュータプログラム。

この構成によれば、部分余白領域の色を修正すべきと判断され得る場合であっても、注目部分余白領域に接する他の部分余白領域の色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきでは無いと判断されるので、色が修正される部分余白領域と色が修正されない部分余白領域とが接することが抑制される。この結果、色が修正される部分余白領域と色が修正されない部分余白領域とが接することに起因して色の違いが目立つことが、抑制される。

［適用例６］適用例１から５のいずれかに記載のコンピュータプログラムであって、前記候補領域特定機能は、前記読取画像のうちの前記余白領域を用いずに前記矩形原稿領域を用いて、前記候補領域を特定する、コンピュータプログラム。

この構成によれば、処理速度の低下を抑制しつつ、適切な判断が可能である。

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

一実施例としての画像処理システムの構成を示す図である。 画像処理の例を示すフローチャートである。 画像処理で用いられる画像の一例を示す図である。 候補領域の判断の処理の例を示すフローチャートである。 補修処理の例を示すフローチャートである。 部分余白領域の仮の判断の処理の例を示すフローチャートである。 部分余白領域の最終的な判断の処理の例を示すフローチャートである。 別の画像の処理例を示す説明図である。 別の画像の処理例を示す説明図である。

Ａ．第１実施例：
Ａ−１．画像処理システムの構成
図１は、一実施例としての画像処理システムの構成を示す図である。この画像処理システムは、画像処理装置８００と、スキャナ９００と、を含んでいる。画像処理装置８００とスキャナ９００とは、ネットワークＮＴに接続されており、互いに通信可能である。

画像処理装置８００は、例えば、パーソナルコンピュータである（例えば、デスクトップコンピュータ、タブレットコンピュータ）。画像処理装置８００は、画像処理装置８００のコントローラとしてのＣＰＵ８１０と、記憶装置８１５と、画像を表示する表示部８４０と、ユーザによる操作を受け入れる操作部８５０と、インタフェース８９０と、を有している。記憶装置８１５は、揮発性記憶装置８２０と、不揮発性記憶装置８３０と、を含んでいる。これらの要素は、バスを介して互いに接続されている。

ＣＰＵ８１０は、データ処理を行う演算装置（プロセッサ）である。揮発性記憶装置８２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置８３０は、例えば、フラッシュメモリである。不揮発性記憶装置８３０は、プログラム８３２を格納している。ＣＰＵ８１０は、プログラム８３２を実行することによって、スキャナ９００に原稿を読み取らせて、読み取った原稿を示す出力画像データを生成する処理を実行する（詳細は後述）。プログラム８３２は、例えば、スキャナ９００を制御するためのスキャナドライバであってよい。ＣＰＵ８１０は、プログラム８３２の実行に利用される種々の中間データを、記憶装置８１５（例えば、揮発性記憶装置８２０、不揮発性記憶装置８３０のいずれか）に、一時的に格納する。プログラム８３２は、例えば、スキャナ９００の製造者によって提供される。

表示部８４０は、画像を表示する装置であり、例えば、液晶ディスプレイである。これに代えて、ＬＥＤディスプレイ、有機ＥＬディスプレイなどの、画像を表示する他の種類の装置を採用してもよい。操作部８５０は、ユーザによる操作を受け取る装置であり、例えば、表示部８４０上に重ねて配置されたタッチパネルである。これに代えて、ボタン、レバーなどの、ユーザによって操作される他の種類の装置を採用してもよい。ユーザは、操作部８５０を操作することによって、種々の指示を画像処理装置８００に入力可能である。

インタフェース８９０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。本実施例では、インタフェース８９０は、有線または無線のネットワークインタフェースであり、ネットワークＮＴに接続されている。

図１には、スキャナ９００の斜視図が示されている。図中の第１方向Ｄｐ１と第２方向Ｄｐ２とは、水平な方向を示し、第３方向Ｄｐ３は、鉛直上方向を示している。第１方向Ｄｐ１と第２方向Ｄｐ２とは、互いに垂直である。また、第３方向Ｄｐ３を、上方向Ｄｐ３とも呼ぶ。

スキャナ９００は、いわゆるフラットベッド式の画像読取装置である。スキャナ９００は、本体部９９０と、本体部９９０の上方向Ｄｐ３側に開閉可能に取り付けられたカバー９５０と、を備えている。図１には、カバー９５０が上方向Ｄｐ３に向けて開けられた状態のスキャナ９００を示している。

本体部９９０は、制御部９１０と、原稿を光学的に読み取るイメージセンサ９２０と、イメージセンサ９２０を第１方向Ｄｐ１に平行に移動させる移動装置９３０と、原稿台９４０と、を備えている。

原稿台９４０は、本体部９９０（図１）の上方向Ｄｐ３側に、設けられている。原稿台９４０は、カバー９５０を上方向Ｄｐ３に向けて開くことによって、現れる。原稿台９４０は、第１方向Ｄｐ１に平行な２辺と第２方向Ｄｐ２に平行な２辺とで囲まれる略矩形状の台であり、透明板（例えば、ガラス板）を用いて構成されている。原稿台９４０の第３方向Ｄｐ３側の面は、読取対象の原稿が載置される載置面Ｕｓである。

イメージセンサ９２０は、原稿台９４０の下側（第３方向Ｄｐ３の反対側）、すなわち、原稿台９４０の下に配置されている。イメージセンサ９２０は、原稿を光学的に読み取る一次元イメージセンサであり、ＣＣＤやＣＭＯＳなどの複数の光電変換素子（単に、光学素子とも呼ぶ）が、第２方向Ｄｐ２に並んで配置された構成を有している。イメージセンサ９２０は、原稿台９４０上の原稿を、光学的に読み取ることによって、読み取った原稿を示す信号を出力する。

移動装置９３０は、動力源（例えば、電気モータ）を含んでいる。移動装置９３０は、該動力源を用いて、イメージセンサ９２０を、原稿台９４０の載置面Ｕｓに沿う方向（図１の第１方向Ｄｐ１と平行な方向）に移動させる。

制御部９１０は、例えば、データ処理を行うＣＰＵ９１１と、記憶装置９１５と、インタフェース９１９と、を含むコンピュータである。記憶装置９１５は、揮発性記憶装置９１２（例えば、ＤＲＡＭ）と、不揮発性記憶装置９１３（例えば、フラッシュメモリ）と、を含んでいる。制御部９１０の各要素は、バスを介して互いに接続されている。不揮発性記憶装置９１３は、予め、プログラム９１４を格納している。ＣＰＵ９１１は、プログラム９１４を実行することによって、イメージセンサ９２０と移動装置９３０とを制御する。インタフェース９１９は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。本実施例では、インタフェース９１９は、有線または無線のネットワークインタフェースであり、ネットワークＮＴに接続されている。

ＣＰＵ９１１は、移動装置９３０を制御して、イメージセンサ９２０を、原稿台９４０の第１方向Ｄｐ１とは反対方向側の端の位置から第１方向Ｄｐ１側の端の位置まで、原稿台９４０に沿って移動させる。ＣＰＵ９１１は、イメージセンサ９２０を移動させながら、イメージセンサ９２０を制御して、原稿台９４０に載置された原稿を光学的に読み取らせる。ＣＰＵ９１１は、イメージセンサ９２０から出力される信号に基づいて、読取画像を示す読取画像データを生成する。ＣＰＵ９１１は、生成した読取画像データを、画像処理装置８００へ送信する。

Ａ−２．画像処理：
図２は、画像処理の例を示すフローチャートである。本実施例では、画像処理装置８００のＣＰＵ８１０は、スキャナドライバとして、画像処理を実行する。この画像処理では、スキャナ９００に原稿を読み取らせることによって読取画像データが取得され、取得された読取画像データを用いて、欠落の補修などがなされた出力画像を示す出力画像データが生成される。後述するように、出力画像は、原稿と、原稿の外側に配置された余白と、を含んでいる。

Ｓ１００では、ユーザは、操作部８５０を操作することによって、画像処理の開始指示を入力する。また、本実施例では、ユーザは、余白の幅を入力する。ユーザは、矩形状の原稿の四方のそれぞれに設けられるべき余白の幅を、指定することができる。なお、余白の幅は、予め準備された複数の設定から、ユーザによって、選択されてよい。これに代えて、ユーザが、余白の幅を示す数値（例えば、ミリメートル単位の数値）を、入力してもよい。ＣＰＵ８１０は、入力された指示に応じて、余白の幅を、入力された値に、決定する。そして、ＣＰＵ８１０は、開始指示に応じて、画像処理を開始する。

Ｓ１０５では、ＣＰＵ８１０は、読取画像データを取得する。具体的には、ＣＰＵ８１０は、原稿を読み取る指示を、スキャナ９００に送信する。スキャナ９００の制御部９１０のＣＰＵ９１１は、画像処理装置８００からの指示に応じて、原稿台９４０に載置された原稿を読み取ることによって、読取画像データを生成し、生成した読取画像データを、画像処理装置８００に送信する。ＣＰＵ８１０は、スキャナ９００から送信される読取画像データを取得する。読取画像データのデータ形式は、種々の形式であってよい。本実施例では、読取画像データは、複数個の画素のＲＧＢ値を含むＲＧＢ画像データ、あるいは、複数個の画素の輝度値を含むモノクロ画像データである。１個の画素のＲＧＢ値は、その画素の色を示し、例えば、赤（Ｒ）と緑（Ｇ）と青（Ｂ）との３個の成分値（以下、Ｒ値、Ｇ値、Ｂ値とも呼ぶ）を含んでいる。本実施例では、各成分値の階調数は、２５６階調である。輝度値は、その画素の輝度を、例えば、２５６階調の値で示す値である。なお、読取画像データのデータ形式は、ユーザの指示に応じて、選択される。

図３は、画像処理で用いられる画像の一例を示す図である。図３（Ａ）には、読取画像の一例が示されている。読取画像１１０の形状は、第１方向Ｄ１に平行な直線と、第２方向Ｄ２に平行な直線と、で囲まれる矩形状である。読取画像１１０を示す複数の画素は、これらの方向Ｄ１、Ｄ２に沿って格子状に配置されている。

読取画像１１０は、矩形の原稿を読み取ることによって生成された画像である。読取画像１１０は、原稿を示す原稿画像２１と、原稿画像２１の外側の画像である外側画像３１と、を含む。外側画像３１は、原稿画像２１の外側の原稿以外の領域を示す。外側画像３１は、原稿画像２１の外側の画像、すなわち、原稿画像２１の外縁と、読取画像１１０の外縁（４辺）と、の間に位置する画像である。外側画像３１は、本実施例では、カバー９５０（図１）の原稿台９４０と対向する対向面Ｂｓを示している。本実施例では、対向面Ｂｓは、白よりも暗く、黒よりも明るいグレーで塗られている。このため、外側画像３１は、グレーのほぼ単色の画像である。

原稿画像２１の形状は、破れ２１１を含む不完全な略矩形である。破れ２１１は、原稿画像２１の外縁から内部に向かって延びる欠落部分である。また、原稿画像２１は、文字などのオブジェクトＯｂと、背景Ｂｇと、を含んでいる。背景Ｂｇは、原稿の地色の領域である。

Ｓ１１０（図２）では、ＣＰＵ８１０は、読取画像内の原稿を示す矩形領域の４つの辺を特定する。図３（Ｂ）は、読取画像１１０から特定される４つの辺４１１〜４１４の例を示す説明図である。図中には、図３（Ａ）と同じ読取画像１１０が示されている。辺４１１〜４１４は、原稿画像２１の外縁を示す矩形を形成する。以下、辺４１１〜４１４で囲まれる矩形領域を、矩形原稿領域２１０と呼ぶ。矩形原稿領域２１０の矩形状の輪郭４１０は、４個の辺４１１〜４１４で構成されている。また、読取画像１１０のうちの矩形原稿領域２１０の外側の領域３１０を、余白領域３１０と呼ぶ。余白領域３１０は、原稿画像２１の外側の余白を示している。破れ２１１は、矩形原稿領域２１０内に、含まれている。

矩形原稿領域２１０の４つの辺４１１〜４１４を特定する方法としては、種々の方法を採用可能である。例えば、ＣＰＵ８１０は、以下の処理を実行する。ＣＰＵ８１０は、読取画像データに対して、縮小処理を実行して、縮小された読取画像である縮小画像を示す縮小画像データを生成する。縮小処理は、画素密度を低減する処理であり、公知の種々の処理であってよい。例えば、一部の画素を間引く処理が採用されてよい。また、読取画像上に低画素密度で配置された複数の画素のそれぞれの色値を、読取画像の複数の画素の色値を用いる補間によって算出する処理が、採用されてよい。

ＣＰＵ８１０は、縮小画像内のエッジ画素を抽出するエッジ抽出処理を実行する。エッジ抽出処理は、画像内のエッジを示すエッジ画素を抽出する処理であり、公知の種々の処理であってよい。例えば、各画素のエッジ強度が算出され、エッジ強度が閾値以上である画素がエッジ画素として抽出されてよい。エッジ強度の算出には、ソーベルオペレータやプレウィットオペレータなどの種々のエッジ検出用のオペレータを利用可能である。図３（Ｂ）の例では、原稿画像２１の外縁（すなわち、輪郭）を示す複数の画素に加えて、オブジェクトＯｂの外縁を示す複数の画素などの、種々の画素が、エッジ画素として、抽出され得る。

ＣＰＵ８１０は、抽出された複数のエッジ画素を用いるハフ変換を実行し、原稿画像２１の外縁を示す直線の候補を特定する。ハフ変換は、公知の処理であるので、その説明を省略する。直線の候補としては、原稿画像２１の外縁を示す直線に加えて、破れ２１１の縁を示す直線や、オブジェクトＯｂの外縁を示す直線などの、種々の直線が、特定される。
ＣＰＵ８１０は、特定された候補直線から、矩形状を形成する４本の候補直線を、原稿画像２１の外縁を示す直線である縁直線として、選択する。複数の候補直線から原稿画像２１の外縁を示す４本の縁直線を選択する方法は、種々の方法であってよい。例えば、矩形状を形成する４本の候補直線が、４本の縁直線として、選択される。選択される４本の候補直線は、矩形状の４つの辺に、それぞれ対応する。４本の候補直線の複数の組み合わせが矩形状を形成する場合には、最も大きい矩形状を形成する４本の候補直線が、選択されてよい。

選択された４本の縁直線は、縮小画像上の原稿画像２１の輪郭を示している。ＣＰＵ８１０は、読取画像１１０内において、縮小画像内の４本の縁直線に対応する４本の直線を（すなわち、読取画像１１０内において、縮小画像内の４本の縁直線と同じ位置に位置する４本の直線を）、特定する。これにより、矩形原稿領域の４つの辺（例えば、図３（Ｂ）の４つの辺４１１〜４１４）が、特定される。以上のように、ＣＰＵ８１０は、読取画像１１０内の原稿を含む部分を矩形状の領域に区切って得られる矩形原稿領域２１０の４つの辺４１１〜４１４を特定する。本実施例では、矩形原稿領域２１０は、原稿を含む最小の矩形領域である。

なお、縁直線の特定は、縮小画像を用いずに、読取画像を用いて行われてもよい。ただし、縮小画像を用いる場合には、縁直線の特定に利用される画素数が少ないので、処理の負担を軽減できる。

Ｓ１２０（図２）では、ＣＰＵ８１０は、矩形原稿領域内の領域であって原稿ではない領域の候補である候補領域を特定する。図３（Ｂ）の例では、破れ２１１を示す領域２１３が、矩形原稿領域２１０内の領域であって原稿ではない領域である。このような候補領域を特定する方法は、種々の方法であってよい。本実施例では、ＣＰＵ８１０は、矩形原稿領域を二値化することによって、候補領域を特定する。具体的には、ＣＰＵ８１０は、上記の縮小画像内の矩形原稿領域に対応する領域の複数の画素を、特定輝度範囲内の輝度を有する第１種画素と、特定輝度範囲外の輝度を有する第２種画素と、に分ける二値化処理を実行する。特定輝度範囲は、予め決められた輝度の範囲であり、カバー９５０（図１）の対向面Ｂｓの色の輝度を含む範囲である。第１種画素は、カバー９５０の対向面Ｂｓの色に類似する色を示している。

ＣＰＵ８１０は、縮小画像内の第１種画素が連続する領域のうち、縁直線に接触する領域を、候補領域として選択する。原稿内のオブジェクトがカバー９５０の対向面Ｂｓの色に類似する色の部分を含む場合がある。この場合、オブジェクトのその部分も、第１種画素によって示される。通常は、原稿内のオブジェクトは、原稿の外縁よりも内側に配置されている。従って、第１種画素が連続する領域のうち縁直線に接触する領域は、破れ２１１の領域２１３のように、原稿のうちの欠落した部分を示す可能性が高い。

特定された候補領域は、縮小画像上の領域である。ＣＰＵ８１０は、読取画像１１０内において、縮小画像内の候補領域に対応する領域を（すなわち、読取画像１１０内において、縮小画像内の候補領域と同じ位置に位置する領域を）、特定する。これにより、矩形原稿領域内の候補領域が、特定される。

図３（Ｃ）には、矩形原稿領域２１０が示されている。図中では、特定された候補領域が、ハッチングで示されている。図示するように、破れ２１１を示す領域２１３が、候補領域として特定されている。なお、原稿には、複数の破れが形成され得る。従って、複数の破れに対応する複数の候補領域が、特定され得る。また、原稿に破れが形成されていない場合、特定される候補領域の総数は、ゼロであり得る。

なお、候補領域の特定は、縮小画像を用いずに、読取画像を用いて行われてもよい。ただし、縮小画像を用いる場合には、候補領域の特定に利用される画素数が少ないので、処理の負担を軽減できる。

Ｓ１３０（図２）では、ＣＰＵ８１０は、候補領域が補修の対象であるか否かを判断する。ＣＰＵ８１０は、候補領域に接する辺（具体的には、矩形原稿領域の辺）からの候補領域の長さが第１閾値以上である場合に、候補領域が補修の対象ではないと判断する。

図４は、候補領域の判断の処理の例を示すフローチャートである。Ｓ２００では、ＣＰＵ８１０は、Ｓ１２０（図２）で特定された候補領域のうち、図４の処理において未処理の１つの候補領域を、判断対象の候補領域として選択する（注目候補領域と呼ぶ）。Ｓ２１０では、ＣＰＵ８１０は、注目候補領域の長さ（具体的には、注目候補領域に接する辺からの、その辺に垂直な方向の長さ）が、第１閾値Ｔｈ１以上であるか否かを判断する。本実施例では、第１閾値Ｔｈ１は、予め決められており、ゼロよりも大きい。図３（Ｄ）には、読取画像１１０の処理例が示されている。図中の長さＬ１１は、候補領域２１３の辺４１３からの長さである。以下、長さＬ１１が、第１閾値Ｔｈ１未満であることとして、説明を行う。

注目候補領域の長さが第１閾値Ｔｈ１未満である場合（Ｓ２１０：Ｎｏ）、Ｓ２２０で、ＣＰＵ８１０は、注目候補領域を補修の対象として、選択する。すなわち、ＣＰＵ８１０は、注目候補領域を補修すべきと判断する。図３（Ｄ）の候補領域２１３は、補修すべきと判断される。そして、ＣＰＵ８１０は、Ｓ２４０へ移行する。

注目候補領域の長さが第１閾値Ｔｈ１以上である場合（Ｓ２１０：Ｙｅｓ）、Ｓ２３０で、ＣＰＵ８１０は、注目候補領域を補修の対象から除く。すなわち、ＣＰＵ８１０は、注目候補領域を補修すべきではないと判断する。そして、ＣＰＵ８１０は、Ｓ２４０へ移行する。

このように、候補領域の長さが第１閾値Ｔｈ１以上である場合に、候補領域を補修すべきではないと判断する理由は、長い候補領域の色が後述する補修処理で修正される場合に、色が修正された領域が不自然に見える可能性があるからである。

Ｓ２４０では、ＣＰＵ８１０は、全ての候補領域の処理が完了したか否かを判断する。未処理の候補領域が残っている場合（Ｓ２４０：Ｎｏ）、ＣＰＵ８１０は、Ｓ２００へ移行して、未処理の候補領域の処理を行う。全ての候補領域の処理が完了した場合（Ｓ２４０：Ｙｅｓ）、ＣＰＵ８１０は、図４の処理（ひいては、Ｓ１３０（図２））を終了する。

Ｓ１３５（図２）では、ＣＰＵ８１０は、部分余白領域を特定する。図３（Ｄ）には、特定される部分余白領域の例が示されている（部分余白領域５１１〜５１４）。上述したように、Ｓ１００では、ユーザによって、矩形状の原稿の四方のそれぞれの余白の幅が指定される。ＣＰＵ８１０は、矩形原稿領域２１０（図３（Ｄ））の辺４１１〜４１４の外側に接触する、指定された幅Ｗ２１〜Ｓ２４の、部分余白領域５１１〜５１４を特定する。

具体的には、ＣＰＵ８１０は、矩形原稿領域２１０の４個の辺４１１〜４１４から、ユーザによって指定された幅Ｗ２１〜Ｗ２４だけ外側に位置する４個の辺４１１ｘ〜４１４ｘで構成される矩形輪郭１１１ｓを特定する。外側の辺４１１ｘ〜４１４ｘと、内側の辺４１１〜４１４とは、それぞれ、平行である。そして、外側の辺４１１ｘ〜４１４ｘと内側の辺４１１〜４１４との間の距離は、それぞれ、ユーザによって指定された幅Ｗ２１〜Ｗ２４である。そして、ＣＰＵ８１０は、矩形輪郭１１１ｓと、矩形原稿領域２１０の輪郭４１０と、の間の領域５１０を、４個の辺４１１〜４１４にそれぞれ接する４個の部分余白領域５１１〜５１４に区分する。部分余白領域５１１〜５１４は、台形状の領域である。部分余白領域５１１〜５１４の上底と下底とは、内側の辺４１１〜４１４と、外側の辺４１１ｘ〜４１４ｘとである。

例えば、矩形原稿領域２１０の左側の辺４１１に接する部分余白領域５１１の上底と下底とは、内側の辺４１１と、辺４１１から幅Ｗ２１だけ外側に位置する外側の辺４１１ｘと、である（辺４１１、４１１ｘは、平行であり、辺４１１、４１１ｘの間の距離は、幅Ｗ２１である）。

読取画像１１０のうち、外側の辺４１１ｘ〜４１４ｘで囲まれる領域１１１、すなわち、矩形原稿領域２１０と４個の部分余白領域５１１〜５１４とで構成される領域１１１は、後述するように、出力画像に含まれる領域である（出力領域１１１と呼ぶ）。

Ｓ１４０（図２）では、ＣＰＵ８１０は、部分余白領域が補修の対象であるか否かを仮に判断する。Ｓ１４０では、各部分余白領域の仮の判断が、他の部分余白領域の判断とは独立に、行われる。本実施例では、ＣＰＵ８１０は、部分余白領域の幅が第２閾値以上である場合と、部分余白領域に補修の対象ではない候補領域が接触している場合とに、部分余白領域が補修の対象ではないと判断する。他の場合には、部分余白領域が補修の対象であると判断される。図３（Ｄ）の例では、部分余白領域５１１〜５１４の幅は、それぞれ、幅Ｗ２１〜Ｗ２４である。これらの幅Ｗ２１〜Ｗ２４が、ゼロよりも大きく、かつ、第２閾値未満である。そして、部分余白領域５１１〜５１４には、補修の対象ではない候補領域は、接触していない。従って、部分余白領域５１１〜５１４は、それぞれ、補修の対象であると判断される。なお、Ｓ１４０の処理の詳細については、後述する。

Ｓ１５０（図２）では、ＣＰＵ８１０は、部分余白領域が補修の対象であるか否かを最終的に判断する。Ｓ１５０では、各部分余白領域の最終的な判断結果が、他の部分余白領域の判断結果を考慮して、変更され得る。ＣＰＵ８１０は、少なくとも１つの部分余白領域とゼロ以上の候補領域とで構成される連続な領域に、補修すべきでないと仮に判断される領域が含まれる場合に、その連続な領域の全体を、補修すべきではないと判断する。図３（Ｄ）の例では、部分余白領域５１１〜５１４と候補領域２１３とは、連続な領域を形成する。Ｓ１３０では、候補領域２１３は、補修の対象であると判断され、Ｓ１４０では、部分余白領域５１１〜５１４の全てが、補修の対象であると、判断される。従って、Ｓ１５０では、部分余白領域５１１〜５１４と候補領域２１３とは、補修の対象であると最終的に判断される。なお、Ｓ１５０の処理の詳細については、後述する。

Ｓ１６０（図２）では、ＣＰＵ８１０は、補修対象の領域の補修処理を実行する。図５は、補修処理の例を示すフローチャートである。Ｓ５００では、ＣＰＵ８１０は、Ｓ１３５（図２）で特定された部分余白領域のうち、図５の処理において未処理の１つの部分余白領域を、処理対象の部分余白領域として選択する（注目部分余白領域と呼ぶ）。Ｓ５１０では、ＣＰＵ８１０は、注目部分余白領域が、補修の対象であるか否かを判断する。

注目部分余白領域が補修の対象である場合（Ｓ５１０：Ｙｅｓ）、Ｓ５２０で、ＣＰＵ８１０は、注目部分余白領域を補修する。具体的には、注目部分余白領域の色が、修正される。本実施例では、ＣＰＵ８１０は、注目部分余白領域の全ての画素の色値を、原稿画像２１（図３（Ａ））の背景Ｂｇを示す色値に、修正する。背景Ｂｇの色値の特定方法は、種々の方法であってよい。例えば、矩形原稿領域２１０内の複数の画素の各色成分のヒストグラムのそれぞれの最頻値が、背景Ｂｇの色を示す値として、採用されてよい。また、最頻値は、矩形原稿領域２１０から候補領域（例えば、図３（Ｃ）の候補領域２１３）を除いた残りの領域の縁部分の複数の画素を用いて、特定されてよい。

図３（Ｅ）は、補修処理によって得られる画像１１２の例を示している。この画像１１２は、図３（Ｄ）の出力領域１１１の画像に補修処理を行うことによって得られる画像である（出力画像１１２とも呼ぶ）。領域２１０ｘ、５１１ｘ〜５１４ｘは、図３（Ｄ）の領域２１０、５１１〜５１４に補修処理を行って得られる画像を、それぞれ示している。部分余白領域５１３（図３（Ｄ））が注目部分余白領域である場合、注目部分余白領域５１３の複数の画素の色は、背景Ｂｇの色に修正される。補修済の画像１１２（図３（Ｅ））において、矩形原稿領域２１０ｘの背景Ｂｇと部分余白領域５１３ｘとの間の色の差が小さくなる。この結果、領域２１０ｘ、５１３ｘの境界（ここでは、辺４１３）は、目立たなくなる。

Ｓ５３０（図５）では、ＣＰＵ８１０は、注目部分余白領域に接する補修の対象の候補領域を補修する。具体的には、補修の対象の候補領域の色が、修正される。本実施例では、ＣＰＵ８１０は、補修対象の候補領域の全ての画素の色を、原稿画像２１（図３（Ａ））の背景Ｂｇの色に、修正する。背景Ｂｇの色は、Ｓ５２０で特定された色と、同じである。部分余白領域５１３（図３（Ｄ））が注目部分余白領域である場合、補修の対象である候補領域２１３の複数の画素の色は、背景Ｂｇの色に修正される。補修済の画像１１２（図３（Ｅ））において、候補領域２１３ｘは、候補領域２１３（図３（Ｄ））の補修済の画像を示している。補修処理によって、矩形原稿領域２１０ｘの背景Ｂｇと候補領域２１３ｘとの間の色の差が小さくなる。この結果、領域２１０ｘの背景Ｂｇと候補領域２１３ｘとの境界は、目立たなくなる。

なお、後述するように、部分余白領域の幅は、ゼロであり得る。本実施例では、部分余白領域の幅がゼロである場合であっても、図２のＳ１４０、Ｓ１５０の処理によって、部分余白領域の色を修正すべきと判断され得る。そして、図５の処理では、注目部分余白領域の幅がゼロである場合であっても、注目部分余白領域の色を修正すべきと判断されている場合には、Ｓ５１０の判断結果がＹｅｓであり、Ｓ５３０で、注目部分余白領域に接する補修対象の候補領域の色が修正される。なお、注目部分余白領域の幅がゼロである場合、注目部分余白領域は、実際には、形成されない。従って、Ｓ５２０での色の修正は、省略される。

注目候補領域と候補領域との補修（Ｓ５２０、Ｓ５３０）の後、ＣＰＵ８１０は、Ｓ５４０へ移行する。注目部分余白領域が補修の対象ではない場合（Ｓ５１０：Ｎｏ）、ＣＰＵ８１０は、Ｓ５２０、Ｓ５３０をスキップして、Ｓ５４０へ移行する。Ｓ５４０では、ＣＰＵ８１０は、全ての部分余白領域の処理が完了したか否かを判断する。未処理の部分余白領域が残っている場合（Ｓ５４０：Ｎｏ）、ＣＰＵ８１０は、Ｓ５００へ移行して、未処理の部分余白領域の処理を行う。図３（Ｄ）の例では、部分余白領域５１１〜５１４の全てが、補修の対象である。この結果、補修済の画像１１２（図３（Ｅ））において、部分余白領域５１１ｘ〜５１４ｘの全てが、補修される。これにより、矩形原稿領域２１０ｘの背景Ｂｇと部分余白領域５１１ｘ〜５１４ｘとの間の色の差が小さくなる。この結果、矩形原稿領域２１０ｘと部分余白領域５１１ｘ〜５１４ｘとの境界（ここでは、辺４１１〜４１４）は、目立たなくなる。

全ての部分余白領域の処理が完了した場合（図５：Ｓ５４０：Ｙｅｓ）、ＣＰＵ８１０は、図５の処理（ひいては、Ｓ１６０（図２））を、終了する。

Ｓ１７０（図２）では、ＣＰＵ８１０は、補修済みの画像（例えば、図３（Ｅ）の出力画像１１２）を示す出力画像データを生成する。出力画像データのデータ形式は、任意のであってよい。例えば、ＪＰＥＧ形式の出力画像データが、生成されてよい。

Ｓ１８０では、ＣＰＵ８１０は、出力画像データを、出力する。出力先の装置は、任意の装置であってよい。例えば、出力先は、画像処理装置８００に設けられた内部の記憶装置８１５（例えば、不揮発性記憶装置８３０）であってよい。この場合、ＣＰＵ８１０は、出力画像データを、不揮発性記憶装置８３０に格納する。ユーザは、不揮発性記憶装置８３０に格納された出力画像データを、任意の用途（例えば、印刷や表示など）に、利用してよい。また、出力先の装置は、画像処理装置８００に接続された、図示しない外部の記憶装置であってよい（例えば、ＵＳＢメモリ）。この場合、ＣＰＵ８１０は、外部の記憶装置に、出力画像データを格納する。また、出力先の装置は、画像処理装置８００に接続された、図示しないプリンタであってもよい。この場合、ＣＰＵ８１０は、出力画像データをプリンタに出力することによって、プリンタに出力画像（すなわち、補修済の画像）を、印刷させてよい。Ｓ１８０の完了に応じて、ＣＰＵ８１０は、図２の処理を終了する。

Ａ−３．部分余白領域の仮の判断処理：
図６は、部分余白領域の仮の判断の処理（図２：Ｓ１４０）の例を示すフローチャートである。Ｓ３００では、ＣＰＵ８１０は、Ｓ１３５（図２）で特定された部分余白領域のうち、図６の処理において未処理の１つの部分余白領域を、判断対象の部分余白領域として選択する（注目部分余白領域と呼ぶ）。Ｓ３１０では、ＣＰＵ８１０は、注目部分余白領域を、補修の対象として、仮に選択する。Ｓ３２０では、ＣＰＵ８１０は、注目部分余白領域の幅（具体的には、矩形原稿領域の４個の辺のうちの注目部分余白領域に接する辺からの、その辺に垂直な方向の幅）が、第２閾値Ｔｈ２以上であるか否かを判断する。本実施例では、第２閾値Ｔｈ２は、予め決められており、ゼロよりも大きい。図３（Ｄ）の例では、部分余白領域５１１〜５１４の幅は、それぞれ、幅Ｗ２１〜Ｗ２４である。以下、これらの幅Ｗ２１〜Ｗ２４が、ゼロよりも大きく、かつ、閾値Ｔｈ２未満であることとして、説明を行う。

注目部分余白領域の幅が第２閾値Ｔｈ２以上である場合（Ｓ３２０：Ｙｅｓ）、Ｓ３３０で、ＣＰＵ８１０は、注目部分余白領域を、補修の対象から除く。すなわち、ＣＰＵ８１０は、注目部分余白領域を補修すべきではないと、仮に判断する。そして、ＣＰＵ８１０は、Ｓ３４０へ移行する。

このように、部分余白領域の幅が第２閾値Ｔｈ２以上である場合に、部分余白領域を補修すべきではないと仮に判断される。この理由は、以下の通りである。大きな部分余白領域の色が修正される場合、色が修正される領域が大きいので、色が修正された領域が不自然に見える可能性がある。本実施例では、部分余白領域の幅が第２閾値Ｔｈ２以上である場合に、部分余白領域を補修すべきではないと仮に判断されるので、色が修正された領域が不自然に見えることを抑制できる。

注目部分余白領域の幅が第２閾値Ｔｈ２未満である場合（Ｓ３２０：Ｎｏ）、ＣＰＵ８１０は、Ｓ３５０〜Ｓ３９０の処理を実行する。これにより、注目部分余白領域に、補修の対象ではない非対象の候補領域が接している場合に、注目部分余白領域が、補修の対象から除かれる。

具体的には、Ｓ３５０で、ＣＰＵ８１０は、注目部分余白領域の幅がゼロよりも大きいか否かを判断する。上述したように、ユーザによって指定される余白の幅がゼロである場合、注目部分余白領域の幅は、ゼロである。注目部分余白領域の幅がゼロである場合（Ｓ３５０）、ＣＰＵ８１０は、Ｓ３５５〜Ｓ３９０をスキップし、注目部分余白領域を補修の対象から除かずに、Ｓ３４０へ移行する。

注目部分余白領域の幅がゼロよりも大きい場合（Ｓ３５０：Ｙｅｓ）、Ｓ３５５で、ＣＰＵ８１０は、注目部分余白領域に接する候補領域が存在するか否かを判断する。注目部分余白領域に接する候補領域が存在しない場合（Ｓ３５５：Ｎｏ）、ＣＰＵ８１０は、Ｓ３６０〜Ｓ３９０をスキップし、注目部分余白領域を補修の対象から除かずに、Ｓ３４０へ移行する。

例えば、図３（Ｄ）の部分余白領域５１１、５１２、５１４には、候補領域は、接していない。従って、これらの部分余白領域５１１、５１２、５１４が注目部分余白領域である場合、Ｓ３５５の判断結果は、Ｎｏである。この結果、部分余白領域５１１、５１２、５１４は、補修の対象から除かれずに、補修すべきであるという仮の判断（Ｓ３１０）は、維持される。

注目部分余白領域に接する候補領域が存在する場合（Ｓ３５５：Ｙｅｓ）、Ｓ３６０で、ＣＰＵ８１０は、注目部分余白領域に接する候補領域から、未判断の１つの候補領域を、処理対象の候補領域として選択する（注目候補領域と呼ぶ）。Ｓ３７０では、ＣＰＵ８１０は、注目候補領域が、補修の非対象であるか否かを判断する。注目候補領域が補修の非対象である場合、すなわち、注目候補領域が補修の対象ではない場合（Ｓ３７０：Ｙｅｓ）、Ｓ３８０で、ＣＰＵ８１０は、注目部分余白領域を、補修の対象から除く。すなわち、ＣＰＵ８１０は、注目部分余白領域を補修すべきではないと、判断する。そして、ＣＰＵ８１０は、Ｓ３９０へ移行する。

注目候補領域が補修の対象である場合、すなわち、注目候補領域が補修の対象である場合（Ｓ３７０：Ｎｏ）、ＣＰＵ８１０は、Ｓ３８０をスキップして、Ｓ３９０へ移行する。

例えば、図３（Ｄ）の部分余白領域５１３が注目部分余白領域である場合、候補領域２１３が、注目候補領域であり得る。候補領域２１３は、補修の対象であるので、Ｓ３７０の判断結果は、Ｎｏである。この結果、部分余白領域５１３は、補修の対象から除かれずに、補修すべきであるという仮の判断（Ｓ３１０）は、維持される。

Ｓ３９０では、ＣＰＵ８１０は、注目部分余白領域に接する全ての候補領域の処理が完了したか否かを判断する。未処理の候補領域が残っている場合（Ｓ３９０：Ｎｏ）、ＣＰＵ８１０は、Ｓ３６０へ移行して、未処理の候補領域の処理を行う。全ての候補領域の処理が完了した場合（Ｓ３９０：Ｙｅｓ）、ＣＰＵ８１０は、Ｓ３４０へ移行する。

Ｓ３４０では、ＣＰＵ８１０は、全ての部分余白領域の仮の判断の処理が完了したか否かを判断する。未処理の部分余白領域が残っている場合（Ｓ３４０：Ｎｏ）、ＣＰＵ８１０は、Ｓ３００へ移行して、未処理の部分余白領域の処理を行う。全ての部分余白領域の処理が完了した場合（Ｓ３４０：Ｙｅｓ）、ＣＰＵ８１０は、図６の処理（ひいては、Ｓ１４０（図２））を、終了する。

Ａ−４．部分余白領域の最終的な判断処理：
図７は、部分余白領域の最終的な判断の処理（図２：Ｓ１５０）の例を示すフローチャートである。Ｓ４００では、ＣＰＵ８１０は、Ｓ１３５（図２）で特定された部分余白領域のうち、図７の処理において未処理の１つの部分余白領域を、判断対象の部分余白領域として選択する（注目部分余白領域と呼ぶ）。Ｓ４１０では、ＣＰＵ８１０は、注目部分余白領域のＳ１４０（図２）での仮の判断結果が、「補修すべきである（すなわち、補修の対象である）」か否かを判断する。注目部分余白領域が、補修の対象ではない場合（Ｓ４１０：Ｎｏ）、ＣＰＵ８１０は、注目部分余白領域の判断結果（補修の対象ではない）を変更せずに、Ｓ４８０へ移行する。

注目部分余白領域が、補修の対象である場合（Ｓ４１０：Ｙｅｓ）、Ｓ４２０で、ＣＰＵ８１０は、注目部分余白領域の幅がゼロよりも大きいか否かを判断する。注目部分余白領域の幅がゼロである場合（Ｓ４２０：Ｎｏ）、ＣＰＵ８１０は、注目部分余白領域の判断結果（補修の対象である）を変更せずに維持し、そして、Ｓ４８０へ移行する。

注目部分余白領域の幅がゼロよりも大きい場合（Ｓ４２０：Ｙｅｓ）、Ｓ４３０で、ＣＰＵ８１０は、注目部分余白領域の一方の隣の部分余白領域が、「幅がゼロより大きい」かつ「補修の対象ではない（補修の非対象である）」という条件を満たすか否かを判断する。Ｓ４３０の判断結果がＮｏである場合、Ｓ４４０で、ＣＰＵ８１０は、注目部分余白領域の他方の隣の部分余白領域が、「幅がゼロより大きい」かつ「補修の対象ではない（補修の非対象である）」という条件を満たすか否かを判断する。

例えば、図３（Ｄ）の部分余白領域５１３が注目部分余白領域である場合、Ｓ４３０では、注目部分余白領域５１３の時計回り方向の隣の部分余白領域５１４に関する判断が行われ、Ｓ４４０では、注目部分余白領域５１３の反時計回り方向の隣の部分余白領域５１２に関する判断が行われる。部分余白領域５１４の幅Ｗ２４は、ゼロよりも大きく、かつ、部分余白領域５１４は、補修の対象であるので、Ｓ４３０の判断結果は、Ｎｏである。また、部分余白領域５１２の幅Ｗ２２は、ゼロよりも大きく、かつ、部分余白領域５１２は、補修の対象であるので、Ｓ４４０の判断結果は、Ｎｏである。

具体的な図の例については後述するが、両隣の部分余白領域のうちの少なくとも１個の部分余白領域に関して、部分余白領域の幅がゼロより大きく、かつ、部分余白領域が補修の対象ではない場合（Ｓ４３０：Ｙｅｓ、または、Ｓ４４０：Ｙｅｓ）、Ｓ４７０で、ＣＰＵ８１０は、注目部分余白領域を補修の対象から除き、Ｓ４８０へ移行する。このように、幅がゼロよりも大きく、かつ、補修の対象ではない部分余白領域に隣接する注目部分余白領域は、補修の対象から除かれる。この理由は、補修の対象である注目部分余白領域の隣に補修の対象ではない部分余白領域が配置される場合、それらの領域が接する境界で、色の差が目立ち易いからである。なお、隣の部分余白領域の幅がゼロである場合には、出力画像において隣の部分余白領域は実際には形成されないので、色の差を目立たせるような境界は、形成されない。そこで、本実施例では、隣の部分余白領域の幅がゼロである場合には、Ｓ４３０、Ｓ４４０の判断結果がＮｏであることとした。

Ｓ４３０、Ｓ４４０の判断結果がＮｏである場合、Ｓ４５０で、ＣＰＵ８１０は、注目部分余白領域の向かい側の部分余白領域（対向部分余白領域と呼ぶ）が、「幅がゼロより大きい」かつ「補修の対象ではない（補修の非対象である）」という条件を満たすか否かを判断する。Ｓ４５０の判断結果がＮｏである場合、ＣＰＵ８１０は、Ｓ４８０へ移行し、注目部分余白領域を補修の対象から除かずに、補修すべきであるという仮の判断を維持する。例えば、図３（Ｄ）の部分余白領域５１３が注目部分余白領域である場合、注目部分余白領域５１３の向かい側の対向部分余白領域５１１は、補修の対象であり、その幅Ｗ２１は、ゼロより大きい。従って、Ｓ４５０の判断結果は、Ｎｏである。Ｓ４５０の判断結果がＮｏである場合、注目部分余白領域と対向部分余白領域との両方が、補修の対象であり得、また、対向部分余白領域の幅がゼロであり得る。この場合、注目部分余白領域と対向部分余白領域との間で、補修処理後の色の差が目立つことは、抑制される。例えば、図３（Ｄ）の部分余白領域５１３が注目部分余白領域である場合、注目部分余白領域５１３と対向部分余白領域５１１との両方が、補修の対象である（Ｓ４５０：Ｎｏ）。注目部分余白領域と対向部分余白領域との両方が補修される場合、これらの領域の間で、補修処理後の色の差が目立つことは、抑制される。そこで、ＣＰＵ８１０は、注目部分余白領域を補修の対象から除かずに、補修すべきであるという仮の判断を維持する。

Ｓ４５０の判断結果がＹｅｓである場合、Ｓ４６０で、ＣＰＵ８１０は、注目部分余白領域の少なくとも１つの隣の部分余白領域の幅が、ゼロよりも大きいか否かを判断する。

Ｓ４６０の判断結果がＹｅｓである場合、ＣＰＵ８１０は、Ｓ４７０へ移行し、注目部分余白領域を補修の対象から除き、Ｓ４８０へ移行する。具体的な図の例については後述するが、Ｓ４５０、Ｓ４６０の判断結果がＹｅｓである場合、補修の対象である注目部分余白領域と、補修の対象ではない対向部分余白領域とが、ゼロより大きい幅を有する隣の部分余白領域を介して、連続する。この結果、連続する注目部分余白領域と対向部分余白領域との間で、補修処理後の色の差が、大きくなり得る。そこで、本実施例では、注目部分余白領域は、対向部分余白領域に合わせて、補修の対象から除かれる。

Ｓ４６０の判断結果がＮｏである場合、ＣＰＵ８１０は、Ｓ４８０へ移行し、注目部分余白領域を補修の対象から除かずに、補修すべきであるという仮の判断を維持する。Ｓ４６０の判断結果がＮｏである場合、注目部分余白領域と対向部分余白領域とは、連続ではない。従って、注目部分余白領域と対向部分余白領域との間で、補修処理後の色の差が目立つことは、抑制される。そこで、そこで、ＣＰＵ８１０は、注目部分余白領域を補修の対象から除かずに、補修すべきであるという仮の判断を維持する。

Ｓ４８０では、ＣＰＵ８１０は、全ての部分余白領域の判断の処理が完了したか否かを判断する。未処理の部分余白領域が残っている場合（Ｓ４８０：Ｎｏ）、ＣＰＵ８１０は、Ｓ４００へ移行して、未処理の部分余白領域の処理を行う。全ての部分余白領域の処理が完了した場合（Ｓ４８０：Ｙｅｓ）、ＣＰＵ８１０は、図７の処理（ひいては、Ｓ１５０（図２））を、終了する。

以上のように、図２のＳ１３０、Ｓ１４０、Ｓ１５０の処理において、注目部分余白領域の色を修正すべきと判断されるための条件は、注目部分余白領域に連続する領域を構成する部分余白領域と候補領域とが、色を修正すべきではないと判断される領域を含まないことを、含んでいる。従って、色が修正された領域に色が修正されない領域が接することが抑制される。この結果、色が修正された領域と色が修正されない領域との間の色の差が目立つことが、抑制される。

Ａ−５．別の画像の処理例：
図８は、別の画像の処理例を示す説明図である。図８（Ａ）〜図８（Ｅ）の説明図は、図３（Ａ）〜図３（Ｅ）の説明図に、それぞれ対応している。図８（Ａ）には、読取画像１２０が示されている。図３（Ａ）の読取画像１１０との差異は、破れ２２１が長い点だけである。原稿画像２２と外側画像３２とのうち破れ２２１以外の部分は、図３（Ａ）の原稿画像２１と外側画像３２との対応する部分と同じである。

図８（Ｂ）には、図２のＳ１１０で特定される辺４２１〜４２４が、示されている。図２のＳ１１０では、図３（Ｂ）の辺４１１〜４１４と同様に、原稿画像２２の輪郭を示す辺４２１〜４２４が、特定される。矩形原稿領域２２０は、辺４２１〜４２４によって形成される輪郭４２０に囲まれる矩形領域である。矩形原稿領域２２０の外側の領域である余白領域３２０は、原稿画像２２の外側の余白を示している。破れ２２１を示す領域２２３は、矩形原稿領域２２０に含まれている。

図８（Ｃ）には、図２のＳ１２０で特定される候補領域が示されている。図示するように、破れ２２１を示す領域２２３が、候補領域として特定される。候補領域２２３は、辺４２３に接する領域である。

図８（Ｄ）には、読取画像１２０の処理例が示されている。図中の長さＬ２１は、候補領域２２３の、候補領域２２３に接する辺４２３からの長さ（ここでは、辺４２３に垂直な方向の長さ）である。図２のＳ１３０（ひいては、図４の処理）では、この長さＬ２１に応じて、候補領域２２３を補修すべきか否かが、判断される。本実施例では、長さＬ２１は、第１閾値Ｔｈ１以上であることとする。この場合、図４のＳ２１０の判断結果がＹｅｓであるので、候補領域２２３は、補修の対象から除かれる（Ｓ２３０）。

また、図８（Ｄ）には、図２のＳ１３５で特定される部分余白領域５２１〜５２４が、示されている。本実施例では、ユーザによって指定される幅Ｗ２１〜Ｗ２４は、図３（Ｄ）の幅Ｗ２１〜Ｗ２４と、それぞれ同じである。そして、図３（Ｄ）の実施例と同様に、矩形原稿領域２２０の４個の辺４２１〜４２４から、ユーザによって指定された幅Ｗ２１〜Ｗ２４だけ外側に位置する４個の辺４２１ｘ〜４２４ｘで構成される矩形輪郭１２１ｓが、特定される。そして、矩形輪郭１２１ｓと矩形原稿領域２２０の輪郭４２０との間の領域５２０が、４個の辺４２１〜４２４にそれぞれ接する４個の部分余白領域５２１〜５２４に区分される。部分余白領域５２１〜５２４は、内側の辺４２１〜４２４と外側の辺４２１ｘ〜４２４ｘとを上底および下底として有する台形の領域である。矩形原稿領域２２０と４個の部分余白領域５２１〜５２４とで構成される領域１２１は、出力画像に含まれる出力領域である（出力領域１２１と呼ぶ）。

図２のＳ１４０（ひいては、図６の処理）では、部分余白領域５２１〜５２４（図８（Ｄ））を補修すべきか否かの仮の判断が行われる。部分余白領域５２１〜５２４の幅Ｗ２１〜Ｗ２４は、第２閾値Ｔｈ２未満である（図６：Ｓ３２０）。従って、これらの部分余白領域５２１〜５２４は、この段階では、補修対象から除かれない（すなわち、補修すべきであると仮に判断される（Ｓ３２０：Ｎｏ））。そして、左側、上側、下側の３個の部分余白領域５２１、５２２、５２４には、候補領域は接していない（Ｓ３５５：Ｎｏ）。従って、３個の部分余白領域５２１、５２２、５２４に関しては、補修すべきであるという仮の判断結果が、維持される。右側の部分余白領域５２３には、候補領域２２３が接している（Ｓ３５５：Ｙｅｓ）。この候補領域２２３は、補修の非対象である（Ｓ３７０：Ｙｅｓ）。従って、部分余白領域５２３は、補修の対象から除かれる（Ｓ３８０）。

図２のＳ１５０（ひいては、図７の処理）では、部分余白領域５２１〜５２４（図８（Ｄ））を補修すべきか否かの最終的な判断が行われる。左側の部分余白領域５２１が注目部分余白領域である場合、注目部分余白領域５２１は、補修の対象であり（Ｓ４１０：Ｙｅｓ）、幅Ｗ２１は、ゼロよりも大きい（Ｓ４２０：Ｙｅｓ）。両隣の部分余白領域５２２、５２４は、補修の対象である（Ｓ４３０：Ｎｏ、Ｓ４４０：Ｎｏ）。対向部分余白領域５２３は、補修の非対象であり、その幅Ｗ２３は、ゼロよりも大きい（Ｓ４５０：Ｙｅｓ）。隣の部分余白領域５２２、５２４の幅Ｗ２２、Ｗ２４は、ゼロよりも大きい（Ｓ４６０：Ｙｅｓ）。これらの結果、部分余白領域５２１は、補修の対象から除かれる（Ｓ４７０）。

上側の部分余白領域５２２が注目部分余白領域である場合、注目部分余白領域５２２は、補修の対象であり（Ｓ４１０：Ｙｅｓ）、幅Ｗ２２は、ゼロよりも大きい（Ｓ４２０：Ｙｅｓ）。隣の部分余白領域５２３は、補修の非対象であり、幅Ｗ２３はゼロよりも大きい（Ｓ４３０：Ｙｅｓ）。これらの結果、部分余白領域５２２は、補修の対象から除かれる（Ｓ４７０）。

下側の部分余白領域５２４が注目部分余白領域である場合、上側の部分余白領域５２２が注目部分余白領域である場合と同様に、処理が進行する。そして、部分余白領域５２４は、補修の対象から除かれる（Ｓ４７０）。

右側の部分余白領域５２３が注目部分余白領域である場合、部分余白領域５２３は、補修の対象ではない（Ｓ４１０：Ｎｏ）。従って、部分余白領域５２３を補修すべきではない、という仮の判断は、維持される。

このように、図２のＳ１３０、Ｓ１４０、Ｓ１５０によって、部分余白領域５２１〜５２４と候補領域２２３との全てが、補修すべきではないと判断される。そして、図２のＳ１６０（ひいては、図５の処理）では、これらの判断結果に従って、補修処理が行われる。

図８（Ｅ）は、補修処理によって得られる出力画像１２２の例を示している。この画像１２２は、図８（Ｄ）の出力領域１２１の画像に補修処理を行うことによって得られる画像である。上述したように、部分余白領域５２１〜５２４と候補領域２２３との全てが、補修すべきではないと判断されている。従って、これらの領域５２１〜５２４、２２３の画像は、補修されずに、そのまま維持される（図５：Ｓ５１０：Ｎｏ）。

このように、図４の処理で、候補領域２２３の長さＬ２１が第１閾値Ｔｈ１以上である場合には、候補領域２２３を補修すべきではないと判断される（Ｓ２１０：Ｙｅｓ）。仮に、大きな候補領域の色が補修処理によって修正される場合、色が修正される領域が大きいので、色が修正された領域が不自然に見える可能性がある。上記構成によれば、大きな候補領域に関しては、色を修正すべきではないと判断されるので、色が修正された領域が不自然に見えることを抑制できる。また、候補領域が大きい場合、候補領域は、意図しない破れではなく、意図的に切り取られた部分を示す可能性が高い。このような意図的に形成された部分の色の修正が抑制されるので、出力画像が不自然に見えることを抑制できる。

また、図６の処理で、右側の部分余白領域５２３が注目部分余白領域である場合、Ｓ３２０では、注目部分余白領域５２３は、補修の対象であると仮に判断される。すなわち、注目部分余白領域５２３は、補修すべきではないと仮に判断するための条件である非対象仮条件（Ｓ３２０）を、満たしていない。この場合、Ｓ３５５〜Ｓ３９０では、注目部分余白領域５２３に接する候補領域であるゼロ個以上の隣接候補領域が、補修の対象ではない非対象候補領域を含むか否かが判断される。図８（Ｄ）の例では、注目部分余白領域５２３に接する候補領域２２３は、非対象候補領域である。このように、隣接候補領域が非対象候補領域を含む場合に（Ｓ３７０：Ｙｅｓ）、注目部分余白領域５２３は、補修の対象から除かれる（Ｓ３８０）。これにより、色が修正された部分余白領域に色が修正されない候補領域が接することが抑制される。この結果、色が修正されない候補領域が目立つことが、抑制される。

図８（Ｆ）は、仮に、候補領域２２３が補修されずに、部分余白領域５２１〜５２４が補修される場合に生成される画像１２２ｘの例を示している。図示するように、矩形原稿領域２２０の外側には、色が修正された部分余白領域５２１ｘ〜５２４ｘが、配置されている。特に、候補領域２２３には、補修済の部分余白領域５２３ｘが、接している。これにより、画像１２２ｘにおいて、色が修正されていない候補領域２２３は、矩形原稿領域２２０の背景Ｂｇと部分余白領域５２３ｘとに囲まれた孤島のように、示される。この結果、候補領域２２３は、意図せずに、目立ち得る。本実施例では、このように候補領域２２３が意図せずに目立つことが、抑制される。

また、図６の処理で、左側と上側と下側の部分余白領域５２１、５２２、５２４が注目部分余白領域である場合、注目部分余白領域５２１、５２２、５２４は、補修の対象であると仮に判断される（Ｓ３１０、Ｓ３２０：Ｎｏ、Ｓ３５５：Ｎｏ）。そして、図７の処理で、上側と下側の部分余白領域５２２、５２４が注目部分余白領域である場合、Ｓ４３０、Ｓ４４０では、注目部分余白領域５２２、５２４に接する隣の部分余白領域が、補修の非対象であるか否か、すなわち、補修すべきではないと判断されるか否かが、判断される。図８（Ｄ）の例では、隣の部分余白領域５２３は、補修の非対象であり、その幅Ｗ２３は、ゼロより大きい。従って、Ｓ４３０、Ｓ４４０の少なくとも一方の判断結果が、Ｙｅｓである。この場合、注目部分余白領域５２２、５２４は、補修の対象から除かれる（Ｓ４７０）。

また、図７の処理で、左の部分余白領域５２１が注目部分余白領域である場合、Ｓ４３０、Ｓ４４０では、注目部分余白領域５２１に接する隣の部分余白領域５２２、５２４が、補修の非対象であるか否か、すなわち、補修すべきではないと判断されるか否かが、判断される。部分余白領域５２２、５２４は、図２のＳ１４０で補修の対象であると仮に判断されているので、Ｓ４３０、Ｓ４４０の判断結果は、Ｎｏである。この場合、Ｓ４５０、Ｓ４６０では、隣の部分余白領域５２２、５２４を介して注目部分余白領域５２１に連続な対向部分余白領域５２３が、補修の非対象であるか否か、すなわち、補修すべきではないと判断されるか否かが、判断される。図８（Ｄ）の例では、対向部分余白領域５２３は補修の非対象である（Ｓ４５０：Ｙｅｓ）。そして、隣の部分余白領域５２２、５２４の幅Ｗ２２、Ｗ２４は、ゼロよりも大きい（Ｓ４６０：Ｙｅｓ）。この場合、注目部分余白領域５２１は、補修の対象から除かれる（Ｓ４７０）

このように、注目部分余白領域に接する隣の部分余白領域と、隣の部分余白領域に接する対向部分余白領域と、の少なくとも一方が、色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきではないと、判断される。このように、注目部分余白領域に連続する他の部分余白領域の色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきでは無いと判断されるので、色が修正される部分余白領域と色が修正されない部分余白領域とが連続することが抑制される。この結果、色が修正される部分余白領域と色が修正されない部分余白領域とが連続することに起因して色の違いが目立つことが、抑制される。

以上のように、図２のＳ１３０、Ｓ１４０、Ｓ１５０の処理では、１以上の部分余白領域と候補領域とのうちの注目部分余白領域に連続する領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきではないと判断される。従って、色が修正された領域に色が修正されない領域が隣接することが抑制される。この結果、色が修正された領域と色が修正されない領域との間の色の差が目立つことが、抑制される。

Ａ−６．別の画像の処理例：
図９は、別の画像の処理例を示す説明図である。図９（Ａ）〜図９（Ｅ）の説明図は、図３（Ａ）〜図３（Ｅ）の説明図に、それぞれ対応している。図９（Ａ）には、読取画像１３０が示されている。読取画像１３０は、原稿を示す原稿画像２３と、原稿画像２３の外側の画像である外側画像３３と、を含む。図３（Ａ）の読取画像１１０とは異なり、原稿画像２３には、２個の破れ２３１、２３２が形成されている。また、原稿画像２３の幅は、図３（Ａ）の原稿画像２１の幅よりも、小さい。

図９（Ｂ）には、図２のＳ１１０で特定される辺４３１〜４３４が、示されている。図２のＳ１１０では、図３（Ｂ）の辺４１１〜４１４と同様に、原稿画像２３の輪郭を示す辺４３１〜４３４が、特定される。矩形原稿領域２３０は、辺４３１〜４３４によって形成される輪郭４３０に囲まれる矩形領域である。矩形原稿領域２３０の外側の領域である余白領域３３０は、原稿画像２３の外側の余白を示している。破れ２３１、２３２を示す領域２３３、２３４は、矩形原稿領域２３０に含まれている。

図９（Ｃ）には、図２のＳ１２０で特定される候補領域が示されている。図示するように、破れ２３１、２３２を示す領域２３３、２３４が、候補領域として特定される。右側の候補領域２３３は、右側の辺４３３に接する領域であり、左側の候補領域２３４は、左側の辺４３１に接する領域である。

図９（Ｄ）には、読取画像１３０の処理例が示されている。図中の長さＬ３１は、候補領域２３３の、候補領域２３３に接する辺４３３に垂直な方向の長さである。長さＬ３２は、候補領域２３４の、候補領域２３４に接する辺４３１に垂直な方向の長さである。図２のＳ１３０（ひいては、図４の処理）では、この長さＬ３１、Ｌ３２に応じて、候補領域２３３、２３４を補修すべきか否かが、判断される。本実施例では、長さＬ３１、Ｌ３２は、それぞれ、第１閾値Ｔｈ１未満であることとする。この場合、図４のＳ２１０の判断結果がＮｏであるので、候補領域２３３、２３４は、いずれも、補修の対象として選択される（Ｓ２２０）。

また、図８（Ｄ）には、図２のＳ１３５で特定される部分余白領域５３１〜５３４が、示されている。本実施例では、左側の幅Ｗ２１は、ゼロより大きく、第２閾値Ｔｈ２（図６）未満であり、上側と下側の幅Ｗ２２、Ｗ２４は、ゼロであり、右側の幅Ｗ２３は、第２閾値Ｔｈ２以上である。矩形原稿領域２３０の４個の辺４３１〜４３４から、ユーザによって指定された幅Ｗ２１〜Ｗ２４だけ外側に位置する４個の辺４３１ｘ〜４３４ｘで構成される矩形輪郭１３１ｓが、特定される。そして、矩形輪郭１３１ｓと矩形原稿領域２３０の輪郭４３０との間の領域５３０が、部分余白領域５３１〜５３４に区分される。部分余白領域５３１〜５３４は、内側の辺４３１〜４３４と外側の辺４３１ｘ〜４３４ｘとを上底および下底として有する台形の領域である。なお、上側と下側の辺４３２ｘ、４３４ｘは、元の辺４３２、４３４に重なっている。上側と下側の部分余白領域５３２、５３４は、幅がゼロの領域である。幅がゼロである領域５３２、５３４は、実際には形成されない。従って、左側の部分余白領域５３１と、右側の部分余白領域５３３とは、矩形原稿領域２３０の外側において、連続せずに、互いに離れている。矩形原稿領域２３０と、ゼロより大きい幅を有する部分余白領域５３１、５３３とで構成される領域１３１は、出力画像に含まれる出力領域である（出力領域１３１と呼ぶ）。

図２のＳ１４０（ひいては、図６の処理）では、部分余白領域５３１〜５３４（図９（Ｄ））を補修すべきか否かの仮の判断が行われる。

左側の部分余白領域５３１の幅Ｗ２１は、第２閾値Ｔｈ２未満である（図６：Ｓ３２０：Ｎｏ）。従って、部分余白領域５３１は、この段階では、補修すべきであると仮に判断される。この部分余白領域５３１に接触する候補領域２３４は、補修の対象である（Ｓ３７０：Ｎｏ）。従って、部分余白領域５３１を補修すべきであるという仮の判断は、維持される。

右側の部分余白領域５３３の幅Ｗ２３は、第２閾値Ｔｈ２以上である（Ｓ３２０：Ｙｅｓ）。従って、Ｓ３３０で、部分余白領域５３３は、補修の対象から除かれる。

上側と下側の部分余白領域５３２、５３４の幅Ｗ２２、Ｗ２４は、ゼロ、すなわち、第２閾値Ｔｈ２未満である（Ｓ３２０：Ｎｏ）。従って、部分余白領域５３２、５３４は、この段階では、補修すべきであると仮に判断される。また、これらの部分余白領域５３２、５３４の幅Ｗ２２、Ｗ２４は、ゼロである（Ｓ３５０：Ｎｏ）。従って、部分余白領域５３２、５３４を補修すべきであるという仮の判断は、維持される。

図２のＳ１５０（ひいては、図７の処理）では、部分余白領域５３１〜５３４（図９（Ｄ））を補修すべきか否かの最終的な判断が行われる。左側の部分余白領域５３１が注目部分余白領域である場合、注目部分余白領域５３１は、補修の対象であり（Ｓ４１０：Ｙｅｓ）、幅Ｗ２１は、ゼロよりも大きい（Ｓ４２０：Ｙｅｓ）。両隣の部分余白領域５２２、５２４に関しては、幅Ｗ２２、Ｗ２４がゼロである（Ｓ４３０：Ｎｏ、Ｓ４４０：Ｎｏ）。対向部分余白領域５３３は、補修の非対象であり、その幅Ｗ２３は、ゼロよりも大きい（Ｓ４５０：Ｙｅｓ）、隣の部分余白領域５３２、５３４の幅Ｗ２２、Ｗ２４は、ゼロである（Ｓ４６０：Ｎｏ）。これらの結果、部分余白領域５２１を補修すべきという仮の判断結果は、維持される。

このように、注目部分余白領域５３１の対向部分余白領域５３３が補修の非対象である場合であっても、注目部分余白領域５３１と対向部分余白領域５３３が、ゼロより大きい幅の共通の部分余白領域に接していない場合には、注目部分余白領域５３１を補修すべきという仮の判断結果は、維持される。この理由は、注目部分余白領域５３１と対向部分余白領域５３３が、矩形原稿領域２３０の外側において、連続せずに離れている場合には、注目部分余白領域５３１と対向部分余白領域５３３との間の補修処理後の色の差が目立つことが、抑制されるからである。

上側と下側の部分余白領域５３２、５３４に関しては、幅Ｗ２２、Ｗ２４がゼロであるので（Ｓ４２０：Ｎｏ）、部分余白領域５３２、５３４を補修すべきであるという仮の判断は、維持される。右側の部分余白領域５３３に関しては、部分余白領域５３３は補修の対象ではないので（Ｓ４１０：Ｎｏ）、部分余白領域５３３を補修すべきではないという仮の判断結果は、維持される。

図２のＳ１６０（ひいては、図５の処理）では、これらの判断結果に従って、補修処理が行われる。

図９（Ｅ）は、補修処理によって得られる出力画像１３２の例を示している。この画像１３２は、図９（Ｄ）の出力領域１３１の画像に補修処理を行うことによって得られる画像である。領域２３０ｘ、５３１ｘ、２３４ｘは、図９（Ｄ）の領域２３０ｘ、５３１ｘ、２３４ｘに補修処理を行って得られる画像を、それぞれ示している。

上述したように、左側の部分余白領域５３１と候補領域２３４とは、補修すべきと判断されている。従って、部分余白領域５３１は補修され（Ｓ５１０：Ｙｅｓ、Ｓ５２０）、そして、部分余白領域５３１に接する候補領域２３４も、補修される（Ｓ５３０）。補修済の画像１３２（図９（Ｅ））において、矩形原稿領域２３０ｘの背景Ｂｇと候補領域２３４ｘとの境界と、矩形原稿領域２３０ｘの背景Ｂｇと部分余白領域５３１ｘとの境界とは、目立たなくなる。

右側の部分余白領域５３３は、補修すべきでないと判断されている。従って、部分余白領域５３３は補修されず（図５：Ｓ５１０：Ｎｏ）、そして、部分余白領域５３３に接する候補領域２３３も、補修されない。

このように、部分余白領域の幅が第２閾値Ｔｈ２以上である場合（図６：Ｓ３２０：Ｙｅｓ）、部分余白領域は、補修すべきでないと判断される（図６：Ｓ３３０、図７：Ｓ４１０：Ｎｏ）。従って、ユーザの指示に応じて設けられる大きな部分余白領域は、補修の対象から除かれるので、色が修正された領域が不自然に見えることを抑制できる。

また、図６の処理で、部分余白領域を補修すべきでないと仮に判断される場合（Ｓ３２０：Ｙｅｓ、Ｓ３３０、Ｓ３７０：Ｙｅｓ、Ｓ３８０）、図７の処理では、その部分余白領域に接する候補領域が補修の非対象の候補領域を含むか否かを判断する処理（Ｓ３５５〜Ｓ３９０）が行われずに、部分余白領域を補修すべきでないという仮の判断結果が、最終的な判断結果として採用される（Ｓ４１０：Ｎｏ）。従って、処理速度の低下を抑制しつつ、適切な判断が可能である。

Ｂ．変形例：
（１）図４のＳ２１０で、候補領域の色を修正すべきではないと判断するための条件は、種々の条件であってよい。この条件は、例えば、候補領域に接する辺に平行な方向の候補領域の長さが、閾値以上であることを、含んでよく、また、候補領域の面積（例えば、画素数）が閾値以上であることを含んでよい。一般的には、候補領域が大きいことを示す種々の条件が、用いられてよい。

（２）図６のＳ３２０で、部分余白領域の色を修正すべきではないと仮に判断するための条件は、種々の条件であってよい。この条件は、例えば、部分余白領域の面積（例えば、画素数）が閾値以上であることを含んでよい。一般的には、部分余白領域が大きいことを示す種々の条件が、用いられてよい。

また、図６の処理において、注目部分余白領域の色を修正すべきではないと仮に判断するための条件は、Ｓ３２０、Ｓ３５５、Ｓ３７０を用いる条件、すなわち、「注目部分余白領域の幅が第２閾値Ｔｈ２以上である（Ｓ３２０：Ｙｅｓ）、または、注目部分余白領域に補修の対象の候補領域が接している（Ｓ３５５：Ｙｅｓ、かつ、Ｓ３７０：Ｙｅｓ）」に代えて、他の種々の条件であってよい。注目部分余白領域の色を修正すべきではないと仮に判断するための条件は、例えば、注目部分余白領域の色と、矩形原稿領域の背景Ｂｇの色と、の間の差が閾値未満であることを含んでもよい。

一般的には、図６の処理では、注目部分余白領域の色を修正すべきか否かは、他の部分余白領域とは独立に、判断されてよい。他の部分余白領域とは独立に行われる判断の結果は、仮の判断結果として、利用されてよい。そして、図７の処理のように、色が修正される部分余白領域と色が修正されない部分余白領域とが、矩形原稿領域の外側で連続しないように、注目部分余白領域の最終的な判断結果を、他の部分余白領域の仮の判断結果を考慮して調整する処理が、行われてよい。

なお、判断結果を調整する処理は、図７の処理に代えて、他の種々の処理であってよい。一般的には、注目部分余白領域の色を修正すべきと判断されるための条件は、１以上の部分余白領域と候補領域とのうちの注目部分余白領域に連続する領域を構成する領域が、色を修正すべきではないと判断される領域を含まないことを、含む種々の条件であってよい。また、注目部分余白領域の色を修正すべきではないと判断するための条件は、１以上の部分余白領域と前記候補領域とのうちの注目部分余白領域に連続する領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断されることを含む、種々の条件であってよい。

なお、図９（Ｄ）に示すように、部分余白領域の幅は、ゼロであり得る。このように幅がゼロである部分余白領域は、出力画像内に実際に形成される領域ではなく、仮想的な領域である。従って、隣り合う２つの部分余白領域の少なくとも一方の幅がゼロである場合、それら２つの部分余白領域は、連続な領域を形成していない、ということができる。

（３）部分余白領域の幅がゼロより大きい場合であっても、幅が小さい場合には、ユーザが目視で部分余白領域を認識することが難しい場合がある。例えば、出力画像の全体の大きさに対する部分余白領域の幅が小さい場合、出力画像の全体を観察するユーザは、小さい幅の部分余白領域を認識できない場合がある。この場合、部分余白領域に他の小さい幅の部分余白領域が接している場合であっても、ユーザにとっては、部分余白領域に小さい幅の部分余白領域が連続していることを認識することが、困難であり得る。

このように小さい幅の部分余白領域を介して２つの大きな部分余白領域が接続されている場合、ユーザは、２つの大きな部分余白領域が離間しているように、認識し得る。従って、図６、図７の処理は、小さい幅の部分余白領域を、他の部分余白領域と連続な領域を形成しない領域として、扱ってよい。例えば、図６のＳ３５０、図７のＳ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４６０の条件において、「幅がゼロより大きい」は、「幅が基準幅よりも大きい」に置換されてよい。ここで、基準幅は、ゼロであってよく、ゼロより大きい値であってよい。基準幅は、ユーザが目視で部分余白領域を認識し得るように、決定されてよい。例えば、基準幅は、出力画像の縦と横とのうちの短い方の長さの１／２０以下であることが好ましく、１／５０以下であることが特に好ましく、１／１００以下であることが更に好ましく、ゼロであることが最も好ましい。

いずれの場合も、図２のＳ１３０、Ｓ１４０、Ｓ１５０の処理において、注目部分余白領域の色を修正すべきと判断するための条件は、１以上の部分余白領域と候補領域とのうちの注目部分余白領域と予め決められた連続関係にある領域を構成する領域が、色を修正すべきではないと判断される領域を含まないこと、を含む種々の条件であってよい。ここで、「予め決められた連続関係」は、以下のような関係である。すなわち、複数の部分余白領域が順番に接続され、そして、全ての部分余白領域のそれぞれの幅が基準幅よりも大きい場合に、複数の部分余白領域は、予め決められた連続関係にある。また、部分余白領域に候補領域が接しており、その部分余白領域の幅が基準幅よりも大きい場合に、部分余白領域と候補領域とは、予め決められた連続関係にある。そして、予め決められた連続関係にある複数の部分余白領域のうちの１つの部分余白領域に候補領域が接している場合には、複数の部分余白領域と候補領域とは、予め決められた連続関係にある。

また、図２のＳ１３０、Ｓ１４０、Ｓ１５０の処理において、１以上の部分余白領域と候補領域とのうちの注目部分余白領域と予め決められた連続関係にある領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断される場合に、注目部分余白領域の色を修正すべきではないと判断されてよい。

（４）矩形原稿領域内の領域であって原稿ではない領域の候補である候補領域を特定する方法は、上記実施例の方法に代えて、原稿ではない領域を特定可能な他の種々の方法であってよい。例えば、輝度以外の他の色成分が、利用されてよい（色相、彩度など）。一般的には、１以上色成分のそれぞれの範囲であって原稿の外側の余白を示す色の範囲である余白色範囲を用いて、候補領域が特定されてよい。注目画素の１以上の色成分のそれぞれの色値が、対応する色成分の余白色範囲内にある場合に、注目画素は、原稿を示さない画素に分類される。注目画素の少なくとも１つの色成分の色値が、その色成分の余白色範囲外にある場合に、注目画素は、原稿を示す画素に分類される。そして、原稿を示さない複数の画素が連続する領域であって、矩形原稿領域の辺（すなわち、外縁）に接する領域が、候補領域として特定されてよい。

また、上記の実施例では、候補領域を特定する処理（図２：Ｓ１２０）では、矩形原稿領域の外側の余白領域を用いずに、矩形原稿領域を用いて、候補領域が特定される。ただし、矩形原稿領域に加えて、余白領域を用いて、候補領域が特定されてよい。例えば、ＣＰＵ８１０は、原稿を示す画素と原稿を示さない画素とを特定するために利用される余白色範囲を、予め決められた範囲ではなく、余白領域を解析することによって、決定してよい。例えば、余白領域内の複数の画素の各色成分のヒストグラムのそれぞれの最頻値を中心とする所定幅の色範囲が、余白色範囲として利用されてよい。

（５）色を修正すべきと判断された領域の色を修正する処理は、図５で説明した処理に代えて、種々の処理であってよい。例えば、図５の処理において、補修対象の候補領域がゼロの幅を有する部分余白領域（より一般的には、上記の基準幅以下の幅を有する部分余白領域）に接する場合には、その候補領域の色を修正しないこととしてもよい。また、補修対象の候補領域の色は、その候補領域に接する部分余白領域が補修の対象であるか否かに拘わらずに、修正されることとしてもよい。

また、読取画像内における余白領域の幅が、ユーザによって指定された部分余白領域の幅よりも、小さい場合があり得る。例えば、図３（Ｄ）の画像例において、読取画像１１０の上側の縁１１８が、矩形原稿領域２１０の上側の辺４１２から幅Ｗ２２だけ外側に位置する辺４１２ｘよりも、内側に位置する場合がある。すなわち、出力領域１１１の一部が、読取画像１１０の外にはみ出る場合がある。このような場合、ＣＰＵ８１０は、補修処理（図２のＳ１６０）において、出力領域のうちの読取画像の外にはみ出た部分を、補修する処理（すなわち、追加する処理）を実行してよい。ＣＰＵ８１０は、例えば、はみ出た部分の画素の色値を、はみ出た部分を含む部分余白領域の色値と同じ色値に、修正してよい。はみ出た部分が、補修の対象の部分余白領域に含まれる場合、はみ出た部分の画素の色値は、補修済の部分余白領域の画素の色値と同じ色値に、修正される。はみ出た部分が、補修の非対象の部分余白領域に含まれる場合、はみ出た部分の画素の色値は、未補修の部分余白領域の画素の色値と同じ色値に、修正される。ただし、ＣＰＵ８１０は、出力領域のうちの読取画像の外にはみ出た部分を、補修（ここでは、追加）する代わりに、出力領域から削除してもよい。すなわち、出力領域のうちの読取画像に重なる部分が、最終的な出力領域として用いられてよい。

（６）画像処理は、上記の処理に代えて、他の種々の処理であってよい。例えば、読取画像に対して、原稿画像は、傾き得る。この場合、ＣＰＵ８１０は、原稿画像の傾きを補正する傾き補正を行ってよい。傾き補正は、画像処理の任意の段階で行われてよい。例えば、ＣＰＵ８１０は、図２のＳ１１０とＳ１２０との間で、Ｓ１１０で特定された辺に応じて、読取画像に対する原稿画像の傾きを補正する傾き補正を行ってよい。そして、ＣＰＵ８１０は、傾き補正済の読取画像を表す画像データを用いて、Ｓ１２０以降の処理を実行してよい。また、矩形原稿領域の辺を特定する処理は、上記の処理に代えて、他の種々の処理であってよい。例えば、ＣＰＵ８１０は、最小二乗法を用いて、複数のエッジ画素の配置を近似する線分を特定し、特定された線分を辺として採用してよい。

また、図２のＳ１００では、ＣＰＵ８１０は、矩形原稿領域の四方に配置される４つの部分余白領域のそれぞれの幅（例えば、図３（Ｄ）の４つの部分余白領域５１１〜５１４のそれぞれの幅Ｗ２１〜Ｗ２４）を、ユーザの指示に応じて、個別に決定する。これに代えて、ＣＰＵ８１０は、４つの部分余白領域に共通の１つの幅を、ユーザの指示に応じて決定してもよい。また、部分余白領域の幅は、ユーザの指示に応じて決定される代わりに、予め決められていてもよい。

（７）図１の画像処理装置は、パーソナルコンピュータとは異なる種類の装置（例えば、デジタルカメラ、スキャナ、スマートフォン）であってもよい。また、画像処理装置が、スキャナ９００の一部であってもよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。

また、原稿を光学的に読み取ることによって、原稿と原稿の外側に配置された余白とを含む読取画像を示す読取画像データを生成する読取装置は、図１のスキャナ９００に代えて、他の種々の装置であってよい。例えば、デジタルカメラ（例えば、スマートフォンに組み込まれたデジタルカメラ）によって生成された読取画像データが、出力画像データの生成に利用されてよい。ここで、読取装置と画像処理装置とが、１つの装置（例えば、スキャナ、スマートフォンなど）に組み込まれてもよく、読取装置と画像処理装置とは、別の装置であってもよい。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図２のＳ１００〜Ｓ１８０の処理の少なくとも一部が、専用のハードウェア回路によって実現されてもよい。

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２１〜２３…原稿画像、３１〜３３…外側画像、１１０、１２０、１３０…読取画像、１１１、１２１、１３１…出力領域、１１１ｓ、１２１ｓ、１３１ｓ…矩形輪郭、１１２、１２２、１３２…出力画像、１２２ｘ…画像、１１８…縁、２１０、２１０ｘ、２２０、２３０、２３０ｘ…矩形原稿領域、２１３、２１３ｘ、２２３、２３３、２３４、２３４ｘ…候補領域、３１０、３２０、３３０…余白領域、４１０、４２０、４３０…輪郭、４１１、４１１ｘ、４１２、４１２ｘ、４１３、４１３ｘ、４１４、４１４ｘ、４２１、４２１ｘ、４２２、４２２ｘ、４２３、４２３ｘ、４２４、４２４ｘ、４３１、４３１ｘ、４３２、４３２ｘ、４３３、４３３ｘ、４３４、４３４ｘ…辺、５１０、５２０、５３０…領域、５１１、５１１ｘ、５１２、５１２ｘ、５１３、５１３ｘ、５１４、５１４ｘ、５２１、５２１ｘ、５２２、５２２ｘ、５２３、５２３ｘ、５２４、５２４ｘ、５３１、５３１ｘ、５３２、５３３、５３４…部分余白領域、８００…画像処理装置、８１０…ＣＰＵ、８１５…記憶装置、８２０…揮発性記憶装置、８３０…不揮発性記憶装置、８３２…プログラム、８４０…表示部、８５０…操作部、８９０…インタフェース、９００…スキャナ、９１０…制御部、９１１…ＣＰＵ、９１２…揮発性記憶装置、９１３…不揮発性記憶装置、９１４…プログラム、９１５…記憶装置、９１９…インタフェース、９２０…イメージセンサ、９３０…移動装置、９４０…原稿台、９５０…カバー、９９０…本体部、Ｄ１…第１方向、Ｄ２…第２方向、ＮＴ…ネットワーク、Ｏｂ…オブジェクト、Ｂｇ…背景、Ｕｓ…載置面、Ｂｓ…対向面、Ｗ２１〜Ｗ２４…幅、Ｔｈ１…第１閾値、Ｔｈ２…第２閾値、Ｄｐ１…第１方向、Ｄｐ２…第２方向、Ｄｐ３…第３方向（上方向）

Claims (7)

1. プログラムであって、
   原稿を光学的に読み取ることによって生成され、原稿と前記原稿の外側に配置された余白とを含む読取画像を示す前記読取画像データを取得する取得機能と、
   前記読取画像データを解析することによって、前記読取画像内の前記原稿を含む部分を矩形状の領域に区切って得られる矩形原稿領域の４つの辺を特定する辺特定機能と、
   前記４つの辺のうちのいずれかの辺に接する前記矩形原稿領域内の領域であって前記原稿ではない領域の候補である候補領域を特定する候補領域特定機能と、
   前記候補領域の色を修正すべきか否かを判断する第１判断機能と、
   前記余白を示す領域であって前記矩形原稿領域の外側の領域である余白領域の少なくとも一部を構成する部分余白領域であって、前記４つの辺のうちの互いに異なる辺に接する１以上の部分余白領域のそれぞれに関して、色を修正すべきか否かを判断する第２判断機能と、
   前記候補領域に関する前記第１判断機能による判断の結果と、前記１以上の部分余白領域のそれぞれに関する前記第２判断機能による判断の結果と、を用いて、色を修正すべきであると判断された領域の色を修正する処理である選択修正処理を実行し、前記選択修正処理済の前記矩形原稿領域と前記選択修正処理済の前記１以上の部分余白領域のそれぞれとを含む出力画像を示す出力画像データを生成する画像生成機能と、
   をコンピュータに実現させ、
   前記第２判断機能は、注目部分余白領域と予め決められた連続関係にある領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断される場合に、前記注目部分余白領域の色を修正すべきではないと判断し、
   前記注目部分余白領域の色を修正すべきと前記第２判断機能によって判断されるための条件は、前記１以上の部分余白領域と前記候補領域とのうちの前記注目部分余白領域と前記予め決められた連続関係にある領域を構成する領域が、色を修正すべきではないと判断される領域を含まないことを、含む、コンピュータプログラム。
2. 請求項１に記載のコンピュータプログラムであって、
   前記候補領域の前記色を修正すべきではないと前記第１判断機能によって判断されるための条件は、前記候補領域に接する前記辺からの前記候補領域の長さが第１閾値以上であることを含む、
   コンピュータプログラム。
3. 請求項１または２に記載のコンピュータプログラムであって、
   ユーザの指示に応じて、前記出力画像内における前記１以上の部分余白領域のそれぞれの幅を決定する決定機能を、前記コンピュータに実現させ、
   前記部分余白領域の色を修正すべきではないと前記第２判断機能によって判断されるための条件は、前記ユーザの指示に応じて決定した前記部分余白領域の前記幅が第２閾値以上であることを含む、
   コンピュータプログラム。
4. 請求項１から３のいずれかに記載のコンピュータプログラムであって、
   前記第２判断機能は、
   （Ａ）前記注目部分余白領域が、前記部分余白領域の色を修正すべきではないと仮に判断するための非対象仮条件を満たすか否かを判断し、
   （Ｂ）前記注目部分余白領域が、前記非対象仮条件を満たさない場合には、
   前記注目部分余白領域に接する候補領域であるゼロ個以上の隣接候補領域が、前記候補領域の色を修正すべきではないと判断される候補領域である非対象候補領域を含むか否かを判断し、
   前記隣接候補領域が前記非対象候補領域を含む場合に、前記注目部分余白領域の色を修正すべきではないと判断し、
   （Ｃ）前記注目部分余白領域が、前記非対象仮条件を満たす場合には、前記隣接候補領域が前記非対象候補領域を含むか否かを判断せずに、前記注目部分余白領域の色を修正すべきではないと判断する、
   コンピュータプログラム。
5. 請求項１から４のいずれかに記載のコンピュータプログラムであって、
   前記第２判断機能は、
   前記１以上の部分余白領域のそれぞれの色を修正すべきか否かを、他の部分余白領域とは独立に、仮に判断し、
   前記注目部分余白領域の色を修正すべきと仮に判断した場合には、前記注目部分余白領域に接するとともに基準幅より大きい幅の隣の部分余白領域と、前記隣の部分余白領域に接するとともに前記注目部分余白領域の向かい側に位置する前記基準幅より大きい幅の対向部分余白領域と、の少なくとも一方が、色を修正すべきではないと仮に判断されたか否かを判断し、
   前記隣の部分余白領域と前記対向部分余白領域との少なくとも一方が、色を修正すべきでないと仮に判断された場合に、前記注目部分余白領域の色を修正すべきではないと判断する、
   コンピュータプログラム。
6. 請求項１から５のいずれかに記載のコンピュータプログラムであって、
   前記候補領域特定機能は、前記読取画像のうちの前記余白領域を用いずに前記矩形原稿領域を用いて、前記候補領域を特定する、
   コンピュータプログラム。
7. 画像処理装置であって、
   原稿を光学的に読み取ることによって生成され、原稿と前記原稿の外側に配置された余白とを含む読取画像を示す前記読取画像データを取得する取得部と、
   前記読取画像データを解析することによって、前記読取画像内の前記原稿を含む部分を矩形状の領域に区切って得られる矩形原稿領域の４つの辺を特定する辺特定部と、
   前記４つの辺のうちのいずれかの辺に接する前記矩形原稿領域内の領域であって前記原稿ではない領域の候補である候補領域を特定する候補領域特定部と、
   前記候補領域の色を修正すべきか否かを判断する第１判断部と、
   前記余白を示す領域であって前記矩形原稿領域の外側の領域である余白領域の少なくとも一部を構成する部分余白領域であって、前記４つの辺のうちの互いに異なる辺に接する１以上の部分余白領域のそれぞれに関して、色を修正すべきか否かを判断する第２判断部と、
   前記候補領域に関する前記第１判断部による判断の結果と、前記１以上の部分余白領域のそれぞれに関する前記第２判断部による判断の結果と、を用いて、色を修正すべきであると判断された領域の色を修正する処理である選択修正処理を実行し、前記選択修正処理済の前記矩形原稿領域と前記選択修正処理済の前記１以上の部分余白領域のそれぞれとを含む出力画像を示す出力画像データを生成する画像生成部と、
   を備え、
   前記第２判断部は、注目部分余白領域と予め決められた連続関係にある領域を構成する領域であって、部分余白領域と候補領域とのうちの少なくとも１つの領域に関して、色を修正すべきではないと判断される場合に、前記注目部分余白領域の色を修正すべきではないと判断し、
   前記注目部分余白領域の色を修正すべきと前記第２判断部によって判断されるための条件は、前記１以上の部分余白領域と前記候補領域とのうちの前記注目部分余白領域と前記予め決められた連続関係にある領域を構成する領域が、色を修正すべきではないと判断される領域を含まないことを、含む、
   画像処理装置。

Images