JP2021034855A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】パンチ穴があけられた、複数ページからなる文書を読み込んで、該文書のパンチ穴を除去する場合において、形状が崩れたパンチ穴を除去することができる画像処理装置を提供する。【解決手段】画像処理装置は、プロセッサを備え、前記プロセッサは、読込手段によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像を検知した際に、前記文書の該第１ページとは異なる第２ページでパンチ穴が検知された場合に、前記類似画像を除去する。【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、パンチ穴が存在する原稿を入力した際に、パンチ穴のみを精度良く除去することが可能な画像処理装置を提供することを課題とし、パンチ穴探索範囲決定手段では、画像入力手段により得られた入力画像から、パンチ穴を探索する探索範囲を決定し、パンチ穴候補抽出手段では、パンチ穴探索範囲決定手段より得られた探索範囲を対象にパンチ穴の候補矩形を抽出し、パンチ穴検出手段では、パンチ穴候補抽出手段により得られたパンチ穴候補矩形の情報からパンチ穴を特定し、パンチ穴除去手段では、パンチ穴検出手段により得られたパンチ穴を除去することが開示されている。

特許文献２には、原稿の表面、裏面の画像情報を読み取る１または複数の画像読み取り手段と、画像記憶部と、前記画像読み取り手段で読み取った読取画像の解像度を変換する解像度変換手段と、前記解像度変換手段を用いて、表面、裏面の低解像度の画像をそれぞれ作成し、それらの画像に基づいて原稿の穴を検出する原稿穴検出手段と、前記原稿穴検出手段で検出された原稿の穴に基づいて、前記読取画像から穴画像を消去する原稿穴消去手段と、を備え、前記原稿穴検出手段は、前記表面の低解像度の画素情報から抽出された原稿の穴を検出するための特徴量と、前記裏面の低解像度の画素情報から抽出された原稿の穴を検出するための特徴量との一致の度合に基づいて原稿の穴を検出することを特徴とする画像処理装置について開示されている。

特開２００４−０８０３４１号公報 特許第４２１９３３３号公報

パンチ穴があけられたページの画像から、パンチ穴を除去する場合に、予め定められた形状をパンチ穴として検知して、該ページの画像から除去する構成では、予め定められた形状以外のパンチ穴は、除去することができない。
一方、パンチ穴があけられた複数ページからなる文書の場合、パンチ穴でファイルされ、ファイルからの該文書の出し入れ等によって、文書のパンチ穴に破れや歪み等が発生することがある。このような場合、予め定められた形状をパンチ穴として検知する技術では、破れや歪みをもったパンチ穴は、パンチ穴として検知されない恐れがある。
本発明は、パンチ穴があけられた、複数ページからなる文書を読み込んで、該文書のパンチ穴を除去する場合において、形状が崩れたパンチ穴を除去することができる画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、プロセッサを備え、前記プロセッサは、読込手段によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像を検知した際に、前記文書の該第１ページとは異なる第２ページでパンチ穴が検知された場合に、前記類似画像を除去することを特徴とする画像処理装置である。

請求項２の発明は、前記プロセッサが行う除去処理では、前記類似画像の除去する領域の大きさは、前記パンチ穴の除去する領域の大きさとは異なる、請求項１に記載の画像処理装置である。

請求項３の発明は、前記プロセッサが行う除去処理では、前記類似画像の除去の面積は、前記パンチ穴の除去の面積よりも大きい、請求項２に記載の画像処理装置である。

請求項４の発明は、前記プロセッサが行う除去処理では、前記類似画像を除去する領域は、類似画像からページの端までである、請求項３に記載の画像処理装置である。

請求項５の発明は、前記プロセッサが行う除去処理では、前記第１ページが、前記文書の先頭ページ又は最終ページである場合と、途中ページである場合とで、前記類似画像の除去方法が異なる、請求項１に記載の画像処理装置である。

請求項６の発明は、前記プロセッサは、前記第１ページが先頭ページ又は最終ページである場合は、警告せずに前記類似画像の除去を行う、請求項５に記載の画像処理装置である。

請求項７の発明は、前記プロセッサは、前記第１ページが途中ページである場合は、警告を行い、ユーザーの判断にしたがって除去を行う、請求項５に記載の画像処理装置である。

請求項８の発明は、前記プロセッサは、パンチ穴として検知するための第１閾値とパンチ穴ではないと検知するための第２閾値を用い、対象としている画像が該第１閾値と該第２閾値の間にある場合は、パンチ穴に類似する類似画像であると検知する、請求項１に記載の画像処理装置である。

請求項９の発明は、前記プロセッサは、前記第１ページ中の前記類似画像の位置が、前記第２ページ中の前記パンチ穴と同じ位置又は対称の位置にある場合、前記類似画像を除去する、請求項１に記載の画像処理装置である。

請求項１０の発明は、コンピュータを、読込手段によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像を検知した際に、前記文書の該第１ページとは異なる第２ページでパンチ穴が検知された場合に、前記類似画像を除去する除去手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、パンチ穴があけられた、複数ページからなる文書を読み込んで、該文書のパンチ穴を除去する場合において、形状が崩れたパンチ穴を除去することができる。

請求項２の画像処理装置によれば、類似画像の除去する領域の大きさと、パンチ穴の除去する領域の大きさとを異ならせることができる。

請求項３の画像処理装置によれば、類似画像の除去の面積を、パンチ穴の除去の面積よりも大きくすることができる。

請求項４の画像処理装置によれば、類似画像を除去する領域は、類似画像からページの端までとすることができる。

請求項５の画像処理装置によれば、文書の先頭ページ又は最終ページである場合と、途中ページである場合とで、類似画像の除去方法を異ならせることができる。

請求項６の画像処理装置によれば、先頭ページ又は最終ページを対象とする場合は、警告せずに類似画像の除去を行うことができる。

請求項７の画像処理装置によれば、途中ページを対象とする場合は、ユーザーの判断にしたがって除去を行うことができる。

請求項８の画像処理装置によれば、対象としている画像が第１閾値と第２閾値の間にある場合は、パンチ穴に類似する類似画像であると検知することができる。

請求項９の画像処理装置によれば、第１ページ中の類似画像の位置が、第２ページ中のパンチ穴と同じ位置又は対称の位置にある場合、類似画像を除去することができる。

請求項１０の画像処理プログラムによれば、パンチ穴があけられた、複数ページからなる文書を読み込んで、該文書のパンチ穴を除去する場合において、形状が崩れたパンチ穴を除去することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 パンチ穴の例についての説明図である。 パンチ穴の例についての説明図である。 パンチ穴の例についての説明図である。 パンチ穴情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 閾値判断方法テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 埋め領域情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（「ソフトウェア」の解釈として、コンピュータ・プログラムを含む）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（例えば、データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（「２以上の値」には、もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（「ネットワーク」には、一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（つまり、社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、文書を読み込んだ画像から、パンチ穴を除去する画像処理機能を有しており、図１の例に示すように、読込モジュール１０５、パンチ穴検知モジュール１１０、パンチ穴除去モジュール１３０、画像記憶モジュール１３５、出力モジュール１４０を有している。
パンチ穴とは、書類等の紙を穿孔した（穴を開けた）ことによって生じる穴をいう。例えば、ファイル、クリップボード、綴り紐等を用いて書類を綴じるために穿孔された丸い穴をいう。なお、パンチ穴には、パンチ穴がある書類を複写したものを含む。
画像処理装置１００は、パンチ穴がある書類を読み込んだ画像から、パンチ穴の画像を検出し、そのパンチ穴の画像を除去する。

読込モジュール１０５は、パンチ穴検知モジュール１１０と接続されている。読込モジュール１０５は、文書の画像を読み込み、その画像をパンチ穴検知モジュール１１０に渡す。例えば、スキャナ、カメラ等で紙の文書を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、記憶装置（コンピュータに内蔵されているハードディスク等の他に、ネットワークを介して接続されているサーバー等を含む）に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（多値画像には、カラー画像を含む）であってもよい。受け付ける画像は、複数ページからなる画像である。また、画像の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。なお、読み込んだ画像には、パンチ穴の画像が含まれている可能性があればよく、全ての画像にパンチ穴の画像が含まれていてもよく、パンチ穴のない画像が混在していてもよい。そして、パンチ穴がある画像は、従来の技術で検知できる程度のパンチ穴の画像があるページと、崩れた形状のパンチ穴の画像があるページが混在していてもよい。

パンチ穴検知モジュール１１０は、第１段階検知モジュール１１５、第２段階検知モジュール１２０、パンチ穴情報記憶モジュール１２５を有しており、読込モジュール１０５、パンチ穴除去モジュール１３０と接続されている。パンチ穴検知モジュール１１０は、読込モジュール１０５によって読み込まれた画像からパンチ穴の画像、パンチ穴に類似する類似画像を検知する。

第１段階検知モジュール１１５は、読込モジュール１０５によって読み込まれた画像からパンチ穴の画像を検知する。第１段階検知モジュール１１５は、パンチ穴の画像であると確実に認識できるものを検知する。例えば、第１閾値と比較することによって、パンチ穴の画像であるか否かを判断してもよい。第１閾値は、パンチ穴として検知するための閾値である。第１閾値と比較するのは、画像の特徴量であってもよいし、特徴量空間において、正式なパンチ穴の画像と対象としている画像との距離であってもよいし、後述するパンチ穴確度であってもよい。また、予め用意したパンチ穴の画像とのテンプレートマッチングによって、パンチ穴の画像を検知するようにしてもよい。

第２段階検知モジュール１２０は、パンチ穴として検知するための第１閾値とパンチ穴ではないと検知するための第２閾値を用い、対象としている画像がその第１閾値とその第２閾値の間にある場合は、パンチ穴に類似する類似画像であると検知する。
なお、第１閾値又は第２閾値と比較するのは、画像の特徴量であってもよいし、特徴量空間において、正式なパンチ穴の画像と対象としている画像との距離であってもよいし、後述するパンチ穴確度であってもよい。
ここで「パンチ穴に類似する類似画像」は、本来はパンチ穴であったが、文書の取り扱い等によって、そのパンチ穴が広がってしまい、第１段階検知モジュール１１５ではパンチ穴とは検知できなかった画像である。詳細については、図３、図４、図５の例を用いて後述する。

パンチ穴情報記憶モジュール１２５は、第１段階検知モジュール１１５又は第２段階検知モジュール１２０による処理結果であるパンチ穴に関する情報を記憶する。例えば、パンチ穴情報テーブル６００を記憶している。図６は、パンチ穴情報テーブル６００のデータ構造例を示す説明図である。パンチ穴情報テーブル６００は、文書ＩＤ欄６０５、ページＩＤ欄６１０、パンチ穴並び方向欄６１５、パンチ穴数欄６２０、位置欄６２５、大きさ欄６３０、形状欄６３５を有している。なお、図６の説明においては、パンチ穴には、第１段階検知モジュール１１５によって検知されたパンチ穴と第２段階検知モジュール１２０によって検知されたパンチ穴に類似する類似画像の両方を含む。文書ＩＤ欄６０５は、本実施の形態において、文書を一意に識別するための情報（具体的には、文書ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎの略）を記憶している。ページＩＤ欄６１０は、本実施の形態において、ページを一意に識別するための情報（具体的には、ページＩＤ）を記憶している。パンチ穴並び方向欄６１５は、そのページにおけるパンチ穴の並び方向を記憶している。例えば、縦方向、横方向等がある。パンチ穴数欄６２０は、そのページにおけるパンチ穴の数を記憶している。例えば、１、２、３等がある。なお、パンチ穴数欄６２０内の数だけ、以下の位置欄６２５〜形状欄６３５の組がパンチ穴数欄６２０の後に続く。位置欄６２５は、そのパンチ穴がある位置を記憶している。例えば、中心位置の座標であってもよいし、パンチ穴の外接矩形の各角の位置等であってもよい。大きさ欄６３０は、そのパンチ穴の大きさを記憶している。例えば、直径であってもよいし、縦と幅であってもよいし、面積等であってもよい。形状欄６３５は、そのパンチ穴の形状を記憶している。例えば、第１段階検知モジュール１１５で検知された場合は円、第２段階検知モジュール１２０によって検知された場合は楕円形、弓形、四角形の一辺を円弧にした形状等がある。

パンチ穴除去モジュール１３０は、パンチ穴検知モジュール１１０、画像記憶モジュール１３５、出力モジュール１４０と接続されている。
パンチ穴除去モジュール１３０は、第１段階検知モジュール１１５によって検知されたパンチ穴、第２段階検知モジュール１２０によって検知されたパンチ穴に類似する類似画像を除去する。除去する方法として、例えば、そのパンチ又は類似画像の周囲と同色の色を埋め込むようにしてもよい。
なお、第１段階検知モジュール１１５によって検知されたパンチ穴の除去は、その第１段階検知モジュール１１５によって検知されたパンチ穴の領域を除去対象とする。
パンチ穴除去モジュール１３０は、読込モジュール１０５によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像をパンチ穴検知モジュール１１０によって検知した際に、文書のその第１ページとは異なる第２ページでパンチ穴が検知された場合に、類似画像を除去する。
「第１ページとは異なる第２ページ」は、同一文書内のページであって、第１ページではないページであればよい。また、第１ページではないページであって、予め定められたページであってもよい。例えば、第１ページの直前のページであってもよいし、第１ページの直後のページであってもよい。また、第１ページ以外の複数のページにおけるパンチ穴の統計的値を用いるようにしてもよい。ここで統計的値として、例えば、平均値、最頻値、中央値等がある。
なお、パンチ穴除去モジュール１３０による処理は、ページ順に行うのが一般的である。その場合、第２ページは、第１ページより前にある。また、第１ページ以降のページを第２ページとして用いる場合は、文書の全てのページを読み込んだ後に、最終のページから最初のページに向かって処理を行えばよい。つまり、第２ページは、読み込んだ順番において第１ページよりも前に読み込んだページだけでなく、第１ページよりも後に読み込んだページを対象としてもよい。

また、パンチ穴除去モジュール１３０は、類似画像の除去する領域の大きさとして、パンチ穴の除去する領域の大きさとは異なるようにしてもよい。
例えば、類似画像の除去の面積は、パンチ穴の除去の面積よりも大きくしてもよい。

また、パンチ穴除去モジュール１３０は、第１ページが、文書の先頭ページ又は最終ページである場合と、途中ページである場合とで、類似画像の除去方法を異なるようにしてもよい。
例えば、パンチ穴除去モジュール１３０は、第１ページが先頭ページ又は最終ページである場合は、警告せずに類似画像の除去を行うようにしてもよい。
例えば、パンチ穴除去モジュール１３０は、第１ページが途中ページである場合は、ユーザーに警告を行い、そのユーザーの判断にしたがって除去を行うようにしてもよい。途中ページとは、先頭ページかつ最終ページではないページである。

また、パンチ穴除去モジュール１３０は、第１ページ中の類似画像の位置が、第２ページ中のパンチ穴と同じ位置又は対称の位置にある場合、類似画像を除去するようにしてもよい。第１ページと第２ページは、同じパンチ穴が開けられている可能性が高いので、第１ページ中の類似画像の位置が、第２ページ中のパンチ穴と同じ位置にあることを条件として、類似画像を除去するようにしている。なお、「対称の位置」もあるのは、対象としているページが天地逆、裏返し等になっている場合に対応するためである。対称として、点対称、ページの中心線を軸とした線対称等がある。

画像記憶モジュール１３５は、パンチ穴除去モジュール１３０と接続されている。画像記憶モジュール１３５は、読込モジュール１０５によって読み込まれた画像、パンチ穴除去モジュール１３０によって処理された画像を記憶する。パンチ穴除去モジュール１３０は、パンチ穴検知モジュール１１０による処理結果を用いて、画像記憶モジュール１３５内の画像を対象として、パンチ穴の画像とパンチ穴に類似する類似画像を除去し、その除去結果を画像記憶モジュール１３５に記憶させる。

出力モジュール１４０は、パンチ穴除去モジュール１３０と接続されている。出力モジュール１４０は、パンチ穴除去モジュール１３０によってパンチ穴の画像とパンチ穴に類似する類似画像が除去された画像を受け取り、その画像を出力する。画像を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ＦＡＸ等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。

図２は、本実施の形態を利用したシステム構成例を示す説明図である。また、本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図でもある。
画像処理装置２００は、画像入力モジュール２０５、画像処理モジュール２１０、画像出力モジュール２４０、メモリ２５０、ＣＰＵ２５５、ＲＯＭ２６０、通信モジュール２６５、操作パネル２７０を有している。画像入力モジュール２０５は読込モジュール１０５の一例であり、検知モジュール２１５はパンチ穴検知モジュール１１０の一例であり、画像形成モジュール２３０はパンチ穴除去モジュール１３０の一例であり、画像出力モジュール２４０は出力モジュール１４０の一例である。

画像入力モジュール２０５は、画像処理モジュール２１０の検知モジュール２１５、ＣＰＵ２５５と接続されている。画像入力モジュール２０５として、例えば、スキャナ等がある。
画像処理モジュール２１０は、検知モジュール２１５、画像形成モジュール２３０を有しており、ＣＰＵ２５５と接続されている。画像処理モジュール２１０は、画像入力モジュール２０５で入力された画像、又は、メモリ２５０に記憶されている画像に対して、パンチ穴の画像の除去等の処理を行い、その除去後の画像を画像出力モジュール２４０に渡す。
検知モジュール２１５は、画像入力モジュール２０５、メモリ２５０と接続されている。検知モジュール２１５は、パンチ穴の画像の検知、パンチ穴に類似する類似画像の検知を行う。
画像形成モジュール２３０は、画像出力モジュール２４０、メモリ２５０と接続されている。画像形成モジュール２３０は、対象としているページ画像から、パンチ穴の画像、パンチ穴に類似する類似画像を除去する。
画像出力モジュール２４０は、画像処理モジュール２１０の画像形成モジュール２３０、ＣＰＵ２５５と接続されている。画像出力モジュール２４０として、例えば、プリンタ等がある。

メモリ２５０は、画像処理モジュール２１０の検知モジュール２１５と画像形成モジュール２３０、ＣＰＵ２５５と接続されている。メモリ２５０として、例えば、ＲＡＭ、ハードディスク、フラッシュ・メモリ等がある。
ＣＰＵ２５５は、画像入力モジュール２０５、画像処理モジュール２１０、画像出力モジュール２４０、メモリ２５０、ＲＯＭ２６０、通信モジュール２６５、操作パネル２７０と接続されている。ＣＰＵ２５５は、本実施の形態において説明した各種のモジュール、すなわち、第１段階検知モジュール１１５、第２段階検知モジュール１２０、パンチ穴除去モジュール１３０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ＲＯＭ２６０は、ＣＰＵ２５５と接続されている。ＲＯＭ２６０は、ＣＰＵ２５５が使用するプログラムや演算パラメータ等を格納する。
通信モジュール２６５は、ＣＰＵ２５５と接続されている。通信モジュール２６５は、通信回線に接続され、外部とのデータ通信処理を実行する。
操作パネル２７０は、ＣＰＵ２５５と接続されている。操作パネル２７０は、操作者により操作されるデバイスである。操作パネル２７０は、液晶表示装置又は有機ＥＬディスプレイ等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイスとディスプレイの両方の機能を備えているタッチスクリーン等であってもよい。その場合、キーボードの機能の実現について、タッチスクリーン上にソフトウェアでキーボード（いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる）を描画して、キーボードの機能を実現するようにしてもよい。

コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、本実施の形態が実現される。
なお、図２に示す画像処理装置１００のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサとして、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ−Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓの略）を含む）を用いてもよいし、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（具体例として、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略）等がある）や再構成可能な集積回路（具体例として、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略）等がある）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯情報通信機器として、携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（複合機とは、スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。

図３は、パンチ穴の例についての説明図である。
複数ページからなる文書の場合、パンチ穴を用いてファイルされることから、そのパンチ穴に破れ等が発生することがある。例えば、ファイルされた文書をチェックしたり、そのファイルからページを取り出したりしていると、パンチ穴の部分が破れてしまったりする。
例えば、図３に示すように、複数ページからなる文書３００を、バインダー３５０にセットするために、文書３００の各ページにはパンチ穴がある。つまり、文書３００は、バインダー３５０のリング、綴じひも等によって複数枚綴じられている。そして、ｎページ目（表）３１０を見るために、ページをめくり、（ｎ−１）ページ目（裏）３０５に対して、外側に引っ張る力３９０が加わることになる。すると、（ｎ−１）ページ目（裏）３０５のパンチ穴が崩れ、その形状が円でなくなることとなる。したがって、予め定められた大きさの円の画像を検出するだけでは、パンチ穴を検出できない場合が発生する。

図４は、パンチ穴の例についての説明図である。図３の例に示した文書３００の各ページのパンチ穴の例を示したものである。
各ページ（画像４０１、画像４０ｎ、画像４０ｎ１等）には、２つのパンチ穴が開けられている。

画像４０１、画像４０ｎは、パンチ穴が崩れていない状態の例を示すものである。
例えば、画像４０ｎは、ｎページ目の表面の画像を表しており、パンチ穴４１０ｎ、パンチ穴４２０ｎがあり、そのパンチ穴の画像を除去するために、パンチ穴埋め領域４１２ｎ、パンチ穴埋め領域４２２ｎを対象としている。具体的には、図４（ａ）の例に示すように、パンチ穴４２０ｎの周囲を含むように、パンチ穴埋め領域４２２ｎを設定して、そのパンチ穴埋め領域４２２を除去対象としている。

画像４０ｎ１は、パンチ穴が崩れている状態の例を示すものである。
例えば、画像４０ｎ１は、（ｎ＋１）ページ目の表面の画像を表しており、パンチ穴４１０ｎ１、類似パンチ穴４２０ｎ１があり、その崩れたパンチ穴の画像を除去するために、パンチ穴埋め領域４１２ｎ１、類似パンチ穴埋め領域４２２ｎ１を対象としている。具体的には、図４（ｂ）の例に示すように、類似パンチ穴４２０ｎ１の周囲を含み、さらに、埋め領域形状拡張方向４４０に拡張して類似パンチ穴埋め領域４２２ｎ１を設定して、その類似パンチ穴埋め領域４２２ｎ１を除去対象としている。なお、「埋め領域形状拡張方向４４０に拡張」として、図４（ｂ）の例では右方向と左方向の２つの方向があるが、埋め領域形状拡張方向４４０の画像４０ｎ１の端であって、近い方の端への方向を採用すればよい。図４（ｂ）の例では、左方向に拡張している。なお、埋め領域形状拡張方向４４０は、複数のパンチ穴の中心を通る直線であるパンチ穴の並び方向４３０と垂直に交わる直線であり、類似パンチ穴４２０ｎ１の中心を通る。
類似パンチ穴埋め領域４２２ｎ１の面積（類似パンチ穴埋め領域４２２ｎ１の面積は、「類似画像の除去の面積」の一例）は、パンチ穴埋め領域４２２ｎの面積（パンチ穴埋め領域４２２ｎの面積は、「パンチ穴の除去する面積」の一例）よりも大きくしている。

図５は、パンチ穴の例についての説明図である。崩れたパンチ穴の具体例を示すものである。
図５（ａ）の例に示す画像５０１には、パンチ穴領域５１０、パンチ穴領域５２０がある。そして、パンチ穴領域５１０を拡大した図５（ｂ）の例に示すように、パンチ穴５１５は崩れている。具体的には、円であるパンチ穴が、左方向に大きくなっている。図３の例で示した外側に引っ張る力３９０が働くためである。２つのパンチ穴の中心を通る直線と垂直に交わる方向（図５の例では水平方向）であって、画像５０１の端に近い方向（図５の例では左方向）に、パンチ穴が大きくなっている。したがって、パンチ穴埋め領域も同じように拡張すればよい。

本実施の形態では、パンチ穴の形状が崩れている場合であっても、その形状が崩れたパンチ穴の除去を行う。
形状が崩れたパンチ穴は、第１段階検知モジュール１１５では検知することができない。そこで、対象としているページ以外のページにおけるパンチ穴に関する情報を用いて、形状が崩れたパンチ穴であってもパンチ穴として除去の対象としている。
そして、形状が崩れたパンチ穴については、パンチ穴を埋める領域の形状をパンチ穴の並びとは垂直であって、ページの近い端に向かう方向に領域を拡張している。

図７は、本実施の形態による処理例を示すフローチャートである。文書を読み込んだ順に処理を行う例を示している。
１ページ目から最終ページまでの全ページについて、その順にステップＳ７０２からステップＳ７２２までの処理を繰り返す。
ステップＳ７０４では、ｉページ目をスキャンする。つまり、ｉページ目の画像を読み込む。
ステップＳ７０６では、パンチ穴の検知をする。
ステップＳ７０８では、「Ａｃ_ｉ≧ｔｈ１」であるか否かを判断し、「Ａｃ_ｉ≧ｔｈ１」の場合はステップＳ７１８へ進み、それ以外の場合はステップＳ７１０へ進む。つまり、パンチ穴としての確からしさを示すパンチ穴確度であるＡｃ_ｉが、第１閾値であるｔｈ１以上である場合は、パンチ穴であると判断する。

ステップＳ７１０では、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」の場合はステップＳ７１２へ進み、それ以外の場合はステップＳ７２２へ進む。つまり、パンチ穴に類似する類似画像を検知した場合は、ステップＳ７１２へ進むことになる。そして、パンチ穴に類似する類似画像でもない場合は、ステップＳ７２２へ進むことになる。

ステップＳ７１２では、登録された埋め領域情報を取り出す。例えば、ｉ−１ページにおける埋め領域情報テーブル１１００を取り出す。
ステップＳ７１４では、ｉ−１ページの同位置にパンチ穴があるか否かを判断し、ある場合はステップＳ７１６へ進み、それ以外の場合はステップＳ７２２へ進む。つまり、前のページのパンチ穴の位置と同じ位置に、対象ページのパンチ穴に類似する類似画像がある場合は、穴が連続しているとみなし、ステップＳ７１６以降の穴埋め処理を実施する。なお、ｉ−１ページ（前のページ）を用いているが、対象としているページ（ｉページ）以外のページであればよい。
ステップＳ７１６では、埋め領域を拡張する。具体的には、パンチ穴の並び（複数のパンチ穴の中心を通る直線）とは垂直であって、ページ画像の端のうち近い方の端の方向へ領域を拡張する。図４の例に示した類似パンチ穴埋め領域４２２ｎ１を生成する。

ステップＳ７１８では、埋め領域情報を登録する。具体的には、パンチ穴情報テーブル６００を生成する。
ステップＳ７２０では、穴埋め処理を行う。具体的には、パンチ穴の周辺の画像を用いて、図４の例に示したパンチ穴埋め領域４２２ｎ、又は、類似パンチ穴埋め領域４２２ｎ１内を塗りつぶす。
ステップＳ７２２では、全ページ終了までステップＳ７０２からの処理を繰り返し、全ページ終了したらステップＳ７２４へ進む。

ステップＳ７２４では、「ｔｈ１＞Ａｃ_１≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_１≧ｔｈ２」の場合はステップＳ７２６へ進み、それ以外の場合は処理を終了（ステップＳ７９９）する。つまり、１ページ目のＡｃ_１について、ステップＳ７１０と同等の処理を行う。本フローチャートによる処理の場合は、１ページ目で、ステップＳ７１０でＹｅｓとなった場合であっても、ステップＳ７１４では前ページがないため、ステップＳ７１６以降の処理ができないこととなる。そこで、ステップＳ７２４の処理を行う。ただし、対象としている文書内にパンチ穴がなかった場合は、ステップＳ７２４を行わないようにしてもよい。
ステップＳ７２６では、１ページ目の穴埋め処理をする、又は、ユーザーに警告を通知する。なお、「１ページ目の穴埋め処理」は、ステップＳ７１６、Ｓ７１８、Ｓ７２０の処理を含む。また、「警告を通知」として、操作パネル２７０に警告を表示するようにしてもよいし、ユーザー宛に電子メール、ＳＮＳにおけるメッセージ等を用いて警告を送信するようにしてもよい。

図８は、本実施の形態による処理例を示す説明図である。第１段階検知モジュール１１５、第２段階検知モジュール１２０によるパンチ穴の検知方法、又は、図７に示すフローチャートのステップＳ７０８、Ｓ７１０、Ｓ７１２の処理の一例について説明する。
具体的には、パンチ穴確度（前述のＡｃ）を用いる。パンチ穴確度は、パンチ穴の検知時に算出される、穴としての確からしさ情報を用いるものである。以下、図８（ａ）の例に示す画像８０１を用いて説明する。この画像８０１には、崩れたパンチ穴がある。

１．画像内のエッジを検出し、２値化する。図８（ａ）の例に示す画像８０１に対して、エッジを検出し、２値化した場合、図８（ｂ）の例に示す処理画像８１１のようになる。エッジの検出方法、２値化方法は、従来の技術を用いればよい。例えば、エッジの検出方法として、エッジ検出用のフィルターを用いてもよいし、微分エッジ検出法を用いてもよい。

２．ハフ変換等を用いて、画像内の円を探索し、規定の円領域に所属する画素をカウントする。図８（ｂ）の例に示す処理画像８１１に対して、ハフ変換を用いて、処理画像８１１内の円を検出した結果を図８（ｃ）に示す。図８（ｃ）には、処理画像８２１内に、２つの円である検出円８３０、検出円８３２が検出されたことを示している。この検出円８３０内の画素数を円領域内の画素数としてカウントする。そして、検出円８３０と検出円８３２との間にある黒画素数とそれに接続している黒画素数を円周長としてカウントする。
３．円領域内の画素数［ｐｉｘｅｌ］／領域の円周長［ｐｉｘｅｌ］を計算し、パンチ穴確度を算出する。

４．パンチ穴確度と、第１の閾値（以下Ｔｈ１）又は第２の閾値（以下Ｔｈ２）とを比較することによって、穴検知結果を決定する。例えば、閾値判断方法テーブル９００を用いて判断する。図９は、閾値判断方法テーブル９００のデータ構造例を示す説明図である。閾値判断方法テーブル９００は、判断欄９１０、判断欄９２０、判断欄９３０を有している。なお、ｔｈ１＞ｔｈ２とする。
判断欄９１０では、「Ａｃ_ｉ≧ｔｈ１」の場合に、「パンチ穴と決定する」と判断する。
判断欄９２０では、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」の場合に、「決定困難」と判断する。
判断欄９３０では、「ｔｈ２＞Ａｃ_ｉ」の場合に、「パンチ穴ではないと決定する」と判断する。
つまり、円に近い画像である場合、つまり、崩れていないパンチ穴である場合は、パンチ穴確度は予め定められた閾値Ｔｈ１以上であって、パンチ穴とは認められない場合は、パンチ穴確度は、予め定められた閾値Ｔｈ２未満となる。そして、パンチ穴確度は閾値Ｔｈ１より大であって、閾値Ｔｈ２以上となる場合は、パンチ穴に類似する画像、つまり、崩れているパンチ穴であると判断する。
円領域の大きさは、一般的なパンチ穴サイズをカバーするように定めればよい。具体的には、２穴パンチ穴の場合、ＩＳＯ８３８に直径５．５ｍｍ〜６．５ｍｍと規定されているため、この近辺とすればよい。これらの値によって、閾値Ｔｈ１、閾値Ｔｈ２を定めればよい。
パンチ穴確度は、パンチ穴の検知手法によって適切に定めるものとすればよい。例えば、パンチ穴の検知手法として、テンプレートマッチングを用いる場合は、累積二乗誤差の逆数をパンチ穴確度とすればよい。つまり、閾値を２つ用意し、一方の閾値との比較によってパンチ穴であると判断し、他方の閾値との比較によってパンチ穴ではないと判断し、両方の閾値の間にある場合は、パンチ穴に類似する画像であると判断するように、閾値、特徴量であるパンチ穴確度を設定すればよい。前述の例の他に、検出円８３０と検出円８３２の間にある黒画素数と本来のパンチ穴である場合の黒画素数との比率をパンチ穴確度としてもよい。

図１０、図１２は、本実施の形態による処理例を示す説明図である。パンチ穴除去モジュール１３０によるパンチ穴の除去方法、又は、図７に示すフローチャートのステップＳ７１６、Ｓ７１８、Ｓ７２０の処理の一例について説明する。
パンチ穴の崩れ方として、紙端までやぶれが発生しているケースがあるため、パンチ穴か否かの決定が困難である。閾値判断方法テーブル９００の判断欄９２０に該当する場合である。
そこで、対象としているページとは異なる他のページ（図７に示すフローチャートでは、対象としているページの前ページ）の同じ位置、又は、その近辺に、パンチ穴が存在する場合は、他ページにおける埋め領域情報テーブル１１００を用いて、パンチ穴の並び方向と垂直に、ページの紙端まで埋め領域形状を拡張する。

（１）Ａｃ≧Ｔｈ１の場合（つまり、崩れていないパンチ穴の場合）
図１０（ａ）の例に示すように、画像１００１からパンチ穴を検知し、その埋め領域形状１０１０として「円」、埋め領域位置１０１５として「パンチ穴の中心位置の座標、そして、半径に予め定められた値を加えた値」を抽出し、また、他のパンチ穴との関係からパンチ穴の並び方向１００５として「複数のパンチ穴の中心を通る縦線」を抽出する。これらの情報から埋め領域情報テーブル１１００を生成する。図１１は、埋め領域情報テーブル１１００のデータ構造例を示す説明図である。埋め領域情報テーブル１１００は、パンチ穴並び方向欄１１０５、埋め領域形状欄１１１０、埋め領域位置欄１１１５を有している。パンチ穴並び方向欄１１０５は、前述のパンチ穴の並び方向１００５を記憶している。埋め領域形状欄１１１０は、前述の埋め領域形状１０１０を記憶している。埋め領域位置欄１１１５は、前述の埋め領域位置１０１５を記憶している。
そして、図１０（ｂ）の例に示す穴埋め処理後画像１０３１のように、パンチ穴を除去する。具体的には、そのパンチ穴の埋め領域位置１０１５を周囲の色で埋めればよい。

（２）Ｔｈ１＞Ａｃ≧Ｔｈ２の場合（つまり、崩れているパンチ穴の場合）
図１２（ａ）の例に示すように、画像１２０１には、やぶれのあるパンチ穴１２０２がある。他のページにおける埋め領域情報テーブル１１００を利用する。もしも、他のページの同じ位置に埋め領域情報テーブル１１００の情報がなければ（つまり、他のページの同じ位置にパンチ穴がない場合）、パンチ穴除去モジュール１３０による処理は行わない。図７の例に示すフローチャートでは、ステップＳ７１４の「Ｎｏ」の判断が行われた場合は、ステップＳ７１６、Ｓ７１８、Ｓ７２０の処理は行われない。なお、図７の例に示すフローチャートにおける「ｉ−１ページ（前ページ）」が「他のページ」の一例である。
図１２（ｂ）の例に示すように、他のページの埋め領域情報テーブル１１００の情報を用いて、パンチ穴並び方向１２０５、埋め領域形状１２１０を決定し、さらに、パンチ穴並び方向１２０５と垂直方向に、埋め領域形状１２１０を紙端まで拡張して、埋め領域１２２５を生成する。前述したように、拡張する方向は、ページの端が近い方向である。図１２（ｂ）の例では左方向である。
そして、図１２（ｃ）の例に示す穴埋め処理後画像１２３１のように、崩れているパンチ穴を除去する。具体的には、その崩れているパンチ穴の埋め領域１２２５を周囲の色で埋めればよい。

図１３は、本実施の形態による処理例を示す説明図である。図１３は、パンチ穴の崩れがない場合の処理例を示している。
図１３（ａ１）の例に示す１ページ目おもて面画像１３０１ａ、図１３（ａ２）の例に示す２ページ目おもて面画像１３０２ａ、図１３（ａ３）の例に示す３ページ目おもて面画像１３０３ａ、図１３（ａ４）の例に示す４ページ目おもて面画像１３０４ａ、図１３（ａ５）の例に示す５ページ目おもて面画像１３０５ａのように、２つのパンチ穴（例えば、パンチ穴１３１１ａ、パンチ穴１３２１ａ等）がある場合、それぞれのパンチ穴確度は、０．９５であり、閾値Ｔｈ１は０．９０であるので、図７の例に示すフローチャートではステップＳ７０８で「Ｙｅｓ」の判断となる。そして、各ページにおける埋め領域情報テーブル１１００は、１つ目のパンチ穴では、パンチ穴並び方向欄１１０５は９０度（縦線）、埋め領域形状欄１１１０は円、埋め領域位置欄１１１５は（中心座標が（ｘ１、ｘ２）、半径がｘ３）となり、２つ目のパンチ穴では、パンチ穴並び方向欄１１０５は９０度（縦線）、埋め領域形状欄１１１０は円、埋め領域位置欄１１１５は（中心座標が（ｘ４、ｘ５）、半径がｘ６）となる。
そして、各ページに対して、図１３（ｃ１）の例に示す１ページ目おもて面画像１３０１ｂ、図１３（ｃ２）の例に示す２ページ目おもて面画像１３０２ｂ、図１３（ｃ３）の例に示す３ページ目おもて面画像１３０３ｂ、図１３（ｃ４）の例に示す４ページ目おもて面画像１３０４ｂ、図１３（ｃ５）の例に示す５ページ目おもて面画像１３０５ｂのように、パンチ穴を除去する処理を行う。例えば、図１３（ｃ１）に示す１ページ目おもて面画像１３０１ｂでは、パンチ穴１３１１ａを囲む埋め領域１３１１ｃ内、パンチ穴１３２１ａを囲む埋め領域１３２１ｃ内を、それぞれの周囲の色で埋めることを行う。

図１４は、本実施の形態による処理例を示す説明図である。図１４は、崩れたパンチ穴が、途中のページである４ページ目にある場合の処理例を示している。なお、他のページである１〜３ページ目、５ページ目は、パンチ穴の崩れがない。

１〜３ページ目は、図１３の例と同様の処理を行う。
図１４（ａ４）の例に示す４ページ目おもて面画像１４０４ａでは、崩れたパンチ穴１４１４ａ、パンチ穴１４２４ａがある。この場合、パンチ穴確度は０．８０となり、閾値Ｔｈ１（０．９０）より小であり、閾値Ｔｈ２（０．７０）以上であるので、閾値判断方法テーブル９００の判断欄９２０に該当する。
そこで、４ページ目おもて面画像１４０４ａのパンチ穴１４１４ａとパンチ穴１４２４ａの位置と同じ位置にパンチ穴がある、前ページである３ページ目における埋め領域情報テーブル１１００を利用して、埋め領域を決定する。具体的には、３ページ目おもて面画像１４０３ｂでの埋め領域１４１３ｃ、埋め領域１４２３ｃを拡張して、埋め領域１４１４ｃ、埋め領域１４２４ｃを生成する。より具体的には、埋め領域１４１３ｃ、埋め領域１４２３ｃの中心を通る直線（パンチ穴並び方向、図１４（ｃ３）の例では縦線）に垂直であって、４ページ目おもて面画像１４０４ｂの端のうち近い方の端（図１４（ｃ４）の例では左方向）に向かって、埋め領域１４１３ｃ、埋め領域１４２３ｃを拡張して、埋め領域１４１４ｃ、埋め領域１４２４ｃを生成する。
その埋め領域１４１４ｃ、埋め領域１４２４ｃを対象として、パンチ穴の除去処理を行う。

図１５は、本実施の形態による処理例を示す説明図である。図１５は、１〜４ページ目にはパンチ穴がなく、５ページ目にはパンチ穴がある場合の処理例を示している。なお、パンチ穴に類似した文字が、途中のページである４ページ目にある。具体的には、４ページ目おもて面画像１５０４ａの左端に文字「ａ」が印字されている。この部分のパンチ穴確度が０．７２となり、閾値判断方法テーブル９００の判断欄９２０に該当する。
しかし、この場合、図７の例に示すフローチャートにしたがうと、前ページである３ページ目おもて面画像１５０３ａではパンチ穴がないと判断されているので、ステップＳ７１４で「Ｎｏ」となり、４ページ目おもて面画像１５０４ａでも、パンチ穴がないと判断されることになる。
なお、前述したように、参照するページを前ページに限らず、他のページである後のページ、例えば５ページ目おもて面画像１５０５ａとした場合は、５ページ目おもて面画像１５０５ａにはパンチ穴があるので、４ページ目おもて面画像１５０４ａに対してもパンチ穴の除去処理を行うことになる。

図１６は、本実施の形態による処理例を示す説明図である。図１６は、１ページ目には崩れたパンチ穴があり、２〜５ページ目には崩れていないパンチ穴がある場合の処理例を示している。
１ページ目おもて面画像１６０１ａでは、１ページ目であるため前ページにおける埋め領域情報テーブル１１００がないため、図７の例に示すフローチャートのステップＳ７１４で「Ｎｏ」となる。
２〜５ページ目は、図１３の例と同様の処理を行う。
そして、最終ページの処理が終了した時点で、図７の例に示すフローチャートのステップＳ７２４を行い、「Ｙｅｓ」となるので、図１６の例では、ユーザーに「１ページ目に対しても穴埋め処理を行うか否か」の表示を行う警告処理を行う。
なお、前述したように、対象としている文書の他のページにおいてパンチ穴の穴埋め処理が行われていない場合は、ステップＳ７２４を行わないようにしてもよい。つまり、そのような処理にした場合は、１ページ目にパンチ穴に類似した画像があったとしても、他のページでパンチ穴の穴埋め処理が行われていない場合は、１ページ目に対しても、パンチ穴の穴埋め処理は行わない。

図１７は、本実施の形態による処理例を示すフローチャートである。図７の例に示したフローチャートに対して、ステップＳ１７１８の処理を加えたものである。つまり、パンチ穴の除去処理を行わないページがある場合は、警告処理を行うようにしている。
さらに、警告処理を行った結果、ユーザーによって、パンチ穴の除去処理を行うとの操作が行われた場合は、他のページにおける埋め領域情報テーブル１１００を用いてパンチ穴の除去処理を行うようにしてもよい。例えば、ここでの他のページとして、対象ページの前ページとしてもよい。

１ページ目から最終ページまでの全ページについて、その順にステップＳ１７０２からステップＳ１７２４までの処理を繰り返す。
ステップＳ１７０４では、ｉページ目をスキャンする。
ステップＳ１７０６では、パンチ穴を検知する。
ステップＳ１７０８では、「Ａｃ_ｉ≧ｔｈ１」であるか否かを判断し、「Ａｃ_ｉ≧ｔｈ１」の場合はステップＳ１７２０へ進み、それ以外の場合はステップＳ１７１０へ進む。

ステップＳ１７１０では、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」の場合はステップＳ１７１２へ進み、それ以外の場合はステップＳ１７１８へ進む。
ステップＳ１７１２では、登録された埋め領域情報を取り出す。
ステップＳ１７１４では、ｉ−１ページの同位置にパンチ穴があるか否かを判断し、ある場合はステップＳ１７１６へ進み、それ以外の場合はステップＳ１７１８へ進む。
ステップＳ１７１６では、埋め領域を拡張し、ステップＳ１７２０へ進む。
ステップＳ１７１８では、警告を通知し、ステップＳ１７２４へ進む。
ステップＳ１７２０では、埋め領域情報を登録する。
ステップＳ１７２２では、穴埋め処理を行う。
ステップＳ１７２４では、全ページ終了までステップＳ１７０２からの処理を繰り返し、全ページ終了したらステップＳ１７２６へ進む。

ステップＳ１７２６では、「ｔｈ１＞Ａｃ_１≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_１≧ｔｈ２」の場合はステップＳ１７２８へ進み、それ以外の場合は処理を終了（ステップＳ１７９９）する。
ステップＳ１７２８では、１ページ目の穴埋め処理をする、又は、ユーザーに警告を通知する。

図１８は、本実施の形態による処理例を示すフローチャートである。図７の例に示したフローチャートに対して、ステップＳ１８１８、Ｓ１８２０、Ｓ１８２２の処理を加えたものである。つまり、ステップＳ１８１４で「Ｎｏ」と判断された場合であっても、ページの天地逆等に対応できるようにしたものである。そして、パンチ穴の除去処理を行わないページがある場合は、警告処理を行うようにしている。

１ページ目から最終ページまでの全ページについて、その順にステップＳ１８０２からステップＳ１８２８までの処理を繰り返す。
ステップＳ１８０４では、ｉページ目をスキャンする。
ステップＳ１８０６では、パンチ穴を検知する。
ステップＳ１８０８では、「Ａｃ_ｉ≧ｔｈ１」であるか否かを判断し、「Ａｃ_ｉ≧ｔｈ１」の場合はステップＳ１８２４へ進み、それ以外の場合はステップＳ１８１０へ進む。

ステップＳ１８１０では、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_ｉ≧ｔｈ２」の場合はステップＳ１８１２へ進み、それ以外の場合はステップＳ１８１８へ進む。
ステップＳ１８１２では、登録された埋め領域情報を取り出す。
ステップＳ１８１４では、ｉ−１ページの同位置にパンチ穴があるか否かを判断し、ある場合はステップＳ１８１６へ進み、それ以外の場合はステップＳ１８１８へ進む。
ステップＳ１８１６では、埋め領域を拡張し、ステップＳ１８２４へ進む。

ステップＳ１８１８では、ｉ−１ページの対称の位置にパンチ穴があるか否かを判断し、ある場合はステップＳ１８２０へ進み、それ以外の場合はステップＳ１８２２へ進む。ページの天地逆等に対応するために、前のページのパンチ穴の位置と対称となる位置に、対象ページのパンチ穴に類似する類似画像がある場合は、穴が連続しているとみなし、ステップＳ１８２０以降の穴埋め処理を実施する。
ステップＳ１８２０では、埋め領域を拡張し、ステップＳ１８２４へ進む。もちろんのことながら、ｉ−１ページにおける埋め領域と対称の位置に、対象ページにおける埋め領域を拡張する処理を行う。
ステップＳ１８２２では、警告を通知し、ステップＳ１８２８へ進む。

ステップＳ１８２４では、埋め領域情報を登録する。
ステップＳ１８２６では、穴埋め処理を行う。
ステップＳ１８２８では、全ページ終了までステップＳ１８０２からの処理を繰り返し、全ページ終了したらステップＳ１８３０へ進む。
ステップＳ１８３０では、「ｔｈ１＞Ａｃ_１≧ｔｈ２」であるか否かを判断し、「ｔｈ１＞Ａｃ_１≧ｔｈ２」の場合はステップＳ１８３２へ進み、それ以外の場合は処理を終了（ステップＳ１８９９）する。
ステップＳ１８３２では、１ページ目の穴埋め処理をする、又は、ユーザーに警告を通知する。

図７、図１７、図１８の例に示すフローチャートでは、ステップＳ７１４、ステップＳ１７１４、ステップＳ１８１４で「ｉ−１ページ」（「ｉ−１ページ」とは、対象ページの前ページ）としているが、ｉページ以外であれば、他のページであってもよい。例えば、パンチ穴が検知されたページであって、ｉページに最も近いページとしてもよい。

図１９は、本実施の形態による処理例を示す説明図である。図１８の例に示したフローチャートによる処理例を示したものである。図１９は、崩れたパンチ穴が、途中のページである４ページ目にあって、その４ページ目が他のページとは天地逆になっている場合の処理例を示している。なお、他のページである１〜３ページ目、５ページ目は、パンチ穴の崩れがなく、正立のページである。

１〜３ページ目、５ページ目は、図１３の例と同様の処理を行う。
図１９（ａ４）の例に示す４ページ目おもて面画像１９０４ａでは、崩れたパンチ穴１９１４ａ、パンチ穴１９２４ａがある。この場合、パンチ穴確度は０．８０となり、閾値Ｔｈ１（０．９０）より小であり、閾値Ｔｈ２（０．７０）以上であるので、閾値判断方法テーブル９００の判断欄９２０に該当する。
そこで、４ページ目おもて面画像１９０４ａのパンチ穴１９１４ａとパンチ穴１９２４ａの位置と対称の位置にパンチ穴がある、前ページである３ページ目における埋め領域情報テーブル１１００を利用して、埋め領域を決定する。具体的には、３ページ目おもて面画像１９０３ｂでの埋め領域１９１３ｃ、埋め領域１９２３ｃを拡張して、対称変換を行って、埋め領域１９１４ｃ、埋め領域１９２４ｃを生成する。より具体的には、埋め領域１９１３ｃ、埋め領域１９２３ｃの中心を通る直線（パンチ穴並び方向、図１９（ｃ３）の例では縦線）に垂直であって、対称変換を行って、４ページ目おもて面画像１９０４ｂの端のうち近い方の端（図１９（ｃ４）の例では右方向）に向かって、埋め領域１９１３ｃ、埋め領域１９２３ｃを拡張して、埋め領域１９１４ｃ、埋め領域１９２４ｃを生成する。なお、４ページ目おもて面画像１９０４ｂでのパンチ穴１９１４ａ、パンチ穴１９２４ａを拡張して、埋め領域１９１４ｃ、埋め領域１９２４ｃを生成するようにしてもよい。
その埋め領域１９１４ｃ、埋め領域１９２４ｃを対象として、パンチ穴の除去処理を行う。

なお、前述の実施の形態の説明内での比較処理において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、例示であって、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ等）や、専用のプロセッサ（例えばＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、プログラマブル論理デバイス、等）を含むものである。
また、上記実施形態におけるプロセッサの動作は、１つのプロセッサによって行われてもよいし、また、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１０５…読込モジュール
１１０…パンチ穴検知モジュール
１１５…第１段階検知モジュール
１２０…第２段階検知モジュール
１２５…パンチ穴情報記憶モジュール
１３０…パンチ穴除去モジュール
１３５…画像記憶モジュール
１４０…出力モジュール
２００…画像処理装置
２０５…画像入力モジュール
２１０…画像処理モジュール
２１５…検知モジュール
２３０…画像形成モジュール
２４０…画像出力モジュール
２５０…メモリ
２５５…ＣＰＵ
２６０…ＲＯＭ
２６５…通信モジュール
２７０…操作パネル

Claims (10)

1. プロセッサを備え、
   前記プロセッサは、
   読込手段によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像を検知した際に、前記文書の該第１ページとは異なる第２ページでパンチ穴が検知された場合に、前記類似画像を除去する
   ことを特徴とする画像処理装置。
2. 前記プロセッサが行う除去処理では、
   前記類似画像の除去する領域の大きさは、前記パンチ穴の除去する領域の大きさとは異なる、
   請求項１に記載の画像処理装置。
3. 前記プロセッサが行う除去処理では、
   前記類似画像の除去の面積は、前記パンチ穴の除去の面積よりも大きい、
   請求項２に記載の画像処理装置。
4. 前記プロセッサが行う除去処理では、
   前記類似画像を除去する領域は、類似画像からページの端までである、
   請求項３に記載の画像処理装置。
5. 前記プロセッサが行う除去処理では、
   前記第１ページが、前記文書の先頭ページ又は最終ページである場合と、途中ページである場合とで、前記類似画像の除去方法が異なる、
   請求項１に記載の画像処理装置。
6. 前記プロセッサは、
   前記第１ページが先頭ページ又は最終ページである場合は、警告せずに前記類似画像の除去を行う、
   請求項５に記載の画像処理装置。
7. 前記プロセッサは、
   前記第１ページが途中ページである場合は、警告を行い、ユーザーの判断にしたがって除去を行う、
   請求項５に記載の画像処理装置。
8. 前記プロセッサは、
   パンチ穴として検知するための第１閾値とパンチ穴ではないと検知するための第２閾値を用い、対象としている画像が該第１閾値と該第２閾値の間にある場合は、パンチ穴に類似する類似画像であると検知する、
   請求項１に記載の画像処理装置。
9. 前記プロセッサは、
   前記第１ページ中の前記類似画像の位置が、前記第２ページ中の前記パンチ穴と同じ位置又は対称の位置にある場合、前記類似画像を除去する、
   請求項１に記載の画像処理装置。
10. コンピュータを、
    読込手段によって読み込まれた、複数ページからなる文書の第１ページからパンチ穴に類似する類似画像を検知した際に、前記文書の該第１ページとは異なる第２ページでパンチ穴が検知された場合に、前記類似画像を除去する除去手段
    として機能させるための画像処理プログラム。