JP2018152760A - 画像処理装置、画像処理プログラムおよび画像処理装置の画像検出方法 - Google Patents

Abstract

【課題】原稿に形成されたパンチ穴などの欠損部に対応する欠損部画像を正確に検出可能な画像処理装置、画像処理プログラムおよび画像処理装置の画像検出方法を提供する。【解決手段】ＰＣ２は、原稿の表面を読み取った表面画像データと、同一の原稿の裏面を読み取った裏面画像データと、を取得する取得部２１０と、表面画像データに基づく表面画像と裏面画像データに基づく裏面画像との比較に基づいて、表面画像または裏面画像から、原稿に形成された欠損部に対応する欠損部画像を検出する欠損部画像検出部２３０と、を備える。【選択図】図２

Description

本発明は、原稿に形成された欠損部を検出する画像処理装置、画像処理プログラムおよび画像処理装置の画像検出方法に関する。

従来、入力画像（原稿の片面を読み取った画像）からパンチ穴を検出し、検出したパンチ穴を除去する画像処理装置が知られている（例えば、特許文献１）。

特開２００４−８０３４１号公報

ところが、従来の技術では、原稿の片面を読み取った１枚の画像のみに基づいてパンチ穴を検出しているため、誤検出のおそれがあった。

本発明は、上記の問題点に鑑み、原稿に形成されたパンチ穴などの欠損部に対応する欠損部画像を正確に検出可能な画像処理装置、画像処理プログラムおよび画像処理装置の画像検出方法を提供することを目的とする。

本発明の画像処理装置は、原稿の表面を読み取った表面画像データと、原稿の裏面を読み取った裏面画像データと、を取得する取得部と、表面画像データに基づく表面画像と裏面画像データに基づく裏面画像との比較に基づいて、表面画像または裏面画像から、原稿に形成された欠損部に対応する欠損部画像を検出する欠損部画像検出部と、を備えたことを特徴とする。

本発明の画像処理プログラムは、コンピューターを、原稿の表面を読み取った表面画像データと、原稿の裏面を読み取った裏面画像データと、を取得する取得部と、表面画像データに基づく表面画像と裏面画像データに基づく裏面画像との比較に基づいて、表面画像または裏面画像から、原稿に形成された欠損部に対応する欠損部画像を検出する欠損部画像検出部と、として機能させることを特徴とする。

本発明の画像処理装置の画像検出方法は、原稿の表面を読み取った表面画像データと、原稿の裏面を読み取った裏面画像データと、を取得し、表面画像データに基づく表面画像と裏面画像データに基づく裏面画像との比較に基づいて、表面画像または裏面画像から、原稿に形成された欠損部に対応する欠損部画像を検出することを特徴とする。

本発明の構成によれば、原稿両面の読取結果である表面画像および裏面画像に基づいて欠損部画像を検出するため、表面画像および裏面画像の一方のみに基づいて検出する場合と比較し、正確な検出結果を得ることができる。
なお、「原稿」とは、用紙のみならず、カード状媒体など厚みのある媒体でもよい。
また、「欠損部」とは、パンチ穴などの欠落部の他、原稿破れなどの破損部を含む。また、「欠損部」は、必ずしも物理的に欠損されたものでなくてもよい。例えば、物理的な欠損部が形成された媒体を複写したものを原稿として用いる場合、当該原稿に形成された欠損部画像も「欠損部」に含まれる。

上記の画像処理装置において、表面画像および裏面画像から、欠損部画像の候補となる候補画像を検出する候補画像検出部を備え、欠損部画像検出部は、表面画像および裏面画像の少なくとも一方から候補画像が検出された場合、表面画像および裏面画像に基づいて、候補画像が欠損部画像であるか否かを判定し、欠損部画像であると判定した候補画像を、欠損部画像として検出することを特徴とする。

本発明の構成によれば、原稿両面の読取結果である表面画像および裏面画像に基づいて、各画像から検出された候補画像が、原稿に形成された欠損部に対応する欠損部画像であるか否かを正確に判定することができる。

上記の画像処理装置において、欠損部画像検出部により検出された欠損部画像を、表面画像および裏面画像の少なくとも一方から除去する画像処理部を備えることを特徴とする。

本発明の構成によれば、欠損部画像がない表面画像および裏面画像を得ることができる。

上記の画像処理装置において、欠損部画像検出部は、表面画像および裏面画像の一方の画像である第１画像と、表面画像および裏面画像の他方の画像の鏡像である第２画像と、の照合結果に基づいて、欠損部画像を検出することを特徴とする。

本発明の構成によれば、表面画像および裏面画像の一方の画像（第１画像）と、他方の画像の鏡像（第２画像）とを照合することにより、欠損部画像を容易に検出することができる。

上記の画像処理装置において、欠損部画像検出部は、表面画像および裏面画像の一方の画像である第１画像と、表面画像および裏面画像の他方の画像の鏡像である第２画像と、を照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像と、第１画像および第２画像の一方の画像に存在し、他方の画像の同じ位置には存在しない候補画像とを、いずれも欠損部画像として検出し、欠損部画像検出部により検出された欠損部画像を除去すると共に、第１画像および第２画像の一方の画像に欠損部画像として検出された候補画像が存在する場合であって、他方の画像の同じ位置には存在しない場合、他方の画像における一方の画像の候補画像に対応する領域の画像を除去する画像処理部を備えることを特徴とする。

本発明の構成によれば、欠損部画像である候補画像を欠損部画像ではないと判定してしまう誤判定（欠損部画像の検出漏れ）を減らすことができる。また、第１画像および第２画像の一方の画像のみに欠損部画像として検出された候補画像が存在する場合、他方の画像の対応する領域の画像を除去するため、欠損部の影響のない画像を得ることができる。

上記の画像処理装置において、欠損部画像検出部は、第１画像と第２画像とを照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像を、欠損部画像として検出することを特徴とする。

本発明の構成によれば、欠損部画像ではない候補画像を誤って欠損部画像であると判定してしまう誤判定を減らすことができる。

上記の画像処理装置において、候補画像検出部により、第１画像および第２画像の一方の画像から検出された候補画像と同じ位置に、他方の画像から候補画像が検出されない場合、他方の画像に対し、一方の画像から検出された候補画像に対応する領域における候補画像の再検出処理を行う再検出部を備え、欠損部画像検出部は、候補画像検出部および再検出部により検出された候補画像に基づいて欠損部画像を検出することを特徴とする。

本発明の構成によれば、候補画像の検出漏れによる欠損部画像の誤判定を減らすことができる。

上記の画像処理装置において、欠損部画像検出部は、第１画像と第２画像とで同じ位置に存在する候補画像が欠損部画像であるか否かを、大きさおよび形状の少なくとも一方の差異に基づいて判定することを特徴とする。

本発明の構成によれば、欠損部画像ではない候補画像を誤って欠損部画像であると判定してしまう誤判定をさらに減らすことができる。

上記の画像処理装置において、欠損部画像検出部は、表面画像データおよび裏面画像データのデータ種別に応じて、欠損部画像であるか否かを判定するためのアルゴリズムを変更することを特徴とする。

本発明の構成によれば、データ種別に応じて、欠損部画像であるか否かを判定するためのアルゴリズムを変更するため、より正確な判定を行うことができる。
なお、「データ種別」は、例えば画像処理装置における表面画像データおよび裏面画像データの画像解析結果、画像処理装置に入力された表面画像データおよび裏面画像データのファイル形式、または表面画像データおよび裏面画像データに付加された付加情報に基づいて判定することが考えられる。
また、アルゴリズムとしては、「第１画像と第２画像とを照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像と、第１画像および第２画像の一方の画像に存在し、他方の画像の同じ位置には存在しない候補画像とを、いずれも欠損部画像として判定するアルゴリズム」や、「第１画像と第２画像とを照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像を、欠損部画像として判定するアルゴリズム」などが考えられる。

上記の画像処理装置において、欠損部は、パンチ穴であり、欠損部画像検出部の検出結果に基づき、表面画像および裏面画像の表示向きを変更して表示する表示制御部を備えることを特徴とする。

本発明の構成によれば、表面画像および裏面画像上の、パンチ穴に対応する欠損部画像の位置に応じて、ユーザーが視認し易いように、表面画像および裏面画像の表示向きを変更することができる。

なお、本発明の画像処理装置は、物理的に１つの装置で実現してもよいし、複数の装置を協働させて実現してもよい。また、本発明に記載された各部の機能は、各々が物理的に独立したハードウェア資源で実現されるものに限定されず、１つのハードウェア資源で複数の機能を実現してもよいし、複数のハードウェア資源で１つの機能を実現してもよい。

本発明の一実施形態に係る画像処理システムのハードウェア構成を示すブロック図である。 画像処理システムの機能構成を示すブロック図である。 表面画像の一例を示す図である。 裏面画像の一例を示す図である。 第１判定アルゴリズムの説明図である。 第１判定アルゴリズムの説明図である。 第２判定アルゴリズムの説明図である。 「長辺綴じ」の場合の表面画像および裏面画像の表示例（表示向きの変更を必要としない例）を示す図である。 「長辺綴じ」の場合の表面画像および裏面画像の表示例（表示向きの変更を必要とする例）を示す図である。 「短辺綴じ」の場合の表面画像および裏面画像の表示例（表示向きの変更を必要としない例）を示す図である。 「短辺綴じ」の場合の表面画像および裏面画像の表示例（表示向きの変更を必要とする例）を示す図である。 ＰＣによる画像データ読取結果表示処理の流れを示すフローチャートである。 変形例１に係る再検出処理の説明図である。

以下、添付の図面を参照して、本発明の画像処理装置、画像処理プログラムおよび画像処理装置の画像検出方法の一実施形態を説明する。本実施形態では、「画像処理装置」の一例としてパーソナルコンピューター（以下、「ＰＣ」と表記する）を例示する。

図１は、本発明の一実施形態に係る画像処理システムＳＹのハードウェア構成を示すブロック図である。画像処理システムＳＹは、スキャナー１およびＰＣ２を含む。スキャナー１とＰＣ２は、ＬＡＮ等のネットワークＮＷを介して接続される。なお、ネットワークＮＷに代え、ケーブルまたは無線通信を介してスキャナー１とＰＣ２を接続する構成でもよい。

スキャナー１は、ハードウェア構成として、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）１４、操作パネル１５および読取機構１６を備える。

ＣＰＵ１１は、スキャナー１内の各部と信号の入出力を行い、各種演算処理を行う。ＲＯＭ１２は、不揮発性の記憶媒体であり、スキャナー１のファームウェア等を記憶する。ＲＡＭ１３は、揮発性の記憶媒体であり、ＣＰＵ１１のワークエリアとして用いられる。通信Ｉ／Ｆ１４は、ネットワークＮＷを介してＰＣ２と通信する。操作パネル１５は、ディスプレーおよびタッチ式センサーを一体形成したものであり、表示手段および入力手段として用いられる。

読取機構１６は、原稿から画像データを光学的に読み取るものであり、原稿を走査する光源、原稿で反射された光を電気信号に変換するイメージセンサー等を含む。また、読取機構１６は、原稿の表面を読み取る表面読取機構と、原稿の裏面を読み取る裏面読取機構と、を有する。操作パネル１５の操作により「片面原稿スキャン」が指示された場合、表面読取機構または裏面読取機構により原稿の片面のみをスキャンし、「両面原稿スキャン」が指示された場合、表面読取機構および裏面読取機構により原稿の両面を同時にスキャンする。

なお、操作パネル１５の操作、またはＰＣ２の操作により、画像処理システムＳＹが「パンチ穴判定モード」に設定されている場合、「片面原稿スキャン」が指示された場合でも「両面原稿スキャン」を行う。これは、原稿両面の読取結果を用いて、原稿のパンチ穴に基づくパンチ穴画像の判定処理を行うためである。以下、画像処理システムＳＹが「パンチ穴判定モード」に設定されているものとして説明する。なお、ＰＣ２側からスキャン指令を行う構成の場合、ＰＣ２側が「パンチ穴判定モード」であればよく、スキャナー１側でモード判定の必要はない。この場合、ＰＣ２は、ユーザーから「片面原稿スキャン」が指示された場合でも、スキャナー１に対して「両面原稿スキャン」のスキャン指令を行うことで原稿両面の画像データを取得することが可能となる。

ＰＣ２は、ハードウェア構成として、通信Ｉ／Ｆ２１、ＣＰＵ２２、ＲＯＭ２３、ＲＡＭ２４、ディスプレー２５、ＨＤＤ（Hard disk drive）２６、キーボード２７およびマウス２８を備える。

通信Ｉ／Ｆ２１は、ネットワークＮＷを介してスキャナー１と通信する。ＣＰＵ２２は、ＰＣ２内の各部と信号の入出力を行い、各種演算処理を行う。ＲＯＭ２３は、不揮発性の記憶媒体であり、各種制御プログラムおよび各種制御データを記憶する。ＲＡＭ２４は、揮発性の記憶媒体であり、ＣＰＵ２２のワークエリアとして用いられる。ディスプレー２５は、画像データの読取結果（図８等参照）など、各種情報を表示する。

ＨＤＤ２６は、補助記憶装置であり、ＯＳ（Operating System）４１やスキャナードライバー４２等を記憶する。スキャナードライバー４２は、スキャナー１の制御、スキャナー１の読取結果に対する画像処理、およびその画像処理結果の表示制御等を行うためのプログラムである。なお、スキャナードライバー４２は、「画像処理プログラム」の一例である。キーボード２７およびマウス２８は、原稿の綴じ位置（パンチ穴の形成位置）の設定など、ユーザーが各種操作を行うための操作手段として用いられる。なお、綴じ位置は、「長辺綴じ（左右綴じ）」と「短辺綴じ（上下綴じ）」のいずれかを設定可能とする。

次に、図２を参照し、画像処理システムＳＹの機能構成を説明する。スキャナー１は、機能構成として、読取部１１０を備える。読取部１１０は、読取機構１６により、原稿両面の画像データ（表面画像データおよび裏面画像データ）を読み取る。

なお、以下の説明において、原稿の表面を読み取った画像データを「表面画像データ」、原稿の裏面を読み取った画像データを「裏面画像データ」と称する。また、「表面画像データ」に基づいて表示される画像を「表面画像Ｉａ」、「裏面画像データ」に基づいて表示される画像を「裏面画像Ｉｂ」と称する。

ＰＣ２は、機能構成として、取得部２１０、候補画像検出部２２０、欠損部画像検出部２３０、画像処理部２４０および表示制御部２５０を備える。

取得部２１０は、スキャナー１から、原稿の両面を読み取った表面画像データおよび裏面画像データを取得する。

候補画像検出部２２０は、表面画像Ｉａおよび裏面画像Ｉｂから、原稿に形成されたパンチ穴に対応するパンチ穴画像の候補となる候補画像Ｃを検出する。なお、「パンチ穴」は「欠損部」の一例であり、「パンチ穴画像」は「欠損部画像」の一例である。図３は、表面画像Ｉａから検出された候補画像Ｃの一例を示す図であり、図４は、裏面画像Ｉｂから検出された候補画像Ｃの一例を示す図である。両図は、同一の原稿の両面を読み取った表面画像データおよび裏面画像データに基づく表面画像Ｉａおよび裏面画像Ｉｂであり、２穴のパンチ穴に基づく候補画像Ｃが正確に検出された場合を示している。候補画像Ｃ１と候補画像Ｃ３は、２穴のパンチ穴のうち一方のパンチ穴に基づくものであり、候補画像Ｃ２と候補画像Ｃ４は、２穴のパンチ穴のうち他方のパンチ穴に基づくものである。この場合、表面画像Ｉａ上の候補画像Ｃ１，Ｃ２の位置と、裏面画像Ｉｂ上の候補画像Ｃ３，Ｃ４の位置とは、鏡像の関係となる。

なお、図３ないし図１３に示す表面画像Ｉａおよび裏面画像Ｉｂは、全て正像を示すものとする。また、図３ないし図７および図１３は、候補画像検出部２２０、欠損部画像検出部２３０および画像処理部２４０の説明上、表面画像Ｉａおよび裏面画像Ｉｂを可視化したものであり、実際にディスプレー２５上に表示されるものではない。

候補画像検出部２２０は、表面画像Ｉａおよび裏面画像Ｉｂの全体領域、または候補画像Ｃが存在する可能性のある一部の領域を対象として候補画像Ｃを検出する。また、検出方法としては、既知の技術を適用可能である。例えば、背景色と異なる色の画素の集合体を含む領域を抽出し、抽出した領域のサイズや形状等が所定の検出条件を満たす場合、その領域の画像を候補画像Ｃとして検出する、などの方法が考えられる。

欠損部画像検出部２３０は、表面画像Ｉａと裏面画像Ｉｂを比較し、その比較結果に基づいて、表面画像Ｉａおよび裏面画像Ｉｂから、原稿に形成されたパンチ穴に対応するパンチ穴画像を検出する。具体的には、表面画像Ｉａおよび裏面画像Ｉｂの少なくとも一方から候補画像Ｃが検出された場合、表面画像Ｉａおよび裏面画像Ｉｂの一方の画像である第１画像と、表面画像Ｉａおよび裏面画像Ｉｂの他方の画像の鏡像である第２画像と、の照合結果に基づいて、候補画像Ｃがパンチ穴画像であるか否かを判定する。つまり、この判定によってパンチ穴画像であると判定した候補画像Ｃを、パンチ穴画像として検出する。なお、以下の説明では、例えば表面画像Ｉａを「第１画像」、裏面画像Ｉｂの鏡像を「第２画像」として読み替え可能である。

また、欠損部画像検出部２３０は、取得部２１０が取得した表面画像データおよび裏面画像データのデータ種別を判定し、その判定結果に応じて、候補画像Ｃがパンチ穴画像であるか否かを判定するための判定アルゴリズムを変更する。本実施形態では、取得した表面画像データおよび裏面画像データを画像解析し、「文書データ」であるか否かを判定する。「文書データ」とは、文字を含む（または文字を主体とする）画像を表示するためのデータを指し、「文書データ」であるか否かの判別は、ＯＣＲ(Optical Character Recognition)技術を用いる。

また、欠損部画像検出部２３０は、判定アルゴリズムとして、「第１判定アルゴリズム」と「第２判定アルゴリズム」のいずれを用いるかを選択する。具体的には、表面画像データおよび裏面画像データのデータ種別が「文書データ」の場合、「第１判定アルゴリズム」を選択し、「文書データ」ではない場合、「第２判定アルゴリズム」を選択する。但し、表面画像データおよび裏面画像データの一方が「文書データ」であって、他方が「文書データ」ではない場合、「第１判定アルゴリズム」を選択する。

なお、このように表面画像データと裏面画像データのデータ種別が異なる場合、ユーザーに判定アルゴリズムの指定を促し、ユーザーの指定に基づいて判定アルゴリズムを選択してもよい。また、表面画像データおよび裏面画像データの一方が「文書データ」であって、他方が「文書データ」ではない場合、「第２判定アルゴリズム」を選択する構成でもよい。さらに、データ種別の判定結果と判定アルゴリズムとをユーザーが任意に対応付けたテーブルをＰＣ２内に記憶させておき、当該テーブルに基づいて判定アルゴリズムを選択する構成でもよい。

ここで、各判定アルゴリズムについて説明する。「第１判定アルゴリズム」とは、第１画像と第２画像とを照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像Ｃを、パンチ穴画像として判定するアルゴリズムである。但し、第１画像と第２画像とで同じ位置に存在する候補画像Ｃであっても、大きさおよび形状の少なくとも一方の差異が閾値を超える場合は、パンチ穴画像として判定しない。

図５および図６は、第１判定アルゴリズムの説明図である。欠損部画像検出部２３０は、図３に示す表面画像Ｉａに含まれる候補画像Ｃ１，Ｃ２の位置と対応する候補画像Ｃ３，Ｃ４以外の候補画像Ｃ５が裏面画像Ｉｂから検出された場合（図５参照）、この候補画像Ｃ５は、パンチ穴画像として判定しない。

なお、「表面画像Ｉａに含まれる候補画像Ｃの位置と対応する候補画像Ｃ」とは、裏面画像Ｉｂ上において、表面画像Ｉａ上の候補画像Ｃと鏡像の位置関係にある候補画像Ｃを指す。また、「候補画像Ｃの位置」は、候補画像Ｃの基準位置（候補画像Ｃの中心など）と、原稿の基準位置（原稿の四隅など）と、の相対位置により特定される。また、「鏡像の位置関係にある」とは、表面画像Ｉａ上の候補画像Ｃの位置と裏面画像Ｉｂの鏡像上の候補画像Ｃの位置との差異が閾値以内であることを指す。なお、この場合の閾値は、所定値（設定値）であってもよいし、原稿の大きさ、候補画像Ｃの大きさ、データ種別等に応じて変更される可変値であってもよい。

一方、欠損部画像検出部２３０は、図６に示す裏面画像Ｉｂ上の候補画像Ｃ６について、図３に示す表面画像Ｉａ上の候補画像Ｃ２の位置と対応する候補画像Ｃであるが、候補画像Ｃ２と比較すると大きさおよび形状の少なくとも一方差異が閾値を超えるため、パンチ穴画像として判定しない。

なお、「大きさ」については、候補画像Ｃの面積や候補画像Ｃの表示画素数より特定される。また、「形状」については、既知の形状判定アルゴリズム（形状マッチング画像処理技術）を用いて特定される。また、大きさおよび形状の差異を判定するための閾値は、所定値（設定値）であってもよいし、原稿の大きさ、候補画像Ｃの大きさ、データ種別等に応じて変更される可変値であってもよい。さらに、候補画像Ｃの「大きさのみ」、「形状のみ」、「大きさおよび形状」の差異が閾値を超えるか否かを判定してもよく、いずれを採用するかについて、ユーザーが選択してもよいし、原稿の大きさ、候補画像Ｃの大きさ、データ種別等に応じて決定してもよい。

次に、「第２判定アルゴリズム」について説明する。「第２判定アルゴリズム」とは、第１画像と第２画像とを照合したとき、第１画像と第２画像とで同じ位置に存在する候補画像Ｃと、第１画像および第２画像の一方の画像に存在し、他方の画像の同じ位置には存在しない候補画像Ｃとを、いずれもパンチ穴画像として判定するアルゴリズムである。つまり、欠損部画像検出部２３０は、第１画像と第２画像とを照合したとき、同じ位置にある候補画像Ｃだけでなく、異なる位置にある候補画像Ｃについてもパンチ穴画像として判定する。

図７は、第２判定アルゴリズムの説明図である。欠損部画像検出部２３０は、図３に示す表面画像Ｉａ上の候補画像Ｃ１と対応する位置にある裏面画像Ｉｂ上の候補画像Ｃ３をパンチ穴画像として判定する。さらに、欠損部画像検出部２３０は、図３に示す表面画像Ｉａ上の候補画像Ｃ２と対応する位置（符号５１参照）に裏面画像Ｉｂから候補画像Ｃが検出されない場合であっても、表面画像Ｉａに含まれる候補画像Ｃ２をパンチ穴画像として判定する。なお、この場合、裏面画像Ｉｂにもパンチ穴画像が存在する可能性が高いため、符号５１の領域は、後述する画像処理部２４０にて除去対象領域Ｅとして扱われる。

図２の説明に戻る。画像処理部２４０は、欠損部画像検出部２３０により、パンチ穴画像であると判定された候補画像Ｃを、当該候補画像Ｃが検出された表面画像Ｉａおよび裏面画像Ｉｂの少なくとも一方から除去する。また、画像処理部２４０は、欠損部画像検出部２３０により、第１画像および第２画像の一方の画像にパンチ穴画像として判定された候補画像Ｃが存在する場合であって、他方の画像の同じ位置には対応する候補画像Ｃが存在しない場合、他方の画像における一方の画像の候補画像Ｃに対応する領域（図７の符号５１参照）の画像を除去する。

なお、「他方の画像における一方の画像の候補画像Ｃに対応する領域」とは、一方の画像の候補画像Ｃの外形に相当する領域でもよいし、外形を所定量拡大した領域でもよい。また、除去領域パターンをＨＤＤ２６内の所定の記憶領域に記憶しておき、当該除去領域パターンに基づいて除去領域を決定してもよい。また、「候補画像Ｃ（または候補画像Ｃに対応する領域）を除去する」とは、候補画像Ｃ（または候補画像Ｃに対応する領域）の周辺領域の画素を用いて補間する（周辺領域の色で塗りつぶす）ことを指す。なお、パンチ穴画像と判定された候補画像Ｃの除去方法（塗りつぶす色の決定方法を含む）については、既知の技術を適用可能である。

表示制御部２５０は、画像処理部２４０による画像処理後（パンチ穴画像と判定された候補画像Ｃ等の除去処理後）の表面画像Ｉａおよび裏面画像Ｉｂをディスプレー２５に表示させる。また、表示制御部２５０は、欠損部画像検出部２３０の検出結果と、ユーザーにより設定された原稿の綴じ位置（「長辺綴じ」または「短辺綴じ」）と、に基づいて、表面画像Ｉａおよび裏面画像Ｉｂの表示向きを変更して表示する。

ここで、図８ないし図１１を参照し、表示制御部２５０による綴じ位置に応じた表示向き変更制御について説明する。ここでは、「両面原稿スキャン」が指示された場合の読取結果を示す。特に図示しないが、「片面原稿スキャン」が指示された場合は、表面画像Ｉａおよび裏面画像Ｉｂのいずれか一方のみを表示する。なお、図８ないし図１１において、符号Ｅは、画像処理部２４０による除去対象領域（パンチ穴画像と判定された候補画像Ｃ、またはその候補画像Ｃに対応する領域）を示す。また、「表面」および「裏面」の文字は、説明上、表面画像Ｉａおよび裏面画像Ｉｂのいずれであるか、および各画像の向きを示すために記載したものであり、実際にディスプレー２５上に表示されるものではない。

図８および図９は、長辺綴じの場合の表面画像Ｉａおよび裏面画像Ｉｂの表示例を示す図である。スキャナー１による画像データの読取結果を表示したとき、表示制御部２５０による表示制御を行わない場合は、原稿のスキャン方向に応じて、図８のように表示されたり、図９のように表示されたりする可能性がある。ここでは、１枚の原稿をスキャンした場合であって、ディスプレー２５の左側に表面画像Ｉａを表示し、ディスプレー２５の右側に裏面画像Ｉｂを表示する場合を例示する。

例えば、表示制御部２５０は、ユーザーにより「長辺綴じ（左綴じ）」に設定された場合、図８に示すように、表面画像Ｉａの左側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂの右側に除去対象領域Ｅ，Ｅが位置していれば表示向きを変更しない。一方、それ以外の場合は、表示向きを変更する。例えば、図９に示すように、表面画像Ｉａの下側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂの上側に除去対象領域Ｅ，Ｅが位置している場合、表示向きを右側に９０°回転させる。なお、「長辺綴じ」の場合であっても、左綴じではなく右綴じの場合や、ユーザーが原稿の表裏を逆にしてスキャンする場合なども考えられるため、表面画像Ｉａ（左側に配置された画像）の右側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂ（右側に配置された画像）の左側に除去対象領域Ｅ，Ｅが位置している場合、表示向きを変更しない構成でもよい。

一方、図１０および図１１は、短辺綴じの場合の表面画像Ｉａおよび裏面画像Ｉｂの表示例を示す図である。表示制御部２５０は、ユーザーにより「短辺綴じ（上綴じ）」に設定された場合、図１０に示すように、表面画像Ｉａの上側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂの下側に除去対象領域Ｅ，Ｅが位置していれば表示向きを変更しない。一方、それ以外の場合は、表示向きを変更する。例えば、図１１に示すように、表面画像Ｉａの左側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂの右側に除去対象領域Ｅ，Ｅが位置している場合、表示向きを右側に９０°回転させる。なお、「短辺綴じ」の場合であっても、上綴じではなく下綴じの場合や、ユーザーが原稿の表裏を逆にしてスキャンする場合なども考えられるため、表面画像Ｉａ（左側に配置された画像）の下側に除去対象領域Ｅ，Ｅが位置し、裏面画像Ｉｂ（右側に配置された画像）の上側に除去対象領域Ｅ，Ｅが位置している場合、表示向きを変更しない構成でもよい。

次に、図１２のフローチャートを参照し、ＰＣ２による画像データ読取結果表示処理（画像処理装置の画像検出方法を含む）の流れを説明する。ＰＣ２は、スキャナー１から表面画像データおよび裏面画像データを取得すると（Ｓ０１）、これら表面画像データに基づく表面画像Ｉａおよび裏面画像データに基づく裏面画像Ｉｂから候補画像Ｃを検出する（Ｓ０２）。ここで、候補画像Ｃが検出されなかった場合（Ｓ０３：Ｎｏ）、Ｓ０９に進む（ディスプレー２５上に、取得した画像データに基づく表示を行う）。また、候補画像Ｃが検出された場合（Ｓ０３：Ｙｅｓ）、表面画像データおよび裏面画像データを解析し、少なくとも一方が文書データであるか否かを判別する（Ｓ０４）。

表面画像データおよび裏面画像データの少なくとも一方が文書データである場合（Ｓ０４：Ｙｅｓ）、「第１判定アルゴリズム」に基づいて、検出された候補画像Ｃがパンチ穴画像であるか否かを判定する（Ｓ０５）。また、パンチ穴画像であると判定された候補画像Ｃを除去する（図３と図５の関係において、候補画像Ｃ１，Ｃ２，Ｃ３，Ｃ４を除去し、図３と図６の関係において、候補画像Ｃ１，Ｃ３を除去する，Ｓ０６）。その後、設定された綴じ位置と、候補画像Ｃの判定結果（表面画像Ｉａおよび裏面画像Ｉｂ上の除去対象領域Ｅの位置）に応じて表示向きの変更が必要か否かを判定し（Ｓ０７）、必要と判定した場合は（Ｓ０７：Ｙｅｓ）、表面画像Ｉａおよび裏面画像Ｉｂの表示向きを変更し（Ｓ０８）、ディスプレー２５上に表示する（Ｓ０９）。

一方、表面画像データおよび裏面画像データがいずれも文書データではない場合は（Ｓ０４：Ｎｏ）、「第２判定アルゴリズム」に基づいて、検出された候補画像Ｃがパンチ穴画像であるか否かを判定する（Ｓ１０）。その後、パンチ穴画像であると判定された候補画像Ｃと、その候補画像Ｃに対応する領域の画像と、を除去し（図３と図７の関係において、候補画像Ｃ１，Ｃ２，Ｃ３および領域５１の画像を除去し，Ｓ１１）、Ｓ０７に進む。

以上説明したとおり、本実施形態に係る画像処理システムＳＹによれば、原稿両面の読取結果である表面画像Ｉａおよび裏面画像Ｉｂに基づいて、各画像から検出された候補画像Ｃが、原稿に形成されたパンチ穴に対応するパンチ穴画像であるか否かを判定するため、表面画像Ｉａおよび裏面画像Ｉｂの一方のみに基づいて判定する場合と比較し、正確な判定を行うことができる。また、欠損部画像であると判定された候補画像Ｃが存在する場合、当該候補画像Ｃを除去するため、パンチ穴の影響のない表面画像Ｉａおよび裏面画像Ｉｂを得ることができる。

また、表面画像データおよび裏面画像データのデータ種別に応じて、候補画像Ｃがパンチ穴画像であるか否かを判定するための判定アルゴリズムを変更するため、より正確な判定を行うことができる。具体的には、データ種別が「文書データ」であると判定した場合、「第１判定アルゴリズム」より、第１画像と第２画像で同じ位置に存在する候補画像Ｃのみ、欠損部画像として判定する。これにより、パンチ穴画像ではない候補画像Ｃ（例えば、原稿に印刷されていた文書中の文字や記号など）を誤ってパンチ穴画像であると判定してしまう誤判定を減らすことができる。また、第１判定アルゴリズムでは、第１画像と第２画像とで同じ位置に存在する候補画像Ｃであっても、大きさおよび形状の少なくとも一方の差異が閾値を超える場合、パンチ穴画像として判定しないため、さらに誤判定を減らすことができる。

一方、データ種別が「文書データ」ではないと判定した場合、「２判定アルゴリズム」より、第１画像と第２画像で同じ位置に存在する候補画像Ｃだけでなく異なる位置に存在する候補画像Ｃも、欠損部画像として判定する。これにより、パンチ穴画像である候補画像Ｃをパンチ穴画像ではないと判定してしまう誤判定（パンチ穴画像の判定漏れ）を減らすことができ、ひいては確実にパンチ穴の影響を除去することができる。

また、本実施形態によれば、表面画像Ｉａおよび裏面画像Ｉｂ上の、パンチ穴画像の位置（除去対象領域Ｅの位置）に応じて、ユーザーが視認し易いように表面画像Ｉａおよび裏面画像Ｉｂの表示向きを変更するため、ユーザーが表示向きを変更する手間を軽減できる。

なお、上記の実施形態に限らず、以下の変形例を採用可能である。
［変形例１］
上記の実施形態におけるＰＣ２の構成（図２参照）に、再検出部（図示省略）を追加してもよい。再検出部は、候補画像検出部２２０により、第１画像および第２画像の一方の画像から検出された候補画像Ｃと同じ位置に、他方の画像から候補画像Ｃが検出されない場合、他方の画像に対し、一方の画像から検出された候補画像Ｃに対応する領域における候補画像Ｃの再検出処理を行う。この場合、欠損部画像検出部２３０は、候補画像検出部２２０および再検出部により検出された候補画像Ｃに基づいて欠損部画像を検出する。
図１３は、本変形例に係る再検出処理の説明図である。本変形例においても、例えば表面画像Ｉａを「第１画像」、裏面画像Ｉｂの鏡像を「第２画像」として読み替え可能である。再検出部は、図３に示す表面画像Ｉａに含まれる候補画像Ｃ２と対応する位置に裏面画像Ｉｂから候補画像Ｃが検出されない場合、候補画像Ｃ２と対応する位置を中心とした所定範囲の領域（符号５２参照）に対し、再検出処理を行う。また、所定範囲ではなく、原稿の大きさ、候補画像Ｃの大きさ、データ種別等に応じて再検出処理の対象範囲を変更してもよい。この構成によれば、候補画像Ｃの再検出を行うため、候補画像Ｃの検出漏れによるパンチ穴画像の誤判定を減らすことができる。
なお、再検出部は、候補画像Ｃに対応する領域に対し、候補画像検出部２２０による候補画像Ｃの検出処理よりも詳細な（重点的な）検出処理を行うことが好ましい。例えば、背景色と異なる色の画素の集合体が抽出できなかった場合、候補画像Ｃに対応する領域内で輝度差を調べ、同じ輝度からなる所定形状の領域を検出できた場合、その所定形状の領域を候補画像Ｃとして検出する、などの方法が考えられる。
また、再検出部による再検出は、データ種別が「文書データ」である場合（「第１判定アルゴリズム」を用いる場合）のみ行ってもよい。これにより、「第２判定アルゴリズム」を用いる場合の再検出処理を省略できるため、処理負荷を軽減できる。

［変形例２］
上記の実施形態では、「欠損部」として、パンチ穴を例示したが、パンチ穴以外の欠落部（ステープラ用針またはステープラ跡など）、原稿破れなどの破損部に基づく画像を、欠損部画像として判定してもよい。また、「欠損部」は、必ずしも物理的に欠損されたものでなくてもよい。例えば、物理的な欠損部が形成された媒体を複写したものを原稿として用いる場合、当該原稿に形成された欠損部画像も判定可能である。なお、パンチ穴、ステープラ針またはステープラ跡以外の欠損部に基づく欠損部画像を判定する場合、表示制御部２５０による表示向き変更処理は省略してもよい。

［変形例３］
上記の実施形態では、「画像処理装置」としてＰＣ２を例示したが、タブレット端末（タッチ式センサー付のディスプレーを備えた装置）やサーバーなど、各種情報処理装置を「画像処理装置」として用いてもよい。

［変形例４］
また、スキャナー１とＰＣ２を一体化し、スキャナー１内に、図２に示したＰＣ２の各部を設けてもよい。この場合、スキャナー１の操作パネル１５に、画像処理および表示向き変更処理後の表面画像Ｉａおよび裏面画像Ｉｂ（図８および図１０参照）を表示すればよい。また、スキャナー１以外にも、読取機構１６を備えた装置（複合機など）を「画像処理装置」としてもよい。

［変形例５］
上記の実施形態においてスキャナー１は、「両面原稿スキャン」が指示された場合、原稿の両面を同時にスキャンするものとしたが、必ずしも同時にスキャンする必要はない。例えば、原稿の片面のみを先にスキャンし、その後原稿の逆の面をスキャンする構成でもよい。

［変形例６］
上記の実施形態では、「画像処理プログラム」の一例として、スキャナードライバー４２を例示したが、スキャナードライバー４２とは別のアプリケーションを、「画像処理プログラム」として用いてもよい。また、当該プログラムをＰＣ２と通信可能な別装置（サーバーなど）に設け、ＰＣ２が別装置と通信を行いながら画像処理や表示制御を行う構成でもよい。

［変形例７］
上記の実施形態および変形例に示した画像処理システムＳＹ内の各装置における各構成要素（各機能）をプログラムとして提供しても良い。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供しても良い。すなわち、コンピューターを画像処理システムＳＹ内の各装置の各構成要素（各機能）として機能させるためのプログラム、それを記録したコンピューター読み取り可能な記録媒体も、本発明の権利範囲に含まれる。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…スキャナー、２…ＰＣ、１１０…読取部、２１０…取得部、２２０…候補画像検出部、２３０…欠損部画像検出部、２４０…画像処理部、２５０…表示制御部、ＳＹ…画像処理システム

Claims (12)

1. 原稿の表面を読み取った表面画像データと、前記原稿の裏面を読み取った裏面画像データと、を取得する取得部と、
   前記表面画像データに基づく表面画像と前記裏面画像データに基づく裏面画像との比較に基づいて、前記表面画像または前記裏面画像から、前記原稿に形成された欠損部に対応する欠損部画像を検出する欠損部画像検出部と、を備えたことを特徴とする画像処理装置。
2. 前記表面画像および前記裏面画像から、前記欠損部画像の候補となる候補画像を検出する候補画像検出部を備え、
   前記欠損部画像検出部は、前記表面画像および前記裏面画像の少なくとも一方から前記候補画像が検出された場合、前記表面画像および前記裏面画像に基づいて、前記候補画像が前記欠損部画像であるか否かを判定し、前記欠損部画像であると判定した前記候補画像を、前記欠損部画像として検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記欠損部画像検出部により検出された前記欠損部画像を、前記表面画像および前記裏面画像の少なくとも一方から除去する画像処理部を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記欠損部画像検出部は、前記表面画像および前記裏面画像の一方の画像である第１画像と、前記表面画像および前記裏面画像の他方の画像の鏡像である第２画像と、の照合結果に基づいて、前記欠損部画像を検出することを特徴とする請求項２に記載の画像処理装置。
5. 前記欠損部画像検出部は、前記表面画像および前記裏面画像の一方の画像である第１画像と、前記表面画像および前記裏面画像の他方の画像の鏡像である第２画像と、を照合したとき、前記第１画像と前記第２画像とで同じ位置に存在する前記候補画像と、前記第１画像および前記第２画像の一方の画像に存在し、他方の画像の同じ位置には存在しない前記候補画像とを、いずれも前記欠損部画像として検出し、
   前記欠損部画像検出部により検出された前記欠損部画像を除去すると共に、前記第１画像および前記第２画像の一方の画像に前記欠損部画像として検出された前記候補画像が存在する場合であって、他方の画像の同じ位置には存在しない場合、前記他方の画像における前記一方の画像の前記候補画像に対応する領域の画像を除去する画像処理部を備えることを特徴とする請求項２に記載の画像処理装置。
6. 前記欠損部画像検出部は、前記第１画像と前記第２画像とを照合したとき、前記第１画像と前記第２画像とで同じ位置に存在する前記候補画像を、前記欠損部画像として検出することを特徴とする請求項４に記載の画像処理装置。
7. 前記候補画像検出部により、前記第１画像および前記第２画像の一方の画像から検出された前記候補画像と同じ位置に、他方の画像から前記候補画像が検出されない場合、前記他方の画像に対し、前記一方の画像から検出された前記候補画像に対応する領域における前記候補画像の再検出処理を行う再検出部を備え、
   前記欠損部画像検出部は、前記候補画像検出部および前記再検出部により検出された前記候補画像に基づいて前記欠損部画像を検出することを特徴とする請求項４または６に記載の画像処理装置。
8. 前記欠損部画像検出部は、前記第１画像と前記第２画像とで同じ位置に存在する前記候補画像が前記欠損部画像であるか否かを、大きさおよび形状の少なくとも一方の差異に基づいて判定することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記欠損部画像検出部は、前記表面画像データおよび前記裏面画像データのデータ種別に応じて、前記欠損部画像であるか否かを判定するためのアルゴリズムを変更することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記欠損部は、パンチ穴であり、
    前記欠損部画像検出部の検出結果に基づき、前記表面画像および前記裏面画像の表示向きを変更して表示する表示制御部を備えることを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. コンピューターを、
    原稿の表面を読み取った表面画像データと、前記原稿の裏面を読み取った裏面画像データと、を取得する取得部と、
    前記表面画像データに基づく表面画像と前記裏面画像データに基づく裏面画像との比較に基づいて、前記表面画像または前記裏面画像から、前記原稿に形成された欠損部に対応する欠損部画像を検出する欠損部画像検出部と、として機能させるための画像処理プログラム。
12. 原稿の表面を読み取った表面画像データと、前記原稿の裏面を読み取った裏面画像データと、を取得し、
    前記表面画像データに基づく表面画像と前記裏面画像データに基づく裏面画像との比較に基づいて、前記表面画像または前記裏面画像から、前記原稿に形成された欠損部に対応する欠損部画像を検出することを特徴とする画像処理装置の画像検出方法。

Images