JP2016178553A - 画像処理装置、領域検出方法及びコンピュータプログラム - Google Patents

Abstract

【課題】読み取った画像から原稿の画像を切出すべき領域を適切に検出することが可能な画像処理装置、領域検出方法、コンピュータプログラムを提供する。
【解決手段】画像処理装置の画像処理回路２７は、入力画像から特定の色成分を抽出した色成分画像を生成する第１色成分画像生成部２０１と、色成分画像において、特定の画素を膨張させた膨張色成分画像を生成する膨張色成分画像生成部２０２と、膨張色成分画像からエッジ画素を抽出する第１エッジ画素抽出部２０３と、エッジ画素から原稿領域を検出する原稿領域検出部２１４と、を有する。
【選択図】図２

Description

本発明は、画像処理装置、領域検出方法及びコンピュータプログラムに関し、特に、入力画像から原稿の画像を切出すべき領域を検出する画像処理装置、領域決定方法及びコンピュータプログラムに関する。

スキャナ装置等で原稿を読み取って画像データとして保存するためには、読み取った画像から原稿領域を正確に検出する必要がある。一般に、フラットベッドタイプ又は自動原稿送りタイプのスキャナ装置では、白色、黒色等の単調色の裏当てを用いることにより原稿領域とそれ以外の領域を容易に識別できる。一方、近年では、机等に載置された原稿を読み取る、いわゆるオーバーヘッドタイプのスキャナ装置が利用されており、机の模様と原稿とを正確に識別することが必要となっている。

また、オーバーヘッドタイプのスキャナ装置は、糊の付いた台紙に写真を張り付けるタイプのアルバムから、台紙に張り付けられた状態の写真を読み取るために利用されることがある。その場合、糊が劣化して縞模様に写る台紙部分と写真とを正確に識別することが必要となっている。

読み取った画像から原稿領域を求める画像読取装置が開示されている。この画像読取装置は、全ての対象物を包含する第１の矩形の頂点座標と、全ての対象物のうち原稿の内容物であると判定した全ての対象物を包含し面積が最小である第２の矩形の頂点座標との一致度に基づいて原稿領域の切出し方法を決定する（特許文献１を参照）。

また、全幅が裏当て部である領域のイメージデータにより原稿エッジ検出用の基準データを作成し、基準データと画像データとの差異を求めることにより原稿のエッジ検出を行う画像読取装置が開示されている。この画像読取装置は、エッジ検出を水平方向および垂直方向に所定のラインだけ行うことにより原稿の四辺を検出し、原稿画像の自動認識を行う（特許文献２を参照）。

また、入力画像から原稿の境界を検出する画像処理装置が開示されている。この画像処理装置は、入力画像からエッジ画素を抽出し、エッジ画素から複数の直線を抽出し、抽出した直線から矩形候補を抽出し、各矩形候補の各辺から所定距離内にあるエッジ画素の数と各角の角らしさの度合いに基づいて矩形を選択する（特許文献３を参照）。

また、読み取った画像から原稿の画像を切出すべき領域を決定する画像処理装置が開示されている。この画像処理装置は、入力画像から対象領域を検出し、対象領域内において矩形を検出し、その矩形が対象領域と一致する場合、その矩形を切出し領域に決定し、一致しない場合、対象領域を含む領域を切出し領域に決定する（特許文献４を参照）。

特開２００９−２７２６７６号公報 特開２００７−８８６５４号公報 特開２０１３−１０６１６０号公報 特開２０１４−１９５１４８号公報

スキャナ装置等の画像処理装置では、読み取った画像から原稿の画像を切出すべき領域をより精度良く検出することを求められている。

本発明の目的は、読み取った画像から原稿の画像を切出すべき領域を精度良く検出することが可能な画像処理装置、領域検出方法及びそのような領域検出方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

本実施形態の一側面に係る画像処理装置は、入力画像から特定の色成分を抽出した色成分画像を生成する色成分画像生成部と、色成分画像において、特定の画素を膨張させた膨張色成分画像を生成する膨張色成分画像生成部と、膨張色成分画像からエッジ画素を抽出するエッジ画素抽出部と、エッジ画素から原稿領域を検出する原稿領域検出部と、を有する。

また、本実施形態の一側面に係る領域決定方法は、入力画像から特定の色成分を抽出した色成分画像を生成し、色成分画像において、特定の画素を膨張させた膨張色成分画像を生成し、膨張色成分画像からエッジ画素を抽出し、エッジ画素から原稿領域を検出することを含む。

また、本実施形態の一側面に係るコンピュータプログラムは、入力画像から特定の色成分を抽出した色成分画像を生成し、色成分画像において、特定の画素を膨張させた膨張色成分画像を生成し、膨張色成分画像からエッジ画素を抽出し、エッジ画素から原稿領域を検出することをコンピュータに実行させる。

本発明によれば、読み取った画像から原稿の画像を切出すべき領域を精度良く検出することが可能な画像処理装置、領域検出方法及びそのような領域検出方法をコンピュータに実行させるコンピュータプログラムを提供することができる。

実施形態に従った画像処理システム１の概略構成を示す図である。 画像処理回路２７の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 原稿切出し処理の動作を示すフローチャートである。 原稿切出し処理における画像について説明するための模式図である。 切出し領域決定処理の動作の例を示すフローチャートである。 候補領域検出処理の動作の例を示すフローチャートである。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 矩形検出処理の動作の例を示すフローチャートである。 外側エッジ画素の抽出処理について説明するための模式図である。 外側エッジ画素の抽出処理について説明するための模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 近似直線について説明するための模式図である。 近似直線について説明するための模式図である。 矩形候補の各角の評価点について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 非矩形検出処理の動作の例を示すフローチャートである。 非矩形検出処理における各画像について説明するための模式図である。 非矩形検出処理における各画像について説明するための模式図である。 他の画像処理システム２の概略構成を示す図である。

以下、本発明に係る画像処理装置、領域決定方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力装置１１と、第１画像メモリ１２と、第１インターフェース装置１３と、第１記憶装置１４と、第１ＣＰＵ（Control Processing Unit）１５とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力装置１１は、撮像対象物である原稿等を撮像する撮像センサを有する。この撮像センサは、撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備える。各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。撮像素子は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。画像入力装置１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、ＲＧＢ画像と称する）を生成する。このＲＧＢ画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。

画像入力装置１１は、ＲＧＢ画像又はＲＧＢ画像の各画素のＲＧＢ値を輝度値及び色差値（ＹＵＶ値）に変換した画像（以下、読取画像と称する）を生成し、第１画像メモリ１２に保存する。なお、ＹＵＶ値は、例えば以下の式により算出することができる。
Ｙ値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）
Ｕ値＝−０．１７×Ｒ値−０．３３×Ｇ値＋０．５０×Ｂ値 （２）
Ｖ値＝ ０．５０×Ｒ値−０．４２×Ｇ値−０．０８×Ｂ値 （３）

第１画像メモリ１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ１２は、画像入力装置１１と接続され、画像入力装置１１により生成された読取画像を保存する。

第１インターフェース装置１３は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース装置１３にフラッシュメモリ等を接続して第１画像メモリ１２に保存されている画像データを一旦保存し、情報処理装置２０に複写するようにしてもよい。

第１記憶装置１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１４にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。

第１ＣＰＵ１５は、画像入力装置１１、第１画像メモリ１２、第１インターフェース装置１３及び第１記憶装置１４と接続され、これらの各部を制御する。第１ＣＰＵ１５は、画像入力装置１１の読取画像生成制御、第１画像メモリ１２の制御、第１インターフェース装置１３を介した情報処理装置２０とのデータ送受信制御、第１記憶装置１４の制御等を行う。

情報処理装置２０は、第２インターフェース装置２１と、第２画像メモリ２２と、表示装置２３と、入力装置２４と、第２記憶装置２５と、第２ＣＰＵ２６と、画像処理回路２７とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース装置２１は、画像読取装置１０の第１インターフェース装置１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ２２は、画像読取装置１０の第１画像メモリ１２と同様の記憶装置を有する。第２画像メモリ２２には、第２インターフェース装置２１を介して画像読取装置１０から受信した読取画像を保存するとともに、画像処理回路２７と接続され、画像処理回路２７により読取画像に対して画像処理がなされた各種の処理画像を保存する。

表示装置２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第２画像メモリ２２と接続されて第２画像メモリ２２に保存されている画像データをディスプレイに表示する。

入力装置２４は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２６に出力する。

第２記憶装置２５は、画像読取装置１０の第１記憶装置１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２５には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２５にインストールされてもよい。

第２ＣＰＵ２６は、第２インターフェース装置２１、第２画像メモリ２２、表示装置２３、入力装置２４、第２記憶装置２５及び画像処理回路２７と接続され、これらの各部を制御する。第２ＣＰＵ２６は、第２インターフェース装置２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ２２の制御、表示装置２３の表示制御、入力装置２４の入力制御、第２記憶装置２５の制御、画像処理回路２７による画像処理の制御等を行う。

画像処理回路２７は、第２画像メモリ２２に接続され、原稿切出し処理を行う。この画像処理回路２７は、第２ＣＰＵ２６に接続され、第２ＣＰＵ２６からの制御により予め第２記憶装置２５に記憶されているプログラムに基づいて動作する。なお、画像処理回路２７は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図２は、画像処理回路２７の概略構成を示す図である。図２に示すように画像処理回路２７は、第１色成分画像生成部２０１、膨張色成分画像生成部２０２、第１エッジ画素抽出部２０３、第２色成分画像生成部２０４、第２エッジ画素抽出部２０５、エッジ画像生成部２０６、候補領域検出部２０７、外側エッジ画素抽出部２０８、直線検出部２０９、矩形検出部２１０、外周エッジ画素抽出部２１１、非矩形検出部２１２、マスク生成部２１３、原稿領域検出部２１４、切出し部２１５及び記憶制御部２１６を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部はそれぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図３は、画像読取装置１０による画像読取処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１４に記憶されているプログラムに基づき主に第１ＣＰＵ１５により画像読取装置１０の各要素と協働して実行される。

最初に、画像入力装置１１は、撮像対象物である原稿を撮影した読取画像を生成し、第１画像メモリ１２に保存する（ステップＳ１０１）。

次に、第１ＣＰＵ１５は、第１画像メモリ１２に保存された読取画像を第１インターフェース装置１３を介して情報処理装置２０に送信し（ステップＳ１０２）、一連のステップを終了する。

図４は、情報処理装置２０による原稿切出し処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、原稿切出し処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２５に記憶されているプログラムに基づき主に第２ＣＰＵ２６により情報処理装置２０の各要素と協同して実行される。

最初に、第２ＣＰＵ２６は、読取画像を第２インターフェース装置２１を介して画像読取装置１０から取得し、第２画像メモリ２２に保存する（ステップＳ２０１）。

次に、画像処理回路２７は、第２画像メモリ２２に保存された読取画像を読み出し、読取画像について水平方向及び垂直方向に画素を間引いた第１入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ２０２）。第１入力画像は、入力画像の一例である。

一般に、情報処理装置２０は処理する画像の画素数により処理速度が大きく異なるため、画素を間引く割合は、第２ＣＰＵ２６等の処理能力と情報処理装置２０に要求される処理速度に応じて定められる。なお、画素を間引かなくても要求される処理速度を満たす場合は読取画像をそのまま第１入力画像としてもよい。

図５は、原稿切出し処理における画像について説明するための模式図である。図５に示す画像５００は、第１入力画像の例である。第１入力画像５００は、糊の付いた台紙に写真を張り付けるタイプのアルバム５０２上に張り付けられた写真５０１を原稿として撮像した画像である。写真５０１には、人物５０３等が含まれる。アルバム５０２の台紙は縞状の凹凸形状を有している。アルバム５０２では台紙上の糊が劣化して赤味を帯びており、第１入力画像５００では赤味を帯びた部分と白色の部分とが縞模様として表れている。また、第１入力画像５００には、画像読取装置１０の画像入力装置１１の撮像素子及び光学系の影響により生じるランダムノイズ５０４が撮像されている。

次に、画像処理回路２７の各部は、第１入力画像について切出し領域決定処理を実施し（ステップＳ２０３）、一連のステップを終了する。切出し領域決定処理において、画像処理回路２７の各部は、第１入力画像から原稿の画像を切出す切出し領域を決定する。切出し領域決定処理の詳細については後述する。

図６は、切出し領域決定処理の動作の例を示すフローチャートである。図６に示す動作のフローは、図４に示すフローチャートのステップＳ２０３において実行される。

最初に、画像処理回路２７の各部は、第１入力画像について候補領域検出処理を実施する（ステップＳ３０１）。候補領域検出処理において、第１エッジ画素抽出部２０３及び第２エッジ画素抽出部２０５は、第１入力画像からエッジ画素を抽出し、候補領域検出部２０７は、抽出されたエッジ画素のうち連結するエッジ画素によって囲まれる候補領域を検出する。候補領域検出処理の詳細については後述する。

次に、候補領域検出部２０７は、候補領域検出処理において候補領域を検出したか否かを判定する（ステップＳ３０２）。候補領域検出部２０７は、候補領域を全く検出していない場合、特に処理を行わず、一連のステップを終了し、一方、候補領域を検出している場合、処理をステップＳ３０３へ移行する。ステップＳ３０３〜Ｓ３１２の処理は、抽出された候補領域ごとに実施される。

次に、画像処理回路２７の各部は、候補領域について矩形検出処理を実施する（ステップＳ３０３）。矩形検出処理において、第１エッジ画素抽出部２０３及び第２エッジ画素抽出部２０５は、エッジ画素を抽出し、外側エッジ画素抽出部２０８は、エッジ画素のうち外側に位置する外側エッジ画素を抽出する。さらに、直線検出部２０９は、外側エッジ画素から複数の直線を検出し、矩形検出部２１０は、検出された複数の直線のうち二本ずつが略直交する四本の直線から構成される矩形を検出する。矩形検出処理の詳細については後述する。

次に、原稿領域検出部２１４は、矩形検出処理において、矩形検出部２１０により矩形が検出されたか否かを判定する（ステップＳ３０４）。原稿領域検出部２１４は、矩形検出部２１０により矩形が検出された場合、その検出された矩形を原稿領域に決定し、第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０５）。このように、原稿領域検出部２１４は、第１エッジ画素抽出部２０３又は第２エッジ画素抽出部２０５が抽出したエッジ画素から原稿領域を検出する。次に、切出し部２１５は、決定した切出し領域、即ち検出された矩形を入力画像から切出す（ステップＳ３０６）。

次に、記憶制御部２１６は、切出した画像を第２画像メモリ２２に記憶する（ステップＳ３０７）。記憶制御部２１６は、切出した画像を、第２画像メモリ２２の内、不揮発性半導体メモリ等の、画像を長期的に記憶する記憶媒体に記憶する。なお、記憶制御部２１６は、切出した画像を第２記憶装置２５のハードディスク等に記憶してもよい。第２画像メモリ２２又は第２記憶装置２５に記憶された画像は、入力装置２４を用いた利用者からの要求に従って、表示装置２３に表示される。

一方、画像処理回路２７の各部は、矩形検出部２１０により矩形が検出されなかった場合、候補領域について非矩形検出処理を実施する（ステップＳ３０８）。非矩形検出処理において、第１エッジ画素抽出部２０３及び第２エッジ画素抽出部２０５は、エッジ画素を抽出し、外周エッジ画素抽出部２１１は、抽出されたエッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する。さらに、非矩形検出部２１２は、外周エッジ画素で囲まれる非矩形を検出し、マスク生成部２１３は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する。非矩形検出処理の詳細については後述する。

次に、原稿領域検出部２１４は、非矩形検出処理において検出された非矩形を含む領域を第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０９）。原稿領域検出部２１４は、検出された非矩形の外接矩形を切出し領域に決定する。なお、原稿領域検出部２１４は、検出された非矩形自体を切出し領域に決定してもよい。このように、原稿領域検出部２１４は、第１エッジ画素抽出部２０３又は第２エッジ画素抽出部２０５が抽出したエッジ画素から原稿領域を検出する。次に、切出し部２１５は、決定した切出し領域を含む領域を第１入力画像から切出す（ステップＳ３１０）。さらに、切出し部２１５は、マスク生成部２１３が生成したマスクを使用して、切出した画像から背景を分離した、原稿のみを表す分離画像を抽出する。

次に、記憶制御部２１６は、切出した画像及び分離画像を第２画像メモリ２２に記憶する（ステップＳ３１１）。記憶制御部２１６は、切出した画像を、第２画像メモリ２２の内、不揮発性半導体メモリ等の、画像を長期的に記憶する記憶媒体に記憶し、分離画像を揮発性半導体メモリ等の、画像を一時的に記憶する記憶媒体に記憶する。なお、記憶制御部２１６は、切出した画像を第２記憶装置２５のハードディスク等に記憶し、分離画像をＲＡＭに記憶してもよい。また、記憶制御部２１６は、切出した画像をファイルとして記憶し、一方、分離画像を例えばクリップボードに記憶することにより特定のアプリケーションで利用可能に記憶する。これにより、利用者は、文書編集ソフト、画像編集ソフト、表計算ソフト等において、貼付けコマンドのみを実行することにより、分離画像を利用することが可能となり、利用者の利便性を向上させることが可能となる。

なお、記憶制御部２１６は、矩形を検出した場合と非矩形を検出した場合とで切出した画像（及び分離画像）を保存するファイル形式を変更してもよい。例えば、記憶制御部２１６は、矩形を検出した場合（ステップＳ３０７の場合）、切出した画像をＪＰＥＧ（Joint Photographic Experts Group）形式で保存する。一方、記憶制御部２１６は、非矩形を検出した場合（ステップＳ３１１の場合）、切出した画像を透過ＰＮＧ（Portable Network Graphics）形式で保存する。これにより、情報処理装置２０は、形状に適した形式で画像を保存することが可能となり、利用者の利便性を向上させることが可能となる。

次に、画像処理回路２７は、全ての候補領域について処理したか否かを判定する（ステップＳ３１２）。画像処理回路２７は、まだ処理していない候補領域がある場合は処理をステップＳ３０３に戻して、ステップＳ３０３〜Ｓ３１２の処理を繰り返し、全ての候補領域について処理した場合は一連のステップを終了する。

図７は、候補領域検出処理の動作の例を示すフローチャートである。図７に示す動作のフローは、図６に示すフローチャートのステップＳ３０１において実行される。

最初に、画像処理回路２７は、第１入力画像からさらに水平方向及び垂直方向に画素を間引いた第２入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０１）。第２入力画像は、入力画像の他の例である。

図８Ａ〜図８Ｆ、図９Ａ〜図９Ｂは、候補領域検出処理における各画像について説明するための模式図である。図８Ａに示す画像８００は第２入力画像の例である。第１入力画像５００から第２入力画像８００への間引き率は、画像読取装置１０の画像入力装置１１の撮像素子及び光学系の影響により生じるランダムノイズ５０４が除去される値に予め定められる。

なお、画像処理回路２７は、第２入力画像を生成する代わりに、第１入力画像に平滑化フィルタを適用することによりランダムノイズ５０４を除去してもよい。または、第１エッジ画素抽出部２０３は、第２入力画像にさらに平滑化フィルタを適用してもよい。

次に、第１色成分画像生成部２０１は、第２入力画像から第１色成分を抽出した第１色成分画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０２）。第１色成分は、アルバムの台紙上で糊が劣化して赤味を帯びた領域と、白色の領域とを適切に識別できるように、例えば赤色成分から青色成分を減算した成分に設定される。

第１色成分画像生成部２０１は、第２入力画像から、各画素データが（Ｒ値−Ｂ値）からなる第１色成分画像を生成する。第１色成分画像生成部２０１は、第２入力画像の各画素がＹＵＶ値で表されている場合、ＹＵＶ値をＲＧＢ値に再度変換し、（Ｒ値−Ｂ値）を算出する。なお、ＲＧＢ値は、例えば以下の式により算出することができる。
Ｒ値＝１．０００×Ｙ値 ＋１．４０２×Ｖ値 （４）
Ｇ値＝１．０００×Ｙ値−０．３４４×Ｕ値−０．７１４×Ｖ値 （５）
Ｂ値＝１．０００×Ｙ値＋１．７７２×Ｕ値 （６）

図８Ｂに示す画像８１０は第１色成分画像の例である。第１色成分画像８１０では、アルバムの台紙上で糊が劣化して赤味を帯びた部分８１１、及び写真内の赤味を帯びた部分８１２の画素値が高くなり、他の部分の画素値が低くなっている。

なお、第１色成分画像生成部２０１は、第２入力画像に含まれる数が最も多い色を検出し、検出した色に基づいて第１色成分を決定してもよい。その場合、第１色成分画像生成部２０１は、第２入力画像における各画素のＲ値の総和、Ｇ値の総和、Ｂ値の総和を算出し、総和が最も大きくなる色成分を検出し、検出した色成分から他の色成分を減算した色成分を第１色成分に決定する。これにより、第１色成分画像生成部２０１は、第２入力画像に写っている背景の模様が赤味以外の色味を帯びている場合でも、その模様が適切に抽出された第１色成分画像を生成することができる。なお、白色は、赤色、緑色及び青色の各成分を含むため、赤色、緑色又は青色を第１色成分として用いると、白色も第１色成分として抽出される。したがって、第１色成分画像生成部２０１は、総和が最も大きくなる色成分から他の色成分を減算した成分を第１色成分として用いることにより、白色が第１色成分として抽出されることを抑制することができる。

次に、膨張色成分画像生成部２０２は、第１色成分画像内の画素に基づいて、後述する膨張色成分画像を生成するための膨張係数を決定する（ステップＳ４０３）。膨張色成分画像は、第１色成分画像における画素値の高い画素を膨張させ、縞模様を構成する筋の内、相互に隣接する筋に対応する画素同士を結合させることにより、第１色成分が高い画素を埋没させるために用いられる。

例えば、膨張色成分画像生成部２０２は、第２入力画像において色の発生周期を検出し、検出した周期に基づいて膨張係数を決定する。その場合、膨張色成分画像生成部２０２は、第１色成分画像において水平又は垂直方向に画素を走査し、画素値が所定値以上である画素から画素値が所定値未満である画素に変化した回数を算出する。膨張色成分画像生成部２０２は、第１色成分画像における水平又は垂直方向の全画素数を、算出した回数で割った値を色の発生周期として算出し、その発生周期を膨張係数に決定する。膨張色成分画像生成部２０２は、この膨張係数を用いることにより、膨張色成分画像において、縞模様を構成する筋の内、相互に隣接する筋に対応する画素同士を適切に結合させることが可能となる。

なお、膨張色成分画像生成部２０２は、膨張係数に基づいて生成される膨張色成分画像から抽出される第１エッジ画素の数が所定数（例えば全画素数の１０％）以下となるように膨張係数を決定してもよい。その場合、膨張色成分画像生成部２０２は、膨張係数を１から順にインクリメントしながら、後述するステップＳ４０４、Ｓ４０５の処理を、膨張色成分画像から抽出される第１エッジ画素の数が所定数以下になるまで繰り返す。これにより、膨張色成分画像において、縞模様における相互に隣接する筋に対応する画素同士をより確実に結合させることが可能となる。また、膨張色成分画像生成部２０２は、予め定められた数（例えば５）を膨張係数として用いてもよい。

次に、膨張色成分画像生成部２０２は、第１色成分画像において、特定の画素を膨張させた膨張色成分画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０４）。特定の画素は、その特定の画素の周辺画素より画素値の高い画素に設定される。周辺画素は、特定の画素の周辺に位置する画素であり、例えば特定の画素から所定距離（例えば３画素）内に位置する画素である。膨張色成分画像生成部２０２は、第１色成分画像内の各画素の画素値を、各画素の周辺画素の画素値の中の最も高い画素値に置換することにより膨張色成分画像を生成する。

なお、画素値の高い画素を膨張させることにより、膨張色成分画像において、写真の端部によって生じるエッジの位置は本来の写真の端部の位置より内側にシフトする。そこで、膨張色成分画像生成部２０２は、膨張色成分画像内の各画素の画素値を、各画素の周辺画素の画素値の中の最も低い画素値に置換することにより、膨張色成分画像に対して収縮処理を実行する。これにより、膨張色成分画像において、写真の端部によって生じるエッジの位置を本来の写真の端部の位置に戻すことができる。

図８Ｃに示す画像８２０は膨張色成分画像の例である。膨張色成分画像８２０では、図８Ｂの第１色成分画像８１０におけるアルバムの台紙上の糊が劣化して赤味を帯びた部分８１１が膨張し、アルバムの台紙に対応する部分全体８２１の画素値が高くなっている。

次に、第１エッジ画素抽出部２０３は、膨張色成分画像について水平方向及び垂直方向における第１エッジ画素を抽出する（ステップＳ４０５）。

第１エッジ画素抽出部２０３は、膨張色成分画像の各画素の水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）を算出し、隣接差分値が閾値Th1を越える場合、その画像上の画素を垂直エッジ画素とする。この閾値Th1は、例えば、人が画像上の色成分の違いを目視により判別可能な値の差（例えば20）に設定することができる。また、第１エッジ画素抽出部２０３は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。

なお、第１エッジ画素抽出部２０３は、抽出した垂直エッジ画素及び水平エッジ画素をそれぞれラベリングによりグループ化し、水平方向の大きさ又は垂直方向の大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去してもよい。閾値Th2は、原稿の載置面の汚れとして想定される値（例えば3mmに相当する値）に設定される。また、第１エッジ画素抽出部２０３は、各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にそのグループに含まれるエッジ画素を除去してもよい。これらにより、原稿の載置面の汚れにより生じたエッジ画素を除去することができる。

図８Ｄに示す画像８３０は第１エッジ画素抽出部２０３により抽出された第１エッジ画素の例である。画像８３０では、糊の劣化により発生した縞模様は、第１エッジ画素として抽出されず、写真の端部８３１と、写真内の赤味を帯びた部分の端部８３２のみが第１エッジ画素として抽出されている。

次に、第２色成分画像生成部２０４は、第２入力画像から第１色成分と異なる第２色成分を抽出した第２色成分画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０６）。第２色成分は、アルバムの台紙上で糊が劣化して赤味を帯びた領域と、白色の領域の両方を抽出できるように、例えば赤色成分に設定される。

第２色成分画像生成部２０４は、第２入力画像から、各画素データがＲ値からなる第２色成分画像を生成する。

図８Ｅに示す画像８４０は第２色成分画像の例である。第２色成分画像８４０では、第２入力画像において赤味を帯びた部分及び白色の部分に対応する画素の画素値が高くなり、他の部分、即ち写真の端部８４１及び写真内の他の色成分に対応する画素の画素値が低くなっている。

なお、第２色成分画像生成部２０４は、第２入力画像に含まれる数が最も多い色を検出し、検出した色に基づいて第２色成分を決定してもよい。その場合、第２色成分画像生成部２０４は、第２入力画像における各画素のＲ値の総和、Ｇ値の総和、Ｂ値の総和を算出し、総和が最も大きくなる色成分を検出し、検出した色成分を特定の色成分に決定する。これにより、第２色成分画像生成部２０４は、第２入力画像に写っている背景の模様が赤味以外の色味を帯びた模様であっても、その模様を埋没させた第２色成分画像を生成することができる。

次に、第２エッジ画素抽出部２０５は、閾値Th3を用いて第２色成分画像から水平方向及び垂直方向における第２エッジ画素を抽出する（ステップＳ４０７）。

第２エッジ画素抽出部２０５は、第１エッジ画素抽出部２０３と同様に、第２色成分画像の各画素の水平方向の隣接差分値を算出し、隣接差分値が閾値Th3を越える場合、その画像上の画素を垂直エッジ画素とする。また、第２エッジ画素抽出部２０５は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。閾値Th3は、予め定められた値であり、例えば、人が画像上の色成分の違いを目視により判別可能な値の差（例えば20）に設定することができる。

なお、第２エッジ画素抽出部２０５は、第２色成分画像内の画素に基づいて閾値Th3を決定してもよい。その場合、第２エッジ画素抽出部２０５は、第２色成分画像内の各画素の水平方向の隣接差分値と、垂直方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。第２エッジ画素抽出部２０５は、例えば大津の二値化方法により、閾値Th3が、生成したヒストグラムにおける複数の極大値のそれぞれに対応する隣接差分値の間の値となるように、閾値Th3を決定する。この閾値Th3を用いて、第２色成分画像の各画素の隣接差分値を二値化することにより、赤味を帯びた領域及び白色の領域と、他の領域とを適切に分離することが可能となる。

また、第２エッジ画素抽出部２０５は、第１エッジ画素抽出部２０３と同様に、水平方向の大きさ又は垂直方向の大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去してもよい。また、第２エッジ画素抽出部２０５は、各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にそのグループに含まれるエッジ画素を除去してもよい。これらにより、原稿の載置面の汚れにより生じたエッジ画素を除去することができる。

図８Ｆに示す画像８５０は第２エッジ画素抽出部２０５により抽出された第２エッジ画素の例である。画像８５０では、糊の劣化により発生した縞模様は、第２エッジ画素として抽出されず、写真の端部８５１と、写真内の赤味以外の色味を帯びた部分の端部８５２のみが第２エッジ画素として抽出されている。

エッジ画像生成部２０６は、第１エッジ画素抽出部２０３により第１エッジ画素として抽出された画素又は第２エッジ画素抽出部２０５により第２エッジ画素として抽出された画素からなる画像を第１エッジ画像として生成する。エッジ画像生成部２０６は、生成した第１エッジ画像を第２画像メモリ２２に保存する（ステップＳ４０８）。なお、エッジ画像生成部２０６は、生成した第１エッジ画像に対して膨張・収縮処理を実施してもよい。これにより、第２入力画像において連結している部分の一部がエッジ画素として抽出されない場合でも、第１エッジ画像においてその部分を連結させることができる。

図９Ａに示す画像９００は、第１エッジ画像の例である。第１エッジ画像９００では、糊の劣化により発生した縞模様は抽出されず、写真の端部９０１と、写真内の人物の端部９０２のみが抽出されている。

次に、エッジ画像生成部２０６は、第１エッジ画像について、各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする（ステップＳ４０９）。候補領域検出部２０７は、水平方向、垂直方向又は斜め方向（８近傍）に相互に隣接するエッジ画素を連結していると判定する。なお、エッジ画像生成部２０６は、水平方向又は垂直方向のみ（４近傍）に相互に隣接するエッジ画素を連結していると判定してもよい。

次に、エッジ画像生成部２０６は、各グループの水平方向及び垂直方向の両方の大きさが閾値Th4以下か否かを判定し、水平方向及び垂直方向の両方の大きさが閾値Th4以下となるグループに含まれるエッジ画素をエッジ画像から除去する（ステップＳ４１０）。閾値Th4は、情報処理装置４０が検出を保証する原稿の最小サイズ（例えば1inchに相当する値）に設定される。なお、候補領域検出部２０７は、各グループの水平方向及び垂直方向の何れかの大きさが閾値Th4以下である場合、又は各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にエッジ画素を除去してもよい。外接矩形の面積と比較する閾値は、例えば1inch四方に相当する値とすることができる。

次に、エッジ画像生成部２０６は、各グループが他のグループに包含されるか否かを判定し、他のグループに包含されるグループに含まれるエッジ画素を第１エッジ画像から除去する（ステップＳ４１１）。

図９Ｂに示す画像９１０は、他のグループに包含されるグループに含まれるエッジ画素を除去した第１エッジ画像の例である。画像９１０では、図９Ａに示される人物のように、写真内のコンテンツによるエッジ画素のグループは除去される。

次に、候補領域検出部２０７は、除去されずに残った各グループについて、そのグループに含まれるエッジ画素によって囲まれる領域を検出し、検出した領域に対応する第１入力画像内の領域を候補領域として検出する。候補領域検出部２０７は、第１入力画像内の候補領域の外接矩形を第２画像メモリ２２に保存し（ステップＳ４１２）、一連のステップを終了する。

図９Ｂに示す画像９１０では、連結するエッジ画素によって囲まれる領域は、その連結するエッジ画素のグループの最も外側の外周９１１及びその内側の領域であり、その領域にはエッジ画素だけでなく、外周９１１の内側に存在する全ての画素９１２が含まれる。

なお、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周を含まない領域としてもよい。または、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周及びその内側の領域を所定画素分だけ膨張又は収縮させた領域としてもよい。また、連結するエッジ画素について、上記したようにエッジ画像に対して膨張・収縮処理を実施することにより、相互に隣接するエッジ画素だけでなく、相互に所定距離内に位置するエッジ画素とその間に位置する画素を含めてもよい。また、連結するエッジ画素の両端に位置するエッジ画素が、所定距離内にある場合は、両端のエッジ画素の間に位置する画素を連結するエッジ画素に含めてもよい。この所定距離は、例えば連結するエッジ画素の長さに所定比率（例えば80%）を乗じた長さとすることができる。これにより、例えばエッジ画素がＵ字型に連結している場合に、両端のエッジ画素を連結させて囲まれた領域を形成させることができる。

図１０は、矩形検出処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図６に示すフローチャートのステップＳ３０３において実行される。

ステップＳ５０１〜Ｓ５０７において、画像処理回路２７の各部は、図７のステップＳ４０２〜Ｓ４０８と同様にして、第１エッジ画素又は第２エッジ画素を抽出し、抽出した画素からなる画像を第２エッジ画像として生成する。但し、画像処理回路２７の各部は、候補領域内において第１エッジ画素又は第２エッジ画素を抽出する。

なお、画像処理回路２７は、候補領域内の画素に基づいて閾値を算出し、算出した閾値を閾値Th1の代わりに用いてエッジ画素を抽出し、抽出した画素からなる画像を第２エッジ画像として生成してもよい。その場合、画像処理回路２７は、候補領域内の各画素の水平方向の隣接差分値と、垂直方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。そして、画像処理回路２７は、例えば大津の二値化方法により閾値を決定し、決定した閾値を用いて、第２入力画像の各画素の隣接差分値を二値化することによりエッジ画素を抽出する。

また、画像処理回路２７は、他の方法により垂直エッジ画素及び水平エッジ画素を抽出してもよい。例えば、画像処理回路２７は、第１入力画像からそれぞれ異なる間引き率で画素を間引いた複数の間引き画像を生成し、第１入力画像及び各間引き画像からそれぞれ垂直エッジ画素を抽出して垂直エッジ画素からなるエッジ画像を生成する。画像処理回路２７は、最も小さい間引き画像から生成したエッジ画像をその次に小さい間引き画像から生成したエッジ画像と同一の解像度に拡大し、同一の解像度にした二つのエッジ画像において同一の位置に存在する垂直エッジ画素からなる画像を生成する。画像処理回路２７は、生成した画像と、その次に小さい間引き画像から生成したエッジ画像に対して同様の処理を繰り返し、最終的に、第１入力画像から生成したエッジ画像の垂直エッジ画素と同一の位置に存在する垂直エッジ画素を抽出する。また、画像処理回路２７は、同様の処理により水平エッジ画素を抽出する。これにより、ノイズを低減しつつ、垂直エッジ画素及び水平エッジ画素を抽出することができる。

なお、画像処理回路２７の各部は、生成した第２エッジ画像に対して膨張・収縮処理を実施しない。これにより、第２エッジ画像では、机の模様、ノイズ等が誤って連結されることが防止される。

次に、外側エッジ画素抽出部２０８は、候補領域の端部が第１入力画像の端部と近接しているか否かを判定する（ステップＳ５０８）。外側エッジ画素抽出部２０８は、候補領域の左端、右端、上端及び下端の何れかが、第１入力画像の左端、右端、上端又は下端から所定距離内にある場合、近接していると判定し、所定距離内にない場合、近接していないと判定する。所定距離は、候補領域に写っている物が第１入力画像の端部と交わっているにも関わらずエッジ画素が抽出されない可能性のある第１入力画像の端部からの最大距離に定められ、例えば１０ｍｍに相当する距離に定められる。

なお、外側エッジ画素抽出部２０８は、候補領域が、第１入力画像内において予め定められた原稿読取範囲に納まらずにはみ出している場合に候補領域の端部が第１入力画像の端部と近接していると判定し、納まっている場合に近接していないと判定してもよい。

外側エッジ画素抽出部２０８は、候補領域の端部が第１入力画像の端部と近接していない場合、抽出したエッジ画素のうち外側に位置する外側エッジ画素を抽出する。外側エッジ画素抽出部２０８は、外側エッジ画素として抽出された画素からなる画像を第３エッジ画像として生成する（ステップＳ５０９）。

図１１Ａ、図１１Ｂは、外側エッジ画素の抽出処理について説明するための模式図である。図１１Ａに示す画像１１００は第２エッジ画像の例である。図１１Ａに示すように、外側エッジ画素抽出部２０８は、第２エッジ画像１１００の各水平ラインを矢印１１０１のように左端側から右端側に向かって走査し、最初に検出したエッジ画素１１０２を外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０８は、第２エッジ画像１１００の各水平ラインを右端側から左端側に向かって走査し、最初に検出したエッジ画素１１０３も外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０８は、第２エッジ画像１１００の各垂直ラインを上端側から下端側、及び下端側から上端側に向かってそれぞれ走査し、最初に検出したエッジ画素１１０４、１１０５も外側エッジ画素として抽出する。即ち、外側エッジ画素抽出部２０８は、候補領域内の各水平ラインにおいて最も左端側及び右端側にそれぞれ位置するエッジ画素、及び候補領域内の各垂直ラインにおいて最も上端側及び下端側にそれぞれ位置するエッジ画素を外側エッジ画素として抽出する。

図１１Ｂに示す画像１１１０は、抽出された外側エッジ画素の例である。図１１Ｂに示すように、外側エッジ画素１１１１は、図１１Ａの第２エッジ画像１１００から検出されたエッジ画素１１０２〜１１０５から構成される。

一方、外側エッジ画素抽出部２０８は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成する（ステップＳ５１０）。この場合、後述する矩形処理において、矩形検出部２１０は、候補領域内の全てのエッジ画素から矩形を検出する。

図１２Ａ、図１２Ｂは、候補領域の端部が第１入力画像の端部と近接している例について説明するための模式図である。図１２Ａに示す画像１２００は、書籍原稿１２０１が利用者の手１２０２及び１２０３によりおさえられている状態を示す。この例では、利用者の手１２０２及び１２０３によるエッジ画素は、原稿読取範囲１２０４に納まらずにはみ出し、第１入力画像の端部にまで位置している。図１２Ｂに示す画像１２１０は、図１２Ａに示す画像１２００から抽出される外側エッジ画素の例である。図１２Ｂに示すように、利用者の手１２０２及び１２０３より内側に位置する書籍原稿の端部１２０５及び１２０６は、外側エッジ画素１２１１として抽出されない。このような場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成することにより、原稿の端部が抽出されなくなることを防止することができる。

これにより、原稿が載置されている机の模様等のエッジ強度が高い場合にも同様に、原稿の端部から検出されたエッジ画素と机の模様から検出されたエッジ画素とが繋がってしまい、原稿の端部が抽出されなくなることを防止することができる。

なお、外側エッジ画素抽出部２０８は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の一部のエッジ画素を第３エッジ画像から除去してもよい。例えば、外側エッジ画素抽出部２０８は、候補領域の端部が第１入力画像の水平方向の端部と近接している場合、候補領域内で垂直方向の直線を検出し、候補領域の端部が第１入力画像の垂直方向の端部と近接している場合、候補領域内で水平方向の直線を検出する。外側エッジ画素抽出部２０８は、最も外側に検出された二つの直線の間にあるエッジ画素を第３エッジ画像から除去する。これにより、原稿内のコンテンツ等を原稿の端部の検出対象から除去することができ、原稿の端部の検出精度を向上させることができる。

次に、直線検出部２０９は、第３エッジ画像から複数の直線を検出する（ステップＳ５１１）。直線検出部２０９は、ハフ変換を用いて直線を検出する。なお、直線検出部２０９は、最小二乗法を用いて直線を検出してもよい。または、直線検出部２０９は、ハフ変換を用いて検出した直線から所定距離内にあるエッジ画素に対して最小二乗法を用いて直線を検出してもよい。この所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば2mmに相当する距離に設定される。

次に、直線検出部２０９は、第３エッジ画像から近似直線を検出する（ステップＳ５１２）。

図１３Ａ及び図１３Ｂは、近似直線について説明するための模式図である。図１３Ａに示すような書籍原稿を撮影した第１入力画像１３００において、書籍原稿の綴じ目部１３０１に対して平行な端部１３０２は直線として検出される。しかしながら、綴じ目部１３０１に対して直交する端部１３０３は綴じ目部１３０１の近傍で歪みが生じ、直線として検出されない場合がある。

そこで、直線検出部２０９は、図１３Ｂのエッジ画像１３１０に示すように、相互に隣接するエッジ画素１３１１をラベリングにより一つのグループ１３１２としてまとめる。直線検出部２０９は、そのグループ１３１２に含まれるエッジ画素のうち、水平方向又は垂直方向における両端に位置するエッジ画素１３１３及びエッジ画素１３１４を結んだ直線１３１５を近似直線として検出する。

次に、矩形検出部２１０は、直線検出部２０９が検出した直線又は近似直線からなる矩形を検出し（ステップＳ５１３）、一連のステップを終了する。このように、矩形検出部２１０は、第１エッジ画素又は第２エッジ画素から矩形を検出する。

矩形検出部２１０は、直線検出部２０９が検出した複数の直線又は近似直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。矩形検出部２１０は、まず水平方向の直線（以下、第１の水平線と称する）を一つ選択し、選択した直線と略平行（例えば±3°以内）かつ閾値Th4以上離れた水平方向の直線（以下、第２の水平線と称する）を抽出する。次に、矩形検出部２１０は、第１の水平線と略直交する（例えば90°に対して±3°以内）垂直方向の直線（以下、第１の垂直線と称する）を抽出する。次に、矩形検出部２１０は、第１の水平線と略直交し、かつ第１の垂直線と閾値Th5以上離れた垂直方向の直線（以下、第２の垂直線と称する）を抽出する。なお、閾値Th4及び閾値Th5は、画像読取装置１０の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。

矩形検出部２１０は、直線検出部２０９が検出した全ての直線又は近似直線について、上記の条件を満たす第１の水平線、第２の水平線、第１の垂直線及び第２の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。矩形検出部２１０は、抽出した矩形候補について面積を算出し、面積が所定値未満である矩形候補を除去する。矩形検出部２１０は、残った矩形候補の中で最も面積が大きい矩形候補を矩形として検出する。一方、矩形検出部２１０は、矩形候補が一つも残らなかった場合、矩形を検出しない。

なお、矩形検出部２１０は、各矩形候補について、矩形候補の各辺から所定距離（例えば2mmに相当する距離）内にある全ての画素の数に対する所定距離内にあるエッジ画素の数の割合を算出し、矩形候補の面積にその割合を乗じて重み付けしてもよい。これにより、原稿の境界を明確に表している直線から構成される矩形を検出することができる。または、矩形検出部２１０は、各矩形候補について、矩形候補の各角の角らしさの度合いを表す評価点を算出し、評価点を用いて矩形候補の面積を重み付けしてもよい。

図１４は、矩形候補の各角の評価点について説明するための模式図である。図１４に示す画像１４００において、点１４０１は矩形候補の角を表し、直線１４０２、１４０３は矩形候補の各辺を表す。この直線１４０２、１４０３の端部が相互に接している場合は、点１４０１は矩形の角らしいと考えられるが、直線１４０２、１４０３の端部が接していない場合又は直線１４０２、１４０３が交差している場合は、点１４０１は矩形の角らしくないと考えられる。

評価点は０点を基準とする。そして、角１４０１の近傍における辺１４０２から所定距離内の領域１４０４において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。なお、各角の近傍の範囲及び各辺からの所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば各角から5mmに相当する距離内の範囲及び各辺から2mmに相当する距離に設定することができる。同様に、角１４０１の近傍における辺１４０３から所定距離内の領域１４０５において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。また、角１４０１の近傍における辺１４０２の延長線から所定距離内の領域１４０６において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。同様に、角１４０１の近傍における辺１４０３の延長線から所定距離内の領域１４０７において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。矩形検出部２１０は、評価点の取り得る最低値が０、取り得る最高値が１となるように評価点を正規化した値を算出し、矩形候補の面積にその値を乗じて重み付けすることにより、四つの角を明確に表している矩形を検出することができる。

図１５Ａ〜図１５Ｃは、非矩形の画像について矩形検出処理を実行した場合について説明するための模式図である。図１５Ａに示す画像１５００は、矩形状の模様１５０２を有する、うちわ形状の物１５０１をアルバムに張り付けた状態で撮像した第１入力画像の例である。図１５Ｂに示す画像１５１０は、第１入力画像１５００から生成された第３エッジ画像の例である。図１５Ｂに示すように、第３エッジ画像１５１０は、外側エッジ画素１５１１から構成され、第３エッジ画像１５１０において縞模様１５０３及び矩形状の模様１５０２は抽出されない。図１５Ｃに示す画像１５２０は、第３エッジ画像１５１０から抽出された直線の例である。図１５Ｃに示すように、第３エッジ画像１５１０から、うちわ形状の柄の部分１５２１〜１５２３が直線として検出される。しかしながら、図１５Ａ〜図１５Ｃに示す例では、二本ずつが略直交する四本の直線から構成される矩形は検出されない。

図１６は、非矩形検出処理の動作の例を示すフローチャートである。図１６に示す動作のフローは、図６に示すフローチャートのステップＳ３０８において実行される。

ステップＳ６０１〜Ｓ６０７において、画像処理回路２７の各部は、図１０のステップＳ４０２〜Ｓ４０８又は図１２のステップＳ５０１〜Ｓ５０７と同様にして、第１エッジ画素又は第２エッジ画素を抽出する。画像処理回路２７の各部は、抽出した画素からなる画像を第４エッジ画像として生成する。但し、画像処理回路２７の各部は、候補領域内において、水平方向、垂直方向及び斜め方向に第１エッジ画素又は第２エッジ画素を抽出する。

第１エッジ画素抽出部２０３及び第２エッジ画素抽出部２０５は、膨張色成分画像の各画素について、上から下へ向かう垂直方向、左から右へ向かう水平方向、左下から右上へ向かう斜め方向、及び右下から左上へ向かう斜め方向の隣接差分値をそれぞれ算出する。第１エッジ画素抽出部２０３及び第２エッジ画素抽出部２０５は、算出した何れかの隣接差分値の絶対値が閾値Th1を越える場合、その画像上の画素をエッジ画素とする。

なお、第１エッジ画素抽出部２０３又は第２エッジ画素抽出部２０５は、第２入力画像の候補領域内の画素に基づいて閾値を算出し、算出した閾値を閾値Th1の代わりに用いてエッジ画素を抽出してもよい。その場合、第１エッジ画素抽出部２０３又は第２エッジ画素抽出部２０５は、候補領域内の各画素の水平方向の隣接差分値と、垂直方向の隣接差分値と、斜め方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。そして、第１エッジ画素抽出部２０３又は第２エッジ画素抽出部２０５は、例えば大津の二値化方法により閾値を決定し、決定した閾値を用いて、第２入力画像の各画素の隣接差分値を二値化することによりエッジ画素を抽出する。

次に、エッジ画像生成部２０６は、抽出したエッジ画素をラベリングによりグループ化する。エッジ画像生成部２０６は、大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去する（ステップＳ６０８）。これにより、第４エッジ画像に含まれるノイズ成分を除去することができる。

次に、エッジ画像生成部２０６は、生成した第４エッジ画像において、エッジ画素を膨張させた膨張画像を生成する（ステップＳ６０９）。これにより、第２入力画像において、連結している部分の一部がエッジ画素として抽出されない場合でも、膨張画像においてその部分を連結させることができる。

次に、外周エッジ画素抽出部２１１は、膨張画像に対して、エッジ画素以外の画素（非エッジ画素）についてラベリング処理を実行し、膨張画像の端部と連結しているグループを抽出する（ステップＳ６１０）。

図１７Ａ、図１７Ｂは、非矩形検出処理における各画像について説明するための模式図である。図１７Ａに示す画像１７００のように、膨張画像の端部と連結しているグループ１７０２は、原稿１７０１の外周の外側に位置する非エッジ画素のグループとなる。

次に、外周エッジ画素抽出部２１１は、抽出したグループに含まれる画素を無効画素とし、他の画素を有効画素とする画像を生成する（ステップＳ６１１）。

図１７Ｂに示す画像１７１０は、ステップＳ６１１で生成される画像の例である。画像１７１０では、抽出したグループに含まれる画素１７１２が無効画素となり、他の画素１７１１が有効画素となる。

次に、外周エッジ画素抽出部２１１は、生成した画像において、有効画素を収縮させた収縮画像を生成する（ステップＳ６１２）。この収縮処理は、ステップＳ６０９で膨張させたエッジ画素を元のサイズに戻すために実行される。従って、非矩形検出部２１２は、ステップＳ６０９でエッジ画素を膨張させた膨張度合いと同じ度合いだけ非矩形を収縮させる。なお、非矩形検出部２１２は、ステップＳ６０９でエッジ画素を膨張させた膨張度合いより大きい度合いで非矩形を収縮させてもよい。その場合、原稿が載置されている机の模様等のエッジ強度が高い場合に、机の模様等により検出されたエッジ画素を有効画素から除去することができる。

次に、外周エッジ画素抽出部２１１は、収縮画像の有効画素の外周を構成するエッジ画素を外周エッジ画素として抽出する（ステップＳ６１３）。

図１７Ｂに示すように、有効画素１７１１の外周を構成する外周エッジ画素１７１３は、連結するエッジ画素の外周を構成するエッジ画素となる。

次に、非矩形検出部２１２は、抽出された外周エッジ画素で囲まれる非矩形を検出する（ステップＳ６１４）。非矩形検出部２１２は、非矩形を複数検出した場合、最も面積が大きい非矩形のみを、検出した非矩形として選択する。これにより、机の模様等により発生するノイズを除去することができる。

次に、マスク生成部２１３は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する（ステップＳ６１５）。マスクは、水平及び垂直方向のそれぞれにおいて、切出し画像と同数の画素を有し、且つ、検出された非矩形に対応する画素を有効画素とし、他の画素を無効画素とする画像で構成される。情報処理装置２０は、マスクを用いて、切出される画像から、マスク内の有効画素の位置に対応する画素のみを抽出することにより、分離画像を抽出することができる。

なお、画像処理回路２７は、図６のステップＳ３０１に示した候補領域検出処理を省略し、第１入力画像全体に対して、矩形検出処理及び非矩形検出処理を実行してもよい。その場合でも、情報処理装置２０は、原稿の画像を切出すべき領域を適切に決定することができる。

また、画像処理回路２７は、候補領域を検出するためのエッジ画素と、矩形を検出するためのエッジ画素と、非矩形を検出するためのエッジ画素とを別個に検出せずに、候補領域を検出するためのエッジ画素を用いて矩形又は非矩形を検出してもよい。その場合、情報処理装置２０は、エッジ画素の検出処理による処理負荷を低減し、処理の高速化を図ることができる。

また、画像処理回路２７は、図６のステップＳ３０８に示した非矩形検出処理を省略し、矩形が検出されなかった場合、候補領域を非矩形として用いてもよい。その場合、外周エッジ画素抽出部２１１は、候補領域の外周を構成するエッジ画素を外周エッジ画素として抽出し、非矩形検出部２１２は、候補領域を非矩形として検出する。

また、画像処理回路２７は、図７のステップＳ４０２〜Ｓ４０５の処理又はＳ４０６〜Ｓ４０７の処理の内の何れか一方を省略し、第１エッジ画素又は第２エッジ画素の内の何れか一方のみからなる画像を第１エッジ画像として生成してもよい。同様に、画像処理回路２７は、図１０のステップＳ５０１〜Ｓ５０４の処理又はＳ５０５〜Ｓ５０６の処理の内の何れか一方を省略し、第１エッジ画素又は第２エッジ画素の内の何れか一方のみからなる画像を第２エッジ画像として生成してもよい。同様に、画像処理回路２７は、図１６のステップＳ６０１〜Ｓ６０４の処理又はＳ６０５〜Ｓ６０６の処理の内の何れか一方を省略し、第１エッジ画素又は第２エッジ画素の内の何れか一方のみからなる画像を第４エッジ画像として生成してもよい。これらの場合でも、情報処理装置２０は、原稿と背景を精度良く分離することができる。

以上詳述したように、図４、図６、図７、図１０、図１６に示したフローチャートに従って動作することによって、情報処理装置２０は、原稿の画像を切出すべき領域を精度良く検出することが可能となった。特に、情報処理装置２０は、入力画像に、糊の付いた台紙に写真を張り付けるタイプのアルバム上に張り付けられた写真が写っている場合のように、背景のコントラストが強い場合でも、写真の領域を精度良く検出することが可能となった。

また、情報処理装置２０は、撮影対象物が立体物、手、写真の切抜き等の非矩形の形状を有する場合でも、精度良く撮影対象物の輪郭線を検出し、背景を削除することが可能となった。

また、情報処理装置２０は、矩形を検出するためのエッジ画素として垂直及び水平エッジ画素のみを使用し、非矩形を検出するためのエッジ画素として斜めエッジ画素も使用する。これにより、情報処理装置２０は、エッジが多少欠落しても検出可能な直線で構成される矩形を検出するときは背景等によるノイズの影響を低減させつつ、エッジが欠落すると検出することが困難な曲線を有する非矩形を検出するときはエッジの欠落を防止できる。

図１８は、他の画像処理システム２の概略構成を示す図である。図１８に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理回路を備える装置が異なる点である。すなわち、画像処理システム２では、情報処理装置４０ではなく、画像読取装置３０が画像処理回路３６を有する。この画像処理回路３６は、情報処理装置２０の画像処理回路２７と同様の機能を有する。

図１８に示す画像処理システム２では、前述した図３、図４に示す処理とほぼ同様の処理を実行することができる。以下、図３のフローチャートに示される画像読取処理並びに図４のフローチャートに示される原稿切出し処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ１０１の処理及びステップＳ２０２〜Ｓ２０３の処理は、予め第１記憶装置３４に記憶されているプログラムに基づき主に第１ＣＰＵ３５により画像読取装置３０の各要素と協働して実行される。

ステップＳ１０１において、画像読取装置３０の画像入力装置３１は、撮像対象物を撮影した読取画像を生成し、第１画像メモリ３２に保存する。原稿切出し処理は、画像読取装置３０で実施されるため、ステップＳ１０２、Ｓ２０１の読取画像の送受信処理は省略される。

ステップＳ２０２〜Ｓ２０３の処理は、画像読取装置３０の画像処理回路３６によって実行される。これらの処理の動作は、画像処理システム１について説明した情報処理装置２０の画像処理回路２７によって実行される場合と同様である。画像読取装置３０の画像処理回路３６は、切出した領域及び分離画像を第１インターフェース装置３３を介して情報処理装置４０に送信する。

このように、画像読取装置３０が画像処理回路３６を備えて原稿切出し処理を実行する場合も、情報処理装置が画像処理回路を備えて原稿切出し処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図２及び図１８に示す画像処理システムの例に限られず、画像処理回路内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。または、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、画像処理システム１において、第１インターフェース装置１３と第２インターフェース装置２１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インターフェース装置１３及び第２インターフェース装置２１に、接続するネットワークの通信インターフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置２０を分散して配置し、各情報処理装置２０が協働して、直線検出処理、矩形検出処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置１０が読み取った読取画像について、効率よく原稿切出し処理を実施できる。

同様に、図１８に示す画像処理システム２においても、画像読取装置３０の第１インターフェース装置３３と、情報処理装置４０の第２インターフェース装置４１をネットワークを介して接続してもよい。

１、２ 画像処理システム
１０、３０ 画像読取装置
２０、４０ 情報処理装置
２０１ 第１色成分画像生成部
２０２ 膨張色成分画像生成部
２０３ 第１エッジ画素抽出部
２０４ 第２色成分画像生成部
２０５ 第２エッジ画素抽出部
２０６ エッジ画像生成部
２０７ 候補領域検出部
２０８ 外側エッジ画素抽出部
２０９ 直線検出部
２１０ 矩形検出部
２１１ 外周エッジ画素抽出部
２１２ 非矩形検出部
２１３ マスク生成部
２１４ 原稿領域検出部
２１５ 切出し部
２１６ 記憶制御部

Claims (13)

1. 入力画像から特定の色成分を抽出した色成分画像を生成する色成分画像生成部と、
   前記色成分画像において、特定の画素を膨張させた膨張色成分画像を生成する膨張色成分画像生成部と、
   前記膨張色成分画像からエッジ画素を抽出するエッジ画素抽出部と、
   前記エッジ画素から原稿領域を検出する原稿領域検出部と、
   を有することを特徴とする画像処理装置。
2. 前記特定の画素は、当該特定の画素の周辺画素より画素値の高い画素である、請求項１に記載の画像処理装置。
3. 前記膨張色成分画像生成部は、前記色成分画像内の各画素の画素値を、各画素の周辺画素の画素値の中の最も高い画素値に置換することにより前記膨張色成分画像を生成する、請求項１または２に記載の画像処理装置。
4. 前記特定の色成分は、赤色成分から青色成分を減算した成分である、請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記色成分画像生成部は、前記入力画像に含まれる数が最も多い色を検出し、前記検出した色に基づいて前記特定の色成分を決定する、請求項１〜３の何れか一項に記載の画像処理装置。
6. 前記膨張色成分画像生成部は、前記エッジ画素の数が所定数以下となるように、前記膨張色成分画像を生成するための膨張係数を決定する、請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記膨張色成分画像生成部は、前記入力画像において色の発生周期を検出し、前記検出した周期に基づいて前記膨張色成分画像を生成するための膨張係数を決定する、請求項１〜５の何れか一項に記載の画像処理装置。
8. 前記入力画像から前記特定の色成分と異なる第２色成分を抽出した第２色成分画像を生成する第２色成分画像生成部と、
   閾値を用いて前記第２色成分画像から第２エッジ画素を抽出する第２エッジ画素抽出部と、をさらに有し、
   前記原稿領域検出部は、前記エッジ画素又は前記第２エッジ画素から原稿領域を検出する、請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記閾値は、予め定められた値である、請求項８に記載の画像処理装置。
10. 前記閾値は、前記第２色成分画像内の画素に基づいて決定される、請求項８に記載の画像処理装置。
11. 前記第２色成分は、赤色成分である、請求項８〜１０の何れか一項に記載の画像処理装置。
12. 入力画像から特定の色成分を抽出した色成分画像を生成し、
    前記色成分画像において、特定の画素を膨張させた膨張色成分画像を生成し、
    前記膨張色成分画像からエッジ画素を抽出し、
    前記エッジ画素から原稿領域を検出する、
    ことを含むことを特徴とする領域検出方法。
13. 入力画像から特定の色成分を抽出した色成分画像を生成し、
    前記色成分画像において、特定の画素を膨張させた膨張色成分画像を生成し、
    前記膨張色成分画像からエッジ画素を抽出し、
    前記エッジ画素から原稿領域を検出する、
    ことをコンピュータに実行させることを特徴とするコンピュータプログラム。