JP2020119352A - マーク選定装置および画像処理装置 - Google Patents

Abstract

【課題】付加的なマークのない画像上から、位置合わせに役立つマークを選定するマーク選定装置および選定されたマークを使って画像の位置合わせを行う画像処理装置を提供する。【解決手段】マークとしての予め定められたパターンの情報を持つことなく、画像Ｐを上下左右に２分割された合計４つの分割領域の各々について、各分割領域に存在するパターンもしくはパターンの集合からなるマーク候補を抽出する候補抽出手段と、画像の４隅の各角を基点として、各基点からマーク候補までの距離と、マーク候補のマークの寸法を含むマーク適性とに基づいて、マーク候補の中からマークを選定するマーク選定手段とを備えた。【選択図】図４

Description

本発明は、マーク選定装置および画像処理装置に関する。

画像の位置合せを必要とする場面が存在する。ここでは、画像の位置合わせを必要とする場面の一例として、答案用紙をスキャナで読み取って得た画像上の答案を自動的に採点する場面を取り上げる。スキャナで読み取って得た画像には位置ずれがあったり、場合によっては画像が斜めになっていたりする。このため、このままでは、答案記入欄が正しい位置になく、採点できず、あるいは誤った採点となるおそれがある。そこで、このような場面では、答案記入欄が正しい位置となるように、読み取って得た画像を位置合わせする必要がある。この位置合わせを行うために、答案用紙に位置合わせ用のマークをあらかじめ印刷しておき、そのマークを手掛かりとして位置合わせを行うことが考えられる。

例えば、特許文献１には、バーコード認識のために、画像の４隅にマークを記録しておくことが開示されている。

また、特許文献２には、ユーザが指定した位置に基準マークを記録した画像をプリント出力し、そのプリント出力された画像を読み取ることが開示されている。

さらに、特許文献３には、ひずみ補正用のマークを画像上に記録しておいて、そのマークに基づいて画像のひずみを補正することが開示されている。

特開２００３ー２７１９４２号公報 特開平１０−０９１７５２号公報 特開平６−３１１３３３号公報

画像の位置合わせのために画像上にあらかじめマークを記録しておくということは、その画像の本来のコンテンツとは無関係なものが記録されていることを意味していて、その画像のデザイン性に問題を生じるおそれがある。また、マークが、その画像のデザイン自体に制約を及ぼすおそれもある。

本発明は、付加的なマークのない画像上から、位置合わせに役立つマークを選定するマーク選定装置および選定されたマークを使って画像の位置合わせを行う画像処理装置を提供することを目的とする。

請求項１は、
マークとしての予め定められたパターンの情報を持つことなく、第１の画像上に現れているパターンのうちの予め定められた候補領域に存在するパターンもしくは該パターンの集合からなるマーク候補を抽出する候補抽出手段と、
第１の画像上の予め定められた基点からマーク候補までの距離と、該マーク候補の、予め定められた、少なくともマークの寸法を含むマーク適性とに基づいて、該マーク候補の中からマークを選定するマーク選定手段とを備えたことを特徴とするマーク選定装置である。

請求項２は、
前記候補抽出手段が、
第１の画像上に塊として存在するクラスタを抽出するクラスタ抽出手段と、
隣接する複数のクラスタを、予め定められた寸法を超えない範囲で併合するクラスタ併合手段とを備え、
前記クラスタ併合手段による併合後のクラスタを、前記マーク候補とすることを特徴とする請求項１に記載のマーク選定装置である。

請求項３は、
前記クラスタ抽出手段が、
第１の画像上のパターンに輪郭抽出処理を施す輪郭抽出手段と、
前記輪郭抽出手段により抽出された輪郭から、予め定められた寸法に満たないノイズ成分としての輪郭を除去するノイズ除去手段とを備えたことを特徴とする請求項２に記載のマーク選定装置である。

請求項４は、
前記クラスタ併合手段が、２つのクラスタからなる組を互いの間の距離が短い順にサーチして、１つの組を構成する２つのクラスタを１つのクラスタとして併合したときに併合後の１つのクラスタの寸法が予め定められた寸法を超えない１組について該１組を構成する２つのクラスタを１つのクラスタとして併合する処理を、併合により変動する距離の順序を短い順に入れ替えながら繰り返すことを特徴とする請求項２に記載のマーク選定装置である。

請求項５は、
前記候補抽出手段が、折れ線の集合としての前記マーク候補を抽出するものであって、
前記マーク選定手段が、前記マーク候補を構成する折れ線の頂点の数を前記マーク適性の１つとして、前記マークを選定することを特徴とする請求項１に記載のマーク選定装置である。

請求項６は、
前記候補抽出手段が、第１の画像上の少なくとも３つの候補領域のそれぞれに存在するパターンもしくは該パターンの集合からなるマーク候補を抽出し、
前記マーク選定手段が、前記候補領域に対応した基点から該基点に対応した候補領域内のマーク候補までの距離と予め定められたマーク適性とに基づいて、第１の画像上の少なくとも３か所における各マークを選定することを特徴とする請求項１に記載のマーク選定装置である。

請求項７は、
前記候補抽出手段が、矩形の第１の画像の４隅の頂点の各々を基点としたときの該基点のそれぞれに対応してあらかじめ定められた４つの候補領域のそれぞれに存在するパターンもしくは該パターンの集合からなるマーク候補を抽出し、
前記マーク選定手段が、前記候補領域に対応した基点から該基点に対応した候補領域内のマーク候補までの距離と予め定められたマーク適性とに基づいて、第１の画像上の４か所における各マークを選定することを特徴とする請求項１記載のマーク選定装置である。

請求項８は、前記第１の画像が、画像を読み取る読取手段で読み取られた画像であることを特徴とする請求項１から７のうちのいずれか１項に記載のマーク選定装置である。

請求項９は、
請求項１から８のうちのいずれか１項に記載のマーク選定装置により選定された前記マークの形状データおよび該マークの前記第１の画像上の位置データを記憶しておくマーク記憶手段と、
第２の画像上の、前記位置データにより表わされる位置の周りの予め定められた探索領域内を探索して、前記形状データにより表わされる前記マークの形状に対応する形状を検出する形状検出手段と、
前記マーク記憶手段に記憶されている前記形状データにより表わされる形状と、前記形状検出手段により検出された、前記マークの形状に対応する形状とが互いに重なり合うように、前記第１の画像と前記第２の画像の位置合わせを行なう位置合わせ手段とを備えたことを特徴とする画像処理装置である。

請求項１０は、前記第２の画像が、画像を読み取る読取手段で読み取られた画像であることを特徴とする請求項９に記載の画像処理装置である。

請求項１１は、請求項１から８のうちのいずれか１項に記載のマーク選定装置を備えたことを特徴とする請求項９または１０に記載の画像処理装置である。

請求項１２は、プログラムを実行する情報処理装置内で実行され、該情報処理装置を請求項１から８のうちのいずれか１項に記載のマーク選定装置として動作させることを特徴とするマーク選定プログラムである。

請求項１３は、プログラムを実行する情報処理装置内で実行され、該情報処理装置を請求項９から１１のうちのいずれか１項に記載の画像処理装置として動作させることを特徴とする画像処理プログラムである。

請求項１のマーク選定装置および請求項１２のマーク選定プログラムによれば、予め定められたパターンからなるマークが存在しない画像から、例えば位置合わせに役立つマークが選定される。

請求項２のマーク選定装置によれば、クラスタ併合手段を備えない場合と比べ、寸法が調整されたマーク候補が得られる。

請求項３のマーク選定装置によれば、ノイズ除去手段を備えない場合と比べ、マーク候補の基になる良質のクラスタが抽出される。

請求項４のマーク選定装置によれば、互いの間の距離が短い順にサーチしない場合と比べ、マーク候補として適切なクラスタが得られる。

請求項５のマーク選定装置によれば、折れ線の頂点の数をマーク適性としない場合と比べ、適正なマークが選定される。

請求項６のマーク選定装置によれば、２つ以下のマークを選定する場合と比べ、位置合わせに一層役立つマークが選定される。

請求項７のマーク選定装置によれば、矩形の画像の場合において３つ以下のマークを選定する場合と比べ、位置合わせに一層役立つマークが選定される。

請求項８のように、本発明のマーク選定装置は、読取手段で読み取った画像からマークを選定する場面でも有効である。

請求項９の画像処理装置および請求項１３の画像処理プログラムによれば、本発明のマーク選定装置により選定されたマークに基づいて画像の位置合わせが行われる。

請求項１０のように、本発明の画像処理装置は、読取手段で読み取った画像について位置合わせする場面でも有効である。

請求項１１の画像処理装置によれば、マークの選定からその選定されたマークを使った位置合わせまで、一貫した処理を実行することができる。

パーソナルコンピュータ（以下、「ＰＣ」と略記する）と複合機とを繋いだ画像処理システムを示した模式図である。 本発明の一実施形態としてのマーク選定装置および画像処理装置の概要を示したブロック図である。 答案が未記入の答案用紙である未記入答案用紙の一例を示した図である。 図３に示した未記入答案用紙上に、選定されたマークを示した図である。 記入済答案用紙を示した図である。 メインプログラムのフローチャートを示した図である。 図６のステップＳ０３におけるマーク候補抽出処理のフローチャートを示した図である。 図７のステップＳ１３におけるクラスタ併合処理のフローチャートを示した図である。 図８のステップＳ２２における、１組のクラスタの併合処理のフローチャートを示した図である。

以下、本発明の実施の形態について説明する。

図１は、複合機とパーソナルコンピュータ（以下、「ＰＣ」と略記する）とを繋いだ画像処理システムを示した模式図である。

複合機１は、ＰＣ２から画像信号を受信してその画像信号に基づく画像を用紙上にプリント出力するプリンタとしての機能、用紙上の画像を読み取って画像信号を生成し、その画像信号をＰＣ２に送信するスキャナとしての機能、および、用紙上の画像を読み取って画像信号を生成し、その画像信号に基づく画像を用紙上にプリント出力するコピー機としての機能を有する。複合機１に＋は、ファクシミリ送受信機能など、その他の機能が含まれていてもよい。ここでは、複合機１のそれらの機能のうちの、スキャナとしての機能に着目している。

ＰＣ２は、その内部で実行されるプログラムに応じた様々な機能を実現する。ここでは、以下に説明する、複合機から送信されてきた画像信号を処理する機能に着目している。なお、以下では、用紙上の画像であるか信号上の画像であるかを特に区別する必要のない場合、および、文脈等から用紙上の画像であるか信号上の画像であるかが明らかな場合は、これらを区別することなく、「画像」と表現するすることがある。また、この後に出てくる「答案用紙」についても同様である。ここでは、物理的な用紙と、その用紙上に表現されている画像と、その用紙上の画像を読み取って得た、信号上の画像とを区別することなく、「答案用紙」と称することがある。

図２は、本発明の一実施形態としてのマーク選定装置および画像処理装置の概要を示したブロック図である。これらのマーク選定装置１０および画像処理装置２０は、ＰＣ２のハードウェアとソフトウェアとの複合により実現する、ＰＣ２の内部に構築される機能としての装置である。

マーク選定装置１０は、複合機１で読み取られて送信されてきた画像上の４隅近傍に、画像どうしの位置合せ用として使うためのマークを選定する装置である。また、画像処理装置２０は、マーク選定装置１０で選定されたマークを使って画像どうしを位置合わせする装置である。

ここでは、答案が未記入の答案用紙である未記入答案用紙と、答案記入後の答案用紙である記入済答案用紙との位置合せを例に挙げて説明する。

図３は、答案が未記入の答案用紙である未記入答案用紙の一例を示した図である。

以下では、未記入答案用紙を未記入答案用紙Ｐ１あるいは答案用紙Ｐ１と称し、後述する記入済答案用紙を記入済答案用紙Ｐ２あるいは答案用紙Ｐ２と称する。また、未記入答案用紙Ｐ１であるか記入済答案用紙Ｐ２であるかを区別する必要がないときは、答案用紙Ｐと称する。

複合機１では、図３に示す未記入答案用紙Ｐ１が読み取られてＰＣ２に送信され、ＰＣ２内に構築されたマーク選定装置１０に入力される。マーク選定装置１０では、この未記入答案用紙Ｐ１の４隅近傍に、位置合せ用として使うためのマークを選定する。ただし、この答案用紙Ｐ１には、位置合せ用のマークとして使うことを予定したパターンは印刷されていない。この答案用紙Ｐ１の本来の印刷内容の中から、マークが選定される。

ここで、複合機１で読み込まれた答案用紙Ｐの画像には、用紙の矩形の縁が写り込んでいることも多い。ただし、用紙の矩形の縁が常にくっきりと写り込んでいるとは限らず、矩形の縁あるいは縁どうしの接点である矩形の角をある程度は推測できるという程度の写り込みの場合も多く、矩形の縁あるいは角を位置合せ用のマークにしようとすると大きな誤差を生む場合があり、ここでは、矩形の縁あるいは角をマークとすることは避けている。

図４は、図３に示した未記入答案用紙上に、選定されたマークを示した図である。

この図４には、ハッチングを付した矩形で囲むことで、選定されたマーク３０が示されている。

上記の通り、答案用紙Ｐ１には、位置合せ用のマークとして使うことを予定したパターンは印刷されていない。これに対応して、マーク選定装置１０は、マークとしての予め定められたパターンの情報は持ち合わせていない。このマーク選定装置１０は、この答案用紙Ｐ１の本来の印刷内容の中から、位置合せ用としてのマークを選定する。

ここで、この答案用紙Ｐ１の場合、４隅近傍のマーク３０のうちの左上のマーク３１としては、数字の「１」と「０」の組み合わせからなるマーク３１が選定されている。また右上のマーク３２としては数字の「１」と「８」と、その下に並ぶ数字の「４」との組み合わせからなるマーク３２が選定されている。また、左下のマーク３３としては、記号「（」と、数字「５」と、記号「）」との組み合わせからなるマーク３３が選定されている。さらに、右下のマーク３４としては、文字「進」と、文字「め」との組み合わせからなるマーク３４が選定されている。

図５は、記入済答案用紙を示した図である。ただし、この記入済答案用紙Ｐ２上に示されている破線の矩形領域Ｄ１〜Ｄ４は、位置合せのためのマークのサーチ範囲を示したものであって、記入済答案用紙Ｐ２上の印刷内容ではない。

この記入済答案用紙Ｐ２も、未記入答案用紙Ｐ１と同様に、複合機１で読み取られて送信されてきた答案用紙である。この読み取られた後の記入済答案用紙Ｐ２は、未記入答案用紙Ｐ１に対し、位置ずれや傾きを持っている可能性がある。

この記入済答案用紙Ｐ２は、図２に示した画像処理装置２０に入力される。そして、この画像処理装置２０では、各矩形領域Ｄ１〜Ｄ４内をサーチし、パターンマッチングにより、各矩形領域Ｄ１〜Ｄ４内から図４に示した各マーク３１〜３４と同じ形状のパターンを探し出す。そして、探し出した各パターンが図４に示した各マーク３１〜３４と同じ位置となるように、記入済答案用紙Ｐ２を未記入答案用紙Ｒ１に位置を合わせる。記入済答案用紙Ｐ２は、多数枚存在し、複合機１ではそれら多数枚の記入済答案用紙Ｐ２が順次に読み取られ、画像処理装置２０では、それら多数の記入済答案用紙Ｐ２が順次に位置合せされる。

図２に戻り、図４に示すようなマーク３０を選定するマーク選定装置１０およびその選定されたマーク３０を使って答案用紙を位置合わせする画像処理装置２０の構成について説明する。ここでは、この図２を参照して、先ずはマーク選定装置１０および画像処理装置２０の構成の概要を説明する。

マーク選定装置１０は、候補抽出手段１１と、マーク選定手段１２とから構成されている。

候補抽出手段１１は、マークとしての予め定められたパターンの情報を持つことなく、未記入答案用紙Ｐ１上に現れているパターンのうちの予め定められた候補領域に存在するパターンもしくはパターンの集合からなるマーク候補を抽出する。この未記入答案用紙Ｐ１は、本発明にいう第１の画像の一例に相当する。

ここでは、一例として、未記入答案用紙Ｐ１上下に２等分するとともに左右にも２等分して合計４つの候補領域を作り、各候補領域内に存在するパターンもしくはパターンの集合からなるマーク候補を抽出する。答案用紙Ｐの縁は明瞭には写り込んでいない場合も多いものの縁の概略は推測することができ、答案用紙Ｐを４分割するにあたっては、この推測程度の精度で十分である。

ここで、候補抽出手段１１は、クラスタ抽出手段１１１とクラスタ併合手段１１２とで構成されている。

クラスタ抽出手段１１１は、未記入答案用紙Ｐ１上に塊として存在するクラスタを抽出する。塊として存在するとは、初期的には、例えば、文字や記号あるいはそれらの部分からなる、一筆書きのように繋がっていることを意味している。ただし、１つに繋がっていればよく、一筆で書くことができることは必要ではない。次のクラスタ併合手段１１２では、隣接するクラスタどうしが併合されることがあり、併合された１つのクラスタの場合は、１つには繋がっていない。

クラスタ併合手段１１２は、隣接する複数のクラスタを、予め定められた寸法を超えない範囲内で併合する。このクラスタ併合手段１１２による処理は、このマーク選定装置１０では、マークとしてふさわしい寸法が予め定められており、このクラスタ併合手段１１２における処理は、隣接するクラスタ併合することによって、マークとしてふさわしい寸法のクラスタとする処理である。

そして、クラスタ併合手段１１２からは、このクラスタ併合手段１１２により併合されたクラスタが、マーク候補として、マーク選定手段１２に送られる。

さらに、クラスタ抽出手段１１１は、輪郭抽出手段１１１１とノイズ除去手段１１１２とから構成されている。

輪郭抽出手段１１１１は、未記入答案用紙Ｐ１上の、文字や記号などからなるパターンに輪郭抽出処理を施す。また、ノイズ除去手段１１１２は、輪郭抽出手段１１１１により抽出された輪郭から、予め定められた寸法に満たないノイズ成分としての輪郭を除去する。また、本実施形態におけるノイズ除去手段１１１２では、寸法が大き過ぎる輪郭も不要なノイズとして除去している。

また、マーク選定手段１２は、未記入答案用紙Ｐ１上の予め定められた基点からマーク候補までの距離と、マーク候補の、予め定められた、少なくともマークの寸法を含むマーク適性とに基づいて、マーク候補の中からマークを選定する。

ここでは、一例として、答案用紙Ｐの、４つの角の各々を基点とし、答案用紙Ｐ１の４分割により得られた４つの候補領域の各々からマークが選定される。

上述の通り、答案用紙Ｐの縁は明瞭には写り込んでいない場合も多いものの縁や角の概略は推測することができる。マーク選定の基点となる推測された４つの角は、位置誤差を持っていても、基点としては十分に機能する。

画像処理装置２０は、マーク記憶手段２１と、形状検出手段２２と、位置合わせ手段２３とを有する。この画像処理装置２０には、複合機１で読み込まれた多数枚の記入済答案用紙Ｐ２が順次に入力される。ここでは、そのうちの１枚の記入済答案用紙Ｐ２について説明する。

マーク記憶手段２１には、マーク選定装置１０により選定されたマーク３０（図４参照）の形状データおよびマーク３０の答案用紙Ｐ１上の位置データが記憶される。マークの形状データとしては、例えば図４の左下のマーク３３の場合の、「（５）」という、寸法の情報を含むパターンを表わすデータである。答案用紙Ｐ１上の位置データとしては、基点（例えば図４の左下のマーク３３の場合は答案用紙Ｐの左下隅の角）からの距離や方向を表わすデータである。

画像処理装置２０に入力された記入済答案用紙Ｐ２は、形状検出手段２２で参照される。この形状検出手段２２では、記入済答案用紙Ｐ２上の、マーク記憶手段２１に記憶されているマークの位置データにより表わされる位置の周りの予め定められた探索領域（図５に示す探索領域Ｄ１〜Ｄ４）内を探索し、パターンマッチング処理により、マーク記憶手段２１に記憶されている形状データにより表わされるマークの形状に対応する形状のパターンを検出する。これらの探索領域Ｄ１〜Ｄ４は、複合機１で答案用紙Ｐを読み込む際の位置ずれや用紙の角の位置の推定に伴う角の位置誤差等が勘案されて、その探索領域Ｄ１〜Ｄ４内を探索すればマークの形状に対応する形状のパターンを検出することができるとして予め定められた領域である。パターンマッチング処理は、広く知られた処理であり、ここでの説明は割愛する。

また、位置合わせ手段２３は、マーク記憶手段２１に記憶されている形状データにより表わされる形状のマークと、形状検出手段２２により検出された、マークの形状に対応する形状のパターンとが互いに重なり合うように、記入済答案用紙Ｐ２を未記入答案用紙Ｐ１に位置合せする。

この位置合せ後の記入済答案用紙Ｐ２は、図２に示した画像処理装置２０の後段に置かれた不図示の自動採点装置に入力されて、図５に示した記入枠Ａ内に記入された答案が採点される。この自動採点装置は、本実施形態の対象ではなく、ここでのこれ以上の説明は割愛する。

なお、ここでは、マークを選定するマーク選定装置１０と位置合せを行なう画像処理装置２０とに分けて説明したが、マークを選定して位置合せを行なう機能全体を１つの画像処理装置として捉えてもよい。

以下では、フローチャートを参照しながら、図２に示したマーク選定装置１０についてさらに説明を続ける。以下で説明するフローチャートは、図１に示したＰＣ２内で実行されるプログラムによる処理を表わしており、この処理の実行により、ＰＣ２内に図２に示したマーク選定装置１０の機能が構築される。

図６は、メインプログラムのフローチャートを示した図である。

ここでは、画像、すなわち、複合機１で読み込まれた未記入答案用紙Ｐ１が、このプログラムからの参照が可能となるように取り込まれる（ステップＳ０１）。そして、その取り込んだ画像（未記入答案用紙Ｐ１）が４分割される（ステップＳ０２）。ここでは、前述の通り、縦の中央で２分割するとともに横の中央で２分割することにより、画像が４分割される。次に、各分割画像毎にマーク候補が抽出される（ステップＳ０３）。マーク候補の抽出処理の詳細は後述する。そして、マーク候補が抽出されると、４分割された各分割画像内のマーク候補の中から各分割画像毎のマークが選定される（ステップＳ０４）。このステップＳ０４におけるマーク選定処理については、後で再度言及する。

図７は、図６のステップＳ０３におけるマーク候補抽出処理のフローチャートを示した図である。

ここでは先ず、画像内の文字や記号等からなる画像上のパターンの輪郭を抽出する（ステップＳ１１）。輪郭抽出は、例えば輪郭抽出用のフィルタリング処理などにより行われる既知の処理であり、ここでの詳細説明は省略する。ここでは、１つに繋がっている輪郭を１つの輪郭としている。

次に、抽出された輪郭の中から、不要な輪郭を除去する（ステップＳ１２）。輪郭抽出処理は、微分処理そのものあるいは微分処理に近似した処理であり、細かなノイズを強調してそのノイズも輪郭として抽出することも多い。そこで、ここでは先ず細かなノイズが除去される。また、大きすぎる輪郭もマークとしては不適切である。そこで、ここでは、大きすぎる輪郭も除去される。輪郭の大きさを測る尺度としては、例えば、輪郭の周囲長、輪郭面積、輪郭に外接する外接矩形の面積、外接矩形の長辺／短辺の長さなどのうちの１つあるいは複数の組み合わせが用いられる。ここでは、用いる尺度に最小値／最大値の閾値を設定し、それらの閾値から外れる輪郭が除去される。ここでは、不要な輪郭を除去した残りの輪郭の１つずつ、すなわち１つに繋がった輪郭の１つずつを「クラスタ」と称する。

次に、クラスタの併合処理が行われる（ステップＳ１３）。これは、複数のクラスタを併合し、その併合した複数のクラスタを新たな１つのクラスタとみなす処理である。このクラスタ併合処理により、マークの候補が抽出されることになる。クラスタ併合処理の詳細については後述するが、マーク候補として抽出されるクラスタは、クラスタ併合処理後の、ｌつには繋がっていないクラスタである。ただし、そのクラスタの寸法等に応じ、併合されずに１つに繋がったままのクラスタも存在し得る。

クラスタ併合処理が終了すると、通常は複数存在するクラスタの中からマークが選出される（ステップＳ１４）。このマーク選出処理では、１つの分割領域について、マークとしての評価が格段に高いマーク候補があれば唯一のマークに絞ってもよいが、そうでなければ必ずしも唯一のマークに絞る必要はなく、マーク候補の中から複数個のマークを選出してもよい。複数個のマークを選出したときは、この段階では、この選出されたマークは未だマーク候補の段階に留まることになる。

このステップＳ１４では、各分割領域ごとの基点、すなわち、用紙の、その分割領域に含まれる角を基点とした、マーク候補までの距離が最大閾値距離と最小閾値距離の範囲内にあることをマーク選出の１つの基準としてマークが選出される。最小閾値距離を設けるのは、基点、すなわち用紙の角の位置は推測の域を出ない場合があり、基点に近すぎるマーク候補は例えば実際の用紙からは外れた位置にあるノイズ等の可能性もあるからである。また、最大閾値距離を設けるのは、用紙のできるだけ隅に存在するマークの方が、画像どうしの位置合せの精度が期待できるからである。また、用紙の縦横比が１：１ではないときは、縦と横の距離を別々に測定し、縦横比に応じて、縦方向の距離と横方向の距離のそれぞれに対し互いに異なる最大閾値距離と互いに異なる最小閾値距離を設けてもよい。

基点からマーク候補までの距離を測定する際のマーク候補の位置の決め方には任意性があり、例えばそのマーク候補としてのクラスタの重心位置であってもよく、あるいはそのマーク候補としてのクラスタに外接する矩形の中心点の位置であってもよい。ここで、マーク候補は輪郭抽出処理（ステップＳ１１）を経て抽出されたものであり、本実施形態における輪郭抽出処理では、複数の折れ線の集合としての輪郭が抽出される。したがってマーク候補も折れ線の集合で表現されている。そこで、これを利用し、マーク候補としての折れ線の頂点の各々と基点との間の複数の距離の平均値をそのマーク候補までの距離としてもよい。

あるいは、距離に閾値を設けるのではく、距離の基準値を設定しておき、その基準値に近い順にいくつかのマーク候補を選出してもよい。

また、マーク候補の選出の基準は、距離だけではなく、他の基準も存在する。本実施形態では、距離以外に、寸法と頂点数が基準として採用されている。寸法が小さすぎても大きすぎてもマークとしては不向きである。そこでここでは、寸法を基準の１つとしてマーク候補を選出している。マークの寸法としては、例えば外接する矩形の周囲長や面積を採用することができる。あるいは、その外接する矩形の長辺の長さや、そのマークの中の最も離れた２点間の距離を、そのマークの寸法としてもよい。寸法を基準としてマーク候補を選出するにあたり、寸法の上限の閾値と下限の閾値を設定して、それらの閾値の間にあるマーク候補を選出してもよく、あるいは、寸法の基準値を設けておいて、寸法がその基準値に近い順にあらかじめ定めた数のマーク候補を選出してもよい。

また、頂点数を基準として採用するのは、頂点数が少ないということは、単純な形状であることが多く、パターンマッチングの際に、そのマークの形状と近似した形状が近くにあり、パターンマッチングの際に誤認識するおそれがあるからである。一方、頂点数が多過ぎるということはそのマークの形状が複雑すぎる場合が多く、この場合も誤認識に繋がる恐れがあるからである。この頂点数に関しても、閾値を設定してマーク候補を選出してもよく、あるいは基準値を設定して、その基準値に近い順にマーク候補を選出してもよい。

ここでは、頂点数を採用しているが、頂点数以外に、例えばマーク候補の周囲長を採用してもよい。寸法が基準値に近い場合において周囲長が短いということは、単純な形状であることを意味し、周囲長が長いということは複雑な形状であることを意味していて、頂点数と同様な、マーク候補の複雑度に指標という意味合いを持つからである。複雑度の指標として、周囲長に代わり、（周囲長÷寸法）を採用してもよい。あるいは、複雑度を表わす他のパラメータを基準として採用してもよい。ただし、頂点数や周囲長といった複雑度の指標を採用することなく、距離の他は、マーク候補の寸法のみを選定の基準としてもよい。

本実施形態におけるステップＳ１４では、先ずは距離でマーク候補を選定し、その選定されたマーク候補の中からに寸法で選定し、さらに残った候補の中から頂点数で選定している。ただし、頂点数で選定したときに１つのマークも選定されなかったときは、頂点数による選定は止めて、距離と寸法でマーク候補が選定される。

このようにして選定されたマーク候補は、図６のステップＳ０４において、再び評価されて、４分割された各分割領域ごとに１つのマークが選定される。

図６のステップＳ０４に進むときは、４分割された各分割領域のマーク候補が出揃うことになる。そこで、このステップＳ０４では、出揃ったマーク候補を総合的に眺めて、各分割領域ごとに１つずつの、合計４つのマークが選定される。このステップＳ０４におけるマーク選定の基準としては、例えば、４つの各領域のマーク候補を４つの頂点とする４辺形の周長が最も長いマーク候補をマークとして選定すること、あるいは、その４辺形の面積が最大となるマーク候補をマークとして選定すること、あるいはその４辺形の４隅の角度のうちの９０°からの偏差が最も小さくなるマーク候補（すなわち、できるだけ長方形に近い４辺形が得られるマーク候補）をマークとして選定することなどを採用することができる。

なお、ステップＳ１４において各分割領域について唯一のマークを選定することとして、ステップＳ０４のステップを削除してもよく、あるいは、ステップＳ１４の方を削除し、ステップＳ０４において各分割領域のマークを選定してもよい。

図８は、図７のステップＳ１３におけるクラスタ併合処理のフローチャートを示した図である。

ここでは、図７のステップＳ１２での不要な輪郭を除去した残りの輪郭からなるクラスタを併合する処理が行われる。なお、以下において説明するクラスタ併合処理自体は一例であって、クラスタ併合処理に関する公知の各種のアルゴリズムを採用することができる。

図７のステップＳ１３の処理、すなわち図８に示す処理に進んできたときのクラスタは、その１つ１つが、繋がった輪郭からなるクラスタである。ここでは先ず、距離行列が作成される。この距離行列は、全てのクラスタの組み合わせについて互いの２つのクラスタ間の距離が計算され、その距離が短い順に２つのクラスタからなる組を並べたものである。２つのクラスタ間の距離は、前述の基点とクラスタとの間の距離の計算におけるクラスタの代表点を２つのクラスタの双方に適用して計算される。

すなわち、クラスタの重心位置どうしの距離を計算してもよく、あるいはクラスタに外接する矩形の中心点の位置どうしの距離を計算してもよい。あるいは、折れ線としてのクラスタの頂点どうしの距離の平均値を２つのクラスタ間の距離としてもよい。

距離行列が作成されると、次に、１組のクラスタの併合処理が行われる（ステップＳ２２）。そして、このステップＳ２２において、クラスタが併合された場合は（ステップＳ２３）、再度、そのステップＳ２２における１組のクラスタの併合処理が行われ、これがクラスタが併合されなくなるまで（ステップＳ２３）、繰り返される。ここで、ステップＳ２１で作成された距離行列は、最初の距離行列であって、この距離行列は、ステップＳ２２を１回実行するごとに更新される（図９のステップＳ３３参照）。

図９は、図８のステップＳ２２における、１組のクラスタの併合処理のフローチャートを示した図である。

ここでは、ステップＳ２１で作成された距離行列に基づき、距離の短い順にサーチして、その距離行列に並ぶ２つのクラスタの併合が可能かどうかが判定される（ステップＳ３１）。ここでの判定基準は、併合後のクラスタの寸法である。クラスタの寸法としては、例えば外接する矩形の周囲長や面積、その矩形の長さ、などを採用することができる。あるいは、そのクラスタの中の最も離れた２点間の距離をそのクラスタの寸法としてもよい。このステップＳ３１では、併合後のクラスタの寸法が予め定められた最大寸法を超えない場合に、併合が可能であると判定される。そして、併合が可能と判定される中の距離が最も短い１組を構成する２つのクラスタが１つのクラスタに併合される（ステップＳ２２）。そして、その１組のクラスタが併合された後の全てのクラスタの組み合わせについて互いの２つのクラスタ間の距離が再計算されて、図８のステップＳ２１で作成された距離行列が更新される（ステップＳ３３）。この距離行列の更新の後は、図８に戻り、ステップＳ２３において、クラスタが併合されたことが認識され、再び、ステップＳ２２すなわち図９に示す１組のクラスタの併合処理に進む。

この処理が、距離行列に並ぶいずれの２つのクラスタも併合不可であると判定されるまで繰り返される（ステップＳ３１）。そして、ステップＳ３１においていずれの２つのクラスタの併合も不可であると判定されると、図８の処理に戻り、ステップＳ２３においてクラスタが併合されなかったことが認識される。そして、このステップＳ２３においてクラスタが併合されなかったことが認識されると、図７のステップＳ１３のクラスタ併合処理が終了したこととなり、ステップＳ１４のマーク選出処理が行われる。このマーク選出処理については説明済みであり、重複説明は省略する。ステップＳ１４のマーク選出処理が終わると、図６のステップＳ０３における、１つの分割画像についてのマーク候補抽出処理が終了したことになる。以上のマーク候補抽出処理が４分割された分割画像の１つずつについて順次に繰り返される。そして、４つの分割画像の全てについてステップＳ０３のマーク選出処理が終了すると、ステップＳ０４のマーク選定処理が行われる。このマーク選定処理についても説明済みであり、ここでの重複説明は省略する。

以上において説明した実施形態では、複合機１で読み取って得た答案用紙Ｐを４分割して各分割領域ごとにマークを選定する例を示したが、一直線上にはない３か所についてマークを選定すれば、答案用紙Ｐどうしの、傾きや伸縮を含む位置合わせを行うことができる。一直線上にはない３か所についてマークを選定した場合は、アフィン変換（Ａｆｆｉｎｅ変換：回転、平行四辺形、移動変換）により位置合わせを行うことができる。また、上記の答案用紙の例のように一直線上にはない４か所についてマークを選定した場合は、射影変換（台形変換：３次元物体を２次元に投影）により位置合わせを行うことができる。あるいは、答案用紙Ｐを６分割あるいは８分割して各分割領域についてマークを選定して、位置合わせの精度を向上させてもよい。あるいは、傾きや伸縮については無視して構わない用途の場合は、例えば対角の２点、あるいはほぼ中心の１点にのみマークを選定してもよい。

また、上記の実施形態では、複合機１のスキャナ機能を利用して読み取った答案用紙Ｐからマークを選定する例であるが、複合機１以外の、例えば単独機能のスキャナで読み取った答案用紙Ｐを対象としてもよい。さらには、スキャナではなく、例えばカメラで撮影した答案用紙Ｐを対象としてもよい。

また、以上において説明した実施形態では、答案用紙Ｐ上の印刷パターンからマークを選定することを例に挙げて説明したが、答案用紙Ｐは一例にすぎず、本発明は、位置合わせが必要にもかかわらず位置合わせ用のマークが印刷されていない印刷物の位置合わせに広く適用することができる。

１ 複合機
２ ＰＣ（パーソナルコンピュータ）
１０ マーク選定装置
１１ 候補抽出手段
１１１ クラスタ抽出手段
１１１１ 輪郭抽出手段
１１１２ ノイズ除去手段
１１２ クラスタ併合手段
１２ マーク選定手段
２０ 画像処理装置
２１ マーク記憶手段
２２ 形状検出手段
２３ 位置合せ手段

Claims (13)

1. マークとしてのパターンの情報を持つことなく、第１の画像上に現れているパターンのうちの候補領域に存在するパターンもしくは該パターンの集合からなるマーク候補を抽出する候補抽出手段と、
   第１の画像上の予め定められた基点からマーク候補までの距離と、該マーク候補の、少なくともマークの寸法を含むマーク適性とに基づいて、該マーク候補の中からマークを選定するマーク選定手段とを備えたことを特徴とするマーク選定装置。
2. 前記候補抽出手段が、
   第１の画像上に塊として存在するクラスタを抽出するクラスタ抽出手段と、
   隣接する複数のクラスタを、予め定められた寸法を超えない範囲で併合するクラスタ併合手段とを備え、
   前記クラスタ併合手段による併合後のクラスタを、前記マーク候補とすることを特徴とする請求項１に記載のマーク選定装置。
3. 前記クラスタ抽出手段が、
   第１の画像上のパターンに輪郭抽出処理を施す輪郭抽出手段と、
   前記輪郭抽出手段により抽出された輪郭から、予め定められた寸法に満たないノイズ成分としての輪郭を除去するノイズ除去手段とを備えたことを特徴とする請求項２に記載のマーク選定装置。
4. 前記クラスタ併合手段が、２つのクラスタからなる組を互いの間の距離が短い順にサーチして、１つの組を構成する２つのクラスタを１つのクラスタとして併合したときに併合後の１つのクラスタの寸法が予め定められた寸法を超えない１組について該１組を構成する２つのクラスタを１つのクラスタとして併合する処理を、併合により変動する距離の順序を短い順に入れ替えながら繰り返すことを特徴とする請求項２に記載のマーク選定装置。
5. 前記候補抽出手段が、折れ線の集合としての前記マーク候補を抽出するものであって、
   前記マーク選定手段が、前記マーク候補を構成する折れ線の頂点の数を前記マーク適性の１つとして、前記マークを選定することを特徴とする請求項１記載のマーク選定装置。
6. 前記候補抽出手段が、第１の画像上の少なくとも３つの候補領域のそれぞれに存在するパターンもしくは該パターンの集合からなるマーク候補を抽出し、
   前記マーク選定手段が、前記候補領域に対応した基点から該基点に対応した候補領域内のマーク候補までの距離と予め定められたマーク適性とに基づいて、第１の画像上の少なくとも３か所における各マークを選定することを特徴とする請求項１に記載のマーク選定装置。
7. 前記候補抽出手段が、矩形の第１の画像の４隅の頂点の各々を基点としたときの該基点のそれぞれに対応してあらかじめ定められた４つの候補領域のそれぞれに存在するパターンもしくは該パターンの集合からなるマーク候補を抽出し、
   前記マーク選定手段が、前記候補領域に対応した基点から該基点に対応した候補領域内のマーク候補までの距離と予め定められたマーク適性とに基づいて、第１の画像上の４か所における各マークを選定することを特徴とする請求項１に記載のマーク選定装置。
8. 前記第１の画像が、画像を読み取る読取手段で読み取られた画像であることを特徴とする請求項１から７のうちのいずれか１項に記載のマーク選定装置。
9. 請求項１から８のうちのいずれか１項に記載のマーク選定装置により選定された前記マークの形状データおよび該マークの前記第１の画像上の位置データを記憶しておくマーク記憶手段と、
   第２の画像上の、前記位置データにより表わされる位置の周りの予め定められた探索領域内を探索して、前記形状データにより表わされる前記マークの形状に対応する形状を検出する形状検出手段と、
   前記マーク記憶手段に記憶されている前記形状データにより表わされる形状と、前記形状検出手段により検出された、前記マークの形状に対応する形状とが互いに重なり合うように、前記第１の画像と前記第２の画像の位置合わせを行なう位置合わせ手段とを備えたことを特徴とする画像処理装置。
10. 前記第２の画像が、画像を読み取る読取手段で読み取られた画像であることを特徴とする請求項９に記載の画像処理装置。
11. 請求項１から８のうちのいずれか１項に記載のマーク選定装置を備えたことを特徴とする請求項９または１０に記載の画像処理装置。
12. プログラムを実行する情報処理装置内で実行され、該情報処理装置を請求項１から８のうちのいずれか１項に記載のマーク選定装置として動作させることを特徴とするマーク選定プログラム。
13. プログラムを実行する情報処理装置内で実行され、該情報処理装置を請求項９から１１のうちのいずれか１項に記載の画像処理装置として動作させることを特徴とする画像処理プログラム。
    

Images