JP2010245885A - 画像処理装置 - Google Patents

Abstract

【課題】 破断部付近の画像や形状にかかわらず、各原稿破片の画像データをつなぎ合わせて、合成画像データを出力可能な画像処理装置を提供する。
【解決手段】 画像処理装置に、複数の原稿破片の画像を読み取って、それぞれの画像データを入力する画像データ入力部と、入力された各画像データから、それぞれの原稿破片の形状を示す特徴量を抽出する特徴量抽出部と、抽出された各特徴量に基づき、各画像データを位置合わせするための位置合わせパラメータを算出する算出部と、算出された位置合わせパラメータに基づいて、各画像データを合成し、合成画像データを出力する合成出力部とを設ける。
【選択図】 図１

Description

本発明は、複数の画像データを合成して、合成画像データを出力する画像処理装置に関する。

従来、この種の装置として、原稿の破れた破片である原稿破片の画像を読み取って、複数の画像データを取得し、これらをつなぎ合わせて、原稿の合成画像データを出力するものが知られている。

例えば、下記特許文献１には、各原稿破片を読み取って原稿データを取得し、つなぎ合わせ処理を行う画像処理装置の技術が開示されている。この画像処理装置は、各原稿破片の四辺各々について、一定範囲内の画像データを抽出し、これらを比較して一致判定を行った後、該判定結果に基づいて、各原稿破片がつながり合うように、原稿データの破断部の位置合わせを行う。

特開平６−１７８０８６号公報

しかしながら、上記した従来の画像処理装置では、画像の特徴に基づいて破断部の位置合わせが行われるため、例えば、原稿破片の破断部付近が無地の場合、つなぎ合わせができないという問題があった。また、原稿破片が四角形ではない場合、即ち辺が四つではない場合や、破断部を辺として認識することが困難な場合等にも、やはり、つなぎ合わせができないという問題があった。

したがって、破断部付近の画像や形状にかかわらず、各原稿破片の画像データをつなぎ合わせて、合成画像データを出力可能な画像処理装置が望まれていた。

本発明は、以上の点を解決するために、次の構成を採用する。

〈構成〉
本発明に係る画像処理装置は、複数の原稿破片の画像を読み取って、それぞれの画像データを入力する画像データ入力部と、入力された各画像データから、それぞれの原稿破片の形状を示す特徴量を抽出する特徴量抽出部と、抽出された各特徴量に基づき、各画像データを位置合わせするための位置合わせパラメータを算出する算出部と、算出された位置合わせパラメータに基づいて、各画像データを合成し、合成画像データを出力する合成出力部とを備えることを特徴とする。

本発明に係る画像処理装置によれば、各原稿破片の形状自体が特徴として認識されるので、破断部が無地の場合や辺として認識できない場合にも、各原稿破片の画像データをつなぎ合わせて、合成画像データを出力可能となる。

本発明の実施例１に係るスキャナの機能構成を示すブロック図である。 本発明に係るスキャナの外観図である。 本発明に係るスキャナの要部構成を示す図である。 特徴量抽出部の機能構成を示すブロック図である。 位置合わせパラメータ算出部の機能構成を示すブロック図である。 画像データ合成部の機能構成を示すブロック図である。 本発明に係るスキャナの実施例１における読取合成動作を示すフローチャートである。 読取原稿の一例を示す図（その１）である。 本発明に係るスキャナの特徴量抽出動作を示すフローチャートである。 本発明に係るスキャナのラベリング動作を示すフローチャートである。 ラベリング処理を説明する図である。 点群データの抽出例を示す図（その１）である。 点群データの抽出例を示す図（その２）である。 本発明に係るスキャナの位置合わせパラメータ算出動作を示すフローチャートである。 本発明に係るスキャナのパラメータ算出動作を示すフローチャートである。 本発明に係るスキャナの推定値算出動作を示すフローチャートである。 本発明に係るスキャナの評価値算出動作を示すフローチャートである。 本発明に係るスキャナの画像合成動作を示すフローチャートである。 本発明の実施例２に係るスキャナの機能構成を示すブロック図である。 画像データ分割部の機能構成を示すブロック図である。 本発明に係るスキャナの実施例２における読取合成動作を示すフローチャートである。 読取原稿の一例を示す図（その２）である。 読取原稿の載置例を示す図（その１）である。 読取原稿の載置例を示す図（その２）である。 本発明に係るスキャナの画像分割動作を示すフローチャート（その１）である。 本発明に係るスキャナの画像分割動作を示すフローチャート（その２）である。

以下、本発明の実施形態を、図を用いて詳細に説明する。ここでは、本発明をスキャナに適用した場合を例に、説明を行う。

図２は、本発明に係るスキャナの外観図である。
スキャナ１０は、画像処理装置として、載置台１１に載置された原稿や、破れた原稿の破片である原稿破片等の読取原稿から、読取面の画像を読み取って、画像データを取得し、該画像データに対して画像処理を施して、出力を行う。

載置台１１は、本実施例ではプラテンガラスからなり、開閉可能な載置台カバー１２の下側に設けられている。読取原稿は、この載置台１１の上面に、読取面が載置台１１に当接するように、下向きに載置される。載置台カバー１２は、読取原稿の読取時における外部からの環境光を遮断すべく、載置台１１を覆い隠すように設置される。
なお、載置台１１は、読取画質に影響が出ない透明であり且つ強度が保持されるものであれば、ガラスに限定されない。

載置台１１の下方には、図２に示されるように、原稿検出センサ１３と、イメージセンサ１４とが配設されている。

原稿検出センサ１３は、載置台１１上への読取原稿の載置を検出する機能を有する。原稿検出センサ１３としては、例えば、読取原稿の重みにより押下される機械的なスイッチ、即ち上部に読取原稿が載置されると、その重みによりスイッチが押下されて、読取原稿の載置を検出するスイッチや、光反射型素子、或いは、上部に読取原稿が載置されると、その読取原稿による光の遮断に基づき、読取原稿の載置を検出する遮光センサ等があるが、読取原稿の載置を検出可能であれば、何れも適用可能である。

イメージセンサ１４は、例えば密着型ラインイメージセンサやＣＣＤイメージセンサからなり、載置台１１の下側を走行しながら、該載置台１１上に載置された読取原稿を走査して、読取面の画像を読み取り、電気的信号に変換して、画像データを取得する。

スキャナ１０は、更に、操作パネル部１５を備えている。操作パネル部１５には、図２に示されるように、操作ボタン１６、開始ボタン１７及び表示パネル１８が設けられている。

操作ボタン１６は、オペレータからの指示や情報を入力するための入力デバイスであり、本実施例ではテンキーからなる。
開始ボタン１７は、読取動作の開始を指示するために使用される。
表示パネル１８は、本実施例では液晶パネルからなり、スキャナ１０の状態や各種情報の表示機能を有する。

図３は、本発明に係るスキャナの要部構成を示す図である。
スキャナ１０には、図３に示されるように、イメージセンサ１４、ＣＰＵ２０、ＲＡＭ２１、プログラムＲＯＭ２２及びメイン制御部２３が備えられ、これら各部がバスを介して接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０は、ＲＡＭ２１を作業領域として、プログラムＲＯＭ２２に格納されている制御プログラムを実行する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１は、揮発性メモリからなり、イメージセンサ１４により取得された画像データ等を記憶する。また、ＲＡＭ２１は、データが一時的に記憶される一時記憶部として、ＣＰＵ２０による制御プログラム実行時に使用される。

プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２は、不揮発性の読み込み専用メモリからなり、イメージセンサ１４による読取動作の制御や、ＲＡＭ２１への書込／読取処理の制御等に使用される種々の制御プログラムを格納している。

メイン制御部２３は、プログラムＲＯＭ２２に格納されている制御プログラムを、ＣＰＵ２０により実行して、スキャナ１０の統括制御を行う。

メイン制御部２３には、更に、原稿検出センサ１３、モータ部２４、操作パネル部１５及びＩ／Ｆ部２５が、バスにより接続されている。

原稿検出センサ１３は、載置台１１における読取原稿の有無を検出して、メイン制御部２３に通知する。

モータ部２４は、イメージセンサ１４による読取原稿の読取時に、該イメージセンサ１４を走行させるために使用される。

操作パネル部１５は、図３に示されるように、操作部２６及び表示部２７を備えている。
操作部２６は、操作ボタン１６及び開始ボタン１７（図２）を含んで構成される。
表示部２７は、表示パネル１８（図２）を含んで構成される。

本実施例では、操作パネル部１５は、スキャナ１０において実行する各処理をオペレータに選択させるための処理選択画面等、各種画面や情報の表示を行う。また、操作パネル部１５は、オペレータの操作に基づいて、複数の原稿破片の画像を読み取って合成する読取合成処理の実行を指示するための読取合成指示や、出力する画像のサイズを指定するための出力画像サイズ等の入力を行う。

Ｉ／Ｆ部２５は、図示せぬ通信ケーブルを介して接続されたプリンタ等の外部機器との間で通信を行うために使用されるインタフェース部であり、イメージセンサ１４により取得され、画像処理が施された画像データを、外部機器へ出力する。Ｉ／Ｆ部２５には、例えば、ＵＳＢやＩＥＥＥ１３９４、Ｅｔｈｅｒｎｅｔ（登録商標）等を適用可能である。また、Ｉ／Ｆ部２５として、無線ＬＡＮを適用することも可能である。この場合、スキャナ１０及び外部機器を通信ケーブルにより接続する必要はない。

次に、本実施例のスキャナ１０の制御系統について、説明する。
図１は、本発明の実施例１に係るスキャナの機能構成を示すブロック図である。

スキャナ１０は、画像処理装置として、図１に示されるように、画像データ入力部３１、画像データ記憶部３２、特徴量抽出部３３、位置合わせパラメータ算出部３４及び画像データ合成部３５を含んで構成される。

画像データ入力部３１は、イメージセンサ１４により取得された読取原稿の画像データを、画像データ記憶部３２に入力する。

画像データ記憶部３２は、ＲＡＭ２１を含んで構成され、画像データ入力部３１から入力された画像データを記憶する。また、画像データ記憶部３２は、記憶している画像データを、特徴量抽出部３３や画像データ合成部３５に入力する。

特徴量抽出部３３は、入力された画像データから、読取原稿の形状を示す特徴量として、後述する点群データを抽出し、該点群データを位置合わせパラメータ算出部３４に入力する。

位置合わせパラメータ算出部３４は、算出部としての機能を有し、特徴量抽出部３３から入力された複数の点群データに対して、一対毎に位置合わせパラメータ（後述）を算出し、該位置合わせパラメータを画像データ合成部３５に入力する。本実施例では、位置合わせパラメータ算出部３４は、繰り返し型アルゴリズムにより、位置合わせパラメータの算出を行う。

画像データ合成部３５は、合成出力部としての機能を有し、位置合わせパラメータ算出部３４から入力された位置合わせパラメータに基づいて、画像データ記憶部３２から入力された各画像データを合成し、合成画像データを出力する。

上記した各部３１〜３５のうち、特徴量抽出部３３、位置合わせパラメータ算出部３４及び画像データ合成部３５は、プログラムＲＯＭ２２に格納された制御プログラムがＲＡＭ２１に一時的に読み込まれ、ＣＰＵ２０により実行されて実現されるソフトウェア処理部である。
次に、これら各ソフトウェア処理部の詳細な機能構成について、説明する。

図４は、特徴量抽出部の機能構成を示すブロック図である。
特徴量抽出部３３は、図４に示されるように、エッジ抽出部３６、２値化処理部３７、ラベリング処理部３８、最外ラベル判定部３９、直線検出部４０、点群データ抽出部４１及び点群データ記憶部４２を有する。

エッジ抽出部３６は、画像データ記憶部３２（図１）から入力された各画像データに対して、エッジ抽出処理を施し、エッジ抽出画像データを出力する。本実施例では、エッジ抽出部３６は、空間フィルタリングの一つである８方向ラプラシアンを用いて、エッジ抽出処理を行う。

２値化処理部３７は、エッジ抽出部３６から入力されたエッジ抽出画像データに対して、２値化処理を行って、画素値「０」を有する白画素と、画素値「１」を有する黒画素とからなる２値画像データを出力する。２値化処理部３７は、所定の閾値Ｔ１及びＴ２（Ｔ１＞Ｔ２）を用いて、２種類の２値画像データを取得する。本実施例では、２値化処理部３７により使用される閾値Ｔ１は、２値化処理後の２値画像データに、読取原稿の紙片端のエッジが十分に残るべく設定された値であり、閾値Ｔ２は、破断部に特徴的なエッジが十分に残るべく設定された値である。

ラベリング処理部３８は、白画素及び黒画素からなる２値画像データの各黒画素に対して、ラベリング処理を行う。ラベリング処理部３８は、隣接する黒画素を連結すべく、同一のラベル番号を付与する。このラベリング処理により、２値画像データに含まれる各黒画素は、ラベル番号毎に分類可能となる。同一のラベル番号が付与された複数の黒画素を、黒画素群と記すこととする。

最外ラベル判定部３９は、ラベリング処理部３８により付与されたラベル番号に基づき、各黒画素群の領域面積を、ラベルサイズとして算出し、それぞれのラベルサイズを比較する。そして、ラベルサイズが最大となる黒画素群を、該２値画像データの最外ラベルと判定する。ここで、最外ラベル判定部３９は、各黒画素群を走査方向に平行に包囲する矩形の面積を、それぞれの黒画素群のラベルサイズとして算出し、これらを比較することにより、最外ラベルの判定を行う。

直線検出部４０は、読取原稿の紙片端に対応する位置を認識するために、最外ラベルに含まれる各画素に対して、エッジ抽出処理を行う。直線検出部４０は、最外ラベルに対応する画像データから、エッジ領域を黒画素として抽出する。また、直線検出部４０は、読取原稿の辺部分、即ち、非直線形状の破断部を除く紙片端の位置を認識すべく、抽出された各黒画素からなる画像データに対して、直線検出処理を施す。本実施例では、直線検出部４０は、例えばＨｏｕｇｈ変換等、公知の直線検出アルゴリズムを用いて、直線検出処理を行う。

点群データ抽出部４１は、読取原稿の破断部に対応する各画素の２次元座標値を、点群データとして抽出し、出力する。

点群データ記憶部４２は、ＲＡＭ２１を含んで構成され、点群データ抽出部４１から入力された点群データを記憶する。また、点群データ記憶部４２は、記憶している点群データの出力を行う。点群データ記憶部４２から出力された点群データは、位置合わせパラメータ算出部３４に入力される。

図５は、位置合わせパラメータ算出部の機能構成を示すブロック図である。
位置合わせパラメータ算出部３４は、図５に示されるように、注目点群抽出部４３、対応点探索部４４、推定値算出部４５、評価部４６及び位置合わせパラメータ記憶部４７を有する。

注目点群抽出部４３は、複数の点群データのうち、２つの点群データを一対として、該一対の点群データのそれぞれに対応する点群から、注目点を１点ずつ、ランダムに選択する。また、注目点群抽出部４３は、これらの点群から、選択された各注目点の近傍点を、それぞれ同一数ずつ抽出する。注目点群抽出部４３により抽出された注目点及び近傍点を、以下、注目点群と記す。即ち、注目点群抽出部４３は、一対の点群から、それぞれの注目点群を抽出する。

対応点探索部４４は、注目点群の対応づけを一対毎に行う。対応点探索部４４は、一対の注目点群のうち、何れかの注目点群を基準注目点群とし、他方の注目点群を対注目点群とする。そして、対応点探索部４４は、基準注目点群に含まれる各点を基準点として、これらの各基準点に対して、対注目点群に含まれる各点の何れかを対応点として設定すべく、対注目点群の探索を行う。対応点探索部４４は、対注目点群に含まれる各点のうち、基準点からの距離が最小となる点を、該基準点の対応点として設定する。

推定値算出部４５は、ＲＡＭ２１を含んで構成され、一対の注目点群に対して、位置合わせパラメータの推定値を算出して記憶する。推定値算出部４５は、対応点探索部４４による対応点の設定に基づいて、２次元の平行移動量及び回転移動量からなる推定値の算出を行う。本実施例では、推定値算出部４５は、繰り返し型アルゴリズムにより、推定値の算出を行う。

評価部４６は、推定値算出部４５から入力された推定値を、所定の評価式に基づき評価すべく、評価値の算出を行う。そして、評価部４６は、算出された評価値に基づいて、推定値の評価を行い、評価結果に基づいて、位置合わせパラメータ記憶部４７を更新する。

位置合わせパラメータ記憶部４７は、ＲＡＭ２１を含んで構成され、番号ｉ（ｉ＝１，２，・・・，Ｎ−１）に対応して、ｉ番目の位置合わせパラメータと、該位置合わせパラメータの評価値とを記憶する。ここで、Ｎは、後述する読取原稿数である。また、位置合わせパラメータ記憶部４７は、記憶している位置合わせパラメータを、画像データ合成部３５に入力する。

座標変換部４８は、推定値算出部４５から入力された位置合わせパラメータの推定値に基づいて、基準注目点群の座標変換を行い、基準注目点群を更新する。

図６は、画像データ合成部の機能構成を示すブロック図である。
画像データ合成部３５は、図６に示されるように、座標変換部４９、合成部５０、合成画像データ記憶部５１、サイズ取得部５２、補正部５３及び出力部５４を有する。

座標変換部４９は、位置合わせパラメータ算出部３４から入力された位置合わせパラメータに基づいて、合成画像データ記憶部５１から入力された合成画像データに対して、２次元座標変換を実施し、変換合成画像データを出力する。本実施例では、座標変換部４９は、補間処理を用いた公知の方法により、座標変換処理を行う。

合成部５０は、座標変換部４９から入力された変換合成画像データと、画像データ記憶部３２（図１）から入力された画像データとを合成して、合成画像データを生成し、合成画像データ記憶部５１を更新する。また、合成部５０は、サイズ取得部５２にサイズ取得指示を行う。

合成画像データ記憶部５１は、ＲＡＭ２１を含んで構成され、合成画像データを記憶する。また、合成画像データ記憶部５１は、記憶している合成画像データを、座標変換部４９やサイズ取得部５２、補正部５３に入力する。

サイズ取得部５２は、合成画像データに基づき合成画像サイズを取得する機能を有し、図６に示されるように、エッジ抽出部５５、２値化処理部５６、ラベリング処理部５７及び最外ラベル判定部５８を有する。これら各部５４〜５７は、特徴量抽出部３３（図４）が有するエッジ抽出部３６、２値化処理部３７、ラベリング処理部３８及び最外ラベル判定部３９と同様の機能を有する。

エッジ抽出部５５は、合成画像データに、８方向ラプラシアンを用いて、エッジ抽出処理を施し、エッジ抽出画像データを出力する。

２値化処理部５６は、エッジ抽出部５５から入力されたエッジ抽出画像データに対して、２値化処理を行って、白画素及び黒画素からなる２値画像データを出力する。２値化処理部５６は、読取原稿の紙片端のエッジが十分に残るべく設定された所定の閾値Ｔ１を用いて、２値画像データを取得する。

ラベリング処理部５７は、ＲＡＭ２１を含んで構成され、白画素及び黒画素からなる２値画像データの各黒画素に対して、ラベリング処理を行う。

最外ラベル判定部５８は、ラベリング処理部５７により付与されたラベル番号に基づき、同一のラベル番号が付与された各黒画素群の領域面積を算出して比較する。そして、領域面積が最大となる黒画素群を、該２値画像データにおける最外ラベルと判定し、最外ラベルの領域面積を、合成画像サイズとして出力する。

補正部５３は、サイズ取得部５２から入力された合成画像サイズと、操作パネル部１５（図３）により入力された出力画像サイズとに基づいて、合成画像データの補正を行う。補正部５３は、原稿の合成画像が出力画像の中央に位置するように、合成画像データの出力位置を補正する。

出力部５４は、補正部５３から入力された合成画像データの出力を行う。

次に、本実施例のスキャナ１０の動作について、図７に沿って、説明する。
図７は、本発明に係るスキャナの実施例１における読取合成動作を示すフローチャートである。

ここでは、原稿が破れて複数枚の原稿破片となっている場合に、スキャナ１０が各原稿破片の画像を読み取ってつなぎ合わせ、原稿の合成画像データを出力する読取合成処理について、説明を行う。

図８は、読取原稿の一例を示す図（その１）である。
原稿６０は、破れて３枚の原稿破片６０−１、６０−２、６０−３となっている。原稿破片６０−１は、破断部６０−１ａを有する。同様に、原稿破片６０−２は破断部６０−２ａを有し、原稿破片６０−３は破断部６０−３ａを有する。スキャナ１０は、これらの原稿破片６０−１、６０−２、６０−３に対して、読取合成処理を実行する。

読取合成処理の開始に先立ち、オペレータは、原稿破片６０−１、６０−２、６０−３の何れかを、読取原稿として、載置台１１上に載置する。各原稿破片６０−１、６０−２、６０−３は、前後の各原稿破片の破断部が互いにつながり合うような順で、画像を読み取られることが望ましい。本実施例では、オペレータが、原稿破片６０−１、原稿破片６０−２、原稿破片６０−３の順で、スキャナ１０への読取原稿の載置を行うものとするが、本発明はこれに限定されない。異なる順で載置を行っても良い。

スキャナ１０の表示パネル１８には、各処理をオペレータに選択させるための処理選択画面が表示される。オペレータは、読取合成処理を選択すべく、操作ボタン１６を操作する。また、オペレータは、操作ボタン１６を操作して、出力画像サイズの指定を行う。操作パネル部１５は、オペレータの操作に基づいて、読取合成指示及び出力画像サイズを入力する（ステップＳ１０１）。

その後、原稿破片６０−１を載置台１１上に載置させた状態で、オペレータは、開始ボタン１７を押下する。

スキャナ１０は、開始ボタン１７の押下を検知する（ステップＳ１０２）と、画像データ入力部３１が、１枚目の読取原稿である原稿破片６０−１の画像を読み取って、画像データを入力する（ステップＳ１０３）。画像データ入力部３１は、イメージセンサ１４を走査して、載置台１１上に載置された原稿破片６０−１の画像を読み取って、画像データを入力する。

画像データ記憶部３２は、入力された画像データを、ＲＡＭ２１に記憶する（ステップＳ１０４）。

続いて、表示パネル１８が、読取原稿の読み取りを続行するか否かをオペレータに選択させるべく、続行選択画面を表示する。オペレータは、載置台カバー１２を開けて、載置台１１上から原稿破片６０−１を取り除いた後、次の原稿破片６０−２を載置して、載置台カバー１２を閉じ、読取続行を選択すべく、操作ボタン１６を操作する。操作パネル部１５は、オペレータの操作に基づき、読取続行指示を入力する（ステップＳ１０５）。

読取続行指示が入力されると、画像データ入力部３１は、２枚目の読取原稿である原稿破片６０−２の画像を読み取って、画像データを入力する（ステップＳ１０３）。そして、画像データ記憶部３２が、入力された画像データを記憶する（ステップＳ１０４）。

続いて、載置台１１上に原稿破片６０−３が載置され、操作パネル部１５が読取続行指示を入力する（ステップＳ１０５）と、画像データ入力部３１が、３枚目の読取原稿である原稿破片６０−３の画像を読み取って、画像データを入力し（ステップＳ１０３）、画像データ記憶部３２が、該画像データを記憶する（ステップＳ１０４）。

そして、表示パネル１８に表示された続行選択画面において、読取終了が選択され、読取終了指示が入力される（ステップＳ１０５）と、画像データ記憶部３２は、記憶した画像データの数を示す読取原稿数Ｎを記憶する（ステップＳ１０６）。ここでは、画像データ記憶部３２は、読取原稿数として、Ｎ＝３を記憶する。

次に、特徴量抽出部３３が、画像データ記憶部３２に記憶されている各画像データから、特徴量である点群データを抽出する（ステップＳ１０７）。特徴量抽出部３３は、各画像データから点群データを抽出し、位置合わせパラメータ算出部３４に入力する。特徴量抽出部３３による特徴量抽出処理の詳細については、図９で説明する。

続いて、位置合わせパラメータ算出部３４が、特徴量抽出部３３から入力された点群データに基づいて、位置合わせパラメータを算出する（ステップＳ１０８）。位置合わせパラメータ算出部３４は、算出した位置合わせパラメータを画像データ合成部３５に入力する。位置合わせパラメータ算出部３４による位置合わせパラメータ算出処理の詳細については、図１４で説明する。

その後、画像データ合成部３５が、位置合わせパラメータ算出部３４から入力された位置合わせパラメータに基づいて、画像データ記憶部３２に記憶されている各画像データを合成して、合成画像データを生成する（ステップＳ１０９）。画像データ合成部３５による画像合成処理の詳細については、図１８で説明する。

そして、画像データ合成部３５は、生成した合成画像データを出力する（ステップＳ１１０）。即ち、出力部５４（図６）が、Ｉ／Ｆ部２５により、合成画像データを出力する。これにより、スキャナ１０における読取合成処理が終了する。

上記のように、各原稿破片６０−１、６０−２、６０−３の画像が順に読み取られ、それぞれの画像データが入力された後、これらが合成されて出力される。

次に、図７のステップＳ１０７における特徴量抽出処理の詳細について、図９に沿って説明する。
図９は、本発明に係るスキャナの特徴量抽出動作を示すフローチャートである。

特徴量抽出部３３は、図示せぬカウンタを初期化して、現在処理中の画像データの画像番号を示すカウンタ値ｉを、ｉ＝１とする（ステップＳ２０１）。

次に、エッジ抽出部３６が、画像データ記憶部３２から、画像番号ｉ、即ちｉ番目の画像データを取得し、該画像データからエッジを抽出するエッジ抽出処理を行う（ステップＳ２０２）。本実施例のエッジ抽出部３６は、８方向ラプラシアンを用いて、エッジ抽出処理を行う。以下に、エッジ抽出処理について説明する。

画像データ入力部３１により入力され、画像データ記憶部３２に記憶されている画像データを構成する各画素を、２次元座標（ｘ，ｙ）で表す。ここで、ｘはイメージセンサ１４の主走査方向座標であり、ｙは副走査方向座標である。また、ｉ番目の画像データに含まれる各画素（ｘ，ｙ）の輝度値を、Ｖ_ｉ（ｘ，ｙ）と記し、輝度値Ｖ_ｉ（ｘ，ｙ）の最大輝度値をＶ_ｍａｘと表す。例えば、１画素あたりのビット数が８である場合、最大輝度値はＶ_ｍａｘ＝２５５である。

エッジ抽出部３６は、ｉ番目の画像データに、８方向ラプラシアンによりエッジ抽出処理を施し、エッジ抽出画像データを取得する。このとき、エッジ抽出後の画像データ、即ちエッジ抽出画像データに含まれる各画素（ｘ，ｙ）の輝度値Ｅ_ｉ（ｘ，ｙ）は、（式１）で表される。

エッジ抽出部３６は、取得したエッジ抽出画像データを、２値化処理部３７に入力する（ステップＳ２０２）。

続いて、２値化処理部３７が、入力されたエッジ抽出画像データに２値化処理を行う（ステップＳ２０３）。２値化処理部３７は、所定の閾値Ｔ１及びＴ２をそれぞれ用いて、画像番号ｉに対応するエッジ抽出画像データの各輝度値Ｅ_ｉ（ｘ，ｙ）に２値化処理を行い、（式２）及び（式３）で示されるように、２種類の２値画像データＢＩＮ１_ｉ（ｘ，ｙ）及びＢＩＮ２_ｉ（ｘ，ｙ）を取得する。

以下、閾値Ｔ１を用いて２値化された２値画像データＢＩＮ１_ｉ（ｘ，ｙ）を、２値画像データＢＩＮ１_ｉと記し、閾値Ｔ２を用いて２値化された２値画像データＢＩＮ２_ｉ（ｘ，ｙ）を、２値画像データＢＩＮ２_ｉと記すこととする。ただし、Ｔ１＞Ｔ２である。２値化処理部３７は、２値画像データＢＩＮ１_ｉをラベリング処理部３８に入力し、２値画像データＢＩＮ２_ｉを直線検出部４０に入力する（ステップＳ２０３）。

次に、ラベリング処理部３８が、入力された２値画像データＢＩＮ１_ｉに対して、ラベリング処理を行う（ステップＳ２０４）。ラベリング処理部３８は、２値画像データＢＩＮ１_ｉに含まれる各画素について、ＢＩＮ１_ｉ（ｘ，ｙ）＝１となる画素（ｘ，ｙ）を黒画素、ＢＩＮ１_ｉ（ｘ，ｙ）＝０となる画素（ｘ，ｙ）を白画素として扱い、隣接する黒画素を連結して、同一のラベル番号を付与するラベリング処理を実行する。以下に、ラベリング処理の詳細について、図１０及び図１１を用いて説明する。

図１０は、本発明に係るスキャナのラベリング動作を示すフローチャートであり、図１１は、ラベリング処理を説明する図である。

図１１（ａ）、図１１（ｂ）及び図１１（ｃ）には、一例として、５画素×５画素の２５画素からなる２値画像データが、拡大されて示されている。破線で区切られた各矩形はそれぞれ１画素に相当し、塗り潰しの無い画素は白画素を、塗り潰しの有る画素は黒画素を、それぞれ意味している。また、図１１（ａ）、図１１（ｂ）及び図１１（ｃ）において、右方向がｘ方向に対応し、下方向がｙ方向に対応している。

ここでは、図１１に例示される２値画像データをＢＩＮ１_ｉとし、この２値画像データＢＩＮ１_ｉに対するラベリング処理について、図１０に沿って説明する。

ラベリング処理部３８は、２値化処理部３７から２値画像データＢＩＮ１_ｉが入力されると、該２値画像データＢＩＮ１_ｉの各黒画素に対しラベル番号を付与するために、まず、ＲＡＭ２１に、フラグ格納部、ラベル番号格納部及び探索候補スタックを作成する（ステップＳ３０１）。

ＲＡＭ２１に作成されるフラグ格納部は、２値画像データＢＩＮ１_ｉに含まれる各画素に対応する探索状態フラグが格納される部分である。ここで、探索状態フラグとは、対応する画素が探索済であるか否かを示す情報である。初期状態として、フラグ格納部には、未探索を示す探索状態フラグが、全画素に対応して格納される。

ラベル番号格納部は、ラベル番号と、該ラベル番号が付与された黒画素を特定するための情報とを、対応して格納する部分である。本実施例では、ラベル番号格納部は、黒画素を特定するための情報として、該黒画素の２次元座標（ｘ，ｙ）をラベル番号格納部に格納する。

探索候補スタックは、探索すべき画素を探索候補画素として、該探索候補画素を特定するための情報が順に格納される部分である。本実施例では、探索候補スタックには、探索候補画素の２次元座標（ｘ，ｙ）が格納される。なお、スタックへの情報の格納を「プッシュ」と呼び、スタックからの情報の取り出しを「ポップ」と記す。探索候補スタックは、探索候補画素をプッシュされた順にポップする機能を有する。

フラグ格納部、ラベル番号格納部及び探索候補スタックの作成（ステップＳ３０１）後、ラベリング処理部３８は、２値画像データＢＩＮ１_ｉの走査を開始する。ラベリング処理部３８は、フラグ格納部の探索状態フラグを参照して、未探索の画素を中央画素として、３画素×３画素の探索ウインドウを設定する（ステップＳ３０２）。ラベリング処理部３８は、図１１（ａ）に示されるように、２値画像データＢＩＮ１_ｉに、中央画素６１ａを含む探索ウインドウ６１−１を設定する。

次に、ラベリング処理部３８は、設定した探索ウインドウの中央画素が黒画素であるか否かを判定する（ステップＳ３０３）。中央画素が黒画素ではない場合（ステップＳ３０３）、ラベリング処理部３８は、フラグ格納部を更新して、該中央画素に対応する探索状態フラグを探索済に書き換えた後、次の探索ウインドウの設定を行う（ステップＳ３０２）。

図１１（ａ）に示される２値画像データＢＩＮ１_ｉでは、探索ウインドウ６１−１の中央画素６１ａは黒画素である。このとき、ラベリング処理部３８は、付与済のラベル番号に重複しないラベル番号、例えばｊを、該中央画素６１ａに付与する（ステップＳ３０４）。そして、ラベリング処理部３８は、ラベリング画素の２次元座標を、付与されたラベル番号ｊに対応させて、ラベル番号格納部に格納する。

次に、ラベリング処理部３８は、探索ウインドウ６１−１において、中央画素６１ａの上下左右斜めの８方向に位置する各隣接画素について、フラグ格納部の探索状態フラグを参照する。そして、ラベリング処理部３８は、未探索の各隣接画素を探索し、黒画素であるか否かの判定を行う（ステップＳ３０５）。何れかの隣接画素が黒画素である場合（ステップＳ３０５）、ラベリング処理部３８は、該黒画素に中央画素６１ａと同一のラベル番号ｊを付与すると共に、探索候補画素として、探索候補スタックにプッシュする（ステップＳ３０６）。また、ラベリング処理部３８は、フラグ格納部を更新し、各隣接画素の探索状態フラグを、探索済に書き換える。

例えば、図１１（ａ）に示される探索ウインドウ６１−１において、ラベリング処理部３８は、中央画素６１ａの各隣接画素のうち、２つの隣接画素が黒画素であると判定すると（ステップＳ３０５）、これらの隣接画素を探索候補画素として、中央画素と同一のラベル番号を各探索候補画素に付与する（ステップＳ３０６）。即ち、探索候補画素６１ｂ及び６１ｃ（図１１（ａ））に、中央画素６１ａと同一のラベル番号ｊが付与される。また、ラベリング処理部３８は、各探索候補画素６１ｂ及び６１ｃの２次元座標を、付与したラベル番号ｊに対応して、ラベル番号格納部に格納する（ステップＳ３０６）。更に、ラベリング処理部３８は、探索候補画素６１ｂ及び６１ｃの２次元座標を、探索候補スタックに格納する（ステップＳ３０６）。

次に、ラベリング処理部３８は、探索候補スタックにおける探索候補画素の有無を判断する（ステップＳ３０７）。探索候補画素が有る場合、ラベリング処理部３８は、探索候補スタックから探索候補画素のひとつをポップする（ステップＳ３０８）。例えば、ラベリング処理部３８は、探索候補画素６１ｂを、探索候補スタックからポップする。

続いて、ラベリング処理部３８は、ポップされた探索候補画素６１ｂを中央画素として、探索ウインドウを再設定する（ステップＳ３０９）。図１１（ｂ）に示されるように、探索候補画素６１ｂを中央画素とする探索ウインドウ６１−２が、２値画像データＢＩＮ１_ｉに設定される。

そして、ラベリング処理部３８は、設定された探索ウインドウ６１−２において、未探索の隣接画素を探索し、黒画素であるか否かの判定を行う（ステップＳ３０５）。図１１（ｂ）に示される探索ウインドウ６１−２において、各隣接画素には、未探索の黒画素は無い。ラベリング処理部３８は、フラグ格納部を更新し、各隣接画素の探索状態フラグを、探索済に書き換える。

続いて、ラベリング処理部３８は、探索候補スタックにおける探索候補画素の有無を判断する（ステップＳ３０７）。探索候補スタックには、探索候補画素６１ｃがスタックされているので、ラベリング処理部３８は、この探索候補画素６１ｃを探索候補スタックからポップする（ステップＳ３０８）。

そして、ラベリング処理部３８は、ポップされた探索候補画素６１ｃを中央画素として、探索ウインドウを再設定する（ステップＳ３０９）。図１１（ｃ）に示されるように、探索候補画素６１ｃを中央画素とする探索ウインドウ６１−３が、２値画像データＢＩＮ１_ｉに設定される。

次に、ラベリング処理部３８は、設定された探索ウインドウ６１−３において、未探索の隣接画素を探索し、黒画素であるか否かの判定を行う（ステップＳ３０５）。図１１（ｃ）に示される探索ウインドウ６１−３には、２つの未探索黒画素が有り、ラベリング処理部３８は、これらの隣接画素を探索候補画素として、中央画素である探索候補画素６１ｃと同一のラベル番号ｊを付与し、探索候補スタックにプッシュする（ステップＳ３０６）。

このように、ラベリング処理部３８は、探索候補スタックから探索候補画素を順にポップし（ステップＳ３０８）、該探索候補画素を中央画素として探索ウインドウを設定した（ステップＳ３０９）後、該探索ウインドウから、中央画素に隣接する黒画素を検出して（ステップＳ３０５）、中央画素と同一のラベル番号ｊを付与し、探索候補スタックにプッシュする（ステップＳ３０６）という再帰的処理を、探索候補スタックが空になるまで繰り返す。

探索候補スタックが空になる（ステップＳ３０７）と、ラベリング処理部３８は、フラグ格納部を参照して、未探索画素を探索する（ステップＳ３１０）。そして、未探索画素を中央画素として、探索ウインドウを設定し（ステップＳ３０２）、次のラベル番号、例えばラベル番号ｊ＋１の付与を開始する。未探索画素が無い場合（ステップＳ３１０）、ラベリング処理部３８は、ラベリング処理を終了する。

上記のように、８方向に連結される各黒画素からなる黒画素群に、同一のラベル番号が付与される。

図９に戻って、２値画像データＢＩＮ１_ｉに対するラベリング処理が実行され、全黒画素にラベル番号が付与される（ステップＳ２０４）と、最外ラベル判定部３９が、各黒画素群のラベルサイズを算出する（ステップＳ２０５）。

最外ラベル判定部３９は、ラベル番号格納部に、同一のラベル番号ｊに対応して格納されている各２次元座標（ｘ_ｊ，ｙ_ｊ）を参照し、ｘ座標ｘ_ｊ及びｙ座標ｙ_ｊのそれぞれについて、最大値及び最小値の差分値を算出する。そして、最外ラベル判定部３９は、これらの差分値の積を、ラベルサイズとして算出する。例えば、ラベル番号ｊに対応するｘ座標の最大値及び最小値が、それぞれｘ_ｊｍａｘ及びｘ_ｊｍｉｎであり、ｙ座標の最大値及び最小値が、それぞれｙ_ｊｍａｘ及びｙ_ｊｍｉｎである場合、最外ラベル判定部３９は、ラベル番号ｊに対応するラベルサイズｓ_ｊを、（式４）に基づき算出する（ステップＳ２０５）。

続いて、最外ラベル判定部３９は、各ラベル番号ｊに対応して算出されたラベルサイズｓ_ｊを、それぞれ比較する（ステップＳ２０６）。そして、ラベルサイズｓ_ｊが最大となる黒画素群を、２値画像データＢＩＮ１_ｉの最外ラベルと判定する（ステップＳ２０６）。最外ラベル判定部３９は、判定結果を直線検出部４０に出力する。

次に、直線検出部４０が、２値化処理部３７から入力された２値画像データＢＩＮ２_ｉに基づき、最外ラベルに対して、２値画像データＢＩＮ１_ｉ及び２値画像データＢＩＮ２_ｉのＡＮＤ演算を行う。直線検出部４０は、最外ラベルに含まれる各画素のうち、２値画像データＢＩＮ１_ｉ及び２値画像データＢＩＮ２_ｉの何れにおいても黒画素となる画素を、黒画素として抽出する（ステップＳ２０７）。直線検出部４０は、この抽出処理により、最外ラベルから、原稿破片の紙片端に特徴的なエッジを、黒画素群として抽出する。

続いて、直線検出部４０は、抽出された黒画素群に対して、直線検出処理を行う（ステップＳ２０８）。直線検出部４０は、例えばＨｏｕｇｈ変換を施して、最外ラベルのエッジから、直線を検出する。

そして、点群データ抽出部４１が、最外ラベルのエッジとして抽出された黒画素群からから、直線検出部４０により検出された直線を構成する各黒画素を削除する。点群データ抽出部４１は、削除後に残った各黒画素の２次元座標を、点群データとして抽出する（ステップＳ２０９）。抽出された点群データは、点群データ記憶部４２に入力されて、カウンタ値ｉと共に記憶される（ステップＳ２０９）。

図１２は、点群データの抽出例を示す図（その１）である。
図１２に示される点群６２−１は、原稿破片６０−１（図８）に対応する画像データに、ステップＳ２０２〜ステップＳ２０９の各処理を施して得られた画像例である。原稿破片６０−１の中央部の描画図形は情報として欠落し、紙片端の画像のうち、非直線形状を有する破断部６０−１ａの画像のみが抽出されている。

特徴量抽出部３３は、画像番号ｉ＝１に対応する原稿破片６０−１の画像データから、紙片端のエッジを抽出した後、直線部分、即ち紙片端の辺部分を削除して、図１２に示されるように、非直線形状の破断部６０−１ａに対応する点群６２−１のみを取得し、この点群６２−１の２次元座標（ｘ，ｙ）を、点群データとして抽出する。なお、点群に含まれる各画素を、以降、点と記すこととする。

次に、特徴量抽出部３３は、カウンタ値ｉと、画像データ記憶部３２に記憶されている読取原稿数Ｎとを比較する（ステップＳ２１０）。カウンタ値ｉが読取原稿数Ｎ未満である場合（ステップＳ２１０）、特徴量抽出部３３は、カウンタ値ｉに１を加算する（ステップＳ２１１）。

そして、特徴量抽出部３３は、更新されたカウンタ値ｉに対応する画像データを、画像データ記憶部３２から取得して、該画像データに対して、ステップＳ２０２〜ステップＳ２０９の処理を実施する。

図１３は、点群データの抽出例を示す図（その２）である。
図１３に示される点群６２−２は、画像番号ｉ＝２に対応する原稿破片６０−２（図８）の画像データに、ステップＳ２０２〜ステップＳ２０９の各処理を施して得られた画像例であり、破断部６０−２ａに対応する点群６２−２の画像である。

ステップＳ２１０において、カウンタ値ｉが読取原稿数Ｎと等しい場合、特徴量抽出部３３は、特徴量抽出処理を終了する。

上記のように、各原稿破片の画像データから、破断部の形状を示す特徴量として、点群データが抽出される。

次に、図７のステップＳ１０８における位置合わせパラメータ算出処理の詳細について、図１４に沿って説明する。
図１４は、本発明に係るスキャナの位置合わせパラメータ算出動作を示すフローチャートである。

位置合わせパラメータ算出部３４は、図示せぬカウンタを初期化して、現在処理中の画像番号を示すカウンタ値ｉを、ｉ＝１とする（ステップＳ４０１）。

次に、位置合わせパラメータ算出部３４は、特徴量抽出部３３の点群データ記憶部４２から、ｉ番目の点群データと、ｉ＋１番目の点群データとを、それぞれ取得する（ステップＳ４０２）。

そして、位置合わせパラメータ算出部３４は、取得した２つの点群データを１対として、ｉ番目の点群データに対応する点群を、ｉ＋１番目の点群データに対応する点群に合わせ込むような位置合わせパラメータの算出処理、即ちパラメータ算出処理を実施する（ステップＳ４０３）。

各点群の位置合わせは、２次元剛体の座標変換である平行移動及び回転移動で表現される。ここで、ｉ番目の点群をＦ、ｉ＋１番目の点群をＧとし、点群Ｆを点群Ｇに合わせ込んで位置合わせしたときの位置合わせ後の点群Ｆを点群Ｆ´とすると、該点群Ｆ´に対応する点群データは、（式５）で表現される。ただし、点群Ｆのｊ番目の点に対応する２次元座標を（Ｆｘ_ｊ，Ｆｙ_ｊ）とし、位置合わせ後の該点の２次元座標を（Ｆ´ｘ_ｊ，Ｆ´ｙ_ｊ）と表すこととする。

（式５）において、パラメータθ_ｉは、点群Ｆを点群Ｆ´に移動させる場合の回転移動角度であり、回転移動量に相当する。また、パラメータｔｘ_ｉはｘ方向の平行移動量であり、パラメータｔｙ_ｉはｙ方向の平行移動量である。

位置合わせパラメータ算出部３４は、これら３つのパラメータθ_ｉ、ｔｘ_ｉ及びｔｙ_ｉを、ｉ番目の位置合わせパラメータとして算出する（ステップＳ４０３）。位置合わせパラメータ算出部３４は、点群Ｆ´と点群Ｇとの距離が最も近くなるような位置合わせパラメータを算出する。このパラメータ算出処理の詳細については、図１５で説明する。

ｉ番目の位置合わせパラメータが算出されると、位置合わせパラメータ算出部３４は、カウンタ値ｉと、画像データ記憶部３２に記憶されている読取原稿数Ｎから１を減じた数値Ｎ−１とを比較する（ステップＳ４０４）。カウンタ値ｉがＮ−１未満である場合（ステップＳ４０４）、位置合わせパラメータ算出部３４は、カウンタ値ｉに１を加算する（ステップＳ４０５）。

そして、位置合わせパラメータ算出部３４は、更新されたカウンタ値ｉに基づき、ｉ番目及びｉ＋１番目の点群データを取得して（ステップＳ４０２）、パラメータ算出処理を実施し（ステップＳ４０３）、ｉ番目の位置合わせパラメータを算出する。

ステップＳ４０４において、カウンタ値ｉが数値Ｎ−１と等しい場合、位置合わせパラメータ算出部３４は、位置合わせパラメータ算出処理を終了する。

上記のように、Ｎ個の点群データを２つずつ１対として、Ｎ−１組の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）（ｉ＝１，２，・・・，Ｎ−１）が算出される。

次に、図１４のステップＳ４０３におけるパラメータ算出処理の詳細について、図１５に沿って説明する。
図１５は、本発明に係るスキャナのパラメータ算出動作を示すフローチャートである。

位置合わせパラメータ算出部３４は、上述したように、ｉ番目の点群Ｆをｉ＋１番目の点群Ｇに合わせ込むべく、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）を算出する。本実施例では、位置合わせパラメータ算出部３４は、繰り返し型アルゴリズムにより、位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の算出を行う。

位置合わせパラメータ算出部３４は、まず、繰り返し回数をカウントするための図示せぬカウンタを初期化して、カウンタ値ｋを、ｋ＝１とする（ステップＳ５０１）。

続いて、注目点群抽出部４３が、点群Ｆから注目点をランダムに１点選ぶ（ステップＳ５０２）。ここでは、点群Ｆから選ばれた注目点を、ｏ_Ｆと表す。また、注目点群抽出部４３は、点群Ｇからも同様に、注目点をランダムに１点選ぶ（ステップＳ５０２）。点群Ｇから選ばれた注目点を、ｏ_Ｇと表す。

次に、注目点群抽出部４３は、点群Ｆから、注目点ｏ_Ｆからの距離が小さい近傍点を抽出する（ステップＳ５０３）。ここで、２次元座標（ｘ１，ｙ１）を有する点１と、（ｘ２，ｙ２）を有する点２との距離ｄは、（式６）に基づき計算される。

注目点群抽出部４３は、（式６）に基づいて、点群Ｆからの近傍点の抽出を行う。注目点群抽出部４３により抽出される近傍点の点数は、Ｍ_Ｎｅａｒ−１点である。ここで、Ｍ_Ｎｅａｒは、点群Ｆに含まれる点数Ｍ_Ｆと、点群Ｇに含まれる点数Ｍ_Ｇとの何れよりも小さい整数の中から、ランダムに決定される。注目点群抽出部４３により抽出されたＭ_Ｎｅａｒ−１点の近傍点は、抽出済の注目点ｏ_Ｆと共に、新たな点群ｆを構成する。この点群ｆを、点群Ｆの注目点群と記す。注目点群ｆに含まれる点数は、Ｍ_Ｎｅａｒである。

同様に、注目点群抽出部４３は、（式６）に基づいて、点群Ｇから、注目点ｏ_Ｇからの距離が小さい近傍点を、Ｍ_Ｎｅａｒ−１点抽出する（ステップＳ５０３）。抽出されたＭ_Ｎｅａｒ−１点の近傍点と、抽出済の注目点ｏ_Ｇとは、新たな点群ｇを構成する。この点群ｇを、点群Ｇの注目点群ｇと記す。注目点群ｇに含まれる点数は、Ｍ_Ｎｅａｒである。

そして、位置合わせパラメータ算出部３４は、抽出された注目点群ｆ及び注目点群ｇについて、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）を算出するために、まず、該位置パラメータの推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を算出する推定値算出処理を実施する（ステップＳ５０４）。算出された推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）は、評価部４６に入力される。この推定値算出処理の詳細については、図１６で説明する。

ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）が入力されると、評価部４６は、該推定値を評価すべく、まず、所定の評価式に基づき現在評価値を算出する評価値算出処理を実施する（ステップＳ５０５）。評価部４６は、点群Ｆ及び点群Ｇを用いて、推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）に対する現在評価値Ｊ_ｉｋを算出する。この評価値算出処理の詳細については、図１７で説明する。

続いて、評価部４６は、位置合わせパラメータ記憶部４７に記憶されているｉ番目の評価値Ｊ_ｉを取得し、この評価値Ｊ_ｉと、ステップＳ５０５で算出された現在評価値Ｊ_ｉｋとを比較する（ステップＳ５０６）。ここで、位置合わせパラメータ記憶部４７に記憶されている評価値Ｊ_ｉは、評価部４６により（ｋ−１）回算出された現在評価値のうち、最も良いと評価された評価値である。

評価部４６は、現在評価値Ｊ_ｉｋが評価値Ｊ_ｉ未満である場合（ステップＳ５０６）、推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）に対して算出された現在評価値Ｊ_ｉｋが、記憶されている評価値Ｊ_ｉよりも良い、即ちｉ番目の位置合わせパラメータの推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）が良いと判断する。そして、評価部４６は、位置合わせパラメータ記憶部４７を、（式７）に基づき更新する（ステップＳ５０７）。

評価部４６は、推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）をｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）として、位置合わせパラメータ記憶部４７に入力して記憶させる（ステップＳ５０７）。また、評価部４６は、評価値Ｊ_ｉを現在評価値Ｊ_ｉｋに更新する（ステップＳ５０７）。

なお、ステップＳ５０６において、カウンタ値ｋ＝１の場合、位置合わせパラメータ記憶部４７には位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）及び評価値Ｊ_ｉが記憶されていない。このとき、評価部４６は、（式７）に基づき位置合わせパラメータ記憶部４７を更新する。即ち、評価部４６は、推定値（θ_ｉ１，ｔｘ_ｉ１，ｔｙ_ｉ１）をｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）とすると共に、現在評価値Ｊ_ｉｋを評価値Ｊ_ｉとして、位置合わせパラメータ記憶部４７に入力して記憶させる(ステップＳ５０７)。

次に、位置合わせパラメータ算出部３４は、カウンタ値ｋと、予め定められた繰り返し回数の最大値ＭＡＸ_ｋとを比較する（ステップＳ５０８）。カウンタ値ｋが最大値ＭＡＸ_ｋ未満である場合（ステップＳ５０８）、位置合わせパラメータ算出部３４は、カウンタ値ｋに１を加算する（ステップＳ５０９）。

そして、位置合わせパラメータ算出部３４は、ステップＳ５０２〜ステップＳ５０７の処理を繰り返す。

カウンタ値ｋが最大値ＭＡＸ_ｋと等しい場合、位置合わせパラメータ算出部３４は、パラメータ算出処理を終了する。

上記のように、繰り返し型アルゴリズムにより、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値が、予め定められたＭＡＸ_ｋ回繰り返して算出され、これらの推定値のうち、最も良いと評価された推定値が、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）として、位置合わせパラメータ記憶部４７に記憶される。

次に、図１５のステップＳ５０４における推定値算出処理の詳細について、図１６に沿って説明する。
図１６は、本発明に係るスキャナの推定値算出動作を示すフローチャートである。

位置合わせパラメータ算出部３４は、繰り返し型アルゴリズムにより、ｉ番目の点群Ｆから抽出された注目点群ｆと、ｉ＋１番目の点群Ｇから抽出された注目点群ｇとについて、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を算出する。

位置合わせパラメータ算出部３４において、対応点探索部４４は、まず、繰り返し回数をカウントするための図示せぬカウンタを初期化して、カウンタ値ｊを、ｊ＝１とする（ステップＳ６０１）。

対応点探索部４４は、ｉ番目の注目点群ｆを基準注目点群とし、ｉ＋１番目の注目点群ｇを基準注目点群ｆに対する対注目点群として、基準注目点群ｆ及び対注目点群ｇの対応づけを行う（ステップＳ６０２）。対応づけは、基準注目点群ｆに含まれる各点、即ち各基準点について行われ、対応点探索部４４は、それぞれの基準点について、対注目点群ｇに含まれる全ての点から、最も距離が小さい点を対応点として選択する。対注目点群ｇについては、重複して対応づけられることを許すこととする。なお、対応点探索部４４は、（式６）に基づいて、２点間の距離の算出を行い、対応点を選択する。

次に、推定値算出部４５が、基準注目点群ｆ及び対注目点群ｇの位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を算出すべく、ｊ番目の推定値

を、以下のように算出する（ステップＳ６０３）。

ｊ番目の推定値を位置合わせパラメータとして、基準注目点群ｆに含まれるｍ番目の基準点（ｆｘ_ｍ，ｆｙ_ｍ）を座標変換して得られる点は、対注目点群ｇのｍ番目の対応点（ｇｘ_ｍ，ｇｙ_ｍ）の推定値であり、（式８）で表される。ただし、ｍ＝１，２，・・・，Ｍ_Ｎｅａｒである。

この推定値が対注目点群ｇのｍ番目の対応点（ｇｘ_ｍ，ｇｙ_ｍ）に一致すると仮定した場合、（式８）は（式９）に書き下すことができる。

更に、行列ｂ，Ａ及びｘを導入して、（式９）を（式１０）で表すこととする。

このとき、行列ｘは、（式１１）に基づき導出できる。ただし、（式１１）において、Ｔは行列の転置を表し、（）^−１は逆行列を表す。

次に、（式１２）を満たすように、行列ｘを（式１３）によりスケーリングし、更新する。

推定値算出部４５は、このスケーリング後の行列ｘを、推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）のｊ番目の推定値として算出する（ステップＳ６０３）。ただし、回転移動角度θ_ｉｋの推定値は、（式１４）に基づき計算される。

推定値算出部４５は、算出されたｊ番目の推定値を記憶する(ステップＳ６０４)。

次に、座標変換部４８が、ｊ番目の推定値を位置合わせパラメータとして、基準注目点群ｆの座標変換を行う(ステップＳ６０５)。座標変換部４８は、基準注目点群ｆのｍ番目の基準点（ｆｘ_ｍ，ｆｙ_ｍ）を、（式１５）に基づき座標変換し、点（ｆ´ｘ_ｍ，ｆ´ｙ_ｍ）を得る。ただし、ｍ＝１，２，・・・，Ｍ_Ｎｅａｒである。

そして、座標変換部４８は、（式１６）で示されるように、基準注目点群ｆを、座標変換後の基準注目点群ｆ´に更新する(ステップＳ６０５)。

次に、対応点探索部４４は、カウンタ値ｊと、予め定められた繰り返し回数の最大値ＭＡＸ_ｊとを比較する（ステップＳ６０６）。カウンタ値ｊが最大値ＭＡＸ_ｊ未満である場合（ステップＳ６０６）、対応点探索部４４は、カウンタ値ｊに１を加算する（ステップＳ６０７）。

そして、対応点探索部４４及び推定値算出部４５は、更新された基準注目点群ｆと、対注目点群ｇとに対して、ステップＳ６０２〜ステップＳ６０５の処理を繰り返す。

カウンタ値ｊが最大値ＭＡＸ_ｊと等しい場合、推定値算出部４５が、ｊ＝１〜ＭＡＸ_ｊ番目の各推定値を連結して、ｉ番目の位置合わせパラメータの推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を算出する（ステップＳ６０８）。推定値算出部４５による推定値の連結は、以下の手順で行われる。

推定値算出部４５は、ｊ番目の推定値とｊ＋１番目の推定値とを連結して、連結後の推定値

を算出する。ここで、ｊ番目の推定値及びｊ＋１番目の推定値の連結は、（式１７）に基づき実行される。

推定値算出部４５は、ｊ＝１から、ｊを１ずつカウントアップして、ｊ＝ＭＡＸ_ｊ−１まで、推定値を順次連結し、最終的に得られた推定値

を、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）として取得する。ただし、推定値算出部４５は、カウントアップ前に、ｊ＋１番目の推定値を（式１８）に基づき更新することとする。

推定値算出部４５は、取得された推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を出力する。これにより、推定値算出処理は終了する。

上記のように、繰り返し型アルゴリズムにより、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値が、予め定められたＭＡＸ_ｊ回繰り返して算出され、これらを連結して、推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）が取得される。

次に、図１５のステップＳ５０５における評価値算出処理の詳細について、図１７に沿って説明する。
図１７は、本発明に係るスキャナの評価値算出動作を示すフローチャートである。

評価部４６は、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を評価するために、ｉ番目の点群Ｆ及びｉ＋１番目の点群Ｇを用いて、現在評価値Ｊ_ｉｋを算出する。ここで、点群Ｆは、画像番号ｉの読取原稿の破断部に対応する点群であり、点群Ｇは、画像番号ｉ＋１の読取原稿の破断部に対応する点群である。

まず、評価部４６は、推定値算出部４５から入力された推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を位置合わせパラメータとして、点群Ｆを点群Ｆ´に座標変換する（ステップＳ７０１）。点群Ｆのｍ番目の点に対応する２次元座標を（Ｆｘ_ｍ，Ｆｙ_ｍ）とし、座標変換後の点に対応する２次元座標を（Ｆ´ｘ_ｍ，Ｆ´ｙ_ｍ）とすると、点群Ｆのｍ番目の点は、（式１９）に基づき座標変換される。ただし、ｍ＝１，２，・・・，Ｍ_Ｆである。

次に、評価部４６は、点群Ｆ´及び点群Ｇについての対応づけを行う（ステップＳ７０２）。対応づけは、点群Ｆ´の全ての点について行われ、評価部４６は、点群Ｆ´の各点について、点群Ｇに含まれる全ての点から、最も距離が小さい点を対応点として選択する。点群Ｇについては、重複して対応づけられることを許すこととする。

また、評価部４６は、対応点間の距離を算出する（ステップＳ７０２）。評価部４６は、点群Ｆ´のｍ番目の点（Ｆ´ｘ_ｍ，Ｆ´ｙ_ｍ）と、点群Ｇの対応点（Ｇｘ_ｍ，Ｇｙ_ｍ）との間の距離ｄ_ｍを、（式２０）に基づき算出する。ただし、ｍ＝１，２，・・・，Ｍ_Ｆである。

次に、評価部４６は、ｍ＝１，２，・・・，Ｍ_Ｆに対応して算出された各距離ｄ_ｍと、予め定められた閾値εとをそれぞれ比較し、条件式ｄ_ｍ＜εを満たす対応点の組を求め、組数Ｍ_εを取得する（ステップＳ７０３）。また、評価部４６は、条件式ｄ_ｍ＜εを満たす対応点の組について、距離ｄ_ｍの総和Ｅ_εを算出する（ステップＳ７０３）。

そして、評価部４６は、組数Ｍ_ε及び距離ｄ_ｍを、（式２１）の評価式に代入して、現在評価値Ｊ_ｉｋを算出する（ステップＳ７０４）。これにより、評価値算出処理は終了する。

ここで、パラメータｗ_Ｍ及びｗ_Ｅは、それぞれ、対応点の組数Ｍ_εと、対応点間の距離ｄ_ｍとの何れを重視して、推定値の評価を行うかを制御するための重みパラメータであり、予め所定値が設定される。

上記のように、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）の推定値（θ_ｉｋ，ｔｘ_ｉｋ，ｔｙ_ｉｋ）を評価するための現在評価値Ｊ_ｉｋが、所定の評価式に基づき算出される。

次に、図７のステップＳ１０９における画像合成処理の詳細について、図１８に沿って説明する。
図１８は、本発明に係るスキャナの画像合成動作を示すフローチャートである。

画像データ合成部３５において、合成部５０は、画像データ記憶部３２に記憶されている画像番号ｉ＝１、即ちｉ番目の画像データを取得して、該画像データを合成画像データとして、合成画像データ記憶部５１に記憶する（ステップＳ８０１）。

次に、合成部５０は、図示せぬカウンタを初期化して、現在処理中の画像データの画像番号を示すカウンタ値ｉを、ｉ＝１とする（ステップＳ８０２）。

続いて、座標変換部４９が、位置合わせパラメータ算出部３４の位置合わせパラメータ記憶部４７から、ｉ番目の位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）を取得し、この位置合わせパラメータを用いて、合成画像データの２次元座標変換を行い、変換合成画像データを出力する（ステップＳ８０３）。本実施例では、座標変換部４９は、補間処理を用いて、画像データの２次元座標変換を行う。

次に、合成部５０は、画像データ記憶部３２からｉ＋１番目の画像データを取得する。そして、合成部５０は、該画像データと、座標変換部４９から入力された変換合成画像データとを合成し、合成画像データを生成する（ステップＳ８０４）。合成部５０は、合成する２つの画像データの互いに重なり合う画素については平均処理を行い、合成画像データを平均値に置き換える。また、重なり合わない画素については、そのままの値とする。合成部５０は、生成した合成画像データを合成画像データ記憶部５１に入力して、合成画像データ記憶部５１を更新する（ステップＳ８０４）。

続いて、合成部５０は、カウンタ値ｉと画像データ記憶部３２に記憶されている読取原稿数Ｎから１を減じた数値Ｎ−１とを比較する（ステップＳ８０５）。カウンタ値ｉがＮ−１未満である場合（ステップＳ８０５）、合成部５０は、カウンタ値ｉに１を加算する（ステップＳ８０６）。

そして、画像データ合成部３５は、更新されたカウンタ値ｉに基づき、ステップＳ８０３及びステップＳ８０４の処理を実施し、合成画像データ記憶部５１を更新する。

ステップＳ８０５において、カウンタ値ｉが数値Ｎ−１と等しい場合、合成部５０は、サイズ取得部５２にサイズ取得指示を行う。

サイズ取得部５２は、合成部５０からのサイズ取得指示に基づいて、合成画像データの画像サイズを、合成画像サイズとして取得する（ステップＳ８０７）。サイズ取得部５２は、合成画像データに対して、図９のステップＳ２０２からステップＳ２０５と同様の処理を施して、合成画像の形状を最外ラベルとして認識し、この最外ラベルに基づき、幅サイズ及び高さサイズからなる合成画像サイズを取得して、出力する。

続いて、補正部５３が、サイズ取得部５２から入力された合成画像サイズと、操作パネル部１５から入力された出力画像サイズとに基づいて、合成画像データの補正を行う（ステップＳ８０８）。補正部５３は、合成画像が出力画像の上下左右の中央に位置するように、合成画像データの補正を行い、補正された合成画像データを、出力部５４に入力する。これにより、画像データ合成部３５による画像合成処理が終了する。

上記のように、位置合わせパラメータ算出部３４から入力された位置合わせパラメータ（θ_ｉ，ｔｘ_ｉ，ｔｙ_ｉ）(ｉ＝１，２)に基づいて、各原稿破片６０−１、６０−２、６０−３から取得された画像データが合成され、原稿６０の合成画像データが生成される。

以上のように、本実施例のスキャナは、各原稿破片の形状自体を特徴として認識すると共に、高い一致度が得られる特徴のみを使用して位置合わせパラメータを算出するので、原稿破片の破断部が無地のように特徴のない場合や、原稿破片の辺の数が４つではない場合、また、破断部を辺として認識することが困難な場合や、対向する破断部が不揃いな場合等にも、確実に各原稿破片がつながり合うように位置合わせして、画像データを合成して出力可能となる。

図１９は、本発明の実施例２に係るスキャナの機能構成を示すブロック図である。
本実施例のスキャナ７０は、画像データ分割部７３が追加される構成が、実施例１と異なる。
なお、本実施例において、実施例１と同一の構成については同一の符号で示し、これらについての詳しい説明を省略する。

本実施例のスキャナ７０の要部構成は、図２及び図３に示される実施例１のスキャナ１０と同様であるので、説明を省略する。

スキャナ７０は、図１９に示されるように、画像データ入力部７１、画像データ記憶部７２、画像データ分割部７３、特徴量抽出部３３、位置合わせパラメータ算出部３４及び画像データ合成部３５を含んで構成される。

画像データ入力部７１は、イメージセンサ１４により取得された画像データを、画像データ記憶部７２に入力する。

画像データ記憶部７２は、ＲＡＭ２１を含んで構成され、画像データ入力部７１や画像データ分割部７３から入力された画像データを記憶する。画像データ記憶部７２は、記憶している画像データを、特徴量抽出部３３や画像データ合成部３５、画像データ分割部７３に入力する。

画像データ分割部７３は、分割部としての機能を有し、画像データ記憶部７２から入力された画像データを、読取原稿毎に分割して、分割後の画像データを画像データ記憶部７２に入力する。

この画像データ分割部７３は、特徴量抽出部３３、位置合わせパラメータ算出部３４及び画像データ合成部３５と同様に、プログラムＲＯＭ２２に格納された制御プログラムがＲＡＭ２１に一時的に読み込まれ、ＣＰＵ２０により実行されて実現されるソフトウェア処理部である。
次に、画像データ分割部７３の詳細な機能構成について、説明する。

図２０は、画像データ分割部の機能構成を示すブロック図である。
画像データ分割部７３は、図２０に示されるように、エッジ抽出部７４、２値化処理部７５、ラベリング処理部７６、最外ラベル判定部７７、分割部７８及び更新部７９を有する。

上記した各部７４〜７９のうち、エッジ抽出部７４、２値化処理部７５、ラベリング処理部７６及び最外ラベル判定部７７は、特徴量抽出部３３（図４）が有するエッジ抽出部３６、２値化処理部３７、ラベリング処理部３８及び最外ラベル判定部３９と同様の機能を有する。

エッジ抽出部７４は、８方向ラプラシアンを用いて、画像データにエッジ抽出処理を施し、エッジ抽出画像データを取得する。

２値化処理部７５は、エッジ抽出部７４から入力されたエッジ抽出画像データに対して、２値化処理を行って、白画素及び黒画素からなる２値画像データを出力する。２値化処理部５６は、特徴量抽出部３３の２値化処理部３７と同一の閾値Ｔ１を用いて、２値画像データを取得する。

ラベリング処理部７６は、ＲＡＭ２１を含んで構成され、２値画像データの各黒画素に対して、ラベリング処理を行う。

最外ラベル判定部７７は、ラベリング処理部７６により付与されたラベル番号に基づき、同一のラベル番号が付与された各黒画素群の領域面積を、ラベルサイズとして算出し、比較する。そして、ラベルサイズが最大となる黒画素群を、該２値画像データにおける第１最外ラベルと判定する。また、第１最外ラベルを除く各黒画素群から、次にラベルサイズが最大となる黒画素群を選択して、該黒画素群を第２最外ラベルと判定する。

分割部７８は、画像データを２つに分割して、分割画像データとしての各画像データを生成する。分割部７８は、第１最外ラベル及び第２最外ラベルに基づいて、画像データの分割を行う。

更新部７９は、分割部７８から入力された画像データに基づいて、画像データ記憶部７２を更新する。

次に、本実施例のスキャナ７０の動作について、図２１に沿って、説明する。
図２１は、本発明に係るスキャナの実施例２における読取合成動作を示すフローチャートである。

ここでは、図２２に示される読取原稿に対する読取合成処理について、説明を行う。
図２２は、読取原稿の一例を示す図（その２）である。
原稿８０は、破れて４枚の原稿破片８０−１、８０−２、８０−３、８０−４となっている。スキャナ７０は、これらの原稿破片８０−１、８０−２、８０−３、８０−４に対して、読取合成処理を実行する。

読取合成処理の開始に先立ち、オペレータは、原稿破片８０−１、８０−２、８０−３、８０−４をそれぞれ読取原稿として、スキャナ７０の載置台１１上に載置する。原稿破片８０−１、８０−２、８０−３、８０−４は、前後の各原稿破片の破断部が互いにつながり合うような順で、画像を読み取られることが望ましい。本実施例では、オペレータが、原稿破片８０−１、原稿破片８０−２、原稿破片８０−３、原稿破片８０−４の順で、スキャナ７０への載置を行うものとするが、本発明はこれに限定されない。異なる順で載置を行っても良い。

また、本実施例では、各原稿破片８０−１、８０−２、８０−３、８０−４は、２枚ずつ載置台１１上に載置される。
図２３は、読取原稿の載置例を示す図（その１）である。

スキャナ７０の載置台１１上には、図２３に示されるように、２枚の原稿破片８０−１、８０−２が、読取原稿として載置される。図２３において、載置台１１の左側１１ａには、１番目の読取原稿となる原稿破片８０−１が載置され、載置台１１の右側１１ｂには、２番目の読取原稿となる原稿破片８０−２が載置されている。本実施例では、各読取原稿は、読取順が前のものが載置台１１の左側１１ａに、読取順が後のものが右側１１ｂに、それぞれ載置されるものとする。ここで、載置台１１の左右方向は主走査方向に対応し、イメージセンサ１４は、ライン毎に、左側１１ａから右側１１ｂの順で、画像の読取を行う。

なお、図２３において、載置台１１の中央には、説明のために破線が示されているが、本実施例は、２枚の原稿破片の載置位置を、この破線により限定するものではない。各原稿破片は、相対的に左側及び右側に分かれていれば良い。

オペレータは、スキャナ７０の操作ボタン１６を操作して、読取合成処理の選択及び出力画像サイズに指定を行う。操作パネル部１５は、オペレータの操作に基づいて、読取合成指示及び出力画像サイズを入力する（ステップＳ１０１）。

その後、原稿破片８０−１及び原稿破片８０−２を載置台１１上に載置させた状態で、オペレータは、開始ボタン１７を押下する。

スキャナ７０は、開始ボタン１７の押下を検知する（ステップＳ１０２）と、画像データ入力部７１が、読取原稿である原稿破片８０−１及び原稿破片８０−２を含む画像を読み取って、画像データを入力する（ステップＳ９０１）。画像データ入力部７１は、イメージセンサ１４を走査して、載置台１１上の読取面の画像を、左側１１ａから右側１１ｂの順で読み取って、１つの画像データを入力する。

画像データ記憶部７２は、入力された画像データをＲＡＭ２１に記憶する（ステップＳ１０４）。

続いて、表示パネル１８が、続行選択画面を表示する。オペレータは、載置台カバー１２を開けて、載置台１１上から各原稿破片８０−１、８０−２を取り除いた後、次の２枚の原稿破片８０−３、８０−４を載置する。

図２４は、読取原稿の載置例を示す図（その２）である。
載置台１１上には、図２３に示されるように、左側１１ａに３番目の読取原稿となる原稿破片８０−３が載置され、右側１１ｂに４番目の読取原稿となる原稿破片８０−４が載置される。

オペレータは、原稿破片８０−３、８０−４を載置した後、載置台カバー１２を閉じて、読取続行を選択すべく、操作ボタン１６を操作する。操作パネル部１５は、この操作に基づき、読取続行指示を入力する（ステップＳ１０５）。

読取続行指示が入力されると、画像データ入力部７１は、読取原稿である原稿破片８０−３及び原稿破片８０−４を含む画像を読み取って、画像データを入力する（ステップＳ９０１）。そして、画像データ記憶部７２が、入力された画像データを記憶する（ステップＳ１０４）。

そして、表示パネル１８に表示された続行選択画面において、読取終了が選択され、読取終了指示が入力される（ステップＳ１０５）と、画像データ記憶部７２が、記憶した画像データの数ｎを、画像データ数として記憶する（ステップＳ９０２）。ここでは、画像データ記憶部７２は、画像データ数として、ｎ＝２を記憶する。

次に、画像データ分割部７３が、画像データ記憶部７２に記憶された各画像データを読取原稿毎に分割する画像分割処理を実施する（ステップＳ９０３）。以下に、画像分割処理の詳細について、図２５及び図２６を用いて説明する。

図２５は、本発明に係るスキャナの画像分割動作を示すフローチャート（その１）であり、図２６は、本発明に係るスキャナの画像分割動作を示すフローチャート（その２）である。

画像データ分割部７３は、図示せぬカウンタを初期化して、現在処理中の画像データの画像番号を示すカウンタ値ｉを、ｉ＝１とする（ステップＳ１００１）。

次に、エッジ抽出部７４が、画像データ記憶部７２からｉ番目の画像データを取得して、該画像データにエッジ抽出処理を行い、エッジ抽出画像データを取得する（ステップＳ１００２）。エッジ抽出部７４によるエッジ抽出処理は、実施例１のエッジ抽出部３６によるエッジ抽出処理（図９ステップＳ２０２）と同様であるので、説明を省略する。

続いて、２値化処理部７５が、エッジ抽出画像データに２値化処理を施し、２値画像データを取得する（ステップＳ１００３）。２値化処理部７５は、読取原稿の紙片端のエッジが十分に残るべく設定された閾値Ｔ１を用いて、（式２）に基づき、エッジ抽出画像データを２値化する。

次に、ラベリング処理部７６が、２値画像データに対して、隣接する各黒画素に同一のラベル番号を付与するラベリング処理を行う（ステップＳ１００４）。ラベリング処理の詳細については、実施例１のラベリング処理部３８によるラベリング処理（図１０）と同様であるので、説明を省略する。

続いて、最外ラベル判定部７７が、同一のラベル番号が付与された黒画素からなる各黒画素群のラベルサイズを、それぞれ算出する（ステップＳ１００５）。最外ラベル判定部７７は、(式４)に示されるように、同一ラベル番号を有する黒画素群のｘ、ｙ方向の最大値と最小値との差分の積に基づき、ラベルサイズを算出する。

そして、最外ラベル判定部７７は、各ラベル番号に対応して算出されたラベルサイズを比較し、ラベルサイズが最大となる黒画素群を第１最外ラベルと判定する（ステップＳ１００６）。また、最外ラベル判定部７７は、ラベルサイズが２番目に大きい黒画素群を第２最外ラベルと判定する（ステップＳ１００６）。

ここで、最外ラベル判定部７７は、カウンタ値ｉが画像データ記憶部７２に記憶されている画像データ数ｎに等しいか否かを判断する（ステップＳ１００７）。カウンタ値ｉが画像データ数ｎ未満である場合、現在処理中の画像データには、２枚の読取原稿に対応する各画像データが含まれる。したがって、最外ラベル判定部７７は、分割部７８に画像データの分割指示を行う。

分割部７８は、分割指示に基づき、ｉ番目の画像データを分割する（ステップＳ１００８）。分割部７８は、一方の画像データが第１最外ラベルを含み、他方の画像データが第２最外ラベルを含むように、画像データの分割を行う。

続いて、分割部７８は、分割して得られた各画像データに、画像番号を付与する（ステップＳ１００９）。分割部７８は、各画像データに含まれるｘ座標の最小値をラベル座標として取得し、これらのラベル座標の大小を比較する。そして、分割部７８は、ラベル座標が小さい方の画像データを、載置台１１の左側１１ａに載置された読取原稿であると判断し、画像番号２ｉ−１を付与する。また、他方の画像データを、載置台１１の右側１１ｂに載置された読取原稿であると判断し、画像番号２ｉを付与する。

そして、画像データ分割部７３は、カウンタ値ｉに１を加算する（ステップＳ１０１０）。

続いて、画像データ分割部７３は、更新されたカウンタ値ｉに対応する画像データを、画像データ記憶部７２から取得して、該画像データに対して、ステップＳ１００２〜ステップＳ１００６の処理を実施する。

ステップＳ１００７において、カウンタ値ｉが画像データ数ｎに等しいと判断された場合、現在処理中の画像データは最終読取時の画像データであり、１枚の読取原稿に対応する画像データしか含まれない可能性もある。そこで、最外ラベル判定部７７は、分割部７８への分割指示に先立ち、第２最外ラベルのラベルサイズ、即ち第２最外ラベルサイズｓ_２を、所定のサイズ閾値ｓ_ｔｈと比較する（ステップＳ１０１１）。

第２最外ラベルサイズｓ_２がサイズ閾値ｓ_ｔｈ以上である場合（ステップＳ１０１１）、最外ラベル判定部７７は、該画像データが２枚の読取原稿の画像データを含むと判断し、分割部７８への分割指示を行う。図２２に示される原稿８０の場合、ｎ＝２に対応する画像データには、原稿破片８０−３及び原稿破片８０−４に対応する画像データが含まれるので、第２最外ラベルサイズｓ_２がサイズ閾値ｓ_ｔｈ以上となり、最外ラベル判定部７７は、分割部７８への分割指示を行うこととなる。

分割部７８は、最外ラベル判定部７７からの分割指示に基づき、ｉ＝ｎ番目の画像データを分割し（ステップＳ１０１２）、分割して得られた各画像データに、画像番号２ｎ−１、２ｎをそれぞれ付与する（ステップＳ１０１３）。各画像データへの画像番号の付与については、ステップＳ１００９と同様であるので、説明を省略する。

ステップＳ１０１１において、第２最外ラベルサイズｓ_２がサイズ閾値ｓ_ｔｈ未満である場合、最外ラベル判定部７７は、該画像データが１枚の読取原稿に対応すると判断し、第２最外ラベルについてのデータを破棄する（ステップＳ１０１４）。そして、分割部７８が、ｉ＝ｎ番目の画像データを分割することなく、該画像データに画像番号２ｎ−１を付与する（ステップＳ１０１５）。

ｉ＝ｎ番目の画像データに対する処理が完了する（ステップＳ１０１３、ステップＳ１０１５）と、更新部７９が、各画像データを出力し、画像データ記憶部７２を更新する(ステップＳ１０１６)。ここでは、画像データ記憶部７２には、画像番号ｉ＝１〜４に対応する画像データが記憶される。

また、更新部７９は、出力した画像データの数に基づいて、読取原稿数Ｎを取得して出力し、画像データ記憶部７２が、入力された読取原稿数Ｎを記憶する（ステップＳ１０１７）。画像データ記憶部７２には、読取原稿数Ｎ＝４が記憶される。これにより、画像データ分割部７３による画像分割処理が終了する。

上記のように、画像データ記憶部７２に記憶されている各画像データが、読取原稿毎に分割される。

図２１に戻って、画像分割処理が終了し、ｉ＝１〜Ｎに対応する画像データと、読取原稿数Ｎとが、画像データ記憶部７２に記憶される（ステップＳ９０３）と、特徴量抽出部３３が、画像データ記憶部７２に記憶されている各画像データから、特徴量である点群データを抽出する（ステップＳ１０７）。特徴量抽出部３３による特徴量抽出処理は、実施例１（図９）と同一であるので、説明を省略する。

続いて、位置合わせパラメータ算出部３４が、特徴量抽出部３３から入力された点群データに基づいて、位置合わせパラメータを算出する（ステップＳ１０８）。位置合わせパラメータ算出部３４による位置合わせパラメータ算出処理は、実施例１（図１４）と同一であるので、説明を省略する。

その後、画像データ合成部３５が、位置合わせパラメータ算出部３４から入力された位置合わせパラメータに基づいて、画像データ記憶部７２に記憶されている各画像データを合成して、合成画像データを生成する（ステップＳ１０９）。画像データ合成部３５による画像合成処理は、実施例１（図１８）と同一であるの、説明を省略する。

そして、画像データ合成部３５は、生成した合成画像データを出力する（ステップＳ１１０）。これにより、スキャナ７０における読取合成処理が終了する。

上記のように、各原稿破片８０−１、８０−２、８０−３、８０−４を２枚ずつ読み取って入力された画像データが、読取原稿毎に分割された後、合成されて、原稿８０の合成画像データが出力される。

以上のように、本実施例のスキャナは、入力された画像データを読取原稿毎に分割できるので、複数の原稿破片を同時に読み取って、原稿全体の画像データを取得可能となる。したがって、実施例１の効果に加えて、更に、読取処理の手間を軽減可能となり、利便性が向上される。

上記した各実施例では、本発明をスキャナに適用した場合を例に説明を行ったが、本発明はこれに限定されない。例えば、画像処理装置として、複写機やＦＡＸ、スキャナ部及びプリンタ部を備える複合機等にも適用可能である。

１０，７０ スキャナ
３１，７１ 画像データ入力部
３２，７２ 画像データ記憶部
３３ 特徴量抽出部
３４ 位置合わせパラメータ算出部
３５ 画像データ合成部
７３ 画像データ分割部

Claims (17)

1. 複数の原稿破片の画像を読み取って、それぞれの画像データを入力する画像データ入力部を備え、各前記画像データを合成して出力するための画像処理装置であって、
   入力された各前記画像データから、それぞれの前記原稿破片の形状を示す特徴量を抽出する特徴量抽出部と、
   抽出された各前記特徴量に基づき、各前記画像データを位置合わせするための位置合わせパラメータを算出する算出部と、
   算出された前記位置合わせパラメータに基づいて、各前記画像データを合成し、合成画像データを出力する合成出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像データ入力部により入力された各前記画像データを記憶する画像データ記憶部を更に備え、
   前記特徴量抽出部は、前記画像データ記憶部に記憶された各前記画像データから、前記特徴量の抽出を行い、
   前記合成出力部は、前記画像データ記憶部に記憶された各前記画像データを合成し、前記合成画像データを出力する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記特徴量抽出部は、各前記画像データの２値化処理を行って、それぞれの２値化データを取得する２値化処理部と、取得された各前記２値化データに基づいて、それぞれの前記特徴量を２次元点群データとして抽出する点群データ抽出部と、を有し、
   前記算出部は、抽出された各前記２次元点群データに基づいて、前記位置合わせパラメータの算出を行う
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記特徴量抽出部は、各前記２値化データから直線データを検出する直線検出部を更に有し、前記点群データ抽出部は、該直線検出部による検出結果に基づいて、各前記２次元点群データの抽出を行うことを特徴とする請求項３記載の画像処理装置。
5. 前記直線検出部は、Ｈｏｕｇｈ変換により前記直線データの検出を行うことを特徴とする請求項４記載の画像処理装置。
6. 前記特徴量抽出部は、各前記画像データにエッジ抽出処理を行うエッジ抽出部を更に有し、前記２値化処理部は、エッジ抽出処理が施された各前記画像データに２値化処理を行うことを特徴とする請求項３記載の画像処理装置。
7. 前記エッジ抽出部は、空間フィルタリングにより前記エッジ抽出処理を行うことを特徴とする請求項６記載の画像処理装置。
8. 前記エッジ抽出部は、ラプラシアンフィルタにより前記空間フィルタリングを行うことを特徴とする請求項７記載の画像処理装置。
9. 前記算出部は、各前記２次元点群データのうち、２つの前記２次元点群データを一対とし、各前記２次元点群データ間の距離が最小となるべく、一対毎に前記位置合わせパラメータの算出を行うことを特徴とする請求項３記載の画像処理装置。
10. 前記算出部は、前記一対の２次元点群データの平行移動量及び回転移動量を、該一対の２次元点群データに対応する前記位置合わせパラメータとして算出することを特徴とする請求項９記載の画像処理装置。
11. 前記特徴量抽出部は、各前記画像データの２値化処理を行って、それぞれの２値化データを取得する２値化処理部と、取得された各前記２値化データに基づいて、それぞれの前記特徴量を２次元点群データとして抽出する点群データ抽出部と、を有し、
    前記算出部は、抽出された各前記２次元点群データのうち、２つの前記２次元点群データを一対とし、各前記２次元点群データ間の距離が最小となるべく、一対毎に前記位置合わせパラメータの算出を行い、
    前記合成出力部は、算出された各前記位置合わせパラメータに基づいて、対応する前記画像データの位置合わせを行って、前記合成画像データを生成する
    ことを特徴とする請求項１記載の画像処理装置。
12. 前記算出部は、前記一対の２次元点群データの平行移動量及び回転移動量を、該一対の２次元点群データに対応する前記位置合わせパラメータとして算出し、
    前記合成出力部は、算出された前記平行移動量及び前記回転移動量に基づき、対応する前記画像データを座標変換する座標変換部を有し、座標変換された各前記画像データの平均演算を行って、前記合成画像データの生成を行う
    ことを特徴とする請求項１１記載の画像処理装置。
13. 前記座標変換部は、補間処理により前記座標変換を行うことを特徴とする請求項１２記載の画像処理装置。
14. 出力画像サイズを入力する画像サイズ入力部を更に備え、
    前記合成出力部は、前記合成画像データの合成画像サイズを取得するサイズ取得部と、入力された前記出力画像サイズ及び取得された前記合成画像サイズに基づいて、前記合成画像データの出力位置の補正を行う補正部と、補正された前記合成画像データを出力する出力部と、を有する
    ことを特徴とする請求項１記載の画像処理装置。
15. 各画像データを分割するための分割部を更に備え、
    前記特徴量抽出部は、前記画像データ入力部により入力された各画像データから、少なくとも一つの原稿破片の特徴量を抽出し、
    前記分割部は、抽出された前記特徴量に基づいて、前記画像データを前記原稿破片毎に分割して、分割画像データを生成し、
    前記特徴量抽出部は、更に、各前記分割画像データから、それぞれの特徴量を抽出し、
    前記算出部は、該特徴量に基づき、各前記分割画像データを位置合わせするための位置合わせパラメータを算出し、
    前記合成出力部は、該位置合わせパラメータに基づいて、各前記分割画像データを合成して、合成画像データを出力する
    ことを特徴とする請求項１記載の画像処理装置。
16. 前記分割部は、前記特徴量に基づいて、前記原稿破片を含む領域のサイズを検出し、該サイズが所定サイズ以上となる場合、前記分割を行うことを特徴とする請求項１５記載の画像処理装置。
17. 各前記分割画像データを記憶する画像データ記憶部を更に備え、
    前記特徴量抽出部は、前記画像データ記憶部に記憶された各前記分割画像データから、前記特徴量の抽出を行い、
    前記合成出力部は、前記画像データ記憶部に記憶された各前記画像データを合成し、前記合成画像データを出力する
    ことを特徴とする請求項１５記載の画像処理装置。

Images