JP2012109737A - 画像結合装置、画像結合方法、画像入出力システム、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】複数の撮像素子部で撮像された複数の被撮像領域の画像を高速かつ高精度に結合する画像結合装置、画像結合方法、及び画像入出力システムを提供する。
【解決手段】画像結合装置は、「画像Ｎ」内にマッチング領域Ｍ１を設定し、マッチング領域Ｍ１内にエッジ検出領域を設定し、「画像Ｎ＋１」内に複数の被マッチング領域を設定し、被マッチング領域Ｍ２を副走査方向に非線形に拡大又は縮小して、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさにしたときの、マッチング領域Ｍ１の画像と、拡大又は縮小された被マッチング領域Ｍ２の画像の各々との相関度を示す値により、マッチング領域Ｍ１と最も相関の高い被マッチング領域Ｍ２を選択し、最も相関の高い被マッチング領域Ｍ２を非線形拡大縮小手段によって拡大又は縮小する際の「画像Ｎ＋１」のリサンプリング位置を、マッチング領域Ｍ１の画像と結合する結合位置として特定する。
【選択図】図２０

Description

本発明は、複数の撮像手段によって撮像された部分的に互いに重複する領域を持つ複数の画像の画像データから、複数の画像が結合された結合画像の画像データを生成する画像結合装置、画像結合方法、画像結合装置を含む画像入出力システム、画像結合方法をコンピュータに実行させるプログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

一般に、ディジタル複写機、イメージスキャナ、及びファクシミリ装置などに適用される画像入出力システムは、画像データ入力手段である撮像手段として、複数の撮像素子（光電変換素子）を主走査方向（撮像素子の配列方向）に配列して構成された一次元撮像素子部（ラインセンサ）を備えている。画像読み取りに際しては、ラインセンサによる主走査方向の１ラインごとの読み取り、及び、読み取り位置の副走査方向の移動（原稿又はラインセンサの移動）を実行する。

ところが、ラインセンサとしてのＣＣＤセンサ又はＣＭＯＳセンサは、半導体集積技術における製造上の理由から、通常６インチウェハ又は８インチウェハを用いて製造される。このため、大きなサイズ、特に、Ａ３サイズ以上の原稿を読み取ることができる長尺のラインセンサを製造することは困難である。

そこで、複数の短尺のラインセンサをライン状に配置したものを１つの長尺のラインセンサとして用い、１ラインを分割した複数の領域を複数の短尺のラインセンサでそれぞれ読み取るとともに、複数の短尺のラインセンサで読み取られた画像の間において欠落した箇所の画像を画素補間する処理が行われていた。

しかしながら、このような画素補間処理は、読み取られていない画像（隣接する短尺のラインセンサ間の画像）を補間処理によって生成するものであるから、十分に高い精度の画像を生成することは困難である。そのため、特許文献１は、読み取り時における画像データの欠落が発生しないように、複数の短尺のラインセンサを千鳥状に配置（すなわち、複数の短尺のラインセンサは、隣接する短尺のラインセンサで読み取られる画像の端部が主走査方向に数画素分重なるように配置）する方法を提案している。この方法によれば、原稿の１ラインを分割した複数の領域を複数の短尺のラインセンサでそれぞれ読み取ることができる。ただし、この方法では、千鳥状に配置された複数の短尺のラインセンサ間の副走査方向のギャップにより、複数の短尺のラインセンサで読み取られた複数の画像に、副走査方向のずれが生じるため、複数の短尺のラインセンサで読み取られた複数の画像を結合する際に、予め定められた固定のずれ量（ギャップ）Δｘを用いて画像データを補正した後に、画像の結合を行っている。

また、特許文献２は、複数の画像を合成して１枚の画像を生成する技術を開示している。この技術では、第１段階で、２つの画像の縮小画像を用いて２つの画像の接合位置関係（回転角度及び鏡像反転の有無の少なくとも一方）を特定し、大まかな重なり領域を検出し、第２段階で、重なり領域を複数の矩形領域に分割し、精度を上げて正確な重なり位置及び傾きなどを検出し、第３段階で、第１段階及び第２段階の処理結果を用いて、２つの画像を結合する。

特許第２９８２０３２号公報（図８、図１２、段落００３８） 特開２００２−３０５６４７号公報（図１、要約）

しかしながら、特許文献１に記載の技術では、装置の構造上の問題などにより、原稿の読み取り中にずれ量が増減して、短尺のラインセンサで読み取られる画像のずれ量が予め定められた固定のずれ量と異なる値に変化したりすると、ずれ量の変化分だけ画像結合後の画像の品質が低下するという問題がある。

また、特許文献２に記載の技術では、第１段階で用いる領域のすべてを走査して読み取りを完了してから画像処理を開始するため、結合位置検出に用いる領域のすべての読み取りを完了した後でなければ画像結合処理に進むことができないので、画像結合処理の完了までに長時間を要するという問題がある。例えば、特許文献２に記載の技術を、Ａ４サイズやＡ３サイズの原稿の幅に相当する数の短尺のラインセンサを１列に並べて同時に走査する装置に適用した場合には、画像結合処理の完了までに膨大な処理時間を要するという問題がある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、画像信号処理によって複数の画像の結合を高速かつ高精度に行うことができる画像結合装置、画像結合方法、画像結合装置を含む画像入出力システム、画像結合方法をコンピュータに実行させるプログラム、及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

本発明の一形態に係る画像結合装置は、主走査方向に部分的に互いに重複している第１の被撮像領域と第２の被撮像領域とを異なる複数の撮像手段でそれぞれ撮像する主走査を、副走査方向に前記第１の被撮像領域と前記第２の被撮像領域とを移動させて繰り返すことによって生成された第１の画像の画像データと第２の画像の画像データとから、前記第１の画像と前記第２の画像の副走査方向の重ね合わせ位置を求め、該重ね合わせ位置に基づいて前記第１の画像と前記第２の画像の結合位置を決定する結合位置検出手段と、前記結合位置にしたがって、前記第１の画像の画像データと前記第２の画像の画像データとから、前記第１の画像と前記第２の画像とが結合された第３の画像の画像データを生成する画像結合手段とを有し、前記結合位置検出手段は、前記第１の画像内に、前記第２の画像との相関を算出するためのマッチング領域を設定し、さらに、前記マッチング領域の副走査方向の始点位置から終点位置までの間に、画像のエッジを検出するためのエッジ検出領域を設定する相関検出用領域設定手段と、前記第２の画像内に、前記マッチング領域の副走査方向の大きさと同じ副走査方向の大きさの被マッチング領域を含む、互いに副走査方向の大きさの異なる複数の被マッチング領域を設定する被相関検出用領域設定手段と、前記複数の被マッチング領域の各々の画像を副走査方向に非線形に拡大又は縮小して、前記複数の被マッチング領域の各々の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする非線形拡大縮小手段と、前記マッチング領域の画像と、前記非線形拡大縮小手段によって拡大又は縮小された前記被マッチング領域の画像の各々との相関度を示す値を算出する相関算出手段と、前記相関度を示す値により、前記複数の被マッチング領域の中から、前記マッチング領域と最も相関の高い被マッチング領域を選択し、該最も相関の高い被マッチング領域を前記非線形拡大縮小手段によって拡大又は縮小する際の前記第２の画像のリサンプリング位置を、前記マッチング領域の前記第１の画像と結合する前記結合位置として特定する結合位置特定手段とを有し、前記非線形拡大縮小手段は、前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合、前記マッチング領域の副走査方向の大きさに応じた数のデータを前記被マッチング領域から非等間隔にリサンプリングすることで前記被マッチング領域の画像を副走査方向に拡大又は縮小すること特徴としている。

また、本発明の他の形態に係る画像結合方法は、主走査方向に部分的に互いに重複している第１の被撮像領域と第２の被撮像領域とを異なる複数の撮像手段でそれぞれ撮像する主走査を、副走査方向に前記第１の被撮像領域と前記第２の被撮像領域とを移動させて繰り返すことによって生成された第１の画像の画像データと第２の画像の画像データとから、前記第１の画像と前記第２の画像の副走査方向の重ね合わせ位置を求め、該重ね合わせ位置に基づいて前記第１の画像と前記第２の画像の結合位置を決定する結合位置検出ステップと、前記結合位置にしたがって、前記第１の画像の画像データと前記第２の画像の画像データとから、前記第１の画像と前記第２の画像とが結合された第３の画像の画像データを生成する画像結合ステップとを有し、前記結合位置検出ステップは、前記第１の画像内に、前記第２の画像との相関を算出するためのマッチング領域を設定し、さらに、前記マッチング領域の副走査方向の始点位置から終点位置までの間に、画像のエッジを検出するためのエッジ検出領域を設定する相関検出用領域設定ステップと、前記第２の画像内に、前記マッチング領域の副走査方向の大きさと同じ副走査方向の大きさの被マッチング領域を含む、互いに副走査方向の大きさの異なる複数の被マッチング領域を設定する被相関検出用領域設定ステップと、前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合に、前記複数の被マッチング領域の各々の画像を副走査方向に非線形に拡大又は縮小して、前記複数の被マッチング領域の各々の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする非線形拡大縮小ステップと、前記マッチング領域の画像と、前記非線形拡大縮小ステップにおいて拡大又は縮小された前記被マッチング領域の画像の各々との相関度を示す値を算出する相関算出ステップと、前記相関度を示す値により、前記複数の被マッチング領域の中から、前記マッチング領域と最も相関の高い被マッチング領域を選択し、該最も相関の高い被マッチング領域を前記非線形拡大縮小ステップにおいて拡大又は縮小する際の前記第２の画像のリサンプリング位置を、前記マッチング領域の前記第１の画像と結合する前記結合位置として特定する結合位置特定ステップとを有し、前記非線形拡大縮小ステップにおいては、前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合、前記マッチング領域の副走査方向の大きさに応じた数のデータを前記被マッチング領域から非等間隔にリサンプリングすることで前記被マッチング領域の画像を副走査方向に拡大又は縮小すること特徴としている。

また、本発明の他の形態に係る画像入出力システムは、上記画像結合装置と、主走査方向に部分的に互いに重複している前記第１の被撮像領域と前記第２の被撮像領域とを撮像する異なる複数の前記撮像手段でそれぞれ撮像することによって前記第１の画像の画像データと前記第２の画像の画像データとを生成して、前記画像結合装置に与える画像読取装置とを有することを特徴としている。

本発明によれば、隣接する２つの撮像手段の読み取り画像の結合位置のずれ量が、副走査方向に変化するような場合であっても、複数の画像の結合を高速かつ高精度に行うことができるという効果がある。

また、本発明によれば、複数の画像の結合を、フレームメモリを用いずに、少ないメモリ容量のメモリを用いて高速かつ高精度に行うことができるという効果がある。

さらに、本発明によれば、被マッチング領域を非線形に拡大又は縮小することで、結合位置検出に誤差が生じやすい画像が入力された場合であっても、結合位置ずれの目立たない精度の高い画像結合が実現できるという効果がある。

実施の形態１に係る画像結合装置及びこれを含む画像入出力システムの構成を概略的に示す図である。 画像読取装置の光学系を図１のＳ_２−Ｓ_２線方向に見る概略的な断面及び主要な光線（原稿が合焦位置にある場合）を示す図である。 実施の形態１に係る画像入出力システムにおいて、画像読取装置の４つの撮像素子部から得られる画像（原稿が合焦位置にある場合）及びそれらを結合して得られる結合画像を示す図である。 実施の形態１に係る画像入出力システムにおいて、画像読取装置の４つの撮像素子部から得られる画像（原稿が合焦位置からずれている場合）及びそれらを結合して得られる結合画像を示す図である。 実施の形態１に係る画像入出力システムの画像読取装置において、撮像素子部が、図中における左から右に向けて移動しながら、天板から部分的に浮いている原稿を読み取る場合（被撮像領域までの距離が変化する場合）を示す図である。 （ａ）〜（ｃ）は、実施の形態１に係る画像結合装置が行う画像結合処理におけるマッチング領域及び被マッチング領域の設定動作の一例を示す図である。 実施の形態１に係る画像結合装置が行う画像結合処理を概略的に示すフローチャートである。 実施の形態１に係る画像結合装置の非線形拡大縮小手段における被マッチング領域の拡大縮小領域処理を示す説明図（その１）である。 実施の形態１に係る画像結合装置の非線形拡大縮小手段における被マッチング領域の拡大縮小領域処理を示す説明図（その２）である。 実施の形態１に係る画像結合装置の非線形拡大縮小手段における被マッチング領域の拡大縮小領域処理を示す説明図（その３）である。 実施の形態１に係る画像結合装置において、マッチング領域及び被マッチング領域の設定処理を示す説明図（その１）である。 実施の形態１に係る画像結合装置において、マッチング領域及び被マッチング領域の設定処理を示す説明図（その２）である。 実施の形態１に係る画像結合装置において、マッチング領域及び被マッチング領域の設定処理を示す説明図（その３）である。 実施の形態１に係る画像結合装置の効果を説明するための画像の例を示す図である。 実施の形態１に係る画像結合装置において、「画像Ｎ＋１」の境界部の位置が「画像Ｎ」の境界部の位置よりも副走査方向（下側）に大きくずれている場合を示す図である。 図１５の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさと等しい）を示す図（その１）である。 図１５の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさより小さい）を示す図（その２）である。 図１５の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさより大きい）を示す図（その３）である。 （ａ）〜（ｃ）は、図１５の場合に、被マッチング領域の全体を線形に縮小した場合に生じる問題を示す図である。 （ａ）〜（ｃ）は、図１５の場合に、被マッチング領域を非線形に縮小（被マッチング領域の拡大縮小領域のみを縮小）した場合の効果を示す図である。 実施の形態１に係る画像結合装置において、「画像Ｎ＋１」の境界部の位置が「画像Ｎ」の境界部の位置よりも副走査方向（上側）に大きくずれている場合を示す図である。 図２１の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさと等しい）を示す図（その１）である。 図２１の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさより小さい）を示す図（その２）である。 図２１の場合に、相関を算出するために設けられる被マッチング領域（その副走査方向の大きさがマッチング領域の副走査方向の大きさより大きい）を示す図（その３）である。 （ａ）〜（ｃ）は、図２１の場合に、被マッチング領域の全体を線形に拡大した場合に生じる問題を示す図である。 （ａ）〜（ｃ）は、図２１の場合に、被マッチング領域を非線形に拡大（非マッチング領域の拡大縮小領域のみを拡大）した場合の効果を示す図である。 実施の形態２に係る画像入出力システムの構成を概略的に示す図である。 図２７の画像読取装置の１つの結像光学部の構成を示す概略的な斜視図及び主要な光線を示す図である。 図２７の画像読取装置の光学系を図２７のＳ_２９−Ｓ_２９線方向に見る概略的な断面及び主要な光線を示す図である。

《１》実施の形態１
《１−１》実施の形態１の構成
図１は、実施の形態１に係る画像結合装置１００及びこれを含む画像入出力システム１の構成を概略的に示す図である。図１には、画像読取装置２００の光学系の構造の一部を概略的に示す斜視図（左側）と、画像信号処理系（画像結合装置１００及びラインメモリ１１０）の構成を概略的に示すブロック図（右側）とが含まれている。また、図２は、画像読取装置２００の光学系を図１のＳ_２−Ｓ_２線方向に見る概略的な断面及び主要な光線（原稿が合焦位置にある場合）を示す図である。なお、以下の説明においては、ＸＹＺ直交座標系を用いる。画像の読み取りにおける主走査方向Ｄ_ＸにＸ軸を置き、主走査方向Ｄ_Ｘに直交する副走査方向Ｄ_ＹにＹ軸を置き、主走査方向Ｄ_Ｘ及び副走査方向Ｄ_Ｙの両方に直交する深度方向Ｄ_ＺにＺ軸を置く。したがって、主走査方向Ｄ_Ｘは「Ｘ軸方向」とも言い、副走査方向Ｄ_Ｙは「Ｙ軸方向」とも言い、深度方向Ｄ_Ｚは「Ｚ軸方向」とも言う。また、以下の説明において、Ｚ軸方向は、画像読取装置２００の厚み方向である。

図１に示されるように、実施の形態１に係る画像入出力システム１は、被撮像物（被写体）の画像を読み取り画像データを出力する画像読取装置２００と、画像読取装置２００から出力された画像データを一時的に保持するラインメモリ１１０と、画像読取装置２００から出力された複数の画像データを結合する画像結合装置１００（すなわち、本発明が適用された画像結合方法を実施することができる装置）とを有している。

図１に示されるように、画像読取装置２００は、結像光学系２０１と、照明光源２０２と、天板２０３と、基板２０４上に配置された複数の撮像素子部２４１，２４２，…，２４８とを有している。

天板２０３は、被撮像物の一例である原稿（図１には示さず）が載置される透明な原稿載置部材、例えば、ガラス板である。天板２０３は、原稿の深度方向Ｄ_Ｚの位置（すなわち、結像光学系２０１から原稿の被撮像領域までの距離）を決めることができる位置決め部として機能する。天板２０３は、原稿を、天板２０３の上面２０３ａの位置又はこの上面２０３ａから深度方向Ｄ_Ｚにずれた位置に載置させる。実施の形態１においては、天板２０３の上面２０３ａを合焦位置としており、原稿の読み取り位置に存在する被撮像領域３１，３２，…，３８が合焦位置にあるときには、原稿の被撮像領域２３１，２３２，…，２３８から結像光学系２０１を通して撮像素子部２４１，２４２，…，２４８に画像を結像する。

なお、天板２０３は、被撮像物の位置決め部として機能し、原稿の被撮像領域２３１，２３２，…，２３８を撮像可能にできる構成であれば、ガラス板に限定されず、原稿を位置決めできる他の手段であってもよい。また、被撮像物には、文章、書画、写真などを表示した原稿の他に、紙幣、人間の指などのように、画像を読み取る対象となり得るすべてのものが含まれる。

また、図１は、画像結合装置１００をラインメモリ１１０を介して画像読取装置２００に接続した画像入出力システム１を例示しているが、本発明は、ディジタル複写機、ハンドスキャナ、ファクシミリ装置などのように、画像を読み取り、読み取られた画像を結合する装置であれば、種々の装置に適用できる。さらに、画像結合装置１００は、複数の画像を結合することが必要な装置、例えば、デジタルカメラなどのパノラマ画像合成装置などにも適用できる。

照明光源２０２は、例えば、蛍光灯又はＬＥＤなどから構成される。照明光源２０２は、例えば、天板２０３の下方であって原稿の被撮像領域２３１，２３２，…，２３８の読み取りに支障が生じない位置に配置される。照明光源２０２は、原稿の被撮像領域２３１，２３２，…，２３８に光を照射する。なお、照明光源２０２の形状は、図１に示されるような長尺形状に限定されず、他の形状であってもよい。また、図１には、照明光源２０２が、結像光学系２０１の副走査方向Ｄ_Ｙの一方の側にのみ配置されている場合を示したが、照明光源を結像光学系２０１の副走査方向Ｄ_Ｙの両側に配置してもよい。

結像光学系２０１は、千鳥状に配列された複数の短尺のラインセンサ（「撮像手段」又は「撮像素子部」とも言う。）２４１，２４２，…，２４８に対応する複数の結像光学部２１１，２１２，…，２１８を含む。結像光学部２１１，２１２，…，２１８のそれぞれは、機能的に独立した光学手段である。複数の結像光学部２１１，２１２，…，２１８は、ＸＹ面に平行な面上で千鳥状に配置されている円柱状の光学セルによって構成される（通常セルフォックレンズアレイと称されるものである）。また、実施の形態１において、複数の結像光学部２１１，２１２，…，２１８のうちの、主走査方向Ｄ_Ｘに並ぶ奇数番目の１列の結像光学部２１１，２１３，…，２１７を、第１グループ（系列１）Ｇ_２１に属する結像光学部（第１の結像光学部）と言い、主走査方向Ｄ_Ｘに並ぶ偶数番目の１列の結像光学部２１２，２１４，…，２１８を、第２グループ（系列２）Ｇ_２２に属する結像光学部（第２の結像光学部）と言う。このように、複数のセルによって結像光学系を構成しているので装置の小型化が可能である。

第１グループＧ_２１に属する第１の結像光学部２１１，２１３，２１５，２１７は、原稿の被撮像領域２３１，２３３，２３５，２３７から第１の結像光学部２１１，２１３，２１５，２１７に向かう第１の光の主光線が互いに平行になるように構成されている。すなわち、第１グループＧ_２１に属する第１の結像光学部２１１，２１３，２１５，２１７は、それらの光軸２１１ａ，２１３ａ，２１５ａ，２１７ａが互いに平行になるように構成されている。また、第２グループＧ_２２に属する第２の結像光学部２１２，２１４，２１６，２１８は、原稿の被撮像領域２３２，２３４，２３６，２３８から第２の結像光学部２１２，２１４，２１６，２１８に向かう第２の光の主光線が互いに平行になるように構成されている。すなわち、第２グループＧ_２２に属する第２の結像光学部２１２，２１４，２１６，２１８は、それらの光軸２１２ａ，２１４ａ，２１６ａ，２１８ａが互いに平行になるように構成されている。

短尺のラインセンサ２４１，２４２，２４６，２４８は、結像光学部２１１，２１２，…，２１８に対応するように基板２０４上に配置される。短尺のラインセンサ（第１の撮像手段）２４１，２４３，２４５，２４７は、第１グループＧ_２１に属する第１の結像光学部２１１，２１３，２１５，２１７に対応するように配置され、短尺のラインセンサ（第２の撮像手段）２４２，２４４，２４６，２４８は、第２グループＧ_２２に属する第２の結像光学部２１２，２１４，２１６，２１８に対応するように配置される。

なお、図１には、結像光学系２０１が、第１グループＧ_２１に属する第１の結像光学部２１１，２１３，２１５，２１７と第２グループＧ_２２に属する第２の結像光学部２１２，２１４，２１６，２１８からなる場合を説明したが、本発明はこのような態様に限定されず、結像光学系２０１が、副走査方向Ｄ_Ｙに３列以上配置されている装置にも適用可能である。

また、図１には、複数の結像光学部２１１，２１２，…，２１８が、ＸＹ面に平行な面上で千鳥状に配置された場合を示したが、本発明はこのような態様に限定されず、複数の結像光学部の配置は、隣接する被撮像領域が主走査方向Ｄ_Ｘに重複する領域を有する配置であれば、千鳥状以外の配置であってもよい。

図１において、被撮像領域２３１，２３２，…，２３８は、原稿の天板２０３側の面であって、撮像素子部２４１，２４２，…，２４８によって読み取られる領域（視野範囲）であり、主走査方向Ｄ_Ｘに並ぶ複数の領域である。画像読取装置２００は、主走査方向Ｄ_Ｘに沿って天板２０３上の原稿の被撮像領域２３１，２３２，…，２３８の画像を読み取り、主走査方向Ｄ_Ｘの読み取りが完了する毎に、副走査方向Ｄ_Ｙに読み取り位置を相対的に移動させる。この副走査方向Ｄ_Ｙの読み取り位置の移動は、原稿の移動又は結像光学系２０１を含む画像読取装置２００側の構成の移動のいずれかによって行うことができる。

《１−２》実施の形態１の動作
《１−２−１》実施の形態１の動作の概要
図３は、実施の形態１に係る画像入出力システム１において、画像読取装置２００の４つの撮像素子部から得られる画像８０，８１，８２，８３（原稿が合焦位置にある場合）及びそれらを結合して得られる結合画像８４を示す図である。結像光学部２１１，２１２，…，２１８及びこれらに対応する撮像素子部２４１，２４２，…，２４８は、それぞれの被撮像領域が主走査方向Ｄ_Ｘに互いに一部重複するように、配置されている。このため、各撮像素子部によって撮像された画像８０，８１，８２，８３のうちの隣接する撮像素子部によって取得した画像の端部には、同じ画像（被撮像領域の同じ部分を撮像することによって得られる画像）が重複して含まれる。画像結合装置１００は、この重複して読み取られた２つの領域（例えば、領域８０ｂと領域８１ａ、領域８１ｂと領域８２ａ、領域８２ｂと領域８３ａ、領域８３ｂと領域８４ａ）の画像（第１の画像及び第２の画像）を繋ぎ合せることによって、画像８０，８１，８２，８３を結合して、結合画像（第３の画像）８４を生成する。

図４は、実施の形態１に係る画像入出力システム１において、画像読取装置２００の４つの撮像素子部から得られる画像９０，９１，９２，９３（原稿が合焦位置からずれている場合であり、例えば、原稿が天板から浮き上がっている場合）及びそれらを結合して得られる結合画像９４を示す図である。第１の撮像素子部２４１，２４３，２４５，２４７と第２の撮像素子部２４２，２４４，２４６，２４８とを、副走査方向Ｄ_Ｙにおいて所定の間隔を離して配置し、第１の撮像素子部２４１，２４３，２４５，２４７の光軸及び第２の撮像素子部２４２，２４４，２４６，２４８の光軸が、ＹＺ平面に投影された場合に、合焦位置（実施の形態１においては、天板２０３の上面２０３ａ）において交差するようにした場合（図２に示す場合）には、隣り合う画像の主走査方向Ｄ_Ｘの結合位置は一定だが、副走査方向Ｄ_Ｙの結合位置は原稿の位置（原稿７０の下面と天板２０３の上面２０３ａ間の距離）に応じて変化する。そのため、図４に示すように結合する画像位置が副走査方向Ｄ_Ｙにずれた画像が得られるため、隣接する２つの画像を結合するときには重ね合わせの位置を副走査方向Ｄ_Ｙに調整したうえで結合する必要がある。

図５を用いて、副走査方向Ｄ_Ｙに画像のずれが生じる原理について詳しく説明する。図５は、撮像素子部Ｃ０，Ｃ１（例えば、図１における２４１，２４２）が、図中における左から右に向けて移動しながら、天板２０３から距離Δｚ浮いている原稿７０を読み取る場合を示す図である。撮像素子部Ｃ０，Ｃ１が図５における左側の位置にあるときには、系列１（Ｇ_２１）の光学系によって読み取られる画像の位置と系列２（Ｇ_２２）の光学系によって読み取られる画像の位置との間に、副走査方向Ｄ_Ｙのずれは無い。撮像素子部Ｃ０，Ｃ１が図５における中央の位置にあるときには、系列１（Ｇ_２１）の光学系によって読み取られる画像の位置と系列２（Ｇ_２２）の光学系によって読み取られる画像の位置との間に、副走査方向Ｄ_Ｙのずれ（ずれ量Δｙ）がある。このずれは、撮像素子部Ｃ０，Ｃ１が、原稿７０の天板２０３から浮き上がり始める傾斜部分７０ｃを読み取るときに徐々に増加して、最終的にずれ量Δｙになる。また、原稿７０の傾斜部分７０ｃでは原稿面が傾いているため、原稿面に対する系列１（Ｇ_２１）の光学系の光軸の傾きと原稿面に対する系列２（Ｇ_２２）の光学系の光軸の傾きとが異なる。そのため、系列１（Ｇ_２１）の光学系によって読み取られた画像７０ｅの副走査方向Ｄ_Ｙにおける長さ７０ｅ１と、系列２（Ｇ_２２）の光学系によって読み取られた画像７０ｅの副走査方向Ｄ_Ｙにおける画像の長さ７０ｅ２が異なる。その結果、画像の縮み方の違いによって、傾斜部分７０ｃで画像の副走査方向Ｄ_Ｙのずれが発生する。

このような光学系を用いて図５のように凹凸（起伏）のある原稿を読み取ると、隣り合う画像のずれ量が原稿の高さに応じて変化する。特許文献１に記載の装置のように、予め固定のずれ量を定め、メモリを用いてデータを遅延させることにより、ずれを補正しながら画像の結合を行うと、ずれ量が変化した部分では画像が滑らかに繋がらない。よって、高精度な画像の結合を行うためには、隣接する１組の撮像素子部によって読み取られた２枚の画像（例えば、後述する「画像Ｎ」と「画像Ｎ＋１」）が繋がる位置の検出と画像の拡大又は縮小が必要となる。

ラインメモリ１１０は、第１の撮像素子部２４１，２４３，２４５，２４７及び第２の撮像素子部２４２，２４４，２４６，２４８によって取得された画像データを一時的に記憶する記憶部であり、主走査方向に読み取った被撮像領域２３１，２３２，…，２３８の画像を、１ラインの画像として複数のラインを記憶保持する。

画像結合装置１００は、ラインメモリ１１０に記憶された複数の画像を結合することによって結合画像を生成する。図１には、ラインメモリ１１０と画像結合装置１００とを別個の構成として示しているが、これらは、例えば、同じ回路基板上の一体的な構成であってもよい。

画像結合装置１００は、主走査方向Ｄ_Ｘに部分的に互いに重複している第１の被撮像領域（例えば、図１の領域２３１）と第２の被撮像領域（例えば、図１の領域２３２）とを異なる複数の撮像手段である撮像素子部（例えば、図１の系列１（Ｇ_２１）の撮像素子部２４１，…と、系列２（Ｇ_２２）の撮像素子部２４２，…）でそれぞれ撮像する主走査を、副走査方向Ｄ_Ｙに第１の被撮像領域と第２の被撮像領域とを移動させて繰り返すことによって生成された第１の画像の画像データと第２の画像の画像データとから、第１の画像と第２の画像（例えば、画像Ｎと画像Ｎ＋１）の副走査方向Ｄ_Ｙの重ね合わせ位置を求め、この重ね合わせ位置に基づいて第１の画像と第２の画像の結合位置を決定する結合位置検出部（結合位置検出手段）１００ａと、この結合位置にしたがって、第１の画像の画像データと第２の画像の画像データとから、第１の画像と第２の画像とが結合された第３の画像（結合画像）の画像データを生成する画像結合手段１００ｂとを有している。結合位置検出部１００ａは、第１の画像内に、第２の画像との相関を算出するためのマッチング領域Ｍ１を設定し、さらに、マッチング領域Ｍ１の副走査方向Ｄ_Ｙの始点位置（後述の図６（ａ）のＭ１ａ）から終点位置（後述の図６（ａ）のＭ１ｂ）までの間に、画像のエッジを検出するためのエッジ検出領域Ｅ１を設定する相関検出用領域設定手段１０１と、第２の画像内に、マッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさと同じ副走査方向Ｄ_Ｙの大きさの被マッチング領域Ｍ２を含む、互いに副走査方向Ｄ_Ｙの大きさの異なる複数の被マッチング領域を設定する被相関検出用領域設定手段１０２と、複数の被マッチング領域の各々の画像を副走査方向Ｄ_Ｙに非線形に拡大又は縮小して、複数の被マッチング領域の各々の副走査方向Ｄ_Ｙの大きさをマッチング領域の副走査方向Ｄ_Ｙの大きさと同じにする非線形拡大縮小手段１０３とを有している。さらに、結合位置検出部１００ａは、マッチング領域Ｍ１の画像と、非線形拡大縮小手段１０３によって拡大又は縮小された被マッチング領域Ｍ２の画像の各々との相関度を示す値を算出する相関算出手段１０４と、相関度を示す値により、複数の被マッチング領域の中から、マッチング領域と最も相関の高い被マッチング領域を選択し、最も相関の高い被マッチング領域を非線形拡大縮小手段によって拡大又は縮小する際の第２の画像のリサンプリング位置を、マッチング領域の第１の画像と結合する結合位置として特定する結合位置特定手段とを有している。そして、非線形拡大縮小手段１０３は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさと異なる場合、マッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさに応じた数のデータを被マッチング領域Ｍ２から非等間隔にリサンプリングすることで被マッチング領域の画像を副走査方向Ｄ_Ｙに拡大又は縮小する。

また、非線形拡大縮小手段１０３は、マッチング領域Ｍ１内においてエッジ検出領域Ｅ１からマッチング領域の副走査方向Ｄ_Ｙの終点位置までの領域をマッチング領域内の等倍領域（後述する図８〜図１０に示す）とし、被マッチング領域Ｍ２内において、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの終点位置から、マッチング領域Ｍ１内の等倍領域と副走査方向Ｄ_Ｙに同じ大きさの領域を、被マッチング領域Ｍ２の等倍領域Ａ１と設定し、被マッチング領域Ｍ２内における被マッチング領域Ｍ２の等倍領域Ａ１以外の領域（拡大縮小領域）Ａ２を、副走査方向Ｄ_Ｙに拡大又は縮小することによって、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさをマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさと同じにする。

《１−２−２》実施の形態１の動作の詳細
以下に、図６（ａ）〜（ｃ）、図７、図８〜図１０、及び図１１〜図１３を参照して、画像結合装置１００の動作の詳細を説明する。

図６（ａ）〜（ｃ）は、画像結合装置１００が行う画像結合処理におけるマッチング領域Ｍ１及び被マッチング領域Ｍ２の設定動作の一例を示す図である。図６（ａ）〜（ｃ）において、最小の横長の長方形として描かれた各領域（各ライン）は、１個の短尺のラインセンサ（例えば、図１のラインセンサ２４１，…，２４８のいずれか）による１ラインのスキャン（主走査）によって取得された画像（画像データ）の一部（端部）を意味する。

図６（ａ）において、左側に描かれている「画像Ｎ」は、Ｎ番目のラインセンサ（Ｎは正の整数）（例えば、図１のラインセンサ２４１）によって順次（上から下に向かう順序で）読み取られた複数ラインの画像（画像データ）の一部（「画像Ｎ＋１」に重複する側の端部）を示す。また、図６（ａ）において、右側に描かれている「画像Ｎ＋１」は、Ｎ番目のラインセンサに隣接するＮ＋１番目のラインセンサ（例えば、図１のラインセンサ２４２）によって順次（上から下に向かう順序で）読み取られた複数ラインの画像（画像データ）の一部（「画像Ｎ」に重複する側の端部）を示す。

図６（ｂ）において、左側に描かれている「画像Ｎ」は、Ｎ番目のラインセンサ（例えば、図１のラインセンサ２４１）によって順次（上から下に向かう順序で）読み取られた複数ラインの画像（画像データ）の一部（「画像Ｎ＋１」に重複する側の端部）を示す。また、図６（ｂ）において、右側に描かれている「画像Ｎ＋１」は、Ｎ番目のラインセンサに隣接するＮ＋１番目のラインセンサ（例えば、図１のラインセンサ２４４）によって順次（上から下に向かう順序で）読み取られた複数ラインの画像（画像データ）の一部（「画像Ｎ＋１」に重複する側の端部）を示す。

図６（ａ）〜（ｃ）において、マッチング領域Ｍ１及び被マッチング領域Ｍ２は、それぞれのラインセンサから得られる画像の画像端付近（主走査方向Ｄ_Ｘの端部付近）の、重複領域（例えば、図３の領域８０ｂ及び８１ａ）に対して設定される領域である。ただし、図６（ａ）〜（ｃ）には、「画像Ｎ」と「画像Ｎ＋１」の重複領域のみが示されている。

図６（ａ）に示されるように、画像結合装置１００による画像結合処理の開始時には、保留ライン（後述する）は無いため、相関検出用領域設定手段１０１は、注目ラインＬ０とその後に続くｎラインとから成る（ｎ＋１）ラインの領域をマッチング領域Ｍ１に設定する。ここで、ｎは正の整数である。また、相関検出用領域設定手段１０１は、注目ラインＬ０とその次に続く１ラインとから成る２ラインの領域をエッジ検出領域Ｅ１に設定する。図６（ａ）には、ｎ＝５ラインの場合を示すが、ｎの値は「５」に限定されない。さらに、エッジ検出領域Ｅ１のライン数は、２ラインに限定されず、マッチング領域Ｍ１のライン数以下のライン数であれば、３ライン以上であってもよい。

図６（ｂ）は、画像結合装置１００が行う画像結合処理の保留ラインがある場合のマッチング領域Ｍ１の設定動作を示している。ラインごとの処理において、後述する条件により、マッチング領域Ｍ１にエッジが存在しないと判断された場合、又は、相関の高い被マッチング領域Ｍ２が見つからないと判断された場合（例えば、相関度を示す値が所定の閾値以下の場合）には、相関検出用領域設定手段１０１は、結合位置を確定せず保留ラインとする。図６（ｂ）に示されるように、注目ラインＬ０より上側に保留ラインがある場合には、保留ラインの数だけ注目ラインＬ０の上側にマッチング領域Ｍ１を拡張する。図６（ｂ）には、ｎ＝５ラインの場合を示すが、ｎの値は「５」に限定されるものではない。また、マッチング領域Ｍ１が大きくなりすぎるとマッチングの精度が低下するため、保留ラインのライン数に応じてｎを減少させてもよい。

図６（ｃ）は、副走査方向Ｄ_Ｙについて大きさ（サイズ）の異なる複数の被マッチング領域Ｍ２を示している。被マッチング領域Ｍ２は、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさの領域を基準とし、領域の開始位置を固定した状態で領域の終了位置を−ｍラインから＋ｍラインまで変化させた副走査方向Ｄ_Ｙの大きさの異なる複数の被マッチング領域Ｍ２を設ける。例えば、図６（ｃ）に示されるように、マッチング領域Ｍ１が６ラインである場合に、ｍを３ラインとすると、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさは、３ラインの領域（＝基準領域−３ライン）、４ラインの領域（＝基準領域−２ライン）、５ラインの領域（＝基準領域−１ライン）、６ラインの領域（＝基準領域）、７ラインの領域（＝基準領域＋１ライン）、８ラインの領域（＝基準領域＋２ライン）、及び９ライン（＝基準領域＋３ライン）の領域から成る、１ライン単位で副走査方向Ｄ_Ｙの大きさが異なる７種類の領域の内のいずれかの領域になる。また、図６（ｃ）に示される被マッチング領域Ｍ２（厳密には、被マッチングラインの候補）の先頭ラインは、同じラインとなる。ただし、被マッチング領域Ｍ２の決定方法は、図６（ｃ）の例に限定されず、ｐライン（ｐ≧２）単位で副走査方向Ｄ_Ｙの大きさが異なるｑ種類（ｑは２以上の整数）の領域の内のいずれかの領域としてもよい。以上の説明では、１ライン単位で副走査方向Ｄ_Ｙの大きさが異なる複数の被マッチング領域Ｍ２を設けた場合を説明したが、異なる複数の被マッチング領域のライン数の変化の単位は１ライン単位に限定されるものではなく、２ライン以上のライン数を変化の単位としてもよく、又は、１ライン未満のライン数を変化の単位としてもよい。

図７は、画像結合装置１００が行う画像結合処理を概略的に示すフローチャートである。図７は、「画像Ｎ」と「画像Ｎ＋１」の結合について説明している。まず、相関検出用領域設定手段１０１は、「画像Ｎ」において、先頭ライン（０ライン目）を注目ラインＬ０とし（ステップＳＴ１、図６（ａ））、注目ラインＬ０とその後に続くｎライン（ｎは正の整数）、及び保留ライン（図６（ｂ））となっているラインをマッチング領域Ｍ１とする（ステップＳＴ２）。

次に、被相関検出用領域設定手段１０２は、「画像Ｎ＋１」に被マッチング領域Ｍ２を設定する（ステップＳＴ３）。被マッチング領域Ｍ２としては、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさの領域を基準（図６（ｃ））とし、さらに、被マッチング領域Ｍ２の開始位置を固定した状態で領域の終了位置を、基準の被マッチング領域Ｍ２（図６（ｃ））の終了位置の−ｍラインの位置から＋ｍラインの位置まで変化させた副走査方向Ｄ_Ｙの大きさの異なる複数の被マッチング領域（候補）を設ける。

次に、相関検出用領域設定手段１０１は、「画像Ｎ」のマッチング領域Ｍ１内に設けられたエッジ検出領域Ｅ１に画像の特徴的な部分が有るか否かを判断する（ステップＳＴ４）。ここで、「特徴的な部分」とは、画像の結合に必要な重ね合わせ位置を検出する際に、目印としてわかりやすい画像のエッジ、又は、文字、又は、文様などであり、例えば、画像の信号レベルの変化が所定の基準レベルよりも大きい部分をいう。実施の形態１ではエッジ検出領域Ｅ１での画像内の特徴的な部分の検出の手法は特に限定しないが、後述する図２７〜図２９（実施の形態２）に示す光学系を用いる場合においては、隣り合う画像の重ね合わせの位置は副走査方向Ｄ_Ｙにのみ変化するため、副走査方向Ｄ_Ｙに対して垂直なエッジが存在する位置で重ね合わせの位置を検出すると、確度の高い結果が得られる。そこで、相関検出用領域設定手段１０１は、例えば、エッジ検出領域Ｅ１の副走査方向Ｄ_Ｙの前後（図６（ａ）及び（ｂ）においては上下）のライン（すなわち、注目ラインＬ０とその１つ前のライン）の信号成分の差の合計を算出し、この値が予め定められた閾値より大きいときに、エッジが存在すると判断し、次の処理へ移行する（ステップＳＴ５）。一方、相関検出用領域設定手段１０１は、特徴的な部分がないときは、マッチング処理に精度が期待できないとみなし、別の処理（ステップＳＴ１２）へ移行する。

エッジ検出領域Ｅ１に画像の特徴的な部分が含まれていると判断された場合、相関算出手段１０４は、マッチング領域Ｍ１の画像と被マッチング領域Ｍ２の画像との相関を算出する（ステップＳＴ５）。ここで、被マッチング領域Ｍ２（候補）は、ｍ＝３ラインのときには７種類あり（図６（ｃ））、７種類の被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさもそれぞれ異なる。被マッチング領域Ｍ２がマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさのときは、それぞれ同じラインのデータ同士で相関を算出する。被マッチング領域Ｍ２がマッチング領域Ｍ１と副走査方向Ｄ_Ｙの大きさが異なるときは、非線形拡大縮小手段１０４は、被マッチング領域Ｍ２の画像をマッチング領域Ｍ１の画像と副走査方向Ｄ_Ｙについて同じ大きさ（同じライン数）の画像へと変換し（すなわち、被マッチング領域Ｍ２の画像を副走査方向Ｄ_Ｙに拡大又は縮小する）、相関算出手段１０４は、対応するラインのデータ同士で相関を算出する。

図８〜図１０は、実施の形態１に係る画像結合装置１００の非線形拡大縮小手段１０３における被マッチング領域Ｍ２の拡大縮小領域処理を示す説明図（その１〜３）である。図８は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさと等しい場合を示す。この場合、被マッチング領域Ｍ２を拡大又は縮小する必要はなく、マッチング領域Ｍ１のライン数と同数のライン数のデータを、対応するラインごとに被マッチング領域Ｍ２から等間隔にリサンプリングしてマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさの画像を生成する。ここで、被マッチング領域Ｍ２の開始位置がマッチング領域Ｍ１の開始位置から副走査方向Ｄ_Ｙに１ライン未満の単位でずれている場合には、リサンプリング位置も各ラインの中心位置から副走査方向Ｄ_Ｙに１ライン未満の単位でずれる。１ライン未満ずれた位置のラインのデータのリサンプリングには、例えば、バイリニア又はバイキュービックなどの補間演算を用いる。

図９は、被マッチング領域Ｍ２がマッチング領域Ｍ１より２ライン小さい場合、すなわち、
（被マッチング領域のライン数）＝（マッチング領域のライン数）−（２ライン）
の場合を示す。この場合、画像結合装置１００は、マッチング領域Ｍ１の各ラインと相関をとるため、被マッチング領域Ｍ２の画像を、９ラインの画像から１１ラインの画像へ拡大する。その際、マッチング領域Ｍ１においてエッジ検出位置Ｅ０からマッチング領域Ｍ１の下端までの領域を画像結合に重要な領域とみなし、その領域に対応する同じライン数の領域を被マッチング領域Ｍ２では拡大の非対象領域（すなわち、等倍領域Ａ１）とする。言い換えれば、画像の拡大は、等倍領域Ａ１以外の領域（拡大縮小領域Ａ２）のみを拡大することによって行う。よって、図９の場合、被マッチング領域Ｍ２の上から４ラインが拡大の対象となり、被マッチング領域Ｍ２の下から５ラインが拡大を行わない等倍領域Ａ１となる。図９において黒丸で示すように、被マッチング領域Ｍ２の画像において、拡大縮小領域Ａ２の４ラインから６ライン分のデータをリサンプリングし、等倍領域Ａ１の５ラインから５ライン分のデータをリサンプリングすることで、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさの画像を生成する。なお、リサンプリングには、例えば、バイリニア又はバイキュービックなどの補間演算を用いる。

図１０は、被マッチング領域Ｍ２がマッチング領域Ｍ１より２ライン大きい場合、すなわち、
（被マッチング領域のライン数）＝（マッチング領域のライン数）＋（２ライン）
の場合を示す。この場合、マッチング領域Ｍ１の各ラインと相関をとるため、被マッチング領域Ｍ２の画像を１３ラインから１１ラインの画像へ縮小する。その際、被マッチング領域Ｍ２において縮小の非対象領域（等倍領域Ａ１）と、縮小の対象となる領域（拡大縮小領域Ａ２）を設け、拡大縮小領域Ａ２のみを縮小することによって画像の縮小を行う。図１０の場合、被マッチング領域Ｍ２の上から８ラインが縮小の対象となり、被マッチング領域Ｍ２の下から５ラインが縮小を行わない等倍領域Ａ１となる。図１０において黒丸で示すように、被マッチング領域Ｍ２の画像において、拡大縮小領域Ａ２の８ラインから６ライン分のデータをリサンプリングし、等倍領域Ａ１の５ラインから５ライン分のデータをリサンプリングすることで、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさの画像を生成する。なお、リサンプリングには、例えば、バイリニア又はバイキュービックなどの補間演算を用いる。

以上が、非線形拡大縮小手段１０３における非線形な画像の拡大又は縮小の仕方の説明である。言い換えれば、本願における「非線形に画像を拡大又は縮小」の代表例は、図９又は図１０に示されるように、被マッチング領域Ｍ２内における等倍領域Ａ１においては画像を副走査方向Ｄ_Ｙに拡大又は縮小せず、被マッチング領域Ｍ２内における拡大縮小領域Ａ２においては画像を副走査方向Ｄ_Ｙに拡大又は縮小することによって、被マッチング領域Ｍ２の全体における画像の副走査方向Ｄ_Ｙの拡大又は縮小を非線形とした処理方法を採用したものである。この場合、被マッチング領域Ｍ２内における拡大縮小領域Ａ２においては画像の副走査方向Ｄ_Ｙの拡大又は縮小は、線形の拡大又は縮小である。ただし、拡大縮小領域Ａ２における画像の副走査方向Ｄ_Ｙの拡大又は縮小を、非線形の拡大又は縮小とすることも可能である。

また、非線形拡大縮小手段１０３における「非等間隔にリサンプリング」の代表例は、図９又は図１０に示されるように、被マッチング領域Ｍ２内における等倍領域Ａ１においては画像を副走査方向Ｄ_Ｙに等間隔な位置（黒点で示す）でサンプリングし、被マッチング領域Ｍ２内における拡大縮小領域Ａ２においても画像を副走査方向Ｄ_Ｙに等間隔な位置（黒点で示す）でサンプリングするが、等倍領域Ａ１におけるサンプリングの間隔と拡大縮小領域Ａ２におけるサンプリングの間隔とは異なるので、被マッチング領域Ｍ２の全体における画像の副走査方向Ｄ_Ｙのサンプリングの位置は非等間隔である処理方法を採用したものである。この場合、被マッチング領域Ｍ２内における拡大縮小領域Ａ２においては画像の副走査方向Ｄ_Ｙのサンプリング位置は等間隔であるが、拡大縮小領域Ａ２における画像の副走査方向Ｄ_Ｙのサンプリング位置を非等間隔とすることも可能である。

次に、図７に示されるように、相関算出手段１０４により、マッチング領域Ｍ１の画像と、非線形拡大縮小手段１０３によって拡大又は縮小された被マッチング領域Ｍ２の画像の各々との相関を求める。相関の算出方法としては、両者の画像の対応するラインのデータから相関係数を算出する方法、又は、対応するラインのデータ同士の差分の絶対値の和若しくは差分の二乗和を算出する方法などがある。ただし、相関係数を算出する方法の場合は、相関係数が１に近いほど相関が高くなる。また、画素の差分の絶対値の和、若しくは、差分の二乗和を算出する方法の場合は、算出された値が小さいほど相関が高くなる。

例えば、マッチング領域Ｍ１の画像と７種類の被マッチング領域Ｍ２の拡大縮小画像との相関を算出したあと、７種類の相関度を示す値（相関値）が予め設定された閾値Ｋより大きいか否かを判断する（ステップＳＴ６）。７種類の相関度を示す値のいずれかが閾値Ｋより大きいとき、いずれかの領域と相関があるとみなし、相関が最も高い被マッチング領域Ｍ２を選択する（ステップＳＴ７）。一方、相関度を示す値のすべてが閾値Ｋより小さいときは７種類の被マッチング領域Ｍ２はいずれも相関が低く、正しい結果が検出できないと見なし、別の処理（ステップＳＴ１２）へ移行する。

相関の高い被マッチング領域Ｍ２が検出された場合、結合位置特定手段１０５は、マッチング領域Ｍ１内のエッジ検出位置Ｅ０までのラインの結合位置を決定する（ステップＳＴ８）。ここでは、エッジ検出領域Ｅ１を２ラインとし、エッジ検出領域Ｅ１における上下ラインの差からエッジを検出したことから、エッジ検出領域Ｅ１の１ライン目までの結合位置を決定することになる。結合位置の決定は、相関が最も高い被マッチング領域Ｍ２を非線形拡大縮小手段１０３によって拡大又は縮小する際のリサンプリング位置を、マッチング領域Ｍ１の対応するラインに割り当てることで行う。すなわち、図８〜図１０の黒丸で示すリサンプリング位置のうち、拡大縮小領域Ａ２のリサンプリング位置が結合位置として割り当てられる。エッジ検出領域Ｅ１にエッジが無いと判断された場合、又は、マッチング領域Ｍ１と被マッチング領域Ｍ２との相関が低いと判断された場合、結合位置は確定せず、注目ラインＬ０を一旦保留ラインとする（ステップＳＴ１２）。ここで、保留ラインとは、そのラインが注目ラインとされたときに隣接する画像との結合位置が検出できず、結合位置の特定が保留されたラインのことを示す。また、確定ラインは、隣接する画像との結合位置が確定されたラインのことを示す。

結合位置の検出処理が終了した後、画像結合手段１００ｂは、１ライン分の画像を結合する。結合するのは注目ラインＬ０からＭＡＸライン（ＭＡＸは、所定の値である）分遡ったラインまでとする。まず、該当するラインに結合位置が確定していないことを表す保留フラグが設定されているか否かを判別し（ステップＳＴ９）、保留フラグが設定されていなければ、結合位置に基づいて１ライン分の画像を結合する（ステップＳＴ１０）。さらに、次のラインの処理のために注目ラインＬ０を更新する（ステップＳＴ１１）。ここで、ＭＡＸの値は、１９ライン程度とする。ＭＡＸの値は、画像のサイズを超えない範囲であれば任意の値を設定することができるが、ＭＡＸの値が大きくなるほど注目ラインＬ０と画像の結合結果を出力するラインの位置の差が大きくなり、その結果、画像データを一時的に保存しておくメモリの容量が大きくなるため、ＭＡＸは大きくし過ぎない方が望ましい。また、次の注目ラインＬ０は、先に用いたエッジ検出領域Ｅ１の中のエッジ検出位置Ｅ０、すなわち、結合位置を決定した位置の直下のラインとする。次の注目ラインＬ０に基づいて、次のマッチング領域Ｍ１が決まる。また、次の被マッチング領域Ｍ２の先頭位置は次のマッチング領域Ｍ１の先頭ラインと結合する位置とする。（注目ライン−ＭＡＸ）ライン目に保留フラグが設定されている場合には、（注目ライン−ＭＡＸ−１）ライン目の結合位置＋１ライン目で結合するように結合位置を設定し、保留ラインのフラグを解除して結合位置が確定しているラインに変更する。言い換えれば、結合位置が不明な場合には拡大も縮小も行わず、等倍のままで隣り合う画像を繋ぎ合わせるように結合位置を決定する。

次のラインに処理が進んだとき、注目ラインＬ０より上に保留ラインがある場合には、注目ラインＬ０とその後に続くｎラインに加え、全ての保留ラインをマッチング領域Ｍ１とする（ステップＳＴ２、及び、図１１）。言い換えれば、保留ラインが多いほど、マッチング領域Ｍ１が広がる。被マッチング領域Ｍ２の基準の副走査方向Ｄ_Ｙの大きさは、マッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさ（同じライン数）になるようにする（ステップＳＴ３）。そして再び、エッジ検出領域Ｅ１にエッジがあるか否かを確認し、ステップＳＴ４からの処理を繰り返す。エッジ検出領域Ｅ１にエッジが検出されない状態やマッチング領域Ｍ１と被マッチング領域Ｍ２の間の相関が弱い状態が続くと、保留ラインが増える（図１２）。保留ラインはマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさが大きくなりすぎて演算負荷が必要以上に増加しないようにＭＡＸライン以上になれば結合位置を確定するように制限を設けている（ステップＳＴ１０）。マッチング領域Ｍ１に保留ラインが含まれる場合には、相関が取れたとき、マッチング領域Ｍ１の先頭のラインからエッジ検出位置Ｅ０までの複数ライン分の結合位置を一度に確定させる（図１３）。

以上が結合位置検出手段１００ａの動作の説明であり、結合位置が確定した領域から画像結合手段１００ｂによって順次、画像結合が施されていく。

《１−３》実施の形態１の効果
最初に、ある注目ラインＬ０のマッチング処理において画像結合位置が不明である場合に、当該注目ラインＬ０を保留ラインとして、次の注目ラインのマッチング処理で保留ラインを用いることによって得られる効果について説明する。図１に示される画像読取装置２００においては、隣接画像のずれ量は原稿の形状に応じて変化する。そのため、常に隣接画像の画像結合位置を検出し、基準位置から原稿面までの距離が変化した位置で画像の拡大縮小により画像結合位置を調節した後、画像を繋ぎ合わせて１つの結合画像にすることが望ましい。しかし、エッジ検出領域Ｅ１内に特徴的な部分が無い原稿の読み取り中に、基準位置から原稿面までの距離が変化すると、特徴的な部分が現れたところで急激な画像の拡大縮小が必要になる恐れがある。そこで、ある注目ラインＬ０のマッチング処理において、画像に特徴的な部分が無いために、エッジが検出できないという状態、若しくは、マッチング領域Ｍ１と被マッチング領域Ｍ２の相関が取れないという状態になった場合には、画像結合位置を確定せずに保留してマッチング領域Ｍ１を広げることにより、画像結合位置が急激に変化しても１ラインあたりの拡大縮小量が減るため、拡大縮小処理による画像の歪みを小さくすることができる。

ただし、原稿に特徴的な部分がある場合にマッチング領域Ｍ１を広く設定すると、基準位置から原稿面までの距離の細かい変化に追従できなくなる。よって、原稿に特徴的な部分があり、マッチング領域Ｍ１と被マッチング領域Ｍ２の相関が取れる場合には、最小限のマッチング領域Ｍ１で画像結合位置を検出し、特徴的な部分が無い場合にはマッチング領域Ｍ１を広げることにより、画像を拡大縮小したときの歪みが目立たない上に、基準位置から原稿面までの距離の変化に追従して画像結合位置を検出することにより精度の高い結合画像を生成することができる。

また、画像結合位置が確定したラインの次のラインにマッチング領域Ｍ１及び被マッチング領域Ｍ２を設定することにより、画像の連続性が保たれるため、画像結合位置検出処理のエラーなどによる画像の欠損、同一画像の繰り返し、前後関係の入れ替わりなどの著しい画質の劣化を回避することができる。

さらに、マッチング領域Ｍ１を小さく設け、読み取り装置から１ライン入力される毎に一定ライン分遅延した１ライン分の結合画像を出力する逐次処理を行うため、全画像データを保存するためのフレームメモリが不要となり、コストを抑制することができる。

また、１フレーム分の画像の読み取りが終了するまで画像結合処理を待つ必要がないため、処理スピードの高速化を図ることができる。

また、結合すべき画像の領域（被マッチング領域Ｍ２）が検出されたときの画像結合位置の確定をエッジ検出範囲までとするのは、画像の特徴のあるエッジ部分単位ごとに画像結合処理をしたほうが、誤差が少なくなるためである。言い換えれば、相関値は、隣接画像が最もよく一致する被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさにおいて最も高くなる。しかし、エッジ検出領域Ｅ１より下側には画像に特徴が有るか否か現時点では不明である。特徴的な画像が含まれている場合には画像結合位置の検出に役立つが、含まれて居ない場合にはエッジ検出領域Ｅ１の下側で急激な画像のずれが生じても検知できない。よって、確実に特徴的な画像が含まれるエッジ検出位置Ｅ０まで画像結合位置を確定することで、画像結合位置の誤検出を回避できる。

次に、被マッチング領域Ｍ２の画像を非線形に拡大又は縮小することの効果について説明する。図１４は、実施の形態１に係る画像結合装置１００の効果を説明するための画像の例を示す図である。図１４に示すような、１ラインより細かい（例えば、間隔の狭い）文様、すなわち、サンプリングのナイキスト周波数を超える文様の領域が続き、その後（すなわち、副走査方向Ｄ_Ｙに隣接して）、境界部Ｂ０を境にして、文様のない平坦な領域に変化する画像を想定する。文様の領域では、図７のステップＳＴ４においてエッジを検出することが困難であり、保留ラインを設けながら注目ラインＬ０は平坦な領域との境界部Ｂ０まで移動する。また、図１４に示すような細かい文様が比較的長く続く画像の場合、エッジを検出できたとしても、繰り返しパターンであるために相関が高くなるマッチング領域Ｍ１と被マッチング領域Ｍ２のペアが複数存在するため、「画像Ｎ」と「画像Ｎ＋１」の画像結合位置は誤差が生じやすくなる。なお、被撮像領域に１ラインより細かい間隔の文様が描かれている場合を例示したが、文様はこれに限定されず、他の文様であってもよい。

図１５は、実施の形態１に係る画像結合装置１００において、「画像Ｎ＋１」の境界部Ｂ２の位置が「画像Ｎ」の境界部Ｂ１の位置よりも副走査方向Ｄ_Ｙ（下側）に大きくずれている場合を示す図である。図１５においては、画像結合位置検出の誤差が細かい文様の領域で蓄積され、平坦な領域との境界部の直前にて「画像Ｎ＋１」の境界部Ｂ２の位置が大きく下側へずれている場合を示している。ナイキスト周波数を超えた高い周波数の文様は、スキャンしてもモアレ状の不鮮明な画像となるため、画像結合位置に誤差があっても結合画像上ではほとんど目立たない。しかし、マッチング領域Ｍ１に平坦な領域が現れたとき、その境界部は明確なエッジとして認識されるため、その画像結合位置は正確に算出する必要がある。

図１６〜図１８は、図１５の場合に、相関を算出するために設けられる、副走査方向Ｄ_Ｙの大きさの異なる複数の被マッチング領域Ｍ２を示している。図１６は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさと等しい場合を示し、図１７は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさより小さい場合を示し、図１８は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域Ｍ１の副走査方向Ｄ_Ｙの大きさより大きい場合を示している。この場合、被マッチング領域Ｍ２に含まれる平坦な領域の割合が最も近いことから、図１８に示す被マッチング領域Ｍ２のときに最も高い相関値が得られると予想できる。このとき、被マッチング領域Ｍ２を縮小することによって画像結合位置を求めるが、もし仮に、縮小処理が被マッチング領域Ｍ２の全体を線形に縮小することによって行われる場合、以下に示すような問題が生じる。

図１９（ａ）〜（ｃ）は、図１５の場合に、被マッチング領域Ｍ２の全体を線形に縮小した場合に生じる問題を示す図である。図１９（ａ）は、高い相関が得られたマッチング領域Ｍ１と被マッチング領域Ｍ２のペアを示しており、図１９（ｂ）は、領域Ｍ２ａ（被マッチング領域Ｍ２全体）を線形に縮小することによって被マッチング領域Ｍ２をマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさになるようにしたものである。また、図１９（ｃ）は、「画像Ｎ」と「画像Ｎ＋１」とを結合した結果得られた画像を示す。図１９（ｃ）に示されるように、境界部Ｂ１とＢ２の位置が「画像Ｎ」と「画像Ｎ＋１」とで大きくずれているため、「画像Ｎ＋１」を単純に図１９（ａ）の符合Ｍ２ａの部分に相当する面積を線形に縮小しても、図１９（ｂ）に示すように境界部Ｂ１及びＢ２の位置ずれは残ったままであり、結合画像は図１９（ｃ）に示すように境界部Ｂ２でずれが目立つ結果となる。

そこで、実施の形態１に係る画像結合装置１００では、前述したようにマッチング領域Ｍ１のエッジ検出位置Ｅ０に応じて非線形に画像の縮小を行う。図２０（ａ）〜（ｃ）は、被マッチング領域を非線形に縮小（例えば、非マッチング領域の拡大縮小領域のみを縮小）した場合の効果を示す図である。図２０（ａ）は、高い相関が得られたマッチング領域Ｍ１と被マッチング領域Ｍ２のペアを示しており、図２０（ｂ）は、被マッチング領域Ｍ２中の領域Ｍ２ｂ（拡大縮小領域Ａ２）のみを縮小することによって被マッチング領域Ｍ２をマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさになるようにしたもの、図２０（ｃ）は、結合結果の画像を示す。非線形拡大縮小手段１０３は、マッチング領域Ｍ１においてエッジ検出位置Ｅ０からマッチング領域Ｍ１下端までの領域を画像結合に重要な部分とみなし、その領域に対応する同じライン数の領域を被マッチング領域Ｍ２では縮小の非対象領域（等倍領域Ａ１）とし、等倍領域Ａ１以外の領域のみを縮小することによって画像の縮小を行う。よって、図２０（ａ）で示す領域Ｍ２ｂの部分（文様の領域）のみが縮小の対象となり、エッジ検出領域Ｅ１以下に対応する領域（平坦な領域）は縮小の対象外となる。そのため、図２０（ｂ）に示すように、「画像Ｎ」と「画像Ｎ＋１」との境界部Ｂ１及びＢ２の位置ずれが十分に補正され、図２０（ｃ）に示すように、「画像Ｎ」の境界部Ｂ１と「画像Ｎ＋１」の境界部Ｂ２の位置を一致させることができる。

次に、「画像Ｎ＋１」の境界部Ｂ２の位置が大きく上側へずれている場合を説明する。図２１は、実施の形態１に係る画像結合装置１００において、「画像Ｎ＋１」の境界部Ｂ２の位置が「画像Ｎ」の境界部Ｂ１の位置よりも副走査方向Ｄ_Ｙ（上側）に大きくずれている場合を示す図である。図２２〜図２４は、図２１の場合に、マッチング領域Ｍ１との相関を算出するために設けられる、副走査方向Ｄ_Ｙの大きさの異なる複数の被マッチング領域Ｍ２を示している。図２２は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域の副走査方向Ｄ_Ｙの大きさと等しい場合を示し、図２３は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域の副走査方向Ｄ_Ｙの大きさより小さい場合を示し、図２４は、被マッチング領域Ｍ２の副走査方向Ｄ_Ｙの大きさがマッチング領域の副走査方向Ｄ_Ｙの大きさより大きい場合を示している。この場合、被マッチング領域Ｍ２に含まれる平坦な領域の割合が最も近いことから、図２３に示す被マッチング領域Ｍ２のときに最も高い相関値が得られると予想できる。このとき、被マッチング領域Ｍ２を拡大することによって画像結合位置を求めるが、もし仮に、縮小処理が被マッチング領域Ｍ２の全体を線形に拡大することによって行われる場合、以下に示すような問題が生じる。

図２５（ａ）〜（ｃ）は、図２１の場合に、被マッチング領域Ｍ２の全体を線形に拡大した場合に生じる問題を示す図である。図２５（ａ）は、高い相関が得られたマッチング領域Ｍ１と被マッチング領域Ｍ２のペアを示しており、図２５（ｂ）は、領域Ｍ２ａ（被マッチング領域Ｍ２全体）を線形に拡大することによって被マッチング領域Ｍ２をマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさにしたもの、図２５（ｃ）は、結合結果の画像を示す。境界部Ｂ１及びＢ２の位置が「画像Ｎ」と「画像Ｎ＋１」とで大きくずれているため、「画像Ｎ＋１」を単純に図２５（ａ）のＭ２ｃの部分に相当する面積を線形（副走査方向Ｄ_Ｙ）に縮小しても、図２５（ｂ）に示すように境界部Ｂ２の位置ずれは残ったままであり、結合画像は、図２５（ｃ）に示すように、境界部Ｂ１及びＢ２でずれが目立つ結果となる。

そこで、実施の形態１に係る画像結合装置１００では、前述したように、マッチング領域Ｍ１のエッジ検出位置Ｅ０に応じて非線形に画像の拡大を行う。図２６（ａ）〜（ｃ）は、図２１の場合に、被マッチング領域Ｍ２を非線形に拡大（例えば、非マッチング領域の拡大縮小領域のみを拡大）した場合の効果を示す図である。図２６（ａ）は、高い相関が得られたマッチング領域Ｍ１と被マッチング領域Ｍ２のペアを示しており、図２６（ｂ）は、被マッチング領域Ｍ２中の領域Ｍ２ｄ（拡大縮小領域Ａ２）のみを拡大することによって被マッチング領域Ｍ２をマッチング領域Ｍ１と副走査方向Ｄ_Ｙについて同じ大きさにしたもの、図２６（ｃ）は、図２６（ｂ）の「画像Ｎ」と「画像Ｎ＋１」とを結合した画像を示す。非線形拡大縮小手段１０３は、マッチング領域Ｍ１においてエッジ検出位置Ｅ０からマッチング領域Ｍ１下端までの領域を画像結合に重要な部分とみなし、その領域に対応する同じライン数の領域を被マッチング領域Ｍ２では拡大の非対象領域（等倍領域Ａ１）とし、等倍領域Ａ１以外の領域のみを拡大することによって画像の拡大を行う。よって、図２６（ａ）で示す領域Ｍ２ｄの部分（文様の領域）のみが拡大の対象となり、エッジ検出領域Ｅ１以下に対応する領域（平坦な領域）は拡大の対象外となる。そのため、図２６（ｂ）に示すように境界部Ｂ２の位置ずれが十分に補正され、図２６（ｃ）に示すように境界部Ｂ１及びＢ２に当たる箇所を一致させることができる。

以上の例で示したように、エッジ検出位置Ｅ０から画像結合に重要とみなす部分を判断し、被マッチング領域Ｍ２を非線形に拡大又は縮小することで、画像結合位置検出に誤差が生じやすい画像が入力された場合でも、画像結合位置ずれの目立たない精度の高い画像結合が実現できる。

《２》実施の形態２
《２−１》実施の形態２の構成
図２７は、実施の形態２に係る画像読取装置４００を含む画像入出力システム２の構成を概略的に示す図である。図２７には、画像読取装置４００の光学系の構造を概略的に示す斜視図（上側）と、画像入出力システム２の一部を構成する画像信号処理系（ラインセンサ１１０及び画像結合装置１００）を示すブロック図（下側）とが含まれている。また、図２８は、実施の形態２に係る画像読取装置４００の１つの結像光学部４１１の構造を示す概略的な斜視図及び主要な光線を示す図である。また、図２９は、実施の形態２に係る画像読取装置４００の光学系を図２７のＳ_２９−Ｓ_２９線方向に見る概略的な断面及び主要な光線を示す図である。これらの図において、画像の読み取りにおける主走査方向Ｄ_ＸにＸ軸を置き、主走査方向Ｄ_Ｘに直交する副走査方向Ｄ_ＹにＹ軸を置き、主走査方向Ｄ_Ｘ及び副走査方向Ｄ_Ｙの両方に直交する深度方向Ｄ_ＺにＺ軸を置く。

図２７〜図２９に示されるように、実施の形態２に係る画像読取装置４００は、結像光学系４０１と、照明光源（図示せず）と、天板４０３（図２７には示さず）と、基板４０４上に配置された複数の撮像素子部４４１，４４２，…と、ラインメモリ１１０と、画像結像装置１００とを有する。実施の形態２における、結像光学系４０１、照明光源（図示せず）、天板４０３、基板４０４上に配置された複数の撮像素子部４４１，４４２，…、ラインメモリ１１０、及び画像結合装置１００は、実施の形態１における、結像光学系２０１、照明光源２０２、天板２０３、基板２０４上に配置された複数の撮像素子部２４１，２４２，…、ラインメモリ１１０、及び画像結合装置１００と同様の機能を有する。

実施の形態２に係る画像読取装置４００は、結像光学系４０１の構造が、上記実施の形態１における結像光学系２０１の構造と相違する。実施の形態２の結像光学系４０１は、原稿７０の被撮像領域からの光を折曲げるミラーを含む構成を採用している。実施の形態２の結像光学系４０１においては、第１グループ（系列１）Ｇ_４１に属する第１の結像光学部（例えば、結像光学部４１１）は、折曲げミラー４５１ａと、反射型の集光素子（例えば、集光ミラー）である第１凹面鏡４５２ａと、絞りとして機能するアパーチャ４５３ａと、反射型の集光素子（例えば、集光ミラー）である第２凹面鏡４５４ａと、折曲げミラー４５５ａと、これらの保持構造とを有している。また、第２グループ（系列２）Ｇ_４２に属する第２の結像光学部（例えば、結像光学部４１２）は、折曲げミラー４５１ｂと、反射型の集光素子である第１凹面鏡４５２ｂと、絞りとして機能するアパーチャ４５３ｂと、反射型の集光素子である第２凹面鏡４５４ｂと、折曲げミラー４５５ｂと、これらの保持構造とを有している。

なお、画像読取装置４００の構造は、上記態様に限定されず、第１凹面鏡４５２ａ，４５２ｂ又は第２凹面鏡４５４ａ，４５４ｂを、レンズと反射ミラーの組み合わせなどの他の光学部材を用いてで構成してもよい。また、各結像光学部が有する凹面鏡の数を、１枚とすること、又は、３枚以上とすることもできる。

《２−２》実施の形態２の動作
実施の形態２における第１凹面鏡４５２ａ，４５２ｂはそれぞれ、実施の形態１における結像光学部２１１及び２１２（図１）内の集光レンズに対応する集光機能を有する。実施の形態２におけるアパーチャ４５３ａ，４５３ｂはそれぞれ、絞り機能を有する。実施の形態２における第２凹面鏡４５４ａ，４５４ｂはそれぞれ、結像光学部２１１及び２１２（図１）内の集光レンズに対応する集光機能を有する。したがって、実施の形態１における結像光学系４０１は、実施の形態１における結像光学系２０１と同様の機能を有する。

《２−３》実施の形態２の効果
実施の形態２に係る画像入出力システム２は、実施の形態１に係る画像入出力システム１と同様の効果を奏することができる。

また、実施の形態２に係る画像入出力システム２の画像読取装置４００においては、原稿面から結像光学部（光学セル）への光路の途中に光路を水平方向に向ける第１の折曲げミラー４５１ａ及び４５１ｂが挿入されており、また、第２凹面鏡４５４ａから撮像素子部４４１への光路の途中にも第２の折曲げミラー４５５ａ及び４５５ｂが挿入されている。第２の折曲げミラーにより折曲げる方向は、第１グループ（系列１）Ｇ_４１及び第２グループ（系列２）Ｇ_４２の何れについても撮像素子部４４１，４４３又は４４２，４４４側である。図２９に示されるように、天板４０３に対して各光学セルの光軸は副走査方向Ｄ_Ｙに関して斜めに（すなわち、Ｚ軸方向を基準して所定方向の角度で）入射する。他の光学セルも、同様に構成されている。このように、実施の形態２に係る画像読取装置４００においては、各結像光学部が、第１凹面鏡４５２ａ（又は４５２ｂ）と、第２凹面鏡４５４ａ（又は４５４ｂ）の２つの凹面鏡を有しているので、画像読取装置４００の厚み方向（Ｚ軸方向）及び幅方向（Ｙ軸方向）において画像読取装置４００を小型化することができる。

また、実施の形態２に係る画像入出力システム２の画像読取装置４００では、第１凹面鏡４５２ａの後ろ側焦点位置にアパーチャ４５３ａを配置すれば、原稿側にテレセントリックな光学系を実現できる。この場合、結像倍率は、１より大きい拡大でも、１より小さい縮小でもよいが、等倍にしておくことによって、一般に流通している解像度のセンサを使用することができるという利点がある。

また、図示の例では、各光学セルの原稿画像はそれぞれに対応する撮像素子部上に反転像として作られる。そのため、画像結合処理に先立ち、画像を反転する処理が必要である。反転処理は、画像結合処理の前処理を行う専用の回路で行ってもよいし、又は、ラインメモリ１１０へ画像データを格納するときの順序とラインメモリ１１０から画像データを読み出すときの順序を逆にすることにより行ってもよい。

ここで、各光学セルは原稿側にテレセントリックな光学系であるから、原稿の位置が図２９の位置７３，７４，７５と変化しても、撮像素子部に対する画像の転写倍率が変化することがないという利点がある。

なお、実施の形態２に係る画像読取装置４００においては、主走査方向Ｄ_Ｘに関して各光学セルの光軸は天板４０３に対して垂直であるので、原稿位置がＺ軸方向（Ｄ_Ｚ方向）に移動しても、各光学セルの画像は主走査方向Ｄ_Ｘにはまったく動かない。しかし、副走査方向Ｄ_Ｙに関しては、各光学セルの光軸は天板４０３に対して垂直ではないので、原稿位置がＺ軸方向（Ｄ_Ｚ方向）に位置７３，７４，７５と変化すると、結像光学部４４１〜４４４が原稿を読み取る位置がずれる。その結果、原稿の位置に応じて得られる画像は副走査方向Ｄ_Ｙに移動する。このとき、系列１の結像光学部４４１，４４３，…の光軸と系列２の結像光学部４４２，４４４，…の光軸とは、図２９に示されるように、副走査方向Ｄ_Ｙに関して（Ｚ軸を基準として）逆向きに傾いている。そのため、原稿の位置が、Ｚ軸方向（Ｄ_Ｚ方向）に変化したときに、系列１（Ｇ_４１）の結像光学部４４１，４４３，…上で画像が移動する方向と、系列２（Ｇ_４２）の結像光学部４４２，４４４，…上で画像が移動する方向とは、逆向きになる。このように、実施の形態２に係る画像読取装置４００においては、図３に示されるように、隣り合う画像の重ね合わせの位置は副走査方向Ｄ_Ｙにのみ変化するため、副走査方向Ｄ_Ｙに対して垂直なエッジが存在する位置で重ね合わせの位置を検出すればよく、高品質な結合画像を得ることができる。

《３》変形例
実施の形態１及び２において、「…手段」とは、ある機能を電気回路によって実行する手段、又は、ある機能をソフトウエアを利用した構成によって実行する手段のいずれであってもよい。

また、実施の形態１及び２に係る画像入出力システムは、ディジタル複写機、イメージスキャナ、ファクシミリ装置、及び画像読取装置に接続されたパーソナルコンピュータ（ＰＣ）などのような、各種の情報処理装置に適用可能である。

また、実施の形態１及び２に係る画像結合方法を情報処理装置において実行可能にするプログラムを、該プログラムを格納した情報記録媒体（光ディスクや半導体メモリなど）から情報処理装置にインストールすることも可能であり、また、インターネットなどを経由してダウンロードして、インストールすることも可能である。

１ 画像入出力システム、 １００ 画像結合装置、 １００ａ 結合位置検出手段、 １００ｂ 画像結合手段、 １０１ 相関検出用領域設定手段、 １０２ 被相関検出用領域設定手段、 １０３ 非線形拡大縮小手段、 １０４ 相関算出手段、 １０５ 結合位置特定手段、 １１０ ラインメモリ、 ２００，４００ 画像読取装置、 ２０１ 結像光学系、 ２１１〜２１８ 結像光学部（光学セル）、 ２４１〜２４８，４４１〜４４４ 撮像素子部（ラインセンサ）、 ２３１〜２３８ 被撮像領域、 ４５１ａ，４５１ｂ 第１の折曲げミラー、 ４５２ａ，４５２ｂ 第１凹面鏡、 ４５３ａ，４５３ｂ アパーチャ、 ４５４ａ，４５４ｂ 第２凹面鏡、 ４５５ａ，４５５ｂ 第２の折曲げミラー、 Ｄ_Ｘ 主走査方向（Ｘ軸方向）、 Ｄ_Ｙ 副走査方向（Ｙ軸方向）、 Ｄ_Ｚ 深度方向（Ｚ軸方向）。

Claims (9)

1. 主走査方向に部分的に互いに重複している第１の被撮像領域と第２の被撮像領域とを異なる複数の撮像手段でそれぞれ撮像する主走査を、副走査方向に前記第１の被撮像領域と前記第２の被撮像領域とを移動させて繰り返すことによって生成された第１の画像の画像データと第２の画像の画像データとから、前記第１の画像と前記第２の画像の副走査方向の重ね合わせ位置を求め、該重ね合わせ位置に基づいて前記第１の画像と前記第２の画像の結合位置を決定する結合位置検出手段と、
   前記結合位置にしたがって、前記第１の画像の画像データと前記第２の画像の画像データとから、前記第１の画像と前記第２の画像とが結合された第３の画像の画像データを生成する画像結合手段と
   を有し、
   前記結合位置検出手段は、
   前記第１の画像内に、前記第２の画像との相関を算出するためのマッチング領域を設定し、さらに、前記マッチング領域の副走査方向の始点位置から終点位置までの間に、画像のエッジを検出するためのエッジ検出領域を設定する相関検出用領域設定手段と、
   前記第２の画像内に、前記マッチング領域の副走査方向の大きさと同じ副走査方向の大きさの被マッチング領域を含む、互いに副走査方向の大きさの異なる複数の被マッチング領域を設定する被相関検出用領域設定手段と、
   前記複数の被マッチング領域の各々の画像を副走査方向に非線形に拡大又は縮小して、前記複数の被マッチング領域の各々の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする非線形拡大縮小手段と、
   前記マッチング領域の画像と、前記非線形拡大縮小手段によって拡大又は縮小された前記被マッチング領域の画像の各々との相関度を示す値を算出する相関算出手段と、
   前記相関度を示す値により、前記複数の被マッチング領域の中から、前記マッチング領域と最も相関の高い被マッチング領域を選択し、該最も相関の高い被マッチング領域を前記非線形拡大縮小手段によって拡大又は縮小する際の前記第２の画像のリサンプリング位置を、前記マッチング領域の前記第１の画像と結合する前記結合位置として特定する結合位置特定手段と
   を有し、
   前記非線形拡大縮小手段は、前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合、前記マッチング領域の副走査方向の大きさに応じた数のデータを前記被マッチング領域から非等間隔にリサンプリングすることで前記被マッチング領域の画像を副走査方向に拡大又は縮小する
   こと特徴とする画像結合装置。
2. 前記非線形拡大縮小手段は、
   前記マッチング領域内において前記エッジ検出領域から前記マッチング領域の副走査方向の終点位置までの領域をマッチング領域内の等倍領域とし、
   前記被マッチング領域内において、前記被マッチング領域の副走査方向の終点位置から、前記マッチング領域内の等倍領域と副走査方向に同じ大きさの領域を、前記被マッチング領域の等倍領域と設定し、
   前記被マッチング領域内における前記被マッチング領域の等倍領域以外の領域を、副走査方向に拡大又は縮小することによって、前記被マッチング領域の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする
   ことを特徴とする請求項１に記載の画像結合装置。
3. 主走査方向に部分的に互いに重複している第１の被撮像領域と第２の被撮像領域とを異なる複数の撮像手段でそれぞれ撮像する主走査を、副走査方向に前記第１の被撮像領域と前記第２の被撮像領域とを移動させて繰り返すことによって生成された第１の画像の画像データと第２の画像の画像データとから、前記第１の画像と前記第２の画像の副走査方向の重ね合わせ位置を求め、該重ね合わせ位置に基づいて前記第１の画像と前記第２の画像の結合位置を決定する結合位置検出ステップと、
   前記結合位置にしたがって、前記第１の画像の画像データと前記第２の画像の画像データとから、前記第１の画像と前記第２の画像とが結合された第３の画像の画像データを生成する画像結合ステップと
   を有し、
   前記結合位置検出ステップは、
   前記第１の画像内に、前記第２の画像との相関を算出するためのマッチング領域を設定し、さらに、前記マッチング領域の副走査方向の始点位置から終点位置までの間に、画像のエッジを検出するためのエッジ検出領域を設定する相関検出用領域設定ステップと、
   前記第２の画像内に、前記マッチング領域の副走査方向の大きさと同じ副走査方向の大きさの被マッチング領域を含む、互いに副走査方向の大きさの異なる複数の被マッチング領域を設定する被相関検出用領域設定ステップと、
   前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合に、前記複数の被マッチング領域の各々の画像を副走査方向に非線形に拡大又は縮小して、前記複数の被マッチング領域の各々の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする非線形拡大縮小ステップと、
   前記マッチング領域の画像と、前記非線形拡大縮小ステップにおいて拡大又は縮小された前記被マッチング領域の画像の各々との相関度を示す値を算出する相関算出ステップと、
   前記相関度を示す値により、前記複数の被マッチング領域の中から、前記マッチング領域と最も相関の高い被マッチング領域を選択し、該最も相関の高い被マッチング領域を前記非線形拡大縮小ステップにおいて拡大又は縮小する際の前記第２の画像のリサンプリング位置を、前記マッチング領域の前記第１の画像と結合する前記結合位置として特定する結合位置特定ステップと
   を有し、
   前記非線形拡大縮小ステップにおいては、前記被マッチング領域の副走査方向の大きさが前記マッチング領域の副走査方向の大きさと異なる場合、前記マッチング領域の副走査方向の大きさに応じた数のデータを前記被マッチング領域から非等間隔にリサンプリングすることで前記被マッチング領域の画像を副走査方向に拡大又は縮小する
   こと特徴とする画像結合方法。
4. 前記非線形拡大縮小ステップにおいては、
   前記マッチング領域内において前記エッジ検出領域から前記マッチング領域の副走査方向の終点位置までの領域をマッチング領域内の等倍領域とし、
   前記被マッチング領域内において、前記被マッチング領域の副走査方向の終点位置から、前記マッチング領域内の等倍領域と副走査方向に同じ大きさの領域を、前記被マッチング領域の等倍領域と設定し、
   前記被マッチング領域内における前記被マッチング領域の等倍領域以外の領域を、副走査方向に拡大又は縮小することによって、前記被マッチング領域の副走査方向の大きさを前記マッチング領域の副走査方向の大きさと同じにする
   ことを特徴とする請求項３に記載の画像結合方法。
5. 請求項１又は２に記載の画像結合装置と、
   主走査方向に部分的に互いに重複している前記第１の被撮像領域と前記第２の被撮像領域とを撮像する異なる複数の前記撮像手段でそれぞれ撮像することによって前記第１の画像の画像データと前記第２の画像の画像データとを生成して、前記画像結合装置に与える画像読取装置と
   を有することを特徴とする画像入出力システム。
6. 前記第１の被撮像領域又は前記第２の被撮像領域の画像を、前記複数の撮像手段上に結像させる結像光学系を有し、
   前記複数の撮像手段の内の奇数番目の撮像手段は、主走査方向に１列に配列されており、
   前記複数の撮像手段の内の偶数番目の撮像手段は、前記奇数番目の撮像手段の配列と平行に主走査方向に１列に配列されている
   ことを特徴とする請求項５に記載の画像入出力システム。
7. 前記結像光学系は、集光レンズ及び凹面鏡の少なくとも一方を有することを特徴とする請求項６に記載の画像入出力システム。
8. 情報処理装置に請求項３又は４の方法を実行させるためのプログラム。
9. 情報処理装置に請求項３又は４の方法を実行させるためのプログラムを記録した、情報処理装置で読み取り可能な記録媒体。
   

Images