JP2004072533A

JP2004072533A - Device and method for inputting image

Info

Publication number: JP2004072533A
Application number: JP2002230532A
Authority: JP
Inventors: Yasuhiro Sato; 佐藤　康弘; Takeshi Maruyama; 丸山　剛; Takashi Kitaguchi; 北口　貴史
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-08-07
Filing date: 2002-08-07
Publication date: 2004-03-04
Anticipated expiration: 2022-08-07
Also published as: JP4037206B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image input device and an image inputting method capable of efficiently and simply obtaining an excellent entire image from a divided image. <P>SOLUTION: This image input device has a dividing and photographing means for allowing overlapping of an object to divide the object into a plurality of areas and photographing the divided objects, a focused state comparing means for comparing focused states of the plurality of divided images in the plurality of overlapping parts photographed by the dividing and photographing means and a divided image combining means for combining the plurality of divided images photographed by the dividing and photographing means. The image combining means uses the overlapping parts of the divided images, wherein the focused state comparing means determines that a focused state is the most excellent and combines each of the plurality of overlapping parts. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置及び画像入力方法に関し、特に被写体を分割撮影することにより、広範囲に被写体全体の画像を得ることができる画像入力装置及び画像入力方法に関する。
【０００２】
【従来の技術】
近年、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）の処理能力が飛躍的に向上しており、画像デ−タを容易に操作できるようになった。それに伴い、画像デ−タはオフィスでの文書作成などにも数多く使われ非常に重要なものとなった。このような状況下、どこにいても手元にある文書や物体を画像として簡単に取り込みたいと言う要求が高まりつつある。画像デ−タを取得するツ−ルとして、スキャナとデジタルカメラがある。スキャナは高解像で紙面を入力できるものの、立体物やその表面の文字などを撮ることはできず、入力サイズにも制限がある。また、占有面積も大きいので、持ち運びには不便である。一方、デジタルカメラでは上記の問題点は解決されるものの、解像度が低いという問題がある。この問題を解決するため、被写体を分割撮影し、その分割画像を合成する技術がある。特公平８−１３０８８号公報に記載された発明では、２軸の回転機構により撮像装置を回転させて分割撮影し、分割画像を合成する画像取込手段に関する発明が記載されている。しかし特公平８−１３０８８号公報に記載された発明では、分割撮影時のあおりによるボケ領域が発生するという問題が新たに発生するが、このボケ領域の発生を抑制するための技術が特開平１０−２１０２７２号公報に記載されている。同公報に記載されている発明によれば、分割撮影時の各画像よりボケの少ない領域を抽出し、その後で抽出した画像を合成処理することにより分割撮影時のあおりによるボケ領域を抑制することができ、被写体のサイズに制限されない機器構成で高解像度の撮影をすることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、特開平１０−２１０２７２号公報に記載された発明によると、撮影時のあおりが大きく被写界深度が狭い条件にて撮像する場合には、撮影画像領域内でボケの少ない領域が狭くなる。従って、ボケの少ない領域を抽出し、合成処理を行い全体画像を生成するには分割数を多くする必要がある。また、ボケ画像領域を除去した後で隣接する画像と合成させて全体画像を生成するので、撮影時に各領域画像を広めに撮影する必要があり、そのため、分割撮影の枚数が多くなり撮影時間が長くなる。更に、分割画像毎にボケ画像領域を削除する必要があるので、処理に時間がかかるという問題がある。
【０００４】
本発明は、上記の点に鑑みてなされたものであって、分割画像から良好な全体画像を効率的かつ簡単に得ることができる画像入力装置及び画像入力方法の提供を目的とする。
【０００５】
【課題を解決するための手段】
そこで上記課題を解決するため、本発明は、被写体を重複を許して複数の領域に分割して撮影する分割撮影手段と、前記分割撮影手段により撮影された複数の重複部分における複数の分割画像の合焦状態を比較する合焦状態比較手段と、前記分割撮影手段により撮影された複数の分割画像を合成する分割画像合成手段とを有する画像入力装置であって、前記画像合成手段は、前記複数の重複部分のそれぞれについて、前記合焦状態比較手段により合焦状態が最も良好と判定された前記分割画像の重複部分を用いて合成することを特徴とする。
【０００６】
このような画像入力装置では、被写体を分割して撮影する際の重複部分のみを処理対象とするため、効率的な合成処理を実現することができる。また、重複部分について、合焦状態が最も良好な画像データの重複部分を用いるため、画質の良好な全体画像を生成することができる。
【０００７】
また、上記課題を解決するため、本発明は、被写体を複数の領域に分割して撮影する分割撮影手段と、前記分割撮影手段により撮影された複数の分割画像を合成する分割画像合成手段とを有する画像入力装置であって、前記分割撮影手段は、撮像面と被写体が平行でない一の領域を複数の部分に更に分割し、各部分毎に焦点を合わせて撮影し、前記分割画像合成手段は、前記一の領域を構成するそれぞれの部分について焦点が合わせられた部分を用いて合成して当該領域の分割画像とすることを特徴とする。
【０００８】
このような画像入力装置では、分割撮影した一つの領域毎に、合焦状態の良好な画像を生成し、その画像を合成して全体画像を生成するため、画質の良好な全体画像を生成することができる。
【０００９】
また、上記課題を解決するため、本発明は、被写体を重複を許して複数の領域に分割して撮影する分割撮影手順と、前記分割撮影手順により撮影された複数の重複部分における複数の分割画像の合焦状態を比較する合焦状態比較手順と、前記分割撮影手順により撮影された複数の分割画像を合成する分割画像合成手順とを有する画像入力方法であって、前記画像合成手順は、前記複数の重複部分のそれぞれについて、前記合焦状態比較手順により合焦状態が最も良好と判定された前記分割画像の重複部分を用いて合成することを特徴とする。
【００１０】
このような画像入力方法では、請求項１記載の画像入力装置における画像入力方法を提供することができる。
【００１１】
また、本発明は、前記分割撮影手順において撮影された少なくとも一つの前記分割画像は、撮像面と前記被写体とが平行となるように撮影された画像であることを特徴とする。
【００１２】
このような画像入力方法では、少なくとも一つの分割画像は撮像面と被写体が平行となるように撮影するため、ボケの少ない画像となる。そのためこのように撮影された分割画像データは重複部分における処理は行う必要はなく、他の分割画像データについてのみ処理を行えばいいため、簡単に処理を行うことができる。
撮像面と被写体を平行にして撮影した画像を基準として補正処理を行うことにより、補正処理の品質を向上させることが可能になり、合焦状態の良好な全体画像を生成することができる。
【００１３】
また、本発明は、前記撮影手順は、撮像面からの距離が撮像中心よりも遠い領域を、合焦中心とすることを特徴とする。
【００１４】
このような画像入力方法では、分割撮影における分割領域毎に、撮像面からの距離が遠い領域に合焦中心を合わせて撮影するため、合焦状態が悪くなり易い、撮像面からの距離が遠い領域の合焦状態を良好にすることができる。一方、撮像面からの距離が近い領域については合焦状態が悪化するため、分割画像を合成する際の重複部分における合焦状態の良し悪しの判断が容易となり、効率的に画質の良好な全体画像を生成することができる。
【００１５】
また、上記課題を解決するため、被写体を複数の領域に分割して撮影する分割撮影手順と、前記分割撮影手順により撮影された複数の分割画像を合成する分割画像合成手順とを有する画像入力方法であって、前記分割撮影手順は、撮像面と被写体が平行でない一の領域を複数の部分に更に分割し、各部分毎に焦点を合わせて撮影し、前記分割画像合成手順は、前記一の領域を構成するそれぞれの部分について焦点が合わせられた部分を用いて合成して当該領域の分割画像とすることを特徴とする。
【００１６】
このような画像入力方法では、請求項２記載の画像入力装置における画像入力方法を提供することができる。
【００１７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１８】
図１は、画像入力装置の全体構成例を示す図である。図１の画像入力装置１００は、撮像装置１４と、撮像装置１４を支持するための支持柱２１ａと、支持ユニット２１ｂと、撮像装置１４を移動させる為の駆動部２０と、外部機器との通信を行う為のインタフェース２７を有する制御ユニット２６から構成される。
【００１９】
撮像装置１４は、駆動部２０における図示しないコネクタにより制御ユニット２６に電気的に接続されている。制御ユニット２６は、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とハ−ドディスク及び半導体メモリ等の記録媒体より構成され、撮像装置１４　の動作制御、撮像装置１４の内蔵メモリから転送された画像デ−タの画像処理や編集及び記録等を行う。また、制御ユニット２６は、インタフェース２４を介して外部機器との通信が可能となっている。インタフェース２７は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）用の汎用インタフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワ−クアダプタ、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）を用いる。
【００２０】
画像入力装置１００は、駆動部２０を用いて撮像装置１４を移動し、被写体２２を、例えばＡ〜Ｈで示される分割撮影領域２３に分割して撮影する。駆動部２０は、互いに回転軸を直行させた２個のステッピングモータと、所定の減衰比を有するギアを用いることにより、所定の軸の回転駆動が可能となっている。撮像装置１４を左右方向に移動すると撮影領域をＡからＢに変えることができ、更に上下方向の回転とを組み合わせれば、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨの領域を撮影することができる。被写体を高解像に撮影する場合は、撮像系の画角をできるだけ狭くし、このような複数の位置での撮影、即ち分割撮影をする。この場合、被写体のすべての部分は、分割画像デ−タのいずれかに撮影されるように撮影することが望ましい。
【００２１】
画像入力装置１００は、分割撮影した画像デ−タを必要に応じて合成し、１枚の画像デ−タを生成する。画像入力装置１００により大面積の被写体の画像入力、及び撮像装置１４により高倍率撮影を行うことで、より高解像度な画像の入力が可能になる。
【００２２】
次に、制御ユニット２６のハードウェア構成例について説明する。図２は、制御ユニット２６のハードウェア構成例を示す図である。図２の制御ユニットは、システムコントローラ５０、ＣＰＵ５１、ＳＤＲＡＭ５２，ハードディスク５９及び画像処理ユニット６５等から構成される。その他の構成部品については後述し、ここでの説明は省略する。
【００２３】
ハードディスク５９には、撮像装置１４が分割撮影した分割画像データが撮影条件等の属性情報と共に格納され、また、画像処理ユニット６５が合成した全体画像データが格納される。
【００２４】
画像処理ユニット６５は、ハードディスク５９に格納されている分割画像データを取り出して、後述の処理によって合成し、合成した画像データをハードディスク５９に格納する。即ち、制御部２６が駆動部２０を制御することにより、駆動部２０が撮像装置１４を各分割撮影の位置に移動し、撮像装置１４は各分割領域において分割撮像を実行する。分割撮影された分割画像データが、ハードディスク５９に格納され、画像処理ユニット６５が合成することにより、全体画像データが生成される。
【００２５】
次に、第一の実施の形態における画像処理ユニット６５の詳細について説明する。図３は、第一の実施の形態における画像処理ユニットの機能構成例を示す。
図３の画像処理ユニット６５ａは、例えばＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等の画像処理に適したＩＣにより構成され、画像入力部６５１と、重なり領域判定部６５２と、合焦状態比較部６５３と、画像選択部６５４と、画像合成演算部６５５と、画像出力部６５６とから構成される。
【００２６】
画像入力部６５１には、所定の条件にて被写体を複数領域に分割して撮影した分割画像デ−タがその属性情報（分割数、配置情報、解像度等）と共にハ−ドディスク５９から入力される。重なり領域判定部６５２は、画像入力部６５１に入力された分割画像デ−タの各領域について、重なり領域の有無及び範囲を判定する。
【００２７】
合焦状態比較部６５３は、重なり領域判定部６５２が重なり領域と判定した領域について合焦状態を比較する。画像選択部６５４は、合焦状態比較部６５３の比較結果に基づいて、重なり領域の合成対象として合焦状態が最も良好な分割画像データの重なり領域を採用する。また、重なり領域判定部６５２が重ならない領域と判定した領域については、画像合成演算部６５５にそのまま出力される。
【００２８】
画像合成演算部６５５は、各分割画像デ−タを合成することにより全体画像デ−タを生成する。画像出力部６５６は、画像合成演算部６５５が生成した全体画像デ−タを外部に出力する。出力された全体画像デ−タは、ハ−ドディスク５９に記録される。
【００２９】
次に、従来の問題点を明確にするために、従来の手法による分割画像データの合成について説明する。図４は、従来の手法により分割画像データを合成した例を示す図である。図４の分割画像デ−タ８１、８２及び８３は、分割画像データ８２が撮像面と平行となるように、図５の被写体８０を３分割にして撮影したものである。図５は被写体を示す図であり、図５の被写体８０は、平面上に「ＡＢＣＤ」の文字が記載されている。なお、ここで平行とは厳密に平行である必要はないため、以下略平行と記載する。ここで、略平行の条件は、分割撮像領域内での被写体面−撮像面距離が撮像装置の実際の撮影条件における被写界深度の幅以内、即ち分割画像データ内にボケ領域が発生しない状態をいう。
【００３０】
分割画像デ−タ８１と分割画像デ−タ８３とは、それぞれ、「Ａ」と「Ｄ」の文字が小さくなっているのが分かる。これは、撮像装置１４が回転駆動により被写体８０を撮影しているためである。即ち、撮影時のあおり（撮像面と被写体が略平行にならない状態）により、撮影した画像データに台形状の歪（あおり歪）が発生するためである。従って、このあおり歪を補正すべく分割画像データ８１及び８３に所定の射影変換を行い、分割画像データ８２と共に合成し、ノイズ除去を行うことで全体画像８４が生成される。
【００３１】
ここで、従来の手法により生成された全体画像８４では、ボケ画像領域が各分割画像の重なり領域に発生しているのがわかる。これは、分割画像データ８１及び８３のボケ画像領域がそのまま合成されているからである。
【００３２】
なお、分割画像データ８１及び８３のボケ画像領域は、撮影時のあおりにより、撮像距離が被写界深度の範囲外となるため発生する。図６は、被写界深度を説明するための図である。一般的な撮像光学系では図６に示したように被写界深度（前方被写界深度Ｌｆ，　後方被写界深度Ｌｒ）が存在し、この範囲内でのみ合焦するので、撮影時のあおりにより撮像距離が被写界深度の範囲外となった部分は、ボケ画像となってしまう。
【００３３】
次に、この重なり領域におけるボケ画像を解消するための本発明の画像処理ユニット６５ａによる分割画像データの合成処理について説明する。
【００３４】
図７は、第一の実施の形態における画像処理ユニットによる分割画像データの合成例を示す図である。撮像装置１４が、被写体８０を分割画像データ１３２と撮像面とが平行となるように３分割して撮影すると、分割画像データ１３１、１３２及び１３３が、制御ユニット２６のハードディスク５９に格納される。
【００３５】
続いて画像処理ユニット６５ａの画像入力部６５１に、分割画像デ−タ１３１、１３２及び１３３がその属性情報（分割数、配置情報、解像度等）と共にハ−ドディスク５９から入力される。
【００３６】
続いて重なり領域判定部６５２が、画像入力部６５１に入力された分割画像デ−タについて、重なり領域の有無及び範囲の判定を以下に示す方法で実行する。
【００３７】
図８は、分割画像データの重なり領域を示す図である。図８（Ａ）は、分割画像データ９１と分割画像データ９２が重なっている様子を表しており、（Ｂ）は、各分割画像データの重なり領域９３及び９４を示している。ここで、重なり領域９３及び９４の有無及び範囲については、図９に示すようなルックアップテーブル（ＬＵＴ）を用いることにより求めることができる。
【００３８】
図９は、ルックアップテーブルを示す図である。図９のルックアップテーブル（ＬＵＴ）２００は、互いに重なり領域を共有する二つの分割画像データのそれぞれの重なり領域の範囲を管理しており、第一の分割画像データの撮像位置（例えば撮像中心）としての撮像位置（Ａ）と、第二の分割画像データの撮像位置としての撮像位置（Ｂ）と、第一の分割画像データにおける重なり領域の範囲（Ａ）と、第二の分割画像データにおける重なり領域（Ｂ）とをデータ項目として有している。従って互いに重なり領域を共有する二つの分割画像データを撮影した場合には、ＬＵＴ２００により、各分割画像データの重なり範囲を求めることができる。
【００３９】
例えば、ＬＵＴ２００の一行目を図８（Ｂ）と対応づけて説明すると、撮像位置が（Ｘ_１，Ｙ_１）である分割画像データ９１と、撮像位置が（Ｘ_２，Ｙ_２）である分割画像データ９２とが重なり領域を共有する場合、ＬＵＴ２００より分割画像データ９１における重なり領域９３の範囲は（ａ_１，ｂ_１）〜（ａ_２，ｂ_２）であり、分割画像データ９２における重なり領域９４の範囲は（ａ_３，ｂ_３）〜（ａ_４，ｂ_４）であることが分かる。なお、重なり領域の各画像における座標値の算出は、各領域画像の相互相関関数を用いる等の一般的なパタ−ンマッチング手法を用いても良い。
【００４０】
重なり領域判定部６５２により分割画像データにおける重なり領域が判定されると、合焦状態比較部６５３が分割画像データ１３１及び１３２と、分割画像データ１３１及び１３３のそれぞれの重なり領域における合焦状態を比較する。分割画像データ１３１と１３２との重なり領域については分割画像データ１３２の重なり領域の方が合焦状態が良好と判定され、分割画像データ１３２と１３３との重なり領域については分割画像データ１３２の重なり領域の方が合焦状態が良好と判定される。
【００４１】
合焦状態を比較するには、ボケ量を定量的に示す関数として、例えばＦＦＴ（高速フーリエ変換），　ＤＣＴ（離散コサイン変換）等により画素値を周波数領域に変換する手段を用いる。前記周波数領域におけるピ−ク周波数の大小関係により、ボケ量の比較を定量的に行うことが可能である。同一領域の画像なので、ボケ量の比較の信頼性が高い。予め分割撮影における重なり領域の画像とボケ量の大小関係を定めておき、ルックアップテーブルとしてもよいが、一連の処理として実装するようにしても良い。
【００４２】
図１０は、画像処理ユニットの合焦状態比較部による合焦状態の比較の原理を示す図（その１）である。図１０（Ａ）はボケ画像を、（Ｂ）はその２次元フーリエ変換スペクトルを示す。
【００４３】
また、図１１は、画像処理ユニットの合焦状態比較部による合焦状態の比較の原理を示す図（その２）である。図１１（Ａ）は合焦画像を、（Ｂ）はその２次元フーリエ変換スペクトルを示す。このスペクトルは中心付近が低周波で、周辺ほど高周波であるものとする。図１０（Ｂ）、図１１（Ｂ）のスペクトルの相違より、ボケ量の比較ができる。実際には、各方向のスペクトルの半値幅等を算出する関数として実装すれば良い。
【００４４】
合焦状態比較部６５３により重なり領域における合焦状態が比較されると、画像選択部６５４は合焦状態が良好と判定された分割画像１３２の重なり領域を合成対象とし、それ以外の分割データ１３１と１３３の重なり領域を除去する。その結果、分割データ１３１から抽出データ１３４が、分割データ１３３から抽出データ１３５が生成される。
【００４５】
続いて画像合成演算部６５５が、抽出データ１３４及び１３５のあおり歪を補正し、更に分割画像データ１３２と共に合成処理することにより全体画像デ−タ１３６を生成する。全体画像データ１３６は、分割画像データの重なり領域については、合焦状態が良好な方を用いて合成しているため、重なり領域における画質が改善しているのが分かる。
【００４６】
続いて画像出力部６５６は、合成された全体画像１３６を外部に出力し、ハ−ドディスク５９に記録する。
【００４７】
上述したように、第一の実施の形態における画像処理ユニット６５ａよれば、分割画像データの重なり領域において、合焦状態の良好な分割画像データの重なり領域を用いて合成するため、重なり領域におけるボケを解消することがき、画質の良好な全体画像を得ることができる。
【００４８】
また、分割撮影において、少なくとも１枚以上の画像の撮影時は被写体面と撮像面が略平行にすると、そのように撮影した分割画像データはボケの少ない画像データとなる。従って、略平行で撮影した画像の重なり領域については除去処理を行う必要がなく、その両隣の画像の重なり領域についてのみ除去処理すればよいので、効率的な合成処理を実現することができる。
【００４９】
更に、分割撮影時にあおり撮影になる場合で、重なり領域が一方向に偏って存在する、即ち、重なり領域が分割画像端の一方向側にのみ存在する場合には、合焦中心を撮像中心より重なり領域の逆側の領域にシフトさせるとより、効率的な合成処理を行うことができる。
【００５０】
図１２は、被写体を三分割で撮影する状況を示す図である。図１２において、（ａ）、（ｂ）、（ｃ）の順に撮影を行うものとする。一般に、カメラのＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ，自動焦点調節）では、撮像領域の中心を合焦中心とする（（ａ）におけるＡ。（ｂ）におけるＢ）。従って、（ａ）や（ｃ）のようにあおりが存在する場合には、ボケ領域が二つの領域、即ち分割撮影の重なり領域と重なり領域の反対側の画像領域に発生する。このボケ領域を無くす為には二つの領域の画像データを削除する必要があるが、そうすると各画像データの使用領域が狭くなってしまい非効率である。
【００５１】
一方、あおり撮影では、（撮像距離の最大（Ｌ_１）−撮像中心での撮像距離（Ｌ_２））＞（撮像中心での撮像距離（Ｌ_２）−撮像距離の最小（Ｌ_３））となるので、撮像中心に合焦させると、撮像距離が遠い領域のピントが甘くなり易いという特性がある。
【００５２】
そこで、あおり撮影になる場合には、撮像面からの距離が撮像中心よりも遠い領域に合焦中心をシフトさせることにより撮像距離が遠い領域のピントが甘くなることを防止できる。即ち、（ａ）の場合の合焦中心をＡからＡ’へ、（ｃ）の場合の合焦中心をＣからＣ’へシフトさせことにより、重なり領域とは反対側の画質が良好となる一方、重なり領域においてよりボケ画像が発生することになり、重なり領域における合焦状態の比較が容易となる。従って、合成処理した全体画像におけるボケ領域を少なくすることができる。
【００５３】
なお、あおり歪を補正するための射影変換の詳細について以下に説明する。図１３は、あおり歪の補正方法を示す図である。図１３では被写体８０を、説明の便宜上２分割（第一画像、第二画像）して撮影する例を示している。図１３の第一画像上の点と第二画像上の点をそれぞれ、
【数１】

とすると、被写体が平面の場合、両者には次の関係が成り立つ。
【数２】

ここで、
【数３】

は射影変換行列と呼ばれるもので、画像が撮影される二つの位置が同じ場合、この関係は一定である。従って、予め既知の組（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）からｈ_１〜ｈ_８を算出すれば良い。（１）式、（２）式を用いることにより、第二画像の各点が第一画像の位置で撮影された場合の位置を算出することができるため、第一画像を基準とし、第一画像上に第二画像の画素をマッピングすることができる。分割画像が三枚以上の場合も、例えば第一画像と第ｎ画像との射影変換行列を予め算出しておけばよく、同様の方法で順次合成していくことができる。
【００５４】
図４において、撮像面と略平行となるように撮影された分割画像８２を基準とした分割画像８１及び分割画像８３との間の射影変換行列により、分割画像８１及び分割画像８３のあおり歪を補正することができる。
【００５５】
次に、画像処理ユニット６５における処理をソフトウェアにより実現する場合について説明する。図１４は、画像処理ユニットの処理をソフトウェアで実現する場合の制御ユニットのハードェア構成例を示す図である。図１４の制御ユニット１０２６は、図２の制御ユニット２６から画像処理ユニット６５が除かれた構成となっている。制御ユニット１０２６においては、ハードディスク５９に格納されている図示しない画像処理プログラムがＳＤＲＡＭ５２にロードされ、ＣＰＵ５１により実行される。画像処理プログラムはシステムコントローラ５０を介して種々の制御を行い画像処理ユニット６５に代わる処理を実行する。その他の各部については、図２の制御ユニット２６と同様であるため、ここでの説明は省略する。
【００５６】
以下、画像処理プログラムの処理について図５、図７及び図１５を参照しつつ説明する。図１５は、画像処理プログラムの処理を説明するためのフローチャートを示す。
【００５７】
ユ−ザが解像度と撮像領域を指定（Ｓ１０，Ｓ２０）すると、画像処理プログラムは、図５の被写体８０の分割数、撮像装置１４の回転角度について決定する（Ｓ３０、Ｓ４０、Ｓ５０）。ここで、分割数、回転角度は、分割領域に重なり領域ができるように決定される。
【００５８】
ステップＳ６０において画像入力装置１０は、被写体８０の分割領域毎に図７の分割画像データ１３１、１３２及び１３３を撮影し、制御ユニット２６のハードディスク５９に格納する。
【００５９】
ステップＳ６０に続いてステップＳ７０に進み、画像処理プログラムは、分割画像データ１３１〜１３３において重なり領域がないか判断する。重なり領域が有ると判断した場合は、ステップＳ８０に進み、重なり領域が無いと判断した場合はステップＳ９０に進む。
【００６０】
ステップＳ８０において、画像処理プログラムは、分割画像データ１３１と１３２との重なり領域と、分割画像データ１３２と１３３との重なり領域の合焦状態比較し、合焦状態の良くない分割画像データの重なり領域を除去する。その結果、分割画像データ１３１からは抽出データ１３４が生成され、分割画像データ１３３からは抽出データ１３５が生成される。
【００６１】
ステップＳ９０において、画像処理プログラムは、抽出データ１３４及び１３５についてあおり歪を補正し、更に分割画像データ１３２と共に合成処理することにより全体画像デ−タ１３６を生成する。
【００６２】
ステップＳ９０に続いてステップＳ１００に進み、画像処理プログラムは、合成した全体画像１３６を画像出力部６５６により外部に出力し、ハ−ドディスク５９に記録する。
【００６３】
次に、第二の実施の形態として、分割領域毎に画質の良好な分割画像データを生成し、その分割画像データを合成することで全体画像データを生成する例について説明する。
【００６４】
第二の実施の形態における画像入力装置１００の全体構成及びハードェア構成については、第一の実施の形態における図１及び図２と同様であるので説明は省略し、図２の画像処理ユニット６５の機能構成例について説明する。
【００６５】
図１６は、第二の実施の形態における画像処理ユニットの機能構成例を示す図である。図１６の画像処理ユニット６５ｂは、例えばＤＳＰ等の画像処理に適したＩＣにより構成され、画像入力部６６１、あおり撮影判定部６６２、合焦判定部６６７、使用可能領域選択部６６８、同一領域画像演算部６６９、画像合成演算部６７０及び画像出力部６７１から構成される。
【００６６】
画像入力部６６１には、被写体を所定の条件で複数領域に分割して撮影した分割画像データが入力される。あおり撮影判定部６６２は、画像入力部６６１に入力された分割画像データが、あおりを有する撮影条件であるか否かを判定する。
なお、あおり撮影判定部６６２があおり撮影であると判断した場合は、一つの分割領域が、複数の異なる焦点位置において撮影される。あおり撮影判定部６６２があおらない撮影であると判断した場合は、分割画像データは後述する画像合成演算部６７０に出力される。
【００６７】
合焦判定部６６７は、焦点位置調整により焦点位置を変えて撮影した同一領域の分割画像について分割領域を更に分割した各部分毎の合焦状態を判別する。使用可能領域選択部６６８は、合焦判定部６６７により合焦状態が最も良好と判断された分割画像データの部分画像を合成の対象とする。
【００６８】
同一領域演算部６６９は、合焦判定分６６７が合成対象とした部分画像を合成して同一領域の分割画像データを生成する。
【００６９】
画像合成演算部６７０は、同一領域演算部６６９により生成された分割画像データについてあおり歪を補正すると共に、あおり撮影判定部６６２によりあおりのない条件で撮影されたと判断された分割画像データと合成し、全体画像データを生成する。
【００７０】
画像出力部６７１は、画像合成演算部６７０により生成された全体画像データを出力する。出力された全体画像データは、図２に示す同じ制御ユニット２６内のハードディスク５９に記録される。
【００７１】
次に、画像処理ユニット６５ｂの分割画像データの合成について、図１７を参照しつつ説明する。
【００７２】
図１７は、第二の実施の形態における画像処理ユニットによる分割画像の合成例示す図である。撮像装置１４が、被写体８０を分割画像データ１８２が撮像面と平行となるように３分割して撮影すると、分割画像データ１８１、１８２及び１８３が、制御ユニット２６のハードディスク５９に格納される。
【００７３】
分割画像データ１８１と１８３の領域については、あおり撮影判定部６６２が撮影時のあおりを検出し、合焦位置を変えてそれぞれ分割画像データ１８４と１８５とが撮影されハードディスク５９に格納される。
【００７４】
続いて合焦判定部６６７が、分割画像データ１８１と１８４についてそれぞれの部分（右側領域、左側領域）毎の合焦状態を比較する。その結果、分割画像データ１８１と分割画像データ１８４について、左側の領域は分割画像データ１８１の、右側の領域は分割画像データ１８４の方の合焦状態が良好であることが判定される。また、分割画像データ１８３と１８５についても同様にして合焦状態を比較し、右側の領域は分割画像データ１８３の、左側の領域
は分割画像データ１８５の方の合焦状態が良好であることが判定される。
【００７５】
続いて使用可能領域選択部６６８が、合焦判定部６６７の比較結果に基づいて、合焦状態が最も良好と判定された領域を合成対象として抜き出す。即ち、分割画像データ１８１と１８４については、分割画像データ１８１の左側の領域と分割画像データ１８４の右側の領域を、分割画像データ１８３と１８５については、分割画像データ１８３の右側の領域と分割画像データ１８５の左側の領域が抜き出される。
【００７６】
続いて同一領域演算部６６９が、合焦判定部６６７が抜き出した部分画像領域を合成して分割領域毎の分割画像を生成する。即ち、分割画像データ１８１の左側の領域と分割画像データ１８４の右側の領域を合成して分割画像データ１８６を生成し、分割画像データ１８３の右側の領域と分割画像データ１８５の左側の領域を合成して分割画像データ１８７を生成する。
【００７７】
続いて画像合成演算部６７０が、同一領域演算部６６９により生成された分割画像１８６及び１８７のあおりを補正し、あおり撮影判定部６６２によりあおりのない条件で撮影されたと判断された分割画像データ１８２と合成し、全体画像データ１８８を生成する。
【００７８】
続いて画像出力部６６９が全体画像データ１８８を出力し、同じ制御ユニット２６内のハードディスク５９に記録する。
【００７９】
上述したように、第二の実施の形態における画像処理ユニット６５ｂでは、分割画像データ毎にボケ画像領域の少ない画像データを生成するため、より画質の良好な全体画像データを得ることができる。
【００８０】
次に、画像処理ユニット６５ｂにおける処理をソフトウェアにより実現する場合について説明する。画像処理ユニット６５ｂの処理をソフトウェアで実現する場合の制御ユニットのハードウェア構成例は図１４に示したものと同じである。
【００８１】
図１８は、第二の実施の形態における画像処理プログラムの処理を説明するためのフローチャートを示す。
【００８２】
ユ−ザが解像度と撮像領域を指定（Ｓ２００，Ｓ２１０）すると、図示しない画像処理プログラムは、図５の被写体８０の分割数、撮像装置１４の回転角度を決定する（Ｓ２２０、Ｓ２３０、Ｓ２４０）。
【００８３】
ステップＳ２５０において画像処理プログラムは、撮影対象となっている分割領域の撮影があおり撮影であるかどうかを判断する。あおり撮影でない場合、例えば図１７の分割画像１８２の撮影の場合は、ステップＳ３３０に進み、撮像装置１４が分割画像１８２を撮影する。
【００８４】
ステップＳ２５０において画像処理プログラムが、あおり撮影であると判断した場合は、一つの分割領域について焦点位置を変更して複数回撮影する（Ｓ２６０〜Ｓ２９０）。即ち、分割画像１８１と１８４とが同一の分割領域について撮影され、分割画像１８３と１８５とが同一の分割領域について撮影される。
【００８５】
分割撮影が終了するとステップＳ３００に進み、画像処理プログラムは、分割画像データ１８１と１８４について部分毎の合焦状態を判定し、合焦状態の良好な方を合成対象として抜き出す。その結果、分割画像データ１８１の左側の領域と分割画像データ１８４の右側の領域が抜き出される。同様にして分割画像データ１８３と１８５については、分割画像データ１８３の右側の領域と分割画像データ１８５の左側の領域が抜き出される。
【００８６】
ステップＳ３００に続いてステップＳ３１０に進み、画像処理プログラムは、ステップＳ３００で抜き出した部分画像領域を合成して分割領域毎の分割画像データを生成する。即ち、分割画像データ１８１の左側の領域と分割画像データ１８４の右側の領域を合成して分割画像データ１８６を生成し、分割画像データ１８３の右側の領域と分割画像データ１８５の左側の領域を合成して分割画像データ１８７を生成する。
【００８７】
ステップＳ３１０に続いてステップＳ３２０に進み、画像処理プログラムは、ステップＳ３１０で生成した分割画像１８６及び１８７のあおり歪を補正し、あおり撮影判定部６６２によりあおりのない条件で撮影されたと判断された分割画像データ１８２と合成し、全体画像データ１８８を生成する。
【００８８】
ステップＳ３２０に続いてステップＳ３４０に進み、画像処理プログラムは、ステップＳ３２０で生成した全体画像データ１８８を出力し、ハードディスク５９に記録する。
【００８９】
なお、撮像装置１４、駆動部２０及び制御ユニット２６のハードウェア構成例について以下に示す。
【００９０】
図１９は、撮像装置、駆動部及び制御ユニットの詳細なハードウェア構成例を示す図である。図１９の撮像装置１４は、固定レンズ１と、ズ−ムレンズ２と、絞り機構３と、シャッタ４と、フォ−カスレンズ５と、撮像素子６と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路７と、Ａ／Ｄ変換機８と、ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）９と、ＩＰＰ（Ｉｍａｇｅ　Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）１０と、メモリ１１と、ＭＰＵ１２と、Ｉ／Ｏコントローラ１３と、ＵＳＢ１５と、シリアルコネクタ１６とから構成される。
【００９１】
被写体像は、シャッタ４により露光時間が制御され、固定レンズ１、ズ−ムレンズ２、絞り機構３、フォ−カスレンズ５を通して撮像素子６上に形成される。撮像素子６からの画像信号はＣＤＳ７でサンプリングされた後、Ａ／Ｄ変換器８でデジタル信号化される。この時のタイミングはＴＧ９で生成される。デジタル信号化された画像信号は、ＩＰＰ１０でアパ−チャ補正などの画像処理、圧縮などを行いメモリ１１に保存される。各ユニットの動作は、ＭＰＵ１２にて制御される。
【００９２】
駆動部２０は、撮像装置１４を移動させるための駆動機構であり、ステッピングモータＸ７０と、ステッピングモータＸ７０の回転軸に直行する回転軸を有するステッピングモータＹ７１と、ステッピングモータＸ７０の回転量を検出するロータリエンコーダＸ７４と、ステッピングモータＹ７１の回転量を検出するロータリエンコーダＹ７５と、検出回路７３とから構成される。所定の回転位置で静止するような基準位置を設け、ステッピングモータの回転位置をキャリブレ−ションすれば、ロータリエンコーダＸ７４、ロータリエンコーダＹ７５及び検出回路７３は設けなくてもよい。
【００９３】
制御ユニット２６は、システムコントローラ５０、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５２、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス５３、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ｍｅｍｏｒｙ　Ｃａｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ａｓｓｏｃｉａｔｉｏｎ）５４、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）入出力デバイス５５、ＰＣＩ／ＩＳＡ（Ｉｎｄｕｓｔｒｙ　Ｓｔａｎｄａｒｄ　Ａｒｃｈｉｔｅｃｔｕｒｅ）ブリッジＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ　Ｄｒｉｖｅ　Ｅｌｅｃｔｒｏｎｉｃｓ）ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）変換インタフェース５６、ＵＳＢ５８、ハ−ドディスク５９、ＩＳＡバス６０、Ｉ／Ｏコントロ−ラ６１、シリアルコネクタ６２、パラレルコネクタ６３及びＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）コネクタ６４を有する小型のボードコンピュータユニットから構成される。
【００９４】
被写体を撮影する場合、Ｉ／Ｏ入出力デバイス５５が、駆動部２０の駆動回路７２にパルス電圧を印加し、所定の角度になるように検出回路７３の回転検出値をフィ−ドバックすると、ＵＳＢ５８が、撮像装置１４のへ撮影コントロ−ル信号を送信する。撮影が行われると、撮影された画像デ−タが撮影条件等の属性情報と共にハ−ドディスク５９に記録される。被写体を分割撮影する場合は以上の処理が枚数分繰り返される。画像処理ユニット６５は、ハ−ドディスク５９に記録された複数の分割撮影された画像デ−タを合成して一枚の画像デ−タを生成する。生成された画像デ−タは、ハ−ドディスク５９に記録される。
【００９５】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００９６】
【発明の効果】
上述の如く、本発明によれば、被写体を分割して撮影する際の重複部分のみを処理対象とするため、効率的な合成処理を実現することができる。また、重複部分について、合焦状態が最も良好な画像データの重複部分を用いるため、画質の良好な全体画像を生成することができる。
【図面の簡単な説明】
【図１】画像入力装置の全体構成例を示す図である。
【図２】制御ユニットのハードウェア構成例を示す図である。
【図３】第一の実施の形態における画像処理ユニットの機能構成例を示す図である。
【図４】従来の手法により分割画像データを合成した例を示す図である。
【図５】被写体の一例を示す図である。
【図６】被写界深度を説明するための図である。
【図７】第一の実施の形態における画像処理ユニットによる分割画像データの合成例を示す図である。
【図８】分割画像データの重なり領域を示す図である。
【図９】ルックアップテーブルを示す図である。
【図１０】画像処理ユニットの合焦状態比較部による合焦状態の比較の原理を示す図（その１）である。
【図１１】画像処理ユニットの合焦状態比較部による合焦状態の比較の原理を示す図（その２）である。
【図１２】被写体を三分割で撮影する状況を示す図である。
【図１３】あおり歪の補正方法を説明するための図である。
【図１４】画像処理ユニットの処理をソフトウェアで実現する場合の制御ユニットのハードウェア構成例を示す図である。
【図１５】画像処理プログラムの処理を説明するためのフローチャートを示す図である。
【図１６】第二の実施の形態における画像処理ユニットの機能構成例を示す図である。
【図１７】第二の実施の形態における画像処理ユニットによる分割画像の合成例を示す図である。
【図１８】第二の実施の形態における画像処理プログラムの処理を説明するためのフローチャートである。
【図１９】撮像装置、駆動部及び制御ユニットの詳細なハードウェア構成例を示す図である。
【符号の説明】
１　　固体レンズ
２　　ズームレンズ
３　　絞り機構
４　　シャッタ
５　　フォーカスレンズ
６　　撮像素子
７　　ＣＤＳ
８　　Ａ／Ｄ変換器
９　　ＴＧ
１０　　ＩＰＰ
１１　　メモリ
１２　　ＭＰＵ
１３　　Ｉ／Ｏコントローラ
１４　　撮像装置
１５、５８　　ＵＳＢ
１６　　シリアルコネクタ
２０　　駆動部
２１ａ　　支持柱
２１ｂ　　支持ユニット
２２　　被写体
２７　　インタフェース
５０　　システムコントローラ
５１　　ＣＰＵ
５２　　ＳＤＲＡＭ
５３　　ＰＣＩバス
５４　　ＰＣＭＣＩＡ
５５　　Ｉ／Ｏ入出力デバイス
５６　　ＰＣＩ／ＩＳＡブリッジＩＤＥ、ＵＳＢ変換インタフェース
５７　　ＩＤＥ
５９　　ハードディスク
６０　　ＩＳＡバス
６１　　Ｉ／Ｏコントローラ
６２　　シリアルコネクタ
６３　　パラレルコネクタ
６４　　ＬＡＮコネクタ
７０　　ステッピングモータＸ
７１　　ステッピングモータＹ
７２　　駆動回路
７３　　検出回路
７４　　ロータリケンコーダＸ
７５　　ロータリエンコーダＹ
１００　　画像入力装置
６５１、６６１　　画像入力部
６５２　　重なり領域判定部
６５３　　合焦状態比較部
６５４　　画像選択部
６５５　　画像合成演算部
６５６、６７１　　画像出力部
６６２　　あおり撮影判定部
６６７　　合焦判定部
６６８　　使用可能領域選択部
６６９　　同一領域画像演算部
６７０　　画像合成演算部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image input apparatus and an image input method, and more particularly to an image input apparatus and an image input method capable of obtaining an image of the entire subject over a wide range by dividing and photographing the subject.
[0002]
[Prior art]
In recent years, the processing capability of a PC (Personal Computer) has been dramatically improved, and image data can be easily operated. Along with this, image data has become very important since it has been used in a large number of documents in offices. Under such circumstances, there is an increasing demand to easily capture a document or object at hand anywhere as an image. Tools for acquiring image data include scanners and digital cameras. Although the scanner can input a paper with high resolution, it cannot capture a three-dimensional object or characters on the surface thereof, and the input size is limited. In addition, since the occupied area is large, it is inconvenient to carry. On the other hand, the digital camera solves the above problem, but has a problem of low resolution. In order to solve this problem, there is a technique in which a subject is divided and photographed, and the divided images are combined. In the invention described in Japanese Patent Publication No. 8-13088, there is described an invention relating to image capturing means for rotating an image pickup apparatus by a two-axis rotating mechanism to perform divided photographing and to combine divided images. However, in the invention described in Japanese Patent Publication No. 8-13088, there is a new problem that a blurred area is generated due to a tilt at the time of divided photographing. -210272. According to the invention described in the publication, an area having less blur is extracted from each image at the time of divided shooting, and then the extracted image is synthesized to suppress a blur area due to a tilt at the time of divided shooting. And high-resolution shooting can be performed with a device configuration that is not limited by the size of the subject.
[0003]
[Problems to be solved by the invention]
However, according to the invention described in Japanese Patent Application Laid-Open No. H10-210272, when imaging is performed under the condition that the tilt during imaging is large and the depth of field is small, the area with less blur in the captured image area is narrowed. . Therefore, it is necessary to increase the number of divisions in order to extract a less blurred area and perform a synthesis process to generate an entire image. In addition, since the entire image is generated by combining the adjacent images after removing the blurred image area, it is necessary to shoot each area image wider at the time of shooting, so that the number of divided shootings increases and the shooting time increases. become longer. Furthermore, since it is necessary to delete the blurred image area for each divided image, there is a problem that it takes time for processing.
[0004]
The present invention has been made in view of the above points, and has as its object to provide an image input device and an image input method capable of efficiently and easily obtaining a good whole image from a divided image.
[0005]
[Means for Solving the Problems]
Therefore, in order to solve the above-described problem, the present invention provides a divided photographing unit that divides a subject into a plurality of regions while allowing overlapping, and photographs a plurality of divided images in a plurality of overlapping portions photographed by the divided photographing unit. An image input apparatus comprising: a focused state comparing unit that compares a focused state; and a divided image combining unit that combines a plurality of divided images photographed by the divided photographing unit. Are combined using the overlapped portions of the divided images for which the in-focus state is determined to be the best by the in-focus state comparison means.
[0006]
In such an image input device, since only the overlapping portion when dividing and photographing a subject is to be processed, efficient combining processing can be realized. In addition, since the overlapping portion of the image data having the best in-focus state is used for the overlapping portion, it is possible to generate an entire image with good image quality.
[0007]
According to another aspect of the present invention, there is provided a divided photographing unit configured to divide a subject into a plurality of regions and photograph the subject, and a divided image combining unit configured to combine a plurality of divided images photographed by the divided photographing unit. The divided image capturing means further divides one area where the imaging surface and the subject are not parallel into a plurality of portions, focuses on each portion and captures the image, and Each of the parts constituting the one area is synthesized using a focused part to obtain a divided image of the area.
[0008]
In such an image input device, a good-focused image is generated for each divided region, and the images are combined to generate a whole image. Therefore, a good-quality whole image is generated. be able to.
[0009]
Further, in order to solve the above-mentioned problem, the present invention provides a divided photographing procedure of dividing a subject into a plurality of regions while allowing overlapping, and a plurality of divided images in a plurality of overlapping portions photographed by the divided photographing procedure. An image input method comprising: a focusing state comparison procedure of comparing the focusing states of a plurality of images; and a divided image combining procedure of combining a plurality of divided images captured by the divided capturing procedure. For each of the plurality of overlapping portions, the combining is performed using the overlapping portions of the divided images for which the in-focus state is determined to be the best in the in-focus state comparing procedure.
[0010]
According to such an image input method, it is possible to provide an image input method in the image input device according to the first aspect.
[0011]
Further, the present invention is characterized in that at least one of the divided images photographed in the divided photographing procedure is an image photographed so that an imaging surface and the subject are parallel.
[0012]
In such an image input method, since at least one of the divided images is photographed so that the imaging surface and the subject are parallel, the image is less blurred. Therefore, it is not necessary to perform the processing on the overlapped part of the divided image data thus photographed, and the processing may be performed only on the other divided image data, so that the processing can be easily performed.
By performing the correction process on the basis of an image captured with the imaging surface and the subject in parallel, it is possible to improve the quality of the correction process, and it is possible to generate a good in-focus image.
[0013]
Further, in the invention, it is preferable that in the shooting procedure, an area whose distance from an imaging surface is farther than an imaging center is set as a focusing center.
[0014]
In such an image input method, for each of the divided regions in the divided photographing, since the photographing is performed with the focus center set on the region far from the imaging surface, the in-focus state is easily deteriorated, and the distance from the imaging surface is long. The focus state of the region can be improved. On the other hand, since the in-focus state deteriorates in an area at a short distance from the imaging surface, it is easy to determine whether the in-focus state is good or not in an overlapping portion when the divided images are combined, and the entire image with good image quality is efficiently obtained. Images can be generated.
[0015]
Further, in order to solve the above-mentioned problem, an image input method comprising: a divided photographing procedure of dividing a subject into a plurality of regions for photographing; and a divided image combining procedure of combining a plurality of divided images photographed by the divided photographing procedure. In the divided photographing procedure, the one area in which the imaging surface and the subject are not parallel is further divided into a plurality of parts, and each part is focused and photographed. It is characterized in that each of the portions constituting the region is combined using the focused portion to form a divided image of the region.
[0016]
According to such an image input method, it is possible to provide an image input method in the image input device according to the second aspect.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 is a diagram illustrating an example of the overall configuration of an image input device. The image input device 100 shown in FIG. 1 includes an imaging device 14, a support column 21a for supporting the imaging device 14, a support unit 21b, a driving unit 20 for moving the imaging device 14, and communication with an external device. And a control unit 26 having an interface 27 for performing
[0019]
The imaging device 14 is electrically connected to the control unit 26 by a connector (not shown) in the drive unit 20. The control unit 26 includes an MPU (Micro Processing Unit) and a recording medium such as a hard disk and a semiconductor memory. The control unit 26 controls the operation of the image pickup device 14 and the image data of the image data transferred from the built-in memory of the image pickup device 14. Performs processing, editing and recording. The control unit 26 can communicate with an external device via the interface 24. The interface 27 uses a general-purpose interface for a PC (Personal Computer), for example, RS-232C, USB (Universal Serial Bus), IEEE1394, a network adapter, and IrDA (Infrared Data Association).
[0020]
The image input device 100 moves the imaging device 14 by using the driving unit 20 to photograph the subject 22 by dividing the subject 22 into, for example, divided photographing regions 23 indicated by A to H. The drive unit 20 is capable of rotationally driving a predetermined shaft by using two stepping motors whose rotation axes are orthogonal to each other and a gear having a predetermined attenuation ratio. By moving the imaging device 14 in the left-right direction, the shooting area can be changed from A to B, and by further combining the rotation in the vertical direction, the areas C, D, E, F, G, and H can be shot. it can. When photographing a subject with high resolution, the angle of view of the imaging system is made as narrow as possible, and photographing at such a plurality of positions, that is, divided photographing is performed. In this case, it is desirable to photograph all parts of the subject so as to be photographed in any of the divided image data.
[0021]
The image input device 100 combines the image data obtained by the divisional shooting as needed, and generates one image data. By inputting an image of a large-area subject using the image input device 100 and performing high-magnification photography using the imaging device 14, it is possible to input a higher-resolution image.
[0022]
Next, an example of a hardware configuration of the control unit 26 will be described. FIG. 2 is a diagram illustrating an example of a hardware configuration of the control unit 26. The control unit in FIG. 2 includes a system controller 50, a CPU 51, an SDRAM 52, a hard disk 59, an image processing unit 65, and the like. Other components will be described later, and description thereof will be omitted.
[0023]
The hard disk 59 stores the divided image data obtained by the image capturing device 14 and the image data together with the attribute information such as the image capturing conditions, and the whole image data synthesized by the image processing unit 65.
[0024]
The image processing unit 65 takes out the divided image data stored in the hard disk 59, synthesizes the divided image data by processing described later, and stores the synthesized image data in the hard disk 59. That is, when the control unit 26 controls the driving unit 20, the driving unit 20 moves the imaging device 14 to the position of each divided imaging, and the imaging device 14 performs the divided imaging in each divided region. The divided image data obtained by the divisional photographing is stored in the hard disk 59 and is combined by the image processing unit 65, so that the entire image data is generated.
[0025]
Next, details of the image processing unit 65 in the first embodiment will be described. FIG. 3 illustrates a functional configuration example of the image processing unit according to the first embodiment.
The image processing unit 65a in FIG. 3 is configured by an IC suitable for image processing such as, for example, a DSP (Digital Signal Processor), and includes an image input unit 651, an overlap area determination unit 652, a focus state comparison unit 653, It comprises a selection unit 654, an image synthesis operation unit 655, and an image output unit 656.
[0026]
The image input unit 651 receives, from the hard disk 59, the divided image data obtained by dividing the subject into a plurality of regions under predetermined conditions and the attribute information (number of divisions, arrangement information, resolution, etc.). You. The overlapping area determination unit 652 determines the presence or absence of an overlapping area and the range of each area of the divided image data input to the image input unit 651.
[0027]
The in-focus state comparison unit 653 compares the in-focus state of the area determined by the overlap area determination unit 652 as the overlap area. The image selecting unit 654 adopts the overlapping area of the divided image data having the best in-focus state as the overlapping area synthesis target based on the comparison result of the focusing state comparing unit 653. In addition, an area determined by the overlapping area determination unit 652 as a non-overlapping area is output to the image synthesis calculation unit 655 as it is.
[0028]
The image synthesizing operation unit 655 generates the entire image data by synthesizing the divided image data. The image output unit 656 outputs the entire image data generated by the image synthesis operation unit 655 to the outside. The output whole image data is recorded on the hard disk 59.
[0029]
Next, in order to clarify the conventional problems, the synthesis of the divided image data by the conventional method will be described. FIG. 4 is a diagram showing an example in which divided image data is combined by a conventional method. The divided

image data

81, 82, and 83 in FIG. 4 are obtained by dividing the subject 80 in FIG. 5 into three parts so that the divided image data 82 is parallel to the imaging surface. FIG. 5 is a view showing a subject, and the subject 80 in FIG. 5 has characters “ABCD” written on a plane. Here, the term “parallel” does not need to be strictly parallel. Here, the substantially parallel condition is a condition in which the distance between the subject surface and the imaging surface in the divided imaging region is within the width of the depth of field under the actual imaging conditions of the imaging device, that is, a condition in which no blur region occurs in the divided image data. Say.
[0030]
In the divided image data 81 and the divided image data 83, it can be seen that the characters "A" and "D" are smaller. This is because the imaging device 14 captures an image of the subject 80 by rotational driving. That is, a trapezoidal distortion (tilt distortion) is generated in the captured image data due to a tilt (a state in which the imaging surface and the subject are not substantially parallel) at the time of shooting. Therefore, a predetermined projective transformation is performed on the divided

image data

81 and 83 in order to correct the tilting distortion, the resultant is combined with the divided image data 82, and noise is removed to generate a whole image 84.
[0031]
Here, in the whole image 84 generated by the conventional method, it can be seen that the blurred image region occurs in the overlapping region of each divided image. This is because the blurred image areas of the divided

image data

81 and 83 are synthesized as they are.
[0032]
Note that the blurred image areas of the divided

image data

81 and 83 occur because the imaging distance is out of the range of the depth of field due to the tilt during shooting. FIG. 6 is a diagram for explaining the depth of field. In a general image pickup optical system, as shown in FIG. 6, there are depths of field (front depth of field Lf, rear depth of field Lr), and focusing is performed only within this range. A portion where the imaging distance is out of the range of the depth of field due to the tilting becomes a blurred image.
[0033]
Next, a description will be given of a process of synthesizing the divided image data by the image processing unit 65a of the present invention for eliminating the blurred image in the overlapping area.
[0034]
FIG. 7 is a diagram illustrating an example of combining divided image data by the image processing unit according to the first embodiment. When the imaging device 14 captures the subject 80 by dividing it into three such that the divided image data 132 and the imaging surface are parallel, the divided

image data

131, 132, and 133 are stored in the hard disk 59 of the control unit 26.
[0035]
Subsequently, the divided

image data

131, 132 and 133 are input from the hard disk 59 to the image input unit 651 of the image processing unit 65a together with their attribute information (number of divisions, arrangement information, resolution, etc.).
[0036]
Subsequently, the overlapping area determination unit 652 determines the presence or absence of an overlapping area and the range of the divided image data input to the image input unit 651 by the following method.
[0037]
FIG. 8 is a diagram illustrating an overlapping area of the divided image data. FIG. 8A shows a state in which the divided image data 91 and the divided image data 92 overlap each other, and FIG. 8B shows overlapping

regions

93 and 94 of each divided image data. Here, the presence / absence and range of the overlapping

regions

93 and 94 can be obtained by using a look-up table (LUT) as shown in FIG.
[0038]
FIG. 9 shows a look-up table. The look-up table (LUT) 200 in FIG. 9 manages the range of each of the overlapping areas of the two divided image data sharing the overlapping area with each other, and the imaging position (for example, the imaging center) of the first divided image data , The imaging position (B) as the imaging position of the second divided image data, the range (A) of the overlapping area in the first divided image data, and the imaging position (A) in the second divided image data. An overlapping area (B) is provided as a data item. Therefore, when two pieces of divided image data sharing an overlapping area are photographed, the LUT 200 can determine the overlapping range of each divided image data.
[0039]
For example, when the first line of the LUT 200 is described in association with FIG. ₁ , Y ₁ ) And the imaging position is (X ₂ , Y ₂ ), The overlapping area 93 in the divided image data 91 is (a) ₁ , B ₁ )-(A ₂ , B ₂ ), And the range of the overlapping area 94 in the divided image data 92 is (a) ₃ , B ₃ )-(A ₄ , B ₄ ). The calculation of the coordinate value of each image of the overlapping region may be performed by a general pattern matching method such as using a cross-correlation function of each region image.
[0040]
When the overlap area determination unit 652 determines an overlap area in the divided image data, the focus state comparison unit 653 compares the divided

image data

131 and 132 with the focus state in each of the overlap areas of the divided

image data

131 and 133. I do. With respect to the overlapping area between the divided

image data

131 and 132, the overlapping area of the divided image data 132 is determined to have a better focus state, and the overlapping area between the divided

image data

132 and 133 is determined to be the overlapping area of the divided image data 132. Is determined to be better in the in-focus state.
[0041]
In order to compare the in-focus states, means for converting pixel values into a frequency domain by, for example, FFT (Fast Fourier Transform), DCT (Discrete Cosine Transform), or the like is used as a function that quantitatively indicates the amount of blur. The amount of blur can be quantitatively compared based on the magnitude relationship between the peak frequencies in the frequency domain. Since the images are in the same area, the reliability of comparison of the blur amount is high. The magnitude relationship between the image of the overlapping area and the amount of blur in the divided photographing may be determined in advance, and a look-up table may be used, or the processing may be implemented as a series of processes.
[0042]
FIG. 10 is a diagram (part 1) illustrating the principle of comparison of the in-focus state by the in-focus state comparison unit of the image processing unit. FIG. 10A shows a blurred image, and FIG. 10B shows its two-dimensional Fourier transform spectrum.
[0043]
FIG. 11 is a diagram (part 2) illustrating the principle of comparing the in-focus states by the in-focus state comparing unit of the image processing unit. FIG. 11A shows a focused image, and FIG. 11B shows its two-dimensional Fourier transform spectrum. This spectrum has a low frequency near the center and a high frequency near the center. The amount of blur can be compared based on the difference between the spectra in FIGS. 10B and 11B. Actually, it may be implemented as a function for calculating the half width of the spectrum in each direction.
[0044]
When the in-focus state comparing unit 653 compares the in-focus states in the overlapping areas, the image selecting unit 654 sets the overlapping area of the divided image 132 in which the in-focus state is determined to be good as a synthesis target, and the other divided data 131 133 is removed. As a result, extracted data 134 is generated from the divided data 131, and extracted data 135 is generated from the divided data 133.
[0045]
Subsequently, the image synthesizing operation unit 655 corrects the tilt distortion of the extracted

data

134 and 135, and further synthesizes the extracted

data

134 and 135 with the divided image data 132 to generate the entire image data 136. In the whole image data 136, since the overlapping area of the divided image data is synthesized by using the one having a better in-focus state, it can be seen that the image quality in the overlapping area is improved.
[0046]
Subsequently, the image output unit 656 outputs the synthesized whole image 136 to the outside and records it on the hard disk 59.
[0047]
As described above, according to the image processing unit 65a in the first embodiment, in the overlapping region of the divided image data, the overlapping is performed using the overlapping region of the divided image data in a good in-focus state. Can be eliminated, and an entire image with good image quality can be obtained.
[0048]
Further, in the divided photographing, when at least one image is photographed, if the object surface and the image pickup surface are substantially parallel, the divided image data photographed in such a manner is image data with little blur. Therefore, it is not necessary to perform the removal processing on the overlapping area of the images photographed substantially in parallel, and it is sufficient to remove only the overlapping area of the images on both sides thereof, so that efficient combining processing can be realized.
[0049]
Furthermore, in the case of tilt-shift shooting at the time of divided shooting, the overlapping region is biased in one direction, that is, when the overlapping region exists only in one direction side of the divided image end, the focus center is set to be more than the imaging center. By shifting to an area on the opposite side of the overlapping area, more efficient synthesis processing can be performed.
[0050]
FIG. 12 is a diagram illustrating a situation where a subject is photographed in three parts. In FIG. 12, it is assumed that shooting is performed in the order of (a), (b), and (c). Generally, in AF (Auto Focus, automatic focus adjustment) of a camera, the center of an imaging region is set as a focusing center (A in (a), B in (b)). Therefore, when there is a tilt as in (a) and (c), a blur region occurs in two regions, that is, an overlap region of the divided shooting and an image region on the opposite side of the overlap region. In order to eliminate the blurred area, it is necessary to delete the image data of the two areas. However, the use area of each image data is reduced, which is inefficient.
[0051]
On the other hand, in the tilt shooting, (the maximum of the imaging distance (L ₁ ) -Imaging distance at the center of imaging (L ₂ ))> (Imaging distance at imaging center (L ₂ ) -Minimum imaging distance (L ₃ )), There is a characteristic that when focusing on the imaging center, the focus of a region where the imaging distance is far is easily reduced.
[0052]
Therefore, in the case of tilt-shift shooting, shifting the focus center to a region whose distance from the imaging surface is farther than the imaging center can prevent the region in which the imaging distance is far from being defocused. That is, by shifting the focus center in the case (a) from A to A ′ and shifting the focus center in the case (c) from C to C ′, the image quality on the side opposite to the overlapping area becomes good. On the other hand, a blurred image is more likely to occur in the overlapping area, and it is easy to compare the in-focus state in the overlapping area. Therefore, it is possible to reduce the blur area in the entire image subjected to the synthesis processing.
[0053]
The details of the projective transformation for correcting the tilt distortion will be described below. FIG. 13 is a diagram illustrating a method of correcting tilt distortion. FIG. 13 shows an example in which the subject 80 is photographed by dividing it into two (a first image and a second image) for convenience of explanation. A point on the first image and a point on the second image in FIG.
(Equation 1)

Then, when the subject is a plane, the following relationship is established between them.
(Equation 2)

here,
[Equation 3]

Is called a projective transformation matrix, and when two positions where images are captured are the same, this relationship is constant. Therefore, a known set (u ₁ , V ₁ ), (U ₂ , V ₂ ) To h ₁ ~ H ₈ May be calculated. By using the equations (1) and (2), the position when each point of the second image is photographed at the position of the first image can be calculated. Pixels of the second image can be mapped onto the image. Even when the number of divided images is three or more, for example, a projection transformation matrix of the first image and the n-th image may be calculated in advance, and the images can be sequentially combined by the same method.
[0054]
In FIG. 4, the tilt distortion of the divided image 81 and the divided image 83 is reduced by the projection transformation matrix between the divided image 81 and the divided image 83 based on the divided image 82 photographed substantially parallel to the imaging surface. Can be corrected.
[0055]
Next, a case where the processing in the image processing unit 65 is realized by software will be described. FIG. 14 is a diagram illustrating an example of a hardware configuration of the control unit when the processing of the image processing unit is realized by software. The control unit 1026 in FIG. 14 has a configuration in which the image processing unit 65 is removed from the control unit 26 in FIG. In the control unit 1026, an image processing program (not shown) stored in the hard disk 59 is loaded into the SDRAM 52 and executed by the CPU 51. The image processing program performs various controls via the system controller 50 and executes processing in place of the image processing unit 65. The other components are the same as those of the control unit 26 in FIG. 2, and the description thereof is omitted.
[0056]
Hereinafter, the processing of the image processing program will be described with reference to FIG. 5, FIG. 7, and FIG. FIG. 15 is a flowchart illustrating the processing of the image processing program.
[0057]
When the user specifies the resolution and the imaging area (S10, S20), the image processing program determines the number of divisions of the subject 80 in FIG. 5 and the rotation angle of the imaging device 14 (S30, S40, S50). Here, the number of divisions and the rotation angle are determined so that an area overlaps with the divided area.
[0058]
In step S60, the image input device 10 photographs the divided

image data

131, 132, and 133 of FIG. 7 for each divided region of the subject 80, and stores the photographed image data in the hard disk 59 of the control unit 26.
[0059]
Proceeding to step S70 following step S60, the image processing program determines whether there is any overlapping area in the divided image data 131 to 133. When it is determined that there is an overlapping area, the process proceeds to step S80, and when it is determined that there is no overlapping area, the process proceeds to step S90.
[0060]
In step S80, the image processing program compares the in-focus state of the overlap area of the divided

image data

131 and 132 with the in-focus state of the overlap area of the divided

image data

132 and 133, and determines the Is removed. As a result, extracted data 134 is generated from the divided image data 131, and extracted data 135 is generated from the divided image data 133.
[0061]
In step S90, the image processing program corrects the tilt distortion of the extracted

data

134 and 135, and further synthesizes the extracted

data

134 and 135 with the divided image data 132 to generate the entire image data 136.
[0062]
Proceeding to step S100 following step S90, the image processing program outputs the combined whole image 136 to the outside through the image output unit 656, and records it on the hard disk 59.
[0063]
Next, as a second embodiment, an example will be described in which divided image data having good image quality is generated for each divided region, and the entire image data is generated by combining the divided image data.
[0064]
The overall configuration and hardware configuration of the image input device 100 according to the second embodiment are the same as those in FIGS. 1 and 2 according to the first embodiment, and thus description thereof is omitted, and the image processing unit 65 of FIG. A functional configuration example will be described.
[0065]
FIG. 16 is a diagram illustrating a functional configuration example of an image processing unit according to the second embodiment. The image processing unit 65b in FIG. 16 is configured by an IC suitable for image processing such as a DSP, for example, and includes an image input unit 661, a tilt shooting determination unit 662, a focus determination unit 667, a usable area selection unit 668, an image of the same area It comprises an operation unit 669, an image synthesis operation unit 670, and an image output unit 671.
[0066]
The image input unit 661 receives divided image data obtained by dividing the subject into a plurality of regions under predetermined conditions and photographing the divided regions. The tilt shooting determination unit 662 determines whether the divided image data input to the image input unit 661 is a shooting condition having tilt.
When the tilt shooting determination unit 662 determines that tilt shooting is performed, one divided region is shot at a plurality of different focal positions. If the tilt image determination unit 662 determines that the image is not shifted, the divided image data is output to the image composition calculation unit 670 described later.
[0067]
The focus determination unit 667 determines the focus state of each part obtained by further dividing the divided region from the divided image of the same region photographed by changing the focal position by adjusting the focal position. The usable area selection unit 668 sets the partial image of the divided image data whose in-focus state is determined to be the best by the focus determination unit 667 as an object to be combined.
[0068]
The same area calculation unit 669 generates partial image data of the same area by synthesizing the partial images to be synthesized by the focus determination part 667.
[0069]
The image combining calculation unit 670 corrects the tilt distortion of the divided image data generated by the same area calculation unit 669, and combines the divided image data with the divided image data determined to have been shot by the tilt shooting determination unit 662 under the condition without tilt. , And generate the entire image data.
[0070]
The image output unit 671 outputs the entire image data generated by the image synthesis operation unit 670. The output whole image data is recorded on the hard disk 59 in the same control unit 26 shown in FIG.
[0071]
Next, the composition of the divided image data by the image processing unit 65b will be described with reference to FIG.
[0072]
FIG. 17 is a diagram illustrating an example of combining divided images by the image processing unit according to the second embodiment. When the imaging device 14 photographs the subject 80 by dividing the subject 80 into three parts so that the divided image data 182 is parallel to the imaging surface, the divided

image data

181, 182, and 183 are stored in the hard disk 59 of the control unit 26.
[0073]
With respect to the areas of the divided

image data

181 and 183, the tilt image determination unit 662 detects the tilt at the time of shooting, changes the focus position, and shoots the divided

image data

184 and 185, respectively, and stores them in the hard disk 59.
[0074]
Subsequently, the focus determination unit 667 compares the focus state of each of the divided image data 181 and 184 (the right area and the left area). As a result, with respect to the divided image data 181 and the divided image data 184, it is determined that the left area is in the focused state of the divided image data 181 and the right area is in the focused state of the divided image data 184 is better. The in-focus state is similarly compared for the divided

image data

183 and 185, and the right area is the left area of the divided image data 183.
It is determined that the focus state of the divided image data 185 is good.
[0075]
Subsequently, based on the comparison result of the focus determination unit 667, the usable area selection unit 668 extracts a region determined to be in the best focus state as a synthesis target. That is, for the divided

image data

181 and 184, the left region of the divided image data 181 and the right region of the divided image data 184, and for the divided

image data

183 and 185, the right region of the divided image data 183 and the divided image The left area of the data 185 is extracted.
[0076]
Subsequently, the same region calculation unit 669 combines the partial image regions extracted by the focus determination unit 667 to generate a divided image for each divided region. That is, the left region of the divided image data 181 and the right region of the divided image data 184 are combined to generate divided image data 186, and the right region of the divided image data 183 and the left region of the divided image data 185 are combined. Then, the divided image data 187 is generated.
[0077]
Subsequently, the image synthesis calculation unit 670 corrects the tilt of the divided

images

186 and 187 generated by the same region calculation unit 669, and the split image data 182 determined by the tilt shooting determination unit 662 to be shot under the condition without tilt. To generate the entire image data 188.
[0078]
Subsequently, the image output unit 669 outputs the entire image data 188 and records it on the hard disk 59 in the same control unit 26.
[0079]
As described above, since the image processing unit 65b according to the second embodiment generates image data with a small blurred image area for each divided image data, it is possible to obtain higher-quality overall image data.
[0080]
Next, a case where the processing in the image processing unit 65b is realized by software will be described. The hardware configuration example of the control unit when the processing of the image processing unit 65b is realized by software is the same as that shown in FIG.
[0081]
FIG. 18 is a flowchart illustrating the processing of the image processing program according to the second embodiment.
[0082]
When the user specifies the resolution and the imaging area (S200, S210), an image processing program (not shown) determines the number of divisions of the subject 80 in FIG. 5 and the rotation angle of the imaging device 14 (S220, S230, S240).
[0083]
In step S250, the image processing program determines whether or not the shooting of the divided area to be shot is the shift shooting. If the image is not tilted, for example, if the divided image 182 shown in FIG.
[0084]
If the image processing program determines in step S250 that the image is tilt-shifting shooting, the focus position is changed for one divided area and shooting is performed a plurality of times (S260 to S290). That is, the divided

images

181 and 184 are photographed for the same divided region, and the divided

images

183 and 185 are photographed for the same divided region.
[0085]
When the divisional shooting is completed, the process proceeds to step S300, where the image processing program determines the in-focus state of each of the divided

image data

181 and 184, and extracts the better in-focus state as a synthesis target. As a result, the left area of the divided image data 181 and the right area of the divided image data 184 are extracted. Similarly, for the divided

image data

183 and 185, the right region of the divided image data 183 and the left region of the divided image data 185 are extracted.
[0086]
Proceeding to step S310 following step S300, the image processing program combines the partial image regions extracted in step S300 to generate divided image data for each divided region. That is, the left region of the divided image data 181 and the right region of the divided image data 184 are combined to generate divided image data 186, and the right region of the divided image data 183 and the left region of the divided image data 185 are combined. Then, the divided image data 187 is generated.
[0087]
Proceeding to step S320 following step S310, the image processing program corrects the tilt distortion of the divided

images

186 and 187 generated in step S310, and sets the split image determined by the tilt shooting determination unit 662 to have been shot under no tilt condition. The image data 182 is combined with the image data 182 to generate overall image data 188.
[0088]
Proceeding to step S340 following step S320, the image processing program outputs the entire image data 188 generated in step S320 and records it on the hard disk 59.
[0089]
Note that examples of hardware configurations of the imaging device 14, the drive unit 20, and the control unit 26 will be described below.
[0090]
FIG. 19 is a diagram illustrating a detailed hardware configuration example of the imaging device, the driving unit, and the control unit. 19 includes a fixed lens 1, a zoom lens 2, an aperture mechanism 3, a shutter 4, a focus lens 5, an image sensor 6, and a CDS (Correlated Double Sampling). A circuit 7, an A / D converter 8, a TG (Timing Generator) 9, an IPP (Image Pre-Processor) 10, a memory 11, an MPU 12, an I / O controller 13, a USB 15, and a serial connector 16. It is composed of
[0091]
The exposure time of the subject image is controlled by the shutter 4, and is formed on the image sensor 6 through the fixed lens 1, the zoom lens 2, the aperture mechanism 3, and the focus lens 5. The image signal from the image sensor 6 is sampled by the CDS 7 and then converted into a digital signal by the A / D converter 8. The timing at this time is generated by TG9. The digitalized image signal is subjected to image processing such as aperture correction and compression by the IPP 10 and stored in the memory 11. The operation of each unit is controlled by the MPU 12.
[0092]
The driving unit 20 is a driving mechanism for moving the imaging device 14, and detects a stepping motor X70, a stepping motor Y71 having a rotation axis orthogonal to the rotation axis of the stepping motor X70, and a rotation amount of the stepping motor X70. It comprises a rotary encoder X74, a rotary encoder Y75 for detecting the rotation amount of the stepping motor Y71, and a detection circuit 73. If a reference position that stops at a predetermined rotation position is provided and the rotation position of the stepping motor is calibrated, the rotary encoder X74, the rotary encoder Y75, and the detection circuit 73 may not be provided.
[0093]
The control unit 26 includes a system controller 50, a CPU (Central Processing Unit) 51, an SDRAM (Synchronous Dynamic Random Access Memory) 52, a PCI (Peripheral Component Interconnection), a bus 53, and a PCMCIA. (Input / Output) input / output device 55, PCI / ISA (Industry Standard Architecture) bridge IDE (Integrated Drive Electronics) USB (Universal Serial Bus) conversion interface It comprises a small board computer unit having a face 56, a USB 58, a hard disk 59, an ISA bus 60, an I / O controller 61, a serial connector 62, a parallel connector 63, and a LAN (Local Area Network) connector 64. .
[0094]
When taking an image of a subject, the I / O input / output device 55 applies a pulse voltage to the drive circuit 72 of the drive unit 20 and feeds back the rotation detection value of the detection circuit 73 to a predetermined angle. Transmits a photographing control signal to the image pickup device 14. When the photographing is performed, the photographed image data is recorded on the hard disk 59 together with attribute information such as photographing conditions. When a subject is divided and photographed, the above processing is repeated for the number of sheets. The image processing unit 65 combines a plurality of divided image data recorded on the hard disk 59 to generate one image data. The generated image data is recorded on the hard disk 59.
[0095]
Although the preferred embodiments of the present invention have been described in detail, the present invention is not limited to the specific embodiments, and various modifications may be made within the scope of the present invention described in the appended claims.・ Change is possible.
[0096]
【The invention's effect】
As described above, according to the present invention, since only the overlapping portion when dividing and photographing a subject is to be processed, efficient combining processing can be realized. In addition, since the overlapping portion of the image data having the best in-focus state is used for the overlapping portion, it is possible to generate an entire image with good image quality.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of an overall configuration of an image input device.
FIG. 2 is a diagram illustrating an example of a hardware configuration of a control unit.
FIG. 3 is a diagram illustrating a functional configuration example of an image processing unit according to the first embodiment.
FIG. 4 is a diagram showing an example in which divided image data is synthesized by a conventional method.
FIG. 5 is a diagram illustrating an example of a subject.
FIG. 6 is a diagram for explaining a depth of field.
FIG. 7 is a diagram illustrating an example of combining divided image data by the image processing unit according to the first embodiment.
FIG. 8 is a diagram illustrating an overlapping area of divided image data.
FIG. 9 is a diagram showing a lookup table.
FIG. 10 is a diagram (part 1) illustrating the principle of comparison of in-focus states by an in-focus state comparison unit of the image processing unit.
FIG. 11 is a diagram (part 2) illustrating the principle of comparison of the in-focus state by the in-focus state comparison unit of the image processing unit.
FIG. 12 is a diagram showing a situation in which a subject is photographed in three parts.
FIG. 13 is a diagram for explaining a tilt distortion correction method.
FIG. 14 is a diagram illustrating an example of a hardware configuration of a control unit when processing of an image processing unit is realized by software.
FIG. 15 is a diagram illustrating a flowchart for explaining the processing of the image processing program.
FIG. 16 is a diagram illustrating a functional configuration example of an image processing unit according to the second embodiment.
FIG. 17 is a diagram illustrating an example of combining divided images by an image processing unit according to the second embodiment.
FIG. 18 is a flowchart illustrating processing of an image processing program according to the second embodiment.
FIG. 19 is a diagram illustrating a detailed hardware configuration example of an imaging device, a driving unit, and a control unit.
[Explanation of symbols]
1 solid lens
2 Zoom lens
3 Aperture mechanism
4 Shutter
5 Focus lens
6 Image sensor
7 CDS
8 A / D converter
9 TG
10 IPP
11 Memory
12 MPU
13 I / O controller
14 Imaging device
15, 58 USB
16 Serial connector
20 drive unit
21a Support pillar
21b Support unit
22 subject
27 Interface
50 System Controller
51 CPU
52 SDRAM
53 PCI bus
54 PCMCIA
55 I / O input / output device
56 PCI / ISA bridge IDE, USB conversion interface
57 IDE
59 Hard Disk
60 ISA bus
61 I / O controller
62 serial connector
63 parallel connector
64 LAN connector
70 Stepping motor X
71 Stepping motor Y
72 Drive circuit
73 detection circuit
74 Rotary encoder X
75 Rotary encoder Y
100 Image input device
651,661 Image input unit
652 Overlapping area judgment unit
653 Focusing state comparison unit
654 Image selector
655 Image synthesis operation unit
656, 671 Image output unit
662 Aori shooting decision unit
667 Focus determination unit
668 Usable area selection unit
669 Same area image calculation unit
670 Image synthesis operation unit

Claims

Divisional photographing means for dividing the subject into a plurality of areas while photographing while allowing overlapping,
Focusing state comparing means for comparing the focusing state of a plurality of divided images in a plurality of overlapping portions photographed by the divided photographing means,
An image input device comprising: a divided image combining unit that combines a plurality of divided images captured by the divided capturing unit;
The image inputting means, for each of the plurality of overlapping portions, synthesizes using the overlapping portion of the divided images determined to have the best in-focus state by the in-focus state comparing means. apparatus.

Division photographing means for dividing a subject into a plurality of regions and photographing the divided region;
An image input device comprising: a divided image combining unit that combines a plurality of divided images captured by the divided capturing unit;
The divided photographing unit further divides one region where the imaging surface and the subject are not parallel into a plurality of portions, and focuses and photographs each portion,
The image input device, wherein the divided image synthesizing unit synthesizes each of the portions constituting the one region by using a focused portion to obtain a divided image of the region.

A divided shooting procedure in which a subject is divided into a plurality of areas while being allowed to be photographed,
A focusing state comparison procedure of comparing focusing states of a plurality of divided images in a plurality of overlapping portions photographed by the divided photographing procedure;
A divided image synthesizing step of synthesizing a plurality of divided images photographed by the divided photographing procedure.
The image inputting step includes, for each of the plurality of overlapping portions, synthesizing using the overlapping portion of the divided images determined to be in the best focus state by the focusing state comparing step. Method.

4. The image input method according to claim 3, wherein at least one of the divided images photographed in the divided photographing procedure is an image photographed such that an imaging surface and the subject are parallel.

5. The image input method according to claim 3, wherein in the divided photographing procedure, a region that is farther from the imaging plane than the imaging center is set as a focusing center. 6.

A divided shooting procedure for dividing the subject into a plurality of areas and shooting,
A divided image synthesizing step of synthesizing a plurality of divided images photographed by the divided photographing procedure.
In the divided shooting procedure, one area where the imaging surface and the subject are not parallel is further divided into a plurality of parts, and each part is focused and photographed,
The image input method is characterized in that the divided image synthesizing procedure synthesizes the respective parts constituting the one area using a focused part to obtain a divided image of the area.