JP2004235744A

JP2004235744A - Image input apparatus

Info

Publication number: JP2004235744A
Application number: JP2003019092A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Yasuhiro Sato; 康弘佐藤; Takeshi Maruyama; 剛丸山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-01-28
Filing date: 2003-01-28
Publication date: 2004-08-19
Anticipated expiration: 2023-01-28
Also published as: JP4162501B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image input system which can sufficiently input image information on a part having particularity without remarkably increasing time required for a whole image processing on an object, such as a book, having particularity that acquirement of sufficient imaging information is difficult at the time of image pickup by an imaging apparatus. <P>SOLUTION: The part having particularity of the object is photographed by deciding a photographing mode in accordance with particularity and it is synthesized with an image of the other parts so as to generate the image which is picked up. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は画像入力装置に係り、特に撮像手段によって撮像することによって画像を入力する画像入力装置に関する。
【０００２】
【従来の技術】
撮像手段によって被写体を撮像することによって画像を入力する画像入力装置として、例えば特許文献１では、製本された文書を入力する原稿入力装置が提案されている。この装置は、製本された文書中の入力したい面を上に向け、上方から撮影する構成を有する。製本された文書画像を撮影する場合、本の綴じ部の影響等により、入力画像に歪が生ずることになるが、この装置は、図１に示す如く本の上に直線状の光を走査しながらその画像をエリアセンサで入力し、その際の画像から本の曲がり具合を検出し、更に別のエリアセンサで本表面の画像を入力し、検出された曲がり具合に基づいて入力画像の歪を補正するものである。
【０００３】
又、特許文献２で開示された画像読取装置では、被写体である本を分割撮影して得られた画像を、測距センサにて得られた情報を基に透視変換して平板状分割画像とし、それを接合して歪のない本の画像を得る構成とされている。
【０００４】
又、本発明の発明者等は、特願２００１−３１２９８６にて、首振り機構を有する撮像部で上方から被写体を撮影する機能と被写体の立体形状を計測する機能を有し、書籍等を撮影してその歪を補正する構成の画像入力装置を提案している。
【０００５】
【特許文献１】
特許第３０６３０９９号公報
【０００６】
【特許文献２】
特開２０００−１０５８１８号公報
【０００７】
【発明が解決しようとする課題】
書籍を被写体として撮像した場合、書籍の綴じ部等では書面の曲率が極度に大きいため特に画像の歪が大きく、又撮像手段の死角にもなりやすい。このような特殊性を有する綴じ部を有する書籍に対し、当該書籍の綴じ部以外の部分と同等の画像歪補正方式を適用した場合、上記の特殊性のため、綴じ部については十分な歪補正効果が得られないことが考えられる。又、逆に上記綴じ部について十分な歪補正効果が得られるように十分にデータ処理を施した場合、逆に綴じ部以外の部分については過剰処理となり、全体の画像処理に要されるデータ処理量が著しく増加することが考えられる。
【０００８】
本発明は上記の如くの問題を解決し、このような歪補正が比較的困難な綴じ部を有する書籍等の画像の入力においても全体の画像処理量を著しく増加させること無く良好に画像歪補正効果が得られ、もって高品質な画像が得られる画像入力装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明では、入力画像からその被写体の立体形状を検出し、その検出結果に基づいて、上記書籍の綴じ部等の、被写体中の所定の特殊性を有する特定位置を求め、その部分に対しては、特に以下に示す処理▲１▼及び▲２▼のうちの少なくとも一方の処理を施す構成を採用する。即ち、▲１▼撮像手段の撮像態様をあらためて決定して元々歪の少ない画像が得られるように撮像する処理、及び▲２▼測定精度を高めて立体形状を検出し、その測定結果に基づいて高精度に歪補正を施す処理である。
【００１０】
上記処理▲１▼によれば、被写体の特定位置の特殊性に鑑みて撮像手段の撮像態様をあらためて決定して撮像するため、当該被写体の特定位置の特殊性に応じた最適な撮像態様を実施出来る。この場合の撮像手段の撮像態様としては、撮像手段の撮像位置、撮像角度の調整等が考えられる。この態様によれば、例えば書籍の綴じ部に対してはその部分の湾曲された書面部になるべく近く、且つ正面から撮像する等の態様を採用することにより、元々歪の少ない画像の取得を可能とし、更に撮像手段の死角となることによって撮像漏れが生ずるような事態の発生の防止も可能となる。その結果、当該被写体の特定位置の部分について歪の少ない画像の取得が可能となるため、その歪補正も容易となり、精度良い歪補正が果たせ、もって高品質な入力画像生成が可能となる。
【００１１】
又、上記▲２▼によれば、被写体の特定位置についてのみ高精度に立体形状を測定して歪補正を施すため、効率的且つ効果的に当該被写体の特定位置の部分についての歪補正が可能となる。又この場合、当該被写体の特定位置についてのみ高倍率の撮像を行なうことによって当該被写体の特定位置の部分の画像情報を詳細に入力可能となり、その詳細な情報に基づいて高精度の形状測定、それによる歪補正が可能となる。よってやはり高品質の入力画像生成が可能となる。
【００１２】
本発明によれば、このような構成により、一定の特殊性を有する被写体の特定位置の部分についてその特殊性に応じた処理を施すことにより、全体の画像処理量を大幅に増加することなく効果的に被写体の特定位置部分の情報を処理可能であり、もって歪の少ない、且つ情報漏れの無い高品質な入力画像情報の生成が可能である。その結果、当該画像情報に基づいて文字認識処理等を行った場合に確実に被写体の書籍等の文書情報を取得可能となり、確実な文書情報入力が果たせる。
【００１３】
【発明の実施の形態】
以下図と共に本発明の実施例の構成について詳細に説明する。尚、本発明の実施例において被写体を撮像してその立体形状を測定するための構成、当該測定結果に基づいて撮像画像の歪を補正するための構成等については前記本発明の発明者等による先願である特願２００１−３１２９８６に記載の構成を適宜利用可能である。
【００１４】
図３に本発明の第１実施例の全体構成を示す。本実施例による画像入力装置は、撮像部１１、投光部１９、支持部２０、撮影スイッチ２３、及び移動部２４を有する。ここで撮像部１１は支持部２０によって支持されており、操作者が撮影スイッチ２３を押すことにより、予め支持部２０が設置されている机などの面上に載置された被写体２１を撮像する構成である。又、移動部２４は撮像部１１及び投光部１９を回動させ、撮影或いは投光方向と、その位置を適宜変更して調整するためのものである。
【００１５】
次に、上記画像入力装置による書籍等の被写体を撮影して画像入力する際の動作について説明する。先ず撮影スイッチ２３を押すことにより撮像部１１によって被写体２１の画像が撮影される。次に、投光部１９より、所定の投光パターン２２が被写体２１上に照射され、当該パターンが投影された被写体像が撮影される。
【００１６】
図２に撮像部１１の詳細を示す。ここでは被写体の像は、撮像部１１内のレンズ１、絞り機構２等を通過後、撮像素子３の上に結像される。その結像画像に応じて撮像素子３の機能によって対応する画像信号が生成され、当該画像信号はＣＤＳ（相関二重サンプリング回路）４でサンプリングされた後、Ａ／Ｄ変換器５でデジタル信号化される。この際の信号処理タイミングはＴＧ（タイミングジェネレータ）６で生成される。画像信号はその後、ＩＰＰ（画像前処理回路）７でアパーチャ補正などの画像処理、圧縮処理等を経た後、メモリ８に保存される。
【００１７】
尚、上記各ユニットの動作は、ＭＰＵ（マイクロプロセッサーユニット）９にて制御される。上記投光部１９も、ＭＰＵ９によって、その投光のタイミングが制御される。又、投光部１９の投光のタイミング等の制御、移動部２４の制御等もＭＰＵ９が司る。又、撮影入力された画像はＭＰＵ９にて歪補正処理が施される。
【００１８】
次に、上記ＭＰＵ９にて実行される歪補正処理について図４のフローチャートを用いて説明する。先ず、ステップＳ１にて、上述の如く、所定のパターンが投影された画像（以下、パターン画像と称する）と、パターンを投影しない状態で撮影した画像（以下、テクスチャ画像と称する）とを取得する。次にステップＳ２にて、上記パターン画像を用いて被写体の立体形状を測定する。その方法について以下に説明する。
【００１９】
投光部１０から照射されるパターン光が図３に示す如くの複数の直線状の光による縞模様よりなる場合、撮像画像からその線を検出することは容易である。このようなパターン光を被写体に照射し、それを撮像部１１で撮像することにより、被写体の立体形状に応じて歪んだパターンが撮影され、この歪の程度を測定することによって被写体表面上の各点の３次元的な位置を検出可能である。
【００２０】
この測定方法について図５を用いて以下に説明する。投光部１０からのスリット光、即ち上記パターン光が照射された被写体上の点は、その反射光によって撮像素子上の点（ｕ，ｖ）にて結像される。撮像部１１の光学中心を原点とする座標系を定義した場合、当該スリット光が照射された被写体上の点の奥行き距離ｚは次式で表される。
【００２１】
【数１】

ここで、θ_１は投光部１０から被写体に対してスリット光を照射した角度であり既知である。また、θ_２は、
【００２２】
【数２】

によって求まる、被写体からの反射光の入射角度である。尚、上式中、ｆは撮像部１１の焦点距離を示す。又、ｄは投光部１０の中心から撮像素子の中心迄のｙ方向距離である（図５参照）。
【００２３】
このようにして該当する被写体上の点の奥行き方向の距離ｚが求まると、次式によってその被写体上の点の奥行き方向に直交するその他の方向の距離ｘ、ｙが求まる。
【００２４】
【数３】

以上の計算により、被写体上の点の３次元位置が求まる。この計算を被写体上の様々な点に対して同様に適用することにより、実質的に被写体の立体形状が求まることになる。
【００２５】
次に図４に戻り、ステップＳ３にて、このようにして求めた被写体の立体形状データを用いてテクスチャ画像の補正を行う。即ち、図６の例を用いて説明するに、この場合、先ずテクスチャ画像を縦方向に適宜伸長することによって当該テクスチャ画像の縦方向（列方向）の歪を除去する。この伸長処理は、各画素列毎に伸長率を算出し、画像の中心線Ｘ０から距離に応じて夫々の画素列において上下方向に画素をマッピングしていくことによって行なう。以下にその伸長処理の具体的方法を示す。
【００２６】
即ち、先ず、各列毎に画像の奥行き方向の距離を求める。この場合、図５と共に述べた如くの形状測定処理にて得られた被写体の３次元位置情報をそのまま利用可能である。ここで、被写体が書籍の場合であって且つ撮像部１１対して正対して載置してあったとすると、本来撮像入力画像中の夫々の列の画素、即ち図３に示す縦方向に並んだ画素は同じ奥行き距離を持つはずである。しかしながらノイズ等の影響により、各画素毎に奥行き距離にバラつきが検出される場合があり、その場合は画素間の平均値を求める。平均値を求める場合は、被写体上の点のみを使う必要があるため、画像の中心付近の画素を用いたり、高さが一定値以上の部分の画素を用いる。
【００２７】
又、撮像素子の解像度等の関係から、ある列につき、その列内の画素に対しては全く３次元位置が検出されていない場合も考えられる。そのような場合にはスプライン等の補間処理を適用することによって、隣接する列の画素の奥行き距離情報等を利用して該当する列の画素の奥行き距離を算出する。この場合、当該列についての全ての画素の奥行き距離をこのような補間処理にて求めても良い。
【００２８】
今、このようにうして求めた画像のＹ軸（Ｘ０）に相当する被写体上の各点の奥行き距離をＤ０、ｉ番目の列に相当する被写体上の各点の奥行き距離をＤｉとすると、以下の式に従ってｉ番目の画素列の、ｊ番目の画素行の画素位置Ｐｉｊ１を列方向に移動させ、Ｐｉｊ２として再配置する処理を行う。
【００２９】
【数４】

この再配置処理と、各画素間の補完処理により、縦方向の歪、即ち撮像素子と被写体との間の距離の相違（書籍を開いた見開き状態の場合、図３に示す如く綴じ部を支点として書面が湾曲し、その結果盛り上がった部分は他の部分に比して撮像部に近くなる現象等による）に起因する遠近要因による歪が除去された画像が得られる。
【００３０】
更に、各行の画素を、その方向、即ち横方向に適当な量だけ伸長すれば横方向の歪も除去出来る。即ち、図７に示す如く、被写体画像のＹ軸（Ｘ０）からの距離に応じて、行方向に画素を再配置して、横方向に画像を伸長する。以下にその具体的な方法について説明する。
【００３１】
図８は、ある画素行内の画素Ｐｉ０〜Ｐｉ３に相当する３次元位置空間上における被写体上の点の位置を白丸で示ししている。ここで、Ｐｉ０はＸ０上の点である。先ず、これら点における隣接する点間の距離Ｌ０１〜Ｌ２３を求める。そして、再配置すべき画素の再配置後の位置を、画像の中心線Ｘ０からの距離として、縮尺を合わせて順次足し合せていくことで決定する。
【００３２】
例えば、Ｐｉ３は、（Ｌ０１＋Ｌ１２＋Ｌ２３）・ｆ／Ｆの位置に再配置される。ここで、ｆは該当する光学系の焦点距離、Ｆはその光学中心から画像の中心点に相当する被写体上の点迄の奥行き距離である。この再配置処理と、各画素間の補完処理により、横方向の歪が除去された画像が生成される。尚、画像は適宜拡大あるいは縮小されるように補正しても良い。その場合には補正時に一律に適当な係数によって画素数を増減すれば良い。
【００３３】
次に、図４のステップＳ４では、被写体の立体形状データから、綴じ部等、大きく曲がっていて撮像部１１から撮影しづらい位置にある特定位置を検出する。その方法について以下に説明する。ここで、被写体の形状（書籍を横から見た状態）が、図９の如くのものであるものとし、被写体表面上のある点からの単位法線ベクトルをＶ１、その点から撮像部１１の光学中心への単位ベクトルをＶ２とする。この場合、二つの単位ベクトルＶ１とＶ２との内積値が予め定めた閾値Ｔｈよりも小さい場合、その点を特定位置と判定する。
【００３４】
次にステップＳ５にて、この特定位置に撮像部１１の光学中心が最も近付くように適宜撮像部１１を移動させる。この場合、ステップＳ２にて算出した立体形状データから、撮像部１１の状態として当該特定位置における被写体の面に対して撮像部１１が正対する状態、又はそれに近い状態となる撮像部１１の位置及び角度を算出し、その算出結果に従って撮像部を回動させることが望ましい。そしてその状態でパターン画像とテクスチャ画像とを再度取得する（ステップＳ６）。次にステップＳ６にて得た画像を用い、上記ステップＳ３と同じ方法で該当する画像情報に関して歪補正処理を行い、もって歪のないテクスチャ画像を得る。
【００３５】
そしてステップＳ８にて、図１０に示す如く、上記ステップＳ７で得られた補正画像（同図（ａ））の特定位置部分（Ｘ）を切り出し、ステップＳ３で得られた補正画像（同図（ｂ））中、上記特定位置に相当する位置（Ｙ）にその切り出し画像を貼り付ける（同図（ｃ））。この結果、ステップＳ３で得られた補正画像中の特定部分の画質を向上させることが可能となる。
【００３６】
このように本発明の第１実施例は、書籍等の文書情報を撮像入力する際、その綴じ部等、通常の撮影態様では死角となったりして十分な情報入力が果たせないような特殊性を有する部位について、当該被写体部位の特殊性に応じて撮像態様を調整後に再度撮像入力する構成を有する。このように被写体中の特殊性を有する部位について別途に撮像条件を調整して撮像し直すことにより、当該部位について漏れなく且つ高精度な画像情報入力が果たせると共に、上記別途撮像時には被写体の限られた部位についてのみの撮像となるため、該当する画像処理に要する時間を最小限に留めることが可能である。その結果、画像処理量を著しく増加させることなく高品質の画像入力が果たせる。
【００３７】
次に、本発明の第２実施例について説明する。この実施例の構成も上述の第１実施例同様、図３に示す構成を有し、撮像部１３、投光部１９、支持部２０、撮影スイッチ２３、移動部２４により構成され、撮像部１３は支持部２０によって支持されており、撮影スイッチ２３を押すことにより、支持部２０が設置されている机などの面上に予め載置された被写体２１を撮像する構成である。又、移動部２４は撮像部１３及び投光部１９を回動させ、撮影或いは投光方向とその位置を調整する機能を有する。
【００３８】
第２実施例の場合の被写体を撮影する際の動作について以下に説明する。撮影スイッチ２３を押すことにより撮像部１３は被写体２１（書籍等）の画像を撮影する。次に、投光部１９より投光パターン２２を被写体２１に照射して、当該パターンが投影された被写体像を撮影する。ここで撮像部１３の詳細を図１１に示す。被写体からの反射光は、同図中、ズームレンズ１２、絞り機構２の機能により、撮像素子３の上に結像される。この像に対応する撮像素子３からの画像信号はＣＤＳ（相関二重サンプリング回路）４でサンプリングされた後、Ａ／Ｄ変換器５でデジタル信号化される。この際のタイミングはＴＧ（タイミングジェネレータ）６で生成される。
【００３９】
画像信号はその後、ＩＰＰ（画像前処理回路）７でアパーチャ補正などの画像処理、圧縮処理等を経てメモリ８に保存される。各ユニットの動作は、ＭＰＵ（マイクロプロセッサーユニット）９にて制御される。投光部１９もＭＰＵ９によって投光のタイミングを制御される。又、投光部１９の投光のタイミング等の制御、移動部２４の制御等もＭＰＵ９によってなされる。又、撮影された画像はＭＰＵ９にて歪補正処理を受ける。
【００４０】
次に、この歪補正処理について、図１２のフローチャートを用いて説明する。ステップＳ１１にて、上述したように、パターンが投影された画像（パターン画像）とパターンを投影しない状態で撮影した画像（テクスチャ画像）とを取得する。ステップＳ１２にて、パターン画像を用いて被写体の立体形状を測定する。その方法は上述のステップＳ２におけるものと同様である。
【００４１】
ステップＳ１３にて、ステップＳ１２で得られた被写体の立体形状データから、被写体中、書籍の綴じ部等、大きく曲がっていて撮像部１３から撮影しづらい位置である特定位置を検出する。その方法は上述のステップＳ４におけるものと同様である。ステップＳ１４にて、上記ステップＳ１３で得られた特定位置の拡大画像を得るため、移動部２４にて撮像部１３の撮影光軸を移動して特定位置に近付け、更にズームレンズ１２で撮像部１３の撮影倍率を高める。
【００４２】
ステップＳ１５にて、ステップＳ１４にて撮像部１１が特定位置に近付けられ且つその撮像倍率が高められた状態で上記被写体中の特定位置の部分のパターン画像とテクスチャ画像とが夫々取得される。ステップＳ１６にて、ステップＳ１５で得られた画像から、当該被写体の特定位置の立体形状データを得る。その方法は上記ステップＳ１２におけるものと同様であるが、この場合撮像入力画像は撮像部１３を特定位置に近付け撮像倍率を高めて撮像入力されているため、これに基づくことによって該当する被写体中の特定位置の限られた部分についてのより詳細な形状データが得られる。そしてステップＳ１２で得られた立体形状データ中の、該当する特定位置に関する形状データに関し、ステップＳ１６にて得られた該当する詳細な形状データてに置き換える。
【００４３】
ステップＳ１７では、ステップＳ１６の一部置き換え処理で得られた被写体全体の立体形状データを用い、ステップＳ１１で得られたテクスチャ画像の補正を行う。その方法は上述のステップＳ３におけるものと同様であるが、この場合、上記特定位置の被写体部位については、その形状データが詳細なものとなっているため、該当する部分については特に詳細な歪補正が可能となる。
【００４４】
尚、上記説明においては被写体の特定位置についての拡大撮影の際、同時に当該特定位置への撮像部１１の移動動作も含めたが、これに限らず、撮像部１１の移動は一切行なわず、単にズームレンズ１２にて撮像倍率を高めるのみによっても同様の効果が得られる。
【００４５】
このように第２実施例では、被写体の特殊性を有する部位については別途撮像倍率を高めて撮影すると共に、その撮影入力画像情報を基に当該部位についてのより詳細な立体形状測定を実施し、その測定結果に基づいて当該部位についてより高精度な歪補正を実施可能とする。特に被写体が書籍であって、その見開き状態を撮影する場合を考えた場合、その綴じ部は大きな曲率で湾曲している場合があるが、そのような場合でもその部分について詳細な形状測定及び歪補正がなされる。その結果、必ずしも上記第１実施例の場合のように別途撮像部を移動又は回動して撮影位置、角度等を変更して撮影し直さずに同じ撮影位置、角度で撮像倍率のみ高めて撮影することによっても該当する特定部位についての十分な画像情報入力が果たせると共に十分な歪補正が果たせる場合が多いと考えられる。この場合、別途特定部位について行なう撮影動作の簡略化が可能となる。
【００４６】
次に、本発明の第３実施例について説明する。図１３は、本発明の第３実施例の全体構成を示す斜視図である。同図に示す如く、本実施例による画像入力装置は、撮像部１４、投光部１９、支持部２０、撮影スイッチ２３、移動部２４、パーソナルコンピュータ２５により構成される。撮像部１４は支持部２０によって支持されており、撮影スイッチ２３を押すことにより、支持部２０が設置されている机などの面上に予め載置された被写体２１を撮像する。又、移動部２４は撮像部１４及び投光部１９を適宜回動させ、撮影或いは投光方向とそれらの位置を調節する機能を有する。
【００４７】
次に、第３実施例による、被写体を撮影する際の動作について説明する。撮影スイッチ２３を押すことにより撮像部１４は被写体２１（書籍等）の画像を撮影する。次に、投光部１９より投光パターン２２を被写体２１に照射して、パターンが投影された被写体像を撮影する。撮影された画像の情報はパーソナルコンピュータ２５に転送され、そこで歪補正処理が実行される。
【００４８】
撮像部１４の詳細を図１４に示す。被写体の像は、撮像部１４中のズームレンズ１２、絞り機構２により，撮像素子３の上に形成される。撮像素子３からの画像信号はＣＤＳ（相関二重サンプリング回路）４でサンプリングされた後、Ａ／Ｄ変換器５でデジタル信号化される。この際のタイミングはＴＧ（タイミングジェネレータ）６で生成される。画像信号はその後、ＩＰＰ（画像前処理回路）７でアパーチャ補正などの画像処理、圧縮処理等を経てメモリ８に保存される。
【００４９】
各ユニットの動作は、ＭＰＵ（マイクロプロセッサーユニット）９にて制御される。投光部１９も、ＭＰＵ９によって投光のタイミングを制御される。又、投光部１９の投光のタイミング等の制御、移動部２４の制御等もＭＰＵ９によってなされる。撮影された画像はＩ／Ｆ１５を介して外部装置としてのコンピュータ２５へと転送される。転送された画像に対してコンピュータ２５にてなされる上記歪補正処理は、上述の本発明の第１実施例における場合と同様である。この場合、歪補正処理内容はプログラムの形態で格納され、これをコンピュータ２５のＣＰＵが読み込んで実行することによって実現する。
【００５０】
【発明の効果】
このように、本発明によれば、通常の画像入力動作においては十分な画像情報入力が果たせないような特殊性を有する被写体部位について、特にその特殊性に応じて別途撮影条件を決定して撮影し直し、或いは当該特殊性を有する被写体部位について特に詳細に形状測定を行なって歪補正を行なうため、全体の画像処理量を著しく増加させること無く、特殊性を有する部位の画像情報入力を十分に果たすことが可能であり、もって容易に高品質の画像入力が果たせる。
【図面の簡単な説明】
【図１】従来の一例の文書画像入力装置を示す図である。
【図２】本発明の第１実施例の画像入力装置中の撮像部の構成を示すブロック図である。
【図３】本発明の第１実施例の画像入力装置の全体構成を示す斜視図である。
【図４】本発明の第１実施例の画像入力装置における歪補正処理を説明するための動作フローチャートである。
【図５】図４に示す歪補正処理の原理を説明するための図である。
【図６】図４に示す歪補正処理の具体例を説明するための図（その１）である。
【図７】図４に示す歪補正処理の具体例を説明するための図（その２）である。
【図８】図４に示す歪補正処理の具体例を説明するための図（その３）である。
【図９】図４に示す歪補正処理において被写体の特定位置を検出する処理の原理を説明するための図である。
【図１０】図４に示す歪補正処理における嵌め込み合成処理による画像合成処理について説明するための図である。
【図１１】本発明の第２実施例の画像入力装置中の撮像部の構成を示すブロック図である。
【図１２】本発明の第２実施例の画像入力装置における歪補正処理を説明するための動作フローチャートである。
【図１３】本発明の第３実施例の画像入力装置の全体構成を示す斜視図である。
【図１４】本発明の第３実施例の画像入力装置中の撮像部の構成を示すブロック図である。
【符号の説明】
１１、１３，１４撮像部
１９投光部
２１被写体
２４移動部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image input device, and more particularly, to an image input device that inputs an image by capturing an image by an imaging unit.
[0002]
[Prior art]
As an image input device for inputting an image by capturing an image of a subject by an imaging unit, for example, Patent Document 1 proposes a document input device for inputting a bound document. This apparatus has a configuration in which a surface to be input in a bound document is faced up and an image is taken from above. When photographing a bound document image, the input image may be distorted due to the effect of the binding portion of the book. However, this device scans a book with linear light as shown in FIG. While inputting the image with an area sensor, detecting the degree of book bending from the image at that time, further inputting an image of the book surface with another area sensor, and distorting the input image based on the detected degree of bending. It is to be corrected.
[0003]
Further, in the image reading apparatus disclosed in Patent Document 2, an image obtained by dividing and photographing a book as a subject is perspective-transformed based on information obtained by a distance measurement sensor to obtain a flat divided image. And joining them to obtain an image of a book without distortion.
[0004]
In addition, the inventors of the present invention disclosed in Japanese Patent Application No. 2001-312986 a function of photographing a subject from above with an imaging unit having a swing mechanism and a function of measuring the three-dimensional shape of the subject, and photographing a book or the like. In addition, an image input device configured to correct the distortion has been proposed.
[0005]
[Patent Document 1]
Japanese Patent No. 3063099
[Patent Document 2]
JP 2000-105818 A
[Problems to be solved by the invention]
When a book is imaged as a subject, the curvature of the document is extremely large at the binding portion of the book and the like, so that the image is particularly distorted and the image pickup means is likely to be a blind spot. When a book having a binding portion having such specialty is applied with an image distortion correction method equivalent to that of a portion other than the binding portion of the book, due to the above-described specialty, sufficient distortion correction is performed for the binding portion. It is possible that no effect is obtained. Conversely, if the data processing is sufficiently performed so that a sufficient distortion correction effect can be obtained for the above-described binding portion, on the other hand, the portions other than the binding portion are excessively processed, and the data processing required for the entire image processing is performed. It is possible that the amount will increase significantly.
[0008]
The present invention solves the above-described problems, and satisfactorily corrects image distortion without significantly increasing the overall image processing amount even when inputting an image of a book or the like having a binding portion where such distortion correction is relatively difficult. It is an object of the present invention to provide an image input device that can obtain an effect and thereby obtain a high-quality image.
[0009]
[Means for Solving the Problems]
In the present invention, a three-dimensional shape of the subject is detected from the input image, and based on the detection result, a specific position in the subject, such as a binding portion of the book, having a predetermined specialty is determined. Adopts a configuration in which at least one of the following processes (1) and (2) is performed. That is, (1) a process of re-determining the imaging mode of the imaging means and imaging to obtain an image with originally small distortion, and (2) detecting a three-dimensional shape with increased measurement accuracy and based on the measurement result. This is a process for performing distortion correction with high accuracy.
[0010]
According to the above process (1), an imaging mode of the imaging unit is determined again in view of the specificity of the specific position of the subject, and the image is captured. Therefore, an optimal imaging mode according to the specificity of the specific position of the subject is implemented. I can do it. In this case, as an imaging mode of the imaging unit, adjustment of an imaging position and an imaging angle of the imaging unit can be considered. According to this aspect, for example, it is possible to obtain an image with little distortion by adopting a mode in which, for example, an image is taken from the front as close as possible to a curved writing section of the binding section of the book and at the front thereof. Further, it is possible to prevent occurrence of a situation in which the imaging section becomes a blind spot, thereby causing imaging omission. As a result, it is possible to acquire an image with little distortion for a portion at a specific position of the subject, so that the distortion can be easily corrected, accurate distortion correction can be performed, and a high-quality input image can be generated.
[0011]
According to the above (2), since the three-dimensional shape is measured with high accuracy only at the specific position of the subject and the distortion is corrected, the distortion of the specific position of the subject can be corrected efficiently and effectively. It becomes. Also, in this case, by performing high-magnification imaging only at the specific position of the subject, it is possible to input image information of the specific position of the subject in detail, and to perform highly accurate shape measurement based on the detailed information. Can correct distortion. Therefore, a high-quality input image can be generated.
[0012]
According to the present invention, with such a configuration, a process according to a specific position of a subject having a certain specificity is performed according to the specificity, so that the entire image processing amount is not significantly increased. It is possible to process information on a specific position portion of a subject, and to generate high-quality input image information with little distortion and no information leakage. As a result, when character recognition processing or the like is performed based on the image information, document information such as a book of the subject can be reliably obtained, and the document information can be reliably input.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the configuration of the embodiment of the present invention will be described in detail with reference to the drawings. In the embodiments of the present invention, the configuration for measuring the three-dimensional shape of an image of a subject by imaging the subject, the configuration for correcting the distortion of the captured image based on the measurement result, and the like are determined by the inventors of the present invention. The configuration described in Japanese Patent Application No. 2001-312986, which is the prior application, can be used as appropriate.
[0014]
FIG. 3 shows the overall configuration of the first embodiment of the present invention. The image input device according to the present embodiment includes an imaging unit 11, a light projecting unit 19, a support unit 20, a shooting switch 23, and a moving unit 24. Here, the imaging unit 11 is supported by the support unit 20, and when the operator presses the photographing switch 23, the imaging unit 11 captures an image of the subject 21 previously placed on a surface such as a desk on which the support unit 20 is installed. Configuration. The moving unit 24 is for rotating the image pickup unit 11 and the light projecting unit 19 to adjust the photographing or light projecting direction and its position as appropriate.
[0015]
Next, a description will be given of an operation when the image input device captures a subject such as a book and inputs an image. First, when the photographing switch 23 is pressed, an image of the subject 21 is photographed by the imaging unit 11. Next, a predetermined light projecting pattern 22 is irradiated onto the subject 21 from the light projecting unit 19, and a subject image on which the pattern is projected is photographed.
[0016]
FIG. 2 shows details of the imaging unit 11. Here, the image of the subject is formed on the image sensor 3 after passing through the lens 1, the aperture mechanism 2, and the like in the image pickup unit 11. A corresponding image signal is generated by the function of the image sensor 3 according to the formed image, and the image signal is sampled by a CDS (correlated double sampling circuit) 4 and then converted into a digital signal by an A / D converter 5. Is done. The signal processing timing at this time is generated by a TG (timing generator) 6. Thereafter, the image signal is subjected to image processing such as aperture correction and compression processing in an IPP (image preprocessing circuit) 7 and then stored in a memory 8.
[0017]
The operation of each unit is controlled by an MPU (microprocessor unit) 9. The light emission timing of the light emission unit 19 is also controlled by the MPU 9. The MPU 9 also controls the timing of the light projection of the light projecting unit 19, the control of the moving unit 24, and the like. The MPU 9 performs a distortion correction process on the captured image.
[0018]
Next, the distortion correction processing executed by the MPU 9 will be described with reference to the flowchart of FIG. First, in step S1, as described above, an image on which a predetermined pattern is projected (hereinafter, referred to as a pattern image) and an image photographed without projecting a pattern (hereinafter, referred to as a texture image) are acquired. . Next, in step S2, the three-dimensional shape of the subject is measured using the pattern image. The method will be described below.
[0019]
When the pattern light emitted from the light projecting unit 10 has a stripe pattern formed by a plurality of linear lights as shown in FIG. 3, it is easy to detect the line from the captured image. By irradiating the subject with such pattern light and capturing the same with the imaging unit 11, a pattern that is distorted according to the three-dimensional shape of the subject is photographed. A three-dimensional position of a point can be detected.
[0020]
This measuring method will be described below with reference to FIG. A point on the subject irradiated with the slit light from the light projecting unit 10, that is, the pattern light, is imaged at a point (u, v) on the image sensor by the reflected light. When a coordinate system having the origin at the optical center of the imaging unit 11 is defined, the depth distance z of a point on the subject irradiated with the slit light is represented by the following equation.
[0021]
(Equation 1)

Here, θ ₁ is an angle at which the light is irradiated from the light projecting unit 10 to the subject and is known. Θ ₂ is
[0022]
(Equation 2)

Is the angle of incidence of the reflected light from the subject. In the above equation, f indicates the focal length of the imaging unit 11. D is the distance in the y direction from the center of the light projecting unit 10 to the center of the image sensor (see FIG. 5).
[0023]
When the depth z of the point on the subject in the depth direction is obtained in this way, the distances x and y in other directions orthogonal to the depth direction of the point on the subject are obtained by the following equation.
[0024]
[Equation 3]

By the above calculation, the three-dimensional position of the point on the subject is obtained. By similarly applying this calculation to various points on the subject, the three-dimensional shape of the subject is substantially determined.
[0025]
Next, returning to FIG. 4, in step S3, the texture image is corrected using the three-dimensional shape data of the subject thus obtained. That is, as described with reference to the example of FIG. 6, in this case, the distortion in the vertical direction (column direction) of the texture image is first removed by appropriately expanding the texture image in the vertical direction. This decompression process is performed by calculating a decompression ratio for each pixel column and mapping pixels in the vertical direction in each pixel column according to the distance from the center line X0 of the image. Hereinafter, a specific method of the extension processing will be described.
[0026]
That is, first, the distance in the depth direction of the image is obtained for each column. In this case, the three-dimensional position information of the subject obtained by the shape measurement processing as described with reference to FIG. 5 can be used as it is. Here, assuming that the subject is a book and that the subject is placed facing the imaging unit 11, the pixels in the respective columns in the captured input image, that is, are arranged in the vertical direction shown in FIG. 3. Pixels should have the same depth distance. However, variations in the depth distance may be detected for each pixel due to the influence of noise or the like. In such a case, an average value between the pixels is obtained. When calculating the average value, it is necessary to use only points on the subject, and therefore, pixels near the center of the image are used, or pixels in a portion whose height is equal to or higher than a certain value are used.
[0027]
Also, from the relationship of the resolution of the image sensor, there may be a case where a three-dimensional position is not detected at all for a pixel in a certain column. In such a case, by applying an interpolation process such as a spline, the depth distance of the pixel in the corresponding column is calculated using the depth distance information of the pixel in the adjacent column. In this case, the depth distance of all the pixels for the column may be obtained by such interpolation processing.
[0028]
Assuming that the depth distance of each point on the subject corresponding to the Y axis (X0) of the image thus obtained is D0, and the depth distance of each point on the subject corresponding to the i-th column is Di, According to the following equation, the pixel position Pij1 of the j-th pixel row of the i-th pixel column is moved in the column direction and rearranged as Pij2.
[0029]
(Equation 4)

Due to the rearrangement process and the complementing process between the pixels, the distortion in the vertical direction, that is, the difference in the distance between the image sensor and the subject (in the case of a book with the book open, the binding portion is supported as shown in FIG. 3). As a result, an image can be obtained in which distortion due to a perspective factor due to, for example, a phenomenon that a raised portion is closer to the imaging unit than other portions is removed.
[0030]
Further, if the pixels in each row are expanded in the direction, that is, in the horizontal direction by an appropriate amount, the distortion in the horizontal direction can be removed. That is, as shown in FIG. 7, the pixels are rearranged in the row direction according to the distance from the Y axis (X0) of the subject image, and the image is expanded in the horizontal direction. The specific method will be described below.
[0031]
FIG. 8 shows the positions of points on the subject in the three-dimensional position space corresponding to the pixels Pi0 to Pi3 in a certain pixel row by white circles. Here, Pi0 is a point on X0. First, the distances L01 to L23 between these points are calculated. Then, the position after the rearrangement of the pixel to be rearranged is determined by adding the pixels at the reduced scale sequentially as the distance from the center line X0 of the image.
[0032]
For example, Pi3 is rearranged at the position of (L01 + L12 + L23) · f / F. Here, f is the focal length of the corresponding optical system, and F is the depth distance from the optical center to a point on the subject corresponding to the center point of the image. By the rearrangement process and the complementing process between the pixels, an image from which the distortion in the horizontal direction has been removed is generated. Note that the image may be corrected so as to be enlarged or reduced as appropriate. In that case, the number of pixels may be increased or decreased by an appropriate coefficient at the time of correction.
[0033]
Next, in step S4 in FIG. 4, a specific position, such as a binding portion, which is greatly bent and is difficult to photograph from the imaging unit 11 is detected from the three-dimensional shape data of the subject. The method will be described below. Here, it is assumed that the shape of the subject (state when the book is viewed from the side) is as shown in FIG. 9, the unit normal vector from a certain point on the subject surface is V1, and the unit normal vector from that point is The unit vector to the optical center is V2. In this case, when the inner product value of the two unit vectors V1 and V2 is smaller than a predetermined threshold Th, the point is determined as a specific position.
[0034]
Next, in step S5, the imaging unit 11 is appropriately moved so that the optical center of the imaging unit 11 is closest to the specific position. In this case, based on the three-dimensional shape data calculated in step S2, the position of the imaging unit 11 as a state of the imaging unit 11 facing the surface of the subject at the specific position or in a state close thereto, as the state of the imaging unit 11 It is desirable to calculate the angle and rotate the imaging unit according to the calculation result. Then, in that state, a pattern image and a texture image are obtained again (step S6). Next, using the image obtained in step S6, a distortion correction process is performed on the corresponding image information in the same manner as in step S3, thereby obtaining a texture image without distortion.
[0035]
In step S8, as shown in FIG. 10, a specific position portion (X) of the corrected image (FIG. 10A) obtained in step S7 is cut out, and the corrected image obtained in step S3 (FIG. b)), the cut-out image is pasted on a position (Y) corresponding to the specific position (FIG. 3C). As a result, it is possible to improve the image quality of the specific part in the corrected image obtained in step S3.
[0036]
As described above, according to the first embodiment of the present invention, when image information of a book or the like is captured and input, the binding portion or the like becomes a blind spot in a normal image capturing mode and cannot input sufficient information. With respect to the part having the above, the image pickup mode is adjusted again according to the specificity of the subject part, and the image is input again. In this way, by separately adjusting the imaging conditions and re-imaging a part having a specialty in the subject, it is possible to perform accurate and accurate image information input for the part, and the subject is limited during the separate imaging. Since the imaging is performed only for the part that has been affected, the time required for the corresponding image processing can be minimized. As a result, high-quality image input can be achieved without significantly increasing the amount of image processing.
[0037]
Next, a second embodiment of the present invention will be described. As in the first embodiment, the configuration of this embodiment also has the configuration shown in FIG. 3 and includes an imaging unit 13, a light projecting unit 19, a support unit 20, a shooting switch 23, and a moving unit 24. Is supported by a support unit 20, and is configured to capture an image of a subject 21 previously placed on a surface such as a desk on which the support unit 20 is installed by pressing a photographing switch 23. The moving unit 24 has a function of rotating the imaging unit 13 and the light projecting unit 19 to adjust the photographing or light projecting direction and its position.
[0038]
The operation of photographing a subject in the second embodiment will be described below. By pressing the shooting switch 23, the imaging unit 13 shoots an image of the subject 21 (a book or the like). Next, the light projecting unit 19 irradiates the subject 21 with the light projecting pattern 22 to photograph a subject image on which the pattern is projected. Here, details of the imaging unit 13 are shown in FIG. The reflected light from the subject is imaged on the image sensor 3 by the functions of the zoom lens 12 and the aperture mechanism 2 in FIG. An image signal corresponding to this image from the image sensor 3 is sampled by a CDS (correlated double sampling circuit) 4 and then converted into a digital signal by an A / D converter 5. The timing at this time is generated by a TG (timing generator) 6.
[0039]
Thereafter, the image signal is stored in the memory 8 through image processing such as aperture correction and compression processing in an IPP (image preprocessing circuit) 7. The operation of each unit is controlled by an MPU (microprocessor unit) 9. The light projection unit 19 is also controlled by the MPU 9 for the timing of light projection. The MPU 9 also controls the timing of the light projection of the light projection unit 19, the control of the moving unit 24, and the like. The photographed image is subjected to a distortion correction process in the MPU 9.
[0040]
Next, the distortion correction processing will be described with reference to the flowchart of FIG. In step S11, as described above, an image on which a pattern is projected (pattern image) and an image (texture image) shot without projecting the pattern are acquired. In step S12, the three-dimensional shape of the subject is measured using the pattern image. The method is the same as that in step S2 described above.
[0041]
In step S13, from the three-dimensional shape data of the subject obtained in step S12, a specific position in the subject, such as a binding portion of a book, which is significantly bent and is difficult to be photographed by the imaging unit 13 is detected. The method is the same as that in step S4 described above. In step S14, in order to obtain an enlarged image of the specific position obtained in step S13, the moving optical axis of the imaging unit 13 is moved by the moving unit 24 to approach the specific position. To increase the shooting magnification.
[0042]
In step S15, the pattern image and the texture image of the part at the specific position in the subject are acquired in a state where the imaging unit 11 is moved closer to the specific position and the imaging magnification is increased in step S14. In step S16, three-dimensional shape data at a specific position of the subject is obtained from the image obtained in step S15. The method is the same as that in step S12 described above. In this case, however, the captured input image is captured and input with the imaging unit 13 brought closer to the specific position and the imaging magnification is increased. More detailed shape data for a limited portion at a specific position can be obtained. Then, the shape data relating to the corresponding specific position in the three-dimensional shape data obtained in step S12 is replaced with the corresponding detailed shape data obtained in step S16.
[0043]
In step S17, the texture image obtained in step S11 is corrected using the three-dimensional shape data of the entire subject obtained in the partial replacement processing in step S16. The method is the same as that in step S3 described above, but in this case, the shape data of the subject portion at the specific position is detailed, so that the corresponding portion is subjected to particularly detailed distortion correction. Becomes possible.
[0044]
Note that, in the above description, the movement of the imaging unit 11 to the specific position is also included at the same time as the enlarged photographing of the specific position of the subject. However, the movement is not limited to this, and the imaging unit 11 is not moved at all. The same effect can be obtained only by increasing the imaging magnification by the zoom lens 12.
[0045]
As described above, in the second embodiment, a part having a specialty of a subject is separately photographed with an increased imaging magnification, and a more detailed three-dimensional shape measurement is performed on the part based on the photographed input image information. Based on the measurement result, more accurate distortion correction can be performed for the relevant part. In particular, when the subject is a book and the case where the spread state is photographed is considered, the binding portion may be curved with a large curvature, but even in such a case, detailed shape measurement and distortion are performed on the portion. Correction is made. As a result, as in the case of the first embodiment, the imaging unit is moved or rotated separately to change the imaging position, the angle, etc., and the image is not captured and the imaging is performed at the same imaging position and angle but only the imaging magnification is increased. By doing so, it is considered that in many cases, sufficient image information can be input for the specific portion and sufficient distortion correction can be performed. In this case, it is possible to simplify the imaging operation separately performed on the specific part.
[0046]
Next, a third embodiment of the present invention will be described. FIG. 13 is a perspective view showing the overall configuration of the third embodiment of the present invention. As shown in the figure, the image input device according to the present embodiment includes an imaging unit 14, a light emitting unit 19, a support unit 20, a shooting switch 23, a moving unit 24, and a personal computer 25. The imaging unit 14 is supported by the support unit 20, and presses a photographing switch 23 to capture an image of a subject 21 previously placed on a surface such as a desk on which the support unit 20 is installed. The moving unit 24 has a function of appropriately rotating the image capturing unit 14 and the light projecting unit 19 to adjust the photographing or light projecting direction and their positions.
[0047]
Next, the operation of the third embodiment when shooting an object will be described. When the photographing switch 23 is pressed, the imaging unit 14 photographs an image of the subject 21 (a book or the like). Next, the light projecting unit 19 irradiates the subject 21 with the light projecting pattern 22 to photograph a subject image on which the pattern is projected. Information on the captured image is transferred to the personal computer 25, where distortion correction processing is performed.
[0048]
FIG. 14 shows details of the imaging unit 14. An image of the subject is formed on the image sensor 3 by the zoom lens 12 and the aperture mechanism 2 in the image pickup unit 14. The image signal from the image sensor 3 is sampled by a CDS (correlated double sampling circuit) 4 and then converted into a digital signal by an A / D converter 5. The timing at this time is generated by a TG (timing generator) 6. Thereafter, the image signal is stored in the memory 8 through image processing such as aperture correction and compression processing in an IPP (image preprocessing circuit) 7.
[0049]
The operation of each unit is controlled by an MPU (microprocessor unit) 9. The light emitting unit 19 is also controlled by the MPU 9 for light emitting timing. The MPU 9 also controls the timing of the light projection of the light projection unit 19, the control of the moving unit 24, and the like. The captured image is transferred to a computer 25 as an external device via the I / F 15. The distortion correction processing performed on the transferred image by the computer 25 is the same as that in the above-described first embodiment of the present invention. In this case, the content of the distortion correction processing is stored in the form of a program, and is realized by the CPU of the computer 25 reading and executing the program.
[0050]
【The invention's effect】
As described above, according to the present invention, for a subject part having a special characteristic that a sufficient image information cannot be input in a normal image input operation, a photographing condition is determined separately according to the special characteristic. In order to correct the distortion again by performing a detailed measurement of the shape of the subject portion having the specialty or performing the distortion correction, the image information of the portion having the specialty can be sufficiently input without significantly increasing the entire image processing amount. It is possible to achieve high quality image input easily.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a conventional document image input device.
FIG. 2 is a block diagram illustrating a configuration of an imaging unit in the image input device according to the first embodiment of the present invention.
FIG. 3 is a perspective view showing the overall configuration of the image input device according to the first embodiment of the present invention.
FIG. 4 is an operation flowchart illustrating a distortion correction process in the image input device according to the first embodiment of the present invention.
FIG. 5 is a diagram for explaining the principle of the distortion correction processing shown in FIG. 4;
FIG. 6 is a diagram (part 1) for describing a specific example of the distortion correction process illustrated in FIG. 4;
FIG. 7 is a diagram (part 2) for describing a specific example of the distortion correction processing illustrated in FIG. 4;
FIG. 8 is a diagram (part 3) for describing a specific example of the distortion correction process illustrated in FIG. 4;
9 is a diagram for explaining the principle of processing for detecting a specific position of a subject in the distortion correction processing shown in FIG.
FIG. 10 is a diagram for describing an image combining process by a fitting combining process in the distortion correction process shown in FIG. 4;
FIG. 11 is a block diagram illustrating a configuration of an imaging unit in an image input device according to a second embodiment of the present invention.
FIG. 12 is an operation flowchart illustrating a distortion correction process in the image input device according to the second embodiment of the present invention.
FIG. 13 is a perspective view illustrating an overall configuration of an image input device according to a third embodiment of the present invention.
FIG. 14 is a block diagram illustrating a configuration of an imaging unit in an image input device according to a third embodiment of the present invention.
[Explanation of symbols]
11, 13, 14 Imaging unit 19 Light emitting unit 21 Subject 24 Moving unit

Claims

Imaging means for imaging a subject;
Measuring means for measuring the three-dimensional shape of the subject;
A specific position detection unit that detects a specific position that matches a predetermined condition in the subject based on a measurement result by the measurement unit;
An image input apparatus comprising: an imaging mode determining unit that determines an imaging mode of the imaging unit with respect to a specific position of the subject detected by the specific position detecting unit.

2. The image input device according to claim 1, wherein the predetermined condition for detecting the specific position of the subject by the specific position detection unit includes a condition of an angle between an optical axis of the imaging unit and a surface of the subject at the position. .

3. The image input device according to claim 1, wherein the image capturing mode of the image capturing unit with respect to the specific position of the subject determined by the image capturing mode determining unit includes at least one of an image capturing position and an image capturing angle of the image capturing apparatus.

Imaging means for imaging a subject;
Shape measuring means for measuring the three-dimensional shape of the subject,
A specific position detection unit that detects a specific position in the subject that matches a predetermined condition based on a measurement result by the shape measurement unit;
Correction means for correcting the distortion of the input image captured and input by the imaging means based on the measurement result of the shape measurement means,
A configuration in which the shape measuring unit performs shape measurement by increasing the measurement accuracy for the specific position of the subject detected by the specific position detecting unit, and the correction unit performs distortion correction by increasing the accuracy for the specific position of the subject. Image input device.

6. The image input device according to claim 5, wherein the imaging unit is configured to increase an imaging magnification of a part of the subject at a specific position detected by the specific position detecting unit.

The subject is formed of a book, the specific position of the subject to be detected by the specific position detection unit is formed of a binding portion of the book,
A configuration according to claim 1, wherein the imaging mode determining unit determines a mode in which an image of the specific position of the subject can be captured with higher accuracy as an imaging mode of the imaging unit with respect to the specific position of the subject detected by the specific position detecting unit. Item 4. The image input device according to any one of Items 1 to 3.

The imaging mode determining means may be configured to capture an image of the specific position of the subject with higher accuracy, at a position closest to the specific position of the subject, and at an angle close to or directly opposite to the specific position of the subject. The image input device according to claim 6, wherein the image input device is configured to determine an image capturing mode.

The image input device according to any one of claims 1 to 7, further comprising: a unit configured to combine input image information about a specific position of the subject with other input image information to generate an entire input image.