JP2004254110A - Image reading method used for image reader and image reading control program - Google Patents

Image reading method used for image reader and image reading control program Download PDF

Info

Publication number
JP2004254110A
JP2004254110A JP2003042965A JP2003042965A JP2004254110A JP 2004254110 A JP2004254110 A JP 2004254110A JP 2003042965 A JP2003042965 A JP 2003042965A JP 2003042965 A JP2003042965 A JP 2003042965A JP 2004254110 A JP2004254110 A JP 2004254110A
Authority
JP
Japan
Prior art keywords
image
document
pixel shift
detected
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003042965A
Other languages
Japanese (ja)
Other versions
JP4190911B2 (en
Inventor
Satoru Segawa
哲 瀬川
Masahiko Sugimoto
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Robotics Engineering Ltd
Original Assignee
NEC Corp
NEC Robotics Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Robotics Engineering Ltd filed Critical NEC Corp
Priority to JP2003042965A priority Critical patent/JP4190911B2/en
Publication of JP2004254110A publication Critical patent/JP2004254110A/en
Application granted granted Critical
Publication of JP4190911B2 publication Critical patent/JP4190911B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image reading method for performing image acquisition with high resolution at high speed by using a stand type image reader and for smoothly coping with change of brightness of environment. <P>SOLUTION: The image acquisition is performed (A1), when an image of a user's hand 22 is detected (A2, A3), the image acquisition is performed (A4), processing for detecting the image of the hand 22 is performed (A5) and decision processing whether the image of the hand 22 is detected is performed (A6). The image of the hand 22 is detected and when the image of the hand 22 is not detected next, a pixel shifting operation is performed (A7), and image acquisition after pixel shifting is performed (A8). After that, an operation of image processing corresponding to a pixel shifting system is performed (A9) by using the image in which the image of the hand 22 is not detected before the pixel shifting and the image after the pixel shifting, and image data with resolution higher than the one in the case of performing no pixel shifting is obtained (A10). <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、画像読取り装置に用いられる画像読取り方法、及び画像読取り制御プログラムに係り、特に、原稿をイメージセンサに密着させず画像を入力するスタンド型に構成された画像読取り装置に用いられ、同イメージセンサの光電変換素子数を増やさずに高解像度の画質を得る場合に用いて好適な画像読取り方法、及び画像読取り制御プログラムに関する。
【０００２】
【従来の技術】
画像読取り装置には、読取り部に密着された原稿の画像を走査して取り込む密着型の他、原稿を読取り部に密着させずに画像を取り込むスタンド型のものがある。スタンド型の画像読取り装置では、イメージセンサの光電変換素子数を増やさずに画質を向上させるために、画素ずらし方式が用いられているものがある。画素ずらし方式では、２次元に配列されている光電変換素子（たとえば、電荷結合素子、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ 、ＣＣＤ）を物理的に微動させ、１画素に３つのデータが取り込まれる。これにより、３ＣＣＤと同等の高画質の画像取り込みが可能となる。
【０００３】
従来、この種の画像読取り装置に関する技術としては、たとえば、次のような文献に記載されるものがあった。
特許文献１に記載されたイメージスキャナ装置では、原稿画像が読み取り部に密着することなく、非接触型で間接的に読み取られる。同装置では、光電変換素子として１次元のイメージセンサが用いられ、副走査装置と組み合わせることにより、２次元画像が取得される。
【０００４】
特許文献２に記載された撮像装置では、エリアセンサを画素配列方向に基準位置から画素配列間隔の１／Ｎ（Ｎは整数）だけ（Ｎ−１）回移動させるための機構が設けられ、基準位置から画素配列方向に画素列間隔の１／Ｎだけ移動させた位置におけるエリアセンサの読出しラインの出力信号及び（Ｎ−１）個のエリアセンサの読出しラインの出力信号を読み出して合成する信号処理手段が設けられている。この撮像装置では、原稿がエリアセンサの画素配列方向の異なる位置で撮像され、これらの複数の撮像出力が合成処理されて高解像度が得られる。このため、エリアセンサで取得される画像の解像度が画素ずらし方式によって向上する。
【０００５】
特許文献３に記載されたイメージスキャナでは、ユーザは、表示装置に表示された画像を見ながら、原稿又は一次元イメージセンサの位置を操作するだけで、読取られた画像の位置を最適な範囲の位置に調整することができる。最適な範囲の位置調整時では、ユーザは、停止命令受付手段により停止命令を行うだけで作業が終了できるため、繰り返し読取り及び表示開始のための命令を装置に与えることなく読取り及び表示ができ、原稿の位置合わせ作業を容易にできる。また、停止命令が受け付けられるまでは通常の読取りよりも高速の読取りが行われる。
【０００６】
特許文献４に記載された文書画像取得装置では、手の画像を検出して手の領域を除去する手段が設けられ、手の動き及び文書の動きを検出して文書のページを捲る動作の可否が判定される。そして、画像が静止したことが検出され、そのときの画像が文書画像として切り出される。
【０００７】
特許文献５に記載された画像入力装置では、被写体からの光が光学系によって光電変換手段の入射面に結像される。同光学系によって結像される画像位置は、画素ずらし手段により相対的に移動し、同一の被写体の画像が複数回撮像されて合成される。また、同画像入力装置における震動を検知する震動検知手段が設けられ、同震動検知手段が外部から与えられた震動を検知したとき、禁止手段により撮像が禁止される。また、震動の影響により、画素ずらしの前後での画素のずれ量が不適切である場合、あるいは現時点で取り込んだ画像と前回取り込んだ画像とのずれ量が不適切な場合には、禁止手段により撮像が禁止される。このため、正常な画像のみが取り込まれ、解像度が向上する。
【０００８】
特許文献６に記載された画像読取装置では、スイッチが押下された後、ＣＣＤエリアセンサのもつ画素数から得られる低精細度の画像に基づいて静止判定が行われ、静止判定条件が成立すると、自動的に画素ずらし方式から得られる高精細度の画像の読取りが開始される。このため、読取りに時間を要する高精細度の読取りに対して読取り時間が低減され、読取り作業の効率が向上する。
【０００９】
【特許文献１】
特開平１１−３１３１９３号公報（第１頁、図１）
【特許文献２】
特開昭５７−０３１２５８号公報（第１頁）
【特許文献３】
特開平０８−１５４１５３号公報（第１頁、図１）
【特許文献４】
特開２０００−３０８０４５号公報（第１頁、図１）
【特許文献５】
特開平０７−１７７４２４号公報（第１頁、図４）
【特許文献６】
特開２００２−１９９１８９号公報（第３頁、図２）
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来の各装置では、次のような問題点があった。
すなわち、特許文献１に記載されたイメージスキャナ装置では、連続して画像取得を行う場合、ユーザは画像取得を行うことを決めてから次の画像取得を行う作業にできるだけ速やかに移行する必要がある。画像取得に時間がかかる場合、その間に原稿の上方を別の作業によって原稿とは関係のない物体（たとえば、次の原稿を運ぶための手や腕など）がイメージセンサを遮ることがないようにする必要がある。また、このイメージスキャナ装置は、スタンド型であるため、原稿面の明るさが周囲の明るさによって決定される。このため、設置時など、画像取得作業の開始前にユーティリティソフトが起動され、明るさに対する調整が行われる。ユーティリティソフトは、通常、設置時、照明の配置が変化したとき、あるいは部屋のシャッタやカーテンなどが開閉されたときに起動され、明るさ調整を行うためのものであるが、同イメージスキャナ装置は、画像を取得するたびに明るさ調整が行われるようにはなっていない。このため、周囲の明るさの変化が激しい（たとえば、分刻みで変化するような状態）場合では、明るさ調整が追従しきれず、取得された画像に不具合が生じるという問題点がある。
【００１１】
特許文献２に記載された撮像装置では、画像の読込みを行うための命令の後に１枚目の画像が取得され、画素ずらしの動作の後に２枚目の画像が取得され、この後に画像の合成処理が行われる。このため、画像の読込みの命令の後から画像の合成処理が終了するまでの時間は、１枚の画像を取得する場合に比較して長くなるという問題点がある。また、１枚目の画像に原稿画像が入力されていたとしても、画素ずらしの後の画像では、ユーザによる次の作業のための手の画像が入ってしまうことがあり、画像を合成する処理において正しい画素ずらしの合成ができないという問題点がある。また、原稿以外の物が読み込まれない場合でも、画像取得の前と後では、取得された画像を用いて認識や識別などの様々な処理が行われることがある。たとえば、この撮像装置では、画像が取得された後に画素ずらし処理が行われるため、画像取得後の演算処理を行う処理部の負荷が重くなり、処理が遅くなるという問題点がある。
【００１２】
特許文献３に記載されたイメージスキャナでは、１枚の原稿画像を取得するたびに停止命令を受け付けたか否かが検出されるが、停止命令の受け付けの確認終了の直後に停止命令を受け付けたとき、最悪の状態として、普通に１枚の画像取得をする場合と同じ時間がかかってしまう。また、高速の読取りを行う場合も、ユーザの停止命令に基づいて新規に高解像度の画像を読み込むため、結局高解像度の画像を読み込む時間が必要となる。しかも、画素ずらし動作が行われないので、光電変換素子以上に高い解像度が得られないという問題点がある。
【００１３】
特許文献４に記載された文書画像取得装置では、常に画像が取得され、静止画像で、かつ、手の画像が除去された場合にのみ、既に取得された最新の画像が取り出される。この場合、一般に用いられる数百万画素クラスのエリアセンサでは、同エリアセンサから全画素の信号を取り出す際、高解像度のモードとして、連続する複数の画素から全画素を出力するフレームモードが使用され、同エリアセンサを用いてフレームモードで画像を取得する場合には、同文献には記載されていないが、メカニカルシャッタが用いられることが多い。メカニカルシャッタは、１フレームが２フィールドから構成されてイメージセンサが一方のフィールドの画素を出力しているとき、同イメージセンサに対して原稿の画像を遮断する。また、同文献では、特に画像モード（フレームモード又は間引きモード）を切り替えることに対しては記載されていないが、常に画像を取得しておき、必要な場合に取り出すような手法をとる場合、フレームモードで画像を取得するとき、画像取得のたびにメカニカルシャッタが動く必要がある。ところが、一般に、メカニカルシャッタは、稼動部分を含むため、摩擦や変形などがあり、同装置内部にあるイメージセンサの各素子、処理回路、及びレンズなどと比較して寿命が短い。また、稼動部分に摩擦があるので、動作時に騒音が生じる。このため、静かな環境では、ユーザにとってメカニカルシャッタの動作音が喧騒に感じられるという問題点がある。
【００１４】
また、この文書画像取得装置では、画像の位置が変化した状態でも、原稿が静止していれば切り出しが行われ、ユーザの意図しない原稿の動きに対して読込み画像が更新されてしまうという問題点がある。また、用紙から画像を切り出して認識をかける方式では、手の領域を除去すると、画像を円滑に切り出せないという問題点がある。すなわち、原稿の画像が帳票やオフィス文書などの場合、この原稿の形状は長方形又は長方形に近いものである。このため、一般的な画像処理では、読み込んだ画像のうちの必要な部分だけが切り出され、その部分の認識処理が行われる。そして、切り出しの部分の形状を限定することにより、処理の高速化と処理量の軽減が図られているが、帳票のエッジの部分と手とが重なっているとき、手の領域を除去すると、同帳票のエッジの部分の画像も除去されてしまので、同エッジの部分が直線ではなくなり、同帳票を長方形とみなすことができなくなるため、同帳票に専用の切り出しアルゴリズムが必要となり、処理速度の低下や処理量が増大するという問題点がある。
【００１５】
特許文献５に記載された画像入力装置では、原稿にユーザの手が誤って接触してずれた場合や、周囲の空気の動きによって原稿がずれた場合、ずれが震動検知手段で検出されずに画像が入力され、解像度が向上しないという問題点がある。また、画素のずれ量が適切であるか否かを判定する処理が必要となり、画像入力処理の速度が低下するという問題点がある。
【００１６】
特許文献６に記載された画像読取装置では、静止状態の判定だけで画像入力を行うと、原稿を置く「手」の画像が入ったまま静止している場合でも、画像の入力処理が行われることがある。また、原稿台上に原稿が載置されてないときの背景についても、静止状態と判定され、この場合にも、画像の入力処理が行われることがある。このため、無用なデータが入力されるという問題点がある。また、スイッチが押下された後に静止状態を判定するための画像が取得され、静止判定がなされた後に高精細度の画像処理が行われるため、装置全体の動作を高速化できないという問題点がある。
【００１７】
この発明は、上述の事情に鑑みてなされたもので、画素ずらし方式を用いて高解像度の画像取得を高速に行い、かつ設置環境の明るさの変化に円滑に対応する画像読取り装置に用いられる画像読取り方法、及び画像読取り制御プログラムを提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、前記画素ずらしを行う前に取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、前記画素ずらし前の前記画像にユーザの手の画像が検出されているときに前記画素ずらし前の前記画像を繰り返して取得し、取得された前記画像から前記ユーザの手の画像が検出されなくなったときに前記画素ずらしを行い、該画素ずらしを行った後の画像の取得を行い、前記画素ずらし前の前記ユーザの手の画像が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得することを特徴としている。
【００１９】
請求項２記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなり、連続する複数の画素から規則的に画素を間引いて出力するドラフトモードの動作、又は全画素を出力するフレームモードの動作を行うイメージセンサと、該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、前記画素ずらしを行う前に取得された前記画像からユーザの手の画像を検出する手検出手段と、前記画素ずらしを行う前の前記フレームモードによる画像と前記画素ずらしを行った後のフレームモードによる前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、前記画素ずらし前に前記イメージセンサにおいてドラフトモードで画像取得を繰り返し行い、繰り返し取得されている前記画素ずらし前のドラフトモードによる画像に手の画像が検出されている場合には、引き続き繰り返して画素ずらし前の画像を取得し、取得された前記画像から前記ユーザの手の画像が検出されなくなったとき、前記画素ずらし前の状態でフレームモードによる画像を取得し、この後に前記画素ずらしを行って画素ずらし後のフレームモードの画像取得を行い、前記画素ずらし前のフレームモードの画像と前記画素ずらし後のフレームモードの画像とを所定の方法で処理して処理前よりも高解像度の画像を取得することを特徴としている。
【００２０】
請求項３記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、取得された前記原稿の画像から背景色を検出する背景色検出手段と、取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、取得された前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、取得された画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されている場合、画像全体の明るさの設定を行い、以降の画像取得で取得画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されるまでの間、前記設定された明るさを保持することを特徴としている。
【００２１】
請求項４記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の濃度値とを比較する比較手段と、取得された前記原稿の画像から前記識別子を検出する識別子検出手段と、前記識別子が検出されたとき、取得された前記原稿の画像の明るさを前記比較手段による比較結果に基づいて設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、取得された前記原稿の画像からユーザの手の画像が検出され、かつ前記識別子に基づいて前記原稿が前記白基準原稿であることが検出された場合、画像全体の明るさの設定を行い、以降の画像取得で取得画像から前記識別子が検出されるまでの間、前記設定された明るさを保持することを特徴としている。
【００２２】
請求項５記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、前記画素ずらしを行う前に取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段と、取得した前記原稿の画像から背景色を検出する背景色検出手段と、取得した前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、前記画素ずらし前の画像にユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されている場合、画像全体の明るさ設定を行い、前記画素ずらし前の画像を繰り返して取得し、取得された画像から前記ユーザの手の画像が検出されなくなったときに画素ずらしを行い、該画素ずらしの後に前記画像の取得を行い、前記画素ずらし前の前記ユーザの手の画像が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得し、以降の画像取得で取得画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されるまでの間、前記設定された明るさを保持することを特徴としている。
【００２３】
請求項６記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、取得された前記原稿の画像から背景色を検出する背景色検出手段と、前記背景色の領域の面積の変化を検出する面積検出手段と、取得された前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大している場合、前記取得画像から前記背景色の領域を除いた領域を用いて画像全体の明るさの設定を行い、以降の画像取得で前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大するまで前記設定された明るさを保持することを特徴としている。
【００２４】
請求項７記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、取得された前記原稿の画像から背景色を検出する背景色検出手段と、前記背景色の領域の面積の変化を検出する面積検出手段と、同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の濃度値とを比較する比較手段と、取得された前記原稿の画像から前記識別子を検出する識別子検出手段と、前記識別子が検出されたとき、取得された前記原稿の画像の明るさを前記比較手段による比較結果に基づいて設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し、かつ前記識別子に基づいて前記原稿が白基準原稿であることが検出された場合、前記取得画像から前記背景色の領域を除いた領域を用いて画像全体の明るさの設定を行い、以降の画像取得で前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し、かつ前記原稿が白基準原稿であることを検出するまで前記設定された明るさを保持することを特徴としている。
【００２５】
請求項８記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、予め登録されている特徴を検出する特徴検出手段と、前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、前記画素ずらし前の画像に前記予め登録されている特徴が検出されているときに前記画素ずらし前の前記画像を繰り返して取得し、取得した前記画像から前記予め登録されている特徴が検出されなくなったときに前記画素ずらしを行い、該画素ずらしの後に前記画像の取得を行い、前記画素ずらし前の前記予め登録されている特徴が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得し、再び、前記画素ずらし前の前記画像を取得し、前記画素ずらし前の画像に前記予め登録されている特徴が検出されているか否かを検出するとを特徴としている。
【００２６】
請求項９記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなり、複数の画素から規則的に画素を間引いて出力するドラフトモードの動作、又は全画素を出力するフレームモードの動作を行うイメージセンサと、該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、前記画素ずらしを行う前の前記フレームモードによる画像と前記画素ずらしを行った後のフレームモードによる前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段と、前記高解像度の画像を取得して保持する画像保持手段と、予め登録されている特徴を検出する特徴検出手段とを備えてなる画像読取り装置に用いられ、前記画素ずらしを行う前に前記イメージセンサにおいてドラフトモードで画像取得を繰り返し行い、繰り返し取得している前記画素ずらし前のドラフトモードによる画像に前記予め登録されている特徴が検出されている場合には、引き続き繰り返して画素ずらし前の画像を取得し、この後に前記画素ずらしを行って画素ずらし後のフレームモードの画像取得を行い、前記画素ずらし前のフレームモードの画像と画素ずらし後のフレームモードの画像とを所定の方法で処理して処理前よりも高解像度の画像を取得することを特徴としている。
【００２７】
請求項１０記載の発明は、画像読取り方法に係り、複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、表面に識別子のみが記載された均一な略白色の影除去用白基準原稿に設定された白基準値と取得画像の白部分の濃度値とを比較する比較手段と、取得画像から前記識別子を検出する識別子検出手段と、前記識別子が検出されたとき、取得画像の明るさを前記比較手段による比較結果に基づいて部分的に調整して影を除去する明るさ調整手段とを備えてなる画像読取り装置に用いられ、取得された画像から前記ユーザの手の画像が検出され、かつ前記識別子に基づいて前記原稿が前記影除去用白基準原稿であることを検出した場合、前記影除去用白基準原稿から前記識別子の部分を除いた領域の明るさを前記設定された白基準値とするための乗率を前記明るさ調整手段で記憶し、以降の画像取得で取得画像から前記識別子が検出されるまでの間、前記設定された明るさを保持することを特徴としている。
【００２８】
請求項１１記載の発明は、請求項２又は９記載の画像読取り方法に係り、前記フレームモードの動作では、１画素おきの画素をまとめて１フィールドとして１フレームを２フィールドから構成し、前記イメージセンサが一方のフィールドの画素を出力しているとき、前記イメージセンサに対して前記原稿の画像をメカニカルシャッタを用いて遮断し、前記ドラフトモードの動作では、前記メカニカルシャッタを用いないことを特徴としている。
【００２９】
請求項１２記載の発明は、請求項１、２、５、８又は９記載の画像読取り方法に係り、前記画素ずらし機構は、前記イメージセンサがモノクロ画像に対応する場合、該イメージセンサの位置を前記各光電変換素子間のピッチに満たない範囲でずらし、前記イメージセンサがカラー画像に対応する場合、該イメージセンサの位置を前記各光電変換素子間のピッチ以内の範囲でずらすことを特徴としている。
【００３０】
請求項１３記載の発明は、画像読取り制御プログラムに係り、コンピュータに請求項１乃至１２のうちのいずれか一に記載の画像読取り方法を実施させることを特徴としている。
【００３１】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
第１の実施形態
図１は、この発明の第１の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
この形態の画像読取り装置は、同図に示すように、画像読取り部１と、画素ずらし駆動回路２と、メカニカルシャッタ駆動回路３と、イメージセンサ制御処理回路４と、制御部５とから構成されている。画像読取り部１は、エリアイメージセンサ１１と、画素ずらし機構１２と、レンズ１３と、メカニカルシャッタ１４と、レンズ１５とから構成されている。エリアイメージセンサ（以下、「イメージセンサ」という）１１は、たとえばモノクロ画像に対応するものであり、複数の光電変換素子（たとえば、ＣＣＤ）が所定の間隔でマトリクス状に配列され、たとえば５００万画素クラスに構成されている。画素ずらし機構１２は、イメージセンサ１１の位置を各ＣＣＤ間のピッチに満たない範囲内でずらす画素ずらしを行う。この場合、イメージセンサ１１が搭載されている基板１１ａを、たとえば圧電素子及び板バネを用いて物理的に微動させる。レンズ１３，１５は、原稿台２０上の読取り対象となる原稿２１の画像をイメージセンサ１１の撮像面上に結像させる。メカニカルシャッタ１４は、複数枚の遮光板が高速で開閉し、イメージセンサ１１の撮像面上の結像を制御する。
【００３２】
画素ずらし駆動回路２は、画素ずらし機構１２を駆動することにより、イメージセンサ１１が搭載されている基板１１ａを微動させる。メカニカルシャッタ駆動回路３は、メカニカルシャッタ１４を所定のタイミングで駆動する。この場合、連続する複数の画素から全画素を出力するフレームモードの動作では、１画素おきの画素をまとめて１フィールドとして１フレームを２フィールドから構成し、イメージセンサ１１が一方のフィールドの画素を出力しているとき、メカニカルシャッタ１４が閉じて同イメージセンサ１１に対して原稿の画像を遮断する。イメージセンサ制御処理回路４は、イメージセンサ１１に対してクロックの送出やモードを設定して駆動し、同イメージセンサ１１から出力される画像信号を処理する。制御部５は、この画像読取り装置全体を制御するためのＣＰＵ（中央処理装置）５ａ、及び、この実施形態の画像読取り方法を同ＣＰＵ５ａに実施させるための画像読取り制御プログラムが記録されたＲＯＭ（リード・オンリ・メモリ）５ｂを有している。特に、この実施形態では、制御部５は、画素ずらしを行う前に取得した原稿２１の画像からユーザの手２２の画像を検出する他、画素ずらしを行う前の画像と画素ずらしを行った後の画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する。
【００３３】
図２は、図１の画像読取り装置の外観の一例を示す斜視図である。
この画像読取り装置では、同図２に示すように、アーム機構３１により、原稿２１から画像読取り部１のイメージセンサ１１までの距離が所定値に保持されている。また、制御装置３２には、図１中の画素ずらし駆動回路２、メカニカルシャッタ駆動回路３、イメージセンサ制御処理回路４及び制御部５が内蔵されている。
【００３４】
図３は、図１の画像読取り装置の動作を説明するフローチャート、図４、図５及び図６が画素ずらしの原理を説明する図である。
これらの図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得がたとえばフレームモードで行われ（ステップＡ１）、ユーザの手２２の画像の検出処理が行われる（ステップＡ２）。この後、ユーザの手２２の画像が検出されたか否かが判定され（ステップＡ３）、検出されたとき、ステップＡ４へ進む。原稿台２０上の画像取得がたとえばフレームモードで行われ（ステップＡ４）、取得画像からユーザの手２２の画像を検出する処理が行われ（ステップＡ５）、ユーザの手２２の画像が検出されたか否かの判定処理が行われる（ステップＡ６）。この場合、取得画像から一旦ユーザの手２２の画像が検出された場合、手２２の画像が検出されなくなるまで、ステップＡ４に戻って画像取得が繰り返し行われる。また、手２２の画像が検出されなかった場合、ステップＡ４に戻って再び画像取得が繰り返し行われる。
【００３５】
一旦、ユーザの手２２の画像が検出され、次に手２２の画像が検出されなくなった場合、画素ずらし駆動回路２により画素ずらし機構１２が駆動されて画素ずらし動作が行われ（ステップＡ７）、画素ずらし後の画像取得がたとえばフレームモードで行われる（ステップＡ８）。この画素ずらし動作では、たとえば、図４に示すように、画素ずらし前の１８１ｄｐｉ（１ピッチ；１４０ミクロン）の画像が斜め４５度の方向にずらされ、図５に示すように、画素ずらし後の２５５ｄｐｉ（１ピッチ；１００ミクロン）の画像が得られる。この画像は、図６に示す２５５ｄｐｉの参考画像と同等のものである。この後、画素ずらし前の手２２の画像が検出されなくなった画像と、画素ずらし後の画像とを用いて画素ずらし方式に対応した画像処理の演算が行われ（ステップＡ９）、画素ずらしを行わない場合の画像よりも高解像度の高解像度画像データが得られる（ステップＡ１０）。画素ずらし機構１２は、再び画素ずらし前の画像を取得するために画素ずらし戻し動作を行う（ステップＡ１１）。
【００３６】
以上のように、この第１の実施形態によれば、ユーザの手２２の画像の有無の判定結果に基づいて画素ずらし動作が行われるため、画素ずらし方式による高解像度化の利点を損うことなく、原稿２１の画像の読み込みが高速化される。
【００３７】
第２の実施形態
図７は、この発明の第２の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ａが設けられている。制御部５Ａは、制御部５の機能に加え、イメージセンサ１１に対して、連続する複数の画素から規則的に画素を間引いて出力するドラフトモードの動作、又は全画素を出力するフレームモードの動作を行うように制御する。他は、図１と同様の構成である。
【００３８】
図８は、図７の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。画素ずらしを行う前にイメージセンサ１１においてドラフトモードによる原稿台２０上の画像取得が行われる（ステップＢ１）。このドラフトモードでは、イメージセンサ１１は、連続する複数の画素からたとえば１画素おきに画素を間引いて出力するように制御される。ユーザが原稿２１を原稿台２０上に置くと、繰り返し取得している画素ずらし前のドラフトモードによる画像中にユーザの手２２の画像が検出される（ステップＢ２，Ｂ３）。引き続き、画素ずらし前のドラフトモードの画像取得が繰り返して行われる（ステップＢ４）。
【００３９】
取得画像から手２２の画像が検出されなくなったとき（ステップＢ５，Ｂ６）、一旦、画素ずらし前の状態でフレームモードの画像取得が行われる（ステップＢ７）。そして、画素ずらし動作が行われ（ステップＢ８）、画素ずらし後のフレームモードの画像取得を行うことにより、２枚のフレームモードの画像が取得される（ステップＢ９）。この後、画素ずらし前のフレームモード画像と画素ずらし後のフレームモード画像とを用いて画素ずらし方式に対応した画像処理の演算が行われ（ステップＢ１０）、画素ずらしを行わない場合の画像よりも高解像度の高解像度画像データが得られる（ステップＢ１１）。一方、ユーザが次の原稿の画像を読み取らせる準備をするために、画素ずらし戻し動作（ステップＢ１２）によってステップＢ１に戻り、再びドラフトモードで繰り返し画像取得が開始され、ユーザの手２２の画像を検出する状態となる。
【００４０】
また、前記ステップＢ２などにおいてユーザの手２２の画像を検出する場合、図示しないメモリに予め手２２の色を記憶させておき、取得された画像から類似色の部分について、それぞれの類似度（色としてどれだけ離れているかを表す）及び同類似度における画素数が計数される。手２２の検出の判定では、たとえば、各類似度に重みを付け、各類似度における画素数と重みとの積が計算され、この積が予め決めておいた値以上になった場合に手２２が検出されたものと判定される。
【００４１】
また、高解像度で比較的安価なエリアセンサとして、インターライン型のＣＣＤがあるが、同ＣＣＤでは、受光部から光電変換で溜まった電荷を取り出すために、１画素おきの画素をまとめて１つのフィールドとし、全画素を読み出すフレームモードでは合計２つのフィールドの画像信号が出力される。この場合、２つのフィールドに分割して読み出すために、画素間の干渉を低減させて読み出すことができる一方で、少なくとも片方のフィールドを読み出している間はメカニカルシャッタによってＣＣＤに光が入らないようにする必要がある。また、スミア（ｓｍｅａｒ）を抑制するためにも、メカニカルシャッタが用いられる。
【００４２】
一方、前記インターライン型のＣＣＤのドラフトモードでは、間引き画素に対して読み出しを行い、１つのフィールドで画像の読み出しが行われ、スミアの影響が少ない場合には、メカニカルシャッタは必ずしも必要でない。この実施形態では、エリアセンサの被写体は、紙、帳票、写真など、用紙に印刷あるいは書かれた原稿であるので、直射日光、スポットライト、蛍光管などの光源、又は鏡面反射による光源などのような比較的強い光を読み込むことは想定されない。このため、スミアの影響は考慮する必要は少なく、ドラフトモードではメカニカルシャッタ１４の駆動は不要である。よって、この実施形態では、画素ずらしを行って高解像度画像を得るときにメカニカルシャッタ１４を使用してフレームモードで画像を取得し、手２２の画像を検出する場合にはメカニカルシャッタ１４を使用しない。
【００４３】
以上のように、この第２の実施形態によれば、フレームモードの画像取得及び画素ずらしを行うことにより、高解像度の画像を常に用意しておく必要がないので、画素ずらしの処理で占有されるデータの処理量を低減することができ、その分、他の処理を多く行うことができる。また、常にフレームモードで画像を取得する必要がないので、メカニカルシャッタ１４の使用頻度が低くなり、長寿命かつ低騒音化される。
【００４４】
第３の実施形態
図９は、この発明の第３の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｂが設けられている。制御部５Ｂは、制御部５の機能に加え、取得した原稿の画像から背景色を検出する他、取得した原稿の画像の明るさを設定する機能を有している。この場合、制御部５Ｂは、原稿を置く部分（原稿台２０）の背景色を図示しないメモリに記憶させておき、ユーザの手２２、及び背景色と異なる画像が検出されているとき、ユーザが原稿画像を読み取らせようとしているものと判定する。そして、このときの周囲環境の明るさを検出し、その検出結果を用いて取得画像に補正をかける。また、制御部５Ｂでは、制御部５の画素ずらしを行う機能は省略されている。他は、図１と同様の構成である。
【００４５】
図１０は、図９の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。原稿台２０上の画像取得が行われ（ステップＣ１）、この後、ユーザの手２２の画像が検出されたとき（ステップＣ２，Ｃ３）、ステップＣ４へ進む。取得画像から背景色の部分が除去され（ステップＣ４）、また、取得画像からユーザの手２２の画像を除去する処理が行われる（ステップＣ５）。取得画像から手２２の画像が検出され、かつ、手２２の領域以外に背景色以外の画像が検出されている場合（ステップＣ６）、ユーザが原稿２１を原稿台２０に載せることにより画像を装置に取得させるための作業が行われたものとみなし、手２２の画像及び背景色以外の領域を取得すべき原稿として、その部分の画像について明るさ設定する処理が行われる（ステップＣ７）。この後、画像取得で取得画像からユーザの手２２の画像が検出され、かつユーザの手２２の領域以外に背景色以外の画像が検出されるまでの間、設定された明るさが保持される。明るさの設定が終了した後に他の処理が必要であれば（ステップＣ８）、その処理に移る（ステップＣ９）。なお、前記ステップＣ３においてユーザの手２２の画像が検出されないとき、ステップＣ８へ進む。
【００４６】
また、前記ステップＣ７における明るさの設定は、設定された乗率を取得画像全体に掛けることにより行われる。この乗率は、取得した原稿画像のうちの印刷されていない地の部分のレベル値を予め設定されたグレーレベル値に引き上げるか又は引き下げるものである。たとえば、原稿画像中の最も白いレベルを２５５、最も暗いレベルを０、地のグレーレベル値を２４０と設定する。そして、取得画像のうちの印刷されていない地の色部分レベルの最頻度レベル値が１６０、印刷部分の最頻度レベル値が２０となっている場合、地の色部分の最頻度レベル値１６０をグレーレベル値（２４０）に引き上げる。この場合、乗率は１．５となり、取得画像全体にこの乗率を掛ける。この結果、取得画像の印刷部分の最頻度レベル値は３０、地の色部分の最頻度レベル値１６０が２４０となる。
【００４７】
以上のように、この第３の実施形態によれば、ユーザが原稿２１を原稿台２０上に置いたとき、周囲環境の明るさを検出し、その検出結果を用いて取得画像に補正をかけるので、ユーザがほとんど意識することなく明るさの設定が行われ、短時間のうちに周囲の明るさが変化するような場合でも、取得画像が明るさの変化の影響を受けることを回避できる。
【００４８】
第４の実施形態
図１１は、この発明の第４の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｃが設けられている。制御部５Ｃは、制御部５の機能に加え、同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の濃度値とを比較すると共に、取得した原稿の画像から識別子を検出する機能を有している。また、制御部５Ｃは、前記識別子が検出されたとき、取得した原稿の画像の明るさを前記した比較による比較結果に基づいて設定する機能を有している。また、制御部５Ｃでは、制御部５の画素ずらしを行う機能は省略されている。他は、図１と同様の構成である。
【００４９】
図１２は、図１１の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＤ１）、ユーザの手２２の画像の検出処理が行われる（ステップＤ２）。この後、ユーザの手２２の画像が検出されたとき（ステップＤ３）、ステップＤ４へ進む。同一の紙厚及び略白色系の紙色を有する原稿群は、たとえば銀行などで使用される白色系の帳票であり、同一の識別子が印刷され、白基準原稿として用いられる。そして、白基準原稿、前記識別子に対応した白基準値、及び取得画像から識別子を検出する（ステップＤ４）。
【００５０】
前記白基準値と取得画像の白部分の濃度値とが比較され、前記識別子が白基準の識別子であるとき（ステップＤ５）、取得画像の明るさが設定される（ステップＤ６）。明るさの設定値は、この後の画像取得（ステップＤ１）で取得画像から手２２の画像が検出され（ステップＤ２，Ｄ３）、かつ、取得画像から識別子が検出されるまでの間、保持される。また、手２２の画像及び識別子が検出されない場合、つまり単に画像を取得する際には、設定された明るさの設定値を用いて取得画像の明るさ設定が行われる。この後、他の処理が必要であれば、その処理に移る（ステップＤ７，Ｄ８）。
【００５１】
ステップＤ６における明るさの設定は、たとえば、第３の実施形態と同様に行われ、乗率が１．５となる。この値は、後に手２２の画像が検出され、かつ予め決められた識別子を有する原稿画像が検出されない限り、取得画像に掛ける処理に用いられる。この結果、予め決められた識別子を有する原稿画像については、画像の印刷部分の最頻度レベル値は３０、地の色部分の最頻度レベル値１６０は２４０となる。また、識別子のない別の原稿画像についても、地の部分のレベルを左右する紙の厚みや紙の色が同じであれば、地のレベル値は２４０の近傍となる。
【００５２】
以上のように、この第４の実施形態によれば、同一の紙厚及び略白色系の紙色を有する原稿に対して、第３の実施形態と同様の利点がある。
【００５３】
第５の実施形態
図１３は、この発明の第５の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｄが設けられている。制御部５Ｄは、制御部５の機能に加え、取得した原稿の画像から背景色を検出する他、取得した原稿の画像の明るさを設定する機能を有している。他は、図１と同様の構成である。
【００５４】
図１４は、図１３の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＥ１）、画素ずらしを行う前の画像にユーザの手２２の画像が検出されたとき（ステップＥ２，Ｅ３）、取得画像から背景色の部分が除去され（ステップＥ４）、また、取得画像からユーザの手２２の画像を除去する処理が行われる（ステップＥ５）。そして、ユーザの手２２の領域以外に背景色以外の画像が検出されている場合（ステップＥ６）、画像全体の明るさ設定が行われる（ステップＥ７）。この後、画素ずらしを行う前の画像が繰り返して取得され（ステップＥ８）、取得された画像からユーザの手２２の画像が検出されなくなったときに（ステップＥ９，Ｅ１０）画素ずらしが行われ（ステップＥ１１）、画素ずらしを行った後に画像の取得が行われる（ステップＥ１２）。そして、画素ずらしを行う前のユーザの手２２の画像が検出されなくなった画像と画素ずらしを行った後の画像とを用いて高解像度の画像が取得される（ステップＥ１３，Ｅ１４）。この後の画像取得で取得画像からユーザの手２２の画像が検出され、かつユーザの手２２の領域以外に背景色以外の画像が検出されるまでの間、設定されている明るさが保持される。再び、画素ずらしを行う前の画像が取得され、画素ずらしを行う前の画像に手２２の画像が検出されているか否かが検出される（ステップＥ１５）。
【００５５】
以上のように、この第５の実施形態によれば、第１の実施形態及び第３の実施形態と同様の利点がある。
【００５６】
第６の実施形態
図１５は、この発明の第６の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｅが設けられている。制御部５Ｅは、制御部５の機能に加え、取得した原稿の画像から背景色を検出する他、同背景色の領域の面積の変化を検出する機能を有している。また、制御部５Ｅは、取得した原稿の画像の明るさを設定する機能を有している。また、制御部５Ｅでは、制御部５の画素ずらしを行う機能及びユーザの手２２の画像を検出する機能は省略されている。他は、図１と同様の構成である。
【００５７】
図１６は、図１５の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＦ１）、取得画像から背景色の部分が検出され（ステップＦ２）、この背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大している場合（ステップＦ３，Ｆ４）、取得画像から背景色の領域を除去した領域に対して画像全体の明るさ設定が行われる（ステップＦ５，Ｆ６）。この後、画像取得で背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大するまで、設定されている明るさが保持される。この後、他の処理が必要であれば、その処理に移る（ステップＦ７，Ｆ８）。
【００５８】
前記ステップＦ４における「予め設定した割合」は、たとえば、次のように設定される。すなわち、背景色の領域の面積の変化とは、原稿２１を原稿台２０上に置くことによって背景色の領域の一部が原稿２１の占める領域に変化することであるから、たとえば、Ａ４サイズの帳票を原稿２１として置くとすれば、取得画像の面積からＡ４サイズの面積を差し引いた面積を取得画像の面積で割ったものが「予め設定した割合」の限界値となる。実際には、帳票の画像に背景色と同じ印刷色が表れることに配慮し、この値よりも若干（たとえば１割程度）低い値に設定する。
【００５９】
以上のように、この第６の実施形態によれば、取得画像から背景色の領域を除去した領域に対して画像全体の明るさ設定が行われ、この後の画像取得で背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大するまで、設定されている明るさが保持されるので、制御部５Ｅにおけるデータの処理量を低減することができる。
【００６０】
第７の実施形態
図１７は、この発明の第７の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｆが設けられている。制御部５Ｆは、制御部５の機能に加え、第６の実施形態の制御部５Ｅと同様に、取得した原稿の画像から背景色を検出する他、同背景色の領域の面積の変化を検出する機能を有している。また、制御部５Ｆは、第４の実施形態の制御部５Ｃと同様に、同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の値とを比較すると共に、取得した原稿の画像から識別子を検出する機能を有している。また、制御部５Ｆは、前記識別子が検出されたとき、取得した原稿の画像の明るさを前記した比較による比較結果に基づいて設定する機能を有している。また、制御部５Ｆでは、制御部５の画素ずらしを行う機能及びユーザの手２２の画像を検出する機能は省略されている。他は、図１と同様の構成である。
【００６１】
図１８は、図１７の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＧ１）、取得画像から背景色の部分が検出され（ステップＧ２）、この背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し（ステップＧ３，Ｇ４）、かつ、識別子に基づいて白基準原稿であることを検出した場合（ステップＧ５，Ｇ６）、取得画像から背景色の領域を除去した領域に対して画像全体の明るさの設定が行われる（ステップＧ７，Ｇ８）。この後、画像取得で背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し、かつ識別子に基づいて白基準原稿であることが検出されるまで、設定されている明るさが保持される。この後、他の処理が必要であれば、その処理に移る（ステップＧ９，Ｇ１０）。前記ステップＧ４における「予め設定した割合」については、第６の実施形態と同様に設定される。
【００６２】
以上のように、この第７の実施形態によれば、第４及び第６の実施形態と同様の利点がある。
【００６３】
第８の実施形態
図１９は、この発明の第８の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｇが設けられている。制御部５Ｇは、制御部５の機能に加え、予め登録されている特徴を検出する機能を有している。この場合、予め登録しておく特徴は、たとえば、ユーザが手袋を着けている場合であれば、手袋の色や濃度である。他は、図１と同様の構成である。
【００６４】
図２０は、図１９の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＨ１）、画素ずらしを行う前の画像にユーザの手２２の画像が検出され（ステップＨ２）、この画像中に予め登録されている特徴（たとえば、手袋の色や濃度）が検出されているとき（ステップＨ３）、画素ずらしを行う前の画像が繰り返して取得される（ステップＨ４）。取得された画像から予め登録されている特徴が検出されなくなったときに（ステップＨ５，Ｈ６）画素ずらしが行われ（ステップＨ７）、画素ずらしが行われた後に画像の取得が行われる（ステップＨ８）。そして、画素ずらしを行う前の予め登録されている特徴が検出されなくなった画像と画素ずらしを行った後の画像とを用いて高解像度の画像が取得される（ステップＨ９，Ｈ１０）。この後、画素ずらし戻し動作が行われ（ステップＨ１１）、再び、画素ずらしを行う前の画像が取得され、画素ずらしを行う前の画像に予め登録されている特徴が検出されているか否かが検出される。
【００６５】
以上のように、この第８の実施形態によれば、予め登録されている特徴の有無の判定結果に基づいて画素ずらし動作が行われるため、第１の実施形態と同様に、画素ずらし方式による高解像度化の利点を損うことなく、原稿２１の画像の読み込みが高速化される。
【００６６】
第９の実施形態
図２１は、この発明の第９の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第２の実施形態を示す図７中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図７中の制御部５Ａに代えて、異なる機能を有する制御部５Ｈが設けられている。制御部５Ｈでは、制御部５Ａにおけるユーザの手２２の画像を検出する機能に代えて、第８の実施形態の制御部５Ｇと同様に、予め登録されている特徴を検出する機能を有している。他は、図７と同様の構成である。
【００６７】
図２２は、図２１の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
画素ずらしを行う前にイメージセンサ１１においてドラフトモードで画像取得が繰り返し行われる（ステップＪ１）。繰り返し取得されている画素ずらし前のドラフトモードによる画像に予め登録されている特徴が検出されている場合には（ステップＪ２，Ｊ３）、引き続き繰り返して画素ずらし前の画像がドラフトモードで取得される（ステップＪ４）。取得された画像から予め登録されている特徴が検出されなくなったときに（ステップＪ５，Ｊ６）フレームモードの画像取得が行われ（ステップＪ７）、この後、画素ずらしを行って画素ずらしを行った後のフレームモードの画像取得が行われる（ステップＪ８，Ｊ９）。そして、画素ずらしを行う前の予め登録されている特徴が検出されなくなったフレームモードの画像と画素ずらしを行った後のフレームモードの画像とが所定の方法で処理されて処理前よりも高解像度の画像が取得される（ステップＨ１０，Ｈ１１）。この後、画素ずらし戻し動作が行われ（ステップＨ１２）、再び、画素ずらしを行う前の画像がドラフトモードで取得され、画素ずらしを行う前の画像に予め登録されている特徴が検出されているか否かが検出される。
【００６８】
以上のように、この第９の実施形態によれば、第２及び第８の実施形態と同様の利点がある。
【００６９】
第１０の実施形態
図２３は、この発明の第１０の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の画像読取り装置では、図１中の制御部５に代えて、新たな機能が付加された制御部５Ｊが設けられている。制御部５Ｊは、制御部５の機能に加え、表面に識別子のみが記載された均一な略白色の影除去用白基準原稿を用い、この影除去用白基準原稿に設定された白基準値と取得画像の白部分の濃度値とを比較し、取得画像から前記識別子を検出する。そして、識別子が検出されたとき、取得画像の明るさを前記比較の結果に基づいて部分的に調整して影を除去する機能を有している。また、制御部５Ｊでは、制御部５の画素ずらしを行う機能は省略されている。他は、図１と同様の構成である。
【００７０】
図２４は、図２３の画像読取り装置の動作を説明するフローチャートである。
この図を参照して、この形態の画像読取り方法の処理内容について説明する。
原稿台２０上の画像取得が行われ（ステップＫ１）、取得された画像からユーザの手２２の画像が検出され（ステップＫ２，Ｋ３）、かつ、識別子に基づいて影除去用白基準原稿であることが検出された場合（ステップＫ４，Ｋ５）、この影除去用白基準原稿から識別子の部分を除いた領域の明るさを前記設定された白基準値とするための乗率が制御部５Ｊに記憶される（ステップＫ６）。この後の画像取得で取得画像から識別子が検出されるまでの間、前記乗率に基づいて設定された明るさが保持され、影が除去される。この後、他の処理が必要であれば、その処理に移る（ステップＫ７，Ｋ８）。
【００７１】
以上のように、この第１０の実施形態によれば、影除去用白基準原稿を用いて識別子の部分を除いた領域の明るさを設定して影を除去するようにしたので、スタンド型の画像読取り装置に発生しやすい設置環境による影の影響が低減する。
【００７２】
以上、この発明の実施形態を図面により詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更などがあっても、この発明に含まれる。たとえば、各実施形態における画像読取り装置の画像読取り部１では、レンズ１３，１５は、装置の規模や構成に応じて任意の数で良く、また、装置の規模や構成に応じて反射ミラーを設けても良い。
また、イメージセンサ１１は、各実施形態ではモノクロ画像に対応するものであるが、カラー画像に対応するものでもよい。ただし、画素ずらし機構１２は、イメージセンサ１１がモノクロ画像に対応する場合、同イメージセンサ１１の位置を各ＣＣＤ間のピッチに満たない範囲でずらす機能を有するものであるが、同イメージセンサ１１がカラー画像に対応する場合、同イメージセンサ１１の位置を各ＣＣＤ間のピッチ以内の範囲でずらす機能を有するものである。また、画素ずらし動作では、イメージセンサ１１が斜め方向に移動しているが、横方向の移動でも良い。
【００７３】
【発明の効果】
以上説明したように、この発明の構成によれば、ユーザの手の画像の有無の判定結果に基づいて画素ずらし動作を行うため、画素ずらしによる高解像度化の利点を損なうことなく、原稿画像の取得を高速化できる。また、フレームモードの画像取得及び画素ずらしを行うことにより、高解像度の画像を常に用意しておく必要がないので、画素ずらしの処理で占有されるデータの処理量を低減することができ、その分、他の処理を多くできる。また、常にフレームモードで画像を取得する必要がないので、メカニカルシャッタは、必要なときにのみ駆動され、長寿命化及び低騒音化できる。
【００７４】
さらに、取得画像の明るさの設定は、ユーザがほとんど意識することなく行われるため、短時間のうちに周囲の明るさが変化するような場合でも、取得画像が明るさの変化の影響を受けることを回避でき、環境の明るさの変化に円滑に対応できる。また、手の画像を検出してその領域の切り貼りを行うことなく、手の画像がない状態の画像を用いるため、原稿画像の切出しのための特別なアルゴリズムが不要となる。また、影除去用白基準原稿を用いて識別子の部分を除いた領域の明るさを設定して影を除去するようにしたので、スタンド型の画像読取り装置に発生しやすい設置環境による影の影響を低減できる。
【図面の簡単な説明】
【図１】この発明の第１の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図２】図１の画像読取り装置の外観の一例を示す斜視図である。
【図３】図１の画像読取り装置の動作を説明するフローチャートである。
【図４】画素ずらしの原理の一例を示す図である。
【図５】画素ずらしの原理の一例を示す図である。
【図６】画素ずらしの原理の一例を示す図である。
【図７】この発明の第２の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図８】図７の画像読取り装置の動作を説明するフローチャートである。
【図９】この発明の第３の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図１０】図９の画像読取り装置の動作を説明するフローチャートである。
【図１１】この発明の第４の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図１２】図１１の画像読取り装置の動作を説明するフローチャートである。
【図１３】この発明の第５の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図１４】図１３の画像読取り装置の動作を説明するフローチャートである。
【図１５】この発明の第６の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図１６】図１５の画像読取り装置の動作を説明するフローチャートである。
【図１７】この発明の第７の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図１８】図１７の画像読取り装置の動作を説明するフローチャートである。
【図１９】この発明の第８の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図２０】図１９の画像読取り装置の動作を説明するフローチャートである。
【図２１】この発明の第９の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図２２】図２１の画像読取り装置の動作を説明するフローチャートである。
【図２３】この発明の第１０の実施形態である画像読取り方法を実施するための画像読取り装置の電気的構成を示す図である。
【図２４】図２３の画像読取り装置の動作を説明するフローチャートである。
【符号の説明】
１ 画像読取り部
２ 画素ずらし駆動回路
３ メカニカルシャッタ駆動回路
４ イメージセンサ制御処理回路
５ 制御部（手検出手段、画像処理手段）
５Ａ 制御部（画像処理手段、画像保持手段、手検出手段）
５Ｂ 制御部（背景色検出手段、手検出手段、明るさ設定手段）
５Ｃ 制御部（手検出手段、比較手段、識別子検出手段、明るさ設定手段）
５Ｄ 制御部（手検出手段、画像処理手段、背景色検出手段、明るさ設定手段）
５Ｅ 制御部（背景色検出手段、面積検出手段、明るさ設定手段）
５Ｆ 制御部（背景色検出手段、面積検出手段、比較手段、識別子検出手段、明るさ設定手段）
５Ｇ 制御部（特徴検出手段、画像処理手段）
５Ｈ 制御部（画像処理手段、画像保持手段、特徴検出手段）
５Ｊ 制御部（手検出手段、比較手段、識別子検出手段、明るさ調整手段）
５ａ ＣＰＵ（中央処理装置）
５ｂ ＲＯＭ（リード・オンリ・メモリ）
１１ イメージセンサ
１１ａ 基板
１２ 画素ずらし機構
１３，１５ レンズ（結像部）
１４ メカニカルシャッタ
２０ 原稿台
２１ 原稿
３１ アーム機構（保持機構）[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image reading method and an image reading control program used in an image reading apparatus, and more particularly to a stand-type image reading apparatus configured to input an image without bringing a document into close contact with an image sensor. The present invention relates to an image reading method and an image reading control program suitable for obtaining high-resolution image quality without increasing the number of photoelectric conversion elements of an image sensor.
[0002]
[Prior art]
Image reading devices include a contact type that scans and captures an image of a document that is in close contact with a reading unit, and a stand type that captures an image without bringing a document into close contact with a reading unit. Some stand-type image reading apparatuses use a pixel shift method in order to improve image quality without increasing the number of photoelectric conversion elements of an image sensor. In the pixel shift method, two-dimensionally arranged photoelectric conversion elements (for example, charge coupled devices, Charge Coupled Devices, CCDs) are physically slightly moved to capture three data in one pixel. As a result, it is possible to capture a high quality image equivalent to that of the 3CCD.
[0003]
Conventionally, as a technique relating to this type of image reading apparatus, for example, there has been a technique described in the following document.
In the image scanner device described in Patent Literature 1, a document image is read indirectly by a non-contact type without closely contacting a reading unit. In this device, a one-dimensional image sensor is used as a photoelectric conversion element, and a two-dimensional image is obtained by combining with a sub-scanning device.
[0004]
In the imaging device described in Patent Literature 2, a mechanism is provided for moving the area sensor from the reference position in the pixel arrangement direction by 1 / N (N is an integer) of the pixel arrangement interval (N-1) times. A signal processing for reading out and synthesizing the output signals of the area sensor readout lines and the output signals of the (N-1) area sensor readout lines at a position shifted by 1 / N of the pixel column interval from the position in the pixel array direction. Means are provided. In this imaging device, a document is imaged at different positions in the pixel array direction of the area sensor, and a plurality of these imaging outputs are synthesized to obtain high resolution. For this reason, the resolution of the image acquired by the area sensor is improved by the pixel shift method.
[0005]
In the image scanner described in Patent Literature 3, the user merely operates the position of the original or the one-dimensional image sensor while watching the image displayed on the display device to change the position of the read image to an optimal range. Position can be adjusted. At the time of position adjustment in the optimum range, the user can end the work only by giving a stop command by the stop command receiving means, so that the user can read and display without giving a command for repeated reading and display start to the device, Document alignment can be easily performed. Until a stop command is accepted, reading is performed at a higher speed than normal reading.
[0006]
In the document image acquisition device described in Patent Document 4, means for detecting a hand image and removing a hand region is provided, and whether or not an operation of detecting a hand motion and a document motion and turning a page of the document is performed. Is determined. Then, it is detected that the image has stopped, and the image at that time is cut out as a document image.
[0007]
In the image input device described in Patent Document 5, light from a subject is imaged on an incident surface of a photoelectric conversion unit by an optical system. The position of the image formed by the optical system is relatively moved by the pixel shifting means, and the image of the same subject is imaged a plurality of times and synthesized. Further, the image input device is provided with a vibration detecting means for detecting a vibration, and when the vibration detecting means detects a vibration applied from outside, the prohibiting means prohibits the imaging. In addition, if the amount of pixel shift before and after pixel shift is inappropriate due to the effect of vibration, or if the amount of shift between the currently captured image and the previously captured image is inappropriate, the prohibition means Imaging is prohibited. Therefore, only a normal image is captured, and the resolution is improved.
[0008]
In the image reading device described in Patent Document 6, after a switch is pressed, a stillness determination is performed based on a low-definition image obtained from the number of pixels of the CCD area sensor, and when a stillness determination condition is satisfied, Reading of a high-definition image automatically obtained from the pixel shift method is started. For this reason, the reading time is reduced for the high-definition reading that requires time for reading, and the efficiency of the reading operation is improved.
[0009]
[Patent Document 1]
JP-A-11-313193 (page 1, FIG. 1)
[Patent Document 2]
JP-A-57-031258 (page 1)
[Patent Document 3]
JP-A-08-154153 (page 1, FIG. 1)
[Patent Document 4]
JP-A-2000-308045 (page 1, FIG. 1)
[Patent Document 5]
JP-A-07-177424 (page 1, FIG. 4)
[Patent Document 6]
JP-A-2002-199189 (page 3, FIG. 2)
[0010]
[Problems to be solved by the invention]
However, each of the above-described conventional devices has the following problems.
That is, in the image scanner device described in Patent Literature 1, when acquiring images continuously, it is necessary for the user to decide to perform image acquisition and then shift to the operation of acquiring the next image as quickly as possible. . If it takes a long time to acquire an image, an object unrelated to the original (for example, a hand or arm for carrying the next original) should not obstruct the image sensor by another work above the original. There is a need to. Further, since this image scanner is of a stand type, the brightness of the document surface is determined by the brightness of the surroundings. For this reason, the utility software is started before the image acquisition work is started, for example, at the time of installation, and the brightness is adjusted. Utility software is usually started when installation, when the arrangement of lighting changes, or when a shutter or curtain in a room is opened and closed, and is used for adjusting brightness. However, the brightness adjustment is not performed every time an image is acquired. For this reason, when the surrounding brightness changes drastically (for example, in a state where the brightness changes every minute), there is a problem that the brightness adjustment cannot follow completely, and a problem occurs in the acquired image.
[0011]
In the imaging device described in Patent Literature 2, a first image is acquired after an instruction to read an image, a second image is acquired after a pixel shifting operation, and thereafter, image combining is performed. Processing is performed. For this reason, there is a problem in that the time from the image reading command to the end of the image combining process is longer than when a single image is acquired. Further, even if the original image is input to the first image, the image after the pixel shift may include a hand image for the next work by the user. However, there is a problem that it is not possible to synthesize a correct pixel shift. Even when an object other than a document is not read, various processes such as recognition and identification may be performed using the acquired image before and after image acquisition. For example, in this imaging apparatus, since the pixel shifting process is performed after the image is acquired, there is a problem that the load on the processing unit that performs the arithmetic processing after the image acquisition becomes heavy, and the process is delayed.
[0012]
The image scanner described in Patent Literature 3 detects whether or not a stop command has been received each time one document image is acquired. However, when the stop command is received immediately after confirmation of the reception of the stop command has been completed, In the worst case, it takes the same time as when one image is normally acquired. In addition, even when high-speed reading is performed, a new high-resolution image is read based on a user's stop command, so that it takes time to read a high-resolution image. Moreover, since the pixel shifting operation is not performed, there is a problem that a higher resolution than that of the photoelectric conversion element cannot be obtained.
[0013]
In the document image acquisition device described in Patent Literature 4, an image is always acquired, and only when a still image and a hand image is removed, the latest image that has already been acquired is extracted. In this case, in a commonly used area sensor of a class of several million pixels, when extracting signals of all pixels from the area sensor, a frame mode for outputting all pixels from a plurality of continuous pixels is used as a high resolution mode. When an image is acquired in the frame mode using the area sensor, a mechanical shutter is often used, although not described in the document. When one frame is composed of two fields and the image sensor outputs pixels of one field, the mechanical shutter blocks an image of a document with respect to the image sensor. In addition, the document does not specifically describe switching of an image mode (frame mode or thinning mode). However, in a case where a method of always acquiring an image and taking out the image when necessary, a frame is used. When acquiring an image in the mode, the mechanical shutter needs to move every time the image is acquired. However, in general, a mechanical shutter includes an operating portion, and therefore has friction, deformation, and the like, and has a shorter life as compared with each element, processing circuit, lens, and the like of an image sensor inside the device. In addition, noise is generated during operation due to friction in the moving parts. For this reason, in a quiet environment, there is a problem that the operation sound of the mechanical shutter is perceived as a noise by the user.
[0014]
Further, in this document image acquisition device, even if the position of the image is changed, the document is cut out if the document is stationary, and the read image is updated in response to the unintended movement of the document. There is. In the method of cutting out an image from a sheet and performing recognition, there is a problem that the image cannot be cut out smoothly if the hand region is removed. That is, when the image of the document is a form or office document, the shape of the document is rectangular or nearly rectangular. For this reason, in general image processing, only a necessary part of the read image is cut out, and recognition processing of that part is performed. And, by limiting the shape of the cutout part, the processing speed and the processing amount are reduced, but when the edge part of the form and the hand overlap, removing the hand area, Since the image of the edge part of the same form has also been removed, the edge part is no longer a straight line, and the same form cannot be regarded as a rectangle. There is a problem that the amount of processing decreases and the amount of processing increases.
[0015]
In the image input device described in Patent Document 5, when the user's hand touches the document by mistake and the document is displaced, or when the document is displaced by the movement of the surrounding air, the displacement is not detected by the vibration detecting means. There is a problem that an image is input and the resolution is not improved. Further, it is necessary to perform a process of determining whether or not the pixel shift amount is appropriate, which causes a problem that the speed of the image input process is reduced.
[0016]
In the image reading device described in Patent Literature 6, if an image is input only by determining a still state, an image input process is performed even when the image of the "hand" on which the document is to be placed is still with the image still in it. Sometimes. In addition, the background when no original is placed on the original platen is also determined to be stationary, and in this case, an image input process may be performed. For this reason, there is a problem that unnecessary data is input. In addition, an image for determining a still state is obtained after the switch is pressed, and high-definition image processing is performed after the stillness is determined, so that the operation of the entire apparatus cannot be speeded up. .
[0017]
The present invention has been made in view of the above circumstances, and is used in an image reading apparatus that performs high-speed image acquisition at high speed using a pixel shift method and that smoothly responds to changes in the brightness of an installation environment. It is an object to provide an image reading method and an image reading control program.
[0018]
[Means for Solving the Problems]
In order to solve the above problem, the invention according to claim 1 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at a predetermined interval, and a position of the image sensor are specified. A pixel shifting mechanism that shifts pixels within a range of the distance, an image forming unit that forms an image of a document to be read on the imaging surface of the image sensor, and a distance from the document to the image sensor. A holding mechanism for holding a predetermined value, a hand detecting unit for detecting an image of a user's hand from an image of the document acquired before performing the pixel shifting, and the image and the pixel shifting before performing the pixel shifting Image processing means for processing the image after performing the above with a predetermined method to generate an image with higher resolution than before the processing, and the pixel shifting The image before the pixel shift is repeatedly obtained when the image of the user's hand is detected in the image of the image, and when the image of the user's hand is not detected from the obtained image, the pixel is obtained. Perform a shift, obtain an image after performing the pixel shift, the image of the user's hand before the pixel shift is no longer detected using the image after the pixel shift and the high resolution It is characterized by acquiring an image.
[0019]
The invention according to claim 2 relates to an image reading method, wherein a plurality of photoelectric conversion elements are arranged in a matrix at a predetermined interval, and a draft mode in which pixels are regularly thinned out from a plurality of continuous pixels and outputted. An image sensor that performs an operation, or a frame mode operation that outputs all pixels, a pixel shifting mechanism that shifts the position of the image sensor within a predetermined distance range, and an image of a document to be read. An image forming unit that forms an image on an imaging surface of an image sensor, a holding mechanism that holds a distance from the document to the image sensor at a predetermined value, and a user's hand based on the image acquired before performing the pixel shifting. Hand detection means for detecting the image of the image, the image in the frame mode before performing the pixel shift and the image in the frame mode after performing the pixel shift Image processing means for processing an image with a predetermined method to generate an image having a higher resolution than before the image processing. Repeatedly, if a hand image is detected in the image in the draft mode before the pixel shift that has been repeatedly obtained, the image before the pixel shift is continuously and repeatedly obtained, and the image is obtained from the obtained image. When the image of the user's hand is no longer detected, an image in the frame mode is obtained in the state before the pixel shift, and thereafter, the image is obtained in the frame mode after the pixel shift by performing the pixel shift. The image of the previous frame mode and the image of the frame mode after the pixel shift are processed by a predetermined method to obtain a higher resolution than before the processing. It is characterized by acquiring an image of degrees.
[0020]
The invention according to claim 3 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at a predetermined interval, and an image of a document to be read on an imaging surface of the image sensor. An image forming section for forming an image, a holding mechanism for holding a distance from the document to the image sensor at a predetermined value, a background color detecting means for detecting a background color from the obtained image of the document, Used in an image reading apparatus including a hand detection unit that detects an image of a user's hand from the image of the original, and a brightness setting unit that sets the brightness of the acquired image of the original. If an image of the hand of the user is detected from the image and an image other than the background color is detected in an area other than the hand of the user, the brightness of the entire image is set, and the acquired image is obtained in the subsequent image acquisition. Wherein the detected user's hand image, and until the image other than the background color in addition to the area of the hand of the user is detected, is characterized by retaining the brightness said set from.
[0021]
The invention according to claim 4 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and an image of a document to be read is placed on an image pickup surface of the image sensor. An image forming unit, a holding mechanism for holding a distance from the document to the image sensor at a predetermined value, and a hand detecting unit for detecting an image of a user's hand from the acquired image of the document. Comparing means for comparing a white reference value of a white reference document in which the same identifier is described with respect to a document group having a sheet thickness and a substantially white paper color, and a density value of a white portion of the acquired image; An identifier detecting means for detecting the identifier from the image of the document, and a brightness setting means for setting the brightness of the acquired image of the document based on the comparison result by the comparing means when the identifier is detected. When an image of a user's hand is detected from the acquired image of the document, and it is detected that the document is the white reference document based on the identifier. The brightness of the entire image is set, and the set brightness is maintained until the identifier is detected from the acquired image in the subsequent image acquisition.
[0022]
According to a fifth aspect of the present invention, there is provided an image reading method, comprising: an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals; and a pixel for shifting the position of the image sensor within a predetermined distance range. A pixel shifting mechanism for shifting, an image forming unit for forming an image of a document to be read on the imaging surface of the image sensor, and a holding mechanism for holding a distance from the document to the image sensor at a predetermined value. A hand detection unit that detects an image of a user's hand from the image of the document acquired before performing the pixel shifting, and the image after performing the pixel shifting and the image after performing the pixel shifting. Image processing means for processing a predetermined method to generate an image with a higher resolution than before processing, background color detection means for detecting a background color from the acquired image of the document, and the acquired document Used in an image reading apparatus comprising a brightness setting unit for setting the brightness of an image, wherein an image of a user's hand is detected in the image before the pixel shift, and a background color other than the area of the user's hand is detected. If an image other than the detected image is detected, the brightness of the entire image is set, the image before the pixel shift is repeatedly obtained, and the image of the user's hand is no longer detected from the obtained image. Performing the shift, performing the acquisition of the image after the pixel shift, the image of the user's hand before the pixel shift is no longer detected using the image after the pixel shift and the high-resolution image using the image Acquisition, the set brightness until the image of the user's hand is detected from the acquired image in the subsequent image acquisition, and an image other than the background of the user's hand is detected other than the background color Holding It is characterized in that.
[0023]
The invention according to claim 6 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and an image of a document to be read is captured on an image pickup surface of the image sensor. An image forming unit that forms an image on a document, a holding mechanism that holds a distance from the document to the image sensor at a predetermined value, a background color detecting unit that detects a background color from the acquired image of the document, and the background color Area detecting means for detecting a change in the area of the area, and a brightness setting means for setting the brightness of the acquired image of the document, the area of the background color area If the area has increased beyond a preset rate with respect to the area of the entire acquired image, the brightness of the entire image is set using an area excluding the area of the background color from the acquired image, and thereafter, image Obtained in is characterized in that retaining the brightness which is the set up area of the background color of the region increases more than the percentage set in advance with respect to the area of the entire acquired image.
[0024]
The invention according to claim 7 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and an image of a document to be read is captured on an imaging surface of the image sensor. An image forming unit that forms an image on a document, a holding mechanism that holds a distance from the document to the image sensor at a predetermined value, a background color detecting unit that detects a background color from the acquired image of the document, and the background color Area detecting means for detecting a change in the area of the area, and a white reference value of a white reference document in which the same identifier is described for a group of documents having the same paper thickness and a substantially white paper color, and an obtained image. Comparing means for comparing the density value of a white portion; identifier detecting means for detecting the identifier from the acquired image of the document; and detecting the brightness of the acquired image of the document when the identifier is detected. Comparison Used in an image reading apparatus comprising a brightness setting means for setting based on the comparison result by the step, wherein the area of the background color region increases beyond a preset ratio with respect to the entire area of the acquired image. And, when it is detected that the document is a white reference document based on the identifier, the brightness of the entire image is set using an area excluding the background color area from the acquired image, and In the image acquisition, the area of the background color area increases beyond a predetermined ratio with respect to the area of the entire acquired image, and the set brightness is detected until the document is detected as a white reference document. It is characterized by holding.
[0025]
The invention according to claim 8 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at a predetermined interval, and a pixel which shifts the position of the image sensor within a predetermined distance range. A pixel shifting mechanism for shifting, an image forming unit for forming an image of a document to be read on the imaging surface of the image sensor, and a holding mechanism for holding a distance from the document to the image sensor at a predetermined value. A feature detection unit for detecting a feature registered in advance, and processing the image before performing the pixel shift and the image after performing the pixel shift by a predetermined method to obtain a higher resolution than before processing. And an image processing unit that generates an image of the image. The pixel shift is performed when the pre-registered feature is detected in the image before the pixel shift. Repeatedly acquiring the previous image, performing the pixel shift when the pre-registered feature is no longer detected from the acquired image, performing the pixel shift after the pixel shift, and performing the pixel shift Obtain the high-resolution image using the image in which the previously registered feature is no longer detected and the image after the pixel shift, and again obtain the image before the pixel shift, the pixel It is characterized in that it is detected whether or not the previously registered feature has been detected in the image before shifting.
[0026]
The invention according to claim 9 relates to an image reading method, wherein a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and an operation in a draft mode in which pixels are regularly thinned out from a plurality of pixels and output. An image sensor that operates in a frame mode that outputs all pixels, a pixel shifting mechanism that shifts the position of the image sensor within a predetermined distance range, and an image sensor that scans an image of a document to be read. An image forming unit for forming an image on the imaging surface, a holding mechanism for holding a distance from the document to the image sensor at a predetermined value, and performing the image shift and the pixel shift in the frame mode before performing the pixel shift. Image processing means for processing the image in the frame mode after processing by a predetermined method to generate an image having a higher resolution than before the processing, and Used in an image reading apparatus including an image holding unit that acquires and holds an image, and a feature detection unit that detects a feature registered in advance, and in the image sensor in the draft mode before performing the pixel shift. If the image registration is repeatedly performed, and the pre-registered feature is detected in the repeatedly obtained image in the draft mode before the pixel shift, the image before the pixel shift is repeatedly obtained. The pixel shift is performed later to obtain an image of the frame mode after the pixel shift, and the image of the frame mode before the pixel shift and the image of the frame mode after the pixel shift are processed by a predetermined method, and the It is characterized by acquiring a high-resolution image.
[0027]
The invention according to claim 10 relates to an image reading method, wherein an image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at a predetermined interval, and an image of a document to be read on an imaging surface of the image sensor. An image forming unit, a holding mechanism that holds a distance from the document to the image sensor at a predetermined value, a hand detecting unit that detects an image of a user's hand from the acquired image of the document, Comparing means for comparing a white reference value set in a uniform substantially white shadow removal white reference document in which only an identifier is described with a density value of a white portion of an obtained image, and detecting the identifier from the obtained image An image reading apparatus comprising: an identifier detecting unit; and a brightness adjusting unit configured to partially adjust a brightness of an obtained image based on a comparison result by the comparing unit to remove a shadow when the identifier is detected. When the image of the user's hand is detected from the acquired image and is detected based on the identifier, and the document is detected as the shadow-removal white reference document, the shadow-removal white reference is used. The multiplying factor for setting the brightness of the area excluding the portion of the identifier from the document as the set white reference value is stored in the brightness adjusting means, and the identifier is detected from the acquired image in the subsequent image acquisition. Until the brightness is set, the set brightness is maintained.
[0028]
According to an eleventh aspect of the present invention, in the image reading method according to the second or ninth aspect, in the operation in the frame mode, every other pixel is collectively regarded as one field and one frame is composed of two fields. When the sensor is outputting a pixel of one field, the image of the original is shut off with respect to the image sensor using a mechanical shutter, and in the operation of the draft mode, the mechanical shutter is not used. I have.
[0029]
According to a twelfth aspect of the present invention, in the image reading method according to the first, second, fifth, eighth or ninth aspect, when the image sensor corresponds to a monochrome image, the pixel shift mechanism shifts the position of the image sensor. When the image sensor corresponds to a color image, the position of the image sensor is shifted within a range within the pitch between the photoelectric conversion elements. .
[0030]
The invention according to claim 13 relates to an image reading control program, and causes a computer to execute the image reading method according to any one of claims 1 to 12.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First embodiment
FIG. 1 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a first embodiment of the present invention.
As shown in FIG. 1, the image reading apparatus of this embodiment includes an image reading unit 1, a pixel shift driving circuit 2, a mechanical shutter driving circuit 3, an image sensor control processing circuit 4, and a control unit 5. ing. The image reading unit 1 includes an area image sensor 11, a pixel shifting mechanism 12, a lens 13, a mechanical shutter 14, and a lens 15. An area image sensor (hereinafter, referred to as an “image sensor”) 11 corresponds to, for example, a monochrome image. A plurality of photoelectric conversion elements (for example, CCDs) are arranged in a matrix at predetermined intervals. Be organized into classes. The pixel shift mechanism 12 shifts the position of the image sensor 11 within a range less than the pitch between the CCDs. In this case, the substrate 11a on which the image sensor 11 is mounted is physically finely moved using, for example, a piezoelectric element and a leaf spring. The lenses 13 and 15 form an image of the document 21 to be read on the document table 20 on the imaging surface of the image sensor 11. The mechanical shutter 14 controls the image formation on the imaging surface of the image sensor 11 by opening and closing the plurality of light shielding plates at a high speed.
[0032]
The pixel shift driving circuit 2 finely moves the substrate 11a on which the image sensor 11 is mounted by driving the pixel shift mechanism 12. The mechanical shutter drive circuit 3 drives the mechanical shutter 14 at a predetermined timing. In this case, in a frame mode operation in which all pixels are output from a plurality of continuous pixels, every other pixel is collectively defined as one field, and one frame is composed of two fields, and the image sensor 11 determines pixels in one field. When outputting, the mechanical shutter 14 closes and the image of the document is cut off from the image sensor 11. The image sensor control processing circuit 4 drives the image sensor 11 by setting a clock and setting a mode, and processes the image signal output from the image sensor 11. The control unit 5 includes a CPU (central processing unit) 5a for controlling the entire image reading device, and a ROM (ROM) in which an image reading control program for causing the CPU 5a to execute the image reading method of this embodiment is recorded. Read-only memory) 5b. In particular, in this embodiment, the control unit 5 detects the image of the user's hand 22 from the image of the document 21 acquired before performing the pixel shift, and performs the pixel shift with the image before performing the pixel shift. Is processed by a predetermined method to generate an image having a higher resolution than before the processing.
[0033]
FIG. 2 is a perspective view showing an example of the external appearance of the image reading apparatus of FIG.
In this image reading apparatus, as shown in FIG. 2, the distance from the document 21 to the image sensor 11 of the image reading section 1 is maintained at a predetermined value by the arm mechanism 31. Further, the control device 32 includes a pixel shift drive circuit 2, a mechanical shutter drive circuit 3, an image sensor control processing circuit 4, and a control unit 5 in FIG.
[0034]
FIG. 3 is a flowchart for explaining the operation of the image reading apparatus in FIG. 1, and FIGS. 4, 5 and 6 are views for explaining the principle of pixel shifting.
The processing content of the image reading method of this embodiment will be described with reference to these drawings.
An image on the document table 20 is obtained, for example, in a frame mode (step A1), and a process of detecting an image of the user's hand 22 is performed (step A2). Thereafter, it is determined whether or not an image of the user's hand 22 has been detected (step A3). When the image has been detected, the process proceeds to step A4. Image acquisition on the document table 20 is performed, for example, in a frame mode (step A4), processing for detecting an image of the user's hand 22 from the acquired image is performed (step A5), and whether an image of the user's hand 22 is detected A determination process is performed (step A6). In this case, once the image of the user's hand 22 is detected from the acquired image, the process returns to step A4 and the image acquisition is repeated until the image of the hand 22 is no longer detected. If the image of the hand 22 is not detected, the process returns to step A4 and the image acquisition is repeated.
[0035]
Once the image of the hand 22 of the user is detected and the image of the hand 22 is no longer detected, the pixel shifting mechanism 12 is driven by the pixel shifting drive circuit 2 to perform a pixel shifting operation (step A7). The image after the pixel shift is obtained, for example, in the frame mode (step A8). In this pixel shifting operation, for example, as shown in FIG. 4, an image of 181 dpi (one pitch; 140 microns) before the pixel shifting is shifted in an oblique direction of 45 degrees, and as shown in FIG. An image of 255 dpi (1 pitch; 100 microns) is obtained. This image is equivalent to the reference image of 255 dpi shown in FIG. Thereafter, an image processing operation corresponding to the pixel shifting method is performed using the image in which the image of the hand 22 before the pixel shifting is no longer detected and the image after the pixel shifting (step A9), and the pixel shifting is performed. High-resolution image data having a resolution higher than that of the image without the image is obtained (step A10). The pixel shift mechanism 12 performs a pixel shift back operation in order to obtain an image before the pixel shift again (Step A11).
[0036]
As described above, according to the first embodiment, since the pixel shifting operation is performed based on the determination result of the presence or absence of the image of the user's hand 22, the advantage of the high resolution by the pixel shifting method is lost. Therefore, the speed of reading the image of the document 21 is increased.
[0037]
Second embodiment
FIG. 7 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a second embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5A to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5A has, in addition to the function of the control unit 5, a draft mode operation in which pixels are regularly thinned out from a plurality of continuous pixels and output to the image sensor 11, or a frame mode operation in which all pixels are output. Is controlled to be performed. Other configurations are the same as those in FIG.
[0038]
FIG. 8 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described. Before performing the pixel shift, the image sensor 11 acquires an image on the document table 20 in the draft mode (step B1). In the draft mode, the image sensor 11 is controlled so as to thin out, for example, every other pixel from a plurality of continuous pixels and output the result. When the user places the document 21 on the document table 20, an image of the user's hand 22 is detected in the repeatedly acquired image in the draft mode before pixel shifting (steps B2 and B3). Subsequently, the image acquisition in the draft mode before the pixel shift is repeatedly performed (step B4).
[0039]
When the image of the hand 22 is no longer detected from the acquired image (steps B5 and B6), the image acquisition in the frame mode is performed once before the pixel shift (step B7). Then, a pixel shifting operation is performed (step B8), and an image in the frame mode after the pixel shifting is obtained, thereby obtaining two frame mode images (step B9). Thereafter, an image processing operation corresponding to the pixel shift method is performed using the frame mode image before the pixel shift and the frame mode image after the pixel shift (step B10), and the calculation is performed more than the image without the pixel shift. High-resolution high-resolution image data is obtained (step B11). On the other hand, in order to prepare the user to read the image of the next document, the process returns to step B1 by the pixel shift back operation (step B12), and the image acquisition is started again in the draft mode again, and the image of the user's hand 22 is displayed. It will be in the state to detect.
[0040]
When an image of the hand 22 of the user is detected in step B2 or the like, the color of the hand 22 is stored in a memory (not shown) in advance, and the similarity (color And the number of pixels at the same degree of similarity are counted. In the determination of the detection of the hand 22, for example, each similarity is weighted, and the product of the number of pixels and the weight at each similarity is calculated. When the product is equal to or larger than a predetermined value, the hand 22 is determined. Is determined to have been detected.
[0041]
As an area sensor of high resolution and relatively inexpensive, there is an interline type CCD. In the CCD, however, every other pixel is collectively collected as one pixel in order to extract electric charges accumulated by photoelectric conversion from a light receiving unit. In a frame mode in which all pixels are read as fields, image signals of a total of two fields are output. In this case, since reading is performed by dividing the data into two fields, the reading can be performed with reduced interference between pixels. On the other hand, while at least one of the fields is being read, light is prevented from entering the CCD by the mechanical shutter. There is a need to. In addition, a mechanical shutter is used to suppress smear.
[0042]
On the other hand, in the draft mode of the interline CCD, reading is performed on the thinned pixels, and the image is read in one field. When the influence of smear is small, the mechanical shutter is not necessarily required. In this embodiment, the subject of the area sensor is a document printed or written on paper, such as paper, a form, a photograph, etc., and thus may be a light source such as direct sunlight, a spotlight, a fluorescent tube, or a light source by specular reflection. Reading relatively strong light is not assumed. For this reason, it is not necessary to consider the influence of smear, and it is not necessary to drive the mechanical shutter 14 in the draft mode. Therefore, in this embodiment, when a high-resolution image is obtained by performing pixel shifting, an image is obtained in the frame mode using the mechanical shutter 14, and the mechanical shutter 14 is not used when an image of the hand 22 is detected. .
[0043]
As described above, according to the second embodiment, it is not necessary to always prepare a high-resolution image by performing frame-mode image acquisition and pixel shifting, so that the image is occupied by the pixel shifting process. The amount of data to be processed can be reduced, and accordingly, other processes can be performed more. Further, since it is not necessary to always obtain an image in the frame mode, the frequency of use of the mechanical shutter 14 is reduced, and the life and noise are reduced.
[0044]
Third embodiment
FIG. 9 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a third embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5B to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5B has, in addition to the function of the control unit 5, a function of detecting the background color from the acquired image of the document and setting the brightness of the image of the acquired document. In this case, the control unit 5B stores the background color of the portion where the document is placed (the document table 20) in a memory (not shown), and when the user's hand 22 and an image different from the background color are detected, the user It is determined that the document image is to be read. Then, the brightness of the surrounding environment at this time is detected, and the obtained image is corrected using the detection result. In the control unit 5B, the function of the control unit 5 for shifting pixels is omitted. Other configurations are the same as those in FIG.
[0045]
FIG. 10 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described. An image is obtained on the document table 20 (step C1). Thereafter, when an image of the user's hand 22 is detected (steps C2 and C3), the process proceeds to step C4. A background color portion is removed from the acquired image (step C4), and a process of removing the image of the user's hand 22 from the acquired image is performed (step C5). When the image of the hand 22 is detected from the acquired image and an image other than the background color is detected in an area other than the area of the hand 22 (step C6), the user places the document 21 on the document table 20 to convert the image into an image. Is assumed to have been performed, and as a document from which an area other than the image of the hand 22 and the background color is to be obtained, brightness setting is performed for the image of that part (step C7). Thereafter, the set brightness is maintained until the image of the user's hand 22 is detected from the acquired image in the image acquisition and an image other than the area of the user's hand 22 is detected other than the background color. . If another process is required after the brightness setting is completed (step C8), the process proceeds to that process (step C9). When no image of the user's hand 22 is detected in step C3, the process proceeds to step C8.
[0046]
The setting of the brightness in the step C7 is performed by multiplying the entire acquired image by the set multiplication factor. This multiplication factor raises or lowers the level value of the unprinted ground portion of the acquired document image to a preset gray level value. For example, the whitest level in the document image is set to 255, the darkest level is set to 0, and the gray level value of the ground is set to 240. Then, if the most frequent level value of the color portion level of the unprinted ground in the acquired image is 160 and the most frequent level value of the printed portion is 20, the most frequent level value 160 of the ground color portion is changed to Raise to gray level value (240). In this case, the multiplier is 1.5, and the entire acquired image is multiplied by the multiplier. As a result, the most frequent level value of the printed portion of the acquired image is 30, and the most frequent level value 160 of the background color portion is 240.
[0047]
As described above, according to the third embodiment, when the user places the document 21 on the document table 20, the brightness of the surrounding environment is detected, and the obtained image is corrected using the detection result. Therefore, the brightness is set with almost no consciousness of the user, and even when the surrounding brightness changes in a short time, the acquired image can be prevented from being affected by the brightness change.
[0048]
Fourth embodiment
FIG. 11 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a fourth embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5C to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5C has, in addition to the functions of the control unit 5, a white reference value of a white reference document in which the same identifier is described for a document group having the same paper thickness and a substantially white paper color, and a white reference value of the acquired image. It has a function of comparing the density value of the part with the density value and detecting an identifier from the acquired document image. Further, the control unit 5C has a function of setting the brightness of the acquired image of the document based on the comparison result obtained when the identifier is detected. In the control unit 5C, the function of performing the pixel shift of the control unit 5 is omitted. Other configurations are the same as those in FIG.
[0049]
FIG. 12 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
An image on the document table 20 is obtained (step D1), and an image of the hand 22 of the user is detected (step D2). Thereafter, when an image of the user's hand 22 is detected (step D3), the process proceeds to step D4. A document group having the same paper thickness and substantially white paper color is a white document used in, for example, a bank, and has the same identifier printed thereon and used as a white reference document. Then, the identifier is detected from the white reference document, the white reference value corresponding to the identifier, and the acquired image (step D4).
[0050]
The white reference value is compared with the density value of the white portion of the acquired image, and when the identifier is a white reference identifier (step D5), the brightness of the acquired image is set (step D6). The set value of the brightness is retained until the image of the hand 22 is detected from the acquired image in the subsequent image acquisition (step D1) (steps D2 and D3) and the identifier is detected from the acquired image. You. When the image of the hand 22 and the identifier are not detected, that is, when the image is simply acquired, the brightness setting of the acquired image is performed using the set value of the set brightness. Thereafter, if another process is necessary, the process proceeds to that process (steps D7 and D8).
[0051]
The setting of the brightness in step D6 is performed, for example, in the same manner as in the third embodiment, and the multiplier is 1.5. This value is used in the process of multiplying the acquired image unless an image of the hand 22 is detected later and a document image having a predetermined identifier is not detected. As a result, for a document image having a predetermined identifier, the most frequent level value of the printed portion of the image is 30, and the most frequent level value 160 of the ground color portion is 240. Also, for another document image without an identifier, the ground level value will be close to 240 if the paper thickness and paper color that control the ground level are the same.
[0052]
As described above, according to the fourth embodiment, there is an advantage similar to that of the third embodiment for documents having the same paper thickness and substantially white paper color.
[0053]
Fifth embodiment
FIG. 13 is a diagram showing an electric configuration of an image reading apparatus for carrying out an image reading method according to a fifth embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5D to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5D has, in addition to the function of the control unit 5, a function of detecting the background color from the acquired image of the document and setting the brightness of the image of the acquired document. Other configurations are the same as those in FIG.
[0054]
FIG. 14 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
When an image on the platen 20 is obtained (step E1) and an image of the user's hand 22 is detected in the image before performing the pixel shift (steps E2 and E3), a background color portion is removed from the obtained image. (Step E4), and processing for removing the image of the user's hand 22 from the acquired image is performed (Step E5). Then, when an image other than the background color is detected in an area other than the area of the user's hand 22 (step E6), the brightness of the entire image is set (step E7). Thereafter, the image before the pixel shift is repeatedly obtained (step E8), and when the image of the user's hand 22 is not detected from the obtained image (steps E9 and E10), the pixel shift is performed (step E9). In step E11), an image is obtained after performing the pixel shift (step E12). Then, a high-resolution image is obtained using the image in which the image of the hand 22 of the user before the pixel shift is no longer detected and the image after the pixel shift is performed (steps E13 and E14). In the subsequent image acquisition, the set brightness is maintained until the image of the user's hand 22 is detected from the acquired image and an image other than the area of the user's hand 22 is detected other than the background color. You. The image before the pixel shift is obtained again, and it is detected whether or not the image of the hand 22 is detected in the image before the pixel shift (step E15).
[0055]
As described above, according to the fifth embodiment, there are the same advantages as the first embodiment and the third embodiment.
[0056]
Sixth embodiment
FIG. 15 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a sixth embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5E to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5E has, in addition to the function of the control unit 5, a function of detecting the background color from the acquired image of the document and detecting a change in the area of the area of the background color. Further, the control unit 5E has a function of setting the brightness of the image of the acquired document. In the control unit 5E, the function of performing the pixel shift of the control unit 5 and the function of detecting the image of the user's hand 22 are omitted. Other configurations are the same as those in FIG.
[0057]
FIG. 16 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
An image on the document table 20 is acquired (step F1), a background color portion is detected from the acquired image (step F2), and the area of the background color area is a ratio set in advance to the area of the entire acquired image. (Steps F3 and F4), the brightness of the entire image is set for an area obtained by removing the background color area from the acquired image (steps F5 and F6). After that, the set brightness is maintained until the area of the background color region in the image acquisition increases beyond a preset ratio with respect to the area of the entire acquired image. Thereafter, if another process is necessary, the process proceeds to that process (steps F7 and F8).
[0058]
The “preset ratio” in step F4 is set, for example, as follows. That is, the change in the area of the background color area means that a part of the background color area changes to an area occupied by the original 21 when the original 21 is placed on the original platen 20. Assuming that the form is placed as the document 21, the area obtained by subtracting the area of the A4 size from the area of the acquired image is divided by the area of the acquired image, which is the limit value of the "predetermined ratio". In practice, a value slightly lower (for example, about 10%) than this value is set in consideration of the fact that the same print color as the background color appears in the image of the form.
[0059]
As described above, according to the sixth embodiment, the brightness of the entire image is set for the region obtained by removing the background color region from the acquired image, and the background color region is set in the subsequent image acquisition. The set brightness is maintained until the area increases beyond a predetermined ratio with respect to the entire area of the acquired image, so that the data processing amount in the control unit 5E can be reduced.
[0060]
Seventh embodiment
FIG. 17 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a seventh embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5F to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5F, in addition to the function of the control unit 5, detects a background color from the acquired image of the document and detects a change in the area of the area of the background color similarly to the control unit 5E of the sixth embodiment. It has the function to do. Further, similarly to the control unit 5C of the fourth embodiment, the control unit 5F controls the white reference original document in which the same identifier is described for a group of documents having the same paper thickness and substantially white paper color. It has a function of comparing the reference value with the value of the white portion of the acquired image and detecting an identifier from the acquired document image. Further, the control unit 5F has a function of setting the brightness of the acquired image of the document based on the comparison result obtained when the identifier is detected. In the control unit 5F, the function of performing the pixel shift of the control unit 5 and the function of detecting the image of the user's hand 22 are omitted. Other configurations are the same as those in FIG.
[0061]
FIG. 18 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
An image on the platen 20 is acquired (step G1), a background color portion is detected from the acquired image (step G2), and the area of the background color area is a ratio set in advance to the area of the entire acquired image. (Steps G3 and G4), and if it is detected based on the identifier that the document is a white reference document (steps G5 and G6), the image obtained by removing the background color region from the acquired image The overall brightness is set (steps G7 and G8). Thereafter, in the image acquisition, the area of the background color area is increased until the area of the background image exceeds a predetermined ratio with respect to the entire area of the acquired image, and the white reference document is detected based on the identifier. Brightness is maintained. Thereafter, if another process is required, the process proceeds to that process (steps G9 and G10). The “preset ratio” in step G4 is set in the same manner as in the sixth embodiment.
[0062]
As described above, according to the seventh embodiment, there are advantages similar to those of the fourth and sixth embodiments.
[0063]
Eighth embodiment
FIG. 19 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to an eighth embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5G to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5G has a function of detecting a feature registered in advance in addition to the function of the control unit 5. In this case, the feature registered in advance is, for example, the color and density of the glove if the user is wearing gloves. Other configurations are the same as those in FIG.
[0064]
FIG. 20 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
An image on the document table 20 is obtained (step H1), an image of the user's hand 22 is detected in the image before performing the pixel shift (step H2), and features (for example, When the glove color or density is detected (step H3), the image before the pixel shift is repeatedly obtained (step H4). When the pre-registered feature is no longer detected from the acquired image (Steps H5 and H6), the pixel is shifted (Step H7), and after the pixel is shifted, the image is obtained (Step H8). ). Then, a high-resolution image is obtained using the image in which the pre-registered feature is no longer detected before the pixel shift and the image after the pixel shift is performed (steps H9 and H10). Thereafter, a pixel shift back operation is performed (step H11), and an image before pixel shift is obtained again, and it is determined whether or not a feature registered in advance in the image before pixel shift is detected. Is detected.
[0065]
As described above, according to the eighth embodiment, the pixel shifting operation is performed based on the determination result of the presence / absence of the feature registered in advance. Therefore, as in the first embodiment, the pixel shifting operation is performed. The speed of reading the image of the document 21 is increased without impairing the advantage of the higher resolution.
[0066]
Ninth embodiment
FIG. 21 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a ninth embodiment of the present invention, which is common to the elements in FIG. 7 showing the second embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5H having a different function is provided instead of the control unit 5A in FIG. The control unit 5H has a function of detecting a feature registered in advance, similarly to the control unit 5G of the eighth embodiment, instead of the function of detecting the image of the user's hand 22 in the control unit 5A. I have. Other configurations are the same as those in FIG.
[0067]
FIG. 22 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
Before performing the pixel shift, the image sensor 11 repeatedly obtains an image in the draft mode (step J1). If the feature previously registered in the repeatedly obtained image in the draft mode before the pixel shift is detected (steps J2 and J3), the image before the pixel shift is repeatedly obtained in the draft mode. (Step J4). When the pre-registered feature is no longer detected from the acquired image (steps J5 and J6), the image acquisition in the frame mode is performed (step J7), and thereafter, the pixel is shifted by performing the pixel shift. The image acquisition in the subsequent frame mode is performed (steps J8 and J9). Then, the image in the frame mode in which the pre-registered features are no longer detected before performing the pixel shifting and the image in the frame mode after performing the pixel shifting are processed by a predetermined method, and the resolution is higher than before the processing. Are obtained (steps H10 and H11). Thereafter, a pixel shift-back operation is performed (step H12), an image before pixel shift is obtained again in the draft mode, and a feature registered in the image before pixel shift is detected beforehand. No is detected.
[0068]
As described above, the ninth embodiment has the same advantages as the second and eighth embodiments.
[0069]
Tenth embodiment
FIG. 23 is a diagram showing an electrical configuration of an image reading apparatus for carrying out an image reading method according to a tenth embodiment of the present invention, which is common to the elements in FIG. 1 showing the first embodiment. Elements are assigned common symbols.
In the image reading apparatus of this embodiment, a control unit 5J to which a new function is added is provided instead of the control unit 5 in FIG. The control unit 5J, in addition to the function of the control unit 5, uses a uniform white reference document for shadow removal having only an identifier written on the front surface, and a white reference value set in the white reference document for shadow removal. The identifier is detected from the acquired image by comparing with the density value of the white portion of the acquired image. Then, when an identifier is detected, a function of partially adjusting the brightness of the acquired image based on the result of the comparison and removing the shadow is provided. In the control unit 5J, the function of performing the pixel shift of the control unit 5 is omitted. Other configurations are the same as those in FIG.
[0070]
FIG. 24 is a flowchart illustrating the operation of the image reading apparatus of FIG.
With reference to this figure, the processing content of the image reading method of this embodiment will be described.
An image on the platen 20 is acquired (step K1), an image of the user's hand 22 is detected from the acquired image (steps K2, K3), and the original document is a shadow-removal white reference original based on the identifier. Is detected (steps K4 and K5), a multiplication factor for setting the brightness of the area excluding the identifier portion from the shadow-removal white reference document to the set white reference value is sent to the control unit 5J. It is stored (step K6). Until the identifier is detected from the acquired image in the subsequent image acquisition, the brightness set based on the multiplier is maintained and the shadow is removed. Thereafter, if another process is necessary, the process proceeds to that process (steps K7 and K8).
[0071]
As described above, according to the tenth embodiment, the shadow is removed by setting the brightness of the region excluding the identifier portion using the white reference document for shadow removal. The influence of the shadow due to the installation environment that easily occurs in the image reading device is reduced.
[0072]
As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and even if there is a design change without departing from the gist of the present invention, the present invention is not limited thereto. Included in the invention. For example, in the image reading unit 1 of the image reading apparatus in each embodiment, the number of lenses 13 and 15 may be any number according to the scale and configuration of the apparatus, and a reflection mirror is provided according to the scale and configuration of the apparatus. May be.
The image sensor 11 corresponds to a monochrome image in each embodiment, but may correspond to a color image. However, the pixel shift mechanism 12 has a function of shifting the position of the image sensor 11 in a range less than the pitch between the CCDs when the image sensor 11 corresponds to a monochrome image. In the case of supporting a color image, the image sensor 11 has a function of shifting the position of the image sensor 11 within a range of a pitch between CCDs. In the pixel shifting operation, the image sensor 11 moves in an oblique direction, but may move in a horizontal direction.
[0073]
【The invention's effect】
As described above, according to the configuration of the present invention, the pixel shift operation is performed based on the determination result of the presence / absence of the image of the user's hand. Acquisition can be speeded up. Also, by performing frame mode image acquisition and pixel shifting, it is not necessary to always prepare a high-resolution image, so that it is possible to reduce the processing amount of data occupied by the pixel shifting process. Minutes and other processes can be increased. In addition, since it is not necessary to always acquire an image in the frame mode, the mechanical shutter is driven only when necessary, so that a long life and low noise can be achieved.
[0074]
Furthermore, since the brightness of the acquired image is set with almost no consciousness of the user, even when the surrounding brightness changes in a short time, the acquired image is affected by the change in brightness. Can be avoided, and it can respond smoothly to changes in the brightness of the environment. Further, since an image without a hand image is used without detecting a hand image and cutting and pasting the area, a special algorithm for cutting out a document image is not required. In addition, since the shadow is removed by setting the brightness of the area excluding the identifier part using the white reference document for shadow removal, the influence of the shadow due to the installation environment that tends to occur in the stand type image reading device Can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a first embodiment of the present invention.
FIG. 2 is a perspective view showing an example of an external appearance of the image reading apparatus of FIG.
FIG. 3 is a flowchart illustrating an operation of the image reading apparatus of FIG. 1;
FIG. 4 is a diagram illustrating an example of the principle of pixel shifting.
FIG. 5 is a diagram illustrating an example of the principle of pixel shifting.
FIG. 6 is a diagram illustrating an example of the principle of pixel shifting.
FIG. 7 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a second embodiment of the present invention.
FIG. 8 is a flowchart illustrating an operation of the image reading apparatus of FIG. 7;
FIG. 9 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a third embodiment of the present invention.
FIG. 10 is a flowchart illustrating an operation of the image reading apparatus of FIG. 9;
FIG. 11 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a fourth embodiment of the present invention.
FIG. 12 is a flowchart illustrating an operation of the image reading apparatus of FIG. 11;
FIG. 13 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a fifth embodiment of the present invention.
FIG. 14 is a flowchart illustrating an operation of the image reading apparatus of FIG. 13;
FIG. 15 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a sixth embodiment of the present invention.
FIG. 16 is a flowchart illustrating an operation of the image reading apparatus of FIG. 15;
FIG. 17 is a diagram illustrating an electrical configuration of an image reading apparatus for performing an image reading method according to a seventh embodiment of the present invention.
FIG. 18 is a flowchart illustrating an operation of the image reading apparatus of FIG. 17;
FIG. 19 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to an eighth embodiment of the present invention.
FIG. 20 is a flowchart illustrating the operation of the image reading apparatus of FIG. 19;
FIG. 21 is a diagram showing an electrical configuration of an image reading apparatus for performing an image reading method according to a ninth embodiment of the present invention.
FIG. 22 is a flowchart illustrating the operation of the image reading apparatus of FIG. 21;
FIG. 23 is a diagram showing an electrical configuration of an image reading apparatus for implementing an image reading method according to a tenth embodiment of the present invention.
FIG. 24 is a flowchart illustrating the operation of the image reading apparatus of FIG. 23;
[Explanation of symbols]
1 Image reading unit
2 Pixel shift drive circuit
3 Mechanical shutter drive circuit
4 Image sensor control processing circuit
5 control unit (hand detection means, image processing means)
5A control unit (image processing means, image holding means, hand detection means)
5B control unit (background color detecting means, hand detecting means, brightness setting means)
5C control unit (hand detecting means, comparing means, identifier detecting means, brightness setting means)
5D control unit (hand detecting means, image processing means, background color detecting means, brightness setting means)
5E control unit (background color detecting means, area detecting means, brightness setting means)
5F control unit (background color detecting means, area detecting means, comparing means, identifier detecting means, brightness setting means)
5G control unit (feature detection means, image processing means)
5H control unit (image processing means, image holding means, feature detecting means)
5J control unit (hand detecting means, comparing means, identifier detecting means, brightness adjusting means)
5a CPU (central processing unit)
5b ROM (read only memory)
11 Image sensor
11a substrate
12. Pixel shift mechanism
13, 15 lens (imaging part)
14 Mechanical shutter
20 platen
21 manuscript
31 Arm mechanism (holding mechanism)

Claims (13)

複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
前記画素ずらしを行う前に取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、
前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、
前記画素ずらし前の前記画像にユーザの手の画像が検出されているときに前記画素ずらし前の前記画像を繰り返して取得し、
取得された前記画像から前記ユーザの手の画像が検出されなくなったときに前記画素ずらしを行い、該画素ずらしを行った後の画像の取得を行い、
前記画素ずらし前の前記ユーザの手の画像が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
A pixel shifting mechanism for shifting the position of the image sensor within a range of a predetermined distance;
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Hand detection means for detecting an image of a user's hand from the image of the document obtained before performing the pixel shift,
Image reading means for processing the image before performing the pixel shift and the image after performing the pixel shift by a predetermined method to generate a higher resolution image than before the image reading Used for equipment,
The image before the pixel shift is repeatedly obtained when the image of the user's hand is detected in the image before the pixel shift,
Performing the pixel shift when the image of the user's hand is no longer detected from the obtained image, to obtain an image after performing the pixel shift,
An image reading method, comprising: acquiring the high-resolution image using an image in which the image of the hand of the user before the pixel shift is no longer detected and an image after the pixel shift. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなり、連続する複数の画素から規則的に画素を間引いて出力するドラフトモードの動作、又は全画素を出力するフレームモードの動作を行うイメージセンサと、
該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
前記画素ずらしを行う前に取得された前記画像からユーザの手の画像を検出する手検出手段と、
前記画素ずらしを行う前の前記フレームモードによる画像と前記画素ずらしを行った後のフレームモードによる前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、
前記画素ずらし前に前記イメージセンサにおいてドラフトモードで画像取得を繰り返し行い、
繰り返し取得されている前記画素ずらし前のドラフトモードによる画像に手の画像が検出されている場合には、引き続き繰り返して画素ずらし前の画像を取得し、
取得された前記画像から前記ユーザの手の画像が検出されなくなったとき、前記画素ずらし前の状態でフレームモードによる画像を取得し、
この後に前記画素ずらしを行って画素ずらし後のフレームモードの画像取得を行い、
前記画素ずらし前のフレームモードの画像と前記画素ずらし後のフレームモードの画像とを所定の方法で処理して処理前よりも高解像度の画像を取得することを特徴とする画像読取り方法。A plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and perform a draft mode operation in which pixels are regularly thinned out from a plurality of continuous pixels and output, or a frame mode operation in which all pixels are output. An image sensor,
A pixel shifting mechanism for shifting the position of the image sensor within a range of a predetermined distance;
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Hand detection means for detecting an image of a user's hand from the image acquired before performing the pixel shift,
Image processing means for processing the image in the frame mode before performing the pixel shifting and the image in the frame mode after performing the pixel shifting by a predetermined method to generate a higher resolution image than before processing; Used in an image reading device comprising
Repeat the image acquisition in the draft mode in the image sensor before the pixel shift,
If a hand image is detected in the image in the draft mode before the pixel shift that has been repeatedly obtained, the image before the pixel shift is continuously and repeatedly obtained,
When the image of the user's hand is no longer detected from the obtained image, obtain an image in a frame mode in a state before the pixel shift,
Thereafter, the pixel shift is performed to obtain an image in the frame mode after the pixel shift,
An image reading method, wherein the image in the frame mode before the pixel shift and the image in the frame mode after the pixel shift are processed by a predetermined method to obtain an image with a higher resolution than before the processing. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
取得された前記原稿の画像から背景色を検出する背景色検出手段と、
取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、
取得された前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、
取得された画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されている場合、画像全体の明るさの設定を行い、
以降の画像取得で取得画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されるまでの間、前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Background color detecting means for detecting a background color from the acquired document image,
Hand detection means for detecting an image of a user's hand from the acquired image of the document,
Used in an image reading apparatus comprising: a brightness setting unit configured to set the brightness of the acquired image of the document;
If the image of the user's hand is detected from the obtained image, and if an image other than the background color is detected other than the user's hand area, the brightness of the entire image is set,
In the subsequent image acquisition, the image of the user's hand is detected from the acquired image, and the set brightness is maintained until an image other than the background area of the user's hand is detected other than the background color. An image reading method comprising: 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、
同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の濃度値とを比較する比較手段と、
取得された前記原稿の画像から前記識別子を検出する識別子検出手段と、
前記識別子が検出されたとき、取得された前記原稿の画像の明るさを前記比較手段による比較結果に基づいて設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、
取得された前記原稿の画像からユーザの手の画像が検出され、かつ前記識別子に基づいて前記原稿が前記白基準原稿であることが検出された場合、
画像全体の明るさの設定を行い、
以降の画像取得で取得画像から前記識別子が検出されるまでの間、前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Hand detection means for detecting an image of a user's hand from the acquired image of the document,
A comparison unit that compares a white reference value of a white reference document in which the same identifier is described with respect to a document group having the same paper thickness and a substantially white paper color and a density value of a white portion of an obtained image;
Identifier detection means for detecting the identifier from the acquired image of the document,
When the identifier is detected, used for an image reading apparatus comprising: a brightness setting unit that sets the brightness of the acquired image of the document based on the comparison result by the comparison unit;
When an image of the user's hand is detected from the acquired image of the document, and it is detected that the document is the white reference document based on the identifier,
Set the brightness of the whole image,
An image reading method, wherein the set brightness is maintained until the identifier is detected from an acquired image in subsequent image acquisition. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
前記画素ずらしを行う前に取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、
前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段と、
取得した前記原稿の画像から背景色を検出する背景色検出手段と、
取得した前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、
前記画素ずらし前の画像にユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されている場合、画像全体の明るさ設定を行い、
前記画素ずらし前の画像を繰り返して取得し、取得された画像から前記ユーザの手の画像が検出されなくなったときに画素ずらしを行い、該画素ずらしの後に前記画像の取得を行い、
前記画素ずらし前の前記ユーザの手の画像が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得し、
以降の画像取得で取得画像から前記ユーザの手の画像が検出され、かつ前記ユーザの手の領域以外に背景色以外の画像が検出されるまでの間、前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
A pixel shifting mechanism for shifting the position of the image sensor within a range of a predetermined distance;
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Hand detection means for detecting an image of a user's hand from the image of the document obtained before performing the pixel shift,
Image processing means for processing the image before performing the pixel shift and the image after performing the pixel shift by a predetermined method to generate a higher resolution image than before processing,
Background color detecting means for detecting a background color from the acquired image of the document,
Used in an image reading apparatus comprising: a brightness setting unit configured to set the brightness of the image of the acquired document;
If the image of the user's hand is detected in the image before the pixel shift, and if an image other than the background color is detected in a region other than the user's hand, the brightness of the entire image is set,
The image before the pixel shift is repeatedly obtained, the pixel is shifted when the image of the hand of the user is no longer detected from the obtained image, and the image is obtained after the pixel shift.
Obtain the high-resolution image using the image of the user's hand before the pixel shift is no longer detected and the image after the pixel shift,
In the subsequent image acquisition, the image of the user's hand is detected from the acquired image, and the set brightness is maintained until an image other than the background area of the user's hand is detected other than the background color. An image reading method comprising: 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
取得された前記原稿の画像から背景色を検出する背景色検出手段と、
前記背景色の領域の面積の変化を検出する面積検出手段と、
取得された前記原稿の画像の明るさを設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、
前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大している場合、前記取得画像から前記背景色の領域を除いた領域を用いて画像全体の明るさの設定を行い、
以降の画像取得で前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大するまで前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Background color detecting means for detecting a background color from the acquired document image,
Area detection means for detecting a change in the area of the background color area,
Used in an image reading apparatus comprising: a brightness setting unit configured to set the brightness of the acquired image of the document;
When the area of the background color area is increased beyond a predetermined ratio with respect to the area of the entire acquired image, the brightness of the entire image is calculated using an area excluding the background color area from the acquired image. Make the settings for
An image reading method, wherein the set brightness is maintained until the area of the background color area increases in a subsequent image acquisition beyond a preset ratio with respect to the area of the entire acquired image. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
取得された前記原稿の画像から背景色を検出する背景色検出手段と、
前記背景色の領域の面積の変化を検出する面積検出手段と、
同一の紙厚及び略白色系の紙色を有する原稿群に対して同一の識別子が記載された白基準原稿の白基準値と取得画像の白部分の濃度値とを比較する比較手段と、
取得された前記原稿の画像から前記識別子を検出する識別子検出手段と、
前記識別子が検出されたとき、取得された前記原稿の画像の明るさを前記比較手段による比較結果に基づいて設定する明るさ設定手段とを備えてなる画像読取り装置に用いられ、
前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し、かつ前記識別子に基づいて前記原稿が白基準原稿であることが検出された場合、前記取得画像から前記背景色の領域を除いた領域を用いて画像全体の明るさの設定を行い、
以降の画像取得で前記背景色の領域の面積が取得画像全体の面積に対して予め設定した割合を超えて増大し、かつ前記原稿が白基準原稿であることを検出するまで前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Background color detecting means for detecting a background color from the acquired document image,
Area detection means for detecting a change in the area of the background color area,
A comparison unit that compares a white reference value of a white reference document in which the same identifier is described with respect to a document group having the same paper thickness and a substantially white paper color and a density value of a white portion of an obtained image;
Identifier detection means for detecting the identifier from the acquired image of the document,
When the identifier is detected, used for an image reading apparatus comprising: a brightness setting unit that sets the brightness of the acquired image of the document based on the comparison result by the comparison unit;
If the area of the background color area exceeds a predetermined ratio with respect to the area of the entire acquired image, and if it is detected that the original is a white reference original based on the identifier, the acquired image The brightness of the entire image is set using an area excluding the background color area from
In the subsequent image acquisition, the area of the background color area increases beyond a predetermined ratio with respect to the area of the entire acquired image, and the set brightness is detected until the original is detected as a white reference original. An image reading method characterized by maintaining image quality. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
予め登録されている特徴を検出する特徴検出手段と、
前記画素ずらしを行う前の前記画像と前記画素ずらしを行った後の前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段とを備えてなる画像読取り装置に用いられ、
前記画素ずらし前の画像に前記予め登録されている特徴が検出されているときに前記画素ずらし前の前記画像を繰り返して取得し、
取得した前記画像から前記予め登録されている特徴が検出されなくなったときに前記画素ずらしを行い、該画素ずらしの後に前記画像の取得を行い、
前記画素ずらし前の前記予め登録されている特徴が検出されなくなった画像と前記画素ずらし後の画像とを用いて前記高解像度の画像を取得し、
再び、前記画素ずらし前の前記画像を取得し、
前記画素ずらし前の画像に前記予め登録されている特徴が検出されているか否かを検出することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
A pixel shifting mechanism for shifting the position of the image sensor within a range of a predetermined distance;
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Feature detection means for detecting a feature registered in advance,
Image reading means for processing the image before performing the pixel shift and the image after performing the pixel shift by a predetermined method to generate a higher resolution image than before the image reading Used for equipment,
The image before the pixel shift is repeatedly acquired when the pre-registered feature is detected in the image before the pixel shift,
Perform the pixel shift when the pre-registered feature is no longer detected from the acquired image, perform the acquisition of the image after the pixel shift,
The high-resolution image is obtained using the image in which the pre-registered feature before the pixel shift is no longer detected and the image after the pixel shift,
Again, acquiring the image before the pixel shift,
An image reading method, comprising: detecting whether the pre-registered feature has been detected in the image before the pixel shift. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなり、複数の画素から規則的に画素を間引いて出力するドラフトモードの動作、又は全画素を出力するフレームモードの動作を行うイメージセンサと、
該イメージセンサの位置を所定の距離の範囲内でずらす画素ずらしを行う画素ずらし機構と、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
前記画素ずらしを行う前の前記フレームモードによる画像と前記画素ずらしを行った後のフレームモードによる前記画像とを所定の方法で処理して処理前よりも高解像度の画像を生成する画像処理手段と、
前記高解像度の画像を取得して保持する画像保持手段と、
予め登録されている特徴を検出する特徴検出手段とを備えてなる画像読取り装置に用いられ、
前記画素ずらしを行う前に前記イメージセンサにおいてドラフトモードで画像取得を繰り返し行い、
繰り返し取得している前記画素ずらし前のドラフトモードによる画像に前記予め登録されている特徴が検出されている場合には、引き続き繰り返して画素ずらし前の画像を取得し、
この後に前記画素ずらしを行って画素ずらし後のフレームモードの画像取得を行い、
前記画素ずらし前のフレームモードの画像と画素ずらし後のフレームモードの画像とを所定の方法で処理して処理前よりも高解像度の画像を取得することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals, and which performs a draft mode operation in which pixels are regularly thinned out from a plurality of pixels and outputs the images, or a frame mode operation in which all pixels are output. When,
A pixel shifting mechanism for shifting the position of the image sensor within a range of a predetermined distance;
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Image processing means for processing the image in the frame mode before performing the pixel shifting and the image in the frame mode after performing the pixel shifting by a predetermined method to generate a higher resolution image than before processing; ,
Image holding means for acquiring and holding the high-resolution image,
Used in an image reading apparatus comprising a feature detection unit for detecting a feature registered in advance,
Before performing the pixel shift, repeatedly perform image acquisition in the draft mode in the image sensor,
If the pre-registered feature is detected in the image in the draft mode before the pixel shift that has been repeatedly obtained, the image before the pixel shift is continuously and repeatedly obtained,
Thereafter, the pixel shift is performed to obtain an image in the frame mode after the pixel shift,
An image reading method, wherein the image in the frame mode before the pixel shift and the image in the frame mode after the pixel shift are processed by a predetermined method to obtain an image with a higher resolution than before the processing. 複数の光電変換素子が所定の間隔でマトリクス状に配列されてなるイメージセンサと、
読取り対象となる原稿の画像を前記イメージセンサの撮像面上に結像させる結像部と、
前記原稿から前記イメージセンサまでの距離を所定値に保持する保持機構と、
取得された前記原稿の画像からユーザの手の画像を検出する手検出手段と、
表面に識別子のみが記載された均一な略白色の影除去用白基準原稿に設定された白基準値と取得画像の白部分の濃度値とを比較する比較手段と、
取得画像から前記識別子を検出する識別子検出手段と、
前記識別子が検出されたとき、取得画像の明るさを前記比較手段による比較結果に基づいて部分的に調整して影を除去する明るさ調整手段とを備えてなる画像読取り装置に用いられ、
取得された画像から前記ユーザの手の画像が検出され、かつ前記識別子に基づいて前記原稿が前記影除去用白基準原稿であることを検出した場合、
前記影除去用白基準原稿から前記識別子の部分を除いた領域の明るさを前記設定された白基準値とするための乗率を前記明るさ調整手段で記憶し、
以降の画像取得で取得画像から前記識別子が検出されるまでの間、前記設定された明るさを保持することを特徴とする画像読取り方法。An image sensor in which a plurality of photoelectric conversion elements are arranged in a matrix at predetermined intervals,
An imaging unit that forms an image of a document to be read on an imaging surface of the image sensor;
A holding mechanism for holding a distance from the document to the image sensor at a predetermined value,
Hand detection means for detecting an image of a user's hand from the acquired image of the document,
Comparison means for comparing the white reference value set in the uniform substantially white shadow removal white reference document with only the identifier described on the front surface and the density value of the white portion of the acquired image,
Identifier detection means for detecting the identifier from the acquired image,
When the identifier is detected, the brightness of the acquired image is partially adjusted based on the comparison result by the comparing means, and used for an image reading apparatus including a brightness adjusting means for removing a shadow,
When the image of the hand of the user is detected from the obtained image, and it is detected that the document is the white reference document for shadow removal based on the identifier,
The multiplying factor for setting the brightness of the region excluding the portion of the identifier from the shadow-removal white reference original as the set white reference value is stored in the brightness adjustment unit,
An image reading method, wherein the set brightness is maintained until the identifier is detected from an acquired image in subsequent image acquisition. 前記フレームモードの動作では、
１画素おきの画素をまとめて１フィールドとして１フレームを２フィールドから構成し、前記イメージセンサが一方のフィールドの画素を出力しているとき、前記イメージセンサに対して前記原稿の画像をメカニカルシャッタを用いて遮断し、
前記ドラフトモードの動作では、前記メカニカルシャッタを用いないことを特徴とする請求項２又は９記載の画像読取り方法。In the operation in the frame mode,
One frame is made up of two fields by grouping every other pixel as one field, and when the image sensor is outputting pixels of one field, the image of the document is sent to the image sensor by a mechanical shutter. Use to shut off,
10. The image reading method according to claim 2, wherein the mechanical shutter is not used in the operation in the draft mode. 前記画素ずらし機構は、
前記イメージセンサがモノクロ画像に対応する場合、該イメージセンサの位置を前記各光電変換素子間のピッチに満たない範囲でずらし、前記イメージセンサがカラー画像に対応する場合、該イメージセンサの位置を前記各光電変換素子間のピッチ以内の範囲でずらすことを特徴とする請求項１、２、５、８又は９記載の画像読取り方法。The pixel shifting mechanism includes:
When the image sensor corresponds to a monochrome image, the position of the image sensor is shifted within a range less than the pitch between the photoelectric conversion elements, and when the image sensor corresponds to a color image, the position of the image sensor is shifted. 10. The image reading method according to claim 1, wherein the image is shifted within a range of a pitch between the photoelectric conversion elements. コンピュータに請求項１乃至１２のうちのいずれか一に記載の画像読取り方法を実施させるための画像読取り制御プログラム。An image reading control program for causing a computer to execute the image reading method according to any one of claims 1 to 12.
JP2003042965A 2003-02-20 2003-02-20 Image reading apparatus and image reading method used in the apparatus Expired - Lifetime JP4190911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003042965A JP4190911B2 (en) 2003-02-20 2003-02-20 Image reading apparatus and image reading method used in the apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003042965A JP4190911B2 (en) 2003-02-20 2003-02-20 Image reading apparatus and image reading method used in the apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008163901A Division JP4642877B2 (en) 2008-06-23 2008-06-23 Image reading apparatus and image reading method used in the apparatus

Publications (2)

Publication Number Publication Date
JP2004254110A true JP2004254110A (en) 2004-09-09
JP4190911B2 JP4190911B2 (en) 2008-12-03

Family

ID=33026106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003042965A Expired - Lifetime JP4190911B2 (en) 2003-02-20 2003-02-20 Image reading apparatus and image reading method used in the apparatus

Country Status (1)

Country Link
JP (1) JP4190911B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308830A (en) * 2005-04-28 2006-11-09 Konica Minolta Opto Inc Projecting optical system
JP2009177798A (en) * 2007-12-28 2009-08-06 Canon Inc Image processing apparatus, image processing method, and program to execute the same
JP4918171B1 (en) * 2011-07-21 2012-04-18 パナソニック株式会社 Image processing apparatus and document reading system having the same
JP2012249049A (en) * 2011-05-27 2012-12-13 Hitachi Omron Terminal Solutions Corp Scanner device
JP2014168235A (en) * 2014-04-07 2014-09-11 Pfu Ltd Overhead scanner apparatus, image acquisition method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308830A (en) * 2005-04-28 2006-11-09 Konica Minolta Opto Inc Projecting optical system
JP2009177798A (en) * 2007-12-28 2009-08-06 Canon Inc Image processing apparatus, image processing method, and program to execute the same
JP2012249049A (en) * 2011-05-27 2012-12-13 Hitachi Omron Terminal Solutions Corp Scanner device
JP4918171B1 (en) * 2011-07-21 2012-04-18 パナソニック株式会社 Image processing apparatus and document reading system having the same
JP2013026830A (en) * 2011-07-21 2013-02-04 Panasonic Corp Image processing device and document reading system including the same
JP2014168235A (en) * 2014-04-07 2014-09-11 Pfu Ltd Overhead scanner apparatus, image acquisition method, and program

Also Published As

Publication number Publication date
JP4190911B2 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
EP2563006B1 (en) Method for displaying character information, and image-taking device
JP4210021B2 (en) Image signal processing apparatus and image signal processing method
CN100536530C (en) Video dark corner correcting method and device
JP3436015B2 (en) Image reading device
US7889265B2 (en) Imaging apparatus, control method for the imaging apparatus, and storage medium storing computer program which causes a computer to execute the control method for the imaging apparatus
US20100053349A1 (en) Imaging Apparatus and Imaging Method
KR20070100180A (en) Image blurring reduction
CN101547306A (en) Video camera and focusing method thereof
US8149472B2 (en) Image-scanning system, method of controlling image-scanning system, and computer readable medium therefor
EP1385334A3 (en) Imaging device
JP2008099159A (en) Imaging apparatus, framing control method and program
JP2009010616A (en) Imaging device and image output control method
JP4642877B2 (en) Image reading apparatus and image reading method used in the apparatus
JP2007082005A (en) Image reading apparatus and image reading method
JP4190911B2 (en) Image reading apparatus and image reading method used in the apparatus
JP6172973B2 (en) Image processing device
KR101150987B1 (en) Image processing apparatus and control method thereof
JP4278429B2 (en) Imaging device
JP5215820B2 (en) Imaging device
JP2010124406A (en) Imaging device and electronic apparatus
EP2632146B1 (en) Image processing apparatus
JP2011135285A (en) Imaging apparatus, and imaging control program
JP2007324648A (en) Image reading system and control method thereof
JP2007013687A (en) Image pickup device with iris adjustment function by liquid crystal shutter
JPH08307761A (en) Digital type camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4190911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term