JP2005198334A

JP2005198334A - デジタルカメラ

Info

Publication number: JP2005198334A
Application number: JP2005030620A
Authority: JP
Inventors: Takaya Tanabata; 高也七夕; Keisuke Nakajima; 啓介中島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-02-07
Filing date: 2005-02-07
Publication date: 2005-07-21
Anticipated expiration: 2019-09-01
Also published as: JP3837710B2

Abstract

【課題】折れ曲がった文書や画像でも平面画像データとして取り込めるようにする。
【解決手段】デジタルカメラ１は、読取部１１、モード切換スイッチ１２、３次元補正部２、画像補正部１３、画像メモリ１４及び補助ディスプレイ１５を備え、モード切換スイッチにより３次元補正モードが選択されたとき、焦点位置制御部２２により読取部１１の焦点位置を変えて被写体の画像を複数枚読み取らせ、３次元画像補正部２１により読取部１１で読み取った焦点位置が異なる複数枚の画像を取り込み、複数枚の画像間の輝度偏差に基づいて被写体の複数の点と読取部１１との距離を求め、求めた距離に基づいて被写体の画像を平面に補正する。
【選択図】図１

Description

本発明は、紙などの媒体に書かれたり、印字された文字や図形、画像、または押印された印影などの情報を読み取り認識したり、照合したり、画像データとして入力する非接触文書画像の入力として利用するためのデジタルカメラに関するものである。

現在製品化されているデジタルカメラは、画像入力したい被写体に向かってカメラを向け、シャッタを押すという簡単な操作により、立体物など形状を簡単な操作により撮影することができる特徴を持っている。

一方、文書などを画像入力するための製品として、フラットベッドスキャナやシートスキャナなどがある。どちらも文書画像を入力するという点ではデジタルカメラより優れた性能を持っている反面、フラットベッドスキャナは設置面積が大きく、読み取り速度が遅い、シートスキャナは設置面積が小さいがシート形状のものしか読めないというように一長一短があり、手軽に画像を入力するという点ではデジタルカメラが優れている。

デジタルカメラを文書などの画像入力装置として利用する際の問題点として、紙などの平面上に印字された文字や図形、画像などの情報が重要であり、必要な情報をより正確に読み取るためには、読み取る対象をできるだけ理想的な平面の状態にし、さらにカメラを被写体に向けて正確に正面を向けて撮影する必要がある。

カメラを対象物に対して正面以外から読み込んだ画像を正面から見た画像に補正する発明は種々提案されている。例えば、特許文献１には被写体の斜め画像を擬似的な正面画像に補正して撮影するデジタルカメラが示されている。

ところが紙などの媒体は、常にフラットな状態にたもつことは難しく、実際には凹凸が発生していることが多い。こうした紙面の入力に対して、従来フラットベッドスキャナなどは読み取り紙面をガラスなどの読み取り面に押さえつけることで、変形による画像の変形を防止し、凸凹のない状態での画像を入力することを行っている。

特開平９−２８９６１１号公報

ところで、従来のフラットベッドスキャナでは、読み取りヘッドの走査に時間がかかり、読み取り対象が多い場合には、読み取りに非常に多くの時間が必要であった。また、読み取り環境にも制限があって、読み取り位置とサイズに制約があった。さらに、フラットベッドスキャナは横方向に大きいため、装置の設置にも大きな面積を必要としていた。

本発明は、フラットベッドスキャナの代わりにデジタルカメラを用い、この場合、折れ曲がりや撓みを有する文書の画像を平面画像データとして取り込むことのできるデジタルカメラを提供することを課題とする。

上記課題を解決するために、本発明は、撮影指示を入力する入力手段と、入力された撮影指示に従って被写体の画像をデジタル化して読み取る読取手段と、前記読取手段で読み取った画像を記憶する記憶手段とを備えてなるデジタルカメラにおいて、画像補正モードを選択するモード切換手段と、前記撮影指示が入力され、かつ前記モード切換手段により三次元補正モードが選択されたとき、前記読取手段の焦点位置を変えて前記被写体の画像を複数枚読み取らせる指令を前記読取手段に出力する制御手段と、前記読取手段により読み取られた焦点位置が異なる複数枚の画像を取り込み、該複数枚の画像間の輝度偏差に基づいて前記被写体の複数の点と前記読取手段との距離を求める距離算出手段と、該手段より求めた距離に基づいて前記被写体の画像を平面に補正する三次元画像補正手段を有して構成することを特徴とする。

すなわち、このように構成することにより、モード切換手段により三次元補正モードを選択して撮影指示を入力すると、読取手段の焦点位置を変えて被写体の画像が複数枚読み取られる。読み取られた複数枚の画像は焦点位置が異なることから、複数枚の画像間に輝度偏差が生じ、この輝度偏差を利用して被写体の複数の点と記読取手段との距離を求めることができる。そこで、被写体の複数の点と記読取手段との距離を求め、求めた距離を例えば同一距離になるように補正することにより、被写体の画像を平面に補正することができる。その結果、折れ曲がりや撓みを有する文書の画像を平面画像データとして取り込むことができる。

この場合において、距離算出手段は、複数枚の画像間の輝度偏差を求め、該偏差が大きい画像部位を特徴点として抽出し、抽出された前記特徴点の周囲の明度変化に基づいて該特徴点と前記読取手段との距離を求めることができる。

また、三次元画像補正手段は、距離算出手段により求めた被写体の複数の点と読取手段との距離に基づいて複数の点の三次元位置を求め、該求めた三次元位置に基づいて複数の点により形成されるポリゴン画像の各辺の長さ求め、各ポリゴン画像を二次元平面に展開して被写体の画像を平面に補正することができる。

本発明によれば、折れ曲がりや撓みを有する文書の画像を平面画像データとして取り込むことのできるデジタルカメラを提供することができる。

以下、本発明の実施の形態を図面に従って説明する。

図１は、本発明に係るデジタルカメラと、その周辺のシステム構成を示した図である。本発明に係るデジタルカメラ１は、読取部１１、モード切換スイッチ１２、３次元補正部２、画像補正部１３、画像メモリ１４および補助ディスプレイ１５を備えている。３次元補正部２には、焦点位置制御部２２と次元画像補正部２１が設けられている。また、画像メモリ１４には、ディスプレイ４やプリンタ５を備えたパーソナルコンピュータ（ＰＣ）３が接続されている。

上記構成のデジタルカメラ１は、机上などに置かれた文書（図形なども含む）を読取部１１で読み取り、読み取り画像のデジタル化を行うとともに、画像の補正を行った後に、画像メモリ１４にデータを転送し保存する。この場合、モード切換スイッチ１２がどの状態に操作されているかに応じて、画像データに対し３次元補正部２による補正を行うかどうか選択が可能となっている。

３次元補正部２による補正を行う場合には、読取部１１は、撮影の際に焦点位置制御部２２の信号に基づき焦点を変更させながら、複数回読取処理を実行する。ここで、焦点位置制御部２２には光学系から求まる適正な複数の焦点位置が予め設定されており、ユーザの読取指示に基づき読取部１１はレンズを移動させて撮影を行う。例えば読取部１１は、ユーザが撮影指示をすると、原稿台に焦点が合った状態で一度目の読取を行い、次に原稿台から上方３センチメートルの位置に焦点が合った状態で二度目の読取を行うといった読取処理を実施する。そして３次元補正部２１は、一度目の読取と二度目の読取に基づいて補正処理を行い、その補正処理後の画像データを画像補正部１３に出力する。

３次元補正部２による補正を行わない場合には、読取部１１で読み取った画像データは画像補正部１３に直接出力される。

画像補正部１３では、３次元補正部２または読取部１１からの画像データを取り込んで輝度補正などの画質補正を行うとともに、その画像データを画像メモリ１４に保存する。保存した画像データは、カメラに付属のディスプレイ１５に表示可能である。

また、画像メモリ１４に保存された画像データはパーソナルコンピュータ３に転送され、パーソナルコンピュータ３では文字や図形の認識、画像の処理などを実行して、認識結果や対象画像をディスプレイ４に表示したり、必要に応じてプリンタ５に出力したりする。また、画像データを画像メモリ１４からプリンタ５に直接出力して表示することも可能である。

以下、図１に示したデジタルカメラの各部の詳細について説明する。図２は、本発明に係るデジタルカメラの外観を示した図である。デジタルカメラ１は、撮像素子としてＣＣＤセンサを備えレンズを通して画像を取り込むものである。カメラ本体内には、ボタン１８と、取り込んだ画像や補正後の画像などを表示するためのディスプレイ１５と、読み込み時の補正内容などを選択するモード切換スイッチ１２、現在の取り込みモードを表示するための表示装置１７、および取り込んだ画像に音声でインデックスをつけるためのマイク１６等を備えている。このような構成により、デジタルカメラを用いて、自由度が高く、操作性良く、画像を取り込むための装置を提供することが可能となる。

また、取り込んだ画像データをパソコンやプリンタに転送するために、例えばＵＳＢなどの汎用インタフェースを取り付けることで、ユーザはカメラ内の画像データを取り出し、プリンタで印刷したり、画像内の文字情報の認識処理を行ったりすることが可能となる。また、カメラ内にデータ発信装置を内蔵し、パソコンなどのデータ受信側に受信機を取り付けることで、取り込んだ画像の転送にケーブルを用いる必要がなくなり、さらに自由度が高く画像を取り込むことが可能となる。

図３は、３次元補正部２内の３次元画像補正部２１の機能ブロック図を示したものである。焦点位置制御部２２と読取部１１により読み込んだ複数枚の画像を用いて、特徴点毎距離測定部２１２にて、画像間の偏差を計算し、特徴点を抽出する。ここでは、読取条件により画像が異なる部分を特徴点と呼んでいる。つまり、カメラのフォーカス値を変化させ、机上の紙片を読み込むと紙面のエッジ部分の画像はボケていくため変化していく。こうした点のことを特徴点と呼んでいる。この特徴点の画像の異なり方によってカメラと特徴点の間の距離を計測する。次に前記距離を用いて焦点補正係数計算部２１３で、焦点位置に応じてボケ具合をあらかじめ測定しておき、その測定結果からボケを抑制するようなフィルタを作成して施すことで「ボケ」の補正を行う。さらに、各特徴点毎に測定したレンズと特徴点の距離に応じて複数焦点で撮影した画像からもっとも焦点距離の近い画像を選択して画像の合成を行う。次に、透視補正道程計算部２１４で、読取時の幾何学変化、傾き、原稿の厚みや、原稿の折れ曲がりにより、本来平面である原稿に対して、幾何学的な変形状態を特徴点とレンズとの距離測定の結果から原稿台の浮き上がり量を計算することで求め、その形状データをテクスチャーマッピング部２１５に渡し、変形した形状を平面に戻すように変形補正し、補正画像をフレームメモリ２１６に格納する。その後、画像データは画像補正部１３にデータ転送する。

このような構成にすることにより、特別な距離測定センサを必要としないためコストの低い装置を提供できるという効果がある。また、特徴点毎に距離を計測することができるので、特徴点毎にボケの補正パラメータといった距離に応じて変化するパラメータに対して、最適な補正パラメータを設定することが可能となり、複雑に折れ曲がった帳票や三次元物体表面の読取の際に画像全体に最適なパラメータ設定を可能にできるといった効果がある。また、複数の焦点で読み取った画像を用いて画像を合成するために、文書内部に記載されている文字や記号などのノイズやボケの少ない画像を得られるという効果がある。また、幾何学補正と距離補正の両方を実行するため、文書内部に記載されている文字や記号などに歪の少ない画像を提供できるという効果がある。

図４は、読取動作のフローを示している。取り込みボタンが押下されたら（ステップ１００１）、モード切換スイッチ１２の状態を検索し（ステップ１００２）、３次元取り込みモードであれば焦点位置制御部２２から読取部１１に制御信号を送信し、レンズの焦点位置を焦点位置１に合わせる（ステップ１００３）。焦点位置をセット完了後、読取動作を行う（ステップ１００４）。これで原稿面上に焦点を合わせた画像を入力する。読取動作が完了したら、同様に焦点位置制御部２２から読取部１１に制御信号を送信し、レンズの焦点位置を焦点位置２に合わせる（ステップ１００５）。焦点位置のセット完了後、読取動作を行う（ステップ１００６）。ここで、焦点位置１、および焦点位置２の設定値は、厚みのある原稿を読めるような焦点位置の値をあらかじめ調整したものを用いる。また、さらに必要に応じ、焦点位置の読取条件を変化させ画像を入力しておく。これらの画像から３次元補正を実施し（ステップ１００７）、画像補正部へデータ転送を行う（ステップ１００９）。

また、ステップ１００２にて３次元取り込みモードでない場合は、一度だけ読取を行い画像補正部へデータ転送を行う（ステップ１００９）。画像補正部では画像が暗く映った場合などには明度補正等を行い、最終的に画像メモリ１４に保存する（ステップ１０１０）。このような構成とすることにより、カメラの取り込みボタン１８を押すだけで複数回の撮影を一度に行い、その画像データを撮影直後に補正し保存することが可能となり、操作性が向上するという効果がある。

図５は、三次元補正の特徴点毎距離測定部２１２の概要を示した機能ブロック図である。入力メモリ２１１内の複数の画像データＡ，Ｂを用いて、座標位置補正部２１２１で座標位置の補正を行い、分散画像作成部２１２２で画像間の偏差を検出するため分散画像を作成する。さらに特徴点抽出部２１２３で特徴点を抽出し、距離計測部２１２４でその特徴点に関して距離の計測を行い、特徴点毎の距離データＤを作成し、その距離データＤを入力メモリ２１１に格納する。

まず、座標位置補正部２１２１での座標位置の補正は、焦点の変化に伴う、画像の拡大縮小の変化を補正する。つまり焦点を変化させて取り込んだ画像内部のスケールは、焦点に依存して変化しているため、スケールを合わせるための補正を行う。この補正係数は、あらかじめ一定パターンの画像を、焦点を変化させて複数枚読み込み、その結果得られるパターン内の基準点間の距離、ボケ具合を測定することで、容易に特性を把握できる。次に分散画像作成部２１２２での分散画像作成は、複数枚の画像間の分散値を計算する。ここで分散画像は、焦点を変化させて撮影した複数の画像間の同じ特徴点における画素データの差を定量化するために用いている。特徴点における分散値は、焦点を変化させて読み込んだ画像における同じ特徴点での明度の平均値Ｖを求め、Ｖとそれぞれの焦点距離での画像の明度との差を２乗した値の総和の平均値である。ここで得られる各特徴点での分散値を保存したものを分散画像データとして保存しておく。

次に特徴点抽出部２１２３で、特徴点における分散画像データの値を特定の閾値で比較すれば、容易に特徴点をこの分散画像データが、あらかじめ設定した閾値を越えるもの、つまり画像間の偏差の大きいものが特徴点として抽出できる。これは、たとえば浮き上がった紙片の端部などが候補としてあげられる。

このような構成とすることにより、読取条件が異なる複数の画像のみから、距離測定が実現でき、特殊な距離センサが不要にできるという効果がある。

図６（ａ）は、特徴点毎距離測定部２１２内の距離計測部２１２４での距離測定のフローを示している。まず、特徴点を中心とした周囲の明度値をもとに、特徴点の周囲の明度変化を直線で近似する（ステップ１０２１）、この操作を焦点変化させて取り込んだだけ作成し、これを用いて同じ明度をむすんだ等明度直線を作成する（ステップ１０２２）。焦点が結ばれる位置からのカメラからの距離を計算し（ステップ１０２３）、これらの位置関係から三次元の位置情報を計算する（ステップ１０２４）。

図６（ｂ）および（ｃ）は、光学系の焦点位置と原稿読取位置によって画像がどのように観測されるかを概念的に示した図である。Ａ，Ｂは原稿を置く位置で、図示していない左側からこれらの原稿を読み取っている。図中の点線は光軸を、実線は光束の一部をそれぞれ示しており、焦点位置で集約している。図６（ｂ）の、原稿が読取位置Ａに置かれており、光学系の焦点がＡの位置にあっている場合の画像で、白と黒の境界を画像１０２６のようにボケなく読み取ることができる。同じ焦点位置で、原稿がＢの位置にあった場合は、原稿の白と黒の境界が、ボケが発生し、読取画像は１０２５のように境界がはっきりしない画像となる。この場合は、画像１０２６をそのまま用いれば良い画像を得ることができる。図６（ｃ）は、焦点位置が原稿位置Ｂに近い点で焦点の合う場合を示しており、原稿位置ＡでもＢでも、画像１０２７，１０２８のようにボケている。この場合は、これらの二つの画像１０２７，１０２８を用いて画像を合成することで、高画質な出力画像を得ることができる。このような構成とすることで、焦点の異なる画像から、精度高く距離データを計測できるという効果がある。

次に、焦点補正機能２１３について詳細に述べる。図７は、原稿が原稿台からの浮き上がっている高さ位置Ｚに応じて、取り込んだ画像内の特徴点でのボケｆ（Ｚ）が、どのように変化するかを示した概念図である。ここでボケｆ（Ｚ）は、あらかじめ設定した閾値で分散画像を二値化した際の線の幅と考える。単位は画素のドット数である。ここで、焦点位置１をＺ０、焦点位置２をＺ１の高さで合うような焦点位置に固定し、それぞれ原稿台から原稿を浮かせた時のボケ幅の変化を示している。焦点位置１での画像はＺ０では焦点が合っているため、ボケ幅は０であるが原稿をＺ０から浮かせていくことで、焦点がずれるにしたがってボケ幅が変化し、実線でのグラフのようにボケ幅が単調増加となる。焦点位置２での画像は破線でのグラフのようにボケ幅が変化し、焦点の合っているＺ１で最小値を取る二次曲線に似た形状になる。このグラフを用いることで、ボケ量の測定することができれば焦点距離を求めることができ、距離が推定できる。

次に、透視補正道程計算機能２１４について詳細に述べる。図８（ａ）は、透視補正道程計算部２１４における道程計算の概念図を示している。これは、ある紙片を読み込んだ時の特徴点、すなわち紙片のある一辺の距離測定結果を示した図である。グラフの横軸は紙片のある頂点からの距離を示し、縦軸は原稿台からの紙片の浮き上がり量を示している。この例では紙片の頂点が両端とも浮き上がっているような状況を示している。まず、（ｂ）のように直線の端点Ｐ，Ｑ，Ｒ，Ｓ，Ｔのみを抽出し、道程距離としての端点間の距離を測定する。これは、たとえば端点間Ｐ，Ｑの距離は読取画像データ上ではＰ，Ｑ間の距離はＸ軸上に写像した形で観測されるが、実際は紙が傾いているため、短く見えている。これを紙上での端点Ｐ，Ｑの距離を、たとえば三平方の定理などを用いて測定することで道程を把握できる。この距離に基づいて、（ｃ）のように基準点Ｐ’を基に、それぞれの道程距離の応じて端点Ｑ’，Ｒ’，Ｓ’，Ｔ’のように、端点毎に展開した位置情報を引き継ぎながら、平面に並べて展開する。これは、三次元グラフィックスで用いられているテクスチャーマッピングの技術の適用が可能である。

図９は、これを二次元の平面に拡張した概念図である。図９（ａ）のように折れ曲がった帳票を、上方から観測すると（ｂ）のように見えるが、図８で説明した二次元の道程計算を三次元に拡張し、距離情報に基づき道程計算し、平面に展開すると（ｃ）のような合成画像が得られる。このようにすれば、折れ曲がった帳票や曲がった曲面に書かれた文字も、平面に押し付けて、正面から観測した合成画像を得ることができる。

図１０は、これらの処理をフローにまとめたものである。特徴点の距離データを入力し、図８で説明したように、特徴点を直線近似し（ステップ１４０１）、不要な特徴点を削除した距離データを生成する。次に、図９で説明したように、これらの特徴点が作る平面を近似作成する（ステップ１４０２）。これは近接する３点を選び、これから構成される平面と、上記３点の周辺特徴点の距離を計算し、あらかじめ設定した閾値よりも小さければ、上記平面に近似し併合するという処理を繰り返す。これらを三角形に近似しポリゴンとして記述し（ステップ１４０３）、その座標関係や接続関係の整合性をチェックして、距離データで作成した三次元モデルから二次元の原稿台平面へテクスチャーマッピングするための座標位置や拡大縮小率などの展開係数を計算する（ステップ１４０４）。このような構成とすることで、特徴点について求めた距離データを用いて画像を平面展開でき、折れ曲がった帳票や厚い本の表面でも正しく原稿を補正して読むことができるという効果がある。

次に、透視変換について述べる。読取を文書の正面上方ではなく、斜め上方など自由な位置から読むと、近くは大きく、遠くは小さく観測される。これを正面から見たように変更するのが透視変換である。図１１（ａ）は、透視変換の概念図を示している。正面から観測した画像を矩形ＰＢＣＱとすると、斜め上方から観測すると台形ＡＢＣＤのように見える。辺ＡＤが近くの辺で、辺ＢＣが遠くの辺である。斜め読みの光学系は、遠くの辺でも読取解像度を保証できるように設計されるため、辺ＢＣを共通に揃えるとすると、辺ＡＤは、辺ＰＱに比べ長く、また、辺ＡＢも辺ＰＢに比べ長い。透視変換の目的は、観測した台形ＡＢＣＤを矩形ＰＢＣＱに変換することにある。図１１（ｂ）は、変換のための変数定義を示している。辺ＡＤの長さをSrc_Width、辺ＢＣの長さをDest_Width、座標Ａと座標Ｂのｘ方向の差をDx_Left、ｙ方向の差をDy_Leftとする。このハッチがかかった部分が読取領域である。

図１２は、透視変換のフローを示している。まず、入力メモリ２１１内の読取領域の画像取り出しスタート位置を計算する（ステップ１５０１）。このスタート位置xiは、始めはＡ点であるが、副走査ラインｙの関数であり、y*Dx_Left/Dy_Leftと表現できる。次にライン単位に長さをDest_Widthに揃える必要があるため、ライン毎に縮小率を計算する（ステップ１５０２）。これは、まず注目ラインの長さx_widthを計算する。これは、簡単な比例計算により、x_width=(Dest_Width+((Src_Width-Dest_Width)*(Dest_Length-y) /Dest_Length))と表現できる。縮小率は、Dest_Width /x_widthとなる。しかし、小数点を用いる計算は、時間がかかるので、実際の処理はＤＤＡ（Digital Differential Analyzer）を用いる（ステップ１５０３）。そして最後に、処理終了であるか否かを判断する（ステップ１５０４）。このような構成とすることで、処理時間のかかるテクスチャーマッピング処理を簡単なハードウエアで実現でき低価格で高速な処理システムが提供できるという効果がある。

図１３は、テクスチャーマッピング部２１５における画像合成の方式とハードウエアの構成図を示している。図１３（ａ）は、計測されたレンズ位置から原稿の特徴点までの距離Ｚによって、第一の焦点距離Ｚ0での画像ｇ0(Ｚ)と第二の焦点距離Ｚ1での画像とｇ1(Ｚ）の混合比率を表わすグラフである。Ｚ軸のＺ1からｇn(Z)軸上の１までの破線は距離Ｚに対する第一の焦点距離Ｚ1での画像ｇ1(Ｚ)の混合比率を示し、Ｚ軸のＺ0からｇn(Ｚ)軸上の０までの直線は距離Ｚに対する第二の焦点距離Ｚ0での画像ｇ0(Ｚ)の混合比率を示している。焦点距離がＺ0にあっていれば、第一の焦点距離Ｚ0での画像ｇ0(Ｚ)だけを用いれば良く、焦点距離がＺ1にあっていれば、第二の焦点距離Ｚ1での画像ｇ1(Ｚ)だけを用いれば良い。もし、焦点距離がＺ0とＺ1の中間にあっていれば、第一の焦点距離Ｚ0での画像ｇ0(Ｚ)と第二の焦点距離Ｚ1での画像ｇ1(Ｚ)を半分づつ用いれば良い。一般的にいえば、測定距離がＺpであった際、第一の焦点距離での画像はｇ0(Ｚp)、第二の焦点距離での画像はｇ1(Ｚp)で混合することで、出力画像を生成している。

図１３（ｂ）は、画像合成部のハードウエア構成図である。入力メモリ２１１内の第一の焦点距離での画像１３０１を読み込み、ボケ補正フィルタ１３０４を通して、配分器１３０７で比率調整するとともに、入力メモリ１１内の第二の焦点距離での画像１３０２を読み込み、ボケ補正フィルタ１３０５を通して、配分器１３０８で比率調整した後、加算器１３１０で合成し、ラッチ１３１１でタイミング調整して出力G_Out１３１２する。ここで、ボケ補正フィルタ１３０５は、距離に応じて画像に生じたボケを修復するフィルタであり、一般的にはエッジ強調フィルタで代用が可能である。このフィルタの係数は、距離に応じて変化する必要があり、中心値と周辺値の係数を距離に応じて変化させることで実現している。このボケ補正フィルタ係数１３０６のみならず、配分器の比率設定１３０９は図７、図１３（ａ）のテーブルに基づき計算され、バス１３０３を介して設定される。このような構成とすることで、複数の画像をボケ修正した画像を距離に応じて合成することによりホワイトノイズを削減し、高画質な画像を合成できるという効果がある。

図１４は、テクスチャーマッピング２１５を実行するハードウエア構成を示す。画像合成部の出力G_Outは、透視変換の縮小時にデータが失われないように多値データで平均化しながらデータを生成し出力データMW_DATを得ている。これは、縮小率に応じて、入力データを配分器１３３１で比率調整し、加算器１３３２で合成する。この出力は入力データと同様配分器１３３３で比率調整し一時記憶１３３４し、加算器１３３２で蓄積加算する。図１１（ｂ）で示した変数パラメータは、図１４のレジスタ１３４１，１３４３，１３４５，１３５１，１３４９にセットすると、ハードウエア透視変換を実行する。まず、注目ラインの長さx_width１３４３は、１ライン単位に、変位DX_Width１３４１づつ減算器１３４２で減算し作成する。これに対して、１クロック毎にＤＤＡ用の一時記憶レジスタX_DDA１３４８を用いて出力長さDest_Width１３４５を加算器１３４６で加算する。ただし、X_DDA１３４８の出力からX_Width１３４３を減算器１３４４で減算しX_DDA１３４８減算できれば、減算結果をセレクタ１３４７を介してX_DDA１３４８にセットする。減算器１３４４のボローを制御信号X_Skipとして用いる。読み出し開始アドレスX_Start１３５１は、１ラインごと変位DX_Start１３４９づつ加算器１３５０で加算し、ｘ方向カウンタX_Count１３５２へロードする。このカウンタで読み込みアドレスとして用いる。メモリへの書き込みアドレスは、他のメモリカウンタM_Count１３５５を用いてアドレス管理する。このカウントアップ制御をX_Skipを用いてコントロールすることで出力長さを均一に揃えることができる。このような構成とすることで、ＣＰＵから数個のレジスタを設定するだけで透視変換機能付きテクスチャーマッピング処理が実現できるという効果がある。

図１５は、画像インデックス機能が付加されたデジタルカメラの構成図である。このデジタルカメラ１には、撮影後の画像に、メモなどを付加して画像データの保存を行うための音声入力部（マイク）１６が設けられている。

ユーザが画像の撮影時や撮影後、マイク１６を通して、撮影画像に関する説明やメモ、タイトルなどの記録を音声で入力する。読取部１１から読み込んだ画像を３次元補正部２で補正、もしくは直接画像補正部１３にデータ転送された後に、入力した記録を画像データに付加し、画像メモリ１４に記憶する。付加する際のデータ形式としては、画像メモリの末尾や先頭部分に音声データを付加して記録を行い、読み出すときに音声と画像それぞれのデータを切り分けて再現することが可能である。この機能により、画像を撮影した後のデータ管理を容易に行うことができるため、効率のよい画像データの取得作業を行うことができるという効果がある。

図１６は、巨大な平面などの画像を取り込むことのできるデジタルカメラの構成図である。モード切換スイッチ１２により分割読み込みモードに選択された場合、読取部１１で取り込まれた画像は前述した３次元画像補正を行った後、画像メモリ２０に記憶される。この場合、撮影する際には、あらかじめユーザが分割枚数を指定すると一定の規則により平面を四角形に分割しインデックスをつけ、その結果をディスプレイ１５に表示する。ユーザは撮影する際にどの領域を撮影するか、マイク１６などを用いて宣言してから撮影を行う。

始めに指定した分割枚数だけの画像が画像メモリ２０に記憶されると、画像データを画像張り合わせ部２１に転送する。画像張り合わせ部２１では隣り合う画像を張り合わせ、ひとつの画像として画像補正部１３に出力する。画像の張り合わせ方法についてはすでに一般のソフトウエアでは実現されており、これらの方法を用いることで実現できる。

この構成により、本発明のデジタルカメラにメモリと画像張り合わせソフトを組み込むだけで実現できるという効果がある。

図１７は分割読み込み機能のフローを示している。はじめにユーザにより分割枚数を入力してもらうと（ステップ１６０１）、カメラ内部で一定規則に従い、インデックスを自動で作成し、その分割結果をディスプレイに表示する（ステップ１６０２）。次にユーザは表示されたインデックス番号を入力し（ステップ１６０３）、その対応する位置の画像を撮影する（ステップ１６０４）。この動作を分割枚数分繰り返す（ステップ１６０５）。分割枚数分の画像がそろったら、画像データを画像張り合わせ部で合成を行い（ステップ１６０６）、本体の画像メモリにデータを保存する。

この機能で大きな壁画など巨大な平面に描かれた図形や文字などを撮影する場合、撮影場所の制限を大幅に低減することができるため自由度の高い読み取り作業を行うことができるという効果がある。

図１８は、特徴点抽出を用いて読み取り範囲を自動設定する機能が付いたデジタルカメラの構成図である。モード切換スイッチ１２で自動設定処理を選択した場合、読み取った画像に対して、特徴点抽出部３０は特徴点毎距離測定内にある特徴点を抽出し、特徴点情報を保存する。また、特徴点を抽出する際に、画像処理で一般的に用いられているエッジ検出の処理を用いても同じ結果を得ることが可能である。この特徴点情報から画像内の矩形部を読み取り範囲として抽出し、この範囲内の画像のみを３次元画像補正を行い、読み取り結果として出力する。これにより書籍などのページ内部のみの読み込みを行いたい場合、撮影時にユーザが読み込み範囲をページに合わせて撮影するという手間が省けるため、操作性よく画像の取り込みが行うことができるという効果がある。

書籍などの複数ページにまたがる書類を順次連続して読み取る際の適用例を示す。モード切換スイッチ１２で連続読み取りモードとページ記憶部をカメラ内に追加する。このモードでは連続したページを順次読み込む場合、あらかじめページ番号が画像内の上部もしくは下部中央に記載しているという情報を記憶させておき、読み込み時にその位置にある番号をＯＣＲを用いて認識してその番号の変化を監視し、読み飛ばしなどがあった場合に警告を行うものである。

この動作フローを図１９に示す。読み取りボタンが押下されると（ステップ１７０１）、読み取り動作を行い（ステップ１７０２）、その画像内のページ番号の認識処理を行う（ステップ１７０３）。その番号が直前に読み込んだ時の番号の次のページか否かを判断し（ステップ１７０４）、次のページでない場合には、ユーザにブザーや補助ディスプレイなどを用いて警告を行い（ステップ１７０６）、読み直しを行うかどうかの選択を行ってもらう（ステップ１７０５）。これにより、ユーザは連続した画像を順次読み取る際の読み飛ばしの発生が少なくなり、操作性のよい取り込みができるという効果がある。

また、以上の処理は複数条件で取り込んだ画像データを元に特徴点の距離を測定し、補正を行ってきたが、あらかじめ取り込む平面の形状がＡ４縦サイズやＢ５書籍サイズの書類であると決まっている場合には、その特徴点の枠の形状を記憶するメモリを設け、その情報を用いて取り込みを行う場合には、特徴点の距離測定手段を用いなくても画像処理のみで行うことが可能である。その方法については、画像の特徴点と指定形状のサイズを合わせ、その大きさの比から画像の拡大縮小といった処理を組み合わせることで可能である。

この方法の場合、常に定型文書の読み込みを行う場合には、距離測定手段を用意する必要がなく、処理の負荷が少なくなり、読取動作が高速化されユーザはすばやく画像取り込みを行うことができるといった効果がある。

なお、図１、図１５、図１６、図１８に示したデジタルカメラに、外部との画像データ転送を行う無線データ通信手段を設けることもできる。

以上説明したように、本発明の実施形態によれば、デジタルカメラの簡易な操作で、折れた帳票や厚い本などといった平面上の文書等の画像入力を、被写体を固定することなく、また特殊な距離検出センサを用いることなく、高画質に画像を入力できるのですることができるため、紙や平面上に描かれている情報をデジタルとして取り込む際の操作性を大幅に改善できる。

また、フラットベッドスキャナのような読み取りヘッドを走査する時間が不要となり、取り込み時間も高速に行うことができる。さらに撮影条件の制約が少なく、自由な位置から画像取り込みを行うことができる。使用しないときもフラットベッドスキャナのような大きな設置面積を必要とせず、利用者の作業を妨げることがなくなる。

本発明の係るデジタルカメラの構成図である。本発明に係るデジタルカメラの外観を示した斜視図である。３次元画像補正部の機能ブロック図である。読み取り動作のフローを示した図である。三次元補正の特徴点毎距離測定部の概要を示した図である。３次元補正の原理を示しており、（ａ）は距離測定のフローを、（ｂ）および（ｃ）は光学系の焦点位置と原稿読取位置によって画像がどのように観測されるかを概念的に示した図である。原稿の高さ位置と線のボケとの関係を示した図である。道程補正が（ａ）→（ｂ）→（ｃ）の順に行われることを概念的に示した図である。図８での道程補正を具体的に示した図である。３次元補正の処理フローを示した図である。（ａ）は透視変換の概念図、（ｂ）は変換のための変数定義を示した図である。透視変換のフローを示した図である。（ａ）は画像合成の方式を示した図、（ｂ）はハードウエア構成図である。テクスチャーマッピング部のハードウエア構成図である。画像インデックス機能が付加されたデジタルカメラの構成図である。分割読み込み機能が付加されたデジタルカメラの構成図である。分割読み込みモードでの処理フローを示した図である。特徴点抽出を用いて読み取り範囲を自動設定する機能が付加されたデジタルカメラの構成図である。ページ番号認識による連続読み取りの処理フローを示した図である。

符号の説明

１デジタルカメラ
２３次元補正部
３パーソナルコンピュータ
４ディスプレイ装置
５プリンタ
１１読み取り部
１２モード切換スイッチ
１３画像補正部
１４画像メモリ
１５ディスプレイ
２１３次元画像補正部
２２焦点位置制御部

Claims

撮影指示を入力する入力手段と、入力された撮影指示に従って被写体の画像をデジタル化して読み取る読取手段と、前記読取手段で読み取った画像を記憶する記憶手段とを備えてなるデジタルカメラにおいて、
画像補正モードを選択するモード切換手段と、前記撮影指示が入力され、かつ前記モード切換手段により三次元補正モードが選択されたとき、前記読取手段の焦点位置を変えて前記被写体の画像を複数枚読み取らせる指令を前記読取手段に出力する制御手段と、前記読取手段により読み取られた焦点位置が異なる複数枚の画像を取り込み、該複数枚の画像間の輝度偏差に基づいて前記被写体の複数の点と前記読取手段との距離を求める距離算出手段と、該手段より求めた距離に基づいて前記被写体の画像を平面に補正する三次元画像補正手段を有してなるデジタルカメラ。
前記距離算出手段は、複数枚の画像間の輝度偏差を求め、該偏差が大きい画像部位を特徴点として抽出し、抽出された前記特徴点の周囲の明度変化に基づいて該特徴点と前記読取手段との距離を求めることを特徴とする請求項１に記載のデジタルカメラ。
前記三次元画像補正手段は、前記距離算出手段により求めた前記被写体の複数の点と前記読取手段との距離に基づいて前記複数の点の三次元位置を求め、該求めた三次元位置に基づいて前記複数の点により形成されるポリゴン画像の各辺の長さ求めて前記各ポリゴン画像を二次元平面に展開して前記被写体の画像を平面に補正することを特徴とする請求項１に記載のディジタルカメラ。
前記読取手段で読み取った画像の文書のページを一旦記憶し、次に前記読取手段で読み取られた画像の文書のページと比較して読み飛ばしの有無を判定し、読み飛ばしと判断したときに警報を出力する監視手段を設けたことを特徴とする請求項１に記載のディジタルカメラ。