JP3504585B2 - 画像取り込み装置及び画像取り込み方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像取り込み装置
及び画像取り込み方法に係り、特に歪みのない平面画像
を得るための画像取り込み装置及び画像取り込み方法に
関する。

【０００２】

【従来の技術】従来の画像取り込み装置の代表例として
はゼログラフィーが挙げられる。

【０００３】本技術では静電潜像を作成するための光導
電体を使用しており、高導電体面上をコロナチャージな
どによって帯電させる。そして、原稿台にセットした原
稿の像を光導電体面上に結像し、光導電体の電気抵抗を
低下させることによって原稿の非画線部の帯電を放電さ
せることによって静電潜像が形成する。

【０００４】通常、上記原稿台はガラスなどの透明な材
質で出来ており、原稿はこの原稿台の上に伏せた状態で
セットし、原稿は原稿台を通して下面から読み取られ
る。

【０００５】そして、光導電体面上のうち、原稿の画線
部の像が結像した部分は帯電が残っており、次の現像行
程で画線部にはクーロン力によってトナーが付着し、静
電潜像が現像され付着したトナーは紙に転写される。こ
のトナーは熱溶融性であるため加熱することによって溶
け、続いて常温まで冷却することによって紙面上に定着
する。こうして、紙面上に原稿の画像の複製が形成され
る。

【０００６】一方、画像取り込み装置には、撮像素子と
してラインセンサやエリアセンサを用いたものがある。
上記ラインセンサを用いた画像取り込み装置の代表的な
ものとしてはスキャナーがあり、該複写機ではガラス面
上に被写体を置き、ガラス面の下からラインセンサを副
走査方向に移動させながら順次主走査方向に撮像を行う
ことで平面画像を得ている。

【０００７】そして、上記エリアセンサを用いた画像取
り込み装置の代表的なものとしては電子スチルカメラが
あり、該電子スチルカメラではエリアセンサを用いるこ
とで被写体を1度に撮像し平面画像を得ている。

【０００８】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像取り込み装置では、原稿台に原稿が密着
していない場合、均等であった原稿の字間が複製により
狭まったり行が曲がったりといった問題が生じる。

【０００９】例えば、タイトバックの厚い本の見開きの
コピーを取る場合には、書籍中央のぺージ綴じ部分が書
籍の厚みのため原稿台に密着せずに、撮像装置からの距
離が一定とならないため撮影された文字が歪んでしま
う。

【００１０】本発明は上記問題に鑑みてなされたもの
で、その目的とする所は、曲りによる歪みをもった文字
等を撮像するときに、その歪みを補正することで平面に
伸ばしたような歪みのない平面画像を得ることにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様による画像取り込み装置は、複
数の文字列を有する画像を撮像する撮像手段と、予め歪
みの分かっている複数の画像とそれらの歪みを反映した
複数の制御点の座標の組みとを学習した結果に基づき、
上記撮像手段により撮像された画像の上記複数の文字列
に、上記複数の文字列全体の歪みの状態に応じた所定の
数の制御点を少なくとも上記複数の文字列の内部に各々
生成する制御点座標生成手段と、上記各制御点の位置に
それぞれ対応する、上記複数の文字列が歪む前の複数の
制御点位置をそれぞれ参照し、上記画像の各制御点の位
置を上記複数の文字列が歪む前の上記各制御点位置に移
動させて、上記複数の文字列全体の歪みを補正する歪み
補正手段と、を具備することを特徴とする。第２の態様
による画像取り込み装置は、上記第１の態様において、
撮像された上記画像を縮小する画像縮小処理手段を更に
備え、上記制御点座標生成手段は、上記画像縮小処理手
段によって縮小された上記複数の文字列に、所定の数の
上記制御点を生成することを特徴とする。第３の態様に
よる画像取り込み装置は、上記第１の態様において、上
記複数の制御点によって複数の領域が形成され、上記歪
み補正手段は、上記各領域毎に上記複数の文字列の歪み
を補正することを特徴とする。第４の態様による画像取
り込み装置は、上記第１の態様において、上記画像を複
数のブロックに分割する手段を更に具備し、上記歪み補
正手段は、上記各ブロック毎に上記複数の文字列の歪み
を補正することを特徴とする。第５の態様による画像取
り込み装置は、上記第１の態様において、上記画像取り
込み装置は、複数の文字パターン候補を持つ文字認識を
行う手段を更に備え、上記文字認識を行う手段は、上記
画像から認識される上記文字列の文字と上記各文字パタ
ーン候補を比べて、最大の類似度を得た上記文字パター
ン候補を出力し、上記歪み補正手段は、上記画像のうち
文字として認識されなかった部分に対して更に上記歪み
の補正を行う、ことを特徴とする。第６の態様による画
像取り込み装置は、複数の文字列を有する画像を撮像す
る撮像手段と、上記撮像手段により撮像された上記画像
を縮小する画像縮小処理手段と、上記画像縮小処理手段
により縮小された画像の上記複数の文字列に、上記複数
の文字列全体の歪みの状態に応じた所定の数の制御点を
少なくとも上記複数の文字列の内部に各々生成する制御
点座標生成手段と、上記各制御点の位置と、予め設定し
た、上記複数の文字列が歪む前の複数の制御点位置とに
基づいて、上記複数の文字列全体の歪みを補正する歪み
補正手段と、を具備することを特徴とする。第７の態様
による画像取り込み装置は、複数の文字列を有する画像
を撮像する撮像手段と、上記撮像手段により撮像された
画像の上記複数の文字列に、上記複数の文字列全体の歪
みの状態に応じた所定の数の制御点を少なくとも上記複
数の文字列の内部に各々生成する制御点座標生成手段
と、上記各制御点の位置と、予め設定した、上記複数の
文字列が歪む前の複数の制御点位置とに基づいて、上記
複数の文字列全体の歪みを補正する歪み補正手段と、を
具備し、上記複数の制御点によって複数の領域が形成さ
れ、上記歪み補正手段は、上記各領域毎に上記複数の文
字列の歪みを補正することを特徴とする。第８の態様に
よる画像取り込み方法は、複数の文字列を有する画像を
撮像し、予め歪みの分かっている複数の画像とそれらの
歪みを反映した複数の制御点の座標の組みとを学習した
結果に基づき、撮像された上記画像の上記複数の文字列
に、上記複数の文字列全体の歪みの状態に応じた所定の
数の制御点を少なくとも上記複数の文字列の内部に各々
生成し、 上記各制御点の位置にそれぞれ対応する、上
記複数の文字列が歪む前の複数の制御点位置をそれぞれ
参照し、上記画像の各制御点の位置を上記複数の文字列
が歪む前の上記各制御点位置に移動させて、上記複数の
文字列全体の歪みを補正する、ことを特徴とする。第９
の態様による画像取り込み方法は、複数の文字列を有す
る画像を撮像し、撮像された上記画像を縮小し、縮小さ
れた上記画像の上記複数の文字列に、上記複数文字列全
体の 歪みの状態に応じた所定の数の制御点を少なくとも
上記複数の文字列の内部に各々生成し、上記各制御点の
位置と、予め設定した、上記複数の文字列が歪む前の複
数の制御点位置とに基づいて、上記複数の文字列全体の
歪みを補正する、ことを特徴とする。第１０の態様によ
る画像取り込み方法は、複数の文字列を有する画像を撮
像し、撮像された上記画像の上記複数の文字列に、上記
複数の文字列全体の歪みの状態に応じた所定の数の制御
点を少なくとも上記複数の文字列の内部に各々生成し、
上記複数の制御点によって複数の領域を形成し、上記各
制御点の位置と、予め設定した、上記複数の文字列が歪
む前の複数の制御点位置とに基づいて、上記複数の文字
列全体の歪みを上記各領域毎に補正する、ことを特徴と
する。

【００１２】

【作用】即ち、本発明の第１の態様による画像取り込み
装置では、撮像手段により複数の文字列を有する画像が
撮像され、制御点座標生成手段により、予め歪みの分か
っている複数の画像とそれらの歪みを反映した複数の制
御点の座標の組みとを学習した結果に基づき、上記撮像
手段により撮像された画像の上記複数の文字列に、上記
複数の文字列全体の歪みの状態に応じた所定の数の制御
点が少なくとも上記複数の文字列の内部に各々生成さ
れ、歪み補正手段により、上記各制御点の位置にそれぞ
れ対応する、上記複数の文字列が歪む前の複数の制御点
位置がそれぞれ参照され、上記画像の各制御点の位置が
上記複数の文字列が歪む前の上記各制御点位置に移動さ
れ、上記複数の文字列全体の歪みが補正される。第２の
態様による画像取り込み装置では、上記第１の態様にお
いて、画像縮小処理手段により撮像された上記画像が縮
小され、上記制御点座標生成手段により、上記画像縮小
処理手段によって縮小された上記複数の文字列に、所定
の数の上記制御点が生成される。第３の態様による画像
取り込み装置では、上記第１の態様において、上記複数
の制御点によって複数の領域が形成され、上記歪み補正
手段により、上記各領域毎に上記複数の文字列の歪みが
補正される。第４の態様による画像取り込み装置では、
上記第１の態様において、上記画像が複数のブロックに
分割され、上記歪み補正手段により、上記各ブロック毎
に上記複数の文字列の歪みが補正される。第５の態様に
よる画像取り込み装置では、上記第１の態様において、
複数の文字パターン候補を持つ文字認識を行う文字認識
を行う手段により、上記画像から認識される上記文字列
の文字と上記各文字パターン候補が比べられて、最大の
類似度を得た上記文字パターン候補が出力され、上記歪
み補正手段により、上記画像のうち文字として認識され
なかった部分に対して更に上記歪みの補正が行われる。
第６の態様による画像取り込み装置では、撮像手段によ
り複数の文字列を有する画像が撮像され、画像縮小処理
手段により上記撮像手段により撮像された上記画像が縮
小され、制御点座標生成手段により、上記画像縮小処理
手段により縮小された画像の上記複数の文字列に、上記
複数の文字列全体の歪みの状態に応じた所定の数の制御
点が少なくとも上記複数の文字列の内部に各々生成さ
れ、歪み補正手段により、上記各制御点の位置と、予め
設定した、上記複数の文字列が歪む前の複数の制御点位
置とに基づいて、上記複数の文字列全体の歪みが補正さ
れる。第７の態様による画像取り込み装置では、撮像手
段により複数の文字列を有する画像が撮像され、制御点
座標生成手段により、上記撮像手段により撮像された画
像の上記複数の文字列に、上記複数の文字列全体の歪み
の状態に応じた所定の数の制御点が少なくとも上記複数
の文字列の内部に各々生成され、歪み補正手段により、
上記各制御点の位置と、予め設定した、上記複数の文字
列が歪む前の複数の制御点位置とに基づいて、上記複数
の文字列全体の歪みが補正され、特に上記複数の制御点
によって複数の領域が形成され、上記歪み補正手段によ
り、上記各領域毎に上記複数の文字列の歪みが補正され
る。第８の態様による画像取り込み方法では、複数の文
字列を有する画像が撮像され、予め歪みの分かっている
複数の画像とそれらの歪みを反映した複数の制御点の座
標の組みとを学習した結果に基づき、撮像された上記画
像の上記複数の文字列に、上記複数の文字列全体の歪み
の状態に応じた所定の数の制御点が少なくとも上記複数
の文字列の内部に各々生成され、上記各制御点の位置に
それぞれ対応する、上記複数の文字列が歪む前の複数の
制御点位置がそれぞれ参照され、上記画像の各制御点の
位置が上記複数の文字列が歪む前の上記各制御点位置に
移動され、上記複数の文字列全体の歪みが補正される。
第９の態様による画像取り込み方法では、複数の文字列
を有する画像を撮像され、撮像された上記画像が縮小さ
れ、縮小された上記画像の上記複数の文字列に、上記複
数文字列全体の歪みの状態に応じた所定の数の制御点が
少なくとも上記複数の文字列の内部に各々生成され、上
記各制御点の位置と、予め設定した、上記複数の文字列
が歪む前の複数の制御点位置とに基づいて、上記複数の
文字列全体の歪みが補正される。 第１０の態様による画
像取り込み方法では、複数の文字列を有する画像が撮像
され、撮像された上記画像の上記複数の文字列に、上記
複数の文字列全体の歪みの状態に応じた所定の数の制御
点が少なくとも上記複数の文字列の内部に各々生成さ
れ、上記複数の制御点によって複数の領域が形成され、
上記各制御点の位置と、予め設定した、上記複数の文字
列が歪む前の複数の制御点位置とに基づいて、上記複数
の文字列全体の歪みが上記各領域毎に補正される。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。

【００１４】図1は、本実施の形態の構成を示すブロッ
ク図である。

【００１５】同図に示すように、原稿読み取り部１はア
ナログ／ディジタル（Ａ／Ｄ）変換器２を介して入力画
像メモリ３に接続されており、該入力画像メモリ３は画
像縮小処理部４及び画像変換部７に接続されている。そ
して、この画像縮小処理部４は縮小画像メモリ５に接続
されており、該縮小画像メモリ５は制御点座標生成部６
に接続されている。

【００１６】さらに、この制御点座標生成部６は画像変
換部７に接続されており、該画像変換部７は補正画像メ
モリ８に接続されている。そして、この補正画像メモリ
８は画像記録部９に接続されている。

【００１７】このような構成において、原稿読取り部１
により原稿の濃度が電気信号に変換されると、この電気
信号に変換された原稿の濃度情報はＡ／Ｄ変換部２によ
ってディジタル信号に変換され、入力画像メモリ３に記
憶される。そして、この入力画像メモリ３に記憶された
画像データは、画像縮小処理部４により縮小され、縮小
画像メモリ５に記憶される。

【００１８】さらに、縮小画像メモリ５に記憶された画
像は制御点座標生成部６により読み出されて歪みの分析
が行われ、その歪みの状態に応じた１６個の制御点各々
のｘ，ｙ座標が算出される。この制御点とは、面像の変
換のために使われるものであり、画像の歪みを反映した
位置に生成される。本実施の形態では、これらの制御点
の位置を規則正しく配列した位置に移動する変換を行う
ことにより画像の歪み補正を行う。

【００１９】上記制御点座標生成部６により算出された
１６個の制御点のｘ，ｙ座標は画像変換部７に出力され
る。そして、画像変換部７において、これらの座標デー
タを基に入力画像メモリ３から読み込んだ画像データの
歪み補正が行われ、歪みが補正された画像データは補正
画像メモリ８に書き込まれる。

【００２０】こうして、画像記録部９により出力画像メ
モリ８から歪み補正された画像が読み出され、例えば紙
に複写記録される。

【００２１】次に、上記画像の歪み補正の方法について
詳述する。

【００２２】入力画像メモリ３に記録された画像を模式
的に表すと図２に示す様になる。画素数は例えば１０２
４×１０２４である。この画像は画像縮小処理部４によ
って縮小されて縮小画像メモリ５に記憶される。縮小画
像の画素数は例えば２４×２４である。

【００２３】図３は、この縮小画像メモリに記憶された
画像を模式的に示した図であり、同図において、斜線で
示した画素は文字を含んでいる画素、即ち縮小前は文字
が有った画素が縮小されて出来た画素であり、これらの
画素は縮小前の文字の並びに従って、殆ど連続して示さ
れる。

【００２４】図４は、制御点座標生成部6を構成してい
るニューラルネットワークを示す図であり、同図に示す
ように、ニューラルネットワークは制御点のｘ座標出力
用とｙ座標出力用の２つで１組となっており、組みの数
は制御点の数だけ用意し、1つのニューラルネットワー
クが1つの座標を担当する。

【００２５】例えば、制御点の数を１６個とした場合
は、ニューラルネットワークは３２個必要となる。この
１６個の制御点をＰ１，Ｐ２，Ｐ３・・・Ｐ１６とする
と、1番目のニューラルネットはＰ１のｘ座標を出力
し、２番目のニューラルネットワークはＰ１のｙ座標を
出力する。そして、３番目のニューラルネットワークは
Ｐ２のｘ座標を出力し、４番目のニューラルネットワー
クはＰ２のｙ座標を出力する。

【００２６】ニューラルネットワークの入力ユニットに
は縮小画像が入力される。

【００２７】尚、図４では入力ユニットは５つだけしか
示していないが、実際には縮小画像の画素の数、即ち２
４×２４個ある。

【００２８】さらに、このニューラルネットワークは予
め学習をさせてあり、画像を入力するとその画像の歪み
に応じた位置に制御点を生成する。そして、上記学習は
誤差逆伝播学習（back propagation error learnin
g）などによって行う。

【００２９】即ち、予め歪みの分かっている複数の画像
とそれらの歪みを反映している制御点Ｐｉ（ｉ＝１，
２，・・・１６）の座標（ｘまたはｙ）を組みにしてニ
ューラルネットワークに繰り返して提示して学習をさせ
る。

【００３０】以下、歪んだ画像と制御点の座標の算出方
法について詳述する。

【００３１】まず、図５（ａ）に示すように、歪む前の
原画の上に等間隔に縦横それぞれ４本の平行線を仮想的
に引く。これらの平行線は１６か所で交又する。平行線
は、この１６個の交又点が囲む範囲が原稿の範囲をカバ
ーするように引く。ただし、平行線の歪んだ像は仮想的
に引くだけで、ニューラルネットワークに提示する画像
には実際には引かない。

【００３２】次に、図５（ｂ）に示すように、この画像
を任意の変形により歪ませる。

【００３３】このとき、画像の歪み方は任意で良い。そ
して、歪んだ画像を更に前述した画像縮小処理部４と同
じ特性によって縮小する。ニューラルネットワークに
は、この縮小画像を提示する。

【００３４】また、制御点の座標は歪んだ平行線が交又
する１６か所の座標となる。即ち、制御点の座標は歪み
前の原画において一定間隔で均等に配置しておいた座標
が歪みによって移動した位置の座標である。

【００３５】このように学習させたニューラルネットワ
ークに、図３に示すような縮小画像を読み込ませると、
図６中に黒点で示したような制御点の座標が出力され、
各点を図のようにＰ１，Ｐ２，Ｐ３…Ｐ１６とする。

【００３６】一方、補正画像メモリ８において、図７に
示すように格子点を設定し、その位置をＱ１，Ｑ２，Ｑ
３・・・Ｑ１６とする。

【００３７】画像変換部７は制御点の座標を参照し、補
正画像メモリ８のＱ１，Ｑ２，Ｑ３・・・Ｑ１６に当たる
位置に入力画像メモリ３のＰ１，Ｐ２，Ｐ３・・・Ｐ１６
の位置にある画像データを書き込む。また、補正画像メ
モリ８のうち、Ｑ１，Ｑ２，Ｑ３・・・Ｑ１６の間にある
各画素位置には、入力画像メモリ３のＰ１，Ｐ２，Ｐ３
・・・Ｐ１６の位置にある画像データから補間を行って対
応する値を求めて書き込む。

【００３８】上記補間には様々な手法があるが、例えば
次のような手法を用いればよい。

【００３９】即ち、図８（ａ），（ｂ）のように画像メ
モリの領域を制御点及び格子点によって3角形の小領域
に分割する。問題は、図８（ｂ）の中の任意の位置の画
像に対応する画素を図８（ａ）の中から探すことであ
る。

【００４０】図９（ｂ）は図８（ｂ）の1つの３角形を
取り出して表したものである。

【００４１】この３角形内部の画素をＱとすると、ベク
トルＱｉＱはベクトルＱｉＱｊとベクトルＱｉＱｋの一
次結像で表すことができる。そして、ベクトルＱｉＱｊ
とベクトルＱｉＱｋの係数をそれぞれｓ，ｔとすれば、
次式のように表すことができる。

【００４２】ＱｉＱ＝ｓ×ＱｉＱｊ＋ｔ×ＱｉＱｋ これを成分で表せば、ｓ，ｔに関する連立1次方程式で
あるので、これを解いてｓ，ｔを、求めることができ
る。

【００４３】一方、図９（ｂ）の３角形に対応する図８
（ａ）内の３角形を取り出して表したものが、図９
（ａ）の３角形である。上述の方法で求めたｓ，ｔを用
い、次式によって定まる画素Ｐを求める。

【００４４】ＰｉＰ＝ｓ×ＰｉＰｊ＋ｔ×ＰｉＰｋ このように、画素Ｑに対応して画素Ｐが必ず1つ定ま
る。従って、画素Ｑには画素Ｐのデータ値を与えれぱよ
い。

【００４５】以上説明したような補間により、出力画像
メモリの全ての画素の画像データを求めると、図１０に
示すような歪みが補正され文字配列の整った画像が完成
する。

【００４６】本実施の形態では、歪む前の原画の上に仮
想的に引いた平行線は等間隔としたが、間隔は任意でよ
い。例えば、画像が大きく歪む可能性の高い画像の周辺
部で平行線の間隔が密になるように設定することで、同
じ数の制御点で一層効果的に歪み補正を行うことができ
る。

【００４７】また、本実施の形態では、図１７に示すよ
うな一般的な複写機ように原稿台の上に原稿を伏せる形
で原稿の読取りを行う方式を想定したが、図１８に示す
ように遠隔撮影するようにしてもよい。

【００４８】次に、図１１は本発明の第２実施の形態に
係る画像取り込み装置の構成を示す図である。

【００４９】同図に示すように、レンズ１１に対面する
位置には撮像素子１２が設けられており、該撮像素子１
２はビデオ処理部１３に接続されている。そして、上記
ビデオ処理部１３はＡ／Ｄ変換器１４に接続されてお
り、該Ａ／Ｄ変換器１４は文字認識回路１５に接続され
ている。

【００５０】 さらに、上記文字認識回路１５は補正回
路１６、演算回路１７、歪み記憶回路１８にそれぞれ接
続されており、該歪み記憶回路１８は補正回路１６に接
続されている。そして、上記補正回路１６は演算回路１
７に接続されていると共に、該演算回路１７は記憶媒体
１９に接続されている。

【００５１】このような構成において、上記レンズ１１
により集光された光信号を受けると、撮像素子１２によ
り該元信号は電気信号に変換される。そして、ビデオ処
理部１３によりこの電気信号に変換された画像信号に対
してホワイトバランス調整、γ補正などの処理が行われ
る。そして、Ａ／Ｄ変換器１４により上記処理がされた
画像信号がアナログ信号からディジタル信号に変換さ
れ、文字認識回路１５へ出力される。

【００５２】上記文字認識回路１５では、入力文字パタ
ーンと複数の文字パターン候補とのパターンマッチング
によりそれぞれの類似度が算出され、その中で最大類似
度を得た文字パターン候補を最終的な文字認識結果とし
て判定し出力することで文字認識が行われる。

【００５３】或いは、更にニューラルネットワークを組
み合わせ、ある入力文字パターンの認識結果に誤りが生
じた場合、その入力文字パターンに対する次回からの文
字認識において正解の文字パターン候補が得られるよう
な方向性を持ってニューラルネットワークや重み付けを
補正することで安定な文字認識を行う事もできる。

【００５４】上記文字認識回路１５において、文字とし
て認識された信号は演算回路１７へ出力され、文字とし
て認識されなかった信号は補正回路１６に出力される。
また、文字認識する際に得られる歪情報信号、つまり認
識した文字に対して入力した文字がどの方向にどの位の
割合で歪んでいるかという情報は、その文字位置と同時
に歪記憶回路１８に記憶される。

【００５５】ここで、歪み情報を得るために文字認識を
行う際、撮像する対象が見開きの書籍であるということ
に着目する。見開きの書籍では歪みが生じるのは主に綴
代に近い中心部であり、しかも歪みの方向は書籍を開く
方向だけである。

【００５６】このため、文字認識を行う際、書籍の中心
部に近い部分では精度の高い認識を行い、周辺の歪みの
少ない部分では精度を落とした認識を行ったり、一定方
向のみの文字認識を行うことで回路規模を縮小すること
ができる。

【００５７】上記補正回路１６では、この歪記憶回路１
８に記憶された情報を基に、補正回路１６に送られてき
た文字認識されなかった信号に対して、その近傍にある
先に記憶した歪情報成分を打ち消すように補正が行われ
る。

【００５８】具体的には、文字認識されなかった信号が
補正回路１６に送られると、まず補正回路１６によりそ
の信号の空間的位置が算出される。これは、撮像時の画
素位置から容易に計算することができる。

【００５９】そして、この算出された位置の近傍にある
文字認識された文字が抽出される。

【００６０】このとき抽出する文字は1つだけでなく複
数あっても良いし、さらに複数の摘出文字に対して文字
認識されなかった信号位置からの各々の距離に応じて重
み付けをしたものでも良い。

【００６１】こうして抽出された１つ以上の文字につい
ては、これら文字が文字認識された際に得られた歪情報
信号が歪記憶回路８から読み出される。そして、文字認
識されなかった信号に対して、この歪情報信号を加算あ
るいは乗算することで歪みが補正される。

【００６２】上記演算回路１７では、文字認識された信
号、即ち文字と、文字認識されず歪み情報信号を基に歪
補正された信号、例えば画像信号が加算され歪みのない
平面画像が出力されフロッピー（登録商標）ディスクや
メモリカードといった記録媒体１９に記録される。この
時、直接プリンタに出力することもできる、尚、これら
全ての動作はコントローラ２０により制御される。

【００６３】本実施の形態では、撮像素子１２にエリア
センサを用いた例を挙げたが、撮像素子１２はラインセ
ンサを用いたスキャナであってもよい。

【００６４】図１２は本実施の形態の使用例を示す図で
あり、図中、符号１００は例えば電子スチルカメラなど
の画像取り込み装置、１０１は見開きになっている書
籍、１０２は書籍中央にある写真、１０４は写真の説明
文などを示す。

【００６５】同図に示すように、書籍１０１には中央部
に写真１０２があり、書籍の厚みのため写真及びその付
近の文字は曲がってしまっている為、該書籍１０１を画
像取り込み装置１００により普通に撮像しても得られる
画像には歪みが現れてしまう。

【００６６】本実施の形態によれば、このような画像の
歪みを解消することができる。

【００６７】次に、図１３は本発明第３の実施の形態に
係る画像取り込み装置のブロック図である。尚、本実施
の形態の使用例は先に図１２に示した通りである。

【００６８】同図に示すように、撮像部Ａにおいて、レ
ンズ１１ａに対面する位置には撮像素子１２ａが設けら
れている。そして、上記撮像素子１２ａにはビデオ処理
部１３ａが接続されており、該ビデオ処理部１３ａはＡ
／Ｄ変換器１４ａに接続されている。

【００６９】同様に、撮像部Ｂにおいて、レンズ１１ｂ
に対面する位置には撮像素子１２ｂが設けられている。
そして、上記撮像素子１２ｂにはビデオ処理部１３ｂが
接続されており、該ビデオ処理部１３ｂはＡ／Ｄ変換器
１４ｂに接続されている。

【００７０】そして、上記撮像部Ａ及び撮像部Ｂはパタ
ーンマッチング回路２１に接続されており、該パターン
マッチング回路２１は補正回路１６に接続されている。
さらに、補正回路１６は記録媒体１９に接続されてい
る。

【００７１】このような構成において、撮像部Ａ及び撮
像部Ｂにより撮像された画像は、パターンマッチング回
路２１に出力される。

【００７２】上記パターンマッチング回路２１では、撮
像部Ａで撮像された画像Ａが図１４（ａ）に示すように
複数のブロックに分割される。そして、分割された各ブ
ロック毎に撮像部Ｂで撮像された画像Ｂとの相関を取ら
れ、相関値の最も高いところが算出される。

【００７３】そして、画像Ａの分割されたブロックの座
標と画像Ｂの相関値の一番高い座標とから、画像Ａと画
像Ｂの各ブロック毎のずれ量が算出される。そして、こ
の各ブロック毎のずれ量と撮像部Ａ，Ｂとの間隔から、
撮像部から被写体ブロック部分までの距離が算出され
る。これにより各ブロック毎の撮像部からの距離が分か
り、この距離情報を基に補正回路１６により歪みが補正
される。

【００７４】上記補正回路１６では次のような処理が行
われる。即ち、まず被写体が平面であった場合には、撮
像部から被写体各ブロック部分までの距離は各ブロック
部分毎にある決まった一定値を持つ。ところが紙面が湾
曲したために、各ブロック部分までの距離が変化してし
まう。この変化した後の距離が先にパターンマッチング
により算出された距離である。よって、この算出された
距離が本来平面であるときの距離に比べて遠いか近いか
を算出し、遠い場合には、その距離に比例してそのブロ
ックを拡大し、近い場合には、縮小することで距離の遠
さによる歪みを補正する。

【００７５】こうして歪みが補正された画像は記録媒体
１９に記録される。この時、記録単位をブロックより細
かくすれぱ、ブロック化によるブロック歪みの影響を抑
えることができる。

【００７６】図１５は、本発明の第４の実施の形態の構
成を示す図である。

【００７７】同図に示すように、レンズ１１に対面する
位置には撮像素子１２が設けられており、該撮像素子１
２はビデオ処理部１３に接続されている。そして、この
ビデオ処理部１３はＡ／Ｄ変換器１４を介して距離演算
回路２２に接続されており、該距離演算回路２２は距離
補正回路２３に接続されている。さらに、距離補正回路
２３は記録媒体１９に接続されている。この他、レーザ
ー照射部２４及びコントローラ２０が設けられている。

【００７８】このような構成において、レーザ照射部２
４からは、平面あるいは紙面に対してレーザー光が照射
される。そして撮像された画像はＡ／Ｄ変換された後、
距離演算回路２２に送られて後述するような演算が行わ
れ、次に距離補正回路２３に送られて距離の補正が行わ
れる。

【００７９】以下、図１６を参照して本実施の形態によ
る距離演算、補正について詳述する。

【００８０】図１６（ａ）に示すように、光源からのレ
ーザー光を平面に対して等間隔に照射する場合におい
て、上記平面上に書籍が置かれると、書籍の紙面に対し
てレーザー光は図１６（ｂ）に示すように当たることに
なる。

【００８１】そして、図１６（ｂ）において、点１２４
ａ，１２４ｂ，１２４ｃは平面上でレーザー光が当たる
位置、点１２５ａ，１２５ｂ，１２５ｃは紙面に対して
レーザー光が当たる位置を示す。

【００８２】さらに、図１６（ｃ）は、図１６（ｂ）の
一部を拡大した様子を示す図であり、同図において、点
１２６ａ，１２６ｂ，１２６ｃは、それぞれ点１２５
ａ，１２５ｂ，１２５ｃから平面に垂線を引いた場合の
接点を示す。

【００８３】図１６（ｃ）より明らかなように、紙面を
真上から撮像したときレーザー光の当たる３点１２６
ａ，１２６ｂ，１２６ｃの間隔は容易に求められるが等
間隔にはならない。そこで、一度レーザー光を照射しな
がら書籍を撮像し、レーザー光の当たる点１２４ａと点
１２６ａとの間隔Ａを求める。そして、レーザーの位置
と平面の位置とからレーザー光が平面に当たる３点１２
５ａ,１２４ａ,１２６ａが成す角θを求める。

【００８４】ここで、点１２４ａと点１２５ａとの間隔
Ｂ、点１２５ａと点１２６ａとの間隔Ｃは下記のように
表すことができる。

【００８５】Ｂｃｏｓθ＝Ａ…（１） Ｂｓｉｎθ＝Ｃ…（２） この両式よりＢを消去すると以下のよう示される。

【００８６】Ａｔａｎθ＝Ｃ…（３） 上記式（３）において、間隔Ａ、角θの各値は先に求め
られているので、各値を代入することで点１２５ａの高
さＣを求めることができる。

【００８７】同様の計算を３点１２４ｂ，１２５ｂ，１
２６ｂについても行うことで、点１２５ｂの高さＣ'を
求めることができる。

【００８８】そして、点１２６ａと点１２６ｂとの間隔
Ｄは分かっているので、Ｃ−Ｃ’＝Ｅを用いることで、
点１２５ａと点１２５ｂとの間隔Ｆは、以下のように表
すことができる。

【００８９】Ｆ＝（Ｄ^２＋Ｅ^２）^１／２ …（４） 上記式（４）より、間隔Ｄが小さくなれぱ間隔Ｆは紙面
上の点１２５ａと点１２５ｂとの距離により近似される
ことが示され、本実施の形態では、この間隔Ｄを上記間
隔Ｆに広げることにより画像の歪みを補正する。

【００９０】尚、本実施の形態ではレーザー光を例に挙
げたが、レーザー光以外でも位置を特定できるものであ
れぱ良い事は明らかである。

【００９１】以上詳述したように、本発明の画像取り込
み装置では、例えば百科辞典などのような厚い書籍を見
開きでコピーするような場合でも、書籍の厚みのため書
籍中央のぺ一ジ綴じ部分で文字が歪んで読みにくくなっ
てしまうことを防止できる。

【００９２】さらに、文字認識を行う際に、書籍の中心
部に近い歪みの生じやすい部分では精度の高い認識を行
い、周辺の歪みの少ない部分では精度を落とした認識を
行ったり、一定方向のみの文字認識を行うことで回路規
模を縮小することもできる。

【００９３】

【発明の効果】本発明によれば、曲りなどによる歪みを
もった文字等を撮像するときに、その歪みを補正し平面
に伸ばしたような歪みのない平面画像を得ることができ
る画像取り込み装置及び画像取り込み方法を提供するこ
とができる。

【図面の簡単な説明】

【図１】本発明の第1の実施の形態に係る画像読み取り
装置の構成を示す図である。

【図２】入力画像メモリ３に記録された画像を模式的に
示す図である。

【図３】画像縮小処理部４によって縮小されて縮小画像
メモリ５に記憶された画像を模式的に示す図である。

【図４】制御点座標生成部６を構成しているニューラル
ネットワークを示す図である。

【図５】（ａ）は歪む前の原画の上に等間隔に縦横それ
ぞれ４本の平行線を仮想的に引いた様子を示す図で、
（ｂ）は（ａ）に示す画像を任意の変形により歪ませた
様子を示す図である。

【図６】縮小画像メモリ５に記憶された縮小画像におけ
る制御点の座標を示す図である。

【図７】補正画像メモリ８において設定された格子点を
示す図である。

【図８】（ａ）及び（ｂ）は画像メモリの領域を制御点
及び格子点によって３角形の小領域に分割した様子を示
す図である。

【図９】（ａ）は図８（ａ）に示す３角形を取り出した
様子を示す図で、（ｂ）は図８（ｂ）の1つの３角形を
取り出した様子を示す図である。

【図１０】歪みが補正され文字配列の整った画像を示す
図である。

【図１１】本発明の第１の実施の形態に係る画像取り込
み装置のブロック図である。

【図１２】第1の実施の形態の使用例を示す図である。

【図１３】本発明の第２の実施の形態に係る画像取り込
み装置のブロック図である。

【図１４】（ａ）及び（ｂ）は、それぞれ撮像部Ａ，Ｂ
により撮影された画像を示す図である。

【図１５】本発明の第３の実施の形態に係る画像取り込
み装置のブロック図である。

【図１６】（ａ）乃至（ｃ）は本発明の第３の実施の形
態の動作について説明するための図である。

【図１７】従来のコピー機の外観を示す図である。

【図１８】従来の電子写真機の外観を示す図である。

【符号の説明】

１ 画像読取り部 ２ Ａ／Ｄ変換部 ３ 入力画像メモリ ４ 画像縮小処理部 ５ 縮小画像メモリ ６ 制御点座標生成部 ７ 画像変換部 ８ 補正画像メモリ ９ 画像記憶部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/387 G06K 9/34

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 複数の文字列を有する画像を撮像する撮
   像手段と、予め歪みの分かっている複数の画像とそれらの歪みを反
   映した複数の制御点の座標の組みとを学習した結果に基
   づき、 上記撮像手段により撮像された画像の上記複数の
   文字列に、上記複数の文字列全体の歪みの状態に応じた
   所定の数の制御点を少なくとも上記複数の文字列の内部
   に各々生成する制御点座標生成手段と、 上記各制御点の位置にそれぞれ対応する、上記複数の文
   字列が歪む前の複数の制御点位置をそれぞれ参照し、上
   記画像の各制御点の位置を上記複数の文字列が歪む前の
   上記各制御点位置に移動させて、上記複数の文字列全体
   の歪みを補正する歪み補正手段と、を具備することを特
   徴とする画像取り込み装置。
2. 【請求項２】 撮像された上記画像を縮小する画像縮小
   処理手段を更に備え、 上記制御点座標生成手段は、上記画像縮小処理手段によ
   って縮小された上記複数の文字列に、所定の数の上記制
   御点を生成することを特徴とする請求項１に記載の画像
   取り込み装置。
3. 【請求項３】 上記複数の制御点によって複数の領域が
   形成され、 上記歪み補正手段は、上記各領域毎に上記複数の文字列
   の歪みを補正することを特徴とする請求項１に記載の画
   像取り込み装置。
4. 【請求項４】 上記画像を複数のブロックに分割する手
   段を更に具備し、 上記歪み補正手段は、上記各ブロック毎に上記複数の文
   字列の歪みを補正することを特徴とする請求項１に記載
   の画像取り込み装置。
5. 【請求項５】 上記画像取り込み装置は、複数の文字パ
   ターン候補を持つ文字認識を行う手段を更に備え、 上記文字認識を行う手段は、上記画像から認識される上
   記文字列の文字と上記各文字パターン候補を比べて、最
   大の類似度を得た上記文字パターン候補を出力し、 上記歪み補正手段は、上記画像のうち文字として認識さ
   れなかった部分に対して更に上記歪みの補正を行う、こ
   とを特徴とする請求項１に記載の画像取り込み装置。
6. 【請求項６】 複数の文字列を有する画像を撮像する撮
   像手段と、 上記撮像手段により撮像された上記画像を縮小する画像
   縮小処理手段と、 上記画像縮小処理手段により縮小された画像の上記複数
   の文字列に、上記複数の文字列全体の歪みの状態に応じ
   た所定の数の制御点を少なくとも上記複数の文字列の内
   部に各々生成する制御点座標生成手段と、 上記各制御点の位置と、予め設定した、上記複数の文字
   列が歪む前の複数の制御点位置とに基づいて、上記複数
   の文字列全体の歪みを補正する歪み補正手段と、を具備
   することを特徴とする画像取り込み装置。
7. 【請求項７】 複数の文字列を有する画像を撮像する撮
   像手段と、 上記撮像手段により撮像された画像の上記複数の文字列
   に、上記複数の文字列全体の歪みの状態に応じた所定の
   数の制御点を少なくとも上記複数の文字列の内部に各々
   生成する制御点座標生成手段と、 上記各制御点の位置と、予め設定した、上記複数の文字
   列が歪む前の複数の制御点位置とに基づいて、上記複数
   の文字列全体の歪みを補正する歪み補正手段と、を具備
   し、 上記複数の制御点によって複数の領域が形成され、 上記歪み補正手段は、上記各領域毎に上記複数の文字列
   の歪みを補正することを特徴とする画像取り込み装置。
8. 【請求項８】 複数の文字列を有する画像を撮像し、 予め歪みの分かっている複数の画像とそれらの歪みを反
   映した複数の制御点の座標の組みとを学習した結果に基
   づき、撮像された上記画像の上記複数の文字列に、上記
   複数の文字列全体の歪みの状態に応じた所定の数の制御
   点を少なくとも上記複数の文字列の内部に各々生成し、 上記各制御点の位置にそれぞれ対応する、上記複数の文
   字列が歪む前の複数の制御点位置をそれぞれ参照し、 上記画像の各制御点の位置を上記複数の文字列が歪む前
   の上記各制御点位置に移動させて、上記複数の文字列全
   体の歪みを補正する、ことを特徴とする画像取り込み方
   法。
9. 【請求項９】 複数の文字列を有する画像を撮像し、 撮像された上記画像を縮小し、 縮小された上記画像の上記複数の文字列に、上記複数文
   字列全体の歪みの状態に応じた所定の数の制御点を少な
   くとも上記複数の文字列の内部に各々生成し、 上記各制御点の位置と、予め設定した、上記複数の文字
   列が歪む前の複数の制御点位置とに基づいて、上記複数
   の文字列全体の歪みを補正する、ことを特徴とする画像
   取り込み方法。
10. 【請求項１０】 複数の文字列を有する画像を撮像し、 撮像された上記画像の上記複数の文字列に、上記複数の
    文字列全体の歪みの状態に応じた所定の数の制御点を少
    なくとも上記複数の文字列の内部に各々生成し、 上記複数の制御点によって複数の領域を形成し、 上記各制御点の位置と、予め設定した、上記複数の文字
    列が歪む前の複数の制御点位置とに基づいて、上記複数
    の文字列全体の歪みを上記各領域毎に補正する、ことを
    特徴とする画像取り込み方法。