JP2009200622A - 電子文書生成装置、電子文書生成方法、コンピュータプログラム、および記憶媒体 - Google Patents

Abstract

【課題】本発明の課題は、電子文書において検索したときに、歪みを補正しない画像上で検索結果の表示を可能とすることである。
【解決手段】上記課題を解決するために、本発明は、画像の歪みを補正することにより補正画像を得て、前記補正画像に含まれる複数の文字画像に対して文字認識処理を実行することにより、テキストデータを得る。次に、前記補正前の画像における各文字行のベースラインを求める。そして、前記補正前の画像における各文字画像について、前記ベースラインからの相対位置を求めて、前記補正前の画像上における前記テキストデータの位置を、前記ベースラインからの相対位置で記述した電子文書を生成する。
【選択図】図３

Description

本発明は歪みを持つ画像から検索可能な電子文書を生成する電子文書生成装置、電子文書生成方法、コンピュータプログラム、および記憶媒体に関する。

従来から、スキャンした画像の補正に関する各種手法が提案されている。特許文献１では、本の綴じ込み部分における湾曲歪みを補正する方法が開示されている。また、特許文献２では、撮影対象面の高さが一様でないために生じる撮影画像の歪みを、原稿の上下端、札臓器から原稿までの距離、撮像器の相対位置を用いて、画像の補正を行う方法が開示されている。

また、特許文献３では、文書画像に対して文字認識処理を行い、その文字認識結果のテキストデータと、テキストデータの文書画像上における対応位置を示す座標情報とを関連付けておく。そして、テキスト検索したとき、検索されたテキストに対応する部分を含む文書画像ページを表示することが開示されている。また、特許文献４では、文書画像に対して文字認識処理を行った結果のテキストデータと、解像度を下げた文書画像とを対応付けて登録しておき、検索可能な文書を作成することが開示されている。

特開昭６０−６５６６８号公報 特開２００２−７７５７８号公報 特開平７−９３３７４号公報 特開平８−６３５８３号公報

しかしながら、特許文献１，２による画像補正手法では、歪み補正変換の推測誤差により、補正後の画像には補正誤差による更なる歪みが生じ、更に画質劣化が発生することがある。すなわち、歪み補正処理を行った際に推測誤差等により更なる歪みが発生している可能性があるので、ユーザにとって、その歪み補正後の画像は補正前の画像よりも判読しにくくなっている可能性がありうる。

一方で、歪みを含んだままの文書画像に対して文字認識処理を行うと、文書画像からの文字の抽出精度が低下し、結果的に、文書画像全体の文字認識精度が低下してしまうという問題がある。

本発明では、ユーザにとって判読しやすい画像を表示でき、かつ文字認識精度を保った電子文書を提供することを目的とする。また、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）などのフォーマット形式で文字認識結果を埋め込んだ場合でも、テキスト検索できるようにすることを目的とする。

上記課題を解決するために、本発明に係る電子文書生成装置は、画像の歪みを補正することにより補正画像を得る補正手段と、前記補正画像に含まれる複数の文字画像に対して文字認識処理を実行することにより、テキストデータを得る文字認識手段と、前記補正前の画像における各文字行のベースラインを求める手段と、前記補正前の画像における各文字画像について、前記ベースラインからの相対位置を求める手段と、前記補正前の画像上における前記テキストデータの位置を、前記ベースラインからの相対位置で記述した電子文書を生成する生成手段と、を備えることを特徴とする。

本発明によれば、本発明に基づき生成した電子文書において検索したときに、歪みを補正しない画像上で検索結果の表示が可能になる。また、歪み補正された画像を用いて文字認識を行うので、文書画像全体の文字認識率（文字認識精度）を向上させることができる。また、表示に用いる画像は歪み補正前の画像を使用するので、ユーザに不自然さを感じさせるような、歪み補正誤差による画質劣化が起きた画像の表示を防ぐことができる。また、文字行に属する各テキストデータを、ベースラインからの相対位置を用いて記述するので、各テキストデータが属する文字行が明確になり、検索時やコピー時の精度がよくなる。

＜実施形態１＞
図１は、実施形態１に係る電子文書生成装置の概略を示すブロック図である。

ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。ＲＯＭ１０２は、ＣＰＵ１０１が実行するコンピュータプログラムや各種パラメータデータを格納する。コンピュータプログラムは、ＣＰＵ１０１で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段（各処理部）として、当該装置（コンピュータ）を機能させる。なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、コンピュータ（ＣＰＵ）を用いてソフトウェアで実現されるが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても良い。また、本発明の電子文書生成装置は、汎用パソコンを用いて実現しても良いし、電子文書生成専用装置として実現するようにしても良い。

ＲＡＭ１０３は、画像や各種情報を記憶する。また、ＲＡＭ１０３は、ＣＰＵのワークエリアやデータの一時待避領域として機能する。

外部記憶装置１０４は、辞書などの各種データを記憶する。外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等を含む。なお、本発明の装置をコンピュータに実現させるためのコンピュータプログラムは、このコンピュータ読取可能な外部記憶媒体に格納されていても良いし、ネットワークを介して供給されるようにしても良い。ディスプレイ１０５は、例えば、ＬＣＤやＣＲＴである。

入力装置１０６は、例えば、デジカメやスキャナ等の画像入力装置を接続するためのインターフェースであっても良いし、デジカメ等の画像入力装置そのものであっても良い。また、デジタルカメラやスキャナの機能の１つとして実現するために、デジタルカメラやスキャナの内部に本発明の装置を組み込んで実現しても良い。

ネットワークインターフェース（Ｉ／Ｆ）１０７は、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置、画像入力装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。尚、ネットワークは、典型的にはインターネットやＬＡＮやＷＡＮや電話回線などのいわゆる通信ネットワークであり、データの送受信が可能であれば良い。また、ディスプレイ１０５や入力装置１０６は、ネットワークインターフェース１０７を介して接続されていても良い。

このような電子文書生成装置は、例えば、図２に示すシステムにおいて実現される。図２は、実施形態１において採用可能なコンピュータシステムの例を示す図である。コンピュータ装置２０１は、スキャナ２０２で撮影した画像データを受信して、電子文書生成のための処理を実行する。なお、本発明の電子文書生成装置は、この構成に限るものではなく、スキャナを内蔵するデバイス（例えば、複合機（ＭＦＰ）など）において電子文書を生成することができるようにしても良い。また、デジタルカメラ等で撮影した画像を用いて電子文書を生成するようにしてもよい。

次に、実施形態１の電子文書生成処理を行う際の各処理部と各処理部で入出力される各データとを示すブロック図を図３に示す。

画像回転部３０１は、入力画像に含まれる文字画像がほぼ直立するように該入力画像全体を回転することによって、直立画像を得る。これは、後述する図４におけるステップＳ４０１の処理によって実行される。

画像歪み補正部３０２は、直立画像に歪み補正変換を実行することにより、歪み補正画像を得る。これは、後述する図４におけるステップＳ４０２〜ステップＳ４０４の処理によって実行される。

文字認識部３０３は、歪み補正画像に対して文字認識処理を行うことにより、文字認識結果のテキストデータと、各テキストの歪み補正画像上における座標とを得る。これは、後述する図４におけるステップＳ４０５によって実行される。

座標変換部３０４は、文字認識部３０３で得られた文字認識結果のテキストの歪み補正画像上における座標を、歪み補正を行う前の直立画像上における座標に変換する。これは、後述する図４におけるステップＳ４０６によって実行される。

電子文書生成部３０５は、画像歪み補正部３０２で得られた直立画像と文字認識部３０３で得られた文字認識結果のテキストデータとから電子文書を生成する。ここでは、直立画像内における各テキスト領域に配置されるテキストデータが決定される。これは、後述する図４におけるステップＳ４０７〜ステップＳ４０９によって実行される。

テキスト歪み再現部３０６は、電子文書生成部３０５で得られた電子文書と座標変換部３０４で得られた座標から、電子文書に重ねる透明文字のベースラインを求め、文字幅比および相対位置を調整することにより、テキストの歪みを再現する。これは、後述する図４におけるステップＳ４１０〜４１５によって実行される。

次に、実施形態１のフローチャートの例を図４に示す。

ステップＳ４０１で、ＣＰＵ１０１は、入力画像を直立させるべく回転し直立画像を得る。実施形態１が対象とする入力画像の例の一部を図５に示す。この入力画像は画像全体（全ての文字画像）が大きく傾いているので、このままの状態では文字認識処理を行えない。そこで、本の綴じ込み部分における文字列以外の文字列がほぼ直立するように入力画像全体を回転させる。図５の画像を回転変換して得た直立画像の一部を図６に示す。なお、画像の回転はほぼ誤差の発生しないビットマップ変換を用いることとする。この回転角はユーザが指定しても良いし自動で求めてもよい。自動で求める場合、例えば、図５を小区画ごとに区切り、それぞれの小区画に含まれる文字列の傾斜角を公知の技術を用いて求め、各小区画から得た傾斜角のうち最頻の角度を画像全体の傾き角度として求める。

ステップＳ４０１で得た直立画像には、本の綴じ込み部分における歪みなどは残ったままになっているので、ステップＳ４０２で、ＣＰＵ１０１は、上記の直立画像に対する歪み補正変換（補正時に用いる補正式や係数・変数など）を求める。この歪み補正変換は画像中の歪み部分を補正し正対させるものであって、この求め方は、特許文献１〜２に記載されているような方法でもよいし、あるいは他の歪み補正変換方法でもよい。但し、逆変換を求められる必要がある。

ステップＳ４０３で、ＣＰＵ１０１は、上記の歪み補正変換（歪み補正計算式など）から歪み補正逆変換（逆変換用の計算式など）を求める。

ステップＳ４０４で、ＣＰＵ１０１は、Ｓ４０１で得た直立画像（歪み補正前の画像）にＳ４０２で求めた歪み補正変換を施し、歪み補正画像（歪み補正後の画像）を得る。図６の画像に歪み補正変換を施した場合、図７のような歪み補正画像が得られたものとする。歪みの計測には計測誤差が発生する為、歪み補正画像には計測誤差に基づく歪みが発生しやすい。図８は、この補正後の歪みの例を示す。図８に示したように、計測誤差等により補正時に生じる歪みは、不自然な歪みであるので、ユーザにとっては、不自然さが顕著に感じられ、判読しにくい画像となりやすい。すなわち、ユーザにとっては、不自然な歪みが生じている図８のような歪み補正画像よりも、図６のような自然な歪み（本の綴じ込み部分など）が残っている直立画像の方が見易いことがある。一方、文字認識処理を行う際には、図６のような歪みが残っている状態の方が綴じ込み部分の文字抽出処理に失敗したりして、文書全体の文字認識精度が低下しやすい。すなわち、文字認識処理にとっては、図６のような歪みが残っている直立画像よりも、図７（図８）のような歪み補正画像の方が適していることが多い。

ステップＳ４０５で、ＣＰＵ１０１は、歪み補正画像に対して文字認識処理を実行することにより、文字認識結果のテキスト及び歪み補正画像上の座標を求める。図７に示されている歪み補正画像上のテキスト領域７０１を図９に示し、そこから得られたテキストの例を、図１０に示す。なお、文字認識処理には公知の文字認識技術が使用可能である。以降、実施形態１では歪み補正画像上の座標は、複数の文字画像で構成されるテキスト領域の位置座標と、各文字画像の位置座標とについて得るものとするが、これに限るものではない。

ステップＳ４０６で、ＣＰＵ１０１は、ステップＳ４０３で得られた歪み補正逆変換（逆変換式）と、ステップＳ４０５で得られた歪み補正画像上の座標とに基づいて、歪み補正前の直立画像上の座標を得る。例えば、図７に示されているテキスト領域７０１の各頂点座標の逆変換を行い、その逆変換後の頂点座標を囲む外接矩形を求めると、図６に示されている領域６０１が得られる。また、図９に示されている文字９０１を囲む矩形の各頂点の座標に対して逆変換を行うと、逆変換結果の頂点座標を囲む矩形は、図６に示されているように文字６０２の座標が得られる。

ステップＳ４０７で、ＣＰＵ１０１は、電子文書を生成する。なお、この電子文書は少なくとも画像オブジェクトと文字オブジェクトが同一座標上に重ねて存在でき、かつ、文字オブジェクトが検索可能かつ非表示（透明）として扱うことができるような文書である。本実施形態１ではＰＤＦ文書を生成するものとする。

ステップＳ４０８で、ＣＰＵ１０１は、電子文書に直立画像を画像オブジェクトとして配置する。例えば、図６のような直立画像が配置される。

ステップＳ４０９で、ＣＰＵ１０１は、ステップＳ４０６で得られた各テキスト領域の座標内に配置するテキストオブジェクト（文字認識結果のテキストデータ）を決定する。例えば、図６において、テキスト領域６０１に配置されるテキストオブジェクトが決定される。そして、各テキスト領域内に配置されるテキストデータは、ステップＳ４０８で配置した画像オブジェクト上に透明文字として重ねてレンダリングされるように、ＰＤＦ文書内に記述される。

ステップＳ４１０で、ＣＰＵ１０１は、ステップＳ４０９で配置決定されたテキストオブジェクトについて、各文字行のデフォルトベースライン及びデフォルト文字幅を求める。そして、このデフォルトベースラインとデフォルト文字幅の情報を、電子文書に記述する。このデフォルトベースラインは、例えば、同一行において最も多くの文字が持つベースラインと等しい。また、このデフォルト文字幅は、例えば、同一行において最も多くの文字が持つ文字幅と等しい。例えば、図６に示されている領域６０１において、図１１に示されているように、ベースラインは、ベースライン１１０１〜１１０４、デフォルト文字幅は、例えば、デフォルト文字幅１１０５となる。ステップＳ４０９で配置が決定されたテキストオブジェクトに、ベースライン１１０１〜１１０４及びデフォルト文字幅１１０５を設定した場合、テキストオブジェクトのＰＤＦ記述の一部は図１３のようになる。なお、図１３は、図示を簡単にするため、文書記述例内の一部分を抜き出して例示したものであり、また、＜．．．＞で囲まれる部分は文字コードを示している。もし、図１３のようなＰＤＦ記述をレンダリングした場合、図１４のようにレンダリングされることになる。図１４では、図１１で決定されたデフォルトベースラインとデフォルト文字幅でレンダリングされているので、各文字行は直線状に配置されることになる。

ステップＳ４１１は、テキストオブジェクト中の各文字について、ＣＰＵ１０１がステップＳ４１２〜４１５の処理を繰り返すためのループ端である。ステップＳ４１２〜４１５のループ処理が終了すると、実施形態１の電子文書が生成されることになる。

ステップＳ４１２で、ＣＰＵ１０１は、各文字画像オブジェクトの文字幅と当該テキスト領域のデフォルト文字幅との比を求める。図１１に示されている領域１１０６の拡大図を図１２に示す。ステップＳ４１２では、例えば、文字１２０１の文字幅１２０２とテキストオブジェクトのデフォルト文字幅１１０５の比が求められる。

ステップＳ４１３で、ＣＰＵ１０１は、テキストオブジェクト中の各文字に対して、ステップＳ４１２で得られた文字幅比を設定する。図１３に示されているテキストオブジェクト中の文字のそれぞれに文字幅の比を設定したテキストオブジェクトのＰＤＦ記述の一部を図１５に示す。また、図１５の例をレンダリングした場合、図１６のようになる。ＰＤＦ記述例を示す図１５において、各文字に設定された文字幅比は、記述子Ｔj に続く値である。なお、デフォルト文字幅と同じ幅の文字に対しては、文字幅比の記述が省略されている。

ステップＳ４１４で、ＣＰＵ１０１は、テキストオブジェクト中のベースラインから各文字画像の位置座標への相対位置（ズレ量）を求める。例えば、図１２に示されている文字１２０１について、ステップＳ４１０で得られたベースライン１１０２からの相対位置１２０３が求められる。

ステップＳ４１５で、ＣＰＵ１０１は、テキストオブジェクト中の文字のテキストライズとして、ステップＳ４１４で求められた相対位置を指定する。図１５のようなテキストオブジェクトのＰＤＦ記述例に対して、テキストライズを設定すると、図１７のようになる。図１７のようなテキストオブジェクト記述をレンダリングした場合、図１８のようになる。なお、ＰＤＦ記述例を示す図１７において、設定されたテキストライズは、記述子Ｔs に続く値である。

上記のようにして生成された電子文書は、図１９のような画像オブジェクト上に、図１８のようなテキストオブジェクトが透明文字として重ねて配置されるように記述されたＰＤＦ文書となる。この生成された文書では、テキストオブジェクトの各文字の描画位置は、テキストライズの記述を用いて、ベースラインに対する相対位置として記述されている。

また、このようにして生成された電子文書を表示するソフトウェア（例えば、Ａｄｏｂｅ社のＡｃｒｏｂａｔ Ｒｅａｄｅｒなど）において、単語“センサ”を検索した場合の出力を、図２０に示す。以上により、実施形態１では、電子文書を検索した場合に、直立画像上に重ねられた透明文字の文字コードが検索されるので、あたかも直立画像の該当箇所２００１が検索されたかのように表示される。

上述したように、本実施形態では、歪み補正された画像を用いて文字認識を行うので、文書画像全体の文字認識率（文字認識精度）を向上させることができる。その一方、表示に用いる画像は歪み補正前の画像（画質劣化のほぼ発生しない回転のみを施した画像）を使用するので、ユーザに不自然さを感じさせるような画質劣化が起きている画像の表示を防ぐことができる。また、テキスト検索時には、歪み補正前の画像上の対応する位置が反転表示されるので、あたかも画像をテキスト検索したかのように扱える。

また、図１２の文字１２０１の位置をそのまま絶対座標で記述してしまうと、当該文字１２０１はベースライン１１０２と１１０３の間にあるので、どちらの文字行に属するのか明確でない。一方、本実施形態では、テキストライズの記述を利用して、文字１２０１の文字はベースラインからの相対位置で記述しているので、文字１２０１はベースライン１１０２の文字行に属する文字であることが明確になっている。すなわち、画像上で同一行に所属する文字列を、電子文書記述上でも一行に所属させるように構成している。よって、別の文字行と判断されて、検索時にヒットしなくなるのを防ぐことができ、また、電子文書内のテキストのコピーと貼り付けのときに正確な改行情報を保持する事ができる。

また、実施形態１ではＰＤＦ文書生成の例を示したが、本発明は、ＰＤＦ以外のフォーマットの電子文書（例えば、ＸＰＳ（ＸＭＬ Ｐａｐｅｒ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）文書）の生成にも適用できる。

また、実施形態１において、文字間隔（水平方向の文字スペーシング量）を、ステップＳ４１０で各文字の水平方向の位置座標から求め、電子文書に記述するようにしてもよい。また、この文字間隔は、文字間ごとに求めて記述しても良いし、その平均をデフォルト文字間隔として求めてデフォルト文字間隔を用いて記述するようにしてもよい。

実施形態１に係る電子文書生成装置の概略を示すブロック図である。 実施形態１に係る電子文書生成装置の概略を示すシステム図である。 電子文書生成処理を示すブロック図である。 電子文書生成処理を示すフローチャートの例を示す図である。 入力画像の例の一部を示す図である。 入力画像を回転して得た直立画像の一部を示す図である。 直立画像に歪み補正変換を施して得た歪み補正画像の例の一部を示す図である。 歪み補正画像における計測誤差に基づく歪みの例を示す図である。 歪み補正画像上のテキスト領域の例を示す図である。 図９に示されているテキスト領域から得られたテキストの例を示す図である。 図６の領域６０１の拡大したものを示す図である。 図１１の領域１１０６の拡大したものを示す図である。 ベースライン及びデフォルト文字幅を設定したテキストオブジェクトのＰＤＦ記述例を示す図である。 図１３のレンダリング例を示す図である。 図１３中の文字のそれぞれに文字幅の比を設定したテキストオブジェクトのＰＤＦ記述例を示す図である。 図１５のレンダリング例を示す図である。 図１５中の文字のそれぞれにテキストライズを設定したテキストオブジェクトのＰＤＦ記述例を示す図である。 図１７のレンダリング例を示す図である。 生成された電子文書の画像オブジェクトの一部を示す図である。 電子文書を表示するソフトウェアで単語“センサ”を検索した場合の出力を示す図である。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ 入力装置
１０７ ネットワークインターフェース（Ｉ／Ｆ）

Claims (10)

1. 画像の歪みを補正することにより補正画像を得る補正手段と、
   前記補正画像に含まれる複数の文字画像に対して文字認識処理を実行することにより、テキストデータを得る文字認識手段と、
   補正前の画像における各文字行のベースラインを求める手段と、
   前記補正前の画像における各文字画像について、前記ベースラインからの相対位置を求める手段と、
   前記補正前の画像上における前記テキストデータの位置を、前記ベースラインからの相対位置で記述した電子文書を生成する生成手段と、
   を備えることを特徴とする電子文書生成装置。
2. 更に、入力画像を回転させることにより、直立画像を得る回転手段を備え、
   前記補正前の画像は、前記回転手段で得た直立画像であることを特徴とする請求項１に記載の電子文書生成装置。
3. 前記生成手段は、前記ベースラインからの相対位置で記述されたテキストデータを、前記補正前の画像の上に透明文字として重ねて配置するように記述した電子文書を生成することを特徴とする請求項１または２に記載の電子文書生成装置。
4. 前記生成手段は、テキストライズの記述を用いて前記ベースラインからの相対位置を記述したテキストデータを含む電子文書を生成することを特徴とする請求項１乃至３のいずれかに記載の電子文書生成装置。
5. 前記補正画像に含まれる各文字画像の位置座標を歪み補正逆変換することにより、前記補正前の画像における各文字画像の位置座標を求める逆変換手段を、更に備え、
   前記逆変換手段で求めた前記補正前の画像における各文字画像の位置座標に基づいて、前記ベースラインからの相対位置を求めることを特徴とする請求項１乃至４のいずれかに記載の電子文書生成装置。
6. 前記文字画像のデフォルト文字幅を求める手段と、
   前記補正前の画像における各文字画像の文字幅と前記デフォルト文字幅との比を求める手段と、を更に備え、
   前記生成手段は、前記補正前の画像上におけるテキストデータの位置を、前記ベースラインからの相対位置で記述し、更に、前記デフォルト文字幅との比を用いて文字幅を記述したテキストデータを含む電子文書を生成することを特徴とする請求項１乃至５のいずれかに記載の電子文書生成装置。
7. 前記生成手段で生成される電子文書は、ＰＤＦ文書であることを特徴とする請求項１乃至６のいずれかに記載の電子文書生成装置。
8. 補正手段が、画像の歪みを補正することにより補正画像を得る補正ステップと、
   文字認識手段が、前記補正画像に含まれる複数の文字画像に対して文字認識処理を実行することにより、テキストデータを得る文字認識ステップと、
   生成手段が、補正前の画像における各文字行のベースラインを求め、
   前記補正前の画像における各文字画像について、前記ベースラインからの相対位置を求め、
   前記補正前の画像上における前記テキストデータの位置を、前記ベースラインからの相対位置で記述した電子文書を生成する生成ステップと、
   を備えることを特徴とする電子文書生成方法。
9. コンピュータを、請求項１乃至７のいずれかに記載されている各手段として機能させるためのコンピュータプログラム。
10. コンピュータを、請求項１乃至７のいずれかに記載されている各手段として機能させるためのコンピュータプログラムを格納したコンピュータ読取可能な記憶媒体。

Images