JP2010009509A - 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体 - Google Patents

Abstract

【課題】文字コードデータとベクトル描画データの両方を一覧し、再編集可能な状態で提供する。
【解決手段】画像から、文字領域をベクトル化した情報と文字認識した情報をそれぞれの格納先に保存した電子データを生成する。このように生成した電子データは、表示・編集プログラムにおいては、入力された画像から生成されたデータとして、文字コードデータとベクトルデータの両方が提示されているため、ユーザはどちらのデータも直ちに利用することができる。
【選択図】図２

Description

本発明は、文書画像に対して画像処理を実施する画像処理装置に関する。

近年、インターネットに代表されるようなネットワークの広がりにより、文書が電子的に配布される機会も増えているが、電子文書が紙に印刷された状態で配布されることも多い。そこで、紙文書のみが手元に存在する場合でも、その内容を紙から再利用可能な電子データとして得られるようにするための技術が考えられている。

たとえば、端末から、紙文書をスキャンして得た文書画像をサーバに送信し、サーバ上でこれを文字認識し、再利用可能なフォーマットに変換して端末に戻す技術がある（特許文献１参照）。

また、文書画像を種類に対応した領域に分けて、個別に出力できるようにする技術もある（特許文献１参照）。

特開平１１−１６７５３２号公報 特開平０９−０９１４５０号公報 特許第３０２６５９２号公報 特開２００５−３４６１３７号公報 特開２００７−２７２６０１号公報

ユーザが再利用したいデータの形式は場合によって異なるが、それぞれがユーザにとって抽出しやすい形態とされることが望まれる。また、文字認識技術にも限界があり、ある程度の誤判定もでてくる。再利用するコンテンツの認識精度が低ければ、逆にユーザにとっては使いにくいデータになる。特許文献１では再利用できるデータ形式は文字情報のみであり、認識精度を加味せずに変換している。しかし、紙文書においては、文書中のコンテンツそのもののほかに、紙面上のレイアウトや位置関係が重要な意味を持つことが多い。

また、特許文献２では、文書を分割しそれぞれを出力しているため、コンテンツ同志の関係が欠落してしまう。

また、画像内に含まれている文字画像について、ユーザが、ベクトルデータとして再利用したり、文字認識結果の文字コードとして再利用したりするのが、容易に行えるようにしたいという課題もある。

前記課題を解決するために、本発明の画像処理装置は、画像を解析し文字領域を抽出する解析手段と、前記解析手段で得られた文字領域について文字認識を行い、認識結果の文字コードデータを得る文字認識手段と、前記解析手段で得られた文字領域についてベクトル化を行い、ベクトル描画データを得るベクトル化手段と、前記文字認識手段で得られた文字コードデータと前記ベクトル化手段で得られたベクトル描画データとについて、電子ドキュメント内の格納先を決定する決定手段と、前記文字コードデータおよび前記ベクトル描画データを前記決定手段で決定された格納先に格納した電子ドキュメントを生成する電子ドキュメント生成手段とを備えることを特徴とする。

文字領域の認識結果である文字コードデータと、ベクトル描画データの両方が提供されるので、ユーザが所望するデータを容易に利用できるようになる。また、再編集可能な状態での認識結果の提供が可能となる。更に、各ベクトル描画データが、入力画像と同じレイアウトで配置されるので、ユーザにとって、各文字領域のベクトル描画データ間の位置関係がわかり易く表示されることになり、閲覧や編集を行いやすくなる。

＜実施形態１＞
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

［システム構成］
はじめに、本発明の第１の実施形態である画像処理装置を含むシステムの全体構成について、図１を用いて説明する。

図１は、本実施形態１におけるシステム構成の一例を示す図である。

同図において、１００は、画像処理装置であり、以下の構成からなる。１０１は、文書を読み取って画像データに変換するスキャナである。１０２は、スキャナ１０１から得られる画像データに、後述の画像処理を施すための電子ドキュメント生成プログラムやその他のプログラムを実行するＣＰＵである。１０３は、ＣＰＵ１０２がこれらのプログラムを実行する際のワークメモリやデータの一時保存などに利用されるメモリであり、１０４はこれらのプログラムやデータを格納するハードディスクである。また、１０５は、外部装置とデータの入出力を行うためのネットワークＩ／Ｆである。なお、画像処理装置１００は、スキャナ部１０１に加えて、ファックスやコピーやプリンタなどの機能を備える複合機であってもよい。

パーソナルコンピュータ（ＰＣ）１２０は、画像処理装置１００とＬＡＮ１１０などのネットワークで接続され、画像処理装置１００から送信されるデータを受信する。ＰＣ１２０では、受信した電子ドキュメントを画面に表示し編集することが可能な表示・編集プログラム１２１を実行したり、またその電子ドキュメントの一部を別の再利用プログラム１２２によって利用することが可能である。

［画像処理装置１００の概要］
続いて、本実施形態１における画像処理装置１００の概要を、図２を用いて説明する。

図２は、本実施形態１における画像処理装置１００の電子ドキュメント生成に係る構成と入出力されるデータを説明する図である。

図２に示す各処理は、ＣＰＵ１０２が電子ドキュメント生成プログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。

同図において、２００はスキャナ１０１から入力された入力画像である。なお、本実施形態において入力画像はスキャナから入力された画像としたが、これに限るものではなく、例えば、ファックスなどを介して受信した画像を入力画像として入力するようにしてもよい。

２１０は、この入力画像から電子ドキュメントを生成するための電子ドキュメント生成部（電子ドキュメント生成プログラム）である。

２２０は、電子ドキュメント生成部２１０により生成された電子ドキュメントである。

なお、ブロック２１１〜２１５は、電子ドキュメント生成部２１０で実行される各処理を模式的に示したものであり、以下のものから構成される。

２１１は、入力された文書画像を解析し文字領域を抽出する解析部である。

２１２は、解析部２１１によって抽出された文字領域について文字認識を行い、認識された文字を文字コードデータに変換する文字認識部である。

２１３は、解析部２１１によって抽出された文字領域について、それに含まれる各文字の輪郭情報を抽出し、抽出した輪郭情報をベクトル描画データに変換するベクトル化部である。

２１４は、文字認識部２１２が出力する文字コードデータと、ベクトル化部２１３が出力するベクトル描画データのそれぞれが格納される、２２０の電子ドキュメント内の格納先を決定する格納先決定部である。

２１５は、格納先決定部２１４で決定した格納先に応じて、文字コードデータとベクトル描画データとを電子ドキュメント２２０のフォーマットへ変換し、電子ドキュメント２２０を生成するフォーマット変換部である。

電子ドキュメント生成部２１０によって生成された電子ドキュメント２２０は、以下の２２１〜２２４の各データによって構成され、ＰＣ１２０が備える表示・編集プログラム１２１によって表示・編集が可能である。

２２１は、表示・編集プログラム１２１においてレイアウト編集用に用いられるデータであり、ベクトル化部２１３で生成されたベクトル描画データ２２３が格納される。また、２２２は表示・編集プログラム１２１においてテキスト編集用に用いられるデータであり、文字認識部２１２による認識結果の文字コードデータ２２４が格納される。

［電子ドキュメント生成部による処理例］
以下では、入力画像２００として図３の入力画像３００を電子ドキュメント生成部２１０が処理する場合を説明する。

解析部２１１で公知の画像解析処理を用いて入力画像２００中の文字領域を抽出する。具体的には、画像の中から各文字を構成する画素の集合を抽出し、さらにそれらのうち文字の大きさを有する画素集合で、かつ、ほぼ同じ大きさの画素集合が少なくとも縦または横に並んでいる領域を文字領域として抽出する。文字を構成する画素の集合を抽出する手法としては、文字を構成する画素の集合として、入力多値画像から近似色画素塊を抽出する手法や、多値画像を二値化して得た黒画素塊に基づいて抽出する手法がある。あるいは多値画像から微分エッジ情報などを生成してエッジ内の画素として抽出する手法などもあるが、そのいずれを用いてもよい。

図３に示す３００の例では、点線で囲まれる領域３０１と３０２がそれぞれ文字領域として抽出されたものとする。文字認識部２１２では公知の文字認識技術を用いて各文字領域内の文字認識を行い、文字コードデータを生成する。

ここで文字認識処理の一例について簡単に説明する。なお、ここで説明するのはあくまで一例であって別の手法を用いてもよい。

文字認識処理ではまず文字領域の縦書き横書きすなわち行方向を判断する。これは画像を二値化し、縦と横の射影をとって、この射影の分散の低いほうを行方向と判定する方法があり、これを用いることができる。

次に画像を個々の文字画像へと分割する。これは二値画像の行方向への射影を用いて切断すべき行間を決定して行画像に分割し、さらに行画像を行と垂直方向への射影を用いて切断すべき文字間を決定して文字画像へと分割すればよい。

そしてそれら文字画像ひとつひとつに対して所定の特徴量を取り、あらかじめ全字種分の特徴量を保存した辞書から一番類似するものを探し、辞書が示す対応する文字コードを各文字の認識結果とする。

図３の例では、文字領域３０１の認識結果として“テストテストテスト”に対応する文字コードデータと、文字領域３０２の認識結果として“これはテストです。本発明の為のみに使用されるものです。”に対応する文字コードデータが生成されるものとする。

ベクトル化部２１３では公知のベクトル化技術を用いて各文字領域の画像データから文字のベクトル描画データを生成する。ベクトル化技術の例としては、特許文献３や特許文献４に開示された方法がある。

たとえば特許文献３では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態をもとに、画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術を開示している。また、特許文献４では、アウトラインベクトルを、直線や、２次や３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データを生成する技術を開示している。

２１４の格納先決定部は、例えば図４に示すような、データに対し格納先を定める決定規則に基づいて、文字コードデータ、およびベクトル描画データの格納先を決定する。すなわち文字コードデータは電子ドキュメント２２０における２２４のテキスト編集用データとして、ベクトル描画データは電子ドキュメント２２０における２２１のレイアウト編集用データとしてそれぞれ格納先が決定される。

フォーマット変換部２１５では、文字コードデータおよびベクトル描画データを、格納先決定部２１４で決定された格納先に従ったフォーマットに変換して電子ドキュメント２２０を生成する。

[電子ドキュメントの具体例]
ここで、本実施形態１における電子ドキュメントの具体例を、図５を用いて説明する。

図５の電子ドキュメント５００は、本実施形態の説明のために、ＸＭＬフォーマットに従って作られた電子ドキュメント２２０の具体例である。

同図の５０１は、電子ドキュメントのレイアウト編集用データを格納する部分で要素名＜Ｌａｙｏｕｔ＞と＜／Ｌａｙｏｕｔ＞で挟まれた箇所に該当する。５０１には、ベクトル描画データ５０３が格納されている。なお、ベクトル描画データの各オブジェクト（各文字）は、入力画像と同じレイアウトで描画されるように位置情報も指定されているものとする。

一方、５０２は、テキスト編集用データを格納する部分で、要素名＜Ｔｅｘｔ＞と＜／Ｔｅｘｔ＞で挟まれた箇所に該当する。５０２には文字コードデータ５０４が格納されている。

なお、要素名およびデータ構造は表示・編集プログラム１２１の仕様に準じている。表示・編集プログラム１２１の種類によって図５に示したもの以外の要素名やデータ構造で出力されることもありうる。

なお、表示・編集プログラム１２１がマイクロソフト社のパワーポイント（商標）である場合、ベクトル描画データ５０３はスライド領域（スライドペイン）に表示されるようにし、文字認識結果は、ノート領域（ノートペイン）に表示されるようにする。この場合、電子ドキュメント５００のフォーマットは「ｐｐｔｘ」であるとする。

［表示・編集プログラムによる表示例］
次に、図３の画像３００から生成された電子ドキュメント２２０の例である図５の電子ドキュメント５００を、図１のパーソナルコンピュータ１２０で実行される表示・編集プログラム１２１で処理する際の表示例を、図６を用いて説明する。

図６は表示・編集プログラム１２１に電子ドキュメント５００を入力した場合の表示例である。

６０１は表示・編集プログラム１２１による表示ウィンドウの全体を示すものであり、その中にレイアウト編集ウィンドウ６０２、テキスト編集ウィンドウ６０３、要約情報表示ウィンドウ６０４をそれぞれ含む。表示・編集プログラム１２１がパワーポイントの場合、レイアウト編集ウィンドウ６０２はスライドペイン、テキスト編集ウィンドウ６０３はノートペイン、要約情報表示ウィンドウ６０４はアウトラインペインである。

レイアウト編集ウィンドウ６０２には、電子ドキュメント２２０中のレイアウト編集用データ２２１の内容に従った表示がなされる。本実施形態で例示する図５の電子ドキュメント５００に対しては、ベクトル描画データ５０３によって図３の３０１および３０２と外観が一致する画像情報が描画されている。

このレイアウト編集ウィンドウ６０２内で、ユーザはベクトル描画データによって描画されたオブジェクトの拡大縮小、色情報の変更などといった編集作業が可能である。また編集後の電子ドキュメントを保存したり、６０２に表示されたとおりの外観で紙面を印刷することも可能である。

テキスト編集ウィンドウ６０３には、電子ドキュメント２２０中のテキスト編集用データの内容がテキストデータとして表示される。本実施形態で例示する図５の電子ドキュメント５００に対しては、文字コードデータ５０４の内容である文字列、すなわち図３の３０１の文字認識結果である文字列“テストテストテスト”、および３０２の文字認識結果である文字列“これはテストです。本発明の為のみに使用されるものです”が連続して表示されている。

ユーザはこの６０３の内容を６０２に表示されているドキュメント外観の註釈・備考のような補助的な情報を格納するために用いることができ、さらに同ウィンドウの内容をテキストデータとして編集することが可能である。

要約情報ウィンドウ６０４は、電子ドキュメント２２０中のレイアウト編集用データ２２１の内容のうち、要約情報として使用されるデータの文字情報が表示される。ただし本実施形態で例示する図５の電子ドキュメント５００には要約情報に使用されるデータが存在しないので、図６のように空の内容が表示されている。

以上説明したように、本実施形態の画像処理装置は、画像から、文字領域をベクトル化した情報と文字認識した情報とを、それぞれの格納先に保存した電子データを生成する。このように生成した電子データは、表示・編集プログラム１２１の表示画面において、入力された画像から生成されたデータとして文字コードデータとベクトル描画データの両方が提示されているため、ユーザはどちらのデータも直ちに利用することができる。すなわち本実施形態では、文字領域の認識結果である文字コードデータとベクトル描画データの両方を一覧し、再編集可能な状態での提供が可能である。更に、各ベクトル描画データが、入力画像と同じレイアウトで配置されるので、ユーザにとって、各文字領域のベクトル描画データ間の位置関係がわかり易く表示されることになり、閲覧や編集を行いやすくなる。

＜実施形態２＞
次に、本発明の第２の実施形態における画像処理装置について、図７を用いて説明する。

図７は、図１と同様のシステム構成で実施される、本発明の第２の実施形態における画像処理装置の電子ドキュメント生成に係る構成と入出力されるデータを説明する図である。

図２と同様に、各処理はＣＰＵ１０２が電子ドキュメント生成プログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。

同図に示す７００は、スキャナ１０１などから入力された入力画像である。

７１０は、この入力画像７００から電子ドキュメントを生成するための電子ドキュメント生成部である。

７２０は、電子ドキュメント生成部７１０により生成された電子ドキュメントである。同図に示すブロック７１１〜７１７は、電子ドキュメント生成部７１０で実行される各処理を模式的に示したものである。

７１１は、入力された文書画像を解析し文字領域を抽出する解析部である。

７１２は、解析部７１１から抽出された文字領域について文字認識を行い、文字コードデータに変換する文字認識部である。

７１３は、解析部７１１から抽出された文字領域について、文字レイアウトの情報を抽出する文字レイアウト抽出部である。文字レイアウト情報にはたとえば、文字領域の座標、文字のフォント、大きさ、色などがあるが、ここでは少なくとも文字領域の座標と文字の大きさが抽出されるものとする。

７１４は、解析部７１１から抽出された文字領域について各文字の輪郭情報を抽出し、ベクトル描画データに変換するベクトル化部である。

７１５は、入力画像中の文字領域以外の部分、すなわち背景部分を描画するためのデータを作成する背景作成部である。

７１６は、電子ドキュメント７２０内におけるデータの格納先を決定する格納先決定部である。ここで対象となるデータは、文字認識部７１２が出力する文字コードデータと、同文字コードデータと文字レイアウト情報とを組みあわせたレイアウト付き文字描画データと、ベクトル化部７１４が出力するベクトル描画データである。

７１７は、文字コードデータ、レイアウト付き文字描画データ、ベクトル描画データ、背景描画データをそれぞれ電子ドキュメント７２０のフォーマットへ変換するフォーマット変換部である。

以上の電子ドキュメント生成部７１０によって生成された電子ドキュメント７２０は、以下の７２１〜７２７の各データによって構成され、ＰＣ１２０にある表示・編集プログラム１２１によって表示・編集が可能である。

７２１は表示・編集プログラム１２１おいてレイアウト編集用に用いられるデータであり、７２３と７２４の２種類のレイアウト付き文字描画データ、７２５の背景描画データ、および７２６のベクトル描画データによって構成される。

一方、７２２は、表示・編集プログラム１２１おいてテキスト編集用に用いられるデータであり、７２７の文字コードデータによって構成される。

［電子ドキュメント生成部による処理例］
以下、入力画像７００として、図８の入力画像８０１を電子ドキュメント生成部７１０が処理する場合をさらに説明する。

まず解析部７１１が入力画像７００中の文字領域を抽出する。本処理は図２中の２１１の説明と同じであるため説明は省略する。

８００の入力画像に対しては、点線で囲まれる領域８０１、８０２および８０３がそれぞれ文字領域として抽出されたものとする。

認識部７１２は各文字領域内の文字認識を行い、文字コードデータを生成する。本処理は図２中の２１２の処理と同じであるため説明は省略する。

図８の入力例からは文字領域８０１、８０２、８０３の認識結果としてそれぞれ“ドキュメント”、“これはサンブル電子ド＋ユメント”、“写真写真”という文字コードデータが得られたものとする。なお、この例では、文字領域８０２の認識結果には、誤認識した文字認識結果が含まれている。

次いで、文字レイアウト抽出部７１３が各文字領域の文字レイアウト情報を取得する。ここで抽出されるのは文字領域の座標情報と、文字の大きさの情報であるとする。ここでの文字レイアウト情報抽出は公知の抽出処理を用いるものとする。たとえば文字領域の座標情報は解析部７１１で当該文字領域を抽出する際に得られ、文字の大きさは文字認識部７１２で各文字を認識する際に得られる文字の大きさを平均した値として得ることができるが、他の方法を用いてもよい。

次に、ベクトル化部７１４が各文字領域の画像データから文字のベクトル描画データを生成する。本処理は図２中の２１３の処理と同じであるため説明は省略する。

次いで、背景作成部７１５が入力画像から文字領域内の文字部にあたる画素を周囲の背景と同様の色に変更させることにより、背景描画データを作成する。すなわち、入力画像の文字の画素を周囲の色で埋める処理を行うことにより、入力画像から文字部分を消した背景画像を作成する。背景作成部７１５の処理は公知の処理を用いればよい。たとえば特許文献５には入力画像中の文字をベクトル化し、その部分の画素を背景色で補完する処理が記載されている。

次いで、格納先決定部７１６が、例えば図９に示すような、データとその格納先を定める決定規則に基づいて、文字コードデータ、レイアウト付き文字描画データ、背景描画データおよびベクトル描画データの格納先を決定する。

図９の決定規則に従えば、レイアウト付き文字描画データのうち、文字コードの文字認識率が高いものは７２３のレイアウト付き文字描画データ１（要約表示用）として、電子ドキュメント７２０におけるレイアウト編集用データ７２１内へと格納先が決定される。一方、文字認識率の低いものは７２４レイアウト付き文字描画データ２（非要約表示用）として、電子ドキュメント７２０におけるレイアウト編集用データ７２１内へと、文字認識率の高いものの格納先とは別個の格納先が決定される。背景描画データは７２５の背景描画データとして、またベクトル描画データは７２６のベクトル描画データとして、７２１のレイアウト編集用データ内へと格納先が決定される。一方、文字コードデータは７２７の文字コードデータとして、７２２のテキスト編集用データ内へと格納先が決定される。

図９の決定規則に従う決定においては、文字認識部７１２が各文字の認識処理の際に辞書との比較に用いた特徴量間の距離を、領域内の全文字について平均化した値が予め定めた閾値より小さいものを文字認識率の高いデータとする。すなわち、文字領域内に含まれる各文字の類似度が高ければ、文字認識率（認識信頼度）の高いデータとする。一方、認識結果の距離を平均化した値があらかじめ定めた閾値より大きいものは文字認識率の低いデータとする。すなわち、文字領域内に含まれる文字の類似度が低ければ、文字認識率（認識信頼度）の低いデータとする。これはあくまで一例であって、別の方法で各文字の認識信頼度を定めて閾値と比較してもよい。あるいは、認識後の文字列を単語辞書と照合して合致する単語が含まれるものを文字認識率の高いデータとし、含まれないものを文字認識率の低いデータとしてもよい。

７１７では、各データを、７１６で決定された格納先に従ったフォーマットに変換して、電子ドキュメント７２０を構成する。

［電子ドキュメントの具体例］
ここで、本実施形態２における電子ドキュメントの具体例を、図１０を用いて説明する。

図１０に示す電子ドキュメント１０００は、本実施形態の説明のために作られた仮想的なＸＭＬフォーマットに従って作られた電子ドキュメント７２０の具体例である。

１００１は電子ドキュメントのレイアウト編集用データを格納する部分で要素名＜Ｌａｙｏｕｔ＞と＜／Ｌａｙｏｕｔ＞で挟まれた箇所に該当する。１００１には、１００３のレイアウト付き文字描画データ１、１００４のレイアウト付き文字描画データ２、１００５の背景描画データ、１００６のベクトル描画データが格納されている。

１００２は、テキスト編集用データを格納する部分で要素名＜ｔｅｘｔ＞と＜／ｔｅｘｔ＞で挟まれた箇所に該当する。１００２には１００７の文字コードデータが格納されている。

なお、実施形態１と同じく図１０の要素名およびデータ構造は、表示・編集プログラム１２１の仕様に準じている。したがって、表示・編集プログラム１２１の種類によっては、電子ドキュメント１０００は、図１０に示したもの以外の要素名やデータ構造で出力されることもありうる。

［表示・編集プログラムによる表示例］
次に、図８の画像８００から生成された電子ドキュメント７２０の具体例である図１０の電子ドキュメント１０００を、図１のパーソナルコンピュータ１２０で実行される表示・編集プログラム１２１で処理する際の表示例を、図１１を用いて説明する。

図１１は表示・編集プログラム１２１に電子ドキュメント１０００を入力した場合の表示例である。

１１０１は表示・編集プログラム１２１の表示ウィンドウの全体であり、その中に１１０２のレイアウト編集ウィンドウと、１１０３のテキスト編集ウィンドウと、１１０４の要約情報表示ウィンドウをそれぞれ含む。

レイアウト編集ウィンドウ１１０２には、電子ドキュメント７２０中のレイアウト編集用データ７２１の内容に従った表示がなされる。

図１０の電子ドキュメント１０００に対しては、１００３のレイアウト付き文字描画データおよび１００４のレイアウト付き文字描画データ、１００５の背景描画データ、１００６のベクトル描画データがこの順番で下から順に描画された結果が表示されている。

ただし１００３および１００４のレイアウト付き文字描画データの上に１００５の背景描画データが描画される。つまりレイアウト付き文字描画データ１００３とレイアウト付き文字描画データ１００４は、背景描画データ１００５に上書きされた状態で表示される。このため、実際にユーザが見えるのは背景描画データ１００５に基づく背景の上に、１００６のベクトル描画データが描画された状態となる。その結果、各文字から抽出された輪郭情報から生成されたベクトル描画データによって、図８の８００と外観が一致する画像情報が描画されている。

前述の実施形態１と同様に、このレイアウト編集ウィンドウ１１０２内で、ユーザはベクトル描画データによって描画されたオブジェクトの拡大縮小、色情報の変更などといった編集作業が可能である。また編集後の電子ドキュメントを保存したり、レイアウト編集ウィンドウ１１０２に表示されたとおりの電子ドキュメントの外観で紙面を印刷することも可能である。

テキスト編集ウィンドウ１１０３には、電子ドキュメント７２０中のテキスト編集用データの内容がテキストデータとして表示される。

本実施形態２で例示する図１０の電子ドキュメント１０００に対して、図１１のテキスト編集ウィンドウ１１０３には、“ドキュメントこれはサンブル電子ド＋ユメント写真写真”が表示されている。このテキスト編集ウィンドウ１１０３は、レイアウト編集ウィンドウ１１０２に表示されているドキュメント外観のノート（註釈・備考）のような補助的な情報として用いられる。さらに同ウィンドウの内容をテキストデータとして編集することも可能である。

１１０４の要約情報ウィンドウは、電子ドキュメント７２０中のレイアウト編集用データ７２１の内容のうち、７２３のレイアウト付き文字描画データ１に含まれる文字コード情報が表示されるようになっている。
なお本実施形態の表示編集プログラムでは、レイアウト編集用データのうち＜ＨｉｇｈＲｅｃｏｇｎｉｔｉｏｎＴｅｘｔ＞＜／ＨｉｇｈＲｅｃｏｇｎｉｔｉｏｎＴｅｘｔ＞で挟まれた文字列を、要約情報ウィンドウに表示するレイアウト付き文字描画データ１とする。また、レイアウト編集用データのうち＜ＬｏｗＲｅｃｏｇｎｉｔｉｏｎＴｅｘｔ＞＜／ＬｏｗＲｅｃｏｇｎｉｔｉｏｎＴｅｘｔ＞で挟まれた文字列を、要約情報ウィンドウに表示しないレイアウト付き文字描画データ２とする。したがって、本実施形態２で例示する図１０の電子ドキュメント１０００に対しては、図１０の１００３部分に含まれる文字列「ドキュメント」と「写真写真」が、要約情報に使用されるデータとして図１１の１１０４のように表示されている。

以上説明したように、本実施形態の画像処理装置は、レイアウト付き文字描画データを文字認識率によって決定された格納先に保存した電子データを生成する。このように生成された電子データに対して、表示・編集プログラム１２１は、文字認識率の高いデータを要約情報としても提示するのでユーザは信頼性の高い情報をさらに有効に再利用できる。すなわち本実施形態では、文字認識率の高いデータを積極的に再利用できるとともに、閲覧しやすい状態での提供が可能となる。また、レイアウト編集ウィンドウ上にレイアウト付き文字描画データ（すなわち文字認識結果の文字コード）が描画されているので、テキスト検索を行うと、その文字の個所がハイライト表示される。したがって、ユーザ所望のテキストの表示位置を検索しやすくなる。

なお、表示・編集プログラム１２１がパワーポイントの場合、レイアウト編集ウィンドウ６０２はスライドペイン、テキスト編集ウィンドウ６０３はノートペイン、要約情報表示ウィンドウ６０４はアウトラインペインである。この場合、文字認識結果の類似度が高い文字列だけがアウトラインペインに表示されるように、類似度が高い文字認識結果をレイアウト編集用データ部分に記述した電子ドキュメントを生成する。

＜実施形態３＞
次に、本発明の第３の実施形態について説明する。

上述の実施形態２では、格納先決定部７１６は、図９の決定規則に従って格納先を決定した。この実施形態２と同様の構成による本実施形態３においては、図１２に示す決定規則に基づいて格納先を決定するものとする。

本実施形態３では、レイアウト付き文字描画データは、文字コードの文字認識率が高いものは７２３のレイアウト付き文字描画データ１として、電子ドキュメント７２０における７２１のレイアウト編集用データ内へと格納先が決定される。一方、文字コードの文字認識率の低いものは、文字コードの情報を削除したうえで同じく７２３のレイアウト付き文字描画データ１として、電子ドキュメント７２０における７２１のレイアウト編集用データ内へと格納先が決定される。

［電子ドキュメントの具体例］
ここで、本実施形態３における電子ドキュメントの具体例を、図１３を用いて説明する。

図１３の電子ドキュメント１３００は、図８の入力画像８００に対し、本実施形態３において生成された電子ドキュメント７２０の具体例である。

電子ドキュメント１３００のレイアウト編集用データを格納する部分である１３０１には、文字認識率の高い文字領域８０１および８０３のデータとして図１３に示す１３０３と１３０５が、７２３のレイアウト付き文字描画データ１として格納されている。また、文字認識率の低い文字領域８０２のデータとして図１３に示す１３０４が、文字コードデータが削除された状態で、レイアウト付き文字描画データ１として格納されている。

［表示・編集プログラムによる表示例］
次に、図８の画像８００から生成された電子ドキュメントの具体例である図１３の電子ドキュメント１３００を、図１のパーソナルコンピュータ１２０で実行される表示・編集プログラム１２１で処理する際の表示例を、図１４を用いて説明する。

図１４は表示・編集プログラム１２１に上記電子ドキュメント１３００を入力した場合の表示例である。

レイアウト編集ウィンドウ１４０２およびテキスト編集ウィンドウ１４０３には図１１と同様の表示がなされている。

１４０４の要約情報表示ウィンドウには、文字領域８０１および８０３の認識結果の間に、正確に認識できなかった文字領域８０２のデータ（“これはサンプル電子ドキュメント”）に対応する空行１４０５が表示されている。ユーザはこの空行１４０５に対して手動で、あるいはテキスト編集ウィンドウ１４０３の該当部分の認識結果のテキスト（“これはサンプル電子ド＋ュメント”）からコピーし編集することで、その文字列を挿入し、要約情報を完成することが可能である。

またレイアウト編集ウィンドウ内の文字コードと要約情報表示ウィンドウ内の文字コードはリンクしているので、空行１４０５に文字を挿入すると、対応するレイアウト付き文字描画領域である１４０６部分にも文字が挿入される。なお、レイアウト編集ウィンドウ内の文字列は背景画像に隠れているのでそのままでは見えない。しかしながら、この文字の描画領域を背景やベクトル描画データの描画領域よりも前面になるような操作を加えることで、入力された文字列が、原画像から抽出された文字レイアウト情報、すなわち位置や大きさなどを備えた状態で利用可能になる。

以上説明したように、本実施形態の画像処理装置は、レイアウト付き文字描画データを文字認識率によって出力形態を変えて保存した電子データを生成する。このように生成された電子データに対し、表示・編集プログラム１２１は、レイアウト編集ウィンドウ上では文字認識率の低い文字情報をあえてユーザに提供せず編集可能な空行を提示するため、ユーザは修正作業や画像の復元が容易になる。すなわち本実施形態では、文字認識率の低いデータを修正しやすい状態での提供が可能である。

なお、表示・編集プログラム１２１がパワーポイントの場合、レイアウト編集ウィンドウ６０２はスライドペイン、テキスト編集ウィンドウ６０３はノートペイン、要約情報表示ウィンドウ６０４はアウトラインペインである。この場合、文字認識結果の類似度が高い文字列がアウトラインペインに表示され、類似度が低い文字領域が空行でアウトラインペインに表示されるように、レイアウト編集用データ部分にデータを記述した電子ドキュメントを生成する。

以上、本発明の諸実施形態について説明した。

なお、本発明の目的は、上述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がそのプログラムコードを読出し実行することによっても達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が、コンピュータに、上述した実施形態の機能を実現させることになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。

さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態におけるシステム構成の一例を示す図である。 同実施形態１における画像処理装置の電子ドキュメント生成に係る構成と入出力されるデータを説明する図である。 同実施形態１において説明に用いる入力画像を示す図である。 同実施形態１においてデータの格納先を決定するために用いる決定規則を示す図である。 同実施形態１において、図３の入力画像に対して生成される電子ドキュメントの具体例を示す図である。 同実施形態１における表示・編集プログラムに図５の電子ドキュメントを入力した場合の表示例を示す図である。 実施形態１と同様のシステム構成で実施される、本発明の第２の実施形態における画像処理装置の電子ドキュメント生成に係る構成と入出力されるデータを説明する図である。 同実施形態２において説明に用いる入力画像を示す図である。 同実施形態２においてデータの格納先を決定するために用いる決定規則を示す図である。 同実施形態２において、図８の入力画像に対して生成される電子ドキュメントの具体例を示す図である。 同実施形態２における表示・編集プログラムに図１０の電子ドキュメントを入力した場合の表示例を示す図である。 本発明の第３の実施形態においてデータの格納先を決定するために用いる決定規則を示す図である。 同実施形態３において、図８の入力画像に対して生成された電子ドキュメントの具体例を示す図である。 同実施形態３における表示・編集プログラムに図１３の電子ドキュメントを入力した場合の表示例を示す図である。

符号の説明

１００ 画像処理装置
１０１ スキャナ
１０２ ＣＰＵ
１０３ メモリ
１０４ ハードディスク
１０５ ネットワークＩ／Ｆ
１１０ ネットワーク
１２０ パーソナルコンピュータ
１２１ 表示・編集プログラム
１２２ 再利用プログラム
２００ 入力画像
２１０ 電子ドキュメント生成部（電子ドキュメント生成プログラム）
２１１ 解析部
２１２ 文字認識部
２１３ ベクトル化部
２１４ 格納先決定部
２１５ フォーマット変換部
２２０ 電子ドキュメント
２２１ レイアウト編集用データ
２２２ テキスト編集用データ
２２３ ベクトル描画データ
２２４ 文字コードデータ

Claims (9)

1. 画像を解析し文字領域を抽出する解析手段と、
   前記解析手段で得られた文字領域について文字認識を行い認識結果の文字コードデータを得る文字認識手段と、
   前記解析手段で得られた文字領域についてベクトル化を行い、ベクトル描画データを得るベクトル化手段と、
   前記文字認識手段で得られた文字コードデータと前記ベクトル化手段で得られたベクトル描画データとについて、電子ドキュメント内の格納先を決定する決定手段と、
   前記文字コードデータおよび前記ベクトル描画データを前記決定手段で決定された格納先に格納した電子ドキュメントを生成する電子ドキュメント生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記ベクトル描画データの格納先を前記電子ドキュメント内のレイアウト編集用データの領域に、かつ、前記文字コードデータの格納先を前記電子ドキュメント内のテキスト編集用データの領域に決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記解析手段で得られた文字領域について、更に文字レイアウト情報を抽出する文字レイアウト抽出手段を備え、
   前記決定手段は、前記ベクトル描画データの格納先を前記電子ドキュメント内のレイアウト編集用データの領域に、かつ、前記文字レイアウト抽出手段により抽出した文字レイアウト情報と前記文字コードデータとを組み合わせたレイアウト付き文字描画データの格納先を前記電子ドキュメント内のレイアウト編集用データの領域に、かつ、前記文字コードデータの格納先を前記電子ドキュメント内のテキスト編集用データの領域に決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、更に、文字認識率が高ければ前記レイアウト付き文字描画データを前記電子ドキュメント内の要約表示用のレイアウト編集用データの領域に、文字認識率が低ければ前記レイアウト付き文字描画データを前記電子ドキュメント内の非要約表示用のレイアウト編集用データの領域に分けて格納先を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、文字認識率が低いレイアウト付き文字描画データに対して、文字コードデータを削除した文字レイアウト情報のみのデータにしたうえで格納先を前記電子ドキュメント内の要約表示用のレイアウト編集用データの領域に決定することを特徴とする請求項３記載の画像処理装置。
6. 前記電子ドキュメントのフォーマットは、パワーポイントのフォーマットであることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 画像処理装置によって実行される画像処理方法であって、
   画像を解析し文字領域を抽出する解析ステップと、
   前記解析ステップで得られた文字領域について文字認識を行い認識結果の文字コードデータを得る文字認識ステップと、
   前記解析ステップで得られた文字領域についてベクトル化を行い、ベクトル描画データを得るベクトル化ステップと、
   前記文字認識ステップで得られた文字コードデータと前記ベクトル化ステップで得られたベクトル描画データとについて、電子ドキュメント内の格納先を決定する決定ステップと、
   前記文字コードデータおよび前記ベクトル描画データを前記決定ステップで決定された格納先に格納した電子ドキュメントを生成する電子ドキュメント生成ステップと
   を含むことを特徴とする画像処理方法。
8. 請求項７に記載の方法をコンピュータに実行させるためのプログラム。
9. 請求項８に記載のプログラムを記憶させたコンピュータ読み取り可能な記憶媒体。

Images