JP2006279090A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 文字情報を含む画像データについて、利用者の利便性を向上できる文書情報データを生成し、表示する画像処理装置を提供する。
【解決手段】 文字情報を含む画像データについて、領域検出部２１が当該画像データに包含される文字情報を含む領域を検出し、領域選択部２２が検出された文字情報領域のうち、所定の選択条件を満たす領域を選択し、文字コードデータ生成部２３が選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成し、前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録される画像処理装置である。
【選択図】 図２

Description

本発明は、文字情報を含む画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

文字コードデータを含む電子文書については、文書の概要を把握するために、当該電子文書の表題、章題などの文字コード情報を利用者が閲覧しやすい形式で表示させる技術がある（例えば、非特許文献１参照）。この技術によれば、電子文書の内容を全て表示させることなく、文書の概要を利用者がすばやく把握することができる。

一方、画像データについては、その内容を簡易に把握するために、画像を縮小して一覧表示させるなどの方法がある。
田中亘＆インプレス書籍編集部、「できるPowerPoint2000 Windows版」、初版、株式会社インプレス、1999年9月11日、p.36

しかしながら、上記従来例の技術は、予め文字コードデータを含む電子文書にのみ利用可能な技術であり、画像データからなる電子文書では利用できない。また、画像データからなる電子文書においては、縮小した画像を一覧表示するなどの方法では、文字情報の確認が困難であり、文書の概要を把握することはできない。

本発明は、上記実情に鑑みてなされたもので、その目的の一つは、文字情報を含む画像データについて、利用者の利便性を向上できる文書情報を提供するための画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

上記課題を解決するために、本発明の一の態様に係る画像処理装置は、文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する領域検出手段と、前記領域検出手段により検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する領域選択手段と、前記領域選択手段により選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する文字コードデータ生成手段と、を含み、前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴としている。

ここで、本発明に係る画像処理装置は、前記領域選択手段によって選択された文字情報領域に包含され、所定の選択条件を満たす領域を、副領域として選択する副領域選択手段と、前記副領域に含まれる文字画像を文字コードに変換して、副文字コードデータを生成する副文字コードデータ生成手段と、前記副文字コードデータと前記文字コードデータとを対応づけて文書情報データを生成する文書情報データ生成手段と、をさらに含み、前記文字コードデータ生成手段は、前記領域選択手段により選択された文字情報領域の一部に含まれる文字画像を文字コードに変換して文字コードデータを生成することとしてもよい。

また、本発明の別の態様に係る画像処理装置は、前述の画像処理装置によって記録された前記文字コードデータを含む前記文書情報データを、前記画像データの選択操作との関係において提示する文書情報データ表示手段を含むことを特徴としている。

また、本発明の別の態様に係る画像処理装置は、前述の画像処理装置によって生成された前記文書情報データについて、前記文書情報データに含まれる前記文字コードデータを、前記画像データの選択操作との関係において提示する文字コードデータ提示手段と、前記文書情報データに含まれる前記副文字コードデータを、前記文字コードデータの選択操作との関係において提示する副文字コードデータ提示手段と、を含むことを特徴としている。

また、本発明の別の態様に係る画像処理装置は、画像データについて、所定の選択条件を満たす領域を選択し、当該選択された領域に含まれる画像が前記画像データに関連づけて記録されることを特徴としている。

また、本発明の一の態様に係る方法は、文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する第１のステップと、前記第１のステップにより検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する第２のステップと、前記第２のステップにより選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する第３のステップと、を含み、前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴としている。

また、本発明の別の態様に係るプログラムは、コンピュータに、文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する第１のステップと、前記第１のステップにより検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する第２のステップと、前記第２のステップにより選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する第３のステップと、を実行させ、前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴としている。

本発明によれば、文字情報を含む画像データについて、所定の選択条件を満たす文字情報領域から文書情報データを得ることにより、この文書情報データを利用して簡易に文書の概要を表示させるなどの処理が可能となり、利用者の利便性を向上できる。

以下、本発明の好適な実施の形態について、図面を参照しながら詳細に説明する。

本発明の実施の形態に係る画像処理装置は、図１に示すように、制御部１１と、記憶部１２と、画像読み取り部１３と、表示部１４と、操作部１５とを含んで構成されている。

ここで、制御部１１は、例えばＣＰＵ等で構成されており、記憶部１２に格納されているプログラムに従って動作する。記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子及び／又はディスクデバイスなどを含んで構成されている。この記憶部１２には、制御部１１によって実行されるプログラムが格納されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

画像読み取り部１３は、例えばスキャナ等であり、媒体に形成されている画像を読み取って得られた画像データを制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。操作部１５は、キーボードやマウス等であり、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。

以下では、本発明の実施の形態に係る画像処理装置を用いて、文字情報を含む画像データについて、当該画像データに関する文書情報データを生成し、記録する処理の内容を説明する。

本発明の実施の形態に係る画像処理装置は、機能的には、図２に示すように、領域検出部２１、領域選択部２２、文字コードデータ生成部２３、文書情報データ記録部２４、及び文書情報データ表示制御部２５を含んで構成されている。これらの機能は、プログラムとして画像処理装置の記憶部１２に記憶されており、制御部１１によって実行される。

本発明の実施の形態に係る画像処理装置では、画像読み取り部１３で読み取られるなどして得られた文字情報を含む画像データに対して、まず領域検出部２１が、有意画素（二値化後の黒画素部分など）にラベリング処理を行う。そしてラベリング処理の結果、同一のラベルに関連づけられた有意画素の塊に外接する矩形を特定する。そして、当該矩形のうち、所定の条件を満足する矩形に含まれる有意画素の塊を文字と判定する。このように文字と判定される有意画素塊を含む矩形（以下、文字外接矩形と呼ぶ）の特定の方法については、例えば特開２００３−８９０９号公報（段落００２６を参照）に記載された方法などを用いることができる。

次に、領域検出部２１は、特定した各文字外接矩形の相対位置を調べ、副走査方向に連続して配置されている複数の文字外接矩形がある場合、当該複数の文字外接矩形を内包する矩形を画定する。この矩形は、文章の一行分を内包する矩形（以下、行矩形と呼ぶ）である。さらに、領域検出部２１は、主走査方向に、行矩形が連続している領域を特定し、当該領域を文字情報領域として画定する。領域検出部２１は、画定した文字情報領域の座標情報（頂点座標など）を出力する。なお、当該文字情報領域に含まれる各行矩形の座標情報（行矩形の頂点座標など）を併せて出力してもよい。

領域選択部２２は、この領域検出部２１が出力する文字情報領域のうち、所定の選択条件を満たす文字情報領域を選択する。ここで所定の選択条件としては、画像全体に占める文字情報領域の位置、大きさ、形状、及び当該領域に含まれる文字情報の色、文字の種別など又はこれらの組み合わせを採用することができる。

例えば、領域選択部２２は、文字情報領域に含まれる各行矩形の副走査方向の先頭位置（文書上で文字列が配列される方向を仮にＸ軸方向とすれば、行矩形の左端のＸ座標値）を参照し、ヒストグラムを生成する。そして、当該ヒストグラム上で、ピークとなっている座標値を検出する。例えば、複数の章を含む文書の画像データにおいて、当該ヒストグラム上に２つのピークが表れた場合、低いピークを持つ座標値は、章の見出しを含む行矩形（比較的数の少ない行矩形）のものであり、高いピークを持つ座標値は、章の見出しとは異なるインデント（字下げ位置）が設定された、文書の本文を含む行矩形（比較的数の多い行矩形）のものであると推定できる。この場合、章の見出しを含む行矩形から、主走査方向に次の章の見出しを含む行矩形に出会うまでに連続して配置されている複数の行矩形について、当該複数の行矩形を内包する領域を所定の選択条件を満たす文字情報領域として選択する。この領域は、文書に含まれる１の章を内包する領域である。

また、先頭行矩形内の文字と、後続行矩形内の文字とでサイズが異なるなど、別の条件を組み合わせてもよい。領域選択部２２では、これらの選択条件を処理の対象となる画像データの特徴に合わせて、利用者が適宜設定できるようにしておく。これにより画像データに含まれる文書の内容を構成する文字情報の中から、当該文書の表題、作成者、作成日、又は文書に含まれる各章の見出しなどの文字情報を含む領域を選択することが可能となる。

また、領域選択部２２は、選択した文字情報領域の中から、さらに所定の選択条件を満たす領域を副領域として選択することとしてもよい。例えば、図３に示す画像データＩ１に表された文書のように、文書全体が複数の章から構成され、さらに各章が複数の節から構成されている場合には、まず前述の処理により各章を内包する文字情報領域Ａ１、Ａ２、Ａ３を選択する。さらに、各文字情報領域のうち、領域Ａ２については、その内部に複数の節を含むため、各節を含む領域Ｓ１、Ｓ２を副領域として選択する処理を行う。当該副領域を選択するには、前述の章の見出しを構成する行矩形を判定するのと同様の手法を用いることができる。この場合、章の見出しを含む行矩形、節の見出しを含む行矩形、本文を含む行矩形のそれぞれについて、前述のヒストグラムに表れた３つのピークにより判定する。

次に、文字コードデータ生成部２３は、領域選択部２２で選択された文字情報領域に含まれる画像を解析し、文字の形状を判別することにより、文字画像を文字コードに変換し、得られた文字コードデータを出力する処理を行う。

また、領域選択部２２で選択された副領域についても、同様に当該副領域に含まれる文字画像を文字コードに変換し、副文字コードデータとして出力する処理を行う。

なお、文字コードに変換する処理を行う対象となる文字画像は、文字情報領域又は副領域に含まれる画像のうちの一部であってもよい。例えば、文字情報領域の中に章全体の情報を含んでいる場合には、文字情報領域の先頭に位置する行矩形が当該文字情報領域に含まれる章の見出しと考えられるので、当該行矩形だけを処理の対象とする。

続いて、文書情報データ記録部２４は、文字コードデータ生成部２３で生成された文字コードデータを含む文書に関する情報を、文書情報データとして記憶部１２に記録する処理を行う。

また、文字コードデータ生成部２３において副文字コードデータを生成した場合には、当該副文字コードデータについても文書情報データに含めて記録する。この場合、副文字コードデータは、当該副文字コードデータを得た副領域を包含する文字情報領域から得られた文字コードデータに対応づけて記録する。これにより、文書の章、節などの階層構造についての情報を文書情報データに含めることができる。具体的には、図３に示す画像データＩ１の場合、文字コードデータとして「１ 目的」、「２ 実験内容」、「３ 結論」の３つの情報が記録され、さらに「２ 実験内容」に対応する副文字コードデータとして、「２−１ 実験環境」、「２−２ 前提条件」の２つの情報が記録される。

文書情報データ記録部２４により記録された文書情報データは、例えば、利用者による画像データの検索などに利用することができる。これにより、画像データのままでは不可能だった、画像データに含まれる文書の表題、見出しなどに含まれるキーワードによる画像データの検索が可能となる。また、文書情報データは、画像データの概要を表示させる場合にも利用することができる。この場合の処理について、次に説明する。

例えば、特定のキーワードにより画像データの検索を行った場合に、検索条件に合致した複数の画像データが、図４（ａ）に示すように、縮小されて一覧表示されるものとする。

このとき、利用者がマウス等を操作して、画面上のマウスカーソルにより、表示されている縮小画像の一つを指し示すと、文書情報データ表示制御部２５が、文書情報データを表示部１４に表示させる処理を行う。図３に示した画像データＩ１の例では、図４（ｂ）に示すように、各章の見出しを表す文字コードデータＤ１をポップアップ表示する。

さらに、利用者が画面上のマウスカーソルにより、表示された文字コードデータのうち、対応する副文字コードデータが存在する文字コードデータを指し示した場合、文書情報データ表示制御部２５は、当該副文字コードデータを表示部１４に表示させる処理を行う。図３に示した画像データＩ１の例では、図４（ｂ）に示される文字コードデータＤ１のうち、「２ 実験内容」が表示された領域をマウスカーソルにより指し示すと、図４（ｃ）に示すように、第２章に含まれる各節の見出しを表す副文字コードデータＤ２をポップアップ表示する。

これにより、利用者は、画像データの内容の詳細を確認することなく、容易に画像データに含まれる文書の情報を表示させることができる。特に、画像データが複数の画像の集合により構成されている場合でも、全ての画像を確認することなく、文書の概要を把握することが可能となる。

また、本発明の実施の形態に係る画像処理装置においては、文字画像を文字コードデータ生成部２３により文字コードデータに変換した上で文書情報データとして記録したが、必ずしも文字コードデータへの変換を行う必要はない。その場合、領域選択部２２によって選択された文書の表題、見出しなどを含む文字画像をそのまま文書情報データ記録部２４が文書情報データとして記録し、当該文字画像を文書情報データ表示制御部２５が表示することにより、利用者が文書情報を確認することができる。以下、文字画像を文字コードデータに変換せずに文書情報データとして記録する場合の例について、説明する。

まず、領域検出部２１が、前述の文字コードデータへの変換を実施する例の場合と同様にして、文字情報を含む画像データに対して、文字情報領域を画定する。そして、領域選択部２２が、所定の選択条件を満たす文字情報領域を選択する。また、前述の例と同様に、領域選択部２２は、選択した文字情報領域の中から、さらに所定の選択条件を満たす領域を副領域として選択することとしてもよい。

続いて、文字コードデータ生成部２３での処理は実行せずに、文書情報データ記録部２４が、領域選択部２２で選択された文字情報領域に含まれる選択画像を、当該文書に関する文書情報データとして、記憶部１２に記録する。また、領域選択部２２で選択された副領域に含まれる副選択画像ついても、当該副領域を含む文字情報領域から得られた選択画像に対応づけて、文書情報データとして記録する。これにより、例えば、文書の章、節などの見出しの文字列を含む画像を、文書情報データに含めて記録することができる。

文書情報データ記録部２４により記録された文書情報データに含まれる選択画像は、文字コードデータではないため、そのままでは検索などの対象に含めることはできないが、文書情報データ表示制御部２５が表示する文書情報データとして用いることができる。文書情報データ表示制御部２５は、当該文書に係る画像データを画面上で選択した場合などに、文書情報として、文書情報データ記録部２４が記録した選択画像を表示する。また、表示された選択画像を選択した場合、当該選択画像に対応づけられた副選択画像をさらに表示する。

以上の処理によれば、前述の文字コードデータへの変換を行う例に比べて、より簡易な処理で、画像データに含まれる文書の情報を確認することのできる文書情報データを記録することができる。

また、この文字コードデータへの変換を行わずに文書情報データを記録する処理は、前述の文字コードデータへの変換を行う例において、領域選択部２２が、確実に文書の表題、あるいは章、節の見出しなどを確定できない場合に実行することもできる。具体的には、領域選択部２２が、所定の選択条件に基づいて、一定以上の確率で文書の表題、あるいは章、節の見出しなどであると判断した文字情報領域については、文字コードデータ生成部２３が当該文字情報領域に含まれる文字画像を文字コードデータに変換し、文書情報データ記録部２４が文書情報データとして記録する。一方で、領域選択部２２が、所定の選択条件から、文書の表題、あるいは章、節の見出しなどである可能性があるが、確実ではないと判断した文字情報領域については、文字コードデータ生成部２３による処理は実行せず、文書情報データ記録部２４が選択画像を文書情報データとして記録する。これにより、確実に文書の表題等と判断された情報を文字コードデータに変換して検索などの対象に含めるとともに、文書の表題等の可能性があるにとどまる情報については、画像データのままで、検索などの対象には含めないが、文書情報を表示させる際には利用することができる。

なお、上記の例においては、対象となる画像データは必ずしも文字情報を含むものでなくてもよい。この場合、領域検出部２１による文字情報領域の検出は実行されず、領域選択部２２が所定の選択条件を満たす領域を選択し、当該選択された画像を文書情報データ記録部２４が記録する。これにより、作成者を表すマークなどの画像データの一部分を、画像データに関する情報として記録し、後に利用することができる。

本発明の実施の形態に係る画像処理装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置による処理の対象となる画像データの一例を表す図である。 本発明の実施の形態に係る画像処理装置による、画像データの表示例を表す図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 画像読み取り部、１４ 表示部、１５ 操作部、２１ 領域検出部、２２ 領域選択部、２３ 文字コードデータ生成部、２４ 文書情報データ記録部、２５ 文書情報データ表示制御部。

Claims (7)

1. 文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する領域検出手段と、
   前記領域検出手段により検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する領域選択手段と、
   前記領域選択手段により選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する文字コードデータ生成手段と、
   を含み、
   前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置によって記録された前記文字コードデータを含む前記文書情報データを、前記画像データの選択操作との関係において提示する文書情報データ表示手段を含むことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記領域選択手段によって選択された文字情報領域に包含され、所定の選択条件を満たす領域を、副領域として選択する副領域選択手段と、
   前記副領域に含まれる文字画像を文字コードに変換して、副文字コードデータを生成する副文字コードデータ生成手段と、
   前記副文字コードデータと前記文字コードデータとを対応づけて文書情報データを生成する文書情報データ生成手段と、
   を含み、
   前記文字コードデータ生成手段は、前記領域選択手段により選択された文字情報領域の一部に含まれる文字画像を文字コードに変換して文字コードデータを生成することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置によって生成された前記文書情報データについて、
   前記文書情報データに含まれる前記文字コードデータを、前記画像データの選択操作との関係において提示する文字コードデータ提示手段と、
   前記文書情報データに含まれる前記副文字コードデータを、前記文字コードデータの選択操作との関係において提示する副文字コードデータ提示手段と、
   を含むことを特徴とする画像処理装置。
5. 画像データについて、所定の選択条件を満たす領域を選択し、当該選択された領域に含まれる画像が前記画像データに関連づけて記録されることを特徴とする画像処理装置。
6. 文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する第１のステップと、
   前記第１のステップにより検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する第２のステップと、
   前記第２のステップにより選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する第３のステップと、
   を含み、
   前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴とする画像処理方法。
7. コンピュータに、
   文字情報を含む画像データについて、当該画像データに包含される文字情報を含む領域を検出する第１のステップと、
   前記第１のステップにより検出された文字情報領域のうち、所定の選択条件を満たす領域を選択する第２のステップと、
   前記第２のステップにより選択された文字情報領域に含まれる文字画像を文字コードに変換して、文字コードデータを生成する第３のステップと、
   を実行させ、
   前記文字コードデータが前記画像データの選択操作との関係において提示される文書情報データの少なくとも一部として、前記画像データに関連づけて記録されることを特徴とする画像処理プログラム。
   

Images