JP2007058624A - 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 ＯＣＲなどによって取得されたテキストデータと画像データを関連付けて管理し、利用しやすいデータ提示を可能とした情報処理装置を提供する。
【解決手段】 画像データのデータ領域各々に対応する属性識別子に基づいて設定される属性領域に対応する画像を切り出して、属性領域単位画像データを生成し、属性領域単位画像データに対応する画像のテキスト化処理を実行して属性領域単位テキストデータを生成する。さらに、生成した属性領域単位画像データと属性領域単位テキストデータとを関連付けてデータベースに格納する。特定の属性領域単位テキストデータを指定することで、その属性領域単位テキストデータに対応する属性領域単位画像データをディスプレイなどの出力手段に出力することが可能となり、テキストの正誤判定や修正処理を、画像データを参照して行なうことが可能となる。
【選択図】 図１

Description

本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、文書を含む画像データの読み取り処理およびテキスト化処理を行なうとともに、属性データに基づく分類を行なったテキストデータを生成し、各分類テキストデータに対応する画像データを関連付けて管理する構成とすることで、ユーザにとって利用し易いデータの提示を可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

例えばユーザが手書きによって作成した文書、あるいは、プリンタやＦＡＸなどから出力したドキュメント、あるいはこれらのドキュメントの編集文書などをデータベースに保管し管理する場合、スキャナによる文書読み取り画像を保管データとして管理する場合がある。さらに、高度な文書管理処理として、スキャナによって読み取られる文書領域毎の属性を取得して、属性毎に画像領域を分類した後に、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によるテキスト化処理を行なう構成が提案されている。

例えば特許文献１には、文書領域毎の識別情報に基づく分類処理構成が開示され、特許文献２には、文書データのレイアウトに含まれる文字に基づく分類を行ないある項目に合致する文書集合を提示するなどの処理を可能とした構成を開示している。また、特許文献３には、ＯＣＲによる認識制度の低いと判定される領域を選択して画像表示して、ユーザによる修正を可能とした構成を開示している。
特開平０５−３４２３２６号公報 特開２００２−１２３８１５号公報 特開平０８−９６０７５号公報

上述したように、文書情報を読み取り、データベースに格納して管理する構成において、属性識別を行なって文書情報を分類して管理する手法が提案されているが、属性毎にテキスト化する際のＯＣＲの精度には限界があり、データ精度を高めるためには、人間の介入による修正が必要となる。

多くの場合、人間が文書画像とテキスト化結果を目視等で比較し、テキストを修正することが行なわれる。その際、ＯＣＲ処理されたテキストデータと、読み取り画像データの比較が必要となる。しかし、ＯＣＲ処理されたテキストデータが、スキャナによって読み取られた画像のどの部分に対応するのかを見つけるのは、非常に時間のかかる処理であり、処理を実行するオペレータやユーザの負担が大きく、また処理効率が低下することになる。

また、ＯＣＲ処理によって、テキスト化されてデータベースに格納された後に、そのテキストデータを読み出して、ＯＣＲ処理の誤りに気がついた場合や、再度、原本画像を確認したい場合などにおいて、そのテキストに対応する原本およびその原本における対応データ位置を探し出すことは困難である場合が多い。

本発明は、このような問題点に鑑みてなされたものであり、文書情報のスキャン画像などの画像データの管理において、テキスト化処理を行なうとともに、属性データに基づくデータ分類を行ない、テキストデータと対応する文書画像情報を関連付けて管理し、必要に応じてテキストに対応する画像情報を即座にユーザに提示することを可能とし、利用し易いデータ処理、データ管理構成を実現する情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
情報処理装置であり、
画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出手段と、
前記属性識別子抽出手段の抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定手段と、
前記属性判定手段の属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出し手段と、
前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理手段と、
前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付け手段と、
前記データ関連付け手段において関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとを格納するデータベースと、
を有することを特徴とする情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、画像データのレイアウト解析処理を実行するレイアウト解析手段を有し、前記属性識別子抽出手段は、前記レイアウト解析手段の処理結果として区分されたデータ領域各々に対応する属性識別子を抽出する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータを検索して出力手段に出力するデータ検索手段を有し、前記データ検索手段は、属性領域単位テキストデータの指定情報の入力に応じて、該属性領域単位テキストデータに関連付けられて前記データベースに格納された属性領域単位画像データを抽出して、出力手段に出力する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記画像切り出し手段は、属性領域に対応する属性領域単位画像データを個別の画像データファイルとして生成する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記画像テキスト化処理手段は、属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、属性に基づく分類テキストデータファイルを生成する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータの編集処理を実行し、該編集データをデータベースに格納する処理を実行するデータ編集手段を有することを特徴とする。

さらに、本発明の第２の側面は、
情報処理方法であり、
画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出ステップと、
前記属性識別子抽出ステップにおいて抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定ステップと、
前記属性判定ステップにおける属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出しステップと、
前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理ステップと、
前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付けステップと、
前記データ関連付けステップにおいて関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとをデータベースに格納するデータ格納ステップと、
を有することを特徴とする情報処理方法にある。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、画像データのレイアウト解析処理を実行するレイアウト解析ステップを有し、前記属性識別子抽出ステップは、前記レイアウト解析ステップにおける処理結果として区分されたデータ領域各々に対応する属性識別子を抽出する処理を実行することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータを検索して出力手段に出力するデータ検索ステップと、属性領域単位テキストデータの指定情報の入力に応じて、該属性領域単位テキストデータに関連付けられて前記データベースに格納された属性領域単位画像データを抽出して、出力手段に出力するステップと、を有することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記画像切り出しステップは、属性領域に対応する属性領域単位画像データを個別の画像データファイルとして生成する処理を実行するステップを含むこと特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記画像テキスト化処理ステップは、属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、属性に基づく分類テキストデータファイルを生成する処理を実行することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータの編集処理を実行し、該編集データをデータベースに格納する処理を実行するデータ編集ステップを有することを特徴とする。

さらに、本発明の第３の側面は、
情報処理装置においてデータ処理を実行させるコンピュータ・プログラムであり、
画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出ステップと、
前記属性識別子抽出ステップにおいて抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定ステップと、
前記属性判定ステップにおける属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出しステップと、
前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理ステップと、
前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付けステップと、
前記データ関連付けステップにおいて関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとをデータベースに格納するデータ格納ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、画像データに含まれるデータ領域各々に対応する属性識別子を抽出し、抽出した属性識別子に基づいて、データ領域対応の属性を判定し、属性領域に対応する画像を切り出して、属性領域単位画像データを生成するとともに、属性領域単位画像データに対応する画像のテキスト化処理を実行して属性領域単位テキストデータを生成し、生成した属性領域単位画像データと属性領域単位テキストデータとを関連付けて、データベースに格納する構成とした。データベースの格納データを表示して利用するユーザは、特定の属性領域単位テキストデータを指定することで、その属性領域単位テキストデータに対応する属性領域単位画像データをディスプレイなどの出力手段に出力させることが可能となり、ユーザは、テキストの正誤判定や、修正処理を、オリジナルの対応画像データを参照して効率的に行なうことが可能となる。

以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１を参照して、本発明の情報処理装置の実行する処理について説明する。図１に示す情報処理装置１００は、スキャナなどの画像読み取り処理を実行する機器画像データ読み取り手段１０１とＰＣなどのデータ処理手段１０２を有する。

データ処理手段１０２には、画像データ読み取り手段１０１の読み取り画像データが入力される。例えば図１に示すスキャン画像データ１０である。スキャン画像データには、スキャン画像の構成データの分類に適用可能な属性識別子情報が付与されている。例えば、日付データ１２、あるいはデータ属性を示すコード情報１３としての［Ｓ］、［Ｏ］、［Ａ］、［Ｐ］である。

本実施例では、スキャン画像を医師の作成するカルテを想定している。例えば、電子カルテシステムでは、カルテ情報を効率的に入力するための入力支援が求められている。このようなカルテ作成処理においては、記載データを予め客観的な分類データとして記載することが求められており、その１つの手法として、ＳＯＡＰ方式が提案されている。

ＳＯＡＰは、例えば以下のデータに対応付けられコード情報である。
［Ｓ］は、Ｓｕｂｊｅｃｔｉｖｅデータであり、患者が直接提供する主観的データに対応付けられるコード情報である。
［Ｏ］は、Ｏｂｊｅｃｔｉｖｅデータであり、医師や看護婦が取得する客観的データに対応付けられるコード情報である。
［Ａ］は、Ａｓｓｅｓｓｍｅｎｔデータであり、医師や看護婦の判断データに対応付けられるコード情報である。
［Ｐ］は、Ｐｌａｎデータであり、診断や、治療、あるいは教育などのスケジュール情報などのデータに対応付けられるコード情報である。

図１に示すスキャン画像データ１０には、スキャン画像の構成データの分類に適用可能な属性識別子情報として、上述の［Ｓ］、［Ｏ］、［Ａ］、［Ｐ］のコード情報１３と、日付データ１２が記録されている。

情報処理装置１００のデータ処理手段は、スキャン画像１０を入力すると、入力画像データに対するデータ処理を実行する。例えばレイアウト解析、属性識別子抽出処理、各構成データの属性識別子に基づく分類、各構成データのＯＣＲなどによるテキスト化処理、テキストデータの属性識別子に基づく分類処理、分類テキストデータと、対応画像データの関連付け処理、データ格納処理、データ表示処理などを実行する。なお、これらのデータ処理の詳細については後段で説明する。

情報処理装置１００が実行した入力画像に基づく処理データには、入力画像データに基づく属性分類されたテキストデータと、各属性領域単位テキストデータに対応する画像データとが含まれ、これらのデータは、情報処理装置１００内のデータベース１０３に格納される。

情報処理装置１００は、例えば、ユーザからのデータ提示要求をキーボードなどの入力手段から入力すると、データベース１０３内に格納されたデータをユーザの要求に基づいて検索、抽出し、ディスプレイに提示する。

ディスプレイの表示データは、例えば、図１に示すディスプレイ表示例２０のようなデータとなる。表示データには、属性領域単位テキストデータ２１が含まれる。属性領域単位テキストデータは、スキャン画像データ１０に含まれる属性識別子に基づいて、スキャン画像データ１０の各構成データのテキストデータを分類したデータである。

先に説明したように、スキャン画像データ１０には日付データ１２と、コード情報１３が、属性識別子として設定され、情報処理装置１００では、これらの属性識別子に基づいてスキャン画像データの構成データについてのテキスト化データを分類し、データベース１０３に格納している。情報処理装置１００は、このデータベース格納データとしての属性領域単位テキストデータ２１をディスプレイに出力する。

属性領域単位テキストデータ２１は、属性識別子（日付データ）２２と、属性識別子（ＳＯＡＰコード情報）２３とに基づいて分類されたテキストデータとして提示される。例えばユーザの指定したカーソル３１の位置するテキストデータ３２は、
属性識別子（日付データ）＝［２００５−０３−２７］、
属性識別子（ＳＯＡＰコード情報）＝［Ｏ］
のデータであり、スキャン画像データ１０の構成データ１５に基づくテキスト化データである。

ユーザがこのテキストデータ３２に対してカーソル３１を移動させて、所定のコマンドを出力、例えば、コマンドメニューを提示させて画像出力要求コマンドをクリックするなどの処理を実行すると、このテキストデータ３２に対応する画像データファイルとしてデータベース１０３に格納されたデータが読み出され、画像データ表示領域２５に表示される。

画像データ表示領域２５に表示された画像データは、スキャン画像データ１０の構成データ１５に対応する画像データであり、ＯＣＲなどによるテキスト化されていない原本画像データである。ユーザまたはオペレータは、この画像データ表示領域２５に表示された画像データを参照して、属性領域単位テキストデータ２１に提示されたテキストデータ３２が正しいＯＣＲ処理がなされ正確なテキストデータとして処理格納されているか否かを確認することができ、もし不正確なテキスト化部分がある場合は、テキストデータ３２の編集処理を行なうことができる。

このように、本発明の情報処理装置１００では、スキャン画像の構成データを属性識別子に基づいて分類して、分類データ毎にテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、各属性領域単位テキストデータに対応する画像データを各分類テキストデータに対応付けた画像データファイルとしてデータベースに格納する。さらにディスプレイ表示されたテキストデータに対する指定情報の入力に基づいて、属性領域単位テキストデータに対応する画像データを表示する構成としたので、ユーザは、テキストデータの正当性を容易に確認することが可能となる。

次に、図２を参照して、本発明の情報処理装置１００の実行する処理の詳細について説明する。図２は、本発明の情報処理装置１００の実行する処理を説明する図であり、情報処理装置１００の実行する処理を個別のブロックとして示したブロック図である。なお、情報処理装置１００の実行するデータ処理は、情報処理装置１００の有するハードウェアと、コンピュータ・プログラムを適用することによって実行されるものであり、図２に示す図は、これらの各処理を処理機能別のブロックとして示したブロック図である。なお、情報処理装置のハードウェア構成の具体例については、後段で説明する。

図２に示すブロック図に従って、本発明の情報処理装置の実行する処理について説明する。画像入力手段は、例えばスキャナなどによって読み取られた画像を入力する画像データ入力部である。情報処理装置に接続されたスキャナを介するデータ入力の他、例えばネットワークを介した他の情報処理装置からの転送画像を入力するなど、入力態様は、様々な設定が可能である。

レイアウト解析手段２０２は、画像入力手段において入力された画像データのレイアウト解析を実行する。なお、入力画像データに属性情報としてレイアウト情報が含まれる場合は、その情報を適用してもよい。レイアウト情報が含まれない場合は、入力画像データに基づいてレイアウト解析を実行する。レイアウト解析手段２０２におけるレイアウト解析は、文字領域、写真領域などの領域解析など、入力画像データの構成データについての配置情報および構成データ内容解析が含まれる。

例えば、図３に示すように、入力画像データに含まれる文字領域、写真領域などの領域が解析され、図３に示すように、領域２５１、領域２５２などからなるレイアウト単位が解析、抽出される。

属性識別子抽出手段２０３は、レイアウト解析手段２０２のレイアウト解析結果を入力し、レイアウト解析によって抽出された各領域内に含まれる属性識別子を特定、抽出する。なお、抽出する属性識別子の種類については、予め情報処理装置に登録しておく。本処理例では、日付情報、ＳＯＡＰのコード情報が抽出すべき属性識別子として登録されているものとする。属性識別子抽出手段２０３は、レイアウト解析手段２０２のレイアウト解析結果として得られた各領域内に日付情報、ＳＯＡＰのコード情報が含まれる場合、これらの属性識別子を特定、抽出する。

属性判定手段２０４は、属性識別子抽出手段２０３が各領域から抽出した属性識別子に従って、各領域の属性を判定する。例えば図４に示す例において、領域２７１は、属性として、日付属性：２００５−０３−０２、コード属性：Ａを有するデータ領域であり、領域２７２は、属性として、日付属性：２００５−０３−１４、コード属性：Ｏを有するデータ領域であり、領域２７３は、属性として、日付属性：２００５−０３−２７、コード属性：Ｏを有するデータ領域であると判別される。なお複数の小領域を含む中領域や、大領域が存在する場合、小領域の属性を判別する場合にその小領域を含む中領域、大領域に設定された属性識別子が参照される。例えば図３に示す例では、小領域２７１の属性判断に際して、小領域を含む大領域２７０に設定された属性識別子としての日付属性：２００５−０３−０２が、小領域２７１の属性として設定される。属性の設定された小領域を属性領域と呼ぶ。

次に、属性領域単位画像切り出し手段２０５は、処理対象となる画像データにおいて、レイアウト解析手段２０２が抽出した領域（属性領域）単位毎に画像データを切り分けて、各切り出し画像データに対応する画像データファイルを生成する。この場合は、小領域単位で、画像データの切り出しが実行され、各画像データに対応する画像データファイル（属性領域単位画像データファイル）が作成される。例えば図５に示すように、各属性領域毎の属性領域単位画像データファイル２８１〜２９０が作成される。

属性領域単位画像テキスト化処理手段２０６は、レイアウト解析手段２０２が抽出した各領域（属性領域）単位の画像データのテキスト化処理を実行する。例えばＯＣＲ処理により、各属性領域単位画像データファイル内の画像に含まれる文字情報を判別し、テキスト化処理を行なう。属性領域単位画像テキスト化処理手段２０６は、属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、属性に基づく分類テキストデータファイルを生成する処理を実行する。

属性に基づく分類テキストデータファイルは、例えば、図６に示すように、各属性領域単位テキストデータを、属性識別子に基づいて分類した表データファイルであり、表の各エントリデータとして、属性領域単位テキストデータが設定される。

属性領域単位画像−テキスト関連付け手段２０７は、属性領域単位画像切り出し手段２０５の生成した各属性領域毎の属性領域単位画像データファイルと、属性領域単位画像テキスト化処理手段２０６の生成した各属性領域単位テキストデータの対応付け処理を実行する。

例えば、図７に示すように、各属性領域単位テキストデータを表ファイルの各エントリデータとして設定した分類テキストデータファイルの各エントリテキストデータのリンクデータとして、属性領域単位画像切り出し手段２０５の生成した属性領域単位画像データファイル２８１〜２９０を対応付ける処理を実行する。なお、属性領域単位テキストデータの指定に基づいて、対応する属性領域単位画像データが取得可能な設定であればよく、関連付けの態様は様々な設定が可能である。

次にデータベース格納手段２０８は、属性領域単位画像−テキスト関連付け手段２０７において関連付けのなされた属性領域単位テキストデータと属性領域単位画像データを含むデータファイルをデータベース２０９に格納する。ここまでの処理が入力画像データに基づく格納データの生成処理、格納処理である。

ユーザは、データベース２０９に格納されたデータを情報処理装置のデータ出力手段（図２のデータ出力手段２１２）に出力表示させることができる。例えば、ユーザは、ユーザ入力手段２１１において、各属性領域単位テキストデータを表ファイルの各エントリデータとして設定したデータファイルを指定してデータ表示を要求するコマンドをデータ検索手段２１０に入力すると、データ検査膜手段は、指定されたデータファイルを２０９から取得して、データ出力手段２１２に表示する。

この表示によって、例えば図８に示す属性領域単位テキストデータを表ファイルの各エントリデータとして設定した属性領域単位テキストデータ３００が出力表示される。ユーザは、さらに、属性領域単位テキストデータ３００に含まれる１つの属性領域単位テキストデータエントリ３０１の位置に、ユーザ入力手段２１１として利用されるマウスを適用してカーソル３０２を移動させて、所定のコマンドを出力、例えば、コマンドメニューを提示させて画像出力要求コマンドをクリックするなどの処理を実行すると、この属性領域単位テキストデータエントリ３０１に対応する画像データファイルとして関連付けられている画像ファイルがデータ検索手段２１０によって、データベース２０３から取得され、データ出力手段２１２としてのディスプレイに提示される。例えば図８に示す属性領域単位画像表示領域３１１に画像データが表示される。

属性領域単位画像表示領域３１１に表示された画像データは、属性領域単位テキストデータエントリ３０１に対応する画像データファイルとして関連付けられている属性領域単位画像ファイルに格納された画像データであり、ＯＣＲなどによるテキスト化されていない原本画像データである。ユーザまたはオペレータは、この属性領域単位画像表示領域３１１に表示された画像データを参照して、属性領域単位テキストデータエントリ３０１が正しいＯＣＲ処理がなされ正確なテキストデータであるか否かを確認することができ、もし不正確なテキスト化部分がある場合は、属性領域単位テキストデータエントリ３０１の編集処理を行なうことができる。

ユーザ入力手段２１１を介して、分類テキストデータの編集（変更、削除など）が行なわれた場合は、データ編集手段２１３は、データベース２０９に格納された分類テキストデータに編集結果を反映させるデータ編集処理を実行する。

次に、図９、図１０に示すフローチャートを参照して、本発明の情報処理装置の実行する処理シーケンスについて説明する。図９のフローは、画像データの入力から保管データの作成、データベースに対する格納処理に至る処理シーケンスであり、図１０のフローは、データベースに格納されたデータの利用処理に関するシーケンスを説明するフローチャートである。

まず、図９を参照して、画像データの入力から保管データの作成、データベースに対する格納処理に至る処理シーケンスについて説明する。ステップＳ１０１において、情報処理装置は、処理対象となる入力画像データ、例えばスキャン画像データに対するレイアウト解析処理を実行する。この処理は、図２に示すブロック図のレイアウト解析手段２０２の実行する処理であり、先に図３を参照して説明したように、領域２５１、領域２５２などからなるレイアウト単位が解析、抽出される。

ステップＳ１０２において、各領域内における属性識別子を特定し、抽出する。この処理は、図２に示すブロック図の属性識別子抽出手段２０３の処理であり、レイアウト解析によって抽出された各領域内に含まれる属性識別子を特定、抽出する。

ステップＳ１０３では、抽出した属性識別子に基づいて、各領域の属性を判定する。この処理は、図２に示すブロック図の属性判定手段２０４の処理であり、例えば先に図４を参照して説明したように、各領域２７１の属性、例えば、日付属性、コード属性などを判定する。

ステップＳ１０４では、レイアウト解析により得た領域画像を切り出し、属性領域単位画像データファイルを作成する。この処理は、図２のブロック図に示す属性領域単位画像切り出し手段２０５の処理であり、処理対象となる画像データにおいて、レイアウト解析手段２０２が抽出した領域（属性領域）単位毎に画像データを切り分けて、各切り出し画像データに対応する画像データファイルを生成する。例えば図５に示すように、各属性領域毎の属性領域単位画像データファイル２８１〜２９０が作成される。

次に、ステップＳ１０５において、各属性領域単位画像データ単位で文字認識処理を行い、ステップＳ１０６において、判定された属性と文字認識結果を用いて、属性領域単位テキストデータファイルを作成する。これらの処理は、図２のブロック図に示す属性領域単位画像テキスト化処理手段２０６の処理であり、レイアウト解析手段２０２が抽出した各領域（属性領域）単位の画像データのテキスト化処理を実行する。例えばＯＣＲ処理により、各属性領域単位画像データファイル内の画像に含まれる文字情報を判別し、テキスト化処理を行なう。例えば、図６に示すように、各属性領域単位テキストデータを表ファイルの各エントリデータとして設定したデータファイルを生成する。

次に、ステップＳ１０７において、属性に基づく分類テキストデータと、切り出し画像とを、関連付けたファイルとして格納する。これらの処理は、図２のブロック図に示す属性領域単位画像−テキスト関連付け手段２０７、データベース格納手段２０８の処理であり、属性領域単位画像−テキスト関連付け手段２０７は、例えば、図７に示すように、各属性領域単位テキストデータを表ファイルの各エントリデータとして設定したデータファイルの各エントリデータとして設定されたテキストデータに対するリンクデータとして、属性領域単位画像切り出し手段２０５の生成した各属性領域毎の属性領域単位画像データファイル２８１〜２９０を対応付ける処理を実行する。データベース格納手段２０８は、属性領域単位画像−テキスト関連付け手段２０７において関連付けのなされた属性領域単位テキストデータと属性領域単位画像データを含むデータファイルがデータベース２０９に格納する。

次に、データベースに格納されたデータの利用処理について、図１０に示すフローチャートを参照して説明する。図１０に示すフローのステップＳ２０１では、ユーザの指定した特定の属性領域単位テキストデータを含む表ファイルの表示を実行する。ユーザは、図２のブロック図に示すユーザ入力手段２１１において、各属性領域単位テキストデータを表ファイルの各エントリデータとして設定したデータファイルを指定してデータ表示を要求するコマンドをデータ検索手段２１０に入力すると、データ検査膜手段は、指定されたデータファイルを２０９から取得して、データ出力手段２１２に表示する。

ステップＳ２０２では、表示された属性領域単位テキストデータから、特定のテキストデータを指示した処理要求の入力がユーザからあったか否かを判定する。ユーザは、例えば図８に示す属性領域単位テキストデータ３００の１つの属性領域単位テキストデータエントリ３０１の位置に、ユーザ入力手段２１１として利用されるマウスを適用してカーソル３０２を移動させて、画像出力要求を行なうことが可能である。

ステップＳ２０２において、特定のテキストデータを指示した処理要求の入力があったと判定した場合は、ステップＳ２０３に進み、指示された分類テキストデータの
対応画像をデータベースから取得して表示する。この処理は、図２に示すデータ検索手段２１０が実行する。この処理は、ユーザの指定したテキストデータの対応画像データファイルとして関連付けられている画像ファイルをデータベース２０３から取得し、データ出力手段２１２としてのディスプレイに表示する処理であり、例えば図８に示す属性領域単位画像表示領域３１１に画像データが表示される。

ステップＳ２０４では、分類テキストデータの編集（変更、削除など）の有無を判定する。前述したように、例えば図８に示す属性領域単位画像表示領域３１１に表示された画像データは、属性領域単位テキストデータエントリ３０１に対応する画像データファイルとして関連付けられている属性領域単位画像ファイルに格納された画像データであり、ＯＣＲなどによるテキスト化されていない原本画像データであるので、ユーザまたはオペレータは、この属性領域単位画像表示領域３１１に表示された画像データを参照して、属性領域単位テキストデータ３０１が正しいＯＣＲ処理がなされ正確なテキストデータであるか否かを確認することができ、もし不正確なテキスト化部分がある場合は、属性領域単位テキストデータエントリ３０１の編集処理を行なうことができる。

ステップＳ２０４において、分類テキストデータの編集（変更、削除など）が行なわれたと判定した場合は、ステップＳ２０５に進み、データベースに格納された分類テキストデータに編集結果を反映させるデータ編集処理を実行する。この処理は、図２に示すデータ編集手段２１３の処理として実行される。

最後に、図１１を参照して、本発明の情報処理装置のハードウェア構成例について説明する。図１１に示す構成は、例えばＰＣなどによって構成される情報処理装置であり、スキャナ等のデータ読み取り部５３１を備えたハード構成例を示している。

ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわちレイアウト解析、属性判定、属性領域単位画像データ、属性領域単位テキストデータの作成、データ表示制御、データ検索、編集処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された画像データや、属性領域対応の画像データ、テキスト化データなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行する。

なお、図１１に示す情報処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の情報処理装置は、図１１に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、画像データに含まれるデータ領域各々に対応する属性識別子を抽出し、抽出した属性識別子に基づいて、データ領域対応の属性を判定し、属性領域に対応する画像を切り出して、属性領域単位画像データを生成するとともに、属性領域単位画像データに対応する画像のテキスト化処理を実行して属性領域単位テキストデータを生成し、生成した属性領域単位画像データと属性領域単位テキストデータとを関連付けて、データベースに格納する構成とした。データベースの格納データを表示して利用するユーザは、特定の属性領域単位テキストデータを指定することで、その属性領域単位テキストデータに対応する属性領域単位画像データをディスプレイなどの出力手段に出力させることが可能となり、ユーザは、テキストの正誤判定や、修正処理を、オリジナルの対応画像データを参照して効率的に行なうことが可能となる。

本発明の情報処理装置を適用した処理の概要について説明する図である。 本発明の情報処理装置の処理機能を説明するブロック図である。 本発明の情報処理装置の実行するレイアウト解析について説明する図である。 本発明の情報処理装置の実行する属性判定処理について説明する図である。 本発明の情報処理装置の実行する属性領域単位画像ファイルの生成処理について説明する図である。 本発明の情報処理装置の表示する属性領域単位テキストデータファイルの例について説明する図である。 属性領域単位テキストデータと、属性領域単位画像ファイルとの関連付け処理例について説明する図である。 本発明の情報処理装置の表示する表示データ例について説明する図である。 本発明の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置のハードウェア構成例について説明する図である。

符号の説明

１０ スキャン画像データ
１２，１３ 属性識別子
１５ 構成データ
２０ ディスプレイ表示例
２１ 属性領域単位テキストデータ
２２，２３ 属性識別子
２５ 画像データ表示領域
３１ カーソル
３２ テキストデータ
１００ 情報処理装置
１０１ 画像データ読み取り手段
１０２ データ処理手段
１０３ データベース
２０１ 画像入力手段
２０２ レイアウト解析手段
２０３ 属性識別子抽出手段
２０４ 属性判定手段
２０５ 属性領域単位画像切り出し手段
２０６ 属性領域単位画像テキスト化処理手段
２０７ 属性領域単位画像−テキスト関連付け手段
２０８ データベース格納手段
２０９ データベース
２１０ データ検索手段
２１１ ユーザ入力手段
２１２ データ出力手段
２１３ データ編集手段
２５１，２５２ 領域
２７０〜２７３ 領域
２８１〜２９０ 属性領域単位画像データファイル
３００ 属性領域単位テキストデータ
３０１ 属性領域単位テキストデータエントリ
３０２ カーソル
３１１ 属性領域単位画像表示領域
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部

Claims (13)

1. 情報処理装置であり、
   画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出手段と、
   前記属性識別子抽出手段の抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定手段と、
   前記属性判定手段の属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出し手段と、
   前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理手段と、
   前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付け手段と、
   前記データ関連付け手段において関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとを格納するデータベースと、
   を有することを特徴とする情報処理装置。
2. 前記情報処理装置は、さらに、
   画像データのレイアウト解析処理を実行するレイアウト解析手段を有し、
   前記属性識別子抽出手段は、
   前記レイアウト解析手段の処理結果として区分されたデータ領域各々に対応する属性識別子を抽出する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置は、さらに、
   ユーザ入力に応じて、
   前記データベースに格納された属性領域単位テキストデータを検索して出力手段に出力するデータ検索手段を有し、
   前記データ検索手段は、
   属性領域単位テキストデータの指定情報の入力に応じて、該属性領域単位テキストデータに関連付けられて前記データベースに格納された属性領域単位画像データを抽出して、出力手段に出力する構成であることを特徴とする請求項１に記載の情報処理装置。
4. 前記画像切り出し手段は、
   属性領域に対応する属性領域単位画像データを個別の画像データファイルとして生成する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
5. 前記画像テキスト化処理手段は、
   属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、属性に基づく分類テキストデータファイルを生成する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
6. 前記情報処理装置は、さらに、
   ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータの編集処理を実行し、該編集データをデータベースに格納する処理を実行するデータ編集手段を有することを特徴とする請求項１に記載の情報処理装置。
7. 情報処理方法であり、
   画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出ステップと、
   前記属性識別子抽出ステップにおいて抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定ステップと、
   前記属性判定ステップにおける属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出しステップと、
   前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理ステップと、
   前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付けステップと、
   前記データ関連付けステップにおいて関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとをデータベースに格納するデータ格納ステップと、
   を有することを特徴とする情報処理方法。
8. 前記情報処理方法は、さらに、
   画像データのレイアウト解析処理を実行するレイアウト解析ステップを有し、
   前記属性識別子抽出ステップは、
   前記レイアウト解析ステップにおける処理結果として区分されたデータ領域各々に対応する属性識別子を抽出する処理を実行することを特徴とする請求項７に記載の情報処理方法。
9. 前記情報処理方法は、さらに、
   ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータを検索して出力手段に出力するデータ検索ステップと、
   属性領域単位テキストデータの指定情報の入力に応じて、該属性領域単位テキストデータに関連付けられて前記データベースに格納された属性領域単位画像データを抽出して、出力手段に出力するステップと、
   を有することを特徴とする請求項７に記載の情報処理方法。
10. 前記画像切り出しステップは、
    属性領域に対応する属性領域単位画像データを個別の画像データファイルとして生成する処理を実行するステップを含むこと特徴とする請求項７に記載の情報処理方法。
11. 前記画像テキスト化処理ステップは、
    属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成するとともに、属性に基づく分類テキストデータファイルを生成する処理を実行することを特徴とする請求項７に記載の情報処理方法。
12. 前記情報処理方法は、さらに、
    ユーザ入力に応じて、前記データベースに格納された属性領域単位テキストデータの編集処理を実行し、該編集データをデータベースに格納する処理を実行するデータ編集ステップを有することを特徴とする請求項７に記載の情報処理方法。
13. 情報処理装置においてデータ処理を実行させるコンピュータ・プログラムであり、
    画像データに含まれるデータ領域各々に対応する属性識別子を抽出する属性識別子抽出ステップと、
    前記属性識別子抽出ステップにおいて抽出した属性識別子に基づいて、前記データ領域対応の属性を判定する属性判定ステップと、
    前記属性判定ステップにおける属性判定処理において抽出された属性が対応付けられた属性領域に対応する画像を属性領域単位画像データとして切り出す画像切り出しステップと、
    前記属性領域単位画像データに対応する画像に基づくテキスト化処理を実行して属性領域単位テキストデータを生成する画像テキスト化処理ステップと、
    前記属性領域単位画像データと、該属性領域単位画像データに対応する属性領域単位テキストデータとを関連付けるデータ関連付けステップと、
    前記データ関連付けステップにおいて関連付けられた前記属性領域単位画像データと、属性領域単位テキストデータとをデータベースに格納するデータ格納ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images