JP2009176264A - 画像文書処理装置および画像文書処理方法 - Google Patents

画像文書処理装置および画像文書処理方法 Download PDF

Info

Publication number
JP2009176264A
JP2009176264A JP2008074707A JP2008074707A JP2009176264A JP 2009176264 A JP2009176264 A JP 2009176264A JP 2008074707 A JP2008074707 A JP 2008074707A JP 2008074707 A JP2008074707 A JP 2008074707A JP 2009176264 A JP2009176264 A JP 2009176264A
Authority
JP
Japan
Prior art keywords
character
image
search
unit
headword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008074707A
Other languages
English (en)
Other versions
JP4772817B2 (ja
Inventor
Jianjun Dou
建軍 竇
Ning Le
寧 楽
Bo Wu
波 呉
Atou Go
亜棟 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2009176264A publication Critical patent/JP2009176264A/ja
Application granted granted Critical
Publication of JP4772817B2 publication Critical patent/JP4772817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 画像文書に含まれる見出し語を表示することが可能な画像文書処理装置、画像文書処理方法を提供する。
【解決手段】
画像文書中の文字数がＭである文字列の画像を切り出し、これを１文字ごとに分割して各文字画像の画像特徴を抽出し、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書１５より、適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次の第１インデックス行列を作成する。作成された第１インデックス行列から単語を作成し、概念辞書に基づく意味解析によって見出し語を抽出する。抽出された見出し語は、所定の重み情報や統計情報に基づいて決定された順序に基づいて一覧表示される。
【選択図】 図１

Description

本発明は、文書を画像として入力して蓄積する画像文書処理装置および画像文書処理方法に関するものであり、特に、蓄積された画像文書に含まれる見出し語を表示する画像文書処理装置および画像文書処理方法に関するものである。
文書をイメージスキャナなどの画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする文書ファイリング装置が実用化されている。このような文書ファイリング装置に関する技術は、特許文献１〜３に開示されている。
イメージデータとして読取った画像文書に対して検索を行うには、各画像文書に、検索のためのインデックス情報を手動で付与するといった作業が必要となり、非常に労力を要する。
また、画像文書の文字領域（テキスト領域）を定位し、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）認識を行い、テキスト内容でフルテキスト検索を可能にする装置も提案されている。ＯＣＲ認識を利用した先行技術として、例えば特許文献４がある。
しかしながら、ＯＣＲ認識には多大な計算が必要で時間が掛かるといった問題がある。さらに、文字認識率も高くないため、誤認されて検索に掛からない可能性もあり、検索精度に問題がある。
一方、特許文献５には、ＯＣＲ認識を用いることなく、自動によるフルテキスト検索を可能にする技術が開示されている。
上記公報の構成では、予め文字を画像特徴によって類似した文字ごとに類似文字カテゴリに分類したカテゴリ辞書を用意しておく。そして、画像文書を登録する時、テキスト領域（文字領域）の各文字を文字認識することなく、画像特徴を抽出し、画像特徴をもとに文字カテゴリに分類して、各文字ごとに識別されたカテゴリ列を入力画像と共に記憶しておく。検索する時には、検索キーワードの各文字を対応するカテゴリに変換し、変換されたカテゴリ列を一部に含む画像文書を検索結果として取り出す。
そして、該構成による効果として、文書登録時に少ない計算機パワーで高速に登録処理が行えるとともに、検索時には漏れの少ない検索を実現することのできる文書ファイリングを提供できる、と記載されている。
特許文献６には、画像文書の検索および分類装置が開示されており、検索結果の分類が文書画像の検索時に実行される。この方法および装置では、検索に要する時間が掛かりすぎるとともに、見出し語の一覧表示機能は有していない。
特許文献７には、文書を関連付ける知識ライブラリに基づいて、見出し語のリストを提供する技術が開示されている。しかしながら、この見出し語のリストは、全文書から抽出されるものであるので、リスト生成に多大な時間と記憶容量とを必要とする。
中国公開特許公報ＣＮ１４０２８５４Ａ 中国公開特許公報ＣＮ１５３５４３０Ａ 中国公開特許公報ＣＮ１８５１７１３Ａ 特開平７−１５２７７４号公報 特開平１０−７４２５０号公報 中国公開特許公報ＣＮ１３３９７５６ 中国公開特許公報ＣＮ１５３５４３３
本発明の目的は、画像文書に含まれる見出し語を表示することが可能な画像文書処理装置、画像文書処理方法を提供することである。
本発明は、文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、
入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、
前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成する特徴適合部と、
前記特徴適合部にて作成された第１インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
前記インデックス情報格納部に格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成する単語作成部と、
前記単語作成部により作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する見出し語抽出部と、
前記見出し語抽出部により抽出された見出し語の表示順序を決定する表示順序決定部と、
所定の見出し語表示領域に、前記表示順序決定部により決定された表示順序で見出し語を一覧表示する一覧表示部とを有することを特徴とする画像文書処理装置である。
また本発明は、前記見出し語抽出部は、抽出された見出し語に、意味解析に基づく重みを設定し、
前記表示順序決定部は、前記見出し語抽出部による意味解析に基づく重みに基づいて見出し語の表示順序を決定することを特徴とする。
また本発明は、前記表示順序決定部は、作成された単語における見出し語の統計情報を算出し、算出した統計情報に基づいて見出し語の表示順序を決定することを特徴とする。
また本発明は、一覧表示された見出し語のうち、１つの見出し語を選択する選択部と、
前記選択部により選択された見出し語を含むインデックス行列に対応付けられた画像文書を提示する提示手段とを有することを特徴とする。
また本発明は、前記画像文書処理装置はさらに、検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含む第１インデックス行列を有する画像文書を取り出す検索部とを有することを特徴とする。
また本発明は、入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、
前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成する特徴適合ステップと、
前記特徴適合ステップにて作成された第１インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
インデックス情報格納ステップにて格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成する単語作成ステップと、
前記単語作成ステップにより作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する見出し語抽出ステップと、
前記見出し語抽出ステップにより抽出された見出し語の表示順序を決定する表示順序決定ステップと、
所定の見出し語表示領域に、前記表示順序決定ステップにより決定された表示順序で見出し語を一覧表示する一覧表示ステップとを有することを特徴とする画像文書処理方法である。
本発明によれば、文字列抽出部にて定位されて切り出された画像文書中の文字列の画像を、画像特徴抽出部が１文字ごとに分割して各文字画像の画像特徴を抽出する。そして、特徴適合部が、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数ＭラＮ次の第１インデックス行列を作成する。
作成された第１インデックス行列は、インデックス情報格納部にて、入力された画像文書に対応づけて格納される。
単語作成部では、インデックス情報格納部に格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成し、見出し語抽出部が、作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する。
表示順序決定部で、抽出された見出し語の表示順序を決定すると、一覧表示部が、所定の見出し語表示領域に、決定された表示順序で見出し語を一覧表示する。
これにより、ユーザの手を煩わせることなく、また、ＯＣＲ認識も用いることなく、画像文書の文字領域にある文字列を自動的に定位し、定位した文字列の画像特徴で画像文書のインデックス情報を生成することができる。
しかも、各文字画像の画像特徴を抽出して、画像特徴が似ている候補文字を複数選択するので、選択する候補文字数を適切に設定することで、ＯＣＲ認識のように文字認識に時間がかかることもない。
また、字形特徴辞書は、全て単文字の文字画像の画像特徴を単位として作成されており、特徴適合部は、切り出された文字列の画像を単文字の文字画像に分割して画像特徴の適合をとるので、生成されたインデックス行列の精度が高い。
インデックス行列から抽出される見出し語は、画像文書の内容を示す指標となることから、見出し語の一覧を表示することで、ユーザは文書内容の概略を効率よく知ることが可能となる。
本発明によれば、前記見出し語抽出部が、抽出された見出し語に、意味解析に基づく重みを設定し、前記表示順序決定部が、意味解析に基づく重みに基づいて見出し語の表示順序を決定する。
これにより、意味を成す度合いが高い見出し語などを上位に表示することができるので、ユーザは文書内容の概略をより効率よく知ることができる。
本発明によれば、前記表示順序決定部は、作成された単語における見出し語の統計情報を算出し、算出した統計情報に基づいて見出し語の表示順序を決定する。
これにより、出現頻度が高い見出し語などを上位に表示することができるので、ユーザは文書内容の概略をより効率よく知ることができる。
本発明によれば、一覧表示された見出し語のうち、１つの見出し語を選択部が選択すると、提示手段が、選択された見出し語を含むインデックス行列に対応付けられた画像文書を提示する。
これにより、ユーザは、所望する内容の画像文書を即座に知ることができる。
本発明によれば、検索時は、検索部が、入力された検索式中の検索キーワードを構成する１検索文字単位にインデックス情報格納部を検索して検索文字を含むインデックス行列を有する画像文書を取り出す。
このように、検索キーワードを構成する検索文字単位でインデックス行列を分析して検索キーワードを含むインデックス行列を検出することで、単文字検索による全面的な検索を保証できる。
また、見出し語が一覧表示されるので、表示された見出し語を参考にして、検索キーワードを入力することも可能である。
本発明によれば、文字列抽出ステップにて定位されて切り出された画像文書中の文字列の画像を、画像特徴抽出ステップにて１文字ごとに分割して各文字画像の画像特徴を抽出する。そして、特徴適合ステップにて、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数ＭラＮ次の第１インデックス行列を作成する。
作成された第１インデックス行列は、インデックス情報格納ステップにて、入力された画像文書に対応づけて格納される。
単語作成ステップでは、インデックス情報格納ステップにて格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成し、見出し語抽出ステップにて、作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する。
表示順序決定ステップにて、抽出された見出し語の表示順序を決定すると、一覧表示ステップにて、所定の見出し語表示領域に、決定された表示順序で見出し語を一覧表示する。
これにより、ユーザの手を煩わせることなく、また、ＯＣＲ認識も用いることなく、画像文書の文字領域にある文字列を自動的に定位し、定位した文字列の画像特徴で画像文書のインデックス情報を生成することができる。
しかも、各文字画像の画像特徴を抽出して、画像特徴が似ている候補文字を複数選択するので、選択する候補文字数を適切に設定することで、ＯＣＲ認識のように文字認識に時間がかかることもない。
また、字形特徴辞書は、全て単文字の文字画像の画像特徴を単位として作成されており、特徴適合ステップにて、切り出された文字列の画像を単文字の文字画像に分割して画像特徴の適合をとるので、生成されたインデックス行列の精度が高い。
インデックス行列から抽出される見出し語は、画像文書の内容を示す指標となることから、見出し語の一覧を表示することで、ユーザは文書内容の概略を効率よく知ることが可能となる。
以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像文書処理装置１０の構成を大略的に示すブロック図である。画像文書処理装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウエアなどを格納する外部記憶装置５とを含む。
プロセッサ４は、画像文書から検索の要となる見出し領域を抽出する画像文書特徴抽出処理、画像文書に対する検索を可能にするインデックス情報を生成するインデックス情報生成処理、インデックス情報を用いた検索処理、およびインデックス情報を用いて後述する意味のある文書名を作成して画像文書を管理する画像文書管理処理などを実際に行う。
プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウエアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。本実施の形態では、プロセッサ４は、インデックス情報生成処理に用いる後述する字形特徴辞書１５を作成する字形特徴辞書作成処理も実行するようになっている。
外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、画像文書を大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。後述する字形特徴辞書１５、インデックス情報ＤＢ（データベース）１７、画像文書ＤＢ１９、字形見本ＤＢ１３などは、外部記憶装置５にて構成される。
画像文書処理装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、検索キーワードの入力に用いられる。またキーボード１は、画像文書を閲覧する際の指示入力にも用いられる。さらにキーボード１は、後述する候補文字数、相関値、および行の相関度加重因子Ｑなどの設定値変更にも用いられる。表示装置３は、画像文書などを出力して表示する。表示装置３に表示される内容には、相関度の情報、および画像名称などの情報も含まれる。
画像文書処理装置１０には、イメージスキャナ２またはデジタルカメラ６がさらに接続される。イメージスキャナ２およびデジタルカメラ６は、画像文書を取得するために用いられる。画像文書の取得は、イメージスキャナ２およびデジタルカメラ６に限られるものではなく、ネットワークなどを介して通信を行うことによって取得してもよい。また、イメージスキャナ２またはデジタルカメラ６を用いた検索キーワードの入力も可能である。
図２は、画像文書処理装置１０の構成を詳細に示すブロック図である。画像文書処理装置１０は、文字データベース入力部（文字ＤＢ入力部）１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部（画像特徴抽出部）１４、字形特徴辞書１５、特徴適合部１６、インデックス情報ＤＢ１７、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴データベース（画像文書特徴ＤＢ）２０、画像文書入力部２１、検索部２２、語彙解析部２３、キーワード入力部２４、検索結果表示部２５、文書名作成部５１、画像文書ＤＢ管理部５２、画像文書表示部５３、指示入力部５４を含んでいる。
このうち、文字ＤＢ入力部１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部１４、字形特徴辞書１５にて、上記した字形特徴辞書作成処理を実施する字形特徴辞書生成部３０が構成される。
まず、字形特徴辞書生成部３０を構成する、文字ＤＢ入力部１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部１４、字形特徴辞書１５について説明する。
文字ＤＢ入力部１１は、字形特徴辞書１５を作成するために必要な、基本となる文字データベースを入力するためのものである。本装置が、例えば、中国語対応の装置であれば、中華人民共和国におけるＧＢ２３１２の６７６３個の全文字などが入力される。また、本装置が、日本語対応の装置であれば、ＪＩＳ第一水準の約３，０００字種などが入力される。つまり、ここで言う文字には、符号が含まれる。このような文字ＤＢ入力部１１は、プロセッサ４にて構成され、文字データベースは、記録媒体を介して、或いはネットワークを介したデータ通信などにより供給される。
字体正規化処理部１２は、文字ＤＢ入力部１１より入力された文字データベースに含まれる全ての文字について、異なるフォントとサイズの文字画像を作成するものである。異なるフォントとサイズの文字画像は、字形見本ＤＢ１３に格納される。
図３は、字体正規化処理部１２が字形見本ＤＢ１３を作成する処理を示す図である。字体正規化処理部１２には、本装置が中国語対応の装置であれば、例えば、宋体、倣宋体、黒体、楷体などの字形見本１２ａが具備されている。また、本装置が日本語対応の装置であれば、明朝体、ゴシック体…などの字形見本が具備されている。
字体正規化処理部１２における変形処理部１２ｂが、文字データベースの文字を画像化し、文字画像を標準化処理する。次に、変形処理部１２ｂは、字形見本１２ａを参照して、標準化処理した文字画像に対し、変形処理を施し、さらに異なるフォントとサイズの文字画像にする。変形処理には、例えば、曖昧化処理、拡大・縮小化処理、微細化処理などがある。このように変形処理された文字画像を、字体基準部１２ｃは、基準文字画像として字形見本ＤＢ１３に格納する。
字形見本ＤＢ１３には、文字データベースの全ての文字に対して、同じ文字であっても、フォント、サイズによって決まる字形毎に基準文字画像が格納されている。例をあげると、文字種は同じ「中」であっても、定められているフォントの数だけ形状の異なる基準文字画像の「中」があり、また、定められているサイズの数だけ大きさの異なる基準文字画像の「中」が格納されている。
文字画像特徴抽出部１４は、文字画像の特徴（画像特徴）を抽出して、字形特徴辞書１５に格納するものでもある。本実施の形態では、文字画像特徴抽出部１４は、文字画像外囲特徴と網格方向との組合せによって文字画像の特徴を抽出し、特徴ベクトルとする。なお、文字画像の特徴は、これらに限られるものではなく、他の特徴を抽出して特徴ベクトルを形成してもよい。
ここで、文字画像外囲特徴及び網格方向特徴について説明しておく。図４は、文字画像外囲特徴の説明図である。文字画像外囲特徴とは、文字画像の外部からみた輪郭の特徴である。図４に示すように、文字画像の外接矩形の４辺から走査し、白画素から黒画素に変化する点までの距離を特徴とし、最初に変化する位置と２度目に変化する位置を取り出す。
例えば、外接矩形をＸ行Ｙ列に分割した場合、行を単位として左方向と右方向からそれぞれ画像を走査し、列を単位として上方向と下方向からそれぞれ走査する。なお、図４は、行を単位に左から走査している図面である。
また、図４において、実線の矢印Ａにて、最初に白画素から黒画素に変化する点までの走査軌跡を示している。破線の矢印Ｂは、２回目に白画素から黒画素に変化する点までの走査軌跡を示している。実線の矢印Ｃは、最後まで白画素から黒画素に変化する点を検出することができなかった走査軌跡を示しており、このように変化点がない場合、距離値は０となる。
図５は、網格方向特徴の説明図である。文字画像を粗い網格に分割し、各格子領域内の黒画素についてあらかじめ定めた複数方向に触手を伸ばす。そして、各方向に連結する黒画素の画素数を計数し、該黒画素の各方向成分別の分布状況を表す方向寄与度を、識別関数としてユークリッド距離を用いて黒画素数の差に応じた値により距離値を除算して距離値を算出する。
図５（ａ）では、文字画像を４×４の１６個の格子に分割し、格子の交点からＸ軸方向に最も近い黒画素から白画素になる点を中心に、Ｘ軸方向（０°）、４５°方向、Ｙ軸方向（９０°）の３方向に触手を伸ばしている。
本実施例では、文字画像を８×８の４角の網に分割し、図５（ｂ）に示すように、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の８方向に触手を伸ばすようになっている。
なお、網格方向の特徴の抽出方法としては、触手の伸ばす方向や、触手を伸ばす中心点を置き方など、様々な手法があり、例えば、特開２０００−１８１９９４号公報などに記載されている。
文字画像特徴抽出部１４は、このような文字画像の特徴の抽出を、文形見本ＤＢ１３に格納されている、基準文字画像の全部に対して行う。そして、文字画像特徴抽出部１４は、字形見本ＤＢ１３に格納されている基準文字画像の抽出結果については字形特徴辞書１５に格納し、字形特徴辞書１５を生成する。
図６は、文字画像特徴抽出部１４による字形特徴辞書１５を作成する処理を示す図である。文字画像特徴抽出部１４における字形基準化部１４ａが、字形見本ＤＢ１３から基準文字画像を取り出し、文字画像特徴取出部１４ｂは、字形基準化部１４ａが取り出した基準文字画像に対してその特徴を取り出す。そして、特徴分類部１４ｃが、字形見本ＤＢ１３を参照して、基準文字画像毎に抽出した特徴を分類して、字形特徴辞書１５に格納する。
文字画像特徴取出部１４ｂにおいては、上述したように、単文字ごと、加重付けによる異なる基準文字画像の特徴の適値を求め、基準文字画像の標準特徴を取得する。
文字画像特徴取出部１４ｂが、異なる字体字号を加重させることによって、異なる字形特徴辞書を作成することができる。多字体の画像特徴を融合し、単文字画像特徴を単位で字形特徴辞書を作成することで、多字体・字号画像文書の自動インデックスと管理を満足できる。
次に、画像文書特徴抽出処理を実施する画像文書特徴抽出部３１を構成する、画像文書ＤＢ１９、画像文書特徴ＤＢ２０、見出し領域初期処理部１８、文字画像特徴抽出部１４について説明する。
画像文書ＤＢ１９は、画像文書入力部２１より画像文書が入力されると、識別のための文書ＩＤを付けて保存するものである。
見出し領域初期処理部１８は、画像文書ＤＢ１９に新しい画像文書が保存されると、そのイメージデータより画像文書における見出し領域を定位して抽出して、文字画像を前述した文字画像特徴抽出部１４に送るものである。
図７に、画像文書５０に対して、Ｔ１、Ｔ２、Ｔ３の３領域を見出し領域として定位した様子を示す。この図７からも分かるように、画像文書５０におけるタイトル部分を見出し領域Ｔとして抽出する。
見出し領域初期処理部１８にて抽出されて文字画像特徴抽出部１４に送られる文字画像は、通常は複数の文字を含んだ文字列の画像である。したがって、これ以降は、見出し領域初期処理部１８より送られる文字画像は文字列の画像であるとして説明する。
本実施の形態では、見出し領域初期処理部１８は射影法と連通域統計分析により、見出し領域Ｔの定位及び抽出を行う。なお、このような見出し領域Ｔは、主にタイトル部分が相当し、例えば、特開平９−３１９７４７号公報、特開平８−１５３１１０などに記載されている方法など、従来ある様々な手法を用いることができる。
画像文書の全ての文字領域（テキスト領域）を対象とすることなく、このように見出し領域Ｔのみを定位し抽出しているため、検索の対象となる情報量を少なくして検索時間を短くできる。
但し、全てのテキスト領域を定位することなく、見出し領域Ｔのみを定位することは、検索に関して言えば必須の構成要素でなく、全文テキスト領域を定位して抽出することも可能である。ただし、後述する意味のある文書名の作成に関して言えば、見出し領域Ｔのみを定位することは必須の構成要素である。
文字画像特徴抽出部１４は、見出し領域初期処理部１８から入力される文字列の画像については、１文字の文字画像に分割した上で、字形特徴辞書１５の作成時と同様、各文字画像の特徴を抽出する。そして、抽出した特徴は、画像文書特徴ＤＢ２０に画像文書ごとに格納する。
画像文書特徴ＤＢ２０には、見出し領域初期処理部１８にて抽出された見出し領域Ｔに含まれる文字列の画像の特徴情報が、文字列を構成する各文字それぞれの特徴（特徴ベクトル）として格納される。
図７に示ように、１つの画像文書５０に対して、抽出された全ての見出し領域Ｔ１、Ｔ２、Ｔ３…に含まれる文字列の文字画像の特徴、つまり文字列を構成する各文字の文字画像の特徴が、画像文書５０の文書ＩＤと共に格納される。
次に、インデックス情報作成処理を実施するインデックス情報生成部３２を構成する、文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、インデックス情報ＤＢ１７、画像文書特徴ＤＢ２０について説明する。
文字画像特徴抽出部１４、字形特徴辞書１５、画像文書特徴ＤＢ２０の機能は既に説明したとおりである。
特徴適合部１６は、画像文書特徴ＤＢ２０より画像文書の見出し領域Ｔに含まれる文字画像の特徴を読み出し、該読み出した特徴に基づいて、字形特徴辞書１５を参照して後述するようにインデックス行列を作成して、画像文書のインデックス情報を生成するものである。
ここで、インデックス情報が１つの画像文書に対して１つ生成され、インデックス情報に含まれるインデックス行列は、見出し領域Ｔ毎に作成される。したがって、１つの画像文書内に見出し領域Ｔが複数ある場合は、当該画像文書のインデックス情報の中に複数のインデックス行列が含まれることとなる。
図８に、インデックス情報ＤＢ１７を作成する処理を示す。上述したように、ある画像文書が入力されて画像文書ＤＢ１９に格納されると、文字画像特徴取出部１４ｂが、各見出し領域Ｔに含まれる文字列の文字画像の特徴を抽出して、画像文書特徴ＤＢ２０に格納する。
特徴適合部１６は、画像文書特徴ＤＢ２０より、各見出し領域Ｔに含まれる文字列の画像の特徴を読み出し、単文字ごとに字形特徴辞書１５内の基準文字画像と適合を行って、見出し領域Ｔそれぞれのインデックス行列を作成する。
そして、特徴適合部１６は、これらインデックス行列に、当該画像文書のその他の情報である、文書ＩＤや画像文書ＤＢ１９内における該当する画像文書の保存位置の情報などを含めてインデックス情報とし、インデックス情報ＤＢ１７に格納する。
図９に、特徴適合部１６によるインデックス行列を作成する処理の一例を示す。図９は、図７における見出し領域Ｔ３に含まれる文字列「去神仙居住的地方」の８つの文字画像について、インデックス行列を作成する説明図である。
文字列『去神仙居住的地方』は、「去」「神」「仙」「居」「住」「的」「地」「方」の１文字画像に分割される。このような文字列の画像を１文字づつの画像に分割する処理は、既存の分割方法を利用できる。
「去」…「地」の８文字には、並び順に従い、「去」には１、「神」には２、…「方」には８というように、１〜８までの番号が付される。この番号は、インデックス行列の行番号に相当する。
このような８つの文字画像全てに対して、図９に参照符号Ｘにて示す、画像文書特徴ＤＢ２０より格納されている文字画像「去」に対する特徴を取り出し（Ｓ１）、字形特徴辞書１５を参照して特徴が近い（適合度が高い）順に、Ｎ個の候補文字を選択する（Ｓ２）といった処理が実施される。
適合度の高い順に抽出されるＮ個の候補文字には、抽出順序に応じた番号が付され、これがインデックス行列の列番号に相当する。そして、検索キーワードに含まれる各検索文字と候補文字との適合度を示す文字相関値（相関値）は、この列番号に応じて設定されている。
図９において、参照符号１００にて示すテーブルは、文字列『去神仙居住的地方』のインデックス行列の内容を示している。例えば、５文字目の「住」の文字画像に対しては、行番号５の行に適合度の高い１列目から順に、「任」,「佳」，「住」，…「仁」の候補文字が抽出されている。テーブル１００において、例えば候補文字「去」のインデックス行列内の位置は［１,１］、候補文字「屑」の位置は［４,２］、候補文字「仁」の位置は［５,Ｎ］となる。
なお、図９のテーブル１００では、理解を助けるために、文字列の各文字に対応する候補文字に対しては○を付して示している。
このようなインデックス行列の行数Ｍは、見出し領域初期処理部１８が見出し領域Ｔとして抽出した文字列の画像の文字数にて決まる。また、列数Ｎは、１文字について選出する候補文字数にて決まる。したがって、本発明によれば、インデックス行列の次元数（列数）を変えることで、インデックス行列内の要素数、つまり、候補文字数量を柔軟に設定することができる。そのため、画像文書の検索において、正確でほぼ漏れのない検索を行うことができる。
インデックス行列において、選択された候補文字の情報の持たせ方は、検索キーワードの入力方法に応じて適宜設定することができる。例えば、検索キーワードをキーボード１より入力する構成であれば、キーボードから入力された検索キーワードに対して検索を掛けることができるように、候補文字を文字コードなどの情報で格納する。
また、イメージスキャナ２などを用いて検索キーワードをイメージデータにて入力する構成であれば、検索キーワードの特徴（特徴ベクトル）を抽出し、特徴ベクトル同士を比べて掛けることができるように、候補文字を特徴（特徴ベクトル）の情報で格納すればよい。
図７に戻って、インデックス情報ＤＢ１７におけるインデックス情報のデータ配置例を説明する。複数の見出し領域Ｔ１、Ｔ２、Ｔ３…Ｔｎが存在する画像文書５０のインデックス情報では、複数の見出し領域Ｔ１、Ｔ２、Ｔ３…Ｔｎに対して作成されたインデックス行列が線形に配置される。図７の例では、文書ＩＤが先頭に配置され、続いて、複数のインデックス行列が配列され、最後に保存位置の情報が配置されている。ここで、５×Ｎは、インデックス行列のサイズを示しており５行Ｎ列であることを示している。
インデックス情報をこのようなデータ配置としておくことで、画像文書ＤＢ１９内の画像文書の格納位置と、画像文書中の見出し領域Ｔの位置を迅速に定位して、検索結果の表示に用いることができる。
また、実際の要求に従って、インデックス情報に画像文書の他の属性を追加することもできる。
本発明では、さらにインデックス行列１００に対して言語モデルを用いた語彙解析法を適用し、候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。
より具体的に言うと、特徴適合部１６は、作成したインデックス行列１００に基づいて、該インデックス行列における第１列目に位置する各行の候補文字を順に連ねた候補文字列を作成する。そして、この候補文字列を構成する連続する各行の候補文字によりなる単語の語義を解析し、候補文字列が意味をなすように各行の第１列目の候補文字を調整する。
図１０は、作成したインデックス行列を調整して第１列目の文字列が意味のある文字列となるように、語彙解析法を用いて調整した具体例を示す説明図である。
図１０の上部に示す調整前のインデックス行列１００により作成される候補文字列は「去伸仙居任酌地方」となり意味を成さない。
意味ある文書名として利用する候補文字列は、主語、述語、および目的語の接続詞関係等が意味的に正しくなければならない。そこで、語彙解析により、意味のある候補文字列に変換する。具体例には、複数のエラー候補文字に対し、概念辞書を使用し、複数のエラー候補文字と、候補テキストの他の単語との間の意味情報を分析し、候補文字列を意味ある文字列に修正する。
このような語彙解析に用いられる言語モデル６１は、すべての漢字で始まる活字の統計データを提供するものであればよい。つまり、この言語モデル６１のメインコンセプトにより、自動索引システムを技術的に確立することができ、中国語の新聞（たとえば「People’s Daily（人民日報）」）のスクリプトに関する統計データを得ることができる。
本実施形態では、言語モデルとしてバイグラムモデルを使用する。
バイグラムモデルは、２つの文字、２つの音節、または２つの単語のグループであり、テキストの簡単な統計分析の基礎として非常に一般的に使用される。
図１１は、バイグラムモデルに用いる辞書データ３００の構成例を示す図である。
辞書データの第1列目３０１は、２字の組み合わせの１番目の文字を示している。第２行目３０２は、１番目の文字と共に組み合わせを構成した文字の数を示している。第３行目３０３は、１番目の文字と共に組み合わせを構成した文字を示し、第４行目３０４は、組み合わせを構成した回数を示している。さらに、第５行目３０５は、組み合わせの中国語の文字数を示している。ここでは、バイグラムモデルを用いているので、文字数は全て２である。
候補文字列の調整では、マルコフ過程に基づいて文字の推移および混合の確率など、主に単語内の文脈情報を使用し、Vitarbi-style検索を行う。
上記のような中国語辞書のヘルプを用いて、インデックス行列を自動的に調整し、全ての最適候補が第1行目に調整される。
各文字ごとの適合度のみから決定したインデックス行列１００に基づいて、まず、第１列目の文字列に対し、前後検索を用いたバイグラムモデルによる調整を実行し、これにより適合した候補の正確性および効率性を向上することができる。
さらにその正確性を向上させるために、単語ベースでのバイグラムモデルによる調整を文字列の一部に実行する。これにより、処理速度が低下するが、高い正確性を得ることができる。
以下ではインデックス１００を例にして詳細な調整方法を説明する。
文字ベースでのバイグラムモデルを用いて、まず２行目と３行目との関係から、２行目の第２候補「神」を「伸」と入れ替えて第１候補とする。また、４行目と５行目との関係から、５行目の第３候補「住」を「任」と入れ替えて第１候補とする。
さらに単語ベースでのバイグラムモデルによる調整を行い、「神仙」および「居住」の単語の属性、およびこれらの関連性によって６行目の第２候補「的」を「酌」と入れ替えて第１候補に調整する。
このようにして調整されたインデックス行列２００の第１列目に含まれる候補文字列は、「去神仙居住的地方」となり、意味を成す文字列となる。なお、特徴適合部１６は、このような調整後のインデックス行列２００をインデックス情報ＤＢ１７に格納するようにしてもよい。
図１２は、バイグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。
ステップＳ１では、インデックス行列の最後の行に到達したかどうかを判断する。到達していなければステップＳ２に進み、到達していればステップＳ５に進む。
ステップＳ２では、着目されている行、すなわち一回目の処理の場合は１行目の第１候補を取り出す。ステップＳ３では、バイグラムモデルを適用して、着目されている行の第１候補と、これに隣接する行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。
ステップＳ４では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたものを第１候補とする。
ステップＳ５では、決定された第１候補の連接関係を最初の行から分析し、単語を決定する。ステップＳ６では、決定した単語間の第１候補を決定する。
ステップＳ７では、着目されている第１候補文字列の中にある文字集合は辞書データの語義ルールに合致するかどうかを判断する。合致すればステップＳ８に進んで処理を終了し、調整されたインデックス行列を得る。合致しなければステップＳ９に進んで合致しない行の第１候補を調整してステップＳ６に戻る。
本発明では、このようにして得られたインデックス行列を用いて、見出し語を抽出し、抽出した見出し語の一覧を表示する。
以下では、見出し語の抽出および一覧表示について説明する。
図１３は、見出し語の抽出処理および一覧表示処理を示す説明図である。
単語作成部４０は、インデックス情報ＤＢ１７に記憶されるインデックス行列を参照し、インデックス行列に含まれる各候補文字から複数の文字を取り出して単語を作成する。
見出し語抽出部４１は、作成された単語に対して、概念辞書４４を用いた意味解析を行い、意味を有する単語である見出し語を抽出する。
表示順序決定部４２は、抽出された見出し語に設定された重み情報などに基づいて表示順序を決定し、一覧表示部４３が、所定の見出し語表示領域に、決定された表示順序で見出し語を一覧表示する。
・見出し語の抽出
見出し語を抽出するにあたって、漢字２文字からなる見出し語を抽出する例について説明するが、２文字に限られるものではなく、同様の処理方法で３文字以上の見出し語も抽出可能である。
まず、インデックス行列に含まれる各候補文字の中から２つの文字を取り出して２文字の単語を作成する。前述のように、インデックス行列には、それぞれの文字画像に対してＮ個の候補文字があるが、見出し語の抽出にあたっては、処理速度などを考慮して第１列〜第Ｍ（Ｍ＜Ｎ）列までのＭ個の候補文字に対して抽出を行う。
１つの列に含まれる文字列から２文字の単語を作成する場合、単語は上下に隣接する２文字からのみ作成されるので、図１０に示したインデックス行列では、文字列の文字数が８であることから７つの単語が作成できる。
図１０に示した例では、１列当たり８文字からなりますので、上下に連続する２文字の組み、すなわち２文字の単語は、７個になります。たとえば、１行目の「去」と２行目の「神」とで２文字の単語「去神」、２行目の「神」と３行目の「仙」とで２文字の単語「神仙」、３行目の「仙」・・・・と繰り返すと、単語の数は７個となる。
１つの列に含まれる文字列からのみ単語を作成する場合、列の数はＭであるので７×Ｍの単語が作成される。
単語を構成する２つの文字が、それぞれ異なる列から取り出される場合、第１列から１文字目が取り出され、２文字目が他のＭ−１列から取り出されることになるので、７×（Ｍ−１）個の単語が作成される。１文字目が第２列から取り出される場合も作成される単語の数は同じであり、これを繰り返して１文字目が第Ｍ列から取り出されるまでに作成される単語の総和は、（７×（Ｍ−１））×Ｍ個となる。
以上から１つの列からのみ作成される単語と、異なる列から作成される単語との総和は、７×Ｍ＋（７×（Ｍ−１））×Ｍ個となる。作成された全ての単語に対して概念辞書による意味解析を行うことで、意味のある単語、すなわち見出し語を抽出することができる。
概念辞書による意味解析によって、解析の対象となる単語の意味を有する度合いを示す適合度が単語ごとに決定され、決定された適合度に基づいて、重み（適合重み）が設定されるとともに作成された単語の中から見出し語を抽出する。
抽出された見出し語については、さらに、一覧表示を行う際の指標となる単語の属性が決定され、属性ごとの重み（属性重み）が決定される。具体的には、抽出された見出し語が、名詞、動詞、形容詞などのいずれの属性に属するかを決定する。属性重みは、見出し語が名詞であればＷＮｏｕｎ、動詞であればＷＶｅｒｂ、として設定される。
抽出された見出し語それぞれに対しては、適合重みと属性重みとを掛け合わせた重み情報である総合重み情報を設定する。
図１４は、インデックス行列からの見出し語抽出処理を示すフローチャートである。
ステップＳ１１では、１つのインデックス行列から単語を作成する。単語は、上下に連続する２以上の文字を取り出して作成される。
ステップＳ１２では、作成された全ての単語に対して概念辞書による意味解析を行い、単語ごとの適合度を決定する。また、適合度に応じて単語ごとに適合重みを設定する。
ステップＳ１３では、適合度に基づいて見出し語を決定し抽出する。
ステップＳ１４では、抽出された見出し語に対して、属性を決定し属性に応じた属性重みを設定する。
また、同一の見出し語がそれぞれ異なる列から取り出されて作成される可能性があるため、各列に対して重みを設定し、見出し語に対して各文字を取り出した列に応じて重みを算出する。
各列に対して設定される重みをＷＣｏｌ１，ＷＣｏｌ２，…，ＷＣｏｌＭ（ＷＣｏｌ１＞ＷＣｏｌ２＞…＞ＷＣｏｌＭ）とする。抽出した見出し語の重みＷｉは、１文字目の重みと、２文字目の重みとを掛けたものとして算出される。前述の例における「神仙」の場合、「神」および「仙」がいずれも１列目の文字であるので、見出し語「神仙」の重みは、Ｗｉ＝ＷＣｏｌ１×ＷＣｏｌ１となる。ここで、ｉは１つの画像文書から作成されるインデックス行列の数（タイトル数）を示す。たとえば、１つの画像文書からＬ個のインデックス行列が作成されたとすると、１つの画像文書における見出し語の重みＷＤｏｃｋは、インデックス行列ごとの重みの総和であり、ＷＤｏｃｋ＝Ｗ１＋Ｗ２＋Ｗ３＋・・・＋ＷＬで算出される。
以上のようにして全てのインデックス行列に対して見出し語の抽出を行ったのち、抽出された多数の見出し語を分類し、互いに意味的な関連性を有する見出し語の集合であるクラスに集約させることが好ましい。
このクラスは、概念辞書を用いて見出し語同士の語彙的連鎖を決定し、語彙的連鎖に基づいて関連性の強い見出し語を集約させることで生成される。さらに生成された１つのクラス内に含まれる見出し語の中から代表となる見出し語を決定する。代表となる見出し語の決定は、たとえば前述のＷＤｏｃｋを比較し、ＷＤｏｃｋが最も大きな見出し語を代表として決定することができる。
見出し語同士の語彙的連鎖は、以下のようにして決定することができる。
語彙的連鎖の決定では、抽出された見出し語同士の意味的な類似度を算出する。２つの見出し語同士の類似度を算出するために、意味解析における単語間の距離を利用する。
２つの見出し語Ｗ１とＷ２に対して、Ｗ１とＷ２の単語の類似性をＳｉｍ（Ｗ１，Ｗ２）と定義し、Ｗ１とＷ２の単語の距離をＤｉｓ（Ｗ１，Ｗ２）と定義する。このとき、類似性Ｓｉｍ（Ｗ１，Ｗ２）は、単語間距離Ｄｉｓ（Ｗ１，Ｗ２）を用いて、Ｓｉｍ（Ｗ１，Ｗ２）＝α／（α＋Ｄｉｓ（Ｗ１，Ｗ２））で算出される。ここで、αは適宜調整可能なパラメータであり、見出し語Ｗ１とＷ２の類似性が０．５のときに、これら２つの単語Ｗ１，Ｗ２の距離を意味する値で、本実施形態では、α＝１．６と設定する。
概念辞書において、全ての概念は１または複数のツリー構造で構成される。ツリー構造において、単語（見出し語）は１つのノードを構成し、１つのツリー構造における２つのノード間を繋ぐ経路はただ１つの経路を有することになる。この経路の長さを単語間の距離Ｄｉｓ（Ｗ１，Ｗ２）として用いる。
図１５は、概念辞書に含まれるツリー構造の例を示す図である。例に示したツリー構造では、単語Ｗ１と単語Ｗ２の両ノードを繋ぐ経路は破線で表される経路であり、距離は４である。これを上記の計算式に代入すると、類似度Ｓｉｍ（Ｗ１，Ｗ２）＝１．６／（１．６＋４）＝０．２８６として算出される。
このようにして算出された類似度Ｓｉｍ（Ｗ１，Ｗ２）に基づいて、語彙的連鎖を決定し、関連性の強い見出し語を１つのクラスに集約させることができる。
詳細には、抽出された見出し語の中から総計重みＴＦが最も大きな見出し語を選択して基準となる見出し語（基準語）を選択する。ここで、総計重みＴＦとは、複数の画像文書からなる画像ライブラリにおいて、前述した見出し語の重みＷＤｏｃｋを、見出し語ごとに合計して算出した重みである。
概念辞書のツリー構造に基づいて、選択された基準語と他の見出し語との距離を決定するとともに、予め定めるパラメータαと、決定した距離とを上記計算式に代入して類似度を算出する。
算出された類似度に基づいて、語彙的連鎖を生成し、クラスに集約させる。
図１６は、クラス分類処理を示すフローチャートである。
ｎ個の見出し語をＳｗ１,Ｓｗ２，・・・，Ｓｗｎとし、算出した類似度をＳ１２，Ｓ１３，・・・，Ｓ（ｎ−１）ｎとする。なお、類似度Ｓｉｊは、見出し語Ｓｗｉと見出し語Ｓｗｊとの類似度を示す。
まずステップＡ１では、算出された類似度Ｓｉｊを第１の閾値Ｔｈ１と比較し、閾値Ｔｈ１以上の類似度であれば、ステップＡ２で見出し語Ｓｗ１を単一のクラスとする。これを繰り返し、全ての類似度について閾値処理を行い、Ｍ個の単一クラスの見出し語を得る（ステップＡ３）。
ステップＡ４で、Ｍ＝ｎであるかどうかを判断し、Ｍ＝ｎであればステップＡ５で、ｎ個全ての見出し語を単一のクラスとして分類する。
Ｍ＝ｎでなければ、ステップＡ６に進み、全ての類似度の中から最小の類似度Ｓｉｊを検出する。ステップＡ７では、最小の類似度となる２つの見出し語ＳｗｉとＳｗｊとを１つのクラスＣｉｊとして分類する。
ステップＡ８では、最小の類似度Ｓｉｊを除く残りの類似度の中から最大の類似度Ｓｋｍを検出する。
ステップＡ９では、（（Ｓｋｉ＋Ｓｋｊ）／Ｓｋｍ）と第２閾値Ｔｈ２とを比較し、閾値Ｔｈ２以下であればステップＡ１０で、見出し語ＳｗｋをクラスＣｉｊに分類する。ステップＡ１１では、分類すべき見出し語が残っているかどうかを判断する。残っていればステップＡ６に戻り、分類されずに残った見出し語について処理を繰り返す。残っていなければ全ての見出し語が分類されたとして、分類処理を終了する。
このようにして関連性が強い見出し語同士を含むクラスを複数作成する。さらに作成されたクラス内で、重みＷＤｏｃｋが最も大きな見出し語を代表として決定する。
以上のようにして、見出し語の抽出、クラスへの集約を行い、見出し語ごとに、属するクラス、属するインデックス行列、属する文書画像、属するライブラリなどの情報が関連付けられたデータ構造を生成する。ライブラリとは、一連の文書画像からなる文書画像群である。
・見出し語の一覧表示
次に、抽出された見出し語の一覧表示について説明する。
抽出した全ての見出し語から、同一の見出し語を集約し、データ構造と関連付ける。ここでのデータ構造は、属する文書画像、重み情報、属するインデックス行列、インデックス行列の文書画像における位置情報（タイトルの位置情報）などを含む。
重み情報については、ある１つの見出し語を含む文書画像がｋ個あった場合、当該見出し語の重み情報Ｆは、Ｆ＝ＷＤｏｃ１＋ＷＤｏｃ２＋・・・＋ＷＤｏｃｋで算出される。この重み情報Ｆは、当該見出し語が現れた回数に基づく統計的な重みであるので以下では統計重み情報という。
この統計重み情報と、意味解析に基づいて設定される前述の総合重み情報とに基づいて、見出し語の表示順序を決定する。
決定された表示順序に基づいて、表示画像の予め定める見出し語表示領域に見出し語を一覧表示する。
図１７は、一覧表示した見出し語の表示画面例を示す図である。図に示した画面例では、本発明の画像文書処理プログラム実行時のウィンドウＷの上部中央付近に、「 Subject Words」の文字を付した見出し語表示領域ＳＡを設け、決定された表示順序に基づいて、この領域ＳＡ内に見出し語を表示している。
一覧表示する見出し語については、ライブラリ全体から抽出した全ての見出し語を表示することも可能であり、１つの文書画像のみから抽出した全ての見出し語を表示することも可能である。また、抽出された全ての見出し語を表示してもよいし、各クラスの代表となる見出し語のみを表示するようにしてもよい。
なお、見出し語表示領域に全ての見出し語を表示できない場合は、見出し語表示領域内でスクロールさせ、表示順序に従って順次表示させるように構成してもよい。
このようにして一覧表示した見出し語の中からユーザが任意の１語を選択することで、その見出し語が含まれる文書画像を提示することも可能である。
ライブラリに含まれる全ての見出し語を、見出し語表示領域に一覧表示し、ユーザがその表示領域から１つの見出し語を選択すると、選択された見出し語を含む文書画像を所定の順序で提示する。文書画像を提示する際の順序は、文書画像ごとに算出されているＷＤｏｃｋを参照し、ＷＤｏｃｋが大きいものから順に表示すればよい。
見出し語と、これを含む文書画像、および重みＷＤｏｃｋは関連付けられて記憶されているデータ構造を参照することで即座に取得することが可能である。
このように、ライブラリや文書画像から見出し語を抽出し、これを一覧表示することで、ユーザは、ライブラリや文書画像に含まれる文書の内容の概略を効率よく知ることが可能で、後述の検索処理を行う際のキーワード入力を補助したり、キーワード入力の前に予め検索範囲を絞り込むことができる。
次に、インデックス情報を用いた検索処理を実施する検索部２２について説明する。図１８は、検索部２２の機能と検索処理とを示す説明図である。検索部２２は、インデックス行列検索処理部２２ａ、文字相関値保存部（保存部）２２ｂ、相関度算出部２２ｃ、表示順序決定部（順序決定部）２２ｄ、及び画像文書抽出部２２ｅを含む。
インデックス行列検索処理部２２ａには、キーワード入力部２４より検索キーワードが入力される。キーワード入力部２４としては、前述したキーボード１或いはイメージスキャナ２などが相当する。
インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７に対して検索を行い、入力された検索キーワードを含むインデックス行列を検出するものである。インデックス行列検索処理部２２ａは、検索キーワードを１文字ごとに分割し、各検索文字を含むインデックス行列を探し、検索文字が含まれている場合は、当該検索文字のインデックス行列内の適合位置の情報を取得する。なお、インデックス行列の抽出手順例については、図１９のフローチャートを用いて後述する。
文字相関値保存部２２ｂは、インデックス行列検索処理部２２ａにて取得された適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存するものである。
相関度算出部２２ｃは、インデックス行列検索処理部２２ａにおける全てのインデックス行列に対する検出が完了すると、検出されたインデックス行列と検索キーワードとの相関度を算出するものである。
相関度の算出は、文字相関値保存部２２ｂに保存されている適合位置及び文字相関値の情報を用い、予め設定されている相関度算出方法に従うことで算出する。相関度の算出については、図２０、図２１を用いて後述する。
なお、ここでは、文字相関値保存部２２ｂが、適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存する構成としていたが、文字相関値保存部２２ｂは、適合位置のみを保存し、相関度算出部２２ｃが、適合位置の情報より文字相関値を取得する構成としてもよい。
表示順序決定部２２ｄは、相関度算出部２２ｃにて算出された相関度の情報を基に、表示順序を決定するものである。表示順序決定部２２ｄは、相関度の高いインデックス行列を含む画像文書より順に、画像文書の内容が検索結果表示部２５に表示されるように表示順序を決定する。
画像文書抽出部２２ｅは、表示順序決定部２２ｄにて決定された順序に従い画像文書が表示されるように、画像文書ＤＢ１９より画像文書のイメージデータを読み出し、検索結果表示部２５に出力して表示させるものである。
検索結果表示部２５は、表示順序に従い画像文書を表示する。サムネイル表示などであってもよい。検索結果表示部２５としては、前述した表示装置３などが相当する。
ここで、検索手順について説明する。図１９は、検索部２２における検索手順を示すフローチャートである。Ｒ個の文字列よりなる検索キーワードが入力され、検索が指示されると、インデックス行列検索処理部２２ａは、まず、検索キーワードの第１番目の検索文字を取り出す（Ｓ２１）。
次に、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第１番目の検索文字を検索する（Ｓ２２）。
全てのインデックス行列に対する検索が完了すると、第１番目の検索文字を検索できたかどうかを判断し、１つも検索できなかった場合はＳ２９に移行し、検索できた場合はＳ２４に進む。
Ｓ２４においては、インデックス行列検索処理部２２ａが、第１番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。
続いて、インデックス行列検索処理部２２ａは、第１番目の検索文字が含まれていた全てのインデックス行列を取り出す（Ｓ２５）。そして、検索キーワードの次の文字である第２番目の検索文字を取り出し、Ｓ２５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する（Ｓ２６）。
Ｓ２５で取り出した全てのインデックス行列に対する検索が完了すると、第２番目の検索文字を検索できたかどうかを判断し（Ｓ２７）、１つも検索できなかった場合は上記と同様にＳ２９に移行し、検索できた場合はＳ２８に進む。
Ｓ２８においては、インデックス行列検索処理部２２ａが、第２番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。
続いて、インデックス行列検索処理部２２ａは、再度Ｓ２６に戻り、検索キーワードのさらに次の文字である第３番目の検索文字を取り出し、Ｓ２５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する。
そして、ここでも、検索が完了すると、インデックス行列検索処理部２２ａは、第３番目の検索文字を検索できたかどうかを判断し（Ｓ２７）、１つも検索できなかった場合はＳ２９に移行し、検索できた場合は再度Ｓ２８に進み、検索キーワードのさらなる次の検索文字についての検索を行う。
このようなＳ２６〜Ｓ２８までの処理、つまり、Ｓ２５にて抽出した、第１番目の検索文字が含まれているインデックス行列を対象とした、第２番目以降の各検索文字の絞り込み検索を、インデックス行列検索処理部２２ａは、Ｓ２７で文字を１つも検出できなかったと判断するか、検索キーワード内の全検索文字に対しての検索が完了したと判断するまで行い、その後、Ｓ２９に移行する。
Ｓ２９では、検索キーワードにおける次の文字である第２番目の検索文字を取り出す。次いで、検索文字が終わりか、つまり、全ての検索文字に対して検索を終えたかどうを判断し（Ｓ３０）、終わっていない場合は、Ｓ２２に戻る。
そして、上記と同様にして、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第２番目の検索文字を検索する。検索できた場合は、インデックス行列の適合位置と文字相関値を保存した上でＳ２５に進み、第２番目の検索文字を含んでいる全てのインデックス行列に対して、検索キーワードの次の文字、つまり、第２番目の次である第３番目以降の各検索文字に対して、Ｓ２６〜Ｓ２８を繰り返し行って絞り込み検索を行う。
インデックス行列検索処理部２２ａは、上記のような検索を、Ｓ２９で検索文字を一つ進め、進めた検索文字を含むインデックス行列を取り出し、それ以降の検索文字にて絞り込みを掛けるといった処理を、第３番目以降の各検索文字についても順次行う。
そして、Ｓ２９にて検索キーワード内の全ての検索文字について取り出しを終え、Ｓ３０にて、全ての検索文字に対して検索を終了したと判断した場合は、Ｓ３１に進む。
Ｓ３１では、相関度算出部２２ｃが、検索キーワードと各インデックス行列との相関度を、後述するように相関度基準にしたがって算出する。
そして、表示順序決定部２２ｄが相関度の高いインデックス行列を含む画像文書より表示されるように表示順序を決定し、画像文書抽出部２２ｅが画像文書ＤＢ１９より画像文書のイメージデータを取得し、検索結果表示部２５が相関度の高い順に画像文書を表示する（Ｓ３２）。
続いて、図２０、図２１を用いて、相関度算出部２２ｃにおける相関度基準にしたがった、インデックス行列と検索キーワードとの相関度算出方法について説明する。
図２０の参照符号１０１のブロックには、検索条件を記載している。そして、参照符号１０２のブロックには、相関度を計算するためのある仮定の検索キーワードとインデックス行列との相対関係を記載している。ブロック１０１に示した検索条件で、検索キーワードとインデックス行列とが、ブロック１０２に示すような相対関係であった場合、検索キーワードとインデックス行列の相関度は、ブロック１０３にて示されるような計算式にて算出されることとなる。
まず、ブロック１０１の検索条件について説明する。検索キーワードの文字数はＲ個であり、第１番目の検索文字がＣ１、第２番目がＣ２、…、第Ｒ番目がＣｒである。
検索対照となるインデックス行列はＭ×Ｎ次行列である。つまり、見出し領域Ｔとして切り出された文字列画像の文字数がＭ個であり、文字列の各文字それぞれの候補として選択された候補文字数がＮ個である。
検索文字と各候補文字との相関値である文字相関値は、インデックス行列の各位置に応じて定められているので、インデックス行列と同じ次数の行列となる。つまり、文字相関値行列Weightは、Ｍ×Ｎ次行列である。例えば、Weight[i][j]は、インデックス行列における位置［ｉ，ｊ］（＝I ndex[i][j]）にある候補文字が適合された場合の文字相関値を表している。本実施の形態では、インデックス行列の列番号[ｊ]が同じであれば、行番号[ｉ]に関わらず、文字相関値は同じである。
行の相関度加重因子Ｑは、インデックス行列における隣接する２行にわたって、検索文字が適合した場合に、それら２行の文字相関値に加えられる加重である。隣接する２行にわたって検索文字が適合する場合、検索キーワードの連続する２文字を含んでいる可能性が高い。
行の相関度加重因子Ｑを高く設定すると、相関度算出部２２ｃが算出する相関度への貢献度が、連続的に適合された２行の文字相関値では大きくなるが、隣接しない各行の文字相関値では小さくなる。つまり、行の相関度加重因子Ｑを高く設定することで、語彙を一つの単位として検索した結果に近づくようになり、逆に行の相関度加重因子Ｑを小さくすることで、字を１つの単位として検索した結果に近づくようになる。
検索文字Ｃ１が適合した文字相関値はＷ１、検索文字Ｃ２が適合した文字相関値はＷ２,…、検索文字Ｃｒが適合した文字相関値はＷｒとして表す。
続いて、ブロック１０２に示す、相関度を計算するために仮定した、検索キーワードとインデックス行列との相対関係について説明する。
検索キーワードとインデックス行列とは、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にある。検索文字Ｃ１、Ｃ２、…Ｃｒが適合した各候補文字のインデックス行列内の位置、つまり適合位置を、［Ｃ１ｉ，Ｃ１ｊ］,［Ｃ２ｉ，Ｃ２ｊ］,…［Ｃｒｉ，Ｃｒｊ］として表す。
そして、さらなる相対関係として、ブロック１０２に示す式（１）、
Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１，Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１（ｍ＞ｋ） …（１）
の関係にある。
該式において、ｋ,ｍは、検索キーワードを構成する各検索文字の相対位置を表している。また、Ｃ（ｋ＋１）ｉは、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号を示し、Ｃｋｉは、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号を示している。
したがって、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号が、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号にプラス１したものと同じであることを示している。換言すると、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。
Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１も同様であり、検索キーワードの第ｍ＋１番目の検索文字と第ｍ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。
検索キーワードとインデックス行列とが、このような相対関係にある場合、検索キーワードとインデックス行列との相関度は、ブロック１０３に示す式（２）にて算出される。
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗｒ …（２）
該式において、Ｗ１は、第１番目の検索文字Ｃ１が適合した文字相関値であり、Ｗ２は第２番目の検索文字Ｃ２が適合した文字相関値、Ｗ(ｋ−1)は、第（ｋ−１）番目の検索文字Ｃ（ｋ−１）が適合した文字相関値である。同様にして、Ｗ(ｋ)は、第ｋ番目の検索文字Ｃｋが適合した文字相関値であり、Ｗ(ｋ＋１)は、第(ｋ＋１)番目の検索文字Ｃ(ｋ＋１)が適合した文字相関値である。また、Ｗ(ｍ−1)は、第（ｍ−１）番目の検索文字Ｃ（ｍ−１）が適合した文字相関値である。同様にして、Ｗ(ｍ)は、第ｍ番目の検索文字Ｃｍが適合した文字相関値であり、Ｗ(ｍ＋１)は、第(ｍ＋１)番目の検索文字Ｃ(ｍ＋１)が適合した文字相関値である。そして、最後のＷｒは、第ｒ番目の最後の検索文字Ｃ１が適合した文字相関値である。
このように、相関度の算出においては、検索キーワードを構成する全検索文字の文字相関値Ｗが積算（累計）される。
そして、式（２）におけるＱ*（Ｗｋ＋Ｗ(ｋ＋１)）は、検索キーワードにおける第ｋ番目の検索文字Ｃｋと第（ｋ＋１）番目の検索文字Ｃ（ｋ＋１）とが、インデックス行列における隣接した２行にそれぞれ適合しているので、文字相関値Ｗｋと文字相関値Ｗ(ｋ＋１)とに行の相関度加重因子Ｑが掛け合わされていることを示している。Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）についても同様である。
なお、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。Ｗ(ｍ−1)とＷｍについても同様である。
ところで、図２０のブロック１０２に示した検索キーワードとインデックス行列との相対関係では、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあるとしたので、式（２）においては、Ｗ１〜Ｗｒまでの全ての検索文字の文字相関値が累積されている。
しかしながら、これは一例であり、例えば、式（１）の相対関係を有するものの、検索文字Ｃ１と検索文字Ｃｒとがインデックス行列内の何れの候補文字にも適合しなかった場合の相関度を算出する式は、次式のようになり、累積項が少ない分、当然その相関度は低くなる。
SimDegree＝Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗ（ｒ−１）
また、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあり、かつ、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字、及び、第ｋ＋２番目の検索文字と第ｋ＋１番目の検索文字とが、それぞれ隣接した２行に適合する関係にある場合、相関度を算出する式は次式のようになるであろう。
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)
＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)＋Ｗ（ｋ＋２））…＋ＷＲ
この場合も、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。
次に、図２１を用いて、相関度計算の具体例を説明する。ここでは、図１０に示した、文字列『去神仙居住的地方』のインデックス行列（テーブル２００参照）と、検索キーワード『神仙』との相関度を求める。
図２１のブロック１０４に検索条件を示す。相関値行列WeightはＭ×Ｎ次，文字相関値はWeight[i]＝[１，１−１/Ｎ，１−２/Ｎ，…，１/Ｎ]（ｉ＝０，１，…，Ｍ−１），行の相関度加重因子Ｑである。
検索キーワード『神仙』は、それぞれ、第１番目の検索文字である『神』と第２番目の検索文字である『仙』とに分割され、それぞれに対してインデックス行列内の候補文字に対して検索される。
図１０のテーブル２００を参照すると分かるように、検索文字である『神』は、インデックス行列における位置[ｉ，ｊ]の[２，１]に適合し、検索文字である『仙』は、インデックス行列における[３，１]に適合する。
したがって、ブロック１０５に示すように、検索文字『神』の文字相関値は１、検索文字『仙』の文字相関値は１となる。
そして、検索文字『神』の行番号は[２]であり、検索文字『仙』の行番号は[３]であり、図１０のテーブル２００に示すように、これら２つの検索文字は、インデックス行列における隣接した２行にそれぞれ適合している。
したがって、ブロック１０６に示すように、検索文字『神』の文字相関値１と検索文字『仙』の文字相関値１には、行の相関度加重因子Ｑが掛け合わされ、検索キーワードの『神仙』と文字列『去神仙居住的地方』のインデックス行列との相関度は、SimDegree＝Ｑ*（１＋１）＝２Ｑとなる。
検索キーワードとインデックス行列との相関度は、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを、ユーザの要望にしたがって柔軟に調整することで、より理想的な検索結果を得ることができる。
ユーザは、キーボード１などを用いて、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを必要に応じて適宜設定することができる。
そして、このような画像特徴によるインデックスと適合方式は、多言語の画像文書のインデックスと検索を満足できる、文字認識を行わず、計算量が少ない。本発明は中国語に限らず各種言語の画像文書に応用できる。
続いて、語彙解析機能（語義分析機能）付き検索処理について説明する。図１８にも示したように、本実施の形態の画像文書処理装置１０では、キーワード入力部２４と検索部２２との間に、語彙解析部２３が設けられている。図２２に語彙解析機能付きの検索処理を示す。
語彙解析部２３は、語義分析処理部２３ａと語義辞典２３ｂとから構成される。語義分析処理部２３ａは、キーワード入力部２４から検索キーワードが入力されると、語義辞典２３ｂを参照して、検索キーワードの語彙を分析する。
例えば、検索キーワードとして「中日関係」が入力されると、語義分析処理部２３ａは、「中日関係」に関連する単語として、例えば「中国」，「日本」，「関係」の３つを検索部２２に入力する。これら「中国」，「日本」，「関係」はｏｒの関係にあり、検索式は、「中国」ｏｒ「日本」ｏｒ「関係」となる。
検索部２２には、該検索式「中国」ｏｒ「日本」ｏｒ「関係」が入力され、検索部２２は、インデックス情報ＤＢ１７に対して検索を掛け、「中国」を含む画像文書、「日本」を含む画像文書、及び「関係」を含む画像文書を抽出する。
これにより、入力された検索キーワードが直接的に含まれている画像文書だけでなく、関連の画像文書も検索できる。
前述のように、一覧表示された見出し語から見出し語を選択したのち、キーワードを入力して検索すると、選択された見出し語によって文書画像が絞り込まれ、絞り込まれた文書画像を検索対象としてキーワードを検索するので、検索処理を高速化することができる。
次に、画像文書管理処理を実施する画像文書管理部５７について説明する。画像文書管理部５７は、文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴ＤＢ２０、文書名作成部５１、画像文書ＤＢ管理部５２、画像文書表示部５３、指示入力部５４により構成されており、これらについて説明する。
文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴ＤＢ２０の機能については既に説明している。ここでは、意味のある文書名を作成して画像文書特徴ＤＢ２０の画像文書を管理する画像文書管理処理を実施するためにさらに必要な機能のみ、適宜説明する。
図２３を用いて画像文書管理処理を説明する。イメージスキャナ２やデジタル撮影装置６にて構成される画像文書入力部２１より、画像文書１〜Ｎが入力される。
入力された画像文書１〜Ｎに対し、見出し領域初期処理部１８が、それぞれの画像文書の内容を分析して、見出し領域を切出して文字列を取得する。続いて、図示してはいないが、文字画像特徴抽出部１４が、前記と同様に、切出された見出し領域に含まれる文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する。
そして、このように抽出された文字列画像の画像特徴を基に、字形特徴辞書１５および特徴適合部１６からなる候補文字列生成部５５が、画像特徴の適合度が高い文字画像を候補文字として選択して、切出された見出し領域に含まれる文字列に応じた候補文字列を作成するとともに、上記のように語彙解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。
候補文字列生成部５５にてこのように生成された意味のある候補文字列は、文書名作成部５１に送られる。
文書名作成部５１は、入力された画像文書に対して、候補文字列生成部５５にて生成された意味のある候補文字列を含めた文書名を作成する。この意味のある候補文字列が含まれた文書名を、以下においては「意味のある文書名」と称する。
文書名作成部５１には、時間データ等発生部６０から、画像文書が入力された時間および入力経路を示すデータ等のその他のデータも入力されるようになっている。文書名作成部５１は、時間データ等発生部６０から入力される時間データを少なくとも含むその他のデータを用いて、書類名を生成することもできる。
たとえば、時間データ等のその他のデータのうち、時間データを意味のある文書名に含め、意味のある文書名を、時間データと意味のある候補文字列よりなる構成としてもよい。
あるいは、時間データ等のその他のデータを用いて、同じ画像文書に、別の文書名を作成してもよい。時間データ等のその他のデータ等にて構成された文書名を、以下、オリジナル文書名と称する。
このような構成とすることで、１つの画像文書を、意味のある文書名と、時間データ等のその他のデータ等にて構成されたオリジナル文書名とで管理することが可能となる。
個々の画像文書に対して生成された意味のある文書名、およびオリジナル文書名は、画像文書ＤＢ管理部５２に送られ、画像文書ＤＢ１９に、画像文書のイメージデータに対応させて格納される。
画像文書ＤＢ管理部５２は、キーボード１等により構成される図１に示す指示入力部５４を用いて、画像文書ＤＢ１９に蓄積されている画像文書の閲覧指示等がユーザよりなされると、表示装置３等より構成される図１の画像文書表示部５３に、閲覧画面を表示する。
図２４に、画像文書表示部５３に表示される、画像文書ＤＢ１９に格納されている画像文書の閲覧画面の一例を示す。
図において、左側に示されている画面２０１は、蓄積されている画像文書がオリジナル文書名にて一覧表示されている状態を示す。画面２０１の上には、各画像文書の入力順を示している。紙面一番手前にある「ＡＲ Ｃ２６２Ｍ ２００６０８０３ １０３１４０」とのオリジナル文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書となる。「２００６０８０３」は入力日（２００６年８月３日）を表し、「１０３１４０」は時間（１０時３１分４０秒）を表している。
このような表示状態において、画面に表示されている「意味のある文書名」のタグを選択するなどの操作にて、閲覧画面の表示は、図において、右側に示されている画面２０２へと遷移する。画面２０２は、蓄積されている画像文書が意味のある文書名にて一覧表示されている状態を示す。
この画面２０２は、画面２０１に対応しており、ここでも、画面２０１の上部に示す、紙面一番手前にある「定格惠州西湖」との意味のある文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書である。
このように、意味のある文書名にて閲覧できることにより、ユーザによる蓄積された画像文書の管理やサーチが容易に実施できるようになる。また、オリジナル文書名も併せて作成されることで、時間データ等の情報も、書類名と同時にみることができる。
なお、本画像文書処理装置においては、作成したインデックス行列を用いてインデックス情報を作成し、検索処理に用いる。そのため、見出し領域初期処理部１８は、画像文書に含まれる複数の見出し領域Ｔを抽出し、それぞれにインデックス行列を作成するようになっている。しかしながら、画像文書に意味のある文書名を作成することのみを目的とするのであれば、画像文書に含まれる複数の見出しを抽出してそれぞれにインデックス行列を作成する必要はない。
つまり、画像文書を最もよく表す見出し領域に含まれる見出しの文字列（文字画像列）に対してインデックス行列を作成し、これに基づき、特徴がマッチする文字列を使用して、意味の持つ名称を作成するように構成すればよい。
画像文書を最もよく表す見出し領域としては、たとえば、抽出された複数の見出し領域のうち、画像文書の一番上の行に存在するものとすることができる。これは、重要な見出しは、画像文書の一番上の行に配されることが多いためである。
また、見出し領域に含まれる文字のサイズが、ある閾値より大きく、抽出された他の見出し領域のものよりも大きいものとすることもできる。これは、重要な見出しは、他の見出しよりも大きな文字のサイズにて記載されることが多いためである。
あるいは、見出し領域に含まれる文字のフォント（字形）タイプが、抽出された他の見出し領域のものと異なるものとすることもできる。これは、重要な見出しは、他の見出しとは異なるフォント（字形）にて記載されることが多いためである。なお、これら以外の基準を付加することもでき、また、各基準は、個々に用いてもよいし、組合わせて用いてもよい。
また、本画像文書処理装置のように、１つの画像文書について、複数の見出し領域を抽出し、それぞれにインデックス行列を作成する構成では、見出し領域の配置位置や、文字サイズ、あるいはフォントにて、最も重要な見出し領域のインデックス行列を特性するようにすればよい。また、特に、このような場合であれば、抽出された複数の見出し領域のインデックス行列より、最も頻出する単語が候補文字列に含まれるように作成することも好ましい。
本発明の他の実施形態として、バイグラムモデルの代わりにマルチグラムモデルを用いてインデックス行列の調整を行うことも可能である。
上記の実施形態とは、候補文字列の調整方法において、マルチグラムモデルを用いることのみが異なるだけで、その他の構成については同様であるので、詳細な説明は省略する。
図２５は、マルチグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。
ステップＳ４１では、インデックス行列の最後の行に到達したかどうかを判断する。到達していなければステップＳ４２に進み、到達していればステップＳ５０に進む。
ステップＳ４２では、着目されている行、すなわち一回目の処理の場合は１行目の第１候補を取り出す。ステップＳ４３では、マルチグラムモデルを適用して、着目されている行の第１候補と、これに隣接する行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。
ステップＳ４４では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたかどうかを判断する。閾値を越えていればステップＳ３５に進み、閾値を越えていなければステップＳ４６に進む。
ステップＳ４５では、隣接する行の第１候補を決定してステップＳ４６に進む。ステップＳ４６では、再度マルチグラムモデルを適用して、着目されている行とこれに続く複数の行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。
ステップＳ４７では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたかどうかを判断する。閾値を越えていればステップＳ４８に進んで着目されている行に続く複数の行の第１候補を決定する。閾値を越えていなければステップＳ４９に進んで最大頻度を示す文字を選択して暫定的に第１候補を決定する。
ステップＳ５０では、決定された語、または語句の間の関連性に基づいて暫定の第１候補を決定する。ステップＳ５１では、第１候補文字列の中にある文字集合は辞書データの語義ルールに合致するかどうかを判断する。合致すればステップＳ５２に進んで処理を終了し、調整されたインデックス行列を得る。合致しなければステップＳ５３に進んで合致しない行の第１候補を調整して処理を終了する。
このように、マルチグラムモデルを適用することで、バイグラムに比べてより正確な候補文字列を作成することができる。
最後に、画像文書処理装置の各ブロック、特に、字体正規化処理部１２、文字画像特徴抽出部１４、特徴適合部１６、見出し領域初期処理部１８、検索部２２、語彙解析部２３、文書名作成部５１、画像文書ＤＢ管理部５２等は、ハードウエアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウエアによって実現してもよい。
すなわち、画像文書処理装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウエアである画像文書処理装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像文書処理装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。
また、画像文書処理装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。
画像文書処理装置１０の構成を大略的に示すブロック図である。 画像文書処理装置１０の構成を詳細に示すブロック図である。 字体正規化処理部１２が字形見本ＤＢ１３を作成する処理を示す図である。 文字画像外囲特徴の説明図である。 網格方向特徴の説明図である。 文字画像特徴抽出部１４による字形特徴辞書１５を作成する処理を示す図である。 画像文書５０に対して、Ｔ１、Ｔ２、Ｔ３の３領域を見出し領域として定位した様子を示す図である。 インデックス情報ＤＢ１７を作成する処理を示す図である。 特徴適合部１６によるインデックス行列を作成する処理の一例を示す図である。 作成したインデックス行列を調整して第１列目の文字列が意味のある文字列となるように、語彙解析法を用いて調整した具体例を示す説明図である。 バイグラムモデルに用いる辞書データ３００の構成例を示す図である。 バイグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。 見出し語の抽出処理および一覧表示処理を示す説明図である。 インデックス行列からの見出し語抽出処理を示すフローチャートである。 概念辞書に含まれるツリー構造の例を示す図である。 クラス分類処理を示すフローチャートである。 一覧表示した見出し語の表示画面例を示す図である。 検索部２２の機能と検索処理とを示す説明図である。 検索部２２における検索手順を示すフローチャートである。 検索キーワードとインデックス行列との相関度を算出する方法を示す説明図である。
検索キーワードとインデックス行列との相関度の算出を、具体例を用いて示す説明図である。 語彙解析機能付きの検索処理を示す説明図である。 画像文書管理部における処理を示す説明図である。 画像文書表示部５３に表示される、画像文書ＤＢ１９に格納されている画像文書の閲覧画面の一例を示す。 マルチグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。
符号の説明
１ キーボード
２ イメージスキャナ
３ 表示装置
４ プロセッサ
５ 外部記憶装置
６ デジタル撮影装置
１０ 画像文書処理装置
４０ 単語作成部
４１ 見出し語抽出部
４２ 表示順序決定部
４３ 一覧表示部
４４ 概念辞書

Claims (6)

  1. 文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、
    入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、
    前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
    前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成する特徴適合部と、
    前記特徴適合部にて作成された第１インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
    前記インデックス情報格納部に格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成する単語作成部と、
    前記単語作成部により作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する見出し語抽出部と、
    前記見出し語抽出部により抽出された見出し語の表示順序を決定する表示順序決定部と、
    所定の見出し語表示領域に、前記表示順序決定部により決定された表示順序で見出し語を一覧表示する一覧表示部とを有することを特徴とする画像文書処理装置。
  2. 前記見出し語抽出部は、抽出された見出し語に、意味解析に基づく重みを設定し、
    前記表示順序決定部は、前記見出し語抽出部による意味解析に基づく重みに基づいて見出し語の表示順序を決定することを特徴とする請求項１記載の画像文書処理装置。
  3. 前記表示順序決定部は、作成された単語における見出し語の統計情報を算出し、算出した統計情報に基づいて見出し語の表示順序を決定することを特徴とする請求項１記載の画像文書処理装置。
  4. 一覧表示された見出し語のうち、１つの見出し語を選択する選択部と、
    前記選択部により選択された見出し語を含むインデックス行列に対応付けられた画像文書を提示する提示手段とを有することを特徴とする請求項１記載の画像文書処理装置。
  5. 前記画像文書処理装置はさらに、検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含む第１インデックス行列を有する画像文書を取り出す検索部とを有することを特徴とする請求項１記載の画像文書処理装置。
  6. 入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、
    前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
    前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成する特徴適合ステップと、
    前記特徴適合ステップにて作成された第１インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
    インデックス情報格納ステップにて格納された第１インデックス行列に含まれる候補文字を複数組み合わせて単語を作成する単語作成ステップと、
    前記単語作成ステップにより作成された単語に対して、概念辞書を用いた意味解析を行い、意味を有する単語である見出し語を抽出する見出し語抽出ステップと、
    前記見出し語抽出ステップにより抽出された見出し語の表示順序を決定する表示順序決定ステップと、
    所定の見出し語表示領域に、前記表示順序決定ステップにより決定された表示順序で見出し語を一覧表示する一覧表示ステップとを有することを特徴とする画像文書処理方法。
JP2008074707A 2008-01-24 2008-03-21 画像文書処理装置および画像文書処理方法 Active JP4772817B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN 200810000249 CN101493896B (zh) 2008-01-24 2008-01-24 文档图像处理装置及文档图像处理方法
CN200810000249.7 2008-01-24

Publications (2)

Publication Number Publication Date
JP2009176264A true JP2009176264A (ja) 2009-08-06
JP4772817B2 JP4772817B2 (ja) 2011-09-14

Family

ID=40924488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008074707A Active JP4772817B2 (ja) 2008-01-24 2008-03-21 画像文書処理装置および画像文書処理方法

Country Status (2)

Country Link
JP (1) JP4772817B2 (ja)
CN (1) CN101493896B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193610A (ja) * 2020-09-29 2021-12-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報処理方法、情報処理装置、電子機器及び記憶媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331670B2 (en) * 2011-03-22 2012-12-11 Konica Minolta Laboratory U.S.A., Inc. Method of detection document alteration by comparing characters using shape features of characters
CN103577818B (zh) * 2012-08-07 2018-09-04 北京百度网讯科技有限公司 一种图像文字识别的方法和装置
JP2014067154A (ja) * 2012-09-25 2014-04-17 Toshiba Corp 文書分類支援装置、方法及びプログラム
US10248666B2 (en) * 2013-04-30 2019-04-02 Hewlett-Packard Development Company, L.P. Creation of hierarchical dictionary
CN104463155B (zh) * 2013-09-18 2018-05-11 株式会社东芝 文件管理装置以及文件管理方法
CN104778687B (zh) * 2015-03-26 2019-04-26 北京奇虎科技有限公司 一种图像匹配方法和装置
CN112215216A (zh) * 2020-09-10 2021-01-12 中国东方电气集团有限公司 一种图像识别结果的字符串模糊匹配系统及方法
CN116071764B (zh) * 2023-03-28 2023-07-14 中国人民解放军海军工程大学 基于原型网络的手写汉字识别方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272811A (ja) * 1995-03-30 1996-10-18 Canon Inc 文書管理方法及びその装置
JPH09198404A (ja) * 1996-01-23 1997-07-31 Canon Inc 文書処理方法及び装置
JP2004227227A (ja) * 2003-01-22 2004-08-12 Canon Inc 情報検索装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425834B2 (ja) * 1995-09-06 2003-07-14 富士通株式会社 文書画像からのタイトル抽出装置および方法
JP4280355B2 (ja) * 1999-05-06 2009-06-17 富士通株式会社 文字認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272811A (ja) * 1995-03-30 1996-10-18 Canon Inc 文書管理方法及びその装置
JPH09198404A (ja) * 1996-01-23 1997-07-31 Canon Inc 文書処理方法及び装置
JP2004227227A (ja) * 2003-01-22 2004-08-12 Canon Inc 情報検索装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021193610A (ja) * 2020-09-29 2021-12-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報処理方法、情報処理装置、電子機器及び記憶媒体
JP7270013B2 (ja) 2020-09-29 2023-05-09 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報処理方法、情報処理装置、電子機器及び記憶媒体
US11908219B2 (en) 2020-09-29 2024-02-20 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for processing information, electronic device, and storage medium

Also Published As

Publication number Publication date
CN101493896B (zh) 2013-02-06
JP4772817B2 (ja) 2011-09-14
CN101493896A (zh) 2009-07-29

Similar Documents

Publication Publication Date Title
JP4533920B2 (ja) 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP4740916B2 (ja) 画像文書処理装置、画像文書処理プログラムおよび画像文書処理プログラムを記録した記録媒体
JP4364914B2 (ja) 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体
JP4408129B2 (ja) 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体
JP4772817B2 (ja) 画像文書処理装置および画像文書処理方法
JP2009026287A (ja) 文字画像抽出装置および文字画像抽出方法
JP4570648B2 (ja) 画像文書処理装置、画像文書処理方法、画像文書処理プログラムおよび記録媒体
EP0844583B1 (en) Method and apparatus for character recognition
EP0544432B1 (en) Method and apparatus for document processing
JP3289968B2 (ja) 電子的文書処理のための装置および方法
US6907431B2 (en) Method for determining a logical structure of a document
KR101588890B1 (ko) 카메라 기반 영상의 문자 인식 및 번역 방법
US5768451A (en) Character recognition method and apparatus
US20070143272A1 (en) Method and apparatus for retrieving similar image
US20160026630A1 (en) Character sequence map generating apparatus, information searching apparatus, character sequence map generating method, information searching method, and computer product
EP2806336A1 (en) Text prediction in a text input associated with an image
JPH0682403B2 (ja) 光学式文字読取装置
JPH07319880A (ja) キーワード抽出・検索装置
JP2004287992A (ja) 文書情報処理装置並びにプログラム
JP5444106B2 (ja) タグ付与装置、変換規則生成装置およびタグ付与プログラム
Song et al. Free-Flow: Unintrusive Reading Device for a Printed Text
Balasubramanian et al. Recognition-free search in graphics stream of PDF
JPH0696285A (ja) 文字認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4772817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150