JP2009026288A - 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 インデックス情報を改良して、より検索精度が高い画像文書処理装置、画像文書処理方法を提供する。
【解決手段】 画像文書中の文字数がＭである文字列の画像を切り出し、これを１文字ごとに分割して各文字画像の画像特徴を抽出し、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次の第１インデックス行列を作成する。この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用することにより、候補文字列を意味を成す文字列に調整した第２インデックス行列を作成し、言語モデルの基で統計を行った後、語彙解析を行う。
【選択図】 図１

Description

本発明は、文書を画像として入力して蓄積する画像文書処理装置および画像文書処理方法に関するものであり、特に、蓄積された画像文書に対する検索機能を有する画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体に関する。

文書をイメージスキャナなどの画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする文書ファイリング装置が実用化されている。このような文書ファイリング装置に関する技術は、特許文献１〜３に開示されている。

イメージデータとして読取った画像文書に対して検索を行うには、各画像文書に、検索のためのインデックス情報を手動で付与するといった作業が必要となり、非常に労力を要する。

また、画像文書の文字領域（テキスト領域）を定位し、ＯＣＲ（Optical Character Reader）認識を行い、テキスト内容でフルテキスト検索を可能にする装置も提案されている。ＯＣＲ認識を利用した先行技術として、たとえば特許文献４がある。

しかしながら、ＯＣＲ認識には多大な計算が必要で時間が掛かるといった問題がある。さらに、文字認識率も高くないため、誤認されて検索に掛からない可能性もあり、検索精度に問題がある。

一方、特許文献５には、ＯＣＲ認識を用いることなく、自動によるフルテキスト検索を可能にする技術が開示されている。

上記公報の構成では、予め文字を画像特徴によって類似した文字ごとに類似文字カテゴリに分類したカテゴリ辞書を用意しておく。そして、画像文書を登録する時、テキスト領域（文字領域）の各文字を文字認識することなく、画像特徴を抽出し、画像特徴をもとに文字カテゴリに分類して、各文字ごとに識別されたカテゴリ列を入力画像と共に記憶しておく。検索する時には、検索キーワードの各文字を対応するカテゴリに変換し、変換されたカテゴリ列を一部に含む画像文書を検索結果として取り出す。

そして、該構成による効果として、文書登録時に少ない計算機パワーで高速に登録処理が行えるとともに、検索時には漏れの少ない検索を実現することのできる文書ファイリングを提供できる、と記載されている。

たとえば、特許文献５の技術に基づいて、検索を行うためのインデックス情報を作成する場合、見出しを構成する各文字について画像特徴が類似した文字を、類似度の順に候補文字としてインデックス情報に記載する。

検索キーワードとインデックス情報とを比較する際は、主にインデックス情報が有する類似度を利用する。

類似度は、各文字それぞれに独立して設定されるパラメータでしかなく、見出し語の熟語としての特徴は、インデックス情報には反映されていないので、検索精度については、未だ不十分である。

中国公開特許公報ＣＮ１４０２８５４Ａ 中国公開特許公報ＣＮ１５３５４３０Ａ 中国公開特許公報ＣＮ１８５１７１３Ａ 特開平７−１５２７７４号公報 特開平１０−７４２５０号公報

本発明の目的は、インデックス情報を改良して、より検索精度が高い画像文書処理装置、画像文書処理方法画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を提供することである。

本発明は、文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、
入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、
前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成し、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用して意味を成す文字列に調整した第２インデックス行列を作成する特徴適合部と、
前記特徴適合部にて作成された第２インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含む第２インデックス行列を有する画像文書を取り出す検索部とを有することを特徴とする画像文書処理装置である。

また本発明は、前記特徴適合部は、言語モデルとしてバイグラムまたはマルチグラムモデルを用いて候補文字列の語彙解析を行うことを特徴とする。

また本発明は、前記特徴適合部は、語彙解析に基づいて、前記第１インデックス行列の第１列の候補文字と、同じ行の他の候補文字とを入れ替えることにより意味を成す候補文字列を調整することを特徴とする。

また本発明は、前記文字列抽出部は、前記入力された画像文書における見出し領域を切り出すことを特徴とする。

また本発明は、前記文字列抽出部は、連通域統計分析法とにより、画像文書における重要領域を切り出すことを特徴とする。

また本発明は、前記画像特徴抽出部は、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出することを特徴とする。

また本発明は、前記特徴適合部は、抽出された文字画像の画像特徴を、前記字形特徴辞書に格納されている全ての文字画像と適合させて候補文字を選択することを特徴とする。

また本発明は、前記特徴適合部が選択する候補文字数Ｎが変更可能であることを特徴とする。

また本発明は、前記検索部は、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出すことを特徴とする。

また本発明は、前記インデックス行列の各要素には、位置に応じた相関値が設定されており、
前記検索部は、
検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含む第２インデックス行列を検出し、当該第２インデックス行列内における検索文字の適合位置の情報を、第２インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理部と、
前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードと第２インデックス行列との相関度を算出する相関度算出部と、
前記相関度算出部の算出結果に基づいて画像文書の取り出す順序を決定する順序決定部とを含むことを特徴とする。

また本発明は、前記相関度算出部は、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とする。

また本発明は、前記第２インデックス行列の各要素に設定されている相関値が、変更が可能であることを特徴とする。

また本発明は、前記行の相関度加重因子が、変更が可能であることを特徴とする。
また本発明は、前記画像特徴抽出部を用いて、前記字形特徴辞書を作成する字形特徴辞書作成部を備えることを特徴とする。

また本発明は、入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、
前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成し、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用して意味を成す文字列に調整した第２インデックス行列を作成する特徴適合ステップと、
前記特徴適合ステップにて作成された第２インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
検索時に、前記インデックス情報格納ステップにて格納されたインデックス情報を、入力された検索式中の検索キーワードを構成する１検索文字単位に検索し、検索文字を含む第２インデックス行列を有する画像文書を取り出す検索ステップとを有することを特徴とする画像文書処理方法である。

また本発明は、コンピュータに上記の画像文書処理方法を実行させるための画像文書処理プログラムである。

また本発明は、コンピュータに上記の画像文書処理方法を実行させるための画像文書処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、文字列抽出部にて定位されて切り出された画像文書中の文字列の画像を、画像特徴抽出部が１文字ごとに分割して各文字画像の画像特徴を抽出する。そして、特徴適合部が、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次の第１インデックス行列を作成する。

さらに、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用することにより、候補文字列を意味を成す文字列に調整した第２インデックス行列を作成する。

作成された第２インデックス行列は、インデックス情報格納部にて、入力された画像文書に対応づけて格納され、検索に際しては、このインデックス行列が画像文書を検索するためのインデックス情報として利用される。

これにより、ユーザの手を煩わせることなく、また、ＯＣＲ認識も用いることなく、画像文書の文字領域にある文字列を自動的に定位し、定位した文字列の画像特徴で画像文書のインデックス情報を生成することができる。

しかも、各文字画像の画像特徴を抽出して、画像特徴が似ている候補文字を複数選択するので、選択する候補文字数を適切に設定することで、ＯＣＲ認識のように文字認識に時間がかかることもなく、認識漏れをなくして正確な検索が可能となる。

さらに、検索キーワードには意味を成す文字列が入力されるものであるから、第２インデックス行列の候補文字列が意味を成す文字列であることにより、さらに検索精度を向上させることができる。

また、字形特徴辞書は、全て単文字の文字画像の画像特徴を単位として作成されており、特徴適合部は、切り出された文字列の画像を単文字の文字画像に分割して画像特徴の適合をとるので、生成されたインデックス行列の精度が高い。

検索時は、検索部が、入力された検索式中の検索キーワードを構成する１検索文字単位にインデックス情報格納部を検索して検索文字を含むインデックス行列を有する画像文書を取り出す。

このように、検索キーワードを構成する検索文字単位でインデックス行列を分析して検索キーワードを含むインデックス行列を検出することで、単文字検索による全面的な検索を保証できる。

また本発明によれば、前記特徴適合部は、言語モデルとしてバイグラムまたはマルチグラムモデルを用いることができる。

また本発明によれば、前記特徴適合部は、語彙解析に基づいて、前記第１インデックス行列の第１列の候補文字と、同じ行の他の候補文字とを入れ替えることにより意味を成す候補文字列を調整する。

これにより、第１インデックス行列の適合度と同じ適合度で候補文字列を調整することができる。

また本発明によれば、前記文字列抽出部が画像文書における見出し領域を切り出すので、画像文書の見出しに対してインデックス行列が作成されていくこととなる。

したがって、画像文書のテキスト領域全域を対照にインデックス行列を作成するよりも、１つの画像文書に作成されるインデックス行列数が絞り込むことができ、見出しを対象に画像文書を検索することが可能となり、効率のよいキーワード検索が可能となる。

また本発明によれば、前記文字列抽出部が画像文書における見出し領域の切り出しを、容易に実現することが可能となる。

また本発明によれば、字形の違いによるが画像特徴を効率よく抽出することができる。
また本発明によれば、最も正確な順序にて候補文字を選択してインデックス行列を作成することができる。

また本発明によれば、候補文字数Ｎを変更可能とすることで、ユーザの要望に応じたインデックス行列を作成することができる。たとえば、候補文字数Ｎを少なくすることで、インデックス行列の次数が小さくなり、検索時間は短くでき、検索精度及び検索正確率を上げられる。逆に候補文字数Ｎを多くすることで、インデックス行列の次数が大きくなり、検索漏れをなくして検索率を上げることができる。

前述した特許文献２の構成によれば、検索キーワードを代表文字コード列に変換しての検索であっため、類似文字カテゴリ中の位置までは分析することはできない。そのため、同じ類似文字カテゴリ内に属している各文字は、類似度の高いものも低いものも同じ関連具合となり、関連性の高い画像文書から順に正確に提示するといったことができなかった。

しかしながら、本発明によれば、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出されるので、検索結果を、関連性の高い画像文書から順に提示することができる。

また本発明によれば、インデックス行列の各要素には、位置に応じた相関値が設定されている。この相関値は、検索文字とインデックス行列内の候補文字との相関値であり、特徴適合部が選択した候補文字の順に応じて設定され、通常は列番号の若い要素ほど大きい値に設定される。

検索部のインデックス行列検索処理部は、検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納する。

そして、検索部の相関度算出部が、この保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出し、順序決定部が、相関度の高いものから順に画像文書を取り出す。

これにより、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出し、検索結果を、関連性の高い画像文書から順に提示するといったことを簡単に実現できる。

また本発明によれば、前記相関度算出部は、インデックス行列における隣接する行に適合していると判断すると、対応する行の相関値に行の相関度加重因子が加重される。つまり、文字単位での検索を行いながら、検索キーワードの各検索文字が連続して含まれるような場合には、そのインデックス行列を有する画像文書の検索結果がより高い相関度を持つ。これにより、簡単な計算で有効な検索を実施することができる。

また本発明によれば、相関値を変更可能とすることで、ユーザの要望に応じた検索を実現できる。たとえば、候補文字数Ｎは同じであっても、Ｎ個の候補文字の列番号に応じた相関値を、第Ａ番目までは高くそれ以降は低く設定するといった変化を付けることで、検索結果は変化するので、ユーザの要望に応じて柔軟な対応が取れる。

また本発明によれば、行の相関度加重因子を変更可能とすることで、ユーザの要望に応じた検索を実現できる。たとえば、行の相関度加重因子を大きくすることで、算出される相関度への貢献度が、連続的に適合された２行の相関値では大きくなり、語彙を一つの単位として検索した結果に近づくようになる。逆に行の相関度加重因子を小さくすることで、字を１つの単位として検索した結果に近づくようになる。これにより、ユーザの要望に応じた検索となるように、柔軟な対応が取れる。

また本発明によれば、字形特徴辞書生成部が、画像特徴抽出部を兼用して、字形特徴辞書を作成するので、ユーザが、異なる字体、字号、フォントに対して、字形の特徴を抽出させて字形特徴辞書を作成することが簡単に行える。また、字体等だけでなく、異なる言語の文字についても、各字体、字号、フォントに対して、簡単に字形特徴辞書を作成することができる。

また本発明によれば、文字列抽出ステップにて定位されて切り出された画像文書中の文字列の画像を、画像特徴抽出ステップで１文字ごとに分割して各文字画像の画像特徴を抽出する。そして、特徴適合ステップで、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次の第１インデックス行列を作成する。

さらに、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用することにより、候補文字列を意味を成す文字列に調整した第２インデックス行列を作成する。

作成された第２インデックス行列は、インデックス情報格納ステップにて、入力された画像文書に対応づけて格納され、検索に際しては、このインデックス行列が画像文書を検索するためのインデックス情報として利用される。

これにより、ユーザの手を煩わせることなく、また、ＯＣＲ認識も用いることなく、画像文書の文字領域にある文字列を自動的に定位し、定位した文字列の画像特徴で画像文書のインデックス情報を生成することができる。

しかも、各文字画像の画像特徴を抽出して、画像特徴用が似ている候補文字を複数選択するので、選択する候補文字数を適切に設定することで、ＯＣＲ認識のように文字認識に時間がかかることもなく、認識漏れをなくして正確な検索が可能となる。

さらに、検索キーワードには意味を成す文字列が入力されるものであるから、第２インデックス行列の候補文字列が意味を成す文字列であることにより、さらに検索精度を向上させることができる。

また、字形特徴辞書は、全て単文字の文字画像の画像特徴を単位として作成されており、特徴適合ステップでは、切り出された文字列の画像を単文字の文字画像に分割して画像特徴の適合をとるので、生成されたインデックス行列の精度が高い。

検索ステップでは、入力された検索式中の検索キーワードを構成する１検索文字単位にインデックス情報格納部を検索して検索文字を含むインデックス行列を有する画像文書を取り出す。

このように、検索キーワードを構成する検索文字単位でインデックス行列を分析して検索キーワードを含むインデックス行列を検出することで、単文字検索による全面的な検索を保証できる。

また本発明によれば、画像文書処理プログラム、画像文書処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。

以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像文書処理装置１０の構成を大略的に示すブロック図である。画像文書処理装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウエアなどを格納する外部記憶装置５とを含む。

プロセッサ４は、画像文書から検索の要となる見出し領域を抽出する画像文書特徴抽出処理、画像文書に対する検索を可能にするインデックス情報を生成するインデックス情報生成処理、インデックス情報を用いた検索処理、およびインデックス情報を用いて後述する意味のある文書名を作成して画像文書を管理する画像文書管理処理などを実際に行う。

プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウエアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。本実施の形態では、プロセッサ４は、インデックス情報生成処理に用いる後述する字形特徴辞書１５を作成する字形特徴辞書作成処理も実行するようになっている。

外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、画像文書を大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。後述する字形特徴辞書１５、インデックス情報ＤＢ（データベース）１７、画像文書ＤＢ１９、字形見本ＤＢ１３などは、外部記憶装置５にて構成される。

画像文書処理装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、検索キーワードの入力に用いられる。またキーボード１は、画像文書を閲覧する際の指示入力にも用いられる。さらにキーボード１は、後述する候補文字数、相関値、および行の相関度加重因子Ｑなどの設定値変更にも用いられる。表示装置３は、画像文書などを出力して表示する。表示装置３に表示される内容には、相関度の情報、および画像名称などの情報も含まれる。

画像文書処理装置１０には、イメージスキャナ２またはデジタルカメラ６がさらに接続される。イメージスキャナ２およびデジタルカメラ６は、画像文書を取得するために用いられる。画像文書の取得は、イメージスキャナ２およびデジタルカメラ６に限られるものではなく、ネットワークなどを介して通信を行うことによって取得してもよい。また、イメージスキャナ２またはデジタルカメラ６を用いた検索キーワードの入力も可能である。

図２は、画像文書処理装置１０の構成を詳細に示すブロック図である。画像文書処理装置１０は、文字データベース入力部（文字ＤＢ入力部）１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部（画像特徴抽出部）１４、字形特徴辞書１５、特徴適合部１６、インデックス情報ＤＢ１７、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴データベース（画像文書特徴ＤＢ）２０、画像文書入力部２１、検索部２２、語彙解析部２３、キーワード入力部２４、検索結果表示部２５、文書名作成部５１、画像文書ＤＢ管理部５２、画像文書表示部５３、指示入力部５４を含んでいる。

このうち、文字ＤＢ入力部１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部１４、字形特徴辞書１５にて、上記した字形特徴辞書作成処理を実施する字形特徴辞書生成部３０が構成される。

まず、字形特徴辞書生成部３０を構成する、文字ＤＢ入力部１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部１４、字形特徴辞書１５について説明する。

文字ＤＢ入力部１１は、字形特徴辞書１５を作成するために必要な、基本となる文字データベースを入力するためのものである。本装置が、たとえば、中国語対応の装置であれば、中華人民共和国におけるＧＢ２３１２の６７６３個の全文字などが入力される。また、本装置が、日本語対応の装置であれば、ＪＩＳ第一水準の約３，０００字種などが入力される。つまり、ここで言う文字には、符号が含まれる。このような文字ＤＢ入力部１１は、プロセッサ４にて構成され、文字データベースは、記録媒体を介して、或いはネットワークを介したデータ通信などにより供給される。

字体正規化処理部１２は、文字ＤＢ入力部１１より入力された文字データベースに含まれる全ての文字について、異なるフォントとサイズの文字画像を作成するものである。異なるフォントとサイズの文字画像は、字形見本ＤＢ１３に格納される。

図３は、字体正規化処理部１２が字形見本ＤＢ１３を作成する処理を示す図である。字体正規化処理部１２には、本装置が中国語対応の装置であれば、たとえば、宋体、倣宋体、黒体、楷体などの字形見本１２ａが具備されている。また、本装置が日本語対応の装置であれば、明朝体、ゴシック体…などの字形見本が具備されている。

字体正規化処理部１２における変形処理部１２ｂが、文字データベースの文字を画像化し、文字画像を標準化処理する。次に、変形処理部１２ｂは、字形見本１２ａを参照して、標準化処理した文字画像に対し、変形処理を施し、さらに異なるフォントとサイズの文字画像にする。変形処理には、たとえば、曖昧化処理、拡大・縮小化処理、微細化処理などがある。このように変形処理された文字画像を、字体基準部１２ｃは、基準文字画像として字形見本ＤＢ１３に格納する。

字形見本ＤＢ１３には、文字データベースの全ての文字に対して、同じ文字であっても、フォント、サイズによって決まる字形毎に基準文字画像が格納されている。例をあげると、文字種は同じ「中」であっても、定められているフォントの数だけ形状の異なる基準文字画像の「中」があり、また、定められているサイズの数だけ大きさの異なる基準文字画像の「中」が格納されている。

文字画像特徴抽出部１４は、文字画像の特徴（画像特徴）を抽出して、字形特徴辞書１５に格納するものでもある。本実施の形態では、文字画像特徴抽出部１４は、文字画像外囲特徴と網格方向との組合せによって文字画像の特徴を抽出し、特徴ベクトルとする。なお、文字画像の特徴は、これらに限られるものではなく、他の特徴を抽出して特徴ベクトルを形成してもよい。

ここで、文字画像外囲特徴及び網格方向特徴について説明しておく。図４は、文字画像外囲特徴の説明図である。文字画像外囲特徴とは、文字画像の外部からみた輪郭の特徴である。図４に示すように、文字画像の外接矩形の４辺から走査し、白画素から黒画素に変化する点までの距離を特徴とし、最初に変化する位置と２度目に変化する位置を取り出す。

たとえば、外接矩形をＸ行Ｙ列に分割した場合、行を単位として左方向と右方向からそれぞれ画像を走査し、列を単位として上方向と下方向からそれぞれ走査する。なお、図４は、行を単位に左から走査している図面である。

また、図４において、実線の矢印Ａにて、最初に白画素から黒画素に変化する点までの走査軌跡を示している。破線の矢印Ｂは、２回目に白画素から黒画素に変化する点までの走査軌跡を示している。実線の矢印Ｃは、最後まで白画素から黒画素に変化する点を検出することができなかった走査軌跡を示しており、このように変化点がない場合、距離値は０となる。

図５は、網格方向特徴の説明図である。文字画像を粗い網格に分割し、各格子領域内の黒画素についてあらかじめ定めた複数方向に触手を伸ばす。そして、各方向に連結する黒画素の画素数を計数し、該黒画素の各方向成分別の分布状況を表す方向寄与度を、識別関数としてユークリッド距離を用いて黒画素数の差に応じた値により距離値を除算して距離値を算出する。

図５（ａ）では、文字画像を４×４の１６個の格子に分割し、格子の交点からＸ軸方向に最も近い黒画素から白画素になる点を中心に、Ｘ軸方向（０°）、４５°方向、Ｙ軸方向（９０°）の３方向に触手を伸ばしている。

本実施例では、文字画像を８×８の４角の網に分割し、図５（ｂ）に示すように、０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の８方向に触手を伸ばすようになっている。

なお、網格方向の特徴の抽出方法としては、触手の伸ばす方向や、触手を伸ばす中心点を置き方など、様々な手法があり、たとえば、特開２０００−１８１９９４号公報などに記載されている。

文字画像特徴抽出部１４は、このような文字画像の特徴の抽出を、字形見本ＤＢ１３に格納されている、基準文字画像の全部に対して行う。そして、文字画像特徴抽出部１４は、字形見本ＤＢ１３に格納されている基準文字画像の抽出結果については字形特徴辞書１５に格納し、字形特徴辞書１５を生成する。

図６は、文字画像特徴抽出部１４による字形特徴辞書１５を作成する処理を示す図である。文字画像特徴抽出部１４における字形基準化部１４ａが、字形見本ＤＢ１３から基準文字画像を取り出し、文字画像特徴取出部１４ｂは、字形基準化部１４ａが取り出した基準文字画像に対してその特徴を取り出す。そして、特徴分類部１４ｃが、字形見本ＤＢ１３を参照して、基準文字画像毎に抽出した特徴を分類して、字形特徴辞書１５に格納する。

文字画像特徴取出部１４ｂにおいては、上述したように、単文字ごと、加重付けによる異なる基準文字画像の特徴の適値を求め、基準文字画像の標準特徴を取得する。

文字画像特徴取出部１４ｂが、異なる字体字号を加重させることによって、異なる字形特徴辞書を作成することができる。多字体の画像特徴を融合し、単文字画像特徴を単位で字形特徴辞書を作成することで、多字体・字号画像文書の自動インデックスと管理を満足できる。

次に、画像文書特徴抽出処理を実施する画像文書特徴抽出部３１を構成する、画像文書ＤＢ１９、画像文書特徴ＤＢ２０、見出し領域初期処理部１８、文字画像特徴抽出部１４について説明する。

画像文書ＤＢ１９は、画像文書入力部２１より画像文書が入力されると、識別のための文書ＩＤを付けて保存するものである。

見出し領域初期処理部１８は、画像文書ＤＢ１９に新しい画像文書が保存されると、そのイメージデータより画像文書における見出し領域を定位して抽出して、文字画像を前述した文字画像特徴抽出部１４に送るものである。

図７に、画像文書５０に対して、Ｔ１、Ｔ２、Ｔ３の３領域を見出し領域として定位した様子を示す。この図７からも分かるように、画像文書５０におけるタイトル部分を見出し領域Ｔとして抽出する。

見出し領域初期処理部１８にて抽出されて文字画像特徴抽出部１４に送られる文字画像は、通常は複数の文字を含んだ文字列の画像である。したがって、これ以降は、見出し領域初期処理部１８より送られる文字画像は文字列の画像であるとして説明する。

本実施の形態では、見出し領域初期処理部１８は射影法と連通域統計分析により、見出し領域Ｔの定位及び抽出を行う。なお、このような見出し領域Ｔは、主にタイトル部分が相当し、たとえば、特開平９−３１９７４７号公報、特開平８−１５３１１０などに記載されている方法など、従来ある様々な手法を用いることができる。

画像文書の全ての文字領域（テキスト領域）を対象とすることなく、このように見出し領域Ｔのみを定位し抽出しているため、検索の対象となる情報量を少なくして検索時間を短くできる。

但し、全てのテキスト領域を定位することなく、見出し領域Ｔのみを定位することは、検索に関して言えば必須の構成要素でなく、全文テキスト領域を定位して抽出することも可能である。ただし、後述する意味のある文書名の作成に関して言えば、見出し領域Ｔのみを定位することは必須の構成要素である。

文字画像特徴抽出部１４は、見出し領域初期処理部１８から入力される文字列の画像については、１文字の文字画像に分割した上で、字形特徴辞書１５の作成時と同様、各文字画像の特徴を抽出する。そして、抽出した特徴は、画像文書特徴ＤＢ２０に画像文書ごとに格納する。

画像文書特徴ＤＢ２０には、見出し領域初期処理部１８にて抽出された見出し領域Ｔに含まれる文字列の画像の特徴情報が、文字列を構成する各文字それぞれの特徴（特徴ベクトル）として格納される。

図７に示ように、１つの画像文書５０に対して、抽出された全ての見出し領域Ｔ１、Ｔ２、Ｔ３…に含まれる文字列の文字画像の特徴、つまり文字列を構成する各文字の文字画像の特徴が、画像文書５０の文書ＩＤと共に格納される。

次に、インデックス情報作成処理を実施するインデックス情報生成部３２を構成する、文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、インデックス情報ＤＢ１７、画像文書特徴ＤＢ２０について説明する。

文字画像特徴抽出部１４、字形特徴辞書１５、画像文書特徴ＤＢ２０の機能は既に説明したとおりである。

特徴適合部１６は、画像文書特徴ＤＢ２０より画像文書の見出し領域Ｔに含まれる文字画像の特徴を読み出し、該読み出した特徴に基づいて、字形特徴辞書１５を参照して後述するようにインデックス行列を作成して、画像文書のインデックス情報を生成するものである。

ここで、インデックス情報が１つの画像文書に対して１つ生成され、インデックス情報に含まれるインデックス行列は、見出し領域Ｔ毎に作成される。したがって、１つの画像文書内に見出し領域Ｔが複数ある場合は、当該画像文書のインデックス情報の中に複数のインデックス行列が含まれることとなる。

図８に、インデックス情報ＤＢ１７を作成する処理を示す。上述したように、ある画像文書が入力されて画像文書ＤＢ１９に格納されると、文字画像特徴取出部１４ｂが、各見出し領域Ｔに含まれる文字列の文字画像の特徴を抽出して、画像文書特徴ＤＢ２０に格納する。

特徴適合部１６は、画像文書特徴ＤＢ２０より、各見出し領域Ｔに含まれる文字列の画像の特徴を読み出し、単文字ごとに字形特徴辞書１５内の基準文字画像と適合を行って、見出し領域Ｔそれぞれのインデックス行列を作成する。

そして、特徴適合部１６は、これらインデックス行列に、当該画像文書のその他の情報である、文書ＩＤや画像文書ＤＢ１９内における該当する画像文書の保存位置の情報などを含めてインデックス情報とし、インデックス情報ＤＢ１７に格納する。

図９に、特徴適合部１６によるインデックス行列を作成する処理の一例を示す。図９は、図７における見出し領域Ｔ３に含まれる文字列「去神仙居住的地方」の８つの文字画像について、インデックス行列を作成する説明図である。

文字列『去神仙居住的地方』は、「去」「神」「仙」「居」「住」「的」「地」「方」の１文字画像に分割される。このような文字列の画像を１文字づつの画像に分割する処理は、既存の分割方法を利用できる。

「去」…「地」の８文字には、並び順に従い、「去」には１、「神」には２、…「方」には８というように、１〜８までの番号が付される。この番号は、インデックス行列の行番号に相当する。

このような８つの文字画像全てに対して、図９に参照符号Ｘにて示す、画像文書特徴ＤＢ２０より格納されている文字画像「去」に対する特徴を取り出し（Ｓ１）、字形特徴辞書１５を参照して特徴が近い（適合度が高い）順に、Ｎ個の候補文字を選択する（Ｓ２）といった処理が実施される。

適合度の高い順に抽出されるＮ個の候補文字には、抽出順序に応じた番号が付され、これがインデックス行列の列番号に相当する。そして、検索キーワードに含まれる各検索文字と候補文字との適合度を示す文字相関値（相関値）は、この列番号に応じて設定されている。

図９において、参照符号１００にて示すテーブルは、文字列『去神仙居住的地方』のインデックス行列の内容を示している。たとえば、５文字目の「住」の文字画像に対しては、行番号５の行に適合度の高い１列目から順に、「任」,「佳」，「住」，…「仁」の候補文字が抽出されている。テーブル１００において、たとえば候補文字「去」のインデックス行列内の位置は［１,１］、候補文字「屑」の位置は［４,２］、候補文字「仁」の位置は［５,Ｎ］となる。

なお、図９のテーブル１００では、理解を助けるために、文字列の各文字に対応する候補文字に対しては○を付して示している。

このようなインデックス行列の行数Ｍは、見出し領域初期処理部１８が見出し領域Ｔとして抽出した文字列の画像の文字数にて決まる。また、列数Ｎは、１文字について選出する候補文字数にて決まる。したがって、本発明によれば、インデックス行列の次元数（列数）を変えることで、インデックス行列内の要素数、つまり、候補文字数量を柔軟に設定することができる。そのため、画像文書の検索において、正確でほぼ漏れのない検索を行うことができる。

インデックス行列において、選択された候補文字の情報の持たせ方は、検索キーワードの入力方法に応じて適宜設定することができる。たとえば、検索キーワードをキーボード１より入力する構成であれば、キーボードから入力された検索キーワードに対して検索を掛けることができるように、候補文字を文字コードなどの情報で格納する。

また、イメージスキャナ２などを用いて検索キーワードをイメージデータにて入力する構成であれば、検索キーワードの特徴（特徴ベクトル）を抽出し、特徴ベクトル同士を比べて掛けることができるように、候補文字を特徴（特徴ベクトル）の情報で格納すればよい。

図７に戻って、インデックス情報ＤＢ１７におけるインデックス情報のデータ配置例を説明する。複数の見出し領域Ｔ１、Ｔ２、Ｔ３…Ｔｎが存在する画像文書５０のインデックス情報では、複数の見出し領域Ｔ１、Ｔ２、Ｔ３…Ｔｎに対して作成されたインデックス行列が線形に配置される。図７の例では、文書ＩＤが先頭に配置され、続いて、複数のインデックス行列が配列され、最後に保存位置の情報が配置されている。ここで、５×Ｎは、インデックス行列のサイズを示しており５行Ｎ列であることを示している。

インデックス情報をこのようなデータ配置としておくことで、画像文書ＤＢ１９内の画像文書の格納位置と、画像文書中の見出し領域Ｔの位置を迅速に定位して、検索結果の表示に用いることができる。

また、実際の要求に従って、インデックス情報に画像文書の他の属性を追加することもできる。

本発明では、さらにインデックス行列１００に対して言語モデルを用いた語彙解析法を適用し、候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。

より具体的に言うと、特徴適合部１６は、作成したインデックス行列１００に基づいて、該インデックス行列における第１列目に位置する各行の候補文字を順に連ねた候補文字列を作成する。そして、この候補文字列を構成する連続する各行の候補文字によりなる単語の語義を解析し、候補文字列が意味をなすように各行の第１列目の候補文字を調整する。

図１０は、作成したインデックス行列を調整して第１列目の文字列が意味のある文字列となるように、語彙解析法を用いて調整した具体例を示す説明図である。

図１０の上部に示す調整前のインデックス行列１００により作成される候補文字列は「去伸仙居任酌地方」となり意味を成さない。

意味ある文書名として利用する候補文字列は、主語、述語、および目的語の接続詞関係等が意味的に正しくなければならない。そこで、語彙解析により、意味のある候補文字列に変換する。具体例には、複数のエラー候補文字に対し、概念辞書を使用し、複数のエラー候補文字と、候補テキストの他の単語との間の意味情報を分析し、候補文字列を意味ある文字列に修正する。

このような語彙解析に用いられる言語モデル６１は、すべての漢字で始まる活字の統計データを提供するものであればよい。つまり、この言語モデル６１のメインコンセプトにより、自動索引システムを技術的に確立することができ、中国語の新聞（たとえば「 People’s Daily（人民日報）」）のスクリプトに関する統計データを得ることができる。

本実施形態では、言語モデルとしてバイグラムモデルを使用する。
バイグラムモデルは、２つの文字、２つの音節、または２つの単語のグループであり、テキストの簡単な統計分析の基礎として非常に一般的に使用される。

図１１は、バイグラムモデルに用いる辞書データ３００の構成例を示す図である。
辞書データの第1列目３０１は、２字の組み合わせの１番目の文字を示している。第２行目３０２は、１番目の文字と共に組み合わせを構成した文字の数を示している。第３行目３０３は、１番目の文字と共に組み合わせを構成した文字を示し、第４行目３０４は、組み合わせを構成した回数を示している。さらに、第５行目３０５は、組み合わせの中国語の文字数を示している。ここでは、バイグラムモデルを用いているので、文字数は全て２である。

候補文字列の調整では、マルコフ過程に基づいて文字の推移および混合の確率など、主に単語内の文脈情報を使用し、Vitarbi-style検索を行う。

上記のような中国語辞書のヘルプを用いて、インデックス行列を自動的に調整し、全ての最適候補が第1行目に調整される。

各文字ごとの適合度のみから決定したインデックス行列１００に基づいて、まず、第１列目の文字列に対し、前後検索を用いたバイグラムモデルによる調整を実行し、これにより適合した候補の正確性および効率性を向上することができる。

さらにその正確性を向上させるために、単語ベースでのバイグラムモデルによる調整を文字列の一部に実行する。これにより、処理速度が低下するが、高い正確性を得ることができる。

以下ではインデックス行列１００を例にして詳細な調整方法を説明する。
文字ベースでのバイグラムモデルを用いて、まず２行目と３行目との関係から、２行目の第２候補「神」を「伸」と入れ替えて第１候補とする。また、４行目と５行目との関係から、５行目の第３候補「住」を「任」と入れ替えて第１候補とする。

さらに単語ベースでのバイグラムモデルによる調整を行い、「神仙」および「居住」の単語の属性、およびこれらの関連性によって６行目の第２候補「的」を「酌」と入れ替えて第１候補に調整する。

このようにして調整されたインデックス行列２００の第１列目に含まれる候補文字列は、「去神仙居住的地方」となり、意味を成す文字列となる。なお、特徴適合部１６は、このような調整後のインデックス行列２００をインデックス情報ＤＢ１７に格納するようにしてもよい。

図１２は、バイグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。

ステップＳ１では、インデックス行列の最後の行に到達したかどうかを判断する。到達していなければステップＳ２に進み、到達していればステップＳ５に進む。

ステップＳ２では、着目されている行、すなわち一回目の処理の場合は１行目の第１候補を取り出す。ステップＳ３では、バイグラムモデルを適用して、着目されている行の第１候補と、これに隣接する行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。

ステップＳ４では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたものを第１候補とする。

ステップＳ５では、決定された第１候補の連接関係を最初の行から分析し、単語を決定する。ステップＳ６では、決定した単語間の第１候補を決定する。

ステップＳ７では、着目されている第１候補文字列の中にある文字集合は辞書データの語義ルールに合致するかどうかを判断する。合致すればステップＳ８に進んで処理を終了し、調整されたインデックス行列を得る。合致しなければステップＳ９に進んで合致しない行の第１候補を調整してステップＳ６に戻る。

次に、インデックス情報を用いた検索処理を実施する検索部２２について説明する。図１３は、検索部２２の機能と検索処理とを示す説明図である。検索部２２は、インデックス行列検索処理部２２ａ、文字相関値保存部（保存部）２２ｂ、相関度算出部２２ｃ、表示順序決定部（順序決定部）２２ｄ、及び画像文書抽出部２２ｅを含む。

インデックス行列検索処理部２２ａには、キーワード入力部２４より検索キーワードが入力される。キーワード入力部２４としては、前述したキーボード１或いはイメージスキャナ２などが相当する。

インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７に対して検索を行い、入力された検索キーワードを含むインデックス行列を検出するものである。インデックス行列検索処理部２２ａは、検索キーワードを１文字ごとに分割し、各検索文字を含むインデックス行列を探し、検索文字が含まれている場合は、当該検索文字のインデックス行列内の適合位置の情報を取得する。なお、インデックス行列の抽出手順例については、図１４のフローチャートを用いて後述する。

文字相関値保存部２２ｂは、インデックス行列検索処理部２２ａにて取得された適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存するものである。

相関度算出部２２ｃは、インデックス行列検索処理部２２ａにおける全てのインデックス行列に対する検出が完了すると、検出されたインデックス行列と検索キーワードとの相関度を算出するものである。

相関度の算出は、文字相関値保存部２２ｂに保存されている適合位置及び文字相関値の情報を用い、予め設定されている相関度算出方法に従うことで算出する。相関度の算出については、図１５、図１６を用いて後述する。

なお、ここでは、文字相関値保存部２２ｂが、適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存する構成としていたが、文字相関値保存部２２ｂは、適合位置のみを保存し、相関度算出部２２ｃが、適合位置の情報より文字相関値を取得する構成としてもよい。

表示順序決定部２２ｄは、相関度算出部２２ｃにて算出された相関度の情報を基に、表示順序を決定するものである。表示順序決定部２２ｄは、相関度の高いインデックス行列を含む画像文書より順に、画像文書の内容が検索結果表示部２５に表示されるように表示順序を決定する。

画像文書抽出部２２ｅは、表示順序決定部２２ｄにて決定された順序に従い画像文書が表示されるように、画像文書ＤＢ１９より画像文書のイメージデータを読み出し、検索結果表示部２５に出力して表示させるものである。

検索結果表示部２５は、表示順序に従い画像文書を表示する。サムネイル表示などであってもよい。検索結果表示部２５としては、前述した表示装置３などが相当する。

ここで、検索手順について説明する。図１４は、検索部２２における検索手順を示すフローチャートである。Ｒ個の文字列よりなる検索キーワードが入力され、検索が指示されると、インデックス行列検索処理部２２ａは、まず、検索キーワードの第１番目の検索文字を取り出す（Ｓ１１）。

次に、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第１番目の検索文字を検索する（Ｓ１２）。

全てのインデックス行列に対する検索が完了すると、第１番目の検索文字を検索できたかどうかを判断し、１つも検索できなかった場合はＳ１９に移行し、検索できた場合はＳ１４に進む。

Ｓ１４においては、インデックス行列検索処理部２２ａが、第１番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。

続いて、インデックス行列検索処理部２２ａは、第１番目の検索文字が含まれていた全てのインデックス行列を取り出す（Ｓ１５）。そして、検索キーワードの次の文字である第２番目の検索文字を取り出し、Ｓ１５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する（Ｓ１６）。

Ｓ１５で取り出した全てのインデックス行列に対する検索が完了すると、第２番目の検索文字を検索できたかどうかを判断し（Ｓ１７）、１つも検索できなかった場合は上記と同様にＳ１９に移行し、検索できた場合はＳ１８に進む。

Ｓ１８においては、インデックス行列検索処理部２２ａが、第２番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。

続いて、インデックス行列検索処理部２２ａは、再度Ｓ１６に戻り、検索キーワードのさらに次の文字である第３番目の検索文字を取り出し、Ｓ１５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する。

そして、ここでも、検索が完了すると、インデックス行列検索処理部２２ａは、第３番目の検索文字を検索できたかどうかを判断し（Ｓ１７）、１つも検索できなかった場合はＳ１９に移行し、検索できた場合は再度Ｓ１８に進み、検索キーワードのさらなる次の検索文字についての検索を行う。

このようなＳ１６〜Ｓ１８までの処理、つまり、Ｓ１５にて抽出した、第１番目の検索文字が含まれているインデックス行列を対象とした、第２番目以降の各検索文字の絞り込み検索を、インデックス行列検索処理部２２ａは、Ｓ１７で文字を１つも検出できなかったと判断するか、検索キーワード内の全検索文字に対しての検索が完了したと判断するまで行い、その後、Ｓ１９に移行する。

Ｓ１９では、検索キーワードにおける次の文字である第２番目の検索文字を取り出す。次いで、検索文字が終わりか、つまり、全ての検索文字に対して検索を終えたかどうを判断し（Ｓ２０）、終わっていない場合は、Ｓ１２に戻る。

そして、上記と同様にして、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第２番目の検索文字を検索する。検索できた場合は、インデックス行列の適合位置と文字相関値を保存した上でＳ１５に進み、第２番目の検索文字を含んでいる全てのインデックス行列に対して、検索キーワードの次の文字、つまり、第２番目の次である第３番目以降の各検索文字に対して、Ｓ１６〜Ｓ１８を繰り返し行って絞り込み検索を行う。

インデックス行列検索処理部２２ａは、上記のような検索を、Ｓ１９で検索文字を一つ進め、進めた検索文字を含むインデックス行列を取り出し、それ以降の検索文字にて絞り込みを掛けるといった処理を、第３番目以降の各検索文字についても順次行う。

そして、Ｓ１９にて検索キーワード内の全ての検索文字について取り出しを終え、Ｓ２０にて、全ての検索文字に対して検索を終了したと判断した場合は、Ｓ２１に進む。

Ｓ２１では、相関度算出部２２ｃが、検索キーワードと各インデックス行列との相関度を、後述するように相関度基準にしたがって算出する。

そして、表示順序決定部２２ｄが相関度の高いインデックス行列を含む画像文書より表示されるように表示順序を決定し、画像文書抽出部２２ｅが画像文書ＤＢ１９より画像文書のイメージデータを取得し、検索結果表示部２５が相関度の高い順に画像文書を表示する（Ｓ２２）。

続いて、図１５、図１６を用いて、相関度算出部２２ｃにおける相関度基準にしたがった、インデックス行列と検索キーワードとの相関度算出方法について説明する。

図１５の参照符号１０１のブロックには、検索条件を記載している。そして、参照符号１０２のブロックには、相関度を計算するためのある仮定の検索キーワードとインデックス行列との相対関係を記載している。ブロック１０１に示した検索条件で、検索キーワードとインデックス行列とが、ブロック１０２に示すような相対関係であった場合、検索キーワードとインデックス行列の相関度は、ブロック１０３にて示されるような計算式にて算出されることとなる。

まず、ブロック１０１の検索条件について説明する。検索キーワードの文字数はＲ個であり、第１番目の検索文字がＣ１、第２番目がＣ２、…、第Ｒ番目がＣｒである。

検索対照となるインデックス行列はＭ×Ｎ次行列である。つまり、見出し領域Ｔとして切り出された文字列画像の文字数がＭ個であり、文字列の各文字それぞれの候補として選択された候補文字数がＮ個である。

検索文字と各候補文字との相関値である文字相関値は、インデックス行列の各位置に応じて定められているので、インデックス行列と同じ次数の行列となる。つまり、文字相関値行列Ｗｅｉｇｈｔは、Ｍ×Ｎ次行列である。たとえば、Ｗｅｉｇｈｔ［ｉ］［ｊ］は、インデックス行列における位置［ｉ，ｊ］（＝Ｉｎｄｅｘ［ｉ］［ｊ］）にある候補文字が適合された場合の文字相関値を表している。本実施の形態では、インデックス行列の列番号［ｊ］が同じであれば、行番号[ｉ]に関わらず、文字相関値は同じである。

行の相関度加重因子Ｑは、インデックス行列における隣接する２行にわたって、検索文字が適合した場合に、それら２行の文字相関値に加えられる加重である。隣接する２行にわたって検索文字が適合する場合、検索キーワードの連続する２文字を含んでいる可能性が高い。

行の相関度加重因子Ｑを高く設定すると、相関度算出部２２ｃが算出する相関度への貢献度が、連続的に適合された２行の文字相関値では大きくなるが、隣接しない各行の文字相関値では小さくなる。つまり、行の相関度加重因子Ｑを高く設定することで、語彙を一つの単位として検索した結果に近づくようになり、逆に行の相関度加重因子Ｑを小さくすることで、字を１つの単位として検索した結果に近づくようになる。

検索文字Ｃ１が適合した文字相関値はＷ１、検索文字Ｃ２が適合した文字相関値はＷ２，…、検索文字Ｃｒが適合した文字相関値はＷｒとして表す。

続いて、ブロック１０２に示す、相関度を計算するために仮定した、検索キーワードとインデックス行列との相対関係について説明する。

検索キーワードとインデックス行列とは、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にある。検索文字Ｃ１、Ｃ２、…Ｃｒが適合した各候補文字のインデックス行列内の位置、つまり適合位置を、［Ｃ１ｉ，Ｃ１ｊ］,［Ｃ２ｉ，Ｃ２ｊ］,…［Ｃｒｉ，Ｃｒｊ］として表す。

そして、さらなる相対関係として、ブロック１０２に示す式（１）、
Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１，Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１（ｍ＞ｋ）…（１）
の関係にある。

該式において、ｋ,ｍは、検索キーワードを構成する各検索文字の相対位置を表している。また、Ｃ（ｋ＋１）ｉは、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号を示し、Ｃｋｉは、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号を示している。

したがって、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号が、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号にプラス１したものと同じであることを示している。換言すると、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。

Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１も同様であり、検索キーワードの第ｍ＋１番目の検索文字と第ｍ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。

検索キーワードとインデックス行列とが、このような相対関係にある場合、検索キーワードとインデックス行列との相関度は、ブロック１０３に示す式（２）にて算出される。
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗｒ …（２）

該式において、Ｗ１は、第１番目の検索文字Ｃ１が適合した文字相関値であり、Ｗ２は第２番目の検索文字Ｃ２が適合した文字相関値、Ｗ(ｋ−1)は、第（ｋ−１）番目の検索文字Ｃ（ｋ−１）が適合した文字相関値である。同様にして、Ｗ(ｋ)は、第ｋ番目の検索文字Ｃｋが適合した文字相関値であり、Ｗ(ｋ＋１)は、第(ｋ＋１)番目の検索文字Ｃ(ｋ＋１)が適合した文字相関値である。また、Ｗ(ｍ−1)は、第（ｍ−１）番目の検索文字Ｃ（ｍ−１）が適合した文字相関値である。同様にして、Ｗ(ｍ)は、第ｍ番目の検索文字Ｃｍが適合した文字相関値であり、Ｗ(ｍ＋１)は、第(ｍ＋１)番目の検索文字Ｃ(ｍ＋１)が適合した文字相関値である。そして、最後のＷｒは、第ｒ番目の最後の検索文字Ｃ１が適合した文字相関値である。

このように、相関度の算出においては、検索キーワードを構成する全検索文字の文字相関値Ｗが積算（累計）される。

そして、式（２）におけるＱ*（Ｗｋ＋Ｗ(ｋ＋１)）は、検索キーワードにおける第ｋ番目の検索文字Ｃｋと第（ｋ＋１）番目の検索文字Ｃ（ｋ＋１）とが、インデックス行列における隣接した２行にそれぞれ適合しているので、文字相関値Ｗｋと文字相関値Ｗ(ｋ＋１)とに行の相関度加重因子Ｑが掛け合わされていることを示している。Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）についても同様である。

なお、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。Ｗ(ｍ−1)とＷｍについても同様である。

ところで、図１５のブロック１０２に示した検索キーワードとインデックス行列との相対関係では、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあるとしたので、式（２）においては、Ｗ１〜Ｗｒまでの全ての検索文字の文字相関値が累積されている。

しかしながら、これは一例であり、たとえば、式（１）の相対関係を有するものの、検索文字Ｃ１と検索文字Ｃｒとがインデックス行列内の何れの候補文字にも適合しなかった場合の相関度を算出する式は、次式のようになり、累積項が少ない分、当然その相関度は低くなる。
SimDegree＝Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗ（ｒ−１）

また、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあり、かつ、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字、及び、第ｋ＋２番目の検索文字と第ｋ＋１番目の検索文字とが、それぞれ隣接した２行に適合する関係にある場合、相関度を算出する式は次式のようになるであろう。
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)
＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)＋Ｗ（ｋ＋２））…＋ＷＲ

この場合も、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。

次に、図１６を用いて、相関度計算の具体例を説明する。ここでは、図１０に示した、文字列『去神仙居住的地方』のインデックス行列（テーブル２００参照）と、検索キーワード『神仙』との相関度を求める。

図１６のブロック１０４に検索条件を示す。相関値行列WeightはＭ×Ｎ次，文字相関値はＷｅｉｇｈｔ［ｉ］＝［１，１−１／Ｎ，１−２／Ｎ，…，１／Ｎ］（ｉ＝０，１，…，Ｍ−１），行の相関度加重因子Ｑである。

検索キーワード『神仙』は、それぞれ、第１番目の検索文字である『神』と第２番目の検索文字である『仙』とに分割され、それぞれに対してインデックス行列内の候補文字に対して検索される。

図１０のテーブル２００を参照すると分かるように、検索文字である『神』は、インデックス行列における位置[ｉ，ｊ]の[２，１]に適合し、検索文字である『仙』は、インデックス行列における[３，１]に適合する。

したがって、ブロック１０５に示すように、検索文字『神』の文字相関値は１、検索文字『仙』の文字相関値は１となる。

そして、検索文字『神』の行番号は[２]であり、検索文字『仙』の行番号は[３]であり、図１０のテーブル２００に示すように、これら２つの検索文字は、インデックス行列における隣接した２行にそれぞれ適合している。

したがって、ブロック１０６に示すように、検索文字『神』の文字相関値１と検索文字『仙』の文字相関値１には、行の相関度加重因子Ｑが掛け合わされ、検索キーワードの『神仙』と文字列『去神仙居住的地方』のインデックス行列との相関度は、SimDegree＝Ｑ*（１＋１）＝２Ｑとなる。

検索キーワードとインデックス行列との相関度は、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを、ユーザの要望にしたがって柔軟に調整することで、より理想的な検索結果を得ることができる。

ユーザは、キーボード１などを用いて、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを必要に応じて適宜設定することができる。

そして、このような画像特徴によるインデックスと適合方式は、多言語の画像文書のインデックスと検索を満足できる、文字認識を行わず、計算量が少ない。本発明は中国語に限らず各種言語の画像文書に応用できる。

続いて、語彙解析機能（語義分析機能）付き検索処理について説明する。図１３にも示したように、本実施の形態の画像文書処理装置１０では、キーワード入力部２４と検索部２２との間に、語彙解析部２３が設けられている。図１７に語彙解析機能付きの検索処理を示す。

語彙解析部２３は、語義分析処理部２３ａと語義辞典２３ｂとから構成される。語義分析処理部２３ａは、キーワード入力部２４から検索キーワードが入力されると、語義辞典２３ｂを参照して、検索キーワードの語彙を分析する。

たとえば、検索キーワードとして「中日関係」が入力されると、語義分析処理部２３ａは、「中日関係」に関連する単語として、たとえば「中国」，「日本」，「関係」の３つを検索部２２の入力する。これら「中国」，「日本」，「関係」はｏｒの関係にあり、検索式は、「中国」ｏｒ「日本」ｏｒ「関係」となる。

検索部２２には、該検索式「中国」ｏｒ「日本」ｏｒ「関係」が入力され、検索部２２は、インデックス情報ＤＢ１７に対して検索を掛け、「中国」を含む画像文書、「日本」を含む画像文書、及び「関係」を含む画像文書を抽出する。

これにより、入力された検索キーワードが直接的に含まれている画像文書だけでなく、関連の画像文書も検索できる。

次に、画像文書管理処理を実施する画像文書管理部５７について説明する。画像文書管理部５７は、文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴ＤＢ２０、文書名作成部５１、画像文書ＤＢ管理部５２、画像文書表示部５３、指示入力部５４により構成されており、これらについて説明する。

文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、見出し領域初期処理部１８、画像文書ＤＢ１９、画像文書特徴ＤＢ２０の機能については既に説明している。ここでは、意味のある文書名を作成して画像文書特徴ＤＢ２０の画像文書を管理する画像文書管理処理を実施するためにさらに必要な機能のみ、適宜説明する。

図１８を用いて画像文書管理処理を説明する。イメージスキャナ２やデジタル撮影装置６にて構成される画像文書入力部２１より、第１画像文書〜第Ｎ画像文書が入力される。

入力された第１画像文書〜第Ｎ画像文書に対し、見出し領域初期処理部１８が、それぞれの画像文書の内容を分析して、見出し領域を切出して文字列を取得する。続いて、図示してはいないが、文字画像特徴抽出部１４が、前記と同様に、切出された見出し領域に含まれる文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する。

そして、このように抽出された文字列画像の画像特徴を基に、字形特徴辞書１５および特徴適合部１６からなる候補文字列生成部５５が、画像特徴の適合度が高い文字画像を候補文字として選択して、切出された見出し領域に含まれる文字列に応じた候補文字列を作成するとともに、上記のように語彙解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。

候補文字列生成部５５にてこのように生成された意味のある候補文字列は、文書名作成部５１に送られる。

文書名作成部５１は、入力された画像文書に対して、候補文字列生成部５５にて生成された意味のある候補文字列を含めた文書名を作成する。この意味のある候補文字列が含まれた文書名を、以下においては「意味のある文書名」と称する。

文書名作成部５１には、時間データ等発生部６０から、画像文書が入力された時間および入力経路を示すデータ等のその他のデータも入力されるようになっている。文書名作成部５１は、時間データ等発生部６０から入力される時間データを少なくとも含むその他のデータを用いて、書類名を生成することもできる。

たとえば、時間データ等のその他のデータのうち、時間データを意味のある文書名に含め、意味のある文書名を、時間データと意味のある候補文字列よりなる構成としてもよい。

あるいは、時間データ等のその他のデータを用いて、同じ画像文書に、別の文書名を作成してもよい。時間データ等のその他のデータ等にて構成された文書名を、以下、オリジナル文書名と称する。

このような構成とすることで、１つの画像文書を、意味のある文書名と、時間データ等のその他のデータ等にて構成されたオリジナル文書名とで管理することが可能となる。

個々の画像文書に対して生成された意味のある文書名、およびオリジナル文書名は、画像文書ＤＢ管理部５２に送られ、画像文書ＤＢ１９に、画像文書のイメージデータに対応させて格納される。

画像文書ＤＢ管理部５２は、キーボード１等により構成される図１に示す指示入力部５４を用いて、画像文書ＤＢ１９に蓄積されている画像文書の閲覧指示等がユーザよりなされると、表示装置３等より構成される図１の画像文書表示部５３に、閲覧画面を表示する。

図１９に、画像文書表示部５３に表示される、画像文書ＤＢ１９に格納されている画像文書の閲覧画面の一例を示す。

図において、左側に示されている画面２０１は、蓄積されている画像文書がオリジナル文書名にて一覧表示されている状態を示す。画面２０１の上には、各画像文書の入力順を示している。紙面一番手前にある「ＡＲ Ｃ２６２Ｍ ２００６０８０３ １０３１４０」とのオリジナル文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書となる。「２００６０８０３」は入力日（２００６年８月３日）を表し、「１０３１４０」は時間（１０時３１分４０秒）を表している。

このような表示状態において、画面に表示されている「意味のある文書名」のタグを選択するなどの操作にて、閲覧画面の表示は、図において、右側に示されている画面２０２へと遷移する。画面２０２は、蓄積されている画像文書が意味のある文書名にて一覧表示されている状態を示す。

この画面２０２は、画面２０１に対応しており、ここでも、画面２０１の上部に示す、紙面一番手前にある「定格惠州西湖」との意味のある文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書である。

このように、意味のある文書名にて閲覧できることにより、ユーザによる蓄積された画像文書の管理やサーチが容易に実施できるようになる。また、オリジナル文書名も併せて作成されることで、時間データ等の情報も、書類名と同時にみることができる。

なお、本画像文書処理装置においては、作成したインデックス行列を用いてインデックス情報を作成し、検索処理に用いる。そのため、見出し領域初期処理部１８は、画像文書に含まれる複数の見出し領域Ｔを抽出し、それぞれにインデックス行列を作成するようになっている。しかしながら、画像文書に意味のある文書名を作成することのみを目的とするのであれば、画像文書に含まれる複数の見出しを抽出してそれぞれにインデックス行列を作成する必要はない。

つまり、画像文書を最もよく表す見出し領域に含まれる見出しの文字列（文字画像列）に対してインデックス行列を作成し、これに基づき、特徴がマッチする文字列を使用して、意味の持つ名称を作成するように構成すればよい。

画像文書を最もよく表す見出し領域としては、たとえば、抽出された複数の見出し領域のうち、画像文書の一番上の行に存在するものとすることができる。これは、重要な見出しは、画像文書の一番上の行に配されることが多いためである。

また、見出し領域に含まれる文字のサイズが、ある閾値より大きく、抽出された他の見出し領域のものよりも大きいものとすることもできる。これは、重要な見出しは、他の見出しよりも大きな文字のサイズにて記載されることが多いためである。

あるいは、見出し領域に含まれる文字のフォント（字形）タイプが、抽出された他の見出し領域のものと異なるものとすることもできる。これは、重要な見出しは、他の見出しとは異なるフォント（字形）にて記載されることが多いためである。なお、これら以外の基準を付加することもでき、また、各基準は、個々に用いてもよいし、組合わせて用いてもよい。

また、本画像文書処理装置のように、１つの画像文書について、複数の見出し領域を抽出し、それぞれにインデックス行列を作成する構成では、見出し領域の配置位置や、文字サイズ、あるいはフォントにて、最も重要な見出し領域のインデックス行列を特性するようにすればよい。また、特に、このような場合であれば、抽出された複数の見出し領域のインデックス行列より、最も頻出する単語が候補文字列に含まれるように作成することも好ましい。

本発明の他の実施形態として、バイグラムモデルの代わりにマルチグラムモデルを用いてインデックス行列の調整を行うことも可能である。

上記の実施形態とは、候補文字列の調整方法において、マルチグラムモデルを用いることのみが異なるだけで、その他の構成については同様であるので、詳細な説明は省略する。

図２０は、マルチグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。

ステップＳ３１では、インデックス行列の最後の行に到達したかどうかを判断する。到達していなければステップＳ３２に進み、到達していればステップＳ４０に進む。

ステップＳ３２では、着目されている行、すなわち一回目の処理の場合は１行目の第１候補を取り出す。ステップＳ３３では、マルチグラムモデルを適用して、着目されている行の第１候補と、これに隣接する行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。

ステップＳ３４では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたかどうかを判断する。閾値を越えていればステップＳ３５に進み、閾値を越えていなければステップＳ３６に進む。

ステップＳ３５では、隣接する行の第１候補を決定してステップＳ３６に進む。ステップＳ３６では、再度マルチグラムモデルを適用して、着目されている行とこれに続く複数の行の各候補との組み合わせについて辞書内での出現頻度を統計的にカウントする。

ステップＳ３７では、カウント値と予め定める閾値とを比較し、カウント値が閾値を越えたかどうかを判断する。閾値を越えていればステップＳ３８に進んで着目されている行に続く複数の行の第１候補を決定する。閾値を越えていなければ最大頻度を示す文字を選択して暫定的に第１候補を決定する。

ステップＳ４０では、決定された語、または語句の間の関連性に基づいて暫定の第１候補を決定する。ステップＳ４１では、第１候補文字列の中にある文字集合は辞書データの語義ルールに合致するかどうかを判断する。合致すればステップＳ４２に進んで処理を終了し、調整されたインデックス行列を得る。合致しなければステップＳ４３に進んで合致しない行の第１候補を調整して処理を終了する。

このように、マルチグラムモデルを適用することで、バイグラムに比べてより正確な候補文字列を作成することができる。

最後に、画像文書処理装置の各ブロック、特に、字体正規化処理部１２、文字画像特徴抽出部１４、特徴適合部１６、見出し領域初期処理部１８、検索部２２、語彙解析部２３、文書名作成部５１、画像文書ＤＢ管理部５２等は、ハードウエアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウエアによって実現してもよい。

すなわち、画像文書処理装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウエアである画像文書処理装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像文書処理装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、たとえば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。

また、画像文書処理装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。

画像文書処理装置１０の構成を大略的に示すブロック図である。 画像文書処理装置１０の構成を詳細に示すブロック図である。 字体正規化処理部１２が字形見本ＤＢ１３を作成する処理を示す図である。 文字画像外囲特徴の説明図である。 網格方向特徴の説明図である。 文字画像特徴抽出部１４による字形特徴辞書１５を作成する処理を示す図である。 画像文書５０に対して、Ｔ１、Ｔ２、Ｔ３の３領域を見出し領域として定位した様子を示す図である。 インデックス情報ＤＢ１７を作成する処理を示す図である。 特徴適合部１６によるインデックス行列を作成する処理の一例を示す図である。 作成したインデックス行列を調整して第１列目の文字列が意味のある文字列となるように、語彙解析法を用いて調整した具体例を示す説明図である。 バイグラムモデルに用いる辞書データ３００の構成例を示す図である。 バイグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。 検索部２２の機能と検索処理とを示す説明図である。 検索部２２における検索手順を示すフローチャートである。 検索キーワードとインデックス行列との相関度を算出する方法を示す説明図である。 検索キーワードとインデックス行列との相関度の算出を、具体例を用いて示す説明図である。 語彙解析機能付きの検索処理を示す説明図である。 画像文書管理部における処理を示す説明図である。 画像文書表示部５３に表示される、画像文書ＤＢ１９に格納されている画像文書の閲覧画面の一例を示す。 マルチグラムモデルを用いたインデックス行列の調整方法を示すフローチャートである。

符号の説明

１ キーボード
２ イメージスキャナ
３ 表示装置
４ プロセッサ
５ 外部記憶装置
６ デジタルカメラ
１０ 画像文書処理装置
１１ 文字ＤＢ入力部
１２ 字体正規化処理部
１２ａ 字形見本
１２ｂ 変形処理部
１２ｃ 字体基準部
１３ 字形見本ＤＢ
１４ 文字画像特徴抽出部
１４ａ 字形基準化部
１４ｂ 文字画像特徴取出部
１４ｃ 特徴分類部
１５ 字形特徴辞書
１６ 特徴適合部
１７ インデックス情報ＤＢ
１８ 領域初期処理部
１９ 画像文書ＤＢ
２０ 画像文書特徴ＤＢ
２１ 画像文書入力部
２２ 検索部
２２ａ インデックス行列検索処理部
２２ｂ 文字相関値保存部
２２ｃ 相関度算出部
２２ｄ 表示順序決定部
２２ｅ 画像文書抽出部
２３ 語彙解析部
２３ａ 語義分析処理部
２３ｂ 語義辞典
２４ キーワード入力部
２５ 検索結果表示部
３０ 字形特徴辞書生成部
３１ 画像文書特徴抽出部
３２ インデックス情報生成部
５０ 画像文書
５１ 文書名作成部
５２ 画像文書ＤＢ管理部
５３ 画像文書表示部
５４ 指示入力部
５５ 候補文字列生成部
５７ 画像文書管理部
６０ 時間データ等発生部
６１ 言語モデル
１００，２００ インデックス行列

Claims (17)

1. 文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、
   入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、
   前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
   前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次の第１インデックス行列を作成し、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用して意味を成す文字列に調整した第２インデックス行列を作成する特徴適合部と、
   前記特徴適合部にて作成された第２インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
   検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含む第２インデックス行列を有する画像文書を取り出す検索部とを有することを特徴とする画像文書処理装置。
2. 前記特徴適合部は、言語モデルとしてバイグラムまたはマルチグラムモデルを用いて候補文字列の語彙解析を行うことを特徴とする請求項１記載の画像文書処理装置。
3. 前記特徴適合部は、語彙解析に基づいて、前記第１インデックス行列の第１列の候補文字と、同じ行の他の候補文字とを入れ替えることにより意味を成す候補文字列を調整することを特徴とする請求項１記載の画像文書処理装置。
4. 前記文字列抽出部は、前記入力された画像文書における見出し領域を切り出すことを特徴とする請求項１に記載の画像文書処理装置。
5. 前記文字列抽出部は、連通域統計分析法とにより、画像文書における重要領域を切り出すことを特徴とする請求項１に記載の画像文書処理装置。
6. 前記画像特徴抽出部は、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出することを特徴とする請求項１に記載の画像文書処理装置。
7. 前記特徴適合部は、抽出された文字画像の画像特徴を、前記字形特徴辞書に格納されている全ての文字画像と適合させて候補文字を選択することを特徴とする請求項１に記載の画像文書処理装置。
8. 前記特徴適合部が選択する候補文字数Ｎが変更可能であることを特徴とする請求項１に記載の画像文書処理装置。
9. 前記検索部は、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出すことを特徴とする請求項１に記載の画像文書処理装置。
10. 前記インデックス行列の各要素には、位置に応じた相関値が設定されており、
    前記検索部は、
    検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含む第２インデックス行列を検出し、当該第２インデックス行列内における検索文字の適合位置の情報を、第２インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理部と、
    前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードと第２インデックス行列との相関度を算出する相関度算出部と、
    前記相関度算出部の算出結果に基づいて画像文書の取り出す順序を決定する順序決定部とを含むことを特徴とする請求項１に記載の画像文書処理装置。
11. 前記相関度算出部は、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とする請求項１０に記載の画像文書処理装置。
12. 前記第２インデックス行列の各要素に設定されている相関値が、変更が可能であることを特徴とする請求項１０に記載の画像文書処理装置。
13. 前記行の相関度加重因子が、変更が可能であることを特徴とする請求項１１に記載の画像文書処理装置。
14. 前記画像特徴抽出部を用いて、前記字形特徴辞書を作成する字形特徴辞書作成部を備えることを特徴とする請求項１に記載の画像文書処理装置。
15. 入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、
    前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
    前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成し、この第１インデックス行列の第１列を構成する複数の候補文字からなる候補文字列に対して、予め定める言語モデルによる語彙解析を適用して意味を成す文字列に調整した第２インデックス行列を作成する特徴適合ステップと、
    前記特徴適合ステップにて作成された第２インデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
    検索時に、前記インデックス情報格納ステップにて格納されたインデックス情報を、入力された検索式中の検索キーワードを構成する１検索文字単位に検索し、検索文字を含む第２インデックス行列を有する画像文書を取り出す検索ステップとを有することを特徴とする画像文書処理方法。
16. コンピュータに請求項１５記載の画像処理方法を実行させるための画像処理プログラム。
17. コンピュータに請求項１５記載の画像処理方法を実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。