JP2001337993A - 文字認識結果を利用して情報を検索する検索装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 文書画像を文字認識した後の情報を用いて、
より高精度な検索を行うことが課題である。 【解決手段】 キーワードとして“富士通研究所”が入
力されると、文書画像の認識結果から、そのキーワード
を構成する各文字の情報が抽出される。例えば、文字
“通”が抽出された場合、その文字を含み、かつ、キー
ワードの文字数に対応する領域が推定され、その領域内
の画像情報を用いてキーワードが抽出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報に対する
文字認識処理の結果を利用して、画像内の情報を検索す
る検索装置およびその方法に関する。

【０００２】

【従来の技術】近年、企業等の組織内では、情報の共有
化および迅速な情報利用の観点から、文書を電子化して
共有する文書管理システムが使用されている。電子化文
書としては、作成時から電子化されているワードプロセ
ッサ文書やプレゼンテーション文書等のテキスト検索可
能な文書がよく使用されるが、その他にも、そのままで
はテキスト検索ができない画像情報も使用される。

【０００３】画像を文書管理システムに登録する方法と
しては、後の検索処理のために、画像を文字認識して検
索可能なテキスト情報を抽出し、その情報を画像ととも
に保存する方法が一般的である。

【０００４】しかし、文字認識処理の認識率は１００％
ではなく、認識結果には誤認識も含まれる。また、通常
の検索方法では、誤認識を検出することができない。こ
のため、文書中にキーワードの文字列があるにもかかわ
らず、その文字列が誤認識のためにキーワードと一致せ
ず、検索できない場合がある。

【０００５】これを防ぐために、文字認識の特性を利用
した検索用データ作成方法と、文字認識後のデータに対
する検索方法の開発が必要とされている。文字認識後の
情報を検索する従来の検索技術としては、例えば、以下
のような文献が挙げられる。 （＃１）丸川（Marukawa）、藤澤（Fujisawa）、嶋（Sh
ima ）「認識機能の出力あいまい性を許容した情報検索
手法の一検討 認識誤り特性に着目した検索手法の分析
評価」電子情報通信学会論文誌vol.J79-D-II, no.5, pp
785-794, 1996 （＃２）太田（Ohta）、高須（Takasu）、安達（Adach
i）「認識誤りを含む和文テキストにおける全文検索手
法」情処学会論文誌vol.39, no.3, pp625-635, 1998 （＃３）糸乗（Itonori ）、尾崎（Ozaki ）「類似文字
による日本語単語抽出」信学技報（Technical Report o
f IEICE）PRMU98-87, pp25-32, 1998 （＃４）今川（Imagawa ）、松川（Matsukawa ）、近藤
（Kondo ）、目片（Mekata）「文字毎に認識信頼度を付
与した誤認識を含むテキストからの検索手法」信学技報
PRMU99-72, pp63-75, 1999 （＃５）近藤、松川、今川、目片「文字認識誤りを含む
テキストからのあいまい検索に関する一検討」信学技報
PRMU99-73, pp69-75, 1999 （＃６）遊佐（Yusa）、田中（Tanaka）「日本語文書画
像に対する文字列検索機能の実現」情報処理、情報メデ
ィア研究報告19-1, pp1-8, 1995 （＃７）中西（Nakanishi ）、大町（Omachi）、阿曽
（Aso ）「低品位文書画像に対応した高精度なキーワー
ド検索システム」信学技報PRMU98-232, pp97-104,1999 （＃８）松川、今川、近藤、目片「形状特徴検索併用に
よる文書画像検索の性能向上」信学技報PRMU99-74, pp7
7-83, 1999 これらの従来技術は、以下のように分類できる。 ａ）文字認識候補とキーワードとの照合を行う方法 文字認識時に認識候補を生成し、検索時に候補を用い
て、複数の可能性を考慮しながら検索する。 文献（＃１） 認識候補の数は固定数ではなく、文字毎に類似度のしき
い値処理を行い、認識候補を絞り込んでいる（しきい
値：４種類）。 ｂ）類似文字によるキーワードの展開方法 ｂ−１）類似文字テーブルによるキーワード文字列展開 １つのキーワードを類似文字情報により複数個に展開し
て検索する。 文献（＃１） あらかじめ作っておいたコンフュージョンマトリクス
で、単純にキーワードを展開する。１文字に対する類似
文字数は固定数ではなく、あらかじめ文字毎に類似度の
しきい値処理を行い、類似文字を絞り込んでいる（しき
い値：４種類）。 文献（＃２） 誤認識、誤欠落、誤挿入、誤結合、および誤分割を確率
的に表した誤り易さに基づく確率を格納したテーブルを
あらかじめ作っておき、そのテーブルを用いて、確率が
０以外のすべての組み合わせでキーワードを展開する。
次に、展開されたキーワードを使って全文検索を行う。
そして、検索で抽出された文字列毎に、確率的に求めた
文字列の確信度を計算し、しきい値を用いて適否を決め
る。 ｂ−２）類似文字テーブルによる検索 文字認識された文字列に対して、類似文字テーブルを用
いて、検索毎の複数の対応関係の可能性を考慮して検索
する。 文献（＃３） 形状の似た複数の文字を１つのカテゴリとして扱い、言
語処理で１つに絞り込んで検索する。

【０００６】辞書作成）まず、階層的クラスタリングで
類似文字のカテゴリ（クラスタ）を作成する。次に、類
似文字クラスタを分割し、分割クラスタを再統合する。

【０００７】識別）画像に対して、類似文字識別、形態
素解析、および詳細識別の順で処理を行い、単語列を生
成する。類似文字識別では、１０００個または２０００
個のカテゴリが用いられる。

【０００８】まず、再統合クラスタ→分割クラスタ→類
似文字クラスタの階層的識別で、入力文字に最も近い類
似文字カテゴリを求め、類似文字カテゴリでできた文字
列を作成する。次に、類似文字カテゴリ用の形態素解析
で、類似文字カテゴリ内の文字を使った単語を生成す
る。このとき、形態素解析で１単語に絞り込めなかった
文字だけ、詳細識別で決定する。 文献（＃４） 認識結果の確信度（信頼度）に応じて、類似文字テーブ
ルの展開文字数を文字毎に可変にしている。あらかじ
め、正しい文字と認識結果、およびその確信度からなる
類似文字テーブルを作り、認識時に文字認識結果とその
確信度を出力しておく。検索時には、キーワードの文字
と認識結果の文字、およびその確信度から、類似文字テ
ーブルを使って検索文字との照合確率を求める。そし
て、その値が正である場合に認識結果が照合されたもの
とみなして、検索を行う。この方法は、照合確率が正に
なる類似文字に限定した検索と同じである。 文献（＃５） 文字毎に付与された文字認識の信頼度と文字数別特定可
能確率を用いる文献（＃４）の検索方法に加えて、ｎ文
字の単語のうちｋ文字が一致した場合にその単語が一意
に特定できる確率を使って検索する。文字数別特定可能
確率とは、比較的長い文字列長をもった単語の一部をワ
イルドカード扱いにして検索を行っても、別の単語が検
索されない確率のことである。 ｃ）画像検索方法 画像照合により、文書画像からキーワード画像を直接検
索する。 文献（＃６） まず、文字矩形を正方形とみなして１６等分し、隣り合
った部分同士を縦または横に２つ組み合わせてできる長
方形を１単位とする。そして、隣同士の２つの長方形の
組み合わせのうち、正方形を作るような組み合わせを抽
出する。１文字からは、１８セットの組み合わせができ
る。次に、１単位の中の黒画素密度を求め、隣同士の単
位間における黒画素密度の比を００〜１１の２ビットで
コード化したものを特徴量とする。１文字当たり３６ビ
ットの特徴量が得られ、照合時には、８ビットの誤りま
で許容される。 文献（＃７） 複数の切り出し候補を出力し、切り出し候補毎に特徴ベ
クトルを登録する。検索時には、キーワード文字の最初
の文字から１文字毎にマッチングを行い、距離値が固定
しきい値以下である場合に、マッチしたものとする。こ
のとき、前の文字がマッチしたら次の文字は切り出し候
補を絞ることで、処理を高速化する。そして、すべての
文字の距離値がしきい値以下で、かつ、距離値の和が別
の固定しきい値以下の場合に、キーワードを検出する。 ｄ）類似文字検索と画像検索を組み合わせた方法 文献：（＃８） 認識結果の確信度（信頼度）に応じて、類似文字検索と
画像検索を切り替える。ｂ−２）における文献（＃４）
の類似文字検索を行い、照合条件に合う文字を抽出す
る。そして、類似文字検索で検出されず、かつ、信頼度
が固定しきい値より低い文字が連続する場合に、形状特
徴検索を行う。形状特徴検索では、キーワードの文字か
ら推定した幅になるように、隣接する低信頼度の文字を
統合して切り出す。次に、文字の特徴量を求め、それと
キーワードの文字の特徴量との間のユークリッド距離を
求める。そして、距離値が固定しきい値以下であれば、
照合されたものとする。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た従来の検索技術には、次のような問題がある。 ａ）文字認識候補とキーワードとの照合を行う方法 文献（＃１） 検索対象文書画像のフォントによっては、候補文字の中
に正解が入らない場合がある。特に、類似文字が多数あ
る場合には、正解が候補文字の下位になってしまうと、
候補文字数の制限から足切りされて、候補文字の中に正
解が入らない。 ｂ）類似文字によるキーワードの展開方法 ｂ−１） 文献（＃１） 展開したキーワードの数が、類似文字テーブルの大きさ
によって指数関数的に増え、計算量が膨大になる。 文献（＃２） 処理対象が広がると、展開したキーワードの数が爆発的
に増える。 ｂ−２） 文献（＃３） 言語処理が入るので、複合語や文字数が少ない単語では
精度が悪くなる。 文献（＃４） あらかじめ用意される類似文字テーブルの作り方によっ
ては、精度が期待できない。実際に、低解像度文字では
精度が悪いことが、この文献の著者らによって報告され
ている。 文献（＃５） 複合語や文字数が少ない単語に弱い。また、文献（＃
４）の方法と同様に、あらかじめ用意される類似文字テ
ーブルの作り方によっては、精度が期待できない。 ｃ）画像検索方法 文献（＃６） この方法で使用されている特徴量では、高精度が期待で
きない。また、テキストのみを使う検索に比べて、計算
量が多い。さらに、辞書作成フォント以外では、高精度
にならない。 文献（＃７） テキストのみを使う検索に比べて、計算量が多い。ま
た、キーワードの最初の文字が検出できないと、対応す
る文字列を検索できない。さらに、辞書作成フォント以
外では、高精度にならない。 ｄ）類似文字検索と画像検索を組み合わせた方法 文献（＃８） 文献（＃４）の方法と同様に、あらかじめ用意される類
似文字テーブルの作り方によっては、精度が期待できな
い。

【００１０】本発明の課題は、文字認識後の情報の検索
処理において、上述した検索技術の良い部分を残し、不
完全な部分を改良して、より高精度な検索を行う検索装
置およびその方法を提供することである。

【００１１】

【課題を解決するための手段】図１は、本発明の検索装
置の原理図である。図１の検索装置は、入力手段１０
１、抽出手段１０２、推定手段１０３、および出力手段
１０４を備え、文書画像の認識結果の情報を用いて、そ
の文書画像内の情報を検索する。

【００１２】入力手段１０１は、キーワードを入力し、
抽出手段１０２は、文書画像から、キーワードを構成す
る任意の文字をキー文字として抽出する。推定手段１０
３は、抽出されたキー文字の位置情報に基づいて、文書
画像内のキーワードに対応する領域を推定し、出力手段
１０４は、推定された領域の情報に基づいて、検索結果
を出力する。

【００１３】入力手段１０１は、例えば、ユーザにより
指定されたキーワードを検索装置に入力し、抽出手段１
０２は、入力されたキーワードに含まれる任意の文字
を、文書画像から抽出し、それをキー文字として推定手
段１０３に渡す。推定手段１０３は、受け取ったキー文
字の位置から、そのキー文字を含み、かつ、キーワード
を構成する文字の数に対応するような領域を推定する。
そして、出力手段１０４は、推定された領域のうち、キ
ーワードに対応する文字列を含む領域の位置および範囲
の情報を出力する。

【００１４】このような検索装置によれば、文書画像に
含まれる文字パターンのうち、キーワードを構成する任
意の文字に対応するパターンの位置を基準として、自動
的にキーワード領域を推定することができる。したがっ
て、キーワードの最初の文字が検出されなくても、他の
文字がキー文字として抽出されれば、キーワードに対応
する領域の情報が出力される。これにより、検索処理の
精度が向上する。

【００１５】例えば、図１の入力手段１０１は、後述す
る図１４の入力装置１１３に対応し、図１の抽出手段１
０２および推定手段１０３は、図１４のＣＰＵ１１１と
メモリ１１２の組み合わせに対応し、図１の出力手段１
０４は、図１４の出力装置１１４に対応する。

【００１６】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本実施形態の検索装
置は、まず、入力された画像情報の領域識別と文字認識
を行い、検索に必要な認識結果を含む検索用情報を生成
する。次に、検索用情報を用いて、キーワードを構成す
る文字を入力画像内で探索し、その文字の位置からキー
ワードが存在する領域の範囲を推定する。そして、その
領域内の画像情報を用いて文字列を検証し、キーワード
が抽出されれば、その位置を検索結果として出力する。

【００１７】図２は、検索用情報生成処理のフローチャ
ートである。検索装置は、まず、検索対象の文書画像を
入力する（ステップＳ１）。このとき、ユーザは、紙文
書をスキャナ等の画像入力装置で光学的に読み取って、
検索装置に入力する。これにより、文書画像が検索装置
に登録される。文書画像としては、基本的に白黒の２値
画像を想定しているが、カラー画像であっても、前処理
として２値化を行うことで、２値画像と同様に扱うこと
ができる。

【００１８】次に、検索装置は、文書画像を走査し、公
知の技術で領域識別を行って、文字領域を抽出する（ス
テップＳ２）。ここでは、例えば、画像全体をラベリン
グして黒画素連結領域の外接矩形を抽出し、一定サイズ
以上の矩形を図形・表領域候補として抽出する。次に、
図・表領域候補の各矩形の内部を対象として罫線抽出を
行い、縦横の罫線が抽出されれば、その矩形を表領域と
識別する。また、罫線が抽出されなければ、その矩形を
図領域と識別する。そして、図・表領域以外の領域を文
字領域として抽出する。

【００１９】次に、文字領域から行（文字列）を抽出
し、各行を対象として文字認識を行い、認識結果を含む
検索用情報を生成して出力する（ステップＳ３）。この
とき、黒画素連結領域の外接矩形を元にして１文字の領
域が決められ、画像情報から文字パターンが切り出され
る。

【００２０】ただし、文字同士が接触している場合もあ
るので、接触文字切り出し技術を用いて接触文字を分割
し、文字あるいは文字の部分パターンを単位（基本矩
形）として、検索用情報を出力する。接触文字切り出し
技術としては、例えば、特開平１１−３３８９７５
（「文字切り出し処理方式および文字切り出し処理プロ
グラムを記録した記録媒体」）の技術が用いられる。

【００２１】また、“川”のような分離文字を正確に抽
出するため、隣接する基本矩形を統合して文字候補の統
合矩形を作り、その矩形についても同様の検索用情報を
出力する。

【００２２】以下では、検索用情報の出力単位となる基
本矩形と統合矩形を合わせて、文字矩形と呼ぶことにす
る。検索用情報の出力は行単位で行われ、１つの行内で
各文字矩形の情報をソートして出力する。各文字矩形の
検索用情報には、以下のようなものが含まれる。 ａ）文字認識結果情報 この情報は、文字認識により得られた第１位から第ｎ位
までの認識候補の情報である（ｎ≧１）。各候補の情報
の内容は、文字コード、距離値、評価値、または確信度
である。文字コードは、検索するときのために、すべて
全角コードに変換しておく。距離値は、認識対象の文字
パターンと認識辞書の文字パターンの間の類似度を表
し、評価値は、認識候補に対する評価を表す。また、確
信度は、認識候補の確からしさを表し、例えば、その候
補の距離値と他の候補の距離値を用いて算出される。 ｂ）文字図形特徴情報 この情報は、複数の文字の図形的な特徴を表す情報で、
以下の情報を含む。 ・文字パターンそのもの ・文字パターンを画像処理した情報（画像特徴） 文字の識別能力がはっきりしている情報が望ましく、具
体的には、特徴ベクトル等が用いられる。キーワードの
中の１文字の文字コードをキーとして、認識辞書中の特
徴ベクトルとこの特徴ベクトルを整合させたときに、同
じ文字同士では確実に整合でき、異なる文字同士では整
合できないような性質が要求される。例えば、以下のよ
うな特徴ベクトルが挙げられる。 １）文字パターンから求めた詳細分類用特徴ベクトル
（２８８次元） 文字パターンから多元圧縮法という公知技術を用いて、
２８８次元の特徴ベクトルを抽出する（Hai, Kabuyama,
Yamamoto「手書き漢字認識の一手法 多元圧縮法と部
分パターン法による認識」電子情報通信学会論文誌vol.
J68-D no.4, pp773-780, 1985 ）。この方法では、ま
ず、文字パターンの輪郭点毎に、４方向の属性を持たせ
て方向線素を求め、文字パターンを非線形正規化した後
に、方向毎に異なる数の領域に分割する。そして、各領
域毎に方向線素の画素数をカウントして、カウント値を
規定の順序で並べ、ベクトル化する。これにより、詳細
分類用特徴ベクトルが得られる。 ２）文字パターンから求めた大分類用特徴ベクトル（１
６次元） 上述の詳細分類用特徴ベクトルを元にして、カテゴリ毎
に固有値と固有ベクトルを求め、固有値の大きい方から
１６本の軸（固有ベクトル）を求める。そして、各軸上
にカテゴリの代表ベクトルを投影した値を要素とする１
６次元のベクトルを生成する。これにより、大分類用特
徴ベクトルが得られる。

【００２３】これらの特徴ベクトルを用いれば、キーワ
ードの中の１文字の文字コードに相当する認識辞書中の
特徴ベクトルと、検索対象文書中の文字の特徴ベクトル
を整合させたときに、同じ文字同士では、距離のしきい
値を用いることでそれらが同じ文字であると判別でき
る。また、異なる文字同士では、同じ距離のしきい値を
用いて、それらが異なっていると判別できる。 ｃ）文字情報 ・文字の位置 例えば、文字の黒画素連結領域の外接矩形の左上および
右下の頂点の座標値が用いられる。 ・サイズ情報 この情報は、文字が属する行内に含まれる代表的な文字
矩形のサイズを表す。例えば、文字が属する行内に含ま
れる文字矩形の高さと幅の最頻値が用いられる。 ・行内の文字間隔距離の代表値 例えば、行内の文字の外接矩形間の距離の平均値が用い
られる。 ・行内の文字矩形の並びと、文字矩形の順序を表す情報 例えば、横書き行であれば、図３に示すように、基本矩
形の間隙部に、左側から順に、０，１，２，．．．のよ
うな通し番号を付ける。そして、１つの文字矩形の開始
番号として、その矩形の左側の間隙番号を設定し、終了
番号として右側の間隙番号を設定して、文字矩形の順序
情報を生成する。

【００２４】図３の文字矩形のうち、矩形１〜矩形９は
基本矩形に対応し、矩形１０〜矩形１５は、複数の基本
矩形を統合した統合矩形に対応する。例えば、矩形１０
は、矩形１と矩形２を統合して生成され、矩形１４は、
矩形１、矩形２、および矩形３を統合して生成される。
これらの矩形は、１つの行に対する複数の異なる切り出
し結果を表している。また、これらの矩形の順序情報
は、図４のようになる。 ｄ）行情報 ・行番号 行番号は、ページ内の各行に付けられたユニークな番号
を表す。 ・行方向 行方向は、縦または横を表す。

【００２５】図５は、出力された検索用情報に基づく全
文検索処理のフローチャートである。まず、ユーザは、
検索したいキーワードを入力する（ステップＳ１１）。
次に、検索装置は、検索用情報を格納した検索対象ファ
イルから、キーワードを構成する文字（キー文字）を抽
出し（ステップＳ１２）、キー文字に基づいて、キーワ
ードに対応する文字列が存在する領域を推定する（ステ
ップＳ１３）。

【００２６】次に、その領域内の画像情報を認識辞書の
情報と比較して、領域内にキーワードが含まれているか
否かを検証し、キーワードと整合する文字列を抽出する
（ステップＳ１４）。そして、抽出された文字列の位置
情報を検索結果として出力し（ステップＳ１５）、処理
を終了する。

【００２７】次に、図６から図１３までを参照しなが
ら、全文検索処理の具体例について説明する。図６およ
び図７は、図５のステップＳ１２で行われるキー文字抽
出処理のフローチャートである。この処理では、認識候
補の確信度に基づくキー文字探索が行われる。そして、
入力されたキーワードの中の１文字の文字コードと検索
対象ファイルの中の文字（第２位以下の認識候補も含
む）の文字コードが一致し、かつ、確信度が一定しきい
値を越える場合に、その文字をキー文字として抽出す
る。

【００２８】検索装置は、まず、キーワードの中の各文
字を保持する配列ｋｅｙｃｏｄｅを作成し（図６のステ
ップＳ２１）、キーワードの文字数を変数ｋｅｙｗｏｒ
ｄ＿ｎｕｍに入れる（ステップＳ２２）。次に、抽出さ
れたキー文字の数を表す変数ｅｘｔｒａｃｔ＿ｎｕｍに
０を入れ（ステップＳ２３）、検索対象ファイルから認
識結果の１文字を抽出する（ステップＳ２４）。

【００２９】次に、認識候補の順位を表す変数ｉに１を
入れ（ステップＳ２５）、配列ｋｅｙｃｏｄｅのインデ
ックスを表す変数ｊに１を入れて（ステップＳ２６）、
ｉ番目の候補の文字コードを、ｋｅｙｃｏｄｅのｊ番目
の文字の文字コードと比較する（ステップＳ２７）。

【００３０】２つの文字コードが一致すれば、次に、ｉ
番目の候補の確信度を一定しきい値と比較する（ステッ
プＳ２８）。確信度がしきい値を越えていれば、ステッ
プＳ２４で抽出された文字をキー文字とみなし、ｋｅｙ
ｃｏｄｅのｊ番目の文字コードと、抽出された文字の位
置を記録する（ステップＳ２９）。そして、ｅｘｔｒａ
ｃｔ＿ｎｕｍ＝ｅｘｔｒａｃｔ＿ｎｕｍ＋１とおく（ス
テップＳ３０）。

【００３１】次に、ｊ＝ｊ＋１とおき（図７のステップ
Ｓ３１）、ｊをｋｅｙｗｏｒｄ＿ｎｕｍと比較する（ス
テップＳ３２）。そして、ｊがｋｅｙｗｏｒｄ＿ｎｕｍ
以下であれば、ステップＳ２７以降の処理を繰り返す。

【００３２】また、ステップＳ２７において２つの文字
コードが一致しない場合、および、ステップＳ２８にお
いて確信度がしきい値以下である場合は、ステップＳ２
４で抽出された文字はキー文字ではないと判断して、ス
テップＳ３１以降の処理を行う。

【００３３】ステップＳ３２においてｊがｋｅｙｗｏｒ
ｄ＿ｎｕｍを越えると、次に、ｉ＝ｉ＋１とおき（ステ
ップＳ３３）、ｉを認識候補の数と比較する（ステップ
Ｓ３４）。そして、ｉが認識候補の数以下であれば、ス
テップＳ２６以降の処理を繰り返す。

【００３４】ｉが認識候補の数を越えると、次に、検索
対象ファイルの中の文字が終了したか否かをチェックす
る（ステップＳ３５）。未処理の文字が残っていれば、
次の文字についてステップＳ２４以降の処理を繰り返
す。そして、すべての文字が処理されると、処理を終了
する。

【００３５】この処理では、認識候補の確信度の代わり
に、評価値や距離値を用いることもできる。評価値を用
いた場合は、ステップＳ２８において認識候補の評価値
を一定しきい値と比較し、評価値がしきい値を越えてい
れば、検索対象ファイルの文字をキー文字とみなす。ま
た、距離値を用いた場合は、ステップＳ２８において認
識候補の距離値を一定しきい値と比較し、距離値がしき
い値を下回れば、検索対象ファイルの文字をキー文字と
みなす。

【００３６】上述したキー文字抽出処理によれば、検索
対象ファイルの中の各文字について、複数の認識候補と
キーワードを構成する文字とが照合されるので、文書画
像中のキー文字が検出され易くなる。また、認識候補の
確信度、評価値、または距離値に基づいてキー文字が抽
出されるので、キー文字の抽出精度が向上する。

【００３７】図８および図９は、図５のステップＳ１３
で行われるキーワード領域推定処理のフローチャートで
ある。この処理では、抽出されたキー文字の文字情報か
ら、キーワード内におけるその文字の位置を獲得する。
そして、キーワード内の位置と、キーワードの文字数や
文字幅等の文字範囲情報から、キー文字を囲む推定キー
ワード領域を求める。例えば、横書きの場合は、キー文
字から左右に伸びるキーワード領域が生成され、縦書き
の場合は、キー文字から上下に伸びるキーワード領域が
生成される。

【００３８】検索装置は、まず、抽出されたキー文字の
１つを指す変数ｉに１を入れ（図８のステップＳ４
１）、既抽出キーワード領域の数を表す変数ｋｗｎｕｍ
に０を入れて（ステップＳ４２）、ｉ番目のキー文字の
文字コードと検索対象ファイル内の位置の情報を取得す
る（ステップＳ４３）。

【００３９】次に、キー文字の位置、サイズ（キー文字
が属する行の文字の幅または高さ）、文字間隔距離等の
文字情報と、そのキー文字のキーワード内における位置
から、文書画像内におけるキーワード領域を推定する
（ステップＳ４４）。

【００４０】例えば、キーワードとして“富士通研究
所”が入力され、キー文字として“通”が抽出された場
合を考える。この例では、図１０に示すように、文書画
像内にｘｙ座標系が設定され、抽出された文字“通”の
文字情報には、文字矩形の左上頂点の座標（ｘ，ｙ）＝
（２００，５００）と右下頂点の座標（２５０，５５
０）が、位置として記録されている。また、代表的な文
字幅は５０ドットであり、文字間隔距離は１０ドットで
あることが記録されている。

【００４１】この場合、推定キーワード領域の上端およ
び下端の座標値としては、それぞれ、左上頂点のｙ座標
５００および右下頂点のｙ座標５５０が採用され、左端
および右端の座標値は、次式により計算される。 左座標： 左上頂点のｘ座標−（文字幅＋文字間隔距離）×（キー文字の左側の文字数） ＝２００−（５０＋１０）×２ ＝８０ 右座標： 右下頂点のｘ座標＋（文字幅＋文字間隔距離）×（キー文字の右側の文字数） ＝２５０＋（５０＋１０）×３ ＝４３０ したがって、推定キーワード領域の範囲を左上および右
下頂点の座標を用いて表すと、（８０，５００）−（４
３０，５５０）となる。

【００４２】次に、検索装置は、既に登録されたキーワ
ード領域の１つを指す変数ｊに１を入れ、既抽出キーワ
ード領域との重複フラグ変数ｋｗｎｕｍ２に０を入れて
（ステップＳ４５）、推定キーワード領域がｊ番目の既
登録キーワード領域と重複するか否かをチェックする
（ステップＳ４６）。

【００４３】２つのキーワード領域が重複すれば、それ
らのキーワード領域を囲む矩形領域を新たなキーワード
領域として求め、ｊ番目の既登録キーワード領域の座標
を更新する（ステップＳ４７）。これにより、ｊ番目の
既登録キーワード領域の範囲が新たなキーワード領域の
範囲に置き換えられる。そして、ｋｗｎｕｍ２＝１とお
く。

【００４４】次に、ｊ＝ｊ＋１とおき（ステップＳ４
８）、ｊとｋｗｎｕｍを比較する（図９のステップＳ４
９）。そして、ｊがｋｗｎｕｍ以下であれば、ステップ
Ｓ４６以降の処理を繰り返し、ｊがｋｗｎｕｍを越えれ
ば、次に、ｋｗｎｕｍ２の値をチェックする。

【００４５】ｋｗｎｕｍ２＝０であれば、推定キーワー
ド領域を新規に登録し、ｋｗｎｕｍ＝ｋｗｎｕｍ＋１と
おく（ステップＳ５１）。次に、ｉ＝ｉ＋１とおいて
（ステップＳ５２）、ｉ番目の抽出キー文字の情報があ
るか否かをチェックする（ステップＳ５３）。そして、
ｉ番目の抽出キー文字があれば、ステップＳ４３以降の
処理を繰り返し、抽出キー文字の情報が終了すれば、処
理を終了する。

【００４６】ステップＳ４６において、２つのキーワー
ド領域が重複しなければ、そのままステップＳ４８以降
の処理を行い、ステップＳ５０において、ｋｗｎｕｍ２
＞０であれば、ステップＳ５２以降の処理を行う。

【００４７】このようなキーワード領域推定処理によれ
ば、抽出されたキー文字の位置に基づいて、その文字を
含むキーワード領域の範囲を精度良く推定することがで
きる。また、キーワードの最初の文字がキー文字として
抽出されなくても、他の文字がキー文字として抽出され
れば、その文字の位置から対応するキーワード領域を推
定することができる。さらに、複数のキー文字が１つの
キーワード領域を構成する場合に、そのキーワード領域
を正しく抽出することができる。

【００４８】図１１は、図５のステップＳ１４で行われ
るキーワード抽出処理のフローチャートである。この処
理では、得られた推定キーワード領域の範囲の文字矩形
を対象として、文字パターンの画像を認識辞書の対応す
る文字と整合させ、領域内の文字列が本当にキーワード
であるか否かを検証する。

【００４９】例えば、キーワード領域内の重複しない矩
形の組み合わせをすべて求め、得られた組み合わせの各
々について、各矩形内の文字パターンから求めた画像特
徴と、辞書から求めたキーワード構成文字の画像特徴を
整合させる。これらの組み合わせは、それぞれ異なる文
字切り出し結果に対応する。そして、整合度が一定しき
い値以上（例えば、距離値の合計が一定しきい値以下）
の組み合わせが存在する場合に、キーワードが検出され
たものとみなす。

【００５０】例えば、キーワード領域内に図３の文字矩
形が含まれる場合、以下のような矩形の組み合わせが考
えられる。 ・矩形１〜矩形９ ・矩形１０、および矩形３〜矩形９ ・矩形１０、矩形１３、および矩形４〜矩形９ ・矩形１０、矩形１１、および矩形５〜矩形９ ・矩形１０〜矩形１２、および矩形７〜矩形９ ・矩形１、矩形２、矩形１１、および矩形５〜矩形９ ・矩形１、矩形２、矩形１１、矩形１２、および矩形７
〜矩形９ ・矩形１〜矩形４、矩形１２、および矩形７〜矩形９ ・矩形１、矩形１３、および矩形４〜矩形９ ・矩形１、矩形１３、矩形４、矩形１２、および矩形７
〜矩形９ ・矩形１４、および矩形４〜矩形９ ・矩形１４、矩形４、矩形１２、および矩形７〜矩形９ ・矩形１４、矩形１５、および矩形６〜矩形９ ・矩形１０、矩形３、矩形１５、および矩形６〜矩形９ ・矩形１、矩形１３、矩形１５、および矩形６〜矩形９ 図１１では、１つの推定キーワード領域についての検証
処理が示されているが、検索装置は、同様の処理をすべ
ての推定キーワード領域について行い、キーワードが検
出された領域だけを、検索結果として出力する。推定キ
ーワード領域内の各組み合わせに含まれる矩形は、あら
かじめ、対応する行の先頭に近いものから順にソートさ
れているものとする。

【００５１】検索装置は、まず、キーワード領域内の矩
形の組み合わせの１つに注目し、その組み合わせの最初
の矩形をカレント矩形として選択する（ステップＳ６
１）。次に、キーワードの中の文字と一致した領域内の
文字の数を表す変数ｎｕｍに０を入れ、キーワードの中
の文字を指す変数ｋに１を入れて（ステップＳ６２）、
再帰的整合処理を呼び出す（ステップＳ６３）。再帰的
整合処理では、画像特徴を用いて領域内の各文字パター
ンとキーワードの文字パターンとを照合し、一致した文
字数を復帰値としてｎｕｍに設定する。

【００５２】次に、復帰値ｎｕｍとキーワードの文字数
を比較し（ステップＳ６４）、両者が一致しなければ、
同じキーワード領域内に他の組み合わせがあるか否かを
チェックする（ステップＳ６５）。他の組み合わせがあ
れば、その組み合わせについてステップＳ６１以降の処
理を繰り返す。

【００５３】ステップＳ６４において、ｎｕｍとキーワ
ード文字数が一致すれば、キーワードが検出された領域
の数をインクリメントして（ステップＳ６６）、ステッ
プＳ６５の処理を行う。そして、ステップＳ６５におい
て、キーワード領域内のすべての組み合わせの検証が終
了すれば、処理を終了する。

【００５４】ステップＳ６３の再帰的整合処理では、ま
ず、キーワード領域内の矩形の文字パターンと文字情報
を取得する。その後の処理で用いられる検証方法には、
以下のような方法がある。 ａ）すべての矩形の文字パターンについて検証を行う方
法 領域内のすべての矩形について、画像情報を用いた整合
処理としきい値処理を行い、対象矩形がキーワードを構
成する文字か否かを検証する。

【００５５】具体的には、領域内のすべての矩形につい
て画像情報によるマッチングを行い、しきい値以下の距
離の矩形をキーワードの文字と整合したものとみなす。
そして、キーワードの文字がすべて領域内の矩形と整合
した場合に、キーワードが抽出されたとみなす。この方
法によれば、すべての矩形が画像情報を用いて検証され
るため、キーワードの抽出精度が向上する。 ｂ）確信度の低い矩形の文字パターンのみについて検証
を行う方法 領域内の矩形から、確信度が所定の条件を満たすような
ものを除き、残りの矩形を対象として、画像特徴情報を
用いた整合処理としきい値処理を行う。

【００５６】具体的には、領域内の矩形のうち、確信度
がしきい値より高い矩形は、既にキーワードの文字と整
合がとれているとみなし、確信度がしきい値以下の矩形
について、画像情報によるマッチングを行う。そして、
しきい値以下の距離の矩形をキーワードの文字と整合し
たものとみなし、キーワードの文字がすべて領域内の矩
形と整合した場合に、キーワードが抽出されたとみな
す。この方法によれば、キーワードの抽出精度を損なう
ことなく、処理時間を削減することができる。

【００５７】図１２および図１３は、ａ）の検証方法を
用いた再帰的整合処理のフローチャートである。検索装
置は、まず、カレント矩形の開始番号とその前の矩形の
終了番号を比較する（図１２のステップＳ７１）。両者
が一致しなければ、次に、カレント矩形の開始番号が０
であるか否かをチェックする（ステップＳ７２）。カレ
ント矩形の開始番号が０であれば、次に、カレント矩形
の行番号が前の行の行番号＋１であるか否かをチェック
する（ステップＳ７３）。

【００５８】カレント矩形の行番号が前の行の行番号＋
１であれば、次に、カレント矩形内の文字の画像特徴
（特徴ベクトル等）と、キーワードのｋ番目の文字の画
像特徴を比較する（ステップＳ７４）。そして、画像特
徴間の距離がしきい値以下であれば、カレント矩形の文
字とキーワードのｋ番目の文字が一致したものとみな
し、ｎｕｍ＝ｎｕｍ＋１とおく（ステップＳ７５）。

【００５９】次に、ｋ＋１をキーワードの文字数と比較
する（図１３のステップＳ７６）。そして、ｋ＋１がキ
ーワード文字数以下であれば、ｋ＝ｋ＋１とおき（ステ
ップＳ７７）、カレント矩形の次の矩形を新たなカレン
ト矩形に設定する（ステップＳ７８）。次の矩形として
は、カレント矩形の終了番号を開始番号として持つ矩形
が選択される。そして、再帰的整合処理を呼び出して復
帰値ｎｕｍを取得し（ステップＳ７９）、呼び出し元に
ｎｕｍを返して（ステップＳ８０）、処理を終了する。

【００６０】ステップＳ７１において、カレント矩形の
開始番号と前の矩形の終了番号が一致すれば、ステップ
Ｓ７４以降の処理を行う。また、ステップＳ７２におい
て開始番号が０でない場合と、ステップＳ７３において
行番号が前の行の行番号＋１でない場合と、ステップＳ
７４においてカレント矩形の文字とキーワードのｋ番目
の文字が一致しない場合は、そのままステップＳ８０の
処理を行う。また、ステップＳ７６において、ｋ＋１が
キーワード文字数を越えた場合も、ステップＳ８０の処
理を行う。

【００６１】ｂ）の検証方法を用いた場合は、領域内の
すべての矩形ではなく、確信度が高い矩形の間にある矩
形を対象にして、図１２および図１３と同様の処理を行
う。この場合、図１１のステップＳ６４では、キーワー
ドの中の文字のうち、確信度が高い文字を除いた残りの
文字（部分的な文字列）の数がキーワード文字数として
用いられる。

【００６２】また、ｂ）の検証方法において、確信度の
代わりに、評価値や距離値を用いて同様の処理を行うこ
ともできる。この場合、キーワード領域内の矩形から、
評価値または距離値が所定の条件を満たすようなものを
除き、残りの矩形を対象として、整合処理としきい値処
理を行う。

【００６３】本実施形態のパターン抽出装置は、例え
ば、図１４に示すような情報処理装置（コンピュータ）
を用いて構成することができる。図１４の情報処理装置
は、ＣＰＵ（中央処理装置）１１１、メモリ１１２、入
力装置１１３、出力装置１１４、外部記憶装置１１５、
媒体駆動装置１１６、ネットワーク接続装置１１７、お
よび画像入力装置１１８を備え、それらはバス１１９に
より互いに接続されている。

【００６４】メモリ１１２は、例えば、ＲＯＭ（read o
nly memory）、ＲＡＭ（random access memory）等を含
み、処理に用いられるプログラムとデータを格納する。
ＣＰＵ１１１は、メモリ１１２を利用してプログラムを
実行することにより、必要な処理を行う。

【００６５】入力装置１１３は、例えば、キーボード、
ポインティングデバイス、タッチパネル等であり、ユー
ザからの指示や情報の入力に用いられる。出力装置１１
４は、例えば、ディスプレイ、プリンタ、スピーカ等で
あり、ユーザへの問い合わせや処理結果の出力に用いら
れる。

【００６６】外部記憶装置１１５は、例えば、磁気ディ
スク装置、光ディスク装置、光磁気ディスク（magneto-
optical disk）装置等である。情報処理装置は、この外
部記憶装置１１５に、上述のプログラムとデータを保存
しておき、必要に応じて、それらをメモリ１１２にロー
ドして使用することができる。また、外部記憶装置１１
５は、検索対象ファイルを格納するデータベースとして
も用いられる。

【００６７】媒体駆動装置１１６は、可搬記録媒体１２
０を駆動し、その記録内容にアクセスする。可搬記録媒
体１２０としては、メモリカード、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭ（compact disk read only
memory ）、光ディスク、光磁気ディスク等、任意のコ
ンピュータ読み取り可能な記録媒体が用いられる。ユー
ザは、この可搬記録媒体１２０に上述のプログラムとデ
ータを格納しておき、必要に応じて、それらをメモリ１
１２にロードして使用することができる。

【００６８】ネットワーク接続装置１１７は、ＬＡＮ
（local area network）等の任意の通信ネットワークへ
の接続に用いられ、通信に伴うデータ変換を行う。情報
処理装置は、上述のプログラムとデータをネットワーク
接続装置１１７を介して外部の装置から受け取り、それ
らをメモリ１１２にロードして使用することができる。

【００６９】画像入力装置１１８は、例えば、ＣＣＤカ
メラやスキャナ等の撮像装置であり、カラー画像を含む
文書画像の入力に用いられる。図１５は、図１４の情報
処理装置にプログラムとデータを供給することのできる
コンピュータ読み取り可能な記録媒体を示している。可
搬記録媒体１２０や外部のデータベース１２１に保存さ
れたプログラムとデータは、メモリ１１２にロードされ
る。そして、ＣＰＵ１１１は、そのデータを用いてその
プログラムを実行し、必要な処理を行う。

【００７０】以上説明した実施形態では、文字位置の情
報として矩形の座標を用いているが、本発明では、その
他の任意の形状の座標を用いることができる。また、推
定キーワード領域として、矩形以外の形状を用いてもよ
い。 （付記１） 文書画像の認識結果の情報を用いて、該文
書画像内の情報を検索する検索装置であって、キーワー
ドを入力する入力手段と、前記文書画像から、前記キー
ワードを構成する任意の文字をキー文字として抽出する
抽出手段と、前記キー文字の位置情報に基づいて、前記
文書画像内の前記キーワードに対応する領域を推定する
推定手段と、推定された領域の情報に基づいて、検索結
果を出力する出力手段とを備えることを特徴とする検索
装置。 （付記２） 前記抽出手段は、前記文書画像内の文字の
複数の認識候補と前記キーワードを構成する任意の文字
を比較して、前記キー文字を抽出することを特徴とする
付記１記載の検索装置。 （付記３） 前記抽出手段は、前記文書画像内の文字の
認識候補の確信度、評価値、および距離値のうちの１つ
を用いて、前記キー文字を抽出することを特徴とする付
記１記載の検索装置。 （付記４） 前記推定手段は、前記文書画像内の文字の
サイズ情報および文字間隔の情報のうち少なくとも一方
と、前記キー文字の位置情報とを用いて、前記キーワー
ドに対応する領域の範囲を計算することを特徴とする付
記１記載の検索装置。 （付記５） 前記推定された領域内の文字パターンに基
づいて、該推定された領域内の文字列が前記キーワード
であるか否かを検証する検証手段をさらに備え、前記出
力手段は、該キーワードであることが検証された文字列
を含む領域の情報を、前記検索結果として出力すること
を特徴とする付記１記載の検索装置。 （付記６） 前記検証手段は、前記推定された領域内の
すべての文字パターンを対象として、画像特徴情報を用
いた整合処理としきい値処理を行い、対象文字パターン
がキーワードを構成する文字か否かを検証することを特
徴とする付記５記載の検索装置。 （付記７） 前記検証手段は、前記推定された領域内の
文字パターンから、確信度、評価値、および距離値のう
ちの１つが所定の条件を満たすような文字パターンを除
き、残りの文字パターンを対象として、画像特徴情報を
用いた整合処理としきい値処理を行い、対象文字パター
ンがキーワードを構成する文字か否かを検証することを
特徴とする付記５記載の検索装置。 （付記８） 前記検証手段は、複数の文字切り出し結果
に対応する、文字パターンの複数の組み合わせの各々に
ついて、画像特徴情報を用いた整合処理としきい値処理
を行い、各組み合わせが前記キーワードに対応するか否
かを検証することを特徴とする付記５記載の検索装置。 （付記９） あらかじめ前記文書画像を文字認識して、
認識結果を含む検索用情報を生成する生成手段と、該検
索用情報を検索対象ファイルとして格納する格納手段を
さらに備え、前記抽出手段と推定手段は、該格納手段に
格納された該検索用情報を用いて処理を行うことを特徴
とする付記１記載の検索装置。 （付記１０） 文書画像の認識結果の情報を用いて、該
文書画像内の情報を検索するコンピュータのためのプロ
グラムを記録した記録媒体であって、前記プログラム
は、前記文書画像から、キーワードを構成する任意の文
字をキー文字として抽出し、前記キー文字の位置情報に
基づいて、前記文書画像内の前記キーワードに対応する
領域を推定し、推定された領域の情報に基づいて、検索
結果を出力する処理を前記コンピュータに実行させるこ
とを特徴とするコンピュータ読み取り可能な記録媒体。 （付記１１） 文書画像の認識結果の情報を用いて、該
文書画像内の情報を検索する検索方法であって、キーワ
ードを指定し、前記文書画像から、前記キーワードを構
成する任意の文字をキー文字として抽出し、前記キー文
字の位置情報に基づいて、前記文書画像内の前記キーワ
ードに対応する領域を推定し、推定された領域の情報に
基づいて、検索結果を提示することを特徴とする検索方
法。

【００７１】

【発明の効果】本発明によれば、画像内の情報の検索処
理において、文字認識結果が有効に利用され、高精度な
検索を行うことができる。これにより、従来では誤認識
のために検索できなかった文書画像中の単語について
も、キーワードによる全文検索が可能になる。

【図面の簡単な説明】

【図１】本発明の検索装置の原理図である。

【図２】検索用情報生成処理のフローチャートである。

【図３】文字矩形を示す図である。

【図４】文字矩形の順序情報を示す図である。

【図５】全文検索処理のフローチャートである。

【図６】キー文字抽出処理のフローチャート（その１）
である。

【図７】キー文字抽出処理のフローチャート（その２）
である。

【図８】キーワード領域推定処理のフローチャート（そ
の１）である。

【図９】キーワード領域推定処理のフローチャート（そ
の２）である。

【図１０】キーワード領域を示す図である。

【図１１】キーワード抽出処理のフローチャートであ
る。

【図１２】再帰的整合処理のフローチャート（その１）
である。

【図１３】再帰的整合処理のフローチャート（その２）
である。

【図１４】情報処理装置の構成図である。

【図１５】記録媒体を示す図である。

【符号の説明】

１０１ 入力手段 １０２ 抽出手段 １０３ 推定手段 １０４ 出力手段 １１１ ＣＰＵ １１２ メモリ １１３ 入力装置 １１４ 出力装置 １１５ 外部記憶装置 １１６ 媒体駆動装置 １１７ ネットワーク接続装置 １１８ 画像入力装置 １１９ バス １２０ 可搬記録媒体 １２１ データベース

Claims (5)

【特許請求の範囲】
1. 【請求項１】 文書画像の認識結果の情報を用いて、該
   文書画像内の情報を検索する検索装置であって、 キーワードを入力する入力手段と、 前記文書画像から、前記キーワードを構成する任意の文
   字をキー文字として抽出する抽出手段と、 前記キー文字の位置情報に基づいて、前記文書画像内の
   前記キーワードに対応する領域を推定する推定手段と、 推定された領域の情報に基づいて、検索結果を出力する
   出力手段とを備えることを特徴とする検索装置。
2. 【請求項２】 前記推定手段は、前記文書画像内の文字
   のサイズ情報および文字間隔の情報のうち少なくとも一
   方と、前記キー文字の位置情報とを用いて、前記キーワ
   ードに対応する領域の範囲を計算することを特徴とする
   請求項１記載の検索装置。
3. 【請求項３】 前記推定された領域内の文字パターンに
   基づいて、該推定された領域内の文字列が前記キーワー
   ドであるか否かを検証する検証手段をさらに備え、前記
   出力手段は、該キーワードであることが検証された文字
   列を含む領域の情報を、前記検索結果として出力するこ
   とを特徴とする請求項１記載の検索装置。
4. 【請求項４】 文書画像の認識結果の情報を用いて、該
   文書画像内の情報を検索するコンピュータのためのプロ
   グラムを記録した記録媒体であって、 前記プログラムは、 前記文書画像から、キーワードを構成する任意の文字を
   キー文字として抽出し、 前記キー文字の位置情報に基づいて、前記文書画像内の
   前記キーワードに対応する領域を推定し、 推定された領域の情報に基づいて、検索結果を出力する
   処理を前記コンピュータに実行させることを特徴とする
   コンピュータ読み取り可能な記録媒体。
5. 【請求項５】 文書画像の認識結果の情報を用いて、該
   文書画像内の情報を検索する検索方法であって、 キーワードを指定し、 前記文書画像から、前記キーワードを構成する任意の文
   字をキー文字として抽出し、 前記キー文字の位置情報に基づいて、前記文書画像内の
   前記キーワードに対応する領域を推定し、 推定された領域の情報に基づいて、検索結果を提示する
   ことを特徴とする検索方法。