JP2003242171A - 文書の検索方法 - Google Patents

文書の検索方法

Info

Publication number
JP2003242171A
JP2003242171A JP2002044109A JP2002044109A JP2003242171A JP 2003242171 A JP2003242171 A JP 2003242171A JP 2002044109 A JP2002044109 A JP 2002044109A JP 2002044109 A JP2002044109 A JP 2002044109A JP 2003242171 A JP2003242171 A JP 2003242171A
Authority
JP
Japan
Prior art keywords
character string
document
search
character
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002044109A
Other languages
English (en)
Other versions
JP4006239B2 (ja
Inventor
Katsumi Tada
勝己 多田
壽 ▲高▼取
Hisashi Takatori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Systems and Services Ltd
Original Assignee
Hitachi Ltd
Hitachi Systems and Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Systems and Services Ltd filed Critical Hitachi Ltd
Priority to JP2002044109A priority Critical patent/JP4006239B2/ja
Priority to US10/370,829 priority patent/US7047238B2/en
Publication of JP2003242171A publication Critical patent/JP2003242171A/ja
Application granted granted Critical
Publication of JP4006239B2 publication Critical patent/JP4006239B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】イメージデータを用いた文書管理システムにお
いて、種文書と検索対象の文書内に認識誤り文字がいず
れかあるいは両方に存在したとしても、認識誤り文字に
よる検索精度の劣化を抑止した高精度な類似文書検索を
可能とする。 【解決手段】種文書中あるいは登録対象文書中の特徴文
字列に存在する認識誤り文字を補正する処理と、検索対
象文書中に存在する認識誤り文字を許容する処理を個別
に有する。また、特徴文字列に存在する認識誤り文字を
補正する処理では、読み込まれた文書中に存在する特徴
文字列を抽出し、抽出した特徴文字列のうち、認識誤り
文字を含む文字列を検索実行に適切な文字列へと補正
し、実際に検索に用いる特徴文字列を選択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、コンピュータ装置
を用いた文書検索システムや文書管理システムに係わ
り、特に、紙文書を電子化したイメージ文書の集合を対
象として、ユーザが指定した文書に記述されている内容
に類似する内容を含む文書の検索を高精度に行なうこと
のできるようにした文書の登録方法、検索方法および装
置並びにそれに用いられるプログラムを格納した記憶媒
体に関する。
【0002】
【従来の技術】オフィスには文書が大量に存在する。近
年、業務の効率化を目的として、オフィス内で文書を共
有し、その上でユーザが所望する文書を迅速かつ的確に
提供できるよう、文書の管理を行なうことが重要であ
る。ワープロソフトなどで作成された電子データに対す
る文書共有の方法としては、文書管理システムが既に実
用化され、高速かつ効率的に所望の文書を検索できる仕
組みが提供されている。また、紙文書を共有するシステ
ムとして、紙の文書をスキャナなどで読み取り、イメー
ジデータとして管理するイメージ文書管理システムがあ
る。
【0003】イメージ文書管理システムにおいては、イ
メージデータを簡単に登録でき、かつ、蓄積したイメー
ジデータを再利用できる手段が求められる。また、蓄積
したイメージデータを再利用するためには、ユーザが所
望する情報を含んだイメージデータや電子データを高速
かつ効率的に検索する手段が必要不可欠となる。
【0004】ユーザが所望する情報を含んだ電子データ
を高速かつ効率的に検索する手段として、ユーザの所望
する内容を含んだ文書(以下、種文書と呼ぶ)を例示
し、その文書と類似する文書を検索する類似文書検索が
実用化されている。
【0005】イメージデータに対応した類似文書検索の
方法は、例えば、特開平8−115330号公報(以
下、従来技術1とする)に開示されている。従来技術1
では、文書登録時に、紙文書をイメージデータとして読
み込み、イメージデータに対して文字認識技術により文
字情報を抽出することでテキストデータに変換し、イメ
ージデータと共にテキストデータを登録しておく。さら
に、文書検索時は、紙文書をイメージデータとして読み
込み、イメージデータに対して文字認識技術により文字
情報を抽出することでテキストデータに変換し、さらに
テキストデータから該文書を特徴付けるような文字列
(以下、特徴文字列とする)を自動抽出し、文書検索を
行なっている。
【0006】文字認識技術により文字情報を抽出する際
には、認識誤り文字が発生することが知られているが、
従来技術1では、前提として、文書登録時と文書検索時
に用いるスキャナとOCR(Optical Character Recogn
ition:光学的文字認識装置)を同一のものを用いるこ
とにしており、その前提の元で、生成されるテキストデ
ータの文字認識精度を均質化できるとしている。つま
り、検索条件として入力するテキストデータと検索対象
となるテキストデータにおける認識誤り文字の出現傾向
は同一であり、特徴文字列のミスマッチは起こり得ない
としている。
【0007】しかし、この前提のもとでは登録を行なう
マシンと検索を行なうマシンを全く同一にする必要があ
ることになり、検索を行なう際にも登録用のマシンにわ
ざわざ足を運ぶことに繋がるため、利便性に欠ける。ま
た、仮に同一のスキャナとOCRを用いたとしても、こ
れら文字認識装置は同一文字に対し毎回同じ結果を出力
するものではなく、紙文書を読み込む際に生じる文書の
傾きあるいは文書内に存在する文字自体が持つ大きさ、
鮮明さ、傾き、フォントなどの影響を受け、ある文字に
対して認識誤りを起こす場合と正しく認識される場合が
ある。
【0008】例えば、イメージデータ中に存在する
「E」という文字に対して、OCRは通常「E」という文
字であるとの文字認識結果を出力するが、傾いた文字や
不鮮明な文字、紙文書の汚れなどによる品質の劣化が生
じると、同一のOCRであっても「F」や「B」、
「Σ」、「L」、「Γ」といった文字であると誤って認
識することも多い。このことから、種となる文書もしく
は検索対象のどちらか一方に認識誤り文字が存在し、も
う一方に正しく認識された文字が存在する場合、特徴文
字列がマッチせず、検索漏れが発生することがある。
【0009】さらに、種文書としてユーザ自ら自然文を
キーボードから入力した場合、種文書の設定に用いたス
キャナと検索対象の文書に用いたスキャナが異なってい
た場合あるいは種文書の設定に用いたOCRと検索対象
の文書に用いたOCRが異なっていた場合には、従来技
術1での前提が成立しない。このため、種文書中に存在
する特徴文字列と検索対象の文書内に存在する特徴文字
列が異なるので検索漏れが発生することがある。
【0010】例えば、「サッカー日本代表、ブラジルと
対戦」という紙の文書が存在し、OCRにより「ナッカ
ー日本代表、ブラジル仁対戦」と文字認識されたとす
る。また、この文字認識結果から「ナッカー」「日本」
「代表」「ブラジル」「仁」といった特徴文字列が抽出
されるものとする。このとき、検索対象の文書中に「サ
ッカー」が「ナッカー」と認識誤りを起こしている文書
は検索できるが、たまたま正しく「サッカー」と認識さ
れている文書や「サソカー」と認識誤りを起こしている
文書は検索対象外となり、検索漏れが起こる。
【0011】さらに、「と」という文字が「仁」と認識
誤りを起こしているために「日本を代表する古墳の仁徳
天皇陵」といった検索ユーザにとって不必要な文書まで
検索してしまう。さらに、ユーザ自身が検索の種となる
文書として「サッカー日本代表、ブラジルと対戦」と入
力した場合には、「ナッカー」と認識誤りを起こしてい
る文書は検索されない。
【0012】つまり、実際には検索条件における特徴文
字列もしくは種文書から抽出された特徴文字列と検索対
象の文書に存在する特徴文字列に文字認識によるギャッ
プが存在し、従来技術1ではそのギャップを埋める処理
が存在しないため、特徴文字列のミスマッチが生じ、検
索精度が劣化する。
【0013】また、検索条件における特徴文字列と検索
対象の文書中に存在する特徴文字列との文字認識による
ギャップを埋める検索方法としては、例えば、特開平4
−158478号公報(以下、従来技術2とする)で
は、認識誤りの傾向を予め学習しておき、その学習結果
を検索時に用いることで検索対象となる文書に存在する
認識誤り文字を許容し、人手による校正作業なしで高精
度な全文検索を実行できる。なお、全文検索とは、ユー
ザが入力した検索用の文字列が含まれる文書を検索する
技術である。
【0014】上記従来技術2では、文書登録のときにO
CR出力によるテキストデータに修正を加えず、そのま
ま文書登録を行なう。つまり、従来技術2では、文書登
録時における人手による修正作業を必要とせず、さら
に、検索を行なう処理に工夫をすることで、検索対象に
含まれる認識誤り文字による検索漏れを防いでいる。
【0015】従来技術2では、ある文字に対して認識誤
りを起こす可能性の高い文字(以下、認識候補文字とす
る)を類似文字テーブルに格納しておき、検索を行なう
際に類似文字テーブルを参照しながら検索に用いる文字
列を1文字ごとに分割し、分割された各文字に対して上
記類似文字テーブルを参照し、参照した各文字の認識候
補文字を組み合わせて複数の文字列(以下、展開語とす
る)に展開する。そして、それらの展開語のいずれかを
含む文書を検索するため、展開語の論理和(OR)集合
(以下、拡張特徴文字列とする)による全文検索を行な
うことで、検索対象の文書に存在する認識誤り文字を許
容する。
【0016】前記従来技術2の全文検索の方法を類似文
書検索に適用した場合、検索対象となる文書に存在する
認識誤り文字を許容して検索できる。しかし、種文書に
存在する認識誤り文字が原因となる問題を解決できな
い。例えば、上記の例の「サッカー」という文字に対し
て、検索対象となる文書内で「ナッカー」や「サソカ
ー」と認識誤りを起こしていれば、従来技術2を用いて
検索を行なうことができる。
【0017】しかし、種文書内で「ナッカー」と認識誤
りをおこしていた場合においては、「ナ」という文字
は、例えば「十」、「+」あるいは「t」といった文字
と形状が似ていると判断されても、「サ」という文字と
は形状が似ているとは判断されない場合がある。これ
は、「サ」という文字は「ナ」という文字に認識誤りを
起こすことがあり得るが、「ナ」という文字が「サ」と
認識誤りすることが少ないということに起因する。この
場合、同様の技術を種文書に対して適用したとしても、
「サッカー」という文字へと展開することはできない。
このため、「サッカー」という特徴文字列が漏れる可能
性がある。また、「と」という文字が「仁」と誤って認
識され、「日本を代表する古墳の仁徳天皇陵」といった
不必要な文書まで検索される問題は、従来技術2を類似
文書検索に適用しても解消できない。
【0018】
【発明が解決しようとする課題】以上述べたように、文
書登録時と文書検索時に同一のOCRを用いた場合、利
便性に欠けるというだけでなく、種文書における特徴文
字列と検索対象の文書に存在する特徴文字列との文字認
識精度から生じるギャップにより検索精度が劣化する。
【0019】本発明の目的は、認識誤り文字が存在する
ことによる種文書と検索対象となる文書とに存在する特
徴文字列のギャップを吸収することで、イメージデータ
を利用した高精度な文書情報の検索方法および情報蓄積
装置を実現することにある。
【0020】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、(A)種文書中あるいは登録対象文書
中に存在する認識誤り文字を補正する処理と(B)検索
対象の文書中に存在する認識誤り文字を許容する処理を
個別に行なった上で、文書情報の登録および検索を行な
う。
【0021】すなわち、本発明による(A)種文書中あ
るいは登録対象文書中に存在する認識誤り文字を補正す
る処理は、(1)文書を読み込む文書読み込みステップ
と、(2)上記文書読み込みステップにおいて読み込ま
れた文書中の文字列から特徴的な文字列を特徴文字列と
して抽出する特徴文字列抽出ステップと、(3)前記特
徴文字列抽出ステップにおいて抽出された全ての特徴文
字列のうち、認識誤り文字を含む特徴文字列に対し、検
索を実行する上で適切な特徴文字列および特徴文字列の
重み値へ補正する特徴文字列補正ステップと、(4)前
記特徴文字列補正ステップにより補正された特徴文字列
群を基に、実際の検索に使用する特徴文字列を選択する
特徴文字列選択ステップを有する。
【0022】次に、本発明による(B)検索対象の文書
内に存在する認識誤り文字を許容する処理は、(1)前
記特徴文字列選択ステップにより選択された各特徴文字
列に対し、各文字に対してOCRが認識誤りをおこす可
能性のある文字を候補文字としてあらかじめ列挙し、記
憶領域に格納してある類似文字テーブルを参照し、参照
した各候補文字を組み合わせて特徴文字列を展開・拡張
する特徴文字列展開ステップと、(2)前記特徴文字列
展開ステップにおいて展開された特徴文字列群を基に文
書検索コマンドを生成する検索式生成ステップを有す
る。
【0023】以上に述べたように、種文書における認識
誤り文字と検索対象となる文書における認識誤り文字に
対し、それぞれ個別に検索に悪影響を与えないようにす
る処理を施すことにより、種文書と検索対象となる文書
のイメージ化を行なう際にそれぞれ異なるスキャナを用
いた場合、種文書と検索対象となる文書の文字情報の抽
出にそれぞれ異なるOCRを用いた場合、種文書と検索
対象文書のどちらか一方にのみ認識誤り文字が含まれる
場合あるいは種文書と検索対象文書の両方に認識誤り文
字が存在する場合のいずれの場合においても、OCRに
よる認識誤り文字の人手による校正を行なわずに高精度
な類似文書検索を行なうことができる。
【0024】
【発明の実施の形態】以下、本発明を適用した第一の実
施例について図面を用いて説明する。
【0025】図1は本実施例におけるシステムの全体構
成を示す。図1に示すように、本実施例は文書登録サブ
システム101、文書検索サーバ102、検索クライア
ント103および104、ネットワーク105から構成
される。
【0026】文書登録サブシステム101は、検索対象
として入力される各紙文書をスキャナ206によりイメ
ージデータに変換し、OCRを用いてイメージデータに
存在する文字情報を抽出しテキストデータとして出力す
る。出力されたテキストデータを解析し、検索時に必要
となるインデックスデータを作成する。このインデック
スデータは、生成されたイメージデータやテキストデー
タおよび文書管理情報とともに、ネットワーク105を
介して文書検索サーバ102に転送され、後に文書検索
サーバ102が検索処理を行なう際に用いられる。
【0027】文書検索サーバ102は、検索クライアン
ト103および104からの検索コマンドを受け取り、
文書登録サブシステム101が作成したインデックスデ
ータを用いて検索コマンドの指定する条件に適合する文
書内容の検索を行ない、検索結果データを要求元の検索
クライアントに送り返す。
【0028】検索クライアント103および104は、
ユーザが対話的に検索条件を指定するための画面をディ
スプレイ上に表示し、この画面上でユーザが指定した検
索条件を、文書検索サーバ102にとって解釈可能な検
索コマンドの形に変換し、この検索コマンドをネットワ
ーク105を介して文書検索サーバ102に送信する。
前記の通り、文書検索サーバ102が検索コマンドに対
応する処理を行ない、検索結果データを送り返してくる
と、検索クライアントは受け取った検索結果データを画
面に表示してユーザに提示する。なお、ユーザが指定す
る検索条件には、テキストデータやイメージデータを指
定しても構わない。
【0029】さらに、ユーザが検索条件を入力する形態
としては、ユーザ自らキーボードから自然文を入力する
場合、文書登録サブシステム101や文書検索サーバ1
02に蓄積されているデータを用いる場合、手元に存在
する紙文書をスキャナなどでイメージ化したデータを用
いる場合、フロッピー(登録商標)ディスクや光ディス
クなど可搬型記憶媒体からイメージデータやテキストデ
ータを読み込む場合あるいはネットワーク105を介し
て転送されてくるイメージデータやテキストデータを入
力とする場合が想定されるが、いずれの形態を利用して
も構わない。
【0030】また、図1では2台のコンピュータ103
および104を検索クライアントとして使用する構成例
を示したが、検索クライアントは1台のみとする構成、
又は3台以上とする構成をとることもできる。
【0031】ネットワーク105は、ローカルエリアネ
ットワークおよび(または)広域エリアネットワークで
あって、文書登録サブシステム101、文書検索サーバ
102、検索クライアント103および104が各種デ
ータやコマンドを送受信するために用いられる。
【0032】ここで、図1では文書登録サブシステム1
01から文書検索サーバ102にインデックスデータを
転送するためにネットワーク105を使用するものとし
たが、代わりにフロッピーディスク、光磁気ディスク、
追記型光ディスクなどの可搬型記憶媒体を使用する構成
をとることもできる。あるいは、文書登録サブシステム
101と文書検索サーバ102を1台のコンピュータ上
に実装し、データ転送を行なわない構成をとることもで
きる。さらに、図1では検索クライアント103および
104と文書検索サーバ102には別個のコンピュータ
を使用するものとしたが、1個以上の検索クライアント
を文書検索サーバと同一のコンピュータで実行する構成
をとることもできる。
【0033】文書登録サブシステム101は、ディスプ
レイ201、キーボード202、中央演算装置(CP
U)203、フロッピーディスクドライブ(FDD)2
04、フロッピーディスク205、スキャナ206、通
信制御装置207、主メモリ208、磁気ディスク装置
209、システムバス210から構成される。
【0034】ディスプレイ201は、本サブシステムに
おける処理の実行状況を表示するために使用する。キー
ボード202は、文書登録処理の実行などを指示するコ
マンドを入力するために使用する。中央演算装置203
は、本サブシステムを構成する各種プログラムを実行す
る。フロッピーディスクドライブ204は、フロッピー
ディスク205に対するデータの読み書きのために使用
する。スキャナ206は、登録対象とする紙文書を読み
込み、イメージデータとして電子化し、本サブシステム
に入力するために使用する。通信制御装置207は、ネ
ットワーク105を介して前記文書検索サーバ102と
通信し、文書登録あるいは文書検索に関するリクエスト
およびデータの送受信を行なうために使用する。
【0035】主メモリ208は、本サブシステムによる
処理を行なうための各種プログラムおよび一時的なデー
タを保持するために使用する。磁気ディスク装置209
は、登録されたイメージデータ、テキストデータ、本サ
ブシステムが作成するインデックスデータ、イメージデ
ータとテキストデータの関連性を保持する文書管理情報
および各種プログラムを格納するために使用する。シス
テムバス210は、これらの各種装置を接続するために
使用する。
【0036】主メモリ208中には、システム制御プロ
グラム211、文書登録制御プログラム212、スキャ
ナ制御プログラム220、文字認識プログラム221、
テキスト登録プログラム222、イメージ登録プログラ
ム223、文書管理情報登録プログラム224および文
字列インデックス生成プログラム225が格納されると
ともに、ワークエリア270が確保される。これらのプ
ログラムは、フロッピーディスク205や光磁気ディス
クなどの可搬型記憶媒体に格納され、ここから読み出
し、磁気ディスク装置209へインストールする。本サ
ブシステム起動時に、システム制御プログラム211が
起動し、これらのプログラムを磁気ディスク装置209
から読み出し、主メモリ208へ格納する。
【0037】磁気ディスク装置209中には、テキスト
データ格納領域250、イメージデータ格納領域25
1、インデックスファイル格納領域252、文書管理情
報格納領域253および各種プログラム格納領域254
が確保される。
【0038】システム制御プログラム211は周辺機器
との間のデータの入出力など、コンピュータ上で本サブ
システムを構成する各プログラムを実行するための基本
機能を提供する。文書登録制御プログラム212は、ス
キャナ制御プログラム220、文字認識プログラム22
1、テキスト登録プログラム222、イメージ登録プロ
グラム223、文書管理情報登録プログラム224およ
び文字列インデックス生成プログラム225の起動およ
び実行制御を行なうと共に、これらのプログラムによっ
て生成されたテキストデータ、イメージデータ、インデ
ックスファイルおよび文書管理情報をネットワーク10
5を介して前記文書検索サーバ102に転送する。ワー
クエリア270はプログラムの実行時に一時的に必要と
なるデータを記憶するために用いられる。
【0039】スキャナ制御プログラム220は、登録す
る紙文書をセットしたスキャナ206を起動し、紙文書
からイメージデータを生成する。文字認識プログラム2
21は、前記スキャナ制御プログラムで生成されたイメ
ージデータを入力して文字情報を抽出し、テキストデー
タを生成する。テキスト登録プログラム222は、前記
文字認識プログラムで生成されたテキストデータを磁気
ディスク209内に存在するテキストデータ格納領域2
50へ登録する。イメージ登録プログラム223は、前
記スキャナ制御プログラムから出力されたイメージデー
タを磁気ディスク209内に存在するイメージデータ格
納領域251へ登録する。文書管理情報登録プログラム
は、前記スキャナ制御プログラムで生成されたイメージ
データと前記文字認識プログラムで生成されたテキスト
データの識別子を関連付け、文書管理情報格納領域25
3へ登録する。文字列インデックス生成プログラム22
5は、前記文字認識プログラムで生成されたテキストデ
ータから、所定の部分文字列と該部分文字列の文字位置
情報との対応関係を表すデータを生成し、インデックス
ファイル格納領域252に格納されているインデックス
に登録し、インデックスを更新する。
【0040】なお、本実施例ではスキャナ206から入
力されたイメージデータを登録対象文書として入力する
構成としたが、フロッピーディスク、光磁気ディスク、
追記型光ディスクなど可搬型記憶媒体からイメージデー
タを読み込む構成をとることもでき、ネットワーク10
5を介して転送されてくるイメージデータを入力とする
こともできる。また、スキャナやOCRを介す構成を取
らず、すでに電子化されているテキストデータを可搬型
記憶媒体から読み込む構成、直接データをキーボード2
02から手入力する構成あるいはネットワーク105を
介して転送されてくるテキストデータを入力とする構成
を取っても構わない。
【0041】また、テキストデータを入力とした場合、
対応するイメージデータに対する情報は、空のデータを
作成し仮の文書識別子を付与する形態を用いてもよい
し、イメージデータは存在しないことを明示する情報を
付与する形態を取ってもよい。さらに、本実施例では生
成されたテキストデータ、イメージデータ、インデック
スファイルおよび文書管理情報を文書検索サーバ102
に転送するものとしたが、生成されたインデックスファ
イルのみ、あるいは、生成されたインデックスファイル
およびいずれかのデータのみを文書検索サーバ102に
転送し、実体のデータは各文書登録サブシステムに格納
しておく形態を取っても構わない。
【0042】次に、本実施例における文書登録処理の手
順を図2を用いて説明する。キーボード202からの登
録指示コマンド等により、文書登録制御プログラム21
2が起動されると、本プログラムはまずスキャナ制御プ
ログラム220を起動し、スキャナ206上にセットさ
れている紙文書の有無を調べ、全ての登録対象文書に対
し、以下に示すステップ302から307の一連の処理
を繰り返し実行する(ステップ301)。
【0043】ステップ302では、スキャナ制御プログ
ラム220を実行し、スキャナ206により、登録対象
の紙文書を読み込み、イメージデータへ変換する。この
登録対象の紙文書には図表やイラストが挿入されていて
も構わない。さらに、変換したイメージデータに対して
文書識別子を割り当て、ワークエリア270へ格納す
る。なお、文書識別子は文書データベース中で特定の文
書を一意に識別する番号である。
【0044】ステップ303では、周知の文字認識技術
を用いた文字認識プログラム221を実行し、ステップ
302にて生成されたイメージデータを入力とする文字
認識を行なうことでイメージデータ中に存在する文字情
報を抽出する。抽出された文字情報はテキストデータと
して文書識別子を割り当て、ワークエリア270に格納
する。
【0045】ステップ304ではステップ303で生成
されたテキストデータを入力して文字列インデックス生
成プログラム225を実行する。文字列インデックス生
成プログラムは、まずインデックスファイル格納領域2
52から現時点での文字列インデックスを読み出し、所
定の部分文字列と該部分文字列の位置情報との対応関係
を表わすデータを生成してこれをインデックスファイル
に登録し、更新されたインデックスファイルをインデッ
クスファイル格納領域252に格納する。
【0046】ステップ305では、ワークエリアに格納
されているテキストデータとイメージデータを入力とし
て文書管理情報登録プログラム224を実行する。ワー
クエリアに格納されているテキストデータとイメージデ
ータの文書識別子を関連付け、関連付けたデータ間の情
報を文書管理情報格納領域253に登録する。関連付け
たデータ間の情報は、対応関係を表わすテーブルを持つ
ことで容易に実現できる。
【0047】ステップ306では、ワークエリアに格納
されているテキストデータを入力し、テキスト登録プロ
グラム222を実行する。テキスト登録プログラムで
は、入力されたテキストデータと文書識別子をテキスト
データ格納領域250に登録する。また、ステップ30
7では、ワークエリアに格納されているイメージデータ
を入力し、イメージ登録プログラム223を実行する。
イメージ登録プログラムでは、入力されたイメージデー
タと文書識別子をイメージデータ格納領域251に登録
する。
【0048】全ての登録対象文書について上記ステップ
302から307の一連の処理が終了すると、文書登録
制御プログラム212はステップ308を実行して終了
する。ステップ308では、テキストデータ格納領域2
50に格納された全てのテキストデータ、イメージデー
タ格納領域251に格納された全てのイメージデータ、
インデックスファイル格納領域252に格納された全て
のインデックスファイル、文書管理情報格納領域253
に格納された全ての文書管理情報を、ネットワーク10
5を介して文書検索サーバ102に転送する。
【0049】文書検索サーバ102は、文書登録サブシ
ステム101と同様のシステム構成を取るが、スキャナ
206をシステムとして組込まない点が異なる。さら
に、主メモリ208と磁気ディスク209に格納される
プログラム群およびデータが異なっている。図3に本実
施例における文書検索サーバ102の構成を示す。
【0050】主メモリ208中には、システム制御プロ
グラム211、文書検索制御プログラム213、検索条
件式解析プログラム226、類似文書検索プログラム2
27、特徴文字列補正プログラム231、文字列分割プ
ログラム235、拡張特徴文字列生成プログラム236
および検索結果取得プログラム239が格納されるとと
もにワークエリア270が確保される。
【0051】磁気ディスク装置209中には、テキスト
データ格納領域250、イメージデータ格納領域25
1、インデックスファイル格納領域252、文書管理情
報格納領域253、各種プログラム格納領域254およ
び類似文字テーブル格納領域255が確保される。
【0052】文書検索制御プログラム213は、検索条
件式解析プログラム226、類似文書検索プログラム2
27、特徴文字列補正プログラム231、文字列分割プ
ログラム235、拡張特徴文字列生成プログラム236
および検索結果取得プログラム239の起動と実行制御
を行なうとともに、ネットワーク105を介して、文書
登録サブシステム101および検索クライアント(10
3および104)との間で文書登録または文書検索に関
するリクエストおよびデータの送受信を行なう。
【0053】検索条件式解析プログラム226は、検索
クライアント103および104から受信した検索リク
エスト中に含まれる検索条件式を解析し、類似文書検索
プログラム227によって直接検索可能な条件指定に翻
訳する。
【0054】類似文書検索プログラム227は検索条件
式解析プログラム226によって翻訳された条件指定に
従って、インデックスファイル格納領域252に格納さ
れているインデックスを検索し、得られた検索結果デー
タをワークエリア270に格納する。類似文書検索プロ
グラム227は、種文書読込プログラム228、特徴文
字列抽出プログラム229および類似度算出プログラム
230で構成されるとともに、後述するように特徴文字
列補正プログラム231を呼び出す構成をとる。
【0055】特徴文字列補正プログラム231は、重み
値補正プログラム234で構成され、抽出された特徴文
字列およびその重み値を補正する処理を行なうととも
に、拡張特徴文字列生成プログラム236を呼び出す構
成をとる。
【0056】拡張特徴文字列生成プログラム236は、
類似文字テーブル参照プログラム237と文字列展開プ
ログラム238で構成されるとともに、文字列分割プロ
グラム235を呼び出す構成をとる。
【0057】検索結果取得プログラム239は、類似文
書検索プログラム227によって取得された検索結果デ
ータを類似度の降順にソートし、この情報を要求元の検
索クライアントに転送する。
【0058】次に、本実施例における文書検索処理の手
順を図4を用いて説明する。キーボード202からのサ
ーバ起動コマンドなどにより文書検索制御プログラム2
13が起動されると、本プログラムはサーバとして文書
登録サブシステム101および検索クライアント(10
3、104など)からリクエストを受信してはその処理
を行なうループに入る(ステップ401)。このループ
は、キーボード202からサーバの停止を指示するコマ
ンドが入力されるまで継続する。
【0059】ステップ401のループは、文書登録サブ
システム101および検索クライアント(103および
104)から文書登録あるいは文書検索に関するリクエ
ストを受信する処理(ステップ402)と、受信したリ
クエストの種別を判定し、判定した種別に対応する処理
に分岐する処理(ステップ403)を繰り返す。
【0060】ステップ403では、受信したリクエスト
の種別を判定し、判定したリクエストが文書登録サブシ
ステム101から送信されたデータベース更新リクエス
トであった場合、ステップ404および405からなる
処理に分岐する。また、前記リクエストが検索クライア
ント(103、104など)から送信された文書検索リ
クエスト(特定の検索条件を満たす文書群の検索を求め
るリクエスト)であった場合、ステップ406、40
7、408および409からなる処理に分岐する。ま
た、前記リクエストが検索クライアント(103、10
4など)から送信された検索結果問合せリクエスト(特
定の検索処理の結果を問合せるリクエスト)であった場
合、ステップ410の処理に分岐する。また、前記リク
エストが検索クライアント(103、104など)から
送信された文書転送リクエスト(指定された文書の転送
を求めるリクエスト)であった場合、ステップ411の
処理に分岐する。分岐先の処理が終了した後は再びステ
ップ402に戻ってループを継続する。
【0061】ステップ404では、文書登録サブシステ
ム101から、新規に登録された文書群の文書データ
(テキストデータおよびイメージデータ)を受信し、受
信した文書データのうちテキストデータをテキストファ
イル格納領域250に、イメージデータをイメージデー
タ格納領域251にそれぞれ追加する。
【0062】次に、ステップ405では、文書登録サブ
システム101から、新規に登録された前記文書群の内
容に対応したインデックスデータを受信し、この受信し
たインデックスデータを反映してインデックスファイル
格納領域252に存在するインデックスデータを更新す
る。
【0063】ステップ406では、検索条件式解析プロ
グラム226を実行し、文書検索リクエスト中で指定さ
れている検索条件を解析し、該検索条件を、類似文書検
索プログラム227にて直接処理可能な条件指定に変換
する。併せて、検索条件式から種文書として設定すべき
文章を抽出し、種文書として設定しておく。
【0064】次に、ステップ407では、前記ステップ
406にて生成された種文書と条件指定を入力して、類
似文書検索プログラム227を実行し、該種文書と該条
件指定を満たす文書群を検索して各文書の類似度を算出
する。なお、本ステップにおける類似文書検索プログラ
ム227の詳細な説明は後述する。
【0065】次に、ステップ408では、検索結果取得
プログラム238を起動し、類似文書検索プログラムに
て算出された各文書の類似度の降順に文書をソートし、
この文書群と各文書に対応した類似度といった情報をま
とめた検索結果データをワークエリア270に格納す
る。
【0066】次に、ステップ409では、前記検索結果
データ集合もしくは検索結果データ集合を識別する検索
結果識別子を要求元の検索クライアントに返送する。
【0067】ステップ410では、問合せの内容に応じ
て前記ステップ408にて求めた検索結果データの一部
もしくは全体をワークエリア270から抽出し、要求元
の検索クライアントに転送する。
【0068】ステップ411では、文書転送リクエスト
中で指定されている文書(複数の文書が指定されている
場合は指定されている文書すべて)の文書データをテキ
ストファイル格納領域250あるいはイメージファイル
格納領域251から抽出し、要求元の検索クライアント
に転送する。
【0069】以上が本実施例における文書検索処理の概
略手順である。以下では、上記ステップ407の詳細な
らびに各種プログラムの詳細を、図を用いて説明する。
【0070】図5はステップ407の詳細、すなわち本
実施例における類似文書検索プログラム227の処理手
順を示すPAD図である。
【0071】類似文書検索プログラム227は、文書検
索リクエスト中に存在する種文書や各種条件指定を入力
として起動されると、まず、ステップ501では、入力
された種文書をワークエリア270に格納する。
【0072】次に、ステップ502にて、特徴文字列抽
出プログラム229を起動し、ステップ501で読み込
んだ種文書中から検索に必要な特徴文字列を抽出し、各
特徴文字列に対して検索に用いる重み値を付与する。
【0073】次に、ステップ503では、イメージデー
タに対応した検索が要求されているかどうかを判定す
る。そして、イメージデータに対応した検索が要求され
ている場合に限り、ステップ504からステップ512
までの処理を実行する。イメージデータに対応した検索
が要求されていない場合には、ステップ513へ進む。
なお、ステップ503の判定に用いるデータは、検索ク
ライアント103における検索条件の設定時にユーザも
しくはシステムが設定する。
【0074】ステップ504からステップ511までの
処理は、本実施例における特徴文字列補正プログラム2
31の処理である。
【0075】特徴文字列補正プログラム231が呼び出
されると、まず、類似文書検索プログラム227で指定
されている特徴文字列をワークエリア270に格納する
(ステップ504)。
【0076】ステップ504が終了すると、特徴文字列
を一つずつ読み出してはその処理を行なうループに入る
(ステップ505)。このループ処理を行なうことによ
り、種文書から抽出する特徴文字列を補正し、かつ、検
索対象の文書に存在する認識誤り文字を許容することが
可能となる。また、ステップ505のループは、全ての
特徴文字列が読み出されるまで繰り返される。ステップ
505のループは、特徴文字列から拡張特徴文字列を生
成する処理(ステップ506からステップ509)と、
生成された拡張特徴文字列に対して重み値を設定する重
み値補正処理(ステップ510)と、拡張特徴文字列と
それに対する重み値を特徴文字列として設定する処理
(ステップ511)を繰り返す。なお、ステップ506
からステップ509における処理は、本実施例における
拡張特徴文字列生成プログラム236の処理である。
【0077】拡張特徴文字列生成プログラム236で
は、ステップ505にて指定された特徴文字列を読み出
す(ステップ506)。
【0078】次に、読み出された特徴文字列を入力とし
て文字列分割プログラム235を呼び出し、1文字単位
の部分文字列に分割する(ステップ507)。
【0079】さらに、類似文字テーブル参照プログラム
237を起動し、分割された各部分文字列に対して、類
似文字テーブル格納領域255に格納されている認識候
補文字を参照することで各部分文字列における1文字単
位の認識候補文字を設定する(ステップ508)。
【0080】最後に、文字列展開プログラム238を起
動し、設定した各部分文字列における1文字単位の認識
候補文字を組み合わせて展開語を生成し、さらに生成し
た展開語を論理和(OR)で結合することで拡張特徴文
字列を生成し、その拡張特徴文字列を出力する(ステッ
プ509)。
【0081】なお、本実施例における拡張特徴文字列生
成プログラム236に用いるプログラムは、従来技術2
に示されている方法を基本として説明したが、1文字単
位の処理ではなく、n文字単位(n≧1)の処理を行な
っても構わない。さらに、ステップ509にて生成され
た各展開語に対して各々重み付けを行ない、各展開語に
対して重みを付与した拡張特徴文字列生成を行なっても
構わない。また、類似文字テーブルの作成方法について
も、従来技術2に示されている方法を用いて作成して
も、n文字単位の類似文字テーブルを作成しても構わな
い。これら拡張特徴文字列生成プログラム236に関連
する方法および類似文字テーブル作成方法は、従来技術
2に示されている。
【0082】また、本ステップ509で用いられる類似
文字テーブルの具体例を図6に示す。図6における第1
列2551は、認識対象となる文字である。また、図6
における第2列2552は文字認識を行なった結果とし
て第一候補として認識される確率が高いもの、つまり、
認識結果として出力される可能性が一番高いものを示し
ている。同様に、図6における第3列2553は文字認
識を行なった結果として第二候補として認識される確率
が高いもの、図6における第4列2554は文字認識を
行なった結果として第三候補として認識される確率が高
いものを示す。なお、図6における第1列2551で
は、1文字毎に格納されているが、「日本」や「Cup」
のような複数文字を格納しても構わない。この場合、第
2列2552から第4列2554列はそれぞれ複数文字
における認識候補文字が格納される。
【0083】ステップ510では、前記ステップ508
にて生成された拡張特徴文字列に対して重み値補正プロ
グラム234を実行し、検索に用いる重み値を設定す
る。重み値補正プログラム234は、以下に示すステッ
プ(a)と(b)の2つのステップにより構成される。
【0084】ステップ(a):拡張特徴文字列生成プロ
グラム236で生成された拡張特徴文字列を読み込み、
格納された拡張特徴文字列が種文書内に出現する頻度を
算出する。このとき、拡張特徴文字列は各展開語が論理
和にて結合されたものであるから、各展開語のいずれか
が種文書内に出現すれば、出現頻度情報としてカウント
できる。このステップ(a)の処理により、種文書内に
存在する認識誤り文字を許容し、特徴文字列の重み値設
定に関わるパラメータの一つを補正できる。
【0085】ステップ(b):算出されたパラメータを
基として、周知の算出方法を用いて拡張特徴文字列の重
み値を算出し、その重み値を出力する。
【0086】ステップ511では、前記ステップ509
にて生成された拡張特徴文字列と前記ステップ510に
て生成された重み値を特徴文字列とその重み値として設
定し、ワークエリア270に格納する。
【0087】ステップ506からステップ511までの
処理が終了した後は再びステップ505に戻ってループ
を継続する。ステップ505のループが終了すると、生
成された特徴文字列群をソートする処理に入る(ステッ
プ512)。このステップ512では、特徴文字列を重
み値の降順にソートし、ソートされた特徴文字列をワー
クエリア270に格納する。ステップ512が完了する
と、特徴文字列補正プログラム231を終了し、ステッ
プ513へ進む。
【0088】ステップ513では、ソートされた特徴文
字列から、重み値などの選択基準を元に検索に用いる特
徴文字列を選択する。
【0089】ステップ514では、周知の技術を適用し
た類似度算出プログラム230を起動し、選択した各特
徴文字列とその重み値を入力として、テキストファイル
格納領域250に存在する各文書の類似度を算出する。
【0090】以上が、類似文書検索プログラム227、
すなわち、前記文書検索処理手段におけるステップ40
7の処理手順の詳細である。
【0091】検索クライアント103あるいは104
は、文書登録サブシステム101と同様のシステム構成
をとる。ただし、主メモリ208と磁気ディスク209
に格納されるプログラム群およびデータが異なってい
る。なお、図7は本実施例における検索クライアント1
03あるいは104のシステム構成を示す。
【0092】主メモリ208中には、システム制御プロ
グラム211、クライアント制御プログラム214、ス
キャナ制御プログラム220、文字認識プログラム22
1、検索条件入力プログラム240および検索結果表示
プログラム241が格納されるとともにワークエリア2
70が確保される。
【0093】磁気ディスク装置209中には、検索結果
データ格納領域257および各種プログラム格納領域2
54が確保される。
【0094】クライアント制御プログラム214は、ス
キャナ制御プログラム220、文字認識プログラム22
1、検索条件入力プログラム240および検索結果表示
プログラム241の起動および実行制御を行なうと共
に、ネットワーク105を介して文書検索サーバ102
との間で文書検索に関するリクエストおよびデータの送
受信を行なう。
【0095】検索条件入力プログラム240は、ユーザ
と対話しつつ検索条件の入力および解釈を行なう。検索
結果表示プログラム241は、文書検索サーバ102か
ら受け取った検索結果の表示を行なう。
【0096】なお、本実施例ではスキャナ206から入
力されたイメージデータを検索の種文書として入力する
構成としたが、磁気ディスク209上に存在するイメー
ジデータを読み込む構成やフロッピーディスク、光磁気
ディスク、追記型光ディスクなど可搬型記憶媒体からイ
メージデータを読み込む構成をとることもできる。さら
に、ネットワーク105を介して転送されてくるイメー
ジデータを入力とすることもできる。これらの場合には
スキャナ206は必要としない。また、スキャナやOC
Rを介す構成をとらず、すでに電子化されているテキス
トデータを磁気ディスクや可搬型記憶媒体から読み込む
構成、直接データをキーボード202から手入力する構
成あるいはネットワーク105を介して転送されてくる
テキストデータを入力とする構成をとっても構わない。
さらに、本クライアントにプリンタを接続し、検索結果
を印刷するよう構成することもできる。
【0097】次に、本実施例における検索クライアント
(103、104)の動作手順を図8を用いて説明す
る。キーボード202から入力されるクライアント起動
コマンドなどにより、クライアント制御プログラム21
2が起動されると、本プログラムはユーザから文書検索
を指示するコマンドを受け取ってはその処理を行なうル
ープに入る(ステップ701)。このループは、キーボ
ード202からクライアントの停止を指示するコマンド
が入力されるまで継続する。ステップ701のループ
は、以下に示すステップ702からステップ708まで
に示す処理を繰り返す。
【0098】ステップ702では、ユーザが対話的に検
索条件を入力するための画面を表示する。ステップ70
3では、スキャナ制御プログラム220を起動し、スキ
ャナ206により、種文書として設定する対象の紙文書
を読み込み、イメージデータへと変換しワークエリア2
70に格納する。この種文書として設定する紙文書には
図表やイラストが挿入されていても構わない。ステップ
704では、文字認識プログラム221を実行し、ステ
ップ703にて生成されたイメージデータ中に存在する
文字情報を抽出する。抽出された文字情報はテキストデ
ータとしてワークエリア270に格納する。なお、文字
認識技術についてはすでに公知であるため、ここでは言
及しない。ステップ705では、検索条件入力プログラ
ム240を実行し、ユーザとの対話により検索条件を入
力し、さらに、ワークエリアに格納されたテキストデー
タを種文書として設定する。そして、該検索条件と該種
文書を文書検索サーバ102が解釈可能な文書検索リク
エストに変換する。
【0099】ステップ706では、前記文書検索リクエ
ストを、ネットワーク105を介して、文書検索サーバ
102に送信する。ステップ707では、文書検索サー
バ102から前記文書検索リクエストの返送として検索
結果データ集合が返されるのを待ち、検索結果データ集
合あるいは該検索結果識別子を受信する。ステップ70
8では、前記検索結果データ集合あるいは検索結果識別
子を入力として検索結果表示プログラム241を実行
し、ユーザと対話しつつ検索結果データの問合せおよび
画面表示を行なう。
【0100】ステップ708で実行される検索結果表示
プログラム241は、図9に示すように、クライアント
制御プログラム214から起動されると、直ちにステッ
プ801のループに入る。このループは、ユーザから検
索結果表示の終了を指示するコマンドを入力されるま
で、以下に示すステップ802からステップ812まで
に示す処理を繰り返し実行する。
【0101】前記ステップ801のループ内では、まず
ステップ802において、検索結果の表示とユーザから
の指示入力のために用いる画面をディスプレイ201に
表示する。次に、ステップ803において、前記画面上
でユーザが指定した指示内容を読み込む。次に、ステッ
プ804において、前記ユーザの指示内容の種別を判定
し、その種別に対応した分岐を行なう。すなわち、該指
示が検出文書数の表示を求めるものであった場合には、
以下に記すステップ805および806の処理に分岐
し、該指示が文書識別子リスト表示を求めるものであっ
た場合には、以下に記すステップ807および808の
処理に分岐し、該指示が文書内容表示を求めるものであ
った場合には、以下に記すステップ809からステップ
812までの処理に分岐する。各分岐先の処理が終了す
るとステップ801に戻り、前記ループを再開する。
【0102】ステップ805では、検出文書数を問い合
わせるための検出文書数問合せリクエストを作成し、該
リクエストを文書検索サーバ102に送信する。ステッ
プ806では、前記リクエストに対応して文書検索サー
バ102から転送されてきた検索文書数を受信し、該数
値をディスプレイ201に表示する。
【0103】ステップ807では、検出文書群の文書識
別子リストを問合せるための文書識別子問合せリクエス
トを作成し、該リクエストを文書検索サーバ102に送
信する。ステップ808では、前記リクエストに対応し
て文書検索サーバ102から転送されてきた文書識別子
の集合を受信し、該集合に含まれる文書識別子群を検索
結果データ格納領域257に格納し、ディスプレイ20
1に文書識別子群をリスト表示する。
【0104】ステップ809では、表示すべき文書を特
定する文書識別子を入力する。ステップ810では、該
識別子が識別する文書の文書データをえるための文書転
送リクエストを作成し、該リクエストを文書検索サーバ
102に送信する。ステップ811では、前記リクエス
トに対応して文書検索サーバ102から転送されてきた
文書データを受信し、該文書データを検索結果データ格
納領域257に格納する。ステップ812では、格納し
た文書データを、書式化してディスプレイ201上に表
示する。このとき、文書データ内に存在する特徴文字列
などに対して、反転や着色などのハイライト表示処理を
加えても構わない。さらに、このステップにおいて表示
するデータはイメージデータであってもテキストデータ
であっても構わない。
【0105】イメージデータは、文章の加工ができない
反面、可読性に優れており、図表も同時に見ることがで
きる。一方、テキストデータは文章の加工ができる反
面、認識誤り文字を含んでいるため可読性に劣り、図表
も見ることができない。こういった文書の特性を理解し
た上で、イメージデータとテキストデータのどちらの文
書を表示するかはユーザが選択できる。テキストファイ
ル格納領域250およびイメージファイル格納領域25
1に登録されている情報は、文書管理情報253におい
てテーブル形式にて管理されているため、必要なデータ
の取得は、容易に実現できる。
【0106】以下では、第一の実施例における文書登録
および文書検索の処理について、具体的な例を用いて説
明する。
【0107】まずは、文書登録における処理手順につい
て、文書登録サブシステム102の処理手順に基づき、
具体例を用いて説明する。
【0108】図10に、文書登録に用いる紙文書901
の一例を示す。なお、登録対象の紙文書901には、図
10に示す文書内容だけでなく、その記事に関連した写
真が掲載されている。また、図10のテキストデータ9
02は、前記文書登録サブシステム102の処理手順に
おけるステップ302および303によって文字認識を
行なった後のテキストデータの一例を示す。
【0109】今回の文字認識においては、例えば「サッ
カー」、「Goal」あるいは「team」という文字が「ナッ
かー」、「God1」、「teen」と認識誤りを起こしてい
ることがわかる。なお、図10のテキストデータ902
において、アンダーラインの文字は文字認識誤りを起こ
していることを示す。文書登録サブシステム102は、
テキストデータ902からインデックスデータを作成
し、テキストデータとステップ302にて生成されたイ
メージデータとの関連付けを行なった後、それぞれの格
納領域に登録する(ステップ304からステップ307
まで)。本実施例では、文字認識によって抽出されたテ
キストデータに何も処理を施していない。
【0110】また、図10には、文書登録に用いる電子
データ903の一例を示す。この文書は、すでに電子化
されているテキストデータである。そのため、文書登録
サブシステム102は、ステップ302および303を
実行する必要がなく、イメージデータを空データとして
設定し、テキストデータとイメージデータの関連付けを
行なった後、それぞれの格納領域に登録する(図10の
テキストデータ904)。なお、本実施例では、登録対
象が電子データの場合、イメージデータは空データとし
て登録するものとしたが、電子データをイメージデータ
化して登録する形式を取っても構わない。
【0111】この処理を登録文書がなくなるまで実行
し、生成したテキストデータ群、イメージデータ群、イ
ンデックスデータおよび文書管理情報をデータベース更
新リクエストとして文書検索サーバ102に転送する。
【0112】次に、文書検索における処理手順につい
て、文書検索サーバ102の処理手順および検索クライ
アント(103および104)の処理手順に基づき、具
体例を用いて説明する。
【0113】図11に、類似文書検索をしたい元の文
書、すなわち種文書として設定する紙文書1001の一
例を示す。なお、紙文書1001には、図11に示す文
書内容と共に、それに関連したイラストが挿入されてい
る。また、図11におけるテキストデータ1002は、
検索クライアント103(あるいは104)の処理手順
におけるステップ703および704によって文字認識
を行なった後のテキストデータの一例を示す。この文字
認識においては、例えば「サッカー」、「Cup」、「Azz
urri」あるいは「soccer」という文字が「サソカー」、
「Cap」、「Azzurvi」、「social」と認識誤りを起こし
ていることがわかる。
【0114】なお、図11のテキストデータ1002に
おいて、アンダーラインの文字は文字認識誤りを起こし
ていることを示す。さらに、図11中に検索条件入力プ
ログラム240を用いて生成された検索リクエスト10
03の一例を示す。この検索リクエストは、DB1という
データベース内でテキストデータ1002の内容に類似
した文書を検索する条件式である。この検索リクエスト
を検索サーバ102に送信する。
【0115】検索サーバ102においてこの検索リクエ
ストを受信すると、文書検索サーバ102の処理手順に
おけるステップ406および407により、種文書に存
在する特徴文字列を抽出する。図12におけるテーブル
1101は図11における検索リクエスト1003によ
り生成された特徴文字列の一例を示す。なお、類似文書
検索を実行するに際しては、テーブル1101に示した
特徴文字列から検索に用いる特徴文字列を取捨選択する
ことが必要となる。特徴文字列の選択方法としては、種
文書中での高頻度の特徴文字列を選択する方法、検索対
象の文書群に余り存在しない特徴文字列を選択する方
法、文中の役割(主語、述語、目的語)などに応じて決
定する方法あるいはこれらを組み合わせて特徴文字列の
重要度(重み値)を設定する方法などさまざまな周知の
方法が利用できる。本実施例では、便宜上、設定された
各特徴文字列の重み値が5.0以上のものを検索用の特
徴文字列として設定することにする。
【0116】従来技術1では、ここで選択された特徴文
字列を用いて検索式を生成し、検索を実行するものとし
ている。図12におけるテーブル1102は従来技術1
により選択された特徴文字列群、図12における検索条
件式1103は従来技術1により生成された検索式であ
る。この検索式では、DB1というデータベース内の文書
で、「サソカー」、「ナッカー」、「エタリア」、
「仁」、「代表」、「日本」、「Cap」の全ての特徴文
字列を含んでいる文書を検索することになる。このた
め、図10の文書902には「仁」という文字しかヒッ
トせず、文書903においても、「代表」という特徴文
字列しかヒットしないことになり、各々検索漏れになっ
てしまう。また、検索式の生成において検索に用いる特
徴文字列を論理和(OR)で結合した場合は、「日本を
代表する古墳、仁徳天皇陵」あるいは「The FDNY's Cap
Sold Out」のような無駄な文書を多くヒットさせる結
果となるばかりでなく、図10の文書902においてヒ
ットする特徴文字列は「仁」のみであり、また、文書9
03においてヒットする特徴文字列は「代表」のみであ
るため、検索結果表示において文書901、902、9
03あるいは904は相当下位のランクにて出現するこ
とになり、類似文書であると判別しにくい。
【0117】そこで、本実施例では、図12に示す処理
に対して、図13に示す特徴文字列と検索用特徴文字列
の選択に用いる重み値を補正する処理を行なっている。
【0118】まず、種文書や検索対象の文書内に存在す
る認識誤り文字に対応するため、類似文書検索プログラ
ム231にて生成された特徴文字列(テーブル110
1)に対し、認識誤りを起こしている可能性の高い文字
列へと展開する。これには類似文字テーブル255を用
いる。拡張特徴文字列生成プログラム236を適用する
ことにより、例えば「サッカー」は、「サッカー or ナ
ッカー or ・・・ or サソカー or ・・・ or サッかー or ・・
・」に、「Cap」は「Cap or Cup or Oap or Oupor ・・・」
と展開される(図13におけるテーブル1201)。こ
の展開方法については、従来技術2にて公知のため、こ
こでは詳細に言及しない。
【0119】次に、展開された特徴文字列(拡張特徴文
字列)を用いて、各特徴文字列の重み値の補正、つま
り、重み値の設定を行なう際に用いるパラメータの補正
を行なう(重み値補正プログラム234)。なお、各特
徴文字列の重み値の設定方法については、本実施例では
便宜上、各特徴文字列が種文書に出現する頻度をパラメ
ータとして用いることにする。この場合、例えば、図1
1の文書1002内に存在する「サッカー」という文字
列の出現頻度は1回であるが、「サッカー」という文字
列に対する拡張特徴文字列「サッカー or ナッカー or
・・・ or サソカーor ・・・ or サッかー or ・・・」を用いる
ことにより、本来の出現頻度である3回に補正すること
が可能となる。この補正したパラメータを基に、拡張特
徴文字列の重み値を設定し、これを検索に用いる特徴文
字列候補として設定する(図13におけるテーブル12
02における「サッカー」の項を参照)。
【0120】上記により設定された検索に用いる特徴文
字列候補を重み値の降順にソートし、ある閾値以上の特
徴文字列候補を検索に用いる特徴文字列として決定す
る。なお、本実施例では、便宜上、重み値が5.0以上
のものを検索用の特徴文字列として設定している。この
設定方法により設定された検索に用いる特徴文字列を図
13におけるテーブル1203に示し、本実施例により
生成された検索式を図13における検索式1204に示
す。
【0121】従来技術1により抽出された特徴文字列群
(図12におけるテーブル1102)と比較して、図1
3におけるテーブル1203においては、本来検索を行
なうにあたって重要な語である「サッカー」、「Azzurr
i」あるいは「Cup」という文字列が抽出できていること
がわかる。よって、以上の処理を用いることで、検索に
必要な特徴文字列が抽出できる。
【0122】また、図13の検索式1204において
は、拡張された特徴文字列とその重み値により構成され
る。つまり、検索式1204は、拡張された特徴文字列
のいずれかを内包する文書を検索する検索条件式であ
る。ここでは、特徴文字列の代わりに拡張特徴文字列を
用いることにより、検索対象の文書内に存在する認識誤
りを許容することが可能となる。
【0123】例えば、「サッカー」という特徴文字列に
対して、図10の文書902では、「サッカー」という
言葉は存在しないが、拡張特徴文字列を用いることによ
り、「ナッかー」という文字列にもヒットするため、検
索漏れを防ぐことが可能となる。また、副次的な効果で
はあるが、「Cup」が「Cap」のように認識誤りを起こし
ていたとしても、「u」と「a」が互いに認識誤りを起こ
しやすい文字である場合には、特徴文字列を拡張するこ
とにより、正しい文字列に対する検索を行なうことも可
能となる。このことにより、図10に示すような認識誤
りが内部に存在しないテキストデータ903に対して
も、高精度に検索を行なうことが可能となる。
【0124】具体的には、図13の検索式1204に
「ナッかー」「エタリヱ」「イタりア」「Azzurri」
「仁」「代表」「日木」「白本」という認識誤り文字を
含んだ特徴文字列をも内包することにより、図10の文
書902内に存在するこれらの文字と一致するため、文
書902を検索できる。さらに、図13における検索式
1204に「サッカー」「イタリア」「Azzurri」「Cu
p」「代表」「日本」という認識誤り文字を含まない特
徴文字列をも内包することにより、図10の文書904
内に存在するそれぞれの文字列にヒットするため、文書
904を検索できる。
【0125】上記までの処理において抽出・設定された
特徴文字列群を入力として類似文書検索を実行する。実
行後、抽出された各文書の類似度を基準にして降順にソ
ートし、検索結果データ集合として要求元の検索クライ
アントに返送する。検索クライアントでは、検索結果デ
ータ集合を受信し、検索結果表示プログラム241を実
行することで検索結果を表示する。
【0126】さらに、ユーザが求める文書が見つかった
場合にはその文書識別子を基に文書内容を表示する。検
索結果表示プログラム241を用いて内容表示を行なう
場合には、図10における文書901や図11における
文書1001のようなイメージデータあるいは図10に
おける文書903のような認識誤りが存在しないテキス
トデータを出力することもでき、文字認識に全く影響さ
れることなく内容を読むことができる。また、文書内容
の加工を行ないたい場合には、図10における文書90
2、図11における文書1002あるいは図10におけ
る文書903もしくは文書904のようなテキストデー
タを表示することもできる。
【0127】以上説明したように、本実施例により、登
録対象の文書はイメージデータとイメージデータを文字
認識することにより抽出されたテキストデータを登録す
るだけでよく、文書登録を行なうユーザは、手軽に文書
を登録できる。さらに、種文書と検索対象の文書に存在
する同一の特徴文字列が文字認識技術により異なった文
字列として存在している場合でも、種文書から抽出され
る特徴文字列を補正する処理と検索対象の文書内に存在
する認識誤り文字を許容する処理を個別に行なうこと
で、特徴文字列の認識誤りを意識せずに高精度な検索が
できる。
【0128】なお、本実施例では、拡張特徴文字列を作
成する際に、1文字単位の類似文字テーブルを参照する
ことで検索対象の文書内に存在する認識誤り文字を許容
している。しかし、本実施例による方法では、抽出され
た特徴文字列が短い場合、認識誤りをおこす可能性のあ
る語に展開した拡張特徴文字列を用いて検索することで
ユーザが所望しない結果(以下、検索ノイズとする)が
増えてしまう。
【0129】例えば、特徴文字列として「仁」が抽出さ
れた場合、この特徴文字列に対する拡張特徴文字列は
「仁 or に or 口 or 仕 or …」となり、この拡張特徴
文字列を用いて検索すると、「に」や「口(くち)」な
ど別の意味を持つ特徴文字列を含む文書も検索結果とし
て提示されてしまう。また、別の例として、「C langua
ge」といった文字列に存在する「C」という文字列に対
する拡張特徴文字列は「Cor c or 0 or O or …」とな
り、「0(ゼロ)」や文書内に存在する見出し項目を示
す「(c)」、あるいは「Blood type : O」など、別の
意味をもつ特徴文字列をも含んでしまう。そのため、検
索ノイズが多くなり、検索精度が劣化する。
【0130】上記課題を解決するため、本実施例の処理
に加えて、図5におけるステップ506からステップ5
09、すなわち本実施例における拡張特徴文字列生成プ
ログラム236を実行する前に、入力された検索文字列
の文字列長で拡張特徴文字列を生成するか否かを判定
し、実行する場合にのみ拡張特徴文字列生成プログラム
236を実行するという拡張特徴文字列生成方法を切り
替えるステップを備えることも容易に実現できる。
【0131】以下、本発明を適用した第二の実施例につ
いて、図面を用いて説明する。本実施例は、システムの
構成については前記第一の実施例と同一であるが、文書
検索サーバ102の処理において、特徴文字列の補正方
法が異なり、その結果、検索に用いる特徴文字列の選択
結果が第一の実施例とは異なってくる。
【0132】ここで、第一の実施例において選択された
特徴文字列の具体例(図13におけるテーブル120
3)を考察する。テーブル1203において、「仁」と
いう文字列は、「に」という文字列が認識誤りを起こし
ているために生じた文字列である。もともと「に」とい
う文字列は「は」、「が」、「a」、「the」といった文
字列と同様、文書中でとりわけ特別な意味を持たず、
「に」といった文字列を特徴文字列として検索に用いた
場合、不必要な文書が検索結果として大量に出現するこ
とになる。このことから、本来特徴文字列として設定す
べきでない「に」が文字認識誤りを起こして出現した
「仁」という文字列が、特徴文字列として設定された場
合には、「日本を代表する古墳、仁徳天皇陵・・・」とい
った不要な文書をさらに検索することにつながり、検索
精度を劣化させる要因となる。
【0133】本実施例では、抽出された特徴文字列から
検索に不要な特徴文字列を排除することにより、検索精
度の向上を行なうことが可能となる。
【0134】以下、本実施例における文書検索サーバ1
02の詳細について説明する。図14は、本実施例にお
ける文書検索サーバ102の構成を示す図である。図1
4に示す文書検索サーバ102のハードウェア構成は、
図1に示す第一の実施例の場合と同様である。ただし、
主メモリ208中には、第一の実施例において保持する
プログラム群に加えて、文字確信度算出プログラム23
2および不要語削除プログラム233を保持する。ま
た、磁気ディスク装置209中には、第一の実施例にお
いて確保する領域群に加えて、文字確信度情報格納領域
256が確保される。
【0135】特徴文字列補正プログラム231は、文字
確信度算出プログラム232、不要語削除プログラム2
33および重み値補正プログラム234によって構成さ
れ、さらに、第一の実施例と同様、拡張特徴文字列生成
プログラム236を呼び出す。
【0136】不要語削除プログラム233は、種文書か
ら抽出された特徴文字列群から、検索に不要な特徴文字
列を排除し、検索に必要な特徴文字列群へと補正する。
【0137】文字確信度算出プログラム232は、種文
書から抽出された特徴文字列が正しい文字列で構成され
ている確率を算出する。
【0138】図15は、第二の実施例における特徴文字
列補正プログラム231の概略処理を示したPAD図で
ある。図15は、図5に示す第一の実施例における特徴
文字列補正プログラム231と比較して、類似文書検索
プログラム227にて指定された特徴文字列を読み込ん
だ後、生成された特徴文字列に対する重み値の補正を行
なう前に、全ての特徴文字列に対して検索に不要な特徴
文字列を排除する処理(ステップ1301からステップ
1307まで)を加えている点が異なる。以下、本実施
例の特徴文字列補正プログラム231を、図15を用い
て説明する。
【0139】特徴文字列補正プログラム231は、類似
文書検索プログラム227から呼び出される。呼び出し
を受けると、特徴文字列補正プログラム231は、ま
ず、類似文書検索プログラム227で指定されている特
徴文字列をワークエリア270に格納する(ステップ5
04)。
【0140】ステップ504が終了すると、特徴文字列
を一つずつ読み出してはその処理を行なうループに入る
(ステップ1301)。このループ処理を行なうことに
より、種文書および(または)検索対象の文書内に認識
誤り文字が含まれていたとしても、検索に必要十分な特
徴文字列を抽出でき、同時に、検索に不要な特徴文字列
を検索用特徴文字列から除外できる。このステップ13
01のループはステップ504にて格納された全ての特
徴文字列が読み出されるまで継続する。ステップ130
1のループは、不要語削除プログラム233を実行して
検索に不必要な特徴文字列を削除する処理(ステップ1
302から1307まで)を繰り返す。
【0141】ステップ1302では、文字確信度算出プ
ログラム232を起動し、前記ステップ1301にて読
み込んだ特徴文字列を入力として文字確信度算出プログ
ラム232を実行する。文字確信度算出プログラム23
2では、読み出された特徴文字列を入力として文字列分
割プログラム235を呼び出し、所定のn文字単位(n
≧1)の部分文字列に分割する(ステップ1302)。
【0142】さらに、分割された各部分文字列に対し
て、文字確信度情報格納領域256に格納されている文
字確信度情報を参照し、各部分文字列における文字確信
度を設定する(ステップ1303)。
【0143】最後に、設定した各部分文字列の文字確信
度を組み合わせて特徴文字列全体の文字確信度を設定
し、入力された特徴文字列に対応した文字確信度を出力
する(ステップ1304)。なお、ステップ1302か
らステップ1304までが文字確信度算出プログラム2
32の処理手順である。
【0144】ステップ1304が終了すると、ステップ
1305において、前記ステップ1304で出力された
文字確信度が所定の閾値を超えているかどうかを判定す
る。
【0145】そして、前記ステップ1304より出力さ
れてきた文字確信度が所定の閾値を超えている場合に限
り、検索用の特徴文字列として設定し、ワークエリア2
70に格納する(ステップ1306)。
【0146】前記ステップ1304で出力された文字確
信度が所定の閾値を超えていない場合、その特徴文字列
を検索用の特徴文字列として設定せず、ワークエリア2
70には空のリストを格納するか、あるいは何も格納し
ない(ステップ1307)。
【0147】なお、このステップ1301からステップ
1307まで処理は本実施例における不要語削除プログ
ラム233の処理ステップである。また、ステップ50
5以降の処理については、第一の実施例で述べた処理と
同様であるため、省略する。
【0148】なお、本実施例ではステップ1302に
て、読み出された特徴文字列をn文字単位に分割するス
テップを必要としているが、後述する文字確信度情報の
作成方法によっては、nを相当大きな数と見なし(n=
∞)、部分文字列に分割しない処理方式も取れる。この
場合、ステップ1302は省略できる。ちなみに、文字
確信度算出プログラム232にて使用する文字確信度情
報の一例を図16のテーブル1600に示し、文字確信
度情報の具体的な作成方法については後述する。
【0149】また、ステップ1304における該特徴文
字列の部分文字列を用いた文字確信度の算出方法として
は以下に示す3つの方法が想定されるが、いずれの方法
を用いても構わない。なお、以下においては、ある特徴
文字列からステップ1302によりm個の部分文字列Ci
(0≦i<m)に分割され、さらにステップ1303に
てそれぞれの部分文字列における文字確信度をS(Ci)
(0≦i<m)として設定されるものとする。 (1)各部分文字列の文字確信度を乗算することで、特
徴文字列全体において正しい文字が並んでいる確率を以
下に示す数1により算出し、特徴文字列の文字確信度と
して設定する。
【0150】
【数1】
【0151】(2)各部分文字列の文字確信度を加算平
均することで、特徴文字列全体における正しい文字で構
成されている確率の平均を以下に示す数2により算出
し、特徴文字列の文字確信度として設定する。
【0152】
【数2】
【0153】(3)各部分文字列の文字確信度を基に、
特徴文字列全体で正しい文字を含んでいる確率を以下に
示す数3により算出し、特徴文字列の文字確信度として
設定する。
【0154】
【数3】
【0155】なお、本実施例では、文字確信度情報を利
用して文書検索処理を行なうこととしている。文字確信
度情報とは、n文字単位(n≧1)の部分文字列におい
て、認識された文字が正しい文字である確率を算出した
ものである。文字確信度情報の作成方法については、様
々な方法が想定される。文字確信度情報の作成方法とし
て、以下に7つの方法を例示する。 (1)文字確信度情報を作成する第一の方法は、文字確
信度情報を作成するための教師データをあらかじめ用意
することで、事前に文字確信度情報を定義しておく方法
が想定される。なお、図16は図14における文字確信
度情報について、第一の方法による作成概要を示した図
である。教師データにはイメージデータとその文書内容
に相当するテキストデータを格納しておく。イメージデ
ータを用いてOCRによる文字認識を行ない、その結果
として出力されたデータと教師データとして存在するテ
キストデータを突き合せることにより、認識された文字
が正しく認識された文字である確率(正解確率)を算出
する。この正解確率を算出するために文字確信度情報作
成プログラム1500を実行する。そして、算出した正
解確率を文字確信度S(i)として設定し、文字確信度情報
に格納する。 (2)文字確信度情報を作成する第二の方法は、構築済
の類似文字テーブルを利用する方法が想定される。この
場合においても、(1)と同様、事前に文字確信度情報
を定義しておくことになる。図17は図14における文
字確信度情報について、第二の方法による作成概要を示
した図である。類似文字テーブルには、文字列とその文
字列に対応する認識候補文字が重み値(もしくは認識確
率)と共に格納されている場合がある。その場合には、
その重み値を認識確率と設定し、Bayesの定理を応用す
ることにより、認識された文字列の正解確率を算出する
ことが可能となる。その算出方法の例を以下に示す。正
しいテキストにおける文字がiである事象をAi、それに
対応する文字認識結果として出力される文字がjである
事象をBjとするとき、OCRによる文字認識結果として
出力される文字j(事象Bj)が正しいテキストにおいて
文字i(事象Ai)である確率Pr(Ai|Bj) は、Bayesの定
理より次に示す数4を用いて算出することができる。
【0156】
【数4】
【0157】つまり、OCRによる文字認識結果として
出力される文字i(事象Bi)が正しいテキストにおいて
文字i(事象Ai)である確率(正解確率)Pr(Ai|Bi) を
算出し、算出した正解確率を文字確信度S(i)として設定
し、文字確信度情報に格納することにより作成する。 (3)文字確信度情報を作成する第三の方法は、検索対
象のテキストファイル格納領域250に出現することが
少ない文字(もしくは文字列)は認識誤り文字である可
能性が高いと考える方法がある。この方法を用いると新
規に文字確信度情報を構築する必要がなく、見かけ上、
文字確信度情報は存在しない。すなわち、本作成方法の
場合には、検索対象となる文書を格納したテキストファ
イル格納領域250から導出される統計情報が文字確信
度情報に相当する。そのため、あらかじめ文字確信度情
報を作成しておく必要がなく、検索時に特徴文字列抽出
プログラム229にて抽出された各特徴文字列について
テキストファイル格納領域250から導出される統計情
報を参照しながら文字確信度を設定する。 (4)文字確信度情報を作成する第四の方法は、認識後
の文字種により文字確信度を設定する方法がある。OC
Rによる文字認識は文字種により得手不得手が存在す
る。そのため、文字種により認識精度が異なるという事
実がある。本作成方法はOCRの認識傾向に基づいた性
質を利用したものである。なお、この作成方法も(3)
と同様、あらかじめ文字確信度情報を作成しておく必要
はない。 (5)文字確信度情報を作成する第五の方法は、認識後
のテキストデータから抽出された特徴文字列の文字列長
により判断する方法が想定される。特徴文字列として抽
出されたものは、文字列長が長いほど正しく認識された
文字列である可能性が高い。本作成方法は、この性質を
利用したものである。なお、この方法においても(3)
と同様、あらかじめ文字確信度情報を作成しておく必要
はない。 (6)文字確信度情報を作成する第六の方法は、種文書
として設定する文書を文字認識する際にOCRから出力
される認識確率の情報を利用する方法が想定される。O
CRは文字認識を行なう際に、認識候補文字としていく
つかの候補文字を出力する。このとき、いくつかのOC
Rでは認識確率も一緒に出力されるので、その情報を文
字確信度として設定するという方法である。また、認識
確率を出力しないようなOCRであっても、文字形状が
似ている順に候補文字として出力されるため、各候補文
字の出現順位によって文字確信度を設定することは可能
である。なお、この方法では、あらかじめ文字確信度を
設定しておく方法でも、抽出された文字列に対して随時
文字確信度を算出する方法でも構わない。 (7)文字確信度情報を作成する第七の方法は、形態素
解析などに利用されている単語辞書を利用する方法であ
る。すなわち、種文書から抽出された特徴文字列のう
ち、単語辞書に存在する文字列を正しい文字であると判
定する方法である。この場合は、予め単語辞書を用意す
れば文字確信度情報を設定したことになる。しかし、こ
の方法を用いる場合には、例えば、本来「に」や「Cu
p」という文字であるものがOCRによって「仁」や「C
ap」と認識誤りし、さらに、特徴文字列として「仁」や
「Cap」が設定された場合、「仁」や「Cap」という単語
は単語辞書に存在するため、正しい文字であると判定さ
れてしまう。このことから、本方法により作成された文
字確信度情報を用いても、正しい文字であると判定され
た文字列がどの程度正しいのかは判断できない。
【0158】文字確信度情報を作成する際には上記例示
したいずれの場合を用いても、上記の方法をいくつか組
み合わせる方法で構築しても構わない。また、文字確信
度情報をあらかじめ作成する場合には、本サーバ上にお
いて作成し、磁気ディスク209に直接保存する形式を
用いてもよいし、別マシンにて本文字確信度情報を作成
し、その文字確信度情報を格納したフロッピーディスク
などの可搬型記憶媒体から読み込み、磁気ディスク20
9に保存する形態を用いてもよいし、文字確信度情報を
格納したフロッピーディスクなどの可搬型記憶媒体から
直接読み出す形態を用いてもよい。あるいは、ネットワ
ーク105を介して転送されてくる文字確信度情報を磁
気ディスク209に保存する形態や直接主メモリ208
中のワークエリア270に取り込む形態を取ってもよ
い。
【0159】本実施例の文書登録の処理は、第一の実施
例と同様である。以下では、本発明の第二の実施例にお
ける文書検索の処理を、具体的な例をあげて説明する。
【0160】本実施例では、第一の実施例と同様、図1
1の紙文書1001を文字認識したテキストデータ10
02を種文書として設定するものとする。このとき、第
一の実施例と同様に、種文書中に存在する特徴文字列が
抽出され、テーブル1101が生成されるものとする。
ここまでは、第一の実施例と同じ処理である。本実施例
ではこの後の処理として、テーブル1101に存在する
特徴文字列に対し、不要語削除プログラム233を実行
して、検索に不要な特徴文字列を排除する。
【0161】図18は、不要な特徴文字列を削除する処
理の具体例を示す。文字確信度算出プログラム232を
実行し、文字確信度情報256を参照しながら、抽出さ
れた特徴文字列毎の文字確信度を算出する(テーブル1
701)。具体例として「エタリア」という文字に対す
る文字確信度を算出する。例えば、カタカナの文字が正
しく認識される確率を一律30%と設定し、さらに、前
述した文字確信度算出方法のうち、数3を用いて文字確
信度Sを算出すると、以下の算出式により「エタリア」
という文字の文字確信度は0.76と設定される。
【0162】
【数5】
【0163】本実施例では1文字単位の文字確信度を用
いて特徴文字列全体の文字確信度を算出しているが、前
述したように、この文字確信度を算出する際には、1文
字単位で算出しても複数文字単位で算出しても構わな
い。さらに、上記の算出例では、便宜上、カタカナの文
字列の文字確信度は一律30%であると設定したが、前
記文字確信度算出方法にて述べたように、各文字もしく
は各文字列の文字確信度を個別に設定しても構わない。
【0164】この文字確信度算出プログラムによって算
出された文字確信度という指標は、特徴文字列が正しい
文字列である確率を示したものであり、例えば、上記の
例における「エタリア」という文字列が正しく認識され
た文字によって構成されている確率は76%であるとい
うことである。このことから、この文字確信度が低い文
字列は認識誤りを起こしている可能性が高い。そのた
め、文字確信度が低いものを特徴文字列から外すこと
で、不要な特徴文字列を削除できる。具体的には、各特
徴文字列の文字確信度が所定の閾値以下の特徴文字列を
特徴文字列群から削除する(処理1700)。本実施例
では、便宜上、0.5以下のものを削除する。図18の
場合、「仁」という文字が0.45と0.5以下である
ので、この文字列は特徴文字列としては設定しない。こ
のようにして、検索に不必要な特徴文字列を削除でき
る。
【0165】本実施例によって設定された検索に用いる
特徴文字列を図19のテーブル1801に示し、テーブ
ル1802に本実施例により生成された検索式を示す。
第一の実施例により抽出された特徴文字列群(図13の
テーブル1203)と比較して、テーブル1801にお
いては、本来検索の際に不要であると思われる「仁」と
いう文字列が排除されている。よって、本実施例におけ
る処理を用いることで、検索に必要かつ十分な特徴文字
列が抽出できるため、「日本を代表する古墳、仁徳天皇
陵・・・」といった不要な文書を大量に検索するという問
題が解決される。
【0166】以上説明したように、本実施例を適用する
ことにより、検索に不要な特徴文字列と見なされる文字
列を排除することが可能となり、第一の実施例による効
果に加えて、不要な文書を抽出することがなくなって、
検索精度が向上する。
【0167】また、本実施例においても、第一の実施例
同様、検索精度および検索性能の改善のため、図15に
おけるステップ506からステップ509、すなわち本
実施例における拡張特徴文字列生成プログラム236を
実行する前に、入力された検索文字列の文字列長で拡張
特徴文字列を生成するか否かを判定し、実行する場合に
のみ拡張特徴文字列生成プログラム236を実行すると
いう拡張特徴文字列生成方法を切り替えるステップを備
えることも可能である。
【0168】以下、本発明を適用した第三の実施例につ
いて説明する。本実施例は、システムの構成については
前記第一の実施例と同一であるが、文書検索サーバ10
2の処理において、特徴文字列の補正方法およびそれに
伴う重み値の補正方法が異なり、その結果、検索に用い
る特徴文字列の選択結果が第一の実施例とは異なる。
【0169】ここで、第二の実施例同様、第一の実施例
で選択された特徴文字列の具体例(図13のテーブル1
203)を考察する。テーブル1203では、「サソカ
ー」および「ナッカー」という文字列は、いずれも「サ
ッカー」という文字列が認識誤りを起こしているために
生じた文字列である。検索に用いる特徴文字列が増大す
ると、ヒットする文書は多くなる可能性はあるが、不必
要な文書まで検索してしまう可能性も存在する。特に、
今回のような認識誤りを内部に含んでいる特徴文字列を
検索に用いても検索精度は余り向上しない。さらに、不
要な特徴文字列を検索に用いると、検索の特徴文字列が
増大することになり、検索性能が劣化する。
【0170】本実施例では、「サソカー」および「ナッ
カー」のように認識誤り文字が内包されているために生
じた文字列を「サッカー」のような認識誤り文字が内包
されていない(あるいは認識誤り文字が内包されていな
い可能性が高い)文字列に集約することにより、検索性
能の向上と検索に不要な文字列を削除できる。
【0171】図20は、第三の実施例における特徴文字
列補正プログラム231の概略処理を示したPAD図で
ある。図20においては、第一の実施例における特徴文
字列補正プログラム231(図5中の231)と比較し
て、生成された特徴文字列に対する重み値の補正を行な
うループ処理(ステップ505)の前に特徴文字列を文
字列長の降順、文字確信度の降順にソーティングしてい
る処理(ステップ1901)を加えている点が異なる。
また、重み値補正プログラム234内において、種文書
内における拡張特徴文字列の頻度を算出した後、種文書
内で拡張特徴文字列が出現した部分を記号などに置き換
えるマスキング処理(ステップ1904)を施している
点が異なる。
【0172】本実施例の文書登録の処理は、第一の実施
例と同様である。以下では、本発明の第三の実施例にお
ける文書検索の処理を、具体的な例をあげて説明する。
【0173】本実施例では、第一の実施例と同様、図1
1の紙文書1001を文字認識したテキストデータ10
02を種文書として設定するものとする。この場合、第
一の実施例と同様に、種文書内に存在する特徴文字列が
抽出され、図13のテーブル1101が生成されるもの
とする。ここまでは、第一の実施例と同じ処理である。
【0174】本実施例ではこの後の処理として、テーブ
ル1101に存在する特徴文字列を文字列長の降順にソ
ートする。さらに、第二の実施例を組み合わせて実装す
る場合には、文字確信度の降順にもソートする。図21
は、前記ソートする処理の具体例である。第一の実施例
のテーブル1101には、文字確信度のデータが付与さ
れていないが、本実施例では便宜上、第二の実施例を組
み合わせ、テーブル1101に文字確信度のデータが付
与されているものとする(テーブル1701)。図21
に示すテーブル2001はソートされた後の特徴文字列
群を示している。この特徴文字列群では、文字列長が長
く、文字確信度の高い順にソーティングされている。こ
れは、文字列長が長く、かつ、文字確信度が高い文字列
ほど正しく認識されている確率が高いという性質を利用
するためである。
【0175】そして、ソーティングされた特徴文字列を
用いて、第一の実施例と同様の処理を行なう。具体的に
は、ソーティングされた特徴文字列を一つずつ読み出
し、特徴文字列を拡張特徴文字列に展開、さらに、拡張
特徴文字列に対して重み値を付与し(重み値補正プログ
ラム234)、特徴文字列とその重み値を設定する。
【0176】図21に示すように、重み値補正プログラ
ム234では、第一の実施例と同様、拡張特徴文字列を
読み込み、種文書内での出現頻度を算出する(図20の
ステップ1902、1903)。
【0177】本実施例では、ステップ1903の終了
後、ステップ1904からなる処理を実行している。ス
テップ1904では、種文書内で拡張特徴文字列がヒッ
トした文字列を、検索に使用することがない記号(例え
ば「#」、「$」、「!」など)に置き換え(以下、マ
スキング処理とする)、本来同じ文字列であるが、認識
誤りを起こしている可能性が高い文字列を再びヒットさ
せないようにしている。
【0178】図22に、種文書1002にマスキング処
理を行なった例を示す。図22に示す種文書は、類似文
字テーブル255を用いて、「Azzurri」と「サッカ
ー」という文字列(特徴文字列)を拡張特徴文字列に展
開し、拡張特徴文字列にてヒットした部分を「#」とい
う文字に置き換えたものである。この処理を行なうこと
により、「Azzurvi」、「ナッカー」などといった認識
誤りを起こしている文字列がこの後にヒットすることが
なくなる。図21に示す特徴文字列群(テーブル200
2)では、「Azzurvi」、「サソカー」あるいは「ナッ
カー」といった文字列の出現頻度は1回ずつ存在するの
に対し、本実施例による重み値補正プログラムを実施し
た後の特徴文字列群(テーブル2003)では「Azzurv
i」、「サソカー」あるいは「ナッカー」といった文字
列の出現頻度は0回となっている。このため、重み値も
0となり、結果的に検索に用いる特徴文字列から排除さ
れる。
【0179】本実施例によって設定された検索に用いる
特徴文字列を図23のテーブル2201に示し、テーブ
ル2202に本実施例により生成された検索式を示す。
第一の実施例により抽出された特徴文字列群(図13の
テーブル1203)と比較して、テーブル2201にお
いては、本来検索の際には不要であると思われる「サソ
カー」、「ナッカー」、「エタリア」、「Cap」という
文字列が排除されている。よって、本実施例における処
理を用いることにより、検索に必要かつ十分な特徴文字
列が抽出でき、さらに、結果的には、検索に不要な文字
列を削除できる。
【0180】以上説明したように、本実施例を適用する
ことにより、同一の特徴文字列と見なされる文字列を集
約でき、第一の実施例による効果に加えて、検索性能の
向上と検索における不要な特徴文字列の削除によって検
索精度が向上する。
【0181】なお、本実施例における同一の特徴文字列
と見なされる文字列を集約する方法を採用した場合、前
記第二の実施例同様に、検索に不要な特徴文字列と見な
される文字列を排除する方法を適用することで、検索結
果として不要な文書が検索されないので検索精度が向上
する。また、本実施例においても、第一の実施例同様、
検索精度および検索性能の改善のため、図20のステッ
プ506からステップ509、すなわち本実施例におけ
る拡張特徴文字列生成プログラム236を実行する前
に、入力された検索文字列の文字列長で拡張特徴文字列
を生成するか否かを判定し、実行する場合にのみ拡張特
徴文字列生成プログラム236を実行するという拡張特
徴文字列生成方法を切り替えるステップを備えることも
可能である。
【0182】さらに、本実施例では、文書検索時におい
て、種文書から抽出される特徴文字列を補正する処理と
して、特徴文字列補正制御プログラム231を用いるこ
ととしたが、文書登録時においても、登録対象文書を種
文書と見なし、本実施例における特徴文字列補正プログ
ラム231と同様の処理を登録対象文書に対して実行す
ることで、登録対象文書中に存在する特徴文字列の認識
誤り文字を自動的に補正することが容易にでき、文字認
識精度が向上する。
【0183】以下、前記認識誤り文字の自動補正方式に
ついて具体的に説明する。本実施例における登録対象文
書が図11に示す紙文書1001であり、図11の紙文
書1001を文字認識したテキストデータが図11にお
ける文書1002であるとする。本実施例として記述し
た図11の文書1002を種文書と見立て、本実施例に
おける特徴文字列補正プログラム231を用いて抽出さ
れる特徴文字列群は、図23のテーブル2201に示さ
れる文字列群となる。
【0184】ここで、登録文書中に存在する拡張特徴文
字列に含まれる文字列は、もともとの特徴文字列に統合
する。例えば、拡張特徴文字列が「サッカー or ナッカ
ー or … or サソカー or … or サッかー or …」であ
った場合、登録文書中で上記拡張特徴文字列に含まれる
文字列(例えば、「ナッカー」や「サソカー」など)は
全て「サッカー」という文字に集約することができ、
「ナッカー」や「サソカー」という文字列は「サッカ
ー」という文字列に自動的に置き換えることができる。
この処理を前記特徴文字列補正プログラム231により
抽出された特徴文字列全てに行なうことにより、登録対
象文書内に存在する認識誤り文字を自動的、もしくは半
自動的に一括補正することが可能となる。また、第二の
実施例にて用いた文字確信度情報を利用し、文字確信度
がある閾値以下である特徴文字列に関しては、認識誤り
文字の自動補正を行なわないという方式も容易に実現で
きる。
【0185】なお、認識誤り文字の自動修正方式につい
て、抽出された特徴文字列のうち、ユーザが修正すべき
特徴文字列を指定し、一括修正が行なえるユーザインタ
フェースは容易に実装できる。図24に、認識誤り文字
の自動修正方式におけるユーザインタフェースの一例を
示す。図24においては、登録対象文書を文字認識した
テキストデータを表示するエリアと、自動修正を行なう
か否かの設定ボタンと、選択された特徴文字列を一括修
正するボタンと、修正するべき特徴文字列を選択するチ
ェックボックスと、登録対象文書から抽出された特徴文
字列を表示し、さらにプルダウンによって各特徴文字列
に対応した認識誤りを起こしやすい文字列(派生文字
列)を表示するテキストボックスと、登録対象文書から
抽出された各特徴文字列を個々に修正する修正ボタンに
よって構成される。図24に示すユーザインタフェース
においては、修正すべき特徴文字列をチェックすると、
登録対象文書を表示するエリア内に、特徴文字列あるい
は派生文字列であると考えられる文字列がハイライト表
示され、さらに正しいと思われる特徴文字列を登録ユー
ザがプルダウンで選択でき、修正ボタンを押下すること
で登録対象文書内における認識誤りによる派生文字列を
選択された文字列へと一括変換できる。また、登録ユー
ザが一括修正したい特徴文字列を選択し、選択した文字
列を一括修正するボタンを押下すると、選択された特徴
文字列に対応する派生文字列を一括して修正できる。さ
らに、個々の特徴文字列に対する設定が煩雑であると考
えるユーザに対しては、全て自動修正するボタンを押下
することで、個々の派生文字列を画面上に表示されてい
る特徴文字列へ一括変換できる。
【0186】また、図24では、自動修正を行なうか否
かの設定ボタンと、選択された特徴文字列を一括修正す
るボタンと、修正するべき特徴文字列を選択するチェッ
クボックスと、特徴文字列群および各特徴文字列に対応
した派生文字列を表示するテキストボックスと、各特徴
文字列を個々に修正するボタンを用いるようにしたが、
修正すべき特徴文字列をチェックし、自動修正する項目
だけでもよいし、自動修正をするか否かを設定する項目
だけでもよい。
【0187】以下、本発明を適用した第四の実施例につ
いて説明する。本実施例は、システムの構成については
前記第一の実施例と同一であるが、文書検索サーバ10
2の処理において、重み値の補正方法が異なる。
【0188】第一の実施例においては、重み値を補正す
るため、特徴文字列が種文書内に出現する頻度を算出
し、その出現頻度を補正するといった方式を取っている
(図5のステップ510)。しかし、一般的な類似文書
検索システムにおいては、特徴文字列が種文書内に出現
する頻度だけでなく、検索対象の文書中で特徴文字列が
存在する文書数を重み設定のパラメータとしているシス
テムも存在する。こういったシステムでは、特徴文字列
が種文書内に出現する頻度のみを補正するだけでは、検
索に必要な特徴文字列を抽出するためには不十分である
ことが想定される。
【0189】本実施例では、第一の実施例における重み
値補正プログラム234に加え、検索対象の文書中で特
徴文字列が存在する文書数を補正することにより、重み
値補正の精度を向上させるという効果が得られる。
【0190】本実施例における文書登録の処理について
は、第一の実施例と同様であるため省略とし、以下で
は、本発明の第四の実施例における文書検索の処理につ
いて、具体的な例をあげて説明する。
【0191】本実施例では、第一の実施例と同様、図1
1の紙文書1001を文字認識したテキストデータ10
02を種文書として設定するものとする。この場合、第
一の実施例と同様に、図13のテーブル1101に示す
特徴文字列が抽出され、拡張特徴文字列生成プログラム
236により、図13中のテーブル1201が生成され
るものとする。ここまでは、第一の実施例と同じ処理で
ある。
【0192】本実施例では、この後の処理として、第一
の実施例と同様、重み値補正処理を行なう。ただし、本
実施例では、第一の実施例の重み値補正プログラム(図
5のステップ510)と比較して、種文書内における拡
張特徴文字列の頻度を算出した後、拡張特徴文字列が検
索対象文書内で出現する文書数を算出するステップを加
えている点が異なる。以下、重み値補正プログラム23
4を詳細に説明する。
【0193】本実施例における重み値補正プログラム2
34では、第一の実施例と同様に、拡張特徴文字列を読
み込み、拡張特徴文字列が種文書内に出現する頻度を算
出する。このとき、拡張特徴文字列は各展開語が論理和
にて結合されたものであるから、各展開語のいずれかが
種文書内に含まれれば、出現頻度情報としてカウントで
きる。この処理を行なうことにより、種文書内に存在す
る認識誤り文字を許容し、特徴文字列の重み値設定に関
わるパラメータの一つを補正できる。ここまでは、第一
の実施例と同様の処理である。本実施例では、さらに、
格納された拡張特徴文字列が検索対象の文書集合である
テキストファイル格納領域250に出現する回数を算出
するステップを組込む。このときも各展開語のいずれか
がテキストファイル格納領域250に含まれれば、出現
回数情報としてカウントできる。この処理により、検索
対象の文書内に存在する認識誤り文字を許容し、特徴文
字列の重み値設定に関わるパラメータの一つを補正でき
る。そして、上記ステップにて算出された各パラメータ
を基として、拡張特徴文字列の重み値を算出し、その重
み値を出力する。また、以降の処理は、第一の実施例と
同様である。
【0194】以上が、本実施例における重み値補正プロ
グラム234、すなわち図5におけるステップ510の
詳細な処理手順である。
【0195】以上説明したように、本実施例を適用する
ことにより、拡張特徴文字列が検索対象の文書に出現す
る文書数を算出するステップを加えることにより、重み
値補正の精度を向上させ、その結果、検索精度を向上さ
せることができる。
【0196】なお、本実施例における検索対象の文書内
における出現文書数の補正を行なう方法を採用した場合
でも、前記第二の実施例同様に、検索に不要な特徴文字
列と見なされる文字列を排除する方法を適用することに
より、検索結果として不要な文書を検索しないので検索
精度が向上する。また、前記第三の実施例同様に、同一
の特徴文字列と見なされる文字列を集約する方法を適用
することにより、検索における不要な特徴文字列を削除
できるので検索性能および検索精度が向上する。
【0197】また、本実施例では、文書検索時におい
て、種文書から抽出される特徴文字列を補正する処理と
して、特徴文字列補正プログラム231を用いることと
したが、第三の実施例を適用することで、文書登録時に
おいても、第三の実施例における登録対象文書に対する
認識誤り自動補正方式と同様、登録対象文書を種文書と
見なした処理を行なうことにより、登録対象文書中に存
在する特徴文字列の認識誤りを自動的に補正することが
容易に実現でき、文字認識精度が向上する。
【0198】さらに、本実施例においても、第一の実施
例同様、検索精度および検索性能の改善のため、図5に
おけるステップ506からステップ509、すなわち本
実施例における拡張特徴文字列生成プログラム236を
実行する前に、入力された検索文字列の文字列長で拡張
特徴文字列を生成するか否かを判定し、実行する場合に
のみ拡張特徴文字列生成プログラム236を実行すると
いう拡張特徴文字列生成方法を切り替えるステップを備
えることもできる。
【0199】
【発明の効果】以上説明したように、文書登録を行なう
場合においては、登録対象の文書をスキャナなどによっ
て生成されたイメージデータとイメージデータを文字認
識することにより抽出されたテキストデータを登録する
だけでよく、また、これらの登録処理はシステムが行な
うので、ユーザは登録対象の文書を提示するだけでよ
く、手軽に文書を登録できる。また、本発明を適用する
ことにより、登録文書内に存在する認識誤り文字に対し
ても一括修正を行なえ、ユーザの負担が軽減する。
【0200】さらに、登録した文書に対して検索を行な
う場合においても、ユーザは類似文書検索をしたい元の
文書を種文書として設定するだけで、種文書から抽出さ
れる特徴文字列を補正する処理と検索対象の文書内に存
在する認識誤り文字を許容する処理を別々に行なうこと
により、種文書と検索対象の文書のいずれかあるいは両
方に存在する特徴文字列の認識誤りをユーザが意識する
ことなく、精度の高い類似文書検索を行なえる。
【図面の簡単な説明】
【図1】本発明による文書検索システムの第一の実施例
におけるシステム全体構成および文書登録サブシステム
の構成を示す図である。
【図2】本発明による第一の実施例における文書登録サ
ブシステムの概略手順を示すPAD図である。
【図3】本発明による文書検索システムの第一の実施例
における文書検索サーバの構成を示す図である。
【図4】本発明による第一の実施例における文書検索サ
ーバの概略手順を示すPAD図である。
【図5】本発明による第一の実施例における類似文書検
索プログラムの概略手順を示すPAD図である。
【図6】本発明による類似文字テーブルの例を示す図で
ある。
【図7】本発明による第一の実施例における検索クライ
アントの概略手順を示すPAD図である。
【図8】本発明による第一の実施例における検索クライ
アントの概略手順を示すPAD図である。
【図9】本発明による第一の実施例における検索結果表
示プログラムの概略手順を示すPAD図である。
【図10】本発明による第一の実施例において文書登録
に用いる文書および文書登録内容の具体例である。
【図11】本発明による第一の実施例において文書検索
時に種文書として設定する処理の具体例である。
【図12】本発明による第一の実施例において文書検索
時に設定した種文書から特徴文字列を抽出し、検索条件
式を生成した具体例である。
【図13】本発明による第一の実施例において抽出され
た特徴文字列を補正する処理の具体例である。
【図14】本発明による第二の実施例における文書検索
サーバの構成を示す図である。
【図15】本発明による第二の実施例における特徴文字
列補正プログラムの概略手順を示すPAD図である。
【図16】本発明による文字確信度情報の作成方法にお
ける第一の概要図である。
【図17】本発明による文字確信度情報の作成方法にお
ける第二の概要図である。
【図18】本発明による第二の実施例において抽出され
た特徴文字列を補正する不要語削除プログラムの処理例
を示す図である。
【図19】本発明による第二の実施例において種文書か
ら検索に用いる特徴文字列を選択し、検索条件式を生成
した一例である。
【図20】本発明による第三の実施例における特徴文字
列補正プログラムの概略手順を示すPAD図である。
【図21】本発明による第三の実施例において抽出され
た特徴文字列をソーティングし、ヒットした文字列をマ
スキングする処理を組み込んだ重み値補正処理の具体例
である。
【図22】本発明による第三の実施例において種文書を
マスキング処理した結果の具体例である。
【図23】本発明による第三の実施例において種文書か
ら検索に用いる特徴文字列を選択し、検索条件式を生成
した一例である。
【図24】本発明による第三の実施例において登録対象
文書内に存在する認識誤り文字を自動修正するユーザイ
ンタフェースの一例である。
【符号の説明】
101・・・文書登録サブシステム、102・・・文書検索サ
ーバ、103、104・・・検索クライアント、105・・・
ネットワーク、201・・・ディスプレイ、202・・・キー
ボード、203・・・中央演算処理装置(CPU)、20
4・・・フロッピーディスクドライブ(FDD)、205・
・・フロッピーディスク、206・・・スキャナ、207・・・
通信制御装置、208・・・主メモリ、209・・・磁気ディ
スク装置、210・・・システムバス、211・・・システム
制御プログラム、212・・・文書登録制御プログラム、
213・・・文書検索制御プログラム、214・・・クライア
ント制御プログラム、220・・・スキャナ制御プログラ
ム、221・・・文字認識プログラム、222・・・テキスト
登録プログラム、223・・・イメージ登録制御プログラ
ム、224・・・文書管理情報登録プログラム、225・・・
文字列インデックス生成プログラム、226・・・検索条
件式解析プログラム、227・・・類似文書検索プログラ
ム、228・・・種文書読込プログラム、229・・・特徴文
字列抽出プログラム、230・・・類似度算出プログラ
ム、231・・・特徴文字列補正プログラム、232・・・文
字確信度算出プログラム、233・・・不要語削除プログ
ラム、234・・・重み値補正プログラム、235・・・文字
列分割プログラム、236・・・拡張特徴文字列生成プロ
グラム、237・・・類似文字テーブル参照プログラム、
238・・・文字列展開プログラム、239・・・検索結果取
得プログラム、240・・・検索条件入力プログラム、2
41・・・検索結果表示プログラム、250・・・テキストフ
ァイル格納領域、251・・・イメージファイル格納領
域、252・・・インデックスファイル格納領域、253・
・・文書管理情報格納領域、254・・・各種プログラム格
納領域、255・・・類似文字テーブル格納領域、256・
・・文字確信度情報格納領域、257・・・検索結果データ
格納領域、270・・・ワークエリア
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06K 9/03 G06K 9/03 C 9/68 9/68 G (72)発明者 ▲高▼取 壽 東京都大田区大森北三丁目2番16号 株式 会社日立システムアンドサービス Fターム(参考) 5B064 AA01 EA12 EA31 EA32 FA04 5B075 ND03 NK32 PQ27 QM06

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】予め作成されたテキストデータ、または予
    めイメージ文書から文字認識処理により抽出されたテキ
    ストデータのうち少なくとも一方を登録した文書データ
    ベースに対し、検索者が指定した文書と内容的に類似し
    た文書を検索する検索システムにおいて、 前記検索者が指定した文書から該当文書中に含まれる少
    なくとも1つの部分文字列を抽出する部分文字列抽出ス
    テップと、 前記部分文字列抽出ステップにより抽出された部分文字
    列に対し、認識誤りに伴う文字列の補正処理を行う検索
    用文字列補正ステップと、 前記検索用文字列補正ステップにより抽出した検索用文
    字列について、認識誤りにより発生し得る表記の候補を
    含めた検索を実行する認識誤り許容検索ステップと、 前記認識誤り許容検索ステップにより抽出された前記デ
    ータベース中の各文書における各検索用文字列の出現頻
    度情報を用いて検索者が指定した文書との類似度を算出
    する類似度算出ステップを有することを特徴とする文書
    の検索方法。
  2. 【請求項2】前記検索用文字列補正ステップが 前記部分文字列抽出ステップにより抽出された部分文字
    列に対し、認識誤りにより発生し得る表記の候補を生成
    する部分文字列展開ステップと、 前記部分文字列展開ステップにより生成した各部分文字
    列の出現頻度を用いて、前記検索者が指定した文書内で
    の出現頻度を補正する出現頻度補正ステップを有するこ
    とを特徴とした請求項1記載の文書の検索方法。
  3. 【請求項3】前記種文書補正ステップにおける出現頻度
    補正ステップが、 前記部分文字列展開ステップにより生成される部分文字
    列の中の少なくとも1つの出現頻度を補正することを特
    徴とする請求項2記載の文書の検索方法。
  4. 【請求項4】前記検索用文字列補正ステップが予め作成
    された文字確信度情報を参照することにより、検索用文
    字列の確信度を算出する文字確信度算出ステップと、 前記文字確信度算出ステップにより算出された文字確信
    度が、予め定められた閾値を下回る文字列を検索用の文
    字列から除外する検索用文字列除外ステップを有するこ
    とを特徴とする請求項1記載の文書の検索方法。
  5. 【請求項5】前記検索用文字列補正ステップが前記部分
    文字列抽出ステップにより抽出された部分文字列に対
    し、認識誤りにより発生し得る表記の候補を生成する部
    分文字列展開ステップと、 展開した部分文字列に対し検索対象データベース内での
    出現頻度を抽出するデータベース内出現頻度抽出ステッ
    プと、 前記データベース内出現頻度抽出ステップにより抽出さ
    れた前記データベース中での出現頻度情報を用いて検索
    に使用する部分文字列を選択する検索用部分文字列選択
    ステップを有することを特徴とする請求項1記載の文書
    の検索方法。
  6. 【請求項6】前記検索用文字列補正ステップが前記部分
    文字列抽出ステップにより抽出された部分文字列に対
    し、認識誤りにより発生し得る表記の候補を生成する部
    分文字列展開ステップと、 前記生成した部分文字列に対し検索対象データベース内
    での出現頻度を抽出するデータベース内出現頻度抽出ス
    テップを有し、 前記類似度算出ステップが前記データベース内出現頻度
    抽出ステップにより抽出されたデータベース内出現頻度
    を用いて類似度の算出を行なうことを特徴とする請求項
    1記載の文書の検索方法。
  7. 【請求項7】イメージデータから文字認識処理によって
    テキストデータを抽出する文字認識方法における文字認
    識結果テキストに対する後処理として、 前記認識結果テキストから所定の部分文字列群を抽出す
    る部分文字列抽出ステップと、 前記部分文字列抽出ステップにより抽出された部分文字
    列に対し、認識誤りにより発生し得る表記の候補を生成
    する部分文字列展開ステップと、 前記部分文字列展開ステップにより得られる各部分文字
    列の前記認識結果テキスト中での出現頻度情報を用い
    て、前記認識結果テキスト中の部分文字列を補正する認
    識結果テキスト補正ステップを有することを特徴とする
    文字認識方法。
  8. 【請求項8】前記認識結果テキスト補正ステップは、出
    現頻度が予め定められた所定の閾値を上回る文字列を補
    正処理の対象として選択することを特徴とする請求項7
    記載の文字認識方法。
  9. 【請求項9】前記検索者が指定した文書が、 予めデータベース中に登録された文書、検索時に紙文書
    からスキャナを用いてイメージ文書に変換後に、文字認
    識処理によりテキスト抽出された文書、ないしは検索時
    に検索者により入力される検索用文章のうち少なくとも
    1種類により構成されることを特徴とする請求項1記載
    の文書の検索方法。
  10. 【請求項10】前記検索者が指定した文書から抽出する
    検索用文字列に対し補正処理を行う検索用文字列補正ス
    テップを実行するか否かに関する情報を検索時に指定す
    るインタフェースを有することを特徴とする請求項1記
    載の文書の検索方法。
  11. 【請求項11】前記検索者が指定した文書が、予めデー
    タベース中に登録された文書であるか、検索時に紙文書
    からスキャナを用いてイメージ文書に変換後、文字認識
    処理によりテキスト抽出された文書であるか、または検
    索者により入力される検索用文章であるか否かに関する
    情報を用いて、前記検索者が指定した文書から抽出する
    検索用文字列に対し補正処理を行う検索用文字列補正ス
    テップを実行するか否かを決定することを特徴とする請
    求項10記載の文書の検索方法。
  12. 【請求項12】前記部分文字列抽出ステップにより抽出
    された部分文字列に関する出現頻度情報を用いて、前記
    認識結果テキスト中の部分文字列を補正するステップを
    実行するか否かを選択するための閾値値情報を設定する
    ためのインタフェースを有することを特徴とする請求項
    7記載の文字認識方法。
  13. 【請求項13】前記部分文字列抽出ステップにより抽出
    された部分文字列群を前記認識結果テキストにおいて登
    録者が識別可能な形式で表示し、登録者の指示により前
    記文字列群を登録者により指定された文字列に一括変更
    するインタフェースを有することを特徴とする請求項7
    記載の文字認識方法。
JP2002044109A 2002-02-21 2002-02-21 文書の検索方法および検索システム Expired - Fee Related JP4006239B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002044109A JP4006239B2 (ja) 2002-02-21 2002-02-21 文書の検索方法および検索システム
US10/370,829 US7047238B2 (en) 2002-02-21 2003-02-21 Document retrieval method and document retrieval system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002044109A JP4006239B2 (ja) 2002-02-21 2002-02-21 文書の検索方法および検索システム

Publications (2)

Publication Number Publication Date
JP2003242171A true JP2003242171A (ja) 2003-08-29
JP4006239B2 JP4006239B2 (ja) 2007-11-14

Family

ID=27783620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002044109A Expired - Fee Related JP4006239B2 (ja) 2002-02-21 2002-02-21 文書の検索方法および検索システム

Country Status (2)

Country Link
US (1) US7047238B2 (ja)
JP (1) JP4006239B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268352A (ja) * 2005-03-23 2006-10-05 Canon Inc 画像処理装置およびその方法
JP2009128797A (ja) * 2007-11-27 2009-06-11 Nippon Telegr & Teleph Corp <Ntt> 頻度補正装置とその方法、それらを用いた情報抽出装置と情報抽出方法、それらのプログラム
JP2013117792A (ja) * 2011-12-01 2013-06-13 Canon Inc 情報処理方法、情報処理装置、および記憶媒体

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687879B1 (en) * 1998-07-09 2004-02-03 Fuji Photo Film Co., Ltd. Font retrieval apparatus and method using a font link table
DE60005293T2 (de) * 2000-02-23 2004-07-01 Ser Solutions Inc. Methode und Vorrichtung zur Verarbeitung elektronischer Dokumente
US9177828B2 (en) 2011-02-10 2015-11-03 Micron Technology, Inc. External gettering method and device
ES2375403T3 (es) 2001-08-27 2012-02-29 BDGB Enterprise Software Sàrl Un método para la indexación automática de documentos.
JP4154308B2 (ja) * 2003-10-06 2008-09-24 キヤノン株式会社 帳票認識装置、帳票認識方法、プログラムおよび記憶媒体
JP2006189924A (ja) * 2004-12-28 2006-07-20 Kyocera Mita Corp 画像表示プログラム及び画像表示装置
US20070139703A1 (en) * 2005-12-19 2007-06-21 Glory Ltd. Print inspecting apparatus
JP4897520B2 (ja) 2006-03-20 2012-03-14 株式会社リコー 情報配信システム
JP4860574B2 (ja) * 2006-09-13 2012-01-25 株式会社キーエンス 文字切り出し装置、方法およびプログラム
JP4774390B2 (ja) * 2006-09-13 2011-09-14 株式会社キーエンス 文字切り出し装置、方法およびプログラム
JP5141560B2 (ja) * 2007-01-24 2013-02-13 富士通株式会社 情報検索プログラム、該プログラムを記録した記録媒体、情報検索装置、および情報検索方法
JP5239367B2 (ja) * 2007-03-19 2013-07-17 富士通株式会社 情報提供システム、情報提供プログラムおよび情報提供方法
US8094976B2 (en) * 2007-10-03 2012-01-10 Esker, Inc. One-screen reconciliation of business document image data, optical character recognition extracted data, and enterprise resource planning data
US8908998B2 (en) * 2007-12-07 2014-12-09 Educational Testing Service Method for automated quality control
JP5125573B2 (ja) * 2008-02-12 2013-01-23 富士通株式会社 領域抽出プログラム、文字認識プログラム、および文字認識装置
US8131720B2 (en) 2008-07-25 2012-03-06 Microsoft Corporation Using an ID domain to improve searching
US8271499B2 (en) * 2009-06-10 2012-09-18 At&T Intellectual Property I, L.P. Incremental maintenance of inverted indexes for approximate string matching
US9158833B2 (en) 2009-11-02 2015-10-13 Harry Urbschat System and method for obtaining document information
US9152883B2 (en) * 2009-11-02 2015-10-06 Harry Urbschat System and method for increasing the accuracy of optical character recognition (OCR)
US8321357B2 (en) * 2009-09-30 2012-11-27 Lapir Gennady Method and system for extraction
US9213756B2 (en) * 2009-11-02 2015-12-15 Harry Urbschat System and method of using dynamic variance networks
JP5528121B2 (ja) * 2010-01-05 2014-06-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8452099B2 (en) * 2010-11-27 2013-05-28 Hewlett-Packard Development Company, L.P. Optical character recognition (OCR) engines having confidence values for text types
JP5647919B2 (ja) * 2011-03-07 2015-01-07 株式会社Nttドコモ 文字認識装置、文字認識方法、文字認識システム、および文字認識プログラム
KR20130080515A (ko) * 2012-01-05 2013-07-15 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치에 표시된 문자 편집 방법.
JP5910867B2 (ja) * 2012-03-13 2016-04-27 日本電気株式会社 文書内の図情報を利用した類似文書の検索システム及び方法
US8983211B2 (en) * 2012-05-14 2015-03-17 Xerox Corporation Method for processing optical character recognizer output
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
JP6131765B2 (ja) * 2013-08-06 2017-05-24 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP5920293B2 (ja) * 2013-08-23 2016-05-18 富士ゼロックス株式会社 画像処理装置及びプログラム
CN106599900B (zh) * 2015-10-20 2020-04-21 华中科技大学 一种识别图像中的字符串的方法和装置
US10629300B2 (en) 2016-05-09 2020-04-21 Bank Of America Corporation Geographic selection system based on resource allocation and distribution
WO2018125926A1 (en) * 2016-12-27 2018-07-05 Datalogic Usa, Inc Robust string text detection for industrial optical character recognition
JP6868186B2 (ja) * 2017-03-24 2021-05-12 富士フイルムビジネスイノベーション株式会社 検索情報生成装置、画像処理装置、検索情報生成プログラム
JP7139669B2 (ja) * 2018-04-17 2022-09-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7241506B2 (ja) * 2018-10-30 2023-03-17 ウイングアーク1st株式会社 光学式文字認識結果の修正支援装置および修正支援用プログラム
KR20200103236A (ko) * 2019-02-22 2020-09-02 삼성전자주식회사 수기에 기반한 입력을 디스플레이하기 위한 방법 및 장치
JP7387363B2 (ja) * 2019-09-30 2023-11-28 キヤノン株式会社 データ入力支援装置、データ入力支援方法及びプログラム
JP2021149184A (ja) * 2020-03-16 2021-09-27 富士フイルムビジネスイノベーション株式会社 文書処理装置、文書管理サーバ及びプログラム
CN116226357B (zh) * 2023-05-09 2023-07-14 武汉纺织大学 一种输入中包含错误信息场景下的文档检索方法
CN116502614B (zh) * 2023-06-26 2023-09-01 北京每日信动科技有限公司 一种数据校对方法、系统及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2932667B2 (ja) 1990-10-22 1999-08-09 松下電器産業株式会社 情報の検索方法および情報蓄積装置
JPH08115330A (ja) 1994-10-14 1996-05-07 Hitachi Ltd 類似文書検索方法および装置
US6111985A (en) * 1997-06-06 2000-08-29 Microsoft Corporation Method and mechanism for providing partial results in full context handwriting recognition
US6219453B1 (en) * 1997-08-11 2001-04-17 At&T Corp. Method and apparatus for performing an automatic correction of misrecognized words produced by an optical character recognition technique by using a Hidden Markov Model based algorithm
US6154579A (en) * 1997-08-11 2000-11-28 At&T Corp. Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
US6205261B1 (en) * 1998-02-05 2001-03-20 At&T Corp. Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
US6333999B1 (en) * 1998-11-06 2001-12-25 International Business Machines Corporation Systematic enumerating of strings using patterns and rules
DE10028624B4 (de) * 1999-06-09 2007-07-05 Ricoh Co., Ltd. Verfahren und Vorrichtung zur Dokumentenbeschaffung
US6459810B1 (en) * 1999-09-03 2002-10-01 International Business Machines Corporation Method and apparatus for forming variant search strings
JP4377494B2 (ja) * 1999-10-22 2009-12-02 東芝テック株式会社 情報入力装置
US6847734B2 (en) * 2000-01-28 2005-01-25 Kabushiki Kaisha Toshiba Word recognition method and storage medium that stores word recognition program
JP2002189747A (ja) 2000-12-19 2002-07-05 Hitachi Ltd 文書情報の検索方法
JP4421134B2 (ja) * 2001-04-18 2010-02-24 富士通株式会社 文書画像検索装置
CA2373568C (en) * 2001-04-26 2008-06-17 Hitachi, Ltd. Method of searching similar document, system for performing the same and program for processing the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268352A (ja) * 2005-03-23 2006-10-05 Canon Inc 画像処理装置およびその方法
JP4738857B2 (ja) * 2005-03-23 2011-08-03 キヤノン株式会社 画像処理装置およびその方法
JP2009128797A (ja) * 2007-11-27 2009-06-11 Nippon Telegr & Teleph Corp <Ntt> 頻度補正装置とその方法、それらを用いた情報抽出装置と情報抽出方法、それらのプログラム
JP2013117792A (ja) * 2011-12-01 2013-06-13 Canon Inc 情報処理方法、情報処理装置、および記憶媒体

Also Published As

Publication number Publication date
US7047238B2 (en) 2006-05-16
US20040255218A1 (en) 2004-12-16
JP4006239B2 (ja) 2007-11-14

Similar Documents

Publication Publication Date Title
JP2003242171A (ja) 文書の検索方法
JP2968145B2 (ja) 高度なデータ収集方法及びデータ処理システム
JP5774597B2 (ja) 動的変動ネットワークを使用するシステムおよび方法
US20100057439A1 (en) Portable storage medium storing translation support program, translation support system and translation support method
EP0844583A2 (en) Method and apparatus for character recognition
US11736587B2 (en) System and method for integrating message content into a target data processing device
US20220222292A1 (en) Method and system for ideogram character analysis
CN111428494A (zh) 专有名词的智能纠错方法、装置、设备及存储介质
JP2002189747A (ja) 文書情報の検索方法
JP2010217996A (ja) 文字認識装置、文字認識プログラム、および文字認識方法
CN110888946A (zh) 一种基于知识驱动的查询的实体链接方法
US11468346B2 (en) Identifying sequence headings in a document
US20050010390A1 (en) Translated expression extraction apparatus, translated expression extraction method and translated expression extraction program
JPH07152774A (ja) 文書検索方法および装置
US20200320170A1 (en) Identifying section headings in a document
CN115831117A (zh) 实体识别方法、装置、计算机设备和存储介质
CN111291208B (zh) 前端页面元素的命名方法、装置及电子设备
JPH1063813A (ja) イメージ文書管理方法及びその装置
US20200272393A1 (en) Information processing system and non-transitory computer readable medium
JP3368359B2 (ja) グループ文書情報システム
JP3241854B2 (ja) 単語スペル自動補正装置
JP2022059247A (ja) 情報処理装置及びプログラム
CN112562651A (zh) 一种基于自然语言关键字智能识别关键字生成页面的方法
CN117573697A (zh) 数据搜索方法、设备、存储介质及装置
NZ760613B2 (en) System and method for integrating message content into a target data processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees