JP2005516306A - 任意の各国語での照会によるマッチング文書の検索 - Google Patents

Abstract

【課題】任意の各国語での照会によるマッチング文書の検索を提供すること。
【解決手段】複数の言語の１つによるキーワード検索によってアクセスし、それらのすべての言語に含まれる文書のリストを提供できる双方向性の逆索引機能を含む検索エンジンによって、検索時間が短縮される。すべてのサポート言語によるキーワードは、キーワードを含む言語による文書と相互参照される逆索引ルックアップ・テーブルに記憶されることが好ましい。異なる言語で同じ意味を持つ複数のキーワードについては、それらの言語の１つで当該キーワードを照会すれば、同時に他の言語のキーワードすべてにアクセスすることができる。このテーブルを含む検索エンジンは、ユーザの決定に応じて、選択された言語、第２の言語、またはすべてのサポート言語で関連文書を識別することができる。各文書に関する情報は、キーワードの登場頻度やキーワードの近接性など、文書のランク付けに使用する情報も含むことができる。

Description

本発明は、ユーザによって入力される検索キーワード用語を使用するデータベース検索の分野に関する。より詳細には、本発明は、異なる言語による文書を含むデータベースを検索するためのシステムおよび方法であり、複数のデータベース言語の１つを用いて検索語を入力すれば、該当するデータベース文書が別の言語で書かれていても、その文書を識別する。

本出願は、２００２年２月１日に出願された「Method and System forSearching a Multi-lingual Database」という名称の米国特許出願第１０／０６６，３４６号（ＣＨＡ９２００１０２３０ＵＳ１）の一部継続出願である。

複数の言語による素材を含むデータベースを検索するために、さまざまな手法が提案されている。ある手法では、検索語を入力する言語、またはユーザの言語にデータベース全体を翻訳する。しかしこの手法では、相当な大きさのデータベース用に大量の翻訳が（そして複数のユーザが異なる言語でデータベースを使用する場合は複数の翻訳が）必要となる可能性がある。さらに、文書を翻訳する各プロセスには、原文の意味をいくらかでも失う（または歪める）危険性が伴う。

別の手法では、前述の同時係属出願に記載されているように同義語辞書またはキーワード辞書を使用する。この同時係属出願のシステムは同義語辞書またはキーワード辞書を含み、この同義語辞書またはキーワード辞書は双方向性であり、第１の言語と他の言語の間でキーワードの翻訳を可能にする。文書用の翻訳された言葉、キーワードは逆索引に記憶され、この逆索引はユーザの決定に応じて、選択された言語、第２の言語、またはすべての言語による検索に使用される。このように複数の検索および翻訳済み同義語辞書を使用すると、文書全体を翻訳する必要がなくなり、データベース全体を翻訳することに起因して生じる可能性のある前述のような不正確さを避けることができる。しかし、こうした検索を実行し分析するには長時間を要する場合があり、ユーザが検索を対話式に修正し、有意な結果を得ることができない可能性がある。

図１は従来の検索システムを示しており、英語（第１言語）の文書がシンボル１０２で示され、各国語（ＮＬ）などの第２言語の文書がシンボル１２２で示されている。文書の各セットは別々に維持される一方で、キーワードを抽出して索引を作成するプロセスを介して索引付けされる。このプロセスは、英語の文書１０２についてはボックス１０４で、第２言語の文書１２２についてはボックス１２４で示されている。次のステップでは、文書の各セットに対して逆索引が実行される。英語による逆索引はブロック１０６で、第２言語による索引はブロック１２６で実行される。次いで検索または照会のフォーマットが設定され、複数のデータベースから選択された１つのデータベースに対して適用される。このプロセスは、英語による照会については１０８で、各国語による照会についてはブロック１２８で実行される。英語による照会の結果はブロック１１０で示され、各国語による照会の結果はボックス１３０で表される。このように、このプロセスのステップは各データベースに対して別々に実行され、ブロック１１２で文書を索引付けするステップと、ブロック１１４で逆索引を作成するステップと、ブロック１１６で検索を実行して結果を提供するステップとを含む。

データベースが異なっても、ステップは同一である。各データベースは別々に維持され、それぞれが別々に検索され、それぞれ別々の結果が生成される。この同一の構造は任意の数の別々のデータベースに適用できるため、このシステムを拡張して希望の数の言語をサポートすることができる。しかし自国語（たとえばスペイン語）で書かれているが別の言語（たとえば英語）の専門用語を使用している技術文書もある。このようなシステムでは、検索語に相当する各国語を求めて各国語のデータベースを検索しても、その検索語が文書中に別の言語で含まれている場合は、その検索語を見つけ出すことはできない。またこうしたシステムでは、各国語で検索しても、検索対象を複数の異なる言語で扱う文書を見つけ出すことはできない。
米国特許出願第１０／０６６，３４６号

したがって本発明の目的は、複数の言語による文書用の改良型検索エンジンを提供することである。

本発明の別の目的は、実行時におけるキーワードの翻訳およびそれらのキーワードを含む文書の検索を減らすことである。

本発明の別の目的は、任意のサポート言語によるキーワードを使用したデータベース検索を可能にし、そのサポート言語および任意の他のサポート言語で書かれた文書を検索することである。

ここまで本発明の目的および利点のいくつかについて説明したが、他の目的および利点は、以降の本発明に関する説明を添付の図面と併せて参照すれば、当業者にとって明らかになるだろう。

本発明によれば、複数の言語の１つによるキーワード検索によってアクセスされ、それらのすべての言語に含まれる文書のリストを提供できる双方向性の逆索引機能を含む検索エンジンによって、検索時間が短縮される。すべてのサポート言語によるキーワードは、キーワードを含むそれらの言語による文書と相互参照される逆索引ルックアップ・テーブルに記憶されることが好ましい。異なる言語で同じ意味を持つ複数のキーワードは、それらの言語の１つで当該キーワードを照会すれば、同時にアクセスすることができる。このテーブルを含む検索エンジンは、ユーザの決定に応じて、選択された言語、第２の言語、またはすべてのサポート言語で関連文書を識別することができる。各文書に関する情報は、文書のＩＤだけでなく、当該文書にキーワードが登場する回数や、他のキーワードに対する当該キーワードの近接性など、文書のランク付けに使用する情報も含むことができる。したがって逆索引テーブルを使用すると、検索実行時におけるキーワードの翻訳、文書内でのキーワードの識別、およびランク付け情報の蓄積が不要となり、検索時間が短縮され、文書の全文翻訳に起因して生じる可能性のある不正確さを避けることができる。

図２は、異なる言語の文書内にある複数のキーワードを、図３に示す単一の拡張キーワード索引テーブルに統合するためのシステムを示す。図２に示すように、データベース２００内にある任意の言語（たとえば英語）による文書はシンボル２０２で表される。データベース内の各文書からのキーワードは、クローラ２０４を用いてオフラインで識別される。クローラ２０４はエクストラクタ２０６用に文書を走査し、エクストラクタ２０６は文書のテキスト内のキーワードを識別する。次いで抽出された英語のキーワードは、キーワード翻訳機構２０８を用いて他のサポート言語に翻訳され、すべてのサポート言語で同じ意味を持つキーワードの拡張逆索引２１０が作成される。キーワードの翻訳は、対応する意味を持つ他の各国語のキーワードと関連付けられた英語のキーワードを含むキーワード辞書２１２を用いて行われることが好ましく、図３の索引用の同義語リストが作成され、他のサポート言語において対応する意味を持つそれぞれのサポート言語の複数のキーワード内の各キーワードが効果的に列挙される。さまざまな言語を管理するために、ユニコード・システム（ＵＴＦ８）を用いて各キーワードを翻訳することが提案されている。もっとも本発明においては、本発明の趣旨に矛盾しない的確なシステムであれば、他のいかなるシステムも有利に使用することができる。キーワードを求めて文書に対して問合せを行うための１つの言語として英語が記載されているが、本発明は、キーワードを求めて文書に対して英語で問合せを行うことに限定されない。任意のサポート言語Ｅｎ、ＮＬ_１、．．．ＮＬｉ．．．ＮＬｎを用いて、英語では見つからない文書内のキーワードを見つけることができる。

図２の拡張索引テーブル２１０のさらに詳細な図が、図３に示されている。英語のキーワードＫ１〜Ｋｎが、図２に関連して説明した方法を用いて文書Ｄ１〜Ｄｎから抽出される。サポートされるすべての各国語における対応するキーワードが前述のように得られるため、英語のキーワードＫｉそれぞれに対して、すべてのサポート言語における同義のキーワードが存在する。図３に示すように、Ｘはリストされたキーワードの１つまたは複数が登場する文書Ｄ１〜Ｄｎを示す。たとえば図示してあるように、キーワードＫ１は文書Ｄ１およびＤｊ内に英語で登場し、同じ意味を持つキーワードＫ１１およびＫ１２は各国語ＮＬ１およびＮＬ２の文書内に存在する。同様に、同義のキーワードＫｉ１およびＫｉ２は、各国語ＮＬ１および２では利用できるが英語では利用できない文書Ｄ２内に存在する。同義のキーワードＫｎおよびＫｎ２は、英語および各国語ＮＬ２では利用できるが各国語ＮＬ１では利用できない文書Ｄｊ内に存在する。Ｘでマークされた各位置に記憶されているのがランク付け要素情報であり、この情報には、その言葉がその文書内に登場する回数、その文書内に登場する他のキーワードとの近接性、そのキーワードを含む文書の種類（すなわち技術誌や広告）などが含まれる。この情報は、検索によって見つかった他の文書と比較して各文書をランク付けするために使用される。

図３のテーブルが任意のサポート言語のキーワードによる問合せを受けると、照会内のキーワードと同じ意味を持つ複数のキーワードを含む任意の言語による文書が識別され、それらのランク付け情報が提供される。たとえば、照会がキーワードＫｉおよびＫｎを含むと仮定すると、文書Ｄ２〜ＤｊおよびＤｎはそれらの利用可能な言語で識別されるだろう。したがって文書Ｄ２の場合、文書は英語ならびに各国語ＮＬ１およびＮＬ２で利用可能と識別され、その一方で文書Ｄｊは各国語ＮＬ１およびＮＬ２で利用可能と識別されるだろう。タイトルまたはファイル番号で文書を識別することに加えて、記憶されたランク付け要素情報が文書ランク付けアルゴリズムに提供されるだろう。こうしたアルゴリズムは、２００２年４月１０日に出願された同時係属の米国特許出願第１０／１２０，０７１号に記載されており、これを参照により本明細書に組み込む。

図４は、図３の拡張逆索引を作成する際に役立つキーワード同義語テーブル４００の一部を示す。このテーブルは複数の列を含み、それぞれの列は異なるサポート言語と関連付けられている。図示してあるように、これらのサポート言語は、列４１０の英語、列４２０のスペイン語、列４３０のフランス語、列４４０のイタリア語である。ドイツ語や日本語といった他の任意のサポート言語用に提供されたさらなる列４５０が示されている。もちろん、英語とは異なる種類の文字を持つ言語もあり、言語によっては英語とは異なる多くのシンボルを持ち、日本語などのいくつかの言語を表すために設定された２バイト文字を使用する必要性が生じるかもしれないことは認識している。この図４では、行に同義語の２つのセットが示されており、一方は行４６０の英単語「network」と関連付けられ、他方は行４７０の英単語「processor」と関連付けられている。実際には同義語テーブル４００は、シンボル４９０によって示されるようなさらなる列を必要に応じて有する場合があり（あるいはサポート言語が少なく、サポート言語の選択が設計上の選択の問題であり、本発明の特徴ではないために列が少ない場合もあり）、シンボル４８０によって示されるように各キーワード用の行を有するであろう。各項目が言語と関連付けられているため、必要に応じて単語をその言語と関連付けて、ネットワークを意味するスペイン語の単語（red）と赤色を意味する英単語を区別できる点に留意することが重要である。このテーブルは、同義語テーブルの概念を理解する上でそれぞれ表形式で示されているが、従来のデータ処理技術に従ってストレージ内に他の既知のフォーマットで存在することができる。

図５は、本発明を組み込んだ検索システムを示す。照会５１０が任意のサポート言語で検索エンジン５２０に入力され、図２および図３に関連して説明した拡張キーワード逆索引２１０に渡される。索引２１０は複数の言語をサポートし、任意のサポート言語によるキーワード照会の翻訳を可能にする。英語による照会の場合、照会は英語のキーワード５３０_１および他のサポート言語のキーワード５３０_２〜５３０ｎにおけるリストを用いて逆索引２１０に適用される。これによって、英語のヒット・リスト５４０_１および各国語のヒット・リスト５４０_２〜５４０ｎが作成される。次いでユーザは、関心のある任意の言語で結果５４０_１〜５４０_ｎを選択することができる。ユーザは、１つのリスト（たとえばリスト５４０_２）を選択し、それを不適当と判断し、別の選択を試みることができる。ユーザの英語理解力が限られている場合は、他の任意の各国語５４０_２〜５４０ｎで結果を見ることを望むかもしれない。各国語の結果（たとえば５４０_ｉ）が十分でない（または存在しない）場合、ユーザは英語の結果５４０_１に進むことができる。あるいはユーザは、関心のある結果として最も可能性が高いのは英語の結果５４０_１であると認識し、それらの結果から着手するかもしれない。あるいはユーザは、英語で非常に多くの結果が見つかったため、母国語５５０でもっと候補を絞り込んだリストを見ようと考えるかもしれない。各国語の結果が貧弱であるか、または利用できない場合、検索エンジンは、選択されたリスト５６０内に列挙される検索結果を増やすために、他の言語の文書を提供するだろう。この場合、デフォルトのリスト言語は英語であり、英語で利用できない文書は、利用可能な言語で提供される。選択されたリスト内の文書は、ランク付けアルゴリズム５７０によって分析され、ランク付けされたリスト５８０がユーザに提供される。

図６に示すように、本発明のシステムに問合せを行うためのコンピュータ画面は、キーワード照会６００を入力するためのスペースを含むであろう。検索領域６０２は、検索範囲を示すためのものである。検索領域６０４は、検索対象の言語を指定するためのものである。領域６０６は、照会用語が提供される際の言語を示すためのものであり、スペース６０８は、ランク付けリストが提供される際の言語を提示するために使用される。たとえば図では、「laptop」および「ＩＢＭ」が検索対象のキーワードである。検索領域は「任意の国」である。しかし必要であれば、たとえば特定の国に、あるいは特定の文書リポジトリにさえ、検索を限定することができる。たとえば米国国会図書館や米国の任意の図書館に検索領域を限定することができる。検索を実行する言語は「すべて」と記載されている。これによって、図３のテーブルに含まれているすべてのサポート言語で検索が行われることになるため、図３に関連して説明したように、同じ文書の複数のコピーがテーブルから読み出されるだろう。スペース６０６は、検索語が英語であるという事実を識別する。しかし、他のいかなるサポート言語も使用することができる。たとえばドイツ語がサポート言語であるならば、検索語６００はドイツ語の単語とすることができ、照会言語はそれらがドイツ語であることを示すであろう。最終的に結果は、照会言語とは異なる言語で提供できるため、ここに図示してあるように、検索語は英語だが、ランク付けされた文書は、それらがドイツ語で利用できるならドイツ語で提供されるだろう。もし何らかの文書がドイツ語で利用できない場合、リストは、その文書を利用できる言語、すなわち第１のデフォルト言語の英語でその文書を含むであろう。記載のスペース６００〜６０８を使用すると、検索が実行される範囲および言語ならびに得られる結果を制御できるようになる。

次いで図７を参照すると、ステップ７０２および７０４では、図６のスペース６００〜６０８に記載された検索情報をユーザが入力することによってシステムに問い合わせる。入力された照会情報および他の情報を用いてステップ７０６で拡張逆索引テーブルに問合せを行い、テーブル２１０から文書リストが得られる。次いでステップ７１０では、ランク付けされた文書のリストが希望の言語で検索者に提供され、検索者は結果が満足できるかどうかをステップ７１２で判断する。結果が満足できる場合、プロセスは終了する。しかし結果が満足できない場合、検索者はステップ７１４において、ステップ７０２および７０４で提供したデータを修正することによって検索範囲を広げるか、または他の形で変更することができる。

認識されることであろうが、本発明は、複数の命令を含むコンピュータ・プログラム手段を含むプログラムを記憶した汎用コンピュータなどのデータ処理システムでの使用に特に適合したものである。通常これらの命令は、人間が読み取ることのできる高水準言語で書かれ、マシン言語、すなわちデータ処理システムによって理解される単純な命令に翻訳される。適切な例では、こうした命令は必要に応じて直接マシン言語のプログラム言語、すなわち実行の効率は高いがプログラムしづらいシステムで書くことができる。本発明は、何らかの特定の入力言語に限定されるものではない。２００２年４月１０日に出願された同時係属の米国特許出願第１０／１２０，０７１号は、本発明と共に使用できるネットワークを開示している。この出願の主題を参照により本明細書に組み込む。本発明のソフトウェアはサーバ上に提供することができ、図６の画面表示が登場するコンピュータを用いてインターネットを介してアクセスすることができる。

本明細書で使用されているように、ソフトウェア、コンピュータ・プログラム、およびコンピュータ・プログラム手段という各用語は、交換可能に使用される。本発明の環境におけるソフトウェアとは、情報処理能力を有するシステムに特定の機能を直接、または（ａ）別の言語、コード、もしくは表記への変換と（ｂ）異なる形態での複製のいずれかの後に、または両方の後に実行させるように意図された任意の言語、コード、または表記による任意の表現または命令のセットを意味する。好ましい実施形態の説明では、異なる言語を管理するためにユニコード・システムを使用したが、本発明においては、異なる言語を表すのに適した他の方法を必要に応じて有利に使用することもできる。

各国語という用語は、１つの言語または関連する複数の言語を表すために使用した。各国語は、システムによって任意のサポート言語とすることができ、異なるユーザ用の異なる言語を含むことができる。したがって「各国語」と言えば、メキシコ人やスペイン人にとってはスペイン語のことであり、フランスや他のフランス語圏の人にとってはフランス語のことである。キーワードを特定し、検討中の文書を表すキーワードから独自性のほとんどない共通のテキストを分離するためのシステムとして、さまざまな共通言語用に適切な同義語テーブルを利用することができる。こうしたキーワード特定システムは往々にして技術指向であり、検討中の技術に関連のある言葉を識別する。

もちろん、前述の好ましい実施形態に関する説明を添付の図面および特許請求の範囲と併せて参照すれば、本発明に関する多くの変更が当業者にとって明らかであろう。たとえば環境によっては、文書が複数のサポート言語の組合せによって書かれていてもよい。さらに本発明のいくつかの要素は、他の要素を対応して使用することなく単独で有利に使用することもできる。たとえば同義語辞書またはキーワード辞書を使用することが、キーワードを他の言語に翻訳する唯一の方法というわけではない。さらに環境によっては、他のさまざまなデバイスを有利に代用することができる。したがって前述の好ましい実施形態に関する説明は、本発明の原理を例示するものにすぎず、本発明を限定するものではないとみなすべきである。

文書が２つの異なる言語で存在する従来の検索技術を示す図である。 本発明の改良型複数言語文書データベース索引システムおよび逆索引テーブルを示す図である。 １つの言語におけるキーワードと、そのキーワードに相当する他の言語における語とを関連付け、照会されたキーワードを含むすべての言語の文書を識別する本発明の索引テーブルを示す図である。 同義語テーブルの一部を示す図である。 本発明の複数言語データベース検索システムを示す図である。 本発明を組み込んだ検索システムに検索照会を入力するために使用できるコンピュータ表示画面の一部を示す図である。 本発明を実施する際に実行される論理の例を示すフローチャートである。

Claims (13)

1. 複数のサポート言語による文書のデータベースを作成および検索する方法であって、
   キーワード辞書を用いて各前記文書からキーワードを抽出するステップと、
   前記キーワードを前記サポート言語に翻訳するステップと、
   各サポート言語による各前記文書に対するキーワードのリストを作成するステップと、
   各サポート言語による前記キーワードを用いて、前記キーワードおよび前記文書に関するランク付け要素情報を含む前記文書の逆索引を作成するステップと、
   １つのサポート言語による検索語を用いて前記逆索引に対して問合せを行うことによって、任意のサポート言語による文書を検索するステップと、
   前記逆索引内に含まれる前記文書の前記ランク付け要素情報を用いて前記文書をランク付けするステップとを含む方法。
2. 請求項１の前記ステップを含む方法であって、前記キーワードを用いて前記逆索引を作成するステップが、ユニコード・システムを用いてサポート言語を管理するステップを含む方法。
3. 請求項１の前記ステップを含むデータベース検索方法であって、照会を生成するステップが、照会が提示される言語を識別するステップを含む方法。
4. 複数の言語で書かれた文書を含むデータベースを検索する方法であって、
   他のサポート言語で同じ意味を持つキーワードと並記される各文書のキーワード検索語を識別する検索ツールを作成するステップと、
   任意のサポート言語によるキーワード検索語を用いて検索文書を識別し、検索言語と他のサポート言語の双方によるキーワード検索語に応答して検索エンジンを用いて前記検索ツールに対して問合せを行うステップと、
   前記検索語および並記されるそれらの同義語に基づいて検索された複数の言語による文書のリストを提供するステップとを含む方法。
5. 検索結果を別の言語に変換するステップを含む、請求項４に記載の方法。
6. 前記検索ツール内のランク付け情報に基づいて整理された文書のリストを提供するステップをさらに含む、請求項５に記載の方法。
7. 検索者によって選択されたサポート言語による文書が存在する場合にその言語による文書の検索リストを提供するステップを含む、請求項４に記載の方法。
8. 入力検索に基づいて文書のデータベースを検索するためのシステムであって、
   前記データベース内の複数の文書のそれぞれについて、少なくとも第１の言語と第２の言語で同じ意味を持つキーワードを含むキーワード・リストと、
   前記データベースの前記複数の文書について前記リスト内で同じ意味を持つ前記キーワードを含む逆索引と、
   前記第１の言語と第２の言語の双方によるキーワードに応答し、前記逆索引を用いて、前記第１の言語すなわち入力言語で入力されたキーワード検索語に対応する文書および前記第２の言語の文書を含む一組の結果を得る検索エンジンとを含むシステム。
9. 前記リストが、検索語を第１の言語から第２の言語に、そして第２の言語から第１の言語に変換するときに使用できる双方向性のリストである、請求項８に記載されたタイプのシステム。
10. 前記検索語の変換が、複数の言語を管理するためにユニコード・システムを使用する、請求項８に記載されたタイプの検索システム。
11. 入力検索に基づいて文書のデータベースを検索するための、コンピュータで使用可能な媒体上のコンピュータ・プログラムであって、
    前記データベース内の複数の文書のそれぞれについて、少なくとも第１の言語と第２の言語で同じ意味を持つキーワードを含むキーワード・リスト用のソフトウェアと、
    前記データベースの前記複数の文書について前記リスト内で同じ意味を持つ前記キーワードを含む逆索引用のソフトウェアと、
    前記第１の言語と第２の言語の双方によるキーワードに応答し、前記逆索引を用いて、前記第１の言語すなわち入力言語で入力されたキーワード検索語に対応する文書および前記第２の言語の文書を含む一組の結果を得る検索エンジン用のソフトウェアとを含むコンピュータ・プログラム。
12. 前記リストが、検索語を第１の言語から第２の言語に、そして第２の言語から第１の言語に変換するときに使用できる双方向性のリストである、請求項１１に記載されたタイプのコンピュータ・プログラム。
13. 前記検索語の変換が、複数の言語を管理するためにユニコード・システムを使用する、請求項１１に記載されたタイプのコンピュータ・プログラム。

Images