JP2009543255A - パラレル・データを特定するために階層的かつ順次的なドキュメント・ツリーを対応付けること - Google Patents

パラレル・データを特定するために階層的かつ順次的なドキュメント・ツリーを対応付けること Download PDF

Info

Publication number
JP2009543255A
JP2009543255A JP2009519452A JP2009519452A JP2009543255A JP 2009543255 A JP2009543255 A JP 2009543255A JP 2009519452 A JP2009519452 A JP 2009519452A JP 2009519452 A JP2009519452 A JP 2009519452A JP 2009543255 A JP2009543255 A JP 2009543255A
Authority
JP
Japan
Prior art keywords
parallel
tree
tree structure
page
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009519452A
Other languages
English (en)
Inventor
チョウ ミン
ニウ チェン
シー レイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2009543255A publication Critical patent/JP2009543255A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G06F16/94—Hypermedia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

所与のネットワーク位置（ウェブ・サイトなど）からダウンロードされた１つまたは複数のページ中のトリガ・ワードに基づいて、１組の候補パラレル・ページが識別される。それらの候補ページのそれぞれを表す１組のドキュメント・ツリーが対応付けられて、翻訳的にパラレルなコンテンツおよびハイパーリンクを特定する。パラレルなコンテンツはさらに、パラレルな文に対する従来の文アライナに送られる。また、このパラレルなハイパーリンクは通常、パラレルな他のドキュメントを参照し、パラレルなドキュメントを再帰的にマイニングすることへと導く。

Description

本明細書で使用されるパラレルな二言語コーパス（Parallel bilingual corpora）とは、第２の言語のテキスト形式データの翻訳として特定される第１の言語のテキスト形式データ（textual data）を指す。例示のために、本明細書で論ずるテキスト形式データはドキュメントであるが、他のテキスト形式のデータも同様に使用することができる。
あるドキュメントが、別のドキュメントの翻訳であるとき、その２つのドキュメントは、パラレルな、二言語のドキュメント（parallel bilingual documents）と呼ばれる。したがって、パラレルな、二言語のコーパス（corpus）とは、第２の言語におけるデータのコーパスの翻訳である第１の言語におけるデータのコーパスを指す。
１組のパラレルなドキュメント内で、互いに対する翻訳であるこれらのドキュメント中の文を特定することがしばしばある。それらは、対応付けられた文（aligned sentences）と呼ばれる。したがって、第１の言語におけるドキュメントが、第２の言語のパラレルなドキュメントと一致する場合、また２つのドキュメント中の文が互いに対応付けられ（）ている（第１の言語の文が、第２の言語のその翻訳と対応付けられ（aligned）ているという点で）場合、２つのドキュメントはパラレルであり、文が対応付けられ（aligned）ており、二言語ドキュメントであると呼ばれる。
現在、パラレルな、二言語コーパス（対訳コーパス；bilingual corpora）を求める広範囲な必要性がある。例えば、このようなコーパスは、統計的機械翻訳システム（statistical machine translation systems）を訓練するために、また言語横断情報検索（cross- lingual information retrieval）を行うために、重要な資源であることが多い。さらに、このようないくつかのコーパスは、多義性解消（語意の曖昧性の除去；word sense disambiguation）および言い換えの取得（paraphrase acquisition）など、様々な単一言語の自然言語処理タスクに対しても利用されてきた。
しかし、大規模なパラレル・コーパスは、多くの言語の対に対して、現在、容易に利用することができない。いくつかのこのようなコーパスが利用可能である言語の場合であっても、これらのコーパスにおけるデータは、通常、政府の文書またはニュース・ワイヤ・テキストに限定される。これらのタイプのドキュメントで使用されるものは、特定の文体または領域特化型（分野特有；domain-specific）の言語であるため、これらのコーパスを、データ駆動の機械翻訳システムもしくは情報検索システムの訓練において、あるいはさらに上記で論じた単一言語の自然言語プロセッサにおいても、異なる言語対のある範囲の領域に対して簡単に使用することができない。
広域ネットワークで利用可能な二言語のページの数が、（ウェブ・サイトなどで）最近急増している。したがって、いくつかのウェブ・マイニング・システムが開発され、ワールド・ワイド・ウェブから、パラレルな、二言語コーパスを自動的に取得している。これらのシステムは、ＵＲＬ（uniform resource locators）を使用し、パラレル・ウェブ・ページが、ウェブ・サイトの維持を容易にするための事前定義のパターンで名前が付けられていると仮定する。したがって、これらのシステムに、二言語のウェブ・サイトＵＲＬが与えられた場合、このシステムは、そのウェブ・サイト内の候補パラレル・ドキュメントを発見しようとして、事前定義のＵＲＬパターンを使用する。次いで、コンテンツ・ベースの機構（content-based features）が使用されて、候補対の翻訳的な等価性（translational equivalents）を検証する。
これらのタイプのシステムが成功するのは限られた場合である。例えば、ウェブ・ページのスタイルおよびウェブ・サイトの維持メカニズムには広範囲な多様性がある。したがって、二言語ウェブ・サイトは、事前定義のパターンに準拠しない様々な名前付けスキームを、パラレル・ドキュメントに対して使用することがしばしばある。
さらに、これらのＵＲＬパターン・ベースのマイニング・システムは、帯域幅の点で問題となり得る。これらのタイプのマイニング・プロセスは、パラレルである可能性のあるドキュメントを発見するための事前定義のＵＲＬパターンを用いる前に、ホストに十分なクローリングを行ってＵＲＬを収集することを要求する。したがって、これらのＵＲＬパターン・ベースのシステムは、高帯域幅および高コストを必要とし、その結果、低いダウンロードスピードになることが多い。多くの二言語ウェブ・サイトであっても、非常に限られた数のパラレル・ドキュメントを有するにすぎないので、ネットワーク帯域幅のかなりの部分は、翻訳上の等価物を有していないウェブ・ページのダウンロードに費やされる。
さらに、ウェブ・ドキュメントのノイズの多い性質により、パラレル・ウェブ・ページは、翻訳とは無関係のコンテンツや、および用語（vocabulary words）以外の多くのものを含む可能性がある。これらは共に、２つのパラレル・ドキュメントが特定された後であっても、文の対応付け（alignment）の正確さを低減する。さらに、従来の文アライナ（sentence aligner）は、レイアウトの類似度などの、他のファクタを考慮せずに平凡なテキスト（conventional text）に対して動作するだけである。
上記の議論は、単に、全体的な背景情報を提供するだけであり、特許請求する主題の範囲を決定するための一助として使用されることを意図していない。
１組の候補パラレル・ページが、所与のネットワーク位置（ウェブ・サイトなど）からダウンロードされた１つまたは複数のページにおけるトリガ・ワードに基づいて、特定される。その候補ページのそれぞれを表す１組のドキュメント・ツリーが、パラレルなコンテンツを翻訳上で特定するために対応付けられる（aligned）。
一実施形態では、有効なＨＴＭＬドキュメントをナビゲートするための知られたアプリケーション・プログラミング・インターフェースであるドキュメント・オブジェクト・モデル（ＤＯＭ；Document Object Model）に従って、ドキュメント・ツリーが生成される。ツリー対応付け計算（tree alignment computation）を容易にするために、一実施形態では、ＤＯＭツリーに対して、わずかな変更が行われる。他の実施形態では、ツリーが対応付けられ（aligned）た後、パラレルなハイパーリンクが特定される。これらのハイパーリンクに対応するページが、次いで、候補パラレル・ページの新しい組としてダウンロードされる。
この概要は、以下の詳細な説明にさらに記載される概念の選択を簡略化した形で紹介するために提供される。この概要は、特許請求される主題の重要な特徴または本質的な特徴を特定することを意図しておらず、あるいは特許請求される主題の範囲を決定するための一助として使用されることも意図していない。特許請求される主題は、この背景において示された幾つかのまたはすべての欠点を解決する実装形態に限定されない。
パラレルなコーパス・マイニング・システムの例示的な一実施形態のブロック図である。 図１に示すシステムのオペレーション全体の例示的な一実施形態を示す流れ図である。 ２つのページのパラレル性の検証を示す流れ図である。 ウェブ・ページをモデル化するドキュメント・ツリーの実施形態を示す図である。 ウェブ・ページをモデル化するドキュメント・ツリーの実施形態を示す図である。 ツリーの対応付け（tree alignment）を実施するための例示的な一実施形態を示す流れ図である。 １つの例示的な動作環境のブロック図である。
図１は、一実施形態によるパラレルなコーパス・マイニング・システム１００のブロック図である。システム１００は、ネットワーク１０４を介してドキュメント１０２に結合されて示されている。ネットワーク１０４は、例示的に、インターネットなどの広域ネットワークであるが、ローカルエリア・ネットワークまたは異なるタイプのネットワークとすることも同様に可能である。さらに、当然であるが、ドキュメント１０２は、例示的に、ネットワーク１０４を介して、システム１００によりアクセス可能な１つまたは様々の異なるサイトにおけるデータもしくは他のテキスト形式のコンテンツを表す。
一実施形態では、システム１００は、ネットワーク１０４を介してドキュメント１０２からデータを取り出して、パラレルな、対応付けられた文（aligned sentences）１０６を生成し、これは、格納のために、機械翻訳システムで使用するために、単一言語の自然言語処理システムで使用するために、情報検索システムで使用するためになど、様々な異なる理由の１つのために出力される。これらの様々なシステムは、図１のブロック１０８で示されている。
図１で示す実施形態は、システム１００が、ナビゲーション・コンポーネント１１０、ダウンロード・コンポーネント１１２、ならびにページ検証およびツリー対応付けシステム１１４（tree alignment system）を含む。ツリー対応付けシステム１１４それ自体は、例示的に、パラレル性検査コンポーネント（parallelism checking component）１１６、パラレル性検証器（verifier）コンポーネント１１８、ツリー対応付けコンポーネント（tree alignment component）１２０、および文対応付けコンポーネント１２２を含む。
図２は、システム１００のオペレーションの例示的な一実施形態を、より詳細に示す流れ図である。図２は、ワールド・ワイド・ウェブおよびインターネットに対するシステム１００のオペレーションについて述べられている。しかし、上記で述べたように、任意の他のタイプのネットワークも同様に使用することができる。
いずれの場合であっても、ナビゲーション・コンポーネント１１０は、例示的に、システム１００を所与のウェブ・ページにナビゲートできるウェブ・ブラウザなどの従来のネットワーク・ナビゲーション・コンポーネントである。最初のウェブ・サイト・アドレスがナビゲーション・コンポーネント１１０に提供されると、ナビゲーション・コンポーネント１１０は、そのアドレスに対応するウェブ・サイトへとナビゲートする。これは、図２のブロック１３０により示される。例示的な一実施形態では、所与のウェブ・サイトは、ユーザによって、またはクローラなどの自動化されたウェブ・サイト位置特定機構によって、または任意の他の所望の入力装置によって、与えられる。
所与のウェブ・サイトで一度、ダウンロード・コンポーネント１１２は、例示的に、そのウェブ・サイトからルート・ページおよび第１のレベルのページをダウンロードする。第１のレベルのページとは、ルート・ページにより直接リンクされるページである。これは、図２でブロック１３２により示されている。ダウンロードされたページは、図１で候補ページ１３４と呼ばれる。候補ページは、そのウェブ・サイトが二言語であるかどうかを検査するために使用される。そうである場合、候補ページは、システム１１４により、パラレルな対の識別、検証、およびツリー対応付け（tree alignment）のために処理される。
ウェブ・サイトが二言語であるかどうかを検査し、その候補から、パラレルである可能性のあるページの対をさらに特定するための方法はいくつかある。例示の実施形態では、アンカー・テキストが、このタスクのための事前定義のトリガ・ワードと比較される。候補ページ１３４が他のページにリンクされている場合、それは、例示的に、ハイパーリンクを介してリンクされることになる。ハイパーリンクに対応するテキストを、本明細書では、アンカー・テキストと呼ぶ。パラレル性検査コンポーネント１１６は、次いで、トリガ・ワードについて、ダウンロードされたページのすべてに対するアンカー・テキストを検査する。これは、図２でブロック１３４により示される。
トリガ・ワードは、ウェブ・ページ間の翻訳的な等価性を反映する用語である。事前定義のトリガ・ワード（またはトリガ・ストリング）のいくつかの例は、「英語」または「英語版」など英語の翻訳に対するトリガ・ワードを含む。言い換えると、フランス語のウェブ・ページがダウンロードされ、そのハイパーリンクの１つが「English（英語）」または「English version（英語版）」とラベルが付されていた場合、そのトリガ・テキストは、そのフランス語のウェブ・ページの翻訳的な等価物が存在し、かつそのハイパーリンクを介してアクセスできることを示している可能性が高い。他の言語に対しても同様なトリガ・ワードが存在するが、少し異なるものになり得る。例えば、中国語に対するトリガ・ワードは、「Chinese（中国語）」、「Chinese version（中国語版）」、「simplified Chinese（簡体字中国語）」、「traditional Chinese（繁体字中国語）」などである可能性がある。
一実施形態では、パラレル性検査コンポーネント１１６は、アンカー・テキストを、ウェブ・ページの間で翻訳的な等価性を反映することが知られている事前定義のストリングのリストと比較することにより、トリガ・ワードについてアンカー・テキストを検査する。図２のブロック１３６で示すように、アンカー・テキスト中にトリガ・ワードが発見されない場合、現在のウェブ・サイトは二言語のウェブ・サイトではなく、その所与のウェブ・サイトに対する処理は終了する。しかし、ブロック１３６で、トリガ・ワードの位置が特定された場合、そのトリガ・ワードと関連付けられた２つのページ（例えば、英語版と中国語版）は、図１のパラレルである可能性のあるページ１３８として識別される。パラレルである可能性のあるページ１３８は、次いで、ダウンロード・コンポーネント１１２によってダウンロードされる。これは、図２のブロック１４０により示される。
処理におけるこの時点で、これらのページは、まだ検証されていない候補のパラレルな対（またはパラレルである可能性がある対）と見なされる。したがって、パラレルである可能性のあるページ１３８は、パラレル性検証器コンポーネント１１８に提供される。コンポーネント１１８は、そのパラレルである可能性のあるページが、翻訳的に等価であると見なされのに十分パラレルであり、したがって、対応付けられた二言語データ（aligned bilingual data）が、それらのものから取得できる可能性があることを検証する。
一実施形態では、パラレル性検証器コンポーネント１１８は、例示的に、バイナリー最大エントロピー・ベースの分類器（binary maximum entropy classifier）である。しかし、他の分類器または検証コンポーネント（ルール・ベースの、または統計的な）を同様に使用することができる。しかし、例示的な実施形態では、分類器は、そのページが十分にパラレルであるかどうかを決定するために、３つの機能を使用する。図２Ａは、これらの機能が、パラレル性検証器コンポーネント１１８で使用される例示的な一実施形態を示す流れ図である。その３つの機能は、ファイル長さの比、ＨＴＭＬタグの類似度、および文対応付けのスコア（a sentence alignment score）を含む。したがって、そのページが十分にパラレルであるかどうかを決定するために、コンポーネント１１８は、まず、パラレルである可能性のあるページ１３８を受け取る。これは、図２Ａのブロック１６０により示される。
コンポーネント１１８は、次いで、２つのページに対するファイル長さの比を計算する。これは、ブロック１６２により示される。ファイル長さの比は、比較的、直截的なものであり、単に、考慮中のウェブ・ページのそれぞれを表すファイルの長さの比である。
コンポーネント１１８は、次いで、ＨＴＭＬタグの類似度を計算する。これは、図２Ａのブロック１６４により示される。ＨＴＭＬタグの類似度は、多種多様な方法の任意のものを用いて計算することができる。しかし、示した例示的な一方法は、図２Ａのブロック１６６、１６８、および１７０により示される。その例示の実施形態によれば、ＨＴＭＬタグの類似度は、各ページに対するＨＴＭＬタグのすべてをまず抽出することにより決定される。これは、ブロック１６６により示される。各ページに対するＨＴＭＬタグは、次いで、ストリングへと連結され、したがって、１つの連結されたストリングが２つのページのそれぞれに対して形成される。次いで、そのページと関連付けられた２つのタグ・ストリング間で、最小の編集距離が計算される。一実施形態では、ＨＴＭＬタグの類似度スコアは、ストリング全体の数に対する、その連結されたストリング中でマッチングするタグ数の比として定義される。類似度を決定する他の技法も同様に使用することができる。
いずれの場合であっても、コンポーネント１１８はまた、図２Ａのブロック１７２により示されるように、文対応付けのスコア（a sentence alignment score）を計算する。文対応付けのスコアは、多種多様な方法を用いて同様に計算することができる。しかし、例示的な一実施形態では、文対応付けのスコアは、２つのページに対応するファイルの両方における文（sentences）の合計数に対する、２つのページ上で対応付けられた文の数の比である。文が対応付けられているかどうかを決定するための一実施形態では、その２つのページのドキュメント・オブジェクト・モデルのツリーを対応付けることによる。これは、以下でさらに詳細に述べる。
３つの特徴（features）（ファイル長さの比、ＨＴＭＬタグの類似度、および文対応付けのスコア）が、２つのページに対して計算されると、コンポーネント１１８は、そのページが十分にパラレルであるかどうかを決定し、その決定についての指示（indication）を出力する。これは、図２Ａのブロック１７４により示される。論じられている例示的な実施形態では、コンポーネント１１８は、バイナリー最大エントロピー分類器であり、２つのページを、上記で論じた３つの機能に基づいて、単に十分にパラレルであるか、それとも不十分であるかで分類するだけである。分類器は、任意の所望の訓練機構を用いて訓練することができ、このような１つの機構は、知られている繰返しスケーリング・アルゴリズム（iterative scaling algorithm）と呼ばれる。
図１および図２を再度参照すると、コンポーネント１１８は、パラレルである可能性のあるページが十分にパラレルであることを検証（確認）する。これは、図２のブロック１４２により示される。
図２のブロック１４４で、コンポーネント１１８により示されるように、ページが十分にパラレルではない場合、２つの候補ページの処理は終了する。しかし、ブロック１４４で、コンポーネント１１８が、２つのページが十分にパラレルであると決定した場合、コンポーネント１１８は、そのページは、検証されたパラレルなページ１４６であること、および現在の処理用として、本当に翻訳的に等価なものであり、したがって、それらは、パラレル文を生成し、さらなるパラレルなウェブ・ページを参照するのに使用できること、を決定する。したがって、コンポーネント１１８は、検証されたパラレルなページ１４６を、対応付けのために、ツリー対応付けコンポーネント（tree alignment component）１２０へサブミットする。
ツリー対応付けコンポーネント１２０はまず、検証されたパラレルなページ１４６のそれぞれに対して、ドキュメント・ツリーを取得する。ドキュメント・ツリーの各ノードは、例示的に、２つのフィールドを含み、第１のフィールドが、ＨＴＭＬタグ・フィールドであり、また第２のフィールドが、ノードと関連付けられたテキストである。例示的な一例では、このドキュメント・ツリーの構造は、わずかな変更を含むドキュメント・オブジェクト・モデル（ＤＯＭ）に従う。ＤＯＭは、ワールド・ワイド・ウェブ・コンソーシアムを介して公開されており、有効なＨＴＭＬドキュメントに対する知られたアプリケーション・プログラミング・インターフェース（ＡＰＩ）である。現在の例のために、ＤＯＭツリーである各ウェブ・ページに関連付けられたドキュメント・ツリー構造に関してこの議論を進めるが、他のこのようなツリー構造も同様に使用できることが理解されよう。
ＤＯＭツリーが、検証されたパラレルなページ１４６のそれぞれに対して取得されると、ツリー対応付けコンポーネント１２０は、例示的に、そのＤＯＭツリーに対して任意の所望の処理を実施することができ、それらを、さらなる処理のために、所望の形式に配置することができる。これは、図２のブロック１４７により示される。前処理の一実施形態は、図３Ａおよび３Ｂに関して、以下で述べる。
ＤＯＭツリーが所望の形になると、ツリー対応付けコンポーネント１２０は、例えば、ツリーの対応付けを実施して、ウェブ・ページを表すＤＯＭツリー（複数）を対応付ける。これは、図２のブロック１４８により示される。例示の実施形態では、ツリー対応付けコンポーネント１２０は、確率的なＤＯＭツリー対応付けモデル（stochastic DOM tree alignment model）であり、これは、翻訳的に等価なコンテンツを対応付けるために使用され、検証されたパラレルなページ１４６の対に対するＤＯＭツリー中にテキスト形式のチャンク（textual chunks）およびハイパーリンクを共に含む。ツリー対応付けステップ１４８は、図４に関して以下でさらに詳細に述べる。ＤＯＭツリーが対応付けられ、またパラレルなテキスト・チャンクおよびハイパーリンクが特定されると、パラレルなテキスト・チャンク１５０が、文対応付けコンポーネント１２２に提供される。
文対応付けコンポーネント１２２は、次いで、パラレルなテキスト・チャンク１５０内の文を対応付けし、それらをパラレルな、対応付けられた文１０６として格納するために、または他のシステムで使用するために出力する。パラレルなテキスト・チャンクからのこれらの文を対応付けることは、任意の所望の方法で行うことができ、それは、図２のブロック１５２で示されている。例示的な一実施形態では、パラレルなウェブ・ページ間のＨＴＭＬ構造の類似度が利用され、またその文を対応付けるために、カスケード手法が使用される。まず例示的な実施形態では、ＤＯＭツリーのノードと関連付けられたテキスト・チャンクが、上記で論じたように対応付けられる。次いで、パラレルなテキスト・チャンクの対ごとに、知られた文アライナ（sentence aligner）を、その文を対応付けるために使用することができる。１つのこのような文アライナは、用語の順序を考慮せずに、１つの言語から他の言語へと逐語的な変換をモデル化し、最尤基準（a maximum likelihood criterion）に基づいて、その逐語的な変換モデルを、異なる言語の２つの文の長さを表す他のモデルと組み合わせる。当然であるが、他のタイプの文の対応付けも同様に使用することができる。対応付けられた文の出力は、図２のブロック１５４により示される。
ツリー対応付けコンポーネント１２０はまた、例示的に、２つのＤＯＭツリーが互いに対応付けられた後、何らかのパラレルなハイパーリンクがあるかどうかを決定する。これは図２のブロック１５６により示される。２つのＤＯＭツリーに対応付けられたハイパーリンクがない場合、２つのパラレルなページの処理は完了する。しかし、対応付けられたＤＯＭツリー中にパラレルなハイパーリンクがある場合、それは、新しいパラレル・データへのアンカーであると見なすことができる。パラレルなウェブ・ページを参照するために、２つの対応付けられたＤＯＭツリー中のパラレルなハイパーリンクを使用することは、パラレルな、二言語データを特定するための一般的で安定した形態（pattern）であることが見出されている。したがって、図２のブロック１５６で、たどるべき（付随する；to follow）パラレルなハイパーリンクがある場合、これらのパラレルなハイパーリンク１５８は、ナビゲーション・コンポーネント１１０に提供され、処理は、図２のブロック１４０に戻る。ナビゲーション・コンポーネント１１０は、パラレルなハイパーリンク１５８と関連付けられたウェブ・ページへとシステム１００をナビゲートし、ダウンロード・コンポーネント１１２は、パラレルなハイパーリンクと関連付けられたページを、パラレルである可能性のあるページ１３８としてダウンロードする。これらのページ１３８は、次いで、検証などのためにパラレル性検証器コンポーネント１１８にサブミットされる。
図３Ａおよび３Ｂは、図２のブロック１４７で、ＤＯＭツリーを前処理する任意選択のステップを示している。知られているように、ドキュメント・オブジェクト・モデル化を用いてウェブ・ページを表すと、ＨＴＭＬドキュメントの論理構造は、当然であるが、階層的かつ順次的なツリーであって、各ノードが何らかの事前定義のノード・タイプに属するツリーとして表される。いくつかのこのようなノード・タイプは、「Ｄｏｃｕｍｅｎｔ」、「ＤｏｃｕｍｅｎｔＴｙｐｅ」、「Ｅｌｅｍｅｎｔ」、「Ｔｅｘｔ」、「Ｃｏｍｍｅｎｔ」、「ＰｒｏｃｅｓｓｉｎｇＩｎｓｔｒｕｃｔｉｏｎ」などを含む。ノードのこれらのタイプのすべての中で、本明細書で論ずる一実施形態に最も重要なノードは、ドキュメント中のＨＴＭＬタグに対応する「Ｅｌｅｍｅｎｔ」ノード、およびドキュメント中のテキスト・チャンクに対応する「Ｔｅｘｔ」ノードである。
図３Ａは、ＨＴＭＬドキュメントを表す従来のＤＯＭツリー２００を示す。ＨＴＭＬドキュメント中のノードは、ヘッド・ノード２０２およびボディ・ノード２０４を含むことが分かる。ヘッド・ノード２０２は、タイトル２０６およびそのタイトルに対するテキスト２０８に対応する子ノードを有する。ボディ・ノード２０４は、１組の子ノード２１２および２１４をそれ自体で有する子ＤＩＶノード２１０である、子ノードを有する。ノード２１２は、子テキスト・ノード２１６を有し、ノード２１４は、下位ノードのストリングを有する。ノード２１４の第１の下位のものは、イメージ・ノード２１８であり、その後に代替ノード２２０、およびテキスト・ノード２２２が続く。
ＤＯＭツリー２００を前処理する例示的な一例では、対応付けコンポーネント１２０は、ドキュメント・モデル・ツリーから、「エレメント」ノードおよび「テキスト」ノード以外のすべてのノードを除外する。さらに、イメージを表示することができないときにテキスト形式の代替を表す「ａｌｔ」属性は、「テキスト」ノードにより表される。最後に、（ツリー中のリーフ・ノードであるはずの）「テキスト」は、対応付けモデルの表現をさらに簡潔にするために、その親の「エレメント」ノードともとに単一のノードに組み合わされる。
図３Ｂは、図３Ａのツリー２００から導かれる前処理されたツリー２３０を示す。テキスト・ノード２０８がタイトル・ノード２０６と組み合わされて、組合せノード２３２を形成することが分かる。同様に、ツリー２００のテキスト・ノード２１６およびその親ノード２１２が組み合わされて、ツリー２３０の組合せノード２３４になる。さらに、ツリー２００のａｌｔノード２２０は、テキスト・ノードとして表されており、それは、テキスト・ノード２２２と共に、イメージ・ノード２１８と組み合わされて、ツリー２３０の組合せノード２３６を形成する。これらの小変更にもかかわらず、ツリー２３０は、なお、本説明でＤＯＭツリーと呼ばれることに留意されたい。さらに、これらの変更は、便宜上、またモデルを簡単化するために行われるにすぎず、本発明によって企図されたものとして行われる必要はない。さらに、他の形のドキュメント・ツリー構造を使用することもできる。
ツリー対応付けを実施する（図２のステップ１４８のように）際のツリー対応付けコンポーネント１２０のオペレーションを、次により詳細に述べる。一実施形態によれば、ツリー対応付けコンポーネント１２０は、階層的に不変のプロセスとして、また連続する順序が不変のプロセスとして対応付けを定義するツリー対応付けモデルを含む。言い換えると、階層的に不変のプロセスとは、ノードＡがノードＢに対応付けられた場合、ノードＡの子は削除されるか、あるいはノードＢの子と対応付けられることを意味する。連続する順序が不変のプロセスとは、ノードＡがノードＢと対応付けられた場合、ノードＡに続く兄弟ノードは、削除されるか、あるいはノードＢに続く兄弟ノードと対応付けられる必要がある。したがって、ツリーにおけるノードの階層的な順序および連続する順序は変更されないが、ノードを削除することはできる。
図４は、ツリー対応付けコンポーネント１２０のオペレーションをより詳細に示す。以下で述べるように、ツリーのそれぞれは、例示的に、複数の異なるサブ・ツリーで形成される。複数の異なるサブ・ツリーは、サブ・ツリーのフォレスト（forest）と総称的に呼ばれる。ツリー対応付けコンポーネントは、サブ・ツリーに対する最適な対応付けを見出し、次いで、そのサブ・ツリーを含むフォレストに対する最適な対応付けを見出すことを繰り返すことによって、２つのウェブ・ページを表す２つのツリー全体を対応付ける。
一実施形態では、ボトムアップ手法を使用することができる。したがって、図４では、コンポーネント１２０は、ツリーの底部におけるサブ・ツリーから開始し、まず、２つのウェブ・ページを表すサブ・ツリーに対する最適な対応付けを見出す。これは、ブロック３００により示される。次に、コンポーネント１２０は、ブロック３００でサブ・ツリーの対応付けが見出された場合、順次的なサブ・ツリーのフォレストの最適な対応付けを見出す。これは、ブロック３０２により示される。任意の所望の「優良さ（goodness）」基準（または最適化基準）に基づいて、コンポーネント１２０は、次いで、ステップ３００および３０２におけるさらなる繰返しが必要かどうかを決定する。これは、ブロック３０４により示される。その繰返しは、対応付けについての所望の「優良さ」が達成されるまで、サブ・ツリーおよびそのサブ・ツリーを含むフォレストの対応付けを続ける。その所望される全体の対応付けは、上記で述べたように、パラレルなテキスト・チャンクおよびハイパーリンクを特定することになる。コンポーネント１２０は、したがって、ブロック３０６により示されるように、パラレルなテキスト・チャンクおよびハイパーリンクを出力する。
ツリー対応付けモデルのより詳細な提示（presentation）を容易にするために、以下の記号が導入される。ＨＴＭＬドキュメントＤが与えられると、ＴDは、対応するＤＯＭツリーを指す；
Figure 2009543255
は、ＴDのｉ番目のノードを指し（ここで、ノードのインデックスは、幅優先順である）、また
Figure 2009543255
は、
Figure 2009543255
にルートを持つサブ・ツリーを指し、したがって、
Figure 2009543255
は、ＴDのルートを指し、また
Figure 2009543255
である；
Figure 2009543255
は、
Figure 2009543255
から
Figure 2009543255
までのノードにルートを持つサブ・ツリーからなるフォレストを指す。
Figure 2009543255
は、ノード
Figure 2009543255
のテキストを指す；
Figure 2009543255
は、ノード
Figure 2009543255
のＨＴＭＬタグを指す；
Figure 2009543255
は、ノード
Figure 2009543255
のｊ番目の子を指す；
Figure 2009543255
は、連続する一連の
Figure 2009543255
の
Figure 2009543255
から
Figure 2009543255
までの子ノードを指す；
Figure 2009543255
にルートを持つサブ・ツリーは、
Figure 2009543255
として表され、また
Figure 2009543255
にルートを持つフォレストは
Figure 2009543255
で表される。最後に、ＮＵＬＬ（ヌル）は、ノード削除用に導入された空ノードを指す。
ＤＯＭツリーの階層的構造に適合させるために、２つの異なる変換確率が定義される（本例は、英語とフランス語を扱うので、Ｅは英語を意味し、Ｆはフランス語を意味する）。
Figure 2009543255
これは、サブ・ツリー
Figure 2009543255
を、サブ・ツリー
Figure 2009543255
に変換する確率である；
Figure 2009543255
これは、ノード
Figure 2009543255
を
Figure 2009543255
に変換する確率である。
さらに、
Figure 2009543255
は、対応付けＡに基づいて、フォレスト
Figure 2009543255
を
Figure 2009543255
に変換する確率を表す。ツリーの対応付けＡは、ターゲット・ノードから、ソース・ノードまたはヌル・ノードへのマッピングとして定義される。したがって、Ａi（またはＡ[i、j]）は、サブ・ツリー
Figure 2009543255
（またはフォレスト
Figure 2009543255
）に対するフランス語サブ・ツリー（またはフォレスト）へのマッピング・スキームを指す。
２つのＨＴＭＬドキュメントＦ（フランス語）、およびＥ（英語）が与えられると、ツリー対応付けタスクは、以下の確率を最大化するＡを求めるものとして定義される。
Ｐｒ（Ａ｜ＴF、ＴE）∝Ｐｒ（ＴF｜ＴE、Ａ）Ｐｒ（Ａ｜ＴE） 式１
式中、Ｐｒ（Ａ｜ＴE）は、ＴEが与えられた場合の対応付け構成の事前知識（prior knowledge）を表す。
対応付けの構成中に生ずるソース・ノードまたはターゲット・ノードの削除の確率を指すｐdを導入することにより、事前のＰｒ（Ａ｜ＴE）の対応付けは、以下の二項分布として仮定することができる。
Figure 2009543255
式中、ＬはＡにおける空ではない対応付けのカウントであり、Ｍは、ＡにおけるＴEノードの削除のカウントである。
Ｐｒ（ＴF｜ＴE、Ａ）は、以下のように表すことができる。すなわち、
Figure 2009543255
、また
Figure 2009543255
は、以下のように、Ａの対応付け構成に応じて再帰的に計算することができる。
Figure 2009543255
が、
Figure 2009543255
と対応付けられ、
Figure 2009543255
の子が
Figure 2009543255
の子と対応付けられる場合、
Figure 2009543255
となる。式中、ＫおよびＫ’は、それぞれ、
Figure 2009543255
および
Figure 2009543255
の次数（degree）である。
Figure 2009543255
が削除され、かつ
Figure 2009543255
の子が
Figure 2009543255
と対応付けられる場合、
Figure 2009543255
となる。式中、Ｋは
Figure 2009543255
の次数である。
Figure 2009543255
が削除され、
Figure 2009543255
が
Figure 2009543255
の子と対応付けられる場合、
Figure 2009543255
となる。式中、Ｋは
Figure 2009543255
の次数である。
対応付けモデルを完了するために、
Figure 2009543255
を推定する必要がある。上記で述べたように、変更されないノードの連続する順序を有する対応付け構成だけが有効であると見なされる。したがって、
Figure 2009543255
は、Ａの以下の３つの対応付け構成に対応して、再帰的に推定することができる。
Figure 2009543255
が
Figure 2009543255
と対応付けられ、また
Figure 2009543255
が
Figure 2009543255
と対応付けられる場合、
Figure 2009543255
である。
Figure 2009543255
が削除され、かつ
Figure 2009543255
の子
Figure 2009543255
が
Figure 2009543255
と組み合わされて、
Figure 2009543255
と対応付けられる場合、
Figure 2009543255
であり、式中、Ｋは
Figure 2009543255
の次数である。
Figure 2009543255
が削除され、かつ
Figure 2009543255
の子
Figure 2009543255
が、
Figure 2009543255
と組み合わされて
Figure 2009543255
と対応付けられる場合、
Figure 2009543255
であり、式中、Ｋは
Figure 2009543255
の次数である。
最後に、ノードの変換確率は、例示的に、
Figure 2009543255
としてモデル化され、またテキストの変換確率Ｐｒ（ｔF｜ｔE）は、用語の順序を考慮することなく、英語からフランス語への逐語的な変換をモデリングすることによってモデル化される。当然であるが、他のモデルを同様に使用することもできる。
このように、本モデルを述べてきたが、モデルに対するパラメータを推定する必要がある。例示的な一実施形態では、ツリー対応付けモデルは、３つのカテゴリのパラメータを含み、英語テキストの断片ｔEを、フランス語テキストの断片ｔFとして変換する確率であるテキストの変換確率Ｐｒ（ｔF｜ｔE）、互いにマップされた２つのタグの確率であるタグ・マッピング確率Ｐｒ（ｌ｜ｌt）、および上記で述べたノード削除確率ｐdを含む。任意の所望の、また従来のパラメータ推定技法を使用することもできる。
上記の図４に関して述べた繰返し対応付けプロセスを達成するために、ボトムアップ手法を使用できることもまた留意されたい。２つのツリーが最適に対応付けされた場合、そのサブ・ツリーの対応付けも同様に最適でなければならないことが理解されよう。したがって、復号プロセスにおいて、動的計画（dynamic programming）技法を適用して、最適なツリー対応付けを、ボトムアップ式のサブ・ツリーについての最適なツリー対応付けを用いて、見出することができる。表１は、このような復号アルゴリズムに対する疑似コードを設定する。
Figure 2009543255
ここで、｜ＴF｜および｜ＴE｜は、ＴFおよびＴEにおけるノードの数であり、ＫiおよびＫjは、
Figure 2009543255
および
Figure 2009543255
の次数である。
したがって、（ＨＴＭＬタグなどの）すべてのレイアウト情報を除去し、従来の文の対応付けを利用するだけである、パラレルなウェブ・コンテンツを特定しようとする従来の方法を改善できることが分かる。まず、ツリー対応付けを適用して、パラレルなテキスト・チャンクを対応付け、次いで、（文の対応付けなどの）より細かな対応付けを用いて、対応付けられたテキスト・チャンクからパラレルな文を抽出することにより、より優れた性能が得られる。
図５は、諸実施形態を実装することのできる適切なコンピューティング・システム環境４００の一例を示す。コンピューティング・システム環境４００は、適切なコンピューティング環境の一例にすぎず、特許請求される主題の用途または機能性の範囲に関して何らかの限定を示唆することを意図するものではない。コンピューティング環境４００は、例示的な動作環境４００中で示されたコンポーネントの任意の１つまたは組合せに関して、何らかの依存性、または要件を有するものと解釈されるべきではない。
諸実施形態は、数多くの他の汎用または専用のコンピューティング・システム環境、もしくはコンフィギュレーションで動作可能である。様々な実施形態で使用するのに適切であることができるよく知られたコンピューティング・システム、環境、および／またはコンフィギュレーションの例は、これだけに限らないが、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルドもしくはラップトップ装置、マルチプロセッサ・システム、マイクロ・プロセッサ・ベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータ、電話通信システム、上記のシステムもしくは装置の任意のものを含む分散コンピューティング環境などを含む。
諸実施形態は、コンピュータにより実行されるプログラム・モジュールなど、コンピュータで実行可能な命令の一般的なコンテクストで記述されることができる。概して、プログラム・モジュールは、特定のタスクを行う、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。いくつかの実施形態は、通信ネットワークを介してリンクされた遠隔の処理装置によりタスクが実施される分散コンピューティング環境で行われるように設計される。分散コンピューティング環境では、プログラム・モジュールは、メモリ記憶装置を含むローカルと遠隔の両方のコンピュータ記憶媒体中に位置する。
図５を参照すると、いくつかの実施形態を実装するための例示的なシステムは、コンピュータ４１０の形の汎用コンピューティング装置を含む。コンピュータ４１０のコンポーネントは、これだけに限らないが、処理装置４２０と、システム・メモリ４３０と、システム・メモリを含む様々なシステム・コンポーネントを処理装置４２０に結合するシステム・バス４２１とを含むことができる。システム・バス４２１は、メモリ・バスもしくはメモリ制御装置、周辺バス、および任意の様々なバス・アーキテクチャを用いるローカル・バスを含むいくつかのタイプのバス構造の任意のものとすることができる。例のためであり、限定するものではないが、このようなアーキテクチャは、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（Micro Channel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカル・バス、およびＭｅｚｚａｎｉｎｅバスとしても知られているＰＣＩ（Peripheral Component Interconnect）バスを含む。
コンピュータ４１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ４１０によりアクセスできる任意の利用可能な媒体とすることができ、揮発性と不揮発性媒体、取外し可能と取外し不能媒体を共に含む。例示のためであり、限定するものではないが、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータなどの情報を格納するための任意の方法または技術で実装された揮発性と不揮発性媒体、取外し可能と取外し不能媒体を共に含む。コンピュータ記憶媒体は、これだけに限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disks）もしくは他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージもしくは他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピュータ４１０によりアクセスできる任意の他の媒体を含む。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータを、搬送波または他の移送機構などの変調されたデータ信号の形で具現化するものであり、また任意の情報送達媒体を含む。用語「変調されたデータ信号」とは、情報を信号中に符号化するような方法で設定または変更された１つまたは複数のその特性を有する信号を意味する。例示のためであり、限定するものではないが、通信媒体は、有線ネットワークや直接有線接続などの有線媒体、および音響、ＲＦ、赤外線、他の無線媒体などの無線媒体を含む。上記の任意のものの組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
システム・メモリ４３０は、ＲＯＭ（読取り専用メモリ）４３１やＲＡＭ（ランダム・アクセス・メモリ）４３２などの揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。起動中などに、コンピュータ４１０内のエレメント間で情報を転送するのを助ける基本ルーチンを含むＢＩＯＳ（基本入出力システム）４３３が、通常、ＲＯＭ４３１に格納される。ＲＡＭ４３２は、通常、処理装置４２０が直接的にアクセス可能であり、かつ／または現在処理しているデータおよび／またはプログラム・モジュールを含む。例示のためであり、限定するものではないが、図５は、オペレーティング・システム４３４、アプリケーション・プログラム４３５、他のプログラム・モジュール４３６、およびプログラム・データ４３７を示す。
コンピュータ４１０はまた、他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体を含むことができる。例示のためでだけであるが、図５は、取外し不能な、不揮発性の磁気媒体との間で読取りまたは書込みを行うハードディスク・ドライブ４４１と、取外し可能な、不揮発性の磁気ディスク４５２との間で読取りまたは書込みを行う磁気ディスク・ドライブ４５１と、ＣＤ−ＲＯＭまたは他の光媒体などの取外し可能な、不揮発性の光ディスク４５６との間で読取りまたは書込みを行う光ディスク・ドライブ４５５とを示す。例示的な動作環境で使用され得る他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体は、これだけに限らないが、磁気テープ・カセット、フラッシュ・メモリ・カード、ＤＶＤ（digital versatile disks）、デジタル・ビデオ・テープ、固体ＲＡＭ、固体ＲＯＭなどを含む。ハードディスク・ドライブ４４１は、通常、インターフェース４４０などの取外し不能なメモリ・インターフェースを介して、システム・バス４２１に接続され、また磁気ディスク・ドライブ４５１および光ディスク・ドライブ４５５は、通常、インターフェース４５０などの取外し可能なメモリ・インターフェースによりシステム・バス４２１に接続される。
上記で論じ、また図５に示されたドライブおよびその関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、およびコンピュータ４１０に対する他のデータのストレージを提供する。図５では、例えば、ハードディスク・ドライブ４４１は、オペレーティング・システム４４４、アプリケーション・プログラム４４５、他のプログラム・モジュール４４６、およびプログラム・データ４４７を格納するものとして示されている。これらのコンポーネントは、オペレーティング・システム４３４、アプリケーション・プログラム４３５、他のプログラム・モジュール４３６、およびプログラム・データ４３７と同一にすることも、異なるものにすることも可能であることに留意されたい。オペレーティング・システム４４４、アプリケーション・プログラム４４５、他のプログラム・モジュール４４６、およびプログラム・データ４４７は、少なくとも、それが異なるコピーであることを示すために、ここでは異なる数字を与えている。
ユーザは、キーボード４６２、マイクロフォン４６３や、マウス、トラックボール、またはタッチ・パッドなどのポインティング装置４６１などの入力装置を介してコンピュータ４１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）は、ジョイスティック、ゲームパッド、サテライト・ディッシュ、スキャナなどを含むことができる。これらのおよび他の入力装置は、システム・バスに結合されたユーザ入力インターフェース４６０を介して処理装置４２０に接続されることが多いが、パラレル・ポート、ゲーム・ポート、またはＵＳＢ（universal serial bus）などの他のインターフェースおよびバス構造によって接続することもできる。モニタ４９１または他のタイプの表示装置がまた、ビデオ・インターフェース４９０などのインターフェースを介してシステム・バス４２１に接続される。モニタに加えて、コンピュータはまた、出力周辺インターフェース４９５を介して接続され得る、スピーカ４９７およびプリンタ４９６などの他の周辺出力装置を含むことができる。
コンピュータ４１０は、遠隔コンピュータ４８０などの１つまたは複数の遠隔コンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。遠隔コンピュータ４８０は、パーソナル・コンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア（peer）装置、または他の共通のネットワーク・ノードとすることができ、通常、コンピュータ４１０に対して上記で述べたエレメントの多くまたはすべてのものを含む。図５で示す論理接続は、ＬＡＮ（ローカルエリア・ネットワーク）４７１、およびＷＡＮ（広域ネットワーク）４７３を含むが、他のネットワークを含むこともできる。このようなネットワーク化環境は、オフィスや事業体規模のコンピュータネットワーク、イントラネット、およびインターネットにおいて普通のものである。
ＬＡＮネットワーク化環境で使用されるとき、コンピュータ４１０は、ネットワーク・インターフェースもしくはアダプタ４７０を介してＬＡＮ４７１に接続される。ＷＡＮネットワーク化環境で使用されるときは、コンピュータ４１０は、通常、インターネットなどのＷＡＮ４７３を介して通信を確立するためのモデム４７２または他の手段を含む。モデム４７２は、内部または外部のものとすることができるが、ユーザ入力インターフェース４６０、または他の適切な機構を介して、システム・バス４２１に接続されることができる。ネットワーク化された環境では、コンピュータ４１０、またはその部分に関して示されたプログラム・モジュールは、遠隔のメモリ記憶装置に格納してもよい。例のためであり、限定するものではないが、図５は、遠隔コンピュータ４８０上に常駐するものとして、遠隔のアプリケーション・プログラム４８５を示している。図示されたネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立する他の手段も使用できることが理解されよう。
本主題が、構造的な特徴および／または方法論的行為（act）に特有の言語で述べられてきたが、添付の特許請求の範囲で定義される主題は、上記で述べた特定の特徴または行為に必ずしも限定されないことを理解されたい。そうではなくて、上記で述べた特定の特徴および行為は、その特許請求の範囲を実施する例示的な形態として開示されている。

Claims (20)

  1. ネットワーク（１０４）を介してアクセス可能な１つまたは複数の大量のコーパス（１０２）からパラレルな二言語コーパスを特定する方法であって、
    第１の言語のデータの第１のサブセット、および第２の言語のデータの第２のサブセットを選択するステップ（１４０）と、
    データの前記第１および第２のサブセットのそれぞれに対応するツリー構造（２３０）であって、データの前記対応するサブセットを表す階層的かつ順次的に配列されたノード（２０２〜２３６）を有する各ツリー構造（２３０）を取得するステップ（１４７）と、
    階層的かつ順次的に不変の対応付けに従って、データの前記サブセットのそれぞれに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
    前記ツリー構造（２３０）の前記対応付け（１４８）に基づいて、データの前記サブセットのパラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と、
    前記パラレルなテキスト形式のセグメント（１５０）についての指示を出力するステップ（１５４）と
    を備えることを特徴とする方法。
  2. データの前記第１および第２のサブセットは、他のドキュメントへのハイパーリンクを有する第１および第２のドキュメント（１３８）を備えており、さらに、
    前記ツリー構造（２３０）の前記対応付け（１４８）に基づいて、前記第１および第２のドキュメント（１３８）におけるパラレルなハイパーリンク（１５８）であって、それぞれ、前記第１の言語の後続するドキュメントに、また前記第２の言語の後続するドキュメントにリンクするパラレルなハイパーリンク（１５８）を特定するステップ（１５６）
    を備えることを特徴とする請求項１に記載の方法。
  3. 前記後続するドキュメントのそれぞれに対応するツリー構造（２３０）を取得するステップと、
    前記後続するドキュメントに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
    前記後続するドキュメント中で、パラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と
    をさらに備えることを特徴とする請求項２に記載の方法。
  4. 前記後続するドキュメント中で、パラレルなハイパーリンク（１５８）を特定するステップ（１５６）をさらに備えることを特徴とする請求項３に記載の方法。
  5. 前記後続するドキュメントのそれぞれに対応するツリー構造（２３０）を取得するステップ（１４７）と、
    前記後続するドキュメントに対応する前記ツリー構造（２３０）を対応付けるステップ（１４８）と、
    前記後続するドキュメント中で、パラレルなテキスト形式のセグメント（１５０）を特定するステップ（１４８）と、
    前記後続するドキュメント中で、パラレルなハイパーリンク（１５８）を特定するステップ（１５６）と
    を再帰的に繰り返すステップ
    をさらに備えることを特徴とする請求項４に記載の方法。
  6. 前記第１の言語のデータの前記第１のサブセット、および前記第２の言語のデータの前記第２のサブセットを選択するステップは、
    所与のウェブ・サイトのページにアクセスするステップ（１３２）と、
    前記ページで、事前定義された１組のトリガ・ワードのうちの１つまたは複数のものを特定するステップ（１３６）と、
    前記トリガ・ワードを特定する前記ステップ（１３６）に基づいて、前記所与のウェブ・サイトから、第１および第２のページ（１３４）を選択するステップ（１４０）と
    を備えることを特徴とする請求項１に記載の方法。
  7. ページにアクセスする前記ステップは、
    前記所与のウェブ・サイトに対するルート・ページ、および前記ルート・ページにリンクされた第１のレベルのページをダウンロードするステップ（１３２）を備えることを特徴とする請求項６に記載の方法。
  8. データの前記第１のサブセットおよびデータの前記第２のサブセットを選択する前記ステップは、
    前記第１と第２のページの間の十分なパラレル性を検証するステップ（１４２）を備えることを特徴とする請求項６に記載の方法。
  9. ツリー構造を取得する前記ステップは、
    データの前記サブセットのそれぞれに対応するドキュメント・オブジェクト・モデル・ツリー（２００）を取得するステップを備えることを特徴とする請求項１に記載の方法。
  10. 第１の言語の第１のドキュメントおよび第２の言語の第２のドキュメントにおいて、パラレルな二言語データを特定する方法であって、
    前記第１および第２のドキュメント（１４６）のレイアウトを表すドキュメント・ツリー構造（２３０）であって、前記第１および第２のドキュメント（１４６）中のテキストに対応するノードを含む前記ドキュメント・ツリー構造（２３０）を取得するステップと、
    前記ドキュメント・ツリー構造（２３０）におけるノードの順序および階層を保存しながら、前記ツリー構造中の前記ノードを互いに対応付けることにより、前記ドキュメント・ツリー構造（２３０）を対応付けるステップ（１４８）と、
    前記ドキュメント・ツリー構造（２３０）中の対応付けられたノードに対応するテキスト・セグメントとして、パラレルな二言語テキスト・セグメント（１５０）を特定するステップ（１４８）とを備えることを特徴とする方法。
  11. 前記第１および第２のドキュメント（１４６）はそれぞれ、ウェブ・ページを備えており、またテキストを対応付ける前記ステップは、前記特定されたパラレルな二言語のテキスト・セグメント（１５０）内の文（１０６）を対応付けるステップ（１５２）を備えることを特徴とする請求項１０に記載の方法。
  12. 各ドキュメント・ツリー構造（２３０）は、複数のサブ・ツリー構造を含み、また前記ドキュメント・ツリー構造（２３０）を対応付ける前記ステップ（１４８）は、
    前記サブ・ツリー構造中のノードを対応付け、サブ・ツリーの対応付けを取得するステップ（３００）と、
    前記サブ・ツリーの対応付けに基づいて、前記複数のサブ・ツリー構造を対応付け、前記ドキュメント・ツリー構造（２３０）を対応付けるステップ（３０２）と
    を備えることを特徴とする請求項１０に記載の方法。
  13. 前記サブ・ツリー構造中のノードを対応付け、サブ・ツリーの対応付けを取得する前記ステップ（３００）と、前記サブ・ツリーの対応付けに基づいて、前記複数のサブ・ツリー構造を対応付けるステップ（３０２）とを反復して繰り返すステップ（３０４）をさらに備えることを特徴とする請求項１２に記載の方法。
  14. 前記複数のサブ・ツリー構造を対応付ける前記ステップ（３００）は、
    互いに対する前記複数のサブ・ツリー構造の階層および順序を維持しながら、かつ互いに対する前記サブ・ツリー構造中の複数のノードの階層および順序を維持しながら、前記複数のサブ・ツリー構造を対応付けるステップ（３００）を備えることを特徴とする請求項１２に記載の方法。
  15. ドキュメント・ツリー構造を取得する前記ステップは、
    ドキュメント・オブジェクト・モデル・ツリー構造（２００）を取得するステップと、
    テキスト・ノードを、前記テキスト・ノードの親ノードと組み合わせることにより、また前記ドキュメント・オブジェクト・モデルにおけるノードの事前定義のサブセット中にないノードを削除することにより、前記ドキュメント・オブジェクト・モデル・ツリー構造（２００）を修正するステップ（１４７）と
    を備えることを特徴とする請求項１０に記載の方法。
  16. パラレルなコーパス・マイニング・システムであって、
    ウェブ・ページ（１３４）を受け取り、前記ウェブ・ページに基づいて、パラレルである可能性のあるページ（１３８）を特定するように構成されたパラレル性検査コンポーネント（１１６）と、
    前記パラレルである可能性のあるページ（１３８）を受け取り、前記パラレルである可能性のあるページ（１３８）が、所望レベルのパラレル性を有することを検証し、検証されたページ（１４６）を取得するように構成された検証コンポーネント（１１８）と、
    前記検証されたページ（１４６）に対応するツリー構造（２３０）を対応付け、パラレルなテキスト・セグメント（１５０）およびパラレルなハイパーリンク（１５８）を特定するように構成されたツリー対応付けコンポーネント（１２０）と
    を備えることを特徴とするシステム。
  17. 特定された前記パラレルなテキスト・セグメント（１５０）における文を対応付けるように構成された文対応付けコンポーネント（１２２）をさらに備えることを特徴とする請求項１６に記載のシステム。
  18. 前記ツリー構造（２３０）は、階層的かつ順次的に配置されたノードを有しており、また前記ツリー対応付けコンポーネント（１２０）は、順次的に不変の対応付け、および階層的に不変の対応付けにより前記ツリー構造（２３０）を対応付けるように構成されていることを特徴とする請求項１６に記載のシステム。
  19. 前記ツリー構造（２３０）はそれぞれ、複数のサブ・ツリー依存構造から形成された全体のツリー構造（２３０）を備えており、また前記ツリー対応付けコンポーネント（１２０）は、前記全体のツリー構造（２３０）中の前記サブ・ツリー依存構造を対応付けるための確率を繰り返し計算するように、かつ前記サブ・ツリー依存構造を対応付けるために計算された前記確率に基づいて、前記全体のツリー構造（２３０）を対応付けるための前記確率を繰り返し計算するように構成されていることを特徴とする請求項１８に記載のシステム。
  20. 前記パラレルなハイパーリンク（１５８）は、ページにリンクしており、また前記システムは、前記ハイパーリンク（１５８）によりリンクされた前記ページを、パラレルである可能性のあるページ（１３８）として再帰的に特定するように、かつ前記パラレルである可能性のあるページ（１３８）を前記パラレル性の検証コンポーネント（１１８）にサブミットするように構成されていることを特徴とする請求項１６に記載のシステム。
JP2009519452A 2006-07-10 2007-06-28 パラレル・データを特定するために階層的かつ順次的なドキュメント・ツリーを対応付けること Withdrawn JP2009543255A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/483,941 US7805289B2 (en) 2006-07-10 2006-07-10 Aligning hierarchal and sequential document trees to identify parallel data
PCT/US2007/015210 WO2008013650A2 (en) 2006-07-10 2007-06-28 Aligning hierarchal and sequential document trees to identify parallel data

Publications (1)

Publication Number Publication Date
JP2009543255A true JP2009543255A (ja) 2009-12-03

Family

ID=38920078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009519452A Withdrawn JP2009543255A (ja) 2006-07-10 2007-06-28 パラレル・データを特定するために階層的かつ順次的なドキュメント・ツリーを対応付けること

Country Status (6)

Country Link
US (2) US7805289B2 (ja)
EP (1) EP2038767A4 (ja)
JP (1) JP2009543255A (ja)
CN (1) CN101490666A (ja)
CA (1) CA2654088A1 (ja)
WO (1) WO2008013650A2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168049A1 (en) * 2007-01-08 2008-07-10 Microsoft Corporation Automatic acquisition of a parallel corpus from a network
WO2008083503A1 (en) * 2007-01-10 2008-07-17 National Research Council Of Canada Means and method for automatic post-editing of translations
WO2008111048A2 (en) * 2007-03-09 2008-09-18 Ghost, Inc. System and method for browser within a web site and proxy server
US7765236B2 (en) * 2007-08-31 2010-07-27 Microsoft Corporation Extracting data content items using template matching
US8504354B2 (en) * 2008-06-02 2013-08-06 Microsoft Corporation Parallel fragment extraction from noisy parallel corpora
US8630972B2 (en) * 2008-06-21 2014-01-14 Microsoft Corporation Providing context for web articles
WO2010046782A2 (en) 2008-10-24 2010-04-29 App Tek Hybrid machine translation
US8306806B2 (en) * 2008-12-02 2012-11-06 Microsoft Corporation Adaptive web mining of bilingual lexicon
US8543580B2 (en) * 2008-12-23 2013-09-24 Microsoft Corporation Mining translations of web queries from web click-through data
US8719701B2 (en) 2009-01-02 2014-05-06 Apple Inc. Identification of guides and gutters of a document
EP2211277A1 (en) * 2009-01-19 2010-07-28 BRITISH TELECOMMUNICATIONS public limited company Method and apparatus for generating an integrated view of multiple databases
US8321533B2 (en) * 2009-08-03 2012-11-27 Limelight Networks, Inc. Systems and methods thereto for acceleration of web pages access using next page optimization, caching and pre-fetching techniques
CN101667177B (zh) * 2009-09-23 2011-10-26 清华大学 双语文本的对齐方法及装置
WO2011035455A1 (en) * 2009-09-25 2011-03-31 Yahoo! Inc. Acquisition of out-of-vocabulary translations by dynamically learning extraction rules
US9208249B2 (en) * 2009-09-30 2015-12-08 Microsoft Technology Licensing, Llc Profiler for page rendering
WO2012000185A1 (en) * 2010-06-30 2012-01-05 Hewlett-Packard Development Company,L.P. Method and system of determining similarity between elements of electronic document
US8271869B2 (en) 2010-10-08 2012-09-18 Microsoft Corporation Identifying language translations for source documents using links
US20120101721A1 (en) * 2010-10-21 2012-04-26 Telenav, Inc. Navigation system with xpath repetition based field alignment mechanism and method of operation thereof
US8442998B2 (en) 2011-01-18 2013-05-14 Apple Inc. Storage of a document using multiple representations
US9471565B2 (en) 2011-07-29 2016-10-18 At&T Intellectual Property I, L.P. System and method for locating bilingual web sites
KR101449551B1 (ko) * 2011-10-19 2014-10-14 한국전자통신연구원 유사문장 검색 장치 및 방법, 유사문장 검색 방법을 실행시키기 위한 프로그램이 기록된 기록매체
US9779087B2 (en) * 2013-12-13 2017-10-03 Google Inc. Cross-lingual discriminative learning of sequence models with posterior regularization
US9530161B2 (en) * 2014-02-28 2016-12-27 Ebay Inc. Automatic extraction of multilingual dictionary items from non-parallel, multilingual, semi-structured data
US9881006B2 (en) 2014-02-28 2018-01-30 Paypal, Inc. Methods for automatic generation of parallel corpora
US9940658B2 (en) 2014-02-28 2018-04-10 Paypal, Inc. Cross border transaction machine translation
US9569526B2 (en) 2014-02-28 2017-02-14 Ebay Inc. Automatic machine translation using user feedback
CN104657351A (zh) * 2015-02-12 2015-05-27 中国科学院软件研究所 双语对齐语料的加工方法及装置
US10545920B2 (en) * 2015-08-04 2020-01-28 International Business Machines Corporation Deduplication by phrase substitution within chunks of substantially similar content
US10268684B1 (en) 2015-09-28 2019-04-23 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
US9959271B1 (en) 2015-09-28 2018-05-01 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
US10185713B1 (en) * 2015-09-28 2019-01-22 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability
CN105677764B (zh) * 2015-12-30 2020-05-08 百度在线网络技术（北京）有限公司 信息提取方法和装置
CN105808530B (zh) * 2016-03-23 2019-11-08 苏州大学 一种统计机器翻译中的翻译方法和装置
US20180260389A1 (en) * 2017-03-08 2018-09-13 Fujitsu Limited Electronic document segmentation and relation discovery between elements for natural language processing
CN108829801B (zh) * 2018-06-06 2020-11-20 大连理工大学 一种基于文档级别注意力机制的事件触发词抽取方法
CN110674082B (zh) * 2019-09-24 2023-03-14 北京字节跳动网络技术有限公司 移除在线文档的方法、装置、电子设备及计算机可读介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2272091B (en) 1992-10-30 1996-10-23 Canon Europa Nv Apparatus for use in aligning bilingual corpora
DE69837979T2 (de) * 1997-06-27 2008-03-06 International Business Machines Corp. System zum Extrahieren einer mehrsprachigen Terminologie
ATE312446T1 (de) 1999-05-22 2005-12-15 Sc Info & Inno Gmbh & Co Verfahren zum verifizieren der unversehrtheit und urheberschaft sowie zum ver- und entschlüsseln von texten
US7757097B2 (en) 1999-09-03 2010-07-13 Purdue Research Foundation Method and system for tamperproofing software
US6812941B1 (en) 1999-12-09 2004-11-02 International Business Machines Corp. User interface management through view depth
CN1174332C (zh) * 2000-03-10 2004-11-03 松下电器产业株式会社 转换表达方式的方法和装置
US6519580B1 (en) 2000-06-08 2003-02-11 International Business Machines Corporation Decision-tree-based symbolic rule induction system for text categorization
US7065652B1 (en) 2000-06-21 2006-06-20 Aladdin Knowledge Systems, Ltd. System for obfuscating computer code upon disassembly
US7016829B2 (en) 2001-05-04 2006-03-21 Microsoft Corporation Method and apparatus for unsupervised training of natural language processing units
US7734459B2 (en) * 2001-06-01 2010-06-08 Microsoft Corporation Automatic extraction of transfer mappings from bilingual corpora
US7146358B1 (en) * 2001-08-28 2006-12-05 Google Inc. Systems and methods for using anchor text as parallel corpora for cross-language information retrieval
US20030233542A1 (en) 2002-06-18 2003-12-18 Benaloh Josh D. Selectively disclosable digital certificates
JP3973549B2 (ja) * 2002-12-19 2007-09-12 沖電気工業株式会社 対訳依存構造対応付け装置、方法及びプログラム、並びに、対訳依存構造対応付けプログラムを記録した記録媒体
US7607086B2 (en) 2003-11-18 2009-10-20 Microsoft Corporation System and method for pre-processing input events
US7233931B2 (en) 2003-12-26 2007-06-19 Lee Shih-Jong J Feature regulation for hierarchical decision learning
US8296127B2 (en) * 2004-03-23 2012-10-23 University Of Southern California Discovery of parallel text portions in comparable collections of corpora and training using comparable texts
US7526805B2 (en) 2004-06-12 2009-04-28 Microsoft Corporation Thread protection
US20060026438A1 (en) 2004-07-29 2006-02-02 Microsoft Corporation Anonymous aliases for on-line communications
US7551572B2 (en) * 2005-10-21 2009-06-23 Isilon Systems, Inc. Systems and methods for providing variable protection
US8943080B2 (en) * 2006-04-07 2015-01-27 University Of Southern California Systems and methods for identifying parallel documents and sentence fragments in multilingual document collections

Also Published As

Publication number Publication date
US20080010056A1 (en) 2008-01-10
US20100286978A1 (en) 2010-11-11
US7805289B2 (en) 2010-09-28
EP2038767A2 (en) 2009-03-25
EP2038767A4 (en) 2012-06-13
WO2008013650A2 (en) 2008-01-31
US8073679B2 (en) 2011-12-06
CA2654088A1 (en) 2008-01-31
CN101490666A (zh) 2009-07-22
WO2008013650A3 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
US8073679B2 (en) Aligning hierarchial and sequential document trees to identify parallel data
US8249855B2 (en) Identifying parallel bilingual data over a network
US8694303B2 (en) Systems and methods for tuning parameters in statistical machine translation
US9355171B2 (en) Clustering of near-duplicate documents
JP6901816B2 (ja) エンティティ関係データ生成方法、装置、機器、及び記憶媒体
US8364462B2 (en) Cross lingual location search
US7346487B2 (en) Method and apparatus for identifying translations
JP4945086B2 (ja) 論理形式のための統計的言語モデル
US8073877B2 (en) Scalable semi-structured named entity detection
US7941420B2 (en) Method for organizing structurally similar web pages from a web site
CN101918945B (zh) 用于执行自动扩展的语言搜索的方法和系统
US9483460B2 (en) Automated formation of specialized dictionaries
US20080168049A1 (en) Automatic acquisition of a parallel corpus from a network
US11222053B2 (en) Searching multilingual documents based on document structure extraction
JP2006004417A (ja) 情報ファイルの特定のタイプを認識する方法及び装置
JP2004038976A (ja) 用例ベースの機械翻訳システム
JP2010501096A (ja) ラッパー生成およびテンプレート検出の協同最適化
JP2007122509A (ja) 語句配列の自然度判定装置、方法及びプログラム
JP2005174336A (ja) 情報抽出のための一般化文字列パターンの学習および使用
CN103235775A (zh) 一种融合翻译记忆和短语翻译模型的统计机器翻译方法
US8224642B2 (en) Automated identification of documents as not belonging to any language
JP2006343925A (ja) 関連語辞書作成装置、および関連語辞書作成方法、並びにコンピュータ・プログラム
CN104778232A (zh) 一种基于长查询的搜索结果的优化方法和装置
Nghiem et al. Using MathML parallel markup corpora for semantic enrichment of mathematical expressions
CN115270777A (zh) 一种合同文件信息抽取方法、装置、系统

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100907