JP2021018442A - 文比較装置、文比較方法、及び文比較プログラム - Google Patents

文比較装置、文比較方法、及び文比較プログラム Download PDF

Info

Publication number
JP2021018442A
JP2021018442A JP2019131583A JP2019131583A JP2021018442A JP 2021018442 A JP2021018442 A JP 2021018442A JP 2019131583 A JP2019131583 A JP 2019131583A JP 2019131583 A JP2019131583 A JP 2019131583A JP 2021018442 A JP2021018442 A JP 2021018442A
Authority
JP
Japan
Prior art keywords
semantic
sentence
input
tuple
multilingual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019131583A
Other languages
English (en)
Inventor
貴秋 田中
Takaaki Tanaka
貴秋 田中
永田　昌明
Masaaki Nagata
昌明 永田
由紀 荒瀬
Yuki Arase
由紀 荒瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019131583A priority Critical patent/JP2021018442A/ja
Priority to US17/627,628 priority patent/US20220261552A1/en
Priority to PCT/JP2020/026744 priority patent/WO2021010260A1/ja
Publication of JP2021018442A publication Critical patent/JP2021018442A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

【課題】テキストデータである入力文の表現する意味内容を捉えて計算された類似度に基づいて、異なる言語の入力文同士を適切に比較する。【解決手段】言語識別部１０１が、自然言語で記述された入力文であって、各々異なる言語で記述された複数の入力文の各々の言語の種類を識別し、多言語言語解析部１０２が、入力文の各々を言語の種類に応じて構文構造を解析し、多言語意味解析部１０３が、入力文の各々の言語の種類に応じて意味構造を解析し、多言語意味表現比較部１０４が、意味構造の解析結果に基づいて、入力文同士を比較して、入力文間の類似度を計算する。【選択図】図２

Description

開示の技術は、文比較装置、文比較方法、及び文比較プログラムに関する。
自然言語処理において、例えば、機械翻訳の評価、記述式試験問題の回答の採点、論文等の剽窃検出などを行う際に、複数の異なる文（テキストデータ）の類似性を測定することが行われている。特に、機械翻訳の品質評価や、外国語を扱う記述式試験問題の回答の採点では、記述された言語が異なる文間の類似性を測定することが必要になる。文の類似性を測定する手法として、例えば、入力された文に含まれる単語や単語列の類似性に基づいて、複数の入力された文間の類似度を計算する手法が存在する（例えば、非特許文献１参照）。
Frane ▲S▼ari▲c▼, Goran Glava▲s▼, Mladen Karan, Jan ▲S▼najder and Bojana Dalbelo Ba▲s▼i▲c▼: TakeLab: Systems for Measuring Semantic Text Similarity, In Proceedings of the First Joint Conference on Lexical and Computational Semantics, SemEval '12, pp.441-448, (2012).
しかしながら、単語や単語列などの表層的な情報に基づく入力文の比較方法では、類似した単語や単語列が出現する入力文間において、本来の入力文の意味内容を適切に捉えた類似度を計算することが困難な場合がある。さらに、記述された言語が異なる入力文間の類似性を測定する場合には、入力文の構造が大きく異なる可能性が高いため、意味内容の類似性を測定することはさらに困難になる。
例えば、“Ｔｈｅ ｄｏｇ ｗｅａｒｉｎｇ ａ ｈａｔ ｗａｓ ｒｕｎｎｉｎｇ．”という原文に対して、比較対象の（１）“犬／の／ウェア／と／帽子／の／店／を／経営し／ている。”（‘／’の記号は単語の区切りを表す）、（２）“彼／は／帽子／の／チワワ／が／走る／の／を／見た。”という２文のどちらが意味的に類似しているかを測定することを考える。単純に原文の単語が比較対象の文に現れる割合を類似度と定義すると、英語と日本語との対訳辞書を使って、原文に含まれる単語７語と（１）の文とを対応付けると、（ｄｏｇ，犬）、（ｗｅａｒ，ウェア）、（ｈａｔ，帽子）、（ｒｕｎ，経営する）と４語が出現しているので４／７、（２）の文と対応付けると、（ｈａｔ，帽子）、（ｒｕｎ，走る）と２語が出現しているので２／７となり、（１）の文の方が原文に類似しているという結果になってしまう。
これは、“ｄｏｇ”と“チワワ”とが類似した意味内容を持つ語であること、原文と（２）の文とで共通する意味内容として、“ｒｕｎ”の動作主が“ｄｏｇ”であること、“ｒｕｎ”と類似した概念である“走る”の動作主が、“ｄｏｇ”と類似した概念である“チワワ”であることが２文間で対応付けられること、及び、“ｈａｔ”が付随している対象は“ｄｏｇ”であることと、“ｈａｔ”と類似した概念である“帽子”が付随している対象は“ｄｏｇ”と類似した概念である“チワワ”であることが２文間で対応付けられることが、正しく捉えられていないことにより、類似度を適切に計算できていないことが原因である。
本発明は、上記の点に鑑みてなされたものであり、テキストデータである入力文の表現する意味内容を捉えて計算された類似度に基づいて、異なる言語の入力文同士を適切に比較することができる文比較装置、方法、及びプログラムを提供することを目的とする。
本開示の第１態様は、文比較装置であって、自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析する多言語意味解析部と、前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する多言語意味表現比較部と、を含む。
本開示の第２態様は、文比較方法であって、多言語意味解析部が、自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析し、多言語意味表現比較部が、前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する方法である。
本開示の第３態様は、文比較プログラムであって、コンピュータを、自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析する多言語意味解析部、及び、前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する多言語意味表現比較部として機能させるためのプログラムである。
開示の技術によれば、テキストデータである入力文の表現する意味内容を捉えて計算された類似度に基づいて、異なる言語の入力文同士を適切に比較することができる。
本実施形態に係る文比較装置のハードウェア構成を示すブロック図である。 本実施形態に係る文比較装置の機能ブロック図である。 入力文Ｓ１及びＳ２の構文解析結果の一例を示す図である。 入力文Ｓ１及びＳ２の意味解析結果の一例を示す図である。 意味タプルの一例を示す図である。 アライメント結果及び類似度計算の一例を示す図である。 本実施形態における文比較処理ルーチンの一例を示すフローチャートである。 入力文Ｓ１及びＳ２の意味解析結果の他の例を示す図である。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。
図１は、文比較装置１０のハードウェア構成を示すブロック図である。
図１に示すように、文比較装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述する文比較処理を実行するための文比較プログラムが格納されている。
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。
通信Ｉ／Ｆ１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
次に、文比較装置１０の機能構成について説明する。
図２は、文比較装置１０の機能構成の例を示すブロック図である。
図２に示すように、文比較装置１０は、機能構成として、言語識別部１０１と、多言語言語解析部１０２と、多言語意味解析部１０３と、多言語意味表現比較部１０４と、結果出力部１０７とを含む。また、文比較装置１０の所定の記憶領域には、言語解析モデル２０１Ａ、２０１Ｂと、意味解析モデル２０２Ａ、２０２Ｂと、概念間類似計算モデル２０３と、対訳辞書２０４と、多言語シソーラス２０５と、多言語分散表現ＤＢ（Ｄａｔａｂａｓｅ）２０６とが記憶される。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された文比較プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
言語識別部１０１は、自然言語で記述された文（テキストデータ）であって、文比較装置１０に入力された文（以下、「入力文」という）を受け付ける。以下では、入力文として、英語の入力文Ｓ１“Ｔｈｅ ｄｏｇ ｗｅａｒｉｎｇ ａ ｈａｔ ｗａｓ ｒｕｎｎｉｎｇ．”と、日本語の入力文Ｓ２“彼は帽子のチワワが走っているのを見た。”とが入力される場合を例にとって説明する。
言語識別部１０１は、受け付けた入力文の各々について、記述された言語の種類を識別する。言語の種類の識別は、例えば、ウェブブラウザで行われているように、使用されている文字コード等を推定することにより行ってもよいし、入力文にメタデータとして明示的に与えておいてもよい。ここでは、言語識別部１０１は、入力文Ｓ１の言語は英語、入力文Ｓ２の言語は日本語と識別し、入力文と、入力文の言語の種類の識別結果とを多言語言語解析部１０２に受け渡す。
多言語言語解析部１０２は、言語Ａの言語解析モデル２０１Ａ、及び言語Ｂの言語解析モデル２０１Ｂを用いて、言語識別部１０１から受け渡された入力文に対して、構文解析等の言語的な解析を行い（参考文献１）、構文解析結果を多言語意味解析部１０３に受け渡す。なお、本実施形態では、多言語言語解析部１０２は、解析に用いる構文構造として、Ｕｎｉｖｅｒｓａｌ Ｄｅｐｅｎｄｅｎｃｉｅｓの規定（参考文献２）を用いる場合について説明する。この場合、言語解析モデル２０１Ａ、２０１Ｂには、Ｕｎｉｖｅｒｓａｌ Ｄｅｐｅｎｄｅｎｃｉｅｓの規定に従った解析に必要な情報が定義されている。
なお、多言語言語解析部１０２での解析に用いる構文解析の方法は、Ｕｎｉｖｅｒｓａｌ Ｄｅｐｅｎｄｅｎｃｉｅｓのように言語間で共通化された仕様に基づいて行うことが望ましいが、後述する多言語意味解析部１０３で比較可能な意味表現に変換できればよく、他の構文解析の方法を用いてもよい。
参考文献１：Joakim Nivre et al.: MaltParser: A language-independent system for data-driven dependency parsing, Natural Language Engineering, 13(2), pp. 95{135 (2007).
参考文献２：Joakim Nivre: Towards a Universal Grammar for Natural Language Processing, In Proceedings of CICLing 2015, pp.3-16, (2015).
図３に、多言語で共通化された構文解析の仕様であるＵｎｉｖｅｒｓａｌ Ｄｅｐｅｎｄｅｎｃｉｅｓの規定に従って入力文Ｓ１及びＳ２を解析した構文解析結果の例を示す。Ｕｎｉｖｅｒｓａｌ Ｄｅｐｅｎｄｅｎｃｉｅｓでは、異なる言語を対象とする解析を同一の構文解析器で行うことができるが、入力文Ｓ１には英語（言語Ａ）の言語解析モデル２０１Ａ、入力文Ｓ２には日本語（言語Ｂ）の言語解析モデル２０１Ｂというように、対象とする言語毎に別の言語解析モデルを用いている。図３に示す構文解析結果では、文法的に依存関係のある２語が矢印で結ばれており、矢印の根元の語が主辞、矢印の先の語が従属部を示している。また、矢印に付与されたラベル（図３では、角丸四角で示している）は、矢印で結ばれた２語間の関係の種類を示している。
例えば、図３の上図に示す入力文Ｓ１の構文解析結果において、「ｄｏｇ←（ｎｓｕｂｊ）−ｒｕｎｎｉｎｇ」は、「ｄｏｇ」と「ｒｕｎｎｉｎｇ」との間には、主語−述語の関係ｎｓｕｂｊがあり、「ｒｕｎｎｉｎｇ」が主辞であることを示している。同様に、図３の下図に示す入力文Ｓ２の構文解析結果において、「チワワ←ｎｓｕｂｊ−走る」は、「チワワ」と「走る」との間には、主語−述語の関係ｎｓｕｂｊがあり、「走る」が主辞であることを示している。
多言語意味解析部１０３は、多言語言語解析部１０２から構文解析結果を受け取って、意味解析モデル２０２Ａ、２０２Ｂを用いて、入力文の意味的な構造を解析し、構文解析結果を意味表現に変換した意味解析結果を、多言語意味表現比較部１０４に受け渡す。なお、本実施形態では、多言語意味解析部１０３は、意味表現として、ＵＤｅｐＬａｍｂｄａの規定（参考文献３）を用いる場合について説明する。この場合、意味解析モデル２０２Ａ、２０２Ｂには、ＵＤｅｐＬａｍｂｄａの規定に従った解析に必要な情報が定義されている。なお、多言語意味解析部１０３での解析に用いる意味表現は上記の例に限定されず、Ａｂｓｔｒａｃｔ Ｍｅａｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（ＡＭＲ、参考文献４）のような意味グラフ型の意味表現などの他の意味表現の規定を用いてもよい。
参考文献３： Siva Reddy, Oscar Tackstrom, Slav Petrov, Mark Steedman and Mirella Lapata: Universal Semantic Parsing, In Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, (2017).
参考文献４： Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer and Nathan Schneider: Abstract Meaning Representation for Sembanking, In Proceedings of the Linguistic Annotation Workshop, (2013).
図４に、ＵＤｅｐＬａｍｂｄａの規定に従って入力文Ｓ１及びＳ２を解析した意味解析結果の例を示す。図４に示す意味解析結果は、ＵＤｅｐＬａｍｂｄａの規定に従った、述語論理形式型の意味表現であり、個体（ｉｎｄｉｖｉｄｕａｌ）やイベント（ｅｖｅｎｔ）を指す変数と、関数とからなる。ｙａ、ｘｅ等の添え字ａは、変数のタイプが個体であることを示し、添え字ｅは、変数のタイプがイベントであることを示している。多言語意味解析部１０３と同様に、入力文Ｓ１には英語（言語Ａ）の意味解析モデル２０２Ａ、入力文Ｓ２には日本語（言語Ｂ）の意味解析モデル２０２Ｂというように、対象とする言語毎に対応する意味解析モデルを用いて、同一の意味解析器で解析を行う。なお、本実施形態における述語論理形式型の意味表現では、入力文に含まれる語のうち、単独で概念を持つ語（以下、単に「概念」ともいう）を変数として扱う。
また、図４に示す入力文Ｓ１の意味解析結果において、λｘで示される変数ｘは文の中心となる述語を表し、変数ｙ、ｚ、及びｗは、その他の変数を表す。また、単項の論理式（例えば、「ｒｕｎ（ｘｅ）」）は、概念と変数との紐付けを示す。例えば、ｒｕｎ（ｘｅ）は、概念“ｒｕｎ”を変数“ｘｅ”で表すことを示す。また、２項からなる関数（例えば、「ａｒｇ１（ｘｅ，ｙａ）」）は、変数で表す概念間の関係を示す。例えば、ａｒｇ１（ｘｅ，ｙａ）は、変数“ｙａ”で表す個体（ｄｏｇ）が、変数“ｘｅ”で表すイベント（ｒｕｎ）の動作主であることを示している。
多言語意味表現比較部１０４は、多言語意味解析部１０３から受け渡された意味解析結果である意味表現を用いて、対訳辞書２０４、多言語シソーラス２０５、多言語分散表現ＤＢ２０６に基づいて、入力文間の意味構造間の対応付けを行う。多言語分散表現ＤＢ２０６には、多言語間における単語の分散表現の対応付けが記憶されている。多言語意味表現比較部１０４は、意味構造間の対応付けに基づいて、概念間類似計算モデル２０３を用いて、入力文間の類似度を計算する。図２に示すように、多言語意味表現比較部１０４は、意味タプル変換部１０５と、意味タプルアライメント部１０６とを含む。
意味タプル変換部１０５は、多言語意味解析部１０３から受け取った意味表現を、意味タプルに変換する。意味タプルは、「ｒｅｌ（ｖａｒｉａｂｌｅ１，ｖａｒｉａｂｌｅ２）」、及び「ｉｎｓｔ（ｖａｒｉａｂｌｅ，ｃｏｎｃｅｐｔ）」から構成される。前者の意味タプルは、２つの変数間の関係がラベル“ｒｅｌ”で示される関係であることを表し、後者の意味タプルは、変数と入力文中の概念（個体やイべント等）との紐づけを表す。例えば、ｉｎｓｔ（ｘ，ｒｕｎ）は、変数“ｘ”が“ｒｕｎ”という概念に属するものであることを示し、ｉｎｓｔ（ｙ，ｄｏｇ）は、変数“ｙ”が“ｄｏｇ”という概念に属するものであることを示している。また、ａｒｇ１（ｘ，ｙ）は、変数“ｙ”に属する“ｄｏｇ”という概念が、変数“ｘ”に属する“ｒｕｎ”という概念の動作主であることを示している。
具体的には、意味タプル変換部１０５は、多言語意味解析部１０３から受け取った、入力文Ｓ１及びＳ２の各々についての意味表現から、下記（１）式及び（２）式に示すように、それぞれ変数の集合Ｖ１及びＶ２を抜き出す。
Ｖ１＝｛ｖ１１，ｖ１２，ｖ１３，ｖ１４｝＝｛ｘ，ｙ，ｚ，ｗ｝ （１）
Ｖ２＝｛ｖ２１，ｖ２２，ｖ２３，ｖ２４，ｖ２５｝＝｛ｄ，ｆ，ｇ，ｈ，ｊ｝ （２）
なお、ｖｉｊは、入力文Ｓｉのｊ番目の変数を示す。
意味タプル変換部１０５は、変数の集合Ｖ１及びＶ２それぞれについて、入力文Ｓ１及びＳ２の各々についての意味表現に含まれる単項の論理式から、ｉｎｓｔ（ｖａｒｉａｂｌｅ，ｃｏｎｃｅｐｔ）の形の意味タプルを作り、下記（３）式及び（４）式に示すように、意味タプル集合Ｔ１及びＴ２に追加する。
Ｔ１＝｛ｔ１１，ｔ１２，ｔ１３，ｔ１４｝
＝｛ｉｎｓｔ（ｘ，ｒｕｎ），ｉｎｓｔ（ｙ，ｄｏｇ），
ｉｎｓｔ（ｚ，ｈａｔ），ｉｎｓｔ（ｗ，ｗｅａｒ）｝ （３）
Ｔ２＝｛ｔ２１，ｔ２２，ｔ２３，ｔ２４，ｔ２５｝
＝｛ｉｎｓｔ（ｄ，見る），ｉｎｓｔ（ｆ，彼），ｉｎｓｔ（ｇ，チワワ），
ｉｎｓｔ（ｈ，帽子），ｉｎｓｔ（ｊ，走る）｝ （４）
なお、ｔｉｊは、入力文Ｓｉのｊ番目の意味タプルを示す。
また、意味タプル変換部１０５は、入力文Ｓ１及びＳ２の各々についての意味表現に含まれる２項からなる関数から、ｒｅｌ（ｖａｒｉａｂｌｅ１，ｖａｒｉａｂｌｅ２）の形の意味タプルを作り、意味タプル集合Ｔ１及びＴ２に追加する。ｒｅｌ（ｖａｒｉａｂｌｅ１，ｖａｒｉａｂｌｅ２）の形の意味タプルを追加した後の意味タプル集合Ｔ１及びＴ２を、図５の「直接抽出したタプル」欄に示す。
上記の意味タプルだけでは、内容語を含んだ関係と付属語を介した関係との対応付けを直接行うことができない。そこで、意味タプル変換部１０５は、ラベルが共通し（添え字を除く）、かつ第１項に共通する変数を持つ意味タプルを併合して、新しい意味タプルを追加する。具体的には、意味タプル変換部１０５は、ｒ１（ａ，ｂ）及びｒ２（ａ，ｃ）のような２つの意味タプルから、新たな意味タプルｒｅｌ＊（ｂ，ｃ）及びｒｅｌ＊（ｃ，ｂ）を、拡張意味タプルとして作成して追加する。ここで、図５におけるラベルａｒｇ１、ａｒｇ２は、それぞれ第２項が第１項の動作主、対象にあたることを示す。これらの拡張意味タプルにおける変数の関係を示すラベル“ｒｅｌ＊”は、後述する意味タプルのアライメント（対応付け）時に他のあらゆるラベルと対応付けが可能なことを示すラベルである。拡張意味タプルを図５の右側に示す。これらの拡張意味タプルを意味タプル集合Ｔ１に追加する。
意味タプル変換部１０５は、変換及び追加した意味タプルを意味タプルアライメント部１０６へ受け渡す。
意味タプルアライメント部１０６は、意味タプル変換部１０５から受け渡された、入力文Ｓ１及びＳ２の各々についての意味タプル間の最適なアライメントを求める。本実施形態では、山登り法によるヒューリスティックな探索によって低い計算量で簡易にアライメントを行う場合について説明するが、整数計画法（Ｉｎｔｅｇｅｒ Ｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ、ＩＬＰ）などの方法で厳密解を求めることも可能である。
具体的には、意味タプルアライメント部１０６は、意味タプル変換部１０５により抽出された変数の集合の間で初期アライメント列を設定する。｜Ｖ１｜≦｜Ｖ２｜のとき、Ｖ１からＶ２への１対１のアライメントを考える。（ｔ１ｉ，ｔ２ｊ）にアライメントがある場合、ａｉ＝ｊと表し、Ｖ１からＶ２へのアライメント列をＡ＝（ａ１，．．．，ａｍ）と表す（ただし、ｍ＝｜Ｖ１｜）。ｔ１ｉに対応するアライメントがない場合、ａｉ＝０とする。ここで、意味タプルアライメント部１０６は、初期アライメント列Ａ０を、下記（５）式のように設定する。
Ａ０＝（１，２，３，４） （５）
これは、変数の組（ｘ，ｄ）、（ｙ，ｆ）、（ｚ，ｇ）、及び（ｗ，ｈ）をアライメントすることを示している。
意味タプルアライメント部１０６は、意味タプル集合Ｔ１及びＴ２において、設定したアライメントのスコア（以下、「アライメントスコア」という）σａｌｉｇｎを、下記（６）式により計算する。
ここで、意味タプルｔ１ｉ（∈Ｔ１）及びｔ２ｊ（∈Ｔ２）を、ｔ１ｉ＝ｒ１（ｈ１ｉ，ｄ１ｉ）、及びｔ２ｊ＝ｒ２（ｈ２ｊ，ｄ２ｊ）とし、意味タプルｔ１ｉとｔ２ｊとの間の類似度σＴ（ｔ１ｉ，ｔ２ｊ）を、下記（７）〜（９）式のように定義する。
なお、（７）式における“ｈ”は、ｈｅａｄの頭文字、“ｄ”は、ｄｅｐｅｎｄｅｎｔの頭文字で、それぞれ、意味タプルの第１項及び第２項を示す。なお、（７）式における、添え字付きの“ｈ”は、意味タプルのラベルを示すものであり、（２）式に示すＶ２の要素である添え字なしの“ｈ”とは別物である。また、（９）式において、Ｉ（・）は、変数と紐付いている概念への写像であり、例えば、入力文Ｓ１の意味解析結果の例では、Ｉ（ｘ）＝ｒｕｎである。また、ｓｉｍｃｏｎ（・，・）は、概念間の類似度であるが、第１項と第２項との言語が異なるため、言語を横断して概念の類似度を測定する必要がある。言語を横断して概念を比較するためには、対訳辞書２０４やＷｏｒｄＮｅｔ（参考文献５）のように複数の言語で定義されたオントロジや、ｆａｓｔＴｅｘｔ ｍｕｌｔｉｌｉｎｇｕａｌ（参考文献６）やｆａｃｅｂｏｏｋ（登録商標） Ｍｕｓｅ（参考文献７、８）など、多言語間で単一の空間に構築した単語分散表現などを用いることができる．
参考文献５：George A. Miller, WordNet: A Lexical Database for English, COMMUNICATIONS OF THE ACM, Vol. 38, pp.39-41, (1995).
参考文献６：Samuel L. Smith and David H. P. Turban and Steven Hamblin and Nils Y. Hammerla, Offline bilingual word vectors, orthogonal transformations and the inverted softmax, In Proceedings of the 5th International Conference on Learning Representations, ICLR 2017, (2017).
参考文献７：Alexis Conneau, Guillaume Lample, MarcAurelio Ranzato, Ludovic Denoyer, and Herve Jegou., Word translation without parallel data. arXiv preprint arXiv:1710.04087, (2017)．
参考文献８：Guillaume Lample, Alexis Conneau, Ludovic Denoyer, and MarcAurelio Ranzato., Unsupervised machine translation using monolingual corpora only., arXiv preprint arXiv:1711.00043, (2017).
本実施形態では、類似度を０から１の実数の値とし、類似度が１のとき、比較対象の意味表現の部分構造が示す意味内容が完全に一致しているとする。例えば、意味タプルアライメント部１０６は、概念と、その概念を単語の分散表現に変換したベクトルとの対応関係が定義された概念間類似計算モデル２０３を用いて、下記（１０）式に示すように、概念間の類似度ｓｉｍｃｏｎ（ｃ１，ｃ２）を求める。類似度ｓｉｍｃｏｎ（ｃ１，ｃ２）は、対訳辞書２０４に概念ｃ１とｃ２とが対訳ペアとして存在するか否かと、異なる言語で表現された概念ｃ１及びｃ２を同一空間の単語分散表現のベクトルｖｃ１とｖｃ２とに変換した場合の、ベクトルｖｃ１とｖｃ２との間のコサイン距離とで表される。
また、α（・，・）は、下記（１１）式に示すように、アライメントの有無を表す関数である。
意味タプルアライメント部１０６は、（６）〜（１１）式により、初期アライメント列Ａ０に対するアライメントスコアσａｌｉｇｎ（Ａ０）を計算する。｜Ｔ１｜＋｜Ｔ２｜、すなわち、入力文Ｓ１及びＳ２の意味表現から得られた意味タプルの数は、直接抽出されたタプルと拡張したタプルとを合わせて１８である。また、アライメントされていない変数を含む意味タプルの組み合わせに対しては、α（・，・）＝０になるので、アライメントされている変数の組み合わせ（ｘ，ｄ）、（ｙ，ｆ）、（ｚ，ｇ）、及び（ｗ，ｈ）のいずれかの組み合わせを引数に持つσＴ（・，・）のみを明記すると、σａｌｉｇｎ（Ａ０）は、下記（１２）式のように計算される。ここでは，ｓｉｍｃｏｎ（ｒｕｎ，見る）、ｓｉｍｃｏｎ（ｄｏｇ，彼）、ｓｉｍｃｏｎ（ｈａｔ，チワワ）、ｓｉｍｃｏｎ（ｗｅａｒ，帽子）がいずれも０となるとすると、結果として，σａｌｉｇｎ（Ａ０）＝０となる。
意味タプルアライメント部１０６は、初期アライメント列Ａ０からできるだけ少ない操作でアライメントを変更し、アライメント列候補集合Ｑを生成する。すなわち，初期アライメント列Ａ０に対して１つの変数を他の変数に対応付ける操作を行うか、又は、２つのアライメントの対応付けを入れ替える操作を行うかのいずれかによって、最適なアライメント列の候補として、下記（１３）式に示すように、アライメント列候補集合Ｑを生成する。
Ｑ＝｛（１，２，３，５），（１，２，５，４），（１，５，３，４），
（５，２，３，４），（２，１，３，４），（１，３，２，４），
（１，２，４，３），（４，２，３，１），（３，２，１，４），
（１，４，３，２）｝ （１３）
意味タプルアライメント部１０６は、アライメント列候補集合Ｑに含まれる各アライメント列候補に対して、アライメントスコアを計算し、最も高いアライメントスコアを持つアライメント列候補を求める。具体的には、意味タプルアライメント部１０６は、アライメント列候補集合Ｑの中からアライメント列候補を１つ選択し、アライメントスコアを計算する。例えば、アライメント列候補Ａ１＝（１，２，４，３）が選択された場合、アライメントスコアσａｌｉｇｎ（Ａ１）は、下記（１４）式のように計算される。ここで、ｓｉｍｖａｒ（Ｉ（ｚ），Ｉ（ｈ））は、変数ｚに紐付けられた英語の概念“ｈａｔ”と変数ｈに紐付けられた日本語の概念“帽子”との類似度を表し、両概念が対訳辞書２０４で対応付けられることから、（１０）式により値が１になる。
（１４）式に示すσａｌｉｇｎ（Ａ１）は、元のアライメントスコアσａｌｉｇｎ（Ａ０）より高いので、意味タプルアライメント部１０６は、アライメント列候補Ａ１を、次のアライメント列として設定する。また、意味タプルアライメント部１０６は、元のアライメント列Ａ０を、アライメント列候補集合Ｑから取り除くと共に、アライメントスコアを計算済みのアライメント列候補集合Ｃに追加する。意味タプルアライメント部１０６は、この処理を、アライメントスコアが元のアライメント列より高いアライメント列候補がなくなるまで、すなわち、全てのアライメント列候補がアライメント列候補集合Ｃに追加されるまで繰り返す。（１３）式に示すアライメント列候補集合Ｑの場合、アライメント列Ａｎ＝（５，３，４，１）の場合に、下記（１５）及び（１６）式に示すように、アライメントスコアが最大になる。ここで（１５）式では，ａｒｇ１（ｘ，ｙ）とａｒｇ１（ｊ，ｇ）との間で、ｘとｊ、ｙとｇがアライメントが取れているため、α（・，・）＝１となり、σＴ（ａｒｇ１（ｘ，ｙ），ａｒｇ１（ｊ，ｇ））の項が０にならずに残っている。同様に、ｒｅｌ＊（ｙ，ｚ）とｎｍｏｄ．ｎｏ（ｇ，ｈ）との間で、ｙとｇ、ｚとｈがアライメントが取れているため、σＴ（ｒｅｌ＊（ｙ，ｚ），ｎｍｏｄ．ｎｏ（ｇ，ｈ））の項が残っている。
意味タプルアライメント部１０６は、最大のアライメントスコアを入力文Ｓ１とＳ２との類似度の計算結果とする。また、意味タプルアライメント部１０６は、アライメントスコアが最大となるアライメント列が示す、意味タプルの最適なアライメント、及び最大のアライメントスコアの計算過程におけるアライメントされた意味タプル間の類似度を、意味タプルのアライメント結果とする。意味タプルアライメント部１０６は、類似度の計算結果及びアライメント結果を、結果出力部１０７へ受け渡す。
結果出力部１０７は、意味タプルアライメント部１０６から受け渡された意味タプルのアライメント結果及び類似度の計算結果を出力する。図６に、結果出力部１０７により出力される結果の一例を示す。図６の例では、入力文Ｓ１とＳ２との全体の類似度「０．５２２」が示されると共に、意味タプルのアライメント結果として、アライメントされた意味タプル間の類似度（図６において「部分類似度」）とが示されている。このように、意味タプルのアライメント結果も示されることにより、意味表現の部分構造において一致又は類似する部分の情報も把握することができる。
次に、文比較装置１０の作用について説明する。
図７は、文比較装置１０による文比較処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から文比較プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、文比較処理が行なわれる。
ステップＳ１０１において、ＣＰＵ１１が、言語識別部１０１として、文比較装置１０に入力された入力文を受け付け、受け付けた入力文の各々について、識別された言語の種類に応じて、記述された言語の種類を識別する。そして、ＣＰＵ１１が、多言語言語解析部１０２として、言語解析モデル２０１Ａ、２０１Ｂを用いて、受け付けた入力文の各々に対して、構文解析等の言語的な解析を行い、構文解析結果を多言語意味解析部１０３に受け渡す。
次に、ステップＳ１０２で、ＣＰＵ１１が、多言語意味解析部１０３として、多言語言語解析部１０２から構文解析結果を受け取って、識別された言語の種類に応じて、意味解析モデル２０２Ａ、２０２Ｂを用いて、入力文の意味的な構造を解析し、構文解析結果を意味表現に変換した意味解析結果を、多言語意味表現比較部１０４に受け渡す。
次に、ステップＳ１０３で、ＣＰＵ１１が、意味タプル変換部１０５として、多言語意味解析部１０３から受け取った意味解析結果である意味表現を、「ｒｅｌ（ｖａｒｉａｂｌｅ１，ｖａｒｉａｂｌｅ２）」、及び「ｉｎｓｔ（ｖａｒｉａｂｌｅ，ｃｏｎｃｅｐｔ）」から構成される意味タプルに変換する。
次に、ステップＳ１０４で、ＣＰＵ１１が、意味タプル変換部１０５として、ラベルが共通し（添え字を除く）、かつ第１項に共通する変数を持つ意味タプルを併合して、新しい意味タプル（拡張意味タプル）を作成して追加する。
次に、ステップＳ１０５で、ＣＰＵ１１が、意味タプルアライメント部１０６として、意味タプル変換部１０５により抽出された変数の集合の間で初期アライメント列Ａ０を設定する。そして、意味タプルアライメント部１０６は、初期アライメント列Ａ０のアライメントスコアσａｌｉｇｎ（Ａ０）を、例えば、（６）〜（１１）式により計算し、σａｌｉｇｎ＿ｍａｘに設定する。
次に、ステップＳ１０６で、ＣＰＵ１１が、意味タプルアライメント部１０６として、初期アライメント列Ａ０から、１つの変数を他の変数に対応付けるか、又は、２つアライメントの対応付けを入れ替えるかのいずれかによって、アライメント列候補集合Ｑを生成する。また、ＣＰＵ１１が、意味タプルアライメント部１０６として、アライメントスコアを計算済みのアライメント列候補集合Ｃを空集合として用意する。
次に、ステップＳ１０７で、ＣＰＵ１１が、意味タプルアライメント部１０６として、アライメント列候補集合Ｑに、未選択のアライメント列候補が存在するか否かを判定する。未選択のアライメント列候補が存在する場合には、処理はステップＳ１０８へ移行し、未選択のアライメント列候補が存在しない場合には、処理はステップＳ１１３へ移行する。
ステップＳ１０８では、ＣＰＵ１１が、意味タプルアライメント部１０６として、アライメント列候補集合Ｑから未選択のアライメント列候補Ａｉを１つ選択し、選択したアライメント列候補Ａｉについて、Ａｉに隣接するアライメント列候補を生成し、アライメント列候補集合Ｑに追加する。Ａｉに隣接するアライメント列候補の生成は、上記ステップＳ１０６で初期アライメント列Ａ０に対して行ったものと同様の方法で行う。ただし、既にアライメント列候補集合Ｑ及びＣに含まれているアライメント列候補は、アライメント列候補集合Ｑに加えない。
次に、ステップＳ１０９で、ＣＰＵ１１が、意味タプルアライメント部１０６として、選択したアライメント列候補Ａｉについて、アライメントスコアσａｌｉｇｎ（Ａｉ）を計算する。
次に、ステップＳ１１０で、ＣＰＵ１１が、意味タプルアライメント部１０６として、選択したアライメント列候補Ａｉを、アライメント列候補集合Ｑから取り除くと共に、計算済みのアライメント列候補集合Ｃに追加する。
次に、ステップＳ１１１で、ＣＰＵ１１が、意味タプルアライメント部１０６として、上記ステップＳ１０９で計算したアライメントスコアσａｌｉｇｎ（Ａｉ）が、σａｌｉｇｎ＿ｍａｘより大きいか否かを判定する。σａｌｉｇｎ（Ａｉ）＞σａｌｉｇｎ＿ｍａｘの場合には、処理はステップＳ１１２へ移行し、σａｌｉｇｎ（Ａｉ）≦σａｌｉｇｎ＿ｍａｘの場合には、処理はステップＳ１０７に戻る。
ステップＳ１１２では、ＣＰＵ１１が、意味タプルアライメント部１０６として、上記ステップＳ１０９で計算したアライメントスコアσａｌｉｇｎ（Ａｉ）をσａｌｉｇｎ＿ｍａｘに設定し、ステップＳ１０７に戻る。
ステップＳ１１３では、ＣＰＵ１１が、意味タプルアライメント部１０６として、現在σａｌｉｇｎ＿ｍａｘに設定されている最大のアライメントスコアσａｌｉｇｎ（ＡＭ）を入力文Ｓ１とＳ２との類似度の計算結果とする。また、ＣＰＵ１１が、意味タプルアライメント部１０６として、アライメントスコアが最大となるアライメント列ＡＭが示す、意味タプルの最適なアライメント、及び最大のアライメントスコアの計算過程におけるアライメントされた意味タプル間の類似度を、意味タプルのアライメント結果とする。そして、ＣＰＵ１１が、意味タプルアライメント部１０６として、意味タプルのアライメント結果及び類似度の計算結果を、結果出力部１０７へ受け渡し、結果出力部１０７が、結果を出力して、文比較処理は終了する。
以上説明したように、本実施形態に係る文比較装置によれば、比較対象の複数の言語で記述された多言語の入力文（テキストデータ）の意味解析を行って、意味表現間の比較を行うことにより、入力文間の類似度を計算する。これにより、単純な単語や単語列の類似性に基づく類似度ではなく、入力文の表現する意味内容を捉えて計算された類似度に基づいて、入力文同士を適切に比較することができる。
また、上記実施形態では、意味表現を変換した意味タプル間の類似度も得られるため、入力文全体の類似度だけではなく、意味表現の部分構造の一致又は類似を把握することができる。
また、上記実施形態では、意味表現から、「ｒｅｌ（ｖａｒｉａｂｌｅ１，ｖａｒｉａｂｌｅ２）」、及び「ｉｎｓｔ（ｖａｒｉａｂｌｅ，ｃｏｎｃｅｐｔ）」の形式の意味タプルに変換し、さらに、ラベルが共通し（添え字を除く）、かつ第１項に共通する変数を持つ意味タプルを併合して、新しい意味タプルを拡張意味タプルとして追加する。このような意味表現の拡張を行わない場合、意味解析により得られる意味表現（参考文献９及び１０）のみを比較して、入力文間の類似度を計算することになる（参考文献１１及び１２）。この場合、内容語を介した関係と付属語を介した関係とを柔軟に対応付けることができない場合がある。
例えば、入力文Ｓ１では、ａｒｇ１（ｗｅａｒ，ｄｏｇ）及びａｒｇ２（ｗｅａｒ，ｈａｔ）という内容語“ｗｅａｒ”を介した２つの関係（意味タプル）が得られるが、入力文Ｓ２からは、ｎｍｏｄ．ｗｉｔｈ（チワワ，帽子）という付属語を介した関係が得られ、両者を適切に対応付けることができない。
本実施形態では、上記のように、拡張意味タプルを追加することにより、意味表現の対応付けを柔軟に行うことができるため、意味的内容を捉えた適切な類似度を計算することができる。
参考文献９：Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer and Nathan Schneider: Abstract Meaning Representation for Sembanking, In Proceedings of the Linguistic Annotation Workshop, (2013).
参考文献１０：Sebastian Schuster, Ranjay Krishna, Angel Chang, Li Fei-Fei and Christopher D. Manning: Generating Semantically Precise Scene Graphs from Textual Descriptions for Improved Image Retrieval, In Proceedings of the Workshop on Vision and Language (VL15), (2015).
参考文献１１：Shu Cai and Kevin Knight: Smatch: an Evaluation Metric for Semantic Feature Structures, In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, ACL 2013, (2013).
参考文献１２：Peter Anderson, Basura Fernando, Mark Johnson and Stephen Gould: SPICE: Semantic Propositional Image Caption Evaluation, In Proceedings of the 14th European Conference on Computer Vision, ECCV 2016, (2016).
なお、上記の実施形態では、各意味タプル間の類似度を計算する際には、動作主と述語との関係（ａｒｇ１）であっても、名詞間の修飾関係（ｎｍｏｄ）であっても、同じ重みで類似度を計算する場合について説明したが、ｓｉｍｒｅｌ（ｒ１，ｒ２）を変更することにより、意味タプルのｒｅｌａｔｉｏｎによって重みを変えてもよい。
また、上記の実施形態では、ＵＤｅｐＬａｍｂｄａの論理形式型の意味表現を用いたが、Ａｂｓｔｒａｃｔ Ｍｅａｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（ＡＭＲ）など他の論理形式型の意味表現や、意味グラフ型意味表現を用いてもよい。図８に、上記実施形態で用いた入力文Ｓ１及びＳ２と同じ２文を意味グラフ型意味解析によって解析した例を示す。意味グラフの各ノードは、図４に示す論理形式型意味表現の変数にあたり、図８の例では、ノード内に、そのノードに対応する変数を明示している。また、ノード間を接続するエッジには、エッジの両端のノードに対応する変数間の関係を示すラベルが付与されている。また、各ノードが示す変数に対応する概念が、葉ノードとして各ノードに接続されている。この各ノードに対応する変数、エッジに付与されたラベル、及び葉ノードが示す概念を用いて、上記実施形態と同様の手順を行うことで、図５と同じ意味タプルを抽出することができる。意味タプルの抽出以降は、上記実施形態の論理形式型意味表現の場合と同様に意味タプルのアライメント及び類似度の計算を行うことが可能である。
なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した文比較処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、文比較処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、文比較処理プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
自然言語で記述された入力文であって、各々異なる言語で記述された複数の入力文の各々を、前記入力文の言語の種類に応じて解析された構文構造に基づいて、前記複数の入力文の各々の意味的な構造を、前記入力文の言語の種類に応じて解析した意味構造の解析結果を受け取り、前記解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する
ように構成されている文比較装置。
（付記項２）
文比較処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
前記文比較処理は、
自然言語で記述された入力文であって、各々異なる言語で記述された複数の入力文の各々を、前記入力文の言語の種類に応じて解析された構文構造に基づいて、前記複数の入力文の各々の意味的な構造を、前記入力文の言語の種類に応じて解析した意味構造の解析結果を受け取り、前記解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する
ことを含む非一時的記録媒体。
１０ 文比較装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信Ｉ／Ｆ
１９ バス
１０１ 言語識別部
１０２ 多言語言語解析部
１０３ 多言語意味解析部
１０４ 多言語意味表現比較部
１０５ 意味タプル変換部
１０６ 意味タプルアライメント部
１０７ 結果出力部
２０１Ａ、２０１Ｂ 言語解析モデル
２０２Ａ、２０２Ｂ 意味解析モデル
２０３ 概念間類似計算モデル
２０４ 対訳辞書
２０５ 多言語シソーラス
２０６ 単語分散表現ＤＢ

Claims (7)

  1. 自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析する多言語意味解析部と、
    前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する多言語意味表現比較部と、
    を含む文比較装置。
  2. 前記多言語意味解析部は、文の意味的な構造を論理式により表現する論理形式型意味表現により、前記複数の入力文の各々の意味的な構造を解析する請求項１に記載の文比較装置。
  3. 前記多言語意味解析部は、文に含まれる概念に対応するノード間をノード間の意味的な関係に基づいてエッジで接続した意味グラフにより、前記複数の入力文の各々の意味的な構造を解析する請求項１に記載の文比較装置。
  4. 前記多言語意味表現比較部は、
    前記意味構造の解析結果を、前記入力文中に含まれる概念に対応する変数と概念との関係を示す意味タプル、及び前記変数間の関係を示す意味タプルに変換する意味タプル変換部と、
    前記入力文間で、前記意味タプル変換部により変換された前記意味タプルの対応付けを行う意味タプルアライメント部と、
    を含む請求項１〜請求項３のいずれか１項に記載の文比較装置。
  5. 前記意味タプル変換部は、前記変数間の関係を示す意味タプルのうち、前記変数間の関係及び前記意味タプルに含まれる変数の一方が共通する意味タプルに基づいて、前記意味タプルに含まれる他方の変数を組み合わせた、拡張意味タプルを追加する請求項４に記載の文比較装置。
  6. 多言語意味解析部が、自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析し、
    多言語意味表現比較部が、前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する
    文比較方法。
  7. コンピュータを、
    自然言語で記述された入力文であって、２以上の言語で記述された複数の入力文の各々の文法的な構文構造が、前記入力文の言語の種類に応じて解析された解析結果に基づいて、前記複数の入力文の各々の意味的な構造を前記入力文の言語の種類に応じて解析する多言語意味解析部、及び、
    前記多言語意味解析部による意味構造の解析結果に基づいて、前記入力文同士を比較して、前記入力文間の類似度を計算する多言語意味表現比較部
    として機能させるための文比較プログラム。
JP2019131583A 2019-07-17 2019-07-17 文比較装置、文比較方法、及び文比較プログラム Pending JP2021018442A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019131583A JP2021018442A (ja) 2019-07-17 2019-07-17 文比較装置、文比較方法、及び文比較プログラム
US17/627,628 US20220261552A1 (en) 2019-07-17 2020-07-08 Sentence comparison device, sentence comparison method, and sentence comparison program
PCT/JP2020/026744 WO2021010260A1 (ja) 2019-07-17 2020-07-08 文比較装置、文比較方法、及び文比較プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131583A JP2021018442A (ja) 2019-07-17 2019-07-17 文比較装置、文比較方法、及び文比較プログラム

Publications (1)

Publication Number Publication Date
JP2021018442A true JP2021018442A (ja) 2021-02-15

Family

ID=74210751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131583A Pending JP2021018442A (ja) 2019-07-17 2019-07-17 文比較装置、文比較方法、及び文比較プログラム

Country Status (3)

Country Link
US (1) US20220261552A1 (ja)
JP (1) JP2021018442A (ja)
WO (1) WO2021010260A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161908A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060857A (ko) * 2019-11-19 2021-05-27 현대자동차주식회사 메시지 처리 차량 단말기, 시스템 및 방법
CN113591494A (zh) * 2021-06-30 2021-11-02 中山大学 一种基于多粒度语义对齐的多语言通用翻译方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318344A (ja) * 2003-04-14 2004-11-11 Fuji Xerox Co Ltd 機械翻訳システム及び機械翻訳方法、並びにコンピュータ・プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318344A (ja) * 2003-04-14 2004-11-11 Fuji Xerox Co Ltd 機械翻訳システム及び機械翻訳方法、並びにコンピュータ・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中 貴秋 外３名: "意味グラフに基づくテキスト類似性尺度の提案", 一般社団法人 人工知能学会 第３２回全国大会論文集ＤＶＤ ［ＤＶＤ−ＲＯＭ］ ２０１８年度 人工知能, JPN6022041736, 5 June 2018 (2018-06-05), pages 1 - 4, ISSN: 0005021509 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161908A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
WO2021010260A1 (ja) 2021-01-21
US20220261552A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
Martschat et al. Latent structures for coreference resolution
US9910844B2 (en) Entity-relation based passage scoring in a question answering computer system
US20180260474A1 (en) Methods for extracting and assessing information from literature documents
WO2021010260A1 (ja) 文比較装置、文比較方法、及び文比較プログラム
Arora et al. Change impact analysis for natural language requirements: An NLP approach
JP3266246B2 (ja) 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法
Bhatia et al. Mining privacy goals from privacy policies using hybridized task recomposition
Han et al. Translation quality assessment: A brief survey on manual and automatic methods
US10740379B2 (en) Automatic corpus selection and halting condition detection for semantic asset expansion
US10628749B2 (en) Automatically assessing question answering system performance across possible confidence values
US10282678B2 (en) Automated similarity comparison of model answers versus question answering system output
CN114861194B (zh) 一种基于bgru与cnn融合模型的多类型漏洞检测方法
Zvonarev et al. A Comparison of Machine Learning Methods of Sentiment Analysis Based on Russian Language Twitter Data.
Bellan et al. Process Extraction from Text: Benchmarking the State of the Art and Paving the Way for Future Challenges
Marmolejos et al. On the use of textual feature extraction techniques to support the automated detection of refactoring documentation
Zhang et al. Stanford at TAC KBP 2016: Sealing Pipeline Leaks and Understanding Chinese.
Guo et al. Deep review sharing
Attanasio et al. ferret: a Framework for Benchmarking Explainers on Transformers
Kumar et al. OntoCat: Automatically categorizing knowledge in API Documentation
Keim et al. Detecting Inconsistencies in Software Architecture Documentation Using Traceability Link Recovery
Saeidi et al. Context-enhanced concept disambiguation in Wikification
Moharil et al. Tabasco: A transformer based contextualization toolkit
KR20210146832A (ko) 토픽 키워드의 추출 장치 및 방법
Mathew et al. Paraphrase identification of Malayalam sentences-an experience
JP7088490B2 (ja) 文比較装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328