JP6782929B2 - Language analyzers, methods, and programs - Google Patents
Language analyzers, methods, and programs Download PDFInfo
- Publication number
- JP6782929B2 JP6782929B2 JP2017139783A JP2017139783A JP6782929B2 JP 6782929 B2 JP6782929 B2 JP 6782929B2 JP 2017139783 A JP2017139783 A JP 2017139783A JP 2017139783 A JP2017139783 A JP 2017139783A JP 6782929 B2 JP6782929 B2 JP 6782929B2
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- argument
- predicate
- structure analysis
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Machine Translation (AREA)
Description
本発明は、言語解析装置、方法、及びプログラムに関する。 The present invention relates to language analyzers, methods, and programs.
自然言語処理では、処理対象の自然言語に対して、文の構造を同定する構文解析、及び述語と項とからなる意味的な構造を同定する述語項構造解析等の構造解析が行われる。 In natural language processing, structural analysis such as parsing for identifying the structure of a sentence and predicate-argument structure analysis for identifying a semantic structure consisting of a predicate and a term is performed on the natural language to be processed.
従来、この構造解析を行う際には、入力文を単語に分割して品詞を同定する形態素解析を行った後に、文節等を単位とした依存関係解析（係り受け解析）を行う構文解析と、動詞や形容詞により表現された述語とその項となる単語との関係を同定する述語項構造解析とが逐次的に行われている（例えば、非特許文献１、２参照）。 Conventionally, when performing this structural analysis, parsing is performed by dividing the input sentence into words and performing a predicate analysis to identify the part of speech, and then performing a dependency analysis (dependency analysis) in units of phrases and the like. Predicate argument structure analysis for identifying the relationship between a predicate expressed by a verb or an adjective and a word that is a term thereof is sequentially performed (see, for example, Non-Patent Documents 1 and 2).
しかしながら、本来、構文構造と述語項構造とは独立したものではなく、相互に関連するものであるため、構文解析と述語項構造解析とを逐次的に行う処理では両者の構造を整合させることが難しい場合がある。特に、日本語においては、ある述語に対する項が省略されることが多いことや、複数の述語で項が共有されることが頻繁に生じる。 However, since the syntactic structure and the predicate argument structure are not independent of each other but are related to each other, it is possible to match the two structures in the process of sequentially performing the syntactic analysis and the predicate argument structure analysis. It can be difficult. In particular, in Japanese, terms for a certain predicate are often omitted, and terms are often shared by a plurality of predicates.
例えば、「太郎を見つけて話しかけた人に伝えた」という文では、「見つける」、「話しかける」、「伝える」という３つの述語があるが、「伝える」の動作主にあたる項が省略されている。また、この文では、「見つける」の対象にあたる項と「話しかける」の着点にあたる項として「太郎」が共有されている。従って、述語と項との関係を捉えずに先行して構文構造を同定することは簡単ではない。これに対し、「伝える」の動作主の項が省略されていることや、「見つける」の対象の項と「話しかける」の着点の項とが共有されていることが捉えられれば、構文構造を同定することが容易に可能となる。 For example, in the sentence "find Taro and tell the person who talked to him", there are three predicates "find", "talk", and "tell", but the agent corresponding to the agent of "tell" is omitted. .. Also, in this sentence, "Taro" is shared as the item that corresponds to the object of "find" and the item that corresponds to the point of "talking". Therefore, it is not easy to identify the syntactic structure in advance without grasping the relationship between the predicate and the term. On the other hand, if it is understood that the agent term of "tell" is omitted and that the term of "find" and the term of the landing point of "speak" are shared, the syntax structure Can be easily identified.
本発明は、上記の点に鑑みてなされたものであり、構文構造と述語項構造とで整合のとれた構造解析を行うことができる言語解析装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a language analysis device, a method, and a program capable of performing structural analysis in which the syntactic structure and the predicate argument structure are consistent. To do.
上記目的を達成するために、本発明に係る言語解析装置は、自然言語で記述された入力文を単語に分割し、品詞の情報を付与する形態素解析を行う形態素解析部と、前記形態素解析部による形態素解析の結果に基づいて、単語間の統語的な依存関係を表すラベルを付与する依存構造解析と、述語と項との関係を同定する述語項構造解析とを行う構造解析部と、を含んで構成され、前記構造解析部は、前記依存構造解析の現時点の結果、及び前記述語項構造解析の現時点の結果から抽出される素性と、前記依存構造解析に関するアクション及び前記述語項構造解析に関するアクションを含む複数のアクションのうち何れかを決定するための予め構築された解析モデルとを用いて、前記複数のアクションのうち何れかを決定して実行することを繰り返す。 In order to achieve the above object, the language analysis device according to the present invention includes a morphological analysis unit that divides an input sentence written in a natural language into words and performs a morphological analysis to give information on the part of the word, and the morphological analysis unit. Based on the result of the morphological analysis by, the structure analysis unit that performs the dependency structure analysis that assigns a label representing the syntactic dependency between words and the predicate argument structure analysis that identifies the relationship between the predicate and the argument. The structural analysis unit includes the current result of the dependent structure analysis, the predicate extracted from the current result of the predicated argument structure analysis, and the action and the predicated argument structure related to the dependent structure analysis. Using a pre-built analysis model for determining one of a plurality of actions including an action related to analysis, the determination and execution of any of the plurality of actions is repeated.
本発明に係る言語解析方法は、自然言語で記述された入力文を単語に分割し、品詞の情報を付与する形態素解析を行い、前記形態素解析の結果に基づいて、単語間の統語的な依存関係を表すラベルを付与する依存構造解析と、述語と項との関係を同定する述語項構造解析とを行うにあたり、前記依存構造解析の現時点の結果、及び前記述語項構造解析の現時点の結果から抽出される素性と、前記依存構造解析に関するアクション及び前記述語項構造解析に関するアクションを含む複数のアクションのうち何れかを決定するための予め構築された解析モデルとを用いて、前記複数のアクションのうち何れかを決定して実行することを繰り返す。 In the language analysis method according to the present invention, an input sentence written in a natural language is divided into words, a morphological analysis is performed to give information on the part of the word, and based on the result of the morphological analysis, syntactic dependence between words is performed. In performing the dependency structure analysis that assigns a label representing the relationship and the predicate argument structure analysis that identifies the relationship between the predicate and the argument, the current result of the dependency structure analysis and the current result of the predicate argument structure analysis. Using a pre-built analysis model for determining one of a plurality of actions including an action related to the dependent structure analysis and an action related to the predicate argument structure analysis Repeat the process of determining one of the actions and executing it.
また、本発明のプログラムは、コンピュータを、上記の言語解析装置の各部として機能させるためのプログラムである。 Further, the program of the present invention is a program for making a computer function as each part of the above-mentioned language analysis device.
以上説明したように、本発明の言語解析装置、方法、及びプログラムによれば、依存構造解析を行うと共に、述語項構造解析を行うことにより、構文構造と述語項構造とで整合のとれた構造解析を行うことができる、という効果が得られる。 As described above, according to the language analyzer, method, and program of the present invention, a structure in which the syntactic structure and the predicate argument structure are consistent by performing the dependency structure analysis and the predicate argument structure analysis is performed. The effect of being able to perform analysis is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施の形態では、単語の定義として、下記の参考文献１（以下、「BCCWJ規定」という）の上巻p.3-8で規定している短単位（以下、単に「短単位」という）を使用した例について説明する。また、以下の実施の形態では、構文構造の定義として、下記の参考文献２で述べられている単語依存構造の定義を使用した例について説明する。なお、構文構造の定義として、下記の参考文献３で述べられているUniversal Dependenciesのような他の構文構造の定義を使用してもよい。
［参考文献１］小椋秀樹, 小磯花絵, 冨士池優美他：『現代日本語書き言葉均衡コーパス』形態論情報規程（上）（下）, 人間文化研究機構国立国語研究所(2011).
［参考文献２］Takaaki Tanaka and Masaaki Nagata: Word-based Japanese Typed Dependency Parsing with Grammatical Function Analysis, In Proceedings of the Association for Computational Linguistics 53rd Annual Meeting (ACL-2015), Vol.2, pp.237-242, (2015).
［参考文献３］金山博, 宮尾祐介, 田中貴秋, 森信介, 浅原正幸, 植松すみれ: 日本語Universal Dependencies の試案, 言語処理学会第21回年次大会発表論文集, E3-4, (2015).
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following embodiment, as the definition of the word, the short unit specified in the first volume p.3-8 of Reference 1 (hereinafter referred to as "BCCWJ regulation") below (hereinafter, simply "short unit"). An example using) will be described. Further, in the following embodiment, an example in which the definition of the word-dependent structure described in Reference 2 below is used as the definition of the syntactic structure will be described. As the definition of the syntactic structure, the definition of another syntactic structure such as Universal Dependencies described in Reference 3 below may be used.
[Reference 1] Hideki Ogura, Hanae Koiso, Yumi Fujiike et al .: "Contemporary Japanese Written Language Balance Corpus" Morphological Information Regulations (top) (bottom), National Institute for Japanese Language and Culture (2011).
[Reference 2] Takaaki Tanaka and Masaaki Nagata: Word-based Japanese Typed Dependency Parsing with Grammatical Function Analysis, In Proceedings of the Association for Computational Linguistics 53rd Annual Meeting (ACL-2015), Vol.2, pp.237-242, (2015).
[Reference 3] Hiroshi Kanayama, Yusuke Miyao, Takaaki Tanaka, Shinsuke Mori, Masayuki Asahara, Sumire Uematsu: Proposal of Japanese Universal Dependencies, Proceedings of the 21st Annual Meeting of the Natural Language Processing Society, E3-4, (2015) ..
＜言語解析装置の構成＞
本実施の形態に係る言語解析装置の構成について説明する。本実施の形態に係る言語解析装置１０は、ＣＰＵと、ＲＡＭと、後述する処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。言語解析装置１０は、機能的には図１に示すように、入力部１２、形態素解析部１４、構造解析部１６、及び出力部１８を備えている。言語解析装置１０の所定の記憶領域には、解析モデル２０及び格フレーム辞書２２が記憶される。
<Configuration of language analysis device>
The configuration of the language analysis device according to the present embodiment will be described. The language analysis device 10 according to the present embodiment can be configured by a computer including a CPU, a RAM, and a ROM that stores a program for executing a processing routine described later and various data. The language analysis device 10 functionally includes an input unit 12, a morphological analysis unit 14, a structural analysis unit 16, and an output unit 18, as shown in FIG. The analysis model 20 and the case frame dictionary 22 are stored in a predetermined storage area of the language analysis device 10.
入力部１２により入力された入力文に対して形態素解析部１４が形態素解析を行い、形態素の解析結果を構造解析部１６に出力する。構造解析部１６は、解析結果として形態素解析部１４から入力された単語列の情報と、解析モデル２０及び格フレーム辞書２２とに基づいて、単語間の統語的な依存関係の同定を行うと共に、格フレーム情報を含む述語構造の同定を行い、解析結果を出力部１８に出力する。以下、各機能部の詳細について説明する。 The morphological analysis unit 14 performs morphological analysis on the input sentence input by the input unit 12, and outputs the analysis result of the morpheme to the structural analysis unit 16. The structural analysis unit 16 identifies the syntactic dependency between words based on the word string information input from the morphological analysis unit 14 as the analysis result and the analysis model 20 and the case frame dictionary 22. The predicate structure including the case frame information is identified, and the analysis result is output to the output unit 18. The details of each functional unit will be described below.
入力部１２は、自然言語で記述された入力文を受け付ける。形態素解析部１４は、入力部１２により受け付けられた入力文に対して形態素解析を実行し、入力文を単語に分割すると共に、各単語に対して品詞及び出現形等の素性を対応付ける。 The input unit 12 accepts an input sentence written in natural language. The morphological analysis unit 14 executes morphological analysis on the input sentence received by the input unit 12, divides the input sentence into words, and associates each word with features such as part of speech and appearance form.
図２に、「太郎を見つけて話しかけた人に伝えた」を入力文とした場合で、かつBCCWJ規定の短単位を単語単位とした場合の形態素解析部１４による解析結果の一例を示す。図２の各行は分割された単語単位を表す。図２に示すように、本実施の形態では、「太郎を見つけて話しかけた人に伝えた」という入力文は、「太郎」、「を」、「見つけ」、「て」、「話しかけ」、「た」、「人」、「に」、「伝え」、「た」の１０個の単語に分割される。 FIG. 2 shows an example of the analysis result by the morphological analysis unit 14 when "Taro was found and told to the person who spoke" was used as the input sentence and the short unit specified by BCCWJ was used as the word unit. Each line in FIG. 2 represents a divided word unit. As shown in FIG. 2, in the present embodiment, the input sentence "find Taro and tell the person who talked to him" is "Taro", "o", "find", "te", "talk", It is divided into 10 words, "ta", "person", "ni", "tell", and "ta".
形態素解析部１４は、分割された単語毎に、ID#s、出現形w、標準形m、品詞t、及び述語候補を対応付けた解析結果を得る。ここで、ID#sは、入力文の先頭から順番に単語に付与した一意な番号を示し、出現形wは、入力文中に現れた形（BCCWJ規定における書字形に相当）を示す。また、標準形mは、単語が活用語である場合の基本形（BCCWJ規定における語彙素に相当）を示し、品詞tは、短単位の品詞情報を示す。また、述語候補は、述語項構造解析の対象となる述語であるか否かを示す情報を示す。図２の例では、述語候補となる単語には「PRED」が記述されている。なお、本実施の形態では、形態素解析部１４は、単語を述語候補とするか否かを品詞で判断し、品詞がVB（名詞）及びADJ（形容詞）の単語を述語候補とする。また、図２の例では、BCCWJ規定の品詞の分類を元に簡略化した品詞シンボルを用いているが、BCCWJ規定の品詞をそのまま用いてもよい。 The morphological analysis unit 14 obtains an analysis result in which ID # s, appearance form w, standard form m, part of speech t, and predicate candidates are associated with each divided word. Here, ID # s indicates a unique number assigned to the word in order from the beginning of the input sentence, and the appearance form w indicates the form appearing in the input sentence (corresponding to the glyph form in the BCCWJ regulation). In addition, the standard form m indicates the basic form (corresponding to the lexeme in the BCCWJ regulation) when the word is an inflected word, and the part of speech t indicates the part of speech information in short units. Further, the predicate candidate indicates information indicating whether or not the predicate is the target of the predicate argument structure analysis. In the example of FIG. 2, "PRED" is described as a predicate candidate word. In the present embodiment, the morphological analysis unit 14 determines whether or not a word is a predicate candidate based on a part of speech, and sets a word whose part of speech is VB (noun) or ADJ (adjective) as a predicate candidate. Further, in the example of FIG. 2, a simplified part of speech symbol is used based on the classification of the part of speech specified by BCCWJ, but the part of speech specified by BCCWJ may be used as it is.
構造解析部１６は、形態素解析部１４による解析結果から、単語間の依存構造による構文解析を行うと共に、述語と項との関係からなる述語項構造及び格フレームを同定する述語項構造解析を行う。本実施の形態では、構造解析部１６は、依存構造解析の現時点の結果、及び述語項構造解析の現時点の結果から抽出される素性と、依存構造解析に関するアクション及び述語項構造解析に関するアクションを含む複数のアクションのうち何れかを決定するための予め構築された解析モデル２０とを用いて、複数のアクションのうち何れかを決定して実行することを繰り返す。 The structural analysis unit 16 performs a syntactic analysis based on the dependency structure between words from the analysis result by the morphological analysis unit 14, and also performs a predicate argument structure analysis for identifying the predicate argument structure and the case frame consisting of the relationship between the predicate and the argument. .. In the present embodiment, the structural analysis unit 16 includes the current result of the dependent structure analysis, the features extracted from the current result of the predicate argument structure analysis, the action related to the dependent structure analysis, and the action related to the predicate argument structure analysis. Using the analysis model 20 constructed in advance for determining any of the plurality of actions, the determination and execution of any of the plurality of actions is repeated.
本実施の形態に係る構造解析部１６は、MaltParser（参考文献４参照）等の既存の解析器で使用されているshift-reduce法を拡張した方法を用いて、構文解析及び述語項構造解析を行う。
［参考文献４］Joakim Nivre et al.: MaltParser: A language-independent system for data-driven dependency parsing, Natural Language Engineering, 13(2), pp.95-135 (2007).
The structural analysis unit 16 according to the present embodiment performs parsing and predicate argument structure analysis by using a method extended from the shift-reduce method used in existing analyzers such as MaltParser (see Reference 4). Do.
[Reference 4] Joakim Nivre et al .: MaltParser: A language-independent system for data-driven dependency parsing, Natural Language Engineering, 13 (2), pp.95-135 (2007).
基本となるshift-reduce法では、初期状態において、キューQに、入力文の単語列（w0,…,wn）を（q0,…,qn）として格納し、Shift及びReduceの何れかのアクションを行うステップを繰り返すことで解析を行う。ここでいうShiftとは、キューQの先頭要素q0をスタックSにpushすることを示し、Reduceとは、スタックSの最上位の要素s0と2番目の要素s1との間で弧を作ることを示す。 In the basic shift-reduce method, in the initial state, the word string (w 0 ,…, w n ) of the input sentence is stored as (q 0 ,…, q n ) in the queue Q, and either Shift or Reduce. The analysis is performed by repeating the step of performing the action. Shift here means pushing the first element q 0 of the queue Q to the stack S, and Reduce means an arc between the top element s 0 and the second element s 1 of the stack S. Show to make.
本実施形態では、構造解析部１６は、構文構造のためのスタック（以下、「構文スタック」という）Ss、及び述語項構造解析のためのスタック（以下、「フレームスタック」という）Sfの２種類のスタックを使用する。構文スタックSsには、依存構造解析の現時点の解析結果が格納され、フレームスタックSfには、述語項構造解析の現時点の解析結果が格納される。さらに、構造解析部１６は、shift-reduce法のアクションを拡張することにより、構文解析及び述語項構造解析を行うアクションを定義する。 In the present embodiment, the structural analysis unit 16 includes a stack for syntactic structure (hereinafter referred to as “syntax stack”) S s and a stack for predicate argument structure analysis (hereinafter referred to as “frame stack”) S f . Use two types of stacks. The syntax stack S s stores the current analysis result of the dependency structure analysis, and the frame stack S f stores the current analysis result of the predicate argument structure analysis. Further, the structural analysis unit 16 defines an action for performing parsing and predicate argument structure analysis by extending the action of the shift-reduce method.
また、構造解析部１６は、各ステップで何れのアクションを行うかを、解析モデル２０によって決定する。構造解析部１６は、構文解析については、構文スタックSsに対して、標準的なアクションのShift及びReduceを適用することによって構文解析を行う。この際に適用するReduceは弧の向きによって２種類存在する。一方、構造解析部１６は、述語項構造解析については、構文解析のアクションを適用した際、条件に応じて、フレームスタックSfに対して、格フレームの追加、及び項の追加等のアクションを適用することによって述語項構造解析を行う。 Further, the structural analysis unit 16 determines which action to perform in each step by the analysis model 20. For parsing, the structural analysis unit 16 performs parsing by applying the standard actions Shift and Reduce to the syntax stack S s . There are two types of Reduce to be applied at this time, depending on the direction of the arc. On the other hand, for the predicate-argument structural analysis, when the parsing action is applied, the structural analysis unit 16 performs actions such as adding a case frame and adding a term to the frame stack S f according to the conditions. Predicate argument structure analysis is performed by applying.
図３に、本実施形態で用いるshift-reduce法のアクションの一例を示す。構造解析部１６は、キューQの単語列を、Shiftによって順に構文スタックSsにpushし、ReduceL()又はReduceR()で単語間の弧を作り、構文構造を決定する。また、構造解析部１６は、構文スタックSsの最上位に、述語を主辞とする部分木（以下、「述語部分木」という）が構成された時点で、フレームスタックSfに、述語に対する格フレームを追加する。 FIG. 3 shows an example of the action of the shift-reduce method used in this embodiment. The structural analysis unit 16 pushes the word strings of the queue Q to the syntax stack S s in order by Shift, creates an arc between words with Reduce L () or Reduce R (), and determines the syntax structure. Further, the structural analysis unit 16 sets the case for the predicate in the frame stack S f when a subtree having a predicate as a head (hereinafter referred to as "predicate subtree") is formed at the highest level of the syntax stack S s. Add a frame.
その後、構造解析部１６は、ReduceL()又はReduceR()により述語部分木が関係する依存構造を構成するたびに、項の追加のアクション（InsARGNV()又はInsARGVN()）、あるいは、他のフレームからの項の継承のアクション（InheritARG()）を行う。構造解析部１６は、追加する項が存在しない場合も、格ラベルを空（φ）として、ダミーの追加アクションを行う。 After that, each time the structural analysis unit 16 constructs a dependent structure in which the predicate subtree is involved by Reduce L () or Reduce R (), the additional action of the term (InsARG NV () or InsARG VN ()), or , Performs the action of inheriting terms from other frames (InheritARG ()). Even if the term to be added does not exist, the structural analysis unit 16 sets the case label to empty (φ) and performs a dummy additional action.
本実施の形態では、構文スタックSsに部分的な依存構造（例えば部分木）を作りながら解析を行うので、素性として部分木のノードの情報を参照することができる。また、同時に、フレームスタックSfに部分的なフレーム構造を作りながら解析を行うので、フレームに関する意味役割や主辞の情報も参照することができる。各ステップにおいて、素性テンプレートに従って素性の値が決定される。 In the present embodiment, since the analysis is performed while creating a partial dependency structure (for example, a subtree) in the syntax stack S s , the information of the node of the subtree can be referred to as a feature. At the same time, since the analysis is performed while creating a partial frame structure in the frame stack S f , information on the semantic role and head of the frame can also be referred to. In each step, the value of the feature is determined according to the feature template.
上記の解析に用いる解析モデル２０は、様々な例文について、構文解析及び述語項構造解析の正解データ（例えば、後述する図１４及び図１５参照）を学習データとして大量に用意することによって予め構築することができる。すなわち、解析モデル２０は、正解データから、解析の各ステップにおける素性の集合と正解のアクション（Shift、ReduceL()等）の組を抽出し、Support Vector Machine（SVM）や対数線形モデル等の一般的な分類モデルを構築する既知の方法によって予め構築される。 The analysis model 20 used for the above analysis is constructed in advance by preparing a large amount of correct answer data (for example, see FIGS. 14 and 15 described later) for parsing and predicate argument structure analysis for various example sentences as training data. be able to. That is, the analysis model 20 extracts a set of identities at each step of analysis and a set of correct actions (Shift, Reduce L (), etc.) from the correct answer data, and obtains a Support Vector Machine (SVM), a log-linear model, or the like. It is pre-built by a known method of building a general classification model.
出力部１８は、構造解析部１６による解析結果を、例えば液晶ディスプレイ等の表示装置に出力する。なお、出力部１８は、構造解析部１６による解析結果を、不揮発性の記憶部に出力してもよいし、検索装置等の外部装置に出力してもよい。 The output unit 18 outputs the analysis result by the structural analysis unit 16 to a display device such as a liquid crystal display. The output unit 18 may output the analysis result by the structural analysis unit 16 to a non-volatile storage unit, or may output the analysis result to an external device such as a search device.
＜言語解析装置の作用＞
次に、本実施の形態に係る言語解析装置１０の作用について説明する。解析対象の入力文が言語解析装置１０に入力されると、言語解析装置１０によって図４に示す解析処理ルーチンが実行される。
<Operation of language analysis device>
Next, the operation of the language analysis device 10 according to the present embodiment will be described. When the input sentence to be analyzed is input to the language analysis device 10, the language analysis device 10 executes the analysis processing routine shown in FIG.
ステップＳ１０では、入力部１２は、解析対象の入力文を受け付ける。ステップＳ１２では、形態素解析部１４は、前述したように、ステップＳ１０で受け付けられた入力文に対して、形態素解析を実行する。 In step S10, the input unit 12 receives the input sentence to be analyzed. In step S12, the morphological analysis unit 14 executes morphological analysis on the input sentence received in step S10, as described above.
ステップＳ１４では、構造解析部１６は、構文スタックSs（＝（s0,…,sm））に構文構造の最上位を表す「ROOT」を格納（push）し、フレームスタックSf（＝（f0,…,fl））は空とする。また、構造解析部１６は、ステップＳ１２の処理により得られた単語群を、ID#sの順番でキューQ（＝（q0,…,qn））に格納する。 In step S14, the structure analysis unit 16, the syntax stack S s (= (s 0, ..., s m)) stores "ROOT" representing the top-level syntax structures and (push), the frame stack S f (= (F 0 ,…, f l )) is empty. Further, the structural analysis unit 16 stores the word groups obtained by the process of step S12 in the queue Q (= (q 0 , ..., q n )) in the order of ID # s.
ステップＳ１６では、構造解析部１６は、Shiftを実行する。具体的には、構造解析部１６は、キューQの先頭の要素q0を取り出し（pop）、取り出した要素q0を構文スタックSsにpushする。ステップＳ１８では、構造解析部１６は、構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、アクション“Shift”、“AddFrame”、“ReduceL”、及び“ReduceR”の中から、次のアクションを決定する。 In step S16, the structural analysis unit 16 executes Shift. Specifically, the structural analysis unit 16 pops the first element q 0 of the queue Q and pushes the fetched element q 0 to the syntax stack S s . In step S18, the structural analysis unit 16 performs the actions “Shift”, “AddFrame”, and “Reduce L ” based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q, and the analysis model 20. , And "Reduce R ", determine the next action.
ステップＳ２０では、構造解析部１６は、ステップＳ１８で決定されたアクションを判定する。この判定結果に応じて、処理は次のステップに移行する。ステップＳ１８で決定されたアクションが“Shift”である場合、処理はステップＳ１６に戻る。また、ステップＳ１８で決定されたアクションが“AddFrame”である場合、処理はステップＳ２２に移行する。また、ステップＳ１８で決定されたアクションが“ReduceL”である場合、処理はステップＳ２４に移行する。また、ステップＳ１８で決定されたアクションが“ReduceR”である場合、処理はステップＳ２６に移行する。 In step S20, the structural analysis unit 16 determines the action determined in step S18. The process proceeds to the next step according to the determination result. If the action determined in step S18 is "Shift", the process returns to step S16. If the action determined in step S18 is "AddFrame", the process proceeds to step S22. If the action determined in step S18 is "Reduce L ", the process proceeds to step S24. If the action determined in step S18 is "Reduce R ", the process proceeds to step S26.
ステップＳ２２では、構造解析部１６は、AddFrame(FID)を実行する。すなわち、構造解析部１６は、引数FIDで指定されたフレームIDの述語に関するフレームを生成し、フレームスタックSfにpushする。本実施形態では、構造解析部１６は、この述語に関するフレームを生成する際に、格フレーム辞書２２を用いる。なお、格フレーム辞書２２としては、例えば、下記の参考文献５、６に記載されている既存のデータベースを適用することができる。ステップＳ２２の処理が終了すると、処理はステップＳ１８に戻る。
［参考文献５］竹内孔一：動詞項構造シソーラスの構築，人工知能学会全国大会, 3H2-OS3-5, (2011).
［参考文献６］池原悟他：日本語語彙大系, 岩波書店(1997).
In step S22, the structural analysis unit 16 executes AddFrame (FID). That is, the structural analysis unit 16 generates a frame related to the predicate of the frame ID specified by the argument FID and pushes it to the frame stack S f . In the present embodiment, the structural analysis unit 16 uses the case frame dictionary 22 when generating a frame related to this predicate. As the case frame dictionary 22, for example, the existing databases described in References 5 and 6 below can be applied. When the process of step S22 is completed, the process returns to step S18.
[Reference 5] Koichi Takeuchi: Construction of verb argument structure thesaurus, Japanese Society for Artificial Intelligence National Convention, 3H2-OS3-5, (2011).
[Reference 6] Satoru Ikehara et al .: Japanese Vocabulary System, Iwanami Shoten (1997).
ステップＳ２４では、構造解析部１６は、ReduceL(dep)を実行する。すなわち、構造解析部１６は、構文スタックSsの最上位の要素s0,s1の間に単語間の関係ラベルdepを持つ左向きの弧を張る。ステップＳ２６では、構造解析部１６は、ReduceR(dep)を実行する。すなわち、構造解析部１６は、構文スタックSsの最上位の要素s0,s1の間に単語間の関係ラベルdepを持つ右向きの弧を張る。 In step S24, the structural analysis unit 16 executes Reduce L (dep). That is, the structural analysis unit 16 creates a left-pointing arc with the relationship label dep between words between the uppermost elements s 0 and s 1 of the syntax stack S s . In step S26, the structural analysis unit 16 executes Reduce R (dep). That is, the structural analysis unit 16 creates a right-pointing arc with the relationship label dep between words between the uppermost elements s 0 and s 1 of the syntax stack S s .
次に、ステップＳ２８では、構造解析部１６は、構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、アクション“InheritARG”、“InsARGNV”、“InsARGVN”、及び“InsNoARGs”の中から、次のアクションを決定する。なお、ステップＳ２８では、アクション“ReduceL”及び“ReduceR”の実行後専用の解析モデルを用いて、次のアクションを決定する。ステップＳ３０では、構造解析部１６は、ステップＳ２８で決定されたアクションを判定する。この判定結果に応じて、処理は次のステップに移行する。ステップＳ２８で決定されたアクションが“InheritARG”である場合、処理はステップＳ３２に移行する。また、ステップＳ２８で決定されたアクションが“InsARGNV”である場合、処理はステップＳ３４に移行する。また、ステップＳ２８で決定されたアクションが“InsARGVN”である場合、処理はステップＳ３６に移行する。また、ステップＳ２８で決定されたアクションが“InsNoARGs”である場合、項は追加されずに、処理はステップＳ４０に移行する。 Next, in step S28, the structural analysis unit 16 determines the actions “InheritARG”, “InsARG NV ”, based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q, and the analysis model 20. Determine the next action from "InsARG VN " and "InsNoARGs". In step S28, the next action is determined by using the analysis model dedicated after the execution of the actions “Reduce L ” and “Reduce R ”. In step S30, the structural analysis unit 16 determines the action determined in step S28. The process proceeds to the next step according to the determination result. If the action determined in step S28 is "InheritARG", the process proceeds to step S32. If the action determined in step S28 is "InsARG NV ", the process proceeds to step S34. If the action determined in step S28 is "InsARG VN ", the process proceeds to step S36. If the action determined in step S28 is "InsNoARGs", the process proceeds to step S40 without adding any term.
ステップＳ３２では、構造解析部１６は、InheritARG(fn,args,argt)を実行する。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0の項argtに、要素fnの項argsの単語wを挿入する。また、ステップＳ３４では、構造解析部１６は、InsARGNV(arg)を実行する。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0の項argに単語waを挿入し、フレームの主辞は述語wpとする。また、ステップＳ３６では、構造解析部１６は、InsARGVN(arg)を実行する。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0の項argに単語waを挿入し、フレームの主辞は項の単語waとする。 In step S32, the structural analysis unit 16 executes InheritARG (f n , arg s , arg t ). That is, the structural analysis unit 16 inserts the word w of the term arg s of the element f n into the term arg t of the uppermost element f 0 of the frame stack S f . Further, in step S34, the structural analysis unit 16 executes InsARG NV (arg). That is, the structural analysis unit 16 inserts the word w a into the term arg of the uppermost element f 0 of the frame stack S f , and the head of the frame is the predicate w p . Further, in step S36, the structural analysis unit 16 executes InsARG VN (arg). That is, the structural analysis unit 16 inserts the word w a into the term arg of the uppermost element f 0 of the frame stack S f , and the head of the frame is the term word w a .
次に、ステップＳ４０では、構造解析部１６は、終了条件を満たしたか否かを判定する。本実施の形態では、構造解析部１６は、構文スタックSsの最上位の要素s0のrootが“ROOT”であり、かつキューQが空（すなわち要素q0がNULL）であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１８に戻り、肯定判定となった場合は、処理はステップＳ４２に移行する。 Next, in step S40, the structural analysis unit 16 determines whether or not the end condition is satisfied. In the present embodiment, the structural analysis unit 16 determines whether or not the root of the highest element s 0 of the syntax stack S s is “ROOT” and the queue Q is empty (that is, the element q 0 is NULL). To judge. If this determination is a negative determination, the process returns to step S18, and if the determination is affirmative, the process proceeds to step S42.
次に、ステップＳ４２では、構造解析部１６は、フレームスタックSfに存在する各要素の埋まっていない項に対して、空であることを示す記号φを格納する。ステップＳ４４では、出力部１８は、前述したように、以上の処理による解析結果を出力する。ステップＳ４４の処理が終了すると、解析処理ルーチンが終了する。 Next, in step S42, the structural analysis unit 16 stores the symbol φ indicating that each element existing in the frame stack S f is empty for the unfilled term. In step S44, the output unit 18 outputs the analysis result obtained by the above processing as described above. When the process of step S44 is completed, the analysis processing routine ends.
＜動作例＞
次に、図５〜図１０を参照して、入力文の一例として「太郎を見つけて話しかけた人に伝えた」が言語解析装置１０に入力された場合の図４に示した解析処理ルーチンのステップＳ１４〜ステップＳ４２で実行される処理プロセスの一例を説明する。なお、図５〜図１０において、Step列は処理を識別する番号であり、各StepでAction列に記載されたアクションが実行された後の構文スタックSs、フレームスタックSf、及びキューQの状態が各行に示されている。また、図５〜図１０では、構文スタックSsは要素s0から要素s2まで、フレームスタックSfは要素f0から要素f2まで、キューQは要素q0から要素q2までを記載している。
<Operation example>
Next, with reference to FIGS. 5 to 10, the analysis processing routine shown in FIG. 4 when "I found Taro and told the person who spoke to him" was input to the language analyzer 10 as an example of the input sentence. An example of the processing process executed in steps S14 to S42 will be described. In FIGS. 5 to 10, the Step column is a number that identifies the process, and the syntax stack S s , the frame stack S f , and the queue Q after the action described in the Action column is executed in each Step. The status is shown on each line. Further, in FIGS. 5 to 10, the syntax stack S s describes elements s 0 to s 2 , the frame stack S f describes elements f 0 to element f 2 , and the queue Q describes elements q 0 to element q 2. doing.
図５のステップ０は、上記ステップＳ１４が実行された後の状態（初期状態）に対応しており、構文スタックSsの最上位の要素s0に「ROOT」が格納され、フレームスタックSfは空の状態で生成されている。また、キューQには入力文に対して形態素解析が実行されることにより得られた分割された単語が、入力文における登場順に格納される。 Step 0 in FIG. 5 corresponds to the state (initial state) after the execution of step S14, in which "ROOT" is stored in the uppermost element s 0 of the syntax stack S s , and the frame stack S f. Is generated empty. Further, in the queue Q, the divided words obtained by executing the morphological analysis on the input sentence are stored in the order of appearance in the input sentence.
ステップ１では、構造解析部１６は、Shiftを実行する（上記ステップＳ１６）。すなわち、構造解析部１６は、キューQの先頭の要素q0の「太郎」をキューQから取り出し、取り出した「太郎」を構文スタックSsにpushする。次に、ステップ２では、構造解析部１６は、ステップ１の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。次のアクションがShiftに決定されると、構造解析部１６は、Shiftを実行する（上記ステップＳ１６）。すなわち、構造解析部１６は、キューQの先頭の要素q0の「を」をキューQから取り出し、取り出した「を」を構文スタックSsにpushする。 In step 1, the structural analysis unit 16 executes Shift (step S16 above). That is, the structural analysis unit 16 extracts “Taro” of the first element q 0 of the queue Q from the queue Q, and pushes the extracted “Taro” to the syntax stack S s . Next, in step 2, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 1 and the analysis model 20. (Step S18 above). When the next action is determined to be Shift, the structural analysis unit 16 executes Shift (step S16 above). That is, the structural analysis unit 16 extracts the “o” of the first element q 0 of the queue Q from the queue Q, and pushes the extracted “o” to the syntax stack S s .
次に、ステップ３では、構造解析部１６は、ステップ２の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。次のアクションがReduceL(pobj)に決定されると、構造解析部１６は、ReduceL(pobj)を実行する（上記ステップＳ２４）。すなわち、構造解析部１６は、構文スタックSsの最上位の要素s0「太郎」と要素s1「を」との間に単語間の関係ラベルpobjを持つ左向きの弧を張る（図５では
と表記）。なお、関係ラベルpobjとは、単語間の依存構造を構成する関係を表している。また、ステップ３での構文スタックSsの要素s0は、２つの単語の「太郎」、「を」が関係ラベルpobjを持つ部分木を構成していることを示している。
Next, in step 3, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 2, and the analysis model 20. (Step S18 above). When the next action is determined to Reduce L (pobj), the structural analysis unit 16 executes Reduce L (pobj) (step S24 above). That is, the structural analysis unit 16 creates a left-pointing arc with the inter-word relationship label pobj between the highest element s 0 "Taro" and the element s 1 "o" of the syntax stack S s (in FIG. 5).
Notation). The relationship label pobj represents a relationship that constitutes a dependency structure between words. Further, the element s 0 of the syntax stack S s in step 3 indicates that the two words "Taro" and "o" form a subtree having the relation label pobj.
次に、ステップ４では、構造解析部１６は、ステップ３の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ２８）。次のアクションがInsNoARGsに決定されると、構文スタックSs、フレームスタックSf、及びキューQに対する操作は行われない。そして、構文スタックSs及びキューQの状態に基づいた終了判定が実行される（上記ステップＳ４０）。ステップ４の構文スタックSs及びキューQの状態は終了条件を満たさないため、ステップ５では、構造解析部１６は、ステップ４の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。 Next, in step 4, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 3, and the analysis model 20. (Step S28 above). If the next action is determined to be InsNoARGs, no operation is performed on the syntax stack S s , frame stack S f , and queue Q. Then, the end determination based on the states of the syntax stack S s and the queue Q is executed (step S40 above). Since the states of the syntax stack S s and the queue Q in step 4 do not satisfy the termination condition, in step 5, the structural analysis unit 16 extracts from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 4. The next action is determined based on the identified nature and the analysis model 20 (step S18 above).
次のアクションがShiftに決定されると、構造解析部１６は、Shiftを実行する（上記ステップＳ１６）。すなわち、構造解析部１６は、キューQの先頭の要素q0の「見つけ」をキューQから取り出し、取り出した「見つけ」を構文スタックSsにpushする。次に、ステップ６では、構造解析部１６は、ステップ５の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。次のアクションがShiftに決定されると、構造解析部１６は、Shiftを実行する（上記ステップＳ１６）。すなわち、構造解析部１６は、キューQの先頭の要素q0の「て」をキューQから取り出し、取り出した「て」を構文スタックSsにpushする。 When the next action is determined to be Shift, the structural analysis unit 16 executes Shift (step S16 above). That is, the structural analysis unit 16 retrieves the “find” of the first element q 0 of the queue Q from the queue Q, and pushes the retrieved “find” to the syntax stack S s . Next, in step 6, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 5, and the analysis model 20. (Step S18 above). When the next action is determined to be Shift, the structural analysis unit 16 executes Shift (step S16 above). That is, the structural analysis unit 16 extracts the “te” of the first element q 0 of the queue Q from the queue Q, and pushes the extracted “te” to the syntax stack S s .
次に、ステップ７では、構造解析部１６は、ステップ６の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。次のアクションがReduceR(mark)に決定されると、構造解析部１６は、ReduceR(mark)を実行する（上記ステップＳ２６）。すなわち、構造解析部１６は、構文スタックSsの最上位の要素s0と要素s1との間に関係ラベルmarkを持つ右向きの弧を張る（図５では
と表記）。ステップ７は、構文スタックSsに、
の部分木が格納されている状態を示している。
Next, in step 7, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 6, and the analysis model 20. (Step S18 above). When the next action is determined to be Reduce R (mark), the structural analysis unit 16 executes Reduce R (mark) (step S26 above). That is, the structural analysis unit 16 creates an arc pointing to the right with the relation label mark between the top element s 0 and the element s 1 of the syntax stack S s (in FIG. 5).
Notation). Step 7 is on the syntax stack S s ,
Indicates the state in which the subtree of is stored.
次に、ステップ８では、構造解析部１６は、ステップ７の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ２８）。次のアクションがInsNoARGsに決定されると、構文スタックSs、フレームスタックSf、及びキューQに対する操作は行われない。そして、構文スタックSs及びキューQの状態に基づいた終了判定が実行される（上記ステップＳ４０）。ステップ８の構文スタックSs及びキューQの状態は終了条件を満たさないため、ステップ９では、構造解析部１６は、ステップ８の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。 Next, in step 8, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 7, and the analysis model 20. (Step S28 above). If the next action is determined to be InsNoARGs, no operation is performed on the syntax stack S s , frame stack S f , and queue Q. Then, the end determination based on the states of the syntax stack S s and the queue Q is executed (step S40 above). Since the states of the syntax stack S s and the queue Q in step 8 do not satisfy the termination condition, in step 9, the structural analysis unit 16 extracts from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 8. The next action is determined based on the identified nature and the analysis model 20 (step S18 above).
次のアクションがAddFrame(見つける1)に決定されると、構造解析部１６は、AddFrame(見つける1)を実行する（上記ステップＳ２２）。すなわち、構造解析部１６は、述語が取り得る格構造の情報が格納された格フレーム辞書２２を用いて、「見つける1」に関するフレームを作成する。そして、構造解析部１６は、作成したフレームをフレームスタックSfにpushする。図１１に、格フレーム辞書２２に格納される格フレームの一例を示す。各述語に対して格フレームは複数存在することが多く、図１１の例では、「見つける」という述語のうち、１番目の格フレームであることを示している。図１１に示すように、格フレーム辞書２２に格納される格フレームには、フレームIDの他に、フレームの意味クラスと、各項に対する表層格に基づくラベル、意味役割、用例、及び格助詞等が格納される。図５のステップ９のフレームスタックSfの要素f0は、図１１に示す格フレームから作成されたフレームの一例である。この例では、格フレームに基づく情報のほかに、述語に対して子になっている単語（この例では「て」）を「func」（機能語）のラベルに対応付けている。この情報は、解析モデル２０の素性として用いることができる。また、このフレーム全体の主辞となっている単語「見つけ」には「*」を付加して区別している。また、各単語の右下の添字は、入力文を分割して得られた各単語の入力文における単語位置を示している。 When the next action is determined to be AddFrame (find 1 ), the structural analysis unit 16 executes AddFrame (find 1 ) (step S22 above). That is, the structural analysis unit 16 creates a frame related to "find 1 " by using the case frame dictionary 22 in which the case structure information that the predicate can take is stored. Then, the structural analysis unit 16 pushes the created frame to the frame stack S f . FIG. 11 shows an example of a case frame stored in the case frame dictionary 22. There are often a plurality of case frames for each predicate, and in the example of FIG. 11, it is shown that it is the first case frame among the predicate "find". As shown in FIG. 11, in the case frame stored in the case frame dictionary 22, in addition to the frame ID, the semantic class of the frame, labels based on the surface case for each argument, semantic roles, examples, case particles, etc. Is stored. Element f 0 of the frame stack S f in step 9 of FIG. 5 is an example of a frame created from the case frame shown in FIG. In this example, in addition to the information based on the case frame, the word that is a child of the predicate (“” in this example) is associated with the label of “func” (function word). This information can be used as a feature of the analysis model 20. In addition, the word "find", which is the head of the entire frame, is distinguished by adding "*". The subscript at the lower right of each word indicates the word position in the input sentence of each word obtained by dividing the input sentence.
次に、図６のステップ１０では、構造解析部１６は、ステップ９の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ１８）。次のアクションがReduceL(dobj)に決定されると、構造解析部１６は、ReduceL(dobj)を実行する（上記ステップＳ２４）。すなわち、構造解析部１６は、構文スタックSsの要素s0に格納された部分木
から要素s1に格納された部分木
へ関係ラベルdobjを持つ左向きの弧を張る（図６では
と表記）。なお、関係ラベルdobjとは、目的格-述語の関係を表している。また、ステップ１０での構文スタックSsの要素s0は、部分木
が格納されていることを示している。
Next, in step 10 of FIG. 6, the structural analysis unit 16 describes the following features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 9 and the analysis model 20. The action is determined (step S18 above). When the next action is determined to Reduce L (dobj), the structural analysis unit 16 executes Reduce L (dobj) (step S24 above). That is, the structural analysis unit 16 is a subtree stored in the element s 0 of the syntax stack S s.
Subtree stored in element s 1 from
Draw a left-pointing arc with the relation label dobj (in Figure 6)
Notation). The relationship label dobj represents the object-predicate relationship. Also, the element s 0 of the syntax stack S s in step 10 is a subtree.
Indicates that is stored.
また、図３に示したように、構造解析部１６は、ReduceL()を実行する際に、構文スタックSsの要素s0、s1の何れかのrootの単語が述語の場合、追加の処理を実行する。すなわち、構造解析部１６は、ステップ９の状態の構文スタックSsの要素s0のrootの単語「見つけ」が述語であるため、述語の単語wpに「見つけ2」を保存し、項の単語waに「太郎0」を保存する。 Further, as shown in FIG. 3, the structural analysis unit 16 adds when executing Reduce L () when the root word of any of the elements s 0 and s 1 of the syntax stack S s is a predicate. Executes the processing of. That is, since the root word "find" in the element s 0 of the syntax stack S s 0 in the state of step 9 is a predicate, the structural analysis unit 16 saves "find 2 " in the predicate word w p and sets the term. Save "Taro 0 " in the word w a .
次に、ステップ１１では、構造解析部１６は、ステップ１０の状態の構文スタックSs、フレームスタックSf、及びキューQから抽出した素性と、解析モデル２０とに基づいて、次のアクションを決定する（上記ステップＳ２８）。次のアクションがInsARGNV(ARG1)に決定されると、構造解析部１６は、InsARGNV(ARG1)を実行する（上記ステップＳ３４）。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0のフレームの項ARG1に、ステップ１０で保存したwa（＝「太郎0」）を格納する。InsARGNV()では、フレームの主辞は述語とするため、主辞は「見つけ2」から変更しない。 Next, in step 11, the structural analysis unit 16 determines the next action based on the features extracted from the syntax stack S s , the frame stack S f , and the queue Q in the state of step 10 and the analysis model 20. (Step S28 above). When the next action is determined by InsARG NV (ARG1), the structural analysis unit 16 executes InsARG NV (ARG1) (step S34 above). That is, the structural analysis unit 16 stores w a (= “Taro 0 ”) saved in step 10 in the frame term ARG1 of the uppermost element f 0 of the frame stack S f . In InsARG NV (), the head of the frame is a predicate, so the head does not change from "Find 2 ".
同様に処理が進められると、図７のステップ１５の状態から、次のアクションがAddFrame(話しかける1)に決定される。ステップ１６では、構造解析部１６は、ステップ９と同様に、図１２に示す格フレームを用いて、「話しかける1」のフレームを作成し、作成したフレームをフレームスタックSfにpushする。次に、ステップ１６の状態から、次のアクションがReduceL(advcl)に決定される。ステップ１７では、構造解析部１６は、構文スタックSsの要素s0の部分木と要素s1の部分木との間に関係ラベルadvcl（連用修飾の関係）の左向きの弧を張る。 When the process proceeds in the same manner, the next action is determined as AddFrame (speaking 1 ) from the state of step 15 in FIG. In step 16, the structural analysis unit 16 creates a frame of “speaking 1 ” using the case frame shown in FIG. 12, and pushes the created frame to the frame stack S f , as in step 9. Next, from the state of step 16, the next action is determined to Reduce L (advcl). In step 17, the structural analysis unit 16 creates a left-pointing arc of the relationship label advcl (relationship of continuous modification) between the subtree of element s 0 and the subtree of element s 1 of the syntax stack S s .
ステップ１７の状態から、次のアクションがInheritARG(f1,ARG1,ARG2)に決定されると、ステップ１８では、構造解析部１６は、InheritARG(f1,ARG1,ARG2)を実行する（上記ステップＳ３２）。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0のフレームの項ARG2に、要素f1のフレームの項ARG1（＝「太郎0」）をコピーする。従って、ステップ１８の状態では、「話しかけ4」フレームのARG2と「見つけ2」フレームのARG1との間で共通の単語「太郎0」が共有される。この仕組みを使うことで、フレーム間で共有する項を同定することができる。 When the next action is determined to InheritARG (f 1 , ARG1, ARG2) from the state of step 17, in step 18, the structural analysis unit 16 executes InheritARG (f 1 , ARG1, ARG2) (the above step). S32). That is, the structural analysis unit 16 copies the frame term ARG1 (= "Taro 0 ") of the frame of the element f 1 to the frame term ARG2 of the uppermost element f 0 of the frame stack S f . Therefore, in the state of step 18, the common word "Taro 0 " is shared between ARG2 in the "talking 4 " frame and ARG1 in the "finding 2 " frame. By using this mechanism, it is possible to identify terms shared between frames.
次に、ステップ１８の状態から、次のアクションがShiftに決定されてステップ１９の状態となり、次のアクションがReduceL(rcmod)に決定される。図８のステップ２０では、構造解析部１６は、構文スタックSsの要素s0の「人」を主辞とする部分木から要素s1の「話しかけ」を主辞とする部分木へ関係ラベルrcmod（関係節の関係）の左向きの弧を張る。ここで、要素s1のrootの単語「話しかけ」が述語であるため、構造解析部１６は、述語の単語wpに「話しかけ4」を保存し、項の単語waに「人6」を保存する。 Next, from the state of step 18, the next action is determined to be Shift, the state of step 19 is set, and the next action is determined to Reduce L (rcmod). In step 20 of FIG. 8, the structural analysis unit 16 changes the relative label rcmod (from the subtree whose head is "person" in element s 0 of the syntax stack S s to the subtree whose head is "speaking" in element s 1. Draw a left-pointing arc (relationship of relative clauses). Here, since the root word "speaking" of the element s 1 is a predicate, the structural analysis unit 16 saves "speaking 4 " in the predicate word w p and puts "person 6 " in the term word w a. save.
次に、ステップ２０の状態から、次のアクションがInsARGVN(ARG0)に決定されると、ステップ２１では、構造解析部１６は、InsARGVN(ARG0)を実行する（上記ステップＳ３６）。すなわち、構造解析部１６は、フレームスタックSfの最上位の要素f0のフレームの項ARG0に、ステップ２０で保存したwa（＝「人6」）を格納する。また、InsARGVN()では、フレームの主辞は項の単語waとするため、構造解析部１６は、フレームの主辞を「話しかけ4」から「人6」に変更する。 Next, when the next action is determined to InsARG VN (ARG0) from the state of step 20, in step 21, the structural analysis unit 16 executes InsARG VN (ARG0) (step S36 above). That is, the structural analysis unit 16 stores w a (= “person 6 ”) saved in step 20 in the frame term ARG 0 of the uppermost element f 0 of the frame stack S f . In InsARG VN (), the head of the frame is the word w a of the term, so the structural analysis unit 16 changes the head of the frame from "speaking 4 " to "person 6 ".
同様の手順を繰り返し実行することによりステップ２２からステップ３２までの状態を経て図１０のステップ３３の状態になる。なお、図９のステップ２９で用いる格フレームの一例を図１３に示す。ステップ３３の状態になると、終了条件を満たすため、ステップ３４では、構造解析部１６は、フレームスタックSfに存在する格フレームの埋まっていない項に対して、空であることを示す記号φを格納する（上記ステップＳ４２）。 By repeatedly executing the same procedure, the state of step 33 in FIG. 10 is reached through the states from step 22 to step 32. An example of the case frame used in step 29 of FIG. 9 is shown in FIG. In the state of step 33, the end condition is satisfied. Therefore, in step 34, the structural analysis unit 16 sets a symbol φ indicating that the unfilled term of the case frame existing in the frame stack S f is empty. Store (step S42 above).
図１４に、「太郎を見つけて話しかけた人に伝えた」を入力文とした場合の構文解析及び述語項構造解析の解析結果の一例を示す。図１４に示すように、構文解析の解析結果には、単語間のラベルが付与された依存構造による表現が出力されている。また、述語項構造解析の解析結果は、入力文に含まれている述語毎にフレームを構成し、項の情報を同定した結果となっている。述語及び項に含まれている単語は、右下の添字によって元の入力文との対応関係を示しており、「太郎0」のように、フレーム「見つける1」とフレーム「話しかける1」との間で共有されている項の情報が明確になっている。フレームの意味クラス、及び各項の意味役割等は、フレームIDを介して格フレーム辞書２２を参照することによって得ることができる。 FIG. 14 shows an example of the analysis results of the syntactic analysis and the predicate argument structure analysis when "Taro was found and told to the person who spoke" was used as the input sentence. As shown in FIG. 14, in the analysis result of the syntactic analysis, the expression by the dependency structure with the label between words is output. In addition, the analysis result of the predicate term structure analysis is the result of identifying the term information by constructing a frame for each predicate included in the input sentence. The words contained in the predicate and the term indicate the correspondence with the original input sentence by the subscript at the lower right, and the frame "find 1 " and the frame "speak 1 " like "Taro 0 ". The information in the section shared between them is clear. The meaning class of the frame, the meaning role of each term, and the like can be obtained by referring to the case frame dictionary 22 via the frame ID.
また、図１５に、図１４に示した例文に類似する「太郎を見つけて話しかけた事実を知った」を入力文とした場合の構文解析及び述語項構造解析の解析結果の一例を示す。図１５に示すように、この例における構文解析の解析結果は図１４に示した解析結果とほぼ同じ形である。しかしながら、図１４の例では、述語項構造解析の解析結果において「人」が述語である「話しかける」の項になっていることに対し、図１５の例では「事実」が述語である「話しかける」の項になっておらず（ラベルextが付与されている）、ARG0が空（φ）になっており、２つの例での違いが明確に現れている。 Further, FIG. 15 shows an example of the analysis results of the syntactic analysis and the predicate argument structure analysis when "I found Taro and knew the fact that he spoke" similar to the example sentence shown in FIG. 14 was used as the input sentence. As shown in FIG. 15, the analysis result of the syntactic analysis in this example has almost the same form as the analysis result shown in FIG. However, in the example of FIG. 14, in the analysis result of the predicate argument structure analysis, "person" is the predicate "speaking", whereas in the example of FIG. 15, "fact" is the predicate "speaking". ”(Label ext is attached), ARG0 is empty (φ), and the difference between the two examples is clearly visible.
このように、本実施形態によれば、一連の処理手順を行うことによって、単語間の統語的な依存関係（構文解析）、及び述語と項との間の格関係の同定（述語項構造解析）を一貫して行うことができる。 As described above, according to the present embodiment, by performing a series of processing procedures, the syntactic dependency between words (syntactic analysis) and the identification of the case relationship between the predicate and the argument (predicate argument structure analysis) are performed. ) Can be performed consistently.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上記実施の形態では、キューQの先頭から順に要素を取得し、最尤の解析候補のみをスタックに保持して決定単語的に解析を行う場合を例について説明したが、これに限定されない。下記の参考文献７、８に記載されているような、複数の解析候補を同時並行的に保持しながら、動的計画法等を用いて解析候補を探索する方法と組み合わせてもよい。
［参考文献７］Liang Huang and Kenji Sagae: Dynamic programming for linear-time incremental parsing, In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL 2010), pp.1077-1086 (2010).
［参考文献８］Katsuhiko Hayashi, Shuhei Kondo and Yuji Matsumoto: Efficient Stacked Dependency Parsing by Forest Reranking, In Transactions of the Association for Computational Linguistics, vol.1, pp.139-150 (2013).
For example, in the above embodiment, an example has been described in which elements are acquired in order from the beginning of the queue Q, only the maximum likelihood analysis candidates are held in the stack, and analysis is performed in terms of decision words, but the present invention is not limited to this. .. It may be combined with a method of searching for analysis candidates by using a dynamic programming method or the like while holding a plurality of analysis candidates in parallel as described in References 7 and 8 below.
[Reference 7] Liang Huang and Kenji Sagae: Dynamic programming for linear-time incremental parsing, In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL 2010), pp.1077-1086 (2010).
[Reference 8] Katsuhiko Hayashi, Shuhei Kondo and Yuji Matsumoto: Efficient Stacked Dependency Parsing by Forest Reranking, In Transactions of the Association for Computational Linguistics, vol.1, pp.139-150 (2013).
また、例えば、上記実施の形態では、言語解析装置１０の各機能部を、プログラムを実行することによって実現する場合を例に説明したが、これに限定されない。言語解析装置１０の各機能部を、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組み合わせで実現してもよい。 Further, for example, in the above embodiment, the case where each functional unit of the language analysis device 10 is realized by executing a program has been described as an example, but the present invention is not limited to this. Each functional unit of the language analysis device 10 may be realized by hardware such as FPGA (Field-Programmable Gate Array), or may be realized by a combination of hardware and software.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。 Further, in the specification of the present application, the program has been described as a pre-installed embodiment, but the program can be stored in a computer-readable recording medium and provided, or provided via a network. It is also possible to do.
１０ 言語解析装置
１２ 入力部
１４ 形態素解析部
１６ 構造解析部
１８ 出力部
２０ 解析モデル
２２ 格フレーム辞書
10 Language analysis device 12 Input unit 14 Morphological analysis unit 16 Structural analysis unit 18 Output unit 20 Analysis model 22 Case frame dictionary
Claims (5)
前記形態素解析部による形態素解析の結果に基づいて、単語間の統語的な依存関係を表すラベルを付与する依存構造解析と、述語と項との関係を同定する述語項構造解析とを、前記依存構造解析及び前記述語項構造解析の正解データを学習データとして予め構築された解析モデルであって、前記依存構造解析の現時点の解析経過の結果及び前記述語項構造解析の現時点の解析経過の結果から抽出される素性を入力とし、前記依存構造解析に関するアクション及び前記述語項構造解析に関するアクションを含む複数のアクションのうち何れかを次のアクションとして決定し出力とする解析モデルを用いて行う構造解析部と、
を含み、
前記構造解析部は、前記形態素解析部による形態素解析の結果に対し、順次、前記解析モデルを用いて決定された、前記依存構造解析に関するアクション又は前記述語項構造解析に関するアクションを実行する処理を繰り返し、
前記処理の繰り返しの際、前記依存構造解析の現時点の解析経過の結果及び前記述語項構造解析の現時点の解析経過の結果から抽出される素性を前記解析モデルに入力し、前記解析モデルの出力に基づいて、前記依存構造解析に関するアクション又は前記述語項構造解析に関するアクションを決定する言語解析装置。 A morphological analysis unit that divides an input sentence written in natural language into words and performs morphological analysis to give information on part of speech,
Based on the result of the morphological analysis by the morphological analysis unit, the dependency structure analysis for assigning a label representing the syntactic dependency between words and the predicate argument structure analysis for identifying the relationship between the predicate and the argument are performed . It is an analysis model constructed in advance using the correct answer data of the structural analysis and the predicated argument structure analysis as training data, and is the result of the current analysis process of the dependent structure analysis and the current analysis process of the predicated argument structure analysis. It is performed using an analysis model that takes the data extracted from the result as an input and determines one of a plurality of actions including the action related to the dependent structure analysis and the action related to the predicate argument structure analysis as the next action and outputs it. Structural analysis department and
Including
The structural analysis unit sequentially executes an action related to the dependent structure analysis or an action related to the pre-descriptive argument structure analysis determined by using the analysis model on the result of the morphological analysis by the morphological analysis unit. repetition,
When the process is repeated, the characteristics extracted from the result of the current analysis process of the dependent structure analysis and the result of the current analysis process of the pre-descriptive argument structure analysis are input to the analysis model, and the output of the analysis model is output. A language analysis device that determines an action related to the dependent structure analysis or an action related to the pre-argument argument structure analysis based on .
自然言語で記述された入力文を単語に分割し、品詞の情報を付与する形態素解析を行い、
前記形態素解析の結果に基づいて、単語間の統語的な依存関係を表すラベルを付与する依存構造解析と、述語と項との関係を同定する述語項構造解析とを、前記依存構造解析及び前記述語項構造解析の正解データを学習データとして予め構築された解析モデルであって、前記依存構造解析の現時点の解析経過の結果及び前記述語項構造解析の現時点の解析経過の結果から抽出される素性を入力とし、前記依存構造解析に関するアクション及び前記述語項構造解析に関するアクションを含む複数のアクションのうち何れかを次のアクションとして決定し出力とする解析モデルを用いて行うにあたり、前記形態素解析の結果に対し、順次、前記解析モデルを用いて決定された、前記依存構造解析に関するアクション又は前記述語項構造解析に関するアクションを実行する処理を繰り返し、
前記処理の繰り返しの際、前記依存構造解析の現時点の解析経過の結果及び前記述語項構造解析の現時点の解析経過の結果から抽出される素性を前記解析モデルに入力し、前記解析モデルの出力に基づいて、前記依存構造解析に関するアクション又は前記述語項構造解析に関するアクションを決定する
言語解析方法。 It is a language analysis method executed by the language analysis device.
A morphological analysis that divides an input sentence written in natural language into words and gives information on part of speech is performed.
Based on the result of the morphological analysis, the dependency structure analysis for assigning a label representing the syntactic dependency between words and the predicate argument structure analysis for identifying the relationship between the predicate and the argument are performed in the dependency structure analysis and the preceding. It is an analysis model constructed in advance using the correct answer data of the descriptive argument structure analysis as training data, and is extracted from the result of the current analysis process of the dependent structure analysis and the result of the current analysis process of the predicated argument structure analysis. When using an analysis model in which one of a plurality of actions including the action related to the dependent structure analysis and the action related to the predicated argument structure analysis is determined as the next action and output, the morphological element is used. The process of sequentially executing the action related to the dependent structure analysis or the action related to the predicated argument structure analysis determined by using the analysis model is repeated for the analysis result.
When the process is repeated, the characteristics extracted from the result of the current analysis process of the dependent structure analysis and the result of the current analysis process of the pre-argument argument structure analysis are input to the analysis model, and the output of the analysis model is output. A language analysis method for determining an action related to the dependent structure analysis or an action related to the pre-argument argument structure analysis based on the above .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017139783A JP6782929B2 (en) | 2017-07-19 | 2017-07-19 | Language analyzers, methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017139783A JP6782929B2 (en) | 2017-07-19 | 2017-07-19 | Language analyzers, methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019021096A JP2019021096A (en) | 2019-02-07 |
| JP6782929B2 true JP6782929B2 (en) | 2020-11-11 |
Family
ID=65353162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017139783A Active JP6782929B2 (en) | 2017-07-19 | 2017-07-19 | Language analyzers, methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6782929B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134949B (en) * | 2019-04-26 | 2022-10-28 | 网宿科技股份有限公司 | Text labeling method and equipment based on teacher supervision |
-
2017
- 2017-07-19 JP JP2017139783A patent/JP6782929B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019021096A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu | Computational methods for corpus annotation and analysis | |
| US10157171B2 (en) | Annotation assisting apparatus and computer program therefor | |
| JP4576397B2 (en) | Evaluation information extraction apparatus, evaluation information extraction method and program thereof | |
| JP5197774B2 (en) | Learning device, determination device, learning method, determination method, learning program, and determination program | |
| Bod | Is the end of supervised parsing in sight? | |
| US20050273316A1 (en) | Apparatus and method for translating Japanese into Chinese and computer program product | |
| Thomas | Natural language processing with spark NLP: learning to understand text at scale | |
| JP5564705B2 (en) | Sentence structure analyzing apparatus, sentence structure analyzing method, and sentence structure analyzing program | |
| Orosz et al. | PurePos–an open source morphological disambiguator | |
| Aliwy | Tokenization as preprocessing for Arabic tagging system | |
| JP6782929B2 (en) | Language analyzers, methods, and programs | |
| Nguyen et al. | Normalization of vietnamese tweets on twitter | |
| Sunitha | A hybrid Parts Of Speech tagger for Malayalam language | |
| Pinnis et al. | Tilde MT platform for developing client specific MT solutions | |
| Hatem et al. | Morphological analysis for rule based machine translation | |
| US20200104356A1 (en) | Experiential parser | |
| Arts | The Making of a Large English-Arabic/Arabic-English Dictionary: the Oxford Arabic Dictionary | |
| JP5087994B2 (en) | Language analysis method and apparatus | |
| JP6663881B2 (en) | Parallel phrase analysis device, parallel phrase analysis model learning device, method, and program | |
| JP5150277B2 (en) | LANGUAGE PROCESSING DEVICE, LANGUAGE PROCESSING METHOD, LANGUAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING LANGUAGE PROCESSING PROGRAM | |
| Markievicz et al. | Reading comprehension of natural language instructions by robots | |
| Dissanayake et al. | Enhancing conversational ai model performance and explainability for sinhala-english bilingual speakers | |
| Belyy et al. | Guided K-best Selection for Semantic Parsing Annotation | |
| JP2017208049A (en) | Language analysis device, language analysis method, and program | |
| Almuntashiri et al. | Arabic Auto-CON: Automated Arabic Concordancer Construction from Arabic Corpus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6782929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |