JP2018109862A - 句構造解析装置およびプログラム - Google Patents

Abstract

【課題】解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる句構造解析装置を実現する。【解決手段】句構造解析装置１０００は、文データを解析するためのアクションを設定するアクション設定部１と、素性テンプレートに基づいて各アクションが実行されたときの第１スコアを取得する第１スコア取得部３と、ＲＮＮにより各アクションが実行されたときの第２スコアを取得する第２スコア取得部４とを備える。句構造解析装置１０００では、スコア統合部５が第１スコアと第２スコアを統合して取得した統合スコアにより、文データを解析処理における各段階の最適なアクションを特定する。そして、句構造解析装置１０００では、特定されたアクション系列により、入力された文データの句構造解析結果が取得される。【選択図】図１

Description

本発明は、文の構文構造を解析する技術に関し、特に遷移型句構造解析を用いる技術に関する。

近年、文の構文構造を解析する技術として、遷移型句構造解析による手法が開発されている。

例えば、非特許文献１に開示されている技術（遷移型句構造解析による手法を用いた技術）では、予め人により定められた素性テンプレートを用いて、文の構文構造を解析する。

非特許文献１の技術では、まず、解析対象の単語、解析対象の品詞、親ノードの単語、親ノードの品詞、子ノードの単語、子ノードの品詞、２つ先の親ノードの単語、２つ先の親ノードの品詞等を考慮して、素性テンプレートを人が作成する。

そして、非特許文献１の技術では、上記のようにして生成された素性テンプレートを用いて、文の構文解析を行う。

Muhua Zhu, Yue Zhang, Wenliang Chen, Min Zhang, and Jingbo Zhu. 2013. Fast and accurate shift-reduce constituent parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 434-443.

しかしながら、非特許文献１の技術では、予め用意された素性テンプレートを用いるため、解析履歴の情報として限定的な情報（素性テンプレートに定められたパターンの履歴情報）しか活用することができない。その結果、非特許文献１の技術では、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することは困難である。

本発明は上記課題に鑑み、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる句構造解析装置およびプログラムを実現することを目的とする。

上記課題を解決するために第１の発明は、アクションを時系列に実行することで文章の句構造を解析する句構造解析装置であって、アクション設定部と、キューメモリと、スタックメモリと、第１スコア取得部と、第２スコア取得部と、スコア統合部と、アクション決定部と、を備える。

キューメモリは、文章についてのデータである文データを入力し保持する。

スタックメモリは、キューメモリから出力されるデータを保持する。

第１スコア取得部は、アクション設定部により設定されたアクションが実行されたとき、キューメモリに保持されているデータとスタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得し、取得した素性ベクトルに基づいて、第１スコアを取得する。

第２スコア取得部は、入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを有する第１ＲＮＮ部を含み、再帰型ニューラルネットワークを用いて取得した第２スコアを取得する。

スコア統合部は、第１スコアと第２スコアとを統合することで統合スコアを取得する。

アクション決定部は、統合スコアに基づいて、文章の句構造の解析の各段階のアクションを決定する。

第１ＲＮＮ部の入力層は、アクション設定部により設定されたアクションの情報と、アクションが実行されたときのキューメモリに保持されているデータおよびアクションが実行されたときのスタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから第１ＲＮＮ部の隠れ層に出力するためのデータを取得する。

第１ＲＮＮ部の隠れ層は、第１ＲＮＮ部の入力層により取得されたデータと保持部により保持されているデータとに基づいて、第１ＲＮＮ部の出力層に出力するためのデータを取得する。

第１ＲＮＮ部の出力層は、第１ＲＮＮ部の隠れ層により取得されたデータに基づいて、第２スコアを取得する。

この句構造解析装置では、素性テンプレートを用いて取得した第１スコアと、ＲＮＮにより取得した第２スコアとを統合した統合スコアを用いて、句構造解析のために最適なアクションを決定することができる。この句構造解析装置では、第２スコア取得部の隠れ層に、句構造解析の各段階において選択された決定アクション（過去の全ての決定アクション）を反映しているデータが入力されている。

従って、この句構造解析装置では、第２スコア取得部により、過去の全ての決定アクション（過去の全ての解析履歴）を考慮した第２スコアを取得することができる。このように、この句構造解析装置では、人手により決定された素性テンプレートを用いて取得するだけでは取得することができない過去の全ての解析履歴を考慮した第２スコアを取得でき、第２スコアを用いて、各段階の最適なアクションを決定することができる。

その結果、この句構造解析装置では、人手により決定された素性テンプレートを用いたスコアのみにより句構造解析の各段階の最適アクションを決定する場合に比べて、高精度に最適アクションを決定することができる。つまり、この句構造解析装置では、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる。

第２の発明は、第１の発明であって、第１スコア取得部は、さらに、素性テンプレート格納部と、素性ベクトル取得部と、パラメータ保持部と、第１スコア算出部と、を備える。

素性テンプレート格納部は、文データの素性を評価するための素性ベクトルを取得するために参照する素性テンプレートを保持する。

素性ベクトル取得部は、アクション設定部により設定されたアクションが実行されたとき、素性テンプレートに基づいて、キューメモリに保持されているデータとスタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得する。

パラメータ保持部は、素性テンプレートに基づいて、文データを用いて機械学習することで取得した素性ベクトル用のパラメータを保持する。

第１スコア算出部は、素性ベクトルと前記パラメータとを用いて第１スコアを算出する。

第３の発明は、第２の発明であって、第２スコア取得部は、第２〜第ＮＲＮＮ部と、第２スコア統合部と、をさらに備える。

第ｋＲＮＮ部（ｋ：自然数、１≦ｋ≦Ｎ）は、入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを有する。

第ｋＲＮＮ部の入力層は、アクション設定部により設定されたアクションの情報と、アクションが実行されたときのキューメモリに保持されているデータおよびアクションが実行されたときのスタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから第ｋＲＮＮ部の隠れ層に出力するためのデータを取得する。

第ｋＲＮＮ部の隠れ層は、第ｋＲＮＮ部の入力層により取得されたデータと保持部により保持されているデータとに基づいて、第ｋＲＮＮ部の出力層に出力するためのデータを取得する。

第ｋＲＮＮ部の出力層は、第ｋＲＮＮ部の隠れ層により取得されたデータに基づいて、第ｋＲＮＮスコアを取得する。

第２スコア統合部は、アクションをアクションａ_ｉ（ｊ）とし、アクションａ_ｉ（ｊ）が実行されたときに第ｋＲＮＮ部の出力層により取得される第ｋＲＮＮスコアをｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））とし、ｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））の重み付け係数をλ_ｋとし、第２スコアをｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））とすると、

により、第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。

この句構造解析装置では、素性テンプレートを用いて取得した第１スコアと、Ｎ個（Ｎ：自然数）のＲＮＮにより取得した第２スコアとを統合した統合スコアを用いて、句構造解析のために最適なアクションを決定することができる。この句構造解析装置では、第１〜第ＮＲＮＮ部の各隠れ層に、句構造解析の各段階において選択された決定アクション（過去の全ての決定アクション）を反映しているデータが入力されている。

従って、この句構造解析装置では、過去の全ての決定アクション（過去の全ての解析履歴）を考慮した第２スコア（第１〜第ＮＲＮＮスコアを統合したスコア）を取得することができる。このように、この句構造解析装置では、人手により決定された素性テンプレートを用いて取得するだけでは取得することができない過去の全ての解析履歴を考慮した第２スコアを取得でき、第２スコアを用いて、各段階の最適なアクションを決定することができる。

その結果、この句構造解析装置では、人手により決定された素性テンプレートを用いたスコアのみにより句構造解析の各段階の最適アクションを決定する場合に比べて、高精度に最適アクションを決定することができる。つまり、この句構造解析装置では、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる。

さらに、この句構造解析装置では、異なるアクション系列データにより学習し最適化した複数のＲＮＮを用いて、各アクションの評価を行うことができる。各ＲＮＮを多様な句構造解析に応じて最適化させることで、この句構造解析装置では、多様な文のデータに対しても最適なアクション系列を高精度に取得し、その結果、高精度の句構造解析を実現することができる。

なお、「第２〜第ＮＲＮＮ部」という表記は、第２番目のＲＮＮ部（第２ＲＮＮ部）から第Ｎ番目のＲＮＮ部（第ＮＲＮＮ部）の合計（Ｎ−１）個のＲＮＮ部を表している。

第４の発明は、文章についてのデータである文データを入力し保持するキューメモリと、キューメモリから出力されるデータを保持するスタックメモリと、文データの素性を評価するための素性ベクトルを取得するために参照する素性テンプレートを保持する素性テンプレート格納部と、を備える句構造解析装置に用いられる句構造解析方法をコンピュータに実行させるためのプログラムである。

句構造解析方法は、アクションを時系列に実行することで文章の句構造を解析する方法であって、アクション設定ステップと、素性ベクトル取得ステップと、パラメータ保持ステップと、第１スコア算出ステップと、第２スコア取得ステップと、スコア統合ステップと、アクション決定ステップと、を備える。

アクション設定ステップは、文章の句構造を解析するためのアクションを設定する。

第１スコア取得ステップは、アクション設定ステップにより設定されたアクションが実行されたとき、素性テンプレートに基づいて、キューメモリに保持されているデータとスタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得し、取得した前記素性ベクトルに基づいて、第１スコアを取得する。

第２スコア取得ステップは、入力層用処理ステップと、隠れ層用処理ステップと、出力層用処理ステップと、隠れ層用処理ステップの出力を保持する保持ステップと、を含む再帰型ニューラルネットワーク用処理を実行する第１ＲＮＮステップを含み、再帰型ニューラルネットワーク用処理を実行して取得した第２スコアを取得する。

スコア統合ステップは、第１スコアと第２スコアとを統合することで統合スコアを取得する。

アクション決定ステップは、統合スコアに基づいて、文章の句構造の解析の各段階のアクションを決定する。

第１ＲＮＮステップの入力層用処理ステップでは、アクション設定ステップにより設定されたアクションの情報と、アクションが実行されたときのキューメモリに保持されているデータおよびアクションが実行されたときのスタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから第１ＲＮＮステップの隠れ層用処理ステップで使用するためのデータを取得する。

第１ＲＮＮステップの隠れ層用処理ステップでは、第１ＲＮＮステップの入力層用処理ステップにより取得されたデータと保持ステップにより保持されているデータとに基づいて、第１ＲＮＮステップの出力層用処理ステップで使用するためのデータを取得する。

第１ＲＮＮステップの出力層用処理ステップでは、第１ＲＮＮステップの隠れ層処理用ステップにより取得されたデータに基づいて、第２スコアを取得する。

これにより、第１の発明と同様の効果を奏する句構造解析方法をコンピュータに実行させるためのプログラムを実現することができる。

第５の発明は、第４の発明であって、第１スコア取得ステップは、さらに、素性ベクトル取得ステップと、パラメータ保持ステップと、第１スコア算出ステップと、を備える。

素性ベクトル取得ステップは、アクション設定ステップにより設定されたアクションが実行されたとき、素性テンプレートに基づいて、キューメモリに保持されているデータとスタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得する。

パラメータ保持ステップは、素性テンプレートに基づいて、文データを用いて機械学習することで取得した素性ベクトル用のパラメータを保持する。

第１スコア算出ステップは、素性ベクトルとパラメータとを用いて第１スコアを算出する。

第２スコア取得ステップは、第２〜第ＮＲＮＮステップと、第２スコア統合ステップと、をさらに備える。

第ｋＲＮＮステップ（ｋ：自然数、１≦ｋ≦Ｎ）は、入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを用いた処理を実行する。

第ｋＲＮＮステップの入力層での処理は、アクション設定ステップにより設定されたアクションの情報と、アクションが実行されたときのキューメモリに保持されているデータおよびアクションが実行されたときの前記スタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから第ｋＲＮＮステップの隠れ層に出力するためのデータを取得する処理である。

第ｋＲＮＮステップの隠れ層での処理は、第ｋＲＮＮステップの入力層の処理により取得されたデータと保持部により保持されているデータとに基づいて、第ｋＲＮＮステップの出力層に出力するためのデータを取得する処理である。

第ｋＲＮＮステップの出力層での処理は、第ｋＲＮＮステップの隠れ層の処理により取得されたデータに基づいて、第ｋＲＮＮスコアを取得する処理である。

第２スコア統合ステップは、アクションをアクションａ_ｉ（ｊ）とし、アクションａ_ｉ（ｊ）が実行されたときに第ｋＲＮＮステップの出力層での処理により取得される第ｋＲＮＮスコアをｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））とし、ｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））の重み付け係数をλ_ｋとし、前記第２スコアをｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））とすると、

により、第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。

これにより、第３の発明と同様の効果を奏する句構造解析方法をコンピュータに実行させるためのプログラムを実現することができる。

本発明によれば、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる句構造解析装置およびプログラムを実現することができる。

第１実施形態に係る句構造解析装置１０００の概略構成図。 第１実施形態に係る第１スコア取得部３の概略構成図。 第１実施形態に係る第２スコア取得部４の概略構成図。 句構造解析装置１０００で実行される句構造解析処理のフローチャート。 句構造解析装置１０００で句構造解析処理を実行したときのスタックＭｓとキューＭｑの状態を模式的に示す図。 木構造の解析結果を示す図。 第２実施形態に係る句構造解析装置２０００の概略構成図。 第２実施形態に係る第２スコア取得部４Ａの概略構成図。 第２実施形態に係る第２ＲＮＮ部４２の概略構成図。 第２実施形態に係る第３ＲＮＮ部４３の概略構成図。 句構造解析装置２０００で句構造解析処理を実行したときのスタックＭｓおよびキューＭｑの状態と、決定アクションａｉ＿ｄｅｔに対応するアクションであって第２ＲＮＮ部４２に入力されたアクションとを模式的に示す図。 句構造解析装置２０００で句構造解析処理を実行したときのスタックＭｓおよびキューＭｑの状態と、決定アクションａｉ＿ｄｅｔに対応するアクションであって第３ＲＮＮ部４３に入力されたアクションとを模式的に示す図。 木構造の解析結果を示す図。 ＣＰＵバス構成を示す図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。

＜１．１：句構造解析装置の構成＞
図１は、第１実施形態に係る句構造解析装置１０００の概略構成図である。

図２は、第１実施形態に係る第１スコア取得部３の概略構成図である。

図３は、第１実施形態に係る第２スコア取得部４の概略構成図である。

句構造解析装置１０００は図１に示すように、キューメモリＭｑ（Ｆｉｒｓｔ−ｉｎ−Ｆｉｒｓｔ−ｏｕｔ型のメモリ：以下、「キューＭｑ」とという）と、スタックメモリＭｓ（Ｌａｓｔ−ｉｎ−Ｆｉｒｓｔ−ｏｕｔ型のメモリ：以下、「スタックＭｓ」という）と、アクション設定部１と、現状態保持部２と、第１スコア取得部３と、第２スコア取得部４と、スコア統合部５と、スコア保持部６と、アクション決定部７と、解析結果出力部８と、スタック状態記憶部９とを備える。

キューＭｑは、文章のデータＤｉｎを入力する。また、キューＭｑは、アクション設定部１から出力される制御信号Ｃｔｌ＿ｑｕｅｕｅを入力する。キューＭｑは、制御信号Ｃｔｌ＿ｑｕｅｕｅに従い、保持しているデータを、第１スコア取得部３にデータＤ１＿ｑｕｅｕｅとして出力し、また、第２スコア取得部４にデータＤ２＿ｑｕｅｕｅとして出力する。

また、キューＭｑは、第１スコア取得部３から出力される信号Ｒｅｑ＿ｑｕｅｕｅを入力し、入力された信号Ｒｅｑ＿ｑｕｅｕｅに従い、保持しているデータを、第１スコア取得部３にデータＤ１＿ｑｕｅｕｅとして出力する。

また、キューＭｑは、データＤ１＿ｑｕｅｕｅをスタックＭｓに出力する。

キューＭｑは、キューＭｑの現在の状態を示す情報を含む信号を現状態保持部２に出力する。また、キューＭｑは、現状態保持部２から所定の状態に戻す指令信号を受信した場合、当該指令信号に従い、キューＭｑの状態を所定の状態に戻す。

スタックＭｓは、キューＭｑから出力されるデータＤ１＿ｑｕｅｕｅを入力する。また、スタックＭｓは、アクション設定部１から出力される制御信号Ｃｔｌ＿ｓｔａｃｋを入力する。スタックＭｓは、制御信号Ｃｔｌ＿ｓｔａｃｋに従い、保持しているデータを、第１スコア取得部３にデータＤ１＿ｓｔａｃｋとして出力し、また、第２スコア取得部４にデータＤ２＿ｓｔａｃｋとして出力する。

また、スタックＭｓは、第１スコア取得部３から出力される信号Ｒｅｑ＿ｓｔａｃｋを入力し、入力された信号Ｒｅｑ＿ｓｔａｃｋに従い、保持しているデータを、第１スコア取得部３にデータＤ１＿ｓｔａｃｋとして出力する。

スタックＭｓは、スタックＭｓの現在の状態を示す情報を含む信号を現状態保持部２に出力する。また、スタックＭｓは、現状態保持部２から所定の状態に戻す指令信号を受信した場合、当該指令信号に従い、スタックＭｓの状態を所定の状態に戻す。

アクション設定部１は、文の構文構造を解析するときのｉ番目（ｉ：自然数、１≦ｉ≦Ｎ）のアクションａ_ｉ（＝ａ_ｉ＿ｄｅｔ）を決定するためにＪ個のアクションの中から選んだ１つのアクションａ_ｉ（ｊ）（１≦ｊ≦Ｊ、Ｊ：自然数）の情報を第１スコア取得部３および第２スコア取得部４に出力する。

また、アクション設定部１は、アクションａ_ｉ（ｊ）に応じて、キューＭｑを操作するための制御信号Ｃｔｌ＿ｑｕｅｕｅおよびスタックＭｓを操作するための制御信号Ｃｔｌ＿ｓｔａｃｋを生成する。そして、アクション設定部１は、生成した制御信号Ｃｔｌ＿ｑｕｅｕｅをキューＭｑに出力するとともに、生成した制御信号Ｃｔｌ＿ｓｔａｃｋをスタックＭｓに出力する。

また、アクション設定部１は、スコア保持部６に制御信号Ｃｔｌ＿ｅｎｄを出力する。制御信号Ｃｔｌ＿ｅｎｄは、アクション設定部１がＪ個のアクションａ_ｉ（ｊ）の情報を全て出力し終わったときにスコア保持部６を制御するための信号である。

現状態保持部２は、キューＭｑから出力されるキューＭｑの現在の状態を示す情報を含む信号を入力したとき、現在有効なアクションと組み合わせて、当該キューＭｑの現在の状態を示す情報を保持する。また、現状態保持部２は、スタックＭｓから出力されるスタックＭｓの現在の状態を示す情報を含む信号を入力したとき、当該スタックＭｓの現在の状態を示す情報を保持する。

また、現状態保持部２は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力する。現状態保持部２は、制御信号Ｃｔｌ＿ｎｅｘｔが入力されたとき、当該制御信号Ｃｔｌ＿ｎｅｘｔに従い、アクションａ_ｉ（ｊ）を実行する前の状態にキューＭｑおよびスタックＭｓを戻すための信号を生成し、キューＭｑおよびスタックＭｓに出力する。

また、現状態保持部２は、アクション決定部７から出力される制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を入力する。現状態保持部２は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたとき、当該制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）に従い、アクションａ_ｉ＿ｄｅｔが実行されたときの状態にキューＭｑおよびスタックＭｓを戻すための信号を生成する。そして、現状態保持部２は、生成した信号をキューＭｑおよびスタックＭｓに出力する。

また、現状態保持部２は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたとき、アクションａ_ｉ＿ｄｅｔが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）をスタック状態記憶部９に記憶する。

第１スコア取得部３は、図２に示すように、素性ベクトル取得部３１と、素性テンプレート格納部３２と、パラメータ保持部３４と、第１スコア算出部３３とを備える。

素性ベクトル取得部３１は、素性テンプレート格納部３２から素性テンプレートのデータと、アクション設定部１から出力されるアクションａ_ｉ（ｊ）の情報とを入力する。また、素性ベクトル取得部３１は、スタックＭｓから出力されるデータＤ１＿ｓｔａｃｋと、キューＭｑから出力されるデータＤ１＿ｑｕｅｕｅとを入力する。

また、素性ベクトル取得部３１は、スタックＭｓから所定のデータを取り出すための信号Ｒｅｑ＿ｓｔａｃｋをスタックＭｓに出力し、キューＭｑから所定のデータを取り出すための信号Ｒｅｑ＿ｑｕｅｕｅをキューＭｑに出力する。

素性ベクトル取得部３１は、アクションａ_ｉ（ｊ）の素性ベクトルΦ（ａ_ｉ（ｊ））（アクションａ_ｉ（ｊ）についての素性ベクトル）を取得し、第１スコア算出部３３に出力する。

素性テンプレート格納部３２は、素性テンプレートのデータを格納する。素性テンプレート格納部３２は、素性ベクトル取得部３１からの要求に従い、素性テンプレート格納部３２に格納されている素性テンプレートのデータを素性ベクトル取得部３１に出力する。

パラメータ保持部３４は、素性ベクトル取得部３１から出力される素性ベクトルΦ（ａ_ｉ（ｊ））と内積をとるためのパラメータθ（ベクトルデータ）を保持しており、パラメータθのデータを第１スコア算出部３３に出力する。

第１スコア算出部３３は、素性ベクトル取得部３１から出力される素性ベクトルΦ（ａ_ｉ（ｊ））のデータと、パラメータ保持部３４から出力されるパラメータθのデータとを入力する。そして、第１スコア算出部３３は、素性ベクトルΦ（ａ_ｉ（ｊ））とパラメータθとを用いて内積により第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））を取得し、スコア統合部５に出力する。

第２スコア取得部４は、図３に示すように、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いて構成される第１ＲＮＮ部４１を備える。

第１ＲＮＮ部４１は、入力層４１１と、隠れ層４１２と、保持部４１３と、ＨＬ現状態保持部４１４と、出力層４１５とを備える。

入力層４１１は、アクション設定部１から出力されるアクションａ_ｉ（ｊ）のデータと、スタックＭｓから出力されるデータＤ２＿ｓｔａｃｋと、キューＭｑから出力されるデータＤ２＿ｑｕｅｕｅとを入力する。入力層４１１は、入力されたアクションａ_ｉ（ｊ）、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、データｘ_ｉ（ｊ）を取得し、隠れ層４１２に出力する。

隠れ層４１２は、入力層４１１から出力されるデータｘ_ｉ（ｊ）と、保持部４１３から出力されるデータｙ_ｉ−１とを入力として、下記に相当する処理を行い、データｙ_ｉを取得する。
ｙ_ｉ（ｊ）＝ｆ（Ｈ×ｘ_ｉ（ｊ）＋Ｒ×ｙ_ｉ−１＋Ｂ）
ｆ（）：活性化関数
Ｈ：｜ｙ_ｉ（ｊ）｜×｜ｘ_ｉ（ｊ）｜の行列
Ｒ：｜ｙ_ｉ（ｊ）｜×｜ｙ_ｉ−１｜の行列
Ｂ：｜ｙ_ｉ（ｊ）｜×１の行列
なお、データｙ_ｉ−１は、ｉ−１番目のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）が入力層４１１に入力されているときに隠れ層４１２から出力されるデータと同じデータである。

また、｜ｘ｜は、ｘ（ｘ：ベクトル）の要素数を示している。

隠れ層４１２は、上記のようにして取得したデータｙ_ｉ（ｊ）を保持部４１３および出力層４１５に出力する。

保持部４１３は、隠れ層４１２から出力されるデータｙ_ｉ（ｊ）を入力し保持する。そして、保持部４１３は、隠れ層４１２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１から取得したデータｙ_ｉ−１を隠れ層４１２に出力する。

また、保持部４１３は、隠れ層４１２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４１４に出力する。

ＨＬ現状態保持部４１４は、保持部４１３から出力される隠れ層４１２の現在の出力状態を示す情報を含む信号が入力されたとき、当該隠れ層４１２の現在の出力状態を示す情報を保持する。

また、ＨＬ現状態保持部４１４は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力する。ＨＬ現状態保持部４１４は、制御信号Ｃｔｌ＿ｎｅｘｔが入力されたとき、当該制御信号Ｃｔｌ＿ｎｅｘｔに従い、ｉ−１番目のアクションａ_ｉ−１が実行された後の状態に保持部４１３を戻すための信号を生成し、保持部４１３に出力する。

また、ＨＬ現状態保持部４１４は、アクション決定部７から出力される制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を入力する。ＨＬ現状態保持部４１４は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたとき、当該制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）に従い、アクションａ_ｉ＿ｄｅｔが実行されたときに隠れ層４１２から出力されていたデータｙ_ｉ（ｊ）を保持する。そして、ＨＬ現状態保持部４１４は、ｉ＋１番目のアクションを決定する処理が実行されるときに、保持したデータｙ_ｉ（ｊ）（ｊは、ａ_ｉ（ｊ）＝ａ_ｉ＿ｄｅｔを満たすｊ）を保持部４１３から出力させる信号を保持部４１３に出力する。

出力層４１５は、隠れ層４１２から出力されるデータｙ_ｉ（ｊ）を入力する。出力層４１５は、以下の処理により第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））＝Ｏ×ｙ_ｉ（ｊ）＋Ｂ_Ｏ
Ｏ：１×｜ｙ_ｉ（ｊ）｜の行列
Ｂ_Ｏ：バイアス項
出力層４１５は、上記処理により取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））をスコア統合部５に出力する。

図１を参照して、スコア統合部５は、第１スコア取得部３から出力される第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））と、第２スコア取得部４から出力される第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を入力する。スコア統合部５は、第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））および第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を統合する処理を行い統合スコアｓｃｒ（ａ_ｉ（ｊ））を取得し、スコア保持部６に出力する。

スコア保持部６は、スコア統合部５から出力される統合スコアｓｃｒ（ａ_ｉ（ｊ））を入力し保持する。スコア保持部６は、スコア統合部５から統合スコアｓｃｒ（ａ_ｉ（ｊ））が入力されたとき、制御信号Ｃｔｌ＿ｎｅｘｔを生成し、アクション設定部１、現状態保持部２および第２スコア取得部４の中のＨＬ現状態保持部４１４に出力する。

また、スコア保持部６は、アクション設定部１から制御信号Ｃｔｌ＿ｅｎｄが入力されたとき、保持しているＪ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））をアクション決定部７に出力する。

アクション決定部７は、スコア保持部６から出力されるＪ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））を入力する。アクション決定部７は、Ｊ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））の中で最大値をとる統合スコアを決定スコアｓｃｒ（ａ_ｉ＿ｄｅｔ）として取得し、設定（決定）する。

アクション決定部７は、取得した決定スコアｓｃｒ（ａ_ｉ＿ｄｅｔ）を解析結果出力部８に出力する。

また、アクション決定部７は、スタックＭｓおよびキューＭｑを決定アクションａ_ｉ＿ｄｅｔが実行されたときの状態に戻すための制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を現状態保持部２および第２スコア取得部４に出力する。

解析結果出力部８は、アクション決定部７から出力される決定スコアｓｃｒ（ａ_ｉ＿ｄｅｔ）を入力する。解析結果出力部８は、決定スコアｓｃｒ（ａ_ｉ＿ｄｅｔ）を積算し、入力された文のスコアを取得する。また、解析結果出力部８は、スタック状態記憶部９から各アクションが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を解析することで、句構造解析装置１０００に入力された文の構造を示すデータを取得する。

解析結果出力部８は、上記のようにして取得した文のスコアおよび文の構造を示すデータを含むデータをデータＤｏｕｔとして出力する。

スタック状態記憶部９は、アクションａ_ｉ＿ｄｅｔが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を記憶する。具体的には、スタック状態記憶部９は、現状態保持部２に制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたときに現状態保持部２がスタックＭｓから取得したアクションａ_ｉ＿ｄｅｔが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を記憶する。

＜１．２：句構造解析装置の動作＞
以上のように構成された句構造解析装置１０００の動作について、図面を参照しながら以下説明する。

図４は、句構造解析装置１０００で実行される句構造解析処理のフローチャートである。

図５は、句構造解析装置１０００で句構造解析処理を実行したときのスタックＭｓとキューＭｑの状態を模式的に示す図である。

以下では文章のデータＤｉｎとして「John has a dog .」という英文が品詞付きで入力された場合の句構造解析装置１０００の動作について説明する。

なお、句構造解析装置１０００に入力されるデータＤｉｎを「John:N has:VB a:DT dog:N .」と表現する。ここで「N」は名詞を表し、「VB」は動詞を表し、「DT」は限定詞を表している。

また、以下では句構造解析装置１０００で用いられるアクションが以下のものである場合について説明する。
（１）SHIFT：キューＭｑから１語を取り出しスタックＭｓに入力するアクション。
（２）REDUCE-L/R-X：スタックＭｓから２つのデータを取り出し（ＰＯＰ動作を２回行い）、取り出した２つのデータを結合しラベルＸを付し、新たなデータとしてスタックＭｓに戻す。なお、「REDUCE-L-X」の場合、スタックＭｓから取り出す２つのデータは、スタックＭｓのボトムの２つのデータである。「REDUCE-R-X」の場合、スタックＭｓから取り出す２つのデータは、スタックＭｓのトップの２つのデータである。
（３）UNARY-X：スタックＭｓからスタックＭｓのトップのデータを取り出し（ＰＯＰ動作を１回行い）、取り出したデータにラベルＸを付し、新たなデータとしてスタックＭｓに戻す。
（４）FINISH：キューＭｑからルートノードを取り出し、句構造解析を終了させる。
（５）IDLE：状態を保持し、ステップを１つ進める。

なお、上記においてラベルXとして、例えば、「NP」（名詞句）、「VP」（動詞句）、「S」（センテンス）、「S*」（文の構造解析結果を２分木データとして維持させるために用いられる暫定ノード用ラベル）等が付与される。

（ステップＳ１）：
句構造解析装置１０００のキューＭ１にデータＤｉｎ（「John:N has:VB a:DT dog:N .」）が入力される。

（ステップＳ２）：
現状態保持部２は、キューＭｑからキューＭｑの現在の状態（現状態ｓｔａｔｅ＿ｎｏｗ１）を示す情報を含む信号を入力し当該キューＭｑの現在の状態を示す情報を保持する。また、現状態保持部２は、スタックＭｓからスタックＭｓの現在の状態を示す情報を含む信号を入力し当該スタックＭｓの現在の状態を示す情報を保持する。

（ステップＳ３）：
第１ＲＮＮ部４１のＨＬ現状態保持部４１４は、保持部４１３から出力される隠れ層４１２の現在の出力状態（隠れ層４１２の現状態ｓｔａｔｅ＿ｎｏｗ２）を示す情報を含む信号が入力し、当該隠れ層４１２の現在の出力状態を示す情報を保持する。

（ステップＳ４）：
アクション設定部１は、アクションａ_ｉ（ｊ）を選択し、選択したアクションａ_ｉ（ｊ）の情報を第１スコア取得部３および第２スコア取得部４に出力する。

（ステップＳ５）：
第１スコア取得部３は、第１スコアを取得する処理を実行する。

ここでステップＳ５の詳細な動作について説明する。素性ベクトル取得部３１は、素性テンプレート格納部３２から素性テンプレートのデータと、アクション設定部１から出力されるアクションａ_ｉ（ｊ）の情報とを入力する。また、素性ベクトル取得部３１は、スタックＭｓから出力されるデータＤ１＿ｓｔａｃｋと、キューＭｑから出力されるデータＤ１＿ｑｕｅｕｅと、アクション設定部１から出力されるアクションａ_ｉ（ｊ）の情報を入力する。

素性ベクトル取得部３１は、アクションａ_ｉ（ｊ）の素性ベクトルΦ（ａ_ｉ（ｊ））を取得する。例えば、素性テンプレートが以下の素性の評価を行うことを示している場合、アクションａ_ｉ（ｊ）が実行されたときのスタックＭｓおよびキューＭｑのデータを取得し以下の素性（例えば、以下に示す（１）〜（８）の素性）を評価し、評価値をベクトルの要素とする素性ベクトルΦ（ａ_ｉ（ｊ））を取得する。
（１）解析対象の単語
（２）解析対象の品詞
（３）親ノードの単語
（４）親ノードの品詞
（５）子ノードの単語
（６）子ノードの品詞
（７）親ノードの親ノードの単語
（８）親ノードの親ノードの品詞
素性ベクトル取得部３１は、上記により取得した素性ベクトルΦ（ａ_ｉ（ｊ））のデータを第１スコア算出部３３に出力する。

なお、素性ベクトルΦ（ａ_ｉ（ｊ））を取得するための素性テンプレートによる評価対象は、上記（上記（１）〜（８）を用いる場合）に限定されない。

また、素性ベクトル取得部３１は、素性テンプレートに示されている素性を評価するために、必要に応じてスタックＭｓから所定のデータを取り出すための信号Ｒｅｑ＿ｓｔａｃｋをスタックＭｓに出力し、キューＭｑから所定のデータを取り出すための信号Ｒｅｑ＿ｑｕｅｕｅをキューＭｑに出力する。これにより、素性ベクトル取得部３１は、素性テンプレートに示されている素性を評価するために必要なデータをスタックＭｓおよびキューＭｑから取り出す。

第１スコア算出部３３は、素性ベクトルΦ（ａ_ｉ（ｊ））とパラメータθとを用いて内積により第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））を取得する。つまり、第１スコア算出部３３は、
ｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））＝Φ（ａ_ｉ（ｊ））・θ
に相当する処理を実行することにより、第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））を取得する。

なお、パラメータθは、ベクトルであり、素性ベクトルΦの各要素の重みを要素とする。パラメータθは、例えば、学習データ（例えば、品詞付き文章のデータとその構文構造の対の集合）を用いて、各アクションを実行させて学習させて取得されたパラメータ（機械学習により取得されたパラメータ）である。

上記のようにして取得された第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））は、第１スコア算出部３３からスコア統合部５に出力される。

（ステップＳ６）：
第２スコア取得部４の第１ＲＮＮ部４１は、第２スコアを取得する処理を実行する。

ここでステップＳ６の詳細な動作について説明する。第１ＲＮＮ部４１の入力層４１１は、入力されたアクションａ_ｉ（ｊ）、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、例えば、ＬＵＴ（ルックアップテーブル）によりデータｘ_ｉ（ｊ）を取得し、隠れ層４１２に出力する。

隠れ層４１２は、入力層４１１から出力されるデータｘ_ｉ（ｊ）と、保持部４１３から出力されるデータｙ_ｉ−１とを入力する。なお、最初のアクションが実行されるとき、データｙ_ｉ−１は、データが存在しない状態（全ての要素が「０」の状態）である。

隠れ層４１２は、下記に相当する処理を行い、データｙ_ｉを取得する。
ｙ_ｉ（ｊ）＝ｆ（Ｈ×ｘ_ｉ（ｊ）＋Ｒ×ｙ_ｉ−１＋Ｂ）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ：｜ｙ_ｉ（ｊ）｜×｜ｘ_ｉ（ｊ）｜の行列
Ｒ：｜ｙ_ｉ（ｊ）｜×｜ｙ_ｉ−１｜の行列
Ｂ：｜ｙ_ｉ（ｊ）｜×１の行列
隠れ層４１２は、上記のようにして取得したデータｙ_ｉ（ｊ）を保持部４１３および出力層４１５に出力する。

保持部４１３は、隠れ層４１２から出力されるデータｙ_ｉ（ｊ）を入力し保持する。そして、保持部４１３は、隠れ層４１２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１から取得したデータｙ_ｉ−１を隠れ層４１２に出力する。

また、保持部４１３は、隠れ層４１２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４１４に出力する。

ＨＬ現状態保持部４１４は、当該隠れ層４１２の現在の出力状態を示す情報を保持する。

出力層４１５は、隠れ層４１２から出力されるデータｙ_ｉ（ｊ）を入力する。出力層４１５は、以下の処理により第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））＝Ｏ×ｙ_ｉ（ｊ）＋Ｂ_Ｏ
Ｏ：１×｜ｙ_ｉ（ｊ）｜の行列
Ｂ_Ｏ：バイアス項
出力層４１５は、上記処理により取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））をスコア統合部５に出力する。

なお、行列Ｈ、Ｒ、Ｂ、Ｏ、Ｂ_Ｏは、学習データ（例えば、品詞付き文章のデータとその構文構造の対の集合）を用いて、各アクションを実行させて学習させて取得されたパラメータにより決定される値を行列の要素としている。

（ステップＳ７）：
スコア統合部５は、第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））および第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を統合する処理を行う。例えば、スコア統合部５は、
ｓｃｒ（ａ_ｉ（ｊ））＝ｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））＋λ×ｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））
λ：重み付け値
により統合スコアｓｃｒ（ａ_ｉ（ｊ））を取得し、スコア保持部６に出力する。

なお、λの値は、λ≧０を満たす値であり、好ましくは、１０^−６≦λ≦１０^−１を満たす値である。

（ステップＳ８）：
スコア保持部６は、スコア統合部５から出力される統合スコアｓｃｒ（ａ_ｉ（ｊ））を記憶保持する。

（ステップＳ９）：
スコア保持部６は、アクション設定部１から制御信号Ｃｔｌ＿ｅｎｄが入力された場合、全てのアクションａ_ｉ（ｊ）が選択されたと判定し（Ｙｅｓ）、アクション設定部１から制御信号Ｃｔｌ＿ｅｎｄが入力されていない場合、選択されていないアクションａ_ｉ（ｊ）が残っていると判定する（Ｎｏ）。

１回目のアクションａ_ｉ（ｊ）が実行されたとき、未だ選択されていないアクションがアクションａ_ｉ（ｊ）に残っているので、スコア保持部６は、統合スコアｓｃｒ（ａ_ｉ（ｊ））を記憶すると、制御信号Ｃｔｌ＿ｎｅｘｔをアクション設定部１、現状態保持部２およびＨＬ現状態保持部４１４に出力し、句構造解析装置１０００で次のアクションａ_ｉ（ｊ）が実行されるように制御する。

（ステップＳ１０）：
現状態保持部２は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力すると、アクションａ_ｉ（ｊ）を実行する前の状態（ステップＳ２の状態ｓｔａｔｅ＿ｎｏｗ１）にキューＭｑおよびスタックＭｓを戻すための信号を生成し、キューＭｑおよびスタックＭｓに出力する。これにより、スタックＭｓおよびキューＭｑの状態がアクションａ_ｉ（ｊ）を実行する前の状態に戻る。

（ステップＳ１１）：
ＨＬ現状態保持部４１４は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力すると、ｉ−１番目のアクションａ_ｉ−１が実行された後の状態（ステップＳ３の状態ｓｔａｔｅ＿ｎｏｗ２）に保持部４１３を戻すための信号を生成し、保持部４１３に出力する。これにより、保持部４１３からｉ−１番目のアクションａ_ｉ−１が実行された後の状態において出力されていたデータｙ_ｉ−１が出力される状態に戻る。

上記処理の後、アクション設定部１は、次のアクションａ_ｉ（ｊ）を選択し、ステップＳ４〜Ｓ１１の処理が繰り返し実行される。

ステップＳ９において、全てのアクションが選択されたと判定された場合（ステップＳ９でＹｅｓ）、処理はステップＳ１２に進む。

（ステップＳ１２）：
全てのアクションが選択されたと判定された場合、アクション設定部１からスコア保持部６に信号Ｃｔｌ＿ｅｎｄが出力される。そして、スコア保持部６は、アクション設定部１から信号Ｃｔｌ＿ｅｎｄを受信すると、アクション決定部７にＪ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））を出力する。

アクション決定部７は、Ｊ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））の中で最大値をとる統合スコアを決定スコアｓｃｒ（ａ_ｉ＿ｄｅｔ）として取得する。また、アクション決定部７は、Ｊ個の統合スコアｓｃｒ（ａ_ｉ（ｊ））の中で最大値をとるアクションａ_ｉ（ｊ）を決定アクションａ_ｉ＿ｄｅｔに設定（決定）する。例えば、図５は、ｉ＝１のとき、アクションとして「SHIFT」を選択したときのｓｃｒ（ａ_ｉ（ｊ））が最大値をとると判定された場合を示している。この場合、ｉ＝１のときの決定アクションａ_１（ｊ）＿ｄｅｔは、アクション「SHIFT」に決定される。

（ステップＳ１３）：
解析結果出力部８は、スコアの積算処理を行う。例えば、解析結果出力部８は、
ｓｕｍ＝ｓｕｍ＋ｓｃｒ（ａ_ｉ（ｊ））
により積算値ｓｕｍを取得する。

なお、ｓｕｍの初期値は「０」である。

（ステップＳ１４）：
アクション決定部７は、スタックＭｓおよびキューＭｑを決定アクションａ_ｉ＿ｄｅｔが実行されたときの状態に戻すための制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を現状態保持部２および第２スコア取得部４のＨＬ現状態保持部４１４に出力する。

現状態保持部２は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されると、当該制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）に従い、アクションａ_ｉ＿ｄｅｔが実行されたときの状態にキューＭｑおよびスタックＭｓを戻すための信号を生成し、キューＭｑおよびスタックＭｓに出力する。これにより、キューＭｑおよびスタックＭｓは、アクションａ_ｉ＿ｄｅｔが実行されたときの状態に戻る。ｉ＝１の場合は、アクションａ_１＿ｄｅｔが「SHIFT」なので、キューＭｑの状態およびスタックＭｓの状態は、アクション「SHIFT」が実行されたときのキューＭｑの状態およびスタックＭｓの状態に戻る。

（ステップＳ１５）：
スタック状態記憶部９は、アクションａ_ｉ＿ｄｅｔが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を記憶する。具体的には、スタック状態記憶部９は、現状態保持部２に制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されると、現状態保持部２がスタックＭｓから取得したアクションａ_ｉ＿ｄｅｔが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を記憶する。ｉ＝１の場合は、アクションａ_１＿ｄｅｔが「SHIFT」なので、スタック状態記憶部９は、アクション「SHIFT」が実行されたときのスタックＭｓの状態を記憶する。

（ステップＳ１６）：
句構造解析装置１０００では、図５に示すように、キューＭｑに入力されたデータＤｉｎの解析が終了するまで、上記処理（Ｓ２〜Ｓ１６）を繰り返し実行する。例えば、データＤｉｎ「John:N has:VB a:DT dog:N .」が入力された場合、当該データＤｉｎ「John:N has:VB a:DT dog:N .」の句構造解析するためのデータが、スタックＭｓおよびキューＭｑに存在しない状態となるまで、上記処理（Ｓ２〜Ｓ１６）を繰り返し実行する。

句構造解析装置１０００では、図５に示すように、句構造解析処理の終了を示すアクション「FINISH」が決定アクションａ_ｉ＿ｄｅｔとして選択された場合、句構造解析処理を終了させる（ステップＳ１６でＮｏ）。

（ステップＳ１７）：
解析結果出力部８は、句構造解析処理の終了を示すアクション「FINISH」が決定アクションａ_ｉ＿ｄｅｔとして選択された場合、スコアの積算処理により取得した積算値ｓｕｍを入力された文のスコアとして取得する。

また、解析結果出力部８は、スタック状態記憶部９から各アクションが実行されたときのスタックＭｓの状態（スタックＭｓに記憶されているデータ）を解析することで、句構造解析装置１０００に入力された文の構造を示すデータを取得する。

例えば、図５に示す場合、句構造解析装置１０００で取得される決定アクションａ_ｉ＿ｄｅｔは以下の通りである。
ａ_１＿ｄｅｔ＝「SHIFT」
ａ_２＿ｄｅｔ＝「UNARY_NP」
ａ_３＿ｄｅｔ＝「SHIFT」
ａ_４＿ｄｅｔ＝「SHIFT」
ａ_５＿ｄｅｔ＝「SHIFT」
ａ_６＿ｄｅｔ＝「REDUCE-R-NP」
ａ_７＿ｄｅｔ＝「REDUCE-R-VP」
ａ_８＿ｄｅｔ＝「SHIFT」
ａ_９＿ｄｅｔ＝「REDUCE-L-S*」
ａ_１０＿ｄｅｔ＝「REDUCE-R-S」
ａ_１１＿ｄｅｔ＝「FINISH」
解析結果出力部８は、上記のようにして取得された決定アクションａ_ｉ＿ｄｅｔが実行されたときのスタック状態をスタック状態記憶部９から読み出し、入力データの文の構造を示すデータ（句構造解析結果データ）を取得する。

具体的には、解析結果出力部８は、図５の場合、スタックの状態をｉ＝１１のときの状態からｉ＝１のときの状態へと順番に辿ることで、入力データＤｉｎ（「John:N has:VB a:DT dog:N .」）の文の構造を示すデータ（句構造解析結果データ）を取得する。このようにして取得した解析結果を図６に示す。

ｉ＝１０のときの決定アクションａ_１０＿ｄｅｔ（＝「REDUCE-R-S」）、スタックの状態、および、ｉ＝９のときの決定アクションａ_９＿ｄｅｔ（＝「REDUCE-L-S*」）、スタックの状態から、ラベル「S」（センテンス）の子ノードが「S*」と「.」であると決定される。

ｉ＝９のときの決定アクションａ_９＿ｄｅｔ（＝「REDUCE-L-S*」）、スタックの状態、および、ｉ＝８のときの決定アクションａ_８＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ラベル「S*」の子ノードが「NP」と「VP」であると決定される。

ｉ＝７のときの決定アクションａ_７＿ｄｅｔ（＝「REDUCE-L-VP」）、スタックの状態、および、ｉ＝６のときの決定アクションａ_６＿ｄｅｔ（＝「REDUCE-R-NP」）、スタックの状態から、ラベル「VP」の子ノードが「has:VB」と「NP」であると決定される。

ｉ＝６のときの決定アクションａ_６＿ｄｅｔ（＝「REDUCE-R-NP」）、スタックの状態、および、ｉ＝５のときの決定アクションａ_５＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ラベル「NP」の子ノードが「a:DT」と「dog:N」であると決定される。

ｉ＝５のときの決定アクションａ_５＿ｄｅｔ（＝「SHIFT」）、スタックの状態、および、ｉ＝４のときの決定アクションａ_４＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ノードの関係を特定するデータがないと判断する。

ｉ＝４のときの決定アクションａ_４＿ｄｅｔ（＝「SHIFT」）、スタックの状態、および、ｉ＝３のときの決定アクションａ_３＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ノードの関係を特定するデータがないと判断する。

ｉ＝３のときの決定アクションａ_３＿ｄｅｔ（＝「SHIFT」）、スタックの状態、および、ｉ＝３のときの決定アクションａ_２＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ノードの関係を特定するデータがないと判断する。

ｉ＝２のときの決定アクションａ_２＿ｄｅｔ（＝「UNARY_NP」）、スタックの状態、および、ｉ＝１のときの決定アクションａ_１＿ｄｅｔ（＝「SHIFT」）、スタックの状態から、ラベル「NP」の子ノードが「John:N」であると決定される。

このようにして、句構造解析装置１０００では、入力データＤｉｎ（「John:N has:VB a:DT dog:N .」）の文の構造を示すデータ（句構造解析結果データ）を図６に示すデータとして取得することができる。

以上のように、句構造解析装置１０００では、素性テンプレートを用いて取得した第１スコアと、ＲＮＮにより取得した第２スコアとを統合した統合スコアを用いて、句構造解析のために最適なアクションを決定することができる。句構造解析装置１０００では、第２スコア取得部４の隠れ層４１２に、句構造解析の各段階において選択された決定アクションａ_ｉ＿ｄｅｔ（過去の全ての決定アクションａ_ｉ＿ｄｅｔ）を反映しているデータｙ_ｉ−１が入力されている。例えば、図５の場合において、ｉ＝１１のとき、ｉ＝１〜１０までの全ての決定アクションａ_ｉ＿ｄｅｔを反映しているデータｙ_ｉ−１が第２スコア取得部４の隠れ層４１２に入力される。

従って、句構造解析装置１０００では、第２スコア取得部４により、過去の全ての決定アクションａ_ｉ＿ｄｅｔ（過去の全ての解析履歴）を考慮した第２スコアを取得することができる。このように、句構造解析装置１０００では、人手により決定された素性テンプレートを用いて取得するだけでは取得することができない過去の全ての解析履歴を考慮した第２スコアを取得でき、第２スコアを用いて、各段階の最適なアクションを決定することができる。

その結果、句構造解析装置１０００では、人手により決定された素性テンプレートを用いたスコアのみにより句構造解析の各段階の最適アクションを決定する場合に比べて、高精度に最適アクションを決定することができる。つまり、句構造解析装置１０００では、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる。

［第２実施形態］
次に、第２実施形態について、説明する。

＜２．１：構造解析装置の構成＞
本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図７は、第２実施形態に係る句構造解析装置２０００の概略構成図である。

図８は、第２実施形態に係る第２スコア取得部４Ａの概略構成図である。

図９は、第２実施形態に係る第２ＲＮＮ部４２の概略構成図である。

図１０は、第２実施形態に係る第３ＲＮＮ部４３の概略構成図である。

本実施形態の句構造解析装置２０００は、図７に示すように、第１実施形態の句構造解析装置１０００において、第２スコア取得部４を第２スコア取得部４Ａに置換した構成を有している。

第２スコア取得部４Ａは、図８に示すように、第１ＲＮＮ部４１と、第２ＲＮＮ部４２と、第３ＲＮＮ部４３と、第１変換部４４と、第２変換部４５と、第２スコア統合部４６とを備える。

第１ＲＮＮ部４１は、第１実施形態の第１ＲＮＮ部４１と同様の構成を有している。

第２ＲＮＮ部４２は、図９に示すように、ＲＮＮを用いて構成されており、入力層４２１と、隠れ層４２２と、保持部４２３と、ＨＬ現状態保持部４２４と、出力層４２５とを備える。

入力層４２１は、第１変換部４４からから出力されるアクションａ_ｉ（ｊ）’のデータ（アクションａ_ｉ（ｊ）を第１変換部４４が変換したアクションのデータ）と、スタックＭｓから出力されるデータＤ２＿ｓｔａｃｋと、キューＭｑから出力されるデータＤ２＿ｑｕｅｕｅとを入力する。入力層４２１は、入力されたアクションａ_ｉ（ｊ）’、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、データｘ_ｉ（ｊ）’を取得し、隠れ層４２２に出力する。

隠れ層４２２は、入力層４２１から出力されるデータｘ_ｉ（ｊ）’と、保持部４２３から出力されるデータｙ_ｉ−１’とを入力する。隠れ層４２２は、下記に相当する処理を行い、データｙ_ｉ（ｊ）’を取得する。
ｙ_ｉ（ｊ）’＝ｆ（Ｈ’×ｘ_ｉ（ｊ）’＋Ｒ’×ｙ_ｉ−１’＋Ｂ_Ｈ’）
ｆ（）：活性化関数
Ｈ’：｜ｙ_ｉ（ｊ）’｜×｜ｘ_ｉ（ｊ）’｜の行列
Ｒ’：｜ｙ_ｉ（ｊ）’｜×｜ｙ_ｉ−１’｜の行列
Ｂ_Ｈ’：｜ｙ_ｉ（ｊ）’｜×１の行列
なお、データｙ_ｉ−１’は、ｉ−１番目のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）が入力層４２１に入力されているときに隠れ層４２２から出力されるデータと同じデータである。

隠れ層４２２は、上記のようにして取得したデータｙ_ｉ（ｊ）’を保持部４２３および出力層４２５に出力する。

保持部４２３は、隠れ層４２２から出力されるデータｙ_ｉ（ｊ）’を入力し保持する。そして、保持部４２３は、隠れ層４２２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）’が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１’から取得したデータｙ_ｉ−１’を隠れ層４２２に出力する。

また、保持部４２３は、隠れ層４２２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４２４に出力する。

ＨＬ現状態保持部４２４は、保持部４２３から出力される隠れ層４２２の現在の出力状態を示す情報を含む信号が入力されたとき、当該隠れ層４２２の現在の出力状態を示す情報を保持する。

また、ＨＬ現状態保持部４２４は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力する。ＨＬ現状態保持部４２４は、制御信号Ｃｔｌ＿ｎｅｘｔが入力されたとき、当該制御信号Ｃｔｌ＿ｎｅｘｔに従い、ｉ−１番目のアクションａ_ｉ−１が実行された後の状態に保持部４２３を戻すための信号を生成する。そして、ＨＬ現状態保持部４２４は、生成した信号を保持部４２３に出力する。

また、ＨＬ現状態保持部４２４は、アクション決定部７から出力される制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を入力する。ＨＬ現状態保持部４２４は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたとき、当該制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）に従い、アクションａ_ｉ＿ｄｅｔが実行されたときに隠れ層４２２から出力されていたデータｙ_ｉ（ｊ）’を保持する。そして、ＨＬ現状態保持部４２４は、ｉ＋１番目のアクションを決定する処理が実行されるときに、保持したデータｙ_ｉ（ｊ）’（ｊは、ａ_ｉ（ｊ）＝ａ_ｉ＿ｄｅｔを満たすｊ）を保持部４２３から出力させる信号を保持部４２３に出力する。

出力層４２５は、隠れ層４２２から出力されるデータｙ_ｉ（ｊ）’を入力する。出力層４２５は、以下の処理により第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））＝Ｏ’×ｙ_ｉ（ｊ）’＋Ｂ_Ｏ’
Ｏ’：１×｜ｙ_ｉ（ｊ）’｜の行列
Ｂ_Ｏ’：バイアス項
出力層４２５は、上記処理により取得した第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））を第２スコア統合部４６に出力する。

第１変換部４４は、アクション設定部１から出力されるアクションａ_ｉ（ｊ）の情報を含むデータを入力し、所定の変換を行い、変換後のアクションａ_ｉ（ｊ）’の情報を含むデータを取得する。そして、第１変換部４４は、取得した変換後のアクションａ_ｉ（ｊ）’の情報を含むデータを第２ＲＮＮ部４２に出力する。

第３ＲＮＮ部４３は、図１０に示すように、ＲＮＮを用いて構成されており、入力層４３１と、隠れ層４３２と、保持部４３３と、ＨＬ現状態保持部４３４と、出力層４３５とを備える。

入力層４３１は、第２変換部４５からから出力されるアクションａ_ｉ（ｊ）’’のデータ（アクションａ_ｉ（ｊ）を第２変換部４５が変換したアクションのデータ）と、スタックＭｓから出力されるデータＤ２＿ｓｔａｃｋと、キューＭｑから出力されるデータＤ２＿ｑｕｅｕｅとを入力する。入力層４３１は、入力されたアクションａ_ｉ（ｊ）’’、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、データｘ_ｉ（ｊ）’’を取得し、隠れ層４３２に出力する。

隠れ層４３２は、入力層４３１から出力されるデータｘ_ｉ（ｊ）’’と、保持部４３３から出力されるデータｙ_ｉ−１’’とを入力する。隠れ層４３２は、下記に相当する処理を行い、データｙ_ｉ（ｊ）’’を取得する。
ｙ_ｉ（ｊ）’’＝ｆ（Ｈ’’×ｘ_ｉ（ｊ）’’＋Ｒ’’×ｙ_ｉ−１’’＋Ｂ_Ｈ’’）
ｆ（）：活性化関数
Ｈ’’：｜ｙ_ｉ（ｊ）’’｜×｜ｘ_ｉ（ｊ）’’｜の行列
Ｒ’’：｜ｙ_ｉ（ｊ）’’｜×｜ｙ_ｉ−１（ｊ）’’｜の行列
Ｂ_Ｈ’’：｜ｙ_ｉ（ｊ）’’｜×１の行列
なお、データｙ_ｉ−１’’は、ｉ−１番目のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）が入力層４３１に入力されているときに隠れ層４３２から出力されるデータと同じデータである。

隠れ層４３２は、上記のようにして取得したデータｙ_ｉ（ｊ）’’を保持部４３３および出力層４３５に出力する。

保持部４３３は、隠れ層４３２から出力されるデータｙ_ｉ（ｊ）’’を入力し保持する。そして、保持部４３３は、隠れ層４３２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）’’が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１’’から取得したデータｙ_ｉ−１’’を隠れ層４３２に出力する。

また、保持部４３３は、隠れ層４３２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４３４に出力する。

ＨＬ現状態保持部４３４は、保持部４３３から出力される隠れ層４３２の現在の出力状態を示す情報を含む信号が入力されたとき、当該隠れ層４３２の現在の出力状態を示す情報を保持する。

また、ＨＬ現状態保持部４３４は、スコア保持部６から出力される制御信号Ｃｔｌ＿ｎｅｘｔを入力する。ＨＬ現状態保持部４３４は、制御信号Ｃｔｌ＿ｎｅｘｔが入力されたとき、当該制御信号Ｃｔｌ＿ｎｅｘｔに従い、ｉ−１番目のアクションａ_ｉ−１が実行された後の状態に保持部４３３を戻すための信号を生成し、保持部４３３に出力する。

また、ＨＬ現状態保持部４３４は、アクション決定部７から出力される制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）を入力する。ＨＬ現状態保持部４３４は、制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）が入力されたとき、当該制御信号Ｃｔｌ＿ｒｅｓｔｏｒｅ（ａ_ｉ＿ｄｅｔ）に従い、アクションａ_ｉ＿ｄｅｔが実行されたときに隠れ層４３２から出力されていたデータｙ_ｉ（ｊ）’を保持する。そして、ＨＬ現状態保持部４３４は、ｉ＋１番目のアクションを決定する処理が実行されるときに、保持したデータｙ_ｉ（ｊ）’’（ｊは、ａ_ｉ（ｊ）＝ａ_ｉ＿ｄｅｔを満たすｊ）を保持部４２３から出力させる信号を保持部４３３に出力する。

出力層４３５は、隠れ層４３２から出力されるデータｙ_ｉ（ｊ）’’を入力する。出力層４３５は、以下の処理により第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））＝Ｏ’’×ｙ_ｉ（ｊ）’’＋Ｂ_Ｏ’’
Ｏ’’：１×｜ｙ_ｉ（ｊ）’’｜の行列
Ｂ_Ｏ’’：バイアス項
出力層４３５は、上記処理により取得した第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））を第２スコア統合部４６に出力する。

第２変換部４５は、アクション設定部１から出力されるアクションａ_ｉ（ｊ）の情報を含むデータを入力し、所定の変換を行い、変換後のアクションａ_ｉ（ｊ）’’の情報を含むデータを取得し、第３ＲＮＮ部４３に出力する。

第２スコア統合部４６は、第１ＲＮＮ部４１から出力される第１ＲＮＮスコアｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））と、第２ＲＮＮ部４２から出力される第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））と、第３ＲＮＮ部４３から出力される第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））とを入力する。

第１ＲＮＮスコアｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））は、第１実施形態と同様に以下の数式に相当する処理により取得される。
ｙ_ｉ（ｊ）＝ｆ（Ｈ×ｘ_ｉ（ｊ）＋Ｒ×ｙ_ｉ−１＋Ｂ）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ：｜ｙ_ｉ（ｊ）｜×｜ｘ_ｉ（ｊ）｜の行列
Ｒ：｜ｙ_ｉ（ｊ）｜×｜ｙ_ｉ−１｜の行列
Ｂ：｜ｙ_ｉ（ｊ）｜×１の行列
ｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））＝Ｏ×ｙ_ｉ（ｊ）＋Ｂ_Ｏ
Ｏ：１×｜ｙ_ｉ（ｊ）｜の行列
Ｂ_Ｏ：バイアス項
第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））は、第１実施形態と同様に以下の数式に相当する処理により取得される。
ｙ_ｉ（ｊ）＝ｆ（Ｈ_２×ｘ_ｉ（ｊ）＋Ｒ_２×ｙ_ｉ−１＋Ｂ_２）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ_２：｜ｙ_ｉ（ｊ）｜×｜ｘ_ｉ（ｊ）｜の行列
Ｒ_２：｜ｙ_ｉ（ｊ）｜×｜ｙ_ｉ−１｜の行列
Ｂ_２：｜ｙ_ｉ（ｊ）｜×１の行列（ベクトル）
ｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））＝Ｏ_２×ｙ_ｉ（ｊ）＋Ｂ_Ｏ２
Ｏ：１×｜ｙ_ｉ（ｊ）｜の行列
Ｂ_Ｏ２：バイアス項
第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））は、第１実施形態と同様に以下の数式に相当する処理により取得される。
ｙ_ｉ（ｊ）＝ｆ（Ｈ_３×ｘ_ｉ（ｊ）＋Ｒ_３×ｙ_ｉ−１＋Ｂ_３）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ_３：｜ｙ_ｉ（ｊ）｜×｜ｘ_ｉ（ｊ）｜の行列
Ｒ_３：｜ｙ_ｉ（ｊ）｜×｜ｙ_ｉ−１｜の行列
Ｂ_３：｜ｙ_ｉ（ｊ）｜×１の行列（ベクトル）
ｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））＝Ｏ_３×ｙ_ｉ（ｊ）＋Ｂ_Ｏ３
Ｏ：１×｜ｙ_ｉ（ｊ）｜の行列
Ｂ_Ｏ３：バイアス項
第２スコア統合部４６は、第１ＲＮＮスコアｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））、第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））および第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））に対して統合処理を行い、第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。例えば、第２スコア統合部４６は、
ｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））＝λ１×ｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））＋
λ２×ｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））＋
λ３×ｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））
λ１、λ２、λ３：係数
により第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。

第２スコア統合部４６は、取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））をスコア統合部５に出力する。

＜２．２：句構造解析装置の動作＞
以上のように構成された第２実施形態に係る句構造解析装置２０００の動作について、図面を参照しながら以下説明する。

なお、第１実施形態と同様の部分については、詳細な説明を省略する。

第２実施形態の句構造解析装置２０００では、３つのＲＮＮを用いて第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。

句構造解析装置２０００では、第１ＲＮＮ部４１で用いられるＲＮＮと、第２ＲＮＮ部４２で用いられるＲＮＮと、第３ＲＮＮ部４３で用いられるＲＮＮとは、異なるモデルにより構築されている。つまり、文の構造データをアクションのシーケンスとして取得するための線形化手法が、第１ＲＮＮ部４１で用いられるＲＮＮと、第２ＲＮＮ部４２で用いられるＲＮＮと、第３ＲＮＮ部４３で用いられるＲＮＮとで異なる。

本実施形態では、第２ＲＮＮ部４２に入力されるアクションは、第１ＲＮＮ部４１に入力されるアクションに付加情報を追加したものである。

具体的には、第２ＲＮＮ部４２に入力されるアクションは、第１ＲＮＮ部４１に入力されるアクションに子ノードの情報を付加したものである。

つまり、第１ＲＮＮ部４１に入力されるアクションである（１）SHIFT、（２）REDUCE-L/R-X、（３）UNARY-X、（４）FINISH、（５）IDLEのうち、（２）REDUCE-L/R-X、（３）UNARY-Xについて、子ノードの情報を付与する。例えば、子ノードが句である場合、当該句を表すラベルを付加し、子ノードが語である場合、その語の品詞にかかわらずシンボル「LEAF」を付加する。

なお、アクションに子ノードの情報を付加する処理は、第１変換部４４で実行される。

本実施形態では、第３ＲＮＮ部４３に入力されるアクションは、（１）SHIFT、（２）REDUCE-X、（３）UNARY-X、（４）FINISH、（５）IDLEである。つまり、第３ＲＮＮ部４３に入力されるアクションは、第１ＲＮＮ部４１に入力されるアクションである（２）REDUCE-L/R-Xの代わりに「REDUCE-X」を用いる。このアクション「REDUCE-X」は、スタックＭｓからトップのＮ個のデータを取り出し（ＰＯＰ動作をＮ回行い）、取り出したＮ個のデータを結合しラベルＸを付し、新たなデータとしてスタックＭｓに戻す。つまり、第３ＲＮＮ部４３で用いられるＲＮＮは、文の構造データをアクションのシーケンス（アクションの系列）として取得するための線形化手法として２分木データを前提としていない。すなわち、第３ＲＮＮ部４３で用いられるＲＮＮを最適化したときに使用したデータ（学習データ）は、２分木データを前提としていない線形化手法により生成されたアクションのシーケンス（アクションの系列のデータ）である。

アクション「REDUCE-X」は、例えば、子ノードの数が「２」である場合、「REDUCE-X-2」と表記して、ラベルXが付されたノードの子ノードが２つであることを示す。

なお、アクションに子ノードの情報を付加する処理は、第２変換部４５で実行される。

句構造解析装置２０００の動作では、第１実施形態の句構造解析装置１０００の動作を示すフローチャート（図４）においてステップＳ６の処理が異なる。

句構造解析装置２０００では、第１実施形態の句構造解析装置１０００がステップＳ６において、第１ＲＮＮ部４１が取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を使用するのに対し、句構造解析装置２０００では、第１ＲＮＮ部４１が取得した第１ＲＮＮスコアｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））、第２ＲＮＮ部４２が取得した第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））、および、第３ＲＮＮ部４３が取得した第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））を統合して取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を使用する点が異なる。

以下、句構造解析装置２０００が動作するときのステップＳ６の処理について説明する。

（ステップＳ６）：
第１ＲＮＮ部４１の動作は、第１実施形態と同様であるので説明を省略する。

第１変換部４４は、入力されたアクションａ_ｉ（ｊ）が子ノードの情報を拡張すべきアクションであるか否かを判定する。第１変換部４４は、子ノードの情報を拡張すべきアクションであると判定した場合、子ノードの情報を拡張したアクションａ_ｉ（ｊ）’を取得し、第２ＲＮＮ部４２に出力する。第１変換部４４は、子ノードの情報を拡張すべきアクションではないと判定した場合、アクションａ_ｉ（ｊ）をアクションａ_ｉ（ｊ）’として第２ＲＮＮ部に出力する。

第２ＲＮＮ部４２は、第２ＲＮＮスコアを取得する処理を実行する。

第２ＲＮＮ部４２の入力層４２１は、入力されたアクションａ_ｉ（ｊ）’、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、例えば、ＬＵＴ（ルックアップテーブル）によりデータｘ_ｉ（ｊ）’を取得し、隠れ層４２２に出力する。

隠れ層４２２は、入力層４２１から出力されるデータｘ_ｉ（ｊ）’と、保持部４２３から出力されるデータｙ_ｉ−１’とを入力する。なお、最初のアクションが実行されるとき、データｙ_ｉ−１’は、データが存在しない状態（全ての要素が「０」の状態）である。

隠れ層４２２は、下記に相当する処理を行い、データｙ_ｉ’を取得する。
ｙ_ｉ（ｊ）’＝ｆ（Ｈ’×ｘ_ｉ（ｊ）’＋Ｒ’×ｙ_ｉ−１’＋Ｂ_Ｈ’）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ’：｜ｙ_ｉ（ｊ）’｜×｜ｘ_ｉ（ｊ）’｜の行列
Ｒ’：｜ｙ_ｉ（ｊ）’｜×｜ｙ_ｉ−１’｜の行列
Ｂ_Ｈ’：｜ｙ_ｉ（ｊ）’｜×１の行列
隠れ層４２２は、上記のようにして取得したデータｙ_ｉ（ｊ）’を保持部４２３および出力層４２５に出力する。

保持部４２３は、隠れ層４２２から出力されるデータｙ_ｉ（ｊ）’を入力し保持する。そして、保持部４２３は、隠れ層４２２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）’が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１’から取得したデータｙ_ｉ−１’を隠れ層４２２に出力する。

また、保持部４２３は、隠れ層４２２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４２４に出力する。

ＨＬ現状態保持部４２４は、当該隠れ層４２２の現在の出力状態を示す情報を保持する。

出力層４２５は、隠れ層４２２から出力されるデータｙ_ｉ（ｊ）’を入力する。出力層４２５は、以下の処理により第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））＝Ｏ’×ｙ_ｉ（ｊ）’＋Ｂ_Ｏ’
Ｏ’：１×｜ｙ_ｉ（ｊ）’｜の行列
Ｂ_Ｏ’：バイアス項
出力層４２５は、上記処理により取得した第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））を第２スコア統合部４６に出力する。

なお、行列Ｈ’、Ｒ’、Ｂ_Ｈ’、Ｏ’、Ｂ_Ｏ’は、学習データ（例えば、品詞付き文章のデータとその構文構造の対の集合）を用いて、各アクションを実行させて学習させて取得されたパラメータにより決定される値を行列の要素としている。行列Ｈ’、Ｒ’、Ｂ_Ｈ’、Ｏ’、Ｂ_Ｏ’を取得するために用いたアクションは、（１）SHIFT、（２）REDUCE-L/R-X、（３）UNARY-X、（４）FINISH、（５）IDLEであり、このうち、（２）REDUCE-L/R-X、（３）UNARY-Xは、子ノードの情報を付与したアクションである。

第２変換部４５は、入力されたアクションａ_ｉ（ｊ）を必要に応じて変換する。第２変換部４５は、入力されたアクションａ_ｉ（ｊ）が（１）SHIFT、（３）UNARY-X、（４）FINISH、（５）IDLEのいずれかである場合、アクションａ_ｉ（ｊ）をアクションａ_ｉ（ｊ）’’として第３ＲＮＮ部に出力する。

第２変換部４５は、入力されたアクションａ_ｉ（ｊ）が「REDUCE-R-X」である場合、「REDUCE-X-k」（k：子ノードの数）に拡張して、拡張した当該アクション「REDUCE-X-k」をアクションａ_ｉ（ｊ）’’として第３ＲＮＮ部に出力する。

第２変換部４５は、入力されたアクションａ_ｉ（ｊ）が「REDUCE-L-X」である場合、対応するアクションが存在しないため「IDLE」をアクションａ_ｉ（ｊ）’’として第３ＲＮＮ部に出力する。

第３ＲＮＮ部４３は、第３ＲＮＮスコアを取得する処理を実行する。

第３ＲＮＮ部４３の入力層４３１は、入力されたアクションａ_ｉ（ｊ）’’、スタックＭｓのデータＤ２＿ｓｔａｃｋ、および、キューＭｑのデータＤ２＿ｑｕｅｕｅに基づいて、例えば、ＬＵＴ（ルックアップテーブル）によりデータｘ_ｉ（ｊ）’’を取得し、隠れ層４３２に出力する。

隠れ層４３２は、入力層４３１から出力されるデータｘ_ｉ（ｊ）’’と、保持部４３３から出力されるデータｙ_ｉ−１’’とを入力する。なお、最初のアクションが実行されるとき、データｙ_ｉ−１’’は、データが存在しない状態（全ての要素が「０」の状態）である。

隠れ層４３２は、下記に相当する処理を行い、データｙ_ｉ’’を取得する。
ｙ_ｉ（ｊ）’’＝ｆ（Ｈ’’×ｘ_ｉ（ｊ）’’＋Ｒ’’×ｙ_ｉ−１’’＋Ｂ_Ｈ’’）
ｆ（）：活性化関数（例えば、シグモイド関数やＳｏｆｔｍａｘ関数）
Ｈ’’：｜ｙ_ｉ（ｊ）’’｜×｜ｘ_ｉ（ｊ）’’｜の行列
Ｒ’’：｜ｙ_ｉ（ｊ）’’｜×｜ｙ_ｉ−１’’｜の行列
Ｂ_Ｈ’’：｜ｙ_ｉ（ｊ）’’｜×１の行列
隠れ層４３２は、上記のようにして取得したデータｙ_ｉ（ｊ）’’を保持部４３３および出力層４３５に出力する。

保持部４３３は、隠れ層４３２から出力されるデータｙ_ｉ（ｊ）’’を入力し保持する。そして、保持部４３３は、隠れ層４３２にアクションａ_ｉ（ｊ）に対応するデータｘ_ｉ（ｊ）’’が入力されるときに、ｉ−１番目（１つ前のアクション）のアクションａ_ｉ−１（＝ａ_ｉ−１＿ｄｅｔ）に対応するデータｘ_ｉ−１’’から取得したデータｙ_ｉ−１’’を隠れ層４３２に出力する。

また、保持部４３３は、隠れ層４３２の現在の出力状態を示す情報を含む信号をＨＬ現状態保持部４３４に出力する。

ＨＬ現状態保持部４３４は、当該隠れ層４３２の現在の出力状態を示す情報を保持する。

出力層４３５は、隠れ層４３２から出力されるデータｙ_ｉ（ｊ）’’を入力する。出力層４３５は、以下の処理により第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））を取得する。
ｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））＝Ｏ’’×ｙ_ｉ（ｊ）’’＋Ｂ_Ｏ’’
Ｏ’’：１×｜ｙ_ｉ（ｊ）’｜の行列
Ｂ_Ｏ’’：バイアス項
出力層４３５は、上記処理により取得した第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））を第２スコア統合部４６に出力する。

なお、行列Ｈ^ｄ’’、Ｒ^ｄ’’、Ｂ^ｄ _Ｈ’’、Ｏ’’、Ｂ_Ｏ’’は、学習データ（例えば、品詞付き文章のデータとその構文構造の対の集合）を用いて、各アクションを実行させて学習させて取得されたパラメータにより決定される値を行列の要素としている。行列Ｈ^ｄ’’、Ｒ^ｄ’’、Ｂ^ｄ _Ｈ’’、Ｏ’’、Ｂ_Ｏ’’を取得するために用いたアクションは、（１）SHIFT、（２）REDUCE-X、（３）UNARY-X、（４）FINISH、（５）IDLEであり、このうち、（２）REDUCE-Xは、子ノードの数の情報を付与したアクションである。

第２スコア統合部４６は、第１ＲＮＮスコアｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））、第２ＲＮＮスコアｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））および第３ＲＮＮスコアｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））に対して統合処理を行い、第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。例えば、第２スコア統合部４６は、
ｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））＝λ１×ｓｃｒ＿ＲＮＮ１（ａ_ｉ（ｊ））＋
λ２×ｓｃｒ＿ＲＮＮ２（ａ_ｉ（ｊ））＋
λ３×ｓｃｒ＿ＲＮＮ３（ａ_ｉ（ｊ））
λ１、λ２、λ３：係数
により第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する。

第２スコア統合部４６は、取得した第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））をスコア統合部５に出力する。

以降の処理は、第１実施形態と同様である。

図１１は、句構造解析装置２０００で句構造解析処理を実行したときのスタックＭｓおよびキューＭｑの状態と、決定アクションａ_ｉ＿ｄｅｔに対応するアクションであって第２ＲＮＮ部４２に入力されたアクションとを模式的に示す図である。

図１２は、句構造解析装置２０００で句構造解析処理を実行したときのスタックＭｓおよびキューＭｑの状態と、決定アクションａ_ｉ＿ｄｅｔに対応するアクションであって第３ＲＮＮ部４３に入力されたアクションとを模式的に示す図である。

図１１、図１２から分かるように、句構造解析装置２０００では、入力データＤｉｎ（「John:N has:VB a:DT dog:N .」）の文の構造を示すデータ（句構造解析結果データ）が正確に取得されている。つまり、図１１のスタック状態を解析することで、図６に示す木構造の解析結果が取得されていることが分かり、図１２のスタック状態を解析することで、図１３に示す木構造の解析結果が取得されていることが分かる。なお、図１３では、２分木を前提としない線形化手法によるＲＮＮを用いた解析結果から取得した句構造解析結果であるため、ルートノードの子ノードが３つ存在している。

以上のように、句構造解析装置２０００では、素性テンプレートを用いて取得した第１スコアと、３つのＲＮＮにより取得した第２スコアとを統合した統合スコアを用いて、句構造解析のために最適なアクションを決定することができる。句構造解析装置２０００では、第１ＲＮＮ部４１、第２ＲＮＮ部４２、第３ＲＮＮ部４３の各隠れ層に、句構造解析の各段階において選択された決定アクションａ_ｉ＿ｄｅｔ（過去の全ての決定アクションａ_ｉ＿ｄｅｔ）を反映しているデータｙ_ｉ−１、ｙ_ｉ−１’およびｙ_ｉ−１’’が入力されている。例えば、図５の場合において、ｉ＝１１のとき、ｉ＝１〜１０までの全ての決定アクションａ_ｉ＿ｄｅｔを反映しているデータｙ_ｉ−１、ｙ_ｉ−１’およびｙ_ｉ−１’’が第１ＲＮＮ部４１、第２ＲＮＮ部４２、第３ＲＮＮ部４３の各隠れ層に入力される。

従って、句構造解析装置２０００では、過去の全ての決定アクションａ_ｉ＿ｄｅｔ（過去の全ての解析履歴）を考慮した第２スコア（第１ＲＮＮスコア、第２ＲＮＮスコアおよび第３ＲＮＮスコアを統合したスコア）を取得することができる。このように、句構造解析装置２０００では、人手により決定された素性テンプレートを用いて取得するだけでは取得することができない過去の全ての解析履歴を考慮した第２スコアを取得でき、第２スコアを用いて、各段階の最適なアクションを決定することができる。

その結果、句構造解析装置２０００では、人手により決定された素性テンプレートを用いたスコアのみにより句構造解析の各段階の最適アクションを決定する場合に比べて、高精度に最適アクションを決定することができる。つまり、句構造解析装置２０００では、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる。

さらに、句構造解析装置２０００では、異なるアクション系列データにより学習し最適化した複数のＲＮＮを用いて、各アクションの評価を行うことができる。各ＲＮＮを多様な句構造解析に応じて最適化させることで、句構造解析装置２０００では、多様な文のデータに対しても最適なアクション系列を高精度に取得し、その結果、高精度の句構造解析を実現することができる。

［他の実施形態］
上記実施形態の句構造解析装置では、第１ＲＮＮ部、第２ＲＮＮ部、第３ＲＮＮ部では、隠れ層が１つである場合について説明したが、これに限定されることはなく隠れ層の数は「２」以上であってもよい。

また、上記実施形態の句構造解析装置では、ＲＮＮを含む機能部が３つである場合について説明したが、これに限定されることはなく、第２スコア取得部がＮ個（Ｎ：自然数）のＲＮＮ部を含むものであってもよい。Ｎ個のＲＮＮ部を含む場合、句構造解析装置において、第１ＲＮＮ部、第２ＲＮＮ部、第３ＲＮＮ部、・・・、第ｋＲＮＮ部、・・・、第ＮＲＮＮ部が設けられる構成とすればよい。なお、「第２〜第ＮＲＮＮ部」という表記は、第２番目のＲＮＮ部（第２ＲＮＮ部）から第Ｎ番目のＲＮＮ部（第ＮＲＮＮ部）の合計（Ｎ−１）個のＲＮＮ部を表している。

また、上記実施形態において、スコア統合部５が第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））および第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を統合する処理は上記実施形態の例に限定されることなく、例えば、内分処理、外分処理等により、第１スコアｓｃｒ＿ｆｒ（ａ_ｉ（ｊ））および第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を統合するようにしてもよい。

句構造解析装置１０００、２０００を構成する各機能部は、例えばネットワークを介して接続されるものであってもよい。

また上記実施形態の句構造解析装置１０００、２０００は、複数の装置により実現されるものであってもよい。

また上記実施形態で説明した句構造解析装置１０００、２０００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。

なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。

例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図１４に示したハードウェア構成（例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。

また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図１４に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。

また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明によれば、解析履歴全体に基づく素性を考慮した高精度な文の構文構造を解析することができる句構造解析装置およびプログラムを実現することができる。このため本発明は、自然言語処理関連産業分野において有用であり、当該分野において実施することができる。

１０００、２０００ 句構造解析装置
Ｍｓ スタックメモリ
Ｍｑ キューメモリ
１ アクション設定部
３ 第１スコア取得部
４ 第２スコア取得部
５ スコア統合部
７ アクション決定部
８ 解析結果出力部

Claims (5)

1. アクションを時系列に実行することで文章の句構造を解析する句構造解析装置であって、
   文章の句構造を解析するためのアクションを設定するアクション設定部と、
   文章についてのデータである文データを入力し保持するキューメモリと、
   前記キューメモリから出力されるデータを保持するスタックメモリと、
   前記アクション設定部により設定されたアクションが実行されたとき、前記キューメモリに保持されているデータと前記スタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得し、取得した前記素性ベクトルに基づいて、第１スコアを取得する第１スコア取得部と、
   入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを有する第１ＲＮＮ部を含み、再帰型ニューラルネットワークを用いて取得した第２スコアを取得する第２スコア取得部と、
   前記第１スコアと前記第２スコアとを統合することで統合スコアを取得するスコア統合部と、
   前記統合スコアに基づいて、文章の句構造の解析の各段階のアクションを決定するアクション決定部と、
   を備え、
   前記第１ＲＮＮ部の入力層は、前記アクション設定部により設定されたアクションの情報と、前記アクションが実行されたときの前記キューメモリに保持されているデータおよび前記アクションが実行されたときの前記スタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから前記第１ＲＮＮ部の前記隠れ層に出力するためのデータを取得し、
   前記第１ＲＮＮ部の隠れ層は、前記第１ＲＮＮ部の前記入力層により取得されたデータと前記保持部により保持されているデータとに基づいて、前記第１ＲＮＮ部の前記出力層に出力するためのデータを取得し、
   前記第１ＲＮＮ部の出力層は、前記第１ＲＮＮ部の前記隠れ層により取得されたデータに基づいて、第２スコアを取得する、
   句構造解析装置。
2. 前記第１スコア取得部は、さらに、
   前記文データの素性を評価するための素性ベクトルを取得するために参照する素性テンプレートを保持する素性テンプレート格納部と、
   前記アクション設定部により設定されたアクションが実行されたとき、前記素性テンプレートに基づいて、前記キューメモリに保持されているデータと前記スタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得する素性ベクトル取得部と、
   前記素性テンプレートに基づいて、文データを用いて機械学習することで取得した素性ベクトル用のパラメータを保持するパラメータ保持部と、
   前記素性ベクトルと前記パラメータとを用いて第１スコアを算出する第１スコア算出部と、
   を備える、
   請求項１に記載の句構造解析装置。
3. 前記第２スコア取得部は、
   第２〜第ＮＲＮＮ部と、第２スコア統合部と、をさらに備え、
   第ｋＲＮＮ部（ｋ：自然数、１≦ｋ≦Ｎ）は、入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを有し、
   前記第ｋＲＮＮ部の入力層は、前記アクション設定部により設定されたアクションの情報と、前記アクションが実行されたときの前記キューメモリに保持されているデータおよび前記アクションが実行されたときの前記スタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから前記第ｋＲＮＮ部の前記隠れ層に出力するためのデータを取得し、
   前記第ｋＲＮＮ部の隠れ層は、前記第ｋＲＮＮ部の前記入力層により取得されたデータと前記保持部により保持されているデータとに基づいて、前記第ｋＲＮＮ部の前記出力層に出力するためのデータを取得し、
   前記第ｋＲＮＮ部の出力層は、前記第ｋＲＮＮ部の前記隠れ層により取得されたデータに基づいて、第ｋＲＮＮスコアを取得し、
   前記第２スコア統合部は、
   前記アクションをアクションａ_ｉ（ｊ）とし、アクションａ_ｉ（ｊ）が実行されたときに前記第ｋＲＮＮ部の出力層により取得される第ｋＲＮＮスコアをｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））とし、ｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））の重み付け係数をλ_ｋとし、前記第２スコアをｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））とすると、
   

   

   
   により、前記第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する、
   請求項２に記載の句構造解析装置。
4. 文章についてのデータである文データを入力し保持するキューメモリと、
   前記キューメモリから出力されるデータを保持するスタックメモリと、
   前記文データの素性を評価するための素性ベクトルを取得するために参照する素性テンプレートを保持する素性テンプレート格納部と、
   を備える句構造解析装置に用いられ、
   アクションを時系列に実行することで文章の句構造を解析する句構造解析方法をコンピュータに実行させるためのプログラムであって、
   文章の句構造を解析するためのアクションを設定するアクション設定ステップと、
   前記アクション設定ステップにより設定されたアクションが実行されたとき、前記素性テンプレートに基づいて、前記キューメモリに保持されているデータと前記スタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得し、取得した前記素性ベクトルに基づいて、第１スコアを取得する第１スコア取得ステップと、
   入力層用処理ステップと、隠れ層用処理ステップと、出力層用処理ステップと、隠れ層用処理ステップの出力を保持する保持ステップと、を含む再帰型ニューラルネットワーク用処理を実行する第１ＲＮＮステップを含み、前記再帰型ニューラルネットワーク用処理を実行して取得した第２スコアを取得する第２スコア取得ステップと、
   前記第１スコアと前記第２スコアとを統合することで統合スコアを取得するスコア統合ステップと、
   前記統合スコアに基づいて、文章の句構造の解析の各段階のアクションを決定するアクション決定ステップと、
   を備え、
   前記第１ＲＮＮステップの入力層用処理ステップでは、前記アクション設定ステップにより設定されたアクションの情報と、前記アクションが実行されたときの前記キューメモリに保持されているデータおよび前記アクションが実行されたときの前記スタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから前記第１ＲＮＮステップの前記隠れ層用処理ステップで使用するためのデータを取得し、
   前記第１ＲＮＮステップの隠れ層用処理ステップでは、前記第１ＲＮＮステップの前記入力層用処理ステップにより取得されたデータと前記保持ステップにより保持されているデータとに基づいて、前記第１ＲＮＮステップの前記出力層用処理ステップで使用するためのデータを取得し、
   前記第１ＲＮＮステップの出力層用処理ステップでは、前記第１ＲＮＮステップの前記隠れ層処理用ステップにより取得されたデータに基づいて、第２スコアを取得する、
   句構造解析方法をコンピュータに実行させるためのプログラム。
5. 前記第１スコア取得ステップは、さらに、
   前記アクション設定ステップにより設定されたアクションが実行されたとき、前記素性テンプレートに基づいて、前記キューメモリに保持されているデータと前記スタックメモリに保持されているデータとを参照し、所定の素性についての評価値を取得することで素性ベクトルを取得する素性ベクトル取得ステップと、
   前記素性テンプレートに基づいて、文データを用いて機械学習することで取得した素性ベクトル用のパラメータを保持するパラメータ保持ステップと、
   前記素性ベクトルと前記パラメータとを用いて第１スコアを算出する第１スコア算出ステップと、
   を備え、
   前記第２スコア取得ステップは、
   第２〜第ＮＲＮＮステップと、第２スコア統合ステップと、をさらに備え、
   第ｋＲＮＮステップ（ｋ：自然数、１≦ｋ≦Ｎ）は、入力層と、隠れ層と、出力層と、隠れ層の出力を保持する保持部と、を含む再帰型ニューラルネットワークを用いた処理を実行し、
   前記第ｋＲＮＮステップの入力層での処理は、前記アクション設定ステップにより設定されたアクションの情報と、前記アクションが実行されたときの前記キューメモリに保持されているデータおよび前記アクションが実行されたときの前記スタックに保持されているデータの少なくとも１つと、を入力とし、入力されたデータから前記第ｋＲＮＮステップの前記隠れ層に出力するためのデータを取得する処理であり、
   前記第ｋＲＮＮステップの隠れ層での処理は、前記第ｋＲＮＮステップの前記入力層の処理により取得されたデータと前記保持部により保持されているデータとに基づいて、前記第ｋＲＮＮステップの前記出力層に出力するためのデータを取得する処理であり、
   前記第ｋＲＮＮステップの出力層での処理は、前記第ｋＲＮＮステップの前記隠れ層の処理により取得されたデータに基づいて、第ｋＲＮＮスコアを取得する処理であり、
   前記第２スコア統合ステップは、
   前記アクションをアクションａ_ｉ（ｊ）とし、アクションａ_ｉ（ｊ）が実行されたときに前記第ｋＲＮＮステップの出力層での処理により取得される第ｋＲＮＮスコアをｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））とし、ｓｃｒ＿ＲＮＮ_ｋ（ａ_ｉ（ｊ））の重み付け係数をλ_ｋとし、前記第２スコアをｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））とすると、
   

   

   
   により、前記第２スコアｓｃｒ＿ＲＮＮ（ａ_ｉ（ｊ））を取得する、
   請求項４に記載の句構造解析方法をコンピュータに実行させるためのプログラム。

Images