JP2020509397A - 音声における記号シーケンスの推定 - Google Patents

Abstract

【課題】 音声における記号シーケンスの推定のための方法、装置を提供する。【解決手段】 音声テキスト化データからターゲット記号シーケンスの１つ又は複数の候補を検出することと、音声テキスト化データから各候補の関連部分を抽出すること（Ｓ１４０）、対応する候補の関連部分内の、各候補の少なくとも部分的シーケンスの反復を検出すること（Ｓ１５０）、検出した反復に反復表示をラベル付けすること（Ｓ１６０）、及び候補の各々の反復表示を含む対応する関連部分を用いて、各候補がターゲット記号シーケンスであるかどうかを推定すること（Ｓ１７０）を含む、コンピュータにより実施される方法を用いて、記号シーケンスを推定する。【選択図】 図２

Description

本発明は、音声における記号シーケンスの推定に関する。

音声認識システムは、音声テキスト化（speech-to-text）と呼ばれるプロセスにおいて、記録された言葉による会話のような音声データからテキストを生成する。音声テキスト化データと呼ばれる、音声テキスト化プロセスから生成されるテキストを用いるためには、言葉による会話から記号シーケンスを検索することが重要である。既存の記号シーケンス検索技術は、特許文献１、特許文献２及び特許文献３に開示されている。しかしながら、音声テキスト化データにおいて、１つのタイプの記号シーケンス（例えば、電話番号）と他のタイプの記号シーケンス（例えば、顧客ＩＤ）を区別する上での困難が依然としてある。

米国特許公開番号第２００８／０２２１８８２Ａ１号明細書 米国特許公開番号第２０１４／０２２２４１９Ａ１号明細書 米国特許公開番号第２０１１／００４６９５３Ａ１号明細書

Ｊｕｎｙｏｕｎｇ Ｃｈｕｎｇ、Ｃａｇｌａｒ Ｇｕｌｃｅｈｒｅ、ＫｙｕｎｇＨｙｕｎ Ｃｈｏ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ著、Ｅｍｐｉｒｉｃａｌ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｏｎ Ｓｅｑｕｅｎｃｅ Ｍｏｄｅｌｉｎｇ

音声における記号シーケンスの推定のための方法、装置を提供する。

本発明の第１の態様によると、音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することと、上記音声テキスト化データから各候補の関連部分を抽出することと、対応する候補の関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することと、検出した反復に反復表示をラベル付けすることと、候補の各々の反復表示を含む対応する関連部分を用いて、各候補がターゲット記号シーケンスであるかどうかを推定することとを含む、コンピュータにより実施される方法が提供される。第１の態様によると、この方法は、反復の表示を利用して、より少ない計算リソースによるターゲット記号シーケンスの正確な識別を可能にする。

本発明の第２の態様によると、随意的に、第１の態様の方法が提供され、そこで、音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することは、音声テキスト化データから、上記１以上の候補の各々を構成する２以上の記号シーケンスを抽出することであって、２以上の記号シーケンスは、音声テキスト化データにおいて互いに離れている、抽出することを含む。第２の態様によると、この方法は、音声テキスト化データにおける離れた位置からの候補の検出を可能にする。

本発明の第３の態様によると、随意的に、第２の態様の方法が提供され、そこで、対応する候補の関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することは、対応する候補の関連部分内に、対応する候補を構成する２以上の記号シーケンスの少なくとも１つを検出することを含む。第３の態様によると、この方法は、記号シーケンスに対応する反復の検出を可能にし、これにより、推定の精度を改善することができる。

本発明の第４の態様によると、随意的に、第２の態様の方法が提供され、そこで、２以上の記号シーケンスを抽出することは、所定数の記号シーケンスを抽出することによって実行され、上記２以上の記号シーケンスは重ならず、２以上の記号シーケンスの連結は候補の各々を形成する。第４の態様によると、この方法は、音声テキスト化データにおける遠隔位置からの候補の検出を可能にする。

本発明の第５の態様によると、随意的に、第１の態様の方法が提供され、そこで、上記候補の各々の関連部分は、該候補の各々に隣接する部分を含む。第５の態様によると、この方法は、記号シーケンスに対応する反復の検出を可能にし、これにより、推定の精度を改善することができる。

本発明の第６の態様によると、随意的に、第５の態様の方法が提供され、そこで、各々の対応する候補の反復表示に基づいて、各候補がターゲット記号シーケンスであるかどうかを推定することは、反復表示を有する各候補の関連部分を再帰ニューラル・ネットワーク（recurrent neural network）に入力することによって、各候補がターゲット記号シーケンスである確率を推定することを含む。第６の態様によると、この方法は、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にする。

本発明の第７の態様によると、随意的に、第６の態様の方法が提供され、そこで、各々の対応する候補の反復表示に基づいて、各候補がターゲット記号シーケンスであるかどうかを推定することは、候補の中で再帰ニューラル・ネットワークからどの候補が最も高い確率を出力するかを判断することをさらに含む。第７の態様によると、この方法は、より高い精度及びより少ない計算ソースによるターゲット記号シーケンスの検出を可能にする。

本発明の第８の態様によると、随意的に、第６の態様の方法が提供され、そこで、音声テキスト化データから各候補の関連部分を抽出することは、音声テキスト化データから候補の複数の関連部分を抽出することを含み、ラベル付けされた反復を有する候補の各々の関連部分を再帰ニューラル・ネットワークに入力することによって、各候補がターゲット記号シーケンスである確率を推定することは、ラベル付けされた反復を有する候補の各々の複数の関連部分の各々を、複数の再帰ニューラル・ネットワークの各々に入力することを含み、反復表示を有する候補の各々の複数の関連部分の各々は、候補の各々に対する複数の関連部分の各々の位置に応じた方向に、複数の再帰ニューラル・ネットワークに入力される。第８の態様によると、この方法は、音声テキスト化データにおける候補と関連部分との間の相対的位置を利用することにより、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にする。

本発明の第９の態様によると、候補についての確率が閾値を下回ると判断することに応答して、付加的な音声テキスト化データを要求することをさらに含む方法が、随意的に提供される。第９の態様によると、この方法は、既存の音声テキスト化データからの推定が十分に信頼できると考えられない場合、新しい音声テキスト化データからのターゲット記号シーケンスの別の推定を可能にする。

本発明の第１０の態様によると、随意的に、第１の態様の方法が提供され、そこで、検出した反復に反復表示をラベル付けすることは、検出した反復を反復表示と置換することを含む。第１０の態様によると、この方法は、不要な情報を削除することによって、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にすることができる。

本発明の第１１の態様によると、随意的に、第１の態様の方法が提供され、そこで、検出した反復に反復表示をラベル付けすることは、検出した反復に、検出した反復の記号の長さの表示をラベル付けすることを含む。第１１の態様によると、この方法は、反復の記号の長さの情報を利用することによって、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にする。

本発明の第１２の態様によると、随意的に、第１の態様の方法が提供され、そこで、検出した反復に反復表示をラベル付けすることは、検出した反復に、各候補における検出した反復の位置の表示をラベル付けすることを含む。第１２の態様によると、この方法は、反復の位置の情報を利用することによって、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にする。

本発明の第１３の態様によると、随意的に、第１の態様の方法が提供され、そこで、候補の各々の関連部分から候補の各々の少なくとも部分的シーケンスに類似した類似部分を検出することと、検出した類似部分に、類似性を示す情報をラベル付けすることとをさらに含み、候補の各々の反復表示を含む対応する関連部分を用いて、各候補がターゲット記号シーケンスであるかどうかを推定することは、反復表示及び各候補の類似部分に基づいて、候補の各々がターゲット記号シーケンスであるかどうかを推定することを含む。第１３の態様によると、この方法は、候補に類似した部分の情報を利用することによって、より高い精度及びより少ない計算リソースによるターゲット記号シーケンスの検出を可能にする。

上記の第１〜第１３の態様は、説明した方法を実行する装置、及びコンピュータ又はプログラム可能回路を説明した方法を実行させるコンピュータ・プログラム製品を含むこともできる。概要の節は、必ずしも本発明の実施形態の全ての特徴を説明するものではない。本発明の実施形態は、上述した特徴の部分組み合わせを含むこともできる。

これら並びに他の特徴及び利点は、添付図面と併せて読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
以下の説明は、以下の図を参照して好ましい実施形態の詳細を提供する。

本発明の実施形態による、装置の例示的な構成を示す。 本発明の実施形態による、動作フローを示す。 本発明の実施形態による、候補を示す。 本発明の別の実施形態による、候補を示す。 本発明の実施形態による、関連部分を示す。 本発明の実施形態による、ラベル付けを示す。 本発明の別の実施形態による、ラベル付けを示す。 本発明の実施形態による、再帰ニューラル・ネットワーク（ＲＮＮ）を示す。 本発明の実施形態による、長期短期メモリ（ＬＳＴＭ：Long Short-Term Memory）を示す。 本発明の実施形態による、推定モデルを示す。 本発明の実施形態による、第２の動作フローを示す。 本発明の実施形態による、システムとして機能するコンピュータの例示的なハードウェア構成を示す。

以下では、本発明の例示的な実施形態が説明される。例示的な実施形態は、特許請求の範囲に従った本発明を限定するものではなく、実施形態に説明される特徴の組み合わせは、必ずしも本発明にとって本質的なものではない。

図１は、本発明の実施形態による、装置１０（例えば、コンピュータ、プログラム可能回路等）の例示的な構成を示す。装置１０は、音声テキスト化データにおけるターゲット記号シーケンスを判断することができる。装置１０により判断されるターゲット記号シーケンスは、電話番号とすることができる。
装置１０は、プロセッサと、命令をまとめて含む１以上のコンピュータ可読媒体とを含むことができる。命令は、プロセッサ又はプログラム可能回路により実行されるとき、プロセッサ又はプログラム可能回路に、複数の動作セクションとして動作させることができる。それによって、装置１０は、格納セクション１００、取得セクション１１０、検出セクション１３０、抽出セクション１４０、検索セクション１５０、ラベル付けセクション１６０、推定セクション１７０、及び訓練セクション１９０として表すことができる。

格納セクション１００は、装置１０の動作に用いられる種々のデータを格納することができる。格納セクション１００は、揮発性又は不揮発性メモリを含むことができる。装置１０内の１以上の他の要素（例えば、取得セクション１１０、検出セクション１３０、抽出セクション１４０、検索セクション１５０、ラベル付けセクション１６０、推定セクション１７０、及び訓練セクション１９０等）は、直接又は格納セクション１００を介して、必要なデータと通信することができる。

取得セクション１１０は、音声テキスト化データを取得することができる。取得セクション１１０は、各々の訓練データが、正しい記号シーケンスと対になった音声テキスト化データを含む１以上の訓練データを取得することができる。取得セクション１１０は、データベース２０から音声テキスト化データ及び／又は訓練データを取得し、それらを格納セクション１００に格納することができる。取得セクション１１０は、マイクロフォン、又は装置に接続された他の音声入力デバイスから、音声テキスト化データ及び／又は訓練データを取得することができる。音声テキスト化データ及び／又は訓練データは、キャプチャした人間の言葉、又は機械的に合成した人間の言葉とすることができる。

検出セクション１３０は、取得セクション１１０によって取得された音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することができる。検出セクション１３０は、音声テキスト化データから、候補の各々を構成する２以上の記号シーケンスを抽出することによって、１以上の候補の検出を実行することができる。２以上の記号シーケンスは、音声テキスト化データにおいて互いに離れている。

抽出セクション１４０は、音声テキスト化データから、検出セクション１３０によって検出された各候補の１以上の関連部分を抽出することができる。幾つかの実施形態において、関連部分は、音声テキスト化データにおいて各候補に隣接するテキストとすることができる。

検索セクション１５０は、抽出セクション１４０によって抽出された関連部分における反復を検索することができる。検索セクション１５０は、対応する候補の関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することができる。

ラベル付けセクション１６０は、検索セクション１５０によって検出された反復に、反復表示をラベル付けすることができる。

推定セクション１７０は、ラベル付けセクション１６０によってラベル付けされた候補の各々の反復表示を含む対応する関連部分を用いて、各候補がターゲット記号シーケンスであるかどうかを推定することができる。幾つかの実施形態において、推定セクション１７０は、再帰ニューラル・ネットワークのような推定モデルを用いて、各候補がターゲット記号シーケンスであるかどうかの可能性を推定することができる。

訓練セクション１９０は、推定セクション１７０による推定に用いられる推定モデルを訓練することができる。訓練セクション１９０は、取得セクション１１０によって取得された訓練データを用いて訓練を実行することができる。

図２は、本発明の実施形態による第１の動作フローを示す。本実施形態は、装置１０のような装置が、図２に示されるようなＳ１１０〜Ｓ１９０の動作を実行する例を説明する。装置は、Ｓ１１０〜Ｓ１９０の動作を実行することによって、音声テキスト化データからターゲット記号シーケンスを推定することができる。

ターゲット記号シーケンスは、例えば、数、字、及び／又は他の文字を含む記号のシーケンスとすることができ、それだけで意味がないこともある。幾つかの実施形態において、ターゲット記号シーケンスは、電話番号、顧客ＩＤ、カード番号、人／人のグループの識別、製品／サービスの識別、及び物理アドレス／電子メール・アドレス等とすることができる。

Ｓ１１０において、取得セクション１１０のような取得セクションが、音声テキスト化データを取得することができる。他の実施形態において、取得セクション１１０は、音声テキスト化データのような、言葉による会話若しくはモノローグから転記されるテキスト・データ、又はテキスト・メッセージ（例えば、オンラインチャット）のテキスト・データを取得することができる。

Ｓ１３０において、検出セクション１３０のような検出セクションが、音声テキスト化データからターゲット記号シーケンスの１以上の候補（以下、「候補」と呼ぶことができる）を検出することができる。検出セクションは、ターゲット記号シーケンスと同数の記号を有する候補を検出することができる。ターゲット記号シーケンスが１１個の記号シーケンスを有する（又は、１１桁とみなされる）電話番号である場合、検出セクションは、音声テキスト化データから１１個の記号シーケンスを有する１以上の候補を検出することができる。

検出セクションは、音声テキスト化データから、候補の各々を構成する２つ又は複数の記号シーケンスを抽出することができ、２以上の記号シーケンスは、音声テキスト化データにおいて互いに離れている。検出セクションは、音声テキスト化データから所定数の記号シーケンスを抽出する１以上のテンプレートを、音声テキスト化データに適用することができる。２以上の記号シーケンスの連結が候補の各々を形成する。

図３は、本発明の実施形態による候補を示す。図３の実施形態において、ターゲット記号シーケンスは、１１桁の電話番号である。表に示される「候補」（例えば、０８００８０１２５５１、０８００８０１２５１３．．．）は、検出セクションにより検出されたターゲット記号シーケンスの候補を表す。検出セクションは、図３の上部に示されるような音声テキスト化データ「Ｍｙ ｐｈｏｎｅ ｎｕｍｂｅｒ ｉｓ．．．ｈｍｍ ５１３１ ｒｉｇｈｔ（私の電話番号は．．．そう ５１３１ですね）」から候補を検出する。

図３の実施形態において、検出セクションは、８桁のテンプレートと３桁のテンプレートを用いることによって、候補を検出する。図３の実施形態に関して、検出セクションは、８桁のテンプレートを用いて、音声テキスト化データから、８桁を有する全ての記号シーケンス（例えば、０８００８０１２、８００８０１２３．．．）を抽出することができる。検出セクションは、３桁のテンプレートを用いることにより、音声テキスト化データから、８桁の記号シーケンスが３桁の記号シーケンスと同時に重ならないように、３桁を有する全ての記号シーケンス（例えば、５５１、５１３．．．）を抽出することができる。例えば、「０８００８０１２」を検出すると、検出セクションは、３桁の記号シーケンスとして、音声テキスト化データから、「０８０」、「８００」、．．．、「２３４」を検出することができない。記号シーケンス（例えば、０８００８０１２）及び（例えば、５５１）の連結は、候補（例えば、０８００８０１２５５１）を形成する。

検出セクションは、２以上の候補のような、音声テキスト化データにおける異なる部分から抽出される同じ記号シーケンスを検出することができる。図３の実施形態において、検出セクションは、第２の候補及び第４の候補に示されるような「０８００８０１２５１３」を検出する。例えば、検出セクションは、候補についての音声テキスト化データにおける同じ部分から「０８００８０１２」を検出するが、検出セクションは、音声テキスト化データにおける「．．．ｉｓ ５５１３１ ｈｍｍ．．．（．．．は、５５１３１ そう．．．）」から第２の候補の「５１３」を検出し、「．．．ｈｍｍ ５１３１ ｒｉｇｈｔ（．．．そう ５１３１ですね）」から第４の候補の「５１３」を検出する。

こうした場合、検出セクションは、異なる候補として「０８００８０１２５１３」の２つの候補を扱うことができる。代替的な実施形態において、検出セクションは、同じ記号シーケンスを有する複数の候補の一部を保持する一方で、他の候補を放棄することができる。

図４は、本発明の別の実施形態による候補を示す。図４の実施形態において、検出セクションは、３桁のテンプレートと、２つの４桁のテンプレートとを用いて、候補を検出する。図４の実施形態に関して、検出セクションは、３桁のテンプレートを用いて、音声テキスト化データから３桁（例えば、０８０、８００、００８．．．）を有する全ての記号シーケンスを抽出することができる。検出セクションは、第１の４桁のテンプレートを用いて、音声テキスト化データから４桁（例えば、０８０１、８０１２）を有する全ての記号シーケンスを抽出し、３桁の記号シーケンスがいずれの４桁の記号シーケンスとも同時に重ならないようにすることができる。また、検出セクションは、第２の４桁のテンプレートを用いて音声テキスト化データから４桁（例えば、５５１３、５１３１）を有する全ての記号シーケンスを抽出し、３桁の記号シーケンス及び第１の４桁のテンプレートにより抽出される４桁のシーケンスが、第２の４桁のテンプレートにより抽出されるいずれの４桁の記号シーケンスとも同時に重ならないようにすることもできる。

幾つかの実施形態において、検出セクションは、記号シーケンスを検出するためのテンプレートの全ての可能な組み合わせを用いることができる。例えば、検出セクションは、１１桁の電話番号を有するターゲット記号のために、１１桁のテンプレート、１０＆１桁のテンプレート、９＆２桁のテンプレート、．．．、１＆１０桁のテンプレート、９＆１＆１桁のテンプレート、．．．、１＆１＆９桁のテンプレート、８＆１＆１＆１桁のテンプレート、．．．、１＆１＆１＆８桁のテンプレート、．．．、及び１＆１＆１＆１＆１＆１＆１＆１＆１＆１＆１桁のテンプレートを用いることができる。実施形態において、検出セクションは、装置のユーザにより予め定めることができる、記号シーケンスを検出するためのテンプレートの全ての可能な組み合わせの一部のみを用いることができる。

上記の実施形態に関連して説明されるように、検出セクションは、テンプレートにより抽出される２以上の記号シーケンスが重ならないように、検出を実行することができる。代替的な実施形態において、テンプレートにより抽出される２以上の記号シーケンスは重なることがある。

Ｓ１４０において、抽出セクション１４０のような抽出セクションは、音声テキスト化データから、Ｓ１３０において検出された各候補の関連部分を抽出することができる。候補の各々の関連部分は、候補を構成する２以上の記号シーケンスのいずれかに直接又は間接的に隣接する部分を含む。

実施形態において、抽出セクションは、音声テキスト化データから、候補の複数の関連部分を抽出することができる。抽出セクションは、Ｓ１３０において抽出した第１の記号シーケンスの先行部分（すなわち、左側の語）、Ｓ１３０において抽出した最後の記号シーケンスの後続部分（すなわち、右側の語）、及びＳ１３０において抽出した２つの隣接する記号の間にはさまれた部分（すなわち、中間の語）のうちの少なくとも１つを抽出することができる。

幾つかの実施形態において、抽出セクションは、音声テキスト化データからの関連部分として、指定された数の語（例えば、１０語）又は文字（例えば、１００文字）を抽出することができる。代替的な実施形態において、抽出セクションは、音声テキスト化の最初と第１の抽出した記号シーケンスとの間の全ての語、音声テキスト化の最後と最後の抽出した記号シーケンスとの間の全ての語、及び／又は関連部分のような２つの記号シーケンス間の全ての語を抽出することができる。

図５は、本発明の実施形態による関連部分を示す。図５は、図３の実施形態に従って検出された候補を示す。図５の実施形態において、抽出セクションは、第１の関連部分（「左側の語」として示される）として、音声テキスト化データにおける第１の記号シーケンス「０８００８０１２」に先行する「Ｍｙ ｐｈｏｎｅ ｎｕｍｂｅｒ ｉｓ（私の電話番号は）」を抽出した。抽出セクションは、第２の関連部分（「右側の語」として示される）として、音声テキスト化データにおける第２の記号シーケンス「５５１」に後続する「３１ ｈｍｍ ５１３１．．．（３１ そう ５１３１．．．）」を抽出した。

Ｓ１５０において、検索セクション１５０のような検索セクションが、対応する候補の関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することができる。検索セクションは、対応する候補の関連部分内に、対応する候補を構成する２以上の記号シーケンスの少なくとも１つを、反復として検出することができる。幾つかの実施形態において、検出セクションは、検出した記号シーケンスに隣接する関連部分内の候補の一部として、Ｓ１３０において検出した記号シーケンスと同じである記号シーケンスを検出することができる。

代替的な実施形態において、検出セクションは、候補の関連部分の一部／全てにおける１つの候補の一部として、Ｓ１３０において検出した記号シーケンスと同じである記号シーケンスを検出することができる。さらに別の代替的な実施形態において、検出セクションは、１つの候補の全ての関連部分内の１つの候補のいずれかの部分と同じである記号シーケンスを検出することができる。検出セクションが候補についての反復を検出しない場合、装置は、候補に対してＳ１６０を実行することなく、Ｓ１７０の動作に進むことができる。

Ｓ１６０において、ラベル付けセクション１６０のようなラベル付けセクションが、Ｓ１５０において検出した反復に、反復表示をラベル付けすることができる。ラベル付けセクションは、検出した反復を反復表示と置き換えることによって、ラベル付けを実行することができる。

幾つかの実施形態において、ラベル付けセクションは、検出した反復に、検出した反復の記号の長さの表示をラベル付けすることができる。例えば、反復表示は、検出した反復の記号の数の情報を含むことができる。

他の実施形態において、ラベル付けセクションは、検出した反復に、対応する候補における検出した反復の位置の表示をラベル付けすることができる。例えば、反復表示は、関連部分が検出した反復を含む位置の情報（例えば、関連部分における最後の４桁に、検出した反復が存在するという情報）を含むことができる。

図６は、本発明の実施形態によるラベル付けを示す。図６は、図５の実施形態に従って検出された関連部分に与えられる反復表示を示す。図６の実施形態において、検索セクションは、図５の第２の候補の右側の語の下で、３桁の記号シーケンス「５１３」の反復を検出し、それに応答して、ラベル付けセクションは、反復「５１３」を反復表示「Ｒｅｐ（３）」と置換した。「Ｒｅｐ（３）」の「（３）」は、図６に示されるような反復内の記号の数を表す。検索セクションはまた、図５の第３の候補の右側の語の下に、３桁の記号シーケンス「１３１」の反復を検出し、ラベル付けセクションは、反復「１３１」を反復表示「Ｒｅｐ（３）」と置換する。

２以上の反復表示が候補又は関連部分内にあることに応答して、ラベル付けセクションは、検出した反復に、別個の反復表示をラベル付けすることができる。例えば、２つの「Ｒｅｐ（３）」表示があった場合、ラベル付けセクションは、第１の「Ｒｅｐ（３）」を「Ｒｅｐ（３）＿１」とラベル付けし、第２の「Ｒｅｐ（３）」を「Ｒｅｐ（３）＿２」とラベル付けすることができる。

図７は、本発明の別の実施形態によるラベル付けを示す。図７の実施形態において、関連部分は、図３に示される候補及び音声テキスト化データから抽出された左側の語、中間の語、及び右側の語を含むことができる。中間の語は、８桁のテンプレート及び３桁のテンプレートによりそれぞれ検出された８桁の記号シーケンスと３桁の記号シーケンスとの間にはさまれた部分とすることができる。実施形態において、第２及び第３の候補の右側の語の下の反復は、反復表示と置き換えられる。

図７の実施形態において、検索セクションは、中間の語（例えば、「３４ ｏｈ．．．ｉｓ（３４ まあ．．．番号は）」）から、８桁の記号シーケンス（例えば「０８００８０１２」）及び３桁の記号シーケンス（例えば「５５１」）の両方の反復を検出することができる。ラベル付けセクションは、反復にラベル付けし、異なる記号シーケンス（３桁／８桁の記号シーケンス）の反復が区別可能であるようにすることができる。

Ｓ１７０において、推定セクション１７０のような推定セクションが、各候補がターゲット記号シーケンスであるかどうかを推定することができる。幾つかの実施形態において、推定セクションは、反復表示を有する各候補の関連部分を推定モデルに入力することによって、各候補がターゲット記号シーケンスである確率を計算することができる。推定セクションは、長期短期メモリ（ＬＳＴＭ）のような再帰ニューラル・ネットワークを推定モデルとして用いることができる。推定セクションは、種々のタイプのＬＳＴＭ（例えば、Ｇｅｒｓ＆Ｓｃｈｍｉｄｈｕｂｅｒ（２０００年）、Ｃｈｏ他（２０１４年）、Ｋｏｕｔｎｉｋ他（２０１４年）、Ｙａｏ他（２０１５年）、Ｇｒｅｆｆ他（２０１５年）、又はＪｏｚｅｆｏｗｉｃｚ他（２０１５年）において開示されたＬＳＴＭ）の少なくとも１つを採用することができる。推定セクションは、非特許文献１に開示されるように、あるタイプのＬＳＴＭとしてＧＲＵを採用することができる。代替的な実施形態において、推定セクションは、別のタイプの再帰ニューラル・ネットワークを推定モデルとして採用することができる。

推定セクションは、反復表示を有する関連部分の全て又は少なくとも一部をＬＳＴＭに入力することができる。検索セクションが、Ｓ１５０において関連部分内にいずれの反復も検出しない場合、推定セクションは、いずれの反復表示も伴わない関連部分をＬＳＴＭ内に入力することができる。

Ｓ１７０において、推定セクションは、複数の候補を、ターゲット記号シーケンスである可能性の昇順／降順で列挙し、装置のディスプレイ上に、候補のリスト及びその可能性を示すことができる。

装置は、Ｓ１３０において検出セクションが検出した複数の候補の各々について動作Ｓ１４０〜Ｓ１７０を実行することができる。装置が２以上のテンプレート（例えば、８＆３桁のテンプレート及び４＆４＆３桁のテンプレート）を使用する場合、装置は、全てのテンプレートから検出した複数の候補の各々について動作Ｓ１４０〜Ｓ１７０を実行することができる。

これにより、推定セクションは、Ｓ１３０において検出した複数の候補の各々についてのターゲット記号シーケンスの可能性を計算することができる。

Ｓ１９０において、推定セクションは、複数の候補の中から１つの候補をターゲット記号シーケンスとして選択することができる。実施形態において、推定セクションは、複数の候補の中でどの候補が、再帰ニューラル・ネットワークから最も高い確率を出力するかを判断することができる。推定セクションは、最も高い確率を出力すると判断した候補をターゲット記号シーケンスとして選択することができる。

取得セクションは、推定セクションが各候補についての確率が閾値を下回ると判断することに応答して、付加的な音声テキスト化データを利用することができる。取得セクションは、複数の候補の最も高い確率が閾値を下回る場合、付加的な音声テキスト化データを利用することができる。取得セクションは、複数の候補の最も高い確率と複数の候補の２番目に高い確率との間の差が閾値を下回る場合、付加的な音声テキスト化データを利用することができる。それにより、例えば、コールセンターのオペレータは、顧客の情報を入力するために装置を使用することができ、装置が、推定した記号シーケンスに確信をもっていないことに応答して、顧客から記号シーケンス（例えば、顧客ＩＤ）を再度要求することがある。

上に説明したように、装置は、反復の表示を用いて、より少ない計算リソースを用いてターゲット記号シーケンスを正確に検出することができる。特に、装置は、反復の表示を用いることにより、より少ない計算リソースを用いて、ターゲット記号シーケンス（例えば、電話番号）を、音声テキスト化データ内の他の混乱を招く記号シーケンス（例えば、製品ＩＤ）と区別することができる。

話し手が、確認のために会話において重要な記号シーケンスの少なくとも一部を反復することがある。装置は、ターゲット記号シーケンスを識別するために、こうした反復を利用することができる。具体的には、エージェントとクライアントとの間の会話の際、エージェントは、クライアントの情報（例えば、顧客ＩＤ、電話番号等）を全体的又は部分的に確認することがある。従って、装置は、エージェントと顧客との間の会話全体の中から、エージェントの音声に対応する音声テキスト化データの部分のみを使用することができる。

図８は、本発明の実施形態による再帰ニューラル、ネットワーク（ＲＮＮ）を示す。１つの実施形態において、ＲＮＮは、ハードウェア実装を含む。別の実施形態において、ＲＮＮは、再帰層２１０と、出力層２２０とを含む。図２に示されるように、再帰層２１０は、新しい入力を繰り返し受け取り、新しい入力及び各時点についての現在の状態に基づいて、次の状態を計算することができる。言い換えれば、再帰層２１０は、各入力についての状態を更新することができる。

再帰層２１０は、出力層２２０に、候補データについての再帰層２１０の出力（例えば、最新の状態）を提供することができる。実施形態による再帰層２１０は、推定セクション１７０のような推定セクション及び／又は訓練セクション１９０のような訓練セクションにより実施することができる。

出力層２２０は、再帰層２１０からの出力に基づいて、結果として得られる出力データを処理することができる。出力層２２０は、ソフトマックス（softmax）層又は階層ソフトマックス層とすることができる。出力層２２０は、推定セクション及び／又は訓練セクションにより実施することができる。

図９は、本発明の実施形態によるＬＳＴＭを示す。例えば、再帰層２１０のような、ＲＮＮ内の再帰層は、図９で表されるＬＳＴＭにより実装することができる。こうした実施において、状態（上に「現在の状態」及び「次の状態」と呼ばれる）は、隠れ状態ｈ_ｔ及び時点ｔについてのセル状態ｃ_ｔを含み、ここで、ｔ＝１，．．．，Ｔである。

図９の実施形態において、ＬＳＴＭは、（ｃ_０、ｈ_０，ｘ_１）を入力し、（ｃ_１，ｈ_１）を計算し、時点１におけるｙ_１を出力し、．．．、（ｃ_ｔ−１、ｈ_ｔ−１、ｘ_ｔ）を入力し、時点ｔにおける（ｃ_ｔ，ｈ_ｔ）を計算し、（ｃ_ｔ、ｈ_ｔ、ｘ_ｔ＋１）を入力し、時点ｔ＋１における（ｃ_ｔ＋１，ｈ_ｔ＋１）を計算し、．．．、（ｃ_Ｔ−１、ｈ_Ｔ−１、ｘ_Ｔ）を入力し、時点Ｔにおける（ｃ_Ｔ、ｈ_Ｔ）を計算することができる。ＬＳＴＭは、時点ｔについての出力ｙ_ｔを出力することができ、これは、隠れ状態ｈ_ｔと同じであり得る。ＬＳＴＭは、再帰層の最後の状態として、最後の時点Ｔにおけるｙ_Ｔを出力することができる。

図１０は、本発明の実施形態による推定モデルを示す。推定セクションは、候補を処理するために複数の再帰ニューラル・ネットワークを用いることができる。実施形態において、推定セクションは、ラベル付けされた反復を有する各候補の複数の関連部分の各々を、各々が独立した重みを有する複数の再帰ニューラル・ネットワークの１つに入力することができる。推定セクションは、関連部分における各語（又は、反復表示）を、テキストの順番の方向（すなわち、左から右）又はテキストの逆順の方向（すなわち、右から左）に入力することができる。

反復表示を有する各候補の複数の関連部分の各々は、各候補の複数の関連部分の各々の位置又は各候補を構成する記号シーケンスに依存する方向において、複数の再帰ニューラル・ネットワークの１つに入力される。それにより、推定セクションは、関連部分の相対的位置、及び候補／記号シーケンスを考慮に入れることにより、ターゲット記号シーケンスの推定の高い精度を達成することができる。

図１０の実施形態において、音声テキスト化データは図３と同じであり、候補は、８桁のテンプレートにより検出される記号シーケンス「０８００８０１２」及び３桁のテンプレートにより検出される記号シーケンス「５１３」からなる「０８００８０１２５１３」である。関連部分は左側の語「Ｍｙ ｐｈｏｎｅ ｎｕｍｂｅｒ ｉｓ（私の電話番号は）」と、中間の語「３４ ｏｈ ｃｏｏｌ ｉｔ’ｓ ｅａｓｙ ｔｏ ｒｅｍｅｍｂｅｒ ｙｅａｈ ａｎｄ ｔｈｅ ｎｕｍｂｅｒ ｉｓ ５（３４ まあ 覚えやすいですね はい そして 番号は５）」と、右側の語、反復表示「ｒｅｐ（３）」を有する「１ ｈｍｍ Ｒｅｐ（３）１．．．（１ そう ｒｅｐ（３）１．．．）」とを含む。

図１０の実施形態において、推定セクションは、左側の語に対してＬＳＴＭ１を使用し、中間の語に対してＬＳＴＭ２及びＬＳＴＭ３を使用し、右側の語に対してＬＳＴＭ４を使用することができる。推定セクションは、左側の語をＬＳＴＭ１に、左側の語の元の順番で入力することができる。例えば、推定セクションは最初に、左側の語の第１の語「Ｍｙ」をＬＳＴＭ１に入力し、第１の語の第１の出力を計算し、次に、第１の出力及び第２の語「ｐｈｏｎｅ」をＬＳＴＭ１に入力し、第２の出力を計算し、次に、第２の出力及び第３の語「ｎｕｍｂｅｒ」をＬＳＴＭ１に入力し、第３の出力を計算し、第３の出力及び第４の語「ｉｓ」をＬＳＴＭ１に入力し、第４の出力を計算し、第４の出力（すなわち、最後の出力）をソフトマックス層に入力することができる。

推定セクションは、中間の語をＬＳＴＭ２に、中間の語の元の順番で入力することができる。推定セクションは最初に、中間の語の第１の語「３」をＬＳＴＭ２に入力し、第１の語の第１の出力を計算し、次に、第１の出力及び第２の語「４」をＬＳＴＭ２に入力し、第２の出力を計算し、．．．、第１３の出力及び第１４の語「５」をＬＳＴＭ２に入力し、第１４の出力（すなわち、最後の出力）を計算し、第１４の出力をソフトマックス層に入力することができる。

推定セクションは、中間の語をＬＳＴＭ３に中間の語の逆順で入力することもできる。推定セクションは最初に、第１の語「５」をＬＳＴＭ３に入力し、第１の語の第１の出力を計算し、次に、第１の出力及び第２の語「ｉｓ」をＬＳＴＭ３に入力し、第２の出力を計算し、．．．、第１３の出力及び第１４の語「３」をＬＳＴＭ３に入力し、第１４の出力（すなわち、最後の出力）を計算し、第１４の出力をソフトマックス層に入力することができる。それにより、推定セクションは、２つの記号シーケンス間の関連部分を二方向のＬＳＴＭに入力することができる。

推定セクションは、右側の語をＬＳＴＭ４に右側の語の逆順で入力することもできる。推定セクションは最初に、第１の語「ｒｉｇｈｔ」をＬＳＴＭ４に入力し、第１の語の第１の出力を計算し、次に、第１の出力及び第２の語「１」をＬＳＴＭ４に入力し、第２の出力を計算し、次に、第２の出力及び第３の語（又は、反復表示）「ｒｅｐ（３）」をＬＳＴＭ４に入力し、第３の出力を計算し、次に、第３の出力及び第４の語「ｈｍｍ」をＬＳＴＭ４層に入力し、第４の出力を計算し、次に、第４の出力及び第５の語「１」をＬＳＴＭ４に入力し、第５の出力（すなわち、最後の出力）を計算し、第５の出力をソフトマックス層に入力することができる。

推定セクションは、ＬＳＴＭ１、ＬＳＴＭ２、ＬＳＴＭ３、及びＬＳＴＭ４から受け取った出力に基づいて、ソフトマックス層の計算を実行することによって、ターゲット記号シーケンスの可能性を推定することができる。それにより、図１０の実施形態によると、推定セクションは、１つだけのＬＳＴＭが推定モデルとして用いられる実施形態よりも少ない計算リソースを用いてターゲット記号シーケンスの推定の精度を維持することができる。

図１１は、本発明の実施形態による第２の動作フローを示す。本実施形態は、装置１０のような装置が、図１１に示されるようなＳ３１０〜Ｓ３５０の動作を実行する例を説明する。装置は、Ｓ３１０〜Ｓ３５０動作を実行することによって、ターゲット記号シーケンスを推定するために、再帰ニューラル・ネットワークを訓練することができる。

Ｓ３１０において、取得セクション１１０のような取得セクションは、再帰ニューラル・ネットワークのような推定モデルを訓練するために、１以上の訓練データを取得することができる。各訓練データは、正しい記号シーケンスとして用いられる記号シーケンスと対になった音声テキスト化データを含むことができる。正しい記号シーケンスは、音声テキスト化データを調べる人により、予め決定され得る。

Ｓ３３０において、装置は、Ｓ３１０において取得した訓練データを処理し、２以上の訓練データの各音声テキスト化データについての反復表示を有する関連部分を抽出することができる。幾つかの実施形態において、装置は、２以上の訓練データの各音声テキスト化データについてＳ１１０〜Ｓ１６０の動作を実行することができる。

Ｓ３５０において、訓練データセクション１９０のような訓練セクションは、誤差逆伝播法（backpropagation）により、Ｓ１７０に関連して説明されるＬＳＴＭのような再帰ニューラル・ネットワークを訓練することができる。こうした実施形態において、訓練セクションは、割り当てられた確率と各音声テキスト化データの候補のＬＳＴＭの出力との間の誤差を減らすように、ＬＳＴＭの重み（又は、パラメータ）を更新することによって、訓練を実行することができる。実施形態において、訓練セクションは、正しい記号シーケンスと同じ候補に対して１（すなわち、１００％）の確率を割り当て、他の候補に対して０（すなわち、０％）の確率を割り当てる。

訓練セクションは、２以上の音声テキスト化データの複数の候補から得られる誤差の和が、閾値を下回るまで又は閾値より減らなくなるまで、各ＬＳＴＭの重みを繰り返し更新することができる。

図１０の実施形態において、訓練セクションは、４つのＬＳＴＭ（ＬＳＴＭ１〜４）及びソフトマックス層を訓練することができる。それにより、装置は、ＬＳＴＭを最適化し、テキストの両方向においてターゲット記号シーケンスを検出することができる。

多くの実施形態において、装置は、候補の部分と同じ部分を反復として検出することができる。代替的な実施形態において、検索セクションは、候補の各々の関連部分から、候補の各々の少なくとも部分的シーケンスに類似した類似部分を検出することができる。類似部分は、各候補の少なくとも部分的シーケンス（例えば、テンプレートにより検出される記号シーケンス）とは、１つ又は２つの記号が異なり得る。ラベル付けセクションは、検出した類似部分に、類似性（例えば、「ＳＩＭ（３）」）を示す情報をラベル付けすることができる。推定セクションは、示される反復及び各候補の類似部分に基づいて、候補の各々がターゲット記号シーケンスであるかどうかを推定することができる。

幾つかの実施形態において、装置は、訓練の結果に基づいて、図２のＳ１３０で用いられる１以上のテンプレートを決定することができる。例えば、装置は、各々の可能なテンプレートに対応する複数の推定モデルを生成するために、訓練データの１つの部分により、可能なテンプレートの各々について図１１の動作を実行することができる。装置は、訓練データの他の部分により各推定モデルを評価し、評価の結果に基づいて、可能なテンプレートの部分を選択することができる。

再帰ニューラル・ネットワークを用いる多くの実施形態が上で説明されたが、幾つかの実施形態において、装置は、再帰ニューラル・ネットワークの代わりにサポート・ベクター・マシン（Support Vector Machine：ＳＶＭ）を推定モデルとして用いることができる。実施形態において、推定セクションは、テキスト自体の代わりに単語のバッグ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を推定モデルに関連部分として入力することができる。例えば、図２のＳ１７０の動作において、推定セクションは、Ｓ１６０において生成した反復表示を有する関連部分に対応する単語のバッグを生成することができ、次に、単語のバッグをＳＶＭに入力することができる。Ｓ３５０の動作において、訓練セクションは、訓練データから生成した単語のバッグを用いて、再帰ニューラル・ネットワークの代わりにＳＶＭを訓練することができる。代替的な実施形態において、訓練セクションは、単語のバッグを用いて、任意の他の識別（discriminative）モデルを推定モデルとして訓練することもできる。実施形態によると、関連部分は、固定長ベクトルにより表される。

図１２は、本発明の実施形態による、クラウド・サービスを利用するように構成されたコンピュータの例示的なハードウェア構成を示す。コンピュータ８００にインストールされたプログラムにより、コンピュータ８００が、本発明の実施形態の装置、又はその１以上のセクション（モジュール、コンポーネント、要素等を含む）と関連した動作の役割を果たすこと又は動作を実行することができ、及び／又はコンピュータ８００が、本発明の実施形態のプロセス又はそのステップを実行することができる。こうしたプログラムは、ＣＰＵ ８００−１２により実行し、コンピュータ８００に、本明細書で説明されるフローチャート及びブロック図のブロックの一部又は全てと関連した特定の動作を実行させることができる。

本実施形態によるコンピュータ８００は、ホスト・コントローラ８００−１０により互いに接続される、ＣＰＵ８００−１２、ＲＡＭ８００−１４、グラフィックス・コントローラ８００−１６、サウンド・コントローラ、及びディスプレイ・デバイス８００−１８を含む。コンピュータ８００は、入力／出力コントローラ８００−２０を介してホスト・コントローラ８００−１０に接続される、通信インターフェース８００−２２、ハードディスク・ドライブ８００−２４、ＤＶＤ−ＲＯＭドライブ８００−２６、及びＩＣカード・ドライブなどの入力／出力ユニットも含む。コンピュータは、入力／出力チップ８００−４０を通じて入力／出力コントローラ８００−２０に接続される、ＲＯＭ８００−３０及びキーボード８００−４２などのレガシー入力／出力ユニットも含む。

ＣＰＵ８００−１２は、ＲＯＭ８００−３０及びＲＡＭ８００−１４内に格納されるプログラムに従って動作し、それにより、各ユニットを制御する。グラフィックス・コントローラ８００−１６は、ＲＡＭ８００−１４内又はそれ自体で提供されるフレーム・バッファ等上のＣＰＵ８００−１２により生成される画像データを取得し、画像データをディスプレイ・デバイス８００−１８上に表示させる。サウンド・コントローラは、接続されたマイクロフォン又は他の音声入力デバイスから音を取得することができる。サウンド・コントローラは、専属されたスピーカ又は他の音声出力デバイス上に音を生成することができる。

通信インターフェース８００−２２は、ネットワーク８００−５０を介して他の電子デバイスと通信する。ハードディスク・ドライブ８００−２４は、コンピュータ８００内のＣＰＵ８００−１２により用いられるプログラム及びデータを格納する。ＤＶＤ−ＲＯＭドライブ８００−２６は、ＤＶＤ−ＲＯＭ８００−０１からプログラム又はデータを読み取り、ＲＡＭ８００−１４を介して、ハードディスク・ドライブ８００−２４にプログラム又はデータを提供する。ＩＣカード・ドライブは、ＩＣカードからプログラム及びデータを読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ８００−３０は、起動時にコンピュータ８００により実行されるブート・プログラム、及び／又はコンピュータ８００のハードウェアに依存するプログラムを内部に格納する。入力／出力チップ８００−４０は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して種々の入力／出力ユニットを入力／出力コントローラ８００−２０に接続することもできる。

プログラムが、コンピュータ・プログラム製品（例えば、ＤＶＤ−ＲＯＭ８００−０１又はＩＣカードのようなコンピュータ可読媒体）により提供される。プログラムは、コンピュータ可読媒体から読み取られ、同じくコンピュータ可読媒体の例であり、ＣＰＵ８００−１２により実行される、ハードディスク・ドライブ８００−２４、ＲＡＭ８００−１４、又はＲＯＭ８００−３０にインストールされる。これらのプログラム内に記述される情報処理をコンピュータ８００内に読み取り、結果としてプログラムと上述の種々のタイプのハードウェア・リソースとの間の協働がもたらされる。装置又は方法は、コンピュータ８００の使用による動作又は情報の処理を実現することによって構成することができる。

例えば、コンピュータ８００と外部デバイスとの間で通信が行われる場合、ＣＰＵ８００−１２は、ＲＡＭ８００−１４にロードされた通信プログラムを実行し、通信プログラム内に記述される処理に基づいて、通信インターフェース８００−２２に通信処理を指示することができる。ＣＰＵ８００−１２の制御下の通信インターフェース８００−２２は、ＲＡＭ８００−１４、ハードディスク・ドライブ８００−２４、ＤＶＤ−ＲＯＭ８００−０１、又はＩＣカードのような記録媒体内に提供される伝送バッファ領域上に格納される伝送データを読み取り、読み取った伝送データをネットワーク８００−５０に伝送するか、ネットワーク８００−５０から受け取った受信データを、記録媒体上に提供される受信バッファ領域等に書き込む。

さらに、ＣＰＵ８００−１２は、ＲＡＭ８００−１４、ハードディスク・ドライブ８００−２４、ＤＶＤ−ＲＯＭドライブ８００−２６（ＤＶＤ−ＲＯＭ８００−０１）、ＩＣカード等のような外部記録媒体内に格納されたファイル又はデータベースの全て又は必要な部分を、ＲＡＭ８００−１４に読み取らせ、ＲＡＭ８００−１４上のデータに対して種々のタイプの処理を実行することができる。次に、ＣＰＵ８００−１２は、処理されたデータを外部記録媒体にライトバックすることができる。

情報処理を行うために、種々のタイプのプログラム、データ、テーブル及びデータベースのような種々のタイプの情報を記録媒体内に格納することができる。ＣＰＵ８００−１２は、ＲＡＭ８００−１４から読み取られたデータに対して、本開示全体を通して説明され、プログラムの命令シーケンスにより示されるような、種々のタイプの動作、情報の処理、条件判断、条件付き分岐、条件なし分岐、情報の検索／置換等を含む種々のタイプの処理を実行し、結果をＲＡＭ８００−１４にライトバックすることができる。

さらに、ＣＰＵ８００−１２は、記録媒体のファイル、データベース等内の情報を検索することができる。例えば、各々が第１の属性の属性値を有する複数のエントリが第２の属性の属性値と関連付けられ、記録媒体内に格納されるとき、ＣＰＵ８００−１２は、複数のエントリの中から、第１の属性の属性値が指定される条件に合致するエントリを検索し、エントリ内に格納される第２の属性の属性値を読み取り、それにより、所定の条件を満たす第１の属性と関連した第２の属性の属性値を得ることができる。

上で説明したプログラム又はソフトウェア・モジュールは、コンピュータ８００上又はその近くのコンピュータ可読媒体に格納することができる。さらに、専用通信ネットワーク又はインターネットに接続されるサーバ・システム内に提供される、ハードディスク又はＲＡＭなどの記録媒体をコンピュータ可読媒体として用いて、これにより、ネットワークを介してプログラムをコンピュータ８００に提供することができる。

本発明は、システム、方法、及び／又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの：すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカード若しくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び／又はエッジ・サーバを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語若しくは類似のプログラミング言語などの通常の手続き型プログラミング言語を含む１以上のプログラミング言語の任意の組み合わせで記述することができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて電子回路を個人化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１以上のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、及び／又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１以上のブロックにおいて指定された機能／動作を実行するためのプロセスを提供するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための１以上の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。

本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施形態に限定されない。本発明の上述の実施形態に、種々の変更又は改良を加えることが可能であることが当業者には明らかである。また、そうした変更又は改良を加えた実施形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

特許請求の範囲、実施形態、又は図に示される装置、システム、プログラム、及び方法により実施される各プロセスの動作、手順、ステップ、及び段階は、順番が、「に先立って（prior to）」、「より前に（before）」等により示されず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実施することができる。特許請求の範囲、実施形態、又は図において、プロセス・フローが、「最初に（first）」又は「次に（next）」のような語句を用いて説明されたとしても、これは必ずしも、プロセスをこの順序で実施しなければならないことを意味するものではない。

上記から明らかにされるように、本発明の実施形態は、時系列入力データに対応するモデルを学習する学習装置が、より高い表現能力及び学習能力を有し、学習動作をより簡単に実行することを可能にする。

１０：装置
２０：データベース
１００：格納セクション
１１０：取得セクション
１３０：検出セクション
１４０：抽出セクション
１５０：検索セクション
１６０：ラベル付けセクション
１７０：推定セクション
１９０：訓練セクション

Claims (25)

1. 音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することと、
   前記音声テキスト化データから各候補の関連部分を抽出することと、
   対応する前記候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することと、
   前記検出した反復に反復表示をラベル付けすることと、
   前記候補の各々の前記反復表示を含む前記対応する関連部分を用いて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することと、
   を含む、コンピュータにより実施される方法。
2. 前記音声テキスト化データから前記ターゲット記号シーケンスの前記１以上の候補を検出することは、
   前記音声テキスト化データから、前記候補の各々を構成する２以上の記号シーケンスを抽出することであって、前記２以上の記号シーケンスは、前記音声テキスト化データにおいて互いに離れている、抽出することを含む、請求項１に記載の方法。
3. 前記対応する候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することは、
   前記対応する候補の前記関連部分内に、前記対応する候補を構成する前記２以上の記号シーケンスの少なくとも１つを検出することを含む、請求項２に記載の方法。
4. 前記２以上の記号シーケンスを抽出することは、前記所定数の記号シーケンスを抽出することによって実行され、前記２以上の記号シーケンスは重ならず、前記２以上の記号シーケンスの連結は前記候補の各々を形成する、請求項２に記載の方法。
5. 前記候補の各々の前記関連部分は、前記候補の前記各々に隣接する部分を含む、請求項１に記載の方法。
6. 各々の対応する候補の前記反復表示に基づいて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することは、
   前記反復表示を有する各候補の前記関連部分を再帰ニューラル・ネットワークに入力することによって、各候補が前記ターゲット記号シーケンスである確率を推定することを含む、請求項５に記載の方法。
7. 各々の対応する候補の前記反復表示に基づいて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することは、
   前記候補の中で前記再帰ニューラル・ネットワークからどの候補が最も高い確率を出力するかを判断することをさらに含む、請求項６に記載の方法。
8. 前記音声テキスト化データから各候補の関連部分を抽出することは、前記音声テキスト化データから前記候補の複数の前記関連部分を抽出することを含み、
   ラベル付けされた反復を有する前記候補の各々の前記関連部分を再帰ニューラル・ネットワークに入力することによって、各候補が前記ターゲット記号シーケンスである確率を推定することは、ラベル付けされた反復を有する前記候補の各々の前記複数の関連部分の各々を、複数の再帰ニューラル・ネットワークの中の１つの再帰ニューラル・ネットワークに入力することを含み、
   反復表示を有する前記候補の各々の前記複数の関連部分の各々は、前記候補の前記各々に対する前記複数の関連部分の各々の位置に応じた方向に、前記複数の再帰ニューラル・ネットワークの中の１つの再帰ニューラル・ネットワークに入力される、請求項６に記載の方法。
9. 前記候補についての前記確率が閾値を下回ると判断することに応答して、付加的な音声テキスト化データを要求することをさらに含む、請求項６に記載の方法。
10. 前記検出した反復に前記反復表示をラベル付けすることは、
    前記検出した反復を前記反復表示と置換することを含む、請求項１に記載の方法。
11. 前記検出した反復に前記反復表示をラベル付けすることは、
    前記検出した反復に、前記検出した反復の記号の長さの表示をラベル付けすることを含む、請求項１に記載の方法。
12. 前記検出した反復に前記反復表示をラベル付けすることは、
    前記検出した反復に、前記各候補における前記検出した位置の表示をラベル付けすることを含む、請求項１に記載の方法。
13. 前記候補の各々の前記関連部分から前記候補の各々の少なくとも部分的シーケンスに類似した類似部分を検出することと、
    前記検出した類似部分に、類似性を示す情報をラベル付けすることと、
    をさらに含み、
    前記候補の各々の前記反復表示を含む前記対応する関連部分を用いて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することは、前記反復表示及び前記各候補の前記類似部分に基づいて、前記候補の各々が前記ターゲット記号シーケンスであるかどうかを推定することを含む、請求項１に記載の方法。
14. プロセッサと、
    前記プロセッサにより実行されるとき、前記プロセッサに、
    音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することと、
    前記音声テキスト化データから各候補の関連部分を抽出することと、
    対応する前記候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することと、
    前記検出した反復に反復表示をラベル付けすることと、
    前記候補の各々の前記反復表示を含む前記対応する関連部分を用いて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することと、
    を含む動作を実行させる命令をまとめて含む１以上のコンピュータ可読媒体と、
    を含む、装置。
15. 前記音声テキスト化データから前記ターゲット記号シーケンスの前記１以上の候補を検出することは、
    前記音声テキスト化データから、前記候補の各々を構成する２以上の記号シーケンスを抽出することであって、前記２以上の記号シーケンスは、前記音声テキスト化データにおいて互いに離れている、抽出することを含む、請求項１４に記載の装置。
16. 前記対応する候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することは、
    前記対応する候補の前記関連部分内に、前記対応する候補を構成する前記２以上の記号シーケンスの少なくとも１つを検出することを含む、請求項１５に記載の装置。
17. 前記２以上の記号シーケンスを抽出することは、前記所定数の記号シーケンスを抽出することによって実行され、前記２以上の記号シーケンスは重ならず、前記２以上の記号シーケンスの連結は前記候補の各々を形成する、請求項１５に記載の装置。
18. 前記候補の各々の前記関連部分は、前記候補の前記各々に隣接する部分を含む、請求項１７に記載の装置。
19. 各々の対応する候補の前記反復表示に基づいて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することは、
    前記反復表示を有する各候補の前記関連部分を再帰ニューラル・ネットワークに入力することによって、各候補が前記ターゲット記号シーケンスである確率を推定することを含む、請求項１８に記載の装置。
20. そこに具体化された命令を有する非一時的コンピュータ可読ストレージ媒体であって、
    前記命令は、プロセッサ又はプログラム可能回路により実行であり、前記プロセッサ又はプログラム可能回路に、
    音声テキスト化データからターゲット記号シーケンスの１以上の候補を検出することと、
    前記音声テキスト化データから各候補の関連部分を抽出することと、
    対応する前記候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することと、
    前記検出した反復に反復表示をラベル付けすることと、
    前記候補の各々の前記反復表示を含む前記対応する関連部分を用いて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することと、
    を含む動作を実行させる、非一時的コンピュータ可読ストレージ媒体。
21. 前記音声テキスト化データから前記ターゲット記号シーケンスの前記１以上の候補を検出することは、
    前記音声テキスト化データから、前記候補の各々を構成する２以上の記号シーケンスを抽出することであって、前記２以上の記号シーケンスは、前記音声テキスト化データにおいて互いに離れている、抽出することを含む、請求項２０に記載の非一時的コンピュータ可読ストレージ媒体。
22. 前記対応する候補の前記関連部分内に、各候補の少なくとも部分的シーケンスの反復を検出することは、
    前記対応する候補の前記関連部分内に、前記対応する候補を構成する前記２以上の記号シーケンスの少なくとも１つを検出することを含む、請求項２１に記載の非一時的コンピュータ可読ストレージ媒体。
23. 前記２以上の記号シーケンスを抽出することは、前記所定数の記号シーケンスを抽出することによって実行され、前記２以上の記号シーケンスは重ならず、前記２以上の記号シーケンスの連結は前記候補の各々を形成する、請求項２１に記載の非一時的コンピュータ可読ストレージ媒体。
24. 前記候補の各々の前記関連部分は、前記候補の前記各々に隣接する部分を含む、請求項２３に記載の非一時的コンピュータ可読ストレージ媒体。
25. 各々の対応する候補の前記反復表示に基づいて、各候補が前記ターゲット記号シーケンスであるかどうかを推定することは、
    前記反復表示を有する各候補の前記関連部分を再帰ニューラル・ネットワークに入力することによって、各候補が前記ターゲット記号シーケンスである確率を推定することを含む、請求項２４に記載の非一時的コンピュータ可読ストレージ媒体。

Images