JP2019070799A5 - - Google Patents

Claims (20)

1. クエリ結果をユーザに提供する際に、ユーザクエリの入力トークンシーケンスを書き換えるためのコンピュータ実装方法であって、
   コンピュータネットワークを介して、遠隔クライアント装置上で動作するアプリケーションから、システムユーザからのユーザクエリを受信するステップを含み、前記ユーザクエリは、前記入力トークンシーケンスを含み、
   正方向統計言語モデルに従って、前記入力トークンシーケンス内の複数のトークンの正方向確率を決定するステップと、
   反方向統計言語モデルに従って、前記入力トークンシーケンス内の複数のトークンの反方向確率を決定するステップと、
   低い反方向確率を有する第１のトークンの後方且つ低い正方向確率を有する隣接の第２のトークンの前方の位置に新たなトークンを挿入することによって、新たな書換えトークンシーケンスを作成するステップと、
   前記新たな書換えトークンシーケンスを処理することによって、結果を生成するステップと、
   前記処理による前記結果を示す応答を前記システムユーザに提供するステップとを含む、方法。
2. 入力トークンシーケンスを書き換えるためのコンピュータ実装方法であって、
   正方向統計言語モデルに従って、前記入力トークンシーケンス内の複数のトークンの正方向確率を決定するステップと、
   反方向統計言語モデルに従って、前記入力トークンシーケンス内の複数のトークンの反方向確率を決定するステップと、
   前記複数のトークンの各トークンの確率スコアを前記正方向確率のうち最も低いものと前記反方向確率のうち最も低いものとに基づいて計算するステップと、
   新たなトークンを用いて、最も低いスコアを有するトークンを置換することによって、新たな書換えトークンシーケンスを作成するステップとを含む、方法。
3. 入力トークンシーケンスを書き換えるためのコンピュータ実装方法であって、
   正方向統計言語モデル（ＳＬＭ）に従って、前記入力トークンシーケンス内の複数のトークンの正方向確率を決定するステップと、
   反方向統計言語モデルに従って、前記入力トークンシーケンス内の複数のトークンの反方向確率を決定するステップと、
   新たなトークンを用いて、第１の閾値未満の正方向確率且つ第２の閾値未満の反方向確率を有する疑わしいトークンを置換することによって、新たな書換えトークンシーケンスを生成するステップとを含む、方法。
4. 確率を決定する前に、タグを用いて、前記入力トークンシーケンス内の少なくとも１つのトークンを置換するステップをさらに含む、請求項３に記載の方法。
5. 前記正方向ＳＬＭに従って得られた最も高い確率を有するトークンのリストおよび前記反方向ＳＬＭに従って得られた最も高い確率を有するトークンのリストの両方に存在するトークンを前記新たなトークンとして選択するステップをさらに含む、請求項３または４に記載の方法。
6. 構文規則に従って、前記入力トークンシーケンスの統語解析を実行するステップと、
   前記構文規則に従って、前記選択を隣接トークンの文脈において構文上合法的なトークンのみに制限するステップとをさらに含む、請求項５に記載の方法。
7. 前記新たな書換えトークンシーケンスに対して、少なくとも前記正方向ＳＬＭにおける前記新たなトークンの確率および前記反方向ＳＬＭにおける前記新たなトークンの前記確率に依存する書換えスコアを計算するステップをさらに含む、請求項５または６に記載の方法。
8. 多種多様なトピックに関連する表現から構築された多様コーパスＳＬＭにおける前記新たなトークンの前記確率に基づいて、前記書換えスコアをスケーリングする、請求項７に記載の方法。
9. 代替の新たなトークンを用いて、前記疑わしいトークンを置換することによって、代替の書換えトークンシーケンスを作成するステップと、
   前記代替の書換えトークンシーケンスの代替スコアを、前記正方向ＳＬＭにおける前記代替の新たなトークンの確率および前記反方向ＳＬＭにおける前記代替の新たなトークンの確率の両方の組み合わせとして計算するステップと、
   前記新たな書換えトークンシーケンスと前記代替の書換えトークンシーケンスとのうち、より高いスコアを有するいずれか一方を選択するステップとをさらに含む、請求項５〜８のいずれか１項に記載の方法。
10. 最近の連続音声から仮定されたトークンのトークンバッファを維持するステップをさらに含み、
    前記入力トークンシーケンスは、前記トークンバッファ内のトークンからなるシーケンスである、請求項５〜９のいずれか１項に記載の方法。
11. 最近のトークンシーケンスに存在するトークンの履歴キャッシュを記憶するステップと、
    正方向確率が最も高いトークンのリストおよび反方向確率が最も高いトークンのリストの各々から、前記疑わしいトークンを置換するための前記新たなトークンを選択するステップと、
    前記履歴キャッシュに存在する少なくとも１つのトークンの前記確率スコアを増加させるステップとをさらに含む、請求項３〜１０のいずれか１項に記載の方法。
12. 自然言語パーサを用いて、文法に従って前記新たな書換えトークンシーケンスを構文解析することによって、解析スコアを生成するステップをさらに含む、請求項３〜１１のいずれか１項に記載の方法。
13. 前記疑わしいトークンとは異なる代替の疑わしいトークンを置換することによって、代替の書換えトークンシーケンスを作成するステップと、
    自然言語パーサを用いて、前記文法に従って前記代替の書換えトークンシーケンスを構文解析することによって、代替の解析スコアを生成するステップと、
    前記新たな書換えトークンシーケンスと前記代替の書換えトークンシーケンスとのうち、より高い解析スコアを有するいずれか一方を選択するステップとをさらに含む、請求項１２に記載の方法。
14. 代替の新たなトークンを用いて、前記疑わしいトークンを置換することによって、代替の書換えトークンシーケンスを作成するステップと、
    自然言語パーサを用いて、前記文法に従って前記代替の書換えトークンシーケンスを構文解析することによって、代替の解析スコアを生成するステップと、
    前記新たな書換えトークンシーケンスと前記代替の書換えトークンシーケンスとのうち、より高い解析スコアを有するいずれか一方を選択するステップとをさらに含む、請求項１２または１３に記載の方法。
15. ツリー型アルゴリズムを用いて、書換えを反復的に行い、各書換えのスコアを計算することによって、書換えのセットを生成し、前記書換えのセットから最高のスコアを有する書換えを選択するステップをさらに含む、請求項１２〜１４のいずれか１項に記載の方法。
16. 前記入力トークンシーケンスをキャッシュに格納するステップと、
    前記入力トークンシーケンスに関連して、前記新たな書換えトークンシーケンスを前記キャッシュに格納するステップと、
    前記キャッシュを検索することによって、前記入力トークンシーケンスを探し出すステップとをさらに含む、請求項３〜１５のいずれか１項に記載の方法。
17. 前記キャッシュを分析することによって、前記新たな書換えトークンシーケンスに対して、前記新たな書換えトークンシーケンスに書換えられた最も頻繁な入力トークンシーケンスを特定するステップをさらに含む、請求項１６に記載の方法。
18. 前記新たな書換えトークンシーケンスに書換えられた前記最も頻繁な入力トークンシーケンスを含むように、文法規則を作成するステップをさらに含む、請求項１７に記載の方法。
19. 前記新たな書換えトークンシーケンスに書換えられた前記最も頻繁な入力トークンシーケンスを含むように、文法規則を改変するステップをさらに含む、請求項１７または１８に記載の方法。
20. コンピュータプロセッサによって実行されるコンピュータプログラムであって、前記コンピュータプロセッサによって実行されると、前記コンピュータプロセッサに、請求項１〜１９のいずれか１項に記載の方法を実行させる、コンピュータプログラム。