JP2011243011A - 入力支援装置、抽出方法、プログラム、及び情報処理装置 - Google Patents

Abstract

【課題】キーボード等に入力された文字列が短い場合であっても、ユーザが要求する変換候補を表示できる、すなわち、予測変換の精度を向上できる入力支援装置を提供すること。
【解決手段】ユーザによるテキストの入力を予測し、変換候補を抽出する入力支援装置１００であって、入力された音声に基づく音声波形について、音声認識をする音声認識部１０７と、ユーザのキー操作に対応するキー入力情報を取得するキー入力情報取得部１１１と、音声認識部１０７による音声認識の結果と、キー入力情報とに基づいて、関連するテキストを変換候補として作成する変換候補作成部１１３とを備える。
【選択図】図１

Description

本発明は、ユーザによるテキストの入力を予測し、変換候補を抽出する入力支援装置、抽出方法、プログラム、及び、情報処理装置に関する。

従来、パーソナルコンピュータや、携帯通信端末等への情報の入力方法として、キーボード等を用いて入力をした変換候補を表示する入力支援装置が広く知られている。
例えば、キーボードを用いて、文字を入力し、漢字仮名混じり文字列に変換する際に、変換候補が複数存在する場合、音声による入力を参照し、変換候補を絞り込む入力支援装置が知られている（例えば、特許文献１）。このような入力支援装置によれば、変換候補を特定する際の効率を向上できる。

特開平８−１２３４８１号公報

しかしながら、上述した従来の入力支援装置には、次のような問題があった。すなわち、上述した入力支援装置は、キーボード等に入力された文字列に基づいて、入力支援装置に記憶された文字列を変換候補として表示するため、入力される文字列が短い場合、変換候補が多く検出され、表示すべき変換候補を絞りきれず、ユーザが要求する変換候補を十分に表示できないという問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、キーボード等に入力された文字列が短い場合であっても、ユーザが要求する変換候補を表示できる、すなわち、予測変換の精度を向上できる入力支援装置、抽出方法、プログラム、及び情報処理装置を提供することを目的とする。

上述した問題を解決するため、本発明は、次のような特徴を有している。まず、本発明の第１の特徴は、ユーザによるテキストの入力を予測し、変換候補を抽出する入力支援装置（入力支援装置１００）であって、入力された音声に基づく音声波形（音声波形１３１）について音声認識をする音声認識手段（音声認識部１０７）と、ユーザのキー操作に対応するキー入力情報（キー入力情報１８０）を取得する取得手段（キー入力情報取得部１１１）と、前記音声認識手段による音声認識の結果と、前記キー入力情報とに基づいて、関連するテキストを変換候補として作成する変換候補作成手段（変換候補作成部１１３）と、を備えることを要旨とする。

このような入力支援装置は、入力された音声に基づく音声波形について、音声認識をする音声認識手段と、ユーザのキー操作に対応するキー入力情報を取得する取得手段と、変換候補作成手段とを備える。

変換候補作成手段は、音声認識手段による音声認識の結果と、キー入力情報とに基づいて、関連するテキストを変換候補として作成する。すなわち、変換候補作成手段は、キーボード等に入力された文字列が短い場合であっても、ユーザが要求する変換候補を表示できる。従って、予測変換の精度を向上できる入力支援装置を提供できる。

本発明の第２の特徴は、本発明の第１の特徴に係り、前記変換候補作成手段は、前記音声認識手段による音声認識の結果に基づいて、前記音声波形に対応するテキストである音声変換候補（音声変換候補１４０）を取得する音声変換候補取得手段（音声変換候補取得部１１５）と、前記キー入力情報に基づいて、前記音声変換候補を絞り込む限定手段（限定部１１７）と、を備えることを要旨とする。

本発明の第３の特徴は、本発明の第１又は第２の特徴に係り、ユーザの指定に基づいて、前記変換候補から単語を確定する確定手段（確定部１２７）を更に備え、前記音声認識手段は、前記確定手段による処理がされていない前記音声波形について、再度音声認識をすることを要旨とする。

本発明の第４の特徴は、本発明の第３の特徴に係り、単語（基本単語１９１）と、該単語に関連する関連単語（関連単語１９３）とを記憶する関連単語記憶手段（関連単語記憶部１２５）と、前記関連単語記憶手段から、前記確定手段により確定した単語に関連する前記関連単語に対応する前記変換候補を優先的に提示する提示手段（提示部１２３）とを更に備えことを要旨とする。

本発明の第５の特徴は、コンピュータが、ユーザによるテキストの入力を予測し、変換候補を抽出する抽出方法であって、入力された音声に基づく音声波形について音声認識をするステップ（ステップＳ１２０）と、ユーザのキー操作に対応するキー入力情報を取得するステップ（ステップＳ１３０）と、前記音声認識の結果と、前記キー入力情報とに基づいて、関連するテキストを変換候補として作成するステップ（ステップＳ１５０）とを含むことを要旨とする。

本発明の第６の特徴は、本発明の第５の特徴に記載の抽出方法をコンピュータに実行させるためのプログラムであることを要旨とする。

本発明の第７の特徴は、本発明の第６の特徴に記載のプログラムを配信するための情報処理装置であることを要旨とする。

本発明によれば、キーボード等に入力された文字列が短い場合であっても、ユーザが要求する変換候補を表示できる、すなわち、予測変換の精度を向上できる入力支援装置、抽出方法、プログラム、及び、情報処理装置を提供できる。

本発明の実施形態に係る入力支援装置１００の機能ブロック図である。 本発明の実施形態に係る入力支援装置１００の動作を説明するための概念図である。 本発明の実施形態に係る入力支援装置１００に記憶される情報の一例を示す図である。 本発明の実施形態に係る入力支援装置１００の動作を説明するための概念図である。 本発明の実施形態に係る入力支援装置１００の動作を説明するための概念図である。 本発明の実施形態に係る入力支援装置１００に記憶される情報の一例を示す図である。 本発明の実施形態に係る入力支援装置１００の変換候補抽出動作を示すフローチャートである。 本発明の実施形態に係る入力支援装置１００の音声認識処理動作の詳細を示すフローチャートである。 本発明の実施形態に係る入力支援装置１００に関する判定処理動作を示すフローチャートである。

次に、図面を参照して、本発明の実施形態について説明する。

なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。また、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる。

したがって、具体的な寸法などは以下の説明を参酌して判断すればよく、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。

以下の実施形態においては、（１）入力支援装置１００の全体構成、（２）入力支援装置１００の動作、（３）作用・効果、及び（４）その他の実施形態について説明する。

（１）入力支援装置１００の全体構成
図１は、本実施形態に係る入力支援装置１００の機能ブロック図である。

入力支援装置１００は、携帯通信端末装置（携帯電話機やスマートフォン）であり、ユーザによるテキストの入力を予測し、変換候補１５０を抽出する。以下の実施形態では、入力支援装置１００は、ユーザによる「Ｋ」又は「か」の入力に基づいて、「会社訪問」という文章の入力を予測することを具体例として記載する。以下の実施形態で説明する予測変換機能は、周知の予測変換機能に組み込まれてもよい。また、入力支援装置１００は、予測変換機能のみでなく通常のかな漢字変換機能も有してもよい。

入力支援装置１００は、下記のハードウェア資源に加えて、マイク等の音声入力装置、キーボタンやタッチパネル等のキー入力情報入力装置、液晶ディスプレイ等の出力装置を備える。入力支援装置１００は、ＣＰＵ等の制御装置、メモリやＨＤＤ等の記憶装置、通信ネットワークと通信する通信Ｉ／Ｆ等の通信装置といったハードウェア資源を有するコンピュータ（単一或いは複数）により構成される。入力支援装置１００が備える下記の各ブロックは、前述したコンピュータの制御装置等のハードウェア資源を用いてコンピュータプログラムを実行することによって実現されるものである。なお、これらの各ブロック、手段は、単一のコンピュータ上に配置される必要はなく、必要に応じて分散される構成を採用しても良い。

図１に示すように、入力支援装置１００は、制御部１０１、音声取得部１０３、音声記憶部１０５、音声認識部１０７、音響モデルＤＢ１０８ａ、言語モデルＤＢ１０８ｂ、音声変換候補記憶部１０９、キー入力情報取得部１１１、変換候補作成部１１３、キー入力変換候補作成部１１９、変換候補辞書記憶部１２１、提示部１２３、関連単語記憶部１２５、確定部１２７、出力部１２９を備える。また、変換候補作成部１１３は、音声変換候補取得部１１５と、限定部１１７とを備える。

これらの機能部は、いわゆるコンピュータにより構成され、演算／制御装置としてのＣＰＵ（Central Processing Unit）、記憶媒体としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、通信インターフェイス等が関連することで実現される。以下、各機能部について、説明する。

（１．１）制御部１０１
制御部１０１は、入力支援装置１００を制御するＣＰＵ等の制御装置である。制御部１０１は、下記に示す機能部の動作を制御する。

（１．２）音声取得部１０３
音声取得部１０３は、マイク等を介して、入力された音声を取得し、音声を音声波形１３１に変換する。

（１．３）音声記憶部１０５
音声記憶部１０５は、音声取得部１０３により入力された音声の音声波形１３１を記憶する。

（１．４）音声認識部１０７
図２は、本実施形態に係る入力支援装置１００の音声認識部１０７の動作を説明するための概念図である。具体的には、図２（ａ）は、音声認識部１０７で変換される音声波形１３１の概念図である。図２（ｂ）は、音声認識部１０７で音声波形１３１に基づいて置き換えられる発音記号１３３の一例を示す図である。図２（ｃ）は、音声認識部１０７で発音記号１３３に基づいて変換される音声変換候補１４０の概念図である。

図２に示すように、音声認識部１０７は、入力された音声に基づく音声波形１３１について、音声認識をする。音声認識部１０７は、音響モデルＤＢ１０８ａを用いて音声波形１３１を発音記号１３３に変換し、言語モデルＤＢ１０８ｂを用いて、発音記号１３３を単語列からなる音声変換候補１４０に変換する、いわゆるボトムアップ的な認識手法による音声認識をする。具体的には、図２（ａ）に示すように、音声認識部１０７は、音声記憶部１０５に記憶された音声波形１３１を分析して特徴量を抽出した情報に変換する。更に、音声認識部１０７は、音声波形１３１を分析して、特徴量を抽出した情報に変換する。

次に、図２（ｂ）に示すように、音声認識部１０７は、音声波形１３１と、音響モデルＤＢ１０８ａとに基づいて、音声波形１３１を発音記号１３３に置き換える。具体的には、音声認識部１０７は、音声波形１３１の特徴量等に基づいて、音声波形１３１を単語又は文節等である音声区間に区切る。次に、音声認識部１０７は、音響モデルＤＢ１０８ａから、音声波形１３１に対応する発音記号１３３を抽出することにより、音声波形１３１の所定の音声区間を複数の発音記号１３３に置き換える。また、音声認識部１０７は、複数の発音記号１３３に対して、音響モデルＤＢ１０８ａに基づいた確率を付与して記憶する。

例えば、音声認識部１０７は、音声波形１３１の特徴量に基づいて、音声波形１３１を「かいしゃほうもん」、「はいしゃこうもん」「あいしゃほうもん」等の発音記号１３３に音響モデルＤＢ１０８ａに基づいた確率付きで置き換える。

最後に、図２（ｃ）に示すように、音声認識部１０７は、発音記号１３３について、言語モデルＤＢ１０８ｂに記憶される単語を用いて、確率統計的な手法に基づいて、音声認識をする。言語モデルＤＢ１０８ｂは、発音記号１３３について、音声変換候補１４０と、音声変換候補１４０の確率とを記憶する。例えば、音声認識部１０７は、「かいしゃ」、「はいしゃこうもん」「あいしゃほうもん」等の発音記号１３３について、言語モデルＤＢ１０８ｂに基づいて、「歯医者」、「会社」、「愛車」、「開始」等の音声変換候補１４１、「校門」、「訪問」、「ホルモン」等の音声変換候補１４３を作成する。すなわち、音声変換候補１４０は、音声波形１３１に対応するテキストデータである。

また、音声認識部１０７は、確定部１２７により、音声変換候補１４０が確定後、確定部１２７による処理がされていない音声波形１３１について、再度音声認識をする。この場合、音声認識部１０７は、言語モデルＤＢ１０８ｂに記憶される単語において、確定部１２７により確定した音声変換候補１４０（すなわち、後述する変換候補１５０）に関連する単語をユーザに選択される確率の高い単語として、音声変換候補１４０とすることができる。

（１．５）音響モデルＤＢ１０８ａ
音響モデルＤＢ１０８ａは、発音記号と、発音記号に対応する複数の音声波形又は音声波形の統計的な音声波形のモデルである音声波形モデルとを記憶する。例えば、音響モデルＤＢ１０８ａは、「あ」から「ん」までの平仮名の発音記号と、各発音記号に対応する複数又は統計的な音声波形モデルとを記憶する。

（１．６）言語モデルＤＢ１０８ｂ
言語モデルＤＢ１０８ｂは、辞書部と、ｎ−ｇｒａｍとからなる。辞書部には、発音記号と、発音記号に対応する単語とが含まれる。辞書部は、使用頻度に応じて各単語の出現確率をデータ化している。すなわち、辞書部の所定の発音記号に対する単語の確率の累積は、１００％になる。例えば、辞書部は、「かいしゃ」という発音記号に対して、「会社」である確率は、７０％、「歯医者」である確率は、２０％、「愛車」である確率は、５％・・・、という確率のデータを有し、「かいしゃ」という発音記号に対する単語の確率の累積は、１００％になる。

ｎ−ｇｒａｍは、文法記述部の機能として、単語の並び方を規定する。ｎ−ｇｒａｍは、所定の文字列において、Ｎ個の文字列または単語の組み合わせの出現頻度を示したテーブルからなる、いわゆるｎ−ｇｒａｍ文法に基づいて作成される。すなわち、ｎ−ｇｒａｍは、直前のｎ−１単語を指定したときに、ｎ単語目の単語の出現頻度を示すテーブルを有する。これにより、例えば、１−ｇｒａｍでは、「内閣」と「内角」とを、前後のテキストデータに基づいて、直前の単語が、人物名の場合は、「内角」よりも「内閣」である可能性が高いというデータを有し、直前の単語が、「キャッチャーが」である場合は、「内角」の確率が高いというデータを有する。

（１．７）音声変換候補記憶部１０９
図３は、本実施形態に係る入力支援装置１００の音声変換候補記憶部１０９に記憶される情報の一例を示す図である。

図３に示すように、音声変換候補記憶部１０９は、識別番号１７１と、音声波形要素１７３と、音声変換候補１４０とを記憶する。

識別番号１７１は、音声波形要素１７３毎に割り振られた番号である。音声波形要素１７３は、音声波形１３１の一部であり、音声認識部１０７により音声変換候補１４０に変換された発音記号１３３に対応する波形である。

（１．８）キー入力情報取得部１１１
キー入力情報取得部１１１は、ユーザのキー操作に対応するキー入力情報１８０を取得する。具体的には、キー入力情報取得部１１１は、キーボード、タッチパネル等の操作に伴って、ユーザにより入力されたキー入力情報１８０を取得する。例えば、キー入力情報取得部１１１は、「Ｋ」又は「か」などのキー入力情報１８０を取得する。

（１．９）変換候補作成部１１３
図４は、本実施形態に係る入力支援装置１００の音声認識部１０７の動作を説明するための概念図である。

図４に示すように、変換候補作成部１１３は、音声認識部１０７による音声認識の結果と、キー入力情報１８０とに基づいて、関連するテキストを変換候補１５０として作成する。具体的には、変換候補作成部１１３は、音声認識部１０７による音声認識の結果と、キー入力情報１８０とに基づいて、関連する音声変換候補１４０の有無を判定し、音声変換候補１４０と、キー入力情報１８０とに基づいて、関連するテキストを変換候補１５０として作成する。また、変換候補作成部１１３は、音声波形１３１について、変換候補１５１、変換候補１５３のように文節又は単語毎に連ねて作成する。

変換候補作成部１１３は、音声変換候補取得部１１５と、限定部１１７とを備える。音声変換候補取得部１１５は、音声波形１３１に対応する音声変換候補１４０を音声変換候補記憶部１０９から取得することにより、音声認識部１０７による音声認識の結果を取得する。例えば、音声変換候補取得部１１５は、音声波形１３１に対応する音声変換候補１４０として、音声変換候補１４１と音声変換候補１４３とを音声変換候補記憶部１０９から取得する。

限定部１１７は、キー入力情報１８０に基づいて、音声変換候補１４０を絞り込むことにより関連するテキストを変換候補１５０として作成する。具体的には、限定部１１７は、キー入力情報１８０と、音声変換候補１４０の発音記号１３３の先頭文字とに基づいて、音声変換候補１４０を絞り込む。例えば、限定部１１７は、キー入力情報１８０である「Ｋ」、「か」と、音声変換候補１４１の発音記号１３３の先頭文字である「はいしゃ」、「かいしゃ」、「あいしゃ」、「かいし」とに基づいて、発音記号１３３の先頭文字が、「か行」である、「かいしゃ」、「かいし」に音声変換候補１４１を絞り込むことにより変換候補１５１を作成する。なお、限定部１１７は、キー入力情報１８０である「か」に基づいて、発音記号１３３の先頭文字が、「か」である、「かいしゃ」、「かいし」に音声変換候補１４１を絞り込んでもよい。

限定部１１７は、音声変換候補１４１に続く音声変換候補１４３について、変換候補１５１の確定後に新たなキー入力情報１８０に基づいて、音声変換候補１４３を絞り込む。なお、限定部１１７は、キー入力情報１８０に一致する音声変換候補１４３がない場合、該当する音声変換候補１４３は無とする。この場合、後述するキー入力変換候補作成部１１９により作成されるキー入力変換候補１６０のみが、提示部１２３を介してユーザに提示される。

また、限定部１１７は、一文字からなるキー入力情報１８０だけでなく、複数の文字からなるキー入力情報１８０に基づいて、音声変換候補１４０を絞り込むことができる。具体的には、先頭のキー入力情報１８０に続く新たなキー入力情報１８０に基づいて、音声変換候補１４１を更に絞り込むことができる。音声変換候補１４３が、「こうもん」、「ほうもん」、「ほるもん」である場合における限定部１１７の絞込みについて、以下説明する。

例えば、キー入力情報１８０が「Ｈ」、音声変換候補１４３が、「こうもん」、「ほうもん」、「ほるもん」である場合、限定部１１７は、キー入力情報１８０と、音声変換候補１４３とに基づいて、「ほうもん」、「ほるもん」に音声変換候補１４３を絞り込む。ここで、新たなキー入力情報１８０として、「Ｏ」「Ｕ」が連続して入力された場合、限定部１１７は、新たなキー入力情報１８０に基づいて、音声変換候補１４３を「ほうもん」に絞り込む。

（１．１０）キー入力変換候補作成部１１９
キー入力変換候補作成部１１９は、ユーザのキー操作に対応するキー入力情報１８０に基づいて、キー入力変換候補１６０を作成する。具体的には、キー入力変換候補作成部１１９は、キーボード、タッチパネル、マウス等の操作に伴って、ユーザにより入力されたキー入力情報１８０をキー入力情報取得部１１１から取得し、キー入力情報１８０に対応するキー入力変換候補１６０を変換候補辞書記憶部１２１から抽出する。

例えば、キー入力変換候補作成部１１９は、「Ｋ」又は「か」などのキー入力情報１８０を取得し、キー入力情報１８０に対応する先頭文字が「か行」である「帰り」、「蚊」、「昨日」、「健康」等を変換候補辞書記憶部１２１から抽出する。なお、キー入力情報取得部１１１は、キー入力情報１８０である「か」に基づいて、発音記号１３３の先頭文字が、「か」である、「帰り」、「蚊」にキー入力変換候補１６０を絞り込んでもよい。

（１．１１）変換候補辞書記憶部１２１
変換候補辞書記憶部１２１は、発音記号と、発音記号に対応するキー入力変換候補１６０とを記憶する。なお、発音記号及びキー入力変換候補１６０は、辞書として事前に登録されている。また、発音記号及びキー入力変換候補１６０は、ユーザにより利用される単語の履歴に基づいて登録される。例えば、変換候補辞書記憶部１２１は、確定部１２７により確定した単語をキー入力変換候補１６０として、確定部１２７により確定した単語の発音記号と対応させて記憶する。

（１．１２）提示部１２３
図５は、本実施形態に係る入力支援装置１００の提示部１２３の動作を説明するための概念図である。具体的には、図５（ａ）は、提示部１２３で表示される変換候補１５０の一例を示す図である。図５（ｂ）は、確定部１２７により確定した変換候補１５１と、変換候補１５１の確定に伴う提示部１２３の動作を示す概念図である。

図５に示すように、提示部１２３は、音声波形１３１又はキー入力情報１８０について、対応する変換候補１５０及びキー入力変換候補１６０の少なくとも何れかを提示する。具体的には、提示部１２３は、液晶ディスプレイ等の出力装置を介して、音声波形１３１又はキー入力情報１８０に対応する変換候補１５０を提示する。例えば、図５（ａ）に示すように、提示部１２３は、音声波形１３１又はキー入力情報１８０に対応する変換候補１５１及び変換候補１５３を提示する。図５（ａ）に示す提示部１２３は、複数の変換候補１５１及び複数の変換候補１５３を提示する、いわゆるラティス式の提示をする。提示部１２３は、変換候補１５１及び変換候補１５３について、言語モデルＤＢ１０８ｂ、或いは後述する関連単語記憶部１２５に基づいて、ユーザに選択される確率の高い単語のみ、すなわち、ｎベスト文式に基づき、１つの単語をそれぞれ提示してもよい。

また、図５（ｂ）、図６に示すように、提示部１２３は、確定部１２７により確定した単語である変換候補１５１ａを基本単語１９１として、基本単語１９１に関連する関連単語１９３に対応する変換候補を変換候補１５３ａとして優先的に提示する。例えば、提示部１２３は、変換候補１５１ａである「会社」をユーザが選択した場合、基本単語１９１の「会社」に関連する関連単語１９３である「訪問」を、「校門」よりも上位に提示することで、変換候補１５３ａとして優先的に提示する。

（１．１３）関連単語記憶部１２５
図６は、本実施形態に係る入力支援装置１００の関連単語記憶部１２５に記憶される情報の一例を示す図である。図６に示すように、関連単語記憶部１２５は、基本単語１９１と、該基本単語１９１に関連する関連単語１９３とを記憶する。

なお、基本単語１９１は、ユーザにより利用される単語の履歴に基づいて登録される。例えば、基本単語１９１は、言語モデルＤＢ１０８ｂに記憶される単語である。また、基本単語１９１は、ユーザからの入力に基づいて、逐次、登録される。

関連単語１９３は、基本単語１９１に関連する単語である。例えば、関連単語１９３は、音声記憶部１０５の言語モデルに基本単語１９１と関連して記憶される単語である。また、関連単語１９３は、ユーザからの入力に基づいて、逐次基本単語１９１と関連して記憶される。

なお、関連単語記憶部１２５は、言語モデルＤＢ１０８ｂのｎ−ｇｒａｍそのものであってもよい。

（１．１４）確定部１２７
確定部１２７は、ユーザの指定に基づいて、変換候補１５０から単語を確定する。具体的には、確定部１２７は、キーボタンやタッチパネル等のキー入力情報入力装置、又はマウス等の入力装置からのユーザの指示情報に基づいて、変換候補１５０から単語を確定する。例えば、図５（ａ）、（ｂ）に示すように、確定部１２７は、ユーザの指定に基づいて、変換候補１５１から「会社」を変換候補１５１ａとして、確定する。

（１．１５）出力部１２９
出力部１２９は、確定部１２７により確定した変換候補１５１ａをユーザに出力する。具体的には、出力部１２９は、液晶ディスプレイ等の出力装置を介して、変換候補１５１ａを出力する。また、出力部１２９は、ネットワーク等を介して、変換候補１５１ａをデータとして出力することもできる。

（２）入力支援装置１００の動作
入力支援装置１００の動作について、（２．１）全体概略動作、（２．２）音声認識部１０７の音声認識処理動作、（２．３）変換候補作成部１１３の音声変換候補１４０に関する判定処理動作の順に説明する。

（２．１）全体概略動作
図７は、実施形態に係る入力支援装置１００の変換候補抽出動作を示すフローチャートである。

図７に示すように、ステップＳ１００において、制御部１０１は、ユーザからの入力が音声に基づくものであるか、キー入力情報１８０に基づくものであるかを判定する。具体的には、制御部１０１は、ユーザからの入力が音声に基づくものである場合、処理をステップＳ１１０へ進める。また、制御部１０１は、ユーザからの入力がキー入力情報１８０に基づくものである場合、処理をステップＳ１３０へ進める。

ステップＳ１１０において、音声取得部１０３は、マイク等を介して、入力された音声を取得し、音声を音声波形１３１に変換する。また、音声記憶部１０５は、音声取得部１０３により入力された音声の音声波形１３１を記憶する。

ステップＳ１２０において、音声認識部１０７は、音声記憶部１０５に記憶された音声波形１３１について、音響モデルＤＢ１０８ａ及び言語モデルＤＢ１０８ｂを用いて、音声認識を行い、音声変換候補１４０を作成する。また、音声変換候補記憶部１０９は、音声変換候補１４０と、音声変換候補１４０に伴う識別番号１７１と、音声波形要素１７３とを記憶する。

ステップＳ１３０において、キー入力情報取得部１１１は、ユーザのキー操作に対応するキー入力情報１８０を取得する。

ステップＳ１４０において、変換候補作成部１１３は、音声認識部１０７による音声認識の結果と、キー入力情報１８０とに基づいて、関連する音声変換候補１４０の有無を判定する。

具体的には、変換候補作成部１１３の音声変換候補取得部１１５は、音声波形１３１に対応する音声変換候補１４０を音声変換候補記憶部１０９から取得することにより、音声認識部１０７による音声認識の結果を取得する。

また、変換候補作成部１１３の限定部１１７は、キー入力情報１８０に基づいて、音声変換候補１４０を絞り込むことにより、キー入力情報１８０に基づく、音声変換候補１４０の有無を判定する。

具体的には、限定部１１７は、キー入力情報１８０に対応する音声変換候補１４０を有りと判定した場合、処理をステップＳ１５０へ進める。また、限定部１１７は、キー入力情報１８０に対応する音声変換候補１４０を無しと判定した場合、処理をステップＳ１２０へ戻すことにより、音声認識部１０７による音声認識をやり直す。

ステップＳ１５０において、変換候補作成部１１３は、音声認識部１０７による音声認識の結果と、キー入力情報１８０とに基づいて、関連するテキストを変換候補１５０として作成する。具体的には、変換候補作成部１１３の限定部１１７は、キー入力情報１８０に基づいて、音声変換候補１４０を絞り込むことにより関連するテキストを変換候補１５０として作成する。

ステップＳ１６０において、提示部１２３は、音声波形１３１について、対応する変換候補１５０を提示する。また、提示部１２３は、ステップＳ２１０のキー入力変換候補作成部１１９の処理を受けて、音声波形１３１について、対応するキー入力変換候補１６０を提示してもよい。

ステップＳ１７０において、確定部１２７は、ユーザの指定に基づいて、変換候補１５０から単語を確定したか否かを確認する。具体的には、確定部１２７は、ユーザの指定に基づいて、変換候補１５０から単語を確定した場合、処理をステップＳ１８０へ進める。また、確定部１２７は、ユーザの指定に基づいて、変換候補１５０から単語を確定していない場合、処理をステップＳ２００へ進める。

ステップＳ１８０において、出力部１２９は、確定部１２７により確定した変換候補１５１ａをユーザに出力する。

ステップＳ１９０において、制御部１０１は、音声波形１３１について、確定した変換候補１５１ａの次の文節、又は次の単語の変換候補１５０の有無を判定する。例えば、制御部１０１は、音声波形１３１について、確定した変換候補１５１ａの次の文節、又は次の単語として、変換候補１５３を確認するため、変換候補１５３を有りとして次の処理に進める。

具体的には、制御部１０１は、音声波形１３１について、確定した変換候補１５１ａの次の文節、又は次の単語の変換候補１５０を有りと判定した場合、処理をステップＳ１７０へ戻すことにより、確定した変換候補１５１ａの次変換候補１５０について、処理をする。また、制御部１０１は、音声波形１３１について、確定した変換候補１５１ａの次の文節、又は次の単語の変換候補１５０を無しと判定した場合、変換候補抽出処理を終了する。

ステップＳ２００において、キー入力情報取得部１１１は、ユーザのキー操作に対応する新たなキー入力情報１８０の入力を確認し、処理をステップＳ２１０へ進める。

ステップＳ２１０において、キー入力変換候補作成部１１９は、ユーザのキー操作に対応するキー入力情報１８０に基づいて、キー入力変換候補１６０を作成する。

（２．２）音声認識部１０７の音声認識処理動作
図８は、実施形態に係る音声認識部１０７の音声認識処理動作の詳細を示すフローチャートである。具体的には、図８は、図７のステップＳ１２０における音声認識部１０７が、音声認識を行う処理の詳細動作を示す。

ステップＳ１２１において、音声認識部１０７は、音声記憶部１０５に記憶された音声波形１３１を分析して特徴量を抽出した情報に変換する。更に、音声認識部１０７は、音声波形１３１と、音響モデルＤＢ１０８ａとに基づいて、音声波形１３１を発音記号１３３に置き換える。

ステップ１２３において、音声認識部１０７は、発音記号１３３について、言語モデルＤＢ１０８ｂに基づいて、音声変換候補１４０を作成する。

ステップ１２５において、音声変換候補記憶部１０９は、識別番号１７１と、音声波形要素１７３と、音声変換候補１４０とを対応させて記憶する。

これにより、音声認識部１０７は、音声認識処理動作を終了する。

（２．３）変換候補作成部１１３の音声変換候補１４０に関する判定処理動作
図９は、実施形態に係る変換候補作成部１１３の音声変換候補１４０に関する判定処理動作を示すフローチャートである。具体的には、図９は、図７のステップＳ１４０における変換候補作成部１１３が、音声変換候補１４０に関する判定を行う処理の詳細動作を示す。

ステップＳ１４１において、変換候補作成部１１３の音声変換候補取得部１１５は、音声波形１３１に対応する音声変換候補１４０を音声変換候補記憶部１０９から取得することにより、音声認識部１０７による音声認識の結果を取得する。

ステップＳ１４３において、変換候補作成部１１３の限定部１１７は、キー入力情報１８０に基づいて、音声変換候補１４０を絞り込むことにより、キー入力情報１８０に基づく、音声変換候補１４０の有無を判定する。

これにより、変換候補作成部１１３は、音声変換候補に関する判定処理動作を終了する。

（３）作用・効果
以上説明したように、本実施形態によれば、入力支援装置１００は、入力された音声に基づく音声波形１３１について、音声認識をする音声認識部１０７と、ユーザのキー操作に対応するキー入力情報１８０を取得するキー入力情報取得部１１１と、変換候補作成部１１３とを備える。

変換候補作成部１１３は、音声認識部１０７による音声認識の結果と、キー入力情報１８０とに基づいて、関連するテキストを変換候補１５０として作成する。すなわち、変換候補作成部１１３は、キーボード等に入力された文字列が短い場合であっても、ユーザが要求する変換候補１５０を表示できる。従って、予測変換の精度を向上できる入力支援装置１００を提供できる。

このように入力支援装置１００は、入力したい文章を単文、又は全文にわたって始めに入力し、ユーザのキー操作に基づいて、文章の先頭から単語を決定していく使い方で好適に用いられる。特に、入力支援装置１００は、ユーザのキー操作を削減する事が出来るため、携帯通信端末に適用されることで、好適に用いられる。

実施形態では、変換候補作成部１１３は、音声認識部１０７による音声認識の結果に基づいて、音声波形１３１に対応するテキストである音声変換候補１４０を取得する音声変換候補取得部１１５と、キー入力情報１８０に基づいて、音声変換候補１４０を絞り込む限定部１１７とを備える。

このため、変換候補作成部１１３は、音声認識部１０７により音声認識された音声変換候補１４０をキー入力情報１８０に基づいて絞り込むことができる。すなわち、変換候補作成部１１３は、音声波形１３１と、キー入力情報１８０とを用いることで、予測変換の精度を更に向上できる。

実施形態では、入力支援装置１００は、ユーザの指定に基づいて、変換候補１５０から単語を確定する確定部１２７を更に備える。また、音声認識部１０７は、確定部１２７による処理がされていない音声波形１３１について、再度音声認識をする。

このため、音声認識部１０７は、確定部１２７により単語が確定した変換候補１５０に基づいて、再度音声認識をすることができる。すなわち、音声認識部１０７は、確定した単語の情報を用いて、再度音声認識を行うため、確定した単語と連なる可能性の高い単語を候補として表示することで、予測変換の精度を更に向上できる。

実施形態では、入力支援装置１００は、単語と、該単語に関連する関連単語１９３とを記憶する関連単語記憶部１２５と、関連単語記憶部１２５から、確定部１２７により確定した単語に関連する関連単語記憶部１２５に対応する変換候補１５０を優先的に提示する提示部１２３とを更に備える。このため、提示部１２３は、関連単語記憶部１２５に基づいて、関連単語１９３を優先的に提示することができる。従って、ユーザの要求する単語を更に効果的に提示できる入力支援装置１００を提供できる。

（４）その他の実施形態
上述した実施形態では、音声認識部１０７は、音響モデルＤＢ１０８ａを用いて音声波形１３１を発音記号１３３に変換し、言語モデルＤＢ１０８ｂを用いて、発音記号１３３を単語列からなる音声変換候補１４０に変換する、いわゆるボトムアップ的な認識手法による音声認識をする。

本発明は、これに限られず、音声認識部１０７は、言語モデルＤＢ１０８ｂを用いて音声変換候補１４０を仮定し、言語モデルＤＢ１０８ｂの辞書部を用いて発音記号１３３に変換し、音響モデルＤＢ１０８ａを用いて、発音記号１３３と、対応する音声波形１３１とを照合する、いわゆるトップダウン的な認識手法による音声認識をしてもよい。この場合、図８に示す音声認識を行う処理では、音声認識部１０７は、ステップＳ１２１、Ｓ１２３を同時に行い、音声波形１３１から音声変換候補１４０を作成する。

上述した実施形態では、入力支援装置１００は、マイク等の音声入力装置及びキーボタンやタッチパネル等のキー入力情報入力装置を備え、ユーザによるテキストの入力を予測し、変換候補１５０を抽出する。

本発明は、これに限られず、音声や、キー入力情報は、通信ネットワーク等を介して、クライアント端末から入力支援装置１００に入力されてもよい。この場合、入力支援装置１００は、ネットワーク等を介して、元のクライアント端末に変換候補１５０を送信することにより、クライアント端末では、変換候補１５０をユーザに提示することができる。

上述した実施形態では、入力支援装置１００は、携帯通信端末装置（携帯電話機やスマートフォン）として例示した。本発明は、これに限られず、入力支援装置１００は、ユーザが使用するＰＣ（Personal Computer）やカーナビゲーションシステム等でもよい。

上述した実施形態では、入力支援装置１００が備える各ブロックについて記載しているが、本発明これに限られず、例えば、上記の各ブロックの機能を実行するコンピュータプログラムとしてもよく、また、このコンピュータプログラムを配信する情報処理装置であってもよい。

上述した実施形態では、音声認識部１０７は、音声波形１３１と、音響モデルＤＢ１０８ａとに基づいて、音声波形１３１を発音記号１３３に置き換え、言語モデルＤＢ１０８ｂに記憶される単語を用いて、音声変換候補１４０を作成する。

本発明は、これに限られず、例えば、音声認識部１０７は、音声波形１３１について、キー入力情報１８０に対応するとともに、変換候補辞書記憶部１２１に記憶される単語を用いて音声認識をしてもよい。この場合、変換候補辞書記憶部１２１は、確定部１２７により確定した単語をキー入力変換候補１６０として、確定部１２７により確定した単語の発音記号と対応させて記憶する。これによれば、音声認識部１０７は、確定部１２７により確定するとともに、キー入力情報１８０に対応する単語を音声変換候補１４０として、作成できる。すなわち、音声認識部１０７は、ユーザにとって使用頻度が高いとともに、キー入力情報１８０に対応する単語を音声変換候補１４０として作成できる。従って、音声認識部１０７は、ユーザの作成意図を組んだ単語を音声変換候補１４０として作成できる。

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

例えば、各構成図、フローチャート、概念図の図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。一例として、手動によるブロックの指定は必須ではなく、また、本発明において、各手段などの要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路で実現してもよい。

１００ 入力支援装置
１０１ 制御部
１０３ 音声取得部
１０５ 音声記憶部
１０７ 音声認識部
１０８ａ 音響モデルＤＢ
１０８ｂ 言語モデルＤＢ
１０９ 音声変換候補記憶部
１１１ キー入力情報取得部
１１３ 変換候補作成部
１１５ 音声変換候補取得部
１１７ 限定部
１１９ キー入力変換候補作成部
１２１ 変換候補辞書記憶部
１２３ 提示部
１２５ 関連単語記憶部
１２７ 確定部
１２９ 出力部
１３１ 音声波形
１３３ 発音記号
１４０、１４１、１４３ 音声変換候補
１５０、１５１、１５１ａ、１５３、１５３ａ 変換候補
１６０ キー入力変換候補
１７１ 識別番号
１７３ 音声波形要素
１８０ キー入力情報
１９１ 基本単語
１９３ 関連単語

Claims (7)

1. ユーザによるテキストの入力を予測し、変換候補を抽出する入力支援装置であって、
   入力された音声に基づく音声波形について音声認識をする音声認識手段と、
   ユーザのキー操作に対応するキー入力情報を取得する取得手段と、
   前記音声認識手段による音声認識の結果と、前記キー入力情報とに基づいて、関連するテキストを変換候補として作成する変換候補作成手段と、
   を備えることを特徴とする入力支援装置。
2. 前記変換候補作成手段は、
   前記音声認識手段による音声認識の結果に基づいて、前記音声波形に対応するテキストである音声変換候補を取得する音声変換候補取得手段と、
   前記キー入力情報に基づいて、前記音声変換候補を絞り込む限定手段と、
   を備えることを特徴とする請求項１に記載の入力支援装置。
3. ユーザの指定に基づいて、前記変換候補から単語を確定する確定手段を更に備え、
   前記音声認識手段は、
   前記確定手段による処理がされていない前記音声波形について、再度音声認識をすることを特徴とする請求項１又は２に記載の入力支援装置。
4. 単語と、該単語に関連する関連単語とを記憶する関連単語記憶手段と、
   前記関連単語記憶手段から、前記確定手段により確定した単語に関連する前記関連単語に対応する前記変換候補を優先的に提示する提示手段と
   を更に備えことを特徴とする請求項３に記載の入力支援装置。
5. コンピュータが、ユーザによるテキストの入力を予測し、変換候補を抽出する抽出方法であって、
   入力された音声に基づく音声波形について音声認識をするステップと、
   ユーザのキー操作に対応するキー入力情報を取得するステップと、
   前記音声認識の結果と、前記キー入力情報とに基づいて、関連するテキストを変換候補として作成するステップと
   を含むことを特徴とする抽出方法。
6. 請求項５に記載の抽出方法をコンピュータに実行させるためのプログラム。
7. 請求項６に記載のプログラムを配信するための情報処理装置。

Images