JP2019105868A - 入力支援装置、入力支援方法、及びプログラム - Google Patents

Abstract

【課題】操作性を向上する。【解決手段】入力支援装置は、利用者が発した音声をテキスト情報に変換するテキスト変換部と、表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、テキスト変換部が変換したテキスト情報に含まれるキーワードに対応付けられている命令を取得し、取得した命令を、アプリケーションに送信して実行させる支援処理部とを備える。【選択図】図１

Description

本発明は、入力支援装置、入力支援方法、及びプログラムに関する。

近年、音声によりコマンド等の入力を支援する技術が知られている（例えば、特許文献１を参照）。このような技術では、キーボードの個々のキー操作を、音声入力により実行していた。

特開平１１−５３１６２号公報

しかしながら、上述した技術では、例えば、ポインティングデバイスの代わりの操作を行う場合には、所望の位置にカーソルを移動するために、カーソル移動に対応する音声の入力を繰り返す必要があり、操作性が悪いという問題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、操作性を向上させることができる入力支援装置、入力支援方法、及びプログラムを提供することにある。

上記問題を解決するために、本発明の一態様は、利用者が発した音声をテキスト情報に変換するテキスト変換部と、表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換部が変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理部とを備えることを特徴とする入力支援装置である。

また、本発明の一態様は、上記の入力支援装置において、前記操作定義情報記憶部は、前記操作定義情報、及び、全ての前記表示画面に対して共通の前記キーワードと前記命令とを対応付けた共通定義情報を記憶し、前記支援処理部は、前記操作定義情報記憶部から、前記現在の表示画面に対して、前記キーワードに対応付けられている前記命令を取得できなかった場合に、前記テキスト変換部が変換した前記テキスト情報を、入力値として含む入力命令を、前記命令として前記アプリケーションに送信することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記支援処理部は、前記アプリケーションに送信した前記命令の履歴情報に基づいて、送信された前記命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、一括定義情報記憶部に記憶させ、前記テキスト変換部が変換した前記テキスト情報に含まれるキーワードが、前記所定の単位に付与されたキーワードと一致する場合に、前記一括定義情報記憶部が記憶する前記一括定義情報に基づいて、前記命令を前記アプリケーションに送信することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記支援処理部は、前記一括定義情報に基づいて、前記命令を送信する際に、前記表示画面における入力項目に対して、前記一括定義情報に含まれる前記命令による入力項目が不適切である場合に、前記不適切な入力項目に対する入力を促す情報を前記利用者に提示することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記支援処理部は、前記一括定義情報に基づいて、前記命令を順次送信する際に、中断を示すキーワードが含まれている前記テキスト情報を前記テキスト変換部から取得した場合に、前記命令の送信を中断することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記操作定義情報記憶部は、前記利用者ごとに前記操作定義情報を記憶し、前記支援処理部は、前記テキスト変換部が前記利用者に対応する音声を変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を、前記操作定義情報記憶部が記憶している当該利用者に対応する前記操作定義情報のうちから取得することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記操作定義情報記憶部は、前記利用者に対応して付与された前記支援処理部による支援処理機能の識別名称ごとに前記操作定義情報を記憶し、前記支援処理部は、前記テキスト変換部が前記識別名称に対応する音声を変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を、前記操作定義情報記憶部が記憶している当該識別名称に対応する前記操作定義情報のうちから取得することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記操作定義情報には、１つの前記命令に複数のキーワードが対応付けられている類似定義情報が含まれることを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記支援処理部は、前記利用者が途中まで発した音声を変換した途中テキスト情報を前記テキスト変換部から取得し、取得した前記途中テキスト情報と、前記アプリケーションに過去に送信した前記命令の履歴情報とに基づいて、前記テキスト情報の候補を提示することを特徴とする。

また、本発明の一態様は、上記の入力支援装置において、前記支援処理部は、前記テキスト変換部が変換した前記テキスト情報に、次の入力項目に進めるキーワードが含まれる場合に、前記表示画面において入力値を入力する入力項目の順序情報に基づいて、指定されている現在の入力項目の次の入力項目を指定する前記命令を、前記アプリケーションに送信することを特徴とする。

また、本発明の一態様は、テキスト変換部が、利用者が発した音声をテキスト情報に変換するテキスト変換ステップと、支援処理部が、表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換ステップによって変換された前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理ステップとを含むことを特徴とする入力支援方法である。

また、本発明の一態様は、コンピュータに、利用者が発した音声をテキスト情報に変換するテキスト変換ステップと、表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換ステップによって変換された前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理ステップとを実行させるためのプログラムである。

本発明によれば、操作性を向上させることができる。

第１の実施形態による入力支援装置の一例を示すブロック図である。 第１の実施形態における操作定義情報のデータ例を示す図である。 第１の実施形態における共通定義情報のデータ例を示す図である。 第１の実施形態における一括定義情報記憶部のデータ例を示す図である。 第１の実施形態による入力支援装置の動作の一例を示すフローチャートである。 第１の実施形態による入力支援装置の動作の一例を説明する図である。 第１の実施形態におけるアプリケーションの表示画面の一例を示す第１の図である。 第１の実施形態におけるアプリケーションの表示画面の一例を示す第２の図である。 第１の実施形態におけるアプリケーションの表示画面の一例を示す第３の図である。 第１の実施形態による入力支援装置の一括処理の動作の一例を説明する図である。 第２の実施形態による入力支援装置の一例を示すブロック図である。 第２の実施形態における操作定義情報のデータ例を示す図である。 第２の実施形態における一括定義情報記憶部のデータ例を示す図である。 第２の実施形態による入力支援装置の動作の一例を示すフローチャートである。 第３の実施形態による入力支援装置の一例を示すブロック図である。 第３の実施形態における操作定義情報のデータ例を示す図である。 第３の実施形態における一括定義情報記憶部のデータ例を示す図である。 第３の実施形態による入力支援装置の動作の一例を示すフローチャートである。

以下、本発明の実施形態による入力支援装置、及び入力支援方法について、図面を参照して説明する。

［第１の実施形態］
図１は、本実施形態による入力支援装置１の一例を示すブロック図である。
図１に示すように、入力支援装置１は、マイク１１と、スピーカ１２と、記憶部１３と、制御部１４とを備えている。入力支援装置１は、利用者の音声を利用して、キーボードやマウスなどの入力操作を代行して、アプリケーション２０への入力処理を支援する。入力支援装置１は、例えば、端末装置２と接続されており、利用者の音声に応じた命令（コマンド）を端末装置２が実行するアプリケーションに送信する。

端末装置２は、例えば、パーソナルコンピュータなどの利用者が各種アプリケーションを実行するコンピュータ装置であり、入力部２１と、表示部２２と、記憶部２３と、制御部２４とを備えている。

入力部２１は、例えば、キーボードやタッチパネルなどの入力装置であり、利用者の入力情報を受け付ける。入力部２１は、受け付けたユーザの入力情報を制御部２４に出力する。
表示部２２は、例えば、液晶ディスプレイ装置などであり、各種情報を表示する。表示部２２は、後述しるアプリケーション２０によって、各種表示画面を表示する。

記憶部２３は、端末装置２が利用する各種情報を記憶する。記憶部２３は、例えば、アプリケーション２０が利用する情報を記憶する。
制御部２４は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、端末装置２を統括的に制御する。制御部２４は、アプリケーション２０を実行し、アプリケーション２０によって、入力部２１が受け付けた入力情報、又は入力支援装置１から送信された命令により各種処理を実行するとともに、表示部２２に各種情報（表示画面）を表示させる。

なお、本実施形態において、アプリケーション２０は、例えば、業務アプリケーションなどであり、制御部２４によって実現される機能部として説明する。

マイク１１（収音部の一例）は、入力支援装置１の周辺の音を収音する。マイク１１は、利用者が音声によりアプリケーション２０を操作する際に、利用者が発した音声を収音する。
スピーカ１２は、利用者に向けた各種音声（例えば、利用者への聞き返しや質問などの音声）を出力する。

記憶部１３は、入力支援装置１が利用する各種情報を記憶する。記憶部１３は、操作定義情報記憶部１３１と、履歴情報記憶部１３２と、一括定義情報記憶部１３３と、入力順序記憶部１３４とを備えている。

操作定義情報記憶部１３１は、音声による操作を実行するためのルール情報を記憶する。操作定義情報記憶部１３１は、キーワードに対応して、アプリケーション２０に送信する命令（コマンド）を定義した、操作定義情報及び共通定義情報を記憶する。
操作定義情報記憶部１３１は、例えば、図２に示すように、表示画面と、キーワードと、アプリケーション２０の操作を示す命令とを対応付けた操作定義情報を記憶する。

図２は、本実施形態における操作定義情報のデータ例を示す図である。この図に示すように、操作定義情報記憶部１３１は、「表示画面」と、「キーワード」と、「命令」と、「操作内容」とを対応付けた操作定義情報を複数記憶している。
ここで、「表示画面」は、アプリケーション２０の表示画面を示し、「キーワード」は、利用者が発した音声に含まれるキーワードを示している。また、「命令」は、アプリケーション２０の操作のために、アプリケーション２０に送信する命令（コマンド）を示し、「操作内容」は、「命令」の操作内容を示している。

図２に示す例では、例えば、「表示画面」が“ログイン画面”である場合に、「キーワード」として“「ＩＤ」を「選択」”が含まれる音声に対して、「ＩＤ」の入力欄を選択する「命令」“ｏｎｃｕｒｓｏｌ＿ｉｄ”を送信することを示している。また、「キーワード」として“「パスワード」を「選択」”が含まれる音声に対して、「パスワード」の入力欄を選択する「命令」“ｏｎｃｕｒｓｏｌ＿ｐａｓｓｗｏｒｄ”を送信することを示している。

なお、「キーワード」は、複数の単語を含む“「ＩＤ」を「選択」”をキーワードとしてもよいし、単語である「ＩＤ」及び「選択」をキーワードとしてもよい。
また、操作定義情報には、１つの命令に複数のキーワードが対応付けられている類似定義情報が含まれるようにしてもよい。すなわち、「表示画面」が“メニュー３”の「命令」が“ｍｅｎｕ３＿ｒｅｇ”（「登録ボタン」を押す）に示すように、１つの「命令」に対して、“「登録ボタン」の「押下」”、“「登録ボタン」を「クリック」”、及び“「登録ボタン」を「押す」”の３つの「キーワード」が対応付けられてもよい。この場合、“「登録ボタン」の「押下」”、“「登録ボタン」を「クリック」”、及び“「登録ボタン」を「押す」”は、類似語に対応し、当該操作定義情報は、類似定義情報に対応する。

また、操作定義情報記憶部１３１は、例えば、図３に示すように、全ての表示画面に対して共通のキーワードと命令とを対応付けた共通定義情報を記憶する。
図３は、本実施形態における共通定義情報のデータ例を示す図である。この図に示すように、操作定義情報記憶部１３１は、「キーワード」と、「命令」と、「操作内容」とを対応付けた共通定義情報を複数記憶している。
図３に示す例では、例えば、「キーワード」の“「エンター」”に対応する「命令」が「Ｅｎｔｅｒ」キーを押下する“ＲＥＴＵＲＮ”であることを示している。

図１の説明に戻り、履歴情報記憶部１３２は、入力支援装置１がアプリケーション２０に送信した命令の履歴情報を記憶する。履歴情報記憶部１３２は、例えば、命令の送信日時、入力された音声のテキスト情報、表示画面を示す情報、及び命令などを対応付けて、履歴情報として記憶する。

一括定義情報記憶部１３３は、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を記憶する。ここで、所定の単位は、例えば、一連の作業、同一の日、最新の入力処理、同一の時間帯などである。一括定義情報記憶部１３３は、例えば、図４に示すように、「キーワード」と、「命令」とを対応付けて一括定義情報として記憶する。

図４は、本実施形態における一括定義情報記憶部１３３のデータ例を示す図である。
図４に示す例では、例えば、「キーワード」の“昨日と同じ登録”に対して、昨日の登録において実行された一連の命令（・・・、“ｏｐｅｎ＿ｍｅｎｕ１”、・・・）が定義されている。なお、命令には、各種の入力項目に対して入力された入力値も含まれる。
また、例えば、「キーワード」の“朝の作業”に対して、「命令」に“昨日と同じ登録”と、“○○○でメール読み上げ”とが定義されている。この場合の“昨日と同じ登録”及び“○○○でメール読み上げ”は、一連の処理が定義されているキーワードである。このように、一括定義情報には、ネスティング（入れ子構造）により命令を定義することが可能である。

再び、図１の説明に戻り、入力順序記憶部１３４は、表示画面において入力値を入力する入力項目の順序情報を記憶する。入力順序記憶部１３４は、例えば、表示画面と、入力項目のリスト（順序）とを対応付けて順序情報として記憶する。

制御部１４は、例えば、ＣＰＵなどを含むプロセッサであり、入力支援装置１を統括的に制御する。制御部１４は、例えば、マイク１１が収音した利用者の音声に基づいて、アプリケーション２０に命令を送信する。また、制御部１４は、例えば、利用者に、応答や各種情報の提示のための音声を合成して、スピーカ１２から出力させる。
制御部１４は、テキスト変換部１４１と、支援処理部１４２と、音声合成部１４３とを備えている。

テキスト変換部１４１は、マイク１１が収音した利用者の音声を音声認識により音声テキストデータであるテキスト情報に変換する。
支援処理部１４２は、テキスト変換部１４１がテキスト変換したテキスト情報に基づいて、命令を生成し、当該命令をアプリケーション２０に送信する。支援処理部１４２は、例えば、操作定義情報記憶部１３１の操作定義情報から、現在の表示画面に対して、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードに対応付けられている命令を取得し、取得した命令を、アプリケーション２０に送信して実行させる。ここで、操作定義情報は、ポインティングデバイスの代わりの位置指定やメニュー選択などの操作などに用いられる。

また、支援処理部１４２は、操作定義情報から命令を取得できなかった場合に、例えば、操作定義情報記憶部１３１の共通定義情報から、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードに対応付けられている全ての表示画面に共通の命令を取得する。支援処理部１４２は、取得した共通の命令を、アプリケーション２０に送信して実行させる。

また、支援処理部１４２は、操作定義情報記憶部１３１から、現在の表示画面に対して、キーワードに対応付けられている命令を取得できなかった場合に、テキスト変換部１４１が変換したテキスト情報を、入力値として含む入力命令を、命令としてアプリケーション２０に送信する。すなわち、支援処理部１４２は、テキスト情報に含まれる単語又は複数の単語の組合せをキーワードとして、当該キーワードに対応する命令を取得できなかった場合には、テキスト情報を入力値とした入力命令を、アプリケーション２０に送信する。

また、支援処理部１４２は、アプリケーション２０に送信した命令の履歴情報に基づいて、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、一括定義情報記憶部１３３に記憶させる（図４参照）。そして、支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードが、所定の単位に付与されたキーワードと一致する場合に、一括定義情報記憶部１３３が記憶する一括定義情報に基づいて、命令をアプリケーション２０に送信する。

具体的に、支援処理部１４２は、例えば、テキスト情報に「昨日と同じ登録」が含まれていた場合には、上述した図４に示すキーワード“昨日と同じ登録”に対応付けられた一連の命令を順次アプリケーション２０に送信する。なお、この一連の命令の中には、“２”や“ＸＸＸＸ”などの入力値を送信する入力命令も含まれる。

また、支援処理部１４２は、例えば、テキスト情報に「朝の作業」が含まれていた場合には、上述した図４に示すキーワード“朝の作業”に対応付けられた一連の命令を順次アプリケーション２０に送信する。この場合、命令は、“昨日と同じ登録”及び“○○○でメール読み上げ”とキーワードになっており、支援処理部１４２は、命令として記載されたキーワードに対応する一連の命令を、順次アプリケーション２０に送信する。このように、支援処理部１４２は、一括定義情報記憶部１３３が記憶する一括定義情報に基づいて、ネスティングにより命令をアプリケーション２０に送信する。

また、支援処理部１４２は、例えば、テキスト情報に「最新のファイルを開く」が含まれていた場合には、一括定義情報記憶部１３３が記憶する一括定義情報に基づいて、「最新のファイルを開く」命令をアプリケーション２０に送信する。ここで、一括定義情報には、「キーワード」の“最新のファイルを開く”に対応付けて、最新の更新ファイル名の情報を含むファイルを開く命令が設定されており、更新ファイル名の情報は、適宜更新されるものとする。

また、支援処理部１４２は、一括定義情報に基づいて、命令を送信する際に、表示画面における入力項目に対して、一括定義情報に含まれる命令による入力項目が不適切である場合に、不適切な入力項目に対する入力を促す情報を利用者に提示する。ここで、入力項目が不適切である場合とは、例えば、入力項目が不足している又は余剰に存在している場合、入力値が不適切な場合などである。このような場合に、支援処理部１４２は、利用者に聞き返す又は問合せるためのテキスト情報を後述する音声合成部１４３に音声信号に変換させて、スピーカ１２から当該音声を利用者に向けて出力させる。

また、支援処理部１４２は、一括定義情報に基づいて、命令を順次送信する際に、中断を示すキーワードが含まれているテキスト情報をテキスト変換部１４１から取得した場合に、命令の送信を中断する。支援処理部１４２は、例えば、利用者が、「ちょっと止めて」、「ストップ」などの中断する音声を発した場合に、一括定義情報に基づく命令の送信を中断する。
なお、支援処理部１４２は、中断と同様に、一括定義情報に基づく一連の命令の中断中に、再開を示すキーワードが含まれているテキスト情報をテキスト変換部１４１から取得した場合に、命令の送信を再開するようにしてもよい。

また、支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報に、次の入力項目に進めるキーワードが含まれる場合に、表示画面において入力値を入力する入力項目の順序情報に基づいて、指定されている現在の入力項目の次の入力項目を指定する命令を、アプリケーション２０に送信する。例えば、テキスト情報に、キーワードの「次の項目」が含まれる場合に、支援処理部１４２は、図４の“次に項目”に対応する“次の入力欄に移動”する命令を、アプリケーション２０に送信する。この場合、支援処理部１４２は、例えば、入力順序記憶部１３４が記憶する順序情報に基づいて、“次の入力欄に移動”する命令を生成して、当該命令をアプリケーション２０に送信する。

音声合成部１４３は、テキスト情報を音声信号に変換して、スピーカ１２に出力する。音声合成部１４３は、例えば、支援処理部１４２から利用者に対する応答（問合せなど）のテキスト情報を取得し、取得したテキスト情報を音声信号に変換して、スピーカ１２に出力する。

次に、図面を参照して、本実施形態による入力支援装置１の動作について説明する。
図５は、本実施形態による入力支援装置１の動作の一例を説明する図である。
図５に示すように、入力支援装置１は、まず、音声を受信したか否かを判定する（ステップＳ１０１）。入力支援装置１の制御部１４は、マイク１１が、利用者の音声を収音（受信）したか否かによって、音声を受信したか否かを判定する。制御部１４は、音声を受信した場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進める。また、制御部１４は、音声を受信していない場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０１に戻す。

ステップＳ１０２において、制御部１４のテキスト変換部１４１は、受信した音声をテキスト変換する。テキスト変換部１４１は、マイク１１が収音した利用者の音声を、テキスト情報に変換する。
次に、制御部１４の支援処理部１４２は、表示画面を示す情報を取得する（ステップＳ１０３）。支援処理部１４２は、例えば、アプリケーション２０から、現在の表示画面を示す情報を取得する。

次に、支援処理部１４２は、操作定義情報記憶部１３１を検索して（ステップＳ１０４）、表示画面及びキーワードに対応付けられた命令があるか否かを判定する（ステップＳ１０５）。すなわち、支援処理部１４２は、現在の表示画面と、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードとに対応する命令が、操作定義情報記憶部１３１にあるか否かを判定する。支援処理部１４２は、表示画面及びキーワードに対応付けられた命令がある場合（ステップＳ１０５：ＹＥＳ）に、処理をステップＳ１０６に進める。また、支援処理部１４２は、表示画面及びキーワードに対応付けられた命令がない場合（ステップＳ１０５：ＮＯ）に、処理をステップＳ１０７に進める。

ステップＳ１０６において、支援処理部１４２は、表示画面及びキーワードに対応する命令を、操作定義情報記憶部１３１から取得して、取得した命令をアプリケーション２０に送信する。すなわち、支援処理部１４２は、操作定義情報及び共通定義情報からテキスト情報に含まれるキーワードと一致する命令を取得し、取得した命令をアプリケーション２０に送信する。ステップＳ１０６の処理後に、支援処理部１４２は、処理をステップＳ１１１に進める。

また、ステップＳ１０７において、支援処理部１４２は、一括定義情報記憶部１３３を検索し、キーワードに対応付けられた一括定義情報があるか否かを判定する（ステップＳ１０８）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードと一致する一括定義情報が一括定義情報記憶部１３３にあるか否かを判定する。支援処理部１４２は、キーワードに対応付けられた一括定義情報がある場合（ステップＳ１０８：ＹＥＳ）に、処理をステップＳ１０９に進める。また、支援処理部１４２は、キーワードに対応付けられた一括定義情報がない場合（ステップＳ１０８：ＮＯ）に、処理をステップＳ１１０に進める。

ステップＳ１０９において、支援処理部１４２は、一括定義情報に基づいて、アプリケーション２０に順次命令を送信する。すなわち、支援処理部１４２は、例えば、図４に示す一括定義情報による一連の命令をアプリケーション２０に送信する。
なお、支援処理部１４２は、図４の「キーワード」の“朝の作業”に対応する一括定義情報のように、ネスティングにより命令をアプリケーション２０に送信してもよい。また、支援処理部１４２は、図４の「キーワード」の“次の項目” に対応する一括定義情報のように、例えば、入力順序記憶部１３４が記憶する順序情報に基づいて、“次の入力欄に移動”する命令を生成して、当該命令をアプリケーション２０に送信するようにしてもよい。ステップＳ１０９の処理後に、支援処理部１４２は、処理をステップＳ１１１に進める。

また、ステップＳ１１０において、支援処理部１４２は、テキスト情報を入力値とした命令をアプリケーション２０に送信する。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報をそのまま入力値とする入力命令を、アプリケーション２０に送信する。

次に、ステップＳ１１１において、支援処理部１４２は、命令の履歴情報を履歴情報記憶部１３２に記憶させる。
次に、支援処理部１４２は、一括定義情報を登録するか否かを判定する（ステップＳ１１２）。支援処理部１４２は、例えば、一括定義情報が定義する一連の命令に含まれる入力値やファイル名などの更新が必要であるか否か、利用者によって、新たな一括定義情報を登録（更新）する登録要求があるか否かなどによって、一括定義情報を登録するか否かを判定する。支援処理部１４２は、一括定義情報を登録（更新）する場合（ステップＳ１１２：ＹＥＳ）に、処理をステップＳ１１３に進める。また、支援処理部１４２は、一括定義情報を登録（更新）しない場合（ステップＳ１１２：ＮＯ）に、処理をステップＳ１０１に戻し、次の音声の受信を待つ。

ステップＳ１１３において、支援処理部１４２は、一括定義情報を登録する。支援処理部１４２は、例えば、履歴情報記憶部１３２が記憶する命令の履歴情報に基づいて、一括定義情報記憶部１３３に、一括定義情報を登録又は更新する。また、利用者の要求により、一括定義情報を登録する場合には、支援処理部１４２は、例えば、利用者に指定された一括定義情報を、履歴情報記憶部１３２に記憶させる。ステップＳ１１３の処理後に、支援処理部１４２は、処理をステップＳ１０１に戻し、次の音声の受信を待つ。

次に、図６〜図１０を参照して、本実施形態による入力支援装置１のより具体的な動作について説明する。
図６は、本実施形態による入力支援装置１の動作の一例を説明する図である。この図では、利用者Ｕ１の音声入力により、アプリケーション２０の「○○システム」における住所の登録処理を操作する場合の一例について説明する。

図６において、まず、利用者Ｕ１は、音声入力により“「○○システム」の「起動」”を入力支援装置１に発音する（ステップＳ２０１）。これにより、入力支援装置１のマイク１１が利用者Ｕ１の音声を収音し、テキスト変換部１４１が音声をテキスト情報に変換する。

次に、入力支援装置１は、命令（○○．ｅｘｅ）を端末装置２（アプリケーション２０）に送信する（ステップＳ２０２）。入力支援装置１の支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「○○システム」の「起動」”に対応する命令（○○．ｅｘｅ）を、操作定義情報記憶部１３１（図２の操作定義情報を参照）から取得する。そして、支援処理部１４２は、取得した命令（○○．ｅｘｅ）を端末装置２に送信する。

次に、端末装置２は、トップページを表示する（ステップＳ２０３）。端末装置２は、入力支援装置１から送信された命令（○○．ｅｘｅ）を実行し、「○○システム」（アプリケーション２０）を起動して、アプリケーション２０は、図７に示すような「○○システム」のトップページ（表示画面Ｇ１）を、表示部２２に表示させる。

次に、アプリケーション２０は、画面情報（トップページ）を入力支援装置１に送信する（ステップＳ２０４）。すなわち、アプリケーション２０は、トップページ（表示画面Ｇ１）を示す情報を、入力支援装置１に送信し、入力支援装置１は、トップページ（表示画面Ｇ１）を示す情報を取得する。

次に、利用者Ｕ１は、音声入力により“「メニュー３」を「クリック」”を入力支援装置１に発音する（ステップＳ２０５）。すなわち、端末装置２の表示部２２が、トップページ（表示画面Ｇ１）を表示していることを確認した利用者Ｕ１は、メニュー３を選択するために、“「メニュー３」を「クリック」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、命令（ｏｐｅｎ＿ｍｅｎｕ３）をアプリケーション２０に送信する（ステップＳ２０６）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「メニュー３」を「クリック」”に対応する命令（ｏｐｅｎ＿ｍｅｎｕ３）を、操作定義情報記憶部１３１（図２の操作定義情報を参照）から取得する。そして、支援処理部１４２は、取得した命令（ｏｐｅｎ＿ｍｅｎｕ３）をアプリケーション２０に送信する。

次に、アプリケーション２０は、メニュー３を表示する（ステップＳ２０７）。アプリケーション２０は、命令（ｏｐｅｎ＿ｍｅｎｕ３）を受け付けて、図８に示すようなメニュー３の画面（表示画面Ｇ２）を表示部２２に表示させる。

次に、アプリケーション２０は、画面情報（メニュー３）を入力支援装置１に送信する（ステップＳ２０８）。すなわち、アプリケーション２０は、メニュー３の画面（表示画面Ｇ２）を示す情報を、入力支援装置１に送信し、入力支援装置１は、メニュー３の画面（表示画面Ｇ２）を示す情報を取得する。

次に、利用者Ｕ１は、音声入力により“「住所」を「選択」”を入力支援装置１に発音する（ステップＳ２０９）。すなわち、端末装置２の表示部２２が、メニュー３の画面（表示画面Ｇ２）を表示していることを確認した利用者Ｕ１は、「住所」の入力欄を選択するために、“「住所」を「選択」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、命令（ｍｅｎｕ３＿ｏｎｃｕｒｓｏｌ＿ａｄｄｒｅｓｓ）をアプリケーション２０に送信する（ステップＳ２１０）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「住所」を「選択」”に対応する命令（ｍｅｎｕ３＿ｏｎｃｕｒｓｏｌ＿ａｄｄｒｅｓｓ）を、操作定義情報記憶部１３１（図２参照）から取得する。そして、支援処理部１４２は、取得した命令（ｍｅｎｕ３＿ｏｎｃｕｒｓｏｌ＿ａｄｄｒｅｓｓ）をアプリケーション２０に送信する。

次に、アプリケーション２０は、「住所」の入力欄を選択する（ステップＳ２１１）。アプリケーション２０は、命令（ｍｅｎｕ３＿ｏｎｃｕｒｓｏｌ＿ａｄｄｒｅｓｓ）を受け付けて、図８の表示画面Ｇ２に示すように、カーソルを「住所」の入力欄に移動させる。

次に、利用者Ｕ１は、音声入力により“「とうきょうとみなとくこうなん」”を入力支援装置１に発音する（ステップＳ２１２）。すなわち、アプリケーション２０が、メニュー３の画面（表示画面Ｇ２）において、カーソルを「住所」の入力欄に移動したことを確認した利用者Ｕ１は、「住所」の入力欄に入力値を入力するために、“「とうきょうとみなとくこうなん」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、入力命令（“とうきょうとみなとくこうなん”）をアプリケーション２０に送信する（ステップＳ２１３）。ここでは、支援処理部１４２は、操作定義情報、共通定義情報、及び一括定義情報のいずれにもキーワード“「とうきょうとみなとくこうなん」”と一致するものがないため、テキスト情報を直接の入力値として、入力命令（“とうきょうとみなとくこうなん”）をアプリケーション２０に送信する。

次に、アプリケーション２０は、入力テキストを表示する（ステップＳ２１４）。アプリケーション２０は、入力命令（“とうきょうとみなとくこうなん”）を受け付けて、「住所」の入力欄に“とうきょうとみなとくこうなん”を表示する。

次に、利用者Ｕ１は、音声入力により“「変換」”を入力支援装置１に発音する（ステップＳ２１５）。すなわち、アプリケーション２０が、「住所」の入力欄に“とうきょうとみなとくこうなん”を表示したことを確認した利用者Ｕ１は、“とうきょうとみなとくこうなん”を漢字に変換するために、“「変換」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、命令（ＣＯＮＶＥＲＴ）をアプリケーション２０に送信する（ステップＳ２１６）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「変換」”に対応する命令（ＣＯＮＶＥＲＴ）を、操作定義情報記憶部１３１（図３の共通定義情報を参照）から取得する。そして、支援処理部１４２は、取得した命令（ＣＯＮＶＥＲＴ）をアプリケーション２０に送信する。

次に、アプリケーション２０は、入力テキストを変換する（ステップＳ２１７）。アプリケーション２０は、命令（ＣＯＮＶＥＲＴ）を受け付けて、「住所」の入力欄に“とうきょうとみなとくこうなん”を、図９の表示画面Ｇ３に示すように、漢字の“東京都港区港南”に変換する。

次に、利用者Ｕ１は、音声入力により“「確定」”を入力支援装置１に発音する（ステップＳ２１８）。すなわち、アプリケーション２０が、「住所」の入力欄に“東京都港区港南”を表示したことを確認した利用者Ｕ１は、入力値を確定ために、“「確定」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、命令（ＲＥＴＵＲＮ）をアプリケーション２０に送信する（ステップＳ２１９）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「登録ボタン」を「クリック」”に対応する命令（ＲＥＴＵＲＮ）を、操作定義情報記憶部１３１（共通定義情報）から取得する。そして、支援処理部１４２は、取得した命令（ＲＥＴＵＲＮ）をアプリケーション２０に送信する。これにより、アプリケーション２０は、入力テキストを確定する。

次に、利用者Ｕ１は、音声入力により“「登録ボタン」を「クリック」”を入力支援装置１に発音する（ステップＳ２２０）。すなわち、利用者Ｕ１は、入力値を登録ために、“「登録ボタン」を「クリック」”を入力支援装置１に向けて発音する。

次に、入力支援装置１は、命令（ｍｅｎｕ３＿ｒｅｇ）をアプリケーション２０に送信する（ステップＳ２２１）。支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「登録ボタン」を「クリック」”に対応する命令（ｍｅｎｕ３＿ｒｅｇ）を、操作定義情報記憶部１３１（図２の操作定義情報を参照）から取得する。そして、支援処理部１４２は、取得した命令（ｍｅｎｕ３＿ｒｅｇ）をアプリケーション２０に送信する。

次に、アプリケーション２０は、登録処理を実行する（ステップＳ２２２）。アプリケーション２０は、命令（ｍｅｎｕ３＿ｒｅｇ）を受け付けて、登録処理を実行する。
次に、アプリケーション２０は、トップページを表示する（ステップＳ２２３）。アプリケーション２０は、再び図７に示すような「○○システム」のトップページ（表示画面Ｇ１）を、表示部２２に表示させる。

次に、アプリケーション２０は、画面情報（トップページ）を入力支援装置１に送信する（ステップＳ２２４）。すなわち、アプリケーション２０は、トップページ（表示画面Ｇ１）を示す情報を、入力支援装置１に送信し、入力支援装置１は、トップページ（表示画面Ｇ１）を示す情報を取得する。

また、図１０は、本実施形態による入力支援装置１の一括処理の動作の一例を説明する図である。この図では、上述した図６により説明した処理と同一の処理を一括定義情報に基づく一括処理により実行させる場合の一例である。

図１０において、まず、利用者Ｕ１は、音声入力により“「○○システム」に「昨日と同じ登録」”を入力支援装置１に発音する（ステップＳ３０１）。これにより、入力支援装置１のマイク１１が利用者Ｕ１の音声を収音し、テキスト変換部１４１が音声をテキスト情報に変換する。

次に、入力支援装置１は、命令（○○．ｅｘｅ）を端末装置２（アプリケーション２０）に送信する（ステップＳ３０２）。入力支援装置１の支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報のキーワード“「昨日と同じ登録」”に対応する一括定義情報（図４の一括定義情報を参照）に基づいて、命令（○○．ｅｘｅ）を端末装置２に送信する。

次に、端末装置２は、トップページを表示する（ステップＳ３０３）。端末装置２は、入力支援装置１から送信された命令（○○．ｅｘｅ）を実行し、「○○システム」（アプリケーション２０）を起動して、アプリケーション２０は、図７に示すような「○○システム」のトップページ（表示画面Ｇ１）を、表示部２２に表示させる。

次に、支援処理部１４２は、キーワード“「昨日と同じ登録」”に対応する一括定義情報（図４の一括定義情報を参照）に基づいて、命令（ｏｐｅｎ＿ｍｅｎｕ３）をアプリケーション２０に送信する（ステップＳ３０４）。
次に、アプリケーション２０は、命令（ｏｐｅｎ＿ｍｅｎｕ３）を受け付けて、メニュー３を表示する（ステップＳ３０５）。

このように、支援処理部１４２は、キーワード“「昨日と同じ登録」”に対応する一括定義情報（図４の一括定義情報を参照）に基づいて、順次命令をアプリケーション２０に送信し、最後に、命令（ｍｅｎｕ３＿ｒｅｇ）をアプリケーション２０に送信する（ステップＳ３０６）。
次に、アプリケーション２０は、命令（ｍｅｎｕ３＿ｒｅｇ）を受け付けて、登録処理を実行し（ステップＳ３０７）、再び図７に示すような「○○システム」のトップページ（表示画面Ｇ１）を、表示部２２に表示させる（ステップＳ３０８）。

なお、図１０に示す一例において、一括定義情報に基づく一括処理の途中で、利用者Ｕ１が、音声入力により“「ストップ」”などの中断する音声を発した場合に、支援処理部１４２は、一括定義情報に基づく命令の送信を中断する。
また、支援処理部１４２は、中断と同様に、一括定義情報に基づく一連の命令の中断中に、利用者Ｕ１が、音声入力により再開を示すキーワードを発した場合に、命令の送信を再開する。

以上説明したように、本実施形態による入力支援装置１は、テキスト変換部１４１と、支援処理部１４２とを備える。テキスト変換部１４１は、利用者が発した音声をテキスト情報に変換する。支援処理部１４２は、表示画面と、キーワードと、アプリケーション２０の操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部１３１から、現在の表示画面に対して、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードに対応付けられている命令を取得する。そして、支援処理部１４２は、取得した命令を、アプリケーション２０に送信して実行させる。

これにより、本実施形態による入力支援装置１は、例えば、ポインティングデバイスの代わりの操作を行う場合に、操作定義情報を利用してキーワードにより所望の位置を指定（選択）できるため、利用者の音声による操作性を向上させることができる。また、本実施形態による入力支援装置１は、表示画面に対応するキーワードにより操作するため、業務アプリケーション等の汎用アプリケーションの操作に容易に対応することができる。
本実施形態による入力支援装置１は、例えば、手指等にハンディキャップを有する利用者が操作する場合や、建設業や製造業などの両手を使用している状態で各種の操作を行う必要がある場合などにおいて、利用者の音声により安全且つ適切に操作を行うことができる。

また、本実施形態では、操作定義情報記憶部１３１は、操作定義情報、及び、全ての表示画面に対して共通のキーワードと命令とを対応付けた共通定義情報を記憶する。支援処理部１４２は、操作定義情報記憶部１３１から、現在の表示画面に対して、キーワードに対応付けられている命令を取得できなかった場合に、テキスト変換部１４１が変換したテキスト情報を、入力値として含む入力命令を、命令としてアプリケーション２０に送信する。
これにより、本実施形態による入力支援装置１は、全ての表示画面に対して共通のキーワードの音声入力により、アプリケーション２０を操作することができるとともに、操作定義情報記憶部１３１に一致するキーワードがない場合に、テキスト情報を、入力値として、アプリケーション２０に送信することができる。よって、本実施形態による入力支援装置１は、利用者の音声による操作性をさらに向上させることができる。

また、本実施形態では、支援処理部１４２は、アプリケーション２０に送信した命令の履歴情報に基づいて、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、一括定義情報記憶部１３３に記憶させる。そして、支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードが、所定の単位に付与されたキーワードと一致する場合に、一括定義情報記憶部１３３が記憶する一括定義情報に基づいて、命令をアプリケーション２０に送信する。なお、所定の単位には、例えば、一連の作業、同一の日、最新の入力処理、同一の時間帯などが含まれる。
これにより、本実施形態による入力支援装置１は、過去に実行した操作を、一括定義情報により一括処理させることが可能になり、操作性をさらに向上させることができる。

また、本実施形態では、支援処理部１４２は、一括定義情報に基づいて、命令を送信する際に、表示画面における入力項目に対して、一括定義情報に含まれる命令による入力項目が不適切である場合に、不適切な入力項目に対する入力を促す情報（例えば、聞き直しや問合せを示す情報など）を利用者に提示する。
これにより、本実施形態による入力支援装置１は、不適切な入力項目を利用者に提示しながら、一括処理させることができるため、利便性を向上させることができる。

また、本実施形態では、支援処理部１４２は、一括定義情報に基づいて、命令を順次送信する際に、中断を示すキーワードが含まれているテキスト情報をテキスト変換部１４１から取得した場合に、命令の送信を中断する。
これにより、本実施形態による入力支援装置１は、一括定義情報に基づく一連の操作を中断して、例えば、操作内容の確認、操作内容の変更（修正）を行うことができるため、利便性を向上させることができる。

また、本実施形態では、操作定義情報には、１つの命令に複数のキーワードが対応付けられている類似定義情報が含まれる（例えば、図２の“ｍｅｎｕ３＿ｒｅｇ”を参照）。
これにより、本実施形態による入力支援装置１は、類似語や、利用者の発音の揺らぎなどを吸収しつつ、利用者の音声による操作を適切におこなうことができ、利便性をさらに向上させることができる。

また、本実施形態では、支援処理部１４２は、テキスト変換部１４１が変換したテキスト情報に、次の入力項目に進めるキーワードが含まれる場合に、表示画面において入力値を入力する入力項目の順序情報に基づいて、指定されている現在の入力項目の次の入力項目を指定する命令を、アプリケーション２０に送信する。
これにより、本実施形態による入力支援装置１は、例えば、“次の入力項目”などの簡略化したキーワードにより、入力欄の指定（選択）を移動できるため、さらに操作性及び利便性を向上させることができる。

また、本実施形態では、一括定義情報は、ネスティング（入れ子構造）により命令を定義してもよい。
これにより、本実施形態による入力支援装置１は、さらに短縮したキーワードにより、複雑な操作が可能になるため、利便性を向上させることができる。

また、本実施形態による入力支援方法は、テキスト変換ステップと、支援処理ステップとを含む。テキスト変換ステップにおいて、テキスト変換部１４１が、利用者が発した音声をテキスト情報に変換する。支援処理ステップにおいて、支援処理部１４２が、表示画面と、キーワードと、アプリケーション２０の操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部１３１から、現在の表示画面に対して、テキスト変換ステップによって変換されたテキスト情報に含まれるキーワードに対応付けられている命令を取得し、取得した命令を、アプリケーション２０に送信して実行させる。
これにより、本実施形態による入力支援方法は、上述した入力支援装置１と同様の効果を奏し、利用者の音声による操作性を向上させることができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態による入力支援装置１ａについて説明する。本実施形態では、操作定義情報及び一括定義情報が、利用者ごとに設定されている場合の変形例について説明する。

図１１は、本実施形態による入力支援装置１ａの一例を示すブロック図である。
図１１に示すように、入力支援装置１ａは、マイク１１と、スピーカ１２と、記憶部１３ａと、制御部１４ａとを備えている。
なお、この図において、図１と同一の構成は、同一の符号を付与して、その説明を省略する。

記憶部１３ａは、入力支援装置１ａが利用する各種情報を記憶する。記憶部１３ａは、操作定義情報記憶部１３１ａと、履歴情報記憶部１３２と、一括定義情報記憶部１３３ａと、入力順序記憶部１３４とを備えている。

操作定義情報記憶部１３１ａは、音声による操作を実行するためのルール情報を記憶する。操作定義情報記憶部１３１ａは、キーワードに対応して、アプリケーション２０に送信する命令（コマンド）を定義した、操作定義情報及び共通定義情報を記憶する。
操作定義情報記憶部１３１ａは、例えば、図１２に示すように、利用者ごとに操作定義情報を記憶している。

図１２は、本実施形態における操作定義情報のデータ例を示す図である。この図に示すように、操作定義情報記憶部１３１ａは、「利用者ＩＤ」と、「表示画面」と、「キーワード」と、「命令」と、「操作内容」とを対応付けた操作定義情報を複数記憶している。
ここで、「利用者ＩＤ」は、利用者を識別する識別情報である。

図１２に示す例では、例えば、「利用者ＩＤ」が“Ｕ０００１”であり、「表示画面」が“ログイン画面”である場合に、「キーワード」として“「ＩＤ」を「選択」”が含まれる音声に対して、「ＩＤ」の入力欄を選択する「命令」“ｏｎｃｕｒｓｏｌ＿ｉｄ”を送信することを示している。
操作定義情報記憶部１３１ａは、利用者ごとに異なる操作定義情報を設定可能である。なお、操作定義情報記憶部１３１ａが記憶する共通定義情報については、上述した第１の実施形態と同様であるため、ここではその説明を省略する。

一括定義情報記憶部１３３ａは、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を利用者ごとに記憶する。ここで、所定の単位は、第１の実施形態と同様であり、例えば、一連の作業、同一の日、最新の入力処理、同一の時間帯などである。一括定義情報記憶部１３３ａは、例えば、図１３に示すように、「利用者ＩＤ」と、「キーワード」と、「命令」とを対応付けて一括定義情報として記憶する。

図１３は、本実施形態における一括定義情報記憶部１３３ａのデータ例を示す図である。
図１３に示す例では、例えば、「利用者ＩＤ」が“Ｕ０００１”である場合における「キーワード」の“昨日と同じ登録”に対して、昨日の登録において実行された一連の命令（・・・、“ｏｐｅｎ＿ｍｅｎｕ１”、・・・）が定義されている。
このように、一括定義情報記憶部１３３ａは、利用者ごとに、一括定義情報を記憶する。

制御部１４ａは、例えば、ＣＰＵなどを含むプロセッサであり、入力支援装置１ａを統括的に制御する。制御部１４ａは、テキスト変換部１４１と、支援処理部１４２ａと、音声合成部１４３と、利用者判定部１４４とを備えている。
利用者判定部１４４は、マイク１１が収音した利用者の音声を取得して、例えば、声紋などの既存の音声認識技術を利用して、利用者を判定する。

支援処理部１４２ａは、テキスト変換部１４１がテキスト変換したテキスト情報に基づいて、命令を生成し、当該命令をアプリケーション２０に送信する。支援処理部１４２ａの基本的な機能は、上述した第１の実施形態の支援処理部１４２と同様である。支援処理部１４２ａは、利用者判定部１４４が判定した利用者を示す情報（例えば、利用者ＩＤなど）を取得する。支援処理部１４２ａは、取得した利用者を示す情報及びテキスト変換部１４１が変換したテキスト情報に基づいて、テキスト変換部１４１が利用者に対応する音声を変換したテキスト情報に含まれるキーワードに対応付けられている命令を、操作定義情報記憶部１３１ａが記憶している当該利用者に対応する操作定義情報のうちから取得する。

また、支援処理部１４２ａは、アプリケーション２０に送信した命令の履歴情報に基づいて、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、利用者ごとに、一括定義情報記憶部１３３ａに記憶させる（図１３参照）。そして、支援処理部１４２ａは、テキスト変換部１４１が変換したテキスト情報に含まれるキーワード及び利用者が、利用者ごとの一括定義情報のキーワードと一致する場合に、一括定義情報記憶部１３３ａが記憶する利用者ごとの一括定義情報に基づいて、命令をアプリケーション２０に送信する。

次に、図面を参照して、本実施形態による入力支援装置１ａの動作について説明する。
図１４は、本実施形態による入力支援装置１ａの動作の一例を説明する図である。
図１４に示すように、入力支援装置１ａは、まず、音声を受信したか否かを判定する（ステップＳ４０１）。入力支援装置１ａの制御部１４ａは、音声を受信した場合（ステップＳ４０１：ＹＥＳ）に、処理をステップＳ４０２に進める。また、制御部１４ａは、音声を受信していない場合（ステップＳ４０１：ＮＯ）に、処理をステップＳ４０１に戻す。

ステップＳ４０１において、入力支援装置１ａは、利用者を判定する。入力支援装置１ａの利用者判定部１４４は、マイク１１が収音した利用者の音声を取得して、例えば、声紋などの既存の音声認識技術を利用して、利用者を判定する。

続くステップＳ４０３及びステップＳ４０４の処理は、上述した図５に示すステップＳ１０２及びステップＳ１０３の処理と同様であるため、ここではその説明を省略する。

次に、支援処理部１４２ａは、操作定義情報記憶部１３１ａを検索して（ステップＳ４０５）、利用者、表示画面及びキーワードに対応付けられた命令があるか否かを判定する（ステップＳ４０６）。すなわち、支援処理部１４２ａは、利用者判定部１４４が判定した利用者と、現在の表示画面と、テキスト変換部１４１が変換したテキスト情報に含まれるキーワードとに対応する命令が、操作定義情報記憶部１３１ａにあるか否かを判定する。支援処理部１４２ａは、利用者、表示画面及びキーワードに対応付けられた命令がある場合（ステップＳ４０６：ＹＥＳ）に、処理をステップＳ４０７に進める。また、支援処理部１４２ａは、利用者、表示画面及びキーワードに対応付けられた命令がない場合（ステップＳ４０６：ＮＯ）に、処理をステップＳ４０８に進める。

ステップＳ４０７において、支援処理部１４２ａは、利用者、表示画面及びキーワードに対応する命令を、操作定義情報記憶部１３１ａから取得して、取得した命令をアプリケーション２０に送信する。ステップＳ４０７の処理後に、支援処理部１４２ａは、処理をステップＳ４１２に進める。

また、ステップＳ４０８において、支援処理部１４２ａは、一括定義情報記憶部１３３ａを検索し、利用者及びキーワードに対応付けられた一括定義情報があるか否かを判定する（ステップＳ４０９）。支援処理部１４２ａは、利用者判定部１４４が判定した利用者、及びテキスト変換部１４１が変換したテキスト情報に含まれるキーワードと一致する一括定義情報が一括定義情報記憶部１３３ａにあるか否かを判定する。支援処理部１４２ａは、利用者及びキーワードに対応付けられた一括定義情報がある場合（ステップＳ４０９：ＹＥＳ）に、処理をステップＳ４１０に進める。また、支援処理部１４２ａは、利用者及びキーワードに対応付けられた一括定義情報がない場合（ステップＳ４０９：ＮＯ）に、処理をステップＳ４１１に進める。

続く、ステップＳ４１０からステップＳ４１４までの処理は、上述した図５に示すステップＳ１０９からステップＳ１１３までの処理と同様であるため、ここではその説明を省略する。

以上説明したように、本実施形態による入力支援装置１ａでは、操作定義情報記憶部１３１ａは、利用者ごとに操作定義情報を記憶する。また、支援処理部１４２ａは、テキスト変換部１４１が利用者に対応する音声を変換したテキスト情報に含まれるキーワードに対応付けられている命令を、操作定義情報記憶部１３１ａが記憶している当該利用者に対応する操作定義情報のうちから取得する。そして、支援処理部１４２ａは、取得した命令をアプリケーション２０に送信して実行させる。

これにより、本実施形態による入力支援装置１ａは、利用者ごとに操作定義情報が記憶されているため、例えば、複数の利用者及び複数の入力支援装置１ａを使用して、音声入力により操作する場合などに、音声入力の混線による誤動作を低減することができる。また、本実施形態による入力支援装置１ａは、利用者ごとに異なる設定が可能であり、さらに利便性を向上させることができる。

また、本実施形態では、一括定義情報記憶部１３３ａは、利用者ごとに、一括定義情報を記憶する。そして、支援処理部１４２ａは、テキスト変換部１４１が変換したテキスト情報に含まれるキーワード及び利用者が、利用者ごとの一括定義情報のキーワードと一致する場合に、一括定義情報記憶部１３３ａが記憶する利用者ごとの一括定義情報に基づいて、命令をアプリケーション２０に送信する。
これにより、本実施形態による入力支援装置１ａは、一括定義情報による一括処理において、音声入力の混線による誤動作を低減することができる。また、本実施形態による入力支援装置１ａは、利用者ごとに異なる一括定義情報の設定が可能であり、さらに利便性を向上させることができる。

［第３の実施形態］
次に、図面を参照して、第３の実施形態による入力支援装置１ｂについて説明する。本実施形態では、操作定義情報及び一括定義情報が、エージェント機能のニックネームごとに設定されている場合の変形例について説明する。ここで、エージェント機能とは、例えば、支援処理部１４２ｂによる支援処理機能のことであり、ニックネームは、例えば、利用者に対応して付与されたエージェント機能の識別名称である。

図１５は、本実施形態による入力支援装置１ｂの一例を示すブロック図である。
図１５に示すように、入力支援装置１ｂは、マイク１１と、スピーカ１２と、記憶部１３ｂと、制御部１４ｂとを備えている。
なお、この図において、図１と同一の構成は、同一の符号を付与して、その説明を省略する。

記憶部１３ｂは、入力支援装置１ｂが利用する各種情報を記憶する。記憶部１３ｂは、操作定義情報記憶部１３１ｂと、履歴情報記憶部１３２と、一括定義情報記憶部１３３ｂと、入力順序記憶部１３４とを備えている。

操作定義情報記憶部１３１ｂは、音声による操作を実行するためのルール情報を記憶する。操作定義情報記憶部１３１ｂは、キーワードに対応して、アプリケーション２０に送信する命令（コマンド）を定義した、操作定義情報及び共通定義情報を記憶する。
操作定義情報記憶部１３１ｂは、例えば、図１６に示すように、エージェント機能のニックネームごとに操作定義情報を記憶している。

図１６は、本実施形態における操作定義情報のデータ例を示す図である。この図に示すように、操作定義情報記憶部１３１ｂは、「ニックネーム」と、「表示画面」と、「キーワード」と、「命令」と、「操作内容」とを対応付けた操作定義情報を複数記憶している。
ここで、「ニックネーム」は、利用者に対応して付与されたエージェント機能のニックネームである。

図１６に示す例では、例えば、「ニックネーム」が“○×△”であり、「表示画面」が“ログイン画面”である場合に、「キーワード」として“「ＩＤ」を「選択」”が含まれる音声に対して、「ＩＤ」の入力欄を選択する「命令」“ｏｎｃｕｒｓｏｌ＿ｉｄ”を送信することを示している。
操作定義情報記憶部１３１ｂは、ニックネームごとに異なる操作定義情報を設定可能である。なお、操作定義情報記憶部１３１ｂが記憶する共通定義情報については、上述した第１の実施形態と同様であるため、ここではその説明を省略する。

一括定義情報記憶部１３３ｂは、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報をニックネームごとに記憶する。ここで、所定の単位は、第１の実施形態と同様であり、例えば、一連の作業、同一の日、最新の入力処理、同一の時間帯などである。一括定義情報記憶部１３３ｂは、例えば、図１７に示すように、「ニックネーム」と、「キーワード」と、「命令」とを対応付けて一括定義情報として記憶する。

図１７は、本実施形態における一括定義情報記憶部１３３ｂのデータ例を示す図である。
図１７に示す例では、例えば、「ニックネーム」が“○×△”である場合における「キーワード」の“昨日と同じ登録”に対して、昨日の登録において実行された一連の命令（・・・、“ｏｐｅｎ＿ｍｅｎｕ１”、・・・）が定義されている。
このように、一括定義情報記憶部１３３ｂは、ニックネームごとに、一括定義情報を記憶する。

制御部１４ｂは、例えば、ＣＰＵなどを含むプロセッサであり、入力支援装置１ｂを統括的に制御する。制御部１４ｂは、テキスト変換部１４１と、支援処理部１４２ｂと、音声合成部１４３とを備えている。

支援処理部１４２ｂは、テキスト変換部１４１がテキスト変換したテキスト情報に基づいて、命令を生成し、当該命令をアプリケーション２０に送信する。支援処理部１４２ｂの基本的な機能は、上述した第１の実施形態の支援処理部１４２と同様である。支援処理部１４２ｂは、テキスト変換部１４１が音声を変換したテキスト情報に含まれるニックネーム及びキーワードに対応付けられている命令を、操作定義情報記憶部１３１ｂが記憶している操作定義情報のうちから取得する。すなわち、支援処理部１４２ｂは、テキスト変換部１４１がニックネームに対応する音声を変換したテキスト情報に含まれるキーワードに対応付けられている命令を、操作定義情報記憶部１３１ｂが記憶している当該ニックネームに対応する操作定義情報のうちから取得する。

また、支援処理部１４２ｂは、アプリケーション２０に送信した命令の履歴情報に基づいて、送信された命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、ニックネームごとに、一括定義情報記憶部１３３ｂに記憶させる（図１７参照）。そして、支援処理部１４２ｂは、テキスト変換部１４１が変換したテキスト情報に含まれるニックネーム及びキーワードが、一括定義情報のニックネーム及びキーワードと一致する場合に、一括定義情報記憶部１３３ｂが記憶するニックネームごとの一括定義情報に基づいて、命令をアプリケーション２０に送信する。

次に、図面を参照して、本実施形態による入力支援装置１ｂの動作について説明する。
図１８は、本実施形態による入力支援装置１ｂの動作の一例を説明する図である。
図１８に示すように、入力支援装置１ｂは、まず、音声を受信したか否かを判定する（ステップＳ５０１）。なお、ステップＳ５０１からステップＳ５０３までの処理は、上述した図５に示すステップＳ１０１からステップＳ１０３までの処理と同様であるため、ここではその説明を省略する。

次に、支援処理部１４２ｂは、操作定義情報記憶部１３１ｂを検索して（ステップＳ５０４）、ニックネーム、表示画面及びキーワードに対応付けられた命令があるか否かを判定する（ステップＳ５０５）。すなわち、支援処理部１４２ｂは、現在の表示画面と、テキスト変換部１４１が変換したテキスト情報に含まれるニックネーム及びキーワードとに対応する命令が、操作定義情報記憶部１３１ｂにあるか否かを判定する。支援処理部１４２ｂは、ニックネーム、表示画面及びキーワードに対応付けられた命令がある場合（ステップＳ５０５：ＹＥＳ）に、処理をステップＳ５０６に進める。また、支援処理部１４２ｂは、ニックネーム、表示画面及びキーワードに対応付けられた命令がない場合（ステップＳ５０５：ＮＯ）に、処理をステップＳ５０７に進める。

ステップＳ５０６において、支援処理部１４２ｂは、ニックネーム、表示画面及びキーワードに対応する命令を、操作定義情報記憶部１３１ｂから取得して、取得した命令をアプリケーション２０に送信する。ステップＳ５０６の処理後に、支援処理部１４２ｂは、処理をステップＳ５１１に進める。

また、ステップＳ５０７において、支援処理部１４２ｂは、一括定義情報記憶部１３３ｂを検索し、ニックネーム及びキーワードに対応付けられた一括定義情報があるか否かを判定する（ステップＳ５０８）。支援処理部１４２ｂは、テキスト変換部１４１が変換したテキスト情報に含まれるニックネーム及びキーワードと一致する一括定義情報が一括定義情報記憶部１３３ｂにあるか否かを判定する。支援処理部１４２ｂは、ニックネーム及びキーワードに対応付けられた一括定義情報がある場合（ステップＳ５０８：ＹＥＳ）に、処理をステップＳ５０９に進める。また、支援処理部１４２ｂは、ニックネーム及びキーワードに対応付けられた一括定義情報がない場合（ステップＳ５０８：ＮＯ）に、処理をステップＳ５１０に進める。

続く、ステップＳ５０９からステップＳ５１３までの処理は、上述した図５に示すステップＳ１０９からステップＳ１１３までの処理と同様であるため、ここではその説明を省略する。

以上説明したように、本実施形態による入力支援装置１ｂでは、操作定義情報記憶部１３１ｂは、利用者に対応して付与された支援処理部１４２ｂによるエージェント機能のニックネーム（支援処理機能の識別名称）ごとに操作定義情報を記憶する。また、支援処理部１４２ｂは、テキスト変換部１４１がニックネームに対応する音声を変換したテキスト情報に含まれるキーワードに対応付けられている命令を、操作定義情報記憶部１３１ｂが記憶している当該ニックネームに対応する操作定義情報のうちから取得する。そして、支援処理部１４２ｂは、取得した命令をアプリケーション２０に送信して実行させる。

これにより、本実施形態による入力支援装置１ｂは、ニックネームごとに操作定義情報が記憶されているため、例えば、複数の利用者及び複数の入力支援装置１ｂを使用して、音声入力により操作する場合などに、音声入力の混線による誤動作を低減することができる。また、本実施形態による入力支援装置１ｂは、ニックネームごとに異なる設定が可能であり、さらに利便性を向上させることができる。

また、本実施形態では、一括定義情報記憶部１３３ｂは、ニックネームごとに、一括定義情報を記憶する。そして、支援処理部１４２ｂは、テキスト変換部１４１が変換したテキスト情報に含まれるキーワード及びニックネームが、ニックネームごとの一括定義情報のキーワードと一致する場合に、一括定義情報記憶部１３３ｂが記憶するニックネームごとの一括定義情報に基づいて、命令をアプリケーション２０に送信する。
これにより、本実施形態による入力支援装置１ｂは、一括定義情報による一括処理において、音声入力の混線による誤動作を低減することができる。また、本実施形態による入力支援装置１ｂは、ニックネームごとに異なる一括定義情報の設定が可能であり、さらに利便性を向上させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上述した支援処理部１４２（１４２ａ、１４２ｂ）は、利用者が途中まで発した音声を変換した途中テキスト情報をテキスト変換部１４１から取得し、取得した途中テキスト情報と、アプリケーション２０に過去に送信した命令の履歴情報とに基づいて、テキスト情報の候補（入力の候補）を提示するようにしてもよい。すなわち、支援処理部１４２（１４２ａ、１４２ｂ）は、音声合成部１４３を介して、音声によりスピーカ１２から入力の候補を出力するようにしてもよいし、アプリケーション２０に命令によって、テキスト情報の候補（入力の候補）を表示部２２に表示させるようにしてもよい。

このようにすることにより、入力支援装置１（１ａ、１ｂ）は、音声による入力を短縮することが可能になるとともに、利用者特有の言い回しや発音の揺らぎに適切に対応することができる。また、入力支援装置１（１ａ、１ｂ）は、機械学習手法を利用して、履歴情報から学習した学習結果に基づいて、テキスト情報の候補（入力の候補）を生成するようにしてもよい。

また、上記の各実施形態において、入力支援装置１（１ａ、１ｂ）は、端末装置２の外部に備える例を説明したが、入力支援装置１（１ａ、１ｂ）の一部又は全部を端末装置２の内部に備えるようにしてもよい。また、入力支援装置１（１ａ、１ｂ）の制御部１４（１４ａ、１４ｂ）の一部の機能を、例えば、ネットワーク上のサーバ装置などの外部に備えるようにしてもよい。

また、上記の各実施形態において、アプリケーション２０は、端末装置２の制御部２４により実現される機能部として説明したが、例えば、ネットワーク上のサーバ装置などにより実現される機能であってもよい。

また、上記の各実施形態において、入力支援装置１（１ａ、１ｂ）は、記憶部１３（１３ａ、１３ｂ）を備える例を説明したが、これに限定されるものではなく、記憶部１３（１３ａ、１３ｂ）の一部又は全部を外部に備えるようにしてもよい。また、記憶部１３（１３ａ、１３ｂ）の一部又は全部を外部に備える場合には、記憶部１３（１３ａ、１３ｂ）は、例えば、ネットワークを介して入力支援装置１（１ａ、１ｂ）と接続された記憶装置であってもよい。

また、記憶部１３（１３ａ、１３ｂ）が入力支援装置１（１ａ、１ｂ）の外部に備えられている場合には、入力支援装置１（１ａ、１ｂ）と、記憶部１３（１３ａ、１３ｂ）とにより、入力支援システムとしてもよい。
また、上記の各実施形態において、操作定義情報において、１つの命令に複数のキーワードを設定する例を説明したが、このような設定を、履歴情報を基に機械学習手法により発音の揺らぎや類似語を抽出して、自動で追加するようにしてもよい。

また、上記の第２の実施形態において、利用者判定部１４４は、声紋などの既存の音声認識技術を利用して利用者を判定する例を説明したが、これに限定されるものではなく、例えば、利用者による利用者ＩＤ及びパスワードによるアプリケーション２０へのログイン結果により、利用者を判定するようにしてもよい。

なお、上述した入力支援装置１（１ａ、１ｂ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した入力支援装置１（１ａ、１ｂ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した入力支援装置１（１ａ、１ｂ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に入力支援装置１（１ａ、１ｂ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ、１ｂ 入力支援装置
２ 端末装置
１１ マイク
１２ スピーカ
１３、１３ａ、１３ｂ、２３ 記憶部
１４、１４ａ、１４ｂ、２４ 制御部
２０ アプリケーション
２１ 入力部
２２ 表示部
１３１、１３１ａ、１３１ｂ 操作定義情報記憶部
１３２ 履歴情報記憶部
１３３、１３３ａ、１３３ｂ 一括定義情報記憶部
１３４ 入力順序記憶部
１４１ テキスト変換部
１４２、１４２ａ、１４２ｂ 支援処理部
１４３ 音声合成部
１４４ 利用者判定部

Claims (12)

1. 利用者が発した音声をテキスト情報に変換するテキスト変換部と、
   表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換部が変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理部と
   を備えることを特徴とする入力支援装置。
2. 前記操作定義情報記憶部は、前記操作定義情報、及び、全ての前記表示画面に対して共通の前記キーワードと前記命令とを対応付けた共通定義情報を記憶し、
   前記支援処理部は、
   前記操作定義情報記憶部から、前記現在の表示画面に対して、前記キーワードに対応付けられている前記命令を取得できなかった場合に、前記テキスト変換部が変換した前記テキスト情報を、入力値として含む入力命令を、前記命令として前記アプリケーションに送信する
   ことを特徴とする請求項１に記載の入力支援装置。
3. 前記支援処理部は、
   前記アプリケーションに送信した前記命令の履歴情報に基づいて、送信された前記命令を所定の単位でまとめて、キーワードを付与した一括定義情報を、一括定義情報記憶部に記憶させ、
   前記テキスト変換部が変換した前記テキスト情報に含まれるキーワードが、前記所定の単位に付与されたキーワードと一致する場合に、前記一括定義情報記憶部が記憶する前記一括定義情報に基づいて、前記命令を前記アプリケーションに送信する
   ことを特徴とする請求項２に記載の入力支援装置。
4. 前記支援処理部は、
   前記一括定義情報に基づいて、前記命令を送信する際に、前記表示画面における入力項目に対して、前記一括定義情報に含まれる前記命令による入力項目が不適切である場合に、前記不適切な入力項目に対する入力を促す情報を前記利用者に提示する
   ことを特徴とする請求項３に記載の入力支援装置。
5. 前記支援処理部は、
   前記一括定義情報に基づいて、前記命令を順次送信する際に、中断を示すキーワードが含まれている前記テキスト情報を前記テキスト変換部から取得した場合に、前記命令の送信を中断する
   ことを特徴とする請求項３又は請求項４に記載の入力支援装置。
6. 前記操作定義情報記憶部は、前記利用者ごとに前記操作定義情報を記憶し、
   前記支援処理部は、前記テキスト変換部が前記利用者に対応する音声を変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を、前記操作定義情報記憶部が記憶している当該利用者に対応する前記操作定義情報のうちから取得する
   ことを特徴とする請求項１から請求項５にいずれか一項に記載の入力支援装置。
7. 前記操作定義情報記憶部は、前記利用者に対応して付与された前記支援処理部による支援処理機能の識別名称ごとに前記操作定義情報を記憶し、
   前記支援処理部は、前記テキスト変換部が前記識別名称に対応する音声を変換した前記テキスト情報に含まれるキーワードに対応付けられている前記命令を、前記操作定義情報記憶部が記憶している当該識別名称に対応する前記操作定義情報のうちから取得する
   ことを特徴とする請求項１から請求項５にいずれか一項に記載の入力支援装置。
8. 前記操作定義情報には、１つの前記命令に複数のキーワードが対応付けられている類似定義情報が含まれる
   ことを特徴とする請求項１から請求項７にいずれか一項に記載の入力支援装置。
9. 前記支援処理部は、前記利用者が途中まで発した音声を変換した途中テキスト情報を前記テキスト変換部から取得し、取得した前記途中テキスト情報と、前記アプリケーションに過去に送信した前記命令の履歴情報とに基づいて、前記テキスト情報の候補を提示する
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の入力支援装置。
10. 前記支援処理部は、
    前記テキスト変換部が変換した前記テキスト情報に、次の入力項目に進めるキーワードが含まれる場合に、前記表示画面において入力値を入力する入力項目の順序情報に基づいて、指定されている現在の入力項目の次の入力項目を指定する前記命令を、前記アプリケーションに送信する
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の入力支援装置。
11. テキスト変換部が、利用者が発した音声をテキスト情報に変換するテキスト変換ステップと、
    支援処理部が、表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換ステップによって変換された前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理ステップと
    を含むことを特徴とする入力支援方法。
12. コンピュータに、
    利用者が発した音声をテキスト情報に変換するテキスト変換ステップと、
    表示画面と、キーワードと、アプリケーションの操作を示す命令とを対応付けた操作定義情報を記憶する操作定義情報記憶部から、現在の表示画面に対して、前記テキスト変換ステップによって変換された前記テキスト情報に含まれるキーワードに対応付けられている前記命令を取得し、取得した前記命令を、前記アプリケーションに送信して実行させる支援処理ステップと
    を実行させるためのプログラム。

Images