JP2019012228A - 制御装置、被操作機器、制御方法、および制御プログラム - Google Patents

Abstract

【課題】ユーザに音声操作をより効率的に習得させる。【解決手段】携帯情報機器（１）は、音声認識に成功した場合に、発話内容に対応する認識語句を特定する音声認識部（１１）と、認識語句が指示語句である場合、所定の機能を動作させる動作制御部（１３）と、認識語句が指示対象外語句である場合にサジェスト通知を、音声認識に失敗した場合にリジェクト通知を、出力部（４０）に出力させる出力制御部（１２）と、を備える。【選択図】図１

Description

本発明は、ユーザの発話を音声認識し、該音声認識の結果に応じて電子機器を動作させる制御装置等に関する。

ユーザの発話を音声認識し、該認識結果に基づいて自装置を動作させる電子機器が、従来から開発されている。ユーザに電子機器を音声操作させる場合、ユーザが、電子機器が音声操作の指示として認識できる語句（認識語彙）を発話するように誘導する必要がある。特に、認識語彙が少ない音声認識を搭載した電子機器では、上述のような発話の誘導が重要である。例えば、下記特許文献１に記載の技術では、音声処理開始指示操作が検出された場合に、認識対象語を画面表示させることで、発話前のユーザに認識語彙を示している。

特開２００７−１７１８０９号公報（２００７年７月５日公開）

しかしながら、上記特許文献１に記載の技術では、ユーザが発話して音声操作に失敗した場合については考慮していない。そのため、ユーザは音声操作に失敗した場合、次にどのように発話すれば音声操作が成功するのか分からず、これが音声操作の習得の妨げになっていた。

本発明の一態様は、上記問題点に鑑みたものであり、ユーザに音声操作をより効率的に習得させることが可能な制御装置等を実現することにある。

上記の課題を解決するために、本発明の一態様に係る制御装置は、被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置であって、上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識部と、上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させる動作制御部と、上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部に出力させ、上記音声認識部が上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御部と、を備える。

上記の課題を解決するために、本発明の一態様に係る制御装置の制御方法は、被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置の制御方法であって、上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識ステップと、上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させる動作制御ステップと、上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部に出力させ、上記音声認識ステップにおいて上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御ステップと、を含む。

本発明の一態様によれば、ユーザに音声操作をより効率的に習得させることができる。

本発明の実施形態１に係る携帯情報機器の要部構成を示すブロック図である。 実施形態１に係る携帯情報機器の記憶部に記憶されている、指示対象外語句のデータテーブルの一例を示す図である。 実施形態１に係る携帯情報機器の表示部にサジェスト通知を表示する場合の表示画面の一例を示す。 実施形態１に係る携帯情報機器の制御部が行う処理の流れを示すフローチャートである。 実施形態２に係る携帯情報機器の記憶部に記憶されている、指示対象外語句のデータテーブルの一例を示す図である。 実施形態２に係る携帯情報機器の表示部にサジェスト通知を表示する場合の表示画面の一例を示す。 実施形態２に係る携帯情報機器の制御部が行う処理の流れを示すフローチャートである。

〔実施形態１〕
≪要部構成≫
以下、本開示の実施形態１について、図１〜３を用いて説明する。図１は、実施形態１に係る携帯情報機器（被操作機器）１の要部構成を示すブロック図である。携帯情報機器１は、音声操作によって操作することができる機器である。携帯情報機器１は、自機の少なくとも１つの機能を、ユーザの音声操作に応じて動作させる。携帯情報機器１の実行可能な機能の種類は特に限定しない。本実施形態では一例として、一般的なスマートフォンが有する電話およびメール等の諸機能を、携帯情報機器１も備えていることとして、説明を行う。

携帯情報機器１は、入力部２０と、出力部４０と、制御部（制御装置）１０と、記憶部３０とを備える。なお、携帯情報機器１は通信部（図示せず）を備え、該通信部を介しインターネットおよび外部装置等と接続可能であってもよい。

（入力部２０）
入力部２０は、携帯情報機器１に対する各種入力を受け付ける。入力部２０は音声入力部２１と、操作入力部２２とを含む。音声入力部２１は音声入力を受け付けるものである。音声入力部２１はユーザの発話を受け付け、該発話を録音した音声データを制御部１０に送る。音声入力部２１は、例えばマイク等で実現される。

操作入力部２２は、自身に対するユーザの入力操作を受け付け、該操作を示す情報を制御部１０に送る。操作入力部２２は、例えばタッチセンサ、キーボード、およびマウス等で実現される。

（出力部４０）
出力部４０は、後述する出力制御部１２の指示に従って通知（後述するリジェクト通知およびサジェスト通知）を出力する。出力部４０は例えば、表示部４１と、音声出力部４２とを含む。表示部４１は、上記通知を示す画像を表示する。なお、表示部４１が表示する「画像」は、動画、静止画、各種オブジェクト画像（グラフィック部品）、およびエフェクトのいずれであってもよいし、これらの組み合わせであってもよい。音声出力部４２は、上記通知を示す音声を出力する。また、出力部４０は、後述する動作制御部１３の指示に従って、携帯情報機器１において音声操作の対象となっている機能の動作に係る各種出力を行う。

なお、出力部４０は画像および音声以外の出力様式で出力を行う装置を含んでいてもよい。例えば、出力部４０はライトまたはバイブレータを含んでいてもよい。この場合、出力部４０は、ライトの発光色および発光パターン、またはバイブレータの振動パターンで通知を出力してもよい。

また、携帯情報機器１は、操作入力部２２としてのタッチセンサと、表示部４１としての表示パネルとを一体に構成したタッチパネルを備えていることが望ましい。以降の説明では、携帯情報機器１は操作入力部２２および表示部４１として、タッチパネルを備えていることとする。

（記憶部３０）
記憶部３０は、制御部１０が実行する処理に必要なデータを格納するメモリである。記憶部３０は例えば、音響モデル３１と、認識語彙３２と、アプリプログラム３５とを含む。

音響モデル３１は、音素別の音響的特徴を示すデータである。音響モデル３１は、音声認識の際に、後述する音声認識部１１により参照される。

認識語彙３２は、音声認識部１１が音声認識可能な語句（認識語句）を複数個含む語句群である。認識語彙３２は、音声認識の際に音声認識部１１に参照される。認識語彙３２に含まれる認識語句は、指示語句３３または指示対象外語句３４のいずれかに分類される。換言すると、認識語彙３２は少なくとも、指示語句３３および指示対象外語句３４をそれぞれ１つ以上含んでいる。

なお、認識語彙３２全体の語句数、ならびに指示語句３３および指示対象外語句３４それぞれの語句数は、制御部１０の演算性能および記憶部３０の記憶容量に合わせて適宜定められてよい。また、認識語彙３２は適宜アップデートされるデータであってもよい。

指示語句３３は、携帯情報機器１において、音声操作の対象となっている機能（所定の機能）を動作させる指示を含む語句である。指示語句３３は、上記機能の名称を示す語句であってもよい。例えば、携帯情報機器１において、スケジュール帳のアプリ、メモ帳のアプリ、アラームのアプリ、タイマーのアプリが音声操作の対象となっているとする。この場合、認識語彙３２には指示語句３３として「スケジュール」、「メモ帳」、「アラーム」、および「タイマー」という語句が含まれていることが望ましい。

また、指示語句３３は、上記所定の機能を示す語句と、該機能に関連する語句（例えば該機能の動作内容を示す語句）とを組み合わせたものであってもよい。例えば、認識語彙３２には指示語句３３として「スケジュールを確認」、および「７時半にアラームをセット」等の語句が含まれていてもよい。このように、機能の名称と動作内容とを組み合わせて指示語句３３とすることで、後述する動作制御部１３において、より複雑な機能制御を実行することができる。

指示対象外語句３４は、上記所定の機能を動作させる指示を含まない語句である。例えば、指示対象外語句３４は、携帯情報機器１に搭載されているが音声操作の対象外である機能（対象外機能）を動作させる指示を含む語句である。

例えば、携帯情報機器１において、電話機能、電話帳のアプリ、メールのアプリ、ウェブブラウザ、電卓のアプリが音声操作の対象外であるとする。この場合、認識語彙３２は指示対象外語句３４として「電話」「電話帳」「メール」「電卓」を含んでいてもよい。

図２は、指示対象外語句３４のデータテーブルの一例を示す図である。記憶部３０は例えば、指示対象外語句３４の一群をまとめた図示のようなデータテーブルを記憶している。図２に示すデータテーブルは、レコードの１行が、１つの指示対象外語句３４に係る情報を示している。各レコードは「語句」列の情報に、「対象外機能フラグ」列の情報が対応付けられている。データベースのレコードは随時追加、変更、削除可能であってよい。

「語句」列は、指示対象外語句３４の文字列を示す。「対象外機能フラグ」列は、当該レコードに示された指示対象外語句３４が、対象外機能を動作させる指示を含むか否かを示している。図示の例では、この列の情報が「１」である場合、指示対象外語句３４は対象外機能であることを示す。一方、この列の情報が「０」である場合、指示対象外語句３４は対象外機能ではないことを示す。

なお、指示対象外語句３４は、対象外機能を示す語句と、該機能の動作内容を示す語句とを組み合わせたものであってもよい。例えば、認識語彙３２には指示対象外語句３４として「電話をかける」、「電話帳を開く」、および「電卓を使う」等の語句が含まれていてもよい。

さらに、指示対象外語句３４は、携帯情報機器１に搭載されていない機能（非搭載機能）を示す語句であってもよい。例えば、携帯情報機器１に「ラジオ」、「歩数計」、および「方位計」の機能が搭載されていないこととする。この場合、認識語彙３２には指示対象外語句３４として、「ラジオ」、「歩数計」、および「方位計」という語句、ならびにこれらの語句に関連する語句が含まれていてもよい。この場合、図２に示したデータテーブルに、さらに指示対象外語句３４が非搭載機能を動作させる指示を含むか否かを示すフラグを示す列を設けてもよい。これにより、指示対象外語句３４が非搭載機能であるか否かを区別することができる。

なお、記憶部３０は指示語句３３と指示対象外語句３４とを１つのデータテーブルとして保持していてもよい。この場合、「語句」列には指示語句３３または指示対象外語句３４の文字列が記憶される。また、図２に示した「対象外機能フラグ」列のフラグに関しては、指示語句３３は該フラグを持たないこととしてもよいし、全て「０」としておいてもよい。もしくは、「語句」列に記憶された語句が指示語句３３であるか指示対象外語句３４であるかを示すフラグ（指示語句フラグ）を記憶する列を設けてもよい。そして、指示語句フラグによって、「語句」列の語句が指示語句３３であるか指示対象外語句３４であるかを判別してもよい。

アプリプログラム３５は、携帯情報機器１の各種機能を実現するためのアプリケーションのプログラムのデータ群である。記憶部３０は、アプリプログラム３５を１つ以上（多くの場合は、複数）含む。アプリプログラム３５は後述する動作制御部１３によって読み出され、実行される。アプリプログラム３５は、任意でインターネットを介して携帯情報機器１にダウンロードされ、記憶部３０に保存されるデータであってもよい。記憶部３０は、少なくとも１つの機能に係るアプリプログラム３５を記憶している。

なお、記憶部３０は、通知（リジェクト通知およびサジェスト通知）の内容に係る通知データ（例えば、文字列、画像、音声）を記憶していてもよい。通知データは、後述する出力制御部１２が通知を出力部４０に出力させる場合に読み出される。

（制御部１０）
制御部１０は、携帯情報機器１を統括的に制御するＣＰＵ（Central Processing Unit）である。制御部１０は、機能ブロックとして、音声認識部１１と、出力制御部１２と、動作制御部１３とを備える。

音声認識部１１は、音声入力部２１から音声データを取得し、該音声データについて、音声認識を試みる。音声認識部１１における音声認識の具体的な方法、ならびに音声認識の成功および失敗の判定基準については特に限定しない。例えば、音声認識部１１は音声データに含まれる音声と、音響モデル３１に含まれる、音素別の音響的特徴とを照合して音声を文字列に変換し、該文字列と認識語彙３２の各語句（指示語句３３または指示対象外語句３４）とを照合することで、音声が示す認識語句を特定することができる。

また例えば、音声認識部１１はこれらの照合処理の際の音声データと音響的特徴、または文字列と認識語句との一致度合いに基づいて、音声認識結果のスコアを算出することができる。そして、スコアが所定値以上である場合は、音声認識に成功したと判定して認識語句を特定してもよい。一方、音声認識部１１は、上記スコアが所定値未満である場合は、音声認識に失敗したとして認識語句を特定しなくてもよい。

音声認識が成功したと判定した場合（例えば、認識語彙３２の１つ以上の語句のスコアが所定値以上であった場合）、音声認識部１１は音声データに含まれるユーザの発話内容を、認識語彙３２に含まれる語句のいずれか１つと特定する。例えば、音声認識部１１は、認識語彙３２に含まれる語句のうち、最もスコアが高かった語句を認識語句として特定する。

認識語句を特定するとき、音声認識部１１は、上記語句が指示語句３３であるか指示対象外語句３４であるかも判定しておく。例えば、音声認識部１１は、指示語句３３と指示対象外語句３４とが別個のデータ群（図２のデータテーブル等）として記憶されている場合は、認識語句がいずれのデータ群として記憶されているものであったかに基づいて、上記判定を下せばよい。また、指示語句３３と指示対象外語句３４とが１つのデータ群として記憶されている場合は、指示語句フラグ等の情報を参照して上記判定を下せばよい。

認識語句が指示語句３３である場合、音声認識部１１は、特定した認識語句（すなわち、指示語句３３のいずれか）を動作制御部１３に伝える。認識語句が指示対象外語句３４である場合、音声認識部１１は、認識語句（すなわち、指示対象外語句３４のいずれか）を出力制御部１２に伝える。

なお、音声認識部１１は、認識語句が指示対象外語句３４である場合、対象外機能（または非搭載機能）を動作させる指示を含むか否かを特定し、該判定結果を出力制御部１２に伝えてもよい。例えば、音声認識部１１は、図２に示したデータベースの認識語句を示す語句の、各種フラグを参照することで、上記特定を行うことができる。

一方、音声認識が失敗したと判定した場合（例えば、認識語彙３２のいずれの語句のスコアも所定値未満であった場合）、音声認識部１１は、出力制御部１２に音声認識に失敗したことを伝える。

出力制御部１２は、出力部４０の表示部４１および音声出力部４２の少なくとも一方に通知を出力させる。出力制御部１２は、音声認識部１１から指示対象外語句３４である認識語句を伝えられた場合、出力部４０にサジェスト通知を出力させる。ここで、サジェスト通知とは、携帯情報機器１において音声操作の対象である機能を動作させるための音声操作を案内する通知を示す。

具体例は後述するが、出力制御部１２は、認識語句が対象外機能を動作させる指示を含む語句である場合、サジェスト通知として、対象外機能は音声操作できない旨を示す通知を出力してもよい。また、出力制御部１２は、指示対象外語句３４が非搭載機能を動作させる指示を含む語句である場合、サジェスト通知として、該機能は携帯情報機器１に非搭載である旨を示す通知を出力してもよい。

また、出力制御部１２は、音声認識部１１から音声認識の失敗を伝えられた場合、出力部４０に上記サジェスト通知と異なる通知であるリジェクト通知を出力させる。

動作制御部１３は、音声認識部１１から指示語句３３である認識語句を伝えられた場合、該指示語句３３に応じたアプリプログラム３５を実行することで、携帯情報機器１の機能を動作させる。出力部４０に実行結果に応じた出力を行う。

例えば、指示語句３３として「タイマー」という語句を伝えられた場合、動作制御部１３は、タイマーのアプリプログラム３５を実行する。これにより、携帯情報機器１においてタイマーのアプリが起動され、表示部４１にタイマーのアプリのトップ画面等が表示される。

≪表示画面の具体例≫
次に、サジェスト通知の具体例を、図３を用いて説明する。図３は、表示部４１にサジェスト通知を表示する場合の表示画面の一例を示す図である。図３は、音声認識部１１が「電卓」という指示対象外語句３４を認識語句として特定した場合の、表示画面の一例を示している。なお、図３の例では電卓機能は携帯情報機器１において対象外機能であるとする。

図３の例では、「スケジュール、メモ、アラーム、タイマーに関連する言葉を話してください。」という一文が表示部４１に表示されている。このように、出力制御部１２は、音声操作の対象となる機能（スケジュール、メモ、アラーム、およびタイマー）を示す通知を表示部４１に表示させる。また、出力制御部１２は、「電卓は音声では操作できません。」という一文のように、電卓機能が携帯情報機器１において音声操作できない旨を示す通知をサジェスト通知の内容に含めて、表示部４１に表示させる。なお、出力制御部１２は、これら２つの文のうち、どちらか一方のみを表示してもよい。

なお、携帯情報機器１において電卓機能が対象外機能ではなく非搭載機能である場合、出力制御部１２は「電卓はこの端末では使用できません」という一文のように、電卓が非搭載機能である旨を示す通知をサジェスト通知に含めて表示部４１に表示させてもよい。

ユーザが音声操作に失敗する典型的なケースとして、携帯情報機器１の、音声操作の対象外の機能について発話してしまうケースが考えられる。上述のように、ユーザに指示対象外語句３４が示す機能は音声操作できない旨を通知することで、制御部１０は、ユーザに誤った音声操作を繰り返させることを防止することができる。

表示部４１においてサジェスト通知は、図示のポップアップ１００のように、ポップアップ表示されてもよい。図３の場合、ポップアップ１００には、ＯＫボタン１１０が含まれている。ユーザによりタッチパネル（操作入力部２２）上のＯＫボタン１１０が押下されると、出力制御部１２は表示部４１に表示させているポップアップ１００を閉じる。

なお、携帯情報機器１は、サジェスト通知の出力中は携帯情報機器１のいずれの機能も音声操作できないようにしてもよい。例えば図３の場合、携帯情報機器１は、ＯＫボタン１１０が押下されない限りは、音声操作に係る一連の処理を行わなくてよい。

上述の通り、本実施形態に係るサジェスト通知は、ユーザの発話後に表示される。これは、従来ある音声操作のガイダンス方法に比べ、優位な効果を奏する。従来、ユーザの発話前に音声操作を補助するための情報（例えば、認識語彙を示す情報）を表示画面上のＵＩ（User Interface）で提示する技術が開示されていた。しかしながら、該技術のように、発話前に音声操作を補助するための情報を表示させた場合、本来はＵＩ表示が不要であるという音声操作の利点が損なわれるとともに、ＵＩ表示が煩雑になるため、音声操作の利便性が損なわれるという問題点があった。これに対し、本実施形態に係るサジェスト通知は、表示部４１に画像として表示される場合でも、表示はユーザの発話後に実施されるため、上述のような問題が生じないという利点がある。

なお、出力制御部１２は、指示対象外語句３４の内容に応じて、出力させるサジェスト通知の内容を決定してもよい。例えば、音声認識部１１が「電卓」という指示対象外語句３４を特定した場合、出力制御部１２は、図３に示すように「電卓は音声では操作できません」と表示部４１に表示させてもよい。そして、音声認識部１１が「ラジオ」という指示対象外語句３４を特定した場合、出力制御部１２は図３のポップアップ１００の「電卓」という文言を「ラジオ」に置き換えたサジェスト通知を表示部４１に表示させてもよい。これにより、ユーザは自身の発話内容に応じたサジェスト通知を受けて、音声操作をより効率的に習得することができる。

≪制御処理の流れ≫
最後に、制御部１０における制御処理について、図４を用いて説明する。図４は、本実施形態に係る制御部１０が行う処理の流れを示すフローチャートである。音声入力部２１は音声を録音し、音声データを制御部１０に送る。音声入力部２１は、ユーザが所定の操作を行ってから所定の期間だけ、音声の録音を開始することとしてもよい。例えば、音声入力部２１は、タッチパネルに表示された音声入力ボタンをユーザがタッチしてから所定期間、または、該ボタンをタッチしてから入力終了ボタンをタッチするまでの期間、音声の録音を行ってもよい。

制御部１０の音声認識部１１は、音声入力部２１から音声を取得すると（Ｓ１０）、音声認識を行う（Ｓ１２、音声認識ステップ）。音声認識が成功したと判定した場合（Ｓ１４でＹＥＳ）、音声認識部１１は認識語句が指示語句３３であるか指示対象外語句３４であるか確認する。

認識語句が指示語句３３である場合（Ｓ１６でＹＥＳ）、音声認識部１１は動作制御部１３に認識語句を伝える。動作制御部１３は、指示語句３３の内容に従って、指示語句３３に対応する機能を指示語句３３に従って動作させる（Ｓ１８、動作制御ステップ）。

一方、認識語句が指示語句３３ではない場合（Ｓ１６でＮＯ）、すなわち、認識語句が指示対象外語句３４である場合、音声認識部１１は出力制御部１２に認識語句を伝える。出力制御部１２は音声認識部１１から伝えられた認識語句に応じてサジェスト通知を出力部４０に出力させる（Ｓ２０、出力制御ステップ）。

また、音声認識部１１は、音声認識に失敗したと判定した場合は（Ｓ１４でＮＯ）、出力制御部１２に音声認識に失敗したことを伝える。出力制御部１２は音声認識の失敗を伝えられると、出力部４０にリジェクト通知を出力させる（Ｓ２２、出力制御ステップ）。

上述の処理によれば、制御部１０は、音声認識自体に失敗したと判定した場合（Ｓ１４でＮＯ）と、音声認識は成功したが、認識語句が携帯情報機器１を動作させる指示ではなかったと判定した場合（Ｓ１６でＮＯ）とで異なる通知を出力する。これにより、ユーザは音声操作が失敗した原因が、音声認識自体が失敗と判定されたからなのか、自身が音声操作の対象外である指示を行ったからなのかを知ることができる。そして、ユーザはその案内を参考に、再び音声操作を試みることができる。したがって、ユーザは音声操作をより効率的に習得することができる。

また、上述の処理によれば、制御部１０は、音声操作の案内をサジェスト通知としてユーザに通知する。一般的な人間は、ある操作手順を間違った場合、正解の操作手順を教えてもらうことで、効率よく学習を進めることができる。ゆえに、上述の処理によれば、ユーザは音声操作をより効率的に習得することができる。

〔実施形態２〕
本発明の第２の実施形態について、図５〜図７を用いて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、指示対象外語句３４に含まれる語句が実施形態１と異なる。また、本実施形態では、出力制御部１２が出力部４０に出力させるサジェスト通知が、実施形態１と異なる。

本実施形態に係る指示対象外語句３４は、実施形態１にて説明した語句に加え、音声操作の方法に関する語句であってもよい。記憶部３０は、指示対象外語句３４のデータとして、音声操作の方法に関する語句であるか否かを示す情報を、指示対象外語句３４の語句（文字列）と対応付けて記憶する。

図５は、本実施形態に係る指示対象外語句３４のデータテーブルの一例を示す図である。該データテーブルは、「使い方語句フラグ」列を含む点で、図２に示したデータテーブルと異なる。なお、「搭載機能フラグ」列は、本実施形態に係るデータテーブルでは必須ではない。

「使い方語句フラグ」列は、当該レコードに示された指示対象外語句３４が、音声操作の方法に関する語句であるか否かを示している。この列の情報が「１」である場合、指示対象外語句３４は音声操作の方法に関する語句であることを示す。一方、この列の情報が「０」である場合、指示対象外語句３４は音声操作の方法に関する語句ではないことを示す。

本実施形態に係る音声認識部１１は、特定した認識語句が指示対象外語句３４である場合、該認識語句が音声操作の方法に関する語句であるか否かを、指示対象外語句３４に対応付けられた情報（例えば、図５のデータテーブルの「使い方語句」フラグ）を参照して判定する。そして、音声認識部１１は判定結果を、認識語句とともに出力制御部１２に伝える。

本実施形態に係る出力制御部１２は、音声認識部１１から音声操作の方法に関する語句を伝えられた場合、サジェスト通知として、音声操作の方法を案内する通知を出力部４０に出力させる。なお、指示対象外語句３４であるが、音声操作の方法に関する語句でない語句を認識語句として伝えられた場合は、出力制御部１２は、実施形態１に示したような通常のサジェスト通知を出力させればよい。

図６は、本実施形態に係る表示部４１にサジェスト通知を表示する場合の表示画面の一例を示す図である。図６は、音声認識部１１が音声操作の方法に関する語句を認識語句として特定した場合の、表示画面の一例を示している。

出力制御部１２は例えば、アラーム機能を音声操作するための「７時半に起こして」という発話例、および、スケジュール機能を音声操作するための「１２月１４日の予定を登録」という発話例を含むサジェスト通知をポップアップ２００として表示部４１に表示させる。

また、出力制御部１２は例えば、音声操作の対象となる機能をサジェスト通知において明示してもよい。図示の例では、ポップアップ２００にスケジュール、メモ、アラーム、およびタイマーが音声操作可能であることが明示されている。なお、ポップアップ２００にも、図３のＯＫボタン１１０と同様に、ポップアップ２００を閉じるためのＯＫボタン２１０が含まれていてもよい。

図７は、本実施形態に係る制御部１０が行う処理の流れを示すフローチャートである。図７のＳ４０〜Ｓ４８の処理は、図４のＳ１０〜１８の処理と同一である。また、図７のＳ５６の処理は、図４のＳ２２の処理と同一である。これらの処理については、説明を繰り返さない。

本実施形態に係る音声認識部１１は、認識語句が指示語句３３に対応していない場合（Ｓ４６でＮＯ）、さらに、認識語句が指示対象外語句３４のうち、音声操作の方法に関連する語句であるか否かを判定する（Ｓ５０）。認識語句が音声操作の方法に関する語句である場合（Ｓ５０でＹＥＳ）、出力制御部１２は、音声操作の方法を案内する通知をサジェスト通知として出力部４０に出力させる（Ｓ５２、出力制御ステップ）。一方、認識語句が音声操作の方法に関する語句でない場合（Ｓ５０でＮＯ）、出力制御部１２は図４のＳ２０と同様、対象外機能は音声操作できない旨を示すサジェスト通知を出力部４０に出力させる（Ｓ５４、出力制御ステップ）。

上述の処理によれば、制御部１０は、音声操作の方法に関する語句を認識語句として特定した場合、ユーザに音声操作の方法を案内することができる。換言すると、ユーザは、音声操作の方法が良く分からない場合、音声操作の方法に関する内容を発話することによって、音声操作の方法の案内を受けることができる。したがって、制御部１０はユーザの音声操作の習熟を促進させることができる。

〔変形例〕
記憶部３０が記憶している認識語彙３２の語数が少ない場合、各実施形態で説明した制御処理はさらに、音声認識できる語句量を確保しつつ携帯情報機器１の誤動作を防止できるという有利な効果を奏する。

ユーザの多種多様な発話内容に対応する量の認識語彙が記憶されていない場合、従来技術に係る携帯情報機器では、音声操作の誤動作が生じてしまう可能性があった。これは、認識語彙を全て、音声操作に係る指示であると設定するために起こり得る問題であった。

これに対し、上記各実施形態に係る記憶部３０は、認識語彙３２を、指示語句３３と指示対象外語句３４とに区別して記憶している。そして、認識語彙３２のうち、指示語句３３と認識されないと、音声操作に係る動作制御は行われない。したがって、ユーザが指示語句３３以外の言葉であるが、指示対象外語句３４として認識され得る言葉を発声した場合、該発声は音声認識部１１によって音声認識はされるが、動作制御部１３による動作制御は行われない。したがって、上記各実施形態に係る携帯情報機器１は、音声認識できる語句の範囲は確保しつつも、音声操作の対象となる機能が誤動作する可能性を低減することができる。

携帯情報機器１において音声操作の対象となる機能と、音声操作の対象とならない機能との振り分けは、上記各実施形態に記載の例に限定されない。また、リジェクト通知およびサジェスト通知の具体的な内容についても、上記各実施形態に記載の例に限定されない。

また、記憶部３０は携帯情報機器１に内蔵されていなくてもよい。例えば、記憶部３０は携帯情報機器１の通信部（図示せず）と無線または有線で通信可能なデータベースサーバであってもよい。また、記憶部３０は、各種データを複数の装置で分散して記憶した記憶装置群であってもよい。

また、入力部２０および出力部４０は携帯情報機器１に内蔵されていなくてもよい。例えば、携帯情報機器１は外付けのマイクを音声入力部２１として使用してもよいし、外付けのキーボードを操作入力部２２として使用してもよい。また例えば、携帯情報機器１はパーソナルコンピュータ（ＰＣ）等の外部装置と有線または無線で接続し、該ＰＣの表示画面を表示部４１として使用してもよいし、該ＰＣのスピーカを音声出力部４２として使用してもよい。

〔ソフトウェアによる実現例〕
制御部１０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御部１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る制御装置（制御部１０）は、被操作機器（携帯情報機器１）の所定の機能をユーザの音声操作に応じて動作させる制御装置であって、上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識部（音声認識部１１）と、上記認識語句が上記所定の機能を動作させる指示を含む指示語句（指示語句３３）である場合、上記所定の機能を動作させる動作制御部（出力制御部１２）と、上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句（指示対象外語句３４）である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部（出力部４０）に出力させ、上記音声認識部が上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御部（出力制御部１２）と、を備える。

上記の構成によれば、制御装置は、音声認識自体に失敗したと判定した場合と、音声認識は成功したが、認識語句が被操作機器を動作させる指示ではなかったと判定した場合とで異なる通知を出力する。これにより、ユーザは音声操作が失敗した原因が、音声認識自体が失敗と判定されたからなのか、自身が音声操作の対象外である指示を行ったからなのかを知ることができる。そして、ユーザはその案内を参考に、再び音声操作を試みることができる。したがって、ユーザは音声操作をより効率的に習得することができる。

また、上記の構成によれば、制御装置は、サジェスト通知として音声操作の案内を通知する。一般的な人間は、ある操作手順を間違った場合、正解の操作手順を教えてもらうことで、効率よく学習を進めることができる。ゆえに、上記の構成によれば、ユーザは音声操作をより効率的に習得することができる。

本発明の態様２に係る制御装置は、上記態様１において、上記出力制御部は、上記認識語句が、複数の上記指示対象外語句のいずれかである場合、上記認識語句である上記指示対象外語句に応じた内容の上記サジェスト通知を上記出力部に出力させてもよい。

上記の構成によれば、制御装置は、認識語句が被操作機器を動作させる指示ではなかった場合に、該指示の内容に応じたサジェスト通知を示すことができる。したがって、ユーザは自身の発話内容に応じたサジェスト通知を受けて、音声操作をより効率的に習得することができる。

本発明の態様３に係る制御装置は、上記態様２において、上記指示対象外語句には、上記被操作機器において音声操作の対象外の機能である対象外機能を動作させる指示を含む語句が含まれており、上記出力制御部は、上記認識語句が上記対象外機能を動作させる指示を含む語句である場合、上記サジェスト通知として、上記対象外機能は音声操作できない旨を示す通知を上記出力部に出力させてもよい。

ユーザが音声操作に失敗する典型的なケースとして、被操作機器の、音声操作の対象外の機能について発話してしまうケースが考えられる。上記の構成によれば、制御装置は、音声操作の対象外の機能を動作させる指示を含む語句を認識した場合に、ユーザに該機能は音声操作できない旨を通知する。したがって、制御装置はユーザに、誤った音声操作を繰り返させることを防止することができる。

本発明の態様４に係る制御装置は、上記態様２において、上記指示対象外語句には、上記音声操作の方法に関する語句が含まれており、上記出力制御部は、上記認識語句が上記音声操作の方法に関する語句である場合、上記サジェスト通知として、上記音声操作の方法を案内する通知を上記出力部に出力させてもよい。

上記の構成によれば、制御装置は、音声操作の方法に関する語句を認識した場合、ユーザに音声操作の方法を案内することができる。換言すると、ユーザは、音声操作の方法が良く分からない場合、音声操作の方法に関する内容を発話することによって、制御装置から音声操作の方法の案内を受けることができる。したがって、制御装置はユーザの音声操作の習熟を促進させることができる。

本発明の態様５に係る被操作機器（携帯情報機器１）は、上記態様１〜４のいずれか一態様に記載の制御装置（制御部１０）と、上記指示対象外語句を記憶する記憶部（記憶部３０）と、上記出力部（出力部４０）と、を含む。上記の構成によれば、上記態様１〜４のいずれか一態様に記載の制御装置と同様の効果を奏する。

本発明の態様６に係る被操作機器（携帯情報機器１）は、制御装置（制御部１０）と、記憶部（記憶部３０）と、出力部（出力部４０）と、を含む被操作機器であって、上記制御装置は、上記被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置であり、上記ユーザの発話の音声認識に成功した場合に、上記記憶部に記憶されている語句群（認識語彙３２）から、該発話の内容に対応する語句を認識語句として特定し、上記認識語句が上記所定の機能を動作させる指示を含む指示語句（指示語句３３）である場合、上記所定の機能を動作させ、上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句（指示対象外語句３４）である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を上記出力部に出力させ、上記音声認識部が上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる。上記の構成によれば、上記態様１〜４のいずれか一態様に記載の制御装置と同様の効果を奏する。

本発明の態様７に係る、制御装置の制御方法は、被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置の制御方法であって、上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識ステップ（Ｓ１２またはＳ４２）と、上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させる動作制御ステップ（Ｓ１８またはＳ４８）と、上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部に出力させ、上記音声認識ステップにおいて上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御ステップ（Ｓ２０、Ｓ２２、Ｓ５２、Ｓ５４、またはＳ５６）と、を含む。上記の方法によれば、上記態様１に記載の制御装置と同様の効果を奏する。

本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 携帯情報機器（被操作機器）
１０ 制御部（制御装置）
１１ 音声認識部
１２ 出力制御部
１３ 動作制御部
２０ 入力部
２１ 音声入力部
２２ 操作入力部
３０ 記憶部
３１ 音響モデル
３２ 認識語彙
３３ 指示語句
３４ 指示対象外語句
３５ アプリプログラム
４０ 出力部
４１ 表示部
４２ 音声出力部

Claims (8)

1. 被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置であって、
   上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識部と、
   上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させる動作制御部と、
   上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部に出力させ、上記音声認識部が上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御部と、を備えることを特徴とする制御装置。
2. 上記出力制御部は、上記認識語句が、複数の上記指示対象外語句のいずれかである場合、上記認識語句である上記指示対象外語句に応じた内容の上記サジェスト通知を上記出力部に出力させることを特徴とする、請求項１に記載の制御装置。
3. 上記指示対象外語句には、上記被操作機器において音声操作の対象外の機能である対象外機能を動作させる指示を含む語句が含まれており、
   上記出力制御部は、上記認識語句が上記対象外機能を動作させる指示を含む語句である場合、上記サジェスト通知として、上記対象外機能は音声操作できない旨を示す通知を上記出力部に出力させることを特徴とする、請求項２に記載の制御装置。
4. 上記指示対象外語句には、上記音声操作の方法に関する語句が含まれており、
   上記出力制御部は、上記認識語句が上記音声操作の方法に関する語句である場合、上記サジェスト通知として、上記音声操作の方法を案内する通知を上記出力部に出力させることを特徴とする、請求項２に記載の制御装置。
5. 請求項１〜４のいずれか１項に記載の制御装置と、
   上記指示対象外語句を記憶する記憶部と、
   上記出力部と、を含む被操作機器。
6. 制御装置と、記憶部と、出力部と、を含む被操作機器であって、
   上記制御装置は、
   上記被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置であり、
   上記ユーザの発話の音声認識に成功した場合に、上記記憶部に記憶されている語句群から、該発話の内容に対応する語句を認識語句として特定し、
   上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させ、
   上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を上記出力部に出力させ、
   上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる
   ことを特徴とする、被操作機器。
7. 被操作機器の所定の機能をユーザの音声操作に応じて動作させる制御装置の制御方法であって、
   上記ユーザの発話の音声認識に成功した場合に、該発話の内容に対応する認識語句を特定する音声認識ステップと、
   上記認識語句が上記所定の機能を動作させる指示を含む指示語句である場合、上記所定の機能を動作させる動作制御ステップと、
   上記認識語句が上記所定の機能を動作させる指示を含まない指示対象外語句である場合、上記所定の機能を動作させるための音声操作を案内するサジェスト通知を出力部に出力させ、上記音声認識ステップにおいて上記音声認識に失敗した場合、上記サジェスト通知と異なるリジェクト通知を上記出力部に出力させる出力制御ステップと、を含むことを特徴とする、制御装置の制御方法。
8. 請求項１に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記音声認識部、上記動作制御部、および上記出力制御部としてコンピュータを機能させるための制御プログラム。

Images