しかしながら、認識率が100%の音声認識を実現することは困難であるため、特許文献1において提案されている遠隔操作装置(リモコン送信器)は、音声による操作を行った場合、ユーザの意図と異なる制御信号を出力するおそれがあった。すなわち、特許文献1において提案されている遠隔操作装置(リモコン送信器)では、音声操作時に認識誤りによる誤動作が生じた場合、ユーザが予期せぬ機器状態となりユーザが混乱する場合がある。
このような音声認識による認識誤りを補償するために、音声認識結果に基づく制御信号を出力する前に、制御信号の出力可否についてユーザに確認を求め、ユーザから制御信号の出力を行ってよいという指示を受けた場合にのみ制御信号を出力するという構成が、音声認識応用の一般的な観点から容易に考えられる。しかしながら、かかる構成を採用して、あらゆる音声入力について、逐一、制御信号の出力可否を確認する場合、ユーザに過度の負担を強いることとなる。すなわち、例えばテレビのチャンネル切り替えなど、誤動作してもユーザがあまり混乱しないような操作内容についても、操作の度に確認する必要が生じ、ユーザに過度の負担がかかる。
また、音声入力時における確認の要否を適応的に切り替えるために、音声認識時の類似度に基づいて、最大類似度を得る認識結果候補が、他の認識結果候補の類似度に比して突出した類似度を有する場合は制御信号の出力可否についてユーザに確認せず、そうでない場合は確認するという構成も、音声認識応用の一般的な観点から容易に考えられる。しかしながら、認識率が100%の音声認識を実現することが困難であるのと同様に、ユーザの予想に反しない類似度を確実に得ることも困難であるため、かかる構成を採用した場合、ユーザが状態を把握することができない判断基準で確認要求の有無が切り替わることとなる。このため、例えば、誤認識であるにも関わらず突出した類似度を得た結果、ユーザによる確認を行うことなく制御信号を出力し、ユーザが予期せぬ機器状態となりユーザが混乱する場合がある。
本発明は、上記の問題点に鑑み、過度の確認要求なく誤動作を低減することができ且つユーザが状態を把握することができない判断基準で確認要求の要否を切り替えることのない遠隔操作装置、遠隔操作方法、及び遠隔操作プログラムを提供することを目的とする。
上記目的を達成するために本発明に係る遠隔操作装置は、入力データを分析して、入力データから推定される操作内容を示す操作情報を出力する操作推定手段と、前記操作推定手段から出力される操作情報に応じた処理の実行可否についての確認を外部に要求し、前記確認により処理の実行が認められなかった場合には処理の実行を阻止する確認手段と、キーデータと操作内容を示す操作情報との対応関係を管理し、入力キーデータに応じた操作情報を出力するキー割当管理手段と、前記操作推定手段または前記キー割当管理手段から出力される操作情報に応じた制御信号を出力する制御信号出力手段と、前記キー割当管理手段で管理される前記キーデータと操作情報との対応関係を参照して、前記確認手段における確認の要否を判定する確認要否判定手段とを備える構成としている。
このような構成によると、入力キーに対する操作情報(操作内容を示す情報)の割り当て状況に応じて前記入力データによる操作時の確認要求の要否が切り替わるので、過度の確認要求なく誤動作を低減することができる。また、入力キーに対する操作情報(操作内容を示す情報)の割り当て状況はユーザが把握することができるので、ユーザが状態を把握することができないような判断基準で確認要求の要否が切り替わることを防止でき、ユーザの混乱を低減することが可能となる。
また、上記構成の遠隔操作装置において、前記入力データを音声データとし、前記操作推定手段が前記音声データを音声認識することによって操作情報を推定するようにしてもよい。
また、上記各構成の遠隔操作装置において、前記確認要否判定手段が、前記操作推定手段から出力される操作情報が前記キーデータと関連付けられている操作情報に該当する場合には確認が不要と判定し、前記操作推定手段から出力される操作情報が前記キーデータと関連付けられている操作情報に該当しない場合には確認が必要と判定する構成(以下、第1構成という)にしてもよい。
このような構成によると、ユーザが音声などで操作する場合、ユーザが入力キーで直接操作可能な操作以外については、必ずユーザに確認を要求することになり、ユーザの確認なく従来のキー操作で起こり得ない操作結果を引き起こすことがないので、ユーザの混乱を低減することが可能となる。
また、上記第1構成の遠隔操作装置において、前記キー割当管理手段が、前記キーデータと操作情報との対応関係に加えて、前記キーデータ及び前記キーデータに対応する操作情報と操作情報の確認要否を決定する情報との対応関係を更に管理し、前記確認要否判定手段が、前記キー割当管理手段で管理される前記キーデータと操作情報との対応関係に加えて、前記キーデータ及び前記キーデータに対応する操作情報と操作情報の確認要否を決定する情報との対応関係を参照して、前記操作推定手段から出力される操作情報が前記キーデータと関連付けられている操作情報に該当する場合であっても確認が必要である操作情報に該当する場合には確認が必要と判定する構成(以下、第2構成という)にしてもよい。
このような構成によると、ユーザが音声などで操作する場合、ユーザが操作キーで直接操作可能な操作についても、システム設計者またはユーザが誤動作防止を講じるべきであると判断するような操作については、必ずユーザに確認を要求するように設定することが可能となる。
また、上記第2構成の遠隔操作装置において、複数の入力キーを有し、キー操作に応じたキーデータを前記キー割当管理手段に出力する入力キー部を備え、前記複数の入力キーの配置に関して、前記キー割当管理手段による管理において確認が必要である操作情報と関連付けられているキーデータを出力する入力キーが、前記キー割当管理手段による管理において確認が不要である操作情報と関連付けられているキーデータを出力する入力キーから離れた位置にあるようにしてもよい。
このような構成によると、システム設計者またはユーザが誤動作防止を講じるべきであると判断するような操作(例えば電源入切など)に対応する入力キー(重要キー)を他の入力キーから離れた位置に配置するので、前記他の操作キーを入力する際に、ユーザが操作ミスをして前記重要キーを入力する危険を低減することが可能となる。
また、上記第2構成の遠隔操作装置において、複数の入力キーを有し、キー操作に応じたキーデータを前記キー割当管理手段に出力する入力キー部を備え、前記複数の入力キーの配色に関して、前記キー割当管理手段による管理において確認が必要である操作情報と関連付けられているキーデータを出力する入力キーのキー部分及び/又はキー周囲と、前記キー割当管理手段による管理において確認が不要である操作情報と関連付けられているキーデータを出力する入力キーのキー部分及び/又はキー周囲とが互いに異なる色であるようにしてもよい。
このような構成によると、システム設計者またはユーザが誤動作防止を講じるべきであると判断するような操作(例えば電源入切など)に対応する入力キー(重要キー)のキー部分及び/又はキー周囲を他の入力キーのキー部分及び/又はキー周囲と異なる色にしているので、前記他の操作キーを入力する際に、ユーザが操作ミスをして前記重要キーを入力する危険を低減することが可能となる。
また、上記各構成の遠隔操作装置において、前記確認手段が音声出力部を有し、前記操作推定手段から出力される操作情報に応じた処理の実行可否についての確認を外部に要求する際に、前記操作推定手段から出力される操作情報又は前記操作推定手段から出力される操作情報に関する情報を前記音声出力部が音声により出力する構成(以下、第3構成という)にしてもよい。
このような構成によると、ユーザが操作内容を確認する際に遠隔操作装置を注視する必要がないので、遠隔操作装置を注視することができない事情がある場合に便利である。また、液晶ディスプレイなどの表示装置を具備することなく、スピーカーを具備すればよいので、ユーザに操作内容を報知する手段を低コストで実現することができる。
また、上記第3構成を除く上記各構成の遠隔操作装置において、表示手段を備え、前記操作推定手段から出力される操作情報に応じた処理の実行可否についての確認を外部に要求する際に、前記操作推定手段から出力される操作情報又は前記操作推定手段から出力される操作情報に関する情報を前記確認手段が前記表示手段に表示させる構成にしてもよい。
このような構成によると、ユーザが操作内容を確認する際に、テレビ音声などの周囲の雑音環境の影響を受けることなく、ユーザに操作内容を報知することが可能となる。
また、上記各構成の遠隔操作装置において、前記キー割当管理手段が、前記キーデータと操作内容を示す操作情報との対応関係を複数管理し、複数の前記キーデータと操作内容を示す操作情報との対応関係の中から一つを有効とし、有効とする前記キーデータと操作内容を示す操作情報との対応関係を切り替えることができる構成にしてもよい。
このような構成によると、いわゆるマルチリモコンを構成することが可能となる。
また、上記目的を達成するために本発明に係る遠隔操作方法は、入力データを分析して、入力データから推定される操作内容を示す操作情報を得る操作推定ステップと、前記操作推定ステップによって得られた操作情報に応じた処理の実行可否についての確認を要求し、前記確認により処理の実行が認められなかった場合には処理の実行を阻止する確認ステップと、キーデータと操作内容を示す操作情報との対応関係を管理し、入力キーデータに応じた操作情報を得るキー割当管理ステップと、前記操作推定ステップまたは前記キー割当管理ステップで得られた操作情報に応じた制御信号を出力する制御信号出力ステップと、前記キー割当管理ステップで管理される前記キーデータと操作情報との対応関係を参照して、前記確認ステップにおける確認の要否を判定する確認要否判定ステップとを含んでいる。
このような方法によると、入力キーに対する操作情報(操作内容を示す情報)の割り当て状況に応じて前記入力データによる操作時の確認要求の要否が切り替わるので、過度の確認要求なく誤動作を低減することができる。また、入力キーに対する操作情報(操作内容を示す情報)の割り当て状況はユーザが把握することができるので、ユーザが状態を把握することができないような判断基準で確認要求の要否が切り替わることを防止でき、ユーザの混乱を低減することが可能となる。
また、上記目的を達成するために本発明に係る遠隔操作プログラムは、コンピュータを、入力データを分析して、入力データから推定される操作内容を示す操作情報を出力する操作推定手段、前記操作推定手段から出力される操作情報に応じた処理の実行可否についての確認を外部に要求し、前記確認により処理の実行が認められなかった場合には処理の実行を阻止する確認手段、キーデータと操作内容を示す操作情報との対応関係を管理し、入力キーデータに応じた操作情報を出力するキー割当管理手段、前記操作推定手段または前記キー割当管理手段から出力される操作情報に応じた信号を生成する信号生成手段、及び前記キー割当管理手段で管理される前記キーデータと操作情報との対応関係を参照して、前記確認手段における確認の要否を判定する確認要否判定手段として機能させるためのプログラムである。
このようなプログラムによると、過度の確認要求なく誤動作を低減することができ且つユーザが状態を把握することができない判断基準で確認要求の要否を切り替えることのない遠隔操作装置を汎用コンピュータで実現することが可能となる。ただし、前記確認の要求を外部に報知する報知手段(例えば、音声出力部や表示手段など)と前記信号生成手段が生成する信号を制御信号(例えば、赤外線信号)に変換する変換手段が前記コンピュータに内蔵または外付けされる必要がある。
本発明によると、過度の確認要求なく誤動作を低減することができ且つユーザが状態を把握することができない判断基準で確認要求の要否を切り替えることのない遠隔操作装置、遠隔操作方法、及び遠隔操作プログラムを実現することができる。
本発明の実施形態について図面を参照して以下に説明する。まず、本発明の第一実施形態について説明する。本発明の第一実施形態に係る遠隔操作装置の概略構成を図1に示す。図1に示す本発明の第一実施形態に係る遠隔操作装置は、音声入力部1と、音声認識部2と、確認部3と、制御信号出力部4と、入力キー部5と、キー割当管理部6と、確認要否判定部7とを備えている。
音声入力部1は、入力された音声を電気信号である音声データD1に変換して音声認識部2に出力する。
音声認識部2は、音声入力部1から出力された音声データD1を分析して、音声データD1中に含まれる操作内容を示す操作情報D2を推定し、推定した操作情報D2を確認部3及び確認要否判定部7に出力する。音声データD1の分析及び操作内容を示す操作情報D2の推定を含む一連の音声認識処理は、既存の音声認識技術を用いればよい。
例えば、音声データD1がアナログ音声データである場合、音声認識部2が、音声データD1をA/D(アナログデジタル)変換し、変換して得たデジタル音声データをLPC(線形予測)ケプストラムやMFCC(メル周波数ケプストラム係数)などの音響特徴量に変換し、変換して得た音響特徴量を、認識対象語彙として予め用意した単語辞書と、予め多種多量の音声データを分析して得た音響特徴量から統計的な手法に基づいて作成された音響モデル(例えば隠れマルコフモデル)とを用いて照合し、最大スコア(類似度)を示す単語を推定結果とするようにすればよい。ここで、上記単語辞書は、操作内容を示す操作情報と操作情報の読み(呼び名)を表す情報とによって構成される。例えば、図2に示す音声割当管理テーブルを上記単語辞書として用いればよい。図2に示す音声割当管理テーブルは、システム設計者が予め作成して音声認識部2内のROM(読み出し専用メモリ)などに記憶させておいてもよく、また、ユーザが作成して音声認識部2内のフラッシュメモリなどに記憶させておいてもよい。
また、上述した実施形態においては単語音声認識の例を示したが、上記単語辞書に含まれる単語を音声データD1から探し出すワードスポッティング技術を用いてもよい。また、前述の単語辞書中の単語を含む単語辞書と、文法を表す情報(ネットワーク文法またはN−グラムなど)とを用いる連続音声認識技術を用いてもよい。
上述した音声認識部2の形態は例示にすぎず具体的な実現手段を限定するものではない。すなわち、音声認識部2は、音声データD1を分析して、音声データD1中に含まれる操作内容を示す操作情報D2を推定できるような構成であればよい。
また、音声認識部2が出力する操作情報D2のデータ形式は、操作内容を示すテキスト文字列(文字コードなど)であってもよく、操作内容と関連付けられたインデックス番号であってもよい。また、制御信号出力部4から出力される制御信号D3の内容を表すデータ形式であってもよい。ただし、音声認識部2が出力する操作情報D2のデータ形式は、キー割当管理部6が管理する操作情報D5と同形式のデータ形式、またはキー割当管理部6が管理する操作情報D5と同形式に変換可能なデータ形式であるものとする。
確認部3は、音声認識部2から出力される操作情報D2に応じた処理の実行可否について、ユーザに確認を要求する。ここで、ユーザに確認を要求するか否かについては、確認要否判定部7による判定結果に基づいて決定する。そして、確認部3は、ユーザの確認により操作情報D2に応じた処理の実行が認められなかった場合は制御信号出力部4に操作情報D2を出力せず、それ以外の場合は制御信号出力部4に操作情報D2を出力する。確認の方法は、例えば、音声認識部2から出力される操作情報D2に応じた処理の内容を音声によりユーザに提示し、ユーザはボタン押下(実行ボタンまたはキャンセルボタン)により処理の実行可否を指示するようにすればよい。この場合、確認部3は、音声認識部2から出力される操作情報D2に応じた処理の内容を音声によって出力する音声出力部と、実行ボタンと、キャンセルボタンとを備える構成となる。また、実行ボタン及びキャンセルボタンの代わりにタッチパネルを用い、当該タッチパネルに実行キーとキャンセルキーを表示してもよい。ここで、操作情報D2に応じた処理の内容を音声によりユーザに報知する場合、操作情報D2に応じた処理の内容を示す音声データを確認部3内のROMなどに予め記憶させておいてもよく、また音声合成技術を用いて合成音声により報知してもよい。
上述した確認部3の形態は例示にすぎず具体的な実現手段を限定するものではない。すなわち、確認部3は、ユーザに確認を要求するか否かについて確認要否判定部7による判定結果に基づいて決定し、ユーザに確認を要求することを決定した場合に音声認識部2から出力される操作情報D2に応じた処理の実行可否について、ユーザの指示を仰ぐような構成であればよい。
制御信号出力部4は、音声認識部2から出力される操作情報D2又はキー割当管理部6から出力される操作情報D5に応じた制御信号D3を出力する。ここで、制御信号D3は、遠隔操作の対象となる機器を制御するための信号であり、例えばテレビの電源入切、チャンネル選択、ビデオの再生などを行うために機器に対して送信する信号である。制御信号D3の実体は無線信号であることが好ましく、例えば、一般にテレビなどに付属しているリモコン送信器のように、制御信号コードをPPM(パルス位置変調)方式を用いて赤外線信号で送信すればよい。この場合、制御信号出力部4は赤外線LED(発光ダイオード)などを備える構成となる。また、操作情報D2又はD5に応じた制御信号D3については、制御信号出力部4内のメモリ(不図示)に格納される制御信号管理テーブル(不図示)などを用いて管理すればよい。例えば、図2に示す音声割当管理テーブルの各操作情報に対応する制御信号のうち、「電源」、「1ch」、「2ch」、…、「ファンクション(黄)」に関するものについては、従来の赤外線リモコン送信器の各操作キーに対応して出力される制御信号と同様の制御信号を割り当てればよい。また、例えば、図2に示す音声割当管理テーブルの各操作情報に対応する制御信号のうち、「ジャンル検索」、「ジャンル検索(音楽)」、「ジャンル検索(映画)」、…に関するものついては、直接対応する制御信号が存在する場合は各操作情報に直接対応させればよく、直接対応する制御信号が存在しない場合は所望の操作が得られるように複数の制御信号を順次出力するようにして対応させればよい。
上述した制御信号出力部4の形態は例示にすぎず具体的な実現手段を限定するものではない。すなわち、制御信号出力部4は、操作情報D2又はD5に応じて、遠隔操作の対象となる機器を制御可能な制御信号を出力する構成であればよい。
入力キー部5は、複数のキーを備えており、ユーザのキー操作に応じたキーデータD4を出力する。各キーには固有のキーIDが付与されている。
キー割当管理部6は、入力キー部5から出力されたキーデータD4に基づいて、ユーザのキー操作に対応する操作内容を示す操作情報D5を制御信号出力部4に出力する。また、キー割当管理部6は、キーデータD4と操作内容を示す操作情報D5との対応関係を管理し、キーデータD4と操作情報D5との対応関係の管理情報D6を確認要否判定部7に出力する。例えば、図3に示すキー割当管理テーブルのデータを管理情報D6として用いればよい。図3に示すキー割当管理テーブルは、システム設計者が予め作成してキー割当管理部6内のROM(読み出し専用メモリ)などに記憶させておいてもよく、また、ユーザが作成してキー割当管理部6内のフラッシュメモリなどに記憶させておいてもよい。
また、キー割当管理部6が管理する操作情報D5のデータ形式は、操作内容を示すテキスト文字列(文字コードなど)であってもよく、操作内容と関連付けられたインデックス番号であってもよい。また、制御信号出力部4から出力される制御信号D3の内容を表すデータ形式であってもよい。ただし、キー割当管理部6が管理する操作情報D5のデータ形式は、音声認識部2から出力される操作情報D2と同形式のデータ形式、または音声認識部2から出力される操作情報D2と同形式に変換可能なデータ形式であるものとする。
確認要否判定部7は、キー割当管理部6から出力される管理情報D6を参照して、音声認識部2から出力される操作情報D2がキーデータD4と関連付けられているか否かなどに基づいて、確認部3における確認の要否を判定する。なお、確認要否判定部7における確認要否判定処理の詳細については後述する。
図1に示す本発明の第一実施形態に係る遠隔操作装置の音声認識部2、確認部3の制御部分、制御信号出力部4の制御部分、キー割当管理部6、及び確認要否判定部7は、例えば、専用のLSIで構成することができる。また、図1に示す本発明の第一実施形態に係る遠隔操作装置の音声認識部2、確認部3の制御部分、制御信号出力部4の制御部分、キー割当管理部6、及び確認要否判定部7を、パーソナルコンピュータなどの一般的なコンピュータやマイクロプロセッサで実現してもよい。
図1に示す本発明の第一実施形態に係る遠隔操作装置の音声認識部2、確認部3の制御部分、制御信号出力部4の制御部分、キー割当管理部6、及び確認要否判定部7を、パーソナルコンピュータやマイクロコンピュータなどで実現する場合は、後述する遠隔操作処理をコンピュータに実行させるためのプログラムを用いてもよい。当該プログラムを用いる場合、当該プログラムは、CD−ROM(Compact Disc - Read Only Memory)などの記録媒体に記録されて流通し、CD−ROMドライブなどによりコンピュータが備えるRAMなどに読み込まれ、中央演算装置(CPU)で実行される。なお、当該プログラムが記録される記録媒体は、CD−ROMの他に、例えばフレキシブルディスク、カセットテープ、ハードディスク、光ディスク(MO(Magnetic Optical Disc)、MD(Mini Disc)、DVD(Digital Versatile Disc)など)、ICカード(メモリカードを含む)、光カード、マスクROM、EPROM、EEPROM、フラッシュROMなどの半導体メモリなどの固定的にプログラムを記録する記録媒体でもよい。さらに、当該プログラムはインターネットなどのネットワークを介して他の装置からダウンロードされてもよい。
ここで、図1に示す本発明の第一実施形態に係る遠隔操作装置を専用装置で実現した場合の外観例を図4の正面図に示す。図4に示す遠隔装置は、マイク101と、入力キー部102と、スピーカー103と、赤外線LED104とを備えている。なお、図4では、入力キー部102の各キーにキーIDが表示されているが、キーIDの代わりに操作情報の内容などが表示されていてもよい。
マイク101は、音声操作時にユーザが音声データを入力する際に用いられるものであって、図1中の音声入力部1に該当する。なお、図4に示す遠隔操作装置では、音声の入力タイミングを制御するトークスイッチを設けていないが、発話の開始または終了をユーザが指示するためのトークスイッチを設けてもよい。トークスイッチは、押下式のボタンまたはタッチパネルなどで構成される。入力キー部102は、ユーザが所望の操作に対応するキー入力を行う際や確認部3でユーザからの指示を受け付ける際に用いられるものであって、図1中の入力キー部5に該当する。入力キー部102は、押下式のボタンまたはタッチパネルなどで構成される。スピーカー103は、操作情報D2に応じた処理の内容を音声によりユーザに報知する場合に用いられるものであって、図1中の確認部3の一部(音声出力部)に該当する。赤外線LED104は、制御信号D3を赤外線信号の形態で出力するためのものであって、図1中の制御信号出力部4の一部に該当する。
続いて、本発明の第一実施形態に係る遠隔操作装置において実行される遠隔操作処理の手順について図5に示すフローチャートを参照して説明する。
音声認識部2及びキー割当管理部6は遠隔操作装置に対する入力の有無を判定する(ステップS10)。具体的には、音声認識部2は音声入力部1から出力される音声データD1の有無により音声入力の有無を判定し、キー割当管理部6は入力キー部5から出力されるキーデータD4の有無によりキー入力の有無を判定する。遠隔操作装置に対する入力があると判定された場合(ステップS10のYES)、ステップS20に移行する。一方、遠隔操作装置に対する入力がないと判定された場合(ステップS10のNO)、ステップS10で入力があるまで待機する。
ステップS20において、音声認識部2及びキー割当管理部6は、遠隔操作装置に対する入力が音声入力であるか否かを判定する。遠隔操作装置に対する入力が音声入力である場合(ステップS20のYES)、ステップS40に進む。一方、遠隔操作装置に対する入力が音声入力でなくキー入力である場合(ステップS20のNO)、ステップS30に進む。
ステップS30において、キー割当管理部6は、入力キー部5から出力されるキーデータD4に基づいて、ユーザのキー操作に対応する操作内容を示す操作情報D5を取得し、ステップS90に移行する。
また、ステップS40において、音声認識部2は、音声データD1を分析して、音声データD1中に含まれる操作内容を示す操作情報D2を推定する。すなわち、音声認識部2は、音声データD1に対して音声認識を行う。
続くステップS50では、確認要否判定部7が、キー割当管理部6から出力される管理情報D6を参照して、音声認識部2から出力される操作情報D2がキーデータD4と関連付けられているか否かなどに基づいて、確認部3における確認の要否を判定する。確認要否判定処理の詳細については後述する。
続くステップS60では、確認部3が、ステップS50での判定結果に基づいて処理を分岐する。確認が必要である場合(ステップS60のYES)、ステップS70に進む。一方、確認が不要である場合(ステップS60のNO)、ステップS90に進む。
ステップS70では、確認部3が、ステップS40で推定した操作情報D2に応じた処理の実行可否について、ユーザに確認を要求し、ユーザからの指示を受け付ける。そして、ステップS80では、確認部3が、ステップS70で得られるユーザからの指示に基づいて処理を分岐する。ステップS40で推定した操作情報D2に応じた処理の実行が許可された場合(ステップS80のYES)、ステップS90に進む。一方、ステップS40で推定した操作情報D2に応じた処理の実行が許可されなかった場合(ステップS80のNO)、フロー処理を終了する。
ステップS90では、制御信号出力部4が、ステップS30で取得した操作情報D5またはステップS40で推定した操作情報D2に応じた制御信号D3を出力して、フロー処理を終了する。
ここで、図5中のステップS50において実行される確認要否判定処理の手順の一例について図6のフローチャートを参照して説明する。
まず、確認要否判定部7が、図5中のステップS40において音声認識部2が推定した操作情報D2を取得する(ステップS110)。続くステップS120では、確認要否判定部7が、キー割当管理部6から出力される管理情報D6(例えば図3に示すキー割当管理テーブルのデータ)を取得する。
続くステップS130では、確認要否判定部7が、ステップS110で取得した操作情報D2を、ステップS120で取得した管理情報D6に照会して、ステップS110で取得した操作情報D2に応じた処理が、キーデータD4と関連付けられている操作情報に該当するか否かを調べる。すなわち、ステップS110で取得した操作情報D2に応じた処理がステップS120で取得した管理情報D6の中のキーデータD4と関連付けられている操作情報に含まれている場合は、ステップS110で取得した操作情報D2がキーデータD4と関連付けられている操作情報に該当することになり、ステップS110で取得した操作情報D2に応じた処理がステップS120で取得した管理情報D6の中のキーデータD4と関連付けられている操作情報に含まれていない場合は、ステップS110で取得した操作情報D2がキーデータD4と関連付けられている操作情報に該当しないことになる。
続くステップS140では、確認要否判定部7が、ステップS130での調査結果に基づいて処理を分岐する。ステップS110で取得した操作情報D2がキーデータD4と関連付けられている操作情報に該当する場合(ステップS140のYES)、ステップS150に進み、ステップS110で取得した操作情報D2がキーデータD4と関連付けられている操作情報に該当しない場合(ステップS140のNO)、ステップS160に進む。
ステップS150では、確認要否判定部7が、確認不要設定を行い、確認要否判定処理を終了し、図5に示すフローチャートのステップS60に進む。一方、ステップS160では、確認要否判定部7が、確認要設定を行い、確認要否判定処理を終了し、図5に示すフローチャートのステップS60に進む。
なお、図3に示すキー割当管理テーブルの代わりに、例えば図7に示すキー割当管理テーブルを用いることもできる。図7に示すキー割当管理テーブルは、図3に示すキー割当管理テーブルに確認要否を示す列を追加した構成である。図7に示すキー割当管理テーブルを用いる場合、図6に示すフローチャートの処理手順に代えて図8に示すフローチャートの処理手順によって確認要否判定処理を行えばよい。
以下、図8に示すフローチャートの処理手順について説明する。なお、図8において図6と同一のステップには同一の符号を付し、詳細な説明を省略する。
ステップS110で取得した操作情報D2がキーデータD4と関連付けられている操作情報に該当する場合(ステップS140のYES)、ステップS141に進む。
ステップS141では、確認要否判定部7が、ステップS130で照会する際に用いたキー割当管理テーブル(例えば図7に示すキー割当管理テーブル)を参照し、該当する操作情報の確認要否を示す情報を取得する。図7に示すキー割当管理テーブルのように、キーIDに応じて確認要否を予め設定しておくことにより、誤認識時に確認なく操作が行われると好ましくないようなキー(例えば電源入切など)について、処理実行可否をユーザに必ず確認するようにできる。
なお、本発明の第一実施形態に係る遠隔操作装置がステップS141の処理を実行する場合、遠隔操作装置のキーに関して、必ず確認が必要なキーと確認が不要なキーとで視覚的な違いを明確にすることが望ましい。例えば、必ず確認が必要なキーについて、確認が不要なキーから離れた配置にしてもよく、また、キー部分の色またはキー周囲の色に関して、必ず確認が必要なキーについて、確認が不要なキーと異なる配色にしてもよい。このように、必ず確認が必要なキーと確認が不要なキーとで視覚的な違いを明確にすることにより、ユーザが操作内容の重要性の違いについて容易に把握することが可能となるとともに音声操作時の確認有無の判定基準も明確となる。
ステップS142では、確認要否判定部7が、ステップS141での照会結果から得られる情報に基づいて処理を分岐する。ステップS141で処理実行可否確認不要との情報を得た場合、ステップS150に進み、ステップS141で処理実行可否確認必要との情報を得た場合、ステップS160に進む。
次に、本発明の第二実施形態について説明する。本発明の第二実施形態に係る遠隔操作装置の概略構成を図9に示す。なお、図9において図1と同一の部分には同一の符号を付し詳細な説明を省略する。図9に示す本発明の第二実施形態に係る遠隔操作装置は、図1に示す本発明の第一実施形態に係る遠隔操作装置の管理部3及びキー割当管理部6をそれぞれ管理部3’及びキー割当管理部6’に置換し、更に表示部8を新たに設けた構成である。
確認部3’は、図1に示す本発明の第一実施形態に係る遠隔操作装置が具備する確認部3とほぼ同一の処理を行うが、以下の点が異なる。確認部3’は、音声認識部2から出力される操作情報D2に応じた処理の実行可否について、表示部8を介してユーザに確認を要求する。すなわち、確認部3’は、音声認識部2から出力される操作情報D2を表示部8に表示させることによりユーザに提示する。
キー割当管理部6’は、図1に示す本発明の第一実施形態に係る遠隔操作装置が具備するキー割当部6とほぼ同一の処理を行うが、以下の点が異なる。キー割当管理部6’は、キーデータD4と操作情報D5との対応関係の管理情報D6を確認要否判定部7のみならず表示部8にも出力する。
表示部8は、確認部3’から送られる操作情報D2を入力し、その操作情報D2に基づいて処理を実行しようとしている操作内容を表示する。
また、表示部8は、キー割当管理部6’から送られるキーデータD4と操作情報D5との対応関係の管理情報D6を表示する。これにより、各キーに割り当てられた操作内容が変化するような、すなわち一つのキーが、複数の操作に割り当てられて、モード設定(テレビ、ビデオなど)によって適宜操作内容が変化するような、マルチリモコンを構成することが可能となる。
表示部8は、たとえば液晶ディスプレイ、有機EL(エレクトロルミネッセンス)ディスプレイなどで構成することができる。ただし、表示部8は、処理を実行しようとしている操作内容、または、各キーと操作内容との対応関係を表示するものであればよく、上述した例示は具体的な実現手段を限定するものでない。
図9に示す本発明の第二実施形態に係る遠隔操作装置の音声認識部2、確認部3’の制御部分、制御信号出力部4の制御部分、キー割当管理部6’、及び確認要否判定部7は、専用のLSI素子などで構成することができる。また、図9に示す本発明の第二実施形態に係る遠隔操作装置の音声認識部2、確認部3’の制御部分、制御信号出力部4の制御部分、キー割当管理部6’、及び確認要否判定部7を、パーソナルコンピュータなどの一般的なコンピュータやマイクロプロセッサで実現してもよい。
ここで、図9に示す本発明の第二実施形態に係る遠隔操作装置を専用装置で実現した場合の外観例を図10の正面図に示す。図10に示す遠隔装置は、マイク201と、入力キー部202と、液晶ディスプレイ203と、赤外線LED204とを備えている。なお、図10では、入力キー部202の各キーにキーIDが表示されているが、キーIDの代わりに操作情報の内容などが表示されていてもよく、液晶ディスプレイ203の表示が図13や図14のようになる場合には何も表示されていなくてもよい。
マイク201は、音声操作時にユーザが音声データを入力する際に用いられるものであって、図9中の音声入力部1に該当する。なお、図10に示す遠隔操作装置では、音声の入力タイミングを制御するトークスイッチを設けていないが、発話の開始または終了をユーザが指示するためのトークスイッチを設けてもよい。トークスイッチは、押下式のボタンまたはタッチパネルなどで構成される。入力キー部202は、ユーザが所望の操作に対応するキー入力を行う際や確認部3’でユーザからの指示を受け付ける際に用いられるものであって、図9中の入力キー部5に該当する。入力キー部202は、押下式のボタンまたはタッチパネルなどで構成される。液晶ディスプレイ203は、操作情報D2に基づいて処理を実行しようとしている操作内容及び管理情報D6の内容を表示するものであって、図9中の表示部8に該当する。赤外線LED204は、制御信号D3を赤外線信号の形態で出力するためのものであって、図9中の制御信号出力部4の一部に該当する。
本発明の第二実施形態に係る遠隔操作装置において実行される遠隔操作処理の手順は、本発明の第一実施形態に係る遠隔操作装置において実行される遠隔操作処理の手順とほぼ同一であるため、説明を省略する。なお、本発明の第二実施形態に係る遠隔操作装置において実行される遠隔操作処理においては、表示部8がキー割当管理部6’から送られるキーデータD4と操作情報D5との対応関係の管理情報D6の内容を表示するステップを、例えばフロー開始直後に設けられる。
図9に示す本発明の第二実施形態に係る遠隔操作装置をいわゆるマルチリモコンにする場合、例えば、図11に示すキー割当管理テーブルのデータと図12に示すキー割当管理テーブルのデータとを切り替えていずれか一方を有効とし、有効であるキー割当管理テーブルを管理情報D6として用いればよい。図11に示すキー割当管理テーブルのデータと図12に示すキー割当管理テーブルのデータとの切り替えは、ユーザ指示に基づくモード切替処理などによって行われるようにすればよい。図11に示すキー割当管理テーブルは、キーIDにテレビの操作情報を割り当てたキー割当管理テーブルである。また、図12に示すキー割当管理テーブルは、キーIDにビデオの操作情報を割り当てたキー割当管理テーブルである。
図11に示すキー割当管理テーブルが有効な場合に表示部8が表示する管理情報D6の内容の表示例を図13に示す。図13の表示例では、入力キー部202に対する操作情報の割り当て状況がキー配置を模して表示されている。図13では、入力キーに割り当てられる操作情報を表示用の表記で示しているが、この場合、入力キーに割り当てられる操作情報に対応する表記情報を別途管理していることは言うまでもない。
図12に示すキー割当管理テーブルが有効な場合に表示部8が表示する管理情報D6の内容の表示例を図14に示す。図14の表示例では、入力キー部202に対する操作情報の割り当て状況がキー配置を模して表示されている。図14では、入力キーに割り当てられる操作情報を表示用の表記で示しているが、この場合、入力キーに割り当てられる操作情報に対応する表記情報を別途管理していることは言うまでもない。
ここではテレビとビデオのマルチリモコンを構成する場合について例示したが、ユーザ指示またはシステム指令に基づいて、入力キーに割り当てられる操作情報が適宜切り替わる構成であればよく、具体的な実現手段を限定するものではない。したがって、テレビとビデオに限らず、DVD、ハードディスクレコーダー、エアコン、音響ステレオコンポ、扇風機など、遠隔操作対象となり得る機器に関して、どのような組み合わせのマルチリモコンを構成してもよい。また、ここではモードに応じてキー割り当てがテレビまたはビデオのように一つの操作対象機器でまとまっている場合について例示したが、ある一つのモードにおいて、複数の異なる操作対象機器を操作可能なようにキー割り当てを行ってもよい。
図9に示す本発明の第二実施形態に係る遠隔操作装置をいわゆるマルチリモコンにする場合、例えば、図15に示すテレビ操作並びにビデオ操作を割り当てた音声割当管理テーブルを用いるとよい。音声認識部2内のROM(読み出し専用メモリ)やフラッシュメモリなどが図15に示す音声割当管理テーブルを記憶することによって、音声操作時に、テレビとビデオ両機器の操作に関して、どちらの機器の操作についても入力が可能になる。
例えば、入力キーの割り当てに関して、図11に示すキー割当管理テーブルで管理されている場合、入力キーによる操作対象機器は、テレビのみとなる。一方、図15に示す音声割当管理テーブルを用いている場合、音声による操作対象機器は、前述の通り、テレビとビデオ両機器の操作を対象とする。この場合の動作例を概説すると、例えば、ユーザがキーID202Nの入力キーを入力(例えばボタン押下)することにより、テレビを2chに選局するための制御信号D3(例えば赤外線)が出力され、テレビが2chに選局される。また、例えば、ユーザが「テレビニチャンネル」と発声することにより、正しく音声認識された場合、テレビを2chに選局するための制御信号が出力され、テレビが2chに選局される。ここで、音声認識に失敗(誤認識)して「テレビイッチャンネル」と認識された場合、テレビを1chに選局するための制御信号D3が出力され、テレビが1chに選局される。この場合、ユーザの意図に反する操作結果となるが、キー入力の場合にもユーザによる入力間違い(例えばボタンの押し間違い)が生じることはあり、また一般に、ある一つのモードにおいては、各入力キーには関連する操作が割り当てられているため、キー入力間違いに相当する誤動作に対しては、ユーザが比較的容易に修正できる。一方、音声認識に失敗して「ビデオサイセイ」と認識された場合、ビデオ再生の操作を実行してもよいか否かについてユーザに確認要求する。ここで、ユーザが誤認識であると判断した場合、操作の実行を回避することができる。このように、遠隔操作装置のキー割り当てがテレビ操作を対象としている場合に、キー割り当てされていない機器(この場合はビデオ)を操作しようとする際、ユーザに確認の機会を与えることが可能となる。
なお、本発明の第二実施形態に係る遠隔操作装置の別の一例として、図10に示す遠隔操作装置の入力キー部202をタッチパネルで構成し、入力キー部202と液晶ディスプレイ203とを共通化する構成としてもよい。この場合、モードによって切り替わる入力キーの操作内容を、入力キーの位置に直接対応させて表示することができるので、マルチリモコンとして構成する際に、ユーザが入力キーを入力することが容易になる。
前述した本発明に係る遠隔操作装置の例では、音声認識部2が記憶する音声割当管理テーブルと、キー割当管理部6が記憶するキー割当管理テーブルとを個別に扱う場合について説明したが、例えば図16に示すキー音声割当管理テーブルのように、操作情報とキーIDと読み情報を一つのテーブルで管理し、そのテーブルを音声認識部2及びキー割当管理部5からなるブロックが記憶するようにしてもよい。
また、前述した本発明に係る遠隔操作装置の例では、確認要否判定部7は、キー割当管理部6よりキー割当管理テーブルのデータ(管理情報D6)を取得して操作情報D2を照会しているが、キー割当管理テーブルのデータを取得する代わりに、入力キーに割り当てられている操作情報のみを取得してもよい。
また、前述した本発明に係る遠隔操作装置の例では、音声認識部2で、最大スコア(類似度)を示す一つの単語(読み情報)に対応する操作情報のみを推定(認識)結果としているが、認識結果として複数の操作情報の候補(例えば、スコアの大きいものから5つ)を推定(認識)して、確認部3で、ユーザが複数の候補の中から選択、またはキャンセルすることにより実行可否を決定するように構成してもよい。この場合、音声認識部2で、複数の操作情報の候補を推定(認識)する際に、スコアを各候補間で比較して、最大スコアのみ突出している場合は1つの候補、上位2つのスコアが突出している場合は上位2つの候補を、操作情報の候補として扱うように構成してもよい。
また、前述した本発明に係る遠隔操作装置の例では、入力キー以外の入力データが音声データである場合について例示したが、入力キー以外の入力データが、音声以外のデータであってもよく、ユーザが操作情報を遠隔操作装置に伝達するためのデータであれば、具体的なデータ種別を限定するものではない。例えば、指紋、ゼスチャー、手書きシンボル(文字、図形または記号など)、表情、脳波、神経伝達信号などのいずれかを用いてもよく、この場合、音声入力部1に代えて、それぞれ、指紋入力部、ゼスチャー入力部、手書きシンボル入力部、表情入力部、脳波入力部、神経伝達信号入力部のいずれかを用い、音声認識部2に代えて、それぞれ、指紋認識部、ゼスチャー認識部、手書きシンボル認識部、表情認識部、脳波認識部、神経伝達信号認識部のいずれかを用いればよい。また、上述したような、入力データをパターンとして扱うことが可能であって、ユーザが同一の意図を持って発するパターンが統計的に類似しているデータの他に、次のようなデータであってもよい。例えば、遠隔操作対象機器または本発明の第二実施形態に係る遠隔操作装置が具備する表示部8などに操作内容に関連する情報を表示して操作内容に関連する情報をユーザに提示し、ユーザは視線、指差しなどのいずれかを用いて操作内容を選択する。上述のような構成における、指差し、視線などを表す情報を入力データとして扱ってもよく、この場合、音声入力部1及び音声認識部2から成るブロックに代えて、それぞれ、指差し認識部、視線認識部のいずれかを用いればよい。