JP2006165811A - リモコン操作提示装置及びリモコン操作提示プログラム - Google Patents

リモコン操作提示装置及びリモコン操作提示プログラム Download PDF

Info

Publication number
JP2006165811A
JP2006165811A JP2004351750A JP2004351750A JP2006165811A JP 2006165811 A JP2006165811 A JP 2006165811A JP 2004351750 A JP2004351750 A JP 2004351750A JP 2004351750 A JP2004351750 A JP 2004351750A JP 2006165811 A JP2006165811 A JP 2006165811A
Authority
JP
Japan
Prior art keywords
remote control
button
operation button
control device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004351750A
Other languages
English (en)
Inventor
Atsushi Goto
淳 後藤
Noriyoshi Uratani
則好 浦谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2004351750A priority Critical patent/JP2006165811A/ja
Publication of JP2006165811A publication Critical patent/JP2006165811A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】 ユーザが電子機器の操作マニュアルを参照することなく、ユーザに対して操作手順を分かりやすくリモコン装置に提示することが可能なリモコン操作提示装置を提供する。
【解決手段】 リモコン操作提示装置1は、電子機器20の操作と操作ボタンの識別情報とを対応付けた操作データDBaから、指定された操作に対応する操作ボタンの識別情報を検索する操作ボタン検索手段13cと、その操作ボタンを特定する制御情報をリモコン装置Rに通知する操作ボタン通知手段13dと、リモコン装置Rから受信した受信情報に基づいて押下された操作ボタンを検出する押下ボタン検出手段13eとを備え、操作対象となる操作ボタンが複数存在する場合に、予め定めた操作ボタンが押下されたときに、操作ボタン検索手段13cが、次の操作対象となる操作ボタンを検索することを特徴とする。
【選択図】 図3

Description

本発明は、リモコン装置によって電子機器を操作する際に、そのリモコン装置の操作方法をユーザに提示するリモコン操作提示装置及びリモコン操作提示プログラムに関する。
近年、様々な機能を持つ高機能な情報家電等の電子機器が登場している。しかし、情報機器の操作に慣れていない情報弱者は、情報家電の高度な機能を使いこなせないでいるのが現状である。また、情報家電の中には、使い勝手の悪いユーザインタフェースとなっているものもあり、情報機器の操作に慣れたユーザであっても、操作マニュアルを読まずに情報家電の全機能を使いこなすことは困難である。
そこで、最近では、電子機器の操作部に、その電子機器の操作手順を提示することで、ユーザが行う電子機器の操作の補助を行う技術が開示されている(特許文献1、特許文献2参照)。
例えば、特許文献1に開示された技術は、移動端末装置の操作において、ユーザの操作が一定時間なされなかった場合に、押下すべき操作部のボタンを推定し、該当するボタン内に内蔵した発光素子を発光させることで、ユーザに操作の対象となるボタンの位置を提示するものである。これによって、ユーザは、操作に詰まったときでも、次に押下すべきボタンを認識することができる。
また、特許文献2に開示された技術は、テレビ受像機を操作するリモートコントロール装置(以下、リモコン装置という)において、メニュー画面で操作可能なリモコン装置のボタンを発光させたり、メニュー画面のボタンに対応付けてリモコン装置のボタンの色を変化させることで、ユーザに操作の対象となるボタンの位置を提示するものである。これによって、ユーザは、メニュー画面に対応したボタンを認識し、操作を行うことができる。
特開平08−272572号公報(段落0047〜0051、図7) 特開2001−359179号公報(段落0007〜0027、図1〜5)
特許文献1に開示された移動端末装置では、ユーザに提示する操作手順が、連続した手順である必要がある。すなわち、ユーザがあるボタンを押下したことによって、次に押下するボタンが特定され、移動端末装置が、その特定されたボタンの位置をユーザに提示している。
しかし、操作すべきボタンは、必ずしも1つに特定されるとは限らない。例えば、画面上で、選択すべき項目が複数表示され、その項目を「矢印キー」ボタンで選択した後に、「決定キー」ボタンで項目の決定を行うアプリケーション等が存在する。この場合、どの段階で「決定キー」ボタンを押下するかは、ユーザの意思によるため、「矢印キー」ボタンが1回押下されたからといって、次に押下するボタンの候補として、「決定キー」ボタンの位置を提示することは適切ではない。
また、特許文献2に開示されたリモコン装置では、テレビ受像機のメニュー画面上のボタンと、リモコン装置のボタンとを、色によって対応付けることで、ユーザに対して操作すべき複数のボタンの位置を提示している。これによって、例えば、前記したように「矢印キー」ボタンで項目を選択し、「決定キー」ボタンで項目の決定を行うアプリケーションの場合、「矢印キー」ボタン及び「決定キー」ボタンの順番を予め定めた色で提示することで、ユーザに対して、「矢印キー」ボタンを押下後、「決定キー」ボタンを押下すればよいと認識させることは可能である。
しかし、このリモコン装置は、操作対象となるテレビ受像機から直接、操作すべきボタンの位置を取得している。そのため、リモコン装置の操作対象(ここでは、テレビ受像機)が、リモコン装置に対して、ボタンの位置を操作毎に通知する機能を備えなければならない。この場合、テレビ受像機以外の電子機器でも同様の機能を実現することが可能であるが、個々の電子機器それぞれに、リモコン装置に対してボタンの位置を通知する機能を搭載しなければならず、個々の電子機器が高価なものになってしまうという問題がある。
本発明は、以上のような課題を解決するためになされたものであり、ユーザが電子機器の操作マニュアルを参照することなく、ユーザに対して操作手順を分かりやすく提示することが可能なリモコン操作提示装置及びリモコン操作提示プログラムを提供することを目的とする。さらに、本発明は、電子機器が複数存在する場合であっても、電子機器に対応するリモコン装置に、個々の電子機器の操作手順を示すボタンの位置を通知するとともに、操作対象のボタンが複数ある場合であっても、ユーザに対して操作手順を分かりやすく提示することが可能なリモコン操作提示装置及びリモコン操作提示プログラムを提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のリモコン操作提示装置は、発光手段を光らせることで、操作ボタンを強調して提示可能な電子機器のリモコン装置に対して、操作対象となる操作ボタンを通知するリモコン操作提示装置であって、操作データ記憶手段と、リモコン制御情報記憶手段と、操作ボタン検索手段と、操作ボタン通知手段と、押下ボタン検出手段とを備え、操作対象となる操作ボタンが複数存在する場合に、前記押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、前記操作ボタン検索手段が、次の操作対象となる操作ボタンを検索する構成とした。
かかる構成によれば、リモコン操作提示装置は、電子機器の操作とその操作を行うための操作ボタンの識別情報とを対応付けた操作データを操作データ記憶手段に記憶し、さらに、リモコン装置における前記操作ボタンを制御するための制御情報(リモコン制御情報)をリモコン制御情報記憶手段に記憶しておく。操作データは、電子機器の操作に対応付けて、リモコン装置における一連の操作ボタンの押下順序が記述されたデータであって、1つの操作に対して1つ以上の操作ボタンの識別情報が記述されている。また、リモコン制御情報は、リモコン装置を制御するための制御情報であって、例えば、リモコン装置を特定するコード情報、リモコン装置における操作ボタンを特定するためのコード情報等の情報である。
そして、リモコン操作提示装置は、操作ボタン検索手段によって、操作データ記憶手段に記憶されている操作データから、ユーザから指定された電子機器の操作に対応する操作対象となるリモコン装置の操作ボタンの識別情報を順次検索する。
そして、リモコン操作提示装置は、操作ボタン通知手段によって、操作ボタン検索手段で検索された操作ボタンの識別情報に対応する制御情報を、リモコン制御情報記憶手段に記憶されている制御情報の中から検索し、リモコン装置に通知する。これによって、リモコン装置は、ユーザに対して、どの操作ボタンを押下すべきかを、発光手段を光らせることで強調して提示することができる。
また、リモコン操作提示装置は、押下ボタン検出手段によって、リモコン装置が電子機器に対して送信したリモコン信号を受信情報として受信することで、ユーザが押下した操作ボタンを検出する。これによって、リモコン操作提示装置は、ユーザが操作手順に沿った操作ボタンを押下したかどうかを判定することができ、操作ボタン検索手段が、次に押下すべき操作ボタンの検索を行うことで、順次リモコン装置に対して、操作手順に沿った操作ボタンを通知することができる。この場合、操作ボタン検索手段は、操作に対する操作データをその操作(コマンド)単位で取得し、正しい操作ボタンが押下された段階で、その取得した操作データ内で、次に押下すべき操作ボタンの検索を行う。なお、正しい操作ボタンが押下された段階で、操作ボタン検索手段が、操作データ記憶手段から、順次、次に押下すべき操作ボタンの検索を行うこととしてもよい。
なお、リモコン操作提示装置は、操作対象となる操作ボタンが複数存在する場合、押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、操作ボタン検索手段が、次の操作対象となる操作ボタンを検索する。これによって、一連の操作手順において、ある操作段階で操作対象となる操作ボタンが複数存在する場合であっても、その複数の操作ボタンの位置を提示するとともに、次の手順に移行することが可能になる。
また、請求項2に記載のリモコン操作提示装置は、請求項1に記載のリモコン操作提示装置において、前記操作ボタン通知手段が、前記操作対象となる操作ボタンが複数存在する場合に、前記操作ボタンの予め定めた種類毎に、前記リモコン装置の発光手段における色又は光の強度を定めた制御情報を、前記リモコン装置に通知する構成とした。
かかる構成によれば、リモコン操作提示装置は、操作対象となる操作ボタンが複数存在する場合に、「数字キー(1、2、3等)」、「矢印キー(上、下、左、右)」等の同一種類となる操作ボタンを、リモコン装置において、同一の色又は光の強度で提示させる。そして、操作対象となる操作ボタンが異なる種類の操作ボタンである場合は、リモコン装置において、それぞれその種類毎に異なる色又は光の強度で提示させる。これによって、同一の色又は光の強度で示された操作ボタンは、操作手順に関係がなく、異なる色又は光の強度で示された操作ボタンは、操作手順に関係があることをユーザに視覚的に示すことができる。
さらに、請求項3に記載のリモコン操作提示装置は、請求項1又は請求項2に記載のリモコン操作提示装置において、前記操作データ記憶手段には、複数の電子機器に対応付けて、複数の操作データが記憶されており、前記指定された操作に対応する電子機器の操作データを、前記複数の操作データの中から検索する操作データ検索手段を備える構成とした。
かかる構成によれば、リモコン操作提示装置は、操作データ検索手段によって、複数の操作データの中から、指定された操作に対応する電子機器の操作データを検索することができるため、電子機器が複数存在する場合であっても、その各々の電子機器に対応したリモコン装置の操作ボタンの手順を、ユーザに提示することが可能になる。
また、請求項4に記載のリモコン操作提示装置は、請求項1乃至請求項3のいずれか一項に記載のリモコン操作提示装置において、放送波又は通信回線を介して、前記操作データを取得して、前記操作データ記憶手段に登録する操作データ登録手段を備える構成とした。
かかる構成によれば、リモコン操作提示装置は、新しい電子機器を操作対象とする場合、操作データ登録手段によって、放送波又は通信回線を介して、新しい電子機器に対応する操作データを取得し、操作データ記憶手段に登録する。これによって、操作データ記憶手段には、複数の電子機器に対応する操作データが記憶されることになる。また、電子機器において機能の追加、変更等があった場合、操作データ記憶手段に記憶されている操作データを更新することが可能になる。なお、通信回線を介して、操作データを取得する場合、操作データ登録手段が、例えば、家庭内LAN(Local Area Network)に電子機器が接続されたことを検出し、その電子機器から操作データを取得することとしてもよい。
さらに、請求項5に記載のリモコン操作提示装置は、請求項1乃至請求項4のいずれか一項に記載のリモコン操作提示装置において、特定文字列の組み合わせによって、前記電子機器の操作に対する質問文を定型化したテンプレートを記憶したテンプレート記憶手段と、入力手段を介して入力された、操作に対する質問文に含まれる文字列と、前記テンプレートとのマッチングを行うことで、前記操作を特定する質問特定手段とを備える構成とした。
かかる構成によれば、リモコン操作提示装置は、予め操作に対する質問文を定型化したテンプレート(定型文)をテンプレート記憶手段に記憶しておくため、操作に対する質問(質問文)が入力された場合、質問特定手段によって、その質問文の文字列に含まれる特定の文字列が、テンプレートに含まれるかどうかを判定することで、その質問がどの操作に対応する質問であるのかを特定することができる。
また、請求項6に記載のリモコン操作提示装置は、請求項5に記載のリモコン操作提示装置において、前記質問特定手段で特定された操作を行う電子機器のリモコン装置に対して、当該リモコン装置が操作対象であることを示す制御情報を通知する対象リモコン通知手段を備える構成とした。
かかる構成によれば、リモコン操作提示装置は、質問特定手段によって、どの電子機器のリモコン装置が操作対象であるのかを認識することができるため、対象リモコン通知手段によって、操作対象となるリモコン装置に対して、操作対象であることを通知する。これによって、操作対象となったリモコン装置において、ブザー音や、LEDによる発光等によって、ユーザに操作対象となったリモコン装置を認識させることができる。
さらに、請求項7に記載のリモコン操作提示プログラムは、電子機器の操作と、当該操作を行うためのリモコン装置における操作ボタンの識別情報とを対応付けた操作データを記憶する操作データ記憶手段と、前記リモコン装置における前記操作ボタンを制御するための制御情報を記憶するリモコン制御情報記憶手段とを備え、発光手段を光らせることで、前記操作ボタンを強調して提示可能なリモコン装置に対して、操作対象となる操作ボタンを通知するために、コンピュータを、操作ボタン検索手段、操作ボタン通知手段、押下ボタン検出手段として機能させ、操作対象となる操作ボタンが複数存在する場合に、前記押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、前記操作ボタン検索手段が、次の操作対象となる操作ボタンを検索する構成とした。
かかる構成によれば、リモコン操作提示プログラムは、操作ボタン検索手段によって、操作データ記憶手段に記憶されている操作データから、ユーザから指定された電子機器の操作に対応する操作対象となるリモコン装置の操作ボタンを順次検索する。
そして、リモコン操作提示プログラムは、操作ボタン通知手段によって、操作ボタン検索手段で検索された操作ボタンの識別情報に対応する制御情報を、リモコン制御情報記憶手段に記憶されている制御情報の中から検索し、リモコン装置に通知する。
また、リモコン操作提示プログラムは、押下ボタン検出手段によって、リモコン装置が電子機器に対して送信したリモコン信号を受信情報として受信することで、ユーザが押下した操作ボタンを検出する。そして、ユーザが操作手順に沿った操作ボタンを押下した段階で、操作ボタン検索手段が、次に押下すべき操作ボタンの検索を行うことで、順次リモコン装置に対して、操作手順に沿った操作ボタンを通知する。
なお、操作対象となる操作ボタンが複数存在する場合は、押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、操作ボタン検索手段が、次の操作対象となる操作ボタンを検索する。
請求項1又は請求項7に記載の発明によれば、電子機器のリモコン装置による一連の操作手順において、予め定めた操作ボタンによって、操作手順が進行するため、ある操作段階において、複数の操作ボタンが操作対象であった場合であっても、その複数の操作ボタンの位置をユーザに提示することができる。例えば、リモコン装置における上下左右の「矢印キー」によって項目を選択し、「決定キー」によってその項目を決定することで、次の操作に移行する場合であっても、「矢印キー」及び「決定キー」を操作対象として同時にユーザに提示することができる。
請求項2に記載の発明によれば、操作対象となる操作ボタンが複数存在する場合に、異なる色又は光の強度によって、操作ボタンをグループ分けすることができ、そのグループ毎に操作上の順位をつけることができる。例えば、予め色や光の強度による順番を定めておき、「矢印キー」と「決定キー」とを異なる色や光の強度とすることで、「矢印キー」を押下後、「決定キー」を押下する手順をユーザに提示することができる。
請求項3に記載の発明によれば、電子機器が複数存在する場合であっても、1台のリモコン操作提示装置によって、各々の電子機器に対応したリモコン装置の操作ボタンの手順を、ユーザに提示することができる。このため、個々の電子機器に、リモコン装置の操作ボタンの手順をユーザに提示する機能を組み込む必要がなく、電子機器を安価に抑えることができる。
請求項4に記載の発明によれば、操作データの追加等ができるため、家庭内においてリモコン装置によって操作する電子機器が増えた場合であっても、その電子機器の操作データのみを追加するだけで、当該電子機器の操作手順をリモコン装置に提示することが可能になる。
請求項5に記載の発明によれば、電子機器の操作に対する質問文によって、操作対象となるリモコン装置の操作ボタンを順次提示することができる。このように、本発明によれば、ユーザに対して、電子機器を操作するための、簡単なユーザインタフェースを提供することができる。
請求項6に記載の発明によれば、操作対象となるリモコン装置に対して、当該リモコン装置が操作対象であることを通知することができる。これによって、操作対象となったリモコン装置において、ブザー音を発生させたり、操作ボタン等を発光させたりすることで、ユーザは、複数のリモコン装置の中から、どのリモコン装置を使用すればよいかを、認識することができる。
以下、本発明の実施の形態について図面を参照して説明する。
[双方向リモコンシステムの概要]
まず、図1を参照して、本発明に係るリモコン操作提示装置を含んだ双方向リモコンシステムの概要について説明する。図1は、リモコン操作提示装置によって、電子機器の操作手順をリモコン装置に提示する双方向リモコンシステムの構成を示すブロック図である。
双方向リモコンシステムAは、リモコン操作提示装置1を備えたテレビ受像機201と、オーディオ機器202と、映像記録再生装置(VTR〔Video Tape Recorder〕)203と、映像記録再生装置(DVD〔Digital Versatile Disk〕レコーダ)204とを、ネットワーク機器であるハブ(HUB)30を介して接続することで構成している。
また、これらの電子機器20(201、203、203、204)は、それぞれの電子機器20に対応するリモコン装置R(R1、R2、R3、R4)、あるいは、これらの電子機器に共通に使用可能な汎用のリモコン装置RALLによって、操作可能であるものとする。
リモコン操作提示装置1は、各電子機器20から、電子機器の操作と、当該操作を行うためのリモコン装置Rにおける操作ボタンの識別情報とを対応付けた操作データを取得し、操作手順に従って、操作ボタンの識別情報に対応する制御信号(制御情報)をリモコン装置Rに送信し、ユーザに対して、電子機器20の操作手順を提示するものである。
なお、リモコン操作提示装置1は、リモコン装置Rが電子機器20に送信する制御信号(赤外線等)を受信するとともに、リモコン操作提示装置1からの制御信号(赤外線等)をリモコン装置Rに送信可能な位置に配置されているものとする。
リモコン装置Rは、ユーザが押下した操作ボタンの位置を示す制御信号(リモコン信号:赤外線等)を電子機器20に送信することで、電子機器20の操作を行うものである。また、リモコン装置Rは、リモコン操作提示装置1から受信した制御信号(リモコン制御信号:赤外線等)に基づいて、LED等の色や光の強度を変えることで、操作すべき操作ボタンを強調して提示するものでもある。
すなわち、リモコン装置Rは、図2に示すように、ユーザが押下した操作ボタンの位置を示す制御信号(リモコン信号SGR)を電子機器20に送信する。このとき、リモコン操作提示装置1は、そのリモコン信号SGRによって、ユーザがどの操作ボタンを押下したかを検出する。また、リモコン装置Rは、リモコン操作提示装置1から受信した制御信号(リモコン制御信号SGC)に基づいて、発光手段RLの色や光の強度を変えることで、操作すべき操作ボタンRBを強調して提示する。なお、ここでは、音量を増大させる「+キー」が、強調されて提示された状態を示している。
このように、双方向リモコンシステムAは、ユーザに対して、リモコン装置Rにおいて操作すべき操作ボタンを強調して提示することで、ユーザは、操作マニュアル等を参照することなく、電子機器の操作を行うことが可能になる。
なお、図1に示すように、ここでは、各電子機器20はHUB30を介してネットワーク接続されているが、リモコン操作提示装置1に、各電子機器20の操作データが予め記憶(登録)されている場合は、各電子機器20を接続する必要はない。また、ここでは、リモコン操作提示装置1をテレビ受像機201の内部に備えることとしているが、別体の構成としてもよい。
[リモコン操作提示装置の構成]
次に、図3を参照(適宜図1参照)して、リモコン操作提示装置の構成について説明する。図3は、本発明に係るリモコン操作提示装置の構成を示すブロック図である。図3に示すように、リモコン操作提示装置1は、記憶手段DBと制御手段CLとを備えている。
また、リモコン操作提示装置1は、ユーザが操作したい電子機器20の操作内容を質問として音声で入力するためのマイク2aと、質問をテキストデータで入力するためのキーボード2bとを入力手段2として外部に接続可能な構成としている。これによって、ユーザは、電子機器20を操作する際に、分からない操作を音声や、テキストデータで入力(質問)することができる。
さらに、リモコン操作提示装置1は、リモコン装置Rによる操作手順を音声で出力するためのスピーカ3aと、文字として表示するためのモニタ3bとを出力手段3として外部に接続可能な構成としている。なお、リモコン操作提示装置1がテレビ受像機201(図1参照)の内部に備えられている場合は、スピーカ3a及びモニタ3bを、テレビ受像機201と共用することとしてもよい。
記憶手段(操作データ記憶手段、リモコン制御情報記憶手段、テンプレート記憶手段に相当)DBは、リモコン操作提示装置1が、リモコン装置Rによる電子機器の操作手順を解析するためのデータを記憶しておくもので、ハードディスク等の一般的な記憶装置である。この記憶手段DBには、操作データDBaと、リモコン制御情報DBbと、音響・言語モデルDBcと、テンプレート辞書DBdと、形態素辞書DBeとを記憶している。
操作データDBaは、電子機器20の操作と、当該操作を行うための操作ボタンの押下順序とを対応付けたデータである。この操作データDBaは、例えば、各電子機器20の操作マニュアル等からリモコン装置Rに対応する操作を抽出することで生成し、XML(eXtensible Markup Language)等のマークアップ言語によって記述することができる。
ここで、図4を参照(適宜図3参照)して、操作データDBaの具体例について説明する。図4は、XMLで記述した操作データの一例を示すデータ構造図である。なお、図中左の欄の数字は、説明の都合上行数を示している。また、ここでは、操作データDBaの一例として、VTRの操作(ここでは「録画」)に対応する操作ボタンの押下手順を示している。
図4の操作データDBaでは、リモコン装置Rが操作する対象機器を、ハードウェア(<hardware>)タグで定義している。例えば、(2)行目において、<hardware ID=”VTR”>とし、(2)行目の<hardware>タグと、(40)行目の</hardware>タグで挟まれた内容が、VTRにおける種々の操作手順を示している。
さらに、VTRにおける種々の操作手順の中で、固有の操作手順を、コマンド(<Command>)タグで定義している。例えば、(3)行目において、<Command ID=”録画”>とし、(3)行目の<Command>タグと、(31)行目の</Command>タグで挟まれた内容が、VTRにおける「録画」の操作手順を示している。
そして、この「録画」の操作手順において、リモコン装置Rの押下手順を、ボタン(<Button>)タグで定義している。例えば、(4)行目において、<Button>タグと</Button>タグで挟まれた操作ボタン「番組表キー」を最初に押下することを示している。そして、(9)行目〜(13)行目において、「番組表キー」を押下後、「上矢印キー」、「下矢印キー」、「左矢印キー」、「右矢印キー」又は「決定キー」のいずれかを押下することを示している。
なお、リモコン操作提示装置1は、1つの操作に対して複数の操作ボタンが定義されている場合((9)行目〜(13)行目等)は、その中の最後に記述されている操作ボタン(ここでは「決定キー」)が押下されるまでは、次の動作に移行しないものとする。
このように、操作データDBaに、個々の電子機器20におけるリモコン装置Rの押下手順を記述しておくことで、後記するリモコン動作制御手段13において、どの操作ボタンを押下すべきかをリモコン装置Rに通知することが可能になる。
なお、図4の操作データDBaでは、リモコン装置Rの押下手順以外に、メッセージ(<Message>)タグを用いて、文字列を定義している。例えば、(5)行目において、<Message>タグと</Message>タグで挟まれた文字列「番組表からみたい番組を選んでください。」によって、操作の内容を文字列で示している。この文字列は、後記する音声合成手段16によって、音声合成を行う際に使用される。
さらに、操作データDBaでは、<Message>タグ内に、イメージ(<Image>)タグを用いて、画像(画像のファイル名等)を定義している。例えば、(6)行目において、<Image>タグと</Image>タグで挟まれた画像ファイル(1.jpg)によって、表示すべき画像を示している。この画像は、後記する画像合成手段17によって、画面に合成される。なお、この画像は、例えば、電子機器20の操作マニュアル等に記載されている操作手順を示す画像を用いると、さらにユーザに対して、電子機器20の操作を明確に提示することができる。
図3に戻って、リモコン操作提示装置1の構成について説明を続ける。
リモコン制御情報DBbは、リモコン装置Rを制御するための制御情報である。このリモコン制御情報DBbは、個々の電子機器20の識別情報に対応付けて、ハードウェア情報として、リモコン装置Rを特定するためのコード情報(以下、リモコンコードという)が記述されている。また、リモコン制御情報DBbには、リモコン装置Rの操作ボタンの識別情報に対応付けて、ハードウェア情報として、リモコン装置Rの操作ボタンを特定するためのコード情報(以下、操作ボタンコードという)が記述されている。
このリモコン制御情報DBbは、後記するリモコン動作制御手段13によって参照され、どのリモコン装置Rのどの操作ボタンが押下されたかを識別したり、どのリモコン装置Rにどの操作ボタンを押下すべきかを通知したりするために使用される。
なお、図1に示した汎用のリモコン装置RALLによって操作を行う場合、リモコン制御情報DBbには、個々のリモコン装置Rのリモコン信号を定義した定義情報を記憶しておくこととする。
ここで、図5を参照(適宜図1参照)して、汎用のリモコン装置RALLを制御するための定義情報について説明する。図5は、汎用のリモコン装置を制御するための定義情報の一例を示すデータ構造図である。なお、図中左の欄の数字は、説明の都合上行数を示している。
図5の定義情報において、リモコン装置Rが操作する対象機器を、ハードウェア(<hardware>)タグで定義している。例えば、(1)行目において、<hardware ID=”VTR”>とし、(1)行目の<hardware>タグと、(20)行目の</hardware>タグで挟まれた内容によって、VTRにおける種々の操作ボタンのコード情報を定義している。
さらに、VTRにおける種々の操作ボタンの中で、各操作ボタンのコード情報をボタン(<Button>)タグで定義している。例えば、(2)〜(5)行目における<Button>タグと</Button>タグで挟まれた操作ボタン「番組表キー」において、ボタン識別子(<Button−num>)タグで挟まれた操作ボタンの識別子に対応付けて、個々のリモコン装置(R1、R2等)のコード情報をコード(<code>)タグ内に定義している。ここで、操作ボタンの識別子は、リモコン装置RALLが公開している識別子とし、「数字キー」、「決定キー」、「矢印キー」等、テレビ受像機、VTR等に標準的に用いられるものを準備しておく。
この定義情報を、汎用のリモコン装置RALLに送信することで、リモコン装置RALLが、個々のリモコン装置(R1、R2等)のリモコン信号を発信することが可能になり、ユーザは電子機器20毎に異なるリモコン装置Rを操作する必要がなくなる。
なお、図5に示した定義情報には、一般的な操作ボタン以外に、ファンクションボタンを定義してもよい。また、リモコン装置RALLには、<Button>タグの文字列(例えば、「番組表キー」等)を操作ボタンに対応付けて表示する文字表示部(図示せず)を設けることとしてもよい。これによって、どの操作ボタンが、どの機能を実現するためのボタンであるのかをユーザに提示することもできる。
図3に戻って、リモコン操作提示装置1の構成について説明を続ける。
音響・言語モデルDBcは、発音データに基づいて生成された音声の単語辞書と、個々の単語の繋がりを確率により表現したモデルとを含んだデータであって、音響モデル及び言語モデル(統計的言語モデル)を含んでいる。なお、言語モデルには、同種の意味を持つ単語のグループを表すクラスを定義し、電子機器20を特定する単語(例えば、「VTR」、「DVD」等)を「対象機器」クラスとして複数登録しておき、その操作内容(例えば、「録画」、「再生」等)を「コマンド語」クラスとして複数登録しておく。この音響・言語モデルDBcは、後記する音声認識手段10及び質問特定手段11(又はコマンド選択手段12)によって参照され、ユーザが入力した質問を解析し、その質問に対応する電子機器の操作を特定するために使用される。
形態素辞書DBeは、見出し語、読み、品詞、活用形等を、形態素(意味を担う最小の言語単位)毎に記述したデータである。この形態素辞書DBeは、後記する質問特定手段11によって参照され、ユーザが入力した質問を形態素解析するために使用される。
テンプレート辞書DBdは、ユーザが入力する質問内容を、特定文字列の組み合わせで定型化したデータである。例えば、操作対象となる任意の電子機器20を「@対象機器」、その操作内容を「@コマンド語」とし、質問を意味する動詞(例えば、「教える」)を組み合わせた「[@対象機器]*[@コマンド語]*[教える]」を、質問内容のテンプレートとして定型化しておく。なお、「@」はクラスを表し、そのクラスのメンバであれば、テンプレートにマッチすることとする。このテンプレート辞書DBdは、後記する質問特定手段11によって参照され、ユーザが入力した質問を特定するために使用される。
制御手段CLは、リモコン操作提示装置1全体の制御を行うものである。例えば、制御手段CLは、CPU(Central Processing Unit)やメモリ等を備えたコンピュータであって、プログラム(リモコン操作提示プログラム)を、以下に示す各手段として機能させることで、ユーザが入力した電子機器20の操作についての質問に対して、その操作方法を提示する。ここでは、制御手段CLは、音声認識手段10と、質問特定手段11と、コマンド選択手段12と、リモコン動作制御手段13と、送受信手段14と、応答文生成手段15と、音声合成手段16と、画像合成手段17と、操作データ登録手段18と、DB管理手段19とを備えている。
音声認識手段10は、音響・言語モデルDBcを参照して、マイク2aから音声信号として入力されるユーザの操作に関する質問文を音声認識し、テキストデータ(文字列)として出力するものである。この音声認識手段10は、入力された音声信号をA/D変換し、例えば、LPC(線形予測)法により音声分析することで、音響的特徴パラメータを抽出する。そして、音声認識手段10は、時系列の音響的特徴パラメータを、隠れマルコフモデル(HMM:Hidden Markov Model)によりモデル化し、音響・言語モデルDBcに含まれる統計的言語モデル(Nグラムモデル等)により、音声をテキストデータ(文字列)に変換する。この音声認識手段10で認識された音声に対応するテキストデータは、質問特定手段11に出力される。
質問特定手段11は、操作に対する質問文として入力されたテキストデータに含まれる文字列と、テンプレート辞書DBdに登録されているテンプレートとのマッチングを行うことで、質問に対応する操作を特定するものである。ここでは、質問特定手段11は、自立語抽出手段11aと、テンプレートマッチング手段11bとを備えている。
自立語抽出手段11aは、入力された質問文を形態素解析することで、自立語(動詞、形容詞、形容動詞、名詞、代名詞、副詞、連体詞、感動詞及び接続詞)を抽出するものである。この自立語抽出手段11aで抽出された自立語は、テンプレートマッチング手段11bに出力される。
テンプレートマッチング手段11bは、自立語抽出手段11aで抽出された自立語に含まれる、電子機器20を特定する「対象機器」、操作内容を特定する「コマンド語」及び動詞の組み合わせと、テンプレート辞書DBdに登録されているテンプレートとのマッチングを行うことで、質問がどの操作内容を示しているのかを特定するものである。
ここで、図6を参照(適宜図3参照)して、質問特定手段11における質問に対応する操作を特定する手法について説明する。図6は、質問文に基づいて操作を特定する手法を説明するための説明図である。
ここでは、質問特定手段11に、「VTRの録画方法を教えて。」(図6(a))という文字列(質問文)が入力された例を示している。
この質問文が入力されると、質問特定手段11の自立語抽出手段11aは、形態素辞書DBeを参照して、形態素解析を行うことで、質問文から自立語を抽出する。図6(b)では、図6(a)の質問文が、自立語に分割された状態を示している。
そして、質問特定手段11のテンプレートマッチング手段11bは、各自立語(形態素)と、テンプレート辞書DBdに登録されている文字列の組み合わせ(定型文)とのマッチングを行うことで、操作を特定する。
例えば、テンプレート辞書DBdに、「[@対象機器]*[@コマンド語]*[教える]」が登録されているとする。ここで、[@対象機器]は、音響・言語モデルDBcの言語モデルのクラスに登録されている対象機器のクラスを表し、[@コマンド語]は、言語モデルのクラスに登録されているコマンド語のクラスを表すものとする。これによって、テンプレートマッチング手段11bは、図6(c)における対象機器である「VTR」と、コマンド語である「録画」と、動作を示す「教える」(ここでは活用していない動詞を用いる)が、テンプレート辞書DBdの「[@対象機器]*[@コマンド語]*[教える]」に合致し、「VTR」の「録画」方法を知りたいというユーザの質問意思を特定することができる。
図3に戻って、リモコン操作提示装置1の構成について説明を続ける。
コマンド選択手段12は、操作可能な電子機器20や、その操作コマンドの一覧を画面上(例えば、モニタ3b)に表示し、ユーザに選択を行わせることで、電子機器20に対する操作を入力する、グラフィカル・ユーザ・インタフェース(GUI:Graphical User Interface)を提供するものである。
このコマンド選択手段12は、記憶手段DBの操作データDBaに記述されている、ハードウェアタグやコマンドタグを参照し、リモコン装置Rが操作可能な対象機器(電子機器20)や、その操作(コマンド語)の一覧を画面上に表示する。これによって、ユーザは、どの電子機器20で、どのような操作が可能であるのかを確認することができる。
そして、コマンド選択手段12は、入力手段2(例えば、リモコン装置Rの「矢印キー(上、下、左、右)」、「決定キー」)を介して、ユーザが選択する特定の電子機器20(対象機器)に対する操作(コマンド語)を入力する。ここで入力されたコマンド(対象機器及びコマンド語)は、リモコン動作制御手段13に出力される。
なお、このコマンド選択手段12における、電子機器20に対する操作を入力する手順を、リモコン装置Rに通知し、操作対象の操作ボタンを発光させることとしてもよい。
リモコン動作制御手段13は、記憶手段DBに記憶されている操作データDBaに基づいて、質問特定手段11によって特定された質問に対応するリモコン装置Rによる操作、又は、コマンド選択手段12で選択されたリモコン装置Rによる操作を制御するものである。ここでは、リモコン動作制御手段13は、対象リモコン通知手段13aと、操作データ検索手段13bと、操作ボタン検索手段13cと、操作ボタン通知手段13dと、押下ボタン検出手段13eとを備えている。
対象リモコン通知手段13aは、質問特定手段11によって特定された質問(又はコマンド選択手段12で選択された操作)に対応する電子機器(「対象機器」)に基づいて、操作対象のリモコン装置Rに対して、操作対象である旨を通知するものである。例えば、対象リモコン通知手段13aは、記憶手段DBに記憶されているリモコン制御情報DBbから、操作対象となる電子機器のリモコン装置Rを特定するための情報であるリモコンコードを検索し、そのリモコンコードを、送受信手段14を介してリモコン装置Rに制御情報として通知する。
これによって、リモコンコードで特定されたリモコン装置Rは、操作対象であることを判定することができ、例えば、リモコン装置R内のブザー等の音発生手段(図示せず)から音を発生させたり、全操作ボタンの発光手段RL(図2参照)を発光させたりすることで、図1に示した複数のリモコン装置R(R1、R2、R3、R4)が存在する環境において、ユーザに対して、どのリモコン装置Rが操作対象であるのかを知らせることが可能になる。
なお、対象リモコン通知手段13aは、図5で説明した定義情報をリモコン装置Rに予め送信しておくこととしてもよい。これによって、図1で説明した汎用のリモコン装置RALLが、各電子機器20のリモコン装置をエミュレートすることが可能になる。
操作データ検索手段13bは、質問特定手段11によって特定された質問(又はコマンド選択手段12で選択された操作)に対応する電子機器(「対象機器」)に基づいて、記憶手段DBに記憶されている操作データDBaから、操作対象となる電子機器の操作データを検索するものである。この操作データ検索手段13bで検索された操作データは、操作ボタン検索手段13cに出力される。なお、ここでは、操作データ検索手段13bは、操作対象となる電子機器を特定する識別情報(例えば、「VTR」)を操作ボタン通知手段13dに通知することとする。
操作ボタン検索手段13cは、質問特定手段11によって特定された質問(又はコマンド選択手段12で選択された操作)に対応する操作(「コマンド語」)に基づいて、操作データ検索手段13bで検索された操作データDBaから、操作対象となる操作ボタンを順次検索するものである。この操作ボタン検索手段13cで検索された操作ボタンを特定する識別情報(例えば、「決定キー」)は、操作ボタン通知手段13dに通知される。
例えば、質問特定手段11において、「対象機器」として「VTR」、「コマンド語」として「録画」が特定された場合、図4に示すように、操作データ検索手段13bによって、<hardware>タグが「VTR」である操作データDBaを検索する。そして、操作ボタン検索手段13cによって、<hardware>タグの下位層において、<Command>タグの中から「録画」を検索し、さらに、<Command>タグの下位層において、<Button>タグを検索することで、操作対象となる操作ボタンを検索する。なお、図4の(9)行目〜(13)行目に示すように、複数の操作ボタンが操作対象となる場合は、すべての操作ボタンを操作ボタン通知手段13dに通知する。
ここで、操作ボタンが複数存在する場合、操作ボタン検索手段13cは、予め定めた種類毎に、操作データDBaに記述されている順番で、操作ボタンの色又は光の強度を決定し、操作ボタン通知手段13dに通知する。例えば、「数字キー(1、2、3等)」、「矢印キー(上、下、左、右)」等をそれぞれ1つの種類(グループ)とし、「赤」、「青」等や、光の強度における「弱」、「強」等によって、操作の順番を提示する。
これによって、色又は光の強度によって操作ボタンを強調することができるリモコン装置Rにおいて、図7(a)に示すように、「矢印キー(上、下、左、右)」の色を赤(R)、「決定キー」の色を青(B)で発光することや、図7(b)に示すように、「矢印キー(上、下、左、右)」の光の強度を弱(L)、「決定キー」の光の強度を強(H)とすることができる。これによって、「赤」の操作ボタンを押下後、「青」の操作ボタンを押下する、あるいは、光の強度が「弱」の操作ボタンを押下後、光の強度が「強」の操作ボタンを押下することと、予め決めておくことで、ユーザはどの操作ボタンが操作対象で、どの順番に押下すべきかを判断することができる。
なお、操作ボタンが複数存在する場合で、同一種類(例えば、「矢印キー」)の操作ボタンにおいて、操作順序を変えたいときは、<Button>タグを、例えば、<Button1>、<Button2>等のように操作順位を付したタグとする。
また、操作ボタン検索手段13cは、押下ボタン検出手段13eから、操作ボタンが押下されたことを通知された段階で、次の操作ボタンを探索する。これによって、ある操作における連続した操作ボタンが順次検索されることになる。
さらに、操作ボタン検索手段13cは、操作ボタンを操作ボタン通知手段13dに通知する際に、音声や画像によって、操作をユーザに提示することも可能である。例えば、操作ボタン検索手段13cは、操作ボタンを操作ボタン通知手段13dに通知後、図4に示すように、<Message>タグや、<Image>タグを検索し、そのタグによって記述されたメッセージを音声合成手段16に通知したり、画像を画像合成手段17に通知する。
操作ボタン通知手段13dは、操作ボタン検索手段13cで検索された操作ボタンを特定する制御情報(色、光の強度等を含む)を、リモコン装置Rに通知するものである。
この操作ボタン通知手段13dは、操作データ検索手段13bから通知されるリモコン装置を特定する識別情報に基づいて、リモコン制御情報DBbから、当該識別情報に対応するリモコンコード(制御情報)を検索し、操作ボタン検索手段13cから通知される操作ボタンを特定する識別情報に基づいて、リモコン制御情報DBbから、当該識別情報に対応する操作ボタンコード(制御情報)を検索する。そして、操作ボタン通知手段13dは、このリモコンコード及び操作ボタンコードを、送受信手段14を介してリモコン装置Rに制御情報として通知する。なお、このとき、色や光の強度を示す信号も同時に送受信手段14を介してリモコン装置Rに制御情報として通知する。
押下ボタン検出手段13eは、送受信手段14を介して通知される受信情報に基づいて、リモコン装置Rにおいて操作ボタンが押下されたことを検出するものである。この押下ボタン検出手段13eで操作ボタンが押下されたことを検出した場合、その旨を操作ボタン検索手段13cに通知する。
なお、押下ボタン検出手段13eは、予め定めた操作ボタンが押下されたときのみ、操作ボタン検索手段13cに対して、操作ボタンが押下されたことを通知することとする。例えば、「矢印キー(上、下、左、右)」が押下された場合は、ユーザが項目を選択しているときであると判定し、操作ボタン検索手段13cに対して通知を行わず、「決定キー」が押下されたときのみ、操作ボタンが押下された旨の通知を行うこととする。
また、押下ボタン検出手段13eは、操作ボタン通知手段13dにおいて通知した操作ボタンが押下されなかった場合には、操作ミスがあったと判定し、その旨を応答文生成手段15に通知する。
送受信手段14は、リモコン装置Rとの間で、制御信号を送受信するものである。ここでは、送受信手段14は、リモコン動作制御手段13から通知されるリモコンコード及び操作ボタンコードを、リモコン装置Rを制御するためのリモコン制御信号として、赤外線等によってリモコン装置Rに送信する。
また、送受信手段14は、赤外線等によって、リモコン装置Rから送信されるリモコンコード及び操作ボタンコードを、リモコン信号として受信する。ここで、受信したリモコンコード及び操作ボタンコードは、押下ボタン検出手段13eに受信情報として通知される。
応答文生成手段15は、リモコン動作制御手段13からの通知に基づいて、応答文を生成するものである。例えば、応答文生成手段15は、押下ボタン検出手段13eから、操作ボタン以外のボタンが押下された旨が通知された場合、「押下したボタンが間違っています。」等の応答文を生成する。また、例えば、質問特定手段11から該当する電子機器(対象機器)や、操作(コマンド語)が存在しない旨が通知された場合、応答文として、「対象となる機器が接続されていません。」等の応答文を生成する。この応答文生成手段15で生成された応答文は、音声合成手段16に出力される。
音声合成手段16は、応答文生成手段15で生成された応答文を音声合成することで音声(音声信号)に変換するものである。この変換された音声信号は、スピーカ3aを介して出力される。
画像合成手段17は、モニタ3bに表示する画像に対して、電子機器の操作を示す画像を合成するものである。例えば、画像合成手段17は、操作ボタン検索手段13cから、<Image>タグで記述された画像のファイル名等を通知されることで、そのファイルに対応する画像をモニタ3b上に合成する。
操作データ登録手段18は、放送波4又は通信回線5を介して、操作データDBaやリモコン制御情報DBbを取得して、記憶手段DBに登録するものである。例えば、操作データ登録手段18は、放送波4を介して放送されるデジタル放送に重畳されているSI情報(Service Information,番組配列情報)から、操作データを取得することとしてもよい。
なお、図1に示したように、電子機器20が操作データDBaやリモコン制御情報DBbを、LANを介して送信可能な機器である場合、操作データ登録手段18は、各電子機器20から、操作データDBaやリモコン制御情報DBbを取得し、記憶手段DBに登録することとする。
DB管理手段19は、記憶手段DBに記憶されているデータを管理するものである。例えば、操作データDBaを追加、更新する場合は、このDB管理手段19に対して要求を行うことで、DB管理手段19が、操作データDBaの追加、更新を行う。これによって、記憶手段DBに記憶されているデータが、一元管理されデータの整合性を保つことができる。
以上説明したように、リモコン操作提示装置1は、ユーザからの電子機器20の操作に関する質問に対して、リモコン装置Rのどの操作ボタンを押下すべきかを、順次提示することができる。また、リモコン操作提示装置1は、押下可能な操作ボタンが複数存在する場合は、操作ボタンを色や光の強度によって、グループ化して提示することができる。
以上、本発明に係るリモコン操作提示装置1の構成について説明したが、本発明はこれに限定されるものではない。例えば、記憶手段DBに操作データDBaが予め記憶され、追加、更新を行わない場合は、操作データ登録手段18を構成から省略することができる。
また、ここでは、マイク2aやキーボード2bの入力手段2によって、操作内容に関する質問が音声(音声信号)や、テキストデータ(文字情報)のいずれの場合であっても対応可能な構成としたが、いずれか一方のみに対応した構成としてもよい。例えば、音声による質問の入力を行わない場合は、音声認識手段10を構成から省略することができる。また、音声や画像による操作内容の提示を行わない場合は、応答文生成手段15、音声合成手段16及び画像合成手段17を構成から省略することができる。
また、ユーザからの質問によって操作を特定する音声認識手段10及び質問特定手段11と、GUIによって操作を選択するコマンド選択手段12とは、いずれか一方のみの構成であってもよい。
また、リモコン装置Rにおいて、例えば、「録画キー」、「再生キー」等の固有の操作内容を指示する操作ボタンが準備されている場合は、リモコン操作提示装置1は、その操作ボタンが押下されたことを検出することで、操作の内容を特定することができるため、音声認識手段10や質問特定手段11を構成から省略することができる。
また、リモコン装置Rとしては、電子機器20を操作するリモコン信号を送信し、リモコン操作提示装置1からのリモコン制御信号を解析可能な携帯電話を用いてもよい。
ここで、図8を参照して、携帯電話をリモコン装置として使用する例について説明する。図8は、携帯電話をリモコン装置として使用する際の、リモコン操作提示装置及び携帯電話の概略の構成を示すブロック図である。
リモコン操作提示装置1については、図3で説明した構成と同一であるので同一の符号を付し、説明を省略する。なお、図8におけるリモコン操作提示装置1の構成は、図3におけるリモコン操作提示装置1を簡略化して記載している。
携帯電話6は、内線通話やデータ通信等が可能な一般的な携帯電話であって、ボタン点灯制御手段60と、押下ボタン検出手段61と、制御手段62と、送受信手段63とを備えている。
ボタン点灯制御手段60は、LED等の発光手段(図示せず)を点灯又は消灯することで、操作対象となる操作ボタンをユーザに提示するものである。このボタン点灯制御手段60は、制御手段62を介して通知される制御情報に基づいて、点灯又は消灯を行う。
押下ボタン検出手段61は、ユーザが押下した操作ボタンを、一般的なスイッチ等によって検出するものである。ここで検出された操作ボタンのコード情報は、制御手段62に通知される。
制御手段62は、携帯電話6全体の制御を行うものであって、CPUやメモリ等を備えたコンピュータにより、音声信号や、リモコン信号(コード情報を含む)等の入出力を制御する信号処理部として機能するものである。
送受信手段63は、内線通話やデータ通信等によって、リモコン操作提示装置1との間で、音声、リモコン信号等を無線によって送受信するものである。
また、携帯電話6は、図5で説明したリモコン装置の定義情報を取得することで、汎用のリモコン装置として機能することが可能になる。
さらに、携帯電話6は、図示を省略した音声入力手段、音声出力手段が一般的に備えられており、リモコン操作提示装置1に対する入出力手段として、機能させることも可能である。
[リモコン操作提示装置の動作]
次に、図9を参照(適宜図3参照)して、リモコン操作提示装置の動作について説明する。図9は、本発明に係るリモコン操作提示装置の動作を示すフローチャートである。なお、ここでは、リモコン操作提示装置1において、予め記憶手段DBに、電子機器20に対応する操作データDBaが登録されているものとし、音声(音声信号)によって操作に関する質問が入力されるものとする。
<質問入力ステップ>
まず、リモコン操作提示装置1は、音声認識手段10によって、音声信号として入力された、ユーザからの操作に関する質問を音声認識し、テキストデータ(質問文)に変換する(ステップS1)。
<質問特定ステップ>
そして、リモコン操作提示装置1は、質問特定手段11によって、ステップS1で音声認識されたテキストデータから、ユーザが入力した質問が、どのような操作に関するものであるのかを特定する。
具体的には、リモコン操作提示装置1は、まず、自立語抽出手段11aによって、テキストデータ(質問文)を形態素解析することで、自立語を抽出する(ステップS2)。そして、リモコン操作提示装置1は、テンプレートマッチング手段11bによって、ステップS2で抽出された自立語と、テンプレート辞書DBdに登録されているテンプレートとのマッチングを行うことで、操作内容である電子機器及びその操作(「対象機器」及び「コマンド語」)を特定する(ステップS3)。
<操作データ探索ステップ>
そして、リモコン操作提示装置1は、リモコン動作制御手段13の操作データ検索手段13bによって、記憶手段DBに記憶されている操作データDBaから、ステップS3で特定された電子機器(「対象機器」)に対応する操作データを検索する(ステップS4)。なお、図1に示したように、複数のリモコン装置Rが存在する場合は、リモコン操作提示装置1は、ステップS4の前に、対象リモコン通知手段13aによって、操作対象のリモコン装置Rに対して、操作対象である旨を通知する。
<操作ボタン探索ステップ>
さらに、リモコン操作提示装置1は、操作ボタン検索手段13cによって、ステップS3で特定された操作(「コマンド語」)に基づいて、ステップS4で検索された操作データから、操作対象となる操作ボタンを検索する(ステップS5)。
<色・光強度決定ステップ>
ここで、操作ボタン検索手段13cは、その操作対象となる操作ボタンの有無を判定し(ステップS6)、操作ボタンが存在する場合(ステップS6でYes)、予め定めた種類毎に、操作データDBaに記述されている順番で、操作ボタンの色又は光の強度を決定する(ステップS7)。
<操作ボタン通知ステップ>
そして、リモコン操作提示装置1は、操作ボタン通知手段13dによって、送受信手段14を介して、操作ボタンを特定する制御情報(色、光の強度等を含む)を、リモコン装置Rに通知する(ステップS8)。
ここで、リモコン操作提示装置1は、リモコン装置Rの操作者(ユーザ)が、操作ボタンを押下するまで待ち状態となる。
<押下ボタン検出ステップ>
そして、リモコン操作提示装置1は、押下ボタン検出手段13eによって、送受信手段14を介して通知される受信情報により、リモコン装置Rの操作ボタンが押下されたことを検出する(ステップS9)。
<操作完了判定ステップ>
そして、押下ボタン検出手段13eは、押下された操作ボタンが、予め定めた特定の操作ボタン(例えば、「決定キー」)であるかどうかを判定する(ステップS10)。ここで、押下された操作ボタンが、特定の操作ボタンでない場合(ステップS10でNo)、リモコン操作提示装置1は、ステップS9に戻って、押下ボタン検出手段13eによって、次に操作ボタンが押下されるまで待機する。
一方、押下された操作ボタンが、特定の操作ボタンである場合(ステップS10でYes)、リモコン操作提示装置1は、ステップS5に戻って、操作ボタン検索手段13cによって、操作データDBaの中から、次に操作すべき操作ボタンを検索する。このステップS10において、操作対象の操作ボタンが1つだけの場合は、当該操作ボタンが押下された段階で、ステップS5に戻ることとする。
なお、操作ボタン検索手段13cにおいて、次に操作すべき操作ボタンが検索されなかった場合(ステップS6でNo)、リモコン操作提示装置1は、一連の操作が完了したものとして動作を終了する。
以上の動作によって、リモコン操作提示装置1は、ユーザからの電子機器20の操作に関する質問を解析し、リモコン装置Rにおいて操作ボタンの操作順序を提示することができる。なお、質問が音声ではなく、テキストデータで入力される場合は、リモコン操作提示装置1は、ステップS2から動作を行うこととする。
本発明に係るリモコン操作提示装置を含んだ双方向リモコンシステムの構成を示すブロック図である。 リモコン装置の発光手段によって、操作ボタンを強調する概念を示した概念図である。 本発明に係るリモコン操作提示装置の構成を示すブロック図である。 XMLで記述した操作データの一例を示すデータ構造図である。 汎用のリモコン装置を制御するための定義情報の一例を示すデータ構造図である。 質問文に基づいて操作を特定する手法を説明するための説明図である。 操作ボタンを色又は光の強度によって、操作手順を提示する例を説明するための説明図である。 携帯電話をリモコン装置として使用する際の、リモコン操作提示装置及び携帯電話の概略の構成を示すブロック図である。 本発明に係るリモコン操作提示装置の動作を示すフローチャートである。
符号の説明
1 リモコン操作提示装置
10 音声認識手段
11 質問特定手段
11a 自立語抽出手段
11b テンプレートマッチング手段
12 コマンド選択手段
13 リモコン動作制御手段
13a 対象リモコン通知手段
13b 操作データ検索手段
13c 操作ボタン検索手段
13d 操作ボタン通知手段
13e 押下ボタン検出手段
14 送受信手段
15 応答文生成手段
16 音声合成手段
17 画像合成手段
18 操作データ登録手段
19 DB管理手段
R リモコン装置
DB 記憶手段
(操作データ記憶手段、リモコン制御情報記憶手段、テンプレート記憶手段)
DBa 操作データ
DBb リモコン制御情報
DBc 音響・言語モデル
DBd テンプレート辞書
DBe 形態素辞書

Claims (7)

  1. 発光手段を光らせることで、操作ボタンを強調して提示可能な電子機器のリモコン装置に対して、操作対象となる操作ボタンを通知するリモコン操作提示装置であって、
    前記電子機器の操作と、当該操作を行うための操作ボタンの識別情報とを対応付けた操作データを記憶する操作データ記憶手段と、
    前記リモコン装置における前記操作ボタンを制御するための制御情報を記憶するリモコン制御情報記憶手段と、
    前記操作データ記憶手段に記憶されている操作データから、指定された操作に対応する操作対象となる操作ボタンの識別情報を検索する操作ボタン検索手段と、
    この操作ボタン検索手段で検索された操作ボタンの識別情報に対応する制御情報を、前記リモコン制御情報記憶手段に記憶されている制御情報の中から検索し、前記リモコン装置に通知する操作ボタン通知手段と、
    この操作ボタン通知手段で通知した操作ボタンが押下されたことを、前記リモコン装置から受信した受信情報に基づいて検出する押下ボタン検出手段とを備え、
    前記操作対象となる操作ボタンが複数存在する場合に、前記押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、前記操作ボタン検索手段が、次の操作対象となる操作ボタンを検索することを特徴とするリモコン操作提示装置。
  2. 前記操作ボタン通知手段は、前記操作対象となる操作ボタンが複数存在する場合に、前記操作ボタンの予め定めた種類毎に、前記リモコン装置の発光手段における色又は光の強度を定めた制御情報を、前記リモコン装置に通知することを特徴とする請求項1に記載のリモコン操作提示装置。
  3. 前記操作データ記憶手段には、複数の電子機器に対応付けて、複数の操作データが記憶されており、
    前記指定された操作に対応する電子機器の操作データを、前記複数の操作データの中から検索する操作データ検索手段を備えていることを特徴とする請求項1又は請求項2に記載のリモコン操作提示装置。
  4. 放送波又は通信回線を介して、前記操作データを取得して、前記操作データ記憶手段に登録する操作データ登録手段を備えていることを特徴とする請求項1乃至請求項3のいずれか一項に記載のリモコン操作提示装置。
  5. 特定文字列の組み合わせによって、前記電子機器の操作に対する質問文を定型化したテンプレートを記憶したテンプレート記憶手段と、
    入力手段を介して入力された、操作に対する質問文に含まれる文字列と、前記テンプレートとのマッチングを行うことで、前記操作を特定する質問特定手段と、
    を備えていることを特徴とする請求項1乃至請求項4のいずれか一項に記載のリモコン操作提示装置。
  6. 前記質問特定手段で特定された操作を行う電子機器のリモコン装置に対して、当該リモコン装置が操作対象であることを示す制御情報を通知する対象リモコン通知手段を備えていることを特徴とする請求項5に記載のリモコン操作提示装置。
  7. 電子機器の操作と、当該操作を行うためのリモコン装置における操作ボタンの識別情報とを対応付けた操作データを記憶する操作データ記憶手段と、前記リモコン装置における前記操作ボタンを制御するための制御情報を記憶するリモコン制御情報記憶手段とを備え、発光手段を光らせることで、前記操作ボタンを強調して提示可能なリモコン装置に対して、操作対象となる操作ボタンを通知するために、コンピュータを、
    前記操作データ記憶手段に記憶されている操作データから、指定された操作に対応する操作対象となる操作ボタンの識別情報を検索する操作ボタン検索手段、
    この操作ボタン検索手段で検索された操作ボタンの識別情報に対応する制御情報を、前記リモコン制御情報記憶手段に記憶されている制御情報の中から検索し、前記リモコン装置に通知する操作ボタン通知手段、
    この操作ボタン通知手段で通知した操作ボタンが押下されたことを、前記リモコン装置から受信した受信情報に基づいて検出する押下ボタン検出手段として機能させ、
    前記操作対象となる操作ボタンが複数存在する場合に、前記押下ボタン検出手段において、予め定めた操作ボタンが押下されたことを検出したときに、前記操作ボタン検索手段が、次の操作対象となる操作ボタンを検索することを特徴とするリモコン操作提示プログラム。
JP2004351750A 2004-12-03 2004-12-03 リモコン操作提示装置及びリモコン操作提示プログラム Pending JP2006165811A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004351750A JP2006165811A (ja) 2004-12-03 2004-12-03 リモコン操作提示装置及びリモコン操作提示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004351750A JP2006165811A (ja) 2004-12-03 2004-12-03 リモコン操作提示装置及びリモコン操作提示プログラム

Publications (1)

Publication Number Publication Date
JP2006165811A true JP2006165811A (ja) 2006-06-22

Family

ID=36667349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004351750A Pending JP2006165811A (ja) 2004-12-03 2004-12-03 リモコン操作提示装置及びリモコン操作提示プログラム

Country Status (1)

Country Link
JP (1) JP2006165811A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5140159B2 (ja) * 2008-09-12 2013-02-06 パナソニック株式会社 リモートコントロール装置用キー入力装置、リモートコントロール装置用キー入力装置のキー入力方法、プログラムおよび記録媒体
JP2013066112A (ja) * 2011-09-20 2013-04-11 Nec System Technologies Ltd コンピュータ、リモートコントロールシステム、遠隔操作支援方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028297A (ja) * 1996-07-12 1998-01-27 Toshiba Corp 双方向リモートコントロール装置
JPH113102A (ja) * 1997-06-10 1999-01-06 Nec Corp 操作ガイド機能付リモートコントロールシステム及びその制御方法
JP2001157279A (ja) * 1999-12-01 2001-06-08 Matsushita Electric Ind Co Ltd 制御システム、制御装置、画面表示装置および双方向リモコン
JP2001246819A (ja) * 2000-03-07 2001-09-11 Sharp Corp 電子機器の操作装置
JP2002345054A (ja) * 2001-05-22 2002-11-29 Sony Corp リモートコントロール装置、電気/電子機器、及び電気/電子機器システム
JP2003143435A (ja) * 2001-11-07 2003-05-16 Canon Inc 遠隔制御システム
JP2003259147A (ja) * 2002-02-28 2003-09-12 Pioneer Electronic Corp リモートコントロール装置、電子機器および操作可能ボタン明示方法
JP2004005481A (ja) * 2002-03-15 2004-01-08 Samsung Electronics Co Ltd ホームネットワークに連結された電化製品を制御する方法及び装置
JP2004080372A (ja) * 2002-08-19 2004-03-11 Funai Electric Co Ltd リモートコントロールシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028297A (ja) * 1996-07-12 1998-01-27 Toshiba Corp 双方向リモートコントロール装置
JPH113102A (ja) * 1997-06-10 1999-01-06 Nec Corp 操作ガイド機能付リモートコントロールシステム及びその制御方法
JP2001157279A (ja) * 1999-12-01 2001-06-08 Matsushita Electric Ind Co Ltd 制御システム、制御装置、画面表示装置および双方向リモコン
JP2001246819A (ja) * 2000-03-07 2001-09-11 Sharp Corp 電子機器の操作装置
JP2002345054A (ja) * 2001-05-22 2002-11-29 Sony Corp リモートコントロール装置、電気/電子機器、及び電気/電子機器システム
JP2003143435A (ja) * 2001-11-07 2003-05-16 Canon Inc 遠隔制御システム
JP2003259147A (ja) * 2002-02-28 2003-09-12 Pioneer Electronic Corp リモートコントロール装置、電子機器および操作可能ボタン明示方法
JP2004005481A (ja) * 2002-03-15 2004-01-08 Samsung Electronics Co Ltd ホームネットワークに連結された電化製品を制御する方法及び装置
JP2004080372A (ja) * 2002-08-19 2004-03-11 Funai Electric Co Ltd リモートコントロールシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5140159B2 (ja) * 2008-09-12 2013-02-06 パナソニック株式会社 リモートコントロール装置用キー入力装置、リモートコントロール装置用キー入力装置のキー入力方法、プログラムおよび記録媒体
JP2013066112A (ja) * 2011-09-20 2013-04-11 Nec System Technologies Ltd コンピュータ、リモートコントロールシステム、遠隔操作支援方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
KR20180046208A (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
JP2018170015A (ja) 情報処理装置
JP2004507936A (ja) ダウンロード可能な音声命令の集合による音声制御型遠隔制御装置
KR20150089145A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
JPWO2015146017A1 (ja) 音声検索装置、音声検索方法、および表示装置
KR20140055502A (ko) 방송 수신 장치, 서버 및 그 제어 방법
JPWO2017208518A1 (ja) 情報処理装置
US11664024B2 (en) Artificial intelligence device
US20220293106A1 (en) Artificial intelligence server and operation method thereof
JP6832503B2 (ja) 情報提示方法、情報提示プログラム及び情報提示システム
JP6670364B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
US20220375473A1 (en) Electronic device and control method therefor
JP2006165811A (ja) リモコン操作提示装置及びリモコン操作提示プログラム
US20230261897A1 (en) Display device
JP4175141B2 (ja) 音声認識機能を有する番組情報表示装置
JP2002156996A (ja) 音声認識装置、認識結果修正方法及び記録媒体
JP2006065651A (ja) 商標称呼検索プログラム、商標称呼検索装置及び商標称呼検索方法
WO2022019145A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2010072704A (ja) インターフェース装置および入力方法
US20240223861A1 (en) Smart content search from audio/video captures while watching tv content itself
JP4821423B2 (ja) リモコンコードサーバシステム
US20040107015A1 (en) Audio confirmation system and method
JP4366168B2 (ja) データ生成装置、データ処理装置、それらのシステム、データ生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
KR101171109B1 (ko) 키워드 연상 기능을 구비한 프리젠테이션용 휴대장치, 그 장치의 구동방법, 및 그 장치를 이용한 키워드 연상 기능 제공방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817