JP2019066702A - 対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法 - Google Patents

Abstract

【課題】ユーザが直接装置と対話し、対話の内容に基づき動作する対話型電子装置を提供する。【解決手段】対話型電子装置制御システムは、入力された音声データを、音声認識サービスサーバ１０２に送信し、前記音声データを音声認識サービスサーバで音声認識した結果に基づき生成した応答を受信する対話型電子装置１１０と、ネットワークを介して接続する携帯端末１４０が正当な利用者であることを認証する認証管理部１０３とを備える。対話型電子装置は、外部から入力された第１の音声データを音声認識するために音声認識サービスサーバに送信すると共に、認証管理部で正当な利用者であることが認証された携帯端末からネットワーク１０６を介して入力された第２の音声データを音声認識するために音声認識サービスサーバに送信する。【選択図】図１Ａ

Description

本実施形態は、対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法に関するものである。

ユーザが発した音声を例えばマイクで収集し、収集した音声を音声認識処理により解析して受信した内容を判別する対話型電子装置がある。この装置は、判別した内容をもとに、例えばユーザが所望する音楽を提供できるようにオーディオ再生機器を制御したり、例えばユーザが所望する映像コンテンツを提供できるように映像再生機器を制御したりすることができる。

特表２０１６−５１９８０５号公報

対話型電子装置は、ユーザが直接対面して該対話型電子装置と対話をすることで、その対話の内容をもとに動作することができる。

例えばホテルの受付に配置される対話型電子装置は、来客を受け付けて、来客が予約している部屋の番号やホテルのサービス等を音声によりガイドすることもある。

また家庭内に設定されている対話型電子装置は、各種の家庭内電子装置（エアコンディショナー、照明など）の制御（オンオフ、設定調整等）や自走式掃除機の制御などに対する要望が高まりつつある。今後は工業分野や一般の人の日常社会の分野においても、対話型電子装置を利用したシステムの普及が大いに期待できる。

そこで本実施形態では、音声認識処理技術を利用する対話型電子装置に、携帯端末を関連つけることができ、利用範囲及び利便性を大きく拡大できる対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法を提供することを目的とする。

本実施形態の対話型電子装置制御システムは、
入力された音声データを、音声認識サービスサーバに送信し、前記音声データを前記音声認識サービスサーバで音声認識した結果に基づき生成した応答を受信する対話型電子装置と、ネットワークを介して接続する携帯端末が正当な利用者であることを認証する認証管理部とを備える対話型電子装置制御システムであって、前記対話型電子装置は、外部から入力された第１の音声データを音声認識するために前記音声認識サービスサーバに送信すると共に、前記認証管理部で正当な利用者であることが認証された前記携帯端末からネットワークを介して入力された第２の音声データを音声認識するために前記音声認識サービスサーバに送信することが可能な、対話型電子装置制御システムである。

図１Ａは、本実施形態が適用された対話型電子装置制御システムの概要を示す図である。 図１Ｂは、本実施形態が適用された対話型電子装置制御システムの対話型電子装置の制御部が管理する保存エリアの一例を示す図である。 図２Ａは、本実施形態が適用された対話型電子装置制御システムにアクセスする携帯端末を登録する場合の、対話型電子装置の初期設定を行う携帯端末Ａの、画面遷移を示す図である。 図２Ｂは、本実施形態が適用された対話型電子装置制御システムにアクセスする携帯端末を登録する場合の、対話型電子装置制御システムにアクセスする携帯端末の画面遷移を示す図である。 図３Ａは、携帯端末のユーザが、携帯端末のマイクに発話して、マイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図３Ｂは、携帯端末のユーザが、携帯端末のマイクに発話して、マイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図３Ｃは、図３Ａおよび図３Ｂに対して、音声認識処理部が生成する応答の種類が、コマンドによる応答の場合の処理フローである。 図３Ｄは、図３Ａおよび図３Ｂに対して、音声認識処理部が生成する応答の種類が、コマンドによる応答の場合の処理フローである。 図３Ｅは、携帯端末と対話型電子装置が、近距離無線通信システムで直接接続されている場合に、携帯端末のユーザが、携帯端末のマイクに発話して、マイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図３Ｆは、携帯端末と対話型電子装置が、近距離無線通信システムで直接接続されている場合に、携帯端末のユーザが、携帯端末のマイクに発話して、マイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図３Ｇは、ユーザが対話型電子装置に対して直接発話して、対話型電子装置のマイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図４Ａは、対話型電子装置制御システムに接続された携帯端末Ａをおよび携帯端末Ｂの各々の所有者であるユーザＡおよびユーザＢが、任意のタイミングで各々が所有する携帯端末Ａおよび携帯端末Ｂのマイクに発話して、各々のマイクで収集した音声データを本システムで処理する場合の処理フローである。 図４Ｂは、対話型電子装置制御システムに接続された２台の携帯端末のユーザが、任意のタイミングで各々携帯端末のマイクに発話して、各々のマイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図４Ｃは、対話型電子装置制御システムに接続された２台の携帯端末のユーザが、任意のタイミングで各々携帯端末のマイクに発話して、各々のマイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。 図５Ａは、携帯端末から入力された音声データに応じて制御することができるデバイスを、アカウントごとに対応付けた一覧である。 図５Ｂは、携帯端末から入力された音声データに応じて、同じデバイスにおいて制御することができる機能を、アカウントごとに対応付けた一覧である。 図５Ｃは、携帯端末から入力された音声データに対する応答の出力先を、アカウントごとに対応付けた一覧である。 図６Ａは、携帯端末から入力された音声データに応じて制御することができるデバイスを、権限ごとに対応付けた一覧である。 図６Ｂは、携帯端末から入力された音声データに応じて、同じデバイスにおいて制御することができる機能を、権限ごと対応付けた一覧である。 図７Ａは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、携帯端末の表示画面に表示する、制御可能なデバイスの表示の例である。 図７Ｂは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、携帯端末の表示画面に表示する、制御可能なデバイスの表示の他の例である。 図７Ｃは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、携帯端末の表示画面に表示する、制御可能なデバイスの表示の他の例である。

以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
第１の実施形態の対話型電子装置制御システムは、ユーザが対話型電子装置制御システムに音声を入力する際に、対話型電子装置１１０の音声入力部（例えばマイク）を用いるだけでなく、対話型電子装置制御システムに接続された携帯端末の音声入力部（例えばマイク）を用いることができる対話型電子装置制御システムである。

図１Ａは、本実施形態が適用された対話型電子装置制御システムの概要を示す図である。本システムは、クラウドにおかれたサービスサーバ１０２と、サービスサーバ１０２にインターネット／イントラネット等のネットワーク１０６を介して接続する対話型電子装置１１０と、対話型電子装置１１０の初期設定を行う携帯端末Ａ１４０およびネットワーク１０６を介して接続するスマートフォンやタブレット等の携帯端末１０１からなる。

対話型電子装置１１０は、屋内１０５に配置されている場合が多いが、これに限らず例えば屋外に配置されてもよい。

対話型電子装置１１０は、制御部１１１を有する。制御部１１１は、音声出力部１１２、映像制御部１１４、照明制御部１１６、音声取得部１１８、Ｗｉ−Ｆｉ送受信器１２０、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信器１２１、センサ１２２と接続されており、これらを制御することができる。

対話型電子装置１１０は、表示画面を有していない対話型電子装置の例である。したがって対話型電子装置１１０の初期設定は、近距離無線通信システムを介して接続される携帯端末Ａ１４０を用いて行う。携帯端末Ａ１４０については、後で説明する。

制御部１１１は、音声出力部１１２を制御して音声データを出力することができ、出力された音声データは音声出力部１１２でＤＡ変換され、音量などの制御がなされ、スピーカー１１３に供給される。なお、音声出力部１１２とスピーカー１１３は、ＵＳＢ等で接続された外付けのものであってもよい。

また制御部１１１は、映像制御部１１４を制御することで、カメラ１１５により映像を撮影することができる。カメラ１１５で撮像された映像の映像信号は、映像制御部１１４にてデジタル化、符号化され制御部１１１に入力される。

また制御部１１１は、照明制御部１１６を制御することで、照明器１１７を点灯したり消灯したりすることができる。照明器１１７は、カメラ１２１による撮影が行われるとき、周囲が暗い場合に撮影領域を照明するために利用される。

また制御部１１１は、音声取得部１１８を制御することで、マイク１１９の周辺の音声を取得することができる。なお、音声取得部１１とマイク１１９は、ＵＳＢ等で接続された外付けのものであってもよい。

また制御部１１１は、Ｗｉ−Ｆｉ送受信器１２０を介して、近距離にある携帯端末や通話デバイスとＷｉ−Ｆｉによる通信を行うことができる。

また制御部１１１は、Ｂｌｕｅｔｏｏｔｈ送受信器１２１を介して、近距離にある携帯端末や通話デバイスとＢｌｕｅｔｏｏｔｈによる通信を行うことができる。

さらに制御部１１１は、各種センサ１２２からの検知信号を受信することが可能であり、また各種センサ１２２の動作を制御（例えばオンオフ、特性の切換えなど）することが可能である。なお、スピーカー１１３、カメラ１１５、マイク１１９は、ユーザの操作により、それぞれをオン又はオフすることも可能である。

さらにまた制御部１１１は、サービスサーバ１０２の中のアカウント管理部１０３と連携して、携帯端末１０１が対話型電子装置制御システムに新たにアクセスすることを許可する機能も持つ。制御部１１１のこの機能により、携帯端末１０１を本システムに登録する手順については、図２を用いて説明する。

また制御部１１１は、サービスサーバ１０２の中の音声認識処理部１０４が対話型電子装置１１０に送信してくる応答のうち、後述するようにコマンドによる応答により制御したデバイスの制御履歴を保存する機能も持つ。また、制御部１１１は、対話型電子装置制御システムにアクセス可能な携帯端末１０１のアカウントごとに権限を付与し権限ごとに動作を制御する機能も持つ。権限の付与については、図６を用いて説明する。

また制御部１１１は、制御部１１１が管理する情報を保存する保存エリア１１１−１を持つ。この保存エリア１１−１は、保存する情報によりさらに細かいエリアに分かれている。さらに細かいエリアは、例えばコマンドによる応答により制御したデバイスの制御履歴を保存するエリアであるデバイス制御履歴エリア１１１−１１であり、アカウントごとの権限を保存するエリアであるアカウント管理エリア１１１−１２である。

図１Ｂは、保存エリア１１１−１の例である。

対話型電子装置１１０は、例えばＷｉ−Ｆｉ送受信器１２０やＢｌｕｅｔｏｏｔｈ送受信器１２１等の近距離無線通信システムを介してルータに接続し、ネットワーク１０６と接続することができる。これにより対話型電子装置１１０は、携帯端末１０１や音声認識処理部１０４等とデータのやり取りをすることが可能となる。

また対話型電子装置１１０は、例えばカメラ付きのＰＣ（パーソナルコンピュータ）、等であってもよい。また対話型電子装置１１０は、近距離無線通信システムとしてＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ以外に、例えばＺｉｇＢｅｅ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、等の近距離無線通信システムを搭載していてもよい。

照明１３０、エアコン１３１、映像記録再生機器１３２、その他オーディオ機器（図示せず）は、制御部１１１が送信するコマンドによって制御が可能な、屋内１０５に設置（屋外に設定することも可能）された周辺電子機器（周辺デバイス）である。これら周辺電子機器は、近距離無線通信システムである例えばＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等を介して対話型電子装置１１０と接続されている。なお図１の例では、対話型電子装置１１０と周辺電子機器は近距離無線通信システムを介して接続されているが、有線による通信を介して接続されていてもよい。

サービスサーバ１０２は、少なくとも２つの機能を含む。１つはアカウント管理部１０３であり、１つは音声認識処理部１０４である。図１Ａの例では、アカウント管理部１０３と音声認識処理部１０４は、同じサーバ（サービスサーバ１０２）に含まれているが、別のサーバに属していてもよい。

音声認識処理部１０４は、対話型電子装置１１０から送られてきた音声データを認識し、それに対応する応答を生成する処理部である。

対話型電子装置１１０は、マイク１１９から収集したユーザの発した発話の音声データを、ネットワーク１０６を介してサービスサーバ１０２の音声認識処理部１０４に送る。対話型電子装置１１０から送られてきた音声データを受信した音声認識処理部１０４は、受信した音声データを解析し、その解析した内容に応じた応答を生成する。音声認識処理部１０４は、応答を生成すると、その生成した応答をネットワーク１０６を介して対話型電子装置１１０に送信する。

音声認識処理部１０４が生成する応答は、対話型電子装置１１０から入力される音声にデータに応じて少なくとも２つの種類を含んでいる。１つ目は音声データによる応答、２つ目は対話型電子装置１１０がもつ電子機器（デバイス）例えばカメラ１１５を制御するコマンド、あるいは対話型電子装置１１０に近距離無線通信システム等を介して接続している周辺電子機器（周辺デバイス）例えばエアコン１３１を制御する、コマンドによる応答である。音声認識処理部１０４が生成する応答は、ユーザが対話型電子装置１１０に対して発話した内容に応じて、これら２つの種類の応答を任意に組み合わせて生成することができる。

音声データによる応答の応答内容は、ユーザが対話型電子装置１１０に対して発話した例えば「おはよう」に対する「おはようございます。今日は元気ですか？」のようにユーザが発話した内容に対応した返事であったり、例えば「今から新幹線に乗って大阪に行くと何時に着くかな？」という質問に対する「今から３０分後に出発すれば、夜の８時までに大阪駅に到着します」のようにユーザの問い掛けに対応した回答であったりする。あるいはユーザの発話の内容とは無関係に「昨日の発表会、すごく楽しかったですよね」というつぶやきであってもよい。

音声認識処理部１０４から応答を受け取った対話型電子装置１１０は、その応答が音声データによる応答の場合は、その応答の内容を、例えば制御部１１１の制御によりスピーカー１１３より音声として出力することができる。これによりユーザは、自らの発話に対する対話型電子装置制御システムの応答を聞くことができる。

なお、応答が音声データによる応答の場合、その応答の内容をどのスピーカーに出力するかは、都度制御可能である。ただし、基本的にはユーザの発話を収集したマイクを有するデバイスが管理するスピーカーに出力する。具体的には、ユーザが対話型電子装置１１０に対して発話した場合は、応答の内容を出力するのは対話型電子装置１１０が管理するスピーカーである。また対話型電子装置制御システムにアクセス可能な携帯端末１０１のユーザが、携帯端末１０１のマイクに対して発話した場合は、応答の内容を出力するのは携帯端末１０１が管理するスピーカーである。

音声認識処理部１０４は、生成する応答として音声データの代わり、例えばテキストデータ等の音声に変換できるデータを生成して応答してもよい。この場合対話型電子装置１１０は、音声認識処理部１０４から受信した音声に変換できるデータを、制御部１１１の制御により音声出力部１１２で音声データに変換し、スピーカー１１３より音声として出力してもよい。

またコマンドによる応答の応答内容は、ユーザが対話型電子装置１１０に対して発話した例えば「エアコンつけて」に対する「デバイス＝エアコン１３１、操作＝ＯＮ、モード＝冷房、設定＝温度２６度、風量最大」の内容のコマンドであったり、「ちょっと電気つけて」に対する「デバイス＝照明１１７、操作＝ＯＮ」の内容のコマンドであったりする。

音声認識処理部１０４から応答を受け取った対話型電子装置１１０は、その応答がコマンドによる応答の場合は、コマンドに含まれている制御対象のデバイスの制御を、制御部１１１により行う。例えばコマンドの内容が「デバイス＝エアコン１３１、操作＝ＯＮ、モード＝冷房、設定＝温度２６度、風量最大」の場合、対話型電子装置１１０は、制御部１１１の制御により、エアコン１３１を温度２６度、風量最大の設定で起動するようにＷｉ-Ｆｉ送受信器１２０やＢｌｕｅｔｏｏｔｈ送受信器１２１等の近距離無線通信システムを介して制御する。

なお対話型電子装置１１０は、音声認識処理部１０４から受け取ったコマンドによるデバイスの制御の履歴を記憶することが可能であり、デバイス制御履歴としてデバイス制御履歴エリア１１１−１１に保存することができる。

アカウント管理部１０３は、携帯端末１０１がネットワーク１０６を介して対話型電子装置１１０にアクセスするための管理部である。アカウント管理部１０３は、携帯端末１０１が対話型電子装置１１０の正当なユーザであるかどうかの認証を行う。認証に成功するとアカウント管理部１０３は、携帯端末１０１と対話型電子装置１１０との間でデータをやり取りするパスを開設する。これにより携帯端末１０１のユーザは、対話型電子装置１１０のマイク１１９に向けて発話し、マイク１１９で収集された音声データを音声認識処理部１０４で処理させるのと同じように、携帯端末１０１のマイクに向けて発話し、マイクが収集した音声データを、ネットワーク１０６を介して音声認識処理部１０４で処理させることができる。

アカウント管理部１０３による認証を受けるために、携帯端末１０１のユーザは、予め携帯端末１０１にインストールしている対話型電子装置制御システムにアクセスするためのアプリケーション（以降アクセスアプリケーションと呼ぶ）を起動し、対話型電子装置制御システムにアクセスするためのアカウントとパスワードの入力画面を表示させる。携帯端末１０１のユーザが、予めアカウント管理部１０３に登録済みのアカウントとパスワードを入力画面において入力すると、入力されたアカウントとパスワードがネットワーク１０６を介してサービスサーバ１０２のアカウント管理部１０３に送られる。

アカウント管理部１０３は、携帯端末１０１から送られてきたアカウントとパスワードにより、携帯端末１０１が対話型電子装置制御システムの正当なユーザであるかどうかの認証を行う。

なお携帯端末１０１は、認証に際してアカウント管理部１０３に送信する情報として、アカウントとパスワード以外に、携帯端末１０１の固有識別情報を加えても良い。あるいは、携帯端末１０１の固有識別情報とパスワードだけをアカウント管理部１０３に送信してもよい。またアカウント管理部１０３は、携帯端末１０１が音声認識処理部１０４の正当なユーザであるかどうかの認証を行うのに、送られてきたアカウント、携帯端末１０１の固有識別情報、パスワードの３つの情報を用いてもよい。あるいは携帯端末１０１の固有識別情報とパスワードの２つの情報のみを用いて認証を行っても良い。アカウントおよびパスワードは、ユーザが任意に設定できるものとする。またアカウントは、個体識別情報も含めて、アカウントとしてもよい。

以上のように対話型電子装置制御システムは、（１）対話型電子装置１１０に対面するユーザが発した発話の音声データを、対話型電子装置１１０のマイク１１３から入力することができる。これに加えて、（２）アカウント認証による正当性の確認を受けた携帯端末１０１を持つユーザが発した発話の音声データを、携帯端末１０１のマイクから入力することができる。携帯端末１０１のマイクから入力された音声データは、ネットワーク１０６を介して対話型電子装置１１０に送られる。送られてきた音声データは、対話型電子装置１１０からサービスサーバ１０２の音声認識処理部１０４に送られ、音声認識処理部１０４で音声認識処理され、認識した内容にもとづき先に説明した少なくとも２種類の応答が生成される。生成された応答は、応答の内容に応じて音声認識端末１１０あるいは携帯端末１０１から音声として出力されたり、音声認識端末１１０がデバイスを制御するのに用いられる。

次に、携帯端末１０１から対話型電子装置制御システムにアクセスをするための、携帯端末１０１を対話型電子装置制御システムに登録する手順の一例を説明する。

図１Ａに示した対話型電子装置１１０は、表示画面を有していない対話型電子装置の例である。したがって対話型電子装置１１０の初期設定は、近距離無線通信システムを介して接続される携帯端末Ａ１４０を用いて行う。対話型電子装置１１０の初期設定を行う携帯端末Ａを決定するために、対話型電子装置１１０の初期設定において、携帯端末Ａを対話型電子装置１１００に登録する必要がある。携帯端末Ａ１４０は、対話型電子装置１１０と近距離無線通信システム、例えばＢｌｕｅｔｏｏｔｈや、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔを用いてペアリングすることで、対話型電子装置１１０の初期設定を行う端末として登録することができる。対話型電子装置１１０は、ペアリングにより携帯端末Ａ１４０を特定すると、携帯端末Ａ１４０１４０の固有識別情報を吸い上げて、ネットワーク１−６を介してアカウント管理部１０３に送信する。アカウント管理部１０３は、対話型電子装置１１０から送られてきた携帯端末Ａ１４０の固有識別情報を含む情報をもとに、携帯端末Ａ１４０が対話型電子装置１００の初期設定を行うための設定キーを作成する。アカウント管理部１０３は、作成した設定キーをネットワーク１０６を介して対話型電子装置１１０に送信する。設定キーを受信した対話型電子装置１１０は、設定キーを携帯端末Ａ１４０に送信することで、携帯端末Ａ１４０は、対話型電子装置１１０の初期設定を行う端末として登録される。以降携帯端末Ａ１４０は、設定キーにより、対話型電子装置１１０の初期設定を行うことができる正当な携帯端末として、対話型電子装置１１０に認識される。

以降の説明において、対話型電子装置制御システムにアクセスしたい携帯端末１０１を登録する手順は、対話型電子装置１１０が表示画面を有していなく、携帯端末Ａ１４０を用いて初期設定を行うものとして説明する。なお、対話型電子装置１１０が表示画面を有している場合は、以下に説明する携帯端末Ａ１４０の表示画面を用いて行う操作を、対話型電子装置１１０の表示画面を用いて行えばよい。表示画面を用いて行う操作は、例えばタッチ操作でも、例えばカーソルの移動させる操作でもよい。

図２Ａは、本実施形態が適用された対話型電子装置制御システムにアクセスする携帯端末１０１を登録する場合の、対話型電子装置１１０の初期設定を行う携帯端末Ａ１４０の、画面遷移を示している。

画面２０１は、携帯端末Ａ１４０のホーム画面である。ホーム画面２０１の左上のマークは、機能設定（Ｓｅｔｔｉｎｇ）にジャンプするためのアイコン２１１である。

ユーザがアイコン２１１をタップすると、携帯端末Ａ１４０の表示画面は、機能設定（Ｓｅｔｔｉｎｇ）画面２０２に遷移する。

次にユーザが任意のアカウント（Ａｃｃｏｕｎｔ）２１２をタップすると、携帯端末Ａ１４０の表示画面は、アカウント（Ａｃｃｏｕｔ）画面２０３に遷移する。

次にユーザがユーザ追加（Ａｄｄ Ｕｓｅｒ）２１３をタップすると、携帯端末Ａ１４０の表示画面は、メールアドレス入力画面２０４に遷移する。ユーザは、メールアドレス入力フィールド２１４に、自らが認識するメールアドレスＡを入力し、画面右上にある送信ボタン（Ｄｏｎｅ）をタップする。これによりユーザがメールアドレス入力フィールド２１４に入力したメールアドレスＡ宛てに、携帯端末Ａ１４０から招待コード（ＩｎｖｉｔａｉｔｏｎＣｏｄｅ）が記載されたメールが送信される。対話型電子装置制御システムにアクセスしたい携帯端末１０１のユーザは、メールで送られてきた招待コード（ＩｎｖｉｔａｉｔｏｎＣｏｄｅ）を使って、対話型電子装置制御システムにアクセスする携帯端末１０１の登録処理を続ける。

図２Ｂは、本実施形態が適用された対話型電子装置制御システムにアクセスする携帯端末１０１を登録する場合の、図２Ａの操作に継続して行われる、携帯端末１０１の画面遷移を示している。

画面２０５は、携帯端末１０１に予めインストールされているアクセスアプリケーションの起動画面である。

ユーザが、ユーザ追加（ＡｄｄＵｓｅｒ）アイコン２２１をタップすると、携帯端末１０１の表示画面は、招待コード（ＩｎｖｉｔａｔｉｏｎＣｏｄｅ）入力画面２０６に遷移する。ユーザは、図２Ａを用いて説明した携帯端末Ａ１４０からメールで送られてきた招待コード（ＩｎｖｉｔａｔｉｏｎＣｏｄｅ）を、招待コード（ＩｎｖｉｔａｔｉｏｎＣｏｄｅ）入力フィールド２２３に入力し、送信（Ｄｏｎｅ）ボタン２２２をタップする。これにより招待コードがサービスサーバ１０２のアカウント管理部１０３に送られ、これにより招待コードを送付したアカウントを持つ携帯端末１０１が、本システムの正当なユーザとして登録される。このように、対話型電子装置制御システムにアクセスしたい携帯端末１０１は、携帯端末Ａ１４０から招待されたあと、送られてきた招待コードを使って対話型電子装置制御システムにアクセスすることで、本システムの正当なユーザとして登録される。

次に携帯端末１０１のユーザが、携帯端末１０１のマイクに対して発話し、マイクが収集した音声データを対話型電子装置制御システムで処理する処理フローについて説明する。

図３Ａおよび図３Ｂは、携帯端末３０２のユーザ３０１が、携帯端末３０２のマイクに発話して、マイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。

携帯端末３０２のユーザ３０１は、対話型電子装置制御システムの正当な利用者であることを認証してもらうために、携帯端末３０２の表示画面に表示されているアクセスアプリケーションのアカウントおよびパスワードの入力画面において、アカウントとパスワードを入力する（Ｓ３１０）。入力されたアカウントおよびパスワードは、携帯端末３０２からネットワーク１０６を介してアカウント管理部３０３に送られる（Ｓ３１１）。アカウントおよびパスワードを受信したアカウント管理部３０３は、受信したアカウントおよびパスワードを用いて認証を行う（Ｓ３１２）。

認証の結果、認証ＮＧ（Ｓ３１３のＮｏの場合）であればその結果を、ネットワーク１０６を介して携帯端末３０２に送信する（Ｓ３１４）。認証ＮＧの結果を受信した携帯端末３０２は、認証の結果がＮＧであることがユーザ３０１に分かるように、例えば表示画面に認証ＮＧの旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３１５）。

認証の結果、認証ＯＫ（Ｓ３１３のＹｅｓの場合）であればその結果を、ネットワーク１０６を介して携帯端末３０２に送信する（Ｓ３１６）。認証ＯＫの結果を受信した携帯端末３０２は、認証の結果がＯＫであることがユーザ３０１に分かるように、例えば表示画面に認証ＯＫの旨を表示したり、ＬＥＤを青色で点灯させたりする（Ｓ３１７）。

認証の結果がＯＫであることを認識したユーザ３０１は、対話型電子装置制御システムを用いて発話による音声認識処理を行うために、音声認識処理の開始を要求するアイコン（以降音声認識アイコンと呼ぶ）をタップする（Ｓ３２０）。音声認識アイコンがタップされたことを認識した携帯端末３０２は、ネットワーク１０６を介してアカウント管理部３０３を経由して対話型電子装置３０４に対して音声データを通すための通話確立要求を送信する（Ｓ３２１）。通話確立要求を受信した対話型電子装置３０４は、以降携帯端末３０２との間でインターネット１０６を介してアカウント管理部３０３を経由して通話確立のための接続処理を行う（Ｓ３２２）。接続処理が終了すると、対話型電子装置３０４から携帯端末３０２に、接続応答が通知される（Ｓ３２３）。携帯端末３０２は、接続応答を受信すると、そのステータスを確認する。

ステータスを確認した結果、接続が失敗していることが判明した場合（Ｓ３２４のＮｏ）、携帯端末３０２は、通話確立で失敗したことにより音声認識処理を行うことができな旨をユーザ３０１に分かるように、例えば表示画面に接続失敗の旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３２５）。

ステータスを確認した結果、接続が成功していることが判明した場合（Ｓ３２４のＹｅｓ）、携帯端末３０２は、音声認識開始トリガをネットワーク１０６を介してアカウント管理部３０３を経由して対話型電子装置３０４に送信する（Ｓ３２６）。なお、音声認識開始トリガは、携帯端末３０２と対話型電子装置３０４の間で通話確立された後に、ユーザ３０１が発話した内容を音声認識できるようにするために、対話型電子装置３０４および音声認識処理部３０５に準備を促す通知である。この通知は、図３Ｇのトリガボイス（Ｓ３２６−４）に相当する。

音声認識開始トリガを受信した対話型電子装置３０４は、音声認識処理部３０５との間で、携帯端末３０２から入力された音声データに対して音声認識を行うための音声認識サービスの準備を行う（Ｓ３２７）。音声認識サービスの準備が終了すると、対話型電子装置３０４は、準備が終了した時のステータスを確認する（Ｓ３２８）。

ステータスを確認の結果、準備に失敗していることが判明した場合（Ｓ３２８のＮｏ）、対話型電子装置３０４は、音声認識サービスの準備が失敗したことを携帯端末３０２に通知する（Ｓ３２９）。音声認識サービスの準備が失敗した通知を受け取った携帯端末３０２は、音声認識サービスの準備が失敗したことにより音声認識を行うことができな旨をユーザ３０１に分かるように、例えば表示画面に接続失敗の旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３３０）。

ステータスを確認の結果、準備に成功していることが判明した場合（Ｓ３２８のＹｅｓ）、対話型電子装置３０４は、音声認識サービスの準備が成功したことを携帯端末３０２に通知する（Ｓ３３１）。音声認識サービスの準備が成功した通知を受け取った携帯端末３０２は、音声認識サービスの準備が成功し、音声認識させたい内容を発話してよい状態になったことをユーザ３０１に分かるように、例えば表示画面に発話許可の旨を表示したり、ＬＥＤを青色で点灯させたりする（Ｓ３３２）。

Ｓ３３２の発話許可の旨を確認した携帯端末３０２のユーザ３０１は、携帯端末３０２のマイクに向かって、対話型電子装置制御システムに音声認識させたい内容の発話を行う（Ｓ３４０）。携帯端末３０２のユーザ３０１が発話した内容は、携帯端末３０２のマイクで収集され、音声データとして対話型電子装置３０４に送信される。以降携帯端末３０２と対話型電子装置３０４の間で発話処理が行われる（Ｓ３４１）。

携帯端末３０２より送られてきた音声データを受信した対話型電子装置３０４は、音声認識処理部３０５との間でデータのやり取りを行い（Ｓ３４２）、携帯端末３０２のユーザ３０１が発話した内容に対する音声認識処理を行う（Ｓ３４３）。音声認識処理部３０５は、音声認識処理を行う（Ｓ３４３）過程で、処理中であることを示す処理中通知を対話型電子装置３０４に送信する（Ｓ３４４）。処理中通知を受信した対話型電子装置３０４は、受信した処理中通知の内容を携帯端末３０２に送信する（Ｓ３４５）。処理中通知を受信した携帯端末３０２は、発話（Ｓ３４０）に対する音声認識処理が行われていることがユーザ３０１に分かるように、例えば表示画面に音声認識処理中の旨を表示したり、ＬＥＤを緑色で点滅させたりする（Ｓ３４７）。

音声認識処理部３０５は、音声認識処理（Ｓ３４３）を完了すると、認識した内容をもとに応答を生成する（Ｓ３４６）。図３Ｂの例の応答は、先に説明した２種類の応答のうち、音声データによる応答である。音声認識処理部３０５は、応答の生成を完了するとその応答を対話型電子装置３０４に送信する（Ｓ３４８）。応答を受信した対話型電子装置３０４は、受信した応答の内容を携帯端末３０２に送信する（Ｓ３４９）。応答を受信した携帯端末３０２は、スピーカーを通じてその応答の内容を音声として出力する。これにより携帯端末３０２のユーザ３０１は、発話（Ｓ３４０）に対する応答を聞くことができる。また携帯端末３０２は、この応答の内容を音声として出力中である旨を、ユーザ３０１に分かるように、例えば表示画面に音声認識処理中の旨を表示したり、ＬＥＤを緑色で点滅させたりする（Ｓ３５０）。

なお携帯端末３０２は、Ｓ３１５、Ｓ３１７、Ｓ３２５、Ｓ３３０、Ｓ３３２の各ステップでユーザ３０１に分かるように、例えば表示画面に各状態を示す映像を表示したり、ＬＥＤを特性の色やパターンで制御することができる。これによりユーザ３０１は、各ステップにおける処理が成功したのか失敗したのか都度分かるため、処理がどうなったのか不安に思うことがなくなる。

先に説明したように、音声認識処理部１０４が生成する応答は、コマンドによる応答であってもよい。

図３Ｃおよび図３Ｄは、図３Ａおよび図３Ｂに対して、音声認識処理部３０５が生成する応答の種類が、コマンドによる応答の場合の処理フローである。図３Ｃおよび図３Ｄの処理のうちＳ３４７の処理までは、図３Ａおよび図３Ｂと同一番号の処理は同一である。Ｓ３７０で囲まれたＳ３４６−２以降の一連の処理が、図３Ａおよび図３Ｂの処理と異なり、コマンドによる応答の生成、およびそのコマンドによる応答にもとづいてデバイスの制御を行う処理の処理フローである。

図３Ｄの発話３４０において、携帯端末３０２のユーザ３０１が例えば、「Ｐｌａｙ Ｍｕｓｉｃ」と発話したとする。この場合、図３Ｄの発話３４０に対する音声認識処理３４３において「Ｐｌａｙ Ｍｕｓｉｃ」と認識すると音声認識処理部３０５は、対話型電子装置３０４の周辺電子機器である映像記録再生機器１３２（図１Ａ参照）に対して音楽データの送信を要求するコマンド生成する（Ｓ３４６−２）。コマンドの生成が完了すると、音声認識処理部３０５は、生成したコマンドをデバイス制御要求として対話型電子装置３０４に送信する（Ｓ３４８−２）。デバイス制御要求を受信（Ｓ３５１）した対話型電子装置３０４は、デバイス制御要求を受け付けた旨の通知であるデバイス制御要求受付を音声認識処理部３０５に送信する（Ｓ３５３）とともに、受信したデバイス制御要求の内容に従って周辺電子機器である映像記録再生機器１３２に対して音楽データの送信を要求するコマンドを送信する（Ｓ３５５）。同時に対話型電子装置３０４は、映像記録再生機器１３２を制御している旨を携帯端末３０２に通知する（Ｓ３５２）。通知を受信した携帯端末３０２は、映像記録再生機器１３２が正しく制御されていることがユーザ３０１に分かるように、例えば携帯端末３０２の表示画面に映像記録再生機器１３２の制御の様子を表示したり、ＬＥＤを緑色で点灯させたりする（Ｓ３５４）。

図３Ｃのシーケンスの例では制御対象のデバイスが、映像記録再生機器１３２である。この例では、Ｓ３５５で送信した音楽データの送信を要求するコマンドに対応して、映像記録再生機器１３２は、該当する音楽データを対話型電子装置３０４に送信する（Ｓ３５６）。該当する音楽データを受信した対話型電子装置３０４は、受信した音楽データをデコードし（Ｓ３５７）、そのデコードした結果をネットワーク１０６を介して、携帯端末３０２に送信する（Ｓ３５８）。デコードされた音楽データを受信した携帯端末３０２は、携帯端末３０２のスピーカーから受信した音楽データを出力する。これにより携帯端末３０２のユーザは、発話（Ｓ３４０）に対する音楽を視聴することを可能となる。

なお携帯端末３０２は、Ｓ３１５、Ｓ３１７、Ｓ３２５、Ｓ３３０、Ｓ３３２の各ステップでユーザ３０１に分かるように、例えば表示画面に各状態を示す映像を表示したり、ＬＥＤを特性の色やパターンで制御することができる。これによりユーザ３０１は、各ステップにおける処理が成功したのか失敗したのか都度分かるため、処理がどうなったのか不安に思うことがなくなる。

図３Ａから図３Ｄの例は、ネットワーク１０６を介してサービスサーバ１０２を経由して携帯端末３０２と対話型電子装置３０４がデータのやり取りをする場合である。しかし、携帯端末３０２と対話型電子装置３０４が、例えば近距離無線通信システムであるＢｌｕｅｔｏｏｔｈやＷｉ−Ｆｉ Ｄｉｒｅｃｔを介して、直接接続されていてもよい。この場合アカウント管理部３０３は、対話型電子装置３０４の中に存在していてもよい。

図３Ｅおよび図３Ｆは、携帯端末３０２と対話型電子装置３０４が、近距離無線通信システムで直接接続されている場合に、携帯端末３０２のユーザが、携帯端末３０２のマイクに向かって発話して、マイクが収集した音声データを本システムで処理する場合の処理フローである。

図３Ｅの場合、アカウント管理部に相当する機能は、対話型電子装置３０４の中に含まれている。したがって図３ＥのＳ３１０からＳ３１７の処理は、図３Ａの処理と比較して、携帯端末３０２と対話型電子装置３０４（アカウント管理機能を含む）の間で認証処理を行う点が相違点である。認証が成功し、ユーザ３０１が音声認識アイコンをタップ（Ｓ３２０）した以降は、携帯端末３０２と対話型電子装置３０４との間のやり取りは、アカウント管理部３０３を経由しないだけで、図３Ａおよび図３Ｂの処理と基本的には同じである。以降、図３Ｅおよび図３Ｆの処理フローを詳細に説明する。

図３Ｅの携帯端末３０２のユーザ３０１は、対話型電子装置制御システムの正当な利用者であることを認証してもらうために、携帯端末３０２の表示画面に表示されているアクセスアプリケーションのアカウントおよびパスワードの入力画面において、アカウントとパスワードを入力する（Ｓ３１０）。入力されたアカウントおよびパスワードは、近距離無線通信システムを介して携帯端末３０２から対話型電子装置３０４のアカウント管理機能に送られる（Ｓ３１１−３）。アカウントおよびパスワードを受信した対話型電子装置３０４のアカウント管理機能は、受信したアカウントおよびパスワードを用いて認証を行う（Ｓ３１２）。

認証の結果、認証ＮＧ（Ｓ３１３−３のＮｏの場合）であればその結果を、近距離無線通信システムを介して携帯端末３０２に送信する（Ｓ３１４−３）。認証ＮＧの結果を受信した携帯端末３０２は、認証した結果がＮＧであることがユーザ３０１に分かるように、例えば表示画面に認証ＮＧの旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３１５）。

認証の結果、認証ＯＫ（Ｓ３１３−３のＹｅｓの場合）であればその結果を、携帯端末３０２に送信する（Ｓ３１６−３）。認証ＯＫの結果を受信した携帯端末３０２は、認証の結果がＯＫであることがユーザ３０１に分かるように、例えば表示画面に認証ＯＫの旨を表示したり、ＬＥＤを青色で点灯させたりする（Ｓ３１７）。

認証がＯＫであることを認識したユーザ３０１は、対話型電子装置制御システムを用いて発話による音声認識処理を行うために、音声認識アイコンをタップする（Ｓ３２０）。音声認識アイコンがタップされたことを認識した携帯端末３０２は、近距離無線通信システムを介して対話型電子装置３０４に対して音声データを通すための通話確立要求を送信する（Ｓ３２１−３）。通話確立要求を受信した対話型電子装置３０４は、以降携帯端末３０２との間で近距離無線通信システムを介して通話確立のための接続処理を行う（Ｓ３２２−３）。接続処理が終了すると、対話型電子装置３０４から携帯端末３０２に、接続応答が通知される（Ｓ３２３−３）。携帯端末３０２は、接続応答を受信するとそのステータスを確認する。

ステータスを確認した結果、接続が失敗していることが判明した場合（Ｓ３２４−３のＮｏ）、携帯端末３０２は、通話確立で失敗したことにより音声認識を行うことができな旨をユーザ３０１に分かるように、例えば表示画面に接続失敗の旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３２５）。

ステータスを確認した結果、接続が成功していることが判明した場合（Ｓ３２４−３のＹｅｓ）、携帯端末３０２は、音声認識開始トリガを近距離無線通信システムを介して対話型電子装置３０４に送信する（Ｓ３２６−３）。

音声認識開始トリガを受信した対話型電子装置３０４は、音声認識処理部３０５との間で、携帯端末３０２から入力された音声データに対して音声認識処理を行う音声認識サービスの準備を行う（Ｓ３２７）。音声認識サービスの準備が終了すると、対話型電子装置３０４は、準備が終了した時のステータスを確認する（Ｓ３２８−３）。

ステータスを確認の結果、準備に失敗していることが判明した場合（Ｓ３２８−３のＮｏ）、対話型電子装置３０４は、音声認識サービスの準備が失敗したことを携帯端末３０２に通知する（Ｓ３２９−３）。音声認識サービスの準備が失敗した通知を受け取った携帯端末３０２は、音声認識サービスの準備が失敗したことにより音声認識を行うことができな旨をユーザに分かるように、例えば表示画面に接続失敗の旨を表示したり、ＬＥＤを赤色で点滅させたりする（Ｓ３３０）。

ステータスを確認の結果、準備に成功していることが判明した場合（Ｓ３２８−３のＹｅｓ）、対話型電子装置３０４は、音声認識サービスの準備が成功したことを携帯端末３０２に通知する（Ｓ３３１−３）。音声認識サービスの準備が成功した通知を受け取った携帯端末３０２は、音声認識サービスの準備が成功し、音声認識させたい内容を発話してよい状態になったことをユーザ３０１に分かるように、例えば表示画面に発話許可の旨を表示したり、ＬＥＤを青色で点灯させたりする（Ｓ３３２）。

Ｓ３３２の発話許可の旨を確認した携帯端末３０２のユーザ３０１は、携帯端末３０２のマイクに向かって、対話型電子装置制御システムに音声認識させたい内容の発話を行う（Ｓ３４０）。携帯端末３０２のユーザ３０１が発話した内容は、携帯端末３０２のマイクで収集され、音声データとして対話型電子装置３０４に送信される。以降携帯端末３０２と対話型電子装置３０４の間で発話処理が行われる（Ｓ３４１−３）。

携帯端末３０２より送られてきた音声データを受信した対話型電子装置３０４は、音声認識処理部３０５との間でデータのやり取りを行い（Ｓ３４２）、携帯端末３０２のユーザ３０１が発話した内容に対する音声認識処理を行う（Ｓ３４３）。音声認識処理部３０５は、音声認識処理を行う（Ｓ３４３）過程で、処理中であることを示す処理中通知を対話型電子装置３０４に送信する（Ｓ３４４）。処理中通知を受信した対話型電子装置３０４は、受信した処理中通知の内容を携帯端末３０２に送信する（Ｓ３４５−３）。処理中通知を受信した携帯端末３０２は、発話（Ｓ３４０）に対する音声認識処理が行われていることがユーザ３０１に分かるように、例えば表示画面に音声認識処理中の旨を表示したり、ＬＥＤを緑色で点滅させたりする（Ｓ３４７）。

音声認識処理部３０５は、音声認識処理（Ｓ３４３）を完了すると、認識した内容をもとに応答を生成する（Ｓ３４６）。図３Ｆの例の応答は、先に説明した２種類の応答のうち、音声データによる応答である。音声認識処理部３０５は、応答の生成を完了するとその応答を対話型電子装置３０４に送信する（Ｓ３４８）。応答を受信した対話型電子装置３０４は、受信した応答の内容を携帯端末３０２に送信する（Ｓ３４９−３）。応答を受信した携帯端末３０２は、スピーカーを通じてその応答の内容を音声として出力する。これにより携帯端末３０２のユーザ３０１は、発話（Ｓ３４０）に対する応答を聞くことができる。また携帯端末３０２は、この応答の内容を音声として出力中である旨を、ユーザ３０１に分かるように、例えば表示画面に音声認識処理中の旨を表示したり、ＬＥＤを緑色で点滅させたりする（Ｓ３５０）。

なお携帯端末３０２は、Ｓ３１５、Ｓ３１７、Ｓ３２５、Ｓ３３０、Ｓ３３２の各ステップでユーザ３０１に分かるように、例えば表示画面に各状態を示す映像を表示したり、ＬＥＤを特性の色やパターンで制御することができる。これによりユーザ３０１は、各ステップにおける処理が成功したのか失敗したのか都度分かるため、処理がどうなったのか不安に思うことがなくなる。

図３Ｇは、ユーザＣ３０１−４が対話型電子装置３０４に対して直接発話して、対話型電子装置３０４のマイクが収集した音声データを対話型電子装置制御システムで処理する場合の処理フローである。

ユーザＣ３０１−４が対話型電子装置３０４に対して直接発話して音声認識処理を要求する場合、ユーザＣ３０１−４は対話型電子装置３０４に対してトリガボイスと呼ばれるある決められたキーワードを発する必要がある。（３２６−４）。これは図３Ａの音声認識開始要求（Ｓ３２０）に相当する。

トリガボイスを受信した対話型電子装置３０４は、音声認識処理部３０５との間で、対話型電子装置３０４から入力された音声データに対して音声認識を行うための音声認識サービスの準備を行う（Ｓ３２７）。音声認識サービスの準備が終了すると、対話型電子装置３０４は、準備が終了した時のステータスを確認する（Ｓ３２８−４）。

ステータスを確認の結果、準備が失敗していることが判明した場合（Ｓ３２８−４のＮｏ）、対話型電子装置３０４は、音声認識サービスの準備が失敗したことにより音声認識を行うことができな旨をユーザＣ３０１−４に分かるように、例えばＬＥＤを赤色で点滅させたりする（Ｓ３２９−４）。

ステータスを確認の結果、準備が成功していることが判明した場合（Ｓ３２８−４）のＹｅｓ）、対話型電子装置３０４は、音声認識サービスの準備が成功し、音声認識させたい内容を発話してよい状態になったことをユーザＣ３０１−４に分かるように、例えばＬＥＤを青色で点灯させたりする（Ｓ３３１−４）。

Ｓ３３１−４の発話許可の旨を確認した対話型電子装置３０４のユーザＣ３０１−４は、対話型電子装置３０４のマイクに向かって、対話型電子装置制御システムに音声認識させたい内容の発話を行う（Ｓ３４０）。ユーザＣ３０１−４が発話した内容は、対話型電子装置３０４のマイクで収集される。

発話した内容をマイクで収集した対話型電子装置３０４は、音声認識処理部３０５との間で、収集した発話した内容に対する音声認識処理を行う（Ｓ３４３）。音声認識処理部３０５は、音声認識処理を行う（Ｓ３４３）過程で、処理中であることを示す処理中通知を対話型電子装置３０４に送信する（Ｓ３４４）。処理中通知を受信した対話型電子装置３０４は、発話に対する音声認識処理が行われていることがユーザＣ３０１−４に分かるように、例えばＬＥＤを緑色で点滅させたりする（３４７−４）。

音声認識処理部３０５は、音声認識処理（Ｓ３４３）を完了すると、認識した内容をもとに応答を生成する（Ｓ３４６）。図３Ｇの例の応答は、先に説明した２種類の応答のうち、音声データによる応答である。音声認識処理部３０５は、応答の生成を完了するとその応答を対話型電子装置３０４に送信する（Ｓ３４８）。応答を受信した対話型電子装置３０４は、スピーカーを通じてその応答の内容を音声として出力する。これにより対話型電子装置３０４のユーザＣ３０１−４は、発話（Ｓ３４０）に対する応答を聞くことができる。

なお、図３Ａから図３Ｆで示した携帯端末３０１のマイクから入力された音声に対する音声認識処理と、図３Ｇで示した対話型電子装置３０４のマイクから入力された音声に対する音声認識処理は、音声認識処理部３０５においてそれぞれ独立に行われる。従って、対話型電子装置３０４に対面して発話するユーザ３０１−４、携帯端末３０１のマイクに発話するユーザ３０１は、それぞれ任意のタイミングで発話することが可能である。これに対話型電子装置３０４に対面して発話するユーザＣ３０１−４および携帯端末３０１のマイクに発話するユーザ３０１等は、お互い発話のタイミングを気にすることがないため使い勝手がよい。

なお携帯端末３０２は、Ｓ３１５、Ｓ３１７、Ｓ３２５、Ｓ３３０、Ｓ３３２の各ステップでユーザ３０１に分かるように、例えば表示画面に各状態を示す映像を表示したり、ＬＥＤを特性の色やパターンで制御することができる。これによりユーザ３０１は、各ステップにおける処理が成功したのか失敗したのか都度分かるため、処理がどうなったのか不安に思うことがなくなる。

以上のように対話型電子装置制御システムは、対話型電子装置１１０に対面するユーザが発した発話の音声データを、マイク１１３から入手することができることに加えて、認証による正当な対話型電子装置制御システムの利用者であるの確認を受けた携帯端末１０１を持つユーザが発した発話の音声データを、携帯端末１０１にマイクから入手することが可能となる。また対話型電子装置１１０のマイクに直接入力された音声の音声認識処理と、携帯端末１０１のマイクから入力された音声の音声認識処理は、それぞれ独立して処理されることから、対話型電子装置３０４に対面して発話するユーザ、携帯端末１０１のマイクに発話するユーザは、それぞれ任意のタイミングで発話することが可能である。また、携帯端末１０１のマイクに発話するユーザは、対話型電子装置１１０からの距離を意識する必要がなくなる。これにより、対話型電子装置制御システムの利便性が格段に向上する。

また携帯端末３０１のユーザは、対話型電子装置３０４の近傍にいても遠距離にいても、本システムの音声認識処理を使用することができる。携帯端末３０１のユーザが対話型電子装置３０４の近傍にいて、直接対話型電子装置３０４のマイクに発話できる状態にある場合もある。しかし対話型電子装置３０４の近傍には他のユーザも居て雑然としている場合、携帯端末３０１のユーザは、あえて携帯端末のマイクに発話して、携帯端末のマイクに発話した内容を収集させることで、確実に対話型電子装置制御システムに音声認識処理をさせることも可能である。
（第２の実施形態）
第２の実施形態の対話型電子装置制御システムは、複数のユーザの複数の携帯端末から対話型電子装置制御システムに、各携帯端末の音声入力部（例えばマイク）を用いて音声を入力する場合、互いに任意のタイミングで音声を入力することができる対話型電子装置制御システムである。

図４Ａ、図４Ｂおよび図４Ｃは、対話型電子装置制御システムに接続された携帯端末Ａ４０２および携帯端末Ｂ４０２−２の各々の所有者であるユーザＡ４０１およびユーザＢ４０１−２が、任意のタイミングで各々が所有する携帯端末Ａ４０２および携帯端末Ｂ４０２−２のマイクに発話して、各々のマイクで収集した音声データを本システムで処理する場合の処理フローである。なお、複数のユーザの複数の携帯端末から対話型電子装置制御システムにアクセスする場合も、図３ＡのＳ３１０からＳ３１７に示した対話型電子装置制御システムの正当な利用者であることを認証する処理は、同様に各々の携帯端末において行うが、図４Ａの処理フローの記載は省略してある。

携帯端末Ａ４０２の所有者であるユーザＡ４０１が、音声認識処理の開始を要求する音声認識アイコンをタップ（Ｓ４２０）した以降、携帯端末Ａ４０２に関連する処理はＳ４２０からＳ４５０である。この処理は、対話型電子装置制御システムに１台しか接続されていない場合の処理フローである図３Ａと同一である。

一方携帯端末Ｂ４０２−２のユーザＢ４０１−２が、音声認識処理の開始を要求する音声認識アイコンをタップ（Ｓ４２０−２）した以降、携帯端末Ｂ４０２−２に関連する処理はＳ４２０−２からＳ４５０−２である。

図４Ａ、図４Ｂおよび図４Ｃのシーケンスの例では、携帯端末Ａ４０２に関連する処理であるＳ４２０からＳ４５０の処理と、携帯端末Ｂ４０２−２に関連する処理であるＳ４２０−２からＳ４５０−２の処理は、時間的に近接して先行で行われているため、音声認識サービスの準備の処理（Ｓ４２７）に対応して、ユーザＢ４０１−２の発話に対する音声認識サービスの準備の処理を再度行う必要が無い。このユーザＢ４０１−２の発話に対する音声認識サービスの準備の処理を省略している点以外は、携帯端末Ａ４０２に関連する処理であるＳ４２０からＳ４５０の処理と携帯端末Ｂ４０２−２に関連する処理であるＳ４２０−２からＳ４５０−２の処理は、同一の処理である。つまり、例えば携帯端末Ａに関連する通話確立要求Ｓ４２１と携帯端末Ｂに関連する通話確立要求Ｓ４２１−２は、同一の処理である。なお、携帯端末Ａ４０２に関連する処理であるＳ４２０からＳ４５０の処理と、携帯端末Ｂ４０２−２に関連する処理であるＳ４２０−２からＳ４５０−２の処理が時間的に離れている場合は、例えば、ユーザＢ４０１−２の発話に対する音声認識サービスの準備の処理を再度行っても良い。

図４Ｂに示すように、携帯端末Ａ４０２のユーザＡ４０１の発話（Ｓ４４０）と携帯端末Ｂ４０１−２のユーザＢ４０２−２の発話（Ｓ４４０−２）は、それぞれ発話された順に独立に音声認識処理（Ｓ４４３、Ｓ４４３−２）および応答の生成（Ｓ４４６、Ｓ４４６−２）が行われる。

このように複数の携帯端末が対話型電子装置制御システムに接続されている場合、各々の携帯端末（携帯端末Ａ４０２、携帯端末Ｂ４０２−２）から任意のタイミングで入力された音声データ（Ｓ４４１、Ｓ４４１−２）は、音声認識処理部５０５でそれぞれ独立に音声認識処理（Ｓ４４３、Ｓ４４３−２）される。音声認識処理部４０５は、入力された各々の音声データを音声認識処理した内容をもとに各々の応答を生成する（Ｓ４４６、Ｓ４４６−２）。生成された各々の応答は、対話型電子装置４０４から、音声データが入力された各々の携帯端末（４０２、４０２−２）に送信される（Ｓ４４９、Ｓ４４９−２）。

以上のように複数の携帯端末の各々所有者が発話する場合、他の携帯端末の所有者の発話のタイミングも意識する必要がなく任意のタイミングで発話することが可能で、どの場所からも任意のタイミングで発話することが可能である。これにより携帯端末の各ユーザが対話型電子装置制御システムにアクセスする場合の利便性が、格段に向上する。

図４Ａ、図４Ｂおよび図４Ｃの例は、複数の携帯端末から入力された各々の音声データに対し音声認識処理により生成した各々の応答を、音声データが入力された携帯端末に送信する例であるが、これに限らない。例えば、音声認識アイコンをタップして音声認識処理を複数の携帯端末が要求しているとする。この場合は、各々の携帯端末から入力された音声データに対し、音声認識処理により生成した各々の応答を、音声認識処理を要求しているすべての携帯端末に送信してもよい。図４Ａ、図４Ｂおよび図４Ｃの例では、携帯端末Ａ４０２が音声認識処理の要求を開始（Ｓ４２０）した以降のすぐのタイミングで、携帯端末Ｂ４０２−２が音声認識処理の要求の開始（Ｓ４２０−２）を行った場合である。この場合は、携帯端末Ａ４０２への応答を、携帯端末Ａ４０２に送信する（Ｓ４４９）だけでなく、携帯端末Ｂ４０２−２にも送信しても良い。同様に携帯端末Ｂ４０２−２への応答を、携帯端末Ｂ４０２−２に送信する（Ｓ４４９−２）だけでなく、携帯端末Ａ４０２にも送信しても良い。

複数の携帯端末から入力された各々の音声データに対し音声認識処理により生成した各々の応答の種類は、それその携帯端末から入力された音声データの内容に応じて、音声データによる応答、コマンドによる応答のいずれであってもよい。
（第３の実施形態）
第３の実施形態の対話型電子装置制御システムは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、携帯端末から入力された音声データに応じて制御するデバイスの種類および同じデバイスを制御する場合でも制御内容を変えることが可能な対話型電子装置制御システムである。

アカウントごとに制御することが可能なデバイスに関する情報は、対話型電子装置１１０で管理されアカウント管理エリア１１１−１２に保存される。対話型電子装置１１０は、アクセスしてきた携帯端末１０１が用いたアカウントにより制御可能なデバイスを切り換える。また、アカウントごとに制御することが可能なデバイスに関する情報は、対話型電子装置１１０を操作することで見ることも可能である。

図５Ａは、携帯端末１０１から入力された音声データに応じて制御することができるデバイスを、アカウントごとに対応付けた一覧である。この一覧の情報は、アカウント管理エリア１１１−１２に保存され、対話型電子装置１１１を操作することで見ることが可能である。

図５Ａは、例えばアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、そのユーザが発話して制御できるデバイスはＴＶ（録画予約）、エアコン、玄関開閉、給湯（風呂）であることを表している。同様に、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末は、そのユーザが発話して制御できるデバイスはＴＶ（録画予約）、エアコンであることを表している。またアカウントｄ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末は、そのユーザが発話して制御できるデバイスは存在しないことを表している。

図５Ｂは、携帯端末１０１から入力された音声データに応じて、同じデバイスにおいて制御できる機能を、アカウントごとに対応付けた一覧である。この一覧の情報は、アカウント管理エリア１１１−１２に保存され、対話型電子装置１１１を操作することで見ることが可能である。

図５Ｂは、例えばアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、そのユーザが発話して映像記録再生機器１３２のＴＶ（録画予約）の機能を制御して、全ての番組の予約が可能（予約済みの番組の再予約（書換え）も可能）であることを示している。またアカウントｄ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末は、そのユーザが発話して映像記録再生機器１３２のＴＶ（録画予約）をすることができないことを示している。

図５Ｃは、携帯端末から入力された音声データに対する応答の出力先を、アカウントごとに対応付けた一覧である。この一覧の情報は、アカウント管理エリア１１１−１２に保存され、対話型電子装置１１１を操作することで見ることが可能である。

先に説明したように、応答が音声データによる応答の場合、基本的にはユーザの発話を収集したマイクを有する携帯端末１０１が管理するスピーカーに出力するが、出力先のスピーカーを変えることが可能である。

図５Ｃは、例えばアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、ユーザの発話を収集したマイクを有する携帯端末１０１が管理するスピーカーにだけ応答を出力することを示している。またアカウントｄ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、ユーザの発話を収集したマイクを有する携帯端末１０１が管理するスピーカーに、応答を出力することに加えて対話型電子装置１１０が管理するスピーカーにも応答を出力することを示している。

またアカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、ユーザの発話を収集したマイクを有する携帯端末１０１が管理するスピーカーに出力するが、さらにコマンドによる応答の場合は、コマンドによる応答の内容を音声による読み上げて出力することを示している。例えば高齢者にとって、コマンドによる応答の内容を、音声により読み上げることは非常に利便性がある。

以上のように第３の実施形態の対話型電子装置制御システムは、アクセスしてきた携帯端末が用いたアカウントにより、制御できるデバイスを変えたり、同じデバイスでも制御できる内容を変えたり、出力先を変えたりすることができる。
（第４の実施形態）
第４の実施形態の対話型電子装置制御システムは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、権限を設定することができる対話型電子装置制御システムである。また設定した権限に応じて、制御できるデバイスを変えたり、同じデバイスでも制御できる内容を変えたりすることができる対話型電子装置制御システムである。

図２に示した手順で登録された携帯端末は、さらに権限を設定することができる。権限は、例えばＡｄｍｉｎｉｓｔｒａｔｏｒ（Ａｄｍｉｎｉ）、Ｎａｔｉｖｅ１、Ｎａｔｉｖｅ２、Ｇｕｅｓｔ、というように複数の種類があってもよい。権限は、例えばコマンドによる応答で制御可能なデバイスの種類を決めるのに用いても良い。また、同じデバイスでも制御できる内容を変えるのに用いても良い。

例えば、Ａｄｍｉｎｉｓｔｒａｔｏｒは、デバイスを一番広く制御することができる権限である。Ｎａｔｉｖｅは、家屋１０５に居住する家族が所有するアカウントに与えられる権限である。Ａｄｍｉｎｉｓｔｒａｔｏｒに準じてデバイスを制御することが可能な権限である。Ｇｕｅｓｔは、家屋１０５に居住する家族以外が所有するアカウントに与えられる権限である。Ｎａｔｉｖｅは、Ｎａｔｉｖｅ１とＮａｔｉｖｅ２に分かれていてもよく、デバイスを制御できる範囲が異なっていても良い。Ｎａｔｉｖｅ２は、例えば、普段は下宿先に居て、子供や週末だけ実家に帰ってくる家族に与えてもよい。

設定された権限は、対話型電子装置１１０で管理され、対話型電子装置１１０が権限により制御可能なデバイスを切り換える。

アカウントごとの権限により、制御が可能なデバイスに関する情報は、対話型電子装置１１０で管理されアカウント管理エリア１１１−１２に保存される。また、アカウントごとの権限により、制御が可能なデバイスに関する情報は、対話型電子装置１１１を操作することで見ることも可能である。

図６Ａは、携帯端末から入力された音声データに応じて制御することができるデバイスを、権限ごとに対応付けた一覧である。この一覧の情報は、アカウント管理エリア１１１−１２に保存され、対話型電子装置１１１を操作することで見ることが可能である。

例えばアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ａｄｍｉｎｉの権限が与えられており、そのユーザが発話して制御できるデバイスはＴＶ（録画予約）、エアコン、玄関開閉、給湯（風呂）であることを表している。同様に、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ｎａｔｉｖｅ１の権限が与えられており、そのユーザが発話して制御できるデバイスはＴＶ（録画予約）、エアコンであることを表している。またアカウントｄ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ｇｕｓｅｔの権限が与えられており、そのユーザが発話して制御できるデバイスは存在しないことを表している。

図６Ｂは、携帯端末から入力された音声データに応じて、同じデバイスにおいて制御することができる機能を、権限ごとに対応付けた一覧である。この一覧の情報は、アカウント管理エリア１１１−１２に保存され、対話型電子装置１１１を操作することで見ることが可能である。

例えばアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ａｄｍｉｎｉの権限が与えられており、そのユーザが発話して映像記録再生機器１３２のＴＶ（録画予約）の機能を制御することで、全ての番組の予約が可能（予約済みの番組の再予約（書換え）も可能）であることを示している。またアカウントｄ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを用いて対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ｇｕｓｅｔの権限が与えられており、そのユーザが発話して映像記録再生機器１３２のＴＶ（録画予約）の機能を制御することができないことを示している。

以上のように第４の実施形態の対話型電子装置制御システムは、登録する携帯端末に権限を与えることにより、権限毎に対話型電子装置１１０が制御できるデバイスを変えたり、同じデバイスでも制御できる内容を変えたりすることができる。また、権限を管理することで、対話型電子装置制御システムにアクセスしてくる携帯端末ごとに、デバイスの制御の設定をする必要がなくなり、携帯端末ごとのデバイス制御の設定が容易になる。例えば、家に来た友人が所有する携帯端末を対話型電子装置制御システムにアクセスできるように設定した場合、権限を例えばＧｕｅｓｔに設定すれば、Ｇｕｅｓｔの権限で制御できるデバイスが既に設定されているため、デバイス制御の設定の煩わしさから解放される。
（第５の実施形態）
第５の実施形態の対話型電子装置制御システムは、対話型電子装置制御システムにアクセスする携帯端末が制御可能なデバイスの状態を表示画面に表示するのに、アカウントごとに、表示できる内容が異なる対話型電子装置制御システムである。

対話型電子装置制御システムが制御することが可能でデバイスは、例えばＬｉｖｉｎｇ、Ｋｉｔｃｈｅｎ、Ｂｅｄ Ｒｏｏｍの各部屋に備え付けられているデバイスとする。

対話型電子装置制御システムが制御することが可能でデバイスに対して、アカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ｌｉｖｉｎｇ、Ｋｉｔｃｈｅｎ、Ｂｅｄ Ｒｏｏｍの各部屋に備え付けられているデバイスを制御できるものとする。また、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、Ｌｉｖｉｎｇに備え付けられているデバイスの一部を制御できるもとし、他の部屋のデバイスは制御できないものとする。

図７Ａは、対話型電子装置制御システムにアクセスする携帯端末が使用するアカウントごとに、携帯端末の表示画面に表示する、制御可能なデバイスの表示の例である。図７Ａは、アカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍのアカウントを使用する携帯端末１０１の表示画面に表示される、制御可能なデバイスの表示の例である。

図７Ａ（ａ）がＬｉｖｉｎｇに備え付けられているデバイスの状態をアカウントａ＿ａａａ＠ｘｍａｉｌ．ｃｏｍのアカウントを使用する携帯端末１０１の表示画面に表示した例である。また図７Ａ（ｂ）がＫｉｔｃｈｅｎに備え付けられているデバイスの状態を携帯端末１０１の表示画面に表示した例である。また図７Ａ（ｃ）がＢｅｄ Ｒｏｏｍに備え付けられているデバイスの状態を携帯端末１０１の表示画面に表示した例である。

表示画面には、制御可能な各デバイスの制御画面にリンクが貼られたアイコンが表示されている。例えばＯｖｅｒｈｅａｄアイコン７０１は、Ｏｖｅｒｈｅａｄデバイスの制御画面にリンクが貼られている。またＦｌｏｏｒＬａｍｐアイコン７０２は、ＦｌｏｏｒＬａｍｐデバイスの制御画面にリンクが貼られている。またＨｕｍｉｄｉｔｙアイコン７０４は、Ｈｕｍｉｄｉｔｙデバイスの制御画面にリンクが貼られている。またＢｒｉｇｈｔｎｅｓｓアイコン７０５は、Ｂｒｉｇｈｔｎｅｓｓデバイスの制御画面にリンクが貼られている。またＣｅｉｌｉｎｇＦａｎｓアイコン７０８は、ＣｅｉｌｉｎｇＦａｎｓデバイスの制御画面にリンクが貼られている。またＤｏｏｒＬｏｃｋアイコン７０９は、ＤｏｏｒＬｏｃｋデバイスの制御画面にリンクが貼られている。これらのアイコンを携帯端末１０１のユーザがタップすると、各々のデバイスの制御画面に遷移する。

図７Ａ（ａ）、図７Ａ（ｂ）、図７（ｃ）の各表示画面の表示の内容は、例えば携帯端末１０１の表示画面エリアを横方向にスワイプすることで、切り換えることが可能である。

一方図７Ｂは、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１の表示画面に表示されているＬｉｖｉｎｇに備え付けられているデバイスの状態を示した図である。アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１の表示画面には、Ｌｉｖｉｎｇに備え付けられているデバイスの状態しか表示されない。従って、例えば携帯端末１０１の表示画面は、表示画面エリアを横方向にスワイプしても、ＫｉｔｃｈｅｎやＢｅｄ Ｒｏｏｍに備え付けられているデバイスの状態の表示画面の表示に切り換わることはない。

さらに、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１は、動作を制御可能なデバイスが、例えばＯｖｅｒｈｅａｄアイコン７１１のデバイス、ＦｌｏｏｒＬａｍｐアイコン７１２のデバイス、Ｈｕｍｉｄｉｔｙアイコン７１４のデバイス、Ｂｒｉｇｈｔｎｅｓｓアイコン７１５のデバイス、ＣｅｉｌｉｎｇＦａｎｓアイコン７１８のデバイス、ＤｏｏｒＬｏｃｋアイコン７１９のデバイスであるとする。Ｔｅｍｐｅｒａｔｕｒｅアイコン７１３のデバイス、Ｍｏｔｉｏｎアイコン７１６のデバイス、Ｔｈｅｒｍｏｓｔａｔアイコン７１７のデバイスは、携帯端末１０１が動作を制御することはできないが、各デバイスの動作状態を確認することはできるものとする。

この場合、携帯端末１０１の表示画面に表示させる各デバイスのアイコンのうち、例えば制御可能なデバイスのアイコンであるＯｖｅｒｈｅａｄアイコン７１１のデバイス、ＦｌｏｏｒＬａｍｐアイコン７１２のデバイス、Ｈｕｍｉｄｉｔｙアイコン７１４、Ｂｒｉｇｈｔｎｅｓｓアイコン７１５、ＣｅｉｌｉｎｇＦａｎｓアイコン７１８、ＤｏｏｒＬｏｃｋアイコン７１９は、アイコンの輪郭を際立たせて制御可能であることをユーザに示しても良い。また例えば、制御することは不可能であるが動作状態を確認することは可能であるデバイスのアイコン、Ｔｅｍｐｅｒａｔｕｒｅアイコン７１３、Ｍｏｔｉｏｎアイコン７１６、Ｔｈｅｒｍｏｓｔａｔアイコン７１７は、各アイコンの輪郭をぼかして制御することが不可能であるが動作状態を確認することは可能であることをユーザに示しても良い。

図７Ｃは、アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１の表示画面に表示されているＬｉｖｉｎｇに備え付けられているデバイスの状態を示した別の例である。

アカウントｂ＿ａａａ＠ｘｍａｉｌ．ｃｏｍを使用して対話型電子装置制御システムにアクセスしてきた携帯端末１０１の表示画面には、制御可能なデバイスのアイコンであるＯｖｅｒｈｅａｄアイコン７１１のデバイス、ＦｌｏｏｒＬａｍｐアイコン７１２のデバイス、Ｈｕｍｉｄｉｔｙアイコン７１４、Ｂｒｉｇｈｔｎｅｓｓアイコン７１５、ＣｅｉｌｉｎｇＦａｎｓアイコン７１８、ＤｏｏｒＬｏｃｋアイコン７１９だけを表示してもよい。

図７Ａ、図７Ｂおよび図７Ｃの例は、対話型電子装置制御システムにアクセスする携帯端末が制御可能なデバイスの状態を表示画面に表示させるのに、アカウントごとに表示内容を変える例であるが、それ以外に、権限ごとに、携帯端末の表示画面に表示させる表示内容を変えても良い。

図５Ａから図５Ｃの例で示したように、アカウントごとで制御可能なデバイスに関する情報は、対話型電子装置１１０で管理されている。したがって、各携帯端末は、各アカウントにおける制御可能なデバイスに関する情報を対話型電子装置１１０から取得することで、例えば図７Ａから図７Ｃに示すような表示画面に表示する制御可能なデバイスの表示内容を、制御することが可能となる。

このように対話型電子装置制御システムにアクセスする携帯端末は、使用するアカウントごとに、制御することができるデバイスに関する表示の表示内容を変えることが可能なため、ユーザは自分の携帯端末で制御可能なデバイスを簡単に確認することができる。これにより携帯端末のユーザは、携帯端末から対話型電子装置制御システムにアクセスする場合の利便性が向上する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。

また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

１０１・・・携帯端末、１０２・・・サービスサーバ、１０３・・・アカウント管理部、１０４・・・音声認識処理部、１０６・・・ネットワーク、１１０・・・対話型電子装置、１１２・・・音声出力部、１１３・・・スピーカー、１１８・・・音声取得部、１１９・・・マイク、１２０・・・Ｗｉ−Ｆｉ送受信器、１２１・・・Ｂｌｕｅｔｏｏｔｈ送受信器、１３１・・・エアコン、１３２・・・映像記録再生機器

Claims (11)

1. 入力された音声データを、音声認識サービスサーバに送信し、前記音声データを前記音声認識サービスサーバで音声認識した結果に基づき生成した応答を受信する対話型電子装置と、
   ネットワークを介して接続する携帯端末が正当な利用者であることを認証する認証管理部と
   を備える対話型電子装置制御システムであって、
   前記対話型電子装置は、
   外部から入力された第１の音声データを音声認識するために前記音声認識サービスサーバに送信すると共に、前記認証管理部で正当な利用者であることが認証された前記携帯端末からネットワークを介して入力された第２の音声データを音声認識するために前記音声認識サービスサーバに送信することが可能な、
   対話型電子装置制御システム。
2. 前記音声認識サービスサーバは、前記対話型電子装置から送られてくる、任意のタイミングで外部から前記対話型電子装置に入力された前記第１の音声データと、任意のタイミングで前記携帯端末から前記ネットワークを介して前記対話型電子装置に入力された前記第２の音声データとを、各々独立に音声認識することが可能な、請求項１に記載の対話型電子装置制御システム。
3. 前記音声認識サービスサーバは、前記対話型電子装置から送られてくる、任意のタイミングで外部から前記対話型電子装置に入力された前記第１の音声データと、任意のタイミングで前記携帯端末から前記ネットワークを介して前記対話型電子装置に入力された前記第２の音声データとを、各々独立に音声認識した結果にもとづき、各々独立に前記第１の音声データに対する第１の応答および前記第２の音声データに対する第２の応答を作成することが可能な、請求項２に記載の対話型電子装置制御システム。
4. 前記第１の応答および前記第２の応答は、音声データからなる応答、前記対話型電子装置が制御するデバイスを動作させるコマンドからなる応答、の少なくともいずれか一方を含む、請求項３に記載の対話型電子装置制御システム。
5. 前記認証管理部は、前記ネットワークを介して前記第２の音声データを送るために接続する複数の前記携帯端末に対して、正当な利用者であることを認証することが可能な、請求項１に記載の対話型電子装置制御システム。
6. 前記対話型電子装置は、前記ネットワークを介して前記第２の音声データを送るために接続する前記携帯端末の、前記接続の際に使用するアカウントにより、前記携帯端末が制御できるデバイスの種類およびまたは制御の内容をかえることが可能な、請求項１に記載の対話型電子装置制御システム。
7. 前記対話型電子装置は、前記ネットワークを介して前記第２の音声データを送るために接続する前記携帯端末の、接続の際に使用するアカウントに付与される権限により、前記携帯端末が制御できるデバイスの種類およびまたは制御の内容をかえることが可能な、請求項１に記載の対話型電子装置制御システム。
8. マイクより入力された音声の第１の音声データを受信する第１の受信部と、
   ネットワークを介して送られてきた第２の音声データを受信する第２の受信部と、
   前記第１の受信部および前記第２の受信部を制御する制御部と、
   を有し、
   前記制御部は、前記第１の受信部で受信した前記第１の音声データと前記第２の受信部で受信した前記第２の音声データとを、それぞれ個別に音声認識サービスサーバに送信し、
   前記音声認識サービスサーバから送られてくる前記第１の音声データに対する第１の応答と前記第２の音声データに対する第２の応答とを、それどれ独立に処理する
   対話型電子装置。
9. 前記第２の音声データは、正当な利用者である認証を受けた携帯端末のマイクにより収集された音声の音声データである、請求項８に記載の対話型電子装置。
10. 前記第１の応答および前記第２の応答は、音声データからなる応答、デバイスを制御するコマンドからなる応答、の少なくともいずれか一方を含む、請求項９に記載の対話型電子装置。
11. 入力された音声データを、音声認識サービスサーバに送信し、前記音声データを前記音声認識サービスサーバで音声認識した結果に基づき生成された応答を受信する対話型電子装置制御方法であって、
    前記音声認識サービスサーバにおいて、
    前記対話型電子装置に外部から入力された第１の音声データの音声認識処理を行うと共に、ネットワークを介して接続する、正当な利用者であることが認証された携帯端末から入力された第２の音声データの音声認識処理を行うことが可能な、
    対話型電子装置制御方法。

Images