JP2001306199A

JP2001306199A - ネットワーク機器制御装置

Info

Publication number: JP2001306199A
Application number: JP2000115703A
Authority: JP
Inventors: Michiaki Mukai; 理朗向井; Susumu Seki; 進関
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-04-17
Filing date: 2000-04-17
Publication date: 2001-11-02

Abstract

(57)【要約】【課題】擬人化エージェントとの対話によりネットワ
ークに接続された複数の機器を統一的に制御することが
できるネットワーク機器制御装置を提供する。【解決手段】ホームゲートウェイ１は、電話網、イン
ターネット網等の各種ネットワーク、カメラ、マイクロ
フォン等の複数の入力のうち１系統を対話形式により選
択するマルチモーダルインターフェース２と、ネットワ
ークに接続されているネットワーク機器の情報、該機器
それぞれのコマンド情報、所有者情報などを格納する機
器制御用データベース２０と、前記マルチモーダルイン
ターフェースの出力により前記複数のネットワーク機器
のうち少なくとも１つを制御する接続機器制御手段１９
とからなる制御部３を備え、マルチモーダルインターフ
ェース２は、さらに音情報と意味理解手段１４からの意
味理解情報に基づいて相槌を打つ、応答タイミングを決
定する等の対話を促す情報を生成する対話促進手段１６
を備えて構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザと情報処理
機器との間で自然な対話を実現するマルチモーダルイン
タフェースを用いたネットワーク機器制御装置に関す
る。

【０００２】

【従来の技術】近年、音声認識技術が発展し、テレビジ
ョン受像機、ラジオ受信機、車載ナビゲーション、携帯
電話、パーソナルコンピュータ（以下、ＰＣという）等
の機器に搭載されつつある。音声認識装置は通常それぞ
れの機器の一部として内蔵されている。この音声認識装
置、手書き文字認識装置、マウス、ライトペン、タブレ
ット等のポインティングデバイスなど、複数の入力装置
をコンピュータに接続して、ユーザがその局面局面にお
いて自分にとって最も都合の良い入力装置を使って入力
できれば非常に使いやすいインタフェースとなる。この
ように複数の異なる入力モードから、ユーザが任意の入
力モードを選択し、組み合わせて自分の意図をシステム
に伝えることができるインタフェースのことをマルチモ
ーダルインタフェースという。

【０００３】また、前述の民生機器にはインターネット
の発達により、ネットワークに接続される機器も増大し
つつある。インターネットを利用するためのアクセス手
段が多様になり、ユーザがインターネットにアクセスす
るための端末やネットワークの選択肢が拡大している。
インターネットを構築するには、企業内にＬＡＮ（Loca
l Area Network）を構築し、次にインターネットとの接
続を行うという手順が一般的である。また、インターネ
ットに接続する場合の回線の種類や接続形態は、大きく
分けて、(1)自営専用線による接続、(2)公衆電話回線、
ＩＳＤＮ（Integrated Services Digital Network：サ
ービス総合デジタル網）デジタル通信モードを使用して
接続する回線交換による接続、(3)ＩＴＵ（Internation
al Telecommunication Union：国際電気通信連合）−Ｔ
で規定しているパケット交換接続やＩＳＤＮパケット交
換モードを使用するパケット交換接続がある。

【０００４】

【発明が解決しようとする課題】このような従来のネッ
トワーク機器を制御する制御装置にあっては、以下のよ
うな問題点があった。例えば、特開平２−３０２６７号
公報には、電話からの自動応答に応じて、対話入力形式
で番号・記号等を送信して機器の遠隔操作を行う遠隔操
作装置が開示されている。この方法は一般的ではあるが
入力が煩雑になる。また、家の中で使う際には別のイン
タフェースを用意する必要があり、統一的な制御ができ
ないという問題点がある。また、特開平１１−３１１９
９６号公報に記載された音声装置及び遠隔操作可能なネ
ットワーク機器は、音声認識の結果によりネットワーク
に接続された機器を制御するものである。この装置では
複数ユーザが使用することを前提としているが、認識結
果が他のユーザの命令と競合した場合にどうするかにつ
いてはまったく触れられていない。また、システムとの
やりとりも常に同じ応答の仕方をするため、ユーザはシ
ステムとのやり取りに飽きてしまい、使わなくなってし
まうという問題もある。また、状況によって機器に対す
るアクセス権を変化できるような仕組みが必要である。

【０００５】さらに、従来の電話だけでなく、マイク、
カメラを備えたＰＣ、テレビ電話、インターネットな
ど、ネットワーク機器を制御するための入力デバイスも
多様化してきているが、入力デバイスごとにシステムを
構築する必要があった。本発明は、このような課題に鑑
みてなされたものであって、擬人化エージェントとの対
話によりネットワークに接続された複数の機器を統一的
に制御することができるネットワーク機器制御装置を提
供することを目的としている。

【０００６】

【課題を解決するための手段】本発明のネットワーク機
器制御装置は、例えば各種ネットワーク、カメラ、マイ
クロフォン等の複数の入力のうち１系統を対話形式によ
り選択するマルチモーダルインターフェースと、ネット
ワークに接続されている複数のネットワーク機器の情
報、該機器それぞれのコマンド情報、所有者情報などを
格納する機器制御用データベースと、前記マルチモーダ
ルインターフェースの出力により前記複数のネットワー
ク機器のうち少なくとも１つを制御する接続機器制御手
段とを備え、前記マルチモーダルインターフェースは、
ユーザの身振り（ジェスチャ）や顔の表情等を認識する
画像認識、及び入力音声を認識する認識手段と、声の抑
揚、強さ、速さなどの音情報を獲得する音情報獲得手段
と、意味理解及びユーザごとの応答を変えるための情報
を格納する意味理解用データベースと、前記認識手段に
よる認識結果及び前記意味理解用データベースに格納さ
れたデータに基づいて意味理解を行う意味理解手段と、
前記音情報獲得手段により獲得した音情報と前記意味理
解手段からの意味理解情報に基づいて相槌を打つ、応答
タイミングを決定する等の対話を促す情報を生成する対
話促進手段と、前記意味理解手段からの応答文を音声合
成する音声合成手段と、対話相手となる擬人化エージェ
ントを合成して出力する画像生成手段と、を備えること
を特徴とする。

【０００７】このように構成された本発明のネットワー
ク機器制御装置は、自然言語による入力により、接続さ
れた機器を容易に遠隔繰作することができる。対話機能
による、認識できない部分のみを聞き返すことによりユ
ーザに不快感を与えることなく認識精度を向上させ、対
話を通じて同一ネットワーク上にある機器を操作するこ
とができる。また、意味理解手段に個人情報、時間情報
を持たせることでいろいろな対話応答が実現できる。接
続機器制御手段に個人情報に関するデータベースを接続
することで機器の選定、制御セキュリティ等を実現でき
る。インターネット等の回線を利用してネットワーク機
器のメーカー及びメンテナンス会社より該当機器の保守
を行うことができる。

【０００８】また、前記対話促進手段は、音声の強弱、
音の高低の特徴、ユーザの身振り、音声認識の結果のう
ち少なくとも２つ以上を入力とし、音声としぐさで相槌
を打つ情報を生成することで、人間と同じような応答を
実現することが可能であり、スムーズな対話を実現する
ことができる。

【０００９】また、前記意味理解用データベースは、ユ
ーザ別のアクセス方法、時間情報、ユーザ名のうち少な
くとも２つ以上を入力とし、該入力とは異なる応答情報
を出力することで、アクセス方法、時間情報、ユーザ名
などをキーとして異なった応答を生成することが可能で
あり、人間と話すようにストレスを感じない対話を実現
することができる。

【００１０】また、前記機器制御用データベースは、例
えば同一のネットワーク上に接続された機器の操作コマ
ンド及び送信手順を格納しており、前記接続機器制御手
段は、ユーザとの対話の結果から前記操作コマンドを検
索し、前記接続機器に送信することで、処理手順を考え
ることなく接続機器を制御することが可能であり、音声
対話によりネットワーク機器を制御することができる。

【００１１】また、前記機器制御用データベースは、例
えば同一のネットワーク上に接続された機器の使用制限
に関する情報を格納しており、前記接続機器制御手段
は、前記使用制限に関する情報に基づいて操作権限のな
い機器の操作を排除することで、操作権限のない機器の
操作を排除することが可能であり、安全性を確保するこ
とができる。

【００１２】また、前記機器制御用データベースは、同
一のネットワーク上に接続された機器の操作方法に関す
る情報を格納するようにし、前記接続機器制御手段は、
ユーザからの要求に応じてＣＧ映像、ビデオ映像、合成
音声のうち２つ以上を使って教示するように構成すれ
ば、使用方法がわからないユーザにその方法を教示する
ことが可能であり、新しい機器を接続してもすぐに使え
るようになる。

【００１３】

【発明の実施の形態】以下、添付図面を参照しながら本
発明の好適なネットワーク機器制御装置の実施の形態に
ついて詳細に説明する。図１は、本発明の実施の形態の
ネットワーク機器制御装置の構成を示すブロック図であ
る。ネットワーク機器制御装置として、マルチモータル
インタフェースを用いたネットワーク機器制御装置に適
用した例である。

【００１４】図１において、１はホームゲートウェイ、
２はマルチモーダルインタフェース、３は制御部、４は
音声入力デバイスであるマイクロフォン、５はＣＣＤカ
メラ等のカメラ、６はインターネット網、７はアナログ
電話網、８はＩＳＤＮ網、９は複数の接続機器である。

【００１５】ホームゲートウェイ１は、例えば音声デー
タをＬＡＮのプロトコルであるＩＰ（Internet Protoco
l）パケットに変換し、ＩＰネットワークを経由した音
声通話を実現するものである。ホームゲートウェイ１
は、上記音声データのプロトコル変換等のＩＰゲートウ
ェイを行うもので、同時接続が可能なように複数のポー
トを有する。

【００１６】特に、ホームゲートウェイ１は、個人認
証、操作機器及び操作内容の特定を行い、必要なコマン
ド体系に変換し、該当ネットワーク機器に送信する。マ
ルチモーダルインタフェース２は、インターネット網
６、アナログ電話網７、ＩＳＤＮ網８などのネットワー
ク網、ＣＣＤカメラ５、マイク４などの入力デバイスの
うち、接続要求のあった１系統を選択し、その系統から
の入力を受け付ける。

【００１７】図２は、ホームゲートウェイ１を構成する
マルチモーダルインタフェース２の構成を示す図であ
る。図２において、マルチモーダルインタフェース２
は、画像認識手段１１、言語情報以外の音情報を認識す
る音声認識手段１２、音情報獲得手段１３、意味理解手
段１４、意味理解及びユーザごとの応答を変えるための
情報を格納する対話用データベース（ＤＢ）１５（意味
理解用データベース）、対話促進手段１６、音声合成手
段１７、及び画像生成手段１８から構成される。

【００１８】画像認識手段１１は、ユーザの身振り（ジ
ェスチャ）や画像による個人認証を行う。音声認識手段
１２は、ユーザのしゃべった内容を音声認識により獲得
する。音声認識の手法としては、ヒドンマルコフモデル
（ＨＭＭ：hidden Markov model）や連続ＤＰマッチン
グによるキーワード認識などを用いる。音情報獲得手段
１３は、声の抑揚、強さ、速さなどの音情報を獲得す
る。

【００１９】意味理解手段１４は、画像認識手段１１と
音声認識手段１２の認識結果に基づいて対話用データベ
ース１５に格納した個別情報を用いて意味理解を行う。
対話促進手段１６は、言語的意味のない情報を使い、相
槌をうつ、あるいは応答のタイミングを生成するととも
に、意味理解手段１４からの応答文を音声合成手段１７
及び画像生成手段１８を使って出力する。音声合成手段
１７は、意味理解手段１４からの応答文を音声合成す
る。画像生成手段１８は、対話相手となる擬人化エージ
ェントを合成して出力する。

【００２０】図３は、ホームゲートウェイ１の制御部３
の構成を示す図である。図３において、制御部３は、マ
イクロコンピュータ等により構成され、さらに接続機器
制御手段１９、及び複数の機器制御用データベース２０
（機器制御用データベース手段）を備えて構成される。
接続機器制御手段１９は、意味理解手段１４からの認識
結果に基づいて機器制御用データベース２０を用いて各
ネットワーク機器（接続機器９）の制御を行う。

【００２１】機器制御用データベース２０は、機器の制
御コマンドを記録したデータベース、機器の処理手順を
記録したデータベース、接続された機器すべての稼動状
況を記録したデータベース、機器の使用優先度（プライ
オリティ）を記録したデータベース、前述のプライオリ
ティを自動的に変更するルールを記録したデータベー
ス、機器の使用制限に関する情報を記録したデータベー
ス、ユーザに対応した機器リストを記録したデータベー
スなどから構成される。

【００２２】さらに、対話の際に用いる語彙、応答パタ
ーンを変えるためにデータベースを用いてもよい。この
データベースの内容は簡単に追加・削除・修正を行うこ
とができ、ユーザに合わせた応答を実現することができ
る。本実施の形態のネットワーク機器制御装置は、ユー
ザとのインタフェースにマルチモーダルインタフェース
２を用い、どのような入力デバイスからも対話形式によ
り入力できるようにしたことを特徴としている。

【００２３】以下、上述のように構成されたネットワー
ク機器制御装置の動作を説明する。ここではホームゲー
トウェイ１を家庭内ネットワーク（家庭内ＬＡＮ）と広
域ネットワークとの中継器と定義する。また、このホー
ムゲートウェイ１に接続しているネットワーク機器は、
パソコンなどのコンピュータ、ＡＶ機器のほかホームネ
ットワークに接続可能なすべての電子機器である。

【００２４】ユーザは、ホームゲートウェイ１に対し、
音声認識手段及や映像認識手段を用いて入力を行う。ホ
ームゲートウェイ１はインターネット網６、アナログ電
話網７、ＩＳＤＮ網８などのネットワーク網及びＣＣＤ
カメラ５、マイク４などの入力デバイスのうち１系統を
自動的に選択するマルチモーダルインタフェース２（入
力選択手段）を用いて、接続要求のあった一系統を選択
し、その系統からの入力を受け付ける。入力はすべてマ
ルチモーダルインタフェース２を使い、擬人化エージェ
ントとの対話形式で行う。ホームゲートウェイ１では、
個人認証、操作機器及び操作内容の特定を行い、必要な
コマンド体系に変換し、該当ネットワーク機器に送信す
る。

【００２５】マルチモーダルインタフェース２の画像認
識手段１１では、ユーザのジェスチャや画像による個人
認証を行う。画像認識手段１１には、ユーザを識別する
ための顔の認識、身振り（ジェスチャ）の認識などが実
装される。音声認識手段１２では、ユーザのしゃべった
内容を音声認識により獲得する。

【００２６】意味理解手段１４では、画像認識手段１１
と音声認識手段１２の認識結果に基づいて意味理解を行
う。このとき、意味理解手段１４は、ユーザ別の応答文
を作成したり、「僕の」が何を意味するのかなど対話用
データベース１５に格納した個別情報を用いる。

【００２７】また、音情報獲得手段１３では、声の抑
揚、強さ、速さなどの情報を獲得する。これらの言語的
意味のない情報を使い、対話促進手段１６において相槌
をうつ、あるいは応答のタイミングを生成する。同時
に、意味理解手段１４からの応答文を音声合成手段１７
及び画像生成手段１８を使って出力する。画像生成手段
１８では、対話相手となる擬人化エージェントを合成し
て出力する。

【００２８】音声認識の手法としては、ヒドンマルコフ
モデル（ＨＭＭ）や連続ＤＰマッチングによるキーワー
ド認識などによる既存技術のどの方法を用いてもかまわ
ない。上記画像認識手段１１、音声認識手段１２、音情
報獲得手段１３及び意味理解手段１４、対話用データベ
ース１５及び対話促進手段１６の動作について、さらに
具体的に説明する。

【００２９】情報獲得手段１３では、ユーザの対話リズ
ムを抽出し、適当なタイミングで相槌をいれるなど応答
制御に必要な情報を獲得する。ユーザが「僕の部屋のビ
デオ予約をしたいんだけど。」と発話した場合に、すべ
てのキーワードを認識できればシステムは「何時からで
すか？」とか「どの番組ですか？」と問い返すなど必要
な情報を獲得できるように誘導すればよい。一部又はす
べてのキーワードを認識できなかった場合には、「○○
さんの部屋の何を使うのですか？」とか「どのビデオを
使うのですか？」「何ですか？もう一度お願いしま
す。」のように聞き返せばよい。「今晩７時からの○○
を録画しといて」という発話に対し、意味理解手段１４
と対話用データベース１５及び対話促進手段１６によっ
て録画可能かどうかを判断する。この場合には、インタ
ーネットテレビ番組表などを対話用データベース１５に
ダウンロードしておき、ユーザの入力結果を使って検索
を行う。このとき、検索結果が０件の場合には検索条件
を緩めて候補が見つかるまで検索する。「今日、午後７
時、番組名○○」で検索し、見つからなければ時間情報
を緩める。例えば、「今、番組名○○」での検索で候補
が見つかれば、「○○は××からです。いいですか？」
と応答すればよい。見つからなければ「番組名○○」で
検索する。

【００３０】このようにして間違いを訂正することがで
きる。すべての情報がそろった段階で、ユーザに対し確
認を行うことで確実にネットワーク機器を制御すること
ができる。意味理解手段１４において、ネットワーク機
器の制御を行うことを認識した場合、その認識結果を制
御部３の接続機器制御手段１９に送る。

【００３１】図３において、機器制御用データベース２
０は、機器の制御コマンドを記録したデータベース、機
器の処理手順を記録したデータベース、接続された機器
すべての稼動状況を記録したデータベース、機器の使用
優先度（プライオリティ）を記録したデータベース、前
述のプライオリティを自動的に変更するルールを記録し
たデータベース、機器の使用制限に関する情報を記録し
たデータベース、ユーザに対応した機器リストを記録し
たデータベースなどから構成され、接続機器制御手段１
９は、これらの機器制御用データベース２０を用いて意
味理解手段１４からの認識結果に基づいて接続機器９の
制御を行う。

【００３２】対話の際に用いる語彙、応答パターンを変
えるためにデータベースを用いてもよい。このデータベ
ースの内容は簡単に追加・削除・修正を行うことがで
き、ユーザに合わせた応答を実現することができる。応
答パターンを変える例を、図４のフローチャートを用い
て説明する。

【００３３】図４は、対話の応答パターンを変える動作
を示すフローチャートである。まず、ステップＳ１で、
本システムヘのアクセス開始時間を獲得する。これによ
り時間帯によって応答の方法を変えることができる。図
５は、対話応答パターンを記録したデータベースの一例
を示す図、図６は、交信履歴を格納するデータベースの
一例を示す図である。

【００３４】図５に示すデータベースの例では、アクセ
スしたユーザことに時間に応じて応答パターンを変える
ことができる。どの時間帯に誰がアクセスしても「こん
にちは」「どうしました？」のような特定の応答では不
自然である。特に、特定ユーザ以外の人がアクセスした
場合にも特定ユーザと同じ応答の仕方では対話としても
おかしい部分が発生する。また、ここで獲得した時間情
報はネットワーク機器の制御のためにも用いる。例え
ば、図６に示すように家族Ｂについて時間１７：００に
なると、パターンＣの応答をするとともに機器ＡをＯＮ
する動作を行う。次いで、ステップＳ２でアクセス者
（ユーザ）が誰であるのかを判別する。ユーザ別のデー
タベースを用いることにより応答パターンをユーザの好
みに変える、又はアクセス条件を変えることが実現され
る。

【００３５】図７は、ユーザ認証に関するデータベース
の一例を示す図である。図７に示すデータベースの例で
は、アクセスに使った電話等の番号「090-4xxx-yyyy」
をキーにしてユーザを識別する。このとき、応答用の画
像パターン「Pattern A」、音声パターン「Pattern A」
を切り替えてもよい。また、画像認識や音声認識を使っ
てユーザを識別してもよい。

【００３６】次いで、ステップＳ３でネットワーク機器
へのアクセスを許された家族であるのかを判別する。ネ
ットワーク機器へのアクセスを許された家族であれば、
ステップＳ４以降でネットワーク機器の制御を行うため
の応答を行う。すなわち、ステップＳ４でユーザの要求
が何であるのかを認識し、ステップＳ５でネットワーク
機器の制御であるか否かを判別する。ネットワーク機器
の制御であるときは、ホームゲートウェイ１の制御部３
にその内容を送出する。制御部３では、対話の内容にあ
わせて家庭内の電子機器の操作を行う。例えば、伝言を
残したければ、留守番電話のように音声及び画像データ
を保存しておく。また、ビデオの録画を行いたければ、
対象機器の選定、コマンドの作成等を行い、送出すれば
よい。これらのタスクに関する操作は、制御部３により
行われる。

【００３７】一方、ネットワーク機器へのアクセスを許
された家族でなければ、ステップＳ６で登録されている
知人であるか否かを判別する。登録されている知人であ
れば、留守のときにはメッセージ録音を行ったり携帯電
話に転送してもよいと判断してステップＳ７で応答語彙
を選択し、ステップＳ８で応答制御を行う。応答語彙の
選択では、本システムが自動的に応答するための対話文
を作成し、ステップＳ８において応答を行うものであ
る。図５に示したデータベースを用いた場合、時間情報
に従った応答文を作り出すことができる。例えば、深夜
に未登録の人から電話があった場合には「今日はもう遅
いので明日にしてくれませんか？」などと応答する。

【００３８】ステップＳ６で登録されている知人でなけ
れば、まったく知らない第三者からの場合であると判断
してステップＳ９で切断処理を行って本フローを終了す
る。この切断処理では、留守であることを伝え、回線を
切断する。留守でなければ電話機接続させる。また、人
名を基に敬語を使うなど応対の仕方をかえてもよい。家
族の場合、対話の内容にあわせて家庭内の電子機器の操
作を行う。例えば、伝言を残したければ、留守番電話の
ように音声及び画像データを保存しておいてもよい。

【００３９】図８は、伝言内容を格納するデータベース
の一例を示す図である。図８に示すデータベースの例で
は、知人からの電話の内容を要約し、時間情報とともに
テキスト情報又は音声情報で蓄えることにした。図８で
は、ユーザ名「知人Ａ」が相手先名「家族Ｃ」に時間２
０：０３に伝言内容「○○に××で待っています。」と
いう電話内容が蓄えられている。また、ビデオの録画を
行いたければ、対象機器の選定、コマンドの作成等を行
い、送出すればよい。これらのタスクに関する操作は、
制御部３により行われる。この制御部３は、図３に示し
たように接続機器制御手段１９と複数のデータベース２
０から構成されている。データベース２０には、ネット
ワークに接続されている機器の情報、機器それぞれのコ
マンド情報、所有者情報などが格納されている。

【００４０】図９は、ネットワーク機器を制御するため
の動作を示すフローチャートである。まず、ステップＳ
１１でユーザが誰であるのかユーザ名を検出する。この
ユーザ名を用いてネットワーク機器操作のプライオリテ
ィ、使用制限等を検索する。次いで、ステップＳ１２で
制御の対象となる機器の機種名を検出し、ステップＳ１
３でその機器を制御できるか否かを判定する。このステ
ップＳ１３の制御可否判定処理では、例えばテープの入
っていないビデオデッキでの録画予約はできないという
情報を検出すれば、ユーザにその情報を提示することが
できる。また、この検出結果をデータベースに逐次記録
しておけば、ユーザとの対話において時間をロスするこ
となく、ユーザに情報を提示することができる。ステッ
プＳ１３で制御可能機器でないと判定したときはステッ
プＳ１４の制御不能応答処理に進むが、これについて説
明する。

【００４１】図１０は、接続機器の稼動状況を格納した
データベースの一例を示す図である。図１０に示す稼動
状況データベースは、機器の名称、固有のＩＰアドレ
ス、稼動状況から構成されている。例えば、機器の名称
「32C-PD1」については、固有のＩＰアドレス「1.233.2
51.10」、稼動状況「Power(off)」が格納されている。
それぞれの機器に制御信号を送信する前に機器の稼動状
況を格納したデータベースを検索し、機器の状態を把握
する必要がある。電源が入っていない、又はつながって
いないなど使用不可の状態の場合に制御コマンドを送信
してもエラーを起こすことは予期できる。この場合に
は、図９のステップＳ１４で制御できない機器であるこ
とを伝えるための応答文を作成し、出力して本フローを
終了する。

【００４２】また、待機状態の場合か稼動状態かによっ
ても処理の手順が異なってくる。このために稼動状況を
格納したデータベースが必要である。ステップＳ１３で
制御可能機器であると判定したときは、ステップＳ１５
で入力しようとしているコマンドがすでに入力されてい
る情報と競合するか否かを判定する。この場合、すでに
予約状態にあるなどの競合状況を確認の上、制御を行う
こととする。競合を解決する手段の１つとして、別に定
めたデータベースに従った優先順位による制御を行って
もよい。以下、このデータベースによる例について説明
する。

【００４３】図１１は、接続機器の使用に関する優先度
を記載したデータベースの一例を示す図、図１２は、接
続機器の使用に関する優先度を自動的に変更するルール
を記載したデータベースの一例を示す図である。図１１
に示すデータベースの例では、ユーザごとに時間情報、
使用可能な機器の名称、制御コマンドリスト及び優先度
を格納しておき、状況に応じて優先順位を選択する。例
えば、ユーザ名「Ａ」については、時間２０：００−２
２：００では、機器名「32C-PD1」を制御名「Play」、
優先度「１．０」が与えられており、ユーザ名「Ｂ」に
ついては、時間１８：００−１９：００では、機器名
「32C-PD1」を制御名「Play」、優先度「１．０」が与
えられている。この例では、該当ユーザは該当する時間
の該当機器については他のユーザよりも優先的に使用す
ることができる。

【００４４】また、図１２に示すデータベースの例で
は、プライオリティを自動的に変動させるよう過去の履
歴を用いて優先順位を自動的に変えることができる。例
えば、ユーザ名「Ａ」については、条件「使用頻度Ｘ＞
閾値Ｙ」の条件では、優先度Ｚは０．１減算され（Z-=
0.1）た変更値となり、前記条件を満たす毎に優先度は
変更され、優先順位は自動的に変更されることになる。

【００４５】図１１に示すプライオリティデータベース
や図１２に示すプライオリティ変更ルールデータベース
は、ユーザの意向により変動するものであるため、簡単
に書き換えられる必要がある。このためには優先度及び
変更ルールを簡単に書き換えられるようデータベースと
して管理する必要がある。先順位の高い制御が予約され
ていている場合には、凝人化エージェントとの対話の段
階で拒絶してもよい。システムを使用しているユーザ間
だけで競合を解消できる場合にはユーザに支援を求める
手段を用いてそのユーザ（予約されている制御を指示し
たユーザ）を呼び出し、支援を求めてもよい。優先度の
高い制御予約を行ったユーザが屋外にいるような場合に
は、ユーザを呼び出す手段を用いてユーザを呼び出し、
支援を求めればよい。呼び出す手段としては明らかに屋
外にいるならば携帯電話等を用いるのが一般的である。
Ｅ−Ｍａｉｌを使って支援を求めてもよい。優先順位が
低い場合にも単純に上書きするのではなく、擬人化エー
ジェントが先の予約をしたユーザを呼び出し、上書きさ
れる旨を伝える必要がある。

【００４６】図９に戻って、ステップＳ１５で競合状況
あるときは、ステップＳ１７でこれらの競合情報を提示
し、ステップＳ１２に戻る。競合しない場合にはステッ
プＳ１６で制御完了応答を実行し、その結果を出力して
本フローを終了する。この制御完了応答を制御を実行す
るためには、操作コマンドや送信手順を格納したデータ
ベースを参照し、適切な手順でコマンドを送信する必要
がある。以下、図１３及び図１４により説明する。

【００４７】図１３は、接続機器に送信するコマンドを
格納したデータベースの一例を示す図、図１４は、接続
機器にコマンドを送信する手順を記載したデータベース
の一例を示す図である。例えば、図１３に示すように機
器ごとに異なる制御コマンドに変換して送出する必要が
ある。例えば、機器名（型番）「32C-PD1」について
は、固有のＩＰアドレス「1.233.251.10」、制御名「再
生」、制御コマンド「Send“Play”)」が格納されてい
る。送出の方法は有線でもよいし、赤外線での送信でも
よい。

【００４８】また、図１４のデータベースに示すように
複数のコマンドを同時に送信する必要がある場合も存在
する。例えば、電源が入っていない、又は待機状態であ
るテレビに対して特定チャンネルを表示させるためには
“電源を入れ”て、“チャンネルを合わせる”という手
順が必要である。このような処理手順を記録したデータ
ベースも必要である。この例として、図１４では、機器
名（型番）「32C-PD1」については、固有のＩＰアドレ
ス「1.233.251.10」、制御手順「Play:-Power(ON),Chan
ge(Channel).」が格納されている。

【００４９】また、最近では家庭内においても個人所有
の機器が増えているため、ユーザことに機器の使用制限
に関する情報を格納したデータベースを設けてもよい。
操作権限のない機器の操作を排除する手段を設けること
により、例えば火気関連機器については保護者監督のも
と以外での使用を制限することができるという利点もあ
る。さらに、同様の機能をもつ機器が複数ある場合にど
ちらを使うかの判断にもこの使用制限を使うことができ
る。「使っていい」か、「だめ」かだけでなく、条件に
よっては使ってもよいなどの使用制限を設けてもよい。
この条件には時間的な要素により場合わけをしてもよ
い。

【００５０】ネットワーク機器のデバイスドライバーな
どのソフトウェアは、頻繁にそのバージョンが変わって
いるため、ソフトウェアのバージョンを管理する手段、
現在のソフトウェアよりも新しいバージョンのソフトウ
ェアを見つけた場合に自動的にダウンロードして、イン
ストールする手段を設けることで製品寿命を延ばすこと
ができる。ソフトウェアをダウンロードするタイミング
は、定期的にメーカーのインターネットサイトを検索し
に行く、あるいはメーカー側から各家庭に対して擬人化
エージェントによる配信を行い、音声対話により自動的
にドライバー等のソフトウェアを更新してもよい。

【００５１】さらに、接続しているネットワーク機器が
故障した場合の対処方法を記録したデータベースも必要
である。稼動状況を記録したデータベースをユーザが見
れば故障かどうかは判断ができるが、常に監視すること
はできない。そこで故障診断を行う手段によりシステム
が故障と判断した時点で故障発生時対応ルールに従って
ユーザ及びメーカーに対して情報を通知する手段により
通知することで損害を最小限で防ぐことができる。

【００５２】図１５は、故障発生時の対応ルールを格納
したデータベースの一例を示す図である。図１５に示す
例では、故障検出の時間と機器名に従って対処方法を変
えている。昼間（ここでは１０：００〜１７：００）に
故障が発生した場合には、製造メーカーに故障発生を通
知（Call Maker）し、その対処を待てばよい。通知の方
法はＥ−Ｍａｉｌでもよいし、合成音による音声対話形
式でもよい。夜間（ここでは１７：００〜２４：００）
であれば製造メーカーの対応も遅れることが予想される
ため、Ｅ−Ｍａｉｌ等で製造メーカーに連絡をとる（Ma
il to Maker）とともに、ユーザに対しても故障発生を
通知する必要がある。故障診断の結果を蓄積する手段を
設けることにより、故障機器を使うことなく、ユーザの
制御命令を実行することができる。

【００５３】接続された機器の操作方法を格納したデー
タベースを設けることにより、機器を使うユーザを支援
することができる。例えば本実施の形態の制御方法を用
いずに機器単独での操作をユーザが試みる場合に使用方
法を教示することができる。教示の方法としては、ＣＧ
映像やビデオ映像、合成音声などを用いることができ
る。どのボタンを押したらいいか、わからない場合には
合成音声とＣＧ映像を使うとわかりやすい。操作方法
は、インターネットを使ってダウンロードするか、ある
いは製品を購入した時点で、ＣＤ−ＲＯＭ等のメディア
を使って登録してもよい。こうして、擬人化エージェン
トとの音声対話によるホームゲートウェイ１を使うこと
で、どのような入力方法を用いた場合でも同様の効果を
得ることができると同時にインターネットを利用したさ
まざまなサービスを受けることができる。

【００５４】以上のように、本実施の形態のホームゲー
トウェイ１は、電話網、インターネット網等の各種ネッ
トワーク、カメラ、マイクロフォン等の複数の入力のう
ち１系統を対話形式により選択するマルチモーダルイン
ターフェース２と、ネットワークに接続されているネッ
トワーク機器の情報、該機器それぞれのコマンド情報、
所有者情報などを格納する機器制御用データベース２０
と、前記マルチモーダルインターフェースの出力により
前記複数のネットワーク機器のうち少なくとも１つを制
御する接続機器制御手段１９とからなる制御部３を備
え、マルチモーダルインターフェース２は、さらに音情
報と意味理解手段１４からの意味理解情報に基づいて相
槌を打つ、応答タイミングを決定する等の対話を促す情
報を生成する対話促進手段１６を備えて構成したので、
ユーザは擬人化エージェントとの対話によりネットワー
クに接続された機器を統一的に制御することができる。

【００５５】また、対話機能による、認識できない部分
のみを聞き返すことによりユーザに不快感を与えること
なく認識精度を向上させ、対話を通じて同一ネットワー
ク上にある機器を操作することができる。また、意味理
解手段１４に個人情報、時間情報を持たせることでいろ
いろな対話応答が実現できる。接続機器制御手段１９に
個人情報に関する機器制御用データベース２０を接続す
ることで機器の選定、制御セキュリティ等を実現するこ
とができる。また、インターネット等の回線を利用して
ネットワーク機器のメーカー及びメンテナンス会社より
該当機器の保守を行うことができる。

【００５６】また、本実施の形態では、図９の処理にお
いて、制御情報に則った操作を行うことが可能かどうか
を検証するように制御しているので、不可能な場合には
実際に制御信号を発することなくその結果をユーザに提
示することが可能であり、不要な通信コストを下げるこ
とができる。また、図９の処理において、競合を解決す
るように制御したので、複数ユーザで同一システムを共
有することが可能であり、共有によって生じる競合を最
小限にとどめることができる。

【００５７】また、本実施の形態では、ユーザに支援を
求める手段を備えているので、システム自体で解決でき
ない競合の解決をユーザに求めることが可能であり、競
合を最小限にとどめることができる。さらに、ユーザを
呼び出す手段を設けているので、競合解消のためにネッ
トワークにログインしていないユーザを呼び出すことが
可能であり、ユーザ間の競合をスムーズに解消すること
ができる。

【００５８】また、本実施の形態では、図１３及び図１
４に示すデータベースを用いて、接続された機器に対し
て故障診断を行う手段とその結果を蓄積する手段とを設
けるようにすれば、接続機器に故障が発生した場合でも
ユーザ及びメーカーに対し情報を通知することが可能で
あり、安定した運用を実現することができる。さらに、
図１５に示すデータベースを用いて、接続された機器に
搭載されたソフトウェアのバージョンを管理する手段
と、最新のモジュールをダウンロードし、インストール
する手段を設けるようにすれば、接続機器のソフトウェ
アのバグを自動的に補正することが可能であり、安定し
た運用を実現することができる。

【００５９】なお、本発明のマルチモーダルインタフェ
ースを用いたネットワーク機器制御装置は、上述の実施
の形態に限定されるものではなく、本発明の要旨を逸脱
しない範囲内において種々変更を加え得ることは勿論で
ある。例えば、上述したようなプロトコル変換等を行う
ホームゲートウェイに適用することもできるが、これに
は限定されず、全ての装置に適用可能である。

【００６０】また、上記実施の形態で説明したマルチモ
ーダルインタフェースへ入力される複数の入力デバイス
の種類やマルチモーダルインタフェースにおける認識手
段や対話方法、さらには対話形式で制御されるネットワ
ーク機器の数、種類は一例であり、対話促進手段を有す
るマルチモーダルインタフェースであればどのようなも
のでもよく、同様な効果を得ることができる。さらに、
上記ネットワーク機器制御装置を構成する各回路部等の
種類、データベースなどは前述した実施形態に限られな
い。

【００６１】

【発明の効果】以上、詳述したように、請求項１に記載
の発明によれば、擬人化エージェントとの対話によりネ
ットワークに接続された機器を統一的に制御することが
できる。また、問い返し、相槌などの応答をすることが
可能であり、その結果スムーズな対話により機器の制御
ができる。

【００６２】また、音声の強弱、音の高低の特徴、ユー
ザの身振り、音声認識の結果のうち少なくとも２つ以上
を入力とする対話促進手段を設けているので、人間と同
じような応答を実現することが可能であり、その結果ス
ムーズな対話を実現することができる。また、ユーザ別
のデータベース手段を設けているので、アクセス方法、
時間情報、ユーザ名などをキーとして異なった応答を生
成することが可能であり、人間と話すようにストレスを
感じない対話を実現することができる。

【００６３】さらに、接続された機器の操作方法を格納
したデータベースとＣＧ映像、ビデオ映像、合成音声の
うち２つ以上を使って教示する手段を設けているので、
使用方法がわからないユーザにその方法を教示すること
が可能であり、新しい機器を接続してもすぐに使えるよ
うになる。

【００６４】請求項２に記載の発明によれば、例えば同
一のネットワーク上に接続された機器の操作コマンド及
び送信手順を格納したデータベース手段を設けているの
で、処理手順を考えることなく接続機器を制御すること
可能であり、音声対話によりネットワーク機器を制御す
ることができる。請求項３に記載の発明によれば、機器
の使用制限に関する情報を格納したデータベース手段を
設けているので、操作権限のない機器の操作を排除する
ことが可能であり、安全性を確保することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態のネットワーク機器制御装
置の構成を示すブロック図である。

【図２】本発明の実施の形態のネットワーク機器制御装
置のホームゲートウェイを構成するマルチモーダルイン
タフェースの構成を示す図である。

【図３】本実施の形態のネットワーク機器制御装置のホ
ームゲートウェイの制御部の構成を示す図である。

【図４】本実施の形態のネットワーク機器制御装置の対
話の応答パターンを変える動作を示すフローチャートで
ある。

【図５】本実施の形態のネットワーク機器制御装置の対
話応答パターンを記録したデータベースの一例を示す図
である。

【図６】本実施の形態のネットワーク機器制御装置の交
信履歴を格納するデータベースの一例を示す図である。

【図７】本実施の形態のネットワーク機器制御装置のユ
ーザ認証に関するデータベースの一例を示す図である。

【図８】本実施の形態のネットワーク機器制御装置の伝
言内容を格納するデータベースの一例を示す図である。

【図９】本実施の形態のネットワーク機器制御装置のネ
ットワーク機器を制御するための動作を示すフローチャ
ートである。

【図１０】本実施の形態のネットワーク機器制御装置の
接続機器の稼動状況を格納したデータベースの一例を示
す図である。

【図１１】本実施の形態のネットワーク機器制御装置の
接続機器の使用に関する優先度を記載したデータベース
の一例を示す図である。

【図１２】本実施の形態のネットワーク機器制御装置の
接続機器の使用に関する優先度を自動的に変更するルー
ルを記載したデータベースの一例を示す図である。

【図１３】本実施の形態のネットワーク機器制御装置の
接続機器に送信するコマンドを格納したデータベースの
一例を示す図である。

【図１４】本実施の形態のネットワーク機器制御装置の
接続機器にコマンドを送信する手順を記載したデータベ
ースの一例を示す図である。

【図１５】本実施の形態のネットワーク機器制御装置の
故障発生時の対応ルールを格納したデータベースの一例
を示す図である。

【符号の説明】

１ホームゲートウェイ２マルチモーダルインタフェース３制御部４マイクロフォン５カメラ６インターネット網７アナログ電話網８ＩＳＤＮ網９接続機器１１画像認識手段１２音声認識手段１３音情報獲得手段１４意味理解手段１５対話用データベース（意味理解用データベース手
段）１６対話促進手段１７音声合成手段１８画像生成手段１９接続機器制御手段２０機器制御用データベース（機器制御用データベー
ス手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 3/16 ３３０Ｇ０６Ｆ 3/16 ３３０Ｋ５Ｋ０３３３３０Ｃ５Ｋ０４８ 13/00 ３５７ 13/00 ３５７Ａ５Ｋ１０１Ｇ１０Ｌ 13/00 Ｈ０４Ｍ 11/00 ３０１９Ａ００１ 15/18 Ｈ０４Ｑ 9/00 ３０１Ｅ 15/00 ３２１ＥＨ０４Ｌ 12/28 ３３１Ａ 12/24 Ｇ１０Ｌ 3/00 Ｑ 12/26 ＲＨ０４Ｍ 11/00 ３０１５３７ＺＨ０４Ｑ 9/00 ３０１５５１Ａ３２１Ｈ０４Ｌ 11/00 ３１０Ｚ３３１ 11/08 Ｆターム(参考） 5B089 GA31 GB08 JB03 JB05 KA01 KC44 KC53 KC54 KC58 KH15 KH16 5D015 AA05 KK02 LL06 5D045 AB26 5E501 AA13 AC15 AC25 AC42 BA05 CA08 CB15 CC11 EA21 FA14 FA32 FA43 5K030 GA15 GA17 HA08 HB01 HB02 HC01 HD03 JL09 KA07 KA20 LD20 LE11 MB09 5K033 AA05 BA08 BA14 DA06 DB18 5K048 AA04 BA02 BA12 BA13 CA08 DA02 DA05 DC04 DC07 EA11 EB14 EB15 FB10 FB12 FC01 HA01 HA02 HA05 HA07 5K101 KK11 LL01 LL03 LL05 NN06 NN08 NN16 NN21 NN34 NN37 PP03 TT06 UU19 9A001 BB04 CC07 DD11 HH17 HH18 HH22 HH28 JJ01 JJ12 JJ25 KK54 LL03

Claims

【特許請求の範囲】

【請求項１】入力デバイスを対話形式により選択する
マルチモーダルインターフェースと、ネットワークに接続される複数のネットワーク機器の情
報を格納する機器制御用データベース手段と、前記マルチモーダルインターフェースの出力により前記
複数のネットワーク機器のうち少なくとも１つを制御す
る接続機器制御手段とを備え、前記マルチモーダルインターフェースは、画像又は音声を認識する認識手段と、声の抑揚、強さ、速さなどの音情報を獲得する音情報獲
得手段と、意味理解のための情報を格納する意味理解用データベー
ス手段と、前記認識手段による認識結果及び前記意味理解用データ
ベース手段に格納されたデータに基づいて意味理解を行
う意味理解手段と、前記音情報と前記意味理解情報に基づいて対話を促す情
報を生成する対話促進手段と、前記対話促進手段からの出力を画像又は音声により合成
して出力する合成手段と、を備えることを特徴とするネットワーク制御装置。
【請求項２】前記機器制御用データベース手段は、前
記ネットワーク機器の操作コマンド及び送信手順を格納
しており、前記接続機器制御手段は、ユーザとの対話の結果から前
記操作コマンドを検索し、前記ネットワーク機器に送信
することを特徴とする請求項１記載のネットワーク機器
制御装置。
【請求項３】前記機器制御用データベースは、前記ネ
ットワーク機器の使用制限に関する情報を格納してお
り、前記接続機器制御手段は、前記使用制限に関する情報に
基づいて操作権限のない機器の操作を排除することを特
徴とする請求項１記載のネットワーク機器制御装置。