JP2000056944A - 機器操作システム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが行いたいことを自然言語で入力すれ
ば、機器を操作するために必要な一連の操作を自動的に
実行する。 【解決手段】 辞書記憶部３１は、操作機器４の内部動
作に対応する自然言語の辞書や、機器に対する操作指示
に関する自然言語の辞書を記憶している。機能間依存関
係記憶部３２は、操作機器４の機能間の依存関係を記憶
している。現在状態記憶部３３は、操作機器４の現在の
動作状態を記憶している。自然言語解析手段２１は、入
力装置１から入力された文字列を、辞書記憶部３１を参
照して解釈する。操作手順導出手段３２は、この解釈結
果に基づいて、依存関係記憶部３２を参照し、操作指示
を実現するために必要な一連の操作群を導く。コマンド
実行手段２３は、現在状態記憶部３３を参照し、操作手
順導出手段２２で導いた操作群の中から、必要な操作を
判別し、判別した必要な操作に対するコマンドを実行し
て操作機器４を操作する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザが目的とす
る機器操作を自然言語で入力し、その入力に基づいて機
器の操作を実行する機器操作システム及びそのプログラ
ム記録媒体、並びにそのためのデータを記録したデータ
記録媒体に関する。

【０００２】

【従来の技術】テレビ、ビデオなどの家庭内電化製品な
どの機器を操作する際には、ユーザが本来目的とする機
器操作を実行するために、他の操作も実行しなければな
らない場合がある。例えば、テレビの１チャンネルをつ
けるためには、テレビの電源を入れてからチャンネルを
１に変えなければならない。従来より、このような複数
の操作を１回の指示で行うようなシステムが望まれてい
た。

【０００３】そこで、第１の従来の技術として、１つの
ボタンに一連の操作の機能を持たせて、１回の指示でそ
の一連の操作を実行する装置が存在する。例えば、テレ
ビの電源をつけてチャンネルを１にするという一連の操
作をまとめるボタンを定義できるような機能を持つ装置
である。

【０００４】第２の従来の技術として、多くの機能項目
を持つコンピュータのアプリケーションにおいて、ユー
ザが行いたい操作を探すための労力を減らすために、特
開平６−１０３０５２号公報に記載されている自然言語
操作支援装置のように、自然言語を用いて操作を指示す
ることができる装置が考えられている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の技術には、次のような問題点があった。まず、第１
の従来の技術では、ユーザが一連の操作を一つの操作で
行いたい時には、その一連の操作を前もってその装置に
覚えさせる必要があった。このような一連の操作として
は、テレビのチャンネルを１にするためにはテレビの電
源が入っていなければならないといった、各機器に固有
の機能間の依存関係に基づくものが多く存在する。にも
関わらず、ユーザの操作によって逐一システムに覚えさ
せなければならず、その手順が複雑で煩雑な操作をユー
ザに要求していた。

【０００６】また、第２の従来の技術では、この技術は
メニュー形式によってまとめられた操作群の中からメニ
ュー形式をたどってユーザが行いたい操作を選択する手
間を省くだけであり、一般の機器を操作する際の依存関
係にある一連の操作を一回の指示で実行することはでき
なかった。このような一連の操作の中には、現在すでに
実現されている状態にする操作が含まれている場合があ
る。その場合、一連の操作すべてを実行してしまうと、
すでに実現されている操作も再度行われてしまうことと
なり、誤動作等の問題が発生する可能性があった。

【０００７】また、一連の操作をそのまま実行した場合
には、例えば、ビデオテープの現情報に新たに上書きす
るビデオの録画のような不可逆な操作を、システムが自
動的に実行してしまうという危険がある。或いは、テレ
ビ番組を録画している場合などに、システムに電源オフ
を指示すると、その電源オフによってテレビ番組の録画
動作が中止されてしまうように、指示内容によっては現
在の処理が強制的に中止されてしまう危険もある。しか
し、上記従来の技術では、このような操作を実行する前
に、ユーザに確認をとる機能がなく、元の情報を回復で
きなくなるといった問題も生じていた。

【０００８】また、機器の操作にはユーザしかできない
ものも存在している。例えば、ビデオテープを再生する
にはビデオのカセットが入っていなくてはならないのだ
が、そのビデオのカセットを入れるという操作は人間し
かできない。しかし、上記従来の技術では、このような
場合に、操作を要求する機能がなかった。

【０００９】さらには、ユーザが操作対象とする機器の
現在の状態を知りたい場合もあり得る。このような場
合、従来は、ユーザが操作対象となる機器のパイロット
ランプを見るなどして、その状態を確認しなければなら
なかった。しかし、このようなパイロットランプなど
は、必ずしも明確な表示がなされるものでなく、また、
ユーザが操作対象とする機器自体に近づかなければなら
なかったため、操作対象とする機器の現在の状態を、確
認することは比較的困難であった。

【００１０】本発明の第１の目的は、機能間の依存関係
などの知識をシステムに予め保持させておき、これを用
いることでユーザが行いたいことを自然言語で入力すれ
ば、機器を操作するために必要な一連の操作を自動的に
実行できる機器操作システムを提供することにある。

【００１１】本発明の第２の目的は、操作対象となる機
器についてすでに実現されている状態にするための操作
を再度実行することなく、操作対象となる機器の誤動作
を防ぐことができる機器操作システムを提供することに
ある。

【００１２】本発明の第３の目的は、機能に関する各操
作に対してユーザしか行えない操作かどうかの知識をシ
ステムに予め保持させておくことにより、このような操
作をシステムからユーザに要求することができる機器操
作システムを提供することにある。

【００１３】本発明の第４の目的は、一連の操作のうち
の所定の操作を、ユーザに確認をとってから実行するこ
とができる機器操作システムを提供することにある。

【００１４】本発明の第５の目的は、ユーザが操作対象
となる機器の現在の状態を容易に確認することができる
機器操作システムを提供することにある。

【００１５】

【課題を解決するための手段】上記第１の目的を達成す
るため、本発明の第１の観点にかかる機器操作システム
は、操作対象となる機器への操作指示を自然言語で入力
する第１の入力手段と、前記操作対象となる機器の各機
能に応じた操作、及びそれぞれの操作に対応する語を対
応付けて記憶する辞書記憶手段と、前記操作対象となる
機器の各機能に応じた操作間の依存関係を記憶する機能
間依存関係記憶手段と、前記辞書記憶手段を参照して、
前記第１の入力手段から入力された操作指示を解析し、
前記自然言語で入力された操作指示に対応する操作を導
出する自然言語解析手段と、前記機能間依存関係記憶手
段を参照し、前記自然言語解析手段が導出した操作を前
記操作対象となる機器に行わせるまでの一連の操作を導
出する操作手順導出手段と、前記操作手順導出手段が導
出した一連の操作を、前記操作対象となる機器に順次行
わせる操作手段とを備えることを特徴とする。

【００１６】上記機器操作システムでは、操作対象とな
る機器に対する操作指示を自然言語で入力すると、自然
言語解析手段でその操作が導出され、さらに操作手順導
出手段でその操作を操作対象となる機器に行わせるまで
の一連の操作が導出される。そして、操作手段がこの一
連の操作を順次実行する。すなわち、ユーザが自然言語
で操作指示を入力することによって、その操作までの一
連の操作を操作対象となる機器に対して自動的に行わせ
ることができる。

【００１７】上記第２の目的を達成するため、上記機器
操作システムは、前記操作対象となる機器の現在の状態
を記憶する現在状態記憶手段をさらに備えるものとして
もよい。この場合、前記操作手段は、前記操作対象とな
る機器が前記操作手順導出手段が導出した操作に応じた
状態にあるかどうかを判別する手段を備え、該手段が前
記操作手順導出手段が導出した操作に応じた状態にある
と判別したとき、該操作を前記操作対象となる機器に行
わせないものとすることができる。

【００１８】この場合には、操作手順導出手段により導
出された一連の操作中で、操作対象となる機器に実現さ
すでに実現されている状態にするための操作が、再度実
行されない。これにより、操作対象となる機器の誤動作
を防ぐことができる。

【００１９】上記機器操作システムにおいて、前記操作
手段は、前記操作対象となる機器に行わせる操作に対応
した自然言語による応答を生成する応答生成手段を備え
るものとしてもよい。この場合、上記機器操作システム
は、前記応答生成手段が生成した応答を外部に出力する
出力手段をさらに備えるものとすることができる。

【００２０】ここで、上記第３、第４の目的を達成する
ため、前記操作手段は、前記操作対象となる機器に対す
る操作を行う前に、前記応答生成手段に前記応答を生成
させて前記出力手段から出力させると共に、該出力手段
から出力された応答に対して所定の入力がされたとき
に、前記操作対象となる機器に対する操作を行うものと
してもよい。この場合、上記機器操作システムは、前記
操作手段に操作対象となる機器に対する処理を行わせる
ための前記所定の入力をする第２の入力手段をさらに備
えるものとすることができる。

【００２１】この場合、前記機能間依存関係記憶手段
は、例えば、ユーザの操作によらなければ行えない状態
に所定の属性を含ませて記憶するものとできる。そし
て、前記操作手段は、前記操作対象となる機器を前記所
定の属性を含む状態にする操作を行わせようとする場合
に、前記操作対象となる機器に対する操作を行う前に、
前記応答生成手段に前記応答を生成させて前記出力手段
から出力させると共に、該出力手段から出力された応答
に対して所定の入力がされたときに、前記操作対象とな
る機器に対する操作を行うものとすればよい。

【００２２】つまり、この属性で示す状態にするための
操作、つまりユーザにしか行えない操作を行おうとする
ときは、出力手段から出力される応答としてユーザに要
求することができ、上記第３の目的を達成することでで
きる。

【００２３】また、例えば、前記機能間依存関係記憶手
段は、ある状態にすべき操作を行うことによって前記操
作対象となる機器の他の状態での動作を中止しなければ
ならないという制約を示す参照制約をさらに記憶してい
てもよい。そして、前記操作手段は、前記参照制約のあ
る操作を行おうとし、かつ前記操作対象となる機器の現
在の状態での動作が該参照制約によって中止されること
が示されている場合に、前記応答生成手段に前記応答を
生成させて前記出力手段から出力させると共に、該出力
手段から出力された応答に対して所定の入力がされたと
きに、前記操作対象となる機器に対する操作を行うもの
とすればよい。

【００２４】つまり、操作対象となる機器に現在の動作
を停止させてしまうような操作を行う場合には、出力装
置から出力される応答としてユーザに確認をとることが
でき、上記の第４の目的を達成することができる。

【００２５】また、例えば、前記機能間依存関係記憶手
段は、操作を行うことによって以前の状態を回復できな
い状態に所定の属性を含ませて記憶していてもよい。そ
して、前記操作手段は、前記操作対象となる機器を前記
所定の属性を含む状態にする操作を行わせようとする場
合に、前記応答生成手段に前記応答を生成させて前記出
力手段から出力させると共に、該出力手段から出力され
た応答に対して所定の入力がされたときに、前記操作対
象となる機器に対する操作を行うものとすればよい。

【００２６】つまり、操作を行うことよって前の状態を
回復できなくなる不可逆的な操作を行おうとする場合に
は、出力装置から出力される応答としてユーザに確認を
とることができ、上記の第４の目的を達成することがで
きる。

【００２７】上記第５の目的を達成するため、上記の機
器操作システムにおいて、前記第１の入力手段は、前記
操作対象となる機器の現在の状態に関する質問をも、自
然言語で入力するものであり、前記辞書記憶手段は、さ
らに、質問か操作指示かの別、及びそれぞれに対応する
語を対応付けて記憶し、前記自然言語解析手段は、前記
辞書記憶手段を参照して、前記第１の入力手段から入力
された自然言語が、質問であるか操作指示であるかを判
別する手段を備え、前記応答生成手段は、前記言語解析
手段が質問であると判別したときに、前記現在状態記憶
手段を参照して、前記操作対象となる機器の現在の状態
に関する応答を生成するものとすることができる。

【００２８】この場合、ユーザは第１の入力手段から操
作対象となる機器の現在の状態に関する質問を自然言語
で入力することにより、その質問に対する操作対象とな
る機器の現在の状態に関する応答がユーザに示される。
これにより、ユーザは、操作対象となる機器自体を確認
しなくても、その機器がどのような状態になっているか
を容易に確認することができる。

【００２９】なお、上記の機器操作システムにおいて、
前記第１の入力手段は、前記操作指示を自然言語の音声
として入力する手段と、該手段から入力された音声を認
識する手段とを備えるものとしてもよい。前記出力手段
は、前記応答に対応する自然言語の音声を生成する手段
と、該手段によって生成された音声を出力する手段とを
備えるものとしてもよい。

【００３０】また、上記の機器操作システムにおいて、
前記第１の入力手段は、通信回線を介して遠隔地から前
記操作指示を受信し、前記自然言語解析手段に供給する
第１の通信手段によって構成されたものとしてもよい。
前記第２の入力手段は、前記応答を前記応答生成手段か
ら受け取り、通信回線を介して遠隔地に送信する第２の
通信手段によって構成されたものとしてもよい。

【００３１】上記第１の目的を達成するため、本発明の
第２の観点にかかる記録媒体は、操作対象となる機器へ
の操作指示を自然言語で入力する第１の入力機能と、前
記操作対象となる機器の各機能に応じた操作、及びそれ
ぞれの操作に対応する語を対応付けて記憶する辞書を参
照して、前記第１の入力機能により入力された操作指示
を解析し、前記自然言語で入力された操作指示に対応す
る操作を導出する自然言語解析機能と、前記操作対象と
なる機器の各機能に応じた操作間の依存関係を参照し、
前記自然言語解析機能で導出した操作を前記操作対象と
なる機器に行わせるまでの一連の操作を導出する操作手
順導出機能と、前記操作手順導出機能で導出した一連の
操作を、前記操作対象となる機器に順次行わせる操作機
能とを実現するプログラムを記録することを特徴とす
る。

【００３２】ここで、前記操作機能は、前記操作対象と
なる機器が前記操作手順導出機能で導出した操作に応じ
た状態にあるかどうかを判別する機能を含み、該機能で
前記操作手順導出機能により導出した操作に応じた状態
にあると判別したとき、該操作を前記操作対象となる機
器に行わせないものとすることができる。

【００３３】また、前記操作機能は、前記操作対象とな
る機器に行わせる操作に対応した自然言語による応答を
生成する応答生成機能を含んでいてもよく、この場合、
上記記録媒体は、前記応答生成機能で生成した応答を外
部に出力する出力機能を実現するプログラムをさらに記
録するものとしてもよい。

【００３４】この場合、前記操作機能は、前記操作対象
となる機器に対する操作を行う前に、前記応答生成機能
により前記応答を生成させて前記出力機能により出力さ
せると共に、該出力機能により出力された応答に対して
所定の入力がされたときに、前記操作対象となる機器に
対する操作を行うものであってもよい。この場合、上記
記録媒体は、前記操作機能で操作対象となる機器に対す
る処理を行わせるための前記所定の入力をする第２の入
力機能を実現するプログラムをさらに記録するものとし
てもよい。

【００３５】上記第１の目的を達成するため、本発明の
第４の観点にかかる記録媒体は、前記操作対象となる機
器の各機能に応じた操作、及びそれぞれの操作に対応す
る語を対応付けて記憶する辞書データと、前記操作対象
となる機器の各機能に応じた操作間の依存関係を記憶す
る機能間依存関係データとを記録することを特徴とす
る。

【００３６】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施の形態について説明する。以下の実施の形態で
は、操作対象となる機器にビデオデッキを適用した場合
を例として説明する。

【００３７】［第１の実施の形態］図１は、この実施の
形態にかかる機器操作システムの構成を示すブロック図
である。図示するように、この機器操作システムは、入
力装置１と、データ処理装置２と、記憶装置３と、操作
機器４とを備える。

【００３８】操作機器４は、このシステムにおいてユー
ザによる操作対象となる電子機器であり、この実施の形
態においては、ビデオデッキが適用されている。入力装
置１は、キーボードなどによって構成され、操作機器４
に対する操作指示を自然言語の文字列としてコード情報
で入力する。

【００３９】データ処理装置２は、プログラム制御によ
り動作するプロセッサによって構成され、自然言語解析
手段２１と、操作手順導出手段２２と、コマンド実行手
段２３とを備える。記憶装置３は、磁気ディスク装置な
どによって構成され、辞書記憶部３１と、機能間依存関
係記憶部３２と、現在状態記憶部３３とを備える。

【００４０】辞書記憶部３１は、図２に示すような操作
機器４としてのビデオデッキの内部動作に対応する自然
言語の辞書を、テーブル形式で記憶している。辞書記憶
部３１は、また、図３に示すような操作機器４の機器名
に関する辞書や、図４に示すような機器自体とは独立
の、機器に対する操作指示に関する自然言語の辞書など
も記憶している。

【００４１】機能間依存関係記憶部３２は、図５に示す
ように、操作機器４の機能間の依存関係を記憶してい
る。図５において、二重線で囲まれた節はビデオデッキ
の機能を表し、その二重線で囲まれた節の下の単線で囲
まれた節はその機能の状態を表す。そして、状態を表す
単線で囲まれた節とその下の二重線で囲まれた機能を表
す節との関係は、その機能がその上の状態に依存してい
る、すなわちその機能を操作するにはその上の状態が実
現されている必要があることを表している。

【００４２】例えば、図５を参照すると、「チャンネ
ル」という機能は「電源」という機能の「オン」という
状態に依存しており、「チャンネル」という機能を操作
するには、「電源」の状態が「オン」でなければならな
いことがわかる。また、辞書記憶部３１中に記憶されて
いる図２の辞書を参照することによって、図５に示す依
存関係記憶部３２の各節に対応する言葉がわかる。

【００４３】現在状態記憶部３３は、操作機器４の現在
の動作状態を記憶しているものであり、図５の単線で囲
まれた節のいずれかの機能を、動作状態として記憶す
る。また、現在状態記憶部３３は、記憶している動作状
態の下に、二重線で囲まれた節の機能がある場合には、
さらに、その下の階層の機能をも動作状態として記憶す
る。なお、現在状態記憶部３３の記憶内容は、例えば、
図６に示すようなものとなる。

【００４４】自然言語解析手段２１は、入力装置１から
コード情報で入力された文字列を、辞書記憶部３１を参
照して解釈する。

【００４５】操作手順導出手段３２は、自然言語解析手
段２１が解釈した結果に基づいて、依存関係記憶部３２
を参照し、入力装置１から入力された操作指示を実現す
るために必要な操作群を導く。

【００４６】コマンド実行手段２３は、現在状態記憶部
３３を参照し、操作手順導出手段２２で導いた操作群の
中から、必要な操作を判別し、判別した必要な操作に対
するコマンドを実行して操作機器４を操作する。

【００４７】以下、この実施の形態における処理につい
て、図７のフローチャートを参照して説明する。ここ
で、辞書記憶部３１の記憶内容は上記の図２〜図４に、
機能間依存関係記憶部３２の記憶内容は、上記の図５に
従うものとする。

【００４８】まず、ユーザは、入力装置１から自然言語
で、例えば、「ビデオのチャンネルを１にして」という
文字列を入力する。この文字列は、コード情報でデータ
処理装置２の自然言語解析手段２１に供給され、自然言
語解析手段２１は、操作機器４に対する操作指示として
この自然言語の文字列を受け付ける（ステップＡ１）。

【００４９】次に、自然言語解析手段２１は辞書記憶部
３１を参照し、この文字列を解釈する。この入力の例の
「ビデオのチャンネルを１にして」は、図３を参照する
と操作機器４がビデオであることがわかり、また図２を
参照すると、ビデオの「チャンネル」が「１」という状
態と関係することがわかる。さらに、図６の機能語の辞
書を参照すると、「して」が「操作」を表すことがわか
る。これより、自然言語解析手段２１は、ステップＡ１
で受け付けたユーザからの操作指示を、ビデオの「チャ
ンネル」という機能を「１」の状態にするコマンドとし
て解釈する（ステップＡ２）。

【００５０】次に、この操作コマンドは、自然言語解析
手段２１から操作手順導出手段２２に供給され、操作手
順導出手段２２は、機能間依存関係記憶部３２を参照し
て、その操作コマンドを表す機能と状態の組を検索す
る。この例では機能「チャンネル」とその機能の状態
「１」の組が検索される（ステップＡ３）。

【００５１】さらに、操作手順導出手段２２は、ステッ
プＡ３で検索した結果を用いて、ビデオのチャンネルを
１の状態にするために必要な操作コマンドを導出する。
ここで、「チャンネル」「１」の組が依存している組
は、「電源」「オン」である。これより、操作手順導出
手段２２は、「チャンネルを１にする」という操作コマ
ンドの前に実行すべき操作コマンドとして、「電源をオ
ンする」という操作コマンドを導出する（ステップＡ
４）。

【００５２】操作手順導出手段２２は、このようにして
導出したコマンド列をコマンド実行手段２３に供給す
る。コマンド実行手段２３は、操作手順導出部２２から
供給されたコマンド列と現在状態記憶部３３に記憶され
たビデオの現在状態とを参照し、現在状態として実現さ
れている操作コマンドを削除する。例えば、図６ではビ
デオの「電源」が「オン」の状態であるので、「電源を
オンする」操作コマンドが削除される（ステップＡ
５）。

【００５３】最後に、コマンド実行手段２３は、操作機
器４（ビデオデッキ）に対して「チャンネル」を「１」
の状態にする操作コマンドを実行する（ステップＡ
６）。以上で、ユーザからの入力文字列に対応する操作
機器４に対する一連の操作が終了する。

【００５４】なお、現在状態記憶部３３を参照したとき
に「電源」が「オフ」ならば、「電源」を「オン」の状
態にする操作コマンドを実行し、さらに「チャンネル」
を「１」の状態にする操作コマンドを実行する。

【００５５】以上説明したように、この実施の形態にか
かる機器操作システムでは、自然言語解析手段２１は、
辞書記憶部３１に記憶されている辞書に従って、入力装
置１から自然言語で入力された操作指示を解析し、操作
手順導出手段２２は、この解析結果と機能間依存関係記
憶部２２に記憶されている機能間の依存関係に従って、
操作機器４に対する操作手順が導出される。そして、コ
マンド実行手段２３が導出された操作手順を順次実行
し、操作機器４に対して必要な一連の操作を行わせるこ
とができる。

【００５６】しかも、コマンド実行手段２３は、現在状
態記憶部３３に記憶されている操作機器４の現在状態を
参照し、すでにその状態になっているコマンドを繰り返
して実行しないため、すでに実現されている操作の再実
行による誤動作を防ぐことができる。

【００５７】［第２の実施の形態］図８は、この実施の
形態にかかる機器操作システムの構成を示すブロック図
である。この機器操作システムは、第１の実施の形態に
かかる機器操作システム（図１）の構成に加えて、出力
装置５を備えている。また、コマンド実行手段２３に
も、第１の実施の形態のものに加えて、機能が付加され
ている。

【００５８】コマンド実行手段２３は、さらに実行する
操作に対応した自然言語の応答文を生成し、その文字コ
ードを出力装置５に供給する。出力装置５は、ディスプ
レイ装置によって構成され、コマンド実行手段２３から
文字コードで供給された応答文を表示して、ユーザに示
す。

【００５９】この実施の形態における処理は、第１の実
施の形態のもの（図７）とほぼ同様であるが、図７のス
テップＡ６において、コマンド実行生成手段２３は、さ
らに「ビデオのチャンネルを１にします。」という応答
文を生成し、出力装置５に供給する。これにより、出力
装置５にこの応答文が表示され、ユーザに示されること
となる。

【００６０】以上説明したように、この実施の形態にか
かる機器操作システムによれば、ユーザは、入力装置１
から自然言語で入力した操作指示をシステムがどのよう
に解釈したかを、操作機器４に対する操作のみならず、
出力装置５に表示される自然言語の文字列によって知る
ことができる。

【００６１】［第３の実施の形態］この実施の形態にか
かる機器操作システムの構成は、第２の実施の形態のも
の（図８）とほぼ同様である。但し、この実施の形態に
おいては、辞書記憶部３１に、さらに図９に示すよう
な、「イエス」及び「ノー」を意味する単語の辞書を記
憶している。

【００６２】以下、この実施の形態における処理につい
て、説明する。まず、図７のステップＡ１からＡ５ま
で、第１の実施の形態と同様の処理を行う。次に、図７
のステップＡ６において、コマンド実行手段２３は、最
初、操作コマンドのコマンドの実行によって操作機器４
を操作せず、「ビデオのチャンネルを１にしますね。」
という応答文を生成し、出力装置５から出力させる。そ
して、コマンド実行手段２３は、この応答文に対するユ
ーザからの返答を待機する。

【００６３】コマンド実行手段２３がこのような処理を
送ってユーザからの返答を待機するとき、ユーザが入力
装置１から「はい」と入力したとする。次に、自然言語
解析手段２１は、辞書記憶部２１中の図９の辞書を参照
し、「はい」に対応する意味が「イエス」であると判断
し、操作手順導出手段２２を介してコマンド実行手段２
３に送る。

【００６４】そして、コマンド実行手段２３は、「ビデ
オのチャンネルを１にする」という操作コマンドを実行
し、操作機器４をそのように操作する。さらに、コマン
ド実行手段２３は、「ビデオのチャンネルを１にしま
す。」という応答文を生成し、出力装置５に表示させ
る。

【００６５】なお、入力装置１から、「ノー」と入力さ
れた場合には、コマンド実行手段２３は、操作コマンド
を実行することがなく、また、例えば、「ビデオのチャ
ンネルを１にする操作を取りやめます。」という応答文
を生成し、出力装置５に表示させる。

【００６６】以上説明したように、この実施の形態にか
かる機器操作システムによれば、ユーザは、システムが
解釈した操作コマンドを実際に実行するかどうかをコン
トロールすることができる。

【００６７】［第４の実施の形態］この実施の形態にか
かる機器操作システムの構成は、第３の実施の形態のも
の（図８、図９）とほぼ同様である。但し、この実施の
形態においては、機能間依存関係記憶部３２に記憶され
ている各機能の状態には、図１０に示すように、「シス
テム操作不可」或いは「不可逆操作」といった属性が付
与されている。

【００６８】「システム操作不可」の属性は、「カセッ
トを（ビデオデッキに）インする。」などの、その属性
が付されている機能がユーザの操作を必要とするとする
もので、システムがそのまま実行することができない機
能であることを示す。

【００６９】「不可逆操作」の属性は、「テープを（上
書きして）録画する。」などの、その属性が付されてい
る機能が実行されてしまうと、実行前の状態を回復する
ことができない機能であることを示す。

【００７０】以下、この実施の形態における処理につい
て、説明する。ここでは、まず、図７のステップＡ１に
おいて、ユーザは入力装置１から「ビデオを録画し
て。」という文字列を入力する。次に、第１の実施の形
態と同様に、図７のステップＡ２〜Ａ４が実行され、
「電源をオンする」、「カセットをインする」、「テー
プを録画する」という操作手順が導出される。

【００７１】次に、コマンド実行手段２３は、現在状態
記憶部３３に記憶されている現在状態を実行すべき操作
手順と順次比較する（ステップＡ５）。ここで、コマン
ド実行手段２３は、電源の現在状態が「オフ」であれ
ば、最初の操作手順であるコマンドを実行して電源をオ
ンし、電源の現在状態が「オン」であればそのまま、次
の操作手順である「カセットをイン」に進む。

【００７２】ここで、図１０を参照すると、状態「イ
ン」には、「システム操作不可」の属性が付されてい
る。そこで、コマンド実行手段２３は、「ビデオのカセ
ットを入れて下さい。」という応答文を生成し、出力装
置５に表示させる。そして、コマンド実行手段２３は、
ユーザの操作によってカセットがインされ、現在状態記
憶部３３のカセットの状態が「イン」となったとき、次
の操作手順である「テープを録画する。」に進む。

【００７３】ここでさらに、図１０を参照すると、状態
「録画」には、不可逆操作の属性が付されている。この
とき、コマンド実行手段２３は、操作コマンドをすぐに
実行せずに、例えば、「本当に録画していいですか。」
という応答文を生成して出力装置５に表示させる。そし
て、コマンド実行手段２３は、さらに入力装置１から
「イエス」と入力があった場合に、「テープを録画す
る」という操作コマンドを実行する。

【００７４】以上説明したように、この実施の形態にか
かる機器操作システムによれば、機能間依存関係記憶部
３２中の機能に、「システム操作不可」という属性を付
しておき、この属性が付された機能の操作を実行する場
合には、出力装置５に応答文が表示される。これによ
り、システムが直接行うことができず、ユーザしかでき
ない操作を、システムからユーザに要求することができ
る。

【００７５】また、機能間依存関係記憶部３２中の機能
に、「不可逆操作」という属性を付しておき、この属性
が付された機能の操作を実行する場合には、出力装置５
に応答文が表示される。これにより、不可逆な操作をシ
ステムが勝手に実行せず、ユーザに確認をとってから実
行することができる。

【００７６】［第５の実施の形態］この実施の形態にか
かる機器操作システムの構成は、第３の実施の形態のも
の（図８、図９）とほぼ同様である。但し、この実施の
形態においては、機能間依存関係記憶部３２に記憶され
ている各機能間に、図１１に破線で示すような参照制約
が付されている。

【００７７】この参照制約は、図４の破線矢印で示す方
向で、ある機能を実行してしまうと、矢印の先の他の機
能の実行が中止されてしまうことを示すもので、矢印の
もととなる機能が実行されることに対して制約を付すも
のである。

【００７８】この実施の形態における処理は、第４の実
施の形態のものとほぼ同様であるが、ステップＡ６にお
いて、コマンド実行手段２３は、実行しようとしている
操作に応じた機能が他の機能を参照しており、かつ現在
状態記憶部３３に記憶されている操作機器４の現在状態
が参照している機能となっているときに、応答文を生成
して出力装置５に表示させる。

【００７９】例えば、入力装置１から「電源をオフし
て」と入力され、現在状態記憶部３３に操作機器の現在
状態として「録画」が記憶されている場合には、機能
「オフ」が機能「録画」を参照している。この場合、コ
マンド実行手段２３は、例えば、「本当に電源をオフし
てもいいですか。」という応答文を生成して出力装置５
に表示させ、さらに入力装置１から「イエス」と入力さ
れるのを待って、操作機器４の電源をオフする。

【００８０】以上説明したように、この実施の形態にか
かる機器操作システムによれば、機能間依存関係記憶部
３２に記憶されている機能間の依存関係にさらに参照制
約を付しておき、実行しようとしている操作に対応する
機能が操作機器の現在状態を参照している場合には、出
力装置５に応答文が表示される。これにより、操作機器
４で実行中の操作が、システムによって勝手に中断され
てしまうことがなく、ユーザに確認をとってから、現在
実行中の操作を中断させるような操作を実行することが
できる。

【００８１】［第６の実施の形態］この実施の形態にか
かる機器操作システムの構成は、第２の実施の形態のも
の（図８）とほぼ同様である。但し、この実施の形態で
は、図４に示すような、辞書記憶部３１に記憶されてい
る操作機器４とは独立の機能語に関する辞書には、であ
ることを示す「いますか」、「ですか」、「でしょう
か」などの語が必ず含まれている。

【００８２】以下、この実施の形態における処理につい
て、図１２のフローチャートを参照して説明する。ま
ず、ユーザは、例えば、「ビデオの電源はオンですか」
という文字列を入力装置１から入力する。この入力文字
列は、自然言語解析手段２１に供給され、操作機器４に
対する質問或いは操作指示として受け付けられる（ステ
ップＡ１）。

【００８３】自然言語解析手段２１は、辞書記憶部３１
を参照し、この文字列を解釈する。ここでは、文字列の
最後に「ですか」という言葉が含まれているので、この
文字列をビデオデッキの「電源」が「オン」の状態かと
質問する質問コマンドだと解釈される（ステップＡ
２）。

【００８４】次に、自然言語解析手段２１は、解釈した
コマンドの種類が操作コマンドであるか質問コマンドで
あるかを判別する（ステップＡ１０）。

【００８５】質問コマンドであると解釈された時には、
自然言語解析手段２１は、コマンド実行手段２３にその
質問コマンドをそのまま供給する。コマンド実行手段２
３は、自然言語解析手段２１から供給された質問コマン
ドと現在状態記憶部３３に記憶されている操作機器４の
現在状態とを比較し、質問コマンドにおける状態が現在
実現されているかどうか判定する（ステップＡ５’）。

【００８６】コマンド実行手段２３は、比較結果に応じ
た応答コマンドを生成し、出力装置５に表示させる。こ
の例では、現在状態として電源がオンの時には「ビデオ
の電源はついています。」といった応答コマンドが、電
源がオフの時には「ビデオの電源はついていません。」
といった応答コマンドが生成され、出力装置５に表示さ
れる（ステップＡ６’）。以上で、ユーザからの入力文
字列に対応する操作機器４に関する質問、回答がなされ
る。

【００８７】なお、ステップＡ１０で、コマンドの種類
が操作コマンドであると判別された場合には、上記の第
２の実施の形態と同様の処理が行われる（ステップＡ３
〜Ａ６’）。

【００８８】以上説明したように、この実施の形態にか
かる機器操作システムによれば、ユーザが入力装置１か
ら機器の状態に関する質問を入力すれば、コマンド実行
手段２３は、その質問に対しての操作機器４の現在の状
態に関する応答文を生成し、出力装置５に表示させる。
これにより、ユーザは、操作機器４自体を確認しなくて
も、容易に操作機器４の状態を知ることができる。

【００８９】［実施の形態の変形］上記の第２の実施の
形態では、指示された一連の操作を、ユーザに確認する
ことなく連続して実行していた。一方、上記の第３〜第
５の実施の形態では、一連の操作に含まれる所定の操作
については、出力装置５への出力、入力装置１からの再
度の入力によってユーザに確認をとってから実行してい
た。これに対し、動作モードの設定により、機器操作シ
ステムにおいて一連の操作をユーザに確認することなく
連続して実行したり、所定の操作をユーザに確認しなが
ら実行したりと、動作の切り替えを行うこともできる。

【００９０】上記の第１〜第６の実施の形態では、入力
装置１からコード情報で自然言語を入力し、出力装置５
へコード情報として自然言語を出力していた。これに対
し、図１３に示すように、音声入力装置６１から自然言
語で入力した音声を音声認識装置６２で認識してコード
情報に変換し、自然言語解析手段２１に供給し、また、
コマンド実行手段２３から出力されたコード情報を音声
変換装置７１で自然言語の音声データに変換し、スピー
カなどの音声出力装置７２から出力してもよい。

【００９１】上記の第１〜第６の実施の形態では、入力
装置１及び出力装置５は、データ処理装置２、記憶装置
３及び操作機器４の近傍（同一の室内など）に設置され
ていた。これに対し、図１４に示すように、通信装置８
を設け、遠隔地のパーソナルコンピュータ（ＰＣ）など
から通信回線を介して自然言語のデータを入出力しても
よい。また、音声で入出力する場合には、図１５に示す
ように、電話装置などの通信装置８が受信した音声を音
声認識装置６２に供給し、音声変換装置７１が変換した
音声データを通信装置８へ供給して遠隔地に出力するよ
うにしてもよい。これにより、ユーザは、遠隔地から操
作機器４を自然言語で操作することができると共に、遠
隔地でもその操作結果を自然言語で確認することができ
る。

【００９２】上記の第１〜第６の実施の形態では、操作
機器４としてビデオデッキを挙げて説明した。しかしな
がら、本発明は、これに限られず、操作機器４には、家
庭電気機器、業務用電気機器など、入力に応じて動作さ
せるあらゆる種類の機器を適用することができる。

【００９３】上記の第１〜第６の実施の形態では、自然
言語解析手段２１、操作手順導出手段２２及びコマンド
実行手段２３の各機能は、プログラム制御されるデータ
処理装置２上で実現されていた。これに対し、これらの
機能を実現するためのプログラムは、データ処理装置２
とは別個のＣＤ−ＲＯＭやフロッピーディスクなどのコ
ンピュータ読み取り可能な記録媒体に格納して配布する
ことも可能である。

【００９４】上記の第１〜第６の実施の形態では、辞書
記憶部３１と機能間依存関係記憶部３２とは、現在状態
記憶部３３と同じく記憶装置３内に実現されていた。こ
れに対し、辞書記憶部３１と機能間依存関係記憶部３２
とは、現在状態記憶部３３とは別個で、かつデータ処理
装置２に着脱可能なメモリ内に実現してもよい。これに
より、例えば、テレビ放送のチャンネル構成が異なる地
域間でも、このようなメモリを交換するだけで、適切な
機器操作が可能となる。なお、このような辞書記憶部３
１と機能間依存関係記憶部３２とを実現するメモリは、
読み出し可能な媒体であってもよい。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
ユーザが自然言語で操作指示を入力することによって、
その操作までの一連の操作を操作対象となる機器に対し
て自動的に行わせることができる。

【００９６】また、操作手順導出手段により導出された
一連の操作中で、操作対象となる機器に実現さすでに実
現されている状態にするための操作が、再度実行されな
いようにすることで、操作対象となる機器の誤動作を防
ぐことができる。

【００９７】機能間依存関係記憶手段の記憶内容によっ
ては、ユーザにしか行えない操作を行おうとするときに
それをユーザに要求したり、所定の場合にユーザの確認
をとってから操作対象となる機器に対して操作を行わせ
ることができる。

【００９８】さらに、操作対象となる機器の現在の状態
に関する質問を自然言語で入力させ、その自然言語が質
問であるかどうかを判別し、質問である場合に操作対象
となる機器の現在の状態に関する応答を出力することに
より、ユーザは、操作対象となっている機器がどのよう
な状態になっているかを容易に確認することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態にかかる機器操作シ
ステムの構成を示すブロック図である。

【図２】図１の辞書記憶部に記憶される機器内部に関す
る辞書の例を示す図である。

【図３】図１の辞書記憶部に記憶される機器名に関する
辞書の例を示す図である。

【図４】図１の辞書記憶部に記憶される機器と独立した
語に関する辞書の例を示す図である。

【図５】図１の機能間依存関係記憶部に記憶される機器
の機能間の依存関係の例を示す図である。

【図６】図１の現在状態記憶部に記憶される機器の現在
状態の例を示す図である。

【図７】本発明の第１の実施の形態における処理を示す
フローチャートである。

【図８】本発明の第２の実施の形態にかかる機器操作シ
ステムの構成を示すブロック図である。

【図９】本発明の第３の実施の形態において、辞書記憶
部にさらに記憶される応答文に関する辞書の例を示す図
である。

【図１０】本発明の第４の実施の形態において、機能間
依存関係記憶部に記憶される機器の機能間の依存関係の
例を示す図である。

【図１１】本発明の第５の実施の形態において、機能間
依存関係記憶部に記憶される機器の機能間の依存関係の
例を示す図である。

【図１２】本発明の第６の実施の形態における処理を示
すフローチャートである。

【図１３】本発明の実施の形態の変形にかかる機器操作
システムの構成を示すブロック図である。

【図１４】本発明の実施の形態の変形にかかる機器操作
システムの構成を示すブロック図である。

【図１５】本発明の実施の形態の変形にかかる機器操作
システムの構成を示すブロック図である。

【符号の説明】

１ 入力装置 ２ データ処理装置 ２１ 自然言語解析手段 ２２ 操作手順導出手段 ２３ コマンド実行手段 ３ 記憶装置 ３１ 辞書記憶部 ３２ 機能間依存関係記憶部 ３３ 現在状態記憶部 ４ 操作機器 ５ 出力装置 ６１ 音声入力装置 ６２ 音声認識装置 ７１ 音声変換装置 ７２ 音声出力装置 ８ 通信装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B020 BB10 CC11 GG01 GG05 5B091 AA15 CA12 CA14 CB21 CC01 CD01 DA06 5E501 AA30 AC23 AC33 BA20 CA01 CA06 CB15 EA21 FA32 FA43

Claims (16)

【特許請求の範囲】
1. 【請求項１】操作対象となる機器への操作指示を自然言
   語で入力する第１の入力手段と、 前記操作対象となる機器の各機能に応じた操作、及びそ
   れぞれの操作に対応する語を対応付けて記憶する辞書記
   憶手段と、 前記操作対象となる機器の各機能に応じた操作間の依存
   関係を記憶する機能間依存関係記憶手段と、 前記辞書記憶手段を参照して、前記第１の入力手段から
   入力された操作指示を解析し、前記自然言語で入力され
   た操作指示に対応する操作を導出する自然言語解析手段
   と、 前記機能間依存関係記憶手段を参照し、前記自然言語解
   析手段が導出した操作を前記操作対象となる機器に行わ
   せるまでの一連の操作を導出する操作手順導出手段と、 前記操作手順導出手段が導出した一連の操作を、前記操
   作対象となる機器に順次行わせる操作手段とを備えるこ
   とを特徴とする機器操作システム。
2. 【請求項２】前記操作対象となる機器の現在の状態を記
   憶する現在状態記憶手段をさらに備え、 前記操作手段は、前記操作対象となる機器が前記操作手
   順導出手段が導出した操作に応じた状態にあるかどうか
   を判別する手段を備え、該手段が前記操作手順導出手段
   が導出した操作に応じた状態にあると判別したとき、該
   操作を前記操作対象となる機器に行わせないことを特徴
   とする請求項１に記載の機器操作システム。
3. 【請求項３】前記操作手段は、前記操作対象となる機器
   に行わせる操作に対応した自然言語による応答を生成す
   る応答生成手段を備え、 前記応答生成手段が生成した応答を外部に出力する出力
   手段をさらに備えることを特徴とする請求項１または２
   に記載の機器操作システム。
4. 【請求項４】前記操作手段は、前記操作対象となる機器
   に対する操作を行う前に、前記応答生成手段に前記応答
   を生成させて前記出力手段から出力させると共に、該出
   力手段から出力された応答に対して所定の入力がされた
   ときに、前記操作対象となる機器に対する操作を行い、 前記操作手段に操作対象となる機器に対する処理を行わ
   せるための前記所定の入力をする第２の入力手段をさら
   に備えることを特徴とする請求項３に記載の機器操作シ
   ステム。
5. 【請求項５】前記機能間依存関係記憶手段は、ユーザの
   操作によらなければ行えない状態に所定の属性を含ませ
   て記憶し、 前記操作手段は、前記操作対象となる機器を前記所定の
   属性を含む状態にする操作を行わせようとする場合に、
   前記操作対象となる機器に対する操作を行う前に、前記
   応答生成手段に前記応答を生成させて前記出力手段から
   出力させると共に、該出力手段から出力された応答に対
   して所定の入力がされたときに、前記操作対象となる機
   器に対する操作を行うことを特徴とする請求項４に記載
   の機器操作システム。
6. 【請求項６】前記機能間依存関係記憶手段は、ある状態
   にすべき操作を行うことによって前記操作対象となる機
   器の他の状態での動作を中止しなければならないという
   制約を示す参照制約をさらに記憶しており、 前記操作手段は、前記参照制約のある操作を行おうと
   し、かつ前記操作対象となる機器の現在の状態での動作
   が該参照制約によって中止されることが示されている場
   合に、前記応答生成手段に前記応答を生成させて前記出
   力手段から出力させると共に、該出力手段から出力され
   た応答に対して所定の入力がされたときに、前記操作対
   象となる機器に対する操作を行うことを特徴とする請求
   項４に記載の機器操作システム。
7. 【請求項７】前記機能間依存関係記憶手段は、操作を行
   うことによって以前の状態を回復できない状態に所定の
   属性を含ませて記憶し、 前記操作手段は、前記操作対象となる機器を前記所定の
   属性を含む状態にする操作を行わせようとする場合に、
   前記応答生成手段に前記応答を生成させて前記出力手段
   から出力させると共に、該出力手段から出力された応答
   に対して所定の入力がされたときに、前記操作対象とな
   る機器に対する操作を行うことを特徴とする請求項４に
   記載の機器操作システム。
8. 【請求項８】前記第１の入力手段は、前記操作対象とな
   る機器の現在の状態に関する質問をも、自然言語で入力
   するものであり、 前記辞書記憶手段は、さらに、質問か操作指示かの別、
   及びそれぞれに対応する語を対応付けて記憶し、 前記自然言語解析手段は、前記辞書記憶手段を参照し
   て、前記第１の入力手段から入力された自然言語が、質
   問であるか操作指示であるかを判別する手段を備え、 前記応答生成手段は、前記言語解析手段が質問であると
   判別したときに、前記現在状態記憶手段を参照して、前
   記操作対象となる機器の現在の状態に関する応答を生成
   することを特徴とする請求項３乃至７のいずれか１項に
   記載の機器操作システム。
9. 【請求項９】前記第１の入力手段は、前記操作指示を自
   然言語の音声として入力する手段と、該手段から入力さ
   れた音声を認識する手段とを備えることを特徴とする請
   求項１または２に記載の機器操作システム。
10. 【請求項１０】前記第１の入力手段は、前記操作指示を
    自然言語の音声として入力する手段と、該手段から入力
    された音声を認識する手段とを備え、 前記出力手段は、前記応答に対応する自然言語の音声を
    生成する手段と、該手段によって生成された音声を出力
    する手段とを備えることを特徴とする請求項３に記載の
    機器操作システム。
11. 【請求項１１】前記第１の入力手段は、通信回線を介し
    て遠隔地から前記操作指示を受信し、前記自然言語解析
    手段に供給する第１の通信手段によって構成され、 前記第２の入力手段は、前記応答を前記応答生成手段か
    ら受け取り、通信回線を介して遠隔地に送信する第２の
    通信手段によって構成されることを特徴とする請求項
    ３、４、５、６、７、８または１０のいずれか１項に記
    載の機器操作システム。
12. 【請求項１２】操作対象となる機器への操作指示を自然
    言語で入力する第１の入力機能と、 前記操作対象となる機器の各機能に応じた操作、及びそ
    れぞれの操作に対応する語を対応付けて記憶する辞書を
    参照して、前記第１の入力機能により入力された操作指
    示を解析し、前記自然言語で入力された操作指示に対応
    する操作を導出する自然言語解析機能と、 前記操作対象となる機器の各機能に応じた操作間の依存
    関係を参照し、前記自然言語解析機能で導出した操作を
    前記操作対象となる機器に行わせるまでの一連の操作を
    導出する操作手順導出機能と、 前記操作手順導出機能で導出した一連の操作を、前記操
    作対象となる機器に順次行わせる操作機能とを実現する
    プログラムを記録することを特徴とするコンピュータ読
    み取り可能な記録媒体。
13. 【請求項１３】前記操作機能は、前記操作対象となる機
    器が前記操作手順導出機能で導出した操作に応じた状態
    にあるかどうかを判別する機能を含み、該機能で前記操
    作手順導出機能により導出した操作に応じた状態にある
    と判別したとき、該操作を前記操作対象となる機器に行
    わせないことを特徴とする請求項１２に記載のコンピュ
    ータ読み取り可能な記録媒体。
14. 【請求項１４】前記操作機能は、前記操作対象となる機
    器に行わせる操作に対応した自然言語による応答を生成
    する応答生成機能を含み、 前記応答生成機能で生成した応答を外部に出力する出力
    機能を実現するプログラムをさらに記録することを特徴
    とする請求項１２または１３に記載のコンピュータ読み
    取り可能な記録媒体。
15. 【請求項１５】前記操作機能は、前記操作対象となる機
    器に対する操作を行う前に、前記応答生成機能により前
    記応答を生成させて前記出力機能により出力させると共
    に、該出力機能により出力された応答に対して所定の入
    力がされたときに、前記操作対象となる機器に対する操
    作を行うものであり、 前記操作機能で操作対象となる機器に対する処理を行わ
    せるための前記所定の入力をする第２の入力機能を実現
    するプログラムをさらに記録することを特徴とする請求
    項１４に記載のコンピュータ読み取り可能な記録媒体。
16. 【請求項１６】前記操作対象となる機器の各機能に応じ
    た操作、及びそれぞれの操作に対応する語を対応付けて
    記憶する辞書データと、 前記操作対象となる機器の各機能に応じた操作間の依存
    関係を記憶する機能間依存関係データとを記録すること
    を特徴とするコンピュータ読み取り可能な記録媒体。