JP2002251235A - 利用者インタフェースシステム - Google Patents

Abstract

(57)【要約】 【課題】 ある操作指示により利用者が行いたい操作が
利用状況に応じて異なる場合でも正しい意味内容となる
ように操作対象装置に対する操作を媒介する。 【解決手段】 操作指示辞書格納部１０に、利用者、利
用者の状況、アプリケーションの状態、利用日時などに
応じて編集され、カスタマイズされた操作指示辞書１１
を格納しておく。観察部２０により、利用者、利用者の
状況、アプリケーションの状態、利用日時を観察・認識
し、観察信号を得る。操作指示辞書選択部３０は、観察
部２０からの観察信号に従い、対応する操作指示辞書１
１を選択する。操作指示受け付け部４０は、入力部４１
を介して利用者からジェスチャなどで操作指示の受け付
けを行い、解釈部４２により操作指示辞書を用いてジェ
スチャ操作の意味内容を解釈する。装置インタフェース
５０は当該意味内容を操作対象装置６０の操作コマンド
に変換して送出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マンマシンインタ
フェースの技術分野に関し、特にテレビジョンやビデオ
をはじめとした家電製品、コンピュータなどの操作指示
を受け付け、操作対象装置に対する装置コマンドを発行
する利用者インタフェースシステムに関する。

【０００２】

【従来の技術】現在、テレビジョンやビデオをはじめと
した家電製品、コンピュータなどの操作は、リモートコ
ントローラ、マウス、キーボードなどのボタン操作によ
る入力装置が広く用いられている。これら入力装置のボ
タン押下等による操作は、その操作指示の意味内容が一
意に定まるものである。つまり、利用者が誰であるの
か、利用者がどのような状態であるのか等の違いとは無
関係に、誰がどの状態であってもボタン操作等の如何に
従って操作対象装置の操作内容が一意に決まっていた。
このような利用者インタフェースは、万人に共通した静
的・固定的な利用者インタフェースと言える。

【０００３】上記のような静的・固定的な利用者インタ
フェースに対して、柔軟性を持たせ、利用者に応じて、
または、利用状況に応じて利用者インタフェースを調整
する技術が知られている。

【０００４】利用者に応じて、利用者インタフェースを
調整する技術として、特開2000-175117号に記載の技術
が知られている。特開2000-175117号に記載の技術は、
利用者の属性に応じて操作指示入力の受け付け可否を制
御するものであり、特に、ペアレンタルロックと呼ばれ
るものに特定された技術が開示されている。ペアレンタ
ルロックとは、例えば、テレビジョン放送の視聴にあた
り、子供には特定チャンネルの視聴を制限したいという
ケースなど、人物ごとに視聴できる内容を制限するもの
で、特定人物（子供など）であれば、特定の操作指示を
受け付けない（特定のチャンネルの選択操作に対するロ
ックをかける）というものである。

【０００５】利用日に応じて利用者インタフェースを調
整する技術としては、特開平9-186943号に記載の技術が
知られている。特開平9-186943号に記載の技術は、利用
者から入力されたテレビジョン放送の番組名やチャンネ
ル名を音声認識し、テレビジョンのチャンネル切り替え
を行うシステムにおいて、番組表をもとに利用日に応じ
て装備する音声認識辞書の語彙を更新するものである。
これは、利用日に応じて利用者からの入力が想定される
語彙に絞って装備することによる音声認識辞書サイズの
低減を狙ったものである。

【０００６】

【発明が解決しようとする課題】しかし、従来の特開20
00-175117号に記載の技術は、利用者に応じて、利用者
インタフェースを調整するものの一つではあるが、これ
は、利用者に応じて特定の操作指示入力の受け付けを無
効化するものであり、単に、特定の操作指示に対して、
有効／無効の条件を付加したものである。

【０００７】また、従来の特開平9-186943号に記載の技
術は、利用日に応じて利用者インタフェースを調整する
ものの一つではあるが、これは、辞書内の語彙を利用日
に応じて更新するものである。

【０００８】近年、コンピュータ技術の発展に伴い、装
置の操作においても、柔軟性に富み、ユーザフレンドリ
性が追求されるようになってきた。利用者ごと、利用者
の状況ごとに応じて、より柔軟に対応できる利用者イン
タフェースが求められている。同じ操作指示であって
も、その状況で利用者が求めている操作内容は、利用者
ごと、利用者の状況ごとに応じて、異なる場合がある。
例えば、テレビジョンの操作を例にとると、「今日の私
のお好み番組」という入力や、「先週視聴した番組の続
編を今週も見たい」という入力は、同じ語であっても利
用者が誰であるのか、どういう利用状況なのかにより、
操作指示の意味する内容が変わる。このような場合は辞
書内の語彙を更新するだけでは対処できない。また、同
じ利用者から同じ語による操作指示を受け付けても、ア
プリケーションの状態や利用日時に応じて、その操作指
示により利用者が行いたい操作内容が異なる場合も想定
される。このような場合にも、柔軟にその意を汲んで、
操作対象装置に対する操作指示が正しく受け付けられれ
ば便利である。

【０００９】上記従来の技術のいずれかまたは両者の組
み合わせでは、上記の如く、利用者、利用者の状況など
に応じて、その操作指示により利用者が行いたい操作内
容が異なる場合に正しく操作対象装置に対する操作を媒
介するという利用者インタフェースを提供することはで
きない。

【００１０】本発明は、利用者、利用者の状況、アプリ
ケーションの状態、利用日時などに応じて、その操作指
示により利用者が行いたい操作内容が異なる場合であっ
ても正しく操作対象装置に対する操作を媒介するという
利用者インタフェースを提供することを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、本発明の利用者インタフェースシステムは、操作指
示とその意味内容とを利用者ごとに編集した操作指示辞
書と、利用者を観察し、利用者を認識する利用者観察部
と、前記利用者観察部の認識結果に従い、当該利用者用
に編集された操作指示辞書を選択する操作指示辞書選択
部と、利用者からの操作指示を受け付け、前記選択され
た操作指示辞書を用いて、受け付けた操作指示の意味内
容を解釈する操作指示受け付け部と、前記操作指示受け
付け部が解釈した操作指示の意味内容に従って操作対象
装置用のコマンドを発行する装置用インタフェースとを
備えたことを特徴とする。

【００１２】上記構成により、利用者ごとに応じて、操
作指示とその意味内容とを編集した操作指示辞書を用意
し、利用者を認識して適切な操作指示辞書を用いるの
で、本発明の利用者インタフェースは、当該操作指示に
より利用者が行いたい操作内容を的確に正しく操作対象
装置に対する装置コマンドとして変換することができ
る。

【００１３】また、上記構成において、前記操作指示辞
書において、操作指示とその意味内容とが当該利用者の
状態ごとに編集されており、利用者の状態を観察し、利
用者の状態を認識する利用者状態観察部を備え、前記操
作指示辞書選択部が、前記利用者観察部の認識結果と前
記利用者状態観察部の認識結果も併せて操作指示辞書を
選択することが好ましい。

【００１４】上記構成により、利用者ごとにその利用者
の状態に応じて、操作指示とその意味内容とを編集した
操作指示辞書を用意し、利用者および利用者の状態を認
識して適切な操作指示辞書を用いるので、本発明の利用
者インタフェースは、当該操作指示により利用者がその
状態で行いたい操作内容を的確に正しく操作対象装置に
対する装置コマンドとして変換することができる。

【００１５】また、上記構成において、前記操作指示辞
書において、操作指示とその意味内容とがアプリケーシ
ョンおよびその状態ごとに編集されており、装置で稼働
中のアプリケーションおよびその状態を認識するアプリ
ケーション状態観察部を備え、前記操作指示辞書選択部
が、前記利用者観察部の認識結果と前記アプリケーショ
ン状態観察部の認識結果も併せて操作指示辞書を選択す
ることが好ましい。

【００１６】上記構成により、利用者、利用者の状態に
加え、アプリケーションの状態に応じて、操作指示とそ
の意味内容とを編集した操作指示辞書を用意し、アプリ
ケーションの状態をも認識して適切な操作指示辞書を用
いるので、本発明の利用者インタフェースは、当該操作
指示により利用者がそのアプリケーションの状態で行い
たい操作内容を的確に正しく操作対象装置に対する装置
コマンドとして変換することができる。

【００１７】また、上記構成において、前記操作指示辞
書において、操作指示とその意味内容とが時間に応じて
編集されており、現在の時間を認識する時間認識部を備
え、前記操作指示辞書選択部が、前記利用者観察部の認
識結果と前記時間認識部の認識結果も併せて操作指示辞
書を選択することが好ましい。

【００１８】上記構成により、利用者、利用者などの状
態に加え、利用日時に応じて、操作指示とその意味内容
とを編集した操作指示辞書を用意し、アプリケーション
の状態をも認識して適切な操作指示辞書を用いるので、
本発明の利用者インタフェースは、当該操作指示により
利用者がその時間において行いたい操作内容を的確に正
しく操作対象装置に対する装置コマンドとして変換する
ことができる。

【００１９】また、上記構成において、前記操作指示辞
書が、前記操作指示とその意味内容に加え、前記操作指
示受け付け部において利用者から観察される信号情報と
の対応づけを含み、前記操作指示受け付け部が、利用者
を観察して得た信号情報をもとに対応する操作指示およ
び当該操作指示の意味内容を解釈することが好ましい。

【００２０】上記構成により、利用者から観察される信
号情報、例えば、音声信号、画像信号と操作指示を対応
づけることができるので、音声入力、身振りによるジェ
スチャ入力による操作指示が可能となり、さらに、利用
者ごとに特有の身振りによる操作指示受け付けなどのカ
スタマイズが可能となる。

【００２１】

【発明の実施の形態】（実施形態１）本発明の実施形態
１にかかる利用者インタフェースシステムを述べる。

【００２２】本発明の実施形態１の利用者インタフェー
スシステムは、操作指示とその意味内容とを利用者ごと
に編集した操作指示辞書を用意し、利用者を認識して、
当該利用者用に編集された操作指示辞書を用いて、操作
指示を受け付けるものである。利用者インタフェースシ
ステムは、受け付けた操作指示を、その意味内容に従っ
て操作対象装置用のコマンドとして発行する。

【００２３】まず、実施形態１の利用者インタフェース
システムの装置構成概略を示す。

【００２４】図１は、本発明の実施形態１にかかる利用
者インタフェースシステムの装置構成概略を示す図であ
る。１０は操作指示辞書格納部、２０は観察部、３０は
操作指示辞書選択部、４０は操作指示受け付け部、５０
は装置用インタフェースである。なお、６０は利用者イ
ンタフェースシステムを介して操作しようとする操作対
象装置である。例えば、テレビジョン、ビデオ機器、ス
テレオ、エアコン、冷蔵庫、掃除機、電子レンジ、電気
ポット、電気炊飯器、時計、カメラを始めとした家電製
品、パーソナルコンピュータ、電話、ファックス送受信
装置、携帯電話、リモートディスプレイを始めとした情
報機器、ドアインターホン、照明制御システム、ガス制
御システム、風呂管理装置を始めとした住宅電子装置、
電子錠、エレベータ、顧客受付システムを始めとしたビ
ル制御システム、自動車、電車、飛行機、船舶などの運
転制御装置、電子楽器、ゲーム装置などのアミューズメ
ント製品である。何れも、操作対象装置を電子的、電気
的に操作でき、その動作によって起こった変化が、操作
者に対して視覚的、聴覚的、嗅覚的、味覚的、触覚的に
分かるものであれば良い。

【００２５】操作指示辞書格納部１０は、操作指示とそ
の意味内容、つまり、操作指示セットと当該操作指示セ
ットに含まれる各操作指示の意味内容とを利用者ごとに
編集した操作指示辞書１１を格納している。この例で
は、操作指示辞書格納部１０は、利用者Ａ、Ｂ、Ｃ用と
して、それぞれ、操作指示辞書１１ａ，操作指示辞書１
１ｂ，操作指示辞書１１ｃを備えている。各操作指示辞
書１１ａ〜ｃは、各人ごとに受け付け可能な操作指示と
各操作指示の意味内容が対応づけられた形で編集されて
いる。ここで、各操作指示辞書の編集では、ある操作指
示を辞書に含めるか否かも自由に選択でき、さらに、操
作指示に対する意味内容も自由に変えることができる。
つまり、同じ操作指示であっても、操作指示辞書１１
ａ，操作指示辞書１１ｂ，操作指示辞書１１ｃにおいて
対応づけられている意味内容がそれぞれ異なることも有
り得る。

【００２６】図２は、操作指示辞書１１ａ，操作指示辞
書１１ｂ，操作指示辞書１１ｃが持つ辞書の内容を模式
的に一部分だけ示したものである。いずれも左欄が操作
指示、右欄が左欄の操作指示に対するその意味内容が記
載されている。例えば、操作指示辞書１１ａは、操作指
示としてＯｐ１，Ｏｐ２，Ｏｐ３，Ｏｐ４を含んでいる
が、操作指示辞書１１ｂは、操作指示としてＯｐ１，Ｏ
ｐ２，Ｏｐ４を含み、Ｏｐ３を含んでいない。操作指示
辞書１１ｃは、操作指示としてＯｐ２，Ｏｐ３を含み、
Ｏｐ１，Ｏｐ４を含んでいない。このように、操作指示
辞書１１によって、含まれる操作指示セットが異なると
いうことが起こりうる。さらに、操作指示Ｏｐ１の解釈
として、操作指示辞書１１ａを用いた場合では意味内容
Ｘ１が対応し、操作指示辞書１１ｂを用いた場合では意
味内容Ｙ１が対応し、操作指示辞書１１ｃを用いた場合
では当該操作指示Ｏｐ１が辞書中にないと言うことが起
こりうる。このように、同じ操作指示でも用いる操作指
示辞書１１によって、操作指示の意味内容が異なるとい
うことが起こりうる。

【００２７】このように、操作指示辞書１１は、操作指
示、意味内容の点から、各利用者ごとに柔軟にカスタマ
イズされたものとなっている。

【００２８】なお、利用者ごとに操作指示辞書を編集す
る際の工夫については、後述する実施形態４に譲る。

【００２９】観察部２０は、観察対象を観察し、観察対
象から観察信号を生成する部分である。本実施形態１で
は、利用者認識を行い、後述するように利用者ごとの操
作指示辞書の選択を行うので、観察部２０は、利用者観
察部２１を備えている。また、この実施形態１では後述
するように利用者からの操作指示入力をジェスチャによ
る入力とする例を説明するので、利用者状態観察部２２
を備えた構成としている。

【００３０】利用者観察部２１は、利用者に特別な装置
を持たせたり特別な装置を装備させることなく、また、
利用者の動きや会話を妨げることなく、利用者の個人識
別情報を観察した信号を獲得できる一つ以上の装置を用
いる。

【００３１】例えば、利用者の個人識別のために必要な
情報を観察するための信号を得る装置としては、人間の
個体差を示す生体情報を観察できる装置を用いる。人間
の顔、音声、身長、手の長さ、足の長さ等の体型を観察
できる装置として、カメラ、赤外線カメラ、マイク等が
相当する。利用者の個人識別は、人間の顔、音声、体型
を観察した信号をあらかじめ個人ごとに登録しておいた
信号と比較することにより行う。個人を識別する情報と
して人間の顔、音声、体型のいずれか一つを利用しても
良く、また、このうちの二つ以上を組み合わせて利用し
てもよい。

【００３２】ここで、カメラ、赤外線カメラを用いた場
合は、人間の顔、体型を観察できる。個人の特徴とし
て、人間の顔を用いる場合は顔領域を検出し、目、鼻、
口、顔の輪郭等に関する空間的輝度変化情報を用いて照
合できる。目、鼻、口、顔の輪郭等の空間的輝度変化情
報は、輝度情報を要素に持つ二次元配列またはそれをＤ
ＣＴ変換して得られた係数、フーリエ変換して得られた
係数、固有ベクトルの要素等に変換した数値の比較によ
り行うことができる。個人の特徴として体型を用いる場
合は、手や足の長さ、首や胴体の太さを用いて照合でき
る。これらを表す情報は、人間の大きさを持った動く物
体を画像情報より検出し、その領域に人間の構造に応じ
た関節を持ったモデルの投影像をあてはめ、領域の見か
けの大きさから求めることができる。

【００３３】ここで、マイクを用いた場合は音声を観察
できる。この場合、個人の特徴として音声の周波数特性
に関する情報を用いて照合できる。例えば、利用者の音
声周波数スペクトルを登録しておき、取り込んだ音声信
号を分析して個人識別する。

【００３４】なお、他の利用者の個人識別の方法とし
て、利用者別の申告ボタンを押下してもらう方法、パス
ワードを入力してもらう方法、ＩＤカードを読み取る方
法、指紋、網膜、掌紋、虹彩、署名、筆跡を判別する方
法なども有り得る。

【００３５】利用者観察部２１は、利用者観察の結果、
利用者個人識別に関する情報を検知して利用者観察信号
を生成する。つまり、利用者観察信号とは、利用者識別
信号となる。

【００３６】次に、利用者状態観察部２２を説明する。
利用者状態観察部２２は、利用者の状態に関する情報を
検知して利用者状態観察信号を生成する部分である。こ
こで、利用者状態観察信号とは、利用者の状態を識別す
る信号である。

【００３７】利用者状態観察部２２として、利用者に特
別な装置を持たせたり、特別な装置を装備させることな
く、利用者の動きや会話を妨げることなく、利用者の位
置、向き等の状態、利用者が発する指示を観察した信号
を獲得できる一つ以上の装置を用いる。

【００３８】利用者の位置を観察するための信号を得る
装置としては、人間の姿、動き、生体反応を観察できる
装置を用いる。カメラ、赤外線カメラ、超音波センサ等
が相当する。

【００３９】利用者の向きを観察するための信号を得る
装置としては、利用者の位置を観察できる機能に加え、
利用者の顔の向きを観察できる装置を用いる。カメラ、
赤外線カメラ等が相当する。

【００４０】利用者が発する指示を観察するための信号
を得る装置としては、人間の手、足の動き（ジェスチ
ャ）、顔の表情、声（音声入力）を観察できる装置を用
いる。カメラ、赤外線カメラ、マイク等が相当する。

【００４１】利用者状態観察部２２は、観察信号に基づ
いて、利用者の表示装置に対する相対的な状態を求め
る。例えば、利用者の操作対象装置に対する位置、また
は、位置と向きを求める。利用者の位置は、操作対象装
置を基準とした床平面上の二次元座標もしくは操作対象
装置を基準にした三次元座標において、利用者が存在す
る場所を利用者の位置として検出する。

【００４２】カメラを用いた場合は、そのカメラを床平
面上の既知の場所、向きに配置し、当該カメラから得ら
れた連続画像を基に、輝度情報および輝度変化情報を用
いて床平面上で動く人間の姿を持った領域を見つけるこ
とにより、利用者の位置の二次元座標を求めることがで
きる。また、カメラを複数配置すれば、各カメラから得
られた画像を基に、輝度情報を用いて平面上で動く人間
の姿を持った領域を見つけ、三角測量の原理により利用
者の位置の三次元座標を求めることができる。

【００４３】超音波センサを用いた場合、複数の超音波
発信器および受信器を床平面と平行な直線上に配置すれ
ば、受信した超音波の位相の差から利用者の床平面上で
の位置の二次元座標を求めることができる。また、複数
の超音波発信器および受信器の配置にあたり、それら超
音波発信器および受信器すべてが床平面と垂直な面上に
一本の直線上に並ぶことがないように配置すれば、受信
した超音波の位相の差を基に、利用者の位置の三次元座
標を求めることができる。

【００４４】次に、利用者の向きに関しては、利用者の
顔が向いている方向を、操作対象装置を基準にした床平
面上の二次元ベクトルもしくは操作対象装置を基準にし
た三次元ベクトルとして求める。カメラを用いる場合
は、以下の流れにより利用者の顔の向きを検出すること
ができる。まず、獲得した画像から顔に相当する肌色
の領域において、目、鼻、口に相当する輝度変化を持っ
た部分が観察される領域を求める。次に、画像中の顔
領域の相対位置からカメラに対する顔領域の相対位置を
計算する。次に、顔領域中の目、鼻、口の相対位置を
求める。次に、あらかじめ記憶しておいた顔の角度と
顔の角度に対する顔領域中の目、鼻、口の相対位置との
関係を表わす数式または表に基づきカメラに対する顔の
角度を求める。次に、操作対象装置に対するカメラの
向き、位置情報を用いて顔の位置、向きの操作対象装置
に対する位置、向きを計算する。

【００４５】なお、赤外線カメラを用いる場合は、観察
部２０にカメラを用いた場合の手順の上記手順の代わ
りに’獲得した赤外線画像から顔に相当する温度分布
を持つ領域において、目、鼻、口に相当する温度変化を
持った部分が観察される領域を求める処理を行い、手順
以降、カメラの代わりに赤外線カメラと置き換えた方
法によって利用者の顔の向きを求めることができる。こ
の場合、顔の向きに関する情報は必ずしも求めなくても
よい。

【００４６】利用者状態観察部２２は、利用者状態を一
時記録し、この情報の経時変化を計算することにより利
用者の状態変化情報も検出する。利用者状態は、利用者
の操作対象装置に対する相対位置の二次元座標または三
次元座標および利用者の操作対象装置に対する顔の向き
の二次元ベクトルまたは三次元ベクトルとして記録す
る。利用者の状態に関する情報は、利用者の状態変化が
わかるように、利用者の状態検出を行うごとに適当な時
間間隔を持たせて記憶する。

【００４７】なお、利用者状態認識の方法としては、利
用者自身にその状態を申告するボタンを押下してもらう
方法、キーボードなどから利用者状態に関する情報を利
用者に入力してもらう方法なども可能である。

【００４８】操作指示辞書選択部３０は、観察部２０の
個人識別結果に従い、当該利用者用に編集された操作指
示辞書を操作指示辞書格納部１０から選択する部分であ
る。

【００４９】操作指示受け付け部４０は、利用者からの
操作指示を受け付ける入力部４１と、操作指示辞書選択
部３０により選択された操作指示辞書を用いて、受け付
けた操作指示の意味内容を解釈する解釈部４２とを備え
ている。利用者から入力部４１への操作指示入力方法は
多様な方式を用いることができる。例えば、操作ボタン
による入力、キーボードによる入力、マウスなどのポイ
ンティングデバイスを用いたＧＵＩに従った入力も可能
である。さらには、利用者のジェスチャによる入力、音
声認識による入力が可能である。例えば、入力部４１
が、観察部２０の利用者状態観察部２２から得た利用者
状態を観察した信号を解析することにより操作指示を受
け付けることも可能である。例えば、観察部２０がカメ
ラを備えて取り込んだ人物画像信号を基にした画像認識
を用いたジェスチャによる操作指示入力、観察部２０が
マイクロフォンを備えて取り込んだ音声信号を基にした
音声認識による操作指示入力も可能である。利用者に特
別な装置を持たせたり動作を必要としないのでユーザフ
レンドリの面からも好ましい。なお、画像認識による操
作指示入力を行う場合には画像認識辞書（ジェスチャ辞
書）部分、音声認識による操作指示入力を行う場合には
音声認識辞書部分が必要である。これら、画像認識辞書
（ジェスチャ辞書）部分、音声認識辞書部分を全利用者
に共通したものとするか、利用者ごとにカスタマイズし
たものとするかは選択可能である。画像認識辞書（ジェ
スチャ辞書）部分、音声認識辞書部分を全利用者に共通
したものを用いる場合は、共通画像認識辞書（ジェスチ
ャ辞書）や共通音声認識辞書を操作指示辞書格納部１０
に備えても良く、また、操作指示受け付け部４０に備え
ておいても良い。なお、画像認識辞書（ジェスチャ辞
書）部分や音声認識辞書部分を利用者ごとにカスタマイ
ズしたものとする構成は実施形態２に詳しく説明するの
でここでの説明は割愛する。

【００５０】装置用インタフェース５０は、装置とのイ
ンタフェース機能を提供する部分で、操作指示受け付け
部４０が解釈した操作指示の意味内容に従って、操作対
象装置６０用のコマンドを発行する部分である。装置用
インタフェース５０は、あらかじめ、操作対象装置６０
用のコマンド発行に関する情報を保持している。

【００５１】次に、本発明の実施形態１の利用者インタ
フェースシステムの信号処理の流れを図３のフローチャ
ートを参照しつつ説明する。

【００５２】なお、この例では、処理に先立ち、操作指
示辞書格納部１０に利用者ごとの操作指示辞書１１を格
納しておく。この例では、利用者Ａ、Ｂ、Ｃ用として、
それぞれ、操作指示辞書１１ａ，操作指示辞書１１ｂ，
操作指示辞書１１ｃを用意する。このように事前に利用
者ごとの操作指示辞書を準備せず、処理が始まってから
観察信号を基に操作指示辞書を編集しても良い。操作指
示辞書を編集する処理については後述する実施形態４で
述べる。

【００５３】また、装置用インタフェース５０は、あら
かじめ、操作対象装置６０用のコマンドに関する情報を
保持しておく。この例では操作対象装置６０が特定機種
のテレビジョンとし、当該特定機種のテレビジョン用の
コマンドに関する情報が保持されるものとする。

【００５４】まず、観察部２０は観察対象を観察し、観
察信号を得る（ステップＳ３０１）。この例では、観察
部２０は利用者観察部２１により利用者の個人識別を行
って個人識別情報を得る。例えば、利用者の顔画像を登
録しておき、観察部２０がカメラを備え、利用者の顔画
像信号を取り込んで分析し、個人識別する方法でも良
い。また、利用者の音声周波数スペクトルを登録してお
き、観察部２０がマイクロフォンを備え、利用者の音声
を取り込んで利用者の音声周波数スペクトルを分析して
個人識別する方法でも良い。

【００５５】ここでは利用者がＡであることが認識され
たとする。

【００５６】次に、操作指示辞書選択部３０は、観察部
２０から観察された信号を得て、当該観察結果に該当す
る操作指示辞書を操作指示辞書格納部１０から選択する
（ステップＳ３０２）。この例では、利用者の個人識別
結果を得て、該当する利用者用に用意された操作指示辞
書を操作指示辞書格納部１０から選択する。なお、該当
する辞書が操作指示辞書格納部１０にない場合や、観察
信号に従って操作指示辞書を編集する場合は、ステップ
Ｓ３０１で得られた観察信号を基に操作指示辞書を編集
する。

【００５７】ここでは、利用者Ａに対する操作指示辞書
１１ａが選択されたとする。

【００５８】次に、操作指示受け付け部４０は操作を終
了するか否かをチェックした後（ステップＳ３０３）、
利用者からの操作指示入力待ち状態に入る（ステップＳ
３０４）。

【００５９】利用者からの操作指示入力があった場合
（ステップＳ３０４：Ｙ）、操作指示受け付け部４０の
入力部４１を介して利用者の操作指示を入力する（ステ
ップＳ３０５）。ここでは、観察部２０の利用者観察部
２２から得た利用者を観察した信号を入力部４１が取り
込んで解析することにより操作指示を受け付ける。例え
ば、利用者状態観察部２２で得られた利用者のジェスチ
ャ信号を入力部４１が取り込み、ジェスチャの解析によ
り操作指示入力を受け付けたり、利用者状態観察部２２
がマイクロフォンを備えて入力された音声信号を入力部
４１が取り込み、音声認識により操作指示入力を受け付
けたりすることが可能である。

【００６０】ここでは、利用者Ａが操作指示Ｏｐ１を出
し、当該操作指示Ｏｐ１が操作指示受け付け部４０の入
力部４１を介して正しく受け付けられたとする。

【００６１】次に、操作指示受け付け部４０の解釈部４
２は、ステップＳ３０２で選択された操作指示辞書を用
いて、ステップＳ３０４で入力された操作指示の意味内
容を解釈する（ステップＳ３０６）。

【００６２】ここでは、操作指示Ｏｐ１が操作指示辞書
１１ａを用いて解釈され、図２に示したように、操作指
示Ｏｐ１に対して意味内容Ｘが解釈されたとする。

【００６３】次に、装置用インタフェース５０は、操作
指示受け付け部４０が解釈した操作指示の意味内容に従
って、操作対象装置６０用のコマンドを発行する（ステ
ップＳ３０７）。例えば、装置用インタフェース５０は
テレビジョンのリモートコントローラとしての機能を包
含し、当該意味内容に沿ったリモートコントロール信号
を発行する。ここでは、装置用インタフェース５０にお
いて、意味内容Ｘに対応する特定機種のテレビジョンの
コマンド（例えばＣｘ）に変換され、当該コマンド（Ｃ
ｘ）が操作対象装置となっている特定機種のテレビジョ
ンに対して発行される。

【００６４】なお、例えば、操作対象装置が、ビルの電
子錠、エレベータ、ドアインターホン、電話、ファック
ス送受信装置の場合は、ボタン操作としての機能を包含
し、当該意味内容に沿ったボタン信号を発行する。ま
た、例えば、操作対象装置が、自動車、電車などの運転
制御装置の場合は、ハンドル操作やペダル操作としての
機能を包含し、当該意味内容に沿った制御信号を発行す
る。また、例えば、操作対象装置が、電子バイオリン、
電子ドラム、ゲーム装置で、弓、撥、バット、ラケッ
ト、釣竿などの仮想的な制御装置により操作する場合
は、仮想的な制御装置の操作としての機能を包含し、当
該意味内容に沿って仮想的な制御装置と同等の信号を発
行する。

【００６５】次に、操作対象装置６０用のコマンドを発
行後、ステップＳ３０３の終了確認、ステップＳ３０４
の入力待ち状態に戻り、次の操作指示入力があるまで、
入力待ち状態に入る。

【００６６】なお、ステップＳ３０６において操作指示
辞書１１ａに操作指示Ｏｐ１に対する意味内容が存在し
なかった場合は、ステップＳ３０３の終了確認、ステッ
プＳ３０４の入力待ち状態に戻る。

【００６７】以上、本実施形態１の利用者インタフェー
スシステムによれば、操作指示セットと当該操作指示セ
ットに含まれる各操作指示の意味内容とを利用者ごとに
編集した操作指示辞書を用い、受け付けた操作指示を当
該操作指示辞書に従い、その意味内容に従って操作対象
装置用のコマンドとして発行することができる。

【００６８】（実施形態２）本発明の実施形態２にかか
る利用者インタフェースシステムを述べる。

【００６９】本発明の実施形態２の利用者インタフェー
スシステムは、操作指示辞書として、利用者および利用
者の状態ごと、アプリケーションおよびその状態ごと、
利用日時ごとに、操作指示とその意味内容とを編集した
ものを用意したものである。観察部が、利用者および利
用者の状態、アプリケーションおよびその状態、利用日
時などを認識し、操作指示受け付け部がこれら認識した
条件に対応する操作指示辞書を用いて、操作指示を受け
付けるものである。利用者インタフェースシステムは、
受け付けた操作指示を、その意味内容に従って操作対象
装置用のコマンドとして発行する。

【００７０】ここで、利用者の状態とは、利用者の物理
的・肉体的状態のみならず、利用者の趣味趣向などの利
用者の属性情報、さらには、利用者の経済状態など多様
な利用者情報を含む概念である。

【００７１】まず、実施形態２の利用者インタフェース
システムの装置構成概略を示す。

【００７２】図４は、本発明の実施形態２の利用者イン
タフェースシステムの装置構成概略を示す図である。操
作指示辞書格納部１０、操作指示辞書選択部３０、操作
指示受け付け部４０、装置用インタフェース５０は、実
施形態１の図１に示したものと同様で良い。なお、６０
は利用者インタフェースシステムを介して操作しようと
する操作対象装置であり、例えば、テレビジョンなどで
ある。

【００７３】操作指示辞書格納部１０は、操作指示辞書
１１を格納しているが、本実施形態２では、操作指示辞
書１１は、利用者、利用者の状態、アプリケーションお
よびその状態、利用日時という要素により、操作指示セ
ットと当該操作指示セットに含まれる各操作指示の意味
内容とが編集されている。つまり、同じ操作指示であっ
ても、例えば、利用者が異なればその意味内容が異なる
こともあり、利用者の状態が異なればその意味内容が異
なることもある。また、アプリケーションおよびその状
態が異なればその意味内容が異なることもあり、利用日
時が異なればその意味内容が異なることもある。

【００７４】このように、操作指示辞書１１は、操作指
示、意味内容の点から、各利用者ごと、各利用者の状態
ごと、アプリケーションおよびその状態ごと、利用日時
ごとに柔軟にカスタマイズされたものとなっている。

【００７５】なお、操作指示辞書を編集する際の工夫に
ついては、後述する実施形態４に譲る。

【００７６】観察部２０ａは、観察対象を観察し、観察
対象から観察信号を生成する部分である。本実施形態２
では、利用者認識、利用者の状態認識、アプリケーショ
ンおよびその状態認識、利用日時の認識を行うので、観
察部２０ａは、利用者観察部２１に加え、利用者状態観
察部２２、アプリケーション状態観察部２３、利用日時
観察部２４を備えている。

【００７７】利用者観察部２１および利用者状態観察部
２２は、実施形態１で説明したものと同様のもので良
い。利用者観察部２１により利用者の個人識別が行わ
れ、利用者状態観察部２２により利用者の状態変化（ジ
ェスチャ、音声）が捉えられる。

【００７８】なお、ここでは、利用者の状態として、ジ
ェスチャ、音声という利用者の物理的・肉体的状態やそ
の変化のみならず、利用者の趣味趣向などの利用者の属
性情報、さらには、利用者の経済状態など多様な利用者
の状態に関する情報を含ませることが可能である。これ
ら利用者状態に関する情報の入手方法としては、利用者
情報を格納したデータベースから情報を得たり、利用者
自身にその状態を申告するボタンを押下してもらう方
法、キーボードなどから利用者状態に関する情報を利用
者に入力してもらう方法などがある。

【００７９】アプリケーション状態観察部２３は、アプ
リケーションの状態に関する情報を検知してアプリケー
ション状態観察信号を生成する。アプリケーション状態
観察信号とは、アプリケーションの状態を識別する信号
である。例えば、現時点で操作対象となっている装置の
状態、装置で稼動中のアプリケーションの状態を検知し
て観察信号を生成する。

【００８０】利用日時観察部２４は、現在の日時に関す
る情報を検知して日時観察信号を生成する。日時観察信
号とは、利用日時を識別する情報である。

【００８１】観察部２０ａは、利用者観察部２１、利用
者状態観察部２２、アプリケーション状態観察部２３、
利用日時観察部２４からのそれぞれの観察信号結果を得
て、それら信号を操作指示辞書選択部３０に提供する。
操作指示受け付け部４０において、観察信号結果を用い
る場合は、操作指示受け付け部４０に対しても観察信号
結果を提供する。

【００８２】操作指示辞書選択部３０、操作指示受け付
け部４０、装置用インタフェース５０は、実施形態１と
同様であるが、実施形態２では、操作指示辞書選択部３
０は、利用者観察部２０ａの利用者認識、利用者状態認
識、アプリケーションおよびその状態の認識、利用日時
の認識結果に従い、当該利用者、利用者の状態、アプリ
ケーションおよびその状態、利用日時用に編集された操
作指示辞書を操作指示辞書格納部１０から選択する。操
作指示受け付け部４０は、利用者からの操作指示を受け
付ける入力部４１と、操作指示辞書選択部３０により選
択された操作指示辞書を用いて、受け付けた操作指示の
意味内容を解釈する解釈部４２とを備えており、装置用
インタフェース５０は、操作指示受け付け部４０が解釈
した操作指示の意味内容に従って、操作対象装置６０用
のコマンドを発行する。

【００８３】次に、本発明の実施形態２の利用者インタ
フェースシステムの信号処理の流れを、具体例を挙げつ
つ説明する。処理の流れの概略は実施形態１で説明した
図３と同様であるのでここでも図３を参照しつつ説明す
る。

【００８４】以下、テレビジョン放送の視聴に関する操
作を例として説明する。例えば、テレビジョンでチャン
ネル“１”が選択されている状態で、利用者Ａが、“私
のお好み”と本発明の利用者インタフェースシステムに
入力しただけで、本発明の利用者インタフェースシステ
ムの機能により、テレビジョンのチャンネルが、その時
間帯に利用者Ａがいつも視聴しているチャンネル“２”
に切り換わるという処理の流れを説明する。

【００８５】まず、処理に先立ち、各操作指示と対応す
る意味内容の情報を利用者、利用者の状態、アプリケー
ションおよびその状態、利用日時により編集した操作指
示辞書１１を操作指示辞書格納部１０に格納しておく。
このように事前に利用者ごとの操作指示辞書を準備せ
ず、実施形態１と同様、処理が始まってから観察信号を
基に操作指示辞書を編集しても良い。操作指示辞書を編
集する処理については後述する実施形態４で述べる。

【００８６】また、装置用インタフェース５０は、あら
かじめ、操作対象装置６０用のコマンドに関する情報を
保持する。この例では操作対象装置６０が特定機種のテ
レビジョンとし、当該特定機種のテレビジョン用のコマ
ンドに関する情報が保持されるものとする。

【００８７】まず、観察部２０ａは観察対象を観察し、
観察信号を得る（ステップＳ３０１）。

【００８８】この例では、観察部２０ａは利用者観察部
２１による利用者観察信号を得る。例えば、利用者の顔
画像を登録しておき、観察部２０ａがカメラを備え、利
用者の画像信号を取り込んで分析して個人識別する方法
でも良い。ここでは利用者がＡであることが認識された
とする。

【００８９】次に、操作指示辞書選択部３０は、観察部
２０ａからの観察信号を得て、当該観察結果に該当する
属性を持つ操作指示辞書を操作指示辞書格納部１０から
選択する（ステップＳ３０２）。ここでは、利用者観察
信号が“利用者Ａ”であるので、当該操作者の操作指示
辞書が選ばれる。この例では、操作指示辞書１１ａが選
ばれたとする。

【００９０】図５は、この例で選ばれた操作指示辞書１
１ａの内容の一部を模式的に示したものである。操作指
示には、「私のお好み番組」、「いつもの番組」、「ス
ポーツ番組」などが含まれている。それぞれには、意味
内容が対応づけられている。操作指示「私のお好み番
組」に対しては「チャンネル“２”」、操作指示「いつ
もの番組」に対して「チャンネル“３”」、操作指示
「スポーツ番組」に対して「チャンネル“５”」が対応
している。これは、当該操作指示辞書１１ａがその編集
の際に、当該時間帯において利用者Ａがいつも視聴する
番組が“２”チャンネルであるとの知識のもとカスタマ
イズされて編集された結果、操作指示と意味内容がこの
ような対応付けとなっている。また、当該操作指示辞書
１１ａがその編集の際に、当該時間帯における番組一覧
情報に基づき当該時間帯においてスポーツ番組が“３”
チャンネルで放送されているとの知識のもと編集された
結果、操作指示“スポーツ”とチャンネル“５”の意味
内容が対応づけられている。図５には一部の操作指示と
意味内容の対応付けしか示していないが、操作指示辞書
１１ａには、当該時間帯に当該利用者状態にある利用者
Ａからテレビジョン放送視聴に関して想定され、かつ、
受け付けることのできるる操作指示とその意味内容の対
応に関する情報を備えている。

【００９１】次に、操作指示受け付け部４０は操作を終
了するか否かをチェックした後（ステップＳ３０３）、
利用者からの操作指示入力待ち状態に入る（ステップＳ
３０４）。

【００９２】操作指示入力があった場合（ステップＳ３
０４：Ｙ）、操作指示受け付け部４０の入力部４１を介
して利用者Ａの操作指示を入力する（ステップＳ３０
５）。ここでは、「私のお好み番組」という操作指示が
入力されたとする。なお、観察部２０ａから得た利用者
Ａを観察した信号を解析することにより操作指示を受け
付けることも可能である。例えば、観察部２０ａがカメ
ラを備えて取り込んだ利用者Ａの画像信号を基にした画
像認識による操作指示入力、観察部２０ａがマイクロフ
ォンを備えて取り込んだ利用者Ａの音声信号を基にした
音声認識による操作指示入力が可能である。ここでは、
利用者Ａがマイクロフォンを介して音声により操作指示
「私のお好み番組」を出し、当該操作指示「私のお好み
番組」が操作指示受け付け部４０の入力部４１を介して
音声認識により正しく受け付けられたとする。

【００９３】また、観察部２０ａは以下の３つの観察信
号を得る。

【００９４】第１は、利用者状態観察部２２による利用
者状態観察信号である。ここでは利用者Ａの状態とし
て、取り込んだ画像情報から利用者Ａがテレビジョンに
向かっている、つまり、テレビジョン放送の視聴をして
いる状態であるという情報が得られたとする。

【００９５】第２は、アプリケーション状態観察部２３
によるアプリケーション状態観察信号である。ここでは
アプリケーションの状態、例えば、テレビジョンの状態
として、テレビジョンがオンであるのかオフであるの
か、現在設定されているチャンネル番号は何であるかな
どテレビジョンの状態に関する情報が得られたとする。
例えば、テレビジョンがオンであり、チャンネル“１”
が放映中であったとする。

【００９６】第３は、利用日時観察部２４による日時観
察信号である。ここでは現在の日時、例えば、２００１
年３月１日木曜日の２０時００分という日時に関する情
報が得られたとする。

【００９７】次に、操作指示受け付け部４０の解釈部４
２は、ステップＳ３０２で選択された操作指示辞書１１
ａを用いて、ステップＳ３０５で入力された操作指示の
意味内容を解釈する（ステップＳ３０６）。この際、解
釈部４２は、観察部２０ａが得た３つの観察信号を参考
にして解釈する。

【００９８】ここでは、操作指示「私のお好み番組」が
操作指示辞書１１ａを用いて解釈される。操作指示辞書
１１ａと観察部２０ａから得られた観察信号を用いれ
ば、操作指示「私のお好み番組」に対して「チャンネル
“２”」という意味内容に変換される。操作指示受け付
け部４０の解釈部４２は、入力された操作指示「私のお
好み番組」を「チャンネル“２”」という意味内容に解
釈する。

【００９９】次に、装置用インタフェース５０は、操作
指示受け付け部４０が解釈した操作指示の意味内容に従
って、操作対象装置６０用のコマンドを発行する（ステ
ップＳ３０７）。例えば、装置用インタフェース５０は
テレビジョンのリモートコントローラとしての機能を包
含し、当該意味内容に沿ったリモートコントロール信号
を発行する。ここでは、装置用インタフェース５０にお
いて、上記解釈した意味内容「チャンネル“２”」に対
応する特定機種のテレビジョンのコマンド（例えばＣ
２）に変換され、当該コマンド（Ｃ２）が操作対象装置
となっている特定機種のテレビジョンに対して発行され
る。

【０１００】このテレビジョンのコマンド（Ｃ２）によ
り、操作対象であるテレビジョンは現在のチャンネル
“１”からチャンネル“２”に切り替わる。

【０１０１】操作対象装置６０用のコマンドを発行後、
ステップＳ３０３の終了確認、ステップＳ３０４の入力
待ち状態に戻り、次の操作指示入力があるまで、入力待
ち状態に入る。

【０１０２】なお、上記例では、観察部２０ａの観察信
号に基づき、操作指示辞書１１ａが選択されたが、観察
信号が異なれば、同じ操作指示であっても異なる意味内
容に解釈され、操作対象装置に対する異なった操作とな
ることが分かる。例えば、利用日時が２００１年３月２
日金曜日２０：００であれば、利用者Ａが金曜日の２
０：００にはいつもチャンネル“４”を視聴している場
合、その操作指示辞書１１ａは、当該知識のもと編集さ
れた指示辞書であるので、操作指示「私のお好み番組」
に対して「チャンネル“４”」という意味内容が対応づ
けられているわけである。この場合、利用者Ａが本発明
の利用者インタフェースシステムに対して「私のお好み
番組」という操作指示を入力すれば、「チャンネル
“４”」という意味内容に解釈され、テレビジョンのチ
ャンネルが“１”から“４”に切り換えられる。

【０１０３】また、例えば、操作対象装置が、エレベー
タの場合は、「例の階」という操作指示を入力すれば、
朝、昼、夜で止まる階を変えることができ、例えば、操
作対象装置が、音響装置やエアコンであれば、それぞ
れ、「大きく」や「暖かく」という操作指示で、操作者
のほか、時間、季節などで、発行する制御信号の内容を
変えることができる。

【０１０４】このように、同じ操作指示であっても、利
用者、利用者状態、アプリケーションおよびその状態、
利用日時に応じてカスタマイズされた操作指示辞書を用
いて、異なった意味内容に解釈され、操作対象装置の操
作が行われる。

【０１０５】なお、上記説明において、操作指示辞書
は、利用者、利用者状態、アプリケーションおよびその
状態、利用日時ごとに編集されるとしたが、例えば、利
用者と利用日時ごとに編集するなど、それら要素のいず
れかまたはそれらの組み合わせで編集しても良いことは
言うまでもない。さらに、上記説明において、操作指示
辞書を、利用者、利用者状態、アプリケーションおよび
その状態、利用日時ごとに別々に編集しても良い。

【０１０６】以上、本実施形態２の利用者インタフェー
スシステムによれば、利用者ごと、利用者の状態ごと、
アプリケーションの状態ごと、日時ごとに、操作指示セ
ットと当該操作指示セットに含まれる各操作指示の意味
内容とを編集した操作指示辞書を用い、受け付けた操作
指示を当該操作指示辞書に従い、その意味内容に従って
操作対象装置用のコマンドとして発行することができ
る。

【０１０７】（実施形態３）本発明の実施形態３の利用
者インタフェースシステムは、観察部がカメラを備え
て、利用者状態観察信号として利用者の身振りによるジ
ェスチャ信号を取り込み、取り込んだ画像信号を基にし
た操作指示入力（ジェスチャ入力）を可能とし、さら
に、操作指示辞書にジェスチャ信号と操作指示の対応情
報も含めて、利用者ごとにカスタマイズしたものであ
る。つまり、ジェスチャで操作指示を入力し、そのジェ
スチャの意味する内容を利用者ごとにカスタマイズする
ものである。

【０１０８】本実施形態３で用いる指示辞書は、操作指
示辞書が、各人ごとに有効である操作指示と、当該操作
指示に対応づけられた意味内容に加え、各操作指示に対
し、操作指示受け付け部において当該操作指示を受け付
ける際に利用者から観察される信号情報を含んでいる。
つまり、操作指示辞書内の要素として、利用者から観察
されるジェスチャ信号、操作指示、意味内容の３つの要
素が一組に対応づけられている。例えば、利用者Ａ、
Ｂ、Ｃに対応して操作指示辞書１２ａ，操作指示辞書１
２ｂ，操作指示辞書１２ｃが編集される。

【０１０９】なお、ここで用いる操作指示辞書は、利用
者ごとに編集したものを用いるが、実施形態２で用いた
ように、利用者ごと、利用者の状態ごと、アプリケーシ
ョンの状態ごと、日時ごとに編集したものや、利用者と
利用日時ごとに編集したものなど、それら要素のいずれ
かまたはそれらの組み合わせで編集したもので良いこと
は言うまでもない。

【０１１０】図６は、操作指示辞書１２ａ，操作指示辞
書１２ｂ，操作指示辞書１２ｃが持つ辞書の内容を模式
的に一部分だけ示したものである。いずれも左欄が利用
者から観察されるジェスチャ信号、中欄が左欄のジェス
チャ信号に対応する操作指示、右欄が中欄の操作指示に
対応する意味内容が記載されている。

【０１１１】例えば、操作指示辞書１２ａにおいて、利
用者から観察されるジェスチャ信号Ｊ１は、操作指示Ｏ
ｐ１に対応づけられている。利用者Ａが観察部２０が備
えたカメラに向かって、特定のジェスチャを行えば、操
作指示受け付け部４０の入力部４１は操作指示辞書１２
ａを用いてジェスチャの認識を行い、利用者Ａからジェ
スチャにより操作指示Ｏｐ１の入力があったものとして
受け付ける。さらに、操作指示受け付け部４０の解釈部
４２は、操作指示辞書１２ａを用いて操作指示Ｏｐ１か
ら対応する意味内容Ｘ１を検出できる。

【０１１２】また、図６に示すように、各操作指示辞書
１２ａ〜ｃが、画像認識辞書（ジェスチャ辞書）として
も利用者ごとにカスタマイズされていることが分かる。
操作指示辞書１２ａは、利用者から観察されるジェスチ
ャ信号として、Ｊ１，Ｊ２，Ｊ３，Ｊ４を含んでいる
が、操作指示辞書１２ｂは、利用者から観察されるジェ
スチャ信号として、Ｊ１，Ｊ２，Ｊ４を含み、Ｊ３を含
んでいない。操作指示辞書１２ｃは、利用者から観察さ
れるジェスチャ信号として、Ｊ２，Ｊ３を含み、Ｊ１，
Ｊ４を含んでいない。このように、操作指示辞書１２に
よって、含まれる利用者から観察されるジェスチャ信号
セットが異なるということが起こりうる。

【０１１３】さらに、利用者から入力されたジェスチャ
信号Ｊ１により検知される操作指示が異なるということ
が起こりうる。操作指示辞書１２ａを用いた場合では操
作指示Ｏｐ１が対応し、操作指示辞書１２ｂを用いた場
合では操作指示Ｏｐ２が対応し、操作指示辞書１２ｃを
用いた場合では当該利用者から観察されるジェスチャ信
号Ｊ１が辞書中にないと言うことが起こりうる。このよ
うに、利用者から観察されるジェスチャ信号は同じジェ
スチャ信号であっても、用いる操作指示辞書１２によっ
て、対応する操作指示が異なるということが起こりう
る。例えば、同じジェスチャであっても、利用者Ａが行
った場合と、Ｂが行った場合では、その操作指示の意味
内容が異なるということが起こりうる。

【０１１４】このように、操作指示辞書１２は、利用者
から観察されるジェスチャ信号、操作指示、意味内容の
点から、各利用者ごとに柔軟にカスタマイズされたもの
となっている。

【０１１５】なお、利用者から観察される信号情報が音
声である場合は、利用者ごとに声の周波数特性や、発
音、イントネーションなどの個人特有の癖や特質をチュ
ーニングした操作指示辞書とすることができる。

【０１１６】なお、利用者ごとに操作指示辞書を編集す
る際の工夫については、後述する実施形態４に譲る。

【０１１７】次に、本発明の実施形態３の利用者インタ
フェースシステムの信号処理の流れを、具体例を挙げつ
つ説明する。処理の流れの概略は実施形態１で説明した
図３と同様であるのでここでも図３を参照しつつ説明す
る。

【０１１８】装置構成は、実施形態２で説明した図４の
ものを用いる。なお、観察部２０ａにおいて利用者観察
信号、利用者状態観察信号以外の、アプリケーション状
態観察信号や日時観察信号が不要な場合は、アプリケー
ション状態観察部２３、利用日時観察部２４を省略して
も良い。

【０１１９】まず、処理に先立ち、操作指示辞書格納部
１０に利用者ごとの操作指示辞書１２を格納しておく。
この例では、図６に示したように、利用者Ａ、Ｂ、Ｃ用
として、それぞれ、操作指示辞書１２ａ，操作指示辞書
１２ｂ，操作指示辞書１２ｃを用意する。また、装置用
インタフェース５０は、あらかじめ、操作対象装置６０
用のコマンドに関する情報を保持する。この例では操作
対象装置６０が特定機種のテレビジョンとし、当該特定
機種のテレビジョン用のコマンドに関する情報が保持さ
れるものとする。

【０１２０】まず、観察部２０ａが観察信号を得る（ス
テップＳ３０１）。ここでは利用者観察部２１により利
用者の個人識別を行い、利用者がＡであることが認識さ
れたとする。

【０１２１】次に、操作指示辞書選択部３０は、観察部
２０から利用者観察信号を得て、該当する利用者用に用
意された操作指示辞書１２を操作指示辞書格納部１０か
ら選択する（ステップＳ３０２）。ここでは、利用者Ａ
に対する操作指示辞書１２ａが選択されたとする。

【０１２２】次に、操作指示受け付け部４０は操作を終
了するか否かをチェックした後（ステップＳ３０３）、
利用者からの操作指示入力待ち状態に入る（ステップＳ
３０４）。

【０１２３】利用者からの操作指示入力、つまり利用者
からのジェスチャ入力があった場合（ステップＳ３０
４：Ｙ）、操作指示受け付け部４０の入力部４１を介し
て当該利用者状態の観察信号を入力する（ステップＳ３
０５）。ここでは、利用者状態観察部２２により人物の
動きの変化、つまり、ジェスチャが取り込まれ、取り込
んだジェスチャ信号を、利用者状態の観察信号として操
作指示受け付け部４０の入力部４１に渡し、操作指示受
け付け部４０の入力部４１は当該ジェスチャを入力とし
て受け付ける。

【０１２４】ここでは、利用者ＡがジェスチャＪ１を出
し、当該ジェスチャＪ１が操作指示受け付け部４０の入
力部４１を介して正しく受け付けられたとする。

【０１２５】次に、操作指示受け付け部４０の解釈部４
２は、ステップＳ３０２で選択された操作指示辞書１２
ａを用いて、ステップＳ３０５で入力された利用者状態
の観察信号に対応する操作指示と当該操作指示に対応す
る意味内容を解釈する（ステップＳ３０６）。

【０１２６】ここでは、図６に示したように、ジェスチ
ャＪ１が、操作指示辞書１２ａを用いて操作指示Ｏｐ１
と解釈され、さらに、操作指示Ｏｐ１に対して意味内容
Ｘが解釈されたとする。

【０１２７】次に、装置用インタフェース５０は、操作
指示受け付け部４０が解釈した操作指示の意味内容に従
って、操作対象装置６０用のコマンドを発行する（ステ
ップＳ３０７）。

【０１２８】ここでは、装置用インタフェース５０にお
いて、意味内容Ｘに対応する特定機種のテレビジョンの
コマンド（例えばＣｘ）に変換され、当該コマンド（Ｃ
ｘ）が操作対象装置となっている特定機種のテレビジョ
ンに対して発行される。

【０１２９】操作対象装置６０用のコマンドを発行後、
ステップＳ３０３の終了確認、ステップＳ３０４の入力
待ち状態に戻り、次の操作指示入力があるまで、入力待
ち状態に入る。

【０１３０】以上、本実施形態３の操作指示受け付け部
４０は、利用者を観察した信号、例えば、利用者の身振
りなどにより表現したジェスチャによる操作指示を受け
付けることができ、または、利用者の音声による操作指
示を受け付けることができ、かつ、操作指示辞書に、画
像認識辞書（ジェスチャ辞書）、音声認識辞書としての
情報も併せ持ち、利用者ごとにカスタマイズされた利用
者インタフェースを提供することができる。

【０１３１】（実施形態４）操作指示辞書の生成・編
集、登録の仕方を説明する。

【０１３２】操作指示辞書は、上記実施形態１〜３で見
たように、利用者ごと、利用者の状態ごと、アプリケー
ションおよびその状態ごと、利用日時ごとなどで編集さ
れ、操作指示辞書格納部１０に登録されている。

【０１３３】例えば、利用者ごとに操作指示辞書を用意
し、利用が想定される人物の数が少ない場合（例えば、
家庭内での使用）など、用意すべき操作指示辞書の数が
少ない場合には、操作指示辞書の生成・編集は、属性に
応じて個別に一つ一つ編集して生成しておくことができ
る。

【０１３４】一方、利用が想定される人物が多い場合
や、想定する利用者の状態やアプリケーションの状態が
多岐に渡る場合や、利用日時の設定が細かい場合など、
多数の操作指示辞書を用意する場合には、一つのベース
となる共通操作指示辞書を用意し、この共通操作指示辞
書に対してカスタマイズした辞書部分を付加して操作指
示辞書を生成・編集することができる。

【０１３５】例えば、一つのベースとなる共通操作指示
辞書に対して、各利用者ごとに操作指示をカスタマイズ
した辞書部分を付加して、利用者ごとにカスタマイズし
た操作指示辞書を生成・編集することができる。同様
に、一つのベースとなる共通操作指示辞書に対して、各
利用者状態ごとに操作指示をカスタマイズした辞書部分
を付加したり、アプリケーションおよびその状態ごとに
操作指示をカスタマイズした辞書部分を付加したり、利
用日時ごとに操作指示をカスタマイズした辞書部分を付
加することにより、それぞれカスタマイズした操作指示
辞書を生成・編集することができる。

【０１３６】なお、利用者状態に応じた操作指示辞書の
生成・編集にあたり、利用者の趣味趣向などの利用者の
属性情報など利用者情報に関する情報を用いる場合、利
用者の各種属性情報を格納した利用者データベースを利
用することが可能である。利用者データベース内に、利
用者の趣味趣向などの利用者の属性情報など利用者に関
する情報を蓄積しておけば、それら情報にアクセスし、
利用者情報を用いた操作指示辞書の編集が可能となる。
また、利用者データベース内に、本発明の利用者インタ
フェースを介した過去の操作履歴情報も蓄積しておけ
ば、利用者の趣味趣向を検知することも可能となる。例
えば、テレビジョン放送の操作であれば、過去の操作履
歴情報から視聴番組の傾向が把握できる。

【０１３７】また、例えば、運転制御装置、電子楽器、
ゲームなどジェスチャ等の動きを伴う装置であれば、過
去の操作履歴情報から特定操作者の運転などにおける操
作の癖に関する属性情報を把握できる。同様に、音響装
置やエアコンなど、人間の身体に関する影響を与える装
置の操作であれば、過去の操作履歴情報から特定操作者
の生体情報に関する属性情報を把握できる。

【０１３８】（実施形態５）本発明の利用者インタフェ
ースシステムは、上記に説明した構成を実現する処理ス
テップを記述したプログラムをコンピュータ読み取り可
能な記録媒体に記録して提供することにより、各種コン
ピュータを用いて構築することができる。本発明の利用
者インタフェースシステムを実現する処理ステップを備
えたプログラムを記録した記録媒体は、図７に図示した
記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフ
レキシブルディスク１００３等の可搬型記録媒体１００
１だけでなく、ネットワーク上にある記録装置内の記録
媒体１０００や、コンピュータのハードディスクやＲＡ
Ｍ等の記録媒体１００５のいずれであっても良く、プロ
グラム実行時には、プログラムはコンピュータ１００４
上にローディングされ、主メモリ上で実行される。

【０１３９】本発明の利用者インタフェースシステムに
ついてさらに以下の項を開示する。

【０１４０】（付記１） 操作指示とその意味内容とを
利用者ごとに編集した操作指示辞書と、利用者を観察
し、利用者を認識する利用者観察部と、前記利用者観察
部の認識結果に従い、当該利用者用に編集された操作指
示辞書を選択する操作指示辞書選択部と、利用者からの
操作指示を受け付け、前記選択された操作指示辞書を用
いて、受け付けた操作指示の意味内容を解釈する操作指
示受け付け部と、前記操作指示受け付け部が解釈した操
作指示の意味内容に従って操作対象装置用のコマンドを
発行する装置用インタフェースとを備えたことを特徴と
する利用者インタフェースシステム（１）。

【０１４１】（付記２） 前記操作指示辞書において、
さらに、操作指示とその意味内容とが当該利用者の状態
ごとに編集されており、利用者の状態を観察し、利用者
の状態を認識する利用者状態観察部を備え、前記操作指
示辞書選択部が、前記利用者状態観察部の認識結果も併
せて操作指示辞書を選択し、前記操作指示受け付け部
が、利用者からの操作指示を受け付け、前記選択された
操作指示辞書を用いて、受け付けた操作指示の意味内容
を解釈する付記１に記載の利用者インタフェースシステ
ム（２）。

【０１４２】（付記３） 前記操作指示辞書において、
さらに、操作指示とその意味内容とがアプリケーション
およびその状態ごとに編集されており、装置で稼働中の
アプリケーションおよびその状態を認識するアプリケー
ション状態観察部を備え、前記操作指示辞書選択部が、
前記アプリケーション状態観察部の認識結果も併せて操
作指示辞書を選択し、前記操作指示受け付け部が、利用
者からの操作指示を受け付け、前記選択された操作指示
辞書を用いて、受け付けた操作指示の意味内容を解釈す
る付記１または２に記載の利用者インタフェースシステ
ム（３）。

【０１４３】（付記４） 前記操作指示辞書において、
さらに、操作指示とその意味内容とが時間に応じて編集
されており、現在の時間を認識する時間認識部を備え、
前記操作指示辞書選択部が、前記時間認識部の認識結果
も併せて操作指示辞書を選択し、前記操作指示受け付け
部が、利用者からの操作指示を受け付け、前記選択され
た操作指示辞書を用いて、受け付けた操作指示の意味内
容を解釈する付記１〜３のいずれかに記載の利用者イン
タフェースシステム（４）。

【０１４４】（付記５） 前記操作指示辞書が、前記操
作指示とその意味内容に加え、前記操作指示受け付け部
において利用者から観察される信号情報との対応づけを
含み、前記操作指示受け付け部が、利用者を観察して得
た信号情報をもとに対応する操作指示および当該操作指
示の意味内容を解釈する付記１〜４のいずれかに記載の
利用者インタフェースシステム（５）。

【０１４５】（付記６） 過去の操作指示内容および操
作指示内容に応じて発行した装置コマンドに対する装置
からの応答内容を学習する学習機能を備え、前記操作指
示辞書の操作指示とその意味内容とを編集する操作指示
辞書編集機能を備えた付記１〜５のいずれかに記載の利
用者インタフェースシステム。

【０１４６】（付記７） 操作指示とその意味内容とを
利用者ごとに編集した操作指示辞書を用意する処理と、
利用者を観察し、利用者を認識する利用者観察処理と、
前記利用者観察処理における認識結果に従い、当該利用
者用に編集された操作指示辞書を選択する操作指示辞書
選択処理と、利用者からの操作指示を受け付け、前記選
択された操作指示辞書を用いて、受け付けた操作指示の
意味内容を解釈する操作指示受け付け処理と、前記操作
指示受け付け処理において解釈した操作指示の意味内容
に従って操作対象装置用のコマンドを発行する処理とを
備えたことを特徴とする利用者インタフェース方法。

【０１４７】（付記８） 前記操作指示辞書において、
さらに、操作指示とその意味内容とが当該利用者の状態
ごとに編集されており、利用者の状態を観察し、利用者
の状態を認識する利用者状態観察処理を備え、前記操作
指示辞書選択処理が、前記利用者状態観察処理における
認識結果も併せて操作指示辞書を選択し、前記操作指示
受け付け処理が、利用者からの操作指示を受け付け、前
記選択された操作指示辞書を用いて、受け付けた操作指
示の意味内容を解釈する付記７に記載の利用者インタフ
ェース方法。

【０１４８】（付記９） 前記操作指示辞書において、
さらに、操作指示とその意味内容とがアプリケーション
およびその状態ごとに編集されており、装置で稼働中の
アプリケーションおよびその状態を認識するアプリケー
ション状態観察処理を備え、前記操作指示辞書選択処理
が、前記アプリケーション状態観察処理における認識結
果も併せて操作指示辞書を選択し、前記操作指示受け付
け処理が、利用者からの操作指示を受け付け、前記選択
された操作指示辞書を用いて、受け付けた操作指示の意
味内容を解釈する付記７または８に記載の利用者インタ
フェース方法。

【０１４９】（付記１０） 前記操作指示辞書におい
て、さらに、操作指示とその意味内容とが時間に応じて
編集されており、現在の時間を認識する時間認識処理を
備え、前記操作指示辞書選択処理が、前記時間認識処理
における認識結果も併せて操作指示辞書を選択し、前記
操作指示受け付け処理が、利用者からの操作指示を受け
付け、前記選択された操作指示辞書を用いて、受け付け
た操作指示の意味内容を解釈する付記７〜９のいずれか
に記載の利用者インタフェース方法。

【０１５０】（付記１１） 前記操作指示辞書が、前記
操作指示とその意味内容に加え、前記操作指示受け付け
処理において利用者から観察される信号情報との対応づ
けを含み、前記操作指示受け付け処理が、利用者を観察
して得た信号情報をもとに対応する操作指示および当該
操作指示の意味内容を解釈する付記７〜１０のいずれか
に記載の利用者インタフェース方法。

【０１５１】（付記１２） 過去の操作指示内容および
操作指示内容に応じて発行した装置コマンドに対する装
置からの応答内容を学習する学習処理を備え、前記操作
指示辞書の操作指示とその意味内容とを編集する操作指
示辞書編集処理を備えた付記７〜１１のいずれかに記載
の利用者インタフェース方法。

【０１５２】

【発明の効果】本発明の利用者インタフェースシステム
によれば、利用者、利用者の状況、アプリケーションの
状態、利用日時などに応じて、操作指示により利用者が
行いたい操作内容が異なる場合であっても、利用時の状
況に応じてカスタマイズされた操作指示辞書を用いて正
しく操作対象装置に対する操作を媒介することができ、
例えば、同じ操作指示であっても、その状況に応じた操
作指示内容に変換され、操作対象装置に渡される。

【図面の簡単な説明】

【図１】 本発明の実施形態１にかかる利用者インタフ
ェースシステムの装置構成概略を示す図

【図２】 本発明の実施形態１の操作指示辞書の概念を
模式的に簡単に示した図

【図３】 本発明の実施形態１の利用者インタフェース
システムの信号処理の流れを示したフローチャート

【図４】 本発明の実施形態２の利用者インタフェース
システムの装置構成概略を示した図

【図５】 本発明の実施形態２の操作指示辞書１１ａの
内容の一部を模式的に示した図

【図６】 本発明の実施形態３の操作指示辞書１２ａ，
操作指示辞書１２ｂ，操作指示辞書１２ｃが持つ辞書の
内容を模式的に一部分だけ示した図

【図７】 本発明の実施形態５にかかる利用者インタフ
ェースシステムを実現する処理プログラムを記録した記
録媒体を示した図

【符号の説明】

１０ 操作指示辞書格納部 １１，１１ａ，１１ｂ，１１ｃ，１２，１２ａ，１２
ｂ，１２ｃ 操作指示辞書 ２０，２０ａ 観察部 ３０ 操作指示辞書選択部 ４０ 操作指示受け付け部 ５０ 装置用インタフェース ６０ 操作対象装置 １０００ ネットワーク上にある記録装置内の記録媒体 １００１ 可搬型記録媒体 １００２ ＣＤ−ＲＯＭ １００３ フレキシブルディスク １００４ コンピュータ １００５ コンピュータのハードディスクやＲＡＭ等の
記録媒体

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/44 Ｇ１０Ｌ 3/00 ５５１Ｆ (72)発明者 野田 拓也 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 渡辺 一宏 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5C025 AA23 BA27 BA30 5D015 AA03 HH00 KK01 5E501 AC37 CB15 CC11 CC14 EA02 EA21 FA45

Claims (5)

【特許請求の範囲】
1. 【請求項１】 操作指示とその意味内容とを利用者ごと
   に編集した操作指示辞書と、 利用者を観察し、利用者を認識する利用者観察部と、 前記利用者観察部の認識結果に従い、当該利用者用に編
   集された操作指示辞書を選択する操作指示辞書選択部
   と、 利用者からの操作指示を受け付け、前記選択された操作
   指示辞書を用いて、受け付けた操作指示の意味内容を解
   釈する操作指示受け付け部と、 前記操作指示受け付け部が解釈した操作指示の意味内容
   に従って操作対象装置用のコマンドを発行する装置用イ
   ンタフェースとを備えたことを特徴とする利用者インタ
   フェースシステム。
2. 【請求項２】 前記操作指示辞書において、操作指示と
   その意味内容とが当該利用者の状態ごとに編集されてお
   り、 利用者の状態を観察し、利用者の状態を認識する利用者
   状態観察部を備え、 前記操作指示辞書選択部が、前記利用者観察部の認識結
   果と前記利用者状態観察部の認識結果も併せて操作指示
   辞書を選択する請求項１に記載の利用者インタフェース
   システム。
3. 【請求項３】 前記操作指示辞書において、操作指示と
   その意味内容とがアプリケーションおよびその状態ごと
   に編集されており、 装置で稼働中のアプリケーションおよびその状態を認識
   するアプリケーション状態観察部を備え、 前記操作指示辞書選択部が、前記利用者観察部の認識結
   果と前記アプリケーション状態観察部の認識結果も併せ
   て操作指示辞書を選択する請求項１または２に記載の利
   用者インタフェースシステム。
4. 【請求項４】 前記操作指示辞書において、操作指示と
   その意味内容とが時間に応じて編集されており、 現在の時間を認識する時間認識部を備え、 前記操作指示辞書選択部が、前記利用者観察部の認識結
   果と前記時間認識部の認識結果も併せて操作指示辞書を
   選択する請求項１〜３のいずれかに記載の利用者インタ
   フェースシステム。
5. 【請求項５】 前記操作指示辞書が、前記操作指示とそ
   の意味内容に加え、前記操作指示受け付け部において利
   用者から観察される信号情報との対応づけを含み、 前記操作指示受け付け部が、利用者を観察して得た信号
   情報をもとに対応する操作指示および当該操作指示の意
   味内容を解釈する請求項１〜４のいずれかに記載の利用
   者インタフェースシステム。