JP2001282413A

JP2001282413A - 情報処理装置

Info

Publication number: JP2001282413A
Application number: JP2000098494A
Authority: JP
Inventors: Yasuhisa Watanabe; 泰久渡辺
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2001-10-12

Abstract

(57)【要約】【課題】自動的にフォーカスウィンドウを変更する。【解決手段】図１４（Ａ）のサブウィンドウ表示ボタ
ン４２-１が選択された場合、判断部のフォーカスウィ
ンドウスタックの先頭にメインウィンドウ４１のＩＤが
プッシュされ、図１４（Ｂ）のサブウィンドウ５１が表
示され、フォーカスウィンドウはメインウィンドウ４１
からサブウィンドウ５１に変更され、ユーザが音声入力
したデータは、図１４（Ｃ）のサブウィンドウ結果表示
ボックス５５に表示される。サブウィンドウ表示ボタン
４２-１から指が離された場合、フォーカスウィンドウ
であるサブウィンドウ５１が消去され、フォーカスウィ
ンドウスタックの先頭にＩＤが記録されているメインウ
ィンドウ４１がフォーカスされ、結果表示ボックス４３
-１に「京都」が表示され、図１４（Ｄ）の表示画面と
なる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置に関
し、特に、マルチモーダル入力を用いた情報入力におい
て、自動的にフォーカスウィンドウの設定変更を行い、
必要な情報を表示させることができるようにした情報処
理装置に関する。

【０００２】

【従来の技術】従来のヒューマン・インターフェースを
より発展させたものとして、マルチモーダル・インター
フェースという新しい概念がある。マルチモーダルの類
語として、マルチメディア・インタフェースという言葉
がある。マルチメディア・インタフェースは、単に複数
のメディア（音、映像、触覚など）を用いたインターフ
ェースを表わすのに対し、それぞれのメディアがいろい
ろな形態で使われ、情報伝達を行っている場合に、マル
チモーダル・インターフェースと称される。

【０００３】例えば、マルチモーダル・インターフェー
スの例として、発声、動作、あるいは視線を入力モード
とし、これらのモードを協調させたり、同時に使った
り、複数種類のメッセージを組み合わせて、人間が本来
伝えようとしている、あるいは自然に伝わるメッセージ
を理解しようというのがマルチモーダルの基本的な考え
方である。ヒューマン・インターフェースの分野で、マ
ルチモーダルの考え方を取り入れ、キーボードの代役と
して、自然に近い条件で音声・身振り・顔の表情などを
モード化し、コンピュータへの情報入出力に活用しよう
という試みが行われている。

【０００４】ここで行われる、音声認識や、画像認識
（視線、身振り、あるいは表情の認識）には、例えば、
事象の発生過程を状態遷移ネットワークを利用して、統
計的に予測する、隠れマルコフモデルが広く用いられて
いる。

【０００５】

【発明が解決しようとする課題】マルチモーダルを用い
て、例えばパーソナルコンピュータなどに情報を入力す
る場合、入力したいフィールドに、予めフォーカスをあ
わせる（すなわち、入力フィールドをアクティブにす
る）必要がある。しかしながら、入力フィールドをいっ
たん選択して、例えば、音声などにより情報を入力した
後、次に別のフィールドに情報を入力するには、次に情
報を入力したいフィールドに手動でフォーカスを設定し
なおさなければならなかった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、特に、マルチモーダル入力を用いた情報入
力において、自動的にフォーカスウィンドウの設定変更
を行い、必要な情報を表示させることができるようにす
るものである。

【０００７】

【課題を解決するための手段】本発明の情報処理装置
は、第１のウィンドウおよび第２のウィンドウを表示す
る表示手段と、第１のウィンドウに対して、ユーザが操
作を行う操作手段と、第２のウィンドウに対して、ユー
ザが情報を入力するための入力手段と、操作手段および
入力手段からの信号を受け、第１のウィンドウおよび第
２のウィンドウの表示を制御する表示制御手段とを備
え、表示制御手段は、操作手段による第１のウィンドウ
に対する操作が終了した場合、第２のウィンドウを表示
手段から消去するように表示手段を制御し、第２のウィ
ンドウが消去される場合、入力手段により入力された情
報があれば、第１のウィンドウに情報を表示するように
表示手段を制御することを特徴とする。

【０００８】前記第１のウィンドウは、例えば、メイン
ウィンドウ４１もしくはメインウィンドウ１５１であ
り、前記第２のウィンドウは、例えば、サブウィンドウ
５１、サブウィンドウ１０１、もしくは、サブウィンド
ウ１６１である。

【０００９】前記表示手段は、例えば、表示部１９によ
り構成され、前記操作手段は、例えば、タッチパネル１
３により構成され、前記入力手段は、例えば、音声入力
部１４、もしくは画像入力部７１により構成され、前記
表示制御手段は、例えば、判断部３４およびウィンドウ
処理部３５、もしくは、判断部１４２およびウィンドウ
処理部３５により、それぞれ構成することができる。

【００１０】また、入力手段は、音声の入力により、第
２のウィンドウに対する情報の入力を受けることができ
る。

【００１１】また、入力手段は、ユーザの視線を検知す
ることにより、第２のウィンドウに対する情報の入力を
受けることができる。

【００１２】また、入力手段は、カメラによって、ユー
ザの像を撮像することにより、第２のウィンドウに対す
る情報の入力を受けることができる。

【００１３】本発明の情報処理装置においては、第１の
ウィンドウおよび第２のウィンドウが表示され、第１の
ウィンドウに対して、ユーザが操作を行い、第２のウィ
ンドウに対して、ユーザが情報を入力し、ユーザの操作
および入力に従って、第１のウィンドウおよび第２のウ
ィンドウの表示が制御され、第１のウィンドウに対する
操作が終了した場合、第２のウィンドウの表示が消去さ
れ、第２のウィンドウが消去される場合、入力された情
報があれば、その情報を第１のウィンドウに表示させる
ようにしたので、マルチモーダル入力を用いた情報入力
において、自動的にフォーカスウィンドウの設定変更を
行い、必要な情報を表示させることができる。

【００１４】

【発明の実施の形態】以下、図を参照して、本発明の実
施の形態について説明する。

【００１５】まず、図１乃至図１５を用いて、マルチモ
ーダル入力に、音声入力を用いた、本発明の第１の実施
の形態について説明する。

【００１６】図１に、本発明を適応したパーソナルコン
ピュータ１のブロック図を示す。

【００１７】ＣＰＵ（Central Processing Unit）１１
は、ユーザが、入力部１２に接続されたタッチパネル１
３、もしくは、音声入力部１４より指令を入力すると、
入出力インターフェース１５および内部バス１６を介し
てその指令を表す信号の入力を受ける。そして、ＣＰＵ
１１は、入力される信号に従って、ＲＯＭ（Read Only
Memory）１７、ハードディスク２０などに格納されてい
るプログラム（例えば、図２および図３を用いて後述す
るマルチモーダル入力プログラムなど）をＲＡＭ（Rand
om Access Memory）１８にロードして実行する。

【００１８】ＲＡＭ１８には、ロードされたプログラム
のほかに、例えば、ＣＰＵ１１の処理によって生成され
たデータなどが保存されている。ハードディスク２０に
は、上述したプログラムのほかに、ＣＰＵ１１がプログ
ラムを実行する際に必要なデータなども記録されてい
る。また、ＣＰＵ１１は、その処理結果を、例えば、内
部バス１６、および入出力インターフェース１５を介し
て、LCD（Liquid Crystal Display）などよりなる表示
部１９に、必要に応じて出力し、表示させることができ
る。

【００１９】また、タッチパネル１３は、表示部１９の
画像の光を透過する電導性の透明膜で構成され、表示部
１９と重ねて配置されており、表示部１９に各種操作ボ
タン等を表示させることにより、ユーザが画面上で直接
操作することができるようになされている。

【００２０】なお、図１のパーソナルコンピュータ１に
おいては、タッチパネル１３、音声入力部１４、ハード
ディスク２０、および表示部１９を含んだ構成である
が、タッチパネル１３、音声入力部１４、ハードディス
ク２０、および表示部１９は、それぞれ、同様の機能を
備えた外部装置を用いても良く、その場合、図示しない
ネットワークインターフェースなどにより、ＣＰＵ１１
との情報の伝達を行えるようにする。

【００２１】図２は、ＲＡＭ１８に、マルチモーダル入
力として音声入力を用いたマルチモーダル入力プログラ
ムがロードされ、実行された場合の機能ブロック図を示
す。

【００２２】オペレーティングシステム２１は、例え
ば、マイクロソフト社のウィンドウズ９５（Windows 9
5）、ウィンドウズ９８（Windows 98）（ともに商
標）、あるいは、アップルコンピュータ社のマックＯＳ
（商標）等に代表される、コンピュータの基本的な動作
を制御するものである。オペレーティングシステム２１
は、パーソナルコンピュータ１の起動とともに、起動さ
れるようになされており、ＲＡＭ１８にロードされ、実
行される各種アプリケーション（ここでは、マルチモー
ダル入力プログラム２２）と、音声入力部１４、タッチ
パネル１３、表示部１９およびハードディスク２０など
とのデータのやり取りを管理するものである。

【００２３】例えば、ユーザが、タッチパネル１３もし
くは音声入力部１４を用いて指令を入力した場合、オペ
レーティングシステム２１は、ユーザの指令を示す信号
をマルチモーダル入力プログラム２２に入力し、マルチ
モーダル入力プログラム２２が実行する所定の処理によ
って発生する処理結果を、表示部１９に出力し、表示さ
せる。

【００２４】次に、図３は、図２のマルチモーダル入力
プログラム２２の更に詳細な機能ブロック図である。

【００２５】入力部３１は、フォーカスが設定されたウ
ィンドウに対して、ユーザが、タッチパネル１３、もし
くは音声入力部１４を用いて入力した情報をオペレーテ
ィングシステム２１を介して入力され、その信号の内容
に従って、ＧＵＩ認識部３２、もしくは音声認識部３３
に、入力された信号を出力する。すなわち、オペレーテ
ィングシステム２１を介して入力された信号が、タッチ
パネル１３の操作位置の座標情報を示す信号である場
合、入力部３１は、その入力信号をＧＵＩ認識部３２に
出力し、オペレーティングシステム２１を介して入力さ
れた信号が音声信号である場合、入力部３１は、その入
力信号を音声認識部３３に出力する。

【００２６】ＧＵＩ認識部３２は、入力部３１から入力
された信号に基づいて、ユーザの操作内容（例えば、所
定のボタンを選択した、あるいは、所定のボタンの選択
を解除した等）を判断部３４に出力する。音声認識部３
３は、例えば、入力部３１から入力された音声信号に対
して、雑音除去やフィルタリング等の所定の処理を施
し、ハードディスク２０に記録されている音声認識のた
めの標準パターンと比較することなどにより、ユーザが
入力した音声を認識し、その結果を判断部３４に出力す
る。また、音声認識部３３は、ユーザが入力した音声の
認識結果に、複数の候補が存在する場合、その複数の候
補の内容を、判断部３４に出力する。例えば、駅名の入
力などのように、予め入力されることが予想される単語
が限られている場合、標準パターンには、入力されるこ
とが予想される単語群のみを標準パターンとして用意す
るようにしても良い。

【００２７】判断部３４は、図４乃至６を用いて後述す
るメインウィンドウ４１およびサブウィンドウ５１が有
するそれぞれの入力フィールドに対して、その内容が更
新されたか否かを示すフィールド更新フラグを有する。
また、判断部３４は、図７を用いて後述する、次にフォ
ーカスされるウィンドウのＩＤを保持するＬＩＦＯ（La
st In First Out）のフォーカスウィンドウスタックを
有している。判断部３４は、ＧＵＩ認識部３２、もしく
は音声認識部３３から入力された信号に基づいて、フォ
ーカスウィンドウスタックに、現在のフォーカスウィン
ドウのウィンドウＩＤをプッシュしたり、フォーカスウ
ィンドウスタックの先頭のウィンドウＩＤをポップし
て、フォーカスするウィンドウのＩＤを管理する。判断
部３４は、ポップしたウィンドウＩＤをウィンドウ処理
部３５に出力したり、現在のフォーカスウィンドウに表
示する内容を示す信号を生成してウィンドウ処理部３５
に出力する。ウィンドウ処理部３５は、判断部３４から
入力される信号に基づいて、表示部１９に表示されるウ
ィンドウの画像を処理し、表示部１９に出力して表示さ
せる。

【００２８】図４に、本発明のマルチモーダル入力プロ
グラムが適応された電車料金検索ソフトウェアにおけ
る、表示部１９に表示される入力画面のメインウィンド
ウ４１の表示例を示す。

【００２９】メインウィンドウ４１は、マルチモーダル
を用いた入力フォームである、図６を用いて後述するサ
ブウィンドウ５１を表示させる指示を入力するためのサ
ブウィンドウ表示ボタン４２‐１乃至４２−３、サブウ
ィンドウ５１を用いて入力された情報を表示するための
結果表示ボックス４３‐１乃至４３‐３、および、メイ
ンウィンドウ４１の表示を終了する指示を入力するため
の終了ボタン４４から構成されている。サブウィンドウ
表示ボタン４２‐１乃至４２−３、および終了ボタン４
４は、表示部１９に重ねて備えられたタッチパネル１３
に、ユーザが指などを触れることにより選択され、ユー
ザがタッチパネル１３から指などを離すことにより、選
択が解除される。サブウィンドウ表示ボタン４２‐１乃
至４２−３、および終了ボタン４４の選択および解除の
指令は、図３を用いて説明した入力部３１から、タッチ
パネル１３上の座標情報としてＧＵＩ認識部３２に入力
される。ＧＵＩ認識部３２は、入力された信号に基づい
て、ユーザの操作内容を示す信号を生成し、判断部３４
に出力する。

【００３０】サブブウィンドウ表示ボタン４２‐１乃至
４２−３が選択された場合、図５に示されるサブウィン
ドウ５１が表示される。サブウィンドウ５１は、ユーザ
の入力を促すためのガイダンスを表示するガイダンス表
示部５２、ユーザが音声を用いて入力した情報の判定に
複数の候補が生じた場合、その複数候補を表示してユー
ザに選択させるための候補表示領域５３、ユーザが入力
した情報を表示するサブウィンドウ結果表示ボックス５
５、および、サブウィンドウ５１の消去を指令するため
のサブウィンドウ消去ボタン５６から構成される。

【００３１】ユーザが、ガイダンス表示部５２に表示さ
れるガイダンスに従って、駅名を音声入力した場合、図
３を用いて説明したように、入力部３１に入力された音
声信号は、音声認識部３３に入力される。音声認識部３
３は、所定の処理により音声認識を行うが、音声認識の
候補が複数存在する場合、図６に示すように、候補表示
領域５３に、音声認識による認識候補に対応する結果候
補ボタン５３‐１乃至５３‐３を一覧表示する。ユーザ
は、タッチパネル１３に触れることにより、結果候補ボ
タン５３‐１乃至５３‐３のうちの所望の結果候補ボタ
ンを選択することができる。

【００３２】図４を用いて説明したメインウィンドウ４
１から、図５および図６を用いて説明したサブウィンド
ウ５１に表示が変わる場合、図７に示されるように、判
断部３４のフォーカスウィンドウスタックの先頭に、メ
インウィンドウ４１のＩＤ（図中ウィンドウＩＤ１で示
される）がプッシュされる。そして、サブウィンドウ５
１の表示が終了する場合、フォーカススタックの先頭の
ウィンドウＩＤ１がポップされ、ウィンドウＩＤ１がウ
ィンドウ処理部３５に出力されるので、ウィンドウのフ
ォーカスは、メインウィンドウ４１に変更される。

【００３３】次に、図８のフローチャートを参照して、
第１の実施の形態における、マルチモーダル入力プログ
ラムの処理について説明する。

【００３４】ステップＳ１において、ウィンドウ処理部
３５は、図４を用いて説明したメインウィンドウ４１を
表示部１９に表示する。ステップＳ２において、判断部
３４は、内部に有するフィールド更新フラグをすべてＯ
ＦＦにする。

【００３５】ステップＳ３において、判断部３４は、Ｇ
ＵＩ認識部３２から入力される信号を基に、図４を用い
て説明したサブウィンドウ表示ボタン４２−１乃至４２
−３のうちのいずれかが選択されたか否かを判断する。
ステップＳ３において、サブウィンドウ表示ボタン４２
−１乃至４２−３のうちのいずれかが選択されたと判断
された場合、ステップＳ４において、図９を用いて後述
するサブウィンドウ表示ボタン選択処理が行われ、その
後、処理はステップＳ３に戻り、それ以降の処理が繰り
返される。

【００３６】ステップＳ３において、サブウィンドウ表
示ボタン４２−１乃至４２−３のうちのいずれも選択さ
れていないと判断された場合、ステップＳ５において、
判断部３４は、ＧＵＩ認識部３２から入力される信号を
基に、図４を用いて説明したサブウィンドウ表示ボタン
４２−１乃至４２−３のうちのいずれかの選択が解除さ
れたか否かを判断する。ステップＳ３において、サブウ
ィンドウ表示ボタン４２−１乃至４２−３のうちのいず
れかの選択が解除されたと判断された場合、ステップＳ
６において、図１０を用いて後述するサブウィンドウ表
示ボタン選択解除処理が行われ、その後、処理はステッ
プＳ３に戻り、それ以降の処理が繰り返される。

【００３７】ステップＳ５において、サブウィンドウ表
示ボタン４２−１乃至４２−３のいずれも選択が解除さ
れていないと判断された場合、ステップＳ７において、
判断部３４は、音声認識部３３から入力される信号を基
に、音声信号が入力されたか否かを判断する。ステップ
Ｓ７において、音声信号が入力されたと判断された場
合、ステップＳ８において、図１１を用いて後述する音
声信号入力受理処理が行われ、その後、処理はステップ
Ｓ３に戻り、それ以降の処理が繰り返される。

【００３８】ステップＳ７において、音声信号が入力さ
れていないと判断された場合、ステップＳ９において、
判断部３４は、ＧＵＩ認識部３２から入力される信号を
基に、図５を用いて説明したサブウィンドウ消去ボタン
５６の選択が解除されたか否かを判断する。ステップＳ
９において、サブウィンドウ消去ボタン５６の選択が解
除されたと判断された場合、ステップＳ１０において、
図１２を用いて後述するサブウィンドウ消去ボタン選択
解除処理が行われ、その後、処理はステップＳ３に戻
り、それ以降の処理が繰り返される。

【００３９】ステップＳ９において、サブウィンドウ消
去ボタン５６の選択が解除されていないと判断された場
合、ステップＳ１１において、判断部３４は、ＧＵＩ認
識部３２から入力される信号を基に、図６を用いて説明
した結果候補ボタン５３−１乃至５３−３のうちのいず
れかが選択されたか否かを判断する。ステップＳ１１に
おいて、結果候補ボタン５３−１乃至５３−３のうちの
いずれかが選択されたと判断された場合、ステップＳ１
２において、図１３を用いて後述する結果候補ボタン選
択処理が行われ、その後、処理はステップＳ３に戻り、
それ以降の処理が繰り返される。

【００４０】ステップＳ１１において、結果候補ボタン
５３−１乃至５３−３がいずれも選択されていないと判
断された場合、ステップＳ１３において、判断部３４
は、ＧＵＩ認識部３２から入力される信号を基に、図４
を用いて説明した終了ボタン４４が選択されたか否かを
判断する。ステップＳ１３において、終了ボタン４４が
選択されていないと判断された場合、処理はステップＳ
３に戻り、それ以降の処理が繰り返される。ステップＳ
１３において、終了ボタン４４が選択されたと判断され
た場合、処理が終了される。

【００４１】次に、図９のフローチャートを参照して、
図８のステップＳ４におけるサブウィンドウ表示ボタン
選択処理について説明する。

【００４２】ステップＳ２１において、判断部３４は、
現在のフォーカスウィンドウのＩＤを、図７を用いて説
明したフォーカスウィンドウスタックにプッシュする。

【００４３】ステップＳ２２において、判断部３４は、
選択されたサブウィンドウ表示ボタン（ここでは、サブ
ウィンドウ表示ボタン４２−１が選択されたものとす
る）に対応するサブウィンドウ５１を表示させるための
制御信号を生成し、ウィンドウ処理部３５に出力する。
ウィンドウ処理部３５は、制御信号の入力を受け、選択
されたサブウィンドウ表示ボタン４２−１に対応するサ
ブウィンドウ５１を、表示部１９に表示させる。

【００４４】ステップＳ２３において、判断部３４は、
ステップＳ２２において表示されたサブウィンドウ５１
にフォーカスを設定する。すなわち、入力部３１は、ス
テップＳ２２において表示されたサブウィンドウ５１に
対するユーザの入力を示す信号を受け付ける。

【００４５】ステップＳ２４において、ウィンドウ処理
部３５は、ガイダンス表示部５２に音声入力を促すメッ
セージを表示させて、処理は、図８のステップＳ３に戻
り、それ以降の処理が繰り返される。

【００４６】次に、図１０のフローチャートを参照し
て、図８のステップＳ６において実行されるサブウィン
ドウ表示ボタン選択解除処理について説明する。

【００４７】ステップＳ３１において、判断部３４は、
現在のフォーカスウィンドウに対応するフィールド更新
フラグがＯＮであるか否かを判断する。ステップＳ３１
において、フィールド更新フラグがＯＮではないと判断
された場合、処理は、図８のステップＳ３に戻り、それ
以降の処理が繰り返される。

【００４８】ステップＳ３１において、フィールド更新
フラグがＯＮであると判断された場合、ステップＳ３２
において、判断部３４は、フォーカスウィンドウを消去
させるための制御信号を生成し、ウィンドウ処理部３５
に出力する。ウィンドウ処理部３５は、入力された制御
信号に従って、フォーカスウィンドウを、表示部１９の
表示画面から消去する。

【００４９】ステップＳ３３において、判断部３４は、
図７を用いて説明したウィンドウスタックからＩＤをポ
ップし、そのＩＤが示すウィンドウにフォーカスを設定
する。

【００５０】ステップＳ３４において、判断部３４は、
ステップＳ３２において消去されたウィンドウに対して
入力された音声入力結果を、現在のフォーカスウィンド
ウの対応する位置に表示させるための制御信号を生成
し、ウィンドウ処理部３５に出力する。ウィンドウ処理
部３５は、入力された制御信号に従って、ステップＳ３
２において消去されたフォーカスウィンドウに対して入
力された音声入力結果を、現在のフォーカスウィンドウ
の対応する位置に表示させる。

【００５１】ステップＳ３５において、判断部３４は、
ステップＳ３２において消去されたウィンドウに対応す
るフィールド更新フラグをＯＦＦにし、処理は、図８の
ステップＳ３に戻り、それ以降の処理が繰り返される。

【００５２】次に、図１１のフローチャートを参照し
て、図８のステップＳ８において実行される音声信号入
力受理処理について説明する。

【００５３】ステップＳ４１において、音声認識部３３
は、入力部３１から入力される音声信号と、ハードディ
スク２０から読み出した音声認識のための標準パターン
とを比較し、音声認識処理を実行し、その結果を判断部
３４に出力する。判断部３４は、音声認識部３３から入
力された音声認識結果に基づいて、候補に該当する単語
があるか否かを判断する。

【００５４】ステップＳ４１において、候補に該当する
単語がなかったと判断された場合、ステップＳ４２にお
いて、判断部３４は、ガイダンス表示部５２に再入力を
促すメッセージを表示させるための制御信号を生成し、
ウィンドウ処理部３５に出力する。ウィンドウ処理部３
５は、制御信号の入力を受け、表示部１９のガイダンス
表示部５２に再入力を促すメッセージを表示させて、処
理は、図８のステップＳ３に戻り、それ以降の処理が繰
り返される。

【００５５】ステップＳ４１において、音声認識結果
に、候補に該当する単語があると判断された場合、ステ
ップＳ４３において、判断部３４は、音声認識部３３か
ら入力された音声認識結果に基づいて、候補の個数は複
数であるか否かを判断する。ステップＳ４３において、
候補の個数は複数ではない（すなわち、候補は１つの単
語のみ）と判断された場合、ステップＳ４４において、
判断部３４は、認識結果をフォーカスされているウィン
ドウに表示させるための制御信号を生成し、ウィンドウ
処理部３５に出力する。ウィンドウ処理部３５は、入力
された制御信号に従って、認識結果をフォーカスされて
いるウィンドウに表示させる。

【００５６】ステップＳ４５において、判断部３４は、
現在のフォーカスウィンドウに対応するフィールド更新
フラグをＯＮにし、処理は、図８のステップＳ３に戻
り、それ以降の処理が繰り返される。

【００５７】ステップＳ４３において、候補の個数が複
数であると判断された場合、ステップＳ４６において、
判断部３４は、現在のフォーカスウィンドウの候補表示
領域５３に、図６を用いて説明したような結果候補ボタ
ン５３−１乃至５３−３を表示させるための制御信号を
生成し、ウィンドウ処理部３５に出力する。ウィンドウ
処理部３５は、入力された制御信号に従って、現在のフ
ォーカスウィンドウの候補表示領域５３に、結果候補ボ
タン５３−１乃至５３−３を表示させる。

【００５８】ステップＳ４７において、判断部３４は、
ガイダンス表示部５２に候補選択を促すメッセージを表
示させるため制御信号を生成し、ウィンドウ処理部３５
に出力する。ウィンドウ処理部３５は、入力された制御
信号に従って、ガイダンス表示部５２に候補選択を促す
メッセージを表示させ、処理は、図８のステップＳ３に
戻り、それ以降の処理が繰り返される。

【００５９】次に、図１２のフローチャートを参照し
て、図８のステップＳ１０において実行されるサブウィ
ンドウ消去ボタン選択ボタン選択解除処理について説明
する。

【００６０】ステップＳ５１において、判断部３４は、
ＧＵＩ認識部３２から、サブウィンドウ消去ボタン５６
の選択解除を示す信号の入力を受け、対応するサブウィ
ンドウ５１を消去させるための制御信号を生成して、ウ
ィンドウ処理部３５に出力する。ウィンドウ処理部３５
は、判断部３４から入力された制御信号に従って、表示
部１９に表示されているサブウィンドウ５１を消去す
る。

【００６１】ステップＳ５２において、判断部３４は、
図７を用いて説明したウィンドウスタックからＩＤをポ
ップし、そのＩＤが示すウィンドウにフォーカスを設定
する。

【００６２】ステップＳ５３において、判断部３４は、
ステップＳ５１において消去されたウィンドウに対して
入力された音声入力済みの結果があるか否かを判断す
る。ステップＳ５３において、音声入力済みの結果がな
いと判断された場合、処理は、図８のステップＳ３に戻
り、それ以降の処理が繰り返される。

【００６３】ステップＳ５３において、音声入力済みの
結果があると判断された場合、ステップＳ５４におい
て、判断部３４は、音声入力結果を現在のフォーカスウ
ィンドウの対応する位置に表示させるための制御信号を
生成し、ウィンドウ処理部３５に出力する。ウィンドウ
処理部３５は、入力された制御信号に従って、ステップ
Ｓ５１において消去されたフォーカスウィンドウに対し
て入力された音声入力結果を、現在のフォーカスウィン
ドウの対応する位置に表示させる。

【００６４】ステップＳ５５において、判断部３４は、
ステップＳ５１において消去されたサブウィンドウに対
応するフィールド更新フラグをＯＦＦにし、処理は、図
８のステップＳ３に戻り、それ以降の処理が繰り返され
る。

【００６５】次に、図１３のフローチャートを参照し
て、図１２のステップＳ１２において実行される候補結
果ボタン選択処理について説明する。

【００６６】ステップＳ６１において、判断部３４は、
ＧＵＩ認識部３２から入力される信号を基に、選択され
た結果候補ボタン５３−１乃至５３−３のいずれかに対
応する文字列を、サブウィンドウ結果表示ボックス５５
に表示させる。

【００６７】ステップＳ６２において、判断部３４は、
現在のフォーカスウィンドウ（すなわち、結果候補ボタ
ン５３−１乃至５３−３が表示されているウィンドウ）
を消去させるための制御信号を生成して、ウィンドウ処
理部３５に出力する。ウィンドウ処理部３５は、判断部
３４から入力された制御信号に従って、表示部１９に表
示されているフォーカスウィンドウを消去する。

【００６８】ステップＳ６３において、判断部３４は、
図７を用いて説明したウィンドウスタックからＩＤをポ
ップし、そのＩＤが示すウィンドウにフォーカスを設定
する。

【００６９】ステップＳ６４において、判断部３４は、
選択された候補ボタンに対応する文字列を、対応する結
果表示ボックス５５に表示させるための制御信号を生成
してウィンドウ処理部３５に出力する。ウィンドウ処理
部３５は、判断部３４から入力された制御信号に従っ
て、選択された候補ボタンに対応する文字列を、対応す
る結果表示ボックス５５に表示させ、処理は、図８のス
テップＳ３に戻り、それ以降の処理が繰り返される。

【００７０】次に、図１４および図１３を参照して、図
８を用いて説明したマルチモーダル入力プログラム２２
の処理の具体的な例について説明する。

【００７１】まず、図８のステップＳ１において、図１
４（Ａ）に示されるメインウィンドウ４１が表示され
る。そして、図１４（Ｂ）に示されるように、ユーザ
が、メインウィンドウ４１のサブウィンドウ表示ボタン
４２−１を選択した場合、図８のステップＳ３の処理に
より、サブウィンドウ表示ボタンが選択されたと判断さ
れ、ステップＳ４において、図９を用いて説明したサブ
ウィンドウ表示ボタン選択処理が実行される。すなわ
ち、図９のステップＳ２１の処理により、フォーカスウ
ィンドウスタックの先頭に、メインウィンドウ４１のウ
ィンドウＩＤがプッシュされ、ステップＳ２２の処理に
より、サブウィンドウ５１が表示され、ステップＳ２３
の処理により、フォーカスウィンドウが、メインウィン
ドウ４１からサブウィンドウ５１に変更される。

【００７２】そして、図９のステップＳ２４の処理によ
り、図１４（Ｂ）のサブウィンドウ５１のガイダンス表
示部５２に表示されたメッセージに従って、ユーザが、
駅名を音声入力した場合、図８のステップＳ７の処理に
より、音声信号が入力されたと判断され、ステップＳ８
において、図１１を用いて説明した音声信号入力受理処
理が実行される。そして、図１１のステップＳ４３にお
いて、入力された音声に対する音声認識結果の候補の個
数が１つであると判断された場合、ステップＳ４４にお
いて、図１４（Ｃ）に示されるように、現在のフォーカ
スウィンドウであるサブウィンドウ５１のサブウィンド
ウ結果表示ボックス５５に、音声認識結果である「京
都」が表示され、ステップＳ４５において、判断部３４
は、対応するフィールド更新フラグをＯＮにする。

【００７３】そして、ユーザが、サブウィンドウ表示ボ
タンの選択を解除した場合（すなわち、タッチパネル１
３から指を離した場合）、図８のステップＳ５の処理に
より、サブウィンドウ表示ボタンの選択が解除されたと
判断されるので、ステップＳ６において、図１０を用い
て説明したサブウィンドウ表示ボタン選択解除処理が実
行される。そして、図１０のステップＳ３１の処理によ
り、フィールド更新フラグはＯＮであると判断されるの
で、ステップＳ３２において、現在のフォーカスウィン
ドウであるサブウィンドウ５１の表示が消去され、ステ
ップＳ３３の処理により、フォーカスウィンドウスタッ
クの先頭にＩＤが記録されているメインウィンドウ４１
に、フォーカスが設定され、ステップＳ３４の処理によ
り、メインウィンドウ４１の結果表示ボックス４３‐１
に、音声入力結果である「京都」が表示され、図１４
（Ｄ）で示される表示画面となる。

【００７４】例えば、図１４（Ｂ）の状態で、音声入力
がされないまま、ユーザがタッチパネル１３から指を離
し、サブウィンドウ表示ボタンの選択を解除したとして
も、図１０のステップＳ３１の処理により、フィールド
更新フラグはＯＮではないと判断されるため、サブウィ
ンドウ５１は消去されず、フォーカスウィンドウも、サ
ブウィンドウ５１のまま、次の入力待ちとなる。この場
合、ユーザがサブウィンドウ消去ボタン５６を選択解除
して（タッチパネル１３上にて、サブウィンドウ消去ボ
タン５６に触れ、その後指を離す）図８のステップＳ１
０における、図１２を用いて説明したサブウィンドウ消
去ボタン選択解除処理を実行すれば、サブウィンドウ５
１は消去される。

【００７５】次に、図１５（Ａ）において、図１４
（Ａ）および図１４（Ｂ）を用いて説明した処理と同様
に、サブウィンドウ表示ボタン４２‐１が選択され、メ
インウィンドウ４１のウィンドウＩＤが、フォーカスウ
ィンドウスタックの先頭にプッシュされ、サブウィンド
ウ５１が表示されてフォーカスが設定され、ユーザによ
り、駅名が音声入力されたとする。ここで、図８のステ
ップＳ７の処理により、音声信号が入力されたと判断さ
れるので、ステップＳ８において、図１１を用いて説明
した音声信号入力受理処理が実行される。例えば、図１
１のステップＳ４３において、候補の個数が複数である
と判断された場合、ステップＳ４６の処理により、図１
５（Ｂ）に示されるように、サブウィンドウ５１の候補
表示領域５３に結果候補ボタン５３−１乃至５３−３が
表示され、ステップＳ４７において、ガイダンス表示部
５２に、候補選択を促すためのメッセージである「出発
駅は次のどれですか？」が表示される。ここでは、フォ
ーカスウィンドウは変更されないし、フィールド更新フ
ラグもＯＮにならない。すなわち、ユーザが、サブウィ
ンドウ表示ボタンの選択を解除しても、図１０のステッ
プＳ３１において、フィールド更新フラグはＯＮではな
いと判断されるため、サブウィンドウ５１は消去されな
い。

【００７６】そして、ユーザは、ガイダンス表示部５２
に表示された、候補選択を促すためのメッセージである
「出発駅は次のどれですか？」に従って、結果候補ボタ
ン５３−１乃至５３−３のうちの所望の結果候補ボタン
を選択する（すなわち、タッチパネル１３の所望の結果
候補ボタンの位置に触れる）。すなわち、図８のステッ
プＳ１１において、結果候補ボタン５３−１乃至５３−
３のいずれかが選択されたと判断され、ステップＳ１２
において、図１３を用いて説明した結果候補ボタン選択
処理が実行される。図１３のステップＳ６１において、
ユーザが選択した結果候補ボタン５３−２に対応する文
字列「大阪」がサブウィンドウ結果表示ボックス５５に
表示され、ステップＳ６２において、フォーカスウィン
ドウであるサブウィンドウ５１が消去され、ステップＳ
６３において、フォーカスウィンドウスタックの先頭に
記録されているメインウィンドウ４１のＩＤがポップさ
れて、メインウィンドウ４１にフォーカスが設定され、
ステップＳ６４において、選択された候補ボタンに対応
する文字列が、対応する結果表示ボックス５５に表示さ
れ、図１５（Ｄ）に示される表示画面になる。

【００７７】次に、図１６乃至図２４を用いて、マルチ
モーダル入力として視線検知を用いた、本発明の第２の
実施の形態について説明する。

【００７８】図１６は、本発明を適応したパーソナルコ
ンピュータ６１の構成を示すブロック図である。図１６
のパーソナルコンピュータ６１においては、図１におけ
る場合と対応する部分には同一の符号を付してあり、そ
の説明は適宜省略する（以下、同様）。すなわち、図１
６のパーソナルコンピュータ６１は、音声入力部１４に
代わり、画像入力部７１が備えられ、新たに、画像演算
処理部７２が備えられている以外は、基本的に、図１の
パーソナルコンピュータ１と同様の構成を有している。

【００７９】画像入力部７１は、例えば、ＣＣＤ（Char
ge-Coupled Devices）を有するデジタルカメラ等で構成
され、パーソナルコンピュータ６１を操作するユーザの
顔の画像を取り込むようになされている。画像演算処理
部７２は、入力部１２、入出力インターフェース１５、
内部バス１６を介して、画像入力部７１から画像データ
の入力を受け、例えば、２値化し、顔の輪郭や目の位置
などのデータとともに、瞳の位置を算出することによ
り、ユーザの視線を検出し（すなわち、ユーザが、表示
部１９上のどの部分を注視しているかを検出し）、検出
結果を、内部バス１６を介してＣＰＵ１１に出力する。

【００８０】図１７に、ＲＡＭ１８に、マルチモーダル
入力に、視線検知を用いたマルチモーダル入力プログラ
ムがロードされ、実行された場合の機能ブロック図を示
す。図１７のマルチモーダル入力プログラム８１が実行
された場合の機能ブロック図は、音声入力部１４に代わ
り、画像入力部７１の機能を有している以外は、基本的
に、図２における場合と同様である。

【００８１】すなわち、タッチパネル１３からユーザの
指令を表わす信号が入力された場合、もしくは、画像入
力部７１からユーザの視線を検知するための画像信号が
入力された場合、オペレーティングシステム２１は、こ
れらの信号をマルチモーダル入力プログラム８１に入力
し、マルチモーダル入力プログラム８１が実行する所定
の処理によって発生する処理結果を、表示部１９に出力
し、表示させる。

【００８２】次に、図１８は、図１７のマルチモーダル
入力プログラム８１の更に詳細な機能ブロック図であ
る。図１８に示されるマルチモーダル入力プログラム８
１は、音声認識部３３の機能に代わり、画像受理部９１
および視線検知部９２の機能を有する以外は、基本的
に、図３を用いて説明したマルチモーダル入力プログラ
ム２２と同様の機能を有する。

【００８３】すなわち、入力部３１は、タッチパネル１
３、もしくは画像入力部７１から入力された情報を、オ
ペレーティングシステム２１を介して入力される。そし
て、入力された信号が、タッチパネル１３の操作位置の
座標情報を示す信号である場合、入力部３１は、その入
力信号をＧＵＩ認識部３２に出力し、入力された信号が
画像信号である場合、入力部３１は、その入力信号を画
像受理部９１に出力する。

【００８４】画像受理部９１は、その内部に、所定の周
期で画像の入力を受け付けるためのインターバルタイマ
を有し、インターバルタイマのイベントが発生した場
合、入力部３１から入力された画像信号を視線検知部９
２に出力する。視線検知部９２は、入力された画像信号
を基に、例えば、画像データを２値化し、顔の輪郭や目
の位置などのデータとともに、瞳の位置を算出すること
により、ユーザの視線（すなわち、ユーザが、表示部１
９上のどの部分を注視しているか）を検出し、検出結果
を、判断部３４に出力する。

【００８５】ここで、ウィンドウ処理部３５の処理によ
って表示部１９に表示されるメインウィンドウは、図４
を用いて説明した第１の実施の形態における場合と同様
である。一方、第２の実施の形態においては、マルチモ
ーダル入力に視線検知を用いているので、ウィンドウ処
理部３５の処理によって表示部１９に表示されるサブウ
ィンドウは、例えば、図１９に示されるサブウィンドウ
１０１のようになる。サブウィンドウ１０１は、ユーザ
が視線を当てることにより選択される選択ボタン１１１
−１乃至１１１−６、およびユーザの操作を促すための
メッセージが表示されるガイダンス表示部１１２で構成
される。

【００８６】視線検知部９２が検知したユーザの視線の
検知結果を基に、判断部３４は、選択ボタン１１１−１
乃至１１１−６のうち、いずれの選択ボタンが選択され
ているかを示す信号を生成してウィンドウ処理部３５に
出力する。ウィンドウ処理部３５は、判断部３４から入
力された信号に従って、ユーザが視線を当てていると判
断された選択ボタンの色を変更し、選択されていないと
判断されている選択ボタンとの区別がつくように表示さ
せる。

【００８７】次に、図２０のフローチャートを参照し
て、第２の実施の形態における、マルチモーダル入力プ
ログラム８１の処理について説明する。

【００８８】ステップＳ７１およびステップＳ７２にお
いて、図８のステップＳ１およびステップＳ２と同様の
処理が行われる。ステップＳ７３において、画像受理部
９１は、画像入力を実行するインターバルタイマを所定
の値に設定して、インターバルタイマの動作を開始させ
る。

【００８９】ステップＳ７４において、判断部３４は、
ＧＵＩ認識部３２から入力される信号を基に、図４を用
いて説明したサブウィンドウ表示ボタン４２−１乃至４
２−３のいずれかが選択されたか否かを判断する。ステ
ップＳ７４において、サブウィンドウ表示ボタン４２−
１乃至４２−３のいずれかが選択されたと判断された場
合、ステップＳ７５において、図２１を用いて後述する
サブウィンドウ表示ボタン選択処理が行われ、その後、
処理はステップＳ７４に戻り、それ以降の処理が繰り返
される。

【００９０】ステップＳ７４において、サブウィンドウ
表示ボタン４２−１乃至４２−３のいずれも選択されて
いないと判断された場合、ステップＳ７６において、判
断部３４は、ＧＵＩ認識部３２から入力される信号を基
に、図４を用いて説明したサブウィンドウ表示ボタン４
２−１乃至４２−３のいずれかの選択が解除されたか否
かを判断する。ステップＳ７６において、サブウィンド
ウ表示ボタン４２−１乃至４２−３のいずれかの選択が
解除されたと判断された場合、ステップＳ７７におい
て、図２２を用いて後述するサブウィンドウ表示ボタン
選択解除処理が行われ、その後、処理はステップＳ７４
に戻り、それ以降の処理が繰り返される。

【００９１】ステップＳ７６において、サブウィンドウ
表示ボタン４２−１乃至４２−３のいずれも選択が解除
されていないと判断された場合、ステップＳ７８におい
て、判断部３４は、画像受理部９１のインターバルタイ
マのイベントが発生したか否かを判断する。ステップＳ
７８において、インターバルタイマのイベントが発生し
たと判断された場合、ステップＳ７９において、図２３
を用いて後述するインターバルタイマ処理が行われ、そ
の後、処理はステップＳ７４に戻り、それ以降の処理が
繰り返される。

【００９２】ステップＳ７８において、インターバルタ
イマのイベントが発生していないと判断された場合、ス
テップＳ８０において、判断部３４は、ＧＵＩ認識部３
２から入力される信号を基に、図４を用いて説明した終
了ボタン４４が選択されたか否かを判断する。ステップ
Ｓ８０において、終了ボタン４４が選択されていないと
判断された場合、処理はステップＳ７４に戻り、それ以
降の処理が繰り返される。ステップＳ８０において、終
了ボタン４４が選択されたと判断された場合、処理が終
了される。

【００９３】次に、図２１のフローチャートを参照し
て、図２０のステップＳ７５におけるサブウィンドウ表
示ボタン選択処理について説明する。

【００９４】ステップＳ９１乃至ステップＳ９３におい
て、図９のステップＳ２１乃至ステップＳ２３と同様の
処理が実行される。そして、ステップＳ９４において、
ウィンドウ処理部３５は、ガイダンス表示部１１２に視
線入力を促すメッセージを表示させて、処理は、図２０
のステップＳ７４に戻り、それ以降の処理が繰り返され
る。

【００９５】次に、図２２のフローチャートを参照し
て、図２０のステップＳ７７において実行されるサブウ
ィンドウ表示ボタン選択解除処理について説明する。

【００９６】ステップＳ１０１およびステップＳ１０２
において、図１０のステップＳ３２およびステップＳ３
３と同様の処理が実行される。ステップＳ１０３におい
て、図１０のステップＳ３１の処理と同様に、フィール
ド更新フラグがＯＮか否かが判断され、フィールド更新
フラグがＯＮではないと判断された場合、処理は、図２
０のステップＳ７４に戻り、それ以降の処理が繰り返さ
れる。

【００９７】ステップＳ１０３において、フィールド更
新フラグがＯＮであると判断された場合、ステップＳ１
０４において、判断部３４は、ステップＳ１０１におい
て消去されたウィンドウで注視されていた選択ボタンに
対応するデータを、現在のフォーカスウィンドウの対応
する位置に表示させるための制御信号を生成し、ウィン
ドウ処理部３５に出力する。ウィンドウ処理部３５は、
入力された制御信号に従って、ステップＳ１０１におい
て消去されたウィンドウで注視されていた選択ボタンに
対応するデータを、現在のフォーカスウィンドウの対応
する位置に表示させる。

【００９８】ステップＳ１０５において、判断部３４
は、ステップＳ１０２において消去されたウィンドウに
対応するフィールド更新フラグをＯＦＦにし、処理は、
図２０のステップＳ７４に戻り、それ以降の処理が繰り
返される。

【００９９】次に、図２３のフローチャートを参照し
て、図２０のステップＳ７９において実行される、イン
ターバルタイマ処理について説明する。

【０１００】ステップＳ１１１において、判断部３４
は、サブウィンドウ１０１が表示中であるか否かを判断
する。ステップＳ１１１において、サブウィンドウ１０
１が表示中ではないと判断された場合、処理は、図２０
のステップＳ７４に戻り、それ以降の処理が繰り返され
る。

【０１０１】ステップＳ１１１において、サブウィンド
ウ１０１が表示中であると判断された場合、ステップＳ
１１２において、視線検知部９２は、入力部３１、およ
び画像受理部９１を介して入力された画像データを基
に、視線検知処理を実行し、ユーザの瞳の位置を特定
し、その結果を判断部３４に出力する。

【０１０２】ステップＳ１１３において、判断部３４
は、ステップＳ１１２において、視線検知部９２から入
力されたユーザの瞳の位置を示す信号を基に、ユーザが
注視している選択ボタンが特定されたか否かを判断す
る。

【０１０３】ステップＳ１１３において、ユーザが注視
している選択ボタンが特定されたと判断された場合、ス
テップＳ１１４において、判断部３４は、ユーザが注視
していると特定された選択ボタンの表示色を変更させ、
それ以前に表示色が変更されていた選択ボタンの表示色
を元に戻させるための制御信号を生成してウィンドウ処
理部３５に出力する。ウィンドウ処理部３５は、判断部
３４から入力された制御信号に従って、ユーザが注視し
ていると判断された選択ボタンの表示色を変更させ、そ
れ以前に表示色が変更されていた選択ボタンの表示色を
元に戻す。

【０１０４】ステップＳ１１５において、判断部３４
は、現在のフォーカスウィンドウに対応するフィールド
更新フラグをＯＮにする。そして、処理は、図２０のス
テップＳ７４に戻り、それ以降の処理が繰り返される。

【０１０５】ステップＳ１１３において、選択ボタンが
特定されなかったと判断された場合、判断部３４は、そ
れ以前に表示色が変更されていた選択ボタンの表示色を
元に戻させるための制御信号を生成してウィンドウ処理
部３５に出力する。ウィンドウ処理部３５は、判断部３
４から入力された制御信号に従って、それ以前に表示色
が変更されていた選択ボタンの表示色を元に戻す。そし
て、処理は、図２０のステップＳ７４に戻り、それ以降
の処理が繰り返される。

【０１０６】次に、図２４を参照して、図２０を用いて
説明したマルチモーダル入力プログラム８１の処理の具
体的な例について説明する。

【０１０７】まず、図２０のステップＳ７１において、
図２４（Ａ）に示されるメインウィンドウ４１が表示さ
れる。そして、図２４（Ｂ）に示されるように、ユーザ
が、メインウィンドウ４１のサブウィンドウ表示ボタン
４２−１を選択した場合、図２０のステップＳ７４の処
理により、サブウィンドウ表示ボタンが選択されたと判
断され、ステップＳ７５において、図２１を用いて説明
したサブウィンドウ表示ボタン選択処理が実行され、サ
ブウィンドウ１０１が表示される。ここで、図２１のス
テップＳ９１の処理により、フォーカスウィンドウスタ
ックの先頭に、メインウィンドウ４１のウィンドウＩＤ
がプッシュされ、ステップＳ７３の処理により、フォー
カスウィンドウが、メインウィンドウ４１からサブウィ
ンドウ１０１に変更されている。

【０１０８】そして、図２４（Ｂ）のサブウィンドウ１
０１のガイダンス表示部１１２に表示されるメッセージ
に従って、ユーザは、選択したいボタンを見つめる。そ
して、次のインターバルタイマのイベントが発生するタ
イミングで、図２０のステップＳ７８の処理において、
インターバルタイマのイベントが発生したと判断され、
ステップＳ７９において、図２３を用いて説明したイン
ターバルタイマ処理が実行される。

【０１０９】図２３のステップＳ１１３において、選択
ボタンが特定された場合、図２４（Ｃ）に示されるよう
に、ステップＳ１１４において、特定されたと判断され
た選択ボタン（ここでは、選択ボタン１１１−１）の表
示色が変更され、ステップＳ１１５において、フィール
ド更新フラグがＯＮになる。ユーザは、選択ボタンの表
示色の変更を確認して、サブウィンドウ表示ボタンの選
択を解除する（すなわち、タッチパネル１３から指を離
す）ので、図２０のステップＳ７６において、サブウィ
ンドウ表示ボタンの選択が解除されたと判断される。そ
して、ステップＳ７７において、図２２を用いて説明し
た、サブウィンドウ表示ボタン選択解除処理が実行され
る。図２２のステップＳ１０１において、現在のフォー
カスウィンドウであるサブウィンドウ１０１が消去さ
れ、ステップＳ１０２において、フォーカスウィンドウ
スタックの先頭にあるメインウィンドウ４１にフォーカ
スが設定され、ステップＳ１０３において、フィールド
更新フラグはＯＮであると判断されるので、ステップＳ
１０４において、注視されていた選択ボタン１１１−１
に対応するデータである「京都」が現在のフォーカスウ
ィンドウである、メインウィンドウ４１の結果表示ボッ
クス４３−１に表示され、図２２（Ｄ）に示される表示
画面を得ることができる。

【０１１０】次に、図２５乃至図３４を用いて、マルチ
モーダル入力として画像入力を用いた、本発明の第３の
実施の形態について説明する。

【０１１１】図２５は、本発明を適応したパーソナルコ
ンピュータ１２１の構成を示すブロック図である。図２
５のパーソナルコンピュータ１２１においては、図１６
における場合と対応する部分には同一の符号を付してあ
り、その説明は適宜省略する。すなわち、図２５のパー
ソナルコンピュータは、画像演算処理部７２に代わり、
画像表示処理部１３１が備えられている以外は、基本的
に、図１６のパーソナルコンピュータ６１と同様の構成
を有している。

【０１１２】画像表示処理部１３１は、入力部１２、入
出力インターフェース１５、内部バス１６を介して、画
像入力部７１から画像データの入力を受け、例えば、フ
ィルタリングや、ジャギー除去など、表示部１９に表示
するために必要な画像処理を施し、内部バス１６を介し
てＣＰＵ１１に出力する。

【０１１３】図２６に、ＲＡＭ１８に、マルチモーダル
入力に画像入力を用いたマルチモーダル入力プログラム
がロードされ、実行された場合の機能ブロック図を示
す。図２６のマルチモーダル入力プログラム１４１が実
行された場合の機能ブロック図は、マルチモーダル入力
プログラム１４１以外の部分においては、基本的に、図
１７における場合と同様の構成を有している。

【０１１４】すなわち、タッチパネル１３からユーザの
指令を表わす信号が入力された場合、もしくは、画像入
力部７１から画像信号が入力された場合、オペレーティ
ングシステム２１は、これらの信号をマルチモーダル入
力プログラム１４１に入力し、マルチモーダル入力プロ
グラム１４１が実行する所定の処理によって発生する処
理結果を、表示部１９に出力し、表示させる。

【０１１５】次に、図２７は、図２６のマルチモーダル
入力プログラム１４１の更に詳細な機能ブロック図であ
る。図２７に示されるマルチモーダル入力プログラム１
４１は、視線検知部９２の機能が削除され、判断部２４
に代わり、ＧＵＩ認識部３２から入力される信号に従っ
て、画像受理部９１から入力される画像信号に対する処
理を決定する判断部１４２の機能を有する以外は、基本
的に、図１８を用いて説明したマルチモーダル入力プロ
グラム８１と同様の機能を有している。

【０１１６】すなわち、入力部３１は、タッチパネル１
３、もしくは画像入力部７１から入力された情報を、オ
ペレーティングシステム２１を介して入力され、入力さ
れた信号が、タッチパネル１３の操作位置の座標情報を
示す信号である場合、入力部３１は、その入力信号をＧ
ＵＩ認識部３２に出力し、入力された信号が画像信号で
ある場合、入力部３１は、その入力信号を画像受理部９
１に出力する。

【０１１７】画像受理部９１は、その内部に、所定の周
期毎に画像の入力を受け付けて、図２９を用いて後述す
るサブウィンドウ１６１の画像表示部１６３に表示させ
るための画像プレビュー用インターバルタイマを有し、
インターバルタイマのイベントが発生した場合、入力部
３１から入力された画像信号を判断部１４２に出力す
る。

【０１１８】判断部１４２は、ウィンドウＩＤを保持す
るＬＩＦＯのフォーカスウィンドウスタックを有してい
る。判断部１４２は、ＧＵＩ認識部３２から入力された
信号に基づいて、フォーカスウィンドウスタックに対し
て、フォーカスウィンドウＩＤをプッシュ、もしくはポ
ップして、フォーカスウィンドウのＩＤを管理し、ポッ
プしたウィンドウＩＤをウィンドウ処理部３５に出力し
たり、現在のフォーカスウィンドウに表示する内容を示
す信号を生成してウィンドウ処理部３５に出力する。

【０１１９】また、判断部１４２は、画像受理部９１か
ら入力される画像信号を、ウィンドウ処理部３５に出力
して、図２９を用いて後述するサブウィンドウ１６１の
画像表示部１６３に表示させるとともに、ＧＵＩ認識部
３２から入力される信号を基に、画像入力部７１から入
力されている画像が、入力結果として登録される画像デ
ータであるか否かを判断し、登録される画像データであ
ると判断された場合、その画像データが、登録される画
像データであることを示す信号をウィンドウ処理部３５
に出力する。

【０１２０】ここで、ウィンドウ処理部３５の処理によ
って表示部１９に表示されるメインウィンドウ１５１を
図２８に示す。第３の実施の形態におけるメインウィン
ドウ１５１は、ユーザが入力したい表情の種類に対応す
るサブウィンドウ表示ボタン１５２−１乃至１５２−
３、画像データの入力結果を表示させるための表示結果
ボックス１５３−１乃至１５３−３、および終了ボタン
１５４から構成されている。

【０１２１】図２９に、図２８のサブウィンドウ表示ボ
タン１５２−１が選択された場合に表示されるサブウィ
ンドウ１６１を示す。サブウィンドウ１６１は、ユーザ
の操作を促すためのメッセージが表示されるガイダンス
表示部１６２および現在入力されている画像データを表
示させるための画像表示部１６３から構成される。

【０１２２】次に、図３０のフローチャートを参照し
て、第２の実施の形態における、マルチモーダル入力プ
ログラムの処理について説明する。

【０１２３】ステップＳ１２１において、図８のステッ
プＳ１と同様の処理が行われ、時２８を用いて説明した
メインウィンドウ１５１が表示される。ステップＳ１２
２において、画像受理部９１は、入力された画像を図２
９を用いて説明したサブウィンドウ１６１の画像表示部
１６３に表示させる処理を実行させるための、画像プレ
ビュー用インターバルタイマを所定の値に設定する。

【０１２４】ステップＳ１２３において、判断部１４２
は、ＧＵＩ認識部３２から入力される信号を基に、図２
８を用いて説明したサブウィンドウ表示ボタン１５２−
１乃至１５２−３のいずれかが選択されたか否かを判断
する。ステップＳ１２３において、サブウィンドウ表示
ボタン１５２−１乃至１５２−３のいずれかが選択され
たと判断された場合、ステップＳ１２４において、図３
１を用いて後述するサブウィンドウ表示ボタン選択処理
が行われ、その後、処理はステップＳ１２３に戻り、そ
れ以降の処理が繰り返される。

【０１２５】ステップＳ１２３において、サブウィンド
ウ表示ボタン１５２−１乃至１５２−３のいずれも選択
されていないと判断された場合、ステップＳ１２５にお
いて、判断部１４２は、ＧＵＩ認識部３２から入力され
る信号を基に、図２８を用いて説明したサブウィンドウ
表示ボタン１５２−１乃至１５２−３のいずれかの選択
が解除されたか否かを判断する。ステップＳ１２５にお
いて、サブウィンドウ表示ボタン１５２−１乃至１５２
−３のいずれかの選択が解除されたと判断された場合、
ステップＳ１２６において、図３２を用いて後述するサ
ブウィンドウ表示ボタン選択解除処理が行われ、その
後、処理はステップＳ１２３に戻り、それ以降の処理が
繰り返される。

【０１２６】ステップＳ１２５において、サブウィンド
ウ表示ボタン１５２−１乃至１５２−３のいずれも選択
が解除されていないと判断された場合、ステップＳ１２
７において、判断部１４２は、画像受理部９１のインタ
ーバルタイマのイベントが発生したか否かを判断する。
ステップＳ１２７において、インターバルタイマのイベ
ントが発生したと判断された場合、ステップＳ１２８に
おいて、図３３を用いて後述するインターバルタイマ処
理が行われ、その後、処理はステップＳ１２３に戻り、
それ以降の処理が繰り返される。

【０１２７】ステップＳ１２７において、インターバル
タイマのイベントが発生していないと判断された場合、
ステップＳ１２９において、判断部１４２は、ＧＵＩ認
識部３２から入力される信号を基に、図２８を用いて説
明した終了ボタン１５４が選択されたか否かを判断す
る。ステップＳ１２９において、終了ボタン１５４が選
択されていないと判断された場合、処理はステップＳ１
２３に戻り、それ以降の処理が繰り返される。ステップ
Ｓ１２９において、終了ボタン１５４が選択されたと判
断された場合、処理が終了される。

【０１２８】次に、図３１のフローチャートを参照し
て、図３０のステップＳ１２４におけるサブウィンドウ
表示ボタン選択処理について説明する。

【０１２９】ステップＳ１４１乃至ステップＳ１４３に
おいて、図９のステップＳ２１乃至ステップＳ２３と同
様の処理が実行される。そして、ステップＳ１４４にお
いて、ウィンドウ処理部３５は、ガイダンス表示部１６
２に画像入力を促すメッセージを表示させて、処理は、
図３０のステップＳ１２３に戻り、それ以降の処理が繰
り返される。

【０１３０】次に、図３２のフローチャートを参照し
て、図３０のステップＳ１２６において実行されるサブ
ウィンドウ表示ボタン選択解除処理について説明する。

【０１３１】ステップＳ１５１およびステップＳ１５２
において、図１０のステップＳ３２およびステップＳ３
３と同様の処理が実行される。ステップＳ１５３におい
て、判断部１４２は、現在の入力画像をフォーカスウィ
ンドウに表示させるための制御信号を生成し、ウィンド
ウ処理部３５に出力する。ウィンドウ処理部３５は、入
力された制御信号に従って、現在の入力画像をフォーカ
スウィンドウに表示させ、処理は、図３０のステップＳ
１２３に戻り、それ以降の処理が繰り返される。

【０１３２】次に、図３３のフローチャートを参照し
て、図３０のステップＳ１２８において実行される、イ
ンターバルタイマ処理について説明する。

【０１３３】ステップＳ１６１において、判断部１４２
は、サブウィンドウ１６１が表示中であるか否かを判断
する。ステップＳ１６１において、サブウィンドウ１６
１が表示中ではないと判断された場合、処理は、図３０
のステップＳ１２３に戻り、それ以降の処理が繰り返さ
れる。

【０１３４】ステップＳ１６１において、サブウィンド
ウ１６１が表示中であると判断された場合、ステップＳ
１６２において、画像受理部９１は、入力部３１から入
力される画像データを取り込み、その画像データを判断
部１４２に出力する。

【０１３５】ステップＳ１６３において、判断部１４２
は、サブウィンドウ１６１の画像表示部１６３に、入力
された画像データを表示させるための制御信号を生成
し、入力された画像データとともに、ウィンドウ処理部
３５に出力する。ウィンドウ処理部３５は、入力された
制御信号に従って、サブウィンドウ１６１の画像表示部
１６３に、入力された画像データを表示させる。そし
て、処理は、図３０のステップＳ１２３に戻り、それ以
降の処理が繰り返される。

【０１３６】次に、図３４を参照して、図３０を用いて
説明したマルチモーダル入力プログラム１４１の処理の
具体的な例について説明する。

【０１３７】図３０のステップＳ１の処理により、図３
１（Ａ）のメインウィンドウ１５１が表示される。そし
て、ユーザが、サブウィンドウ表示ボタン１５２−１を
選択した場合、ステップＳ１２３において、サブウィン
ドウ表示ボタンが選択されたと判断され、ステップＳ１
２４において、図３１を用いて説明したサブウィンドウ
表示ボタン選択処理が実行されるので、ステップＳ１４
１において、フォーカスウィンドウスタックの先頭にメ
インウィンドウ１５１のウィンドウＩＤが保存され、ス
テップＳ１４２において、サブウィンドウ１６１が表示
され、ステップＳ１４３において、サブウィンドウ１６
１にフォーカスが設定され、ステップＳ１４４におい
て、図３４（Ｂ）に示すように、ガイダンス表示部１６
２に、選択されたサブウィンドウ表示ボタンに対応する
メッセージである「カメラに向かって、喜びの表情を見
せてください。ボタンを離すとシャッターが切れます」
と表示されたサブウィンドウ１６１が表示される。

【０１３８】そして、次のインターバルタイマのイベン
トの発生タイミングに、ステップＳ１２７において、イ
ンターバルタイマのイベントが発生したと判断され、ス
テップＳ１２８において、図３３を用いて説明したイン
ターバルタイマ処理が実行され、ステップＳ１６１にお
いて、サブウィンドウ１６１が表示されていると判断さ
れるので、ステップＳ１６２において、入力部３１か
ら、ユーザの画像が取り込まれ、ステップＳ１６３にお
いて、現在の入力画像が画像表示部１６３に表示される
ので、図３４（Ｃ）に示す表示画面が得られる。

【０１３９】そして、ユーザは、図３４（Ｃ）に示され
る画像表示部１６３の画像を参照して、表示されている
画像を登録しようと判断した任意のタイミングで、サブ
ウィンドウ表示ボタンの選択を解除する。そして、図３
０のステップＳ１２５において、サブウィンドウ表示ボ
タンの選択が解除されたと判断され、ステップＳ１２６
において、図３２を用いて説明したサブウィンドウ表示
ボタン選択解除処理が実行される。すなわち、ステップ
Ｓ１５１において、現在のフォーカスウィンドウである
サブウィンドウ１６１が消去され、ステップＳ１５２に
おいて、フォーカスウィンドウスタックの先頭にＩＤが
記録されているメインウィンドウ１５１にフォーカスが
設定され、ステップＳ１５３において、現在の入力画像
がフォーカスウィンドウであるメインウィンドウ１５１
の結果表示ボックス１５３−１に表示され、図３４
（Ｄ）に示す表示画面が得られる。

【０１４０】以上説明したように、本発明の実施の形態
１乃至３においては、メインウィンドウのウィンドウの
操作中に、サブウィンドウを介して、データの入力を可
能とし、データの入力が正しく認識された場合、ユーザ
が新たに操作することなしにサブウィンドウを消去し
て、メインウィンドウにフォーカスを設定し、かつ、サ
ブウィンドウを介して入力されたデータを、メインウィ
ンドウに表示することができる。

【０１４１】

【発明の効果】本発明の情報処理装置によれば、第１の
ウィンドウに対する操作が終了した場合、第２のウィン
ドウの表示を消去し、第２のウィンドウが消去される場
合、入力された情報があれば、その情報を第１のウィン
ドウに表示することにより、マルチモーダル入力を用い
た情報入力において、自動的にフォーカスウィンドウの
設定変更を行い、必要な情報を表示させることができ
る。

【図面の簡単な説明】

【図１】本発明を適応したパーソナルコンピュータの構
成を示すブロック図である。

【図２】マルチモーダル入力プログラムが起動された場
合の、パーソナルコンピュータの機能ブロック図であ
る。

【図３】マルチモーダル入力プログラムの機能ブロック
図である。

【図４】メインウィンドウを説明するための図である。

【図５】サブウィンドウを説明するための図である。

【図６】サブウィンドウを説明するための図である。

【図７】フォーカスウィンドウスタックを説明するため
の図である。

【図８】マルチモーダル入力プログラムの処理を説明す
るためのフローチャートである。

【図９】サブウィンドウ表示ボタン選択処理を説明する
ためのフローチャートである。

【図１０】サブウィンドウ表示ボタン選択解除処理を説
明するためのフローチャートである。

【図１１】音声信号入力受理処理を説明するためのフロ
ーチャートである。

【図１２】サブウィンドウ消去ボタン選択解除処理を説
明するためのフローチャートである。

【図１３】結果候補ボタン選択処理を説明するためのフ
ローチャートである。

【図１４】第１の実施の形態において実施される処理の
具体例を説明するための図である。

【図１５】第１の実施の形態において実施される処理の
具体例を説明するための図である。

【図１６】本発明を適応したパーソナルコンピュータの
構成を示すブロック図である。

【図１７】マルチモーダル入力プログラムが起動された
場合の、パーソナルコンピュータの機能ブロック図であ
る。

【図１８】マルチモーダル入力プログラムの機能ブロッ
ク図である。

【図１９】サブウィンドウを説明するための図である。

【図２０】マルチモーダル入力プログラムの処理を説明
するためのフローチャートである。

【図２１】サブウィンドウ表示ボタン選択処理を説明す
るためのフローチャートである。

【図２２】サブウィンドウ表示ボタン選択解除処理を説
明するためのフローチャートである。

【図２３】インターバルタイマ処理を説明するためのフ
ローチャートである。

【図２４】第２の実施の形態において実施される処理の
具体例を説明するための図である。

【図２５】本発明を適応したパーソナルコンピュータの
構成を示すブロック図である。

【図２６】マルチモーダル入力プログラムが起動された
場合の、パーソナルコンピュータの機能ブロック図であ
る。

【図２７】マルチモーダル入力プログラムの機能ブロッ
ク図である。

【図２８】メインウィンドウを説明するための図であ
る。

【図２９】サブウィンドウを説明するための図である。

【図３０】マルチモーダル入力プログラムの処理を説明
するためのフローチャートである。

【図３１】サブウィンドウ表示ボタン選択処理を説明す
るためのフローチャートである。

【図３２】サブウィンドウ表示ボタン選択解除処理を説
明するためのフローチャートである。

【図３３】インターバルタイマ処理を説明するためのフ
ローチャートである。

【図３４】第３の実施の形態において実施される処理の
具体例を説明するための図である。

【符号の説明】

１３タッチパネル１４音声入力部１９表示部２２マルチモーダル入力プログラム３１入力部３２ＧＵＩ認識部３３音声認識部３４判断部３５ウィンドウ処理部４１メインウィンドウ５１サブウィンドウ７１画像入力部８１マルチモーダル入力プログラム９１画像受理部９２視線検知部１０１サブウィンドウ１４１マルチモーダル入力プログラム１４２判断部１５１メインウィンドウ１６１サブウィンドウ

Claims

【特許請求の範囲】

【請求項１】第１のウィンドウおよび第２のウィンド
ウを表示する表示手段と、前記第１のウィンドウに対して、ユーザが操作を行う操
作手段と、前記第２のウィンドウに対して、ユーザが情報を入力す
るための入力手段と、前記操作手段および前記入力手段からの信号を受け、前
記第１のウィンドウおよび前記第２のウィンドウの表示
を制御する表示制御手段とを備え、前記表示制御手段は、前記操作手段による前記第１のウィンドウに対する操作
が終了した場合、前記第２のウィンドウを前記表示手段
から消去するように前記表示手段を制御し、前記第２のウィンドウが消去される場合、前記入力手段
により入力された前記情報があれば、前記第１のウィン
ドウに前記情報を表示させるように、前記表示手段を制
御することを特徴とする情報処理装置。
【請求項２】前記入力手段は、音声の入力により、前
記第２のウィンドウに対する前記情報の入力を受けるこ
とを特徴とする請求項１に記載の情報処理装置。
【請求項３】前記入力手段は、ユーザの視線を検知す
ることにより、前記第２のウィンドウに対する前記情報
の入力を受けることを特徴とする請求項１に記載の情報
処理装置。
【請求項４】前記入力手段は、カメラによって、ユー
ザの像を撮像することにより、前記第２のウィンドウに
対する前記情報の入力を受けることを特徴とする請求項
１に記載の情報処理装置。