JP2004054811A - 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 - Google Patents
入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004054811A JP2004054811A JP2002214691A JP2002214691A JP2004054811A JP 2004054811 A JP2004054811 A JP 2004054811A JP 2002214691 A JP2002214691 A JP 2002214691A JP 2002214691 A JP2002214691 A JP 2002214691A JP 2004054811 A JP2004054811 A JP 2004054811A
- Authority
- JP
- Japan
- Prior art keywords
- gui
- character string
- input display
- voice
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】音声操作不可能なＧＵＩに対し、音声操作によりデータ入力を可能とし、さらにＧＵＩのキャプション等の文字列属性を容易に変更可能とする。
【解決手段】ボタンの文字列及びドロップダウンリストの内容に汎用性を持たせるため、初期設定部１５１が外部ファイル１５２から文字列を読み込み、ＧＵＩ Ａ（ボタン）及びＧＵＩ Ｂ（コンボボックス）の各文字列属性設定部１５３，１５４に設定する。これにより、音声操作困難なＧＵＩ Ｂに対して、音声操作可能なＧＵＩ Ａを隣接して表示モニタ４に表示する。次に、ボタンの文字列を発声すると、音声認識処理部１３が文字列を認識し、イベント処理部１５５がドロップダウンリストの表示メッセージをＧＵＩ Ｂに送信する。このメッセージに応じ、イベント処理部１５６はドロップダウンリストを表示する。このようにＧＵＩ Ａ，Ｂと連携させ、音声入力を可能とする。
【選択図】 図４
【解決手段】ボタンの文字列及びドロップダウンリストの内容に汎用性を持たせるため、初期設定部１５１が外部ファイル１５２から文字列を読み込み、ＧＵＩ Ａ（ボタン）及びＧＵＩ Ｂ（コンボボックス）の各文字列属性設定部１５３，１５４に設定する。これにより、音声操作困難なＧＵＩ Ｂに対して、音声操作可能なＧＵＩ Ａを隣接して表示モニタ４に表示する。次に、ボタンの文字列を発声すると、音声認識処理部１３が文字列を認識し、イベント処理部１５５がドロップダウンリストの表示メッセージをＧＵＩ Ｂに送信する。このメッセージに応じ、イベント処理部１５６はドロップダウンリストを表示する。このようにＧＵＩ Ａ，Ｂと連携させ、音声入力を可能とする。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、音声操作対応のＧＵＩ技術に関し、音声操作困難なＧＵＩに対して、音声操作可能なＧＵＩを連携させることにより、適切なデータの音声入力を可能とした入力表示方法及び装置に関するものである。
【０００２】
【従来の技術】
屋外、屋内作業において現場作業者がウェアラブルＰＣ（パーソナルコンピュータ）やモバイルＰＣによって電子マニュアル閲覧および現場情報収集等を行い、作業を効率化することが望まれている。現場作業では、両手で作業を行うことからキーボードおよび、通常のマウスを使用したデータ入力は困難である。そういった状況下では、音声によるＰＣ操作およびデータ入力が有効である。
【０００３】
オフィスでキーボードやマウス等を使用する前提で設計されたＰＣのＧＵＩでは、ユーザは画面上のボタンや記号等をマウスでクリックして操作を行う。一方、音声によりＰＣのオペレーションを行う場合、一般的には音声認識ソフトウェアが画面上のボタン等のＧＵＩにおける表示文字列を認識対象としてユーザが発声した音声とマッチングを取り、マッチングが取れた文字列を持つＧＵＩに対してクリック操作と等価な処理を実行する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来のマウス操作等を前提としたＧＵＩでは、音声によるＰＣ操作およびデータ入力が困難な場合が多々ある。すなわち、従来の音声操作では、画面上に表示可能な文字列をもつインタフェースに対してのみ行われるため、音声操作の対象としての表示文字列を持たない、あるいは文字列ではなく矢印等の記号が表示されている部分をクリックすることによって標準動作を行うＧＵＩに対しては、そのままでは音声操作は困難な場合がある。
【０００５】
例えば、コンボボックス等のドロップダウンリスト（ＧＵＩ上のプルダウンメニューは、コンボボックスやドロップダウンリストなどと呼称される）において候補文字列を表示するＧＵＩは、音声操作の対象としての表示文字列を持たないので、そのままでは音声操作によりドロップダウンリストを表示することは困難である。また、例えば、コンボボックス等のように文字列ではなく表示矢印記号の部分をクリックしてドロップダウンリストを表示させるＧＵＩでも、同様に音声操作は困難である。このように、キーボードやマウスの使用を前提としたＧＵＩを通常配置しただけでは、音声操作によってデータ入力を行うことは困難な場合がある。
【０００６】
以上のように、従来のキーボードやマウスを使用することを前提としたＧＵＩを用いる入力方式では、音声操作による入力を考慮していないために、音声操作によるデータ入力が困難な場合があるという問題を有していた。また、ＧＵＩの文字列は固定的に設定され、容易に変更できないという問題も有していた。
【０００７】
本発明は、これらの問題を解決し、音声操作対応ＧＵＩ技術において、音声操作不可能なインタフェースに対して、音声操作可能なインタフェースと隣接、連携させることで、音声操作によりデータ入力を可能とする手法を提供することが課題である。さらには、ＧＵＩのキャプション等文字列属性を容易に変更可能なように、外部ファイルを読み込み設定する構造を提供することが課題である。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、ＧＵＩ（グラフィカルユーザインタフェース）に対し制御手段により音声操作する入力表示方法であって、第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する手順と、前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示手段により表示する表示手順と、前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を音声認識手段により認識する認識手順と、前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする手順と、前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする手順と、を有することを特徴とする入力表示方法を解決の手段とする。
【０００９】
あるいは、前記設定手順では、外部ファイルに記述された文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定することを特徴とする入力表示方法を解決の手段とする。
【００１０】
あるいは、前記設定手順では、発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定し、前記表示手順では、表示手段により前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示することを特徴とする入力表示方法を解決の手段とする。
【００１１】
あるいは、ＧＵＩに対し制御手段により音声操作する入力表示装置であって、制御手段は、第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する設定手段と、前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示する表示手段と、前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を認識する音声認識手段と、前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする第１のイベント処理手段と、前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする第２のイベント処理手段と、を有することを特徴とする入力表示装置を解決の手段とする。
【００１２】
あるいは、前記設定手段は、外部ファイルに記述された記号または文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定するものであることを特徴とする入力表示装置を解決の手段とする。
【００１３】
あるいは、前記設定手段は、発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定するものであり、前記表示手段は、前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示するものであることを特徴とする入力表示装置を解決の手段とする。
【００１４】
あるいは、上記の入力表示方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする入力表示プログラムを解決の手段とする。
【００１５】
あるいは、上記の入力表示方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする入力表示プログラムを記録した記録媒体を解決の手段とする。
【００１６】
本発明は、音声操作対応ＧＵＩ技術に関し、音声操作困難なＧＵＩに対して、音声操作可能なＧＵＩを隣接表示し、音声操作困難なＧＵＩと連携させることにより、音声によりデータ入力を可能とした点が従来技術とは異なる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１８】
図１に本発明の一実施形態例による、ボタンとコンボボックスを配置した画面例を示す。そして、図２、図３に音声操作により表示されたドロップダウンリストおよび音声操作により定型文書が選択された例を示す。それから、図４に本発明でのシステム構成の一実施形態例を示し、図５に本発明の入力表示方法の一実施形態例による処理フローを示す。図６には、本発明との比較のために画像キャプチャを行うダイアログ上でマウス等の利用を前提とした従来の画面例を示す。なお、図４の音声認識処理部１３には、市販の音声操作ソフトウェアが使用可能である。
【００１９】
図６に示すように、オフィスでキーボードやマウス等を使用する前提で設計されたＧＵＩ上のコンボボックス等では、ユーザは矢印記号が表示されている部分をマウスでクリックしてコンボボックス等のドロップダウンリストを表示させ、その中から必要なものを選択する。しかし、市販の音声認識ソフトウェアにおけるＰＣ操作機能は、ＧＵＩ上の文字列を取得して認識対象とするために、文字列としてＧＵＩに設定されていない部分を音声操作することは困難である。よって、音声操作のみでは、矢印記号表示部をクリックすることは、困難なためドロップダウンリストを表示することはできず、ユーザがコンボボックスから候補を読みあげて選択することは困難であった。
【００２０】
このように、キーボードやマウスによるクリック操作を基本としたＧＵＩ、例えばコンボボックス等を通常配置しただけでは、音声操作のみでデータ入力を行うことは困難であるといった欠点を有していた。
【００２１】
また、図６に示すように、通常のＧＵＩではコンボボックスはタイトルとして設定された文字列をクリックしても何の動作もせず、よってそのままでは音声操作が困難である。
【００２２】
そこで、本発明は、図１に示すようにＧＵＩ Ｂのコンボボックスのタイトルとして音声操作可能な文字列を有するＧＵＩ Ａを用意し、ＧＵＩ Ｂのコンボボックスに隣接配置する（置き換えて配置することも可能である）。これらＧＵＩＡのボタンやＧＵＩ Ｂのコンボボックスの文字列は、汎用性を持たせるために外部ファイルから読み込まれて設定される。ここで、ＧＵＩ Ａのボタンとしては、「対象機器」および「コメント」がそれにあたる。また、音声操作が可能であることを明示するテキスト文字列が、ＧＵＩ Ｂ上に表示される（配置によっては、ＧＵＩ Ａ上、あるいはＧＵＩ Ａ，Ｂが含まれる画面上の他の任意の位置でもよい）。
【００２３】
図４および図５を用いて、本発明による入力表示装置と方法の一実施形態例を説明する。図５は、図４の装置構成の動作例を示している。本実施形態例では、ＰＣ（パーソナルコンピュータ）１を制御手段として、動作させる場合を例とする。
【００２４】
まず、ボタンの文字列およびドロップダウンリストの内容は、汎用性を持たせるためにプログラム処理部１５の初期設定部１５１において外部ファイル１５２から読み込まれ、ＧＵＩ Ａ（ボタン）およびＧＵＩ Ｂ（コンボボックス）の各文字列属性設定部１５３，１５４に設定される。これにより、コンボボックスのタイトルとして音声操作可能な文字列を有するＧＵＩ Ａが用意され、ＧＵＩ Ｂのコンボボックスに隣接配置され、出力制御部１６、ドライバ１７、およびモニタ４を含む表示手段により表示される。これらボタンやドロップダウンリストの文字列は外部ファイル１５２から読み込まれて設定されるため、容易に変更可能となる。また、同様に、音声操作が可能であることを明示するテキスト文字列が、例えば、文字列属性設定部１５４に設定されて、下記によりモニタ４のＧＵＩＢ上に表示される。
【００２５】
次に、音声認識処理部１３（本例では、音声操作ソフトウェア）が起動され、マイク２がＯＮになっているかを、音声操作ソフトウェア１３が、入力制御部１４、プログラム処理部１５、出力制御部１６およびドライバ１７を通してモニタ４に表示するダイアログの有無、そのダイアログのウインドウタイトル文字列から判断する。音声操作ソフトウェア１３が起動され、マイク２がＯＮになっていれば、「各ボタンは音声操作可能です」といった音声操作が可能であることを明示的に説明する文字列をモニタ４に表示する。
【００２６】
次に、この状態で、ボタンＧＵＩであるＧＵＩ Ａの文字列、例えば「対象機器」を読み上げることで、音声操作ソフトウェア１３により音声認識されると、キーボード等の他の入力機器４により「対象機器」ボタンをクリックし、ドライバ１２、入力制御部１４を介してＧＵＩ Ａのイベント処理部１５５にクリック入力したのと等価な動作（イベント処理）がなされる。「対象機器」ボタンがクリックされると、イベント処理部１５５では、この「対象機器」の文字列とイベント処理を対応づけた図略の記憶手段を参照してコンボボックスであるＧＵＩ Ｂのポインタを取得し、ＣＢ＿ＳＨＯＷＤＲＯＰＤＯＷＮというドロップダウンリストを表示するＷｉｎｄｏｗメッセージをＧＵＩ Ｂのイベント処理部１５６に送信する、という「対象機器」の文字列に対応するイベント処理を行う。
【００２７】
ＧＵＩ Ｂのイベント処理部１５６では、ＧＵＩ Ａのイベント処理部１５５から受信したＷｉｎｄｏｗメッセージに応じてドロップダウンリストを表示する（表示例は図２）、というイベント処理を行う。ユーザは選択肢を確認することができるので、その選択肢の中から適合するものを読み上げることで、音声操作ソフトウェア１３により音声認識され選択可能となる（表示例は図３）。
【００２８】
以上で説明したように、本実施形態例では、音声操作により最終的にはドロップダウンリストを表示するが、通常の音声操作とは異なり、音声操作可能なＧＵＩ（ボタン）が直接、ドロップダウンリストにリンクされていない点に特徴がある。
【００２９】
以上の実施形態例によれば、コンボボックスとボタン等のＧＵＩを隣接あるいは置換して配置し、連携させることで、コンボボックス等のＧＵＩの音声操作を可能になり、文字列をタイトルとして有するボタンをクリックするとコンボボックスのドロップダウンリストが表示される構造とすることで、音声操作のみで定型文書の選択が可能になる、という利点が得られる。また、外部ファイルを読み込んで、各ＧＵＩの文字列属性を設定することから、音声操作時に誤認識が生じる文字列等を外部ファイルの編集のみで容易に変更可能となる。さらに、音声操作が可能であることを明示的に示す文字列が追加されることで、音声操作が可能であることをユーザに示すことができる。
【００３０】
なお、図４で示した装置構成におけるＰＣ１の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図５で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように記録媒体あるいは通信回線からプログラムをコンピュータ等の制御手段にインストールすることで、本発明を実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、音声操作不可能なＧＵＩと音声操作可能なＧＵＩを隣接あるいは置換して配置し、連携させるようにしたので、音声操作不可能なＧＵＩの音声操作が可能になる、という利点が得られる。また、外部ファイルを読み込んで、各ＧＵＩの文字列を設定するようにしたので、音声操作時に誤認識が生じる文字列を外部ファイルの編集のみで容易に変更可能になる、という利点が得られる。さらに、音声操作が可能であることを明示的に示す文字列を追加して表示するようにしたので、音声操作不可能なＧＵＩにおいて、音声操作が可能であることをユーザに示すことができる。
【図面の簡単な説明】
【図１】本発明を適用した画面例を示す図である。
【図２】音声認識によりコンボボックスのドロップダウンリストを表示した例を示す図である。
【図３】表示されたドロップダウンリストから定型文書を選択した例を示す図である。
【図４】本発明のシステム構成を示す図である。
【図５】本発明の処理フローを示す図である。
【図６】従来の画面例を示す図である。
【符号の説明】
１…ＰＣ
１１…ドライバ（マイク用）
１２…ドライバ（他の入力機器用）
１３…音声認識処理部
１４…入力制御部
１５…プログラム処理部
１５１…初期設定部
１５２…外部ファイル
１５３…文字列属性設定部（ＧＵＩ Ａ）
１５４…文字列属性設定部（ＧＵＩ Ｂ）
１５５…イベント処理部（ＧＵＩ Ａ）
１５６…イベント処理部（ＧＵＩ Ｂ）
１６…出力制御部
１７…ドライバ（モニタ用）
２…マイク
３…他の入力機器
４…モニタ
【発明の属する技術分野】
本発明は、音声操作対応のＧＵＩ技術に関し、音声操作困難なＧＵＩに対して、音声操作可能なＧＵＩを連携させることにより、適切なデータの音声入力を可能とした入力表示方法及び装置に関するものである。
【０００２】
【従来の技術】
屋外、屋内作業において現場作業者がウェアラブルＰＣ（パーソナルコンピュータ）やモバイルＰＣによって電子マニュアル閲覧および現場情報収集等を行い、作業を効率化することが望まれている。現場作業では、両手で作業を行うことからキーボードおよび、通常のマウスを使用したデータ入力は困難である。そういった状況下では、音声によるＰＣ操作およびデータ入力が有効である。
【０００３】
オフィスでキーボードやマウス等を使用する前提で設計されたＰＣのＧＵＩでは、ユーザは画面上のボタンや記号等をマウスでクリックして操作を行う。一方、音声によりＰＣのオペレーションを行う場合、一般的には音声認識ソフトウェアが画面上のボタン等のＧＵＩにおける表示文字列を認識対象としてユーザが発声した音声とマッチングを取り、マッチングが取れた文字列を持つＧＵＩに対してクリック操作と等価な処理を実行する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来のマウス操作等を前提としたＧＵＩでは、音声によるＰＣ操作およびデータ入力が困難な場合が多々ある。すなわち、従来の音声操作では、画面上に表示可能な文字列をもつインタフェースに対してのみ行われるため、音声操作の対象としての表示文字列を持たない、あるいは文字列ではなく矢印等の記号が表示されている部分をクリックすることによって標準動作を行うＧＵＩに対しては、そのままでは音声操作は困難な場合がある。
【０００５】
例えば、コンボボックス等のドロップダウンリスト（ＧＵＩ上のプルダウンメニューは、コンボボックスやドロップダウンリストなどと呼称される）において候補文字列を表示するＧＵＩは、音声操作の対象としての表示文字列を持たないので、そのままでは音声操作によりドロップダウンリストを表示することは困難である。また、例えば、コンボボックス等のように文字列ではなく表示矢印記号の部分をクリックしてドロップダウンリストを表示させるＧＵＩでも、同様に音声操作は困難である。このように、キーボードやマウスの使用を前提としたＧＵＩを通常配置しただけでは、音声操作によってデータ入力を行うことは困難な場合がある。
【０００６】
以上のように、従来のキーボードやマウスを使用することを前提としたＧＵＩを用いる入力方式では、音声操作による入力を考慮していないために、音声操作によるデータ入力が困難な場合があるという問題を有していた。また、ＧＵＩの文字列は固定的に設定され、容易に変更できないという問題も有していた。
【０００７】
本発明は、これらの問題を解決し、音声操作対応ＧＵＩ技術において、音声操作不可能なインタフェースに対して、音声操作可能なインタフェースと隣接、連携させることで、音声操作によりデータ入力を可能とする手法を提供することが課題である。さらには、ＧＵＩのキャプション等文字列属性を容易に変更可能なように、外部ファイルを読み込み設定する構造を提供することが課題である。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、ＧＵＩ（グラフィカルユーザインタフェース）に対し制御手段により音声操作する入力表示方法であって、第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する手順と、前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示手段により表示する表示手順と、前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を音声認識手段により認識する認識手順と、前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする手順と、前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする手順と、を有することを特徴とする入力表示方法を解決の手段とする。
【０００９】
あるいは、前記設定手順では、外部ファイルに記述された文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定することを特徴とする入力表示方法を解決の手段とする。
【００１０】
あるいは、前記設定手順では、発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定し、前記表示手順では、表示手段により前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示することを特徴とする入力表示方法を解決の手段とする。
【００１１】
あるいは、ＧＵＩに対し制御手段により音声操作する入力表示装置であって、制御手段は、第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する設定手段と、前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示する表示手段と、前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を認識する音声認識手段と、前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする第１のイベント処理手段と、前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする第２のイベント処理手段と、を有することを特徴とする入力表示装置を解決の手段とする。
【００１２】
あるいは、前記設定手段は、外部ファイルに記述された記号または文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定するものであることを特徴とする入力表示装置を解決の手段とする。
【００１３】
あるいは、前記設定手段は、発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定するものであり、前記表示手段は、前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示するものであることを特徴とする入力表示装置を解決の手段とする。
【００１４】
あるいは、上記の入力表示方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする入力表示プログラムを解決の手段とする。
【００１５】
あるいは、上記の入力表示方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする入力表示プログラムを記録した記録媒体を解決の手段とする。
【００１６】
本発明は、音声操作対応ＧＵＩ技術に関し、音声操作困難なＧＵＩに対して、音声操作可能なＧＵＩを隣接表示し、音声操作困難なＧＵＩと連携させることにより、音声によりデータ入力を可能とした点が従来技術とは異なる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１８】
図１に本発明の一実施形態例による、ボタンとコンボボックスを配置した画面例を示す。そして、図２、図３に音声操作により表示されたドロップダウンリストおよび音声操作により定型文書が選択された例を示す。それから、図４に本発明でのシステム構成の一実施形態例を示し、図５に本発明の入力表示方法の一実施形態例による処理フローを示す。図６には、本発明との比較のために画像キャプチャを行うダイアログ上でマウス等の利用を前提とした従来の画面例を示す。なお、図４の音声認識処理部１３には、市販の音声操作ソフトウェアが使用可能である。
【００１９】
図６に示すように、オフィスでキーボードやマウス等を使用する前提で設計されたＧＵＩ上のコンボボックス等では、ユーザは矢印記号が表示されている部分をマウスでクリックしてコンボボックス等のドロップダウンリストを表示させ、その中から必要なものを選択する。しかし、市販の音声認識ソフトウェアにおけるＰＣ操作機能は、ＧＵＩ上の文字列を取得して認識対象とするために、文字列としてＧＵＩに設定されていない部分を音声操作することは困難である。よって、音声操作のみでは、矢印記号表示部をクリックすることは、困難なためドロップダウンリストを表示することはできず、ユーザがコンボボックスから候補を読みあげて選択することは困難であった。
【００２０】
このように、キーボードやマウスによるクリック操作を基本としたＧＵＩ、例えばコンボボックス等を通常配置しただけでは、音声操作のみでデータ入力を行うことは困難であるといった欠点を有していた。
【００２１】
また、図６に示すように、通常のＧＵＩではコンボボックスはタイトルとして設定された文字列をクリックしても何の動作もせず、よってそのままでは音声操作が困難である。
【００２２】
そこで、本発明は、図１に示すようにＧＵＩ Ｂのコンボボックスのタイトルとして音声操作可能な文字列を有するＧＵＩ Ａを用意し、ＧＵＩ Ｂのコンボボックスに隣接配置する（置き換えて配置することも可能である）。これらＧＵＩＡのボタンやＧＵＩ Ｂのコンボボックスの文字列は、汎用性を持たせるために外部ファイルから読み込まれて設定される。ここで、ＧＵＩ Ａのボタンとしては、「対象機器」および「コメント」がそれにあたる。また、音声操作が可能であることを明示するテキスト文字列が、ＧＵＩ Ｂ上に表示される（配置によっては、ＧＵＩ Ａ上、あるいはＧＵＩ Ａ，Ｂが含まれる画面上の他の任意の位置でもよい）。
【００２３】
図４および図５を用いて、本発明による入力表示装置と方法の一実施形態例を説明する。図５は、図４の装置構成の動作例を示している。本実施形態例では、ＰＣ（パーソナルコンピュータ）１を制御手段として、動作させる場合を例とする。
【００２４】
まず、ボタンの文字列およびドロップダウンリストの内容は、汎用性を持たせるためにプログラム処理部１５の初期設定部１５１において外部ファイル１５２から読み込まれ、ＧＵＩ Ａ（ボタン）およびＧＵＩ Ｂ（コンボボックス）の各文字列属性設定部１５３，１５４に設定される。これにより、コンボボックスのタイトルとして音声操作可能な文字列を有するＧＵＩ Ａが用意され、ＧＵＩ Ｂのコンボボックスに隣接配置され、出力制御部１６、ドライバ１７、およびモニタ４を含む表示手段により表示される。これらボタンやドロップダウンリストの文字列は外部ファイル１５２から読み込まれて設定されるため、容易に変更可能となる。また、同様に、音声操作が可能であることを明示するテキスト文字列が、例えば、文字列属性設定部１５４に設定されて、下記によりモニタ４のＧＵＩＢ上に表示される。
【００２５】
次に、音声認識処理部１３（本例では、音声操作ソフトウェア）が起動され、マイク２がＯＮになっているかを、音声操作ソフトウェア１３が、入力制御部１４、プログラム処理部１５、出力制御部１６およびドライバ１７を通してモニタ４に表示するダイアログの有無、そのダイアログのウインドウタイトル文字列から判断する。音声操作ソフトウェア１３が起動され、マイク２がＯＮになっていれば、「各ボタンは音声操作可能です」といった音声操作が可能であることを明示的に説明する文字列をモニタ４に表示する。
【００２６】
次に、この状態で、ボタンＧＵＩであるＧＵＩ Ａの文字列、例えば「対象機器」を読み上げることで、音声操作ソフトウェア１３により音声認識されると、キーボード等の他の入力機器４により「対象機器」ボタンをクリックし、ドライバ１２、入力制御部１４を介してＧＵＩ Ａのイベント処理部１５５にクリック入力したのと等価な動作（イベント処理）がなされる。「対象機器」ボタンがクリックされると、イベント処理部１５５では、この「対象機器」の文字列とイベント処理を対応づけた図略の記憶手段を参照してコンボボックスであるＧＵＩ Ｂのポインタを取得し、ＣＢ＿ＳＨＯＷＤＲＯＰＤＯＷＮというドロップダウンリストを表示するＷｉｎｄｏｗメッセージをＧＵＩ Ｂのイベント処理部１５６に送信する、という「対象機器」の文字列に対応するイベント処理を行う。
【００２７】
ＧＵＩ Ｂのイベント処理部１５６では、ＧＵＩ Ａのイベント処理部１５５から受信したＷｉｎｄｏｗメッセージに応じてドロップダウンリストを表示する（表示例は図２）、というイベント処理を行う。ユーザは選択肢を確認することができるので、その選択肢の中から適合するものを読み上げることで、音声操作ソフトウェア１３により音声認識され選択可能となる（表示例は図３）。
【００２８】
以上で説明したように、本実施形態例では、音声操作により最終的にはドロップダウンリストを表示するが、通常の音声操作とは異なり、音声操作可能なＧＵＩ（ボタン）が直接、ドロップダウンリストにリンクされていない点に特徴がある。
【００２９】
以上の実施形態例によれば、コンボボックスとボタン等のＧＵＩを隣接あるいは置換して配置し、連携させることで、コンボボックス等のＧＵＩの音声操作を可能になり、文字列をタイトルとして有するボタンをクリックするとコンボボックスのドロップダウンリストが表示される構造とすることで、音声操作のみで定型文書の選択が可能になる、という利点が得られる。また、外部ファイルを読み込んで、各ＧＵＩの文字列属性を設定することから、音声操作時に誤認識が生じる文字列等を外部ファイルの編集のみで容易に変更可能となる。さらに、音声操作が可能であることを明示的に示す文字列が追加されることで、音声操作が可能であることをユーザに示すことができる。
【００３０】
なお、図４で示した装置構成におけるＰＣ１の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図５で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように記録媒体あるいは通信回線からプログラムをコンピュータ等の制御手段にインストールすることで、本発明を実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、音声操作不可能なＧＵＩと音声操作可能なＧＵＩを隣接あるいは置換して配置し、連携させるようにしたので、音声操作不可能なＧＵＩの音声操作が可能になる、という利点が得られる。また、外部ファイルを読み込んで、各ＧＵＩの文字列を設定するようにしたので、音声操作時に誤認識が生じる文字列を外部ファイルの編集のみで容易に変更可能になる、という利点が得られる。さらに、音声操作が可能であることを明示的に示す文字列を追加して表示するようにしたので、音声操作不可能なＧＵＩにおいて、音声操作が可能であることをユーザに示すことができる。
【図面の簡単な説明】
【図１】本発明を適用した画面例を示す図である。
【図２】音声認識によりコンボボックスのドロップダウンリストを表示した例を示す図である。
【図３】表示されたドロップダウンリストから定型文書を選択した例を示す図である。
【図４】本発明のシステム構成を示す図である。
【図５】本発明の処理フローを示す図である。
【図６】従来の画面例を示す図である。
【符号の説明】
１…ＰＣ
１１…ドライバ（マイク用）
１２…ドライバ（他の入力機器用）
１３…音声認識処理部
１４…入力制御部
１５…プログラム処理部
１５１…初期設定部
１５２…外部ファイル
１５３…文字列属性設定部（ＧＵＩ Ａ）
１５４…文字列属性設定部（ＧＵＩ Ｂ）
１５５…イベント処理部（ＧＵＩ Ａ）
１５６…イベント処理部（ＧＵＩ Ｂ）
１６…出力制御部
１７…ドライバ（モニタ用）
２…マイク
３…他の入力機器
４…モニタ
Claims (8)
- グラフィカルユーザインタフェース（以下、ＧＵＩ）に対し制御手段により音声操作する入力表示方法であって、
第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する手順と、
前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示手段により表示する表示手順と、
前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を音声認識手段により認識する認識手順と、
前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする手順と、
前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする手順と、を有する
ことを特徴とする入力表示方法。 - 前記設定手順では、
外部ファイルに記述された文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定する
ことを特徴とする請求項１に記載された入力表示方法。 - 前記設定手順では、
発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定し、
前記表示手順では、
表示手段により前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示する
ことを特徴とする請求項１または２に記載された入力表示方法。 - ＧＵＩに対し制御手段により音声操作する入力表示装置であって、
制御手段は、
第２のＧＵＩに含まれる画面上に表示される記号または文字列に対応して音声認識対象の文字列を第１のＧＵＩに初期設定する設定手段と、
前記第１のＧＵＩの文字列を前記画面上の第２のＧＵＩに含まれる記号または文字列に隣接して、または置き換えて配置し、表示する表示手段と、
前記第１のＧＵＩの文字列に相当する発声から該第１のＧＵＩの文字列を認識する音声認識手段と、
前記認識された文字列により、この文字列とイベント処理とを対応づけて記憶させた記憶手段を用いて、この文字列に対応する第１のイベント処理をする第１のイベント処理手段と、
前記第１のイベント処理により前記第２のＧＵＩに対する第２のイベント処理をする第２のイベント処理手段と、を有する
ことを特徴とする入力表示装置。 - 前記設定手段は、
外部ファイルに記述された記号または文字列を読み込み、前記第１のＧＵＩの文字列を、あるいは第２のＧＵＩの文字列を設定するものである
ことを特徴とする請求項４に記載された入力表示装置。 - 前記設定手段は、
発声の認識が有効である場合、第１のＧＵＩの文字列を発声することにより第２のＧＵＩに対する第２のイベント処理が可能であることを明示的に説明する文字列を第１のＧＵＩまたは第２のＧＵＩに設定するものであり、
前記表示手段は、
前記説明する文字列を前記第１および第２のＧＵＩが含まれる画面上に表示するものである
ことを特徴とする請求項４または５に記載された入力表示装置。 - 請求項１ないし３のいずれかに記載の入力表示方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする入力表示プログラム。 - 請求項１ないし３のいずれかに記載の入力表示方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする入力表示プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002214691A JP4015495B2 (ja) | 2002-07-24 | 2002-07-24 | 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002214691A JP4015495B2 (ja) | 2002-07-24 | 2002-07-24 | 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004054811A true JP2004054811A (ja) | 2004-02-19 |
| JP4015495B2 JP4015495B2 (ja) | 2007-11-28 |
Family
ID=31936916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002214691A Expired - Lifetime JP4015495B2 (ja) | 2002-07-24 | 2002-07-24 | 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015495B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172435A (ja) * | 2004-12-14 | 2006-06-29 | Microsoft Corp | セマンティックキャンバス |
| JP2007080242A (ja) * | 2005-08-15 | 2007-03-29 | Kobe Steel Ltd | 情報処理装置及びそのプログラム |
| US7707501B2 (en) | 2005-08-10 | 2010-04-27 | International Business Machines Corporation | Visual marker for speech enabled links |
| US8150798B2 (en) | 2006-10-10 | 2012-04-03 | Wells Fargo Bank, N.A. | Method and system for automated coordination and organization of electronic communications in enterprises |
| JP7353806B2 (ja) | 2019-06-07 | 2023-10-02 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
-
2002
- 2002-07-24 JP JP2002214691A patent/JP4015495B2/ja not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172435A (ja) * | 2004-12-14 | 2006-06-29 | Microsoft Corp | セマンティックキャンバス |
| US7707501B2 (en) | 2005-08-10 | 2010-04-27 | International Business Machines Corporation | Visual marker for speech enabled links |
| JP2007080242A (ja) * | 2005-08-15 | 2007-03-29 | Kobe Steel Ltd | 情報処理装置及びそのプログラム |
| US8150798B2 (en) | 2006-10-10 | 2012-04-03 | Wells Fargo Bank, N.A. | Method and system for automated coordination and organization of electronic communications in enterprises |
| JP7353806B2 (ja) | 2019-06-07 | 2023-10-02 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4015495B2 (ja) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101120756B1 (ko) | 사용자 인터페이스 상에서의 사용자 액션을 설명하는텍스트를 자동으로 생성하는 시스템, 방법 및 그 컴퓨터실행가능 명령어를 포함하는 컴퓨터 판독가능 매체 | |
| JP3725566B2 (ja) | 音声認識インターフェース | |
| KR101087312B1 (ko) | 자동으로 생성된 콘텐츠의 임포테이션 | |
| JP4006395B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
| US7962344B2 (en) | Depicting a speech user interface via graphical elements | |
| JP2007171809A (ja) | 情報処理装置及び情報処理方法 | |
| US6499015B2 (en) | Voice interaction method for a computer graphical user interface | |
| TWI510965B (zh) | 輸入方法編輯器整合 | |
| JP4901731B2 (ja) | コンテンツ生成用の自動画像キャプチャ | |
| CN101998107B (zh) | 信息处理装置、会议系统和信息处理方法 | |
| JP6450768B2 (ja) | オンスクリーンキーボード用クイックタスク | |
| CN101978390A (zh) | 服务启动技术 | |
| KR20050061534A (ko) | 툴-팁 재생 시스템, 툴-팁 디스플레이 방법 및 머신 판독가능 저장 장치 | |
| US11262977B2 (en) | Display control apparatus, display control method, and non-transitory recording medium | |
| JPH1115914A (ja) | 文字データ入力装置およびその方法 | |
| CN106062748A (zh) | 内联和上下文感知查询框 | |
| WO2009141725A1 (en) | System and method for excerpt creation | |
| US8769169B2 (en) | Assistive buffer usage techniques | |
| JP4015495B2 (ja) | 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 | |
| US20060117265A1 (en) | Method for constructing user interface | |
| JP4781186B2 (ja) | ユーザインタフェース提示装置および方法 | |
| JP2010096674A (ja) | 測定装置および測定装置の操作方法 | |
| JP2002351652A (ja) | 音声認識操作支援システム、音声認識操作支援方法、および、音声認識操作支援プログラム | |
| JP2007066077A (ja) | Ｇｕｉ生成方法、ｇｕｉ生成装置、コンピュータプログラム及び記憶媒体 | |
| KR102283360B1 (ko) | 텍스트 편집 위치를 가이드 하는 방법, 장치 및 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4015495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |