JP2003122389A

JP2003122389A - データ処理装置及びプログラム

Info

Publication number: JP2003122389A
Application number: JP2001314212A
Authority: JP
Inventors: Yuka Wajima; 由佳和島
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2001-10-11
Filing date: 2001-10-11
Publication date: 2003-04-25

Abstract

(57)【要約】【課題】本発明の課題は、ユーザが指示操作に関連して
音声入力した任意のキーワードを指示操作に対応付けて
登録しておけば、指示操作命令の全文を音声入力する必
要がなく、そのキーワードを音声入力するだけで、指示
操作を読出してメニュー表示できるようにすることであ
る。【解決手段】ＣＰＵ１ａ、表示部１ｂ、ＲＡＭ１ｃ、入
力部１ｄ、マイク１ｈ、マイク制御部１ｉ、データベー
ス１ｊを具備するデータ処理装置１上で、表示部１ｂ上
のユーザの作業場所を特定し、ユーザの音声をマイク１
ｈから入力しマイク制御部１ｉで音声認識し、音声認識
結果からキーワードを抽出し、当該キーワード及び前記
作業場所が一致する次作業の動作をデータベース１ｊ上
に登録されているキーワードファイルから抽出し、ユー
ザの選択自在に、実行回数順の次作業の動作の一覧を表
示部１ｂへ表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声入力によりデ
ータ処理操作を補助するデータ処理装置及びプログラム
に関する。

【０００２】

【従来の技術】従来、コンピュータ上の音声認識機能が
付加された業務アプリケーションにおいて、業務の起動
に音声認識機能を使用すると、ユーザが起動したい業務
名を読上げることにより起動する方式が存在する。

【０００３】

【発明が解決しようとする課題】しかし、従来の音声認
識機能では業務名を完全に読上げることによって業務を
起動するという、業務名読上げ対業務起動が１対１であ
る利用法か、ユーザが読上げた文章を入力域に反映させ
る機能でしかなかった。例えば、長い名称の業務を起動
する場合、ユーザは起動したい業務名を全て読上げれば
ならず、一度読上げが認識されなかったら、もう一度最
初から読上げる必要があるという問題があった。

【０００４】また、同じ業務名に番号を付加して識別し
ている業務（例えば、売上伝票入力１と売上伝票入力
２）等では、業務名が似てしまう為、誤認識の可能性が
高く、誤認識されて起動してしまったら、わざわざアプ
リケーションを終わらせてから、目的の業務名を認識す
るまで読上げる必要があるという問題があった。

【０００５】本発明の課題は、ユーザが指示操作に関連
して音声入力した任意のキーワードを指示操作に対応付
けて登録しておけば、指示操作命令の全文を音声入力す
る必要がなく、そのキーワードを音声入力するだけで、
指示操作を読出してメニュー表示できるようにすること
である。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
入力音声からキーワードを抽出する抽出手段と、前記抽
出手段により抽出されたキーワードと、音声入力に関連
してユーザが行った指示操作とを対応付けて登録する登
録手段と、前記キーワードが音声入力された際に、その
キーワードと一致するキーワードを前記登録手段から検
索し、当該キーワードに対応づけられた指示操作を読出
してメニュー表示する表示手段と、を具備したことを特
徴としている。

【０００７】従って、ユーザが指示操作に関連して音声
入力した任意のキーワードを指示操作に対応付けて登録
しておけば、指示操作命令の全文を音声入力する必要が
なく、そのキーワードを音声入力するだけで、指示操作
を読出してメニュー表示させることができる。

【０００８】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施の形態を説明する。先ず、図１を参照して装置
的特長を説明する。図１は、本発明の実施の形態のデー
タ処理装置１の内部構成を示すブロック図である。

【０００９】データ処理装置１は、ユーザの音声を認識
してユーザからの指示操作を実行する機能を有するワー
クステーション、デスクトップＰＣ、ノートＰＣ、ＰＤ
Ａ（Personal Digital Assistants）等の装置であるが
これに限られず、例えば携帯電話、ＰＨＳ（Personal H
andyphone System）等でもよい。

【００１０】データ処理装置１は、その内部に、各部の
中央制御を行うＣＰＵ１ａと、管理者への情報を表示す
る表示部１ｂと、情報を一時的に格納するＲＡＭ（Rand
om Access Memory）１ｃと、ユーザの入力を介する入力
部１ｄと、情報を記憶する記憶装置１ｅと、記憶装置１
ｅ内の記録媒体１ｆと、ネットワークとの情報の伝送を
制御する伝送制御部１ｇと、ユーザの音声を認識するマ
イク１ｈと、マイク１ｈを制御するマイク制御部１ｉ
と、キーワードファイルを記憶するデータベース１ｊ
と、ＣＰＵ１ａ、表示部１ｂ、ＲＡＭ１ｃ、入力部１
ｄ、記憶装置１ｅ、伝送制御部１ｇ、マイク制御部１
ｉ、データベース１ｊとを接続するバス１ｋとを接続す
る。

【００１１】ＣＰＵ１ａは、データ処理プログラムを実
行する。ＣＰＵ１ａは、データ処理プログラムの実行に
より、表示部１ｂの画面上に現在アクティブなウィンド
ウがあるかを判別し、現在アクティブなウィンドウのウ
ィンドウの属性、ソフト名、サブウィンドウ名を取得
し、現在アクティブなウィンドウがない場合、デスクト
ップ又はメニュー上を取得し、取得したもののうち適切
なものを現在の作業場所である作業元として作業元メモ
リａ１に記憶し、音声入力を待機して音声入力がある場
合に、マイク１ｈ及びマイク制御部１ｉを介して入力音
声を音声認識し、当該認識結果を認識結果メモリａ２に
記憶する（図６参照）。

【００１２】またＣＰＵ１ａは、認識結果メモリａ２上
の認識結果の認識文字列を分割して接続詞等を削除した
各単語をキーワードとしてキーワード抽出ファイルａ３
に記憶し、キーワード抽出ファイルａ３上の現在のキー
ワード及び作業元メモリａ１上の現在の作業元で一致す
るレコードをキーワードファイルｂから索引し、該当す
るレコードが登録されている場合、当該レコードのキー
ワード及び作業元に対応した次作業の動作、動作の種類
及び実行の回数を索引してカレントキーワードファイル
ａ４に記憶し、回数の多い順に並べ替え、当該回数順の
次作業の動作を次作業一覧として表示部１ｂに表示し、
次作業一覧からユーザによる次作業の選択を待機して選
択があるかを判別する（図７参照）。

【００１３】またＣＰＵ１ａは、次作業の選択がある場
合、選択された次作業を実行し、選択された次作業がウ
ィンドウの切替か、別ソフトの起動、又はサブウィンド
ウ表示かにより作業場所を移動をした場合に、作業元メ
モリａ１を現在の作業場所を新たな作業元として書換
え、キーワードファイルｂ上の選択された次作業に対応
するレコードの回数に１を追加して登録し、当該データ
処理手順を終了する、又は前記音声入力待機へ戻る（図
８参照）。

【００１４】またＣＰＵ１ａは、前記該当するレコード
が登録されていない場合、又は次作業の選択がない場
合、ユーザの入力部１ｂを介した入力による指示操作を
待機して指示操作がある場合、当該指示操作を実行し、
当該指示操作の内容を解析し、現在のキーワード、現在
の作業元、当該指示操作の動作、動作の種類、回数
（１）をカレントキーワードファイルａ４及びキーワー
ドファイルｂに記憶し、当該指示操作がウィンドウの切
替か、別ソフトの起動、又はサブウィンドウ表示かによ
り作業場所を移動をした場合、作業元メモリａ１を指示
操作に書換え、当該データ処理手順の終了する、又は前
記音声入力待機へ戻る（図９参照）。

【００１５】表示部１ｂは、ＣＲＴ（Cathode Ray Tub
e）、又はＬＣＤ（Liquid Crystal Display）等により
構成され、ＣＰＵ１ａから入力される表示指示に従って
各種表示データの画面表示を行う。

【００１６】ＲＡＭ１ｃは、前記プログラム、入力指
示、入力データ及び処理結果等の各種データを、ＣＰＵ
１ａでランダムアクセス展開可能に格納するメモリ領域
を有して、各種状態を記憶するメモリである。

【００１７】入力部１ｄは、カーソルキー、数字入力キ
ー及び各種機能キー等を備えたキーボード及びポインテ
ィングデバイスとしてマウスを含み、キーボードで押下
された押下信号やマウスの位置信号をＣＰＵ１ａに出力
する。

【００１８】記憶装置１ｅは、プログラムやデータなど
が予め記憶されまたは書込み可能な記録媒体１ｆを有
し、記録媒体１ｆは、磁気的、光学的記録媒体、若しく
は半導体等の不揮発性メモリ等のＣＰＵ１ａ読取り可能
な記録媒体で構成されている。記録媒体１ｆは、ハード
ディスク等の記憶装置１ｅに固定的に設けたもの、若し
くはＣＤ−ＲＯＭ、メモリカード等の着脱自在に装着す
る可搬型のものを含む。この記録媒体１ｆには各種処理
プログラム、及びこれらのプログラムで処理する又は処
理されたデータ等の各種データを格納する。

【００１９】ネットワークは、例えばインターネット等
の通信ネットワークであり、ＬＡＮ（Local Area Netwo
rk）又はＷＡＮ（Wide Area Network）を含めてもよ
く、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信
網、通信衛星回線、ＣＡＴＶ回線、光通信回線、無線通
信回線と、それらを接続するインターネットサービスプ
ロバイダや基地局等を含む構成でもよい。

【００２０】また、記録媒体１ｆに記憶されたプログラ
ム、データ等は、その一部若しくは全部を外部機器から
ＬＡＮ、ＷＡＮ等のネットワークを介して伝送制御部１
ｇから受信して格納する構成にしてもよく、また、記録
媒体１ｆ、データベース１ｊはネットワーク上に構築さ
れた外部機器の記録媒体であってもよい。更に、前記各
種プログラムをネットワークを介して外部機器へ送信及
びインストールする構成にしてもよい。

【００２１】伝送制御部１ｇは、ネットワークを介し
て、外部機器との通信を行うためのネットワークカー
ド、モデム、ＴＡ（Terminal Adapter）、ルータ等によ
って構成される。ＲＡＭ１ｃ、記録媒体１ｅ及びデータ
ベース１ｊは、ＣＰＵ１ａの制御により内部データの書
換が可能な構成である。

【００２２】次に、図２〜図５を参照して、データ処理
手順の実行に使用する情報を記憶するメモリ及びファイ
ル、並びにその構成について説明する。図２は、ＲＡＭ
１ｃに記憶するメモリ及びファイル構成を示す図であ
る。図３は、図２におけるキーワード抽出ファイルａ３
の内部構成を示す図である。図４は、図２におけるカレ
ントキーワードファイルａ４の内部構成を示す図であ
る。図５は、データベース１ｊに記憶するキーワードフ
ァイルｂの内部構成を示す図である。

【００２３】図２より、ワークメモリとしてのＲＡＭ１
ｃ上のファイル構成は、表示部１ｂ上の現在の作業をし
ている場所を記憶する作業元メモリａ１と、マイク１ｈ
及びマイク制御部１ｉにより認識されたユーザの音声の
認識結果を記憶する認識結果メモリａ２と、認識結果メ
モリａ２上の認識結果からキーワードを抽出して記憶す
るキーワード抽出ファイルａ３と、現在のキーワード、
現在の作業元及びこれに対応する指示操作の情報を記憶
するカレントキーワードファイルａ４とからなる。

【００２４】図３におけるキーワード抽出ファイルａ３
は、項目として、認識結果メモリａ２上の認識結果から
抽出された各キーワードを記憶する。図４におけるカレ
ントキーワードファイルａ４は、項目として、現在使用
しているキーワードと、データ処理装置１の表示部１ｂ
の指示操作実行前に作業をしている場所を示す作業元
と、ユーザからの指示操作である動作と、当該動作の種
類と、当該動作を実行した回数とを記憶する。

【００２５】図５におけるキーワードファイルｂは、ワ
ークメモリとしてではなく、データベースとして各情報
を格納する。キーワードファイルｂは、項目として、キ
ーワードと、作業元と、動作の種類と、動作と、キーワ
ード及び作業元に関連づけて選択された動作の回数とを
記憶する。

【００２６】次に、図６〜図９を参照してデータ処理を
説明する。図６は、データ処理を示すフローチャートで
あり、図７は、図６に続くデータ処理を示すフローチャ
ートであり、図８は、図７に続くデータ処理を示すフロ
ーチャートであり、図９は、図７に続くデータ処理を示
すフローチャートである。

【００２７】このフローチャートは、データ処理装置１
を構成するコンピュータに各機能を実現させるためのプ
ログラムを説明する為のものである。このプログラム
は、ＣＰＵ１ａが読取可能なプログラムコードの形態で
記録媒体１ｆに格納されている例で説明するが、全ての
機能を記録媒体１ｆに格納する必要は無く、必要に応じ
てその一部若しくは全部をネットワークを介して伝送制
御部１ｇから受信して実現するようにしてもよい。

【００２８】最初に、ユーザが、データ処理装置１上で
表示部１ｂの画面を見て入力部１ｄから各種データ処理
作業を行うにあたり、ＣＰＵ１ａはデータ処理プログラ
ムの実行によってデータ処理を開始する。そして、デー
タ処理装置１のＣＰＵ１ａは、表示部１ｂの画面上に現
在アクティブなウィンドウがあるかを判別する（ステッ
プＳＴ１）。現在アクティブなウィンドウがある場合
（ステップＳＴ１；ＹＥＳ）、ＣＰＵ１ａは、当該現在
アクティブなウィンドウの属性を取得し（ステップＳＴ
２）、当該現在アクティブなウィンドウの上のソフトウ
ェアのソフト名を取得する（ステップＳＴ３）。

【００２９】そして、ＣＰＵ１ａは、現在のアクティブ
なウィンドウがサブウィンドウ上かどうかを判別する
（ステップＳＴ４）。サブウィンドウ上である場合（ス
テップＳＴ４；ＹＥＳ）、ＣＰＵ１ａは、当該サブウィ
ンドウ名を取得する（ステップＳＴ５）。そして、ＣＰ
Ｕ１ａは、ステップＳＴ２で取得したウィンドウの属
性、ステップＳＴ３で取得したソフト名、ステップＳＴ
５で取得したサブウィンドウ名のうちの適切なものを現
在の作業場所である作業元として、ＲＡＭ１ｃ上の作業
元メモリａ１に記憶する（ステップＳＴ６）。

【００３０】サブウィンドウ上でない場合（ステップＳ
Ｔ５；ＮＯ）、ステップＳＴ６へ進む。この場合には、
ステップＳＴ６で、ステップＳＴ２で取得したウィンド
ウの属性及びステップＳＴ３で取得したソフト名のうち
適切なものを作業元として作業元メモリａ１に記憶す
る。現在アクティブなウィンドウがない場合（ステップ
ＳＴ２；ＮＯ）、ＣＰＵ１ａは、デスクトップ又はメニ
ュー上を取得し（ステップＳＴ７）、ステップＳＴ６へ
進む。この場合には、ステップＳＴ６で、ステップＳＴ
７で取得したデスクトップ又はメニュー上を作業元とし
て作業元メモリａ１に記憶する。

【００３１】次に、ＣＰＵ１ａは、マイク制御部１ｉ及
びマイク１ｈをスタンバイしてユーザからの音声入力を
待機する（ステップＳＴ８）。そして、ＣＰＵ１ａは、
音声入力があるかを判別する（ステップＳＴ９）。ここ
では、マイク１ｈからユーザの音声の入力があるかを判
別する。音声入力がない場合（ステップＳＴ９；Ｎ
Ｏ）、ステップＳＴ８へ戻る。

【００３２】音声入力がある場合（ステップＳＴ９；Ｙ
ＥＳ）、ＣＰＵ１ａは、マイク１ｈから入力した入力音
声をマイク制御部１ｉで音声認識して音声データに変換
して認識結果を出力させる（ステップＳＴ１０）。ＣＰ
Ｕ１ａは、マイク制御部１ｉから出力された認識結果を
ＲＡＭ１ｃ上の認識結果メモリａ２に記憶する（ステッ
プＳＴ１１）。

【００３３】そして、ＣＰＵ１ａは、認識結果メモリａ
２上の認識結果の認識文字列を読出す（ステップＳＴ１
２）。そして、ＣＰＵ１ａは、読出した認識文字列を単
語単位に分割し（ステップＳＴ１３）、当該分割した各
単語から接続詞等を削除する（ステップＳＴ１４）。そ
して、当該接続詞等を削除した各単語をキーワードとし
てＲＡＭ１ｃ上のキーワード抽出ファイルａ３に記憶す
る（ステップＳＴ１５）。

【００３４】そして、ＣＰＵ１ａは、キーワード抽出フ
ァイルａ３上の現在のキーワード及び作業元メモリａ１
上の現在の作業元を読出す（ステップＳＴ１６）。そし
て、ＣＰＵ１ａは、キーワード抽出ファイルａ３上の現
在のキーワード及び作業元メモリａ１上の現在の作業元
とで、データベース１ｊ上のキーワードファイルｂのレ
コードを索引する（ステップＳＴ１７）。具体的には、
キーワードファイルｂ上に現在のキーワード及び現在の
作業元の両方が一致するレコードを検索する。

【００３５】そして、ＣＰＵ１ａは、現在のキーワード
及び現在の作業元が一致するレコードがキーワードファ
イル１ｂに登録されているかを判別する（ステップＳＴ
１８）。データが登録されている場合（ステップＳＴ１
８；ＹＥＳ）、ＣＰＵ１ａは、一致したキーワード及び
作業元に対応付けられた次作業を示す動作、動作の種
類、回数の各項目をキーワードファイルｂから索引し、
当該キーワード、当該作業元、当該動作、当該動作の種
類、及び回数をＲＡＭ１ｃ上のカレントキーワードファ
イルａ４に記憶する（ステップＳＴ１９）。

【００３６】そして、ＣＰＵ１ａは、カレントキーワー
ドファイルａ４上の項目である動作を、同じく項目の回
数の回数順に並べ替える（ステップＳＴ２０）。そし
て、ＣＰＵ１ａは、前記回数順の各動作から次作業一覧
を生成し表示部１ｂの表示画面に表示する（ステップＳ
Ｔ２１）。ユーザは、当該次作業一覧を見ることにより
容易に次の作業の候補を知ることができる。

【００３７】そして、ＣＰＵ１ａは、ユーザが次作業一
覧から次作業を選択することを待機し（ステップＳＴ２
２）、次作業の選択があるかを判別する（ステップＳＴ
２３）。具体的には、ユーザが入力部１ｄから次作業の
選択の入力をしたかで判別する。

【００３８】次作業の選択がある場合（ステップＳＴ２
３；ＹＥＳ）、ＣＰＵ１ａは、前記選択された次作業を
実行する（ステップＳＴ２４）。具体的には、カレント
キーワードファイルａ４を参照し、選択された次作業に
対応する動作、及びその動作の種類を用いて次作業を実
行する。そして、ＣＰＵ１ａは、選択された次作業がウ
ィンドウの切替か、別ソフトの起動、又はサブウィンド
ウ表示かにより作業場所を移動をしたかを判別する（ス
テップＳＴ２５）。具体的には、カレントキーワードフ
ァイルａ４を参照し、選択された次作業に対応する動作
の項目を用いて判別する。

【００３９】作業場所を移動した場合（ステップＳＴ２
５；ＹＥＳ）、ＣＰＵ１ａは、ＲＡＭ１ｃ上の作業元メ
モリａ１を当該次作業実行後の作業場所を新たな作業元
として書換る（ステップＳＴ２６）。つまり作業場所の
状態遷移を実行したことになる。そして、ＣＰＵ１ａ
は、キーワードファイルｂ上の選択された次作業に対応
する回数に１を追加して登録する（ステップＳＴ２
７）。具体的には、カレントキーワードファイルａ４を
参照し、選択された次作業の動作に対応する各行のキー
ワード、作業元、動作の種類、回数を読出し、キーワー
ドファイルｂ上で同一のキーワード、作業元、動作、動
作の種類、回数を有するレコードの回数の項目を＋１す
る。作業場所を移動しない場合（ステップＳＴ２５；Ｎ
Ｏ）、ステップＳＴ２７へ進む。

【００４０】そして、ＣＰＵ１ａは、データ処理手順を
終了するかを判別する（ステップＳＴ２８）。終了する
場合（ステップＳＴ２８；ＹＥＳ）、データ処理を終了
する。終了しない場合（ステップＳＴ２８；ＮＯ）、ス
テップＳＴ８へ進む。

【００４１】また、レコードが登録されていない場合
（ステップＳＴ１８；ＮＯ）、又は次作業の選択がない
場合（ステップＳＴ２３；ＮＯ）、ＣＰＵ１ａは、ユー
ザの入力部１ｄを介した指示操作の入力の検出により、
指示操作を待機し（ステップＳＴ２９）、指示操作があ
るかを判別する（ステップＳＴ３０）。指示操作がない
場合（ステップＳＴ３０；ＮＯ）、ＣＰＵ１ａは、ステ
ップＳＴ２９の最初の実行から一定時間を経過したかを
判別する（ステップＳＴ３１）。この一定時間とは、例
えば１〜３０秒間であり、ユーザが自由に設定できるも
のである。

【００４２】一定時間経過していない場合（ステップＳ
Ｔ３１；ＮＯ）、ステップＳＴ２９へ戻る。一定時間経
過した場合（ステップＳＴ３１；ＹＥＳ）、ステップＳ
Ｔ８へ進む。指示操作がある場合（ステップＳＴ３０；
ＹＥＳ）、ＣＰＵ１ａは、当該指示操作を実行する（ス
テップＳＴ３２）。

【００４３】そして、ＣＰＵ１ａは、実行した指示操作
の内容を解析する（ステップＳＴ３３）。この内容解析
は、実行した指示操作を記憶するために行うものであ
り、指示操作の動作及びその動作の種類を解析する。そ
して、ＣＰＵ１ａは、現在のキーワード及び現在の作業
元に対応付けて、内容解析した当該指示操作の動作及び
動作の種類を、カレントキーワードファイルａ４に記憶
する（ステップＳＴ３４）。

【００４４】そして、ＣＰＵ１ａは、ＲＡＭ１ｃのカレ
ントキーワードファイルａ４上の、現在のキーワード、
現在の作業元、指示操作における動作の種類及び動作の
各項目を、データベース１ｊのキーワードファイルｂに
１つのレコードとして登録する（ステップＳＴ３５）。
この場合、更に、キーワードファイルｂの当該レコード
の回数の項目に１を記憶する。そして、ＣＰＵ１ａは、
指示操作がウィンドウの切替か、別ソフトの起動、又は
サブウィンドウ表示かにより作業場所を移動をしたかを
判別する（ステップＳＴ３６）。具体的には、カレント
キーワードファイルａ４を参照し、指示操作に対応する
動作の項目を用いて判別する。

【００４５】作業場所を移動した場合（ステップＳＴ３
６；ＹＥＳ）、ＣＰＵ１ａは、ＲＡＭ１ｃ上の作業元メ
モリａ１を、指示操作実行後の作業場所を新たな作業元
として書換る（ステップＳＴ３７）。つまり作業場所の
状態遷移を実行したことになる。

【００４６】そして、ＣＰＵ１ａは、データ処理を終了
するかを判別する（ステップＳＴ３８）。終了する場合
（ステップＳＴ３８；ＹＥＳ）、データ処理を終了す
る。終了しない場合（ステップＳＴ３８；ＮＯ）、ステ
ップＳＴ８へ進む。作業場所を移動しない場合（ステッ
プＳＴ３６；ＮＯ）、ステップＳＴ３８へ進む。

【００４７】ここで、データ処理において、図２〜図５
の各メモリ及び各ファイル中の具体的な各項目のデータ
と共に、図１０〜図１４を参照して具体的な手順を説明
する。図１０は、データ処理の具体例の概要図である。
図１１は、キーワード登録の表示例を示す図である。図
１２は、図１０における最初のキーワードファイルｂ０
の内部構成を示す図である。図１３は、次作業一覧の第
１の表示例を示す図である。図１４は、次作業一覧の第
２の表示例を示す図である。

【００４８】以下、図１０及び図１１に示す〜の処
理を順に説明する。最初、図１２に示すキーワードファ
イルｂ０が既に生成されているものとする。先ず、図１
０のの処理を説明する。

【００４９】データ処理を開始し、ＣＰＵ１ａは、ステ
ップＳＴ１において、現在アクティブなウィンドウがな
く、ステップＳＴ７において、メニューを取得し、ステ
ップＳＴ６において、作業元としてメニューを作業元メ
モリａ１に記憶する。メニューは、図１１に示すよう
に、表示部ｂ１のデスクトップ上のメニューウィンドウ
ｃ１上に表示される。そして、ＣＰＵ１ａは、ステップ
ＳＴ８，９で音声を待機し、ステップＳＴ１０におい
て、ユーザの音声である「山田さんに届けるんだった、
今月に」をマイク１ｈを介してマイク制御部１ｉから音
声認識し、ステップＳＴ１１において、当該認識結果を
認識結果メモリａ２に記憶する。

【００５０】そして、ＣＰＵ１ａは、ステップＳＴ１２
〜ＳＴ１５において、前記認識結果から、接続詞等を削
除したキーワードである「山田さん」、「届ける」、
「今月」に分割して、図３に示すようにキーワード抽出
ファイルａ３に記憶する。そして、ＣＰＵ１ａは、ステ
ップＳＴ１６，ＳＴ１７において、作業元メモリａ１上
の現在の作業元であるメニュー、及びキーワード抽出フ
ァイルａ３上の現在のキーワードである「山田さん」、
「届ける」、「今月」で、キーワードファイルｂ０上の
該当するレコードを索引する。

【００５１】今、キーワードファイルｂ０は、ステップ
ＳＴ１８において該当するレコードの登録があり、ＣＰ
Ｕ１ａは、ステップＳＴ２０において作業元がメニュー
で、且つキーワードが「山田さん」、「今月」、「届け
る」の各項目の次作業である動作、動作の種類、回数を
該当するレコードから索引し、カレントキーワードファ
イルａ４に記憶する。すると、図４に示されるように記
憶される。作業元がメニューで、キーワード「山田さ
ん」に対応する動作は納品書入力及び請求書作成であ
り、動作の種類は起動、回数はそれぞれ２、２であり、
キーワード「今月」、「届ける」に対応する動作は納品
書入力であり、動作の種類は起動、回数はそれぞれ４、
２である。

【００５２】そして、ステップＳＴ２１において、ＣＰ
Ｕ１ａは、カレントキーワードファイルａ４を参照し
て、次作業の動作の納品書入力、請求書作成の回数は各
キーワードの回数の合計であり、それぞれ８（＝２＋４
＋２）、２であるので、回数の降順にカレントキーワー
ドファイルａ４の各行を並べ替え、納品書入力、請求書
作成の次作業一覧ｄ１を生成して表示部１ｂのメニュー
ウィンドウｃ１に表示する。その表示例は、図１３に示
すように表示される。

【００５３】そして、ＣＰＵ１ａは、ステップＳＴ２２
において次作業一覧からユーザによる選択を待機し、ユ
ーザが、入力部１ｄにより、図１３上の次作業一覧ｄ１
の納品書入力を選択したとする。ＣＰＵ１ａは、ステッ
プＳＴ２３において、選択ありと判別し、ステップＳＴ
２４において、カレントキーワードファイルａ４の選択
された次作業の動作及び動作の種類を参照して、選択さ
れた動作の納品書入力のプログラムの起動を実行する。
作業場所はメニューのメニューウィンドウｃ１から図１
１に示す納品書入力プログラムの納品書入力ウィンドウ
ｃ２へ移動する。

【００５４】そして、ＣＰＵ１ａは、ステップＳＴ２５
においてカレントキーワードファイルａ４の選択された
次作業である動作及び動作の種類から、納品書入力の起
動は、別ソフトの起動であると判別し、ステップＳＴ２
６において、作業元メモリａ１を次作業の動作である納
品書入力に書換え、ステップＳＴ２７において、カレン
トキーワードファイルａ４上の選択された次作業の動作
である納品書入力に対応する第１〜３行を読出し、キー
ワードファイルｂ０上で同一のキーワード、作業元、動
作、動作の種類、回数を有するレコードの回数の項目を
１増加して登録する。具体的には、キーワードファイル
ｂ０の、作業元がメニューで、キーワードが「山田さ
ん」、「届ける」、「今月」、且つ動作が納品書入力
で、動作の種類が起動であるレコードの回数の項目を＋
１する。

【００５５】次に、ステップＳＴ２８において終了せ
ず、ステップＳＴ８へ進み、図１０のの処理に移行す
るものとする。今、納品書入力ウィンドウｃ２上におい
て、ＣＰＵ１ａは、ステップＳＴ９で音声入力があると
判別し、ステップＳＴ１０においてユーザからの「操作
がわからない」をマイク１ｈを介してマイク制御部１ｉ
から音声認識し、ステップＳＴ１１において認識結果メ
モリａ２へ記憶する。

【００５６】そして、ＣＰＵ１ａは、ステップＳＴ１２
〜ＳＴ１５においてと同様に、認識結果の認識文字列
から「操作」、「わからない」の各キーワードに分割し
てキーワード抽出ファイルａ３に格納し、ステップＳＴ
１６〜ＳＴ１７において、現在の作業元が納品書入力
で、且つ現在のキーワードが「操作」、「わからない」
のレコードをキーワードファイルｂから索引する。

【００５７】今、キーワードファイルｂに該当するレコ
ードの登録があり、ＣＰＵ１ａは、ステッＳＴ１９〜Ｓ
Ｔ２２においてと同様に、次作業の動作としてヘル
プ、動作の種類として起動を索引してカレントキーワー
ドファイルａ４に記憶し、該当するものはこの1種類だ
けなので、表示部１ｂの納品書入力ウィンドウｃ２上に
次作業一覧としてヘルプのみを表示し、ステップＳＴ２
２，ＳＴ２３において、ユーザが当該ヘルプを入力部１
ｄから選択したとすると、ステップＳＴ２４において、
ヘルププログラムを起動し、図示しないヘルプウィンド
ウを表示部１ｂに表示する。

【００５８】そしてＣＰＵ１ａは、ＳＴ２５〜ＳＴ２７
においてと同様に、カレントキーワードファイルａ４
を参照し、ヘルププログラムの起動で作業場所が移動し
たと判別し、作業元メモリａ１をヘルプに書換し、キー
ワードファイルｂ上で前の作業元である納品書入力、キ
ーワードが「操作」、「わからない」、動作がヘルプ、
動作の種類が起動であるレコードの回数の項目を＋１し
て登録する。

【００５９】次に、ステップＳＴ２８において終了せ
ず、ステップＳＴ８へ進み、図１１のの処理に移行す
るものとする。今、ステップＳＴ８，ＳＴ９の音声認識
の待機中にユーザが、ヘルプが不要になったためヘルプ
ウィンドウを閉じたものとする。この場合、ＣＰＵ１ａ
は、作業元メモリａ１を前の作業元である納品書入力に
書換るものとする。

【００６０】そして、ＣＰＵ１ａは、ステップＳ１０，
ＳＴ１１において入力音声である「佐藤さんに」を、マ
イク１ｈを介してマイク制御部１ｉから音声認識し、認
識結果を認識結果メモリａ２に記憶し、ステップＳＴ１
２〜ＳＴ１５において、分割した「佐藤さん」をキーワ
ードとしてキーワード抽出ファイルａ３に格納する。

【００６１】そして、ＣＰＵ１ａは、ステップＳＴ１
６，ＳＴ１７において、キーワード抽出ファイルａ３の
キーワード「佐藤さん」及び作業元ファイルａ１の作業
元である納品書入力でキーワードファイルｂのレコード
を索引する。

【００６２】今、ＣＰＵ１ａは、ステップＳＴ１８にお
いてキーワードファイルｂに該当するレコードが登録さ
れていないとすると、ステップＳＴ２９，ＳＴ３０にお
いて、ユーザの入力部１ｄからの入力により指示操作が
入力されたと判別し、ステップＳＴ３１において、図１
１に示すように、納品書入力ウィンドウｃ２上の得意先
入力域への“佐藤商店”の入力の指示操作を実行する。

【００６３】そして、ＣＰＵ１ａは、ステップＳＴ３３
において、前記指示操作は、動作が“佐藤商店”、動作
の種類が入力／得意先であることを解析し、ステップＳ
Ｔ３４において、当該動作の“佐藤商店”と、動作の種
類の入力／得意先とを、キーワード抽出ファイルａ３上
の現在のキーワードの「佐藤さん」、作業元ファイルａ
４上の現在の作業元の納品書入力と共に、カレントキー
ワードファイルａ４へ記憶し、同様にステップＳＴ３５
において、キーワードファイルｂへ当該キーワード、当
該作業元、当該動作、当該動作の種類、及び回数に１を
入れた、各項目からなるレコードを登録する。

【００６４】そして、ＣＰＵ１ａは、ステップＳＴ３６
において、カレントキーワードファイルａ４を参照し
て、指示操作の動作である“佐藤商店”及び動作の種類
である入力／得意先は、作業場所の移動ではないと判別
し、ステップＳＴ３８においてデータ処理を終了する。

【００６５】次に、新たにデータ処理を開始した場合の
図１０のの次作業一覧表示までの処理を説明する。現
在までの処理により、図５に示すキーワードファイルｂ
が生成・登録されているものとする。

【００６６】今、ＣＰＵ１ａは、ステップＳＴ１〜ＳＴ
７において、作業元としてメニューを作業元メモリａ１
に記憶し、ステップＳＴ８〜ＳＴ１１でユーザの「山田
さんの」をマイク１ｈを介してマイク制御部１ｉから音
声認識して、認識結果メモリａ２に記憶し、ステップＳ
Ｔ１２〜ＳＴ１５において、分割した単語からキーワー
ドとして「山田さん」をキーワード抽出ファイルａ３に
記憶する。

【００６７】そして、ＣＰＵ１ａは、ステップＳＴ１６
〜ＳＴ１７において、キーワード抽出ファイルａ３の現
在のキーワードの「山田さん」、及び作業元メモリａ１
の現在の作業元のメニューでキーワードファイルｂを索
引し、ＳＴ１８〜ＳＴ１９において、キーワードが「山
田さん」、作業元がメニューで、動作がそれぞれ納品書
入力と請求書作成、動作の種類が起動、回数がそれぞれ
３，２である２つのレコードを索引し、カレントキーワ
ードファイルａ４に記憶する。

【００６８】そして、ＣＰＵ１ａは、ステップＳＴ２０
〜ＳＴ２１において、カレントキーワードファイルａ４
を参照して回数の降順に、各次作業の動作が納品書入
力、請求書作成である次作業一覧ｄ１を生成して、表示
部１ｂのメニューウィンドウｃ１に表示させる。これ
は、図１３と同様の表示結果となる。

【００６９】また、別の例として、ステップＳＴ１〜Ｓ
Ｔ１５において、現在の作業元が納品書入力、キーワー
ドが「佐藤さん」である場合、ステップＳＴ１６〜ＳＴ
１９で索引されるキーワードファイルｂのレコードは、
１つであり、当該レコードの次作業の動作である“佐藤
商店”が図１４に示すように表示部１ｂの納品書入力ウ
ィンドウｃ２上の次作業一覧ｄ２として表示される。

【００７０】よって、本実施の形態によれば、ユーザが
次作業の動作に関連して音声入力した任意のキーワード
及び作業元を、次作業の動作に対応付けてキーワードフ
ァイルｂに登録し、ユーザは指示操作命令の全文を音声
入力する必要はなく、そのキーワードを音声入力するだ
けで、対応する次作業の動作を読出して次作業一覧を生
成・表示するので、ユーザは次作業の候補を知り、次作
業を容易に且つ迅速に選択して実行することができる。

【００７１】また、次作業一覧は、各次作業の実行の回
数を重要度の因子として、回数が多いものから順に表示
させているので、ユーザは次作業の候補をよく使う順に
知り、よく使う次作業を容易に且つ迅速に選択して実行
することができる。

【００７２】なお、本実施の形態では、次作業一覧とし
て、キーワード及び作業元に対応する動作を表示させて
いるが、同一の動作で動作の種類が異なる場合も考えら
れ、その場合には、次作業としての動作に加えて動作の
種類も表示させる構成にする。

【００７３】また、本実施の形態に、複数のユーザの各
音声の特徴からユーザ音声によるユーザ識別を行う構成
を追加すれば、ユーザ毎のキーワードファイルをデータ
ベース１ｊに生成・登録して、次作業一覧には、音声認
識したユーザのみに対応する次作業の動作及び動作の種
類を表示させるようにすれば、ユーザの次作業の選択の
幅が狭くなり、ユーザは、更に容易且つ迅速に次作業選
択の判断を行うことができる。

【００７４】また、本実施の形態では、次作業一覧の各
次作業の重要度を決める因子として、その次作業の動作
の実行の回数を挙げたが、他にも、その次作業の動作の
実行の総時間、最近に実行された日時等を因子としても
よく、実行の総時間が長いほど、又は最近に実行された
日時が現在の日時に近いほど重要度が増すものとし、重
要度が高いものから順に表示する構成、又はこれ等の因
子を組合わせる構成としてもよい。

【００７５】以上、本発明の実施の形態につき説明した
が、本発明は、必ずしも上述した手段及び手法にのみ限
定されるものではなく、本発明にいう目的を達成し、本
発明にいう効果を有する範囲内において適宜に変更実施
が可能なものである。

【００７６】

【発明の効果】請求項１又は５記載の発明によれば、ユ
ーザが指示操作に関連して音声入力した任意のキーワー
ドを指示操作に対応付けて登録しておけば、指示操作命
令の全文を音声入力する必要がなく、そのキーワードを
音声入力するだけで、指示操作を読出してメニュー表示
させることができる。

【００７７】請求項２記載の発明によれば、メニュー表
示を選択するだけで、指示操作を実行できるのでキーワ
ードに対応する指示操作が複数ある場合は所望する指示
操作を容易且つ迅速に選択して実行できる。

【００７８】請求項３記載の発明によれば、キーワード
と指示操作の組合せが、その重要度に応じてソートされ
てメニュー表示されるので、重要な指示操作を更に容易
に且つ迅速に選択することができる。

【００７９】請求項４記載の発明によれば、システムの
作業状態と一致する指示操作だけがメニュー表示される
ので、同じキーワードでも作業状態に応じた指示操作を
抽出することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態のデータ処理装置１の内部
構成を示すブロック図である。

【図２】ＲＡＭ１ｃに記憶するメモリ及びファイル構成
を示す図である。

【図３】図２におけるキーワード抽出ファイルａ３の内
部構成を示す図である。

【図４】図２におけるカレントキーワードファイルａ４
の内部構成を示す図である。

【図５】データベース１ｊに記憶するキーワードファイ
ルｂの内部構成を示す図である。

【図６】データ処理を示すフローチャートである。

【図７】図６に続くデータ処理を示すフローチャートで
ある。

【図８】図７に続くデータ処理を示すフローチャートで
ある。

【図９】図７に続くデータ処理を示すフローチャートで
ある。

【図１０】データ処理の具体例の概要図である。

【図１１】キーワード登録の表示例を示す図である。

【図１２】図１０における最初のキーワードファイルｂ
０の内部構成を示す図である。

【図１３】次作業一覧の第１の表示例を示す図である。

【図１４】次作業一覧の第２の表示例を示す図である。

【符号の説明】

１…データ処理装置１ａ…ＣＰＵ１ｂ…表示部１ｃ…ＲＡＭ１ｄ…入力部１ｅ…記憶装置１ｆ…記録媒体１ｇ…伝送制御部１ｈ…マイク１ｉ…マイク制御部１ｊ…データベース１ｋ…バスｃ１…メニューウィンドウｃ２…納品書入力ウィンドウｄ１，ｄ２…次作業一覧

Claims

【特許請求の範囲】

【請求項１】入力音声からキーワードを抽出する抽出手
段と、前記抽出手段により抽出されたキーワードと、音声入力
に関連してユーザが行った指示操作とを対応付けて登録
する登録手段と、前記キーワードが音声入力された際に、そのキーワード
と一致するキーワードを前記登録手段から検索し、当該
キーワードに対応づけられた指示操作を読出してメニュ
ー表示する表示手段と、を具備したことを特徴とするデータ処理装置。
【請求項２】前記表示手段でメニュー表示された指示操
作を実行する実行手段を更に具備したことを特徴とする
請求項１記載のデータ処理装置。
【請求項３】前記登録手段は、前記メニュー表示から指
示操作が選択された回数を指示操作毎に登録し、前記表示手段は、前記回数の多い順にメニュー表示を並
べ替えることを特徴とする請求項１又は２に記載のデー
タ処理装置。
【請求項４】前記登録手段は、指示操作時点における現
在の作業状況をキーワードに対応付けて登録し、前記表示手段は、前記キーワード及び作業状況が一致す
る指示操作を検索してメニュー表示することを特徴とす
る請求項１〜３の何れかに記載のデータ処理装置。
【請求項５】コンピュータに、入力音声からキーワードを抽出する機能と、前記抽出手段により抽出されたキーワードと、音声入力
に関連してユーザが行った指示操作とを対応付けて登録
する機能と、前記キーワードが音声入力された際に、そのキーワード
と一致するキーワードを前記登録手段から検索し、当該
キーワードに対応づけられた指示操作を読出してメニュ
ー表示する機能と、を実現させるためのプログラム。