JP2022096305A - 情報処理システム、画像処理装置、情報処理システムの制御方法、及びプログラム - Google Patents

Abstract

【課題】実行される処理と発話指示との結びつきをユーザが容易に習熟可能な情報処理システムを提供する。
【解決手段】サーバ１０２は、音声制御装置１００から取得した音声データに基づいてテキストデータを画像形成装置１０１へ送信する。画像形成装置１０１は、音声認識情報及びテキストデータに基づいて、ＵＩ部品に紐付く所定の処理を実行する。音声認識情報は、ＵＩ部品に紐付く所定の処理と関連する単語を少なくとも含み、画像形成装置１０１のタッチパネル２００に表示中の画面に含まれるＵＩ部品に対応付けて表示される。
【選択図】図１１

Description

本発明は、情報処理システム、画像処理装置、情報処理システムの制御方法、及びプログラムに関する。

昨今、ユーザの発話を解析し、発話に対応するコマンドを実行する情報処理システムが普及してきている。関連する技術として、特許文献１の技術が提案されている。特許文献１では、情報処理装置の操作画面内のＵＩ部品に「数字」や「アルファベット」の識別子を追加し、この識別子を用いた発話指示を受け付けることで、ＵＩ部品に対応した処理を発話によって実現している。

特開２０２０－１１２９３３号公報

しかしながら、こうした「数字」や「アルファベット」等の識別子は、実行される処理との意味的な結びつきを持たず、ユーザにとって習熟することが困難である。このため、実行される処理と発話指示との結びつきを容易に習熟可能な情報処理システムが望まれる。

本発明の目的は、実行される処理と発話指示との結びつきをユーザが容易に習熟可能な情報処理システム、画像処理装置、情報処理システムの制御方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明の情報処理システムは、情報を表示可能な表示デバイスと、音を取得可能なマイクロフォンと、自然言語の音声情報が前記マイクロフォンを介して入力されたことに従って前記音声情報に基づく単語情報を出力する出力手段と、前記表示デバイスに表示中の画面に含まれるタッチオブジェクトに対応付けて発話例を追加表示させる表示制御手段と、前記発話例に含まれる単語の組み合わせの情報及び前記出力された単語情報に少なくとも基づいて、前記タッチオブジェクトに紐付く所定の処理を実行する実行手段と、を有することを特徴とする。

本発明によれば、実行される処理と発話指示との結びつきをユーザが容易に習熟することができる。

本実施の形態の情報処理システムの構成図である。 図１の操作パネルのタッチパネルに表示されるホーム画面の一例を示す図である。 図１の音声制御装置のハードウェアの構成を概略的に示すブロック図である。 図１のサーバのコントローラ部のハードウェアの構成を概略的に示すブロック図である。 図１の画像形成装置のハードウェアの構成を概略的に示すブロック図である。 図３のＣＰＵが実行する音声制御装置の音声制御プログラムの機能構成を示すブロック図である。 図４のＣＰＵが実行するサーバの音声認識プログラムの機能構成を示すブロック図である。 図４のＣＰＵが実行するサーバのリモート制御プログラムの機能構成を示すブロック図である。 図８Ａのデータ管理部が管理する情報を説明するための図である。 図５のＣＰＵが実行する画像形成装置のデバイス制御プログラムの機能構成を示すブロック図である。 本実施の形態の情報処理システムによって実行される音声操作制御処理の手順を示すシーケンス図である。 図２のタッチパネルに表示される画面の一例を示す図である。 図９のデバイス制御プログラムによって実行される画面更新制御処理の手順を示すフローチャートである。 図６の音声制御プログラムによって実行される音声制御処理の手順を示すフローチャートである。 図７の音声認識プログラムによって実行される音声認識制御処理の手順を示すフローチャートである。 図８Ａのリモート制御プログラムによって実行されるリモート制御処理の手順を示すフローチャートである。 図２のタッチパネルに表示されるホーム画面の一例を示す図である。 本実施の形態における音声認識情報及びフィルタワードを設定するための設定画面の一例を示す図である。 図８Ａのリモート制御プログラムによって実行される設定制御処理の手順を示すフローチャートである。

以下、本発明を実施するための形態について実施例を挙げ、図面を用いて具体的に説明する。ただし、実施例で挙げる構成要素はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

図１は、本実施の形態の情報処理システムの構成図である。図１に示すように、情報処理システムは、音声制御装置１００、画像形成装置１０１（画像処理装置）、サーバ１０２（情報処理装置）、クライアント端末１０３、及びゲートウェイ１０５で構成される。なお、情報処理システムは、音声制御装置１００、画像形成装置１０１、及びクライアント端末１０３を、それぞれ複数備える構成であってもよい。

音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５及びネットワーク１０４を介して互いに通信可能である。また、音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５及びインターネット１０７を介してサーバ１０２と通信可能である。

音声制御装置１００は、ユーザ１０６の音声操作開始指示に従って、ユーザ１０６の音声を取得し、取得した音声（音声情報）を符号化した音声データをサーバ１０２へ送信する。また、音声制御装置１００は、サーバ１０２から受信した音声データを音声出力する。音声制御装置１００は、スマートスピーカやスマートフォン等の音声によりユーザとコミュニケーション可能な音声入出力装置である。なお、本実施の形態では、音声制御装置１００と画像形成装置１０１が独立した構成となっている。しかしながら、音声制御装置１００を構成するハードウェア（図３を用いて後述する各ハードブロック）、及びソフトウェア機能（図６を用いて後述する各ソフトブロック）が画像形成装置１０１の中に含まれていてもよく、この構成に限定するものではない。

画像形成装置１０１は、例えば、コピー機能、スキャン機能、プリント機能、ＦＡＸ機能等の複数の機能を備える複合機であるが、単体の機能を備えるプリンタやスキャナであってもよい。以下では、画像形成装置１０１がカラーレーザービーム複合機である前提で説明を行う。また、画像形成装置１０１は、操作パネル１０８を備える。操作パネル１０８は、ユーザ１０６からの操作指示を受け付ける画面や画像形成装置１０１の状態を表示する表示部である。また、操作パネル１０８は、ＬＣＤディスプレイと一体となった後述する図２のタッチパネル２００（表示デバイス）を備え、ユーザ１０６の操作を受け付ける入力部としても機能する。

サーバ１０２は、音声制御装置１００から取得したユーザ１０６の音声データの音声認識を行い、音声認識した結果から画像形成装置１０１の設定操作やジョブの実行に関わる単語を判定する。なお、ジョブとは、画像形成装置１０１が後述する図５のプリントエンジン５１３及びスキャナ５１５を用いて実現する一連の画像形成処理（例えばコピー、スキャン、プリントなど）の単位を示す。また、サーバ１０２は、音声認識した結果又は上記単語の判定結果に応じてテキストを生成し、そのテキストの内容を音声制御装置１００で音声再生するための音声データの合成を行う。なお、サーバ１０２は、ディープラーニング等のニューラルネットワークを用いた機械学習により、精度の高い音声認識結果を提供することができる。例えば、サーバ１０２には、遠く離れたユーザからの音声を正確に認識するための学習が行われている。また、サーバ１０２は自然言語処理に対応しており、形態素解析、構文解析、意味解析、文脈解析等を経ることで、入力された自然言語から適切な情報（単語、かな漢字変換結果）を取得することができる。

クライアント端末１０３は、例えば、ユーザ１０６が使うパーソナルコンピュータ（ＰＣ）である。クライアント端末１０３は、画像形成装置１０１の後述する図５の外部記憶装置５０５やクライアント端末１０３等に保存されている電子ファイルを画像形成装置１０１に印刷させるためのプリントジョブを生成する。また、クライアント端末１０３は、画像形成装置１０１がスキャンして生成した画像データを画像形成装置１０１から受信する。

ネットワーク１０４は、音声制御装置１００、画像形成装置１０１、クライアント端末１０３、及びゲートウェイ１０５を互いに接続する。ネットワーク１０４は、プリントジョブやスキャンジョブ等の各種データ、及び音声データを送受信する。

ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータ等である。ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のＩＥＥＥ８０２．１１に属する一連の規格を含む。なお、ゲートウェイ１０５は、ＩＥＥＥ８０２．１１規格シリーズと異なる他の無線通信方式に従って動作する能力を有してもよい。また、ゲートウェイ１０５は、無線ＬＡＮルータではなく、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ―Ｔ、１０００ＢＡＳＥ－Ｔ等に代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータでもよく、他の有線通信方式に従って動作する能力を有してもよい。

図２は、図１の操作パネル１０８のタッチパネル２００に表示されるホーム画面２０１の一例を示す図である。ホーム画面２０１は、画像形成装置１０１が起動した際に表示される。ホーム画面２０１には、画像形成装置１０１が実行する各機能のＵＩ部品（タッチオブジェクト）が表示される。ここで、ＵＩ部品とは、ユーザ１０６が判別可能なタッチパネル２００上の一定区画の領域（ボタン、アイコン、マーク、矢印、タブ、矩形）を示す。ユーザ１０６がこれらのＵＩ部品をタッチすると、タッチされたＵＩ部品に対応付けられた機能が実行される。

コピー２０２は、コピー機能の実行に必要な設定を行う後述する図１１（ｂ）のコピー画面１１１２に遷移するためのＵＩ部品である。スキャン２０３は、スキャン機能の実行に必要な設定を行うスキャン画面（不図示）に遷移するためのＵＩ部品である。メニュー２０４は、操作パネル１０８の表示言語等の設定を行うメニュー画面（不図示）に遷移するためのＵＩ部品である。アドレス帳２０５は、画像形成装置１０１がスキャンして生成した画像データの送信先の設定を行うアドレス帳画面に遷移するためのＵＩ部品である。セキュアプリント２０６は、画像形成装置１０１が受信したパスワード付きの画像データを印刷するための印刷画面（不図示）に遷移するためのＵＩ部品である。音声認識２０７は、音声制御装置１００による音声操作を有効に設定するためのＵＩ部品である。音声認識２０７を押下し、音声制御装置１００による音声操作が可能になると、ステータス表示２１０の領域には「音声認識中」が表示される。

状況確認２０８は、画像形成装置１０１が実行したジョブや、実行中のジョブの情報を表示するためのＵＩ部品である。タブ領域２０９には、「１」～「７」のタブ番号が表示されている。ホーム画面２０１は、複数のページ画面で構成され、ユーザ１０６が「２」～「７」の何れかのタブ番号を押下すると、押下されたタブ番号に対応するページ画面に切り替わる。このページ画面には、図２に示されたＵＩ部品とは異なるＵＩ部品が表示される。このような構成により、ユーザは、タブ番号を押下するといった簡単な操作で、ホーム画面２０１に表示しきれなかった別のＵＩ部品を容易に表示させることができる。ステータス表示２１０には、上述したように、音声操作が可能であることを示す「音声認識中」が表示される。また、ステータス表示２１０には、「印刷中」、「受信中」、「送信中」、「読み取り中」等のジョブの状況や、「紙なし」、「ジャム」、「トナー無」等のエラーが表示される。

図３は、図１の音声制御装置１００のハードウェアの構成を概略的に示すブロック図である。図３において、音声制御装置１００は、コントローラ部３００、マイクロフォン３０８、スピーカ３１０（音声出力デバイス）、及びＬＥＤ３１２を備える。コントローラ部３００は、マイクロフォン３０８、スピーカ３１０、及びＬＥＤ３１２と接続されている。また、コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、外部記憶装置３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、及び表示コントローラ３１１を備える。ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、外部記憶装置３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、及び表示コントローラ３１１は、システムバス３０１を介して互いに接続されている。

ＣＰＵ３０２は、コントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は、揮発性メモリである。ＲＯＭ３０４は、不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。外部記憶装置３０５は、ＲＡＭ３０３と比較して大容量な記憶デバイス（例えば、ＳＤカード）である。なお、外部記憶装置３０５は、ＳＤカードと同等の機能を有する記憶デバイスであれば、ＳＤカード以外の記憶デバイス、例えば、フラッシュＲＯＭであってもよい。外部記憶装置３０５には、コントローラ部３００によって実行される音声制御装置１００の制御用プログラム、例えば、後述する図６の音声制御プログラム６０１が格納されている。

ＣＰＵ３０２は、電源ＯＮにより起動する時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置３０５に格納されている制御用プログラムを読み出し、当該制御用プログラムをＲＡＭ３０３上に展開するためのプログラムである。ＣＰＵ３０２は、起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、音声の入出力制御や表示制御、ネットワーク１０４とのデータ通信制御を行う。また、ＣＰＵ３０２は、制御用プログラムの実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。外部記憶装置３０５上には制御用プログラムの実行時に必要な各種設定等を格納することができる。各種設定は、例えば、画像形成装置１０１へのアクセスを可能にするサーバ１０２のＵＲＬであり、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２は、ネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。なお、ネットワークＩ／Ｆ３０６の通信方式は、無線通信方式に限られず、例えば、Ｅｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよい。マイクＩ／Ｆ３０７には、マイクロフォン３０８が接続されている。マイクＩ／Ｆ３０７は、ユーザ１０６が発した音声をマイクロフォン３０８から取得し、取得した音声を符号化して音声データに変換し、ＣＰＵ３０２の指示に従って当該音声データをＲＡＭ３０３に格納する。

マイクロフォン３０８は、ユーザ１０６の音声を取得可能な音声操作用のデバイスであり、例えば、スマートフォン等に搭載される小型のＭＥＭＳマイクロフォンである。また、マイクロフォン３０８は、ユーザ１０６が発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。なお、マイクロフォン３０８は、１個であっても本実施例は実現可能であり、３個以上にこだわるものではない。オーディオコントローラ３０９には、スピーカ３１０が接続されている。オーディオコントローラ３０９は、ＣＰＵ３０２の指示に従って、音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。

スピーカ３１０は、音声を再生するための汎用のデバイスである。スピーカ３１０は、音声制御装置１００が応答していることを表す装置の応答音、及びサーバ１０２によって合成された音声を再生する。

表示コントローラ３１１には、ＬＥＤ３１２が接続されている。表示コントローラ３１１は、ＣＰＵ３０２の指示に従って、ＬＥＤ３１２の表示を制御する。例えば、表示コントローラ３１１は、音声制御装置１００がユーザ１０６の音声を正しく取得していることを示すためのＬＥＤの点灯制御を行う。ＬＥＤ３１２は、例えば、ユーザ１０６が可視可能な青色等のＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。なお、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置に置き換えてもよい。

図４は、図１のサーバ１０２のコントローラ部のハードウェアの構成を概略的に示すブロック図である。図４に示すように、サーバ１０２は、コントローラ部４００ａ及びコントローラ部４００ｂを備える。なお、本実施の形態では、コントローラ部４００ａ及びコントローラ部４００ｂは同様の構成であり、以下では、一例として、コントローラ部４００ａを用いてその構成を説明する。コントローラ部４００ａは、後述する図７の音声認識プログラム７０１を実行する。コントローラ部４００ａは、システムバス４０１ａに接続されたＣＰＵ４０２ａ、ＲＡＭ４０３ａ、ＲＯＭ４０４ａ、外部記憶装置４０５ａ、及びネットワークＩ／Ｆ４０６ａを備える。

ＣＰＵ４０２ａは、コントローラ部４００ａ全体の動作を制御する中央演算装置である。ＲＡＭ４０３ａは、揮発性メモリである。ＲＯＭ４０４ａは、不揮発性メモリであり、ＣＰＵ４０２ａの起動用プログラムを格納する。外部記憶装置４０５ａは、ＲＡＭ４０３ａと比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置４０５ａには、コントローラ部４００ａが実行するサーバ１０２の制御用プログラム、例えば、後述する図７の音声認識プログラム７０１が格納されている。なお、外部記憶装置４０５ａは、ハードディスクドライブと同等の機能を有する記憶装置であれば、ハードディスクドライブ以外の記憶装置、例えば、ソリッドステートドライブ（ＳＳＤ）であってもよい。また、外部記憶装置４０５ａは、サーバ１０２としてアクセス可能な外部ストレージであってもよい。

ＣＰＵ４０２ａは、電源ＯＮ等の起動時、ＲＯＭ４０４ａに格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置４０５ａに格納されている制御用プログラムを読み出し、当該制御用プログラムをＲＡＭ４０３ａ上に展開するためのものである。ＣＰＵ４０２ａは、起動用プログラムを実行すると、続けてＲＡＭ４０３ａ上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２ａは、制御用プログラムの実行時に用いるデータもＲＡＭ４０３ａ上に格納して読み書きを行う。外部記憶装置４０５ａ上にはさらに、制御用プログラムの実行時に必要な各種設定を格納することができる。各種設定は、ＣＰＵ４０２ａによって読み書きされる。ＣＰＵ４０２ａは、ネットワークＩ／Ｆ４０６ａを介してネットワーク１０４上の他の機器との通信を行う。

コントローラ部４００ｂは、後述する図８のリモート制御プログラム８０１を実行する。コントローラ部４００ｂは、システムバス４０１ｂに接続されたＣＰＵ４０２ｂ、ＲＡＭ４０３ｂ、ＲＯＭ４０４ｂ、外部記憶装置４０５ｂ、及びネットワークＩ／Ｆ４０６ｂを備える。ＣＰＵ４０２ｂ、ＲＡＭ４０３ｂ、ＲＯＭ４０４ｂ、外部記憶装置４０５ｂ、及びネットワークＩ／Ｆ４０６ｂは、それぞれＣＰＵ４０２ａ、ＲＡＭ４０３ａ、ＲＯＭ４０４ａ、外部記憶装置４０５ａ、及びネットワークＩ／Ｆ４０６ａと機能及び構成が同じである。外部記憶装置４０５ｂには、コントローラ部４００ｂが実行するサーバ１０２の制御用プログラム、例えば、後述する図８のリモート制御プログラム８０１が格納されている。なお、本実施の形態では、後述する音声認識プログラム７０１及びリモート制御プログラム８０１が異なるコントローラ部によって実行される構成について説明するが、この構成に限られない。例えば、コントローラ部４００ａ及びコントローラ部４００ｂの何れか一方が、後述する音声認識プログラム７０１及びリモート制御プログラム８０１の両方を実行してもよい。

図５は、図１の画像形成装置１０１のハードウェアの構成を概略的に示すブロック図である。図５に示すように、画像形成装置１０１は、コントローラ部５００、操作パネル１０８、プリントエンジン５１３（印刷デバイス）、及びスキャナ５１５（読取デバイス）を備える。コントローラ部５００は、操作パネル１０８、プリントエンジン５１３、及びスキャナ５１５と接続されている。また、コントローラ部５００は、ＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、外部記憶装置５０５、ネットワークＩ／Ｆ５０６、ディスプレイコントローラ５０７、操作Ｉ／Ｆ５０８、プリントコントローラ５１２、及びスキャンコントローラ５１４を備える。ＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、外部記憶装置５０５、ネットワークＩ／Ｆ５０６、ディスプレイコントローラ５０７、操作Ｉ／Ｆ５０８、プリントコントローラ５１２、及びスキャンコントローラ５１４は、システムバス５０１を介して互いに接続されている。

ＣＰＵ５０２はコントローラ部５００全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムを格納する。外部記憶装置５０５はＲＡＭ５０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置５０５には、ＣＰＵ５０２によって実行される画像形成装置１０１の制御用プログラム、例えば、後述する図９のデバイス制御プログラム９０１が格納されている。なお、外部記憶装置５０５は、ハードディスクドライブと同等の機能を有する記憶装置であれば、ハードディスクドライブと異なる他の記憶装置、例えば、ソリッドステートドライブ（ＳＳＤ）であってもよい。

ＣＰＵ５０２は、電源ＯＮ等の起動時、ＲＯＭ５０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置５０５に格納されている制御用プログラムを読み出し、当該制御用プログラムをＲＡＭ５０３上に展開するためのものである。ＣＰＵ５０２は起動用プログラムを実行すると、続けてＲＡＭ５０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ５０２は制御用プログラムの実行時に用いるデータもＲＡＭ５０３上に格納して読み書きを行う。外部記憶装置５０５には、さらに、制御用プログラムの実行時に必要な各種設定や、スキャナ５１５で読み取った画像データを格納することができ、ＣＰＵ５０２によって読み書きされる。ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４上の他の機器や、ゲートウェイを介してインターネット上のサーバ１０２との通信を行う。

ディスプレイコントローラ５０７及び操作Ｉ／Ｆ５０８には、操作パネル１０８が接続されている。ディスプレイコントローラ５０７は、ＣＰＵ５０２の指示に従って、操作パネル１０８のタッチパネル２００の画面表示制御を行う。操作Ｉ／Ｆ５０８は、操作信号の入出力を行う。タッチパネル２００が押下された場合、ＣＰＵ５０２は、操作Ｉ／Ｆ５０８を介して、タッチパネル２００が押下された位置を示す座標を取得する。

プリントコントローラ５１２には、プリントエンジン５１３が接続されている。プリントコントローラ５１２は、ＣＰＵ５０２からの指示に従って、プリントエンジン５１３に対して制御コマンドや画像データを送信する。プリントエンジン５１３は、プリントコントローラ５１２から受信した制御コマンドに従って、受信した画像データをシートに印刷する印刷処理を行う。スキャンコントローラ５１４には、スキャナ５１５が接続されている。スキャンコントローラ５１４は、ＣＰＵ５０２からの指示に従って、スキャナ５１５に対して制御コマンドを送信し、また、スキャナ５１５から受信した画像データをＲＡＭ５０３へ書き込む。スキャナ５１５は、スキャンコントローラ５１４から受信した制御コマンドに従って、画像形成装置１０１が備える原稿台ガラス上（不図示）の原稿を、光学ユニットを用いて読み取る読取処理を行う。

図６は、図３のＣＰＵ３０２が実行する音声制御装置１００の音声制御プログラム６０１の機能構成を示すブロック図である。音声制御プログラム６０１は、上述したように外部記憶装置３０５に格納されており、ＣＰＵ３０２が起動時に音声制御プログラム６０１をＲＡＭ３０３上に展開して実行する。音声制御プログラム６０１は、データ送受信部６０２、データ管理部６０３、音声取得部６０４、音声再生部６０５、表示部６０６、音声操作開始検知部６０７、発話終了判定部６０８、及び音声制御部６０９で構成される。

データ送受信部６０２は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０２は、音声取得部６０４から取得した音声データをサーバ１０２に送信する。また、データ送受信部６０２は、サーバ１０２上で生成される音声合成データ（ユーザ１０６への応答）の受信も行う。

データ管理部６０３は、音声制御プログラム６０１の実行において生成した作業データ等の様々なデータを外部記憶装置３０５上の所定の領域へ格納し、管理する。例えば、音声再生部６０５によって再生される音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報、画像形成装置１０１やサーバ１０２と通信するために必要な各デバイス情報、プログラムのＵＲＬ等が格納、管理される。

音声取得部６０４は、マイクロフォン３０８によって取得された音声制御装置１００の近辺にいるユーザ１０６のアナログ音声を音声データに変換し、当該音声データをＲＡＭ３０３上に一時的に格納する。ユーザ１０６の音声は、ＭＰ３等の所定のフォーマットに変換され、更にサーバ１０２に送信するために符号化されて音声データとしてＲＡＭ３０３上に一時的に格納される。音声取得部６０４による処理の開始及びその終了のタイミングは、音声制御部６０９によって管理される。なお、音声データの符号化は、汎用のストリーミング用フォーマットでもよく、符号化された音声データを順次、データ送受信部６０２によって送信するようにしてもよい。

音声再生部６０５は、データ送受信部６０２が受信した音声合成データを、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは音声制御部６０９によって管理される。表示部６０６は、表示コントローラ３１１を介してＬＥＤ３１２の点灯制御を行う。例えば、音声操作開始検知部６０７で音声操作があることを検知した場合、表示部６０６は、ＬＥＤ３１２を点灯させる。表示部６０６の点灯のタイミングは音声制御部６０９によって管理される。

音声操作開始検知部６０７は、ユーザ１０６によるウェイクワードの発話、音声制御装置１００の操作開始キー（不図示）の押下、又はデータ送受信部６０２による音声制御起動コマンドの受信を検知すると、音声制御部６０９へ操作開始通知を送信する。ここで、ウェイクワードとは、音声制御装置１００の音声操作を開始するために予め決められている音声単語である。音声操作開始検知部６０７は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声から、常時ウェイクワードを検知する。ユーザ１０６はウェイクワードを発話し、続いて操作指示を発することで画像形成装置１０１の操作を行うことができる。

発話終了判定部６０８は、音声取得部６０４による処理の終了タイミングを判定する。例えば、ユーザ１０６の音声が所定時間（例えば３秒）途切れた際に、発話終了判定部６０８は、ユーザ１０６の発話が終了したと判定し、音声制御部６０９へ発話終了通知を送信する。なお、発話終了の判定は、発話が無い時間（以降、空白時間と呼ぶ）ではなく、ユーザ１０６が発した所定の単語から判定してもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」といった所定の単語を検知した場合には、所定時間を待たずに発話終了と判定してもよい。また、発話終了の判定は、音声制御装置１００ではなく、サーバ１０２で行うようにしてもよく、ユーザの１０６の発話内容の意味や文脈から発話の終了を判定するようにしてもよい。

音声制御部６０９は制御の中心であり、音声制御プログラム６０１内の他の各モジュールが相互に連携して動作するように制御する。具体的には、音声制御部６０９は、音声取得部６０４、音声再生部６０５、表示部６０６の処理の開始や終了の制御を行う。また、音声制御部６０９は、音声取得部６０４がマイクロフォン３０８で取得した音声を音声データに変換した後にデータ送受信部６０２が当該音声データをサーバ１０２へ送信するように制御する。また、音声制御部６０９は、データ送受信部６０２がサーバ１０２から音声合成データを受信した後に音声再生部６０５が音声合成データを再生するように制御する。

ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理の開始や終了のタイミングについて述べる。

音声制御部６０９は、音声操作開始検知部６０７から操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８から発話終了通知を受信すると、音声取得部６０４の処理を終了する。例えば、ユーザ１０６がウェイクワードを発し、続いて「コピーして」と発したとする。このとき、音声操作開始検知部６０７が、ウェイクワードの音声を検知し、音声制御部６０９に操作開始通知を送信する。音声制御部６０９は、操作開始通知を受信すると、音声取得部６０４の処理を開始するように制御する。音声取得部６０４は、ウェイクワードに続けて発せられた「コピーして」というアナログ音声を音声データへ変換し、当該音声データを一時的に格納する。発話終了判定部６０８は、「コピーして」の発話後に空白時間が所定時間あったと判定すると、発話終了通知を音声制御部６０９に送信する。音声制御部６０９は、発話終了通知を受信すると、音声取得部６０４の処理を終了する。なお、音声取得部６０４が処理を開始してから終了するまでの状態を発話処理状態と呼ぶこととする。表示部６０６は、発話処理状態の期間、ＬＥＤ３１２を点灯させる。

ユーザ１０６の発話終了判定後、音声制御部６０９は、音声データをデータ送受信部６０２からサーバ１０２へ送信するように制御し、サーバ１０２からの応答を待つ。サーバ１０２からの応答は、例えば、応答であることを示すヘッダ部と、応答メッセージを再生するための音声合成データある。音声制御部６０９は、データ送受信部６０２によってサーバ１０２からの応答を受信すると、サーバ１０２からの応答に含まれる音声合成データを音声再生部６０５に再生させる。音声合成データは、例えば、「コピー画面を表示しました」である。なお、発話終了判定後から音声合成データの再生終了までの状態を応答処理状態と呼ぶこととする。表示部６０６は、応答処理状態の期間、ＬＥＤ３１２を点滅させる。

応答処理の後、サーバ１０２との対話セッションが継続している間、ユーザ１０６は、ウェイクワードを発することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、サーバ１０２が行い、音声制御装置１００に対話セッション終了通知を送信することで行う。なお、対話セッション終了から次の対話セッションが開始されるまでの状態を待機状態と呼ぶこととする。音声制御装置１００が音声操作開始検知部６０７からの操作開始通知を受信するまで、音声制御装置１００は待機状態となる。表示部６０６は、待機状態の期間、ＬＥＤ３１２を消灯させる。

図７は、図４のＣＰＵ４０２ａが実行するサーバ１０２の音声認識プログラム７０１の機能構成を示すブロック図である。音声認識プログラム７０１は、上述したように外部記憶装置４０５ａに格納されており、ＣＰＵ４０２ａが起動時に音声認識プログラム７０１をＲＡＭ４０３ａ上に展開して実行する。音声認識プログラム７０１は、データ送受信部７０２、データ管理部７０３、及び音声データ変換部７０４で構成される。

データ送受信部７０２は、ネットワークＩ／Ｆ４０６ａを介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０２は、音声制御装置１００からユーザ１０６の音声データを受信する。

データ管理部７０３は、音声認識プログラム７０１の実行において生成した作業データや、音声データ変換部７０４が音声認識処理を行うために必要なパラメータ等の様々なデータを外部記憶装置４０５ａ上の所定の領域へ格納し、管理する。例えば、データ管理部７０３は、データ送受信部７０２が受信した音声データをテキスト（テキスト情報）へ変換するための音響モデルや言語モデルを外部記憶装置４０５ａ上の所定の領域へ格納し、管理する。また、データ管理部７０３は、後述する形態素解析部７０６がテキストの形態素解析を行うための辞書を外部記憶装置４０５ａ上の所定の領域へ格納し、管理する。また、データ管理部７０３は、後述する音声合成部７０７が音声合成を行うための音声データベースを外部記憶装置４０５ａ上の所定の領域へ格納し、管理する。さらに、データ管理部７０３には、音声制御装置１００や画像形成装置１０１等と通信するために必要な各デバイス情報が格納、管理される。

音声データ変換部７０４は、音声認識部７０５、形態素解析部７０６、及び音声合成部７０７から成る。音声認識部７０５は、データ送受信部７０２によって受信したユーザ１０６の音声データをテキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザ１０６の音声データを音素に変換し、さらに言語モデルによるパターンマッチングにより音素を実際のテキスト形式のデータに変換する。なお、音響モデルは、ＤＮＮ－ＨＭＭのようにニューラルネットワークによる機械学習手法を用いるモデルであってもよいし、ＧＭＭ－ＨＭＭのように異なる手法を用いたモデルであってもよい。ニューラルネットワークを用いた機械学習では、例えば、音声とテキストを対とする教師データに基づいて学習モデルの学習が行われる。言語モデルは、ＲＮＮのようにニューラルネットワークによる機械学習手法のモデルを用いるモデルであってもよいし、Ｎ－ｇｒａｍ手法のように異なる手法を用いるモデルであってもよい。

本実施の形態では、上記テキスト形式のデータは、１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」（数字、アルファベット、記号等への変換も含む）したテキストから成るものとする。ただし、音声データをテキスト形式のデータへ変換する音声認識処理として他の手法を用いてもよく、上述した手法に限るものではない。

形態素解析部７０６は、音声認識部７０５によって変換されたテキスト形式のデータに形態素解析を行う。形態素解析は、その言語の文法や、品詞等の情報を持つ辞書から形態素列を導出し、さらに各形態素の品詞等を判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。形態素解析部７０６は、例えば、音声認識部７０５で変換された「コピーをしたい」というテキスト形式のデータを、「コピー」、「を」、「し」、「たい」の形態素列として解析する。また、「Ａ３からＡ４へ」というテキスト形式のデータを、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列として解析する。

音声合成部７０７は、画像形成装置１０１から受信した通知に基づいて音声合成処理を行う。音声合成処理は、所定の通知に対して、組となる予め用意されたテキストをＭＰ３等の所定のフォーマットの音声合成データに変換する。音声合成処理は、例えば、データ管理部７０３に格納されている音声データベースに基づいて音声合成データを生成する。音声データベースとは、例えば、単語等の定型の内容を発話した音声を集めたデータベースである。なお、本実施の形態では、音声データベースを用いて音声合成処理を行っているが、音声合成の手法として他の手法を用いてもよく、音声データベースによる手法に限定するものではない。

図８Ａは、図４のＣＰＵ４０２ｂが実行するサーバ１０２のリモート制御プログラム８０１の機能構成を示すブロック図である。リモート制御プログラム８０１は、上述したように外部記憶装置４０５ｂに格納されており、ＣＰＵ４０２ｂが起動時にリモート制御プログラム８０１をＲＡＭ４０３ｂ上に展開して実行する。リモート制御プログラム８０１は、データ送受信部８０２、データ管理部８０３、及び遠隔制御データ変換部８０４で構成される。

データ送受信部８０２は、ネットワークＩ／Ｆ４０６ｂを介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。また、データ送受信部８０２は、音声認識プログラム７０１から形態素解析を行って得られたテキストデータ（単語情報）を受信する。このテキストデータは、音声認識プログラム７０１がユーザ１０６の音声データに形態素解析を行って得られた１つ以上の形態素から成るテキスト形式のデータである。

データ管理部８０３は、音声制御装置１００が取得したユーザ１０６の音声に基づいて画像形成装置１０１の遠隔制御を行うために必要なパラメータ等の様々なデータを外部記憶装置４０５ｂ上の所定の領域へ格納し、管理する。具体的に、データ管理部８０３は、図８Ｂに示す画面情報、ＵＩ部品情報、音声認識情報、操作指示命令、及びフィルタワードを格納し、管理する。

画面情報は、ホーム画面やコピー画面といった画像形成装置１０１のタッチパネル２００に表示される画面の種別を示す情報である。なお、本実施の形態では、ホーム画面のように、複数のページ画面を備え、タブによって各ページに切り替え可能な画面に関し、全てのページ画面の画面情報がデータ管理部８０３によって管理されている。

ＵＩ部品情報は、画面情報が示す画面に表示されるＵＩ部品を示す情報である。例えば、図２に示されるコピー２０２、スキャン２０３、メニュー２０４といったＵＩ部品や、タブ番号等の各名称がＵＩ部品情報として管理されている。なお、本実施の形態では、ＵＩ部品情報としてＵＩ部品の名称が管理されている場合について説明するが、ＵＩ部品を示す情報であれば、これに限らない。例えば、画面上でＵＩ部品が表示される位置を示す座標情報や、ＵＩ部品の表示形式（ボタン、アイコン、入力ボックス等）で管理されても良い。

音声認識情報は、ＵＩ部品情報が示すＵＩ部品を音声認識するための語句である。また、音声認識情報は、当該ＵＩ部品に対応する機能によって実行される処理と関連する単語を少なくとも含み、当該実行される処理との意味的な結びつきを持つ。音声認識情報は、ＵＩ部品毎に異なる音声認識情報が設定されている。なお、セキュリティ等の観点から、音声操作が許可されていないセキュアプリント２０６の音声認識情報は、設定されず、図８Ｂでは、その旨を示す「－」で表されている。リモート制御プログラム８０１は、データ管理部８０３によって管理されるＵＩ部品情報及び音声認識情報に基づいて、音声操作の対象となるＵＩ部品を特定する。

操作指示命令は、音声認識プログラム７０１から受信したテキストデータが音声認識情報と一致した際にサーバ１０２から画像形成装置１０１へ送信される命令であり、音声認識情報毎に異なる命令が対応付けられている。フィルタワードは、タッチパネル２００に表示されるＵＩ部品のフィルタ表示を行うための単語であり、ＵＩ部品が属するグループ毎に異なるフィルタワードが設定されている。例えば、コピーに関連するＵＩ部品には、フィルタワードとして「コピー」が設定され、スキャンに関連するＵＩ部品には、フィルタワードとして「スキャン」が設定される。なお、フィルタワードが音声認識情報と同じであると、フィルタ表示が行えなくなる。このため、フィルタワードには、音声認識情報と異なる単語、例えば、音声認識情報を構成する一部の単語や、音声認識情報と類似する意味を持つ別の単語が設定される。

遠隔制御データ変換部８０４は、制御コマンド解析部８０５、音声文字列データ変換部８０６、及び画面構成取得部８０７から成る。制御コマンド解析部８０５は、音声認識プログラム７０１から受信したテキストデータを、データ管理部８０３が管理する複数の音声認識情報と比較する。複数の音声認識情報の中にテキストデータと一致する音声認識情報が含まれている場合、遠隔制御データ変換部８０４は、この音声認識情報に対応する操作指示命令を画像形成装置１０１へ送信する。一方、複数の音声認識情報の中にテキストデータと一致する音声認識情報が含まれていない場合、遠隔制御データ変換部８０４は、テキストデータを、データ管理部８０３が管理する複数のフィルタワードと比較する。複数のフィルタワードの中にテキストデータと一致するフィルタワードが含まれている場合、遠隔制御データ変換部８０４は、このフィルタワードに対応する音声認識情報と、当該音声認識情報に対応するＵＩ部品情報を画像形成装置１０１へ送信する。

音声文字列データ変換部８０６は、画像形成装置１０１から後述する画面更新通知を受信したことに基づいて、音声制御装置１００のスピーカ３１０から出力する音声データのテキスト情報を音声認識プログラム７０１へ送信する。

画面構成取得部８０７は、操作指示命令の送信後、データ管理部８０３に対し、画像形成装置１０１から受信した画面情報とＵＩ部品情報を保存することを依頼する。また、画面構成取得部８０７は、データ送受信部８０２に対し、画像形成装置１０１のタッチパネル２００に表示される画面に含まれるＵＩ部品に対応付けて表示させる音声認識情報を画像形成装置１０１へ送信することを依頼する。

図９は、図５のＣＰＵ５０２が実行する画像形成装置１０１のデバイス制御プログラム９０１の機能構成を示すブロック図である。デバイス制御プログラム９０１は、上述したように外部記憶装置５０５に格納されており、ＣＰＵ５０２が起動時にデバイス制御プログラム９０１をＲＡＭ５０３上に展開して実行する。デバイス制御プログラム９０１は、データ送受信部９０２、データ管理部９０３、スキャン部９０４、プリント部９０５、表示部９０６、音声操作判定部９０７、及びデバイス制御部９０８で構成される。

データ送受信部９０２は、ネットワークＩ／Ｆ５０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。例えば、データ送受信部９０２は、サーバ１０２から操作指示命令やフィルタ表示命令の受信を行う。また、データ送受信部９０２は、タッチパネル２００の画面表示内容が更新されたことを示す画面更新通知、及びジョブの状態を示すジョブ実行状態通知をサーバ１０２へ送信する。

データ管理部９０３は、デバイス制御プログラム９０１の実行において生成した作業データや、各デバイス制御に必要な設定パラメータ等の様々なデータをＲＡＭ５０３及び外部記憶装置５０５上の所定の領域へ格納し、管理する。例えば、デバイス制御部９０８で実行するジョブの各設定項目及び設定値の組み合わせから成るジョブデータや、用紙の属性情報等が設定された機械設定情報が、管理される。また、ゲートウェイ１０５との通信に必要な認証情報、サーバ１０２と通信するために必要なデバイス情報、ＵＲＬ、認証情報等が、管理される。また、画像形成装置１０１で画像形成する対象の画像データが、格納され、管理される。また、表示部９０６が画面表示制御に用いる画面制御情報と、音声操作判定部９０７が操作を判定するために用いる音声操作判定情報が格納され、画面制御情報と音声操作判定情報は、表示部９０６が表示する画面毎に管理される。また、ネットワークＩ／Ｆ５０６やその他の起動手段による音声認識起動や音声操作起動のための命令や制御手段等が管理される。

スキャン部９０４は、デバイス制御部９０８のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ５１４を介してスキャナ５１５でスキャンを実行し、読み取った画像データをデータ管理部９０３に格納する。プリント部９０５は、デバイス制御部９０８のプリントジョブパラメータ設定に基づいて、プリントコントローラ５１２を介してプリントエンジン５１３で印刷を実行する。

表示部９０６は、ディスプレイコントローラ５０７を介して、操作パネル１０８の制御を行う。表示部９０６は、上記画面制御情報に基づいてユーザ操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックス等）をタッチパネル２００に表示する。また、表示部９０６は、操作Ｉ／Ｆ５０８を介して、タッチパネル２００上のタッチされた位置を示す座標を取得し、操作対象のＵＩ部品と操作受付時の処理内容を決定する。表示部９０６は、処理内容の決定に応じて、タッチパネル２００に表示される画面の内容を更新したり、ユーザ操作により設定されたジョブのパラメータ及び当該ジョブの開始指示をデバイス制御部９０８へ送信したりする。また、音声操作が開始されると、表示部９０６は、後述する図１１（ａ）のように、ＵＩ部品に対応付けて音声認識情報を表示する。そして、音声操作判定部９０７の音声操作判定結果に応じて、タッチパネル２００に表示される画面の内容を更新したり、ユーザ操作により設定されたジョブのパラメータ及び当該ジョブの開始指示をデバイス制御部９０８に送信したりする。

音声操作判定部９０７は、データ送受信部９０２にてサーバ１０２から受信した操作指示命令に基づいて、タッチパネル２００に表示される画面を構成するユーザ操作可能なＵＩ部品を操作対象として判定する。例えば、ホーム画面２０１を表示している状態で、「コピー開始」の操作指示命令を受信した場合、画像形成装置１０１では、タッチパネル２００に後述する図１１（ｄ）のコピー画面１１１２が表示される。この状態で「スタート」の操作指示命令を受信した場合、画像形成装置１０１は、コピーを実行する。このように、音声認識中のステータス表示後、ユーザ１０６が音声制御装置１００に「コピーして」と「スタート」と発話することで、画像形成装置１０１は、コピー画面のデフォルト設定状態でコピーを開始する。

デバイス制御部９０８は、プリントコントローラ５１２及びスキャンコントローラ５１４を介して、プリントエンジン５１３及びスキャナ５１５の制御指示を行う。例えば、タッチパネル２００に後述する図１１（ｄ）のコピー画面１１１２が表示された状態でタッチパネル２００のスタートキー押下を検知した場合、デバイス制御部９０８は表示部９０６からコピージョブのパラメータとジョブ開始指示を受信する。そのジョブパラメータに基づいて、スキャナ５１５によって読取られた画像データをプリントエンジン５１３でシートに印刷するよう制御する。

図１０は、本実施の形態の情報処理システムによって実行される音声操作制御処理の手順を示すシーケンス図である。本実施の形態では、音声制御装置１００のＣＰＵ３０２が外部記憶装置３０５に格納された音声制御プログラム６０１をＲＡＭ３０３上に展開して実行する。また、サーバ１０２のＣＰＵ４０２ａが外部記憶装置４０５ａに格納された音声認識プログラム７０１をＲＡＭ４０３ａ上に展開して実行し、ＣＰＵ４０２ｂが外部記憶装置４０５ｂに格納されたリモート制御プログラム８０１をＲＡＭ４０３ｂ上に展開して実行する。さらに、画像形成装置１０１のＣＰＵ５０２が外部記憶装置５０５に格納されたデバイス制御プログラム９０１をＲＡＭ５０３上に展開して実行する。これにより、図１０の音声操作制御処理が実現される。図１０では、一例として、ユーザ１０６が「音声操作開始」、「コピー」、「コピーして」と発話した場合について説明する。なお、図１０の表示制御処理では、画像形成装置１０１が起動して、タッチパネル２００にホーム画面２０１が表示されていることとする。

図１０において、まず、ユーザ１０６が音声制御装置１００のマイクロフォン３０８に対して「音声操作開始」と発話する（ステップＳ１００１）。音声制御プログラム６０１は、ユーザ１０６が発話した「音声操作開始」を音声データとして外部記憶装置３０５に保存する。次いで、音声制御プログラム６０１は、「音声操作開始」の音声データをサーバ１０２へ送信する（ステップＳ１００２）。

サーバ１０２の音声認識プログラム７０１は、受信した音声データに基づいて音声認識処理を行う（ステップＳ１００３）。具体的に、音声認識プログラム７０１は、受信した音声データを外部記憶装置４０５ａに保存し、また、音声認識部７０５により当該音声データをテキストデータに変換する。次いで、音声認識プログラム７０１は、変換したテキストデータをリモート制御プログラム８０１へ送信する（ステップＳ１００４）。

リモート制御プログラム８０１は、データ管理部８０３が管理する複数の操作指示命令の中から、受信したテキストデータに対応する操作指示命令、具体的に、「音声操作開始」を画像形成装置１０１へ送信する（ステップＳ１００５）。

画像形成装置１０１のデバイス制御プログラム９０１は、操作指示命令（「音声操作開始」）を受信すると、ホーム画面２０１のステータス表示２１０に、音声操作可能であることを示すメッセージ、具体的に、「音声認識中」を表示させる（ステップＳ１００６）。次いで、デバイス制御プログラム９０１は、タッチパネル２００に表示された画面の種別を示す画面情報、及び当該画面に含まれるＵＩ部品を示すＵＩ部品情報をサーバ１０２へ送信する（ステップＳ１００７）。具体的に、デバイス制御プログラム９０１は、タッチパネル２００に表示されたホーム画面２０１を示す「ホーム画面２０１」を画面情報としてサーバ１０２へ送信する。

サーバ１０２のリモート制御プログラム８０１は、画像形成装置１０１から受信した画面情報に基づいて、データ管理部８０３が管理する複数のＵＩ部品情報の中から、ホーム画面２０１に対応するＵＩ部品情報を特定する。また、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中から、特定したＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した全てのＵＩ部品情報、及び特定した全ての音声認識情報を画像形成装置１０１へ送信する（ステップＳ１００８）。

画像形成装置１０１のデバイス制御プログラム９０１は、受信したＵＩ部品情報及び音声認識情報に基づいて、ホーム画面２０１上に表示される各ＵＩ部品に対応付けて音声認識情報を発話例として表示する（ステップＳ１００９）。具体的に、デバイス制御プログラム９０１は、音声操作可能なＵＩ部品、例えば、コピー２０２に対応付けて、このアイコンの音声認識情報である「コピーして」を含む図１１（ａ）の吹き出し１１０１を表示する。また、デバイス制御プログラム９０１は、音声操作不可能なＵＩ部品、例えば、セキュアプリント２０６に対応付けて、音声操作不可能であることを示す図１１（ａ）の情報１１０２を表示する。さらに、デバイス制御プログラム９０１は、ステータス表示２１０に「表示中のワードで音声操作してください」といったメッセージを表示すると共に、ステータス表示２１０に対応付けて、「ワード消して」を含む図１１（ａ）の吹き出し１１０３を表示する。「ワード消して」は、タッチパネル２００の画面に表示される音声認識情報を非表示に切り替えるための音声認識情報である。次いで、デバイス制御プログラム９０１は、タッチパネル２００の画面の表示内容が更新されたことを示す画面更新通知をサーバ１０２へ送信する（ステップＳ１０１０）。

画面更新通知を受信すると、サーバ１０２のリモート制御プログラム８０１は、ステップＳ１００１にてユーザ１０６が発話した内容に対する応答メッセージを示す応答テキストデータを音声認識プログラム７０１へ送信する（ステップＳ１０１１）。具体的に、リモート制御プログラム８０１は、「表示中のワードで操作できます」といったメッセージを含む応答テキストデータを音声認識プログラム７０１へ送信する。音声認識プログラム７０１は、受信した応答テキストデータを音声合成データに変換して、当該音声合成データを音声制御装置１００へ送信する（ステップＳ１０１２）。

音声制御装置１００の音声制御プログラム６０１は、受信した音声合成データをスピーカ３１０から出力する（音声出力制御手段）。具体的に、音声制御プログラム６０１は、スピーカ３１０から「表示中のワードで操作できます」といった音声メッセージを出力する（ステップＳ１０１３）。このように、本実施の形態では、ユーザ１０６がマイクロフォン３０８に「音声操作開始」と発話することで、画像形成装置１０１を音声操作可能となる。

その後、ユーザ１０６が音声制御装置１００のマイクロフォン３０８に対して「コピー」と発話すると（ステップＳ１０１４）、音声制御プログラム６０１は、ユーザ１０６が発話した「コピー」を音声データとして外部記憶装置３０５に保存する。次いで、音声制御プログラム６０１は、「コピー」の音声データをサーバ１０２へ送信する（ステップＳ１０１５）。

サーバ１０２の音声認識プログラム７０１は、上述したステップＳ１００３と同様に、受信した音声データに基づいて音声認識処理を行う（ステップＳ１０１６）。次いで、音声認識プログラム７０１は、変換したテキストデータをリモート制御プログラム８０１へ送信する（ステップＳ１０１７）。次いで、リモート制御プログラム８０１は、受信したテキストデータを、データ管理部８０３が管理する情報と比較する。具体的に、リモート制御プログラム８０１は、受信したテキストデータを、データ管理部８０３が管理する複数の音声認識情報と比較する。例えば、データ管理部８０３が管理する図８Ｂの複数の音声認識情報の中には、受信したテキストデータである「コピー」と一致する音声認識情報が含まれていない。この場合、リモート制御プログラム８０１は、受信したテキストデータを、データ管理部８０３が管理する複数のフィルタワードと比較する。例えば、データ管理部８０３が管理する図８Ｂの複数のフィルタワードの中には、「コピー」と一致するフィルタワードが含まれている。この場合、リモート制御プログラム８０１は、データ管理部８０３が管理する複数のＵＩ部品情報の中から、対応するフィルタワードが「コピー」であるＵＩ部品情報を特定する。また、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中から、特定したＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した全てのＵＩ部品情報、及び特定した全ての音声認識情報を含むフィルタ表示命令を画像形成装置１０１へ送信する（ステップＳ１０１８）。

画像形成装置１０１のデバイス制御プログラム９０１は、受信したフィルタ表示命令に基づいて、「コピー」に関連するＵＩ部品のフィルタ表示を行う（ステップＳ１０１９）。これにより、図１１（ｂ）のホーム画面１１０４がタッチパネル２００に表示される。ホーム画面１１０４は、コピー２０２、裏移り防止コピー１１０５、節約コピー１１０６、プリセットＩＤカードコピー１１０７、文字を濃くコピー１１０８、パスポートコピー１１０９、及びＩＤカードコピー１１１０等の「コピー」に関連するアイコンを含む。また、上述したステップＳ１００９と同様に、これらのアイコンに対応付けて、音声認識情報が発話例として追加表示される。さらに、ステータス表示２１０には、「コピー関連アイコンでフィルタ表示しました」といったメッセージが表示される。なお、ステップＳ１０１９では、デバイス制御プログラム９０１は、図１１（ｃ）の吹き出し１１１１のように、「コピー」に関連する機能をまとめて一覧表示しても良い。このように「コピー」に関連する機能を一覧表示することにより、ユーザが所望の機能を容易に見つけることができ、音声操作による操作性を向上させることができる。また、本実施の形態では、「コピー」に関連するアイコンがホーム画面に表示しきれない場合、「コピー」に関連するアイコンをポップアップ画面にてまとめてスクロールして表示するようにしてもよい。本実施の形態では、「コピー」に関連するアイコンの数が予め設定された所定の数より多い場合には、音声制御装置１００から「一致する項目が多すぎる」といった音声メッセージが出力されるように制御してもよい。次いで、デバイス制御プログラム９０１は、タッチパネル２００の画面の表示内容が更新されたことを示す画面更新通知をサーバ１０２へ送信する（ステップＳ１０２０）。画面更新通知には、ステップＳ１０１９にてタッチパネル２００に表示された画面の種別を示す画面情報が含まれる。

画面更新通知を受信すると、サーバ１０２のリモート制御プログラム８０１は、画面更新通知に含まれる画面情報を外部記憶装置４０５ｂに保存する。また、リモート制御プログラム８０１は、「コピーでフィルタしました」といったメッセージを含む応答テキストデータを音声認識プログラム７０１へ送信する（ステップＳ１０２１）。音声認識プログラム７０１は、受信した応答テキストデータを音声合成データに変換して、当該音声合成データを音声制御装置１００へ送信する（ステップＳ１０２２）。

音声制御装置１００の音声制御プログラム６０１は、受信した音声合成データをスピーカ３１０から出力する。具体的に、音声制御プログラム６０１は、スピーカ３１０から「コピーでフィルタしました」といった音声メッセージを出力する（ステップＳ１０２３）。このように、本実施の形態では、ユーザ１０６がマイクロフォン３０８に「コピー」と発話することで、画像形成装置１０１のタッチパネル２００において「コピー」に関連するＵＩ部品のフィルタ表示が行われる。

その後、ユーザ１０６が音声制御装置１００のマイクロフォン３０８に対して「コピーして」と発話する（ステップＳ１０２４）。音声制御プログラム６０１は、ユーザ１０６が発話した「コピーして」を音声データとして外部記憶装置３０５に保存する。次いで、音声制御プログラム６０１は、「コピーして」の音声データをサーバ１０２へ送信する（ステップＳ１０２５）。

サーバ１０２の音声認識プログラム７０１は、上述したステップＳ１００３と同様に、受信した音声データに基づいて音声認識処理を行い（ステップＳ１０２６）、変換したテキストデータをリモート制御プログラム８０１へ送信する（ステップＳ１０２７）。

リモート制御プログラム８０１は、データ管理部８０３が管理する複数の操作指示命令の中から、受信したテキストデータに対応する操作指示命令、具体的に、「コピー開始」を画像形成装置１０１へ送信する（ステップＳ１０２８）。

画像形成装置１０１のデバイス制御プログラム９０１は、操作指示命令（「コピー開始」）を受信すると、コピージョブを実行するためのコピー画面をタッチパネル２００に表示する（ステップＳ１０２９）。なお、この時点では、コピー画面上には、図１１（ａ）等のような音声認識情報は表示されていない。次いで、デバイス制御プログラム９０１は、タッチパネル２００に表示されている画面の種別を示す画面情報、及び当該画面に含まれるＵＩ部品を示すＵＩ部品情報をサーバ１０２へ送信する（ステップＳ１０３０）。

サーバ１０２のリモート制御プログラム８０１は、受信した画面情報に基づいて、データ管理部８０３が管理する複数のＵＩ部品情報の中から、コピー画面に対応するＵＩ部品情報を特定する。また、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中から、特定したＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した全てのＵＩ部品情報、及び特定した全ての音声認識情報を画像形成装置１０１へ送信する（ステップＳ１０３１）。

画像形成装置１０１のデバイス制御プログラム９０１は、受信した音声認識情報に基づいて、コピー画面上に表示される各ＵＩ部品に対応付けて音声認識情報を発話例として表示する（ステップＳ１０３２）。ステップＳ１０３２では、図１１（ｄ）のコピー画面１１１２のように、当該コピー画面１１１２に含まれる各ＵＩ部品に対応付けて、対応する音声認識情報を含む吹き出しが発話例として表示される。次いで、デバイス制御プログラム９０１は、タッチパネル２００に表示されている画面の種別を示す画面情報を含む画面更新通知をサーバ１０２へ送信する（ステップＳ１０３３）。

画面更新通知を受信すると、サーバ１０２のリモート制御プログラム８０１は、ステップＳ１０２４にてユーザ１０６が発話した内容に対する応答メッセージを示す応答テキストデータを音声認識プログラム７０１へ送信する。具体的に、リモート制御プログラム８０１は、「コピー画面を表示しました」といったメッセージを含む応答テキストデータを音声認識プログラム７０１へ送信する（ステップＳ１０３４）。音声認識プログラム７０１は、受信した応答テキストデータを音声合成データに変換して、当該音声合成データを音声制御装置１００へ送信する（ステップＳ１０３５）。

音声制御装置１００の音声制御プログラム６０１は、受信した音声合成データをスピーカ３１０から出力する。具体的に、音声制御プログラム６０１は、スピーカ３１０から「コピー画面を表示しました」といった音声メッセージを出力する（ステップＳ１０３６）。

以上のようにして、本実施の形態では、音声制御装置１００が取得したユーザ１０６の音声に基づいて、画像形成装置１０１の音声操作が行われる。

なお、上述した図１０の処理では、ＵＩ部品に対応付けて音声認識情報を表示する場合について説明したが、表示された音声認識情報を非表示にすることも可能である。

例えば、図１１（ａ）に示すように、ホーム画面２０１に含まれるＵＩ部品に対応付けて音声認識情報が表示された状態で、ユーザ１０６がマイクロフォン３０８に対して「ワード消して」と発話すると、音声制御装置１００は、「ワード消して」を音声データとしてサーバ１０２へ送信する。

サーバ１０２は、受信した音声データに基づいて音声認識処理を行ってテキストデータを生成し、データ管理部８０３が管理する複数の操作指示命令の中から上記テキストデータに対応する操作指示命令、具体的に、「ワード消去」を画像形成装置１０１へ送信する。

画像形成装置１０１は、操作指示命令（「ワード消去」）を受信すると、ホーム画面２０１上の音声認識情報を非表示にする。これにより、タッチパネル２００には、音声認識情報が含まれないホーム画面２０１（例えば、図２を参照。）が表示される。次いで、画像形成装置１０１は、タッチパネル２００に表示されている画面の種別を示す画面情報を含む画面更新通知をサーバ１０２へ送信する。

画面更新通知を受信したサーバ１０２は、ユーザ１０６が発話した内容に対する応答メッセージを示す応答テキストデータを音声合成データに変換して、当該音声合成データを音声制御装置１００へ送信する。

音声制御装置１００は、受信した音声合成データをスピーカ３１０から出力する。具体的に、音声制御プログラム６０１は、スピーカ３１０から「ワードを消しました。音声操作は可能です。」といった音声メッセージを出力する。

このように、本実施の形態では、ユーザが発話した音声に基づいて、音声認識情報の表示及び非表示を容易に切り替えることができる。

次に、本実施の形態における情報処理システムの音声操作を実現するための画像形成装置１０１、サーバ１０２、及び音声制御装置１００の各動作について説明する。

図１２は、図９のデバイス制御プログラム９０１によって実行される画面更新制御処理の手順を示すフローチャートである。図１２の画面更新制御処理は、画像形成装置１０１のＣＰＵ５０２が外部記憶装置５０５に格納されたデバイス制御プログラム９０１をＲＡＭ５０３上に展開して実行することによって実現される。図１２の画面更新制御処理では、画像形成装置１０１が起動して、タッチパネル２００にホーム画面２０１が表示されていることとする。

図１２において、まず、デバイス制御プログラム９０１は、上述した操作指示命令やフィルタ表示命令といった音声操作情報をサーバ１０２から受信すると（ステップＳ１２０１）、当該音声操作情報が操作指示命令であるか否を判別する（ステップＳ１２０２）。

ステップＳ１２０２の判別の結果、受信した音声操作情報が操作指示命令である場合、デバイス制御プログラム９０１は、操作指示命令に対応するタッチパネルの表示制御を行う（ステップＳ１２０３）。例えば、操作指示命令が「音声操作開始」である場合、デバイス制御プログラム９０１は、ホーム画面２０１のステータス表示２１０に、「音声認識中」を表示させる（例えば、上述したステップＳ１００６を参照。）。また、操作指示命令が「メニュー表示」である場合、デバイス制御プログラム９０１は、タッチパネル２００にメニュー画面（不図示）を表示させる。また、操作指示命令がジョブの実行指示である場合、デバイス制御プログラム９０１は、当該ジョブを並行で実行する。例えば、操作指示命令がコピー画面１１１２のスタートボタンの操作指示である場合、コピージョブを実行すると共に、当該コピージョブを実行中であることを示すコピー実行画面（不図示）をタッチパネル２００に表示させる。

次いで、デバイス制御プログラム９０１は、タッチパネル２００に表示されている画面の種別を示す画面情報、及び当該画面に含まれるＵＩ部品を示すＵＩ部品情報をサーバ１０２へ送信する（ステップＳ１２０４）。画像形成装置１０１から画面情報を受信したサーバ１０２は、データ管理部８０３が管理する複数のＵＩ部品情報の中から、当該画面情報に対応するＵＩ部品情報を特定する。また、サーバ１０２は、データ管理部８０３が管理する複数の音声認識情報の中から、特定したＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した全てのＵＩ部品情報、及び特定した全ての音声認識情報を画像形成装置１０１へ送信する。

次いで、デバイス制御プログラム９０１は、サーバ１０２からＵＩ部品情報及び音声認識情報を受信する（ステップＳ１２０５）。次いで、デバイス制御プログラム９０１は、タッチパネル２００の画面上に表示される各ＵＩ部品に対応付けて、音声認識情報を表示させる（ステップＳ１２０６）（例えば、上述したステップＳ１００９、Ｓ１０３２を参照。）。ここで、例えば、サーバ１０２から受信した音声認識情報に対応するＵＩ部品がタッチパネル２００の画面に表示されていない場合、デバイス制御プログラム９０１は、図１１（ｃ）の吹き出し１１１１のように、対応するＵＩ部品が存在しない音声認識情報をまとめて一覧表示しても良い。

次いで、デバイス制御プログラム９０１は、タッチパネル２００に表示されている画面の種別を示す画面情報を含む画面更新通知をサーバ１０２へ送信し（ステップＳ１２０７）、本処理を終了する。

ステップＳ１２０２の判別の結果、受信した音声操作情報が操作指示命令でない場合、デバイス制御プログラム９０１は、受信した音声操作情報がフィルタ表示命令であるか否かを判別する（ステップＳ１２０８）。

ステップＳ１２０８の判別の結果、受信した音声操作情報がフィルタ表示命令である場合、デバイス制御プログラム９０１は、受信したフィルタ表示命令に基づいて、フィルタ表示を行う（ステップＳ１２０９）（例えば、上述したステップＳ１０１９を参照。）。ステップＳ１２０９の処理により、受信したフィルタ表示命令に含まれるＵＩ部品情報に基づいて、ユーザ１０６がマイクロフォン３０８に対して発話した単語でフィルタリングされたＵＩ部品が含まれる画面がタッチパネル２００に表示される。また、受信したフィルタ表示命令に含まれる音声認識情報が、各ＵＩ部品に対応付けて表示される。その後、画面更新制御処理はステップＳ１２０７へ進む。このとき、ステップＳ１２０７にて送信される画面更新通知には、フィルタ表示を行う直前にタッチパネル２００に表示されていた画面を示す画面情報が含まれていてもよく、また、当該画面と異なる新たな画面を示す画面情報が含まれていてもよい。

ステップＳ１２０８の判別の結果、受信した音声操作情報がフィルタ表示命令でない場合、画面更新制御処理はステップＳ１２１０へ進む。受信した音声操作情報がフィルタ表示命令でない場合は、例えば、音声操作情報が音声操作を許可されていないセキュアプリント２０６の操作指示を示す情報である場合である。ステップＳ１２１０では、デバイス制御プログラム９０１は、実行不可能な命令を受信した旨を示す音声指示失敗応答をサーバ１０２へ送信する。その後、画面更新制御処理は終了する。画面更新制御処理を終了した後、デバイス制御プログラム９０１は、サーバ１０２からの音声操作情報の受信待ち状態となる。

図１３は、図６の音声制御プログラム６０１によって実行される音声制御処理の手順を示すフローチャートである。図１３の音声制御処理は、音声制御装置１００のＣＰＵ３０２が外部記憶装置３０５に格納された音声制御プログラム６０１をＲＡＭ３０３上に展開して実行することによって実現される。

図１３において、音声制御プログラム６０１は、ユーザがマイクロフォン３０８に対して発話した音声を音声取得部６０４によって取得する（ステップＳ１３０１）。音声制御プログラム６０１は、取得した音声の終了を発話終了判定部６０８によって判定し、発話開始から発話終了までの音声を音声データに変換し、当該音声データを外部記憶装置３０５に格納する。次いで、音声制御プログラム６０１は、音声データを検出したか否かを判別する（ステップＳ１３０２）。ステップＳ１３０２では、例えば、外部記憶装置３０５へ音声データを格納する処理を完了した場合、音声制御プログラム６０１は、音声データを検出したと判別する。一方、取得した音声の終了を発話終了判定部６０８によって判定されず、外部記憶装置３０５へ音声データを格納する処理を完了しない場合、音声制御プログラム６０１は、音声データを検出しないと判別する。

ステップＳ１３０２の判別の結果、音声データを検出しない場合、音声制御処理はステップＳ１３０１に戻る。ステップＳ１３０２の判別の結果、音声データを検出した場合、音声制御プログラム６０１は、表示部６０６によりＬＥＤ３１２を点滅させ（ステップＳ１３０３）、音声制御装置１００が応答処理状態であることを通知する。次いで、音声制御プログラム６０１は、データ送受信部６０２により、外部記憶装置３０５に格納した音声データをサーバ１０２へ送信する（ステップＳ１３０４）。その後、音声制御プログラム６０１は、サーバ１０２から音声合成データを受信するまで待機する。

サーバ１０２から音声合成データを受信すると（ステップＳ１３０５でＹＥＳ）、音声制御プログラム６０１は、音声再生部６０５により、受信した音声合成データを再生させる（ステップＳ１３０６）。次いで、音声制御プログラム６０１は、サーバ１０２から対話セッション終了通知を受信したか否かを判別する（ステップＳ１３０７）。

ステップＳ１３０７の判別の結果、サーバ１０２から対話セッション終了通知を受信しない場合、音声制御処理はステップＳ１３０１に戻る。ステップＳ１３０７の判別の結果、サーバ１０２から対話セッション終了通知を受信した場合、音声制御プログラム６０１は、表示部６０６によりＬＥＤ３１２を消灯させ（ステップＳ１３０８）、音声制御装置１００が待機状態であることを通知する。次いで、音声制御プログラム６０１は、対話セッションを終了し（ステップＳ１３０９）、音声制御処理は終了する。音声制御処理を終了した後、ユーザがマイクロフォン３０８に対して発話すると、ステップＳ１３０１の処理が実行される。

図１４は、図７の音声認識プログラム７０１によって実行される音声認識制御処理の手順を示すフローチャートである。図１４の音声認識制御処理は、サーバ１０２のＣＰＵ４０２ａが外部記憶装置４０５ａに格納された音声認識プログラム７０１をＲＡＭ４０３ａ上に展開して実行することによって実現される。

図１４において、音声認識プログラム７０１は、データ送受信部７０２により、音声データ又はテキストデータを受信する（ステップＳ１４０１）。音声認識プログラム７０１は、データ管理部７０３により、受信したデータ及び当該データの送信元の情報を外部記憶装置４０５ａに格納する。次いで、音声認識プログラム７０１は、外部記憶装置４０５ａに格納したデータが音声データであるか否かを判別する（ステップＳ１４０２）。

ステップＳ１４０２の判別の結果、外部記憶装置４０５ａに格納したデータが音声データである場合、音声認識プログラム７０１は、音声認識部７０５により、受信した音声データの音声認識処理を行う（ステップＳ１４０３）。また、音声認識プログラム７０１は、データ管理部７０３により、音声認識処理の結果を外部記憶装置４０５ａに格納する。次いで、音声認識プログラム７０１は、形態素解析部７０６により、格納した音声認識処理の結果に対して形態素解析を行ってテキストデータを生成する。音声認識プログラム７０１は、このテキストデータをリモート制御プログラム８０１へ送信し（ステップＳ１４０４）、音声認識制御処理は終了する。

ステップＳ１４０２の判別の結果、外部記憶装置４０５ａに格納したデータが音声データでない場合、音声認識プログラム７０１は、外部記憶装置４０５ａに格納したデータが応答テキストデータであるか否かを判別する（ステップＳ１４０５）。

ステップＳ１４０５の判別の結果、外部記憶装置４０５ａに格納したデータが応答テキストデータである場合、音声認識プログラム７０１は、音声合成部７０７により、外部記憶装置４０５ａに格納したデータに対して音声合成処理を施して音声合成データを生成する（ステップＳ１４０６）。次いで、音声認識プログラム７０１は、生成した音声合成データを音声制御装置１００へ送信し（ステップＳ１４０７）、音声認識制御処理は終了する。

ステップＳ１４０５の判別の結果、外部記憶装置４０５ａに格納したデータが応答テキストデータでない場合、音声認識プログラム７０１は、外部記憶装置４０５ａに格納したデータが無効データであると判別する。音声認識プログラム７０１は、「音声が認識できません」等のエラーメッセージを再生する音声合成データを生成する（ステップＳ１４０８）。その後、音声認識制御処理はステップＳ１４０７ヘ進む。

図１５は、図８Ａのリモート制御プログラム８０１によって実行されるリモート制御処理の手順を示すフローチャートである。図１５のリモート制御処理は、サーバ１０２のＣＰＵ４０２ｂが外部記憶装置４０５ｂに格納されたリモート制御プログラム８０１をＲＡＭ４０３ｂ上に展開して実行することによって実現される。

図１５において、リモート制御プログラム８０１は、データ送受信部８０２により、音声認識プログラム７０１からテキストデータを受信する（ステップＳ１５０１）。リモート制御プログラム８０１は、データ管理部８０３により、このテキストデータを外部記憶装置４０５ｂへ格納する。次いで、リモート制御プログラム８０１は、受信したテキストデータを、データ管理部８０３が管理する複数の音声認識情報と比較する。リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中に、受信したテキストデータと一致する音声認識情報が含まれているか否かを判別する（ステップＳ１５０２）。

ステップＳ１５０２の判別の結果、データ管理部８０３が管理する複数の音声認識情報の中に、受信したテキストデータと一致する音声認識情報が含まれている場合、リモート制御プログラム８０１は、データ送受信部８０２により、この音声認識情報に対応する操作指示命令を画像形成装置１０１へ送信する（ステップＳ１５０３）。操作指示命令を受信した画像形成装置１０１は、上述したステップＳ１２０３の処理を行って、受信した操作指示命令に対応するタッチパネルの表示制御を行う。また、画像形成装置１０１は、上述したステップＳ１２０４の処理を行って、タッチパネル２００に表示されている画面の種別を示す画面情報、及び当該画面に含まれるＵＩ部品を示すＵＩ部品情報をサーバ１０２へ送信する。

リモート制御プログラム８０１は、データ送受信部８０２により、画像形成装置１０１から画面情報及びＵＩ部品情報を受信する（ステップＳ１５０４）。次いで、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中から、受信したＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した全ての音声認識情報をデータ送受信部８０２により画像形成装置１０１へ送信する（ステップＳ１５０５）。次いで、リモート制御処理は、後述するステップＳ１５０８へ進む。

ステップＳ１５０２の判別の結果、データ管理部８０３が管理する複数の音声認識情報の中に、受信したテキストデータと一致する音声認識情報が含まれていない場合、リモート制御プログラム８０１は、受信したテキストデータを、データ管理部８０３が管理する複数のフィルタワードと比較する。リモート制御プログラム８０１は、データ管理部８０３が管理する複数のフィルタワードの中に、受信したテキストデータと一致するフィルタワードが含まれているか否かを判別する（ステップＳ１５０６）。

ステップＳ１５０６の判別の結果、データ管理部８０３が管理する複数のフィルタワードの中に、受信したテキストデータと一致するフィルタワードが含まれている場合、リモート制御プログラム８０１は、フィルタ表示命令を画像形成装置１０１へ送信する（ステップＳ１５０７）。このフィルタ表示命令は、上述したように、対応するフィルタワードが受信したテキストデータと一致する音声認識情報と、当該音声認識情報に対応するＵＩ部品情報を含む。

次いで、リモート制御プログラム８０１は、操作指示命令やフィルタ表示命令といった音声操作情報に対する応答を画像形成装置１０１から受信すると（ステップＳ１５０８）、受信した応答が画面更新通知であるか否かを判別する（ステップＳ１５０９）。

ステップＳ１５０９の判別の結果、受信した応答が画面更新通知である場合、リモート制御プログラム８０１は、受信した画面更新通知に含まれる画面情報をデータ管理部８０３によって外部記憶装置４０５ｂへ格納する（ステップＳ１５１０）。次いで、リモート制御プログラム８０１は、応答テキストデータを音声認識プログラム７０１へ送信し（ステップＳ１５１１）、リモート制御処理は終了する。

ステップＳ１５０９の判別の結果、受信した応答が画面更新通知でない場合、リモート制御プログラム８０１は、受信した応答が実行不可能な命令を受信した旨を示す音声指示失敗応答であるか否かを判別する（ステップＳ１５１２）。

ステップＳ１５１２の判別の結果、受信した応答が音声指示失敗応答である場合、リモート制御プログラム８０１は、「音声操作できませんでした」等のように、受信した音声操作情報に対して音声操作を行えなかったことを示すメッセージを含む応答テキストデータを音声認識プログラム７０１へ送信する（ステップＳ１５１３）。その後、リモート制御処理は終了する。

ステップＳ１５１２の判別の結果、受信した応答が上記音声指示失敗応答でない場合、又はステップＳ１５０６の判別の結果、データ管理部８０３が管理する複数のフィルタワードの中に、受信したテキストデータと一致するフィルタワードが含まれていない場合、リモート制御プログラム８０１は、ステップＳ１５０１にて受信したテキストデータに対する音声操作が無効であることを示す無効データ応答を音声認識プログラム７０１へ送信する（ステップＳ１５１４）。その後、リモート制御処理は終了する。

上述した実施の形態によれば、音声制御装置１００が取得した音声を符号化した音声データに基づいてテキストデータが出力され、音声認識情報及びテキストデータに基づいて、ＵＩ部品に紐付く所定の処理が実行される。音声認識情報は、ＵＩ部品に紐付く所定の処理と関連する単語を少なくとも含み、画像形成装置１０１のタッチパネル２００に表示中の画面に含まれるＵＩ部品に対応付けて表示される。すなわち、ＵＩ部品に対応する機能によって実行される処理との意味的な結びつきを持つ音声認識情報がＵＩ部品に対応付けて表示される。これにより、実行される処理と発話指示との結びつきをユーザが容易に習熟することができる。

また、上述した実施の形態では、テキストデータが文字認識情報と一致しない場合、テキストデータと関連するＵＩ部品のフィルタ表示が行われ、当該ＵＩ部品に対応付けて音声認識情報が表示される。これにより、ＵＩ部品に対応付けて表示される音声認識情報に基づいて、実行される処理と発話指示との結びつきの習熟のし易さを保ちつつ、表示されるＵＩ部品をテキストデータと関連するＵＩ部品に絞り込むことで、所望の機能に対応するＵＩ部品を見つけ易くすることができる。

上述した実施の形態では、ＵＩ部品は、アイコン、マーク、ボタン、矢印、又はタブであるので、タッチパネル２００に表示されたアイコン、マーク、ボタン、矢印、及びタブに対応する各処理と発話指示との結びつきをユーザが容易に習熟することができる。

また、上述した実施の形態では、ＵＩ部品に対応付けて表示された吹き出し（例えば、吹き出し１１０１を参照。）に音声認識情報が表示される。これにより、ユーザがＵＩ部品と音声認識情報との対応関係を容易に理解することができる。

上述した実施の形態では、タッチパネル２００に表示中の画面に含まれるＵＩ部品のうち、音声操作を許可されていない機能に対応するセキュアプリント２０６に、音声操作不可能である旨を示す情報１１０２が対応付けて表示される。これにより、ユーザはセキュアプリント２０６が音声操作不可能であることを容易に理解することができる。

上述した実施の形態では、ＵＩ部品に紐付く所定の処理は、印刷処理、印刷処理に関する設定の受付処理、読取処理、又は読取処理に関する設定の受付処理である。これにより、ユーザは、印刷処理や読取処理について、その設定の受け付けや実行指示の音声操作を容易に行うことができる。

以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、データ管理部８０３がフィルタワードを管理せず、音声認識情報の関連ワード（同義語、類似語、Ｗｅｂ検索結果）から、フィルタ表示されるＵＩ部品を特定するようにしてもよい。

また、上述した実施の形態では、画像形成装置１０１の外部記憶装置５０５に音声認識プログラム７０１及びリモート制御プログラム８０１が格納され、画像形成装置１０１が図１４の音声認識制御処理及び図１５のリモート制御処理を実行してもよい。このような構成において、画像形成装置１０１は、ユーザ１０６の音声を符号化した音声データを、音声制御装置１００又は画像形成装置１０１が備えるマイクロフォンから取得する。このように、サーバ１０２を介すことなく、画像形成装置１０１が音声認識を行う構成において、実行される処理と発話指示との結びつきをユーザが容易に習熟することができる。

上述した実施の形態では、画像形成装置１０１のホーム画面は、ホーム画面２０１に限られず、別のホーム画面に対しても同様の制御が行われる。

図１６は、図２のタッチパネル２００に表示されるホーム画面２０１ｂの一例を示す図である。ホーム画面２０２ｂは、タブ３に対応するホーム画面である。ホーム画面２０２ｂには、画像形成装置１０１のスキャン機能に関連するアイコン、具体的に、よく使う設定Ａ１６０１、よく使う設定Ｂ１６０２、定型文添えてＳｅｎｄ１６０３、固定宛先スキャン１６０４、及び仕分けスキャン１６０５が含まれる。

よく使う設定Ａ１６０１は、予め登録されたスキャン設定に基づいて原稿をスキャンして画像データを生成して当該画像データを送信する処理の実行指示を行うためのアイコンである。よく使う設定Ｂ１６０２は、よく使う設定Ａ１６０１と異なるスキャン設定に基づいて原稿をスキャンして画像データを生成して当該画像データを送信する処理の実行指示を行うためのアイコンである。定型文添えてＳｅｎｄ１６０３は、原稿をスキャンして画像データを生成して予め登録されたＥメール本文のテキスト情報に上記画像データを添付してＥメール送信を行う処理の実行指示を行うためのアイコンである。予め登録されたＥメール本文のテキスト情報は、例えば、「資料を添付します。よろしくお願いします。」といった定型文である。

固定宛先スキャン１６０４は、原稿をスキャンして画像データを生成して当該画像データを予め登録された宛先Ｚに送信する処理の実行指示を行うためのアイコンである。仕分けスキャン１６０５は、原稿をスキャンして画像データを生成して当該画像データの名称をスキャンした日時等として保存する処理の実行指示を行うためのアイコンである。

タッチパネル２００にホーム画面２０１ｂが表示された状態で、ユーザが音声制御装置１００のマイクロフォン３０８に対して「音声操作開始」と発話すると、図１６に示すように、ホーム画面２０１ｂの各アイコンに対応付けて文字認識情報が表示される。

また、上述した実施の形態では、音声認識情報及びフィルタワードの設定をリモート制御プログラム８０１のＷｅｂサーバ機能を利用して実現してもよい。

図１７は、本実施の形態における音声認識情報及びフィルタワードを設定するための設定画面１７００の一例を示す図である。図１７では、タブ１に対応するホーム画面２０１、タブ２に対応するホーム画面２０１ａ、タブ３に対応するホーム画面２０１ｂと、それらに対応するテキストボックスが表示されている様子が示されている。設定画面１７００は、Ｗｅｂブラウザでサーバ１０２のリモート制御プログラム８０１にアクセスすることで表示される。テキストボックスの「位置」の列には、対応するホーム画面に含まれるアイコンの名称が設定される。ユーザは、各アイコンの名称に対応させて音声認識情報及びフィルタワードを設定可能である。なお、セキュアプリント２０６のように音声操作を許可されないアイコンの名称に対応する音声認識情報及びフィルタワードの各設定欄には、音声認識情報及びフィルタワードを設定不可であることを示す「－」が予め入力されている。フィルタワードの設定について、単語と単語の間に区切り文字「、」を入れることで、複数のフィルタワードを設定可能である。また、設定画面１７００では、画面情報やＵＩ部品情報を変更することも可能である。

図１８は、図８Ａのリモート制御プログラム８０１によって実行される設定制御処理の手順を示すフローチャートである。図１８の設定制御処理は、サーバ１０２のＣＰＵ４０２ｂが外部記憶装置４０５ｂに格納されたリモート制御プログラム８０１をＲＡＭ４０３ｂ上に展開して実行することによって実現される。

図１８において、リモート制御プログラム８０１は、データ送受信部８０２により、データを受信する（ステップＳ１８０１）。次いで、リモート制御プログラム８０１は、受信したデータが音声認識プログラム７０１から送信されたテキストデータであるか否かを判別する（ステップＳ１８０２）。

ステップＳ１８０２の判別の結果、受信したデータが音声認識プログラム７０１から送信されたテキストデータである場合、リモート制御プログラム８０１は、図１５のリモート制御処理を実行し（ステップＳ１８０３）、設定制御処理は終了する。

ステップＳ１８０２の判別の結果、受信したデータが音声認識プログラム７０１から送信されたテキストデータでない場合、リモート制御プログラム８０１は、受信したデータがクライアント端末１０３等のＷｅｂブラウザから送信されたアクセス通知であるか否かを判別する（ステップＳ１８０４）。

ステップＳ１８０４の判別の結果、受信したデータがクライアント端末１０３のＷｅｂブラウザから送信されたアクセス通知でない場合、リモート制御プログラム８０１は、処理不可能であることを示す無効応答を、受信したデータの送信元へ送信する（ステップＳ１８０５）。その後、設定制御処理は終了する。

ステップＳ１８０４の判別の結果、受信したデータがクライアント端末１０３のＷｅｂブラウザから送信されたアクセス通知である場合、リモート制御プログラム８０１は、データ管理部８０３が管理する情報を取得する（ステップＳ１８０６）。具体的に、リモート制御プログラム８０１は、データ管理部８０３が管理する画面情報、ＵＩ部品情報、音声認識情報、及びフィルタワード情報を取得する。次いで、リモート制御プログラム８０１は、ステップＳ１８０６にて取得した情報に基づいて、クライアント端末１０３のＷｅｂブラウザに設定画面１７００を表示するための設定画面表示用データを生成する（ステップＳ１８０７）。次いで、リモート制御プログラム８０１は、生成した設定画面表示用データをクライアント端末１０３へ送信する（ステップＳ１８０８）。クライアント端末１０３は、受信した設定画面表示用データに基づいて、クライアント端末１０３のＷｅｂブラウザに設定画面１７００を表示する。クライアント端末１０３は、設定画面１７００にてユーザが設定した設定データをサーバ１０２へ送信する。設定データには、例えば、ユーザによって変更された音声認識情報やフィルタワードが、対応する画面情報やＵＩ部品情報を識別可能なように含まれている。また、設定データには、ユーザによって設定された新たな画面の画面情報や当該画面情報に対応するＵＩ部品情報が含まれている。

次いで、リモート制御プログラム８０１は、クライアント端末１０３から設定データを受信する（ステップＳ１８０９）。次いで、リモート制御プログラム８０１は、設定データ及びステップＳ１８０６にて取得した情報に基づいて、変更されたデータ（以下、「変更データ」という。）を特定し、特定した変更データを取得する（ステップＳ１８１０）。ステップＳ１８１０では、特定した変更データが複数である場合、リモート制御プログラム８０１は、複数の変更データの中から１つの変更データを取得する。次いで、リモート制御プログラム８０１は、取得した変更データが音声認識情報であるか否かを判別する（ステップＳ１８１１）。

ステップＳ１８１１の判別の結果、取得した変更データが音声認識情報である場合、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の音声認識情報の中から、変更データと同じ画面情報及びＵＩ部品情報に対応する音声認識情報を特定する。リモート制御プログラム８０１は、特定した音声認識情報を変更データに変更する（ステップＳ１８１２）。次いで、設定制御処理は後述するステップＳ１８１７へ進む。

ステップＳ１８１１の判別の結果、取得した変更データが音声認識情報でない場合、リモート制御プログラム８０１は、取得した変更データがフィルタワードであるか否かを判別する（ステップＳ１８１３）。

ステップＳ１８１３の判別の結果、取得した変更データがフィルタワードである場合、リモート制御プログラム８０１は、データ管理部８０３が管理する複数のフィルタワードの中から、変更データと同じ画面情報及びＵＩ部品情報に対応するフィルタワードを特定する。リモート制御プログラム８０１は、特定したフィルタワードを変更データに変更する（ステップＳ１８１４）。次いで、設定制御処理は後述するステップＳ１８１７へ進む。

ステップＳ１８１３の判別の結果、取得した変更データがフィルタワードでない場合、リモート制御プログラム８０１は、取得した変更データが画面情報又はＵＩ部品情報であるか否かを判別する（ステップＳ１８１５）。

ステップＳ１８１５の判別の結果、取得した変更データが画面情報及びＵＩ部品情報の何れでもない場合、設定制御処理は終了する。ステップＳ１８１５の判別の結果、取得した変更データが画面情報又はＵＩ部品情報である場合、リモート制御プログラム８０１は、データ管理部８０３が管理する複数の画面情報及びＵＩ部品情報の中から、変更データに対応する情報を特定する。リモート制御プログラム８０１は、特定した情報を変更データに変更する（ステップＳ１８１６）。次いで、リモート制御プログラム８０１は、全ての変更データの処理を完了したか否かを判別する（ステップＳ１８１７）。

ステップＳ１８１７の判別の結果、何れかの変更データの処理を完了しない場合、設定制御処理は、ステップＳ１８１０に戻る。ステップＳ１８１７の判別の結果、全ての変更データの処理を完了した場合、リモート制御プログラム８０１は、変更した情報を画像形成装置１０１へ送信する（ステップＳ１８１８）。画像形成装置１０１は、受信した情報に基づいてホーム画面の表示を変更する。その後、設定制御処理は終了する。

上述した図１８の設定制御処理を行うことで、音声認識情報及びフィルタワードを容易にカスタマイズすることが可能となる。

上述した実施の形態では、リモート制御プログラム８０１のデータ管理部８０３が、音声認識情報及びフィルタワードを管理する構成について説明したが、この構成に限られない。例えば、デバイス制御プログラム９０１のデータ管理部９０３が音声認識情報及びフィルタワードを管理してもよい。データ管理部９０３が音声認識情報及びフィルタワードを管理することにより、画像形成装置１０１のタッチパネル２００上で音声認識情報及びフィルタワードの設定変更を行うことができる。

また、上述した実施の形態では、デバイス制御プログラム９０１のデータ管理部９０３が音声認識情報及びフィルタワードを管理する構成において、デバイス制御プログラム９０１のＷｅｂサーバ機能を利用して、デバイス制御プログラム９０１が図１８の設定制御処理を実行してもよい。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。ＤＮＮとは、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのことである。ＧＭＭとは、Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌのことである。ＨＤＤとは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。ＨＭＭとは、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌのことである。ＩＤとは、Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのことである。ＩＥＥＥとは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓのことである。ＩＰとは、Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌのことである。ＬＡＮとは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。ＬＣＤとは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙのことである。ＬＥＤとは、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅのことである。ＭＥＭＳとは、Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓのことである。 ＭＰ３とは、ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ－３のことである。ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。ＲＮＮとは、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓのことである。ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。ＳＤカードとは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｍｅｍｏｒｙ Ｃａｒｄのことである。ＳＳＤとは、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅのことである。ＴＣＰとは、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌのことである。ＵＩとは、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅのことである。ＵＲＬとは、Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒのことである。

１００ 音声制御装置
１０１ 画像形成装置
１０２ サーバ
２００ タッチパネル
２０２ コピー
２０３ スキャン
２０４ メニュー
２０５ アドレス帳
２０６ セキュアプリント
２０７ 音声認識
３０８ マイクロフォン
４０２ａ、４０２ｂ、５０２ ＣＰＵ
５１３ プリントエンジン
５１５ スキャナ
７０１ 音声認識プログラム
８０１ リモート制御プログラム
９０１ デバイス制御プログラム
１１０１ 吹き出し

Claims (19)

1. 情報を表示可能な表示デバイスと、
   音を取得可能なマイクロフォンと、
   自然言語の音声情報が前記マイクロフォンを介して入力されたことに従って前記音声情報に基づく単語情報を出力する出力手段と、
   前記表示デバイスに表示中の画面に含まれるタッチオブジェクトに対応付けて発話例を追加表示させる表示制御手段と、
   前記発話例に含まれる単語の組み合わせの情報及び前記出力された単語情報に少なくとも基づいて、前記タッチオブジェクトに紐付く所定の処理を実行する実行手段と、を有することを特徴とする情報処理システム。
2. 前記出力された単語情報が前記発話例に含まれる単語の組み合わせの情報と一致しない場合、前記表示制御手段は、前記出力された単語情報に関連するタッチオブジェクト、及び当該タッチオブジェクトに対応付けて前記発話例を前記表示デバイスに表示させることを特徴とする請求項１記載の情報処理システム。
3. 前記タッチオブジェクトは、アイコン、マーク、ボタン、矢印、又はタブであることを特徴とする請求項１又は２記載の情報処理システム。
4. 前記表示制御手段は、前記タッチオブジェクトに対応付けて表示された吹き出しに前記発話例を表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記表示制御手段は、前記表示デバイスに表示中の画面に含まれるタッチオブジェクトのうち、前記出力された単語情報に基づく音声操作を許可されていない機能に対応するタッチオブジェクトに、音声操作不可能である旨を示す情報を対応付けて表示させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記タッチオブジェクトに対応付けて前記発話例を表示した状態で前記発話例の非表示を指示する単語情報が出力された場合、前記表示制御手段は、前記タッチオブジェクトに対応付けて表示された前記発話例を非表示にすることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記発話例は、前記所定の処理に関連する単語を少なくとも含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記所定の処理の実行に従って、前記表示制御手段は、前記画面を遷移させることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 前記所定の処理の実行に従って、音声出力デバイスに音声メッセージを出力させる音声出力制御手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. シートに画像を形成する印刷デバイスを更に備え、
    前記所定の処理は、印刷処理であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
11. シートに画像を形成する印刷デバイスを更に備え、
    前記所定の処理は、印刷処理に関する設定の受付処理であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
12. 原稿を読み取る読取デバイスを更に備え、
    前記所定の処理は、読取処理であることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
13. 原稿を読み取る読取デバイスを更に備え、
    前記所定の処理は、読取処理に関する設定の受付処理であることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。
14. 前記情報処理システムは、前記表示デバイス、前記表示制御手段、及び前記実行手段を備える画像処理装置、前記マイクロフォンを備える音声制御装置、並びに前記出力手段を備える情報処理装置を有し、
    前記音声制御装置は、
    前記マイクロフォンを介して受け付けた自然言語の音声情報を前記情報処理装置に送信する送信手段を有し、
    前記画像処理装置は、
    前記情報処理装置から前記単語情報を取得する取得手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理システム。
15. 前記情報処理システムは、前記表示デバイス、前記マイクロフォン、前記表示制御手段、及び前記実行手段を備える画像処理装置、並びに前記出力手段を備える情報処理装置を有し、
    前記画像処理装置は、
    前記マイクロフォンを介して受け付けた自然言語の音声情報を前記情報処理装置に送信する送信手段と、
    前記情報処理装置から前記単語情報を取得する取得手段と、を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理システム。
16. 前記情報処理システムは、前記表示デバイス、前記出力手段、前記表示制御手段、及び前記実行手段を備える画像処理装置、並びに前記マイクロフォンを備える音声制御装置を有し、
    前記音声制御装置は、
    前記マイクロフォンを介して受け付けた自然言語の音声情報を前記画像処理装置に送信する送信手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理システム。
17. 請求項１乃至１３のいずれか１項に記載された表示デバイス、マイクロフォン、印刷デバイス、読み取りデバイス、及び各手段を有する画像処理装置。
18. 情報を表示可能な表示デバイス及び音を取得可能なマイクロフォンを備える情報処理システムの制御方法であって、
    自然言語の音声情報が前記マイクロフォンを介して入力されたことに従って前記音声情報に基づく単語情報を出力する出力工程と、
    前記表示デバイスに表示中の画面に含まれるタッチオブジェクトに対応付けて発話例を追加表示させる表示制御工程と、
    前記発話例に含まれる単語の組み合わせの情報及び前記出力された単語情報に少なくとも基づいて、前記タッチオブジェクトに紐付く所定の処理を実行する実行工程と、を有することを特徴とする情報処理システムの制御方法。
19. 情報を表示可能な表示デバイス及び音を取得可能なマイクロフォンを備える情報処理システムの制御方法をコンピュータに実行させるプログラムであって、
    前記情報処理システムの制御方法は、
    自然言語の音声情報が前記マイクロフォンを介して入力されたことに従って前記音声情報に基づく単語情報を出力する出力工程と、
    前記表示デバイスに表示中の画面に含まれるタッチオブジェクトに対応付けて発話例を追加表示させる表示制御工程と、
    前記発話例に含まれる単語の組み合わせの情報及び前記出力された単語情報に少なくとも基づいて、前記タッチオブジェクトに紐付く所定の処理を実行する実行工程と、を有することを特徴とするプログラム。

Images