JP2020134903A - システム、画像形成装置、方法およびプログラム - Google Patents

Abstract

【課題】画像形成装置に対し、音声による操作指令を複数のルートで提供する。【解決手段】画像形成装置は、発話の音声を認識し操作指令を生成する装置側生成部１０１を含み、サーバー３００は、音声処理装置２００から受信する音声を認識し操作指令を生成するサーバー側生成部３２４を含み、画像形成装置は、サーバーから受信する操作指令および装置側生成部１０１が生成する操作指令の一方を処理する。【選択図】図１

Description

本開示はシステム、画像形成装置、方法およびプログラムに関し、特に、音声に基づく指令により画像形成装置を操作するシステム、画像形成装置、方法およびプログラムに関する。

近年、対話型によりマイクで集音した音声を認識し、認識結果に基き装置を操作するための指令を、当該装置に出力する、いわゆるスマートスピーカーが提供されている。このようなスマートスピーカーを介して指令を受ける装置として、画像形成装置が提案されている。この場合、スマートスピーカーが画像形成装置の動作音を指令の音声と誤認識する可能性がある。このような動作音による誤認識を解消するために、例えば、特許文献１（特開２００５−２１９４６０号公報）は、画像形成装置の稼働中に音声の入力を禁止する。

特開２００５−２１９４６０号公報

従来は、音声の操作指令を画像形成装置に提供するルートは１つだけであった。ルートが１つだけの場合、そのルートが使えない状況（例えば、装置の動作音による誤動作が発生するので入力を禁止する（特許文献１）、音声認識が外部サーバーで行う場合において通信障害等が発生する場合など）では、画像形成装置に対して音声による指令を提供できなくなる。特に、音声による「キャンセル」の指令が提供できなくなることは装置の正常稼働に影響を与える。したがって、画像形成装置に対し、音声による操作指令を複数のルートで提供することが望まれる。

本開示の一例にかかるシステムは、画像形成装置と、発話の音声を集音する音声処理装置と、サーバーと、を備える。

画像形成装置は、発話の音声を認識し当該画像形成装置の操作指令を生成する装置側生成部を含み、サーバーは、当該サーバーを制御する制御部と、画像形成装置および音声処理装置と通信する通信回路と、を含む。制御部は、音声処理装置から受信する音声を認識し前記操作指令を生成するサーバー側生成部を含む。

画像形成装置は、サーバーから受信する操作指令および装置側生成部が生成する操作指令の一方を処理する。

上述の開示において、画像形成装置は、当該画像形成装置の状態に応じて、サーバーから受信する操作指令および装置側生成部が生成する操作指令の一方を処理する。

上述の開示において、制御部は、画像形成装置が所定状態であるとき、装置側生成部による操作指令の生成を許可するコマンドを画像形成装置に送信するよう通信回路を制御し、および画像形成装置が非所定状態であるとき、装置側生成部による操作指令の生成を禁止するコマンドを画像形成装置に送信するよう通信回路を制御する。

上述の開示において、制御部は、画像形成装置が所定状態であるとき、サーバー側生成部による操作指令の生成を禁止する。

上述の開示において、制御部は、サーバー側生成部による操作指令の生成が禁止される場合、所定通知を出力させるコマンドを音声処理装置に送信する。

上述の開示において、所定状態は、画像形成装置がジョブを実行中の状態を含む。
上述の開示において、装置側生成部が生成する操作指令は、ジョブを実行中の画像形成装置を操作する指令のうち、他の指令よりも優先して処理される操作指令を含む。

上述の開示において、優先して処理される操作指令は、ジョブの実行を停止または中断させるための操作指令を含む。

上述の開示において、画像形成装置は、当該画像形成装置の状態をサーバーに送信する。

上述の開示において、装置側生成部が音声認識により生成するべき操作指令の種類は、サーバー側生成部が音声認識により生成するべき操作指令の種類よりも少ない。

本開示の他の例にかかるサーバーとネットワーク接続される画像形成装置は、画像形成ユニットと、制御部と、を備える。

サーバーは、音声処理装置から受信する発話に基づく音声を認識し前記画像形成ユニットの操作指令を生成するよう構成される。制御部は、発話に基づく音声を認識し操作指令を生成する指令生成部を有し、制御部は、サーバーから受信する操作指令および指令生成部が生成する操作指令の一方を処理する。

本開示の他の例にかかる方法は、サーバーとネットワーク接続される画像形成装置に備えられるプロセッサが実行する方法である。画像形成装置は、さらに画像形成ユニットを備える。サーバーは、音声処理装置から受信する発話に基づく音声を認識し画像形成ユニットを操作する操作指令を生成するよう構成される。

方法は、サーバーから操作指令を受信するステップと、発話に基づく音声を認識し操作指令を生成するステップと、受信するステップにおいて受信される操作指令および生成するステップにおいて生成される操作指令の一方を処理するステップと、を備える。

本開示の他の例では、上記に記載の方法をコンピューターに実行させるためのプログラムが提供される。

本開示の一例によれば、画像形成装置に対し、音声による操作指令を複数のルートで提供することができる。

実施の形態にかかるシステム１の概略的な構成を示す図である。 実施の形態にかかるＭＦＰ１００のハードウェアの構成の一例を概略的に示す図である。 実施の形態にかかるサーバー３００のハードウェア構成の一例を概略的に示す図である。 実施の形態にかかる音声処理装置２００のハードウェア構成の一例を概略的に示す図である。 実施の形態にかかるジョブデータ５０の構成を概略的に示す図である。 実施の形態にかかるフレーム５７の構成を概略的に示す図である。 実施の形態にかかるサーバー３００の機能構成の一例を模式的に示す図である。 実施の形態にかかる指令可否テーブル３４２の一例を模式的に示す図である。 実施の形態にかかるＭＦＰ１００の機能構成の一例を模式的に示す図である。 実施の形態にかかる可能指令テーブル３４３の一例を模式的に示す図である。 本実施の形態にかかる処理のフローチャートの一例を示す図である。 本実施の形態にかかるＭＦＰ１００の状態に応じた処理のフローチャートの一例を示す図である。

以下、図面を参照しつつ、実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

＜概要＞
本開示の概要を説明する。図１は、実施の形態にかかるシステム１の概略的な構成を示す図である。図１を参照して、システム１は、有線または無線のネットワーク４００に接続可能なＭＦＰ（Multi-Function Peripherals）１００、音声処理装置２００および例えばクラウドサーバーを含み得るサーバー３００を備える。

システム１は、ユーザーの発話の音声によりＭＦＰ１００を操作することができる環境を提供する。この環境は、発話の音声による操作指令をＭＦＰ１００に供給するための２つの（複数の）ルートを有する。

具体的には、１つのルートは、ＭＦＰ１００が備えるマイク１７７と装置側生成部１０１により提供される。つまり、装置側生成部１０１は、マイク１７７が集音したＭＦＰ１００の周囲のユーザーの発話による音声を認識処理してＭＦＰ１００の操作指令５７２を生成する。また、他のルートは、音声処理装置２００とサーバー３００のサーバー側生成部３２４により提供される。具体的には、音声処理装置２００は、音声処理装置２００の周囲のユーザーの発話による音声を集音し、集音した音声の音声データ４０を生成する。例えば、音声処理装置２００は、発話によるアナログの音声信号をデジタルの音声データ４０に変換する。音声処理装置２００は、音声データ４０を、ネットワーク４００を介してサーバー３００に送信する。サーバー３００のサーバー側生成部３２４は、音声処理装置２００から受信する音声データ４０を認識処理し、ＭＦＰ１００の操作指令５７１を生成する。サーバー３００は、操作指令５７１をＭＦＰ１００に送信する。ＭＦＰ１００は、２つのルートのうち一方の操作指令を受付けて処理（実行）する。

これにより、図１のシステムは、ＭＦＰ１００に対し音声による操作指令を２つの（複数の）ルートから提供することができる。したがって、例えば、ユーザーは、２つのルートのうちの一方のルートで、発話による操作指令をＭＦＰ１００に出力した場合であっても、当該操作指令をキャンセルするための発話による操作指令を他方のルートでＭＦＰ１００に出力することができる。

また、上記の２つのルートが提供されるとしても、ＭＦＰ１００は、自装置の状態に応じた一方のルートからの操作指令を処理することができる。

例えば、サーバー３００は、ＭＦＰ１００の状態に応じて装置側生成部１０１による操作指令５７２の生成を禁止するか許可するかを示す禁止/許可コマンド５７３を生成しＭＦＰ１００に送信する。装置側生成部１０１は禁止/許可コマンド５７３が“禁止”を示すときは操作指令５７２を生成せず、“許可”を示すときに操作指令５７２を生成する。これにより、ＭＦＰ１００は、自装置の状態に応じて、すなわち禁止/許可コマンド５７３に応じて、上記の２つのルートのうちの一方のルートの操作指令を処理することができる。

本開示の一例によれば、発話の音声に基づく操作指令を、サーバーから提供するルートと、当該画像形成装置が生成するルートとの２つの（複数の）ルートで提供できる。また、複数ルートからの操作指令のうち、画像形成装置は、一のルートの操作指令を受付けて処理（実行）する。これにより、音声の認識結果による画像形成装置への操作指令の提供ルートを多様化できる。

＜Ａ．構成＞
（ａ１．システムの構成）
再び図１を参照して、システム１の構成を説明する。図１では、ネットワーク４００は、ＬＡＮ（Local Area Network）またはグローバルネットワーク、または、ＮＦＣ（Near field communication）等の近距離無線通信を含み得る。ＭＦＰ１００は、プリンターまたはコピー機またはそれらの複合機であり、画像形成装置の一実施例である。なお、音声処理装置２００またはＭＦＰ１００は、図示しないがルーター等の中継器を介してネットワーク４００に接続されてもよい。また、ネットワーク４００に接続されるサーバー３００およびＭＦＰ１００は、をれぞれ、複数台であってもよい。

また、サーバー３００は、音声処理装置２００からの音声データ４０を音声認識処理する場合、音声データ４０をその認識結果であるテキストデータ（文字列）に変換する。例えば、ユーザーの発話による「コピーを１０部して」の音声データ４０の認識結果である操作指令５７１がＭＦＰ１００に送信される。

サーバー３００は、操作指令５７１をＭＦＰ１００に送信する方法として、操作指令５７１を格納したフレーム５７を送信する方法、または、操作指令５７１を有したジョブデータ５０を生成して送信する方法等をとり得る。このジョブデータ５０とフレーム５７の詳細は後述する。また、ＭＦＰ１００は自装置の状態６１を検出して、検出された状態６１をサーバー３００に定期的に送信する。これによりサーバー３００は、ＭＦＰ１００の最も最近の状態を検出することができる。

サーバー３００は、ＭＦＰ１００の状態に応じた値が設定された禁止/許可コマンド５７３を生成し、ＭＦＰ１００に送信する。具体的には、サーバー３００は、画像形成装置が所定状態であるとき、装置側生成部１０１による操作指令５７２の生成を許可する値が設定された禁止/許可コマンド５７３を生成し、ＭＦＰ１００に送信する。また、サーバー３００は、ＭＦＰ１００が非所定状態であるとき、装置側生成部１０１による操作指令５７２の生成を禁止する値が設定された禁止/許可コマンド５７３をＭＦＰ１００に送信する。

本実施の形態では、ＭＦＰ１００の状態は、ジョブを実行中に遷移し得る状態を含む。状態は、限定されないが、例えば、ＭＦＰ１００が内蔵する画像形成ユニットのモーターが低速度で回転する低回転モード、モーターが高速に回転してプリントジョブを実行中のモード等を含み得る。このうち上記の所定状態は、本実施の形態では、例えばジョブデータ５０に基づくジョブを実行中の状態を含む。ジョブを実行中の状態では、例えばモーターの高速回転音など機械音による騒音が発生して、発話による音声に騒音が混入する可能性が高い、すなわち音声を認識できない、または誤認識する可能性が高い状態とも言える。

これに対して、非所定状態とは、ジョブ実行中ではない状態であって、例えばモーターが低速度で回転するモード等を含む。非所定状態は、発話による音声に騒音が混入しない可能性が高い、すなわち音声を認識できる、または誤認識する可能性が低い状態を含む。

（ａ２．ＭＦＰ１００のハードウェア構成）
図２は、実施の形態にかかるＭＦＰ１００のハードウェアの構成の一例を概略的に示す図である。図２を参照して、ＭＦＰ１００は、ＭＦＰ１００を制御するための制御部に相当するＣＰＵ（Central Processing Unit）１５０、プログラムおよびデータを格納するための記憶部１６０、情報の入出力部１７０、ネットワーク４００を介してサーバー３００と通信するための通信Ｉ／Ｆ（InterFaceの略）１５６、画像データを含む各種データを記憶するハードディスクなどの記憶部１７３、データリーダー/ライター１７４、通信回路１７５、周囲の音声を集音するマイク１７７、音声を出力するスピーカー１７８、人感センサ１７９および画像形成ユニット１８０を含む。

ＭＦＰ１００は通信回路１７５を介して音声処理装置２００を含む外部の端末と通信することができる。ＭＦＰ１００は、音声処理装置２００が接続される場合は、音声処理装置２００から発話による音声を集音することができる。

記憶部１６０は、ＣＰＵ１０により実行されるプログラムおよびデータを記憶するためのＲＯＭ（Read Only Memory）、ＣＰＵ１０によりプログラムを実行する際の作業領域として供されるＲＡＭ（Random Access Memory）および不揮発メモリなどを含む。

入出力部１７０は、ディスプレイを含む表示部１７１およびユーザーがＭＦＰ１００に情報を入力するために操作する操作部１７２を含む。ここでは、表示部１７１と操作部１７２は、一体的に構成されたタッチパネルとして提供されてもよい。

通信Ｉ／Ｆ１５６は、ＮＩＣ（Network Interface Card）などの回路を含んで構成される。通信Ｉ／Ｆ１５６は、サーバー３００を含む外部装置とネットワークを介して通信するためのデータ通信部１５７を含む。データ通信部１５７は、データを、ネットワーク４００を介してサーバー３００を含む外部装置に送信するための送信部１５８、およびネットワーク４００を介してサーバー３００を含む外部装置からデータを受信する受信部１５９を含む。

データリーダー/ライター１７４は、記録媒体１７６が脱着自在に装着される。データリーダー/ライター１７４は、装着された記録媒体１７６からプログラムまたはデータを読出す回路と、記録媒体１７６にデータを書込む回路を有する。通信回路１７５は、例えばＬＡＮ（Local Area Network）またはＮＦＣ（Near Field Communication)などのための通信回路を含む。

画像形成ユニット１８０は、画像処理部１５１、画像形成部１５２、図示しないファクシミリ回路を制御するためのファクシミリ制御部１５３、図示しないプリンターを制御する画像出力部１５４および画像読取部１５５を備える。

画像処理部１５１は、入力された画像データを処理することにより、たとえば出力される画像の拡大・縮小等の処理を実行する。画像処理部１５１は、たとえば画像処理用のプロセッサおよびメモリによって実現される。画像形成部１５２は、トナーカートリッジ、記録用紙を収容するための用紙トレイ、および、感光体等の、記録用紙に画像を形成するためのモーターを含むハードウェア資源、ならびに、記録用紙を搬送するためのモーターを含むハードウェア資源によって実現される。画像読取部１５５は、原稿を光学的に読み取って画像データを得るためのスキャナー等の、原稿の画像データを生成するように構成されたハードウェア資源によって実現される。画像処理部１５１、画像形成部１５２、および画像読取部１５５のそれぞれの機能は、ＭＦＰ１００においてよく知られたものであるから、ここでは詳細な説明は繰返さない。

画像形成ユニット１８０は、ＣＰＵ１５０から操作指令に基づく制御データを受付けて、制御データに基づき駆動信号（電圧信号または電流信号）を生成し、生成した駆動信号を各部（例えばモーター等のハードウェア）に出力する。これにより、操作指令に従い画像形成ユニット１８０のハードウェアが動作する。例えば、画像出力部１５４は、操作指令に従いプリンターを駆動する。

図２では、ＣＰＵ１５０は１つとしているが、１または複数のプロセッサを備えるとしてもよい。また、マイク１７７は、指向性を有していてもよい。例えば、マイク１７７は人の発話の音声が有する周波数帯域の音声を集音可能な周波数特性を有しても良い。また、ＭＦＰ１００は人感センサ１７９を備えて、人感センサ１７９の検知出力に基き、装置側生成部１０１は人が検知されたときに集音された音声から操作指令５７２を生成するとしてもよい。また、マイク１７７は、ＭＦＰ１００の特定の方向から入来する音だけを集音できるよう特性を有しても良い。例えば、装置側生成部１０１は、人感センサ１７９の出力に基き、特定の方向に人の存在が検知されると判定したとき、マイク１７７からの音声に基づく操作指令５７２を生成するとしてもよい。

（ａ３．サーバー３００のハードウェア構成）
図３は、実施の形態にかかるサーバー３００のハードウェア構成の一例を概略的に示す図である。図３を参照して、サーバー３００は、サーバー３００を制御するためのＣＰＵ３０、記憶部３４、ネットワークコントローラー３５およびリーダー/ライター３６を含む。記憶部３４は、ＣＰＵ３０により実行されるプログラムおよびデータを記憶するためのＲＯＭ３１、ＲＡＭ３２、各種の情報を格納するためのＨＤＤ（Hard Disk Drive）３３、およびＭＦＰ１００および音声処理装置２００と通信するネットワークコントローラー３５を含む。ＲＡＭ３２は、各種情報を記憶する領域と、ＣＰＵ３０でプログラムを実行する際の作業領域とを含む。ネットワークコントローラー３５は、ＭＦＰ１００および音声処理装置２００と通信するための通信回路の一実施例である。ネットワークコントローラー３５は、ＮＩＣなどを含む。なお、サーバー３００は１つのＣＰＵ３０を備えるが、１または複数のプロセッサを備えても良い。

リーダー/ライター３６は、記録媒体３７が脱着自在に装着される。リーダー/ライター３６は、装着された記録媒体３７からプログラムまたはデータを読出す回路と、記録媒体３７にデータを書込む回路を有する。

（ａ４．音声処理装置２００のハードウェア構成）
図４は、実施の形態にかかる音声処理装置２００のハードウェア構成の一例を概略的に示す図である。図４を参照して、音声処理装置２００は、音声処理装置２００を制御するための制御部に相当するＣＰＵ２０、ディスプレイ２３、ＬＥＤ（light Emitting Diode）２３Ａ、マイク２４、ユーザーが音声処理装置２００に情報を入力するために操作する操作パネル２５、記憶部２６、ＮＩＣまたはＬＡＮ回路などの通信回路を含む通信コントローラー２７、およびスピーカー２９を備える。記憶部２６は、ＣＰＵ２０により実行されるプログラムおよびデータを記憶するためのＲＯＭ２１、ＲＡＭ２２、およびハードディスク装置を含むメモリ２８を備える。ディスプレイ２３と操作パネル２５は、一体的に構成されたタッチパネルとして提供されてもよい。音声処理装置２００は、通信コントローラー２７を介してサーバー３００またはＭＦＰ１００などと通信することができる。

音声処理装置２００は、マイク２４を介して周囲の発話を含む音声を集音する。ＣＰＵ２０は、集音された音声の音声信号をデジタルデータに変換し、これにより音声データ４０を生成する。ＣＰＵ２０はサーバー３００からのコマンドに従いマイク２４のＯＮ（オン）またはＯＦＦ（オフ）を切替える。また、音声処理装置２００は音声データを再生しスピーカー２９から出力する。スピーカー２９から出力される音声データは、例えば記憶部２６に格納された音声データまたはサーバー３００またはＭＦＰ１００などの外部の装置から受信した音声データが含まれる。

なお、マイク２４は、ＭＦＰ１００が備えるマイク１７７と同様の周波数特性または方向の特性を有していてもよい。また、音声処理装置２００も人感センサ（図示せず）を備えて、人感センサの出力に基き、人の存在が検知されると判定したとき、マイク２４からの音声に基づく音声データ４０を生成するとしてもよい。

＜Ｂ．ジョブデータ５０とフレーム５７＞
図５は、実施の形態にかかるジョブデータ５０の構成を概略的に示す図である。図５のジョブデータ５０は、例えば画像出力部１５４のプリンターに画像を印刷させるためのジョブに対応する。図５を参照してジョブデータ５０は、ＰＪＬデータ５１、ＰＤＬ（ページ記述言語）データ５２およびジョブデータ５０の識別子、例えばジョブデータ５０のユーザーを識別するユーザーＩＤ５３を含む。本実施の形態では、サーバー３００は、印刷対象となるデータ（以下、印刷対象データという）をＰＤＬデータ５２に変換し、ＰＤＬデータ５２をＰＪＬデータ５１およびユーザーＩＤ５３が付加されたジョブデータ５０としてＭＦＰ１００に送信する。ＰＪＬデータ５１は、ＰＪＬ形式で記述された指令を示す。この指令は、サーバー３００が音声処理装置２００から受信した音声データ４０を認識処理することにより生成されるＭＦＰ１００の操作指令５７１を含み得る。

ユーザーＩＤ５３は、ジョブデータ５０のユーザーの識別子であり、例えば音声処理装置２００またはＭＦＰ１００のユーザーのログイン名が含まれる。サーバー３００のＣＰＵ３０は、音声処理装置２００またはＭＦＰ１００からユーザーのログイン名を受信することができる。

図５を参照して、ＰＪＬデータ５１は、ＰＤＬデータ５２に直接影響を与えない命令が各種規定されている。たとえば、操作指令５７１（印刷部数の設定に関する指令、ＭＦＰ１００が備える図示されないステープル、パンチなどの機能を用いる場合に当該機能の操作に関する指令など）が記述される。

印刷対象データは、限定されないが、例えば文書データ、図のデータまたは表のデータなどである。サーバー３００の記憶部３４は、ユーザー毎に、当該ユーザー識別子（ログイン名等）に関連付けて印刷対象データを格納することができる。例えば、サーバー３００のＣＰＵ３０は、受信したユーザー識別子（ログイン名）に関連付けられた記憶部３４の印刷対象データをＰＤＬデータ５２に変換する。

本実施の形態では、印刷対象データは、サーバー３００に格納されているとするが、これに限定されない。変形例として、印刷対象データは、ＭＦＰ１００の記憶部１７３に格納されていてもよい。この場合は、ジョブデータ５０のＰＤＬデータ５２は、記憶部１７３に格納された印刷対象データを示す。具体的には、ＣＰＵ１５０は、サーバー３００からＰＪＬ５１とユーザーＩＤ５３を受信すると、ユーザーＩＤ５３に関連付けられた記憶部１７３の印刷対象データをＰＤＬデータ５２に変換する。これにより、ＭＦＰ１００のＣＰＵ１５０は、サーバー３００から受信したＰＪＬ５１およびユーザーＩＤ５３、ならびには、記憶部１７３の印刷対象データから生成したＰＤＬデータ５２からジョブデータ５０を生成することができる。

ジョブデータ５０はＭＦＰ１００により処理される。具体的には、画像出力部１５４は、操作指令５７１を処理する。これにより、ジョブデータ５０のＰＤＬデータ５２を、図示しないファームウェアを用いて記憶部１６０のＲＡＭ上でビットマップデータとして展開する。画像出力部１５４の図示しないプリンターは、ビットマップデータ（ＰＤＬデータ５２）に従って印刷用紙に対する印字処理を実行し、操作指令５７１に従い、ステープル機能、指定部数の印刷するためのソーター機能等を駆動する。

本実施の形態では、ジョブデータ５０は、上記に述べた印刷ジョブに限定されず、例えばファクシミリ通信ジョブであってもよい。また、操作指令５７１も、印刷ジョブのための指令に限定されず、ファクシミリ通信ジョブのための操作指令であってもよい。

図６は、実施の形態にかかるフレーム５７の構成を概略的に示す図である。図６のフレーム５７は、ジョブデータ５０とは異なり、処理の対象となるデータ（例えばＰＤＬデータ５２等）を含まないフォーマットを有する。フレーム５７は、操作指令５７１とユーザーＩＤ５３とを含む。操作指令５７１は、サーバー３００が音声処理装置２００から受信した音声データ４０を認識処理することにより生成されるＭＦＰ１００を操作するための指令である。

＜Ｃ．サーバー３００の機能構成＞
図７は、実施の形態にかかるサーバー３００の機能構成の一例を模式的に示す図である。図８は、実施の形態にかかる指令可否テーブル３４２の一例を模式的に示す図である。図７を参照して、サーバー３００は、ネットワークコントローラー３５を介して受信される音声データ４０を用いて音声認識処理を実施する音声認識エンジン３１０、および音声認識結果に基づき、操作指令５７１を生成し、操作指令５７１を有するジョブデータ５０またはフレーム５７を生成するＭＦＰ制御モジュール３２０を備える。サーバー３００は、生成された操作指令５７１（ジョブデータ５０およびフレーム５７）を、ＭＦＰ１００に送信するように、ネットワークコントローラー３５を制御する。

音声認識エンジン３１０またはＭＦＰ制御モジュール３２０は、ＣＰＵ３０が記憶部３４または記録媒体３７に格納されたプログラムを実行することにより実現される。なお、音声認識エンジン３１０、またはＭＦＰ制御モジュール３２０は、ＡＳＩＣ（Application Specific Integrated Circuit)またはＦＰＧＡ(Field-Programmable Gate Array)などの回路、または回路とプログラムの組合せにより実現されてもよい。

また、記憶部３４は、辞書３４０、ＭＦＰ１００の状態を示すＭＦＰ状態３４１、指令可否テーブル３４２（図８参照）、ＯＮ/ＯＦＦデータ領域３４５およびガイダンスデータ３４４を格納する。辞書３４０は、ＭＦＰ１００を操作するための複数の指令と、各操作指令に対応のテキストデータ（当該指令を表す文字列からなるテキストデータ）が登録されている。

ＯＮ/ＯＦＦデータ領域３４５は、音声処理装置２００（より特定的にはマイク２４）のＯＮ/ＯＦＦの切替え、およびＭＦＰ１００の装置側生成部１０１による操作指令５７１の生成の禁止/許可の切替えの履歴を示す。なお、これらの切替えの詳細は後述する。

ＭＦＰ制御モジュール３２０は、禁止／許可コマンド生成部３２１、ＭＦＰ１００からの状態６１を受信し、記憶部３４にＭＦＰ状態３４１として格納する状態取得部３２２、操作指令５７１を生成するサーバー側生成部３２４および通知部３２５を含む。禁止／許可コマンド生成部３２１は、ＭＦＰ状態３４１に基づき、ＭＦＰ１００が所定状態であるとき、装置側生成部１０１による操作指令５７２の生成を許可する値が設定された禁止/許可コマンド５７３を生成し、ＭＦＰ１００が非所定状態であるときは、装置側生成部１０１による操作指令５７２の生成を禁止する値が設定された禁止/許可コマンド５７３を生成する。禁止／許可コマンド生成部３２１は、生成した禁止/許可コマンド５７３をＭＦＰ１００に送信するように、ネットワークコントローラー３５を制御する。

サーバー側生成部３２４は、音声認識エンジン３１０による音声データ４０の認識結果に基づく操作指令５７１を生成する。サーバー側生成部３２４は、生成した操作指令５７１をＭＦＰ１００に送信するように、ネットワークコントローラー３５を制御する。

ＭＦＰ制御モジュール３２０は、ＭＦＰ状態３４１および指令可否テーブル３４２に基づき、操作指令５７１を送信するか否かを決定してもよい。ＭＦＰ制御モジュール３２０は、ＭＦＰ状態３４１に基づき指令可否テーブル３４２を検索し、検索の結果、所定状態を示すと判断したとき、サーバー側生成部３２４による操作指令５７１の生成を禁止すると決定する。

また、この禁止状態において、サーバー側生成部３２４が指令の生成が禁止される場合、音声処理装置２００がユーザーの発話の音声を集音したとき、すなわち音声データ４０を受信したとき（または音声認識エンジン３１０が音声データ４０の認識結果を出力するとき）、所定通知を出力するよう音声処理装置を制御してもよい。この所定状態は、ＭＦＰ状態３４１がジョブ実行中の状態を含む。また、通知部３２５は、ガイダンスデータ３４４に基づき所定通知を出力するコマンドを生成し音声処理装置２００に出力する。この所定通知は、例えば、音声を受け付けたがＭＦＰ１００は所定状態なので指令は送信しない、旨のガイダンスを示す。音声処理装置２００は、通知部３２５から受信するコマンドを実行することにより、所定通知をスピーカー２９から音声出力する。これにより、ユーザーに対して、音声処理装置２００を介した発話による操作指示は受け付けていないことを通知することができる。

状態取得部３２２は、ＭＦＰ１００から、ＭＦＰ１００の状態６１を受信し、受信した状態６１をＭＦＰ状態３４１として記憶部３４に格納する。本実施の形態では、ＭＦＰ１００が定期的に自装置の状態６１を検出して、サーバー３００に送信する、または自装置の状態が変化したときに状態６１をサーバー３００に送信する。これにより、ＭＦＰ状態３４１はＭＦＰ１００の最新の状態を示す。

なお、状態取得部３２２が状態６１を取得する方法は、これに限定されない。例えば、状態取得部３２２から定期的にＭＦＰ１００に問合せを送信し、ＭＦＰ１００は当該問合せの応答として状態６１をサーバー３００に送信するとしてもよい。また、ＭＦＰ状態３４１は、状態６１を受信する順番に従う時系列の状態６１を含んでもよい。

図８を参照して、指令可否テーブル３４２は、ＭＦＰ１００が取り得る複数の状態３４２１と、各状態３４２１に対応付けられた指令生成可否のデータ３４２２を有する。指令生成可否のデータ３４２２は、装置側生成部１０１に操作指令５７２の生成を許可（可：ＯＫ）する、または生成を禁止する（否：ＮＧ）を示す。限定されないが、例えば、指令可否テーブル３４２は、ＭＦＰ１００の状態３４２１として、プリンターのモーターの回転速度が低速であり比較的動作音が小さい「低回転モード」および動作音が大きい「プリントジョブ実行中」等を含む。「低回転モード」の状態３４２１に対応の指令生成可否のデータ３４２２は「ＯＫ」を示し、「プリントジョブ実行中」の状態３４２１に対応の指令生成可否のデータ３４２２は「ＮＧ」を示す。

この指令可否テーブル３４２は、ＭＦＰ１００のハードウェア（ローラー、モーター、またはソーターなど）から発生する動作音が大きい状態であるときは、サーバー３００からＭＦＰ１００に対する操作指令５７１の送信は禁止されて、ＭＦＰ１００から発生する動作音が小さい状態であるときは、操作指令５７１の送信が許可されることも規定する。本実施の形態では、ＭＦＰ１００から発生する動作音が小さい状態は、ＭＦＰ１００が動作していない状態を含む。

通知部３２５は、音声データ４０による操作指令５７１がＭＦＰ１００により処理されたとき、または処理が完了したとき、ガイダンスデータ３４４に基づき“指令が処理された（または処理完了）”した旨の音声データを生成し、ＭＦＰ１００または音声処理装置２００に送信する。これにより、発話の音声データ４０による操作指令５７１が処理されることを、音声処理装置２００のスピーカー２９またはＭＦＰ１００のスピーカー１７８から音声で出力することができる。

なお、通知部３２５からの通知は、音声処理装置２００またはＭＦＰ１００による音声出力に限定されない。例えば、ランプの点灯、ディスプレイを用いてよく、またはユーザーの携帯型端末に当該通知を送信するとしてもよい。この場合は、ＭＦＰ１００または音声処理装置２００から離れて居るユーザーに対しては、携帯型端末から音声、画像または点灯などにより通知することができる。

＜Ｄ．ＭＦＰ１００の機能構成＞
図９は、実施の形態にかかるＭＦＰ１００の機能構成の一例を模式的に示す図である。図１０は、実施の形態にかかる可能指令テーブル３４３の一例を模式的に示す図である。図９を参照して、ＭＦＰ１００は、指令受付部１１０、装置側生成部１０１、指令処理部１２０、ユーザー指令受付部１３０および状態提供部１４０を備える。指令受付部１１０は、サーバー３００から送信された操作指令５７１（ジョブデータ５０またはフレーム５７）または禁止/許可コマンド５７３を通信Ｉ／Ｆ１５６を介して受付ける。ユーザー指令受付部１３０は、ユーザーが操作部１７２を操作することによりＭＦＰ１００に対して入力する操作指令を受付ける。指令処理部１２０は、指令受付部１１０またはユーザー指令受付部１３０が受付ける操作指令、または装置側生成部１０１からの操作指令５７２を処理する。具体的には、操作指令を解釈して制御データを生成し、生成された制御データを、画像形成ユニット１８０を含む各部に出力する。

ＭＦＰ１００の画像形成ユニット１８０の各部では、制御データが例えば電気信号等の駆動信号に変換されて、各部は駆動信号に従い駆動される。その結果、ユーザーは発話により、ＭＦＰ１００を制御することができる。

状態提供部１４０は、ＭＦＰ１００の状態６１を周期的に検知する状態検知部１４１を含む。状態検知部１４１は、ＭＦＰ１００の各部から出力される信号またはデータに基づき、または、記憶部１６０に格納されたＭＦＰ１００の動作モードを示すモードデータ１６１に基づき、ＭＦＰ１００の状態６１を検知する。状態提供部１４０は、検知された状態６１を周期的にサーバー３００に送信する。または、状態提供部１４０は、ＭＦＰ１００の状態６１が変化したとき、状態６１をサーバー３００に送信する。これにより、状態提供部１４０は、サーバー３００に、ＭＦＰ１００の最近の状態６１を送信することができる。

装置側生成部１０１は、音声認識部１０６と、音声処理部１０５を含む。音声認識部１０６は、マイク１７７により集音される発話の音声を認識し、音声処理部１０５は認識結果に基くＭＦＰ１００（または画像形成ユニット１８０）を操作する操作指令５７２を生成する。音声認識部１０６は、集音された発話による音声データを認識する。音声処理部１０５は、その認識結果（例えば、文字列のテキストデータ）に基づき記憶部１６０の可能指令テーブル３４３を検索する。音声処理部１０５は、検索の結果に基づき、可能指令テーブル３４３から認識結果に対応する操作指令５７２を読出す。これにより、マイク１７７を介して集音した発話による操作指令５７２が生成される。

装置側生成部１０１はＭＦＰ状態３４１または指令受付部１１０からの禁止/許可コマンド５７３に基づき、操作指令５７２を生成するか否かを決定してもよい。具体的には、装置側生成部１０１は、ＭＦＰ状態３４１が所定状態を示すときは、当該操作指令５７２を生成し、禁止/許可コマンド５７３が“許可”を示すときは、当該操作指令５７２を生成する。装置側生成部１０１は、マイク１７７をＯＮ／ＯＦＦすることにより、または音声処理部１０５または音声認識部１０６を起動するか停止するかにより、操作指令５７２を生成するか否かを決定してもよい。

また、指令処理部１２０は、ＭＦＰ状態３４１または指令受付部１１０からの禁止/許可コマンド５７３に基づき、装置側生成部１０１からの操作指令５７２を各部に出力するか否かを決定してもよい。

これにより、マイク１７７を介して集音した発話の音声に基づく操作指令５７２は、ＭＦＰ状態３４１が所定状態を示すとき、または禁止/許可コマンド５７３が“許可”を示すときのみ、画像形成ユニット１８０の各部に出力される。

なお、音声処理部１０５が入力する音声は、マイク１７７からの経路に限定されない。例えば、音声処理装置２００がＭＦＰ１００に接続される場合は、音声処理部１０５は、音声処理装置２００から発話による音声データ４０を入力しても良い。

図１０を参照して、可能指令テーブル３４３は、所定種類の操作指令５７２を含む。所定種類の操作指令５７２は、ＭＦＰ１００（画像形成ユニット１８０）がジョブを実行中にＭＦＰ１００を操作可能な操作指令のうち、他の操作指令よりも優先して処理されるべき種類の指令を含む。より具体的には、操作指令５７２は、ジョブの実行を停止または中断させるための操作指令（キャンセル、ストップ、止めて）を含む。

このように、装置側生成部１０１は、発話の音声から、所定種類の操作指令５７２に限定して認識できればよいから、操作指令５７２の生成に必要なリソースおよび処理負荷を、サーバー側生成部３２４に比較して少なくすることができる。

図１０に示す各部は、ＣＰＵ１５０が記憶部１６０または記録媒体１７６に格納されたプログラムを実行することにより実現される。なお、図１０の各部は、ＡＳＩＣまたはＦＰＧＡなどの回路、または回路とプログラムの組合せにより実現されてもよい。

＜Ｅ．処理フロー＞
図１１は、本実施の形態にかかる処理のフローチャートの一例を示す図である。図１２は、本実施の形態にかかるＭＦＰ１００の状態に応じた処理のフローチャートの一例を示す図である。図１１と図１２のフローチャートは、サーバー３００が実施する処理とＭＦＰ１００が実施する処理が関連付けて示されている。図１１と図１２では、ＭＦＰ１００は、ジョブデータ５０の操作指令５７１を処理する場合を説明するが、フレーム５７の操作指令５７１を処理する場合であっても同様の処理を適用することができる。

（ｅ１．全体処理）
図１１を参照して、ＭＦＰ１００の状態に応じて装置側生成部１０１が操作指令５７２を生成するか否かを切替える処理を説明する。まず、ユーザーは、ジョブデータ５０の操作指令５７１を発話する。音声処理装置２００は、ユーザーの発話による音声を集音し、音声データ４０を生成しサーバー３００に送信する。サーバー３００は音声データ４０を受信し（ステップＴ１）、音声認識エンジン３１０は、受信された音声データ４０を認識処理し（ステップＴ３）、サーバー側生成部３２４は、認識結果に基づく操作指令５７１を生成する（ステップＴ５）。サーバー側生成部３２４は、生成された操作指令５７１を含むジョブデータ５０を生成する（ステップＴ７）。ＭＦＰ制御モジュール３２０は、生成されたジョブデータ５０をＭＦＰ１００に送信するように、ネットワークコントローラー３５を制御する（ステップＴ９）。このとき、操作指令５７１を含むフレーム５７が送信されてもよい。

通知部３２５は、操作指令５７１を有するジョブデータ５０がＭＦＰ１００で処理完了した旨の通知５７４を、例えば音声処理装置２００に送信する。音声処理装置２００は、通知５７４に基づく音声をスピーカー２９から出力する。

ＭＦＰ１００では、指令受付部１１０は、サーバー３００からジョブデータ５０を受信する（ステップＴ１３）。指令処理部１２０は、指令受付部１１０を介して受付けたジョブデータ５０の操作指令５７１を処理する（ステップＴ１５）。これにより、画像形成ユニット１８０の各部に制御データが出力される。

装置側生成部１０１は、マイク１７７を介してユーザーの発話による音声を受け付けるか否か、すなわちマイク１７７から音声が出力されるか否かを判断する（ステップＴ１９）。装置側生成部１０１は、音声を受付けたことを判断すると（ステップＴ１９でＹＥＳ）、音声処理部１０５および音声認識部１０６は、受付けた音声を認識する（ステップＴ２１）。装置側生成部１０１は、認識結果に基づき可能指令テーブル３４３を検索する。装置側生成部１０１は、検索結果に基づき、認識結果は可能指令テーブル３４３が有する操作指令５７２、すなわち上記に述べた優先して処理すべき操作指令５７２を示すか否かを判断する（ステップＴ２３）。

装置側生成部１０１は、マイク１７７を介した音声の認識結果は可能指令テーブル３４３における優先して処理すべき操作指令５７２を示すと判定すると（ステップＴ２３でＹＥＳ）、可能指令テーブル３４３から検索された操作指令５７２を指令処理部１２０に出力する。指令処理部１２０は、操作指令５７２を処理することにより、操作指令５７２に従い各部を画像形成ユニット１８０の各部を制御する（ステップＴ２５）。ステップＴ２５では、実行中のジョブデータ５０の処理が中断または停止する。ＣＰＵ１０１は、ＭＦＰ状態３４１をジョブデータ５０または操作指令５７１の処理の中断または停止を示すように更新（変更）する（ステップＴ２７）。

一方、装置側生成部１０１は、マイク１７７から音声を受付けていないと判定すると（ステップＴ１９でＮＯ）または、受付た音声の認識結果は可能指令テーブル３４３における操作指令５７２を示さないと判定すると（ステップＴ２３でＮＯ）、ＣＰＵ１０１は、画像形成ユニット１８０からの出力等に基づき、操作指令５７１を含むジョブデータ５０の処理が終了したか否かを判定する（ステップＴ２９）。ＣＰＵ１０１は、操作指令５７１を含むジョブデータ５０の処理が終了していないと判定すると（ステップＴ２９でＮＯ）、ステップＴ１９戻る。また、ＣＰＵ１０１は、操作指令５７１を含むジョブデータ５０の処理が終了していると判定すると（ステップＴ２９でＹＥＳ）、ＣＰＵ１０１は、ＭＦＰ状態３４１を、操作指令５７１を含むジョブデータ５０の処理が終了したことを示すように更新（変更）する（ステップＴ３１）。

図１１によれば、ＭＦＰ１００が操作指令５７１を含むジョブデータ５０のジョブを実行中に、ＭＦＰ１００のマイク１７７を介して集音したユーザーの発話による音声が操作指令５７２を示すときは（すなわち、ジョブ実行中に処理され得る操作指令のうち優先して処理されるべき操作指令を示すときは）、操作指令５７２が処理される。

上記に述べたステップＴ１９で、装置側生成部１０１が音声を受付けることで、ＭＦＰ１００は、受付けた音声に基づく操作指令５７２により、操作指令５７１を含むジョブの実行を中断または停止する。ステップＴ１９で、装置側生成部１０１が音声を受付けるか否かは、図１２に示すように、サーバー３００からの禁止/許可コマンド５７３により、すなわちＭＦＰ１００の状態に応じて切り替えることができる。

（ｅ２．装置側生成部１０１による操作指令の生成の許可/禁止）
サーバー３００がＭＦＰ１００の状態に基づく禁止/許可コマンド５７３を送信する処理を説明する。図１２を参照して、サーバー３００の状態取得部３２２は、状態を取得するためのコマンドをＭＦＰ１００に送信する（ステップＳ３）。ＭＦＰ１００の状態提供部１４０はサーバー３００から送信された当該コマンドを受付け、状態検知部１４１は当該コマンドに従いＭＦＰ１００の状態を検知する（ステップＳ５，Ｓ７）。状態提供部１４０は、検知された状態６１をサーバー３００に送信するよう通信Ｉ／Ｆ１５６を制御する（ステップＳ９）。

サーバー３００の状態取得部３２２は、ＭＦＰ１００から状態６１を受信し（ステップＳ１１）、記憶部１６０のＭＦＰ状態３４１を受信した状態６１を示すように更新する。禁止/許可コマンド生成部３２１は、ＭＦＰ状態３４１に基づき指令可否テーブル３４２を検索する（ステップＳ１３）。禁止/許可コマンド生成部３２１は、検索の結果に基き、指令可否テーブル３４２から、ＭＦＰ状態３４１に一致する状態３４２１に対応の指令生成可否のデータ３４２２を読出す。禁止/許可コマンド生成部３２１は、読出された指令生成可否のデータ３４２２に従い、装置側生成部１０１による操作指令５７２の生成を許可するか禁止するかを判定する（ステップＳ１５）。

例えば、ＭＦＰ状態３４１が所定状態である“ジョブ実行中”を示す場合は、対応の指令生成可否のデータ３４２２は“ＮＧ”を示し（図８参照）、禁止/許可コマンド生成部３２１は、装置側生成部１０１による操作指令５７２の生成を禁止すると判定する（ステップＳ１５でＮＯ）。ＣＰＵ３０は、音声処理装置２００にＯＦＦのコマンド５７５を送信する（ステップＳ１７）。音声処理装置２００のＣＰＵ２０は、サーバー３００において音声データ４０に基づく操作指令５７１の生成がなされないように音声処理装置２００を制御する。例えば、ＣＰＵ２０は、ステップＳ１７でサーバー３００から送信されたコマンド５７５に従い、マイク２４をオフにする。これにより、ＣＰＵ３０は、ＭＦＰ１００が所定状態であるとき、サーバー側生成部３２４による操作指令５７１の生成を禁止する。

なお、ステップＳ１７では、音声データ４０に基づく操作指令５７１の生成を禁止するために、ＣＰＵ３０は、音声認識エンジン３１０またはサーバー側生成部３２４を、処理を実施しないようにオフ状態に設定してもよい。

禁止/許可コマンド生成部３２１は、“許可”に設定した禁止/許可コマンド５７３を生成し、ＭＦＰ１００に送信する（ステップＳ１９）。ＣＰＵ３０は、ステップＳ１７で送信したコマンド５７５またはステップＳ１９で送信した禁止/許可コマンド５７３を、それぞれ時間データと関連付けて記憶部３４のＯＮ/ＯＦＦデータ領域３４５に保存（格納）する（ステップＳ２１）。

一方、ＭＦＰ状態３４１が非所定状態の“低回転モード”を示す場合は、対応の指令生成可否のデータ３４２２は“ＯＫ”を示し（図８参照）、禁止/許可コマンド生成部３２１は、装置側生成部１０１による操作指令５７２の生成を禁止すると判定する（ステップＳ１５でＹＥＳ）。

ＣＰＵ３０は、音声処理装置２００にＯＮのコマンド５７５を送信する（ステップＳ２３）。音声処理装置２００のＣＰＵ２０は、サーバー３００において音声データ４０に基づく操作指令５７１の生成が許可（実施）されるように音声処理装置２００を制御する。例えば、ＣＰＵ２０は、ステップＳ２３でサーバー３００から送信されたコマンド５７５に従い、マイク２４をオンにする。

なお、ステップＳ１７では、音声データ４０に基づく操作指令５７１の生成が実施されるようにするために、ＣＰＵ３０は、音声認識エンジン３１０またはサーバー側生成部３２４を、処理を実施するようにオン状態に設定してもよい。

禁止/許可コマンド生成部３２１は、“禁止”に設定した禁止/許可コマンド５７３を生成し、ＭＦＰ１００に送信する（ステップＳ２５）。ＣＰＵ３０は、ステップＳ２３で送信したコマンド５７５またはステップＳ２５で送信した禁止/許可コマンド５７３を時間データと関連付けて記憶部３４のＯＮ/ＯＦＦデータ領域３４５に保存（格納）する（ステップＳ２７）。

ＭＦＰ１００では、指令受付部１１０は、サーバー３００から禁止/許可コマンド５７３を受信し（ステップＳ３１）、ＣＰＵ１５０は、禁止/許可コマンド５７３が“禁止”を示すと判定すると（ステップＳ３２で“禁止”）、マイク１７７が集音した発話の音声に基づく操作指令５７２の生成を禁止する（生成しない）ように装置側生成部１０１を制御する（ステップＳ３３）。また、ＣＰＵ１５０は、禁止/許可コマンド５７３が“許可”を示すと判定すると（ステップＳ３２で“許可”）、マイク１７７が集音した発話の音声に基づく操作指令５７２の生成を許可（生成する）ように装置側生成部１０１を制御する（ステップＳ３５）。

図１２によれば、サーバー３００のＣＰＵ３０は、ＭＦＰ１００が所定状態（例えば、ジョブ実行状態）であるとき、ＭＦＰ１００の装置側生成部１０１による操作指令５７２の生成を許可するための禁止/許可コマンド５７３を送信し、およびＭＦＰ１００が非所定状態（例えば、低回転モード）であるとき、装置側生成部１０１による操作指令５７２の生成を禁止するための禁止/許可コマンド５７３を送信する。

図１１のステップＴ１９に戻ると、サーバー３００からの禁止/許可コマンド５７３が操作指令５７２の生成の許可を示すとき、装置側生成部１０１はマイク１７７を介してユーザーの発話による音声を受付けることが可能となる（ステップＴ１９でＹＥＳ）。これに対して、サーバー３００からの禁止/許可コマンド５７３が操作指令５７２の生成の禁止を示すとき、装置側生成部１０１はマイク１７７を介してユーザーの発話による音声を受付けることが不可能となる（ステップＴ１９でＮＯ）。

なお、通知部３２５は、ステップＳ２１およびステップＳ２７においてＯＮ/ＯＦＦデータ領域３４５に格納されているデータを通知してもよい。具体的には、通知部３２５は、ＯＮ/ＯＦＦデータ領域３４５のデータに基き、音声処理装置２００（より特定的にはマイク２４）のＯＮ/ＯＦＦの切替え、およびＭＦＰ１００の装置側生成部１０１による操作指令５７１の生成の禁止/許可の切替えの履歴（時系列データ）の通知を作成する。通知部３２５は、作成した通知を出力コマンドとともに、音声処理装置２００またはＭＦＰ１００に送信する。音声処理装置２００は、通知部３２５からの出力コマンドに従い履歴の通知をスピーカー２９から音声出力する。また、ＭＦＰ１００は、通知部３２５からの出力コマンドに従い、履歴の通知を表示部１７１またはスピーカー１７８から出力する。

これにより、ユーザーは、発話による音声処理装置２００を介した操作指令５７１および発話によるＭＦＰ１００のマイク１７７を介した操作指令５７２によるＭＦＰ１００の操作の履歴（実行中のジョブの中断、停止、キャンセル等）を管理することができる。

（ｅ３．処理の変形例）
図１２のステップＳ１７、Ｓ２３、Ｓ３３およびＳ３５では、装置側生成部１０１による操作指令５７２の生成が許可される場合は、サーバー３００での操作指令５７１の生成が禁止される（音声認識がされない、または音声処理装置２００のマイク２４がオフ）としているが、操作指令５７２の生成が許可される場合にサーバー３００での操作指令５７１の生成も許可されてよい。この場合、ＭＦＰ１００が所定状態であるときに、指令処理部１２０は操作指令５７１および５７２の両方を受付けることになる。指令処理部１２０は、これら受付ける操作指令のうち所定種類の操作指令（可能指令テーブル３４３に登録されテイル操作指令）のみに限定して処理する。したがって、ＭＦＰ１００が所定状態において意図しない操作指令（すなわち、可能指令テーブル３４３に登録された操作指令５７２とは異なる操作指令）が処理される事態を防止することができる。

（ｅ４．処理のさらなる変形例）
図１２では、ステップＳ１７とＳ２３において、サーバー３００はＭＦＰ状態３４１に応じて音声処理装置２００のオン/オフ（マイク２４のオン/オフ）の切替えを実施するとともに、ステップＳ１９とＳ２５において、サーバー３００は装置側生成部１０１による操作指令５７２の生成の許可/禁止の切替えを実施したが、これらを実施する主体はサーバー３００に限定されず、ＭＦＰ１００であってもよい。

この場合、ＭＦＰ１００は、状態検知部１４１が検知するＭＦＰ１００の状態６１に応じて、音声処理装置２００のオン/オフ（マイク２４のオン/オフ）の切替えを制御するコマンドを音声処理装置２００に送信し、また、操作指令５７２の生成の許可/禁止の切替えを制御するコマンドを装置側生成部１０１に出力する。これにより、サーバー３００とＭＦＰ１００間のネットワーク４００を経由した通信を省略することができる。

＜Ｆ．プログラム＞
本実施の形態では、上記に述べた処理をＭＦＰ１００およびサーバー３００に実行させるためのプログラムが提供される。このようなプログラムは、少なくとも上記の図１１または図１２のフローチャートに従う処理のプログラムを含む。ＭＦＰ１００およびサーバー３００のコンピューターに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピューター読み取り可能な記録媒体１７６，３７に記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワーク４００を介したダウンロードによって、プログラムを提供することもできる。プログラムは、ＣＰＵなどの１つ以上のプロセッサにより、またはプロセッサとＡＳＩＣ，ＦＰＧＡなどの回路との組合せにより実行され得る。

なお、プログラムは、コンピューターのＯＳ（Operating System)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して、プロセッサに処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、各実施の形態のプログラムに含まれ得る。

また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して、プロセッサに処理を実行させる。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ システム、２４，１７７ マイク、４０ 音声データ、５０ ジョブデータ、６１，３４１，３４２１ 状態、１０１ 装置側生成部、１０５ 音声処理部、１０６ 音声認識部、１１０ 指令受付部、１２０ 指令処理部、１３０ ユーザー指令受付部、１４０ 状態提供部、１４１ 状態検知部、１５１ 画像処理部、１５２ 画像形成部、１５３ ファクシミリ制御部、１５４ 画像出力部、１７９ 人感センサ、１８０ 画像形成ユニット、２００ 音声処理装置、３００ サーバー、３１０ 音声認識エンジン、３２０ 制御モジュール、３２１ 禁止/許可コマンド生成部、３２２ 状態取得部、３２４ サーバー側生成部、３２５ 通知部、３４０ 辞書、３４２ 指令可否テーブル、３４３ 可能指令テーブル、３４４ ガイダンスデータ、３４５ ＯＮ/ＯＦＦデータ領域、４００ ネットワーク、５７１，５７２ 操作指令、５７３ 禁止/許可コマンド、５７４ 通知、５７５ コマンド。

Claims (13)

1. 画像形成装置と、
   発話の音声を集音する音声処理装置と、
   サーバーと、を備え、
   前記画像形成装置は、
   発話の音声を認識し当該画像形成装置の操作指令を生成する装置側生成部を含み、
   前記サーバーは、
   当該サーバーを制御する制御部と、
   前記画像形成装置および前記音声処理装置と通信する通信回路と、を含み、
   前記制御部は、
   前記音声処理装置から受信する音声を認識し前記操作指令を生成するサーバー側生成部を含み、
   前記画像形成装置は、
   前記サーバーから受信する操作指令および前記装置側生成部が生成する操作指令の一方を処理する、システム。
2. 前記画像形成装置は、当該画像形成装置の状態に応じて、前記サーバーから受信する操作指令および前記装置側生成部が生成する操作指令の一方を処理する、請求項１に記載のシステム。
3. 前記制御部は、
   前記画像形成装置が所定状態であるとき、前記装置側生成部による操作指令の生成を許可するコマンドを前記画像形成装置に送信するよう前記通信回路を制御し、および前記画像形成装置が非所定状態であるとき、前記装置側生成部による操作指令の生成を禁止するコマンドを前記画像形成装置に送信するよう前記通信回路を制御する、請求項１または２に記載のシステム。
4. 前記制御部は、
   前記画像形成装置が所定状態であるとき、前記サーバー側生成部による操作指令の生成を禁止する、請求項１から３のいずれか１項に記載のシステム。
5. 前記制御部は、前記サーバー側生成部による操作指令の生成が禁止される場合、所定通知を出力させるコマンドを前記音声処理装置に送信する、請求項４に記載のシステム。
6. 前記所定状態は、前記画像形成装置がジョブを実行中の状態を含む、請求項３から５のいずれか１項に記載のシステム。
7. 前記装置側生成部が生成する操作指令は、前記ジョブを実行中の前記画像形成装置を操作する指令のうち、他の指令よりも優先して処理される操作指令を含む、請求項６に記載のシステム。
8. 前記優先して処理される操作指令は、前記ジョブの実行を停止または中断させるための操作指令を含む、請求項６または７に記載のシステム。
9. 前記画像形成装置は、当該画像形成装置の状態を前記サーバーに送信する、請求項１から８のいずれか１項に記載のシステム。
10. 前記装置側生成部が音声認識により生成するべき操作指令の種類は、前記サーバー側生成部が音声認識により生成するべき操作指令の種類よりも少ない、請求項１から９のいずれか１項に記載のシステム。
11. サーバーとネットワーク接続される画像形成装置であって、
    画像形成ユニットと、
    制御部と、を備え、
    前記サーバーは、音声処理装置から受信する発話に基づく音声を認識し前記画像形成ユニットの操作指令を生成するよう構成されて、
    前記制御部は、
    発話に基づく音声を認識し前記操作指令を生成する指令生成部を有し、
    前記制御部は、
    前記サーバーから受信する操作指令および前記指令生成部が生成する操作指令の一方を処理する、画像形成装置。
12. サーバーとネットワーク接続される画像形成装置に備えられるプロセッサが実行する方法であって、
    前記画像形成装置は、さらに画像形成ユニットを備え、
    前記サーバーは、音声処理装置から受信する発話に基づく音声を認識し前記画像形成ユニットを操作する操作指令を生成するよう構成されて、
    前記方法は、
    前記サーバーから操作指令を受信するステップと、
    発話に基づく音声を認識し前記操作指令を生成するステップと、
    前記受信するステップにおいて受信される操作指令および前記生成するステップにおいて生成される操作指令の一方を処理するステップとを備える、方法。
13. 請求項１２に記載の方法をコンピューターに実行させるためのプログラム。

Images