JP2021091182A

JP2021091182A - 画像処理装置及び制御方法

Info

Publication number: JP2021091182A
Application number: JP2019224219A
Authority: JP
Inventors: 小巻　由夫; Yoshio Komaki; 由夫小巻
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-06-17

Abstract

【課題】早期に音声認識結果を取得して、実行中のジョブを停止させる画像処理装置を提供する。【解決手段】利用者の音声指示に従ってジョブを実行する画像形成装置は、サーバー装置において利用者の音声に音声認識処理を施して生成した実行コマンドを受信する受信処理部１１５、利用者から音声の入力を受け付けるマイクロホン１７、マイクロホン１７により受け付けた音声に音声認識処理を施して停止コマンドを生成する専用音声操作部１２５及び停止コマンドにより、実行コマンドに基づき実行中のジョブを停止させるジョブ制御部１２２を備える。【選択図】図２

Description

本開示は、画像処理装置において、利用者の音声指示に従って生成されたコマンドによってジョブを実行する技術に関する。

近年、画像処理装置は、音声入力機能及び音声認識機能を備え、利用者の音声を認識することにより、音声による指示を受け付けるようになってきている（特許文献１、２）。

また、特許文献３には、クライアントとサーバーとからなる音声認識システムが開示されている。音声入力をクライアントで行い、クライアントで得た音声データをサーバーに送り、音声認識をサーバーで行なう。

特開２０１７−３２８４４号公報特開２０１９−８３４９７号公報特開２００４−１２６５３号公報

特許文献３により開示された技術のように、サーバー型の音声認識を行うと、一般的にサーバーは、高速の処理性能を有するので、サーバーにおいて音声認識に要する時間は、短くてすむ。一方、クライアントからサーバーに対して、音声データを送信するための時間、及び、サーバーからクライアントに対して、音声認識結果を送信するため時間を要する。

ここで、サーバー型の音声認識を行なう画像処理装置において、利用者が音声操作により、誤った設定をして、ジョブの実行を指示した場合を想定すると、その直後に、利用者が「キャンセル」と発話しても、画像処理装置がその発話内容をサーバーに送信し、サーバーから音声認識結果を取得するまでに、時間を要するため、「キャンセル」に対する認識結果を受け取った時点においては、ジョブが途中まで進行し、又は、既にジョブが完了している場合がある。

本開示の態様は、このような問題を解決するため、早期に音声認識結果を取得して、音声指示による実行中のジョブを停止させ、又は、音声指示を取り消すことができる画像処理装置及び制御方法を提供することを目的とする。

本開示の一態様は、利用者の音声指示に従って生成されたコマンドによってジョブを実行する画像処理装置であって、サーバー装置が利用者の第一音声に対して、音声を前記画像処理装置により認識できるテキストデータに変換する音声認識処理を施して生成した第一コマンドを受信する受信手段と、利用者の第二音声に前記音声認識処理を施して第二コマンドを生成する音声認識手段と、前記第二コマンドにより、前記第一コマンドに基づく実行中のジョブの停止、及び、ジョブを実行する前の当該ジョブに対する前記第一コマンドの取消しのいずれか一方を行う制御手段とを備えることを特徴とする。

ここで、さらに、利用者から音声の入力を受け付ける入力手段を備え、前記入力手段は、前記第一音声の入力を受け付けた後に、前記第二音声の入力を受け付け、前記第二音声は、前記第一音声による指示を取り消す指示である、としてもよい。

ここで、さらに、前記画像処理装置と直接、接続された外部の音声入力装置から、利用者の音声を受信する受信手段を備え、前記受信手段は、前記第一音声を受信した後に、前記第二音声を受信し、前記第二音声は、前記第一音声による指示を取り消す指示である、としてもよい。

ここで、さらに、ジョブの実行を管理する管理手段を備え、前記管理手段により、前記第一コマンドに基づくジョブが実行中として管理されている場合、前記制御手段は、前記第二コマンドにより、実行中の前記ジョブを停止させてもよい。

ここで、さらに、ジョブの実行を管理する管理手段を備え、前記制御手段は、前記管理手段により、前記第一コマンドに基づくジョブが実行中として管理されている場合、前記第二コマンドにより、実行中として管理されている全てのジョブを停止させてもよい。

ここで、前記第二コマンドの生成の後に、前記第一コマンドを受信する場合、前記制御手段は、前記第二コマンドにより、前記第一コマンドを取り消してもよい。

ここで、前記第一コマンドは、プリントジョブ、コピージョブ又はスキャンジョブの実行を指示する命令である、としてもよい。

ここで、前記第二音声は、感嘆詞を含み、前記音声認識手段は、利用者の発話内容を想定した語句として、感嘆詞を含む音声辞書を有し、前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、音声辞書から、生成した前記文字列に対応する語句として、感嘆詞を抽出し、抽出された感嘆詞を用いて、前記第二コマンドを生成してもよい。

ここで、前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、さらに、生成した前記文字列が所定の閾値より長いか否かを判断し、さらに、前記文字列が所定の閾値より長いと判断される場合、利用者に注意を喚起するメッセージを音声として出力する音声出力手段を備えてもよい。

ここで、さらに、前記制御手段により、前記第一コマンドに基づく実行中のジョブを停止させ、又は、前記第一コマンドを取り消す場合、その旨を示すメッセージを音声として出力する音声出力手段を備えてもよい。

ここで、前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、音声辞書から、生成した前記文字列に対応する語句を検索し、さらに、前記音声認識手段により、前記音声辞書から、前記文字列に対応する語句を発見できない場合、前記第二音声に音声認識を施すために、前記第二音声を前記サーバー装置に対して送信する送信手段を備えてもよい。

ここで、さらに、前記サーバー装置から、受け付けた前記第二音声に対する音声認識処理の結果の語句を受信する受信手段と、受信した語句を前記音声辞書に登録する登録手段とを備えてもよい。

また、本開示の一態様は、利用者の音声指示に従って生成されたコマンドによってジョブを実行する画像処理装置で用いられる制御方法であって、サーバー装置が利用者の第一音声に対して、音声を前記画像処理装置により認識できるテキストデータに変換する音声認識処理を施して生成した第一コマンドを受信する受信ステップと、利用者の第二音声に前記音声認識処理を施して第二コマンドを生成する音声認識ステップと、前記第二コマンドにより、前記第一コマンドに基づく実行中のジョブの停止、及び、ジョブを実行する前の当該ジョブに対する前記第一コマンドの取消しのいずれか一方を行う制御ステップとを含むことを特徴とする。

上記の態様によると、早期に音声認識結果を取得して、音声指示による実行中のジョブを停止させ、又は、音声指示を取り消すことができるという優れた効果を奏する。

実施の形態１の通信システム１の構成を示す。制御回路１００の構成を示すブロック図である。サーバー装置２００の構成を示すブロック図である。パターンリスト２３１のデータ構造を示す。音声認識の手順を示す。通信システム１の動作を示すフローチャートである。（ａ）ジョブ制御部１２２の動作を示すフローチャートである。（ｂ）応答メッセージを音声出力する動作を示すフローチャートである。実施の形態１の通信システム１の各構成ユニットの時間経過に伴う動作を示すタイムチャートである。図９に続く。実施の形態１の通信システム１の各構成ユニットの時間経過に伴う動作を示すタイムチャートである。実施の形態２の通信システム１ａの動作を示すフローチャートである。実施の形態２のジョブ制御部１２２の動作を示すフローチャートである。実施の形態２の通信システム１ａの各構成ユニットの時間経過に伴う動作を示すタイムチャートである。変形例（１）の単語辞書２５１を示す。変形例（３）の動作を示すフローチャートである。変形例（４）の動作を示すフローチャートである。変形例（５）の動作を示すフローチャートである。変形例（６）の通信システム１ｂの構成を示す。変形例（６）のスマートスピーカー３００の構成を示すブロック図である。

１実施の形態１
本開示に係る実施の形態１としての通信システム１について図面を参照しながら説明する。

１．１通信システム１
通信システム１は、図１に示すように、画像形成装置１０（画像処理装置）とサーバー装置２００とが、ネットワーク２（例えば、ＬＡＮ：ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）を介して、相互に接続されて、構成されている。なお、ネットワーク２は、例えば、広域ネットワーク（ＷＡＮ：ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）としてもよい。

画像形成装置１０は、利用者の音声（第一音声）により指示を受け付ける。通常、画像形成装置１０は、音声データをサーバー装置２００に送信する。サーバー装置２００は、音声データに対して、画像形成装置１０により認識できるテキストデータに変換する音声認識処理を施して、画像形成装置１０を動作させる実行コマンドを生成し、生成した実行コマンドを画像形成装置１０に返送する。画像形成装置１０は、受け取った実行コマンド（第一コマンド）に従って、コピージョブ、プリントジョブ、スキャンジョブ等を実行する。利用者がその設定を誤るなどして、指示を取り消したい場合、画像形成装置１０は、利用者の音声（第二音声）により、先の指示を取り消す指示を受け付ける。画像形成装置１０は、利用者の音声（第二音声）を、サーバー装置２００に送信することなく、自身で音声認識を行い、ジョブの停止を示す停止コマンド（第二コマンド）を生成し、停止コマンドにより、実行中のジョブを停止させる。

１．２画像形成装置１０
画像形成装置１０は、図１に示すように、スキャナー、プリンター及びコピー機の機能を有するタンデム型のカラー複合機（ＭＦＰ：MultiFunction Peripheral）である。

画像形成装置１０は、この図に示すように、筐体底部に、記録シートを収容し、給送する給紙部１３が設けられている。給紙部１３の上方には、電子写真方式により画像を形成するプリンター１２が設けられている。プリンター１２のさらに上方に、原稿を読み取って画像データを生成するイメージリーダー１１、及び、操作画面を表示し、利用者から入力操作を受け付ける操作パネル１９が設けられている。

イメージリーダー１１は、自動原稿搬送装置を有している。自動原稿搬送装置は、原稿トレイにセットされた原稿を、搬送路を介して、１枚ずつ原稿ガラス板へ搬送する。イメージリーダー１１は、自動原稿搬送装置によって原稿ガラス板の所定位置に搬送された原稿、又は、利用者により原稿ガラス板の上に載置された画像をスキャナーの移動によって読み取り、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の多値デジタル信号からなる画像データを得る。

イメージリーダー１１で得られた各色成分の画像データは、制御回路１００において各種のデータ処理を受け、更にイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の各再現色の画像データに変換される。

プリンター１２は、駆動ローラーと従動ローラーとバックアップローラーとにより張架される中間転写ベルト２１、二次転写ローラー２２、中間転写ベルト２１に対向して中間転写ベルト２１の走行方向Ｘに沿って所定間隔で配置された作像部２０Ｙ、２０Ｍ、２０Ｃ、２０Ｋ、定着部５０、制御回路１００等からなる。

作像部２０Ｙ、２０Ｍ、２０Ｃ、２０Ｋは、それぞれ、Ｙ、Ｍ、Ｃ、Ｋ色のトナー像を作像する。具体的には、各作像部は、像担持体である感光体ドラム、感光体ドラム表面を露光走査するためのＬＥＤアレイ、帯電チャージャー、現像器、クリーナー及び一次転写ローラーなどからなる。

給紙部１３は、サイズの異なる記録シートを収容する給紙カセット６０、６１、６２と、この記録シートを各給紙カセットから搬送路に繰り出すためのピックアップローラー６３、６４、６５とから構成されている。

作像部２０Ｙ〜２０Ｋのそれぞれにおいて、各感光体ドラムは、帯電チャージャーにより一様に帯電され、ＬＥＤアレイにより露光され、感光体ドラムの表面に静電潜像が形成される。各静電潜像は、対応する色の現像器により現像され、各感光体ドラムの表面にＹ〜Ｋ色のトナー像が形成され、トナー像は、中間転写ベルト２１の裏面側に配設された各一次転写ローラーの静電作用により、中間転写ベルト２１の表面上に順次転写される。

中間転写ベルト２１上で、Ｙ〜Ｋ色のトナー像が多重転写されるように、各色の作像タイミングがずらされている。

一方、給紙部１３のいずれかの給紙カセットから、作像部２０Ｙ〜２０Ｋによる作像動作に合わせて、記録シートが給送される。

記録シートは、二次転写ローラー２２とバックアップローラーとが中間転写ベルト２１を挟んで対向する二次転写位置へと搬送路上を搬送され、二次転写位置で、二次転写ローラー２２の静電的作用により、中間転写ベルト２１上で多重転写されたＹ〜Ｋ色のトナー像が記録シートへ二次転写される。Ｙ〜Ｋ色のトナー像が二次転写された記録シートは、さらに定着部５０まで搬送される。

記録シートの表面のトナー像は、定着部５０の加熱ローラー５１とこれに圧接された加圧ローラー５２との間に形成される定着ニップを通過する際に、加熱及び加圧により、記録シートの表面に融着して定着され、記録シートは、定着部５０を通過した後、排出トレイ１５へ送出される。

操作パネル１９には、液晶表示板などで構成される表示部が設けられ、利用者によって設定された内容や各種のメッセージを表示する。操作パネル１９は、利用者からの、コピー開始の指示、コピー枚数の設定、複写条件の設定、データの出力先の設定などを受け付け、受け付けた内容を制御回路１００に通知する。また、操作パネル１９には、ＬＥＤランプ１６、マイクロホン１７及びスピーカー１８が設けられている。また、操作パネル１９は、複数の操作ボタンを備えている。複数の操作ボタンのうち、特定の一つの音声入力開始ボタンに対する押下の操作は、利用者による音声指示の開始を示す。また、操作パネル１９に表示される特定の一つの音声入力開始アイコンに対する接触の操作がされたことにより、利用者による音声指示が開始される、としてもよい。

マイクロホン１７（入力手段）は、音波を受けて振動する振動板とともに、磁界内でコイルが振動することにより、アナログ電気信号としての音声信号を生成する。マイクロホン１７が受け取る音波は、利用者の音声であり、画像形成装置１０に対する指示が含まれる。マイクロホン１７は、生成した音声信号を音声入力回路１１１（後述する）に対して出力する。マイクロホン１７は、ジョブの実行を指示する第一音声を受け付け、その後、第一音声による指示を取り消す指示である第二音声を受け付ける。

スピーカー１８（音声出力手段）は、音声出力回路１１２（後述する。音声出力手段）からアナログ電気信号としての音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。

ＬＥＤランプ１６は、サーバー装置２００に対して、音声データを送信して音声認識処理を依頼している時間帯において、点灯する。それ以外の時間帯において、消灯する。

１．３制御回路１００
制御回路１００は、図２に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、画像メモリ１０４、画像処理回路１０５、ネットワーク通信回路１０６、スキャナー制御回路１０７、入出力回路１０８、プリンター制御回路１０９、記憶回路１１０、音声入力回路１１１及び音声出力回路１１２等から構成されている。

記憶回路１１０は、例えば、不揮発性の半導体メモリ等から構成されている。もちろん、記憶回路１１０は、ハードディスクから構成されている、としてもよい。

ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、主制御部１０１ａを構成している。

ＲＡＭ１０３は、各種の制御変数及び操作パネル１９により設定されたコピー枚数などを一時記憶すると共に、ＣＰＵ１０１によるプログラム実行時のワークエリアを提供する。

ＲＯＭ１０２には、コピー動作などの各種ジョブを実行させるための制御プログラムなどが格納されている。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されている制御プログラムに従って動作する。

ＣＰＵ１０１が、制御プログラムに従って動作することにより、主制御部１０１ａは、機能的に、全体制御部１２１、ジョブ制御部１２２、音声入力切替部１２３、音声操作部１２４及び専用音声操作部１２５を構成する。

全体制御部１２１は、画像メモリ１０４、画像処理回路１０５、ネットワーク通信回路１０６、スキャナー制御回路１０７、入出力回路１０８、プリンター制御回路１０９、記憶回路１１０、音声入力回路１１１及び音声出力回路１１２等を統一的に制御する。

また、全体制御部１２１は、ジョブ制御部１２２、音声入力切替部１２３、音声操作部１２４及び専用音声操作部１２５を制御して、それぞれの動作を実行させる。

さらに、全体制御部１２１は、操作パネル１９から、入出力回路１０８を介して、利用者の操作指示を受け付ける。また、全体制御部１２１は、マイクロホン１７から、音声入力回路１１１を介して、利用者の音声指示を受け付ける。利用者の指示が、例えば、プリント指示である場合、全体制御部１２１は、プリンター制御回路１０９に対して、画像形成処理を実行させる。利用者の操作がその他の指示である場合、全体制御部１２１は、ネットワーク通信回路１０６、スキャナー制御回路１０７等に対して、その他の処理を実行させる。

画像メモリ１０４は、プリントジョブ等の画像データを一時的に記憶する。

画像処理回路１０５は、例えば、イメージリーダー１１で得られたＲ、Ｇ、Ｂの各色成分の画像データに対して、各種のデータ処理を施して、Ｙ、Ｍ、Ｃ、Ｋの各再現色の画像データに変換する。

ネットワーク通信回路１０６は、送信処理部１１４及び受信処理部１１５（受信手段）から構成されている。受信処理部１１５は、ネットワーク２介して、外部の装置からデータを受信する。また、送信処理部１１４は、ネットワーク２介して、外部の装置に対して、データを送信する。

スキャナー制御回路１０７は、イメージリーダー１１を制御し、原稿の画像の読み取り動作を実行させる。

プリンター制御回路１０９は、プリンター１２を制御し、画像形成を実行させる。

画像形成装置１０に対する音声指示が開始された場合、音声入力回路１１１（入力手段）は、全体制御部１２１の制御により、マイクロホン１７から受け取った音声信号をデジタル電気信号に変換し、さらに、符号化して符号化音声情報（以下、音声データ）を生成する。

音声出力回路１１２は、全体制御部１２１の制御により、音声データを、アナログの音声信号に変換して、音声信号をスピーカー１８に対して、出力する。

ジョブ制御部１２２、音声入力切替部１２３、音声操作部１２４及び専用音声操作部１２５については、以下に説明する。

１．４ジョブ制御部１２２、音声入力切替部１２３、音声操作部１２４及び専用音声操作部１２５
（１）ジョブ制御部１２２
ジョブ制御部１２２（制御手段、管理手段）は、サーバー装置２００から実行コマンドを受信し、また、専用音声操作部１２５から停止コマンドを受信する。ここで、実行コマンドは、画像形成装置１０において、ネットワークジョブ、コピージョブ、プリントジョブ、スキャンジョブ等を実行させるためのコマンドである。また、停止コマンドは、画像形成装置１０において、実行中のジョブを停止させるコマンドである。

実行コマンドを受信すると、ジョブ制御部１２２は、全体制御部１２１の制御により、受信した実行コマンドを実行する。つまり、ジョブ制御部１２２は、受信した実行コマンドに従って、ネットワーク通信回路１０６、スキャナー制御回路１０７、プリンター制御回路１０９に対して、ネットワークジョブ、コピージョブ、プリントジョブ、スキャンジョブ等を実行させる。

また、取消コマンドを受信すると、ジョブ制御部１２２は、全体制御部１２１の制御により、受信した取消コマンドを実行する。つまり、ジョブ制御部１２２は、受信した取消コマンドに従って、ネットワーク通信回路１０６、スキャナー制御回路１０７、プリンター制御回路１０９に対して、ネットワークジョブ、コピージョブ、プリントジョブ、スキャンジョブ等の実行を停止させる。

ジョブ制御部１２２は、実行中のジョブを示す実行ジョブリストを記憶している。実行ジョブリストは、実行中のジョブを識別するジョブ識別番号を含んでいる。ジョブの実行が開始されると、ジョブ制御部１２２は、実行ジョブリストに、そのジョブを識別するジョブ識別番号を書き込む。また、ジョブの実行が完了すると、ジョブ制御部１２２は、実行ジョブリストから、そのジョブを識別するジョブ識別番号を削除する。

ジョブ制御部１２２は、音声入力切替部１２３からの要求に応じて、実行中のジョブを示す実行ジョブリストを、音声入力切替部１２３に対して、出力する。

（２）音声入力切替部１２３
音声入力切替部１２３は、ジョブ制御部１２２に対して、実行ジョブリストを要求する。ジョブ制御部１２２から、実行ジョブリストを受け取ると、実行ジョブリストを用いて、音声指示により実行中のジョブが存在するか否かを判断する。音声指示により実行中のジョブが存在しない場合、音声入力切替部１２３は、音声操作部１２４を選択する。一方、音声指示により実行中のジョブが存在する場合、音声入力切替部１２３は、専用音声操作部１２５を選択する。

音声入力切替部１２３は、音声入力回路１１１から、音声データを受け取る。次に、音声入力切替部１２３は、受け取った音声データを、選択した音声操作部１２４及び専用音声操作部１２５のいずれか一方に、出力する。

（３）音声操作部１２４
音声操作部１２４は、音声入力回路１１１から、音声入力切替部１２３を介して、音声データを受け取る。音声データを受け取ると、音声操作部１２４は、受け取った音声データを、送信処理部１１４、ネットワーク２を介して、サーバー装置２００に対して送信する。

（４）専用音声操作部１２５
専用音声操作部１２５（音声認識手段）は、音声入力回路１１１から、音声入力切替部１２３を介して、音声データを受け取って、音声データをバッファリングする。音声データをバッファリングした後に、専用音声操作部１２５は、次に示すようにして（図５を参照）、受け取った音声データに対して、音声認識処理を施す。つまり、専用音声操作部１２５は、音声データにジョブの停止を指示する停止ワードが含まれるか否かという停止ワードの判定を行う。

専用音声操作部１２５は、受け取った音声データに対して、母音、子音、撥音の音素のパターンに一致する区間を特定し、音素を表す識別子の並びを生成する（図５のステップＳ１１参照）。ここで、専用音声操作部１２５は、「ていし」との一致を判定するため、「ていし」に含まれる母音、子音、撥音の音素の特定のみを行うとしてもよい。これにより、処理時間が短縮でき、また、音声認識処理に必要なリソースを少なくすることができる。次に、専用音声操作部１２５は、内蔵する単語辞書（音声辞書）を参照して、識別子の並びから、単語を特定する（図５のステップＳ１２参照）。単語辞書には、発話される内容を想定して、ジョブの停止に関係する「ていし」、「キャンセル」、「停止」、「ストップ」等の語句及びその他の語句が登録されている、としてもよい。次に、専用音声操作部１２５は、意味解析を行って、品詞を特定し、係り受けの判定を行う。例えば、専用音声操作部１２５は、「実行中のジョブ」を目的格と認識し、「停止せよ」を述部と認識する（図５のステップＳ１３参照）。次に、専用音声操作部１２５は、処理の操作対象と動作等を特定する。図５に示す例においては、目的格である「実行中のジョブ」が処理の操作対象に相当し、述部である「停止せよ」が動作に相当する。こうして、専用音声操作部１２５は、特定した処理の操作対象と動作等を示すコマンドを生成する。

例えば、利用者の音声入力が、「実行中のジョブを停止して」である場合、生成されるコマンドは、停止コマンドであり、停止コマンドは、次のようになる。

停止コマンド＝（「停止」、「実行中のジョブ」）
次に、専用音声操作部１２５は、生成した停止コマンドを、ジョブ制御部１２２に対して、出力する。

１．５サーバー装置２００
サーバー装置２００は、画像形成装置１０から、音声データを受信する。サーバー装置２００は、受信した音声データに対して、音声認識処理を施して、実行コマンドを生成する。次に、サーバー装置２００は、生成した実行コマンドを、画像形成装置１０に対して、送信する。

サーバー装置２００は、図３に示すように、主制御部２０１、記憶回路２０２及びネットワーク通信回路２０３から構成されている。

サーバー装置２００は、具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他のデバイスから構成されるコンピューターシステムである。

（１）記憶回路２０２及びネットワーク通信回路２０３
（記憶回路２０２）
記憶回路２０２は、例えば、ハードディスク等から構成され、データを記憶するために用いられる。記憶回路２０２は、パターンリスト２３１を記憶している。

パターンリスト２３１は、画像形成装置１０から受信する音声データのパターンを予め、記憶している。

パターンリスト２３１は、図４に示すように、複数のパターン情報２３２を含んで構成されている。各パターン情報２３２は、呼出方パターン２３３、操作対象２３４、動作２３５、パラメーター２３６及び応答メッセージ２３７を含んでいる。

呼出方パターン２３３は、利用者により発話される音声のひな型である。

操作対象２３４は、呼出方パターン２３３による操作の対象を示している。

動作２３５は、呼出方パターン２３３による動作を示している。

パラメーター２３６は、呼出方パターン２３３により操作される場合における設定値を示す。

応答メッセージ２３７は、呼出方パターン２３３に応答して、画像形成装置１０において、音声出力すべき音声の例を示している。

（ネットワーク通信回路２０３）
ネットワーク通信回路２０３は、ネットワーク２を介して、外部の装置に接続されている。ネットワーク通信回路２０３は、送信処理部２０４及び受信処理部２０５から構成されている。

送信処理部２０４は、主制御部２０１の制御により、ネットワーク２を介して、外部の装置に対して、データを送信する。また、受信処理部２０５は、外部の装置から、ネットワーク２を介して、データを受信する。

（２）主制御部２０１
主制御部２０１は、ＲＯＭに記憶されている制御用のコンピュータープログラムに従って、ＣＰＵが動作することにより、機能的に、全体制御部２１１、音声認識部２１２、ジョブ生成管理部２１３及び音声合成部２１４を構成している。

（音声認識部２１２）
音声認識部２１２は、全体制御部２１１の制御により、以下に示すようにして、受信した音声データに音声認識処理を施して、実行コマンドを生成する。

音声認識部２１２は、受信した音声データに対して、母音、子音、撥音の音素のパターンに一致する区間を特定し、音素を表す識別子の並びを生成する。次に、音声認識部２１２は、内蔵する単語辞書を参照して、識別子の並びから、単語を特定する。次に、音声認識部２１２は、意味解析を行って、品詞を特定し、係り受けの判定を行う。次に、音声認識部２１２は、処理の操作対象と動作等を特定する。こうして、音声認識部２１２は、特定した処理の操作対象と動作等を示す文字列を生成する。

例えば、利用者の音声が、「販売停止リストを１部プリントして」である場合、操作対象は、「販売停止リスト」であり、動作は、「プリント」及び「１部」である。

音声認識部２１２は、生成した文字列をジョブ生成管理部２１３に対して出力する。

（ジョブ生成管理部２１３）
ジョブ生成管理部２１３は、音声認識部２１２から、文字列を受け取る。次に、ジョブ生成管理部２１３は、受け取った文字列から、処理の操作対象と動作等を示す実行コマンドを生成する。

例えば、利用者の音声入力が、「販売停止リストを１部プリントして」である場合、実行コマンドは、次のようになる。

実行コマンド＝（「プリント」、「販売停止リスト」、「１部」）
ジョブ生成管理部２１３は、生成した実行コマンドを、送信処理部２０４及びネットワーク２を介して、画像形成装置１０に対して、送信する。

（音声合成部２１４）
音声合成部２１４は、予め、メッセージに対応して、応答音声データを記憶している。応答音声データの一例は、「プリントします」である。

音声合成部２１４は、主制御部２０１の制御により、記憶している応答音声データを、送信処理部２０４及びネットワーク２を介して、画像形成装置１０に対して、送信する。

（全体制御部２１１）
全体制御部２１１は、記憶回路２０２、ネットワーク通信回路２０３、音声認識部２１２、ジョブ生成管理部２１３、音声合成部２１４を統一的に制御する。

１．６通信システム１における動作
（１）通信システム１における動作
通信システム１における動作について、図６に示すフローチャートを用いて、説明する。

操作パネル１９は、音声入力開始ボタンの押下により、利用者から音声入力の開始を受け付ける（ステップＳ１０１）。

次に、音声入力回路１１１は、マイクロホン１７から入力された音声を、音声データに変換し、音声入力切替部１２３に対して出力する（ステップＳ１０２）。

次に、音声入力切替部１２３は、音声データの音圧の変化が一定期間（例えば１００ｍｓ）続く場合、発話が開始されたと判断とする。次に、音声入力切替部１２３は、ジョブ制御部１２２から、実行ジョブリストを取得し、実行ジョブリスト内に、音声入力から開始を指示した実行中のジョブがあるか否かを判断する（ステップＳ１０３）。

実行中のジョブがないと判断される場合（ステップＳ１０３で「ＮＯ」）、全体制御部１２１は、制御をステップＳ１０８へ移す。

実行中のジョブがあると判断される場合（ステップＳ１０３で「ＹＥＳ」）、音声入力切替部１２３は、専用音声操作部１２５に対して、音声データを出力する（ステップＳ１０４）。

次に、専用音声操作部１２５は、音声データから、音素を抽出して、母音、撥音、子音を特定して語句を抽出する（ステップＳ１０５）。次に、抽出された語句のうちのいずれかがに「ていし」に一致するか否かを判断する（ステップＳ１０６）。「ていし」に一致しないと判断される場合（ステップＳ１０６で「ＮＯ」）、全体制御部１２１は、制御をステップＳ１０２へ移す。意図せずに、利用者が不要な発話を行う場合、例えば、プリント開始の発話をした後に、不要な発話として、「プリントして」を繰り返すような場合、不要な発話に対して、反応することなく、音声認識処理を行わない。

一方、「ていし」に一致すると判断される場合（ステップＳ１０６で「ＹＥＳ」）、専用音声操作部１２５は、実行中のジョブを停止させる停止コマンドを生成し、ジョブ制御部１２２は、停止コマンドを実行して、実行中のジョブを停止させる（ステップＳ１０７）。次に、全体制御部１２１は、制御をステップＳ１０２へ移す。

実行中のジョブがないと判断される場合（ステップＳ１０３で「ＮＯ」）、音声入力切替部１２３は、音声操作部１２４に対して、音声データを出力する（ステップＳ１０８）。

画像形成装置１０は、ネットワーク２を介して、サーバー装置２００と通信を開始し（ステップＳ１０９）、音声操作部１２４は、ネットワーク２を介して、サーバー装置２００に対して、音声データを送信する（ステップＳ１１０）。

画像形成装置１０は、サーバー装置２００からの応答を待ち、コマンドを受信する（ステップＳ１１１）。

音声操作部１２４は、サーバー装置２００から送信されるコマンドの種類とその内容を判定し（ステップＳ１１２）、音声操作部１２４は、画像形成装置１０において動作する実行コマンドを生成する（ステップＳ１１３）。次に、音声操作部１２４は、実行コマンドをジョブ制御部１２２に対して、出力し、ジョブ制御部１２２は、受け取った実行コマンドに従って、ジョブを実行する（ステップＳ１１４）。次に、全体制御部１２１は、制御をステップＳ１０２へ移す。

以上により、通信システム１における動作の説明を終了する。

上記の通り、音声入力したジョブの実行中に、利用者が、ジョブの停止を音声により指示した場合、画像形成装置１０において音声認識を行うので、サーバー装置２００との通信遅延が発生することなく、実行中のジョブを停止することができる。この場合、画像形成装置１０は、利用者の発話の内容から、短く、短時間で発話できる停止ワード（例えば、「ていし」）を音声認識により抽出するので、音声認識に要する時間は短くてすむ。

なお、ここでは、停止ワードを「ていし」という語句としているが、停止を意味する言葉であればよく、「止まれ」、「やめて」、「キャンセル」、「ストップ」、「待て」等の様々な語句を利用できる。

音声認識処理において、音素を表す識別子の並びが、「ていし」と一致するか判断しているが、これには限定されない。利用者の発話の内容の一部に「ていし」という語句を含む場合でも、停止と判定してもよい。例えば、発話内容が「実行中のジョブをていしして」の場合、「ていし」を一部に含むため、停止と判定する。この場合、品詞、係り受けの判定を追加して、「ていし」が述語であるか判定することで、名詞の一部として「ていし」を含む場合（例えば、「販売停止商品リストをプリントして」）の誤判定を防止できる。

（２）ジョブ制御部１２２における動作
ジョブ制御部１２２における動作について、図７（ａ）に示すフローチャートを用いて説明する。ここで、以下に示す手順は、図６のステップＳ１０７及びＳ１１４の詳細である。

ジョブ制御部１２２は、コマンドを受け取る。受け取ったコマンドが実行コマンドである場合（ステップＳ３０１で「実行コマンド」）、ジョブ制御部１２２は、実行コマンドに従って、ジョブを実行させる（ステップＳ３０２）。次に、ジョブ制御部１２２は、ステップＳ３０１に制御を移す。

受け取ったコマンドが停止コマンドである場合（ステップＳ３０１で「停止コマンド」）、ジョブ制御部１２２は、停止コマンドに従って、実行中のジョブを停止させる（ステップＳ３０３）。次に、ジョブ制御部１２２は、ステップＳ３０１に制御を移す。

コマンドを受信しない場合（ステップＳ３０１で「無し」）、ジョブ制御部１２２は、コマンドの受信を待つため、ステップＳ３０１に制御を移す。

（３）応答メッセージの音声出力の動作
画像形成装置１０において、以下に示すようにして、画像形成装置１０における動作に応答して、応答メッセージを音声出力してもよい。

応答メッセージの音声出力の動作について、図７（ｂ）に示すフローチャートを用いて説明する。ここで、以下に示す手順は、図６のステップＳ１０７に続く動作の詳細である。

図６のステップＳ１０７に続いて、全体制御部１２１は、応答メッセージを生成する。応答メッセージの一例は、「停止します」である（ステップＳ１６１）。次に、音声出力回路１１２は、応答メッセージを、スピーカー１８に対して、出力する。スピーカー１８は、応答メッセージを、音声出力する（ステップＳ１６２）。続いて、次の音声入力待ちに制御が移る。

ここで、説明した応答メッセージの音声出力を、後述する実施の形態２において、適用してもよい。

上記の通り、サーバー装置２００を経由せずに、専用音声操作部１２５を用いて、ジョブ停止指示を受け付けた旨の応答メッセージを、スピーカー１８により、音声出力している。

このように、応答メッセージを音声出力することにより、利用者は、画像形成装置１０に対する指示が確実に実行されたことを知ることができる。

また、サーバー装置２００の音声認識処理を利用する音声操作部１２４を用いる場合、画像形成装置１０において、コマンドを受信したことを確認し、サーバー装置２００において、その確認結果として、応答メッセージを音声合成するため、通信による遅延が発生する。応答メッセージが遅延すると、発話を言い直すタイミングが遅れる。そのために必要なジョブ停止ができない場合がある。専用音声操作部１２５では、サーバー装置２００との通信を行うことなく、つまり、通信による遅延が発生することなく、応答メッセージを出力することができる。

１．７通信システム１の各構成ユニットの時間経過に伴う動作
通信システム１の各構成ユニットの時間経過に伴う動作について、図８〜図９に示すタイムチャートを用いて説明する。

このタイムチャートにおいて、縦軸に、通信システム１の各構成ユニットを示し、横軸に時間経過を示す。

操作パネル１９の音声入力開始ボタンは、押下を受け付ける（Ｆ００１）。これにより、利用者の音声入力が開始される。

マイクロホン１７は、利用者から音声入力（「販売停止リストを１部プリントして」）を受け付ける（Ｆ００２）。同時に、音声入力回路１１１は、音声データを生成する（Ｆ００３）。発話の開始から、音声データの音圧の変化が一定期間（例えば、１００ｍｓ）続くと、発話が検出される（Ｆ００４）。

発話が検出されると（Ｆ００４）、音声入力切替部１２３は、ジョブ実行リストを要求し（Ｆ００６）、ジョブ制御部１２２、ジョブ実行リストを読み出して（Ｆ００７）、ジョブ実行リストを出力する（Ｆ００８）。音声入力切替部１２３は、ジョブ実行リストを用いて、ジョブが実行されているか否かを判断し、ジョブが実行されていない場合、音声操作部１２４に対して発話を待つように要求する（Ｆ００９）。音声操作部１２４は、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、発話待ちを、全体制御部２１１に対して、送信する（Ｆ０１０〜Ｆ０１４）。

全体制御部２１１は、発話待ち状態に遷移し（Ｆ０１５）、発話の受け入れ準備が完了したことを示す受入れレディを、送信処理部２０４、ネットワーク２、受信処理部１１５を介して、音声操作部１２４に対して、通知する（Ｆ０１７〜Ｆ０１９）。音声操作部１２４は、発話終了待ちに遷移する（Ｆ０２０）。

発話が終了すると、例えば、無音区間が１秒以上続くと、音声入力回路１１１は、マイクロホン１７をオフに設定する（Ｆ０２２）。また、操作パネル１９は、ＬＥＤランプ１６を点灯する（Ｆ０２３）。次に、音声入力回路１１１は、音声データを、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、音声認識部２１２に対して、送信する（Ｆ０２５〜Ｆ０２７）。音声認識部２１２は、受信した音声データに音声認識を施して、操作対象と動作等を示す文字列を生成する（Ｆ０２９）。次に、ジョブ生成管理部２１３は、実行コマンド（例えば、プリントコマンド）を生成する（Ｆ０３０）。次に、ジョブ生成管理部２１３は、実行コマンドを、送信処理部２０４、ネットワーク２、受信処理部１１５を介して、音声操作部１２４に対して、送信する（Ｆ０３３〜Ｆ０３５）。音声操作部１２４は、受信した実行コマンドをジョブ制御部１２２に対して、出力し（Ｆ０３７）、ジョブ制御部１２２は、受信した実行コマンドを、画像形成装置１０の実行コマンドに変換し、生成した実行コマンドに従って、ジョブの実行を開始する（Ｆ０３８）。ジョブは、期間Ｆ０３９中、実行される。

ジョブ制御部１２２は、ジョブの開始（例えば、プリント開始）を、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、音声合成部２１４に通知する（Ｆ０４０、Ｆ０４１、Ｆ０５０、Ｆ０５１）。音声合成部２１４は、応答メッセージ（例えば、「プリントします」）を生成し（Ｆ０５３）、生成した応答メッセージを、送信処理部２０４、ネットワーク２、受信処理部１１５を介して、音声操作部１２４に対して、送信する（Ｆ０５４〜Ｆ０５７）。音声操作部１２４は、受信した応答メッセージを音声出力回路１１２に対して、出力し（Ｆ０５８）、音声出力回路１１２は、スピーカー１８に対して、応答メッセージを出力し（Ｆ０５９）、スピーカー１８は、応答メッセージを音声出力する（Ｆ０６１）。

スピーカー１８による応答メッセージの音声出力が終了すると、音声入力回路１１１は、マイクロホン１７をオンにする（Ｆ０７０）。

マイクロホン１７は、利用者から音声入力（「実行中のジョブを停止して」）を受け付ける（Ｆ０７１）。同時に、音声入力回路１１１は、音声データを生成する（Ｆ０７２）。発話の開始から、音声データの音圧の変化が一定期間、続くと、発話が検出される（Ｆ０７３）。

発話が検出されると（Ｆ０７３）、音声入力切替部１２３は、ジョブ実行リストを要求し（Ｆ０７５）、ジョブ制御部１２２は、ジョブ実行リストを読み出して（Ｆ０７６）、ジョブ実行リストを出力する（Ｆ０７７）。音声入力切替部１２３は、ジョブ実行リストを用いて、ジョブが実行されているか否かを判断し、ジョブが実行されている場合、専用音声操作部１２５に対して、音声データを出力する（Ｆ０７８）。専用音声操作部１２５は、音声認識を行って、停止コマンドを生成する（Ｆ０７９）。

発話が終了すると、例えば、無音区間が１秒以上続くと、音声入力回路１１１は、マイクロホン１７をオフに設定する（Ｆ０８０）。次に、専用音声操作部１２５は、停止コマンドをジョブ制御部１２２に対して出力し、ジョブ制御部１２２は、停止コマンドを受け取り、停止コマンドに従って、実行中のジョブを停止する（Ｆ０９０）。

次に、専用音声操作部１２５は、応答メッセージ（例えば、「停止します」）を生成し、生成した応答メッセージを音声出力回路１１２に対して出力する（Ｆ０９２、Ｆ０９３）。スピーカー１８は、応答メッセージを音声出力する（Ｆ０９４）。次に、スピーカー１８による応答メッセージの音声出力が終了すると、音声入力回路１１１は、マイクロホン１７をオンに設定する（Ｆ０９５）
１．８まとめ
以上説明したように、上記の実施の形態１によると、サーバー装置２００において利用者の音声に音声認識処理を施して生成した実行コマンドに基づき実行中のジョブを、利用者の音声に画像形成装置１０内で音声認識処理を施して生成した停止コマンドに従って、停止させる。この構成により、サーバー装置２００において、音声認識処理を施して停止コマンドを生成し、画像形成装置１０が停止コマンドを受信する場合と比較すると、早期に音声認識結果を取得できるので、先の指示によるジョブ実行を早期に停止させることができる。

２実施の形態２
本開示に係る実施の形態２としての通信システム１ａ（図示していない）について説明する。

実施の形態２の通信システム１ａは、実施の形態１の通信システム１と同様の構成を有している。通信システム１との相違点は、次の通りである。

通信システム１では、サーバー装置２００において利用者の音声に音声認識処理を施して生成した実行コマンド（第一コマンド）に基づき実行中のジョブを、利用者の音声に画像形成装置１０内で音声認識処理を施して生成した停止コマンド（第二コマンド）に従って、停止させる。

これに対して、通信システム１ａでは、サーバー装置２００において利用者の音声に音声認識処理を施して生成した実行コマンド（第一コマンド）に基づくジョブの実行前に、利用者の音声に画像形成装置１０内で音声認識処理を施して生成した取消コマンド（第二コマンド）により、実行コマンドを取り消す。

以下において、通信システム１との相違点を中心として、説明する。

２．１通信システム１ａにおける構成
（ジョブ制御部１２２）
ジョブ制御部１２２は、サーバー依頼リストを記憶している。サーバー依頼リストは、サーバー装置２００に対して、音声認識処理を依頼したか否か（サーバー処理中か否か）を示す依頼情報を記憶している。ジョブ制御部１２２は、音声入力切替部１２３に対して、サーバー依頼リストを出力する。

ジョブ制御部１２２は、コマンドを受け取る。ジョブ制御部１２２が受け取るコマンドには、実行コマンド、停止コマンド、キャンセル予約が含まれる。

受け取ったコマンドがキャンセル予約である場合、ジョブ制御部１２２は、キャンセル予約を記憶する。

受け取ったコマンドが実行コマンドである場合、ジョブ制御部１２２は、キャンセル予約を記憶しているか否かを判断する。キャンセル予約を記憶している場合、ジョブ制御部１２２は、受信した実行コマンドを取り消し、記憶しているキャンセル予約を削除する。一方、キャンセル予約を記憶していない場合、ジョブ制御部１２２は、受信した実行コマンドに従って、ジョブを実行する。

受け取ったコマンドが停止コマンドである場合、ジョブ制御部１２２は、実行中のジョブを停止させる。

（音声入力切替部１２３）
音声入力切替部１２３は、ジョブ制御部１２２から、サーバー依頼リストを取得し、サーバー依頼リスト内に、依頼情報が存在するか否かを判断する。依頼情報が存在する場合、専用音声操作部１２５を選択して、音声データを専用音声操作部１２５に対して、出力する。依頼情報が存在しない場合、音声操作部１２４を選択して、音声データを音声操作部１２４に対して、出力する。

（専用音声操作部１２５）
専用音声操作部１２５は、音声データを受け取り、受け取った音声データに対して、音声認識処理を施す。音声データには、例えば、「実行中のジョブを停止して」などの発話内容が含まれる。

専用音声操作部１２５は、ジョブ制御部１２２に対して、実行ジョブリストを要求する。ジョブ制御部１２２から、実行ジョブリストを受け取ると、実行ジョブリストを用いて、音声指示により実行中のジョブが存在するか否かを判断する。

実行中のジョブがないと判断される場合、専用音声操作部１２５は、音声データの認識結果から、ジョブのキャンセル予約を生成する。専用音声操作部１２５は、生成したキャンセル予約をジョブ制御部１２２に対して、出力する。

実行中のジョブがあると判断される場合、専用音声操作部１２５は、音声データの認識結果から、実行中のジョブを停止させる停止コマンドを生成する。専用音声操作部１２５は、生成した停止コマンドをジョブ制御部１２２に対して、出力する。

２．２通信システム１ａにおける動作
（１）通信システム１ａにおける動作
通信システム１ａにおける動作について、図１０に示すフローチャートを用いて、説明する。

次に、音声入力切替部１２３は、音声データの音圧の変化が一定期間、続く場合、発話が開始されたと判断とする。次に、音声入力切替部１２３は、ジョブ制御部１２２から、サーバー依頼リストを取得し、サーバー依頼リスト内に、依頼情報が存在するか否か（サーバー処理中か）を判断する（ステップＳ１０３ａ）。

依頼情報が存在しない（サーバー処理中ではない）と判断される場合（ステップＳ１０３ａで「ＮＯ」）、全体制御部１２１は、制御をステップＳ１０８へ移す。

依頼情報が存在する（サーバー処理中である）と判断される場合（ステップＳ１０３ａで「ＹＥＳ」）、音声入力切替部１２３は、専用音声操作部１２５に対して、音声データを出力する（ステップＳ１０４）。

次に、専用音声操作部１２５は、音声データから、音素を抽出して、母音、撥音、子音を特定して語句を抽出する（ステップＳ１０５）。次に、抽出された語句のうちのいずれかがに「ていし」に一致するか否かを判断する（ステップＳ１０６）。「ていし」に一致しないと判断される場合（ステップＳ１０６で「ＮＯ」）、全体制御部１２１は、制御をステップＳ１０２へ移す。

一方、「ていし」に一致すると判断される場合（ステップＳ１０６で「ＹＥＳ」）、専用音声操作部１２５は、ジョブ制御部１２２に対して、実行ジョブリストを要求する。専用音声操作部１２５は、ジョブ制御部１２２から、実行ジョブリストを受け取ると、実行ジョブリスト内に、音声入力から開始を指示した実行中のジョブがあるか否かを判断する（ステップＳ２５１）。

実行中のジョブがないと判断される場合（ステップＳ２５１で「ＮＯ」）、専用音声操作部１２５は、ジョブのキャンセル予約を生成する。専用音声操作部１２５は、生成したキャンセル予約をジョブ制御部１２２に対して、出力する。ジョブ制御部１２２は、キャンセル予約を記憶する（ステップＳ２５３）。次に、全体制御部１２１は、制御をステップＳ１０２へ移す。

実行中のジョブがあると判断される場合（ステップＳ２５１で「ＹＥＳ」）、専用音声操作部１２５は、実行中のジョブを停止させる停止コマンドを生成する。専用音声操作部１２５は、生成した停止コマンドをジョブ制御部１２２に対して、出力する。ジョブ制御部１２２は、停止コマンドを受け取る。ジョブ制御部１２２は、受け取った停止コマンドを実行して、実行中のジョブを停止させる（ステップＳ２５２）。次に、全体制御部１２１は、制御をステップＳ１０２へ移す。

依頼情報が存在しないと判断される場合（ステップＳ１０３ａで「ＮＯ」）、音声入力切替部１２３は、音声操作部１２４に対して、音声データを出力する（ステップＳ１０８）。

以上により、通信システム１ａにおける動作の説明を終了する。

以上説明したように、実施の形態２において、音声入力切替部１２３は、サーバー依頼リスト内に、依頼情報が存在する（サーバー処理中）場合、つまり、ジョブ開始の発話が終わり、サーバー装置２００において処理中を表すＬＥＤランプ１６が点灯している区間に、音声入力を受けた場合には、音声データを専用音声操作部１２５に対して出力してもよい。

また、音声データから得られた認識結果において、音素を表す識別子の並びが「ていし」に一致する場合、専用音声操作部１２５は、ジョブ制御部１２２から実行ジョブリストを取得し、取得した実行ジョブリスト中に、音声入力から開始を指示した実行中のジョブがある場合は、該当するジョブに対する停止コマンドを生成して、ジョブ制御部１２２へ出力する。取得した実行ジョブリスト中に、音声入力から開始を指示した実行中のジョブが無い場合は、専用音声操作部１２５は、ジョブ開始のキャンセル予約をジョブ制御部１２２へ通知する。

ジョブ制御部１２２は、音声操作部１２４からジョブの実行を開始する実行コマンドを受け取る。実行コマンドを受け取ると、ジョブ制御部１２２は、ジョブ開始のキャンセル予約があるかを確認して、キャンセル予約がある場合、実行コマンドをキャンセルする。キャンセル予約が無い場合、ジョブ制御部は、実行コマンドに従って、ジョブの実行を開始させる。

（２）ジョブ制御部１２２における動作
ジョブ制御部１２２における動作について、図１１に示すフローチャートを用いて説明する。ここで、以下に示す手順は、図１０のステップＳ２５２、Ｓ２５３及びＳ１１４の詳細である。

ジョブ制御部１２２は、コマンドを受け取る。受け取ったコマンドが実行コマンドである場合（ステップＳ３１１で「実行コマンド」）、ジョブ制御部１２２は、キャンセル予約を記憶しているか否かを判断する（ステップＳ３１２）。

キャンセル予約を記憶している場合（ステップＳ３１２で「ＹＥＳ」）、ジョブ制御部１２２は、受信した実行コマンドを取り消す（ステップＳ３１４）。次に、ジョブ制御部１２２は、記憶しているキャンセル予約を削除する（ステップＳ３１５）。次に、ジョブ制御部１２２は、制御をステップＳ３１１に移す。

キャンセル予約を記憶していない場合（ステップＳ３１２で「ＮＯ」）、ジョブ制御部１２２は、受信した実行コマンドに従って、ジョブを実行する（ステップＳ３１３）。次に、ジョブ制御部１２２は、制御をステップＳ３１１に移す。

受け取ったコマンドが停止コマンドである場合（ステップＳ３１１で「停止コマンド」）、ジョブ制御部１２２は、実行中のジョブを停止させる（ステップＳ３１６）。次に、ジョブ制御部１２２は、制御をステップＳ３１１に移す。

受け取ったコマンドがキャンセル予約である場合（ステップＳ３１１で「キャンセル予約」）、ジョブ制御部１２２は、キャンセル予約を記憶する（ステップＳ３１７）。次に、ジョブ制御部１２２は、制御をステップＳ３１１に移す。

コマンドを受信しない場合（ステップＳ３１１で「無し」）、ジョブ制御部１２２は、コマンドの受信を待つため、ステップＳ３１１に制御を移す。

２．３通信システム１ａの各構成ユニットの時間経過に伴う動作
通信システム１ａの各構成ユニットの時間経過に伴う動作について、図１２に示すタイムチャートを用いて説明する。

このタイムチャートにおいて、縦軸に、通信システム１ａの各構成ユニットを示し、横軸に時間経過を示す。

マイクロホン１７は、利用者から音声入力（「販売停止リストを１部プリントして」）を受け付ける（Ｆ００２）。同時に、音声入力回路１１１は、音声データを生成する（Ｆ００３）。発話の開始から、音声データの音圧の変化が一定期間、続くと、発話が検出される（Ｆ００４）。

発話が検出されると（Ｆ００４）、音声入力切替部１２３は、サーバー依頼リストを要求し（Ｆ００６）、ジョブ制御部１２２、サーバー依頼リストを読み出して（Ｆ００７）、サーバー依頼リストを出力する（Ｆ００８）。音声入力切替部１２３は、サーバー依頼リストを用いて、サーバー処理中か否かを判断し、サーバー処理中でない場合、音声操作部１２４に対して発話を待つように要求する（Ｆ００９）。音声操作部１２４は、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、発話待ちを、全体制御部２１１に対して、送信する（Ｆ０１０〜Ｆ０１４）。

発話が終了すると、例えば、無音区間が１秒以上続くと、音声入力回路１１１は、音声データを、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、音声認識部２１２に対して、送信する（Ｆ０２５〜Ｆ０２７）。音声認識部２１２は、受信した音声データに音声認識を施して、操作対象と動作等を示す文字列を生成する（Ｆ０２９）。次に、ジョブ生成管理部２１３は、実行コマンド（例えば、プリントコマンド）を生成する（Ｆ０３０）。次に、ジョブ生成管理部２１３は、実行コマンドを、送信処理部２０４、ネットワーク２、受信処理部１１５を介して、音声操作部１２４に対して、送信する（Ｆ０３３〜Ｆ０３５）。音声操作部１２４は、受信した実行コマンドをジョブ制御部１２２に対して、出力する（Ｆ０３７）。

一方、マイクロホン１７は、利用者から音声入力（「実行中のジョブを停止して」）を受け付ける（Ｆ１０２）。同時に、音声入力回路１１１は、音声データを生成する（Ｆ１０３）。発話の開始から、音声データの音圧の変化が一定期間、続くと、発話が検出される（Ｆ１０４）。

発話が検出されると（Ｆ１０４）、音声入力切替部１２３は、サーバー依頼リストを要求し（Ｆ１０６）、ジョブ制御部１２２、サーバー依頼リストを読み出して（Ｆ１０７）、サーバー依頼リストを出力する（Ｆ１０８）。音声入力切替部１２３は、サーバー依頼リストを用いて、サーバー処理中か否かを判断し、サーバー処理中である場合、専用音声操作部１２５に対して発話の終了を待つように要求する（Ｆ１０９）。

専用音声操作部１２５は、音声入力回路１１１から音声データを受信し、受信した音声データに音声認識処理を施して、「ていし」が含まれるか否かを判断（停止ワード判定）する。「ていし」が含まれる場合、専用音声操作部１２５は、キャンセル予約を生成する（Ｆ１１０）。

発話が終了すると、例えば、無音区間が１秒以上続くと、専用音声操作部１２５は、生成したキャンセル予約をジョブ制御部１２２に対して、出力する（Ｆ１１０）。ジョブ制御部１２２は、キャンセル予約を記憶する（Ｆ１１２）。

次に、専用音声操作部１２５は、応答メッセージ（例えば、「停止します」）を生成し、生成した応答メッセージを音声出力回路１１２に対して出力し（Ｆ１１３）、音声出力回路１１２は、応答メッセージをスピーカー１８に対して出力する（Ｆ１１５）。スピーカー１８は、応答メッセージを音声出力する（Ｆ１１７）。

ジョブ制御部１２２は、受け取った実行コマンドを、記憶しているキャンセル予約に基づいて、取り消す（Ｆ１２１）。次に、ジョブ制御部１２２は、実行コマンドの取り消しを示すキャンセル情報を、送信処理部１１４、ネットワーク２、受信処理部２０５を介して、全体制御部２１１に対して、送信する（Ｆ１２２〜Ｆ１２４）。全体制御部２１１は、キャンセル情報を受信して、応答メッセージの生成等を行うことなく、本実行コマンドに関する処理を終了する（Ｆ１２５）。

２．４まとめ
以上説明したように、上記の実施の形態２によると、サーバー装置２００において利用者の音声に音声認識処理を施して生成した実行コマンドを、利用者の音声に画像形成装置１０内で音声認識処理を施して生成した取消コマンドに従って、取り消す。この構成により、サーバー装置２００において、音声認識処理を施して取消コマンドを生成し、画像形成装置１０が取消コマンドを受信する場合と比較すると、早期に音声認識結果を取得できるので、先の指示によるジョブの実行前に、実行コマンドを取り消すことができる。

３その他の変形例
本開示の態様について、上記の実施の形態１及び２に基づいて説明しているが、実施の形態１及び２には、限定されない。以下に示すようにしてもよい。

（１）変形例（１）
上記の実施の形態１及び２の専用音声操作部１２５は、単語辞書を内蔵している。単語辞書には、発話される内容を想定して、ジョブの停止に関係する「キャンセル」、「ていし」、「停止」、「ストップ」等の語句及びその他の語句が含まれる、としている。しかし、これには、限定されない。

画像形成装置１０に対して、発話により操作を行う場合、その発話内容は、操作対象と動作を含む必要がある。一方、利用者が緊急にジョブの停止を希望する場合、発話内容が、「あっ」、「うわっ」、「しまった」などの感嘆詞のみを含む場合がある。このような感嘆詞のみを含む発話の場合、操作対象と動作を含むという条件を満たさないので、音声認識処理において、判別不可能となる場合が多く、その場合には、利用者は、言い直す（再発話する）必要がある。言い直された発話内容は、サーバー装置２００に対して、送信されて、音声認識処理が施される。

そこで、単語辞書は、ジョブの停止を意味する語句の他に、停止指示が必要となる状況において、利用者が発話すると想定される語句を含むとしてもよい。具体的には、図１３に示すように、単語辞書２５１は、「停止」、「ストップ」、「中止」等の語句に加えて、「あっ」、「うわっ」、「しまった」などの感嘆詞等を含むとしてもよい。

このように、感嘆詞等のように、操作対象と動作を含むという条件を満たさない場合であっても、単語辞書が、このような語句を網羅的に含むことにより、画像形成装置１０において、音声認識処理を行うことことができ、利用者の発話の言い直しに必要なサーバー装置２００との間の通信時間を不要にできる。

（２）変形例（２）
実施の形態１では、利用者が停止の発話を行った時点で、音声入力で開始した実行中のジョブを停止の対象としている。しかし、これには限定されない。

利用者が音声入力以外で開始させた他のジョブを含めて、利用者の実行中の複数のジョブを同時に停止対象としてもよい。

図６に示すフローチャートのステップＳ１０６において、「ていし」に一致すると判断される場合、専用音声操作部１２５は、ジョブ制御部１２２から、実行ジョブリストを取得する。専用音声操作部１２５は、取得した実行ジョブリストから、利用者により開始された全ての実行中のジョブを特定して、特定した全てのジョブに対する停止コマンドを生成して、ジョブ制御部１２２へ出力する。ジョブ制御部１２２は、停止コマンドを実行して、特定した全ての実行中のジョブを停止させる。

サーバー装置２００を利用して、音声認識処理を施す場合、利用者がジョブの停止の発話を行った時点において実行中のジョブと、サーバー装置２００から画像形成装置１０に対して、停止コマンドが発行された時点において実行中のジョブとが異なる場合が起こり得る。これは、発話からサーバー装置２００を経由して画像形成装置１０に停止コマンドを発行するまでの間の通信遅延が大きく、時間差があるためである。そのため音声操作において、音声操作以外で開始した他のジョブを指定できない場合がある。

変形例（２）においては、利用者に係る全ての実行中のジョブを停止させるので、誤った設定により実行されるジョブを確実に、停止させることができる。

また、利用者の権限が管理者権限を含むか否かを参照し、管理者権限を含む場合は、全ての実行中のジョブを停止させるモードを備えるようにしてもよい。ジョブの停止が必要となった時点において、音声入力で全ての実行中のジョブを停止させることができ、停止のタイミングを逃すことがない。

（３）変形例（３）
実行中のジョブに対する緊急の停止の指示が必要となる状況においては、発話の内容が冗長な言い方となってしまう場合が考えられる。

利用者の停止の指示をする際に、例えば、「昨日作成したＢＯＸにおいたファイル名が計画書Ｘのプリントを直ぐにとめてほしい」のように、利用者の発話が長く続く音声となる場合がある。

このような長い発話の場合、サーバー装置２００の音声認識部２１２は、利用者の発話が途切れるまで待ち続けることになる。この間に、必要なジョブの停止ができず、無駄な用紙出力などが発生する。

また、このような長い発話の場合、サーバー装置２００は、利用者を補助するための音声メッセージを画像形成装置１０に送信し、画像形成装置１０において、音声メッセージを音声出力してもよいが、このような音声メッセージを送信する場合にも、遅延が発声する。

そこで、変形例（３）では、図６のフローチャートに示すステップＳ１０５〜Ｓ１０６における停止ワードの判定処理において、専用音声操作部１２５は、抽出される音素が、間がなく（無音区間なく）連続する個数を数える。連続する音素の個数が所定の閾値（例えば、５０個）以上の場合、「ていし」に一致しないと判断する。この場合、専用音声操作部１２５は、応答メッセージ「停止しますか」を生成し、生成した応答メッセージを音声出力回路１１２へ出力し、スピーカー１８は、応答メッセージを音声出力する。この際、応答メッセージの出力レベルを、利用者の発話と区別できる程度に大きくして、スピーカー１８から音声出力してもよい。

変形例（３）における動作について、図１４に示すフローチャートを用いて説明する。

図６に示すフローチャートのステップＳ１０６において、「ていし」に一致する場合、専用音声操作部１２５は、抽出される音素が、間がなく（無音区間なく）連続する個数を数える（ステップＳ１５１）。連続する音素の個数が所定の閾値（例えば、５０個）以上の場合（ステップＳ１５２で「５０以上」）、専用音声操作部１２５は、応答メッセージ「停止しますか」を生成する（ステップＳ１５３）。次に、専用音声操作部１２５は、生成した応答メッセージを音声出力回路１１２へ出力し、スピーカー１８は、応答メッセージを音声出力する（ステップＳ１５４）。次に、全体制御部１２１は、制御を図６のフローチャートのステップＳ１０８へ移す。

連続する音素の個数が所定の閾値未満の場合（ステップＳ１５２で「５０未満」）、全体制御部１２１は、制御を図６のフローチャートのステップＳ１０８へ移す。

ここで、連続する音素の個数が所定の閾値未満の場合、専用音声操作部１２５は、音声データに対して、音声認識処理を施してもよい。

変形例（３）によると、サーバー装置２００を経由せず、専用音声操作部１２５を用いて、発話中の利用者に対して、タイムリーに、補助を行うことができる。この結果、利用者は、大きな遅延を発生させることなく、ジョブ停止のための言い直しを行うことができる。

（４）変形例（４）
上記の実施の形態１においては、図６のフローチャートのステップＳ１０６に示すように、「ていし」に一致しないと判断される場合、全体制御部１２１は、制御をステップＳ１０２へ移して、再度、音声入力待ちとしている。しかし、これには、限定されない。

「ていし」に一致しないと判断される場合、音声入力切替部１２３は、音声データを音声操作部１２４に対して、出力してもよい。

変形例（４）における動作について、図１５に示すフローチャートを用いて説明する。

図６のフローチャートのステップＳ１０６において、「ていし」に一致しないと判断される場合（ステップＳ１０６で「ＮＯ」）、音声入力切替部１２３は、音声操作部１２４に対して、音声データを出力する（ステップＳ１０８）。画像形成装置１０は、ネットワーク２を介して、サーバー装置２００と通信を開始し（ステップＳ１０９）、音声操作部１２４は、ネットワーク２を介して、サーバー装置２００に対して、音声データを送信する（ステップＳ１１０）。画像形成装置１０は、サーバー装置２００からの応答を待ち、コマンドを受信する（ステップＳ１１１）。音声操作部１２４は、サーバー装置２００から送信されるコマンドの種類とその内容を判定し（ステップＳ１１２）、音声操作部１２４は、画像形成装置１０において動作する実行コマンドを生成する（ステップＳ１１３）。次に、音声操作部１２４は、実行コマンドをジョブ制御部１２２に対して、出力し、ジョブ制御部１２２は、受け取った実行コマンドに従って、ジョブを実行する（ステップＳ１１４）。次に、全体制御部１２１は、制御を図６のフローチャートのステップＳ１０２へ移す。

一方、「ていし」に一致すると判断される場合（ステップＳ１０６で「ＹＥＳ」）、専用音声操作部１２５は、実行中のジョブを停止させる停止コマンドを生成し、ジョブ制御部１２２は、停止コマンドを実行して、実行中のジョブを停止させる（ステップＳ１０７）。次に、全体制御部１２１は、制御を図６のフローチャートのステップＳ１０２へ移す。

実施の形態１に記載したように、ジョブ実行中においても、サーバー装置２００で音声認識処理中ではない場合、音声入力を受け付けることができる。しかし、専用音声操作部１２５により、停止ワードの判定がなされた音声データを、音声操作部１２４に対して出力した場合、専用音声操作部１２５において、既に判定された音声データに対する応答メッセージがスピーカー１８により音声出力されることになる。応答メッセージが音声出力されると、その間は発話ができないため、ジョブ停止の発話ができない。

そこで、上記のように専用音声操作部１２５において、停止ワードの判定を行った音声データを除いて、音声データを音声操作部１２４へ出力して、サーバー装置２００において音声認識処理を施させることにより、不要な応答メッセージが音声出力されないようにして、専用音声操作部１２５によるジョブ停止を可能としている。

（５）変形例（５）
変形例（４）では、専用音声操作部１２５における停止ワードの判定において、音声データの音声認識結果が「ていし」に一致しなかった場合に、その音声データを音声操作部１２４に出力し、その音声データに対して、サーバー装置２００において音声認識処理を施させている。

このような場合に、サーバー装置２００の音声認識部２１２において、音声データの音声認識結果に「ていし」が含まれると判定されることがある。このような場合、変形例（５）では、サーバー装置２００から停止コマンドを受信したとき、専用音声操作部１２５（登録手段）は、受け取った音声データに対して、母音、子音、撥音の音素のパターンと一致する区間を特定して、音素を表す語句の並びに変換する。変換した音素を表す語句の並びを単語辞書に登録する。

次に、変形例（５）における動作について、図１６に示すフローチャートを用いて説明する。

図６のフローチャートのステップＳ１０６において、「ていし」に一致しないと判断される場合（ステップＳ１０６で「ＮＯ」）、音声入力切替部１２３は、音声操作部１２４に対して、音声データを出力する（ステップＳ１０８）。画像形成装置１０は、ネットワーク２を介して、サーバー装置２００と通信を開始し（ステップＳ１０９）、音声操作部１２４は、ネットワーク２を介して、サーバー装置２００に対して、音声データを送信する（ステップＳ１１０）。画像形成装置１０は、サーバー装置２００からの応答を待ち、コマンドを受信する（ステップＳ１１１）。音声操作部１２４は、サーバー装置２００から送信されるコマンドの種類とその内容を判定し（ステップＳ１１２）、音声操作部１２４は、画像形成装置１０において動作するコマンドを生成する（ステップＳ１１３）。次に、音声操作部１２４は、コマンドをジョブ制御部１２２に対して、出力し、ジョブ制御部１２２は、受け取ったコマンドに従って、処理を行う（ステップＳ１１４）。

ここで、受け取ったコマンドが停止コマンドである場合（ステップＳ１７１で「ＹＥＳ」）、専用音声操作部１２５は、受け取った音声データに対して、音声認識処理を施して得られた認識結果を単語辞書に登録する（ステップＳ１７２）。次に、全体制御部１２１は、制御を図６のフローチャートのステップＳ１０２へ移す。

以上説明したように、専用音声操作部１２５による音声認識処理の認識結果を単語辞書に登録することにより、次に、専用音声操作部１２５において音声認識処理を施す場合に、前回と同じ発話内容の音声データを受け取った場合に、専用音声操作部１２５における音声認識処理において、停止ワードの判定ができるようになる。この結果、音声データを音声操作部１２４に対して出力する必要がなくなり、音声データをサーバー装置２００に対して送信する必要もなく、ジョブ停止の場合の遅延の発生を防ぐことができる。

（６）変形例（６）
変形例（６）の通信システム１ｂは、図１７に示すように、画像形成装置１０ｂ、サーバー装置２００ｂ及びスマートスピーカー３００（音声入力装置）から構成されている。

画像形成装置１０ｂ、サーバー装置２００ｂ及びスマートスピーカー３００は、ネットワーク２ｂを介して、相互に接続されている。また、画像形成装置１０ｂ及びスマートスピーカー３００は、ケーブル３により、接続されている。

画像形成装置１０ｂは、実施の形態１の画像形成装置１０と、略同じ構成を有している。画像形成装置１０との相違点は、次の通りである。

音声入力回路１１１は、マイクロホン１７に加えて、ケーブル３により、スマートスピーカー３００に接続されている。また、音声出力回路１１２は、スピーカー１８に加えて、ケーブル３により、スマートスピーカー３００に接続されている。

サーバー装置２００ｂは、実施の形態１のサーバー装置２００と同じ構成を有している。

スマートスピーカー３００は、図１８に示すように、主制御部３０１、ネットワーク通信回路３０５、マイクロホン３０６、スピーカー３０７、入出力回路３０８、音声入力回路３０９及び音声出力回路３１０から構成されている。

主制御部３０１は、ＣＰＵ３０２、ＲＯＭ３０３及びＲＡＭ３０４から構成され、ＲＯＭ３０３に記憶されているコンピュータープログラムに従って、ＣＰＵ３０２が動作することにより、主制御部３０１は、その機能を果たす。ＲＡＭ３０４は、ＣＰＵ３０２が動作する際のワークエリアとして用いられ、また、その他のデータを記憶するために、用いられる。

ネットワーク通信回路３０５は、送信処理部３１１及び受信処理部３１２から構成されている。ネットワーク通信回路３０５は、サーバー装置２００のネットワーク通信回路２０３と同様の構成を有している。

マイクロホン３０６、スピーカー３０７、音声入力回路３０９及び音声出力回路３１０は、それぞれ、画像形成装置１０のマイクロホン１７、スピーカー１８、音声入力回路１１１及び音声出力回路１１２と同じ構成を有している。

入出力回路３０８は、ケーブル３を介して、画像形成装置１０ｂに接続されている。

スマートスピーカー３００のマイクロホン３０６は、利用者の音声により指示を受け付ける。マイクロホン３０６は、ジョブの実行を指示する第一音声を受け付け、その後、第一音声による指示を取り消す指示である第二音声を受け付ける。マイクロホン３０６は、入出力回路３０８を介して、音声データを画像形成装置１０ｂに送信する。出力する。

画像形成装置１０ｂは、マイクロホン３０６から、音声データを受信する受信回路（受信手段）を備えている。画像形成装置１０ｂは、通常、マイクロホン３０６から受信した音声データをサーバー装置２００ｂに対して送信する。

サーバー装置２００ｂは、音声データに音声認識処理を施して、音声データに音声認識処理を施して、画像形成装置１０ｂを動作させる実行コマンドを生成し、生成した実行コマンドを画像形成装置１０ｂに送信する。画像形成装置１０ｂは、受け取った実行コマンドに従って、コピージョブ、プリントジョブ、スキャンジョブ等を実行する。

利用者がその設定を誤るなどして、指示を取り消したい場合、画像形成装置１０ｂは、音声データをサーバー装置２００に送信することなく、画像形成装置１０ｂの専用音声操作部１２５は、スマートスピーカー３００から受信したジョブの停止の指示を示す音声データに対して音声認識を行い、ジョブの停止を示す停止コマンドを生成し、ジョブ制御部１２２は、停止コマンドにより、実行中のジョブを停止させる。

また、通信システム１ｂでは、サーバー装置２００ｂにおいて利用者の音声に音声認識処理を施して生成した実行コマンドに基づくジョブの実行前に、画像形成装置１０の専用音声操作部１２５は、スマートスピーカー３００から受信した音声データに対して音声認識処理を施して取消コマンドを生成する。ジョブ制御部１２２は、取消コマンドにより、実行コマンドを取り消す。

このように、通信システム１ｂにおいても、通信システム１及び通信システム１ａと同様に、早期に音声認識結果を取得して、実行中のジョブを停止させ、実行コマンドを取り消すことができる。

（７）変形例（７）
上記実施の形態１及び実施の形態２においては、画像形成装置１０は、利用者の音声により指示を受け付け、音声データをサーバー装置２００に送信する。サーバー装置２００は、音声データに音声認識処理を施して、画像形成装置１０を動作させる実行コマンドを生成し、生成した実行コマンドを画像形成装置１０に返送する。画像形成装置１０は、受け取った実行コマンドに従って、コピージョブ、プリントジョブ、スキャンジョブ等を実行する。利用者がその設定を誤るなどして、指示を取り消したい場合、画像形成装置１０は、利用者の音声により、先の指示を取り消す指示を受け付ける。画像形成装置１０は、利用者の音声を、サーバー装置２００に送信することなく、自身で音声認識を行い、ジョブの停止を示す停止コマンドを生成し、停止コマンドにより、実行中のジョブを停止させ、又は、ジョブを実行する前の当該ジョブに対する実行コマンドを取り消す。

このように、停止コマンドにより、実行中のジョブを停止させ、又は、ジョブを実行する前の当該ジョブに対する実行コマンドを取り消した場合、その後、画像形成装置１０は、利用者の音声により、停止させたジョブの再実行の指示、又は、取り消した実行コマンドの実行の指示を受け付ける、としてもよい。停止させたジョブの再実行の指示、又は、取り消した実行コマンドの実行の指示を受け付けた場合、画像形成装置１０は、停止させたジョブを再実行させ、又は、取り消した実行コマンドを実行させる。

この構成により、先の指示を取り消す指示が誤っていた場合に、停止させたジョブを再実行させ、又は、取り消した実行コマンドを実行させることができる。

（８）上記実施の形態１及び２並びに上記変形例（１）〜（６）をそれぞれ組み合わせてもよい。

本開示に係る画像処理装置は、早期に音声認識結果を取得して、音声指示による実行中のジョブを停止させ、又は、音声指示を取り消すことができ、利用者の音声指示に従って、画像処理装置において、ジョブを実行する技術として有用である。

１、１ａ、１ｂ通信システム
２、２ｂネットワーク
１０、１０ｂ画像形成装置
１１イメージリーダー
１２プリンター
１３給紙部
１６ＬＥＤランプ
１７マイクロホン
１８スピーカー
１９操作パネル
１００制御回路
１０１ＣＰＵ
１０１ａ主制御部
１０２ＲＯＭ
１０３ＲＡＭ
１０４画像メモリ
１０５画像処理回路
１０６ネットワーク通信回路
１０７スキャナー制御回路
１０８入出力回路
１０９プリンター制御回路
１１０記憶回路
１１１音声入力回路
１１２音声出力回路
１１４送信処理部
１１５受信処理部
１２１全体制御部
１２２ジョブ制御部
１２３音声入力切替部
１２４音声操作部
１２５専用音声操作部
２００、２００ｂサーバー装置
２０１主制御部
２０２記憶回路
２０３ネットワーク通信回路
２０４送信処理部
２０５受信処理部
２１１全体制御部
２１２音声認識部
２１３ジョブ生成管理部
２１４音声合成部
３００スマートスピーカー
３０１主制御部
３０２ＣＰＵ
３０３ＲＯＭ
３０４ＲＡＭ
３０５ネットワーク通信回路
３０６マイクロホン
３０７スピーカー
３０８入出力回路
３０９音声入力回路
３１０音声出力回路
３１１送信処理部
３１２受信処理部

Claims

利用者の音声指示に従って生成されたコマンドによってジョブを実行する画像処理装置であって、
サーバー装置が利用者の第一音声に対して、音声を前記画像処理装置により認識できるテキストデータに変換する音声認識処理を施して生成した第一コマンドを受信する受信手段と、
利用者の第二音声に前記音声認識処理を施して第二コマンドを生成する音声認識手段と、
前記第二コマンドにより、前記第一コマンドに基づく実行中のジョブの停止、及び、ジョブを実行する前の当該ジョブに対する前記第一コマンドの取消しのいずれか一方を行う制御手段と
を備えることを特徴とする画像処理装置。
さらに、利用者から音声の入力を受け付ける入力手段を備え、
前記入力手段は、前記第一音声の入力を受け付けた後に、前記第二音声の入力を受け付け、
前記第二音声は、前記第一音声による指示を取り消す指示である
ことを特徴とする請求項１に記載の画像処理装置。
さらに、前記画像処理装置と直接、接続された外部の音声入力装置から、利用者の音声を受信する受信手段を備え、
前記受信手段は、前記第一音声を受信した後に、前記第二音声を受信し、
前記第二音声は、前記第一音声による指示を取り消す指示である
ことを特徴とする請求項１に記載の画像処理装置。
さらに、ジョブの実行を管理する管理手段を備え、
前記管理手段により、前記第一コマンドに基づくジョブが実行中として管理されている場合、前記制御手段は、前記第二コマンドにより、実行中の前記ジョブを停止させる
ことを特徴とする請求項２又は３に記載の画像処理装置。
さらに、ジョブの実行を管理する管理手段を備え、
前記制御手段は、前記管理手段により、前記第一コマンドに基づくジョブが実行中として管理されている場合、前記第二コマンドにより、実行中として管理されている全てのジョブを停止させる
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記第二コマンドの生成の後に、前記第一コマンドを受信する場合、前記制御手段は、前記第二コマンドにより、前記第一コマンドを取り消す
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記第一コマンドは、プリントジョブ、コピージョブ又はスキャンジョブの実行を指示する命令である
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記第二音声は、感嘆詞を含み、
前記音声認識手段は、利用者の発話内容を想定した語句として、感嘆詞を含む音声辞書を有し、
前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、音声辞書から、生成した前記文字列に対応する語句として、感嘆詞を抽出し、抽出された感嘆詞を用いて、前記第二コマンドを生成する
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、さらに、生成した前記文字列が所定の閾値より長いか否かを判断し、
さらに、前記文字列が所定の閾値より長いと判断される場合、利用者に注意を喚起するメッセージを音声として出力する音声出力手段を備える
ことを特徴とする請求項２又は３に記載の画像処理装置。
さらに、前記制御手段により、前記第一コマンドに基づく実行中のジョブを停止させ、又は、前記第一コマンドを取り消す場合、その旨を示すメッセージを音声として出力する音声出力手段を備える
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記音声認識手段は、前記第二音声に音声認識を施して文字列を生成し、音声辞書から、生成した前記文字列に対応する語句を検索し、
さらに、前記音声認識手段により、前記音声辞書から、前記文字列に対応する語句を発見できない場合、前記第二音声に音声認識を施すために、前記第二音声を前記サーバー装置に対して送信する送信手段
を備えることを特徴とする請求項２又は３に記載の画像処理装置。
さらに、前記サーバー装置から、受け付けた前記第二音声に対する音声認識処理の結果の語句を受信する受信手段と、
受信した語句を前記音声辞書に登録する登録手段と
を備えることを特徴とする請求項１１に記載の画像処理装置。
利用者の音声指示に従って生成されたコマンドによってジョブを実行する画像処理装置で用いられる制御方法であって、
サーバー装置が利用者の第一音声に対して、音声を前記画像処理装置により認識できるテキストデータに変換する音声認識処理を施して生成した第一コマンドを受信する受信ステップと、
利用者の第二音声に前記音声認識処理を施して第二コマンドを生成する音声認識ステップと、
前記第二コマンドにより、前記第一コマンドに基づく実行中のジョブの停止、及び、ジョブを実行する前の当該ジョブに対する前記第一コマンドの取消しのいずれか一方を行う制御ステップと
を含むことを特徴とする制御方法。