JP2020123052A - 画像形成システム、及び、画像形成装置 - Google Patents

Abstract

【課題】手動操作の補助となる音声入力による操作と、音声入力のみによる操作との両方に対応することが可能な画像形成システムを提供する。【解決手段】音声入力装置からの音声入力の内容と対応付けて予め設定された動作を実行する音声入力モードとして、操作部での手動操作を補助するための音声補助入力モードと、音声入力による独立した操作を行うための音声独立操作モードとが登録された記録部と、適用される音声入力モードに応じて、音声入力による操作と操作部からの操作とに基づいた処理の実行を制御する制御部とを備え、音声補助入力モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理に反映させ、音声独立操作モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理と並行して処理される、第１の処理と異なる第２の処理に反映させる画像形成システムを構成する。【選択図】図５

Description

本発明は、音声入力による操作が可能な画像形成システム、及び、画像形成装置に係わる。

スマートスピーカー等の音声入力装置と画像形成装置とを連携させ、音声入力によって画像形成装置を操作する画像形成システムが使用されている。音声入力によって画像形成装置を操作する画像形成システムとしては、例えば、操作部で手動操作が行われた時に、表示部に表示されている画面の種別、操作部での手動操作の種別のうちの少なくともいずれかと、音声入力の内容とに対応付けて予め設定された動作を画像形成装置で実行する画像形成システムが提案されている（例えば、特許文献１参照）。この画像形成システムでは、操作部による手動操作を補助する目的で音声入力を行う際、手動操作の内容に関連付けられた音声が入力された場合に、音声認識キー等を押下すること無く音声入力による画像形成装置の操作を行うことができる。

特開２０１３−２２２２２９号公報

上述の画像形成システムでは、従来の操作部での手動操作に対する補助としてのみ、音声入力による操作が使用されている。しかしながら、画像形成システムにおいては、従来の操作パネルで手動操作を行いながら補助的に音声操作を使う場合だけでなく、音声入力による操作のみで画像形成装置を操作することも求められている。このため、従来の操作パネルで手動操作を行いながら補助的に音声操作を使う場合と、音声操作のみでジョブなどの処理を完結させる場合との２つの場合について対応することが可能な画像形成システムが求められている。

上述した問題の解決のため、本発明においては、手動操作の補助となる音声入力による操作と、音声入力のみによる操作との両方に対応することが可能な画像形成システム、及び、画像形成装置を提供する。

本発明の画像形成システムは、画像形成装置と、音声入力装置とを有する。画像形成装置は、音声入力装置と通信する通信部と、操作入力を受け付ける操作部と、音声入力装置からの音声入力の内容と対応付けて予め設定された動作を実行する音声入力モードとして、操作部での手動操作を補助するための音声補助入力モードと、音声入力による独立した操作を行うための音声独立操作モードとが登録された記録部と、適用される音声入力モードに応じて、音声入力による操作と操作部からの操作とに基づいた処理の実行を制御する制御部とを備える。制御部は、操作部を操作中に音声入力装置から音声を検出した際に、音声補助入力モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理に反映させ、音声独立操作モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理と並行して処理される、第１の処理と異なる第２の処理に反映させる。

また、本発明の画像形成装置は、音声入力装置と通信する通信部と、操作入力を受け付ける操作部と、音声入力装置からの音声入力の内容と対応付けて予め設定された動作を実行する音声入力モードとして、操作部での手動操作を補助するための音声補助入力モードと、音声入力による独立した操作を行うための音声独立操作モードとが登録された記録部と、適用される音声入力モードに応じて、音声入力による操作と操作部からの操作とに基づいた処理の実行を制御する制御部とを備える。制御部は、操作部を操作中に音声入力装置から音声を検出した際に、音声補助入力モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理に反映させ、音声独立操作モードが適用されている場合は、音声による指示を操作部での操作に基づいた第１の処理と並行して処理される、第１の処理と異なる第２の処理に反映させる。

本発明によれば、手動操作の補助となる音声入力による操作と、音声入力のみによる操作との両方に対応することが可能な画像形成システム、及び、画像形成装置を提供することができる。

画像形成システムの概略構成を示す図である。 画像形成装置の構成を示すブロック図である。 音声入力装置の構成を示すブロック図である。 操作部における切り替え入力部の例を示す図である。 ２つの音声入力モードを排他的に使用する、画像形成システムの音声操作の動作フローチャートである。 独立モード許可判定部のもたつき判定処理のフローチャートである。 ２つの音声入力モードを並行して使用する、画像形成システムの音声操作の動作フローチャートである。 ２つの音声入力モードを並行して使用する、画像形成システムの音声操作の動作フローチャートである。

以下、本発明を実施するための形態の例を説明するが、本発明は以下の例に限定されるものではない。
なお、説明は以下の順序で行う。
１．画像形成システムの概要
２．画像形成システムの実施形態

〈１．画像形成システムの概要〉
画像形成システムの実施の形態の説明に先立ち、画像形成システムの概要について説明する。画像形成システムは、２つの音声入力モードを持つことを特徴とする。また、画像形成システムは、２つの音声入力モードの一方のみを排他的に使用する、又は、両方を並行して使用することができる。

［音声入力モード］
画像形成システムは、１つめの音声入力モードとして、画像形成装置の操作部における手動操作を補助するために音声入力操作を受け付ける音声補助入力モード（以下、補助モードとも称する）を有する。
また、画像形成システムは、２つめの音声入力モードとして、画像形成装置の操作部における手動操作にかかわらず、音声による独立した画像形成装置の操作を行うために音声入力操作を受け付ける音声独立操作モード（以下、独立モードとも称する）を有する。

音声補助入力モード（補助モード）は、画像形成装置の操作部を操作している操作者が、一部の操作を手動操作の替わりに音声入力で行うことによって、手動操作の操作回数を削減することができる。即ち、音声補助入力モード（補助モード）では、画像形成装置の操作部を操作している手動操作と、音声入力を行う音声操作とで同じジョブへの操作を受け付ける。

また、音声独立操作モード（独立モード）は、画像形成装置の操作部で行われる手動操作に替わって、音声入力によって画像形成装置の操作を行うことで、音声入力のみで画像形成装置の操作を行うことができる。即ち、音声独立操作モード（独立モード）では、画像形成装置の操作部を操作している手動操作と、音声入力を行う音声操作とで異なるジョブへの操作を受け付ける。

［音声入力モードの排他的使用］
画像形成システムは、音声入力を用いる操作に対して、音声補助入力モード（補助モード）と音声独立操作モード（独立モード）とのいずれかを、排他的に選択して適用することができる。

補助モードの場合、画像形成装置は、操作部において手動操作で行われているジョブに対して、音声入力による操作を受け付ける。このため、補助モードの場合には、画像形成装置に対し、手動操作と音声入力操作とで同じジョブへの操作が行われる。

一方、独立モードの場合、画像形成装置は、操作部において手動操作で行われている第１のジョブとは異なる第２のジョブに対して、音声入力による操作を受け付ける。即ち、独立モードの場合には、画像形成装置に対し、手動操作と音声入力操作とでそれぞれ異なるジョブへの操作が行われる。このため、画像形成システムでは、手動操作によって画像形成装置を操作して行う第１のジョブの処理と、音声操作によって画像形成装置を操作して行う第２のジョブの処理とが、並行して行われる。なお、独立モードの場合に、必ずジョブが並行に行われる必要はなく、音声入力操作による操作のみが行われてもよい。

画像形成システムが補助モードと独立モードとのいずれかを選択するためには、画像形成装置において音声入力モードを切り替える必要がある。画像形成システムは、モードの切り替えとして、例えば、画像形成装置の認証装置のユーザー認証によるモードの切り替え、特定の音声入力の内容によるモードの切り替え、手動操作者の操作がもたついている際のモードの切り替え、及び、操作部での手動操作によるモードの切り替えを行うことができる。

画像形成装置の認証装置によってモードを切り替える場合は、例えば、第１のユーザーが操作部において手動操作を行いながら補助モードで音声入力を使用している状況で、第２のユーザーが認証装置により認証を行った際に、音声入力を独立モードに切り替える。これにより、第１のユーザーが手動操作によって画像形成装置を操作して第１のジョブを処理するとともに、認証を行った第２のユーザーが独立モードでの音声入力によって画像形成装置を操作して第２のジョブを処理することができる。このように、手動操作者（第１のユーザー）と音声入力操作者（第２のユーザー）とが、それぞれ異なるジョブに対して画像形成装置を操作することができる。

特定の音声入力の内容によってモードの切り替える場合は、音声入力操作を行いたいユーザーが、音声入力装置に対して特定の内容の音声入力を行うことにより、音声入力モードを任意に切り替える。例えば、「補助モードで実行」、「独立モードで実行」等の各モードに紐付けた特定の音声入力の内容を予め画像形成システムに登録しておき、画像形成システムが音声入力の内容から特定の内容を検出した際に、入力内容に対応したモードを適用する。具体的には、独立モードに切り替えてジョブを操作した場合に、ユーザーが音声入力装置に対して「独立モードで実行。」、「ＢＯＸ内のＡＡＡというファイルをプリント。」と音声入力を行うと、「独立モードで実行。」の音声入力によって音声入力モードとして独立モードが選択され、「ＢＯＸ内のＡＡＡというファイルをプリント。」の音声入力によって画像形成装置を操作することができる。

手動操作者の操作がもたついている際にモードを切り替える場合は、例えば、手動操作者が補助モードによる音声入力を使っていない状況において、以下の条件を満たす手動操作を継続している場合には、手動操作者の処理のもたつきを判定し、音声入力を独立モードに切り替える。手動操作者のもたつきが判定された際に音声入力モードを独立モードに切り替えることにより、第１のユーザーによる第１のジョブの完了を待つことなく、第２のユーザーが音声入力操作によって第２のジョブを開始することができる。

手動操作者のもたつきを判定する条件としては、手動操作時間が閾値を超えた場合、手動操作回数が閾値を超えた場合、及び、有効な操作割合（例えば、手動操作回数に対する設定変更の回数［有効操作割合＝設定変更数／手動操作回数］）が閾値を下回っている場合が挙げられる。

操作部での手動操作によってモードを切り替える場合は、例えば、画像形成装置の操作部に、音声入力モードを切り替えるためのボタンやコマンド等の切り替え入力部を配置し、操作者が切り替え入力部を操作することにより、音声入力モードを切り替える。例えば、画像形成装置において予め補助モードが選択されている状況において、ユーザーが切り替え入力部を操作することにより、音声入力モードが補助モードから独立モードに切り替えられる。また、予め独立モードが選択されている状況において、ユーザーが切り替え入力部を操作することにより、音声入力モードが独立モードから補助モードに切り替えられる。

なお、画像形成システムでは、補助モードから独立モードに切り替えた後、独立モードでの操作が行われたジョブが完了した際には、音声入力モードを再度補助モードに切り替えることが好ましい。補助モードに切り替えることにより、ユーザーが次のジョブを行う際に、同じジョブに対して手動操作と音声入力操作とによって画像形成装置を操作することができる。これにより、画像形成装置が、手動操作の内容と音声入力操作の内容とを異なるジョブへの操作として受け付けるような事態を抑制することができる。

［音声入力モードの並行使用］
画像形成システムは、音声入力を用いる画像形成装置の操作に対して、上記の２つの音声入力モードを、並行して使用することができる。この場合には、補助モードによる音声入力操作と手動操作とによって画像形成装置を操作して第１のジョブを処理するのと並行して、独立モードによる音声入力操作で画像形成装置を操作して第２のジョブを処理することができる。

補助モードと独立モードとを並行して使用する場合には、音声入力操作によって、２つのジョブへの操作が行われる。このため、画像形成装置において２つのジョブが並行して処理される。このため、音声入力装置から入力される音声が、どのジョブに対する操作か判断するために、音声入力モードと操作対象となるジョブとの紐付けが必要となる。

例えば、ユーザー毎に、使用モードとジョブとを時系列的に紐付けることができる。この場合には、声の質からユーザーの識別を行う。
時系列的に先に第１のユーザーが画像形成装置を操作して第１のジョブを処理している状況では、この第１のユーザーからの音声入力操作に対しては補助モードとして画像形成装置の操作を受け付ける。そして、補助モードで動作中に、第２のユーザーとして識別される音声が音声入力部に入力されて第２のジョブが開始された場合、第２のユーザーからの音声入力操作に対しては、独立モードとして画像形成装置の操作を受け付ける。これにより、第１のユーザーの音声入力に対しては補助モードで画像形成装置を操作して第１のジョブを処理し、第２のユーザーの音声入力に対しては独立モードで画像形成装置を操作して第２のジョブ操作を処理する。

また、画像形成装置の位置とユーザーの位置との関係を把握することにより、空間的にユーザーとジョブとを紐付けることもできる。例えば、音声入力装置として、指向性マイクロフォン（以下、マイク）を複数有する場合には、指向性マイクの設置位置や音声が入力される方向等から、音声入力を行っているユーザーの位置を把握することができる。このため、ユーザーによる音声入力が、画像形成装置の操作部の前から行われているか、それ以外の場所から行われているかを把握することができる。そして、操作部の前からユーザーが音声入力を行っている場合には、補助モードとして手動操作と音声入力操作とによる画像形成装置の操作を受け付けてジョブを処理する。また、操作部の前以外の場所からのユーザーが音声入力を行っている場合には、独立モードとして音声入力操作のみによる画像形成装置の操作を受け付けてジョブを処理する。これにより、操作部の前にいる第１のユーザーの音声入力に対しては補助モードが適用され、操作部の前以外にいる第２のユーザーの音声入力に対しては独立モードが適用される。

〈２．画像形成システムの実施形態〉
以下、画像形成システムの具体的な実施の形態について説明する。図１に、本実施の形態の画像形成システムの概略構成図を示す。画像形成システムは、上述の概要に記載されているように、画像形成装置を操作するための音声入力モードとして、音声補助入力モード（補助モード）と、音声独立操作モード（独立モード）とを有する。

図１に示す画像形成システムは、画像形成装置１０と、画像形成装置１０が音声入力を受け付ける音声入力装置２０とが、ＬＡＮ（Local Area Network）等のネットワークを介して接続されている。さらに、画像形成システムは、画像形成装置１０や音声入力装置２０とネットワークを介して接続された外部サーバー３０等を備えていてもよい。ネットワークは有線であっても無線であってもよい。例えば、画像形成装置１０と外部サーバー３０とが有線ＬＡＮに接続され、音声入力装置２０が無線で接続されている例が挙げられる。

画像形成装置１０は、画像形成機能を実現するための構成を有する。
音声入力を受け付ける音声入力装置２０は、入力される音声信号を処理する処理装置を含んでもよい。音声入力装置２０としては、従来のマイクやスマートスピーカー等が挙げられる。音声入力装置２０は、音声入力を受け付ける機能を実現するための構成としての音声入力部としてのマイクと、情報を表示（出力）するためのタッチパネル等の表示部や、スピーカー等の音声出力部とを備える。なお、画像形成システムにおいて、音声入力装置２０は、少なくともこれら機能を有していれば特に限定されない。

［画像形成装置の機能構成］
画像形成システムに係る画像形成装置１０の機能構成の具体例を図２に示す。なお、ここで示す画像形成装置１０は、画像読み取り機能や印刷機能を備えた一般的な構成を示しているが、必ずしも全ての機能を搭載する必要はなく、ファクシミリ装置やスキャナー装置等の限定的な機能を有した構成であってもよい。

画像形成装置１０は、操作部１１、制御部１２、画像処理部１３、画像形成部１４、有線通信部１５、認証部１６、自動原稿搬送部１７、画像読み取り部１８、無線通信部１９、不揮発メモリ４１、ＲＡＭ４２、ＨＤＤ（hard disk drive）４３、及び、独立モード許可判定部４４が相互に通信可能に接続されて構成される。

制御部１２は、制御装置として機能する演算装置であるＣＰＵ（Central Processing Unit）等を備える。制御部１２は、画像形成装置１０の全体を統括的に制御し、コピー機能、プリンタ機能、ファクシミリ機能、スキャン機能等の各機能の実行を制御する。また、画像形成装置１０は、制御部１２で実行されるプログラム等を記憶する不揮発メモリ４１、補助モード及び独立モードでの処理の内容、ユーザーに関する各種の情報（ユーザー情報）、及び、画像データ等を保存する記録部であるＨＤＤ（hard disk drive）４３、制御部１２でプログラムを実行する際の作業領域として機能するＲＡＭ（random access memory）４２等の画像形成装置１０の動作に必要な要素を含む。

また、制御部１２は、画像形成装置を操作するための音声入力モードとして、音声補助入力モード（補助モード）と、音声独立操作モード（独立モード）とを切り替える。そして、制御部１２は、画像形成システムにおいて選択されているいずれかの音声入力モードに応じて、音声入力による操作内容に対応付けて予め設定された、画像形成装置１０を動作させるための処理を行う。

操作部１１は、ユーザーからのジョブの開始や設定の変更など、各種の操作を受け付ける。操作部１１は、表示部の画面上に設けられて押下された座標位置を検出するタッチパネルや、画面外にテンキーや文字入力キー、スタートキー等を備えて構成される。

画像形成部１４は、画像データに応じた画像を記録紙上に画像形成する。画像形成部１４は、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置等を有し、電子写真プロセスによって画像形成を行う。画像形成出力（印刷）を行う際は、主走査方向への１ライン分の画像形成を繰り返し、画像形成の対象物（記録紙）を副走査方向に移動させることによって、記録紙上に２次元の画像を形成する。

画像処理部１３は、画像の拡大縮小、回転などの処理のほか、画像データの圧縮、伸張処理などを行う。
有線通信部１５は、有線で接続されたネットワークを介して音声入力装置や、外部サーバー等の外部の装置とデータの送受信を行う。また、無線通信部１９は、無線で接続されたネットワークを介して外部の装置とデータの送受信を行う。

認証部１６は、画像形成装置１０を使用するユーザーがログインする際に、ユーザー認証を行う。認証方式はユーザーＩＤやパスワード等の情報を操作パネルから入力する方式でもよく、ＩＣカード等に記載されたユーザー情報を非接触で読み取る方式でもよい。さらに、音声認証や指紋認証等の生体認証であってもよい。認証部１６は、画像形成装置のインターフェースである認証モジュールに対してユーザーが非接触ＩＣカードを近付けることで、ユーザー情報を自動的に読み取る。そして、認証部１６は、読み取ったユーザー情報をＨＤＤ４３等に記録された各ユーザーの照合用の認証情報と比較して認証を行う。

画像読み取り部１８は、記録紙等に記載された原稿の画像を光学的に読み取って画像データを取得する。画像読み取り部１８は、例えば、原稿に光を照射する光源と、その反射光を受けて主走査方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を副走査方向に順次移動させる駆動部と、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラー等からなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部等を備える。

自動原稿搬送部１７は、原稿トレイ等に載置された原稿を搬送機構により搬送して画像読み取り部１８へ送り出す。自動原稿搬送部１７により、原稿トレイ等に載置された多数枚の原稿の画像（両面を含む）を、画像読み取り部１８において連続して読み取ることが可能となる。

独立モード許可判定部４４は、音声入力モードを、補助モードから独立モードに切り替えるための判定を行う。例えば、独立モード許可判定部４４は、画像形成システムにおいて、手動操作者のもたつきを判定する。独立モード許可判定部４４は、例えば、手動操作時間が閾値を超えた場合、手動操作回数が閾値を超えた場合、又は、有効な操作割合（例えば、手動操作回数に対する設定変更の回数［有効操作割合＝設定変更数／手動操作回数］）が閾値を下回っている場合に、補助モードから独立モードに切り替えるためのもたつき判定を行う。画像形成システムは、独立モード許可判定部４４の判定に基づいて、制御部１２が音声入力モードを独立モードに切り替える。なお、画像形成システムにおいては、制御部１２から独立した独立モード許可判定部４４を設けずに、制御部１２において音声入力モードを切り替えるための判定処理が行われてもよい。この場合には、制御部１２がシステム制御構成として独立モード許可判定部４４を有し、制御部１２内の独立モード許可判定部４４が音声入力モードを切り替えるための判定処理を行う。

［音声入力装置の機能構成］
図３に、音声入力装置２０の機能構成の具体例を示す。図３に示すように、音声入力装置２０は、全体を制御する演算装置である制御部２２、制御部２２で実行されるプログラム等を記憶する不揮発メモリ２５、制御部２２でプログラムを実行する際の作業領域として機能するＲＡＭ２６、マイク等の音声を収集する音声入力部２１、音声入力装置２０からユーザー等に音声で情報を通知する音声出力部２７、上記ネットワークを介した無線通信を制御する無線通信部２３とを含む。

制御部２２は、音声入力装置２０の全体を統括的に制御する演算装置であるＣＰＵ（Central Processing Unit）等を備える。制御部２２は、音声入力装置２０に音声を入力しているユーザーを識別する話者識別部２４を有する。話者識別部２４は、音声入力装置２０に音声を入力している複数のユーザーの音声を、ユーザー毎に分離して識別する。これにより、音声入力装置２０は、ユーザー毎の音声入力の内容を、それぞれ別の音声信号として識別する。

［サーバーの構成］
外部サーバー３０は、パーソナルコンピューター等の、一般的なコンピューターで実現することができる。そのため、そのハードウェア構成は、一般的なコンピューターのハードウェア構成と同様とすることができる。このため、外部サーバー３０のハードウェア構成の詳細な説明は省略する。画像形成システムでは、画像形成装置１０の制御部１２や音声入力装置２０の制御部２１が行う処理を、ネットワークによって接続された外部サーバー３０が替わりに行ってもよい。また、画像形成装置１０や音声入力装置２０が使用する各種のデータが外部サーバー３０に保存されていてもよい。

［操作部の構成］
操作部１１は、ユーザーからのジョブの開始や設定の変更など、各種の操作を受け付ける。操作部１１は、表示部の画面上に設けられて押下された座標位置を検出するタッチパネルや、画面外に設けられたテンキーや文字入力キー、スタートキー等を備えて構成される。また、操作部１１は、操作部１１において手動操作によって音声入力モードを切り替えるために、画像形成装置１０の操作部１１に音声入力モードを切り替えるためのボタンやコマンド等の切り替え入力部を有する。

操作部１１における切り替え入力部の例を図４に示す。図４に示す操作部１１は、タッチパネル上に表示されたコマンドボタンに対するタップ操作によるユーザーの操作を受け付ける。図４に示す操作部１１では、操作部１１に表示されるコマンドボタン（タブ）の１つとして、切り替え入力部４５が配置されている。そして、ユーザーが手動で切り替え入力部４５を操作することにより、制御部１２が音声入力モードを切り替える。

［音声入力モードの排他的使用のフローチャート］
図５に、２つの音声入力モードを排他的に使用する、画像形成システムの音声操作の動作フローチャートを示す。以下の例では、画像形成システムのデフォルト設定として音声入力モードを補助モードに設定し、独立モードに変更する条件に合致した場合に、音声入力モードを補助モードから独立モードに切り替える場合について説明する。

まず、画像形成装置１０の制御部１２が、画像形成システムの音声入力モードを予め補助モードに設定する（ステップＳ１）。次に、ユーザーが画像形成装置１０を操作する際に、認証装置（認証部１６）においてユーザー認証を行う。このユーザー認証の際に、独立モード許可判定部４４は、記録部（ＨＤＤ４３等）に保存されているユーザー情報から、認証されたユーザーが音声入力を独立モードで使用する設定かどうかを判定する（ステップＳ２）。ユーザーが独立モードを使用する設定となっている場合（ステップＳ２のＹｅｓ）は、独立モード許可判定部４４の判定に基づいて、制御部１２が音声入力モードを補助モードから独立モードに切り替える（ステップＳ８）。

独立モードで使用する設定となっていない場合（ステップＳ２のＮｏ）、独立モード許可判定部４４は、操作部１１において切り替え入力部４５が操作されたかどうかを判定する（ステップＳ３）。操作部１１において切り替え入力部４５が操作された場合（ステップＳ３のＹｅｓ）、独立モード許可判定部４４の判定に基づいて、制御部１２が音声入力モードを補助モードから独立モードに切り替える（ステップＳ８）。

操作部１１において切り替え入力部４５が操作されていない場合（ステップＳ３のＮｏ）、独立モード許可判定部４４は、もたつき判定処理を行う（ステップＳ４）。このもたつき判定処理の詳細については後述する。

もたつき判定処理において、ユーザーの手動操作のもたつきがあると判定された場合（ステップＳ５のＹｅｓ）、独立モード許可判定部４４の判定に基づいて、制御部１２が音声入力モードを補助モードから独立モードに切り替える（ステップＳ８）。

もたつき判定処理において、ユーザーの手動操作にもたつきが有ると判定されなかった場合（ステップＳ５のＮｏ）、制御部１２は、音声入力装置２０に対してユーザーからの音声入力があるかどうかを判定する（ステップＳ６）。音声入力がない場合（ステップＳ６のＮｏ）、音声入力を独立モードに切り替えずに上述のステップＳ２の判定処理に戻る。

音声入力があった場合（ステップＳ６のＹｅｓ）、独立モード許可判定部４４は、ユーザーの音声入力に、音声入力モードを切り替えるための特定の内容が含まれているかを判定する。ユーザーの音声入力に音声入力モードを切り替えるための特定の内容が含まれている場合（ステップＳ７のＹｅｓ）、独立モード許可判定部４４の判定に基づいて、制御部１２が音声入力モードを補助モードから独立モードに切り替える（ステップＳ８）。

ユーザーの音声入力に音声入力モードを切り替えるための特定の内容が含まれていない場合（ステップＳ７のＮｏ）、制御部１２は現在の音声入力モードが独立モードとなっているかどうかを判定する（ステップＳ９）。音声入力モードが独立モードとなっていない場合、即ち音声入力モードが補助モードの場合、制御部１２は、補助モードで画像形成装置１０への音声入力操作を受け付け、ジョブの処理を実行する（ステップＳ１０）。ステップＳ１０において補助モードでのジョブの処理の完了後は、ステップＳ２の判定処理に戻る。

ユーザーの音声入力に音声入力モードを切り替えるための特定の内容が含まれている場合（ステップＳ９のＹｅｓ）、制御部１２は、独立モードでのユーザーの音声入力操作が有るかどうかを判定する（ステップＳ１１）。ユーザーの音声入力操作が有る場合（ステップＳ１１のＹｅｓ）、制御部１２は、ユーザーの音声入力操作に従って画像形成装置１０におけるジョブの処理を行い（ステップＳ１３）、ジョブが完了したかどうかを判定する（ステップＳ１４）。ジョブが完了していない場合（ステップＳ１４のＮｏ）、ステップＳ１１のユーザーの音声入力操作が有るかどうかの判定を継続する。また、ジョブが完了した場合（ステップＳ１４のＹｅｓ）、制御部１２が音声入力モードの設定を独立モードから補助モードに切り替える（ステップＳ１）。そして、ステップＳ２以降の処理を継続する。

独立モードでユーザーの音声入力操作がない場合（ステップＳ１１のＮｏ）、制御部１２は、独立モードに切り替えられてから音声入力がされない状態が一定時間経過したかどうかを判定する（ステップＳ１２）。一定時間経過していない場合（ステップＳ１２のＮｏ）、一定時間が経過するまでステップＳ１１のユーザーの音声入力操作が有るかどうかの判定を継続する。また、一定時間が経過した場合（ステップＳ１２のＹｅｓ）、制御部１２が音声入力モードの設定を独立モードから補助モードに切り替える（ステップＳ１）。そして、ステップＳ２以降の処理を継続する。

以上の処理により、画像形成システムにおける音声入力モードを、補助モードと独立モードとで排他的に使用して、音声入力によって画像形成装置を操作してジョブの処理を実行することができる。

［もたつき判定処理のフローチャート］
上述の図５に示す画像形成システムの音声入力のステップＳ４における、独立モード許可判定部４４のもたつき判定処理のフローチャートを図６に示す。

まず、独立モード許可判定部４４は、操作部１１での手動操作時間が閾値を超えたかどうかを判定する（ステップＳ２１）。手動操作時間が閾値を超えていない場合（ステップＳ２１のＮｏ）、操作部１１での手動操作回数が閾値を超えたかどうか判定する（ステップＳ２２）。

手動操作回数が閾値を超えていない場合（ステップＳ２２のＮｏ）、操作部１１での手動操作による有効操作割合が閾値を下回っているかどうかを判定する（ステップＳ２３）。さらに、有効操作割合が閾値を下回っていない場合（ステップＳ２３のＮｏ）、独立モード許可判定部４４は手動操作者による操作部１１の操作がもたついていると判定せずに、もたつき判定処理を終了する。

手動操作時間が閾値を超えている場合（ステップＳ２１のＹｅｓ）、手動操作回数が閾値を超えている場合（ステップＳ２２のＹｅｓ）、又は、有効操作割合が閾値を下回っている場合（ステップＳ２３のＹｅｓ）、独立モード許可判定部４４は手動操作者による操作部１１の操作がもたついていると判定し（ステップＳ２４）、もたつき判定処理を終了する。

［音声入力モードの並行使用のフローチャート］
（１．時系列）
図７に、画像形成システムにおいて２つの音声入力モードを並行して使用する例として、時系列的に補助モードと独立モードとを設定する場合の動作フローチャートを示す。以下の例では、時系列的に先に画像形成装置の音声入力操作を開始する第１のユーザーに対して補助モードを適用し、時系列的に後から画像形成装置の音声入力を行う第２のユーザーに対して独立モードを適用する場合について説明する。

画像形成装置１０の制御部１２は、画像形成装置１０の操作部１１で手動操作が行われているかどうかを判定する（ステップＳ３１）。手動操作が行われていない場合（ステップＳ３１のＮｏ）、制御部１２は手動操作が開始されるまで、ステップＳ３１の判定を継続する。

手動操作が行われている場合（ステップＳ３１のＹｅｓ）、制御部１２は、音声入力装置２０から音声入力が行われているかどうかを判定する（ステップＳ３２）。音声入力が行われていない場合（ステップＳ３２のＮｏ）、制御部１２は、音声入力が行われるまで、ステップＳ３２の判定を継続する。

音声入力が行われている場合（ステップＳ３２のＹｅｓ）、画像形成装置１０を操作している第１のユーザー（現話者）の音声入力に対して、音声入力モードを補助モードに設定する（ステップＳ３３）。そして、制御部１２は、第１のユーザーの音声入力操作を補助モードで受け付ける。

補助モードで第１のユーザーの音声入力操作を受け付けている最中、音声入力装置２０の話者識別部２４は、第２のユーザー（別話者）から音声入力装置２０への音声入力が有るかどうかを判定する（ステップＳ３４）。第２のユーザーから音声入力装置２０への音声入力がない場合（ステップＳ３４のＮｏ）、画像形成装置１０の制御部１２は、第１のユーザーのジョブが完了するまで補助モードを継続し、本フローチャートによる処理を終了する。

話者識別部２４が第２のユーザーから音声入力装置２０への音声入力を検出した場合（ステップＳ３４のＹｅｓ）、音声入力装置２０の制御部２２は、画像形成装置１０の制御部１２に対して、第２のユーザーの音声入力を検出したことを通知する。そして、画像形成装置１０の制御部１２は、第２のユーザーの音声入力に対して、音声入力モードを独立モードに設定する（ステップＳ３５）。そして、制御部１２は、補助モードで第１のユーザーの音声入力操作を受け付ける処理と並行して、独立モードで第２のユーザーの音声入力操作を受け付ける処理を行う。そして、制御部１２は、第１のユーザーのジョブが完了するまで第１のユーザーの音声入力操作に対して補助モードを継続し、且つ、第２のユーザーのジョブが完了するまで第２のユーザーの音声入力操作に対して独立モードを継続し、本フローチャートによる処理を終了する。

（２．ユーザー位置）
図８に、画像形成システムにおいて２つの音声入力モードを並行して使用する例として、画像形成装置１０の位置とユーザーの位置との関係から、補助モードと独立モードとを設定する場合の動作フローチャートを示す。以下の例では、画像形成装置１０の操作部１１の正面から音声入力を行う第１のユーザーに補助モードを適用し、画像形成装置１０の操作部１１の正面以外の位置から音声入力を行う第２のユーザーに独立モードを適用する場合について説明する。

画像形成装置１０の制御部１２は、音声入力装置２０への音声入力があるかどうかを判定する（ステップＳ４１）。音声入力が無い場合（ステップＳ４１のＮｏ）、制御部１２は、音声入力が行われるまでステップＳ４１の判定を継続する。

音声入力装置２０への音声入力が有る場合（ステップＳ４１のＹｅｓ）、制御部１２は、ユーザーが画像形成装置１０の操作部１１の正面から音声入力を行っているかどうかを判定する（ステップＳ４２）。例えば、画像形成システムが複数の音声入力装置２０を備え、さらに、音声入力装置２０が音声入力部２１として指向性マイクを備える場合には、各音声入力装置が検出する音の強度の差から、制御部１２が音声入力を行っているユーザーの位置を検出することができる。そして、ユーザーの位置と、画像形成装置１０の位置との関係からユーザーが操作部１１の正面から音声入力を行っているかどうかを判定することができる。

ユーザーが画像形成装置１０の操作部１１の正面から音声入力を行っている場合（ステップＳ４２のＹｅｓ）、制御部１２は、このユーザー（第１のユーザー）からの音声入力操作に対して、音声入力モードとして補助モードを設定する（ステップＳ４３）。
また、ユーザーが画像形成装置１０の操作部１１の正面から音声入力を行っていない場合（ステップＳ４２のＮｏ）、制御部１２は、このユーザー（第２のユーザー）からの音声入力操作に対して、音声入力モードとして独立モードを設定する（ステップＳ４４）。
そして、制御部１２は、補助モードで第１のユーザーの音声入力操作を受け付ける処理と、独立モードで第２のユーザーの音声入力操作を受け付ける処理とを並行して行う。そして、制御部１２は、第１のユーザーのジョブが完了するまで第１のユーザーの音声入力操作に対して補助モードを継続し、且つ、第２のユーザーのジョブが完了するまで第２のユーザーの音声入力操作に対して独立モードを継続し、本フローチャートによる処理を終了する。

なお、本発明は上述の実施形態例において説明した構成に限定されるものではなく、その他本発明構成を逸脱しない範囲において種々の変形、変更が可能である。

１０ 画像形成装置、１１ 操作部、１２，２２ 制御部、１３ 画像処理部、１４ 画像形成部、１５ 有線通信部、１６ 認証部、１７ 自動原稿搬送部、１８ 画像読み取り部、１９，２３ 無線通信部、２０ 音声入力装置、２１ 音声入力部、２４ 話者識別部、２５，４１ 不揮発メモリ、２６，４２ ＲＡＭ、２７ 音声出力部、３０ 外部サーバー、４３ ＨＤＤ、４４ 独立モード許可判定部、４５ 入力部

Claims (15)

1. 画像形成装置と、音声入力装置とを有する画像形成システムであって、
   前記画像形成装置は、
   前記音声入力装置と通信する通信部と、
   操作入力を受け付ける操作部と、
   前記音声入力装置からの音声入力の内容と対応付けて予め設定された動作を実行する音声入力モードとして、前記操作部での手動操作を補助するための音声補助入力モードと、前記音声入力による独立した操作を行うための音声独立操作モードとが登録された記録部と、
   適用される前記音声入力モードに応じて、前記音声入力による操作と前記操作部からの操作とに基づいた処理の実行を制御する制御部と、備え、
   前記制御部は、前記操作部を操作中に前記音声入力装置から音声を検出した際に、
   前記音声補助入力モードが適用されている場合は、音声による指示を前記操作部での操作に基づいた第１の処理に反映させ、
   前記音声独立操作モードが適用されている場合は、音声による指示を前記操作部での操作に基づいた第１の処理と並行して処理される、前記第１の処理と異なる第２の処理に反映させる
   画像形成システム。
2. 前記制御部は、１つの操作内容に対して、前記音声補助入力モードと前記音声独立操作モードとのいずれかを選択して適用する
   請求項１に記載の画像形成システム。
3. 前記画像形成装置は、ユーザーを認証する認証部を備え、
   前記認証部による認証に基づいて、前記制御部が前記音声入力モードを切り替える
   請求項２に記載の画像形成システム。
4. 前記制御部は、特定の音声入力の内容を検出した場合に、前記音声入力モードを切り替える
   請求項２に記載の画像形成システム。
5. 前記音声入力装置は、特定の音声入力の内容を検出した場合に、前記特定の音声入力の内容を検出したことを前記制御部に通知し、
   前記制御部は、前記音声入力装置からの通知に従って前記音声入力モードを切り替える
   請求項２に記載の画像形成システム。
6. 前記画像形成装置は、所定の条件において前記音声入力モードを、前記音声補助入力モードから前記音声独立操作モードに切り替えるための判定を行う独立モード許可判定部を備え、
   前記独立モード許可判定部の判定に基づいて、前記制御部が前記音声入力モードを前記音声独立操作モードに切り替える
   請求項２に記載の画像形成システム。
7. 前記独立モード許可判定部は、前記操作部における手動操作時間が閾値を超えた場合に、前記判定を行う
   請求項６に記載の画像形成システム。
8. 前記独立モード許可判定部は、前記操作部における手動操作の操作回数が閾値を超えた場合に、前記判定を行う
   請求項６に記載の画像形成システム。
9. 前記独立モード許可判定部は、前記操作部における手動操作の操作回数当たりの設定変更回数を有効操作割合とし、前記有効操作割合が閾値を下回る場合に、前記判定を行う
   請求項６に記載の画像形成システム。
10. 前記操作部が前記音声入力モードを切り替えるための切り替え入力部を有し、前記切り替え入力部に対する操作に対応して前記制御部が前記音声入力モードを切り替える
    請求項２に記載の画像形成システム。
11. 前記制御部は、前記音声独立操作モードで実行されたジョブが完了したら、前記音声入力モードを前記音声補助入力モードに切り替える
    請求項２に記載の画像形成システム。
12. 前記制御部は、前記音声補助入力モードによる前記第１の処理と、前記音声独立操作モードによる前記第２の処理とを並行して実行する
    請求項１に記載の画像形成システム。
13. 前記音声入力装置は、複数の音声を識別する話者識別部を有し、
    前記制御部は、第１のユーザーが前記音声補助入力モードでの第１の処理中に、前記話者識別部によって第２のユーザーの音声が識別されたら、前記第２のユーザーの音声による第２の処理に対して前記音声独立操作モードを適用する
    請求項１２に記載の画像形成システム。
14. 前記音声入力装置は、指向性入力部を有し、
    前記制御部は、前記指向性入力部で得られる音声の指向性の情報と、前記音声入力装置と前記操作部との位置関係とから、前記音声入力装置に対して音声入力を行っているユーザーの位置を特定し、
    前記ユーザーが前記操作部の正面に位置する場合、前記制御部は音声入力による操作に対して前記音声補助入力モードを適用して処理し、
    前記ユーザーが前記操作部の正面以外に位置する場合、前記制御部は音声入力による操作に対して前記音声独立操作モードを適用して処理する
    請求項１２に記載の画像形成システム。
15. 音声入力装置と通信する通信部と、
    操作入力を受け付ける操作部と、
    前記音声入力装置からの音声入力の内容と対応付けて予め設定された動作を実行する音声入力モードとして、前記操作部での手動操作を補助するための音声補助入力モードと、前記音声入力による独立した操作を行うための音声独立操作モードとが登録された記録部と、
    適用される前記音声入力モードに応じて、前記音声入力による操作と前記操作部からの操作とに基づいた処理の実行を制御する制御部と、備え、
    前記制御部は、前記操作部を操作中に前記音声入力装置からの音声を検出した際に、
    前記音声補助入力モードが適用されている場合は、音声による指示を前記操作部での操作に基づいた第１の処理に反映させ、
    前記音声独立操作モードが適用されている場合は、音声による指示を前記操作部での操作に基づいた第１の処理と並行して処理される、前記第１の処理と異なる第２の処理に反映させる
    画像形成装置。

Images