JP2021096493A - Control device, control system and control program - Google Patents
Control device, control system and control program Download PDFInfo
- Publication number
- JP2021096493A JP2021096493A JP2019225082A JP2019225082A JP2021096493A JP 2021096493 A JP2021096493 A JP 2021096493A JP 2019225082 A JP2019225082 A JP 2019225082A JP 2019225082 A JP2019225082 A JP 2019225082A JP 2021096493 A JP2021096493 A JP 2021096493A
- Authority
- JP
- Japan
- Prior art keywords
- setting
- control
- candidates
- voice
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 196
- 238000000034 method Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 34
- 238000000605 extraction Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 23
- 239000000284 extract Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
Description
本発明は、ユーザーによって入力される音声に応じて画像処理装置を制御する制御装置、制御システム及び制御プログラムに関する。 The present invention relates to a control device, a control system, and a control program that control an image processing device according to a sound input by a user.
従来、ＭＦＰ（Multifunction Peripherals）などの画像処理装置において、ユーザーの視覚を利用しないで操作可能とする技術が提案されている（例えば、特許文献１）。この従来の画像処理装置は、音声認識部を備えており、ユーザーによって入力される音声に基づいて各種設定項目に対する設定を行うように構成されている。また、この従来の画像処理装置は、音声認識部による音声認識結果を復唱音声として音声出力部から出力するように構成されている。そのため、ユーザーは、画像処理装置から出力される復唱音声を聞くことにより、自身で発した音声が画像処理装置において正しく認識されたかどうかを把握することができる。 Conventionally, a technique has been proposed in which an image processing device such as an MFP (Multifunction Peripherals) can be operated without using the user's vision (for example, Patent Document 1). This conventional image processing device includes a voice recognition unit, and is configured to set various setting items based on the voice input by the user. Further, this conventional image processing device is configured to output the voice recognition result by the voice recognition unit as a repeat voice from the voice output unit. Therefore, by listening to the repetitive voice output from the image processing device, the user can grasp whether or not the voice emitted by himself / herself is correctly recognized by the image processing device.
上記従来の画像処理装置は、ユーザーによって発せられた音声に対応する１つの設定項目を特定することができると、復唱音声を出力するようにしている。 The conventional image processing device outputs a repeat voice when one setting item corresponding to the voice emitted by the user can be specified.
しかしながら、この種の画像処理装置には、様々な設定項目が存在し、ユーザーの音声に対応する１つの設定項目を必ず特定できるとは限らず、ユーザーの音声に対応する設定として複数の設定候補が抽出されることもある。例えば、ユーザーが「両面」と発声した場合、コピー機能において読み取り原稿の両面設定と複写出力する際の両面設定とが存在すると共に、スキャン機能においても読み取り原稿の両面設定が存在し、それら複数の両面設定が候補として抽出されることになる。 However, there are various setting items in this type of image processing device, and it is not always possible to specify one setting item corresponding to the user's voice, and a plurality of setting candidates are set as settings corresponding to the user's voice. May be extracted. For example, when the user says "double-sided", the copy function has a double-sided setting for the scanned document and a double-sided setting for copying and outputting, and the scanning function also has a double-sided setting for the scanned document. Double-sided settings will be extracted as candidates.
上述した従来の画像処理装置では、ユーザーの音声に対応する設定として複数の設定候補が抽出された場合に何ら対応策が採られていない。そのため、ユーザーは、自身で発した音声に対応する設定として複数の設定候補が存在する場合に、それら複数の設定候補のうちから所望の設定候補を選択することができないという課題がある。 In the conventional image processing apparatus described above, no countermeasure is taken when a plurality of setting candidates are extracted as settings corresponding to the user's voice. Therefore, there is a problem that the user cannot select a desired setting candidate from the plurality of setting candidates when there are a plurality of setting candidates as settings corresponding to the voice emitted by the user.
また、この種の画像処理装置は、複数のユーザーによって共有される装置であるため、一人のユーザーによる占有時間をなるべく短くすることが望まれる。ところが、従来の画像処理装置は、複数の設定候補のうちからユーザーが所望する設定候補を効率的に選択することができないため、一人のユーザーによる画像処理装置の占有時間が長くなってしまうという問題もある。 Further, since this type of image processing device is a device shared by a plurality of users, it is desired to shorten the occupancy time by one user as much as possible. However, the conventional image processing device cannot efficiently select the setting candidate desired by the user from a plurality of setting candidates, so that there is a problem that the time occupied by one user of the image processing device becomes long. There is also.
本発明は、上述した従来の問題点を解決するためになされたものであり、ユーザーが発した音声に基づいて複数の設定候補が抽出される場合であっても、ユーザーに効率的に所望の設定候補を選択させることを可能にした画像処理装置の制御装置、制御システム及び制御プログラムを提供することを目的とする。 The present invention has been made to solve the above-mentioned conventional problems, and even when a plurality of setting candidates are extracted based on the voice emitted by the user, the user efficiently desires the setting candidates. It is an object of the present invention to provide a control device, a control system, and a control program of an image processing device that enables selection of setting candidates.
上記目的を達成するため、請求項１に係る発明は、画像処理装置を制御する制御装置であって、ユーザーによって発せられた音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定する設定特定手段と、前記設定特定手段において前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御手段と、を備えることを特徴とする構成である。 In order to achieve the above object, the invention according to claim 1 is a control device for controlling an image processing device, and a setting to be reflected in the image processing device based on a voice recognition result of a voice emitted by a user is set. It is characterized by including a setting specifying means for specifying, and a control means for presenting the plurality of setting candidates when it is determined that the setting specifying means has a plurality of setting candidates corresponding to the voice recognition result. It is a configuration to do.
請求項２に係る発明は、請求項１の制御装置において、前記制御手段は、前記設定特定手段において前記音声認識結果に対応する所定数以上の設定候補が存在すると判定された場合に、前記複数の設定候補を提示することを特徴とする構成である。 According to the second aspect of the present invention, when it is determined in the control device of the first aspect that the control means has a predetermined number or more of setting candidates corresponding to the voice recognition result in the setting specifying means, the plurality of setting means. It is a configuration characterized by presenting setting candidates of.
請求項３に係る発明は、請求項１又は２の制御装置において、前記画像処理装置は、表示手段を有し、前記制御手段は、前記複数の設定候補を前記表示手段に表示させることによって提示することを特徴とする構成である。 According to a third aspect of the present invention, in the control device of the first or second aspect, the image processing device has a display means, and the control means presents the plurality of setting candidates by displaying them on the display means. It is a configuration characterized by doing.
請求項４に係る発明は、請求項１乃至３のいずれかの制御装置において、前記制御手段は、所定の優先順位に従って前記複数の設定候補を提示することを特徴とする構成である。
The invention according to
請求項５に係る発明は、請求項４の制御装置において、前記優先順位は、ユーザーによる設定頻度が高い順に定められることを特徴とする構成である。
The invention according to
請求項６に係る発明は、請求項４の制御装置において、前記優先順位は、前記設定候補に対応する設定項目が含まれる操作画面の階層に基づいて予め定められることを特徴とする構成である。
The invention according to claim 6 is characterized in that, in the control device of
請求項７に係る発明は、請求項３の制御装置において、前記制御手段は、前記複数の設定候補のそれぞれに対応するサムネイル画像を前記表示手段に表示させることを特徴とする構成である。
The invention according to
請求項８に係る発明は、請求項７の制御装置において、前記制御手段は、前記複数の設定候補のそれぞれに対応する前記サムネイル画像の画像サイズを所定の優先順位に応じて変化させることを特徴とする構成である。
The invention according to
請求項９に係る発明は、請求項３、７又は８の制御装置において、前記制御手段は、前記設定特定手段において前記設定候補の数が所定数未満であると判定された場合、前記複数の設定候補を前記表示手段に表示させないことを特徴とする構成である。
The invention according to
請求項１０に係る発明は、請求項１乃至９のいずれかの制御装置において、前記設定特定手段によって特定された設定に基づく音声案内を行うための案内情報を出力する案内情報出力手段、を更に備えることを特徴とする構成である。
The invention according to
請求項１１に係る発明は、請求項１０の制御装置において、前記案内情報出力手段は、前記設定特定手段において前記設定候補の数が所定数未満であると判定された場合、前記所定数未満の設定候補を音声案内するための案内情報を出力することを特徴とする構成である。
According to the invention of
請求項１２に係る発明は、請求項１０又は１１の制御装置において、前記案内情報出力手段は、前記設定特定手段において所定数以上の設定候補が存在すると判定された場合、前記所定数以上の設定候補を音声案内するための案内情報を出力することを特徴とする構成である。 According to a twelfth aspect of the present invention, in the control device of the tenth or eleventh aspect, when it is determined that the guidance information output means has a predetermined number or more of setting candidates in the setting specifying means, the setting of the predetermined number or more is performed. The configuration is characterized in that guidance information for voice guidance of candidates is output.
請求項１３に係る発明は、請求項１０乃至１２のいずれかの制御装置において、前記案内情報出力手段は、前記設定特定手段において所定数以上の設定候補が存在すると判定された場合、ユーザーに前記画像処理装置に設けられている表示手段の確認を促す音声案内のための案内情報を出力することを特徴とする構成である。 According to a thirteenth aspect of the present invention, when it is determined in any of the control devices of the tenth to twelve that the guidance information output means has a predetermined number or more of setting candidates in the setting specifying means, the user is notified. The configuration is characterized in that guidance information for voice guidance prompting confirmation of the display means provided in the image processing device is output.
請求項１４に係る発明は、請求項１０又は１１の制御装置において、前記案内情報出力手段は、前記設定特定手段において所定数以上の設定候補が存在すると判定された場合、案内情報を出力しないことを特徴とする構成である。
According to the invention of
請求項１５に係る発明は、請求項１乃至１４のいずれかの制御装置において、前記設定特定手段は、前記音声認識結果に対応する複数の設定候補が存在すると判定した場合、現在の設定状態に対して禁則条件を満たす設定候補を前記複数の設定候補から除外することを特徴とする構成である。
According to the invention of
請求項１６に係る発明は、請求項１乃至１５のいずれかの制御装置において、前記制御装置は、前記画像処理装置と通信可能なサーバーであることを特徴とする構成である。
The invention according to
請求項１７に係る発明は、請求項１乃至１５のいずれかの制御装置において、前記制御装置は、前記画像処理装置に設けられることを特徴とする構成である。
The invention according to
請求項１８に係る発明は、画像処理装置と、前記画像処理装置を音声操作するための音声を入力する音声入力装置と、前記音声入力装置に入力された音声に基づいて前記画像処理装置を制御する制御装置と、を備える制御システムであって、前記制御装置は、前記音声入力装置に入力された音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定する設定特定手段と、前記設定特定手段において前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御手段と、を備えることを特徴とする構成である。 The invention according to claim 18 controls the image processing device, a voice input device for inputting a voice for voice operation of the image processing device, and the image processing device based on the voice input to the voice input device. A control system including a control device for specifying a setting to be reflected in the image processing device based on a voice recognition result of a voice input to the voice input device. The configuration is characterized in that, when it is determined that a plurality of setting candidates corresponding to the voice recognition result exist in the setting specifying means, the control means for presenting the plurality of setting candidates is provided.
請求項１９に係る発明は、プロセッサーによって実行されることにより、画像処理装置を制御する制御プログラムであって、前記プロセッサーに、ユーザーによって発せられた音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定させる設定特定ステップと、前記設定特定ステップにおいて前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御ステップと、を実行させることを特徴とする構成である。
The invention according to
請求項２０に係る発明は、請求項１９の制御プログラムにおいて、前記制御ステップは、前記設定特定ステップにおいて前記音声認識結果に対応する所定数以上の設定候補が存在すると判定された場合に、前記所定数以上の設定候補を提示することを特徴とする構成である。
The invention according to
請求項２１に係る発明は、請求項１９又は２０の制御プログラムにおいて、前記画像処理装置は、表示手段を有し、前記制御ステップは、前記複数の設定候補を前記表示手段に表示させることによって提示することを特徴とする構成である。
According to the invention of
請求項２２に係る発明は、請求項１９乃至２１のいずれかの制御プログラムにおいて、前記制御ステップは、所定の優先順位に従って前記複数の設定候補を提示することを特徴とする構成である。
The invention according to
請求項２３に係る発明は、請求項２２の制御プログラムにおいて、前記優先順位は、ユーザーによる設定頻度が高い順に定められることを特徴とする構成である。
The invention according to claim 23 is characterized in that, in the control program of
請求項２４に係る発明は、請求項２２の制御プログラムにおいて、前記優先順位は、前記設定候補に対応する設定項目が含まれる操作画面の階層に基づいて予め定められることを特徴とする構成である。
The invention according to claim 24 is characterized in that, in the control program of
請求項２５に係る発明は、請求項２１の制御プログラムにおいて、前記制御ステップは、前記複数の設定候補のそれぞれに対応するサムネイル画像を前記表示手段に表示させることを特徴とする構成である。
The invention according to
請求項２６に係る発明は、請求項２５の制御プログラムにおいて、前記制御ステップは、前記複数の設定候補のそれぞれに対応する前記サムネイル画像の画像サイズを所定の優先順位に応じて変化させることを特徴とする構成である。
The invention according to
請求項２７に係る発明は、請求項２１、２５又は２６の制御プログラムにおいて、前記制御ステップは、前記設定特定ステップにおいて前記設定候補の数が所定数未満であると判定された場合、前記複数の設定候補を前記表示手段に表示させないことを特徴とする構成である。
According to the invention of
請求項２８に係る発明は、請求項１９乃至２７のいずれかの制御プログラムにおいて、前記プロセッサーに、前記設定特定ステップによって特定された設定に基づく音声案内を行うための案内情報を出力する案内情報出力ステップ、を更に実行させることを特徴とする構成である。
The invention according to claim 28 is a guidance information output that outputs guidance information for performing voice guidance based on the setting specified by the setting specific step to the processor in the control program according to any one of
請求項２９に係る発明は、請求項２８の制御プログラムにおいて、前記案内情報出力ステップは、前記設定特定ステップにおいて前記設定候補の数が所定数未満であると判定された場合、前記所定数未満の設定候補を音声案内するための案内情報を出力することを特徴とする構成である。 According to the invention of claim 29, when it is determined in the control program of claim 28 that the number of setting candidates is less than a predetermined number in the setting specific step, the guidance information output step is less than the predetermined number. The configuration is characterized in that guidance information for voice guidance of setting candidates is output.
請求項３０に係る発明は、請求項２８又は２９の制御プログラムにおいて、前記案内情報出力ステップは、前記設定特定ステップにおいて所定数以上の設定候補が存在すると判定された場合、前記複数の設定候補を音声案内するための案内情報を出力することを特徴とする構成である。
According to the invention of
請求項３１に係る発明は、請求項２８乃至３０のいずれかの制御プログラムにおいて、前記案内情報出力ステップは、前記設定特定ステップにおいて所定数以上の設定候補が存在すると判定された場合、ユーザーに前記画像処理装置に設けられている表示手段の確認を促す音声案内のための案内情報を出力することを特徴とする構成である。
According to the invention of
請求項３２に係る発明は、請求項２８又は２０の制御プログラムにおいて、前記案内情報出力ステップは、前記設定特定ステップにおいて所定数以上の設定候補が存在すると判定された場合、案内情報を出力しないことを特徴とする構成である。
The invention according to
請求項３３に係る発明は、請求項１９乃至３２のいずれかの制御プログラムにおいて、前記設定特定ステップは、前記音声認識結果に対応する複数の設定候補が存在すると判定した場合、現在の設定状態に対して禁則条件を満たす設定候補を前記複数の設定候補から除外することを特徴とする構成である。
The invention according to claim 33 sets the current setting state when it is determined in the control program according to any one of
本発明によれば、音声認識結果に対応する複数の設定候補が存在すると判定された場合にそれら複数の設定候補を提示するため、ユーザーは提示された複数の設定候補のうちから所望する設定候補を効率的に選択することができるようになる。 According to the present invention, when it is determined that there are a plurality of setting candidates corresponding to the voice recognition result, the plurality of setting candidates are presented, so that the user desires the setting candidates from the presented plurality of setting candidates. Will be able to be selected efficiently.
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、それらについての重複する説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the embodiments described below, elements that are common to each other are designated by the same reference numerals, and duplicate description thereof will be omitted.
図１は、本実施形態において画像処理装置２を制御するための制御システム１の一例を示す図である。この制御システム１は、ユーザーのローカル環境に設置される画像処理装置２と、ローカル環境に設置されて音声の入出力を行う音声入出力装置３と、ＬＡＮ（Local Area Network）などのローカルネットワーク４と、インターネット上のクラウド５に設置される音声認識装置７と、クラウド５に設置されて画像処理装置２を制御する制御装置８と、クラウド５上で音声認識装置７と制御装置８とを通信可能に接続するネットワーク９とを備える。
FIG. 1 is a diagram showing an example of a control system 1 for controlling an
画像処理装置２は、例えばＭＦＰ（Multifunction Peripherals）などと呼ばれる装置であって、コピー機能、スキャン機能、プリント機能、ＦＡＸ機能などの複数の機能を有する装置である。画像処理装置２は、装置本体の上部にスキャナ部１７を備え、スキャナ部１７の下部にプリンタ部１８を備えている。また、画像処理装置２は、内部にＦＡＸ部を備えている。画像処理装置２は、それらスキャナ部１７、プリンタ部及びＦＡＸ部を適宜動作させることにより、ユーザーによって指定されたジョブを実行する。また、画像処理装置２は、装置本体の正面側にユーザーが操作可能な操作パネル１１を備えている。この操作パネル１１は、ユーザーが手動操作を行うことにより、各種ジョブの設定などを行うことができるユーザーインタフェースである。
The
音声入出力装置３は、例えばスマートスピーカーやＡＩスピーカーなどと呼ばれる装置であって、ユーザーと対話を行うことができる装置である。この音声入出力装置３は、ユーザーが画像処理装置２を音声で操作できるようにするために、画像処理装置２と同じ環境に設置される。尚、図１では、音声入出力装置３が画像処理装置２と別体として構成される場合を例示しているが、これに限られるものではない。例えば、音声入出力装置３は、画像処理装置２に内蔵されたものであっても構わない。
The voice input /
ローカルネットワーク４は、画像処理装置２と音声入出力装置３とを通信可能に接続する。またローカルネットワーク４は、インターネットにも接続されている。そのため、画像処理装置２及び音声入出力装置３は、クラウド５に設置されている音声認識装置７や制御装置８と通信を行うことが可能である。
The
音声認識装置７は、音声を解析して音声をテキスト化する装置である。例えば、音声認識装置７には、人工知能（ＡＩ）による音声認識機能が搭載されており、入力する音声情報を高速かつ高精度にテキスト化することができる。本実施形態の音声認識装置７は、図１に示すようにクラウド５上にサーバーとして設置される。そのため、音声認識装置７による音声認識機能を、複数のローカル環境から利用することができる。
The
制御装置８は、ローカル環境に設置される画像処理装置２を遠隔制御するための装置である。この制御装置８もクラウド５上にサーバーとして設置されている。そのため、制御装置８は、複数のローカル環境に設置されている複数の画像処理装置２を個別に制御することができる。
The
上記のような制御システム１は、ローカル環境においてユーザーが画像処理装置２を操作するためのキーワードを音声で発した場合に、ユーザーの音声に応じて画像処理装置２が動作するように構成される。
The control system 1 as described above is configured to operate the
図２は、制御システム１における概略動作を示す図である。音声入出力装置３は、画像処理装置２を音声操作するための装置であり、予め画像処理装置２の装置モデル（装置タイプ）やアドレスに関する装置情報を保持している。この音声入出力装置３は、画像処理装置２と同じローカル環境に設置されることにより、画像処理装置２の近傍位置でユーザーが発する音声を入力することができる。そしてユーザーが画像処理装置２を操作するための音声を発すると、音声入出力装置３は、その音声を入力し、音声情報Ｄ１を生成する。この音声情報Ｄ１は、音声入出力装置３からクラウド５上の音声認識装置７へと送信される。このとき、音声入出力装置３は、画像処理装置２の装置情報を付加した音声情報Ｄ１を音声認識装置７へ送信する。
FIG. 2 is a diagram showing a schematic operation in the control system 1. The voice input /
音声認識装置７は、音声入出力装置３から音声情報Ｄ１を受信すると、音声情報Ｄ１を解析することにより、ユーザーが発した音声をテキストＤ２に変換する。すなわち、音声認識装置７は、音声認識結果として、ユーザーの音声に対応するテキストＤ２を生成する。この音声認識装置７は、音声入出力装置３から音声情報Ｄ１を受信してテキストＤ２を生成すると、そのテキストＤ２をクラウド５内で制御装置８へ送信する。このとき、音声認識装置７は、音声情報Ｄ１に付加されていた装置情報を、テキストＤ２に付加した状態で制御装置８へ送信する。
When the
制御装置８は、音声認識装置７の音声認識結果に基づいて画像処理装置２を制御するコマンドＤ４を生成する。すなわち、制御装置８は、音声認識装置７から受信するテキストＤ２に基づいてコマンドＤ４を生成するのである。このとき、制御装置８は、テキストＤ２に付加されている装置情報に基づき画像処理装置２の装置モデルを特定し、その装置モデルに対応したコマンドＤ４を生成する。また、制御装置８は、テキストＤ２に付加されている装置情報に基づき、コマンドＤ４の送信先となる画像処理装置２のアドレスを特定する。そして制御装置８は、コマンドＤ４を、画像処理装置２へ送信することにより、画像処理装置２を制御する。
The
例えば、ユーザーが画像処理装置２に対するジョブの設定を音声で指示した場合、制御装置８は、音声認識装置７から受信するテキストＤ２に基づいて画像処理装置２に反映すべき設定を特定し、その設定を画像処理装置２に反映させるためのコマンドＤ４を生成する。そして制御装置８は、そのコマンドＤ４を画像処理装置２へ送信することにより、ジョブの設定を反映させる。
For example, when the user gives a voice instruction to set a job for the
また、ユーザーが画像処理装置２に対してジョブの実行を音声で指示した場合、制御装置８は、音声認識装置７から受信するテキストＤ２に基づいて画像処理装置２にジョブを実行させるためのコマンドＤ４を生成する。そして制御装置８は、そのコマンドＤ４を画像処理装置２へ送信することにより、画像処理装置２にジョブを実行させる。
Further, when the user instructs the
このように制御装置８は、音声認識装置７による音声認識結果に基づいて画像処理装置２に行わせる処理を特定し、その特定した処理に対応するコマンドＤ４を画像処理装置２へ送信することにより、画像処理装置２を制御する。
In this way, the
また、制御装置８は、音声認識結果に基づいて特定した処理に基づく音声案内を行うための案内情報Ｄ３を生成する。この案内情報Ｄ３は、テキストデータとして生成される。そして制御装置８は、テキストデータとして生成した案内情報Ｄ３を音声認識装置７へ送信する。音声認識装置７は、制御装置８から音声案内のための案内情報Ｄ３を受信すると、案内情報Ｄ３をテキストデータから音声情報に変換する。そして音声認識装置７は、音声情報に変換した案内情報Ｄ３を、音声情報Ｄ１の送信元である音声入出力装置３へ送信する。これにより、音声入出力装置３では、案内情報Ｄ３に基づく音声出力が行われる。例えば、ユーザーがジョブの設定操作を音声で行った場合、制御装置８は、その設定の内容をテキストデータで表した案内情報Ｄ３を生成して音声認識装置７へ送信する。音声認識装置７は、テキストデータを音声情報に変換することにより、ユーザーによる設定の内容を音声出力するための案内情報Ｄ３を生成する。そして音声認識装置７は、音声情報に変換した案内情報Ｄ３を音声入出力装置３へ送信する。音声入出力装置３は、音声認識装置７から案内情報Ｄ３を受信すると、その案内情報Ｄ３に基づく音声出力を行う。したがって、ユーザーは、自身で発した音声がどのように認識されたかを音声入出力装置３からの出力音声で把握することができる。
Further, the
このような制御システム１によれば、ユーザーは、画像処理装置２の操作パネル１１を手動で操作しなくても、音声操作を行うことが可能である。そのため、例えばユーザーが荷物を抱えていて両手を使うことができない場合や、画像処理装置２から数メートル程度離れた位置にいる場合であっても、画像処理装置２を音声で操作することができるので、利便性が高い。
According to such a control system 1, the user can perform voice operations without manually operating the
図３は、画像処理装置２のハードウェア構成及び機能構成の一例を示すブロック図である。画像処理装置２は、そのハードウェア構成として、制御部１０と、操作パネル１１と、通信インタフェース１４と、記憶部１５と、スキャナ部１７と、プリンタ部１８と、ＦＡＸ部１９とを備えている。制御部１０は、図示を省略するＣＰＵとメモリとを備えている。制御部１０は、そのＣＰＵにおいて所定のプログラムが実行されることにより、各部の動作を制御する。
FIG. 3 is a block diagram showing an example of the hardware configuration and the functional configuration of the
操作パネル１１は、表示部１２と、操作部１３とを備えている。表示部１２は、例えばカラー液晶ディスプレイで構成され、ユーザーが操作可能な各種の操作画面を表示する。操作部１３は、例えばタッチパネルキーや押しボタンキーなどによって構成され、ユーザーによる手動操作を受け付ける。
The
通信インタフェース１４は、画像処理装置２をローカルネットワーク４に接続するためのものである。画像処理装置２は、この通信インタフェース１４を介してローカルネットワーク４に接続されている様々な機器と通信を行うことができる。また、画像処理装置２は、この通信インタフェース１４を介して、制御装置８から送信されるコマンドＤ４を受信する。
The
記憶部１５は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶デバイスである。この記憶部１５には、操作パネル１１の表示部１２に表示するための画面情報１６が記憶される。この画面情報１６は、表示部１２に表示するための複数の操作画面に関する情報や、各操作画面に含まれる設定項目等に関する情報、複数の操作画面を階層構造として定義した情報などが含まれる。尚、記憶部１５には、この他にも制御部１０のＣＰＵによって実行されるプログラムや各種データなどが記憶される。
The
スキャナ部１７は、ユーザーによってセットされる原稿を光学的に読み取って画像データを生成する。スキャナ部１７は、制御部１０によって設定されるジョブ設定（原稿の読み取り設定など）に基づいて原稿の読み取り動作を行う。例えば、ジョブ設定において原稿の両面読み取りが指定されている場合、スキャナ部１７は、原稿の表裏両面に対する読み取り動作を行う。
The
プリンタ部１８は、入力する画像データに基づいて印刷用紙などのシート材に画像形成を行うことにより印刷出力を行う。プリンタ部１８は、制御部１０によって設定されるジョブ設定（原稿の読み取り設定など）に基づく印刷出力を行う。例えば、ジョブ設定において両面印刷が指定されている場合、プリンタ部１８は、シート材の表裏両面に対して画像形成を行う。
The
ＦＡＸ部は、図示を省略する公衆電話網を介してＦＡＸデータの送受信を行うものである。 The FAX unit transmits and receives FAX data via a public telephone network (not shown).
制御部１０は、パネル制御部２０とジョブ制御部２１とを備えている。操作パネル１１に関する制御を行うとき、制御部１０は、パネル制御部２０を機能させる。また、ジョブの設定又は実行に関する制御を行うとき、制御部１０は、ジョブ制御部２１を機能させる。
The
パネル制御部２０は、操作パネル１１の表示部１２に表示する操作画面を制御したり、操作部１３に対して行われるユーザーの手動操作を受け付けたりする。例えば、パネル制御部２０は、記憶部１５に記憶されている画面情報１６に基づき、表示部１２に表示している操作画面をユーザーの操作に基づいて更新したり、遷移させたりする。尚、パネル制御部２０は、ユーザーが操作パネル１１を手動操作していない状態が所定時間以上継続すると、表示部１２に対する給電を停止し、操作パネル１１を省電力モードへと移行させる。
The
ジョブ制御部２１は、ジョブの設定及び実行を統括的に制御する。ジョブ制御部２１は、ジョブ設定部２２を備えている。ジョブ設定部２２は、ジョブの設定を行う処理部である。すなわち、ジョブ設定部２２は、コピー機能などの複数の機能のうちのユーザーが使用しようとする機能を特定し、その特定した機能に対する各種設定項目の設定値をデフォルト値からユーザーによって指定された値に変更し、ジョブの設定を行う。
The
例えば、ユーザーが操作パネル１１に対する手動操作を行ってジョブの設定を行う場合、操作パネル１１の表示部１２には、パネル制御部２０によって各種の操作画面が表示される。ユーザーはその操作画面に対する操作を順次行っていくことで所望のジョブ設定を行う。このようにユーザーが操作パネル１１に対する手動操作を行っているとき、ジョブ設定部２２は、パネル制御部２０から出力される操作情報に基づいてジョブの設定を行う。
For example, when a user manually operates the
また、ユーザーが画像処理装置２を操作するための音声を発した場合、制御部１０は、通信インタフェース１４を介して制御装置８から送信されるコマンドＤ４を受信する。制御部１０は、そのコマンドＤ４を解析して制御装置８からの指示を特定する。その指示がジョブの設定を反映させるための設定反映指示である場合、ジョブ設定部２２は、その設定反映指示に基づいてジョブの設定を行う。
Further, when the user emits a voice for operating the
またジョブ制御部２１は、ユーザーによってジョブの実行が指示された場合、スキャナ部１７、プリンタ部１８及びＦＡＸ部１９のそれぞれを駆動し、ユーザーによって指定されたジョブを実行する。
When the user instructs the job to execute the job, the
次に図４は、制御装置８のハードウェア構成及び機能構成を示す図である。制御装置８は、図４（ａ）に示すように、そのハードウェア構成として、制御部４０と、記憶部４１と、通信インタフェース４２とを備えている。
Next, FIG. 4 is a diagram showing a hardware configuration and a functional configuration of the
制御部４０は、ＣＰＵ４３とメモリ４４とを備えている。ＣＰＵ４３は、記憶部４１に記憶されているプログラム２５を読み出して実行する演算処理ユニット（プロセッサー）である。メモリ４４は、ＣＰＵ４３がプログラム２５を実行することに伴って発生する一時的なデータなどを記憶する。
The
記憶部４１は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶デバイスである。この記憶部４１には、画像処理装置２を制御するためのプログラム２５と、キーワード情報２６と、優先順位情報２７とが予め記憶される。
The
通信インタフェース４２は、制御装置８が他の機器と通信を行うためのものである。例えば、制御部４０は、この通信インタフェース４２を介して音声認識装置７から出力されるテキストＤ２を受信することができる。また、制御部４０は、通信インタフェース４２を介して案内情報Ｄ３を音声認識装置７へ送信したり、また、コマンドＤ４をローカル環境に設置されている画像処理装置２へ送信したりすることができる。
The
制御部４０のＣＰＵ４３は、記憶部４１のプログラム２５を読み出して実行することにより、図４（ｂ）に示すように、制御部４０を、設定特定部３１、案内情報出力部３２及び装置制御部３３として機能させる。
By reading and executing the
設定特定部３１は、音声認識装置７から出力されるテキストＤ２に基づいて画像処理装置２に反映すべき設定を特定する処理部である。設定特定部３１は、設定候補抽出部３４を備えている。設定候補抽出部３４は、テキストＤ２に対応する設定候補を抽出する。設定候補抽出部３４は、テキストＤ２を受信することに伴って機能し、記憶部４１に記憶されているキーワード情報２６に基づいて設定候補を抽出する。
The
図５は、キーワード情報２６の一例を示す図である。キーワード情報２６は、図５に示すように、画像処理装置２に対して設定可能な設定項目及び設定値に対してキーワードが対応付けられた情報であり、画像処理装置２の装置モデルごとに定義される情報である。キーワードは、画像処理装置２に対して各種の設定を行うことが可能なワードであり、例えば、各設定項目の設定値に対応している。ただし、図５に示すように、キーワード情報２６には、同じキーワードが異なる設定項目に登録されていることもある。例えば、図５に示すキーワード情報２６では、「リョウメン」というキーワードが、コピー機能設定時にスキャナ部１７に対して原稿の両面読み取りを指示するキーワードと、コピー機能設定時にプリンタ部１８に対して両面印刷を指示するキーワードと、スキャン機能設定時にスキャナ部１７に対して原稿の両面読み取りを指示するキーワードと、プリント機能設定時にプリンタ部１８に対して両面印刷を指示するキーワードとの４つの設定項目に対して登録されている。
FIG. 5 is a diagram showing an example of
設定候補抽出部３４は、ユーザーの音声に基づいて変換されたテキストＤ２に基づいてキーワード情報２６を検索することにより、テキストＤ２に一致するキーワードがキーワード情報２６に登録されているか否かを判断する。そして設定候補抽出部３４は、テキストＤ２に一致するキーワードがキーワード情報２６に登録されている場合、テキストＤ２に一致するキーワードが登録されている設定項目と設定値との組み合わせを設定候補として抽出する。そのため、設定候補抽出部３４は、テキストＤ２に対応する設定候補として、１つの設定候補を抽出することもあれば、また複数の設定候補を抽出することもある。例えば、ユーザーが「リョウメン」という音声を発した場合、設定候補抽出部３４は、図５に示すキーワード情報２６を参照すると、４つの設定候補を抽出することになる。また、設定候補抽出部３４は、テキストＤ２に対応する設定候補を１つも抽出することができないこともある。
The setting
また、設定候補抽出部３４は、画像処理装置２に対する現在の設定状態を把握しており、上記のようにして抽出した設定候補が、現在の設定状態に対する禁則条件を満たす場合には、その設定候補を除外する。例えば、画像処理装置２がスキャン機能において原稿を読み取って生成した画像データをコンパクトＰＤＦとして出力する際にモノクロ出力を選択することができない設定となっている場合において、ユーザーが既に「モノクロ出力」を設定している状態で「ＰＤＦ」という音声を発したと仮定する。この場合、設定候補抽出部３４は、設定候補として、例えば、ＰＤＦ、暗号化ＰＤＦ、ＰＤＦＡ、サーチャブルＰＤＦ、コンパクトＰＤＦといった５つの設定候補を抽出する。しかし、ユーザーが既に「モノクロ出力」を設定しているため、コンパクトＰＤＦが禁則条件を満たす設定候補となり、設定候補抽出部３４は、コンパクトＰＤＦを設定候補から除外する。その結果、設定候補抽出部３４は、ＰＤＦ、暗号化ＰＤＦ、ＰＤＦＡ、及び、サーチャブルＰＤＦの４つの設定候補を抽出することになる。
Further, the setting
設定特定部３１は、設定候補抽出部３４によって設定候補が抽出されなかった場合、案内情報出力部３２及び装置制御部３３を機能させることなく処理を終了する。ただし、この場合、設定特定部３１は、案内情報出力部３２を機能させ、案内情報出力部３２に「設定項目を特定することができませんでした」という案内情報Ｄ３を生成させ、音声認識装置７を介して音声入出力装置３へ出力させるようにしても構わない。
When the setting candidate is not extracted by the setting
一方、設定候補抽出部３４によって１つの設定候補が抽出された場合、設定特定部３１は、その１つの設定候補を、画像処理装置２に反映すべき設定として特定することができる。この場合、設定特定部３１は、案内情報出力部３２及び装置制御部３３を機能させ、案内情報出力部３２及び装置制御部３３のそれぞれに対して画像処理装置２に反映すべき設定を通知する。
On the other hand, when one setting candidate is extracted by the setting
また、設定候補抽出部３４によって複数の設定候補が抽出された場合にも、設定特定部３１は、案内情報出力部３２及び装置制御部３３を機能させる。そして設定特定部３１は、設定候補抽出部３４によって抽出された複数の設定候補を、案内情報出力部３２及び装置制御部３３のそれぞれへ通知する。このとき、設定特定部３１は、設定候補抽出部３４によって抽出された設定候補の数が所定数（例えば、「３」）以上であるか否かを判断する。そして所定数以上の設定候補が抽出されている場合、設定特定部３１は、案内情報出力部３２及び装置制御部３３のそれぞれに対して設定候補が所定数以上であることを通知する。尚、所定数は、「３」に限られるものではなく、２以上の値であれば良い。
Further, even when a plurality of setting candidates are extracted by the setting
案内情報出力部３２は、ユーザーに対して音声案内を行うための各種の案内情報Ｄ３をテキストデータとして生成し、その案内情報Ｄ３を音声認識装置７へ送信する処理部である。例えば、案内情報出力部３２は、設定特定部３１から出力される設定候補を音声案内のためのテキストデータとして表現した案内情報Ｄ３を生成する。設定候補抽出部３４によって１つの設定候補が抽出された場合、案内情報出力部３２は、その１つの設定候補をテキストデータで表した案内情報Ｄ３を生成する。また、設定候補抽出部３４によって複数の設定候補が抽出されており、それら設定候補の数が所定数未満である場合、案内情報出力部３２は、それら複数の設定候補を１つずつ順番に音声出力するために各設定候補のテキストデータを配列した案内情報Ｄ３を生成する。
The guidance
さらに、設定候補抽出部３４によって複数の設定候補が抽出されており、それら設定候補の数が所定数以上である場合、案内情報出力部３２は、設定モードに応じた処理を行う。設定モードには、案内情報Ｄ３を生成しない第１のモードと、複数の設定候補を１つずつ順番に音声出力するための案内情報Ｄ３を生成する第２のモードと、ユーザーに操作パネル１１の確認を促すための案内情報Ｄ３を生成する第３のモードとの３つのモードがある。案内情報出力部３２には、それら３つのモードのうちから、ユーザーによって予め選択されたモードが設定されている。例えば、第１のモードが設定されている場合、案内情報出力部３２は、案内情報Ｄ３を出力しない。また、第２のモードが設定されている場合、案内情報出力部３２は、所定数未満の設定候補が抽出された場合と同様に、所定数以上の設定候補を１つずつ順番に音声出力するための案内情報Ｄ３を生成して音声認識装置７へ出力する。さらに第３のモードが設定されている場合、案内情報出力部３２は、例えば「操作パネルの表示画面を確認してください」といったテキストデータの案内情報Ｄ３を生成して音声認識装置７へ出力する。
Further, when a plurality of setting candidates are extracted by the setting
尚、第２のモードと第３のモードは、案内情報出力部３２において同時に設定されていても構わない。第２のモードと第３のモードとが同時に設定されている場合、案内情報出力部３２は、例えば「操作パネルの表示画面を確認してください」といったテキストデータの次に複数の設定候補のそれぞれに対応するテキストデータを配列した案内情報Ｄ３を生成する。
The second mode and the third mode may be set at the same time in the guidance
装置制御部３３は、画像処理装置２に対して各種のコマンドＤ４を送信することにより、画像処理装置２を制御する処理部である。この装置制御部３３は、表示制御部３５と、設定反映部３６とを備えている。表示制御部３５は、画像処理装置２の操作パネル１１に表示される操作画面を制御するものである。設定反映部３６は、画像処理装置２に対するユーザーが所望する設定を反映させる処理部である。
The
装置制御部３３は、設定特定部３１において画像処理装置２に反映すべき設定が特定された場合、設定反映部３６を機能させる。すなわち、設定反映部３６は、音声認識結果に基づいて１つの設定候補だけが抽出された場合に機能する。そして設定反映部４６は、設定特定部３１において特定された設定を画像処理装置２に反映させるためのコマンドＤ４を生成し、画像処理装置２へ送信する。画像処理装置２は、そのコマンドＤ４を受信すると、設定反映部３６によって指定された設定を反映させる。つまり、画像処理装置２は、ユーザーの音声に対応する設定を自動的に行うのである。そのため、ユーザーは、操作パネル１１に対する操作を行わなくても、画像処理装置２に対して所望の設定を行うことができる。
When the
一方、設定候補抽出部３４によって複数の設定候補が抽出され、設定特定部３１において画像処理装置２に反映すべき設定を特定することができなかった場合、設定反映部３６は、コマンドＤ４を生成しない。
On the other hand, when a plurality of setting candidates are extracted by the setting
また、装置制御部３３は、設定特定部３１において所定数以上の設定候補が抽出された場合、表示制御部３５を機能させる。表示制御部３５は、設定特定部３１において音声認識結果に対応する複数の設定候補が存在すると判定された場合に、ユーザーに対してそれら複数の設定候補を提示する制御手段である。表示制御部３５は、設定特定部３１において所定数以上の設定候補が抽出された場合に、それら所定数以上の設定候補を画像処理装置２の操作パネル１１に表示させるためのコマンドＤ４を生成し、画像処理装置２へ送信する。画像処理装置２は、このコマンドＤ４を受信すると、音声認識結果に対応して抽出された所定数以上の設定候補を表示した選択画面を生成し、その選択画面を操作パネル１１の表示部１２に表示する。このとき、画像処理装置２において生成される選択画面には、制御装置８において抽出された所定数以上の設定候補のそれぞれに対応する設定項目が含まれる。そのため、ユーザーは、画像処理装置２の操作パネル１１に表示される選択画面を確認することにより、自身が発した音声に対応する複数の設定項目を簡単且つ速やかに把握することができ、それらの複数の設定項目のうちから所望の設定項目を効率的に選択することができる。
Further, the
また、表示制御部３５は、所定数以上の設定候補が抽出された場合、それら所定数以上の設定項目を所定の優先順位に従って表示させるためのコマンドＤ４を生成する。そのため、表示制御部３５は、所定数以上の設定候補が抽出された場合、優先順位情報２７を参照する。優先順位情報２７は、複数の設定項目に対する優先順位が予め定められた情報である。例えば、優先順位は、ユーザーによる設定頻度が高い順に予め定められる。また、優先順位は、各設定候補に対応する設定項目が含まれる操作画面の階層に基づいて予め定められたものであっても構わない。この場合、例えば、トップ画面からの階層が浅い設定候補の優先順位が高くなり、トップ画面からの階層が深い設定項目の優先順位が低くなるように予め定められる。
Further, when a predetermined number or more of setting candidates are extracted, the
また、表示制御部３５は、選択画面として、所定数以上の設定候補のそれぞれに対応するサムネイル画像を配置した画面を画像処理装置２に生成させるようにしても良い。この場合、表示制御部３５は、優先順位情報２７において規定された優先順位に基づいて選択画面に表示するサムネイル画像の画像サイズを変化させるようにしても良い。例えば、優先順位の高い設定候補に対応するサムネイル画像の画像サイズを、優先順位の低い設定候補に対応するサムネイル画像の画像サイズよりも大きいサイズとすることで、ユーザーにとって優先順位の高い設定候補を選択しやすい画面とすることができる。
Further, the
尚、案内情報出力部３２は、第２のモードが設定されている場合において、所定数以上の設定候補を１つずつ順番に音声出力するための案内情報Ｄ３を生成するとき、上記と同様に、優先順位情報２７に規定された優先順位に基づき、優先順位の高い設定候補から順に音声出力されるようにテキストデータを配列した案内情報Ｄ３を生成するようにしても良い。
When the guidance
次に、制御装置８及び画像処理装置２における連携動作の流れについて説明する。まず図６は、制御装置８が音声認識結果に基づいて画像処理装置２に反映すべき設定を特定することができた場合の流れを示す図である。制御装置８は、音声認識装置７から出力されるテキストＤ２を取得すると、テキストＤ２に基づいて画像処理装置２に対する設定候補を抽出する処理を行う（プロセスＰ１０）。このとき、テキストＤ２に基づいて１つの設定候補が抽出することができると、制御装置８は、その１つの設定候補が画像処理装置２に反映すべき設定内容であると特定することができる（プロセスＰ１１）。そして制御装置８は、特定した設定を含む設定反映指示Ｄ４１を、コマンドＤ４として画像処理装置２へ送信する。
Next, the flow of the cooperative operation in the
画像処理装置２は、制御装置８から設定反映指示Ｄ４１を受信すると、その設定反映指示Ｄ４１に基づき、設定反映処理を行う（プロセスＰ１２）。すなわち、画像処理装置２は、ユーザーが音声で指示した設定を装置内部に反映させるのである。したがって、ユーザーは、操作パネル１１に対する手動操作を行うことなく、画像処理装置２に対する各種設定を行うことができる。
When the
次に図７は、制御装置８が音声認識結果に基づいて所定数以上の設定候補を抽出した場合の流れを示す図である。制御装置８は、音声認識装置７から出力されるテキストＤ２を取得すると、テキストＤ２に基づいて画像処理装置２に対する設定候補を抽出する処理を行う（プロセスＰ１０）。このとき、テキストＤ２に基づいて所定数以上の設定候補を抽出すると、制御装置８は、画像処理装置２に反映すべき設定を特定することができない。そのため、制御装置８は、所定数以上の設定候補のうちからユーザーが所望する設定候補の選択を促すための選択画面表示指示Ｄ４２を、コマンドＤ４として画像処理装置２へ送信する。この選択画面表示指示Ｄ４２には、音声認識結果に基づいて抽出された所定数以上の設定候補を示す情報が含まれる。また、選択画面表示指示Ｄ４２には、上述したように、所定数以上の設定候補を所定の優先順位に従って表示させるための指示が含まれていても良い。
Next, FIG. 7 is a diagram showing a flow when the
画像処理装置２は、制御装置８から選択画面表示指示Ｄ４２を受信すると、その選択画面表示指示Ｄ４２に基づき、所定数以上の設定候補を配置した選択画面を生成し、操作パネル１１の表示部１２に選択画面を表示する（プロセスＰ１３）。これにより、ユーザーは、自身で発した音声に対応する設定候補が所定数以上存在する場合であっても、操作パネル１１の表示部１２に表示される選択画面を見ることにより、所定数以上の設定候補のうちから所望の設定候補を速やかに選択することができる。そのため、仮に音声入出力装置３が所定数以上の設定候補を順番に音声出力している状態であっても、ユーザーは、音声入出力装置３による音声出力の途中で所望の設定候補を選択することが可能であり、画像処理装置２に対する設定に要する時間を短縮することができる。また、ユーザーは、操作パネル１１に表示される選択画面を確認した後、所望の設定候補を手動操作によって選択することができるし、また音声操作によって選択することもできる。
When the
次に、制御装置８において行われる処理手順について詳しく説明する。図８乃至図１０は、制御装置８において行われる処理手順の一例を示すフローチャートである。この処理は、制御装置８のＣＰＵ４３がプログラム２５を実行することによって行われる処理であり、ＣＰＵ４３によって繰り返し実行される処理である。
Next, the processing procedure performed in the
制御装置８は、この処理を開始すると、図８に示すように、音声認識装置７による音声認識結果であるテキストＤ２を受信したか否かを判断する（ステップＳ１０）。音声認識結果を受信していない場合（ステップＳ１０でＮＯ）、制御装置８による処理は終了する。これに対し、音声認識結果を受信した場合（ステップＳ１０でＹＥＳ）、制御装置８は、テキストＤ２に付加されている装置情報に基づき、画像処理装置２の装置モデルを特定し（ステップＳ１１）、その装置モデルに対応するキーワード情報２６を読み出す（ステップＳ１２）。そして制御装置８は、設定候補抽出処理を実行する（ステップＳ１３）。
When the
図９は、設定候補抽出処理（ステップＳ１３）の詳細な処理手順の一例を示すフローチャートである。制御装置８は、設定候補抽出処理を開始すると、ステップＳ１２で読み出したキーワード情報２６を参照し、テキストＤ２に対応する設定候補を全て抽出する（ステップＳ２０）。このとき、１つの設定候補だけが抽出されることもあれば、複数の設定候補が抽出されることもある。また、設定候補が１つも抽出されないこともある。設定候補が１つも抽出されなかった場合、制御装置８による処理はその時点で終了する。
FIG. 9 is a flowchart showing an example of a detailed processing procedure of the setting candidate extraction process (step S13). When the
ステップＳ２０において少なくとも１つの設定候補が抽出された場合、制御装置８は、ユーザーによって既に指定された現在の設定状態を確認し（ステップＳ２１）、禁則判定を行う（ステップＳ２２）。すなわち、制御装置８は、ステップＳ２０で抽出した少なくとも１つの設定候補の中に、現在の設定状態に対する禁則条件を満たす設定候補が存在するか否かを判定する。その結果、禁則条件に合致する設定候補が存在する場合（ステップＳ２３でＹＥＳ）、制御装置８は、禁則条件に合致する設定候補を除外する（ステップＳ２４）。尚、禁則条件に合致する設定候補を除外した結果、設定候補が１つの残らないこととなった場合、制御装置８による処理はその時点で終了する。一方、禁則条件に合致する設定候補が存在しない場合（ステップＳ２３でＮＯ）、制御装置８は、ステップＳ２０で抽出した設定候補を、有効な設定候補として認定する。以上で、設定候補抽出処理が終了する。
When at least one setting candidate is extracted in step S20, the
図８のフローチャートに戻り、次に制御装置８は、設定候補抽出処理（ステップＳ１３）において１つの設定候補だけが抽出されたか否かを判断する（ステップＳ１４）。１つの設定候補だけが抽出された場合（ステップＳ１４でＹＥＳ）、制御装置８は、その１つの設定候補を、画像処理装置２に反映すべき設定として特定することができる。この場合、制御装置８は、画像処理装置２に対して設定反映指示Ｄ４１を送信する（ステップＳ１５）。つまり、制御装置８は、音声認識結果に基づいて特定した設定を画像処理装置２に反映させるのである。そして制御装置８は、画像処理装置２に反映させた設定をユーザーに音声案内するための案内情報Ｄ３をテキストデータとして生成し（ステップＳ１６）、その案内情報Ｄ３を音声認識装置７へ送信する（ステップＳ１７）。これにより、音声認識装置７は、テキストデータで表現された案内情報Ｄ３を音声情報に変換し、音声情報に変換した案内情報Ｄ３を音声入出力装置３へ送信する。そして音声入出力装置３は、音声情報に変換された案内情報Ｄ３に基づく音声出力を行うので、画像処理装置２に反映された設定をユーザーに報知することができる。ユーザーは、音声入出力装置３から出力される音声を聞くことにより、自身で発した音声が正しく認識され、所望の設定がなされたか否かを確認することができる。
Returning to the flowchart of FIG. 8, the
一方、設定候補抽出処理（ステップＳ１３）において複数の設定候補が抽出された場合（ステップＳ１４でＮＯ）、制御装置８は、設定候補提示処理を行う（ステップＳ１８）。図１０は、その設定候補提示処理（ステップＳ１８）の詳細な処理手順の一例を示すフローチャートである。制御装置８は、設定候補提示処理を開始すると、まず音声認識結果に基づいて抽出された設定候補の数を確認する（ステップＳ３０）。そして制御装置８は、所定数以上の設定候補が抽出されたか否かを判断する（ステップＳ３１）。
On the other hand, when a plurality of setting candidates are extracted in the setting candidate extraction process (step S13) (NO in step S14), the
所定数以上の設定候補が抽出された場合（ステップＳ３１でＹＥＳ）、制御装置８は、優先順位情報２７を読み出し（ステップＳ３２）、優先順位情報２７に予め定められている優先順位に基づいて所定数以上の設定候補の優先順位を決定する（ステップＳ３３）。そして制御装置８は、決定した優先順位に基づいて所定数以上の設定候補を表示させるための選択画面表示指示Ｄ４２を生成し、その選択画面表示指示Ｄ４２を画像処理装置２へ送信する（ステップＳ３４）。また、制御装置８は、設定モードに応じてユーザーに対する音声案内を行うための案内情報Ｄ３をテキストデータとして生成し（ステップＳ３５）、その案内情報Ｄ３を音声認識装置７へ送信する（ステップＳ３６）。尚、制御装置８における設定モードが第１のモードであれば、ステップＳ３５、Ｓ３６の処理は行われず、音声入出力装置３による音声出力は行われない。
When a predetermined number or more of setting candidates are extracted (YES in step S31), the
一方、所定数以上の設定候補が抽出されていない場合（ステップＳ３１でＮＯ）、制御装置８は、抽出された複数の設定候補を順番に音声出力するための案内情報Ｄ３をテキストデータとして生成し（ステップＳ３７）、その案内情報Ｄ３を音声認識装置７へ送信する（ステップＳ３８）。つまり、本実施形態における制御装置８は、音声認識結果に基づいて抽出された設定候補の数が所定数未満であれば、複数の設定候補を順番に音声出力したとしても、音声出力が終了するまでにそれ程長い時間を要しないため、画像処理装置２の操作パネル１１には選択画面を表示させないようにしている。そのため、ユーザーが画像処理装置２から離れた場所で音声操作を行っている場合には、操作パネル１１に対して無駄な表示を行わなくて済み、操作パネル１１が省電力モードであれば、その省電力モードを継続することができる。
On the other hand, when a predetermined number or more of setting candidates are not extracted (NO in step S31), the
尚、上記においては、制御装置８が、画像処理装置２に対するコマンドＤ４として、設定反映指示Ｄ４１と選択画面表示指示Ｄ４２を送信する場合を例示したが、これらは単なる一例である。すなわち、制御装置８は、設定反映指示Ｄ４１及び選択画面表示指示Ｄ４２以外にも、様々なコマンドＤ４を生成することができる。例えば、制御装置８は、ユーザーによる指示がジョブの実行指示である場合には、ジョブ実行指示をコマンドＤ４として生成する。
In the above description, the
次に画像処理装置２における処理手順について説明する。図１１は、画像処理装置２において行われる処理手順の一例を示すフローチャートである。尚、図１１では、画像処理装置２が制御装置８からコマンドを受信した場合の処理手順のみを示している。画像処理装置２は、この処理を開始すると、制御装置８からコマンドＤ４を受信したか否かを判断する（ステップＳ４０）。制御装置８からコマンドＤ４を受信していない場合（ステップＳ４０でＮＯ）、画像処理装置２による処理は終了する。一方、制御装置８からコマンドＤ４を受信している場合（ステップＳ４０でＹＥＳ）、画像処理装置２は、受信したコマンドＤ４が設定反映指示Ｄ４１であるか否かを判断する（ステップＳ４１）。コマンドＤ４が設定反映指示Ｄ４１である場合（ステップＳ４１でＹＥＳ）、画像処理装置２は、ジョブ設定部２２を機能させ、設定反映指示Ｄ４１に基づく設定を反映させたジョブ設定を行う（ステップＳ４２）。
Next, the processing procedure in the
また、コマンドＤ４が設定反映指示Ｄ４１でなかった場合（ステップＳ４１でＮＯ）、画像処理装置２は、コマンドＤ４が選択画面表示指示Ｄ４２であるか否かを判断する（ステップＳ４３）。コマンドＤ４が選択画面表示指示Ｄ４２である場合（ステップＳ４３でＹＥＳ）、画像処理装置２は、パネル制御部２０を機能させ、所定数以上の設定候補を表示するための選択画面を生成する（ステップＳ４４）。このとき、パネル制御部２０は、選択画面表示指示Ｄ４２において所定数以上の設定候補のそれぞれに対して優先順位が設定されていれば、その優先順位に基づいて所定数以上の設定候補をレイアウトした選択画面を生成する。そしてパネル制御部２０は、選択画面表示指示Ｄ４２に基づいて生成した選択画面を操作パネル１１の表示部１２に表示する（ステップＳ４５）。例えば、制御装置８からコマンドＤ４を受信した時点において操作パネル１１が省電力モードである場合、パネル制御部２０は、表示部１２への給電を開始して選択画面を表示する。この場合、パネル制御部２０は、選択画面の表示開始から所定時間が経過するまでの間、表示部１２を点滅表示させることでユーザーが操作パネル１１を注目できるように注意喚起を行うようにしても良い。尚、このような注意喚起は、例えばスピーカーから所定のビープ音などを発することで実現しても良い。
If the command D4 is not the setting reflection instruction D41 (NO in step S41), the
図１２は、操作パネル１１の表示部１２に表示される選択画面Ｇ１０の一例を示す図である。制御装置８においてユーザーの音声認識結果に基づく設定候補として所定数以上の設定候補が抽出された場合、画像処理装置２は、操作パネル１１の表示部１２に対して図１２に示すような選択画面Ｇ１０を表示する。図１２では、ユーザーが「リョウメン」という音声を発した場合の選択画面Ｇ１０の一例を示している。この選択画面Ｇ１０には、所定数以上の設定候補を表示するための設定候補表示領域Ｒ１が含まれており、その設定候補表示領域Ｒ１に、所定数以上の設定候補のそれぞれに対応するサムネイル画像６１，６２，６３，６４が表示される。これらのサムネイル画像６１，６２，６３，６４の画像サイズは、制御装置８において決定された優先順位に基づくサイズとなっている。ここで、優先順位がユーザーによる設定頻度の高いものから順に設定されているとすると、ユーザーは、画像サイズの最も大きいサムネイル画像６２が最も設定頻度の高い設定項目であることを把握することができる。つまり、選択画面Ｇ１０は、ユーザーにとって設定頻度の高い設定項目を選択しやすい画面となっているのである。したがって、ユーザーは、音声入出力装置３から出力される音声案内を全て聞かなくても、設定頻度の高い設定項目を効率的に選択することが可能である。
FIG. 12 is a diagram showing an example of the selection screen G10 displayed on the
図１２に示す選択画面Ｇ１が表示されているとき、ユーザーは、所望の設定候補を選択する操作として操作パネル１１に対する手動操作を行うことができる。例えば、ユーザーは、複数のサムネイル画像６１，６２，６３，６４のうちから所望の設定候補に対応するサムネイル画像をタッチし、選択画面Ｇ１０内の操作ボタンＢ１を操作することにより、一の設定候補を選択することができる。尚、ユーザーは、手動操作だけでなく、音声を発することによって所望の設定候補を選択することもできる。
When the selection screen G1 shown in FIG. 12 is displayed, the user can manually operate the
図１３は、図１２とは異なる選択画面Ｇ１１の例を示す図である。制御装置８においてユーザーの音声認識結果に基づく設定候補として所定数以上の設定候補が抽出された場合、画像処理装置２は、操作パネル１１の表示部１２に対して図１３に示すような選択画面Ｇ１１を表示しても良い。図１３でも、ユーザーが「リョウメン」という音声を発した場合の選択画面Ｇ１１の例を示している。この選択画面Ｇ１１においても、所定数以上の設定候補を表示するための設定候補表示領域Ｒ１が含まれており、その設定候補表示領域Ｒ１に、所定数以上の設定候補のそれぞれがリスト形式で表示される。所定数以上の設定候補のリストは、例えば優先順位の高いものからリストの上位に表示される。したがって、ユーザーは、音声入出力装置３から出力される音声案内を全て聞かなくても、優先順位の高い設定項目を効率的に選択することが可能である。尚、図１３では、複数の設定候補のうちから、ユーザーがコピー機能のプリンタ部１８に対する両面印刷をオンに設定することを選択した場合を例示している。
FIG. 13 is a diagram showing an example of a selection screen G11 different from that of FIG. When a predetermined number or more of setting candidates are extracted as setting candidates based on the user's voice recognition result in the
図１１のフローチャートに戻り、画像処理装置２は、受信したコマンドＤ４が選択画面表示指示Ｄ４２でなかった場合（ステップＳ４３でＮＯ）、ジョブの実行指示であるか否かを判断する（ステップＳ４６）。コマンドＤ４がジョブの実行指示である場合（ステップＳ４６でＹＥＳ）、画像処理装置２は、ジョブ制御部２１を機能させ、ユーザーによって指定されたジョブの実行を開始する（ステップＳ４７）。
Returning to the flowchart of FIG. 11, when the received command D4 is not the selection screen display instruction D42 (NO in step S43), the
一方、受信したコマンドＤ４がジョブの実行指示でもなかった場合（ステップＳ４６でＮＯ）、画像処理装置２は、受信したコマンドＤ４に基づき、上述した処理以外のその他の処理を実行する（ステップＳ４８）。以上で、画像処理装置２による処理が終了する。
On the other hand, when the received command D4 is not a job execution instruction (NO in step S46), the
以上のように、本実施形態の制御システム１は、クラウド５上に設置されている制御装置８が、ユーザーの発した音声に基づいて画像処理装置２を遠隔制御するように構成されている。そして、本実施形態の制御装置８は、ユーザーの発した音声に対応する設定候補として、所定数以上の設定候補を抽出すると、画像処理装置２の操作パネル１１に、それら所定数以上の設定候補を表示させるようにしている。そのため、本実施形態の制御装置８は、所定数以上の設定候補を抽出した場合に、それらの所定数以上の設定候補を順番に音声でユーザーに聞かせなくても、所定数以上の設定候補を視認させることで、ユーザーに効率的に所望の設定候補を選択させることができる。それ故、ユーザーが所望の設定候補を選択するまでの時間を短縮することが可能であり、画像処理装置２が一人のユーザーによって占有されてしまう時間を短くすることができる。
As described above, the control system 1 of the present embodiment is configured such that the
以上、本発明に関する好ましい実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the content described in the above embodiment, and various modifications can be applied.
例えば、上記各実施形態では、音声認識装置７と制御装置８とが別体である場合を例示した。しかし、本発明は、音声認識装置７と制御装置８とが別体であるものに限られるものではない。例えば、制御装置８は、音声認識装置７と一体的に構成されるものであっても構わない。
For example, in each of the above embodiments, the case where the
また、上記実施形態では、制御装置８がクラウド５上にサーバーとして設置される場合を説明したが、これに限られるものではない。例えば、制御装置８は、ローカル環境に設置されるサーバーであっても構わない。また、制御装置８は、画像処理装置２の内部に設けられるものであっても構わない。画像処理装置２に制御装置８が設けられる場合、その制御装置８は、上述のように音声認識装置７の機能を更に備えたものであっても構わない。
Further, in the above embodiment, the case where the
また、上記実施形態では、音声入出力装置３と画像処理装置２とが別体である場合を例示した。しかし、本発明は、それに限られるものでもない。すなわち、画像処理装置２は、上述した音声入出力装置３の機能を備えているものであっても構わない。
Further, in the above embodiment, the case where the audio input /
また、上記実施形態では、音声入出力装置３は、音声の入出力を行う装置である場合を例示した。しかし、音声入出力装置３は、音声の入力のみを行う装置であっても構わない。この場合、上述した音声入出力装置３は、音声入力装置としてのみ機能する。
Further, in the above embodiment, the case where the voice input /
また、上記実施形態では、制御装置８の記憶部４１に予めプログラム２５がインストールされている場合を例示した。しかし、プログラム２５は、例えば通信インタフェース４２などを介して制御装置８にインストールされるものであっても構わない。この場合、プログラム２５は、インターネットなどを介してダウンロード可能な態様で提供される。また、これに限らず、プログラム２５は、ＣＤ−ＲＯＭやＵＳＢメモリなどのコンピュータ読み取り可能な記録媒体に記録された態様で提供されるものであっても構わない。
Further, in the above embodiment, the case where the
１ 制御システム
２ 画像処理装置
３ 音声入出力装置
７ 音声認識装置
８ 制御装置
２５ プログラム
３１ 設定特定部（設定特定手段）
３２ 案内情報出力部（案内情報出力手段）
３３ 装置制御部
３４ 設定候補抽出部
３５ 表示制御部（制御手段）
３６ 設定反映部
1
32 Guidance information output unit (guidance information output means)
33
36 Setting reflection section
Claims (33)
ユーザーによって発せられた音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定する設定特定手段と、
前記設定特定手段において前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御手段と、
を備えることを特徴とする制御装置。 A control device that controls an image processing device
A setting specifying means for specifying a setting to be reflected in the image processing device based on a voice recognition result of a voice emitted by a user, and a setting specifying means.
When it is determined in the setting specifying means that there are a plurality of setting candidates corresponding to the voice recognition result, the control means for presenting the plurality of setting candidates and the control means.
A control device comprising.
前記制御手段は、前記複数の設定候補を前記表示手段に表示させることによって提示することを特徴とする請求項１又は２に記載の制御装置。 The image processing device has a display means and has a display means.
The control device according to claim 1 or 2, wherein the control means presents the plurality of setting candidates by displaying them on the display means.
を更に備えることを特徴とする請求項１乃至９のいずれかに記載の制御装置。 Guidance information output means for outputting guidance information for performing voice guidance based on the setting specified by the setting identification means,
The control device according to any one of claims 1 to 9, further comprising.
前記画像処理装置を音声操作するための音声を入力する音声入力装置と、
前記音声入力装置に入力された音声に基づいて前記画像処理装置を制御する制御装置と、
を備える制御システムであって、
前記制御装置は、
前記音声入力装置に入力された音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定する設定特定手段と、
前記設定特定手段において前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御手段と、
を備えることを特徴とする制御システム。 Image processing equipment and
A voice input device for inputting voice for operating the image processing device by voice,
A control device that controls the image processing device based on the voice input to the voice input device, and
It is a control system equipped with
The control device is
Setting specifying means for specifying the setting to be reflected in the image processing device based on the voice recognition result of the voice input to the voice input device, and
When it is determined in the setting specifying means that there are a plurality of setting candidates corresponding to the voice recognition result, the control means for presenting the plurality of setting candidates and the control means.
A control system characterized by being equipped with.
ユーザーによって発せられた音声の音声認識結果に基づいて前記画像処理装置に反映すべき設定を特定させる設定特定ステップと、
前記設定特定ステップにおいて前記音声認識結果に対応する複数の設定候補が存在すると判定された場合に、前記複数の設定候補を提示する制御ステップと、
を実行させることを特徴とする制御プログラム。 A control program that controls an image processing unit by being executed by a processor.
A setting specifying step for specifying a setting to be reflected in the image processing device based on the voice recognition result of the voice emitted by the user, and a setting specifying step.
When it is determined that there are a plurality of setting candidates corresponding to the voice recognition result in the setting specific step, a control step for presenting the plurality of setting candidates and a control step for presenting the plurality of setting candidates.
A control program characterized by executing.
前記制御ステップは、前記複数の設定候補を前記表示手段に表示させることによって提示することを特徴とする請求項１９又は２０に記載の制御プログラム。 The image processing device has a display means and has a display means.
The control program according to claim 19 or 20, wherein the control step is presented by displaying the plurality of setting candidates on the display means.
前記設定特定ステップによって特定された設定に基づく音声案内を行うための案内情報を出力する案内情報出力ステップ、
を更に実行させることを特徴とする請求項１９乃至２７のいずれかに記載の制御プログラム。 To the processor
Guidance information output step, which outputs guidance information for performing voice guidance based on the setting specified by the setting specific step,
The control program according to any one of claims 19 to 27, wherein the control program is further executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019225082A JP7447458B2 (en) | 2019-12-13 | 2019-12-13 | Control device, control system and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019225082A JP7447458B2 (en) | 2019-12-13 | 2019-12-13 | Control device, control system and control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021096493A true JP2021096493A (en) | 2021-06-24 |
| JP7447458B2 JP7447458B2 (en) | 2024-03-12 |
Family
ID=76431381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019225082A Active JP7447458B2 (en) | 2019-12-13 | 2019-12-13 | Control device, control system and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7447458B2 (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292895A (en) * | 1996-04-25 | 1997-11-11 | Matsushita Electric Ind Co Ltd | Human and machine interface device |
| JP2000250587A (en) * | 1999-03-01 | 2000-09-14 | Hitachi Ltd | Voice recognition device and voice recognizing and translating device |
| JP2003051887A (en) * | 2001-08-06 | 2003-02-21 | Minolta Co Ltd | Control system and control method |
| JP2007206886A (en) * | 2006-01-31 | 2007-08-16 | Canon Inc | Information processor and method |
| JP2009252238A (en) * | 2008-04-08 | 2009-10-29 | Lg Electronics Inc | Mobile terminal and its menu control method |
| US20120303267A1 (en) * | 2009-07-27 | 2012-11-29 | Robert Bosch Gmbh | Method and system for improving speech recognition accuracy by use of geographic information |
| US20140095159A1 (en) * | 2012-09-28 | 2014-04-03 | Samsung Electronics Co., Ltd. | Image processing apparatus and control method thereof and image processing system |
| JP2016009901A (en) * | 2014-06-23 | 2016-01-18 | シャープ株式会社 | Compound machine and display control method |
| JP2018049510A (en) * | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing device and program |
| JP2019003631A (en) * | 2017-06-09 | 2019-01-10 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Device, method, computer program, and recording medium for providing information |
| JP2019198987A (en) * | 2018-05-14 | 2019-11-21 | コニカミノルタ株式会社 | Operation screen display device, image processing apparatus, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002355486A (en) | 2001-06-01 | 2002-12-10 | Toshiba Corp | Washing machine |
| JP4259054B2 (en) | 2002-07-10 | 2009-04-30 | 株式会社エクォス・リサーチ | In-vehicle device |
| JP2017015361A (en) | 2015-07-06 | 2017-01-19 | 東芝ホームテクノ株式会社 | Heating cooker |
-
2019
- 2019-12-13 JP JP2019225082A patent/JP7447458B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292895A (en) * | 1996-04-25 | 1997-11-11 | Matsushita Electric Ind Co Ltd | Human and machine interface device |
| JP2000250587A (en) * | 1999-03-01 | 2000-09-14 | Hitachi Ltd | Voice recognition device and voice recognizing and translating device |
| JP2003051887A (en) * | 2001-08-06 | 2003-02-21 | Minolta Co Ltd | Control system and control method |
| JP2007206886A (en) * | 2006-01-31 | 2007-08-16 | Canon Inc | Information processor and method |
| JP2009252238A (en) * | 2008-04-08 | 2009-10-29 | Lg Electronics Inc | Mobile terminal and its menu control method |
| US20120303267A1 (en) * | 2009-07-27 | 2012-11-29 | Robert Bosch Gmbh | Method and system for improving speech recognition accuracy by use of geographic information |
| US20140095159A1 (en) * | 2012-09-28 | 2014-04-03 | Samsung Electronics Co., Ltd. | Image processing apparatus and control method thereof and image processing system |
| JP2016009901A (en) * | 2014-06-23 | 2016-01-18 | シャープ株式会社 | Compound machine and display control method |
| JP2018049510A (en) * | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing device and program |
| JP2019003631A (en) * | 2017-06-09 | 2019-01-10 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Device, method, computer program, and recording medium for providing information |
| JP2019198987A (en) * | 2018-05-14 | 2019-11-21 | コニカミノルタ株式会社 | Operation screen display device, image processing apparatus, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7447458B2 (en) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4717461B2 (en) | Information input device, information input method, and information input program | |
| US11355106B2 (en) | Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy | |
| JP4826662B2 (en) | Image processing apparatus and voice operation history information sharing method | |
| US11172082B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| US11211069B2 (en) | Information processing system, information processing method, and non-transitory recording medium | |
| US11140284B2 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
| JP7188036B2 (en) | Information processing device, information processing system, and method | |
| JP2006330576A (en) | Apparatus operation system, speech recognition device, electronic apparatus, information processor, program, and recording medium | |
| EP3696610B1 (en) | Image forming apparatus, display control method, and carrier means | |
| JP7293963B2 (en) | Information processing device and information processing program | |
| US11625200B2 (en) | Information processing device, mobile terminal, and non-transitory computer readable medium for parameter presentation | |
| JP2011222046A (en) | Image processor and operation item discrimination table sharing method | |
| EP3716040A1 (en) | Image forming apparatus and job execution method | |
| JP2019193158A (en) | Image processing apparatus, information processing method, and program | |
| US10606531B2 (en) | Image processing device, and operation control method thereof | |
| JP7447458B2 (en) | Control device, control system and control program | |
| JP2008299735A (en) | Image-forming system, program for the image forming system, and computer-readable storage medium storing program for the image-forming system | |
| US11647129B2 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
| JP2020187663A (en) | Device | |
| JP7314499B2 (en) | Information processing system, information processing device, job control method and job control program | |
| JP6992332B2 (en) | Image processing system, image processing device, terminal device and program | |
| US11700338B2 (en) | Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor | |
| JP7388079B2 (en) | Information transmitting device, information transmitting method and program | |
| US20240064244A1 (en) | Information processing apparatus, image forming apparatus, information processing method, and storage medium | |
| CN111988483B (en) | Image processing apparatus and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7447458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |