JP2020082642A - Image forming device and program - Google Patents

Image forming device and program Download PDF

Info

Publication number
JP2020082642A
JP2020082642A JP2018224507A JP2018224507A JP2020082642A JP 2020082642 A JP2020082642 A JP 2020082642A JP 2018224507 A JP2018224507 A JP 2018224507A JP 2018224507 A JP2018224507 A JP 2018224507A JP 2020082642 A JP2020082642 A JP 2020082642A
Authority
JP
Japan
Prior art keywords
function
operation instruction
unit
image forming
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018224507A
Other languages
Japanese (ja)
Other versions
JP7115259B2 (en
Inventor
鈴木 順子
Junko Suzuki
順子 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018224507A priority Critical patent/JP7115259B2/en
Publication of JP2020082642A publication Critical patent/JP2020082642A/en
Application granted granted Critical
Publication of JP7115259B2 publication Critical patent/JP7115259B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)

Abstract

To provide an image forming device and a program capable of reducing time taken after provision of operation instruction to the image forming device through voice recognition until start of a function.SOLUTION: An image forming device 1 comprises: an operation instruction determination unit 505 determining an operation instruction provided through voice on the basis of phrases extracted from text data recognized from the voice input to a voice input unit 14; a function setting unit 506 setting a function selected on the basis of the operation instruction when the operation instruction determined by the operation instruction determination unit 505 is appropriate; and an execution control unit 507 performing control to execute the function set by the function setting unit 506.SELECTED DRAWING: Figure 2

Description

本発明は、画像形成装置及びプログラムに関する。 The present invention relates to an image forming apparatus and a program.

近年、音声認識機能を搭載した画像形成装置(MFP:Multifunction Peripheral)が用いられつつある。この画像形成装置では、ユーザーが画像形成装置に対して操作指示を口頭で伝えるだけで、ユーザーが意図する操作を画像形成装置に行わせることができる。画像形成装置は、ユーザーが発声した音声から操作指示を抽出し、操作指示に該当する機能(例えば、COPY機能、SCAN機能)を検索する。画像形成装置は、抽出した操作指示が明確であれば、この操作指示に完全一致する機能を検索することが可能である。 In recent years, an image forming apparatus (MFP: Multifunction Peripheral) equipped with a voice recognition function is being used. In this image forming apparatus, the user can cause the image forming apparatus to perform an operation intended by the user only by verbally transmitting an operation instruction to the image forming apparatus. The image forming apparatus extracts an operation instruction from the voice uttered by the user and searches for a function (eg, COPY function, SCAN function) corresponding to the operation instruction. If the extracted operation instruction is clear, the image forming apparatus can search for a function that completely matches this operation instruction.

しかし、ユーザーの発声音量が小さかったり、周囲に雑音があったりすると、画像形成装置が正確に操作指示を抽出できない。この場合、画像形成装置は、抽出できた操作指示の一部をあいまい検索し、操作指示の一部を含む文言の機能を検索する。そして、画像形成装置は、検索した機能をユーザーに応答する。この応答は、例えば、画像形成装置が備えるスピーカーから機能種別を表すメッセージが放音されたり、液晶ディスプレイ装置に機能種別が表示されることで行われる。 However, if the user's voicing volume is low or there is noise in the surroundings, the image forming apparatus cannot accurately extract the operation instruction. In this case, the image forming apparatus fuzzyly searches a part of the extracted operation instruction and searches for the function of the wording including the part of the operation instruction. Then, the image forming apparatus responds to the user with the searched function. This response is performed, for example, by emitting a message indicating the function type from a speaker included in the image forming apparatus or displaying the function type on the liquid crystal display device.

このような音声認識により画像形成装置を操作するための技術として、以下の特許文献1及び2に開示された技術が知られている。 As a technique for operating the image forming apparatus by such voice recognition, the techniques disclosed in Patent Documents 1 and 2 below are known.

特許文献1には、入力された音声を認識して認識結果の候補リストを出力し、認識結果の候補間の差異を抽出して認識結果へ差異情報を付与し、認識結果へ付与した差異情報に基づき差異が明確になる応答を生成し、生成した応答を提示する技術が開示されている。 In Patent Document 1, the input voice is recognized, a candidate list of recognition results is output, differences between recognition result candidates are extracted, difference information is added to the recognition results, and difference information added to the recognition results. A technique of generating a response in which a difference becomes clear based on the above and presenting the generated response is disclosed.

特許文献2には、音情報から抽出されたコマンドや家電・設備機器の状態等に基づいて家電・設備機器の動作モードを決定し、家電・設備機器の動作モードや状態を表示する操作表示部の表示内容を、動作モードの変更に応じて変化させる技術が開示されている。 In Patent Document 2, an operation display unit that determines the operation mode of the home appliance/facility device based on the command extracted from the sound information, the state of the home appliance/facility device, etc., and displays the operation mode or the state of the home appliance/facility device. There is disclosed a technique of changing the display content of the item in accordance with the change of the operation mode.

特開2006−23572号公報JP, 2006-23572, A 特開2005−284492号公報JP, 2005-284492, A

ここで特許文献1に記載された技術で用いられる、入力された音声の認識結果の候補リストは、認識結果として妥当性があると判断された認識結果の候補が列挙されたものである。この候補リストは、特許文献1に記載された対話装置の内部で使用されるに過ぎず、ユーザーが認識できるのは応答提示によるガイダンス等である。そして、ユーザーが、不明確な操作指示を行うと、応答提示されるガイダンスが長くなるため、機能の実行開始まで時間を要していた。 Here, the candidate list of the recognition result of the input voice used in the technique described in Patent Document 1 is an enumeration of recognition result candidates that are determined to be valid as the recognition result. This candidate list is only used inside the dialogue device described in Patent Document 1, and what the user can recognize is guidance by response presentation. If the user gives an unclear operation instruction, the guidance presented as a response becomes long, and thus it takes time to start executing the function.

特許文献2に記載された操作表示部には、家電・設備機器の動作モードや状態が表示されるが、ユーザーが正しく機能種別を音声入力したことが前提となる。このため、ユーザーが正しい機能種別を思い出せなければ、家電・設備機器の動作モードを変更することができず、音声入力ができなくなる。 The operation display unit described in Patent Document 2 displays the operation modes and states of home appliances and equipment, but it is premised that the user correctly inputs the function type by voice. For this reason, unless the user remembers the correct function type, the operation mode of the home electric appliance/facility equipment cannot be changed, and voice input becomes impossible.

ただし、ユーザーが明確な操作指示を行っても、操作指示の度に操作画面が起動したり、画面遷移したりすると、操作画面の変化に伴い余計な電力を消費してしまう。また、ユーザーが望む操作画面が表示されるまでの間、ユーザーに機能の実行開始を待たせてしまう。この場合、手軽に操作指示を行える音声認識機能を活かすことができず、従来用いられていた通常の操作パネルからの入力と違いがなくなってしまう。 However, even if the user gives a clear operation instruction, if the operation screen is activated or the screen transitions each time the operation instruction is given, extra power is consumed as the operation screen changes. Further, the user is made to wait until the execution of the function is started until the operation screen desired by the user is displayed. In this case, the voice recognition function that allows easy operation instructions cannot be utilized, and there is no difference from the conventional input from the operation panel.

本発明はこのような状況に鑑みて成されたものであり、音声入力された操作指示が曖昧であっても、適切に機能を実行することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to appropriately execute a function even when a voice-input operation instruction is ambiguous.

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像形成装置は、音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する操作指示判定部と、操作指示判定部により判定された操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う機能設定部と、機能設定部により設定された機能を実行する制御を行う実行制御部と、を備える。
なお、上記の画像形成装置は本発明の一態様であり、本発明の一側面を反映したプログラムについても、上記の画像形成装置と同様の構成を有する。
In order to achieve at least one of the above-mentioned objects, an image forming apparatus that reflects one aspect of the present invention provides a voice based on a phrase extracted from text data recognized from voice input to a voice input unit. An operation instruction determination unit that determines the operation instruction performed by, and a function setting unit that sets the function selected based on the operation instruction when the operation instruction determined by the operation instruction determination unit is appropriate, An execution control unit that controls to execute the function set by the function setting unit.
Note that the above-described image forming apparatus is one aspect of the present invention, and a program that reflects one aspect of the present invention also has the same configuration as the above-described image forming apparatus.

本発明によれば、操作指示が妥当である場合に、操作指示に基づいて選択された機能の設定が行われ、この機能の実行が行われる。このため、音声入力された操作指示が曖昧であっても、適切な機能の実行を速やかに開始することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
According to the present invention, when the operation instruction is valid, the function selected based on the operation instruction is set and the function is executed. For this reason, even if the voice-input operation instruction is ambiguous, execution of an appropriate function can be promptly started.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.

本発明の一実施の形態に係る画像形成装置の概要構成図である。1 is a schematic configuration diagram of an image forming apparatus according to an embodiment of the present invention. 本発明の一実施の形態に係る画像形成装置の制御系の構成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of a control system of the image forming apparatus according to one embodiment of the present invention. 本発明の一実施の形態に係る辞書データベースの構成例を示す説明図である。It is explanatory drawing which shows the structural example of the dictionary database which concerns on one embodiment of this invention. 本発明の一実施の形態に係るユーザーが画像形成装置に対して音声でコピー処理の実行を指示する時における画像形成装置の動作例を示す説明図である。FIG. 6 is an explanatory diagram showing an operation example of the image forming apparatus when a user instructs the image forming apparatus to execute copy processing by voice according to the embodiment of the present invention. 本発明の一実施の形態に係るユーザーが画像形成装置に対して音声でネットワーク設定の要求を行う時における画像形成装置の動作例を示す説明図である。FIG. 9 is an explanatory diagram showing an operation example of the image forming apparatus when a user makes a voice request for network setting to the image forming apparatus according to the embodiment of the present invention. 本発明の一実施の形態に係る操作指示された機能を実行するための候補画面の表示例を示す説明図である。FIG. 11 is an explanatory diagram showing a display example of a candidate screen for executing a function instructed to operate according to an embodiment of the present invention. 本発明の一実施の形態に係る操作指示された機能を実行するために不足する項目がハイライト表示された操作画面の表示例を示す説明図である。FIG. 9 is an explanatory diagram showing a display example of an operation screen in which items lacking in order to execute a function instructed to operate according to an embodiment of the present invention are highlighted. 本発明の一実施の形態に係る画像形成装置によって行われる音声認識処理の例を示すフローチャートである。6 is a flowchart showing an example of voice recognition processing performed by the image forming apparatus according to the embodiment of the present invention.

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。 Embodiments for carrying out the present invention will be described below with reference to the accompanying drawings. In this specification and the drawings, components having substantially the same function or configuration are designated by the same reference numerals, and a duplicate description will be omitted.

[一実施の形態]
<画像形成システムの構成>
始めに、図1を参照して、本発明の一実施の形態に係る画像形成システムの構成例について説明する。
図1は、本発明の一実施の形態に係る画像形成装置1の概要構成図である。なお、図1には、本発明の説明に必要と考える要素又はその関連要素を記載しており、本発明の画像形成システムは図1に示す例に限定されない。
[One Embodiment]
<Structure of image forming system>
First, with reference to FIG. 1, a configuration example of an image forming system according to an embodiment of the present invention will be described.
FIG. 1 is a schematic configuration diagram of an image forming apparatus 1 according to an embodiment of the present invention. It should be noted that FIG. 1 shows elements considered to be necessary for explaining the present invention or their related elements, and the image forming system of the present invention is not limited to the example shown in FIG.

画像形成装置1は、静電気を用いて画像の形成を行う電子写真方式によって用紙に画像を形成する画像形成装置の一例である。画像形成装置1は、例えば、イエロー(Y)、マゼンタ(M)、シアン(C)及びブラック(K)の4色のトナー画像を重ね合わせるタンデム形式によって、用紙上にカラー画像を形成する。画像形成装置1には、不図示のLAN(Local Area Network)を介して、ユーザーによって操作されるPC70(後述する図2を参照)等が接続されている。そして、PC70からLANを介して画像形成装置1に印刷ジョブ等の各種ジョブが投入される。画像形成装置1は、投入されたジョブに従って、画像形成処理等の各種の処理を行う。 The image forming apparatus 1 is an example of an image forming apparatus that forms an image on a sheet by an electrophotographic method that forms an image using static electricity. The image forming apparatus 1 forms a color image on a sheet by, for example, a tandem type in which toner images of four colors of yellow (Y), magenta (M), cyan (C), and black (K) are superposed. The image forming apparatus 1 is connected to a PC 70 (see FIG. 2 described later) and the like operated by a user via a LAN (Local Area Network) not shown. Then, various jobs such as a print job are input to the image forming apparatus 1 from the PC 70 via the LAN. The image forming apparatus 1 performs various processes such as an image forming process according to the input job.

本実施の形態に係る画像形成装置1は、ユーザーが発声した音声による操作指示に従って、機能の実行を制御可能な音声制御機能を搭載する。ここで、ユーザーの音声が、明確なキーワード、又は指示の語句を含んでいれば、画像形成装置1は、内部に持つ辞書データベース53(後述する図2参照)を参照して、操作指示の妥当性、すなわちジョブの実行に対する指示として妥当であるか判断し、妥当である場合に操作指示に従って動作することができる。また、画像形成装置1は、操作指示が不十分であれば、操作指示に関連する操作画面を表示させ、この操作画面を通じて、ユーザーが意図する機能を実行可能となるように誘導することができる。なお、判定された操作指示が複数あれば、複数の機能に対応する操作画面が表示されるため、ユーザーが意図する機能を示す操作画面を、複数の操作画面から選択することが可能となる。ここで、「誘導」とは、操作指示された機能に関係しそうな操作画面へのボタンをハイライトで表示させたり、この機能に関連しそうな操作画面を複数縮小表示させたり、もしくは操作画面を1つずつ表示させたり、ユーザーにYes又はNoを判断させたりすることである。 The image forming apparatus 1 according to the present embodiment is equipped with a voice control function capable of controlling execution of a function according to an operation instruction by a voice uttered by a user. Here, if the user's voice includes a clear keyword or an instruction word/phrase, the image forming apparatus 1 refers to the internal dictionary database 53 (see FIG. 2 described later) to determine whether the operation instruction is appropriate. Property, that is, whether or not it is appropriate as an instruction for execution of a job, and if so, it can operate according to the operation instruction. Further, when the operation instruction is insufficient, the image forming apparatus 1 can display an operation screen related to the operation instruction and guide the user to execute a function intended by the operation screen. .. If there are a plurality of determined operation instructions, the operation screens corresponding to the plurality of functions are displayed, so that the operation screen showing the function intended by the user can be selected from the plurality of operation screens. Here, "guidance" means highlighting a button to an operation screen that is likely to be related to the operation-instructed function, displaying multiple operation screens that are likely to be related to this function, or displaying the operation screen. Displaying one by one, or letting the user determine Yes or No.

画像形成装置1は、自動原稿給送装置(ADF:Auto Document Feeder)12を有する画像入力部11、操作表示部13に加えて、給紙トレイ20及び画像形成部30を有するプリンター部10を備える。 The image forming apparatus 1 includes an image input unit 11 having an automatic document feeder (ADF) 12, an operation display unit 13, and a printer unit 10 having a paper feed tray 20 and an image forming unit 30. ..

画像入力部11は、自動原稿給送装置12の原稿台上の原稿から画像を光学的に読み取り、読み取った画像をA/D変換して画像データ(スキャンデータ)を生成する。なお、画像入力部11は、プラテンガラス上で読み込むこともできる。 The image input unit 11 optically reads an image from a document on a document table of the automatic document feeder 12 and A/D-converts the read image to generate image data (scan data). The image input unit 11 can also be read on the platen glass.

操作表示部13は、液晶パネル等からなる表示部、及び、タッチセンサ等からなる操作部で構成される。表示部及び操作部は、例えばタッチパネルとして一体に形成される。操作表示部13は、操作部に入力されたユーザーからの操作の内容を表す操作信号を生成し、該操作信号を制御部50(後述する図2を参照)に供給する。また、操作表示部13は、制御部50から供給される表示信号に基づいて、操作表示部13に、ユーザーによる操作内容や設定情報等を含む操作画面を表示する。 The operation display unit 13 includes a display unit including a liquid crystal panel and the like, and an operation unit including a touch sensor and the like. The display unit and the operation unit are integrally formed as, for example, a touch panel. The operation display unit 13 generates an operation signal representing the content of the operation input by the user on the operation unit, and supplies the operation signal to the control unit 50 (see FIG. 2 described later). Further, the operation display unit 13 displays an operation screen including the operation content by the user, setting information, etc. on the operation display unit 13 based on the display signal supplied from the control unit 50.

本実施の形態に係る操作表示部13は、ユーザーからの音声入力による操作指示が行われた機能の機能種別に対応する操作画面を表示する。このため、画像形成装置1のユーザーは、操作表示部13に表示された操作画面に基づいて、音声認識の結果を確認することができる。そして、操作表示部13は、タッチパネルとして形成されるので、操作画面に対する操作入力が行われる。このため、ユーザーは、操作画面を通じて、機能の設定を行うことができる。 The operation display unit 13 according to the present embodiment displays an operation screen corresponding to the function type of the function for which an operation instruction is given by a voice input from the user. Therefore, the user of the image forming apparatus 1 can confirm the result of voice recognition based on the operation screen displayed on the operation display unit 13. Then, since the operation display unit 13 is formed as a touch panel, an operation input is performed on the operation screen. Therefore, the user can set the function through the operation screen.

なお、操作部をマウスやタブレットなどで構成し、操作表示部13とは別体で構成することも可能である。この場合、ユーザーは、操作表示部13に表示された操作画面を、別体で構成された操作部を通じて選択することが可能である。 It is also possible to configure the operation unit with a mouse, a tablet, or the like, and to configure the operation display unit 13 separately. In this case, the user can select the operation screen displayed on the operation display unit 13 through the operation unit formed separately.

給紙トレイ20は、画像形成部30で画像形成が行われる用紙Sh(記録材の一例)を収容する容器である。画像形成装置1は、記録材の一例である樹脂製のシートにも画像を形成することが可能である。給紙トレイ20には、それぞれ、紙種や坪量等が異なる用紙Shが収容される。なお、本実施形態では、2つの給紙トレイ20を設けた例を挙げたが、給紙トレイ20の個数は1つであってもよく、3個以上であってもよい。 The paper feed tray 20 is a container that stores paper Sh (an example of a recording material) on which an image is formed by the image forming unit 30. The image forming apparatus 1 can also form an image on a resin sheet, which is an example of a recording material. The paper feed tray 20 stores paper Sh having different paper types, basis weights, and the like. In the present embodiment, the example in which the two paper feed trays 20 are provided has been described, but the number of the paper feed trays 20 may be one or three or more.

画像形成装置1には、給紙トレイ20から給紙された用紙Shを排紙トレイ25(排紙部の一例)まで搬送する搬送路21が設けられる。搬送路21には、用紙Shを搬送するための複数の搬送ローラが設けられる。 The image forming apparatus 1 is provided with a conveyance path 21 that conveys the paper Sh fed from the paper feed tray 20 to a paper ejection tray 25 (an example of a paper ejection unit). The transport path 21 is provided with a plurality of transport rollers for transporting the paper Sh.

画像形成部30は、Y、M、C及びKの各色のトナー画像を形成するための、4つの画像形成ユニット31Y,31M,31C及び31Kを備え、用紙Shに画像を形成する。画像形成ユニット31Y,31M,31C及び31Kはそれぞれ、帯電部、露光部(いずれも不図示)、像担持体としての感光体ドラム32Y,32M,32C,32K、及び、現像部33Y,33M,33C,33Kを備える。 The image forming unit 30 includes four image forming units 31Y, 31M, 31C and 31K for forming toner images of respective colors of Y, M, C and K, and forms an image on the paper Sh. The image forming units 31Y, 31M, 31C and 31K respectively include a charging unit, an exposing unit (none of which are shown), photoconductor drums 32Y, 32M, 32C and 32K as image carriers, and developing units 33Y, 33M and 33C. , 33K.

現像部33Y,33M,33C,33Kは、感光体ドラム32Y,32M,32C,32Kの各表面(外周部)に、画像に応じた光を照射することにより、各感光ドラムの周上に静電潜像を形成する。そして、現像部33Y,33M,33C,33Kは、該静電潜像にトナーを付着させて、感光体ドラム32Y,32M,32C,32K上にトナー画像を形成する。 The developing units 33Y, 33M, 33C, and 33K irradiate the surfaces (outer peripheral portions) of the photoconductor drums 32Y, 32M, 32C, and 32K with light according to the image, thereby electrostatically adhering to the periphery of each of the photoconductor drums. Form a latent image. Then, the developing units 33Y, 33M, 33C, 33K attach toner to the electrostatic latent images to form toner images on the photoconductor drums 32Y, 32M, 32C, 32K.

また、画像形成部30は、中間転写ベルト34、2次転写部35及び定着部36を備える。中間転写ベルト34は、感光体ドラム32Y,32M,32C,32Kに形成された画像が1次転写されるベルトである。2次転写部35は、中間転写ベルト34上に1次転写された各色のトナー画像を、搬送路21を搬送された用紙Shに2次転写するローラである。 The image forming unit 30 also includes an intermediate transfer belt 34, a secondary transfer unit 35, and a fixing unit 36. The intermediate transfer belt 34 is a belt to which the images formed on the photoconductor drums 32Y, 32M, 32C and 32K are primarily transferred. The secondary transfer unit 35 is a roller that secondarily transfers the toner image of each color that has been primarily transferred onto the intermediate transfer belt 34 onto the paper Sh that has been transported through the transport path 21.

定着部36は、2次転写部35の用紙搬送方向の下流側に配置されて、画像形成部30から供給されるカラーのトナー画像が形成された用紙Shに対して、定着処理を施す。定着部36は、搬送された用紙Shを加熱及び加圧することにより用紙Shの表面側に、画像形成部30により転写された画像を定着する。定着部36の下流側では、搬送路21が伸長して排紙トレイ25に接続されている。また、搬送路21には、定着部36の下流側で分岐して、プリンター部10の上流側の搬送路21に合流する反転搬送路22が接続されている。反転搬送路22には、用紙Shを表裏反転させる反転部23が設けられている。定着部36により画像が定着した用紙Shは、搬送路21によって排紙トレイ25に排紙されるか、反転搬送路22を通して反転部23により表裏が反転された後、プリンター部10の上流側で搬送路21に返される。表裏反転された用紙Shは、プリンター部10によって裏面への画像形成が行われる。その後、定着部36によって定着処理が施された用紙Shは、排紙トレイ25に排紙される。 The fixing unit 36 is disposed on the downstream side of the secondary transfer unit 35 in the paper transport direction, and performs the fixing process on the paper Sh on which the color toner image supplied from the image forming unit 30 is formed. The fixing unit 36 fixes the image transferred by the image forming unit 30 on the front surface side of the sheet Sh by heating and pressing the conveyed sheet Sh. On the downstream side of the fixing unit 36, the transport path 21 extends and is connected to the paper discharge tray 25. Further, a reverse conveyance path 22 is connected to the conveyance path 21 so as to branch on the downstream side of the fixing unit 36 and join the conveyance path 21 on the upstream side of the printer unit 10. The reversing conveyance path 22 is provided with a reversing unit 23 for reversing the paper Sh. The paper Sh on which the image is fixed by the fixing unit 36 is discharged to the discharge tray 25 by the conveyance path 21 or the front and back sides are reversed by the reversing section 23 through the reversing conveyance path 22 and then on the upstream side of the printer section 10. It is returned to the transport path 21. The printer unit 10 forms an image on the back side of the sheet Sh that has been turned upside down. After that, the paper Sh that has been subjected to the fixing processing by the fixing unit 36 is discharged to the paper discharge tray 25.

[画像形成装置の制御系の構成]
次に、図2を参照して、画像形成装置1の制御系の構成例について説明する。
図2は、画像形成装置1の制御系の構成例を示すブロック図である。
画像形成装置1は、通信I/F部51、用紙搬送部24、画像入力部11、画像形成部30、制御部50、記憶部52、定着部36及び操作表示部13を備える。
[Configuration of control system of image forming apparatus]
Next, with reference to FIG. 2, a configuration example of the control system of the image forming apparatus 1 will be described.
FIG. 2 is a block diagram showing a configuration example of the control system of the image forming apparatus 1.
The image forming apparatus 1 includes a communication I/F unit 51, a paper transport unit 24, an image input unit 11, an image forming unit 30, a control unit 50, a storage unit 52, a fixing unit 36, and an operation display unit 13.

通信I/F部51は、ネットワーク又は専用線を介して、ユーザーが操作する端末であるPC70との間でデータを送受信するインターフェースである。通信I/F部51として、例えばNIC(Network Interface Card)が用いられる。 The communication I/F unit 51 is an interface that transmits/receives data to/from the PC 70, which is a terminal operated by a user, via a network or a dedicated line. As the communication I/F unit 51, for example, a NIC (Network Interface Card) is used.

用紙搬送部24は、制御部50による制御に基づいて、図1に示した搬送路21及び反転搬送路22上に設けられた各搬送ローラ(図示略)、及び反転部23を駆動する。 The paper transport unit 24 drives the transport rollers (not shown) provided on the transport path 21 and the reversal transport path 22 illustrated in FIG. 1 and the reversing unit 23 under the control of the control unit 50.

制御部50は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、入力画像処理部504、操作指示判定部505、機能設定部506、実行制御部507を備える。
ROM502には、制御部50のCPU501が実行するプログラム又はプログラムの実行時に使用するデータ等が保存される。CPU501は、ROM502に保存されたプログラムを読み出すことにより、画像形成装置1を構成する各部の制御を行う。
RAM503には、CPU501の演算処理の途中に発生した変数やパラメータなどが一時的に書き込まれる。
The control unit 50 includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, an input image processing unit 504, an operation instruction determination unit 505, a function setting unit 506, and an execution control unit 507. Equipped with.
The ROM 502 stores a program executed by the CPU 501 of the control unit 50, data used when the program is executed, and the like. The CPU 501 controls each unit included in the image forming apparatus 1 by reading a program stored in the ROM 502.
In the RAM 503, variables and parameters generated during the arithmetic processing of the CPU 501 are temporarily written.

入力画像処理部504は、PC70から通信I/F部51を介して入力されたジョブに含まれる入力画像に所定の画像処理を施し、印刷用画像データを作成する。また、入力画像処理部504は、画像入力部11が読み取った原稿から取得した画像データ、又は、外部から取得した画像データについても画像処理を施し、印刷用画像データを作成する。この印刷用画像データは、画像形成部30に送られる。 The input image processing unit 504 performs predetermined image processing on the input image included in the job input from the PC 70 via the communication I/F unit 51, and creates print image data. The input image processing unit 504 also performs image processing on the image data acquired from the document read by the image input unit 11 or the image data acquired from the outside, and creates printing image data. The print image data is sent to the image forming unit 30.

制御部50は、用紙搬送部24を制御して搬送ローラを駆動させ、用紙Shを搬送路21上で搬送させる。また、制御部50は、入力画像処理部504が作成した印刷用画像データを画像形成部30に出力する。また、制御部50は、画像形成部30を制御して、用紙Shに画像を形成させる。また、制御部50は、定着部36を制御して、画像を用紙Shに定着させる。 The control unit 50 controls the paper transport unit 24 to drive the transport rollers and transport the paper Sh on the transport path 21. The control unit 50 also outputs the image data for printing created by the input image processing unit 504 to the image forming unit 30. The control unit 50 also controls the image forming unit 30 to form an image on the paper Sh. Further, the control unit 50 controls the fixing unit 36 to fix the image on the paper Sh.

また、制御部50は、操作表示部13から操作信号を受信し、該操作信号に応じた制御を行う。さらに、制御部50は、操作表示部13に表示信号を出力し、操作表示部13が、各種操作指示や設定情報を入力するための各種の設定項目や各種処理結果等を表示する操作画面を表示部に表示する。 The control unit 50 also receives an operation signal from the operation display unit 13 and performs control according to the operation signal. Further, the control unit 50 outputs a display signal to the operation display unit 13, and the operation display unit 13 displays an operation screen for displaying various setting items for inputting various operation instructions and setting information, various processing results, and the like. Display on the display.

記憶部52には、CPU501がプログラムを実行する際に使用するパラメータや、プログラムを実行して得られたデータなどが保存される。記憶部52には、CPU501が実行するプログラムが記憶されてもよい。また、記憶部52には、制御部50によって参照される辞書データベース53が構成される。辞書データベース53には、ユーザーが発声する語句に関連する機能種別、操作画面名、設定項目等が格納される。辞書データベース53の詳細な構成は、後述する図3にて説明する。 The storage unit 52 stores parameters used when the CPU 501 executes the program, data obtained by executing the program, and the like. The storage unit 52 may store a program executed by the CPU 501. Further, the storage unit 52 is configured with a dictionary database 53 referred to by the control unit 50. The dictionary database 53 stores function types, operation screen names, setting items, etc. related to the words uttered by the user. The detailed structure of the dictionary database 53 will be described later with reference to FIG.

制御部50が備える操作指示判定部505は、音声入力部14に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する。ここで、音声から認識したテキストデータを生成する処理は、音声入力部14が行ってもよいし、操作指示判定部505が行ってもよい。 The operation instruction determination unit 505 included in the control unit 50 determines the operation instruction performed by voice, based on the phrase extracted from the text data recognized from the voice input to the voice input unit 14. Here, the process of generating the text data recognized from the voice may be performed by the voice input unit 14 or the operation instruction determination unit 505.

そして、操作指示判定部505は、辞書データベース53を参照して、テキストデータより抽出した語句に対応する機能種別を取得する。このため、ユーザーが発声した語句が曖昧だったり、不十分であったりしても、操作指示判定部505は、この語句から関連する機能種別を取得し、操作指示が妥当であるか判定することができる。ただし、この語句から関連する機能種別が複数ある場合には、操作指示が妥当でないとして、複数の操作指示が判定されることもある。 Then, the operation instruction determination unit 505 refers to the dictionary database 53 and acquires the function type corresponding to the phrase extracted from the text data. Therefore, even if the word uttered by the user is ambiguous or insufficient, the operation instruction determination unit 505 acquires the related function type from this word and determines whether the operation instruction is appropriate. You can However, if there are a plurality of related function types from this phrase, a plurality of operation instructions may be determined to be invalid because the operation instructions are not valid.

ここで、操作指示判定部505は、操作指示が妥当でない場合に、操作指示に対応する操作画面、及び操作指示に関連する他の機能種別に対応する操作画面を操作表示部13に表示させる。そして、操作指示判定部505は、ユーザーが選択した操作画面に基づいて操作指示が妥当であるか判定することができる。また、操作指示判定部505は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部13の表示領域とほぼ同じ大きさ、かつ所定の順序で表示させる。また、操作指示判定部505は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部13の表示領域よりも縮小して並べて表示させることもできる。 Here, when the operation instruction is not valid, the operation instruction determination unit 505 causes the operation display unit 13 to display an operation screen corresponding to the operation instruction and an operation screen corresponding to another function type related to the operation instruction. Then, the operation instruction determination unit 505 can determine whether the operation instruction is appropriate based on the operation screen selected by the user. In addition, the operation instruction determination unit 505 displays the operation screen corresponding to the operation instruction and the operation screen corresponding to the other function type in the same size as the display area of the operation display unit 13 and in a predetermined order. The operation instruction determination unit 505 can also display the operation screens corresponding to the operation instructions and the operation screens corresponding to other function types in a smaller size than the display area of the operation display unit 13 side by side.

このように操作指示が妥当でない場合、操作指示判定部505によって複数の操作画面が操作表示部13に表示され、ユーザーによって一つの操作画面が選択される。そして、機能設定部506は、ユーザーにより選択された操作画面からの操作入力に従って、機能の設定を行うことができる。 When the operation instruction is not valid as described above, the operation instruction determination unit 505 displays a plurality of operation screens on the operation display unit 13, and the user selects one operation screen. Then, the function setting unit 506 can set the function according to the operation input from the operation screen selected by the user.

機能設定部506は、操作指示判定部505により判定された操作指示が妥当である場合に、操作指示に基づいて選択した機能の設定を行う。このため、機能設定部506は、操作指示判定部505により妥当と判定された操作指示に含まれる語句に対する、機能種別及び操作画面とを辞書データベース53から取得する。ここで、機能設定部506は、音声入力部14に入力された音声から認識されるテキストデータより抽出された語句が項目を満たす場合に、機能の設定を行うことができる。そして、機能設定部506は、操作表示部13を通じて選択された操作画面に対応する機能の実行を実行制御部507に行わせる。 When the operation instruction determined by the operation instruction determination unit 505 is valid, the function setting unit 506 sets the function selected based on the operation instruction. Therefore, the function setting unit 506 acquires, from the dictionary database 53, the function type and the operation screen for the word or phrase included in the operation instruction determined to be valid by the operation instruction determination unit 505. Here, the function setting unit 506 can set the function when the word/phrase extracted from the text data recognized from the voice input to the voice input unit 14 satisfies the item. Then, the function setting unit 506 causes the execution control unit 507 to execute the function corresponding to the operation screen selected through the operation display unit 13.

また、機能設定部506は、機能の設定に不足する項目を強調した操作画面を操作表示部13に表示させ、操作表示部13を通じて選択された項目への操作入力が項目を満たす場合に、機能の設定を行うこともできる。 Further, the function setting unit 506 causes the operation display unit 13 to display an operation screen in which items lacking in function setting are displayed, and when the operation input to the item selected through the operation display unit 13 satisfies the item, Can also be set.

実行制御部507は、機能設定部506により設定された機能を実行する制御を行う。実行制御部507により実行される画像形成装置1の機能は、例えば、ジョブとして扱われる。 The execution control unit 507 controls to execute the function set by the function setting unit 506. The function of the image forming apparatus 1 executed by the execution control unit 507 is treated as a job, for example.

図3は、辞書データベース53の構成例を示す説明図である。
辞書データベース53は、語句、機能種別、操作画面名(操作画面)及び設定項目の各フィールドを有するテーブルで構成される。このテーブルは、ユーザーが発生した称呼から抽出される語句に対応する、機能種別、操作画面名及び設定項目とを関連付けている。
FIG. 3 is an explanatory diagram showing a configuration example of the dictionary database 53.
The dictionary database 53 is composed of a table having fields for words, function types, operation screen names (operation screens), and setting items. This table associates the function type, the operation screen name, and the setting item corresponding to the word/phrase extracted from the name call generated by the user.

例えば、ユーザーの称呼から抽出された「コピー」という語句は、「COPY」の機能種別に対応する。また、ユーザーの称呼から抽出された「複写」という語句も、「COPY」の機能種別に対応する。他にも、機能種別が「COPY」を連想させるような様々な称呼から抽出される語句(例えば、「複写」)が、機能種別に対応付けて辞書データベース53に保存される。そして、「COPY」機能を実行するためには、設定項目として、印刷枚数、原稿サイズ、片面両面設定が必要とされることが示される。そして、ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「COPY」機能を実行するためのCOPY設定画面が表示される。 For example, the phrase “copy” extracted from the name of the user corresponds to the function type of “COPY”. Further, the phrase “copy” extracted from the user's name also corresponds to the function type of “COPY”. In addition, words (for example, “copy”) extracted from various names having a function type of “COPY” are stored in the dictionary database 53 in association with the function type. Then, in order to execute the “COPY” function, it is shown that the number of prints, the document size, and the single-sided/double-sided setting are required as setting items. If the voice operation instruction from the user is not valid, the operation display unit 13 displays a COPY setting screen for executing the "COPY" function.

同様に、ユーザーの称呼から抽出された「ファックス」という語句は、「FAX」の機能種別に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「FAX」機能を実行するためのFAX設定画面が表示される。 Similarly, the word “fax” extracted from the user's name corresponds to the function type “FAX”. If the voice operation instruction from the user is invalid, the operation display unit 13 displays a FAX setting screen for executing the “FAX” function.

また、ユーザーが、「スキャン」と称呼すると、機能種別が「SCAN」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「SCAN」機能を実行するためのSCAN設定画面が表示される。なお、称呼が「送付」の場合、機能種別が「FAX」、「SCAN」のいずれもが対応する。 When the user calls "scan", the function type corresponds to the "SCAN" function. If the voice operation instruction from the user is invalid, the operation display unit 13 displays a SCAN setting screen for executing the “SCAN” function. When the designation is “send”, both the function types “FAX” and “SCAN” correspond.

また、ユーザーが称呼した「つなぐ」、「つなげたい」という語句は、「ネットワーク接続」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「ネットワーク接続」のためのネットワーク設定画面が表示される。 In addition, the words “connect” and “connect” that the user calls correspond to the “network connection” function. If the voice operation instruction from the user is not valid, the operation display unit 13 displays a network setting screen for “network connection”.

次に、画像形成装置1の動作例について、図4〜図7を参照して説明する。
図4は、ユーザー60が画像形成装置1に対して音声でコピー処理の実行を指示する時における画像形成装置1の動作例を示す説明図である。
Next, an operation example of the image forming apparatus 1 will be described with reference to FIGS.
FIG. 4 is an explanatory diagram showing an operation example of the image forming apparatus 1 when the user 60 instructs the image forming apparatus 1 to execute a copy process by voice.

(1)始めに、ユーザー60が、「コピー、4枚、A4サイズ、片面」と発声する。ここで、操作表示部13には、初期画面として、「COPY」、「FAX」、「SCAN」の各機能の設定画面に遷移することをユーザーが指示可能なアイコンが表示されている。 (1) First, the user 60 utters "copy, 4 sheets, A4 size, single sided". Here, on the operation display unit 13, an icon that allows the user to instruct to transition to a setting screen for each function of “COPY”, “FAX”, and “SCAN” is displayed as an initial screen.

(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が「コピー、4枚、A4サイズ、片面」であると判定する。そして、操作指示判定部505は、ユーザー60の操作指示の妥当性を判断する。ここで、操作指示判定部505は、「コピー」が「COPY機能」の実行を表し、「4枚」が「印刷枚数」を「4枚」とすることを表し、「A4サイズ」が「原稿サイズ」を「A4」とすることを表し、「片面」が「印刷設定片面」を「片面」とすることを表すと判定する。この場合、コピー時に設定が必要である、「COPY機能」、「印刷枚数」、「原稿サイズ」、「印刷設定片面」の全ての設定が指示されたため、操作指示判定部505は、ユーザー60の操作指示が妥当と判定する。 (2) The operation instruction determination unit 505 determines from the text data input from the voice input unit 14 that the operation instruction is “copy, 4 sheets, A4 size, single-sided”. Then, the operation instruction determination unit 505 determines the validity of the operation instruction of the user 60. Here, the operation instruction determination unit 505 indicates that “copy” indicates execution of the “COPY function”, “4 sheets” indicates that “print number” is “4 sheets”, and “A4 size” indicates “original document”. It is determined that “size” is set to “A4”, and “single-sided” indicates that “print setting single-sided” is set to “single-sided”. In this case, since all the settings of “COPY function”, “number of prints”, “original size”, and “print setting single-sided” that need to be set at the time of copying are instructed, the operation instruction determination unit 505 causes the user 60 Determine that the operation instruction is valid.

(3)操作指示が妥当と判定すると、機能設定部506は、指示されたCOPY機能に所定の設定を行い、実行制御部507は、直ちにCOPY機能を実行する。このとき、画像形成装置1は、操作表示部13に表示された操作画面の切替えを行わない。つまり、操作表示部13には、初期画面が表示されたままである。なお、図4では、コピー処理の音声による操作指示について説明したが、FAX機能、SCAN機能についても同様に音声による操作指示が可能である。 (3) If it is determined that the operation instruction is valid, the function setting unit 506 makes a predetermined setting for the instructed COPY function, and the execution control unit 507 immediately executes the COPY function. At this time, the image forming apparatus 1 does not switch the operation screen displayed on the operation display unit 13. That is, the operation display unit 13 still displays the initial screen. In FIG. 4, the voice operation instruction of the copy processing is described, but the voice operation instruction can be similarly applied to the FAX function and the SCAN function.

ここで、ユーザー60が、「コピー」と称呼せず、「複写」と称呼した場合であっても、操作指示判定部505が「COPY機能」の実行が指示されたと判定できる。そして、「COPY機能」の実行に必要な項目の全てが設定されれば、実行制御部507は、直ちにCOPY機能を実行することが可能である。 Here, even when the user 60 does not call “copy” but calls “copy”, the operation instruction determination unit 505 can determine that the execution of the “COPY function” is instructed. Then, if all the items necessary for executing the “COPY function” are set, the execution control unit 507 can immediately execute the COPY function.

なお、例えば、「COPY機能」の実行に必要な項目のうち、いずれかの設定が行われていなければ、操作指示判定部505は、ユーザー60に対して、追加の設定を促す。例えば、ユーザー60が「印刷枚数」の操作指示を行っていなかった場合、操作表示部13に「印刷枚数」の設定を促す表示又は放音により、ユーザー60に「印刷枚数」の設定が不足していることを気づかせる。このため、ユーザー60は、「印刷枚数」の設定を行うことで、ユーザー60が意図した機能の実行を画像形成装置1に行わせることができる。 Note that, for example, if any of the items necessary to execute the “COPY function” has not been set, the operation instruction determination unit 505 prompts the user 60 to make additional settings. For example, when the user 60 has not given an instruction to operate the “number of prints”, a display or sound is output on the operation display unit 13 prompting the user to set the “number of prints”, and the user 60 does not have enough “printed number” setting. Notice that you are Therefore, the user 60 can cause the image forming apparatus 1 to execute the function intended by the user 60 by setting the “number of prints”.

図5は、ユーザー60が画像形成装置1に対して音声でネットワーク設定の要求を行う時における画像形成装置1の動作例を示す説明図である。 FIG. 5 is an explanatory diagram showing an operation example of the image forming apparatus 1 when the user 60 makes a voice request for network setting to the image forming apparatus 1.

(1)始めに、ユーザー60が、「MFPとパソコンをつなげたい。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が「MFP」、「パソコン」、「つなげたい」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、「つなげたい」という語句に対応する機能が「ネットワーク接続」であると判断する。ここで、操作指示判定部505は、「ネットワーク接続」に必要なPC70等の情報が不足しているため、操作指示が妥当でないと判定する。このため、操作指示判定部505は、画像形成装置1と、PC70とをネットワーク接続するために用いられるネットワーク設定の操作画面を操作表示部13に表示させる。
(1) First, the user 60 utters "I want to connect the MFP to the personal computer."
(2) The operation instruction determination unit 505 determines from the text data input from the voice input unit 14 that the operation instruction includes the words “MFP”, “PC”, and “I want to connect”. Then, the operation instruction determination unit 505 refers to the dictionary database 53 and determines that the function corresponding to the phrase “I want to connect” is “network connection”. Here, the operation instruction determination unit 505 determines that the operation instruction is not valid because the information of the PC 70 and the like necessary for the “network connection” is insufficient. Therefore, the operation instruction determination unit 505 causes the operation display unit 13 to display a network setting operation screen used for connecting the image forming apparatus 1 and the PC 70 to the network.

(3)ユーザー60は、操作表示部13に表示されたネットワーク設定の操作画面を見て「OKです。」と発声する。操作指示判定部505は、「OK」という語句を判定すると、操作表示部13にネットワーク設定の操作画面の表示を続けさせる。その後、ユーザー60は、ネットワーク設定の操作画面を通じて必要な操作入力を行う。操作入力された項目は、機能設定部506により設定されることで、実行制御部507が、画像形成装置1と、PC70とをネットワーク接続することが可能となる。 (3) The user 60 looks at the operation screen of the network setting displayed on the operation display unit 13 and utters “OK.”. When the operation instruction determination unit 505 determines the word “OK”, the operation display determination unit 505 causes the operation display unit 13 to continue displaying the operation screen for network setting. After that, the user 60 inputs necessary operation through the operation screen for network setting. The operation input items are set by the function setting unit 506, so that the execution control unit 507 can connect the image forming apparatus 1 and the PC 70 to the network.

図6は、操作指示された機能を実行するための候補画面の表示例を示す説明図である。 FIG. 6 is an explanatory diagram showing a display example of a candidate screen for executing the function instructed by the operation.

(1)始めに、ユーザー60が、「この紙を送付したい。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が、「紙」、「送付」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、「送付」という称呼に対応する機能が「FAX」又は「SCAN to Email」に該当すると判断する。ここで、「SCAN to Email」とは、画像入力部11が読取った原稿の画像データを、予め指定された電子メールアドレスを宛先として転送する機能である。
操作指示判定部505は、操作表示部13に対して、FAX設定画面、SCAN to Email設定画面を順に表示させる制御を行う。
(1) First, the user 60 utters "I want to send this paper."
(2) The operation instruction determination unit 505 determines from the text data input from the voice input unit 14 that the operation instruction includes the words “paper” and “delivery”. Then, the operation instruction determination unit 505 refers to the dictionary database 53 and determines that the function corresponding to the name “send” corresponds to “FAX” or “SCAN to Email”. Here, “SCAN to Email” is a function of transferring the image data of the document read by the image input unit 11 to an e-mail address designated in advance as a destination.
The operation instruction determination unit 505 controls the operation display unit 13 to sequentially display a FAX setting screen and a SCAN to Email setting screen.

(3)操作表示部13にFAX設定画面が表示されたとする。この時、ユーザー60が意図した操作画面でなければ、ユーザー60が「違う。」と発声する。「違う。」という発声は、操作指示判定部505により、「NO」等の否定的な回答として判定される。そして、操作指示判定部505は、ユーザー60の操作指示が、操作画面の切替えを指示するものと判定する。そして、操作指示判定部505は、SCAN to Email設定画面を操作表示部13に表示させる制御を行う。 (3) It is assumed that the FAX setting screen is displayed on the operation display unit 13. At this time, if the operation screen is not intended by the user 60, the user 60 utters "No." The utterance “No” is determined by the operation instruction determination unit 505 as a negative answer such as “NO”. Then, the operation instruction determination unit 505 determines that the operation instruction of the user 60 gives an instruction to switch the operation screen. Then, the operation instruction determination unit 505 controls to display the SCAN to Email setting screen on the operation display unit 13.

(4)次に、ユーザー60は、操作表示部13に表示されたSCAN to Email設定画面を見て、「これです。」と発声する。「これです。」という発声は、操作指示判定部505により、「YES」等の肯定的な回答として判定される。その後、ユーザー60は、SCAN to Email設定画面を通じて、入力された電子メールアドレス等を機能設定部506が設定する。これにより、紙に印刷された文字や絵等を画像形成装置1がスキャンして得た画像ファイルを、登録された電子メールアドレスで指定される宛先に送信することが可能となる。 (4) Next, the user 60 looks at the SCAN to Email setting screen displayed on the operation display unit 13 and utters "This is it." The utterance "This is it." is determined by the operation instruction determination unit 505 as a positive answer such as "YES". After that, the user 60 sets the input e-mail address and the like by the function setting unit 506 through the SCAN to Email setting screen. As a result, it is possible to send the image file obtained by the image forming apparatus 1 scanning the characters and pictures printed on paper to the destination specified by the registered e-mail address.

図7は、操作指示された機能を実行するために不足する項目がハイライト表示された画面の表示例を示す説明図である。 FIG. 7 is an explanatory diagram showing a display example of a screen in which items lacking in order to execute the function instructed to operate are highlighted.

(1)始めに、ユーザー60が、「XXX(宛先)にスキャンで送って。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力したテキストデータから、操作指示が、宛先を示す「XXX」、「スキャン」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、操作表示部13にSCAN設定画面を表示させる。
(1) First, the user 60 utters "Send by scanning to XXX (destination)."
(2) The operation instruction determination unit 505 determines from the text data input from the voice input unit 14 that the operation instruction includes the words “XXX” and “scan” indicating the destination. Then, the operation instruction determination unit 505 refers to the dictionary database 53 and causes the operation display unit 13 to display the SCAN setting screen.

SCAN設定画面では、宛先の項目以外に、解像度、形式の項目についても設定が必要とされる。このため、機能設定部506は、解像度、形式の項目を、例えば他の項目とは表示色を異ならせてハイライト表示したり、点滅表示させたりして、操作表示部13に強調表示させる。このため、ユーザー60は、どの項目の設定が不足しているかを確認し、不足した項目について改めて発声し、又は操作入力することができる。 On the SCAN setting screen, it is necessary to set not only the destination item but also the resolution and format items. For this reason, the function setting unit 506 highlights the items of resolution and format by, for example, highlighting them in a different display color from other items or by blinking them, and highlighting them on the operation display unit 13. For this reason, the user 60 can confirm which item is insufficiently set, and can utter a new voice or input an operation for the insufficient item.

図8は、画像形成装置1によって行われる音声認識処理の例を示すフローチャートである。
音声入力部14を通じてユーザーが音声入力を行うと、操作指示判定部505がテキストデータから抽出した称呼(語句)に基づいて以下の処理を開始する。
FIG. 8 is a flowchart showing an example of voice recognition processing performed by the image forming apparatus 1.
When the user inputs a voice through the voice input unit 14, the operation instruction determination unit 505 starts the following process based on the name (phrase) extracted from the text data.

始めに、操作指示判定部505は、辞書データベース53を参照し、音声認識した称呼(語句)と、辞書データベース53に保存されている称呼(語句)とを比較する(S1)。そして、操作指示判定部505は、比較結果に基づいて、操作表示部13に表示させる操作画面、実行制御部507に実行させる機能が明確、すなわち操作指示が妥当であるか否かを判断する(S2)。 First, the operation instruction determination unit 505 refers to the dictionary database 53 and compares the speech-recognized name (word) with the name (word) stored in the dictionary database 53 (S1). Then, the operation instruction determination unit 505 determines whether the operation screen displayed on the operation display unit 13 and the function to be executed by the execution control unit 507 are clear, that is, whether the operation instruction is valid, based on the comparison result ( S2).

操作画面及び機能が明確であれば(S2のYES)、ステップS5の処理に進む。一方、操作画面又は機能が明確でなければ(S2のNO)、操作指示判定部505は、辞書データベース53から読み出した各機能に対応する候補画面を操作表示部13に表示させる(S3)。このとき、候補画面は操作表示部13に所定の順序で表示され、又は縮小された候補画面が操作表示部13に並べて表示される。 If the operation screen and function are clear (YES in S2), the process proceeds to step S5. On the other hand, if the operation screen or function is not clear (NO in S2), the operation instruction determination unit 505 causes the operation display unit 13 to display a candidate screen corresponding to each function read from the dictionary database 53 (S3). At this time, the candidate screens are displayed on the operation display unit 13 in a predetermined order, or the reduced candidate screens are displayed side by side on the operation display unit 13.

次に、ユーザーは、実行を要求した機能の操作画面であるか否かを判断する(S4)。例えば、ユーザーが操作画面内に表示された次画面表示ボタンを押すと、操作指示判定部505は、ユーザーが要求した機能の操作画面ではなかったと判断できる。逆に、ユーザーが、例えば、操作画面内に表示された画面アイコンを押した場合に、操作指示判定部505は、ユーザーが要求した機能の操作画面であると判断できる。このため、ユーザーが要求した機能の操作画面でなければ(S4のNO)、ステップS2に戻って処理を繰り返す。 Next, the user determines whether or not it is the operation screen of the function requested to be executed (S4). For example, when the user presses the next screen display button displayed in the operation screen, the operation instruction determination unit 505 can determine that it is not the operation screen of the function requested by the user. Conversely, when the user presses the screen icon displayed in the operation screen, for example, the operation instruction determination unit 505 can determine that the operation screen is the operation screen of the function requested by the user. Therefore, if it is not the operation screen of the function requested by the user (NO in S4), the process returns to step S2 to repeat the process.

一方、ユーザーが要求した機能の操作画面であれば(S4のYES)、機能設定部506は、操作表示部13に表示された操作画面において入力項目が足りているか否かを判断する(S5)。入力項目が足りていれば(S5のYES)、入力項目に従ってジョブが設定され、実行制御部507によりジョブの実行が制御される。 On the other hand, if it is the operation screen of the function requested by the user (YES in S4), the function setting unit 506 determines whether or not the input items are sufficient in the operation screen displayed on the operation display unit 13 (S5). .. If the input items are sufficient (YES in S5), the job is set according to the input items, and the execution control unit 507 controls the execution of the job.

一方、入力項目が足りていなければ(S5のNO)、機能設定部506は、操作表示部13に不足項目をハイライト表示させる(S6)。その後、不足項目に値が入力されると、機能設定部506は、ステップS5に戻って、再び入力項目が足りているか否かを判断する処理を行う。ステップS5〜S7の処理は、入力項目が足りるまでの間、繰り返される。 On the other hand, if there are not enough input items (NO in S5), the function setting unit 506 highlights the insufficient items on the operation display unit 13 (S6). After that, when a value is input to the insufficient item, the function setting unit 506 returns to step S5 and performs the process of determining again whether or not the input item is sufficient. The processes of steps S5 to S7 are repeated until the input items are sufficient.

以上説明した一実施の形態に係る画像形成装置1では、音声入力部14に入力された音声から認識された語句が不明確であっても、操作指示が妥当であって、この機能に必要な項目が設定されると、操作表示部13に表示される操作画面の切替え等が行われずに機能の実行が開始される。ユーザーが画像形成装置1に行わせたい機能種別が不明であっても、ユーザーは、その機能種別の一部や、その機能種別から連想する語句を話すだけでよい。
また、ユーザーが音声入力してから、ジョブの実行が開始されるまでの操作画面の切替えに要する時間が短縮され、ユーザーの待ち時間を短縮することができる。また、操作画面の切替えに要する消費電力を削減することができる。
In the image forming apparatus 1 according to the embodiment described above, even if the word/phrase recognized from the voice input to the voice input unit 14 is unclear, the operation instruction is appropriate and necessary for this function. When the item is set, the execution of the function is started without switching the operation screen displayed on the operation display unit 13. Even if the user does not know the function type that the image forming apparatus 1 wants to perform, the user need only speak a part of the function type or a word or phrase associated with the function type.
Further, the time required for switching the operation screen from the voice input by the user to the start of the job is shortened, and the waiting time of the user can be shortened. Further, it is possible to reduce the power consumption required for switching the operation screen.

また、操作指示が妥当でなければ、操作指示に対応する操作画面だけでなく、この操作指示に関連する他の機能種別に対応する操作画面も操作表示部13に表示される。このため、ユーザーは、操作表示部13に表示された複数の操作画面から、実行させたい機能を表す操作画面を選択し、画像形成装置1に機能の実行を指示することが可能となる。そして、ユーザーの画像形成装置1の利用経験が少なくても、ユーザーが、操作画面、及び画像形成装置1の機能を探す時間を最小限に抑えることができる。 If the operation instruction is not valid, not only the operation screen corresponding to the operation instruction but also the operation screens corresponding to other function types related to the operation instruction are displayed on the operation display unit 13. Therefore, the user can select the operation screen representing the function to be executed from the plurality of operation screens displayed on the operation display unit 13 and instruct the image forming apparatus 1 to execute the function. Even if the user has little experience in using the image forming apparatus 1, it is possible to minimize the time for the user to search for the operation screen and the function of the image forming apparatus 1.

ここで、複数の操作画面が候補として選択された場合、操作表示部13に1つずつ操作画面を切替え表示させたり、複数の操作画面を縮小して並べて表示させたりする。これにより、ユーザーは、実行させたい機能を表す操作画面を容易に選択することができる。 Here, when a plurality of operation screens are selected as candidates, one operation screen is switched and displayed on the operation display unit 13, or a plurality of operation screens are reduced and displayed side by side. As a result, the user can easily select the operation screen representing the function to be executed.

また、ジョブの実行に際して設定が不足する項目がある場合、ユーザーにより選択された操作画面には、設定が不足する項目がハイライト表示される。このため、ユーザーは、設定が不足する項目を認識しやすくなり、この項目に改めて設定を行える。これにより、画像形成装置1は、確実にジョブを実行することが可能となる。 Further, when there is an item whose setting is insufficient when the job is executed, the item whose setting is insufficient is highlighted on the operation screen selected by the user. For this reason, the user can easily recognize the item for which the setting is insufficient, and can set the item again. As a result, the image forming apparatus 1 can reliably execute the job.

なお、画像形成装置1は、操作指示が妥当であっても、実行制御部507が実行開始する機能を音声ガイダンス等でユーザーに通知したり、操作表示部13に表示したりしてもよい。 Note that the image forming apparatus 1 may notify the user of the function to be started by the execution control unit 507 by voice guidance or display the operation display unit 13 even if the operation instruction is valid.

また、機能設定部506が行う機能の設定は自動化してもよい。例えば、COPY機能の実行が指示された場合には、印刷枚数を「1枚」、用紙サイズを「A4」、印刷設定片面を「片面」とする初期値が設定されてもよい。これにより、ユーザーが、自動原稿給送装置12に原稿を置いて、「コピー」と発声するだけで、初期値が設定されたCOPY機能を実行することも可能となる。 The function setting performed by the function setting unit 506 may be automated. For example, when execution of the COPY function is instructed, initial values may be set such that the number of prints is "1", the paper size is "A4", and the print setting one side is "one side". As a result, the user can place the document on the automatic document feeder 12 and say "copy" to execute the COPY function with the initial value set.

本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために画像形成装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
The present invention is not limited to the above-described embodiments, and it goes without saying that various other application examples and modifications can be made without departing from the gist of the present invention described in the claims.
For example, the above-described embodiment is a detailed and specific description of the configuration of the image forming apparatus in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the configurations described. In addition, it is possible to add, delete, or replace a part of the configuration of this embodiment with another configuration.
In addition, the control lines and information lines shown are those that are considered necessary for explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

1…画像形成装置、10…プリンター部、13…操作表示部、14…音声入力部、30…画像形成部、50…制御部、53…辞書データベース、504…入力画像処理部、505…操作指示判定部、506…機能設定部、507…実行制御部 1... Image forming apparatus, 10... Printer section, 13... Operation display section, 14... Voice input section, 30... Image forming section, 50... Control section, 53... Dictionary database, 504... Input image processing section, 505... Operation instruction Judgment unit, 506... Function setting unit, 507... Execution control unit

Claims (7)

音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、前記音声により行われた操作指示を判定する操作指示判定部と、
前記操作指示判定部により判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う機能設定部と、
前記機能設定部により設定された前記機能を実行する制御を行う実行制御部と、を備える
画像形成装置。
An operation instruction determination unit that determines an operation instruction performed by the voice based on a phrase extracted from text data recognized from the voice input to the voice input unit,
When the operation instruction determined by the operation instruction determination unit is appropriate, a function setting unit that sets the function selected based on the operation instruction,
An image forming apparatus, comprising: an execution control unit that controls to execute the function set by the function setting unit.
さらに、前記操作指示が行われた前記機能の機能種別に対応する操作画面を表示し、前記操作画面に対する操作入力が行われる操作表示部を備え、
前記操作指示判定部は、前記操作指示が妥当でない場合に、前記操作指示に対応する前記操作画面、及び前記操作指示に関連する他の機能種別に対応する操作画面を前記操作表示部に表示させ、選択された前記操作画面からの前記操作入力に従って、前記機能の設定を行う
請求項1に記載の画像形成装置。
Furthermore, an operation display unit for displaying an operation screen corresponding to the function type of the function for which the operation instruction is given and for performing an operation input on the operation screen is provided,
When the operation instruction is not valid, the operation instruction determining unit causes the operation display unit to display the operation screen corresponding to the operation instruction and the operation screen corresponding to another function type related to the operation instruction. The image forming apparatus according to claim 1, wherein the function is set according to the operation input from the selected operation screen.
前記操作指示判定部は、前記操作指示に対応する前記操作画面、及び前記他の機能種別に対応する前記操作画面を、前記操作表示部の表示領域とほぼ同じ大きさ、かつ所定の順序で表示させる
請求項2に記載の画像形成装置。
The operation instruction determination unit displays the operation screen corresponding to the operation instruction and the operation screen corresponding to the other function type in substantially the same size as the display area of the operation display unit and in a predetermined order. The image forming apparatus according to claim 2.
前記操作指示判定部は、前記操作指示に対応する前記操作画面、及び前記他の機能種別に対応する前記操作画面を、前記操作表示部の表示領域よりも縮小して並べて表示させる
請求項2に記載の画像形成装置。
The operation instruction determination unit causes the operation screen corresponding to the operation instruction and the operation screen corresponding to the other function type to be displayed side by side with a size smaller than the display area of the operation display unit. The image forming apparatus described.
前記機能設定部は、前記機能の設定に不足する項目を強調した前記操作画面を前記操作表示部に表示させ、前記操作表示部を通じて選択された前記項目への前記操作入力が前記項目を満たす場合に、前記機能の設定を行う
請求項2〜4のいずれか一項に記載の画像形成装置。
When the function setting unit causes the operation display unit to display the operation screen emphasizing an item insufficient for setting the function, and the operation input to the item selected through the operation display unit satisfies the item. The image forming apparatus according to claim 2, wherein the function is set.
さらに、前記語句と、前記機能種別、前記操作画面及び設定項目とが関連付けられた辞書データベースを備え、
前記機能設定部は、前記操作指示に含まれる前記語句に対する、前記機能種別及び前記操作画面とを前記辞書データベースから取得する
請求項2〜5のいずれか一項に記載の画像形成装置。
Further, a dictionary database in which the word/phrase is associated with the function type, the operation screen, and the setting item,
The image forming apparatus according to claim 2, wherein the function setting unit acquires the function type and the operation screen for the word/phrase included in the operation instruction from the dictionary database.
音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、前記音声により行われた操作指示を判定する手順と、
判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う手順と、
設定された前記機能の実行を制御する手順と、を
コンピューターに実行させるためのプログラム。
A procedure of determining an operation instruction given by the voice, based on a phrase extracted from text data recognized from the voice input to the voice input unit;
If the determined operation instruction is appropriate, a procedure for setting the function selected based on the operation instruction,
A program for causing a computer to execute the procedure for controlling the execution of the set function.
JP2018224507A 2018-11-30 2018-11-30 Image forming apparatus and program Active JP7115259B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018224507A JP7115259B2 (en) 2018-11-30 2018-11-30 Image forming apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018224507A JP7115259B2 (en) 2018-11-30 2018-11-30 Image forming apparatus and program

Publications (2)

Publication Number Publication Date
JP2020082642A true JP2020082642A (en) 2020-06-04
JP7115259B2 JP7115259B2 (en) 2022-08-09

Family

ID=70905689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018224507A Active JP7115259B2 (en) 2018-11-30 2018-11-30 Image forming apparatus and program

Country Status (1)

Country Link
JP (1) JP7115259B2 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005073140A (en) * 2003-08-27 2005-03-17 Ricoh Co Ltd Image forming apparatus, program and recording medium
JP2006205497A (en) * 2005-01-27 2006-08-10 Canon Inc Complex machine having voice recognition means
JP2007079852A (en) * 2005-09-13 2007-03-29 Canon Inc Data processor, data processing method and computer program
JP2007102012A (en) * 2005-10-06 2007-04-19 Canon Inc Image forming apparatus
JP2008180833A (en) * 2007-01-24 2008-08-07 Kyocera Mita Corp Operation display device, operation display program and electronic equipment
JP2009163528A (en) * 2008-01-08 2009-07-23 Toshiba Tec Corp Commodity sales data processing apparatus, program thereof, and commodity data input apparatus and program thereof
JP2009188465A (en) * 2008-02-01 2009-08-20 Seiko Epson Corp Multifunction machine
JP2010049432A (en) * 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc Display screen control device and method thereof, and information processor
JP2011170574A (en) * 2010-02-18 2011-09-01 Sharp Corp Operation device, electronic apparatus and image processing apparatus having the operation device, and operation method
JP2011193139A (en) * 2010-03-12 2011-09-29 Sharp Corp Image forming apparatus
JP2011197926A (en) * 2010-03-18 2011-10-06 Kyocera Mita Corp Image forming apparatus
JP2017175547A (en) * 2016-03-25 2017-09-28 京セラドキュメントソリューションズ株式会社 Image forming device and image forming method
JP2018130860A (en) * 2017-02-14 2018-08-23 株式会社寺岡精工 Label issuance device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005073140A (en) * 2003-08-27 2005-03-17 Ricoh Co Ltd Image forming apparatus, program and recording medium
JP2006205497A (en) * 2005-01-27 2006-08-10 Canon Inc Complex machine having voice recognition means
JP2007079852A (en) * 2005-09-13 2007-03-29 Canon Inc Data processor, data processing method and computer program
JP2007102012A (en) * 2005-10-06 2007-04-19 Canon Inc Image forming apparatus
JP2008180833A (en) * 2007-01-24 2008-08-07 Kyocera Mita Corp Operation display device, operation display program and electronic equipment
JP2009163528A (en) * 2008-01-08 2009-07-23 Toshiba Tec Corp Commodity sales data processing apparatus, program thereof, and commodity data input apparatus and program thereof
JP2009188465A (en) * 2008-02-01 2009-08-20 Seiko Epson Corp Multifunction machine
JP2010049432A (en) * 2008-08-20 2010-03-04 Konica Minolta Business Technologies Inc Display screen control device and method thereof, and information processor
JP2011170574A (en) * 2010-02-18 2011-09-01 Sharp Corp Operation device, electronic apparatus and image processing apparatus having the operation device, and operation method
JP2011193139A (en) * 2010-03-12 2011-09-29 Sharp Corp Image forming apparatus
JP2011197926A (en) * 2010-03-18 2011-10-06 Kyocera Mita Corp Image forming apparatus
JP2017175547A (en) * 2016-03-25 2017-09-28 京セラドキュメントソリューションズ株式会社 Image forming device and image forming method
JP2018130860A (en) * 2017-02-14 2018-08-23 株式会社寺岡精工 Label issuance device

Also Published As

Publication number Publication date
JP7115259B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US8537378B2 (en) Image forming device, image forming method, printer driver program, and image forming system
CN111856903B (en) Image forming apparatus, image forming method, system, and non-temporary recording medium
JP2008185698A (en) Image forming apparatus
JP2013167872A (en) Image forming apparatus, control method of image forming apparatus, and program
US9168768B2 (en) Printing apparatus, control method for printing apparatus, and storage medium
JP2005208974A (en) Helping system for image processor
US9057999B2 (en) Image forming apparatus capable of printing at a plurality of speeds
JP2007189525A (en) Image processor
JP7115259B2 (en) Image forming apparatus and program
JP2009073642A (en) Paper sorting apparatus
JP4135089B2 (en) Image forming apparatus
JP5473492B2 (en) Image forming apparatus, image forming apparatus control method, and program
JP2008098762A (en) Image forming apparatus, image forming system, and program
JP5893430B2 (en) Printing apparatus, printing apparatus control method, and program
JP2019083497A (en) Image processing apparatus and operation control method thereof
JP2023021513A (en) Image forming device, information processing terminal, method and program
JP6171510B2 (en) Image forming apparatus, operation guide method, program
JP5942524B2 (en) Electronic equipment and programs
JP2013059969A (en) Data processing apparatus and data file
JP5841633B2 (en) Printing apparatus, control method thereof, and program
US20180067708A1 (en) Electronic apparatus and image forming apparatus
US10235613B2 (en) Image forming device and control method therefor for managing characteristics using a paper profile function
US20230350638A1 (en) Image forming apparatus and input device
JP2001197268A (en) Image forming device
JP2007036837A (en) Image generation apparatus and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7115259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150