JP2020082642A - Image forming device and program - Google Patents
Image forming device and program Download PDFInfo
- Publication number
- JP2020082642A JP2020082642A JP2018224507A JP2018224507A JP2020082642A JP 2020082642 A JP2020082642 A JP 2020082642A JP 2018224507 A JP2018224507 A JP 2018224507A JP 2018224507 A JP2018224507 A JP 2018224507A JP 2020082642 A JP2020082642 A JP 2020082642A
- Authority
- JP
- Japan
- Prior art keywords
- function
- operation instruction
- unit
- image forming
- forming apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 description 122
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Facsimiles In General (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
Abstract
Description
本発明は、画像形成装置及びプログラムに関する。 The present invention relates to an image forming apparatus and a program.
近年、音声認識機能を搭載した画像形成装置(MFP:Multifunction Peripheral)が用いられつつある。この画像形成装置では、ユーザーが画像形成装置に対して操作指示を口頭で伝えるだけで、ユーザーが意図する操作を画像形成装置に行わせることができる。画像形成装置は、ユーザーが発声した音声から操作指示を抽出し、操作指示に該当する機能(例えば、COPY機能、SCAN機能)を検索する。画像形成装置は、抽出した操作指示が明確であれば、この操作指示に完全一致する機能を検索することが可能である。 In recent years, an image forming apparatus (MFP: Multifunction Peripheral) equipped with a voice recognition function is being used. In this image forming apparatus, the user can cause the image forming apparatus to perform an operation intended by the user only by verbally transmitting an operation instruction to the image forming apparatus. The image forming apparatus extracts an operation instruction from the voice uttered by the user and searches for a function (eg, COPY function, SCAN function) corresponding to the operation instruction. If the extracted operation instruction is clear, the image forming apparatus can search for a function that completely matches this operation instruction.
しかし、ユーザーの発声音量が小さかったり、周囲に雑音があったりすると、画像形成装置が正確に操作指示を抽出できない。この場合、画像形成装置は、抽出できた操作指示の一部をあいまい検索し、操作指示の一部を含む文言の機能を検索する。そして、画像形成装置は、検索した機能をユーザーに応答する。この応答は、例えば、画像形成装置が備えるスピーカーから機能種別を表すメッセージが放音されたり、液晶ディスプレイ装置に機能種別が表示されることで行われる。 However, if the user's voicing volume is low or there is noise in the surroundings, the image forming apparatus cannot accurately extract the operation instruction. In this case, the image forming apparatus fuzzyly searches a part of the extracted operation instruction and searches for the function of the wording including the part of the operation instruction. Then, the image forming apparatus responds to the user with the searched function. This response is performed, for example, by emitting a message indicating the function type from a speaker included in the image forming apparatus or displaying the function type on the liquid crystal display device.
このような音声認識により画像形成装置を操作するための技術として、以下の特許文献1及び2に開示された技術が知られている。
As a technique for operating the image forming apparatus by such voice recognition, the techniques disclosed in
特許文献1には、入力された音声を認識して認識結果の候補リストを出力し、認識結果の候補間の差異を抽出して認識結果へ差異情報を付与し、認識結果へ付与した差異情報に基づき差異が明確になる応答を生成し、生成した応答を提示する技術が開示されている。
In
特許文献2には、音情報から抽出されたコマンドや家電・設備機器の状態等に基づいて家電・設備機器の動作モードを決定し、家電・設備機器の動作モードや状態を表示する操作表示部の表示内容を、動作モードの変更に応じて変化させる技術が開示されている。
In
ここで特許文献1に記載された技術で用いられる、入力された音声の認識結果の候補リストは、認識結果として妥当性があると判断された認識結果の候補が列挙されたものである。この候補リストは、特許文献1に記載された対話装置の内部で使用されるに過ぎず、ユーザーが認識できるのは応答提示によるガイダンス等である。そして、ユーザーが、不明確な操作指示を行うと、応答提示されるガイダンスが長くなるため、機能の実行開始まで時間を要していた。
Here, the candidate list of the recognition result of the input voice used in the technique described in
特許文献2に記載された操作表示部には、家電・設備機器の動作モードや状態が表示されるが、ユーザーが正しく機能種別を音声入力したことが前提となる。このため、ユーザーが正しい機能種別を思い出せなければ、家電・設備機器の動作モードを変更することができず、音声入力ができなくなる。
The operation display unit described in
ただし、ユーザーが明確な操作指示を行っても、操作指示の度に操作画面が起動したり、画面遷移したりすると、操作画面の変化に伴い余計な電力を消費してしまう。また、ユーザーが望む操作画面が表示されるまでの間、ユーザーに機能の実行開始を待たせてしまう。この場合、手軽に操作指示を行える音声認識機能を活かすことができず、従来用いられていた通常の操作パネルからの入力と違いがなくなってしまう。 However, even if the user gives a clear operation instruction, if the operation screen is activated or the screen transitions each time the operation instruction is given, extra power is consumed as the operation screen changes. Further, the user is made to wait until the execution of the function is started until the operation screen desired by the user is displayed. In this case, the voice recognition function that allows easy operation instructions cannot be utilized, and there is no difference from the conventional input from the operation panel.
本発明はこのような状況に鑑みて成されたものであり、音声入力された操作指示が曖昧であっても、適切に機能を実行することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to appropriately execute a function even when a voice-input operation instruction is ambiguous.
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像形成装置は、音声入力部に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する操作指示判定部と、操作指示判定部により判定された操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う機能設定部と、機能設定部により設定された機能を実行する制御を行う実行制御部と、を備える。
なお、上記の画像形成装置は本発明の一態様であり、本発明の一側面を反映したプログラムについても、上記の画像形成装置と同様の構成を有する。
In order to achieve at least one of the above-mentioned objects, an image forming apparatus that reflects one aspect of the present invention provides a voice based on a phrase extracted from text data recognized from voice input to a voice input unit. An operation instruction determination unit that determines the operation instruction performed by, and a function setting unit that sets the function selected based on the operation instruction when the operation instruction determined by the operation instruction determination unit is appropriate, An execution control unit that controls to execute the function set by the function setting unit.
Note that the above-described image forming apparatus is one aspect of the present invention, and a program that reflects one aspect of the present invention also has the same configuration as the above-described image forming apparatus.
本発明によれば、操作指示が妥当である場合に、操作指示に基づいて選択された機能の設定が行われ、この機能の実行が行われる。このため、音声入力された操作指示が曖昧であっても、適切な機能の実行を速やかに開始することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
According to the present invention, when the operation instruction is valid, the function selected based on the operation instruction is set and the function is executed. For this reason, even if the voice-input operation instruction is ambiguous, execution of an appropriate function can be promptly started.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。 Embodiments for carrying out the present invention will be described below with reference to the accompanying drawings. In this specification and the drawings, components having substantially the same function or configuration are designated by the same reference numerals, and a duplicate description will be omitted.
[一実施の形態]
<画像形成システムの構成>
始めに、図1を参照して、本発明の一実施の形態に係る画像形成システムの構成例について説明する。
図1は、本発明の一実施の形態に係る画像形成装置1の概要構成図である。なお、図1には、本発明の説明に必要と考える要素又はその関連要素を記載しており、本発明の画像形成システムは図1に示す例に限定されない。
[One Embodiment]
<Structure of image forming system>
First, with reference to FIG. 1, a configuration example of an image forming system according to an embodiment of the present invention will be described.
FIG. 1 is a schematic configuration diagram of an
画像形成装置1は、静電気を用いて画像の形成を行う電子写真方式によって用紙に画像を形成する画像形成装置の一例である。画像形成装置1は、例えば、イエロー(Y)、マゼンタ(M)、シアン(C)及びブラック(K)の4色のトナー画像を重ね合わせるタンデム形式によって、用紙上にカラー画像を形成する。画像形成装置1には、不図示のLAN(Local Area Network)を介して、ユーザーによって操作されるPC70(後述する図2を参照)等が接続されている。そして、PC70からLANを介して画像形成装置1に印刷ジョブ等の各種ジョブが投入される。画像形成装置1は、投入されたジョブに従って、画像形成処理等の各種の処理を行う。
The
本実施の形態に係る画像形成装置1は、ユーザーが発声した音声による操作指示に従って、機能の実行を制御可能な音声制御機能を搭載する。ここで、ユーザーの音声が、明確なキーワード、又は指示の語句を含んでいれば、画像形成装置1は、内部に持つ辞書データベース53(後述する図2参照)を参照して、操作指示の妥当性、すなわちジョブの実行に対する指示として妥当であるか判断し、妥当である場合に操作指示に従って動作することができる。また、画像形成装置1は、操作指示が不十分であれば、操作指示に関連する操作画面を表示させ、この操作画面を通じて、ユーザーが意図する機能を実行可能となるように誘導することができる。なお、判定された操作指示が複数あれば、複数の機能に対応する操作画面が表示されるため、ユーザーが意図する機能を示す操作画面を、複数の操作画面から選択することが可能となる。ここで、「誘導」とは、操作指示された機能に関係しそうな操作画面へのボタンをハイライトで表示させたり、この機能に関連しそうな操作画面を複数縮小表示させたり、もしくは操作画面を1つずつ表示させたり、ユーザーにYes又はNoを判断させたりすることである。
The
画像形成装置1は、自動原稿給送装置(ADF:Auto Document Feeder)12を有する画像入力部11、操作表示部13に加えて、給紙トレイ20及び画像形成部30を有するプリンター部10を備える。
The
画像入力部11は、自動原稿給送装置12の原稿台上の原稿から画像を光学的に読み取り、読み取った画像をA/D変換して画像データ(スキャンデータ)を生成する。なお、画像入力部11は、プラテンガラス上で読み込むこともできる。
The
操作表示部13は、液晶パネル等からなる表示部、及び、タッチセンサ等からなる操作部で構成される。表示部及び操作部は、例えばタッチパネルとして一体に形成される。操作表示部13は、操作部に入力されたユーザーからの操作の内容を表す操作信号を生成し、該操作信号を制御部50(後述する図2を参照)に供給する。また、操作表示部13は、制御部50から供給される表示信号に基づいて、操作表示部13に、ユーザーによる操作内容や設定情報等を含む操作画面を表示する。
The
本実施の形態に係る操作表示部13は、ユーザーからの音声入力による操作指示が行われた機能の機能種別に対応する操作画面を表示する。このため、画像形成装置1のユーザーは、操作表示部13に表示された操作画面に基づいて、音声認識の結果を確認することができる。そして、操作表示部13は、タッチパネルとして形成されるので、操作画面に対する操作入力が行われる。このため、ユーザーは、操作画面を通じて、機能の設定を行うことができる。
The
なお、操作部をマウスやタブレットなどで構成し、操作表示部13とは別体で構成することも可能である。この場合、ユーザーは、操作表示部13に表示された操作画面を、別体で構成された操作部を通じて選択することが可能である。
It is also possible to configure the operation unit with a mouse, a tablet, or the like, and to configure the
給紙トレイ20は、画像形成部30で画像形成が行われる用紙Sh(記録材の一例)を収容する容器である。画像形成装置1は、記録材の一例である樹脂製のシートにも画像を形成することが可能である。給紙トレイ20には、それぞれ、紙種や坪量等が異なる用紙Shが収容される。なお、本実施形態では、2つの給紙トレイ20を設けた例を挙げたが、給紙トレイ20の個数は1つであってもよく、3個以上であってもよい。
The
画像形成装置1には、給紙トレイ20から給紙された用紙Shを排紙トレイ25(排紙部の一例)まで搬送する搬送路21が設けられる。搬送路21には、用紙Shを搬送するための複数の搬送ローラが設けられる。
The
画像形成部30は、Y、M、C及びKの各色のトナー画像を形成するための、4つの画像形成ユニット31Y,31M,31C及び31Kを備え、用紙Shに画像を形成する。画像形成ユニット31Y,31M,31C及び31Kはそれぞれ、帯電部、露光部(いずれも不図示)、像担持体としての感光体ドラム32Y,32M,32C,32K、及び、現像部33Y,33M,33C,33Kを備える。
The
現像部33Y,33M,33C,33Kは、感光体ドラム32Y,32M,32C,32Kの各表面(外周部)に、画像に応じた光を照射することにより、各感光ドラムの周上に静電潜像を形成する。そして、現像部33Y,33M,33C,33Kは、該静電潜像にトナーを付着させて、感光体ドラム32Y,32M,32C,32K上にトナー画像を形成する。
The developing
また、画像形成部30は、中間転写ベルト34、2次転写部35及び定着部36を備える。中間転写ベルト34は、感光体ドラム32Y,32M,32C,32Kに形成された画像が1次転写されるベルトである。2次転写部35は、中間転写ベルト34上に1次転写された各色のトナー画像を、搬送路21を搬送された用紙Shに2次転写するローラである。
The
定着部36は、2次転写部35の用紙搬送方向の下流側に配置されて、画像形成部30から供給されるカラーのトナー画像が形成された用紙Shに対して、定着処理を施す。定着部36は、搬送された用紙Shを加熱及び加圧することにより用紙Shの表面側に、画像形成部30により転写された画像を定着する。定着部36の下流側では、搬送路21が伸長して排紙トレイ25に接続されている。また、搬送路21には、定着部36の下流側で分岐して、プリンター部10の上流側の搬送路21に合流する反転搬送路22が接続されている。反転搬送路22には、用紙Shを表裏反転させる反転部23が設けられている。定着部36により画像が定着した用紙Shは、搬送路21によって排紙トレイ25に排紙されるか、反転搬送路22を通して反転部23により表裏が反転された後、プリンター部10の上流側で搬送路21に返される。表裏反転された用紙Shは、プリンター部10によって裏面への画像形成が行われる。その後、定着部36によって定着処理が施された用紙Shは、排紙トレイ25に排紙される。
The fixing
[画像形成装置の制御系の構成]
次に、図2を参照して、画像形成装置1の制御系の構成例について説明する。
図2は、画像形成装置1の制御系の構成例を示すブロック図である。
画像形成装置1は、通信I/F部51、用紙搬送部24、画像入力部11、画像形成部30、制御部50、記憶部52、定着部36及び操作表示部13を備える。
[Configuration of control system of image forming apparatus]
Next, with reference to FIG. 2, a configuration example of the control system of the
FIG. 2 is a block diagram showing a configuration example of the control system of the
The
通信I/F部51は、ネットワーク又は専用線を介して、ユーザーが操作する端末であるPC70との間でデータを送受信するインターフェースである。通信I/F部51として、例えばNIC(Network Interface Card)が用いられる。
The communication I/F unit 51 is an interface that transmits/receives data to/from the
用紙搬送部24は、制御部50による制御に基づいて、図1に示した搬送路21及び反転搬送路22上に設けられた各搬送ローラ(図示略)、及び反転部23を駆動する。
The
制御部50は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、入力画像処理部504、操作指示判定部505、機能設定部506、実行制御部507を備える。
ROM502には、制御部50のCPU501が実行するプログラム又はプログラムの実行時に使用するデータ等が保存される。CPU501は、ROM502に保存されたプログラムを読み出すことにより、画像形成装置1を構成する各部の制御を行う。
RAM503には、CPU501の演算処理の途中に発生した変数やパラメータなどが一時的に書き込まれる。
The
The
In the
入力画像処理部504は、PC70から通信I/F部51を介して入力されたジョブに含まれる入力画像に所定の画像処理を施し、印刷用画像データを作成する。また、入力画像処理部504は、画像入力部11が読み取った原稿から取得した画像データ、又は、外部から取得した画像データについても画像処理を施し、印刷用画像データを作成する。この印刷用画像データは、画像形成部30に送られる。
The input
制御部50は、用紙搬送部24を制御して搬送ローラを駆動させ、用紙Shを搬送路21上で搬送させる。また、制御部50は、入力画像処理部504が作成した印刷用画像データを画像形成部30に出力する。また、制御部50は、画像形成部30を制御して、用紙Shに画像を形成させる。また、制御部50は、定着部36を制御して、画像を用紙Shに定着させる。
The
また、制御部50は、操作表示部13から操作信号を受信し、該操作信号に応じた制御を行う。さらに、制御部50は、操作表示部13に表示信号を出力し、操作表示部13が、各種操作指示や設定情報を入力するための各種の設定項目や各種処理結果等を表示する操作画面を表示部に表示する。
The
記憶部52には、CPU501がプログラムを実行する際に使用するパラメータや、プログラムを実行して得られたデータなどが保存される。記憶部52には、CPU501が実行するプログラムが記憶されてもよい。また、記憶部52には、制御部50によって参照される辞書データベース53が構成される。辞書データベース53には、ユーザーが発声する語句に関連する機能種別、操作画面名、設定項目等が格納される。辞書データベース53の詳細な構成は、後述する図3にて説明する。
The
制御部50が備える操作指示判定部505は、音声入力部14に入力された音声から認識されるテキストデータより抽出した語句に基づいて、音声により行われた操作指示を判定する。ここで、音声から認識したテキストデータを生成する処理は、音声入力部14が行ってもよいし、操作指示判定部505が行ってもよい。
The operation
そして、操作指示判定部505は、辞書データベース53を参照して、テキストデータより抽出した語句に対応する機能種別を取得する。このため、ユーザーが発声した語句が曖昧だったり、不十分であったりしても、操作指示判定部505は、この語句から関連する機能種別を取得し、操作指示が妥当であるか判定することができる。ただし、この語句から関連する機能種別が複数ある場合には、操作指示が妥当でないとして、複数の操作指示が判定されることもある。
Then, the operation
ここで、操作指示判定部505は、操作指示が妥当でない場合に、操作指示に対応する操作画面、及び操作指示に関連する他の機能種別に対応する操作画面を操作表示部13に表示させる。そして、操作指示判定部505は、ユーザーが選択した操作画面に基づいて操作指示が妥当であるか判定することができる。また、操作指示判定部505は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部13の表示領域とほぼ同じ大きさ、かつ所定の順序で表示させる。また、操作指示判定部505は、操作指示に対応する操作画面、及び他の機能種別に対応する操作画面を、操作表示部13の表示領域よりも縮小して並べて表示させることもできる。
Here, when the operation instruction is not valid, the operation
このように操作指示が妥当でない場合、操作指示判定部505によって複数の操作画面が操作表示部13に表示され、ユーザーによって一つの操作画面が選択される。そして、機能設定部506は、ユーザーにより選択された操作画面からの操作入力に従って、機能の設定を行うことができる。
When the operation instruction is not valid as described above, the operation
機能設定部506は、操作指示判定部505により判定された操作指示が妥当である場合に、操作指示に基づいて選択した機能の設定を行う。このため、機能設定部506は、操作指示判定部505により妥当と判定された操作指示に含まれる語句に対する、機能種別及び操作画面とを辞書データベース53から取得する。ここで、機能設定部506は、音声入力部14に入力された音声から認識されるテキストデータより抽出された語句が項目を満たす場合に、機能の設定を行うことができる。そして、機能設定部506は、操作表示部13を通じて選択された操作画面に対応する機能の実行を実行制御部507に行わせる。
When the operation instruction determined by the operation
また、機能設定部506は、機能の設定に不足する項目を強調した操作画面を操作表示部13に表示させ、操作表示部13を通じて選択された項目への操作入力が項目を満たす場合に、機能の設定を行うこともできる。
Further, the
実行制御部507は、機能設定部506により設定された機能を実行する制御を行う。実行制御部507により実行される画像形成装置1の機能は、例えば、ジョブとして扱われる。
The
図3は、辞書データベース53の構成例を示す説明図である。
辞書データベース53は、語句、機能種別、操作画面名(操作画面)及び設定項目の各フィールドを有するテーブルで構成される。このテーブルは、ユーザーが発生した称呼から抽出される語句に対応する、機能種別、操作画面名及び設定項目とを関連付けている。
FIG. 3 is an explanatory diagram showing a configuration example of the
The
例えば、ユーザーの称呼から抽出された「コピー」という語句は、「COPY」の機能種別に対応する。また、ユーザーの称呼から抽出された「複写」という語句も、「COPY」の機能種別に対応する。他にも、機能種別が「COPY」を連想させるような様々な称呼から抽出される語句(例えば、「複写」)が、機能種別に対応付けて辞書データベース53に保存される。そして、「COPY」機能を実行するためには、設定項目として、印刷枚数、原稿サイズ、片面両面設定が必要とされることが示される。そして、ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「COPY」機能を実行するためのCOPY設定画面が表示される。
For example, the phrase “copy” extracted from the name of the user corresponds to the function type of “COPY”. Further, the phrase “copy” extracted from the user's name also corresponds to the function type of “COPY”. In addition, words (for example, “copy”) extracted from various names having a function type of “COPY” are stored in the
同様に、ユーザーの称呼から抽出された「ファックス」という語句は、「FAX」の機能種別に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「FAX」機能を実行するためのFAX設定画面が表示される。
Similarly, the word “fax” extracted from the user's name corresponds to the function type “FAX”. If the voice operation instruction from the user is invalid, the
また、ユーザーが、「スキャン」と称呼すると、機能種別が「SCAN」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「SCAN」機能を実行するためのSCAN設定画面が表示される。なお、称呼が「送付」の場合、機能種別が「FAX」、「SCAN」のいずれもが対応する。
When the user calls "scan", the function type corresponds to the "SCAN" function. If the voice operation instruction from the user is invalid, the
また、ユーザーが称呼した「つなぐ」、「つなげたい」という語句は、「ネットワーク接続」機能に対応する。ユーザーからの音声による操作指示が妥当でなければ、操作表示部13には、「ネットワーク接続」のためのネットワーク設定画面が表示される。
In addition, the words “connect” and “connect” that the user calls correspond to the “network connection” function. If the voice operation instruction from the user is not valid, the
次に、画像形成装置1の動作例について、図4〜図7を参照して説明する。
図4は、ユーザー60が画像形成装置1に対して音声でコピー処理の実行を指示する時における画像形成装置1の動作例を示す説明図である。
Next, an operation example of the
FIG. 4 is an explanatory diagram showing an operation example of the
(1)始めに、ユーザー60が、「コピー、4枚、A4サイズ、片面」と発声する。ここで、操作表示部13には、初期画面として、「COPY」、「FAX」、「SCAN」の各機能の設定画面に遷移することをユーザーが指示可能なアイコンが表示されている。
(1) First, the
(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が「コピー、4枚、A4サイズ、片面」であると判定する。そして、操作指示判定部505は、ユーザー60の操作指示の妥当性を判断する。ここで、操作指示判定部505は、「コピー」が「COPY機能」の実行を表し、「4枚」が「印刷枚数」を「4枚」とすることを表し、「A4サイズ」が「原稿サイズ」を「A4」とすることを表し、「片面」が「印刷設定片面」を「片面」とすることを表すと判定する。この場合、コピー時に設定が必要である、「COPY機能」、「印刷枚数」、「原稿サイズ」、「印刷設定片面」の全ての設定が指示されたため、操作指示判定部505は、ユーザー60の操作指示が妥当と判定する。
(2) The operation
(3)操作指示が妥当と判定すると、機能設定部506は、指示されたCOPY機能に所定の設定を行い、実行制御部507は、直ちにCOPY機能を実行する。このとき、画像形成装置1は、操作表示部13に表示された操作画面の切替えを行わない。つまり、操作表示部13には、初期画面が表示されたままである。なお、図4では、コピー処理の音声による操作指示について説明したが、FAX機能、SCAN機能についても同様に音声による操作指示が可能である。
(3) If it is determined that the operation instruction is valid, the
ここで、ユーザー60が、「コピー」と称呼せず、「複写」と称呼した場合であっても、操作指示判定部505が「COPY機能」の実行が指示されたと判定できる。そして、「COPY機能」の実行に必要な項目の全てが設定されれば、実行制御部507は、直ちにCOPY機能を実行することが可能である。
Here, even when the
なお、例えば、「COPY機能」の実行に必要な項目のうち、いずれかの設定が行われていなければ、操作指示判定部505は、ユーザー60に対して、追加の設定を促す。例えば、ユーザー60が「印刷枚数」の操作指示を行っていなかった場合、操作表示部13に「印刷枚数」の設定を促す表示又は放音により、ユーザー60に「印刷枚数」の設定が不足していることを気づかせる。このため、ユーザー60は、「印刷枚数」の設定を行うことで、ユーザー60が意図した機能の実行を画像形成装置1に行わせることができる。
Note that, for example, if any of the items necessary to execute the “COPY function” has not been set, the operation
図5は、ユーザー60が画像形成装置1に対して音声でネットワーク設定の要求を行う時における画像形成装置1の動作例を示す説明図である。
FIG. 5 is an explanatory diagram showing an operation example of the
(1)始めに、ユーザー60が、「MFPとパソコンをつなげたい。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が「MFP」、「パソコン」、「つなげたい」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、「つなげたい」という語句に対応する機能が「ネットワーク接続」であると判断する。ここで、操作指示判定部505は、「ネットワーク接続」に必要なPC70等の情報が不足しているため、操作指示が妥当でないと判定する。このため、操作指示判定部505は、画像形成装置1と、PC70とをネットワーク接続するために用いられるネットワーク設定の操作画面を操作表示部13に表示させる。
(1) First, the
(2) The operation
(3)ユーザー60は、操作表示部13に表示されたネットワーク設定の操作画面を見て「OKです。」と発声する。操作指示判定部505は、「OK」という語句を判定すると、操作表示部13にネットワーク設定の操作画面の表示を続けさせる。その後、ユーザー60は、ネットワーク設定の操作画面を通じて必要な操作入力を行う。操作入力された項目は、機能設定部506により設定されることで、実行制御部507が、画像形成装置1と、PC70とをネットワーク接続することが可能となる。
(3) The
図6は、操作指示された機能を実行するための候補画面の表示例を示す説明図である。 FIG. 6 is an explanatory diagram showing a display example of a candidate screen for executing the function instructed by the operation.
(1)始めに、ユーザー60が、「この紙を送付したい。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力されたテキストデータから、操作指示が、「紙」、「送付」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、「送付」という称呼に対応する機能が「FAX」又は「SCAN to Email」に該当すると判断する。ここで、「SCAN to Email」とは、画像入力部11が読取った原稿の画像データを、予め指定された電子メールアドレスを宛先として転送する機能である。
操作指示判定部505は、操作表示部13に対して、FAX設定画面、SCAN to Email設定画面を順に表示させる制御を行う。
(1) First, the
(2) The operation
The operation
(3)操作表示部13にFAX設定画面が表示されたとする。この時、ユーザー60が意図した操作画面でなければ、ユーザー60が「違う。」と発声する。「違う。」という発声は、操作指示判定部505により、「NO」等の否定的な回答として判定される。そして、操作指示判定部505は、ユーザー60の操作指示が、操作画面の切替えを指示するものと判定する。そして、操作指示判定部505は、SCAN to Email設定画面を操作表示部13に表示させる制御を行う。
(3) It is assumed that the FAX setting screen is displayed on the
(4)次に、ユーザー60は、操作表示部13に表示されたSCAN to Email設定画面を見て、「これです。」と発声する。「これです。」という発声は、操作指示判定部505により、「YES」等の肯定的な回答として判定される。その後、ユーザー60は、SCAN to Email設定画面を通じて、入力された電子メールアドレス等を機能設定部506が設定する。これにより、紙に印刷された文字や絵等を画像形成装置1がスキャンして得た画像ファイルを、登録された電子メールアドレスで指定される宛先に送信することが可能となる。
(4) Next, the
図7は、操作指示された機能を実行するために不足する項目がハイライト表示された画面の表示例を示す説明図である。 FIG. 7 is an explanatory diagram showing a display example of a screen in which items lacking in order to execute the function instructed to operate are highlighted.
(1)始めに、ユーザー60が、「XXX(宛先)にスキャンで送って。」と発声する。
(2)操作指示判定部505は、音声入力部14から入力したテキストデータから、操作指示が、宛先を示す「XXX」、「スキャン」という語句を含むと判定する。そして、操作指示判定部505は、辞書データベース53を参照し、操作表示部13にSCAN設定画面を表示させる。
(1) First, the
(2) The operation
SCAN設定画面では、宛先の項目以外に、解像度、形式の項目についても設定が必要とされる。このため、機能設定部506は、解像度、形式の項目を、例えば他の項目とは表示色を異ならせてハイライト表示したり、点滅表示させたりして、操作表示部13に強調表示させる。このため、ユーザー60は、どの項目の設定が不足しているかを確認し、不足した項目について改めて発声し、又は操作入力することができる。
On the SCAN setting screen, it is necessary to set not only the destination item but also the resolution and format items. For this reason, the
図8は、画像形成装置1によって行われる音声認識処理の例を示すフローチャートである。
音声入力部14を通じてユーザーが音声入力を行うと、操作指示判定部505がテキストデータから抽出した称呼(語句)に基づいて以下の処理を開始する。
FIG. 8 is a flowchart showing an example of voice recognition processing performed by the
When the user inputs a voice through the
始めに、操作指示判定部505は、辞書データベース53を参照し、音声認識した称呼(語句)と、辞書データベース53に保存されている称呼(語句)とを比較する(S1)。そして、操作指示判定部505は、比較結果に基づいて、操作表示部13に表示させる操作画面、実行制御部507に実行させる機能が明確、すなわち操作指示が妥当であるか否かを判断する(S2)。
First, the operation
操作画面及び機能が明確であれば(S2のYES)、ステップS5の処理に進む。一方、操作画面又は機能が明確でなければ(S2のNO)、操作指示判定部505は、辞書データベース53から読み出した各機能に対応する候補画面を操作表示部13に表示させる(S3)。このとき、候補画面は操作表示部13に所定の順序で表示され、又は縮小された候補画面が操作表示部13に並べて表示される。
If the operation screen and function are clear (YES in S2), the process proceeds to step S5. On the other hand, if the operation screen or function is not clear (NO in S2), the operation
次に、ユーザーは、実行を要求した機能の操作画面であるか否かを判断する(S4)。例えば、ユーザーが操作画面内に表示された次画面表示ボタンを押すと、操作指示判定部505は、ユーザーが要求した機能の操作画面ではなかったと判断できる。逆に、ユーザーが、例えば、操作画面内に表示された画面アイコンを押した場合に、操作指示判定部505は、ユーザーが要求した機能の操作画面であると判断できる。このため、ユーザーが要求した機能の操作画面でなければ(S4のNO)、ステップS2に戻って処理を繰り返す。
Next, the user determines whether or not it is the operation screen of the function requested to be executed (S4). For example, when the user presses the next screen display button displayed in the operation screen, the operation
一方、ユーザーが要求した機能の操作画面であれば(S4のYES)、機能設定部506は、操作表示部13に表示された操作画面において入力項目が足りているか否かを判断する(S5)。入力項目が足りていれば(S5のYES)、入力項目に従ってジョブが設定され、実行制御部507によりジョブの実行が制御される。
On the other hand, if it is the operation screen of the function requested by the user (YES in S4), the
一方、入力項目が足りていなければ(S5のNO)、機能設定部506は、操作表示部13に不足項目をハイライト表示させる(S6)。その後、不足項目に値が入力されると、機能設定部506は、ステップS5に戻って、再び入力項目が足りているか否かを判断する処理を行う。ステップS5〜S7の処理は、入力項目が足りるまでの間、繰り返される。
On the other hand, if there are not enough input items (NO in S5), the
以上説明した一実施の形態に係る画像形成装置1では、音声入力部14に入力された音声から認識された語句が不明確であっても、操作指示が妥当であって、この機能に必要な項目が設定されると、操作表示部13に表示される操作画面の切替え等が行われずに機能の実行が開始される。ユーザーが画像形成装置1に行わせたい機能種別が不明であっても、ユーザーは、その機能種別の一部や、その機能種別から連想する語句を話すだけでよい。
また、ユーザーが音声入力してから、ジョブの実行が開始されるまでの操作画面の切替えに要する時間が短縮され、ユーザーの待ち時間を短縮することができる。また、操作画面の切替えに要する消費電力を削減することができる。
In the
Further, the time required for switching the operation screen from the voice input by the user to the start of the job is shortened, and the waiting time of the user can be shortened. Further, it is possible to reduce the power consumption required for switching the operation screen.
また、操作指示が妥当でなければ、操作指示に対応する操作画面だけでなく、この操作指示に関連する他の機能種別に対応する操作画面も操作表示部13に表示される。このため、ユーザーは、操作表示部13に表示された複数の操作画面から、実行させたい機能を表す操作画面を選択し、画像形成装置1に機能の実行を指示することが可能となる。そして、ユーザーの画像形成装置1の利用経験が少なくても、ユーザーが、操作画面、及び画像形成装置1の機能を探す時間を最小限に抑えることができる。
If the operation instruction is not valid, not only the operation screen corresponding to the operation instruction but also the operation screens corresponding to other function types related to the operation instruction are displayed on the
ここで、複数の操作画面が候補として選択された場合、操作表示部13に1つずつ操作画面を切替え表示させたり、複数の操作画面を縮小して並べて表示させたりする。これにより、ユーザーは、実行させたい機能を表す操作画面を容易に選択することができる。
Here, when a plurality of operation screens are selected as candidates, one operation screen is switched and displayed on the
また、ジョブの実行に際して設定が不足する項目がある場合、ユーザーにより選択された操作画面には、設定が不足する項目がハイライト表示される。このため、ユーザーは、設定が不足する項目を認識しやすくなり、この項目に改めて設定を行える。これにより、画像形成装置1は、確実にジョブを実行することが可能となる。
Further, when there is an item whose setting is insufficient when the job is executed, the item whose setting is insufficient is highlighted on the operation screen selected by the user. For this reason, the user can easily recognize the item for which the setting is insufficient, and can set the item again. As a result, the
なお、画像形成装置1は、操作指示が妥当であっても、実行制御部507が実行開始する機能を音声ガイダンス等でユーザーに通知したり、操作表示部13に表示したりしてもよい。
Note that the
また、機能設定部506が行う機能の設定は自動化してもよい。例えば、COPY機能の実行が指示された場合には、印刷枚数を「1枚」、用紙サイズを「A4」、印刷設定片面を「片面」とする初期値が設定されてもよい。これにより、ユーザーが、自動原稿給送装置12に原稿を置いて、「コピー」と発声するだけで、初期値が設定されたCOPY機能を実行することも可能となる。
The function setting performed by the
本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために画像形成装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
The present invention is not limited to the above-described embodiments, and it goes without saying that various other application examples and modifications can be made without departing from the gist of the present invention described in the claims.
For example, the above-described embodiment is a detailed and specific description of the configuration of the image forming apparatus in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the configurations described. In addition, it is possible to add, delete, or replace a part of the configuration of this embodiment with another configuration.
In addition, the control lines and information lines shown are those that are considered necessary for explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.
1…画像形成装置、10…プリンター部、13…操作表示部、14…音声入力部、30…画像形成部、50…制御部、53…辞書データベース、504…入力画像処理部、505…操作指示判定部、506…機能設定部、507…実行制御部 1... Image forming apparatus, 10... Printer section, 13... Operation display section, 14... Voice input section, 30... Image forming section, 50... Control section, 53... Dictionary database, 504... Input image processing section, 505... Operation instruction Judgment unit, 506... Function setting unit, 507... Execution control unit
Claims (7)
前記操作指示判定部により判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う機能設定部と、
前記機能設定部により設定された前記機能を実行する制御を行う実行制御部と、を備える
画像形成装置。 An operation instruction determination unit that determines an operation instruction performed by the voice based on a phrase extracted from text data recognized from the voice input to the voice input unit,
When the operation instruction determined by the operation instruction determination unit is appropriate, a function setting unit that sets the function selected based on the operation instruction,
An image forming apparatus, comprising: an execution control unit that controls to execute the function set by the function setting unit.
前記操作指示判定部は、前記操作指示が妥当でない場合に、前記操作指示に対応する前記操作画面、及び前記操作指示に関連する他の機能種別に対応する操作画面を前記操作表示部に表示させ、選択された前記操作画面からの前記操作入力に従って、前記機能の設定を行う
請求項1に記載の画像形成装置。 Furthermore, an operation display unit for displaying an operation screen corresponding to the function type of the function for which the operation instruction is given and for performing an operation input on the operation screen is provided,
When the operation instruction is not valid, the operation instruction determining unit causes the operation display unit to display the operation screen corresponding to the operation instruction and the operation screen corresponding to another function type related to the operation instruction. The image forming apparatus according to claim 1, wherein the function is set according to the operation input from the selected operation screen.
請求項2に記載の画像形成装置。 The operation instruction determination unit displays the operation screen corresponding to the operation instruction and the operation screen corresponding to the other function type in substantially the same size as the display area of the operation display unit and in a predetermined order. The image forming apparatus according to claim 2.
請求項2に記載の画像形成装置。 The operation instruction determination unit causes the operation screen corresponding to the operation instruction and the operation screen corresponding to the other function type to be displayed side by side with a size smaller than the display area of the operation display unit. The image forming apparatus described.
請求項2〜4のいずれか一項に記載の画像形成装置。 When the function setting unit causes the operation display unit to display the operation screen emphasizing an item insufficient for setting the function, and the operation input to the item selected through the operation display unit satisfies the item. The image forming apparatus according to claim 2, wherein the function is set.
前記機能設定部は、前記操作指示に含まれる前記語句に対する、前記機能種別及び前記操作画面とを前記辞書データベースから取得する
請求項2〜5のいずれか一項に記載の画像形成装置。 Further, a dictionary database in which the word/phrase is associated with the function type, the operation screen, and the setting item,
The image forming apparatus according to claim 2, wherein the function setting unit acquires the function type and the operation screen for the word/phrase included in the operation instruction from the dictionary database.
判定された前記操作指示が妥当である場合に、前記操作指示に基づいて選択した機能の設定を行う手順と、
設定された前記機能の実行を制御する手順と、を
コンピューターに実行させるためのプログラム。 A procedure of determining an operation instruction given by the voice, based on a phrase extracted from text data recognized from the voice input to the voice input unit;
If the determined operation instruction is appropriate, a procedure for setting the function selected based on the operation instruction,
A program for causing a computer to execute the procedure for controlling the execution of the set function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224507A JP7115259B2 (en) | 2018-11-30 | 2018-11-30 | Image forming apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224507A JP7115259B2 (en) | 2018-11-30 | 2018-11-30 | Image forming apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020082642A true JP2020082642A (en) | 2020-06-04 |
JP7115259B2 JP7115259B2 (en) | 2022-08-09 |
Family
ID=70905689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018224507A Active JP7115259B2 (en) | 2018-11-30 | 2018-11-30 | Image forming apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7115259B2 (en) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073140A (en) * | 2003-08-27 | 2005-03-17 | Ricoh Co Ltd | Image forming apparatus, program and recording medium |
JP2006205497A (en) * | 2005-01-27 | 2006-08-10 | Canon Inc | Complex machine having voice recognition means |
JP2007079852A (en) * | 2005-09-13 | 2007-03-29 | Canon Inc | Data processor, data processing method and computer program |
JP2007102012A (en) * | 2005-10-06 | 2007-04-19 | Canon Inc | Image forming apparatus |
JP2008180833A (en) * | 2007-01-24 | 2008-08-07 | Kyocera Mita Corp | Operation display device, operation display program and electronic equipment |
JP2009163528A (en) * | 2008-01-08 | 2009-07-23 | Toshiba Tec Corp | Commodity sales data processing apparatus, program thereof, and commodity data input apparatus and program thereof |
JP2009188465A (en) * | 2008-02-01 | 2009-08-20 | Seiko Epson Corp | Multifunction machine |
JP2010049432A (en) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | Display screen control device and method thereof, and information processor |
JP2011170574A (en) * | 2010-02-18 | 2011-09-01 | Sharp Corp | Operation device, electronic apparatus and image processing apparatus having the operation device, and operation method |
JP2011193139A (en) * | 2010-03-12 | 2011-09-29 | Sharp Corp | Image forming apparatus |
JP2011197926A (en) * | 2010-03-18 | 2011-10-06 | Kyocera Mita Corp | Image forming apparatus |
JP2017175547A (en) * | 2016-03-25 | 2017-09-28 | 京セラドキュメントソリューションズ株式会社 | Image forming device and image forming method |
JP2018130860A (en) * | 2017-02-14 | 2018-08-23 | 株式会社寺岡精工 | Label issuance device |
-
2018
- 2018-11-30 JP JP2018224507A patent/JP7115259B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073140A (en) * | 2003-08-27 | 2005-03-17 | Ricoh Co Ltd | Image forming apparatus, program and recording medium |
JP2006205497A (en) * | 2005-01-27 | 2006-08-10 | Canon Inc | Complex machine having voice recognition means |
JP2007079852A (en) * | 2005-09-13 | 2007-03-29 | Canon Inc | Data processor, data processing method and computer program |
JP2007102012A (en) * | 2005-10-06 | 2007-04-19 | Canon Inc | Image forming apparatus |
JP2008180833A (en) * | 2007-01-24 | 2008-08-07 | Kyocera Mita Corp | Operation display device, operation display program and electronic equipment |
JP2009163528A (en) * | 2008-01-08 | 2009-07-23 | Toshiba Tec Corp | Commodity sales data processing apparatus, program thereof, and commodity data input apparatus and program thereof |
JP2009188465A (en) * | 2008-02-01 | 2009-08-20 | Seiko Epson Corp | Multifunction machine |
JP2010049432A (en) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | Display screen control device and method thereof, and information processor |
JP2011170574A (en) * | 2010-02-18 | 2011-09-01 | Sharp Corp | Operation device, electronic apparatus and image processing apparatus having the operation device, and operation method |
JP2011193139A (en) * | 2010-03-12 | 2011-09-29 | Sharp Corp | Image forming apparatus |
JP2011197926A (en) * | 2010-03-18 | 2011-10-06 | Kyocera Mita Corp | Image forming apparatus |
JP2017175547A (en) * | 2016-03-25 | 2017-09-28 | 京セラドキュメントソリューションズ株式会社 | Image forming device and image forming method |
JP2018130860A (en) * | 2017-02-14 | 2018-08-23 | 株式会社寺岡精工 | Label issuance device |
Also Published As
Publication number | Publication date |
---|---|
JP7115259B2 (en) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8537378B2 (en) | Image forming device, image forming method, printer driver program, and image forming system | |
CN111856903B (en) | Image forming apparatus, image forming method, system, and non-temporary recording medium | |
JP2008185698A (en) | Image forming apparatus | |
JP2013167872A (en) | Image forming apparatus, control method of image forming apparatus, and program | |
US9168768B2 (en) | Printing apparatus, control method for printing apparatus, and storage medium | |
JP2005208974A (en) | Helping system for image processor | |
US9057999B2 (en) | Image forming apparatus capable of printing at a plurality of speeds | |
JP2007189525A (en) | Image processor | |
JP7115259B2 (en) | Image forming apparatus and program | |
JP2009073642A (en) | Paper sorting apparatus | |
JP4135089B2 (en) | Image forming apparatus | |
JP5473492B2 (en) | Image forming apparatus, image forming apparatus control method, and program | |
JP2008098762A (en) | Image forming apparatus, image forming system, and program | |
JP5893430B2 (en) | Printing apparatus, printing apparatus control method, and program | |
JP2019083497A (en) | Image processing apparatus and operation control method thereof | |
JP2023021513A (en) | Image forming device, information processing terminal, method and program | |
JP6171510B2 (en) | Image forming apparatus, operation guide method, program | |
JP5942524B2 (en) | Electronic equipment and programs | |
JP2013059969A (en) | Data processing apparatus and data file | |
JP5841633B2 (en) | Printing apparatus, control method thereof, and program | |
US20180067708A1 (en) | Electronic apparatus and image forming apparatus | |
US10235613B2 (en) | Image forming device and control method therefor for managing characteristics using a paper profile function | |
US20230350638A1 (en) | Image forming apparatus and input device | |
JP2001197268A (en) | Image forming device | |
JP2007036837A (en) | Image generation apparatus and information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7115259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |