JP2018088067A - Guidance reproducing apparatus, guidance reproducing method, and computer program - Google Patents

Guidance reproducing apparatus, guidance reproducing method, and computer program Download PDF

Info

Publication number
JP2018088067A
JP2018088067A JP2016230255A JP2016230255A JP2018088067A JP 2018088067 A JP2018088067 A JP 2018088067A JP 2016230255 A JP2016230255 A JP 2016230255A JP 2016230255 A JP2016230255 A JP 2016230255A JP 2018088067 A JP2018088067 A JP 2018088067A
Authority
JP
Japan
Prior art keywords
guidance
time
image
jump destination
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016230255A
Other languages
Japanese (ja)
Other versions
JP6809168B2 (en
Inventor
悠 園田
Yu Sonoda
悠 園田
伊藤 昌之
Masayuki Ito
昌之 伊藤
健 日比野
Takeshi Hibino
健 日比野
勇司 川村
Yuji Kawamura
勇司 川村
冨田 篤
Atsushi Tomita
篤 冨田
征平 市山
Shohei Ichiyama
征平 市山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2016230255A priority Critical patent/JP6809168B2/en
Publication of JP2018088067A publication Critical patent/JP2018088067A/en
Application granted granted Critical
Publication of JP6809168B2 publication Critical patent/JP6809168B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To allow a user to more easily designate the time of reproducing guidance than conventional ones.SOLUTION: An image forming apparatus reproducing guidance of work consisting of a plurality of processes is provided with display means and reproducing means. The display means causes a touch panel display to display a guidance screen 80 in which at least a progress bar 82 schematically representing reproduction time of the guidance is disposed. When operation on the progress bar 82 is performed, the reproducing means reproduces the guidance from the time corresponding to this operation, and when a user gazes at a predetermined position on the guidance screen 80, reproduces the guidance from the time corresponding to this position.SELECTED DRAWING: Figure 19

Description

本発明は、メンテナンスなどのガイダンスを再生する技術に関する。   The present invention relates to a technique for reproducing guidance such as maintenance.

近年、コピー、ネットワークプリント、ファックス、スキャン、およびファイルサーバなどの様々な機能を集約した画像形成装置が普及している。このような画像形成装置は、「複合機」または「MFP(Multi Function Peripherals)」などと呼ばれている。様々な機能を集約している分、構造が複雑化しており、発生したエラーへの対応、またはメンテナンスの際に、ユーザは複雑な作業を行う必要がある。   In recent years, image forming apparatuses in which various functions such as copying, network printing, faxing, scanning, and file servers are integrated have become widespread. Such an image forming apparatus is called a “multifunction machine” or “MFP (Multi Function Peripherals)”. Since various functions are aggregated, the structure is complicated, and the user needs to perform complicated work when dealing with an error that has occurred or when performing maintenance.

複雑な作業のガイダンスを、ユーザに対して分かりやすく提示することを目的として、例えば以下のような画像処理装置が提案されている。   For example, the following image processing apparatus has been proposed for the purpose of presenting complicated work guidance to the user in an easy-to-understand manner.

この画像処理装置は、動画を再生することが可能な画像処理装置であって、動画の再生位置をユーザの操作に応じて任意の位置に移動する移動手段を備え、移動後の再生位置が移動前の再生位置より巻き戻した位置かを判定する。移動後の再生位置が移動前の再生位置より巻き戻した位置であると判定された場合、移動後の再生位置をループ再生する区間の開始位置として保存し、移動前の再生位置をループ再生する区間の終了位置として保存して、開始位置から終了位置までの区間のループ再生を制御するための指示を行う操作手段を提供する(特許文献1)。   The image processing apparatus is an image processing apparatus capable of reproducing a moving image, and includes moving means for moving a moving image reproduction position to an arbitrary position in accordance with a user operation, and the reproduction position after movement is moved. It is determined whether the position has been rewound from the previous playback position. If it is determined that the playback position after moving is a position rewinded from the playback position before movement, the playback position after movement is saved as the start position of the loop playback section, and the playback position before movement is loop-played. An operation means for providing an instruction for controlling loop reproduction of a section from the start position to the end position is provided (Patent Document 1).

また、この画像処理装置によると、ユーザは、シークバーの上に配置されているツマミを動かすことによって、再生を開始する時刻(位置)を指定することができる。   Further, according to this image processing apparatus, the user can designate the time (position) at which reproduction is started by moving the knob arranged on the seek bar.

特開2013−135404号公報JP2013-135404A

ガイダンスの再生中、ユーザは、ガイダンスの一部分を見逃してしまう場合がある。この場合に、ユーザは、この部分に戻してガイダンスを再生させなければならない。または、既に理解している部分をスキップして再生させたいことがある。   During the reproduction of the guidance, the user may miss a part of the guidance. In this case, the user must return to this portion and reproduce the guidance. Or you may want to skip the parts you already understand.

しかし、従来のツマミのようなコントロールを操作することによって再生の時刻を変更することは、容易でない。   However, it is not easy to change the playback time by operating a control such as a conventional knob.

本発明は、このような問題点に鑑み、ユーザがガイダンスの再生の時刻を従来よりも容易に指定することができるようにすることを、目的とする。   The present invention has been made in view of such problems, and it is an object of the present invention to allow a user to specify the time of reproduction of guidance more easily than in the past.

本発明の一形態に係るガイダンス再生装置は、複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、前記ガイダンスの再生時間を図式的に表わす図式画像と、前記複数の工程のうちの隣り合う2つの工程ごとの、前記図式画像における境界を指す境界画像と、が少なくとも配置された画面を表示する、表示手段と、前記ガイダンスを、前記図式画像または前記境界画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが前記画面の所定の位置を凝視した場合は当該所定の位置に対応する第二の時刻から再生する、再生手段と、を有する。   A guidance reproduction apparatus according to an aspect of the present invention is a guidance reproduction apparatus that reproduces a work guidance that includes a plurality of steps, and includes a schematic image that schematically represents the reproduction time of the guidance, and the plurality of steps. An operation is performed on the schematic image or the boundary image for displaying the screen on which at least a boundary image indicating a boundary in the schematic image for each of two adjacent steps is displayed, and the guidance. A reproduction means for reproducing from a first time corresponding to the operation, and reproducing from a second time corresponding to the predetermined position when the user stares at the predetermined position on the screen.

好ましくは、前記再生手段は、前記ユーザが前記所定の位置として前記境界画像を凝視した場合は、前記ガイダンスを、当該境界画像に対応する前記2つの工程のうちの後の工程の先頭の時刻を前記第二の時刻として再生する。   Preferably, when the user gazes at the boundary image at the predetermined position, the reproduction unit displays the guidance at the start time of the subsequent step of the two steps corresponding to the boundary image. Playback as the second time.

または、前記再生手段は、前記ユーザの視線が前記境界画像または当該境界画像の周辺の所定の範囲内に所定の時間以上留まった場合に、前記ガイダンスを前記第二の時刻から再生する。   Alternatively, the reproduction unit reproduces the guidance from the second time when the user's line of sight stays in the boundary image or a predetermined range around the boundary image for a predetermined time or more.

または、前記ガイダンスは、前記作業の仕方を動画像によって説明するものであって、前記再生手段は、前記動画像の特定の時間帯の特定の部分をユーザが凝視した場合は、当該特定の時間帯および当該特定の部分に対応する時刻を前記第二の時刻として前記ガイダンスを前記画面の中の所定の領域において再生する。   Alternatively, the guidance explains how to perform the work using a moving image, and the reproduction means, when the user gazes at a specific portion of a specific time zone of the moving image, the specific time The guidance is reproduced in a predetermined area in the screen with the time corresponding to the band and the specific part as the second time.

本発明の他の一形態に係るガイダンス再生装置は、複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、前記ガイダンスの再生時間を図式的に表わす図式画像と、前記複数の工程のうちの隣り合う2つの工程ごとの、前記図式画像における境界を指す境界画像と、が少なくとも配置された画面を表示する、表示手段と、前記ガイダンスを、前記図式画像または前記境界画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが所定の語句を発声した場合は当該所定の語句に対応する第二の時刻から再生する再生手段と、を有する。   A guidance reproduction apparatus according to another aspect of the present invention is a guidance reproduction apparatus that reproduces a work guidance composed of a plurality of steps, and a schematic image that schematically represents the reproduction time of the guidance, and the plurality of steps. Display means displaying at least a boundary image indicating a boundary in the schematic image for every two adjacent processes, and the guidance is operated on the schematic image or the boundary image. When it is made, the playback unit starts playback from the first time according to the operation, and when the user utters a predetermined phrase, playback unit plays back from the second time corresponding to the predetermined phrase.

本発明の他の一形態に係るガイダンス再生装置は、複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する、表示手段と、前記図式画像の中のいずれかの位置が指定された場合に、前記複数の工程のうちの当該指定された位置に対応する時刻を含む工程の先頭から前記ガイダンスを再生する、再生手段と、を有する。   A guidance reproduction apparatus according to another aspect of the present invention is a guidance reproduction apparatus that reproduces a work guidance that includes a plurality of steps, and includes a screen on which at least a schematic image that schematically represents the reproduction time of the guidance is arranged. Display means, and when any position in the schematic image is designated, the guidance is given from the head of the process including the time corresponding to the designated position among the plurality of processes. Reproducing means for reproducing.

本発明によると、ユーザは、ガイダンスの再生の時刻を従来よりも容易に指定することができる。   According to the present invention, it is possible for the user to specify the guidance playback time more easily than in the past.

画像形成装置の外観の例を示す図である。1 is a diagram illustrating an example of an appearance of an image forming apparatus. 画像形成装置のプリントユニットの構成の例を示す図である。FIG. 3 is a diagram illustrating an example of a configuration of a print unit of an image forming apparatus. 画像形成装置のハードウェア構成の例を示す図である。2 is a diagram illustrating an example of a hardware configuration of an image forming apparatus. FIG. 画像形成装置の機能的構成の例を示す図である。2 is a diagram illustrating an example of a functional configuration of an image forming apparatus. FIG. 状態変化データの例を示す図である。It is a figure which shows the example of state change data. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. チャプターの動画像に含まれる画像の例を示す図である。It is a figure which shows the example of the image contained in the moving image of a chapter. 状態データの例を示す図である。It is a figure which shows the example of state data. ガイダンス画面の例を示す図である。It is a figure which shows the example of a guidance screen. 第一の時刻決定処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a 1st time determination process. ジャンプ先データの例を示す図である。It is a figure which shows the example of jump destination data. 第二の時刻決定処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a 2nd time determination process. ジャンプ先データの例を示す図である。It is a figure which shows the example of jump destination data. 第三の時刻決定処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a 3rd time determination process. 画像形成装置におけるガイダンスの表示のための全体的な処理の流れの例を示す図である。FIG. 10 is a diagram illustrating an example of an overall processing flow for displaying guidance in the image forming apparatus. ジャンプ先データの例を示す図である。It is a figure which shows the example of jump destination data. 第二の時刻決定処理の流れの変形例を説明するフローチャートである。It is a flowchart explaining the modification of the flow of a 2nd time determination process. ジャンプ先データの例を示す図である。It is a figure which shows the example of jump destination data. 第三の時刻決定処理の流れの変形例を説明するフローチャートである。It is a flowchart explaining the modification of the flow of a 3rd time determination process.

図1は、画像形成装置1の外観の例を示す図である。図2は、画像形成装置1のプリントユニット10iの構成の例を示す図である。図3は、画像形成装置1のハードウェア構成の例を示す図である。図4は、画像形成装置1の機能的構成の例を示す図である。   FIG. 1 is a diagram illustrating an example of the appearance of the image forming apparatus 1. FIG. 2 is a diagram illustrating an example of the configuration of the print unit 10 i of the image forming apparatus 1. FIG. 3 is a diagram illustrating an example of a hardware configuration of the image forming apparatus 1. FIG. 4 is a diagram illustrating an example of a functional configuration of the image forming apparatus 1.

図1に示す画像形成装置1は、コピー、PCプリント、クラウド印刷、ファックス、スキャナ、およびボックスなどの機能を集約した装置である。一般に、「複合機」または「MFP(Multi Function Peripherals)」などと呼ばれることがある。   An image forming apparatus 1 shown in FIG. 1 is an apparatus that integrates functions such as copying, PC printing, cloud printing, fax, scanner, and box. Generally, it is sometimes called “multifunction machine” or “MFP (Multi Function Peripherals)”.

PCプリント機能は、外部の端末装置から受信した画像データに基づいて画像を用紙に印刷する機能である。「ネットワークプリンティング」または「ネットワークプリント」などと呼ばれることもある。   The PC print function is a function for printing an image on a sheet based on image data received from an external terminal device. It may also be called “network printing” or “network printing”.

クラウド印刷機能は、インターネット上のサーバを経由して外部の端末装置から画像データを受信し画像を用紙に印刷する機能である。   The cloud printing function is a function for receiving image data from an external terminal device via a server on the Internet and printing an image on paper.

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。グループごとにボックスを設けておき、グループのメンバで共用することもできる。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。   The box function is a function for giving a storage area called “box” or “personal box” for each user, and for each user to store and manage image data and the like in his / her storage area. A box can be provided for each group and shared by the members of the group. A box corresponds to a “folder” or “directory” in a personal computer.

画像形成装置1は、図1ないし図3に示すように、制御ユニット11、タッチパネルディスプレイ10e、操作キーパネル10f、NIC(Network Interface Card)10g、スキャンユニット10h、プリントユニット10i、フィニッシャ10j、音声ユニット10k、無線通信インタフェース10m、および視線計測器10nなどによって構成される。   As shown in FIGS. 1 to 3, the image forming apparatus 1 includes a control unit 11, a touch panel display 10e, an operation key panel 10f, a NIC (Network Interface Card) 10g, a scan unit 10h, a print unit 10i, a finisher 10j, and an audio unit 10k. , A wireless communication interface 10m, and a line-of-sight measuring instrument 10n.

タッチパネルディスプレイ10eは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、および制御ユニット11が実行した処理の結果を示す画面などを表示する。さらに、画像形成装置1の操作のガイダンスの動画像を表示する。また、タッチパネルディスプレイ10eは、タッチされた位置を示す信号を制御ユニット11へ送る。   The touch panel display 10e displays a screen showing a message for the user, a screen for the user to input a command or information, a screen showing a result of processing executed by the control unit 11, and the like. Further, a moving image of guidance for operation of the image forming apparatus 1 is displayed. In addition, the touch panel display 10 e sends a signal indicating the touched position to the control unit 11.

操作キーパネル10fは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。   The operation key panel 10f is a so-called hardware keyboard, and includes a numeric keypad, a start key, a stop key, a function key, and the like.

NIC10gは、TCP/IP(Transmission Control Protocol/Internet Protocol)などのプロトコルで他の装置との通信を行う。   The NIC 10g communicates with other devices using a protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).

スキャンユニット10hは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。   The scan unit 10h reads an image written on a sheet set on the platen glass and generates image data.

プリントユニット10iは、画像形成部21、給紙部22、給紙キャビネット23、定着ユニット24、印刷物搬送路251、フィードバック搬送路252、正面扉26、第一の搬送路センサ201、第二の搬送路センサ202、正面扉センサ203などによって構成される。このような構成により、スキャンユニット10hによって読み取られた画像のほか、NIC10gによって他の装置から受信した画像を用紙に印刷する。   The print unit 10i includes an image forming unit 21, a paper feeding unit 22, a paper feeding cabinet 23, a fixing unit 24, a printed material conveyance path 251, a feedback conveyance path 252, a front door 26, a first conveyance path sensor 201, and a second conveyance path. The sensor 202, the front door sensor 203, etc. are comprised. With such a configuration, in addition to the image read by the scan unit 10h, an image received from another device by the NIC 10g is printed on a sheet.

画像形成部21は、タンデム方式および電子写真方式のカラーの印刷エンジンであって、感光体ドラム31a、31b、31c、31d、露光走査ユニット32a、32b、32c、32d、および転写ベルト33などによって構成される。   The image forming unit 21 is a tandem and electrophotographic color printing engine, and includes photosensitive drums 31a, 31b, 31c, and 31d, exposure scanning units 32a, 32b, 32c, and 32d, a transfer belt 33, and the like. Is done.

感光体ドラム31a、31b、31c、および31dは、それぞれ、シアン、イエロー、マゼンタ、および黒に対応する感光体ドラムである。同様に、露光走査ユニット32a、32b、32c、および32dは、それぞれ、シアン、イエロー、マゼンタ、および黒に対応する露光走査ユニットである。   The photosensitive drums 31a, 31b, 31c, and 31d are photosensitive drums corresponding to cyan, yellow, magenta, and black, respectively. Similarly, the exposure scanning units 32a, 32b, 32c, and 32d are exposure scanning units corresponding to cyan, yellow, magenta, and black, respectively.

露光走査ユニット32a、32b、32c、および32dは、それぞれ、制御ユニット11からの信号に基づいて印刷対象の画像に応じて露光することによって、感光体ドラム31a、31b、31c、および31dに静電潜像を作像する。そして、各色のトナーが付着する。   The exposure scanning units 32a, 32b, 32c, and 32d are electrostatically applied to the photosensitive drums 31a, 31b, 31c, and 31d by performing exposure according to an image to be printed based on a signal from the control unit 11, respectively. Create a latent image. Then, toner of each color adheres.

転写ベルト33には、感光体ドラム31a、31b、31c、31dのそれぞれに形成された各色のトナー像が重ねられる。これにより、フルカラーのトナー像が転写ベルト33に形成される。   On the transfer belt 33, toner images of respective colors formed on the photosensitive drums 31a, 31b, 31c, and 31d are overlaid. As a result, a full-color toner image is formed on the transfer belt 33.

給紙部22は、画像形成装置1に標準に装備されている、画像形成部21へ用紙を供給するためのユニットである。給紙部22は、1つまたは複数の給紙カセット22aおよびピックアップローラー22bなどによって構成される。給紙カセット22aには、用紙が収納される。ピックアップローラー22bは、給紙カセット22aから用紙を1枚ずつピックアップして画像形成部21へ搬出する。   The paper feed unit 22 is a unit that is provided in the image forming apparatus 1 as a standard and supplies paper to the image forming unit 21. The paper feed unit 22 includes one or a plurality of paper feed cassettes 22a and pickup rollers 22b. The paper is stored in the paper feed cassette 22a. The pickup roller 22b picks up one sheet at a time from the sheet feeding cassette 22a and carries it out to the image forming unit 21.

給紙キャビネット23は、給紙部22と同様に画像形成部21へ用紙を供給するユニットであるが、画像形成装置1にオプションとして装備される。給紙キャビネット23の給紙カセット23aからピックアップローラー23bによって送り出された用紙は給紙部22を経由して画像形成部21へ供給される。   The paper feed cabinet 23 is a unit that supplies paper to the image forming unit 21 similarly to the paper feed unit 22, but is provided as an option in the image forming apparatus 1. The sheet fed from the sheet feeding cassette 23 a of the sheet feeding cabinet 23 by the pickup roller 23 b is supplied to the image forming unit 21 via the sheet feeding unit 22.

定着ユニット24は、2つの加熱ローラ24aおよび24b、レバー24cなどによって構成される。そして、2つの加熱ローラ24aおよび24bによって、転写ベルト33に形成されたトナー像を、給紙部22または給紙キャビネット23から搬出されてきた用紙に転写する。レバー24cを下げることで2つの加熱ローラ24aおよび24bが離れ、レバー24cを上げることで2つの加熱ローラが圧接される。   The fixing unit 24 includes two heating rollers 24a and 24b, a lever 24c, and the like. Then, the toner image formed on the transfer belt 33 is transferred to the paper carried out from the paper supply unit 22 or the paper supply cabinet 23 by the two heating rollers 24a and 24b. The two heating rollers 24a and 24b are separated by lowering the lever 24c, and the two heating rollers are pressed against each other by raising the lever 24c.

印刷物搬送路25は、定着ユニット24によってトナー像が転写された印刷物を、フィニッシャ10jに搬送する。   The printed material conveyance path 25 conveys the printed material on which the toner image is transferred by the fixing unit 24 to the finisher 10j.

正面扉26は、プリントユニット10iの正面に設置された扉である。印刷などのジョブは、正面扉26が閉められた状態で実行される。エラーの解除または消耗品の補給などのメンテナンスは、正面扉26が適宜開けられた状態で実行される。   The front door 26 is a door installed in front of the print unit 10i. A job such as printing is executed with the front door 26 closed. Maintenance such as error cancellation or supply of consumables is performed with the front door 26 being appropriately opened.

第一の搬送路センサ201は、定着ユニット24付近に配置され、この位置における用紙の有無を検出する。また、定着ユニット24で発生した紙詰まり(ジャム)を検出する。   The first transport path sensor 201 is disposed in the vicinity of the fixing unit 24 and detects the presence or absence of paper at this position. Further, a paper jam (jam) that has occurred in the fixing unit 24 is detected.

第二の搬送路センサ202は、印刷物搬送路25付近に配置され、この位置における印刷物の有無を検出する。   The second conveyance path sensor 202 is disposed near the printed material conveyance path 25 and detects the presence or absence of the printed material at this position.

正面扉センサ203は、正面扉26付近に設置され、正面扉26の開閉の状態を検出する。   The front door sensor 203 is installed near the front door 26 and detects the open / closed state of the front door 26.

なお、両面印刷の場合、フィニッシャ10j付近にて、片面に画像が印刷された用紙をスイッチバックして、再度、画像形成部21へ給紙する。   In the case of duplex printing, a sheet on which an image is printed on one side is switched back in the vicinity of the finisher 10j and is fed again to the image forming unit 21.

フィニッシャ10jは、ステープラ41、パンチ穴開装置42、第一の印刷物搬送路431、第二の印刷物搬送路432、第一のレバー441、第二のレバー442、前扉45、前扉センサ401、第一のレバーセンサ402、第一の搬送路センサ403、第二のレバーセンサ404、および第二の搬送路センサ405などによって構成される。このような構成により、フィニッシャ10jは、プリントユニット10iによって得られた印刷物に対して、必要に応じて後処理を施す。   The finisher 10j includes a stapler 41, a punching device 42, a first printed material conveyance path 431, a second printed material conveyance path 432, a first lever 441, a second lever 442, a front door 45, a front door sensor 401, The first lever sensor 402, the first transport path sensor 403, the second lever sensor 404, the second transport path sensor 405, and the like are configured. With such a configuration, the finisher 10j performs post-processing as necessary on the printed matter obtained by the print unit 10i.

第一の印刷物搬送路431は、印刷物をステープラ41へ搬送する。第一の印刷物搬送路431にはガイドが設けられている。ガイドは、2つのローラが1組となって構成され、2つのローラが圧接した状態で印刷物を搬送する。第一のレバー441を下げることによって、2つのローラが離れる。第一のレバー441を上げることによって、2つのローラが圧接する。   The first printed material conveyance path 431 conveys the printed material to the stapler 41. A guide is provided in the first printed material conveyance path 431. The guide is composed of a set of two rollers, and conveys the printed material in a state where the two rollers are in pressure contact with each other. Lowering the first lever 441 separates the two rollers. By raising the first lever 441, the two rollers come into pressure contact.

第二の印刷物搬送路432は、印刷物をパンチ穴開装置42へ搬送する。第二の印刷物搬送路432にも、第一の印刷物搬送路431と同様にガイドが設けられている。そして、第二のレバー442を下げることによってガイドが移動し第二の印刷物搬送路432が正面から見えるようになる。第二のレバー442を上げることによって第二の印刷物搬送路432がガイドに隠れる。   The second printed material conveyance path 432 conveys the printed material to the punching device 42. The second printed material conveyance path 432 is also provided with a guide in the same manner as the first printed material conveyance path 431. When the second lever 442 is lowered, the guide moves and the second printed material conveyance path 432 can be seen from the front. By raising the second lever 442, the second printed material conveyance path 432 is hidden by the guide.

ステープラ41は、第一の印刷物搬送路431によって搬送されてきた複数枚の印刷物に対して、後処理として、ステープルで綴じる処理を施す。   The stapler 41 performs a stapling process as post-processing on a plurality of printed materials conveyed by the first printed material conveyance path 431.

パンチ穴開装置42は、第二の印刷物搬送路432によって搬送されてきた1枚または複数枚の印刷物に対して、後処理として、パンチ穴を開ける処理を施す。   The punch hole opening device 42 performs a punch hole processing as post-processing on one or a plurality of printed materials conveyed by the second printed material conveyance path 432.

前扉45は、フィニッシャ10jの正面に設置された扉である。印刷などのジョブは、前扉45が閉められた状態で実行される。エラーの解除または消耗品の補給などのメンテナンスは、前扉45が適宜開けられた状態で実行される。   The front door 45 is a door installed in front of the finisher 10j. A job such as printing is executed with the front door 45 closed. Maintenance such as error cancellation or supply of consumables is performed with the front door 45 being opened as appropriate.

音声ユニット10kは、サウンドボード、スピーカ、およびマイクロホンなどによって構成され、ガイダンスの音声を出力したり、ユーザの音声を集音したりする。   The audio unit 10k is configured by a sound board, a speaker, a microphone, and the like, and outputs guidance audio and collects user audio.

無線通信インタフェース10mは、無線によって他の装置と通信する。無線通信インタフェース10mとして、WLAN(Wireless Local Area Network)またはBluetooth(登録商標)などの規格の通信装置が用いられる。   The wireless communication interface 10m communicates with other devices wirelessly. As the wireless communication interface 10m, a communication device of a standard such as WLAN (Wireless Local Area Network) or Bluetooth (registered trademark) is used.

視線計測器10nは、ユーザの視線の方向を検知する装置であって、タッチパネルディスプレイ10eの所定の位置に設けられている。そして、検知した方向およびタッチパネルディスプレイ10eと視線計測器10nとの位置関係に基づいて、ユーザがタッチパネルディスプレイ10eの表示面のどこを見ているかを特定する。なお、特定する処理は、CPU10aが行ってもよい。   The line-of-sight measuring instrument 10n is a device that detects the direction of the user's line of sight, and is provided at a predetermined position of the touch panel display 10e. And based on the detected direction and the positional relationship between the touch panel display 10e and the line-of-sight measuring instrument 10n, it is specified where the user is looking on the display surface of the touch panel display 10e. Note that the CPU 10a may perform the specifying process.

視線計測器10nは、外付けの視線計測器であってもよい。この場合は、視線計測器10nと視線計測器10nとの間で無線によって通信を行えばよい。視線計測器10nとして、例えば、トビー・テクノロジー社の「Tobii Pro X3−120」が用いられる。   The line-of-sight measuring instrument 10n may be an external line-of-sight measuring instrument. In this case, communication may be performed wirelessly between the line-of-sight measuring instrument 10n and the line-of-sight measuring instrument 10n. As the line-of-sight measuring instrument 10n, for example, “Tobii Pro X3-120” manufactured by Toby Technology, Inc. is used.

制御ユニット11は、CPU(Central Processing Unit)10a、RAM(Random Access Memory)10b、ROM(Read Only Memory)10c、および補助記憶装置10dなどによって構成される。   The control unit 11 includes a CPU (Central Processing Unit) 10a, a RAM (Random Access Memory) 10b, a ROM (Read Only Memory) 10c, an auxiliary storage device 10d, and the like.

ROM10cまたは補助記憶装置10dには、上述のコピーなどの各機能を実現するためのプログラムが記憶されている。さらに、ガイダンス再生プログラム10P(図4参照)が記憶されている。   The ROM 10c or the auxiliary storage device 10d stores a program for realizing each function such as copying described above. Further, a guidance reproduction program 10P (see FIG. 4) is stored.

ガイダンス再生プログラム10Pは、エラーの解除または消耗品の補給などのメンテナンスの仕方をユーザへ説明するガイダンスの動画像および音声を再生するためのプログラムである。   The guidance reproduction program 10P is a program for reproducing a guidance moving image and sound for explaining to the user how to perform maintenance such as error cancellation or supply of consumables.

これらのプログラムは、必要に応じてRAM10bにロードされ、CPU10aによって実行される。補助記憶装置10dとして、ハードディスクドライブまたはSSD(Solid State Drive)などが用いられる。   These programs are loaded into the RAM 10b as necessary and executed by the CPU 10a. A hard disk drive, SSD (Solid State Drive), or the like is used as the auxiliary storage device 10d.

ガイダンス再生プログラム10Pによると、図4に示す状態変化データ記憶部101、再生データ記憶部102、状態データ記憶部103、第一のタイムテーブル記憶部104、第二のタイムテーブル記憶部105、状態変化検出部106、ガイダンス画面表示部107、第一のジャンプ先時刻決定部121、第二のジャンプ先時刻決定部122、第三のジャンプ先時刻決定部123、動画像再生部124、および音声再生部125などが実現される。   According to the guidance reproduction program 10P, the state change data storage unit 101, the reproduction data storage unit 102, the state data storage unit 103, the first time table storage unit 104, the second time table storage unit 105, and the state change shown in FIG. Detection unit 106, guidance screen display unit 107, first jump destination time determination unit 121, second jump destination time determination unit 122, third jump destination time determination unit 123, moving image reproduction unit 124, and audio reproduction unit 125 or the like is realized.

以下、状態変化データ記憶部101ないし音声再生部125の各部について、説明する。   Hereinafter, each part of the state change data storage unit 101 or the audio reproduction unit 125 will be described.

図5は、状態変化データ6Aの例を示す図である。図6は、チャプターの動画像に含まれる画像7A1〜7A3の例を示す図である。図7は、チャプターの動画像に含まれる画像7B1〜7B3の例を示す図である。図8は、チャプターの動画像に含まれる画像7C1〜7C3の例を示す図である。図9は、チャプターの動画像に含まれる画像7D1〜7D3の例を示す図である。図10は、チャプターの動画像に含まれる画像7E1〜7E3の例を示す図である。図11は、チャプターの動画像に含まれる画像7F1〜7F3の例を示す図である。図12は、チャプターの動画像に含まれる画像7G1〜7G3の例を示す図である。図13は、チャプターの動画像に含まれる画像7H1〜7H3の例を示す図である。図14は、チャプターの動画像に含まれる画像7J1〜7J3の例を示す図である。図15は、チャプターの動画像に含まれる画像7K1〜7K4の例を示す図である。図16は、チャプターの動画像に含まれる画像7L1〜7L3の例を示す図である。図17は、チャプターの動画像に含まれる画像7M1〜7M3の例を示す図である。図18は、状態データ6Cの例を示す図である。図19は、ガイダンス画面80の例を示す図である。図20は、第一の時刻決定処理の流れの例を説明するフローチャートである。図21は、ジャンプ先データ6Uの例を示す図である。図22は、第二の時刻決定処理の流れの例を説明するフローチャートである。図23は、ジャンプ先データ6Rの例を示す図である。図24は、第三の時刻決定処理の流れの例を説明するフローチャートである。   FIG. 5 is a diagram illustrating an example of the state change data 6A. FIG. 6 is a diagram illustrating an example of the images 7A1 to 7A3 included in the chapter moving image. FIG. 7 is a diagram illustrating an example of images 7B1 to 7B3 included in the moving image of the chapter. FIG. 8 is a diagram illustrating an example of images 7C1 to 7C3 included in the moving image of the chapter. FIG. 9 is a diagram illustrating an example of images 7D1 to 7D3 included in the moving image of the chapter. FIG. 10 is a diagram illustrating an example of images 7E1 to 7E3 included in the moving image of the chapter. FIG. 11 is a diagram illustrating an example of images 7F1 to 7F3 included in a chapter moving image. FIG. 12 is a diagram illustrating an example of images 7G1 to 7G3 included in a chapter moving image. FIG. 13 is a diagram illustrating an example of images 7H1 to 7H3 included in the moving image of the chapter. FIG. 14 is a diagram illustrating an example of images 7J1 to 7J3 included in a chapter moving image. FIG. 15 is a diagram illustrating an example of the images 7K1 to 7K4 included in the chapter moving image. FIG. 16 is a diagram illustrating an example of images 7L1 to 7L3 included in the moving image of the chapter. FIG. 17 is a diagram illustrating an example of the images 7M1 to 7M3 included in the chapter moving image. FIG. 18 is a diagram illustrating an example of the state data 6C. FIG. 19 is a diagram illustrating an example of the guidance screen 80. FIG. 20 is a flowchart for explaining an example of the flow of the first time determination process. FIG. 21 is a diagram illustrating an example of the jump destination data 6U. FIG. 22 is a flowchart illustrating an example of the flow of the second time determination process. FIG. 23 is a diagram illustrating an example of the jump destination data 6R. FIG. 24 is a flowchart for explaining an example of the flow of third time determination processing.

ところで、一般に、メンテナンスは、ユーザが複数のステップ(工程、フェーズ)を決められた通りの手順つまり正しい手順で行うことによって、完了する。   By the way, in general, maintenance is completed when a user performs a plurality of steps (processes, phases) according to a predetermined procedure, that is, a correct procedure.

本実施形態では、1つのステップが正しく行われたことが、画像形成装置1のいずれか1つのセンサによる検出の結果に基づいて確認される。または、タッチパネルディスプレイ10eに表示される画面の中の所定のボタンへのタッチの検出によって確認される。   In the present embodiment, it is confirmed based on the result of detection by any one sensor of the image forming apparatus 1 that one step has been correctly performed. Alternatively, it is confirmed by detecting a touch on a predetermined button in the screen displayed on the touch panel display 10e.

状態変化データ記憶部101には、図5に示すように、状態変化データ6Aをメンテナンスごとに予め記憶されている。   As shown in FIG. 5, the state change data storage unit 101 stores state change data 6A in advance for each maintenance.

状態変化データ6Aは、メンテナンスが正しい手順で行われる際の、画像形成装置1のいずれかのセンサが検出する画像形成装置1の状態の変化(変化前および変化後それぞれの状態)を、ステップの順に示す。以下、メンテナンスごとの状態変化データ6Aを「状態変化データ6A1」、「状態変化データ6A2」、…と区別して記載することがある。   The state change data 6A indicates the change in the state of the image forming apparatus 1 (each state before and after the change) detected by any sensor of the image forming apparatus 1 when the maintenance is performed in the correct procedure. Shown in order. Hereinafter, the state change data 6A for each maintenance may be described separately as “state change data 6A1,” “state change data 6A2,”.

例えば、状態変化データ6A1は、「ステープラの紙詰まりの解消」というメンテナンスの状態変化データ6Aである。   For example, the state change data 6A1 is the maintenance state change data 6A “resolving a paper jam in the stapler”.

状態変化データ6A1によると、このメンテナンスの5つのステップそれぞれについて、正しく行われた場合の状態の変化およびそれを検出するセンサが、次の通り示される。   According to the state change data 6A1, for each of the five steps of the maintenance, a state change when correctly performed and a sensor for detecting the change are shown as follows.

最初に検出されるべき変化は、「前扉45が閉じた状態から開いた状態へ変化する」である。これは、前扉センサ401によって検出される。   The change to be detected first is “the front door 45 changes from a closed state to an open state”. This is detected by the front door sensor 401.

2番目に検出されるべき変化は、「第一のレバー441が上がった状態から下がった状態へ変化する」である。これは、第一のレバーセンサ402によって検出される。   The second change to be detected is “change from the state where the first lever 441 is raised to the state where it is lowered”. This is detected by the first lever sensor 402.

3番目に検出されるべき変化は、「第一の印刷物搬送路431に紙がある状態から無い状態へ変化する」である。これは、第一の搬送路センサ403によって検出される。   The third change to be detected is “change from a state in which there is paper in the first printed material conveyance path 431 to a state in which there is no paper”. This is detected by the first transport path sensor 403.

4番目に検出されるべき変化は、「第一のレバー441が下がった状態から上がった状態へ変化する」である。これは、第一のレバーセンサ402によって検出される。   The fourth change to be detected is “change from the state where the first lever 441 is lowered to the state where it is raised”. This is detected by the first lever sensor 402.

最後に検出されるべき変化は、「前扉45が開いた状態から閉じた状態へ変化する」である。これは、前扉センサ401によって検出される。   The last change to be detected is “the front door 45 changes from an open state to a closed state”. This is detected by the front door sensor 401.

なお、画像形成装置1の状態の変化は、ユーザの作業、つまり画像形成装置1に対するユーザの操作によって生じる。そのため、状態変化データ6Aは、メンテナンスの実行に必要なユーザの作業を表わすデータでもあると言える。   The change in the state of the image forming apparatus 1 is caused by the user's work, that is, the user's operation on the image forming apparatus 1. Therefore, it can be said that the state change data 6A is also data representing the user's work necessary for execution of maintenance.

さらに、状態変化データ6Aには、対応エラーが示される。対応エラーは、その状態変化データ6Aに係るメンテナンスを行う必要のあるエラーである。つまり、例えば、状態変化データ6A1の対応エラー6は、「ステープラの紙詰まり」のエラーが発生した場合に「ステープラの紙詰まりの解消」のメンテナンスを行う必要があることを、示している。   Further, the state change data 6A indicates a correspondence error. The handling error is an error that requires maintenance related to the state change data 6A. In other words, for example, the corresponding error 6 in the state change data 6A1 indicates that it is necessary to perform maintenance for “clearing a paper jam in the stapler” when a “stapler paper jam” error occurs.

再生データ記憶部102には、ガイダンスごとのガイダンスデータ6Bを予め記憶している。つまり、各状態変化データ6Aに対応するガイダンスデータ6Bを記憶している。以下、状態変化データ6A1、状態変化データ6A2、…、に対応するガイダンスデータ6Bをそれぞれ「ガイダンスデータ6B1」、「ガイダンスデータ6B2」、…と区別して記載することがある。   The reproduction data storage unit 102 stores guidance data 6B for each guidance in advance. That is, guidance data 6B corresponding to each state change data 6A is stored. Hereinafter, the guidance data 6B corresponding to the state change data 6A1, the state change data 6A2,... May be described separately from “guidance data 6B1”, “guidance data 6B2”,.

ガイダンスデータ6Bは、メンテナンスの流れを説明する動画像および音声のデータであって、ステップごとのステップデータなどによって構成される。なお、ガイダンスは、メンテナンスのステップごとの章(チャプター)によって構成される。   The guidance data 6B is moving image and audio data explaining the maintenance flow, and is composed of step data for each step. The guidance is composed of chapters (chapter) for each maintenance step.

例えば、状態変化データ6A1に対応するガイダンスデータ6Bつまりガイダンスデータ6B1には、5つのステップデータ6B11〜6B15が含まれる。ステップデータ6B11〜6B15は、それぞれ、1番目〜5番目のチャプターの動画像および音声を再生するためのデータである。   For example, the guidance data 6B corresponding to the state change data 6A1, that is, guidance data 6B1, includes five step data 6B11 to 6B15. The step data 6B11 to 6B15 are data for reproducing moving images and sounds of the first to fifth chapters, respectively.

ステップデータ6B11によると、図6に示すように動画像が再生される。つまり、前扉45が閉じた状態(画像7A1)から、前扉45が半分ほど開いた状態(画像7A2)、そして、前扉45が完全に開いた状態(画像7A3)に遷移する動画像が再生される。   According to the step data 6B11, a moving image is reproduced as shown in FIG. That is, a moving image transitions from a state where the front door 45 is closed (image 7A1) to a state where the front door 45 is opened about half (image 7A2) and a state where the front door 45 is fully opened (image 7A3). Played.

画像7A1〜7A3は、動画像の1つのコマ(フレーム)である。後述する画像7B1〜7B3、7C1〜7C3、7D1〜7D3、7E1〜7E3、7F1〜7F3、7G1〜7G3、7H1〜7H3、7J1〜7J3、7K1〜7K4、7L1〜7L3、および7M1〜7M3も、同様である。   The images 7A1 to 7A3 are one frame (frame) of the moving image. The same applies to images 7B1 to 7B3, 7C1 to 7C3, 7D1 to 7D3, 7E1 to 7E3, 7F1 to 7F3, 7G1 to 7G3, 7H1 to 7H3, 7J1 to 7J3, 7K1 to 7K3, 7L1 to 7L3, and 7M1 to 7M3 described later. It is.

さらに、ステップデータ6B11によると、動画像に応じた音声が再生される。後述するステップデータも、同様である。   Further, according to the step data 6B11, sound corresponding to the moving image is reproduced. The same applies to step data to be described later.

ステップデータ6B12によると、図7に示すように動画像が再生される。つまり、前扉45が完全に開き、ガイドによって第一の印刷物搬送路431が隠れ、かつ第一のレバー441が上がった状態(画像7B1)から、第一のレバー441が中間辺りまで下がった状態(画像7B2)、そして、第一のレバー441が完全に下がり第一の印刷物搬送路431が見える状態(画像7B3)に遷移する動画像が再生される。   According to the step data 6B12, a moving image is reproduced as shown in FIG. That is, the state in which the front door 45 is completely opened, the first printed material conveyance path 431 is hidden by the guide, and the first lever 441 is lowered from the state where the first lever 441 is raised (image 7B1) to the middle. (Image 7B2), and the first lever 441 is completely lowered, and a moving image transitioning to a state in which the first printed material conveyance path 431 is visible (image 7B3) is reproduced.

ステップデータ6B13によると、図8に示すように動画像が再生される。つまり、用紙が第一の印刷物搬送路431に残っている状態(画像7C1)から、用紙が半分くらい引き出された状態(画像7C2)、そして、用紙が取り除かれた状態(画像7C3)に遷移する動画像が再生される。   According to the step data 6B13, a moving image is reproduced as shown in FIG. That is, a transition is made from the state in which the paper remains in the first printed material conveyance path 431 (image 7C1) to the state in which the paper is pulled out about half (image 7C2) and the state in which the paper is removed (image 7C3). A moving image is played back.

ステップデータ6B14によると、図9に示すように動画像が再生される。つまり、第一の印刷物搬送路431が見え第一のレバー441が完全に下がった状態(画像7D1)から、第一のレバー441が中間辺りまで上がった状態(画像7D2)、そして、第一のレバー441が完全に上がり第一の印刷物搬送路431がガイドに隠れた状態(画像7D3)に遷移する動画像が再生される。   According to the step data 6B14, a moving image is reproduced as shown in FIG. That is, from the state where the first printed material conveyance path 431 is seen and the first lever 441 is completely lowered (image 7D1), the state where the first lever 441 is raised to the middle (image 7D2), and the first A moving image in which the lever 441 is completely raised and the first printed material conveyance path 431 is hidden by the guide (image 7D3) is reproduced.

ステップデータ6B15によると、図10に示すように動画像が再生される。つまり、前扉45が完全に開いた状態(画像7E1)から、前扉45が3分の2ほど閉じた状態(画像7E2)、そして、前扉45が完全に閉じた状態(画像7E3)に遷移する動画像が再生される。   According to the step data 6B15, a moving image is reproduced as shown in FIG. That is, the front door 45 is completely opened (image 7E1), the front door 45 is closed by about two thirds (image 7E2), and the front door 45 is completely closed (image 7E3). A moving image is reproduced.

また、状態変化データ6A2に対応するガイダンスデータ6Bつまりガイダンスデータ6B2には、4つのステップデータ6B21〜6B24が含まれる。   Further, the guidance data 6B corresponding to the state change data 6A2, that is, the guidance data 6B2, includes four step data 6B21 to 6B24.

ステップデータ6B21によると、図11に示すように動画像が再生される。つまり、正面扉26が閉じた状態(画像7F1)から、正面扉26が半分ほど開いた状態(画像7F2)、そして、正面扉26が完全に開いた状態(画像7F3)に遷移する動画像が再生される。   According to the step data 6B21, a moving image is reproduced as shown in FIG. That is, a moving image transitions from a state in which the front door 26 is closed (image 7F1) to a state in which the front door 26 is opened about half (image 7F2) and a state in which the front door 26 is completely opened (image 7F3). Played.

ステップデータ6B22によると、図12に示すように動画像が再生される。つまり、感光体ドラム31aがプリントユニット10iに完全に挿入された状態(画像7G1)から、感光体ドラム31aが半分ほど抜かれた状態(画像7G2)、そして、感光体ドラム31aが完全に抜かれた状態(画像7G3)に遷移する動画像が再生される。   According to the step data 6B22, a moving image is reproduced as shown in FIG. That is, from a state where the photoconductive drum 31a is completely inserted into the print unit 10i (image 7G1), a state where the photoconductive drum 31a is removed about half (image 7G2), and a state where the photoconductive drum 31a is completely removed (image 7G2). A moving image transitioning to the image 7G3) is reproduced.

ステップデータ6B23によると、図13に示すように動画像が再生される。つまり、感光体ドラム31aがプリントユニット10iに挿入されていない状態(画像7H1)から、新しい感光体ドラム31aが半分ほど挿入された状態(画像7H2)、そして、新しい感光体ドラム31aが完全に挿入された状態(画像7H3)に遷移する動画像が再生される。   According to the step data 6B23, a moving image is reproduced as shown in FIG. That is, from the state where the photoconductor drum 31a is not inserted into the print unit 10i (image 7H1), the state where the new photoconductor drum 31a is inserted about half (image 7H2), and the new photoconductor drum 31a is completely inserted. The moving image transitioning to the state (image 7H3) is reproduced.

ステップデータ6B24によると、図14に示すように動画像が再生される。つまり、正面扉26が完全に開いた状態(画像7J1)から、正面扉26が半分ほど閉じた状態(画像7J2)、そして、正面扉26が完全に閉じた状態(画像7J3)に遷移する動画像が再生される。   According to the step data 6B24, a moving image is reproduced as shown in FIG. That is, a moving image that transitions from a state in which the front door 26 is completely open (image 7J1) to a state in which the front door 26 is approximately half closed (image 7J2) and a state in which the front door 26 is completely closed (image 7J3). The image is reproduced.

また、状態変化データ6A3に対応するガイダンスデータ6Bつまりガイダンスデータ6B3には、3つのステップデータ6B31〜6B33が含まれる。   The guidance data 6B corresponding to the state change data 6A3, that is, the guidance data 6B3 includes three step data 6B31 to 6B33.

ステップデータ6B31によると、図15に示すように動画像が再生される。つまり、給紙カセット22aが収納された状態(画像7K1)から、給紙カセット22aの個所を着色するなどして強調した状態(画像7K2)、給紙カセット22aが半分ほど引き出された状態(画像7K3)、そして、給紙カセット22aが完全に引き出された状態(画像7K4)に遷移する動画像が再生される。   According to the step data 6B31, a moving image is reproduced as shown in FIG. That is, from the state in which the paper feed cassette 22a is stored (image 7K1), the state in which the location of the paper feed cassette 22a is emphasized by coloring or the like (image 7K2), and the state in which the paper feed cassette 22a is pulled out about half (image) 7K3), and a moving image is reproduced that transitions to a state in which the paper feed cassette 22a is completely pulled out (image 7K4).

ステップデータ6B32によると、図16に示すように動画像が再生される。つまり、給紙カセット22aが完全に引き出された状態(画像7L1)から、用紙を補給しようとしている状態(画像7L2)、そして、用紙を補給した状態(画像7L3)に遷移する動画像が再生される。   According to the step data 6B32, a moving image is reproduced as shown in FIG. That is, a moving image is reproduced that transitions from the state in which the paper feed cassette 22a is completely pulled out (image 7L1) to the state in which paper is being supplied (image 7L2) and the state in which paper is supplied (image 7L3). The

ステップデータ6B33によると、図17に示すように動画像が再生される。つまり、給紙カセット22aが完全に引き出された状態(画像7M1)から、給紙カセット22a給紙カセット22aが半分ほど収納された状態(画像7M2)、そして、給紙カセット22aが完全に収納された状態(画像7M3)に遷移する動画像が再生される。   According to the step data 6B33, a moving image is reproduced as shown in FIG. In other words, from the state in which the paper feed cassette 22a is completely pulled out (image 7M1), the state in which the paper feed cassette 22a is about half stored (image 7M2), and the paper feed cassette 22a is completely stored. The moving image transitioning to the state (image 7M3) is reproduced.

そのほか、各ステップのステップデータには、ガイダンスにおける、そのステップのチャプターの開始(先頭)の時刻(個所、ポイント)が示される。例えば、ガイダンスデータ6B1によって再生されるガイダンスを構成する5つのチャプタそれぞれの長さが「1分30秒」、「45秒」、「1分5秒」、「25秒」、および「35秒」である場合は、ステップデータ6B11〜6B15には、開始の時刻として、それぞれ、「0分0秒」、「1分30秒」、「2分15秒」、「3分20」秒、および「3分45秒」が示される。   In addition, the step data of each step indicates the start (head) time (location, point) of the chapter of the step in the guidance. For example, the lengths of the five chapters constituting the guidance reproduced by the guidance data 6B1 are “1 minute 30 seconds”, “45 seconds”, “1 minute 5 seconds”, “25 seconds”, and “35 seconds”. In the case of the step data 6B11 to 6B15, “0 minute 0 second”, “1 minute 30 second”, “2 minute 15 second”, “3 minute 20” second, and “ “3 min 45 sec” is shown.

状態データ記憶部103は、図18(A)のように、状態変化データ6Aごとに、状態データ6Cを記憶する。以下、状態変化データ6A1、6A2、…それぞれの状態データ6Cを「状態データ6C1」、「状態データ6C2」、…と区別して記載することがある。   As shown in FIG. 18A, the state data storage unit 103 stores state data 6C for each state change data 6A. Hereinafter, the state change data 6A1, 6A2,... May be described separately from “state data 6C1,” “state data 6C2,”.

状態データ6Cには、メンテナンスのステップごとの完了フラグ6Dが含まれている。完了フラグ6Dは、ステップが完了したか否かを示す。完了フラグ6Dが「1」であれば、ステップが完了したことを意味する。「0」であれば、未だ完了していないことを意味する。なお、いずれの完了フラグ6Dも、初期値は「0」である。   The status data 6C includes a completion flag 6D for each maintenance step. The completion flag 6D indicates whether or not the step is completed. If the completion flag 6D is “1”, it means that the step is completed. “0” means that it has not been completed yet. Note that the initial value of any completion flag 6D is “0”.

例えば、状態データ6C1には、ステープラの紙詰まりの解消のための5つのステップの完了フラグ6Dとして、完了フラグ6D11〜6D15が含まれている。   For example, the status data 6C1 includes completion flags 6D11 to 6D15 as completion flags 6D of five steps for clearing a paper jam of the stapler.

状態変化検出部106は、各センサによる検出の結果に応じて、完了フラグ6Dを更新する。どのような変化がどのセンサによって検出されたかによってどの完了フラグ6Dを更新するのかは、状態変化データ6Aに定められている。   The state change detection unit 106 updates the completion flag 6D according to the detection result of each sensor. It is determined in the state change data 6A which update flag 6D is updated depending on what change is detected by which sensor.

例えば、前扉45が閉じた状態から開いた状態へ変化することを前扉センサ401が検出したら、図18(B)のように完了フラグ6D11を「1」に更新する。または、第一のレバー441が上がった状態から下がった状態へ変化したことを第一のレバーセンサ402が検出したら、図18(B)のように完了フラグ6D12を「1」に更新する。   For example, when the front door sensor 401 detects that the front door 45 changes from a closed state to an open state, the completion flag 6D11 is updated to “1” as shown in FIG. Alternatively, when the first lever sensor 402 detects that the first lever 441 has changed from the raised state to the lowered state, the completion flag 6D12 is updated to “1” as shown in FIG.

このように、状態変化検出部106は、完了したステップを検出し、それに対応する完了フラグ6Dを更新する。   In this way, the state change detection unit 106 detects a completed step and updates the corresponding completion flag 6D.

ガイダンス画面表示部107は、所定のコマンドが入力されると、図19のようなガイダンス画面80をタッチパネルディスプレイ10eに表示させる。   When a predetermined command is input, the guidance screen display unit 107 displays a guidance screen 80 as shown in FIG. 19 on the touch panel display 10e.

ガイダンス画面80は、動画像ウィンドウ81、プログレスバー82、カーソル83、チャプターボタン84、再生ボタン85、および終了ボタン86などによって構成される。   The guidance screen 80 includes a moving image window 81, a progress bar 82, a cursor 83, a chapter button 84, a playback button 85, an end button 86, and the like.

動画像ウィンドウ81には、再生の対象のガイダンス(以下、「対象ガイダンス」と記載する。)の動画像などが表示される。対象ガイダンスは、ユーザによって指定される。または、ガイダンス画面表示部107が、発生したエラーを解消するためのメンテナンスのガイダンスを状態変化データ6A(図5参照)に基づいて対象ガイダンスとして選出してもよい。例えば、ステープラ41の紙詰まりがエラーとして発生した場合は、「ステープラの紙詰まりの解消」というメンテナンスのガイダンスを対象ガイダンスとして選出すればよい。   In the moving image window 81, a moving image or the like of guidance to be reproduced (hereinafter referred to as “target guidance”) is displayed. The target guidance is specified by the user. Alternatively, the guidance screen display unit 107 may select a maintenance guidance for eliminating the generated error as the target guidance based on the state change data 6A (see FIG. 5). For example, when a paper jam of the stapler 41 occurs as an error, a maintenance guidance “resolving a paper jam of the stapler” may be selected as the target guidance.

プログレスバー82は、対象ガイダンスの再生の進捗を示す。プログレスバー82の横幅の長さLが、対象ガイダンスを先頭から末尾まで通常の速さ(1倍速)で再生するのに掛かる時間(以下、「再生時間T0」と記載する。)の長さに対応している。また、プログレスバー82の左端が対象ガイダンスの先頭に対応し、右端が末尾に対応している。   The progress bar 82 indicates the progress of reproduction of the target guidance. The horizontal length L of the progress bar 82 is the length of time (hereinafter referred to as “reproduction time T0”) required to reproduce the target guidance from the beginning to the end at a normal speed (single speed). It corresponds. The left end of the progress bar 82 corresponds to the beginning of the target guidance, and the right end corresponds to the end.

カーソル83は、プログレスバー82の上に配置され、対象ガイダンスの現在の再生の時刻(以下、「現時刻Pg」と記載する。)に応じて移動する。したがって、カーソル83も、対象ガイダンスの再生の進捗を示す。例えば、再生時間T0が「3分30秒」であり、現時刻Pgが「1分10秒」である場合は、カーソル83は、プログレスバー82の左端からL/3だけ右へ進んだ位置に配置される。   The cursor 83 is arranged on the progress bar 82 and moves according to the current playback time of the target guidance (hereinafter referred to as “current time Pg”). Therefore, the cursor 83 also indicates the progress of reproduction of the target guidance. For example, when the playback time T0 is “3 minutes and 30 seconds” and the current time Pg is “1 minute and 10 seconds”, the cursor 83 is moved to the right by L / 3 from the left end of the progress bar 82. Be placed.

チャプターボタン84は、チャプターごとに1つずつ、プログレスバー82の上に、チャプターの開始の時刻に対応する位置に配置される。1番目以外のチャプターボタン84は、隣り合うチャプターの境界を指していると、言える。   One chapter button 84 is arranged on the progress bar 82 at a position corresponding to the start time of the chapter, one for each chapter. It can be said that the chapter buttons 84 other than the first point indicate boundaries between adjacent chapters.

プログレスバー82は、カーソル83の左右で相違する形態で表示される。例えば、左側は赤色で表示され、右側は白色で表示される。つまり、左右の形態の相違によって対象ガイダンスの再生の進捗を示す。一方、カーソル83は、上述の通り、プログレスバー82における位置によって対象ガイダンスの再生の進捗を示す。なお、カーソル83のデフォルトの位置は、プログレスバー82の左端である。   The progress bar 82 is displayed in a different form on the left and right of the cursor 83. For example, the left side is displayed in red and the right side is displayed in white. That is, the progress of reproduction of the target guidance is indicated by the difference between the left and right forms. On the other hand, the cursor 83 indicates the progress of reproduction of the target guidance according to the position on the progress bar 82 as described above. Note that the default position of the cursor 83 is the left end of the progress bar 82.

ユーザは、カーソル83をドラッグすることによって、カーソル83をプログレスバー82上の任意の位置へ移動させることができる。または、プログレスバー82上の任意の位置をタップすることによって、タップした位置へカーソル83を移動させることができる。または、チャプターボタン84をタップすることによって、そのチャプターボタン84と同じ位置へカーソル83を移動させることができる。ユーザは、このように操作することによって、対象ガイダンスを任意の時刻へジャンプさせて再生させることができる。   The user can move the cursor 83 to an arbitrary position on the progress bar 82 by dragging the cursor 83. Alternatively, by tapping an arbitrary position on the progress bar 82, the cursor 83 can be moved to the tapped position. Alternatively, by tapping the chapter button 84, the cursor 83 can be moved to the same position as the chapter button 84. By operating in this way, the user can jump the target guidance to an arbitrary time and reproduce it.

再生ボタン85は、対象ガイダンスの再生を開始するようにユーザが指令するためのボタンである。   The play button 85 is a button for the user to instruct to start playing the target guidance.

終了ボタン86は、対象ガイダンスの再生を終了するようにユーザが指令するためのボタンである。   The end button 86 is a button for the user to instruct the end of the reproduction of the target guidance.

第一のジャンプ先時刻決定部121は、プログレスバー82、カーソル83、またはチャプターボタン84が操作された際に、対象ガイダンスのどの時刻へジャンプさせるのかを決定する。以下、ジャンプ先の時刻を「ジャンプ先時刻Ps」と記載する。   The first jump destination time determination unit 121 determines which time of the target guidance to jump to when the progress bar 82, the cursor 83, or the chapter button 84 is operated. Hereinafter, the jump destination time is referred to as “jump destination time Ps”.

ところで、画像形成装置1には、再生のモードとして、ノーマルモードおよびビギナーモードがある。これら2つのモードは、プログレスバー82、カーソル83、またはチャプターボタン84に対して操作が行われた際の、対象ガイダンスにおけるジャンプの仕方が異なる。なお、再生のモードをどちらにするのかは、ユーザが任意に設定することができる。   Incidentally, the image forming apparatus 1 has a normal mode and a beginner mode as playback modes. These two modes differ in the way of jumping in the target guidance when an operation is performed on the progress bar 82, the cursor 83, or the chapter button 84. Note that the user can arbitrarily set the playback mode.

ノーマルモードの場合は、第一のジャンプ先時刻決定部121は、従来通り、ユーザがドラッグしまたはタップした通りにカーソル83を移動させる。つまり、プログレスバー82、カーソル83、またはチャプターボタン84によって指定された位置へ移動させる。以下、指定された位置を「指定位置」と記載する。そして、ジャンプ先時刻Psを指定位置に対応する時刻に決定する。   In the normal mode, the first jump destination time determination unit 121 moves the cursor 83 as dragged or tapped by the user as usual. That is, it is moved to a position designated by the progress bar 82, the cursor 83, or the chapter button 84. Hereinafter, the designated position is referred to as “designated position”. Then, the jump destination time Ps is determined as the time corresponding to the designated position.

例えば、再生時間T0が「3分30秒」であり、プログレスバー82の左端からL/6だけ右へ進んだ位置が指定位置である場合は、第一のジャンプ先時刻決定部121は、ジャンプ先時刻Psを「0分35秒」に決定する。または、指定位置に対応する時刻よりの所定の時間だけ前に戻った時刻に決定してもよい。例えば、この場合において、所定の時間が「3秒」であれば、「0分32秒」に決定する。   For example, when the playback time T0 is “3 minutes 30 seconds” and the position advanced to the right by L / 6 from the left end of the progress bar 82 is the designated position, the first jump destination time determination unit 121 The previous time Ps is determined to be “0 minute 35 seconds”. Alternatively, it may be determined at a time that is returned by a predetermined time before the time corresponding to the designated position. For example, in this case, if the predetermined time is “3 seconds”, it is determined to be “0 minute 32 seconds”.

なお、第一のジャンプ先時刻決定部121は、ジャンプ先時刻Psを、指定位置に対応する時刻を含むチャプターの先頭(開始)の時刻に決定してもよい。例えば、指定位置に対応する時刻が2番目のチャプターに含まれる場合は、2番目のチャプターの先頭の時刻に決定してもよい。   The first jump destination time determination unit 121 may determine the jump destination time Ps as the start (start) time of the chapter including the time corresponding to the designated position. For example, when the time corresponding to the designated position is included in the second chapter, it may be determined as the first time of the second chapter.

一方、ビギナーモードの場合は、第一のジャンプ先時刻決定部121は、図20に示す手順でジャンプ先時刻Psを決定する。   On the other hand, in the beginner mode, the first jump destination time determination unit 121 determines the jump destination time Ps according to the procedure shown in FIG.

さらに、再生の位置をジャンプ(変更)するモードとして、視線モードおよび音声ジャンプモードが画像形成装置1に用意されている。「視線モード」は、ユーザの視線によって再生の位置をジャンプするモードである。「音声モード」は、ユーザの音声によって再生の位置をジャンプするモードである。視線モードおよび音声モードは、いずれもオンおよびオフを切り換えることができる。   Further, a line-of-sight mode and an audio jump mode are prepared in the image forming apparatus 1 as modes for jumping (changing) the playback position. The “line-of-sight mode” is a mode for jumping the playback position according to the user's line of sight. The “voice mode” is a mode in which the playback position is jumped by the user's voice. Both the line-of-sight mode and the audio mode can be switched on and off.

第一のジャンプ先時刻決定部121は、対象ガイダンスの状態データ6Cを状態データ記憶部103から読み出すとともに(図20の#701)、指定位置に対応する時刻のステップを特定する(#702)。この時刻は、対象ガイダンスのガイダンスデータ6Bの各ステップデータに示される開始の時刻に基づいて特定することができる。   The first jump destination time determination unit 121 reads the state data 6C of the target guidance from the state data storage unit 103 (# 701 in FIG. 20) and specifies the time step corresponding to the designated position (# 702). This time can be specified based on the start time indicated in each step data of the guidance data 6B of the target guidance.

第一のジャンプ先時刻決定部121は、特定したステップが、ユーザが現在行うべきステップ(以下、「注目ステップ」と記載する。)と一致するか否かをチェックする(#703)。注目ステップは、対象ガイダンスの状態データ6Cによって判別することができる。つまり、読み出した状態データ6Cの中から「0」を示す完了フラグ6Dを検索する。そして、「0」を示す完了フラグ6Dのうちの先頭に最も近い完了フラグ6Dに係るステップを注目ステップであると判別する。   The first jump destination time determination unit 121 checks whether or not the identified step matches the step that the user should perform now (hereinafter referred to as “attention step”) (# 703). The attention step can be determined by the state data 6C of the target guidance. That is, the completion flag 6D indicating “0” is searched from the read state data 6C. Then, it is determined that the step related to the completion flag 6D closest to the head among the completion flags 6D indicating "0" is the attention step.

そして、特定したステップが注目ステップである場合は(#704でYes)、第一のジャンプ先時刻決定部121は、ノーマルモードの場合と同様に、ジャンプ先時刻Psを指定位置に対応する時刻に決定する(#705)。さらに、カーソル83を指定位置へ移動させる。なお、ジャンプ先時刻Psを、指定位置に対応する時刻が属するステップの先頭の時刻に決定してもよい。   If the identified step is the step of interest (Yes in # 704), the first jump destination time determination unit 121 sets the jump destination time Ps to the time corresponding to the designated position, as in the normal mode. Determine (# 705). Further, the cursor 83 is moved to the designated position. Note that the jump destination time Ps may be determined as the start time of the step to which the time corresponding to the designated position belongs.

一方、特定したステップが注目ステップでない場合は(#704でNo)、第一のジャンプ先時刻決定部121は、ジャンプ先時刻Psを、注目ステップの開始(最初のコマ)の時刻に決定する(#706)。つまり、第一のジャンプ先時刻決定部121は、指定位置に対応する時刻に関わらず、ジャンプ先時刻Psを、未だ完了していないステップのうちの先頭のステップの開始の時刻に決定する。   On the other hand, when the identified step is not the attention step (No in # 704), the first jump destination time determination unit 121 determines the jump destination time Ps as the time of the start (first frame) of the attention step ( # 706). That is, the first jump destination time determination unit 121 determines the jump destination time Ps as the start time of the first step among steps that have not been completed, regardless of the time corresponding to the designated position.

例えば、対象ガイダンスがステープラの紙詰まりの解消に関するものであり、このメンテナンスの状態データ6Cの完了フラグ6Dそれぞれの値が図18(B)に示す通りである場合は、第一のジャンプ先時刻決定部121は、ジャンプ先時刻Psを、3番目のステップの開始の時刻(つまり、「1分30秒」)、に決定する。   For example, when the target guidance is related to clearing a paper jam in the stapler and the values of the completion flag 6D of the maintenance status data 6C are as shown in FIG. 18B, the first jump destination time is determined. The unit 121 determines the jump destination time Ps as the start time of the third step (that is, “1 minute 30 seconds”).

動画像再生部124は、対象ガイダンスのガイダンスデータ6Bに基づいてガイダンス画面80の動画像ウィンドウ81に対象ガイダンスの動画像を表示させる。つまり、対象ガイダンスの動画像を再生させる。   The moving image reproduction unit 124 displays the moving image of the target guidance in the moving image window 81 of the guidance screen 80 based on the guidance data 6B of the target guidance. That is, the moving image of the target guidance is reproduced.

具体的には、動画像再生部124は、ユーザによる操作または第一のジャンプ先時刻決定部121による処理の結果などに応じて、次のように動画像を再生させる。   Specifically, the moving image reproduction unit 124 reproduces the moving image as follows according to the operation by the user or the result of the processing by the first jump destination time determination unit 121.

ユーザが再生ボタン85をタップすると、動画像再生部124は、対象ガイダンスのガイダンスデータ6Bを再生データ記憶部102から読み出し、カーソル83の現在の位置に対応する時刻から対象ガイダンスの再生を開始する。ユーザが未だプログレスバー82、カーソル83、またはチャプターボタン84を操作していなければ、カーソル83のデフォルトの位置はプログレスバー82の左端なので、1番目のステップの先頭すなわち「0分0秒」から対象ガイダンスの再生を開始する。   When the user taps the playback button 85, the moving image playback unit 124 reads the guidance data 6B of the target guidance from the playback data storage unit 102, and starts playback of the target guidance from the time corresponding to the current position of the cursor 83. If the user has not yet operated the progress bar 82, the cursor 83, or the chapter button 84, the default position of the cursor 83 is the left end of the progress bar 82, so the target is from the beginning of the first step, that is, “0 minute 0 second”. Start playing guidance.

再生中にユーザがプログレスバー82、カーソル83、またはチャプターボタン84を操作すると、上述の通り、第一のジャンプ先時刻決定部121によってジャンプ先時刻Psが決定される。すると、動画像再生部124は、ジャンプ先時刻Psへジャンプし、動画像の再生を継続する。   When the user operates the progress bar 82, the cursor 83, or the chapter button 84 during reproduction, the first jump destination time determination unit 121 determines the jump destination time Ps as described above. Then, the moving image reproduction unit 124 jumps to the jump destination time Ps and continues to reproduce the moving image.

例えば、「3分5秒」の時刻の動画像を再生している最中にジャンプ先時刻Psが「3分25秒」に決定されると、動画像再生部124は、「3分25秒」のところへスキップして動画像を再生する。または、ジャンプ先時刻Psが「2分15秒」に決定されると、「2分15秒」のところへ戻って動画像を再生する。   For example, when the jump destination time Ps is determined to be “3 minutes and 25 seconds” while the moving image at the time of “3 minutes and 5 seconds” is being played back, the moving image playback unit 124 displays “3 minutes and 25 seconds”. Skip to “” and play the video. Alternatively, when the jump destination time Ps is determined to be “2 minutes 15 seconds”, the process returns to “2 minutes 15 seconds” to reproduce the moving image.

ジャンプ先時刻Psは、後述する第二のジャンプ先時刻決定部122または第三のジャンプ先時刻決定部123によっても決定される。そして、動画像再生部124は、ジャンプ先時刻Psが第二のジャンプ先時刻決定部122または第三のジャンプ先時刻決定部123によって決定されるごとに、ジャンプ先時刻Psへジャンプして動画像を再生する。   The jump destination time Ps is also determined by a second jump destination time determination unit 122 or a third jump destination time determination unit 123 described later. Then, each time the jump destination time Ps is determined by the second jump destination time determination unit 122 or the third jump destination time determination unit 123, the moving image reproduction unit 124 jumps to the jump destination time Ps to move the moving image. Play.

音声再生部125は、対象ガイダンスのガイダンスデータ6Bに基づいて、動画像再生部124による動画像の表示に合わせて音声が出力されるように音声ユニット10kを制御する。   Based on the guidance data 6B of the target guidance, the audio reproducing unit 125 controls the audio unit 10k so that audio is output in accordance with the moving image display by the moving image reproducing unit 124.

第二のジャンプ先時刻決定部122は、視線計測器10nによって検知された視線に基づいてジャンプ先時刻Psを決定する。以下、この仕組みについて、説明する。   The second jump destination time determination unit 122 determines the jump destination time Ps based on the line of sight detected by the line-of-sight measuring instrument 10n. Hereinafter, this mechanism will be described.

ところで、第一のタイムテーブル記憶部104には、ガイダンスごとの第一のタイムテーブル6Tが予め記憶されている。例えば、状態変化データ6A1に係るガイダンス(ステープラの紙詰まりの解消のためのガイダンス)の第一のタイムテーブル6Tとして、図21のような第一のタイムテーブル6T1が記憶されている。   Incidentally, the first time table storage unit 104 stores a first time table 6T for each guidance in advance. For example, a first time table 6T1 as shown in FIG. 21 is stored as a first time table 6T of guidance related to the state change data 6A1 (guidance for eliminating paper jams in the stapler).

第一のタイムテーブル6Tには、複数のジャンプ先データ6Uが格納されている。ジャンプ先データ6Uは、時間帯6Ua、視線座標6Ub、注目対象6Uc、およびジャンプ先時刻6Udを示している。ジャンプ先データ6Uは、ジャンプ先時刻Psを決定するために第二のジャンプ先時刻決定部122によって次のように使用される。   A plurality of jump destination data 6U is stored in the first time table 6T. The jump destination data 6U indicates a time zone 6Ua, a line-of-sight coordinate 6Ub, a target of interest 6Uc, and a jump destination time 6Ud. The jump destination data 6U is used as follows by the second jump destination time determination unit 122 to determine the jump destination time Ps.

視線計測器10nは、対象ガイダンスが再生されている間、ユーザの視線の方向を検知し続け、ガイダンス画面80の中の、ユーザが見ている位置を特定し続ける。以下、この位置を「注目位置F0」と記載する。   The line-of-sight measuring instrument 10n continues to detect the direction of the user's line of sight while the target guidance is being reproduced, and continues to specify the position of the guidance screen 80 where the user is looking. Hereinafter, this position is referred to as “attention position F0”.

第二のジャンプ先時刻決定部122は、視線モードがオンである場合に、ガイダンス画面80が表示されている間、注目位置、現時刻Pg、および対象ガイダンスの第一のタイムテーブル6Tに基づいてジャンプ先時刻Psを、図22に示す手順で決定する。   The second jump destination time determination unit 122 is based on the attention position, the current time Pg, and the first time table 6T of the target guidance while the guidance screen 80 is displayed when the line-of-sight mode is on. The jump destination time Ps is determined by the procedure shown in FIG.

第二のジャンプ先時刻決定部122は、対象ガイダンスの第一のタイムテーブル6Tを第一のタイムテーブル記憶部104から読み出す(図22の#711)。この第一のタイムテーブル6Tの中から次の要件_1および要件_2を両方とも備えるジャンプ先データ6Uを検索する(#712)。
(要件_1) 時間帯6Uaに現時刻Pgが含まれていること。
(要件_2) 視線座標6Ubが注目位置F0から所定の距離D1(例えば、1センチメートル)以内にあること。
The second jump destination time determination unit 122 reads the first time table 6T of the target guidance from the first time table storage unit 104 (# 711 in FIG. 22). The first time table 6T is searched for jump destination data 6U having both the following requirement_1 and requirement_2 (# 712).
(Requirement_1) The current time Pg is included in the time zone 6Ua.
(Requirement_2) The line-of-sight coordinate 6Ub is within a predetermined distance D1 (for example, 1 centimeter) from the target position F0.

検索の結果、ジャンプ先データ6Uが見つかったら(#713でYes)、第二のジャンプ先時刻決定部122は、このジャンプ先データ6Uに示される視線座標6Ubが注目位置F0から所定の距離D1にある状態が所定の時間Ts(例えば、2秒)以上続いたら(#714でYes)、ジャンプ先時刻Psを、このジャンプ先データ6Uに示されるジャンプ先時刻6Udに決定する(#715)。つまり、ユーザが視線座標6Ubまたはその付近を凝視していたら、ジャンプ先時刻Psをこのジャンプ先時刻6Udに決定する。   If the jump destination data 6U is found as a result of the search (Yes in # 713), the second jump destination time determination unit 122 sets the line-of-sight coordinate 6Ub indicated by the jump destination data 6U to a predetermined distance D1 from the target position F0. If a certain state continues for a predetermined time Ts (for example, 2 seconds) or more (Yes in # 714), the jump destination time Ps is determined as the jump destination time 6Ud indicated in the jump destination data 6U (# 715). That is, if the user is staring at the line-of-sight coordinates 6Ub or the vicinity thereof, the jump destination time Ps is determined as the jump destination time 6Ud.

例えば、ステープラの紙詰まりの解消のためのガイダンスが対象ガイダンスとして再生されており、現時刻Pgが「1分20秒」であり、ジャンプ先データ6U1gに示される視線座標6Ubのみが注目位置F0から所定の距離D1以内にある場合は、ユーザが注目位置F0を所定の時間Ts以上、凝視したら、ジャンプ先データ6U1gに示されるジャンプ先時刻6Udつまり「1分30秒」がジャンプ先時刻Psとして決定される。   For example, guidance for clearing a paper jam in the stapler is reproduced as the target guidance, the current time Pg is “1 minute 20 seconds”, and only the line-of-sight coordinate 6Ub indicated by the jump destination data 6U1g is from the target position F0. If it is within the predetermined distance D1, when the user stares at the target position F0 for a predetermined time Ts or longer, the jump destination time 6Ud indicated by the jump destination data 6U1g, that is, “1 minute 30 seconds” is determined as the jump destination time Ps. Is done.

そして、動画像再生部124および音声再生部125によって、ジャンプ先時刻Psから動画像および音声が再生される。   Then, the moving image reproduction unit 124 and the audio reproduction unit 125 reproduce the moving image and the audio from the jump destination time Ps.

なお、要件_1および要件_2の両方を満たすジャンプ先データ6Uが複数ある場合は、第二のジャンプ先時刻決定部122は、ジャンプ先時刻Psを、注目位置F0から近いほうの視線座標6Ubを有するジャンプ先データ6Uに示されるジャンプ先時刻6Udに決定すればよい。   When there are a plurality of jump destination data 6U satisfying both requirement_1 and requirement_2, the second jump destination time determination unit 122 has the line-of-sight coordinates 6Ub closer to the target position F0 for the jump destination time Ps. The jump destination time 6Ud indicated in the jump destination data 6U may be determined.

第三のジャンプ先時刻決定部123は、音声ユニット10kによって得られた音声に基づいてジャンプ先時刻Psを決定する。以下、この仕組みについて、説明する。   The third jump destination time determination unit 123 determines the jump destination time Ps based on the voice obtained by the voice unit 10k. Hereinafter, this mechanism will be described.

ところで、第二のタイムテーブル記憶部105には、ガイダンスごとの第二のタイムテーブル6Sが予め記憶されている。例えば、状態変化データ6A1に係るガイダンス(ステープラの紙詰まりの解消のためのガイダンス)の第二のタイムテーブル6Sとして、図23のような第二のタイムテーブル6S1が記憶されている。   Incidentally, the second time table storage unit 105 stores in advance a second time table 6S for each guidance. For example, a second time table 6S1 as shown in FIG. 23 is stored as the second time table 6S of the guidance (guidance for eliminating jammed stapler) related to the state change data 6A1.

第二のタイムテーブル6Sには、複数のジャンプ先データ6Rが格納されている。ジャンプ先データ6Rは、時間帯6Ra、キーワード6Rb、およびジャンプ先時刻6Rcを示している。ジャンプ先データ6Rは、ジャンプ先時刻Psを決定するために第三のジャンプ先時刻決定部123によって次のように使用される。   The second time table 6S stores a plurality of jump destination data 6R. The jump destination data 6R indicates a time zone 6Ra, a keyword 6Rb, and a jump destination time 6Rc. The jump destination data 6R is used by the third jump destination time determination unit 123 as follows to determine the jump destination time Ps.

音声ユニット10kは、ガイダンス画面80が表示されている間、ユーザが発した音声を集音する。   The voice unit 10k collects the voice uttered by the user while the guidance screen 80 is displayed.

第三のジャンプ先時刻決定部123は、音声モードがオンである場合に、音声ユニット10kによって音声が集音されると、公知の音声認識技術によって、その音声が表わす語句を認識する。以下、この語句を「入力語句」と記載する。   When the voice mode is on and the voice unit 10k collects voice when the voice mode is on, the third jump destination time determination unit 123 recognizes a phrase represented by the voice using a known voice recognition technique. Hereinafter, this phrase is referred to as “input phrase”.

そして、第三のジャンプ先時刻決定部123は、入力語句、現時刻Pg、および対象ガイダンスの第二のタイムテーブル6Sに基づいてジャンプ先時刻Psを、図24に示す手順で決定する。   Then, the third jump destination time determination unit 123 determines the jump destination time Ps according to the procedure shown in FIG. 24 based on the input word / phrase, the current time Pg, and the second time table 6S of the target guidance.

第三のジャンプ先時刻決定部123は、対象ガイダンスの第二のタイムテーブル6Sを第二のタイムテーブル記憶部105から読み出す(図24の#721)。この第二のタイムテーブル6Sの中から次の要件_3および要件_4を両方とも備えるジャンプ先データ6Rを検索する(#722)。
(要件_3) 時間帯6Raに現時刻Pgが含まれていること。
(要件_4) キーワード6Rbが入力語句と一致すること。
The third jump destination time determination unit 123 reads the second time table 6S of the target guidance from the second time table storage unit 105 (# 721 in FIG. 24). The second time table 6S is searched for jump destination data 6R having both the following requirement_3 and requirement_4 (# 722).
(Requirement_3) The current time Pg is included in the time zone 6Ra.
(Requirement_4) The keyword 6Rb matches the input phrase.

検索の結果、ジャンプ先データ6Rが見つかったら(#723でYes)、第三のジャンプ先時刻決定部123は、ジャンプ先時刻Psを、このジャンプ先データ6Rに示されるジャンプ先時刻6Rcに決定する(#724)。   If the jump destination data 6R is found as a result of the search (Yes in # 723), the third jump destination time determination unit 123 determines the jump destination time Ps to the jump destination time 6Rc indicated by the jump destination data 6R. (# 724).

例えば、ステープラの紙詰まりの解消のためのガイダンスが対象ガイダンスとして再生されており、現時刻Pgが「2分40秒」であり、入力語句が「次」である場合は、ジャンプ先データ6R1cに示されるジャンプ先時刻6Rcつまり「3分20秒」がジャンプ先時刻Psとして決定される。   For example, when the guidance for clearing the paper jam of the stapler is reproduced as the target guidance, the current time Pg is “2 minutes 40 seconds”, and the input word is “next”, the jump destination data 6R1c is stored. The jump destination time 6Rc shown, that is, “3 minutes 20 seconds” is determined as the jump destination time Ps.

そして、動画像再生部124および音声再生部125によって、ジャンプ先時刻Psから動画像および音声が再生される。   Then, the moving image reproduction unit 124 and the audio reproduction unit 125 reproduce the moving image and the audio from the jump destination time Ps.

図25は、画像形成装置1におけるガイダンスの表示のための全体的な処理の流れの例を示す図である。   FIG. 25 is a diagram showing an example of the overall processing flow for displaying guidance in the image forming apparatus 1.

次に、フローチャートを参照しながら、画像形成装置1がガイダンスを表示する処理の流れを説明する。   Next, a flow of processing in which the image forming apparatus 1 displays guidance will be described with reference to a flowchart.

画像形成装置1は、ガイダンス再生プログラム10Pに基づいて、図25に示す手順で処理を実行する。   The image forming apparatus 1 executes processing according to the procedure shown in FIG. 25 based on the guidance reproduction program 10P.

画像形成装置1は、ガイダンス画面80(図19参照)を表示する(#731)。再生ボタン85がタップされると(#732でYes)、カーソル83の現在の位置に対応する時刻から、対象ガイダンスの動画像および音声を再生し始める(#733)。   The image forming apparatus 1 displays the guidance screen 80 (see FIG. 19) (# 731). When the play button 85 is tapped (Yes in # 732), the moving image and sound of the target guidance starts to be played from the time corresponding to the current position of the cursor 83 (# 733).

または、いずれかのセンサによって状態の変化を検出したら(#734でYes)、画像形成装置1は、検出した変化に応じて、対象ガイダンスの状態データ6Cのいずれかの完了フラグ6D(図18参照)を「1」に更新する(#735)。   Alternatively, when a change in state is detected by any one of the sensors (Yes in # 734), the image forming apparatus 1 determines any completion flag 6D in the state data 6C of the target guidance according to the detected change (see FIG. 18). ) Is updated to “1” (# 735).

または、プログレスバー82、カーソル83、またはチャプターボタン84に対して操作が行われたら(#736でYes)、画像形成装置1は、再生のモードがビギナーモードである場合は図20に示した方法でジャンプ先時刻Psを決定し、ノーマルモードである場合はユーザが操作した通りに(つまり、指定位置へ)カーソル83を移動させてジャンプ先時刻Psを移動先の位置(指定位置)の時刻に決定する(#737)。ビギナーモードである場合は、カーソル83をジャンプ先時刻Psに対応する位置へ移動させる。   Alternatively, when an operation is performed on the progress bar 82, the cursor 83, or the chapter button 84 (Yes in # 736), the image forming apparatus 1 uses the method shown in FIG. 20 when the playback mode is the beginner mode. To determine the jump destination time Ps. In the normal mode, the cursor 83 is moved as operated by the user (that is, to the designated position), and the jump destination time Ps is set to the time of the destination position (designated position). Determine (# 737). In the beginner mode, the cursor 83 is moved to a position corresponding to the jump destination time Ps.

なお、ノーマルモードである場合は、指定位置に対応する時刻を含むチャプターの先頭へカーソル83を移動させ、ジャンプ先時刻Psをチャプターの先頭の時刻へに決定してもよい。   In the normal mode, the cursor 83 may be moved to the beginning of the chapter including the time corresponding to the designated position, and the jump destination time Ps may be determined as the beginning time of the chapter.

そして、画像形成装置1は、ジャンプ先時刻Psへジャンプする(#738)。つまり、現時刻Pgをジャンプ先時刻Psに合わせる。対象ガイダンスを再生中であれば、ジャンプ先時刻Psへスキップしまたは戻って、再生を継続する。   Then, the image forming apparatus 1 jumps to the jump destination time Ps (# 738). That is, the current time Pg is adjusted to the jump destination time Ps. If the target guidance is being reproduced, the reproduction is continued by skipping or returning to the jump destination time Ps.

または、視線モードがオンである場合は(#739でYes)、画像形成装置1は、常時、ユーザの視線の方向を検知し、注目位置F0を特定し、ジャンプ先時刻Psを決定する処理を行う(#740)。この処理の手順は、前に図22で説明した通りである。そして、ジャンプ先時刻Psが決定したら(#741でYes)、ジャンプ先時刻Psへジャンプする(#742)。   Alternatively, when the line-of-sight mode is on (Yes in # 739), the image forming apparatus 1 always detects the direction of the user's line of sight, identifies the attention position F0, and determines the jump destination time Ps. (# 740). The procedure of this process is as described above with reference to FIG. When the jump destination time Ps is determined (Yes in # 741), the jump is made to the jump destination time Ps (# 742).

この際に、画像形成装置1は、カーソル83をジャンプ先時刻Psに対応する位置へ移動させ、現時刻Pgをジャンプ先時刻Psに合わせる。対象ガイダンスを再生中であれば、ジャンプ先時刻Psへスキップしまたは戻って、再生を継続する。次に説明するステップ#747においても同様である。   At this time, the image forming apparatus 1 moves the cursor 83 to a position corresponding to the jump destination time Ps, and adjusts the current time Pg to the jump destination time Ps. If the target guidance is being reproduced, the reproduction is continued by skipping or returning to the jump destination time Ps. The same applies to step # 747 described next.

または、音声モードがオンである場合は(#743でYes)、画像形成装置1は、音声が入力されたら(#744でYes)、その音声(入力音声)に基づいてジャンプ先時刻Psを決定する処理を行う(#745)。この処理の手順は、前に図24で説明した通りである。そして、ジャンプ先時刻Psが決定したら(#746でYes)、ジャンプ先時刻Psへジャンプする(#747)。   Alternatively, when the sound mode is on (Yes in # 743), the image forming apparatus 1 determines the jump destination time Ps based on the sound (input sound) when the sound is input (Yes in # 744). (# 745). The procedure of this processing is as described above with reference to FIG. When the jump destination time Ps is determined (Yes in # 746), the jump is made to the jump destination time Ps (# 747).

画像形成装置1は、停止の指令が入力されまたは動画像を最後まで再生するまで、ステップ#733の処理、ステップ#735の処理、ステップ#737〜#738の処理、ステップ#740〜#742の処理、およびステップ#745〜#747の処理を適宜、実行する。   The image forming apparatus 1 performs the process of step # 733, the process of step # 735, the process of steps # 737 to # 738, and the processes of steps # 740 to # 742 until a stop command is input or the moving image is reproduced to the end. The process and the processes of steps # 745 to # 747 are executed as appropriate.

本実施形態によると、ユーザは、ガイダンスの再生の時刻を従来よりも容易に指定することができる。   According to the present embodiment, the user can specify the reproduction time of the guidance more easily than in the past.

図26は、ジャンプ先データ6Pの例を示す図である。図27は、第二の時刻決定処理の流れの変形例を説明するフローチャートである。図28は、ジャンプ先データ6Qの例を示す図である。図29は、第三の時刻決定処理の流れの変形例を説明するフローチャートである。   FIG. 26 is a diagram illustrating an example of the jump destination data 6P. FIG. 27 is a flowchart illustrating a modified example of the flow of the second time determination process. FIG. 28 is a diagram illustrating an example of the jump destination data 6Q. FIG. 29 is a flowchart illustrating a modification of the flow of the third time determination process.

本実施形態では、画像形成装置1は、再生モードがノーマルモードである場合、視線モードがオンである場合、および音声モードがオンである場合に、画像形成装置1の状態に関係なくジャンプ先時刻Psを決定した。   In the present embodiment, the image forming apparatus 1 determines the jump destination time regardless of the state of the image forming apparatus 1 when the reproduction mode is the normal mode, when the line-of-sight mode is on, and when the audio mode is on. Ps was determined.

しかし、画像形成装置1の状態に応じてジャンプ先時刻Psを例えば次のように決定してもよい。   However, the jump destination time Ps may be determined as follows, for example, according to the state of the image forming apparatus 1.

図26のように、第一のタイムテーブル6Tにジャンプ先データ6U(図21参照)の代わりにジャンプ先データ6Pを格納する。ジャンプ先データ6Pは、時間帯6Pa、視線座標6Pb、注目対象6Pc、ジャンプ先時刻6Pd、および完了必須ステップ6Peが示される。時間帯6Pa、視線座標6Pb、注目対象6Pc、およびジャンプ先時刻6Pdは、それぞれ、時間帯6Ua、視線座標6Ub、注目対象6Uc、およびジャンプ先時刻6Udと同様の情報である。   As shown in FIG. 26, the jump destination data 6P is stored in the first time table 6T instead of the jump destination data 6U (see FIG. 21). The jump destination data 6P indicates a time zone 6Pa, a line-of-sight coordinate 6Pb, a target of interest 6Pc, a jump destination time 6Pd, and a completion-required step 6Pe. The time zone 6Pa, the line-of-sight coordinate 6Pb, the attention target 6Pc, and the jump destination time 6Pd are the same information as the time zone 6Ua, the line-of-sight coordinate 6Ub, the attention target 6Uc, and the jump destination time 6Ud, respectively.

完了必須ステップ6Peは、ジャンプ先時刻6Pdへジャンプするまでに完了していなければならないステップの番号である。   Completion required step 6Pe is the number of the step that must be completed before jumping to jump destination time 6Pd.

例えば、第一のタイムテーブル6T1には、ジャンプ先データ6Pの1つとしてジャンプ先データ6P1eが格納されている。ジャンプ先データ6P1eには、ジャンプ先時刻6Pdとして「3分20秒」が示され、完了必須ステップ6Peの番号として「2」が示される。これは、ステープラの紙詰まりの解消のためのメンテナンスの2番目のステップが完了していれば、3分20秒の時刻へジャンプするのを認め、完了していなければジャンプするのを禁止することを、意味する。   For example, the first time table 6T1 stores jump destination data 6P1e as one of the jump destination data 6P. In the jump destination data 6P1e, “3 minutes 20 seconds” is indicated as the jump destination time 6Pd, and “2” is indicated as the number of the completion-required step 6Pe. This allows jumping to a time of 3 minutes 20 seconds if the second step of maintenance for clearing a staple jam is completed, and prohibiting jumping if it is not completed Means.

そして、ジャンプ先データ6P1eによると、左から4番目のチャプターボタン84(図19参照)がタップされると、第二のジャンプ先時刻決定部122によって図27に示す手順で処理が行われる。   Then, according to the jump destination data 6P1e, when the fourth chapter button 84 (see FIG. 19) from the left is tapped, the second jump destination time determination unit 122 performs processing in the procedure shown in FIG.

なお、2番目のステップは、レバーを下げるステップである。このステップを完了することなく詰まった用紙を取り除こうとすると、用紙が破れてしまって用紙を取り除きにくくなったり、ローラを故障させてしまったりすることがある。つまり、さらなる不具合が生じることがある。そこで、2番目のステップの番号が完了必須ステップ6Peとして示される。1番目、3番目、4番目、および5番目の各ステップは、完了していなくても、さらなる不具合が生じることがほとんどないので、完了必須ステップ6Peには示されない。   The second step is a step of lowering the lever. If you try to remove a jammed paper without completing this step, the paper may be torn and it may be difficult to remove the paper, or the roller may be damaged. In other words, further problems may occur. Therefore, the number of the second step is indicated as the completion-required step 6Pe. The first, third, fourth, and fifth steps are not shown in the completion-required step 6Pe because even if they are not completed, there is almost no further problem.

部材のロックを解除するステップおよび中身を確認するために部材を引き出すステップなどが、省略すると不具合を生じやすい。一方、扉を開けまたは閉じるステップおよび消耗品を補給するステップなどが、省略しても不具合を生じにくい。   If the step of unlocking the member and the step of pulling out the member to confirm the contents are omitted, problems are likely to occur. On the other hand, even if the step of opening or closing the door and the step of replenishing consumables are omitted, problems are unlikely to occur.

第二のジャンプ先時刻決定部122(図4参照)は、図22のステップ#711〜#712と同様の処理を実行する(#751、#752)。ただし、ジャンプ先データ6Uの代わりにジャンプ先データ6Pを検索する。   The second jump destination time determination unit 122 (see FIG. 4) executes the same processing as steps # 711 to # 712 in FIG. 22 (# 751, # 752). However, the jump destination data 6P is searched instead of the jump destination data 6U.

ジャンプ先データ6Pが見つかったら(#753でYes)、第二のジャンプ先時刻決定部122は、このジャンプ先データ6Pに示される視線座標6Pbをユーザが凝視していたら(#754でYes)、このジャンプ先データ6Pに示される完了必須ステップ6Peが完了しているか否かをチェックする(#755)。   If the jump destination data 6P is found (Yes in # 753), the second jump destination time determination unit 122, if the user is staring at the line-of-sight coordinate 6Pb indicated in the jump destination data 6P (Yes in # 754). It is checked whether the completion-required step 6Pe shown in the jump destination data 6P is completed (# 755).

本例では、ジャンプ先データ6P1eが見つかるので、第二のジャンプ先時刻決定部122は、ジャンプ先データ6P1eに示される完了必須ステップ6Peが完了しているか否かをチェックする。完了必須ステップ6Peとして「2」が示されているので、第二のジャンプ先時刻決定部122は、再生中のガイダンスに係るメンテナンスの2番目のステップが完了しているか否かをチェックする。つまり、このステップの完了フラグ6D(図18参照)が「1」であるか否かをチェックする。   In this example, since the jump destination data 6P1e is found, the second jump destination time determination unit 122 checks whether or not the completion-required step 6Pe indicated by the jump destination data 6P1e has been completed. Since “2” is indicated as the completion-required step 6Pe, the second jump destination time determination unit 122 checks whether or not the second step of the maintenance related to the guidance being reproduced has been completed. That is, it is checked whether or not the completion flag 6D (see FIG. 18) of this step is “1”.

完了していれば、つまり、「1」であれば(#756でYes)、第二のジャンプ先時刻決定部122は、ジャンプ先時刻Psを、ジャンプ先データ6P1eに示されるジャンプ先時刻6Pdつまり「3分20秒」に決定する(#757)。   If it is completed, that is, if it is “1” (Yes in # 756), the second jump destination time determination unit 122 sets the jump destination time Ps to the jump destination time 6Pd indicated by the jump destination data 6P1e, that is, “3 minutes 20 seconds” is determined (# 757).

そして、動画像再生部124および音声再生部125は、ジャンプ先時刻Psから動画像および音声を再生する。   Then, the moving image reproduction unit 124 and the audio reproduction unit 125 reproduce the moving image and audio from the jump destination time Ps.

また、図28に示すように、第二のタイムテーブル6Sに、ジャンプ先データ6R(図23参照)の代わりにジャンプ先データ6Qを格納しておく。時間帯6Qa、キーワード6Qb、およびジャンプ先時刻6Qcは、それぞれ、時間帯6Ra、キーワード6Rb、およびジャンプ先時刻6Rcと同様の情報である。完了必須ステップ6Qdは、完了必須ステップ6Pe(図26参照)と同様の情報である。   Further, as shown in FIG. 28, jump destination data 6Q is stored in the second time table 6S instead of the jump destination data 6R (see FIG. 23). The time zone 6Qa, the keyword 6Qb, and the jump destination time 6Qc are the same information as the time zone 6Ra, the keyword 6Rb, and the jump destination time 6Rc, respectively. Completion essential step 6Qd is the same information as completion essential step 6Pe (refer FIG. 26).

第三のジャンプ先時刻決定部123は、音声が入力されると、図29に示す手順で処理を実行する。図23のステップ#721〜#722と同様の処理を実行する(#761、#762)。ただし、ジャンプ先データ6Rの代わりにジャンプ先データ6Qを検索する。   When a voice is input, the third jump destination time determination unit 123 executes processing according to the procedure shown in FIG. The same processing as steps # 721 to # 722 in FIG. 23 is executed (# 761, # 762). However, the jump destination data 6Q is searched instead of the jump destination data 6R.

ジャンプ先データ6Qが見つかったら(#763でYes)、第三のジャンプ先時刻決定部123は、このジャンプ先データ6Qに示される完了必須ステップ6Qdが完了しているか否かをチェックする(#764)。つまり、この完了必須ステップ6Qdの完了フラグ6D(図18参照)が「1」であるか否かをチェックする。   When the jump destination data 6Q is found (Yes in # 763), the third jump destination time determination unit 123 checks whether or not the completion required step 6Qd indicated in the jump destination data 6Q is completed (# 764). ). That is, it is checked whether or not the completion flag 6D (see FIG. 18) of the completion essential step 6Qd is “1”.

完了していれば、つまり、「1」であれば(#765でYes)、第三のジャンプ先時刻決定部123は、ジャンプ先時刻Psを、このジャンプ先データ6Qに示されるジャンプ先時刻6Qcに決定する(#766)。   If completed, that is, if it is “1” (Yes in # 765), the third jump destination time determination unit 123 sets the jump destination time Ps as the jump destination time 6Qc indicated in the jump destination data 6Q. (# 766).

そして、動画像再生部124および音声再生部125は、ジャンプ先時刻Psから動画像および音声を再生する。   Then, the moving image reproduction unit 124 and the audio reproduction unit 125 reproduce the moving image and audio from the jump destination time Ps.

なお、現時刻Pgがジャンプ先時刻6Pdよりも進んでいる場合は、第二のジャンプ先時刻決定部122は、完了必須ステップ6Peに関わらず、ジャンプ先時刻Psを決定してもよい。同様に、現時刻Pgがジャンプ先時刻6Qcよりも進んでいる場合は、第三のジャンプ先時刻決定部123は、完了必須ステップ6Qdに関わらず、ジャンプ先時刻Psを決定してもよい。つまり、現在再生している時刻よりも前の時刻へ戻ることは、完了必須ステップ6Peに関わらず許可してもよい。   When the current time Pg is ahead of the jump destination time 6Pd, the second jump destination time determination unit 122 may determine the jump destination time Ps regardless of the completion-required step 6Pe. Similarly, when the current time Pg is ahead of the jump destination time 6Qc, the third jump destination time determination unit 123 may determine the jump destination time Ps regardless of the completion-required step 6Qd. In other words, returning to a time before the currently reproduced time may be permitted regardless of the completion-required step 6Pe.

または、第二のジャンプ先時刻決定部122または第三のジャンプ先時刻決定部123は、行うべきステップをより確実に完了させることを優先するモードがオンの場合は完了必須ステップ6Peまたは6Qdに従い、オフの場合は完了必須ステップ6Peまたは6Qdに従わないようにしてもよい。つまり、オフの場合は従来通りにジャンプ先時刻Psを決定してもよい。   Alternatively, the second jump destination time determination unit 122 or the third jump destination time determination unit 123 follows the completion mandatory step 6Pe or 6Qd when the mode in which priority is given to completing the step to be performed more reliably is on, If it is off, the completion-required step 6Pe or 6Qd may not be followed. That is, when it is off, the jump destination time Ps may be determined as usual.

本実施形態では、ガイダンスを画像形成装置1が再生したが、画像形成装置1と通信することができるスマートフォンまたはタブレットコンピュータなどの端末装置が再生してもよい。   In the present embodiment, the image forming apparatus 1 reproduces the guidance, but a terminal device such as a smartphone or a tablet computer that can communicate with the image forming apparatus 1 may reproduce the guidance.

この場合は、端末装置は、状態変化データ記憶部101、再生データ記憶部102、状態データ記憶部103、第一のタイムテーブル記憶部104、または第二のタイムテーブル記憶部105に記憶されているデータを画像形成装置1からダウンロードすればよい。センサによる検出の結果も、画像形成装置1から受信すればよい。そして、端末装置に、状態変化検出部106、ガイダンス画面表示部107、第一のジャンプ先時刻決定部121、第二のジャンプ先時刻決定部122、第三のジャンプ先時刻決定部123、動画像再生部124、および音声再生部125を設ければよい。また、タッチパネルディスプレイ10eおよび音声ユニット10kの代わりに、端末装置に備わるタッチパネルディスプレイおよび音声ユニットを用いればよい。   In this case, the terminal device is stored in the state change data storage unit 101, the reproduction data storage unit 102, the state data storage unit 103, the first time table storage unit 104, or the second time table storage unit 105. Data may be downloaded from the image forming apparatus 1. The result of detection by the sensor may also be received from the image forming apparatus 1. The terminal device includes a state change detection unit 106, a guidance screen display unit 107, a first jump destination time determination unit 121, a second jump destination time determination unit 122, a third jump destination time determination unit 123, and a moving image. A playback unit 124 and an audio playback unit 125 may be provided. Moreover, what is necessary is just to use the touch panel display and audio | voice unit with which a terminal device is provided instead of the touch panel display 10e and the audio | voice unit 10k.

本実施形態では、視線計測器10nとして、据置き型の視線計測器を用いたが、眼鏡型のウェアラブルコンピュータを用いてもよい。このウェアラブルコンピュータは、ユーザの視界の画像を撮影するとともに、ユーザの視線を検知することによって、ユーザがガイダンス画面80のどの位置に視線を合わせているのかを特定する。そして、第二のジャンプ先時刻決定部122は、特定された位置を入力位置として用いてジャンプ先時刻Psを決定する。   In the present embodiment, a stationary gaze measuring instrument is used as the gaze measuring instrument 10n, but a glasses-type wearable computer may be used. The wearable computer captures an image of the user's field of view and detects the user's line of sight to identify the position on the guidance screen 80 where the user is viewing. Then, the second jump destination time determination unit 122 determines the jump destination time Ps using the specified position as the input position.

本実施形態では、第三のジャンプ先時刻決定部123は、キーワード6Rbが入力語句と一致することを要件_4として用いたが、キーワード6Rbが入力語句に含まれることを要件_4として用いてもよい。または、入力語句がキーワード6Rbに含まれることを要件_4として用いてもよい。   In the present embodiment, the third jump destination time determination unit 123 uses, as requirement_4, that the keyword 6Rb matches the input word / phrase, but may use that the keyword 6Rb is included in the input word / phrase as the requirement_4. . Alternatively, it may be used as requirement_4 that the input phrase is included in the keyword 6Rb.

その他、画像形成装置1の全体または各部の構成、処理の内容、処理の順序、データの構成、および画面の構成などは、本発明の趣旨に沿って適宜変更することができる。   In addition, the configuration of the entire image forming apparatus 1 or each unit, the contents of processing, the order of processing, the configuration of data, the configuration of screens, and the like can be appropriately changed in accordance with the spirit of the present invention.

1 画像形成装置(ガイダンス再生装置)
106 状態変化検出部(検出手段)
107 ガイダンス画面表示部(表示手段)
121 第一のジャンプ先時刻決定部(再生手段)
122 第二のジャンプ先時刻決定部(再生手段)
123 第三のジャンプ先時刻決定部(再生手段)
124 動画像再生部(再生手段)
125 音声再生部(再生手段)
21 画像形成部(印刷手段)
22 給紙部(トレイ)
23 給紙キャビネット(トレイ)
431 第一の印刷物搬送路(搬送路)
80 ガイダンス画面(画面)
82 プログレスバー(図式画像)
84 チャプターボタン(境界画像)
Ps ジャンプ先時刻(第二の時刻)
1 Image forming device (guidance playback device)
106 State change detection unit (detection means)
107 Guidance screen display section (display means)
121 First jump destination time determination unit (reproduction means)
122 Second jump destination time determination unit (reproduction means)
123 Third jump destination time determination unit (reproduction means)
124 Moving picture playback unit (playback means)
125 Sound playback unit (playback means)
21 Image forming unit (printing means)
22 Feeder (tray)
23 Paper feeding cabinet (tray)
431 First print transport path (transport path)
80 Guidance screen (screen)
82 Progress bar (schematic image)
84 Chapter buttons (border image)
Ps Jump destination time (second time)

Claims (15)

複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する、表示手段と、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが前記画面の所定の位置を凝視した場合は当該所定の位置に対応する第二の時刻から再生する、再生手段と、
を有することを特徴とするガイダンス再生装置。
A guidance playback device for playing back a guidance of work consisting of a plurality of processes,
Display means for displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
The guidance is reproduced from the first time according to the operation when the operation is performed on the graphical image, and the second corresponding to the predetermined position when the user stares at the predetermined position on the screen. Reproduction means for reproducing from the time,
A guidance reproducing apparatus comprising:
前記画面には、さらに、前記複数の工程のうちの隣り合う2つの工程ごとの、前記図式画像における境界を指す境界画像が含まれ、
前記再生手段は、前記境界画像に対する操作がなされた場合は当該操作に応じた第三の時刻から再生し、前記ユーザが前記所定の位置として前記境界画像を凝視した場合は、前記ガイダンスを、当該境界画像に対応する前記2つの工程のうちの後の工程の先頭の時刻を前記第二の時刻として再生する、
請求項1に記載のガイダンス再生装置。
The screen further includes a boundary image indicating a boundary in the schematic image for each of two adjacent steps of the plurality of steps.
The reproduction means reproduces from the third time according to the operation when the operation is performed on the boundary image, and when the user stares at the boundary image as the predetermined position, Reproducing the time at the beginning of the later process of the two processes corresponding to the boundary image as the second time,
The guidance reproduction device according to claim 1.
前記再生手段は、前記ユーザの視線が前記境界画像または当該境界画像の周辺の所定の範囲内に所定の時間以上留まった場合に、前記ガイダンスを前記第二の時刻から再生する、
請求項2に記載のガイダンス再生装置。
The reproduction means reproduces the guidance from the second time when the user's line of sight stays in the boundary image or a predetermined range around the boundary image for a predetermined time or more.
The guidance reproducing apparatus according to claim 2.
前記ガイダンスは、前記作業の仕方を動画像によって説明するものであって、
前記再生手段は、前記動画像の特定の時間帯の特定の部分をユーザが凝視した場合は、当該特定の時間帯および当該特定の部分に対応する時刻を前記第二の時刻として前記ガイダンスを前記画面の中の所定の領域において再生する、
請求項1ないし請求項3のいずれかに記載のガイダンス再生装置。
The guidance explains the way of the work by moving images,
When the user gazes at a specific part of a specific time zone of the moving image, the playback means uses the specific time zone and the time corresponding to the specific part as the second time as the guidance. Play in a predetermined area of the screen,
The guidance reproducing device according to any one of claims 1 to 3.
複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する、表示手段と、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが所定の語句を発声した場合は当該所定の語句に対応する第二の時刻から再生する再生手段と、
を有することを特徴とするガイダンス再生装置。
A guidance playback device for playing back a guidance of work consisting of a plurality of processes,
Display means for displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
The guidance is played from the first time according to the operation when the graphical image is operated, and is played from the second time corresponding to the predetermined phrase when the user utters the predetermined phrase. Playback means to
A guidance reproducing apparatus comprising:
前記複数の工程のそれぞれが完了したことを検出する検出手段、
を有し、
前記再生手段は、前記ガイダンスの中の、前記複数の工程のうちの特定の工程の部分が前記第二の時刻よりも前にあるのならば、当該特定の工程が完了していることが前記検出手段によって既に検出された場合にのみ、当該ガイダンスを当該第二の時刻から再生する、
請求項1ないし請求項5のいずれかに記載のガイダンス再生装置。
Detecting means for detecting completion of each of the plurality of steps;
Have
The playback means may determine that the specific process is completed if a part of the specific process in the guidance is before the second time. The guidance is reproduced from the second time only when already detected by the detection means.
The guidance reproduction device according to any one of claims 1 to 5.
複数の工程からなる作業のガイダンスを再生するガイダンス再生装置であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する、表示手段と、
前記図式画像の中のいずれかの位置が指定された場合に、前記複数の工程のうちの当該指定された位置に対応する時刻を含む工程の先頭から前記ガイダンスを再生する、再生手段と、
を有することを特徴とするガイダンス再生装置。
A guidance playback device for playing back a guidance of work consisting of a plurality of processes,
Display means for displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
Replaying means for replaying the guidance from the beginning of a step including a time corresponding to the designated position of the plurality of steps when any position in the schematic image is designated;
A guidance reproducing apparatus comprising:
印刷を行う印刷手段と、
用紙を格納するトレイと、
印刷物を搬送する搬送路と、
前記搬送路を隠すための扉と、
を有し、
前記ガイダンスは、前記搬送路における紙詰まりのエラーを解除する方法を説明する第一のガイダンス、前記印刷に使用される消耗品を交換する方法を説明する第二のガイダンス、または前記用紙を前記トレイへ補給する方法を説明する第三のガイダンスである、
請求項1ないし請求項7のいずれかに記載のガイダンス再生装置。
Printing means for performing printing;
A tray for storing paper,
A transport path for transporting printed matter;
A door for hiding the transport path;
Have
The guidance includes a first guidance for explaining a method for clearing a paper jam error in the conveyance path, a second guidance for explaining a method for exchanging consumables used for the printing, or the paper in the tray. Third guidance explaining how to replenish
The guidance reproducing device according to any one of claims 1 to 7.
前記ガイダンスは、前記第一のガイダンスであり、
前記複数の工程は、前記扉を開ける第一の工程、前記搬送路から前記印刷物を取り除く第二の工程、および前記扉を開ける第三の工程を順に含む、
請求項8に記載のガイダンス再生装置。
The guidance is the first guidance,
The plurality of steps include a first step of opening the door, a second step of removing the printed matter from the conveyance path, and a third step of opening the door.
The guidance reproducing apparatus according to claim 8.
複数の工程からなる作業のガイダンスを再生するガイダンス再生方法であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示し、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが前記画面の所定の位置を凝視した場合は当該所定の位置に対応する第二の時刻から再生する、
ことを特徴とするガイダンス再生方法。
A guidance playback method for playing back a work guidance consisting of a plurality of steps,
Displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
The guidance is reproduced from the first time according to the operation when the operation is performed on the graphical image, and the second corresponding to the predetermined position when the user stares at the predetermined position on the screen. Play from time,
A guidance reproduction method characterized by the above.
複数の工程からなる作業のガイダンスを再生するガイダンス再生方法であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示し、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが所定の語句を発声した場合は当該所定の語句に対応する第二の時刻から再生する、
ことを特徴とするガイダンス再生方法。
A guidance playback method for playing back a work guidance consisting of a plurality of steps,
Displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
The guidance is played from the first time according to the operation when the graphical image is operated, and is played from the second time corresponding to the predetermined phrase when the user utters the predetermined phrase. To
A guidance reproduction method characterized by the above.
複数の工程からなる作業のガイダンスを再生するガイダンス再生方法であって、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示し、
前記図式画像の中のいずれかの位置が指定された場合に、前記複数の工程のうちの当該指定された位置に対応する時刻を含む工程の先頭から前記ガイダンスを再生する、
ことを特徴とするガイダンス再生方法。
A guidance playback method for playing back a work guidance consisting of a plurality of steps,
Displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
When any position in the schematic image is designated, the guidance is reproduced from the head of the process including the time corresponding to the designated position among the plurality of processes.
A guidance reproduction method characterized by the above.
複数の工程からなる作業のガイダンスを再生するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する、表示処理を実行させ、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが前記画面の所定の位置を凝視した場合は当該所定の位置に対応する第二の時刻から再生する、再生処理を実行させる、
ことを特徴とするコンピュータプログラム。
A computer program for use in a computer that reproduces work guidance consisting of a plurality of processes,
In the computer,
Displaying a screen on which at least a schematic image schematically representing the reproduction time of the guidance is arranged, and executing a display process;
The guidance is reproduced from the first time according to the operation when the operation is performed on the graphical image, and the second corresponding to the predetermined position when the user stares at the predetermined position on the screen. Play from the time, execute the playback process,
A computer program characterized by the above.
複数の工程からなる作業のガイダンスを再生するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する処理を実行させ、
前記ガイダンスを、前記図式画像に対する操作がなされた場合は当該操作に応じた第一の時刻から再生し、ユーザが所定の語句を発声した場合は当該所定の語句に対応する第二の時刻から再生する処理を実行させる、
ことを特徴とするコンピュータプログラム。
A computer program for use in a computer that reproduces work guidance consisting of a plurality of processes,
In the computer,
Executing a process of displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
The guidance is played from the first time according to the operation when the graphical image is operated, and is played from the second time corresponding to the predetermined phrase when the user utters the predetermined phrase. To execute the process to
A computer program characterized by the above.
複数の工程からなる作業のガイダンスを再生するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記ガイダンスの再生時間を図式的に表わす図式画像が少なくとも配置された画面を表示する処理を実行させ、
前記図式画像の中のいずれかの位置が指定された場合に、前記複数の工程のうちの当該指定された位置に対応する時刻を含む工程の先頭から前記ガイダンスを再生する処理を実行させる、
ことを特徴とするコンピュータプログラム。
A computer program for use in a computer that reproduces work guidance consisting of a plurality of processes,
In the computer,
Executing a process of displaying a screen on which at least a graphical image schematically representing the reproduction time of the guidance is arranged;
When any position in the schematic image is designated, the guidance is reproduced from the beginning of the process including the time corresponding to the designated position among the plurality of processes.
A computer program characterized by the above.
JP2016230255A 2016-11-28 2016-11-28 Guidance playback device, guidance playback method, and computer program Active JP6809168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016230255A JP6809168B2 (en) 2016-11-28 2016-11-28 Guidance playback device, guidance playback method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016230255A JP6809168B2 (en) 2016-11-28 2016-11-28 Guidance playback device, guidance playback method, and computer program

Publications (2)

Publication Number Publication Date
JP2018088067A true JP2018088067A (en) 2018-06-07
JP6809168B2 JP6809168B2 (en) 2021-01-06

Family

ID=62492960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230255A Active JP6809168B2 (en) 2016-11-28 2016-11-28 Guidance playback device, guidance playback method, and computer program

Country Status (1)

Country Link
JP (1) JP6809168B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519968A (en) * 2001-04-17 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for selecting locations in an image sequence
JP2007245587A (en) * 2006-03-16 2007-09-27 Ricoh Co Ltd Image processor and method for showing operation guidance
JP2010278986A (en) * 2009-06-01 2010-12-09 Konica Minolta Business Technologies Inc Device with operation guide function, method of guiding operation, and computer program
JP2013135404A (en) * 2011-12-27 2013-07-08 Canon Inc Image processing apparatus and control method thereof and program
US20150106714A1 (en) * 2013-10-14 2015-04-16 Samsung Electronics Co., Ltd. Electronic device and method for providing information thereof
JP2015082706A (en) * 2013-10-21 2015-04-27 キヤノン株式会社 Image forming apparatus, control method of the same, and computer program
JP2015141664A (en) * 2014-01-30 2015-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Method for dynamically creating moving image on the basis of structured document, and electronic device, electronic system, and electronic device program therefor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519968A (en) * 2001-04-17 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for selecting locations in an image sequence
JP2007245587A (en) * 2006-03-16 2007-09-27 Ricoh Co Ltd Image processor and method for showing operation guidance
JP2010278986A (en) * 2009-06-01 2010-12-09 Konica Minolta Business Technologies Inc Device with operation guide function, method of guiding operation, and computer program
JP2013135404A (en) * 2011-12-27 2013-07-08 Canon Inc Image processing apparatus and control method thereof and program
US20150106714A1 (en) * 2013-10-14 2015-04-16 Samsung Electronics Co., Ltd. Electronic device and method for providing information thereof
JP2015082706A (en) * 2013-10-21 2015-04-27 キヤノン株式会社 Image forming apparatus, control method of the same, and computer program
JP2015141664A (en) * 2014-01-30 2015-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Method for dynamically creating moving image on the basis of structured document, and electronic device, electronic system, and electronic device program therefor

Also Published As

Publication number Publication date
JP6809168B2 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
KR102087057B1 (en) Image processing apparatus and method for controlling the same
JP5407560B2 (en) Device with operation guidance function, operation guidance method, and computer program
JP6223153B2 (en) Image forming apparatus, control method therefor, and computer program
JP2018054742A (en) Image processing device, image processing device control method and program
US11199950B2 (en) Moving image reproduction apparatus, candidate jump destination display method, and computer program
JP2007223239A (en) Image-forming apparatus
JP2018054741A (en) Image processing device, image processing device control method and program
JP6740828B2 (en) Guidance reproducing device, guidance reproducing method, and computer program
JP2017209870A (en) Image processing device, control method and computer program thereof
JP4866297B2 (en) Image forming apparatus
JP5022608B2 (en) Image forming apparatus
JP6809168B2 (en) Guidance playback device, guidance playback method, and computer program
EP3310032B1 (en) Device and method for reproducing guidance, and computer program
JP6711223B2 (en) Guidance playback device, playback time designation support method, and computer program
JP2018054684A (en) Guidance playback device, playback related information providing method, and computer program
JP6825322B2 (en) Guidance playback device, guidance playback method, and computer program
JP2010115927A (en) Image forming device
JP6740824B2 (en) Guidance reproducing device, guidance reproducing method, and computer program
JP4754992B2 (en) Image forming apparatus
JP6685694B2 (en) Image forming apparatus, information processing apparatus, control method thereof, computer program, and recording medium
JP7114756B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND COMPUTER PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R150 Certificate of patent or registration of utility model

Ref document number: 6809168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150