JP6700705B2 - Distribution system, information processing method, and program - Google Patents

Distribution system, information processing method, and program Download PDF

Info

Publication number
JP6700705B2
JP6700705B2 JP2015198684A JP2015198684A JP6700705B2 JP 6700705 B2 JP6700705 B2 JP 6700705B2 JP 2015198684 A JP2015198684 A JP 2015198684A JP 2015198684 A JP2015198684 A JP 2015198684A JP 6700705 B2 JP6700705 B2 JP 6700705B2
Authority
JP
Japan
Prior art keywords
folder
character string
folder name
specified
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015198684A
Other languages
Japanese (ja)
Other versions
JP2017072941A (en
Inventor
欽也 本田
欽也 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015198684A priority Critical patent/JP6700705B2/en
Priority to US15/285,417 priority patent/US10142499B2/en
Publication of JP2017072941A publication Critical patent/JP2017072941A/en
Application granted granted Critical
Publication of JP6700705B2 publication Critical patent/JP6700705B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、振り分けシステム、情報処理方法及びプログラムに関する。 The present invention, vibration Ri divided system, an information processing method, and a program.

従来、帳票等の印刷物をスキャン画像として取り込み、そのスキャン画像をプログラムで解析してスキャン画像の種類を特定し、種類に応じてスキャン画像の振り分けを行う文書振り分けシステムが知られている。文書振り分けシステムは、複写機、プリンタ、イメージスキャナ、ファクシミリ等の機能が一つにまとまった複合機(以下MFP)を使用して構築されることがある。例えばMFPで文書をスキャンし、プログラムで解析して文書の種類を特定し、予め設定されたフォルダにスキャン画像を保存する。   2. Description of the Related Art Conventionally, there is known a document distribution system that captures a printed matter such as a form as a scan image, analyzes the scan image with a program to specify the type of the scan image, and distributes the scan image according to the type. A document distribution system may be constructed using a multi-function peripheral (hereinafter referred to as an MFP) that has a single function such as a copying machine, a printer, an image scanner, and a facsimile. For example, the MFP scans the document, analyzes the program to identify the document type, and saves the scanned image in a preset folder.

文書振り分けシステムにおいては、ユーザ操作に応じて、文書の種類と、文書の種類毎の正解画像と、文書の保存先のフォルダと、を予め紐付けておく。そして、文書振り分けシステムは、スキャン画像の解析によりスキャン画像と正解画像との比較による画像分類技術により、スキャン画像がどの正解画像と一致しているかを特定することによりスキャン画像に対応する文書の種類を特定する。そして、文書振り分けシステムは、文書の種類に応じてスキャン画像をフォルダに振り分ける。この技術に関し、特許文献1には、正解画像と分類対象の画像の差分を強調表示する技術が開示されている。   In the document distribution system, a document type, a correct image for each document type, and a document save folder are associated in advance in accordance with a user operation. Then, the document distribution system identifies the correct image that the scanned image matches by the image classification technology that compares the scanned image with the correct image by analyzing the scanned image, and identifies the type of document corresponding to the scanned image. Specify. Then, the document sorting system sorts the scan images into folders according to the type of document. Regarding this technique, Patent Document 1 discloses a technique for highlighting the difference between the correct image and the image to be classified.

画像分類技術では精度よくスキャン画像を分類できない場合もあり、この場合には、ユーザがスキャン画像を確認し、分類先のフォルダを特定することとなる。また、スキャン画像の表示画面が小さい場合には、スキャン画像を拡大表示する。これに対し、正解画像の登録時にフォルダに対応付けて、スキャン画像の拡大領域を登録しておく技術も知られている。これにより、文書振り分けシステムは、ユーザにより文書の種類が指定された場合に、対応する拡大領域の拡大表示を行うことができる。   In some cases, the image classification technology cannot accurately classify the scanned images. In this case, the user confirms the scanned images and specifies the folder of the classification destination. If the display screen of the scan image is small, the scan image is enlarged and displayed. On the other hand, there is also known a technique of registering an enlarged area of a scan image in association with a folder when registering a correct answer image. Accordingly, the document distribution system can perform enlarged display of the corresponding enlarged area when the document type is specified by the user.

特開2011−118513号公報JP, 2011-118513, A

しかしながら、従来技術のように拡大表示を自動的に行うために、事前に拡大領域を指定し登録するのは、非常に手間がかかる。特に、ユーザは、複数の正解画像を登録する必要があり、都度拡大領域を登録するのは、ユーザの負担になるという問題がある。   However, in order to automatically perform enlarged display as in the related art, it is extremely troublesome to specify and register an enlarged area in advance. In particular, the user needs to register a plurality of correct images, and there is a problem in that registering an enlarged area each time is a burden on the user.

本発明は、このような問題点に鑑みなされたもので、拡大領域を簡単に登録することができることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to be able to easily register an enlarged area .

そこで、本発明は、振り分けシステムであって、サンプル画像と、ユーザにより選択された保存先フォルダのフォルダ名とを取得する第1の取得手段と、前記サンプル画像に対して文字認識処理を実行することにより、文字列を取得する第2の取得手段と、前記第2の取得手段で取得した文字列の中に、前記保存先フォルダのフォルダ名と同じ文字列があるか判定する判定手段と、前記判定手段により前記保存先フォルダのフォルダ名と同じ文字列があると判定された場合、当該同じ文字列が検出された領域を拡大領域として特定し、当該特定された拡大領域と前記サンプル画像と前記フォルダ名とを対応付けて登録する登録手段と、振り分けられる対象画像を取得する第3の取得手段と、前記第3の取得手段で取得された対象画像に類似するサンプル画像を特定し、当該特定されたサンプル画像に対応付けて登録されている拡大領域を特定する特定手段とを有することを特徴とする。 Accordingly, the present invention provides a Ri divided system vibration, and sample images, a first acquisition unit for acquiring the folder name of the destination folder selected by the user, the character recognition process on the sample image A second obtaining unit that obtains a character string by executing, and a determining unit that determines whether or not the character string obtained by the second obtaining unit has the same character string as the folder name of the save destination folder. When the determination unit determines that there is the same character string as the folder name of the save destination folder, the area in which the same character string is detected is specified as an enlarged area, and the specified enlarged area and the sample A registration unit that registers an image and the folder name in association with each other, a third acquisition unit that acquires a target image to be distributed, and a sample image similar to the target image acquired by the third acquisition unit are specified. , Specifying means for specifying an enlarged area registered in association with the specified sample image .

本発明によれば、拡大領域を簡単に登録することができる。 According to the present invention, it is possible to easily register an enlarged area .

文書振り分けシステムを示す図である。It is a figure which shows a document distribution system. 正解画像データ登録処理を示すフローチャートである。It is a flow chart which shows correct image data registration processing. 正解画像データ登録処理の説明図である。It is an explanatory view of correct answer image data registration processing. 正解画像登録画面の表示例を示す図である。It is a figure which shows the example of a display of a correct image registration screen. 拡大領域指定画面の表示例を示す図である。It is a figure which shows the example of a display of an expansion area designation screen. 文書の種類と拡大領域情報とを関連付ける情報の一例を示す図である。It is a figure which shows an example of the information which links|relates the document type and expansion area information. 対象画像データ振分処理を示すフローチャートである。It is a flowchart which shows a target image data distribution process. 対象画像データ振分処理の説明図である。It is explanatory drawing of a target image data distribution process. フォルダ指定画面の表示例を示す図である。It is a figure which shows the example of a display of a folder designation screen. 対象画像データの一例を示す図である。It is a figure which shows an example of target image data. 第2の実施形態に係る正解画像データ登録処理を示すフローチャートである。It is a flowchart which shows the correct image data registration process which concerns on 2nd Embodiment.

以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る文書振り分けシステムを示す図である。本実施形態に係る文書振り分けシステムは、文書をスキャンすることにより得られた画像データを解析し、対応する文書の種類を特定し、文書の種類に応じて予め設定されたフォルダに、画像データを格納する。ここで、フォルダは、グループの一例である。文書振り分けシステムは、MFP(Multifunction Peripheral)100と、情報処理装置110と、DBサーバ装置120とを有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing a document distribution system according to the first embodiment. The document sorting system according to the present embodiment analyzes image data obtained by scanning a document, identifies a corresponding document type, and stores the image data in a folder preset according to the document type. Store. Here, the folder is an example of a group. The document distribution system includes an MFP (Multifunction Peripheral) 100, an information processing device 110, and a DB server device 120.

MFP100は、CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、入力部106と、通信部107と、プリンタ108と、スキャナ109と、を有している。CPU101は、ROM102に記憶された制御プログラムを読み出して各種処理を実行する。RAM103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD104は、画像データや各種プログラム等各種情報を記憶する。表示部105は、各種情報を表示する。入力部106は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部107は、ネットワークを介して情報処理装置110やDBサーバ装置120等の外部装置との通信処理を行う。なお、後述するMFP100の機能や処理は、CPU101がROM102又はHDD104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。   The MFP 100 has a CPU 101, a ROM 102, a RAM 103, an HDD 104, a display unit 105, an input unit 106, a communication unit 107, a printer 108, and a scanner 109. The CPU 101 reads the control program stored in the ROM 102 and executes various processes. The RAM 103 is used as a main memory of the CPU 101 and a temporary storage area such as a work area. The HDD 104 stores various information such as image data and various programs. The display unit 105 displays various information. The input unit 106 has a keyboard and a mouse and receives various operations by the user. The communication unit 107 performs communication processing with external devices such as the information processing device 110 and the DB server device 120 via the network. The functions and processing of the MFP 100 described later are realized by the CPU 101 reading a program stored in the ROM 102 or the HDD 104 and executing the program.

情報処理装置110は、CPU111と、ROM112と、RAM113と、HDD114と、表示部115と、入力部116と、通信部117と、を有している。CPU111、ROM112、RAM113、HDD114、表示部115、入力部116及び通信部117の処理は、それぞれ、CPU101、ROM102、RAM103、HDD104、表示部105、入力部106及び通信部107の処理と同様である。また、後述する情報処理装置110の機能や処理は、CPU111がROM112又はHDD114に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。   The information processing device 110 includes a CPU 111, a ROM 112, a RAM 113, an HDD 114, a display unit 115, an input unit 116, and a communication unit 117. The processes of the CPU 111, the ROM 112, the RAM 113, the HDD 114, the display unit 115, the input unit 116, and the communication unit 117 are the same as the processes of the CPU 101, the ROM 102, the RAM 103, the HDD 104, the display unit 105, the input unit 106, and the communication unit 107, respectively. . Further, the functions and processes of the information processing apparatus 110 described later are realized by the CPU 111 reading a program stored in the ROM 112 or the HDD 114 and executing the program.

図2は、文書振り分けシステムによる正解画像データ登録処理を示すフローチャートである。図3は、正解画像データ登録処理の説明図である。ここで、正解画像データとは、スキャン対象の文書の種類毎、すなわちフォルダ毎に予め準備された正解となる文書(正解文書)をMFP100がスキャンすることにより得られた画像データである。すなわち、正解画像データは、対応するフォルダに属する画像データである。まず、図3の「1」に示すように、ユーザ操作に応じて、MFP100のスキャナ109が正解文書300をスキャンする。そして、S201において、MFP100のCPU101は、正解画像データを取得する。   FIG. 2 is a flowchart showing a correct image data registration process by the document sorting system. FIG. 3 is an explanatory diagram of the correct image data registration process. Here, the correct answer image data is image data obtained by the MFP 100 scanning a correct answer document (correct answer document) prepared in advance for each type of document to be scanned, that is, for each folder. That is, the correct answer image data is image data belonging to the corresponding folder. First, as indicated by “1” in FIG. 3, the scanner 109 of the MFP 100 scans the correct document 300 in response to a user operation. Then, in S201, the CPU 101 of the MFP 100 acquires correct image data.

次に、S202において、CPU101は、正解画像データと、正解画像データに対応する正解文書の種類と、フォルダ(グループ)と、の紐付けを行う(図3「2」参照)。このとき、CPU101は、表示部105に図4に示す拡大領域指定画面400を表示する。拡大領域指定画面400には、文書種類領域401と、フォルダ名領域402と、OKボタン403と、が表示されている。文書種類領域401には、文書の種類を示す複数の種類ボタンが表示されている。フォルダ名領域402には、文書に対応する画像データを保存するフォルダのフォルダ名(グループ名)を示す複数のフォルダ名ボタンが表示されている。拡大領域指定画面400において、ユーザは、スキャン対象の正解文書の種類と、紐付けるフォルダのフォルダ名と、を選択した上で、OKボタン403を押下する。これに対し、CPU101は、選択された種類とフォルダ名とを紐付け、さらに、正解画像データを、選択された種類に紐付ける。次にS203において、正解画像データと、種類と、フォルダと、これらが紐付けされていることを示す紐付情報と、を情報処理装置110に送信する(図3「3」参照)。   Next, in S202, the CPU 101 links the correct answer image data, the correct answer document type corresponding to the correct answer image data, and the folder (group) (see "2" in FIG. 3). At this time, the CPU 101 displays the enlarged area designation screen 400 shown in FIG. 4 on the display unit 105. A document type area 401, a folder name area 402, and an OK button 403 are displayed on the enlarged area designation screen 400. In the document type area 401, a plurality of type buttons indicating the type of document are displayed. In the folder name area 402, a plurality of folder name buttons indicating the folder name (group name) of the folder for saving the image data corresponding to the document are displayed. On the enlarged area designation screen 400, the user selects the type of correct answer document to be scanned and the folder name of the linked folder, and then presses the OK button 403. On the other hand, the CPU 101 associates the selected type with the folder name, and further associates the correct answer image data with the selected type. Next, in S203, the correct answer image data, the type, the folder, and the linking information indicating that these are linked are transmitted to the information processing apparatus 110 (see "3" in FIG. 3).

情報処理装置110は、S203において、正解画像データ等を受信すると、その後処理をS204へ進める。S204において、情報処理装置110のCPU111は、正解画像データの画像解析を行う。具体的には、CPU111は、正解画像データ全体に対し、領域分割処理及び文字認識(OCR)処理を行う。領域分割処理とは、スキャン画像を領域解析して、本文・図形・表・キャプション等の属性毎の領域に分割する処理のことである。   When the information processing apparatus 110 receives the correct image data and the like in S203, the process proceeds to S204. In S204, the CPU 111 of the information processing device 110 performs image analysis of the correct image data. Specifically, the CPU 111 performs area division processing and character recognition (OCR) processing on the entire correct image data. The region division process is a process of performing region analysis on the scanned image and dividing the scanned image into regions for each attribute such as text, figure, table, and caption.

次に、S205において、CPU111は、S204において得られた文字認識処理の結果の中に、正解画像データに紐付けされたフォルダ名と同じ文字列があるか否かを確認する。CPU111は、同じ文字列がある場合には(S205でYes)、処理をS206へ進める。CPU111は、同じ文字列がない場合には(S205でNo)、処理をS207へ進める。なお、S205の処理は、フォルダ名に対応する文字列を検出する検出処理の一例である。なお、本実施形態においては、フォルダ名と同じ文字列を検出対象としたが、検出対象の文字列は、フォルダ名に対応するものであればよく、実施形態に限定されるものではない。なお、CPU111が、フォルダ名に対応する文字列を特定するための条件は予めHDD104等に設定されているものとする。他の例としては、CPU111は、「見積書」のフォルダ名に対する「見積」の文字列のように、フォルダ名中の一部の文字列と一致する文字列が含まれる場合に、対応する文字列が含まれると判断してもよい。   Next, in S205, the CPU 111 confirms whether or not the result of the character recognition processing obtained in S204 includes the same character string as the folder name associated with the correct image data. If the same character string exists (Yes in S205), the CPU 111 advances the process to S206. CPU111 advances a process to S207, when the same character string does not exist (No in S205). The process of S205 is an example of a detection process of detecting a character string corresponding to a folder name. Although the same character string as the folder name is detected in the present embodiment, the character string to be detected may be any character string corresponding to the folder name and is not limited to the embodiment. It should be noted that the condition for the CPU 111 to specify the character string corresponding to the folder name is set in advance in the HDD 104 or the like. As another example, when the CPU 111 includes a character string that matches a part of the character string in the folder name, such as the character string of “quote” for the folder name of “quote”, the corresponding character It may be determined that a column is included.

S206において、CPU111は、フォルダ名と同じ文字列が検出された領域を拡大領域として特定する。そして、CPU111は、文書の種類と、フォルダ名と、正解画像データと、拡大領域を示す拡大領域情報と、を対応付けて、DB310に登録する(図3「4」参照)。ここで、S206の処理は、登録処理の一例である。なお、DB310は、HDD114により実現される記憶部である。また、他の例としては、CPU111は、DB310に替えて、通信部117を介してDBサーバ装置120に文書の種類等を登録してもよい。   In S206, the CPU 111 specifies the area in which the same character string as the folder name is detected as the enlarged area. Then, the CPU 111 associates the document type, the folder name, the correct answer image data, and the enlarged area information indicating the enlarged area with each other and registers them in the DB 310 (see "4" in FIG. 3). Here, the process of S206 is an example of the registration process. The DB 310 is a storage unit realized by the HDD 114. Further, as another example, the CPU 111 may register the document type and the like in the DB server device 120 via the communication unit 117 instead of the DB 310.

一方、同じ文字列がない場合には、CPU111は、文字認識の結果から、拡大領域を特定することができない。そこで、S207において、CPU111は、ユーザが拡大領域を指定するための拡大領域指定画面を表示する。図5は、拡大領域指定画面500の表示例を示す図である。拡大領域指定画面500には、正解画像データ501と、文書の種類502と、が表示されている。正解画像データ501は、S203において受信した正解画像データであり、文書の種類502は、正解画像データ501に紐付けられた文書の種類である。ユーザは、入力部116を介して、図5に示すように、正解画像データ501上において、拡大領域を指定する。これに対応し、S208において、CPU111は、ユーザにより指定された領域を、拡大領域として受け付ける(受付処理)。そして、CPU111は、文書の種類と、フォルダ名と、正解画像データと、拡大領域を示す拡大領域情報と、を対応付けて、DB310に登録する(図3「4」)。   On the other hand, if there is no same character string, the CPU 111 cannot specify the enlarged area from the result of character recognition. Therefore, in S207, the CPU 111 displays the enlarged area designation screen for the user to designate the enlarged area. FIG. 5 is a diagram showing a display example of the enlarged area designation screen 500. The correct image data 501 and the document type 502 are displayed on the enlarged area designation screen 500. The correct answer image data 501 is the correct answer image data received in S203, and the document type 502 is the kind of document associated with the correct answer image data 501. The user designates an enlarged area on the correct image data 501 via the input unit 116, as shown in FIG. In response to this, in S208, the CPU 111 accepts the area designated by the user as an enlarged area (acceptance process). Then, the CPU 111 associates the document type, the folder name, the correct image data, and the enlarged area information indicating the enlarged area with each other and registers them in the DB 310 (“4” in FIG. 3).

図6は、文書の種類と拡大領域情報とを関連付ける情報600の一例を示す図である。図6の例では、文書の種類「見積書」601と、拡大領域602と、が紐付けられている。図6の拡大領域602の「10,20,120,150」は、文字列の領域の左上の座標(10,20)と、右下の座標(120,150)を表している。なお、本実施形態においては、拡大領域は矩形とし、拡大領域情報は矩形の左上及び右下の2点の座標を示す情報であるものとする。ただし、拡大領域の形状は実施形態に限定されるものではなく、また拡大領域を特定するための情報も、実施形態に限定されるものではない。   FIG. 6 is a diagram showing an example of information 600 associating the document type with the enlarged area information. In the example of FIG. 6, the document type “quote” 601 and the enlarged area 602 are associated with each other. “10, 20, 120, 150” in the enlarged area 602 in FIG. 6 represents the upper left coordinates (10, 20) and the lower right coordinates (120, 150) of the character string area. In the present embodiment, the enlargement area is a rectangle, and the enlargement area information is information indicating the coordinates of two points at the upper left and lower right of the rectangle. However, the shape of the enlarged area is not limited to the embodiment, and the information for specifying the enlarged area is not limited to the embodiment.

図7は、対象画像データ振分処理を示すフローチャートである。図8は、対象画像データ振分処理の説明図である。ここで、対象画像データとは、スキャン対象の文書(対象文書)をMFP100がスキャンすることにより得られた画像データである。すなわち、対象画像データは、予め準備されたフォルダへの振り分け処理の対象となる画像データである。まず、図8の「1」に示すように、ユーザ操作に応じて、MFPのスキャナ109が対象文書800をスキャンする。そして、S701において、MFP100のCPU101は、対象画像データを取得する。次に、S702において、CPU101は、対象画像データを情報処理装置110に送信する(図8「2」参照)。   FIG. 7 is a flowchart showing target image data distribution processing. FIG. 8 is an explanatory diagram of the target image data distribution processing. Here, the target image data is image data obtained by the MFP 100 scanning a document to be scanned (target document). That is, the target image data is the image data that is the target of the distribution process to the folders prepared in advance. First, as indicated by “1” in FIG. 8, the scanner 109 of the MFP scans the target document 800 according to a user operation. Then, in step S701, the CPU 101 of the MFP 100 acquires target image data. Next, in S702, the CPU 101 transmits the target image data to the information processing device 110 (see "2" in FIG. 8).

情報処理装置110は、S702において、対象画像データを受信すると、その後処理をS703へ進める。S703において、情報処理装置110のCPU111は、対象画像データの解析を行う。具体的には、CPU111は、DB310に文書の種類毎に登録されている各正解画像データと、S702において受信した対象画像データと、を比較する(図8「3」参照)。そして、CPU111は、比較結果に基づいて、対象画像データが各正解画像データであることの確からしさを示す指標である信頼度を算出する(算出処理)。CPU111は、例えば、両画像の類似度を信頼度として算出する。さらに、CPU111は、特定した正解画像データに対応付けられている文書の種類を特定し、特定した文書の種類に対応付けられている拡大領域情報を特定する。次に、S704において、CPU111は、解析結果と、各文書の種類に対応する拡大領域情報と、をMFP100に送信する(図8「4」参照)。ここで、解析結果には、S703において得られた文書の種類毎の信頼度が含まれている。   Upon receiving the target image data in S702, the information processing apparatus 110 advances the process to S703. In step S703, the CPU 111 of the information processing device 110 analyzes the target image data. Specifically, the CPU 111 compares each correct image data registered in the DB 310 for each document type with the target image data received in S702 (see “3” in FIG. 8). Then, the CPU 111 calculates the reliability, which is an index indicating the likelihood that the target image data is each correct image data, based on the comparison result (calculation process). The CPU 111 calculates, for example, the similarity between both images as the reliability. Further, the CPU 111 identifies the type of document associated with the identified correct image data, and identifies the enlarged area information associated with the identified document type. Next, in step S704, the CPU 111 transmits the analysis result and the enlarged area information corresponding to each document type to the MFP 100 (see “4” in FIG. 8). Here, the analysis result includes the reliability for each type of document obtained in S703.

MFP100は、S704において、解析結果と、拡大領域情報と、を受信すると、その後処理をS705へ進める。S705において、MFP100のCPU101は、S704において受信した解析結果としての信頼度の最大値と閾値とを比較する。ここで、閾値は、予めHDD104等に設定されているものとする。CPU101は、最大値が閾値以上の場合には(S705でYes)、処理をS706へ進める。なお、最大値が閾値以上の場合は、最大値を示す正解画像データに対応する文書の種類が対象画像データに対応する文書の種類として特定することができる場合である。そこで、この場合には、S706において、CPU101は、最大値を示す正解画像データに対応する文書の種類に対応付けられているフォルダを、対象画像データの振り分け先のフォルダとして特定し、その後処理をS710へ進める。   Upon receiving the analysis result and the enlargement area information in S704, the MFP 100 advances the process to S705. In step S705, the CPU 101 of the MFP 100 compares the maximum value of the reliability as the analysis result received in step S704 with the threshold value. Here, it is assumed that the threshold value is preset in the HDD 104 or the like. When the maximum value is equal to or larger than the threshold value (Yes in S705), the CPU 101 advances the process to S706. It should be noted that when the maximum value is equal to or larger than the threshold value, the type of document corresponding to the correct image data indicating the maximum value can be specified as the type of document corresponding to the target image data. Therefore, in this case, in S706, the CPU 101 identifies the folder associated with the document type corresponding to the correct image data showing the maximum value as the folder to which the target image data is distributed, and thereafter performs the processing. Proceed to S710.

一方、CPU101は、S705において最大値が閾値未満の場合には(S705でNo)、処理をS707へ進める。なお、最大値が閾値未満の場合は、対象画像データに対応する文書の種類を、CPU101が自動的に特定することができない場合である。そこで、この場合には、ユーザに振り分け先のフォルダを指定させるための処理を行う。すなわち、S707において、CPU101は、フォルダ指定画面を表示する(図8「5」参照)。図9は、フォルダ指定画面900の表示例を示す図である。フォルダ指定画面900には、対象画像データ901と、文書種類領域902と、信頼度領域903と、が表示されている。文書種類領域902及び信頼度領域903には、文書種類と、文書種類に対して算出された信頼度とが対応受けて表示されている。   On the other hand, if the maximum value is less than the threshold value in S705 (No in S705), the CPU 101 advances the process to S707. Note that when the maximum value is less than the threshold value, the CPU 101 cannot automatically identify the type of document corresponding to the target image data. Therefore, in this case, processing is performed to allow the user to specify the destination folder. That is, in S707, the CPU 101 displays a folder designation screen (see "5" in FIG. 8). FIG. 9 is a diagram showing a display example of the folder designation screen 900. The target image data 901, the document type area 902, and the reliability area 903 are displayed on the folder designation screen 900. In the document type area 902 and the reliability area 903, the document type and the reliability calculated for the document type are displayed in correspondence with each other.

ここで、ユーザが文書種類領域902に示されるフォルダ名ボタンを選択すると、S708において、CPU101は、対象画像データ901のうち、フォルダ名ボタンに対応するフォルダ名の指定を受け付ける。そして、CPU101は、対象画像データ内の領域のうち、指定されたフォルダ名に対応付けられた拡大領域情報に示される拡大領域を表示部105が拡大表示するよう制御する(表示制御処理)。図9の下図に示すように、ユーザが「見積書」のフォルダ名ボタン911を選択すると、拡大画像データ910が表示される。ここで、拡大画像データ910は、対象画像データ901のうち拡大領域が拡大表示された画像である。本実施形態においては、拡大領域が拡大画像データ910の中央に位置するように切り取られた対象画像データ901が拡大画像データ910として表示されている。   Here, when the user selects the folder name button shown in the document type area 902, in step S708, the CPU 101 accepts designation of the folder name corresponding to the folder name button in the target image data 901. Then, the CPU 101 controls the display unit 105 to magnify and display the enlarged area indicated by the enlarged area information associated with the specified folder name among the areas in the target image data (display control processing). As shown in the lower diagram of FIG. 9, when the user selects the “quote” folder name button 911, the enlarged image data 910 is displayed. Here, the enlarged image data 910 is an image in which the enlarged region of the target image data 901 is enlarged and displayed. In the present embodiment, the target image data 901 cut out so that the enlarged area is located at the center of the enlarged image data 910 is displayed as the enlarged image data 910.

なお、ユーザが誤ったフォルダ名ボタンを選択した場合には、このフォルダ名ボタンに対応する拡大画像データが表示されるが、この場合、ユーザが意図しない領域が拡大表示されることとなる。このため、ユーザは、拡大画像データから、フォルダ名が誤っていることを把握することができ、改めて別のフォルダ名ボタンを選択することができる。   When the user selects the wrong folder name button, the enlarged image data corresponding to the folder name button is displayed, but in this case, the area not intended by the user is enlarged and displayed. Therefore, the user can recognize from the enlarged image data that the folder name is incorrect, and can select another folder name button again.

ユーザは拡大画像データ910を確認し、対象画像データの振り分け先が、選択中のフォルダ名ボタンに対応するフォルダでよいかどうかを確認する。そして、ユーザは、選択中のフォルダ名ボタンに対応するフォルダでよいことを確認し、OKボタン904を押下する。これに対応し、S709において、CPU101は、選択中のフォルダ名ボタンに対応するフォルダを振り分け先のフォルダとして特定し、その後処理をS710へ進める。   The user confirms the enlarged image data 910 and confirms whether the distribution destination of the target image data may be the folder corresponding to the selected folder name button. Then, the user confirms that the folder corresponding to the selected folder name button is sufficient, and presses the OK button 904. Correspondingly, in S709, the CPU 101 identifies the folder corresponding to the selected folder name button as the distribution destination folder, and then advances the processing to S710.

S710において、CPU101は、S706又はS709において特定したフォルダに対象画像データを格納する(図8「6」参照)。なお、フォルダとしての対象画像データの格納先は、DB810であり、DB810は、HDD104により実現される記憶部である。また、他の例としては、CPU101は、MFP100のHDD104等の記憶部であってもよく、また他の例としては、CPU101は、DB810に替えて、通信部107を介して、DBサーバ装置120等、外部装置に対象画像データを登録してもよい。以上で、対象データ振分処理が終了する。   In S710, the CPU 101 stores the target image data in the folder specified in S706 or S709 (see “6” in FIG. 8). The storage destination of the target image data as a folder is the DB 810, and the DB 810 is a storage unit realized by the HDD 104. Further, as another example, the CPU 101 may be a storage unit such as the HDD 104 of the MFP 100, and as another example, the CPU 101 replaces the DB 810 and the DB server device 120 via the communication unit 107. For example, the target image data may be registered in an external device. Thus, the target data distribution process is completed.

ユーザが指定する対象画像データの振り分け先のフォルダ名は、文書の種類を示すものである場合が多い。例えば、「見積書」という種類の文書は、「見積書」というフォルダ名のフォルダに振り分けるよう設定される場合が多い。また、「見積書」という種類の文書には、文書内に「見積書」という文字列が含まれる可能性が高い。これらのことに鑑み、本実施形態に係る文書振り分けシステムでは、振り分け先のフォルダ名と等しい文字列を探し、この文字列の領域を自動的に拡大領域として登録することとした。これにより、ユーザ操作により拡大領域を登録する必要がなくなり、ユーザの負担を軽減することができる。   The folder name of the distribution destination of the target image data specified by the user often indicates the type of document. For example, in many cases, a document of the type "quote" is set to be distributed to folders with the folder name "quote". Further, it is highly possible that the document of the type "quote" contains the character string "quote" in the document. In view of these, in the document distribution system according to the present embodiment, a character string having the same name as the distribution destination folder is searched for, and the area of this character string is automatically registered as the enlarged area. As a result, it is not necessary to register the enlarged area by the user operation, and the burden on the user can be reduced.

第1の実施形態の第1の変更例としては、MFP100及び情報処理装置110の協働により実現された、正解画像データ登録処理及び対象画像データ振分処理は、例えば情報処理装置110など1つの装置により実行されてもよい。なお、この場合、データの送受信の処理(S203、S702、S704)は、不要である。   As a first modification of the first embodiment, the correct image data registration processing and the target image data distribution processing realized by the cooperation of the MFP 100 and the information processing apparatus 110 are, for example, one information processing apparatus 110 and the like. It may be performed by the device. In this case, the data transmission/reception process (S203, S702, S704) is unnecessary.

(第2の実施形態)
次に、第2の実施形態に係る文書振り分けシステムについて、第1の実施形態に係る文書振り分けシステムと異なる点について説明する。図10に示す対象画像データ1000のように、対象画像データ1000中に、フォルダ名と同じ文字列が複数含まれる場合がある。図10に示す対象画像データ1000には、フォルダ名と同じ「見積」の2つの文字列1001,1002が含まれている。第2の実施形態に係る文書振り分けシステムにおいては、正解画像データ登録処理において、解析結果にフォルダ名と同じ文字列が複数含まれている場合に、これらのうち一の文字列を特定し、特定した文字列の領域を拡大領域とし登録する。
(Second embodiment)
Next, with respect to the document distribution system according to the second embodiment, differences from the document distribution system according to the first embodiment will be described. As in the target image data 1000 shown in FIG. 10, the target image data 1000 may include a plurality of character strings that are the same as the folder name. The target image data 1000 shown in FIG. 10 includes two character strings 1001 and 1002 of “estimate” which is the same as the folder name. In the document distribution system according to the second embodiment, in the correct image data registration process, when the analysis result includes a plurality of character strings that are the same as the folder name, one of these character strings is specified and specified. The area of the selected character string is registered as an enlarged area.

図11は、第2の実施形態に係るMFP100による正解画像データ登録処理を示すフローチャートである。図11において、図2に示す正解画像データ登録処理の各処理と同一の処理には同一の番号を付している。S205において、CPU111は、解析結果にフォルダ名と同じ文字列がある場合には(S205でYes)、処理をS1101へ進める。S1101において、CPU111は、解析結果に、フォルダ名と同じ文字列が複数あるか否かを確認する。CPU111は、同じ文字列が複数ある場合には(S1101でYes)、処理をS1102へ進める。CPU111は、同じ文字列が1つの場合には(S1101でNo)、処理をS207へ進める。   FIG. 11 is a flowchart showing a correct image data registration process by the MFP 100 according to the second embodiment. In FIG. 11, the same processing as each processing of the correct image data registration processing shown in FIG. 2 is given the same number. In S205, when the analysis result has the same character string as the folder name (Yes in S205), the CPU 111 advances the process to S1101. In step S1101, the CPU 111 confirms whether the analysis result includes a plurality of character strings that are the same as the folder name. When there are a plurality of the same character strings (Yes in S1101), the CPU 111 advances the process to S1102. If the same character string is one (No in S1101), the CPU 111 advances the process to S207.

S1102において、CPU111は、複数の文字列に、単独で表示され、かつフォントサイズが最大の文字列があるか否かを確認する。ここで、単独で表示される、とは、例えば、文章中の文字列のように他の文字列と組み合わされた状態ではなく、見出しのように文字列単体で表示されることを意味する。CPU111は、単独で表示され、かつフォントサイズが最大の文字列がある場合には(S1102でYes)、処理をS206へ進める。そして、S206において、CPU111は、単独で表示され、かつフォントサイズが最大の文字列を特定し、特定した文字列の領域を拡大領域として登録する。   In step S1102, the CPU 111 confirms whether or not there is a character string that is independently displayed and has a maximum font size in the plurality of character strings. Here, being displayed alone means, for example, not being in a state of being combined with another character string like a character string in a sentence, but being displayed as a character string alone like a headline. If there is a character string that is displayed alone and has the largest font size (Yes in S1102), the CPU 111 advances the process to S206. Then, in step S206, the CPU 111 identifies a character string that is independently displayed and has a maximum font size, and registers the identified character string area as an enlarged area.

CPU111は、単独で表示され、かつフォントサイズが最大の文字列がない場合には(S1102でNo)、処理をS207へ進める。すなわち、この場合には、ユーザに拡大領域を指定させる。なお、S1102において、CPU111が、複数の文字列から1つの文字列を特定するための条件は、予め設計者等によりHDD104等に登録されているものとする。また、本条件は一例であり、実施形態に限定されるものではない。他の例としては、CPU111は、単に最大の文字列の領域を拡大領域として登録してもよい。また、他の例としては、CPU111は、フォントの種類が他の文字列と異なる文字列や、太字の文字列の領域を拡大領域として登録してもよい。ここで、S1102の処理は、予め定められた条件に従い、1つの文字列を特定する特定処理の一例である。なお、第2の実施形態に係る文書振り分けシステムのこれ以外の構成及び処理は、第1の実施形態に係る文書振り分けシステムの構成及び処理と同様である。   If there is no character string that is displayed alone and has the maximum font size (No in S1102), the CPU 111 advances the process to S207. That is, in this case, the user is made to specify the enlarged area. It is assumed that the condition for the CPU 111 to specify one character string from the plurality of character strings in S1102 is registered in the HDD 104 or the like in advance by a designer or the like. Further, this condition is an example and is not limited to the embodiment. As another example, the CPU 111 may simply register the area of the maximum character string as the enlarged area. Further, as another example, the CPU 111 may register a character string whose font type is different from other character strings or a region of a bold character string as an enlarged region. Here, the process of S1102 is an example of a specifying process for specifying one character string according to a predetermined condition. The other configurations and processes of the document distribution system according to the second embodiment are the same as the configurations and processes of the document distribution system according to the first embodiment.

以上、上述した各実施形態によれば、画像データ登録時のユーザの負担を軽減することができる。   As described above, according to each of the above-described embodiments, it is possible to reduce the burden on the user when registering image data.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 MFP
110 情報処理装置
100 MFP
110 Information processing device

Claims (10)

振り分けシステムであって、
サンプル画像と、ユーザにより選択された保存先フォルダのフォルダ名とを取得する第1の取得手段と、
前記サンプル画像に対して文字認識処理を実行することにより、文字列を取得する第2の取得手段と、
前記第2の取得手段で取得した文字列の中に、前記保存先フォルダのフォルダ名と同じ文字列があるか判定する判定手段と、
前記判定手段により前記保存先フォルダのフォルダ名と同じ文字列があると判定された場合、当該同じ文字列が検出された領域を拡大領域として特定し、当該特定された拡大領域と前記サンプル画像と前記フォルダ名とを対応付けて登録する登録手段と、
振り分けられる対象画像を取得する第3の取得手段と、
前記第3の取得手段で取得された対象画像に類似するサンプル画像を特定し、当該特定されたサンプル画像に対応付けて登録されている拡大領域を特定する特定手段と
を有することを特徴とする振り分けシステム。
It is a distribution system,
First acquisition means for acquiring the sample image and the folder name of the save destination folder selected by the user,
Second acquisition means for acquiring a character string by performing character recognition processing on the sample image;
Determination means for determining whether or not the character string acquired by the second acquisition means includes the same character string as the folder name of the save destination folder;
When it is determined by the determination means that there is the same character string as the folder name of the save destination folder, the area in which the same character string is detected is specified as an enlarged area, and the specified enlarged area and the sample image are specified. Registration means for registering the folder name in association with each other;
Third acquisition means for acquiring the target image to be distributed,
And a specifying unit that specifies a sample image similar to the target image acquired by the third acquiring unit and specifies an enlarged region registered in association with the specified sample image. Sorting system.
前記特定手段により特定された拡大領域に対応する、前記対象画像の領域を拡大表示するように制御する表示制御手段を更に有することを特徴とする請求項1に記載の振り分けシステム。   The distribution system according to claim 1, further comprising a display control unit that controls to enlarge and display the region of the target image corresponding to the enlarged region specified by the specifying unit. 前記表示制御手段は、前記対象画像を保存するフォルダを指定するためのフォルダ指定画面において、前記特定手段により特定された拡大領域に対応する、前記対象画像の領域を拡大表示するように制御することを特徴とする請求項2に記載の振り分けシステム。   The display control means controls to display an enlarged area of the target image corresponding to the enlarged area specified by the specifying means on a folder designation screen for designating a folder for storing the target image. The sorting system according to claim 2, wherein: 前記第3の取得手段によって取得された対象画像を、前記登録手段によって登録されたフォルダ名に対応するフォルダに保存することを特徴とする請求項1乃至3の何れか1項に記載の振り分けシステム。   The distribution system according to claim 1, wherein the target image acquired by the third acquisition unit is stored in a folder corresponding to the folder name registered by the registration unit. . 前記判定手段により前記保存先フォルダのフォルダ名と同じ文字列がないと判定された場合、前記登録手段は、前記サンプル画像における拡大領域をユーザに指定させ、当該ユーザによって指定された拡大領域と前記サンプル画像と前記フォルダ名とを対応づけて登録することを特徴とする請求項1乃至4の何れか1項に記載の振り分けシステム。   When the determination unit determines that the same character string as the folder name of the save destination folder does not exist, the registration unit causes the user to specify the enlargement region in the sample image, and the enlargement region designated by the user The distribution system according to any one of claims 1 to 4, wherein the sample image and the folder name are registered in association with each other. 前記判定手段が、前記第2の取得手段で取得した文字列の中に、前記保存先フォルダのフォルダ名と同じ文字列が複数あると判定した場合、前記登録手段は、当該複数の文字列の中から所定の条件を満たす文字列が検出された領域を拡大領域として特定し、当該特定された拡大領域と前記サンプル画像と前記フォルダ名とを対応づけて登録することを特徴とする請求項1乃至5の何れか1項に記載の振り分けシステム。   When the determination unit determines that the character strings acquired by the second acquisition unit include a plurality of character strings having the same folder name as the save destination folder, the registration unit determines that the plurality of character strings are An area in which a character string satisfying a predetermined condition is detected is specified as an enlarged area, and the specified enlarged area, the sample image, and the folder name are registered in association with each other. The distribution system according to any one of 1 to 5. 前記サンプル画像は、スキャンによって得られた画像であることを特徴とする請求項1乃至6の何れか1項に記載の振り分けシステム。   7. The sorting system according to claim 1, wherein the sample image is an image obtained by scanning. 前記対象画像は、スキャンによって得られた画像であることを特徴とする請求項1乃至7の何れか1項に記載の振り分けシステム。   The distribution system according to any one of claims 1 to 7, wherein the target image is an image obtained by scanning. 情報処理方法であって、
コンピュータの第1の取得手段が、サンプル画像と、ユーザにより選択された保存先フォルダのフォルダ名とを取得する第1の取得工程と、
コンピュータの第2の取得手段が、前記サンプル画像に対して文字認識処理を実行することにより、文字列を取得する第2の取得工程と、
コンピュータの判定手段が、前記第2の取得工程で取得した文字列の中に、前記保存先フォルダのフォルダ名と同じ文字列があるか判定する判定工程と、
コンピュータの登録手段が、前記判定工程で前記保存先フォルダのフォルダ名と同じ文字列があると判定された場合、当該同じ文字列が検出された領域を拡大領域として特定し、当該特定された拡大領域と前記サンプル画像と前記フォルダ名とを対応づけて登録する登録工程と、
コンピュータの第3の取得手段が、振り分けられる対象画像を取得する第3の取得工程と、
コンピュータの特定手段が、前記第3の取得工程で取得された対象画像に類似するサンプル画像を特定し、当該特定 されたサンプル画像に対応づけて登録されている拡大領域を特定する特定工程と
を有することを特徴とする情報処理方法。
An information processing method,
A first acquisition means of the computer, which acquires a sample image and a folder name of a save destination folder selected by the user;
A second acquisition step of acquiring a character string by performing a character recognition process on the sample image by a second acquisition means of the computer ;
A determination step of the determination means of the computer determining whether the character string acquired in the second acquisition step includes the same character string as the folder name of the save destination folder;
When the registration means of the computer determines in the determination step that the same character string as the folder name of the save destination folder is present, the area in which the same character string is detected is specified as an expansion area, and the specified expansion is performed. A registration step of registering an area, the sample image, and the folder name in association with each other;
A third acquisition means of the computer acquires a target image to be distributed;
The specifying means of the computer specifies a sample image similar to the target image acquired in the third acquisition step, and specifies an enlarged area registered in association with the specified sample image. An information processing method comprising:
請求項9に記載された情報処理方法を、コンピュータに実行させるためのプログラム。   A program for causing a computer to execute the information processing method according to claim 9.
JP2015198684A 2015-10-06 2015-10-06 Distribution system, information processing method, and program Expired - Fee Related JP6700705B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015198684A JP6700705B2 (en) 2015-10-06 2015-10-06 Distribution system, information processing method, and program
US15/285,417 US10142499B2 (en) 2015-10-06 2016-10-04 Document distribution system, document distribution apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015198684A JP6700705B2 (en) 2015-10-06 2015-10-06 Distribution system, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2017072941A JP2017072941A (en) 2017-04-13
JP6700705B2 true JP6700705B2 (en) 2020-05-27

Family

ID=58537778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015198684A Expired - Fee Related JP6700705B2 (en) 2015-10-06 2015-10-06 Distribution system, information processing method, and program

Country Status (1)

Country Link
JP (1) JP6700705B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095850A (en) * 2017-11-17 2019-06-20 富士ゼロックス株式会社 Document processing apparatus and program
JP7293963B2 (en) 2019-08-08 2023-06-20 富士フイルムビジネスイノベーション株式会社 Information processing device and information processing program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259669A (en) * 1999-03-12 2000-09-22 Ntt Data Corp Document classification device and its method
JP5477640B2 (en) * 2010-03-12 2014-04-23 富士ゼロックス株式会社 Electronic document processing apparatus and program
JP5720156B2 (en) * 2010-09-10 2015-05-20 富士ゼロックス株式会社 Electronic document processing apparatus and program

Also Published As

Publication number Publication date
JP2017072941A (en) 2017-04-13

Similar Documents

Publication Publication Date Title
US10984233B2 (en) Image processing apparatus, control method, and non-transitory storage medium that obtain text data for an image
JP7013182B2 (en) Information processing equipment, information processing methods and programs
JP6878034B2 (en) Information processing equipment, control methods, and programs
US10142499B2 (en) Document distribution system, document distribution apparatus, information processing method, and storage medium
JP2007286864A (en) Image processor, image processing method, program, and recording medium
JP2007047943A (en) Image processor, control method and program
US8073256B2 (en) Image processing apparatus and method therefor
JP6700705B2 (en) Distribution system, information processing method, and program
JP2007164513A (en) Image processor
JP2022162908A (en) Image processing apparatus, image processing method, and program
US20230206672A1 (en) Image processing apparatus, control method of image processing apparatus, and storage medium
KR101903617B1 (en) Method for editing static digital combined images comprising images of multiple objects
JP2018055256A (en) Information processing apparatus, information processing method, and program
JP2007041709A (en) Document processing system, control method of document processing system, document processing device, computer program and computer readable storage medium
JP2019169182A (en) Information processing device, control method, and program
US9400926B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US11163992B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2009140478A (en) Image processing apparatus and image processing method
JP2018005801A (en) Image processing system
JP6639257B2 (en) Information processing apparatus and control method therefor
JP2020047138A (en) Information processing apparatus
US20230118845A1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
US20230273952A1 (en) Image processing apparatus, image processing method, and storage medium
JP2021144673A (en) Image processing apparatus, image processing method and program
JP7292984B2 (en) Line splitting device and method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6700705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees