JP2010102734A - Image processor and program - Google Patents

Image processor and program Download PDF

Info

Publication number
JP2010102734A
JP2010102734A JP2010003273A JP2010003273A JP2010102734A JP 2010102734 A JP2010102734 A JP 2010102734A JP 2010003273 A JP2010003273 A JP 2010003273A JP 2010003273 A JP2010003273 A JP 2010003273A JP 2010102734 A JP2010102734 A JP 2010102734A
Authority
JP
Japan
Prior art keywords
image data
original
input
original image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010003273A
Other languages
Japanese (ja)
Other versions
JP4518212B2 (en
Inventor
Toshiya Koyama
俊哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2010003273A priority Critical patent/JP4518212B2/en
Publication of JP2010102734A publication Critical patent/JP2010102734A/en
Application granted granted Critical
Publication of JP4518212B2 publication Critical patent/JP4518212B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system allowing prompt finding of original image data corresponding to the original of image data added with a postscript. <P>SOLUTION: A control part 11 analyzes contents of an image represented by the input image data, and extracts a characteristic of the image. Next, the control part 11 searches for the original image data having a characteristic nearly according with the extracted characteristic from the original image data stored in a nonvolatile storage part 12. Next, the control part 11 compares the original image data obtained by the search and the input image data, and extracts a difference between both sides as the postscript image data. The control part 11 makes the extracted postscript image data be stored in the nonvolatile storage part 12 associatively to the original image data obtained by the search. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、追記がなされた文書の原本を探索するための技術に関する。   The present invention relates to a technique for searching for an original document to which additional writing has been made.

文書には、各種のコメントや、校正ないし修正の指示などが記されたり、或いは、その文書の内容を承認したことを示すための承認者のサインや印影などが付されることがある。このような各種の追記がなされた文書(以下、追記文書という)をスキャナで読み込んで、追記された内容(以下、追記部分という)と、その追記前の文書原本の内容とを対応付けて保存しておけば、これを様々な利用シーンで活用することができる。例えば、或る承認者のコメントだけを一斉に検索するといったように、追記部分のみを対象とした検索作業を行うことが可能となる。また、文書原本のみを表示した画面と、文書原本に追記部分を重ね合わせて表示した画面とを、ユーザの操作に応じて切り替えて表示する、といった使い方も可能である。   Various kinds of comments, proofreading or correction instructions, etc. may be written on the document, or an approver's signature or seal may be added to indicate that the content of the document has been approved. A document in which such various types of additional writing (hereinafter referred to as an additional writing document) are read by a scanner, and the added content (hereinafter referred to as an additional writing portion) and the content of the original document before the additional writing are stored in association with each other. If this is done, it can be used in various usage scenes. For example, it is possible to perform a search operation for only the added part, such as searching for comments of a certain approver all at once. Further, it is also possible to use such as switching between a screen displaying only the original document and a screen displaying the added portion superimposed on the original document according to a user operation.

そこで、従来から、このような追記部分だけを抽出するための技術が提案されている。例えば特許文献1には、文書原本と、その原本に追記がなされた追記文書を比較照合することにより、追記部分のみを抽出するという技術が記載されている。特許文献2には、ある文書がすでにデータベースに登録済みの文書Aの追記文書Bであった場合には、その追記文書Bと文書Aとを比較して追記部分の画像データを抽出し、抽出した画像データを文書Aに対応付けるという仕組みが提案されている。そして、特許文献3には、特許文献2に記載されているように追記文書Bと文書Aとを比較して追記部分の画像データを抽出したうえで、その追記部分の画像データに関する情報(例えばキーワードや更新日時)をユーザが入力し、これらの入力情報を追記部分の画像データと共に記憶しておくことが記載されている。これにより、保存後の検索作業において、例えばキーワード検索を行って所望の文書を抽出することが可能となる。   Therefore, conventionally, a technique for extracting only such an additional portion has been proposed. For example, Patent Document 1 describes a technique in which only an added part is extracted by comparing and collating a document original and an additionally-written document added to the original. In Patent Document 2, if a certain document is a recordable document B of the document A that has already been registered in the database, the recordable document B and the document A are compared to extract image data of a recordable part and extract it. A mechanism for associating the processed image data with the document A has been proposed. In Patent Document 3, as described in Patent Document 2, after comparing the postscript document B and the document A and extracting the image data of the postscript portion, information on the image data of the postscript portion (for example, It is described that the user inputs a keyword and update date and that the input information is stored together with the image data of the additional portion. Thereby, in the search operation after saving, for example, a desired document can be extracted by performing a keyword search.

特許文献1〜3に記載されているように、追記前の文書と追記後の文書とを比較し、その差分を追記部分として特定するという方法を用いた場合、追記部分のみを確実に抽出することができる。ただし、実際の利用シーンを想定すると、追記後の文書に対し、その追記がなされる前の文書をどのようにして見つけだすかという作業は、それほど容易ではない。例えば特許文献1−3においては、ユーザが追記前の文書をファイル名で指定するようになっているが、この方法では、膨大な数の全ての文書についてファイル名を覚えておかなければならず、非常に使い勝手が悪い。   As described in Patent Documents 1 to 3, when the method of comparing the document before appending and the document after appending and specifying the difference as the appending part is used, only the appending part is reliably extracted. be able to. However, assuming an actual usage scene, it is not so easy to find out how to find the document before the additional writing for the document after the additional writing. For example, in Patent Documents 1-3, the user designates a document before appending by a file name. However, in this method, the file name must be remembered for a huge number of all documents. It is very unusable.

特開昭61−67177号公報JP-A-61-67177 特開平8−317155号公報JP-A-8-317155 特開2000−148790号公報JP 2000-148790 A

本発明は、このような背景に鑑みてなされたものであり、その目的は、複数の原本画像データの中から、特定の追記文書の原本に相当する原本画像データを速やかに見つけだすことが可能な仕組みを提供することにある。   The present invention has been made in view of such a background, and an object of the present invention is to quickly find original image data corresponding to the original of a specific postscript document from a plurality of original image data. To provide a mechanism.

請求項1に係る発明は、複数の原本画像データを記憶する記憶手段と、画像データが入力される入力手段と、前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、前記抽出手段によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定手段と、前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段とを備える画像処理装置である。   The invention according to claim 1 is a storage means for storing a plurality of original image data, an input means for inputting image data, a plurality of original image data stored in the storage means, and an input to the input means. Extraction means for extracting difference images from the input image data obtained, and pixel distribution of each of the difference images based on each of the difference images extracted by the extraction means, and stored by the storage means From among a plurality of original image data, original image data in which the obtained pixel distribution is biased to a specific area with respect to other original image data is specified as original image data corresponding to the original of the input image data A difference means between the original image data specified by the specifying means and the specifying means and the input image data is added to the additional image data for the original image data. An image processing apparatus and a storage control means for storing in said memory means as a data.

請求項2に係る発明は、複数の原本画像データを記憶する記憶手段と、画像データが入力される入力手段と、前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、前記抽出手段によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データを特定する特定手段と、前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段とを備える画像処理装置である。   The invention according to claim 2 is a storage means for storing a plurality of original image data, an input means for inputting image data, a plurality of original image data stored in the storage means, and an input to the input means. Extracting means for extracting difference images from the input image data, and performing layout analysis on each of the difference images extracted by the extracting means, and obtaining the size or position of the layout unit region obtained thereby Based on the plurality of original image data stored by the storage means, specifying means for specifying original image data corresponding to the original of the input image data, original image data specified by the specifying means, The difference image from the input image data is stored in the storage means as additional image data for the original image data. An image processing apparatus and a 憶制 control means.

請求項3に係る発明は、請求項1または2に記載の構成において、前記記憶制御手段は、前記追記画像データが複数ある場合には、前記入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で前記記憶手段に記憶させることを特徴とする画像処理装置である。   According to a third aspect of the present invention, in the configuration according to the first or second aspect, the storage control means, when there are a plurality of the additional image data, the additional images that are close to each other in the image represented by the input image data The image processing apparatus is characterized in that additional image data representing the above is grouped and the additional image data is stored in the storage means in units of groups.

請求項4に係る発明は、請求項3に記載の構成において、前記記憶制御手段は、前記入力画像データが表す画像における追記画像の位置を含む電子付箋データとして、前記追記画像データを前記記憶手段に記憶させることを特徴とする画像処理装置である。   According to a fourth aspect of the present invention, in the configuration according to the third aspect, the storage control means stores the additional image data as electronic sticky note data including the position of the additional image in the image represented by the input image data. The image processing apparatus is characterized in that it is stored in the image processing apparatus.

請求項5に係る発明は、コンピュータに、記憶手段によって記憶されている複数の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、前記抽出機能によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能とを実現させるためのプログラムである。   According to a fifth aspect of the present invention, there is provided an extraction function for comparing a plurality of original image data stored in a storage means and input input image data in a computer and extracting a difference image between the two, and the extraction A distribution of pixels of each of the difference images is obtained based on each of the difference images extracted by the function, and the obtained pixel distribution is selected from the plurality of original image data stored in the storage unit. A specifying function that specifies original image data that is biased to a specific area from the image data as original image data corresponding to the original of the input image data; the original image data specified by the specifying function; and the input image data And a storage control function for storing the difference image in the storage unit as additional image data with respect to the original image data. Is a program.

請求項6に係る発明は、コンピュータに、記憶手段によって記憶されている各々の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、前記抽出機能によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能とを実現させるためのプログラムである。
According to a sixth aspect of the present invention, the computer compares each original image data stored in the storage means with the input image data inputted, and extracts a difference image between the two, and the extraction A layout analysis is performed on each of the difference images extracted by the function, and based on the size or position of the layout unit area obtained thereby, the plurality of original image data stored in the storage unit is selected. A specifying function for specifying original image data corresponding to the original of the input image data, and a difference image between the original image data specified by the specifying function and the input image data as additional image data for the original image data A program for realizing a storage control function stored in the storage unit.

本発明の第1実施形態に係る画像処理装置の構成を示したブロック図である。1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. 同実施形態に係る画像処理装置が実行する手順を示すフローチャートである。4 is a flowchart illustrating a procedure executed by the image processing apparatus according to the embodiment. 同実施形態における追記文書の内容を例示した図である。It is the figure which illustrated the content of the postscript document in the embodiment. 同実施形態における文書原本の内容を例示した図である。It is the figure which illustrated the contents of the original document in the same embodiment. 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。It is a figure explaining the principle which the image processing apparatus which concerns on the embodiment specifies original image data. 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。It is a figure explaining the principle which the image processing apparatus which concerns on the embodiment specifies original image data. 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。It is a figure explaining the principle which the image processing apparatus which concerns on the embodiment specifies original image data. 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。It is a figure explaining the principle which the image processing apparatus which concerns on the embodiment specifies original image data. 本発明の第2実施形態に係る画像処理装置が実行する手順を示すフローチャートである。同実施形態に係る画像処理装置が行う画像処理の過程を説明する図である。It is a flowchart which shows the procedure which the image processing apparatus which concerns on 2nd Embodiment of this invention performs. It is a figure explaining the process of the image processing which the image processing apparatus which concerns on the same embodiment performs. 同実施形態に係る画像処理装置が原本画像データを特定する原理を説明する図である。It is a figure explaining the principle which the image processing apparatus which concerns on the embodiment specifies original image data. 同実施形態に係る画像処理装置が入力画像データと原本画像データとの差分を抽出する様子を例示した図である。It is the figure which illustrated a mode that the image processing apparatus which concerns on the embodiment extracts the difference of input image data and original image data.

まず、本発明の実施形態で用いる主要な用語を定義しておく。
「文書原本」とは、プリンタ等の画像形成装置によって画像が形成されてから追記者による追記が一切なされていない文書を意味している。「原本画像データ」とは、この文書原本の内容を表した画像データである。なお、ここでいう「原本画像データ」という用語の意味には、文書の内容が画像として表現された画像データの他にも、例えば、文書作成アプリケーションプログラムによって固有のコード情報を用いて表現された文書データも含むものとする。なぜならこのような文書データを画像データに適宜変換することは容易であるし、また、特に本発明では、画像データであろうが文書データであろうが、文書原本の内容を解析してその特徴を抽出するために用いることができるという点では、これらのデータは共通するからである。
これに対し、「追記文書」とは、文書原本に対して追記がなされた状態の文書を意味している。また、「追記画像」とは、追記部分の画像を意味している。例えば或る文字列についてペンでアンダーラインが施されている場合には、そのアンダーラインそのものが追記画像である。「追記画像データ」とは、追記画像の内容を表した画像データである。
First, main terms used in the embodiment of the present invention are defined.
The “original document” means a document that has not been additionally written by an adder after an image is formed by an image forming apparatus such as a printer. “Original image data” is image data representing the contents of the original document. In addition, the term “original image data” here means that, in addition to image data in which the content of a document is expressed as an image, for example, it is expressed using unique code information by a document creation application program. Document data is also included. This is because it is easy to appropriately convert such document data into image data, and particularly in the present invention, whether it is image data or document data, the contents of the original document are analyzed and its characteristics are analyzed. This is because these data are common in that they can be used to extract.
On the other hand, the “additional document” means a document in a state where the original document is additionally written. Further, the “additional image” means an image of the additional portion. For example, when a certain character string is underlined with a pen, the underline itself is a postscript image. “Additional image data” is image data representing the contents of the additional image.

(1)第1実施形態
図1は、第1実施形態に係る画像処理装置1の構成を示したブロック図である。画像処理装置1は、例えばパーソナルコンピュータであり、制御部11と、不揮発性記憶部12と、入力部13と、表示部14と、操作部15とを備えている。入力部13には通信ケーブルを介してスキャナ等の画像読取装置2が接続されている。
(1) First Embodiment FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 1 according to a first embodiment. The image processing apparatus 1 is a personal computer, for example, and includes a control unit 11, a nonvolatile storage unit 12, an input unit 13, a display unit 14, and an operation unit 15. An image reading device 2 such as a scanner is connected to the input unit 13 via a communication cable.

制御部11は、CPU(Central Processing Unit)111、ROM(Read Only Memory)112及びRAM(Random Access Memory)113を備えており、画像読取装置2か
ら入力部13を介して入力された画像データに対し、各種の画像処理を実行する。不揮発性記憶部12は例えばハードディスクであり、制御部11が実行する画像処理の手順が記述された画像処理プログラムPRGを記憶している。また、不揮発性記憶部12は、追記がなされる前の文書原本の原本画像データを複数記憶している。操作部15は、例えばキーボードやマウスを備えており、ユーザによる入力操作を受け付けて、その操作に応じた信号を制御部11に供給する。表示部14は例えば液晶ディスプレイ装置であり、制御部11による制御の下で各種画像を表示する。
The control unit 11 includes a CPU (Central Processing Unit) 111, a ROM (Read Only Memory) 112, and a RAM (Random Access Memory) 113. The control unit 11 converts image data input from the image reading device 2 through the input unit 13. On the other hand, various image processing is executed. The non-volatile storage unit 12 is, for example, a hard disk, and stores an image processing program PRG describing a procedure of image processing executed by the control unit 11. In addition, the nonvolatile storage unit 12 stores a plurality of original image data of original documents before additional writing is performed. The operation unit 15 includes, for example, a keyboard and a mouse, receives an input operation by a user, and supplies a signal corresponding to the operation to the control unit 11. The display unit 14 is a liquid crystal display device, for example, and displays various images under the control of the control unit 11.

図2は、画像処理プログラムPRGに記述された手順を示すフローチャートである。
追記者は文書原本に追記を行う。追記がなされた追記文書は画像読取装置2によって読み取られる。画像読取装置2は、読み取った画像を表す画像データを画像処理装置1の入力部13に入力する。
FIG. 2 is a flowchart showing a procedure described in the image processing program PRG.
The appender adds to the original document. The additionally written document that has been additionally written is read by the image reading device 2. The image reading device 2 inputs image data representing the read image to the input unit 13 of the image processing device 1.

入力部13に画像データが入力されると(ステップS1)、制御部11は、入力された画像データ(以下、入力画像データという)が表す画像の内容を、予め決められたアルゴリズムに従って解析し、その画像の特徴を抽出する(ステップS2)。画像の特徴を抽出するための具体的なアルゴリズムについては後で詳述する。次いで、制御部11は、不揮発性記憶部12に記憶されている原本画像データの中から、ステップS2で抽出した特徴にほぼ一致するような特徴を有する原本画像データを探索する(ステップS3)。ここでは、両者の特徴が完全に一致する必要はなく、不揮発性記憶部12に記憶されている原本画像データのうち、ステップS2で抽出した特徴に最も近い特徴を有する原本画像データであればよい。なお、ここで、不揮発性記憶部12に記憶されている原本画像データがいわゆる「画像データ」でなく、冒頭で説明したような文書データであった場合は、必要に応じて、この文書データをラスタライズして画像に展開すればよい。もちろん、これはその必要がある場合に変換すればよく、後述するように文字列を特徴として使う場合には、文書データを敢えて画像に展開する必要は無い。   When image data is input to the input unit 13 (step S1), the control unit 11 analyzes the content of the image represented by the input image data (hereinafter referred to as input image data) according to a predetermined algorithm, The feature of the image is extracted (step S2). A specific algorithm for extracting image features will be described in detail later. Next, the control unit 11 searches the original image data stored in the non-volatile storage unit 12 for original image data having features that substantially match the features extracted in step S2 (step S3). Here, it is not necessary for the features of the two to completely coincide with each other, and any original image data having features closest to the features extracted in step S2 among the original image data stored in the nonvolatile storage unit 12 may be used. . Here, when the original image data stored in the nonvolatile storage unit 12 is not so-called “image data” but document data as described at the beginning, the document data is stored as necessary. What is necessary is just to rasterize and develop into an image. Of course, this may be converted when necessary, and when a character string is used as a feature as will be described later, it is not necessary to develop document data into an image.

次に、制御部11は、ステップS3の探索により得られた原本画像データと、ステップS1で得られた入力画像データとを比較し(ステップS4)、両者の差分を追記画像データとして抽出する(ステップS5)。そして、制御部11は、抽出した追記画像データを、ステップS3の探索により得られた原本画像データに対応付けて不揮発性記憶部12に記憶させる(ステップS6)。   Next, the control unit 11 compares the original image data obtained by the search in step S3 with the input image data obtained in step S1 (step S4), and extracts the difference between the two as additional image data (step S4). Step S5). The control unit 11 stores the extracted additional image data in the nonvolatile storage unit 12 in association with the original image data obtained by the search in step S3 (step S6).

ステップS6において、制御部11は、追記画像データが複数ある場合には、入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で不揮発性記憶部12に記憶させるようにしてもよい。望ましくは、制御部11は、この追記画像データを電子付箋データとして不揮発性記憶部12に記憶させる。ここでいう電子付箋データとは、入力画像データが表す画像中で追記画像がどこに配置されているかということを示す位置情報を含むデータである。
以上が、制御部11の基本動作である。
In step S6, when there are a plurality of additional image data, the control unit 11 groups the additional image data representing additional images adjacent to each other in the image represented by the input image data, and the additional image data is grouped. You may make it memorize | store in the non-volatile memory | storage part 12. FIG. Desirably, the control part 11 memorize | stores this additional image data in the non-volatile memory | storage part 12 as electronic tag data. The electronic sticky note data here is data including position information indicating where the additional image is arranged in the image represented by the input image data.
The above is the basic operation of the control unit 11.

次に、前述のステップS2で画像の特徴を抽出するための方法について説明する。具体的な方法を列挙すると次のようになる。
(1−1)可視または不可視のコード画像を特徴として抽出する方法
(1−2)レイアウト解析処理によって得られた各々のレイアウト単位領域の位置、形状及びサイズを特徴として抽出する方法
(1−3)文字認識処理によって得られた文字列を特徴として抽出する方法
(1−4)レイアウト解析処理によって得られたレイアウト単位領域のうち、特定のレイアウト単位領域に対して文字認識処理を行って得られた文字列を特徴として抽出する方法(1−5)画像を複数の領域に分割し、各々の領域に対して周波数解析を行って得られた周波数分布を特徴として抽出する方法
(1−6)画像の投影分布を特徴として抽出する方法
Next, a method for extracting image features in step S2 described above will be described. The specific methods are enumerated as follows.
(1-1) Method for Extracting Visible or Invisible Code Image as Feature (1-2) Method for Extracting Feature, Position, Shape, and Size of Each Layout Unit Area Obtained by Layout Analysis Processing (1-3 ) Method for Extracting Character String Obtained by Character Recognition Processing as a Feature (1-4) Obtained by performing character recognition processing on a specific layout unit region among layout unit regions obtained by layout analysis processing (1-5) Method for Extracting Character Strings as Features (1-5) Method for Dividing Image into Multiple Regions and Extracting Frequency Distribution Obtained by Frequency Analysis for Each Region as Features (1-6) Method for extracting projection distribution of image as feature

以下、これらの方法について順番に説明する。
(1−1)可視または不可視のコード画像を特徴として抽出する方法
図3は追記文書の一例を示す図である。追記文書Dにおいては、図4に示すような文書原本Doに対し、「総務部田中宛」という文字列のうち「田中」の部分を「中村」に修正
するような指示が追記者によって追記されている。これらの文書原本Do及び追記文書D
の所定箇所(図3,4では右上隅)には、それぞれの原本文書に対して一意に割り当てられた識別情報であるバーコードC(コード画像)が形成されている。このバーコードCは、文書原本の画像が形成されるべき記録紙に予め印刷されたものであってもよいし、プリンタ等の画像形成装置が記録紙に文書原本の画像を形成する際に同時に形成したものであってもよい。
Hereinafter, these methods will be described in order.
(1-1) Method for Extracting Visible or Invisible Code Image as Feature FIG. 3 is a diagram showing an example of an additional-write document. In the postscript document D, an instruction is added by the postscriptor to the original document Do as shown in FIG. 4 to correct the part of “Tanaka” to “Nakamura” in the character string “General Affairs Department Tanaka”. ing. These original document Do and additional document D
A barcode C (code image), which is identification information uniquely assigned to each original document, is formed at a predetermined location (upper right corner in FIGS. 3 and 4). The barcode C may be printed in advance on a recording paper on which an original document image is to be formed, or at the same time when an image forming apparatus such as a printer forms an original document image on the recording paper. It may be formed.

従って、図2において、制御部11は、追記文書の画像データの所定箇所に形成されているバーコードを解析して識別情報を抽出することにより、追記文書の特徴を抽出する(ステップS2)。次に、制御部11は、抽出した識別情報と一致するような識別情報を表すバーコードが形成された原本画像データを不揮発性記憶部12で探索すればよい(ステップS3)。   Accordingly, in FIG. 2, the control unit 11 extracts the feature of the additional writing document by analyzing the barcode formed at a predetermined location of the image data of the additional writing document and extracting the identification information (step S2). Next, the control unit 11 may search the non-volatile storage unit 12 for original image data on which a barcode representing identification information that matches the extracted identification information is formed (step S3).

なお、コード画像は、バーコードに限らず、図形または文字の組み合わせによって表されたものであればよい。例えばバーコードに代えて、QRコード等の2次元コードなどのコード画像を用いてもよいし、文字コードであってもよい。。また、このコード画像は可視画像である必要はなく、画像読取装置2が不可視トナーで形成された不可視画像を読み取るセンサを備えている場合には、コード画像は不可視であってもよい。   The code image is not limited to a bar code, but may be any code image that is represented by a combination of figures or characters. For example, instead of a bar code, a code image such as a two-dimensional code such as a QR code may be used, or a character code may be used. . Further, the code image does not need to be a visible image, and the code image may be invisible when the image reading apparatus 2 includes a sensor that reads an invisible image formed with invisible toner.

(1−2)レイアウト解析処理によって得られた各々のレイアウト単位領域の位置、形状及びサイズを特徴として抽出する方法
図5は、レイアウト解析によって原本画像データを探索する仕組みを説明する図である。図5に示すレイアウト構造R1は、追記文書(入力画像データ)に対してレイアウト解析を行い、文字領域とか写真領域等のレイアウト単位領域a1〜a7に分割された例を示している。画像処理装置の制御部11は、図2のステップS2において、このようなレイアウト解析によって得られた各々のレイアウト単位領域a1〜a7の位置、形状及びサイズを特徴として抽出する。一方、制御部11は、処理の開始以前に、原本画像データの各々について上記のようなレイアウト解析を行い、各々のレイアウト単位領域a1〜a7の位置、形状及びサイズを不揮発性記憶部12に記憶している。
(1-2) Method for Extracting Features of Position, Shape, and Size of Each Layout Unit Area Obtained by Layout Analysis Processing FIG. 5 is a diagram for explaining a mechanism for searching original image data by layout analysis. The layout structure R1 shown in FIG. 5 shows an example in which layout analysis is performed on an additional writing document (input image data) and divided into layout unit areas a1 to a7 such as a character area or a photo area. In step S2 of FIG. 2, the control unit 11 of the image processing apparatus extracts the positions, shapes, and sizes of the respective layout unit areas a1 to a7 obtained by such layout analysis as features. On the other hand, the control unit 11 performs the layout analysis as described above on each of the original image data before starting the processing, and stores the position, shape, and size of each layout unit area a1 to a7 in the nonvolatile storage unit 12. is doing.

そして、制御部11は、ステップS3において、抽出したレイアウト単位領域a1〜a7の位置、形状及びサイズと一致するようなレイアウト単位領域を有する原本画像データを探索する。例えば、図3のレイアウト構造R1と、レイアウト構造R2やレイアウト構造R3とは、その構造が一致していないが、レイアウト構造R1とレイアウト構造R1’とはその構造がほぼ一致する。ここで、レイアウト構造R1とレイアウト構造R1’が完全に一致していない理由は、追記文書のレイアウト構造R1には、追記画像そのものも1つのレイアウト単位領域として取り扱われているからである。図5に示す例では、レイアウト構造R1のレイアウト単位領域a7が追記画像に対応するレイアウト単位領域であるが、追記前の文書原本のレイアウト構造R1’には、当然、このレイアウト単位領域a7は存在していない。よって、制御部11は、不揮発性記憶部12に記憶されている原本画像データのうち、ステップS2で抽出したレイアウト構造の特徴に最も近い特徴を有する原本画像データを探索すればよい。   In step S3, the control unit 11 searches for original image data having a layout unit area that matches the position, shape, and size of the extracted layout unit areas a1 to a7. For example, the layout structure R1 of FIG. 3 does not match the layout structure R2 or the layout structure R3, but the layout structure R1 and the layout structure R1 'have substantially the same structure. Here, the reason why the layout structure R1 and the layout structure R1 'do not completely match is that the postscript image itself is handled as one layout unit area in the layout structure R1 of the postscript document. In the example shown in FIG. 5, the layout unit area a7 of the layout structure R1 is a layout unit area corresponding to the additional image, but naturally the layout unit area a7 exists in the layout structure R1 ′ of the original document before the additional recording. Not done. Therefore, the control unit 11 may search for original image data having a feature closest to the feature of the layout structure extracted in step S2 from the original image data stored in the nonvolatile storage unit 12.

(1−3)文字認識処理によって得られた文字列を特徴として抽出する方法
図6は、文字認識処理によって得られた結果に基づいて原本画像データを探索する仕組みを説明する図である。画像処理装置の制御部11は、図2のステップS2において、図6のような内容の追記文書D1(入力画像データ)の文字認識を行い、その結果を入力画像データの特徴として抽出する。一方、図2の処理開始以前に、制御部11は、原本画像データの各々について予め文字認識を行っており、その結果を不揮発性記憶部12に記憶しているものとする。
(1-3) Method for Extracting Character String Obtained by Character Recognition Processing as a Feature FIG. 6 is a diagram for explaining a mechanism for searching original image data based on the result obtained by the character recognition processing. In step S2 of FIG. 2, the control unit 11 of the image processing apparatus performs character recognition of the postscript document D1 (input image data) having the contents as shown in FIG. 6, and extracts the result as a feature of the input image data. On the other hand, it is assumed that the control unit 11 performs character recognition in advance on each of the original image data and stores the result in the nonvolatile storage unit 12 before the start of the processing in FIG.

そして、制御部11は、ステップS3において、ステップS2で得た文字認識の結果と一致するような文字認識結果の原本画像データを探索する。例えば、図6に示す追記文書D1の文字認識結果と、文書原本D1’の文字認識結果とでは、追記文書D1の「中村に修正」という文字列が文書原本D1’(領域T)に含まれていないという点を除けば、両者はほぼ一致している。つまり、両者の違いは、追記文書D1の文字認識結果には追記部分の文字列が含まれているという点のみである。これに対し、追記文書D1の文字認識結果と文書原本D2の文字認識結果とでは、追記文書D1の「中村に修正」という文字列が文書原本D2の文字認識結果(領域T)に含まれていないという点以外にも、文字列t1〜t5の内容が相違している。このように、制御部11は、追記文書(入力画像データ)の文字認識結果と、原本画像データの文字認識結果とを比較し、不揮発性記憶部12に記憶されている原本画像データのうち、ステップS2で抽出した文字認識結果に最も近い原本画像データを探索すればよい。   In step S3, the control unit 11 searches for original image data of a character recognition result that matches the character recognition result obtained in step S2. For example, in the character recognition result of the postscript document D1 and the character recognition result of the original document D1 ′ shown in FIG. 6, the character string “corrected to Nakamura” of the additional document D1 is included in the original document D1 ′ (area T). Except that they are not, the two are almost identical. That is, the only difference between the two is that the character recognition result of the postscript document D1 includes the character string of the postscript portion. On the other hand, in the character recognition result of the postscript document D1 and the character recognition result of the document original D2, the character string “corrected to Nakamura” of the postscript document D1 is included in the character recognition result (region T) of the document original D2. In addition to the fact that there is no character string, the contents of the character strings t1 to t5 are different. As described above, the control unit 11 compares the character recognition result of the postscript document (input image data) with the character recognition result of the original image data, and among the original image data stored in the nonvolatile storage unit 12, The original image data closest to the character recognition result extracted in step S2 may be searched.

(1−4)レイアウト解析処理によって得られたレイアウト単位領域のうち、特定のレイアウト単位領域に対して文字認識を行って得られた文字列を特徴として抽出する方法
上述した(1−3)の方法のように文字認識処理を行う場合、その処理対象が全て文字領域であれば問題はないが、例えば写真領域や図形領域等が含まれている場合には、それらの領域に対しては文字認識ができないので、文字認識結果が一致する原本画像データを探索しようとしても、より正確な探索が困難な場合がある。特に追記部分は手書きであることが多いが、手書き文字の文字認識精度は活字に比べて著しく低下する。
(1-4) A method of extracting a character string obtained by performing character recognition on a specific layout unit area from among layout unit areas obtained by layout analysis processing as a feature of (1-3) described above When character recognition processing is performed as in the method, there is no problem if all of the processing objects are character areas. However, for example, when a photo area or a graphic area is included, characters are not included in those areas. Since it cannot be recognized, even if an attempt is made to search for original image data with a matching character recognition result, a more accurate search may be difficult. In particular, the postscript portion is often handwritten, but the character recognition accuracy of handwritten characters is significantly lower than that of printed characters.

そこで、制御部11は、図2のステップS2において、図7に示すように追記文書に対してレイアウト解析を行い、それぞれのレイアウト単位領域を文字領域とそれ以外の領域とに分類する。具体的には、制御部11は、文字認識処理を試みて精度よくその処理を実行できた領域を文字領域とみなすようにすればよい。そして、制御部11は、文字領域とみなした領域に対する文字認識結果を入力画像データの特徴として抽出する。そして、制御部11は、ステップS3において、ステップS2で得た文字認識の結果と一致するような文字認識結果の原本画像データを探索すればよい。   Therefore, in step S2 in FIG. 2, the control unit 11 performs a layout analysis on the postscript document as shown in FIG. 7, and classifies each layout unit area into a character area and other areas. Specifically, the control unit 11 may regard a region where the character recognition process is attempted and the process can be accurately executed as a character area. And the control part 11 extracts the character recognition result with respect to the area | region considered to be a character area as a characteristic of input image data. In step S3, the control unit 11 may search for original image data of a character recognition result that matches the result of character recognition obtained in step S2.

(1−5)画像を複数の領域に分割し、各々の領域に対して周波数解析を行って得られた周波数分布を特徴として抽出する方法
画像処理装置1の制御部11は、図2のステップS2において、入力画像データが表す画像を複数の領域に分割し、各々の領域に対して周波数解析を行う。そして、制御部11は、各々領域から得られた周波数を用いて画像全体の周波数分布を特徴として抽出する。また、制御部11は、原本画像データの各々について上記のような周波数分布を算出しておき、これを不揮発性記憶部12に記憶しておく。そして、制御部11は、ステップS3において、ステップS2で得た周波数分布とほぼ一致するような原本画像データを探索する。
(1-5) Method of dividing an image into a plurality of regions and extracting the frequency distribution obtained by performing frequency analysis on each region as a feature. The control unit 11 of the image processing apparatus 1 performs steps shown in FIG. In S2, the image represented by the input image data is divided into a plurality of regions, and frequency analysis is performed on each region. And the control part 11 extracts the frequency distribution of the whole image as a characteristic using the frequency acquired from each area | region. Further, the control unit 11 calculates the frequency distribution as described above for each of the original image data, and stores this in the nonvolatile storage unit 12. In step S3, the control unit 11 searches for original image data that substantially matches the frequency distribution obtained in step S2.

(1−6)画像の投影分布を特徴として抽出する方法
画像処理装置1の制御部11は、図2のステップS2において、追記文書(入力画像データ)の画像を所定の方向に投影し、その投影分布を追記文書の特徴として抽出する。例えば、図8に示す追記文書D3をx方向(図面右方)に投影し、その方向に向かって画素の数をカウントすると、その投影分布は図示のとおりになる。一方、制御部11は、原本画像データの各々についても予め投影分布を算出し、その結果を不揮発性記憶部12に記憶しておく。そして、制御部11は、図2のステップS3において、ステップS2で得た投影分布の結果とほぼ一致するような投影分布の原本画像データを探索する。ただし、追記画像の部分については投影分布が異なることになるので、制御部11は、不揮発性記憶部12に記憶されている原本画像データのうち、ステップS2で抽出した投影分布に最も近い投影分布を持つ原本画像データを探索すればよい。
(1-6) Method for Extracting Image Projection Distribution as Feature The control unit 11 of the image processing apparatus 1 projects an image of an additional record document (input image data) in a predetermined direction in step S2 of FIG. The projection distribution is extracted as a feature of the postscript document. For example, when the postscript document D3 shown in FIG. 8 is projected in the x direction (right side of the drawing) and the number of pixels is counted in that direction, the projection distribution is as shown in the figure. On the other hand, the control unit 11 calculates a projection distribution in advance for each of the original image data, and stores the result in the nonvolatile storage unit 12. Then, in step S3 of FIG. 2, the control unit 11 searches for the original image data of the projection distribution that substantially matches the result of the projection distribution obtained in step S2. However, since the projection distribution differs for the portion of the postscript image, the control unit 11 is the projection distribution closest to the projection distribution extracted in step S2 among the original image data stored in the nonvolatile storage unit 12. What is necessary is just to search for original image data having.

この第1実施形態によれば、制御部11は、入力画像データが表す画像の内容を解析し、その画像の特徴を抽出する。次いで、制御部11は、不揮発性記憶部12に記憶されている原本画像データの中から、抽出した特徴にほぼ一致するような特徴を有する原本画像データを探索する。次に、制御部11は、探索により得られた原本画像データと、入力画像データとを比較し、両者の差分を追記画像データとして抽出する。そして、制御部11は、抽出した追記画像データを、探索により得られた原本画像データに対応付けて不揮発性記憶部12に記憶させる。このようにすれば、画像処理装置1の操作者が原本画像をわざわざ指定するような手間が不要であり、使い勝手がよい。   According to the first embodiment, the control unit 11 analyzes the content of the image represented by the input image data and extracts the feature of the image. Next, the control unit 11 searches the original image data stored in the non-volatile storage unit 12 for original image data having a feature that substantially matches the extracted feature. Next, the control unit 11 compares the original image data obtained by the search with the input image data, and extracts the difference between the two as additional image data. Then, the control unit 11 stores the extracted additional image data in the nonvolatile storage unit 12 in association with the original image data obtained by the search. In this way, it is not necessary for the operator of the image processing apparatus 1 to bother to specify the original image, and it is easy to use.

なお、上述した(1−1)〜(1−6)の方法は、それぞれ単独で用いなくても、幾つかの方法を組み合わせてもよい。このようにすれば、原本画像データをより正確に見つけだすことができる。また、画像処理装置1は原本画像データの特徴を予め算出しておき、これを不揮発性記憶部に記憶しておいたが、必ずしもこれに限らず、原本画像データを探索しようとする度に、入力画像データと原本画像データのそれぞれの特徴を算出するようにしてもよい。   In addition, the methods (1-1) to (1-6) described above may be combined with several methods without being used individually. In this way, the original image data can be found more accurately. In addition, the image processing apparatus 1 calculates the characteristics of the original image data in advance and stores them in the nonvolatile storage unit. However, the present invention is not limited to this, and every time an attempt is made to search for original image data, The characteristics of the input image data and the original image data may be calculated.

また、画像処理装置1はパーソナルコンピュータによって実現してもよいし、この画像処理装置1の機能を備えた複合機によって実現してもよい。また、画像処理装置1の機能の一部を画像読取装置2によって実現してもよい。また、画像処理装置1の制御部11は、抽出した被追記画像データを画像処理装置1に内蔵された不揮発性記憶部12に記憶するのではなく、フロッピー(登録商標)ディスクやその他の記録媒体に記憶するようにしてもよい。なお、画像処理プログラムPRGは、磁気ディスク、フロッピー(登録商標)ディスク、CD(Compact Disk),DVD(Digital Versatile Disk),RAM等の種々の記録媒体に記録した状態で提供することが可能である。   Further, the image processing apparatus 1 may be realized by a personal computer, or may be realized by a multifunction machine having the function of the image processing apparatus 1. Further, part of the functions of the image processing apparatus 1 may be realized by the image reading apparatus 2. In addition, the control unit 11 of the image processing apparatus 1 does not store the extracted additional image data to be stored in the nonvolatile storage unit 12 built in the image processing apparatus 1, but a floppy (registered trademark) disk or other recording medium. You may make it memorize. The image processing program PRG can be provided in a state of being recorded on various recording media such as a magnetic disk, a floppy (registered trademark) disk, a CD (Compact Disk), a DVD (Digital Versatile Disk), and a RAM. .

(2)第2実施形態
前述した第1実施形態では、原本画像データと入力画像データの特徴どうしを比較して入力画像データ(追記文書)の原本を探索する、という手順で処理を実行していた。以下に述べる第2実施形態では、原本画像データと入力画像データについてそれぞれ特徴を算出するのではなく、まず、原本画像データと入力画像データとを画素レベルで比較して両者の差分を抽出し、その差分に基づいて入力画像データ(追記文書)の原本を探索するという手順で処理を行う。この第2実施形態に係る画像処理装置1の構成は、画像処理プログラムPRGに記述された手順の一部を除いて同じであるから、詳細な説明は省略する。
(2) Second Embodiment In the first embodiment described above, the process is executed in such a manner that the original image data (additional document) is searched by comparing the features of the original image data and the input image data. It was. In the second embodiment described below, rather than calculating the characteristics of the original image data and the input image data, first, the original image data and the input image data are compared at the pixel level, and a difference between them is extracted. Based on the difference, the process is performed by searching for the original input image data (additional document). Since the configuration of the image processing apparatus 1 according to the second embodiment is the same except for a part of the procedure described in the image processing program PRG, detailed description thereof is omitted.

図9は、第2実施形態に係る画像処理プログラムPRGに記述された手順を示すフローチャートである。
図9において、追記がなされた追記文書が画像読取装置2によって読み取られると、画像読取装置2は、読み取った画像を表す画像データを画像処理装置1の入力部13に入力する(ステップS11)。制御部11は、その入力画像データと、不揮発性記憶部12に記憶されている各々の原本画像データとを比較していき、その差分である差分画像を抽出していく(ステップS12)。そして、制御部11は、抽出した差分画像に基づいて、入力画像データの原本に相当する原本画像データを特定する(ステップS13)。制御部11は、ステップS12で抽出した差分画像をステップS13で特定した原本画像データの追記画像として、これらを対応付けて不揮発性記憶部12に記憶させる(ステップS14)。
FIG. 9 is a flowchart showing a procedure described in the image processing program PRG according to the second embodiment.
In FIG. 9, when the postscripted document is read by the image reading device 2, the image reading device 2 inputs image data representing the read image to the input unit 13 of the image processing device 1 (step S <b> 11). The control unit 11 compares the input image data with each original image data stored in the non-volatile storage unit 12, and extracts a difference image that is the difference (step S12). Then, the control unit 11 specifies original image data corresponding to the original of the input image data based on the extracted difference image (step S13). The control unit 11 stores the difference image extracted in step S12 as the additional image of the original image data specified in step S13 in association with each other in the nonvolatile storage unit 12 (step S14).

ここで、差分を抽出し、その差分に基づいて原本を特定するための具体的なアルゴリズムについて説明する。
(2−1)入力画像データが表す前景画像の画素数に対する差分画像の画素数の比率に基づいて原本画像データを特定する方法
追記画像データが表す前景画像(背景画像の上に形成された画像)は、例えば図10の追記文書D1に示すような画像である。この場合、追記文書D1と図6に示す文書原本D1’との差分は差分画像d1’のようになり、追記文書D1と図6に示す文書原本D2との差分は差分画像d2のようになる。図10では簡単に図示しているが、更に詳細に説明すると、差分画像とは比較対象の画像どうしの差分の絶対値である。従って、例えば、原本文書D2の「5月30日」という画像と、追記文書D1の「3月29日」という画像との差分を抽出した場合、図11に示すように、まず、「5」と「3」の差分の絶対値は斜線部分mのような形状になる。同様に、「3」と「2」との差分、「0」と「9」との差分の絶対値も斜線部分mのような形状になる。なお、「月」や「日」という文字画像は、原本文書D2と追記文書D1とで、画像の形状や位置まで含めて完全に一致するから、差分画像として抽出されることはない。この図11に示したように、図10に示した差分画像d2−1〜d2−4も、実際には、文字として識別できるような画像ではなく、図11のように判読不可能な差分画像として表現されることになる。
Here, a specific algorithm for extracting the difference and specifying the original based on the difference will be described.
(2-1) Method of specifying original image data based on ratio of number of pixels of difference image to number of pixels of foreground image represented by input image data Foreground image represented by additional image data (image formed on background image) ) Is, for example, an image as shown in the postscript document D1 in FIG. In this case, the difference between the postscript document D1 and the original document D1 ′ shown in FIG. 6 is the difference image d1 ′, and the difference between the postscript document D1 and the original document D2 shown in FIG. 6 is the difference image d2. . Although simply illustrated in FIG. 10, in more detail, the difference image is an absolute value of a difference between images to be compared. Therefore, for example, when the difference between the image “May 30” of the original document D2 and the image “March 29” of the postscript document D1 is extracted, as shown in FIG. The absolute value of the difference between “3” and “3” has a shape like the shaded portion m. Similarly, the absolute value of the difference between “3” and “2” and the difference between “0” and “9” also has a shape like the shaded portion m. It should be noted that the character images “month” and “day” are not extracted as difference images because the original document D2 and the postscript document D1 completely match the shape and position of the image. As shown in FIG. 11, the difference images d2-1 to d2-4 shown in FIG. 10 are not actually images that can be identified as characters, but are not readable as shown in FIG. Will be expressed as

制御部11は、このような差分画像を不揮発性記憶部12に記憶されている全ての原本画像データについて抽出する。そして、制御部11は、入力画像データが表す前景画像の画素数に対するそれぞれの差分画像の画素数の比率を算出し、算出した比率が最も小さい差分画像に対応する原本画像データを特定する。図10の例では、追記文書D1と文書原本D1’との差分画像は「中村に変更」という画像だけであるが、追記文書D1と文書原本D2との差分画像は、差分画像d2−1〜d2−4のようになる。よって、入力画像データが表す前景画像の画素数に対する差分画像の画素数の比率が小さい方の原本画像データ、すなわち、図6の文書原本D1’が特定されることになる。   The control unit 11 extracts such difference images for all original image data stored in the nonvolatile storage unit 12. Then, the control unit 11 calculates the ratio of the number of pixels of each difference image to the number of pixels of the foreground image represented by the input image data, and specifies the original image data corresponding to the difference image having the smallest calculated ratio. In the example of FIG. 10, the difference image between the postscript document D1 and the original document D1 ′ is only an image “changed to Nakamura”, but the differential image between the postscript document D1 and the original document D2 is the difference image d2-1˜ It becomes like d2-4. Therefore, the original image data having a smaller ratio of the number of pixels of the difference image to the number of pixels of the foreground image represented by the input image data, that is, the document original D1 'in FIG. 6 is specified.

(2−2)入力画像データが表す前景画像の画素数に対する差分画像の画素の分布に基づいて原本画像データを特定する方法
上述した方法(2−1)は、差分画像の画素数の比率を用いたものであったが、以下の方法では、差分画像の画素の分布を用いるものである。
図10に示したように、追記文書D1と文書原本D1’との差分画像d1’と、追記文書D1と文書原本D2との差分画像d2とでは、差分画像の画素分布が異なる。すなわち、差分画像d1’は追記画像に等しいので、その画素が特定の領域に偏る傾向がある。これに対し、差分画像d2は、その画素が特定の領域に偏ることはなく、画像全体に均等に分散する傾向がある。特に差分画像d2は、図6に示した追記文書D1と非常によく似た文書原本との差分であるから、差分画像の画素の分布は画像全体に均等に分散している、とまでは言えないが、追記文書D1と比較対象の文書原本とが全く異なる文書である場合には、差分画像の画素分布は画像全体に満遍なく分散するはずである。制御部11は、このような差分画像の画素分布を不揮発性記憶部12に記憶されている全ての原本画像データについて算出し、算出した画素分布が特定の領域に偏っている傾向が最も強い差分画像に対応する原本画像データを特定する。
(2-2) Method of Specifying Original Image Data Based on Distribution of Pixels of Difference Image with respect to Number of Pixels of Foreground Image Represented by Input Image Data The method (2-1) described above determines the ratio of the number of pixels of the difference image. Although used, the following method uses the pixel distribution of the difference image.
As shown in FIG. 10, the difference image d1 ′ between the postscript document D1 and the original document D1 ′ and the differential image d2 between the postscript document D1 and the original document D2 have different pixel distributions. That is, since the difference image d1 ′ is equal to the postscript image, the pixel tends to be biased toward a specific area. On the other hand, the difference image d2 does not have its pixels biased to a specific area, and tends to be evenly distributed over the entire image. In particular, since the difference image d2 is a difference between the original document very similar to the postscript document D1 shown in FIG. 6, the pixel distribution of the difference image is evenly distributed over the entire image. However, if the postscript document D1 and the original document to be compared are completely different documents, the pixel distribution of the difference image should be evenly distributed over the entire image. The control unit 11 calculates the pixel distribution of such a difference image for all the original image data stored in the non-volatile storage unit 12, and the difference in which the calculated pixel distribution is most likely to be biased toward a specific region. The original image data corresponding to the image is specified.

(2−3)入力画像データと原本画像データとの差分画像のレイアウト構造に基づいて原本画像データを特定する方法
制御部11が追記画像データと原本画像データとの差分画像についてレイアウト解析を行い、レイアウト単位領域に分類すると、例えば図10に示したような差分画像d1’が存在するレイアウト単位領域と、差分画像d2−1〜d2−4がそれぞれ存在するレイアウト単位領域のようになる。制御部11は、レイアウト解析を行って得られたレイアウト単位領域のサイズ及び位置に基づいて入力画像データの原本に相当する原本画像データを特定する。具体的には、追記部分は比較的小さかったり或いは文書のページ端などの特定の領域に偏る傾向にあるので、制御部11は、差分画像の各レイアウト領域のサイズが小さいとか特定の領域に偏っている傾向が強いといったような差分画像に対応する原本画像データを特定すればよい。
なお、以上の第2実施形態においても、上述した第1実施形態と同様の変形が可能である。
(2-3) Method of Specifying Original Image Data Based on Layout Structure of Difference Image between Input Image Data and Original Image Data The control unit 11 performs a layout analysis on a difference image between additional image data and original image data, When classified into layout unit areas, for example, a layout unit area where the difference image d1 ′ exists and a layout unit area where the difference images d2-1 to d2-4 exist as shown in FIG. The control unit 11 specifies original image data corresponding to the original of the input image data based on the size and position of the layout unit area obtained by performing the layout analysis. Specifically, the added portion is relatively small or tends to be biased toward a specific area such as a page edge of the document. Therefore, the control unit 11 is biased toward a specific area such as a small size of each layout area of the difference image. What is necessary is just to specify the original image data corresponding to the difference image, such as a strong tendency.
Note that the second embodiment described above can be modified in the same manner as the first embodiment described above.

1…画像処理装置、2…画像読取装置、11…制御部、111…CPU,112…ROM,113…RAM,12…不揮発性記憶部,13…入力部,14…表示部、15・・・操作部、PRG・・・画像処理プログラム。 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 2 ... Image reading apparatus, 11 ... Control part, 111 ... CPU, 112 ... ROM, 113 ... RAM, 12 ... Nonvolatile memory | storage part, 13 ... Input part, 14 ... Display part, 15 ... Operation unit, PRG... Image processing program.

Claims (6)

複数の原本画像データを記憶する記憶手段と、
画像データが入力される入力手段と、
前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、
前記抽出手段によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定手段と、
前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段と
を備える画像処理装置。
Storage means for storing a plurality of original image data;
An input means for inputting image data;
Extraction means for extracting a difference image between a plurality of original image data stored in the storage means and input image data input to the input means;
A pixel distribution of each of the difference images is obtained based on each of the difference images extracted by the extraction unit, and the obtained pixel distribution is different from the plurality of original image data stored in the storage unit. Specifying means for specifying original image data that is biased to a specific area from the original image data as original image data corresponding to the original of the input image data;
An image processing apparatus comprising: a storage control unit that stores a difference image between the original image data specified by the specifying unit and the input image data in the storage unit as additional image data for the original image data.
複数の原本画像データを記憶する記憶手段と、
画像データが入力される入力手段と、
前記記憶手段によって記憶されている複数の原本画像データと、前記入力手段に入力された入力画像データとの差分画像をそれぞれ抽出する抽出手段と、
前記抽出手段によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データを特定する特定手段と、
前記特定手段によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御手段と
を備える画像処理装置。
Storage means for storing a plurality of original image data;
An input means for inputting image data;
Extraction means for extracting a difference image between a plurality of original image data stored in the storage means and input image data input to the input means;
A layout analysis is performed on each of the difference images extracted by the extraction unit, and a plurality of original image data stored in the storage unit is stored on the basis of the size or position of the layout unit area obtained thereby. A specifying means for specifying original image data corresponding to the original of the input image data,
An image processing apparatus comprising: a storage control unit that stores a difference image between the original image data specified by the specifying unit and the input image data in the storage unit as additional image data for the original image data.
前記記憶制御手段は、前記追記画像データが複数ある場合には、前記入力画像データが表す画像において互いに近傍にある追記画像を表す追記画像データどうしをグルーピングし、これら追記画像データをグループ単位で前記記憶手段に記憶させる請求項1または2に記載の画像処理装置。   When there are a plurality of the additional image data, the storage control unit groups the additional image data representing additional images in the vicinity of each other in the image represented by the input image data, and sets the additional image data in groups. The image processing apparatus according to claim 1, wherein the image processing apparatus is stored in a storage unit. 前記記憶制御手段は、前記入力画像データが表す画像における追記画像の位置を含む電子付箋データとして、前記追記画像データを前記記憶手段に記憶させる請求項3に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the storage control unit stores the additional image data in the storage unit as electronic sticky note data including a position of the additional image in the image represented by the input image data. コンピュータに、
記憶手段によって記憶されている複数の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、
前記抽出機能によって抽出された各々の前記差分画像に基づいて各々の前記差分画像の画素の分布を求め、前記記憶手段によって記憶されている複数の原本画像データの中から、求めた画素分布が他の原本画像データよりも特定の領域に偏っている原本画像データを、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、
前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能と
を実現させるためのプログラム。
On the computer,
An extraction function for comparing a plurality of original image data stored by the storage means and the input image data that has been input, and extracting a difference image between the two,
A pixel distribution of each of the difference images is obtained based on each of the difference images extracted by the extraction function, and the obtained pixel distribution is different from the plurality of original image data stored in the storage unit. A specifying function for specifying original image data that is biased to a specific region from the original image data as original image data corresponding to the original of the input image data;
A storage control function for storing a difference image between original image data specified by the specifying function and the input image data in the storage unit as additional image data for the original image data.
コンピュータに、
記憶手段によって記憶されている各々の原本画像データと、入力された入力画像データとを比較し、両者の差分画像をそれぞれ抽出する抽出機能と、
前記抽出機能によって抽出された各々の前記差分画像に対してレイアウト解析を行い、これによって得られたレイアウト単位領域のサイズまたは位置に基づいて、前記記憶手段によって記憶されている複数の原本画像データの中から、前記入力画像データの原本に相当する原本画像データとして特定する特定機能と、
前記特定機能によって特定された原本画像データと前記入力画像データとの差分画像を、当該原本画像データに対する追記画像データとして前記記憶手段に記憶させる記憶制御機能と
を実現させるためのプログラム。
On the computer,
An extraction function for comparing each original image data stored in the storage means with the input image data that has been input, and extracting a difference image between the two,
A layout analysis is performed on each of the difference images extracted by the extraction function, and a plurality of original image data stored in the storage unit is stored on the basis of the size or position of the layout unit area obtained thereby. A specifying function for specifying as original image data corresponding to the original of the input image data,
A storage control function for storing a difference image between original image data specified by the specifying function and the input image data in the storage unit as additional image data for the original image data.
JP2010003273A 2010-01-08 2010-01-08 Image processing apparatus and program Expired - Fee Related JP4518212B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010003273A JP4518212B2 (en) 2010-01-08 2010-01-08 Image processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010003273A JP4518212B2 (en) 2010-01-08 2010-01-08 Image processing apparatus and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004322463A Division JP4517822B2 (en) 2004-11-05 2004-11-05 Image processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2010102734A true JP2010102734A (en) 2010-05-06
JP4518212B2 JP4518212B2 (en) 2010-08-04

Family

ID=42293262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010003273A Expired - Fee Related JP4518212B2 (en) 2010-01-08 2010-01-08 Image processing apparatus and program

Country Status (1)

Country Link
JP (1) JP4518212B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214178A (en) * 2012-04-02 2013-10-17 Visetec Co Ltd Image inspection device, image inspection method, and program
US20150207948A1 (en) * 2014-01-20 2015-07-23 Fuji Xerox Co., Ltd Image processing apparatus, non-transitory computer readable medium, and image processing method
US9280638B2 (en) 2014-01-17 2016-03-08 Fuji Xerox Co., Ltd. Image processing apparatus and method, and non-transitory computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162677A (en) * 1993-12-08 1995-06-23 Toshiba Corp Picture input device
JP2003018393A (en) * 2001-07-03 2003-01-17 Ricoh Co Ltd Image processing system
JP2003046768A (en) * 2001-07-30 2003-02-14 Ricoh Co Ltd Image processor and image processing method and information recording medium with the same method recorded
JP2004178438A (en) * 2002-11-28 2004-06-24 Minolta Co Ltd Document management program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162677A (en) * 1993-12-08 1995-06-23 Toshiba Corp Picture input device
JP2003018393A (en) * 2001-07-03 2003-01-17 Ricoh Co Ltd Image processing system
JP2003046768A (en) * 2001-07-30 2003-02-14 Ricoh Co Ltd Image processor and image processing method and information recording medium with the same method recorded
JP2004178438A (en) * 2002-11-28 2004-06-24 Minolta Co Ltd Document management program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214178A (en) * 2012-04-02 2013-10-17 Visetec Co Ltd Image inspection device, image inspection method, and program
US9280638B2 (en) 2014-01-17 2016-03-08 Fuji Xerox Co., Ltd. Image processing apparatus and method, and non-transitory computer readable medium
US20150207948A1 (en) * 2014-01-20 2015-07-23 Fuji Xerox Co., Ltd Image processing apparatus, non-transitory computer readable medium, and image processing method

Also Published As

Publication number Publication date
JP4518212B2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
US8107727B2 (en) Document processing apparatus, document processing method, and computer program product
US8295590B2 (en) Method and system for creating a form template for a form
JP4854491B2 (en) Image processing apparatus and control method thereof
JPS61267177A (en) Retrieving system for document picture information
US11475688B2 (en) Information processing apparatus and information processing method for extracting information from document image
US11321558B2 (en) Information processing apparatus and non-transitory computer readable medium
US8526744B2 (en) Document processing apparatus and computer readable medium
CN113673294B (en) Method, device, computer equipment and storage medium for extracting document key information
JP4518212B2 (en) Image processing apparatus and program
JP2006065477A (en) Character recognition device
JP2008108114A (en) Document processor and document processing method
JP4983464B2 (en) Form image processing apparatus and form image processing program
JP4517822B2 (en) Image processing apparatus and program
JP2008282094A (en) Character recognition processing apparatus
JP2008310531A (en) Business form identification method, business form identification program and optical character reading system using the business form identification method
JP5724286B2 (en) Form creation device, form creation method, program
US20200311413A1 (en) Document form identification
JP2021152696A (en) Information processor and program
CN112287763A (en) Image processing method, apparatus, device and medium
JP2009182530A (en) Business processing execution support device
JP2004220340A (en) Business form format editing device and business form format editing program
JP6682827B2 (en) Information processing apparatus and information processing program
JP2020030722A (en) Document image processing system, document image processing method, and document image processing program
WO2023062799A1 (en) Information processing system, manuscript type identification method, model generation method and program
JP5003837B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4518212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140528

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees