JP2005338902A - Document data structure, document conversion device, document restoration device, document conversion method, document restoration method, document conversion program, document restoration program and recording medium - Google Patents

Document data structure, document conversion device, document restoration device, document conversion method, document restoration method, document conversion program, document restoration program and recording medium Download PDF

Info

Publication number
JP2005338902A
JP2005338902A JP2004152864A JP2004152864A JP2005338902A JP 2005338902 A JP2005338902 A JP 2005338902A JP 2004152864 A JP2004152864 A JP 2004152864A JP 2004152864 A JP2004152864 A JP 2004152864A JP 2005338902 A JP2005338902 A JP 2005338902A
Authority
JP
Japan
Prior art keywords
document
planes
plane
reference image
pln
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004152864A
Other languages
Japanese (ja)
Other versions
JP4446797B2 (en
Inventor
Fumihiro Hasegawa
史裕 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004152864A priority Critical patent/JP4446797B2/en
Priority to EP20050250226 priority patent/EP1555804A3/en
Priority to US11/037,172 priority patent/US20050180645A1/en
Priority to CNB2005100543009A priority patent/CN100356768C/en
Publication of JP2005338902A publication Critical patent/JP2005338902A/en
Application granted granted Critical
Publication of JP4446797B2 publication Critical patent/JP4446797B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a document data structure obtaining a plurality of kinds of objects, or wherein a background is formed in a different plane and is integrated. <P>SOLUTION: In this structure of document data DD, three planes PLN(1), PLN(2), PLN(3) according to an encoding method are extracted from one original document 100, and the three planes are integrated as one document. The structure of the document data DD has the three planes and a reference image FEF having information for selecting one of the three planes in each pixel as three-gradation value. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、複数のプレーンにオブジェクトの種類に応じた画像を形成し、参照イメージに与えられた階調値により何れかのプレーンを選択することで高い圧縮率を実現すること技術に関する。   The present invention relates to a technique for realizing a high compression rate by forming an image corresponding to the type of an object on a plurality of planes and selecting one of the planes according to a gradation value given to a reference image.

従来、複数枚の画像を1枚に集約して出力する画像処理手法が知られている。たとえば、特開2003−163801に記載の技術では、MRC(Mixed Raster Content)手法により、文字画像と背景画像とから1つの集約画像を作成している。   2. Description of the Related Art Conventionally, an image processing method is known in which a plurality of images are collected and output as one sheet. For example, in the technique described in Japanese Patent Laid-Open No. 2003-163801, one aggregated image is created from a character image and a background image by an MRC (Mixed Raster Content) method.

また、特開2003−087558に記載の技術では、MRC手法により、1つの画像を背景プレーンと絵柄ブレーンと、絵柄位置を示すマスクプレーンに分割する。そして、絵柄プレーンについては情報量削減のために縮小を行い、復号時には、縮小した絵柄プレーンの画素値を拡張する。この技術では、実質上、画像分割は絵柄プレーンと背景プレーンの2種類である。   In the technique described in Japanese Patent Laid-Open No. 2003-087558, one image is divided into a background plane, a pattern brain, and a mask plane indicating a pattern position by the MRC method. The picture plane is reduced to reduce the amount of information, and the pixel value of the reduced picture plane is extended at the time of decoding. In this technique, there are substantially two types of image division: a pattern plane and a background plane.

さらに、特開2003−281526に記載の技術では、スキャナ等から入力されたディジタル画像をディスプレイ等に出力する際に、モアレ等に起因する画像劣化を防止することができる。この技術では、ディジタル画像を縮小し、それを前景画像と背景画像に分離した後、背景画像として抽出された中間調ドットパターンを連続階調データに変換する。
特開2003−163801 特開2003−087558 特開2003−281526
Furthermore, the technique described in Japanese Patent Application Laid-Open No. 2003-281526 can prevent image deterioration caused by moire or the like when a digital image input from a scanner or the like is output to a display or the like. In this technique, a digital image is reduced, separated into a foreground image and a background image, and then a halftone dot pattern extracted as a background image is converted into continuous tone data.
JP2003-163801 JP 2003-087558 A JP 2003-281526 A

しかし、特許文献1,2,3の技術では、基本的に、画面分割は文字と背景の二種に分割されるに過ぎず、たとえば、原画像のうちの3種類以上のオブジェクトについて符号化等を行うことができない。   However, in the techniques of Patent Documents 1, 2, and 3, basically, the screen division is only divided into two types of characters and background. For example, encoding of three or more types of objects in the original image is performed. Can not do.

本発明の目的は、複数種類のオブジェクトを含みまたはさらに背景を異なるプレーンに形成して統合化した文書データ構造を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a document data structure that includes a plurality of types of objects or that is integrated by forming backgrounds in different planes.

本発明の他の目的は、複数種類のオブジェクトを含みまたはさらに背景を含む画像を、それぞれ複数のプレーンに分割することで高い圧縮率を実現することができる文書変換装置、文書変換方法、文書変換プログラムおよび当該プログラムが格納された記録媒体を提供することにある。   Another object of the present invention is to provide a document conversion apparatus, a document conversion method, and a document conversion capable of realizing a high compression ratio by dividing an image including a plurality of types of objects or further including a background into a plurality of planes To provide a program and a recording medium storing the program.

本発明の他の目的は、複数種類のオブジェクトを含みまたはさらに背景を異なるプレーンに形成して統合化した画像を元画像に復元することができる文書復元装置、文書復元方法、文書復元プログラムおよび当該プログラムが格納された記録媒体を提供することにある。   Another object of the present invention is to provide a document restoration apparatus, a document restoration method, a document restoration program, and a document restoration program capable of restoring an image including a plurality of types of objects or further integrating and forming a background on different planes. It is to provide a recording medium in which a program is stored.

本発明の文書データ構造は、1つの原文書から、n枚のプレーンを抽出し、当該n枚のプレーンを1文書として統合してなるものであって、前記n枚のプレーンと、画素ごとに前記n枚のプレーンのうちの1つを選択するための情報を、m階調の値として持つ参照イメージとを有することを特徴とする。   The document data structure of the present invention is formed by extracting n planes from one original document and integrating the n planes as one document, and the n planes and each pixel. And a reference image having information for selecting one of the n planes as a value of m gradations.

本発明の文書データ構造では、原文書は、前記n枚のプレーンに分けて抽出され、または前記n枚のプレーンおよび前記参照イメージ上に分けて抽出されたものとして構成できる。   In the document data structure of the present invention, the original document may be extracted and divided into the n planes or may be extracted and extracted on the n planes and the reference image.

本発明の文書データ構造では、前記n枚のプレーンの少なくとも1つが、他のプレーンの符号化方法とは異なる符号化方法により符号化されるように構成できる。   In the document data structure of the present invention, at least one of the n planes can be encoded by an encoding method different from the encoding method of the other planes.

本発明の文書データ構造では、前記n枚のプレーンが、前記原文書上のオブジェクトの種類に応じた方法により符号化されるように構成できる。   In the document data structure of the present invention, the n planes can be encoded by a method according to the type of object on the original document.

本発明の文書変換装置は、1つの原文書から、n枚のプレーンを抽出するプレーン画像抽出手段と、各画素にm階調の値が付与され、当該m階調の値に応じて前記n枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成手段と、前記n枚のプレーンおよび前記参照イメージを符号化する符号化手段とを備えたことを特徴とする。   The document conversion apparatus according to the present invention includes a plane image extraction unit that extracts n planes from one original document, and an m gradation value is assigned to each pixel. Reference image creating means for creating a reference image for specifying any one of the planes, and encoding means for coding the n planes and the reference image are provided.

本発明の文書変換装置では、前記プレーン画像抽出手段が、原文書上のオブジェクトを、前記n枚のプレーンに分けて抽出し、または前記n枚のプレーンおよび前記参照イメージ上に分けて抽出するように構成できる。   In the document conversion apparatus of the present invention, the plane image extraction unit may extract the object on the original document by dividing it into the n planes, or may extract the objects on the n planes and the reference image. Can be configured.

本発明の文書変換装置では、前記符号化手段が、前記n枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化するように構成できる。   In the document conversion apparatus of the present invention, the encoding means may be configured to encode the n planes or further the reference image by a method according to the type of object on the original document.

本発明の文書変換装置では、前記符号化手段は、前記n枚のプレーンの少なくとも1つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することができる。   In the document conversion apparatus of the present invention, the encoding unit can encode at least one of the n planes by an encoding method different from the encoding method of the other planes.

本発明の文書変換装置では、前記符号化手段により符号化された前記参照イメージおよび前記n枚のプレーンをデータセットに統合する統合手段を備えることができる。   The document conversion apparatus according to the present invention may further include an integration unit that integrates the reference image encoded by the encoding unit and the n planes into a data set.

本発明の文書変換装置では、画像加工または画像補正(解像度変換,フィルタリング処理,明度補正,色調補正,ノイズ除去)を行う加工手段を備えることができる。   The document conversion apparatus of the present invention can include processing means for performing image processing or image correction (resolution conversion, filtering processing, lightness correction, color tone correction, noise removal).

本発明の文書復元装置は、上記したデータ構造の文書データを取得し、当該文書から文書の復元を行う文書復元装置であって、前記文書データを前記n枚のプレーンおよび前記参照イメージに分解し、これらプレーンおよび参照イメージに復号化処理を施す文書分解・復号化手段と、前記参照イメージの画素を走査するスキャン手段と、前記スキャン手段により走査された画素に付与されたm階調の値を取得する階調値取得手段と、前記m階調の値に対応する前記プレーンを特定するプレーン特定手段と、前記参照イメージの画素の位置に与えられている画素に対応する前記プレーン特定手段により特定されたプレーン上の値を抽出する画素値抽出手段と、前記参照イメージの各画素に対応する、復元されるべき画像上の画素に、前記画素値抽出手段により抽出した画素値を割り当てて文書の復元を行う文書復元手段とを備えたことを特徴とする。   A document restoration apparatus according to the present invention is a document restoration apparatus that acquires document data having the above-described data structure and restores a document from the document, and decomposes the document data into the n planes and the reference image. A document decomposing / decoding unit that performs a decoding process on the plane and the reference image, a scanning unit that scans the pixels of the reference image, and an m-gradation value assigned to the pixel scanned by the scanning unit. Specified by the gradation value acquisition means to be acquired, the plane specifying means for specifying the plane corresponding to the value of the m gradation, and the plane specifying means corresponding to the pixel given to the pixel position of the reference image Pixel value extracting means for extracting a value on the generated plane, and the pixel value in the pixel on the image to be restored corresponding to each pixel of the reference image Characterized in that a document restoring means to restore the document by assigning pixel values extracted by the detection means.

本発明の文書復元装置では、前記n枚のプレーンのうち1枚または複数枚を指定するプレーン除外手段を備え、指定されたプレーンは、前記プレーン特定手段による特定処理の対象には含めないことで、必要なオブジェクトだけを復元画像に表示することができる。   The document restoration apparatus of the present invention includes a plane excluding unit that designates one or a plurality of the n planes, and the designated plane is not included in the target of the specific processing by the plane specifying unit. Only the necessary objects can be displayed on the restored image.

本発明の文書変換方法は、1つの原文書から、n枚のプレーンを抽出するプレーン抽出ステップと、各画素にm階調の値が付与され、当該m階調の値に応じて前記n枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成ステップと、前記n枚のプレーンおよび前記参照イメージを符号化する符号化ステップとを含むことを特徴とする。   In the document conversion method of the present invention, a plane extraction step of extracting n planes from one original document, and m gradation values are given to each pixel, and the n sheets are assigned according to the m gradation values. A reference image creating step of creating a reference image for specifying any of the planes, and an encoding step of encoding the n planes and the reference image.

本発明の文書変換方法では、前記プレーン抽出ステップにおいては、原文書上のオブジェクトを、前記n枚のプレーンに分けて抽出し、または前記n枚のプレーンおよび前記参照イメージ上に分けて抽出することができる。   In the document conversion method of the present invention, in the plane extracting step, an object on an original document is extracted by dividing it into the n planes, or extracted separately on the n planes and the reference image. Can do.

本発明の文書変換方法では、前記符号化ステップにおいては、前記n枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することができる。
本発明の文書変換方法では、前記符号化ステップにおいては、前記n枚のプレーンの少なくとも1つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することができる。
In the document conversion method of the present invention, in the encoding step, the n planes or further the reference image can be encoded by a method according to the type of object on the original document.
In the document conversion method of the present invention, in the encoding step, at least one of the n planes can be encoded by an encoding method different from the encoding method of other planes.

本発明の文書変換方法では、前記符号化ステップにおいて符号化された前記参照イメージおよび前記n枚のプレーンをデータセットに統合する統合化ステップを備えることができる。   The document conversion method of the present invention may include an integration step of integrating the reference image encoded in the encoding step and the n planes into a data set.

本発明の文書変換方法では、画像加工または画像補正(解像度変換,フィルタリング処理,明度補正,色調補正,ノイズ除去)を行う加工ステップをさらに備えることができる。   The document conversion method of the present invention can further include a processing step for performing image processing or image correction (resolution conversion, filtering processing, lightness correction, color tone correction, noise removal).

本発明の文書復元方法は、上記したデータ構造の文書を取得し、当該文書から文書の復元を行う文書復元方法であって、前記データ構造の文書をn枚のプレーンおよび参照イメージに復号化する復号化ステップと、前記参照イメージの画素を走査し、走査された画素に付与されたm階調の値を取得する階調値取得ステップと、前記m階調の値に対応する前記プレーンを特定するプレーン特定ステップと、前記プレーン特定ステップにおいて特定された前記プレーン上の前記画素の位置に与えられている画素値を抽出して文書の復元を行う文書復元ステップとを含むことを特徴とする。   The document restoration method of the present invention is a document restoration method for obtaining a document having the above-described data structure and restoring the document from the document, wherein the document having the data structure is decoded into n planes and a reference image. A decoding step; a gradation value acquisition step of scanning pixels of the reference image and acquiring m gradation values given to the scanned pixels; and specifying the plane corresponding to the m gradation values And a document restoration step of extracting a pixel value given to the position of the pixel on the plane identified in the plane identification step and restoring a document.

本発明の文書復元方法は、前記n枚のプレーンのうち1枚または複数枚を指定するプレーン除外ステップを備え、指定されたプレーンは、前記プレーン特定手段による特定の対象には含めないことで、必要なオブジェクトだけを画像化することができる。   The document restoration method of the present invention includes a plane excluding step of designating one or a plurality of the n planes, and the designated plane is not included in a specific target by the plane specifying unit, Only necessary objects can be imaged.

本発明の文書変換プログラムは、上記した文書変換方法における各ステップを実行することができ、本発明の文書復元プログラムは、上記した記載の画像復元方法における各ステップを実行することができる。これらのプログラムは、ピュータに読み取り可能な記録媒体に格納することができる。   The document conversion program of the present invention can execute each step in the document conversion method described above, and the document recovery program of the present invention can execute each step in the image recovery method described above. These programs can be stored in a computer-readable recording medium.

本発明によれば、カラー画像にかかる文書を、画質を大幅に低下させずに、そのファイルサイズを小さくすることができる。また、再現された文書において、文字、罫線、単色で構成される図形などの視認性を保つことができ、さらにグラデュエーションを持つ画像にも適用できる。また、文書画像を複数のプレーンと参照イメージとに分けるので、必要なオブジェクトだけ表示させたり、送信することができる。   According to the present invention, it is possible to reduce the file size of a document related to a color image without significantly reducing the image quality. Further, in a reproduced document, the visibility of characters, ruled lines, graphics composed of a single color, etc. can be maintained, and it can be applied to an image having gradation. In addition, since the document image is divided into a plurality of planes and a reference image, only necessary objects can be displayed or transmitted.

〔第1実施形態〕
図1(A),(B)は第1実施形態の文書データ構造を示す説明図である。
[First Embodiment]
FIGS. 1A and 1B are explanatory diagrams showing the document data structure of the first embodiment.

図1(B)に示すように、文書データDDは、図1(A)に示す原文書100から抽出したn枚(本実施形態ではn=3)のプレーンPLN(1),PLN(2),PLN(3)と、参照イメージREFとが統合されて構成されている。   As shown in FIG. 1B, the document data DD is composed of n (n = 3 in this embodiment) planes PLN (1) and PLN (2) extracted from the original document 100 shown in FIG. , PLN (3) and the reference image REF are integrated.

原文書100は、図1(A)に示すように、8ビットのカラー画像101と、青の塗り潰し文字および青の横ストライプの塗り潰し文字102と、赤のドットパターン背景103とからなる。   As shown in FIG. 1A, the original document 100 includes an 8-bit color image 101, blue filled characters and blue horizontal stripe filled characters 102, and a red dot pattern background 103.

本実施形態では、原文書100に表示された画像は、図1(B)に示すように、当該画像に記載されたオブジェクトに応じて、プレーンPLN(1),PLN(2),PLN(3)に分けて抽出されている。参照イメージREFは、画素ごとにプレーンPLN(1),PLN(2),PLN(3)のうちの1つを選択するための情報をm階調(本実施形態ではm=3)の値A1,A2,A3として持っている。たとえば、A1:「00」、A2:「01」、A3:「10」とすることができる。   In the present embodiment, as shown in FIG. 1B, images displayed on the original document 100 are planes PLN (1), PLN (2), PLN (3) according to the objects described in the image. ) And extracted. In the reference image REF, information for selecting one of the planes PLN (1), PLN (2), and PLN (3) for each pixel is a value A1 of m gradations (m = 3 in this embodiment). , A2, A3. For example, A1: “00”, A2: “01”, and A3: “10” can be set.

本実施形態では、プレーンPLN(1)はたとえば8ビットのカラー画像であり写真等の圧縮に適した方法により符号化され、プレーンPLN(2)は文字(イメージ画像またはテキストコードにより表された画像)であり文字の圧縮に適した方法により符号化され、プレーンPLN(3)は背景を表す画像であり背景の圧縮に適した方法により符号化されている。たとえば、参照イメージREFが白黒画像である場合には、MMR圧縮などが圧縮効率の点では都合がよい。また、プレーンPLN(1)はカラー画像であるので、JPEG,JPEG2000などの方式が好適となる。さらに、プレーンPLN(2)は文字画像であるのでMMR圧縮とすることが好ましい。   In the present embodiment, the plane PLN (1) is, for example, an 8-bit color image and is encoded by a method suitable for compression of a photograph or the like, and the plane PLN (2) is a character (an image image or an image represented by a text code). ) And is encoded by a method suitable for character compression, and the plane PLN (3) is an image representing a background and is encoded by a method suitable for background compression. For example, when the reference image REF is a black and white image, MMR compression or the like is convenient in terms of compression efficiency. Also, since the plane PLN (1) is a color image, a method such as JPEG or JPEG2000 is suitable. Furthermore, since the plane PLN (2) is a character image, it is preferable to perform MMR compression.

図2は、第1実施形態の文書変換装置を示すブロック図であり、この文書変換装置により図1(B)に示す構造の文書データDDを作成することができる。   FIG. 2 is a block diagram illustrating the document conversion apparatus according to the first embodiment. Document data DD having the structure illustrated in FIG. 1B can be created by the document conversion apparatus.

図2において、文書変換装置11は、プレーン画像抽出手段111と、参照イメージ作成手段112と、加工手段113と、符号化手段114と、統合手段115とを備えている。   In FIG. 2, the document conversion apparatus 11 includes a plain image extraction unit 111, a reference image creation unit 112, a processing unit 113, an encoding unit 114, and an integration unit 115.

プレーン画像抽出手段111は、原文書100から、符号化方法に応じ3枚のプレーンPLN(1),PLN(2),PLN(3)を抽出することができる。   The plain image extraction unit 111 can extract three planes PLN (1), PLN (2), and PLN (3) from the original document 100 according to the encoding method.

本実施形態では、プレーンPLN(1)はカラー画像である。また、PLN(2),PLN(3)上のオブジェクトの原文書100上での色が、単色カラーである場合に、当該PLN(2),PLN(3)上のオブジェクトを単色カラーとすることもできるし、白黒の画像とすることもできる。PLN(2),PLN(3)をカラー画像とする場合には、参照イメージREFは、白黒画像である。また、PLN(2),PLN(3)を白黒画像とする場合には、参照イメージREFのPLN(2),PLN(3)を選択する階調値A2,A3に単色カラーが定義される。   In the present embodiment, the plane PLN (1) is a color image. Further, when the color of the object on PLN (2), PLN (3) on the original document 100 is a single color, the object on the PLN (2), PLN (3) is set to a single color. Or a black and white image. When PLN (2) and PLN (3) are color images, the reference image REF is a monochrome image. When PLN (2) and PLN (3) are black and white images, a single color is defined for the gradation values A2 and A3 for selecting PLN (2) and PLN (3) of the reference image REF.

本実施形態では、プレーンPLN(1)にはカラー写真等が抽出され、プレーンPLN(2)には文字が抽出され、プレーンPLN(3)には背景が抽出されるが、これらの抽出に際してのオブジェクトの峻別(文字の抽出、背景の抽出)の技術は周知であるので説明はしない。   In the present embodiment, a color photograph or the like is extracted from the plane PLN (1), characters are extracted from the plane PLN (2), and a background is extracted from the plane PLN (3). The technique of distinguishing objects (extracting characters, extracting backgrounds) is well known and will not be described.

参照イメージ作成手段112は、参照イメージREFを作成することができる。   The reference image creation unit 112 can create a reference image REF.

加工手段113は、画像加工または画像補正(解像度変換,フィルタリング処理,明度補正,色調補正,ノイズ除去)を行うことができる。通常この処理により、符号化に際して、圧縮率が高くなる。   The processing means 113 can perform image processing or image correction (resolution conversion, filtering processing, lightness correction, color tone correction, noise removal). Normally, this processing increases the compression rate during encoding.

たとえば、プレーンPLN(2)は、復元文書100′上で、文字の色だけがわかればよいので、プレーンPLN(2)上のドットピッチの解像度や、プレーンPLN(2)に単色カラーが定義される場合には、カラー階調の解像度を低くすることができる。プレーンPLN(2)のオブジェクトは、文字であるので、解像度を低下させて視認性はさほど低下しない。さらに、プレーンPLN(2)について、文字認識処理を行えば、テキストコードが得られる。これを、最終的に生成される一連のデータセットに関連付けて(通常、テキストデータをデータセットに含めて)おけば、復元文書100′において、テキストコードによる検索を行うことができる。   For example, since the plane PLN (2) only needs to know the character color on the restored document 100 ', the resolution of the dot pitch on the plane PLN (2) and the monochromatic color are defined on the plane PLN (2). In this case, the color gradation resolution can be lowered. Since the object of the plane PLN (2) is a character, the resolution is lowered and the visibility is not lowered so much. Further, if a character recognition process is performed on the plane PLN (2), a text code can be obtained. By associating this with a series of data sets to be finally generated (usually including text data in the data set), it is possible to search the restored document 100 ′ by text codes.

また、補間処理等により、解像度を高くする画像処理を行ってもよい。ファイルサイズは大きくなるが写真部などが重要な場合は画質の向上となる。参照イメージREFは、本実施形態では、ドットピッチの変更は行わないが、この変更を行うようにもできる。   Further, image processing for increasing the resolution may be performed by interpolation processing or the like. When the file size is large but the photo part is important, the image quality is improved. The reference image REF is not changed in the dot pitch in this embodiment, but can be changed.

プレーンPLN(2)や参照イメージREFについては、微小な黒画素の連結成分を消去するなどの方法でノイズ除去を行うことができ、これにより符号化に際しての圧縮率が高くなる。   With respect to the plane PLN (2) and the reference image REF, noise can be removed by a method such as erasing the connected components of minute black pixels, thereby increasing the compression rate at the time of encoding.

なお、文書がどのよう使われるかに応じて、各プレーンの加工処理を適宜決定できる。たとえば、写真が重要だと考えた場合にはプレーンPLN(1)の解像度を低くしないようにすればよいし、逆に、写真はあまり重要でない場合には、プレーンPLN(1)の解像度を低くし、プレーンPLN(2)の解像度を高めにすればよい。これらは、画質と最終的な情報のサイズとのトレードオフであるので、用途に応じて決定する。   Note that the processing of each plane can be appropriately determined according to how the document is used. For example, if the photograph is considered important, the resolution of the plane PLN (1) should not be lowered. Conversely, if the photograph is not so important, the resolution of the plane PLN (1) should be lowered. However, the resolution of the plane PLN (2) may be increased. Since these are trade-offs between image quality and final information size, they are determined according to the application.

符号化手段114は、プレーンPLN(1),PLN(2),PLN(3)および参照イメージREFを、原文書100上のオブジェクトの種類に応じた方法(当該オブジェクトの圧縮に好適な方法であり、各プレーンで異なる)により符号化することができる。   The encoding means 114 is a method (a method suitable for compressing the object) that uses the planes PLN (1), PLN (2), PLN (3), and the reference image REF according to the type of object on the original document 100. , Different for each plane).

統合手段115は、符号化手段113により符号化された参照イメージREFおよびn枚のプレーンPLN(1),PLN(2),PLN(3)をデータセットに統合することができる。なお、統合に際して、各プレーンが、どのような属性を持つかの情報(たとえば、写真等のビットマップ画像、文字、背景等の情報)を、データセットに含めておくことで、たとえば、後述する文書復元に際して、操作者にとって不要なプレーンをプレーン除外手段213を用いて除外することができる。これにより、画像表現の際、ある特定のプレーンだけを見ることもできる。この場合は不要な情報は不可視となるので、文書が見やすくなる。また、データ通信に際しては、適宜不要と思われるプレーンをデータセットから除外することで、送受信するデータ量を少なくする(これにより、送受信時間を短くする)ことができる。   The integration unit 115 can integrate the reference image REF encoded by the encoding unit 113 and the n planes PLN (1), PLN (2), and PLN (3) into a data set. It should be noted that at the time of integration, information about what attributes each plane has (for example, bitmap images such as photographs, information on characters, backgrounds, etc.) is included in the data set, for example, as described later. At the time of document restoration, planes unnecessary for the operator can be excluded using the plane exclusion unit 213. As a result, only a specific plane can be seen in the image representation. In this case, unnecessary information becomes invisible, so that the document can be easily viewed. Further, when data communication is performed, planes that are considered unnecessary are appropriately excluded from the data set, so that the amount of data to be transmitted / received can be reduced (thus shortening the transmission / reception time).

図3は、第1実施形態の文書変換方法を示す説明図である。この文書変換方法は、図2の文書変換装置11を用いて実施することができる。   FIG. 3 is an explanatory diagram illustrating the document conversion method according to the first embodiment. This document conversion method can be implemented using the document conversion apparatus 11 of FIG.

図3において、まず原文書100から、符号化方法に応じた3枚のプレーンPLN(1),PLN(2),PLN(3)を抽出する(プレーン抽出ステップ:S101)。このプレーン抽出ステップS101においては、原文書100上のオブジェクトを、3枚のプレーンPLN(1),PLN(2),PLN(3)に分けて抽出する。   In FIG. 3, first, three planes PLN (1), PLN (2), and PLN (3) corresponding to the encoding method are extracted from the original document 100 (plane extraction step: S101). In this plane extraction step S101, the object on the original document 100 is extracted by dividing it into three planes PLN (1), PLN (2), and PLN (3).

つぎに、各画素に3階調の値A1,A2,A3が付与され、3階調の値に応じて3枚のプレーンPLN(1),PLN(2),PLN(3)うちの何れかを特定するための参照イメージREFを作成する(参照イメージ作成ステップ:S102)。、
さらに、3枚のプレーンPLN(1),PLN(2),PLN(3)について、画像加工または画像補正(解像度変換,フィルタリング処理,明度補正,色調補正,ノイズ除去)を行う(加工ステップ:S103)。
Next, three gradation values A1, A2, and A3 are assigned to each pixel, and one of the three planes PLN (1), PLN (2), and PLN (3) according to the three gradation values. A reference image REF for identifying the reference image is created (reference image creation step: S102). ,
Further, image processing or image correction (resolution conversion, filtering processing, lightness correction, tone correction, noise removal) is performed on the three planes PLN (1), PLN (2), and PLN (3) (processing step: S103). ).

この後、3枚のプレーンPLN(1),PLN(2),PLN(3)および参照イメージREFを符号化する(符号化ステップ:S104)。符号化ステップS104では。3枚のプレーンPLN(1),PLN(2),PLN(3)および参照イメージREFは、原文書100上のオブジェクトの種類に応じた方法により符号化する。本実施形態では、3枚のプレーンは、それぞれ異なる符号化方法で符号化している。   Thereafter, the three planes PLN (1), PLN (2), PLN (3) and the reference image REF are encoded (encoding step: S104). In the encoding step S104. The three planes PLN (1), PLN (2), PLN (3) and the reference image REF are encoded by a method according to the type of object on the original document 100. In the present embodiment, the three planes are encoded by different encoding methods.

そして、符号化ステップS104において符号化された参照イメージREFおよび3枚のプレーンPLN(1),PLN(2),PLN(3)をデータセットに統合する。   Then, the reference image REF encoded in the encoding step S104 and the three planes PLN (1), PLN (2), and PLN (3) are integrated into a data set.

なお、プレーンPLN(1),PLN(2),PLN(3)の参照されない領域の画素値は、所定の画素値(たとえば、白、黒等)に置き換えることができる。これにより、符号化に際して圧縮効率を向上させることができる。プレーンPLN(1)のみが、画像再現時に参照されるような場合には、プレーンPLN(1)上の参照イメージREFの文字に対応する画素に、周囲の画素を用いて所定の画素値を付与することができる。プレーンPLN(2)のみが、画像再現時に参照されるような場合には、プレーンPLN(2)上の参照イメージREFの文字以外の画素は、文字が見やすくなるような色でかつ圧縮効率を低下させないような画素値を付与することができる。

図4は、第1実施形態の文書復元装置を示す説明図である。
It should be noted that the pixel values of the unreferenced areas of the planes PLN (1), PLN (2), and PLN (3) can be replaced with predetermined pixel values (for example, white, black, etc.). Thereby, the compression efficiency can be improved during encoding. When only the plane PLN (1) is referred to during image reproduction, a predetermined pixel value is assigned to the pixel corresponding to the character of the reference image REF on the plane PLN (1) using surrounding pixels. can do. When only the plane PLN (2) is referred to during image reproduction, the pixels other than the characters of the reference image REF on the plane PLN (2) have colors that make it easy to see the characters and reduce the compression efficiency. Pixel values that are not allowed to be applied can be given.

FIG. 4 is an explanatory diagram illustrating the document restoration apparatus according to the first embodiment.

図4において、文書復元装置21は、文書分解・復号化手段211と、階調値取得手段212と、プレーン除外手段213と、プレーン特定手段214と、文書復元手段215とを備えている。本実施形態において文書復元装置21は、文書データDDを取得し、当該文書データから原文書100を復元することができる。   In FIG. 4, the document restoration device 21 includes a document decomposition / decryption unit 211, a gradation value acquisition unit 212, a plane exclusion unit 213, a plane identification unit 214, and a document restoration unit 215. In the present embodiment, the document restoration device 21 can acquire the document data DD and restore the original document 100 from the document data.

文書分解・復号化手段211は、文書データDDに復号化処理を施し、3枚のプレーンプレーンPLN(1),PLN(2),PLN(3)と参照イメージREFを生成することができる。   The document decomposition / decryption unit 211 can decrypt the document data DD to generate three plane planes PLN (1), PLN (2), PLN (3) and a reference image REF.

階調値取得手段212は、参照イメージREFの画素を走査し、走査された画素に付与されている3階調の値A1,A2,A3の何れかを取得することができる。   The gradation value acquisition unit 212 scans the pixels of the reference image REF, and can acquire any of the three gradation values A1, A2, and A3 given to the scanned pixels.

プレーン除外手段213は、3枚のプレーンPLN(1),PLN(2),PLN(3)のうち1枚または2枚のプレーンを処理対象から外すことができる。プレーン除外手段213により除外されたプレーンは、プレーン特定手段214による特定の対象には含めないことで、必要なオブジェクトだけを再現画像100′上に表示することができる。   The plane excluding unit 213 can exclude one or two of the three planes PLN (1), PLN (2), and PLN (3) from the processing target. The planes excluded by the plane excluding unit 213 are not included in the specific target by the plane identifying unit 214, so that only necessary objects can be displayed on the reproduced image 100 ′.

プレーン特定手段214は、3階調の値A1,A2,A3の値に対応するプレーンPLN(1),PLN(2),PLN(3)を特定することができる。   The plane specifying unit 214 can specify the planes PLN (1), PLN (2), and PLN (3) corresponding to the three gradation values A1, A2, and A3.

文書復元手段215は、参照イメージREFの画素の位置に与えられている、画素に対応するプレーン特定手段214により特定されたプレーン上の値を抽出し、文書の復元を行い、復元文書100′を得ることができる。   The document restoration unit 215 extracts the value on the plane specified by the plane identification unit 214 corresponding to the pixel given to the pixel position of the reference image REF, restores the document, and restores the restored document 100 ′. Can be obtained.

プレーンPLN(2),PLN(3)上のオブジェクトに単色カラーが定義されている場合において、参照イメージREFの画素の階調値がA2またはA3であるときには、復元文書100′にはプレーンPLN(2),PLN(3)上で定義された色が反映される。また、プレーンPLN(2),(3)に、予め色を定義せずに、階調値A2,A3に対応して単色カラーが定義されているときは、これらの単色カラーが復元画像に反映される。   In the case where a single color is defined for the objects on the planes PLN (2) and PLN (3), when the gradation value of the pixel of the reference image REF is A2 or A3, the restored document 100 ′ includes the plane PLN ( 2) Reflects the color defined on PLN (3). In addition, when a single color is defined corresponding to the gradation values A2 and A3 without previously defining colors in the planes PLN (2) and (3), these single colors are reflected in the restored image. Is done.

図5は、第1実施形態の文書復元方法を示す説明図である。この文書復元方法は、図4の文書復元装置21を用いて実施することができる。   FIG. 5 is an explanatory diagram illustrating the document restoration method according to the first embodiment. This document restoration method can be implemented using the document restoration apparatus 21 of FIG.

図5において、まず文書データDDを、3枚のプレーンPLN(1),PLN(2),PLN(3)および参照イメージREFに分解し、これらに復号化処理を施す(文書分解・復号化ステップ:S201)。   In FIG. 5, document data DD is first decomposed into three planes PLN (1), PLN (2), PLN (3) and reference image REF, and these are subjected to decoding processing (document decomposition / decoding step). : S201).

参照イメージREFの画素を走査し、各画素に付与された3階調の値A1,A2,A3を取得する(階調値取得ステップ:S202)。   The pixels of the reference image REF are scanned to acquire the three gradation values A1, A2, and A3 assigned to each pixel (gradation value acquisition step: S202).

所定対象となるプレーンを除外する(プレーン除外ステップ:S203)。   A plane to be a predetermined target is excluded (plane exclusion step: S203).

3階調の値A1,A2,A3に対応するプレーンを特定する(プレーン特定ステップ:S204)。   A plane corresponding to the three gradation values A1, A2, A3 is specified (plane specifying step: S204).

プレーン特定ステップS204において特定されたプレーン上の画素の位置に与えられている画素値を抽出し、復元文書100′を生成する(文書復元ステップ:S205)。
〔第2実施形態〕
図6(A),(B)は第2実施形態の文書データ構造を示す説明図である。
The pixel value given to the pixel position on the plane specified in the plane specifying step S204 is extracted to generate the restored document 100 ′ (document restoring step: S205).
[Second Embodiment]
6A and 6B are explanatory diagrams showing the document data structure of the second embodiment.

本実施形態では、図6(A)に示すように、原文書200は、第1実施形態の原文書100と同じであり(図1(A)参照)、8ビットのカラー画像201と、青の塗り潰し文字および青の横ストライプの塗り潰し文字202と、赤のドットパターン背景203とからなる。   In this embodiment, as shown in FIG. 6A, the original document 200 is the same as the original document 100 of the first embodiment (see FIG. 1A), and an 8-bit color image 201 and blue And a blue horizontal stripe filled character 202, and a red dot pattern background 203.

また、文書データDDは、図6(B)に示す原文書200から抽出したn枚(本実施形態ではn=3)のプレーンPLN(1),PLN(2),PLN(3)と、参照イメージREFとが統合されて構成されていることは第1実施形態と同じであり、参照イメージREFは、画素ごとにプレーンPLN(1),PLN(2),PLN(3)のうちの1つを選択するための情報をm階調(本実施形態ではm=3)の値A1,A2,A3として持っていることも第1実施形態と同じである。   Further, the document data DD is referred to n (n = 3 in this embodiment) planes PLN (1), PLN (2), PLN (3) extracted from the original document 200 shown in FIG. The image REF is integrated and configured as in the first embodiment, and the reference image REF is one of the planes PLN (1), PLN (2), and PLN (3) for each pixel. It is the same as in the first embodiment that the information for selecting is stored as values A1, A2, and A3 of m gradations (m = 3 in this embodiment).

ただし、図6(B)のプレーンPLN(2)および参照イメージREFは、第1実施形態のプレーンPLN(2)および参照イメージREF(図1(B)参照)とは異なる。青の塗り潰し文字および青の横ストライプの塗り潰し文字202は、参照イメージREFに記載されており、プレーンPLN(2)の文字202に相当する部分には、黒の塗り潰しおよび黒のストライプの塗り潰し図形B1が形成されている(図7のプレーンPLN(2)参照)。   However, the plane PLN (2) and the reference image REF in FIG. 6B are different from the plane PLN (2) and the reference image REF (see FIG. 1B) in the first embodiment. A blue filled character and a blue horizontal stripe filled character 202 are described in the reference image REF, and a portion corresponding to the character 202 of the plane PLN (2) has a black fill and a black stripe fill figure B1. (See the plane PLN (2) in FIG. 7).

図6(B)に示す構造の文書データDDは、図2の文書変換装置11により作成することができ、図4の文書復元装置12により復元することができる。   The document data DD having the structure shown in FIG. 6B can be created by the document conversion apparatus 11 in FIG. 2, and can be restored by the document restoration apparatus 12 in FIG.

図7は、第2実施形態の文書変換方法を示す説明図である。この文書変換方法は、第1実施形態における文書変換方法と基本的には同じである。ただし、プレーン抽出ステップS101において、第1実施形態では、原文書200上のオブジェクトを3枚のプレーンPLN(1),PLN(2),PLN(3)に分けて抽出したが、本実施形態では、原文書100上のオブジェクトを、2枚のプレーンPLN(1),PLN(3)および参照イメージREFに分けて抽出する。   FIG. 7 is an explanatory diagram illustrating a document conversion method according to the second embodiment. This document conversion method is basically the same as the document conversion method in the first embodiment. However, in the plane extraction step S101, in the first embodiment, the object on the original document 200 is extracted by being divided into three planes PLN (1), PLN (2), and PLN (3). Then, the object on the original document 100 is extracted by being divided into two planes PLN (1), PLN (3) and a reference image REF.

図8は、第2実施形態の文書復元方法を示す説明図である。この文書復元方法は、第1実施形態における文書復元方法と基本的には同じであり、実質上第1実施形態と同様に復元文書200′の復元が行われる。ただし、プレーン特定ステップS204では、第1実施形態においては、参照イメージREF上の塗り潰しとプレーンPLN(2)上の文字オブジェクトにより文字202を復元したが、第2実施形態では、参照イメージREF上の文字オブジェクトとプレーンPLN(2)の塗り潰しにより文字202を復元している。
〔第3実施形態〕
図9(A),(B)は第3実施形態の文書データ構造を示す説明図である。
FIG. 8 is an explanatory diagram showing a document restoration method according to the second embodiment. This document restoration method is basically the same as the document restoration method in the first embodiment, and the restored document 200 'is restored in substantially the same manner as in the first embodiment. However, in the plane specifying step S204, in the first embodiment, the character 202 is restored by filling the reference image REF and the character object on the plane PLN (2). However, in the second embodiment, the character 202 is restored on the reference image REF. The character 202 is restored by painting the character object and the plane PLN (2).
[Third Embodiment]
9A and 9B are explanatory diagrams showing the document data structure of the third embodiment.

本実施形態では、図9(A)に示すように、原文書300は、8ビットのカラー画像301と、青と緑ので上下が塗り分けられた塗り潰し文字(上部領域を符号302で、下部位領域を符号303で示す)と、黒で表された表304と、赤のドットパターンの背景305とからなる。   In the present embodiment, as shown in FIG. 9A, an original document 300 is composed of an 8-bit color image 301 and filled characters in which the upper and lower sides are separately painted in blue and green (the upper region is denoted by reference numeral 302 and the lower part The area is indicated by reference numeral 303), a table 304 represented in black, and a background 305 with a red dot pattern.

また、文書データDDは、図9(B)に示す原文書300から抽出したn枚(本実施形態ではn=4)のプレーンPLN(1),PLN(2),PLN(3),PLN(4)と、参照イメージREFとが統合されて構成されている。参照イメージREFは、画素ごとにプレーンPLN(1),PLN(2),PLN(3),PLN(4)のうちの1つを選択するための情報をm階調(本実施形態ではm=5)の値A1,A2,A3,A4,A5として持っている。すなわち、本実施形態では、n<mである。   Further, the document data DD is the n (n = 4 in this embodiment) planes PLN (1), PLN (2), PLN (3), PLN (extracted from the original document 300 shown in FIG. 9B. 4) and the reference image REF are integrated. The reference image REF includes information for selecting one of the planes PLN (1), PLN (2), PLN (3), and PLN (4) for each pixel in m gradations (in this embodiment, m = 5) as values A1, A2, A3, A4, A5. That is, in this embodiment, n <m.

図9(B)のプレーンPLN(1)は8ビットのカラー画像301からなる。また、プレーンPLN(2)はモノクロの塗り潰し文字により構成され、プレーンPLN(3)はモノクロの表により構成され、プレーンPLN(4)はモノクロのドットパターンにより構成されている。   The plane PLN (1) in FIG. 9B is composed of an 8-bit color image 301. In addition, the plane PLN (2) is composed of monochrome filled characters, the plane PLN (3) is composed of a monochrome table, and the plane PLN (4) is composed of a monochrome dot pattern.

また、参照イメージREFは、前述したように5階調の値A1,A2,A3,A4,A5の領域により構成されている。階調値A1を持つ領域は、プレーンPLN(1)のカラー画像301に対応して形成されている。また、階調値A2を持つ領域は、プレーンPLN(2)上の、文字の上部領域302に対応して形成され、階調値A3を持つ領域は、プレーンPLN(2)上の、文字の下部領域303に対応して形成されている。階調値A4を持つ領域は、プレーンPLN(3)の表304に対応して形成され、階調値A5を持つ領域は、プレーンPLN(4)のドットパターンの背景305に対応する。   Further, as described above, the reference image REF is composed of areas of five gradation values A1, A2, A3, A4, and A5. The region having the gradation value A1 is formed corresponding to the color image 301 of the plane PLN (1). The region having the gradation value A2 is formed corresponding to the character upper region 302 on the plane PLN (2), and the region having the gradation value A3 is formed on the plane PLN (2). It is formed corresponding to the lower region 303. The region having the gradation value A4 is formed corresponding to the table 304 of the plane PLN (3), and the region having the gradation value A5 corresponds to the background 305 of the dot pattern of the plane PLN (4).

図6(B)に示す構造の文書データDDは、図2の文書変換装置11により作成することができ、図4の文書復元装置12により復元することができる。   The document data DD having the structure shown in FIG. 6B can be created by the document conversion apparatus 11 in FIG. 2, and can be restored by the document restoration apparatus 12 in FIG.

本実施形態では、プレーンPLN(1)については、PLN(1)上の画素値で表示される。また、本実施形態では、プレーンPLN(2),(3),(4)には、色が定義されておらず、参照イメージREFに、A2,A3,A4,A5に対応して、それぞれ色が定義されている。したがって、プレーンPLN(2)上のオブジェクト(本実施形態では文字)については、階調A2の領域に予め定義されている色(ここでは青)または、階調A3の領域に予め定義されている色(ここでは緑)で表示される。また、プレーンPLN(3)のオブジェクト(本実施形態では表)については、階調A3の領域に予め定義されている色(ここでは黒)で表示され、プレーンPLN(4)のオブジェクト(本実施形態ではドットパターン)については、階調A4の領域に予め定義されている色(ここでは赤)で表示される。   In the present embodiment, the plane PLN (1) is displayed with pixel values on PLN (1). In the present embodiment, the planes PLN (2), (3), and (4) are not defined in color, and the reference image REF has colors corresponding to A2, A3, A4, and A5, respectively. Is defined. Therefore, the object (character in this embodiment) on the plane PLN (2) is defined in advance in the color defined in the gradation A2 area (in this case, blue) or in the gradation A3 area. Displayed in color (green here). The object of the plane PLN (3) (table in this embodiment) is displayed in a color (here black) defined in advance in the area of the gradation A3, and the object of the plane PLN (4) (this embodiment) In the form, a dot pattern) is displayed in a color (here, red) defined in advance in the area of gradation A4.

なお、プレーンPLN(2),PLN(3),PLN(4)についても、プレーンPLN(2),PLN(3),PLN(4)上の画素値で表示するようにできる。この場合には、プレーンPLN(2),PLN(3),PLN(4)上のオブジェクトには色が定義される。   The planes PLN (2), PLN (3), and PLN (4) can also be displayed with pixel values on the planes PLN (2), PLN (3), and PLN (4). In this case, colors are defined for objects on the planes PLN (2), PLN (3), and PLN (4).

図9(B)に示す構造の文書データDDは、図2の文書変換装置11により作成することができ、図4の文書復元装置12により復元することができる。   The document data DD having the structure shown in FIG. 9B can be created by the document conversion apparatus 11 shown in FIG. 2, and can be restored by the document restoration apparatus 12 shown in FIG.

図10は、第3実施形態の文書変換方法を示す説明図である。この文書変換方法は、第1実施形態における文書変換方法と基本的には同じである。ただし、参照イメージ作成ステップS102において、文字を一つの階調値A2に対応させたが、本実施形態では文字を2つの階調値A2,A3に対応させている。また、本実施形態では、原文書300に表がオブジェクトとして追加されているため、プレーンが全部で4枚となっている。   FIG. 10 is an explanatory diagram illustrating a document conversion method according to the third embodiment. This document conversion method is basically the same as the document conversion method in the first embodiment. However, in the reference image creation step S102, the character is associated with one gradation value A2, but in this embodiment, the character is associated with two gradation values A2 and A3. In this embodiment, since the table is added as an object to the original document 300, the number of planes is four in total.

図11は、第3実施形態の文書復元方法を示す説明図である。この文書復元方法は、第1実施形態における文書復元方法と基本的には同じであり、実質上第1実施形態と同様に復元文書300′の復元が行われる。ただし、プレーン特定ステップS204では、第1実施形態においては、参照イメージREF上の塗り潰しとプレーンPLN(2)上の文字オブジェクトにより文字102を復元したが、第3実施形態では、参照イメージREF上の階調値A2,A3が示す2色の文字オブジェクトと、プレーンPLN(2)の塗り潰しにより文字の上部領域302および文字の下部領域303文字102を復元している。
〔第4実施形態〕
図12(A),(B)は第4実施形態の文書データ構造を示す説明図である。
FIG. 11 is an explanatory diagram illustrating a document restoration method according to the third embodiment. This document restoration method is basically the same as the document restoration method in the first embodiment, and the restoration document 300 ′ is restored in substantially the same manner as in the first embodiment. However, in the plane specifying step S204, the character 102 is restored by filling the reference image REF and the character object on the plane PLN (2) in the first embodiment, but in the third embodiment, the character 102 is restored on the reference image REF. The character upper region 302 and the character lower region 303 are restored by filling the two color character objects indicated by the gradation values A2 and A3 and the plane PLN (2).
[Fourth Embodiment]
12A and 12B are explanatory diagrams showing the document data structure of the fourth embodiment.

本実施形態では、図12(A)に示すように、原文書400は、グレイのグラデュエーションで装飾された文字401と、赤のドットパターンの背景402とからなる。   In this embodiment, as shown in FIG. 12A, the original document 400 includes characters 401 decorated with gray gradation and a background 402 with a red dot pattern.

また、文書データDDは、図12(B)に示す原文書400から抽出したn枚(本実施形態ではn=2)のプレーンPLN(1),PLN(2)と、参照イメージREFとが統合されて構成されている。参照イメージREFは、画素ごとにプレーンPLN(1),PLN(2)のうちの1つを選択するための情報をm階調(本実施形態ではm=16)の値A1,A2,・・・,A16として持っている。すなわち、本実施形態では、n<mである。   Further, the document data DD is obtained by integrating n (n = 2 in this embodiment) planes PLN (1) and PLN (2) extracted from the original document 400 shown in FIG. 12B and the reference image REF. Has been configured. The reference image REF uses information for selecting one of the planes PLN (1) and PLN (2) for each pixel as values A1, A2,... Of m gradations (m = 16 in this embodiment).・ It has as A16. That is, in this embodiment, n <m.

参照イメージREFは、前述したように16階調の値A1,A2,・・・,A16の領域により構成されている。階調値A1を持つ領域の画素には、対応するプレーンPLN(1)上の画素値が割り当てられる。また、階調値A2を持つ領域には「白」が定義されており、階調値A16を持つ領域には「黒」が定義され、階調値A3〜A15を持つ領域には、段階的に「白」に近いグレーから「黒」に近いグレーが定義されている。   As described above, the reference image REF is composed of 16 gradation values A1, A2,..., A16. The pixel value on the corresponding plane PLN (1) is assigned to the pixel in the region having the gradation value A1. In addition, “white” is defined in the region having the gradation value A2, “black” is defined in the region having the gradation value A16, and stepwise is provided in the region having the gradation values A3 to A15. A gray color close to “white” to a gray color close to “black” is defined.

図12(B)に示す構造の文書データDDは、図2の文書変換装置11により作成することができ、図4の文書復元装置12により復元することができる。   The document data DD having the structure shown in FIG. 12B can be created by the document conversion apparatus 11 shown in FIG. 2, and can be restored by the document restoration apparatus 12 shown in FIG.

本実施形態では、参照イメージREF上の階調値A1を持つ画素に対応するPLN(1)上の画素値については、当該参照イメージREF上の画素の値で表示される。プレーンPLN(2)については、色が定義されておらず、参照イメージREF上の画素に与えられている階調値A2〜A16に対応して、それぞれ白、グレー、黒が復元画像に表れる。   In the present embodiment, the pixel value on PLN (1) corresponding to the pixel having the gradation value A1 on the reference image REF is displayed with the value of the pixel on the reference image REF. For the plane PLN (2), no color is defined, and white, gray, and black appear in the restored image corresponding to the gradation values A2 to A16 given to the pixels on the reference image REF, respectively.

なお、プレーンPLN(2),PLN(3),PLN(4)についても、プレーンPLN(2),PLN(3),PLN(4)上の画素値で表示するようにできる。この場合には、プレーンPLN(2),PLN(3),PLN(4)上のオブジェクトには色が定義される。   The planes PLN (2), PLN (3), and PLN (4) can also be displayed with pixel values on the planes PLN (2), PLN (3), and PLN (4). In this case, colors are defined for objects on the planes PLN (2), PLN (3), and PLN (4).

図12(B)に示す構造の文書データDDは、図2の文書変換装置11により作成することができ、図4の文書復元装置12により復元することができる。   The document data DD having the structure shown in FIG. 12B can be created by the document conversion apparatus 11 shown in FIG. 2, and can be restored by the document restoration apparatus 12 shown in FIG.

図13は、第4実施形態の文書変換方法を示す説明図である。この文書変換方法は、第1実施形態における文書変換方法と基本的に同じである。また、図14は、第4実施形態の文書復元方法を示す説明図であり、この文書復元方法は、第1実施形態における文書復元方法と基本的には同じであり、実質上第1実施形態と同様に復元文書400′の復元が行われる。   FIG. 13 is an explanatory diagram illustrating a document conversion method according to the fourth embodiment. This document conversion method is basically the same as the document conversion method in the first embodiment. FIG. 14 is an explanatory diagram showing a document restoration method according to the fourth embodiment. This document restoration method is basically the same as the document restoration method according to the first embodiment, and is substantially the same as the first embodiment. The restored document 400 ′ is restored in the same manner as described above.

第4実施形態では、参照イメージREFの復号化は、多値画像に適した方法を採用することが好ましい。第4実施形態では、たとえば、図形と背景の境界を連続的に変化する画像等、グラデュエーションが多用されるに画像に好適に使用される。   In the fourth embodiment, it is preferable to employ a method suitable for multi-valued images for decoding the reference image REF. In the fourth embodiment, for example, an image in which a boundary between a graphic and a background is continuously changed is preferably used for an image when the gradation is frequently used.

第1実施形態の文書データ構造を示す説明図であり、(A)は原文書を示す図、(B)は各プレーンと参照イメージとが統合された文書データを示す図である。It is explanatory drawing which shows the document data structure of 1st Embodiment, (A) is a figure which shows an original document, (B) is a figure which shows the document data by which each plane and the reference image were integrated. 第1実施形態の文書変換装置を示すブロック図である。It is a block diagram which shows the document conversion apparatus of 1st Embodiment. 第1実施形態の文書変換方法を示す説明図である。It is explanatory drawing which shows the document conversion method of 1st Embodiment. 第1実施形態の文書復元装置を示す説明図である。It is explanatory drawing which shows the document restoration apparatus of 1st Embodiment. 第1実施形態の文書復元方法を示す説明図である。It is explanatory drawing which shows the document restoration method of 1st Embodiment. 第2実施形態の文書データ構造を示す説明図であり、(A)は原文書を示す図、(B)は各プレーンと参照イメージとが統合された文書データを示す図である。It is explanatory drawing which shows the document data structure of 2nd Embodiment, (A) is a figure which shows an original document, (B) is a figure which shows the document data by which each plane and the reference image were integrated. 第2実施形態の文書変換方法を示す説明図である。It is explanatory drawing which shows the document conversion method of 2nd Embodiment. 第2実施形態の文書復元方法を示す説明図である。It is explanatory drawing which shows the document restoration method of 2nd Embodiment. 第3実施形態の文書データ構造を示す説明図であり、(A)は原文書を示す図、(B)は各プレーンと参照イメージとが統合された文書データを示す図である。It is explanatory drawing which shows the document data structure of 3rd Embodiment, (A) is a figure which shows an original document, (B) is a figure which shows the document data by which each plane and the reference image were integrated. 第3実施形態の文書変換方法を示す説明図である。It is explanatory drawing which shows the document conversion method of 3rd Embodiment. 第3実施形態の文書復元方法を示す説明図である。It is explanatory drawing which shows the document restoration method of 3rd Embodiment. 第4実施形態の文書データ構造を示す説明図であり、(A)は原文書を示す図、(B)は各プレーンと参照イメージとが統合された文書データを示す図である。It is explanatory drawing which shows the document data structure of 4th Embodiment, (A) is a figure which shows an original document, (B) is a figure which shows the document data by which each plane and the reference image were integrated. 第4実施形態の文書変換方法を示す説明図である。It is explanatory drawing which shows the document conversion method of 4th Embodiment. 第4実施形態の文書復元方法を示す説明図である。It is explanatory drawing which shows the document restoration method of 4th Embodiment.

符号の説明Explanation of symbols

11 文書変換装置
21 文書復元装置
100,200,300,400 原文書
100′,200′,300′,400′ 復元文書
101,201,301 カラー画像
102,202 文字
103,203,305,402 背景
111 プレーン画像抽出手段
112 参照画像作成手段
113 補正手段
114 符号化手段
115 統合手段
211 文書分解・復号化手段
212 階調値取得手段
213 プレーン除外手段
214 プレーン特定手段
215 文書復元手段
302,303,404 塗り潰し
304 表
Ax(xは、正の整数) 階調値
DD 文書データ
PLN(x)(xは、正の整数) プレーン
REF 参照イメージ
11 Document conversion device 21 Document restoration device 100, 200, 300, 400 Original document
100 ', 200', 300 ', 400' Restored document 101, 201, 301 Color image 102, 202 Characters 103, 203, 305, 402 Background 111 Plain image extraction means 112 Reference image creation means 113 Correction means 114 Encoding means 115 Integration means 211 Document decomposition / decoding means 212 Tone value acquisition means 213 Plane exclusion means 214 Plane identification means 215 Document restoration means 302, 303, 404 Fill 304 Table Ax (x is a positive integer) Tone value DD Document data PLN (x) (x is a positive integer) Plane REF Reference image

Claims (23)

1つの原文書から、n枚のプレーンを抽出し、当該n枚のプレーンを1文書として統合してなる文書データ構造であって、
前記n枚のプレーンと、
画素ごとに前記n枚のプレーンのうちの1つを選択するための情報を、m階調の値として持つ参照イメージと、
を有することを特徴とする文書データ構造。
A document data structure obtained by extracting n planes from one original document and integrating the n planes as one document,
The n planes;
A reference image having information for selecting one of the n planes for each pixel as a value of m gradations;
A document data structure characterized by comprising:
前記原文書上のオブジェクトが、前記n枚のプレーンに分けられて抽出され、または前記n枚のプレーンおよび前記参照イメージ上に分けられてて抽出されていることを特徴とする請求項1に記載の文書データ構造。   2. The object on the original document is extracted by being divided into the n planes, or is divided and extracted on the n planes and the reference image. Document data structure. 前記n枚のプレーンは、前記原文書上のオブジェクトの種類に応じた方法により符号化されていることを特徴とする請求項1または2に記載の文書データ構造。   3. The document data structure according to claim 1, wherein the n planes are encoded by a method according to a type of an object on the original document. 前記n枚のプレーンの少なくとも1つが、他のプレーンの符号化方法とは異なる符号化方法により符号化されていることを特徴とする請求項から3の何れかに記載の文書データ構造。   4. The document data structure according to claim 3, wherein at least one of the n planes is encoded by an encoding method different from an encoding method of other planes. 1つの原文書から、n枚のプレーンを抽出するプレーン画像抽出手段と、
各画素にm階調の値が付与され、当該m階調の値に応じて前記n枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成手段と、
前記n枚のプレーンおよび前記参照イメージを符号化する符号化手段と、
を備えたことを特徴とする文書変換装置。
Plane image extraction means for extracting n planes from one original document;
Reference image creation means for creating a reference image for specifying any of the n planes according to the value of m gradations, each pixel having a value of m gradations,
Encoding means for encoding the n planes and the reference image;
A document conversion apparatus comprising:
前記プレーン画像抽出手段は、原文書上のオブジェクトを、前記n枚のプレーンに分けて抽出し、または前記n枚のプレーンおよび前記参照イメージ上に分けて抽出することを特徴とする請求項5に記載の文書変換装置。   6. The plane image extracting unit extracts an object on an original document by dividing it into the n planes, or extracting the object on the n planes and the reference image. The document conversion device described. 前記符号化手段は、前記n枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することを特徴とする請求項5または6に記載の文書変換装置。   7. The document conversion apparatus according to claim 5, wherein the encoding unit encodes the n planes or further the reference image by a method according to a type of an object on the original document. . 前記符号化手段は、前記n枚のプレーンの少なくとも1つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することを特徴とする請求項5から7の何れかに記載の文書変換装置。   8. The encoding unit according to claim 5, wherein the encoding unit encodes at least one of the n planes by an encoding method different from an encoding method of other planes. 9. Document conversion device. 前記符号化手段により符号化された前記参照イメージおよび前記n枚のプレーンをデータセットに統合する統合手段を備えたことを特徴とする請求項5から8の何れかに記載の文書変換装置。   9. The document conversion apparatus according to claim 5, further comprising an integration unit that integrates the reference image and the n planes encoded by the encoding unit into a data set. 画像加工または画像補正を行う加工手段を備えたことを特徴とする請求項5から9の何れかに記載の文書変換装置。   10. The document conversion apparatus according to claim 5, further comprising processing means for performing image processing or image correction. 請求項1から3に記載のデータ構造の文書データを取得し、当該文書から文書の復元を行う文書復元装置であって、
前記文書データを前記n枚のプレーンおよび前記参照イメージに分解し、これらプレーンおよび参照イメージに復号化処理を施す文書分解・復号化手段と、
前記参照イメージの画素を走査するスキャン手段と、
前記スキャン手段により走査された画素に付与されたm階調の値を取得する階調値取得手段と、
前記m階調の値に対応する前記プレーンを特定するプレーン特定手段と、
前記参照イメージの画素の位置に与えられている画素に対応する前記プレーン特定手段により特定されたプレーン上の値を抽出する画素値抽出手段と、
前記参照イメージの各画素に対応する、復元されるべき画像上の画素に、前記画素値抽出手段により抽出した画素値を割り当てて文書の復元を行う文書復元手段と、
を備えたことを特徴とする文書復元装置。
A document restoration device that acquires document data having the data structure according to claim 1 and restores the document from the document,
Document decomposition / decoding means for decomposing the document data into the n planes and the reference image, and performing decoding processing on the plane and the reference image;
Scanning means for scanning pixels of the reference image;
Gradation value acquisition means for acquiring m gradation values given to the pixels scanned by the scanning means;
Plane specifying means for specifying the plane corresponding to the value of the m gradation;
Pixel value extracting means for extracting a value on the plane specified by the plane specifying means corresponding to the pixel given to the pixel position of the reference image;
Document restoration means for restoring a document by assigning the pixel value extracted by the pixel value extraction means to the pixel on the image to be restored corresponding to each pixel of the reference image;
A document restoration apparatus comprising:
前記n枚のプレーンのうち1枚または複数枚を指定するプレーン除外手段を備え、
指定されたプレーンは、前記プレーン特定手段による特定処理の対象には含めないことで、必要なオブジェクトだけを復元画像に表示することを特徴とする請求項11に記載の文書復元装置。
Plane exclusion means for designating one or more of the n planes;
12. The document restoration apparatus according to claim 11, wherein the designated plane is not included in the target of the specific processing by the plane specifying unit, so that only necessary objects are displayed on the restored image.
1つの原文書から、n枚のプレーンを抽出するプレーン抽出ステップと、
各画素にm階調の値が付与され、当該m階調の値に応じて前記n枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成ステップと、
前記n枚のプレーンおよび前記参照イメージを符号化する符号化ステップと、
を含むことを特徴とする文書変換方法。
A plane extraction step of extracting n planes from one original document;
A reference image creating step for creating a reference image for specifying any of the n planes according to the value of the m gradation, wherein each pixel is provided with an m gradation value;
An encoding step of encoding the n planes and the reference image;
A document conversion method comprising:
前記プレーン抽出ステップにおいては、原文書上のオブジェクトを、前記n枚のプレーンに分けて抽出し、または前記n枚のプレーンおよび前記参照イメージ上に分けて抽出することを特徴とする請求項13に記載の文書変換方法。   14. In the plane extraction step, an object on an original document is extracted by being divided into the n planes, or is extracted by being divided into the n planes and the reference image. The document conversion method described. 前記符号化ステップにおいては、前記n枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することを特徴とする請求項13または14に記載の文書変換方法。   The document conversion according to claim 13 or 14, wherein, in the encoding step, the n planes or the reference image is encoded by a method according to a type of an object on the original document. Method. 前記符号化ステップにおいては、前記n枚のプレーンの少なくとも1つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することを特徴とする請求項15に記載の文書変換方法。   16. The document conversion method according to claim 15, wherein in the encoding step, at least one of the n planes is encoded by an encoding method different from an encoding method of other planes. 前記符号化ステップにおいて符号化された前記参照イメージおよび前記n枚のプレーンをデータセットに統合する統合化ステップを備えたことを特徴とする請求項13から16の何れかに記載の文書変換方法。   17. The document conversion method according to claim 13, further comprising an integration step of integrating the reference image and the n planes encoded in the encoding step into a data set. 画像加工または画像補正を行う加工ステップを含むことを特徴とする請求項13から17の何れかに記載の文書変換方法。   The document conversion method according to claim 13, further comprising a processing step of performing image processing or image correction. 請求項1から3に記載のデータ構造の文書を取得し、当該文書から文書の復元を行う文書復元方法であって、
前記データ構造の文書をn枚のプレーンおよび参照イメージに復号化する復号化ステップと、
前記参照イメージの画素を走査し、走査された画素に付与されたm階調の値を取得する階調値取得ステップと、
前記m階調の値に対応する前記プレーンを特定するプレーン特定ステップと、
前記プレーン特定ステップにおいて特定された前記プレーン上の前記画素の位置に与えられている画素値を抽出して文書の復元を行う文書復元ステップと、
を含むことを特徴とする文書復元方法。
A document restoration method for obtaining a document having the data structure according to claim 1 and restoring the document from the document,
Decoding a document having the data structure into n planes and a reference image;
A gradation value acquisition step of scanning pixels of the reference image and acquiring m gradation values given to the scanned pixels;
A plane specifying step for specifying the plane corresponding to the value of the m gradation;
A document restoration step of restoring a document by extracting a pixel value given to the position of the pixel on the plane identified in the plane identification step;
A document restoration method comprising:
前記n枚のプレーンのうち1枚または複数枚を指定するプレーン除外ステップを備え、
指定されたプレーンは、前記プレーン特定手段による特定の対象には含めないことで、必要なオブジェクトだけを画像化することを特徴とする請求項18に記載の文書復元方法。
A plane excluding step of designating one or more of the n planes,
19. The document restoration method according to claim 18, wherein the designated plane is not included in a specific target by the plane specifying means, so that only a necessary object is imaged.
請求項13から18の何れかに記載の文書変換方法における各ステップを実行する文書変換プログラム。   The document conversion program which performs each step in the document conversion method in any one of Claims 13-18. 請求項19または20に記載の画像復元方法における各ステップを実行するコンピュータで実行可能な文書復元プログラム。   21. A computer-readable document restoration program that executes each step in the image restoration method according to claim 19 or 20. 請求項21に記載の文書変換プログラムおよび/または請求項22に記載の文書復元プログラムを格納したコンピュータに読み取り可能な記録媒体。   A computer-readable recording medium storing the document conversion program according to claim 21 and / or the document restoration program according to claim 22.
JP2004152864A 2004-01-19 2004-05-24 Document restoration apparatus, document restoration method, document restoration program, and recording medium Expired - Fee Related JP4446797B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004152864A JP4446797B2 (en) 2004-05-24 2004-05-24 Document restoration apparatus, document restoration method, document restoration program, and recording medium
EP20050250226 EP1555804A3 (en) 2004-01-19 2005-01-18 Image processing apparatus, image processing program and storage medium
US11/037,172 US20050180645A1 (en) 2004-01-19 2005-01-19 Image processing apparatus, image processing program, and storage medium
CNB2005100543009A CN100356768C (en) 2004-01-19 2005-01-19 Image processing apparatus, image processing program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004152864A JP4446797B2 (en) 2004-05-24 2004-05-24 Document restoration apparatus, document restoration method, document restoration program, and recording medium

Publications (2)

Publication Number Publication Date
JP2005338902A true JP2005338902A (en) 2005-12-08
JP4446797B2 JP4446797B2 (en) 2010-04-07

Family

ID=35492447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004152864A Expired - Fee Related JP4446797B2 (en) 2004-01-19 2004-05-24 Document restoration apparatus, document restoration method, document restoration program, and recording medium

Country Status (1)

Country Link
JP (1) JP4446797B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267444A (en) * 2008-04-21 2009-11-12 Sharp Corp Image compressing method, image compressing device, image processing apparatus, image forming apparatus, computer program and recording medium
JP2009301141A (en) * 2008-06-10 2009-12-24 Konica Minolta Business Technologies Inc Subtractive color method, subtractive color processing apparatus, image forming apparatus, and computer program
JP2010251927A (en) * 2009-04-13 2010-11-04 Canon Inc Image processing apparatus, control method, and program
JP2011130026A (en) * 2009-12-15 2011-06-30 Ricoh Co Ltd Encoder, program, and recording medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267444A (en) * 2008-04-21 2009-11-12 Sharp Corp Image compressing method, image compressing device, image processing apparatus, image forming apparatus, computer program and recording medium
JP2009301141A (en) * 2008-06-10 2009-12-24 Konica Minolta Business Technologies Inc Subtractive color method, subtractive color processing apparatus, image forming apparatus, and computer program
JP4586891B2 (en) * 2008-06-10 2010-11-24 コニカミノルタビジネステクノロジーズ株式会社 Color reduction method, color reduction processing apparatus, image forming apparatus, and computer program
US8395813B2 (en) 2008-06-10 2013-03-12 Konica Minolta Business Technologies, Inc. Subtractive color method, subtractive color processing apparatus, image forming apparatus, and computer-readable storage medium for computer program
JP2010251927A (en) * 2009-04-13 2010-11-04 Canon Inc Image processing apparatus, control method, and program
JP2011130026A (en) * 2009-12-15 2011-06-30 Ricoh Co Ltd Encoder, program, and recording medium

Also Published As

Publication number Publication date
JP4446797B2 (en) 2010-04-07

Similar Documents

Publication Publication Date Title
JP5132530B2 (en) Image coding apparatus, image processing apparatus, and control method thereof
JP3813387B2 (en) Information embedding method and apparatus, and recording medium
JP4732250B2 (en) Information processing apparatus, control method, and computer program
US8503036B2 (en) System and method of improving image quality in digital image scanning and printing by reducing noise in output image data
US7324247B2 (en) Image processing apparatus, image processing program and storage medium storing the program
US8395813B2 (en) Subtractive color method, subtractive color processing apparatus, image forming apparatus, and computer-readable storage medium for computer program
EP2645697B1 (en) Image processing apparatus and method
JP2003348360A (en) Document encoding system, document decoding system and methods therefor
JP2010103681A (en) Image processing device and method
JP3715905B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP4364809B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2011193394A (en) Image processing apparatus, image processing method, and program
JP2611012B2 (en) Character separation encoding method
JP3193086B2 (en) Adaptive encoding apparatus and decoding apparatus for color document image
JP2022139239A (en) Information processing apparatus and program and image processing method
JP4446797B2 (en) Document restoration apparatus, document restoration method, document restoration program, and recording medium
JP2015198385A (en) Image processing apparatus, image processing method and program
JP4695914B2 (en) Image processing apparatus and image processing method
KR101454208B1 (en) Method and apparatus for encoding/decoding halftone image
JP4311663B2 (en) Document conversion apparatus, document conversion method, document conversion program, and recording medium
JP7455584B2 (en) Information processing device, control method for information processing device, program, and storage medium
JP2004350182A (en) Data processing apparatus, data file, data processing method, and program
JP7451187B2 (en) Image processing device, image processing method and program
JP7185451B2 (en) Image processing device, image processing method, and program
JP4757172B2 (en) Image coding apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061228

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees