JP2010027051A - Image compression apparatus and image compression method - Google Patents
Image compression apparatus and image compression method Download PDFInfo
- Publication number
- JP2010027051A JP2010027051A JP2009162958A JP2009162958A JP2010027051A JP 2010027051 A JP2010027051 A JP 2010027051A JP 2009162958 A JP2009162958 A JP 2009162958A JP 2009162958 A JP2009162958 A JP 2009162958A JP 2010027051 A JP2010027051 A JP 2010027051A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dictionary
- unit
- information
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像情報からオブジェクト配置情報と頁属性情報を抽出し、これらに基いて画像圧縮する画像圧縮装置および画像圧縮方法に関する。 The present invention relates to an image compression apparatus and an image compression method for extracting object arrangement information and page attribute information from image information and compressing an image based on the extracted information.
従来から、2値画像を効率良く圧縮するために、画像ビットマップを辞書化して、インデックス(該当辞書番号とその配置)と辞書を圧縮データとする方式を標準化した技術としてJPEG2が知られている。JPEG2では、圧縮率を上げるため、例えば編み点文字を構成する、形状情報(位置含む)と網点情報に基づいて、それぞれ対となる別の符号化手段で符号化する構成が示されている。 Conventionally, in order to efficiently compress a binary image, JPEG2 is known as a standardized technique for converting an image bitmap into a dictionary and using an index (corresponding dictionary number and its arrangement) and a dictionary as compressed data. . In JPEG2, in order to increase the compression ratio, for example, a configuration is shown in which encoding is performed by another pair of encoding means based on shape information (including position) and halftone dot information, which form a braided dot character, for example. .
画像情報は大容量となるため、一般に圧縮を行い保存・使用している。通常、文字画像などは2値化して可逆圧縮、写真などは多値の非可逆圧縮を行っている。 Since image information has a large capacity, it is generally compressed and stored / used. Usually, character images and the like are binarized to perform lossless compression, and photographs and the like are subjected to multi-value irreversible compression.
しかしながら、2値文字画像に関しても非可逆で圧縮する方式が提案され、ISO/IEC14492(JPEG2)として標準化されている。 However, a method of irreversibly compressing a binary character image has been proposed and standardized as ISO / IEC14492 (JPEG2).
この方式の特徴的な点は、文書画像などは同一文字が多く出現することから、文字のビットマップ画像を辞書化することによって、同じ文字はビットマップでなく、辞書インデックスと画像上の位置情報で表現することで、圧縮対象のビットマップ量を減らして圧縮する点である。このような圧縮技術に関し、例えば以下のような特許文献が知られている。 Characteristic of this method is that many of the same characters appear in the document image etc., so by making a bitmap image of the character into a dictionary, the same character is not a bitmap, but a dictionary index and position information on the image This is to reduce the amount of bitmap to be compressed and compress it. For such compression technology, for example, the following patent documents are known.
特許文献1(特開2006−254329)は、単純な線描画文字だけでなく、ハーフトーンなどのパターンで表現された文字も効率良く圧縮するように、文字を構成する形状情報とそのパターン情報に分離して圧縮することで、パターン表現された文字等を効率よく圧縮する方式を開示している。 Patent Document 1 (Japanese Patent Application Laid-Open No. 2006-254329) discloses not only simple line-drawing characters but also shape information and pattern information constituting the characters so as to efficiently compress characters represented by patterns such as halftones. A method of efficiently compressing characters and the like represented by patterns by separating and compressing them is disclosed.
特許文献2(特開2007−174008)は、画像を文字や写真領域を識別し、それぞれに適した圧縮を適用する方式において、文字領域の圧縮に辞書方式の圧縮を用いる例が開示されており、辞書圧縮前に入力された文字領域のデータから非テキストとみなせる情報を辞書化圧縮対象から除外することで、高速に圧縮する方法を開示している。 Patent Document 2 (Japanese Patent Laid-Open No. 2007-174008) discloses an example in which dictionary-based compression is used for character area compression in a system that identifies characters and photo areas of an image and applies compression suitable for each. A method of high-speed compression is disclosed by excluding information that can be regarded as non-text from character area data input before dictionary compression from a lexicographic compression target.
特許文献3(特開2005−301663)は、OCR(Optical Character Recognition)で取得した文字単位を元にビットマップ辞書化の単位を設定し、必要以上に画像が部品化されることを防ぐ技術を開示している。 Patent Document 3 (Japanese Patent Laid-Open No. 2005-301663) is a technique for setting a bitmap dictionary unit based on a character unit acquired by OCR (Optical Character Recognition) and preventing an image from being partized more than necessary. Disclosure.
しかしこれら特許文献1乃至3の従来技術においては、部品画像のマッチング処理において、様々な文書フォーマットやフォント種類をもった文書の頁属性情報を考慮しておらず、効率的な画像辞書の探索・登録を行なっていないという問題がある。
However, in the prior arts of these
本発明は、辞書化方式による画像圧縮処理を高速化することができる画像圧縮装置および画像圧縮方法を提供することを目的とする。 An object of the present invention is to provide an image compression apparatus and an image compression method capable of speeding up image compression processing using a dictionary method.
課題を解決する一実施形態は、
入力した画像を解析してオブジェクト配置情報と頁属性情報を出力する解析部と、
前記オブジェクト配置情報に基いて、前記画像を部品化して、部品画像を出力する部品化部と、
既にある画像辞書の中から前記解析部からの前記頁属性情報に対応する画像辞書を選び、前記選ばれた画像辞書と前記部品化部からの前記部品画像を比較して対応する画像辞書を決定し、前記決定した画像辞書と前記部品画像の辞書インデックスを出力する辞書化部と、
前記選択された画像辞書と前記辞書インデックスを符号化する符号化部と、
を具備することを特徴とする画像圧縮装置である。
One embodiment to solve the problem is:
An analysis unit that analyzes the input image and outputs object placement information and page attribute information;
Based on the object arrangement information, the image is converted into a component, and a component converting unit that outputs a component image;
An image dictionary corresponding to the page attribute information from the analysis unit is selected from among existing image dictionaries, and the corresponding image dictionary is determined by comparing the selected image dictionary with the component image from the componentizing unit. A dictionary forming unit for outputting the determined image dictionary and a dictionary index of the component image;
An encoding unit for encoding the selected image dictionary and the dictionary index;
An image compression apparatus comprising:
画像圧縮処理を行なう際の部品画像と画像辞書のマッチング処理において、圧縮しようとする画像の頁属性情報(例えば文書、プレゼン、地図等)に対応する画像辞書を優先し対応しない画像辞書は排除するなどして、マッチング処理を効率化する。これにより、画像圧縮処理を高速化することができる。 In the matching process between the component image and the image dictionary when performing the image compression process, the image dictionary corresponding to the page attribute information (for example, document, presentation, map, etc.) of the image to be compressed is given priority and the image dictionary not corresponding is excluded. Etc. to make the matching process more efficient. Thereby, the image compression processing can be speeded up.
以下、この発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
本発明の要旨は、入力された画像から頁属性情報を抽出し、画像を部品化して複数の画像辞書に辞書化すると共に、抽出した頁属性情報に基づいて複数の画像辞書から一つを選択することで、辞書マッチング処理を効率化して迅速な圧縮処理を実現する画像圧縮装置および画像圧縮方法である。 The gist of the present invention is that page attribute information is extracted from an input image, the image is converted into a part into a plurality of image dictionaries, and one is selected from a plurality of image dictionaries based on the extracted page attribute information Thus, the present invention provides an image compression apparatus and an image compression method that realizes quick compression processing by making dictionary matching processing efficient.
このような構成をとることにより、属性に適応した辞書を生成するため、辞書の作成が高速で圧縮率も高い辞書およびインデックス方式の圧縮ファイルを生成することができる。 By adopting such a configuration, a dictionary adapted to attributes is generated, so that a dictionary can be generated at a high speed and a compression ratio can be high, and a compressed file of an index method can be generated.
なお、辞書の切り替え情報はレイアウト解析部以外にも、原稿モード等のユーザー指示手段を用いて辞書を切り替えることも可能である。また切り替え方法も頁単位でなく、頁内のオブジェクト単位で切り替えることも可能である。 In addition to the layout analysis unit, the dictionary switching information can be switched using user instruction means such as a document mode. Also, the switching method can be switched not for each page but for each object in the page.
また、この辞書の切り替え(選択)は、頁単位毎、地図等の原稿種別の頁情報毎、スキュー角度、天地等の頁単位の原稿方向情報毎、文字情報毎に行なうことも可能であり、それぞれ、高速・高圧縮な辞書圧縮ファイルを生成することができる。 Further, this switching (selection) of the dictionary can be performed for each page, for each page information of a document type such as a map, for each document direction information of a page unit such as a skew angle and top and bottom, and for each character information. Each can generate a high-speed and high-compression dictionary compressed file.
(第1実施形態)
図1は、本発明の第1実施形態の画像圧縮装置の構成の一例を示すブロック図である。本発明の一実施形態に係る画像圧縮装置1は、全体の動作を制御する制御部10と、原稿画像を読み取るスキャナ11と、スキャナ11から画像信号m1が供給されるレイアウト解析部12と、スキャナ11から画像信号m1が供給されレイアウト解析部12からオブジェクト配置情報m2が供給される画像部品化部13を有する。さらに、画像圧縮装置1は、レイアウト解析部12から頁属性情報m3を受け画像部品化部13から部品画像m4を受ける画像辞書化部14と、画像辞書化部14から画像辞書信号m5と辞書インデックスm6が供給される画像符号化部15と、画像符号化部15から符号データm7が供給される記憶部16と、記憶部16の後段に設けられたインターフェース部17を有している。
(First embodiment)
FIG. 1 is a block diagram showing an example of the configuration of the image compression apparatus according to the first embodiment of the present invention. An
このような構成をもつ画像圧縮装置1において、以下に動作を説明すると、スキャナ11から入力された画像信号m1はレイアウト解析部12に供給され、レイアウト解析部12では、供給された画像信号m1を既知のレイアウト解析技術により処理することで、オブジェクト配置情報m2と頁属性情報m3を出力する。画像部品化部13は、供給された画像信号m1とオブジェクト配置情報m2を用いて、部品画像m4を出力する。
In the
画像辞書化部14は、部品画像m4を既知のビットマップ辞書化技術と頁属性情報m3を用いて、画像辞書m5と辞書インデックスm6を出力する。画像符号化部15は、これらの信号を受けて符号データm7を生成し、記憶部16に格納する。
The
図2は、当該画像圧縮装置のレイアウト解析部の構成の一例を示すブロック図である。レイアウト解析部12は、図2に示すように、画像信号m1を受ける縮小処理部21と、縮小処理部21から縮小画像信号m11が供給される連結画素探索部22と、連結画素探索部22から領域の左上座標、左下座標、右上座標、右下座標である領域情報m12を受ける領域座標変換部23と、同じく領域情報m12を受ける頁属性判定部24と、頁属性判定部24に接続されるテーブル25を有している。
FIG. 2 is a block diagram illustrating an example of the configuration of the layout analysis unit of the image compression apparatus. As shown in FIG. 2, the
このような構成をもつレイアウト解析部12において、縮小処理部21は、画像信号m1を受けると既定の縮小率で縮小し、縮小画像信号m11を出力する。連結画素探索部22は、既知のチェインアルゴリズムで8方向探索して、画素の連結した領域の左上座標、左下座標、右上座標、右下座標である領域情報m12を出力する。ここで、領域情報m12の座標は、縮小処理部21で縮小処理した座標系であるので、画像信号m1と同じ座標系に領域座標変換部23で変換し、オブジェクト配置情報m2として出力する。一方、頁属性判定部24は、頁内の領域情報m12を集計し、テーブル25から読み出した頁判定データm13と比較して、頁属性情報m3を出力する。
In the
ここで、頁属性判定部24の動作を除いたレイアウト解析部12の動作例を図3に示す。 画像信号m1を縮小処理して得た縮小画像m11では、文字等は連結した画素になることがわかる。この画像に対して既知のチェインアルゴリズムを用いて、連結した領域を算出すると、領域情報m12の点線で示したような各固まり毎の複数の領域が算出される。そして、領域座標変換部23は、領域情報m12を受けて、座標系を縮小前に戻したオブジェクト配置情報m2を算出する。
Here, an operation example of the
次に、図4は、当該画像圧縮装置の頁属性判定部の構成の一例を示すブロック図である。頁属性判定部24は、領域情報m12が供給される領域傾き算出部31と、同じく領域情報m12が供給される領域距離算出部32と、領域傾き算出部31から傾き情報m21が供給され領域距離算出部32から距離情報m22が供給される判断部33を有している。
Next, FIG. 4 is a block diagram illustrating an example of the configuration of the page attribute determination unit of the image compression apparatus. The page
このような構成をもつ頁属性判定部24において、領域傾き算出部31は、領域情報m12を用いて、各領域毎の傾き=MAX(|左上X座標−左下X座標|、|左上Y座標−右上Y座標|)を計算して求め、頁内の全領域の傾きの平均を傾き情報m21として算出する。
In the page
また、領域距離算出部32は、各領域のセンター座標を求め、各センター座標毎に最も近いセンター座標を持つ領域ペア(下記でP1及びP2を求め、
各領域毎の距離=MIN(|P1のX座標−P2のX座標|、|P1のY座標−P2のY座標|)
を求めることで、頁内のペアの平均を距離情報m22として算出する。
Further, the area
Distance for each area = MIN (| X coordinate of P1−X coordinate of P2 |, Y coordinate of | P1−Y coordinate of P2 |)
Is obtained as the distance information m22.
判断部33は、傾き情報m21と距離情報m22を受け取り、テーブル25から図5に示すような頁判定データm13を読み込む。判断部33は、傾き情報m21と距離情報m22を所定の閾値と比較した結果と頁判定データm13に基づいて原稿タイプを決定し、頁属性情報m3として出力する。
The
次に、図6は、当該画像圧縮装置の画像部品化部の構成の一例を示すブロック図である。画像部品化部13は、図6に示すように、画像信号m1とオブジェクト配置情報m2がそれぞれ供給される縦方向画素カウント部41と横方向画素カウント部42と、縦方向画素カウント部41からの縦方向の射影m31と横方向画素カウント部42からの横方向の射影m32が供給される比較器43と、同じく縦方向画素カウント部41からの縦方向の射影m31と横方向画素カウント部42からの横方向の射影m32と比較器43からの制御信号m33が供給される選択部44と、選択部44からの選択信号m34と画像信号m1が供給される画素分割部45を有している。
Next, FIG. 6 is a block diagram illustrating an example of the configuration of the image component converting unit of the image compression apparatus. As shown in FIG. 6, the
このような構成をもつ画像部品化部13において、縦方向画素カウント部41は、オブジェクト配置情報m2の座標単位で画像信号m1を分割して、縦軸への画素カウントの射影を縦方向の射影m31として出力する。また、横方向画素カウント部42も、オブジェクト配置情報m2の座標単位で画像信号m1を分割して、横軸への画素カウントの射影を横方向の射影m32として比較器43に出力する。比較器43は、選択部44が射影値の分散の大きいほうを選択するような制御信号m33を選択部44に出力する。選択部44は、射影値の分散の大きいほうを選択する選択信号m34を画素分割部45に供給する。画素分割部45は、選択された射影値を用いて、画像信号m1を分割して部品画像m4を出力する。
In the
これらの動作を図7を用いて説明する。図7は、当該画像圧縮装置の画像部品化部の動作の一例を説明する説明図である。比較器43では、縦方向の射影m31と横方向の射影m32を比較し、分散の大きい横方向の射影をする。画素分割部45で、射影に対して閾値処理を行うことで、横方向の分割座標を算出し(点線)、図7で○で示された単位により部品画像として出力する。
These operations will be described with reference to FIG. FIG. 7 is an explanatory diagram illustrating an example of the operation of the image component converting unit of the image compression apparatus. The
つぎに、図8は、当該画像圧縮装置の画像辞書化部の構成の一例を示すブロック図である。画像辞書化部14は、図5で示した頁属性情報m3に対応する文書辞書53、プレゼン辞書52、地図辞書51、非文書辞書50を有しており、さらに、頁属性情報m3が供給され各辞書を選択する選択部55と、選択部55により選択された辞書が接続され、部品画像m4が供給され画像辞書信号m5と辞書インデックスm6を出力するマッチング部54を有している。
Next, FIG. 8 is a block diagram showing an example of the configuration of the image dictionary unit of the image compression apparatus. The
このような構成をもつ画像辞書化部14において、選択部55は、頁属性情報m3に従って文書辞書53、プレゼン辞書52、地図辞書51、非文書辞書50のうちの適切な辞書を選択出力する。マッチング部54は、既知の位置シフトとマッチング処理を組み合せにより、部品画像m4が、選択部55により選択された辞書に存在するかどうかを判断し、存在すれば、その辞書インデックスm6を出力する。辞書インデックスm6は、対応辞書名と辞書のインデックスと画像上の部品画像の位置情報である。
In the
マッチング部54は、対応するビットマップパターンが辞書に無ければ、その部品画像m4を現在選択されている辞書に登録してインデックスを付与する。マッチング部54は、スキャナ11から入力された全原稿に関して、上記のマッチング処理が終了すれば、各辞書データを画像辞書m5として出力する。そして、画像符号化部15は、画像辞書m5を既知の画像圧縮技術(例えばランレングス)で圧縮し、符号データm7として、辞書インデックスm6と一緒にて出力する。
If there is no corresponding bitmap pattern in the dictionary, the matching
次に、本発明による特徴的な辞書の効果を図9を用いて説明する。一般に、複数の枚数の文書をスキャンすると、図9に示すように一般文書やプレゼン用のドキュメント、図3で示した地図など、原稿のタイプが異なる文書が混在することがある。これらの文書では、各文書タイプ毎には同一種のフォントデザインやサイズが使われている可能性が高いが、文書タイプが異なるとデザインやサイズが異なる可能性が高い。 Next, the effect of the characteristic dictionary according to the present invention will be described with reference to FIG. In general, when a plurality of documents are scanned, there may be a mixture of documents of different document types such as a general document, a document for presentation as shown in FIG. 9, and a map shown in FIG. In these documents, there is a high possibility that the same font design and size are used for each document type, but there is a high possibility that the design and size will be different for different document types.
一般的には、これらの辞書データをまとめて一つの辞書に登録し、検索及びマッチングを行なう。しかし、上述した本発明に係る実施形態においては、辞書データを原稿タイプ毎に複数の辞書として辞書化し、辞書を使用する際に、頁属性情報に従って適切な辞書を選択し切り替えて、検索、マッチングを行う。これにより、頁属性情報に対応しない不適切な辞書を検索・マッチングの対象としないため、辞書マッチングを効率的に高速に行なうことができる。すなわち、文書画像をマッチングする場合、文書辞書を選択し、プレゼン辞書、地図辞書、非文書辞書を使用しないことで、効率的で高速な辞書マッチングを行なうことができる。 Generally, these dictionary data are collectively registered in one dictionary, and search and matching are performed. However, in the embodiment according to the present invention described above, dictionary data is dictionaryd as a plurality of dictionaries for each document type, and when using the dictionary, an appropriate dictionary is selected and switched according to the page attribute information, and search and matching are performed. I do. Thereby, since an inappropriate dictionary that does not correspond to the page attribute information is not searched and matched, dictionary matching can be performed efficiently and at high speed. That is, when matching document images, efficient and high-speed dictionary matching can be performed by selecting a document dictionary and not using a presentation dictionary, a map dictionary, or a non-document dictionary.
また、マッチング部54でマッチング精度を緩めれば、非可逆で辞書ビットマップの圧縮ファイルが作成されるが、様々なフォントデザインを一つの辞書で管理する方式では、画質とマッチング精度の制御が難しい。しかしながら、本発明の方法のように原稿タイプ毎に辞書を切り替えれば、同一フォントデザイン群内でマッチングが行われる確率が高いので、画質低下を抑えつつマッチング精度を緩めることができるので、従来よりも圧縮率の高い辞書ビットマップ圧縮ファイルを提供することができる。
If the
なおレイアウト解析方法や、そこから算出される頁情報、辞書化や圧縮方法等や、辞書の切り替え方法は、上述した実施形態に限定されるものではなく、本発明の実施可能な範囲は当業者が想到する範囲に及ぶものである。 Note that the layout analysis method, page information calculated therefrom, dictionary formation, compression method, and dictionary switching method are not limited to the above-described embodiments, and the scope of implementation of the present invention is within the scope of those skilled in the art. Is in the range that can be expected.
(第1実施形態の変形例)
次に、本発明の第1実施形態の変形例について以下に図面を用いて詳細に説明する。図10は、第1実施形態の変形例である画像圧縮装置の構成を示すブロック図である。
(Modification of the first embodiment)
Next, a modification of the first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 10 is a block diagram illustrating a configuration of an image compression apparatus that is a modification of the first embodiment.
第1実施形態の変形例は、(領域距離を考慮せずに)領域傾きのみから頁属性情報m3を決定し、決定した頁属性情報m3により辞書を生成し選択する画像圧縮装置および画像圧縮方法を提供する。第1実施形態の変形例は、基本的に第1実施形態と同様の処理部は同一番号を付与しており、レイアウト解析部12’、その頁属性情報m3’、それを元に辞書化を行う画像辞書化部14’が若干異なる以外は同一であるので、変更ブロックのみを説明する。
The modification of the first embodiment is an image compression apparatus and an image compression method for determining page attribute information m3 from only the region inclination (without considering the region distance), and generating and selecting a dictionary based on the determined page attribute information m3. I will provide a. In the modified example of the first embodiment, the same processing unit as that of the first embodiment is basically assigned the same number, and the
レイアウト解析部12’の構成は、図11に示す通りであり、第1実施形態との違いは頁属性判定部24’のテーブル25’、頁判定データm13、および頁属性判定部24’の構成、生成される頁属性情報m3’が異なる。
The configuration of the
また、頁属性判定部24’の構成を図12に示す。第1実施形態の変形例の頁属性判定部24’と第1実施形態の頁属性判定部24との構成上の相違は、第1実施形態の変形例の頁属性判定部24’が、領域距離算出部32を用いることなく、領域傾き算出部31’のみにより傾き角度m21’と傾き分散m22’を出力することである。
The configuration of the page attribute determination unit 24 'is shown in FIG. The structural difference between the page
傾き角度m21’は、例えば図13の様に傾きを定義し、簡易的に以下の式で算出する。 The inclination angle m21 'defines an inclination as shown in FIG. 13, for example, and is simply calculated by the following equation.
if((左上Y座標−右上Y座標)>0){
θ=atan((右下Y座標−左下Y座標)/(右下X座標−左下X座標))
}
else{
θ=atan((右上Y座標−左上Y座標)/(右上X座標−左上X座標))
}
縮小処理部21は、傾き角度m21’としてこれらθの平均値を出力し、傾き分散m22’として同分散を出力する。
if ((upper left Y coordinate−upper right Y coordinate)> 0) {
θ = atan ((lower right Y coordinate−lower left Y coordinate) / (lower right X coordinate−lower left X coordinate))
}
else {
θ = atan ((upper right Y coordinate−upper left Y coordinate) / (upper right X coordinate−upper left X coordinate))
}
The
図14は、当該画像圧縮装置の頁判定データの一例の説明図である。判断部33は、第1実施形態と同様に、図14に示す頁判定データm13を用いて、傾き角度m21’の範囲と傾き分散m22’を閾値と比較した分散の大きさから、角度カテゴリーとして、標準、プラス角度、マイナス角度、特別の4種のカテゴリーに分類して頁属性情報m3’を出力する。ここで特別のカテゴリーは第1実施形態で例示したような地図原稿の場合、領域に角度があるがスキューによる角度ではない可能性が高いカテゴリーも存在するためである。
FIG. 14 is an explanatory diagram of an example of page determination data of the image compression apparatus. As in the first embodiment, the
図15は、画像辞書化部の構成の一例を示すブロック図である。第1実施形態の変形例の画像辞書化部14’は、図14の角度カテゴリーに対応した辞書を有していることが特徴であり、標準辞書56と、プラス角度辞書57と、マイナス角度辞書58と、特別辞書59と、これらの辞書が接続され頁属性情報m3が供給される選択部55と、選択部55により選択された辞書が接続されるマッチング部54を有している。
FIG. 15 is a block diagram illustrating an example of the configuration of the image dictionary unit. The image
一般に複数の原稿画像の入力処理を行なうと、入力コンディションにより原稿の方向が若干傾いて入力される可能性があり、この角度をスキューと呼ぶ。またスキューだけでなく原稿の向き(上下逆さま、90度方向違い)なども混在して入力されることがある。 In general, when a plurality of document images are input, there is a possibility that the direction of the document is slightly inclined depending on the input condition, and this angle is called skew. Further, not only skew but also the orientation of the document (upside down, 90 degrees difference) may be input together.
通常、このような条件は画像の頁全体で共通の性質であるが、単純に辞書化を行うと正しく入力されれば同一の文字であっても、スキューによって別々の文字と判別され辞書化されてしまう。そのため辞書化に当たっては、検索対象の文字ビットマップが増大し検索に時間が掛かってしまう。 Normally, such conditions are common to the entire page of the image, but if lexicalization is simply performed, even if the same character is input correctly, it is discriminated as a separate character due to skew and lexicographically. End up. Therefore, when creating a dictionary, the character bitmap to be searched increases, and the search takes time.
第1実施形態の変形例の構成を取ることにより、原稿全体の方向依存による歪みに対しても、高速に辞書化処理を行うことができる。また、各角度毎にマッチング対象のデータがそろっているので、辞書マッチング精度を緩めても第1実施形態同様、画質低下を抑制した高圧縮な辞書ビットマップ圧縮ファイルを提供することができる。 By adopting the configuration of the modified example of the first embodiment, it is possible to perform dictionary processing at high speed against distortion due to the direction dependence of the entire document. In addition, since matching target data is prepared for each angle, a highly compressed dictionary bitmap compressed file in which image quality deterioration is suppressed can be provided as in the first embodiment even if the dictionary matching accuracy is relaxed.
また、スキューに対しては角度を補正後一律に処理することも考えられるが、補正により角度は直ってもビットマップが微妙に崩れる可能性があり、スキュー補正を行った画像に対しても同様に効果が得られる。 For skew, it is possible to process the angle uniformly after correcting the angle, but even if the angle is corrected by the correction, there is a possibility that the bitmap may be slightly corrupted. The effect is obtained.
また、この実施形態の更なる変形例としては、レイアウト解析部12’で、頁単位でなく領域毎に種別を特定し、その領域毎の種別ごとに辞書を切り替える構成を取ることで、より細かな辞書化制御が可能となる。例えば、文書領域とグラフや表領域では、使用するフォントデザインが異なる可能性があるので、領域毎の種別毎に辞書を切り替えることでより高速な辞書マッチング処理が可能となる。
Further, as a further modification of this embodiment, the
(第2実施形態)
第2実施形態は、レイアウト解析部の代わりに文字処理部18を使用し、オブジェクト配置情報m2’と文字情報m3”を出力し、画像部品化部13で、より高精度な画像の部品化と画像辞書化部14において、文字の特徴に応じた辞書を適用して高速に辞書ビットマップ圧縮ファイルを作成することである。
(Second Embodiment)
In the second embodiment, the
図16は、本発明の第2実施形態の画像圧縮装置の構成の一例を示すブロック図である。本発明の第2実施形態の画像圧縮装置は、図16に示すように、基本的に第1実施形態と同様の処理部は同一番号を付与しており、文字処理部18が異なる以外は同一であるので、変更ブロックのみ説明する。
FIG. 16 is a block diagram showing an example of the configuration of the image compression apparatus according to the second embodiment of the present invention. In the image compression apparatus according to the second embodiment of the present invention, as shown in FIG. 16, the same processing units as those in the first embodiment are basically assigned the same numbers, and are the same except that the
文字処理部18は、図17に示す構成を示している。すなわち、文字処理部18は、既知のOCR(Optical Character Recognition)を用いた文字認識部46と、文字認識部46から文字のコード情報m51が供給される言語判定部47を有している。文字処理部18は、画像信号m1を受けて特許文献3の様に文字単位の情報としてオブジェクト配置情報m2’を出力する。また、言語判定部47は、文字処理部18からコード情報m51を受けると、処理中の文字が英語か日本語かその他の言語種別情報を判断して文字情報m3”を出力する。
The
画像部品化部13は、文字処理部18から文字単位の情報としてオブジェクト配置情報m2’の供給を受けるため、第1実施形態よりも正確な部品画像m4を出力することができる。また、画像辞書化部14では、文字情報が英語か日本語かその他の3種の辞書を用意して切り替える。このように、第2実施形態によれば、言語種別に応じたマッチング動作を行なうことにより、高速な辞書ビットマップによる圧縮処理を行なうことができる。また、第2実施形態では、文字情報として言語種別を用いて切り替えたが、文字情報はこの実施形態に限定されるものではない。
Since the image
(第3実施形態)
第3実施形態は、特にビットマップを辞書化して圧縮する画像圧縮技術を提供する。
(Third embodiment)
The third embodiment particularly provides an image compression technique for compressing a bitmap by converting it into a dictionary.
図18は、本発明の第3実施形態の画像圧縮装置の構成の一例を示すブロック図である。本発明の第3実施形態の画像圧縮装置は、図18に示すように、基本的に第1実施形態と同様の処理部は同一番号を付与しており、ビットマップ辞書を用いる画像辞書化部14”が異なる以外は同一である。これにより、第3実施形態は、圧縮時のインデックス探索順序をビットマップの発生頻度に応じて更新することにより、高速に圧縮することが可能となる。 FIG. 18 is a block diagram showing an example of the configuration of the image compression apparatus according to the third embodiment of the present invention. In the image compression apparatus according to the third embodiment of the present invention, as shown in FIG. 18, basically the same processing units as those in the first embodiment are assigned the same numbers, and the image dictionary conversion unit uses a bitmap dictionary. 14 ″ is the same except that it is different. Accordingly, the third embodiment can perform high-speed compression by updating the index search order at the time of compression according to the occurrence frequency of the bitmap.
画像辞書化部14”−1は、図19に示すように、既出のビットマップが複数のインデックス付きで格納されているビットマップ辞書61と、頁属性情報m3を受けビットマップ辞書61の探索順序を変更してビットマップ辞書データm41を読み出す探索インデックス並べ替え部62と、読み出し番号m42を探索インデックス並べ替え部62に供給し候補ビットマップm43を探索インデックス並べ替え部62から供給されるデータ読み出し部63と、候補ビットマップm43をデータ読み出し部63から供給され部品画像m4とマッチング処理を行なうマッチング部54を有している。
As shown in FIG. 19, the
このような構成をもつ画像辞書化部14”−1においては、与えられる頁属性情報m3に応じてビットマップ辞書61の探索順序を変更し、変更されたビットマップ辞書61の探索順序により、与えられる読み出し番号m42に対応するビットマップ辞書データm41を読み出し、候補ビットマップm43としてビットマップそのものと番号インデックスをデータ読み出し部63に供給する。マッチング部54は候補ビットマップm43と部品画像m4を既知の位置シフトとマッチング処理を組み合せて、部品画像m4が候補ビットマップm43に一致するかどうかを判断し、一致すれば、その番号インデックスを辞書インデックスm6として出力する。マッチング部54は、対応するビットマップパターンが辞書に無ければ、その部品画像m4に新規番号インデックスと頁属性情報m3を合わせてビットマップ辞書61に登録する。
In the
画像辞書化部14”−1は、スキャナ11から入力された全原稿のマッチング処理が終了すれば、ビットマップ辞書を番号インデックス順にソートして画像辞書m5として出力する。そして画像符号化部15で画像辞書m5を既知の画像圧縮技術(例えばランレングス)で圧縮し、辞書インデックスm6と合わせて符号データm7として記憶部16に出力する。
When the matching process for all the originals input from the
次に、第3実施形態において特徴的な辞書の探索順序入れ替え効果を図20を用いて説明する。例えば、4頁の画像に関する処理で、現在3枚目まで終了しているとすると、新規文字が出現するたびに番号インデックスが付与され、その頁属性情報が付与される。 Next, a characteristic dictionary search order switching effect in the third embodiment will be described with reference to FIG. For example, assuming that the processing for the four-page image has been completed up to the third page, a number index is assigned each time a new character appears, and the page attribute information is assigned.
ここで4頁目は『プレゼン』であるので、探索インデックスを並べ替え、頁属性がプレゼンの辞書ビットマップを探索の先頭に持ってくる。実際にデータの並び替えをする必要は無く、探索インデックス(読み出し番号m42)に対して読み出すべき番号インデックスの対応表を作るだけである。 Here, since the fourth page is “Presentation”, the search index is rearranged, and a dictionary bitmap whose presentation is the page attribute is brought to the head of the search. It is not necessary to actually rearrange the data, and only a correspondence table of number indexes to be read is created for the search index (read number m42).
複数頁をスキャンし一つのファイルを生成する時は、同一文書タイプでは同一のフォント(サイズ、デザイン)が使われる可能性が高い。そのため、頁属性に応じて辞書マッチングのためのデータの探索順序を、処理中の頁属性を優先的に探索することで高速に辞書マッチングが行われるので、高速に辞書ビットマップ圧縮ファイルを提供することができる。 When scanning multiple pages and creating one file, the same font (size, design) is likely to be used for the same document type. Therefore, dictionary matching is performed at high speed by preferentially searching the page attribute being processed for the search order of data for dictionary matching in accordance with the page attribute, so a dictionary bitmap compressed file is provided at high speed be able to.
また、辞書マッチングが完全一致で無い場合、符号データm7は非可逆圧縮されることになるが、マッチングアルゴリズムで候補が複数あった場合、頁属性情報を合わせて用いることで、よりマッチング精度が高まるので高画質・高圧縮な辞書ビットマップ圧縮ファイルを提供することができる。 In addition, when the dictionary matching is not complete matching, the code data m7 is irreversibly compressed. However, when there are a plurality of candidates in the matching algorithm, matching accuracy is further improved by using the page attribute information together. Therefore, it is possible to provide a dictionary bitmap compressed file with high image quality and high compression.
また第3実施形態では、頁番号も管理し頁の探索終了後のビットマップ辞書61への格納時は、頁番号順に再格納しているが(3頁目)、しかし、頁番号は無視して文書は文書、プレゼンはプレゼンと頁属性単位に一つにまとめる方法も可能である。
In the third embodiment, page numbers are also managed, and when stored in the
なおレイアウト解析方法や、そこから算出される頁情報、辞書化やインデックスの付け方、探索方法や圧縮方法等、探索順序の切り替え方法は、上述した実施形態に限定されるものではない。 Note that the layout analysis method, page information calculated therefrom, dictionary formation, indexing method, search method switching method, and the like are not limited to the above-described embodiments.
(第4実施形態)
第4実施形態は、第3実施形態のビットマップ辞書の探索インデックス並べ替え部にビットマップカウント部を設けたことを特徴とする。
(Fourth embodiment)
The fourth embodiment is characterized in that a bitmap count unit is provided in the search index rearrangement unit of the bitmap dictionary of the third embodiment.
図21に第4実施形態の構成の一例である画像辞書化部14”−2を示す。基本的に3実施形態の画像辞書化部14”−1と同様の構成であり同一番号を付与しているが、ビットマップカウント部64が新規に追加されている。
FIG. 21 shows an
このような画像辞書化部14”−2において、マッチング部54は、候補ビットマップm43と部品画像m4を既知の位置シフトとマッチング処理を組み合せて、部品画像m4が候補ビットマップm43に一致するかどうかを判断し、一致すれば、その番号インデックスを辞書インデックスm6として出力する。対応するビットマップパターンが辞書に無ければ、その部品画像m4に新規番号インデックスと頁属性情報m3を合わせてビットマップ辞書61に登録する。画像辞書化部14”−2は、スキャナ11から入力された全原稿のマッチング処理が終了すれば、ビットマップ辞書を番号インデックス順にソートして画像辞書m5として出力する。
In such an
ここで、第4実施形態に特徴的なビットマップカウント部64について、図22を用いて説明する。ビットマップカウント部64は、図22の(a)に示すような構成を有しており、図17(b)に示す各辞書ビットマップを生成した時の頁属性情報m3と番号インデックスm46とその出現頻度であるカウント値であるビットマップ統計情報m53を格納している番号インデックステーブル66と、ビットマップ統計情報m53の中の番号インデックスm46の示すカウント値をインクリメントする番号インデックスカウンタ65と、カウント値が所定の閾値を超えた際に現在処理中の頁属性内で出現頻度に合わせたアクセスの並び替え情報である出現頻度並び替え情報m45を生成する出現頻度並び替え情報生成部67を有している。
Here, a
次に、カウント値をどのようにインクリメントして出現頻度並び替え情報が更新されるかを、図22(b)に具体的数値を付与して説明する。並び替えを発生させる閾値が“799”である場合、頁属性情報m3として『プレゼン』カテゴリーの番号インデックス“6”が入力されると、番号インデックスカウンタ65によりインクリメントされたカウンタ値“800”がビットマップ統計情報m53として更新され、番号インデックステーブル66で保持される。ここで、出現頻度並び替え情報生成部67は、更新されたカウンタ値“800”に基づき、『プレゼン』カテゴリーの番号インデックス“6”の出現頻度並び替え情報m45を“2”から“1”に変更し、『プレゼン』カテゴリーの番号インデックス“5”の出現頻度並び替え情報m45を“1”から“2”に変更することで、各頁属性内で並び替えを行う。
Next, how the count value is incremented to update the appearance frequency rearrangement information will be described with specific numerical values given in FIG. When the threshold value for generating the rearrangement is “799” and the number index “6” of the “presentation” category is input as the page attribute information m3, the counter value “800” incremented by the
なお、画像辞書化部14”−2全体の動作例で判るように、ここで入力される番号インデックスm46はマッチングした結果として特定される情報であるため、更新された出現頻度並び替え情報m45は、カウント値m52が閾値を越えた次の部品画像から適用される。
As can be seen from the operation example of the entire
このように、第4実施形態では、探索インデックス並び替え部62は、基本的に第1実施形態同様に頁属性情報m3に応じて並び替えを行うと同時に、頁属性内では出現頻度並び替え情報m45を用いて頁属性内の辞書の探索順序も変更することにより、いっそう高速にマッチング処理を行なうことができる。
As described above, in the fourth embodiment, the search
なお、第4実施形態では、並び替えの高速化のために頁属性情報m3も用いて頁属性内での並び替えを実施したが、より処理を簡潔にするために頁属性情報を用いずに個々の辞書ビットマップの頻度情報のみで並び替え情報を生成することも可能である。 In the fourth embodiment, the page attribute information m3 is also used to rearrange the page attributes for speeding up the rearrangement, but the page attribute information is not used in order to simplify the processing. It is also possible to generate rearrangement information only with frequency information of individual dictionary bitmaps.
また、辞書ビットマップの統計処理方法や更新方法等についても、上述した実施形態に限定されるものではない。更に、統計処理は辞書化ビットマップの情報を直接用いたが、特許文献3にあるようにOCR結果に基づき画像部品化を行うと共に、OCRの結果で同一の文字コード例えば“A”に判別された辞書ビットマップをグループ化し、そのグループの発生頻度で並び替えを実施することが可能である。これにより、近似したビットマップ群全体で優先的に探索を行なうことができるので、高速に辞書ビットマップ圧縮ファイルを提供することができる。
Also, the dictionary bitmap statistical processing method, update method, and the like are not limited to the above-described embodiment. In addition, the statistical processing directly uses the information of the lexicographic bitmap, but as described in
(請求案1)
入力した画像を解析してオブジェクト配置情報と頁属性情報を出力する解析部と、
前記オブジェクト配置情報に基いて、前記画像を部品化して、部品画像を出力する部品化部と、
既にある画像辞書の中から前記解析部からの前記頁属性情報に対応する複数の画像辞書を選び、前記選ばれた複数の画像辞書の中から所定順序に従って一つの画像辞書を選び、選ばれた画像辞書と前記部品化部からの前記部品画像を比較して対応する画像辞書を決定し、前記決定した画像辞書と前記部品画像の辞書インデックスを出力する辞書化部と、
前記画像辞書と前記辞書インデックスを符号化する符号化部と、
前記辞書化部の所定順序を前記頁属性情報に基づき並び替えて更新する更新部と、
を具備することを特徴とする画像圧縮装置。
(Draft 1)
An analysis unit that analyzes the input image and outputs object placement information and page attribute information;
Based on the object arrangement information, the image is converted into a component, and a component converting unit that outputs a component image;
A plurality of image dictionaries corresponding to the page attribute information from the analysis unit are selected from the already existing image dictionaries, and one image dictionary is selected from the selected plurality of image dictionaries according to a predetermined order and selected. An image dictionary and the component image from the component conversion unit are compared to determine a corresponding image dictionary, and a dictionary conversion unit that outputs the determined image dictionary and a dictionary index of the component image;
An encoding unit for encoding the image dictionary and the dictionary index;
An update unit that rearranges and updates the predetermined order of the dictionary unit based on the page attribute information;
An image compression apparatus comprising:
(請求案2)
前記更新部が参照する前記頁属性情報は、文書、地図の少なくとも一方を含む原稿種別情報であることを特徴とする請求案1に記載の画像圧縮装置。
(Draft 2)
2. The image compression apparatus according to
(請求案3)
前記更新部が参照する前記頁属性情報は、スキュー角度、天地の少なくとも一方を含む原稿方向情報であることを特徴とする請求案1に記載の画像圧縮装置。
(Draft 3)
The image compression apparatus according to
(請求案4)
入力した画像を解析してオブジェクト配置情報と頁属性情報を出力し、
前記オブジェクト配置情報に基いて、前記画像を部品化して部品画像を出力し、
既にある画像辞書の中から前記頁属性情報に対応する複数の画像辞書を選び、
前記選ばれた複数の画像辞書の中から所定順序に従って一つの画像辞書を選び、
選ばれた画像辞書と前記部品画像を比較して対応する画像辞書を決定し、
前記画像辞書が決定した部品画像の辞書インデックスを決定し、
前記決定した画像辞書と前記部品画像の辞書インデックスを符号化し、
前記所定順序を前記頁属性情報に基づき並び替えて更新することを特徴とする画像圧縮方法。
(Draft bill 4)
Analyzes the input image and outputs object placement information and page attribute information.
Based on the object arrangement information, the image is converted into a component and a component image is output.
Select a plurality of image dictionaries corresponding to the page attribute information from the existing image dictionaries,
Select one image dictionary according to a predetermined order from the selected plurality of image dictionaries,
Compare the selected image dictionary with the component image to determine the corresponding image dictionary,
Determine a dictionary index of the component image determined by the image dictionary;
Encode the determined image dictionary and the dictionary index of the component image,
An image compression method, wherein the predetermined order is rearranged and updated based on the page attribute information.
Claims (7)
前記オブジェクト配置情報に基いて、前記画像を部品化して、部品画像を出力する部品化部と、
既にある画像辞書の中から前記解析部からの前記頁属性情報に対応する画像辞書を選び、前記選ばれた画像辞書と前記部品化部からの前記部品画像を比較して対応する画像辞書を決定し、前記決定した画像辞書と前記部品画像の辞書インデックスを出力する辞書化部と、
前記画像辞書と前記辞書インデックスを符号化する符号化部と、
を具備することを特徴とする画像圧縮装置。 An analysis unit that analyzes the input image and outputs object placement information and page attribute information;
Based on the object arrangement information, the image is converted into a component, and a component converting unit that outputs a component image;
An image dictionary corresponding to the page attribute information from the analysis unit is selected from among existing image dictionaries, and the corresponding image dictionary is determined by comparing the selected image dictionary with the component image from the componentizing unit. A dictionary forming unit for outputting the determined image dictionary and a dictionary index of the component image;
An encoding unit for encoding the image dictionary and the dictionary index;
An image compression apparatus comprising:
前記辞書化部は、既にある画像辞書の中から前記文字認識部の文字情報に対応する画像辞書を選ぶことを特徴とする請求項1記載の画像圧縮装置。 A character recognition unit that character-recognizes the component image output by the componentization unit and outputs character information;
2. The image compression apparatus according to claim 1, wherein the lexicographic unit selects an image dictionary corresponding to character information of the character recognition unit from existing image dictionaries.
前記オブジェクト配置情報に基いて、前記画像を部品化して、部品画像を出力し、
既にある画像辞書の中から前記頁属性情報に対応する画像辞書を選び、前記選ばれた画像辞書と前記部品画像を比較して対応する画像辞書を決定し、前記部品画像の辞書インデックスを出力し、
前記対応する画像辞書と前記辞書インデックスを符号化することを特徴とする画像圧縮方法。 Analyzes the input image and outputs object placement information and page attribute information.
Based on the object arrangement information, the image is converted into a component, and a component image is output.
An image dictionary corresponding to the page attribute information is selected from existing image dictionaries, the selected image dictionary is compared with the component image to determine a corresponding image dictionary, and a dictionary index of the component image is output. ,
An image compression method, wherein the corresponding image dictionary and the dictionary index are encoded.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8270808P | 2008-07-22 | 2008-07-22 | |
US8270308P | 2008-07-22 | 2008-07-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010027051A true JP2010027051A (en) | 2010-02-04 |
Family
ID=41732762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009162958A Pending JP2010027051A (en) | 2008-07-22 | 2009-07-09 | Image compression apparatus and image compression method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010027051A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200536A (en) * | 1996-01-18 | 1997-07-31 | Fuji Xerox Co Ltd | Coder and decoder |
JP2000295468A (en) * | 1999-04-01 | 2000-10-20 | Toshiba Corp | Image processor |
JP2007336467A (en) * | 2006-06-19 | 2007-12-27 | Sharp Corp | Image compression apparatus, image reader with the same, image processor with image compression apparatus, image forming apparatus with the same, method of image compression processing, computer program hereof, and recording medium |
-
2009
- 2009-07-09 JP JP2009162958A patent/JP2010027051A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200536A (en) * | 1996-01-18 | 1997-07-31 | Fuji Xerox Co Ltd | Coder and decoder |
JP2000295468A (en) * | 1999-04-01 | 2000-10-20 | Toshiba Corp | Image processor |
JP2007336467A (en) * | 2006-06-19 | 2007-12-27 | Sharp Corp | Image compression apparatus, image reader with the same, image processor with image compression apparatus, image forming apparatus with the same, method of image compression processing, computer program hereof, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7889926B2 (en) | Image dictionary creating apparatus, coding apparatus, image dictionary creating method | |
US8411955B2 (en) | Image processing apparatus, image processing method and computer-readable medium | |
US7391917B2 (en) | Image processing method | |
US7542605B2 (en) | Image processing apparatus, control method therefor, and program | |
US8320019B2 (en) | Image processing apparatus, image processing method, and computer program thereof | |
US20070081179A1 (en) | Image processing device, image processing method, and computer program product | |
JPH10134192A (en) | Device and method for pattern matching encoding | |
US8755604B1 (en) | Using shape similarity methods to improve OCR speed and accuracy | |
US20040213458A1 (en) | Image processing method and system | |
EP1588293A1 (en) | Image processing method, system, program, program storage medium and information processing apparatus | |
JPH10162150A (en) | Page analysis system | |
US20090274369A1 (en) | Image processing device, image processing method, program, and storage medium | |
US20050226516A1 (en) | Image dictionary creating apparatus and method | |
JP2001203897A (en) | Pattern-matching encoding device and its method | |
JP4261988B2 (en) | Image processing apparatus and method | |
JPH11213160A (en) | Device and method for processing image and its storage medium | |
JP5335581B2 (en) | Image processing apparatus, image processing method, and program | |
KR101571681B1 (en) | Method for analysing structure of document using homogeneous region | |
US7508986B2 (en) | Document recognition device, document recognition method and program, and storage medium | |
JP2007129557A (en) | Image processing system | |
JP2010027051A (en) | Image compression apparatus and image compression method | |
JP4645058B2 (en) | Image dictionary creation device, encoding device, image dictionary creation method and program thereof | |
JP5109548B2 (en) | Image processing apparatus and program | |
JP2005352735A (en) | Document file creation support device, document file creation support method, and program thereof | |
JP5264675B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100914 |
|
A977 | Report on retrieval |
Effective date: 20111128 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Effective date: 20111206 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A02 | Decision of refusal |
Effective date: 20120327 Free format text: JAPANESE INTERMEDIATE CODE: A02 |