JP2004046632A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004046632A JP2004046632A JP2002204557A JP2002204557A JP2004046632A JP 2004046632 A JP2004046632 A JP 2004046632A JP 2002204557 A JP2002204557 A JP 2002204557A JP 2002204557 A JP2002204557 A JP 2002204557A JP 2004046632 A JP2004046632 A JP 2004046632A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- range
- area
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005520 cutting process Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 151
- 238000000605 extraction Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 51
- 238000011156 evaluation Methods 0.000 description 60
- 230000005484 gravity Effects 0.000 description 51
- 238000000034 method Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 39
- 238000012937 correction Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000004042 decolorization Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 6
- 238000005549 size reduction Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
- H04N1/3878—Skew detection or correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】画像処理装置は、入力された画像情報から特定領域を抽出する抽出部(S14)と、画像情報の傾きを検出する傾き検出部(S15)と、傾きに応じた回転角で画像情報を回転させる画像回転部(S17)と、画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出部(S16)と、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定部(S16)と、回転後の画像情報から、切出範囲を切出す画像切出部(S18)とを備える。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、画像を補正するのに適した画像処理装置に関する。
【0002】
【従来の技術】
紙などの記録媒体(原稿)上に形成された文字情報、図形情報、写真情報等の情報を電子データに変換するために、図21(A)に示すような原稿をイメージスキャナまたはデジタルカメラ等の画像入力装置で入力することが一般的に行われている。
【0003】
しかしながら、イメージスキャナに原稿が傾いてセットされた場合、または、デジタルカメラで傾いて原稿が撮影された場合に、図21(B)に示すように、イメージスキャナまたはデジタルカメラ等で入力して得られた電子データとしての画像情報に含まれる文字情報、図形情報、写真情報等の情報が傾いている場合がある。この傾きは、矩形の画像情報のある辺を基準にした角度で得られる。
【0004】
この傾きを補正するために、得られた画像情報に含まれる情報の画像情報に対する傾きを検出して、図21(C)に示すように、検出した傾きに応じた回転角で画像情報を回転変換させて補正する回転補正が一般的に行なわれている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来の回転補正では、回転補正前の画像情報の所定の座標位置、たとえば、重心を中心に回転させるものであったため、図21(C)に示すように、回転補正後の画像情報は、その一部が回転補正前の画像情報の範囲からはみ出してしまう場合がある。このため、はみ出した部分に情報が含まれていた場合には、そのはみ出し部分の情報が失われてしまうといった問題があった。また、切出される範囲中の情報の位置が考慮されないため、切出された画像中でいずれかの方向に情報が偏って切出されてしまうこともあった。
【0006】
このはみ出し部分の情報が失われるのを防止するための技術として、特開2000−36902公報には、入力されて回転補正された画像と、切出範囲とを重畳表示し、操作者からの指示により、その切出範囲の位置を決定し、決定された切出範囲を切出す画像処理装置が記載されている。しかし、特開2000−36902公報に記載の画像処理装置では、操作者が切出範囲を決定するため、作業が煩雑であった。また、必要以上に大きな切出範囲を指定することもできるため、その場合には、無駄な領域を多く含む画像情報が切り出されることになる。その結果、不必要な情報を多く含み、情報量の大きな画像情報が切出されてしまうといった問題があった。また、操作者が切出範囲を指定するため、切出される範囲中の情報の位置は操作者の操作に委ねられており、依然として切出された画像中でいずれかの方向に情報が偏って切出されてしまう可能性が残る。
【0007】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の1つは、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることが可能な画像処理装置を提供することである。
【0008】
この発明の他の目的は、回転補正後の画像情報に含まれる情報の配置を最適化することが可能な画像処理装置を提供することである。
【0009】
【課題を解決するための手段】
上述の目的を達成するために、この発明のある局面によれば、画像処理装置は、入力された画像情報から特定領域を抽出する抽出手段と、画像情報の傾きを検出する傾き検出手段と、検出された傾きに応じた回転角で画像情報を回転させる画像回転手段と、画像回転手段により画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出手段と、はみ出し検出手段により回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定手段と、画像回転手段により回転された後の画像情報から、決定された切出範囲を切出す画像切出手段とを備える。
【0010】
この発明に従えば、入力された画像情報から特定領域が抽出され、画像情報の傾きが検出され、検出された傾きに応じた回転角で画像情報が回転される。そして、画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かが検出され、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲が切出範囲に決定され、回転された後の画像情報から、決定された切出範囲が切出される。このため、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出す場合、回転された後の画像情報から回転後の画像情報の特定領域を含む最小矩形範囲が切出されるので、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることが可能な画像処理装置を提供することができる。
【0011】
好ましくは、切出範囲決定手段は、はみ出し検出手段により回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さないことが検出された場合、回転前の画像情報の画像範囲を切出範囲に決定する。
【0012】
この発明に従えば、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さない場合、回転後の画像情報から回転前の画像情報の画像範囲が切出される。このため、入力された画像情報と同じ大きさの画像を出力することができる。
【0013】
好ましくは、特定領域は、余白領域以外の情報を含む領域、あるいは、画像情報から重要でない情報を含む領域を除いた領域である。余白領域以外の情報とは、たとえば、文字情報、図形情報、写真情報、および、罫線情報などである。重要でない情報とは、たとえば、罫線情報である。重要でない情報を含む領域を除いた領域とは、たとえば、主に文字情報を含む文字領域、主に図形情報を含む図形領域、および、主に写真情報を含む写真領域などである。
【0014】
この発明に従えば、余白領域以外の情報を含む領域、あるいは、画像情報から重要でない情報を含む領域を除いた領域を抽出するので、回転補正後の画像情報から必要な情報が失われるのを防止することができる。
【0015】
好ましくは、抽出手段は、入力された画像情報から、特定領域の候補となる複数の候補領域を抽出する第1抽出手段と、複数の候補領域のうち、画像情報の画像範囲に対する複数の候補領域それぞれの相対位置、あるいは、複数の候補領域それぞれの属性に応じた候補領域を特定領域として抽出する第2抽出手段とを含む。候補領域の属性は、その候補領域に主に含まれる情報の種類を示し、たとえば、文字情報を含む文字属性、図形情報を含む図形属性、写真情報を含む写真属性、罫線情報を含む罫線属性がある。
【0016】
この発明に従えば、入力された画像情報から、特定領域の候補となる複数の候補領域が抽出され、複数の候補領域のうち、画像情報の画像範囲に対する複数の候補領域それぞれの相対位置、あるいは、複数の候補領域それぞれの属性に応じた候補領域が特定領域として抽出される。その結果、回転補正後の画像情報から、画像情報の画像範囲に対して特定の相対位置にある情報、あるいは、特定の属性の情報が失われるのを防止することができる。
【0017】
この発明の他の局面によれば、画像処理装置は、入力された画像情報から特定領域を抽出する抽出手段と、画像情報の傾きを検出する傾き検出手段と、検出された傾きに応じた回転角で画像情報を回転させる画像回転手段と、画像回転手段により回転された後の画像情報に含まれる特定領域に対する相対位置に応じて、画像回転手段により回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与する得点付与手段と、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する切出範囲決定手段と、画像回転手段により回転された後の画像情報から、決定された切出範囲を切出す画像切出手段とを備える。
【0018】
この発明に従えば、入力された画像情報から特定領域が抽出され、画像情報の傾きが検出され、検出された傾きに応じた回転角で画像情報が回転される。そして、回転された後の画像情報に含まれる特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点が付与され、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲が切出範囲に決定され、回転された後の画像情報から、決定された切出範囲が切出される。このため、回転された後の画像情報から、特定領域に対する相対位置に応じて、画像範囲が切出されるので、回転補正後の画像情報から重要な情報が失われるのを防止することが可能な画像処理装置を提供することができる。また、回転補正後の画像情報に含まれる情報の配置を最適化することが可能な画像処理装置を提供することができる。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、重複する説明は繰返さない。
【0020】
[第1の実施の形態]
図1は、本発明の実施の形態の1つにおける画像処理システムの構成の一例を示す図である。図1を参照して、画像処理システムは、画像処理装置100と、画像入力装置200と、外部記憶装置300と、画像出力装置400とを含む。
【0021】
画像処理装置100は、パーソナルコンピュータ(以下、PC(Personal Computer)という)などのコンピュータで構成される。画像処理装置100は、画像処理装置100の全体を制御するための制御部と、画像処理装置100に所定の情報を入力するための入力部と、画像処理装置100から所定の情報を出力するための出力部と、所定の情報を記憶するための記憶部と、画像処理装置をネットワークと接続するためのインタフェースである通信部とを含む。
【0022】
画像入力装置200は、スキャナまたはデジタルカメラ等であり、画像を取込み、取込まれた画像情報を一時記憶し、一時記憶された画像情報を出力する。画像入力装置200は、画像処理装置100に接続され、画像処理装置100に画像情報を出力する。
【0023】
外部記憶装置300は、FDD(Floppy(R)Disk Drive)、HDD(Hard Disk Drive)、CD(Compact Disk)ドライブ、MO(Magneto Optical disk)ドライブ等であり、記録媒体301に記録されたプログラムやデータを読込み、画像処理装置100に送信する。また、画像処理装置100からの指示により、画像処理装置100で処理された画像情報などの必要な情報を記録媒体301に書込む。
【0024】
コンピュータ読取可能な記録媒体181としては、磁気テープ、カセットテープ、フロッピー(R)ディスク、ハードディスク等の磁気ディスク、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)等の光ディスク、MO、MD(MiniDisc)等の光磁気ディスク、ICカード、光カード等のメモリカード、あるいは、マスクROM,EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrionically Erasable and Programmable Read Only Memory)、フラッシュROM等の半導体メモリを含めた、固定的にプログラムを担持する記録媒体である。
【0025】
画像出力装置400は、プリンタ等であり、画像情報を紙などの媒体に出力する。画像出力装置400は、画像処理装置100に接続され、画像処理装置100で処理された画像情報を出力する。
【0026】
図2は、第1の実施の形態における画像処理装置100の機能を示す機能ブロック図である。図2を参照して、画像処理装置100は、画像入力装置200から入力された画像情報を縮小する画像サイズ縮小部111と、画像サイズ縮小部111で縮小された画像情報から下地色を除去する下地色除去部112と、下地色除去部112で下地色を除去された画像情報を候補領域に分離する領域分離部113と、領域分離部113で分離された候補領域から特定領域を抽出する特定領域抽出部114と、特定領域抽出部114で特定領域を抽出された画像情報の傾きを検出する画像傾き検出部115と、画像傾き検出部115で検出された傾きおよび特定領域抽出部114で特定領域を抽出された画像情報から切出範囲を決定する切出範囲決定部116と、画像傾き検出部115で検出された傾きに応じた回転角で、画像入力装置200から入力された画像情報を回転させる画像回転部117と、画像回転部117で回転された後の画像情報から、切出範囲決定部116で決定された切出範囲を切出す画像切出部118とを含む。
【0027】
画像サイズ縮小部111は、画像入力装置200から入力された画像情報を縮小して、縮小された画像情報を下地色除去部112に送る。画像情報の縮小は、以後の画像処理を高速化するために行われる。したがって、画像処理を高速化する必要がない場合には、画像サイズ縮小部111を設ける必要はない。
【0028】
下地色除去部112は、画像サイズ縮小部111で縮小された画像情報から背景領域に存在する下地色を除去し、下地色を除去された画像情報を領域分離部113に送る。下地色とは、再生紙などをスキャンしたときに発生する淡い黄色、あるいは、画像の背景に存在する薄い下地模様の色などである。画像情報の下地色除去は、文字情報、図形情報、写真情報などの情報の抽出を容易にするために行われる。画像の背景が均一な白である場合などは、下地色を除去する必要はない。この場合には、下地色除去部112を設ける必要はない。
【0029】
領域分離部113は、下地色除去部113で下地色を除去された画像情報から、候補領域を分離する。候補領域は、文字領域、図形領域、写真領域、罫線領域、および、余白領域などを含む。文字領域とは、主に文字情報を含む領域である。図形領域、写真領域、および、罫線領域は、それぞれ、主に図形情報、写真情報、および、罫線情報を含む領域である。余白領域は、画像情報の全領域のうち、図形領域、写真領域、および、罫線領域など情報が含まれる領域以外の領域である。また、領域分離部113は、画像入力装置200から入力された画像情報、あるいは、画像サイズ縮小部111で縮小された画像情報から候補領域を分離するようにしてもよい。
【0030】
特定領域抽出部114は、領域分離部113で分離された候補領域から所定の条件を満たす候補領域を特定領域として抽出する。所定の条件は、候補領域の属性で定められる。候補領域の属性は、候補領域が文字領域である場合は文字属性、図形領域である場合は図形属性、写真領域である場合は写真属性、および、罫線領域である場合は罫線属性である。所定の条件は、これらの属性の1つであってもよいし、これらの属性から抽出された複数の組合せであってもよい。
【0031】
画像傾き検出部115は、特定領域抽出部114で特定領域が抽出された画像情報から画像情報の傾きを検出する。また、画像傾き検出部115は、画像入力装置200から入力された画像情報、画像サイズ縮小部111で縮小された画像情報、下地色除去部112で下地色を除去された画像情報、あるいは、領域分離部113で候補領域が分離された画像情報から画像情報の傾きを検出するようにしてもよい。
【0032】
切出範囲決定部116は、特定領域抽出部114で抽出された特定領域のデータと、画像傾き検出部115で検出された画像情報の傾きとに基づいて、切出範囲を決定する。
【0033】
画像回転部117は、画像傾き検出部115で検出された画像情報の傾きに応じた回転角で、画像入力装置200から入力された画像情報を回転させる。また、画像回転部117は、画像サイズ縮小部111で縮小された画像情報、下地色除去部112で下地色を除去された画像情報、領域分離部113で候補領域が分離された画像情報、あるいは、特定領域抽出部114で特定領域が抽出された画像情報を回転させるようにしてもよい。
【0034】
画像切出部118は、画像回転部117で回転された後の画像情報から、切出範囲決定部116で決定された切出範囲を切出し、切出された切出範囲の画像情報を外部記憶装置300あるいは画像出力装置400に出力する。
【0035】
図3は、第1の実施の形態における画像処理装置100で行なわれる画像処理の流れを示すフローチャートである。図3を参照して、まず、画像入力装置200から、RGB(Red Green Blue)の各色成分で表される画像情報が入力され(ステップS11)、画像サイズ縮小部111により、ステップS11で入力された画像情報に対して、画像サイズを縮小する処理が施される(ステップS12)。画像サイズを縮小する方法としては、たとえば、画像情報を複数の矩形領域に分割し、それぞれの矩形領域を平均濃度値によって置き換えるという方法がある。このときの矩形領域のサイズは、解像度や画像情報の大きさに基づいて決定すればよい。具体的には、短辺の長さが500〜1000画素程度になるように、縮小処理を施すようにすることが望ましい。縮小処理は、以後の画像処理を高速化するために行なうものである。このため、ステップS12は選択的に実行されるようにしてもよい。
【0036】
そして、下地色除去部112により、ステップS12で縮小された画像情報から、下地色が除去される(ステップS13)。下地色を除去する方法としては、たとえば、画像情報のコントラストを強調し、ハイライト領域を除去するという方法がある。ステップS13は選択的に実行されるようにしてもよい。下地色除去処理については、後述する図4で説明する。
【0037】
次に、ステップS13で下地色を除去された画像情報から、特定領域を抽出する領域抽出処理が実行される(ステップS14)。領域抽出処理については、後述する図5で説明する。
【0038】
次に、ステップS14で特定領域が抽出された画像情報から、画像情報の傾きを検出する画像傾き検出処理が実行される(ステップS15)。画像傾き検出処理については、後述する図8で説明する。
【0039】
そして、ステップS14で抽出された特定領域、および、ステップS15で検出された画像情報の傾きに基づき、画像情報が回転された場合に、回転後の画像情報から切出される切出範囲が決定される(ステップS16)。切出範囲決定処理については、後述する図11で説明する。
【0040】
最後に、ステップS15で検出された画像情報の傾きに応じた回転角で、ステップS11で入力された画像情報が回転され(ステップS17)、回転後の画像情報から、ステップS16で決定された切出範囲が切出され(ステップS18)、切出された切出範囲の画像情報が、外部記憶装置300あるいは画像出力装置400に出力される(ステップS19)。
【0041】
なお、ステップS17で実行される画像回転処理は、ステップS16で実行される切出範囲決定処理の前に実行されてもよい。
【0042】
図4は、第1の実施の形態における画像処理装置100で行なわれる下地色除去処理を説明するための濃度ヒストグラムである。下地色除去処理は、図3で説明した画像処理のステップS13で実行される処理である。図4(A)は、伸張処理前の濃度ヒストグラムである。図4(B)は、伸張処理後の濃度ヒストグラムである。
【0043】
図4(A)および図4(B)を参照して、まず、画像情報のRGB各成分の濃度ヒストグラムが作成され(図4(A))、各ヒストグラムを最大値方向および最小値方向に伸張する濃度変換処理が行なわれる(図4(B))。そして、伸張された結果、濃度階調の最大値および最小値を超えた濃度階調については、それぞれ、濃度階調の最大値および最小値とする。このときに、最大値方向の伸張量を大きめに設定することにより、ハイライト領域を除去することが可能である。これによって、下地色を除去することができる。さらに、下地色除去処理は、画像情報全体に対してではなく、画像情報を複数の矩形領域に分割しておき、矩形領域ごとに伸張量を異ならせて行なうようにしてもよい。このようにすることによって、下地色や下地模様の濃淡に左右されることなく、下地色除去処理を施すことが可能となる。
【0044】
図5は、第1の実施の形態における画像処理装置100で行なわれる領域抽出処理の流れを示すフローチャートである。領域抽出処理は、図3で説明した画像処理のステップS14で実行される処理である。図5を参照して、領域分離部113において、まず、ステップS13で下地色を除去された画像情報が複数の矩形領域に分割される(ステップS21)。
【0045】
図6は、第1の実施の形態における画像処理装置100で行なわれる領域抽出処理において画像情報を複数の領域に分割する一例を示す図である。図6(A)は、複数の矩形領域に分割された画像情報を示す図である。図6(B)は、分割された矩形領域の拡大図である。図6(A)および図6(B)を参照して、各矩形領域は、本実施の形態においては、8画素×8画素の大きさのブロックとしている。ブロックの大きさは、文字領域と罫線領域とを判別するために、文字の大きさ程度であることが望ましい。
【0046】
図5に戻って、領域分離部113において、ステップS21で分割されたすべての矩形領域について、それぞれ、以下の各ステップが実行される(ステップS22)。まず、矩形領域の明度ヒストグラムが計算される(ステップS23)。そして、ヒストグラム分布が全明度について一様であるか否かが判断され(ステップS24)、一様である場合は、矩形領域が写真領域であると判定され、ステップS36に進み(ステップS25)、一様でない場合は、ステップS26に進む。
【0047】
次に、ヒストグラム分布がハイライト領域に集中しているか否かが判断され(ステップS26)、ハイライト領域に集中している場合は、矩形領域が余白領域であると判定され、ステップS36に進む(ステップS27)。ヒストグラム分布がハイライト領域に集中しているか否かは、たとえば、明度値を0〜255の範囲の値とした場合には、明度値が230以上の領域に集中しているか否かによって、判断される。ハイライト領域に集中していない場合は、ステップS28に進む。そして、ステップS28で、矩形領域の彩度成分が一定値以上の画素をカラー画素として、矩形領域に含まれるカラー画素数が計算される。矩形領域に含まれるカラー画素数が一定値以上の場合は、矩形領域が図形領域であると判定され(ステップS31)、ステップS36に進み、矩形領域に含まれるカラー画素数が一定値以下の場合は、ステップS32に進む。
【0048】
そして、矩形領域に含まれる白画素以外の画素の連結成分が抽出され(ステップS32)、連結成分が矩形領域を横断しているか否かが判断される(ステップS33)。連結成分とは、白画素以外の画素で隣接する画素からなる画素の集合体である。白画素以外の画素の連結成分を抽出する処理に代えて、たとえば、明度成分が一定値以下の画素の連結成分を抽出する処理を行うようにしてもよい。さらに、黒画素(明度値が0の画素)のみの連結成分を抽出するようにしてもよい。連結成分が矩形領域を横断している場合は、矩形領域が罫線領域であると判定され、ステップS36に進み(ステップS34)、連結成分が矩形領域を横断していない場合は、矩形領域が文字領域であると判定され、ステップS36に進む(ステップS35)。
【0049】
そして、すべての矩形領域についてステップS22〜ステップS35の処理が繰り返され(ステップS36)、各矩形領域は、それぞれ各属性の領域に分離される。次に、隣接する同じ属性の矩形領域がまとめられ、まとめられた矩形領域は、その属性の候補領域として抽出される(ステップS37)。ここで、ある矩形領域A0の縦横斜めの8方向で隣接する8つの矩形領域A1〜A8の過半数が同一の属性bである場合、その8つの矩形領域A1〜A8に囲まれる矩形領域A0の属性b0が属性bでない場合であっても、矩形領域A0の属性を属性bとみなすようにしてもよい。
【0050】
最後に、特定領域抽出部114により、ステップS37で抽出された候補領域が所定の条件を満たすか否かが判断され(ステップS38)、所定の条件を満たす場合は、候補領域が特定領域として抽出される(ステップS39)。ステップ38およびステップS39で行われる処理を特定領域抽出処理という。そして、図3で説明した画像処理のステップS14に戻る。所定の条件とは、画像情報の画像範囲に対する候補領域の相対位置、あるいは、候補領域の属性により定まる条件であり、予め設定しておいてもよいし、画像情報が入力されるごとにユーザが指定するようにしてもよい。候補領域が重要であるか否かをユーザが指定する方法については、後述する図7で説明する。所定の条件が、画像情報の画像範囲に対する候補領域の相対位置により定まる条件である場合については、後述する第1の実施の形態の変形例で説明する。たとえば、入力する画像情報が文字情報、図形情報、写真情報、罫線情報を含む画像情報であれば、所定の条件は、候補領域が余白領域以外の情報を含む領域であること、つまり、候補領域が文字領域、図形領域、写真領域、罫線領域であること、あるいは、候補領域が画像情報から重要でない情報を含む領域を除いた領域であること、つまり、候補領域が文字領域、図形領域、写真領域であることとすればよい。また、実験結果のデータなどのように、数字や文字にのみ重要性が高い場合には、所定の条件は、候補領域が文字領域であることとすればよい。
【0051】
なお、画像入力装置100から入力される画像情報が、RGB成分を含む画像情報でなく、グレースケールの画像情報である場合は、ステップS28およびステップS29の処理は行なう必要はない。この場合、図形領域と罫線領域とが同じ属性の領域としてみなされる。
【0052】
図7は、第1の実施の形態における画像処理装置100で特定領域を抽出するための条件を設定する設定画面の一例を示す図である。図7を参照して、設定画面は、特定領域を抽出する条件を設定するためのGUI(Graphical User Interface)による複数のボタンを含む。そして、複数のボタンのいずれかが指定されることにより、候補領域のうちから特定領域を抽出するための条件として、指定されたボタンに対応する属性が設定される。設定画面は、文字領域および写真領域を特定領域として抽出する条件と設定するための「文字/写真」ボタン、文字領域および図形領域を特定領域として抽出する条件と設定するための「文字/図形」ボタン、文字領域および罫線領域を特定領域として抽出する条件と設定するための「文字/罫線」ボタン、文字領域を特定領域として抽出する条件と設定するための「文字」ボタン、写真領域を特定領域として抽出する条件と設定するための「写真」ボタン、図形領域を特定領域として抽出する条件と設定するための「図形」ボタン、および、罫線領域を特定領域として抽出する条件と設定するための「罫線」ボタンを含む。また、これらのボタンの他に、他の属性を設定するためのボタン、あるいは、複数の属性の組合せを設定するためのボタンが含まれてもよい。
【0053】
図8は、第1の実施の形態における画像処理装置100で行なわれる画像傾き検出処理の流れを示すフローチャートである。画像傾き検出処理は、図3で説明した画像処理のステップS15で実行される処理である。
【0054】
図8を参照して、画像傾き検出部115において、まず、画像情報の各画素の明度成分が計算され、明度画像が作成される(ステップS41)。そして、作成された明度画像に対して所定の閾値で2値化処理が行なわれ、2値画像が作成される(ステップS42)。閾値を求める方法としては、たとえば、一般的なエッジ検出フィルタであるSobelフィルタを用いて画像情報からエッジ成分を求め、全てのエッジ画素に対応する明度値の平均値を求め、この平均値をしきい値とする方法がある。この方法は、2値化のしきい値となる明度値は、文字や図形の境界部分に存在する可能性が高いという性質を利用したものである。
【0055】
次に、ステップS42で作成された2値画像において、特定領域以外の画素について、画素値が0に変換される(ステップS43)。そして、ステップS43で変換された2値画像から、エッジ成分を最も多く含む正方形領域が、傾き検出領域として検出される(ステップS44)。
【0056】
図9は、2値画像からエッジ成分を多く含む傾き検出領域を検出する処理の一例を示す図である。図9を参照して、図8で説明した画像傾き検出処理のステップS42で作成された2値画像から、エッジ成分を最も多く含む正方形領域が傾き検出領域として検出される。一般的に、文字が表わされた領域にエッジ成分が比較的多く含まれるため、画像情報に文字が表わされた領域が含まれる場合には、文字が表わされた領域が傾き検出領域として検出されることになる。また、傾き検出領域を正方形領域とすることにより、正方形領域を90度回転させることで、同じ傾き検出基準で、横書き原稿だけでなく、縦書き原稿についても、画像傾き検出処理を行なうことができる。傾き検出領域は、縦横500画素程度のサイズであることが好ましい。
【0057】
図8に戻って、傾き角度検出部115において、全検出角度について、ステップS45〜ステップS48のループが実行される(ステップS45)。検出角度とは、後述する累積ヒストグラムを作成する際の傾き検出領域に対する角度をいう。たとえば、−45度〜45度までの範囲で、ステップ量を1度とした場合には、91個の検出角度となり、すべての検出角度について、ステップS45〜ステップS48のループが実行される。まず、傾き検出領域における検出角度方向の各ラインごとに、値が1である画素数がカウントされ、検出角度に対する累積ヒストグラムが作成される(ステップS46)。そして、累積ヒストグラムの起伏度UD1(s)が数式(1)に従って計算される(ステップS47)。ここで、sは、検出角度を示す。そして、ステップS45〜ステップS48のループが繰返される(ステップS48)。
【0058】
図10は、検出角度方向の各ラインに対する値が1の画素の数を示す累積ヒストグラムである。図10(A)は、傾き検出領域の一例を模式的に示す図である。図10(A)を参照して、矢印は、検出角度方向の各ラインを示している。ラインとは、傾き検出領域を横切る1画素幅の線である。
【0059】
図10(B)は、傾き検出領域に対する累積ヒストグラムの一例である。図10(B)を参照して、累積ヒストグラムは、傾き検出領域中のすべてのラインについて、各ライン(第iライン)に存在する値が1の画素の度数f(i)を示す。累積ヒストグラムの起伏度UD1(s)は、f(i)を用いて、数式(1)により計算される。
【0060】
【数1】
【0061】
図8に戻って、次に、傾き検出領域が90度回転され(ステップS49)、ステップS45〜ステップS48の処理と同様の処理が、ステップS51〜ステップS54の処理で実行され、各検出角度sに対する起伏度UD2(s)が数式(1)に従って計算される。
【0062】
最後に、ステップS45〜ステップS48の処理およびステップS51〜ステップS54の処理で計算された起伏度UD1(s)およびUD2(s)のうち、最も大きい起伏度に対する検出角度sが、画像情報の傾きとして検出され(ステップS55)、図3で説明した画像処理のステップS15に戻る。
【0063】
図11は、第1の実施の形態における画像処理装置100で行なわれる切出範囲決定処理の流れを示すフローチャートである。切出範囲決定処理は、図3で説明した画像処理のステップS16で実行される処理である。図11を参照して、切出範囲決定部116において、まず、図3のステップS15で検出された画像情報の傾きに基づき、図3のステップS14で抽出された特定領域が画像情報の重心を中心に回転され、回転後の特定領域が、回転前の画像情報の画像範囲からはみ出すか否かが検出される(ステップS61)。そして、特定領域がはみ出すことが検出された場合は、ステップS62に進み、特定領域がはみ出さないことが検出された場合は、ステップS63に進む。
【0064】
具体的には、特定領域の輪郭の座標について回転後の座標が計算され、回転後の輪郭の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断される。これは、できるだけ処理する画素数を減らして、処理を高速に行うためである。あるいは、予め、特定領域を囲む最小矩形領域が求められ、その最小矩形領域の4隅の座標について回転後の座標が計算され、回転後の最小矩形領域の4隅の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断されるようにしてもよい。また、特定領域のすべての画素について回転後の座標が計算され、回転後の特定領域のすべての画素の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断されるようにしてもよい。
【0065】
そして、特定領域がはみ出すことが検出された場合は、ステップS61で回転された特定領域を含む最小矩形範囲が切出範囲に決定され、(ステップS62)図3で説明した画像処理のステップS16に戻る。
【0066】
また、特定領域がはみ出さないことが検出された場合は、回転前の画像情報の画像範囲が切出範囲に決定され(ステップS63)、図3で説明した画像処理のステップS16に戻る。
【0067】
図12は、第1の実施の形態における画像処理装置100で行なわれる画像処理を説明するための図である。図12(A)は、原稿501を示す図である。図12(A)を参照して、原稿501は、文字情報および図形情報を含む。そして、原稿501が画像入力装置200で画像情報として取込まれ、画像処理装置100に入力される。このときに、原稿501が傾いた状態で取込まれる場合について説明する。
【0068】
図12(B)は、回転前の画像情報502を示す図である。図12(B)を参照して、画像処理装置100に入力される回転前の画像情報502は、文字情報および図形情報を含む最小矩形範囲の画像情報として入力される。そして、回転前の画像情報502から特定領域511,512が抽出され、画像情報の傾きが検出される。ここで、画像情報に文字情報および図形情報が含まれるので、文字領域511および図形領域512を特定領域として抽出する条件が設定されている場合は、文字領域および図形領域が特定領域として抽出される。
【0069】
図12(C)は、回転後の画像情報503を示す図である。図12(C)を参照して、図12(B)で検出された傾きに応じた回転角で回転前の画像情報502が回転された場合に、回転後の画像情報503の特定領域が、回転前の画像情報502の画像範囲からはみ出すか否かが検出される。ここでは、回転後の画像情報503の特定領域が、回転前の画像情報502の画像範囲からはみ出すことが検出される。
【0070】
図12(D)は、切出画像情報504を示す図である。図12(D)を参照して、図12(C)ではみ出すと検出されたので、回転後の画像情報503の特定領域511,512を含む最小矩形範囲が切出範囲に決定され、切出範囲が切出画像情報504として切出される。
【0071】
以上説明したように、第1の実施の形態における画像処理装置100においては、回転後の画像情報503の特定領域が回転前の画像情報502の画像範囲からはみ出す場合、回転された後の画像情報から回転後の画像情報503の特定領域を含む最小矩形範囲が切出されるので、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることができる。
【0072】
また、第1の実施の形態における画像処理装置100においては、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さない場合、回転後の画像情報から回転前の画像情報の画像範囲が切出される。このため、入力された画像情報と同じ大きさの画像を出力することができる。
【0073】
さらに、第1の実施の形態における画像処理装置100においては、予め定められた属性、あるいは、ユーザにより設定された属性の領域が抽出されるので、回転補正後の画像情報から特定の属性の情報が失われるのを防止することができる。
【0074】
なお、第1の実施の形態においては、画像処理装置100で行なわれる処理について説明したが、図3に示した処理を実行する画像処理方法、図3に示した処理をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体として発明を捉えることができる。
【0075】
(第1の実施の形態の変形例)
第1の実施の形態においては、画像処理装置100の特定領域抽出部114で特定領域を抽出するときに、領域の属性に応じて、特定領域を抽出するようにした。これに対して、第1の実施の形態の変形例においては、特定領域抽出部114で特定領域を抽出する条件を、画像情報の画像範囲に対する候補領域の相対位置により定まる条件とした。
【0076】
第1の実施の形態の変形例は、第1の実施の形態の図5で説明した領域抽出処理のステップ38およびステップS39で行われる特定領域抽出処理を改良したものである。
【0077】
図13は、第1の実施の形態の変形例における画像処理装置100で行なわれる特定領域抽出処理を説明するための図である。図13(A)は、入力された画像情報を示す図である。図13(A)を参照して、入力された画像情報は、文字情報と図形情報と罫線情報とを含む。罫線情報は、それぞれ、画像情報の上端の近傍と下端の近傍とに配置されている。
【0078】
図13(B)は、抽出された候補領域を示す図である。図13(B)を参照して、画像入力装置200から画像処理装置100に、原稿が画像情報として入力される。そして、文字情報、図形情報、および、罫線情報を含む領域が、それぞれ、文字領域511、図形領域512、および、罫線領域513として抽出される。
【0079】
図13(C)は、候補領域の重心を示す図である。図13(C)を参照して、文字領域511の重心G1,G2、図形領域512の重心G3、および、罫線領域513の重心G0,G4が求められる。
【0080】
図13(D)は、画像情報の重心と候補領域の重心との相対位置を示す図である。図13(D)を参照して、画像情報の画像範囲に対する候補領域の相対位置に応じて、それぞれの候補領域の評価値が計算される。具体的には、画像情報の画像範囲の重心に対する候補領域の重心の相対位置に応じて、それぞれの候補領域の評価値が計算される。
【0081】
図14は、画像情報に対する候補領域の相対位置を示す図である。図14を参照して、画像情報の画像範囲の重心Oを原点とした場合、候補領域の重心Gnの座標は、(an,bn)と表わせる。また、画像情報の画像範囲の横方向の長さをw、および、縦方向の長さをhとする。このときの候補領域の評価値Pnは、たとえば、数式(2)で計算することができる。
【0082】
数式(2)によれば、画像情報の画像範囲の重心Oに対する候補領域の重心Gnの相対位置が近いほど、評価値Pnが大きくなり、候補領域の重心Gnが画像情報の画像範囲の重心Oと重なっている場合は、評価値Pn=100となる。また、候補領域の重心Gnが画像情報の画像範囲の最端部にある場合は、評価値Pn=0となる。すなわち、評価値Pnは、候補領域の重心Gnのx座標値の絶対値|an|と、y座標値の絶対値|bn|とに比例する。
【0083】
候補領域の評価値Pnの計算方法については、画像情報の画像範囲に対する候補領域の相対位置により評価値Pnが計算されるものであれば、他の方法、たとえば、数式(3)を用いることができる。
【0084】
数式(3)によれば、候補領域の重心Gnが画像情報の画像範囲の重心Oと重なっている場合は、評価値Pn=whとなる。また、候補領域の重心Gnが画像情報の画像範囲の最端部にある場合は、評価値Pn=0となる。
【0085】
数式(2)あるいは数式(3)により計算される評価値Pnは、候補領域の重心Gnが画像情報の画像範囲の重心Oに近いほど大きい値になる。このため、所定の条件を、評価値Pnがある値以上であるという条件とすることにより、画像情報の画像範囲の重心に近い候補領域が、特定領域として抽出されることになる。
【0086】
また、数式(2)および数式(3)で計算される評価値Pnは、候補領域の重心Gnが画像情報の画像範囲の重心Oと近いほど、大きい値になるが、候補領域の重心Gnが画像情報の画像範囲の重心Oと近いほど、評価値Pnが小さな値になるような計算方法であってもよい。この場合は、所定の条件を、評価値Pnがある値以下であるという条件とすることにより、画像情報の画像範囲の重心に近い候補領域が、特定領域として抽出されることになる。さらに、画像情報の画像範囲に対する候補領域の相対位置に相関して単調増加あるいは単調減少する候補領域の評価値であれば、他の評価値であってもよい。
【0087】
図13(D)に戻って、数式(2)によって、各候補領域の重心G0〜G4に対する評価値が、それぞれ、P0=50,P1=90,P2=80,P3=70,P4=50と計算されたとする。
【0088】
ここで、所定の条件が、たとえば、画像情報に対する候補領域の相対位置から計算される評価値Pnがしきい値60を超えることが条件として、予め定められている場合、評価値P0,P4に対応する2つの罫線領域513は特定領域として抽出されず、評価値P1,P2,P3に対応する2つの文字領域511および図形領域512は特定領域として抽出される。
【0089】
また、所定の条件は、画像情報の画像範囲に対する候補領域の相対位置および候補領域の属性により定まる条件としてもよい。たとえば、画像情報に対する候補領域の相対位置から計算される評価値Pnに候補領域の属性に応じた係数Kを掛けることによって、Pn’=K×Pnを計算し、Pn’が予め定められたしきい値を超える候補領域を特定領域として抽出する。具体的には、文字領域、図形領域、写真領域、罫線領域、および、余白領域に対する係数Kを、それぞれ、K1=1.0,K2=0.8,K3=0.8,K4=0.6,K5=0とした場合、評価値Pn’は、P0’=50×K4=30,P1’=90×K1=90,P2’=80×K1=80,P3’=70×K2=56,P4’=50×K4=30となる。そして、所定の条件が、たとえば、画像情報に対する候補領域の相対位置から計算される評価値Pn’がしきい値50を超えることが条件であるとすると、評価値P1’,P2’,P3’に対応する2つの文字領域511および図形領域512が特定領域として抽出される。
【0090】
また、所定の条件は、候補領域の大きさにより定まる条件としてもよい。この場合、候補領域の大きさに応じて候補領域の評価値が計算され、その評価値に応じて特定領域が抽出される。すなわち、候補領域の大きさに相関して単調増加あるいは単調減少する候補領域の評価値が計算され、その評価値が所定の条件を満たす候補領域が特定領域として抽出される。
【0091】
さらに、所定の条件は、候補領域の属性および大きさにより定まる条件としてもよいし、候補領域の大きさおよび画像情報の画像範囲に対する候補領域の相対位置により定まる条件としてもよいし、候補領域の属性、大きさおよび画像情報の画像範囲に対する候補領域の相対位置により定まる条件としてもよい。
【0092】
図15は、第1の実施の形態の変形例における画像処理装置100で行なわれる画像処理を説明するための図である。図15(A)は、原稿501を示す図である。図15(A)を参照して、原稿501は、文字情報および図形情報を含む。そして、原稿501が画像入力装置200で画像情報として取込まれ、画像処理装置100に入力される。このときに、原稿501が傾いた状態で取込まれる場合について説明する。
【0093】
図15(B)は、回転前の画像情報502を示す図である。図15(B)を参照して、画像処理装置100に入力される回転前の画像情報502は、文字情報および図形情報を含む最小矩形範囲の画像情報として入力される。そして、回転前の画像情報502から文字領域511および図形領域512が候補領域として抽出され、画像情報の傾きが検出される。そして、文字領域511の重心G1(a1,b1)、および、図形領域512の重心G2(a2,b2)が求められ、それぞれの重心に対する評価値P1,P2が計算される。ここでは、評価値P1が予め定められたしきい値を越し、評価値P2が予め定められたしきい値を越さないとする。そうすると、文字領域511が特定領域として抽出され、図形領域512は特定領域として抽出されない。
【0094】
図15(C)は、回転後の画像情報503を示す図である。図15(C)を参照して、図15(B)で検出された傾きに応じた回転角で回転前の画像情報502が回転された場合に、特定領域として抽出された文字領域511が、回転前の画像情報502の画像範囲からはみ出すか否かが検出される。ここでは、文字領域511が、回転前の画像情報502の画像範囲からはみ出す。
【0095】
図15(D)は、切出画像情報504を示す図である。図15(D)を参照して、図15(C)ではみ出すと検出されたので、特定領域として抽出された文字領域511を含む最小矩形範囲が切出範囲に決定され、切出範囲が切出画像情報504として切出される。
【0096】
第1の実施の形態の変形例においては、画像情報の画像範囲の重心を基準点として候補領域の相対位置を求めるようにしたが、基準点は、重心に限られず、画像情報の画像範囲中の点であれば、基準点を任意に定めることができる。
【0097】
以上説明したように、第1の実施の形態の変形例における画像処理装置100においては、入力された画像情報から、特定領域の候補となる複数の候補領域が抽出され、画像情報の画像範囲に対する候補領域の相対位置に基づいて、複数の候補領域のうちから、候補領域が特定領域として抽出される。その結果、回転補正後の画像情報から画像情報の画像範囲に対して特定の相対位置にある情報が失われるのを防止することができる。
【0098】
【数2】
【0099】
[第2の実施の形態]
第1の実施の形態においては、画像処理装置100の切出範囲決定部116で切出範囲を決定するときに、特定領域を含むように切出範囲を決定するようにしたが、第2の実施の形態においては、画像処理装置100Aの切出範囲決定部116Aで切出範囲を決定するときに、特定領域に対する相対位置が所定の条件を満たすように切出範囲を決定する。
【0100】
第2の実施の形態の画像処理システムの構成は、図1で説明した第1の実施の形態の画像処理システムと同様であるので説明は繰返さない。
【0101】
図16は、第2の実施の形態における画像処理装置100Aの機能を示す機能ブロック図である。図16を参照して、画像処理装置100Aは、画像サイズ縮小部111と、下地色除去部112と、領域分離部113と、特定領域抽出部114と、画像傾き検出部115と、切出範囲決定部116Aと、画像回転部117と、画像切出部118とを含む。
【0102】
画像サイズ縮小部111と、下地色除去部112と、領域分離部113と、特定領域抽出部114と、画像傾き検出部115と、画像回転部117と、画像切出部118とは、図2で説明した第1の実施の形態における画像処理装置100の機能と同様であるので説明は繰返さない。
【0103】
切出範囲決定部116Aは、特定領域抽出部114で抽出された特定領域が画像傾き検出部115で検出された画像情報の傾きに基づいて回転された後の特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与し、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する。切出範囲を決定することは、すなわち、切出範囲の位置を決定することである。
【0104】
図17は、候補範囲505に対する特定領域の相対位置を示す図である。図17を参照して、画像情報の画像範囲の重心Oを原点とした場合、特定領域の重心Gnの座標は、(an,bn)と表わせる。画像情報の画像範囲の横方向の長さはw、および、縦方向の長さはhである。また、切出範囲を決定するための候補範囲の重心Gの座標は、(x,y)とする。そして、特定領域に対する候補範囲の相対位置が所定の条件を満たすよう候補範囲の重心Gの位置を最適化することによって、切出範囲が決定される。
【0105】
第2の実施の形態における画像処理装置100Aで行なわれる画像処理の流れは、図3で説明した第1の実施の形態における画像処理装置100で行なわれる画像処理の流れのステップS16で実行される切出範囲決定処理を変更したものである。
【0106】
図18は、第2の実施の形態における画像処理装置100Aで行なわれる切出範囲決定処理の流れを示すフローチャートである。図18を参照して、画像処理装置100Aの切出範囲決定部116においては、まず、画像情報の画像範囲の横方向の長さw、および、縦方向の長さhが取得され(ステップS71)、回転後の特定領域の重心Gnの座標(an,bn)が計算される(ステップS72)。
【0107】
そして、候補範囲に対する各特定領域に対して評価値Pn(x,y)が計算される(ステップS73)。ステップS73で計算される評価値は、候補範囲に対する評価値である。ステップS73で計算された各特定領域の評価値Pn(x,y)の合計である評価関数P(x,y)が計算される(ステップS74)。すなわち、ステップS73およびステップS74において、数式(4)で表わされる候補範囲に対する評価関数P(x,y)が計算される。
【0108】
次に、評価関数P(x,y)について、最適化が終了しているか否かが判断され(ステップS75)、最適化が終了していると判断された場合は、ステップS77に進み、最適化が終了していないと判断された場合は、候補範囲の重心(x,y)が変更されて(ステップS76)、ステップS73に戻る。ここで、最適化とは、評価関数P(x,y)の値を最大とする候補範囲の重心(x,y)を求めることである。
【0109】
なお、評価関数P(x,y)は、数式(4)で表わされるものには限定されず、特定領域に対する画像範囲の相対位置によって表わされる数式であれば、他の数式、たとえば、数式(5)を用いることができる。
【0110】
最後に、ステップS73〜S76で最適化された点(x,y)を重心とする候補範囲が切出範囲に決定される(ステップS77)。
【0111】
図18で説明した切出範囲決定処理においては、特定領域に対する画像範囲の相対位置が所定の条件を満たすような候補範囲を切出範囲に決定するようにしたが、特定領域に対する画像範囲の相対位置および特定領域の属性により定まる評価関数P’(x,y)を最適化するような点(x,y)を重心とする候補範囲を切出範囲に決定するようにしてもよい。評価関数P’(x,y)は、たとえば、数式(6)を用いることができる。
【0112】
ここで、Knは、その特定領域の属性に応じた係数である。たとえば、特定領域が文字領域の場合は、Kn=1.0であり、同様に、特定領域が図形領域、写真領域、罫線領域、および、余白領域の場合は、それぞれ、Kn=0.8,Kn=0.8,Kn=0.6,Kn=0である。
【0113】
また、特定領域に対する画像範囲の相対位置、および、特定領域の大きさにより定まる評価関数を最適化するような点を重心とする候補範囲を切出範囲に決定するようにしてもよいし、特定領域に対する画像範囲の相対位置、特定領域の属性、および、特定領域の大きさにより定まる評価関数を最適化するような点を重心とする候補範囲を切出範囲に決定するようにしてもよい。
【0114】
さらに、数式(4)、数式(5)あるいは数式(6)で計算される評価値Pあるいは評価値P’は、切出範囲の重心G(x,y)が各特定領域の重心Gn(an,bn)に対して最も良い位置にあるときに、最も大きい値になるが、逆に、切出範囲の重心G(x,y)が各特定領域の重心Gn(an,bn)に対して最も良い位置にあるときに、最も値が小さくなる評価関数を用いるようにしてもよい。
【0115】
図19は、第2の実施の形態における画像処理装置100Aで行なわれる画像処理を説明するための第1の図である。図19(A)は、原稿501を示す図である。図19(A)を参照して、原稿501は、左上に文字情報を含む。そして、原稿501が画像入力装置200で画像情報として取込まれ、画像処理装置100Aに入力される。このときに、原稿501が傾いた状態で取込まれる場合について説明する。
【0116】
図19(B)は、回転前の画像情報502を示す図である。図19(B)を参照して、画像処理装置100Aに入力される回転前の画像情報502は、文字情報を含む。そして、回転前の画像情報502から特定領域が抽出され、画像情報の傾きが検出される。ここでは、特定領域抽出処理で、文字領域が特定領域として抽出される。
【0117】
図19(C)は、回転後の画像情報503を示す図である。図19(C)を参照して、回転後の特定領域に対する相対位置に応じて、回転前の画像情報502と方向および大きさが同じ複数の候補範囲に評価値が付与され、評価値を付与された複数の候補領域のうち、評価値が最も良くなる候補範囲504が切出範囲に決定される。ここでは、図19で説明した数式(4)で示される評価関数P(x,y)を最適化する点(x,y)を重心とする候補範囲504が切出範囲に決定される。このように、特定領域が1つである場合は、特定領域の重心が重心となる候補範囲が切出範囲に決定される。
【0118】
図19(D)は、切出画像情報504を示す図である。図19(D)を参照して、図19(C)で決定された切出範囲が切出画像情報504として切出される。
【0119】
図20は、第2の実施の形態における画像処理装置100Aで行なわれる画像処理を説明するための第2の図である。図20(A)は、原稿501を示す図である。図20(A)を参照して、原稿501は、罫線情報と、文字情報と、図形情報とを含む。そして、原稿501が画像入力装置200で画像情報として取込まれ、画像処理装置100Aに入力される。このときに、原稿501が傾いた状態で取込まれる場合について説明する。
【0120】
図20(B)は、回転前の画像情報502を示す図である。図20(B)を参照して、画像処理装置100Aに入力される回転前の画像情報502は、罫線情報と、文字情報と、図形情報とを含む。そして、回転前の画像情報502から特定領域が抽出され、画像情報の傾きが検出される。ここでは、特定領域抽出処理で、罫線領域と、文字領域と、図形領域とが特定領域として抽出される。
【0121】
図20(C)は、回転後の画像情報503を示す図である。図20(C)を参照して、回転後の特定領域に対する相対位置に応じて、回転前の画像情報502と方向および大きさが同じ複数の候補範囲に評価値が付与され、評価値を付与された複数の候補領域のうち、評価値が最も良くなる候補範囲504が切出し範囲に決定される。ここでは、図19で説明した数式(6)で示される評価関数P’(x,y)を最適化する点GB(xB,yB)を重心とする候補範囲504が切出範囲に決定される。つまり、候補範囲504の重心GB(xB,yB)に対する評価値PB(xB,yB)は、他の候補範囲502の重心GA(xA,yA)に対する評価値PA(xA,yA)と比較して、最も高い値となる。他の候補範囲502では、文字領域と図形領域との一部がはみ出す。一方、候補範囲504では、罫線領域の一部ははみ出すが、文字領域と図形領域ははみ出さない。このため、候補範囲504が切出範囲に決定されることにより、文字情報および図形情報などの重要な情報が切出範囲から失われるのを防止することができる。
【0122】
図20(D)は、切出画像情報504を示す図である。図20(D)を参照して、図20(C)で決定された切出範囲が切出し画像情報504として切出される。
【0123】
以上説明したように、第2の実施の形態における画像処理装置100Aにおいては、回転された後の画像情報から特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に評価値(得点)が付与され、評価値(得点)を付与された複数の候補範囲のうち、評価値(得点)が最も良くなる候補範囲が切出されるので、回転補正後の画像情報から重要な情報が失われるのを防止することができる。また、回転補正後の画像情報に含まれる情報の配置を最適化することができる。その結果、特定領域が1つである場合は、特定領域は切出範囲の中心に配置される。また、特定領域が複数ある場合は、切出範囲に対する複数の特定領域の相対位置が最も良くなる切出範囲で切出される。
【0124】
なお、第2の実施の形態においては、画像処理装置100Aで行なわれる処理について説明したが、図3に示した処理のステップS16で図18に示した切出範囲決定処理を行なうようにした処理を実行する画像処理方法、図3に示した処理のステップS16で図18に示した切出範囲決定処理を行なうようにした処理をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体として発明を捉えることができる。
【0125】
【数3】
【0126】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および、範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】本発明の実施の形態の1つにおける画像処理システムの構成の一例を示す図である。
【図2】第1の実施の形態における画像処理装置の機能を示す機能ブロック図である。
【図3】第1の実施の形態における画像処理装置で行なわれる画像処理の流れを示すフローチャートである。
【図4】第1の実施の形態における画像処理装置で行なわれる下地色除去処理を説明するための濃度ヒストグラムである。
【図5】第1の実施の形態における画像処理装置で行なわれる領域抽出処理の流れを示すフローチャートである。
【図6】第1の実施の形態における画像処理装置で行なわれる領域抽出処理において画像情報を複数の領域に分割する一例を示す図である。
【図7】第1の実施の形態における画像処理装置で特定領域を抽出するための条件を設定する設定画面の一例を示す図である。
【図8】第1の実施の形態における画像処理装置で行なわれる画像傾き検出処理の流れを示すフローチャートである。
【図9】2値画像からエッジ成分を多く含む傾き検出領域を検出する処理の一例を示す図である。
【図10】検出角度方向の各ラインに対する値が1の画素の数を示す累積ヒストグラムである。
【図11】第1の実施の形態における画像処理装置で行なわれる切出範囲決定処理の流れを示すフローチャートである。
【図12】第1の実施の形態における画像処理装置で行なわれる画像処理を説明するための図である。
【図13】第1の実施の形態の変形例における画像処理装置で行なわれる特定領域抽出処理を説明するための図である。
【図14】画像情報に対する候補領域の相対位置を示す図である。
【図15】第1の実施の形態の変形例における画像処理装置で行なわれる画像処理を説明するための図である。
【図16】第2の実施の形態における画像処理装置の機能を示す機能ブロック図である。
【図17】候補範囲に対する特定領域の相対位置を示す図である。
【図18】第2の実施の形態における画像処理装置で行なわれる切出範囲決定処理の流れを示すフローチャートである。
【図19】第2の実施の形態における画像処理装置で行なわれる画像処理を説明するための第1の図である。
【図20】第2の実施の形態における画像処理装置で行なわれる画像処理を説明するための第2の図である。
【図21】従来の技術における画像処理装置で行なわれる画像処理を説明するための図である。
【符号の説明】
100 画像処理装置、111 画像サイズ縮小部、112 下地色除去部、113 領域分離部、114 特定領域抽出部、115 画像傾き検出部、116,116A 切出範囲決定部、118 画像回転部、119 画像切出部、200 画像入力装置、300 外部記憶装置、400 画像出力装置、501 原稿、502 回転前の画像情報、503 回転後の画像情報、504 切出画像情報、505 候補範囲、511 文字領域、512 図形領域、513 罫線領域。
Claims (5)
- 入力された画像情報から特定領域を抽出する抽出手段と、
前記画像情報の傾きを検出する傾き検出手段と、
前記検出された傾きに応じた回転角で前記画像情報を回転させる画像回転手段と、
前記画像回転手段により前記画像情報が回転された場合に、回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出手段と、
前記はみ出し検出手段により回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出すことが検出された場合、回転後の前記画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定手段と、
前記画像回転手段により回転された後の前記画像情報から、前記決定された切出範囲を切出す画像切出手段とを備えた、画像処理装置。 - 前記切出範囲決定手段は、前記はみ出し検出手段により回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出さないことが検出された場合、回転前の前記画像情報の画像範囲を切出範囲に決定する、請求項1に記載の画像処理装置。
- 前記特定領域は、余白領域以外の情報を含む領域、あるいは、前記画像情報から重要でない情報を含む領域を除いた領域である、請求項1に記載の画像処理装置。
- 前記抽出手段は、
前記入力された画像情報から、前記特定領域の候補となる複数の候補領域を抽出する第1抽出手段と、
前記複数の候補領域のうち、前記画像情報の画像範囲に対する前記複数の候補領域それぞれの相対位置、あるいは、前記複数の候補領域それぞれの属性に応じた候補領域を前記特定領域として抽出する第2抽出手段とを含む、請求項1に記載の画像処理装置。 - 入力された画像情報から特定領域を抽出する抽出手段と、
前記画像情報の傾きを検出する傾き検出手段と、
前記検出された傾きに応じた回転角で前記画像情報を回転させる画像回転手段と、
前記画像回転手段により回転された後の前記画像情報に含まれる特定領域に対する相対位置に応じて、前記画像回転手段により回転される前の前記画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与する得点付与手段と、
前記得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する切出範囲決定手段と、
前記画像回転手段により回転された後の前記画像情報から、前記決定された切出範囲を切出す画像切出手段とを備えた、画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204557A JP2004046632A (ja) | 2002-07-12 | 2002-07-12 | 画像処理装置 |
US10/614,511 US7437017B2 (en) | 2002-07-12 | 2003-07-08 | Image processing method |
US12/230,521 US7738734B2 (en) | 2002-07-12 | 2008-08-29 | Image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204557A JP2004046632A (ja) | 2002-07-12 | 2002-07-12 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004046632A true JP2004046632A (ja) | 2004-02-12 |
Family
ID=31710125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002204557A Pending JP2004046632A (ja) | 2002-07-12 | 2002-07-12 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7437017B2 (ja) |
JP (1) | JP2004046632A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008236221A (ja) * | 2007-03-19 | 2008-10-02 | Canon Inc | 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム |
JP2009038646A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | 画像処理装置及び方法、並びにプログラム |
JP2010004151A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像形成装置、画像形成方法および画像形成プログラム |
WO2017056799A1 (ja) * | 2015-09-29 | 2017-04-06 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置及び画像形成装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004260472A (ja) * | 2003-02-25 | 2004-09-16 | Toshiba Tec Corp | 画像形成装置及びその方法 |
US7376262B2 (en) * | 2003-08-04 | 2008-05-20 | American Gnc Corporation | Method of three dimensional positioning using feature matching |
JP4227500B2 (ja) * | 2003-11-21 | 2009-02-18 | キヤノン株式会社 | 履歴管理システム、履歴管理方法、プログラム及び記録媒体 |
WO2005057910A1 (ja) * | 2003-12-12 | 2005-06-23 | Fujitsu Limited | カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法 |
JP4646797B2 (ja) * | 2005-02-01 | 2011-03-09 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
US20060203288A1 (en) * | 2005-03-11 | 2006-09-14 | Xerox Corporation | Registration of two-sided printing systems and methods |
KR101336475B1 (ko) | 2005-09-26 | 2013-12-04 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치 및 동화상 복호 장치 |
US20070253040A1 (en) * | 2006-04-28 | 2007-11-01 | Eastman Kodak Company | Color scanning to enhance bitonal image |
JP2008011497A (ja) * | 2006-06-01 | 2008-01-17 | Canon Inc | カメラ装置 |
US20090021533A1 (en) * | 2007-07-17 | 2009-01-22 | Michael Guerzhoy | Method For Extracting An Inexact Rectangular Region Into An Axis-Aligned Rectangle Image |
JP5049921B2 (ja) * | 2008-08-26 | 2012-10-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5881356B2 (ja) * | 2011-09-27 | 2016-03-09 | オリンパス株式会社 | 顕微鏡システム |
JP5974589B2 (ja) * | 2012-03-30 | 2016-08-23 | ブラザー工業株式会社 | 画像処理装置およびプログラム |
JP6448342B2 (ja) * | 2014-12-12 | 2019-01-09 | 株式会社Adeka | 共重合体及びそれを用いた水性塗料組成物 |
JP6746928B2 (ja) * | 2016-01-29 | 2020-08-26 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2952075A (en) * | 1958-12-03 | 1960-09-13 | Autometric Corp | Target detection system |
JPS619762A (ja) * | 1984-06-25 | 1986-01-17 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | イメ−ジ処理装置 |
JPH0638662B2 (ja) * | 1986-02-05 | 1994-05-18 | 富士写真フイルム株式会社 | カラ−イメ−ジセンサ− |
US5335093A (en) * | 1991-04-01 | 1994-08-02 | Fuji Xerox Co., Ltd. | Film image reading system |
US5430550A (en) * | 1991-06-14 | 1995-07-04 | Minolta Camera Kabushiki Kaisha | Image reading apparatus which corrects for positional and angular deviation between the image sensor and the document |
JPH05292295A (ja) * | 1992-04-14 | 1993-11-05 | Canon Inc | 画像処理方法及びその装置 |
JP3247723B2 (ja) | 1992-05-18 | 2002-01-21 | 株式会社リコー | 画像再配置複写機 |
JPH07200858A (ja) | 1993-12-28 | 1995-08-04 | Ricoh Co Ltd | 画像処理装置 |
JP4114959B2 (ja) * | 1995-06-20 | 2008-07-09 | キヤノン株式会社 | 画像処理方法及び装置 |
US5774579A (en) * | 1995-08-11 | 1998-06-30 | Canon Kabushiki Kaisha | Block selection system in which overlapping blocks are decomposed |
US5825309A (en) * | 1995-08-21 | 1998-10-20 | Olympus Optical Co., Ltd, | Data modulating method and modulating and demodulating apparatuses |
JPH10276316A (ja) * | 1997-03-31 | 1998-10-13 | Minolta Co Ltd | 画像形成装置 |
GB9711022D0 (en) * | 1997-05-28 | 1997-07-23 | Rank Xerox Ltd | Text/image selection from document images |
JP2000036902A (ja) | 1998-07-17 | 2000-02-02 | Canon Inc | 画像処理装置および画像処理装置の画像処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体 |
US6456732B1 (en) * | 1998-09-11 | 2002-09-24 | Hewlett-Packard Company | Automatic rotation, cropping and scaling of images for printing |
JP2000165639A (ja) | 1998-11-24 | 2000-06-16 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
JP2000341501A (ja) | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
JP4545884B2 (ja) * | 1999-07-22 | 2010-09-15 | キヤノン株式会社 | 情報処理装置及びその制御方法、コンピュータ可読メモリ |
JP4146047B2 (ja) | 1999-09-28 | 2008-09-03 | 株式会社東芝 | 画像の傾き検知方法及び文書画像処理装置 |
JP4551018B2 (ja) * | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
-
2002
- 2002-07-12 JP JP2002204557A patent/JP2004046632A/ja active Pending
-
2003
- 2003-07-08 US US10/614,511 patent/US7437017B2/en not_active Expired - Fee Related
-
2008
- 2008-08-29 US US12/230,521 patent/US7738734B2/en not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008236221A (ja) * | 2007-03-19 | 2008-10-02 | Canon Inc | 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム |
US8169646B2 (en) | 2007-03-19 | 2012-05-01 | Canon Kabushiki Kaisha | Image-providing apparatus and control method thereof, printing apparatus and control method thereof, and printing system |
JP2009038646A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | 画像処理装置及び方法、並びにプログラム |
JP2010004151A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像形成装置、画像形成方法および画像形成プログラム |
JP4674617B2 (ja) * | 2008-06-18 | 2011-04-20 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置、画像形成方法および画像形成プログラム |
US8264738B2 (en) | 2008-06-18 | 2012-09-11 | Konica Minolta Business Technologies, Inc. | Image forming apparatus, image forming method, and computer-readable storage medium for image forming program |
WO2017056799A1 (ja) * | 2015-09-29 | 2017-04-06 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置及び画像形成装置 |
JPWO2017056799A1 (ja) * | 2015-09-29 | 2018-06-07 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置及び画像形成装置 |
Also Published As
Publication number | Publication date |
---|---|
US7437017B2 (en) | 2008-10-14 |
US20090010541A1 (en) | 2009-01-08 |
US20040066969A1 (en) | 2004-04-08 |
US7738734B2 (en) | 2010-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7738734B2 (en) | Image processing method | |
JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
US7454060B2 (en) | Image processor for character recognition | |
JP4482778B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
US20060227384A1 (en) | Image processing apparatus and image processing program | |
JP2008099149A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4730775B2 (ja) | 画像処理装置 | |
JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
JP5178490B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2010074342A (ja) | 画像処理装置、画像形成装置、及びプログラム | |
JP3820751B2 (ja) | 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体 | |
JP4420440B2 (ja) | 画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体 | |
JP2005275854A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
US8351102B2 (en) | Image-processing device, image-reading device, image-forming device, image-processing program, and image-processing method | |
JP4040905B2 (ja) | 縮小画像表示装置、方法、プログラムおよびプログラムを記録した記録媒体 | |
JP2005051383A (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP2002109470A (ja) | 画像認識装置、画像認識方法、および、画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体 | |
JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
JP2004080341A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP4162195B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP3763954B2 (ja) | 文字認識用の学習データ作成方法および記録媒体 | |
JP2006072839A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体 | |
JPH10232926A (ja) | 画像処理装置及びその方法 | |
JP4738645B2 (ja) | 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体 | |
JP2003317107A (ja) | 罫線抽出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040927 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071106 |