JP2010232795A - 階調数低減装置、階調数低減方法 - Google Patents

階調数低減装置、階調数低減方法 Download PDF

Info

Publication number
JP2010232795A
JP2010232795A JP2009075934A JP2009075934A JP2010232795A JP 2010232795 A JP2010232795 A JP 2010232795A JP 2009075934 A JP2009075934 A JP 2009075934A JP 2009075934 A JP2009075934 A JP 2009075934A JP 2010232795 A JP2010232795 A JP 2010232795A
Authority
JP
Japan
Prior art keywords
attribute
value
evaluation
character
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009075934A
Other languages
English (en)
Inventor
Taira Obara
平 小原
Yasuyuki Harada
泰行 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009075934A priority Critical patent/JP2010232795A/ja
Publication of JP2010232795A publication Critical patent/JP2010232795A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 背景のある文字領域や極めて大きな文字等といった条件下で、正確に文字領域を判定することができなかった。
【解決手段】 矩形領域の検出(S1)にて画像データの中で文字を含む矩形領域を検出したら、ピーク評価(S2)にてヒストグラムを作成しつつピーク形状に基づく評価をする。ヒストグラムのピーク評価(S2)にてヒストグラムのピーク評価を行ったら、画素情報評価(S3)にて画素がエッジか、平面か、網点かに基づく評価を行う。画素情報評価(S3)にて画素の情報の評価を行ったら、ヒストグラムの代表値評価(S4)にてヒストグラムに基づく統計値を利用して所定の代表値を算出する。ヒストグラムの代表値評価(S4)にて代表値の評価を終了したら、属性判定(S5)では各評価に基づいて矩形領域の属性を判定する。属性判定(S5)で属性を求めたら、二値化(S6)にて同属性に対応する手法で閾値を求めつつ二値化処理を行う。
【選択図】 図1

Description

本発明は、階調数低減装置、階調数低減方法に関する。
特許文献1に開示される従来技術では、読み取り画像の非背景領域を文字領域と絵柄領域に分離する方法として本特許文献に開示される技術が知られている。本技術においては、背景領域と非背景領域に分離し、文字間スペースが網点パターンの間隔に比べて広くなっていることと、エッジ情報を併用することにより、文字領域と絵柄領域に識別している。
特開2005−159576
上述した特許文献1の技術においては、背景のある文字領域や極めて大きな文字等といった条件では、正確に文字領域と判定をすることができないという課題があった。
本発明の目的は、背景のある文字領域や極めて大きな文字等といった条件下でも、正確に文字領域を判定することにある。
上記課題を解決するため、本発明においては、上記画像データにおける所定の領域を処理対象として設定する処理対象設定手段と、上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求めるピーク評価手段と、求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定する属性判定手段と、判定された属性に対応づけられた手法で上記画像データの階調数を減らす階調変換手段とを具備する構成としてある。
上記のように構成した本発明においては、処理対象設定手段が上記画像データにおける所定の領域を処理対象として設定すると、ピーク評価手段は上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求める。そして、属性判定手段は求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定し、階調変換手段は判定された属性に対応づけられた手法で上記画像データの階調数を減らす。
本発明の他の態様においては、上記ピーク評価手段は、上記ピーク形状の分布状況として最高ピークの度数を求める。
上記属性判定手段は、上記最高ピークの度数が高い場合は文字属性と判定し、低い場合は上記領域に絵柄が含まれる絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、ピーク評価手段は、上記ピーク形状の分布状況として最高ピークの度数を求め、上記属性判定手段は上記最高ピークの度数が高い場合は文字属性と判定し、低い場合は上記領域に絵柄が含まれる絵柄属性と判定する。
本発明の他の態様においては、上記ピーク評価手段は、上記ピーク形状の分布状況としてピーク形状の数を求める。
上記属性判定手段は、上記ピーク形状の数が0または第一の所定値よりも小さい場合には絵柄属性と判定し、上記ピーク形状の数が上記第一の所定値よりも大きく第二の所定値よりも小さい場合には文字属性と判定し、上記ピーク形状の数が上記第二の所定値よりも大きい場合には上記領域に絵柄と文字の画像を含む文字絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記ピーク評価手段が上記ピーク形状の分布状況としてピーク形状の数を求めると、上記属性判定手段は、上記ピーク形状の数が0または第一の所定値よりも小さい場合には絵柄属性と判定し、上記ピーク形状の数が上記第一の所定値よりも大きく第二の所定値よりも小さい場合には文字属性と判定し、上記ピーク形状の数が上記第二の所定値よりも大きい場合には上記領域に絵柄と文字の画像を含む文字絵柄属性と判定する。
本発明の他の態様においては、上記属性判定手段は、上記領域内の画素を対象として、エッジと網点と平面の画素を検出し、検出された画素数と同領域全体の画素数との割合に基づいて、上記属性を判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、まず、上記領域内の画素を対象として、エッジと網点と平面の画素を検出する。次に、検出された画素数と同領域全体の画素数との割合に基づいて、上記属性を判定する。
本発明の他の態様においては、上記属性判定手段は、エッジと平面の割合が高い場合は文字属性と判定し、低い場合は絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、エッジと平面の割合が高い場合は上記領域を文字属性と判定し、低い場合は上記領域を絵柄属性と判定する。
本発明の他の態様においては、上記属性判定手段は、網点の割合が高い場合は絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、網点の割合が高い場合は上記領域を絵柄属性と判定する。
本発明の他の態様においては、上記属性判定手段は、上記領域内の画素の階調値を対象として、所定の統計的演算を行い、得られた統計値を利用して、上記属性を判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、まず、上記領域内の画素の階調値を対象として、所定の統計的演算を行なう。そして、得られた統計値を利用して、上記領域が文字の画像を含む領域か、絵柄の画像を含む領域か、文字と絵柄の画像を含む領域かを判定する。
本発明の他の態様においては、上記属性判定手段は、上記統計値として、平均値を求め、同平均値が高い場合は文字属性と判定し、同平均値が低い場合は絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、上記統計値として、平均値を求め、同平均値が高い場合は文字属性と判定し、同平均値が低い場合は絵柄属性と判定する。
本発明の他の態様においては、上記属性判定手段は、上記統計値として、上記ヒストグラムのレンジと中間値とを求め、上記レンジが広く上記平均値と上記中間値との差が大きい場合には文字属性と判定し、上記平均値と上記中間値との差が小さい場合には絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、上記統計値として、上記ヒストグラムのレンジと中間値とを求め、上記レンジが広く上記平均値と上記中間値との差が大きい場合には文字属性と判定し、上記平均値と上記中間値との差が小さい場合には絵柄属性と判定する。
本発明の他の態様においては、上記属性判定手段は、上記統計値として最頻値を求め、上記平均値より最頻値が大きい場合には文字属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、上記統計値として最頻値を求め、上記平均値より最頻値が大きい場合には文字属性と判定する。
本発明の他の態様においては、上記属性判定手段は、一つの領域について文字属性と絵柄属性と判定する場合、および、一つの領域について文字属性でも絵柄属性でもないと判定する場合、文字絵柄属性と判定する構成としてある。
上記のように構成した本態様においては、上記属性判定手段は、一つの領域について文字属性と絵柄属性と判定する場合、および、一つの領域について文字属性でも絵柄属性でもないと判定する場合、文字絵柄属性と判定する。
本発明の他の態様においては、上記画像データにおける所定の領域を処理対象として設定する処理対象設定工程と、
上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求めるピーク評価工程と、
求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定する属性判定工程と、
判定された属性に対応づけられた手法で上記画像データの階調数を減らす階調変換工程とを具備する構成としてある。
上記のように構成した本態様においては、処理対象設定工程で上記画像データにおける所定の領域を処理対象として設定すると、ピーク評価工程では上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求める。そして、属性判定工程では求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定し、階調変換工程では判定された属性に対応づけられた手法で上記画像データの階調数を減らす。
上記のように構成した本発明によれば、領域に含まれる画像の種類により、階調値ごとの度数分布状況、特にピーク形状の分布状況に特徴が見られ、その分布状況を判定することで領域の属性を判定でき、属性に応じた適切な階調変換を実現できる。
また、含まれる画像に応じて最高ピークの度数が異なる。より具体的には、文字属性の場合は最高ピークの度数は高く、絵柄属性の場合は最高ピークの度数は低くなる傾向がある。このため、請求項2の発明によれば、最高ピークの度数を求めることにより、文字属性か否かを的確に判定することができる。
また、含まれる画像に応じてピーク形状の数が異なる。より具体的には、絵柄属性であるときにピーク形状の数が最も少なく、文字属性であるときにピーク形状の数は増え、文字絵柄属性の場合にはさらに増える。このため、請求項3の発明によれば、ピーク形状の数に基づいて属性を的確に判定することができる。
また、領域が文字の画像を含む領域か、絵柄の画像を含む領域か、文字と絵柄の画像を含む領域かにより、エッジと網点と平面の画素が含まれる割合が異なる。このため、請求項4の発明によれば、所定の領域ごとに、エッジと網点と平面の画素を検出することにより、検出された画素数と同領域全体の画素数との割合に基づいて、上記領域が文字の画像を含む領域か、絵柄の画像を含む領域か、文字と絵柄の画像を含む領域かという属性を判定することができる。
また、文字の画像を含む場合にはエッジと平面の画素が多く含まれ、絵柄の画像を含む場合は減る傾向にある。このため、請求項5の発明によれば、これらの割合に基づいて、文字や絵柄を正確に判定することができる。
また、絵柄の画像を含む場合には網点の画素が多く含まれる傾向にある。このため、請求項6の発明によれば、網点の画素の割合に基づいて、絵柄を正確に判定することができる。
また、文字の画像を含む領域か、絵柄の画像を含む領域か、文字と絵柄の画像を含む領域かにより、含まれる画素の階調値には統計的特徴が表れる。このため、請求項7の発明によれば、領域内の画素の階調値を対象として所定の統計的演算を行なうことにより、得られた統計値を利用して上記領域の属性を判定することができる。
また、領域が文字の画像を含む領域か、絵柄の画像を含む領域かにより、平均値の大きさが異なる。具体的には、文字属性の場合には平均値が高く、絵柄属性の場合には平均値が低くなる傾向にある。このため、請求項8の発明によれば、平均値より属性を正確に判定できる。
また、文字の画像を含む場合は上記レンジが広く上記平均値と上記中間値との差が大きく、絵柄の画像を含む場合は上記平均値と上記中間値との差が小さくなる傾向がある。このため、請求項9の発明によれば、これらを算出することで、属性を正確に判定することができる。
また、文字属性の場合は、平均値より最頻値が大きい傾向があるため、請求項10の発明によれば、平均値と最頻値とから、属性を正確に判定することができる。
また、各種の判定を並行する中で、一つの領域について文字属性と絵柄属性と判定する要素が強くある場合もあるし、逆に、文字属性でも絵柄属性でもないと要素が強くある場合もある。従って、請求項11の発明によれば、このような場合にはいずれか一方と決めつけるのではなく、文字と図柄をともに含むと判定することで、属性を正確に判定することができる。
また、領域に含まれる画像の種類により、階調値ごとの度数分布状況、特にピーク形状の分布状況に特徴が見られ、請求項12の発明によれば、その分布状況を判定することで領域の属性を判定でき、属性に応じた適切な階調変換を実現できる。
ノイズ成分除去処理のフローチャートである。 矩形領域の検出を説明する図である。 256階調のヒストグラムを32階調に変換する説明図である。 32階調のヒストグラムの隣り合う階調の差分を求める説明図である。 差分がプラスの値からマイナスの値に変わる部分をピークの候補とする説明図である。 ピークの候補の尖度を考慮してピークを検出する説明図である。 ピーク評価のフローチャートである。 一文字が一つの矩形領域として検出された場合のヒストグラムとピークの評価値を示す図である。 均一濃度の背景上の文字がまとめて矩形領域として検出された場合のヒストグラムとピークの評価値を示す図である。 絵柄が矩形領域として検出された場合のヒストグラムとピークの評価値を示す図である。 グラフのような文字絵柄の代表サンプルが矩形領域として検出された場合のヒストグラムとピークの評価値を示す図である。 エッジと平面の割合と評価値の算出を説明する図である。 画素情報評価のフローチャートである。 一文字が一つの矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。 均一濃度の背景上の文字がまとめて矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。 絵柄が矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。 グラフのような文字絵柄の代表サンプルが矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。 代表値評価のフローチャートである。 一文字が一つの矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。 均一濃度の背景上の文字がまとめて矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。 絵柄が矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。 グラフのような文字絵柄の代表サンプルが矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。 属性判定のフローチャートである。 画像サンプルと、評価値と、属性判定結果を示す図である。 各画像サンプルの二値化処理後の画像を示す図である。
以下、図面を参照しながら、本発明の実施の形態について、詳細に説明する。
図1は、ノイズ成分除去処理のフローチャートである。
同図は、矩形領域の検出(S1)、ヒストグラムのピーク評価(S2)、画素情報評価(S3)、ヒストグラムの代表値評価(S4)、属性判定(S5)、二値化(S6)の各処理を示している。
次に、これらについて説明する。
矩形領域の検出(S1)は、画像データの中で文字や絵柄が含まれている領域を検出する処理である。ヒストグラムのピーク評価(S2)は、矩形領域内の画素についてその階調値のヒストグラムを作成し、表れるピークについての評価値を算出する処理である。画素情報評価(S3)は、矩形領域内のエッジ、網点、平面画素を検出し、それぞれの画素数が全画素数に占める割合を求める処理である。
ヒストグラムの代表値評価(S4)は、矩形領域に含まれる画素についての階調値のヒストグラムを利用し、統計処理を行った所定の統計値を求め、さらに同統計値を利用して代表値を算出する処理である。属性判定(S5)は、各評価の結果を利用して矩形領域の属性(文字、絵柄、文字絵柄)を判定する処理である。二値化(S6)は、矩形領域の属性に応じた手法で二値化の閾値を算出し、同閾値を利用して画像データを二値化する処理である。
次に、これらの関係について説明する。
矩形領域の検出(S1)にて画像データの中で文字を含む矩形領域を検出したら、ピーク評価(S2)にてヒストグラムを作成しつつピーク形状に基づく評価をする。ヒストグラムのピーク評価(S2)にてヒストグラムのピーク評価を行ったら、画素情報評価(S3)にて画素がエッジか、平面か、網点かに基づく評価を行う。画素情報評価(S3)にて画素の情報の評価を行ったら、ヒストグラムの代表値評価(S4)にてヒストグラムに基づく統計値を利用して所定の代表値を算出する。ヒストグラムの代表値評価(S4)にて代表値の評価を終了したら、属性判定(S5)では各評価に基づいて矩形領域の属性を判定する。属性判定(S5)で属性を求めたら、二値化(S6)にて同属性に対応する手法で閾値を求めつつ二値化処理を行う。
本実施例の原理は、入力画像の文字や絵柄部分を矩形領域として検出し、検出した矩形領域内の輝度分布の最高ピークの度数、ピーク数、代表値、及び矩形領域内のエッジ、網点、平面画素の割合等の複数の情報から、矩形領域の属性(文字・文字絵柄・絵柄)を判定する。図1に示すフローチャートに従って処理を進めることにより、かかる原理に則って二値化を行うことができる。
なお、本発明は、文字認識のための前処理という位置づけにある。例えば、文字を印刷した書類などをスキャナーなどで多値画像で読み込んだり、風景の中に文字が含まれる写真の画像データなどを処理対象とする。入力が直にスキャナーやデジタルスチルカメラなどである必要はなく、他の機器で取得された画像データを通信によって取得する場合でも全く同様である。文字認識には、いわゆる文字だけでなく、記号等の認識も当然に含まれる。
このような文字認識では処理対象とする画像データが文字部分と背景とに明確に分離されているほど認識効率が良いため、文字以外の成分をノイズ成分として除去する本発明の階調低減処理(二値化処理)が利用される。
以下、各処理の詳細について説明する。
図2は、矩形領域の検出(S1)を説明する図であり、矩形領域の検出を行った場合の模式図を示している。
同図は上下二段に図を並べており、上段には左右に図を二つ並べて示している。上段左方が多値の入力画像のイメージを示しており、まず、一定の閾値で単純二値化する。二値化後のイメージを上段右方に示している。さらに、この二値化後の画像データを処理対象として輪郭追跡し、概説矩形を取得すると、下段に示すイメージの矩形領域を設定できる。
矩形領域の検出(S1)としては、ある一定の閾値で二値化した画像またはエッジ画像(エッジとそれ以外の画素とを二値で示した画像)についてラベリングまたは輪郭追跡を行うことにより検出された領域の外接矩形を設定する方法が知られている。
ここでの二値化の閾値については、画像全体のヒストグラムのピークを背景領域の濃度分布と考え、そのピークに一番近い谷を領域分離の二値化閾値として用いている。また、先にエッジ画素を検出してその結果をエッジ画像とし、このエッジ画像について輪郭追跡を行なって外接矩形領域を検出して各矩形領域を設定することもできる。
次に、ヒストグラムのピーク評価(S2)を説明する。このヒストグラムのピーク評価は、ピークの検出、およびピークの評価という二段階の処理で行う。
・ピークの検出方法
まず、矩形領域内のヒストグラムからピークを検出する。ピーク検出は、同様の目的の処理が多く存在しているが、本実施例では以下の方法を用いている。
I 矩形領域内のヒストグラムを32階調で作成する。ここで、ヒストグラムを32階調とする目的は256階調でヒストグラムを作成した場合に発生するイレギュラーな階調の影響を軽減するためである。
図3は、256階調のヒストグラムを32階調に変換する説明図である。
本図は、上段と下段とに別れており、上段の図は256階調のそれぞれについての度数を求めたヒストグラムであり、下段の図は32階調に階調数を落として度数を求めたヒストグラムである。
同図に示すように、元の階調数のままでヒストグラムを作成すると、大きなピークが二つあるだけでなく、それぞれの山の斜面には細かなピークが多数存在する。このため、このままではピークの数を正確に判定できない。
しかし、下段に示すように階調数を落とすことで、山の斜面に生じていた細かなピークは解消され、大きな二つの山を判定しやすくなる。
II I で作成した32階調のヒストグラムの隣り合う階調の度数の差分を求める。
図4は、32階調のヒストグラムの隣り合う階調の差分を求める説明図である。
本図は、上段と下段とに別れており、上段には32階調としたヒストグラムを示しており、下段には隣り合う階調の度数の差分を求めて図示している。
同図に示すように、ピークを境にして左の斜面では差分がプラスであったものが、右の斜面では差分がマイナスとなっている。
III IIで求めた隣り合う階調での差分を階調の低い側から走査し、差分がプラスの値からマイナスの値に変わる部分を検索し、ピークの候補とする。
図5は、差分がプラスの値からマイナスの値に変わる部分をピークの候補とする説明図である。
本図は、上段と下段とに別れており、上段に32階調としたときの隣り合う階調での度数の差分を示しており、下段にヒストグラムを示している。
同図に示すように、差分の極性が変化する点がピークに該当しているので、この極性の変化点をピークの候補とする。
IV III で求めたピークの候補のそれぞれについて、尖度(とがり具合)を考慮してピークを検出する。
ここで尖度を考慮したピークの判定のための演算式を示す。
階調xをピーク候補とした場合、fmax:最頻値、Sfmax:基準最頻値、Sheight:基準高さ、とすると、
f(x-2)≦ f(x)×a、かつ f(x+2) ≦ f(x)×a
となる条件を満足する場合において、さらに、
f(x)-{ f(x-2) + f(x+2) }/2 ≧ (fmax/Sfmax)×Sheight
が成立するか否かを判定する。そして、成立する場合に、ピーク候補f(x)をピークとして見なす。
図6は、このようにしてピークの候補の尖度を考慮してピークを検出する説明図である。
次に、ピークの評価について説明する。
ピーク評価では、ピーク検出にて検出されたピーク数と、最高ピークの度数について評価を行う。
具体的には、以下のような条件を用いて「評価値:Ev」を増減させる。
・ピーク数
ピーク数=0 ならば、評価値:Ev−3
ピーク数=1〜3 ならば、評価値:Ev+1
ピーク数≧4 ならば矩形領域の属性は「文字絵柄」(※この条件に当てはまる場合は以降の評価は行わない。)
・最高ピークの度数
最高ピークの度数<2.5[%] ならば、評価値:Ev−5
最高ピークの度数<4.0[%] ならば、評価値:Ev−1
最高ピークの度数≧4.0[%] ならば、評価値:Ev+5
図2は、このような条件と評価値の算出をフローチャート化している。
なお、ピーク数の閾値、最高ピークの度数の閾値となるパーセンテージ、及びEvの増減幅は、経験的に定めた値である。従って、これらの値に限定されるのではなく、実際の環境下において最適となるような任意の数値を用いて良い。
図7は、以上の判定を実現するためのピーク評価のフローチャートである。
同図は、Ev=0(S21)、ピーク数(S22)、Ev−3(S23)、Ev+1(S24)、文字絵柄判定で二値化処理へ(S25)、最高ピーク度数(S26)、Ev−5(S27)、Ev−1(S28)、Ev+5(S29)、画素情報評価へ(S30)の各処理を示している。
次に、これらについて説明する。
ピーク評価は、矩形領域内の画素についてその階調値のヒストグラムを作成し、表れるピークについての評価値を算出する(S2)処理である。Ev=0(S21)は、評価値Evの初期値として「0」を設定する処理である。ピーク数(S22)は、ピーク数に基づいて処理を分岐させる処理である。Ev−3(S23)は、評価値Evを「3」減らす処理である。Ev+1(S24)は、評価値Evを「1」増やす処理である。
文字絵柄判定で二値化処理へ(S25)は、ピーク評価を終了して処理を二値化へ進める処理である。最高ピーク度数(S26)は、最高ピーク度数に基づいて処理を分岐させる処理である。Ev−5(S27)は、評価値Evを「5」減らす処理である。Ev−1(S28)は、評価値Evを「1」減らす処理である。Ev+5(S29)は、評価値Evを「5」増やす処理である。画素情報評価へ(S30)は、ピーク評価を終了して処理を画素情報評価へ進める処理である。
次に、これらの関係について説明する。
Ev=0(S21)にて評価値の初期値「0」を設定したら、ピーク数(S22)ではピーク数に基づいて処理を分岐する。ピーク数(S22)にてピーク数が「0」と判定されたら、Ev−3(S23)では評価値を文字通り「3」減らす。ピーク数(S22)にてピーク数が「1〜3」と判定されたら、Ev+1(S24)では評価値を文字通り「1」増やす。ピーク数(S22)にてピーク数が「4以上」と判定されたら、属性を文字絵柄と判定し、二値化処理へ進む(S25)。Ev−3(S23)の処理を終えたら、最高ピーク度数(S26)に基づく分岐処理へと進む。
Ev+1(S24)の処理を終えたら、最高ピーク度数(S26)に基づく分岐処理へと進む。最高ピーク度数(S26)にて最高ピーク度数が「2.5%未満」と判定されたら、Ev−5(S27)では評価値を文字通り「5」減らす。最高ピーク度数(S26)にて最高ピーク度数が「2.5〜4.0%未満」と判定されたら、Ev−1(S28)では評価値を文字通り「1」減らす。最高ピーク度数(S26)にて最高ピーク度数が「4.0%以上」と判定されたら、Ev+5(S29)では評価値を文字通り「5」増やす。Ev−5(S27)処理、Ev−1(S28)処理、Ev+5(S29)処理を終えたら、ピーク評価を終了して画素情報評価へ(S30)処理を進める。
本発明の各評価については、「評価値:Ev(初期値=0)」の値をいつくかの条件に沿って増減させていき、最終的に「Evの値が高ければ文字属性」、「Evの値が低ければ絵柄属性」、「Evの値がその中間ならば文字絵柄属性」という方法により行う。従って、評価値を下げる処理は絵柄属性の特徴が見られ、絵柄属性を強めることに他ならない。また、評価値を上げる処理は文字属性の特徴が見られ、文字属性を強めることに他ならない。
画像サンプルを用いたピーク評価結果について
以下に、実際の画像では評価値がどのように増減しているかを例に挙げる。
なお、画像A、Bは文字属性、Cは絵柄属性、Dは文字絵柄属性の代表サンプルとなっている。ちなみに、Aは1文字がひとつの矩形領域として取られた場合、Bは均一濃度の背景上の文字がまとめて矩形領域と取られた場合のサンプルである。
図8〜図11は左右二列に図を示しており、さらに左列は上下二段に図を示している。左列上段は画像サンプルを示しており、左列下段にはピーク数と最高ピーク度数をリスト表示している。右列には上方にヒストグラムを示しており、下方にピーク数と最高ピークの度数と最終的な評価値を示している。
図8の画像サンプルは1文字がひとつの矩形領域として検出された場合であり、図3〜図6に示す手順で求められたピーク数は、ヒストグラムからも明らかなように、「2」である。また、最高ピークの度数は、現実のヒストグラムから「5.5%」と算出されている。
これらの結果を図7に示すピーク評価に当てはめると、ピーク数は「2」であるから処理(S22)の判断により処理(S24)にてEv+1となり、最高ピーク度数が「5.5%」であるから処理(S26)の判断により処理(S29)にてEv+5となり、最終的に評価値Evは「6」と評価される。
図9の画像サンプルは均一濃度の背景上の文字がまとめて一つの矩形領域として検出された場合であり、図3〜図6に示す手順で求められたピーク数は「1」である。また、最高ピークの度数は、現実のヒストグラムから「11.8%」と算出されている。
これらの結果を図7に示すピーク評価に当てはめると、ピーク数は「1」であるから処理(S22)の判断により処理(S24)にてEv+1となり、最高ピーク度数が「11.8%」であるから処理(S26)の判断により処理(S29)にてEv+5となり、最終的に評価値Evは「6」と評価される。
図10の画像サンプルは絵柄が一つの矩形領域として検出された場合であり、図3〜図6に示す手順で求められたピーク数は「0」である。また、最高ピークの度数は、現実のヒストグラムから「2.07%」と算出されている。
これらの結果を図7に示すピーク評価に当てはめると、ピーク数は「0」であるから処理(S22)の判断により処理(S23)にてEv−3となり、最高ピーク度数が「2.07%」であるから処理(26)の判断により処理(S27)にてEv−5となり、最終的に評価値Evは「−9」と評価される。
図11の画像サンプルは文字絵柄属性の画像が矩形領域として検出された場合であり、図3〜図6に示す手順で求められたピーク数は「5」である。また、最高ピークの度数は、現実のヒストグラムから「4.29%」と算出されている。
これらの結果を図7に示すピーク評価に当てはめると、ピーク数は「5」であるから処理(S22)の判断により処理(S25)にて文字絵柄判定とされ、二値化処理へ進む。そして、以降の評価は行わない。
次に、画素情報評価(S3)について説明する。
矩形領域内のエッジ・網点・平面画素それぞれを検出する。同様の目的の処理が多く存在しているため、方法を限定する必要は無いが、本実施例では以下の方法を用いている。すなわち、注目画素を中心とする周辺の数画素分の正方形の領域内の画素の階調値について分散値を求め、この分散値と、所定の閾値および網点閾値との大小関係を判定する。なお、「それ以外」とあるのは、「それ以外でさらに以下の条件を満足するとき」という意味である。
具体的な検出条件は以下のようにしている。
−−ここから−−
・注目画素の周辺7×7の分散値<網点閾値 のとき
注目画素=平面画素とする
・エッジ閾値≦注目画素の周辺7×7の分散値 のとき
注目画素=エッジ画素とする
・それ以外
・・注目画素の周辺5×5の分散値<網点閾値 のとき
注目画素=平面画素とする
・・エッジ閾値≦注目画素の周辺5×5の分散値 のとき
注目画素=エッジ画素とする
・・それ以外
・・・注目画素の周辺3×3の分散値<網点閾値 のとき
注目画素=平面画素とする
・・・エッジ閾値≦注目画素の周辺3×3の分散値 のとき
注目画素=エッジ画素とする
・・・それ以外
注目画素=網点画素とする
−−ここまで−−
なお、エッジ閾値、網点閾値は経験的に決めた値である。従って、これらの値に限定されるのではなく、実際の環境下において最適となるような任意の数値を用いて良い。ただし、大小関係は、網点閾値<エッジ閾値 を満たす必要がある。
次に、上の説明の方法あるいは、同様の他の任意の方法で検出されたエッジ・網点・平面画素が全画素数に占める割合を利用して、図12に示す表のいずれの条件に該当するかを判定することで評価を行ない、引き続き「評価値:Ev」の値を増減させる。
まず、エッジ画素と平面画素と判定される画素数の割合に基づいて判定および評価値の算出を行う。
平面の割合が低(50%未満)の場合で、エッジの割合が5%未満ならEv−1、エッジの割合が5〜10%未満ならEv+1、エッジの割合が10%以上ならEv+3とする。
平面の割合が中(50〜80%未満)の場合で、エッジの割合が5%未満ならEv±0、エッジの割合が5〜10%未満ならEv+2、エッジの割合が10%以上ならEv+5とする。
平面の割合が高(80%以上)の場合で、エッジの割合が5%未満ならEv+1、エッジの割合が5〜10%未満ならEv+3、エッジの割合が10%以上ならEv+7とする。
また、網点の割合については、
網点の割合がほぼなし(10%未満)ならば、Ev±0とする。
網点の割合が低(10〜30%未満)ならば、Ev−1とする。
網点の割合が中(30〜50%未満)ならば、Ev−2とする。
網点の割合が高(50%以上)ならば、Ev−3とする。
なお、エッジ・網点・平面の割合量を既定するパーセンテージ(低・中・高)、Evの増減幅は経験的に定めた値である。従って、これらの値に限定されるのではなく、実際の環境下において最適となるような任意の数値を用いて良い。また、ここではエッジ画素と平面画素の割合評価は3段階(9パターン)、網点の割合評価は4段階にしているが、さらに細かく段階を分けて評価を行っても良い。
図13は、先の説明で示したエッジの割合と、平面の割合に基づく、評価値Evの算出、および網点の割合に基づく評価値の算出をフローチャート化して示している。
同図は、エッジの割合(S41)、平面の割合(S42)、Ev−1(S43)、Ev±0(S44)、Ev+1(S45)、平面の割合(S46)、Ev+1(S47)、Ev+2(S48)、Ev+3(S49)、平面の割合(S50)、Ev+3(S51)、Ev+5(S52)、Ev+7(S53)、網点の割合(S54)、Ev±0(S55)、Ev−1(S56)、Ev−2(S57)、Ev−3(S58)、代表値評価へ(S59)の各処理を示している。
次に、これらについて説明する。
画素情報評価は、矩形領域内のエッジ、網点、平面画素を検出し、それぞれの画素数が全画素数に占める割合を求める(S3)処理である。エッジの割合(S41)は、エッジの割合に基づいて処理を分岐させる処理である。平面の割合(S42)は、平面の割合に基づいて処理を分岐させる処理である。Ev−1(S43)は、評価値Evを「1」減らす処理である。Ev±0(S44)は、評価値Evをそのままとする処理である。Ev+1(S45)は、評価値Evを「1」増やす処理である。平面の割合(S46)は、平面の割合に基づいて処理を分岐させる処理である。Ev+1(S47)は、評価値Evを「1」増やす処理である。Ev+2(S48)は、評価値Evを「2」増やす処理である。Ev+3(S49)は、評価値Evを「3」増やす処理である。
平面の割合(S50)は、平面の割合に基づいて処理を分岐させる処理である。Ev+3(S51)は、評価値Evを「3」増やす処理である。Ev+5(S52)は、評価値Evを「5」増やす処理である。Ev+7(S53)は、評価値Evを「7」増やす処理である。網点の割合(S54)は、網点の割合に基づいて処理を分岐させる処理である。Ev±0(S55)は、評価値Evをそのままとする処理である。Ev−1(S56)は、評価値Evを「1」減らす処理である。Ev−2(S57)は、評価値Evを「2」減らす処理である。Ev−3(S58)は、評価値Evを「3」減らす処理である。代表値評価へ(S59)は、画素情報評価を終了して処理を代表値評価へ進める処理である。
次に、これらの関係について説明する。
エッジの割合(S41)にてエッジの画素が全画素に占める割合が「5%未満」と判定されると、平面の割合(S42)の処理へ進む。
平面の割合(S42)にて平面の画素が全画素に占める割合が「50%未満」と判定されると、Ev−1(S43)にて評価値を文字通り「1」減らす。平面の割合(S42)にて平面の画素が全画素に占める割合が「50〜80%未満」と判定されると、Ev±0(S44)にて評価値をそのままとする。平面の割合(S42)にて平面の画素が全画素に占める割合が「80%以上」と判定されると、Ev+1(S45)にて評価値を文字通り「1」増やす。Ev−1(S43)の処理、Ev±0(S44)の処理、Ev+1(S45)の処理を終えたら、網点の割合(S54)へと処理を進める。
エッジの割合(S41)にてエッジの画素が全画素に占める割合が「5〜10%未満」と判定されると、平面の割合(S46)の処理へ進む。平面の割合(S46)にて平面の画素が全画素に占める割合が「50%未満」と判定されると、Ev+1(S47)にて評価値を文字通り「1」増やす。平面の割合(S46)にて平面の画素が全画素に占める割合が「50〜80%未満」と判定されると、Ev+2(S48)にて評価値を文字通り「2」増やす。平面の割合(S46)にて平面の画素が全画素に占める割合が「80%以上」と判定されると、Ev+3(S49)にて評価値を文字通り「3」増やす。Ev+1(S47)の処理、Ev+2(S48)の処理、Ev+3(S49)の処理を終えたら、網点の割合(S54)へと処理を進める。
エッジの割合(S41)にてエッジの画素が全画素に占める割合が「10%以上」と判定されると、平面の割合(S50)の処理へ進む。平面の割合(S50)にて平面の画素が全画素に占める割合が「50%未満」と判定されると、Ev+3(S51)にて評価値を文字通り「3」増やす。平面の割合(S50)にて平面の画素が全画素に占める割合が「50〜80%未満」と判定されると、Ev+5(S52)にて評価値を文字通り「5」増やす。平面の割合(S50)にて平面の画素が全画素に占める割合が「80%以上」と判定されると、Ev+7(S53)にて評価値を文字通り「7」増やす。Ev+3(S51)の処理、Ev+5(S52)の処理、Ev+7(S53)の処理を終えたら、網点の割合(S54)へと処理を進める。
網点の割合(S54)にて網点の画素が全画素に占める割合が「10%未満」と判定されると、Ev±0(S55)にて評価値をそのままとする。網点の割合(S54)にて網点の画素が全画素に占める割合が「10%未満」と判定されると、Ev−1(S56)にて評価値を文字通り「1」減らす。網点の割合(S54)にて網点の画素が全画素に占める割合が「10%未満」と判定されると、Ev−2(S57)にて評価値を文字通り「2」減らす。網点の割合(S54)にて網点の画素が全画素に占める割合が「10%未満」と判定されると、Ev−3(S58)にて評価値を文字通り「3」減らす。Ev±0(S55)の処理、Ev−1(S56)の処理、Ev−2(S57)の処理、Ev−3(S58)の処理を終えたら、画素情報評価を終了して代表値評価へと処理を進める(S59)
図14〜図17は、各画像サンプルに対する画素情報評価の結果を示している。各図は上下二段、左右二列に区画されており、上段左列には画像サンプルを示し、上段右列にはエッジ、平面、網点の検出結果について、黒画素で各成分を示している。また、下段左列には矩形内全画素数と、エッジ画素割合と、平面画素割合と、網点画素割合の各値をリスト表示し、下段右列には評価の過程と最終的な評価値を示している。
図14は、一文字が一つの矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。
同図に示す画像サンプルでは、矩形内全画素数が「54780」、エッジ画素割合が「12.3%」、平面画素割合が「80.4%」、網点画素割合が「7.4%」と算出された。各値は図13に示すフローチャートに従って処理されると、処理(S41)でエッジの割合:高と判断され、さらに処理(S50)で平面の割合と判断され、処理(S53)にて評価値はEv+7とされる。つづいて、処理(S54)では網点割合:ほぼなしと判断され、処理(S55)にて評価値はEv±0とされる。この結果、最終的な評価値はEv=7となる。
図15は、均一濃度の背景上の文字がまとめて矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。
同図に示す画像サンプルでは、矩形内全画素数が「188505」、エッジ画素割合が「6.0%」、平面画素割合が「88.6%」、網点画素割合が「5.4%」と算出された。各値は図13に示すフローチャートに従って処理されると、処理(S41)でエッジの割合:中と判断され、さらに処理(S46)で平面の割合と判断され、処理(S49)にて評価値はEv+3とされる。つづいて、処理(S54)では網点割合:ほぼなしと判断され、処理(S55)にて評価値はEv±0とされる。この結果、最終的な評価値はEv=3となる。
図16は、絵柄が矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。
同図に示す画像サンプルでは、矩形内全画素数が「565150」、エッジ画素割合が「3.8%」、平面画素割合が「21.0%」、網点画素割合が「75.2%」と算出された。各値は図13に示すフローチャートに従って処理されると、処理(S41)でエッジの割合:低と判断され、さらに処理(S42)で平面の割合と判断され、処理(S43)にて評価値はEv−1とされる。つづいて、処理(S54)では網点割合:高と判断され、処理(S58)にて評価値はEv−3とされる。この結果、最終的な評価値はEv=−4となる。
図17は、グラフのような文字絵柄の代表サンプルが矩形領域として検出された場合のエッジ、平面、網点検出結果と、その割合と、評価値の算出を示す図である。
同図に示す画像サンプルでは、矩形内全画素数が「195910」、エッジ画素割合が「7.0%」、平面画素割合が「86.0%」、網点画素割合が「7.1%」と算出される。しかし、ピーク評価で文字絵柄と判定されているため、本評価は実行されない。
次に、ヒストグラム代表値評価(S4)について説明する。
ここでは、ヒストグラムの代表値を下記条件に沿って評価し、引き続き「評価値:Ev」の値を増減させる。これらの評価の前提として、平均値と、レンジと、中間値と、最頻値との各統計値を演算で求める。また、平均値と中間値との差、および平均値と最頻値との大小関係についても求めておく。
・平均値評価
平均値≧120ならば、Ev+1とする。
平均値<100ならば、Ev−1とする。
・レンジ評価
レンジ≧180、かつ、|平均値−中央値|≧40ならば、Ev+5とする。
・|平均値−中央値|
|平均値−中央値|<3ならば、Ev−2とする。
・文字らしさ評価として
平均値<最頻値ならば、Ev+1とする。
なお、各閾値、Evの増減幅は経験的に定めた値である。従って、これらの値に限定されるのではなく、実際の環境下において最適となるような任意の数値を用いて良い。
図18は、このような評価をフローチャートにより表している。
同図は、平均値(S61)、Ev−1(S62)、Ev+1(S63)、レンジ(S64)、|平均値−中間値|(S65)、Ev+5(S66)、|平均値−中間値|(S67)、Ev−2(S68)、平均値<最頻値(S69)、Ev+1(S70)、属性判定処理へ(S71)の各処理を示している。
次に、これらについて説明する。
代表値評価は、矩形領域に含まれる画素についての階調値のヒストグラムを利用し、統計処理を行った所定の統計値を求め、さらに同統計値を利用して代表値を算出する処理である。平均値(S61)は、平均値に基づいて処理を分岐させる処理である。Ev−1(S62)は、評価値Evを「1」減らす処理である。Ev+1(S63)は、評価値Evを「1」増やす処理である。レンジ(S64)は、レンジに基づいて処理を分岐させる処理である。
|平均値−中間値|(S65)は、平均値と中間値との差に基づいて処理を分岐させる処理である。Ev+5(S66)は、評価値Evを「5」増やす処理である。|平均値−中間値|(S67)は、平均値と中間値との差に基づいて処理を分岐させる処理である。Ev−2(S68)は、評価値Evを「2」減らす処理である。平均値<最頻値(S69)は、平均値が最頻値未満であるか否かに基づいて処理を分岐させる処理である。Ev+1(S70)は、評価値Evを「1」減らす処理である。属性判定処理へ(S71)は、代表値評価を終了して処理を属性判定処理へ進める処理である。
次に、これらの関係について説明する。
平均値(S61)にて平均値が「100未満」と判定されると、Ev−1(S62)にて評価値を文字通り「1」減らす。平均値(S61)にて平均値が「120以上」と判定されると、Ev+1(S63)にて評価値を文字通り「1」増やす。平均値(S61)にて平均値が「100〜119」と判定されると、評価値をそのままにしてレンジ(S64)の処理へ進む。Ev−1(S62)の処理、Ev+1(S63)の処理を終えたら、レンジ(S64)の分岐へと処理を進める。
レンジ(S64)にてヒストグラムのレンジが「180以上」と判定されると、|平均値−中間値|(S65)における平均値と中間値との差に基づく分岐へと処理を進める。|平均値−中間値|(S65)にて平均値と中間値との差が「40以上」と判定されると、Ev+5(S66)にて評価値を文字通り「5」増やす。レンジ(S64)にてヒストグラムのレンジが180未満と判定されるか、|平均値−中間値|(S65)にて平均値と中間値との差が「40未満」と判定されるか、Ev+5(S66)の処理を終えたら、|平均値−中間値|(S67)における平均値と中間値との差に基づく分岐へと処理を進める。
|平均値−中間値|(S67)にて平均値と中間値との差が「3未満」と判定されると、Ev−2(S68)にて評価値を文字通り「2」減らす。|平均値−中間値|(S67)にて平均値と中間値との差が「3以上」と判定されるか、Ev−2(S68)の処理を終えたら、平均値<最頻値(S69)における平均値と最頻値との比較に基づく分岐へと処理を進める。平均値<最頻値(S69)にて平均値が最頻値より小さいと判定されると、Ev+1(S70)にて評価値を文字通り「1」増やす。平均値<最頻値(S69)にて平均値が最頻値より小さくないと判定されるか、Ev+1(S70)の処理を終えたら、代表値評価を終了して属性判定処理へと進む(S71)
図19〜図22は、画像サンプルを用いた代表値評価結果を示している。各図では、左右二列に図を示しており、さらに左列は上下二段に図を示している。左列上段は画像サンプルを示しており、左列下段には平均値と最頻値と中央値とレンジとリスト表示している。右列には上方にヒストグラムを示しており、下方に平均値による評価と、レンジによる評価と、文字らしさによる評価と、最終的な評価値を示している。なお、中間値と中央値とは同義とする。
図19は、一文字が一つの矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。
同図に示す画像サンプルでは、平均値が「149」、最頻値が「237」、中央値が「224」、レンジが「207」と算出された。各値は図18に示すフローチャートに従って処理されると、処理(S61)で平均値は120以上と判断されて処理(S63)にて評価値はEv+1とされる。続いて、処理(S64)でレンジは180以上と判断され、さらに処理(S65)で平均値と中間値との差が40以上と判断されて処理(S66)にて評価値はEv+5とされる。
続いて、処理(S67)で平均値と中間値との差が3以上と判断され、評価値はそのままで、処理(S69)の文字らしさ評価で平均値は最頻値よりも小さいと判断され、処理(S70)にてEv+1とされる。この結果、最終的な評価値はEv=7となる。
図20は、均一濃度の背景上の文字がまとめて矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。
同図に示す画像サンプルでは、平均値が「173」、最頻値が「178」、中央値が「178」、レンジが「127」と算出された。各値は図18に示すフローチャートに従って処理されると、処理(S61)で平均値は120以上と判断されて処理(S63)にて評価値はEv+1とされる。続いて、処理(S64)でレンジは180未満と判断されるので評価値はそのままとされる。
続いて、処理(S67)で平均値と中間値との差が3以上と判断され、評価値はそのままで、処理(S69)で平均値は最頻値よりも小さいと判断され、処理(S70)にてEv+1とされる。この結果、最終的な評価値はEv=2となる。
図21は、絵柄が矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。
同図に示す画像サンプルでは、平均値が「92」、最頻値が「90」、中央値が「93」、レンジが「92」と算出された。各値は図18に示すフローチャートに従って処理されると、処理(S61)で平均値は100未満と判断されて処理(S62)にて評価値はEv−1とされる。続いて、処理(S64)でレンジは180未満と判断されるので評価値はそのままとされ、続いて、処理(S67)で平均値と中間値との差が3未満と判断され、処理(S68)にて評価値はEv−2とされる。
最後に、処理(S69)で平均値は最頻値よりも小さくないと判断され、評価値はそのままとされる。この結果、最終的な評価値はEv=3となる。
図22は、グラフのような文字絵柄の代表サンプルが矩形領域として検出された場合のヒストグラムと、代表値と、評価値の算出を示す図である。
同図に示す画像サンプルでは、平均値が「107」、最頻値が「49」、中央値が「78」、レンジが「188」と算出された。しかし、既にピーク評価で属性は文字絵柄と判定されているので、図18に示す代表値評価は行われない。
次に、属性判定(S5)について説明する。
以上の各評価を行った後、評価値:Evの合計値を求め、同合計値を参照して矩形領域の属性判定を下記のように行う。
Ev=高(5以上)ならば、文字属性とする。
Ev=中(1〜4)ならば、文字絵柄属性とする。
Ev=低(0以下)ならば、絵柄属性とする。
なお、Evの閾値は経験的に定めた値である。従って、これらの値に限定されるのではなく、実際の環境下において最適となるような任意の数値を用いて良い。
図23は、かかる属性判定のフローチャートである。
同図は、評価値:Ev(S81)、絵柄(S82)、文字絵柄(S83)、文字(S84)、二値化処理へ(S85)の各処理を示している。
次に、これらについて説明する。
属性判定は、各評価の結果を利用して矩形領域の属性(文字、絵柄、文字絵柄)を判定する処理である。評価値:Ev(S81)は、評価値(Ev)の値に基づいて処理を分岐させる処理である。絵柄(S82)は、属性を絵柄属性とする処理である。文字絵柄(S83)は、属性を文字絵柄属性とする処理である。文字(S84)は、属性を文字属性とする処理である。二値化処理へ(S85)は、属性判定を終了して処理を二値化処理へ進める処理である。
次に、これらの関係について説明する。
評価値:Ev(S81)にて評価値が「0以下」と判定されると、絵柄(S82)にて矩形領域の属性を絵柄とする処理を行う。評価値:Ev(S81)にて評価値が「1〜4」と判定されると、文字絵柄(S83)にて矩形領域の属性を文字絵柄とする処理を行う。評価値:Ev(S81)にて評価値が「5以上」と判定されると、文字(S84)にて矩形領域の属性を文字とする処理を行う。絵柄(S82)の処理、文字絵柄(S83)の処理、文字(S84)の処理を終えたら、二値化処理へ処理を進める(S85)
なお、特許請求の範囲に示す属性判定手段と属性判定工程は、広義に把握している。すなわち、これらにおいては、上述した画素情報評価(S3)や代表値評価(S4)を含めるものとして把握しており、本属性判定(S5)単独を意味するものではない。しかし、適用の態様に依存して、広義に理解すべき場合と、狭義(S5)に理解すべき場合とを含んでいる。
画像サンプルを用いた最終判定結果(属性判定)
図24は、図23に示すフローチャートに従って属性判定した結果を示している。図において、各画像サンプル毎に、左列は上述した三つの評価におけるそれぞれの最終的な評価値を示しており、右列は画像サンプルを示している。
最上段の画像サンプル(画像A)の場合、ピーク評価では、Ev=6と判定され、画素情報評価では、Ev=7と判定され、代表値評価では、Ev=7と判定された。各評価値の合計値は20となるから、処理(S81)にて5以上と判断され、処理(S84)にて属性を文字とする処理(文字属性)が行われた後、処理(S85)にて二値化処理へ進む。
二段目の画像サンプル(画像B)の場合、ピーク評価では、Ev=6と判定され、画素情報評価では、Ev=3と判定され、代表値評価では、Ev=2と判定された。各評価値の合計値は11となるから、画像Aの場合と同様、処理(S81)にて5以上と判断され、処理(S84)にて属性を文字とする処理(文字属性)が行われた後、処理(S85)にて二値化処理へ進む。
三段目の画像サンプル(画像C)の場合、ピーク評価では、Ev=−9と判定され、画素情報評価では、Ev=−4と判定され、代表値評価では、Ev=−3と判定された。各評価値の合計値は−16となるから、処理(S81)にて0以下と判断され、処理(S82)にて属性を絵柄とする処理(絵柄属性)が行われた後、処理(S85)にて二値化処理へ進む。
四段目の画像サンプル(画像D)の場合、ピーク評価で文字絵柄属性と判定されており、画素情報評価と代表値評価は判定されていない。この結果、属性判定を経ることなく、二値化処理へ進む。
最後に、二値化(S6)について説明する。
上記の属性判定結果を受けて、各領域について最適な処理を行う。本実施例では以下の方法を用いて、高品位な二値画像を得ている。
文字属性とされた領域については、単純二値による二値化を行う。
文字絵柄属性とされた領域については、ソーベルフィルタ等によるエッジ検出結果に加えて誤差拡散による二値化を行う。
絵柄属性とされた領域については、誤差拡散による二値化を行う。
図25は、各画像サンプルの二値化処理後の画像を示す図である。
同図においては、紙面の上段の左方と右方に文字属性とされる矩形領域があり、これらについては単純二値による二値化が行われ、文字がハッキリと明確に表れている。
中段には絵柄属性とされる矩形領域があり、誤差拡散による二値化で絵柄らしさを残した二値化が行われている。
下段には文字絵柄属性とされる矩形領域があり、ソーベルフィルタ等によるエッジ検出結果に加えて誤差拡散による二値化により、グラフがハッキリと明確に表れている。

なお、本実施例では、二値化を行っているが、領域の属性に応じた最適な手法を用いて多階調の画像の階調数を落とす場合の一例にすぎない。従って、最終的な階調値が二値であることに限定されず、4階調であるなど、様々な階調数に落とし込む場合に適用可能である。すなわち、本発明における二値化とは広義の意味で階調変換を表している。
上述した評価を経て二値化を選択することにより、以下の効果が得られている。
背景のある文字領域や極めて大きな文字等といった条件においても、正確に文字属性であることを判別できる。
文字間スペースやエッジ情報による空間的特徴だけでなく、ヒストグラムのピークや代表値等の統計的特徴も用いるため、精度良く属性を判定することができる。
文字・絵柄だけでなく、文字絵柄属性の判定も設けているため、より細かい属性判定が可能となり、文字・絵柄のどちらの判定もつかない領域(主にグラフ等)に対しては中間的な処理を適用することができる。
応用・その他について
上述した実施例に加え低下の応用および変形も可能である。
・検出された矩形領域のサイズが極端に小さい場合は、1文字ごとに矩形が検出されていることが多いため、例えば、ある閾値サイズ以下の矩形は各評価を行わずに文字領域と判定する等の処理を加え、処理の効率化を図っても良い。
・場合によっては、「文字」「文字絵柄」「絵柄」のうちの1属性を削り、2属性のみの判定にしても良い。
上述した実施例について、その特徴を整理すると、以下のようになる。
1. 入力画像の文字や絵柄部分を矩形領域として検出し、検出した矩形領域内の統計的特徴や空間的特徴を基に、各矩形領域の属性(文字・文字絵柄・絵柄)を判定している。
2. 1において、矩形領域内のヒストグラムの最高ピークの度数及びピークの数を検出し、属性判定に用いている。
3. 1において、矩形領域内のエッジ・網点・平面の画素を検出し、それぞれの矩形全体の画素数に対する割合を属性判定に用いている。
4. 1において、矩形領域内のヒストグラムの代表値(平均値・中間値・レンジ・最頻値)を属性判定に用いている。
1〜4によれば、ヒストグラムのピークや代表値といった統計的特徴と、エッジ・網点・平面画素の割合といった空間的特徴を併せて評価することにより、精度良く属性判定を行うことが可能となる。
5. 2において、ヒストグラムの最高ピークの度数が高い場合は文字属性、低い場合は絵柄属性が強いと判断する。
文字領域は、均一濃度の背景(紙の下地)が領域内の大部分を占めることが多く、ヒストグラムのピークが高くなり易い。絵柄の場合は文字のような均一濃度の背景が少ないため、ヒストグラムのピークが低くなり易い。従って、この条件を用いることで属性判定がし易くなる。
6. 2において、ヒストグラムのピークが検出されなかった場合または少ない場合は絵柄属性、ピーク数が絵柄属性判定より多い場合は文字属性、ピーク数が文字属性判定より多い場合は文字絵柄属性が強いと判断する。
絵柄領域は全体的に滑らか階調を持つため、ピークが検出されなかったり、検出されたとしてもピーク数が少ない。文字領域は背景成分が1つの大きなピークとなり易いため、1つ以上はピークがある。また、多くのピークが検出された場合は、均一濃度の領域が多数存在しているということになり、グラフ等が考えられる。よって、そのときは文字と絵柄の両者の特徴を併せ持つ、文字絵柄属性と判断する。
7. 3において、エッジ及び平面の割合が高い場合は文字属性、低い場合は絵柄属性が強いと判断する。
文字領域は、背景(紙の下地)と文字との境にはっきりとした輝度差があり、かつ均一濃度の部分も多いため、エッジ及び平面の割合が高くなり易い。絵柄領域は、文字のようなはっきりとした輝度差が少なく均一濃度の部分も少ないため、エッジ及び平面の割合は低くなり易い。従って、この条件を用いることで属性判定がし易くなる。
8. 3において、網点の割合が高い場合は絵柄属性が強いと判断する。
絵柄領域は、文字領域に比べて網点の割合が高くなり易い。従って、この条件を用いることで属性判定がし易くなる。
9. 4において、ヒストグラムの平均値が高い場合は文字属性、低い場合は絵柄属性が強いと判断する。
文字領域は背景(紙の下地)成分が多いため、ヒストグラムの平均値が高くなり易い。絵柄領域は背景(紙の下地)が含まれにくいため、ヒストグラムの平均値が低くなり易い。従って、この条件を用いることで属性判定がし易くなる。
10. 4において、ヒストグラムのレンジが広く平均値と中間値の差が大きい場合は文字属性、平均値と中間値の差が小さい場合は絵柄属性が強いと判断する。
ヒストグラムのレンジが広く平均値と中間値の差が大きい場合、つまりヒストグラム形状が正規分布から遠い場合は文字属性が強いと判断する。これは、文字領域は背景(紙の下地)と文字の輝度差が大きいため、ヒストグラムのレンジが広くなり易く、ヒストグラム形状は正規分布からは遠い、双峰型になり易いためである。また、それとは逆にヒストグラムの形状が正規分布に近い場合は絵柄属性が強いと判断する。従って、この条件を用いることで属性判定がし易くなる。
11. 4において、ヒストグラムの平均値より最頻値が高い場合は文字属性が強いと判断する。
文字領域は、背景(紙の下地)部分が最頻値となり、それより暗い部分に文字成分が存在することが多く、平均値<最頻値の場合が多い。従って、この条件を用いることで属性判定がし易くなる。
12. 1において、文字属性と絵柄属性の両者の特徴を併せ持つ場合、及び両者の特徴が強く表れない場合は、文字絵柄属性と判断する。
両者の特徴を併せ持った矩形領域や、はっきりと特徴が表れない矩形領域については文字絵柄属性と判定し、例えば二値化の際、濃淡情報を再現しつつエッジも鮮明にする等の処理を適用し、見栄えを良くすることが可能となっている。
このように、入力画像の文字や絵柄部分を矩形領域として検出し、検出した矩形領域内の輝度分布(以降、ヒストグラムと記す)の最高ピークの度数(矩形全体の画素数に対するヒストグラム中の最大画素数の割合)、ピーク数、代表値、及び矩形領域内のエッジ・網点・平面画素の割合等の複数の情報から、矩形領域の属性(文字・文字絵柄・絵柄)を判定する。
この発明による判定結果を用いることにより、領域ごとに最適な画像処理を適用することが可能になり、例えば、文字領域には単純二値処理、絵柄領域には中間調(誤差拡散等)処理、文字絵柄領域にはエッジ検出結果+中間調処理等を適用することで、高品位な二値画像を得ることが可能になる。
次に、特許請求の範囲の記載と実施例の各構成部品との対応を示す。
特許請求の範囲に記載した処理対象設定手段は、矩形領域の検出(S1)によって構成されている。
特許請求の範囲に記載したピーク評価手段は、ヒストグラムのピーク評価(S2)によって構成されている。
特許請求の範囲に記載した属性判定手段は、画素情報評価(S3)と、ヒストグラムの代表値評価(S4)と、属性判定(S5)とによって構成されている。
特許請求の範囲に記載した階調変換手段は、二値化(S6)によって構成されている。
特許請求の範囲に記載した処理対象設定工程は、矩形領域の検出(S1)によって構成されている。
特許請求の範囲に記載したピーク評価工程は、ヒストグラムのピーク評価(S2)とによって構成されている。
特許請求の範囲に記載した属性判定工程は、画素情報評価(S3)と、ヒストグラムの代表値評価(S4)と、属性判定(S5)とによって構成されている。
特許請求の範囲に記載した階調変換工程は、二値化(S6)とによって構成されている。
なお、本発明はソフトウェアを利用して各構成手段を実現しているが、ハードウェア、例えばアナログ回路やデジタル回路で実現することもできるし、ASICのような論理的作用をなすICなどで実現することも可能である。
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
本発明は、、階調数低減方法に利用することができる。
S1…矩形領域の検出、S2…ヒストグラムのピーク評価、S3…画素情報評価、S4…ヒストグラムの代表値評価、S5…属性判定、S6…二値化、S21…Ev=0、S22…ピーク数、S23…Ev−3、S24…Ev+1、S25…文字絵柄判定で二値化処理へ、S26…最高ピーク度数、S27…Ev−5、S28…Ev−1、S29…Ev+5、S30…画素情報評価へ、S41…エッジの割合、S42…平面の割合、S43…Ev−1、S44…Ev±0、S45…Ev+1、S46…平面の割合、S47…Ev+1、S48…Ev+2、S49…Ev+3、S50…平面の割合、S51…Ev+3、S52…Ev+5、S53…Ev+7、S54…網点の割合、S55…Ev±0、S56…Ev−1、S57…Ev−2、S58…Ev−3、S59…代表値評価へ、S61…平均値、S62…Ev−1、S63…Ev+1、S64…レンジ、S65…|平均値−中間値|、S66…Ev+5、S67…|平均値−中間値|、S68…Ev−2、S69…平均値<最頻値、S70…Ev+1、S71…属性判定処理へ、S81…評価値:Ev、S82…絵柄、S83…文字絵柄、S84…文字、S85…二値化処理へ

Claims (12)

  1. 多数の画素からなる画像における多値の画像データを入力し、所定の手法で階調数を減少させる階調数低減装置において、
    上記画像データにおける所定の領域を処理対象として設定する処理対象設定手段と、
    上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求めるピーク評価手段と、
    求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定する属性判定手段と、
    判定された属性に対応づけられた手法で上記画像データの階調数を減らす階調変換手段とを具備することを特徴とする階調数低減装置。
  2. 上記ピーク評価手段は、上記ピーク形状の分布状況として最高ピークの度数を求め、
    上記属性判定手段は、上記最高ピークの度数が高い場合は文字属性と判定し、低い場合は上記領域に絵柄が含まれるとする絵柄属性と判定することを特徴とする請求項1に記載の階調数低減装置。
  3. 上記ピーク評価手段は、上記ピーク形状の分布状況としてピーク形状の数を求める
    上記属性判定手段は、上記ピーク形状の数が0または第一の所定値よりも小さい場合には絵柄属性と判定し、上記ピーク形状の数が上記第一の所定値よりも大きく第二の所定値よりも小さい場合には文字属性と判定し、上記ピーク形状の数が上記第二の所定値よりも大きい場合には上記領域に絵柄と文字の画像を含むとする文字絵柄属性と判定することを特徴とする請求項1または請求項2に記載の階調数低減装置。
  4. 上記属性判定手段は、上記領域内の画素を対象として、エッジと網点と平面の画素を検出し、検出された画素数と同領域全体の画素数との割合に基づいて、上記属性を判定することを特徴とする請求項1〜請求項3のいずれかに記載の階調数低減装置。
  5. 上記属性判定手段は、エッジと平面の割合が高い場合は文字属性と判定し、低い場合は絵柄属性と判定することを特徴とする請求項4に記載の階調数低減装置。
  6. 上記属性判定手段は、網点の割合が高い場合は絵柄属性と判定することを特徴とする請求項4または請求項5に記載の階調数低減装置。
  7. 上記属性判定手段は、上記領域内の画素の階調値を対象として、所定の統計的演算を行い、得られた統計値を利用して、上記属性を判定することを特徴とする請求項1〜請求項6のいずれかに記載の階調数低減装置。
  8. 上記属性判定手段は、上記統計値として、平均値を求め、同平均値が高い場合は文字属性と判定し、同平均値が低い場合は絵柄属性と判定することを特徴とする請求項7に記載の階調数低減装置。
  9. 上記属性判定手段は、上記統計値として、上記ヒストグラムのレンジと中間値とを求め、上記レンジが広く上記平均値と上記中間値との差が大きい場合には文字属性と判定し、上記平均値と上記中間値との差が小さい場合には絵柄属性と判定することを特徴とする請求項7または請求項8に記載の階調数低減装置。
  10. 上記属性判定手段は、上記統計値として、上記統計値として最頻値を求め、上記平均値より最頻値が大きい場合には文字属性と判定することを特徴とする請求項8または請求項9に記載の階調数低減装置。
  11. 上記属性判定手段は、一つの領域について文字属性と絵柄属性と判定する場合、および、一つの領域について文字属性でも絵柄属性でもないと判定する場合、文字絵柄属性と判定することを特徴とする請求項1ないし請求項10に記載の階調数低減装置。
  12. 多数の画素からなる画像における多値の画像データを入力し、所定の手法で階調数を減少させる階調数低減方法において、
    上記画像データにおける所定の領域を処理対象として設定する処理対象設定工程と、
    上記領域の画像データを処理対象として所定の階調範囲毎の度数分布を求めるとともに、同度数分布の度数分布状況からピーク形状の分布状況を求めるピーク評価工程と、
    求められたピーク形状の分布状況に基づいて上記領域に含まれる画像の種類である属性を判定する属性判定工程と、
    判定された属性に対応づけられた手法で上記画像データの階調数を減らす階調変換工程とを具備することを特徴とする階調数低減方法。
JP2009075934A 2009-03-26 2009-03-26 階調数低減装置、階調数低減方法 Withdrawn JP2010232795A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009075934A JP2010232795A (ja) 2009-03-26 2009-03-26 階調数低減装置、階調数低減方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009075934A JP2010232795A (ja) 2009-03-26 2009-03-26 階調数低減装置、階調数低減方法

Publications (1)

Publication Number Publication Date
JP2010232795A true JP2010232795A (ja) 2010-10-14

Family

ID=43048223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009075934A Withdrawn JP2010232795A (ja) 2009-03-26 2009-03-26 階調数低減装置、階調数低減方法

Country Status (1)

Country Link
JP (1) JP2010232795A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060083A1 (de) 2009-10-23 2011-06-09 Denso Corporation, Kariya-City Stator für eine rotierende elektrische Maschine und Verfahren zur Herstellung desselben
CN103324927A (zh) * 2012-03-19 2013-09-25 株式会社Pfu 图像处理装置以及文字识别方法
WO2014064916A1 (ja) * 2012-10-25 2014-05-01 三菱電機株式会社 画像処理装置及び画像処理方法
JP2019096067A (ja) * 2017-11-22 2019-06-20 富士通株式会社 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
JP2020052731A (ja) * 2018-09-27 2020-04-02 キヤノン電子株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2020144719A (ja) * 2019-03-08 2020-09-10 国立大学法人秋田大学 紙面領域分類装置及びそのプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63197171A (ja) * 1987-02-12 1988-08-16 Matsushita Electric Ind Co Ltd デイジタル複写機
JPH09200525A (ja) * 1996-01-19 1997-07-31 Ricoh Co Ltd 画像処理装置
JPH09238253A (ja) * 1996-02-29 1997-09-09 Canon Inc 画像処理装置及びその方法
JP2005027110A (ja) * 2003-07-03 2005-01-27 Sharp Corp 画像処理装置及びそれを備えた画像読取装置、画像形成装置、並びに画像処理方法、画像処理プログラム及び記録媒体
JP2006180030A (ja) * 2004-12-21 2006-07-06 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63197171A (ja) * 1987-02-12 1988-08-16 Matsushita Electric Ind Co Ltd デイジタル複写機
JPH09200525A (ja) * 1996-01-19 1997-07-31 Ricoh Co Ltd 画像処理装置
JPH09238253A (ja) * 1996-02-29 1997-09-09 Canon Inc 画像処理装置及びその方法
JP2005027110A (ja) * 2003-07-03 2005-01-27 Sharp Corp 画像処理装置及びそれを備えた画像読取装置、画像形成装置、並びに画像処理方法、画像処理プログラム及び記録媒体
JP2006180030A (ja) * 2004-12-21 2006-07-06 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060083A1 (de) 2009-10-23 2011-06-09 Denso Corporation, Kariya-City Stator für eine rotierende elektrische Maschine und Verfahren zur Herstellung desselben
CN103324927A (zh) * 2012-03-19 2013-09-25 株式会社Pfu 图像处理装置以及文字识别方法
JP2013196369A (ja) * 2012-03-19 2013-09-30 Pfu Ltd 画像処理装置、文字認識方法及びコンピュータプログラム
WO2014064916A1 (ja) * 2012-10-25 2014-05-01 三菱電機株式会社 画像処理装置及び画像処理方法
JP5889431B2 (ja) * 2012-10-25 2016-03-22 三菱電機株式会社 画像処理装置及び画像処理方法
US9619873B2 (en) 2012-10-25 2017-04-11 Mitsubishi Electric Corporation Image processing device and image processing method
JP2019096067A (ja) * 2017-11-22 2019-06-20 富士通株式会社 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
JP2020052731A (ja) * 2018-09-27 2020-04-02 キヤノン電子株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP7149047B2 (ja) 2018-09-27 2022-10-06 キヤノン電子株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2020144719A (ja) * 2019-03-08 2020-09-10 国立大学法人秋田大学 紙面領域分類装置及びそのプログラム
JP7243981B2 (ja) 2019-03-08 2023-03-22 国立大学法人秋田大学 紙面領域分類装置及びそのプログラム

Similar Documents

Publication Publication Date Title
JP4423298B2 (ja) デジタル画像におけるテキスト状エッジの強調
US8947736B2 (en) Method for binarizing scanned document images containing gray or light colored text printed with halftone pattern
JP4219542B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体
US7359568B2 (en) Image processing apparatus and image processing method
US8150166B2 (en) Methods and systems for identifying text in digital images
US7411699B2 (en) Method and apparatus to enhance digital image quality
JP2010232795A (ja) 階調数低減装置、階調数低減方法
US8989493B1 (en) Method and apparatus for identifying regions of an image to be filtered during processing of the image
US20010021034A1 (en) Image processing apparatus and method
JPH0715607A (ja) 画像処理装置
JP5151708B2 (ja) 画像処理装置および画像処理プログラム
JP4771428B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4132766B2 (ja) 画像処理装置および方法
JP4867903B2 (ja) 画像処理プログラム及び画像処理装置
CN108109120B (zh) 一种点阵二维码的光照补偿方法及装置
JP2010225047A (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
JP3909604B2 (ja) 画像処理装置および画像処理方法
CN1333574C (zh) 一种数字图像中提取文本区域的方法
US6563604B1 (en) Method of gradation reproduction
JP2010219858A (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
JP5262877B2 (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
JPH08221512A (ja) 画像処理装置及びその方法
JP3966448B2 (ja) 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP5272841B2 (ja) ノイズ成分除去装置、ノイズ成分除去方法
Yoshida et al. A new binarization method for a sign board image with the blanket method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120927