JP2004180000A - 画像の2値化装置および方法 - Google Patents
画像の2値化装置および方法 Download PDFInfo
- Publication number
- JP2004180000A JP2004180000A JP2002344185A JP2002344185A JP2004180000A JP 2004180000 A JP2004180000 A JP 2004180000A JP 2002344185 A JP2002344185 A JP 2002344185A JP 2002344185 A JP2002344185 A JP 2002344185A JP 2004180000 A JP2004180000 A JP 2004180000A
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- region
- density
- straight line
- approximation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】対象とする濃淡画像の濃度と画素数との濃度ヒストグラムを作成し、この濃度ヒストグラムに基づいて、濃度の各閾値と、その閾値以上の累積画素数との相関図を作成する。この相関図の最高濃度とその1/2の濃度の範囲のデータを用いて、高閾値領域での線形回帰直線式1を求める。低閾値領域の近似直線式を求めるために、線形回帰直線式1上の複数の第1の点Cと、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第2の点Dとをそれぞれ通る複数の式を求め、こうして求めた複数の各式と線形回帰直線1で作れる複数の折れ線と、前記相関との各誤差関数f(c,d)を演算し、誤差の最小値を与える式を、近似直線式2として決定する。前記線形回帰直線式1と、前記決定された近似式2との交点3の閾値を、自動2値化の閾値cとして決定する等の方法を用いる。
【選択図】 図4
Description
【発明の属する技術分野】
本発明は、階調が3以上である濃淡画像を自動的に2値化する画像の2値化装置および方法に関する。
【0002】
【従来の技術】
濃淡画像から2値画像を得るための処理を2値化と呼ぶ。2値化装置は、たとえば監視対象物検出装置、プリンタ、スキャナ、複写機、ファクシミリ装置、画像圧縮装置、画像拡大装置、文字抽出装置、ハーフトーン化装置、防犯システム、産業用ロボット、顔認証システムおよび印刷配線基板の画像読取り装置などにおいて必要になる。濃淡画像から高精度の正確な2値化画像を得ることによって、対象物の検出、読取りを高精度に行うことが可能になる。
【0003】
一般的には閾値処理が用いられる。閾値をtとしたときの濃淡画像f(x,y)の閾値処理は、
【数1】
という操作で2値画像を得ることができる。
【0004】
典型的な先行技術(特許文献1)では、入力された濃度画像から濃度値毎の画素数分布を示す濃度ヒストグラムを作成し、この濃度ヒストグラムの所定の濃度値付近に位置する複数の極小値を検出し、こうして検出された極小値のうちで最小値となる極小値の濃度値を自動2値化の閾値として選択する構成を開示する。この先行技術では、自動2値化の値を所定の値付近に限定しているので、特定の対象にしか適用できないという問題がある。
【0005】
また、他の典型的な先行技術(特許文献2)では、監視領域内に監視対象物が無いときの背景画像と監視対象物が有るか否かを監視するときの監視画像とを画像入力部によって撮像し、この撮像で得られた背景画像データと監視画像データの差分を2値化閾値と比較することによって監視対象物を検出する監視対象物検出装置において、前記監視領域を照明する照明部と、この照明部の照明強度と照明方向の少なくとも一方を制御して前記監視領域の明るさを均一化する明るさ均一化手段と、この明るさ均一化手段で明るさが均一化されたときの前記画像入力部による背景画像データを基準として前記2値化閾値を決定する2値化閾値決定手段とを具備した監視対象物検出装置が開示されている。
【0006】
また、この発明において、2値化閾値決定手段を、上記背景差分画像の分割画像毎にその平均輝度を入力として、入力値の増減に応じて出力値が増減するとともに、平均輝度が設定値以上か否かに対応して予め設定された2通りの2値化閾値を出力する入出力変換手段で構成している。この先行技術では、2値化を精度よく行うために、照明強度や照明方向を制御する必要があり余分なコストがかかる。また、部分画像の大きさと平均濃度設定値の適正値が使用条件で異なるため、それらを予め実験的に求める必要が生じ、定期的に更新する必要も生じかねない。
【0007】
また、他の典型的な先行技術(特許文献3)では、照明条件が変動しても、その変動に追随した最適な2値化閾値を設定できる最適2値化閾値設定方法およびその装置を提供することを目的としている。この発明は、照明条件の変動に追随した最適な2値化閾値を設定するための方法であって、照明条件を変えて撮像して得られた各画像について、所定の監視領域の濃度をそれぞれ計測すると共に、各照明条件下での最適な2値化閾値を決定して、濃度と最適な2値化閾値との関係の実験式をあらかじめ求めておき、計測処理に際し、対象物を撮像して得られた画像について、前記監視領域の濃度を計測して照明条件の変動を監視し、前記濃度の計測値により照明条件の変動を検出したとき、前記濃度の計測値をあらかじめ求められた濃度と最適な2値化閾値との前記関係の実験式に当てはめることにより、最適な2値化閾値を算出して設定するようにしている。
【0008】
この先行技術は、特定の場所に設置されたカメラからの画像に対する処理であって、監視対象も限定されたケースでしか適用できない。カメラの設置場所の影や反射の状況は日々変動するため、画像内の特定の場所の濃度を元にした最適閾値の実験式を利用する効果は小さい。また、予め実験式を作るという煩雑な作業が必要なため、ユーザの負担が大きくなる。
【0009】
【特許文献1】
特開2002−150276号公報
【特許文献2】
特開2002−016907号公報
【特許文献3】
特開平7−129753号公報
【0010】
【発明が解決しようとする課題】
本発明の目的は、濃淡画像を高精度に自動2値化することができるようにした画像の2値化装置および方法を提供することである。
【0011】
【課題を解決するための手段】
本発明は、濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成手段と、
相関作成手段を用いて作成された相関図において、閾値に関して高閾値領域と低閾値領域とに2分割するために、高閾値領域の近似式を求める高閾値近似式決定手段と、
低閾値領域の近似式を求める低閾値近似式決定手段と、
高閾値近似式決定手段と低閾値近似式決定手段との出力に応答し、高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値を、高閾値領域と低閾値領域を分ける自動2値化の閾値として決定する手段と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する手段とを含むことを特徴とする画像の2値化装置である。
【0012】
本発明に従えば、図1〜図7に関連して後述されるように、対象とする濃淡画像の濃度と画素数との濃度ヒストグラムを作成する手法などによって先ず、2値化閾値と累積画素数との相関を求め、高閾値領域と低閾値領域とに2分割するために、高閾値領域におけるたとえば線形回帰直線などの近似式を決定する。次に低閾値領域のたとえば近似直線などの近似式を決定する。高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値が、自動2値化閾値として決定される。
【0013】
また本発明は、高閾値近似式決定手段は、高閾値領域の近似式として回帰式を用い、
回帰式決定において、濃淡画像の最大濃度からその最大値のほぼ1/2までの濃度の範囲を回帰式決定のための演算対象とすることを特徴とする。
【0014】
本発明に従えば、前記回帰式を求める演算対象を前記相関図の最大濃度からその最大濃度のほぼ1/2までの濃度範囲で定めることで、本件発明者の実験によれば、適切な2値化が可能になることが、確認された。
【0015】
また本発明は、低閾値近似式決定手段は、高閾値領域の近似式で表される直線または曲線上の複数の第1の点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第2の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求めた複数の各式と高閾値領域の近似式で表される折れ線と、前記相関との各誤差を求め、
誤差の最小を与える低閾値領域の式を、近似式として決定することを特徴とする。
【0016】
本発明に従えば、低閾値領域の近似式を決定するにあたり、高閾値領域の近似式で表される直線または曲線上の第1の点と最小閾値付近の閾値と累積画素数の値で決まる第2の点とをそれぞれ通る複数の直線または曲線の式と、高閾値領域の近似式で表される折れ線と、前記相関との、予め定める誤差関数の最小を与える低閾値領域の直線または曲線の式を、前記近似式として決定する。こうして低閾値領域の近似式をできるだけ正確に決定することができる。
【0017】
また本発明は、濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成手段と、
相関作成手段を用いて作成された相関図において、閾値に関して高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の近似式を求める高閾値近似式決定手段と、
中閾値領域の近似式を求める中閾値近似式決定手段と、
低閾値領域の近似式を求める低閾値近似式決定手段と、
高閾値近似式決定手段と中閾値近似式決定手段との出力に応答し、高閾値近似式で表される直線または曲線と中閾値近似式で表される直線または曲線との第1の交点の閾値を求め、高閾値領域と中閾値領域を分ける第1交点決定手段と、
中閾値近似式決定手段と低閾値近似式決定手段との出力に応答し、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求め、中閾値領域と低閾値領域を分ける第2交点決定手段と、
第1および第2交点決定手段の出力に応答し、第1および第2交点の閾値のほぼ平均付近の値を、自動2値化の閾値として決定する手段と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する手段とを含むことを特徴とする画像の2値化装置である。
【0018】
本発明に従えば、図9〜図17に関連して後述されるように、たとえば白い紙に黒の文字が印字された原稿文書を、スキャナで読取って2値化するにあたり、白黒反転を実現する線形濃度変換を施し、閾値と累積画素数との相関を求め、その閾値に関する高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の相関図における近似式を高閾値近似式決定手段で求める。また中閾値領域と低閾値領域との近似式を、中閾値近似式決定手段と低閾値近似式決定手段とによってそれぞれ求める。第1交点決定手段は、高閾値領域近似式で表される直線または曲線と中濃度近似式で表される直線または曲線との第1の交点の閾値を求め、第2交点決定手段は、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求める。こうして得られた第1および第2交点の各閾値のほぼ平均付近の値を、自動2値化の閾値として決定し、この自動2値化の閾値を用いてたとえば前述のようなスキャナによって読取った文書などを2値化する。これによって高精度の2値化が可能になる。
【0019】
また本発明は、高閾値近似式決定手段は、高閾値領域の近似式として回帰式を用い、
濃淡画像の最大濃度のほぼ1/3〜ほぼ2/3の濃度の中濃度領域の各濃度毎の画素数のうち、最小画素数を、濃度ヒストグラムにおいて全ての各濃度にわたって減算するバックグラウンド削除を施し、
バックグラウンド削除後の濃度の各閾値と、その閾値以上の累積画素数との前記相関図を作成し、
高閾値近似式決定手段では、前記相関図において、高閾値領域の回帰式を求め、
中閾値近似式決定手段と低閾値近似式決定手段とは、前記相関図において、中閾値近似式と低閾値近似式とをそれぞれ決定することを特徴とする。
【0020】
本発明に従えば、濃淡画像の中濃度領域の各濃度のうち、最小画素数n0を検出し、この最小画素数n0を、濃淡画像の濃度ヒストグラムにおける全ての各濃度にわたって減算する、いわばバックグラウンド削除を施す。こうして得られたバックグラウンド削除後の濃淡画像の濃度ヒストグラムを用いて、各閾値と累積画素数との相関を求める。この相関に基づいて、高閾値領域の回帰式と中閾値および低閾値の各近似式とを求める。こうしてバックグラウンド削除後の閾値と2値化抽出画素数の相関を用いることによって、高精度の2値化が可能になる。
【0021】
また本発明は、中閾値近似式決定手段において、中閾値領域の近似式を、累積画素数一定とした直線として決定し、
第1交点決定手段は、前記高閾値領域近似式で表される直線または曲線と中閾値領域の複数の近似式で表される直線との第1の交点を複数求め、
低閾値近似式決定手段において、中閾値領域の各近似式で表される直線上の複数の第2の交点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第3の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求められた複数の各式と中閾値領域の複数の近似式と高閾値領域の複数の近似式で表される複数の折れ線と前記相関との各誤差を求め、
誤差の最小を与える、高閾値領域の近似式と中閾値領域の近似式と低閾値領域の近似式とを決定し、
第1交点決定手段は、高閾値領域の近似式で表される直線または曲線と中閾値領域の近似式で表される直線または曲線との第1交点を求め、
第2交点決定手段は、中閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との第2交点を求めることを特徴とする。
【0022】
本発明に従えば、高閾値領域のたとえば線形回帰直線式などの近似式と、中閾値領域のたとえば直線式などの近似式とによって第1の交点を求め、またこの中閾値領域の近似式と低閾値領域のたとえば直線式などの近似式によって第2の交点を求め、これらの第1および第2交点を用いて、自動2値化の閾値を求める。高閾値領域および中閾値領域および低閾値領域の各近似式は、誤差関数によって得られる相関との誤差が最小になるように、定められる。
【0023】
また本発明は、濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成工程と、
相関作成工程で作成された相関に基づく相関図において、閾値に関して高閾値領域と低閾値領域とに2分割するために、高閾値領域の近似式を求める高閾値近似式決定工程と、
低閾値領域の近似式を求める低閾値近似式決定工程と、
高閾値近似式決定工程と低閾値近似式決定工程とで求められた近似式に基づいて、高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値を、高閾値領域と低閾値領域を分ける自動2値化の閾値として決定する工程と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する工程とを含むことを特徴とする画像の2値化方法である。
【0024】
本発明に従えば、図1〜図7に関連して後述されるように、対象とする濃淡画像の濃度と画素数との濃度ヒストグラムを作成する手法などによって先ず、2値化閾値と累積画素数との相関を求め、高閾値領域と低閾値領域とに2分割するために、高閾値領域におけるたとえば線形回帰直線などの近似式を決定する。次に低閾値領域のたとえば近似直線などの近似式を決定する。高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値が、自動2値化閾値として決定される。
【0025】
また本発明は、高閾値近似式決定工程では、高閾値領域の近似式として回帰式を用い、
回帰式決定において、濃淡画像の最大濃度からその最大値のほぼ1/2までの濃度の範囲を回帰式決定のための演算対象とすることを特徴とする。
【0026】
本発明に従えば、前記回帰式を求める演算対象を前記相関図の最大濃度からその最大濃度のほぼ1/2までの濃度範囲で定めることで、本件発明者の実験によれば、適切な2値化が可能になることが、確認された。
【0027】
また本発明は、低閾値近似式決定工程では、高閾値領域の近似式で表される直線または曲線上の複数の第1の点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第2の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求めた複数の各式と高閾値領域の近似式で表される折れ線と、前記相関との各誤差を求め、
誤差の最小を与える低閾値領域の式を、近似式として決定することを特徴とする。
【0028】
本発明に従えば、低閾値領域の近似式を決定するにあたり、高閾値領域の近似式で表される直線または曲線上の第1の点と最小閾値付近の閾値と累積画素数の値で決まる第2の点とをそれぞれ通る複数の直線または曲線の式と高閾値領域の近似式で表される折れ線と前記相関との、予め定める誤差関数の最小を与える低閾値領域の直線または曲線の式を、前記近似式として決定する。こうして低閾値領域の近似式をできるだけ正確に決定することができる。
【0029】
また本発明は、濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成工程と、
相関作成工程で作成された相関に基づく相関図において、閾値に関して高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の近似式を求める高閾値近似式決定工程と、
中閾値領域の近似式を求める中閾値近似式決定工程と、
低閾値領域の近似式を求める低閾値近似式決定工程と、
高閾値近似式決定工程と中閾値近似式決定工程とで求められた近似式に基づいて、高閾値近似式で表される直線または曲線と中閾値近似式で表される直線または曲線との第1の交点の閾値を求め、高閾値領域と中閾値領域を分ける第1交点決定工程と、
中閾値近似式決定工程と低閾値近似式決定工程とで求められた近似式に基づいて、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求め、中閾値領域と低閾値領域を分ける第2交点決定工程と、
第1および第2交点決定工程で求められた閾値に基づき、第1および第2交点の閾値のほぼ平均付近の値を、自動2値化の閾値として決定する工程と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する工程とを含むことを特徴とする画像の2値化方法である。
【0030】
本発明に従えば、図9〜図17に関連して後述されるように、たとえば白い紙に黒の文字が印字された原稿文書を、スキャナで読取って2値化するにあたり、白黒反転を実現する線形濃度変換を施し、閾値と累積画素数との相関を求め、その閾値に関する高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の相関図における近似式を高閾値近似式決定工程で求める。また中閾値領域と低閾値領域との近似式を、中閾値近似式決定工程と低閾値近似式決定工程とでそれぞれ求める。第1交点決定工程では、高閾値領域近似式で表される直線または曲線と中濃度近似式で表される直線または曲線との第1の交点の閾値を求め、第2交点決定工程では、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求める。こうして得られた第1および第2交点の各閾値のほぼ平均付近の値を、自動2値化の閾値として決定し、この自動2値化の閾値を用いてたとえば前述のようなスキャナによって読取った文書などを2値化する。これによって高精度の2値化が可能になる。
【0031】
また本発明は、高閾値近似式決定工程では、高閾値領域の近似式として回帰式を用い、
濃淡画像の最大濃度のほぼ1/3〜ほぼ2/3の濃度の中濃度領域の各濃度毎の画素数のうち、最小画素数を、濃度ヒストグラムにおいて全ての各濃度にわたって減算するバックグラウンド削除を施し、
バックグラウンド削除後の濃度の各閾値と、その閾値以上の累積画素数との前記相関を作成し、
高閾値近似式決定工程では、相関作成手段を用いて作成された相関図において、高閾値領域の回帰式を求め、
中閾値近似式決定工程と低閾値近似式決定工程とでは、前記相関図において、中閾値近似式と低閾値近似式とを決定することを特徴とする。
【0032】
本発明に従えば、濃淡画像の中濃度領域の各濃度のうち、最小画素数n0を検出し、この最小画素数n0を、濃淡画像の濃度ヒストグラムにおける全ての各濃度にわたって減算する、いわばバックグラウンド削除を施す。こうして得られたバックグラウンド削除後の濃淡画像の濃度ヒストグラムを用いて、各閾値と累積画素数との相関を求める。この相関に基づいて、高閾値領域の回帰式と中閾値領域および低閾値領域の各近似式とを求める。こうしてバックグラウンド削除後の閾値と2値化抽出画素数の相関を用いることによって、高精度の2値化が可能になる。
【0033】
また本発明は、中閾値近似式決定工程において、中閾値領域の近似式を、累積画素数一定とした直線として決定し、
第1交点決定工程では、前記高閾値領域近似式で表される直線または曲線と中閾値領域の複数の近似式で表される直線との第1の交点を複数求め、
低閾値近似式決定工程において、中閾値領域の各近似式で表される直線上の複数の第2の交点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第3の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求められた複数の各式と中閾値領域の複数の近似式と高閾値領域の複数の近似式で表される複数の折れ線と前記相関との各誤差を求め、
誤差の最小を与える、高閾値領域の近似式と中閾値領域の近似式と低閾値領域の近似式とを決定し、
第1交点決定工程では、高閾値領域の近似式で表される直線または曲線と中閾値領域の近似式で表される直線または曲線との第1交点を求め、
第2交点決定工程では、中閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との第2交点を求めることを特徴とする。
【0034】
本発明に従えば、高閾値領域のたとえば線形回帰直線式などの近似式と、中閾値領域のたとえば直線式などの近似式とによって第1の交点を求め、またこの中閾値領域の近似式と低閾値領域のたとえば直線式などの近似式によって第2の交点を求め、これらの第1および第2交点を用いて、自動2値化の閾値を求める。高閾値領域および中閾値領域および低閾値領域の各近似式は、誤差関数によって得られる相関との誤差が最小になるように、定められる。
【0035】
【発明の実施の形態】
図1は、本発明の実施の一形態のハード構成とデータの流れを簡略化して示す図である。テレビカメラまたはスキャナなどの撮像手段31によって対象物の2次元濃淡画像が得られる。マイクロコンピュータなどによって実現される処理回路32は、この撮像手段31の出力をメモリ33にストアする。メモリ33にストアされた濃淡画像は、処理回路32によって読出されて本発明に従って画像処理された濃淡画像の2値画像が得られる。こうして得られた2値画像は、表示手段34によって目視表示される。表示手段34は、たとえば液晶パネルまたは陰極線管などであってもよい。プリンタ35は、処理回路32からの2値画像を、記録紙に印字することができる。カラー画像の場合には、その中の一色を対象とすることもできるし、カラー画像から公知の方法で輝度画像に変換して本法を適用することもできる。
【0036】
図2は、本発明の動作を説明するための図である。撮像手段31によって得られる濃淡画像の例が図2(1)に示される。処理回路32は、本発明に従って、図2(1)に示される人の顔などの濃淡画像を2値化処理して、図2(2)に示される2値化画像を得る。
【0037】
図3は、本発明の原理を示す図である。図3(1)の横軸は、濃淡画像の濃度を示し、縦軸は、各濃度の画素数である。一方、図3(2)の横軸は、濃度の閾値であり、縦軸は、各閾値以上の濃度を有する累積画素数である。
【0038】
図4は、撮像手段31から得られる図2(1)に示される濃淡画像の濃度ヒストグラムを示す図である。図4の横軸は、濃淡画像の濃度を示し、縦軸は、各濃度の画素数である。処理回路32は、このような図4に示される濃度と画素数の対応関係を作成する。
【0039】
図5は、濃淡画像の相関図を示す図である。図5の横軸は、濃度の閾値であり、図5の縦軸は、各閾値以上の濃度を有する累積画素数である。前述の図3(1)および図4における横軸の右方になるにつれて、高濃度となり、すなわち明るく、左になるにつれて低濃度となり、暗くなる。本発明の実施の一形態では、最低濃度を零とし、最高濃度を255とし、階調256の濃淡画像を対象画像として、2値化することができる。
【0040】
画像処理における2値化とは閾値以上の濃度を有する画素に“1”を与え、閾値未満の濃度を有する画素に“0”を与える処理である。図3(1)に示した濃度ヒストグラムについて考える。濃度ヒストグラムが2つの濃度領域(高濃度領域、低濃度領域)に分かれ、その各濃度領域において、各濃度に対する画素数が一定の条件(以下、「2分割濃度領域内画素数一定の条件」と呼ぶ)では、図3(2)のように閾値と2値化抽出画素数(2値化で“1”となる画素の数)の相関が、各閾値領域内で直線関係となる。この2つの直線の交点の閾値を2値化の閾値にすることにより、高濃度領域と低濃度領域を識別できることを本発明者らが導いた(ただし、一定な各濃度画素数の値が2つの濃度領域で一致する場合には、上記2つの直線は一致するため、2つの直線の交点は不定となり、上記2値化の閾値は決定できない)。以下では、この閾値決定原理を、「2分割濃度領域内画素数一定の条件における閾値決定原理」と呼ぶ。
【0041】
以下に、「2分割濃度領域内画素数一定の条件における閾値決定原理」の導出を記す。図3(1)に示すように、濃度uiにおける画素数viは、
とする。h1Aとh2Aには、
(aA +1)h1A+(bA−aA)h2A=NA …(A2)
なる関係がある。ここで、NAは総画素数である。また、整数iは、
0≦i≦bA …(A3)
の範囲にある。また、
ui=i …(A4)
である。
【0042】
このとき、図3(2)に示した閾値xと2値化抽出画素数yの2つの関係式(高閾値領域における直線1A、低閾値領域における直線2A)は、直線1Aについて、
y =−h2Ax + (bA + 1)h2A …(A5)
直線2Aについて、
y =−h1Ax + NA …(A6)
となる。h1A≠h2Aのとき、直線1Aと直線2Aの交点は、(A2),(A5),(A6)式から求まり、交点の閾値xcは、
xc= aA+ 1 …(A7)
となる。このxcを閾値として2値化すれば、図3(1)に示すように、高濃度領域と低濃度領域とを識別できる。
【0043】
「2分割濃度領域内画素数一定の条件」は、画像一般に成り立つものではない。そこで、技術思想として考えると、「背景と認識対象物は濃度領域およびその領域内での濃度分布が異なり、その2つの濃度領域図4における36,37の境界で、「閾値と2値化抽出画素数の相関図」における変曲部が生じる。」と考えることができる。「2分割濃度領域内画素数一定の条件」が満たされる場合には、この変曲部は、上記2つの直線の交点となり、その交点の閾値未満と以上で2つの直線の傾きが異なる。そこで、上記「2分割濃度領域内画素数一定条件における閾値決定原理」で求まる2値化の閾値に相当する閾値を一般の画像に対して以下のようにして求める。以下では、入力画像において、背景が低濃度で認識対象が高濃度であるという前提で本実施の形態を説明する。なお、入力画像において、背景が高濃度で認識対象が低濃度の場合には、予め入力画像に対して白黒反転を実現する線形濃度変換を施しておくことで実施できる。
【0044】
実施の形態を説明するに際して、以下の2つの条件1,2を与える。
条件1
閾値と2値化抽出画素数の相関図を濃度“1”以上に限定する。
【0045】
濃度“0”を閾値とした場合、2値化により全画素に“1”が与えられる。全画素を認識対象とするのは、部分画像を2値化対象とする場合など稀な場合である。また、差分画像を対象とする場合には、差分の値が負の場合に“0”に置きかえる場合が一般的であるため、濃度“0”の画素が極めて多くなる。このように濃度“0”は特別な意味をもつ場合が多いので、閾値と2値化抽出画素数の相関図において、濃度“0”の部分を除外し、濃度1以上を2値化閾値決定の対象範囲とする。
【0046】
条件2
閾値と2値化抽出画素数の相関図の変曲部を2つの直線1,2の交点3から求める。
【0047】
「2分割濃度領域内画素数一定条件における閾値決定原理」では、閾値と2値化抽出画素数の相関図において、2つの直線1,2の交点3の閾値として2値化の閾値が決定できる。
【0048】
一般の画像の場合、「2分割濃度領域内画素数一定の条件」が満たされることは稀であるので、直線1と直線2の交点3に比べて、直線と曲線の交点、または、曲線と曲線の交点、を求める方が、自動2値化の閾値決定に適している場合も考えられる。以下の実施の形態では、簡単化のため2つの直線1,2の交点3から自動2値化の閾値を決定することとする。自動2値化で対象を認識する際の精度向上のため、直線と曲線の交点、または、曲線と曲線の交点を用いる場合も本発明の範囲内である。
【0049】
前述のように、図2(1)の対象画像の濃度ヒストグラムを、図4に示し、図5に、閾値1以上の範囲で求めた2値化閾値と抽出部画素数の相関図および直線1,2と自動2値化の閾値c3を示し、図2(2)に、自動2値化した画像を示す。
【0050】
図6は、処理回路32の動作を簡略化して示すフローチャートである。自動2値化の閾値決定処理の手順を、図6を参照して以下に示す。ステップa1では、高閾値領域の近似式で表される直線の1つの形態として、図5の閾値範囲:[0.5M]〜Mにおける線形回帰直線1の決定を行う。ここで、[x]はxを越えない最大の整数を意味する。
【0051】
図7は、図6のステップa1の処理回路32による具体的な動作を説明するためのフローチャートである。ステップe1において、対象画像での実際の最大濃度値をMとする。閾値と2値化抽出部画素数の相関を求める。この相関を用いて、次のステップe2において、閾値範囲:[0.5M]〜Mにおける閾値xiと2値化抽出部画素数yiの値をもとに、公知の線形回帰分析の方法を用い、ステップe3では、線形回帰直線(式1、以下では、前述のように直線1と呼ぶ)を求める。
y = a* 1x+b* 1 …(1)
ここで、整数iは、
[0.5M]≦i≦M …(2)
の範囲にある。また、
xi = i …(3)
である。
a* 1 = my−b* 1mx …(4)
b* 1 = Sxy/S2 x …(5)
mx = Σxi/(M−[0.5M]+1) …(6)
my = Σyi/(M−[0.5M]+1) …(7)
S2 x = Σ(xi−mx)2 …(8)
Sxy = Σ(xi−mx)(yi−my) …(9)
ここで、式6〜9におけるΣは、式2の範囲での和を略記している。
【0052】
ステップa2では、低濃度領域36に対応した図5の低閾値領域39における近似直線2と自動2値化閾値3の決定を行う。
【0053】
濃度“1”を閾値としたときの2値化抽出画素数をNとする。
図6のステップa2において、求めようとする直線2は、
点C(c,a* 1c+b* 1)、および
点D(1,d)
を通ると仮定して、以下の最適化問題(P)を解くことにより、閾値と2値化抽出部画素数の相関を2つの直線1,2を接続した折れ線で近似するための、低閾値領域39における近似直線(式10、以下では、前述のように直線2と呼ぶ)を決定する。
y = a* 2x+b* 2 …(10)
【0054】
点Cは、ステップa1で直線1を求めるに用いた閾値領域[0.5M]〜Mから、より低閾値な領域に直線1を延長した線上にある。ここで、整数cは、
2≦c≦[0.5M]−1 …(11)
整数dは、
[0.5N]≦d≦[1.5N] …(12)
の範囲にあるとする。
【0055】
P:Min f(c,d) …(13)
f(c,d) = ΣLc|yi−(a2xi+b2)|+ΣHc|yi−(a* 1xi+b* 1)|…(14)
a2 = (a* 1c+b* 1−d)/(c−1) …(15)
b2 = (dc−a* 1c−b* 1)/(c−1) …(16)
a2 ≠ a* 1 …(17)
ここで、整数c,dを変数として、2つの直線1,2を接続した折れ線で閾値と2値化抽出部画素数の相関を近似した際の誤差関数としてf(c,d)を定義する。式14におけるΣLcは、
1≦i≦c−1 …(18)
の範囲での和を略記しており、ΣHcは、
c≦i≦M …(19)
の範囲での和を略記している。整数c,dの全ての組合せを尽くしてf(c,d)の値を計算し、誤差関数f(c,d)の最小値を与えるc、dの値を式15,16に代入することにより得られるa2,b2の値が、各々、a* 2,b* 2であり、この場合のcの値として、自動2値化の閾値が決定される。直線1と直線2が一致すると、交点が不定となってしまうので、式17が制約条件として与えられる。
【0056】
上記実施の形態のステップa1では、線形回帰直線を作成するに用いるデータにおける閾値範囲を[0.5M]〜M(式2)としているが、この範囲を本発明では、限定するものではない。対象に応じてこの範囲を狭めたり、広げたりして、より望ましい2値化閾値を得る方法は、本発明の範囲内である。
【0057】
また、高閾値領域の近似式の1つの形態とし、線形回帰式を用いているが、この方法に本発明を限定するものではない。曲線近似や多項式近似や関数近似など種々の公知の方法を用いることができる。
【0058】
上記実施の形態のステップa2では、2つの直線を接続した折れ線で閾値と2値化抽出部画素数の相関を近似した際の誤差関数f(c,d)において、近似直線と実際の2値化抽出部画素数の差の絶対値を用いたが、この誤差関数に本発明の範囲を限定するものではない、2乗誤差等他の誤差の定義を用いる場合も本発明の範囲内である。また、dは、式12としたが、このdの探索範囲は、本発明を限定するものではない。さらに、計算時間を減らすために、c,dの取り得る値の範囲を絞ることも可能である。たとえば、dの範囲を100等分し、dを実数としてdの取り得る値を101通りにすることも可能である。cの取り得る値の範囲を整数という制約の下に、偶数のみ、または、奇数のみ、に絞るなどすることにより計算時間は短縮される。さらには、cの範囲を100等分し、cを実数としてcの取り得る値を101通りにすることも可能である。この場合には、誤差関数f(c,d)の最小を与える実数cを求め、[c]+1を自動2値化の閾値とすればよい。一般的には、dの式12の範囲([0.5N]〜[1.5N])の方がcの式11の範囲(2〜([0.5M]−1))よりはるかに広いため、計算時間短縮の観点では、dの取り得る値を絞る方が効果的である。また、アニーリング等公知の近似最適化手法を用いることも計算時間の短縮に役立つ。最適化問題Pは、組合せは最適化問題であり、公知の解法を用いることも本発明の範囲内と解される。
【0059】
上記の実施の形態の説明では考慮しなかったが、前述の条件1,2以外に一般的に留意すべき点を述べる。まず、最大濃度の画素数が極めて多い画像もあり得る。このような画像は、(a)画像入力の際に照度が高過ぎる場合のいわゆる「オーバーフロー」などの場合、(b)関数を用いた濃淡画像処理を予備処理として施した場合、の画像であり、濃度諧調が256の場合(最小濃度:0、最大濃度:255)には、最大濃度255をもつ画素が極めて多くなることがある。このような事態は極力さけるべきであるが、やむなくそのような画像を対象とする場合には、閾値と2値化抽出画素数の相関図において、最大濃度値および異常な画素数となる高濃度域を除外して本法を適用すべきである。また、ノイズとして、非常に濃度が高い画素が画像内に存在する場合は、予備処理として、(c)その画素の濃度値を下げたり、(d)閾値と2値化抽出画素数の相関図においてノイズが存在する濃度領域を、自動2値化閾値決定のための計算対象濃度領域から除外する、ことが好ましい。
【0060】
図8は、本件発明者の実験による図2(1)の濃淡画像から得られる前記相関図を示す図である。この実験によって、自動2値化閾値を決定することによって、図2(2)に示されるように高精度の2値画像が得られた。この2値画像から、図2(1)に示される濃淡画像の対象となった人の顔の輪郭が明瞭に把握されることが判る。
【0061】
図9は、本発明の実施の他の形態の撮像手段31としてのスキャナで原稿文書を読取った画像の白黒反転が実現する線形濃度変換を施したときにおける濃度と画素数との濃度ヒストグラムを示す図である。この実施の形態は、前述の実施の形態に類似し、対応する部分には同一の参照符を付す。撮像手段31であるスキャナで文書を入力した画像を2値化対象とする場合には、以下のように処理する必要がある。
【0062】
図10は、本件発明者の実験によって前記スキャナで読取られる原稿文書を示す図である。図10(1)は、文書が白地に黒色の文字が印字された構成を有し、図10(2)では、図10(1)に示される文書の白黒反転が実現する線形濃度変換が施され、黒地に白い文字が印字された構成を有する。以下の実施の形態では、図10(1)に示される白地に黒色の文字が印字された文書を画像として入力し、濃淡反転した図10(2)に示される画像を用いる。この場合、文字等の抽出対象41と背景43の濃度に大きな差があり、その中間の濃度域を独立に取り扱うことができるようにする必要がある。
【0063】
図11(1)に示した濃度ヒストグラムについて考える。濃度ヒストグラムが3つの濃度領域(高濃度領域、中濃度領域、低濃度領域)に分かれ、その各濃度領域において、各濃度に対する画素数が一定の条件で中濃度領域の画素数が0(以下、「3分割濃度領域内画素数一定の条件」と呼ぶ)では、図11(2)のように閾値と2値化抽出画素数の相関が、各閾値領域内で直線関係となり、中閾値領域の直線の傾きが0となる。高閾値領域での直線と中閾値領域での直線の交点の閾値c1Bを求め、中閾値領域の直線と低閾値領域での直線の交点の閾値c2Bを求め、c2B≦c21B≦c1Bなるc21B を2値化の閾値にすることにより、高濃度領域と低濃度領域を識別できることを本発明者らは導いた。以下では、この閾値決定原理を、「3分割濃度領域内画素数一定の条件における閾値決定原理」と呼ぶ。ここで、中濃度領域の各濃度の画素数を0としているが、この値が0でなく、高濃度領域及び低濃度領域の各濃度の画素数より小さい場合には、その値を全濃度領域の画素数から引くことにより、中濃度領域の各濃度の画素数が0の濃度ヒストグラムを得ることができる。一方、高濃度領域または低濃度領域での各濃度の画素数が3つの濃度領域での各濃度の画素数の最小値となる場合も、閾値と2値化抽出画素数の相関が、各閾値領域内で直線関係となる。高閾値領域と中閾値領域での直線の交点の閾値c1Bを求め、中閾値領域と低閾値領域での直線の交点の閾値c2Bを求めることができる。そして、閾値c1Bを用いて2値化することにより、高濃度領域が認識でき、c2 B〜c1B−1の濃度範囲だけを‘1’にすることにより中濃度領域が認識でき、0〜c2B−1の濃度範囲だけを‘1’にすることにより低濃度領域が認識できる(ただし、一定な各濃度画素数の値が2つの隣接する濃度領域で一致する場合には、対応する2つの直線は一致するため、2つの直線の交点は不定となり、対応する閾値(c2Bまたはc1B)は決定できない)。
【0064】
以下に、「3分割濃度領域内画素数一定の条件における閾値決定原理」の導出を記す。図11(1)に示すように、濃度uiにおける画素数viは、
とする。h1Bとh2Bには、
(aB +1)h1B+(bB−cB+1)h2B=NB …(B2)
なる関係がある。ここで、NBは総画素数である。また、整数iは、
0≦i≦bB …(B3)
の範囲にある。また、
ui=i …(B4)
である。
【0065】
このとき、図11(2)に示した閾値xと2値化抽出画素数yの3つの関係式(高閾値領域における直線1B、中閾値領域における直線2B、低閾値領域における直線3B)は、直線1Bについて、
y =−h2Bx + (bB + 1)h2B …(B5)
直線2Bについて、
y =−h2BcB + (bB + 1)h2B …(B6)
直線3Bについて、
y =−h1Bx + NB …(B7)
となる。直線1Bと直線2Bの交点は、(B5),(B6)式から求まり、交点の閾値xc1は、
xc1=cB …(B8)
となる。直線2Bと直線3Bの交点は、(B2),(B6),(B7)式から求まり、交点の閾値xc2は、
xc2=aB + 1 …(B9)
となる。xc2≦c21B≦xc1を満たすc21Bを閾値として2値化すれば、図11(1)から明らかなように、高濃度領域と低濃度領域を識別できる。
【0066】
ここで、中濃度領域の各濃度の画素数が0でなく、高濃度領域及び低濃度領域の各濃度の画素数より小さい場合に、その値を全濃度領域の画素数から引くことにより、中濃度領域の各濃度の画素数が0の濃度ヒストグラムを得て、上記「3分割濃度領域内画素数一定の条件における閾値決定原理」を用いて2値化の閾値を決定する場合を考える。この場合、高閾値領域と中閾値領域での直線の交点の閾値c1Bを求め、中閾値領域と低閾値領域での直線の交点の閾値c2Bを求めることができる。そして、閾値c1Bを用いて2値化することにより、高濃度領域が認識でき、c2B〜c1B−1の濃度範囲だけを‘1’にすることにより中濃度領域が認識でき、0〜c2B−1の濃度範囲だけを‘1’にすることにより低濃度領域が認識できる。3つの濃度領域を別々に認識するこれらの一連の計算は、各濃度領域の各濃度あたりの画素数の大小関係に関わらず同じであるが、後述する実画像の処理の場合、中間閾値領域の直線の傾きを0とすることにより、後述する最適化問題の変数を減らし、その結果、計算時間を減らす効果がある。
【0067】
「3分割濃度領域内画素数一定の条件」は、画像一般には成り立つものではない。そこで、技術思想として、「背景濃度、中間濃度、認識対象物の濃度は値の範囲およびその範囲内での頻度分布が異なり、その3つの濃度領域の境界で、「閾値と2値化抽出画素数の相関図」における変曲部が生じる。」と考えることができる。「3分割濃度領域内画素数一定の条件」が満たされる場合には、この変曲部は、上記隣接領域の2つの直線の交点となり、その交点の閾値未満と以上で直線の傾きが異なる。そこで、上記「3分割濃度領域内画素数一定条件における閾値決定原理」で求まる3値化の閾値に相当する閾値を用いて、一般の画像に対して以下のようにして2値化の閾値を求める。
【0068】
図10(1)のように認識対象が低濃度領域の画素である場合には、図10(2)のように白黒反転を実現する線形濃度変換を行い、認識対象の画素の濃度領域を高濃度領域として、以下の処理を施す。
【0069】
本発明の実施の形態を説明するに際して、以下の3つの条件1a,2a,3aを与える。
【0070】
条件1a
閾値と2値化抽出画素数の相関図を濃度“1”以上に限定する。
この条件1aは、前述の条件1と同一である。
【0071】
条件2a
閾値と2値化抽出画素数の相関図の変曲部を、隣接する閾値領域の2つの直線の交点から求める。
【0072】
「3分割濃度領域内画素数一定条件における閾値決定原理」では、閾値と2値化抽出画素数の相関図において、隣接する閾値領域の2つの直線の交点として3値化の閾値が決定できる。一般の画像の場合、「3分割濃度領域内画素数一定の条件」が満たされることは稀であるので、直線と直線の交点に比べて、直線と曲線の交点、または、曲線と曲線の交点、を求める方が、自動3値化の閾値決定に適している場合も考えられる。以下の実施の形態では、簡単化のため隣接する閾値領域の2つの直線1b,2b;2b,3bの交点C1,C2より3値化の閾値c1,c2を決定することとする。3値化で対象を認識する際の精度向上のため、直線と曲線の交点、または、曲線と曲線の交点を用いる場合も本発明の範囲内である。
【0073】
条件3a
3値化の閾値c1,c2を用いて2値化の閾値cを決定する。
【0074】
中間濃度領域42と認識対象物41の濃度領域の閾値c1を「閾値1」、背景濃度領域43と中間濃度領域42の閾値c2を「閾値2」と呼ぶ。「閾値1」と「閾値2」の平均値を2値化の閾値cとする。これにより、中間濃度領域42の濃度平均値を2値化の閾値cにできる。この平均値が整数でない場合には、小数点以下が0.5となるが、この0.5は切り捨てることとする。「閾値1」を2値化の閾値とすると、下記近似計算の誤差などに起因する「認識もれ」が発生するため、「閾値1」と「閾値2」の平均値を2値化の閾値とする。
【0075】
前述のように図10に対象画像を示し、図9に濃度ヒストグラムを示し、図12に閾値1以上の範囲で求めた2値化閾値と抽出部画素数の相関図および直線1b,2b,3bと自動2値化の閾値cを示す。この場合c=64である。
【0076】
図13は、図9〜10,図12に示される実施の形態における処理回路32の動作を説明するためのフローチャートである。自動2値化の閾値決定処理の手順を以下に示す。
【0077】
図13のステップp1において、濃度ヒストグラムのバックグラウンド削除を行う。
【0078】
図9の対象画像での実際の最大濃度値をMoとする。
[(1/3)Mo] ≦ i ≦ [(2/3)Mo] …(20)
の濃度範囲における各濃度Miの画素数n0iの最低画素数n0を、中間濃度領域の最低画素数と呼ぶ。ここで、[x]は、xを超えない最大の整数を意味する。
【0079】
図14は、図13のステップp1の処理回路32による具体的な動作を説明するためのフローチャートである。ステップq1で定めた中間濃度領域のステップq2で求めた最低画素数n0を、ステップq3において濃度ヒストグラムの各濃度の画素数n0iから引く(ni=n0i−n0)。この処理後の濃度ヒストグラムを、以下では、バックグラウンド削除濃度ヒストグラムと呼ぶ。
【0080】
ステップp2において、高閾値領域における近似式で表される直線または曲線の一形態としての線形回帰直線の決定のためのパラメータ初期値設定を行う。
【0081】
図15は、図13のステップp2の処理回路32による具体的な動作を説明するためのフローチャートである。バックグラウンド削除濃度ヒストグラムを用いて得られる図12に示される2値化閾値と抽出部画素数の相関図において、ステップr1で、高閾値領域における線形回帰直線(以下では、前述のように直線1bと呼ぶ)の決定に用いる閾値の範囲をK〜Mとし、ステップr2では、
K = M …(21)
を初期値として与える。Mは、バックグラウンド削除後の濃度ヒストグラムでの最大濃度値である。ステップr3では、バックグラウンド削除濃度ヒストグラムを用いて作成した閾値と2値化抽出部画素数の相関との近似誤差f* minの初期値を∞(無限大)とし、自動2値化の閾値c*の初期値を[0.5M]とする。
【0082】
ステップp3において、高閾値領域における近似式が表わす直線または曲線の一形態としての線形回帰直線の決定を行う。
【0083】
図16は、図13のステップp3の処理回路32による具体的な動作を説明するためのフローチャートである。ステップs1において、バックグラウンド削除濃度ヒストグラムを用いて得られる図12に示される2値化閾値と抽出部画素数の相関を求め、ステップs2において閾値範囲:K〜Mにおける閾値xiと抽出部画素数yiの値をもとに、公知の線形回帰分析の方法を用い、線形回帰直線(式22、直線1b)を求める。
y = a* 1x+b* 1 …(22)
整数iは、
K ≦ i ≦ M …(23)
の範囲にある。また、
xi = i …(24)
である。ただし、式21の場合は、線形回帰直線を求められないので、
y = b* 1 = yM …(25)
とする。
【0084】
a* 1 = my−b* 1mx …(26)
b* 1 = Sxy/S2 x …(27)
mx = Σxi/(M−K+1) …(28)
my = Σyi/(M−K+1) …(29)
S2 x = Σ(xi−mx)2 …(30)
Sxy = Σ(xi−mx)(yi−my) …(31)
ここで、式28〜31におけるΣは、
K ≦ i ≦ M …(32)
の範囲での和を略記している。
【0085】
ステップp4において、中閾値領域、低閾値領域における近似直線と自動2値化閾値の決定を行う。
【0086】
図17は、図13のステップp4の処理回路32による具体的な動作を説明するためのフローチャートである。バックグラウンド削除後の閾値と2値化抽出部画素数の相関図において、ステップu1で、求めようとする近似直線2bは、中閾値領域では、
y = yc(定数) …(33)
式33を、以下では、前述のように直線2bと呼ぶ。
【0087】
低閾値領域では、
y = a* 3x+b* 3 …(34)
(以下では、直線3bと呼ぶ)で表す。直線1と直線2は、点C1(c1,yc)で交わる。ここで、
yc = a* 1c1+b* 1 …(35)
であり、c1が「閾値1」である。また、直線2bと直線3bは、
点C2(c2,a* 1c1+b* 1)で交わり、
c2 = (a* 1c1+b* 1−b* 3)/a* 3 …(36)
となり、c2が「閾値2」である。そして、
c = [(c1+c2)/2]
= [{(a* 1+a* 3)c1+b* 1−b* 3}/(2a* 3)]…(37)
となる。a* 1とb* 1は、ステップp3で決定されている。そこで、c1,a* 3,b* 3を以下のようにして決定し、cを求める。
【0088】
直線3bは、
点C2(c2,a* 1c+b* 1)
= ((a* 1c1+b* 1−b* 3)/a* 3,a* 1c+b* 1)…(38)
および点D(1,d)を通ると仮定して、以下の最適化問題(P2)を解くことにより、バックグラウンド削除後の閾値と2値化抽出部画素数の相関を3つの直線を接続した折れ線で近似するための、中閾値領域での式35の近似直線
y = yc = a* 1c1+b* 1 …(39)
および低閾値領域での式34の近似直線を決定する。点C1は、ステップp3で直線1bを求めるに用いた閾値範囲から、より低閾値領域に直線1bを延長した線上にある。整数c1は、
[0.5M] ≦ c1 ≦ K …(40)
整数c2は、
2 ≦ c2 ≦ c1 …(41)
整数dは、
[0.5N] ≦ d ≦ [1.5N] …(42)
の範囲にあるとする。ここで、濃度“1”を閾値としたときの2値化抽出画素数をNとする。
【0089】
P2:Min f(c1,c2,d) …(43)
f(c1,c2,d) = ΣLc|yi−(a3xi+b3)|
+ΣMc|yi−(a* 1c1+b* 1)|
+ΣHc|yi−(a* 1xi+b* 1)|
…(44)
a3 = (a* 1c1+b* 1−d)/(c2−1) …(45)
b3 = (dc2−a* 1c1−b* 1)/(c2−1) …(46)
a3 ≠ 0 …(47)
ここで、図17のステップu1において、整数c1,c2,dを変数として、3つの直線1b,2b,3bを接続した折れ線で閾値と2値化抽出部画素数の相関を近似した際の誤差関数としてf(c1,c2,d)を定義する。式44におけるΣLcは、
1 ≦ i ≦ c2−1 …(48)の範囲での和を略記しており、ΣMcは、
c2 ≦ i ≦ c1−1 …(49)
の範囲での和を略記している。ただし、
c2 = c1 …(50)
の場合は、式44の右辺第2項は削除する。
【0090】
ΣHcは、
c1 ≦ i ≦ M …(51)
の範囲での和を略記している。ただし、前述の式21の場合は、直線1bを求められないので、式44の右辺第3項は0とする。
【0091】
整数c1,c2,dの全ての組合せを尽くしてf(c1,c2,d)の値を計算し、ステップu1において、f(c1,c2,d)の最小値を与えるc1,c2,dの値を式45,46に代入することにより得られるa3,b3の値が、各々、a* 3,b* 3であり、ステップu2において、この場合の
c = [(c1+c2)/2] …(52)
の値として、cが決定される。直線2bと直線3bが一致すると、交点が不定となってしまうので、式47が制約条件として与えられる。
【0092】
図13のステップp5において、f(c1,c2,d)の最小値をfminとして、
fmin < f* min …(53)
ならば、f* minをfminに更新し、c*をcに更新する。
【0093】
図13のステップp6では、終了判定を行う。
K = [0.5M] …(54)
ならば終了する。このステップp6において、
K > [0.5M] …(55)
ならば、ステップp7においてKをK−1に更新し、ステップp3へ戻る。
【0094】
なお、本実施形態の前処理として、予め画像の白黒反転を実現する線形濃度変換が施されている場合には、2値化処理後に再度画像の白黒反転を実現する線形濃度変換を施した2値画像が最終的な2値画像となる。
【0095】
上記実施の形態では、線形回帰直線を作成するに用いるデータにおける閾値範囲をK〜M、
[0.5M] ≦ K ≦ M …(56)
としているが、この範囲を本発明は限定するものではない。対象に応じてこの範囲を広げて、より望ましい2値化閾値を得る方法は、本発明の範囲内である。また、この範囲を狭めて、計算時間の短縮を行う方法も本発明の範囲内である。
【0096】
上記本発明の実施の形態における図13のステップp4では、3つの直線を接続した折れ線で閾値と2値化抽出部画素数の相関を近似した際の誤差関数f(c1,c2,d)において、近似直線と実際の2値化抽出部画素数の差の絶対値を用いたが、この誤差関数に本発明を限定するものではない、2乗誤差等他の誤差の定義を用いる場合も本発明の範囲内である。また式42としたが、このdの探索範囲は、本発明では限定するものではない。さらに、計算時間を減らすために、c1,c2,dの取り得る値を絞ることも可能である。たとえば、dの範囲を100等分し、dを実数としてdの取り得る値を101通りにすることも可能である。c1,c2の取り得る値を整数という制約の下に、偶数のみ、または、奇数のみ、に絞るなどすることにより計算時間は短縮される。
【0097】
さらには、c1,c2の範囲を100等分し、c1,c2を実数としてc1,c2の取り得る値を各々101通りにすることも可能である。この場合には、誤差関数f(c1,c2,d)の最小を与える実数c1,c2を求め、
c = [(c1+c2)/2] …(57)
とすればよい。一般的には、dの範囲([0.5N]〜[1.5N])の方がc1,c2の範囲よりはるかに広いため、計算時間短縮の観点では、dの取りえる値を絞る方が効果的である。また、アニーリング等公知の近似最適化手法を用いることも計算時間の短縮に役立つ。最適化問題P2は、組合せ最適化問題であり、公知の解法を用いることも本発明の範囲内と解される。
【0098】
上記の実施の形態の説明では考慮しなかったが、前述の条件1a,2a,3a以外に、一般的に留意すべき点を述べる。まず、最大濃度の画素数が極めて多い画像もあり得る。このような画像は、(1)画像入力の際に照度が高過ぎる場合のいわゆる「オーバーフロー」などの場合、(2)関数を用いた濃淡画像処理を予備処理として施した場合、の画像であり、濃度諧調が256の場合(最小濃度:0、最大濃度:255)には、最大濃度255をもつ画素が極めて多くなることがある。このような事態は極力さけるべきであるが、やむなくそのような画像を対象とする場合には、閾値と2値化抽出画素数の相関図において、最大濃度値および異常な画素数となる高濃度域を除外して本法を適用すべきである。また、ノイズとして、非常に濃度が高い画素が画像内に存在する場合は、予備処理として、(1)その画素の濃度値を下げたり、(2)閾値と2値化抽出画素数の相関図においてノイズが存在する濃度領域を、自動2値化閾値決定のための計算対象濃度領域から除外する、ことが好ましい。
【0099】
図18は、本件発明者の実験による図9、図10、図12〜図17の実施の形態における実験結果を示す図である。前述の図10(1)に示される原稿文書に画像の白黒反転が実現する線形濃度変換を施して図10(2)を得て、本件発明によって適切な自動2値化の閾値cを決定して2値化を行った結果、図18(1)に示される明瞭な高精度の2値画像が得られた。それに画像の白黒反転が実現する線形濃度変換を施すことにより図18(2)に示される明瞭な高精度の2値画像が得られた。こうして本発明によれば、正確な高精度の自動2値化が実現することが確認された。
【0100】
【発明の効果】
本発明によれば、濃淡画像を正確に高精度で2値化することが自動的に可能になり、これによって2値化された対象画像の認識を高精度で行うことができ、たとえば防犯システムおよび産業用ロボットなどにおける物体の認識が正確になり、また顔認証システムの顔認証精度を向上することなどが、可能になる。
【0101】
また本発明によれば、さらにスキャナなどで入力した文章画像なども高精度で自動2値化することが可能になる。
【図面の簡単な説明】
【図1】本発明の実施の一形態のハード構成とデータの流れを簡略化して示す図である。
【図2】本発明の動作を説明するための図である。
【図3】本発明の原理を説明するための図である。
【図4】撮像手段31から得られる図2(1)に示される濃淡画像の濃度ヒストグラムを示す図である。
【図5】濃淡画像の2値化閾値と2値化抽出画素数の相関図を示す図である。
【図6】処理回路32の1つの実施の形態の動作を簡略化して示すフローチャートである。
【図7】図6のステップa1の処理回路32による具体的な動作を説明するためのフローチャートである。
【図8】本件発明者の実験による図2(1)の濃淡画像から得られる前記相関図を示す図である。
【図9】本発明の実施の他の形態の撮像手段31としてのスキャナで原稿文書を読取り、画像の白黒反転が実現する線形濃度変換を施したときにおける濃度と画素数との濃度ヒストグラムを示す図である。
【図10】本件発明者の実験によって前記スキャナで読取られる原稿文書を示す図(図10(1))および原稿文書画像の白黒反転が実現する線形濃度変換を施した図(図10(2))である。
【図11】本発明の原理を説明するための図である。
【図12】図9および図10(2)に示される実施の形態における閾値とその閾値以上の濃度を有する累積画素数との相関図を示す図である。
【図13】図9,図10,図12に示される実施の形態における処理回路32の動作を説明するためのフローチャートである。
【図14】図13のステップp1の処理回路32による具体的な動作を説明するためのフローチャートである。
【図15】図13のステップp2の処理回路32による具体的な動作を説明するためのフローチャートである。
【図16】図13のステップp3の処理回路32による具体的な動作を説明するためのフローチャートである。
【図17】図13のステップp4の処理回路32による具体的な動作を説明するためのフローチャートである。
【図18】本件発明者の実験による図9,図10,図12〜図17の実施の形態における実験結果を示す図である。
【符号の説明】
31 撮像手段
32 処理回路
33 メモリ
34 表示手段
35 プリンタ
36 低濃度領域
37 高濃度領域
38 高閾値領域
39 低閾値領域
41 高濃度領域
42 中濃度領域
43 低濃度領域
Claims (12)
- 濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成手段と、
相関作成手段を用いて作成された相関図において、閾値に関して高閾値領域と低閾値領域とに2分割するために、高閾値領域の近似式を求める高閾値近似式決定手段と、
低閾値領域の近似式を求める低閾値近似式決定手段と、
高閾値近似式決定手段と低閾値近似式決定手段との出力に応答し、高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値を、高閾値領域と低閾値領域を分ける自動2値化の閾値として決定する手段と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する手段とを含むことを特徴とする画像の2値化装置。 - 高閾値近似式決定手段は、高閾値領域の近似式として回帰式を用い、
回帰式決定において、濃淡画像の最大濃度からその最大値のほぼ1/2までの濃度の範囲を回帰式決定のための演算対象とすることを特徴とする請求項1記載の画像の2値化装置。 - 低閾値近似式決定手段は、高閾値領域の近似式で表される直線または曲線上の複数の第1の点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第2の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求めた複数の各式と高閾値領域の近似式で表される折れ線と、前記相関との各誤差を求め、
誤差の最小を与える低閾値領域の式を、近似式として決定することを特徴とする請求項1または2記載の画像の2値化装置。 - 濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成手段と、
相関作成手段を用いて作成された相関図において、閾値に関して高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の近似式を求める高閾値近似式決定手段と、
中閾値領域の近似式を求める中閾値近似式決定手段と、
低閾値領域の近似式を求める低閾値近似式決定手段と、
高閾値近似式決定手段と中閾値近似式決定手段との出力に応答し、高閾値近似式で表される直線または曲線と中閾値近似式で表される直線または曲線との第1の交点の閾値を求め、高閾値領域と中閾値領域を分ける第1交点決定手段と、
中閾値近似式決定手段と低閾値近似式決定手段との出力に応答し、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求め、中閾値領域と低閾値領域を分ける第2交点決定手段と、
第1および第2交点決定手段の出力に応答し、第1および第2交点の閾値のほぼ平均付近の値を、自動2値化の閾値として決定する手段と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する手段とを含むことを特徴とする画像の2値化装置。 - 高閾値近似式決定手段は、高閾値領域の近似式として回帰式を用い、
濃淡画像の最大濃度のほぼ1/3〜ほぼ2/3の濃度の中濃度領域の各濃度毎の画素数のうち、最小画素数を、濃度ヒストグラムにおいて全ての各濃度にわたって減算するバックグラウンド削除を施し、
バックグラウンド削除後の濃度の各閾値と、その閾値以上の累積画素数との前記相関を作成し、
高閾値近似式決定手段では、相関作成手段を用いて作成された相関図において、高閾値領域の回帰式を求め、
中閾値近似式決定手段と低閾値近似式決定手段とは、前記相関図において、中閾値近似式と低閾値近似式とをそれぞれ決定することを特徴とする請求項4記載の画像の2値化装置。 - 中閾値近似式決定手段において、中閾値領域の近似式を、累積画素数一定とした直線として決定し、
第1交点決定手段は、前記高閾値領域近似式で表される直線または曲線と中閾値領域の複数の近似式で表される直線との第1の交点を複数求め、
低閾値近似式決定手段において、中閾値領域の各近似式で表される直線上の複数の第2の交点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第3の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求められた複数の各式と中閾値領域の複数の近似式と高閾値領域の複数の近似式で表される複数の折れ線と前記相関との各誤差を求め、
誤差の最小を与える、高閾値領域の近似式と中閾値領域の近似式と低閾値領域の近似式とを決定し、
第1交点決定手段は、高閾値領域の近似式で表される直線または曲線と中閾値領域の近似式で表される直線または曲線との第1交点を求め、
第2交点決定手段は、中閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との第2交点を求めることを特徴とする請求項4または5記載の画像の2値化装置。 - 濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成工程と、
相関作成工程で作成された相関に基づく相関図において、閾値に関して高閾値領域と低閾値領域とに2分割するために、高閾値領域の近似式を求める高閾値近似式決定工程と、
低閾値領域の近似式を求める低閾値近似式決定工程と、
高閾値近似式決定工程と低閾値近似式決定工程とで求められた近似式に基づいて、高閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との交点の閾値を、高閾値領域と低閾値領域を分ける自動2値化の閾値として決定する工程と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する工程とを含むことを特徴とする画像の2値化方法。 - 高閾値近似式決定工程では、高閾値領域の近似式として回帰式を用い、
回帰式決定において、濃淡画像の最大濃度からその最大値のほぼ1/2までの濃度の範囲を回帰式決定のための演算対象とすることを特徴とする請求項7記載の画像の2値化方法。 - 低閾値近似式決定工程では、高閾値領域の近似式で表される直線または曲線上の複数の第1の点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第2の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求めた複数の各式と高閾値領域の近似式で表される折れ線と、前記相関との各誤差を求め、
誤差の最小を与える低閾値領域の式を、近似式として決定することを特徴とする請求項7または8記載の画像の2値化方法。 - 濃淡画像の濃度の各閾値と、その閾値以上の累積画素数との相関を作成する相関作成工程と、
相関作成工程で作成された相関に基づく相関図において、閾値に関して高閾値領域と中閾値領域と低閾値領域とに3分割するために、高閾値領域の近似式を求める高閾値近似式決定工程と、
中閾値領域の近似式を求める中閾値近似式決定工程と、
低閾値領域の近似式を求める低閾値近似式決定工程と、
高閾値近似式決定工程と中閾値近似式決定工程とで求められた近似式に基づいて、高閾値近似式で表される直線または曲線と中閾値近似式で表される直線または曲線との第1の交点の閾値を求め、高閾値領域と中閾値領域を分ける第1交点決定工程と、
中閾値近似式決定工程と低閾値近似式決定工程とで求められた近似式に基づいて、中閾値近似式で表される直線または曲線と低閾値近似式で表される直線または曲線との第2の交点の閾値を求め、中閾値領域と低閾値領域を分ける第2交点決定工程と、
第1および第2交点決定工程で求められた閾値に基づき、第1および第2交点の閾値のほぼ平均付近の値を、自動2値化の閾値として決定する工程と、
前記決定された自動2値化の閾値によって前記濃淡画像を2値化する工程とを含むことを特徴とする画像の2値化方法。 - 高閾値近似式決定工程では、高閾値領域の近似式として回帰式を用い、
濃淡画像の最大濃度のほぼ1/3〜ほぼ2/3の濃度の中濃度領域の各濃度毎の画素数のうち、最小画素数を、濃度ヒストグラムにおいて全ての各濃度にわたって減算するバックグラウンド削除を施し、
バックグラウンド削除後の濃度の各閾値と、その閾値以上の累積画素数との前記相関を作成し、
高閾値近似式決定工程では、相関作成手段を用いて作成された相関図において、高閾値領域の回帰式を求め、
中閾値近似式決定工程と低閾値近似式決定工程とでは、前記相関図において、中閾値近似式と低閾値近似式とをそれぞれ決定することを特徴とする請求項10記載の画像の2値化方法。 - 中閾値近似式決定工程において、中閾値領域の近似式を、累積画素数一定とした直線として決定し、
第1交点決定工程では、前記高閾値領域近似式で表される直線または曲線と中閾値領域の複数の近似式で表される直線との第1の交点を複数求め、
低閾値近似式決定工程において、中閾値領域の各近似式で表される直線上の複数の第2の交点と、低閾値領域の最小閾値付近の閾値と累積画素数の値で決まる複数の第3の点とをそれぞれ通る複数の直線または曲線の式を求め、
こうして求められた複数の各式と中閾値領域の複数の近似式と高閾値領域の複数の近似式で表される複数の折れ線と前記相関との各誤差を求め、
誤差の最小を与える、高閾値領域の近似式と中閾値領域の近似式と低閾値領域の近似式を決定し、
第1交点決定工程では、高閾値領域の近似式で表される直線または曲線と中閾値領域の近似式で表される直線または曲線との第1交点を求め、
第2交点決定工程では、中閾値領域の近似式で表される直線または曲線と低閾値領域の近似式で表される直線または曲線との第2交点を求めることを特徴とする請求項10または11記載の画像の2値化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002344185A JP2004180000A (ja) | 2002-11-27 | 2002-11-27 | 画像の2値化装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002344185A JP2004180000A (ja) | 2002-11-27 | 2002-11-27 | 画像の2値化装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004180000A true JP2004180000A (ja) | 2004-06-24 |
JP2004180000A5 JP2004180000A5 (ja) | 2005-07-07 |
Family
ID=32705750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002344185A Pending JP2004180000A (ja) | 2002-11-27 | 2002-11-27 | 画像の2値化装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004180000A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331018A (ja) * | 2005-05-25 | 2006-12-07 | Sharp Manufacturing System Corp | 画像処理装置および画像処理方法 |
WO2007063705A1 (ja) * | 2005-11-29 | 2007-06-07 | Nec Corporation | パターン認識装置、パターン認識方法、およびパターン認識プログラム |
CN101042735B (zh) * | 2006-03-23 | 2010-11-17 | 株式会社理光 | 图像二值化方法和装置 |
US8531744B2 (en) | 2009-07-21 | 2013-09-10 | Fuji Xerox Co., Ltd. | Image defect diagnostic system, image forming apparatus, image defect diagnostic method and computer readable medium |
CN105447491A (zh) * | 2014-07-25 | 2016-03-30 | 北京大学深圳研究生院 | 标识牌图像二值化方法及其装置 |
CN110991434A (zh) * | 2019-11-19 | 2020-04-10 | 国网浙江省电力有限公司宁波供电公司 | 自助终端证件识别方法及装置 |
-
2002
- 2002-11-27 JP JP2002344185A patent/JP2004180000A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331018A (ja) * | 2005-05-25 | 2006-12-07 | Sharp Manufacturing System Corp | 画像処理装置および画像処理方法 |
JP4741289B2 (ja) * | 2005-05-25 | 2011-08-03 | シャープ株式会社 | 画像処理装置および画像処理方法 |
WO2007063705A1 (ja) * | 2005-11-29 | 2007-06-07 | Nec Corporation | パターン認識装置、パターン認識方法、およびパターン認識プログラム |
US8014601B2 (en) | 2005-11-29 | 2011-09-06 | Nec Corporation | Pattern recognizing apparatus, pattern recognizing method and pattern recognizing program |
JP4968075B2 (ja) * | 2005-11-29 | 2012-07-04 | 日本電気株式会社 | パターン認識装置、パターン認識方法、およびパターン認識プログラム |
CN101042735B (zh) * | 2006-03-23 | 2010-11-17 | 株式会社理光 | 图像二值化方法和装置 |
US8531744B2 (en) | 2009-07-21 | 2013-09-10 | Fuji Xerox Co., Ltd. | Image defect diagnostic system, image forming apparatus, image defect diagnostic method and computer readable medium |
CN105447491A (zh) * | 2014-07-25 | 2016-03-30 | 北京大学深圳研究生院 | 标识牌图像二值化方法及其装置 |
CN110991434A (zh) * | 2019-11-19 | 2020-04-10 | 国网浙江省电力有限公司宁波供电公司 | 自助终端证件识别方法及装置 |
CN110991434B (zh) * | 2019-11-19 | 2023-07-14 | 国网浙江省电力有限公司宁波供电公司 | 自助终端证件识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3768052B2 (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
KR100512831B1 (ko) | 이미지 처리 방법, 장치 및 프로그램 저장 매체 | |
US6970606B2 (en) | Automatic image quality evaluation and correction technique for digitized and thresholded document images | |
US8385643B2 (en) | Determination of inputted image to be document or non-document | |
EP0712094A2 (en) | A multi-windowing technique for threshholding an image using local image properties | |
US6798906B1 (en) | Image processing apparatus and method including line segment data extraction | |
JP2011044146A (ja) | プリントアンドスキャン文書の画像評価のためのボケ除去および監視適応的スレッショルディング | |
JP2009032299A (ja) | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 | |
JP2004180000A (ja) | 画像の2値化装置および方法 | |
JP2004104635A (ja) | 画像処理装置 | |
JP2871601B2 (ja) | 文字列検出装置及び方法 | |
JP2010225047A (ja) | ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体 | |
JP2001222683A (ja) | 画像処理方法、画像処理装置、文字認識方法、文字認識装置及び記憶媒体 | |
JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
RU2520407C1 (ru) | Способ и система улучшения текста при цифровом копировании печатных документов | |
JP4741289B2 (ja) | 画像処理装置および画像処理方法 | |
JP4324532B2 (ja) | 画像処理装置および記憶媒体 | |
KR100288706B1 (ko) | 고립점 노이즈를 제거한 국부 이치화 방법 | |
JP2008123400A (ja) | 画像認識装置、電子機器、画像認識方法、制御プログラム及び記録媒体 | |
JP2001291056A (ja) | 文書画像認識装置及び記録媒体 | |
JP2003244440A (ja) | 画像処理方法、画像処理装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
JP2000331118A (ja) | 画像処理装置及び記録媒体 | |
JP2003046781A (ja) | 画像処理方法及び装置 | |
JPH08221515A (ja) | 画像処理装置 | |
KR100484170B1 (ko) | 디지털 화질 개선방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20041101 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051129 |