JP2000175038A - 領域ベ―スのイメ―ジ２値化システム - Google Patents
領域ベ―スのイメ―ジ２値化システムInfo
- Publication number
- JP2000175038A JP2000175038A JP11343264A JP34326499A JP2000175038A JP 2000175038 A JP2000175038 A JP 2000175038A JP 11343264 A JP11343264 A JP 11343264A JP 34326499 A JP34326499 A JP 34326499A JP 2000175038 A JP2000175038 A JP 2000175038A
- Authority
- JP
- Japan
- Prior art keywords
- image
- binary
- photographic
- grayscale
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/162—Quantising the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
(57)【要約】
【課題】 全体的ピクセル連結度に基づいて写真領域を
発見するトップダウン式ゼグメント化方法を提供する。 【解決手段】 領域ベース２値化システムは、グレース
ケール・イメージに対して適応スレッショルド化および
イメージ・レンダリングを適用して、第１及び第２の２
値イメージを生成する。前記グレースケール・イメージ
はサブサンプリングされて低解像度イメージが得られ、
写真イメージの位置は上記低解像度イメージ中で検出さ
れる。更に、検出された写真イメージの内で矩形状を有
する写真イメージが識別されると共に、前記矩形状写真
イメージにおけるピクセルを残りのピクセルから区別す
る分類マップが生成される。次に、上記分類マップに基
づき、前記第１及び第２の２値イメージから最終的２値
イメージが形成され得る。
発見するトップダウン式ゼグメント化方法を提供する。 【解決手段】 領域ベース２値化システムは、グレース
ケール・イメージに対して適応スレッショルド化および
イメージ・レンダリングを適用して、第１及び第２の２
値イメージを生成する。前記グレースケール・イメージ
はサブサンプリングされて低解像度イメージが得られ、
写真イメージの位置は上記低解像度イメージ中で検出さ
れる。更に、検出された写真イメージの内で矩形状を有
する写真イメージが識別されると共に、前記矩形状写真
イメージにおけるピクセルを残りのピクセルから区別す
る分類マップが生成される。次に、上記分類マップに基
づき、前記第１及び第２の２値イメージから最終的２値
イメージが形成され得る。
Description
【０００１】
【発明の属する技術分野】本発明は、混合形式の文書に
対して最適な２値イメージ品質を提供する領域ベースの
２値化システムに関する。
対して最適な２値イメージ品質を提供する領域ベースの
２値化システムに関する。
【０００２】
【従来の技術】雑誌の頁には、テキスト、線画及びグラ
フィックスに混じり写真が印刷されていることが多い。
斯かる頁がスキャナにより電子的にキャプチャされると
き、キャプチャされたグレースケール・イメージ(grey
scale image)を、出力におけるイメージの複調表示(bit
onal representation)へと変換する２値化プロセスが必
要である。而して、イメージ２値化技術には一般的に２
つの種類がある。ひとつは、主としてテキスト及び線画
を含む種類の文書に対して良好な、適応スレッショルド
化技術(adaptive thresholding technique) と称され
る。他方は、２値フォーマットの形態でグレーの陰影を
再現するディザ(dither)もしくはエラー拡散(error dif
fusion) 技術である。これは写真イメージを２値化する
上で有効である。キャプチャされた文書イメージ中にテ
キスト及び写真が含まれた混合形式の文書の場合、上記
の２つの２値化方法はいずれも、テキスト及び写真の満
足なイメージ品質を生成し得ない。この問題に対する公
知の解決策は、最適なイメージ品質を得るべく夫々の領
域に対して別個の２値化プロセスを適用し得る如く、キ
ャプチャされたデジタル・イメージを写真及びテキスト
の領域にセグメント化することである。
フィックスに混じり写真が印刷されていることが多い。
斯かる頁がスキャナにより電子的にキャプチャされると
き、キャプチャされたグレースケール・イメージ(grey
scale image)を、出力におけるイメージの複調表示(bit
onal representation)へと変換する２値化プロセスが必
要である。而して、イメージ２値化技術には一般的に２
つの種類がある。ひとつは、主としてテキスト及び線画
を含む種類の文書に対して良好な、適応スレッショルド
化技術(adaptive thresholding technique) と称され
る。他方は、２値フォーマットの形態でグレーの陰影を
再現するディザ(dither)もしくはエラー拡散(error dif
fusion) 技術である。これは写真イメージを２値化する
上で有効である。キャプチャされた文書イメージ中にテ
キスト及び写真が含まれた混合形式の文書の場合、上記
の２つの２値化方法はいずれも、テキスト及び写真の満
足なイメージ品質を生成し得ない。この問題に対する公
知の解決策は、最適なイメージ品質を得るべく夫々の領
域に対して別個の２値化プロセスを適用し得る如く、キ
ャプチャされたデジタル・イメージを写真及びテキスト
の領域にセグメント化することである。
【０００３】公知のセグメント化方法は、混合形式の文
書を４×４ブロックに分割し、各ブロックをテキストま
たはイメージに分類し、ブロックのショートラン(short
run) を排除することにより分類を改良するものである
( 例えば、Chen et al. に対する米国特許第4,668 ，99
5 号を参照されたい) 。イメージ・ラインのブロックは
分類された後、夫々異った２値化プロセスが適用され
る。別の公知の方法は、各走査線に対するランレングス
(run length)を抽出し、それらのランレングスから矩形
(rectangle) を構成し、次に各矩形をテキストまたは非
テキストに分類し、最後には関連テキスト・ブロックを
テキスト領域へと併合することにより、イメージをセグ
メント化している( 例えば、Cullenその他に対する米国
特許第5,335,290 号を参照されたい) 。
書を４×４ブロックに分割し、各ブロックをテキストま
たはイメージに分類し、ブロックのショートラン(short
run) を排除することにより分類を改良するものである
( 例えば、Chen et al. に対する米国特許第4,668 ，99
5 号を参照されたい) 。イメージ・ラインのブロックは
分類された後、夫々異った２値化プロセスが適用され
る。別の公知の方法は、各走査線に対するランレングス
(run length)を抽出し、それらのランレングスから矩形
(rectangle) を構成し、次に各矩形をテキストまたは非
テキストに分類し、最後には関連テキスト・ブロックを
テキスト領域へと併合することにより、イメージをセグ
メント化している( 例えば、Cullenその他に対する米国
特許第5,335,290 号を参照されたい) 。
【０００４】
【発明が解決しようとする課題】上述した２つのセグメ
ント化方法は、情報をピクセル毎にもしくは小さなブロ
ック毎にセグメント化することにより開始し、領域へ展
開して行くというボトムアップ式のセグメント化方法に
言及している。これらの方法はロバストでなく分類エラ
ーを生じ易い、と言うのも、テキストまたは非テキスト
の分類が局所的情報のみに基づくからである。
ント化方法は、情報をピクセル毎にもしくは小さなブロ
ック毎にセグメント化することにより開始し、領域へ展
開して行くというボトムアップ式のセグメント化方法に
言及している。これらの方法はロバストでなく分類エラ
ーを生じ易い、と言うのも、テキストまたは非テキスト
の分類が局所的情報のみに基づくからである。
【０００５】本発明の目的は、全体的ピクセル連結度(g
lobal pixel connectivity) に基づいて写真領域を発見
するトップダウン式セグメント化方法を提供すると共
に、セグメント化した結果を使用して最適な２値イメー
ジ品質を獲得する領域ベース２値化システムを提案する
にある。
lobal pixel connectivity) に基づいて写真領域を発見
するトップダウン式セグメント化方法を提供すると共
に、セグメント化した結果を使用して最適な２値イメー
ジ品質を獲得する領域ベース２値化システムを提案する
にある。
【０００６】
【課題を解決するための手段】本発明は領域ベース２値
化システムに関するが、該システムは、適応スレッショ
ルド化と、エラー拡散( またはディザ) などのイメージ
・レンダリングとを個々に適用し、グレースケール・イ
メージから２つの２値イメージを生成し、低解像度イメ
ージで写真イメージの位置を検出し、矩形の形状もしく
は境界を有する写真イメージを識別し、写真ピクセルを
“１”、非写真ピクセルを“０”としてマークする分類
ビットマップを生成し、且つ、記憶された２つの２値イ
メージから分類マップに基づいて最終的２値イメージを
組立てるものである。
化システムに関するが、該システムは、適応スレッショ
ルド化と、エラー拡散( またはディザ) などのイメージ
・レンダリングとを個々に適用し、グレースケール・イ
メージから２つの２値イメージを生成し、低解像度イメ
ージで写真イメージの位置を検出し、矩形の形状もしく
は境界を有する写真イメージを識別し、写真ピクセルを
“１”、非写真ピクセルを“０”としてマークする分類
ビットマップを生成し、且つ、記憶された２つの２値イ
メージから分類マップに基づいて最終的２値イメージを
組立てるものである。
【０００７】写真検出プロセスは、全体的スレッショル
ド化を使用して低解像度グレースケール・イメージを２
値イメージへと変換する段階と、細線と、文字の大多数
とを除去すべく２値イメージ浸食プロセス(binary imag
e erosion process)を実行する段階と、連結成分分析(c
onnected component analysis)を適用してオブジェクト
を発見する段階と、サイズ・フィルタを使用して小寸オ
ブジェクトを排除する段階とを備えている。大寸オブジ
ェクトの位置は、写真の位置と見なされる。
ド化を使用して低解像度グレースケール・イメージを２
値イメージへと変換する段階と、細線と、文字の大多数
とを除去すべく２値イメージ浸食プロセス(binary imag
e erosion process)を実行する段階と、連結成分分析(c
onnected component analysis)を適用してオブジェクト
を発見する段階と、サイズ・フィルタを使用して小寸オ
ブジェクトを排除する段階とを備えている。大寸オブジ
ェクトの位置は、写真の位置と見なされる。
【０００８】本発明はまた、グレースケール・イメージ
を第１及び第２の２値イメージに変換する段階と、グレ
ースケール・イメージにおける写真イメージの位置を検
出する段階と、検出された写真イメージの内で矩形境界
を有する写真イメージを識別する段階と、矩形境界を有
する写真イメージ中のピクセルを残りのピクセルから区
別する分類マップを生成する段階と、上記分類マップに
基づいて上記第１及び第２の２値イメージから最終的２
値イメージを形成する段階とを備えた領域ベース２値化
プロセスに関している。
を第１及び第２の２値イメージに変換する段階と、グレ
ースケール・イメージにおける写真イメージの位置を検
出する段階と、検出された写真イメージの内で矩形境界
を有する写真イメージを識別する段階と、矩形境界を有
する写真イメージ中のピクセルを残りのピクセルから区
別する分類マップを生成する段階と、上記分類マップに
基づいて上記第１及び第２の２値イメージから最終的２
値イメージを形成する段階とを備えた領域ベース２値化
プロセスに関している。
【０００９】本発明は更に、イメージをキャプチャする
段階と、キャプチャされたイメージにおける写真イメー
ジの位置を検出する段階と、検出された写真イメージの
内で矩形境界を有する写真イメージを識別する段階と、
上記写真イメージにおいて矩形境界を有する写真ピクセ
ルを非写真ピクセルから区別する分類マップを生成する
段階と、上記分類マップに基づいて最終的２値イメージ
を形成する段階とを備えた領域ベース２値化プロセスに
関している。
段階と、キャプチャされたイメージにおける写真イメー
ジの位置を検出する段階と、検出された写真イメージの
内で矩形境界を有する写真イメージを識別する段階と、
上記写真イメージにおいて矩形境界を有する写真ピクセ
ルを非写真ピクセルから区別する分類マップを生成する
段階と、上記分類マップに基づいて最終的２値イメージ
を形成する段階とを備えた領域ベース２値化プロセスに
関している。
【００１０】本発明は更に、イメージをキャプチャする
イメージ・キャプチャ部分と、キャプチャされたイメー
ジを、該キャプチャされたイメージを表すデジタル・イ
メージ情報に変換する変換部分と、上記デジタル・イメ
ージ情報を処理して上記キャプチャされたイメージにお
ける写真イメージの位置を検出すると共に、検出された
写真イメージの内で矩形境界を有する写真イメージを識
別し、且つ、上記矩形境界を有する写真イメージの内の
ピクセルを残りのピクセルから区別する分類マップを生
成する処理部分とを備えたイメージ・キャプチャ・アセ
ンブリに関する。
イメージ・キャプチャ部分と、キャプチャされたイメー
ジを、該キャプチャされたイメージを表すデジタル・イ
メージ情報に変換する変換部分と、上記デジタル・イメ
ージ情報を処理して上記キャプチャされたイメージにお
ける写真イメージの位置を検出すると共に、検出された
写真イメージの内で矩形境界を有する写真イメージを識
別し、且つ、上記矩形境界を有する写真イメージの内の
ピクセルを残りのピクセルから区別する分類マップを生
成する処理部分とを備えたイメージ・キャプチャ・アセ
ンブリに関する。
【００１１】
【発明の実施の形態】図面を参照すると、各図を通して
同一の参照番号は同一のまたは対応部分を示し、図１に
は領域ベースのイメージ２値化方法のブロック図が示さ
れている。入力としてのデジタル・グレースケール・イ
メージ・データに対して上記方法は次の様に作用する。
適応イメージ・スレッショルド化( 段階１５ａ）が適用
されて、グレースケール・イメージ（Ｇ) を、テキスト
及び線画の良好なイメージ品質を示す２値イメージ（Ｂ
１）へと変換する。エラー拡散またはディザなどのイメ
ージ・レンダリング( 段階１５ｂ）が同一のグレースケ
ール・イメージ（Ｇ) に適用されて、イメージの写真部
分における良好なイメージ品質を呈するレンダリング済
２値イメージ（Ｂ２）を獲得する。段階１５ｃにては、
サブサンプル化イメージ（Ｇｓ）を提供すべくグレース
ケール・イメージのサブサンプリングが行われる。段階
１６にては、サブサンプル化イメージ（Ｇｓ）内におけ
る矩形写真イメージの位置が検出される一方、段階１７
では矩形の形状または境界を有する写真イメージが検出
される。段階１８にては矩形写真イメージを“１”で且
つ他のピクセルは“０”でマークする分類マップの生成
が行われ、且つ、最終的２値イメージ（Ｂ）は、生成さ
れた分類マップに基づく２つの２値イメージＢ１及びＢ
２のイメージ合成(image composition) の結果である。
即ち、生成された分類マップ中の位置（ｉ，ｊ）におけ
るピクセルが写真ピクセルを示す“１”によりマークさ
れたとすれば、イメージＢ２中の位置（ｉ，ｊ）におけ
るピクセルが２値イメージＢへとコピーされる。一方、
分類マップ中の位置（ｉ，ｊ）におけるピクセルが、テ
キストピクセルを示す“０”であれば、上記イメージＢ
中の位置（ｉ，ｊ）におけるピクセルは２値イメージ
（Ｂ１）のコピーである。
同一の参照番号は同一のまたは対応部分を示し、図１に
は領域ベースのイメージ２値化方法のブロック図が示さ
れている。入力としてのデジタル・グレースケール・イ
メージ・データに対して上記方法は次の様に作用する。
適応イメージ・スレッショルド化( 段階１５ａ）が適用
されて、グレースケール・イメージ（Ｇ) を、テキスト
及び線画の良好なイメージ品質を示す２値イメージ（Ｂ
１）へと変換する。エラー拡散またはディザなどのイメ
ージ・レンダリング( 段階１５ｂ）が同一のグレースケ
ール・イメージ（Ｇ) に適用されて、イメージの写真部
分における良好なイメージ品質を呈するレンダリング済
２値イメージ（Ｂ２）を獲得する。段階１５ｃにては、
サブサンプル化イメージ（Ｇｓ）を提供すべくグレース
ケール・イメージのサブサンプリングが行われる。段階
１６にては、サブサンプル化イメージ（Ｇｓ）内におけ
る矩形写真イメージの位置が検出される一方、段階１７
では矩形の形状または境界を有する写真イメージが検出
される。段階１８にては矩形写真イメージを“１”で且
つ他のピクセルは“０”でマークする分類マップの生成
が行われ、且つ、最終的２値イメージ（Ｂ）は、生成さ
れた分類マップに基づく２つの２値イメージＢ１及びＢ
２のイメージ合成(image composition) の結果である。
即ち、生成された分類マップ中の位置（ｉ，ｊ）におけ
るピクセルが写真ピクセルを示す“１”によりマークさ
れたとすれば、イメージＢ２中の位置（ｉ，ｊ）におけ
るピクセルが２値イメージＢへとコピーされる。一方、
分類マップ中の位置（ｉ，ｊ）におけるピクセルが、テ
キストピクセルを示す“０”であれば、上記イメージＢ
中の位置（ｉ，ｊ）におけるピクセルは２値イメージ
（Ｂ１）のコピーである。
【００１２】図２は、記述された本発明の特徴に従っ
て、キャプチャされたイメージを処理するイメージ・キ
ャプチャ・アセンブリ３００の概略図である。イメージ
・キャプチャ・アセンブリ３００は、イメージをキャプ
チャする例えば荷電結合素子などの形態のイメージ・キ
ャプチャ部分３０１と、キャプチャされたイメージを、
該キャプチャされたイメージを表すデジタル情報へと変
換する例えばＡ／Ｄ変換器などの形態の変換部分３０３
とを含んでいるスキャーとすることができる。上記デジ
タル情報は、図１に関して記述されると共に図３及び図
４に関して更に記述される手法で上記デジタル情報を処
理するイメージ・プロセッサ３０５へと送信される。
て、キャプチャされたイメージを処理するイメージ・キ
ャプチャ・アセンブリ３００の概略図である。イメージ
・キャプチャ・アセンブリ３００は、イメージをキャプ
チャする例えば荷電結合素子などの形態のイメージ・キ
ャプチャ部分３０１と、キャプチャされたイメージを、
該キャプチャされたイメージを表すデジタル情報へと変
換する例えばＡ／Ｄ変換器などの形態の変換部分３０３
とを含んでいるスキャーとすることができる。上記デジ
タル情報は、図１に関して記述されると共に図３及び図
４に関して更に記述される手法で上記デジタル情報を処
理するイメージ・プロセッサ３０５へと送信される。
【００１３】図３には、混合形式文書における写真イメ
ージの検出の詳細( 段階１６) が示されている。最初
に、サブサンプリング段階( 図１の１５ｃ）において、
グレースケール・イメージはＮピクセル毎かつＮ走査線
毎にサブサンプリングされて、低解像度のグレースケー
ル・イメージ（Ｇｓ）を獲得する。固定スレッショルド
値( 全体的スレッショルド化)(段階２０）が供給され、
上記グレースケール・イメージ（Ｇｓ）を２値イメージ
（Ｂｓ）へと変換する。２値イメージの全てのピクセル
に亙り３×３の２値浸食操作( 段階２１) が適用され、
細線と、文字などの他の細かいオブジェクトとを除去す
る。イメージ浸食操作の後の結果的イメージは、イメー
ジ（Ｅｓ）として保存される。該イメージ（Ｅｓ）に対
しては連結成分分析( 段階２２）が適用され、連結ピク
セルをグループ化する。連結ピクセルの全てのグループ
はオブジェクトとして取り込まれる。オブジェクトの境
界座標は、該オブジェクトの位置を定義する。サイズ・
フィルタに基づき( 段階２３）、その境界サイズがサイ
ズ・スレッショルド値より大きいオブジェクトは写真と
見做される。一例として、サイズ・フィルタはスキャン
解像度に依存し得る。実例による上記方法の各段階の例
証 図５は、テキスト、ライン、矩形写真および非矩形グラ
フィックス( サングラスのグラフィックス) を含む雑誌
の混合形式の文書頁をスキャンして印刷したものであ
る。図５のグレースケール・イメージに対して適応スレ
ッショルド化( 段階１５ａ、図１) を適用すると、２値
イメージ（Ｂ１）が生成される。図６の２値イメージ
（Ｂ１）は明確で鮮やかな文字およびラインを呈する
が、写真の陰影の詳細は消失している。同一のグレース
ケール・イメージに対してエラー拡散技術( 図１の段階
１５ｂ）を適用することにより、図７に示された結果的
２値イメージ（Ｂ２）は、写真の領域のイメージ詳細が
保持されて実際の写真品質に近くなっていることを示し
ている。但し、テキスト・イメージ品質は霞んでいる。
上記の２つの２値イメージ（Ｂ１）および（Ｂ２）を比
較すると、混合形式文書において良好な２値イメージを
生成する為には、テキスト領域に対する適応スレッショ
ルド化、および、写真領域に対するエラー拡散、の組合
せが必要であると結論づけられる。この作業を達成する
為には、写真領域の検出が必要とされる。
ージの検出の詳細( 段階１６) が示されている。最初
に、サブサンプリング段階( 図１の１５ｃ）において、
グレースケール・イメージはＮピクセル毎かつＮ走査線
毎にサブサンプリングされて、低解像度のグレースケー
ル・イメージ（Ｇｓ）を獲得する。固定スレッショルド
値( 全体的スレッショルド化)(段階２０）が供給され、
上記グレースケール・イメージ（Ｇｓ）を２値イメージ
（Ｂｓ）へと変換する。２値イメージの全てのピクセル
に亙り３×３の２値浸食操作( 段階２１) が適用され、
細線と、文字などの他の細かいオブジェクトとを除去す
る。イメージ浸食操作の後の結果的イメージは、イメー
ジ（Ｅｓ）として保存される。該イメージ（Ｅｓ）に対
しては連結成分分析( 段階２２）が適用され、連結ピク
セルをグループ化する。連結ピクセルの全てのグループ
はオブジェクトとして取り込まれる。オブジェクトの境
界座標は、該オブジェクトの位置を定義する。サイズ・
フィルタに基づき( 段階２３）、その境界サイズがサイ
ズ・スレッショルド値より大きいオブジェクトは写真と
見做される。一例として、サイズ・フィルタはスキャン
解像度に依存し得る。実例による上記方法の各段階の例
証 図５は、テキスト、ライン、矩形写真および非矩形グラ
フィックス( サングラスのグラフィックス) を含む雑誌
の混合形式の文書頁をスキャンして印刷したものであ
る。図５のグレースケール・イメージに対して適応スレ
ッショルド化( 段階１５ａ、図１) を適用すると、２値
イメージ（Ｂ１）が生成される。図６の２値イメージ
（Ｂ１）は明確で鮮やかな文字およびラインを呈する
が、写真の陰影の詳細は消失している。同一のグレース
ケール・イメージに対してエラー拡散技術( 図１の段階
１５ｂ）を適用することにより、図７に示された結果的
２値イメージ（Ｂ２）は、写真の領域のイメージ詳細が
保持されて実際の写真品質に近くなっていることを示し
ている。但し、テキスト・イメージ品質は霞んでいる。
上記の２つの２値イメージ（Ｂ１）および（Ｂ２）を比
較すると、混合形式文書において良好な２値イメージを
生成する為には、テキスト領域に対する適応スレッショ
ルド化、および、写真領域に対するエラー拡散、の組合
せが必要であると結論づけられる。この作業を達成する
為には、写真領域の検出が必要とされる。
【００１４】検出プロセス( 図１の段階１６および図３
のフローチャート) においては最初に、図８に示された
小寸グレースケール・イメージ（Ｇｓ）を生成すべくグ
レースケール・イメージのサブサンプリングが実行され
る。その後、固定スレッショルド値によりグレースケー
ル・イメージ（Ｇｓ）をスレッショルド処理することに
より、２値イメージ（Ｂｓ）が生成される。結果的な２
値イメージ（Ｂｓ）は図９に示されている。図１０に示
された如く、２値イメージ浸食操作( 図３、段階２１)
を適用するとイメージＥｓに帰着するが、該イメージに
おいては小寸文字および細線が除去されると共に、残り
のブラック・ピクセルの殆どは写真領域内に在る。上記
イメージ（Ｅｓ）内の各オブジェクトの境界枠は、２値
イメージの連結ブラック・ピクセルを個別のオブジェク
トとしてグループ化する連結成分( 図３、段階２２）に
より検出される( 例えば、米国特許出願第08/739,076号
を参照されたい) 。小寸オブジェクトを排除する( 図
３、段階２３）と、潜在的写真境界枠１００が図１１に
示される。境界座標は完全解像度へと変換されて図１２
に示されている。４個の境界枠１００は、検出された写
真の位置である。検出された境界枠内の写真の全てが矩
形状であるとは限らない。
のフローチャート) においては最初に、図８に示された
小寸グレースケール・イメージ（Ｇｓ）を生成すべくグ
レースケール・イメージのサブサンプリングが実行され
る。その後、固定スレッショルド値によりグレースケー
ル・イメージ（Ｇｓ）をスレッショルド処理することに
より、２値イメージ（Ｂｓ）が生成される。結果的な２
値イメージ（Ｂｓ）は図９に示されている。図１０に示
された如く、２値イメージ浸食操作( 図３、段階２１)
を適用するとイメージＥｓに帰着するが、該イメージに
おいては小寸文字および細線が除去されると共に、残り
のブラック・ピクセルの殆どは写真領域内に在る。上記
イメージ（Ｅｓ）内の各オブジェクトの境界枠は、２値
イメージの連結ブラック・ピクセルを個別のオブジェク
トとしてグループ化する連結成分( 図３、段階２２）に
より検出される( 例えば、米国特許出願第08/739,076号
を参照されたい) 。小寸オブジェクトを排除する( 図
３、段階２３）と、潜在的写真境界枠１００が図１１に
示される。境界座標は完全解像度へと変換されて図１２
に示されている。４個の境界枠１００は、検出された写
真の位置である。検出された境界枠内の写真の全てが矩
形状であるとは限らない。
【００１５】次の段階は、４個の境界枠１００の位置内
において矩形の写真オブジェクトを検出することである
( 図１、段階１７）。この検出は、図５の２値イメージ
（Ｂ１）内で検出された境界枠内の一切の文字を検証す
ることにより行われる。境界枠内に何らかの文字が存在
すれば、境界枠内の写真は非矩形と分類される。一方、
境界枠内に何らの文字も存在しなければ、該境界枠内の
写真は矩形写真として分類される。上記例においては図
１３に示された如くサングラスのグラフィックスに対す
る境界枠１００’内には文字が在る。従って、サングラ
スのグラフィックスは非矩形写真と見做される。残りの
他の３個の境界枠は文字を含まないことから、これらの
境界枠が含む写真は矩形として分類される。矩形の形状
または境界を有する写真イメージの検出( 図１、段階１
７）の詳細は、図４に示されている。図４に示された如
く、潜在的な写真イメージ並びに２値イメージ（Ｂ１）
の境界座標に関する情報は、連結成分分析に関して考慮
される( 段階３０）。段階３０においては、連結成分分
析が行われて各境界枠内のオブジェクトが抽出される。
最大オブジェクト(largest object)は絵画的イメージ(p
ictorial image) であると見做され、小寸オブジェクト
は文字またはノイズとして分類されることを銘記された
い。段階３３においては、幾何的に最大オブジェクトの
境界の外側に配置されていない小寸オブジェクト( 文
字) が存在するか否かを認識すべきチェックの判断が為
される。もし段階３３に対する答えがＹＥＳであれば、
オブジェクトは非矩形境界を有する写真イメージであ
る。段階３３に対する答えがＮＯであれば、オブジェク
トは矩形境界を有する写真イメージである。
において矩形の写真オブジェクトを検出することである
( 図１、段階１７）。この検出は、図５の２値イメージ
（Ｂ１）内で検出された境界枠内の一切の文字を検証す
ることにより行われる。境界枠内に何らかの文字が存在
すれば、境界枠内の写真は非矩形と分類される。一方、
境界枠内に何らの文字も存在しなければ、該境界枠内の
写真は矩形写真として分類される。上記例においては図
１３に示された如くサングラスのグラフィックスに対す
る境界枠１００’内には文字が在る。従って、サングラ
スのグラフィックスは非矩形写真と見做される。残りの
他の３個の境界枠は文字を含まないことから、これらの
境界枠が含む写真は矩形として分類される。矩形の形状
または境界を有する写真イメージの検出( 図１、段階１
７）の詳細は、図４に示されている。図４に示された如
く、潜在的な写真イメージ並びに２値イメージ（Ｂ１）
の境界座標に関する情報は、連結成分分析に関して考慮
される( 段階３０）。段階３０においては、連結成分分
析が行われて各境界枠内のオブジェクトが抽出される。
最大オブジェクト(largest object)は絵画的イメージ(p
ictorial image) であると見做され、小寸オブジェクト
は文字またはノイズとして分類されることを銘記された
い。段階３３においては、幾何的に最大オブジェクトの
境界の外側に配置されていない小寸オブジェクト( 文
字) が存在するか否かを認識すべきチェックの判断が為
される。もし段階３３に対する答えがＹＥＳであれば、
オブジェクトは非矩形境界を有する写真イメージであ
る。段階３３に対する答えがＮＯであれば、オブジェク
トは矩形境界を有する写真イメージである。
【００１６】次に、図１４に示された如く３個の矩形写
真の境界領域内をブラック・ピクセルで充填することに
より、分類マップ( 図１、段階１８）が生成される。最
終的２値イメージ（Ｂ）は、分類マップに基づき２値イ
メージ（Ｂ１）および（Ｂ２）から組立てられる。イメ
ージ（Ｂ）のピクセルは分類マップのテキスト領域にお
いてはイメージ（Ｂ１）のコピーであり、且つ、写真領
域( 分類マップ中のブラック領域) においてイメージ
（Ｂ）はイメージ（Ｂ２）のコピーである。結果は図１
５に示されている。
真の境界領域内をブラック・ピクセルで充填することに
より、分類マップ( 図１、段階１８）が生成される。最
終的２値イメージ（Ｂ）は、分類マップに基づき２値イ
メージ（Ｂ１）および（Ｂ２）から組立てられる。イメ
ージ（Ｂ）のピクセルは分類マップのテキスト領域にお
いてはイメージ（Ｂ１）のコピーであり、且つ、写真領
域( 分類マップ中のブラック領域) においてイメージ
（Ｂ）はイメージ（Ｂ２）のコピーである。結果は図１
５に示されている。
【図１】混合形式の文書に対する領域ベース２値化シス
テムの各段階を示すフローチャートである。
テムの各段階を示すフローチャートである。
【図２】本発明に係る装置の概略図である。
【図３】写真検出プロセスの各段階を概略化したフロー
チャートである。
チャートである。
【図４】矩形の形状または境界を有する写真イメージを
検出する各段階を概略化したフローチャートである。
検出する各段階を概略化したフローチャートである。
【図５】デジタル的に印刷されたグレースケール混合文
書（Ｇ）の一例である。
書（Ｇ）の一例である。
【図６】適応スレッショルド化方法を使用した図３のイ
メージ（Ｇ）のスレッショルド化イメージ（Ｂ１）であ
る。
メージ（Ｇ）のスレッショルド化イメージ（Ｂ１）であ
る。
【図７】エラー拡散方法を使用した図３のイメージ
（Ｇ）のスレッショルド化イメージ（Ｂ２）である。
（Ｇ）のスレッショルド化イメージ（Ｂ２）である。
【図８】４：１サイズ縮小を使用した図３のイメージ
（Ｇ）のサブサンプル化イメージ（Ｇｓ）である。
（Ｇ）のサブサンプル化イメージ（Ｇｓ）である。
【図９】固定スレッショルド化を使用した図６のイメー
ジ（Ｇｓ）のスレッショルド化イメージ（Ｂｓ）であ
る。
ジ（Ｇｓ）のスレッショルド化イメージ（Ｂｓ）であ
る。
【図１０】図９のイメージ（Ｂｓ）に対するイメージ侵
食処理の結果的２値イメージ（Ｅｓ）である。
食処理の結果的２値イメージ（Ｅｓ）である。
【図１１】図１０の２値イメージ（Ｅ）に対して検出さ
れた大寸オブジェクトの境界枠である。
れた大寸オブジェクトの境界枠である。
【図１２】図６のイメージ（Ｂ１）において検出された
写真の位置である。
写真の位置である。
【図１３】非矩形写真に対するテキストを含む境界枠の
例である。
例である。
【図１４】検出された矩形写真の領域を示すビットマッ
プである。
プである。
【図１５】本発明の方法を使用した最終的２値イメージ
である。
である。
１００…潜在的写真境界枠 ３００…イメージ・キャプチャ・アセンブリ ３０１…イメージ・キャプチャ ３０３…Ａ／Ｄ変換器 ３０５…イメージ・プロセッサ
Claims (9)
- 【請求項１】 グレースケール・イメージを第１及び第
２の２値イメージへと変換する段階と、 前記グレースケール・イメージ中の写真イメージの位置
を検出する段階と、 前記検出された写真イメージの内で矩形境界を有する写
真イメージを識別する段階と、 前記矩形境界を有する写真イメージ内のピクセルを残り
のピクセルから区別する分類マップを生成する段階と、 前記分類マップに基づき、前記第１及び第２の２値イメ
ージから最終的２値イメージを形成する段階と、 を備えて成る、領域ベース２値化方法。 - 【請求項２】 前記検出段階が前記サブサンプル化イメ
ージにおける写真イメージの位置を検出する段階を備え
る如く、前記グレースケール・イメージをサブサンプリ
ングしてサブサンプル化イメージを獲得する段階を更に
備えて成る、請求項１に記載の方法。 - 【請求項３】 前記グレースケール・イメージは、少な
くとも写真部分およびテキスト部分を含む文書からキャ
プチャされたものである、請求項１に記載の方法。 - 【請求項４】 前記変換段階は、前記グレースケール・
イメージに対して適応スレッショルド化技術を適用して
前記第１及び第２の２値イメージの一方を獲得する段階
と、 前記グレースケール・イメージに対してイメージ・レン
ダリング技術を適用して前記第１及び第２の２値イメー
ジの他方を獲得する段階と、 を有する、請求項１に記載の方法。 - 【請求項５】 前記イメージ・レンダリング技術はエラ
ー拡散プロセスを有する、請求項４に記載の方法。 - 【請求項６】 前記イメージ・レンダリング技術はディ
ザ・プロセスを有する、請求項４に記載の方法。 - 【請求項７】 前記サブサンプル化イメージは低解像度
イメージである、請求項２に記載の方法。 - 【請求項８】 前記検出段階は、 前記サブサンプル化イメージを更なる２値イメージへと
変換する段階と、 前記更なる２値イメージから細線および文字を除去する
段階と、 前記更なる２値イメージにおける連結ピクセルをグルー
プ化すべく前記更なる２値イメージに対して連結成分分
析を実行し、連結ピクセルのグループは前記更なる２値
イメージにおけるオブジェクトとして識別される、段階
と、 前記更なる２値イメージにおいてスレッショルド値より
大きなサイズを有するオブジェクトを写真イメージとし
て指定する段階と、 を有する、請求項２に記載の方法。 - 【請求項９】 前記指定段階は、前記スレッショルド値
より大きなオブジェクトをオブジェクトイメージとして
指定すると共に前記スレッショルド値より小さなオブジ
ェクトを排除するためにサイズフィルタを用いる段階を
有する、請求項８に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/205948 | 1998-12-04 | ||
| US09/205,948 US6393150B1 (en) | 1998-12-04 | 1998-12-04 | Region-based image binarization system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175038A true JP2000175038A (ja) | 2000-06-23 |
| JP4261005B2 JP4261005B2 (ja) | 2009-04-30 |
Family
ID=22764334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34326499A Expired - Lifetime JP4261005B2 (ja) | 1998-12-04 | 1999-12-02 | 領域ベースのイメージ２値化システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6393150B1 (ja) |
| JP (1) | JP4261005B2 (ja) |
| DE (1) | DE19956158A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229317A (ja) * | 2013-05-24 | 2014-12-08 | タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ | １つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031543B2 (en) * | 2002-01-02 | 2006-04-18 | Xerox Corporation | Grayscale image de-speckle algorithm |
| US7092584B2 (en) | 2002-01-04 | 2006-08-15 | Time Warner Entertainment Company Lp | Registration of separations |
| US6947607B2 (en) * | 2002-01-04 | 2005-09-20 | Warner Bros. Entertainment Inc. | Reduction of differential resolution of separations |
| US6993185B2 (en) * | 2002-08-30 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Method of texture-based color document segmentation |
| US7382903B2 (en) * | 2003-11-19 | 2008-06-03 | Eastman Kodak Company | Method for selecting an emphasis image from an image collection based upon content recognition |
| US7379594B2 (en) * | 2004-01-28 | 2008-05-27 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic detection of continuous-tone regions in document images |
| US7701614B2 (en) * | 2004-03-31 | 2010-04-20 | Fujifilm Corporation | Image processing method, apparatus, and program with selective error diffusion among a pluraity of pixel groups withing a digital image |
| KR20060050746A (ko) * | 2004-08-31 | 2006-05-19 | 엘지전자 주식회사 | 카메라로 촬영된 문서 영상 처리 방법 |
| KR20060050729A (ko) * | 2004-08-31 | 2006-05-19 | 엘지전자 주식회사 | 카메라로 촬영된 문서 영상 처리 방법과 장치 |
| US7672539B2 (en) * | 2005-12-15 | 2010-03-02 | General Instrument Corporation | Method and apparatus for scaling selected areas of a graphics display |
| US20070253615A1 (en) * | 2006-04-26 | 2007-11-01 | Yuan-Hsiang Chang | Method and system for banknote recognition |
| US20090116756A1 (en) * | 2007-11-06 | 2009-05-07 | Copanion, Inc. | Systems and methods for training a document classification system using documents from a plurality of users |
| US8073284B2 (en) * | 2008-04-03 | 2011-12-06 | Seiko Epson Corporation | Thresholding gray-scale images to produce bitonal images |
| US8351720B2 (en) * | 2008-04-24 | 2013-01-08 | Hewlett-Packard Development Company, L.P. | Method and system providing edge enhanced image binarization |
| US8213735B2 (en) * | 2008-10-10 | 2012-07-03 | Accusoft Corporation | Methods and apparatus for performing image binarization |
| US9241128B2 (en) | 2013-02-14 | 2016-01-19 | Warner Bros. Entertainment Inc. | Video conversion technology |
| CN103345747A (zh) * | 2013-06-26 | 2013-10-09 | 公安部第三研究所 | 一种基于平面坐标优化的图像形状特征提取和结构化描述装置以及方法 |
| US9704057B1 (en) | 2014-03-03 | 2017-07-11 | Accusoft Corporation | Methods and apparatus relating to image binarization |
| CN109893084A (zh) | 2014-06-20 | 2019-06-18 | 拉姆伯斯公司 | 用于有透镜和无透镜的光学感测的系统和方法 |
| US10136103B2 (en) | 2015-11-23 | 2018-11-20 | Lexmark International, Inc. | Identifying consumer products in images |
| US9990561B2 (en) * | 2015-11-23 | 2018-06-05 | Lexmark International, Inc. | Identifying consumer products in images |
| CN106228555A (zh) * | 2016-07-22 | 2016-12-14 | 湖南文理学院 | 基于Masi熵测度的灰度图像阈值分割方法 |
| CN106327497A (zh) * | 2016-08-29 | 2017-01-11 | 湖南文理学院 | 基于超广延熵的灰度图像阈值分割方法 |
| CN106408586A (zh) * | 2016-08-30 | 2017-02-15 | 湖南文理学院 | 基于非广延高斯熵测度的灰度图像分割方法 |
| US10607101B1 (en) * | 2016-12-14 | 2020-03-31 | Revenue Management Solutions, Llc | System and method for patterned artifact removal for bitonal images |
| US10909406B2 (en) * | 2018-01-08 | 2021-02-02 | Newgen Software Technologies Limited | Image processing system and method |
| CN110309060B (zh) * | 2019-05-24 | 2021-08-17 | 平安科技（深圳）有限公司 | 识别算法更新的检测方法、装置、存储介质及计算机设备 |
| CN110335198B (zh) * | 2019-07-08 | 2021-06-08 | 威创集团股份有限公司 | 一种图像处理方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4668995A (en) | 1985-04-12 | 1987-05-26 | International Business Machines Corporation | System for reproducing mixed images |
| JPH01295570A (ja) * | 1988-05-23 | 1989-11-29 | Mitsubishi Electric Corp | 画像処理装置 |
| US5617485A (en) * | 1990-08-15 | 1997-04-01 | Ricoh Company, Ltd. | Image region segmentation system |
| US5335290A (en) | 1992-04-06 | 1994-08-02 | Ricoh Corporation | Segmentation of text, picture and lines of a document image |
| DE69321308T2 (de) * | 1992-07-31 | 1999-03-25 | Canon Kk | Anzeigesteuergerät |
| US5872864A (en) * | 1992-09-25 | 1999-02-16 | Olympus Optical Co., Ltd. | Image processing apparatus for performing adaptive data processing in accordance with kind of image |
| US5568571A (en) * | 1992-12-14 | 1996-10-22 | University Microfilms, Inc. | Image enhancement system |
| DE69332750T2 (de) * | 1993-01-11 | 2003-10-16 | Canon Kk | Gerät und Verfahren zur Bildverarbeitung |
| JPH07131641A (ja) * | 1993-11-08 | 1995-05-19 | Canon Inc | 画像処理装置 |
-
1998
- 1998-12-04 US US09/205,948 patent/US6393150B1/en not_active Expired - Lifetime
-
1999
- 1999-11-23 DE DE19956158A patent/DE19956158A1/de not_active Withdrawn
- 1999-12-02 JP JP34326499A patent/JP4261005B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229317A (ja) * | 2013-05-24 | 2014-12-08 | タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ | １つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6393150B1 (en) | 2002-05-21 |
| DE19956158A1 (de) | 2000-06-08 |
| JP4261005B2 (ja) | 2009-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4261005B2 (ja) | 領域ベースのイメージ２値化システム | |
| US6738154B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| US8244031B2 (en) | System and method for identifying and classifying color regions from a digital image | |
| JP4646797B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| US5892854A (en) | Automatic image registration using binary moments | |
| US7321688B2 (en) | Image processor for character recognition | |
| US7437002B2 (en) | Image recognition system utilizing an edge image and a binary image | |
| Bhattacharjya et al. | Data embedding in text for a copier system | |
| WO1999067943A1 (fr) | Unite et procede de traitement d'images, et support sur lequel le programme de traitement des images est enregistre | |
| US8306335B2 (en) | Method of analyzing digital document images | |
| US20060215232A1 (en) | Method and apparatus for processing selected images on image reproduction machines | |
| JP2005275854A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
| JP3100383B2 (ja) | 文字領域分離方法および装置 | |
| Roullet et al. | An automated technique to recognize and extract images from scanned archaeological documents | |
| EP0975146B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| JPH10283475A (ja) | 画像処理方法及び装置 | |
| KR100537827B1 (ko) | 경계선 분포를 이용한 스캔 영상의 상역 분리 방법 | |
| KR100537829B1 (ko) | 스캔 영상의 상역 분리 방법 | |
| JP2004048130A (ja) | 画像処理方法、画像処理装置、および画像処理プログラム | |
| JPH1196296A (ja) | 帳票イメージ処理方法および装置 | |
| JPH10285391A (ja) | 画像処理装置 | |
| JP4027016B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| JPH0766976A (ja) | 画像処理装置 | |
| Hu | Three Problems in Image Analysis and Processing: Determining Optimal Resolution for Scanned Document Raster Content, Page Orientation, and Color Table Compression | |
| JP3020293B2 (ja) | 属性判別方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080909 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4261005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |