JP2001358925A - 画像処理のための装置、方法及び記録媒体 - Google Patents
画像処理のための装置、方法及び記録媒体Info
- Publication number
- JP2001358925A JP2001358925A JP2000173727A JP2000173727A JP2001358925A JP 2001358925 A JP2001358925 A JP 2001358925A JP 2000173727 A JP2000173727 A JP 2000173727A JP 2000173727 A JP2000173727 A JP 2000173727A JP 2001358925 A JP2001358925 A JP 2001358925A
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- image data
- data
- character code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/162—Quantising the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
(57)【要約】
【課題】 画像処理において背景のある文字をうまく再
現する。 【解決手段】 文書処理において、文字を含む入力多値
画像データから、２値画像データを作成し、この２値化
データから文字コードと文字位置を認識する。次に、認
識された文字の位置データを用いて多値画像から文字を
除去する。そして、文字を除去した画像データとコード
化された文字データとを重ねて配置して、合成画像を出
力する。
現する。 【解決手段】 文書処理において、文字を含む入力多値
画像データから、２値画像データを作成し、この２値化
データから文字コードと文字位置を認識する。次に、認
識された文字の位置データを用いて多値画像から文字を
除去する。そして、文字を除去した画像データとコード
化された文字データとを重ねて配置して、合成画像を出
力する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像データ中の文
字画像データを文字コードデータに変換する文字認識に
関する。
字画像データを文字コードデータに変換する文字認識に
関する。
【０００２】
【従来の技術】従来から、文字認識(ＯＣＲ)装置による
文字認識技術では、テキスト画像の文字を認識するだけ
ではなく、原稿のレイアウトも認識し、文字以外の画像
データはビットマップ形式の画像データとしてレイアウ
トに応じた所定位置に配置し、１つのファイルとして出
力するものが存在している。
文字認識技術では、テキスト画像の文字を認識するだけ
ではなく、原稿のレイアウトも認識し、文字以外の画像
データはビットマップ形式の画像データとしてレイアウ
トに応じた所定位置に配置し、１つのファイルとして出
力するものが存在している。
【０００３】
【発明が解決しようとする課題】しかし、背景画像上に
文字が描かれている原稿において、その文字画像データ
を文字コードデータに変換した後で、元の画像データと
合成することは困難であった。なぜなら、元の画像デー
タで使用されている文字のフォントや配置と文字コード
データに変換した後の文字のフォントや配置とが必ずし
も一致しないからである。従来の文字認識技術において
は、例えば、図１に示すように、原稿上の文字画像デー
タを文字コードデータに変換するだけで、背景画像デー
タは出力しないものや、図２に示すように、原稿の画像
データと変換後の文字コードデータとを重ねて出力する
ものが存在していた。しかし、前者では、背景画像がな
くなっており、情報が欠落してしまうし、後者では、文
字画像データと文字コードデータによる出力画像がずれ
ており、出力画像が見づらいものとなってしまう。
文字が描かれている原稿において、その文字画像データ
を文字コードデータに変換した後で、元の画像データと
合成することは困難であった。なぜなら、元の画像デー
タで使用されている文字のフォントや配置と文字コード
データに変換した後の文字のフォントや配置とが必ずし
も一致しないからである。従来の文字認識技術において
は、例えば、図１に示すように、原稿上の文字画像デー
タを文字コードデータに変換するだけで、背景画像デー
タは出力しないものや、図２に示すように、原稿の画像
データと変換後の文字コードデータとを重ねて出力する
ものが存在していた。しかし、前者では、背景画像がな
くなっており、情報が欠落してしまうし、後者では、文
字画像データと文字コードデータによる出力画像がずれ
ており、出力画像が見づらいものとなってしまう。
【０００４】本発明の目的は、背景のある文字をうまく
再現する画像処理のための装置、方法および記録媒体を
提供することである。
再現する画像処理のための装置、方法および記録媒体を
提供することである。
【０００５】
【課題を解決するための手段】本発明に係る画像処理装
置は、画像データ中の文字画像データを文字コードデー
タに変換する画像処理装置であって、背景画像上に文字
画像が存在する画像データから、文字画像データを抽出
する文字画像データ抽出部と、抽出された文字画像デー
タを文字コードデータに変換する変換部と、背景画像上
の文字画像を除去する文字画像除去部と、文字コードデ
ータと文字画像除去後の画像データとを合成する合成部
とを有する。前記の画像処理装置において、好ましく
は、文字画像除去部は、背景画像上の文字画像部分の画
像データを周辺背景画像データに応じて補正する。前記
の画像処理装置において、好ましくは、前記の変換部
は、色変化のある文字画像データを文字コードデータに
変換しない。前記の画像処理装置において、前記の文字
データ抽出部は、たとえば、１文字づつ文字コードデー
タを抽出する。前記の画像処理装置において、前記の文
字データ抽出部は、たとえば、単語単位で文字コードデ
ータを抽出する。
置は、画像データ中の文字画像データを文字コードデー
タに変換する画像処理装置であって、背景画像上に文字
画像が存在する画像データから、文字画像データを抽出
する文字画像データ抽出部と、抽出された文字画像デー
タを文字コードデータに変換する変換部と、背景画像上
の文字画像を除去する文字画像除去部と、文字コードデ
ータと文字画像除去後の画像データとを合成する合成部
とを有する。前記の画像処理装置において、好ましく
は、文字画像除去部は、背景画像上の文字画像部分の画
像データを周辺背景画像データに応じて補正する。前記
の画像処理装置において、好ましくは、前記の変換部
は、色変化のある文字画像データを文字コードデータに
変換しない。前記の画像処理装置において、前記の文字
データ抽出部は、たとえば、１文字づつ文字コードデー
タを抽出する。前記の画像処理装置において、前記の文
字データ抽出部は、たとえば、単語単位で文字コードデ
ータを抽出する。
【０００６】本発明に係る画像処理方法は、画像データ
中の文字画像データを文字コードデータに変換する画像
処理方法であって、背景画像上に文字画像が存在する画
像データから、文字画像データを抽出するステップと、
抽出された文字画像データを文字コードデータに変換す
るステップと、背景画像上の文字画像部分の画像データ
を周辺背景画像データに応じて補正するステップと、文
字コードデータと補正後の画像データとを合成するステ
ップとからなる。
中の文字画像データを文字コードデータに変換する画像
処理方法であって、背景画像上に文字画像が存在する画
像データから、文字画像データを抽出するステップと、
抽出された文字画像データを文字コードデータに変換す
るステップと、背景画像上の文字画像部分の画像データ
を周辺背景画像データに応じて補正するステップと、文
字コードデータと補正後の画像データとを合成するステ
ップとからなる。
【０００７】本発明に係るコンピュータ読み取りが可能
な記録媒体は、背景画像上に文字画像が存在する画像デ
ータから、文字画像データを抽出するステップと、抽出
された文字画像データを文字コードデータに変換するス
テップと、背景画像上の文字画像部分の画像データを周
辺背景画像データに応じて補正するステップと、文字コ
ードデータと補正後の画像データとを合成するステップ
とからなる、画像データ中の文字画像データを文字コー
ドデータに変換する画像処理プログラムを記録する。
な記録媒体は、背景画像上に文字画像が存在する画像デ
ータから、文字画像データを抽出するステップと、抽出
された文字画像データを文字コードデータに変換するス
テップと、背景画像上の文字画像部分の画像データを周
辺背景画像データに応じて補正するステップと、文字コ
ードデータと補正後の画像データとを合成するステップ
とからなる、画像データ中の文字画像データを文字コー
ドデータに変換する画像処理プログラムを記録する。
【０００８】
【発明の実施の形態】以下、添付の図面を参照して発明
の実施の形態を説明する。なお、図面において、同じ参
照記号は同一または同等のものを示す。図３は、発明の
１実施形態におけるシステム構成を示す。ネットワーク
１００に、文字認識機能を有する文字認識処理装置とし
てコンピュータ２００、画像出力装置としてプリンタ３
００、画像入力装置としてスキャナ４００などが接続さ
れている。本実施形態では、コンピュータ２００が文字
認識機能を有しているが、文字認識機能を画像出力装置
または画像入力装置に持たせてもよい。また、画像出力
装置は、プリンタ３００に限らず、ディスプレイであっ
てもよい。さらに、画像入力装置は、スキャナ４００に
限らず、デジタルカメラ、フィルムスキャナなどのデジ
タル画像を入力する機器であってもよい。
の実施の形態を説明する。なお、図面において、同じ参
照記号は同一または同等のものを示す。図３は、発明の
１実施形態におけるシステム構成を示す。ネットワーク
１００に、文字認識機能を有する文字認識処理装置とし
てコンピュータ２００、画像出力装置としてプリンタ３
００、画像入力装置としてスキャナ４００などが接続さ
れている。本実施形態では、コンピュータ２００が文字
認識機能を有しているが、文字認識機能を画像出力装置
または画像入力装置に持たせてもよい。また、画像出力
装置は、プリンタ３００に限らず、ディスプレイであっ
てもよい。さらに、画像入力装置は、スキャナ４００に
限らず、デジタルカメラ、フィルムスキャナなどのデジ
タル画像を入力する機器であってもよい。
【０００９】コンピュータ２００には、文書認識処理部
２１０と、スキャナドライバ２３０、プリンタドライバ
２４０などの周辺機器を制御するソフトが搭載されてい
る。例えば、スキャナドライバ２３０を用いて、コンピ
ュータ２００上の画面から、スキャナ４００の読取条件
の設定や読み取り開始が指示できる。
２１０と、スキャナドライバ２３０、プリンタドライバ
２４０などの周辺機器を制御するソフトが搭載されてい
る。例えば、スキャナドライバ２３０を用いて、コンピ
ュータ２００上の画面から、スキャナ４００の読取条件
の設定や読み取り開始が指示できる。
【００１０】なお、本実施形態ではスキャナ４００で読
み取って得られた画像データに対してコンピュータ２０
０で処理を行っている。しかし、同様の処理をスキャナ
４００内で行ってもよいし、プリンタ３００で行うよう
にしてもよい。また、スタンドアロンのデジタル複写機
のような形態にも適用できる。
み取って得られた画像データに対してコンピュータ２０
０で処理を行っている。しかし、同様の処理をスキャナ
４００内で行ってもよいし、プリンタ３００で行うよう
にしてもよい。また、スタンドアロンのデジタル複写機
のような形態にも適用できる。
【００１１】文書認識処理部２１０では、背景画像上に
文字画像が存在する画像データから文字画像データを抽
出し、抽出された文字画像データを文字コードデータに
変換する。また、背景画像上の文字画像部分の画像デー
タを周辺背景画像データに応じて補正する。そして、文
字コードデータと補正後の画像データとを合成する。具
体的には、文字認識部２１２は、画像を読み取って得ら
れた画像データから文字画像データを認識し、文字画像
データを文字コードに変換して出力する。文字除去部２
１４は、認識した文字コードデータを元の画像データか
ら除去し、画像認識部２１６は、文字画像データが除去
された画像データから、さらに余白(白地で何も描かれ
ていない領域)以外の写真・図柄などの画像データを認
識する。画像合成部２１８は、文字コードデータと、画
像認識部２１６で認識された画像データとを合成する。
これにより、元の原稿に含まれる文字画像データと変換
された文字コードデータが重なることがない。また、原
稿に含まれる背景を残したまま、原稿に含まれる文字画
像データにおいて、文字コードデータを用いて、文章の
編集・加工が容易であり、また、検索キーワードとして
も使用可能になる。
文字画像が存在する画像データから文字画像データを抽
出し、抽出された文字画像データを文字コードデータに
変換する。また、背景画像上の文字画像部分の画像デー
タを周辺背景画像データに応じて補正する。そして、文
字コードデータと補正後の画像データとを合成する。具
体的には、文字認識部２１２は、画像を読み取って得ら
れた画像データから文字画像データを認識し、文字画像
データを文字コードに変換して出力する。文字除去部２
１４は、認識した文字コードデータを元の画像データか
ら除去し、画像認識部２１６は、文字画像データが除去
された画像データから、さらに余白(白地で何も描かれ
ていない領域)以外の写真・図柄などの画像データを認
識する。画像合成部２１８は、文字コードデータと、画
像認識部２１６で認識された画像データとを合成する。
これにより、元の原稿に含まれる文字画像データと変換
された文字コードデータが重なることがない。また、原
稿に含まれる背景を残したまま、原稿に含まれる文字画
像データにおいて、文字コードデータを用いて、文章の
編集・加工が容易であり、また、検索キーワードとして
も使用可能になる。
【００１２】図４は、文書認識処理部２１０の処理を模
式的に示したものである。左側の図は、背景画像の上に
文字が描かれている原稿を示し、この原稿に対して、右
下の図は、原稿上の文字画像データを文字認識部２１２
で文字コードデータに変換した画像データを示し、右上
の図は、ビットマップ画像認識部２１６で認識した画像
から原稿上の文字画像データを文字除去部２１４で除去
したビットマップ画像データを示す。
式的に示したものである。左側の図は、背景画像の上に
文字が描かれている原稿を示し、この原稿に対して、右
下の図は、原稿上の文字画像データを文字認識部２１２
で文字コードデータに変換した画像データを示し、右上
の図は、ビットマップ画像認識部２１６で認識した画像
から原稿上の文字画像データを文字除去部２１４で除去
したビットマップ画像データを示す。
【００１３】図５は、文書認識処理部２１０における処
理のフローチャートである。まずスキャナ４００によ
り、原稿を読み取って得られたＲＧＢ成分で構成された
画像データを、個々のスキャナデバイスに依存しないＬ
ａｂ成分の画像データへと色空間変換をする（Ｓ１
０）。
理のフローチャートである。まずスキャナ４００によ
り、原稿を読み取って得られたＲＧＢ成分で構成された
画像データを、個々のスキャナデバイスに依存しないＬ
ａｂ成分の画像データへと色空間変換をする（Ｓ１
０）。
【００１４】次に、色空間が変換された画像データに対
して、文字認識部２１２での認識率を上げるため、ＯＣ
Ｒ前処理を行う（Ｓ１２）。具体的には、Ｌａｂ成分の
画像データに対し、文字画像データが黒、背景画像デー
タが白となるように、２値化処理を行う。ここで、Ｌａ
ｂ成分の画像データは別の場所に保存しておく。さらに
ＯＣＲ前処理では、画像データに含まれる孤立点などの
ノイズ除去、原稿読取時の原稿の傾きによる画像データ
の傾きの補正、つぶれ文字やかすれ文字の補正なども行
う。ここでは、Ｌａｂ成分の画像データに対してＯＣＲ
前処理を行っているが、色空間変換前のＲＧＢ成分の画
像データに対してＯＣＲ前処理を行ってもよい。
して、文字認識部２１２での認識率を上げるため、ＯＣ
Ｒ前処理を行う（Ｓ１２）。具体的には、Ｌａｂ成分の
画像データに対し、文字画像データが黒、背景画像デー
タが白となるように、２値化処理を行う。ここで、Ｌａ
ｂ成分の画像データは別の場所に保存しておく。さらに
ＯＣＲ前処理では、画像データに含まれる孤立点などの
ノイズ除去、原稿読取時の原稿の傾きによる画像データ
の傾きの補正、つぶれ文字やかすれ文字の補正なども行
う。ここでは、Ｌａｂ成分の画像データに対してＯＣＲ
前処理を行っているが、色空間変換前のＲＧＢ成分の画
像データに対してＯＣＲ前処理を行ってもよい。
【００１５】次に、文字認識部２１２で、画像データに
含まれる文字画像データで構成される行、及び、各文字
画像データを画像データから切り出し、各文字画像デー
タについて文字コード、フォント、フォントサイズなど
が認識される（Ｓ１４）。文字コードデータの抽出は、
たとえば１文字づつ行うが、単語単位で行ってもよい。
フォント及びフォントサイズについては、文書認識処理
部２１０が有するフォントデータ群から最も類似度の高
いフォント及びフォントサイズが選択される。また、文
字認識部２１２は、認識された文字画像データの位置デ
ータとして、図６に示すような、原点（０，０）を画像
データの左上端とする文字画像データを含む矩形の位置
座標(Ｘ１，Ｙ１)、（Ｘ２、Ｙ２）を出力する。
含まれる文字画像データで構成される行、及び、各文字
画像データを画像データから切り出し、各文字画像デー
タについて文字コード、フォント、フォントサイズなど
が認識される（Ｓ１４）。文字コードデータの抽出は、
たとえば１文字づつ行うが、単語単位で行ってもよい。
フォント及びフォントサイズについては、文書認識処理
部２１０が有するフォントデータ群から最も類似度の高
いフォント及びフォントサイズが選択される。また、文
字認識部２１２は、認識された文字画像データの位置デ
ータとして、図６に示すような、原点（０，０）を画像
データの左上端とする文字画像データを含む矩形の位置
座標(Ｘ１，Ｙ１)、（Ｘ２、Ｙ２）を出力する。
【００１６】なお、１つの文字内で色が変化した場合
は、その文字は文字以外のものを誤認識したものとみな
し、コード化は行わない。すなわち、色変化のある文字
画像データは文字コードデータに変換しない。上述のＯ
ＣＲ前処理（Ｓ１２）においてＬａｂ成分の画像データ
に対して２値化処理を行っているが、Ｌａｂ成分の画像
データは別の場所に保存されており、その保存されてい
る画像データから文字の色を検出する。具体的には、ま
ず、図７に示す３×３最大値フィルターを用いて、文字
認識のための入力モノクロ２値画像について近傍３×３
画素の最大値をとるフィルター処理を行う。これによ
り、文字部分を収縮させる。これは、文字のエッジ部の
影響を除去するためである。こうして２値画像を収縮処
理した画像と、文字認識により得られた文字外接矩形と
のＡＮＤをとり、その画像の画素についての平均データ
を求めてその文字の色とする。即ち、ｊ番目の文字のＬ
ａｂ空間で表したカラー画像データをＣjとすると、
は、その文字は文字以外のものを誤認識したものとみな
し、コード化は行わない。すなわち、色変化のある文字
画像データは文字コードデータに変換しない。上述のＯ
ＣＲ前処理（Ｓ１２）においてＬａｂ成分の画像データ
に対して２値化処理を行っているが、Ｌａｂ成分の画像
データは別の場所に保存されており、その保存されてい
る画像データから文字の色を検出する。具体的には、ま
ず、図７に示す３×３最大値フィルターを用いて、文字
認識のための入力モノクロ２値画像について近傍３×３
画素の最大値をとるフィルター処理を行う。これによ
り、文字部分を収縮させる。これは、文字のエッジ部の
影響を除去するためである。こうして２値画像を収縮処
理した画像と、文字認識により得られた文字外接矩形と
のＡＮＤをとり、その画像の画素についての平均データ
を求めてその文字の色とする。即ち、ｊ番目の文字のＬ
ａｂ空間で表したカラー画像データをＣjとすると、
【数１】 ここに、Ｎはｊ番目の文字の画素数である。
【００１７】色が変化したか否かの判定は、収縮処理し
た文字の外接矩形を図８に破線で示すように４つに分割
し、それぞれの領域でのＬａｂ値の平均を求めて比較す
ることにより行う。４つの領域の平均Ｌａｂ値が一定値
以上異なる場合は、色が変化したと判別される。４つの
領域でのＬａｂ値をＣj1〜Ｃj4とすると、 Ｃj1＝(Ｌj1,ａj1,ｂj1) Ｃj2＝(Ｌj2,ａj2,ｂj2) Ｃj3＝(Ｌj3,ａj3,ｂj3) Ｃj4＝(Ｌj4,ａj4,ｂj4) で表される。次の条件 |Ｌjn−Ｌjm｜≧ｋ１ または |ａjn−ａjm｜≧ｋ２ または |ｂjn−ｂjm｜≧ｋ３ （ここに、ｎ＝１,２,３,４、ｍ＝１,２,３,４であり、
ｋ１、ｋ２、ｋ３は定数である）を満たす場合、色が変
化したと判別される。前述の１文字の平均画像データＣ
jは、実際は、これら４つの領域ごとの平均値を先に求
め、再度その４つの値を平均して求められる。１つの文
字内で色が変化した場合は、上述の文字コードへの変換
は行わない。
た文字の外接矩形を図８に破線で示すように４つに分割
し、それぞれの領域でのＬａｂ値の平均を求めて比較す
ることにより行う。４つの領域の平均Ｌａｂ値が一定値
以上異なる場合は、色が変化したと判別される。４つの
領域でのＬａｂ値をＣj1〜Ｃj4とすると、 Ｃj1＝(Ｌj1,ａj1,ｂj1) Ｃj2＝(Ｌj2,ａj2,ｂj2) Ｃj3＝(Ｌj3,ａj3,ｂj3) Ｃj4＝(Ｌj4,ａj4,ｂj4) で表される。次の条件 |Ｌjn−Ｌjm｜≧ｋ１ または |ａjn−ａjm｜≧ｋ２ または |ｂjn−ｂjm｜≧ｋ３ （ここに、ｎ＝１,２,３,４、ｍ＝１,２,３,４であり、
ｋ１、ｋ２、ｋ３は定数である）を満たす場合、色が変
化したと判別される。前述の１文字の平均画像データＣ
jは、実際は、これら４つの領域ごとの平均値を先に求
め、再度その４つの値を平均して求められる。１つの文
字内で色が変化した場合は、上述の文字コードへの変換
は行わない。
【００１８】次に、文字除去部２１４では、文字認識部
２１２で認識された文字画像データを元のＬａｂ成分の
画像データから除去する（Ｓ１６）。元のＬａｂ成分の
画像データは、上述のＯＣＲ前処理（Ｓ１２）における
２値化処理において別の場所に保存されているものであ
る。文字除去処理において、具体的には、２値化した画
像データに対し、図９に示す５×５の最小値フィルタを
用いるフィルタ処理を行うことで、文字画像データを膨
張させる。膨張させた文字画像データに対応するＬａｂ
成分の画像データ部分を白抜きする。
２１２で認識された文字画像データを元のＬａｂ成分の
画像データから除去する（Ｓ１６）。元のＬａｂ成分の
画像データは、上述のＯＣＲ前処理（Ｓ１２）における
２値化処理において別の場所に保存されているものであ
る。文字除去処理において、具体的には、２値化した画
像データに対し、図９に示す５×５の最小値フィルタを
用いるフィルタ処理を行うことで、文字画像データを膨
張させる。膨張させた文字画像データに対応するＬａｂ
成分の画像データ部分を白抜きする。
【００１９】次に、白抜きしたＬａｂ成分の画像データ
部分を、図１０に示す７×７のフィルタによってフィル
タ処理を行うことによって周辺画素の値に応じて補完す
る（Ｓ１８）。図１０に示す注目画素は、白抜きされた
部分の画素であり、フィルタ内に示されている番号は周
辺画素を参照する順番を示している。フィルタ内の順番
に従って、注目画素の周辺を縦横斜めの８方向につい
て、白でない画素があるか否かを調べていき、はじめか
ら３つ目までの白でない画素の値の平均値で注目画素を
補完する。このようにして、文字画像のない背景画像の
みの画像データが作成される。さらに、画像データ量を
減らすために画像データの必要部分のみを切り出して保
存する。図１１に示すように、背景画像のみの画像デー
タを左上から順に走査し、所定の閾値以上の濃度を持つ
領域を矩形のビットマップ画像データとして切り出す。
部分を、図１０に示す７×７のフィルタによってフィル
タ処理を行うことによって周辺画素の値に応じて補完す
る（Ｓ１８）。図１０に示す注目画素は、白抜きされた
部分の画素であり、フィルタ内に示されている番号は周
辺画素を参照する順番を示している。フィルタ内の順番
に従って、注目画素の周辺を縦横斜めの８方向につい
て、白でない画素があるか否かを調べていき、はじめか
ら３つ目までの白でない画素の値の平均値で注目画素を
補完する。このようにして、文字画像のない背景画像の
みの画像データが作成される。さらに、画像データ量を
減らすために画像データの必要部分のみを切り出して保
存する。図１１に示すように、背景画像のみの画像デー
タを左上から順に走査し、所定の閾値以上の濃度を持つ
領域を矩形のビットマップ画像データとして切り出す。
【００２０】以上のようにして作成された背景画像のみ
のビットマップ画像データと、文字認識部２１２で認識
された文字コードデータとを、図１２に示すように配置
し合成する（Ｓ２０）。合成方法は、出力するファイル
形式に応じて様々であるが、例えば、ＲＴＦやＰＤＦの
形式で出力する場合、画像データと文字コードはそれぞ
れ別々のオブジェクトとして扱われるので、画像を下に
配置し、その上に文字コードデータを上書きすること
で、図１２に示すように合成される。
のビットマップ画像データと、文字認識部２１２で認識
された文字コードデータとを、図１２に示すように配置
し合成する（Ｓ２０）。合成方法は、出力するファイル
形式に応じて様々であるが、例えば、ＲＴＦやＰＤＦの
形式で出力する場合、画像データと文字コードはそれぞ
れ別々のオブジェクトとして扱われるので、画像を下に
配置し、その上に文字コードデータを上書きすること
で、図１２に示すように合成される。
【００２１】なお、本実施形態ではスキャナ４００で読
み取って得られた画像データに対してコンピュータ２０
０で処理を行っている。しかし、同様の処理をスキャナ
４００内で行ってもよいし、プリンタ３００で行うよう
にしてもよい。また、スタンドアロンのデジタル複写機
のような形態にも適用できる。
み取って得られた画像データに対してコンピュータ２０
０で処理を行っている。しかし、同様の処理をスキャナ
４００内で行ってもよいし、プリンタ３００で行うよう
にしてもよい。また、スタンドアロンのデジタル複写機
のような形態にも適用できる。
【００２２】
【発明の効果】背景画像のある文字を、文字を除去した
背景ビットマップ画像と文字コードに分離して再合成す
るので、 （１）コード化した文字と原稿の文字画像が２重に出力
されることなく、原稿の背景を再現した出力が得られ
る。 （２）背景のある文字でも、文字がコード化されるの
で、読みやすい出力が得られ、文字サイズの変更がで
き、また、検索に利用できる。 （３）背景のデータも再利用できる。たとえば、文字を
変更しても、同じ背景の文書が作成できる。 色変化のある文字画像データは文字コードデータに変換
しないことにより、文字以外のものを文字とする誤認識
を減らせる。
背景ビットマップ画像と文字コードに分離して再合成す
るので、 （１）コード化した文字と原稿の文字画像が２重に出力
されることなく、原稿の背景を再現した出力が得られ
る。 （２）背景のある文字でも、文字がコード化されるの
で、読みやすい出力が得られ、文字サイズの変更がで
き、また、検索に利用できる。 （３）背景のデータも再利用できる。たとえば、文字を
変更しても、同じ背景の文書が作成できる。 色変化のある文字画像データは文字コードデータに変換
しないことにより、文字以外のものを文字とする誤認識
を減らせる。
【図１】 原稿と従来の出力例の図
【図２】 原稿と従来の他の出力例の図
【図３】 システム構成を示す図
【図４】 本発明の画像データ出力の１例の図
【図５】 画像処理全体のフローチャート
【図６】 文字の外接矩形の図
【図７】 最大値フィルターの図
【図８】 色検出を説明するための図
【図９】 文字除去の処理を示す図
【図１０】 補完データを探す画素位置の順の図
【図１１】 画像データ切り出しを説明するための図
【図１２】 合成画像の図
１００ ネットワーク、 ２００ コンピュータ、
２０５ 記憶装置、２１０ 文書認識処理部、 ３
００ プリンタ、 ４００ スキャナ。
２０５ 記憶装置、２１０ 文書認識処理部、 ３
００ プリンタ、 ４００ スキャナ。
フロントページの続き Ｆターム(参考） 5B057 AA11 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE02 CE05 CE06 CE08 CE11 CE12 CE18 DA07 DA08 DB02 DB06 DB09 DC25 5C076 AA03 AA11 AA13 AA16 AA32 AA40 BA06 5L096 AA02 AA06 BA12 BA17 DA01 EA02 EA05 EA37 EA43 FA18 FA32 FA69 GA55
Claims (7)
- 【請求項１】 画像データ中の文字画像データを文字コ
ードデータに変換する画像処理装置において、 背景画像上に文字画像が存在する画像データから文字画
像データを抽出する文字画像データ抽出部と、 抽出された文字画像データを文字コードデータに変換す
る変換部と、 背景画像上の文字画像を除去する文字画像除去部と、 文字コードデータと文字画像除去後の画像データとを合
成する合成部とを有することを特徴とする画像処理装
置。 - 【請求項２】 請求項１に記載された画像処理装置にお
いて、 文字画像除去部は、背景画像上の文字画像部分の画像デ
ータを周辺背景画像データに応じて補正することを特徴
とする画像処理装置。 - 【請求項３】 請求項１に記載された画像処理装置にお
いて、 前記の変換部は、色変化のある文字画像データを文字コ
ードデータに変換しないことを特徴とする画像処理装
置。 - 【請求項４】 請求項１に記載された画像処理装置にお
いて、 前記の文字データ抽出部は、１文字づつ文字コードデー
タを抽出することを特徴とする画像処理装置。 - 【請求項５】 請求項１に記載された画像処理装置にお
いて、 前記の文字データ抽出部は、単語単位で文字コードデー
タを抽出することを特徴とする画像処理装置。 - 【請求項６】 画像データ中の文字画像データを文字コ
ードデータに変換する画像処理方法であって、 背景画像上に文字画像が存在する画像データから文字画
像データを抽出するステップと、 抽出された文字画像データを文字コードデータに変換す
るステップと、 背景画像上の文字画像部分の画像データを周辺背景画像
データに応じて補正するステップと、 文字コードデータと補正後の画像データとを合成するス
テップとからなる画像処理方法。 - 【請求項７】 背景画像上に文字画像が存在する画像デ
ータから文字画像データを抽出するステップと、 抽出された文字画像データを文字コードデータに変換す
るステップと、 背景画像上の文字画像部分の画像データを周辺背景画像
データに応じて補正するステップと、 文字コードデータと補正後の画像データとを合成するス
テップとからなる、画像データ中の文字画像データを文
字コードデータに変換する画像処理プログラムを記録す
るコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000173727A JP4189506B2 (ja) | 2000-06-09 | 2000-06-09 | 画像処理のための装置、方法及び記録媒体 |
| US09/875,081 US7321688B2 (en) | 2000-06-09 | 2001-06-07 | Image processor for character recognition |
| US11/806,642 US7454060B2 (en) | 2000-06-09 | 2007-06-01 | Image processor for character recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000173727A JP4189506B2 (ja) | 2000-06-09 | 2000-06-09 | 画像処理のための装置、方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001358925A true JP2001358925A (ja) | 2001-12-26 |
| JP4189506B2 JP4189506B2 (ja) | 2008-12-03 |
Family
ID=18675903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000173727A Expired - Fee Related JP4189506B2 (ja) | 2000-06-09 | 2000-06-09 | 画像処理のための装置、方法及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7321688B2 (ja) |
| JP (1) | JP4189506B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8447143B2 (en) | 2010-08-12 | 2013-05-21 | Fuji Xerox Co., Ltd. | Image processing apparatus and storage medium storing image processing program |
| JP2016032270A (ja) * | 2014-07-30 | 2016-03-07 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像処理プログラム |
| CN109685100A (zh) * | 2018-11-12 | 2019-04-26 | 平安科技（深圳）有限公司 | 字符识别方法、服务器及计算机可读存储介质 |
| CN109842733A (zh) * | 2017-11-27 | 2019-06-04 | 东芝泰格有限公司 | 图像处理装置 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4189506B2 (ja) * | 2000-06-09 | 2008-12-03 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及び記録媒体 |
| US7233698B2 (en) * | 2002-12-13 | 2007-06-19 | The Boeing Company | Apparatus and methods for converting raster illustrated parts images into intelligent vector-layered files |
| US20040151377A1 (en) * | 2003-02-04 | 2004-08-05 | Boose Molly L. | Apparatus and methods for converting network drawings from raster format to vector format |
| JP2004336453A (ja) * | 2003-05-08 | 2004-11-25 | Ricoh Co Ltd | 複写機、画像処理システム、プログラム及び記憶媒体 |
| US7894102B2 (en) * | 2006-02-13 | 2011-02-22 | Konica Minolta Business Technologies, Inc. | Image processing apparatus for extracting code data from scanned image and control method thereof |
| US8412000B2 (en) * | 2007-11-30 | 2013-04-02 | Texas Instruments Incorporated | System and method for reducing motion artifacts by displaying partial-resolution images |
| US20090228380A1 (en) * | 2008-03-10 | 2009-09-10 | Xerox Corporation | Centralized classification and retention of tax records |
| US7936925B2 (en) * | 2008-03-14 | 2011-05-03 | Xerox Corporation | Paper interface to an electronic record system |
| US8391638B2 (en) * | 2008-06-04 | 2013-03-05 | Microsoft Corporation | Hybrid image format |
| US20100046790A1 (en) * | 2008-08-22 | 2010-02-25 | Koziol Anthony R | Method and system for generating a symbol identification challenge |
| JP5328510B2 (ja) * | 2009-06-24 | 2013-10-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| US9563815B2 (en) * | 2009-09-15 | 2017-02-07 | Tandent Vision Science, Inc. | Method and system for processing an image received from a remote source |
| JP6051675B2 (ja) * | 2012-08-16 | 2016-12-27 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| RU2603495C1 (ru) * | 2015-06-16 | 2016-11-27 | Общество с ограниченной ответственностью "Аби Девелопмент" | Классификация изображений документов на основе параметров цветовых слоев |
| US10303498B2 (en) | 2015-10-01 | 2019-05-28 | Microsoft Technology Licensing, Llc | Performance optimizations for emulators |
| US10607101B1 (en) | 2016-12-14 | 2020-03-31 | Revenue Management Solutions, Llc | System and method for patterned artifact removal for bitonal images |
| JP7234495B2 (ja) * | 2018-01-25 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
| JP7147544B2 (ja) * | 2018-12-19 | 2022-10-05 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、及び情報処理方法 |
| JP2020099030A (ja) * | 2018-12-19 | 2020-06-25 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、及び情報処理方法 |
| CN111553340A (zh) * | 2019-02-12 | 2020-08-18 | 昆山纬绩资通有限公司 | 数据撷取方法及其系统 |
| US11042422B1 (en) | 2020-08-31 | 2021-06-22 | Microsoft Technology Licensing, Llc | Hybrid binaries supporting code stream folding |
| US11403100B2 (en) | 2020-08-31 | 2022-08-02 | Microsoft Technology Licensing, Llc | Dual architecture function pointers having consistent reference addresses |
| US11231918B1 (en) | 2020-08-31 | 2022-01-25 | Microsoft Technologly Licensing, LLC | Native emulation compatible application binary interface for supporting emulation of foreign code |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61188681A (ja) * | 1985-02-15 | 1986-08-22 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| US5086434A (en) * | 1985-09-30 | 1992-02-04 | Canon Kabushiki Kaisha | Data communication process and apparatus for data transmission in blocks which may include mixed data types |
| JPH0424781A (ja) * | 1990-05-15 | 1992-01-28 | Canon Inc | 文書処理装置 |
| US5212739A (en) * | 1990-10-17 | 1993-05-18 | Hewlett-Packard Company | Noise tolerant optical character recognition system |
| JPH0537700A (ja) | 1991-07-26 | 1993-02-12 | Ricoh Co Ltd | フアクシミリ装置 |
| CA2077969C (en) * | 1991-11-19 | 1997-03-04 | Daniel P. Huttenlocher | Method of deriving wordshapes for subsequent comparison |
| JP3272842B2 (ja) * | 1992-12-17 | 2002-04-08 | ゼロックス・コーポレーション | プロセッサベースの判定方法 |
| US5495565A (en) * | 1994-06-21 | 1996-02-27 | Wang Laboratories, Inc. | Integrated form document editor with form descriptor table, background bitmap, graphics editor and text editor, composite image generator and intelligent autofill |
| JPH0844827A (ja) * | 1994-07-27 | 1996-02-16 | Ricoh Co Ltd | デジタル複写機 |
| US5907835A (en) * | 1994-11-18 | 1999-05-25 | Canon Kabushiki Kaisha | Electronic filing system using different application program for processing drawing commands for printing |
| JPH08154172A (ja) * | 1994-11-29 | 1996-06-11 | Hitachi Ltd | 画像処理方法、画像ファイル及び画像処理用ファイル |
| US5920655A (en) * | 1995-02-10 | 1999-07-06 | Canon Kabushiki Kaisha | Binarization image processing for multi-level image data |
| US5999647A (en) * | 1995-04-21 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Character extraction apparatus for extracting character data from a text image |
| US5995665A (en) * | 1995-05-31 | 1999-11-30 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US5754308A (en) * | 1995-06-27 | 1998-05-19 | Panasonic Technologies, Inc. | System and method for archiving digital versions of documents and for generating quality printed documents therefrom |
| JPH0991371A (ja) | 1995-09-21 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 文字表示装置 |
| EP0769755B1 (en) * | 1995-10-13 | 2003-04-09 | Seiko Epson Corporation | Apparatus and method for printing partially repetitive data |
| JP3334779B2 (ja) * | 1996-01-26 | 2002-10-15 | セイコーエプソン株式会社 | 複合画像の処理方式及び方法 |
| US6389162B2 (en) * | 1996-02-15 | 2002-05-14 | Canon Kabushiki Kaisha | Image processing apparatus and method and medium |
| US6072598A (en) * | 1996-02-27 | 2000-06-06 | Intel Corporation | Method for enhancing usability of fax on small device |
| US6289121B1 (en) * | 1996-12-30 | 2001-09-11 | Ricoh Company, Ltd. | Method and system for automatically inputting text image |
| JPH1132206A (ja) | 1997-07-10 | 1999-02-02 | Fuji Xerox Co Ltd | 画像処理装置 |
| JPH11102414A (ja) * | 1997-07-25 | 1999-04-13 | Kuraritec Corp | ヒートマップを用いて光学式文字認識の訂正を行うための方法および装置、並びに、ｏｃｒ出力の誤りを発見するための一連の命令を記録したコンピュータ読み取り可能な記録媒体 |
| US6023534A (en) * | 1997-08-04 | 2000-02-08 | Xerox Corporation | Method of extracting image data from an area generated with a halftone pattern |
| US6151423A (en) * | 1998-03-04 | 2000-11-21 | Canon Kabushiki Kaisha | Character recognition with document orientation determination |
| JP2000022945A (ja) | 1998-07-01 | 2000-01-21 | Canon Inc | 画像処理装置及び画像処理方法 |
| JP4065473B2 (ja) | 1999-05-14 | 2008-03-26 | キヤノン株式会社 | 画像処理装置及び方法及び記憶媒体及びシステム |
| US6987879B1 (en) * | 1999-05-26 | 2006-01-17 | Ricoh Co., Ltd. | Method and system for extracting information from images in similar surrounding color |
| JP3268552B2 (ja) * | 1999-10-06 | 2002-03-25 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 領域抽出方法、宛名領域抽出方法、宛名領域抽出装置、及び画像処理装置 |
| DE19958553A1 (de) * | 1999-12-04 | 2001-06-07 | Luratech Ges Fuer Luft Und Rau | Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten |
| US6633670B1 (en) * | 2000-03-31 | 2003-10-14 | Sharp Laboratories Of America, Inc. | Mask generation for multi-layer image decomposition |
| JP4150842B2 (ja) * | 2000-05-09 | 2008-09-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
| JP4189506B2 (ja) * | 2000-06-09 | 2008-12-03 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及び記録媒体 |
| JP4631133B2 (ja) * | 2000-06-09 | 2011-02-16 | コニカミノルタビジネステクノロジーズ株式会社 | 文字認識処理のための装置、方法及び記録媒体 |
| JP4655335B2 (ja) * | 2000-06-20 | 2011-03-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
| JP4613397B2 (ja) * | 2000-06-28 | 2011-01-19 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
| GB2364416B (en) * | 2000-06-30 | 2004-10-27 | Post Office | Image processing for clustering related text objects |
| NL1015943C2 (nl) * | 2000-08-16 | 2002-02-19 | Ocu Technologies B V | Interpretatie van gekleurde documenten. |
| US6735337B2 (en) * | 2001-02-02 | 2004-05-11 | Shih-Jong J. Lee | Robust method for automatic reading of skewed, rotated or partially obscured characters |
| KR100339691B1 (ko) * | 2001-11-03 | 2002-06-07 | 한탁돈 | 코드인식을 위한 장치 및 그 방법 |
| US6641053B1 (en) * | 2002-10-16 | 2003-11-04 | Xerox Corp. | Foreground/background document processing with dataglyphs |
-
2000
- 2000-06-09 JP JP2000173727A patent/JP4189506B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-07 US US09/875,081 patent/US7321688B2/en not_active Expired - Fee Related
-
2007
- 2007-06-01 US US11/806,642 patent/US7454060B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8447143B2 (en) | 2010-08-12 | 2013-05-21 | Fuji Xerox Co., Ltd. | Image processing apparatus and storage medium storing image processing program |
| JP2016032270A (ja) * | 2014-07-30 | 2016-03-07 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像処理プログラム |
| CN109842733A (zh) * | 2017-11-27 | 2019-06-04 | 东芝泰格有限公司 | 图像处理装置 |
| CN109685100A (zh) * | 2018-11-12 | 2019-04-26 | 平安科技（深圳）有限公司 | 字符识别方法、服务器及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020015525A1 (en) | 2002-02-07 |
| US7454060B2 (en) | 2008-11-18 |
| US7321688B2 (en) | 2008-01-22 |
| US20070237394A1 (en) | 2007-10-11 |
| JP4189506B2 (ja) | 2008-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4189506B2 (ja) | 画像処理のための装置、方法及び記録媒体 | |
| JP4631133B2 (ja) | 文字認識処理のための装置、方法及び記録媒体 | |
| EP2270746B1 (en) | Method for detecting alterations in printed document using image comparison analyses | |
| US20060008113A1 (en) | Image processing system and image processing method | |
| US20100171999A1 (en) | Image processing apparatus, image processing method, and computer program thereof | |
| US20060010115A1 (en) | Image processing system and image processing method | |
| US7596271B2 (en) | Image processing system and image processing method | |
| JP2001297303A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2003152995A (ja) | 画像処理装置 | |
| JP2011008549A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
| US8229214B2 (en) | Image processing apparatus and image processing method | |
| US8810877B2 (en) | Image processing apparatus, image processing method, and storage medium for eliminating blurring of scanned image | |
| JP4275973B2 (ja) | 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法 | |
| KR20150099116A (ko) | Ocr를 이용한 컬러 문자 인식 방법 및 그 장치 | |
| JP2008028716A (ja) | 画像処理方法及び装置 | |
| JP4420440B2 (ja) | 画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体 | |
| JP4396710B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
| JP7301529B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2006072839A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体 | |
| JP5517028B2 (ja) | 画像処理装置 | |
| JP2010287178A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
| JP2002109470A (ja) | 画像認識装置、画像認識方法、および、画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体 | |
| JP2006262258A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3162414B2 (ja) | 罫線認識方法及び表処理方法 | |
| JP3756660B2 (ja) | 画像認識方法、装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070521 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |