JP2001028684A - カラー編集システム - Google Patents

カラー編集システム

Info

Publication number
JP2001028684A
JP2001028684A JP2000128486A JP2000128486A JP2001028684A JP 2001028684 A JP2001028684 A JP 2001028684A JP 2000128486 A JP2000128486 A JP 2000128486A JP 2000128486 A JP2000128486 A JP 2000128486A JP 2001028684 A JP2001028684 A JP 2001028684A
Authority
JP
Japan
Prior art keywords
color
node
image
image data
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000128486A
Other languages
English (en)
Other versions
JP3990855B2 (ja
Inventor
Shih-Yuan Wang
ワン シン−ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2001028684A publication Critical patent/JP2001028684A/ja
Application granted granted Critical
Publication of JP3990855B2 publication Critical patent/JP3990855B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 (修正有) 【課題】文書のいろいろな領域の背景色と前景色を個別
に、かつ簡単に編集することができるカラー文書画像編
集のためのシステム及び方法を提供すること。 【解決手段】カラー画像を、このカラー画像を表す二値
化画像と、カラー画像を表す階層的ツリー構造であっ
て、カラー画像中の画像データブロックのそれぞれを表
し、それぞれのブロックの色情報を含むノードを含む階
層的ツリー構造を用いてカラー画像を描画するシステム
である。メモリに、前記カラー画像の画像データブロッ
クに対応するカラー画像描画領域を定義するステップ
と、画像データブロックに対応するノードから前景色情
報を得る取得ステップと、画像データブロックに対応す
る二値化画像中の黒ピクセル位置を検出する検出ステッ
プ及び、カラー画像描画領域中の、検出された黒ピクセ
ル位置に対応する位置のピクセルに前景色を割り当てる
割り当てステップとを有する。

Description

【発明の詳細な説明】
【0001】(発明の背景) (発明の分野)本発明は、カラー画像の描画(renderin
g)及び編集のためのシステムに関する。特に、カラー画
像の二値化画像(binarized version)とカラー画像中の
カラー画像データブロックの階層化表現を用いて、カラ
ー画像の色のついた領域の描画及び編集を行うシステム
に関する。
【0002】(リファレンスによる編入)同一出願人に
よる米国特許出願第No. 07/873012号(米国特
許第5,680,479号)「文字認識方法及び装置」、
同出願番号第08/171720号(米国特許第5,58
8,072号)「保存された文書のテキスト及び非テキ
ストブロックを選択する方法及び装置」、同出願番号第
08/338781号、「ページ分析システム」、同出
願番号第08/514250号(米国特許第5,774,
579号)、「オーバラップしたブロックを分解してブ
ロック選択を行うシステム」、同出願番号第08/51
4252号(米国特許第5,848,186号)、「特徴
抽出システム」、同出願番号第08/664674号、
「添付されたテキストを抽出するシステム」、同出願番
号第08/751677号、「ページ分析システム」、
同出願番号第08/834856号(米国特許第5,82
5,944号)「ブロック選択レビュー及び編集システ
ム」、同出願番号第09/002684号、「表画像分
析システム」及び同出願番号第09/161716号、
「色ブロック選択」の内容は、本明細書中に全て記載さ
れているものとする。
【0003】(関連技術の説明)この点について、これ
らの機能は、カラー画像の選択された領域の中で存在す
るかもしれない種々の画像データタイプを区別しない。
したがって、文書画像の場合、テキストを構成している
ピクセルの色を変えずにテキストの選択領域の背景色を
簡単に変えることができない。例えば、ユーザが文書画
像のテキスト領域を選択し、次いで選択範囲中の各ピク
セルの色を青に変える青色変更機能を選択する場合に
は、それによってテキストピクセルと背景ピクセルのい
かなる区別も抹消される。
【0004】もちろん、従来の編集システムにおいて
も、選択範囲においてテキストピクセルを囲んでいる各
背景ピクセルを個々に選択し、その色を変えることによ
って選択範囲の背景色を変えることができた。しかしな
がら、この方法は非常に多くの時間を消費する。
【0005】前述のことを考慮して、文書のいろいろな
領域の背景色と前景色を個別に、かつ簡単に編集するこ
とができるカラー文書画像編集のためのシステムが必要
とされている。
【0006】(発明の概要)本発明は、カラー画像の二
値化画像と編集するカラー画像のカラー画像データブロ
ックの階層的な表現を利用して、画像のいろいろな色の
取り扱い及び編集を行うシステムを提供することによっ
て、前述の問題を処理する。それによって、入力カラー
文書の背景色と前景色は、簡単に、そして、個々に描画
及び編集することができる。
【0007】したがって、本発明の1つの見地は、カラ
ー画像を表している二値化された画像とカラー画像を表
している階層的ツリー構造(カラー画像内の画像データ
の個々のブロックを表すノードを含み、またこのノード
は個々のブロックの色情報を含む階層的ツリー構造)を
用いてカラー画像を描画するシステムである。システム
は、メモリ中に、カラー画像において画像データブロッ
クに相当するカラー画像描画領域の定義を有し、前景色
情報を画像データブロックに対応するノードから取得
し、画像データブロックに対応する二値化画像領域中の
黒色ピクセル位置を検出し、検出された黒色ピクセル位
置に対応するカラー画像描画領域の中のピクセルに前景
色を割り当てる。
【0008】この見地の結果、選択されたカラー画像領
域の前景色を、能率的に描画することができる。さら
に、本発明の上述の見地は、階層的ツリーの操作によっ
て変更された前景色を容易に描画するために用いること
ができる。
【0009】本発明の更なる見地においては、画像デー
タブロックに対応するノードからの背景色情報の取得及
び、カラー画像描画領域中の、検出された黒色ピクセル
の位置に対応しない各位置のピクセルに対する背景色の
割り当てを含む。この見地によれば、選択された領域の
背景色を簡単に描画及び編集することができる。
【0010】まだもう一つの見地において、本発明はカ
ラー画像を表している二値化画像と、カラー画像を表し
ている階層的ツリー構造(カラー画像中の画像データの
個々のブロックを表すノードを含み、このノードは個々
のブロックの色情報を含む階層的ツリー構造)を用いて
カラー画像を編集するシステムである。このシステム
は、カラー画像中の画像データブロック選択、画像デー
タの選択されたブロックに対応する階層的ツリーのノー
ドの識別、識別されたノード中の前景色属性の編集、メ
モリ中に置かれた、カラー画像データ中の画像データブ
ロックに対応するカラー画像描画領域の定義、画像デー
タブロックに対応するノードからの編集された前景色属
性の取得、画像データブロックに対応する二値化画像領
域中の二値化画像における黒色ピクセルの位置検出及
び、検出された黒色ピクセル位置に対応するカラー画像
描画領域中に位置するピクセルに対する前景色属性によ
って示される前景色の割り当てを含む。
【0011】この簡単な要約は、本発明の本質を素早く
理解するために供されたものである。本発明のより完全
な理解は、以下に示すその好ましい実施形態の詳細な説
明を付属の図面と関連して参照することによって得るこ
とができる。
【0012】(好ましい実施形態の詳細な説明)図1
は、本発明に係るカラー編集システムの実施形態を形成
する代表的なコンピュータ装置の外観を示す図である。
【0013】図1に示されるのは、コンピュータ装置1
(例えばマイクロソフト社のWindows98(登録商標)オ
ペレーティングシステムのようなウインドウを用いたオ
ペレーティングシステムを実行するインテル社のPentiu
m(登録商標)プロセッサベースのコンピュータ)であ
る。コンピュータ装置1はカラー・ディスプレイ・モニ
ター2を備え、モニター2を用いてユーザに画像を提示
する。コンピュータ装置1はまた、データファイルとア
プリケーションプログラムファイルを格納する固定ディ
スクドライブ3、テキストデータの入力及びディスプレ
イ2に表示されるオブジェクトを操作するためのキーボ
ード5と、ディスプレイ2に表示されるオブジェクトの
指定(pointing)及び操作を行うために設けられた、マウ
スのようなポインティングデバイス6を備えている。
【0014】コンピュータシステム1はさらに、フロッ
ピー(登録商標)・ディスケットを読み書きするための
フロッピーディスクドライブ4を含む。カラー画像を含
む文書画像ファイル、コンピュータ装置が実行可能な本
発明の実施形態に係るプロセスステップは、固定ディス
ク3またはフロッピーディスクドライブ4に挿入される
フロッピーディスクのいずれかに格納すしてもよい。代
わりに、文書画像ファイルやコンピュータ装置実行可能
なプロセスステップは、(図示しない)CD-ROMドライブ
によってアクセスされるCD-ROMから得ることもできる。
【0015】コンピュータ装置1はさらに、ローカル・
エリア・ネットワークと接続するためのネットワーク接
続10及び、電話網と接続するための電話回線11を備
えている。ネットワーク接続10を介してローカル・エ
リア・ネットワークから、または電話回線11を介して
電話網及びワールドワイドウェブ(「ウェブ」)から文
書画像ファイルと本発明の実施形態に係るコンピュータ
装置実行可能なプロセスステップにアクセスしても良
い。
【0016】最も一般的には、固定ディスク3に格納さ
れる、本発明に係るカラー編集システムアプリケーショ
ンを含むアプリケーションは、コンピュータ装置が読取
り可能な媒体(例えばフロッピーディスク、CD-ROM、ネ
ットワークドライブまたはウェブ)からダウンロードさ
れた後にディスク3に格納される。
【0017】カラー文書画像はまた、カラースキャナー
7によってコンピュータ装置1へ入力されてもよい。カ
ラースキャナ7は文書を表す24ビットのカラー画像デ
ータを提供するためにカラー文書を読み取る。好ましく
は、カラー画像データは、文書中の各ピクセル毎に赤、
緑と青それぞれ8ビットの値を有する。もちろん、他の
ビット長または色空間を用いて、本発明に従って編集さ
れるカラー文書画像を表すこともできる。
【0018】プリンター9は、コンピュータ装置1によ
って処理された文書画像を出力するために設けられてお
り、好ましくはカラーレーザービームプリンターであ
る。
【0019】操作において、そして、ウインドウベース
のオペレーティングシステムの制御下において、格納さ
れたアプリケーションプログラム(例えば本発明に係る
カラー編集システムアプリケーション)は、格納された
データの処理及び操作のために選択的に起動される。オ
ペレーター指示に従って、そして、格納されたアプリケ
ーションプログラムに基づいて、画像データをディスプ
レイ2に表示したり、画像データに対して機能を実行し
たり、表示された画像をプリンター9によってプリント
したりするためのコマンドが発行される。
【0020】図2は、コンピュータ装置1の内部の構成
を示す詳細なブロック図である。図2で示すように、コ
ンピュータ装置1は、プログラム可能なPentium(登録
商標)マイクロプロセッサのような、コンピュータバス
21に接続された中央処理装置(CPU)20を含む。
【0021】また、スキャナーインタフェース22、プ
リンターインタフェース23、ネットワークインタフェ
ース24、電話回線11への接続のためのファックス/
モデムインタフェース26、ディスプレイインタフェー
ス27、キーボードインタフェース28とマウスインタ
フェース29がコンピュータバス21に接続されてい
る。
【0022】図2で示すように、ディスク3は本発明に
係るカラー編集システムアプリケーション、カラーブロ
ック選択アプリケーションのコンピュータ装置実行可能
なプロセスステップ、階層的ツリー構造データ、文書画
像データ、二値化された文書画像データ、他のウインド
ウズアプリケーションのコンピュータ装置実行可能なプ
ロセスステップ、デバイスドライバー及び他のデータフ
ァイルのコンピュータ実行可能プロセスステップを格納
する。
【0023】メインメモリ30(例えばランダムアクセ
スメモリ(RAM))は、CPU 20にメモリストレージへ
のアクセスを提供するために、コンピュータバス21に
接続される。特に、ディスク3の上で保存されるコンピ
ュータ装置実行可能なプロセスステップを実行する際、
CPU 20はディスク3または他の記憶媒体からそれらの
ステップをメインメモリ30にロードして、メインメモ
リ30からそれらのプロセスステップを実行する。メイ
ンメモリ30はまた、本発明に係るカラー編集システム
を実行している間に使われるデータを格納するための
も、バッファストレージを提供する。
【0024】例えば、ブート中に用いられるプロセスス
テップや、例えばキーボード5操作のための基本入出力
オペレーティングシステム(BIOS)シーケンスといった
コンピュータ装置実行可能なプロセスステップを格納す
るために用いられる。
【0025】図3は、カラー文書ページ40の文書画像
データを示す図である。特許明細書においてカラー図面
を再現するのは困難なので、図3では文書ページ40を
表す二値化画像データを示す。先に述べたように、文書
ページ40の各ピクセルを24ビットのカラーデータを
使って表す代わりに、図3で示される各ピクセルは黒い
ピクセルか白いピクセルである。
【0026】示されるように、文書ページ40はタイト
ル領域42、水平線43、それぞれが複数行のテキスト
データを有するテキスト領域44、45と46、中間調
画像領域47、フレーム48及び表49を含む。
【0027】詳細に下で記述されるように、本発明のい
くつかの実施形態においては、カラー文書ページの二値
化されたそのようなバージョンを利用する。二値化され
たバージョンはスキャナー7の「モノクロ」機能を使い
ながら、文書ページ40をスキャンすることによって得
ることができる。しかし、図3で示される二値化画像デ
ータは前記の米国特許出願第09/161716号で記
述されるプロセスに従って、カラー画像データから作り
出されることが好ましい。もちろん、本発明で用いるた
めの二値化画像データを生成するために、他のいかなる
二値化方法を用いてもよい。
【0028】また、以下に記述されるように、本発明の
いくつかの実施形態において、描画および/または編集
されるカラー文書ページの階層的ツリー構造を利用す
る。図4は図3のカラー文書ページ40に対応する、代
表的な階層的ツリー構造50である。
【0029】階層的ツリー構造50は、好ましくは、前
述の特許文書に記載される技術を用いて生成される。通
常、これらの文書で記述されるように、階層的ツリー構
造は入力された画像データを分析することによって、入
力された画像データの範囲内の画像データブロックを識
別し、各識別されたブロック内に位置する画像データの
型を識別し、画像データの属性を識別して生成される。
図5は、そのような処理の典型的な結果を示す。図5に
おいて、ブロック表示52中の矩形のブロックの各々
は、特定のタイプの画像データの領域を表す。
【0030】通常、ブロック表示52は、階層的ツリー
構造50をつくるために使われる。特に、ツリー構造5
0はブロック表示52の中のブロックの位置関係に従っ
て配置される。更に詳細には、ツリー構造50は文書ペ
ージ40を表すページノード55から始まる。ページノ
ード55の下層にはtext1ノード57とtext2ノード5
8がある。これらはそれぞれ、ブロック表示52におけ
るブロック59と60を表す。フレーム(FRAME)ノード
62は、大きいフレームブロック63を表しており、フ
レーム63がブロック表示52において完全に各他のブ
ロックを囲んでいるため、ツリー構造50で示される他
のノードのぞれぞれの「親」ノードである。ここで、白
(WHITE)ノード65はフレームブロック63中の領域を
表し、白ノード69はフレームブロック67中の白い領
域を表す。ツリー構造50の残っているノードは、上述
した論理と同様の論理に従って、画像データブロックに
割り当てられる。
【0031】ツリー構造50の各ノードは、そのノード
が表す画像データブロック関する情報を含む。表1は、
ノードで表される画像データの形式に従って、各ノード
に好ましくは含まれる情報のリストである。
【0032】
【表1】
【0033】ここで、上述したノード情報のセットのい
くつかが分解された長方形(decomposed rectangle)の座
標を含む点に留意する必要がある。上述した米国特許第
5,774,579号はそのような分解された長方形の詳
細な説明を含む。しかし、一般的に、あるブロックは、
そのブロックに割り当てられていないデータの抽出を引
き起こすことなく、ブロックの中の位置からデータを抽
出できるように、いくつかの分解された長方形によって
さらに規定される。
【0034】たとえば、図5及びツリー構造50のノー
ド72から75に示すように、ブロック表示52のブロ
ック70は、フレーム48が、順番にテキストブロック
とラインアートピクチャブロックを含む白領域を含んで
いることを表す。しかし、ブロック77の座標がテキス
ト45の抽出に使われるとすると、フレーム48のいく
つかの部分がともに抽出されることになる。米国特許第
5,774,579号によれば、ブロック77はブロック
77a、77bと77c(図5において点線で示され
る)に分解され、ブロック77aから77cの座標はブ
ロック77を表すノード79に保存される。ブロック7
7a、77bと77cの座標は、テキスト45を容易に
抽出するために使用することができる。以下明らかにさ
れるように、このような分解された長方形の座標データ
は本発明の実施に有用である。
【0035】表ノード71は、ブロック表示52におけ
る表ブロック78を表す。図4で示すように、表ブロッ
ク78内の領域はスーパーセルノードで表される。スー
パーセルノードは、親スーパーセルノードによって定義
される領域内のテキストを表すテキストノードの親ノー
ドである。上記の米国特許出願第09/002684号
は、表内部のスーパーセル領域の境界を計算するシステ
ムを説明する。本明細書においては、スーパーセル領域
は白領域と同等であるとみなされなければならない。
【0036】表1に関して、また、好ましい実施形態に
おいて、全てのノードが背景色情報を含む必要があると
いうわけでない点に注意されなければならない。ノード
が色情報を含まない場合、そのノードが最も近い親ノー
ドにおいて指定された背景色と同じ背景色を有するもの
とする。例えば、フレームノード68が背景色情報を含
まない場合、フレームノード68は、白ノード65と同
一の背景色情報を有すると仮定される。同様に、白ノー
ド65とフレームノード62が背景色情報を含まない場
合、フレームノード68は、ページのルートノード55
に含まれる背景色情報と同一の背景色情報を含むものと
する。
【0037】分解された長方形の話題に戻って、ノード
中の分解された長方形の情報は、その分解された長方形
を含むノードに割り当てられているものとは異なる特定
の前景又は背景色に関連づけされていても良い。さら
に、ピクチャノードが分解された長方形を含む場合、分
解された長方形のそれぞれの範囲内の元のビットマップ
データは、対応する分解された長方形に対して個別に関
連づけされる。
【0038】図6は、本発明に従ってカラー画像を描画
するコンピュータ実行可能プロセスステップのフローチ
ャートである。望ましくは図6のプロセスステップは、
固定ディスク3からメインメモリ30へロードされ、そ
こからCPU 20によって実行される。
【0039】図6のプロセスステップはカラー画像を表
している二値化画像とカラー画像を表している階層ツリ
ー構造を用いてカラー画像を描画するために実行され
る。階層ツリー構造はカラー画像中の個々のブロックを
表し、個々のブロックの色情報を有するノードを有す
る。プロセスステップは、カラー画像中の画像データブ
ロックに対応するカラー画像描画領域をメモリ中に定義
する定義ステップ、画像データブロックに対応するノー
ドから前景色情報を取得する取得ステップ、二値化画像
の画像データブロックに対応する領域内の黒ピクセル位
置を検出する検出ステップ及び、検出された黒ピクセル
位置に対応するカラー画像描画領域中に位置する画沿に
前景色を割り当てる割り当てステップとを有する。より
詳細には、図6のフローチャートは、選択されたページ
に対応する階層ツリー構造の二値化画像を取得するステ
ップS601から始まる。
【0040】例えば、階層的ツリー構造50及び図3に
示される二値化画像データは、ページ40の選択に応答
してステップS601で得られる。次に、ステップS6
02で、描画バッファがメインメモリ30のようなメモ
リにおいて定義される。描画バッファは、二値化画像デ
ータと1対1のピクセル関係を持つように定義される。
【0041】ステップS604で、得られた階層的ツリ
ー構造は、選択されたページのルートカラー(root colo
r)を決定するために調べられる。この色は、ツリー構造
のページルートノード中、最も頻繁に見つかる色であ
る。
【0042】次に、ステップS605で、二値化画像デ
ータにおいて白ピクセルの位置に対応するが、いかなる
子供フレームのアウトラインペア、表またはピクチャ中
には位置しない位置を有する描画バッファ中の各ピクセ
ルにルートカラーが割り当てられる。アウトラインペア
については、以下に詳細に説明する。
【0043】得られたツリー構造の特定のノードが、ス
テップS606で選択される。ステップS607で、ノ
ードがピクチャノードまたは白ノード以外のタイプのノ
ードであると決定された場合、ステップS608に移行
し、分解された長方形が選択されたノードから選択され
る。分解された長方形のための前景色は、ステップS6
09で決定される。先に述べたように、分解された長方
形はそれ自身の特定の前景色を割り当てられてもよい。
しかし、もしそうでない場合、分解された長方形は割り
当てられた前景色を有する最も近い親ノードの前景色を
共有する。
【0044】その後、ステップS610で、選択された
分解された長方形の座標が、二値化画像データ中の、か
つ分解された長方形の領域中に含まれる黒ピクセルの位
置を識別するために使われる。ステップS611で、そ
のような場所の各々に対応する位置を有する描画バッフ
ァ中のピクセルに、前景色を割り当てる。ステップS6
12で、更に分解された長方形が、選択されたノードの
中に存在するかどうか判定する。より分解された長方形
がノードの中に存在する場合には、ステップS608に
戻る。ノード中にこれ以上の分解された長方形が存在し
ないならば、ステップS614へ移行し、ツリー構造に
より多くのノードが存在するなら、ステップS606へ
戻る。選択されたノードが分解された長方形を全く含ま
ない場合には、ステップS608からS611の処理が
選択されたノードの座標及び前景色に関して実行される
ことに留意すべきである。
【0045】図7は図6のステップS608からS61
1までの例を示す。図7で示すように、テキスト45に
対応する図4のノード79が選択され、分解された長方
形77a、77b及び77cは二値画像データ40に関
して個々に分析される。図6のフローチャートに基づい
て、分解された長方形77a、77b及び77c中の各
黒ピクセルの位置について、対応する描画バッファ80
中の位置が前景色を割り当てられる。それは、また、注
意されなければならない、ステップS604とS605
に基づいて、描画バッファ80中の、ステップS611
で前景色を割り当てられなかった各ピクセルに決定され
たルートカラーが割り当てられることにも留意すべきで
ある。
【0046】ステップS607で、ピクチャノードがス
テップS606で選択されたと判定された場合、処理は
図8のステップS801まで進む。ステップS801
で、選択されたピクチャノードから得られる分解された
長方形は、ピクチャのオリジナルビットマップデータ及
びオリジナルビットマップデータのためのアウトライン
ペアデータとともにピクチャノード中に保存される。出
願番号第08/664674号で詳細に記述されるよう
に、アウトラインペアデータはデータをスキャンライン
に位置させるために使われるピクセル座標のペアから成
る。例えば、この場合、座標(5、20)及び(5, 6
0)からなるアウトラインペアデータは、ピクチャデー
タがス第5キャンラインの第20〜第60ピクセルの間
に存在することを示す。
【0047】従って、ステップS802で、得られたオ
リジナルビットマップデータは、アウトラインペアデー
タに対応する描画バッファの位置に直接マッピングされ
る。例えば、図9で示すように、得られたオリジナルの
ビットマップデータの最初のスキャンラインは、図9に
おいて明瞭なドットで示される、最初に得られるアウト
ラインペアによって示されるピクセル座標の間に位置す
る。
【0048】この過程は、各スキャンラインに対応して
いるアウトラインペア情報を用いて得られた画像データ
の各スキャンライン毎に繰り返す。そして、処理はステ
ップS614まで進む。従って、先に述べたようにアウ
トラインペアデータ用いて、バッファ80の適切な位置
においてオリジナルビットマップ画像データを描画する
ことができる。
【0049】ステップS607で、選択されたノードが
白ノードであると決定されるならば、処理は図10のス
テップS1001まで進む。ステップS1001で、ア
ウトラインペアと背景色情報が選択された白ノードから
得られる。白ノードが背景色情報を含まない場合、上述
した方法が背景色の決定に用いられる。処理はステップ
S1002に続き、二値化画像データは他の全てのピク
チャ、フレームまたは表アウトラインペアの外側であっ
て、かつ得られたアウトラインペア中にある白ピクセル
の位置を識別するために調べられる。次に、ステップS
1004で、識別された白ピクセル位置に対応する、描
画バッファ中のピクセルは、ステップS1001で得ら
れた背景色を割り当てられる。そして、処理は前述した
ようにステップS614まで進む。
【0050】図10に示したプロセスステップの例のよ
うに、図11において、ページ40の二値化画像におけ
る明瞭なドットはフレーム48中の白領域のアウトライ
ンペアを示す。図10に関して説明したように、二値化
画像データのスキャンラインのアウトラインペアの間に
位置する白ピクセルだけに対応する位置を有する描画バ
ッファ80のピクセルが、階層ツリー構造50のノード
73で表される白領域から得られた背景色を割り当てさ
れる。
【0051】図6、図8と図10のプロセスステップに
よって、比較的少ない量のデータからカラー文書40の
実質的な再生を行うことができる。
【0052】もう一つの見地で、本発明はカラー文書中
の色の効率的な編集を提供する。例えば、図12は本発
明に係る、オブジェクトの色データを編集するコンピュ
ータ装置実行可能なプロセスステップのフローチャート
である。図12のプロセスステップは好ましくは固定デ
ィスク3に格納され、そこからメインメモリ30に読み
込まれてCPU 20によって実行される。
【0053】簡単に説明すれば、図12のプロセスステ
ップはカラー画像を表している二値化画像とカラー画像
を表している階層的ツリー構造を用いてカラー画像を編
集するためのステップを含む。そして、階層的ツリー構
造は、カラー画像中の各ブロックを表すノードを含み、
ノードは各々のブロックの色情報を含む。プロセスステ
ップは、カラー画像中の画像データブロックを選択する
選択ステップと、選択された画像データブロックに対応
するノードを特定する特定ステップと、特定されたノー
ドの前景色属性を編集する編集ステップと、メモリ中に
カラー画像中の画像データブロックに対応する描画領域
を規定する規定ステップと、画像データブロックに対応
するノードから、編集された前景色属性を取得する取得
ステップと、画像データブロックに対応する二値化画像
領域内の黒ピクセル位置を検出する検出ステップ、及び
前景色属性で表される前景色を検出された黒ピクセル位
置に対応するカラー画像描画領域中に位置するピクセル
に割り当てる割り当てステップとを含む。
【0054】より具体的には、ステップS1201で、
特定のオブジェクトの前景色の編集命令が受信される。
このような命令は、キーボード5またはマウス6を用い
ているモニター2で表示されるグラフィック・ユーザ・
インタフェースのユーザ操作を通して、または当業者に
知られたオブジェクトを選択する任意の方法及びそのオ
ブジェクトに適用されるプロセスによって入力すること
ができる。図12プロセスステップを用いて編集される
ことが予想される特定のオブジェクトには、テキストブ
ロック、テキストライン、ラインアートピクチャ、フレ
ーム、行または表を含む。次に、ステップS1202
で、特定のオブジェクトに対応する階層的な構造のノー
ドが受信された編集コマンドに従って編集される。より
詳しくは、特定のオブジェクトを表しているノードにあ
る前景色情報は、受信された色編集コマンドによって示
される、選択された前景色を反映するために編集され
る。
【0055】ここで、ノードの中の各分解された長方形
が前景色、背景色、前景パターンと背景パターン情報を
含むことができる点に留意すべきである。従って、ステ
ップS1202で、対応しているノード中の全ての分解
された長方形の情報は、選択された前景色を反映するた
めに編集されなければならない。
【0056】図12Aから図12Dは、テキスト行オブ
ジェクトの前景色を編集する場合に、ステップS120
2で実行される編集の、好ましい方法を示す図である。
図12Aはテキスト行(TEXT LINE)1、テキスト行2と
テキスト行3を含むテキストブロック82を示す図であ
る。図12Bは、テキストブロック82を表すノードを
有する階層的ツリー構造の一部を示す図である。上述し
た階層的なツリー形式に従って、構造84はテキストブ
ロック82を表している親ノードと、テキスト行1、テ
キスト行2とテキスト行3の各々を表す3つの子ノード
を含む。
【0057】本実施形態において、ツリー構造84の各
ノードの前景情報が赤い前景色を示すものと仮定する。
ステップS1201で、受信された色編集命令がテキス
ト行2の前景色を赤から黄色に変更することを要求して
いる場合、ツリー構造84は、ステップS1202にお
いて図12Cの構造に変換される。図示されるように、
ツリー構造86は各々テキスト行1、テキスト行2また
はテキスト行3の1つを表すノードの親となる3つのテ
キストブロックノードを含む。ツリー構造86によっ
て、ブロック82は、3つの別々のテキストブロックと
して扱われる。好ましくは、3つのテキスト行オブジェ
クトの前景色情報が再び互いに一致するためにステップ
S1201で編集される場合、ツリー構造86はステッ
プS1202でツリー構造84へ戻される。
【0058】図12Dは、ステップS1201で、ブロ
ック82のテキスト行3の前景色を黄色に変えるコマン
ドが受信された場合に、ステップS1202においてツ
リー構造84から形成されるツリー構造88を示す。図
12Cに関して述べたように、テキスト行1、テキスト
行2及びテキスト行3の前景色がその後互いに一致する
ように編集される場合には、ツリー構造88はツリー構
造84に戻される。さらに、ツリー構造84のノード内
部のいかなる分解された長方形も、ツリー構造84から
ツリー構造86またはツリー構造88にへの変形に起因
して再計算もしくは他のノードへの再割り当てを必要と
するであろうことに留意する必要がある。
【0059】一般的なケースに戻って、ステップS12
01で編集される特定のオブジェクトは、ステップS1
204からステップS1210に従って描画される。こ
の場合、分解された長方形は、ステップS1204で編
集されたノードから選択される。次に、ステップS12
06で、分解された長方形の前景色が決定される。
【0060】先に述べたように、前景色情報は、分解さ
れた長方形に特有で、編集されたノードに含まれても、
親ノードに含まれていても良い。前景色はまた、ステッ
プS1202で編集されてもよい。ステップS1207
で、分解された長方形中の二値化画像データの黒ピクセ
ル位置が識別される。そして、ステップS1208で、
決定された前景色が識別された黒ピクセル位置に対応す
る描画バッファのピクセルに割り当てられる。ステップ
S1210で、分解された長方形がノード中にまだ存在
するかどうか判定される。もしそうならば、ステップS
1204に戻る。もしそうでなければ、処理は終了す
る。編集されたノードが分解された長方形を全く含まな
い場合、ステップS1204からステップS1210は
編集されたノードだけに関して実行される点に留意する
必要がある。また、図12の描画は図6のステップS6
08からステップS612と同様に進行する点に注意す
べきである。
【0061】図13は、本発明に従って白領域の色を編
集するための、コンピュータ実行可能なプロセスステッ
プを示すフローチャートである。初めに、ステップS1
301で、白領域のための色編集コマンドが受信され
る。次にステップS1302で、白領域に対応する白ノ
ード中の色情報が、受信された色編集コマンドに従って
編集される。特に、白領域の背景色は、ステップS13
02で色編集コマンドに従って変更される。ステップS
1304で、アウトラインペアと編集された色情報が、
白ノードから取得される。図13の説明を目的として、
このようなアウトラインペアをメインアウトラインペア
と呼ぶ。次に、ステップS1305で、存在する全ての
子白ノードからアウトラインペアが取得される。本明細
書において、これらのアウトラインペアは、2次アウト
ラインペアと呼ぶ。
【0062】次に、ステップS1307で、メインアウ
トラインペアと2次アウトラインペアの外にある二値化
画像データの白ピクセルが識別される。そして、ステッ
プS1308で、識別された白ピクセルに対応する描画
バッファ中のピクセルは、編集された色情報に基いて色
を割り当てられる。
【0063】図14に、ページ40とツリー構造50の
白ノード65と69に属しているいくつかのアウトライ
ンペアの二値化画像を示す。図14から分かるように、
ノード65で表される白領域の色を正しく編集するため
に、ノード65のアウトラインペアの中で、かつノード
69のアウトラインペアの外のピクセルは、識別及び編
集されなければならない。
【0064】図15は、選択されたオブジェクトの背景
色を編集するプロセスステップのフローチャートであ
る。図12に関して上述したように、図15のステップ
によって処理される(contempleted)オブジェクトは、
テキストブロック、テキスト行、ラインアートピクチ
ャ、フレーム、線及び表を含む。この場合、選択された
オブジェクトの背景色編集コマンドは、ステップS15
01で受信される。ステップS1502で、選択された
オブジェクトに対応するノード中の背景色情報は、受信
されたコマンドに基づいて編集される。ステップS12
02に関して説明したように、ステップS1502にお
いて、対応ノード中の全ての分解された長方形の背景色
情報は、受信されたコマンドに基づいて編集されなけれ
ばならない。また、図12に関してより上述したよう
に、選択されたオブジェクトがテキスト行の場合、ノー
ドの編集は対応する階層的ツリー構造の変更原因となり
うる。次に、ステップS1504で、分解された長方形
がノードから得られ、そして、ステップS1505で、
分解された長方形の背景色が決定される。
【0065】ステップS1506で、分解された長方形
中の二値化画像データ白ピクセルの位置が識別される。
そして、識別された白ピクセルに対応する領域を描画す
るピクセルは、ステップS1507において決定された
背景色を割り当てられる。その後、ステップS1509
で、分解された長方形がまだノード中に存在する場合、
処理はステップS1504に戻る。もしそうでなけれ
ば、処理は終了する。ここで、ステップS1504から
ステップS1509までは、対象が分解された長方形の
黒ピクセル及び選択されたオブジェクトの前景色ではな
く、分解された長方形の白ピクセル及び選択されたオブ
ジェクトの背景色であることを除けば、ステップS60
8からステップS612と同様に進行する点に留意する
必要がある。
【0066】図16は、文書画像において選択されたピ
クチャの背景色を編集するためのコンピュータ装置実行
可能なプロセスステップを示す図である。処理は、選択
されたピクチャの背景色の編集コマンドを受信するステ
ップS1601から始まる。ステップS1602で、選
択されたピクチャに対応するノードの背景色情報は受信
したコマンドに基づき編集される。このような編集には
ノード中の任意の分解された長方形の背景色情報の編集
も含まれる。次に、ステップSl604で、ノードの分
解された長方形が得られる。分解された長方形の背景色
及び、分解された長方形に対応するアウトラインペアが
ステップS16O5で得られる。ステップS1606
で、分解された長方形の領域中で、得られたアウトライ
ンペアの外にある描画バッファ中のピクセルが背景色に
割り当てられる。ステップS1608で、他に分解され
た長方形がノードの中に存在するかどうかはを判定す
る。もし存在するならば、処理はステップS1604へ
戻る。もしそうでなければ、処理は終わる。
【0067】図17は、ピクチャ47の背景色を編集し
た後の描画バッファ80を示す図である。新しい背景色
はハッチングによって表され、そして、ステップS16
04で得られた、ノードの分解された長方形は長方形9
0によって示される。得られたアウトラインペアは、長
方形90中の点によって示される。図16のステップS
1606に従って、描画バッファ80中の、長方形90
の領域内に含まれ、かつアウトラインペアの外側のピク
セルがそれぞれ、ピクチャ47の背景色を編集するため
に編集された背景色を割り当てられることは、図17か
ら明らかである。
【0068】図18は、選択されたオブジェクトの背景
パターンを変えるプロセスステップのフローチャートで
ある。まず、図12及び図15に関して上述したタイプ
のオブジェクトがステップS1801で選択される。次
に、ステップS1802で、選択されたオブジェクトの
ための背景パターンが選択される。ステップS1804
で、選択されたオブジェクトに対応するノードが、選択
された背景パターンを表すように編集される。ノードの
編集は、好ましくはノード中の全ての分解された長方形
もまた選択された背景パターンを表すような編集を含
む。
【0069】ステップS1805で、対応する画像デー
タブロックと等しい寸法を有する選択されたパターンが
テンポラリバッファに生成される。
【0070】ステップS1806で、ノードの分解され
た長方形が得られる。次に、ステップS1808で、分
解された長方形中の二値化画像データの白ピクセルに対
応する、描画バッファのピクセルは、テンポラリバッフ
ァ中の対応した位置のピクセルの値を割り当てられる。
ステップS1808について、以下さらに説明する。そ
して、ノード中にまだ分解された長方形が存在する場
合、処理はステップS1809からステップS1806
へ戻る。もしそうでなければ、処理はステップS180
9で終わる。
【0071】図19は、図18のいくつかのステップを
示す。特に、図19はテキスト領域45が選択される、
ページ40の二値化画像データを示す。従って、テンポ
ラリバッファ95は、テキストブロック77と等しい寸
法で生成される。次に、分解された長方形77aの白ピ
クセルがステップS1808によって分析される。特
に、二値化画像データの分解された長方形77aでの各
白ピクセルのそれぞれについて、テンポラリバッファ9
5中の対応する位置のピクセルが識別される。テンポラ
リバッファ95中の、対応した位置のピクセル値は、二
値化画像データにおいて識別された白ピクセルの位置に
対応した位置の描画バッファ80中のピクセルに割り当
てられる。このプロセスは、分解された長方形77b及
び77cについても繰り返し行われる。その結果、背景
パターンを、選択されたオブジェクトを不明瞭にした
り、変更することなく、選択されたオブジェクトに追加
することができる。
【0072】他の実施形態においては、図18のステッ
プS1805は省略される。従って、ステップS180
8で、描画バッファのピクセルに割り当てる値を決定す
るためにテンポラリバッファは使われない。その代わり
に、二値化画像データの白ピクセルに対応する、描画バ
ッファのピクセルに割り当てる値を計算するため、選択
されたパターンはリアルタイムで分析される。
【0073】図20は、本発明に係る中間調ピクチャの
背景パターン編集のプロセスステップを示すフローチャ
ートである。中間調ピクチャと背景パターンはステップ
S2001とステップS2002でそれぞれ選択され
る。ステップS2004、S2005及びS2006は
図18のステップS1804、S1805及びS180
6と同様に進行するため、その説明は省略する。次に、
ステップS2007で、分解された長方形のアウトライ
ンペアはが得られる。
【0074】ステップS2008で、分解された長方形
に含まれ、かつ得られたアウトラインペアの外にある描
画バッファ中のピクセルは、テンポラリバッファの対応
した位置のピクセル値を割り当てられる。そして、ステ
ップS2009で、ノード中に分解された長方形がさら
に存在するかどうかが判定される。もし存在するなら
ば、処理はステップS2006に戻る。もし存在しなけ
れば、処理は終わる。
【0075】図21は、中間調ピクチャ47がステップ
S2001で選択される場合に生成されるテンポラリバ
ッファ100を示す。図に示すように、テンポラリバッ
ファ100はピクチャ47を含んでいるブロックと等し
い寸法を有する。さらに、ステップS2008に従っ
て、ブロック中でピクチャノードから得られるアウトラ
インペアの外の各ピクセルは、テンポラリバッファ10
0における、対応した位置のピクセル値を割り当てられ
る。
【0076】図20のプロセスステップの他の実施形態
においては、ステップS2005が省略される。従っ
て、この実施形態では、ステップS2008で描画バッ
ファのピクセルに割り当てる値を決定するためにテンポ
ラリバッファを用いない。その代わりに、二値化画像デ
ータの白ピクセルに対応する、描画バッファのピクセル
に割り当てる値を計算するため、選択されたパターンは
リアルタイムで分析される。
【0077】図22は、選択された白領域の背景パター
ンを編集するプロセスステップのフローチャートであ
る。処理は、白領域が選択されるステップS2201か
ら始まる。ステップS2202で、背景パターンがまた
選択される。次に、ステップS2203で、選択された
白領域に対応する画像データブロックのノードが、選択
された背景パターンを表すために編集される。ステップ
S2205で、画像データブロックと等しい寸法を有す
るテンポラリバッファに、選択されたパターンが生成さ
れる。
【0078】ステップS2207とS2208で、図1
3に関して説明したように、メインアウトラインペアと
2次アウトラインペアがノードから得られる。最終的
に、ステップS2209で、二値化画像データ中の白ピ
クセルのうち、ブロックの内部であって、白アウトライ
ンペアの外側の白ピクセルに対応する描画バッファ中の
ピクセルが、テンポラリバッファの対応する位置のピク
セル値を割り当てられる。
【0079】図23は、図22のプロセスステップを示
す図である。特に、階層的ツリー構造50のノード65
に対応している白領域はステップS2201で選択さ
れ、図14に関連して上述したように、パターンがテン
ポラリバッファ105に生成される。図23はまた、メ
インアウトラインペアと2次アウトラインペアを含むペ
ージ40の二値化画像データを示す。ステップS220
9で、二値化画像の、メインアウトラインペアの中で、
かつ2次白アウトラインペアの外側にある白ピクセルが
識別された後、描画バッファ80において対応する位置
を有するピクセルは、テンポラリバッファ105で対応
する場所を有するピクセルの値を割り当てられる。
【0080】他の実施形態において、ステップS220
5は省略される。従って、この実施形態では、ステップ
S2209で描画バッファのピクセルに割り当てる値を
決定するためにテンポラリバッファを用いない。その代
わりに、ステップS2209において、二値化画像の、
メインアウトラインペアの中で、かつ2次白アウトライ
ンペアの外側にある白ピクセルに対応する描画バッファ
中のピクセルに割り当てる値を計算するため、選択され
た背景パターンはリアルタイムに分析される。
【0081】図24Aは、実線を点線パターンと交換す
る、コンピュータ実行可能なプロセスステップのフロー
チャートである。従って、ステップS2401で、実線
が選択される。次に、ステップS2402で、点線パタ
ーンが選択される。選択された実線を含む画像データブ
ロックのノードは、選択された点線パターンを示すため
にステップS2404で編集される。そのような編集に
は、ノード中の分解された長方形の各々を、選択された
点線パターンを示すために編集することを含む。
【0082】次に、ステップS2405で、選択された
水平(垂直)実線と等しい幅(長さ)を有するピクセル
の線形バッファが、選択されたパターンを反映するため
に割り当てられる。
【0083】図25に、ステップS2405で割り当て
られる線形バッファ110を示す。図25に示されるよ
うに、実線43はページ40の二値化画像データから選
択されている。従って、実線43の各黒ピクセルごと
に、バッファ110の対応する位置のピクセルが調べら
れる。バッファ110の対応する位置のピクセルが黒ピ
クセルならば、描画バッファ80中の、同様に対応する
位置のピクセルは決定された前景色を割り当てられる。
他方、対応する位置のピクセルが白ピクセルならば、描
画バッファ80中の、同様に対応する位置のピクセルは
背景色を割り当てられる。
【0084】その結果、実線のスタイルは、関連してい
る前景と背景色の配合を変えることなく編集することが
できる。
【0085】図24Aプロセスステップに戻って、ステ
ップS2406で、編集されたノードの背景情報が背景
パターンを示す場合処理は図24BのステップS241
4へ進む。ステップS2414で、ノードの分解された
長方形が得られる。次に、ステップS2415で、編集
されたノードで示される背景パターンが、選択された実
線を含む画像データブロックと等しい寸法を有するテン
ポラリバッファに生成される。
【0086】ステップS2416で、得られた分解され
た長方形の前景色が決定される。それから、ステップS
2418で、保存された二値化画像データは、分解され
た長方形中の黒ピクセルの位置を確認するために調べら
れる。ステップS2419で、描画バッファのピクセル
に適切な値が割り当てられる。
【0087】特に、線形バッファの対応する位置のピク
セルが黒い場合には、描画バッファ中の、検出された黒
ピクセル位置のピクセルに、決定された前景色が割り当
てられる。線形バッファの、対応する位置にある白ピク
セルについては、描画バッファ中の黒ピクセル位置にあ
るピクセルが、背景パターンテンポラリバッファの対応
する位置のピクセルと同じ値を割り当てられる。分解さ
れた長方形がまだノードの中に存在するならば、処理は
ステップS2414に戻る。もしそうでなければ、処理
は終了する。
【0088】ステップS2405とS2415の線形お
よび/またはテンポラリバッファの生成は必ずしも必要
でない点に留意すべきである。
【0089】その代わりに、ステップS2411及びS
2419についての上で述べた説明から明らかな、望ま
しい結果に基づく適切なピクセル値割当てを計算するこ
とによって、ステップS2411及びS2419をリア
ルタイムに実行することができる。
【0090】図26は、画像データのページ中のピクチ
ャオブジェクトを削除するコンピュータ装置実行可能な
プロセスステップを示すフローチャートである。初め
に、ステップS2601で、ピクチャオブジェクトを削
除するコマンドが受信される。ステップS2602で、
オブジェクトに対応しているノードは、「削除された」
とマークされる。次に、ステップS2604で、ノード
の背景がカラーかパターンかどうかが判定される。カラ
ーならば、ステップS2605に移行し、そのノードの
分解された長方形が得られる。ステップS2606で、
分解された長方形の背景色は、先に述べたように決定さ
れる。次に、ステップS2608で、分解された長方形
中のアウトラインペアデータが識別される。そのアウト
ラインペアはピクチャオブジェクトのためのデータの場
所を示している。ステップS2609で、描画バッファ
中の、アウトラインペア中の識別されたピクセル位置に
対応する位置のピクセルは、決定された背景色を割り当
てられる。ステップS2610で、ノードの中に分解さ
れた長方形がまだ存在するかどうかが判定されれば、処
理はステップS2605に戻る。一方、分解された長方
形がなければ、処理は終了する。
【0091】図27は、図26で説明された様なピクチ
ャオブジェクトの削除ステップを示す図である。図示さ
れるように、ページ40のピクチャ47の背景は色のつ
いた背景である。従って、ページ40の二値化画像中
の、ピクチャ47に対応するアウトラインペアに含まれ
るピクセルのそれぞれに対し、描画バッファ80の対応
しているピクセルが背景色を割り当てられる。描画バッ
ファの処理結果もまた図27に示す。
【0092】ステップS2604で、選択されたピクチ
ャオブジェクトの背景がパターンであると判定された場
合、処理は図28のステップS2801へ進む。
【0093】ステップS2801で、背景パターンが、
選択されたピクチャオブジェクトに対応するノードから
得られる。次に、ステップS2802で、ノードで表さ
れるブロックの大きさと同じ大きさを有するテンポラリ
バッファにパターンが生成される。ブロックの分解され
た長方形がステップS2804で得られ、そして、その
分解された長方形中にあるアウトラインペアがステップ
S2805で識別される。
【0094】その後は、ステップS2807で、アウト
ラインペア中のピクセル位置に対応する描画バッファの
ピクセルが、同じピクセル位置に対応するテンポラリバ
ッファのピクセルの値を割り当てられる。ノードにまだ
分解された長方形がノードが存在するならば、処理はス
テップS2808からステップS2804へ移行する。
一方、分解された長方形がもうなければ、処理はステッ
プS2808の後終了する。
【0095】図28の他の実施形態では、ステップS2
802は省略される。従って、この実施形態では、ステ
ップS2807で描画バッファのピクセルに割り当てる
値を決定するためにテンポラリバッファを用いない。そ
の代わりに、ステップS2807において、アウトライ
ンペアに含まれる描画バッファ中のピクセルに割り当て
る値を計算するため、選択された背景パターンはリアル
タイムに分析される。
【0096】図29は、図28のプロセスステップを実
行する前の描画バッファ80を示す図である。図28の
処理ステップに従って、ピクチャ47を含んでいるブロ
ックに対応するようにバッファ115が生成される。図
に示すように、バッファ115はピクチャ47の背景パ
ターンで満たされる。図29の右側には、先に述べたス
テップS2807実行後の描画バッファ80を示す。
【0097】図30は、画像データのページ中の非ピク
チャオブジェクトを削除するコンピュータ装置実行可能
なプロセスステップのフローチャートである。初めに、
非ピクチャオブジェクト(例えばテキスト、行、行-技
術、フレームまたは表オブジェクト)を削除するために
ステップS3001で受信される。
【0098】ステップS3002で、オブジェクトに対
応しているノードは、「削除された」とマークされる。
次に、ステップS3004で、ノードの背景情報がカラ
ーかパターンのどちらを示すが判定される。カラーなら
ば、処理はステップS3005まで進み、ノードの分解
された長方形が得られる。ステップS3006で、分解
された長方形の背景色が、先に述べたように決定され
る。
【0099】次に、ステップS3008で、分解された
長方形中の二値化画像データの黒ピクセル位置が識別さ
れる。ステップS3009で、識別された黒ピクセルの
位置に対応する位置の、描画バッファ中のピクセルは、
決定された背景色を割り当てられる。ステップS301
0でノードの中にまだ分解された長方形があると判定さ
れた場合には、処理はステップS3005に戻る。一
方、分解された長方形がもうなければ、処理は終了す
る。
【0100】しかし、ステップS3004で、選択され
たオブジェクトの背景がパターンであると判定された場
合には、処理は図31のステップS3101へ進む。ス
テップS3101で、選択されたオブジェクトに対応し
ているノードから選択パターンが得られる。次に、ステ
ップS3102で、ノードで表されるブロックと等しい
大きさを有するテンポラリバッファにパターンが生成さ
れる。ノードの分解された長方形がステップS3104
で得られ、その分解された長方形中の二値化画像データ
の黒ピクセル位置がステップS3105で識別される。
【0101】その後、ステップS3107で、黒ピクセ
ル場所に対応する描画バッファのピクセルは、同じ黒い
ピクセル場所に対応するテンポラリバッファのピクセル
の値を割り当てられる。分解された長方形がまだあると
判定された場合には、処理はステップS3108からス
テップS3104へ進む。一方、分解された長方形がも
うなければ、ステップS3108の後、処理は終了す
る。
【0102】図31の他の実施形態において、ステップ
S3102は省略される。従って、この実施形態では、
ステップS3107で描画バッファのピクセルに割り当
てる値を決定するためにテンポラリバッファを用いな
い。その代わりに、ステップS3107において、二値
化画像データに含まれる黒ピクセル位置に対応する描画
バッファ中のピクセルに割り当てる値を計算するため、
背景パターンはリアルタイムに分析される。
【0103】図32は、本発明に従って画像を処理する
ためのコンピュータ実行可能プロセスステップのフロー
チャートである。処理は、選択されたピクチャの上で画
像処理機能を実行するためのコマンドが受信されるステ
ップS3201から始まる。これに応答して、ステップ
S3202で、ピクチャに対応するノードからピクセル
データとアウトラインペアが得られる。次に、ステップ
S3204で、アウトラインペア中に位置するピクセル
データが集められる。従って、集められたピクセルは、
ピクチャの前景及び背景ピクセルの両方と言うよりは前
景ピクチャから構成される。ステップS3205で、選
択された処理が集められたデータに対して実行される。
最後に、ステップS3206で、処理されたピクセル
は、処理されたピクセルでピクチャの前景領域を再び満
たすように、得られたアウトラインペアに従って描画バ
ッファにマッピングされる。
【0104】図33は、本発明に従って文書画像の特定
領域を編集するためのコンピュータ実行可能プロセスス
テップのフローチャートである。まず、ステップS33
01で、文書画像の指定矩形領域が受信される。文書画
像の、矩形領域と重なる全てのブロックがステップS3
302で決定される。決定されたブロックに基づいて、
全ての利用できる編集機能が、ステップS3304でユ
ーザに示される。
【0105】さらに、ステップS3305で、ページの
全体に実行可能な全ての機能が示される。そして、編集
コマンドがステップS3306で受信され、ステップS
3307において、受信したコマンドに従った編集が実
行される。
【0106】図34は、本発明に従った編集を示す図で
ある。ピクチャ領域120とテキスト領域125が、ピ
クチャ120を表す、分解された長方形でである長方形
130と131とともに示されている。ここで、長方形
130と131はユーザには不可視であり、説明のため
に図32に示している。
【0107】周囲のテキスト領域125は、ポインティ
ングデバイス6、キーボード5または他の手段によって
ユーザが指定した長方形140である。従って、長方形
140はユーザに見える。先に述べたように、長方形1
40は編集される特定の領域を示すために指定される。
本実施形態においては、ステップS3301で長方形1
40が受信されてから、ステップS3306で背景色を
編集するコマンドが受信されるものとする。
【0108】図示されるように、長方形140はテキス
ト領域125だけでなく、ピクチャ120と重なってい
る。従って、領域125を表すノードの中の背景色情報
はステップS3307で編集され、ピクチャ120を表
すノード中の情報もまた編集される。しかし、長方形1
40が部分的にピクチャ120に重なるので、重複を処
理するために分解された長方形130及び131がさら
に必要である。
【0109】図35は、ステップS3307の後の、ピ
クチャ120に対応している分解された長方形を示す。
ここで、長方形131はそれぞれ2-1,2-2,2-3で
示される長方形145、146と147に分解されてい
る。長方形145と146に対応する背景色情報は、受
信した編集コマンドによって変化しない。
【0110】しかし、長方形147に対応している背景
色情報は、受信した編集コマンドに従っている。その結
果、前述のオブジェクトを描画した後に、テキスト領域
125と長方形147の背景色は、編集コマンドを反映
する。
【0111】ここで、名称2-1,2-2と2-3が、対応
する階層的ツリー構造で維持される点に留意する必要が
ある。この機能によって、これらの分解された長方形
は、個々の属性を再び同一のものとするための将来的な
編集において、1つの長方形131に再結合することが
可能である。
【0112】本発明を現在好ましいと考えられる実施形
態に関して説明したが、本発明は上述した説明に限定さ
れないことは理解されよう。逆に、本発明は以下の請求
範囲の精神及び範囲に含まれる種々の変更や等価構成を
含むことを意図している。
【図面の簡単な説明】
【図1】本発明によるカラー編集システムの実施形態で
ある計算装置の外観を示す図である。
【図2】図1に示した計算装置の内部構成を図示してい
るブロック図である。
【図3】カラー文書の二値化画像データを示す図であ
る。
【図4】本発明で用いるカラー文書の階層的ツリー構造
の代表的な図である。
【図5】カラー文書の「ブロック化された("blocke
d")」画像データの代表的な図である。
【図6】本発明に係る、カラー画像データを描画するコ
ンピュータ実行可能プロセスステップのフローチャート
である。
【図7】図6におけるプロセスステップのいくつかを示
す図である。
【図8】本発明に係る、カラー画像データを描画するコ
ンピュータ実行可能プロセスステップのフローチャート
である。
【図9】図8におけるプロセスステップを示す図であ
る。
【図10】本発明に係る、カラー画像データを描画する
コンピュータ実行可能プロセスステップのフローチャー
トである。
【図11】図10におけるプロセスステップを示す図で
ある。
【図12】本発明に係る、カラー画像データを編集する
コンピュータ実行可能プロセスステップのフローチャー
トである。
【図12A】本発明に係るテキスト行オブジェクトの編
集を示す図である。
【図12B】本発明に係るテキスト行オブジェクトの編
集を示す図である。
【図12C】本発明に係るテキスト行オブジェクトの編
集を示す図である。
【図12D】本発明に係るテキスト行オブジェクトの編
集を示す図である。
【図13】本発明に係る、カラー画像データを編集する
コンピュータ実行可能プロセスステップのフローチャー
トである。
【図14】図13におけるプロセスステップのいくつか
を示している図である。
【図15】本発明に係る、背景カラーデータを編集する
コンピュータ実行可能プロセスステップのフローチャー
トである。
【図16】本発明に係る、背景カラーデータを編集する
コンピュータ実行可能プロセスステップのフローチャー
トである。
【図17】図16におけるプロセスステップのいくつか
を示している図である。
【図18】本発明に係る、背景パターンを編集するコン
ピュータ実行可能プロセスステップのフローチャートで
ある。
【図19】図18プロセスステップのいくつかを示して
いる図である。
【図20】本発明に係る背景パターンを編集するコンピ
ュータ実行可能プロセスステップのフローチャートであ
る。
【図21】図20におけるプロセスステップのいくつか
を示している図である。
【図22】本発明に係る、背景パターンを編集するコン
ピュータ実行可能プロセスステップのフローチャートで
ある。
【図23】図22におけるプロセスステップのいくつか
を示している図である。
【図24】図24A及び図24Bの関係を示す図であ
る。
【図24A】本発明に係る、実線を編集するコンピュー
タ実行可能プロセスステップのフローチャートである。
【図24B】本発明に係る、実線を編集するコンピュー
タ実行可能プロセスステップのフローチャートである。
【図25】図24におけるプロセスステップのいくつか
を示している図である。
【図26】本発明に係る、ピクチャオブジェクトを削除
するコンピュータ実行可能プロセスステップのフローチ
ャートである。
【図27】図26におけるプロセスステップのいくつか
を示している図である。
【図28】本発明に係る、ピクチャオブジェクトを削除
するコンピュータ実行可能プロセスステップのフローチ
ャートである。
【図29】図28におけるプロセスステップのいくつか
を示している図である。
【図30】本発明に係る、非ピクチャオブジェクトを削
除するコンピュータ実行可能プロセスステップのフロー
チャートである。
【図31】本発明に係る、非ピクチャオブジェクトを削
除するコンピュータ実行可能プロセスステップのフロー
チャートである。
【図32】本発明において、ピクチャに対する画像処理
を実行するためのコンピュータ実行可能プロセスステッ
プのフローチャートである。
【図33】本発明に係る、カラー文書を編集するコンピ
ュータ実行可能プロセスステップのフローチャートであ
る。
【図34】本発明における領域編集を示す図である。
【図35】本発明における領域編集に基づく長方形分解
を示す図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考)

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 カラー画像を表す二値化画像と、前記カ
    ラー画像を表す階層的ツリー構造を用いて前記カラー画
    像を描画する方法であって、前記階層的ツリー構造が前
    記カラー画像に含まれる画像データの個々のブロックを
    表すノードを含み、前記ノードが個々のブロックの色情
    報を含むとともに、 メモリに、前記カラー画像の画像データブロックに対応
    するカラー画像描画領域を定義するステップと、 画像データブロックに対応するノードから前景色情報を
    得るステップと、 前記画像ブロックに対応する前記二値化画像の領域に含
    まれる二値化画像中の黒ピクセル位置を検出するステッ
    プ及び、 前記カラー画像描画領域中の、前記検出された黒ピクセ
    ル位置に対応する位置のピクセルに前景色を割り当てる
    ステップとを有することを特徴とする描画方法。
  2. 【請求項2】 前記画像データブロックに対応するノー
    ドから背景色情報を得るステップ及び、 前記カラー画像描画領域中の、検出された黒ピクセル位
    置に対応しないそれぞれの位置のピクセルに背景色を割
    り当てるステップとをさらに有することを特徴とする請
    求項1記載の描画方法。
  3. 【請求項3】 前記ノードが前景色情報を含まない場
    合、前記取得ステップにおいて前記ノードの親ノードか
    ら前景色情報を得ることを特徴とする請求項1記載の描
    画方法。
  4. 【請求項4】 前記ノードが背景色情報を含まない場
    合、前記取得ステップにおいて前記ノードの親ノードか
    ら背景色情報を得ることを特徴とする請求項2記載の描
    画方法。
  5. 【請求項5】 カラー画像を表す二値化画像と、前記カ
    ラー画像を表す階層的ツリー構造を用いて前記カラー画
    像を描画する方法であって、前記階層的ツリー構造が前
    記カラー画像に含まれる画像データの個々のブロックを
    表すノードを含み、前記ノードが個々のブロックの色情
    報を含むとともに、 前記カラー画像中の画像データブロックを選択するステ
    ップと、 前記選択された画像データブロックに対応する、前記階
    層的ツリー構造のノードを識別するステップと、 前記識別されたノード中の前景色属性を編集するステッ
    プと、 メモリに、前記カラー画像の画像データブロックに対応
    するカラー画像描画領域を定義するステップと、 前記画像データブロックに対応するノードから、前記編
    集された前景色属性を得るステップと、 前記画像ブロックに対応する前記二値化画像の領域に含
    まれる二値化画像中の黒ピクセル位置を検出するステッ
    プ及び、 前記カラー画像描画領域中の、前記検出され
    た黒ピクセル位置に対応する位置のピクセルに前記前景
    色属性で表される前景色を割り当てるステップとを有す
    ることを特徴とする描画方法。
  6. 【請求項6】 前記ノード中の背景色属性を編集するス
    テップと、 前記画像データブロックに対応する前記ノードから、背
    景色属性を得るステップ及び、 前記カラー画像描画領域中の、前記検出された黒ピクセ
    ル位置に対応しない各位置のピクセルに、前記属性で表
    される背景色を割り当てるステップとをさらに有するこ
    とを特徴とする請求項5記載の描画方法。
  7. 【請求項7】 カラー画像をこのカラー画像を表す二
    値化画像と、前記カラー画像を表す階層的ツリー構造を
    用いてカラー画像を描画するためのコンピュータ装置読
    取り可能な記憶媒体であって、前記階層的ツリー構造は
    前記カラー画像中の画像データブロックのそれぞれを表
    すノードを含み、このノードが、それぞれのブロックの
    色情報を含み、 前記カラー画像中の画像データブロックに対応するカラ
    ー画像描画領域をメモリ中に定義する定義ステップと、 前記画像データブロックに対応しているノードから前景
    色情報を得る取得ステップと、 画像データブロックに対応する二値化画像の領域中の、
    黒ピクセル位置を検出する検出ステップ及び、 前記カラー画像描画領域中の、検出された黒ピクセル位
    置に対応するピクセルに、前景色を割り当てる割り当て
    ステップとを有することを特徴とする記憶媒体。
  8. 【請求項8】 画像データブロックに対応するノードか
    ら、背景色情報を得る取得ステップ及び、 そして、前記カラー画像描画領域中の、検出された黒ピ
    クセル位置に対応しないピクセルに、背景色を割り当て
    る割り当てステップをさらに有することを特徴とする請
    求項7記載の記憶媒体。
  9. 【請求項9】 前記ノードが前景色情報を含まない場
    合、前記取得ステップにおいて、前記前景色情報が前記
    ノードの親ノードから得られることを特徴とする請求項
    7記載の記憶媒体。
  10. 【請求項10】 前記ノードが背景色情報を含まない場
    合、前記取得ステップにおいて、前記背景色情報が前記
    ノードの親ノードから得られることを特徴とする請求項
    8記載の記憶媒体。
  11. 【請求項11】 カラー画像をこのカラー画像を表す
    二値化画像と、前記カラー画像を表す階層的ツリー構造
    を用いてカラー画像を編集するためのコンピュータ装置
    読取り可能な記憶媒体であって、前記階層的ツリー構造
    は前記カラー画像中の画像データブロックのそれぞれを
    表すノードを含み、このノードが、それぞれのブロック
    の色情報を含み、 カラー画像中の画像データブロックを選択する選択ステ
    ップと、 選択された画像データブロックに対応する階層的ツリー
    構造のノードを検出する検出ステップと、 前記検出されたノードの前景色属性を編集する編集ステ
    ップと、 前記カラー画像中の前記画像データブロックに対応する
    カラー画像描画領域をメモリ中に定義する定義ステップ
    と、 前記画像データブロックに対応するノードから、
    編集された前景色属性を取得する取得ステップと、 前
    記画像データブロックに対応する二値化画像の領域中の
    黒ピクセル位置を検出する検出ステップ及び、 前記カ
    ラー画像描画領域中の、検出された黒ピクセル位置に対
    応するピクセルに、前記前景色属性によって表される前
    景色を割り当てる割り当てステップとを有することを特
    徴とする記憶媒体。
  12. 【請求項12】 前記ノードの背景色属性を編集する編
    集ステップと、 前記画像データブロックに対応するノードから、背景色
    属性を得る取得ステップ及び、 前記カラー画像描画領域中の、検出された黒ピクセル位
    置に対応するピクセルに、前記背景色属性によって表さ
    れる背景色を割り当てる割り当てステップとをさらに有
    することを特徴とする請求項11記載の記憶媒体。
JP2000128486A 1999-05-04 2000-04-27 描画方法及び描画装置 Expired - Fee Related JP3990855B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/304,687 US6496198B1 (en) 1999-05-04 1999-05-04 Color editing system
US09/304687 1999-05-04

Publications (2)

Publication Number Publication Date
JP2001028684A true JP2001028684A (ja) 2001-01-30
JP3990855B2 JP3990855B2 (ja) 2007-10-17

Family

ID=23177554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000128486A Expired - Fee Related JP3990855B2 (ja) 1999-05-04 2000-04-27 描画方法及び描画装置

Country Status (4)

Country Link
US (1) US6496198B1 (ja)
EP (1) EP1050851B1 (ja)
JP (1) JP3990855B2 (ja)
DE (1) DE60034087T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345315A (ja) * 2005-06-09 2006-12-21 Canon Inc 画像処理装置およびその方法
JP2009003921A (ja) * 2007-05-11 2009-01-08 Thomson Licensing 表示コマンド組を用いて画像フレームを表示するレンダラ
US9158287B2 (en) 2013-01-10 2015-10-13 Brother Kogyo Kabushiki Kaisha Information processing apparatus for updating local time

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2828307B1 (fr) * 2000-05-18 2004-10-22 Il System Procede pour la constitution d'une base de donnees relative aux informations contenues dans un document
GB2400291A (en) * 2003-04-05 2004-10-06 Autodesk Canada Inc Image processing using switch nodes
US8000547B2 (en) * 2005-09-23 2011-08-16 Slipstream Data Inc. Method, system and computer program product for providing entropy constrained color splitting for palette images with color-wise splitting
JP4719603B2 (ja) * 2006-03-28 2011-07-06 富士通セミコンダクター株式会社 描画装置及び破線描画方法
USD653671S1 (en) * 2010-02-03 2012-02-07 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128748A (en) 1989-02-15 1992-07-07 Hitachi, Ltd. Image processing system and apparatus for processing color documents
US5576849A (en) 1989-02-15 1996-11-19 Hitachi, Ltd. Image data transformation apparatus and image entry apparatus
JPH0334777A (ja) 1989-06-30 1991-02-14 Nippon Denki Inf Technol Kk 画像信号符号化装置、画像信号復号化装置および画像信号表示装置
US5155594A (en) 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
US5761342A (en) 1991-04-16 1998-06-02 Canon Kabushiki Kaisha Image processing apparatus and method
EP0560979A1 (en) * 1991-10-07 1993-09-22 Eastman Kodak Company A compositer interface for arranging the components of special effects for a motion picture production
US5680479A (en) 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5444489A (en) 1993-02-11 1995-08-22 Georgia Tech Research Corporation Vector quantization video encoder using hierarchical cache memory scheme
CA2124505C (en) * 1993-07-21 2000-01-04 William A. S. Buxton User interface having simultaneously movable tools and cursor
US5485568A (en) * 1993-10-08 1996-01-16 Xerox Corporation Structured image (Sl) format for describing complex color raster images
US5588072A (en) 1993-12-22 1996-12-24 Canon Kabushiki Kaisha Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks
AUPM704294A0 (en) * 1994-07-25 1994-08-18 Canon Information Systems Research Australia Pty Ltd Method and apparatus for the creation of images
JP3334385B2 (ja) 1994-12-20 2002-10-15 セイコーエプソン株式会社 画像読み取り装置および読み取り方法
TW367447B (en) 1994-12-21 1999-08-21 Canon Kk Block selection review and editing system
US5848185A (en) * 1994-12-28 1998-12-08 Canon Kabushiki Kaisha Image processing apparatus and method
US5977977A (en) * 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
US5774579A (en) 1995-08-11 1998-06-30 Canon Kabushiki Kaisha Block selection system in which overlapping blocks are decomposed
US5848186A (en) 1995-08-11 1998-12-08 Canon Kabushiki Kaisha Feature extraction system for identifying text within a table image
JP3545506B2 (ja) 1995-08-21 2004-07-21 株式会社東芝 特定色領域抽出方式および特定色領域除去方式
US5751852A (en) * 1996-04-29 1998-05-12 Xerox Corporation Image structure map data structure for spatially indexing an imgage
US6141012A (en) * 1997-03-31 2000-10-31 Xerox Corporation Image processing code generation based on structured image (SI) techniques
US6175663B1 (en) * 1998-02-24 2001-01-16 Paravision Imaging, Inc. Method and apparatus for preserving background continuity in images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345315A (ja) * 2005-06-09 2006-12-21 Canon Inc 画像処理装置およびその方法
JP4484770B2 (ja) * 2005-06-09 2010-06-16 キヤノン株式会社 画像処理装置およびその方法
JP2009003921A (ja) * 2007-05-11 2009-01-08 Thomson Licensing 表示コマンド組を用いて画像フレームを表示するレンダラ
US9158287B2 (en) 2013-01-10 2015-10-13 Brother Kogyo Kabushiki Kaisha Information processing apparatus for updating local time

Also Published As

Publication number Publication date
EP1050851A3 (en) 2003-07-23
DE60034087T2 (de) 2007-12-27
US6496198B1 (en) 2002-12-17
DE60034087D1 (de) 2007-05-10
EP1050851A2 (en) 2000-11-08
JP3990855B2 (ja) 2007-10-17
EP1050851B1 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
EP0381298B1 (en) Image processing system
KR100725195B1 (ko) 정보 처리 장치, 정보 처리 방법 및 인쇄 제어 프로그램을 기록한 기록 매체
US5086497A (en) Image output command method for image processing system
AU674771B2 (en) Method and apparatus for recording and displaying a still visual image
JPH09171557A (ja) イメージ処理方法及び装置
DE4430369A1 (de) Verfahren und Einrichtung zum Erzeugen eines Dokumenten-Layouts
JP3990855B2 (ja) 描画方法及び描画装置
JPH07220101A (ja) 文書処理装置
JP3068131B2 (ja) 文書処理装置
JP3943614B2 (ja) 文書ページを解析するアプリケーションプログラム生成方法及び装置
JP2002366928A (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラムならびにこれを記録した記録媒体
JP2924462B2 (ja) 文書処理装置
JP4334987B2 (ja) 領域指定機能およびデータ切り出し機能を備えたdtp編集装置
JP2800254B2 (ja) 画像一文字処理装置
JPH09198397A (ja) 地理情報の検索獲得方法
JPH05342325A (ja) 文書処理装置およびその装置のためのフォーム登録装置
JP2002055985A (ja) 文書属性識別装置及び方法
JP3211446B2 (ja) 文書処理装置
JP2771680B2 (ja) 出力装置
JP3247466B2 (ja) 割付処理装置
EP0418868A2 (en) Image processing system
Fontanez Knoxville And Knox County, Tennessee: A Case Study In Postscript Large Format Desktop Mapping
JPH0472432B2 (ja)
JP2010093428A (ja) 画像処理装置および方法、プログラム、並びに記憶媒体
Schneier et al. Chart Modification and Reproduction with a Raster System.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040528

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040528

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees