JP2002238054A - 画像符号化・復号方法、画像符号化装置及び画像復号装置 - Google Patents
画像符号化・復号方法、画像符号化装置及び画像復号装置Info
- Publication number
- JP2002238054A JP2002238054A JP2001072904A JP2001072904A JP2002238054A JP 2002238054 A JP2002238054 A JP 2002238054A JP 2001072904 A JP2001072904 A JP 2001072904A JP 2001072904 A JP2001072904 A JP 2001072904A JP 2002238054 A JP2002238054 A JP 2002238054A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- pixel
- edge
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 142
- 238000009499 grossing Methods 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims abstract description 80
- 239000011159 matrix material Substances 0.000 claims description 178
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 11
- 238000002945 steepest descent method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UHLRPXXFPYMCAE-UHFFFAOYSA-N 4-isopropylcalix[4]arene Chemical compound C1C(C=2O)=CC(C(C)C)=CC=2CC(C=2O)=CC(C(C)C)=CC=2CC(C=2O)=CC(C(C)C)=CC=2CC2=CC(C(C)C)=CC1=C2O UHLRPXXFPYMCAE-UHFFFAOYSA-N 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 241000257465 Echinoidea Species 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 101150048609 RR21 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005284 basis set Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ま適用しても歪みの少ない復号画像を得られるようにし
た画像符号化方法及び装置を提供することである。 【解決手段】上記課題は、原画像からそのエッジ部分を
表すエッジ情報を抽出し、該原画像を表す濃淡情報に対
して該原画像のエッジ部分の平滑化を行う処理を施して
エッジ平滑化画像の濃淡情報を得、抽出されたエッジ情
報を第一の符号化アルゴリズムに従って符号化して符号
化エッジ情報を得、得られたエッジ平滑化画像の濃淡情
報を第二の符号化アルゴリズムに従って符号化して符号
化濃淡情報を得、上記のように得られた上記符号化エッ
ジ情報と符号化濃淡情報とを原画像の符号化情報とする
画像符号化方法及び装置にて解決される。
Description
などの原画像を符号化し、その符号化された画像を復号
する画像符号化・復号方法に係り、詳しくは、MPEG1/2/
4などの標準化されたアルゴリズムを適用しつつ、復号
時にノイズの低減を図れる画像符号化・復号方法に関す
る。
復号方法に従って画像の符号化、復号を行う画像符号化
装置及び画像復号装置に関する。
像・動画符号化方式では、種々の理由により離散コサイ
ン変換(DCT)が用いられてきた。特に、それらの符
号化方式は、画像の性質への適応性という観点から採用
された経緯がある。
合、低周波領域に電力が集中するという性質がある。上
記DCTは、画像信号(濃淡情報)空間の例えば8×8
画素から構成されるブロックを直交変換することによっ
て、所定の基底セットの組み合わせに分解して構成基底
の係数値を得るものである。DCTの特徴は、係数値、
即ち、周波数成分の偏りの度合いを高めることができる
という点にある。特に、画像の性質上、低周波領域によ
り集中の度合いが高くなること、その部分が視覚的に重
要であることなどから、適応ビット配分を行うことによ
り圧縮効率を向上させることができる。
行う場合は、量子化が粗くなり、係数値の再現性が悪く
なるため、本来、信号の表現にとって重要である基底が
復元できなくなるなどの不具合が発生する。また、DC
Tは、8×8の画素ブロックに閉じた処理を行うため、
この符号化の歪みがブロック境界に顕著に表れる傾向に
ある。これがブロック歪みを発生させ、視覚的に本来信
号に含まれていない成分が画像上に現れるため、非常に
目立つノイズとして検知されてしまう。特に、ステップ
エッジのような急激な輝度(濃度)変化のある波形部分
では、忠実な再現には多数の基底が必要となるが、一般
に高周波成分にあたる係数は視覚の重みを考慮して低周
係数よりも軽視された符号割当が行われるため、エッジ
の再現に重要な高域係数が失われることになる。このよ
うな制御がなされると、エッジ部分でDCT固有の目立
ったノイズが現れ、画質劣化を引き起こすことになる。
PCM)とを絵柄に応じて適応的に切り換えるようにし
た画像符号化装置が提案されている(例えば、特開平5
−276506)。この従来の画像符号化装置では、エ
ッジ部分の処理ではDCTを使用せずにDPCMを使用
することで、DCTの信号表現上の問題を回避してい
る。
従来の画像符号化装置では、既存のDCTを用いた標準
符号化方式をそのまま適用することができず、その標準
化された符号化方式以外の何らかの符号化方式が必要と
なる。既にDCTを用いた標準符号化方式に準拠する製
品は極めて多く、そのような標準符号化方式に従って画
像の符号化及び復号を行えることは重要である。
用いた標準符号化・復号方式をそのまま適用しても歪み
の少ない復号画像を得られるようにした画像符号化・復
号方法を提供することである。
画像符号化・復号方法に従って画像の符号化、復号を行
う画像符号化装置及び画像復号装置を提供することであ
る。
め、本発明は、請求項1に記載されるように、画像符号
化装置が原画像を符号化して得られる符号化情報を画像
復号装置に伝送し、その符号化情報を入力する画像復号
装置がその符号化情報を復号して原画像を得る際の画像
符号化・復号方法において、上記画像符号化装置は、原
画像からそのエッジ部分を表すエッジ情報を抽出する手
順と、上記原画像を表す濃淡情報に対して該原画像のエ
ッジ部分の平滑化を行う処理を施してエッジ平滑化画像
の濃淡情報を得る手順と、抽出されたエッジ情報を第一
の符号化アルゴリズムに従って符号化して符号化エッジ
情報を得る手順と、上記エッジ平滑化画像の濃淡情報を
第二の符号化アルゴリズムに従って符号化して符号化濃
淡情報を得る手順とに従って得られた上記符号化エッジ
情報と符号化濃淡情報を符号化情報として画像復号装置
に伝送し、上記画像復号装置は、上記符号化エッジ情報
を上記第一の符号化アルゴリズムに対応した第一の復号
アルゴリズムに従って復号してエッジ情報を得る手順
と、上記濃淡情報を上記第二の符号化アルゴリズムに対
応した第二の復号アルゴリズムに従って復号してエッジ
平滑画像の濃淡情報を得る手順と、上記エッジ平滑化画
像の濃淡情報に対して、上記エッジ情報を用いて該エッ
ジ平滑化画像のエッジ部分を先鋭化するための処理を施
す手順とに従って該エッジ平滑化画像のエッジ部分が先
鋭化された再生画像を得るように構成される。
像符号化装置が原画像のエッジ部分を抽出すると共に、
その原画像のエッジ部分の平滑化を行ってエッジ平滑化
画像を得る。そして、そのエッジ部分を表すエッジ情報
を第一の符号化アルゴリズムに従って得られる符号化エ
ッジ情報と、そのエッジ平滑化画像の濃淡情報を第二の
符号化アルゴリズムに従って得られる符号化濃淡情報と
が原画像の符号化情報として画像符号化装置から画像復
号装置に伝送される。
に従って上記符号化エッジ情報から得たエッジ情報を用
いて、第二の復号アルゴリズムに従って符号化濃淡情報
から得たエッジ平滑化画像のエッジ部分の先鋭化を行
う。そのエッジ平滑化画像のエッジ部分を先鋭化した画
像が原画像として得られる。
部分が平滑化されたものであるので、比較的高い空間周
波数成分が少なくなることから、上記第二の符号化アル
ゴリズムとしてDCTを用いた標準符号化方式を適用し
ても、その符号化により欠落する情報は少なくなる。
れる第一の符号化アルゴリズムと、上記エッジ平滑化画
像の濃淡情報を符号化するために使用される第二の符号
化アルゴリズムは、同一であっても異なっていてもよ
い。
エッジ部分の位置(画素)が特定できれば、どのような
情報であってもよい。
濃淡の状態を表す情報であり、その形式は特に限定され
ない。
比較的容易にできるという観点から、本発明は、請求項
2に記載されるように、上記画像符号化・復号方法にお
いて、上記画像符号化装置にてなされる原画像のエッジ
部分の平滑化を行う処理は、原画像を画素毎に順次走査
する過程で、上記原画像のエッジ部分またはその所定近
傍領域にある画素とその所定周囲領域の各画素にて構成
されるブロックに含まれた各画素の濃淡情報を並べて得
られるその画素数に対応した次数のブロック濃淡情報ベ
クトルと、上記次数に対応した次数の正方行列であっ
て、そのブロックの各画素の濃淡情報に平滑化のための
各係数が作用するように当該係数が配列された平滑化正
方行列とを用いて行列演算を行い、上記原画像の画素毎
の走査の過程で、上記行列演算手段にて得られるそのブ
ロック内の各画素の濃淡情報を画素毎に重ね合わせて平
滑化された後の各画素の濃淡情報を得るように構成する
ことができる。
記ブロック濃淡情報ベクトルと上記平滑化正方行列を用
いた行列演算によりエッジ平滑化画像の濃淡情報を得る
ことができる。
易に先鋭化できるという観点から、本発明は、請求項3
に記載されるように、上記画像符号化・復号方法におい
て、上記画像復号装置にてなされるエッジ平滑化画像の
エッジ部分を先鋭化する処理は、上記エッジ平滑化画像
を画素毎に走査する過程で、上記第一の復号アルゴリズ
ムに従って得られたエッジ情報にて表されるエッジ部分
またはその所定近傍領域にある画素とその上記所定周囲
領域の画素にて構成される上記ブロックに対応するブロ
ックに含まれた各画素の濃淡情報を並べて得られるその
画素数に対応した次数のブロック濃淡情報ベクトルと、
上記平滑化正方行列の逆行列となる先鋭化正方行列とを
用いた行列演算を行い、上記エッジ平滑化画像の画素毎
の走査の過程で、その行列演算手段にて得られるそのブ
ロック内の各画素の濃淡情報を画素毎に重ね合わせて先
鋭化された後の各画素の濃淡情報を求めるように構成す
ることができる。
記ブロック濃淡情報ベクトルと、上記平滑化正方行列の
逆行列となる先鋭化正方行列とを用いた行列演算によ
り、先鋭化された各画素の濃淡情報を得ることができ
る。
得ることができるという観点から、本発明は、請求項4
に記載されるように、上記画像符号化・復号方法におい
て、上記画像符号化装置にてなされる原画像のエッジ部
分の平滑化を行う処理は、そのエッジ部分の画素の濃淡
情報xと、その周辺画素の濃淡情報に基づいて定められ
るその画素の周辺の濃淡状態を表す周辺濃淡情報Cとを
用い、
に構成することができる。
素の濃淡情報に基づいて定められるものであって、その
画素の周囲の濃淡の状態を表すものであれば、特に限定
されず、例えば、周辺画素の各濃淡情報の平均値、トー
タル加算値、所定の重みをつけた濃度情報の加算値、そ
の平均値など、任意に定めることができる。上記式[数
8]のλの値は、その周辺濃淡情報Cの決め方に依存す
る。
生するという観点から本発明は、請求項5に記載される
ように、上記画像符号化・復号方法において、上記画像
復号装置にてなされるエッジ平滑化画像のエッジ部分を
先鋭化する処理は、上記エッジ平滑化画像のエッジ部分
の画素の濃淡情報x’と、その周辺画素の濃淡情報に基
づいて定められるその画素の周辺の濃淡状態を表す周辺
濃淡情報とを用い、上記式[数8]から定式化される上
記濃淡情報x’と先鋭化後の濃淡情報との関係に基づい
て定義される所定の関係式から最急降下法に従ってその
先鋭化後の濃淡情報を求めるように構成される。
情報x’と先鋭化後の濃淡情報との関係に基づいて定義
される上記所定の関係式は、例えば、請求項6に記載さ
れるように、
にするXの値を最急降下法に従って求め、そのe(X)の値
を最小とするXの値を先鋭化された後のその画素の濃淡
情報とすることができる。
するという観点から、本発明は、請求項7に記載される
ように、上記画像符号化・復号方法において、上記最急
降下法に従った処理では、繰り返しカウント値nを順次
インクリメントする過程で、
X(n+1)が最小値であると見なし得る所定の条件を
満足するまで繰り返し行うように構成することができ
る。
は、請求項8に記載されるように、原画像からそのエッ
ジ部分を表すエッジ情報を抽出するエッジ抽出手段と、
該原画像を表す濃淡情報に対して該原画像のエッジ部分
の平滑化を行う処理を施してエッジ平滑化画像の濃淡情
報を得るエッジ平滑化手段と、抽出されたエッジ情報を
第一の符号化アルゴリズムに従って符号化して符号化エ
ッジ情報を得る第一の符号化手段と、上記エッジ平滑化
手段にて得られたエッジ平滑化画像の濃淡情報を第二の
符号化アルゴリズムに従って符号化して符号化濃淡情報
を得る第二の符号化手段とを有し、上記第一及び第二の
符号化手段にて得られた上記符号化エッジ情報と符号化
濃淡情報とを原画像の符号化情報とするように構成され
る。
ジ情報と符号化濃淡情報とを利用して原画像の復号が可
能となる。
場合、エッジ平滑化画像が再現されることになる。
を提供するという観点から、本発明は、請求項9に記載
されるように、上記画像符号化装置において、上記エッ
ジ平滑化手段は、該原画像のエッジ部分の所定近傍領域
においてエッジ部分を横切る方向に並ぶ各画素の濃淡情
報にて表される濃淡レベルの変化量を小さくするように
当該各画素の濃淡情報を補正する濃淡情報補正手段を有
するように構成することができる。
傍領域においてエッジ部分を横切る方向に並ぶ各画素の
濃淡情報で表される濃淡レベルの変化量が小さくなるこ
とから、そのエッジ部分の所定近傍領域において濃淡レ
ベルの急激な変化が無くなりエッジ部分の平滑化がなさ
れる。
手法を提供するという観点から、本発明は、請求項10
に記載されるように、上記画像符号化装置において、上
記濃淡情報補正手段は、上記原画像のエッジ部分の所定
近傍領域を含む所定領域内の各画素の濃淡情報にて表さ
れる濃淡レベルの平均値を演算する平均値演算手段と、
上記エッジ近傍領域において、各画素の濃淡情報にて表
される濃淡レベルが上記平均値より高いか低いかを判定
する濃淡レベル判定手段とを有し、該濃淡レベル判定手
段にて濃淡レベルが上記平均値より高いと判定された画
素についてその濃淡レベルが下がるように濃淡情報を補
正し、該濃淡レベル判定手段にて濃淡レベルが上記平均
値より低いと判定された画素についてその濃淡レベルが
上がるように濃淡情報を補正するように構成することが
できる。
域を含むものであればそのサイズ、形状は特に限定され
ない。上記第二の符号化アルゴリズムとしてDCTを用
いた標準化された符号化アルゴリズムを適用する場合、
上記所定領域として、DCTの処理単位となるDCTブ
ロック(8×8画素)を使用することが好ましい。
いという観点から、本発明は、請求項11に記載される
ように、上記画像符号化装置において、上記濃淡情報補
正手段は、上記所定領域について求められた各画素の濃
淡情報にて表される濃淡レベルの平均値が変化しないよ
うに、上記各画素についての濃淡情報の補正を行うよう
に構成することができる。
画素について濃淡情報の補正を行っても、そのブロック
における各画素の濃淡情報にて表される濃淡レベルの平
均値は変化することがない。
処理が比較的容易にできるという観点から、本発明は、
請求項12に記載されるように、上記画像符号化装置に
おいて、上記エッジ平滑化手段は、上記原画像のエッジ
部分を含む所定ブロック毎に、そのブロックに含まれる
各画素の濃淡情報を並べて得られる当該画素数に対応し
た次数のブロック濃淡情報ベクトルとの行列演算を行う
べき正方行列であって、その行列演算によりそのブロッ
クに含まれるエッジ部分及びその所定近傍領域における
各画素の濃淡情報に平滑化のための各係数が作用するよ
うに当該係数が配列された平滑化正方行列を生成する平
滑化正方行列生成手段と、該平滑化正方行列生成手段に
て生成された平滑化正方行列と上記ブロック濃淡情報ベ
クトルとを用いた行列演算を行って平滑化された後にお
ける当該ブロック内の各画素の濃淡情報を求める行列演
算手段とを有するように構成することができる。
ロック毎に、ブロック濃淡情報ベクトルと平滑化正方行
列を用いた行列演算を行うことにより、そのブロック内
の全ての画像について平滑化された後における濃淡情報
を得ることができる。
様、任意の画素数を包含するブロックに設定することが
できる。そして、上記第二の符号化アルゴリズムとして
DTCを用いた標準化された符号化アルゴリズムを適用
する場合、上記所定ブロックとして、DCTの処理単位
となるDCTブロック(8×8画素)を使用することが
好ましい。
方行列は、ブロック濃淡情報ベクトルとの行列演算によ
りそのブロックに含まれるエッジ部分およびその所定近
傍領域における各画像の濃淡情報に平滑化のための係数
が作用するように当該係数が配列されるので、その配列
状態は、そのブロックに含まれるエッジ部分およびその
所定近傍領域の位置に依存する。
理を行うと、ブロックの境界部分において濃淡情報が不
連続になる可能性がある。このようなことを防止できる
という観点から、本発明は、請求項13に記載されるよ
うに、上記画像符号化装置において、上記エッジ平滑化
手段は、原画像を画素毎に順次走査する過程で各画素が
該原画像のエッジ部分またはその所定近傍領域にあるか
否かを判定する画素判定手段と、該画素判定手段にて画
素が上記エッジ部分またはその所定近傍領域にあると判
定されときに、その画素とその所定周囲領域の各画素に
て構成されるブロックに含まれた各画素の濃淡情報を並
べて得られるその画素数に対応した次数のブロック濃淡
情報ベクトルと、上記次数に対応した次数の正方行列で
あって、そのブロックの各画素の濃淡情報に平滑化のた
めの各係数が作用するように当該係数が配列された平滑
化正方行列とを用いた行列演算を行う行列演算手段と、
上記原画像の画素毎の走査の過程で、上記行列演算手段
にて得られるそのブロック内の各画素の濃淡情報を画素
毎に重ね合わせて平滑化された後の各画素の濃淡情報を
求める演算手段とを有するように構成できる。
画素毎に順次操作する過程で上記ブロック濃淡情報と平
滑化正方行列とを用いた行列演算及びその演算結果の画
素毎の重ね合わせが行われるので、原画像に対して画素
単位に連続的に処理を行うことができる。
るという観点から、本発明は、請求項14に記載される
ように、上記画像符号化装置において、上記画素判定手
段は、上記エッジ部分と各画素との距離を表す距離情報
を生成する距離変換手段と、該距離変換手段にて得られ
た各画素に対する距離情報が所定値以下であるか否かを
判定する距離判定手段とを有し、該距離判定手段にて距
離情報が所定値以下であると判定されたときに、その距
離情報に対応した画素が原画像のエッジ部分またはその
所定近傍領域にあると判定するように構成することがで
きる。
発明は、請求項16に記載されるように、原画像のエッ
ジ部分を表す符号化エッジ情報と、原画像のエッジ部分
を平滑化したエッジ平滑化画像を表す符号化濃淡情報と
を有する符号化情報を復号する画像復号装置において、
上記符号化エッジ情報を第一の復号アルゴリズムに従っ
て復号して原画像のエッジ部分を表すエッジ情報を得る
第一の復号手段と、上記符号化濃淡情報を第二の復号ア
ルゴリズムに従って復号してエッジ平滑化画像の濃淡情
報を得る第二の復号手段と、上記第二の復号手段にて得
られたエッジ平滑化画像の濃淡情報に対して、上記第一
の復号手段にて得られたエッジ情報を用いて該エッジ平
滑化画像のエッジ部分を先鋭化するための処理を施すエ
ッジ先鋭化処理手段とを有し、該エッジ先鋭化処理手段
にて得られた濃淡情報によって表される再生画像を得る
ように構成される。
復号アルゴリズム及び第二の復号アルゴリズムのそれぞ
れを請求項8に記載される第一の符号化アルゴリズム及
び第二の符号化アルゴリズムに対応するように定めるこ
とにより、請求項8に記載される画像符号化装置にて得
られる符号化情報を的確に復号できるようになる。
的な手法を提供するという観点から、本発明は、請求項
17に記載されるように、上記画像復号装置において、
上記エッジ先鋭化処理手段は、上記第二の復号手段にて
得られたエッジ平滑化画像の濃淡情報に対して、上記第
一の復号手段にて得られエッジ情報にて表されるエッジ
部分の所定近傍領域においてエッジ部分を横切る方向に
並ぶ各画素の濃淡情報にて表される濃淡レベルの変動量
を大きくするように当該各画素の濃淡情報を補正する濃
淡情報補正手段を有するように構成できる。
ジ情報にて表されるエッジ部分の所定近傍領域において
エッジ部分を横切る方向に並ぶ各画素の濃淡情報で表さ
れる濃淡レベルの変化量が大きく、そのエッジ部分の所
定近傍領域において濃淡レベルの変化が急激になりエッ
ジ部分の先鋭化が図られる。
復号アルゴリズム及び第二の復号アルゴリズムのそれぞ
れを請求項8に記載される第一の符号化アルゴリズム及
び第二の符号化アルゴリズムに対応するように定めると
共に、濃淡レベルの変化量を大きくする程度を請求項9
に記載されるエッジ平滑化画像を得る際に行われる濃淡
レベルの変動を小さくする程度と対応するように定める
ことにより、請求項9に記載される画像符号化装置にて
得られる符号化情報を的確に復号できるようになる。
載されるように、上記エッジ部分の所定近傍領域を含む
所定領域内の各画素の濃淡情報にて表される濃淡レベル
の平均値を演算する平均値演算手段と、上記エッジ近傍
において、各画素の濃淡情報に表される濃淡レベルが上
記平均値より高いか低いかを判定する濃淡レベル判定手
段を有し、該濃淡レベル判定手段にて濃淡レベルが上記
平均値より高いと判定された画素についてその濃淡レベ
ルが上がるように濃淡情報を補正し、該濃淡レベル判定
手段にて濃淡レベルが上記平均値より低いと判定された
画素についてその濃淡レベルが下がるように濃淡情報を
補正するように構成することができる。
レベルを変動を変化させないという観点から、本発明
は、請求項19に記載されるように、上記画像復号装置
において、上記濃淡情報補正手段は、上記所定領域につ
いて求められた各画素の濃淡情報にて表される濃淡レベ
ルの平均値が変化しないように、上記各画素についての
濃淡情報を補正するように構成することができる。
る具体的な手法を提供するという観点から、本発明は、
請求項20に記載されるように、上記画像復号装置にお
いて、上記エッジ先鋭化処理手段は、上記第二の復号手
段にて得られた濃淡情報にて表されるエッジ平滑化画像
の上記第一の復号手段にて得られたエッジ情報にて表さ
れるエッジ部分を含む上記所定のブロック毎に、そのブ
ロックに含まれる各画素の濃淡情報を並べて得られる当
該画素数に対応した次数のブロック濃淡情報ベクトルと
行列演算を行うべき正方行列であって、その行列演算に
よりそのブロックに含まれるエッジ部分及びその近傍領
域における各画素の濃度情報に先鋭化のための各係数が
作用するように当該係数が配列された先鋭化正方行列を
生成する先鋭化正方行列生成手段と、該先鋭化正方行列
生成手段にて生成された先鋭化正方行列と上記ブロック
濃淡情報ベクトルとを用いた行列演算を行って先鋭化さ
れた後における当該ブロック内の各画素の濃淡情報を求
める行列演算手段とを有するように構成することができ
る。
淡情報ベクトルと先鋭化正方行列とを用いた行列演算に
よりエッジ部分の先鋭化がなされた画像における当該ブ
ロック内の各画素の濃淡情報を得ることができる。
記載された画像符号化装置にて得られる符号化情報を復
号するのに適したものとすることができる。この場合、
容易に先鋭化の処理を行うことができるという観点か
ら、本発明は、請求項21に記載されるように、上記画
像復号装置において、上記第二の復号手段により処理す
べき上記符号化濃淡情報が、原画像のエッジ部分を含む
上記所定ブロック毎に、そのブロックに含まれる各画素
の濃淡情報を並べて得られる当該画素数に対応した次数
のブロック濃淡情報ベクトルとの行列演算を行うべき正
方行列であって、その行列演算によりそのブロックに含
まれるエッジ部分及びその所定近傍領域における各画素
の濃淡情報に平滑化のための係数が作用するように当該
係数が配列された平滑正方行列と、上記ブロック濃淡情
報ベクトルとを用いた行列演算を行って得られたエッジ
平滑化画像の濃淡情報を上記第二の復号アルゴリズムに
対応した符号化アルゴリズムに従って符号化して得られ
る者である場合、上記先鋭化正方行列生成手段は、上記
ブロックに含まれるエッジ部分の画素位置に基づいて上
記平滑化正方行列の逆行列を上記先鋭化正方行列として
生成するように構成することができる。
滑化に用いられた平滑化正方行列の逆行列を求めること
によってエッジ平滑化画像のエッジ部分の先鋭化に用い
られる先鋭化正方行列を得ることができる。
させる具体的な手法を提供するという観点から、本発明
は、請求項22に記載されるように、上記画像復号装置
において、上記エッジ先鋭化処理手段は、上記第二の復
号手段にて得られる濃淡情報にて表されるエッジ平滑化
画像を画素毎に走査する過程で各画素が上記第一の復号
手段にて得られたエッジ情報にて表されるエッジ部分ま
たはその所定近傍領域にあるか否かを判定する画素判定
手段と、該画素判定手段にて画素が上記エッジ部分また
はその所定近傍領域にあると判定されたときに、その画
素とその上記所定周囲領域の画素にて構成されるブロッ
クに含まれた各画素の濃淡情報を並べて得られるその画
素数に対応した次数のブロック濃淡情報ベクトルと、上
記次数に対応した次数の正方行列であって、そのブロッ
クの各画素の濃淡情報に先鋭化のための係数が作用する
ように当該係数が配列された先鋭化正方行列とを用いた
行列演算を行う行列演算手段と、上記エッジ平滑化画像
の画素毎の走査の過程で、上記行列演算手段にて得られ
るそのブロック内の各画素の濃淡情報を画素毎に重ね合
わせて先鋭化された後の各画素の濃淡情報を求める演算
手段とを有するように構成することができる。
化画像の画素毎の走査の過程で、上記ブロック濃淡情報
ブロックと先鋭化正方行列とを用いた行列演算により、
エッジ部分の先鋭化のなされた画像における当該ブロッ
ク内の各画素の濃淡情報を得ることができる。
記載された画像符号化装置にて得られる符号化情報を復
号するのに適したものとすることができる。この場合、
容易に先鋭化の処理を行うことができるという観点か
ら、本発明は、請求項24に記載されるように、上記画
復号装置において、上記第二の復号手段により処理すべ
き上記符号化濃淡情報が、原画像を画素毎に順次走査す
る過程で該原画像のエッジ部分またはその所定の近傍領
域にあると判定された画素とその所定周囲領域の各画素
にて構成される上記ブロックに対応するブロックに含ま
れた各画素の濃淡情報を並べて得られるその画素数に対
応した次数のブロック濃淡情報ベクトルと、上記次数に
対応した次数の正方行列であって、そのブロックの各画
素の濃淡情報に平滑化のための各係数が作用するように
当該係数が配列された平滑化正方行列とを用いた行列演
算を行って得られるそのブロック内の各画素の濃淡情報
を各画素毎に重ね合わせて平滑化された後の各画素の濃
淡情報を求めることによって得られたエッジ平滑化画像
の濃淡情報を上記第二の復号アルゴリズムに対応した符
号化アルゴリズムに従って符号化して得られたものであ
る場合、上記先鋭化正方行列は、上記平滑化正方行列の
逆行列に定められるように構成できる。
滑化に用いられた平滑化正方行列の逆行列を求めること
によってエッジ平滑化画像のエッジ部分の先鋭化に用い
られる先鋭化正方行列を得ることができる。
発明は、請求項28に記載されるように、画像の符号化
情報を復号する画像復号装置において、上記画像のエッ
ジ部分を表すエッジ情報を取得するエッジ情報取得手段
と、上記符号化濃淡情報を所定の復号アルゴリズムに従
って復号して画像の濃淡情報を得る復号手段と、該復号
手段にて得られた画像の濃淡情報に対して、上記エッジ
情報取得手段にて得られたエッジ情報で表されるエッジ
部分を先鋭化するための処理を施すエッジ先鋭化処理手
段とを有し、該エッジ先鋭化処理手段にて得られた濃淡
情報によって表される再生画像を得るように構成され
る。
報を外部から直接取得しても、符号化されたエッジ情報
を復号することによって取得してもよい。
されるように、上記画像復号装置において、上記エッジ
情報取得手段は、当該画像復号装置に提供される符号化
エッジ情報を所定の復号アルゴリズムに従って復号して
上記エッジ情報を得るエッジ復号手段を有するように構
成することができる。
に基づいて説明する。
置での処理の原理は、例えば、図1に示すようになって
いる。
えば、輝度レベル)にて表現される原画像ICからその
エッジ部分IEを表すエッジ情報Aが抽出される。この
抽出されたエッジ情報AをJBIG等の標準符号化アルゴリ
ズムに従って符号化して符号化エッジ情報ACが得られ
る。一方、上記抽出されたエッジ情報Aに基づいて、上
記原画像IOを表す濃淡情報に対して当該エッジ部分IE
の平滑化を行う処理が施してエッジ平滑化画像I1の画
素単位の濃淡情報Bが得られる。このエッジ平滑化画像
I1の濃淡情報BがJPEG等の標準符号化アルゴリズムに
従って符号化され、符号化濃淡情報BCが得られる。こ
の画像符号化装置は、上記符号化エッジ情報ACと符号
化濃淡情報BCとを符号化情報として出力する。
像IOのエッジ部分IEを平滑化して得られた比較的高い
空間周波数成分の少ないるエッジ平滑化画像I1を符号
化しているので、JPEGのようなDCTを用いた標準符号
化アルゴリズムを使用しても、符号化において欠落する
情報を少なくすることができる。また、上記のように比
較的高い空間周波数成分の少ないエッジ平滑化画像I1
をDCTを用いて符号化する場合、エッジ平滑化画像I
1のエッジ周辺でのDCTによる符号化効率を向上させ
ることができ、エッジ部分IEを個別に符号化を行って
も、全体として符号化効率の低下を防止することができ
る。
号装置での処理の原理は、例えば、図2に示すようにな
っている。
を上記標準符号化アルゴリズム(例えば、JBIG)に対応
したJBIG等の標準復号アルゴリズムに従って復号し、原
画像のエッジ部分IEを表すエッジ情報Aを取得する。
一方、上記符号化濃淡情報BCを上記標準符号化アルゴ
リズム(例えば、JPEG)に対応したJPEG等の標準化復号
アルゴリズムに従って復号して、エッジ平滑化画像I’
1の濃淡情報B’を取得する。このエッジ平滑化画像
I’1の濃淡情報B’に対して、上記エッジ情報Aを用
いて該エッジ平滑化画像I’1のエッジを先鋭化するた
めの先鋭化処理が施される。その先鋭化処理にて得られ
た画素単位の濃淡情報O’にて表される画像が原画像I
Oに対応した再生画像I’Oとして得られる。
符号化情報として得られた符号化エッジ情報ACとエッ
ジ平滑化画像IEに対応した符号化濃淡情報BCとを復号
する。この符号化エッジ情報Aを復号することにより原
画像IOのエッジ部分IEに対応したエッジ情報を再現す
ることができる。そして、上記符号化濃淡情報BCを復
号して得られたエッジ平滑化画像I’1のエッジ部分を
上記のようにして得られたエッジ情報を用いて先鋭化す
ることにより再生画像I’Oが得られる。
平滑化画像IEは、エッジ周辺部の空間解像度が低下し
ているものの、画像信号(濃淡情報)がもつ本来の視覚
情報を大きく損なうものではない。そのため、符号化エ
ッジ情報Aを復号して、エッジ平滑化画像IEのエッジ
の先鋭化を行わなくても、ある程度の画質の画像を得る
ことができる。従って、エッジ情報は原画像のエンハン
スト情報として扱うことができ、例えば、画像符号化装
置からネットワークを介して画像復号装置に符号化情報
を伝送するシステムでは、ネットワークが混雑して十分
な情報を伝送できない場合、エッジ平滑化画像IEの符
号化濃淡情報だけを符号化情報として伝送させるなど、
必要に応じてエッジ情報を利用するように画像伝送シス
テムを構成することも可能となる。
との間でネゴシエーションを行って符号化エッジ情報の
伝送についての是非を決定することができる。また、符
号化エッジ情報とエッジ平滑化画像の符号化情報とに優
先度をつけてIPパケット化することで、インターネッ
トルータなどにおいて優先度の高い情報を的確に復号側
へ伝送させるようにすることもできる。
号化装置と画像復号装置を含む画像伝送システムの一例
を説明する。
示すように構成される。この例では、画像符号化装置1
0及び画像復号装置20は、JPEG等の標準化された静止
画像符号化方式及び復号方式を用いて、静止画像の圧縮
及び伸張を行っている。画像符号化装置10は、原画像
のうち被写体の輪郭や文字領域などのステップエッジ周
辺に関して圧縮効率を高めると共に、エッジ情報を原画
像から分離して別途階層的に送信する仕組みを備えてい
る。これにより、画像復号装置20において、復号によ
り得られた画像のエッジ周辺での主観的品質を向上させ
ることができる。
画像符号化装置10からの原画像についての符号化情報
(符号化エッジ情報、符号化濃淡情報)が伝送路30を
介して画像復号装置20に伝送される。そして、画像復
号装置20がそれらの符号化情報を復号することによっ
て再生画像を得る。
11、JBIG符号化部12、距離変換部13、エッジ平滑
化部14及びJPEG符号化部15を有している。エッジ検
出部11は、入力画像(原画像)からエッジ部分を検出
し、そのエッジ部分を表すエッジ情報を出力する。この
エッジ検出部11での検出手法として従来から知られる
手法を適用することができる。例えば、Sobelのオペレ
ータなどの汎用手法を用いたり、エッジの連続性を考慮
して平滑化すべきエッジの検出精度を最適化する処理を
施すこともできる。エッジ検出部11から出力されるエ
ッジ情報は、白黒の二値情報である。
らの二値情報となるエッジ情報をJBIG符号化方式に従っ
て無歪み(可逆)圧縮を行う。また、上記エッジ情報は
距離変換部13にて距離マップに変換される。この距離
変換部13にてなされる距離変換処理は、画像上の位置
(i,j)と位置(m、n)との間の距離の分布を求め
る処理であり、例えば、ユークリッド距離、4近傍距
離、8近傍距離などで定義された距離d(fij,fmn)
にてエッジ部分の画素からその近傍画像までの距離が表
される。上記距離マップは、エッジ部分の画素からその
近傍画像までの距離値の状態を表し、例えば、その距離
値を4近傍距離(d(fij,fmn)=|i−m|+|j
−n|)で定義した場合、図4に示すような距離マップ
が得られる。なお、図4において、各矩形領域が画素を
表すと共に、斜線部の矩形領域がエッジ部分の画素とな
る。
3からの距離マップ(図4参照)と入力画像(原画像)
とを入力し、入力画像におけるエッジ近傍に対する平滑
化処理を行ってエッジ平滑化画像を得る。この平滑化処
理の詳細については後述する。この平滑化処理によって
入力画像におけるステップエッジ等の急峻に濃淡が変化
するエッジ部分の平滑化がなされる。
からのエッジ平滑化画像を表す濃淡情報をJPEGに従って
符号化する。この符号化の際にDCT(離散コサイン変
換)及び量子化がなされるが、エッジ部分が平滑化され
たエッジ平滑化画像に対してそれらの処理がなされるこ
とから、DCT係数を量子化することに起因して復号画
像に生ずるブロック歪み、モスキートノイズなどの視覚
的に目立つ画質劣化が抑えられると共に、符号化におけ
る符号量の低減を図ることが可能となる。
からの符号化エッジ情報とJPEG符号化部15からのエッ
ジ平滑化画像に対応した符号化濃淡情報となるJPEG符号
を符号化情報として出力する。その際、それらの符号化
情報及び同一のフレームであることを同定するための同
期情報等が多重化されて、その多重化情報が伝送路30
を介して画像符号化装置10から画像復号装置20に伝
送される。
について説明説する。
照)によって定められるエッジ近傍領域に属する画素に
対して、逆行列を有する平滑化フィルタ行列を適用す
る。行列演算では、平滑化フィルタ行列が作用する画素
ブロックの境界での視覚的影響を抑えるために、オーバ
ラップ演算の手法が用いられる。
ンプル(画素)をpij、距離マップ(図4)上の画素位
置(i,j)の距離値をd(pij)とする。エッジ近傍
領域Rを、図5に示すように、R={pij|d
(pij)<ε}と定義する。平滑化処理は、エッジ近傍
領域Rの全てのpijに対して行う。
従って行われる。
化(i=0、j=0)がなされると共に、出力画像バッ
ファの全て値がゼロに初期化される(S1)。この状態
で、入力画像を画素毎に走査する(i、jをインクリメ
ントする)過程で、その画素pijがエッジ近傍領域Rに
含まれているか否かが判定される(S2)。具体的に
は、その画素の距離値d(pij)がd(pij)<εを満
たすか否かが判定される。そして、その画素pijがエッ
ジ近傍領域Rに含まれていると判定されると(S2で
Y)、その画素pijを中心とした3×3の画素ブロック
内の9個の各画素の画素値I(濃淡情報)を並べて得ら
れる9次の画素ブロックベクトルvij、
フィルタ行列Eとを用いた行列演算、
ロックベクトルvijの各画素の画素値Iに、例えば、図
7に示すような平滑化フィルタの各係数が、行列演算
(Ev ij)にて上記画素ブロックベクトルvijに含まれ
る各画素値に作用するように配列されている。即ち、こ
の平滑化フィルタ行列Eは、図8(a)に示すように構
成された9×9次元の正則行列となる。なお、この平滑
化フィルタ行列Eは、9×9次元の正則行列としたが、
これに限定されるものではなく、行列演算を行う単位と
なる画素ブロックベクトルvijの次元に対応する次元で
あればよい。また、その係数も、施したい平滑化演算に
よって任意に設定することができる。このように、この
平滑フィルタ行列Eは、後述するような復号で用いられ
るその逆行列が存在することを条件に任意に定めること
ができる。
列された平滑フィルタ行列Eと上記各画素の画素値Iを
並べた画素ブロックベクトルvijとの行列演算を行うこ
とは、画素pijを中心とした3×3画素ブロックに平滑
化フィルタ(図7参照)が作用したことと等価になる。
従って、上記のような行列演算により画素pijに対する
平滑化が行われたことになる。
ていないと判定されると(S2でN)、上記画素ブロッ
クベクトルvijと、図8(b)に示すような9次の単位
行列Pとを用いた演算、
トルvijに単位行列Pを作用させる場合、画素ブロック
ベクトルvijは変化しない(Pvij=vij)。従って、
この場合、特に平滑化の処理がなされたことにはならな
い。
なっている。順次対象となる画素pijをずらして上述し
た演算がなされることから、上記3×3の画素ブロック
に対応した平滑化フィルタ(図7参照)がオーバラップ
しながら(各画素が3×3画素ブロックの中心画素にな
ったり、周辺画素となったりしながら)、平滑化処理が
なされてゆく。この行列Oは、そのオーバラップ演算の
ための加算の重みを与える行列である。
果
後の画素値I’を表す。その各画素pmnの画素値I’
(pmn)が、出力画像バッファ上で各画素pmn毎に加算
される(S4)。
iとjがインクリメントされ(S5)、更に、夫々が、
入力画像の最終画素を表す値Sを超えたか否かが判定さ
れる(S6)。このi、jがその値Sを超えて否けれ
ば、上述した処理(S2、S3−1またはS3−2、S
4、S5、S6)が繰返し実行される。その結果、入力
画像を画素毎に走査する過程で、エッジ近傍領域Rに属
する画素pijに対する平滑化処理が行われる。そして、
i、jが上記値Sを超えたときに平滑化処理が終了され
る。この終了時点で出力画像バッファに格納されている
画素単位の値I’は、エッジ平滑化画像を表す濃淡情報
(画素値データ)となる。
復号部21、JPEG復号部22、距離変換部23、エッジ
先鋭化部24を有している。この画像復号装置20は、
前述したような画像符号化装置10から符号化情報とし
て伝送される符号化エッジ情報とエッジ平滑化画像に対
応したJPEG符号(符号化濃淡情報)をそれぞれ分離され
た状態で受信する。
て受信された符号化エッジ情報を復号してエッジ情報を
生成する。JPEG復号部22は、JPEGの復号方式に従って
受信されたJPEG符号を復号してエッジ平滑化画像を表す
濃淡情報を生成する。距離変換部23は、画像符号化装
置10の距離変換部13と同様に、JBIG復号部21から
のエッジ情報に基づいて距離マップ(図4参照)を生成
する。そして、エッジ先鋭化部24は、その距離マップ
に記述されるエッジ近傍領域の各画素の距離値に基づい
て、JPEG復号部22からのエッジ平滑化画像におけるエ
ッジ部分の先鋭化、即ち、エッジ部分の強度復元を行
う。
のようなエッジ先鋭化処理がなされる。
められるエッジ近傍領域に属する画素に対して、上記平
滑化フィルタ行列Eの逆行列となる先鋭化フィルタ行列
E-1を作用させている。その処理手順は、図6に示す手
順と同様であり、図6に示すステップS3−2におい
て、平滑化フィルタ行列Eに代えて図9に示すように構
成される先鋭化フィルタ行列E-1を用いた行列演算がな
される。
る過程で、エッジ近傍領域に属する画素pijを中心とし
た3×3画素ブロックに含まれる各画素の画素値を並べ
て得られる9次の画素ブロックベクトルv’ij
される。
ついて同様の処理が終了した時点で、出力画像バッファ
に格納されている各画素の画素値が原画像に対応した濃
淡情報となり、それが出力画像情報として画像復号装置
20が出力される。
符号化装置10において、原画像(入力画像)のエッジ
位置を検出し、そのエッジ近傍の画素に対して平滑化処
理を行うことによって、エッジに起因した符号化の際の
情報の欠落が防止されると共に、その符号化効率の低下
が防止される。また、数学的に逆行列が存在する平滑化
フィルタ行列を用いた行列演算によってエッジの平滑化
処理がなされることから、画像復号装置20において、
平滑化処理での逆演算を行うことで容易にエッジの先鋭
化、即ち、エッジ領域での本来の解像度の復元が可能と
なる。
部22のエッジ平滑化画像に対応した出力は、それだけ
で画像データ(濃淡情報)として画像表示等の利用が可
能である。エッジ情報は、必要に応じてエッジ強度復元
に利用することができる。これは、現在広く流通する標
準画像符号化方式に準拠した製品に対してエッジ先鋭化
の機能を追加することで復元画像における本来のエッジ
部分の質感を復元することができることを意味する。従
って、広く流通する既存の標準画像符号化方式をサポー
トする画像復号装置の基本構成を大きく変更することな
く、画像の圧縮・伸張を行うシステムを構成することが
できる。エッジ強度復元を行う場合に追加する機能に対
応した処理は、JPEGなどの圧縮符号化処理に比べればそ
の処理量が少ないため、例えば、ソフトウエアモジュー
ルなどの形で画像復号装置に追加することができる。
ッジ平滑化部14及び上記画像復号装置20におけるエ
ッジ先鋭化部24それぞれでの処理の他の例について説
明する。
は、入力画像(原画像)をN×N画素ブロックB(例え
ば、8×8画素のDCTブロック)に分割し、原画像の
エッジ部分を含む各ブロックB毎に次のような処理を行
う。処理の対象となるブロックBには複数のエッジ部分
を含んでもよい。
報:輝度値)をIk(k∈B)とする。ブロックB内の
各画素kの輝度値Ikの平均値EBが演算される。距離変
換部13にて生成された距離マップ(図4参照)の各画
素の距離値dkに基づいて、ブロックB内の各画素kが
エッジ近傍領域(dk<ε)内にあるか否かが判定され
る。そして、エッジ近傍領域Rにあると判定された画素
kの輝度値Ikに対してその距離値dkに応じた輝度補
正を行う。
に限られず、エッジ部分を含む予め定められた領域内の
各画素の輝度値に基づいて演算することができる。
kの輝度値Ikが上記のように演算された平均値EBより
高いか低いかの判定が行われる。そして、図10に示す
ように、その平均値EBより高い輝度値を有すると判定
された画素p2の当該輝度値は低下させる(↓)一方、
その平均値EBより低い輝度値を有すると判定された画
素p0の当該輝度値は大きくされる(↑)。そして、そ
の輝度値の補正(低下、増加)は、補正後(平滑化後)
のブロックB内の各画素kの輝度値I’kの平均値E’B
が補正前(平滑化前)の上記平均値EBと同じになるよ
うに、各画素kの距離値dk(エッジ部分からの距離)
に逆比例するように行われる。
ここで、αは0<α<1となる定数である。上記のよう
な手順により、エッジ近傍領域R内で距離値dkを持つ
画素kの輝度値Ikが、平均値ERと該輝度値Ikとの差
に距離に応じた重みを付けた値分だけ平均値Ekに近づ
く方向に補正される。
おいて、エッジ部分を横切る方向に並ぶ各画素kの輝度
値の変化量が小さくなるように(平均値EBに近づくよ
うに)各画素kの輝度値Ikが補正される。従って、原
画像のエッジ部分における輝度変化が小さくなって、エ
ッジ部分の平滑化がなされる。
された結果得られたエッジ平滑化画像の先鋭化を行う画
像復号装置20におけるエッジ先鋭化部24では、上記
平滑化処理と同様の手順に従って処理が行われる。
像が上記と同様のN×N画素ブロックBに分割され、そ
のブロックB毎に処理が行われる。即ち、エッジ部分を
含むブロックBにおいて、エッジ近傍領域にある画素k
の輝度値I’kが、そのブロックBの輝度値の平均値
E’Bより高いときには、その輝度値I’kが更に高くな
るように、また、その平均値E’Bより低いときには、
その輝度値I’kが更に低くなるように補正される。具
体的には、
れる。
化画像のエッジ近傍領域において、エッジ部分を横切る
方向に並ぶ各画素kの輝度値の変化量が大きくなるよう
に(平均値EBから遠ざかるように)各画素kの輝度値
I’kが補正される。従って、エッジ平滑化画像のエッ
ジ部分における輝度変化が大きくなって、エッジ部分の
先鋭化(エッジ強度復元)がなされる。
エッジ平滑化部14は、入力画像(原画像)を8×画素
ブロックB(DCTブロック)に分割し、原画像のエッ
ジ部分を含む各ブロックB毎に次のような処理を行う。
処理の対象となるブロックBには複数のエッジ部分を含
んでもよい。
画素ブロック)に含まれる各画素(64画素)の画素値
I(濃淡情報)を並べて得られる64次元の画素ブロッ
クベクトルvとの行列演算を行うべき64×64次元の
正方行列となる平滑化フィルタ行列Aが、エッジ検出部
11からのエッジ情報及び距離変換部13からの距離マ
ップに基づいて生成される。この平滑化フィルタ行列A
の構成は、ブロックBに含まれるエッジの位置に依存す
る。
クベクトルvとの行列演算によって、上記8×8の画素
ブロックの各画素のうちエッジ部分及びその近傍領域に
対応した各画素(図4における斜線部分)を中心に、例
えば、図11に示すような3×3画素ブロックの平滑化
フィルタを作用させた際に、各画素の画素値にその係数
が作用するのと等価となるように、その係数が配列され
たものとなっている。具体的には図12に示すように構
成される。この平滑化フィルタAの構成は、位置(m、
n)の画素だけがエッジ部分またはその近傍領域に含ま
れる場合の構成である。
ッジ情報及び距離マップに基づいて得られると、ブロッ
クBに対応した画素ブロックベクトルvと平滑化フィル
タ行列Aを用いた行列演算 v’=Av が行われる。このような行列演算により得られたベクト
ルv’の各成分(補正画素値)が平滑化後のブロック内
の各画素の画素値となる。これにより、そのブロック内
での平滑化処理がなされたことになる。
12参照)、考慮する平滑化フィルタ(図11参照)の
構成は、上述した例に限定されるものではなく、適宜定
めることができる。
された結果得られたエッジ平滑化画像の先鋭化を行う画
像復号装置20におけるエッジ先鋭化部24では、上記
平滑化処理と同様の手順に従って処理が行われる。その
際、ブロック(8×8画素ブロック)毎に、エッジ情報
及び距離マップに基づいて定められるそのブロック内の
エッジ部分及びその近傍領域に基づいて、上記平滑化フ
ィルタ行列Aの逆行列となる先鋭化フィルタ行列A-1が
生成される。そして、エッジ平滑化画像に設定されたブ
ロック毎に、そのブロックに含まれる画素の画素値で構
成された画素ブロックベクトルv’とその先鋭化フィル
タ行列A-1とを用いた行列演算 v=A-1v’ により、エッジが先鋭化(エッジ強度復元)された画像
における各画素値が得られる。
ロック毎にそのエッジ位置に応じた平滑化フィルタ行列
Aとその逆行列A-1を生成する必要があるが、垂直、水
平各最大8次のタップを有するフィルタを構成すること
ができるため、所望の平滑化特定を得やすくなる。
けるエッジ平滑化部14は、入力画像(原画像)におい
て上記エッジ近傍領域R(図5参照)内であると判定さ
れた各画素p(p∈R)の画素値x(濃淡情報)に対し
て次のような処理を施すことによって、各画素pの平滑
化後の画素値x’を演算する。
心とした3画素×3画素のマスク領域を定め、そのマス
ク領域内における画素pの周辺8画素p1〜p8の画素値
x1〜x8の平均値Cを求める。そして、その画素pの平
滑化後の画素値x’を、その周辺画素の画素値x1〜x8
の平均値Cを考慮して、
下の正の定数として任意に定められる。λの値が大きけ
れば大きいほど、画素値x’に反映される周辺画素の画
素値(その平均値C)の割合が大きくなり、平滑化の度
合いが強くなる。なお、Cの値は、対象となる画素pの
周辺8画素p1〜p8の画素値の平均値としたが、周辺画
素の濃淡状態が反映されるものであれば、他の手法にて
決めることもできる。この場合、λの値は、そのCの値
の決め方に応じて正の値に決めることができる。
ジ先鋭化部24が上記のような平滑化処理により得られ
たエッジ平滑化画像(実際には、JPEG復号部22から出
力されるエッジ平滑化画像)のエッジ部分の先鋭化を行
う。この先鋭化の処理は、例えば、次のようにしてなさ
れる。
て得られたエッジ近傍領域Rの各画素の画素値x’と上
記式[数18]で表される関係にある元の画素値xを復
元することになるが、この場合、処理の対象がエッジ平
滑化画像であるので、周辺画素の画素値の平均値Cは、
入力画像(現画像)を処理の対象とする上記平滑化処理
にて用いられた平均値Cと同じ値を用いることができな
い。従って、最急降下法に従った反復演算により元の画
素値xを復元する。その復元画素値を
画素値とする。ここで、Cは、Xの算出過程に依存して
値が変更されるため、その演算の繰り返し回数nに依存
するものとして記述した。
化するXは、下式によって定められる漸化式の収束値で
与えられる。
の復元値にて表される実際の画像の状態等に基づいて最
適な値に定められる。
し演算により各画素の復元画素値を求めるための処理
は、例えば、図14に示す手順に従って行われる。
期化が行われる(S11)と共に、各変数の初期値設定
が行われる(S12)。即ち、繰り返しカウント値nが
初期値「0」(n=0)に設定され、画素pijの復元画
素値Xijの初期値Xij(0)が上記エッジ平滑化画像で
の画素値x’に設定される。更に、この初期値設定にお
いて、各画素pijに対応させたフラグFlag(i,j)が
「0」(Flag(i,j)=0)に設定される。このフラグF
lag(i,j)は、画素pijの復元画素値が後述するような
繰り返し演算により収束したか否かを表す。
素pijの周辺8画素の画素値の平均値Cij(n)が演算
され(S13)、更に、上記式[数21]におけるe
(X)の微分値
N)、即ち、当該画素pijについての復元画素値がある
値に収束したと見なされない場合、上記Cij(n)及び
上記微分値を用い、上記式[数22]に従って、X
ij(n+1)が演算される(S16)。このように復元
画素値Xij(n+1)が得られると、上記出力バッファ
における画素pijの復元画素値Xij(n)がXij(n+
1)に更新される(S17)。
域Rの全ての画素に対して処理が終了したか否かが判定
される(S18)。まだ、その全ての画素に対する処理
が終了していなければ(S18でN)、(i,j)がイ
ンクリメントされ(S19)、処理の対象となる画素が
変更される。
れると、その画素に対応したフラグFlag(i,j)が
「0」であるか否かが判定される(S20)。このフラ
グFlag(i,j)が「0」である場合、その画素の復元画
素値が収束していないとして、上記と同様に、その画素
に対して、周辺8画素の画素値(復元画素値)の平均値
C(n)が演算される(S13)と共に上記式[数2
3]に従った微分値が演算される(S14)。そして、
上記式[数24]にて表される条件が満足される(復元
画素値が収束したと見なされる)か否かが判定される
(S15)。この条件が満足されない場合(S15で
N)、上記と同様に、上記式[数22]に従って、X ij
(n+1)が演算され(S16)、出力バッファにおけ
る当該画素pijの復元画素値がXij(n+1)に更新さ
れる(S17)。
0、S13〜S17)が繰り返し実行される。そして、
エッジ平滑化画像のエッジ近傍領域Rの全ての画素に対
して上記処理が終了したと判定されると(S18で
Y)、更に、その全ての画素に対応した各フラグFlag
(i,j)が「1」であるか否か、即ち、全ての画素の復
元画素値が収束したと見なし得るか否かが判定される
(S21)。
(i,j)が「1」となっていない場合(S21でN)、
繰り返しカウント値nがインクリメントされると共に、
(i,j)が初期値(0,0)に設定されて、最初に処
理された画素p00が再び処理対象となる画素として選択
される(S22)。そして、その画素p00に対応したフ
ラグFlag(0,0)が「0」であるか否かが判定される
(S20)。このフラグFlag(0,0)が「0」である場
合、上述した処理(S13〜S17)に従って、その画
素p00の復元画素値が更新される。その後、処理の対象
となる画素を順次変更させながら、上述した処理(S2
0、S13〜S19、S21)が繰り返し実行される。
4]にて表される条件が満足されたと判定されると(S
15でY)、出力バッファに格納されたその画素pijに
対する復元画素値Xij(n)が収束しているとして、そ
の画素pijに対応するフラグFlag(i,j)が「1」に設
定される(S23)。以後、上述した処理(S18〜S
20、S13〜S17、S18、S21、S22)が繰
り返し実行される。その過程で、上記式[数24]にて
表される条件が満足されたと判定される毎に(S15で
Y)、その画素pijに対応したフラグFlag(i,j)が
「1」にセットされる。
ラグFlag(i,j)が「1」となっていると判定されると
(S21でY)、即ち、処理対象となる全ての画素の復
元画素値が収束したと見なされると、当該エッジ平滑化
画像のエッジ部分の先鋭化処理が終了する。その時点
で、そのすべての画素に対する復元画素値Xが出力バッ
ファに保存された状態になる。
滑化処理、及びその平滑化処理にて得られたエッジ平滑
化画像のエッジ部分の先鋭化処理によれば、上記式[数
18]に従った各画素の平滑化の度合いに係わらず、上
述したような繰り返し演算によって、比較的高い精度で
復元画素値を得ることができるようになる。また、エッ
ジ復元(先鋭化)の過程におけるパラメータを適切に設
定することにより、上記繰り返し演算におけるその繰り
返し回数を低減することができ、結果としてその処理時
間を短縮することができる。
置20の他の構成例を説明する。
像の符号化及び復号が行われる。従って、上述した例
(図3参照)にて述べた画像符号化装置10におけるJP
EG符号化部15及び画像復号装置20におけるJPEG復号
部22のそれぞれに代えて、MPEG-4映像符号化部16及
びMPEG-4映像復号部25が用いられる。
るエッジ平滑処理にて得られたエッジ平滑画像のフレー
ム画像が、MPEG-4映像符号化部16にてMPEG-4の標準方
式に従って映像圧縮符号化される。その結果、MPEG-4符
号が符号化情報として得られる。
EG-4映像復号部25にてフレーム画像単位に復号され
る。これら各フレーム復号画像のそれぞれに対して、対
応するエッジ情報を用いてエッジ先鋭化部24がエッジ
先鋭化処理を施す。それにより、画像復号装置20から
原画像(動画像)に対応した動画像出力が得られる。
像の符号化及び復号が行われる。だだし、上述した例
(図13参照)にて述べた画像符号化装置10にてエッ
ジ情報の符号化を行うJBIG符号化部12及び画像復号装
置20にて符号化エッジ情報を復号するJBIG復号部21
のそれぞれに代えて、MPEG-4形状符号化部17及びMPEG
-4形状復号部26が用いられる。
がMPEG-4形状符号化部17にて無歪み圧縮符号化され
る。これにより、エッジ画像は個々のフレームに閉じた
符号化ではなく、時間方向のフレーム間相関も利用して
圧縮できるので、エッジ情報自体の圧縮効率を高めるこ
とができる。更に、MPEG-4形状符号化部17の出力(符
号化エッジ情報)は、MPEG-4コアプロファイルのBINARY
ONLY符号化モードによって、二値画像データのみの符
号(MPEG-4形状符号)とすることができる。そして、MP
EG-4コアプロファイルに準拠した復号部(MPEG-4形状復
号部26及びMPEG-4映像復号部25)を備えるだけで、
MPEG-4形状符号に対する処理(距離変換した後に、エッ
ジ先鋭化に利用する)の機能を備えるだけで所望の動作
を行う画像復号装置20を構成することができる。
0は、画像符号化装置10から伝送される復号エッジ情
報及びエッジ平滑化画像の濃淡情報を符号化して得られ
た符号化濃淡情報を復号するものであったが、上記各符
号化情報は、MO(光磁気ディスク)などの記録媒体に
て画像復号装置20に提供されるものであってもよい。
化して得られた符号化濃淡情報と符号化されていないエ
ッジ情報を画像復号装置20に提供するようにしてもよ
い。この場合、画像復号装置20は、なんらかの手段
(伝送路から受信、記録媒体から読み出しなど)にて取
得したエッジ情報に基づいて、上記符号化濃淡情報を復
号して得られたエッジ平滑化画像の濃淡情報に対して先
鋭化処理を施して再生画像を得る。
記載の本願発明によれば、原画像からエッジ部分を平滑
化して得られるエッジ平滑化画像は、比較的高い空間周
波数成分が少なくなり、標準符号化アルゴリズムに従っ
て符号化しても、その符号化により欠落する情報が少な
くなる。その結果、DCTを用いた標準符号化・復号方
式をそのまま適用しても歪みの少ない復号画像を得られ
るようにした画像符号化・復号方法を実現することがで
きるようになる。
よれば、そのような画像符号化・復号方法に従って画像
の符号化、復号を行う画像符号化装置及び画像復号装置
を実現することができるようになる。
の処理の原理を表す図である。
処理の原理を表す図である。
び画像復号装置を含む画像伝送システムの構成例を示す
ブロック図である。
の一例を示すフローチャートである。
めの行列の例を示す図である。
示す図である。
る。
示す図である。
化)するための処理の一例を示すフローチャートであ
る。
伝送システムの他の構成例を示すブロック図である。
伝送システムの更に構成例を示すブロック図である。
Claims (29)
- 【請求項1】画像符号化装置が原画像を符号化して得ら
れる符号化情報を画像復号装置に伝送し、その符号化情
報を入力する画像復号装置がその符号化情報を復号して
再生画像を得る際の画像符号化・復号方法において、 上記画像符号化装置は、 原画像からそのエッジ部分を表すエッジ情報を抽出する
手順と、 上記原画像を表す濃淡情報に対して該原画像のエッジ部
分の平滑化を行う処理を施してエッジ平滑化画像の濃淡
情報を得る手順と、 抽出されたエッジ情報を第一の符号化アルゴリズムに従
って符号化して符号化エッジ情報を得る手順と、 上記エッジ平滑化画像の濃淡情報を第二の符号化アルゴ
リズムに従って符号化して符号化濃淡情報を得る手順と
に従って得られた上記符号化エッジ情報と符号化濃淡情
報を符号化情報として画像復号装置に伝送し、 上記画像復号装置は、 上記符号化エッジ情報を上記第一の符号化アルゴリズム
に対応した第一の復号アルゴリズムに従って復号してエ
ッジ情報を得る手順と、 上記濃淡情報を上記第二の符号化アルゴリズムに対応し
た第二の復号アルゴリズムに従って復号してエッジ平滑
画像の濃淡情報を得る手順と、 上記エッジ平滑化画像の濃淡情報に対して、上記エッジ
情報を用いて該エッジ平滑化画像のエッジ部分を先鋭化
するための処理を施す手順とに従って該エッジ平滑化画
像のエッジ部分が先鋭化された再生画像を得るようにし
た画像符号化・復号方法。 - 【請求項2】請求項1記載の画像符号化・復号方法にお
いて、 上記画像符号化装置にてなされる原画像のエッジ部分の
平滑化を行う処理は、原画像を画素毎に順次走査する過
程で、上記原画像のエッジ部分またはその所定近傍領域
にある画素とその所定周囲領域の各画素にて構成される
ブロックに含まれた各画素の濃淡情報を並べて得られる
その画素数に対応した次数のブロック濃淡情報ベクトル
と、上記次数に対応した次数の正方行列であって、その
ブロックの各画素の濃淡情報に平滑化のための各係数が
作用するように当該係数が配列された平滑化正方行列と
を用いて行列演算を行い、 上記原画像の画素毎の走査の過程で、上記行列演算手段
にて得られるそのブロック内の各画素の濃淡情報を画素
毎に重ね合わせて平滑化された後の各画素の濃淡情報を
得るようにした画像符号化・復号方法。 - 【請求項3】請求項2記載の画像符号化・復号方法にお
いて、 上記画像復号装置にてなされるエッジ平滑化画像のエッ
ジ部分を先鋭化する処理は、 上記エッジ平滑化画像を画素毎に走査する過程で、上記
第一の復号アルゴリズムに従って得られたエッジ情報に
て表されるエッジ部分またはその所定近傍領域にある画
素とその上記所定周囲領域の画素にて構成される上記ブ
ロックに対応するブロックに含まれた各画素の濃淡情報
を並べて得られるその画素数に対応した次数のブロック
濃淡情報ベクトルと、上記平滑化正方行列の逆行列とな
る先鋭化正方行列とを用いた行列演算を行い、 上記エッジ平滑化画像の画素毎の走査の過程で、その行
列演算手段にて得られるそのブロック内の各画素の濃淡
情報を画素毎に重ね合わせて先鋭化された後の各画素の
濃淡情報を得るようにした画像符号化・復号方法。 - 【請求項4】請求項1記載の画像符号化・復号方法にお
いて、 上記画像符号化装置にてなされる原画像のエッジ部分の
平滑化を行う処理は、そのエッジ部分の画素の濃淡情報
xと、その周辺画素の濃淡情報に基づいて定められるそ
の画素の周辺の濃淡状態を表す周辺濃淡情報Cとを用
い、 【数1】 に従ってその画素の平滑化後の濃淡情報x’を得るよう
にした画像符号化・復号方法。 - 【請求項5】請求項4記載の画像符号化・復号方法にお
いて、 上記画像復号装置にてなされるエッジ平滑化画像のエッ
ジ部分を先鋭化する処理は、 上記エッジ平滑化画像のエッジ部分の画素の濃淡情報
x’と、その周辺画素の濃淡情報に基づいて定められる
その画素の周辺の濃淡状態を表す周辺濃淡情報とを用
い、上記式[数1]から定式化される上記濃淡情報x’
と先鋭化後の濃淡情報との関係に基づいて定義される所
定の関係式から最急降下法に従ってその先鋭化後の濃淡
情報を求める画像符号化・復号方法。 - 【請求項6】請求項5記載の画像符号化・復号方法にお
いて、 上記式[数1]から定式化される上記濃淡情報x’と先
鋭化後の濃淡情報との関係に基づいて定義される上記所
定の関係式は、 【数2】 となり、 その関係式におけるe(X)の値を最小にするXの値を最急
降下法に従って求め、そのe(X)の値を最小とするXの値
を先鋭化後のその画素の濃淡情報とする画像符号化・復
号方法。 - 【請求項7】請求項6記載の画像符号化・復号方法にお
いて、 上記最急降下法に従った処理では、繰り返しカウント値
nを順次インクリメントする過程で、 【数3】 の式に従ってX(n+1)を求めるための演算を、その
X(n+1)が最小値であると見なし得る所定の条件を
満足するまで繰り返し行う画像符号化・復号方法。 - 【請求項8】原画像からそのエッジ部分を表すエッジ情
報を抽出するエッジ抽出手段と、 該原画像を表す濃淡情報に対して該原画像のエッジ部分
の平滑化を行う処理を施してエッジ平滑化画像の濃淡情
報を得るエッジ平滑化手段と、 抽出されたエッジ情報を第一の符号化アルゴリズムに従
って符号化して符号化エッジ情報を得る第一の符号化手
段と、 上記エッジ平滑化手段にて得られたエッジ平滑化画像の
濃淡情報を第二の符号化アルゴリズムに従って符号化し
て符号化濃淡情報を得る第二の符号化手段とを有し、 上記第一及び第二の符号化手段にて得られた上記符号化
エッジ情報と符号化濃淡情報とを原画像の符号化情報と
する画像符号化装置。 - 【請求項9】請求項8記載の画像符号化装置において、 上記エッジ平滑化手段は、 該原画像のエッジ部分の所定近傍領域においてエッジ部
分を横切る方向に並ぶ各画素の濃淡情報にて表される濃
淡レベルの変化量を小さくするように当該各画素の濃淡
情報を補正する濃淡情報補正手段を有する画像符号化装
置。 - 【請求項10】請求項9に記載される画像符号化装置に
おいて、 上記濃淡情報補正手段は、 上記原画像のエッジ部分の所定近傍領域を含む所定領域
内の各画素の濃淡情報にて表される濃淡レベルの平均値
を演算する平均値演算手段と、 上記エッジ近傍領域において、各画素の濃淡情報にて表
される濃淡レベルが上記平均値より高いか低いかを判定
する濃淡レベル判定手段とを有し、 該濃淡レベル判定手段にて濃淡レベルが上記平均値より
高いと判定された画素についてその濃淡レベルが下がる
ように濃淡情報を補正し、 該濃淡レベル判定手段にて濃淡レベルが上記平均値より
低いと判定された画素についてその濃淡レベルが上がる
ように濃淡情報を補正するようにした画像符号化装置。 - 【請求項11】請求項10記載の画像符号化装置におい
て、 上記濃淡情報補正手段は、上記所定領域について求めら
れた各画素の濃淡情報にて表される濃淡レベルの平均値
が変化しないように、上記各画素についての濃淡情報の
補正を行うようにした画像符号化装置。 - 【請求項12】請求項8記載の画像符号化装置におい
て、 上記エッジ平滑化手段は、 上記原画像のエッジ部分を含む所定ブロック毎に、その
ブロックに含まれる各画素の濃淡情報を並べて得られる
当該画素数に対応した次数のブロック濃淡情報ベクトル
との行列演算を行うべき正方行列であって、その行列演
算によりそのブロックに含まれるエッジ部分及びその所
定近傍領域における各画素の濃淡情報に平滑化のための
各係数が作用するように当該係数が配列された平滑化正
方行列を生成する平滑化正方行列生成手段と、 該平滑化正方行列生成手段にて生成された平滑化正方行
列と上記ブロック濃淡情報ベクトルとを用いた行列演算
を行って平滑化された後における当該ブロック内の各画
素の濃淡情報を求める行列演算手段とを有する画像符号
化装置。 - 【請求項13】請求項8記載の画像符号化装置におい
て、 上記エッジ平滑化手段は、 原画像を画素毎に順次走査する過程で各画素が該原画像
のエッジ部分またはその所定近傍領域にあるか否かを判
定する画素判定手段と、 該画素判定手段にて画素が上記エッジ部分またはその所
定近傍領域にあると判定されときに、その画素とその所
定周囲領域の各画素にて構成されるブロックに含まれた
各画素の濃淡情報を並べて得られるその画素数に対応し
た次数のブロック濃淡情報ベクトルと、上記次数に対応
した次数の正方行列であって、そのブロックの各画素の
濃淡情報に平滑化のための各係数が作用するように当該
係数が配列された平滑化正方行列とを用いた行列演算を
行う行列演算手段と、 上記原画像の画素毎の走査の過程で、上記行列演算手段
にて得られるそのブロック内の各画素の濃淡情報を画素
毎に重ね合わせて平滑化された後の各画素の濃淡情報を
求める演算手段とを有する画像符号化装置。 - 【請求項14】請求項13記載の画像符号化装置におい
て、 上記画素判定手段は、上記エッジ部分と各画素との距離
を表す距離情報を生成する距離変換手段と、 該距離変換手段にて得られた各画素に対する距離情報が
所定値以下であるか否かを判定する距離判定手段とを有
し、 該距離判定手段にて距離情報が所定値以下であると判定
されたときに、その距離情報に対応した画素が原画像の
エッジ部分またはその所定近傍領域にあると判定するよ
うにした画像符号化装置。 - 【請求項15】請求項8記載の画像符号化装置におい
て、 上記エッジ平滑化手段は、 該原画像のエッジ部分の画素の濃淡情報xと、その周辺
画素の濃淡情報に基づいて定められるその画素の周辺の
濃淡状態を表す周辺濃淡情報Cとを用い、 【数4】 に従ってその画素の平滑化後の濃淡情報x’を得るよう
にした画像符号化装置。 - 【請求項16】原画像のエッジ部分を表す符号化エッジ
情報と、原画像のエッジ部分を平滑化したエッジ平滑化
画像を表す符号化濃淡情報とを有する符号化情報を復号
する画像復号装置において、 上記符号化エッジ情報を第一の復号アルゴリズムに従っ
て復号して原画像のエッジ部分を表すエッジ情報を得る
第一の復号手段と、 上記符号化濃淡情報を第二の復号アルゴリズムに従って
復号してエッジ平滑化画像の濃淡情報を得る第二の復号
手段と、 上記第二の復号手段にて得られたエッジ平滑化画像の濃
淡情報に対して、上記第一の復号手段にて得られたエッ
ジ情報を用いて該エッジ平滑化画像のエッジ部分を先鋭
化するための処理を施すエッジ先鋭化処理手段とを有
し、 該エッジ先鋭化処理手段にて得られた濃淡情報によって
表される再生画像を得るようにした画像復号装置。 - 【請求項17】請求項16記載の画像復号装置におい
て、 上記エッジ先鋭化処理手段は、 上記第二の復号手段にて得られたエッジ平滑化画像の濃
淡情報に対して、上記第一の復号手段にて得られエッジ
情報にて表されるエッジ部分の所定近傍領域においてエ
ッジ部分を横切る方向に並ぶ各画素の濃淡情報にて表さ
れる濃淡レベルの変動量を大きくするように当該各画素
の濃淡情報を補正する濃淡情報補正手段を有する画像復
号装置。 - 【請求項18】請求項17に記載される画像復号装置に
おいて、 上記濃淡情報補正手段は、 上記エッジ部分の所定近傍領域を含む所定領域内の各画
素の濃淡情報にて表される濃淡レベルの平均値を演算す
る平均値演算手段と、 上記エッジ近傍において、各画素の濃淡情報に表される
濃淡レベルが上記平均値より高いか低いかを判定する濃
淡レベル判定手段を有し、 該濃淡レベル判定手段にて濃淡レベルが上記平均値より
高いと判定された画素についてその濃淡レベルが上がる
ように濃淡情報を補正し、 該濃淡レベル判定手段にて濃淡レベルが上記平均値より
低いと判定された画素についてその濃淡レベルが下がる
ように濃淡情報を補正するようにした画像復号装置。 - 【請求項19】請求項18記載の画像復号装置におい
て、 上記濃淡情報補正手段は、上記所定領域について求めら
れた各画素の濃淡情報にて表される濃淡レベルの平均値
が変化しないように、上記各画素についての濃淡情報を
補正するようにした画像復号装置。 - 【請求項20】請求項16記載の画像復号装置におい
て、 上記エッジ先鋭化処理手段は、 上記第二の復号手段にて得られた濃淡情報にて表される
エッジ平滑化画像の上記第一の復号手段にて得られたエ
ッジ情報にて表されるエッジ部分を含む上記所定のブロ
ック毎に、そのブロックに含まれる各画素の濃淡情報を
並べて得られる当該画素数に対応した次数のブロック濃
淡情報ベクトルと行列演算を行うべき正方行列であっ
て、その行列演算によりそのブロックに含まれるエッジ
部分及びその近傍領域における各画素の濃度情報に先鋭
化のための各係数が作用するように当該係数が配列され
た先鋭化正方行列を生成する先鋭化正方行列生成手段
と、 該先鋭化正方行列生成手段にて生成された先鋭化正方行
列と上記ブロック濃淡情報ベクトルとを用いた行列演算
を行って先鋭化された後における当該ブロック内の各画
素の濃淡情報を求める行列演算手段とを有する画像復号
装置。 - 【請求項21】請求項20記載の画像復号装置におい
て、 上記第二の復号手段により処理すべき上記符号化濃淡情
報が、原画像のエッジ部分を含む上記所定ブロック毎
に、そのブロックに含まれる各画素の濃淡情報を並べて
得られる当該画素数に対応した次数のブロック濃淡情報
ベクトルとの行列演算を行うべき正方行列であって、そ
の行列演算によりそのブロックに含まれるエッジ部分及
びその所定近傍領域における各画素の濃淡情報に平滑化
のための係数が作用するように当該係数が配列された平
滑正方行列と、上記ブロック濃淡情報ベクトルとを用い
た行列演算を行って得られたエッジ平滑化画像の濃淡情
報を上記第二の復号アルゴリズムに対応した符号化アル
ゴリズムに従って符号化して得られたものである場合、 上記先鋭化正方行列生成手段は、上記ブロックに含まれ
るエッジ部分の画素位置に基づいて上記平滑化正方行列
の逆行列を上記先鋭化正方行列として生成するようにし
た画像復号装置。 - 【請求項22】請求項16記載の画像復号装置におい
て、 上記エッジ先鋭化処理手段は、 上記第二の復号手段にて得られる濃淡情報にて表される
エッジ平滑化画像を画素毎に走査する過程で各画素が上
記第一の復号手段にて得られたエッジ情報にて表される
エッジ部分またはその所定近傍領域にあるか否かを判定
する画素判定手段と、 該画素判定手段にて画素が上記エッジ部分またはその所
定近傍領域にあると判定されたときに、その画素とその
上記所定周囲領域の画素にて構成されるブロックに含ま
れた各画素の濃淡情報を並べて得られるその画素数に対
応した次数のブロック濃淡情報ベクトルと、上記次数に
対応した次数の正方行列であって、そのブロックの各画
素の濃淡情報に先鋭化のための係数が作用するように当
該係数が配列された先鋭化正方行列とを用いた行列演算
を行う行列演算手段と、 上記エッジ平滑化画像の画素毎の走査の過程で、上記行
列演算手段にて得られるそのブロック内の各画素の濃淡
情報を画素毎に重ね合わせて先鋭化された後の各画素の
濃淡情報を求める演算手段とを有する画像復号装置。 - 【請求項23】請求項22記載の画像復号装置におい
て、 上記画像判定手段は、上記エッジ部分と各画素との距離
を表す距離情報を生成する距離変換手段と、 該距離変換手段にて得られた各画素に対する距離情報が
所定値以下であるか否かを判定する距離判定手段とを有
し、 該距離判定手段にて距離情報が所定値以下であると判定
されたときに、その距離情報に対応した画素が原画像の
エッジ部分またはその所定近傍領域にあると判定するよ
うにした画像復号装置。 - 【請求項24】請求項22または23記載の画像復号装
置において、 上記第二の復号手段により処理すべき上記符号化濃淡情
報が、原画像を画素毎に順次走査する過程で該原画像の
エッジ部分またはその所定の近傍領域にあると判定され
た画素とその所定周囲領域の各画素にて構成される上記
ブロックに対応するブロックに含まれた各画素の濃淡情
報を並べて得られるその画素数に対応した次数のブロッ
ク濃淡情報ベクトルと、上記次数に対応した次数の正方
行列であって、そのブロックの各画素の濃淡情報に平滑
化のための各係数が作用するように当該係数が配列され
た平滑化正方行列とを用いた行列演算を行って得られる
そのブロック内の各画素の濃淡情報を各画素毎に重ね合
わせて平滑化された後の各画素の濃淡情報を求めること
によって得られたエッジ平滑化画像の濃淡情報を上記第
二の復号アルゴリズムに対応した符号化アルゴリズムに
従って符号化して得られたものである場合、 上記先鋭化正方行列は、上記平滑化正方行列の逆行列に
定められた画像復号装置。 - 【請求項25】請求項16記載の画像復号装置におい
て、上記エッジ先鋭化処理手段は、 【数5】 から定式化される上記濃淡情報x’と先鋭化後の濃淡情
報との関係に基づいて定義される所定の関係式から最急
降下法に従ってその先鋭化後の濃淡情報を求めるように
した画像復号装置。 - 【請求項26】請求項25記載の画像復号装置におい
て、 上記式[数5]から定式化される上記濃淡情報x’と先
鋭化後の濃淡情報との関係に基づいて定義される上記所
定の関係式は、 【数6】 となり、 その関係式におけるe(X)の値を最小にするXの値を最急
降下法に従って求め、そのe(X)の値を最小とするXの値
を先鋭化された後のその画素の濃淡情報とする画像復号
装置。 - 【請求項27】請求項26記載の画像復号装置におい
て、 上記エッジ先鋭化処理手段における上記最急降下法に従
った処理では、繰り返しカウント値nを順次インクリメ
ントする過程で、 【数7】 の式に従ってX(n+1)を求めるための演算を、その
X(n+1)が最小値であると見なし得る所定の条件を
満足するまで繰り返し行う画像復号装置。 - 【請求項28】画像の符号化情報を復号する画像復号装
置において、 上記画像のエッジ部分を表すエッジ情報を取得するエッ
ジ情報取得手段と、 上記符号化情報を所定の復号アルゴリズムに従って復号
して画像の濃淡情報を得る復号手段と、 該復号手段にて得られた画像の濃淡情報に対して、上記
エッジ情報取得手段にて得られたエッジ情報にて表され
るエッジ部分を先鋭化するための処理を施すエッジ先鋭
化処理手段とを有し、 該エッジ先鋭化処理手段にて得られた濃淡情報によって
表される再生画像を得るようにした画像復号装置。 - 【請求項29】請求項28記載の画像復号装置におい
て、 上記エッジ情報取得手段は、当該画像復号装置に提供さ
れる符号化エッジ情報を所定の復号アルゴリズムに従っ
て復号して上記エッジ情報を得るエッジ復号手段を有す
る画像復号装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001072904A JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
EP20010310198 EP1213928B1 (en) | 2000-12-07 | 2001-12-05 | Image coding/decoding method, image coding apparatus and image decoding apparatus |
US10/003,113 US7532762B2 (en) | 2000-12-07 | 2001-12-06 | Image coding/decoding method, image coding apparatus and image decoding apparatus for obtaining decoded images having small distortion in DCT based standard coding/decoding |
CNB011396946A CN1180627C (zh) | 2000-12-07 | 2001-12-07 | 图像编码/解码方法,图像编码装置和图像解码装置 |
US12/394,765 US20090161972A1 (en) | 2000-12-07 | 2009-02-27 | Image coding/decoding method, image coding apparatus and image decoding apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000373462 | 2000-12-07 | ||
JP2000-373462 | 2000-12-07 | ||
JP2001072904A JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002238054A true JP2002238054A (ja) | 2002-08-23 |
JP4443784B2 JP4443784B2 (ja) | 2010-03-31 |
Family
ID=26605459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001072904A Expired - Lifetime JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7532762B2 (ja) |
EP (1) | EP1213928B1 (ja) |
JP (1) | JP4443784B2 (ja) |
CN (1) | CN1180627C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101341096B1 (ko) * | 2007-09-12 | 2013-12-13 | 삼성전기주식회사 | 영상 복원 장치 및 방법 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004017546A (ja) * | 2002-06-19 | 2004-01-22 | Ricoh Co Ltd | 画像形成装置、画像処理装置、プリンタドライバ及び画像処理方法 |
JP4066803B2 (ja) * | 2002-12-18 | 2008-03-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
JP4042563B2 (ja) * | 2002-12-27 | 2008-02-06 | セイコーエプソン株式会社 | 画像ノイズの低減 |
US7430339B2 (en) * | 2004-08-09 | 2008-09-30 | Microsoft Corporation | Border matting by dynamic programming |
JP4154374B2 (ja) * | 2004-08-25 | 2008-09-24 | 株式会社日立ハイテクノロジーズ | パターンマッチング装置及びそれを用いた走査型電子顕微鏡 |
KR100727316B1 (ko) * | 2005-06-01 | 2007-06-12 | 삼성전자주식회사 | 저밀도채리티체크 채널 디코딩 방법 및 장치 |
JP2007312304A (ja) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
US7848571B2 (en) * | 2006-06-26 | 2010-12-07 | Keystream Corporation | Computer-implemented method for efficient image segmentation using automated saddle-point detection |
TWI332351B (en) * | 2006-10-05 | 2010-10-21 | Realtek Semiconductor Corp | Image processing method and device thereof for reduction mosquito noise |
EP1962513A1 (en) * | 2007-02-26 | 2008-08-27 | Vestel Elektronik Sanayi ve Ticaret A.S. | Methods and apparatus for processing of a digital image |
JP4966893B2 (ja) * | 2008-03-13 | 2012-07-04 | 株式会社日立ハイテクノロジーズ | 一致度計算装置及び方法、プログラム |
US8897583B2 (en) * | 2008-05-23 | 2014-11-25 | Panasonic Corporation | Image decoding apparatus for decoding a target block by referencing information of an already decoded block in a neighborhood of the target block |
WO2010007933A1 (ja) * | 2008-07-14 | 2010-01-21 | シャープ株式会社 | 映像信号処理装置及び映像表示装置 |
JP5147597B2 (ja) * | 2008-08-13 | 2013-02-20 | キヤノン株式会社 | 画像形成装置、画像形成方法およびプログラム |
WO2010107646A1 (en) * | 2009-03-16 | 2010-09-23 | Nikon Corporation | Adaptive overshoot control for image sharpening |
US9214112B2 (en) * | 2009-09-29 | 2015-12-15 | Panasonic Intellectual Property Management Co., Ltd. | Display device and display method |
US20110123121A1 (en) * | 2009-10-13 | 2011-05-26 | Sony Corporation | Method and system for reducing blocking artefacts in compressed images and video signals |
JP4703759B2 (ja) * | 2009-11-27 | 2011-06-15 | 株式会社東芝 | 画像処理装置および同装置における画像処理方法 |
WO2014130019A1 (en) | 2013-02-20 | 2014-08-28 | Intel Corporation | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video |
JP6446070B2 (ja) * | 2014-07-07 | 2018-12-26 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | イントラブロックコピー検索と補償範囲の方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4162482A (en) * | 1977-12-07 | 1979-07-24 | Burroughs Corporation | Pre-processing and feature extraction system for character recognition |
USRE35414E (en) * | 1988-08-11 | 1996-12-31 | Mitsubishi Denki Kabushiki Kaisha | Picture coding and decoding apparatus using vector quantization |
US5133020A (en) * | 1989-07-21 | 1992-07-21 | Arch Development Corporation | Automated method and system for the detection and classification of abnormal lesions and parenchymal distortions in digital medical images |
WO1991003796A1 (en) * | 1989-08-28 | 1991-03-21 | Eastman Kodak Company | A computer based digital image noise reduction method based on overlapping planar approximation |
US5703965A (en) * | 1992-06-05 | 1997-12-30 | The Regents Of The University Of California | Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening |
JP3466705B2 (ja) * | 1993-05-28 | 2003-11-17 | ゼロックス・コーポレーション | 圧縮画像の圧縮解除方法 |
US5432870A (en) | 1993-06-30 | 1995-07-11 | Ricoh Corporation | Method and apparatus for compressing and decompressing images of documents |
US5453844A (en) * | 1993-07-21 | 1995-09-26 | The University Of Rochester | Image data coding and compression system utilizing controlled blurring |
KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
US5426673A (en) * | 1994-02-09 | 1995-06-20 | The Regents Of The University Of California | Discrete cosine transform-based image coding and decoding method |
DK0772530T3 (da) * | 1994-07-26 | 2002-05-21 | Internat Data Matrix Inc | Uforanderlige selvverificerende genstande |
JPH08126003A (ja) | 1994-10-04 | 1996-05-17 | Texas Instr Inc <Ti> | 画像処理装置及びその方法 |
IL114838A0 (en) * | 1995-08-04 | 1996-11-14 | Spiegel Ehud | Apparatus and method for object tracking |
JPH09252468A (ja) * | 1996-03-15 | 1997-09-22 | Minolta Co Ltd | 画像圧縮装置 |
JPH10118367A (ja) * | 1996-10-18 | 1998-05-12 | Brother Ind Ltd | 画像データ処理装置及び刺繍データ処理装置 |
US6343158B1 (en) * | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
GB2332117A (en) * | 1997-11-28 | 1999-06-09 | Martin Audio Ltd | Multidriver horn loudspeaker and loudspeaker systems |
US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
US20020047933A1 (en) * | 1998-04-03 | 2002-04-25 | Paul Vlahos | Edge enhancement correction for improved image quality |
US6330371B1 (en) * | 1998-10-19 | 2001-12-11 | Raytheon Company | Adaptive non-uniformity compensation using feedforward shunting and min-mean filter |
US6788824B1 (en) * | 2000-09-29 | 2004-09-07 | Adobe Systems Incorporated | Creating image-sharpening profiles |
US7474337B1 (en) * | 2000-10-24 | 2009-01-06 | Sony Corporation | Method and apparatus to provide edge enhancements as part of a demosaicing process |
-
2001
- 2001-03-14 JP JP2001072904A patent/JP4443784B2/ja not_active Expired - Lifetime
- 2001-12-05 EP EP20010310198 patent/EP1213928B1/en not_active Expired - Lifetime
- 2001-12-06 US US10/003,113 patent/US7532762B2/en not_active Expired - Lifetime
- 2001-12-07 CN CNB011396946A patent/CN1180627C/zh not_active Expired - Lifetime
-
2009
- 2009-02-27 US US12/394,765 patent/US20090161972A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101341096B1 (ko) * | 2007-09-12 | 2013-12-13 | 삼성전기주식회사 | 영상 복원 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP4443784B2 (ja) | 2010-03-31 |
US7532762B2 (en) | 2009-05-12 |
CN1180627C (zh) | 2004-12-15 |
US20090161972A1 (en) | 2009-06-25 |
EP1213928A3 (en) | 2008-07-30 |
EP1213928B1 (en) | 2013-06-05 |
EP1213928A2 (en) | 2002-06-12 |
US20020102029A1 (en) | 2002-08-01 |
CN1358028A (zh) | 2002-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4443784B2 (ja) | 画像符号化・復号方法、画像符号化装置及び画像復号装置 | |
KR102287947B1 (ko) | 영상의 ai 부호화 및 ai 복호화 방법, 및 장치 | |
EP0635985B1 (en) | Improved decompression standard for ADCT-compressed document images | |
US8223837B2 (en) | Learning-based image compression | |
EP0482180B1 (en) | Block adaptive linear predictive coding with adaptive gain and bias | |
US6845180B2 (en) | Predicting ringing artifacts in digital images | |
US7013050B2 (en) | Image encoding apparatus and method, program code, and storage medium | |
US20070053429A1 (en) | Color video codec method and system | |
JPH06350989A (ja) | 画像データ圧縮処理方法 | |
JP2006502604A (ja) | 任意形状オブジェクトの画像圧縮方法 | |
JP3105335B2 (ja) | 画像の直交変換符号化による圧縮・伸張方法 | |
JP2009152968A (ja) | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 | |
JP2004528791A (ja) | インターフレーム符号化方法および装置 | |
JP2003188733A (ja) | 符号化方法及び装置 | |
JPH04144485A (ja) | 画像処理装置 | |
US20060147120A1 (en) | Image processing method for facilitating data transmission | |
Santos et al. | Contributions to lossless coding of medical images using minimum rate predictors | |
JPH0818957A (ja) | 条件付フィルタの自動閾値設定方法及びその復号方法 | |
JPH09307897A (ja) | 画像データ圧縮処理方法 | |
JPH10271497A (ja) | 画像処理装置 | |
JP2001177848A (ja) | 画像データ符号化方法、その装置、画像データ復号方法、その装置および画像圧縮伸長方法 | |
WO2021117082A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
JPH07240920A (ja) | ディジタル画像データの圧縮および伸張 | |
JP4494554B2 (ja) | 試験画像生成装置、試験画像生成方法及びパラメタ決定方法 | |
JP2891251B2 (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070222 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070406 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4443784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |