JP2002199401A - 画像符号化装置、画像復号化装置、電子カメラ、および記録媒体 - Google Patents
画像符号化装置、画像復号化装置、電子カメラ、および記録媒体Info
- Publication number
- JP2002199401A JP2002199401A JP2000390837A JP2000390837A JP2002199401A JP 2002199401 A JP2002199401 A JP 2002199401A JP 2000390837 A JP2000390837 A JP 2000390837A JP 2000390837 A JP2000390837 A JP 2000390837A JP 2002199401 A JP2002199401 A JP 2002199401A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- data
- expression
- mathematical expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Cameras In General (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
符号化に際して選択領域/非選択領域の区分をより少な
い処理負荷で行うことを目的とする。 【解決手段】 与えられた画像データを周波数分解して
変換係数に変換する変換手段と、変換手段により変換さ
れた変換係数を、「画像上の選択領域」および「それ以
外の非選択領域」に領域区分する区分手段と、選択領域
に対し非選択領域よりも優先的に情報量を割り当てて、
変換係数を符号化する符号化手段とを備え、区分手段
は、選択領域の境界を規定する数式データを式評価し、
その式評価結果に基づいて変換係数が選択領域に属する
か否かを区分する。
Description
化する画像符号化装置に関する。本発明は、画像圧縮フ
ァイルを復号化する画像復号化装置に関する。本発明
は、画像符号化装置を具備した電子カメラに関する。本
発明は、画像符号化プログラムおよびその記録媒体に関
する。本発明は、画像復号化プログラムおよびその記録
媒体に関する。
符号化アルゴリズムの委員会案(CD:Committee Draf
t)が作成され、核となる主要な技術内容が凍結され
た。以下、このJPEG2000の符号化処理について
概略説明する。
れ、複数のサブバンド(LL,LH,HL,HH)に帯
域分割される。この内、最低周波数域のLLバンドに
は、再帰的に離散ウェーブレット変換が繰り返し施され
る。
れる。なお、ロッシー/ロスレスの統一処理において
は、量子化ステップがとりあえず「1」に設定される。
この場合、ロッシー圧縮では、後工程において下位Nビ
ットプレーンの廃棄が行われる。この廃棄処理は、量子
化ステップ「2のN乗」と等価な処理となる。
固定サイズ(例えば64×64)の符号化ブロックに分
割する。各符号ブロック内の変換係数は、サインビット
と絶対値に分けられた後、絶対値は、自然2進数のビッ
トプレーンに振り分けられる。このように構築されたビ
ットプレーンは、上位ビットプレーンから順に、3通り
の符号化パス(Significance pass,Refinement pass,
Cleanuppass)を通して符号化される。なお、サインビ
ットについては、対応する絶対値の最上位ビットがビッ
トプレーンに現れた直後に符号化が行われる。
域の復号化画質を高める機能である。具体的には、選択
領域に位置する量子化後の変換係数をSビットシフトア
ップした上で、上述したビットモデリングを実施する。
その結果、選択領域は、上位ビットプレーンにシフトさ
れ、非選択領域のどのビットよりも優先的に符号化がな
される。なお、マックスシフト法では、ビットシフト数
Sを非選択領域の最上位ビットの桁数よりも大きく設定
する。そのため、選択領域の非ゼロの変換係数は、必ず
「2のS乗」以上の値をとる。そこで、復号化時は、
「2のS乗」以上の量子化値を選択的にシフトダウンす
ることにより、選択領域の変換係数を容易に再現する。
の重要度、空間解像度、ブロック位置、色成分)の組み
合わせに従って並べることで、SNRプログレッシブ、
空間解像度プログレッシブなどを実現する。例えば、S
NRプログレッシブの場合には、各符号化ブロックを符
号化パスごとに分割し、分割データをSNR向上の寄与
度の高い順に分類して、複数のレイヤーを構築する。こ
れらのレイヤーを上位から順に並べることにより、SN
Rプログレッシブのビットストリームが形成される。こ
のビットストリームを、適当なファイルサイズで打ち切
ることにより、固定長圧縮が実現する。
2000の画像圧縮ファイルが生成される。なお、最新
のJPEG2000については、JPEG委員会によっ
てインターネット公開された最終委員会案(http://ww
w.jpeg.org/fcd15444-1.zip)を参照することによっ
て、より正確に知ることができる。さらに、2001年
3月に予定される国際規格の承認後においては、ISO
やITU−Tその他の規格組織を通して、より詳細かつ
正確な国際規格を知ることができる。
000のパート1では、選択領域と非選択領域とを二分
するために、通常は、2値ビットマップのマスク画像を
使用して、選択領域/非選択領域の区分が行われる。こ
のマスク画像は、画像の縦横の画素数が増えるに従っ
て、データ量が増える。そのため、ROI処理系は、デ
ータ量の可変するマスク画像をバッファリングして扱わ
なければならず、ROI処理系のインプリメントが複雑
になるという問題点があった。また、画像の縦横の画素
数が変わるたびに、マスク画像を新しく作成しなければ
ならず、そのための処理負担も多かった。さらに、マス
ク画像はデータ量が大きいため、ROI処理系へのマス
ク画像の転送負荷や、マスク画像をデータ保持する負荷
も多かった。また、ウェーブレット変換では、変換係数
の縦横のサンプル数が、サブバンド分割領域ごとに変化
する。そのため、各サブバンド分割領域に合わせて、マ
スク画像を拡大縮小しなければならず、解像度変換の演
算負荷も多かった。
て、選択領域/非選択領域の区分をより少ない処理負荷
で行うことを目的とする。また、本発明の他の目的は、
画像の符号化に際して画像に適応して、選択領域を決定
することである。また、本発明の他の目的は、画像の復
号化に際して、選択領域/非選択領域の区分をより少な
い処理負荷で行うことである。
ため、各請求項の発明は、下記のように構成される。
装置は、与えられた画像データを周波数分解して変換係
数に変換する変換手段と、変換手段により変換された変
換係数を、「画像上の選択領域」および「それ以外の非
選択領域」に領域区分する区分手段と、選択領域に対し
非選択領域よりも優先的に情報量を割り当てて、変換係
数を符号化する符号化手段とを備え、区分手段は、選択
領域の境界を規定する数式データを式評価し、その式評
価結果に基づいて変換係数が選択領域に属するか否かを
区分する。
求項1に記載の画像符号化装置において、区分手段は、
画像データに対してエッジ検出を行い、エッジ検出結果
に基づいて輪郭線を決定し、輪郭線を近似表現する数式
データを作成する数式作成手段と、数式作成手段により
作成された数式データを式評価し、その式評価結果に基
づいて変換係数が選択領域に属するか否かを判定する式
評価手段とを備える。
求項1に記載の画像符号化装置において、区分手段は、
画像データに対して色境界の検出を行い、色境界の検出
結果に基づいて輪郭線を決定し、輪郭線を近似表現する
数式データを作成する数式作成手段と、数式作成手段に
より作成された数式データを式評価し、その式評価結果
に基づいて変換係数が選択領域に属するか否かを判定す
る式評価手段とを備える。
求項1に記載の画像符号化装置において、区分手段は、
画像データに対して空間周波数成分の検出を行い、空間
周波数成分の検出結果に基づいて輪郭線を決定し、輪郭
線を近似表現する数式データを作成する数式作成手段
と、数式作成手段により作成された数式データを式評価
し、その式評価結果に基づいて変換係数が選択領域に属
するか否かを判定する式評価手段とを備える。
求項1ないし請求項4のいずれか1項に記載の画像符号
化装置において、符号化手段は、符号化された変換係数
と、区分手段で使用した数式データとを併せて画像圧縮
ファイルを形成する。
装置は、請求項5に記載の画像符号化装置により形成さ
れた画像圧縮ファイルを復号化する画像復号化装置であ
って、画像圧縮ファイルから符号化された変換係数を読
み出して復号化する復号化手段と、画像圧縮ファイルか
ら数式データを読み出して式評価し、その式評価結果に
基づいて、復号化手段により復号化された変換係数が選
択領域に属するか否かを判定する再区分手段と、再区分
手段の区分に従って、選択領域における変換係数の表現
形式と、非選択領域における変換係数の表現形式とを揃
える調整手段と、調整手段により表現形式を揃えた変換
係数をサブバンド成分として、画像データに逆変換する
逆変換手段とを備える。
は、請求項1ないし請求項5のいずれか1項に記載の画
像符号化装置と、被写体を撮像して画像データを生成
し、生成した画像データを画像符号化装置に与える撮像
手段とを備える。
は、コンピュータを、請求項1ないし請求項5のいずれ
か1項に記載の変換手段、区分手段、および符号化手段
として機能させるための画像符号化プログラムが記録さ
れる。
は、コンピュータを、請求項6に記載の復号化手段、再
区分手段、調整手段、および逆変換手段として機能させ
るための画像復号化プログラムが記録される。
〜7に記載の発明にかかる実施形態を説明する。
成]図1は、本実施形態における電子カメラ1および画
像符号化装置11の構成を示すブロック図である。図1
において、電子カメラ1には、撮影レンズ2が装着され
る。この撮影レンズ2の像空間には、撮像素子3の受光
面が配置される。撮像素子3で生成された画像データ
は、画像処理回路4を介してA/D変換および色補間処
理などを施された後、画像符号化装置11に与えられ
る。この画像符号化装置11から出力される画像圧縮フ
ァイルは、記録部5に与えられる。記録部5は、この画
像圧縮ファイルをメモリカード6に記録する。
構成について説明する。画像符号化装置11に入力され
た画像データは、色変換部12、ウェーブレット変換部
13、量子化部14、ビットモデリング部15、算術符
号化部16、およびビットストリーム生成部17を介し
て、画像圧縮ファイルに変換される。さらに、画像符号
化装置11には、数式作成部18、式評価部19、およ
び数式格納部20が設けられる。この数式作成部18に
は、画像データ、ウェーブレット変換係数およびフォー
カスエリアなどが入力される。式評価部19は、数式作
成部18または数式格納部20から数式データを取得
し、数式データの式評価を行う。ビットモデリング部1
5は、式評価部19の式評価結果に従って、選択領域の
ビットシフト処理を実行する。なお、式評価部19は、
マックスシフト法以外の場合、選択領域の指定に使用し
た数式データを、ビットストリーム生成部17に与え
る。
画像符号化装置11で作成された画像圧縮ファイルを復
号化するための画像復号化装置の構成について説明す
る。図2は、画像復号化装置21のブロック図である。
図2において、画像復号化装置21に入力された画像圧
縮ファイルは、算術復号化部22、ビットモデリング復
号化部23、逆量子化部24、および逆ウェーブレット
変換部26を順に介して、復号化画像データに変換され
る。さらに、画像復号化装置21には、式評価部27が
設けられる。この式評価部27は、画像圧縮ファイル内
に数式データが存在する場合、この数式データを取得し
て式評価を行う。ビットモデリング復号化部23は、こ
の式評価結果に従って、選択領域の抽出およびシフトダ
ウン処理を行う。
関係について説明する。
応関係については、変換手段は色変換部12およびウェ
ーブレット変換部13に対応し、区分手段は式評価部1
9,数式作成部18およびビットモデリング部15の
「数式データに基づいて変換係数を選択領域/非選択領
域に区分する機能」に対応し、符号化手段はビットモデ
リング部15,算術符号化部16およびビットストリー
ム生成部17に対応する。
応関係については、数式作成手段は数式作成部18に対
応し、式評価手段は式評価部19に対応する。
係については、復号化手段は算術復号化部22およびビ
ットモデリング復号化部23に対応し、再区分手段は式
評価部27およびビットモデリング復号化部23の「数
式データに基づいて復号化変換係数を選択領域/非選択
領域に区分する機能」に対応し、調整手段はビットモデ
リング復号化部23の「選択領域をシフトダウンし、非
選択領域のビット表現と揃える機能」に対応し、逆変換
手段は逆ウェーブレット変換部26に対応する。
係については、画像符号化装置は画像符号化装置11に
対応し、撮像手段は撮像素子3および画像処理回路4に
対応する。
よび図4は、画像符号化装置11の動作を説明する流れ
図である。以下、図3に示すステップ番号に沿って、動
作説明を行う。
れた画像データに対して、必要に応じて色座標変換を施
し、YCbCrなどの色成分に変換する。
3は、色変換部12から出力される画像データに対し
て、ウェーブレット変換によるサブバンド分解を施し、
サブバンド分割領域ごとの変換係数に変換する。
応じて、変換係数を量子化する。
メラ1が内部メモリ(不図示)上に保有するユーザー設
定項目を参照し、ROI符号化のモード設定を判別す
る。ここで、数式作成モードが選択されていた場合、式
評価部19は、図4に示すステップS21に動作を移行
する。一方、数式選択モードが選択されていた場合、式
評価部19はステップS5に動作を移行する。
メラ1のユーザー設定項目を参照して、ユーザー指定さ
れた選択領域の形状に該当する数式データを、数式格納
部20から読み出す。
ンド画像の行単位に数式データの式評価を行い、選択領
域の左端および右端を行単位にビットモデリング部15
に伝達する。以下、代表的な数式データについて具体的
に説明する。 (A)中心(a,b)および半径rの円の場合 選択領域の存在する行y : b−r≦y≦b+r 行yにおける左端Xleft : Xleft =a−√(r2−
(y−b)2) 行yにおける右端Xright: Xright=a+√(r2−
(y−b)2) (B)左上頂点(x1,y1)および右下頂点(x2,
y2)の矩形の場合 選択領域の存在する行y : y1≦y≦y2 行yにおける左端Xleft : Xleft =x1 行yにおける右端Xright: Xright=x2 (C)中心(a,b),行方向の径r1,および列方向
の径r2の楕円の場合 選択領域の存在する行y : b−r2≦y≦b+r2 行yにおける左端Xleft : Xleft =a-r1・√(1-(y-
b)2/r22) 行yにおける右端Xright: Xright=a+r1・√(1-(y-
b)2/r22)
は、変換係数を、サインビットと絶対値に分けた後、絶
対値を自然2進数のビットプレーンに振り分ける。ここ
で、ビットモデリング部15は、式評価部19から選択
領域の左端および右端を行単位に取得する。ビットモデ
リング部15は、この左端および右端を、各サブバンド
分割領域の縦横のサンプル数に合わせて座標変換(縮小
または拡大)する。図5は、各サブバンド分割領域にお
ける3点(xa,ya),(xb,yb),(xc,y
c)について、座標変換の様子を示したものである。ビ
ットモデリング部15は、各サブバンド分割領域におい
て、行単位に左端から右端までの変換係数を抽出し、そ
の変換係数をROI符号化のシフトビット数Sだけシフ
トアップする。
は、このように構築されたビットプレーンを、上位ビッ
トプレーンから順に、3通りの符号化パス(Significan
ce pass,Refinement pass,Cleanup pass)を通してエ
ントロピー符号化する。なお、サインビットについて
は、対応する絶対値の最上位ビットがビットプレーンに
現れた直後に符号化が行われる。
述したエントロピー符号化を終えたデータを取り込み、
算術符号化を施す。
部17は、算術符号化後のデータを4つの軸(ビットプ
レーンの重要度、空間解像度、ブロック位置、色成分)
に従って並べ替え、SNRプログレッシブ、空間解像度
プログレッシブなどを実現する。例えば、SNRプログ
レッシブの場合、ビットストリーム生成部17は、デー
タをSNR向上の寄与度の高い順に分類して、複数のレ
イヤーを構築する。ビットストリーム生成部17は、こ
れらのレイヤーを上位から順に並べ替えることにより、
SNRプログレッシブのビットストリームを形成する。
ビットストリーム生成部17は、このビットストリーム
を適当なファイルサイズで打ち切ることにより、固定長
圧縮された画像圧縮ファイルを完成する。
部17は、マックスシフト方式のROI符号化が行われ
たか否かを判定する。ここで、マックスシフト方式の場
合、ビットストリーム生成部17は、ステップS12に
動作を移行する。一方、マックスシフト方式以外の場
合、ビットストリーム生成部17はステップS13に動
作を移行する。
ROI符号化なので、選択領域を記述した数式データは
復号化時に不要である。そこで、ビットストリーム生成
部17は、シフトビット数Sのみを画像圧縮ファイルの
ヘッダ情報に収める。
外のROI符号化なので、選択領域を記述した数式デー
タが復号化時に必要となる。そこで、ビットストリーム
生成部17は、式評価部19から数式データを文字列デ
ータとして取得し、この数式データを、シフトビット数
Sと併せて、画像圧縮ファイルのヘッダ情報に収める。
縮ファイルが完成する。続いて、図4に示すステップ番
号に沿って、数式作成モードが選択された場合の動作に
ついて説明する。
子カメラ1のユーザー設定項目を参照し、数式作成のモ
ード設定を判別する。ここで、エッジ検出モードが設定
されていた場合、数式作成部18はステップS22に動
作を移行する。また、色境界検出モードが設定されてい
た場合、数式作成部18はステップS23に動作を移行
する。一方、空間周波数検出モードが設定されていた場
合、数式作成部18はステップS24に動作を移行す
る。
像データに対してラブラシアンオペレータなどの局所積
和演算を施し、エッジ部を抽出した処理画像を生成す
る。このような処理画像の生成後、数式作成部18は、
ステップS25に動作を移行する。
像データの色成分を比較して色境界を抽出し、色境界か
らなる処理画像を生成する。このような処理画像の生成
後、数式作成部18は、ステップS25に動作を移行す
る。
域のサブバンド分割領域に対して画素単位に太線化処理
を施して隙間を埋め、高域成分の集中領域をいくつかに
まとめる。数式作成部18は、この画像に、ラブラシア
ンオペレータなどの局所積和演算を施し、高域成分集中
領域のエッジ部からなる処理画像を生成する。このよう
な処理画像の生成後、数式作成部18は、ステップS2
5に動作を移行する。
テップS22〜S24のいずれかで生成された処理画像
を絶対値化した後、ノイズ耐性を考慮した適当な閾値で
2値化して2値化画像を生成する。
値化画像に対して細線化処理を施し、境界線の線幅を
「1」とする。
値化画像に対してスムージング処理を施す。以下、図6
および図7を参照しながら、このスムージング処理の具
体的な処理手順を説明する。
像から線幅1の点の連なりを検出し、縦横斜め8方向の
チェインコードでメモリ上に表現する。さらに、数式作
成部18は、チェインコードの中から同一方向に連続す
るコードを検索し、その連続するコードをまとめて一つ
のベクトルコードに置き換える。このような処理によ
り、2値化画像のベクトル化が完了する。
ベクトルコードについて、ベクトル長の総和を求める。
このとき、ベクトル長の総和が所定値(例えば100)
以下の場合、その連続するベクトルコードを削除する。
この処理により、短いベクトルコードが除去される。
ベクトルコードの中から、長さ1ドットのベクトルが直
交している箇所を検索し、直交しているベクトルを合成
する。この処理により、1ドット分の線の凹凸が除去さ
れる。
ベクトルコードの中から、ベクトル方向が逆行する箇所
を検索する。この逆行しているベクトルの重複している
長さが所定値(例えば10)以下の場合、逆行するベク
トルを合成する。この処理により、不要なヒゲ状の線が
除去される。
ベクトルコードの中から、1ドット間隔だけ平行にずれ
たベクトル(図7中のV3)を検索する。このベクトル
V3の長さと、平行するベクトル(図7中のV1,V
5)の長さとを比較し、ベクトルV3の長さが短い場
合、ベクトルV1,V5を直に連結し、中間のベクトル
(図7中のV2,V3,V4)を除去する。この処理に
より、1ドット間隔だけ平行にずれた直線部分を整形す
ることができる。なお、これらの処理を複数回繰り返す
ことにより、2値化画像のスムージング処理を更に強く
施してもよい。
子カメラ1側から画像データの撮影時に使用したフォー
カスエリアの位置情報を取得する。数式作成部18は、
ベクトルコードの中から、このフォーカスエリアを中心
に、周囲に向かってベクトルコードを検索する。数式作
成部18は、検索したベクトルコードを順に辿り、閉領
域を形成するベクトルコード群を探索する。この閉領域
の探索に当たっては、所定間隔以下に近接するベクトル
コードを連結したものと扱う。また、辿っているベクト
ルコードが上下左右の画像枠に交わった場合には、その
画像枠をベクトルコードの一部と見なす。
領域を構成するベクトルコード群について、切れ目の連
結を行う。
結された閉領域の境界線を左端側/右端側に区間分けす
る。図8は、このような閉領域の境界の区間分けルール
を示すものである。以下、図8を参照しながら、この区
間分けルールを説明する。
点X1が最初に現れた場合、新しい選択領域の開始行と
考えられる。そこで、数式作成部18は、この箇所X1
を左端側/右端側それぞれの境界線の出発点とする。
行内に左端X2,右端X3が最初に現れた場合、新しい
選択領域の開始行と考えられる。そこで、数式作成部1
8は、X2を左端側の境界線の出発点とし、X3を右端
側の境界線の出発点とする。
点X4で終わっている場合、選択領域の終了行と考えら
れる。そこで、数式作成部18は、この箇所X1を左端
側/右端側それぞれの境界線の終了点とする。
左端X5,右端X6で終わっている場合、選択領域の終
了行と考えられる。そこで、数式作成部18は、X5を
左端側の境界線の終了点とし、X6を右端側の境界線の
終了点とする。
0から中継点X9へ非連続に左にずれている場合、非連
続点なので境界線を区間分けすることが好ましい。そこ
で、数式作成部18は、1行上の左端X7を左端側の境
界線の終了点とし、左端X7と同一行の右端X8を右端
側の境界線の終了点とする。さらに、左端X9を新しい
左端側の境界線の出発点とし、左端X9と同一行の右端
X11を、新しい右端側の境界線の出発点とする。
2から中継点X13へ非連続に右にずれている場合、非
連続点なので境界線を区間分けすることが好ましい。そ
こで、数式作成部18は、左端X12を左端側の境界線
の終了点とし、左端X12と同一行の右端X14を右端
側の境界線の終了点とする。さらに、1行下の左端X1
5を新しい左端側の境界線の出発点とし、左端X15と
同一行の右端X16を、新しい右端側の境界線の出発点
とする。
0から中継点X21へ非連続に右にずれている場合、非
連続点なので境界線を区間分けすることが好ましい。そ
こで、数式作成部18は、1行上の右端X18を右端側
の境界線の終了点とし、右端X18と同一行の左端X1
7を左端側の境界線の終了点とする。さらに、右端X2
1を新しい右端側の境界線の出発点とし、右端X21と
同一行の左端X19を、新しい左端側の境界線の出発点
とする。
4から中継点X23へ非連続に左にずれている場合、非
連続点なので境界線を区間分けすることが好ましい。そ
こで、数式作成部18は、右端X24を右端側の境界線
の終了点とし、右端X24と同一行の左端X22を左端
側の境界線の終了点とする。さらに、1行下の右端X2
6を新しい右端側の境界線の出発点とし、右端X26と
同一行の左端X25を、新しい右端側の境界線の出発点
とする。
に、左端および右端の境界線が上の行と連続している場
合、数式作成部18は、境界線を区間分けしない。図9
Aは、上記ルールに従って区間分けされた境界線の一例
を示す図である。図9Aに示すように閉領域が凹部を有
する場合、同一行内に3本以上の境界線が存在する。そ
こで、数式作成部18は、この境界線のペアを左(また
は右)側から順に判断し、新しいペアが発生する行に対
して区間点(図9Bに示すQ6,R6,Q3,R3)を
追加する。
記のように区間分けされた境界線を折れ線関数、ベジェ
関数、スプライン関数,多次関数などで関数近似し、左
端側および右端側をペアにした数式データを完成する。
なお、この関数近似に当たっては、近似精度が低下しな
いように境界線を更に区間分けすることが好ましい。こ
のような数式データの完成後、数式作成部18は、上述
したステップS6に動作を戻す。その結果、画像データ
に応じて新規に作成された数式データに基づいて、RO
I符号化が行われる。
は、本実施形態における画像復号化装置21の動作を説
明する流れ図である。以下、図10に示すステップ番号
に沿って、画像復号化装置21の動作を説明する。
与えられた符号化データに対して算術復号化を施す。
化部23は、算術復号化された符号化データに対してビ
ットプレーンを単位としたエントロピー復号化を施し、
復号化変換係数を求める。
化部23は、画像圧縮ファイル内に数式データが存在す
るか否かを判断する。ここで数式データが存在しない場
合、ビットモデリング復号化部23は、ステップS44
に動作を移行する。一方、数式データが存在した場合、
ビットモデリング復号化部23はステップS45に動作
を移行する。
化部23は、数式データが存在しないのでマックスシフ
ト法によるROI符号化であると判断し、画像圧縮ファ
イル内からシフトビット数Sを取得する。ビットモデリ
ング復号化部23は、このシフトビット数Sよりも上位
プレーンの係数については、ROI符号化の選択領域で
あると判断してシフトビット数Sだけシフトダウンを行
う。このような処理によって選択領域/非選択領域のビ
ット表現を揃えた後、ビットモデリング復号化部23
は、ステップS48に動作を移行する。
圧縮ファイル内から数式データを読み出す。
データについて式評価を行い、選択領域の左端および右
端を行単位にビットモデリング復号化部23に伝達す
る。
化部23は、この左端および右端に基づいて選択領域を
抽出し、選択領域のビットプレーン(復号化変換係数)
をシフトビット数Sだけシフトダウンする。
号化時の量子化ステップサイズを復号化変換係数に乗じ
て、逆量子化処理を行う。なお、符号化時の量子化ステ
ップサイズが『1』の場合、逆量子化部24は、この逆
量子化処理を省く。
部26は、逆量子化部24で処理された復号化変換係数
を取得する。逆ウェーブレット変換部26は、この復号
化変換係数を逆ウェーブレット変換(サブバンド合成)
して、復号化画像データに変換する。上述したような一
連の動作により、復号化画像データが完成する。
は、数式データを使用して、選択領域の区分を行う。こ
のような数式データのデータ量は、扱う画像データの縦
横画素数が増えても変化しない。したがって、式評価部
19では、データ量が略一定な式データを扱えばよく、
データ量の変化するマスク画像をバッファリングして扱
う従来例に比べて、ROI処理系のインプリメントを単
純化することができる。
像に比べて極めて小さい。したがって、マスク画像を扱
う従来例に比べて、ROI処理系におけるデータ保持の
負荷を小さくすることができる。また、数式格納部20
から式評価部19への数式データの転送負荷を小さくす
ることもできる。
り、数式データを複数のサブバンド分割領域に迅速に適
用することができる。
の鮮明な主要被写体を見つけ出して、その主要被写体の
エッジに沿って、選択領域を適切に設定できる。
界の鮮明な主要被写体を見つけ出して、その色境界に沿
って、選択領域を適切に設定できる。
特異な領域を見つけ出し、その領域の境界線に沿って、
選択領域を適切に設定できる。
た数式データを、画像圧縮ファイルに含める。この数式
データは、マスク画像に比べて一般にデータ量が少な
い。したがって、マスク画像を画像圧縮ファイルに含め
る場合に比べ、ファイル容量を確実に削減することがで
きる。さらに、復号化時には、画像圧縮ファイル内の数
式データを使用することにより、選択領域/非選択領域
の区分を符号化時と同じ条件で正確に行うことが可能に
なる。
施形態では、左端および右端の境界線を表す等式を使用
して選択領域の判定を行っている。したがって、行単位
に選択領域の左端および右端を迅速に決定できるという
利点を有する。しかしながら、本発明はこれに限定され
るものではない。例えば、選択領域の境界を規定する不
等式データを使用してもよい。この場合、不等式データ
に画素位置を代入して不等号が成り立つか否かを式評価
することにより、その画素位置の変換係数が選択領域に
属するか否かを区分することができる。
装置11および画像復号化装置21を複数の処理部によ
りブロック構成する場合について説明した。しかしなが
ら、本発明はこれに限定されるものではない。例えば、
コンピュータに、上述した各処理部の動作(例えば、図
3,図4,図10の流れ図)を実行させるための画像符
号化プログラムや画像復号化プログラムを作成してもよ
い。これらのプログラムを記録媒体に記録することによ
り、請求項8および請求項9の記録媒体を得ることがで
きる。
ムやその記録媒体に関する発明の実施行為が限定される
ものではない。例えば、通信回線を介してプログラムを
配送し、相手先のコンピュータのシステムメモリやハー
ドディスクなどにプログラムを記録してもよい。このよ
うなプログラム配送によって、プログラムの配送元は、
プログラムやその記録媒体を、相手先の地に製造するこ
とができる。また、このようなプログラム配送により、
配送元はプログラムやその記録媒体を相手先に譲渡する
ことができる。さらに、プログラムが配送可能であるこ
とを通信回線を介して公表したり、プログラム格納場所
の情報を提供するサービスを行うこともできる。
領域の境界を規定する数式データを式評価して、変換係
数が選択領域に属するか否かを区分する。そのため、次
のような長所が得られる。 数式データのデータ量は、画像の縦横画素数が増えて
も変化しない。したがって、ROI処理系では、データ
量が略一定な数式データを扱えばよく、データ量の変化
するマスク画像をバッファリングして扱う従来例に比べ
て、ROI処理系のインプリメントを単純化することが
できる。 縦横の画素数の異なる画像に対しても、簡単な座標変
換を施すことで数式データを迅速に流用できる。そのた
め、従来例に比べて、画像の縦横の画素数が変わるたび
にマスク画像を作成するなどの手間がなく、その分の処
理負担も軽くできる。 数式データのデータ量は、マスク画像に比べて一般に
小さい。したがって、マスク画像を扱う従来例に比べ
て、ROI処理系におけるデータ保持の負荷を小さくす
ることができる。また、ROI処理系へのデータ転送の
負荷も小さくすることができる。 簡単な座標変換を施すことで、数式データを複数のサ
ブバンド分割領域に適用することができる。したがっ
て、本発明では、従来例のようなマスク画像をサンプル
数に合わせて解像度変換する手間が生じない。これら長
所の相乗作用により、本発明では、画像の符号化に際し
て、選択領域/非選択領域の区分の処理負荷を適切に軽
減することが可能になる。
画像のエッジ検出に基づいて数式データを作成する。し
たがって、画像内からエッジの鮮明な主要被写体を見つ
け出して、その主要被写体のエッジに沿う形で、選択領
域を適切に設定することが可能になる。
画像の色境界の検出に基づいて数式データを作成する。
したがって、画像内から色境界の明確な主要被写体を見
つけ出して、その主要被写体の色境界線に沿う形で、選
択領域を適切に設定することが可能になる。
画像の空間周波数成分の検出に基づいて数式データを作
成する。したがって、画像内から空間周波数成分の異質
な主要被写体を見つけ出して、その主要被写体に沿う形
で、選択領域を適切に設定することが可能になる。
号化装置側では、区分手段で使用した数式データを、画
像圧縮ファイルに含める。この数式データは、マスク画
像に比べて一般にデータ量が少ない。したがって、マス
ク画像を画像圧縮ファイルに含める場合に比べて、画像
圧縮ファイルの容量を削減することができる。一方、請
求項6に記載の画像復号化装置側では、ファイル内の数
式データを使用して選択領域/非選択領域の区分を行
う。この場合、画像符号化装置側と同じ条件で選択領域
の区分を正確に行うことが可能になる。
は、請求項1ないし請求項5のいずれか1項に記載の画
像符号化装置を具備する。したがって、画像の符号化に
際して、選択領域/非選択領域の区分の処理時間を適切
に軽減することが可能になる。その結果、電子カメラ内
の画像処理時間を従来よりも短縮することが可能にな
り、より使い勝手の良い電子カメラを実現することが可
能になる。
プログラムをコンピュータで実行することにより、請求
項1〜5のいずれか1項に記載の画像符号化装置を実現
することができる。
プログラムをコンピュータで実行することにより、請求
項6に記載の画像復号化装置を実現することができる。
を示すブロック図である。
(1/2)である。
(2/2)である。
を示した図である。
2)である。
2)である。
である。
Claims (9)
- 【請求項1】 与えられた画像データを周波数分解して
変換係数に変換する変換手段と、 前記変換手段により変換された前記変換係数を、「前記
画像上の選択領域」および「それ以外の非選択領域」に
領域区分する区分手段と、 前記選択領域に対し前記非選択領域よりも優先的に情報
量を割り当てて、前記変換係数を符号化する符号化手段
とを備え、 前記区分手段は、前記選択領域の境界を規定する数式デ
ータを式評価し、その式評価結果に基づいて前記変換係
数が前記選択領域に属するか否かを区分することを特徴
とする画像符号化装置。 - 【請求項2】 請求項1に記載の画像符号化装置におい
て、 前記区分手段は、 前記画像データに対してエッジ検出を行い、エッジ検出
結果に基づいて輪郭線を決定し、前記輪郭線を近似表現
する数式データを作成する数式作成手段と、 前記数式作成手段により作成された前記数式データを式
評価し、その式評価結果に基づいて前記変換係数が前記
選択領域に属するか否かを判定する式評価手段とを備え
たことを特徴とする画像符号化装置。 - 【請求項3】 請求項1に記載の画像符号化装置におい
て、 前記区分手段は、 前記画像データに対して色境界の検出を行い、色境界の
検出結果に基づいて輪郭線を決定し、前記輪郭線を近似
表現する数式データを作成する数式作成手段と、 前記数式作成手段により作成された前記数式データを式
評価し、その式評価結果に基づいて前記変換係数が前記
選択領域に属するか否かを判定する式評価手段とを備え
たことを特徴とする画像符号化装置。 - 【請求項4】 請求項1に記載の画像符号化装置におい
て、 前記区分手段は、 前記画像データに対して空間周波数成分の検出を行い、
空間周波数成分の検出結果に基づいて輪郭線を決定し、
前記輪郭線を近似表現する数式データを作成する数式作
成手段と、 前記数式作成手段により作成された前記数式データを式
評価し、その式評価結果に基づいて前記変換係数が前記
選択領域に属するか否かを判定する式評価手段とを備え
たことを特徴とする画像符号化装置。 - 【請求項5】 請求項1ないし請求項4のいずれか1項
に記載の画像符号化装置において、 前記符号化手段は、符号化された変換係数と、前記区分
手段で使用した前記数式データとを併せて画像圧縮ファ
イルを形成することを特徴とする画像符号化装置。 - 【請求項6】 請求項5に記載の画像符号化装置により
形成された画像圧縮ファイルを復号化する画像復号化装
置であって、 前記画像圧縮ファイルから符号化された変換係数を読み
出して復号化する復号化手段と、 前記画像圧縮ファイルから数式データを読み出して式評
価し、その式評価結果に基づいて、前記復号化手段によ
り復号化された変換係数が選択領域に属するか否かを判
定する再区分手段と、 前記再区分手段の区分に従って、前記選択領域における
変換係数の表現形式と、前記非選択領域における変換係
数の表現形式とを揃える調整手段と、 前記調整手段により表現形式を揃えた変換係数をサブバ
ンド成分として、画像データに逆変換する逆変換手段と
を備えたことを特徴とする画像復号化装置。 - 【請求項7】 請求項1ないし請求項5のいずれか1項
に記載の画像符号化装置と、 被写体を撮像して画像データを生成し、生成した画像デ
ータを前記画像符号化装置に与える撮像手段とを備えた
ことを特徴とする電子カメラ。 - 【請求項8】 コンピュータを、請求項1ないし請求項
5のいずれか1項に記載の前記変換手段、前記区分手
段、および前記符号化手段として機能させるための画像
符号化プログラムを記録したことを特徴とする機械読み
取り可能な記録媒体。 - 【請求項9】 コンピュータを、請求項6に記載の前記
復号化手段、前記再区分手段、前記調整手段、および前
記逆変換手段として機能させるための画像復号化プログ
ラムを記録したことを特徴とする機械読み取り可能な記
録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000390837A JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
US10/024,279 US6891975B2 (en) | 2000-12-22 | 2001-12-21 | Image encoding device, image decoding device, electronic camera and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000390837A JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002199401A true JP2002199401A (ja) | 2002-07-12 |
JP4517504B2 JP4517504B2 (ja) | 2010-08-04 |
Family
ID=18857125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000390837A Expired - Lifetime JP4517504B2 (ja) | 2000-12-22 | 2000-12-22 | 画像符号化装置、電子カメラおよび記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6891975B2 (ja) |
JP (1) | JP4517504B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072655A (ja) * | 2002-08-09 | 2004-03-04 | Ricoh Co Ltd | Roi領域設定装置、電子カメラ装置、roi領域設定方法、プログラム、記録媒体 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3858528B2 (ja) * | 1999-08-17 | 2006-12-13 | 株式会社ニコン | 電子カメラ、および画像処理プログラムを記録した記録媒体 |
US7194128B1 (en) * | 2000-07-26 | 2007-03-20 | Lockheed Martin Corporation | Data compression using principal components transformation |
JP2011217347A (ja) * | 2010-03-16 | 2011-10-27 | Sony Corp | 画像符号化装置とその方法、画像復号化装置とその方法、およびプログラム |
JP2014060543A (ja) * | 2012-09-14 | 2014-04-03 | Sony Corp | エンコード装置、デコード装置およびスイッチャ装置 |
JP2015088910A (ja) * | 2013-10-30 | 2015-05-07 | 株式会社沖データ | 画像処理装置 |
US10311752B2 (en) | 2017-02-03 | 2019-06-04 | Honeywell International Inc. | Compressed edge map representation for image aided navigation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6387090A (ja) * | 1986-09-30 | 1988-04-18 | Yokogawa Medical Syst Ltd | 画像情報の圧縮伸張方法 |
JPH06141191A (ja) * | 1992-10-23 | 1994-05-20 | Canon Inc | 画像処理装置 |
JPH07222048A (ja) * | 1994-02-02 | 1995-08-18 | Hitachi Ltd | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05167998A (ja) * | 1991-12-16 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像の符号化制御処理方法 |
US5802213A (en) * | 1994-10-18 | 1998-09-01 | Intel Corporation | Encoding video signals using local quantization levels |
US5835149A (en) * | 1995-06-06 | 1998-11-10 | Intel Corporation | Bit allocation in a coded video sequence |
JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
JP3929492B2 (ja) * | 1995-10-25 | 2007-06-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム |
JPH10177652A (ja) | 1996-12-18 | 1998-06-30 | Hitachi Medical Corp | 領域認識方法 |
JP3915272B2 (ja) * | 1998-10-06 | 2007-05-16 | 株式会社ニコン | 量子化方法,および量子化プログラムを記録した記録媒体 |
US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
-
2000
- 2000-12-22 JP JP2000390837A patent/JP4517504B2/ja not_active Expired - Lifetime
-
2001
- 2001-12-21 US US10/024,279 patent/US6891975B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6387090A (ja) * | 1986-09-30 | 1988-04-18 | Yokogawa Medical Syst Ltd | 画像情報の圧縮伸張方法 |
JPH06141191A (ja) * | 1992-10-23 | 1994-05-20 | Canon Inc | 画像処理装置 |
JPH07222048A (ja) * | 1994-02-02 | 1995-08-18 | Hitachi Ltd | 撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072655A (ja) * | 2002-08-09 | 2004-03-04 | Ricoh Co Ltd | Roi領域設定装置、電子カメラ装置、roi領域設定方法、プログラム、記録媒体 |
US8115821B2 (en) | 2002-08-09 | 2012-02-14 | Ricoh Company, Ltd. | Method and apparatus for setting a region of interest in image data |
Also Published As
Publication number | Publication date |
---|---|
JP4517504B2 (ja) | 2010-08-04 |
US6891975B2 (en) | 2005-05-10 |
US20020081036A1 (en) | 2002-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6476805B1 (en) | Techniques for spatial displacement estimation and multi-resolution operations on light fields | |
Walker et al. | Wavelet-based image compression | |
US6847735B2 (en) | Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium | |
US6879727B2 (en) | Decoding bit-plane-encoded data using different image quality for display | |
JP3989362B2 (ja) | ヘッダ情報に基づく画像処理方法 | |
Valsesia et al. | High-throughput onboard hyperspectral image compression with ground-based CNN reconstruction | |
JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
US7574063B2 (en) | Image coding method and apparatus | |
US7162095B2 (en) | Method of automatically determining the region of interest from an image | |
JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
JP2004505520A (ja) | ウェーブレット分解を用いたビデオ符号化方法 | |
US20020063707A1 (en) | Forming method for structuring polygonal mesh data and apparatus, and storage medium | |
JP2002199401A (ja) | 画像符号化装置、画像復号化装置、電子カメラ、および記録媒体 | |
Kopylov et al. | Compression of map images by multilayer context tree modeling | |
JP3955909B2 (ja) | 画像信号処理装置及びその方法 | |
US20040151389A1 (en) | Image encoding/decoding method, apparatus thereof and recording medium in which program therefor is recorded | |
Hussin et al. | A comparative study on improvement of image compression method using hybrid DCT-DWT techniques with huffman encoding for wireless sensor network application | |
Kamisli | Learned lossless image compression through interpolation with low complexity | |
JP4083670B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JP2004289284A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
KR20020055864A (ko) | 칼라 정지영상의 부호화 및 복호화 방법 | |
JP4697111B2 (ja) | 画像比較装置および方法、並びに、画像検索装置および方法 | |
Subramanyan et al. | Entropy Based Model For Lossy Image Compression Scheme Using Wavelets, Svd, And Two-Channel Coding Techniques | |
Cai et al. | Lossless image compression with tree coding of magnitude levels | |
JP4743884B2 (ja) | 画像符号化装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4517504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |