JP2004166255A - 画像符号化方法 - Google Patents
画像符号化方法 Download PDFInfo
- Publication number
- JP2004166255A JP2004166255A JP2003353359A JP2003353359A JP2004166255A JP 2004166255 A JP2004166255 A JP 2004166255A JP 2003353359 A JP2003353359 A JP 2003353359A JP 2003353359 A JP2003353359 A JP 2003353359A JP 2004166255 A JP2004166255 A JP 2004166255A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- frame
- sampling
- progressive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 画像符号化装置は、第1のサンプリングレートで入力されるプログレッシブ画像信号101を、テレシネ変換情報106がテレシネ画像を示している時には、テレシネ変換情報106のフレーム繰返し信号に応じて第2のサンプリングレートに変換し、一方、テレシネ変換情報106が非テレシネ画像を示している時には、第3のサンプリングレートに変換して、プログレッシブ画像信号103を出力するサンプリング変換器102aと、サンプリング変換後のプログレッシブ画像信号103を符号化して画像符号化データ105を出力する画像符号化器104とを備える。
【選択図】 図1
Description
これらのプログレッシブ画像符号化を行うサービスにおいて、過去のテレビ放送や固定受信端末向け放送のコンテンツを再利用するためには、NTSC信号などのインタレース画像信号からプログレッシブ画像信号を生成する必要がある。図17は、NTSC信号からプログレッシブ画像信号へ変換する一例である。図中の丸付き数字は、原画像であるNTSC信号のフレーム番号を表している。NTSC信号は、例えば一方のフィールド画像をサイズ変換することにより、30フレーム/秒のプログレッシブ画像に変換することができる。
また、従来の画像符号化装置には、テレシネ画像と非テレシネ画像が混在するインタレース画像データを入力し、テレシネ画像部分には逆テレシネ変換を施し、フィールドの繰返しを表すフラグを用いるなどしてインタレース画像信号として符号化しているものもある(例えば、特許文献1参照)。
また、上記のように、図18における従来の符号化装置は、常に同じサンプリングレートで符号化を行うため、原画像が映画信号とNTSC信号である部分が混在する入力画像信号をプログレッシブ画像信号として符号化すると、動きに違和感が生じてしまうという問題がある。
ここで、前記プログレッシブ画像信号の原画像が映画信号である部分は、原画像である前記映画信号をNTSC信号に変換された後、前記NTSC信号をプログレッシブ画像信号に変換された、所定フレームごとに同一フレームを2フレーム連続して含む信号であり、前記第1の方法では、前記2フレームのうち1フレームを取り除き、等間隔のサンプリングを行ってもよい。
また、前記第1の方法では、1秒あたりのフレーム数が24の約数となる等間隔のサンプリングを行うことが好ましい。
これによって、原画像が映画信号である部分とNTSC信号である部分とが混在するプログレッシブ画像の符号化において、原画像が映画信号である部分を原画像のサンプリングレートの約数で符号化することができるので、見かけ上の表示速度の揺らぎを無くすことができ、動きの違和感を解消或いは抑制することができる。
前記第1の方法では、前記同一フレームに基づいてフレーム間隔が所定の不等間隔となるようにサンプリングを行ってもよい。
これによって、原画像が映画信号である部分とNTSC信号である部分とが混在するプログレッシブ画像の符号化において、入力されたプログレッシブ画像信号からこのプログレッシブ画像信号の原画像が映画信号であるかNTSC信号であるかを示すテレシネ変換情報を検出することができるので、ユーザがテレシネ変換情報を用意する必要が無く、ユーザの作業を軽減できる。
よって、本発明により、原画像が映画信号である部分とNTSC信号である部分とが混在するプログレッシブ画像を、動きの違和感を解消或いは抑制して符号化することが可能となり、原画像が映画信号である部分とNTSC信号である部分とが混在するプログレッシブ画像を符号化する機会が増加してきた今日における実用的価値は極めて高い。
(実施の形態1)
本発明の実施の形態1について、図1から図4を用いて説明する。
図1は、本発明に係る実施の形態1における画像符号化装置の構成を示すブロック図である。
図18に示す従来の画像符号化装置とは、サンプリング変換器102aが、テレシネ変換情報106に応じてプログレッシブ画像信号101のサンプリングを変換している点が異なる。テレシネ変換情報106は、本実施の形態1の画像符号化装置の外部から入力される情報であり、プログレッシブ画像信号101の各フレームに対応する原画像のテレシネ変換状況を表す情報である。具体的には、プログレッシブ画像信号101の各フレームの原画像が映画信号であるかNTSC信号であるかを示すテレシネ識別信号と、繰り返しているフレームであるか否かを示すフレーム繰返し信号とを有する情報である。その他の構成、動作については、図18の従来の画像符号化装置と同様であるので、ここではサンプリング変換器102aについてのみ説明する。
図2の例において、サンプリング変換器102aは、遅延器1〜遅延器4とスイッチ205、206とを備えている。テレシネ変換情報106のテレシネ識別信号がテレシネ画像を示している場合、スイッチ205は、テレシネ変換情報106のフレーム繰返し信号が繰返しを示している時に遅延器1を選択し、以降フレーム毎に遅延器1、遅延器2、遅延器3、遅延器4、グラウンド出力207の順に切替えを行い、入力されたプログレッシブ画像信号101をフレーム毎に出力する。このとき、スイッチ206は、テレシネ変換情報106のフレーム繰返し信号が繰返しを示している時にスイッチ205と同期して遅延器1を選択し、以降スイッチ205の切替えタイミングより遅延するサンプリング変換後のフレーム時間間隔毎に遅延器1、遅延器2、遅延器3、遅延器4の順に切替えを行い、サンプリング変換後のプログレッシブ画像信号103を出力する。
また、上記Δt1の大きさは、0秒であっても構わない。
また、上記の説明では、サンプリング変換器102aにおいて、テレシネ変換情報106に応じて24000/1001フレーム/秒或いは30000/1001フレーム/秒に変換する例を説明したが、必ずしもこれらのサンプリングレートに変換する必要は無く、画像符号化データ105の情報量を削減するためにフレーム間引きを行い、24000/(1001×n)フレーム/秒或いは30000/(1001×n)フレーム/秒(nは2以上の整数)としても構わない。
また、本実施の形態1では、サンプリング変換器102aより出力されるサンプリング変換後のプログレッシブ画像信号103は、入力されるプログレッシブ画像信号101の原画像が映画信号である部分とNTSC信号である部分とにおいて、サンプリングレートが相違することになるが、特に問題となるものではない。画像符号化器104がサンプリング変換後のプログレッシブ画像信号103を符号化する際に、サンプリングレートを示す情報は、例えばMPEG−4を用いて符号化するのであれば、図4に示すようにVOL(Visual Object Layer)に含まれるVOLヘッダ内のVOP(Video Object Plane)タイムインクリメントレゾリューション(VOPTIR)に記載される。なお、VOLはVO(Video Object)に、そしてVOは全体の動画シーケンスであるVOS(Visual Object Sequence)に含まれる。
本発明の実施の形態2について、図5から図8を用いて説明する。
本実施の形態2の画像符号化装置は、本発明の実施の形態1の画像符号化装置のサンプリング変換器を、選択的なフレームのサンプリングによるサンプリング変換器に置き換えたものであり、原画像が映画信号である部分とNTSC信号である部分が混在するプログレッシブ画像信号に対して、それぞれの部分に適したサンプリングのリズムで符号化できる構成としたものである。
また、第1から第3のサンプリングレートは、上記の値に限定されるものではなく、例えば、第1のサンプリングレートが30フレーム/秒、第2のサンプリングレートが12フレーム/秒、第3のサンプリングレートが15フレーム/秒であっても実現可能である。
また、本実施の形態では、画像符号化器104がサンプリング変換後のプログレッシブ画像信号103を符号化する際に、例えばMPEG−4を用いて符号化するのであれば、同じVOPタイムインクリメントレゾリューションでフレームの時刻を表現できるので、VOPタイムインクリメントレゾリューションの情報を変更する必要がなく、処理を簡略化することができる。
本発明の実施の形態3について、図9から図11を用いて説明する。
本実施の形態3の画像符号化装置は、本発明の実施の形態1或いは2の画像符号化装置にテレシネ画像判定手段を加えた構成としたものであり、原画像が映画信号である部分とNTSC信号である部分が混在するプログレッシブ画像信号入力から、テレシネ変換情報106を検出することができる構成としたものである。
本実施の形態3における画像符号化装置は、本発明の実施の形態1或いは2の画像符号化装置に、遅延器601とテレシネ画像判定器603とを加えて備えており、その他の構成は本発明の実施の形態1或いは2の画像符号化装置と同様であるので、ここでは遅延器601とテレシネ画像判定器603の動作についてのみ説明する。
図10の画像符号化装置は、図9の画像符号化装置におけるテレシネ画像判定器603を、具体的な構成の一例に置き換えたものである。図10において、類似度計算器701は、入力されたプログレッシブ画像信号101と、遅延器601により1フレーム遅延されたプログレッシブ画像信号602とから、2つの連続するフレームの類似度702を計算する。一致検出器703は、類似度702に基づき2つの連続するフレームが一致するか(繰り返しているか)否かを判定し、一致信号704を出力する。テレシネ画像検出器705は、一致信号704が一致を示す周期と、原画像が映画信号であることを示す周期(例えば、30フレームのプログレッシブ画像の場合5フレーム)が一致しているか否かを評価し、一致していれば映画信号と判断し、一致していなければNTSC信号と判断する。テレシネ画像検出器705は、上記判断結果と一致信号704をテレシネ変換情報106として出力する。
類似度計算器701は、入力されたプログレッシブ画像信号101のフレームと、遅延器601により1フレーム遅延されたプログレッシブ画像信号602のフレームとの2つの連続するフレームの類似度702を計算し、一致検出器703へ出力する(ステップS101)。ここで、類似度計算器701は、2つのフレームの画素値について差分絶対値和、差分2乗和、差分分散などを用いて2つのフレームの類似度を計算する。次に、一致検出器703は、入力された類似度702に基づいて2つの連続するフレームが一致するか(繰り返しているか)否かを判定する(ステップS102)。ここで、一致検出器703は、類似度702と所定の閾値とを大小比較することで一致判定を行う。この判定の結果、2つの連続するフレームが一致する場合(ステップS102でYES)には、一致検出器703は一致信号704を“Hi”として出力する(ステップS103)。一方、2つの連続するフレームが一致しない場合(ステップS102でNO)には、一致検出器703は一致信号704を“Low”として出力する(ステップS104)。
さらに、上記各実施の形態で示した画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図12(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図12(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
さらにここで、上記各実施の形態で示した画像符号化方法の応用例とそれを用いたシステムを説明する。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
その一例として携帯電話について説明する。
図14は、上記実施の形態で説明した画像符号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声データに変換した後、これを音声出力部ex208を介して出力する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
102a,102b サンプリング変換器
103 サンプリング変換後のプログレッシブ画像信号
104 画像符号化器
105 画像符号化データ
106 テレシネ変換情報
205,206,401 スイッチ
207,402 グラウンド出力
601 遅延器
602 1フレーム遅延されたプログレッシブ画像信号
603 テレシネ画像判定器
701 類似度計算器
702 類似度
703 一致検出器
704 一致信号
705 テレシネ画像検出器
Cs コンピュータシステム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
Claims (13)
- 原画像が映画信号である部分およびテレビ放送用のNTSC信号である部分の少なくとも一方を含むプログレッシブ画像信号を符号化する画像符号化方法であって、
前記プログレッシブ画像信号の原画像が映画信号である部分に対しては第1の方法で、前記プログレッシブ画像信号の原画像がNTSC信号である部分に対しては第2の方法でサンプリングを行うサンプリングステップと、
前記サンプリングステップによりサンプリングされたフレームを符号化する符号化ステップと
を含むことを特徴とする画像符号化方法。 - 前記サンプリングステップでは、入力される前記プログレッシブ画像信号の原画像が映画信号であるかNTSC信号であるかを示すテレシネ変換情報に基づいて、前記第1または第2の方法でのサンプリングを切替える
ことを特徴とする請求項1記載の画像符号化方法。 - 前記プログレッシブ画像信号の原画像が映画信号である部分は、原画像である前記映画信号をNTSC信号に変換された後、前記NTSC信号をプログレッシブ画像信号に変換された、所定フレームごとに同一フレームを2フレーム連続して含む信号であり、
前記第1の方法では、前記2フレームのうち1フレームを取り除き、等間隔のサンプリングを行う
ことを特徴とする請求項1記載の画像符号化方法。 - 前記第1の方法では、1秒あたりのフレーム数が24の約数となる等間隔のサンプリングを行う
ことを特徴とする請求項3記載の画像符号化方法。 - 前記プログレッシブ画像信号の原画像が映画信号である部分は、原画像である前記映画信号をNTSC信号に変換された後、前記NTSC信号をプログレッシブ画像信号に変換された、所定フレームごとに同一フレームを2フレーム連続して含む信号であり、
前記第1の方法では、前記同一フレームに基づいてフレーム間隔が所定の不等間隔となるようにサンプリングを行う
ことを特徴とする請求項1記載の画像符号化方法。 - 前記第1の方法では、前記2フレームのうち表示順で後に位置するフレームを基準として、最初に2フレーム毎に1フレームの割合、次に3フレーム毎に1フレームの割合で抽出し、以降これらの割合での抽出を繰り返すサンプリングを行う
ことを特徴とする請求項5記載の画像符号化方法。 - 前記第1の方法では、前記2フレームのうち表示順で前に位置するフレームを基準として、最初に3フレーム毎に1フレームの割合、次に2フレーム毎に1フレームの割合で抽出し、以降これらの割合での抽出を繰り返すサンプリングを行う
ことを特徴とする請求項5記載の画像符号化方法。 - 前記第1の方法では、表示順で前記同一フレームの後に位置するフレームを基準として、最初に2フレーム毎に1フレームの割合、次に3フレーム毎に1フレームの割合で抽出し、以降これらの割合での抽出を繰り返すサンプリングを行う
ことを特徴とする請求項5記載の画像符号化方法。 - 前記画像符号化方法は、さらに、前記プログレッシブ画像信号に基づいて前記プログレッシブ画像信号の各フレームの原画像が映画信号であるかNTSC信号であるかを検出する原画像判定ステップを含む
ことを特徴とする請求項1記載の画像符号化方法。 - 前記プログレッシブ画像信号の原画像が映画信号である部分は、原画像である前記映画信号をNTSC信号に変換された後、前記NTSC信号をプログレッシブ画像信号に変換された、所定フレームごとに同一フレームを2フレーム連続して含む信号であり、
前記原画像判定ステップは、前記プログレッシブ画像信号のフレームを1フレーム分遅延させる遅延ステップと、
入力された前記プログレッシブ画像信号のフレームと、前記遅延ステップにより1フレーム分遅延させたフレームとの類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された類似度に基づいて、連続する2フレームが同一であるか否かを判定し、同一である場合に一致信号を出力する一致判定ステップと、
前記一致判定ステップにより出力された一致信号の周期に基づいて、前記プログレッシブ画像信号の各フレームの原画像が映画信号であるかNTSC信号であるかを判定する周期判定ステップとを含む
ことを特徴とする請求項9記載の画像符号化方法。 - 原画像が映画信号である部分およびテレビ放送用のNTSC信号である部分の少なくとも一方を含むプログレッシブ画像信号を符号化する画像符号化装置であって、
入力される前記プログレッシブ画像信号の原画像が映画信号であるかNTSC信号であるかを示すテレシネ変換情報に基づいて、サンプリング変換方法を切替えて前記プログレッシブ画像信号をサンプリングして出力するサンプリング変換手段と、
前記サンプリング変換手段により出力された信号を符号化する画像符号化手段と
を備えることを特徴とする画像符号化装置。 - 原画像が映画信号である部分およびテレビ放送用のNTSC信号である部分の少なくとも一方を含むプログレッシブ画像信号を符号化するためのプログラムであって、
前記プログレッシブ画像信号の原画像が映画信号である部分に対しては第1の方法で、前記プログレッシブ画像信号の原画像がNTSC信号である部分に対しては第2の方法でサンプリングを行うサンプリングステップと、
前記サンプリングステップによりサンプリングされたフレームを符号化する符号化ステップと
をコンピュータに実行させることを特徴とするプログラム。 - 原画像が映画信号である部分を含むプログレッシブ画像信号が符号化された画像符号化データが記録されたコンピュータ読み取り可能な記録媒体であって、
前記画像符号化データ中の原画像が映画信号である部分は、前記プログレッシブ画像信号のフレームが所定の不等間隔でサンプリングされている
ことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003353359A JP4197641B2 (ja) | 2002-10-23 | 2003-10-14 | 画像符号化方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002308225 | 2002-10-23 | ||
JP2003353359A JP4197641B2 (ja) | 2002-10-23 | 2003-10-14 | 画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004166255A true JP2004166255A (ja) | 2004-06-10 |
JP4197641B2 JP4197641B2 (ja) | 2008-12-17 |
Family
ID=32828080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003353359A Expired - Lifetime JP4197641B2 (ja) | 2002-10-23 | 2003-10-14 | 画像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4197641B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011620A (ja) * | 2004-06-23 | 2006-01-12 | Nec Infrontia Corp | 指紋入力装置、指紋入力方法及びプログラム |
CN116600042A (zh) * | 2023-07-17 | 2023-08-15 | 中国人民解放军国防科技大学 | 智能移动终端设备与计算机之间的通信方法、装置及系统 |
-
2003
- 2003-10-14 JP JP2003353359A patent/JP4197641B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011620A (ja) * | 2004-06-23 | 2006-01-12 | Nec Infrontia Corp | 指紋入力装置、指紋入力方法及びプログラム |
JP4583819B2 (ja) * | 2004-06-23 | 2010-11-17 | Necインフロンティア株式会社 | 指紋入力装置、指紋入力方法及びプログラム |
CN116600042A (zh) * | 2023-07-17 | 2023-08-15 | 中国人民解放军国防科技大学 | 智能移动终端设备与计算机之间的通信方法、装置及系统 |
CN116600042B (zh) * | 2023-07-17 | 2023-09-22 | 中国人民解放军国防科技大学 | 智能移动终端设备与计算机之间的通信方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4197641B2 (ja) | 2008-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733241B1 (ja) | 受信装置および受信方法 | |
JP5085757B2 (ja) | 画像復号化方法、画像復号化装置、プログラムおよび記録媒体 | |
JP2004320302A (ja) | メディア情報処理方法 | |
JP4197641B2 (ja) | 画像符号化方法 | |
JP2004260236A (ja) | 動画像の符号化方法および復号化方法 | |
JP4519676B2 (ja) | 動き検出方法および動画像符号化方法 | |
JP2004120138A (ja) | 動画像符号化方法および動画像復号化方法 | |
JP2004166116A (ja) | 動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080929 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |