JP2000113167A - 信号処理装置及び信号処理方法 - Google Patents
信号処理装置及び信号処理方法Info
- Publication number
- JP2000113167A JP2000113167A JP27898798A JP27898798A JP2000113167A JP 2000113167 A JP2000113167 A JP 2000113167A JP 27898798 A JP27898798 A JP 27898798A JP 27898798 A JP27898798 A JP 27898798A JP 2000113167 A JP2000113167 A JP 2000113167A
- Authority
- JP
- Japan
- Prior art keywords
- class
- gradient
- signal
- input signal
- spatial gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 クラス分類を伴う変換処理に用いられるクラ
ス分類に勾配法を用いる場合のハードウェア構成を簡略
化する。 【解決手段】 入力信号をクラス分類し、分類されたク
ラスに応じた予測係数予測係数を用いて予測演算して予
測値を出力する信号処理装置のクラス分類に勾配法を用
いる。端子２１からの入力信号の空間勾配を空間勾配算
出回路２２で求めて第１の変換テーブルとしてのＲＯＭ
２４で非線形量子化し、上記入力信号の時間勾配を時間
勾配算出回路２３で求めて第２の変換テーブルとしての
ＲＯＭ２５で非線形量子化する。これらのＲＯＭ２４，
２５からの各出力を第３の変換テーブルとしてのＲＯＭ
２６でクラス情報に変換する。
ス分類に勾配法を用いる場合のハードウェア構成を簡略
化する。 【解決手段】 入力信号をクラス分類し、分類されたク
ラスに応じた予測係数予測係数を用いて予測演算して予
測値を出力する信号処理装置のクラス分類に勾配法を用
いる。端子２１からの入力信号の空間勾配を空間勾配算
出回路２２で求めて第１の変換テーブルとしてのＲＯＭ
２４で非線形量子化し、上記入力信号の時間勾配を時間
勾配算出回路２３で求めて第２の変換テーブルとしての
ＲＯＭ２５で非線形量子化する。これらのＲＯＭ２４，
２５からの各出力を第３の変換テーブルとしてのＲＯＭ
２６でクラス情報に変換する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、信号処理装置及び
信号処理方法に関し、特に、クラス分類してクラス毎に
補間処理等を行うような信号処理装置及び信号処理方法
に関するものである。
信号処理方法に関し、特に、クラス分類してクラス毎に
補間処理等を行うような信号処理装置及び信号処理方法
に関するものである。
【０００２】
【従来の技術】近年において、映像信号や音声信号の解
像度あるいはサンプリング周波数等を向上させる技術が
種々提案されている。例えば、標準あるいは低解像度に
相当する標準テレビジョン信号から、高解像度のいわゆ
るＨＤＴＶ信号にアップコンバージョンを行う場合や、
サブサンプル補間を行う場合には、従来の線形補間によ
る手法よりも、例えば特開平６−１７８２７７号公報や
特開昭７−７９４１８号公報に開示されるようなクラス
分類を伴う変換処理を行う方が、性能的に良好な結果を
得られることが知られている。
像度あるいはサンプリング周波数等を向上させる技術が
種々提案されている。例えば、標準あるいは低解像度に
相当する標準テレビジョン信号から、高解像度のいわゆ
るＨＤＴＶ信号にアップコンバージョンを行う場合や、
サブサンプル補間を行う場合には、従来の線形補間によ
る手法よりも、例えば特開平６−１７８２７７号公報や
特開昭７−７９４１８号公報に開示されるようなクラス
分類を伴う変換処理を行う方が、性能的に良好な結果を
得られることが知られている。
【０００３】このクラス分類を伴う変換処理とは、例え
ば、標準あるいは低解像度に相当する標準テレビジョン
信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換
する場合に、入力されたＳＤ信号をクラス分類してクラ
スコードを発生し、このクラスコードを用いてクラス毎
に予め設定されている予測係数を選んで上記入力ＳＤ信
号を予測演算処理することにより、ＨＤ信号を得るもの
である。上記予測演算処理には例えば線形１次式が用い
られる。
ば、標準あるいは低解像度に相当する標準テレビジョン
信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換
する場合に、入力されたＳＤ信号をクラス分類してクラ
スコードを発生し、このクラスコードを用いてクラス毎
に予め設定されている予測係数を選んで上記入力ＳＤ信
号を予測演算処理することにより、ＨＤ信号を得るもの
である。上記予測演算処理には例えば線形１次式が用い
られる。
【０００４】上記クラス分類を伴う変換処理は、上述し
たようなＳＤ信号からＨＤ信号へのアップコンバージョ
ン以外にも、映像信号の走査方式についてインターレー
ス／プログレッシブ変換を行う場合や、走査線数を変換
する場合や、ぼけた画像を鮮明な画像に変換する場合
や、電子ズーム処理や、フレーム数変換処理（例えば１
秒間に２４フレームと３０フレームとの間での変換）
や、フォーマット変換処理等の種々の信号変換処理に適
用して好ましい結果が得られている。
たようなＳＤ信号からＨＤ信号へのアップコンバージョ
ン以外にも、映像信号の走査方式についてインターレー
ス／プログレッシブ変換を行う場合や、走査線数を変換
する場合や、ぼけた画像を鮮明な画像に変換する場合
や、電子ズーム処理や、フレーム数変換処理（例えば１
秒間に２４フレームと３０フレームとの間での変換）
や、フォーマット変換処理等の種々の信号変換処理に適
用して好ましい結果が得られている。
【０００５】
【発明が解決しようとする課題】ところで、上述のクラ
ス分類を伴う変換処理におけるクラス分類の手法として
は、適応型ダイナミックレンジ符号化（ＡＤＲＣ）によ
るパターン分類や動き補償的な要素を取り入れるために
動きベクトルを使用することがある。
ス分類を伴う変換処理におけるクラス分類の手法として
は、適応型ダイナミックレンジ符号化（ＡＤＲＣ）によ
るパターン分類や動き補償的な要素を取り入れるために
動きベクトルを使用することがある。
【０００６】ここで、動きベクトルを求める場合に、例
えばブロックマッチングのような非常に処理の重い方法
は、ハードウェアにインストールするのが困難であるこ
とから、いわゆる勾配法等が用いられることが多い。
えばブロックマッチングのような非常に処理の重い方法
は、ハードウェアにインストールするのが困難であるこ
とから、いわゆる勾配法等が用いられることが多い。
【０００７】この勾配法は、注目画素の隣接画素との差
分をとることで水平空間勾配及び垂直空間勾配を求め、
また、注目画素のフレーム差分を求め、フレーム差分に
基づく成分を空間勾配に基づく成分で割り算することに
より、動きベクトルを求めるものである。この割り算が
あるために、除数及び被除数がそれぞれ例えば１０ビッ
トの語長の場合には、割り算に必要な語長が２０ビット
位になってしまい、ハードウェアロジックで実現するに
はゲート規模が大きくなり、ＲＯＭを用いる場合にも４
Ｍビット程度の記憶容量が必要となる。
分をとることで水平空間勾配及び垂直空間勾配を求め、
また、注目画素のフレーム差分を求め、フレーム差分に
基づく成分を空間勾配に基づく成分で割り算することに
より、動きベクトルを求めるものである。この割り算が
あるために、除数及び被除数がそれぞれ例えば１０ビッ
トの語長の場合には、割り算に必要な語長が２０ビット
位になってしまい、ハードウェアロジックで実現するに
はゲート規模が大きくなり、ＲＯＭを用いる場合にも４
Ｍビット程度の記憶容量が必要となる。
【０００８】本発明は、上述したような実情に鑑みてな
されたものであり、クラス分類に勾配法を用いる場合
に、ハードウェア構成が簡単で済むような信号処理装置
及び信号処理方法の提供を目的とする。
されたものであり、クラス分類に勾配法を用いる場合
に、ハードウェア構成が簡単で済むような信号処理装置
及び信号処理方法の提供を目的とする。
【０００９】
【課題を解決するための手段】本発明は、上述した課題
を解決するために、入力信号をクラス分類し、分類され
たクラスに応じた予測係数予測係数を用いて予測演算し
て予測値を出力する際に、上記クラス分類処理は、上記
入力信号の空間勾配及び時間勾配を求め、上記空間勾配
を第１の変換テーブルにより非線形量子化し、上記時間
勾配を第２の変換テーブルにより非線形量子化し、これ
らの第１及び第２の変換テーブルからの各出力を第３の
変換テーブルによりクラス情報に変換することを特徴と
している。
を解決するために、入力信号をクラス分類し、分類され
たクラスに応じた予測係数予測係数を用いて予測演算し
て予測値を出力する際に、上記クラス分類処理は、上記
入力信号の空間勾配及び時間勾配を求め、上記空間勾配
を第１の変換テーブルにより非線形量子化し、上記時間
勾配を第２の変換テーブルにより非線形量子化し、これ
らの第１及び第２の変換テーブルからの各出力を第３の
変換テーブルによりクラス情報に変換することを特徴と
している。
【００１０】クラス分類には、上記第３の変換テーブル
からのクラス情報と、上記入力信号を適応型ダイナミッ
クレンジ符号化することにより得られるクラス情報とに
基づいて得るようにすることが好ましい。
からのクラス情報と、上記入力信号を適応型ダイナミッ
クレンジ符号化することにより得られるクラス情報とに
基づいて得るようにすることが好ましい。
【００１１】
【発明の実施の形態】以下、本発明に係る実施の形態に
ついて図面を参照しながら説明する。先ず、本発明に係
る信号処理装置として、上述したクラス分類を伴う変換
処理を行う信号変換装置の具体例を、図１を参照しなが
ら説明する。この具体例では、特に、画像のＳＤ信号を
ＨＤ信号に解像度変換する画像情報変換装置を想定して
いる。
ついて図面を参照しながら説明する。先ず、本発明に係
る信号処理装置として、上述したクラス分類を伴う変換
処理を行う信号変換装置の具体例を、図１を参照しなが
ら説明する。この具体例では、特に、画像のＳＤ信号を
ＨＤ信号に解像度変換する画像情報変換装置を想定して
いる。
【００１２】この図１において、入力端子１１には標準
解像度のＳＤ信号が供給され、予測タップ生成回路１２
を介して予測演算回路１３に送られている。また、入力
端子１１からのＳＤ信号は、クラス分類回路１５に供給
されてクラス分類が行われ、決定されたクラスのインデ
ックスをアドレスとして予測係数ＲＯＭ１６がアクセス
されて予測係数が読み出され、予測演算回路１３に送ら
れる。
解像度のＳＤ信号が供給され、予測タップ生成回路１２
を介して予測演算回路１３に送られている。また、入力
端子１１からのＳＤ信号は、クラス分類回路１５に供給
されてクラス分類が行われ、決定されたクラスのインデ
ックスをアドレスとして予測係数ＲＯＭ１６がアクセス
されて予測係数が読み出され、予測演算回路１３に送ら
れる。
【００１３】予測演算回路１３は、推定演算回路あるい
は補間値生成回路とも称され、クラス毎に適応的に選択
された予測係数により予測演算を行うことで、入力され
たＳＤデータに対するＨＤデータを算出するものであ
る。予測演算回路１３にて予測演算されることにより得
られたＨＤ信号は、出力端子１４より取り出される。予
測係数ＲＯＭ１６には、予測係数が記憶されている。
は補間値生成回路とも称され、クラス毎に適応的に選択
された予測係数により予測演算を行うことで、入力され
たＳＤデータに対するＨＤデータを算出するものであ
る。予測演算回路１３にて予測演算されることにより得
られたＨＤ信号は、出力端子１４より取り出される。予
測係数ＲＯＭ１６には、予測係数が記憶されている。
【００１４】クラス分類回路１５は、例えば入力信号を
ＡＤＲＣ（適応型ダイナミックレンジ符号化）すること
によりクラス情報を出力するＡＤＲＣ回路１７と、上述
した空間勾配及び時間勾配を用いた動きベクトルを用い
てクラス情報を出力する動き検出回路２０と、これらの
ＡＤＲＣ回路１７及び動き検出回路２０からのクラス情
報が送られてクラスコードを生成するクラスコード生成
回路１８とを有して構成されている。
ＡＤＲＣ（適応型ダイナミックレンジ符号化）すること
によりクラス情報を出力するＡＤＲＣ回路１７と、上述
した空間勾配及び時間勾配を用いた動きベクトルを用い
てクラス情報を出力する動き検出回路２０と、これらの
ＡＤＲＣ回路１７及び動き検出回路２０からのクラス情
報が送られてクラスコードを生成するクラスコード生成
回路１８とを有して構成されている。
【００１５】上記ＡＤＲＣ回路１７における適応型ダイ
ナミックレンジ符号化とは、特開昭６１−１４４９８９
号公報等に開示されるように、本来ビデオ信号の高能率
圧縮符号化のために開発されたものであるが、ビデオ信
号のレベル分布のパターンを短い語長で効率的に表現で
きることから、このＡＤＲＣ符号化データに基づいてク
ラス分類のための情報を得ているものである。すなわ
ち、ビデオ信号の符号化単位となるブロック内のダイナ
ミックレンジＤＲは、当該ブロック内の最大値ＭＡＸ及
び最小値ＭＩＮにより、 ＤＲ ＝ ＭＡＸ−ＭＩＮ＋１ と表せ、ブロック内の各画素データのレベルＬをｎビッ
トに再量子化するときの再量子化コードＱは、 Ｑ ＝［（Ｌ−ＭＩＮ＋0.５）・２n／ＤＲ］ ただし、［ ］は切り捨て処理を意味する となる。上記ブロック内の再量子化コードＱを用いて、
当該ブロックのビデオ信号をクラス分類するための情報
を求める。上記図１の例では、４ビットのクラス情報を
得て、クラスコード生成回路１８に送っている。
ナミックレンジ符号化とは、特開昭６１−１４４９８９
号公報等に開示されるように、本来ビデオ信号の高能率
圧縮符号化のために開発されたものであるが、ビデオ信
号のレベル分布のパターンを短い語長で効率的に表現で
きることから、このＡＤＲＣ符号化データに基づいてク
ラス分類のための情報を得ているものである。すなわ
ち、ビデオ信号の符号化単位となるブロック内のダイナ
ミックレンジＤＲは、当該ブロック内の最大値ＭＡＸ及
び最小値ＭＩＮにより、 ＤＲ ＝ ＭＡＸ−ＭＩＮ＋１ と表せ、ブロック内の各画素データのレベルＬをｎビッ
トに再量子化するときの再量子化コードＱは、 Ｑ ＝［（Ｌ−ＭＩＮ＋0.５）・２n／ＤＲ］ ただし、［ ］は切り捨て処理を意味する となる。上記ブロック内の再量子化コードＱを用いて、
当該ブロックのビデオ信号をクラス分類するための情報
を求める。上記図１の例では、４ビットのクラス情報を
得て、クラスコード生成回路１８に送っている。
【００１６】上記動き検出回路２０は、例えば図２に示
すように構成されている。この図２において、入力端子
２１には、上記図１の入力端子１１に供給された標準解
像度のＳＤ信号が入力され、水平及び垂直方向の空間勾
配を計算する空間勾配算出回路２２と、時間勾配として
のフレーム差分を計算する時間勾配算出回路２３とに送
られている。空間勾配算出回路２２からの空間勾配Δｓ
は、例えば１０ビットの語長をもっており、非線形量子
化処理を実現するためのＲＯＭ２４に送られて４ビット
のデータに変換される。また、時間勾配算出回路２３か
らのフレーム差分Δｆは、例えば１０ビットの語長をも
っており、非線形量子化処理を実現するためのＲＯＭ２
５に送られて４ビットのデータに変換される。これらの
ＲＯＭ２４，２５からの各４ビットのデータはＲＯＭ２
６に送られ、ＲＯＭ２６では８ビット入力をアドレスと
して４ビットのクラス情報を変換し、出力端子２７より
取り出される。この４ビットのクラス情報は、図１のク
ラスコード生成回路１８に送られる。
すように構成されている。この図２において、入力端子
２１には、上記図１の入力端子１１に供給された標準解
像度のＳＤ信号が入力され、水平及び垂直方向の空間勾
配を計算する空間勾配算出回路２２と、時間勾配として
のフレーム差分を計算する時間勾配算出回路２３とに送
られている。空間勾配算出回路２２からの空間勾配Δｓ
は、例えば１０ビットの語長をもっており、非線形量子
化処理を実現するためのＲＯＭ２４に送られて４ビット
のデータに変換される。また、時間勾配算出回路２３か
らのフレーム差分Δｆは、例えば１０ビットの語長をも
っており、非線形量子化処理を実現するためのＲＯＭ２
５に送られて４ビットのデータに変換される。これらの
ＲＯＭ２４，２５からの各４ビットのデータはＲＯＭ２
６に送られ、ＲＯＭ２６では８ビット入力をアドレスと
して４ビットのクラス情報を変換し、出力端子２７より
取り出される。この４ビットのクラス情報は、図１のク
ラスコード生成回路１８に送られる。
【００１７】ところで、空間勾配算出回路２２及び時間
勾配算出回路２３からの各１０ビットの勾配データΔ
ｓ，Δｆに基づいて直接上記４ビットのクラス情報を求
めようとすると、例えば図３に示すような大容量のＲＯ
Ｍ２９構成が必要となる。このＲＯＭ２９は、入力２０
ビットをアドレスとして４ビットデータを出力すること
から、４１９４３０４ビットもの大容量が必要とされ
る。これに対して、上記図２の構成によれば、ＲＯＭ２
４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０
２４ビットで、合計９２１６ビットの記憶容量で済む。
勾配算出回路２３からの各１０ビットの勾配データΔ
ｓ，Δｆに基づいて直接上記４ビットのクラス情報を求
めようとすると、例えば図３に示すような大容量のＲＯ
Ｍ２９構成が必要となる。このＲＯＭ２９は、入力２０
ビットをアドレスとして４ビットデータを出力すること
から、４１９４３０４ビットもの大容量が必要とされ
る。これに対して、上記図２の構成によれば、ＲＯＭ２
４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０
２４ビットで、合計９２１６ビットの記憶容量で済む。
【００１８】次に、上記空間勾配算出回路２２及び時間
勾配算出回路２３における勾配の計算内容と、これらの
勾配データから動きベクトルを求める計算内容について
説明する。
勾配算出回路２３における勾配の計算内容と、これらの
勾配データから動きベクトルを求める計算内容について
説明する。
【００１９】画面上の座標（ｘ，ｙ）における現在フレ
ームの画素値をｇ1（ｘ，ｙ） とし、同じ空間位置の１
フレーム前（過去）の画素値をｇ0（ｘ，ｙ） とする。
ｘは水平方向、ｙは垂直方向の画素毎に整数値をとる座
標値であり、右側及び上側をそれぞれ正の向きとする。
このとき、座標（ｘ，ｙ）における水平空間勾配、垂直
空間勾配、及びフレーム差分（時間勾配）は、 右側水平勾配：Δｘr ＝ ｇ1(x,y) − ｇ1(x+1,y) 左側水平勾配：Δｘl ＝ ｇ1(x-1,y) − ｇ1(x,y) 上側垂直勾配：Δｙa ＝ ｇ1(x,y) − ｇ1(x,y+1) 下側垂直勾配：Δｙu ＝ ｇ1(x,y-1) − ｇ1(x,y) フレーム差分：Δｔ ＝ ｇ1(x,y) − ｇ0(x,y) の各式で計算される。
ームの画素値をｇ1（ｘ，ｙ） とし、同じ空間位置の１
フレーム前（過去）の画素値をｇ0（ｘ，ｙ） とする。
ｘは水平方向、ｙは垂直方向の画素毎に整数値をとる座
標値であり、右側及び上側をそれぞれ正の向きとする。
このとき、座標（ｘ，ｙ）における水平空間勾配、垂直
空間勾配、及びフレーム差分（時間勾配）は、 右側水平勾配：Δｘr ＝ ｇ1(x,y) − ｇ1(x+1,y) 左側水平勾配：Δｘl ＝ ｇ1(x-1,y) − ｇ1(x,y) 上側垂直勾配：Δｙa ＝ ｇ1(x,y) − ｇ1(x,y+1) 下側垂直勾配：Δｙu ＝ ｇ1(x,y-1) − ｇ1(x,y) フレーム差分：Δｔ ＝ ｇ1(x,y) − ｇ0(x,y) の各式で計算される。
【００２０】これらの式から、水平、垂直方向の勾配法
による動きベクトルの各方向成分、すなわち、水平方向
の動きベクトルＶX 及び垂直方向の動きベクトルＶY
は、 右側水平方向：ＶXr ＝ （ΣΔｔsign(Δｘr)）／（Σ
｜Δｘr｜） 左側水平方向：ＶXl ＝ （ΣΔｔsign(Δｘl)）／（Σ
｜Δｘl｜） 水平方向 ：ＶX ＝ （ＶXrとＶXlとの内の絶対値の
大きい方） 上側垂直方向：ＶYa ＝ （ΣΔｔsign(Δｙa)）／（Σ
｜Δｙa｜） 下側垂直方向：ＶYu ＝ （ΣΔｔsign(Δｙu)）／（Σ
｜Δｙu｜） 垂直方向 ：ＶY ＝ （ＶYaとＶYuとの内の絶対値の
大きい方） の各式で計算する。
による動きベクトルの各方向成分、すなわち、水平方向
の動きベクトルＶX 及び垂直方向の動きベクトルＶY
は、 右側水平方向：ＶXr ＝ （ΣΔｔsign(Δｘr)）／（Σ
｜Δｘr｜） 左側水平方向：ＶXl ＝ （ΣΔｔsign(Δｘl)）／（Σ
｜Δｘl｜） 水平方向 ：ＶX ＝ （ＶXrとＶXlとの内の絶対値の
大きい方） 上側垂直方向：ＶYa ＝ （ΣΔｔsign(Δｙa)）／（Σ
｜Δｙa｜） 下側垂直方向：ＶYu ＝ （ΣΔｔsign(Δｙu)）／（Σ
｜Δｙu｜） 垂直方向 ：ＶY ＝ （ＶYaとＶYuとの内の絶対値の
大きい方） の各式で計算する。
【００２１】これらの式中の“Σ”は、例えば縦横３×
３の成分の総和をとることが挙げられ、具体的には、例
えば図４に示すような構成により実現できる。この図４
は、水平方向差分の絶対値の総和（Σ｜Δｘ｜）をとる
場合の例を示しており、端子３１から入力された画素値
ｇは、１画素分だけ遅延させる遅延回路３２と減算器３
３とにより水平方向の隣接画素間の差分がとられ、絶対
値化回路３４により絶対値がとられ、遅延マトリクス回
路３５により縦横３×３の成分が取り出され、総和器３
６によりこれらの３×３の成分の総和がとられて、端子
３７より出力される。遅延マトリクス回路３５は、それ
ぞれ１画素分だけ遅延させる９個の遅延回路ＤＬA と、
それぞれほぼ１ライン分だけ遅延させる２個の遅延回路
ＤＬB とを有して成り、各遅延回路ＤＬA からの出力が
縦横で隣接する３×３の成分となっている。なお、垂直
方向差分の絶対値の総和（Σ｜Δｙ｜）をとる場合に
は、遅延回路３２として１ライン分遅延させるものを用
いればよい。
３の成分の総和をとることが挙げられ、具体的には、例
えば図４に示すような構成により実現できる。この図４
は、水平方向差分の絶対値の総和（Σ｜Δｘ｜）をとる
場合の例を示しており、端子３１から入力された画素値
ｇは、１画素分だけ遅延させる遅延回路３２と減算器３
３とにより水平方向の隣接画素間の差分がとられ、絶対
値化回路３４により絶対値がとられ、遅延マトリクス回
路３５により縦横３×３の成分が取り出され、総和器３
６によりこれらの３×３の成分の総和がとられて、端子
３７より出力される。遅延マトリクス回路３５は、それ
ぞれ１画素分だけ遅延させる９個の遅延回路ＤＬA と、
それぞれほぼ１ライン分だけ遅延させる２個の遅延回路
ＤＬB とを有して成り、各遅延回路ＤＬA からの出力が
縦横で隣接する３×３の成分となっている。なお、垂直
方向差分の絶対値の総和（Σ｜Δｙ｜）をとる場合に
は、遅延回路３２として１ライン分遅延させるものを用
いればよい。
【００２２】以上のようにして、勾配法を用いて動きベ
クトルを求めることができる。この勾配法の特長として
は、画素以下の動きベクトルの精度が良い、ということ
が挙げられる。
クトルを求めることができる。この勾配法の特長として
は、画素以下の動きベクトルの精度が良い、ということ
が挙げられる。
【００２３】ここで、上述したような勾配法を用いて動
きベクトルを求めるためのハードウェアを考察する。先
ず、上述した式の通りの演算を行わせる場合には、割る
数も割られる数も共に１０ビット程度の語長を持ってお
り、割り算に必要な語長が２０ビット位になってしま
い、ゲート規模が大きくなってしまう。しかしながら、
勾配法の結果をクラス情報として使用する場合はそれほ
ど精度を必要としないため、簡略化しても問題を生じる
ことは少ない。また、線形演算の結果をそのまま利用す
るよりは、クラスとしては非線形の偏りを持たせた方が
より精度が向上することがある。
きベクトルを求めるためのハードウェアを考察する。先
ず、上述した式の通りの演算を行わせる場合には、割る
数も割られる数も共に１０ビット程度の語長を持ってお
り、割り算に必要な語長が２０ビット位になってしま
い、ゲート規模が大きくなってしまう。しかしながら、
勾配法の結果をクラス情報として使用する場合はそれほ
ど精度を必要としないため、簡略化しても問題を生じる
ことは少ない。また、線形演算の結果をそのまま利用す
るよりは、クラスとしては非線形の偏りを持たせた方が
より精度が向上することがある。
【００２４】そこで本実施の形態においては、前述した
ように、図２に示す構成を用い、非線形要素と小型化を
兼ねあわせたＲＯＭによる勾配法クラス生成を実現して
いる。簡単のために、上記の式を一般化し、動きベクト
ルＶを、空間勾配Δｓとフレーム差分（時間勾配）Δｆ
とで、 Ｖ ＝ Δｆ／Δｓ のように表す。
ように、図２に示す構成を用い、非線形要素と小型化を
兼ねあわせたＲＯＭによる勾配法クラス生成を実現して
いる。簡単のために、上記の式を一般化し、動きベクト
ルＶを、空間勾配Δｓとフレーム差分（時間勾配）Δｆ
とで、 Ｖ ＝ Δｆ／Δｓ のように表す。
【００２５】図２のＲ０Ｍ２４は、フレーム差分Δｆの
非線形量子化を行うためのもので、入力アドレスが１０
ビットで、出力データが例えば４ビットのものを使用す
る。また、ＲＯＭ２５は、空間勾配Δｓの非線形量子化
を行うためのもので、ＲＯＭ２４と同様に、入力アドレ
スが１０ビットで、出力データが例えば４ビットのもの
を使用する。これらのＲＯＭ２４、２５の記憶容量は、
いずれも４０９６ビットである。非線形量子化について
は、種々の手法があるが、例えば図５に示すような入力
を圧縮して出力するものが挙げられる。この図５はデー
タが正の値のみ有する場合の例であるが、正負の値を有
するデータの場合には、図６に示すような非線形量子化
も挙げられる。
非線形量子化を行うためのもので、入力アドレスが１０
ビットで、出力データが例えば４ビットのものを使用す
る。また、ＲＯＭ２５は、空間勾配Δｓの非線形量子化
を行うためのもので、ＲＯＭ２４と同様に、入力アドレ
スが１０ビットで、出力データが例えば４ビットのもの
を使用する。これらのＲＯＭ２４、２５の記憶容量は、
いずれも４０９６ビットである。非線形量子化について
は、種々の手法があるが、例えば図５に示すような入力
を圧縮して出力するものが挙げられる。この図５はデー
タが正の値のみ有する場合の例であるが、正負の値を有
するデータの場合には、図６に示すような非線形量子化
も挙げられる。
【００２６】ＲＯＭ２６は、ＲＯＭ２４、２５の各出力
が入力され、入力アドレスが８ビットで出力データが例
えば４ビットのものを使用する。このＲＯＭ２６の記憶
容量は１０２４ビットであり、出力されるクラス（動き
ベクトルに応じたクラス）は１６クラスとなる。ＲＯＭ
２６の内容については、単なる割り算の結果ではなく、
性能が向上するようチューニングしたものを用いればよ
い。次の表１は、入力される各４ビットのΔｓ，Δｆに
対する４ビットのクラスコード値のテーブルの一例を示
すものである。
が入力され、入力アドレスが８ビットで出力データが例
えば４ビットのものを使用する。このＲＯＭ２６の記憶
容量は１０２４ビットであり、出力されるクラス（動き
ベクトルに応じたクラス）は１６クラスとなる。ＲＯＭ
２６の内容については、単なる割り算の結果ではなく、
性能が向上するようチューニングしたものを用いればよ
い。次の表１は、入力される各４ビットのΔｓ，Δｆに
対する４ビットのクラスコード値のテーブルの一例を示
すものである。
【００２７】
【表１】
【００２８】このような構成によれば、前述したよう
に、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯ
Ｍ２６が１０２４ビットで、合計９２１６ビットの記憶
容量で済む。これは、上記図３に示すような構成に用い
られるＲＯＭ２９が、入力２０ビットをアドレスとして
４ビットデータを出力するために４１９４３０４ビット
もの大容量が必要とされることを考慮すれば、本発明の
実施の形態により、ハードウェア構成を大幅に簡略化で
きることが明らかである。
に、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯ
Ｍ２６が１０２４ビットで、合計９２１６ビットの記憶
容量で済む。これは、上記図３に示すような構成に用い
られるＲＯＭ２９が、入力２０ビットをアドレスとして
４ビットデータを出力するために４１９４３０４ビット
もの大容量が必要とされることを考慮すれば、本発明の
実施の形態により、ハードウェア構成を大幅に簡略化で
きることが明らかである。
【００２９】次に、上記図１に示したクラス分類を伴う
変換処理のクラス毎の予測係数を最小自乗法によって求
めるための学習装置について、図７を参照しながら説明
する。この具体例では、上記図１に示す信号処理装置と
して、標準あるいは低解像度の映像信号に相当する標準
テレビジョン信号（ＳＤ信号）を、高解像度の映像信号
であるいわゆるＨＤＴＶ信号（ＨＤ信号）に変換する装
置を想定し、このＳＤ信号をＨＤ信号に変換する変換装
置に用いられる予測係数を求めるための学習を行うため
の学習装置を図７に示している。
変換処理のクラス毎の予測係数を最小自乗法によって求
めるための学習装置について、図７を参照しながら説明
する。この具体例では、上記図１に示す信号処理装置と
して、標準あるいは低解像度の映像信号に相当する標準
テレビジョン信号（ＳＤ信号）を、高解像度の映像信号
であるいわゆるＨＤＴＶ信号（ＨＤ信号）に変換する装
置を想定し、このＳＤ信号をＨＤ信号に変換する変換装
置に用いられる予測係数を求めるための学習を行うため
の学習装置を図７に示している。
【００３０】図７の入力端子５１には、教師信号となる
高解像度のＨＤ信号が供給されており、このＨＤ信号を
ダウンコンバータ５２に送ってローパスフィルタリング
処理やダウンサンプリング処理等を施すことにより、Ｈ
Ｄ信号に対応する擬似的な標準解像度のＳＤ信号を得て
いる。これらのＨＤ信号及びＳＤ信号は、正規方程式生
成回路５３に送られる。また、ダウンコンバータ５２か
らのＳＤ信号は、ＡＤＲＣ（適応ダイナミックレンジ符
号化）回路５４及び動き検出回路５５に送られて、それ
ぞれクラス情報が求められ、これらのクラス情報がクラ
スコード生成回路５６に送られてクラスコードが生成さ
れる。これらのＡＤＲＣ回路５４、動き検出回路５５及
びクラスコード生成回路５６は、それぞれ上記図１のＡ
ＤＲＣ回路１７、動き検出回路２０及びクラスコード生
成回路１８に相当するものであるため、説明を省略す
る。
高解像度のＨＤ信号が供給されており、このＨＤ信号を
ダウンコンバータ５２に送ってローパスフィルタリング
処理やダウンサンプリング処理等を施すことにより、Ｈ
Ｄ信号に対応する擬似的な標準解像度のＳＤ信号を得て
いる。これらのＨＤ信号及びＳＤ信号は、正規方程式生
成回路５３に送られる。また、ダウンコンバータ５２か
らのＳＤ信号は、ＡＤＲＣ（適応ダイナミックレンジ符
号化）回路５４及び動き検出回路５５に送られて、それ
ぞれクラス情報が求められ、これらのクラス情報がクラ
スコード生成回路５６に送られてクラスコードが生成さ
れる。これらのＡＤＲＣ回路５４、動き検出回路５５及
びクラスコード生成回路５６は、それぞれ上記図１のＡ
ＤＲＣ回路１７、動き検出回路２０及びクラスコード生
成回路１８に相当するものであるため、説明を省略す
る。
【００３１】クラスコード生成回路５６から出力された
クラスコードは、正規方程式生成回路５３に送られる。
正規方程式生成回路５３は、クラス毎にそれぞれ正規方
程式を生成する回路であり、学習素材が入力し終わった
後に得られた各クラス毎の正規方程式を連立方程式解法
回路５７に送り、各クラス毎に正規方程式から連立方程
式を解いて各クラス毎の予測係数を求め、これらの各ク
ラス毎の予測係数を予測係数メモリ５８に記憶する。こ
の予測係数メモリ５８の記憶内容が、図１の予測係数Ｒ
ＯＭ１６に書き込まれて用いられる。
クラスコードは、正規方程式生成回路５３に送られる。
正規方程式生成回路５３は、クラス毎にそれぞれ正規方
程式を生成する回路であり、学習素材が入力し終わった
後に得られた各クラス毎の正規方程式を連立方程式解法
回路５７に送り、各クラス毎に正規方程式から連立方程
式を解いて各クラス毎の予測係数を求め、これらの各ク
ラス毎の予測係数を予測係数メモリ５８に記憶する。こ
の予測係数メモリ５８の記憶内容が、図１の予測係数Ｒ
ＯＭ１６に書き込まれて用いられる。
【００３２】以上説明したような本発明の実施の形態に
よれば、映像信号の入力に対して勾配法によるクラス分
類を行って適応的な変換処理を行う際に、時間勾配（フ
レーム差分）と、空間勾配（隣接画素差分）をそれぞれ
非線形量子化するための２種類のＲＯＭ２４，２５を持
ち、さらにその２種類のＲＯＭ出力を入力し、クラス情
報を発生する第３のＲＯＭ２６を持つことにより、これ
らを１つのＲＯＭで構成する場合に比べて小さいハード
ウェアで済み、しかも、各ＲＯＭ２４，２５やＲＯＭ２
６の入出力特性をチューニングすることで、性能向上も
図れる。
よれば、映像信号の入力に対して勾配法によるクラス分
類を行って適応的な変換処理を行う際に、時間勾配（フ
レーム差分）と、空間勾配（隣接画素差分）をそれぞれ
非線形量子化するための２種類のＲＯＭ２４，２５を持
ち、さらにその２種類のＲＯＭ出力を入力し、クラス情
報を発生する第３のＲＯＭ２６を持つことにより、これ
らを１つのＲＯＭで構成する場合に比べて小さいハード
ウェアで済み、しかも、各ＲＯＭ２４，２５やＲＯＭ２
６の入出力特性をチューニングすることで、性能向上も
図れる。
【００３３】なお、本発明は上述した実施の形態のみに
限定されるものではなく、例えば、クラス分類は、ＡＤ
ＲＣと組み合わせて行っているが、勾配法のみ、あるい
は他のクラス分類手法との組み合わせで最終的なクラス
分類を行わせてもよい。また、標準解像度の映像信号
（ＳＤ信号）を高解像度の映像信号（ＨＤ信号）に変換
する場合のみに限定されず、所定解像度の映像信号を他
の解像度の映像信号に変換する場合や、所定のサンプリ
ング周波数あるいはサンプルビット数のオーディオ信号
を、他のサンプリング周波数やサンプルビット数のオー
ディオ信号に変換する場合等にも適用できることは勿論
である。
限定されるものではなく、例えば、クラス分類は、ＡＤ
ＲＣと組み合わせて行っているが、勾配法のみ、あるい
は他のクラス分類手法との組み合わせで最終的なクラス
分類を行わせてもよい。また、標準解像度の映像信号
（ＳＤ信号）を高解像度の映像信号（ＨＤ信号）に変換
する場合のみに限定されず、所定解像度の映像信号を他
の解像度の映像信号に変換する場合や、所定のサンプリ
ング周波数あるいはサンプルビット数のオーディオ信号
を、他のサンプリング周波数やサンプルビット数のオー
ディオ信号に変換する場合等にも適用できることは勿論
である。
【００３４】
【発明の効果】本発明によれば、入力信号をクラス分類
し、分類されたクラスに応じた予測係数予測係数を用い
て予測演算して予測値を出力する際に、上記クラス分類
処理は、上記入力信号の空間勾配及び時間勾配を求め、
上記空間勾配を第１の変換テーブルにより非線形量子化
し、上記時間勾配を第２の変換テーブルにより非線形量
子化し、これらの第１及び第２の変換テーブルからの各
出力を第３の変換テーブルによりクラス情報に変換して
いるため、勾配法を用いたクラス分類が簡単なハードウ
ェア構成で容易に実現できる。
し、分類されたクラスに応じた予測係数予測係数を用い
て予測演算して予測値を出力する際に、上記クラス分類
処理は、上記入力信号の空間勾配及び時間勾配を求め、
上記空間勾配を第１の変換テーブルにより非線形量子化
し、上記時間勾配を第２の変換テーブルにより非線形量
子化し、これらの第１及び第２の変換テーブルからの各
出力を第３の変換テーブルによりクラス情報に変換して
いるため、勾配法を用いたクラス分類が簡単なハードウ
ェア構成で容易に実現できる。
【００３５】また、適応型ダイナミックレンジ符号化に
より得られるクラス情報と、上記第３の変換テーブルか
らの符号化情報とに基づいて、クラスコードを生成する
ことにより、性能の良いクラス分類が行える。
より得られるクラス情報と、上記第３の変換テーブルか
らの符号化情報とに基づいて、クラスコードを生成する
ことにより、性能の良いクラス分類が行える。
【図１】本発明の実施の形態として、クラス分類を伴う
変換処理を行う画像情報変換装置の一例を示すブロック
図である。
変換処理を行う画像情報変換装置の一例を示すブロック
図である。
【図２】本発明の実施の形態の画像情報変換装置に用い
られる勾配法によりクラス情報を生成するための動き検
出部を示すブロック図である。
られる勾配法によりクラス情報を生成するための動き検
出部を示すブロック図である。
【図３】従来の画像情報変換装置に用いられる勾配法に
よりクラス情報を生成するための動き検出部を示すブロ
ック図である。
よりクラス情報を生成するための動き検出部を示すブロ
ック図である。
【図４】勾配法における動きベクトル検出のための水平
方向差分の総和をとるための構成の一例を示すブロック
図である。
方向差分の総和をとるための構成の一例を示すブロック
図である。
【図５】ＲＯＭテーブルによる非線形量子化の入出力特
性を示す特性図である。
性を示す特性図である。
【図６】ＲＯＭテーブルによる非線形量子化の入出力特
性の他の例を示す特性図である。
性の他の例を示す特性図である。
【図７】本発明の実施の形態を説明するための、クラス
分類を伴う変換処理の予測係数を求めるための学習装置
の一例を示すブロック図である。
分類を伴う変換処理の予測係数を求めるための学習装置
の一例を示すブロック図である。
１２ 予測タップ生成回路、 １３ 予測演算回路、
１５ クラス分類回路、 １６ 予測係数ＲＯＭ、 １
７ ＡＤＲＣ（適応型ダイナミックレンジ符号化）回
路、 １８ クラスコード生成回路、 ２２ 空間勾配
算出回路、 ２３時間勾配算出回路、 ２４，２５，２
６ ＲＯＭ
１５ クラス分類回路、 １６ 予測係数ＲＯＭ、 １
７ ＡＤＲＣ（適応型ダイナミックレンジ符号化）回
路、 １８ クラスコード生成回路、 ２２ 空間勾配
算出回路、 ２３時間勾配算出回路、 ２４，２５，２
６ ＲＯＭ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD05 CG03 CH09 5C059 KK06 MA04 MA05 MC12 MC14 NN01 TA08 TA53 TB10 TC02 TD13 TD15 UA02 UA38 5C063 AA01 AB03 AC01 BA12 CA07 CA36 CA38
Claims (6)
- 【請求項１】 入力信号をクラス分類するクラス分類手
段と、 上記クラス分類手段により分類されたクラスに応じた予
測係数を出力する予測係数出力手段と、 上記入力信号を上記予測係数出力手段からの予測係数を
用いて予測演算して予測値を出力する予測演算手段とを
有し、 上記クラス分類手段は、 上記入力信号の空間勾配を求める空間勾配算出手段と、 上記入力信号の時間勾配を求める時間勾配算出手段と、 上記空間勾配算出手段からの出力を非線形量子化するた
めの第１の変換テーブルと、 上記時間勾配算出手段からの出力を非線形量子化するた
めの第２の変換テーブルと、 上記第１及び第２の変換テーブルからの各出力をクラス
情報に変換する第３の変換テーブルとを有することを特
徴とする信号処理装置。 - 【請求項２】 上記クラス分類手段は、適応型ダイナミ
ックレンジ符号化により得られるクラス情報と、上記第
３の変換テーブルからの符号化情報とに基づいて、クラ
スコードを生成することを特徴とする請求項１記載の信
号処理装置。 - 【請求項３】 上記入力信号はビデオ信号であり、上記
空間勾配は、水平方向の隣接画素間の差分をとって得ら
れる水平空間勾配と、垂直方向の隣接画素間の差分をと
って得られる垂直空間勾配とを有し、上記時間勾配は画
素のフレーム差分をとって得られるものであることを特
徴とする請求項１記載の信号処理装置。 - 【請求項４】 入力信号をクラス分類し、分類されたク
ラスに応じた予測係数予測係数を用いて予測演算して予
測値を出力する信号処理方法において、 上記クラス分類処理は、上記入力信号の空間勾配及び時
間勾配を求め、上記空間勾配を第１の変換テーブルによ
り非線形量子化し、上記時間勾配を第２の変換テーブル
により非線形量子化し、これらの第１及び第２の変換テ
ーブルからの各出力を第３の変換テーブルによりクラス
情報に変換することを特徴とする信号処理方法。 - 【請求項５】 上記クラス分類処理は、適応型ダイナミ
ックレンジ符号化により得られるクラス情報と、上記第
３の変換テーブルからの符号化情報とに基づいて、クラ
スコードを生成することを特徴とする請求項４記載の信
号処理方法。 - 【請求項６】 上記入力信号はビデオ信号であり、上記
空間勾配は、水平方向の隣接画素間の差分をとって得ら
れる水平空間勾配と、垂直方向の隣接画素間の差分をと
って得られる垂直空間勾配とを有し、上記時間勾配は画
素のフレーム差分をとって得られるものであることを特
徴とする請求項４記載の信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27898798A JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27898798A JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000113167A true JP2000113167A (ja) | 2000-04-21 |
| JP4164912B2 JP4164912B2 (ja) | 2008-10-15 |
Family
ID=17604847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27898798A Expired - Fee Related JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164912B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004259218A (ja) * | 2003-02-28 | 2004-09-16 | Sony Corp | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム |
| JP2009135878A (ja) * | 2007-11-06 | 2009-06-18 | Sony Corp | 画像処理装置及び方法、学習装置及び方法、並びにプログラム |
| KR100982766B1 (ko) * | 2002-09-12 | 2010-09-16 | 소니 주식회사 | 데이터 처리 장치 및 그 방법, 컴퓨터 판독 가능한 매체 |
-
1998
- 1998-09-30 JP JP27898798A patent/JP4164912B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100982766B1 (ko) * | 2002-09-12 | 2010-09-16 | 소니 주식회사 | 데이터 처리 장치 및 그 방법, 컴퓨터 판독 가능한 매체 |
| JP2004259218A (ja) * | 2003-02-28 | 2004-09-16 | Sony Corp | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム |
| JP2009135878A (ja) * | 2007-11-06 | 2009-06-18 | Sony Corp | 画像処理装置及び方法、学習装置及び方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4164912B2 (ja) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100276789B1 (ko) | 디지탈 데이타 변환 장치 및 방법 | |
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| US20050129124A1 (en) | Adaptive motion compensated interpolating method and apparatus | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| US5579058A (en) | Motion detection circuit and method using spatial information | |
| JP2006508584A (ja) | ベクトル予測のための方法 | |
| JP4164912B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| CN1078795C (zh) | 用在图象编码系统中的改进的运动补偿方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP4734239B2 (ja) | 空間的信号変換 | |
| JP3784086B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
| JP2001285882A (ja) | ノイズ低減装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3824176B2 (ja) | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080721 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |