JP2002199349A - 画像処理装置および方法 - Google Patents

画像処理装置および方法

Info

Publication number
JP2002199349A
JP2002199349A JP2000392253A JP2000392253A JP2002199349A JP 2002199349 A JP2002199349 A JP 2002199349A JP 2000392253 A JP2000392253 A JP 2000392253A JP 2000392253 A JP2000392253 A JP 2000392253A JP 2002199349 A JP2002199349 A JP 2002199349A
Authority
JP
Japan
Prior art keywords
image signal
pixel
image
class
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000392253A
Other languages
English (en)
Other versions
JP4483085B2 (ja
JP2002199349A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Satoshi Teshigahara
智 勅使川原
Yasuhiro Fujimori
泰弘 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000392253A priority Critical patent/JP4483085B2/ja
Publication of JP2002199349A publication Critical patent/JP2002199349A/ja
Publication of JP2002199349A5 publication Critical patent/JP2002199349A5/ja
Application granted granted Critical
Publication of JP4483085B2 publication Critical patent/JP4483085B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 予め学習した関係を用いることで、より高精
細で自然な画像信号の変換を可能とする。 【解決手段】 動きベクトルおよび時間モード値からタ
ップ中心位置が決定され、タップ中心位置に基づいて、
複数の生徒画素からなる生徒画素群が取り出され、取り
出された生徒画素群が予測係数学習部107に供給され
る。タップ中心位置に基づいて、複数の生徒画素からな
るクラス画素群が取り出され、取り出されたクラス画素
群からクラス値が決定される。位置モード値決定部10
9は、タップ中心位置、動きベクトルおよび時間モード
値に基づいて位置モード値を決定する。予測係数学習部
107には、時間モード値、位置モード値、クラス値、
生徒学習群、教師画素の情報を使用して生徒画素群から
教師画素を予測するための予測係数を学習する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、第1の画像信号
をより高品質な第2の画像信号へ変換するのに適用可能
な画像処理装置および方法に関する。
【0002】
【従来の技術】ある放送方式で作成された画像信号を他
の放送方式で利用するために、フレーム周波数を変換す
ることが行なわれている。従来のフレーム周波数変換
は、フレーム周波数の関係に基づいて、フレーム数を変
換し、また、検出された動きベクトルに基づいて画素を
移動することによって、変換先の画像を生成している。
従来のフレーム周波数変換は、元の画像(入力画像)の
性質と無関係になされるものであった。
【0003】また、フィルムに撮影された映画素材をテ
レビ放送用のビデオ信号へ変換するテレシネ変換が行な
われている。テレシネ変換においては、一般的にフィル
ムのコマ数が毎秒24コマであるので、変換先のビデオ
信号のフレーム周波数によって、フィルムの1コマの画
像を2回繰り返して表示したり、2回繰り返しと3回繰
り返しの組を周期的に行なう2−3プルダウンと呼ばれ
る方法で表示したりしている。
【0004】
【発明が解決しようとする課題】従来のフレーム周波数
変換方法は、入力画像の性質と無関係に固定の方法で出
力画像を生成するので、出力画像の解像度の面で問題が
生じることがあった。また、従来のテレシネ変換方法
は、動きのぎごちなさが変換先の画像で非常に目立つ問
題があった。
【0005】従って、この発明の目的は、画像信号の変
換を行なう際に、より高解像度で、動きが自然な画像信
号を得ることが可能な画像処理装置および方法を提供す
ることにある。
【0006】
【課題を解決するための手段】上述した課題を解決する
ために、請求項1の発明は、第1の画像信号を、第1の
画像信号より高品質の第2の画像信号へ変換する装置に
おいて、第1の画像信号に基づいて、第2の画像信号の
注目画素の動き情報を第2の画像信号の画素間隔以下の
精度で求める動き情報検出手段と、動き情報に基づい
て、注目画素を複数のクラスの一つに分類するクラス分
類手段と、クラスに基づいた生成方式で、注目画素を生
成する画素生成手段とを有することを特徴とする画像処
理装置である。
【0007】請求項15の発明は、第1の画像信号を、
第1の画像信号より高品質の第2の画像信号へ変換する
方法において、第1の画像信号に基づいて、第2の画像
信号の注目画素の動き情報を第2の画像信号の画素間隔
以下の精度で求める動き情報検出ステップと、動き情報
に基づいて、注目画素を複数のクラスの一つに分類する
クラス分類ステップと、クラスに基づいた生成方式で、
注目画素を生成する画素生成ステップとを有することを
特徴とする画像処理方法である。
【0008】請求項29の発明は、第1の画像信号を、
第1の画像信号より高品質の第2の画像信号へ変換する
画像処理装置であって、第1の画像信号に基づいて、第
2の画像信号の注目画素の動き情報を第2の画像信号の
画素間隔以下の精度で求め、動き情報に基づいて、注目
画素を複数のクラスの一つに分類し、クラスに基づいた
生成方式で、注目画素を生成する画像処理装置における
生成方式を予め学習する画像処理装置において、第1の
画像信号に相当する生徒画像信号に基づいて、第2の画
像信号に相当する教師画像信号の注目画素の動き情報を
教師画像信号の画素間隔以下の精度で求める動き情報検
出手段と、動き情報に基づいて、注目画素を複数のクラ
スの一つに分類するクラス分類手段と、生徒画像信号お
よび教師画像が入力され、クラス毎に生成方式を求める
学習手段とからなる画像処理装置である。
【0009】請求項30の発明は、第1の画像信号を、
第1の画像信号より高品質の第2の画像信号へ変換する
画像処理方法であって、第1の画像信号に基づいて、第
2の画像信号の注目画素の動き情報を第2の画像信号の
画素間隔以下の精度で求め、動き情報に基づいて、注目
画素を複数のクラスの一つに分類し、クラスに基づいた
生成方式で、注目画素を生成する画像処理装置における
生成方式を予め学習する画像処理方法において、第1の
画像信号に相当する生徒画像信号に基づいて、第2の画
像信号に相当する教師画像信号の注目画素の動き情報を
教師画像信号の画素間隔以下の精度で求める動き情報検
出ステップと、動き情報に基づいて、注目画素を複数の
クラスの一つに分類するクラス分類ステップと、生徒画
像信号および教師画像が入力され、クラス毎に生成方式
を求める学習ステップとからなる画像処理方法である。
【0010】この発明によれば、第2の画像信号の画素
間隔以下の精度で注目画素の動き情報を求め、動き情報
に基づいて注目画素をクラス分類することによって、よ
り高解像度で、動きが自然な画像信号を得ることができ
る。
【0011】
【発明の実施の形態】以下、この発明をフレーム周波数
の変換処理に適用した一実施形態について図面を参照し
て説明する。図1は、一実施形態の全体的構成を示すも
のである。参照符号100が画像信号関係学習装置であ
り、参照符号200が画像信号関係適用装置である。学
習装置100に対しては、教師画像信号と生徒画像信号
とが供給される。教師画像信号は、変換後フレーム周波
数の画像信号であり、生徒画像信号は、教師画像信号と
同一の画像を内容とし、変換前フレーム周波数の画像信
号である。フレーム周波数の変換としては、テレビジョ
ン方式の違いに基づく場合、時間解像度を高くする場合
等によって、変換前フレーム周波数と変換後フレーム周
波数の値としては、種々の値をとりうる。学習装置10
0において、教師画像信号と生徒画像信号の関係が学習
され、画像信号関係係数が学習装置100から出力され
る。
【0012】学習装置100で得られた係数が適用装置
200に与えられる。適用装置200は、学習装置10
0によって学習した係数と変換前フレーム周波数の画像
信号を入力とし、変換後フレーム周波数の画像信号を出
力する。
【0013】図2は、学習装置100の一例を示すもの
である。学習装置100に対しては、変換前フレーム周
波数を有する生徒画像、変換後フレーム周波数を有する
教師画像、変換前後の周波数情報を入力する。生徒画像
信号が動きベクトル検出部101に供給され、所定数の
フレーム間での動きベクトルが検出される。変換前後の
周波数情報は、周波数情報コントローラ102から出力
される。周波数情報が時間モード値決定部103に供給
され、時間モード値が決定される。時間モード値は、学
習すべきフレームの時間位置に関する値である。
【0014】動きベクトルおよび時間モード値がタップ
中心位置決定部104に供給され、タップ中心位置が決
定される。タップ中心位置が生徒画素群取り出し部10
5およびクラス画素群取り出し部106に供給される。
取り出し部105は、タップ中心位置に基づいて、複数
の生徒画素からなる生徒画素群を取り出す。取り出され
た生徒画素群が予測係数学習部107に供給される。
【0015】取り出し部106は、タップ中心位置に基
づいて、複数の生徒画素からなるクラス画素群を取り出
す。取り出されたクラス画素群がクラス値決定部108
に供給される。クラス値決定部108は、クラス画素群
からクラス値を決定する。クラス値が予測係数学習部1
07に供給される。
【0016】位置モード値決定部109は、タップ中心
位置、動きベクトルおよび時間モード値に基づいて後述
するように、位置モード値を決定する。位置モード値が
予測係数学習部107に供給される。さらに、時間モー
ド値に基づいて教師画素切り出し部110が教師画素を
切り出す。切り出された教師画素が予測係数学習部10
7に供給される。
【0017】予測係数学習部107には、時間モード
値、位置モード値、クラス値、生徒学習群、教師画素が
供給される。予測係数学習部107は、これらの情報を
使用して後述するように、生徒画素群から教師画素を予
測するための予測係数を学習する。
【0018】図2では、学習装置100がブロック図で
示されているが、学習装置100をソフトウェアによっ
て実現することも可能である。図3は、学習方法の処理
を示すフローチャートである。最初にステップS1おい
て、生徒画像および教師画像が入力される。周波数情報
に基づいてステップS2において時間モード値が決定さ
れる。
【0019】ステップS3では、生徒画像から動きベク
トルが検出される。ステップS4では、時間モード値と
動きベクトルに基づいてタップ中心位置が検出される。
時間モード値、動きベクトルおよびタップ中心位置から
ステップS5において、位置モード値が決定される。
【0020】ステップS6では、タップ中心位置の情報
に基づいて生徒画像からクラス画素群が取り出される。
ステップS7では、クラス画素群を使用してクラス分類
処理がなされ、クラス値が決定される。ステップS8で
は、タップ中心位置の情報に基づいて生徒画像から生徒
画素群が取り出される。ステップS9では、教師画像か
ら教師画素が取り出される。
【0021】ステップS10からステップS15までの
処理は、最小二乗法に基づく予測係数学習処理である。
すなわち、複数の予測係数と生徒画素との線型1次結合
によって予測値を推定した時に、予測値と教師画像中の
真値との誤差の二乗和を最小とするように、予測係数を
定める。実際的な計算方法としては、誤差の二乗和に関
する式を偏微分し、偏微分値が0となるように予測係数
が定められる。その場合に正規方程式がたてられ、正規
方程式が掃き出し法等の一般的な行列解法にしたがって
解かれ、予測係数が算出される。
【0022】ステップS10は、各クラス毎の正規方程
式にデータを足し込む処理である。ステップS11で
は、フレーム内全画素を処理したか否かが決定される。
処理が終了していなならば、ステップS4(タップ中心
位置決定)に戻る。フレーム内全画素を処理したと判断
されると、ステップS12において、画像内の全フレー
ムの処理を終了したか否かが決定される。処理が終了し
ていないならば、ステップS2(時間モード値決定)に
戻る。さらに、ステップS13では、入力全画像を処理
したか否かが決定される。処理が終了していないなら
ば、ステップS1(画像を入力)に戻る。
【0023】ステップS13において、入力された全画
像を処理したものと決定されると、ステップS14にお
いて掃き出し法によって正規方程式が解かれる。そし
て、ステップS15において求められた予測係数が出力
される。
【0024】さらに、この発明の一実施形態について説
明する。最初に動きベクトル検出部101における動き
ベクトル検出について説明する。動きベクトルの検出の
方法としては、ブロックマッチング法、勾配法等を使用
できる。動きベクトルの精度は、画素単位精度以上あれ
ば良い。動きベクトルを検出する領域単位は、画素毎で
も良いし、最終的に生成する画像が劣化しない範囲であ
れば、水平および/または垂直方向に数画素おきでも良
い。
【0025】動きベクトルを検出するフレーム数は、生
徒画像の2フレーム間以上とする。フレーム数を多くす
れば、空間アクティビティの低い領域や、繰り返しパタ
ーンを含む領域での誤検出を減らすことができる。一
方、仮定した直線性から外れる動きや、カバード/アン
カバードバックグラウンドでの誤検出が増える可能性が
ある。以降の説明では、一例として生徒画像の2フレー
ム間で画素毎に画素単位精度で動きベクトルを検出する
ものとして説明する。
【0026】次に、時間モード値決定部103につい
て、図4を参照して説明する。時間モード値決定部10
3は、変換前後の周波数から学習すべきフレームの時間
位置に関する時間モード値を決定する。変換前後のフレ
ーム周波数の比と、生徒画像と教師画像で同じ時間位置
のフレームで学習を行なうか否かによって、モードの数
と決定方法とが異なる。
【0027】図4Aは、フレーム周波数を2倍にする変
換のための係数を学習する場合を示す。この場合では、
生徒画像の2フレームの間に教師画像の2フレームが入
る時間関係とされる。そして、教師画像フレームのどち
らの時間的位置の係数を学習するかによって、モード0
およびモード1が規定される。例えば2フレーム間で、
より時間的に前の教師画像フレーム上の画素値を予測す
るための係数を学習する場合には、時間モード値が0と
され、他方の教師画像フレーム上の画素値を予測するた
めの係数を学習する場合には、時間モード値が1とされ
る。
【0028】図4Bは、フレーム周波数を2.5倍にす
る変換のための係数を学習する場合を示す。この場合で
は、生徒画像と教師画像とが同じ時間的位置のフレーム
では、係数を学習しないものとしており、生徒画像の2
フレーム間に教師画像の2フレームが入る。したがっ
て、4種類の時間的位置の教師画像フレーム上の画素値
を予測する係数を学習することになる。どのフレーム位
置の係数を学習するかによって、時間モード値が0から
3までの何れかの値をとる。
【0029】次に、動きベクトル値と時間モード値を受
け取ってタップ中心位置を決定するタップ中心位置決定
部104について、図5を参照して説明する。図5A
は、フレーム周波数を5倍に変換する処理において、教
師画像と、生徒画像の2フレームから決定された動きベ
クトルとを示している。一例として、動きベクトルが垂
直方向の成分のみとし、2画素分の下方向の動きベクト
ルが検出されたものとしている。タップ中心位置は、次
の手順で決定される。
【0030】まず、教師フレーム上に設定した注目画素
位置に対応する生徒フレーム上の画素位置での動きベク
トルを注目画素位置にシフトする。次に、時間モード値
によって、動きベクトルを検出するのに使用した生徒画
像の2フレームに対して動きベクトルを割り振る。注目
画素位置から割り振られた動きベクトル分ずれた位置を
計算する。その位置を四捨五入、切り捨て、または切り
上げによって、整数画素位置に丸めたものをタップ中心
位置とする。タップ中心位置は、教師画像のフレームの
前後に位置する生徒画像の2フレームに対してそれぞれ
設定される。タップ中心位置を中心として画素(生徒画
素群およびクラス画素群)を切り出す時には、この前後
の2フレームのそれぞれから画素が切り出される。
【0031】図5Bおよび図5Cの例は、異なる時間モ
ード値の場合を示している。図5Bの例では、割り振ら
れた動きベクトル分ずれた位置を計算し、その位置を整
数画素位置に丸めても、生徒画像上のタップ中心位置の
画素が1画素移動しない。一方、図5Cの例では、丸め
た結果、生徒画像上のタップ中心位置の画素が1画素ず
れている。
【0032】図6は、タップ中心位置決定処理をソフト
ウェア処理で行なう場合の流れを示すフローチャートで
ある。ステップS21では、教師画像上の注目画素位置
を決定する。次のステップS22では、生徒画像上の注
目画素位置の動きベクトルを読み出す。ステップS23
では、フレーム間時間距離比に応じた動きベクトルを計
算する。この処理は、時間モード値によって、動きベク
トルを検出するのに使用した生徒画像の2フレームに対
して動きベクトルを割り振ることである。例えば生徒画
像の2フレーム間の中心位置に教師画像のフレームが位
置する時には、動きベクトルが1/2とされる。
【0033】そして、ステップS24においては、ステ
ップS23で計算された動きベクトルに応じた生徒画像
上の対応画素位置(小数精度)の計算を行なう。ステッ
プS25では、切り捨て、切り上げ、四捨五入等の処理
で、整数画素位置へ対応画素位置を丸める。以上でタッ
プ中心位置の決定処理が終了する。
【0034】図7は、上述したタップ中心位置に基づい
て、クラス画素群取り出し部106によって取り出され
るクラス画素群のいくつかの例を示している。生徒画像
上で、上述したように決定されたタップ中心位置の画素
が図7では、黒丸で示されている。また、周辺の画素
で、クラス画素として使用される画素には、斜線が付さ
れている。時間的に連続する生徒画像の2フレームのそ
れぞれにおいて、同一の配置関係にあるクラス画素群が
取り出される。
【0035】クラス画素群を取り出す場合には、タップ
中心位置決定部104で決めておいたタップ中心位置か
らの相対位置をメモリから読み出し、タップ中心位置か
らそれぞれのクラス画素位置を求め、対応する画素値を
フレームバッファから読み出すようになされる。クラス
画素の数および位置は、学習の効率、メモリの制限、処
理速度などの点を考慮して適宜定められる。
【0036】次に、クラス値決定部108におけるクラ
ス値の決定処理について図8を参照して説明する。上述
したように取り出されたクラス画素群の画素値を1ビッ
トADRC(Adaptive Dynamic Range Coding)によって
符号化し、符号化の結果(ビット列)を整数としてみた
値をクラス値とする。
【0037】画素値が8ビットで表現されている時に
は、画素値として0から255までの値がありうる。図
8では、時間的に連続する生徒画像の2フレームの各フ
レームに5個のクラス画素が含まれ、合計10画素によ
ってクラス画素群が構成されている。この10画素のク
ラス画素値の最大値と最小値の差がダイナミックレンジ
DRである。1ビットADRCであるので、DRが1/
2とされた値が中値とされ、この中値に対するクラス画
素値の大小関係が調べられる。クラス画素値が中値より
小であれば、"0" と符号化され、クラス画素値が中値以
上であれば、"1"と符号化される。図8の例では、1ビ
ットADRCの結果の符号化値のビット列が(0000
100001)となる。このビット列を整数としてみた
値(=33)がクラス値とされる。
【0038】クラス数を削減するために、符号化結果の
ビット列をビット毎に反転させた値をクラス値としても
良い。この場合は、クラス数は半分となる。また、タッ
プ配置が左右/上下に対称な場合、画素値を並び替えて
同様の計算を行なって、クラス数をそれぞれ半分として
も良い。
【0039】次に、位置モード値決定部109における
位置モード値の決定処理について、図9を参照して説明
する。位置モード値決定部109には、動きベクトル、
時間モード値およびタップ中心位置が与えられる。前述
したように、タップ中心位置を決定する際に、教師フレ
ーム上の注目画素位置から生徒画像の2フレームにそれ
ぞれ動きベクトルを割り振っている。動きベクトルは、
画素単位精度で求めるようにしている。したがって、注
目画素位置から動きベクトル割り振り分シフトした位置
と整数格子点位置との小数以下のずれは、フレーム周波
数2倍の時には、0および0.5の二通りが存在する。
図5に示した例のように、フレーム周波数が5倍の時に
は、0,0.2,0.4,0.6 ,0.8の5通りのパ
ターンがある。フレーム周波数が2.5倍の時でも、フ
レーム周波数が5倍の時と同様の5通りのパターンがあ
る。
【0040】この小数以下のずれ量を水平方向および垂
直方向毎に考えると、フレーム周波数が2倍の時は、2
×2=4通りの位置モード値を決定する。フレーム周波
数が5倍の時は、5×5=25通りの位置モード値を決
定する。図9は、生徒フレームの2フレームの一方のフ
レームにおける画素位置を示し、フレーム周波数を5倍
に変換する例である。図9Aは、切り捨てによって位置
モード値を決定する場合を示す。小数位置タップ中心
(白丸で示す)が5×5の領域内にある時に、切り捨て
処理によって、黒丸で示す整数位置タップ中心に変更さ
れる。四捨五入による場合では、図9Bに示すように、
5×5の領域内に小数位置タップ中心がある時に、その
中心の黒丸の画素が四捨五入後の整数位置タップ中心と
なる。5×5の25通りの位置モード値が規定される。
位置モード値は、予測係数学習部107に供給される。
【0041】図10を参照してソフトウェア処理によっ
て位置モード値を決定する時の処理の流れを説明する。
ステップS31では、教師画像上の注目画素位置が決定
される。ステップS32では、生徒画像上の注目画素位
置の動きベクトルを読み出す。ステップS33では、フ
レーム間時間距離比に応じて動きベクトルを計算する。
ステップS34では、計算した動きベクトルに応じた生
徒画像上の対応画素位置(小数精度)を計算する。ステ
ップS35では、対応画素位置とタップ中心位置との差
分を計算する。そして、ステップS36において、差分
を位置モード値に変換する。
【0042】上述したタップ中心位置決定部104で決
定されたタップ中心位置に基づいて、生徒画素群取り出
し部105が生徒画素群を取り出す。図11は、取り出
される生徒画素群のいくつかの例を示している。前述し
たクラス画素群の取り出し(図7参照)と生徒画素群の
取り出しは、タップ中心位置からの相対位置が異なる点
を除いて同様である。生徒画素群として取り出す生徒画
素の数および位置は、学習の効率、メモリの制限、処理
速度などの点を考慮して適宜定めるようになされる。
【0043】教師画素取り出し部110は、時間モード
値に基づいて、教師画像から教師画素を取り出すもので
ある。すなわち、現在どの時間モード値の係数を学習し
ているかによって、入力された教師画像のうちの一つを
選択し、注目画素位置に対応する画素値をフレームバッ
ファから読み出す。
【0044】予測係数学習部107は、時間モード値、
位置モード値、クラス値、生徒画素群、教師画素に基づ
いて、生徒画素群から教師画素を予測するための予測係
数を学習するものである。以下、学習部107の処理に
ついて説明する。ある特定の時間モード値mt 、位置モ
ード値mp 、クラス値cの組み合わせを持つ生徒画素群
si(1≦i≦n)と教師画素xt の対は、ほぼ同様の
性質を持つと考えられる。そで、そのような対を集めて
予測係数(w1〜wn)を求める。
【0045】一例として、生徒画素群の画素値の1次結
合によって教師画素を予測する。すなわち、 xt ^=w1 ×xs1+w2 ×xs2+‥‥+wn ×xsn と表せる。但し、^は、予測値を表す。
【0046】上述した予測式を同じ(mt 、mp 、c)
の組み合わせを持つ全ての生徒画素群xsji(1≦i≦
n,1≦j≦m)に対して適用すると、次式の関係とな
る。
【0047】
【数1】
【0048】予測係数学習部107には、実際の教師画
素値(xt1,xt2,・・・,xtm)が供給されるので、
実際の教師画素値と予測される画素値(xt1^,x
t2^,・・・,xtm^)との誤差が最小となるように最
小二乗法によって、線型1次結合の係数(w1,w2
・・・,wn)を求める。これが予測係数である。予測
係数は、(mt 、mp 、c)の組み合わせの全てに関し
て求められる。
【0049】図12は、画像信号関係適用装置200の
一例の構成を示す。上述した学習装置100によって求
められた予測係数が予測係数メモリ210に格納されて
いる。メモリ210には、時間モード値mt 、位置モー
ド値mp 、クラス値cの組み合わせ(mt 、mp 、c)
毎に係数が格納されている。
【0050】適用装置200に対しては、変換前フレー
ム周波数を有する入力画像、変換前後の周波数情報を入
力する。入力画像信号が動きベクトル検出部201に供
給され、所定数のフレーム間での動きベクトルが検出さ
れる。なお、入力画像がMPEGのように動きベクトル
を用いて圧縮したものである場合には、サイド情報とし
て送られてきた動きベクトルが後の処理の要求する精度
を持つならば、復号時に得られる動きベクトルをそのま
ま流用し、動きベクトルの検出処理を省略することがで
きる。変換前後の周波数情報は、周波数情報コントロー
ラ202から出力される。周波数情報が時間モード値決
定部203に供給され、時間モード値が決定される。時
間モード値は、学習すべきフレームの時間位置に関する
値である。
【0051】動きベクトルおよび時間モード値がタップ
中心位置決定部204に供給され、タップ中心位置が決
定される。タップ中心位置が予測画素群取り出し部20
5およびクラス画素群取り出し部206に供給される。
取り出し部205は、タップ中心位置に基づいて、複数
の予測画素からなる予測画素群を取り出す。取り出され
た予測画素群が予測演算部207に供給される。
【0052】取り出し部206は、タップ中心位置に基
づいて、複数の予測画素からなるクラス画素群を取り出
す。取り出されたクラス画素群がクラス値決定部208
に供給される。クラス値決定部208は、クラス画素群
からクラス値を決定する。クラス値が予測係数メモリ2
10に供給される。
【0053】位置モード値決定部209は、タップ中心
位置、動きベクトルおよび時間モード値に基づいて、位
置モード値を決定する。位置モード値が予測係数メモリ
210に供給される。さらに、時間モード値が予測係数
メモリ210に供給される。
【0054】予測係数メモリ210には、時間モード値
t 、位置モード値mp 、クラス値cが供給され、(m
t 、mp 、c)の組み合わせに対応する予測係数(n個
の係数のセット)(w1,w2 ,・・・,wn)が予測係
数メモリ210から出力される。この予測係数と、予測
画素群取り出し部205からの予測画素群が予測演算部
207に供給される。予測演算部207では、予測画素
群の予測画素と予測係数との線型1次結合によって、変
換後のフレーム周波数の画像信号を生成する。予測演算
部207は、予測した画素値がフレーム単位まで蓄積さ
れたら、フレームの画像データを出力する。
【0055】予測演算部207の予測演算は、予測係数
(w1,w2 ,・・・,wn)と予測画素群xpi(1≦i
≦n)とを使用し、 x^=w1p1+w2p2+・・・+wnpn の演算によって予測画素値x^を生成する。
【0056】動きベクトル検出部201、周波数情報コ
ントローラ202、時間モード値決定部203、タップ
中心位置決定部204、予測学習群取り出し部205、
クラス画素群取り出し部206、クラス値決定部20
8、位置モード決定部209は、上述した学習装置10
0における動きベクトル検出部101、周波数情報コン
トローラ102、時間モード値決定部103、タップ中
心位置決定部104、生徒画素群取り出し部105、ク
ラス画素群取り出し部106、クラス値決定部108、
位置モード決定部109と同様の機能を有するもので、
その詳細な説明は、省略する。
【0057】図13は、画像信号関係適用装置200を
ソフトウェア処理で実現した場合の処理の流れを示すフ
ローチャートである。ステップS41では、入力画像信
号が供給される。ステップS42において、時間モード
値が決定される。ステップS43において、動きベクト
ルが検出される。ステップS44においては、タップ中
心位置が決定される。ステップS45において、位置モ
ード値が決定される。
【0058】ステップS46においては、決定されたタ
ップ中心位置に基づいてクラス画素群が取り出され、ス
テップS47において、クラス値が決定され、また、ク
ラス値、位置モード値および時間モード値によってクラ
ス分類がなされる。ステップS48において、予測画素
群が取り出される。ステップS49において、記憶され
ている予測係数の内で、クラスに応じた予測係数が読み
出される。ステップS50では、予測画素群の複数の画
素と複数の予測係数の線型1次結合(予測演算)によっ
て、予測画素が生成される。ステップS51において、
生成された予測画素が出力される。
【0059】ステップS52では、フレーム内全画素を
処理したか否かが決定される。処理が終了していななら
ば、ステップS44(タップ中心位置決定)に戻る。フ
レーム内全画素を処理したと判断されると、ステップS
53において、画像内の全フレームの処理を終了したか
否かが決定される。処理が終了していないならば、ステ
ップS42(時間モード値決定)に戻る。さらに、ステ
ップS53では、入力全画像を処理したか否かが決定さ
れる。処理が終了していないならば、ステップS41
(画像を入力)に戻る。
【0060】この発明は、上述したこの発明の一実施形
態に限定されるものではなく、この発明の要旨を逸脱し
ない範囲内で様々な変形や応用が可能である。例えば線
型1次結合以外の予測演算式を使用しても良い。また、
レベル以外の特徴を使用してクラス分類を行なうように
しても良い。
【0061】
【発明の効果】上述したように、この発明は、実際に撮
影された高精細で動きの自然な変換後フレーム周波数の
教師画像信号と、それに対応し、変換前フレーム周波数
の生徒画像信号との間の関係を、変換前フレーム周波数
の生徒画像信号の性質の分類毎に学習する。また、学習
の結果得られる予測係数を用いて変換前フレーム周波数
の入力画像信号を変換後フレーム周波数の出力画像信号
へ変換する。このような処理によって、空間解像度が高
精細で、動きの自然な出力画像信号を得ることができ
る。
【図面の簡単な説明】
【図1】この発明の一実施形態の概略的構成を示すブロ
ック図である。
【図2】画像信号関係学習装置の一例のブロック図であ
る。
【図3】画像信号関係学習装置をソフトウェアで実現し
た場合の学習処理の一例を説明するフローチャートであ
る。
【図4】この発明の一実施形態における時間モード値を
説明するための略線図である。
【図5】この発明の一実施形態におけるタップ中心位置
決定方法を説明するための略線図である。
【図6】タップ中心位置決定方法をソフトウェアで実現
した場合の処理の一例を説明するフローチャートであ
る。
【図7】クラス画素群のいくつかの配置例を示す略線図
である。
【図8】クラス決定方法の一例を説明するための略線図
である。
【図9】位置モード値の説明に使用する略線図である。
【図10】位置モード値を求める方法をソフトウェアで
実現した場合の処理の一例を説明するフローチャートで
ある。
【図11】生徒画素群のいくつかの配置例を示す略線図
である。
【図12】画像信号関係適用装置の一例のブロック図で
ある。
【図13】画像信号関係適用装置をソフトウェアで実現
した場合の処理の一例を説明するフローチャートであ
る。
【符号の説明】
101,201・・・動きベクトル検出部、103,2
03・・・時間モード値決定部、104,204・・・
タップ中心位置決定部、105,205・・・生徒画素
群取り出し部、106,206・・・クラス画素群取り
出し部、107・・・予測係数学習部、108,208
・・・クラス値決定部、109,209・・・位置モー
ド値決定部、110・・・教師画素取り出し部、207
・・・予測演算部、210・・・予測係数メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤森 泰弘 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C063 AA01 AA06 AC01 BA03 BA08 BA10 BA12 CA05 CA07 CA16

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 第1の画像信号を、上記第1の画像信号
    より高品質の第2の画像信号へ変換する装置において、 上記第1の画像信号に基づいて、上記第2の画像信号の
    注目画素の動き情報を上記第2の画像信号の画素間隔以
    下の精度で求める動き情報検出手段と、 上記動き情報に基づいて、上記注目画素を複数のクラス
    の一つに分類するクラス分類手段と、 上記クラスに基づいた生成方式で、上記注目画素を生成
    する画素生成手段とを有することを特徴とする画像処理
    装置。
  2. 【請求項2】 請求項1において、 上記動き情報検出手段は、 上記第1の画像信号と上記注目画素との位置関係を示す
    画素位置情報を検出する画素位置情報検出手段と、 上記第1の画像信号から上記注目画素の動きベクトルを
    検出する動きベクトル検出部と、 上記注目画素位置情報と上記動きベクトルとに基づい
    て、上記動き情報を上記第2の画像信号の画素間隔以下
    の精度で求める画素以下動き検出手段とを有することを
    特徴とする画像処理装置。
  3. 【請求項3】 請求項2において、 上記画素位置情報は、外部からの入力によって得られる
    ことを特徴とする画像処理装置。
  4. 【請求項4】 請求項2において、 上記画素位置情報は、予め設けられていることを特徴と
    する画像処理装置。
  5. 【請求項5】 請求項2において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号との単位時間あたりのフレーム数であることを
    特徴とする画像処理装置。
  6. 【請求項6】 請求項2において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号とのフレーム数であることを特徴とする画像処
    理装置。
  7. 【請求項7】 請求項2において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号との単位フレームあたりの画素数であることを
    特徴とする画像処理装置。
  8. 【請求項8】 請求項1において、 上記第2の画像信号は、上記第1の画像信号よりも、空
    間解像度が高いことを特徴とする画像処理装置。
  9. 【請求項9】 請求項1において、 上記第2の画像信号は、上記第1の画像信号よりも、1
    フレーム当たりの画素数が多いことを特徴とする画像処
    理装置。
  10. 【請求項10】 請求項1において、 上記第2の画像信号は、上記第1の画像信号よりも、フ
    レーム数が多いことを特徴とする画像処理装置。
  11. 【請求項11】 請求項1において、 上記第2の画像信号は、上記第1の画像信号よりも、単
    位時間あたりのフレーム数が多いことを特徴とする画像
    処理装置。
  12. 【請求項12】 請求項1において、 上記クラス分類手段は、上記注目画素位置に基づいて、
    上記第1の画像信号から1乃至複数の画素をクラスタッ
    プとして導出するクラスタップ抽出手段と、 上記クラスタップから上記注目画素に対応した特徴を検
    出する特徴検出手段とを有し、 上記動き情報と上記特徴とに基づいて、上記注目画素を
    複数のクラスの一つに分類することを特徴とする画像処
    理装置。
  13. 【請求項13】 請求項1において、 上記画素生成手段は、 上記注目画素位置に基づいて、上記第1の画像信号から
    1乃至複数の画素を予測タップとして導出する予測タッ
    プ導出手段と、 上記生成方式に従い、上記予測タップを使用して、上記
    注目画素を生成することを特徴とする画像処理装置。
  14. 【請求項14】 請求項1において、 上記生成方式は、上記クラスに応じた係数と上記予測タ
    ップとを演算する方式であることを特徴とする画像処理
    装置。
  15. 【請求項15】 第1の画像信号を、上記第1の画像信
    号より高品質の第2の画像信号へ変換する方法におい
    て、 上記第1の画像信号に基づいて、上記第2の画像信号の
    注目画素の動き情報を上記第2の画像信号の画素間隔以
    下の精度で求める動き情報検出ステップと、 上記動き情報に基づいて、上記注目画素を複数のクラス
    の一つに分類するクラス分類ステップと、 上記クラスに基づいた生成方式で、上記注目画素を生成
    する画素生成ステップとを有することを特徴とする画像
    処理方法。
  16. 【請求項16】 請求項15において、 上記動き情報検出ステップは、 上記第1の画像信号と上記注目画素との位置関係を示す
    画素位置情報を検出する画素位置情報検出ステップと、 上記第1の画像信号から上記注目画素の動きベクトルを
    検出する動きベクトル検出ステップと、 上記注目画素位置情報と上記動きベクトルとに基づい
    て、上記動き情報を上記第2の画像信号の画素間隔以下
    の精度で求める画素以下動き検出ステップとを有するこ
    とを特徴とする画像処理方法。
  17. 【請求項17】 請求項16において、 上記画素位置情報は、外部からの入力によって得られる
    ことを特徴とする画像処理方法。
  18. 【請求項18】 請求項16において、 上記画素位置情報は、予め設けられていることを特徴と
    する画像処理方法。
  19. 【請求項19】 請求項16において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号との単位時間あたりのフレーム数であることを
    特徴とする画像処理方法。
  20. 【請求項20】 請求項16において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号とのフレーム数であることを特徴とする画像処
    理方法。
  21. 【請求項21】 請求項16において、 上記画素位置情報は、上記第1の画像信号と上記第2の
    画像信号との単位フレームあたりの画素数であることを
    特徴とする画像処理方法。
  22. 【請求項22】 請求項15において、 上記第2の画像信号は、上記第1の画像信号よりも、空
    間解像度が高いことを特徴とする画像処理方法。
  23. 【請求項23】 請求項15において、 上記第2の画像信号は、上記第1の画像信号よりも、1
    フレーム当たりの画素数が多いことを特徴とする画像処
    理方法。
  24. 【請求項24】 請求項15において、 上記第2の画像信号は、上記第1の画像信号よりも、フ
    レーム数が多いことを特徴とする画像処理方法。
  25. 【請求項25】 請求項15において、 上記第2の画像信号は、上記第1の画像信号よりも、単
    位時間あたりのフレーム数が多いことを特徴とする画像
    処理方法。
  26. 【請求項26】 請求項15において、 上記クラス分類ステップは、上記注目画素位置に基づい
    て、上記第1の画像信号から1乃至複数の画素をクラス
    タップとして導出するクラスタップ抽出ステップと、 上記クラスタップから上記注目画素に対応した特徴を検
    出する特徴検出ステップとを有し、 上記動き情報と上記特徴とに基づいて、上記注目画素を
    複数のクラスの一つに分類することを特徴とする画像処
    理方法。
  27. 【請求項27】 請求項15において、 上記画素生成ステップは、 上記注目画素位置に基づいて、上記第1の画像信号から
    1乃至複数の画素を予測タップとして導出する予測タッ
    プ導出ステップと、 上記生成方式に従い、上記予測タップを使用して、上記
    注目画素を生成することを特徴とする画像処理方法。
  28. 【請求項28】 請求項15において、 上記生成方式は、上記クラスに応じた係数と上記予測タ
    ップとを演算する方式であることを特徴とする画像処理
    方法。
  29. 【請求項29】 第1の画像信号を、上記第1の画像信
    号より高品質の第2の画像信号へ変換する画像処理装置
    であって、第1の画像信号に基づいて、第2の画像信号
    の注目画素の動き情報を上記第2の画像信号の画素間隔
    以下の精度で求め、動き情報に基づいて、注目画素を複
    数のクラスの一つに分類し、クラスに基づいた生成方式
    で、注目画素を生成する画像処理装置における上記生成
    方式を予め学習する画像処理装置において、 上記第1の画像信号に相当する生徒画像信号に基づい
    て、上記第2の画像信号に相当する教師画像信号の注目
    画素の動き情報を上記教師画像信号の画素間隔以下の精
    度で求める動き情報検出手段と、 上記動き情報に基づいて、注目画素を複数のクラスの一
    つに分類するクラス分類手段と、 上記生徒画像信号および上記教師画像が入力され、上記
    クラス毎に上記生成方式を求める学習手段とからなる画
    像処理装置。
  30. 【請求項30】 第1の画像信号を、上記第1の画像信
    号より高品質の第2の画像信号へ変換する画像処理方法
    であって、第1の画像信号に基づいて、第2の画像信号
    の注目画素の動き情報を上記第2の画像信号の画素間隔
    以下の精度で求め、動き情報に基づいて、注目画素を複
    数のクラスの一つに分類し、クラスに基づいた生成方式
    で、注目画素を生成する画像処理装置における上記生成
    方式を予め学習する画像処理方法において、 上記第1の画像信号に相当する生徒画像信号に基づい
    て、上記第2の画像信号に相当する教師画像信号の注目
    画素の動き情報を上記教師画像信号の画素間隔以下の精
    度で求める動き情報検出ステップと、 上記動き情報に基づいて、注目画素を複数のクラスの一
    つに分類するクラス分類ステップと、 上記生徒画像信号および上記教師画像が入力され、上記
    クラス毎に上記生成方式を求める学習ステップとからな
    る画像処理方法。
JP2000392253A 2000-12-25 2000-12-25 学習装置、適用装置、学習方法および適用方法 Expired - Fee Related JP4483085B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000392253A JP4483085B2 (ja) 2000-12-25 2000-12-25 学習装置、適用装置、学習方法および適用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000392253A JP4483085B2 (ja) 2000-12-25 2000-12-25 学習装置、適用装置、学習方法および適用方法

Publications (3)

Publication Number Publication Date
JP2002199349A true JP2002199349A (ja) 2002-07-12
JP2002199349A5 JP2002199349A5 (ja) 2007-04-12
JP4483085B2 JP4483085B2 (ja) 2010-06-16

Family

ID=18858269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000392253A Expired - Fee Related JP4483085B2 (ja) 2000-12-25 2000-12-25 学習装置、適用装置、学習方法および適用方法

Country Status (1)

Country Link
JP (1) JP4483085B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005079062A1 (ja) * 2004-02-13 2005-08-25 Sony Corporation 画像処理装置と画像処理方法およびプログラム
JP2005236634A (ja) * 2004-02-19 2005-09-02 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP2005260929A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2005260928A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN100423557C (zh) * 2004-02-13 2008-10-01 索尼株式会社 图像处理装置以及图像处理方法
WO2019030615A1 (ja) * 2017-08-11 2019-02-14 株式会社半導体エネルギー研究所 表示装置
JP2020126442A (ja) * 2019-02-05 2020-08-20 株式会社 ディー・エヌ・エー 画像生成装置、画像識別器、画像生成プログラム及び画像生成方法
JP2021010109A (ja) * 2019-07-01 2021-01-28 日本放送協会 フレームレート変換モデル学習装置およびフレームレート変換装置、ならびに、それらのプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656391B2 (ja) * 2004-02-13 2011-03-23 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN100423557C (zh) * 2004-02-13 2008-10-01 索尼株式会社 图像处理装置以及图像处理方法
WO2005079062A1 (ja) * 2004-02-13 2005-08-25 Sony Corporation 画像処理装置と画像処理方法およびプログラム
JP2005260928A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
US8139152B2 (en) 2004-02-13 2012-03-20 Sony Corporation Image processing apparatus, image processing method and program
US7710498B2 (en) 2004-02-13 2010-05-04 Sony Corporation Image processing apparatus, image processing method and program
JP4596248B2 (ja) * 2004-02-13 2010-12-08 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2005260929A (ja) * 2004-02-13 2005-09-22 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2005236634A (ja) * 2004-02-19 2005-09-02 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP4512978B2 (ja) * 2004-02-19 2010-07-28 ソニー株式会社 画像処理装置および画像処理方法、プログラム、並びに記録媒体
WO2019030615A1 (ja) * 2017-08-11 2019-02-14 株式会社半導体エネルギー研究所 表示装置
JPWO2019030615A1 (ja) * 2017-08-11 2020-09-24 株式会社半導体エネルギー研究所 表示装置
US11403738B2 (en) 2017-08-11 2022-08-02 Semiconductor Energy Laboratory Co., Ltd. Display device comprising an image analysis unit, and image calculation processing unit
JP7139333B2 (ja) 2017-08-11 2022-09-20 株式会社半導体エネルギー研究所 表示装置
JP2020126442A (ja) * 2019-02-05 2020-08-20 株式会社 ディー・エヌ・エー 画像生成装置、画像識別器、画像生成プログラム及び画像生成方法
JP7289199B2 (ja) 2019-02-05 2023-06-09 株式会社 ディー・エヌ・エー 画像生成装置、画像識別器、画像生成プログラム及び画像生成方法
JP2021010109A (ja) * 2019-07-01 2021-01-28 日本放送協会 フレームレート変換モデル学習装置およびフレームレート変換装置、ならびに、それらのプログラム

Also Published As

Publication number Publication date
JP4483085B2 (ja) 2010-06-16

Similar Documents

Publication Publication Date Title
KR100276789B1 (ko) 디지탈 데이타 변환 장치 및 방법
JPS58197984A (ja) テレビジヨン信号の適応予測符号化装置
KR20010075478A (ko) 순차식 칼라 디스플레이에서의 이미지 평면의 움직임보상을 위한 시스템 및 방법
EP0722252A1 (en) Boundary matching motion estimation apparatus
JP4147632B2 (ja) 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機
JP2002199349A (ja) 画像処理装置および方法
JP4552261B2 (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP3348318B2 (ja) ディジタル画像信号処理装置および処理方法
US6597737B1 (en) Motion determining apparatus, method thereof, and picture information converting apparatus
JPH0795591A (ja) ディジタル画像信号処理装置
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP4321468B2 (ja) 動画像符号化装置及び動画像復号化装置
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JP4144339B2 (ja) 動画像符号化方法及び動画像複号化方法
JP4470324B2 (ja) 画像信号変換装置および方法
JP2853973B2 (ja) 階層型動きベクトル検出方法及びその装置
JP4552262B2 (ja) ノイズ低減装置および方法
JP3800638B2 (ja) 画像情報変換装置および方法
JP4552263B2 (ja) ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法
WO2021117233A1 (ja) 動画分離装置、プログラム及び動画分離方法
JP4310847B2 (ja) 画像情報変換装置および変換方法
JP4123587B2 (ja) 画像情報処理装置および方法
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
JP2000083224A (ja) 画像情報変換装置
JP4193236B2 (ja) 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees