JP2009038666A - フリッカ補正装置及びフリッカ補正方法 - Google Patents
フリッカ補正装置及びフリッカ補正方法 Download PDFInfo
- Publication number
- JP2009038666A JP2009038666A JP2007202232A JP2007202232A JP2009038666A JP 2009038666 A JP2009038666 A JP 2009038666A JP 2007202232 A JP2007202232 A JP 2007202232A JP 2007202232 A JP2007202232 A JP 2007202232A JP 2009038666 A JP2009038666 A JP 2009038666A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- component
- reliability
- correction
- flicker component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000001514 detection method Methods 0.000 claims abstract description 155
- 238000012937 correction Methods 0.000 claims abstract description 127
- 238000003860 storage Methods 0.000 claims description 39
- 238000009826 distribution Methods 0.000 abstract description 35
- 238000011156 evaluation Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 74
- 238000010586 diagram Methods 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000002411 adverse Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013213 extrapolation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 206010000210 abortion Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】 1フレームの画像信号に対し、複数のフリッカ検出枠を設定し、フリッカ検出部1でフリッカ検出枠ごとにフリッカ成分を検出する。そして、フリッカ検出枠ごとのフリッカ成分の信頼性を評価する。そして、信頼性の評価が低い領域については、信頼性の高い領域のフリッカ成分を用いて生成したフリッカ成分と置き換える。そして、フリッカ検出枠ごとに補正値を生成し、画像信号に適用してフリッカ成分の補正を行う。
【選択図】 図1
Description
そして、図17(a)は被写体が静止している場合を、(b)は、被写体が3フレーム目(現フレーム)で動いた場合をそれぞれ示している。
図1は、本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
フリッカ成分検出部1は、CMOSイメージセンサのような、XYアドレス方式の撮像素子によって撮像された画像信号の1画面分に、水平方向にN個、垂直方向にM個のフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。
フリッカ成分評価部2は、フリッカ成分検出部1で検出されたフリッカ検出枠ごとのフリッカ成分を評価し、評価結果をフリッカ分布解析部3へ出力する。フリッカ分布解析部3は、フリッカ成分評価部2から出力されるフリッカ成分の信頼性評価結果を参照して、画面内に発生するフリッカ成分の分布を解析する。
フリッカ補正値生成部5は、記憶部9から読み出したフリッカ成分から、補正値生成制御部4の制御に基づいてフリッカ補正値を生成する。
図2は、図1におけるフリッカ成分検出部1の構成例を示すブロック図である。
図2において、ブロック分割部100は、フリッカ成分の検出を行う領域(フリッカ検出枠)を、1画面(1フレーム)分の画像信号に対して水平方向および垂直方向に設定する。本実施形態において、ブロック分割部100は、図3に示すように、水平方向にM個、垂直方向にN個のM×M個のフリッカ検出枠を設定するものとする。
以上の処理を、ブロック分割部100で設定された全てのフリッカ検出枠について行うことにより、現フレームに対してM×N個のフリッカ成分を検出する。
図9(b)は、フリッカ成分検出部1により、図9(a)の入力画像についてフリッカ成分の検出を行った結果を模式的に示した図である。
次に、図4を参照して、本実施形態におけるフリッカ成分評価部2の構成および動作を説明する。
フリッカ成分評価部2は、フリッカ特性抽出部200、フリッカモデル選択部201及び差分抽出部202を含んでいる。
図9(c)は、図9(b)に示すフリッカ成分から抽出された代表的な垂直方向の変動特性に対して選択されるフリッカモデルの例を示している。
次に、図5を参照して、本実施形態におけるフリッカ分布解析部3の構成および動作を説明する。
フリッカ分布解析部3は、分類部300と、低信頼性領域抽出部301と、面積測定部302と、位置測定部303と、第3の記憶部304を含む。
位置測定部303では、低信頼性領域抽出部301で抽出された、各低信頼性領域の位置情報adr(n)として、領域の中心に位置するフリッカ検出枠のアドレス(x,y)(1≦x≦M,1≦y≦N)を検出する。なお、領域の中心に位置するフリッカ検出枠は、例えば領域の重心を含むフリッカ検出枠として求めてもよい。
・分類部300及び低信頼性領域抽出部301から出力される、各フリッカ検出枠の信頼性フラグfg、
・低信頼性領域抽出部301から出力される、低信頼性領域の個数n、
・面積測定部302から出力される各低信頼性領域の面積情報S(n)、
・位置測定部303から出力される各低信頼性領域の位置情報adr(n)、
が記憶される。このうち、低信頼性領域の個数n、面積情報S(n)、位置情報adr(n)をまとめて低信頼性領域情報と呼ぶ。
次に、図6を参照して、本実施形態における補正値生成制御部4の構成を説明する。
補正値生成制御部4は、フリッカ分布解析部3の出力に基づいて、低信頼性領域で検出されたフリッカ成分をより信頼性の高いフリッカ成分のデータと置換する。また、補正値生成制御部4は、後段のフリッカ補正値生成部5および補正部7を制御するための制御信号Sを生成する。
判定処理部400は、フリッカ分布解析部3から出力される低信頼性領域情報(低信頼性領域の個数n、各低信頼性領域の面積情報S(n)および位置情報adr(n))を用いた判定処理を行う。
また、判定処理部400では、後段のフリッカ補正値生成部5、および、補正部7を停止するため制御信号Sを生成する。
次に、図7に示すフローチャートを参照して、本実施形態における補正値生成制御部4の動作について説明する。なお、図7に示す動作は、入力画像信号の各フレームについて行う。
S402において、判定処理部400は、例えば低信頼性領域情報のうち、個数nを参照して、現フレーム内に低信頼性領域があるか否かを判定する。個数nが1以上で、現フレームに低信頼性領域がある場合にはS403に進み、個数nが0で、低信頼性領域がない場合にはS415に進む。
ここで、基準行は、信頼性の高いフリッカ検出枠が、水平方向に所定の個数以上連続し、その行内の1個のフリッカ検出枠が、基準列に含まれるものとする。また、基準列は、信頼性の高いフリッカ検出枠が、垂直方向に所定の個数以上連続し、その列内の1個のフリッカ検出枠が、基準行に含まれるものとする。
第1の補間処理部401は、フリッカ分布解析部3の第3の記憶部304に記憶された、現フレームのフリッカ検出枠ごとの信頼性フラグfgと、第2の記憶部9に記憶された、現フレームのフリッカ検出枠ごとに検出されたフリッカ成分とを参照する。そして、S404で選択された低信頼性領域を構成するフリッカ検出枠についてのフリッカ成分を、補間により生成する。
図10(a)の例であれば、図10(b)に示すように、低信頼性領域(信頼性フラグfg=1、fg=2のフリッカ検出枠からなる領域)のフリッカ成分を、領域の周囲に存在する、信頼性の高いフリッカ検出枠(fg=0)のフリッカ成分を補間して生成する。図10(b)において、斜線が付されたフリッカ検出枠で検出されたフリッカ成分を補間して、低信頼性領域を構成するフリッカ検出枠のフリッカ成分を生成する。
以上のように、第2の補間処理部402においても、低信頼性領域での動き成分の悪影響を排除して、補正に必要なフリッカ成分を生成することができる。
・基準行と基準列の交点となるフリッカ検出枠のフリッカ成分をPmn、
・基準行に含まれる各フリッカ検出枠のフリッカ成分をLn(x)、
・基準列に含まれる各フリッカ検出枠のフリッカ成分Cm(y)とすると、
第x列のフリッカ成分を、
Cm(y)*Ln(x)/Pmn
として推定し、推定結果の中から、S404で選択された低信頼性領域のフリッカ検出枠に該当するフリッカ成分を選択して出力する。
以上のように、第3の補間処理部403においても、低信頼性領域での動き成分の悪影響を排除して、補正に必要なフリッカ成分を生成することができる。
S409では、判定処理部400が、選択部404に対し、第2の補間処理部402が生成したフリッカ成分のデータを選択するように指示する。
S410では、判定処理部400が、選択部404に対し、第3の補間処理部403が生成したフリッカ成分のデータを選択するように指示する。
・低信頼性領域がフレームに占める割合が予め定めた値を超える場合、
・信頼性の低いフリッカ検出枠の数又は割合が予め定めた値を超える場合、
・低信頼性領域の個数nが、予め定めた値を超える場合、
・低信頼性領域の面積が、予め定めた値を超える場合、
低信頼性領域の周囲に信頼性が高いフリッカ検出枠があっても、フリッカ成分の補間又は推定の精度が低くなるため、現フレームに対するフリッカ補正処理を行わない。
次に、図8を参照して、本実施形態におけるフリッカ補正値生成部5の構成および動作を説明する。
フリッカ補正値生成部5は、逆ゲイン生成処理部500と、補正値平滑化処理部501とを含む。
最後に、補正部7の処理について説明する。
補正部7では、フリッカ補正値生成部5から出力される、入力画像信号の画素単位のフリッカ補正値を、第1の記憶部6から読み出した、現フレームの入力画像信号のうち、対応する画素に乗じて、入力画像信号に含まれるフリッカ成分を補正する。
なお、上述の実施形態においては、第1〜第3の補間処理部401〜403がそれぞれ並行して補間処理を行ない、3つの処理結果の1つを、判定処理部400の判定結果に従って選択部404が選択していた。しかし、判定処理部400の判定結果(S406およびS407における判定結果)に従って、第1〜第3の補間処理部401〜403のうち該当する1つによって補間処理を行なっても良い。この場合、選択部404は入力されたフリッカ成分を第2の記憶部9に書き戻して更新する更新機能のみを実現すればよい。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
Claims (8)
- 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
前記画像信号の1フレームを、複数のフリッカ検出枠に分割する分割手段と、
前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、
前記フリッカ検出手段が検出したフリッカ成分を記憶する記憶手段と、
前記複数のフリッカ検出枠の各々を、前記フリッカ検出手段が検出したフリッカ成分の信頼性の高さに応じて分類する分類手段と、
前記記憶手段に記憶された、前記分類手段により信頼性が低いと分類されたフリッカ検出枠のフリッカ成分を、前記分類手段により信頼性が高いと分類されたフリッカ検出枠のフリッカ成分を用いて生成したフリッカ成分で置き換える制御手段と、
前記制御手段による置き換えが終了した後、前記記憶手段に記憶されたフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する補正値生成手段と、
前記補正値生成が出力する補正値を用いて、前記画像信号のフリッカ成分を補正する補正手段とを有することを特徴とするフリッカ補正装置。 - 前記制御手段が、前記分類手段により信頼性が低いと分類されたフリッカ検出枠の割合が予め定められた値を超える画像信号のフレームについては、フリッカ成分の補正を行わないように前記補正手段を制御することを特徴とする請求項1記載のフリッカ補正装置。
- 前記分類手段が、前記信頼性が低いと分類されたフリッカ検出枠からなる低信頼性領域の数、面積及び位置に関する情報を生成することを特徴とする請求項1又は請求項2記載のフリッカ補正装置。
- 前記制御手段が、前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、当該低信頼性領域の周囲に存在する、前記分類手段により信頼性が高いと分類されたフリッカ検出枠のフリッカ成分を補間することによって生成することを特徴とする請求項3記載のフリッカ補正装置。
- 前記制御手段が、前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、前記分類手段により信頼性が高いと分類されたフリッカ検出枠のフリッカ成分の垂直方向又は水平方向の変動に基づいて生成することを特徴とする請求項3記載のフリッカ補正装置。
- 前記制御手段が、前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、前記分類手段により信頼性が高いと分類されたフリッカ検出枠から構成される列及び行に含まれるフリッカ検出枠のフリッカ成分に基づいて生成することを特徴とする請求項3記載のフリッカ補正装置。
- 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
前記画像信号の1フレームを、複数のフリッカ検出枠に分割する分割工程と、
前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出工程と、
前記フリッカ検出工程で検出されたフリッカ成分を記憶手段に記憶する記憶工程と、
前記複数のフリッカ検出枠の各々を、前記フリッカ検出工程で検出されたフリッカ成分の信頼性の高さに応じて分類する分類工程と、
前記記憶手段に記憶された、前記分類工程により信頼性が低いと分類されたフリッカ検出枠のフリッカ成分を、前記分類工程により信頼性が高いと分類されたフリッカ検出枠のフリッカ成分を用いて生成したフリッカ成分で置き換える制御工程と、
前記制御工程による置き換えが終了した後、前記記憶手段に記憶されたフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する補正値生成工程と、
前記補正値生成工程によって出力される補正値を用いて、前記画像信号のフリッカ成分を補正する補正工程とを有することを特徴とするフリッカ補正方法。 - コンピュータを、請求項1乃至請求項6のいずれか1項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007202232A JP4875564B2 (ja) | 2007-08-02 | 2007-08-02 | フリッカ補正装置及びフリッカ補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007202232A JP4875564B2 (ja) | 2007-08-02 | 2007-08-02 | フリッカ補正装置及びフリッカ補正方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009038666A true JP2009038666A (ja) | 2009-02-19 |
JP2009038666A5 JP2009038666A5 (ja) | 2010-09-16 |
JP4875564B2 JP4875564B2 (ja) | 2012-02-15 |
Family
ID=40440192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007202232A Expired - Fee Related JP4875564B2 (ja) | 2007-08-02 | 2007-08-02 | フリッカ補正装置及びフリッカ補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4875564B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012039482A (ja) * | 2010-08-09 | 2012-02-23 | Fujitsu Toshiba Mobile Communications Ltd | 画像処理装置および画像処理方法 |
US8842195B2 (en) | 2010-12-22 | 2014-09-23 | Canon Kabushiki Kaisha | Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels |
WO2016209877A1 (en) * | 2015-06-22 | 2016-12-29 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
EP3745207A1 (en) | 2009-02-20 | 2020-12-02 | FUJIFILM Corporation | Pattern-forming method using electron beams for euv rays and use of this method for forming a fine circuit of a semiconductor device |
KR20210058914A (ko) * | 2018-10-17 | 2021-05-24 | 코니카 미놀타 가부시키가이샤 | 플리커 측정 장치, 플리커 측정 방법, 플리커 측정 프로그램, 플리커 평가 지원 장치, 플리커 평가 지원 방법 및 플리커 평가 지원 프로그램 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11252446A (ja) * | 1998-03-03 | 1999-09-17 | Matsushita Electric Ind Co Ltd | フリッカ補正装置 |
JP2000101909A (ja) * | 1998-07-24 | 2000-04-07 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2003198932A (ja) * | 2001-12-27 | 2003-07-11 | Sharp Corp | フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体 |
-
2007
- 2007-08-02 JP JP2007202232A patent/JP4875564B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11252446A (ja) * | 1998-03-03 | 1999-09-17 | Matsushita Electric Ind Co Ltd | フリッカ補正装置 |
JP2000101909A (ja) * | 1998-07-24 | 2000-04-07 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP2003198932A (ja) * | 2001-12-27 | 2003-07-11 | Sharp Corp | フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3745207A1 (en) | 2009-02-20 | 2020-12-02 | FUJIFILM Corporation | Pattern-forming method using electron beams for euv rays and use of this method for forming a fine circuit of a semiconductor device |
JP2012039482A (ja) * | 2010-08-09 | 2012-02-23 | Fujitsu Toshiba Mobile Communications Ltd | 画像処理装置および画像処理方法 |
US8842195B2 (en) | 2010-12-22 | 2014-09-23 | Canon Kabushiki Kaisha | Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels |
WO2016209877A1 (en) * | 2015-06-22 | 2016-12-29 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
KR20210058914A (ko) * | 2018-10-17 | 2021-05-24 | 코니카 미놀타 가부시키가이샤 | 플리커 측정 장치, 플리커 측정 방법, 플리커 측정 프로그램, 플리커 평가 지원 장치, 플리커 평가 지원 방법 및 플리커 평가 지원 프로그램 |
KR102639638B1 (ko) | 2018-10-17 | 2024-02-21 | 코니카 미놀타 가부시키가이샤 | 플리커 측정 장치, 플리커 측정 방법, 플리커 측정 프로그램, 플리커 평가 지원 장치, 플리커 평가 지원 방법 및 플리커 평가 지원 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
JP4875564B2 (ja) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
US7796840B2 (en) | Image processing apparatus and method thereof | |
JP4991101B2 (ja) | 一時的動きベクトルフィルタリング | |
US9854168B2 (en) | One-pass video stabilization | |
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
US8350955B2 (en) | Digital photographing apparatus, method of controlling the digital photographing apparatus, and recording medium having recorded thereon a program for executing the method | |
JP2005210697A (ja) | 動き補償フレームレート変換 | |
JP6370321B2 (ja) | 水位計測装置 | |
US20200389573A1 (en) | Image processing system, image processing method and storage medium | |
JP4875564B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
US9672650B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR101982258B1 (ko) | 오브젝트 검출 방법 및 오브젝트 검출 장치 | |
JPWO2020066755A1 (ja) | 学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びプログラム | |
JP5812808B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2015079329A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
JP2009017214A (ja) | フリッカ検出装置及びフリッカ検出方法 | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP4881812B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
JP2009021813A (ja) | フリッカ補正装置及びフリッカ補正方法 | |
WO2000031688A1 (fr) | Dispositif et procede de traitement d'image, et support enregistre lisible par ordinateur | |
JP5761991B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2009038669A (ja) | フリッカ補正装置及びフリッカ補正方法 | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |