JP2009027580A - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP2009027580A JP2009027580A JP2007190463A JP2007190463A JP2009027580A JP 2009027580 A JP2009027580 A JP 2009027580A JP 2007190463 A JP2007190463 A JP 2007190463A JP 2007190463 A JP2007190463 A JP 2007190463A JP 2009027580 A JP2009027580 A JP 2009027580A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- unit
- code amount
- encoded
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】 情報処理装置2は、入力された被符号化情報の一部が符号化されたタイミングで、これまでの符号量に基づいて総符号量を推定し、推定された総符号量に基づいて、符号化処理を打ち切って符号化係数を更新するか否かを判断する。情報処理装置2は、符号化処理を打ち切る場合には、更新された符号化係数で最初から符号化処理をやり直す。
【選択図】図3
Description
また、特許文献2には、データを所定単位毎に順次符号化する情報処理装置において、符号化済のデータを符号化した際の発生符号量を監視し、該発生符号量に応じて、残りの符号化対象データを可逆符号化するか非可逆符号化するかを制御する情報処理装置が開示されている。
図1に例示するように、情報処理装置2は、CPU212及びメモリ214などを含む制御装置21、通信装置22、HDD・CD装置などの記録装置24、並びに、LCD表示装置あるいはCRT表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)25から構成される。
情報処理装置2は、例えば、情報処理プログラム5(後述)がインストールされた汎用コンピュータであり、通信装置22又は記録装置24などを介して画像データを取得し、取得された画像データを符号化してプリンタ装置3に送信する。
図2に例示するように、情報処理プログラム5は、制御部500、情報保持部510、係数設定部520、非可逆符号化部530、及び打切り判断部540を有する。
本例の情報保持部510は、通信装置22又は記録装置24などを介して、ラスタライズされた画像データを取得し、取得された画像データを制御部500からの指示に応じて非可逆符号化部530に出力する。
本例の係数設定部520は、制御部500からの指示に応じて、JPEG符号化方式におけるスケーリングファクタを更新する。
本例の非可逆符号化部530は、情報保持部510から入力される画像情報を、係数設定部520により設定されるスケーリングファクタでJPEG圧縮し、生成される符号データを打切り判断部540に出力する。
本例の打切り判断部540は、1バンド分の画像データ(部分画像)が符号化される度毎に、総符号量を推定し、推定された総符号量に基づいて、符号化処理を打ち切るか否かを判断する。
図3に示すように、ステップ100(S100)において、制御部500は、処理対象となる画像データが入力されると、デフォルトのスケーリングファクタによる符号化処理を開始するように情報保持部510及び係数設定部520に指示する。
係数設定部520は、制御部500からの指示に応じて、デフォルトのスケーリングファクタを非可逆符号化部530に設定する。
なお、情報保持部510は、符号化処理(S10)が完了するまで、入力された画像データを保持する。
非可逆符号化部530は、係数設定部520により設定されたスケーリングファクタで、情報保持部510から入力された1バンド分の画像データを符号化し、符号データを打切り判断部540に出力する。
情報処理プログラム5は、推定された総符号量が許容範囲内であると判断された場合に、S110の処理に戻って、次のバンドの処理に移行し、推定された総符号量が許容範囲外であると判断された場合に、S150の処理に移行する。
なお、許容範囲は、符号化処理の進行に応じて、変更してもよい。例えば、総符号量の推定は、推定する時点が早いほど誤差が大きくなることが予想されるので、推定の初期には許容範囲を広げておき、徐々に許容範囲を狭くしていく。
制御部500は、打切り判断部540からの通知に応じて、符号化処理を中止させて、量子化強度の高いスケーリングファクタを設定するよう係数設定部520に指示し、画像データを最初から供給するよう情報保持部510に指示する。
すなわち、制御部500は、スケーリングファクタを更新して符号化処理をやり直すよう、他の構成に指示する。
情報処理プログラム5は、S110の処理に戻って、最初のバンドから符号化処理をやり直す。
情報処理プログラム5は、総符号量が許容範囲外である場合に、S160の処理に移行して、符号化係数を更新して符号化処理をやり直し、総符号量が許容範囲内である場合に、符号化処理を終了する。
図5は、打切り判断部540が適用する第2の推定方法を説明する図である。
図4(A)に例示するように、通常、同一量子化レベルで符号化された場合、その符号量は、符号化又は量子化のアルゴリズムによらず、画像のサイズに依存する。
したがって、打切り判断部540は、図4(B)に例示する第1の推定式で、途中符号量、当該途中符号量に対応する画像量、及び全画像量から、総符号量を推定する。ここで、画像量とは、例えば、画素数、ライン数、バンド数などである。
しかし、実際の符号量は線形に増加するとは限らない。図4(A)に示した例では、画像の後半で符号量の増加が緩やかになっている。つまり、画像の下部に圧縮しやすい絵柄があると考えられる。
そこで、このような場合には、打切り判断部540は、図5の第2の推定方法により、量子化レベル間の履歴の相関を利用して、総符号量を推定する。
すなわち、量子化レベル(符号化係数)が異なると符号量も異なる。しかし、ある量子化レベル(符号化係数)における符号量の履歴(部分毎の符号量の推移)は、他の量子化レベルのそれと相関が高い。例として、図4(A)の量子化レベル1の履歴で、他の量子化レベル2〜3の履歴を正規化した結果を図5(A)に例示する。
図5(A)からわかるように、ラインによらず、ほぼ定数である。つまり、上述の性質が裏付けられている。
そこで、打切り判断部540は、他の量子化レベルでの履歴がわかっている場合(すなわち、他の符号化係数で同一画像が符号化された場合)、図5(B)に例示する第2の推定式で、他の符号化係数で符号化したときの総符号量及び途中符号量と、今回の途中符号量とに基づいて、総符号量を推定する。
これにより、2パス目以降の推定精度が向上する。
次に、上記実施形態の変形例を説明する。
上記実施形態では、入力された画像データを符号化する形態を説明したが、第1の変形例では、入力された符号データを、所望の範囲におさまるように再符号化する形態を説明する。
図6に例示するように、本変形例における情報処理プログラム52は、図2の情報処理プログラム5の情報保持部510及び打切り判断部540をそれぞれ第2の情報保持部512及び第2の打切り判断部542で置換し、さらに復号化部550を追加した構成をとる。
第2の情報処理プログラム52において、情報保持部512は、入力された符号データを保持し、制御部500からの指示に応じて、符号データを復号化部550に出力する。
復号化部550は、情報保持部512から入力される符号データを復号化し、復号化された被符号化情報(例えば、画像情報)を被可逆符号化部530に出力する。また、復号化部550は、復号化された符号データの符号量と、復号化された画像量とを打切り判断部542に出力する。
打切り判断部542は、復号化部550から入力される符号量及び画像量(他の符号化係数における履歴情報)と、非可逆符号化部530から入力される符号データとに基づいて、総符号量を推定し、推定された総符号量に基づいて、符号化処理を打ち切るか否かを判断する。
このように、第1の変形例では、1パス目から符号量の履歴が得られるので、より高精度な制御が期待できる。
なお、図6の構成では、情報保持部512が符号データを保持するようにしているが、復号化した情報(画像)を保持するように構成してもよい。こうするとバッファ量が大きくなるが、2パス目以降の復号化処理を省くことができる。
次に、第2の変形例を説明する。
上記実施形態及び第1の変形例では、1つの符号化係数で符号化処理を行い、打切りが決定された場合に、他の符号化係数に変更しているが、これに限定されるものではなく、例えば、符号化係数の異なる複数の符号化処理を並行して実行し、所定のタイミングで符号化処理のいずれかを打ち切るようにしてもよい。
そこで、第2の変形例では、符号化係数の異なる複数の符号化処理を並行して実行し、各符号化処理の総符号量を所定のタイミングで推定し、推定結果に基づいて、各符号化処理を続行するか打ち切るかを判断する。
図7に例示するように、本変形例の情報処理プログラム6は、制御部600、情報保持部610、非可逆符号化部620、及び打切り判断部630を有する。非可逆符号化部620は、複数の符号化部(第1符号化部622、第2符号化部624、及び、第3符号化部626)を含む。
また、制御部600は、全ての符号化処理が打ち切られる場合に、複数の符号化処理全てについて符号化係数を変更して符号化処理を最初からやり直すよう非可逆符号化部620を制御する。
本例の情報保持部610は、処理対象のなる画像データを保持し、保持されている画像データの同一の部分を、第1符号化部622、第2符号化部624、及び第3符号化部626に出力する。
本例では、第1符号化部622、第2符号化部624、及び第3符号化部626には、互いに異なる符号化係数(スケーリングファクタなど)が設定されており、第1符号化部622、第2符号化部624、及び第3符号化部626が、情報保持部610から入力された同一の画像データをそれぞれ並行して符号化し、生成された符号データを打切り判断部630に出力する。ここで、並行とは、完全な同時処理である必要はなく、いわゆる並列処理を含む。例えば、複数の符号化部が少なくとも一部のハードウェアリソースを共用しており、複数の符号化部が各符号化処理の一部を交互に実行する場合も含まれる。
より具体的には、打切り判断部630は、非可逆符号化部620から入力された各符号化処理の符号量に基づいて、各符号化処理の総符号量を推定し、推定された総符号量が目標の範囲内におさまらない符号化処理が存在する場合に、この符号化処理の打切りを決定する。
本例の打切り判断部630は、1バンド分の画像データ(部分画像)が符号化される度毎に、第1符号化部622、第2符号化部624、及び第3符号化部626の総符号量を推定し、推定された総符号量に基づいて、第1符号化部622、第2符号化部624又は第3符号化部626の符号化処理を打ち切るか否かを判断する。
図8に示すように、ステップ200(S200)において、制御部600は、処理対象となる画像データが入力されると、画像データの供給を開始するよう、情報保持部610に指示し、各符号化部について予め設定されたスケーリングファクタで符号化処理を開始するよう、第1符号化部622、第2符号化部624及び第3符号化部626に指示する。
なお、情報保持部610は、符号化処理(S20)が完了するまで、入力された画像データを保持する。
第1符号化部622、第2符号化部624及び第3符号化部626は、それぞれ、情報保持部610から入力された1バンド分の画像データを符号化し、符号データを打切り判断部630に出力する。
情報処理プログラム6は、推定された総符号量が許容範囲内であると全ての符号化処理について判断された場合に、S210の処理に戻って、次のバンドの処理に移行し、推定された総符号量が許容範囲外であると判断された符号化処理が存在する場合に、S250の処理に移行する。
制御部600は、打切り判断部630からの通知に応じて、第1符号化部622、第2符号化部624及び第3符号化部626による符号化処理のうち、打切りが決定された符号化処理を中止させる。
情報処理プログラム6は、稼動中の符号化部が存在する場合に、S210の処理に戻って、次のバンドの処理に移行し、稼動中の符号化部が存在しない場合(すなわち、第1符号化部622、第2符号化部624及び第3符号化部626が全て打ち切られた場合)に、S270の処理に移行する。
情報処理プログラム6は、S210の処理に戻って、最初のバンドから符号化処理をやり直す。
情報処理プログラム6は、全ての符号化処理において総符号量が許容範囲外である場合に、S270の処理に移行して、符号化処理のやり直しを実施し、いずれかの符号化処理において総符号量が許容範囲内である場合に、符号化処理を終了する。
上記実施形態及び変形例では、等間隔で設けられたタイミング(例えば、1バンド毎)に打切りを判断しているが、これに限定されるものではなく、例えば、符号化処理の後半まで打ち切らなかった場合、そこで総符号量の推定値が許容範囲の外に出ても、打ち切らないで最後まで処理するように制御してもよい。そのような場合には打ち切りによって処理時間を端折るよりも、最後まで処理することによって符号量の履歴を得ておいて、それ以降の試行での総符号量推定の精度向上を狙ったほうがよいと考えられるからである。
また、符号量の履歴は、試行の度ごとに保持しておき、その中から最も適切なものを選択するようにしてもよい。適切度の判定方法としては、例えば、符号量の履歴の相関や内積で判断することが考えられる。
5,52・・・情報処理プログラム
500・・・制御部
510,512・・・情報保持部
520・・・係数設定部
530・・・非可逆符号化部
540,542・・・打切り判断部
550・・・復号化部
6・・・情報処理プログラム
Claims (8)
- 既定の符号化係数で、被符号化情報を符号化する符号化手段と、
前記符号化手段により被符号化情報の一部が符号化されたタイミングで、符号化係数の変更を行うか否かを判断する判断手段と、
前記判断手段により符号化係数を変更すると判断された場合に、異なる符号化係数で符号化処理をやり直すよう前記符号化手段を制御する制御手段と
を有する情報処理装置。 - 前記判断手段は、前記タイミングまでの符号量に基づいて、符号化係数の変更を行うか否かを判断する
請求項1に記載の情報処理装置。 - 前記判断手段は、前記タイミングまでの符号量に基づいて、総符号量を推定し、推定された総符号量が既定の範囲から外れる場合に、符号化係数の変更を行うと判断する
請求項2に記載の情報処理装置。 - 被符号化情報は、画像情報であり、
前記判断手段は、前記タイミングまでの符号量と、前記タイミングまでに符号化された画像の大きさと、画像全体の大きさとに基づいて、総符号量を推定する
請求項3に記載の情報処理装置。 - 前記判断手段は、前記タイミングまでの符号量と、他の符号化係数で前記タイミングまでに符号化された符号量と、当該他の符号化係数で符号化された総符号量とに基づいて、総符号量を推定する
請求項3に記載の情報処理装置。 - 符号化効率が異なる複数の符号化手段と、
前記符号化手段それぞれにより被符号化情報の一部が符号化されたタイミングで、複数の前記符号化手段の中から、符号化処理を中止すべき符号化手段を選択する選択手段と、
前記選択手段により選択された符号化手段に、符号化処理を中止するよう制御する制御手段と
を有する情報処理装置。 - 既定の符号化係数で、被符号化情報を符号化する機能と、
被符号化情報の一部が符号化されたタイミングで、符号化係数の変更を行うか否かを判断する機能と、
符号化係数を変更すると判断された場合に、異なる符号化係数で符号化処理をやり直すよう制御する機能と
をコンピュータに実現させるプログラム。 - 符号化効率が異なる複数の符号化処理を開始するステップと、
前記符号化処理それぞれにより被符号化情報の一部が符号化されたタイミングで、複数の前記符号化処理の中から、中止すべき符号化処理を選択するステップと、
選択された符号化処理を中止させるステップと
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007190463A JP4986147B2 (ja) | 2007-07-23 | 2007-07-23 | 情報処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007190463A JP4986147B2 (ja) | 2007-07-23 | 2007-07-23 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009027580A true JP2009027580A (ja) | 2009-02-05 |
JP4986147B2 JP4986147B2 (ja) | 2012-07-25 |
Family
ID=40398934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007190463A Expired - Fee Related JP4986147B2 (ja) | 2007-07-23 | 2007-07-23 | 情報処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4986147B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984432A (zh) * | 2011-09-05 | 2013-03-20 | 富士施乐株式会社 | 图像处理设备和图像处理方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0568243A (ja) * | 1991-09-09 | 1993-03-19 | Hitachi Ltd | 可変長符号化制御方式 |
JPH05191651A (ja) * | 1992-01-13 | 1993-07-30 | Toshiba Corp | 画像符号化装置 |
JPH07111457A (ja) * | 1993-10-12 | 1995-04-25 | Sony Corp | 符号量推定装置 |
JPH09200747A (ja) * | 1996-01-19 | 1997-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法および装置 |
JPH10243397A (ja) * | 1997-02-24 | 1998-09-11 | Sony Corp | 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体 |
JPH10257431A (ja) * | 1997-03-07 | 1998-09-25 | Konica Corp | 画像圧縮方法 |
JP2002027256A (ja) * | 2000-05-12 | 2002-01-25 | Xerox Corp | 多様な圧縮率制約を受ける画質制御によるデジタル・ドキュメントの圧縮方法 |
JP2003125206A (ja) * | 2001-10-12 | 2003-04-25 | Canon Inc | 画像処理装置及び方法及びコンピュータプログラム及び記憶媒体 |
JP2006135370A (ja) * | 2004-11-02 | 2006-05-25 | Fuji Xerox Co Ltd | 符号化装置および符号化プログラム |
JP2006174331A (ja) * | 2004-12-20 | 2006-06-29 | Fuji Xerox Co Ltd | 画像圧縮装置、画像圧縮方法及びそのプログラム |
JP2006217425A (ja) * | 2005-02-04 | 2006-08-17 | Sony Corp | 符号化装置および方法、復号装置および方法、プログラム、記録媒体、並びにデータ処理システム |
-
2007
- 2007-07-23 JP JP2007190463A patent/JP4986147B2/ja not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0568243A (ja) * | 1991-09-09 | 1993-03-19 | Hitachi Ltd | 可変長符号化制御方式 |
JPH05191651A (ja) * | 1992-01-13 | 1993-07-30 | Toshiba Corp | 画像符号化装置 |
JPH07111457A (ja) * | 1993-10-12 | 1995-04-25 | Sony Corp | 符号量推定装置 |
JPH09200747A (ja) * | 1996-01-19 | 1997-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法および装置 |
JPH10243397A (ja) * | 1997-02-24 | 1998-09-11 | Sony Corp | 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体 |
JPH10257431A (ja) * | 1997-03-07 | 1998-09-25 | Konica Corp | 画像圧縮方法 |
JP2002027256A (ja) * | 2000-05-12 | 2002-01-25 | Xerox Corp | 多様な圧縮率制約を受ける画質制御によるデジタル・ドキュメントの圧縮方法 |
JP2003125206A (ja) * | 2001-10-12 | 2003-04-25 | Canon Inc | 画像処理装置及び方法及びコンピュータプログラム及び記憶媒体 |
JP2006135370A (ja) * | 2004-11-02 | 2006-05-25 | Fuji Xerox Co Ltd | 符号化装置および符号化プログラム |
JP2006174331A (ja) * | 2004-12-20 | 2006-06-29 | Fuji Xerox Co Ltd | 画像圧縮装置、画像圧縮方法及びそのプログラム |
JP2006217425A (ja) * | 2005-02-04 | 2006-08-17 | Sony Corp | 符号化装置および方法、復号装置および方法、プログラム、記録媒体、並びにデータ処理システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984432A (zh) * | 2011-09-05 | 2013-03-20 | 富士施乐株式会社 | 图像处理设备和图像处理方法 |
US8600156B2 (en) | 2011-09-05 | 2013-12-03 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP4986147B2 (ja) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007166192A (ja) | 情報処理装置、制御方法およびプログラム | |
JP5753630B2 (ja) | 変換された係数の逆量子化の方法及び装置 | |
JP3885413B2 (ja) | 画像符号化装置、画像復号装置および画像符号化復号装置ならびに方法 | |
JP2008282150A (ja) | 信号処理装置及び信号処理システム | |
JP2009302776A (ja) | 画像符号化装置、その制御方法、及びコンピュータプログラム | |
JP5900163B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5246603B2 (ja) | 同期制御方法および情報処理装置 | |
JP4986147B2 (ja) | 情報処理装置及びプログラム | |
JP2006517069A (ja) | モーションベクトルの予測方法及びシステム | |
TW201313030A (zh) | 編碼裝置、解碼裝置、編解碼系統、編碼方法及解碼方法 | |
JP2011066843A (ja) | 並列符号化装置及びプログラム並びに画像データの符号化方法 | |
JP2010081184A (ja) | 画像符号化装置、画像復号装置、画像符号化システム | |
JP5173613B2 (ja) | 動画像符号化装置及びその制御方法 | |
JP2006340134A (ja) | 符号化装置、符号化方法、及びプログラム | |
JP2009010608A (ja) | 符号化処理装置 | |
JP5641755B2 (ja) | 符号化装置、符号化装置の制御方法、プログラム | |
JP2007166492A (ja) | 画像処理装置、符号化方法及びプログラム | |
JP2006014207A (ja) | 画像符号化装置 | |
JP2009017080A (ja) | 情報処理システム、映像送信サーバ、及び、端末 | |
US9485509B2 (en) | Image compression device, image compression method, image decompression device, and image decompression method | |
JP5649540B2 (ja) | 動画像符号化装置及びそのプログラム | |
JP4613771B2 (ja) | 符号化装置、符号化方法及びそのプログラム | |
JP2007281591A (ja) | 画像処理装置及びプログラム | |
JP2018174406A (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
JP4188375B2 (ja) | データ圧縮システム及びデータ伸長システム並びにデータ圧縮プログラム及びデータ伸長プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4986147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |