JP2008165881A - 磁気ディスク装置およびその制御方法 - Google Patents
磁気ディスク装置およびその制御方法 Download PDFInfo
- Publication number
- JP2008165881A JP2008165881A JP2006353035A JP2006353035A JP2008165881A JP 2008165881 A JP2008165881 A JP 2008165881A JP 2006353035 A JP2006353035 A JP 2006353035A JP 2006353035 A JP2006353035 A JP 2006353035A JP 2008165881 A JP2008165881 A JP 2008165881A
- Authority
- JP
- Japan
- Prior art keywords
- write
- command
- magnetic disk
- time
- commands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/068—Hybrid storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/21—Employing a record carrier using a specific recording technology
- G06F2212/217—Hybrid disk, e.g. using both magnetic and solid state storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
【解決手段】磁気ディスク(9)と、フラッシュメモリ(30)と、ホストシステムから供給されたライトコマンドとデータを記憶するバッファメモリ(4)と、バッファメモリ(4)に記憶されたライトコマンドを磁気ディスク(9)への書込み処理時間に基づいて第1コマンド群と第2コマンド群とに分類し、第1コマンド群のライトコマンドに係るデータを磁気ディスク(9)に書込み、第2コマンド群のライトコマンドとデータをフラッシュメモリ(30)に書込むフラッシュ手段とを具備する。
【選択図】 図1
Description
図1は本発明の第1の実施の形態に係るハードディスク装置の構成を示すブロック図である。図1において、ハードディスク装置は汎用バス、例えばATA(IDE)バス18を介してホストシステム17に接続される。ハードディスク装置はホストシステム17としてのパーソナルコンピュータの筐体内に配置される内蔵型でもよいし、筐体外に配置される外付け型のいずれでもよい。
本発明は上述した実施の形態に限定されず、種々変形して実施可能である。例えば、上述の説明では、磁気ディスクへライトフラッシュする場合の処理時間の累積時間と、フラッシュメモリへライトフラッシュする場合の処理時間の累積時間との大小関係に基づいて、磁気ディスクを用いるかフラッシュメモリを用いるかを決めたが、この決め方に限らない。高速で処理可能なコマンド群とそれ以外のコマンド群は他のアルゴリズムにより求めても良い。
Claims (8)
- データを記録する磁気ディスクと、
データを記憶する不揮発性メモリと、
ホストシステムから供給されたライトコマンドとデータを記憶する揮発性メモリと、
前記揮発性メモリに記憶されたライトコマンドを前記磁気ディスクへの書込み処理時間に基づいて第1コマンド群と第2コマンド群とに分類し、第1コマンド群のライトコマンドに係るデータを前記磁気ディスクに書込み、第2コマンド群のライトコマンドとデータを前記不揮発性メモリに書込むフラッシュ手段と、
を具備する磁気ディスク装置。 - 前記フラッシュ手段は前記揮発性メモリに記憶されたライトコマンドを磁気ディスクに最も効率よく書込むことができる順番に並べ替え、1番から所定の順番までのコマンドを第1コマンド群とし、他を第2コマンド群として分類する請求項1記載の磁気ディスク装置。
- 前記フラッシュ手段は前記揮発性メモリに各コマンド毎の磁気ディスクへの書込み時間と1番から順番にコマンドを実行した場合の書込み時間の累計時間と、各コマンド毎の不揮発性メモリへの書込み時間と最後から逆順にコマンドを実行した場合の書込み時間の累計時間とを書込み、磁気ディスクへの書込み時間の累計時間が不揮発性メモリへの書込み時間の累計時間より大きいコマンドは第2コマンド群とする請求項2に記載の磁気ディスク装置。
- 前記フラッシュ手段により前記不揮発性メモリに記憶された第2コマンド群のライトコマンドを読み出し、読み出したライトコマンドに係るデータを前記磁気ディスクに書込む第2フラッシュ手段をさらに具備する請求項1記載の磁気ディスク装置。
- データを記録する磁気ディスクと、
データを記憶する不揮発性メモリと、
ホストシステムから供給されたライトコマンドとデータを記憶する揮発性メモリとを具備する磁気ディスクの制御方法において、
前記揮発性メモリに記憶されたライトコマンドを前記磁気ディスクへの書込み処理時間に基づいて第1コマンド群と第2コマンド群とに分類するステップと、
第1コマンド群のライトコマンドに係るデータを前記磁気ディスクに書込み、第2コマンド群のライトコマンドとデータを前記不揮発性メモリに書込むステップと、
を具備する制御方法。 - 前記分類ステップは前記揮発性メモリに記憶されたライトコマンドを磁気ディスクに最も効率よく書込むことができる順番に並べ替え、1番から所定の順番までのコマンドを第1コマンド群とし、他を第2コマンド群として分類する請求項5記載の制御方法。
- 前記分類ステップは前記揮発性メモリに各コマンド毎の磁気ディスクへの書込み時間と1番から順番にコマンドを実行した場合の書込み時間の累計時間と、各コマンド毎の不揮発性メモリへの書込み時間と最後から逆順にコマンドを実行した場合の書込み時間の累計時間とを書込むステップと、
磁気ディスクへの書込み時間の累計時間が不揮発性メモリへの書込み時間の累計時間より大きいコマンドは第2コマンド群とするステップとを具備する請求項6に記載の制御方法。 - 前記書込みステップにより前記不揮発性メモリに記憶された第2コマンド群のライトコマンドを読み出し、読み出したライトコマンドに係るデータを前記磁気ディスクに書込むステップをさらに具備する請求項5記載の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006353035A JP4675881B2 (ja) | 2006-12-27 | 2006-12-27 | 磁気ディスク装置およびその制御方法 |
US11/957,840 US7853761B2 (en) | 2006-12-27 | 2007-12-17 | Classifying write commands into groups based on cumulated flush time |
CNA2007103001148A CN101226505A (zh) | 2006-12-27 | 2007-12-17 | 磁盘装置以及控制该装置的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006353035A JP4675881B2 (ja) | 2006-12-27 | 2006-12-27 | 磁気ディスク装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008165881A true JP2008165881A (ja) | 2008-07-17 |
JP4675881B2 JP4675881B2 (ja) | 2011-04-27 |
Family
ID=39585648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006353035A Expired - Fee Related JP4675881B2 (ja) | 2006-12-27 | 2006-12-27 | 磁気ディスク装置およびその制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7853761B2 (ja) |
JP (1) | JP4675881B2 (ja) |
CN (1) | CN101226505A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211880A (ja) * | 2009-03-11 | 2010-09-24 | Sharp Corp | ディスクドライブ装置、その制御方法、プログラム、及び、記録媒体 |
JP2011134413A (ja) * | 2009-12-25 | 2011-07-07 | Internatl Business Mach Corp <Ibm> | 読出し及び書込み命令の混在するコマンド列を受け取った場合の最適な書込みを実行するリニア記録方式の装置、その方法、及びプログラム。 |
JP2012517645A (ja) * | 2009-02-11 | 2012-08-02 | インディリンクス カンパニー リミテッド | 半導体ディスクシステムのバッファキャッシュプログラミング方法およびバッファキャッシュプログラミング装置 |
JP2012243353A (ja) * | 2011-05-19 | 2012-12-10 | Internatl Business Mach Corp <Ibm> | テープ記憶装置、データ書込み方法、及び、プログラム |
WO2012176539A1 (ja) * | 2011-06-24 | 2012-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 読出し及び書込み命令の混在するコマンド列を受け取った場合の最適な書込みを実行するリニア記録方式の装置、その方法、及びプログラム |
JP2013161112A (ja) * | 2012-02-01 | 2013-08-19 | Nec Corp | 情報処理装置、制御装置、及び情報処理方法 |
JP2016021133A (ja) * | 2014-07-14 | 2016-02-04 | 株式会社東芝 | 磁気ディスク装置、及びライトコマンドを実行する方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100205367A1 (en) * | 2009-02-09 | 2010-08-12 | Ehrlich Richard M | Method And System For Maintaining Cache Data Integrity With Flush-Cache Commands |
CN103678150B (zh) * | 2013-12-23 | 2017-06-09 | 华为技术有限公司 | 固态硬盘使用方法及装置 |
CN104900240B (zh) * | 2014-03-04 | 2018-03-23 | 株式会社东芝 | 硬盘装置及数据刷新方法 |
US9823859B2 (en) * | 2014-11-06 | 2017-11-21 | Western Digital Technologies, Inc. | Mechanical shock mitigation for data storage |
US9665308B2 (en) * | 2015-03-10 | 2017-05-30 | International Business Machines Corporation | Optimization of the copying of change recorded data by using spare flash capacity |
KR102605566B1 (ko) * | 2018-11-22 | 2023-11-24 | 에스케이하이닉스 주식회사 | 메모리 컨트롤러 및 그 동작 방법 |
US11645155B2 (en) * | 2021-02-22 | 2023-05-09 | Nxp B.V. | Safe-stating a system interconnect within a data processing system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6476344A (en) * | 1987-09-18 | 1989-03-22 | Fujitsu Ltd | Disk cache control system |
JPH06348600A (ja) * | 1993-06-04 | 1994-12-22 | Hitachi Ltd | ディスクキャッシュ装置 |
JPH1040170A (ja) * | 1996-07-26 | 1998-02-13 | Toshiba Corp | ディスクキャッシュシステム |
JP2001154809A (ja) * | 1999-11-30 | 2001-06-08 | Fujitsu Ltd | ディスク装置 |
JP2001222380A (ja) * | 2000-02-07 | 2001-08-17 | Hitachi Ltd | 外部記憶装置とそれを備えた情報処理システム |
JP2001250315A (ja) * | 2000-03-03 | 2001-09-14 | Hitachi Ltd | 高信頼性記憶装置及び情報記録方法。 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05250274A (ja) | 1992-03-04 | 1993-09-28 | Mitsubishi Electric Corp | ディスクキャッシュ装置 |
JPH06309234A (ja) | 1993-02-15 | 1994-11-04 | Toshiba Corp | ディスク制御装置 |
US6571298B1 (en) * | 2000-01-11 | 2003-05-27 | International Business Machines Corporation | System and method for grouping disk access commands in a queue according to proximate disk positions |
JP2003308176A (ja) * | 2002-04-03 | 2003-10-31 | Internatl Business Mach Corp <Ibm> | データ記憶装置、コマンド・キューのリオーダリング方法、データ処理方法およびプログラム |
US7472222B2 (en) | 2004-10-12 | 2008-12-30 | Hitachi Global Storage Technologies Netherlands B.V. | HDD having both DRAM and flash memory |
JP4788528B2 (ja) * | 2005-09-22 | 2011-10-05 | 富士通株式会社 | ディスク制御装置、ディスク制御方法、ディスク制御プログラム |
US7411757B2 (en) * | 2006-07-27 | 2008-08-12 | Hitachi Global Storage Technologies Netherlands B.V. | Disk drive with nonvolatile memory having multiple modes of operation |
-
2006
- 2006-12-27 JP JP2006353035A patent/JP4675881B2/ja not_active Expired - Fee Related
-
2007
- 2007-12-17 CN CNA2007103001148A patent/CN101226505A/zh active Pending
- 2007-12-17 US US11/957,840 patent/US7853761B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6476344A (en) * | 1987-09-18 | 1989-03-22 | Fujitsu Ltd | Disk cache control system |
JPH06348600A (ja) * | 1993-06-04 | 1994-12-22 | Hitachi Ltd | ディスクキャッシュ装置 |
JPH1040170A (ja) * | 1996-07-26 | 1998-02-13 | Toshiba Corp | ディスクキャッシュシステム |
JP2001154809A (ja) * | 1999-11-30 | 2001-06-08 | Fujitsu Ltd | ディスク装置 |
JP2001222380A (ja) * | 2000-02-07 | 2001-08-17 | Hitachi Ltd | 外部記憶装置とそれを備えた情報処理システム |
JP2001250315A (ja) * | 2000-03-03 | 2001-09-14 | Hitachi Ltd | 高信頼性記憶装置及び情報記録方法。 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012517645A (ja) * | 2009-02-11 | 2012-08-02 | インディリンクス カンパニー リミテッド | 半導体ディスクシステムのバッファキャッシュプログラミング方法およびバッファキャッシュプログラミング装置 |
JP2010211880A (ja) * | 2009-03-11 | 2010-09-24 | Sharp Corp | ディスクドライブ装置、その制御方法、プログラム、及び、記録媒体 |
JP2011134413A (ja) * | 2009-12-25 | 2011-07-07 | Internatl Business Mach Corp <Ibm> | 読出し及び書込み命令の混在するコマンド列を受け取った場合の最適な書込みを実行するリニア記録方式の装置、その方法、及びプログラム。 |
US9601141B2 (en) | 2009-12-25 | 2017-03-21 | International Business Machines Corporation | Linear recording device for executing optimum writing upon receipt of series of commands including mixed read and write commands and a method for executing the same |
US8966169B2 (en) | 2009-12-25 | 2015-02-24 | International Business Machines Corporation | Linear recording device for executing optimum writing upon receipt of series of commands including mixed read and write commands and a method for executing the same |
JP2012243353A (ja) * | 2011-05-19 | 2012-12-10 | Internatl Business Mach Corp <Ibm> | テープ記憶装置、データ書込み方法、及び、プログラム |
US8964327B2 (en) | 2011-05-19 | 2015-02-24 | International Business Machines Corporation | Tape storage device, data writing method, and program |
US8929020B2 (en) | 2011-06-24 | 2015-01-06 | International Business Machines Corporation | Linear recording device for executing optimum writing upon receipt of series of commands including mixed read and write commands and method and program thereof |
JP5552195B2 (ja) * | 2011-06-24 | 2014-07-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 読出し及び書込み命令の混在するコマンド列を受け取った場合の最適な書込みを実行するリニア記録方式の装置、その方法、及びプログラム |
GB2506555A (en) * | 2011-06-24 | 2014-04-02 | Ibm | Linear-recording device for performing optimal writing on receipt of command string of combined read and write commands method for same, and program |
US9135949B2 (en) | 2011-06-24 | 2015-09-15 | International Business Machines Corporation | Linear recording executing optimum writing upon receipt of series of commands including mixed read and write commands |
US9330713B2 (en) | 2011-06-24 | 2016-05-03 | International Business Machines Corporation | Linear recording executing optimum writing upon receipt of series of commands including mixed read and write commands |
WO2012176539A1 (ja) * | 2011-06-24 | 2012-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 読出し及び書込み命令の混在するコマンド列を受け取った場合の最適な書込みを実行するリニア記録方式の装置、その方法、及びプログラム |
GB2506555B (en) * | 2011-06-24 | 2019-02-06 | Ibm | Linear recording for executing optimum writing upon receipt of series of commands including mixed read and write commands |
JP2013161112A (ja) * | 2012-02-01 | 2013-08-19 | Nec Corp | 情報処理装置、制御装置、及び情報処理方法 |
JP2016021133A (ja) * | 2014-07-14 | 2016-02-04 | 株式会社東芝 | 磁気ディスク装置、及びライトコマンドを実行する方法 |
Also Published As
Publication number | Publication date |
---|---|
US7853761B2 (en) | 2010-12-14 |
US20080162803A1 (en) | 2008-07-03 |
CN101226505A (zh) | 2008-07-23 |
JP4675881B2 (ja) | 2011-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4675881B2 (ja) | 磁気ディスク装置およびその制御方法 | |
US6779081B2 (en) | Apparatus and method for defragmentation in disk storage system | |
US8667248B1 (en) | Data storage device using metadata and mapping table to identify valid user data on non-volatile media | |
US8819375B1 (en) | Method for selective defragmentation in a data storage device | |
US8560759B1 (en) | Hybrid drive storing redundant copies of data on disk and in non-volatile semiconductor memory based on read frequency | |
KR101474344B1 (ko) | 캐시 플러시 제어 방법 및 이를 이용한 데이터 저장 시스템 | |
US7472219B2 (en) | Data-storage apparatus, data-storage method and recording/reproducing system | |
US8639872B1 (en) | Hybrid drive comprising write cache spanning non-volatile semiconductor memory and disk | |
JP4469906B2 (ja) | 磁気ディスク装置及び同装置におけるデータリフレッシュ方法 | |
JP2009020986A (ja) | ディスク・ドライブ装置及びディスク・ドライブ装置において不揮発性半導体メモリ領域上のデータを管理するテーブルを保存する方法 | |
JP2008046964A (ja) | 情報記録装置及びその制御方法 | |
TW201103016A (en) | Systems and methods for tiered non-volatile storage | |
JP2007200537A (ja) | ハイブリッドディスクドライブおよびハイブリッドディスクドライブのデータ制御方法 | |
US10152236B2 (en) | Hybrid data storage device with partitioned local memory | |
US7913029B2 (en) | Information recording apparatus and control method thereof | |
JP2010118112A (ja) | 記憶装置および記憶装置の制御方法 | |
US20120162809A1 (en) | Magnetic disk drive and method of accessing a disk in the drive | |
US20040015878A1 (en) | Reordering controller, reordering method and storage apparatus | |
US11275684B1 (en) | Media read cache | |
KR20070060301A (ko) | 불휘발성 메모리를 쓰기 캐시로 구비한 하드 디스크드라이버 | |
JP2009146539A (ja) | 情報記録装置および情報記録方法 | |
JP4919983B2 (ja) | データ記憶装置及びデータ記憶装置におけるデータ管理方法 | |
JP4869416B2 (ja) | 磁気ディスク装置及び同装置におけるデータリフレッシュ方法 | |
JP2007164928A (ja) | 記憶媒体管理装置、記憶媒体管理プログラム、記憶媒体管理方法 | |
JP2009087460A (ja) | ディスク記憶装置のコマンド処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4675881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |