JP2008234653A - 目標画像検出方法及び画像検出装置 - Google Patents
目標画像検出方法及び画像検出装置 Download PDFInfo
- Publication number
- JP2008234653A JP2008234653A JP2008072441A JP2008072441A JP2008234653A JP 2008234653 A JP2008234653 A JP 2008234653A JP 2008072441 A JP2008072441 A JP 2008072441A JP 2008072441 A JP2008072441 A JP 2008072441A JP 2008234653 A JP2008234653 A JP 2008234653A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target image
- target
- angle
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 本発明の目標画像検出装置は、所定向きの画像に目標画像が含まれているか否かを判別する目標画像識別手段と、入力画像の向きを判別する画像方向判別手段と、判別された前記入力画像の向きに応じて、前記目標画像識別手段を回転する回転手段とを有し、前記回転された目標画像識別手段により、前記入力画像から、前記目標画像が検出される。
【選択図】図3
Description
なお、本実施形態に係る画像検出装置はこのような応用に限定されない。
n>2の場合は、従来技術において、一般的に、角度識別手段は、n個の角度のうち任意2つの角度を区別できるように構成されていた。n個の角度のうち、任意2つの角度の組合せの数はn(n−1)/2であるので、従来の角度識別手段はn(n−1)/2個の角度分類器を有する。このような構成の角度識別手段により、角度判別のため多い演算量と高いメモリ容量は必要である。
本実施形態には、角度識別手段110は、n−1個の角度分類器を利用してn個の既知の角度から顔画像の角度を判別する。以下に述べるように、角度識別手段110において、上記既知のn個の角度のうちの一つを参照角度Rとし、角度識別手段110により判別された顔画像の角度をθとする。
各段のBoosting画像識別器は、顔画像上の特徴部を用いて顔画像を識別する。本実施形態において、非特許文献1に開示のViola法を用いて、Haarウェーブレットを顔検出の特徴として目標画像を識別する。
101 入力画像信号
105 画像ブロック生成手段
110 角度識別手段
111 角度分類器グループ
112 統合部
120 参照画像識別手段
121,122,123 角度分類器
130 角度対応画像識別部生成手段
140 目標画像検出手段
150 画像出力手段
Claims (16)
- 所定向きの画像に目標画像が含まれているか否かを判別する目標画像識別手段と、
入力画像の向きを判別する画像方向判別手段と、
判別された前記入力画像の向きに応じて、前記目標画像識別手段を回転する回転手段と
を有し、
前記回転された目標画像識別手段により、前記入力画像から、前記目標画像が検出される
目標画像検出装置。 - 前記画像方向判別手段は、前記目標画像における複数の特徴部を用い、前記入力画像の向きを判別する
請求項1に記載の目標画像検出装置。 - 前記目標画像識別手段、段階的に配置された複数の画像識別部を含み、
前記回転手段は、判別された前記入力画像の向きに応じて、前記目標画像識別手段における少なくとも一部の画像識別部を回転する
請求項1に記載の目標画像検出装置。 - 前記画像方向判別手段は、各々2つの角度を区別する方向判別部を複数有し、前記入力画像の複数の向きを判別する
請求項1〜3の何れかに記載の目標画像検出装置。 - 前記画像方向判別手段は、さらに、前記複数の方向判別部の出力を統合する統合部を有する
請求項4に記載の目標画像検出装置。 - 前記回転手段は、前記判別された前記入力画像の向きに応じて、前記目標画像識別手段におけるパラメータのうち、方向に依存するパラメータのみを調整し、前記目標画像識別手段を回転する
請求項1に記載の目標画像検出装置。 - 前記方向に依存するパラメータは、前記目標画像における複数の特徴部の位置を含む
請求項6に記載の目標画像検出装置。 - 入力画像の向きを判別する画像方向判別ステップと、
判別された前記入力画像の向きに応じて、目標画像識別に用いられるパラメータを回転処理する回転ステップと、
前記回転されたパラメータを用い、前記入力画像から、前記目標画像を検出する目標画像識別ステップと
を有する
目標画像検出方法。 - 前記画像方向判別ステップにおいて、前記目標画像における複数の特徴部を用い、前記入力画像の向きを判別する
請求項8に記載の目標画像検出方法。 - 前記目標画像識別ステップにおいて、段階的に配置された複数の画像識別部を用い、前記目標画像を検出し、
前記回転ステップにおいて、判別された前記入力画像の向きに応じて、少なくとも一部の画像識別部を回転する
請求項8に記載の目標画像検出方法。 - 前記画像方向判別ステップにおいて、各々2つの角度を区別する方向判別部を複数用い、前記入力画像の複数の向きを判別する
請求項8〜10の何れかに記載の目標画像検出方法。 - 前記画像方向判別ステップにおいては、さらに、前記複数の方向判別ステップの出力が統合される
請求項11に記載の目標画像検出方法。 - 前記回転ステップにおいて、前記判別された前記入力画像の向きに応じて、前記目標画像識別ステップにおけるパラメータのうち、方向に依存するパラメータのみを調整し、前記回転処理を行う
請求項8に記載の目標画像検出方法。 - 前記方向に依存するパラメータは、前記目標画像における複数の特徴部の位置を含む
請求項13に記載の目標画像検出方法。 - コンピュータに
入力画像の向きを判別する画像方向判別ステップと、
判別された前記入力画像の向きに応じて、目標画像識別に用いられるパラメータを回転処理する回転ステップと、
前記回転されたパラメータを用い、前記入力画像から、前記目標画像を検出する目標画像識別ステップと
を実行させる
目標画像検出プログラム。 - コンピュータに
入力画像の向きを判別する画像方向判別ステップと、
判別された前記入力画像の向きに応じて、目標画像識別に用いられるパラメータを回転処理する回転ステップと、
前記回転されたパラメータを用い、前記入力画像から、前記目標画像を検出する目標画像識別ステップと
を実行させる
目標画像検出プログラムを記録した記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710087885.3 | 2007-03-21 | ||
CN200710087885.3A CN101271515B (zh) | 2007-03-21 | 2007-03-21 | 能识别多角度目标的图像检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008234653A true JP2008234653A (ja) | 2008-10-02 |
JP5256806B2 JP5256806B2 (ja) | 2013-08-07 |
Family
ID=39666190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008072441A Expired - Fee Related JP5256806B2 (ja) | 2007-03-21 | 2008-03-19 | 目標画像検出方法及び画像検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8660317B2 (ja) |
EP (1) | EP1973064A3 (ja) |
JP (1) | JP5256806B2 (ja) |
CN (1) | CN101271515B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165188A (ja) * | 2010-02-08 | 2011-08-25 | Ricoh Co Ltd | 多角度の特定物体の判断装置及び多角度の特定物体の判断方法 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4478093B2 (ja) * | 2005-10-17 | 2010-06-09 | 富士フイルム株式会社 | 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 |
US8634638B2 (en) * | 2008-06-20 | 2014-01-21 | Sri International | Real-time action detection and classification |
CN101458560B (zh) * | 2008-12-25 | 2011-06-29 | 南京壹进制信息技术有限公司 | 一种计算机智能节能方法 |
JP2010182150A (ja) * | 2009-02-06 | 2010-08-19 | Seiko Epson Corp | 顔の特徴部位の座標位置を検出する画像処理装置 |
CN101872476A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 估计图像中对象姿势视角的方法、设备 |
CN102208009A (zh) * | 2010-03-31 | 2011-10-05 | 索尼公司 | 分类器及分类方法 |
CN101917548A (zh) * | 2010-08-11 | 2010-12-15 | 无锡中星微电子有限公司 | 自适应调整画面的摄像装置及方法 |
WO2012085330A1 (en) * | 2010-12-20 | 2012-06-28 | Nokia Corporation | Picture rotation based on object detection |
CN102129572B (zh) * | 2011-02-25 | 2013-05-15 | 杭州海康威视数字技术股份有限公司 | 采用级联分类器的人脸检测方法及其装置 |
EP2691915A4 (en) * | 2011-03-31 | 2015-04-29 | Intel Corp | METHOD FOR DETECTING FACE POINTS |
TWI501195B (zh) * | 2011-05-23 | 2015-09-21 | Asustek Comp Inc | 物件偵測方法及其裝置 |
US9183447B1 (en) * | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
JP5848551B2 (ja) * | 2011-08-26 | 2016-01-27 | キヤノン株式会社 | 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム |
CN102426646B (zh) * | 2011-10-24 | 2014-02-12 | 西安电子科技大学 | 多角度人脸检测装置与方法 |
US9129177B2 (en) * | 2012-01-09 | 2015-09-08 | Qualcomm Incorporated | Image cache |
CN102622604B (zh) * | 2012-02-14 | 2014-01-15 | 西安电子科技大学 | 一种基于可变形部件加权的多角度人脸检测方法 |
CN102708383B (zh) * | 2012-05-21 | 2014-11-26 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
CN102799901B (zh) * | 2012-07-10 | 2015-07-15 | 陈遇春 | 一种多角度人脸检测方法 |
JP6344638B2 (ja) | 2013-03-06 | 2018-06-20 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
CN104219488B (zh) * | 2013-05-31 | 2019-01-11 | 索尼公司 | 目标图像的生成方法和装置、以及视频监控系统 |
CN104281569B (zh) * | 2013-07-01 | 2017-08-01 | 富士通株式会社 | 构建装置和方法、分类装置和方法以及电子设备 |
CN103543817A (zh) * | 2013-08-14 | 2014-01-29 | 南通腾启电子商务有限公司 | 一种新型计算机节能系统 |
CN103729649B (zh) * | 2014-01-14 | 2017-03-01 | 三星电子(中国)研发中心 | 一种图像旋转角度检测方法和装置 |
CN104794733B (zh) | 2014-01-20 | 2018-05-08 | 株式会社理光 | 对象跟踪方法和装置 |
CN105163103B (zh) | 2014-06-13 | 2017-10-27 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
CN104091149B (zh) * | 2014-06-20 | 2018-01-26 | 中国船舶重工集团公司第七二六研究所 | 人脸的采集建模训练系统及其采集建模训练方法 |
CN105335955B (zh) | 2014-07-17 | 2018-04-10 | 株式会社理光 | 对象检测方法和对象检测装置 |
CN105335748B (zh) | 2014-08-07 | 2018-10-12 | 株式会社理光 | 图像特征提取方法和系统 |
US9589351B2 (en) * | 2014-09-10 | 2017-03-07 | VISAGE The Global Pet Recognition Company Inc. | System and method for pet face detection |
CN104482883A (zh) * | 2014-12-26 | 2015-04-01 | 大族激光科技产业集团股份有限公司 | 一种标志安装孔的轮廓度和位置度的自动测量设备 |
US10114127B2 (en) * | 2015-05-11 | 2018-10-30 | The United States Of America, As Represented By The Secretary Of The Navy | Augmented reality visualization system |
CN105740792B (zh) * | 2016-01-25 | 2019-03-12 | 浙江生辉照明有限公司 | 目标检测方法和装置 |
US9864931B2 (en) | 2016-04-13 | 2018-01-09 | Conduent Business Services, Llc | Target domain characterization for data augmentation |
US10347218B2 (en) * | 2016-07-12 | 2019-07-09 | Qualcomm Incorporated | Multiple orientation detection |
CN106203383B (zh) * | 2016-07-21 | 2019-06-11 | 成都之达科技有限公司 | 基于图像的车辆安全预警方法 |
CN106384087A (zh) * | 2016-09-05 | 2017-02-08 | 大连理工大学 | 一种基于多层网络人体特征的身份识别方法 |
JP6604314B2 (ja) * | 2016-11-15 | 2019-11-13 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像形成装置、画像読取方法 |
CN106874845B (zh) * | 2016-12-30 | 2021-03-26 | 东软集团股份有限公司 | 图像识别的方法和装置 |
CN107798228A (zh) * | 2017-09-27 | 2018-03-13 | 维沃移动通信有限公司 | 一种人脸识别方法及移动终端 |
CN108121986B (zh) * | 2017-12-29 | 2019-12-17 | 深圳云天励飞技术有限公司 | 目标检测方法及装置、计算机装置和计算机可读存储介质 |
US10977548B2 (en) | 2018-12-05 | 2021-04-13 | Bank Of America Corporation | Generation of capsule neural networks for enhancing image processing platforms |
CN109657603B (zh) * | 2018-12-17 | 2021-05-11 | 深圳云天励飞技术有限公司 | 人脸检测的方法及装置 |
CN111415520A (zh) * | 2018-12-18 | 2020-07-14 | 北京航迹科技有限公司 | 处理交通目标的系统和方法 |
CN110796029B (zh) * | 2019-10-11 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 人脸校正及模型训练方法、装置、电子设备及存储介质 |
CN111582027B (zh) * | 2020-04-01 | 2024-03-22 | 广州亚美智造科技有限公司 | 身份认证方法、装置、计算机设备和存储介质 |
CN112801070B (zh) * | 2021-04-14 | 2021-09-21 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115973A (ja) * | 1997-06-23 | 1999-01-22 | Mitsubishi Electric Corp | 画像認識装置 |
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549646B1 (en) * | 2000-02-15 | 2003-04-15 | Deus Technologies, Llc | Divide-and-conquer method and system for the detection of lung nodule in radiological images |
JP4665355B2 (ja) | 2001-07-23 | 2011-04-06 | コニカミノルタホールディングス株式会社 | 画像抽出装置、画像抽出方法および画像抽出プログラム |
US6915025B2 (en) * | 2001-11-27 | 2005-07-05 | Microsoft Corporation | Automatic image orientation detection based on classification of low-level image features |
US7024033B2 (en) | 2001-12-08 | 2006-04-04 | Microsoft Corp. | Method for boosting the performance of machine-learning classifiers |
US7050607B2 (en) | 2001-12-08 | 2006-05-23 | Microsoft Corp. | System and method for multi-view face detection |
US7233692B2 (en) * | 2002-11-14 | 2007-06-19 | Lockheed Martin Corporation | Method and computer program product for identifying output classes with multi-modal dispersion in feature space and incorporating multi-modal structure into a pattern recognition system |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
JP4692773B2 (ja) * | 2004-03-03 | 2011-06-01 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
KR100643303B1 (ko) | 2004-12-07 | 2006-11-10 | 삼성전자주식회사 | 다면 얼굴을 검출하는 방법 및 장치 |
JP2006331266A (ja) | 2005-05-30 | 2006-12-07 | Konica Minolta Holdings Inc | オブジェクト検出方法及びオブジェクト検出装置 |
-
2007
- 2007-03-21 CN CN200710087885.3A patent/CN101271515B/zh not_active Expired - Fee Related
-
2008
- 2008-03-19 JP JP2008072441A patent/JP5256806B2/ja not_active Expired - Fee Related
- 2008-03-20 EP EP20080250996 patent/EP1973064A3/en not_active Ceased
- 2008-03-20 US US12/076,612 patent/US8660317B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115973A (ja) * | 1997-06-23 | 1999-01-22 | Mitsubishi Electric Corp | 画像認識装置 |
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
Non-Patent Citations (1)
Title |
---|
JPN6012033538; Yong Ma: 'Real-time rotation invariant face detection based on cost-sensitive AdaBoost' Image Processing,2003.ICIP 2003.Proceeding.2003 International Conference Vol.3, 200309, III-921-924 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011165188A (ja) * | 2010-02-08 | 2011-08-25 | Ricoh Co Ltd | 多角度の特定物体の判断装置及び多角度の特定物体の判断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101271515A (zh) | 2008-09-24 |
CN101271515B (zh) | 2014-03-19 |
US20080253664A1 (en) | 2008-10-16 |
EP1973064A2 (en) | 2008-09-24 |
US8660317B2 (en) | 2014-02-25 |
JP5256806B2 (ja) | 2013-08-07 |
EP1973064A3 (en) | 2011-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5256806B2 (ja) | 目標画像検出方法及び画像検出装置 | |
JP4619927B2 (ja) | 顔検出方法および装置並びにプログラム | |
JP4642128B2 (ja) | 画像処理方法、画像処理装置及びシステム | |
US8861806B2 (en) | Real-time face tracking with reference images | |
US8391645B2 (en) | Detecting orientation of digital images using face detection information | |
US8081844B2 (en) | Detecting orientation of digital images using face detection information | |
US8605955B2 (en) | Methods and apparatuses for half-face detection | |
US9230184B2 (en) | Image display control apparatus and method, and program for controlling image display control apparatus | |
EP3168810A1 (en) | Image generating method and apparatus | |
CN110348270B (zh) | 影像物件辨识方法与影像物件辨识系统 | |
US20050190963A1 (en) | Target object detecting method, apparatus, and program | |
JP2008234654A (ja) | 目標画像検出方法及び画像検出装置 | |
JP2011165008A (ja) | 画像認識装置および方法 | |
KR101235791B1 (ko) | 방위 독립적인 얼굴 검출기를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
JP2008152530A (ja) | 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム | |
JP2008102611A (ja) | 画像処理装置 | |
JP2007272685A (ja) | 自動トリミング方法および装置ならびにプログラム | |
JP2007065844A (ja) | 顔検出方法および装置並びにプログラム | |
WO2014074959A1 (en) | Real-time face detection using pixel pairs | |
JP4647289B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP4708835B2 (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
JP2007074142A (ja) | 撮像装置及びその制御方法、及び画像処理装置及び方法 | |
JPWO2020213166A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2008181439A (ja) | 顔検出装置及び方法並びに撮像装置 | |
JP2008211534A (ja) | 顔検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5256806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |