CN105894443A - 一种基于改进的surf算法的实时视频拼接方法 - Google Patents

一种基于改进的surf算法的实时视频拼接方法 Download PDF

Info

Publication number
CN105894443A
CN105894443A CN201610193675.1A CN201610193675A CN105894443A CN 105894443 A CN105894443 A CN 105894443A CN 201610193675 A CN201610193675 A CN 201610193675A CN 105894443 A CN105894443 A CN 105894443A
Authority
CN
China
Prior art keywords
video
feature
surf
projection matrix
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610193675.1A
Other languages
English (en)
Other versions
CN105894443B (zh
Inventor
吴学文
原帅
周燕
刘娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201610193675.1A priority Critical patent/CN105894443B/zh
Publication of CN105894443A publication Critical patent/CN105894443A/zh
Application granted granted Critical
Publication of CN105894443B publication Critical patent/CN105894443B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14

Abstract

本发明公开了一种实时视频拼接方法,属于视频图像处理技术领域。本发明的实时视频拼接方法利用相位相关法计算待拼接视频帧图像的重叠区域。对SURF(Speeded UP Robust Features)算法进行了改进,简化了SURF算法中特征点描述子的生成过程并降低了描述子维数,利用改进的SURF算法提取视频帧重叠区域的特征点;提出一种基于特征分块匹配的图像配准方法,对特征点进行匹配,减少了计算量,提高了计算效率,并利用特征分块匹配快速求取图像变换模型;最后提出一种基于相关系数的投影矩阵更新方法,用于更新投影矩阵,防止出现错误的拼接结果。最后对视频帧图像进行融合,从而实现实时视频拼接。

Description

一种基于改进的SURF算法的实时视频拼接方法
技术领域
本发明涉及一种视频拼接方法,将来自两个摄像头的视频流进行实时拼接,属于图像视频处理技术领域。
背景技术
视频拼接是将相互之间有部分重叠区域的多个视频拼接成一段宽视野、高分辨率的全景视频,它是在图像拼接的基础上发展起来的,是图像拼接技术的应用和扩展。视频拼接技术被广泛的应用在智能监控、视频会议、医学显微视频、航拍视频等领域。
视频拼接是将多个摄像头拍摄到的视频流拼接成一个全景视频。不同于图像拼接的是视频拼接对时间要求比较高,所以现有的视频拼接方法都考虑到了时间复杂度,但是实时性比较差。Zheng M等人[参见文献Zheng M, Chen X, Guo L. Stitching Video fromWebcams[C].Lecture Notes In Computer Science; Proceedings of the 4thInternational Symposium on Advances in Visual Computing, Part II,2008:420-429]开发了一个基于摄像头的视频实时拼接系统,该系统只在初始化阶段计算投影矩阵,之后就不再计算投影矩阵,整个过程就利用同一个投影矩阵进行拼接。该系统可以实现实时性,但是算法不稳定,容易出现拼接错误。Zhang H等人[参见文献:Zhang H, Zeng W.Foreground based Borderline Adjusting for Real Time Multi-Camera VideoStitching[C]. Fifth International Conference on Image and Graphics( ICIG),2009: 355-360]提出了一种采用前景信息调整边界的算法,对于处理前景物体通常会在拼接边界处产生裂缝有较好的处理效果,但是不能实现实时性。雷中锋[参见文献:雷中锋.视频拼接及在可视化网上购物中的应用[D]. 北京: 北京工业大学, 2004]提出了针对多个摄像头的基于视频帧图像不同序列进行加权平均图像拼接算法,运算简单、速度快,但是得到的参数精确性差、误差大,从而使得最终拼接的视频帧图像质量不理想。
在图像拼接技术中,基于特征点的拼接方法由于具有稳定性、鲁棒性和精确性等优点而得到广泛应用。但是检测特征点是个耗时的过程,所以在视频拼接中不适合检测每一帧图像的特征点。视频帧图像之间存在空间相关性,可以利用该相关性省去部分帧图像的特征点检测。T. Shimizu等人[参见文献:T. Shimizu, A. Yoneyama and Y.Takishima, “A fast video stitching method for motion-compensated frames incompressed video streams”, International Conference on Consumer Electronics,2006]给出了一个简化方法,利用相邻帧图像的空间相关性、结合全局运动矢量跟踪特征点,跟踪到的特征点作为后续帧的特征点。张朝伟等人[参见文献:张朝伟,周焰,王耀康,程焱. 基于SIFT特征跟踪匹配的视频拼接方法[J]. 计算机工程与应用. 2008,44(10):169-172]通过对相邻帧间特征运动估计得到后续帧的匹配特征,加快了拼接速度,但是也只能达到5帧/秒。
基于上述讲到的问题和方法,本文提出一种新的实时视频拼接方法。该方法对现有的视频拼接方法进行三方面的改进:第一是对特征检测SURF算法进行改进,提高特征检测的速度;第二是对特征匹配进行分块匹配,提高特征匹配的效率;第三是利用相关系数实现投影矩阵的更新,得到效率和精度相对较为均衡的效果。通过以上改进,实现了视频的实时拼接。
由于图像中往往可以提取出很多特征点,对于视频拼接而言,只需要找到两幅待拼接视频帧的匹配特征点即可,所以本文只对视频帧重叠区域提取特征点,以降低计算量。本文利用吴学文(参见文献:吴学文. 一种基于重叠区域SIFT特征点的图像拼接方法[P].中国. 102968777. 2013-03-13)中的方法计算重叠区域范围。
SIFT(Scale-Invariant Feature)算法[参见文献:David G. Lowe. DistinctiveImage Features from Scale-Invariant Keypoints[J]. International Journal ofComputer Vision, 2004,60(2):91-110]和SURF(Speeded UP Robust Features) 算法[参见文献:Bay H, Tuvtellars T, Gool L Van. SURF: Speeded UP Robust Features[C].Conference on Computer Vision. 2006]是常用的两种提取特征点的方法,并且都比较稳定、鲁棒性较好,对光照、旋转等都适用。由于SURF算法比SIFT算法执行速度快,所以在对时间要求严格的视频拼接中,选用SURF算法提取特征点。
SURF算法检测特征点是基于尺度空间技术实现的,实现的主要步骤如下:(1) 构建尺度空间;(2) 尺度空间极值检测;(3) 确定特征点方向;(4) 生成64维特征点描述符。
利用SURF算法检测到的特征点非常多,分布密集,而且步骤(3)和步骤(4)中,均需要计算小波响应。由于本文要实现的是视频实时拼接,所以需要快速的检测特征点和快速的进行特征匹配。SURF算法中耗时较长的两个过程是特征点检测和特征描述子的生成,本文针对这两个过程对SURF算法进行了改进。
本发明利用改进的SURF算法提取视频帧重叠区域的特征点,利用特征分块匹配法对视频帧进行配准,获得投影矩阵。根据相邻视频帧的相位相关系数更新投影矩阵,从而实现实时视频拼接。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种基于改进的SURF算法的视频拼接方法,在保证视频拼接良好性能的同时,提高了视频拼接方法的计算效率和匹配率,实现视频实时拼接。
本发明具体采用以下技术方案解决上述技术问题:一种基于改进的SURF算法的实时视频拼接方法,其特征在于,包括以下步骤:
步骤1、获取两个摄像头首帧图像,利用相位相关系数确定摄像头重叠范围;
步骤2、提取相邻帧间重叠区域内的SURF特征点,并建立32维特征描述子;
步骤3、将特征点进行分块匹配,求得投影矩阵;
步骤4、利用相关系数更新投影矩阵
步骤5、帧图像融合,实现视频拼接。
进一步地,步骤2具体包括以下步骤:
步骤201、计算以特征点为中心,以6为半径的圆形邻域内像素对Haar小波的响应值,并对各响应值进行高斯加权,其中,为特征点所在空间的尺度值,Haar小波的大小为2×2
步骤202、用45°的扇形滑动窗口滑动遍历该圆形邻域,滑动步长为弧度,每滑动一次,就对该窗口内元素的Haar小波响应值累加,得到一个特征子矢量[]和矢量,其中
步骤203、扇形滑动窗口遍历完整个圆形邻域后,共得到8个特征子矢量和8个Haar小波响应累加值,比较,最大的所对应的方向即为特征点的主方向,即
步骤204、从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取各个特征子矢量,得到4×8=32维的特征描述子。
进一步地,步骤3具体包括以下步骤:
步骤301、对待配准图像上半部分的特征点匹配时,只搜索配准图像上半部分的特征点;
步骤302、对待配准图像下半部分的特征点匹配时,只搜索配准图像下半部分的特征点。
进一步地,步骤4具体包括一下步骤:
步骤401、计算当前帧与前一帧重叠范围之间的相位相关系数;
步骤402、如果相位相关系数大于等于设定的阈值,则不更新投影矩阵;如果相位相关系数小于设定的阈值,则更新投影矩阵。
本发明通过对SURF算法进行改进,简化SURF算法中的特征点描述子的生成步骤,并减少描述子的维数,提高SURF算法的执行速度;然后通过特征点的分块匹配方法实现特征匹配,减少特征点匹配计算量;最后,根据相邻帧重叠区域的相位相关系数实现
投影矩阵的更新,实现了视频的实时拼接。
附图说明
图1是本发明改进的视频拼接算法的流程图;
图2是改进SURF的特征点邻域划分示意图;
图3是现有技术中的特征匹配方法的分块匹配特征点的示意图;
图4 是本发明的特征分块匹配法的分块匹配特征点的示意图;
图5是30段普通的监控视频进行相关系数统计结果图。
具体实施方式
本发明针对视频实时拼接对时间的严格要求以及现有的视频拼接方法中的一些不足,实现了一种视频实时拼接方法。该方法首先利用相位相关系数求取两个摄像头的重叠范围,后文将只针对重叠范围内的图像进行处理;然后对SURF算法进行改进,改进SURF算法中特征点描述子的生成方法并降低描述子的维数,利用改进的SURF算法提取视频帧重叠区域内的特征;利用分块匹配的特征配准方法实现视频帧的配准,得到变换矩阵,最后根据相邻帧之间的相关系数实现投影矩阵的实时更新,实现视频的拼接。为了便于公众理解,下面结合附图对本发明的技术方案进行详细说明。
SURF算法是基于尺度空间技术的,实现特征点的检测有以下几个步骤:(1)尺度空间极值的检测;(2)特征点方向的确定;(3)特征点描述符的生成。在步骤(2)和步骤(3)中,需要两次求取特征点邻域内的Haar小波响应向量,并且生成的是64维的特征点描述符。由于在视频拼接中对时间要求特别严格,需要对SURF算法进行改进,对步骤(2)和步骤(3)进行改进,减少重复的计算,降低特征点描述符的维数,以实现快速提取视频帧的特征点。本发明对SURF算法的改进,具体步骤如下:
步骤1、以特征点为中心,以6为半径得到特征点的圆形邻域。计算该圆形区域内像素对Haar小波(大小为2×2)的响应值,并对各响应值进行高斯加权。
步骤2、用45°的扇形滑动窗口滑动遍历该圆形邻域,滑动步长为弧度,如图2所示,图中不同颜色代表扇形窗口不同的滑动位置,图中8种不同颜色区域代表了8次滑动位置。每滑动一次,就对该窗口内元素的Haar小波响应值累加,得到一个特征子矢量[]和矢量,其中
步骤3、扇形滑动窗口遍历整个圆形邻域后,共得到8个特征子矢量和8个Haar小波响应累加值。比较,最大的所对应的方向即为特征点的主方向,即
步骤4、从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取各个特征子矢量,得到4×8=32维的特征描述子。
从上述改进步骤中可以看到,描述子的维数从原来的64维减少为32维,而且将两次计算Haar小波响应合成一次计算,将会减少描述子的生成时间。又由于在生成描述子时是从主方向开始的,即主方向所对应区域的特征矢量是在特征描述子的最前面,主方向对特征描述子的权重最大,从而保持了SURF算法的旋转不变性。利用改进后的SURF算法可以快速提取图像的特征点。
由于视频帧中往往可以提取出很多特征点,而且对于摄像机相对固定的情况,匹配的特征点的位移差相对固定,这样造成了大量的徒劳计算。本发明提出了特征分块匹配的方法,将视频帧分成两块,上块中的特征点与上块中的特征点进行匹配,下块中的特征点与下块中的特征点匹配,如图3所示,图中红色虚连线表示无效的匹配,其中共需匹配4*6=24次,图4中只需匹配4*3=12次,减少了一半的计算量。特征点匹配后,为了进一步剔除误匹配对以获得较精确的投影矩阵,再使用RANSAC算法对特征点对提纯。根据投影变换模型,利用提纯后得到的两幅图像间的映射点集,可以求得投影变换矩阵。
视频中运动物体的存在会影响投影矩阵,为了防止出现错误的拼接,需要对投影矩阵实时更新。本发明利用相邻帧之间的相关系数实现投影矩阵的更新。相关系数越大,说明相邻帧间的空间相关性越强,说明运动物体造成的影响越小,不需更新投影矩阵。设定阈值,相关系数大于等于阈值时,不需更新投影矩阵;相关系数小于阈值时,需要更新投影矩阵。图5是统计许多视频相邻帧之间相关系数的结果图,根据统计结果,本发明设定阈值为0.3。
本发明采用渐入渐出融合法对图像进行融合,以消除重叠区域处的接缝或亮度差异,从而完成了视频的拼接。

Claims (4)

1.一种基于改进的SURF算法的实时视频拼接方法,其特征在于,包括以下步骤:
步骤1、、获取两个摄像头首帧图像,利用相位相关系数确定摄像头重叠范围;
步骤2、提取相邻帧间重叠区域内的SURF特征点,并建立32维特征描述子;
步骤3、将特征点进行分块匹配,求得投影矩阵;
步骤4、利用相关系数更新投影矩阵
步骤5、帧图像融合,实现视频拼接。
2.如权利要求1所述的一种基于改进的SURF算法的实时视频拼接方法,其特征在于,步骤2具体包括以下步骤:
步骤201、计算以特征点为中心,以6为半径的圆形邻域内像素对Haar小波的响应值,并对各响应值进行高斯加权,其中,为特征点所在空间的尺度值,Haar小波的大小为2×2
步骤202、用45°的扇形滑动窗口滑动遍历该圆形邻域,滑动步长为弧度,每滑动一次,就对该窗口内元素的Haar小波响应值累加,得到一个特征子矢量[]和矢量,其中
步骤203、扇形滑动窗口遍历完整个圆形邻域后,共得到8个特征子矢量和8个Haar小波响应累加值,比较,最大的所对应的方向即为特征点的主方向,即
步骤204、从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取各个特征子矢量,得到4×8=32维的特征描述子。
3.如权利要求1所述的一种基于改进的SURF算法的实时视频拼接方法,其特征在于,步骤3具体包括以下步骤:
步骤301、对待配准图像上半部分的特征点匹配时,只搜索配准图像上半部分的特征点;
步骤302、对待配准图像下半部分的特征点匹配时,只搜索配准图像下半部分的特征点。
4.如权利要求1所述的一种基于改进的SURF算法的实时视频拼接方法,其特征在于,步骤4具体包括一下步骤:
步骤401、计算当前帧与前一帧重叠范围之间的相位相关系数;
步骤402、如果相位相关系数大于等于设定的阈值,则不更新投影矩阵;如果相位相关系数小于设定的阈值,则更新投影矩阵。
CN201610193675.1A 2016-03-31 2016-03-31 一种基于改进的surf算法的实时视频拼接方法 Expired - Fee Related CN105894443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610193675.1A CN105894443B (zh) 2016-03-31 2016-03-31 一种基于改进的surf算法的实时视频拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610193675.1A CN105894443B (zh) 2016-03-31 2016-03-31 一种基于改进的surf算法的实时视频拼接方法

Publications (2)

Publication Number Publication Date
CN105894443A true CN105894443A (zh) 2016-08-24
CN105894443B CN105894443B (zh) 2019-07-23

Family

ID=57013980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610193675.1A Expired - Fee Related CN105894443B (zh) 2016-03-31 2016-03-31 一种基于改进的surf算法的实时视频拼接方法

Country Status (1)

Country Link
CN (1) CN105894443B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置
CN108495060A (zh) * 2018-03-26 2018-09-04 浙江大学 一种高清视频实时拼接方法
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备
WO2019061066A1 (en) * 2017-09-27 2019-04-04 Intel Corporation APPARATUS AND METHOD FOR OPTIMIZED IMAGE MESHING BASED ON OPTICAL FLOW
CN111260555A (zh) * 2020-01-15 2020-06-09 东华大学 一种基于surf的改进图像拼接方法
CN111612696A (zh) * 2020-05-21 2020-09-01 网易有道信息技术(北京)有限公司 图像拼接方法、装置、介质及电子设备
CN114820739A (zh) * 2022-07-01 2022-07-29 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117422617A (zh) * 2023-10-12 2024-01-19 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119442A (zh) * 2007-08-10 2008-02-06 浙江大学 基于全景图拼接的视频编辑方法
CN201957162U (zh) * 2011-01-20 2011-08-31 长安大学 一种视频图像自动拼接装置
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103914819A (zh) * 2014-03-26 2014-07-09 东华大学 一种基于改进ransac的红外图像拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119442A (zh) * 2007-08-10 2008-02-06 浙江大学 基于全景图拼接的视频编辑方法
CN201957162U (zh) * 2011-01-20 2011-08-31 长安大学 一种视频图像自动拼接装置
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103914819A (zh) * 2014-03-26 2014-07-09 东华大学 一种基于改进ransac的红外图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周燕 等: ""基于改进的SURF算法的视频总结方法"", 《微型电脑应用》 *
梁玉敏 等: ""基于图像校正与相位相关的视频拼接算法"", 《电视技术》 *
雷飞 等: ""基于改进SURF的实时视频拼接方法"", 《计算机技术与发展》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置
CN107197269B (zh) * 2017-07-04 2020-02-21 广东工业大学 一种视频拼接的方法与装置
US11748952B2 (en) 2017-09-27 2023-09-05 Intel Corporation Apparatus and method for optimized image stitching based on optical flow
WO2019061066A1 (en) * 2017-09-27 2019-04-04 Intel Corporation APPARATUS AND METHOD FOR OPTIMIZED IMAGE MESHING BASED ON OPTICAL FLOW
CN108495060A (zh) * 2018-03-26 2018-09-04 浙江大学 一种高清视频实时拼接方法
CN109509151B (zh) * 2018-11-30 2023-07-21 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备
CN111260555A (zh) * 2020-01-15 2020-06-09 东华大学 一种基于surf的改进图像拼接方法
CN111612696A (zh) * 2020-05-21 2020-09-01 网易有道信息技术(北京)有限公司 图像拼接方法、装置、介质及电子设备
CN111612696B (zh) * 2020-05-21 2024-04-02 网易有道信息技术(北京)有限公司 图像拼接方法、装置、介质及电子设备
CN114820739A (zh) * 2022-07-01 2022-07-29 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN114820739B (zh) * 2022-07-01 2022-10-11 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117422617A (zh) * 2023-10-12 2024-01-19 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统
CN117422617B (zh) * 2023-10-12 2024-04-09 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Also Published As

Publication number Publication date
CN105894443B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
CN111968129A (zh) 具有语义感知的即时定位与地图构建系统及方法
CN105245841B (zh) 一种基于cuda的全景视频监控系统
CN100556153C (zh) 一种多视点图像的预处理方法
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN105488777A (zh) 一种基于移动前景下全景图实时生成系统及其方法
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN110580715A (zh) 一种基于照度约束和格网变形的图像对齐方法
Li et al. Gyroflow+: Gyroscope-guided unsupervised deep homography and optical flow learning
Li et al. Dvonet: unsupervised monocular depth estimation and visual odometry
Shariati et al. Towards privacy-preserving ego-motion estimation using an extremely low-resolution camera
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
Swaminathan et al. Polycameras: Camera clusters for wide angle imaging
CN115456870A (zh) 基于外参估计的多图像拼接方法
Shabanov et al. Self-supervised depth denoising using lower-and higher-quality RGB-d sensors
Amri et al. Unsupervised background reconstruction based on iterative median blending and spatial segmentation
Duan et al. Joint disparity estimation and pseudo NIR generation from cross spectral image pairs
CN106131498A (zh) 全景视频拼接方法及装置
Yan et al. Single Image Reflection Removal From Glass Surfaces Via Multi-Scale Reflection Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190723

CF01 Termination of patent right due to non-payment of annual fee