CN105931209A - 一种基于离散正交多项式变换的多聚焦图像融合方法 - Google Patents
一种基于离散正交多项式变换的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN105931209A CN105931209A CN201610213236.2A CN201610213236A CN105931209A CN 105931209 A CN105931209 A CN 105931209A CN 201610213236 A CN201610213236 A CN 201610213236A CN 105931209 A CN105931209 A CN 105931209A
- Authority
- CN
- China
- Prior art keywords
- image
- discrete orthogonal
- discrete
- matrix
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 27
- 238000007500 overflow downdraw method Methods 0.000 title abstract 4
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 26
- 235000013350 formula milk Nutrition 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012795 verification Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于离散正交多项式变换的多聚焦图像融合方法,本发明首先对需要融合的多幅图像进行分块处理,得到m个n×n的块。其次,分别对每一个块进行离散正交多项式变换,得到对应的变换系数,利用空间频率SF与离散正交多项式变换系数之间的关系得到每一个块的空间频率大小。然后,比较多幅图像对应的每一块的空间频率大小,根据空间频率最大的融合规则融合多幅图像。最后,将融合后的图像进行一致性验证,得到融合后的图像。相较于传统的多聚焦图像融合方法,该方法首创性的用到了离散多项式变换域,并将图像的空间频率与离散多项式变换系数建立了联系,节省了融合的时间,并有效的提高了图像的融合效果。
Description
技术领域
本发明属于基于离散正交多项式变换的多聚焦图像融合方法,属于数字图像处理、机器视觉的技术领域。
背景技术
视觉是人类从大自然中获取信息的最主要的手段。据统计,在人类获取的信息中,视觉信息约占60%。由此可见,视觉信息对于人类的重要性,而图像正是人类获取视觉信息的主要途径。从20世纪60年代起,随着计算机技术的不断提高和普及,图像在人类生活中开始发挥着越来越重要的作用,随之,数字图像处理进入高速发展时期。
所谓数字图像处理就是利用数字计算机或者其他数字硬件,对从图像信息转换而得的电信号进行某些数学运算,以提高图像的实用性,满足人的视觉心里和应用需求。总的来说,数字图像处理主要包括:(1)图像变换;(2)图像编码压缩:(3)图像增强和复原;(4)图像分割;(5)图像融合。在实际应用中,根据不同的情况采取相应的措施以满足人类的视觉需求。
多聚焦图像融合是多元图像融合领域的一个重要分支,主要用于同一光学传感器在相同成像条件下获取的聚焦目标不同的多幅图像的融合处理。由于光学镜头的聚焦范围有限,光学成像系统不能将焦点内外的所有目标同时清晰成像,导致图像分析时需要耗费大量时间和精力。多聚焦图像融合是一种解决光学成像系统聚焦范围局限性问题的有效方法,可以有效提高图像信息的利用率,扩大系统工作范围,增强系统可靠性,更加准确的描述场景中的目标信息。
本文所提出的基于离散正交多项式变换的多聚焦图像融合方法,首次将离散正交多项式变换应用到多聚焦图像融合领域,并巧妙的利用了空间频率与离散正交多项式变换系数之间的关系,直接通过离散正交多项式变换系数得到空间频率的大小。避免了将离散正交多项变换系数逆变换到空域再计算空间频率的过程,为多聚焦图像融合的过程节省了时间,提高了融合效果。
发明内容
针对以上技术的不足,提出了一种方法。本发明的技术方案如下:一种基于离散正交多项式变换的多聚焦图像融合方法,其包括以下步骤:
步骤一:首先对待融合的多幅图像进行分块处理,得到m个n×n的图像块,n表示图像块矩阵的维数;
步骤二:分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换,得到每一个图像块对应的离散正交多项式变换矩阵F;
步骤三:利用空间频率SF与离散正交多项式变换系数之间的推导关系公式E(u,v)为对应的加权系数,得到每一个图像块的空间频率SF大小,然后比较多幅待融合图像对应的每个图像块的空间频率SF大小,根据空间频率SF最大的融合规则融合多幅图像;
步骤四:将融合后的图像进行一致性验证,消除块效应,最后得到融合后的图像。
进一步的,步骤二中根据正交多项式变换方法,得到图像中每个块对应的正交多项式变换系数的离散正交多项式变换公式如下:
F=C*f*Ct (1)
其中,f为n×n待融合的图像块矩阵,C为离散正交多项式变换矩阵,满足实数矩阵、正交矩阵和酉矩阵三个特性,C矩阵大小为n×n,(和待融合图像块的n维数一样)每行代表不同阶数的离散正交多项式,Ct为C的转置矩阵,
当n=8时,典型的8×8离散切比雪夫正交多项式变换矩阵系数如下:
离散正交多项式变换的逆变换公式如下:
f=Ct*F*C (2)。
进一步的,所述步骤三中,n=8时对应的加权系数
8×8的E(u,v)矩阵系数如下:
进一步的,所述步骤四的一致性验证应用多数筛选法,即如果合成图像中的某个系数来自于图像X,而这个系数邻域内的其他系数以来自于图像Y的居多,则将其修正为来自图像Y,邻域选用3x3或5x5的模板;
进一步的,所述多数筛选法具体包括步骤:
将计算后的对应图像块的空间频率值进行比较,创建一个决策图w记录特征比较结果,规则如下:
其中A、B表示待融合的两幅输入图像,SFAi,j、SFBi,j分别表示A、B图像通过公式(3)计算得到的空间频率。
采用一个nxn的滤波器获得最终的决策图R:
最后,根据决策图R进行融合:
本发明的优点及有益效果如下:
本发明相较于传统的多聚焦图像融合方法,本方法首创性的提出基于离散正交多项式变换域的图像融合,并将图像块的空间频率(SF)与离散正交多项式变换系数建立了联系,节省了融合的时间,并有效的提高了图像的融合效果。
基于离散正交多项式变换的多聚焦图像融合方法,目标是利用离散正交多项式变换系数与空间频率之间的关系,直接通过离散正交多项式变换系数计算每一个对应图像块的空间频率大小。然后通过比较对应图像块,按照空间频率最大的原则进行多聚焦图像融合。这一方法首创性的将正交多项式变换应用到多聚焦图像融合中,并巧妙的利用了正交多项式变换系数与空间频率之间的关系快速的得到对应图像块的空间频率大小,节省了融合时间并且提高了融合效果,满足了图像在多聚焦图像融合方面的需求。
附图说明
图1是本发明提供优选实施例基于离散正交多项式变换的多聚焦图像融合的流程图;
图2是本发明一个实施例待融合的图像A和B:
图3是采用本发明方法融合后的图像。
具体实施方式
以下结合附图,对本发明作进一步说明:
如图1所示,一种基于离散正交多项式变换的多聚焦图像融合方法,包括如下步骤:
第一步:首先对待融合的多幅图像进行分块处理,得到m个n×n的图像块;
第二步:分别对每一个图像块进行离散正交多项式变换,得到对应的离散正交多项式变换系数;
第三步:利用空间频率(SF)与离散正交多项式变换系数之间的推导关系公式得到每一个块的空间频率大小,然后比较多幅待融合图像对应的每一块的空间频率大小,根据空间频率最大的融合规则融合多幅图像;
第四步:将融合后的图像进行一致性验证,最后得到融合后的图像。
为了验证本发明的效果,进行了如下实验:
在一台计算机上进行验证实验,该计算机的配置为i5处理器(3GHz)和8G内存,编程语言为MATLAB 2012b。
实验方法:
如图2所示为在本实验过程中,所选用的图像是柯达图像数据库中的图像,待融合的2幅图像分别为同一场景下不同部位聚焦的图像。通过本发明提出的基于离散正交多项式变换的图像融合方法,对多聚焦图像的清晰部位进行融合,得到最后的融合图像见图3;
以下为图像块的空间频率(SF)与离散正交多项式变换系数之间关系推导过程,空间频率(SF)的定义为行频率(Row Frequency,RF)与列频率(ColumnFrequency,CF)的平方和:
SF2=RF2+CF2 (6)
其中行频率(RF)定义如下:
同理,列频率(RF)定义如下:
为得到空间频率与离散正交多项式变换系数之间的关系,设如下3个n×n矩阵:
可以得到如下关系:
其中C为n×n离散多项式变换矩阵,f为待融合的n×n图像块,F,B分别为f,b离散正交多项式变换后的系数。由于:
trace(fft)=trace(FFt);trace(AB)=trace(BA) (A-2)
其中trace(·)为矩阵的迹。所以,
其中:
D=B*Bt (A-6)
E(u,v)=(D(u,u)+D(v,v)) (A-7)
8×8的E(u,v)矩阵系数如下:
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (5)
1.一种基于离散正交多项式变换的多聚焦图像融合方法,其特征在于,包括以下步骤:
步骤一:首先对待融合的多幅图像进行分块处理,得到m个n×n的图像块,n表示图像块矩阵的维数;
步骤二:分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换,得到每一个图像块对应的离散正交多项式变换矩阵F;
步骤三:利用空间频率SF与离散正交多项式变换系数之间的推导关系公式 E(u,v)为对应的加权系数,得到每一个图像块的空间频率SF大小,然后比较多幅待融合图像对应的每个图像块的空间频率SF大小,根据空间频率SF最大的融合规则融合多幅图像;
步骤四:将融合后的图像进行一致性验证,消除块效应,最后得到融合后的图像。
2.根据权利要求1所述的基于离散正交多项式变换的多聚焦图像融合方法,其特征在于,步骤二中根据正交多项式变换方法,得到图像中每个块对应的正交多项式变换系数的离散正交多项式变换公式如下:
F=C*f*Ct (1)
其中,f为n×n待融合的图像块矩阵,C为离散正交多项式变换矩阵,满足实数矩阵、正交矩阵和酉矩阵三个特性,C矩阵大小为n×n,每行代表不同阶数的离散正交多项式,Ct为C的转置矩阵,
当n=8时,典型的8×8离散切比雪夫正交多项式变换矩阵系数如下:
离散正交多项式变换的逆变换公式如下:
f=Ct*F*C (2)。
3.根据权利要求2所述的基于离散正交多项式变换的多聚焦图像融合方法,其特征在于,所述步骤三中,n=8时对应的加权系数
8×8的E(u,v)矩阵系数如下:
4.根据权利要求3所述的基于离散正交多项式变换的多聚焦图像融合方法,其特征在于,所述步骤四的一致性验证应用多数筛选法,即如果合成图像中的某个系数来自于图像X,而这个系数邻域内的其他系数以来自于图像Y的居多,则将其修正为来自图像Y,邻域选用3x3或5x5的模板。
5.根据权利要求4所述的基于离散正交多项式变换的多聚焦图像融合方法,其特征在于,所述多数筛选法具体包括步骤:
将计算后的对应图像块的空间频率值进行比较,创建一个决策图w记录特征比较结果,规则如下:
其中A、B表示待融合的两幅输入图像,SFAi,j、SFBi,j分别表示A、B图像通过公式(3)计算得到的空间频率。
采用一个nxn的滤波器获得最终的决策图R:
最后,根据决策图R进行融合:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610213236.2A CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610213236.2A CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105931209A true CN105931209A (zh) | 2016-09-07 |
CN105931209B CN105931209B (zh) | 2019-05-31 |
Family
ID=56840190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610213236.2A Active CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105931209B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971383A (zh) * | 2017-02-13 | 2017-07-21 | 重庆邮电大学 | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 |
CN111260599A (zh) * | 2020-01-20 | 2020-06-09 | 重庆邮电大学 | 基于dct和聚焦评价的多聚焦图像融合方法 |
WO2021017588A1 (zh) * | 2019-07-31 | 2021-02-04 | 茂莱(南京)仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060109163A1 (en) * | 2004-11-23 | 2006-05-25 | Cho Kwang M | Autofocus method based on successive parameter adjustments for contrast optimization |
JP2009004887A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
CN103700075A (zh) * | 2013-12-25 | 2014-04-02 | 浙江师范大学 | 基于Tetrolet变换的多通道卫星云图融合方法 |
CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
CN105163130A (zh) * | 2015-08-25 | 2015-12-16 | 重庆邮电大学 | 一种基于离散Tchebichef正交多项式的图像无损压缩方法 |
CN105472395A (zh) * | 2015-11-20 | 2016-04-06 | 重庆邮电大学 | 一种基于离散Krawtchouk正交多项式的图像无损压缩方法 |
-
2016
- 2016-04-07 CN CN201610213236.2A patent/CN105931209B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060109163A1 (en) * | 2004-11-23 | 2006-05-25 | Cho Kwang M | Autofocus method based on successive parameter adjustments for contrast optimization |
JP2009004887A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
CN103700075A (zh) * | 2013-12-25 | 2014-04-02 | 浙江师范大学 | 基于Tetrolet变换的多通道卫星云图融合方法 |
CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
CN105163130A (zh) * | 2015-08-25 | 2015-12-16 | 重庆邮电大学 | 一种基于离散Tchebichef正交多项式的图像无损压缩方法 |
CN105472395A (zh) * | 2015-11-20 | 2016-04-06 | 重庆邮电大学 | 一种基于离散Krawtchouk正交多项式的图像无损压缩方法 |
Non-Patent Citations (5)
Title |
---|
J. VÍCTOR MARCOS ET AL: "Texture classification using discrete Tchebichef moments", 《OPTICAL SOCIETY OF AMERICA》 * |
李季 等: "基于离散切比雪夫变换的图像压缩", 《计算机工程与设计》 * |
王潇 等: "基于环扇域正交多项式的频域分析", 《应用光学》 * |
马先喜 等: "基于块同化的空间频率多聚焦图像融合算法研究", 《科学技术与工程》 * |
黄晓生 等: "一种基于局部对比度的分块压缩感知多聚焦图像融合算法", 《中山大学学报(自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971383A (zh) * | 2017-02-13 | 2017-07-21 | 重庆邮电大学 | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 |
CN106971383B (zh) * | 2017-02-13 | 2019-12-31 | 重庆邮电大学 | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 |
WO2021017588A1 (zh) * | 2019-07-31 | 2021-02-04 | 茂莱(南京)仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
CN111260599A (zh) * | 2020-01-20 | 2020-06-09 | 重庆邮电大学 | 基于dct和聚焦评价的多聚焦图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105931209B (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wan et al. | Kernel-based density map generation for dense object counting | |
Du et al. | Image segmentation-based multi-focus image fusion through multi-scale convolutional neural network | |
CN110287846B (zh) | 一种基于注意力机制的人脸关键点检测方法 | |
WO2020087607A1 (zh) | 一种基于Bi-Skip-Net的图像去模糊方法 | |
Rangesh et al. | Driver gaze estimation in the real world: Overcoming the eyeglass challenge | |
CN106228528A (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
Yang et al. | A hybrid method for multi-focus image fusion based on fast discrete curvelet transform | |
CN109300096A (zh) | 一种多聚焦图像融合方法及装置 | |
CN112507920B (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
CN105931209A (zh) | 一种基于离散正交多项式变换的多聚焦图像融合方法 | |
Uddin et al. | A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss | |
CN116524307A (zh) | 一种基于扩散模型的自监督预训练方法 | |
CN116912924B (zh) | 一种目标图像识别方法和装置 | |
Liu et al. | Eaf-wgan: Enhanced alignment fusion-wasserstein generative adversarial network for turbulent image restoration | |
Shihabudeen et al. | Euclidian norm based fusion strategy for multi focus images | |
CN115661858A (zh) | 一种基于局部特征与全局表征耦合的2d人体姿态估计方法 | |
Shi et al. | Transformer-based no-reference image quality assessment via supervised contrastive learning | |
KR102340387B1 (ko) | 뇌 연결성 학습 방법 및 이를 위한 시스템 | |
Ding et al. | Research on Intelligent Estimation Method of Human Moving Target Pose Based on Adaptive Attention Mechanism | |
CN114419487B (zh) | 一种内容时间关系网络及生成时间动作提案的方法 | |
CN106971383A (zh) | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 | |
He | An Adaptive Fusion Method of Color Indoor Images Based on Improved U-shaped Neural Network | |
Du et al. | Multi branch deepfake detection based on double attention mechanism | |
Guhagarkar et al. | A Novel Approach to Detect Low Quality Deepfake Videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |