CN105931209B - 一种基于离散正交多项式变换的多聚焦图像融合方法 - Google Patents
一种基于离散正交多项式变换的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN105931209B CN105931209B CN201610213236.2A CN201610213236A CN105931209B CN 105931209 B CN105931209 B CN 105931209B CN 201610213236 A CN201610213236 A CN 201610213236A CN 105931209 B CN105931209 B CN 105931209B
- Authority
- CN
- China
- Prior art keywords
- image
- transformation
- matrix
- discrete
- orthogonal polynomials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 26
- 235000013350 formula milk Nutrition 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于离散正交多项式变换的多聚焦图像融合方法，本发明首先对需要融合的多幅图像进行分块处理，得到m个n×n的块。其次，分别对每一个块进行离散正交多项式变换，得到对应的变换系数，利用空间频率SF与离散正交多项式变换系数之间的关系得到每一个块的空间频率大小。然后，比较多幅图像对应的每一块的空间频率大小，根据空间频率最大的融合规则融合多幅图像。最后，将融合后的图像进行一致性验证，得到融合后的图像。相较于传统的多聚焦图像融合方法，该方法首创性的用到了离散多项式变换域，并将图像的空间频率与离散多项式变换系数建立了联系，节省了融合的时间，并有效的提高了图像的融合效果。
Description
技术领域
本发明属于基于离散正交多项式变换的多聚焦图像融合方法，属于数字图像处理、机器视觉的技术领域。
背景技术
视觉是人类从大自然中获取信息的最主要的手段。据统计，在人类获取的信息中，视觉信息约占60％。由此可见，视觉信息对于人类的重要性，而图像正是人类获取视觉信息的主要途径。从20世纪60年代起，随着计算机技术的不断提高和普及，图像在人类生活中开始发挥着越来越重要的作用，随之，数字图像处理进入高速发展时期。
所谓数字图像处理就是利用数字计算机或者其他数字硬件，对从图像信息转换而得的电信号进行某些数学运算，以提高图像的实用性，满足人的视觉心里和应用需求。总的来说，数字图像处理主要包括：(1)图像变换；(2)图像编码压缩：(3)图像增强和复原；(4)图像分割；(5)图像融合。在实际应用中，根据不同的情况采取相应的措施以满足人类的视觉需求。
多聚焦图像融合是多元图像融合领域的一个重要分支，主要用于同一光学传感器在相同成像条件下获取的聚焦目标不同的多幅图像的融合处理。由于光学镜头的聚焦范围有限，光学成像系统不能将焦点内外的所有目标同时清晰成像，导致图像分析时需要耗费大量时间和精力。多聚焦图像融合是一种解决光学成像系统聚焦范围局限性问题的有效方法，可以有效提高图像信息的利用率，扩大系统工作范围，增强系统可靠性，更加准确的描述场景中的目标信息。
本文所提出的基于离散正交多项式变换的多聚焦图像融合方法，首次将离散正交多项式变换应用到多聚焦图像融合领域，并巧妙的利用了空间频率与离散正交多项式变换系数之间的关系，直接通过离散正交多项式变换系数得到空间频率的大小。避免了将离散正交多项变换系数逆变换到空域再计算空间频率的过程，为多聚焦图像融合的过程节省了时间，提高了融合效果。
发明内容
针对以上技术的不足，提出了一种方法。本发明的技术方案如下：一种基于离散正交多项式变换的多聚焦图像融合方法，其包括以下步骤：
步骤一：首先对待融合的多幅图像进行分块处理，得到m个n×n的图像块，n表示图像块矩阵的维数；
步骤二：分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换，得到每一个图像块对应的离散正交多项式变换矩阵F；
步骤三：利用空间频率SF与离散正交多项式变换系数之间的推导关系公式E(u,v)为对应的加权系数，得到每一个图像块的空间频率SF大小，然后比较多幅待融合图像对应的每个图像块的空间频率SF大小，根据空间频率SF最大的融合规则融合多幅图像；
步骤四：将融合后的图像进行一致性验证，消除块效应，最后得到融合后的图像。
进一步的，步骤二中根据正交多项式变换方法，得到图像中每个块对应的正交多项式变换系数的离散正交多项式变换公式如下：
F＝C*f*Ct (1)
其中，f为n×n待融合的图像块矩阵，C为离散正交多项式变换矩阵，满足实数矩阵、正交矩阵和酉矩阵三个特性，C矩阵大小为n×n，(和待融合图像块的n维数一样)每行代表不同阶数的离散正交多项式，Ct为C的转置矩阵，
当n＝8时，典型的8×8离散切比雪夫正交多项式变换矩阵系数如下：
离散正交多项式变换的逆变换公式如下：
f＝Ct*F*C (2)。
进一步的，所述步骤三中，n＝8时对应的加权系数
8×8的E(u,v)矩阵系数如下：
进一步的，所述步骤四的一致性验证应用多数筛选法，即如果合成图像中的某个系数来自于图像X，而这个系数邻域内的其他系数以来自于图像Y的居多，则将其修正为来自图像Y，邻域选用3x3或5x5的模板；
进一步的，所述多数筛选法具体包括步骤：
将计算后的对应图像块的空间频率值进行比较，创建一个决策图w记录特征比较结果，规则如下：
其中A、B表示待融合的两幅输入图像，SFAi,j、SFBi,j分别表示A、B图像通过公式(3)计算得到的空间频率。
采用一个nxn的滤波器获得最终的决策图R:
最后，根据决策图R进行融合：
本发明的优点及有益效果如下：
本发明相较于传统的多聚焦图像融合方法，本方法首创性的提出基于离散正交多项式变换域的图像融合，并将图像块的空间频率(SF)与离散正交多项式变换系数建立了联系，节省了融合的时间，并有效的提高了图像的融合效果。
基于离散正交多项式变换的多聚焦图像融合方法，目标是利用离散正交多项式变换系数与空间频率之间的关系，直接通过离散正交多项式变换系数计算每一个对应图像块的空间频率大小。然后通过比较对应图像块，按照空间频率最大的原则进行多聚焦图像融合。这一方法首创性的将正交多项式变换应用到多聚焦图像融合中，并巧妙的利用了正交多项式变换系数与空间频率之间的关系快速的得到对应图像块的空间频率大小，节省了融合时间并且提高了融合效果，满足了图像在多聚焦图像融合方面的需求。
附图说明
图1是本发明提供优选实施例基于离散正交多项式变换的多聚焦图像融合的流程图；
图2是本发明一个实施例待融合的图像A和B：
图3是采用本发明方法融合后的图像。
具体实施方式
以下结合附图，对本发明作进一步说明：
如图1所示，一种基于离散正交多项式变换的多聚焦图像融合方法，包括如下步骤：
第一步：首先对待融合的多幅图像进行分块处理，得到m个n×n的图像块；
第二步：分别对每一个图像块进行离散正交多项式变换，得到对应的离散正交多项式变换系数；
第三步：利用空间频率(SF)与离散正交多项式变换系数之间的推导关系公式得到每一个块的空间频率大小，然后比较多幅待融合图像对应的每一块的空间频率大小，根据空间频率最大的融合规则融合多幅图像；
第四步：将融合后的图像进行一致性验证，最后得到融合后的图像。
为了验证本发明的效果，进行了如下实验：
在一台计算机上进行验证实验，该计算机的配置为i5处理器(3GHz)和8G内存，编程语言为MATLAB 2012b。
实验方法：
如图2所示为在本实验过程中，所选用的图像是柯达图像数据库中的图像，待融合的2幅图像分别为同一场景下不同部位聚焦的图像。通过本发明提出的基于离散正交多项式变换的图像融合方法，对多聚焦图像的清晰部位进行融合，得到最后的融合图像见图3；
以下为图像块的空间频率(SF)与离散正交多项式变换系数之间关系推导过程，空间频率(SF)的定义为行频率(Row Frequency,RF)与列频率(Column Frequency,CF)的平方和：
SF2＝RF2+CF2 (6)
其中行频率(RF)定义如下：
同理，列频率(RF)定义如下：
为得到空间频率与离散正交多项式变换系数之间的关系，设如下3个n×n矩阵：
可以得到如下关系：
其中C为n×n离散多项式变换矩阵，f为待融合的n×n图像块，F,B分别为f,b离散正交多项式变换后的系数。由于：
trace(fft)＝trace(FFt)；trace(AB)＝trace(BA) (A-2)
其中trace(·)为矩阵的迹。所以，
其中：
D＝B*Bt (A-6)
E(u,v)＝(D(u,u)+D(v,v)) (A-7)
8×8的E(u,v)矩阵系数如下：
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (5)
1.一种基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，包括以下步骤：
步骤一：首先对待融合的多幅图像进行分块处理，得到m个n×n的图像块，n表示图像块矩阵的维数；
步骤二：分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换，得到每一个图像块对应的离散正交多项式变换矩阵F(u，v)；
步骤三：利用空间频率SF与离散正交多项式变换系数之间的推导关系公式E(u,v)为对应的加权系数，得到每一个图像块的空间频率SF大小，然后比较多幅待融合图像对应的每个图像块的空间频率SF大小，根据空间频率SF最大的融合规则融合多幅图像；
步骤四：将融合后的图像进行一致性验证，消除块效应，最后得到融合后的图像。
2.根据权利要求1所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，所述步骤二中对步骤一的每一个图像块的矩阵进行离散正交多项式变换，得到图像中每个块对应的正交多项式变换矩阵系数的离散正交多项式变换公式如下：
F＝C*f*Ct (1)
其中，F即为F(u，v)的简要表达式，f为n×n待融合的图像块矩阵，C表示正交多项式变换矩阵系数，满足实数矩阵、正交矩阵和酉矩阵三个特性，矩阵大小为n×n，每行代表不同阶数的离散正交多项式，Ct为C的转置矩阵，
当n＝8时，典型的8×8离散切比雪夫正交多项式变换矩阵系数如下：
离散正交多项式变换的逆变换公式如下：
f＝Ct*F*C (2)。
3.根据权利要求2所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，当n＝8时，8×8的E(u,v)矩阵系数如下：
4.根据权利要求3所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，所述步骤四的一致性验证应用多数筛选法，即如果合成图像中的某个系数来自于图像X，而这个系数邻域内的其他系数以来自于图像Y的居多，则将合成图像中的某个系数修正为来自图像Y，邻域选用3x3或5x5的模板。
5.根据权利要求4所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，所述多数筛选法具体包括步骤：
将计算后的对应图像块的空间频率值进行比较，创建一个决策图w记录特征比较结果，规则如下：
其中A、B表示待融合的两幅输入图像，SFAi,j、SFBi,j分别表示A、B图像通过步骤三计算得到的空间频率；
采用一个nxn的滤波器获得最终的决策图R:
(i,j)表示像素坐标位置，(x,y)表示3×3或者5×5滤波器内元素的坐标位置；
最后，根据决策图R进行融合：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610213236.2A CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610213236.2A CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105931209A CN105931209A (zh) | 2016-09-07 |
| CN105931209B true CN105931209B (zh) | 2019-05-31 |
Family
ID=56840190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610213236.2A Active CN105931209B (zh) | 2016-04-07 | 2016-04-07 | 一种基于离散正交多项式变换的多聚焦图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105931209B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971383B (zh) * | 2017-02-13 | 2019-12-31 | 重庆邮电大学 | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 |
| CN110503620B (zh) * | 2019-07-31 | 2023-01-06 | 茂莱（南京）仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
| CN111260599A (zh) * | 2020-01-20 | 2020-06-09 | 重庆邮电大学 | 基于dct和聚焦评价的多聚焦图像融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN103700075A (zh) * | 2013-12-25 | 2014-04-02 | 浙江师范大学 | 基于Tetrolet变换的多通道卫星云图融合方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
| CN105163130A (zh) * | 2015-08-25 | 2015-12-16 | 重庆邮电大学 | 一种基于离散Tchebichef正交多项式的图像无损压缩方法 |
| CN105472395A (zh) * | 2015-11-20 | 2016-04-06 | 重庆邮电大学 | 一种基于离散Krawtchouk正交多项式的图像无损压缩方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7145496B2 (en) * | 2004-11-23 | 2006-12-05 | Raytheon Company | Autofocus method based on successive parameter adjustments for contrast optimization |
| JP2009004887A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
-
2016
- 2016-04-07 CN CN201610213236.2A patent/CN105931209B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN103700075A (zh) * | 2013-12-25 | 2014-04-02 | 浙江师范大学 | 基于Tetrolet变换的多通道卫星云图融合方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
| CN105163130A (zh) * | 2015-08-25 | 2015-12-16 | 重庆邮电大学 | 一种基于离散Tchebichef正交多项式的图像无损压缩方法 |
| CN105472395A (zh) * | 2015-11-20 | 2016-04-06 | 重庆邮电大学 | 一种基于离散Krawtchouk正交多项式的图像无损压缩方法 |
Non-Patent Citations (5)
| Title |
|---|
| Texture classification using discrete Tchebichef moments;J. Víctor Marcos et al;《Optical Society of America》;20130831;第30卷(第8期);全文 |
| 一种基于局部对比度的分块压缩感知多聚焦图像融合算法;黄晓生 等;《中山大学学报（自然科学版）》;20151130;第54卷(第6期);全文 |
| 基于块同化的空间频率多聚焦图像融合算法研究;马先喜 等;《科学技术与工程》;20120131;第12卷(第1期);全文 |
| 基于环扇域正交多项式的频域分析;王潇 等;《应用光学》;20090131;第30卷(第1期);全文 |
| 基于离散切比雪夫变换的图像压缩;李季 等;《计算机工程与设计》;20131231;第34卷(第12期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105931209A (zh) | 2016-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
| Haim et al. | Depth estimation from a single image using deep learned phase coded mask | |
| EP3816929B1 (en) | Method and apparatus for restoring image | |
| TWI441095B (zh) | 距離估算方法及其距離估算裝置，及其機器可讀取媒體 | |
| US9607240B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing | |
| Chen et al. | Light field denoising via anisotropic parallax analysis in a CNN framework | |
| KR101706216B1 (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| US10848746B2 (en) | Apparatus including multiple cameras and image processing method | |
| CN105931209B (zh) | 一种基于离散正交多项式变换的多聚焦图像融合方法 | |
| Ruan et al. | Aifnet: All-in-focus image restoration network using a light field-based dataset | |
| CN108513057A (zh) | 图像处理方法及装置 | |
| Wu et al. | Single-shot face anti-spoofing for dual pixel camera | |
| Conde et al. | Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report | |
| Wan et al. | Benchmarking single-image reflection removal algorithms | |
| CN115457176A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| Liu et al. | Two-stream refinement network for RGB-D saliency detection | |
| CN111915735A (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
| CN106952301A (zh) | 一种rgb‑d图像显著性计算方法 | |
| Ghosal et al. | A geometry-sensitive approach for photographic style classification | |
| CN116912467A (zh) | 图像拼接方法、装置、设备及存储介质 | |
| Sun et al. | Reformed residual network with sparse feedbacks for 3d reconstruction from a single image | |
| CN106971383B (zh) | 基于离散Tchebichef多项式变换和聚焦评价的多聚焦图像融合方法 | |
| Tran et al. | Variational disparity estimation framework for plenoptic images | |
| Li et al. | Feature attention parallel aggregation network for single image haze removal | |
| Xu et al. | Depth prediction from a single image based on non-parametric learning in the gradient domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |