CN111539901A - 一种针对单透镜计算成像的空间变化psf融合估计方法 - Google Patents
一种针对单透镜计算成像的空间变化psf融合估计方法 Download PDFInfo
- Publication number
- CN111539901A CN111539901A CN202010289916.9A CN202010289916A CN111539901A CN 111539901 A CN111539901 A CN 111539901A CN 202010289916 A CN202010289916 A CN 202010289916A CN 111539901 A CN111539901 A CN 111539901A
- Authority
- CN
- China
- Prior art keywords
- psf
- fusion
- image
- lens
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 69
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 40
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims description 117
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种针对单透镜计算成像的空间变化PSF融合估计方法，用单透镜成像系统拍摄N张不同场景的模糊图像，对每张模糊图像，分别采用M种不同的盲卷积图像复原方法，估计出对应的空间变化PSF，然后将空间变化PSF中对称子图像块进行均值融合，再将不同场景和不同盲卷积图像复原算法所估计的空间变化PSF依次进行加权融合，得到单透镜成像系统最终的空间变化PSF。本发明方法利用单透镜成像系统空间变化PSF的对称性特点，充分考虑到不同图像复原算法和不同图像纹理对PSF估计精度的影响，采用均值融合和加权融合算法得到最终的PSF，包含更加丰富的信息，有利于提高图像复原精度。
Description
技术领域
本发明涉及数字图像处理领域，具体指一种针对单透镜计算成像的空间变化PSF融合估计方法。
背景技术
近年来，随着计算摄影技术和光学设计的不断发展，单透镜计算成像技术逐渐成为一个新的研究方向。只包含一个镜片的前端成像设备与后期图像复原算法相结合，直接由单透镜光学成像系统获取的图像是模糊的，而后期图像复原算法可以消除图像模糊，提高图像质量。单透镜计算成像中，提高图像复原质量的关键在于准确估计出单透镜光学成像系统的点扩散函数PSF(Point Spread Function)。
关于单透镜计算成像，现在提出了不同的方法估计单透镜光学成像系统的 PSF。专利ZL.201410064041.7提出了一种单透镜成像的PSF快速标定方法，该方法对N个PSF值求取平均值，作为某类单透镜的PSF模板，并以该PSF 模板作为PSF校正过程的迭代初始值，以快速估计得到单透镜的PSF。专利 ZL.201510222290.9提出一种基于对称性的单透镜计算成像PSF快速标定方法，该方法利用单透镜PSF的空间对称性特点，将已估计出的图像块PSF作为其对称的图像块PSF估计的初始值，以此减少估计PSF所需的迭代过程，减少PSF 估计时间。专利ZL.201510379305.2提出一种基于稀疏表示的单透镜计算成像 PSF估算方法，该方法将目标函数中的清晰图像表示为过完备字典和稀疏系数的乘积，并对稀疏系数进行约束，然后通过迭代优化算法依次交替估计出模糊核、过完备字典和稀疏系数，从而估算出单透镜的PSF。
随着单透镜计算成像技术研究的不断发展和对图像质量要求的提高，现有方法虽然可以估计单透镜的PSF，但是所估计出的PSF精度已无法满足单透镜计算成像的实际需求。常用的PSF估计方法是，采用单透镜成像系统拍摄模糊图像，然后针对该模糊图像采用盲卷积图像复原方法估计出对应的空间不变 PSF或者空间变化PSF。现有方法在PSF估计精度方面所存在的主要问题在于： 1)用模糊图像估计PSF时，图像不同区域的纹理细节会影响PSF估计精度，虽然在理论上单透镜的空间变化PSF具有对称性的特点，但是受图像纹理细节的影响，实际估计出的空间变化PSF并不完全满足对称性的特点；2)对于同一个单透镜成像系统，拍摄不同的场景的模糊图像，所估计出的PSF也不完全相同；3)对于同一个单透镜成像系统所拍摄的同一张模糊图像，采用不同的盲卷积图像复原算法，所估计的PSF也不完全相同，因为不同的盲卷积图像复原算法采用不同的图像先验，所突出的PSF特性不同，导致估计出的PSF精度不同，或者只体现出单透镜成像系统某一方面或某些方面的特性。
受盲卷积图像复原算法病态性的影响，现有算法不可能完全准确估计出单透镜成像系统在理论意义上十分精确的PSF，为提高图像复原质量，只能尽可能地提高单透镜成像系统的PSF估计精度。现有算法的PSF估计精度已无法满足实际需求，因此，提高PSF估计精度是单透镜计算成像研究领域急需解决的问题。
发明内容
本发明为克服上述问题，旨在提供一种针对单透镜计算成像的空间变化PSF融合估计方法，本方法充分考虑到不同图像复原算法和不同图像纹理对 PSF估计精度的影响，以及单透镜成像系统空间变化PSF的对称性特点，利用加权融合算法对不同盲卷积图像复原算法估计出的空间变化PSF，以及采用不同图像估计出的空间变化PSF进行融合，并将加权融合结果作为最终用于图像复原的PSF，以解决现有PSF估计方法不够精确的问题。
一种针对单透镜计算成像的空间变化PSF融合估计方法，包括以下步骤：
步骤一：用单透镜成像系统拍摄N张不同场景的模糊图像B1，B2，…， BN，其中N≥2；
所述步骤一中拍摄的N张不同场景模糊图像中不包含运动场景，拍摄时单透镜成像系统的光圈均为F2.4，且单透镜成像系统处于静止状态。
步骤二：对步骤一中的第1张模糊图像B1，采用M种不同的盲卷积图像复原算法，分别估计出单透镜成像系统的空间变化PSF，依次表示为P1，P2，…， PM，每个空间变化的PSF中包含m×n个子图像块，其中M≥2，m≥2，n≥2；
所述步骤二中的盲卷积图像复原算法为针对散焦模糊的图像复原方法，同时得到潜在清晰图像与对应的空间变化PSF，不同盲卷积图像复原算法所采用的模糊核先验与图像先验不同。
步骤三：对步骤二中得到的M个空间变化PSF，P1，P2，…，PM，利用单透镜成像系统空间变化PSF的空间对称特性，对每个PSF中呈180°对称的两个子图像块，按180°的对称角度旋转后进行均值融合，得到均值融合后的 M个空间变化PSF，分别表示为P11，P22，…，PMM；
所述步骤三中采用的均值融合算法为：
其中，K1和K2分别表示空间变化PSF中呈180°对称的两个子图像块，K 表示子图像块K1和K2的均值融合结果。
步骤四：对步骤三中得到的M个空间变化PSF，P11，P22，…，PMM进行加权融合，得到对于第1张模糊图像，采用M种不同的盲卷积图像复原算法所估计的空间变化PSF融合结果Pf1；
所述步骤四中采用的加权融合算法为：
Pf1＝α1·P11+α2·P22+L+αM·PMM
其中，Pf1表示加权融合后的结果，α1，α2，LαM分别表示加权融合算法中对应PSF的权重，且满足
权重α1，α2，LαM的初始值均为1/M，并且步长 s＝0.05进行调整。
步骤五：对步骤一中的其余N-1张图像，重复步骤二至步骤四，得到其余 N-1个空间变化PSF融合结果，Pf2，…，PfN；
步骤六：对步骤四和步骤五中得到的N个空间变化PSF的融合结果， Pf1，…，PfN再次进行加权融合，作为单透镜成像系统的最终PSF。
所述步骤六中的加权融合算法与步骤四中的加权融合算法相同，权重个数为N。
本发明有益效果：与现有单透镜成像系统PSF估计方法相比，本发明所提供的方法利用单透镜成像系统空间变化PSF的对称性特点，并充分考虑到不同图像复原算法和不同图像纹理对PSF估计精度的影响，对不同场景模糊图像和不同盲卷积图像复原算法所估计的空间变化PSF先后进行均值融合和加权融合，融合后的PSF比单独估计的PSF包含更加丰富的信息，在图像复原过程中也能取得更好的图像复原效果。
附图说明
图1是本发明方法的流程图。
图2是单透镜成像系统所拍摄的两张不同场景的模糊图像。
图3是估计的空间变化PSF，其中子图3表示由图2中的模糊图像子图1，采用第一种盲卷积图像复原方法所估计的空间变化PSF，子图4表示由图2中的模糊图像子图1，采用第二种盲卷积图像复原方法所估计的空间变化PSF，子图5表示由图2中的模糊图像子图2，采用第一种盲卷积图像复原方法所估计的空间变化PSF，子图6表示由图2中的模糊图像子图2，采用第二种盲卷积图像复原方法所估计的空间变化PSF。
图4是单透镜成像系统空间变化PSF的空间对称性示意图。
图5是空间变化PSF均值融合结果，其中子图7、8、9、10分别表示子图 3、4、5、6所表示的空间变化PSF呈180°对称的两个子图像块均值融合后的 PSF结果。
图6是图5中子图7和图5中子图8所代表的空间变化PSF加权融合后的结果。
图7是图5中子图9和图5中子图10所代表的空间变化PSF加权融合后的结果。
图8是图6和图7所代表的空间变化PSF加权融合后的结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供一种针对单透镜计算成像的空间变化PSF融合估计方法，包括如下步骤：
步骤一：用单透镜成像系统拍摄两张不同场景的模糊图像B1和B2，如图2 中子图1和图2中子图2所示，这两张模糊图像中均不包含运动场景，拍摄时单透镜成像系统的光圈均为F2.4，且单透镜成像系统处于静止状态。
步骤二：对步骤一中的两张模糊图像B1和B2，分别采用两种不同的盲卷积图像复原算法，估计出其对应的空间变化PSF，这两种盲卷积图像复原算法分别为Krishnan在2011提出的盲卷积图像复原算法和Xu在2013年提出的盲卷积图像复原算法，所估计的空间变化PSF结果如图3所示，每个空间变化 PSF包含3×4个子图像块，每个子图像块的大小为175×175，整个空间变化 PSF的大小为525×700。
步骤三：对步骤二中得到的4个空间变化PSF，利用单透镜成像系统空间变化PSF的空间对称特性，如图4所示，方框内的子图像块k11和k34呈180°对称，圆框内的子图像块k12和k33呈180°对称，将每个空间变化PSF中呈180°对称的两个子图像块，按180°的对称角度旋转后进行均值融合，得到均值融合后的4个空间变化PSF，结果如图5所示；
步骤三中采用的均值融合算法为：
其中，K1和K2分别表示空间变化PSF中呈180°对称的两个子图像块，K 表示子图像块K1和K2的均值融合结果。
步骤四：对图5中子图7和图5中子图8中的空间变化PSF进行加权融合，所采用的加权融合算法为：
Pf1＝α1·P11+α2·P22 (2)
其中，Pf1表示加权融合后的结果，P11表示图5中子图7所代表的空间变化 PSF，P22表示图5中子图8所代表的空间变化PSF，α1，α2分别表示PSF P11和P22在加权融合算法中的权重，且满足α1+α2＝1，权重的初始值为α1＝0.5，α2＝0.5，在具体实验过程中按步长s＝0.05进行调整，最终α1＝0.35，α2＝0.65时加权融合得到的空间变化PSF的图像复原效果最佳，加权融合结果如图6所示。
对图5中子图9和图5中子图10中的空间变化PSF同样按上述方法进行加权融合，加权融合结果如图7所示，最终α1＝0.55，α2＝0.45时加权融合得到的空间变化PSF的图像复原效果最佳。
步骤五：对图6和图7中的空间变化PSF，再次进行加权融合，加权融合结果如图8所示，作为单透镜成像系统的最终PSF，此步骤中加权融合算法的权重分别为α1＝0.45，α2＝0.55。图8中所获得的空间变化PSF与图3中直接估计的空间变化PSF相比，可以获得更好的图像复原效果，因此，PSF估计精度更好。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (6)
1.一种针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：包括以下步骤：
步骤一：用单透镜成像系统拍摄N张不同场景的模糊图像B1，B2，…，BN，其中N≥2；
步骤二：对步骤一中的第1张模糊图像B1，采用M种不同的盲卷积图像复原算法，分别估计出单透镜成像系统的空间变化PSF，依次表示为P1，P2，…，PM，每个空间变化的PSF中包含m×n个子图像块，其中M≥2,m≥2,n≥2；
步骤三：对步骤二中得到的M个空间变化PSF，P1，P2，…，PM，利用单透镜成像系统空间变化PSF的空间对称特性，对每个PSF中呈180°对称的两个子图像块，按180°的对称角度旋转后进行均值融合，得到均值融合后的M个空间变化PSF，分别表示为P11，P22，…，PMM；
步骤四：对步骤三中得到的M个空间变化PSF，P11，P22，…，PMM进行加权融合，得到对于第1张模糊图像，采用M种不同的盲卷积图像复原算法所估计的空间变化PSF融合结果Pf1；
步骤五：对步骤一中的其余N-1张图像，重复步骤二至步骤四，得到其余N-1个空间变化PSF融合结果，Pf2，…，PfN；
步骤六：对步骤四和步骤五中得到的N个空间变化PSF的融合结果，Pf1，…，PfN再次进行加权融合，作为单透镜成像系统的最终PSF。
2.根据权利要求1所述的针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：所述步骤一中拍摄的N张不同场景模糊图像中不包含运动场景，拍摄时单透镜成像系统的光圈均为F2.4，且单透镜成像系统处于静止状态。
3.根据权利要求1所述的针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：所述步骤二中的盲卷积图像复原算法为针对散焦模糊的图像复原方法，同时得到潜在清晰图像与对应的空间变化PSF，不同盲卷积图像复原算法所采用的模糊核先验与图像先验不同。
4.根据权利要求1所述的针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：所述步骤三中采用的均值融合算法为：
其中，K1和K2分别表示空间变化PSF中呈180°对称的两个子图像块，K表示子图像块K1和K2的均值融合结果。
5.根据权利要求1所述的针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：所述步骤四中采用的加权融合算法为：
Pf1＝α1·P11+α2·P22+L+αM·PMM
其中，Pf1表示加权融合后的结果，α1,α2，LαM分别表示加权融合算法中对应PSF的权重，且满足
权重α1,α2，LαM的初始值均为1/M，并且步长s＝0.05进行调整。
6.根据权利要求1所述的针对单透镜计算成像的空间变化PSF融合估计方法，其特征在于：所述步骤六中的加权融合算法与步骤四中的加权融合算法相同，权重个数为N。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010289916.9A CN111539901B (zh) | 2020-04-08 | 2020-04-08 | 一种针对单透镜计算成像的空间变化psf融合估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010289916.9A CN111539901B (zh) | 2020-04-08 | 2020-04-08 | 一种针对单透镜计算成像的空间变化psf融合估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539901A true CN111539901A (zh) | 2020-08-14 |
| CN111539901B CN111539901B (zh) | 2022-09-20 |
Family
ID=71978670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010289916.9A Active CN111539901B (zh) | 2020-04-08 | 2020-04-08 | 一种针对单透镜计算成像的空间变化psf融合估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539901B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599254A (zh) * | 2015-02-03 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 基于组合模糊核结构先验的单透镜计算成像方法 |
| CN107610064A (zh) * | 2017-09-20 | 2018-01-19 | 长沙全度影像科技有限公司 | 一种基于不同模糊核先验的简单透镜psf均值融合方法 |
-
2020
- 2020-04-08 CN CN202010289916.9A patent/CN111539901B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599254A (zh) * | 2015-02-03 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 基于组合模糊核结构先验的单透镜计算成像方法 |
| CN107610064A (zh) * | 2017-09-20 | 2018-01-19 | 长沙全度影像科技有限公司 | 一种基于不同模糊核先验的简单透镜psf均值融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郝建坤等: "空间变化PSF非盲去卷积图像复原法综述", 《中国光学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539901B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN109102462B (zh) | 一种基于深度学习的视频超分辨率重建方法 | |
| CN110097509B (zh) | 一种局部运动模糊图像的复原方法 | |
| US20110102642A1 (en) | Image deblurring using a combined differential image | |
| EP2494524A2 (en) | Algorithms for estimating precise and relative object distances in a scene | |
| Ma et al. | Defocus image deblurring network with defocus map estimation as auxiliary task | |
| CN112837245B (zh) | 一种基于多模态融合的动态场景去模糊方法 | |
| KR101975472B1 (ko) | 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법 | |
| US20110267477A1 (en) | Range measurement using symmetric coded apertures | |
| JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| Huebner | Turbulence mitigation of short exposure image data using motion detection and background segmentation | |
| CN107220945B (zh) | 多重退化的极模糊图像的复原方法 | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| Zhang et al. | Self-supervised image restoration with blurry and noisy pairs | |
| CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
| WO2008041167A2 (en) | Method and filter for recovery of disparities in a video stream | |
| CN111539901B (zh) | 一种针对单透镜计算成像的空间变化psf融合估计方法 | |
| JP5761988B2 (ja) | 画像処理装置、画像処理方法 | |
| Goto et al. | Image restoration method for non-uniform blurred images | |
| CN113570596B (zh) | 一种基于人类视觉系统的无参考结构清晰度评价方法 | |
| CN117710250B (zh) | 一种消除纤维镜成像蜂窝状结构的方法 | |
| KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |