CN114615427A - 一种基于小样本的波前编码场景数据集增强方法 - Google Patents
一种基于小样本的波前编码场景数据集增强方法 Download PDFInfo
- Publication number
- CN114615427A CN114615427A CN202210153767.2A CN202210153767A CN114615427A CN 114615427 A CN114615427 A CN 114615427A CN 202210153767 A CN202210153767 A CN 202210153767A CN 114615427 A CN114615427 A CN 114615427A
- Authority
- CN
- China
- Prior art keywords
- image
- point spread
- spread function
- data set
- wavefront coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 76
- 230000003287 optical effect Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明属于波前编码技术领域,具体为一种基于小样本的波前编码场景数据集增强方法。本发明方法包括:获取小样本数据集,使用普通相机和波前编码优化后的相机对相似场景成像进行数据获取;随机抽样定理估计点扩散函数,将图像划分为内点进行多次迭代获得点扩散函数;数据集增强,对获得的点扩散函数进行几何变换等数据增强的操作并在图像卷积后加噪。本发明可以解决自然条件下波前编码数据集获取工作量过大、对图像清晰度要求高的问题。
Description
技术领域
本发明属于波前编码技术领域,具体涉及一种基于小样本的波前编码场景数据集增强方法。
背景技术
波前编码技术是一种通过在传统光学成像系统光阑前增加编码相位板元件对波前进行调制,使成像系统的探测器在焦点附近探测到一系列均匀编码的、对焦点位置不敏感的中间编码图像,对其进行解码获得清晰图像进而扩展系统景深的技术。波前编码成像系统焦点位置附近的点扩散函数一般呈不对称的三角形,在解码时要求相位板装配角度与算法内置的点扩散函数严格匹配,常见的解码算法有维纳滤波,Lucy-Richardson滤波算法等传统图像处理方法。
然而,传统算法存在相机允许装调误差太小、鲁棒性较差、对内置点扩散函数配准要求太高、解码后图像存在伪影、图像噪声影响严重等问题。
获取大量相同场景的中间编码图像与清晰图像的图像对,可以训练对抗生成网络(Generative Adversarial Networks,GAN)来解码,获得清晰的、符合自然图像、高分辨率的解码图像,对光学系统的装配要求降低。但是因为场景丰富度不够,传统相机景深较浅使得图像有部分失焦,场景变化等原因,难以获得大量的训练样本。
发明内容
本发明的目的在于提供一种基于小样本的波前编码场景数据集增强方法,以解决自然条件下波前编码数据集获取工作量过大、对图像清晰度要求高等问题。
本发明提供的基于小样本的波前编码场景数据集增强方法,可以在设计波前编码系统的解码算法时,通过普通相机和波前编码相机获得的小样本的相似场景图像对快速获得点扩散函数,并根据点扩散函数对数据集进行数据增强,进而生成大量波前编码图像对数据集。这里,所述小样本,一般指图像对小于20组的情况;本发明方法可以在深度学习技术样本数量不足情况下,对数据集进行扩充。生成的图像对数据集可以实践于多种深度学习算法,如U-net,GAN等网络。
本发明提供的基于小样本的波前编码场景数据集增强方法,包括三个步骤:获取小样本数据集,使用随机抽样定理估计点扩散函数,数据集增强;
(一)获取小样本数据集,利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计;在获取相似场景时,要调整相机的光学参数,保证大部分场景可以清晰成像;使用SIFT算子配准图像后获得波前编码后的图像Ic和编码前的图像Is。
(二)使用随机抽样定理估计点扩散函数
使用SIFT算子配准图像后获得波前编码后的图像Ic和编码前的图像Is,Is部分图像处于离焦情况,会发生部分区域图像不匹配的情况,所以使用随机抽样定理估计点扩散函数,具体步骤如下:
第一步,将波前编码后的图像Ic和编码前的图像Is拆分为等尺寸的N个正方形图像对:Ici和Isi,i∈{1,2,…N};
第二步,随机选取一组图像对{Ici,Isi},根据该图像对计算点扩散函数:
第三步,使用该组图像对{Ici,Isi}计算得到的Ki计算所有图像对区域{Icj,Isj},j∈{1,2,…N}的误差函数:
Ej=(Icj-Isj*Ki)2; (2)
第四步,设定合适的阈值TH,选取Ej<TH的图像对区域为内点,获得M组内点,根据重新选取内点的图像对{Ici,Isi},i∈{1,2,…M}计算点扩散函数:
第五步,使用重新选取内点的图像对{Ici,Isi},i∈{1,2,…M+计算得到的K计算所有区域{Icj,Isj},j∈{1,2,…N}的误差函数:
Ej=(Icj-Isj*K)2; (4)
多次重复第四步,第五步,选取内点数区域最多时的点扩散函数K;
初步估计点扩散函数K后,根据Lucy-Richardson算法,进一步迭代修正点扩散函数,直到达到规定的收敛次数;
根据随机抽样定理,从小样本场景数据集中获得J组从自然拍摄图像估计的点扩散函数{K1,K2,…,KJ}。
(三)数据集增强,详细步骤如下:
加入大量公开的或者手动收集的、场景丰富多样的清晰图像,作为清晰的数据集。遍历所有清晰图像,每一张图像Isharp随机选择{K1,K2,…,KJ}中的一个点扩散函数Ki进行数据增强,具体操作如下:
(1)镜像对称:将点扩散函数Ki的图像沿水平或者垂直对称轴镜像对称;
(2)角度旋转:以点扩散函数Ki图像的中点为圆心,将点扩散函数在0~360°范围内随机旋转;
(3)尺寸改变:将点扩散函数Ki的图像在0.5~1.5倍下进行整体的缩放;
(4)随机强度改变:加入随机函数,对点扩散函数Ki的图像局部的大小进行改变。
数据增强后,点扩散函数从Ki变为新的点扩散函数ki,Isharp与ki卷积后加入噪声ε,获得生成的中间编码图像Inew:
Inew=Isharp*Ki+ε; (6)
遍历所有清晰图像,可以获得匹配的中间编码图像数据集。
本发明的积极效果在于:
(1)避免了复杂的大量波前编码数据集获取,可以从小样本数据集生成大量符合自然条件的波前编码数据集;
(2)可以通过SIFT配准和随机抽样定理从少量的图像对快速估计点扩散函数,没有额外的点扩散函数测量或校准,无需使用额外的平行光管等光学设备来获取点扩散函数;
(3)抗干扰性强,允许采集的图像对有一定的位置偏差或者部分图像信息错误(离焦、模糊等),这些误差后期会通过SIFT配准和随机抽样定理校正;
(4)对估计的点扩散函数进行了多种情况的数据增强,不同的点扩散函数对应不同的相位板装配情况,生成的编码图像数据集更符合波前编码系统的实际情况。
附图说明
图1为本发明基于随机抽样定理的点扩散函数获取算法的流程图。
图2为本发明进行基于小样本获取的点扩散函数的数据增强的原理图。
具体实施方式
下面将结合实施例和附图,对本发明进行进一步描述。
图1是基于随机抽样定理的点扩散函数获取算法的流程图,步骤如下。
步骤一:利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计。在获取相似场景时,要调整相机的光学参数保证大部分场景可以清晰成像,相机捕获的图片像素为1280*1024,共采集6组不同场景的图像对。
步骤二:依次处理6组图像对,使用SIFT算子配准图像后获得波前编码后的图像Ic和编码前的图像Is,使用随机抽样定理估计点扩散函数。详细步骤如下:
第一步,将波前编码后的图像Ic和编码前的图像Is拆分为等尺寸(60*60像素)的360个正方形图像对——Ici和Isi,i∈{1,2,…217};
第三步,使用该组图像对{Ici,Isi}计算得到的Ki计算所有图像对区域{Icj,Isj},j∈
{1,2,…217}的误差函数Ej=(Icj-Isj*Ki)2;
第五步,使用重新选取内点的图像对{Ici,Isi},i∈{1,2,…M}计算得到的K计算所有区域{Icj,Isj},j∈{1,2,…217+的误差函数Ej=(Icj-Isj*K)2;
多次重复第四步,第五步,选取内点数M最大时的点扩散函数K。
步骤三:初步估计点扩散函数K后,根据Lucy-Richardson算法进一步迭代修正点扩散函数,直到达到规定的收敛次数。迭代公式如下:
通过随机抽样定理,从小样本场景数据集中获得6组从自然拍摄图像估计的,迭代次数t为50的点扩散函数{K1,K2,…,KJ},其中一组点扩散函数结果如图1。
图2为本发明进行基于小样本获取的点扩散函数的数据增强的原理图。
进一步的,加入大量公开的或者手动收集的、场景丰富多样的清晰图像,作为清晰的数据集。本案例使用的数据集是网络公开的DIV2K26和Flickr2K数据集,原始数据集是三通道彩色图,使用rgb2gray函数和crop对图片进行灰度化和裁剪处理。对图片进行简单的几何变换(镜像,缩放,旋转等)将原始数据集扩充为5000张像素为1280*1024清晰的图像。
遍历所有清晰图像,每一张图像Isharp随机选择{K1,K2,…,K6}中的一个点扩散函数Ki进行下面的操作进行数据增强,操作如下:
(1)镜像对称:将点扩散函数Ki的图像沿水平或者垂直对称轴镜像对称;
(2)角度旋转:以点扩散函数Ki图像的中点为圆心,将点扩散函数在0~360°范围内随机旋转;
(3)尺寸改变:将点扩散函数Ki的图像在0.5~1.5倍下进行整体的缩放;
(4)随机强度改变:加入随机函数,对点扩散函数Ki的图像局部的大小进行改变。在本案例使用CoarseDropout矩形丢弃增强器将0到5%的像素丢弃。
数据增强后点扩散函数从Ki变为新的点扩散函数ki,Isharp与ki卷积后加入噪声ε,获得生成的中间编码图像Inew。
Inew=Isharp*Ki+ε
遍历所有清晰图像后,可以获得匹配的中间编码图像数据集,由5000张像素为1280*1024的编码图像构成。经过数据增强方法得到的数据集可用于多个深度学习框架。
本发明还可根据实际需求结合其他需求类似的光学技术,比如孔径编码技术。以上所述的实施例仅是对本发明的方式进行描述,并非对本发明的范围进行限定,本领域技术人员可以在不脱离本发明设计精神的前提下,对本发明做出的各种改进和变形,但这些改进和变形都应属于本发明权利要求书确定的保护范围内。
Claims (1)
1.一种基于小样本的波前编码场景数据集增强方法,其特征在于,具体步骤为:
(一)获取小样本数据集
利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计;
在获取相似场景时,要调整相机的光学参数,保证大部分场景可以清晰成像;
使用SIFT算子配准图像后获得波前编码后的图像Ic和编码前的图像Is;
(二)使用随机抽样定理估计点扩散函数,具体步骤如下:
第一步,将波前编码后的图像Ic和编码前的图像Is拆分为等尺寸的N个正方形图像对——Ici和Isi,i∈{1,2,…N};
第二步,随机选取一组图像对{Ici,Isi},根据该图像对计算点扩散函数:
第三步,使用该组图像对{Ici,Isi}计算得到的Ki计算所有图像对区域{Icj,Isj},j∈{1,2,…N}的误差函数:
Ej=(Icj-Isj*Ki)2; (2)
第四步,设定阈值TH,选取Ej<TH的图像对区域为内点,获得M组内点,根据重新选取内点的图像对{Ici,Isi},i∈{1,2,…M}计算点扩散函数:
第五步,使用重新选取内点的图像对{Ici,Isi},i∈{1,2,…M}计算得到的K计算所有区域{Icj,Isj},j∈{1,2,…N}的误差函数:
Ej=(Icj-Isj*K)2; (4)
多次重复第四步,第五步,选取内点数区域最多时的点扩散函数K;
初步估计点扩散函数K后,根据Lucy-Richardson算法,进一步迭代修正点扩散函数,直到达到规定的收敛次数:
根据随机抽样定理,从小样本场景数据集中获得J组从自然拍摄图像估计的点扩散函数{K1,K2,…,KJ};
(三)数据集增强
加入大量公开的或者手动收集的、场景丰富多样的清晰图像,作为清晰的数据集;遍历所有清晰图像,每一张图像Isharp随机选择{K1,K2,…,KJ}中的一个点扩散函数Ki进行数据增强,具体操作如下:
(1)镜像对称:将点扩散函数Ki的图像沿水平或者垂直对称轴镜像对称;
(2)角度旋转:以点扩散函数Ki图像的中点为圆心,将点扩散函数在0~360°范围内随机旋转;
(3)尺寸改变:将点扩散函数Ki的图像在0.5~1.5倍下进行整体的缩放;
(4)随机强度改变:加入随机函数,对点扩散函数Ki的图像局部的大小进行改变;
数据增强后,点扩散函数从Ki变为新的点扩散函数ki,Isharp与ki卷积后加入噪声ε,获得生成的中间编码图像Inew:
Inew=Isharp*Ki+ε; (6)
遍历所有清晰图像,获得匹配的中间编码图像数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153767.2A CN114615427B (zh) | 2022-02-19 | 2022-02-19 | 一种基于小样本的波前编码场景数据集增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153767.2A CN114615427B (zh) | 2022-02-19 | 2022-02-19 | 一种基于小样本的波前编码场景数据集增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114615427A true CN114615427A (zh) | 2022-06-10 |
CN114615427B CN114615427B (zh) | 2023-11-28 |
Family
ID=81858949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210153767.2A Active CN114615427B (zh) | 2022-02-19 | 2022-02-19 | 一种基于小样本的波前编码场景数据集增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114615427B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080131018A1 (en) * | 2006-11-21 | 2008-06-05 | Ewan Findlay | Artifact removal from phase encoded images |
US20130002893A1 (en) * | 2010-04-21 | 2013-01-03 | Fujitsu Limited | Imaging apparatus and imaging method |
CN105931196A (zh) * | 2016-04-11 | 2016-09-07 | 天津大学 | 基于傅里叶光学建模的编码光圈相机图像恢复方法 |
CN109491079A (zh) * | 2018-12-12 | 2019-03-19 | 天津津航技术物理研究所 | 基于旋转编码光圈的全聚焦成像系统 |
US20200256761A1 (en) * | 2018-01-19 | 2020-08-13 | Mitsubishi Electric Corporation | Wavefront measurement device and wavefront measurement system |
CN113418473A (zh) * | 2021-08-03 | 2021-09-21 | 苏州大学 | 一种基于位相编码元件的三维结构光检测装置及方法 |
-
2022
- 2022-02-19 CN CN202210153767.2A patent/CN114615427B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080131018A1 (en) * | 2006-11-21 | 2008-06-05 | Ewan Findlay | Artifact removal from phase encoded images |
US20130002893A1 (en) * | 2010-04-21 | 2013-01-03 | Fujitsu Limited | Imaging apparatus and imaging method |
CN105931196A (zh) * | 2016-04-11 | 2016-09-07 | 天津大学 | 基于傅里叶光学建模的编码光圈相机图像恢复方法 |
US20200256761A1 (en) * | 2018-01-19 | 2020-08-13 | Mitsubishi Electric Corporation | Wavefront measurement device and wavefront measurement system |
CN109491079A (zh) * | 2018-12-12 | 2019-03-19 | 天津津航技术物理研究所 | 基于旋转编码光圈的全聚焦成像系统 |
CN113418473A (zh) * | 2021-08-03 | 2021-09-21 | 苏州大学 | 一种基于位相编码元件的三维结构光检测装置及方法 |
Non-Patent Citations (1)
Title |
---|
张祥朝等: "面向精密制造的光学自由曲面在位偏折测量技术", 光电工程, no. 08, pages 74 - 83 * |
Also Published As
Publication number | Publication date |
---|---|
CN114615427B (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9792668B2 (en) | Photographic image acquistion device and method | |
CN101441764B (zh) | 一种mtfc遥感图像复原方法 | |
US20080170800A1 (en) | One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions | |
CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
JP6703314B2 (ja) | フォーカス検出 | |
Al-Hatmi et al. | A review of Image Enhancement Systems and a case study of Salt &pepper noise removing | |
Liu et al. | Image super-resolution via weighted random forest | |
Li et al. | Automatic design of high-sensitivity color filter arrays with panchromatic pixels | |
CN106157240B (zh) | 基于字典学习的遥感图像超分辨率方法 | |
CN105894477A (zh) | 天文图像噪声去除方法 | |
Kusnik et al. | Robust mean shift filter for mixed Gaussian and impulsive noise reduction in color digital images | |
CN114615427B (zh) | 一种基于小样本的波前编码场景数据集增强方法 | |
CN115760749A (zh) | 一种毫米波辐射图像火点检测识别方法及系统 | |
Choppala et al. | Isolated vector median filtering for noise reduction in digital color images | |
CN106709873B (zh) | 一种基于三次样条插值和迭代更新的超分辨率方法 | |
CN116258783A (zh) | 基于深度学习网络的水下单像素成像方法及系统 | |
CN115205731A (zh) | 一种视频降噪装置、方法及终端 | |
Saad et al. | Natural DCT statistics approach to no-reference image quality assessment | |
Liu et al. | Robust blind deconvolution for PMMW images with sparsity presentation | |
Tsai et al. | Design of a scan converter using the cubic convolution interpolation with canny edge detection | |
CN112241670A (zh) | 图像处理方法及装置 | |
van Zwanenberg et al. | Camera system performance derived from natural scenes | |
CN112348806B (zh) | 一种无参考数字病理切片模糊度评价方法 | |
KR20090074443A (ko) | 영상 처리 방법 및 장치 | |
Lisha et al. | Single Image Super Resolution of Blurred Natural Images Using Blur Kernel Estimation Combined with Super Resolution Convolution Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |