CN114615427B - 一种基于小样本的波前编码场景数据集增强方法 - Google Patents

Abstract

本发明属于波前编码技术领域，具体为一种基于小样本的波前编码场景数据集增强方法。本发明方法包括：获取小样本数据集，使用普通相机和波前编码优化后的相机对相似场景成像进行数据获取；随机抽样定理估计点扩散函数，将图像划分为内点进行多次迭代获得点扩散函数；数据集增强，对获得的点扩散函数进行几何变换等数据增强的操作并在图像卷积后加噪。本发明可以解决自然条件下波前编码数据集获取工作量过大、对图像清晰度要求高的问题。

Description

一种基于小样本的波前编码场景数据集增强方法

技术领域

本发明属于波前编码技术领域，具体涉及一种基于小样本的波前编码场景数据集增强方法。

背景技术

波前编码技术是一种通过在传统光学成像系统光阑前增加编码相位板元件对波前进行调制，使成像系统的探测器在焦点附近探测到一系列均匀编码的、对焦点位置不敏感的中间编码图像，对其进行解码获得清晰图像进而扩展系统景深的技术。波前编码成像系统焦点位置附近的点扩散函数一般呈不对称的三角形，在解码时要求相位板装配角度与算法内置的点扩散函数严格匹配，常见的解码算法有维纳滤波，Lucy-Richardson滤波算法等传统图像处理方法。

然而，传统算法存在相机允许装调误差太小、鲁棒性较差、对内置点扩散函数配准要求太高、解码后图像存在伪影、图像噪声影响严重等问题。

获取大量相同场景的中间编码图像与清晰图像的图像对，可以训练对抗生成网络(Generative Adversarial Networks，GAN)来解码，获得清晰的、符合自然图像、高分辨率的解码图像，对光学系统的装配要求降低。但是因为场景丰富度不够，传统相机景深较浅使得图像有部分失焦，场景变化等原因，难以获得大量的训练样本。

发明内容

本发明的目的在于提供一种基于小样本的波前编码场景数据集增强方法，以解决自然条件下波前编码数据集获取工作量过大、对图像清晰度要求高等问题。

本发明提供的基于小样本的波前编码场景数据集增强方法，可以在设计波前编码系统的解码算法时，通过普通相机和波前编码相机获得的小样本的相似场景图像对快速获得点扩散函数，并根据点扩散函数对数据集进行数据增强，进而生成大量波前编码图像对数据集。这里，所述小样本，一般指图像对小于20组的情况；本发明方法可以在深度学习技术样本数量不足情况下，对数据集进行扩充。生成的图像对数据集可以实践于多种深度学习算法，如U-net，GAN等网络。

本发明提供的基于小样本的波前编码场景数据集增强方法，包括三个步骤：获取小样本数据集，使用随机抽样定理估计点扩散函数，数据集增强；

(一)获取小样本数据集，利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计；在获取相似场景时，要调整相机的光学参数，保证大部分场景可以清晰成像；使用SIFT算子配准图像后获得波前编码后的图像I_c和编码前的图像I_s。

(二)使用随机抽样定理估计点扩散函数

使用SIFT算子配准图像后获得波前编码后的图像I_c和编码前的图像I_s，I_s部分图像处于离焦情况，会发生部分区域图像不匹配的情况，所以使用随机抽样定理估计点扩散函数，具体步骤如下：

第一步，将波前编码后的图像I_c和编码前的图像I_s拆分为等尺寸的N个正方形图像对：I_ci和I_si，i∈{1,2,…N}；

第二步，随机选取一组图像对{I_ci,I_si}，根据该图像对计算点扩散函数：

是傅里叶变换，/>是逆傅里叶变换，/>是共轭傅里叶变换；

第三步，使用该组图像对{I_ci,I_si}计算得到的K_i计算所有图像对区域{I_cj,I_sj},j∈{1,2,…N}的误差函数：

E^j＝(I_cj-I_sj*K_i)²； (2)

第四步，设定合适的阈值TH，选取E^j<TH的图像对区域为内点，获得M组内点，根据重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M}计算点扩散函数：

第五步，使用重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M+计算得到的K计算所有区域{I_cj,I_sj},j∈{1,2,…N}的误差函数：

E^j＝(I_cj-I_sj*K)²； (4)

多次重复第四步，第五步，选取内点数区域最多时的点扩散函数K；

初步估计点扩散函数K后，根据Lucy-Richardson算法，进一步迭代修正点扩散函数，直到达到规定的收敛次数；

式中，是K的转置矩阵，/>是图像I_c经过Lucy-Richardson算法的第t次迭代后的清晰图像。

根据随机抽样定理，从小样本场景数据集中获得J组从自然拍摄图像估计的点扩散函数{K¹,K²,…,K^J}。

(三)数据集增强，详细步骤如下：

加入大量公开的或者手动收集的、场景丰富多样的清晰图像，作为清晰的数据集。遍历所有清晰图像，每一张图像I_sharp随机选择{K¹,K²,…,K^J}中的一个点扩散函数Kⁱ进行数据增强，具体操作如下：

(1)镜像对称：将点扩散函数Kⁱ的图像沿水平或者垂直对称轴镜像对称；

(2)角度旋转：以点扩散函数Kⁱ图像的中点为圆心，将点扩散函数在0～360°范围内随机旋转；

(3)尺寸改变：将点扩散函数Kⁱ的图像在0.5～1.5倍下进行整体的缩放；

(4)随机强度改变：加入随机函数，对点扩散函数Kⁱ的图像局部的大小进行改变。

数据增强后，点扩散函数从Kⁱ变为新的点扩散函数kⁱ，I_sharp与kⁱ卷积后加入噪声ε，获得生成的中间编码图像I_new：

I_new＝I_sharp*Kⁱ+ε； (6)

遍历所有清晰图像，可以获得匹配的中间编码图像数据集。

本发明的积极效果在于：

(1)避免了复杂的大量波前编码数据集获取，可以从小样本数据集生成大量符合自然条件的波前编码数据集；

(2)可以通过SIFT配准和随机抽样定理从少量的图像对快速估计点扩散函数，没有额外的点扩散函数测量或校准，无需使用额外的平行光管等光学设备来获取点扩散函数；

(3)抗干扰性强，允许采集的图像对有一定的位置偏差或者部分图像信息错误(离焦、模糊等)，这些误差后期会通过SIFT配准和随机抽样定理校正；

(4)对估计的点扩散函数进行了多种情况的数据增强，不同的点扩散函数对应不同的相位板装配情况，生成的编码图像数据集更符合波前编码系统的实际情况。

附图说明

图1为本发明基于随机抽样定理的点扩散函数获取算法的流程图。

图2为本发明进行基于小样本获取的点扩散函数的数据增强的原理图。

具体实施方式

下面将结合实施例和附图，对本发明进行进一步描述。

图1是基于随机抽样定理的点扩散函数获取算法的流程图，步骤如下。

步骤一：利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计。在获取相似场景时，要调整相机的光学参数保证大部分场景可以清晰成像，相机捕获的图片像素为1280*1024，共采集6组不同场景的图像对。

步骤二：依次处理6组图像对，使用SIFT算子配准图像后获得波前编码后的图像I_c和编码前的图像I_s，使用随机抽样定理估计点扩散函数。详细步骤如下：

第一步，将波前编码后的图像I_c和编码前的图像I_s拆分为等尺寸(60*60像素)的360个正方形图像对——I_ci和I_si，i∈{1,2,…217}；

第二步，随机选取一组图像对{I_ci,I_si}，根据该图像对计算点扩散函数是傅里叶变换，/>是逆傅里叶变换，/>是共轭傅里叶变换；

第三步，使用该组图像对{I_ci,I_si}计算得到的K_i计算所有图像对区域{I_cj,I_sj},j∈

{1,2,…217}的误差函数E^j＝(I_cj-I_sj*K_i)²；

第四步，选取E^j<TH的图像对区域为内点，设定合适的阈值TH使得约30％～50％的图像对被排除，获得M组内点，根据重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M}计算点扩散函数

第五步，使用重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M}计算得到的K计算所有区域{I_cj,I_sj},j∈{1,2,…217+的误差函数E^j＝(I_cj-I_sj*K)²；

多次重复第四步，第五步，选取内点数M最大时的点扩散函数K。

步骤三：初步估计点扩散函数K后，根据Lucy-Richardson算法进一步迭代修正点扩散函数，直到达到规定的收敛次数。迭代公式如下：

式中，是K的转置矩阵，/>是图像I_c经过Lucy-Richardson算法的第t次迭代后的清晰图像。

通过随机抽样定理，从小样本场景数据集中获得6组从自然拍摄图像估计的，迭代次数t为50的点扩散函数{K¹,K²,…,K^J}，其中一组点扩散函数结果如图1。

图2为本发明进行基于小样本获取的点扩散函数的数据增强的原理图。

进一步的，加入大量公开的或者手动收集的、场景丰富多样的清晰图像，作为清晰的数据集。本案例使用的数据集是网络公开的DIV2K26和Flickr2K数据集，原始数据集是三通道彩色图，使用rgb2gray函数和crop对图片进行灰度化和裁剪处理。对图片进行简单的几何变换(镜像，缩放，旋转等)将原始数据集扩充为5000张像素为1280*1024清晰的图像。

遍历所有清晰图像，每一张图像I_sharp随机选择{K¹,K²,…,K⁶}中的一个点扩散函数Kⁱ进行下面的操作进行数据增强，操作如下：

(1)镜像对称：将点扩散函数Kⁱ的图像沿水平或者垂直对称轴镜像对称；

(2)角度旋转：以点扩散函数Kⁱ图像的中点为圆心，将点扩散函数在0～360°范围内随机旋转；

(3)尺寸改变：将点扩散函数Kⁱ的图像在0.5～1.5倍下进行整体的缩放；

(4)随机强度改变：加入随机函数，对点扩散函数Kⁱ的图像局部的大小进行改变。在本案例使用CoarseDropout矩形丢弃增强器将0到5％的像素丢弃。

数据增强后点扩散函数从Kⁱ变为新的点扩散函数kⁱ，I_sharp与kⁱ卷积后加入噪声ε，获得生成的中间编码图像I_new。

I_new＝I_sharp*Kⁱ+ε

本案例使用的噪声为高斯噪声x是图像灰度值，μ是均值，取值为0，σ是方差，取值为10。

遍历所有清晰图像后，可以获得匹配的中间编码图像数据集，由5000张像素为1280*1024的编码图像构成。经过数据增强方法得到的数据集可用于多个深度学习框架。

本发明还可根据实际需求结合其他需求类似的光学技术，比如孔径编码技术。以上所述的实施例仅是对本发明的方式进行描述，并非对本发明的范围进行限定，本领域技术人员可以在不脱离本发明设计精神的前提下，对本发明做出的各种改进和变形，但这些改进和变形都应属于本发明权利要求书确定的保护范围内。

Claims (1)

1.一种基于小样本的波前编码场景数据集增强方法，其特征在于，具体步骤为：

(一)获取小样本数据集

利用普通相机与波前编码相机对相似场景采集的图像对进行点扩散函数估计；

在获取相似场景时，要调整相机的光学参数，保证大部分场景可以清晰成像；

使用SIFT算子配准图像后获得波前编码后的图像I_c和编码前的图像I_s；

(二)使用随机抽样定理估计点扩散函数，具体步骤如下：

第一步，将波前编码后的图像I_c和编码前的图像I_s拆分为等尺寸的N个正方形图像对——I_ci和I_si，i∈{1,2,…N}；

第二步，随机选取一组图像对{I_ci,I_si}，根据该图像对计算点扩散函数：

是傅里叶变换，/>是逆傅里叶变换，/>是共轭傅里叶变换；

第三步，使用该组图像对{I_ci,I_si}计算得到的K_i计算所有图像对区域{I_cj,I_sj},j∈{1,2,…N}的误差函数:

E^j＝(I_cj-I_sj*K_i)²； (2)

第四步，设定阈值TH，选取E^j<TH的图像对区域为内点，获得M组内点，根据重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M}计算点扩散函数:

第五步，使用重新选取内点的图像对{I_ci,I_si},i∈{1,2,…M}计算得到的K计算所有区域{I_cj,I_sj},j∈{1,2,…N}的误差函数:

E^j＝(I_cj-I_sj*K)²； (4)

多次重复第四步，第五步，选取内点数区域最多时的点扩散函数K；

初步估计点扩散函数K后，根据Lucy-Richardson算法，进一步迭代修正点扩散函数，直到达到规定的收敛次数：

式中，是K的转置矩阵，/>是图像I_c经过Lucy-Richardson算法的第t次迭代后的清晰图像；

根据随机抽样定理，从小样本场景数据集中获得J组从自然拍摄图像估计的点扩散函数{K¹,K²,…,K^J}；

(三)数据集增强

加入大量公开的或者手动收集的、场景丰富多样的清晰图像，作为清晰的数据集；遍历所有清晰图像，每一张图像I_sharp随机选择{K¹,K²,…,K^J}中的一个点扩散函数Kⁱ进行数据增强，具体操作如下：

(1)镜像对称：将点扩散函数Kⁱ的图像沿水平或者垂直对称轴镜像对称；

(2)角度旋转：以点扩散函数Kⁱ图像的中点为圆心，将点扩散函数在0～360°范围内随机旋转；

(3)尺寸改变：将点扩散函数Kⁱ的图像在0.5～1.5倍下进行整体的缩放；

(4)随机强度改变：加入随机函数，对点扩散函数Kⁱ的图像局部的大小进行改变；

数据增强后，点扩散函数从Kⁱ变为新的点扩散函数kⁱ，I_sharp与kⁱ卷积后加入噪声ε，获得生成的中间编码图像I_new：

I_new＝I_sharp*Kⁱ+ε； (6)

遍历所有清晰图像，获得匹配的中间编码图像数据集。