CN109239914B - 一种实现高空间带宽积的成像方法 - Google Patents

Abstract

本发明公开了一种实现高空间带宽积的成像方法。具体步骤如下：(1)选择某可见光频率作为中心频率，只优化该中心频率的光学特性参数，而不优化其他频率的光学特性参数；(2)设计GRλB颜色过滤排列器；(3)采用深度学习卷积神经网络模型生成清晰图像。本发明有效地提高了成像系统的光学带宽积，在保证成像质量的同时，降低了光学成像设备的设计难度与制作成本。本方法既可用于大光圈、高分辨率成像设备，也可用于手机镜头、监控系统等小型低成本成像设备。

Description

一种实现高空间带宽积的成像方法

技术领域

本发明涉及成像系统设计、计算摄像学和图像处理领域，尤其涉及高空间带宽积成像技术领域。

背景技术

光学成像系统的目的是将空间中某一平面上的点所发出的光线聚焦到成像系统的成像面上。在实际成像过程中，由于光学设备无法达到理论上的精度，会产生各种类型的模糊问题。模糊主要包括球差、慧差、色差、散光以及其他类型的畸变，光学系统一般通过组合多片不同折射率的镜片，一定程度上消除畸变。在这其中会遇到两个问题：一，在对空间带宽积要求较高的成像系统中，想要消除大部分像差模糊的设计成本相当高，需要组装大量的镜片，对镜片的材质也有很高的要求，设计参数的选择难度也会随着系统的复杂度急剧上升。因此，高端镜头价格动辄好几万，特殊应用场景镜头(如卫星成像)更是难以设计；二，在手机等小型应用场景中，镜头可用空间较小，难以设计复杂系统，镜头设计相对简单，因此此类成像设备一般都伴随着较多的畸变，难以达到应用需求，通常依赖后续算法对其进行调整。

在传统镜头设计中，镜头传函构成三维像差空间，镜头试图优化整个像差空间(在可见光范围内)使得每个点的传函接近完美。由于不同频段的光折射率不同，镜头需要使用多种材料的透镜组合，才能够消除色差，这种色差存在于绝大多数成像系统中，仔细观察都能看到图像边缘存在色差。因此，这是一个亟待解决的问题。

发明内容

针对以上现有成像方法存在的技术缺陷，本发明的目的在于提出一种针对部分光谱进行镜头优化以实现高空间带宽积的成像方法，该方法不再直接记录人眼偏好的图像数据，而是根据自然图像的稀疏特性以及计算系统的计算特性，记录有利于计算重建的图像数据。

为达上述目的，本发明采用的技术方案如下：

一种实现高空间带宽积的成像方法，包括如下步骤：

步骤1，选择某可见光频率作为中心频率λ，只优化该中心频率λ的光学特性参数，而不优化其他频率的光学特性参数，具体为：将光学系统的结构参数x_i的集合记作X＝(x₁,x₂,…x_i,…x_N)，其中N为结构参数x_i的个数；将随结构参数变动的光学特性参数y_i的集合记作Y＝(y₁,y₂,…y_i,…y_M)，其中M为光学特性参数y_i的个数，集合X和Y的关系可以表示为Y＝f(X)，其中f为光学传递函数，光学系统的结构参数集合X的优化方程如下：

X＝min_X∑_i‖y_i-f_i(x₁,x₂,…x_N)‖₂；

步骤2，设计RGλB颜色过滤排列器，其中R、G、B分别代表红、绿和蓝三色滤波器，λ代表与中心频率相匹配的带通滤波器，该带通滤波器仅可通过所述中心频率附近较窄波段的光线，用于恢复结构信息；

步骤3，图像信息经过步骤1优化后的镜头和步骤2的颜色过滤排列器后，得到G、R、λ、B四通道图像，其中，λ通道为基准频率，即步骤一中优化的中心频率，包含绝大部分的结构信息，其余的R、G、B通道保留各自频率下的能量信息；采用深度学习卷积神经网络模型，根据所述中心频率处的清晰灰度图像恢复出R、G、B三通道的清晰图像。

本发明针对中心频率优化镜头设计，利用了图像各通道在纹理细节上的相关性，仅重点优化中心频率附近的窄带信号，再据清晰的中心频率处的清晰灰度图像恢复出各通道的清晰图像，以此降低镜头设计中来自色差的压力，从而可以获得更大的光圈、更大的视场角与分辨率。由于中心频率处的信号保留了大量的高频信息，各通道较模糊的图像保留了各通道的能量信息，后续跨通道相关性算法很容易利用这些信息重建出最终的各通道清晰数据，该方法很好得减少了成像系统采集得冗余信息，降低了设计难度，提高了空间带宽积，保证了最终得成像质量。本发明有效地提高了成像系统的光学带宽积，在保证成像质量的同时，降低了光学成像设备的设计难度与制作成本。本方法既可用于大光圈、高分辨率成像设备，也可用于手机镜头、监控系统等小型低成本成像设备。

附图说明

图1为本发明方法的流程图。

图2为本发明实施例中的三通道空间域分布图，(a)恢复图像之前，(b)恢复图像之后。

图3为本发明实施例中的三通道频域分布图，(a)恢复图像之前，(b)恢复图像之后。

图4为本发明实施例中的残差模块结构图。

具体实施方式

下面将结合附图及具体实施例对本发明进行详细描述。

本发明的一种针对部分光谱进行镜头优化以实现高空间带宽积成像方法，包括如下步骤：

步骤1，设计光学镜头，均由计算机辅助设计完成。光学自动设计所要解决的核心问题是像差设计问题，即根据初始设计给出的对系统中每个透镜的光学特性和成像质量的要求，计算机按照一定的程序自动地寻找并确定像差最小、像质最佳的透镜组结构参数，包括所使用的玻璃材料、每个球面的曲率半径和它们之间的厚度、间隔等。通常来说，将光学系统的结构参数，包括各种曲率半径、间隔、厚度及折射率等，统一记作集合X＝(x₁,x₂,…x_N)，其中N为结构参数个数。随光学参数变动的光学特性参数(包括焦距、放大率、物距、像距、入瞳距离、出瞳距离等)以及各种几何相差等参数，统一记作集合Y＝(y₁,y₂,…y_M)，其中M为光学特性参数的个数，集合X和Y的关系可以表示为Y＝f(X)，其中f为传递函数。由于光学通路计算过程十分复杂，难以获得解析解，所以通常会将镜头设计过程转化为优化过程，待优化方程如下：

X＝min_X∑_i‖y_i-f_i(x₁,x₂,…x_N)‖₂；

y_i为集合Y中的参数，此处可采用阻尼最小二乘法求解。

传统光学设计中，一般是针对全可见光频段进行优化设计；另一方面，由于获得高质量单通道像差与获得全可见光波段低色差相矛盾，优化算法会在两者间寻找一个合适的平衡点。在消费级相机中，色差的影响更大，则加强色差优化项的权重，虽然色差较小，但整体上变得模糊，这一点在高空间带宽积系统中更为明显。

但是从信息论的角度来说，图像信息在光谱域上极为稀疏，所有通道基本共同拥有相似的结构信息，没有必要使得各通道均包含绝大部分的结构信息，即在光学设计中，优化平衡点过于偏向于无意义的多光谱优化项，降低了对结构信息的要求。受此启发，本发明可以将结构信息与光谱信息分开记录，后将计算引入光学成像中，重建完成图像数据。具体来说，选择某可见光频率作为中心频率(λ)，仅针对该中心频率优化镜头参数，不优化色差参数，保证在该频率下，无论是成像中心还是边缘都可以获得清晰图像，从而记录下该中心频率下的高精度结构信息。由于不考虑色差，极大提高了镜头在该频率下提高镜头分辨能力，优化平衡点可以朝单通道处靠近，有利于设计出大口径、高空间带宽积镜头，逼近光学分辨率极限。

步骤2，设计独特的CFA(color filter array)颜色滤波阵列。CFA是一种颜色滤波的综合体，它可以去除光谱中的一些成分，使每个像素只保留一个颜色成分，用在数码相机CCD传感器之前，用以分辨检测RGB分通道的光分量，以获得最终的彩色信息。从信息的角度来讲，CFA将光谱信息投射到空间维度上，牺牲空间维度的信息承载能力以获得光谱信息。由于相机传感器本身无法区别光谱信息，仅能记录强度信息，必须依靠CFA才可以获取光谱信息。常见的CFA单元由四个滤波块组成，通常排列顺序为RG、GB，即一个红色通道一个蓝色通道与两个绿色通道，因为绿色为人类眼睛较为敏感的频段，这种常见的排列形式加强了对绿色通道的感知。四个模块排列成2x2的矩阵，众多CFA模块如瓦片一般布满相机传感器表面，形成类似马赛克般的图像。通过后续的插值算法以恢复出伪高分辨率的彩色图像。在常见CFA的基础上，本发明对方案进行了修改，设计出GRλB颜色过滤排列器，其中RGB分别为普通的红绿蓝三色滤波器，λ为与中心频率相匹配的滤波器。单独的λ滤波片专门用于记录拥有高精度结构信息的λ通道。该λ通道带通滤波器仅可通过中心频率附近较窄波段的光线，设该窄光谱宽度为Δλ。用该阵列代替常见的RGBG-CFA，记录下的图像将为四通道图像，λ通道可以看作为基准通道，包含绝大部分的结构信息，其余的RGB通道保留各自频率下的能量信息。由于窄带能量较低，相对来说其噪声水平较高，会影响结构信息的恢复，可以将其中心频率设置为G通道(位于中间的绿色通道)附近，从而使得能量较高的绿色通道同样包含一定的结构信息，有利于后续算法的联合恢复。

步骤3，使用深度学习算法恢复清晰图像。首先对光学成像系统进行标定，得到该系统的四通道点扩散函数(PSF)。接着对得到的PSF进行后处理，包含滤波、缩放、旋转、归一化、加扰动等，待用。再由得到的后处理PSF与标准数据集：例如ImageNet、COCO数据集，做卷积操作得到训练数据。设计网络，将数据送入网络训练得到优化参数后，即可通过该网络生成清晰图像。

实施例

本实施例的实现高空间带宽积的成像方法，具体步骤如下：

步骤1，由于自然图像中绿色通道包含能量较高，本实施例选取520nm波段作为中心频率(λ)。镜头采用大光圈镜头，光圈值F设置为1.4，由光学分辨率极限公式：

σ＝1.22λF

可计算得到，在该频率下，分辨率极限可以达到888.16nm。将相应数值代入ZEMAX光学设计软件即可以计算出镜头参数，镜头光路图可参照图1。

步骤2，设计颜色滤波阵列(CFA)：RGλB，其中RGB分别为普通的红绿蓝三色滤波器，λ为与中心频率相匹配的带通滤波器，该滤波器通带频率选取为500nm～540nm。传感器像元尺寸为1.0μm，略大于光学分辨率极限，总尺寸为10000*10000，可达到亿像素级别。排列顺序为：从左至右从上至下分别为RGλB，形成2x2的滤波矩阵，此即为一个颜色滤波阵列单元。

步骤3，使用基于深度学习的方法恢复高清图像。该方法通过标定成像系统的点扩散函数(PSF)，利用测量得到的PSF制作模糊图像训练集，之后将模糊图像与对应的高清标签图像同时送入神经网络，即可通过训练学习到一个由模糊图像到高清图像的一个映射。该方法速度快，鲁棒性高，并可以处理带有轻微噪声的图像。

步骤3.1，标定相机。使用标定系统获取镜头光学传函，即点扩散函数PSF。使用白色星空板加LED白光作为点光源，星孔板孔径为λ₁，传感器像元尺寸为λ₂，镜头焦距为f，则星孔板距离相机距离应设为D：

本实施例中，点光源直径约为0.05mm，镜头焦距50mm，根据像元尺寸计算得物距为2.5m，对焦后，若完美成像则拍摄得到的亮斑应恰好为一个像素，但由于镜头设计过程中的缺陷，将会产生扩散，生成带有各种相差的扩散斑(PSF)。固定住相机与点光源，对焦完毕后转动相机，获得传感器不同位置处得PSF，从左上到右下约记录5*5＝25个PSF数据。

步骤3.2制作数据集。从标准数据集COCO中获取约5000张高清图像。将获得的PSF继续做增强处理，主要处理方式为缩放、旋转，缩放比例为0.8～1.2，旋转范围为0～360°。将每一张图像与增强后的PSF做卷积操作，获得人工合成数据。需注意，标定获得得PSF为四通道数据，须将COCO中图片的绿色通道复制一遍获得四通道图片，将其中一个通道作为λ通道后进行卷积操作。之后需要继续通过旋转缩放增强已获得的训练集，从而提高算法稳定性与泛化性。

步骤3.3设计网络结构。采用一种常见残差结构作为恢复算法，网络结构由残差模块组成，本实施例的残差模块结构图见图4。其中中层卷积层特征层数设置为128，残差模块数量根据P的大小决定，保证网络感受野略大于P的尺寸。网络感受野计算公式如下；

r＝1+n·(k-1)

其中r为感受野大小，n为残差结构层数，k为卷积核尺寸。为了保证网络能适用于大多数镜头，本实施例将n设置为10，k设置为3。损失函数分成MSE损失与感知损失PerceptualLoss：

S为图像尺寸，f(X)为网络生成图像，Y为高清图像(label)。V为训练好的VGG19网络，用于提取高层特征。网络总损失表示为：

L_total(X,Y)＝L_MSE(X,Y)+λ·L_percept(X,Y)

λ为感知损失权重，将其设置为0.01。具体结构可见图4。

步骤3.4训练细节。训练约需迭代100,000次，采用Adam优化方法，初始学习率设置为0.0001，随着迭代次数的进行缓慢下降，收敛时学习率下降至0.00001。将图片切割为256*256大小，batch_size设置为4。

步骤3.5，测试。使用相同的镜头再次拍摄图像，将图像直接导入网络计算，保存输出结果后即可获得高清图像。

Claims (3)

1.一种实现高空间带宽积的成像方法，其特征在于，包括如下步骤：

步骤1，选择某可见光频率作为中心频率λ，只优化该中心频率λ的光学特性参数，而不优化其他频率的光学特性参数，具体为：将光学系统的结构参数x_i的集合记作X＝(x₁,x₂,…x_i,…x_N)，其中N为结构参数x_i的个数；将随结构参数变动的光学特性参数y_i的集合记作Y＝(y₁,y₂,…y_i,…y_M)，其中M为光学特性参数y_i的个数，集合X和Y的关系可以表示为Y＝f(X)，其中f为光学传递函数，光学系统的结构参数集合X的优化方程如下：

X＝min_X∑_i‖y_i-f_i(x₁,x₂,…x_N)‖₂；

步骤2，设计RGFB颜色过滤排列器，其中R、G、B分别代表红、绿和蓝三色滤波器，F代表与中心频率λ相匹配的带通滤波器，该带通滤波器仅可通过所述中心频率附近较窄波段的光线，用于恢复结构信息；

步骤3，图像信息经过步骤1优化后的镜头和步骤2的颜色过滤排列器后，得到G、R、F、B四通道图像，其中，F通道为基准频率，即步骤1中优化的中心频率，包含绝大部分的结构信息，其余的R、G、B通道保留各自频率下的能量信息；采用深度学习卷积神经网络模型，根据所述中心频率处的清晰灰度图像恢复出R、G、B三通道的清晰图像。

2.根据权利要求1所述的一种实现高空间带宽积的成像方法，其特征在于，所述步骤1中，将中心频率λ设置为绿色G通道附近，使用阻尼最小二乘法，只优化该中心频率的光学特性参数。

3.根据权利要求1所述的一种实现高空间带宽积的成像方法，其特征在于，所述步骤2中，设计RGFB颜色过滤排列器，采集包含较多结构信息的F通道信息，便于后续算法恢复RGB三通道信息。

Images