CN110460756B - 一种场景实时自动去雨成像处理方法及装置 - Google Patents

Abstract

本发明公开了一种场景实时自动去雨成像处理方法及装置，属于光电成像与计算机技术领域。方法包括：（1）构造傅里叶光路装置；（2）设计搭建反射镜组使自然景物准确接入傅里叶光；（3）在傅里叶系统的频谱面利用空间光调制器SLM构造空间滤波器而实现空间滤波；（4）最终在FPGA端上实现图像采集，并且计算获取探测结果。装置包括处于同一光轴上的反射镜组、第一傅氏透镜、SLM、第二傅氏透镜、成像传感器、FPGA。利用光学硬件计算与件计算相结合，直接面向自然场景实现去雨，能有效实时地给出去雨后的成像结果，基于光学成像链路计算一体化思维，直接面向自然场景，即可实时实现雨天的清晰化成像。

Description

一种场景实时自动去雨成像处理方法及装置

技术领域

本发明涉及光电成像与计算机技术领域，更具体地，涉及一种场景实时自动去雨成像处理方法及装置。

背景技术

在下雨的时候，若相机是正常曝光，那么所拍摄到的图像上一般情况下会覆盖着着大量的雨线。而去雨的工作则主要是去除图像中存在的雨线以及其所带来的影响，恢复出真实且清晰的图像背景信息。截至目前，根据多项研究成功发现，去雨的方法可以分为两大类：基于视频图像的去雨方式以及基于单幅图像的去雨方式。一般的方法就是基于图像算法，基于计算机的处理，通常也无法实现边成像边去雨的实时处理。

典型的去雨方法，如湘潭大学汤红忠等研究者设计的提供一种单幅图像去雨方法及装置(中国发明专利：一种单幅图像去雨方法及装置，申请号201710447576.6)，通过首先将待处理图像中的纯雨区域识别出来，进一步将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典。进而基于有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模。最后通过雨痕掩模对所述待处理图像进行去雨处理，获得目标图像，即无雨痕的图像。由于该方法仅仅对有雨像素进行处理，无雨像素部分得到保持。根据作者的描述，去雨后的图像雨痕残留较少，保持了目标图像中更为丰富的边缘和纹理，大大的提高去雨精确性。其实就一种基于计算机后处理算法的思路。

一般的去雨策略就是基于图像的算法，是基于后处理计算的处理，相对耗时，并且大量的数据处理导致较为耗能。

发明内容

针对现有技术存在的不足，本发明提出了一种场景实时自动去雨成像处理方法及装置，在成像过程中先进行光学信息分析，再辅助简单的后处理的方法及装置，可以有效地避免后处理过程中计算时间长，计算耗能多的问题，实时自动去雨成像。基于成像硬件与算法软件计算结合的方式，旨在解决目前的成像去雨纯靠算法软件而导致计算耗时多、耗能多等问题。

为实现上述目的，本发明提供了一种场景实时自动去雨成像处理方法及装置，主要思路体现为：构造傅里叶变换与反变换系统(简称傅里叶光路装置)；直接面向自然场景，反射镜组(大视场反射镜与另一面反射镜)将场景成像作为傅里叶系统的输入；利用SLM构造空间滤波器而实现空间滤波，SLM为空间光调制器；成像传感器获取信号，并使用FPGA简单计算，实时获得去雨结果，FPGA即现场可编程门阵列。具体如下：

一种场景实时自动去雨成像处理装置，依次包括处于同一光轴上的反射镜组、第一傅氏透镜、SLM、第二傅氏透镜、成像传感器、FPGA，反射镜组成像面、第一傅氏透镜、频谱面、第二傅氏透镜、成像传感器，这五者依次之间相距为f，第一傅氏透镜和第二傅氏透镜规格一致，焦距为f，构成傅里叶系统；SLM位于频谱面上，所述FPGA分别与SLM和成像传感器连接，成像传感器安装附着于FPGA。

进一步的，所述的反射镜组包括大视场凹面反射镜和第一凹面反射镜，所述反射镜组采用凹面反射式成像。

进一步的，所述的大视场反射镜的焦距f₁、第一反射镜的焦距f₂，调整相互位置而满足高斯成像公式，使得无穷远处自然场景可清晰成像于第一傅氏透镜的前焦面，即反射镜组成像面与第一傅氏透镜的前焦面重合。

进一步的，利用SLM在空间构造滤波器，从而实现空间滤波，所述的SLM是透射式电寻址空间光调制器；滤波器分布的具体结构由FPGA控制。

进一步的，在傅里叶系统的频谱面利用SLM构造空间滤波器而实现空间滤波，并且在成像传感器进行图像采集，全自动地进行连续2次图像采集过程；第一次通过FPGA控制SLM构造第一滤波器，第一滤波器采用低通与部分高通结合的滤波器，低通部分半径r₁，高通部分为随机分布的局部选通，成像传感器采集图像s₁；第二次通过FPGA控制SLM构造第二滤波器，第二滤波器为带通滤波器，带通的内外半径分别为r₂、r₃，成像传感器采集图像s₂；FPGA输出信号给SLM构造不同的滤波器并由成像传感器采集图像，过程均自动化实现。

一种场景实时自动去雨成像处理方法，包括以下步骤：

构造傅里叶光路装置；设计搭建反射镜组使自然景物准确接入傅里叶光路；在傅里叶系统的频谱面利用空间光调制器SLM构造空间滤波器而实现空间滤波；最终在FPGA端上实现图像采集，并且计算获取探测结果；

傅里叶光路装置从场景端到成像端，包括反射镜组，第一傅氏透镜，SLM，第二傅氏透镜，成像传感器，FPGA；成像传感器安装附着于FPGA，SLM的控制信号来自FPGA；所述反射镜组包括大视场凹面反射镜和第一凹面反射镜。

进一步的，所述傅里叶光路装置的设计为：

所述反射镜组，第一傅氏透镜，SLM，第二傅氏透镜，成像传感器，FPGA处于同一光轴上，第一傅氏透镜与第二傅氏透镜构成傅里叶系统，两透镜规格一致，焦距均为f；反射镜组成像面、第一傅氏透镜、频谱面、第二傅氏透镜、成像传感器依次之间相距为f；自然场景经反射镜组成像于第一傅氏透镜前焦面上，实现傅里叶变换，呈现在频谱面上，即第一傅氏透镜的后焦面且第二傅氏透镜的前焦面，为SLM滤波提供位置，而后继续利用第二傅氏透镜反变换到成像传感器实现空域成像并被采集。

进一步的，反射镜组使自然场景准确接入傅里叶光路装置的方法为：

面向具体的自然场景时，根据大视场凹面反射镜的焦距f₁、第一凹面反射镜的焦距f₂，调整相互位置而满足高斯成像公式，使得无穷远处自然场景可清晰成像于第一傅氏透镜的前焦面，即反射镜组成像面与第一傅氏透镜的前焦面重合，此时认为自然景物准确接入傅里叶光路。

进一步的，在傅里叶系统的频谱面利用SLM构造空间滤波器而实现空间滤波，并且在成像传感器进行图像采集具体方法为：

自然场景在第一傅氏透镜的后焦面上形成傅里叶频谱信息，利用SLM在空间构造滤波器，从而实现空间滤波；所述SLM是透射式电寻址空间光调制器，滤波器分布的具体结构由FPGA控制；通过FPGA控制SLM及成像传感器，全自动地进行连续2次图像采集过程；第一次通过FPGA控制SLM，采用第一滤波器，成像传感器采集图像s₁；第二次通过FPGA控制SLM构造第二滤波器，成像传感器采集图像s₂；FPGA输出信号给SLM并由成像传感器采集图像，都是程序自动化实现；

通过FPGA编程控制SLM及成像传感器，全自动地进行连续2次图像采集过程，采用了2次不同的滤波器结构，第一滤波器是低通与部分高通结合的方式，低通部分半径r₁，高通部分是随机分布的局部选通；第二滤波器是带通，带通的内外半径分别为r₂，r₃。

进一步的，在FPGA上计算去雨结果，其特征在于利用s1与s2，在FPGA上，计算g＝w₁R(s₁)+w₂s₂，即最终的去雨结果，其中w₁、w₂为权重系数，要求两者之和为1，R(s₁)为对s₁的锐化操作。

本发明的有益效果与优势：

现有的自然景物去雨，都是基于图像算法的方法，即基于纯软件的方法，都是系统采集了图像后再进行处理，未能在成像链路优化的角度上实行软硬计算结合的思路，耗时耗能。而本发明则是直接面向自然场景，融入了光学计算分析手段，而FPGA层面的算法软件所承担的任务大大减少，大大提升了计算速度，也减少了由于大量运算带来的耗能。尤其是计算速度的几何级提升，可广泛应用于安防监控、行车辅助仪、手机成像处理等具体的民用任务中。

附图说明

图1为本发明的处理流程图；

图2为本发明装置的系统构成简图；

图3为本发明的光路简图；

图4(a)为第一空间滤波器结构示意图；

图4(b)为第二空间滤波器结构示意图；

图5(a)为本发明处理的场景原图；

图5(b)为本发明处理后去雨的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例对本发明的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

以下结合附图实施例对本发明的实施作进一步说明。

其主要流程如图1所示，整体结构如附图2所示，它包括以下步骤：

1、构造傅里叶光路装置，而该装置是图1中从反射镜组到FPGA的流程对应的装置架构，对应附图2的是从反射镜组成像面到成像传感器/FPGA之间的光路部分，光线传输可参考附图3。光学元件、成像传感器均处于同一光轴上，成像传感器附着于FPGA上，光学元件包括第一傅氏透镜、第二傅氏透镜、反射镜组、空间光调制器SLM。第一傅氏透镜与第二傅氏透镜构成傅里叶系统，两者规格一致，焦距均为f，傅氏透镜即为傅里叶透镜。反射镜组成像面、第一傅氏透镜、频谱面、第二傅氏透镜、成像传感器，这五者依次排列并且以依次间距为f。对于该装置，场景经反射镜组成像于第一傅氏透镜的前焦面上，利用其实现傅里叶变换，在空间上呈现在频谱面上，即第一傅氏透镜的后焦面且第二傅氏透镜的前焦面处，SLM即处于频谱面上并实现滤波，后续光线经第二傅氏透镜傅里叶反变换到成像传感器平面，实现成像并被采集。成像传感器由FPGA支配(附着于FPGA上)，SLM的具体的滤波器结构也由FPGA控制给予。

整个光路可以使得自然场景在经过反射镜组会聚于傅式透镜前焦面中，并在傅里叶系统的频谱面中直接进行控制，最后于成像传感器中采集成像结果。

2、设计与搭建反射镜组，即附图2的大视场凹面反射镜和第一凹面反射镜，这部分光路图可参考附图3。为缩短整个成像系统长度，采用凹面反射式成像。系统直接面向自然场景，反射镜组将外界自然景物成像于傅氏透镜1的前焦面，即反射镜组成像面与傅氏透镜1的前焦面重合。大视场凹面反射镜的焦距为f₁，第一凹面反射镜的焦距为f₂，反射镜组与傅里叶光路装置的空间关系式固定的，不变的。此时，自然场景准确接入傅里叶光路装置。

3、空间滤波。自然场景在傅氏透镜1的后焦面上形成傅里叶频谱信息，利用SLM在空间构造滤波器，从而实现空间滤波。本发明采用的SLM是透射式电寻址空间光调制器。滤波器分布的具体结构由FPGA给予，是程序事先设计好的，随着程序指定而变化。

该滤波器设计是基于数学与物理理论分析以及实验测试基础上的。

滤波器结构采用图4(a)和图4(b)所示，黑色部分表示通过，其余区域表示不通过。图(a)是第一滤波器，采用低通与部分高通结合滤波器，并且高通部分是随机分布的局部选通，图4(a)的高通部分只是个个例图示；图4(b)是第二滤波器，采用带通滤波器。图4(a)低通部分半径r₁；图4(b)带通的内外半径分别为r₂，r₃。

通过FPGA编程控制SLM及成像传感器，全自动地进行连续2次图像采集过程。第一次通过FPGA控制SLM，滤波器结构为附图4(a)所示，成像传感器采集图像s₁；第二次通过FPGA控制SLM构造附图4(b)所示滤波器，成像传感器采集图像s₂。FPGA输出信号给SLM并由成像传感器采集图像，都是程序自动化实现。

4、图像采集与计算获取去雨结果。成像传感器获取信号后进入FPGA，通过FPGA对采集的图像简单计算，获得去雨结果。系统面向场景，FPGA循环呈现SLM上的滤波器并采集，计算处理并实时给出成像去雨结果。

在FPGA上，计算g＝w₁R(s₁)+w₂s₂，即最终的去雨结果。这里w₁、w₂为权重系数，要求两者之和为1。R(s₁)为对s₁的锐化操作。

在本发明的具体实施例中，所用到的需要指明的设备或相关参数如下：傅里叶透镜焦距为f＝250mm，直径为D＝50mm；滤波器结构中，如图4(a)中的低通部分半径r₁＝50um，图4(b)带通的内外半径分别为r₂＝25um，r₃＝100um；凹面反射镜焦距，f₁＝50mm，f₂＝25mm。w₁＝w₂＝0.5。锐化处理R(s₁)采用的是简单的滤镜效果。

Claims (6)

1.一种场景实时自动去雨成像处理装置，其特征在于包括反射镜组，所述反射镜组包括第一凹面反射镜和大视场凹面反射镜，从场景端到成像端依次包括处于同一光轴上的第一凹面反射镜、第一傅氏透镜、SLM、第二傅氏透镜、大视场凹面反射镜、成像传感器、FPGA，反射镜组成像面、第一傅氏透镜、频谱面、第二傅氏透镜、成像传感器，这五者依次之间相距为f，第一傅氏透镜和第二傅氏透镜规格一致，焦距为f，构成傅里叶系统；SLM位于频谱面上，所述FPGA分别与SLM和成像传感器连接，成像传感器安装附着于FPGA，所述反射镜组采用凹面反射式成像；

在傅里叶系统的频谱面利用SLM构造空间滤波器而实现空间滤波，并且在成像传感器进行图像采集，全自动地进行连续2次图像采集过程；第一次通过FPGA控制SLM构造第一滤波器，第一滤波器采用低通与部分高通结合的滤波器，低通部分半径r₁，高通部分为随机分布的局部选通，成像传感器采集图像s₁；第二次通过FPGA控制SLM构造第二滤波器，第二滤波器为带通滤波器，带通的内外半径分别为r₂、r₃，成像传感器采集图像s₂；FPGA输出信号给SLM构造不同的滤波器并由成像传感器采集图像，过程均自动化实现；

在FPGA上计算去雨结果，其特征在于利用s₁与s₂，在FPGA上，计算g＝w₁R(s₁)+w₂s₂，即最终的去雨结果，其中w₁、w₂为权重系数，要求两者之和为1，R(s₁)为对s₁的锐化操作。

2.根据权利要求1所述的一种场景实时自动去雨成像处理装置，其特征在于所述的大视场凹面反射镜的焦距f₁、第一凹面反射镜的焦距f₂，调整相互位置而满足高斯成像公式，使得无穷远处自然场景可清晰成像于第一傅氏透镜的前焦面，即反射镜组成像面与第一傅氏透镜的前焦面重合。

3.根据权利要求1所述的一种场景实时自动去雨成像处理装置，其特征在于利用SLM在空间构造滤波器，从而实现空间滤波，所述的SLM是透射式电寻址空间光调制器；滤波器分布的具体结构由FPGA控制。

4.一种场景实时自动去雨成像处理方法，其特征在于包括以下步骤：

（1）构造傅里叶光路装置；

（2）设计搭建反射镜组使自然景物准确接入傅里叶光路；

（3）在傅里叶系统的频谱面利用空间光调制器SLM构造空间滤波器而实现空间滤波；

（4）最终在FPGA端上实现图像采集，并且计算获取探测结果；

所述傅里叶光路装置包括反射镜组，所述反射镜组包括第一凹面反射镜和大视场凹面反射镜；从场景端到成像端，依次包括第一凹面反射镜，第一傅氏透镜，SLM，第二傅氏透镜，大视场凹面反射镜，成像传感器，FPGA；成像传感器安装附着于FPGA，SLM的控制信号来自FPGA；

在傅里叶系统的频谱面利用SLM构造空间滤波器而实现空间滤波，并且在成像传感器进行图像采集具体方法为：

自然场景在第一傅氏透镜的后焦面上形成傅里叶频谱信息，利用SLM在空间构造滤波器，从而实现空间滤波；所述SLM是透射式电寻址空间光调制器，滤波器分布的具体结构由FPGA控制；通过FPGA控制SLM及成像传感器，全自动地进行连续2次图像采集过程；第一次通过FPGA控制SLM，采用第一滤波器，成像传感器采集图像s₁；第二次通过FPGA控制SLM构造第二滤波器，成像传感器采集图像s₂；FPGA输出信号给SLM并由成像传感器采集图像，都是程序自动化实现；

通过FPGA编程控制SLM及成像传感器，全自动地进行连续2次图像采集过程，采用了2次不同的滤波器结构，第一滤波器是低通与部分高通结合的方式，低通部分半径r₁，高通部分是随机分布的局部选通；第二滤波器是带通，带通的内外半径分别为r₂，r₃；

在FPGA上计算去雨结果，其特征在于利用s1与s2，在FPGA上，计算g= w₁R(s₁) + w₂s₂，即最终的去雨结果，其中w₁、w₂为权重系数，要求两者之和为1，R(s₁)为对s₁的锐化操作。

5.根据权利要求4所述的一种场景实时自动去雨成像处理方法及装置，其特征在于，所述傅里叶光路装置的设计为：

所述反射镜组，第一傅氏透镜，SLM，第二傅氏透镜，成像传感器，FPGA处于同一光轴上，第一傅氏透镜与第二傅氏透镜构成傅里叶系统，两透镜规格一致，焦距均为f；反射镜组成像面、第一傅氏透镜、频谱面、第二傅氏透镜、成像传感器依次之间相距为f；自然场景经反射镜组成像于第一傅氏透镜前焦面上，实现傅里叶变换，呈现在频谱面上，即第一傅氏透镜的后焦面且第二傅氏透镜的前焦面，为SLM滤波提供位置，而后继续利用第二傅氏透镜反变换到成像传感器实现空域成像并被采集。

6.根据权利要求4所述的一种场景实时自动去雨成像处理方法，其特征在于反射镜组使自然场景准确接入傅里叶光路装置的方法为：

面向具体的自然场景时，根据大视场凹面反射镜的焦距f₁、第一凹面反射镜的焦距f₂，调整相互位置而满足高斯成像公式，使得无穷远处自然场景可清晰成像于第一傅氏透镜的前焦面，即反射镜组成像面与第一傅氏透镜的前焦面重合，此时认为自然景物准确接入傅里叶光路。

Images