CN110363205B - 一种基于Talbot效应光学卷积的图像特征提取系统及方法 - Google Patents

Abstract

本发明提出了一种基于Talbot效应光学卷积的图像特征提取系统及方法，光学卷积图像处理系统由光学系统、叠层光栅、分时切换系统以及探测器组成。所述光学系统包括物镜、目镜系统，源图像，用于实现物像的共轭缩小成像。所述叠层光栅系统可在光栅Talbot距离上产生Talbot自成像效应，进而利用莫尔条纹效应可对入射光场进行光学卷积处理。所述分时切换系统可以实现不同周期、不同相位光栅的分时切换，从而实现不同卷积参数的光学卷积操作，提取不同的入射图像特征。该方法利用光学卷积进行图像处理，可显著降低计算能耗以及节约计算时间。该方案结构系统紧凑，可有效利用光学卷积进行图像的滤波等操作。

Description

一种基于Talbot效应光学卷积的图像特征提取系统及方法

技术领域

本发明涉及光学图像处理领域，具体为一种基于Talbot效应光学卷积的图像特征提取系统及方法。

背景技术

光学卷积性质是一个光学系统的重要性质，对一个成像系统(相干或非相干系统)而言，在满足线性空间不变系统的条件下，空域中的物像关系是一种卷积关系，数学关系为：I(x′,y′)＝I₀(x′,y′)*PSF，可知像是物和系统的PSF进行卷积而得，这是一种光学的卷积操作，光学卷积是光信息处理中最常用的运算和处理技术之一，在常见的数字图像处理中，数字卷积技术常常用于图像的滤波处理，如使用n*n的卷积模板，模板中设定不同的参数，可对数字图像进行滤波处理，用于提取目标中关键特征信息，但是数字卷积面临相当大的问题是当输入图像较大分辨率较高时，卷积模板比较复杂时，这个卷积过程将要耗费相当长的计算时间同时消耗数量可观的电能。

当今发展迅速的人工卷积神经网络CNN(Convolutional Neural Network)已经成为图像识别领域最优秀的算法之一，并广泛用于图像识别，图像分类，推荐系统，医学图像分析，视频分析处理，自然语言以及自然语音处理等领域，CNN网络结构中将大量运用数字卷积技术，然而，这种基于卷积处理的CNN网络所消耗的巨大功耗和其数据带宽要求限制了其在能源预算紧张的移动嵌入式系统中的使用，此时，光学卷积运算以其光速的卷积处理速度以及低功耗的优势在卷积计算中有极大的应用前景，有望使传统的数字域中实现的CNN卷积功能使用光学卷积的方式来实现，因而显著的提高运算速度和极大降低计算能耗。

发明内容

本发明的目的是提供一种使用光学卷积的图像处理技术，这种基于Talbot效应和莫尔条纹效应的光学卷积技术，能用于替代通常只能在电子领域实现的Gabor小波滤波卷积操作，同时本发明提供这种光学卷积图像处理的技术方案，这种方案结构紧凑，图像采集方便，能以高速低功耗的方式实现图像的光学卷积滤波操作。

为实现上述目的，本发明采用的技术方案是：

本发明首先公开了一种基于Talbot效应光学卷积图像特征提取系统包括：位于相同高度光轴的物镜、分时切换系统、目镜和CMOS；所述的分时切换系统包括若干不同参数的叠层光栅、以及选择所述叠层光栅并将其切换进入成像光路的驱动结构；所述的叠层光栅包括第一层光栅和第二层光栅；所述的第二层光栅布置在第一层光栅后表面整数倍Talbot距离处；

所述的第一层光栅位于物镜的后像面上，所述的第二层光栅位于目镜的前物面，所述的CMOS位于目镜的后像面。

作为本发明的优选，所述的第二层光栅布置在第一层光栅后表面2-4倍Talbot距离处。

本发明还公开了一种所述系统的基于Talbot效应光学卷积图像特征提取方法，包括如下步骤：

1)将经扩展光源照明的目标源图像放置在物镜的前物面上，经物镜成像后将共轭像汇聚在叠层光栅的第一层光栅上；

2)叠层光栅的第一层光栅发生Talbot衍射效应，衍射图案照射在位于整数倍Talbot距离处的第二层光栅，发生莫尔条纹效应，源图像经过叠层光栅后即进行了光学卷积操作；

3)将经过光学卷积的卷积图像通过目镜成像在后端的CMOS上；

4)分时切换系统切换第二种参数的叠层光栅进入光路，这时源图像经过步骤2)和3)后同样在CMOS上得到一种光学卷积图像，将前后两种不同的卷积图像进行差分算法处理，输出的图像即是一种图像边缘特征提取的滤波图案；

5)分时切换系统继续运转，切换不同参数的叠层光栅进入光路，经过步骤2)、3)及4)后得到不同参数的卷积滤波图案，进而得到关于源图像不同边缘特征的信息。

作为本发明的优选，所述的第一层光栅和第二层光栅均为等周期的透射式光栅。

作为本发明的优选，汇聚在叠层光栅的滤波卷积图像经过叠层光栅后进行了光学卷积操作，卷积函数为经光瞳函数调制的正弦曲线，经过分时切换系统切换不同参数的叠层光栅后，获取另一张光学卷积图像，此时的卷积函数是相差π相位的光瞳函数调制过的正弦曲线，两张卷积图像进行差分处理后，得到完整的Gabor小波滤波输出。

作为本发明的优选，所述的CMOS进行分时段高帧率的采样操作。

作为本发明的优选，所述CMOS的采样频率为2-20FPS；当分时切换系统切换不同参数的叠层光栅进入光路后，CMOS即进行一次采样。

本发明主要具有以下几个优点：

1、传统的图像滤波处理通常是在数字卷积领域内实现，本方案提出了一种使用光学硬件进行光学卷积的方法，从而可在光学领域内进行图像滤波处理，相比于传统数字域图像处理，光学卷积图像处理的优势在于处理速度极快(光速处理)，能耗需求极低(接近零功耗)；

2、本方案提出了一种分时切换系统，通过驱动结构实现多角度、多周期以及多相位偏置的光栅状态切换，从而获取多种参数的系统PSF函数，进而可进行多参数的光学卷积操作。

3、本方案提出了一种整机系统构建的实际方案，物镜，叠层光栅，分时切换系统，目镜，CMOS之间的距离为数十毫米量级，整机尺寸小于60*50*50cm，整体结构紧凑，探测器CMOS通过程序控制可实现高帧率的自动图像采集，滤波图像采集迅速方便，因而可实现多种参数得光学滤波图像的快速输出。

附图说明

为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于Talbot效应光学卷积图像特征提取系统的结构示意图；

图2是Talbot效应图；

图3是Gabor滤波图；

图4是本发明光学卷积实现的过程示意图；

图5是分时切换系统的结构示意图；

图6不同参数的卷积滤波仿真图。

具体实施方式

为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。然而，应理解：不存在将本发明的各种实施例限于在此公开的特定实施例的意图，而是应将本发明理解为涵盖落入本发明的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。

此处所称的“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

如图1所示，基于Talbot效应光学卷积图像特征提取系统包括：位于相同高度光轴的物镜102、分时切换系统103、目镜104和CMOS探测器105；所述的分时切换系统103包括若干不同参数的叠层光栅、以及选择所述叠层光栅并将其切换进入成像光路的驱动结构；所述的叠层光栅包括第一层光栅G1和第二层光栅G2；所述的第二层光栅布置在第一层光栅后表面整数倍Talbot距离处；

所述的第一层光栅位于物镜的后像面上，所述的第二层光栅位于目镜的前物面，所述的CMOS位于目镜的后像面。

对于所述的驱动机构，如图5所示，在本发明的一个具体实施例中使用电机驱动的滤光轮系统实现，滤光轮系统可绕圆心进行旋转，且沿圆周方向开设若干光孔，所述的叠层光栅设置在光孔内；光路穿过滤光轮系统的位置固定且位于光孔的旋转路径上；通过滤光轮系统的旋转即可选择在光路中切入所需的叠层光栅。

其中，滤光轮上每两个相邻的叠层光栅构成一组，同一组内的叠层光栅仅相位偏置相差π相位，其它参数均相同，不同组别的叠层光栅其光栅角度和光栅的周期均不相同，其中所述的参数是指光栅角度、光栅周期、光栅偏置状态。

本发明的方法具体为：1)将经扩展光源照明的目标源图像放置在物镜的前物面上，经物镜成像后将共轭像汇聚在叠层光栅的第一层光栅上；

2)叠层光栅的第一层光栅发生Talbot衍射效应，衍射图案照射在位于整数倍Talbot距离处的第二层光栅，发生莫尔条纹效应，源图像经过叠层光栅后即进行了光学卷积操作；

3)将经过光学卷积的卷积图像通过目镜成像在后端的CMOS上；

4)分时切换系统切换第二种参数的叠层光栅进入光路，这时源图像经过步骤2)和3)后同样在CMOS上得到一种光学卷积图像，将前后两种不同的卷积图像进行差分算法处理，输出的图像即是一种图像边缘特征提取的滤波图案；

5)分时切换系统继续运转，切换不同参数的叠层光栅进入光路，经过步骤2)、3)及4)后得到不同参数的卷积滤波图案，进而得到关于源图像不同边缘特征的信息。

Talbot效应是指当一束平面光波照射一个周期性物体(如透射光栅)时，在该周期性物体后特定距离处，将出现和物体相同周期的清晰像，这一现象就称为Talbot效应，该像并不是一种透镜成像，而是菲涅尔衍射成像，因此Talbot效应又称为衍射自成像(diffraction self-image)效应，如图2所示。本方案中所用叠层Ronchi光栅的前后间距应当严格按照Talbot距离进行放置，在这种Talbot距离处能够探测到光栅的自成像，自成像的强度分布和Ronchi光栅保持一致，当前后间距偏离Talbot距离时，将导致探测到的自成像效应对比度下降乃至无法自成像。

光栅的Talbot距离公式：

其中，Z_t表示Talbot距离，叠层光栅的前后间距L应为Z_t的整数倍，也就是说L＝mZ_t，m为正整数，d为Ronchi光栅的周期，λ为入射光波波长

当物面上的源图成像在光栅面上时，不同物点汇聚而成缩小的实像，因此透过光栅后产生的Talbot图像也不尽相同，这种不同的Talbot图案会在第二层光栅上产生莫尔条纹效应，整个成像及衍射过程产生的响应可用如下公式描述：

I＝I₀F(θ)(1-mcos(βθ+α))

F(θ)表示Aperture function窗口函数，表征光学系统的衍射受限特性，β表示光学系统的角度敏感系数，α为相位偏置，由叠层光栅的横向位移差决定，m表示调制对比度，表征图案的清晰度。

上式中的光强响应I本质上即是整个光学系统的PSF函数，根据光学理论知道，对一个成像系统(相干或者非相干)，在满足线性空间不变系统的条件下，空域中的物像关系是一种卷积关系，数学关系为：

I(x′，y′)＝I₀(x′，y′)*PSF

像是物和系统的PSF进行卷积而得，这是一种典型的光学卷积操作。因此，源图像和系统PSF函数卷积之后，得到的即是卷积后的图像。

当使用分时切换系统之后，切换成不同相位偏置的叠层光栅，可以得到另一种PSF函数的光学系统，和图像进行卷积操作后，得到第二种滤波输出。两种相差π相位的滤波输出进行差分之后，得到的卷积函数为：

I＝I₀F(θ)mcos(βθ+α)

这种光学卷积函数和Gabor滤波函数非常类似，在常规的数字图像处理领域，Gabor滤波器是一个用于边缘检测的线性滤波器，Gabor滤波器的响应接近于人类视觉系统的脉冲响应，因此常用于纹理表示和边缘检测，Gabor滤波器是一个正弦平面波和高斯核函数的乘积，不同参数的Gabor滤波器可以在频域的不同尺度，不同方向上提取相应的特征。Gabor滤波函数的表达式为

x′＝xcosθ+ysinθ

y′＝-xsinθ+ycosθ

γ：表示高斯函数x向和y向的宽度比，滤波器的椭圆度

σ：表示Gabor高斯核函数的标准差

θ：表示Gabor滤波器高斯核的法线方向

λ：表示Gabor核函数中余弦平面波的空间频率

φ：表示Gabor滤波器中余弦函数的相位值

两个函数对比可以发现，经过叠层光栅滤波之后的卷积效果是一个Gabor小波的卷积滤波。Gabor函数的结构图如图3所示

两幅相差π相位的卷积滤波图，经过差分算法处理之后得到完整的光学卷积滤波输出，整个光学卷积滤波的实现过程如图4所示。

通过更换不同参数，不同周期的叠层光栅，改变不同的相位偏置，可以得到不同参数的Gabor滤波函数，从而就可以获取入射图像中不同成分的边缘特征信息。

分时切换系统，可以实现不同光栅角度、不同光栅周期、不同光栅偏置状态的切换，使用CMOS进行分时的自动图像采集，即针对每一种光栅参数进行滤波图像的采集，差分运算之后即可以输出给定参数的滤波图案。图6是使用本发明的方法经过多参数切换后得到的滤波输出仿真图。从图6中可以看出:进行了4个光栅角度的切换，分别是0°，-45°，+45°，+90°的光栅角度变换，分别获得了有关源图像4个不同方向的图像特征信息。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于Talbot效应光学卷积图像特征提取系统的图像特征提取方法，其特征在于，所述的基于Talbot效应光学卷积图像特征提取系统包括：位于相同高度光轴的物镜、分时切换系统、目镜和CMOS；所述的分时切换系统包括若干不同参数的叠层光栅、以及选择所述叠层光栅并将其切换进入成像光路的驱动结构；所述的叠层光栅包括第一层光栅和第二层光栅；所述的第二层光栅布置在第一层光栅后表面整数倍Talbot距离处；

所述的第一层光栅位于物镜的后像面上，所述的第二层光栅位于目镜的前物面，所述的CMOS位于目镜的后像面；

所述的第二层光栅布置在第一层光栅后表面2-4倍Talbot距离处；

所述的图像特征提取方法包括如下步骤：

1）将经扩展光源照明的目标源图像放置在物镜的前物面上，经物镜成像后将共轭像汇聚在叠层光栅的第一层光栅上；

2）叠层光栅的第一层光栅发生Talbot衍射效应，衍射图案照射在位于整数倍Talbot距离处的第二层光栅，发生莫尔条纹效应，源图像经过叠层光栅后即进行了光学卷积操作；

3）将经过光学卷积的卷积图像通过目镜成像在后端的CMOS上；

4）分时切换系统切换第二种参数的叠层光栅进入光路，这时源图像经过步骤2）和3）后同样在CMOS上得到一种光学卷积图像，将前后两种不同的卷积图像进行差分算法处理，输出的图像即是一种图像边缘特征提取的滤波图案；

5）分时切换系统继续运转，切换不同参数的叠层光栅进入光路，经过步骤2）、3）及4）后得到不同参数的卷积滤波图案，进而得到关于源图像不同边缘特征的信息。

2.如权利要求1所述的基于Talbot效应光学卷积图像特征提取系统的图像特征提取方法，其特征在于：所述的第一层光栅和第二层光栅均为等周期的透射式光栅。

3.如权利要求1所述的基于Talbot效应光学卷积图像特征提取系统的图像特征提取方 法，其特征在于：汇聚在叠层光栅的滤波卷积图像经过叠层光栅后进行了光学卷积操作，卷 积函数为经光瞳函数调制的正弦曲线，经过分时切换系统切换不同参数的叠层光栅后，获 取另一张光学卷积图像，此时的卷积函数是相差

相位的光瞳函数调制过的正弦曲线，两 张卷积图像进行差分处理后，得到完整的Gabor小波滤波输出。

4.如权利要求1所述的基于Talbot效应光学卷积图像特征提取系统的图像特征提取方法，其特征在于：所述的CMOS进行分时段高帧率的采样操作。

5.如权利要求4所述的基于Talbot效应光学卷积图像特征提取系统的图像特征提取方法，其特征在于：所述CMOS的采样频率为2-20FPS；当分时切换系统切换不同参数的叠层光栅进入光路后，CMOS即进行一次采样。

Images