CN112684574B - 图像获取组件和电子设备 - Google Patents

Abstract

本申请是关于一种基于光计算的图像获取组件和电子设备，属于光学技术领域。所述图像获取组件包括4f光学系统组和衰减片，4f光学系统组包括一个或多个4f光学系统，其中：4f光学系统组通过相位片的设置来实现神经网络的卷积运算，具体用于接收原始图像对应的原始光信号，将原始图像对应的原始光信号转换为原始图像的第一特征图像对应的光信号；衰减片，用于对第一特征图像对应的光信号进行衰减，得到衰减后的光信号。采用本申请，处理器能够获取的图像已经不是原始图像，而是特征图像，难以恢复出原始图像，可以大大提高高安场所的安全性。

Description

图像获取组件和电子设备

技术领域

本申请是关于光学技术领域，尤其是关于一种图像获取组件和电子设备。

背景技术

随着社会的发展，高安场所对安全性的要求越来越高。为了保障高安场所的安全性，可以在高安场所的多个位置上设置图像获取设备，如智能摄像头。智能摄像头可以拍摄场所图像，对场所图像进行识别，如果确定场所图像中存在预设类型危险目标对应的图像，则生成报警信息，将报警信息上传至服务器。例如，如果在预设时间段内禁止任何人进入高安场所，但是智能摄像头在当前场所图像中检测到人物图像，则生成报警信息，将报警信息上传至服务器。由于在识别出人物图像之后，智能摄像头需要和服务器进行通信，以进行报警处理，因此不可避免地需要让智能摄像头进行联网。

有些不法分子会通过网络攻击高安场所的智能摄像头，以获取智能摄像头中的场所图像。不法分子可以通过场所图像的背景信息，获知高安场所的场所内部结构，而高安场所的场所内部结构是需要绝对保密的。如果高安场所的场所内部结构被不法分子获知，则会大大降低高安场所的安全性。

发明内容

为了克服相关技术中存在的问题，本申请提供了以下技术方案：

根据本申请实施例的第一方面，提供一种图像获取组件，所述图像获取组件包括4f光学系统组和衰减片，所述4f光学系统组包括一个或多个4f光学系统，其中：

所述4f光学系统组，用于接收原始图像对应的原始光信号，将所述原始图像对应的原始光信号转换为所述原始图像的第一特征图像对应的光信号；

所述衰减片，用于对所述第一特征图像对应的光信号进行衰减，得到衰减后的光信号。

通过本申请实施例提供的图像获取组件，可以对原始图像对应的原始光信号进行卷积运算处理以及衰减，得到衰减后的特征图像对应的光信号。后续处理器可以继续对特征图像进行进一步的特征提取，以最终实现对原始图像的识别处理。在上述过程中，处理器能够获取图像已经不是原始图像，而是特征图像，特征图像通过人眼已不可辨识，而通过特征图像反推原始图像的可能性是极低的甚至为零，因此即使特征图像被截获，也难以恢复出原始图像。进而，通过本申请实施例提供的图像获取组件，具有高安场所的场所内部结构或者其他信息的原始图像难以被不法分子获知，最终可以大大提高高安场所的安全性。

在一种可能的实现方式中，所述4f光学系统组包括凸透镜组和相位片。这些器件都是常见的器件，易于实现，降低了设计成本。

凸透镜组可以包括两个凸透镜或者多个凸透镜。在一种可能的实现方式中，所述凸透镜组包括多个凸透镜，所述多个凸透镜中的一部分凸透镜构成焦距为f的第一光学镜组，所述多个凸透镜中的另一部分凸透镜构成焦距为所述f的第二光学镜组。当凸透镜组包括多个凸透镜时，多个凸透镜中的一部分凸透镜构成焦距为f的第一光学镜组，多个凸透镜中的另一部分凸透镜构成焦距为f的第二光学镜组。本申请中，第一光学镜组以及第二光学镜组实际中都可由多个凸透镜构成。这些凸透镜组合在一起，使得整个光学镜组的焦距为f。本申请对光学镜组中包含的凸透镜的数量不作限定。

在一种可能的实现方式中，所述凸透镜组包括第一凸透镜和第二凸透镜，所述第一凸透镜的光轴垂直于所述相位片的表面，所述第二凸透镜的光轴垂直于所述相位片的表面，所述相位片设置在所述第一凸透镜和所述第二凸透镜之间的位置上，所述第一凸透镜和所述相位片之间的距离等于所述第一凸透镜的焦距，所述第二凸透镜和所述相位片之间的距离等于所述第二凸透镜的焦距，所述第一凸透镜和所述第二凸透镜的焦距为f。假如原始图像位于原点，第一凸透镜位于f处，原始图像经过第一凸透镜在2f处形成原始图像的傅里叶变换图像，相位片位于2f处，相位片可以对一次傅里叶变换图像对应的光信号进行光强和相位调制，第二凸透镜位于3f处，调制后的图像经过第二凸透镜在4f处形成调制后的图像的傅里叶变换图像，调制后的图像的傅里叶变换图像为对原始图像进行卷积运算处理后得到的图像的倒置。卷积运算处理对应的卷积权重参数由相位片的透过率和相位决定。

在一种可能的实现方式中，所述4f光学系统组包括曲面反射镜组和相位片。

曲面反射镜组可以包括两个曲面反射镜或者多个曲面反射镜。

在一种可能的实现方式中，所述曲面反射镜组包括多个曲面反射镜，所述多个曲面反射镜中的一部分曲面反射镜构成焦距为f的第三光学镜组，所述多个曲面反射镜中的另一部分曲面反射镜构成焦距为所述f的第四光学镜组。

当曲面反射镜组包括多个曲面反射镜时，多个曲面反射镜中的一部分曲面反射镜构成焦距为f的第三光学镜组，多个曲面反射镜中的另一部分曲面反射镜构成焦距为f的第四光学镜组。本申请中，第三光学镜组以及第四光学镜组实际中都可由多个曲面反射镜构成。这些曲面反射镜组合在一起，使得整个光学镜组的焦距为f。本申请对光学镜组中包含的曲面反射镜的数量不作限定。

在一种可能的实现方式中，所述曲面反射镜组包括第一曲面反射镜和第二曲面反射镜，所述第一曲面反射镜和所述第二曲面反射镜的曲面的中心点的连线垂直于所述相位片的表面，所述第一曲面反射镜和所述相位片之间的距离等于所述第一曲面反射镜的焦距，所述第二曲面反射镜和所述相位片之间的距离等于所述第二曲面反射镜的焦距，所述第一曲面反射镜和所述第二曲面反射镜的焦距为f。4f光学系统中的透镜可以采用凸透镜或者凹透镜或者其他类型的镜片，透镜的焦距为f

在一种可能的实现方式中，所述第一特征图像为卷积运算处理后的原始图像，所述卷积运算处理过程中的卷积权重参数是由所述相位片的厚度、所述相位片表面镀膜的氧化物膜组成分中的任一或者多个决定的。当通过相位片的厚度、相位片表面镀膜的氧化物膜组成分控制卷积运算处理过程中的卷积权重参数时，能够得到的精度更高。

在一种可能的实现方式中，所述卷积权重参数的尺寸大于所述原始图像的尺寸。

卷积权重参数的尺寸可以是卷积权重参数包括的所有数值的数量，原始图像的尺寸可以是原始图像包括的所有像素点的数量。本申请实施例提供的图像获取组件采用了4f光学系统组对原始图像对应的光信号进行卷积运算处理，4f光学系统组进行卷积运算处理的能耗为0并且速度极快，因此可以选择使用尺寸较大的卷积权重参数进行卷积运算，这样卷积层输出的特征图像包含的信息量更大，更利于后续对原始图像的识别，同时可以降低整个电子设备的功耗，提高运算处理的效率。此外，由于卷积权重参数的尺寸较大，即使相位片的参数不慎泄露，不法分子也难以反推出卷积权重参数的实际值，所以最终难以通过第二特征图像反推出原始的原始图像。

在一种可能的实现方式中，所述4f光学系统组包括第一4f光学系统和第二4f光学系统，其中：所述第一4f光学系统，用于接收原始图像对应的原始光信号，将所述原始光信号转换为所述原始图像的第三特征图像对应的光信号；所述第二4f光学系统，用于将所述第三特征图像对应的光信号转换为所述第一特征图像对应的光信号。第一4f光学系统和第二4f光学系统可以通过串联的方式，将第二4f光学系统设置在第一4f光学系统之后。可以设置两个4f光学系统，可以认为原始图像对应的原始光信号经过第一4f光学系统和第二4f光学系统进行了两次卷积运算处理。通过设置2个4f光学系统，可以对原始图像对应的原始光信号进行两次卷积运算处理，再经过一次类ReLU处理之后，得到的第二特征图像更加难以恢复出原始图像，因此4f光学系统组包括多个4f光学系统时，图像获取组件为可信架构。

在一种可能的实现方式中，所述第一特征图像包括第一子特征图像和第二子特征图像，所述4f光学系统组包括第三4f光学系统和第四4f光学系统，其中：所述第三4f光学系统，用于接收原始图像对应的原始光信号，将所述原始光信号转换为所述第一子特征图像对应的光信号；所述第四4f光学系统，用于接收所述原始光信号，将所述原始光信号转换为所述第二子特征图像对应的光信号。除了串联的方式之外，还可以通过并联的方式，将第三4f光学系统和第四4f光学系统进行平行设置。第三4f光学系统和第四4f光学系统可以同时分别接收原始图像对应的原始光信号，随后可以认为是分别对原始图像对应的原始光信号分别进行卷积运算处理，依次得到第一子特征图像和第二子特征图像，第一子特征图像和第二子特征图像组成第一特征图像。通过设置2个4f光学系统，可以对原始图像对应的原始光信号进行两次卷积运算处理，再经过一次类ReLU处理之后，得到的第二特征图像更加难以恢复出原始图像，因此4f光学系统组包括多个4f光学系统时，图像获取组件为可信架构。

在一种可能的实现方式中，所述电子设备包括光电转换部件和第一方面所述的图像获取组件，其中：所述光电转换部件，用于对所述衰减后的光信号进行光电转换，得到所述原始图像的第二特征图像对应的电信号。图像获取组件可以作为一个单独的组件，也可以设置在电子设备中配合光电转换部件进行使用。

在一种可能的实现方式中，所述衰减片，用于对所述第一特征图像对应的光信号进行线性衰减，得到衰减后的光信号；所述光电转换部件，用于将所述衰减后的光信号中光强大于或者等于预设光强阈值的信号分量，转换为所述第二特征图像对应的电信号。通过结合衰减片和光电转换部件共同实现类ReLU运算，在类ReLU运算的过程中会产生信息丢失。在信息丢失之后不能对丢失的信息进行恢复，因此对于ReLU运算来说，不存在逆运算。由于原始图像经过过类ReLU运算，因此无法对得到的第二特征图像进行逆向推导以反推出原始图像，因此本申请提供的图像获取组件为可信架构。

在一种可能的实现方式中，所述衰减后的光信号中光强小于所述预设光强阈值的信号分量不进行光电转换。光电转换部件存在最低照度(灵敏度)，即如果需要让光电转换部件能够捕捉到任一束光线，该光线的强度要高于最低照度，否则光电转换部件不能捕捉到该光线，也即不能对该光线进行光电转换，进而该光线在图像中对应的像素点的像素值为默认值。

在一种可能的实现方式中，所述衰减片，用于吸收所述第一特征图像对应的光信号中的光粒子，以对所述第一特征图像对应的光信号进行线性衰减，得到衰减后的光信号。当衰减片吸收光信号中的光粒子时，可以削弱光信号的光强。

在一种可能的实现方式中，所述电子设备还包括处理器，所述处理器和所述光电转换部件电性连接，其中：所述处理器，用于根据所述第二特征图像对应的电信号以及预先训练的神经网络模型，确定所述原始图像对应的分类信息。处理器可以接收到原始图像的第二特征图像对应的电信号，因此处理器可以获取到第二特征图像，此时第二特征图像为经过卷积运算处理、类ReLU运算处理的图像，也即第二特征图像为原始图像经过神经网络模型的卷积层(第1个网络层)之后得到的结果。处理器可以获取到预先训练的神经网络模型，该神经网络模型包括除第1个网络层之外的网络层，用于在第二特征图像的基础上继续提取原始图像的图像特征，以最终能够输出分类信息。

在一种可能的实现方式中，所述处理器，用于：通过所述预先训练的神经网络模型，提取所述第二特征图像的图像特征，基于提取到的图像特征，确定所述原始图像和各预设图像分类之间的相似度；确定相似度最高的目标图像分类，作为所述原始图像对应的分类信息。

可以通过光计算模块完成第1个网络层的运算处理，将第1个网络层的输出数据作为第2个网络层的输入数据，最终数据会经过全连接层，经过全连接层得到原始图像和预设图像分类之间的相似度。原始图像和预设图像分类之间的相似度可以是一个向量，向量包括多个数值，每个数值的取值范围为[0,1]。其中，如果任一数值取值为0，则原始图像不属于该数值对应的分类，如果任一数值取值为1，则原始图像属于该数值对应的分类。除了0和1之外的取值表示原始图像与某一数值对应的分类的接近程度。

本申请的实施例提供的技术方案可以包括以下有益效果：

通过本申请实施例提供的图像获取组件，可以对原始图像对应的原始光信号进行卷积运算处理以及衰减，得到衰减后的特征图像对应的光信号。后续处理器可以继续对特征图像进行进一步的特征提取，以最终实现对原始图像的识别处理。在上述过程中，处理器能够获取图像已经不是原始图像，而是特征图像，特征图像通过人眼已不可辨识，而通过特征图像反推原始图像的可能性是极低的甚至为零，因此即使特征图像被截获，也难以恢复出原始图像。进而，通过本申请实施例提供的图像获取组件，具有高安场所的场所内部结构或者其他信息的原始图像难以被不法分子获知，最终可以大大提高高安场所的安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。在附图中：

图1是根据一示例性实施例示出的一种电子设备的结构示意图；

图2是根据一示例性实施例示出的一种图像获取组件的结构示意图；

图3是根据一示例性实施例示出的一种电子设备的结构示意图；

图4是根据一示例性实施例示出的一种ReLU运算函数的示意图；

图5是根据一示例性实施例示出的一种4f光学系统的结构示意图；

图6是根据一示例性实施例示出的一种4f光学系统的结构示意图；

图7是根据一示例性实施例示出的一种4f光学系统的结构示意图；

图8是根据一示例性实施例示出的一种4f光学系统组的结构示意图；

图9是根据一示例性实施例示出的一种4f光学系统组的结构示意图；

图10是根据一示例性实施例示出的一种对原始图像进行处理的示意图；

图11是根据一示例性实施例示出的一种对原始图像进行处理的示意图；

图12是根据一示例性实施例示出的一种对原始图像进行处理的示意图；

图13是根据一示例性实施例示出的一种卷积权重参数的结构示意图；

图14是根据一示例性实施例示出的一种相位片的示意图。

图例说明

图像获取组件20； 4f光学系统组210；

衰减片220； 光电转换部件230；

凸透镜组411； 相位片412；

处理器21； 第一凸透镜611；

第二凸透镜612； 曲面反射镜组521；

第一曲面反射镜721； 第二曲面反射镜722

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例提供了一种图像获取组件20，图像获取组件20可以作为一个单独的组件，也可以如图1所示，将图像获取组件20设置在电子设备中进行使用，电子设备可以是手机、监控器、摄像头等设备。

本申请一示例性实施例提供了一种图像获取组件20，如图2所示，该图像获取组件20可以包括4f光学系统组210和衰减片220，4f光学系统组210包括一个或多个4f光学系统。

4f光学系统组210用于接收原始图像对应的光信号，将原始图像对应的原始光信号，转换为原始图像的第一特征图像对应的光信号，其中，第一特征图像为对原始图像进行卷积运算处理后的图像。衰减片220用于对原始图像的第一特征图像对应的光信号进行衰减，得到衰减后的光信号。

本申请一示例性实施例提供了一种电子设备，如图3所示，该电子设备可以包括图像获取组件20和光电转换部件230。光电转换部件230用于将衰减后的光信号进行光电转换，得到原始图像的第二特征图像对应的电信号，其中，第二特征图像为对第一特征图像进行类修正线性单元(Rectified Linear Units，ReLU)运算处理后的图像。光电转换部件230可以是感光片。

在实施中，以电子设备是监控器为例进行说明，监控器固定安装在预设位置，当启动监控器时，监控器可以捕捉镜头正对着的原始图像，原始图像中可以包括背景图像、车辆图像、人物图像等。当没有车辆或者人物进入监控器的拍摄范围时，原始图像为背景图像，当有车辆或者人物进入监控器的拍摄范围时，原始图像为背景图像叠加车辆图像、背景图像叠加人物图像、背景图像叠加车辆图像和人物图像等。

光源可以是太阳光或者灯光等非相干光，当非相干光照射在环境中的目标物体上时，非相干光经目标物体进行反射，反射的光信号可以传播到4f光学系统组210，4f光学系统组210可以接收原始图像对应的原始光信号。

4f光学系统组210可以将原始图像对应的原始光信号，转换为原始图像的第一特征图像对应的光信号。第一特征图像相当于对原始图像进行卷积运算处理后得到的图像。

衰减片220可以设置在4f光学系统组210之后，可以接收原始图像的第一特征图像对应的光信号，对原始图像的第一特征图像对应的光信号进行衰减，得到衰减后的光信号。可选地，衰减片220可以用于对原始图像的第一特征图像对应的光信号进行线性衰减。例如，第一特征图像对应的光信号的光强为I_out(x,y)，衰减片220的衰减系数为p(0％＜p＜100％)，经过衰减片220之后光信号的光强变为I_out(x,y)×p。衰减片220可以用于吸收光信号中的光粒子，以对光信号进行线性衰减，得到衰减后的光信号，衰减片可以基于青板玻璃，K9玻璃，熔融石英等材料来制做，具体实现为现有技术，本申请并不赘述。

光电转换部件230可以设置在衰减片220之后，可以接收衰减后的光信号，对光信号进行光电转换，以将衰减后的光信号转换为原始图像的第二特征图像的电信号。光电转换部件230存在最低照度(灵敏度)，即如果需要让光电转换部件230能够捕捉到任一束光线，该光线的强度要高于最低照度，否则光电转换部件230不能捕捉到该光线，也即不能对该光线进行光电转换，进而该光线在图像中对应的像素点的像素值为默认值，比如0。

如果能够合理的选择衰减片220，以获得合适的衰减片220的衰减系数，通过衰减片220可以对第一特征图像对应的光信号进行线性衰减，使得衰减后的光信号中一部分信号分量的强度低于最低照度，最终这些强度低于最低照度的信号分量无法被光电转换部件230捕捉到。可选地，光电转换部件230可以用于将衰减后的光信号中光强大于预设光强阈值的信号分量，转换为原始图像的第二特征图像。衰减后的光信号中光强小于预设光强阈值的信号分量不进行光电转换。第二特征图像相当于通过类ReLU函数对第一特征图像进行类ReLU运算处理后得到的图像。本申请实施例提供的图像获取组件20可以对原始图像对应的光信号进行线性卷积和非线性运算处理。

ReLU运算为非线性运算，ReLU运算函数的示意图可见图4所示，ReLU运算可以通过公式1进行表示：

其中，当x小于0时，输出为0；当x大于或者等于0时，输出为x本身。因此，所有值小于0的x，其对应的输出都是0，相当于信息丢失，在信息丢失之后不能对丢失的信息进行恢复，因此对于ReLU运算来说，不存在逆运算。由于原始图像经过过类ReLU运算，因此无法对得到的第二特征图像进行逆向推导以反推出原始图像，因此本申请实施例提供的图像获取组件20为可信架构。

通过对ReLU运算的介绍可见，通过将衰减片220和光电转换部件230配合进行使用，可以达到对光信号的光强进行类似ReLU运算的目的。当原始图像对应的原始光信号通过4f光学系统组210、衰减片220、光电转换部件230之后，可以认为是将原始图像进行一次卷积运算，再进行一次类ReLU运算处理，也即可以认为是使用4f光学系统组210对原始图像进行一次卷积运算，得到第一特征图像，使用衰减片220和光电转换部件230对第一特征图像进行一次类ReLU运算处理，得到第二图像特征。

可选地，如图3所示，电子设备还包括处理器21，处理器21和光电转换部件230电性连接。处理器21可以用于根据第二特征图像对应的电信号以及预先训练的神经网络模型，确定原始图像对应的分类信息。

在实施中，在光电转换部件230将衰减后的光信号转换为原始图像的第二特征图像的电信号之后，电子设备中设置的处理器21可以接收原始图像的第二特征图像对应的电信号，基于第二特征图像，对原始图像进行识别处理或者其他处理。

通过本申请实施例提供的图像获取组件20，可以预先对原始图像对应的原始光信号进行处理，处理包括卷积运算处理以及类ReLU运算处理，经过这两种处理之后，尤其是经过类ReLU运算处理之后，即使不法分子截获了第二特征图像，也难以恢复出原始图像。因此本申请实施例提供的图像获取组件20为可信架构。

下面将介绍本申请实施例中的4f光学系统组210。

4f光学系统组包括一个或多个4f光学系统。参见图5，为一个传统的4f光学系统，可以用来研究例如傅里叶光学等光学分支。传统的4f光学系统包括两个透镜，可以是凸透镜或者凹透镜或者其他类型的镜片，透镜的焦距为f，在图5中，用透镜1以及透镜2来表示两个透镜。在4f光学系统的光路中，光线依次经过物面、透镜1、频谱面、透镜2以及像面。其中，频谱面跟透镜1的距离都为f，透镜2与频谱面以及像面的距离也为f，因此，称为“4f光学系统”。需要说明的是，在4f光学系统中，透镜也可以使用镜片组(包括多个镜片，来实现同样的功能)进行代替，同时，针对不同的应用，可以在频谱面设置成不同的器件来达到不同的功能。

本申请中，通过在频谱面放置一个具有调制功能的调制器件，能够对光进行调制，从而在像面输出成像结果。其中，该器件可以是基于相位调制的器件，或者基于光强调制的器件，或者是两个功能都具备的器件，其目的是实现神经网络模型中的卷积运算功能。

可选地，上述具有调制功能的调制器件可以是相位片。4f光学系统组210可以由凸透镜组411和相位片412构成。

在实施中，凸透镜组411可以包括两个凸透镜或者多个凸透镜。当凸透镜组411包括多个凸透镜时，多个凸透镜中的一部分凸透镜构成焦距为f的第一光学镜组，多个凸透镜中的另一部分凸透镜构成焦距为f的第二光学镜组。

本申请中，第一光学镜组以及第二光学镜组实际中都可由多个凸透镜构成。这些凸透镜组合在一起，使得整个光学镜组的焦距为f。本申请对光学镜组中包含的凸透镜的数量不作限定。为了简单实现，图6所示的凸透镜组411中都只包括两个凸透镜，但实际中也可以通过多个凸透镜组成焦距为f的光学镜组来实现，具体实现方法本申请中不再赘述。

可选地，如图6所示，当凸透镜组411包括两个凸透镜时，凸透镜组411可以包括第一凸透镜611和第二凸透镜612，第一凸透镜611的光轴垂直于相位片412的表面，第二凸透镜612的光轴垂直于相位片412的表面，相位片412可以设置在第一凸透镜611和第二凸透镜612之间的位置上，第一凸透镜611和相位片412之间的距离等于第一凸透镜611的焦距，第二凸透镜612和相位片412之间的距离等于第二凸透镜612的焦距，第一凸透镜611和第二凸透镜612的焦距为f。

在实施中，假如原始图像位于原点，第一凸透镜611位于f处，原始图像经过第一凸透镜611在2f处形成原始图像的傅里叶变换图像，相位片412位于2f处，相位片412可以对一次傅里叶变换图像对应的光信号进行光强和相位调制，第二凸透镜612位于3f处，调制后的图像经过第二凸透镜612在4f处形成调制后的图像的傅里叶变换图像，调制后的图像的傅里叶变换图像为对原始图像进行卷积运算处理后得到的图像的倒置。可选地，卷积运算处理对应的卷积权重参数由相位片412的透过率和相位决定。

从数学角度来看，经相位片412得到的调制后的图像对应的光信号可以通过

进行表示。其中，

为相位片412上的坐标，

为透过率，

为相位。其傅里叶变换可以通过公式2进行表示：

其中，

为光信号的平均波长，f为透镜或者光学镜组的焦距。

4f光学系统组210可以对原始图像进行卷积运算处理，可以通过公式3进行表示：

I_out(x,y)＝(I_input*|F[A]|²)(x,y) (公式3)

其中，I_input(x,y)为原始图像(x，y)位置上的光强，I_out(x,y)为第一特征图像(x，y)位置上的光强。

可选地，4f光学系统组210可以由曲面反射镜组521和相位片412构成。

在实施中，曲面反射镜组521可以包括两个曲面反射镜或者多个曲面反射镜。当曲面反射镜组521包括多个曲面反射镜时，多个曲面反射镜中的一部分曲面反射镜构成焦距为f的第三光学镜组，多个曲面反射镜中的另一部分曲面反射镜构成焦距为f的第四光学镜组。

本申请中，第三光学镜组以及第四光学镜组实际中都可由多个曲面反射镜构成。这些曲面反射镜组合在一起，使得整个光学镜组的焦距为f。本申请对光学镜组中包含的曲面反射镜的数量不作限定。为了简单实现，图7所示的曲面反射镜组521中都只包括两个曲面反射镜，但实际中也可以通过多个曲面反射镜组成焦距为f的光学镜组来实现，具体实现方法本申请中不再赘述。

可选地，如图7所示，曲面反射镜组521包括第一曲面反射镜721和第二曲面反射镜722，第一曲面反射镜721和第二曲面反射镜722的曲面的中心点的连线垂直于相位片的表面，第一曲面反射镜721和相位片412之间的距离等于第一曲面反射镜721的焦距，第二曲面反射镜722和相位片412之间的距离等于第二曲面反射镜722的焦距，第一曲面反射镜721和第二曲面反射镜722的焦距为f。

在实施中，由图7可见，通过第一曲面反射镜721、第二曲面反射镜722和1个相位片412也可以构成4f光学系统组210。

可选地，当4f光学系统组210包括多个4f光学系统时，4f光学系统组可以包括第一4f光学系统和第二4f光学系统。

第一4f光学系统可以用于接收原始图像对应的原始光信号，将原始光信号转换为原始图像的第三特征图像对应的光信号。第二4f光学系统可以用于将第三特征图像对应的光信号转换为第一特征图像对应的光信号。

在实施中，如图8所示，当4f光学系统组210包括两个4f光学系统时，在4f光学系统组210的光路中，光线依次经过物面、透镜1、频谱面1、透镜2、像面/物面、透镜3、频谱面2、透镜4、像面，它们中相邻的两个物件之间的距离都是f。其中，频谱面可以由相位片412实现。

第一4f光学系统和第二4f光学系统可以通过串联的方式，将第二4f光学系统设置在第一4f光学系统之后。可以设置两个4f光学系统，可以认为原始图像对应的原始光信号经过第一4f光学系统和第二4f光学系统进行了两次卷积运算处理。

可选地，当4f光学系统组210包括多个4f光学系统时，第一特征图像可以包括第一子特征图像和第二子特征图像，4f光学系统组可以包括第三4f光学系统和第四4f光学系统。

第三4f光学系统可以用于接收原始图像对应的原始光信号，将原始光信号转换为第一子特征图像对应的光信号。第四4f光学系统可以用于接收原始光信号，将原始光信号转换为第二子特征图像对应的光信号。

在实施中，如图9所示，当4f光学系统组210包括两个4f光学系统时，在4f光学系统组210的光路中，光线依次经过物面1、透镜1、频谱面1、透镜2、像面1，同时光线还依次经过物面2、透镜3、频谱面2、透镜4、像面2，它们中相邻的两个物件之间的距离都是f。其中，频谱面可以由相位片412实现。

除了串联的方式之外，还可以通过并联的方式，将第三4f光学系统和第四4f光学系统进行平行设置。第三4f光学系统和第四4f光学系统可以同时分别接收原始图像对应的原始光信号，随后可以认为是分别对原始图像对应的原始光信号分别进行卷积运算处理，依次得到第一子特征图像和第二子特征图像，第一子特征图像和第二子特征图像组成第一特征图像。

通过设置2个4f光学系统，可以对原始图像对应的原始光信号进行两次卷积运算处理，再经过一次类ReLU处理之后，得到的第二特征图像更加难以恢复出原始图像，因此4f光学系统组210包括多个4f光学系统时，图像获取组件20为可信架构。

可选地，处理器21可以用于通过预先训练的神经网络模型，提取第二特征图像的图像特征，基于提取到的图像特征，确定原始图像和各预设图像分类之间的相似度；确定相似度最高的目标图像分类，作为原始图像对应的分类信息。

在实施中，在通过光电转换部件230对衰减后的光信号进行光电转换之后，可以得到原始图像的第二特征图像对应的电信号。处理器21和光电转换部件230电性连接，处理器21可以接收到原始图像的第二特征图像对应的电信号，因此处理器21可以获取到第二特征图像，此时第二特征图像为经过卷积运算处理、类ReLU运算处理的图像，也即第二特征图像为原始图像经过神经网络模型的卷积层(第1个网络层)之后得到的结果。处理器21可以获取到预先训练的神经网络模型，该神经网络模型包括除第1个网络层之外的网络层，用于在第二特征图像的基础上继续提取原始图像的图像特征，以最终能够输出分类信息。例如，如果原始图像包括背景图像和车辆图像，分类信息则用于指示当前的原始图像中包括车辆图像。

如图10所示，电子设备可以是监控器，可以捕捉车辆图像，车辆图像对应的原始光信号经过本申请实施例中的由4f光学系统组210、衰减片220和光电转换部件230组成的光计算模块时，可以认为对车辆图像进行神经网络模型的第1个网络层的处理，将处理后的图像对应的光信号进行光电转换，得到数字电信号。数字电信号输入到处理器21，由处理器21执行神经网络模型的第2个网络层(包括第2个网络层)之后的网络层的运算处理，最终可以输出车辆图像对应的分类信息。如图11所示，图10中的光计算模块可以包括4f光学系统组210、衰减片220和光电转换部件230。如图12所示，图10中的4f光学系统组210可以包括两个4f光学系统。

在分类识别应用场景中，可以使用卷积神经网络模型(Convolutional NeuralNetwork，CNN)对原始图像进行分类处理，可以通过光计算模块完成第1个网络层的运算处理，将第1个网络层的输出数据作为第2个网络层的输入数据，最终数据会经过全连接层，经过全连接层得到原始图像和预设图像分类之间的相似度。原始图像和预设图像分类之间的相似度可以是一个向量，向量包括多个数值，每个数值的取值范围为[0,1]。其中，如果任一数值取值为0，则原始图像不属于该数值对应的分类，如果任一数值取值为1，则原始图像属于该数值对应的分类。除了0和1之外的取值表示原始图像与某一数值对应的分类的接近程度。

本申请实施例中的神经网络模型包括两部分，第一部分由图像获取组件20实现，第二部分由电子设备中的处理器21实现。第一部分是神经网络模型中的前N个网络层，N可以为1或者2等，第二部分是神经网络模型中的后M个网络层，N和M的和值为神经网络模型包括的所有网络层的总数目。在实际使用本申请实施例中的神经网络模型之前，可以对未训练的神经网络模型进行训练，以得到训练后的神经网络模型。虽然使用神经网络模型时可以结合图像获取组件20和处理器21一起实现，但是在训练神经网络模型时，训练过程可以全部在处理器21中完成，其中包括对前N个网络层的训练也可以在处理器21中完成。下面将介绍训练神经网络模型的方式。

可以将第1个网络层中卷积运算处理过程中使用的卷积权重参数记为K_i(x,y)，其中i标识第i个卷积权重参数。在训练神经网络模型之前，可以设置卷积权重参数的属性：

(1)设置K_i(x,y)为非负数值。

由于光源为非相干光，因此光计算模块能够完成的是卷积权重参数为非负数值的卷积运算处理。

(2)将子卷积权重参数的尺寸设置为较大数值。

在本申请实施例中，可以将卷积神经网络模型中在光计算模块中进行运算的子卷积权重参数的尺寸设置为较大数值，比如51×51、101×101等。如图13所示，每个子卷积权重参数K_i的尺寸可以是51×51、101×101等，其中i为1至9之间的整数。在训练神经网络模型的过程中，可以对所有子卷积权重参数K_i进行训练，在训练完毕之后，可以将所有子卷积权重参数K_i按照一定的规则组合成一个卷积权重参数K，最后在实际使用神经网络模型时，可以使用卷积权重参数K对光信号进行卷积运算处理。但是在训练的过程中，每个子卷积权重参数K_i对应一个通道，这样可以得到多个通道上的K_i，在处理器中可以对多个通道上的K_i进行训练。

在使用神经网络模型时，由于是4f光学系统组210对原始图像的原始光信号进行卷积运算处理，4f光学系统组210可以平行完成多个卷积权重参数的卷积运算处理，因此即使是基于包含多个K_i的一个卷积权重参数K进行运算，实际中也相当于平行完成多个K_i的卷积运算处理，运算以光速完成，运算过程的能耗为零。

可以参照如下方式将所有子卷积权重参数K_i按照一定的规则组合成一个卷积权重参数K：

可以将多个子卷积权重参数间隔一定距离并平铺在同一个平面内，间隔的距离可以通过补0来实现。如图13所示，例如需要9个子卷积权重参数，可以按照3×3的方式对9个子卷积权重参数进行平铺，构成一个卷积权重参数K。以方形的子卷积权重参数为例，即子卷积权重参数的宽和高一致，则相邻的2个子卷积权重参数之间的距离(边界和边界之间的距离)大于输入图像的宽或者高。如果相邻的2个子卷积权重参数是水平放置的，则它们之间的距离大于输入图像的宽，如果相邻的2个子卷积权重参数之间是竖直放置的，则它们之间的距离大于输入图像的高。如果距离过近，则卷积运算处理后的图像会产生重叠。如果距离设计的合理，经过不同子卷积权重参数进行卷积运算处理后的不同特征图像可以清晰的区分开来。卷积权重参数的尺寸大于原始图像的尺寸。其中，卷积权重参数的尺寸可以是卷积权重参数包括的所有数值的数量，原始图像的尺寸可以是原始图像包括的所有像素点的数量。

可选地，卷积运算处理过程中的卷积权重参数是由相位片412的厚度、相位片412表面镀膜的氧化物膜组成分中的任一或者多个决定的。当通过相位片412的厚度、相位片412表面镀膜的氧化物膜组成分控制卷积运算处理过程中的卷积权重参数时，能够得到的精度更高。

在实施中，在通过处理器21完成全部训练过程之后，可以获得训练好的多个子卷积权重参数，可以按照前面所述的方式，将多个子卷积权重参数组合成一个卷积权重参数。在确定卷积权重参数之后，就可以通过工艺生产对初始相位片412进行加工，以使得相位片412的通透率和相位分布能够满足一定条件。

记卷积权重参数为K(x,y)，需要找到合适的相位片412的参数，使得满足下述公式4：

其中，

为相位片412上坐标为

处的透过率，

为相位片412上坐标为

处的相位。在训练过后可以获得K(x,y)，然后通过公式4反解相位片412各坐标位置处的透过率和相位。

为了控制相位片412能够达到上述计算出的

可以先对厚度统一的初始相位片412按照梯度进行分层，绘制每层的掩膜，然后按照分层对初始相位片412进行多次刻蚀，如图14所示，可以得到具有多个厚度梯度的相位片412。

为了控制相位片412能够达到上述计算出的

可以对具有多个厚度梯度的相位片412进行进一步镀膜。具体可以将氧化物沉积到相位片412(玻璃片)的表面，利用不同的氧化物膜组实现对对应波长的光信号的透过率的精确控制。

下面将介绍选取衰减片220的衰减系数的方式。

由于采用的光源为非相干光，因此光信号的光强总和大于或者等于0。如果使用参数大于0的ReLU函数，则对光信号的光强没有任何调制，进而可以根据实际场景需求，选用类ReLU作为非线性函数对光信号进行处理。类ReLU函数可以通过公式5进行表示：

当x＜c时，输出为c，当x≥c时，输出为x本身。

所有x＜c的输入都对应同一个输出即c，即信息发生丢失，不可恢复，因此类ReLU函数不存在逆运算。实际应用中可以将c设置为接近x的平均数的数值。其中，x的平均数为所有训练图像的平均数。

第一特征图像对应的光信号的光强为I_out(x,y)，衰减片220的衰减系数为p(0％＜p＜100％)，经过衰减片220之后光信号的光强变为I_out(x,y)×p。光电转换部件230有最低照度，也可以称为灵敏度，可以用I₀表示。当光信号中的某一信号分量的光强小于I₀时，光电转换部件230无法感应该信号分量。因此，光电转换部件230能够感应的信号分量为max(I₀,I_out×p)。在处理器21中，可以将数字电信号放大

倍，可以得到：

当光强

时，输出信号为

当

时，输出信号为I_out(x,y)。

其中，I₀为光电转换部件230最低照度，可以选择合适的衰减片220以获得合适的衰减参数。

例如，将光强最小值记为0，最大值记为1，即x的取值范围为[0,1]。通过对所有训练图像的光强进行平均，得到c。假设c≈0.5，且光电转换部件230的最低照度I₀＝0.1，则需要选择的衰减片220的衰减系数为20％，可以通过

进行计算。

若光电转换部件230在坐标(x，y)处测得光强I_out(x,y)，则可以保留此光强值，若没有测得光强，则可以使用最低照度I₀代替此坐标(x，y)处的光强值。在将测得的光强值进行存储之前，处理器21可以将测得的光强值扩大5倍，以抵消衰减片220对光强的衰减。

如果所有训练图像的光强的平均值不是0.5，而是0.3，则需要选择的衰减片220的衰减系数为33.3％，可以通过

进行计算。

同样的，在将测得的光强值进行存储之前，处理器21可以将测得的光强值扩大3倍，以抵消衰减片220对光强的衰减。

通过本申请实施例，即使被不法分子获取到光计算模块，但是由于难以测得相位片412的参数，难以通过相位片412的参数反推出卷积权重参数的实际值，所以最终难以通过第二特征图像反推出原始的原始图像。即使能够测得相位片412的参数，能够通过相位片412的参数反推出卷积权重参数的实际值，但是需要花费大量的时间，并且最终反推出来的数值都存在误差，也不是真实值。因此，本申请实施例提供的图像获取组件20为可信架构。其次，由于本申请实施例提供的图像获取组件20采用了4f光学系统组210对原始图像对应的光信号进行卷积运算处理，4f光学系统组210进行卷积运算处理的能耗为0并且速度极快，因此可以选择使用尺寸较大的卷积权重参数进行卷积运算，这样卷积层输出的特征图像包含的信息量更大，更利于后续对原始图像的识别，同时可以降低整个电子设备的功耗，提高运算处理的效率。此外，由于卷积权重参数的尺寸较大，即使相位片412的参数不慎泄露，不法分子也难以反推出卷积权重参数的实际值，所以最终难以通过第二特征图像反推出原始的原始图像。最后，由于在光计算模块中加入了类ReLU运算处理，类ReLU运算不可逆，因此理论上无法通过第二特征图像反推出原始的原始图像。

通过本申请实施例提供的图像获取组件20，可以对原始图像对应的原始光信号进行卷积运算处理以及衰减，得到衰减后的特征图像对应的光信号。后续处理器21可以继续对特征图像进行进一步的特征提取，以最终实现对原始图像的识别处理。在上述过程中，处理器21能够获取图像已经不是原始图像，而是特征图像，特征图像通过人眼已不可辨识，而通过特征图像反推原始图像的可能性是极低的甚至为零，因此即使特征图像被截获，也难以恢复出原始图像。进而，通过本申请实施例提供的图像获取组件20，具有高安场所的场所内部结构或者其他信息的原始图像难以被不法分子获知，最终可以大大提高高安场所的安全性。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (17)

1.一种图像获取组件，其特征在于，所述图像获取组件包括4f光学系统组和衰减片，所述4f光学系统组包括一个或多个4f光学系统，其中：

所述4f光学系统组，用于接收原始图像对应的原始光信号，将所述原始图像对应的原始光信号转换为所述原始图像的第一特征图像对应的光信号；

所述衰减片，用于对所述第一特征图像对应的光信号进行衰减，得到衰减后的光信号。

2.根据权利要求1所述的图像获取组件，其特征在于，所述4f光学系统组包括凸透镜组和相位片。

3.根据权利要求2所述的图像获取组件，其特征在于，所述凸透镜组包括多个凸透镜，所述多个凸透镜中的一部分凸透镜构成焦距为f的第一光学镜组，所述多个凸透镜中的另一部分凸透镜构成焦距为所述f的第二光学镜组。

4.根据权利要求2所述的图像获取组件，其特征在于，所述凸透镜组包括第一凸透镜和第二凸透镜，所述第一凸透镜的光轴垂直于所述相位片的表面，所述第二凸透镜的光轴垂直于所述相位片的表面，所述相位片设置在所述第一凸透镜和所述第二凸透镜之间的位置上，所述第一凸透镜和所述相位片之间的距离等于所述第一凸透镜的焦距，所述第二凸透镜和所述相位片之间的距离等于所述第二凸透镜的焦距，所述第一凸透镜和所述第二凸透镜的焦距为f。

5.根据权利要求1所述的图像获取组件，其特征在于，所述4f光学系统组包括曲面反射镜组和相位片。

6.根据权利要求5所述的图像获取组件，其特征在于，所述曲面反射镜组包括多个曲面反射镜，所述多个曲面反射镜中的一部分曲面反射镜构成焦距为f的第三光学镜组，所述多个曲面反射镜中的另一部分曲面反射镜构成焦距为所述f的第四光学镜组。

7.根据权利要求5所述的图像获取组件，其特征在于，所述曲面反射镜组包括第一曲面反射镜和第二曲面反射镜，所述第一曲面反射镜和所述第二曲面反射镜的曲面的中心点的连线垂直于所述相位片的表面，所述第一曲面反射镜的曲面的中心点和所述相位片之间的距离等于所述第一曲面反射镜的焦距，所述第二曲面反射镜的曲面的中心点和所述相位片之间的距离等于所述第二曲面反射镜的焦距，所述第一曲面反射镜和所述第二曲面反射镜的焦距为f。

8.根据权利要求2-7中任一项所述的图像获取组件，其特征在于，所述第一特征图像为卷积运算处理后的原始图像，所述卷积运算处理过程中的卷积权重参数是由所述相位片的厚度、所述相位片表面镀膜的氧化物膜组成分中的任一或者多个决定的。

9.根据权利要求8所述的图像获取组件，其特征在于，所述卷积权重参数的尺寸大于所述原始图像的尺寸；所述卷积权重参数的尺寸为所述卷积权重参数包括的所有数值的数量。

10.根据权利要求1所述的图像获取组件，其特征在于，所述4f光学系统组包括第一4f光学系统和第二4f光学系统，其中：

所述第一4f光学系统，用于接收原始图像对应的原始光信号，将所述原始光信号转换为所述原始图像的第三特征图像对应的光信号；

所述第二4f光学系统，用于将所述第三特征图像对应的光信号转换为所述第一特征图像对应的光信号。

11.根据权利要求1所述的图像获取组件，其特征在于，所述第一特征图像包括第一子特征图像和第二子特征图像，所述4f光学系统组包括第三4f光学系统和第四4f光学系统，其中：

所述第三4f光学系统，用于接收原始图像对应的原始光信号，将所述原始光信号转换为所述第一子特征图像对应的光信号；

所述第四4f光学系统，用于接收所述原始光信号，将所述原始光信号转换为所述第二子特征图像对应的光信号。

12.一种电子设备，其特征在于，所述电子设备包括光电转换部件和权利要求1-10中任一项所述的图像获取组件，其中：

所述光电转换部件，用于对所述衰减后的光信号进行光电转换，得到所述原始图像的第二特征图像对应的电信号。

13.根据权利要求12所述的电子设备，其特征在于，所述衰减片，用于对所述第一特征图像对应的光信号进行线性衰减，得到衰减后的光信号；

所述光电转换部件，用于将所述衰减后的光信号中光强大于或者等于预设光强阈值的信号分量，转换为所述第二特征图像对应的电信号。

14.根据权利要求13所述的电子设备，其特征在于，所述衰减后的光信号中光强小于所述预设光强阈值的信号分量不进行光电转换。

15.根据权利要求13所述的电子设备，其特征在于，所述衰减片，用于吸收所述第一特征图像对应的光信号中的光粒子，以对所述第一特征图像对应的光信号进行线性衰减，得到衰减后的光信号。

16.根据权利要求12所述的电子设备，其特征在于，所述电子设备还包括处理器，所述处理器和所述光电转换部件电性连接，其中：

所述处理器，用于根据所述第二特征图像对应的电信号以及预先训练的神经网络模型，确定所述原始图像对应的分类信息。

17.根据权利要求16所述的电子设备，其特征在于，所述处理器，用于：

通过所述预先训练的神经网络模型，提取所述第二特征图像的图像特征，基于提取到的图像特征，确定所述原始图像和各预设图像分类之间的相似度；

确定相似度最高的目标图像分类，作为所述原始图像对应的分类信息。

Images