CN116310719B - 基于时频域的光学衍射复数模型训练方法、图像处理方法 - Google Patents

基于时频域的光学衍射复数模型训练方法、图像处理方法 Download PDF

Info

Publication number
CN116310719B
CN116310719B CN202310187139.0A CN202310187139A CN116310719B CN 116310719 B CN116310719 B CN 116310719B CN 202310187139 A CN202310187139 A CN 202310187139A CN 116310719 B CN116310719 B CN 116310719B
Authority
CN
China
Prior art keywords
optical diffraction
layer
trained
light intensity
complex model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310187139.0A
Other languages
English (en)
Other versions
CN116310719A (zh
Inventor
尤洁
郑鑫
欧阳昊
陶梓隆
罗仪豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202310187139.0A priority Critical patent/CN116310719B/zh
Publication of CN116310719A publication Critical patent/CN116310719A/zh
Application granted granted Critical
Publication of CN116310719B publication Critical patent/CN116310719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于时频域的光学衍射复数模型训练方法、图像处理方法，通过获取待训练光学衍射复数模型和待训练图像，在待训练光学衍射复数模型为基于时域的情况下，待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在待训练光学衍射复数模型为基于频域的情况下，待训练光学衍射复数模型包括输入层、输出层、隐藏层、光学衍射层和傅里叶变换层，光学衍射层的层数不大于3，基于待训练图像和待训练光学衍射复数模型，得到待验证结果，基于差异调整待训练光学衍射复数模型的模型参数，得到光学衍射复数模型。光学衍射复数模型可以利用光的衍射实现以少层光学衍射层完成模拟全光过程中的对待处理图像的处理任务，能够降低复杂度和成本。

Description

基于时频域的光学衍射复数模型训练方法、图像处理方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于时频域的光学衍射复数模型训练方法、图像处理方法。
背景技术
随着近年来人工深度神经网络的飞跃发展，人工智能需要庞大的计算力支持，这就意味着对计算芯片的要求非常高，同时也将消耗更多的能源。特别对于图像处理任务，比如图像识别、显著性提取和边缘检测等任务，对于人工神经网络需要大量的内存和计算力。人类感受图像是通过光的传播，光的传播可以采用Maxwell(麦克斯韦)方程进行推导，利用光来做图像处理的任务显然是更高效直观的。
不同于传统人工神经网络，基于光电混合计算和Maxwell方程的衍射神经网络，利用光的衍射进行计算机人工神经网络中的卷积计算，利用光相位和振幅调制进行计算机人工神经网络中的隐藏层建立，只在衍射神经网络的输出端探测光强这一步采用电子计算机系统处理。这可以提高神经网络运行和计算的效率。
但是光在自由空间中的传播自由度较高，光学设计通常较为复杂。在实际能够使用衍射神经网络之前很难通过实验逐步调制几万甚至几十万个光调制单元，因此，一个模拟光学衍射神经网络的设计软件至关重要，利用该软件在实际制备衍射神经网络之前进行模型的建立和训练，可以为今后实际制备衍射神经网络提供便捷，代替实验的训练光调制单元的步骤。
目前，可以基于Maxwell方程组设计5层相位调制隐藏层的衍射神经网络。但是，采用这样的方式所使用的波段为太赫兹波段，用户实际生活中人眼不可感受。工作波长如果在可见光波段，那么衍射神经网络光调制单元的加工精度将大大提高，但是，采用3D打印的加工手段是目前制造工艺不可能实现的，需要使用空间光调制器作为光调制器件来实现。然而，过多的空间光调制器非常昂贵而且难于分别部署。
发明内容
本发明提供一种基于时频域的光学衍射复数模型训练方法、图像处理方法，用以解决现有技术中的缺陷。
本发明提供一种基于时频域的光学衍射复数模型训练方法，方法包括：
获取待训练光学衍射复数模型和待训练图像，其中，在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；
基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；
基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型，其中，所述样本标签为所述待训练图像对应的标签，所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果。
根据本发明提供的一种基于时频域的光学衍射复数模型训练方法，在所述待训练光学衍射复数模型包括所述隐藏层的情况下，所述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强；
通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式；
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层；
通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
根据本发明提供的一种基于时频域的光学衍射复数模型训练方法，在所述待训练光学衍射复数模型为基于频域的情况下，所述傅里叶变换层包括2层，一个所述傅里叶变换层位于所述输入层和第一隐藏层之间，另一个所述傅里叶变换层位于所述输出层和第二隐藏层之间，所述隐藏层包括所述第一隐藏层和所述第二隐藏层，所述第一隐藏层为与所述输入层距离最近的隐藏层，所述第二隐藏层为与所述输出层距离最近的隐藏层；
通过所述傅里叶变换层对接收到的光信号进行离散二维傅里叶变换。
根据本发明提供的一种基于时频域的光学衍射复数模型训练方法，所述通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层的输出光强的步骤，包括：
基于瑞利-索末菲衍射理论模拟不同衍射参数对应的光学衍射，并通过所述当前光学衍射层计算相邻层间光路的光传播系数，基于所述光传播系数以及所述探测区域对应的光强，计算本光学衍射层的输出光强，其中，所述衍射参数包括波长、衍射距离、狭缝形状中的至少一种。
根据本发明提供的一种基于时频域的光学衍射复数模型训练方法，所述光学衍射复数模型可以包括傅里叶透镜；
所述傅里叶透镜位于所述输入层和距离所述输入层最近的隐藏层之间；
所述傅里叶透镜用于对时域或频域的相位和振幅进行独立调制。
根据本发明提供的一种基于时频域的光学衍射复数模型训练方法，所述光学衍射复数模型采用反向传播算法进行训练；
所述光学衍射复数模型的效果与所述待训练光学衍射复数模型在时域或频域中调控、所述待训练光学衍射复数模型的层数、衍射光的波长、所述待训练光学衍射复数模型每一层神经元的数量、所述待训练光学衍射复数模型每一个神经元的物理大小和所述待训练光学衍射复数模型层与层之间的间距有关。
本发明还提供的一种图像处理方法，方法包括：
基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果；其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签。
本发明还提供一种基于时频域的光学衍射复数模型训练装置，装置包括：
获取模块，用于获取待训练光学衍射复数模型和待训练图像，其中，在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；
输入模块，用于基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；
调整模块，用于基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型，其中，所述样本标签为所述待训练图像对应的标签，所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果。
本发明还提供一种图像处理装置，装置包括：
处理模块，用于基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果；其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的方法的步骤。
本发明提供的一种基于时频域的光学衍射复数模型训练方法、图像处理方法，通过获取待训练光学衍射复数模型和待训练图像，其中，在待训练光学衍射复数模型为基于时域的情况下，待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在待训练光学衍射复数模型为基于频域的情况下，待训练光学衍射复数模型包括输入层、输出层、隐藏层、光学衍射层和傅里叶变换层，光学衍射层的层数不大于3，基于待训练图像和待训练光学衍射复数模型，得到待验证结果，其中，待训练光学衍射复数模型通过输入层接收待训练图像的光强，通过与输出层连接的层计算待处理光强，通过输出层基于待处理光强选取输出光强，并基于输出光强，输出待验证结果，基于待验证结果和预先获取的样本标签之间的差异，调整待训练光学衍射复数模型的模型参数，直到待训练光学衍射复数模型收敛，得到光学衍射复数模型，其中，样本标签为待训练图像对应的标签，光学衍射复数模型用于对待处理图像进行处理，得到已处理结果。
通过这样的方式，所训练出的光学衍射复数模型可以利用光的衍射实现以少层光学衍射层完成模拟全光过程中的对待处理图像进行处理的任务，能够降低复杂度和成本，方便了用户进行实验等操作。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于时频域的光学衍射复数模型训练方法的流程示意图之一；
图2是本发明提供的待训练光学衍射复数模型的结构示意图之一；
图3是本发明提供的待训练光学衍射复数模型的结构示意图之二；
图4是本发明提供的基于时频域的光学衍射复数模型训练方法的流程示意图之二；
图5是本发明提供的基于时频域的光学衍射复数模型训练方法的流程示意图之三；
图6是本发明提供的基于时频域的光学衍射复数模型训练方法的流程示意图之四；
图7是本发明提供的基于时频域的光学衍射复数模型训练装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于时频域的光学衍射复数模型训练方法、基于时频域的光学衍射复数模型训练装置、图像处理方法、图像处理装置、电子设备、非暂态计算机可读存储介质和计算机程序产品。下面结合图1、图2和图3对本发明实施例提供的一种基于时频域的光学衍射复数模型训练方法进行介绍。
如图1所示，本发明实施例提供了基于时频域的光学衍射复数模型训练方法，方法包括：
S101，获取待训练光学衍射复数模型和待训练图像。
其中，在待训练光学衍射复数模型为基于时域的情况下，待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层。在一种实施方式中，在光学衍射层仅包括1层的情况下，待训练光学衍射复数模型包括依次连接的输入层、光学衍射层和输出层。
在另一种实施方式中，在光学衍射层包括多层的情况下，待训练光学衍射复数模型可以包括输入层、输出层、光学衍射层和隐藏层。其中，光学衍射层的层数不大于3。
为了更加清楚理解本发明实施例提供的基于时频域的光学衍射复数模型训练方法，下面对本发明实施例涉及的基于时域的待训练光学衍射复数模型进行说明。
第一种情况，光学衍射层包括光学衍射层11和光学衍射层12，待训练光学衍射复数模型可以包括依次连接的输入层、光学衍射层11、隐藏层、光学衍射层12和输出层。也就是说，在光学衍射层包括2层的情况下，隐藏层包括1层。
第二种情况，光学衍射层包括光学衍射层21、光学衍射层22和光学衍射层23，隐藏层可以包括隐藏层21和隐藏层22。待训练光学衍射复数模型可以包括依次连接的输入层、光学衍射层21、隐藏层21、光学衍射层22、隐藏层22、光学衍射层23和输出层。也就是说，在光学衍射层包括3层的情况下，隐藏层包括2层。
例如，如图2所示，在待训练光学衍射复数模型为基于时域且光学衍射层包括3层的情况下，待训练光学衍射复数模型可以包括依次连接的输入层201、光学衍射层202、隐藏层203、光学衍射层204、隐藏层205、光学衍射层206和输出层207。
针对基于时域的待训练光学衍射复数模型，待训练光学衍射复数模型(也可以称为衍射复数神经网络)可以包括1层输入层、1层输出层，N层隐藏层以及N+1层光学衍射层。其中，N可以为0、1、2。
在待训练光学衍射复数模型为基于频域的情况下，待训练光学衍射复数模型包括输入层、输出层、隐藏层、光学衍射层和傅里叶变换层，光学衍射层的层数不大于3，傅里叶变换层包括2层。
为了更加清楚理解本发明实施例提供的基于时频域的光学衍射复数模型训练方法，下面对本发明实施例涉及的基于频域的待训练光学衍射复数模型进行说明。
第一种结构，光学衍射层仅包括1层，待训练光学衍射复数模型可以包括依次连接的输入层、傅里叶变换层11、隐藏层1、光学衍射层、隐藏层2、傅里叶变换层12和输出层。也就是说，在光学衍射层包括1层的情况下，隐藏层包括2层。
第二种结构，光学衍射层包括光学衍射层31和光学衍射层32，隐藏层可以包括隐藏层31、隐藏层32和隐藏层33。待训练光学衍射复数模型可以包括依次连接的输入层、傅里叶变换层11、隐藏层31、光学衍射层31、隐藏层32、光学衍射层32、隐藏层33、傅里叶变换层12和输出层。也就是说，在光学衍射层包括2层的情况下，隐藏层包括3层。
例如，如图3所示，在待训练光学衍射复数模型为基于频域且光学衍射层包括2层的情况下，待训练光学衍射复数模型可以包括依次连接的输入层301、傅里叶变换层302、隐藏层303、光学衍射层304、隐藏层305、光学衍射层306、隐藏层307、傅里叶变换层308和输出层309。
第三种结构，光学衍射层包括光学衍射层41、光学衍射层42和光学衍射层42，隐藏层可以包括隐藏层41、隐藏层42、隐藏层43和隐藏层44。待训练光学衍射复数模型可以包括依次连接的输入层、傅里叶变换层11、隐藏层41、光学衍射层41、隐藏层42、光学衍射层42、隐藏层43、光学衍射层43、隐藏层44、傅里叶变换层12和输出层。也就是说，在光学衍射层包括3层的情况下，隐藏层包括4层。
针对基于频域的待训练光学衍射复数模型，待训练光学衍射复数模型(也可以称为衍射复数神经网络)可以包括1层输入层、1层输出层，M层隐藏层以及M-1层光学衍射层。其中，M可以为2、3、4。
待训练光学衍射复数模型的初始参数对后续训练得到的光学衍射复数模型的功能和效果有影响，初始参数包括：1、待训练光学衍射复数模型(衍射复数神经网络)是在时域或频域中调控。2、待训练光学衍射复数模型的层数。3、衍射光的波长。4、待训练光学衍射复数模型每一层神经元的数量。5、待训练光学衍射复数模型每一个神经元的物理尺寸。6、待训练光学衍射复数模型层与层之间的间距。
具体来说，光学衍射复数模型的功能与待训练光学衍射复数模型在时域或频域中调控存在对应关系。在待训练光学衍射复数模型在时域中调控的情况下，待训练光学衍射复数模型的功能为图像识别。在待训练光学衍射复数模型在频域中调控的情况下，待训练光学衍射复数模型的功能为边缘提取和/或显著性提取。
待训练光学衍射复数模型的层数越多，待训练光学衍射复数模型的准确率越高。待训练光学衍射复数模型每一层神经元的数量越高，待训练光学衍射复数模型的准确率越高。待训练光学衍射复数模型每一个神经元的物理尺寸越大，待训练光学衍射复数模型的准确率越高。
待训练光学衍射复数模型层与层之间的间距越小，待训练光学衍射复数模型的准确率越高。在待训练光学衍射复数模型为软件的情况下，衍射光的波长对待训练光学衍射复数模型的准确率的影响可忽略不计。
在待训练光学衍射复数模型为硬件的情况下，衍射光的波长越长，穿透能力越弱，穿过待训练光学衍射复数模型中的各层的光强会下降。即衍射光的波长与待训练光学衍射复数模型的准确率反相关。
其中，初始参数即为在构建待训练光学衍射复数模型的情况下所需要的物理参数。对上述初始参数进行调节，可以获取到不同的待训练光学衍射复数模型。待训练图像可以包括多张。
S102，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果。
其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果。与输出层连接的层可以为光学衍射层或傅里叶变换层。
根据待训练光学衍射复数模型的类型的不同(也就是根据待训练光学衍射复数模型的工作模式的不同)，所能够执行的任务也不相同，基于时域的待训练光学衍射复数模型可以进行图像识别的任务。基于频域的待训练光学衍射复数模型可以进行显著性提取和/或边缘提取。
相应地，待训练光学衍射复数模型所执行的任务不同，所能够得到的待验证结果也不同，其中，待验证结果可以为待验证图像识别结果、待验证显著性结果、待验证边缘结果中的任意一种。
S103，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型。
其中，所述样本标签为所述待训练图像对应的标签。根据待训练光学衍射复数模型的类型的不同，用于训练的数据集也不相同，数据集中包括待训练图像以及待训练图像对应的标签。所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果。
例如，针对基于时域的待训练光学衍射复数模型，数据集可以为MNIST手写数字数据集，还可以为Fashion-MNIST物体识别数据集。针对基于频域的待训练光学衍射复数模型，在进行显著性提取的情况下，数据集可以为DUT-OMRON和MSRA10K等显著性提取数据集。在进行边缘提取的情况下，数据集可以为BSDS500边缘提取数据集。这都是合理的，在此不做具体限定。
模型参数可以包括1、批尺寸。2、每轮训练循环次数。3、训练轮次。4、初始学习率。5、学习率衰减。在调整待训练光学衍射复数模型的模型参数的情况下，可以调节上述模型参数中的至少一种。
在一种实施方式中，可以基于待验证结果和样本标签之间的差异计算损失函数的函数值，当函数值达到预设值的情况下，确定待训练光学衍射复数模型收敛，得到光学衍射复数模型。
在另一种实施方式中，在待训练光学衍射复数模型对应的数据集的迭代次数(每轮训练循环次数)达到预设次数后，可以认为待训练光学衍射复数模型收敛，得到光学衍射复数模型。
作为一种实施方式，可以采用反向传播(Back-propagation，BP)算法训练待训练光学衍射复数模型，在对待训练光学衍射复数模型进行优化的过程中，可以采用随机梯度下降算法或者Adam优化器进行优化。
可见，在本实施例中，所训练出的光学衍射复数模型可以利用光的衍射实现以少层光学衍射层完成模拟全光过程中的对待处理图像的处理任务，能够降低复杂度和成本，方便了用户进行实验等操作。
作为本发明实施例的一种实施方式，在上述待训练光学衍射复数模型包括隐藏层的情况下，上述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强。通过当前隐藏层接收当前光强对应的光信号，并基于所述当前光强对应的光信号，分割并选取探测区域，进而可以获取探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层。所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式。
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层的输出光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的输出光强的光学衍射层。通过所述输出层获取待处理光强，并采用预设选取方式，确定所述输出层的输出光强，并基于所述输出层的输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
在输入层接收到待训练图像对应的光强后，针对基于时域的待训练光学衍射复数模型，以上述第一种情况为例，也就是以待训练光学衍射复数模型可以包括依次连接的输入层、光学衍射层11、隐藏层、光学衍射层12和输出层的情况为例，对基于待训练图像和待训练光学衍射复数模型，得到待验证结果的过程进行说明。
针对基于时域的待训练光学衍射复数模型，预设处理方式为将待训练图像对应的光强的光信号输入至与输入层连接的光学衍射层11，光学衍射层11(此时的当前光学衍射层)可以计算与其相连的相邻层间光路的光传播系数11，进而基于光传播系数11和待训练图像对应的光强，获取本光学衍射层11的输出光强11。
其中，待训练图像对应的光强可以包括至少一个，具体的光强的数量与待训练图像自身有关，每个光强对应的待训练的图像的区域不同。例如，光强的数量可以为3个、5个、8个，这都是合理的，在此不做具体限定。相应地，输出光强11至少包括一个。
光学衍射层11可以将输出光强11对应的光信号输入至与光学衍射层11连接的隐藏层(此时的当前隐藏层)，隐藏层可以将输出光强11作为当前光强(也就是隐藏层的输入光强)。通过隐藏层接收当前光强对应的光信号，并基于当前光强对应的光信号，分割并选取探测区域，获取探测区域对应的光强，其中，探测区域对应的光强包括多个。
隐藏层预先设置有分割数量，具体可以根据用户的实际使用需求进行设置，例如，隐藏层对应的分割数量可以为4、9、16等，这都是合理的，在此不做具体限定。
隐藏层可以将探测区域对应光强的光信号输入至光学衍射层12，光学衍射层12(此时的当前光学衍射层)可以计算与其相连的相邻层间光路的光传播系数12，进而基于光传播系数和探测区域对应的光强，获取本光学衍射层12的输出光强12(待处理光强)，其中，输出光强12包括多个。
光学衍射层12可以将输出光强12输入至输出层，输出层便可以获取到待处理光强，输出层可以比较输出光强12包括的多个光强的大小，并将光强最大的待处理光强作为输出光强，进而可以基于输出光强，输出待验证结果，也就是将输出光强对应的区域的结果作为光学衍射复数模型对应的图像识别结果。
相应地，在光学衍射层包括1层的情况下，光学衍射层对应的光强即为待处理光强。在光学衍射层包括3层的情况下，与输出层连接的光学衍射层对应的光强即为待处理光强。输出层可以基于待处理光强获取输出光强，进而可以将输出光强对应的区域的结果作为光学衍射复数模型对应的图像识别结果。
在获取到待训练图像对应的光强后，针对基于频域的待训练光学衍射复数模型，以上述第一种情况为例，也就是以待训练光学衍射复数模型可以包括依次连接的输入层、傅里叶变换层11、隐藏层31、光学衍射层31、隐藏层32、光学衍射层32、隐藏层33、傅里叶变换层12和输出层的情况为例，对基于待训练图像和待训练光学衍射复数模型，得到待验证结果的过程进行说明。
针对基于频域的待训练光学衍射复数模型，预设处理方式可以为将待训练图像对应的光强的光信号输入至与输入层连接的傅里叶变换层11，傅里叶变换层11可以对时域展开后的光信号进行一次离散二维傅里叶变换。
傅里叶变换层11将离散二维傅里叶变换后的光信号输入至隐藏层31，隐藏层31(此时的当前隐藏层)可以将离散二维傅里叶变换后的光信号对应的光强作为当前光强。
通过隐藏层31接收当前光强对应的光信号(离散二维傅里叶变换后的光信号)，并基于当前光强对应的光信号，分割并选取探测区域31，获取探测区域31对应的光强，其中，探测区域32对应的光强包括多个。
隐藏层31可以将探测区域31对应光强的光信号输入至光学衍射层31(光学衍射层31为与隐藏层31距离最近，且未计算对应的光强的光学衍射层)，光学衍射层31(此时的当前光学衍射层)可以计算与其相连的相邻层间光路的光传播系数31，进而基于光传播系数31和探测区域31对应的光强，获取本光学衍射层31的输出光强31，其中，输出光强31包括多个。
光学衍射层31可以将输出光强31对应的光信号输入至与光学衍射31连接的隐藏层32(此时的当前隐藏层)，隐藏层32可以将输出光强31作为当前光强。
通过隐藏层32接收当前光强对应的光信号(输出光强31对应的光信号)，并基于当前光强对应的光信号，分割并选取探测区域32，获取探测区域32对应的光强，其中，探测区域32对应的光强包括多个。
隐藏层32可以将探测区域32对应光强的光信号输入至光学衍射层32(光学衍射层32为与隐藏层32距离最近，且未计算对应的光强的光学衍射层)，光学衍射层32(此时的当前光学衍射层)可以计算与其相连的相邻层间光路的光传播系数32，进而基于光传播系数32和探测区域32对应的光强，获取本光学衍射层32的输出光强32，其中，输出光强32包括多个。
光学衍射层32可以将输出光强32输入至与光学衍射32连接的隐藏层33(此时的当前隐藏层)，隐藏层33可以将输出光强32作为当前光强。
通过隐藏层33接收当前光强对应的光信号(输出光强32对应的光信号)，并基于当前光强对应的光信号，分割并选取探测区域33，获取探测区域33对应的光强，其中，探测区域33对应的光强包括多个。
隐藏层33可以将探测区域33对应光强的光信号输入至傅里叶变换层12，傅里叶变换层12可以对探测区域33对应光强的光信号进行一次离散二维傅里叶变换，并将再次离散二维傅里叶变换后的光信号输入至输出层。
输出层可以取光强后在中心取原图大小尺寸的图像，再进行一次中心旋转180°，得到待验证结果。待验证结果可以为待验证显著性结果和/或待验证边缘结果。
可见，在本实施例中，可以基于不同工作模式的待训练光学衍射复数模型和待训练对象，获取对应的待验证结果。从而能够完成对不同工作模式的待训练光学衍射复数模型的训练，所训练出的光学衍射复数模型可以利用光的衍射实现以少层光学衍射层完成模拟全光过程中的对待处理图像的处理任务，能够降低复杂度和成本，方便了用户进行实验等操作。
作为本发明实施例的一种实施方式，在所述待训练光学衍射复数模型为基于频域的情况下，傅里叶变换层包括2层。一个所述傅里叶变换层位于所述输入层和第一隐藏层之间，另一个所述傅里叶变换层位于所述输出层和第二隐藏层之间，所述隐藏层包括所述第一隐藏层和所述第二隐藏层，所述第一隐藏层为与所述输入层距离最近的隐藏层，所述第二隐藏层为与所述输出层距离最近的隐藏层；
通过所述傅里叶变换层对接收到的光信号进行离散二维傅里叶变换。
作为本发明实施例的一种实施方式，上述通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层的输出光强的步骤，可以包括：
基于瑞利-索末菲衍射理论模拟不同衍射参数对应的光学衍射，并通过所述当前光学衍射层计算相邻层间光路的光传播系数，基于所述光传播系数以及所述探测区域对应的光强，计算本光学衍射层的输出光强。
其中，光传播系数可以作为待训练光学衍射复数模型的卷积核以及网络基本元素。光传播系数可以表征光信号通过当前光学衍射层的通过率。所述衍射参数包括波长、衍射距离、狭缝形状中的至少一种。
可见，在本实施例中，可以基于瑞利-索末菲衍射理论，计算得到相邻隐藏层的光传播系数，从而能够获取到当前光学衍射层对应的待处理光强。
作为本发明实施例的一种实施方式，针对待训练光学衍射复数模型的每一层(除输入层和输出层)，可以将该层所有神经元的光传输系数与该层的下一层接收的神经元的投射系数作为单个神经元输出值，进而采用交叉熵损失函数或者BCE(BinaryCrossEntropy，二元交叉比)损失函数来更新隐藏层的梯度，从而获得非线性映射。
作为本发明实施例的一种实施方式，在对待训练光学衍射复数模型进行训练的过程中，可以独立优化相位和振幅值。也就是在接收到带训练图像的入射光场的情况下，可以对入射光场进行相位调制和振幅调制，从而可以实现波前调制。
在一种实施方式中，可以整合傅里叶透镜的作用，可以在时域或频域面内进行相位的独立调制和振幅的独立调制，最后通过特定区域的明亮程度决定图像分类或者图像处理结果。
其中，傅里叶透镜可以设置与输入层和距离输入层最近的隐藏层之间。傅里叶透镜的作用为入射光波经傅里叶透镜后在焦面上的光场分布相当于入射光的傅里叶变换。
作为本发明实施例的一种实施方式，还可以在待训练光学衍射复数模型的任意位置加入透镜和相位及振幅调制的光学器件，方便扩展应用于更多的用途。其中，不同位置对应的效果不一样。
作为本发明实施例的一种实施方式，上述获取待训练光学衍射复数模型和待训练图像的步骤，可以包括：
获取待训练光学衍射复数模型；根据待训练光学衍射复数模型的类型，确定对应的数据集，其中，所述数据集中包括待训练图像。
在获取到对应的数据集的情况下，可以对数据集中不同的待训练图像进行强度归一化处理，对待训练图像的分辨率进行调整，从而能够使数据集中的待训练图像适应不同的任务。
为了更加方便理解本发明实施例提供的基于时频域的光学衍射复数模型训练方法，下面结合具体的例子对本发明实施例提供的基于时频域的光学衍射复数模型训练方法进行介绍。
如图4所示，针对基于时域的待训练光学衍射复数模型，可以执行以下步骤：
S401，建立基于实空间和傅里叶空间的第一待训练光学衍射神经网络模型。
S402，对第一待训练光学衍射神经网络模型配置初始参数。
S403，基于MNIST手写数字数据集或Fashion-MNIST物体识别数据集，对第一待训练光学衍射神经网络模型的模型参数进行训练与优化，得到第一光学衍射神经网络模型。
S404，评估第一光学衍射神经网络模型对图像进行识别的正确率。
例如，本发明实施例可以在以下特定的测试环境进行测试，具体为中央处理器型号：Gold 6230CPU@2.1GHz x 2；系统内存：256GB；显卡型号：/>Tesla V100-PCIE-32GB x 2；操作系统：Windows Server 2012R2 Standard 64位；软件编译语言：Python；机器学习平台：Tensorflow。
在图像识别测试任务中，将MNIST手写数字数据集和Fashion-MNIST物体识别数据集包括的图像作为待测试图像，待测试图像共50000幅，大小为28×28，MNIST手写数字数据集包括数字0-数字9图像，颜色通道调整为8位灰度单通道，其中，35000幅图像为训练集，5000幅图像为验证集，10000幅图像为测试集。
针对训练集中的每张待训练图像，依次将每张待训练图像作为第一待训练光学衍射复数模型的输入。第一待训练光学衍射复数模型将一张图像作为整体输入，将网络的输出平面取光强后，再分割出一部分独立的探测区域，只探测比较不同区域内的区域总光强大小。最终得到的光强最大的区域对应的结果即可视为第一待训练光学衍射复数模型输出的图片识别结果，即待验证结果。
选取MNIST手写数字数据集和Fashion-MNIST物体识别数据集中的10000个样本(即测试集)，将其作为第一光学衍射复数模型的输入，分别载入已经训练优化完成的第一光学衍射复数模型中。提取第一光学衍射复数模型的输出后，得到待测试标签，并与测试集的样本标签进行比对。相同则为正确，不相同则为错误，最后计算其整体正确率。
第一光学衍射神经网络模型的光学衍射层的层数可以为1层、2层和3层。分别对1层、2层和3层的第一光学衍射神经网络模型对图像进行识别的正确率进行评估，1层的第一光学衍射神经网络模型对MNIST手写数字数据集中的图像进行识别的正确率为78.25％。1层的第一光学衍射神经网络模型对Fashion-MNIST物体识别数据集中的图像进行识别的正确率为76.19％。
2层的第一光学衍射神经网络模型对MNIST手写数字数据集中的图像进行识别的正确率为86.72％。2层的第一光学衍射神经网络模型对Fashion-MNIST物体识别数据集中的图像进行识别的正确率为85.49％。
3层的第一光学衍射神经网络模型对MNIST手写数字数据集中的图像进行识别的正确率为91.80％。3层的第一光学衍射神经网络模型对Fashion-MNIST物体识别数据集中的图像进行识别的正确率为91.09％。
可见，针对少层的第一光学衍射复数模型，光学衍射层的层数越高，对图像进行识别的准确率越高。
如图5所示，针对基于时域的待训练光学衍射复数模型以及针对显著性提取任务，可以执行以下步骤：
S501，建立基于实空间和傅里叶空间的第二待训练光学衍射神经网络模型。
S502，对第二待训练光学衍射神经网络模型配置初始参数。
S503，基于DUT-OMRON或MSRA10K，对第二待训练光学衍射神经网络模型的模型参数进行训练与优化，得到第二光学衍射神经网络模型。
S504，评估第二光学衍射神经网络模型对进行显著性提取任务的性能。
在一种实施方式中，可以通过计算第二光学衍射神经网络模型的F-measure，并通过F-measure表征第二光学衍射神经网络模型进行显著性提取任务的性能。
显著性提取任务的测试环境可以与图像识别任务的测试环境一致，在此不再赘述。
在显著性提取任务中，通过MSRA10K和DUT-OMRON包括的待训练图像进行训练和验证，待训练图像共50000幅，分辨率大小为33×33图像，原数据集颜色通道为RGB，将所有待训练图像灰度化后变为单通道图像，其中，35000幅图像为训练集，5000幅图像为验证集，10000幅图像为测试集。
通过仿真确定第二光学衍射神经网络模型中光学衍射层的层数是否不多于3层，在第二光学衍射神经网络模型中光学衍射层的层数不多于3层的情况下，同时测试MSRA10K和DUT-OMRON对应的第二光学衍射神经网络模型的F-measure。
例如，在第二光学衍射神经网络模型的光学衍射层的层数为2层的情况下，F-measure大于0.6。
如图6所示，针对基于时域的待训练光学衍射复数模型以及针对边缘提取任务，可以执行以下步骤：
S601，建立基于实空间和傅里叶空间的第三待训练光学衍射神经网络模型。
S602，对第三待训练光学衍射神经网络模型配置初始参数。
S603，基于BSDS500，对第三待训练光学衍射神经网络模型的模型参数进行训练与优化，得到第三光学衍射神经网络模型。
S604，评估第三光学衍射神经网络模型对进行边缘提取任务的性能。
在一种实施方式中，可以通过计算第二光学衍射神经网络模型的F-measure，并通过F-measure表征第二光学衍射神经网络模型进行边缘提取任务的性能。
边缘提取任务的测试环境可以与图像识别任务的测试环境一致，在此不再赘述。
在边缘提取任务中，采用BSDS500包括的待训练图像进行训练和验证，待训练图像共4000幅图像，各个待训练图像的原分辨率不定，将所有待训练图像的分辨率归一化为33×33图像，原数据集颜色通道为RGB，将所有待训练图像灰度化后变为单通道图像，其中，2500幅图像为训练集，500幅图像为验证集，1000幅图像为测试集。
通过仿真确定第三光学衍射神经网络模型中光学衍射层的层数是否不多于3层，在第三光学衍射神经网络模型中光学衍射层的层数不多于3层的情况下，测试BSDS500对应的第三光学衍射神经网络模型的F-measure。
例如，在第三光学衍射神经网络模型的光学衍射层的层数为1层的情况下，F-measure为0.604。
在一种实施方式中，针对显著性提取任务和边缘提取任务，可以将对应的数据集中的各个待训练图像作为待训练光学衍射复数模型(第二待训练光学衍射复数模型和第三待训练光学衍射复数模型)的输入，将待训练图片进行时域扩展之后进行一次离散二维傅里叶变换。将得到的频域信息，包括幅度和相位信息。经过最后一层隐藏层之后，再进行一次离散二维傅里叶变换，取光强后在中心取原图大小尺寸的图像，再进行一次中心旋转180°，将其作为网络的输出，即待验证结果。将待验证结果与对应数据集中的正确答案进行比较。
计算其准确率(Precison)和召回率(Recall)。准确率由正类判定为正类(TP)和负类判定为负类(FP)来决定，召回率由TP和正类判定为负类决定(FN)，从而得到F-measure。也就是说，F-measure可以采用公式(1)计算得到。
本申请实施例提供一种基于时频域的光学衍射复数模型训练方法，设计出一种面向物体识别的实空间和傅里叶空间调制的光学衍射复数模型，可以实现光学衍射复数模型的仿真和人工智能训练功能。在本实施例中，所训练出的光学衍射复数模型可以利用光的衍射实现以少层光学衍射层完成模拟全光过程中的图像识别、图像轮廓提取和显著性提取等任务，能够降低复杂度和成本，方便了用户进行实验等操作。
下面对本发明提供的图像处理方法进行描述，下文描述的图像处理方法与上文描述的基于时频域的光学衍射复数模型训练方法可相互对应参照。
本发明实施例提供了一种图像处理方法，方法包括：
基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果。
其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签。
作为本发明的一种实施方式，在上述基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果的步骤之前，所述方法还包括：
确定待处理图像对应的当前任务，并获取当前认为对应的模型，作为预先训练完毕的光学衍射复数模型。其中，当前任务可以为图像识别任务、显著性提取任务、边缘提取任务中的至少一种。
上述图像处理方法所采用的模型为基于上述基于时频域的光学衍射复数模型训练方法训练得到的模型，具体内容与上述基于时频域的光学衍射复数模型训练方法的步骤一致，在此不再赘述。
下面对本发明提供的基于时频域的光学衍射复数模型训练装置进行描述，下文描述的基于时频域的光学衍射复数模型训练装置与上文描述的基于时频域的光学衍射复数模型训练方法可相互对应参照。
如图7所示，本发明实施例提供了一种基于时频域的光学衍射复数模型训练装置，装置包括：
获取模块710，用于获取待训练光学衍射复数模型和待训练图像。
其中，在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；
输入模块720，用于基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果。
其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；
调整模块730，用于基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型。
其中，所述样本标签为所述待训练图像对应的标签，所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果。
作为本发明实施例的一种实施方式，在上述待训练光学衍射复数模型包括所述隐藏层的情况下，上述输入模块720可以包括：
获取单元，用于将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强。
分割单元，用于通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强。
其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式。
计算单元，用于通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强。
其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层。
输出单元，用于通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果。
其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
作为本发明实施例的一种实施方式，上述获取模块720在所述待训练光学衍射复数模型为基于频域的情况下，所述傅里叶变换层包括2层，一个所述傅里叶变换层位于所述输入层和第一隐藏层之间，另一个所述傅里叶变换层位于所述输出层和第二隐藏层之间，所述隐藏层包括所述第一隐藏层和所述第二隐藏层，所述第一隐藏层为与所述输入层距离最近的隐藏层，所述第二隐藏层为与所述输出层距离最近的隐藏层；
通过所述傅里叶变换层对接收到的光信号进行离散二维傅里叶变换。
作为本发明实施例的一种实施方式，计算单元具体用于基于瑞利-索末菲衍射理论模拟不同衍射参数对应的光学衍射，并通过所述当前光学衍射层计算相邻层间光路的光传播系数，基于所述光传播系数以及接收到的光信号，计算对应的光强。
其中，所述衍射参数包括波长、衍射距离、狭缝形状中的至少一种。
作为本发明实施例的一种实施方式，光学衍射复数模型可以包括傅里叶透镜；
所述傅里叶透镜位于所述输入层和距离所述输入层最近的隐藏层之间；
所述傅里叶透镜用于对时域或频域的相位和振幅进行独立调制。
作为本发明实施例的一种实施方式，所述光学衍射复数模型采用反向传播算法进行训练；
所述光学衍射复数模型的效果与所述待训练光学衍射复数模型在时域或频域中调控、所述待训练光学衍射复数模型的层数、衍射光的波长、所述待训练光学衍射复数模型每一层神经元的数量、所述待训练光学衍射复数模型每一个神经元的物理大小和所述待训练光学衍射复数模型层与层之间的间距有关。
下面对本发明提供的图像处理装置进行描述，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。
本发明实施例提供了一种图像处理装置，装置包括：
处理模块，用于基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果。
其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签。
作为本发明实施例的一种实施方式，上述装置还包括：
模型确定模块，用于在基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果之前，确定待处理图像对应的当前任务，并获取当前认为对应的模型，作为预先训练完毕的光学衍射复数模型。
其中，当前任务可以为图像识别任务、显著性提取任务、边缘提取任务中的至少一种。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述基于时频域的光学衍射复数模型训练方法或图像处理方法。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于时频域的光学衍射复数模型训练方法或图像处理方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于时频域的光学衍射复数模型训练方法或图像处理方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于时频域的光学衍射复数模型训练方法，其特征在于，所述方法包括：
获取待训练光学衍射复数模型和待训练图像，其中，在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；
基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；
基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型，其中，所述样本标签为所述待训练图像对应的标签，所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果；
在所述待训练光学衍射复数模型包括所述隐藏层的情况下，所述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强；
通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式；
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层；
通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
2.根据权利要求1所述的基于时频域的光学衍射复数模型训练方法，其特征在于，在所述待训练光学衍射复数模型为基于频域的情况下，所述傅里叶变换层包括2层，一个所述傅里叶变换层位于所述输入层和第一隐藏层之间，另一个所述傅里叶变换层位于所述输出层和第二隐藏层之间，所述隐藏层包括所述第一隐藏层和所述第二隐藏层，所述第一隐藏层为与所述输入层距离最近的隐藏层，所述第二隐藏层为与所述输出层距离最近的隐藏层；
通过所述傅里叶变换层对接收到的光信号进行离散二维傅里叶变换。
3.根据权利要求1所述的基于时频域的光学衍射复数模型训练方法，其特征在于，所述通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层的输出光强的步骤，包括：
基于瑞利-索末菲衍射理论模拟不同衍射参数对应的光学衍射，并通过所述当前光学衍射层计算相邻层间光路的光传播系数，基于所述光传播系数以及所述探测区域对应的光强，计算本光学衍射层的输出光强，其中，所述衍射参数包括波长、衍射距离、狭缝形状中的至少一种。
4.根据权利要求1所述的基于时频域的光学衍射复数模型训练方法，其特征在于，所述光学衍射复数模型可以包括傅里叶透镜；
所述傅里叶透镜位于所述输入层和距离所述输入层最近的隐藏层之间；
所述傅里叶透镜用于对时域或频域的相位和振幅进行独立调制。
5.根据权利要求1所述的基于时频域的光学衍射复数模型训练方法，其特征在于，所述光学衍射复数模型采用反向传播算法进行训练；
所述光学衍射复数模型的功能与所述待训练光学衍射复数模型在时域或频域中调控存在对应关系，所述光学衍射复数模型的效果与所述待训练光学衍射复数模型的层数、所述待训练光学衍射复数模型每一层神经元的数量、所述待训练光学衍射复数模型每一个神经元的物理尺寸正相关，与所述待训练光学衍射复数模型层与层之间的间距反相关。
6.一种图像处理方法，其特征在于，所述方法包括：
基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果；其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签；
在所述待训练光学衍射复数模型包括所述隐藏层的情况下，所述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强；
通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式；
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层；
通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
7.一种基于时频域的光学衍射复数模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取待训练光学衍射复数模型和待训练图像，其中，在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；
输入模块，用于基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，其中，所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；
调整模块，用于基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型，其中，所述样本标签为所述待训练图像对应的标签，所述光学衍射复数模型用于对待处理图像进行处理，得到已处理结果；
在所述待训练光学衍射复数模型包括所述隐藏层的情况下，所述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强；
通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式；
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层；
通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
8.一种图像处理装置，其特征在于，所述装置包括：
处理模块，用于基于预先训练完毕的光学衍射复数模型对待处理图像进行处理，得到已处理结果；其中，所述光学衍射复数模型的训练过程为获取待训练光学衍射复数模型和待训练图像，基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果，基于所述待验证结果和预先获取的样本标签之间的差异，调整所述待训练光学衍射复数模型的模型参数，直到所述待训练光学衍射复数模型收敛，得到光学衍射复数模型；
在所述待训练光学衍射复数模型为基于时域的情况下，所述待训练光学衍射复数模型至少包括输入层、输出层和光学衍射层；在所述待训练光学衍射复数模型为基于频域的情况下，所述待训练光学衍射复数模型包括所述输入层、所述输出层、隐藏层、所述光学衍射层和傅里叶变换层，所述光学衍射层的层数不大于3；所述待训练光学衍射复数模型通过所述输入层接收所述待训练图像的光强，通过与所述输出层连接的层计算待处理光强，通过所述输出层基于所述待处理光强选取输出光强，并基于所述输出光强，输出所述待验证结果；所述样本标签为所述待训练图像对应的标签；
在所述待训练光学衍射复数模型包括所述隐藏层的情况下，所述基于所述待训练图像和所述待训练光学衍射复数模型，得到待验证结果的步骤，可以包括：
将所述待训练图像输入至所述待训练光学衍射复数模型，通过所述输入层接收所述待训练图像对应的光强；
通过当前隐藏层接收当前光强对应的光信号，基于所述当前光强对应的光信号，分割并选取探测区域，获取所述探测区域对应的光强，其中，所述当前隐藏层为与所述输入层距离最近，且未分割未选取探测区域的隐藏层；所述当前光强为按照预设处理方式对所述待训练图像的光强进行处理后得到的光强，预设处理方式为与所述光学衍射复数模型的类型对应的方式；
通过当前光学衍射层计算本当前光学衍射层对应的光传播系数，基于所述光传播系数和所述探测区域对应的光强，获取本光学衍射层对应的光强，其中，所述当前光学衍射层为与所述当前隐藏层距离最近，且未计算对应的光强的光学衍射层；
通过所述输出层获取待处理光强，并采用预设选取方式，确定输出光强，并基于所述输出光强，输出待验证结果，其中，所述待处理光强为与所述输出层距离最近的层的输出光强。
9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6所述的方法的步骤。
CN202310187139.0A 2023-02-10 2023-02-10 基于时频域的光学衍射复数模型训练方法、图像处理方法 Active CN116310719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310187139.0A CN116310719B (zh) 2023-02-10 2023-02-10 基于时频域的光学衍射复数模型训练方法、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310187139.0A CN116310719B (zh) 2023-02-10 2023-02-10 基于时频域的光学衍射复数模型训练方法、图像处理方法

Publications (2)

Publication Number Publication Date
CN116310719A CN116310719A (zh) 2023-06-23
CN116310719B true CN116310719B (zh) 2024-04-19

Family

ID=86829905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310187139.0A Active CN116310719B (zh) 2023-02-10 2023-02-10 基于时频域的光学衍射复数模型训练方法、图像处理方法

Country Status (1)

Country Link
CN (1) CN116310719B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
CN110334804A (zh) * 2019-06-20 2019-10-15 清华大学 基于空间部分相干光的全光深度衍射神经网络系统及方法
CN110347017A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种基于光学衍射的套刻误差提取方法
CN110376135A (zh) * 2019-08-08 2019-10-25 中国人民解放军军事科学院国防科技创新研究院 一种太赫兹超分辨显微成像系统
CN110929864A (zh) * 2019-12-05 2020-03-27 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN111709867A (zh) * 2020-06-10 2020-09-25 四川大学 基于新型全卷积网络的等模矢量分解图像加密分析方法
CN112767242A (zh) * 2020-12-09 2021-05-07 佛山职业技术学院 一种基于频域去卷积的图像处理方法、装置及电子设备
CN113113289A (zh) * 2021-03-31 2021-07-13 北京理工大学 一种远/近场协同整形飞秒激光制备可控硅纳米线的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
CN110334804A (zh) * 2019-06-20 2019-10-15 清华大学 基于空间部分相干光的全光深度衍射神经网络系统及方法
CN110347017A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种基于光学衍射的套刻误差提取方法
CN110376135A (zh) * 2019-08-08 2019-10-25 中国人民解放军军事科学院国防科技创新研究院 一种太赫兹超分辨显微成像系统
CN110929864A (zh) * 2019-12-05 2020-03-27 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN111709867A (zh) * 2020-06-10 2020-09-25 四川大学 基于新型全卷积网络的等模矢量分解图像加密分析方法
CN112767242A (zh) * 2020-12-09 2021-05-07 佛山职业技术学院 一种基于频域去卷积的图像处理方法、装置及电子设备
CN113113289A (zh) * 2021-03-31 2021-07-13 北京理工大学 一种远/近场协同整形飞秒激光制备可控硅纳米线的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"All-Optical Machine Learning Using Diffractive Deep Neural Networks";Lin X等;《Science》;20180630;第361卷;第1004-1008页 *
"Fourier-space Diffractive Deep Neural Network";Tao Yan等;《Physical Review Letters》;20190731;第2卷(第123期);第1-6页 *

Also Published As

Publication number Publication date
CN116310719A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10628705B2 (en) Combining convolution and deconvolution for object detection
CN111680721B (zh) 利用硬性注意力的准确且可解释的分类
KR102545128B1 (ko) 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
Kanungo et al. Detecting diabetic retinopathy using deep learning
US20180285679A1 (en) Systems and methods for improved image textures
AU2017230184A1 (en) Structure learning in convolutional neural networks
Cessac et al. PRANAS: a new platform for retinal analysis and simulation
US10534994B1 (en) System and method for hyper-parameter analysis for multi-layer computational structures
KR20200072588A (ko) Cnn기반의 딥러닝 모델 학습장치 및 그 방법
Dold et al. Stochasticity from function—why the bayesian brain may need no noise
Brenner et al. Tractable dendritic RNNs for reconstructing nonlinear dynamical systems
CN108985442B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
Pichel et al. A new approach for sparse matrix classification based on deep learning techniques
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
Gowdra Entropy-based optimization strategies for convolutional neural networks
Regazzoni et al. A physics-informed multi-fidelity approach for the estimation of differential equations parameters in low-data or large-noise regimes
Wang et al. Modeling mask uncertainty in hyperspectral image reconstruction
CN116310719B (zh) 基于时频域的光学衍射复数模型训练方法、图像处理方法
Henderson et al. Analyzing chest X-ray to detect the evidence of lung abnormality due to infectious disease
Reddy et al. Effect of image colourspace on performance of convolution neural networks
CN110210574A (zh) 合成孔径雷达图像解译方法、目标识别装置及设备
US20220343134A1 (en) Convolutional neural network architectures based on synaptic connectivity
Swaney et al. Efficient skin segmentation via neural networks: HP-ELM and BD-SOM
Mutch et al. Invariant recognition predicts tuning of neurons in sensory cortex
Poggio et al. Does invariant recognition predict tuning of neurons in sensory cortex?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant