CN110309916B - 多级空频域调制非线性全光学深度学习系统及方法 - Google Patents

多级空频域调制非线性全光学深度学习系统及方法 Download PDF

Info

Publication number
CN110309916B
CN110309916B CN201910487242.0A CN201910487242A CN110309916B CN 110309916 B CN110309916 B CN 110309916B CN 201910487242 A CN201910487242 A CN 201910487242A CN 110309916 B CN110309916 B CN 110309916B
Authority
CN
China
Prior art keywords
frequency domain
optical
nonlinear
modulation
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910487242.0A
Other languages
English (en)
Other versions
CN110309916A (zh
Inventor
戴琼海
严涛
吴嘉敏
林星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910487242.0A priority Critical patent/CN110309916B/zh
Publication of CN110309916A publication Critical patent/CN110309916A/zh
Priority to US16/893,071 priority patent/US11600060B2/en
Application granted granted Critical
Publication of CN110309916B publication Critical patent/CN110309916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

本发明公开了一种多级空频域调制非线性全光学深度学习系统及方法，其中，该系统包括：光学输入模块、多级空频域调制模块和信息采集模块；光学输入模块，用于将输入信号转化为光学信息；多级空频域调制模块，由多个频域调制模块和多个空域调制模块交替级联构成，用于对光学输入模块产生的光学信息进行多级空频域调制；信息采集模块，由透镜和传感器组成，用于接收多级空频域调制模块的输出信号，利用透镜将输出信号变换到傅里叶面或像面并通过传感器进行采集，生成信息处理结果。该系统提升全光学深度学习的性能，使得全光学深度学习模型更好地完成更加复杂的机器学习任务，尤其是能够完成复杂的非线性计算任务。

Description

多级空频域调制非线性全光学深度学习系统及方法
技术领域
本发明涉及光电计算和机器学习技术领域，特别涉及一种多级空频域调制非线性全光学深度学习系统及方法。
背景技术
深度学习是增长最快的机器学习方法之一。该方法使用在计算机中实现的多层人工神经网络，以数字方式学习数据中的信息，并且能够以和人类相当甚至更优的性能执行高级任务。最近，深度学习已经在机器学习领域取得重大进展的例子包括医学图像分析、语音识别、图像分类等等。
目前，有一种全光学衍射深度神经网络，使用无源光学元件进行全光学机器学习。该架构可以通过深度学习设计类似于人工神经网络的衍射光学元件的堆叠层，可以通过3D打印进行图案化和制造，实现了手写数字、时尚产品图像分类等功能。该架构可以以光速执行基于神经网络的一些功能，创建了一种有效、快速的实现机器学习任务的方式。
在全光学人工神经网络中完成机器学习任务是很有前景的，因为它在并行计算能力和功率、效率方面有明显优势。全光学衍射深度神经网络提供了一种以光速使用无源元件实现衍射操作，有效的、独特的全光学机器学习模型，它的一个重要优势是能够通过使用各种高吞吐量、大面积的3D制造方法和宽视场的光学元件、检测系统来轻松扩展，能够经济高效地以可扩展、低功耗的方式实现数以亿计的神经元和数以十亿计的连接，而且具有实现各种复杂应用的潜力。但是上述全光学衍射深度神经网络仅通过衍射层的堆叠在空域内进行调制以执行特定功能，能够完成的任务复杂程度、表现出的性能都比较有限。尤其在对非线性要求较高的任务中，表现出较大的局限性。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种多级空频域调制非线性全光学深度学习系统，该系统提升全光学深度学习的性能，使得全光学深度学习模型更好地完成更加复杂的机器学习任务，能够完成复杂的非线性计算任务。
本发明的另一个目的在于提出一种多级空频域调制非线性全光学深度学习方法。
为达到上述目的，本发明一方面实施例提出了一种多级空频域调制非线性全光学深度学习系统，包括：
光学输入模块、多级空频域调制模块和信息采集模块；
所述光学输入模块，用于将输入信号转化为光学信息；
所述多级空频域调制模块，由多个频域调制模块和多个空域调制模块交替级联构成，用于对所述光学输入模块产生的光学信息进行多级空频域调制；
所述信息采集模块，由透镜和传感器组成，用于接收所述多级空频域调制模块的输出信号，利用透镜将所述输出信号变换到傅里叶面或像面并通过所述传感器进行采集，生成信息处理结果。
本发明实施例的多级空频域调制非线性全光学深度学习系统，通过以光速使用光学元件，执行基于神经网络的一些功能，创建了一种有效、快速的实现机器学习任务的方式；能够通过使用各种高吞吐量、大面积的3D制造方法和宽视场的光学元件、检测系统来轻松扩展；能够经济高效地以可扩展、低功耗的方式实现大规模神经网络，具有实现各种复杂应用的潜力。
另外，根据本发明上述实施例的多级空频域调制非线性全光学深度学习系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述光学输入模块由光源和3D打印的输入物体组成，利用光源均匀照射所述输入物体，将所述输入物体的信息转化为透射光的光学信息。
进一步地，在本发明的一个实施例中，所述频域调制模块包括：透镜、相位调制层和非线性相位调制层；
透镜，用于将光学信息变换到傅里叶空间；
相位调制层，用于对傅里叶空间的光学信息进行相位调制；
非线性相位调制层，用于非线性光学信息处理。
进一步地，在本发明的一个实施例中，所述空域调制模块包括：透镜、相位调制层和非线性相位调制层；
透镜，用于将光学信息变换到空域；
相位调制层，用于对空域的光学信息进行相位调制；
非线性相位调制层，用于非线性光学信息处理。
进一步地，在本发明的一个实施例中，所述频域调制模块和所述空域调制模块的相位调制层使用3D打印或光刻技术进行制造，通过深度学习方法对相位调制层的参数进行优化。
进一步地，在本发明的一个实施例中，所述频域调制模块和所述空域调制模块的非线性相位调制层为SBN光折变晶体，利用所述SBN光折变晶体的电光效应和光折变效应对光学信息进行非线性调制。
进一步地，在本发明的一个实施例中，在外电场和光的作用下，所述SBN光折变晶体的晶体折射率变化为：
Figure GDA0003122232330000031
其中，n0是晶体原始折射率，r33是晶体的电光系数，I0是背景光强，E是加在晶体两端的电场强度，I是晶体表面在空间均匀背景强度之上的光强扰动。
为达到上述目的，本发明另一方面实施例提出了一种多级空频域调制非线性全光学深度学习方法，包括：
建立光学元件的数值仿真模型，获取训练集和测试集，根据所述训练集和所述测试集，通过深度学习、误差反向传播算法对所述数值仿真模型进行训练，在训练过程中优化多级空频域调制非线性全光学深度学习系统的结构，并调整所述多级空频域调制非线性全光学深度学习系统的相位调制层的参数；
利用3D打印或光刻技术进行物理制造得到输入物体，搭建实际的多级空频域调制非线性全光学深度学习系统，利用搭建的多级空频域调制非线性全光学深度学习系统执行目标任务。
本发明实施例的多级空频域调制非线性全光学深度学习方法，通过以光速使用光学元件，执行基于神经网络的一些功能，创建了一种有效、快速的实现机器学习任务的方式；能够通过使用各种高吞吐量、大面积的3D制造方法和宽视场的光学元件、检测系统来轻松扩展；能够经济高效地以可扩展、低功耗的方式实现大规模神经网络，具有实现各种复杂应用的潜力。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的多级空频域调制非线性全光学深度学习系统的结构框图；
图2为根据本发明一个实施例的三级空频域调制非线性全光学深度学习系统的结构示意图；
图3为根据本发明实施例的相位调制层与非线性调制层的组合方法示意图；
图4为根据本发明一个实施例的只使用频域调制模块的非线性全光学深度学习系统的结构框图；
图5为根据本发明一个实施例的只使用空域调制模块的非线性全光学深度学习系统的结构框图；
图6为根据本发明一个实施例的使用多级空频域调制模块级联的非线性全光学深度学习系统的结构框图；
图7为根据本发明一个实施例的实现机器学习功能的方法流程图；
图8为根据本发明实施例的实现手写数字图像分类功能的仿真效果图；
图9为根据本发明一个实施例的实现宏观场景图像显著性检测功能的仿真效果图；
图10为根据本发明一个实施例的实现微观细胞病理切片图像显著性检测功能的仿真效果图；
图11为根据本发明一个实施例的多级空频域调制非线性全光学深度学习方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了解决现有的在全光学人工神经网络中完成机器学习任务的局限性，本发明的基于光折变晶体的多级空频域调制非线性全光学深度学习模型，结合许多计算在傅里叶空间进行更加简洁的特点，利用透镜的傅里叶变换性质，在空域、频域交替对光学信息进行调制；并且利用光折变晶体等非线性光学器件，加入非线性调制层，使得模型能够完成更加复杂的信息处理任务。
下面参照附图描述根据本发明实施例提出的多级空频域调制非线性全光学深度学习系统及方法。
首先将参照附图描述根据本发明实施例提出的多级空频域调制非线性全光学深度学习系统。
图1为根据本发明一个实施例的多级空频域调制非线性全光学深度学习系统的结构框图。
如图1所示，该多级空频域调制非线性全光学深度学习系统包括：
光学输入模块100、多级空频域调制模块200和信息采集模块300。
其中，光学输入模块，用于将输入信号转化为光学信息。
多级空频域调制模块，由多个频域调制模块和多个空域调制模块交替级联构成，用于对光学输入模块产生的光学信息进行多级空频域调制。
信息采集模块，由透镜和传感器组成，用于接收多级空频域调制模块的输出信号，利用透镜将输出信号变换到傅里叶面或像面并通过传感器进行采集，生成信息处理结果。
该系统旨在提升全光学深度学习的性能，使得全光学深度学习模型更好地完成更加复杂的机器学习任务，尤其是能够完成复杂的非线性计算任务。
进一步地，光学输入模块100包括光源110和输入物体120，其中，输入物体120可以为通过3D打印的输入物体，利用光源均匀照射输入物体，将输入物体的信息转化为透射光的光学信息。
多级空频域调制模块200包括多个级联的频域调制模块210和空域调制模块220；多级空频域调制模块200用于对光学输入模块产生的光学信息进行多级空频域调制，单个调制模块中，利用透镜进行傅里叶变换，利用物理制造的多层调制层进行相位调制，利用晶体的电光效应和光折变效应，加入非线性调制层，以实现复杂的信息处理功能。
进一步地，频域调制模块和空域调制模块的相位调制层使用3D打印或光刻技术进行制造，通过深度学习方法对相位调制层的参数进行优化。
进一步地，频域调制模块和空域调制模块的非线性相位调制层为SBN光折变晶体，利用SBN光折变晶体的电光效应和光折变效应对光学信息进行非线性调制。
其中，在外电场和光的作用下，SBN光折变晶体的晶体折射率变化为：
Figure GDA0003122232330000051
其中，n0是晶体原始折射率，r33是晶体的电光系数，I0是背景光强，E是加在晶体两端的电场强度，I是晶体表面在空间均匀背景强度之上的光强扰动。
信息采集模块300包括透镜310和传感器320。
具体地，光学输入模块100通过光源110均匀照射输入物体120，将3D打印的图像信息转化成透射光的光学信息。多级空频域调制模块200的频域调制模块210在傅里叶空间对光学信息进行调制，空域调制模块220在空域对光学信息进行调制，交替的、级联的多个频域调制模块210和空域调制模块220实现了对光学信息的多级空频域调制。信息采集模块300的透镜310对多级空频域调制后的光学信息进行傅里叶变换，传感器320在透镜310的后焦面采集经过整个系统处理过后的光学信息。
进一步地，在本发明的一个实施例中，频域调制模块210包括透镜211、一个或多个堆叠的相位调制层212和一个非线性调制层213。透镜211对前级空域的光学信息进行傅里叶变换，即用于将光学信息变换到傅里叶空间；一个或多个堆叠的相位调制层212在傅里叶空间对光学信息进行调制；非线性调制层213利用晶体的电光效应和光折变效应，实现对光学信息的非线性调制，即用于非线性光学信息处理。
进一步地，在本发明的一个实施例中，空域调制模块220包括透镜221、一个或多个堆叠的相位调制层222和一个非线性调制层223。透镜221将前级傅里叶空间的光学信息变换到空域，即用于将光学信息变换到空域；一个或多个堆叠的相位调制层222在空域对光学信息进行调制；非线性调制层223利用晶体的电光效应和光折变效应，实现对光学信息的非线性调制，即用于非线性光学信息处理。
需要说明的是，频域调制模块210和空域调制模块220的非线性相位调制层使用SBN或类似的光学元件，利用晶体的电光效应和光折变效应实现光学信息的非线性调制。
进一步地，各个模块和透镜需要放置在合适的位置上，相位调制层、非线性相位调制层、传感器需要在像面或傅里叶面。
进一步地，多级空频域调制模块200包括多个级联的频域调制模块210和空域调制模块220。根据光在系统中的传播过程，第奇数个调制模块为频域调制模块210，第偶数个调制模块为空域调制模块220。具体地，图2展示了多级空频域调制模块中包括三个调制模块的一个模型示例。第一、三个模块是频域调制模块210，第二个模块是空域调制模块220。
进一步地，如果多级空频域调制模块200中总的调制模块个数为奇数，则多级空频域调制模块200的最后一级是频域调制模块210，信息采集模块300的透镜310将多级空频域调制模块200调制后的傅里叶空间的光学信息变换到空域，供传感器320采集；如果多级空频域调制模块200中总的调制模块个数为偶数，则多级空频域调制模块200的最后一级是空域调制模块220，信息采集模块300的透镜310将多级空频域调制模块200调制后的空域的光学信息变换到傅里叶空间，供传感器320采集。具体地，图2展示了多级空频域调制模块中包括三个调制模块的一个模型示例，传感器320采集的是空域的光学信息。
进一步地，在本发明的一个实施例中，根据系统各模块的傅里叶变换关系，输入物体120应该在多级空频域调制模块200的第一个调制模块(频域调制模块)210的透镜211的前焦面处；多级空频域调制模块200中，相位调制层212(222)和非线性调制层213(223)的空间距离应该很近，且在前级透镜211(221)的后焦面附近，在后级透镜221(211)的前焦面附近；多级空频域调制模块200的最后一个调制模块的相位调制层212(222)和非线性调制层213(223)的空间距离应该很近，且在信息采集模块300的透镜310的前焦面附件；信息采集模块300的传感器320应该在透镜310的后焦面处。
本发明实施例提出的基于光折变晶体的多级空频域调制非线性全光学深度学习系统，在手写数字图像分类、图像拉普拉斯运算、图像显著性检测等多个实验中都表现出比原始的全光学衍射深度神经网络更好的性能，验证了它在复杂运算、非线性任务上的巨大优势。
综上，通过具体实施例详细介绍本发明的基于光折变晶体的多级空频域调制非线性全光学深度学习系统的建立过程。
a)建立光学系统数值仿真模型。
设定光源波长，以待处理的图像的归一化灰度值作为入射光的强度，入射光经过多级空频域调制模块的调制后，在信息采集模块被采集。其中，多级空频域调制模块由多个频域调制模块和空域调制模块交替级联构成。
单个模块(频域调制模块或空域调制模块)中，透镜是具有光瞳的相位变换器：
Figure GDA0003122232330000071
其中k为光的波数，f为透镜的焦距，
Figure GDA0003122232330000072
单个模块(频域调制模块或空域调制模块)中，相位调制层是多个衍射层的堆叠，每个衍射层用相位调制和一段空间距离的菲涅尔传播来仿真。
单个模块(频域调制模块或空域调制模块)中，非线性调制层利用SBN光折变晶体的电光效应和光折变效应来仿真，在外电场和光的作用下，晶体折射率变化：
Figure GDA0003122232330000073
其中，n0是晶体原始折射率，r33是晶体的电光系数，I0是背景光强，E是加在晶体两端的电场强度，I是晶体表面在空间均匀背景强度之上的光强扰动。
在上述系统中，光在所有自由空间和均匀介质中的传播用菲涅尔传播进行仿真。
b)利用深度学习方法优化系统结构和系统参数。根据上述仿真模型建立深度学习网络，以待处理的图像作为输入，以目标任务的正确结果作为真值，构造合适的训练集、验证集、测试集。使用最小均方误差或交叉熵作为损失函数，使用误差反向传播算法迭代调整相位调制层的参数，并通过调试光源波长、频域调制模块个数、空域调制模块个数、透镜焦距、透镜孔径、各模块之间的空间距离等超参数，得到最佳的优化结果。
c)根据仿真优化得到的各项参数，使用3D打印或光刻技术物理制造相位调制层，选择合适的光源、透镜、光折变晶体，并根据仿真模型正确安装硬件系统，即可全光学实现深度学习的功能。使用均匀光照射3D打印的输入物体，透射光携带物体信息接受多级空频域调制，最后在信息采集模块的传感器上被采集，我们就获得了输入信息的处理结果。
本发明的系统模型区别于传统的全光学衍射深度神经网络，该模型不是仅通过衍射层的堆叠在空域内进行光学调制以实现计算功能。它采用多级空频域调制模块，通过频域、空域的多级交替调制提高计算能力。它使用光折变晶体等非线性光学器件，加入非线性调制层，使得模型能够完成更加复杂的非线性信息处理任务。
进一步地，在本发明的一个实施例中，相位调制层与非线性调制层的组合方式可以有三种：不使用光折变晶体，在多层相位调制层后加一层光折变晶体，在每层相位调制层后都加一层光折变晶体，如图3所示。
进一步地，在本发明的一个实施例中，如图4所示，系统可以简化为只用频域调制模块，相位调制层与非线性调制层的组合方式可以在图3中选择。
进一步地，在本发明的一个实施例中，如图5所示，系统可以简化为只用空域调制模块，相位调制层与非线性调制层的组合方式可以在图3中选择。
进一步地，在本发明的一个实施例中，如图6所示，系统可以使用多层空频域调制模块的级联，相位调制层与非线性调制层的组合方式可以在图3中选择。
进一步地，系统的各项参数通过建立仿真模型、利用深度学习方法优化得到。具体地，图7为根据本发明一个实施例的实现机器学习功能的方法流程图。如图7所示，方法包括以下步骤：
1、建立透镜、相位调制层、光折变晶体等光学元件的数值仿真模型。
2、建立多级空频域调制光学系统的数值仿真模型。
3、构造、选择合适的训练集、验证集、测试集。
4、建立深度学习网络，使用误差反向传播算法优化模型参数。
5、物理制造系统模型，安装硬件系统，实现需要完成的功能。
进一步地，如图8所示，本发明的实施例中，对MNIST手写数字图像进行分类，输出图像中不同区域的亮度表示不同的分类结果。图8下面三个子图从左到右依次是图4、5、6所示系统的训练结果，仿真结果显示准确率分别能够达到97.0％，96.8％，98.1％。
进一步地，如图9所示，本发明一个实施例中，用图4所示系统对宏观场景图像进行显著性检测，仿真结果显示显著性分割效果都很好。
进一步地，如图10所示，本发明一个实施例中，用图4所示系统对微观病理切片图像进行显著性检测，仿真结果显示显著性分割效果都很好。
根据本发明实施例提出的多级空频域调制非线性全光学深度学习系统，通过以光速使用光学元件，执行基于神经网络的一些功能，创建了一种有效、快速的实现机器学习任务的方式；能够通过使用各种高吞吐量、大面积的3D制造方法和宽视场的光学元件、检测系统来轻松扩展；能够经济高效地以可扩展、低功耗的方式实现大规模神经网络，具有实现各种复杂应用的潜力。
其次参照附图描述根据本发明实施例提出的多级空频域调制非线性全光学深度学习方法。
图11为根据本发明一个实施例的多级空频域调制非线性全光学深度学习方法流程图。
如图11所示，该多级空频域调制非线性全光学深度学习方法包括：
建立光学元件的数值仿真模型，获取训练集和测试集，根据训练集和测试集，通过深度学习、误差反向传播算法对数值仿真模型进行训练，在训练过程中优化多级空频域调制非线性全光学深度学习系统的结构，并调整多级空频域调制非线性全光学深度学习系统的相位调制层的参数；
利用3D打印或光刻技术进行物理制造得到输入物体，搭建实际的多级空频域调制非线性全光学深度学习系统，利用搭建的多级空频域调制非线性全光学深度学习系统执行目标任务。
需要说明的是，前述对多级空频域调制非线性全光学深度学习系统实施例的解释说明也适用于该实施例的方法，此处不再赘述。
根据本发明实施例提出的多级空频域调制非线性全光学深度学习方法，通过以光速使用光学元件，执行基于神经网络的一些功能，创建了一种有效、快速的实现机器学习任务的方式；能够通过使用各种高吞吐量、大面积的3D制造方法和宽视场的光学元件、检测系统来轻松扩展；能够经济高效地以可扩展、低功耗的方式实现大规模神经网络，具有实现各种复杂应用的潜力。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种多级空频域调制非线性全光学深度学习系统，其特征在于，包括：光学输入模块、多级空频域调制模块和信息采集模块；
所述光学输入模块，用于将输入信号转化为光学信息；
所述多级空频域调制模块，由多个频域调制模块和多个空域调制模块交替级联构成，每个空域调制模块或频域调制模块包括：透镜、相位调制层和非线性相位调制层；其中，所述频域调制模块和所述空域调制模块的非线性调制层为SBN光折变晶体或非线性光学材料，利用所述SBN光折变晶体的电光效应和光折变效应对光学信息进行非线性调制，相位调制层与非线性调制层的组合方式可以有三种：不使用光折变晶体，在多层相位调制层后加一层光折变晶体，在每层相位调制层后都加一层光折变晶体，SBN光折变晶体构成了神经网络的非线性层；
所述信息采集模块，由透镜和传感器组成，用于接收所述多级空频域调制模块的输出信号，利用透镜将所述输出信号变换到傅里叶面或像面并通过所述传感器进行采集，生成信息处理结果。
2.根据权利要求1所述的系统，其特征在于，所述光学输入模块由光源和3D打印的输入物体组成，利用光源均匀照射所述输入物体，将所述输入物体的信息转化为透射光的光学信息。
3.根据权利要求1所述的系统，其特征在于，所述频域调制模块包括：透镜、相位调制层和非线性相位调制层；
透镜，用于将光学信息变换到傅里叶空间；
相位调制层，用于对傅里叶空间的光学信息进行相位调制；
非线性相位调制层，用于非线性光学信息处理。
4.根据权利要求1所述的系统，其特征在于，所述空域调制模块包括：透镜、相位调制层和非线性相位调制层；
透镜，用于将光学信息变换到空域；
相位调制层，用于对空域的光学信息进行相位调制；
非线性相位调制层，用于非线性光学信息处理。
5.根据权利要求3或4所述的系统，其特征在于，所述频域调制模块和所述空域调制模块的相位调制层使用3D打印或光刻技术进行制造，通过深度学习方法对相位调制层的参数进行优化。
6.根据权利要求1所述的系统，其特征在于，在外电场和光的作用下，所述SBN光折变晶体的晶体折射率变化为：
Figure FDA0003137859610000021
其中，n0是晶体原始折射率，r33是晶体的电光系数，I0是背景光强，E是加在晶体两端的电场强度，I是晶体表面在空间均匀背景强度之上的光强扰动。
7.一种多级空频域调制非线性全光学深度学习方法，应用于如权利要求1所述的多级空频域调制非线性全光学深度学习系统，其特征在于，包括以下步骤：
建立光学元件的数值仿真模型，获取训练集和测试集，根据所述训练集和所述测试集，通过深度学习、误差反向传播算法对所述数值仿真模型进行训练，在训练过程中优化多级空频域调制非线性全光学深度学习系统的结构，并调整所述多级空频域调制非线性全光学深度学习系统的相位调制层的参数；
利用3D打印或光刻技术进行物理制造得到输入物体，搭建实际的多级空频域调制非线性全光学深度学习系统，利用搭建的多级空频域调制非线性全光学深度学习系统执行目标任务。
CN201910487242.0A 2019-06-05 2019-06-05 多级空频域调制非线性全光学深度学习系统及方法 Active CN110309916B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910487242.0A CN110309916B (zh) 2019-06-05 2019-06-05 多级空频域调制非线性全光学深度学习系统及方法
US16/893,071 US11600060B2 (en) 2019-06-05 2020-06-04 Nonlinear all-optical deep-learning system and method with multistage space-frequency domain modulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487242.0A CN110309916B (zh) 2019-06-05 2019-06-05 多级空频域调制非线性全光学深度学习系统及方法

Publications (2)

Publication Number Publication Date
CN110309916A CN110309916A (zh) 2019-10-08
CN110309916B true CN110309916B (zh) 2021-09-17

Family

ID=68075041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487242.0A Active CN110309916B (zh) 2019-06-05 2019-06-05 多级空频域调制非线性全光学深度学习系统及方法

Country Status (2)

Country Link
US (1) US11600060B2 (zh)
CN (1) CN110309916B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582468B (zh) * 2020-04-02 2022-08-09 清华大学 光电混合智能数据生成计算系统及方法
CN111582435B (zh) * 2020-04-02 2023-04-18 清华大学 基于残差网络的衍射深度神经网络系统
DE102020214907A1 (de) * 2020-11-27 2022-06-02 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines künstlichen neuronalen Netzes
CN115113508B (zh) * 2022-05-07 2023-11-28 四川大学 基于光衍射神经网络的全息显示散斑抑制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150402A (zh) * 2007-11-01 2008-03-26 北京理工大学 一种基于分数阶傅立叶变换的双图加密方法
CN105116488A (zh) * 2015-08-31 2015-12-02 华中科技大学 一种光功率分束器
CN105700320A (zh) * 2016-04-13 2016-06-22 苏州大学 一种基于空间光调制器的全息三维显示方法及装置
CN106100752A (zh) * 2016-05-23 2016-11-09 华中科技大学 一种光学调制模块
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
CN108805278A (zh) * 2018-05-15 2018-11-13 成都理想境界科技有限公司 一种应用于深度学习的特征提取方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150402A (zh) * 2007-11-01 2008-03-26 北京理工大学 一种基于分数阶傅立叶变换的双图加密方法
CN105116488A (zh) * 2015-08-31 2015-12-02 华中科技大学 一种光功率分束器
CN105700320A (zh) * 2016-04-13 2016-06-22 苏州大学 一种基于空间光调制器的全息三维显示方法及装置
CN106100752A (zh) * 2016-05-23 2016-11-09 华中科技大学 一种光学调制模块
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
CN108805278A (zh) * 2018-05-15 2018-11-13 成都理想境界科技有限公司 一种应用于深度学习的特征提取方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
All-optical machine learning using diffractive deep neural networks;Xing Lin et al.;《OPTICAL COMPUTING》;20180907;第361卷(第6406期);第1004-1008页 *
Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification;Julie Chang et al.;《Scientific Reports》;20180817;第1-10页、图1-2 *
Phase-space measurement and coherence synthesis of optical beams;Laura Waller et al.;《NATURE PHOTONICS》;20120731;第6卷;第474-479页 *
图像加密光学实现方法研究;程婉琪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第06期);第23-54页 *

Also Published As

Publication number Publication date
US20200387780A1 (en) 2020-12-10
US11600060B2 (en) 2023-03-07
CN110309916A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309916B (zh) 多级空频域调制非线性全光学深度学习系统及方法
CN111582435B (zh) 基于残差网络的衍射深度神经网络系统
Li et al. Class-specific differential detection in diffractive optical neural networks improves inference accuracy
CN110334804B (zh) 基于空间部分相干光的全光深度衍射神经网络系统及方法
Dong et al. Optical reservoir computing using multiple light scattering for chaotic systems prediction
CN111582468B (zh) 光电混合智能数据生成计算系统及方法
Zhan et al. Diffractive deep neural network based adaptive optics scheme for vortex beam in oceanic turbulence
Hu et al. Batch processing and data streaming fourier-based convolutional neural network accelerator
Xu et al. Software-defined nanophotonic devices and systems empowered by machine learning
Zandehshahvar et al. Metric learning: harnessing the power of machine learning in nanophotonics
Nguimdo et al. Impact of optical coherence on the performance of large-scale spatiotemporal photonic reservoir computing systems
Wei et al. Comment on" All-optical machine learning using diffractive deep neural networks"
Liu et al. Investigating deep optics model representation in affecting resolved all-in-focus image quality and depth estimation fidelity
WO2022056422A1 (en) Ensemble learning of diffractive neural networks
Hu et al. Diffractive optical computing in free space
Singh et al. Holographic construction of quantum field theory using wavelets
CN111680796B (zh) 基于级联光耦合器的片上光子神经网络装置、芯片及其应用方法
CN116300075B (zh) 基于多头串联神经网络的层状纳米光子学器件设计方法
CN112700000A (zh) 一种光电混合深度卷积神经网络方法
CN117233960A (zh) 基于智能光计算的光学系统在线设计方法与装置
CN115857067A (zh) 一种逆向设计的超构表面器件及其制备、设计方法
Segawa et al. Tunable reservoir computing based on iterative function systems
Petković et al. RETRACTED: Adaptive neuro-fuzzy prediction of modulation transfer function of optical lens system
Feng et al. Optical Neural Networks for Holographic Image Recognition
Park et al. Physics-informed reinforcement learning for sample-efficient optimization of freeform nanophotonic devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant