CN111458777A - 一种光学芯片及制作方法 - Google Patents

一种光学芯片及制作方法 Download PDF

Info

Publication number
CN111458777A
CN111458777A CN202010319971.8A CN202010319971A CN111458777A CN 111458777 A CN111458777 A CN 111458777A CN 202010319971 A CN202010319971 A CN 202010319971A CN 111458777 A CN111458777 A CN 111458777A
Authority
CN
China
Prior art keywords
optical
layer
neural network
grating
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010319971.8A
Other languages
English (en)
Inventor
郝然
梁星磊
张飞
金尚忠
冯爱明
陈义
何建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010319971.8A priority Critical patent/CN111458777A/zh
Publication of CN111458777A publication Critical patent/CN111458777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G02B5/1819—Plural gratings positioned on the same surface, e.g. array of gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1847—Manufacturing methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B2005/1804—Transmission gratings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

本发明公开了一种光学芯片及制作方法，通过设计一种全光学衍射深度神经网络架构来执行机器学习，该架构可以在基于深度学习的无源衍射层共同工作的基础上实现各种功能，并且我们基于3D打印技术将全光学神经网络架构用光栅做成集成芯片，可以以光速执行其训练的特定任务，仅使用光学衍射和无源光学组件或层即可实现强大的功能，极大地提高了工作效率。同时本发明还公开了一种光学识别装置。

Description

一种光学芯片及制作方法
技术领域
本发明涉及光学和神经网络领域，尤其涉及一种光学芯片及制作方法。
背景技术
近年来机器学习正带来一场全新的技术变革，对我们的生产生活等各个方面都产生来极大的促进作用，随着人工智能时代的到来，机器学习中的硬件层面和算法层面也面临着严峻的挑战。以往的电子学神经网络已不能满足当下时代发展的要求，迫切需要一种新的方法去解决这一难题。在xin lin等人发表的文章“All-optical machine learningusing diffractive deep neural networks”中，提到了一种光学方案实现机器学习的方法，在该文章中，使用一组波片衍射层，对入射的光进行调制，然后由输出装置输出显示结果。
然而，在该文章中，使用波片来实现光学调制，因波片尺寸通常比较大，导致了这种方式无法实现较高的集成度，并且无法携带等问题。
为此我们提供了一种光学芯片及制作方法。
发明内容
有鉴于此，本发明的目的在于提出一种新的光学芯片，能够大大降低光学芯片的体积，从而提高光学芯片的集成度和应用体验。
根据本发明的目的提出的一种光学芯片，包括基层、功能层和包层，所述功能层位于所述基层上，所述包层覆盖在所述功能层上，其中所述功能层包括若干个依次放置的光栅，所述若干个光栅中的每个光栅具有振幅和/或相位调制功能，该若干个光栅组合形成全光学衍射神经网络，该全光学衍射神经网络通过深度学习，被设置成对于给定的入射图像，经过每层光栅的调制，输出成具有所需振幅、相位的调制图像。
优选的，所述每个光栅上包括若干个凹凸结构，每一个所述凹凸结构构成所述全光学衍射神经网络的神经元，所述每个光栅的振幅和相位调制功能由组成该光栅的每个凹凸结构共同作用产生。
优选的，所述神经元对输入波的振幅和相位产生调制形成次级波，该次级波的振幅和相位由输入波与该神经元的复数值透射或反射系数的乘积确定，每个神经元通过该次级波的光学衍射连接到下一层的其他神经元。
优选的，所述基层为透光的3D打印材料、半导体氧化物材料或纳米压印材料。
根据本发明的目的还提出了一种光学识别装置，包括如上所述的光学芯片、输入层和输出装置，所述输入层输入的图像经过所述光学芯片后，形成调制图像并被所述输出装置接收，该输出装置根据接收到的所述调制图像生成识别结果。
优选的，所述输出装置为多个图像摄取单元构成的传感器阵列，所述传感器阵列识别所述光学芯片输出的调制图像，由所述调制图像中设定相位和/或振幅对应位置处的图像识别单元输出识别结果。
优选的，所述图像摄取单元为CCD或CMOS相机。
根据本发明的目的还提出了一种如上所述的光学芯片的制作方法，包括步骤：
通过深度学习方法，训练得到所述全光学衍射神经网络模型，所述全光学衍射神经网络模型的参数包括网络中每一层神经元的振幅、相位值；
设计与该全光学衍射神经网络对应的多层光栅，其中每层光栅中的凹凸结构对应所述全光学衍射神经网络中每一层的神经元；
制作该多层光栅结构并封装成所述光学芯片。
优选的，所述深度学习方法包括：
确定所述光学芯片执行的功能，
根据该功能提供相关素材的训练数据，
根据设定的实际物理结构初步建立光学衍射神经网络，通过光学衍射计算网络每一层的输出，根据所需功能确定的相对于目标输出的计算误差，通过深度学习的误差反向传播算法迭代调整每一层神经元的振幅、相位值，以优化网络结构，实现所述功能。
优选的，所述多层光栅通过3D打印、纳米压印技术或者半导体光刻工艺形成在一基层上。
本发明采用光栅构建全光学神经网络架构，相比于现有技术的波片方案，本发明的技术优势在于：
第一、光栅具有更小的体积和更大的集成度，能够适用于更复杂的全光学神经网络架构，并且更易于工业化应用。
第二、光栅可以通过大面积3D制造方法，比如半导体光刻技术、纳米压印技术、或者3D打印技术进行批量生产，提高产能，降低成本，使得光学芯片的工业化生产成为可能。
第三、光栅具有更多的凹槽，能够更方便的用于在计算机上去模拟调节光栅的振幅、相位，设计出最优化，最简单的若干层光学神经网络架构，从而更好地实现机器完成某项特定功能的目标。
附图说明
图1是本发明的光学芯片的结构示意图。
图2是本发明光学芯片的正视图。
图3是本发明的光学芯片的工作示意图。
图4是本发明的光学识别装置示意图。
具体实施方式
以下将结合附图并举实例，对本发明的技术方案进行详细描述.
请参见图1和图2，图1是本发明的光学芯片的结构示意图，图2是本发明光学芯片的正视图。如图所示，该光学芯片包括基层10、功能层11和包层12。功能层位于基层10上，包层覆盖在功能层11上。
基层10为载体材料，该载体材料视该光学芯片的制作工艺而定，比如，当该光学芯片通过3D打印技术制作而成时，该载体材料就可以为透光的3D打印材料，如ABS、PLA、陶瓷粉末等；当该光学芯片通过半导体光刻工艺制作而成时，该载体材料可以为透光的半导体基材或半导体氧化物材料，如硅、氧化硅等；当该光学芯片为纳米压印技术制作而成时，该载体材料为透光的热塑性材料，比如纳米压印胶等。
功能层11上包括若干层依次放置的光栅111，该若干个依次放置的光栅111中的每个光栅具有振幅和相位调制功能，该若干个光栅111组合形成全光学衍射神经网络，该全光学衍射神经网络通过机器学习，被设置成对于给定的入射图像，经过每层光栅的调制，输出成具有所需振幅、相位的调制图像。
光栅111的数量视光学芯片所要实现的功能而定，比如光学芯片仅仅是为了识别数字0～9，那么光栅111的数量可以相对设置较少，比如3～10个光栅左右，如果光学芯片需要对复杂图像进行分类，那么相应的光栅数量也会增多，使得所搭建的全光学衍射神经网络的系统复杂度提高，以此增加系统的识别能力。
请结合图1参见图3，每个光栅111上包括若干个凹凸结构112，每一个所述凹凸结构112构成所述全光学衍射神经网络的神经元，所述每个光栅的振幅和相位调制功能由组成该光栅的每个凹凸结构共同作用产生。其中，神经元对输入波的振幅和相位产生调制形成次级波，该次级波的振幅和相位由输入波与该神经元的复数值透射或反射系数的乘积确定，每个神经元通过该次级波的光学衍射连接到下一层的其他神经元。
光栅111的凹凸结构112同样对全光学衍射神经网络的系统复杂度起到影响，一个复杂的光栅111意味着具有更多的凹凸结构，继而整个系统的神经元冗余度得到提高，能够产生的光学调整能力也提高。在对整个光学系统进行深度学习训练时，可实现的功能就相应的增加。
包层12将所述若干个光栅111包封于所述基层上，该包层12可以减少光的损耗，将光限制在光栅中进行传播。
在制作该光学芯片时，首先需要通过机器学习方法，训练得到所述全光学衍射神经网络模型，所述全光学衍射神经网络模型的参数包括网络中每一层神经元的振幅、相位值，具体的机器学习方法包括：确定所述光学芯片执行的功能，根据该功能提供相关素材的训练数据，根据设定的实际物理结构初步建立光学衍射神经网络，通过光学衍射计算网络每一层的输出，根据所需功能确定的相对于目标输出的计算误差，通过深度学习的误差反向传播算法迭代调整每一层神经元的振幅、相位值，以优化网络结构，实现所述功能。比如该光学芯片是用来对衣服、裤子、鞋子进行识别和分类，那么训练用的相关素材可以选一组衣服、裤子、鞋子的相关图片，然后不断对光学衍射神经网络进行训练，通过迭代调整整个神经网络的各个神经元的幅度、相位值，使得最终整个神经网络能够得到一个较为准确的输出结果，从而获得神经网络中各神经元的具体幅度、相位值。
然后设计与该全光学衍射神经网络对应的多层光栅，其中每层光栅中的凹凸结构对应所述全光学衍射神经网络中每一层的神经元。
最后制作该多层光栅结构并封装成所述光学芯片。具体的制作方法，可以为3D打印、纳米压印技术或者半导体光刻工艺中的一种，可根据具体的应用场景挑选不同的制作工艺。
请参见图4，图4是本发明的光学芯片应用在光学识别装置场景下的结构示意图，如图所示，该光学识别装置主要是对图像进行识别和分类，包括光学芯片1、输入层2和输出装置3，所述输入层2输入的图像经过所述光学芯片1后，形成调制图像并被所述输出装置3接收，该输出装置根据接收到的所述调制图像生成识别结果。输出装置3为多个图像摄取单元构成的传感器阵列，所述传感器阵列识别于所述光学芯片输出的调制图像，由所述调制图像中设定相位和/或振幅对应位置处的图像识别单元输出识别结果。在一种实施方式中，所述图像摄取单元为CCD或CMOS相机。
以识别数字为例，通过机器学习，光学芯片1具有对数字0～9的识别能力，比如当数字5出现在输入层2中时，该数字5的图像经过光学芯片1调制之后，输出的光学图形中使得输出装置3中对应数字5的传感器具有最明显的光学信号，此时输出装置3读取传感器阵列采集到的光电信号，获取识别结果，判断当前识别数字为数字5。
再比如识别衣物为例，通过机器学习，利用不同的衣物图形对全光学衍射神经网络进行训练，使得光学芯片1具有能够对不同衣物进行识别的能力。在输入层2中输入鞋子的图形之后，光学芯片1对鞋子图形进行调制，并输出特定的光学图形到输出装置3中，输出装置3根据获取到的图形特征，利用特定算法，输出识别结果。
综上所述，本发明提出了一种基于光学芯片，通过若干个光栅组合成全光学衍射神经网络，在机器学习后可以实现光学识别和分类的功能。具有体积小、集成度高、易于工业生产的特性。
以上所述仅为本发明的较佳实施例而已，并不能以限制本发明，凡在本发明的精神和原则之内所做的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种光学芯片，其特征在于，包括基层、功能层和包层，所述功能层位于所述基层上，所述包层覆盖在所述功能层上，其中所述功能层包括若干个依次放置的光栅，所述若干个光栅中的每个光栅具有振幅和/或相位调制功能，该若干个光栅组合形成全光学衍射神经网络，该全光学衍射神经网络通过深度学习，被设置成对于给定的入射图像，经过每层光栅的调制，输出成具有所需振幅、相位的调制图像。
2.如权利要求1所述的光学识别装置，其特征在于，所述每个光栅上包括若干个凹凸结构，每一个所述凹凸结构构成所述全光学衍射神经网络的神经元，所述每个光栅的振幅和相位调制功能由组成该光栅的每个凹凸结构共同作用产生。
3.如权利要求2所述的光学识别装置，其特征在于，所述神经元对输入波的振幅和相位产生调制形成次级波，该次级波的振幅和相位由输入波与该神经元的复数值透射或反射系数的乘积确定，每个神经元通过该次级波的光学衍射连接到下一层的其他神经元。
4.如权利要求1所述的一种光学芯片，其特征在于，所述基层为透光的3D打印材料、半导体氧化物材料或纳米压印材料。
5.一种光学识别装置，其特征在于：包括如权利要求1-5任意一项所述的光学芯片、输入层和输出装置，所述输入层输入的图像经过所述光学芯片后，形成调制图像并被所述输出装置接收，该输出装置根据接收到的所述调制图像生成识别结果。
6.如权利要求5所述的光学识别装置，其特征在于：所述输出装置为多个图像摄取单元构成的传感器阵列，所述传感器阵列识别所述光学芯片输出的调制图像，由所述调制图像中设定相位和/或振幅对应位置处的图像识别单元输出识别结果。
7.如权利要求6所述的光学识别装置，其特征在于：所述图像摄取单元为CCD或CMOS相机。
8.一种如权利要求1-4任意一项所述的光学芯片的制作方法，其特征在于，包括步骤：
通过深度学习方法，训练得到所述全光学衍射神经网络模型，所述全光学衍射神经网络模型的参数包括网络中每一层神经元的振幅、相位值；
设计与该全光学衍射神经网络对应的多层光栅，其中每层光栅中的凹凸结构对应所述全光学衍射神经网络中每一层的神经元；
制作该多层光栅结构并封装成所述光学芯片。
9.如权利要求8所述的制作方法，其特征在于：
所述深度学习方法包括：
确定所述光学芯片执行的功能，
根据该功能提供相关素材的训练数据，
根据设定的实际物理结构初步建立光学衍射神经网络，通过光学衍射计算网络每一层的输出，根据所需功能确定的相对于目标输出的计算误差，通过深度学习的误差反向传播算法迭代调整每一层神经元的振幅、相位值，以优化网络结构，实现所述功能。
10.如权利要求8所述的制作方法，其特征在于：所述多层光栅通过3D打印、纳米压印技术或者半导体光刻工艺形成在一基层上。
CN202010319971.8A 2020-04-22 2020-04-22 一种光学芯片及制作方法 Pending CN111458777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010319971.8A CN111458777A (zh) 2020-04-22 2020-04-22 一种光学芯片及制作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010319971.8A CN111458777A (zh) 2020-04-22 2020-04-22 一种光学芯片及制作方法

Publications (1)

Publication Number Publication Date
CN111458777A true CN111458777A (zh) 2020-07-28

Family

ID=71682583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010319971.8A Pending CN111458777A (zh) 2020-04-22 2020-04-22 一种光学芯片及制作方法

Country Status (1)

Country Link
CN (1) CN111458777A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630962A (zh) * 2020-12-08 2021-04-09 北京信息科技大学 一种用于权连接光神经网络的随机光栅设计方法
CN113822424A (zh) * 2021-07-27 2021-12-21 湖南大学 一种基于超构表面的全光衍射神经网络系统
WO2022166188A1 (zh) * 2021-02-08 2022-08-11 清华大学 光人工神经网络智能芯片、智能处理设备及制备方法
CN114913111A (zh) * 2021-02-08 2022-08-16 清华大学 血糖检测芯片、智能血糖检测仪及制备方法
CN114913553A (zh) * 2021-02-08 2022-08-16 清华大学 光人工神经网络指纹识别芯片、指纹识别装置及制备方法
WO2023060962A1 (zh) * 2021-10-14 2023-04-20 清华大学 光电数字逻辑运算的光学逻辑元件及其逻辑运算方法
CN116523015A (zh) * 2023-03-24 2023-08-01 清华大学 对于工艺误差鲁棒的光学神经网络训练方法、装置及设备
WO2024113512A1 (zh) * 2022-12-02 2024-06-06 苏州苏大维格科技集团股份有限公司 基于深度学习神经网络的衍射元件的设计方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103218A1 (en) * 2001-12-04 2003-06-05 Xinhui Niu Optical profilometry of additional-material deviations in a periodic grating
CN104752573A (zh) * 2013-12-27 2015-07-01 旭景科技股份有限公司 具有彩色顶侧的硅晶圆
CN109211122A (zh) * 2018-10-30 2019-01-15 清华大学 基于光神经网络的超精密位移测量系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103218A1 (en) * 2001-12-04 2003-06-05 Xinhui Niu Optical profilometry of additional-material deviations in a periodic grating
CN104752573A (zh) * 2013-12-27 2015-07-01 旭景科技股份有限公司 具有彩色顶侧的硅晶圆
CN109211122A (zh) * 2018-10-30 2019-01-15 清华大学 基于光神经网络的超精密位移测量系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630962A (zh) * 2020-12-08 2021-04-09 北京信息科技大学 一种用于权连接光神经网络的随机光栅设计方法
WO2022166188A1 (zh) * 2021-02-08 2022-08-11 清华大学 光人工神经网络智能芯片、智能处理设备及制备方法
CN114913111A (zh) * 2021-02-08 2022-08-16 清华大学 血糖检测芯片、智能血糖检测仪及制备方法
CN114913553A (zh) * 2021-02-08 2022-08-16 清华大学 光人工神经网络指纹识别芯片、指纹识别装置及制备方法
CN113822424A (zh) * 2021-07-27 2021-12-21 湖南大学 一种基于超构表面的全光衍射神经网络系统
CN113822424B (zh) * 2021-07-27 2023-10-20 湖南大学 一种基于超构表面的全光衍射神经网络系统
WO2023060962A1 (zh) * 2021-10-14 2023-04-20 清华大学 光电数字逻辑运算的光学逻辑元件及其逻辑运算方法
WO2024113512A1 (zh) * 2022-12-02 2024-06-06 苏州苏大维格科技集团股份有限公司 基于深度学习神经网络的衍射元件的设计方法及系统
CN116523015A (zh) * 2023-03-24 2023-08-01 清华大学 对于工艺误差鲁棒的光学神经网络训练方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111458777A (zh) 一种光学芯片及制作方法
US10438068B2 (en) Adapting to appearance variations of a target object when tracking the target object in a video sequence
CN107924486A (zh) 用于分类的强制稀疏
EP3586270B1 (en) Optical sensor, learning apparatus, and image processing system
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN112016525A (zh) 非接触式指纹采集方法和装置
CN112232155A (zh) 非接触指纹识别的方法、装置、终端及存储介质
JP6729428B2 (ja) 画像処理システム、光学センサ、及び学習装置
US11425292B1 (en) Method and apparatus for camera-free light field imaging with optoelectronic intelligent computing
WO2022068931A1 (zh) 非接触指纹识别方法、装置、终端及存储介质
CN108573255A (zh) 文字合成图像的识别方法及装置、图像识别方法
CN112232159A (zh) 指纹识别的方法、装置、终端及存储介质
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
TW202217665A (zh) 光學指紋識別模組及其識別方法和顯示裝置
US20230368012A1 (en) Systems and methods for metasurface smart glass for object recognition
CN116740480A (zh) 多模态图像融合目标跟踪方法
CN114755800B (zh) 镜头模组、电子设备和景深拓展方法
Mashor et al. 3D object recognition using 2D moments and HMLP network
CN112232152A (zh) 非接触式指纹识别方法、装置、终端和存储介质
Chen et al. Infrared object classification with a hybrid optical convolution neural network
Kim et al. AI and machine learning for computer vision applications in open world
US20240320495A1 (en) Information processing method, information processing system, and computer-readable non-transitory recording medium having information processing program recorded thereon
CN117521746B (zh) 量化光学衍射神经网络系统及其训练方法
Martin Sagayam et al. Virtual robotic arm control with hand gesture recognition and deep learning strategies
WO2023119968A1 (ja) ３次元座標算出方法及び３次元座標算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728