CN110806640B - 光子集成视觉特征成像芯片 - Google Patents

光子集成视觉特征成像芯片 Download PDF

Info

Publication number
CN110806640B
CN110806640B CN201911033848.3A CN201911033848A CN110806640B CN 110806640 B CN110806640 B CN 110806640B CN 201911033848 A CN201911033848 A CN 201911033848A CN 110806640 B CN110806640 B CN 110806640B
Authority
CN
China
Prior art keywords
optical
lens
fourier
phase
phase mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911033848.3A
Other languages
English (en)
Other versions
CN110806640A (zh
Inventor
李学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201911033848.3A priority Critical patent/CN110806640B/zh
Publication of CN110806640A publication Critical patent/CN110806640A/zh
Application granted granted Critical
Publication of CN110806640B publication Critical patent/CN110806640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种光子集成视觉特征成像芯片，由嵌入式光学卷积模块、光电转换模块组成，其中，嵌入式光学卷积模块包括一个及以上基本超短光学成像单元，用于实现卷积功能，外部像源经光学卷积模块后由光电转换模块成像。本发明集成了多个傅里叶变换透镜和相位掩膜等器件，具有超快光学计算功能，能够解决现有基于电子计算的视觉图像特征提取算法效率低、能耗高、算法普适性差，以及基于光学计算的特征提取装置体积大、结构复杂、功能单一等问题，可以满足视觉图像特征的高效、低能、安全获取的需求。

Description

光子集成视觉特征成像芯片
技术领域
本发明属光学成像、光学影像处理技术领域，具体涉及一种光子集成视觉特征成像芯片。
背景技术
视觉作为人类最主要的感受系统之一，一直是许多研究人员的研究兴趣所在。近年来大数据、云计算、物联网等信息技术的蓬勃发展极大促进了光学影像处理技术的发展，尤其是深度神经网络等机器学习方法在语音和图像识别上的突破性应用，引发了光学影像学习与分析应用新潮。相比传统视觉统计方法，基于模拟人类大脑激活传导的人工神经网络，与其多层叠加的深度学习计算机系统，泛化能力更强且精度更高，成为当前光学影像处理科学研究的热点，其带来了如人脸识别和无人驾驶等技术的变革。同时，这类基于深度神经网络的系统不仅可以辅助人类从众多的医学数据找到可以高效诊断的模式，还可以通过快速学习扫描化学成分而找到可能的新药物。但对于拥有强大计算和存储能力的计算机而言，面对海量异构网络多媒体数据，无法逾越人工算法所带来的计算复杂问题，造成计算系统效率低、资源消耗多。
基于电子的计算架构是图像处理、多媒体计算等诸多光学影像处理任务的基础，也是人工智能、云计算等应用的出发点。不同于真正的人类神经组织，这类计算架构物理分隔了信息采集与信息处理两大核心功能，很难实现快速、高效和低能耗计算，导致数据的采集和处理功能相对独立，使得数据处理缺乏数据采集的环境信息，具有较大的盲目性，进而导致信息处理的精度和处理算法通用性差等。针对上述不足，设计能够模拟神经元和突触的光学计算硬件将提供一种新的思路，当在神经网络或神经形态系统中连接时，其就像人类大脑一样同步采集和处理信息，实现即成像即处理的效果，从而提升信息处理的效率。
随着光学技术和理论物理的不断发展，近年来关于计算成像方面的研究在不断深入。如德国J.Feldmann等人在文献“All-optical spiking neurosynaptic networks withself-learning capabilities,Nature 569,pp.208-214,2019”中提取了一种在毫米级光子芯片上的全光学神经网络，其利用相变材料来实现权重调制和神经元集成，它们位于两种微环谐振器上，具有突触或神经功能，同时运用波分复用技术构建光子神经网络的可扩展回路架构，实现了监督或无监督学习，成功展示了在光学领域的模式识别。但目前只实现了小规模的监督学习或无监督学习。C.Julie等人在文献“Hybrid optical-electronicconvolutional neural networks with optimized diffractive optics for imageclassification,Scientific Reports,vol.8,no.1,pp.12324,2018.”中提出了基于优化衍射光学元件的光学卷积层的设计方案，该方案在傅里叶频域利用相位掩膜技术，并结合光学4f系统实现光学卷积，有效避免了复杂的透镜阵列，结构简单，在手写字体识别任务中获得了较高精度。但由于其基于光学4f系统且均使用常规透镜，各光栅和掩膜均需放置在透镜的焦点上，从而造成整套设备体型较大，不便于实际应用。
发明内容
为了克服现有技术的不足，本发明提供一种光子集成视觉特征成像芯片。该芯片集成了多个傅里叶变换透镜和相位掩膜等器件，具有超快光学计算功能，能够解决现有基于电子计算的视觉图像特征提取算法效率低、能耗高、算法普适性差，以及基于光学计算的特征提取装置体积大、结构复杂、功能单一等问题，可以满足视觉图像特征的高效、低能耗、体积小、安全获取的需求。
一种光子集成视觉特征成像芯片，其特征在于：由嵌入式光学卷积模块、光电转换模块组成，其中，嵌入式光学卷积模块包括一个及以上基本超短光学成像单元，用于实现卷积功能，光电转换模块由CCD相机、CMOS相机或光电探测器阵列组成；外部像源经光学卷积模块后由光电转换模块成像。
所述的基本超短光学成像单元包含两个傅里叶透镜和一个相位掩膜，相位掩膜位于两个傅里叶透镜的中间且在其焦点上；其中，一个傅里叶透镜用于实现傅里叶变换，另一个傅里叶透镜用于实现逆傅里叶变换；所述的光电转换模块位于实现逆傅里叶变换的傅里叶透镜的另一个焦点上；
所述的傅里叶透镜采用菲涅尔衍射透镜或相变型折射透镜。
所述的相位掩膜由相变材料制成，利用超快激光诱导或其它加工方式使相变材料内部局部折射率改变，以具备卷积功能，其加工参数由计算所需的卷积核及其权重确定。
所述的相变材料采用光学玻璃或光学晶体，其中，光学玻璃包括石英玻璃、大猩猩玻璃、光敏玻璃、光敏热敏玻璃，光学晶体包括铌酸锂、蓝宝石、钇铝石榴石、氟化锂、硫化锌。
进一步地，所述的相位掩膜和傅里叶透镜集成在一个玻璃或晶体内。
整个芯片厚度为mm量级。
芯片的封装过程为：首先对透镜、相位掩膜进行精确定位，确保其相对位置不变，然后在高温条件下将光学卷积模块热压成型或贴合定形。
本发明的有益效果是：由于集成了多个傅里叶变换透镜和相位掩膜等，具有超快光学计算功能；由于采用集成光学和光子计算架构，可在采集图像的同时处理图像，实现即成像即处理的效果，从而显著提升信息处理的效率，且能耗更低。
附图说明
图1是本发明的单级光子集成视觉特征成像芯片示意图。
图2是本发明的单级光子集成视觉特征成像芯片三维示意图；
图中，h表示单级光子集成视觉特征成像芯片厚度，O表示目标图像，f表示傅里叶透镜，C表示相位掩膜，M表示光电转换模块。
图3是本发明的多级光子集成视觉特征成像芯片示意图。
图4是本发明的相位掩膜示意图；
图中，d表示方孔相位掩膜的孔径。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
针对当前视觉图像特征提取中基于电子的计算架构复杂度高、通用性差、效率低、精度有限等问题，以及基于光学计算的特征提取装置体积大、结构复杂、功能单一等问题，本发明设计了一种嵌入式光学计算特征提取装置的光学芯片，如图1所示，该芯片集成了傅里叶变换透镜、相位掩膜等器件，与光电转换模块一起形成光学即成像即处理微视觉特征成像芯片。本发明通过集成光学和光子计算，实现了光学成像即特征即处理，是一种视觉图像特征提取的光学计算新方法。
本发明的光子集成视觉特征成像芯片，由嵌入式光学卷积模块、光电转换模块组成，图2展示了单级光子集成视觉特征成像芯片三维示意图。其中，嵌入式光学卷积模块由一个或多个基本超短光学成像单元组成，用于实现单层或多层卷积功能。包含一个基本超短光学成像单元的称为单级光子集成视觉特征成像芯片，如图1或2所示，包含多个基本超短光学成像单元的称为多级光子集成视觉特征成像芯片，如图3所示。每个基本超短光学成像单元包含两个傅里叶透镜(FFT透镜1和FFT透镜2)和一个相位掩膜，相位掩膜位于两个傅里叶透镜的中心点位置，同时也是傅里叶透镜的焦点上，一个透镜(FFT透镜1)用于实现傅里叶变换，另外一个透镜(FFT透镜2)用于实现逆傅里叶变换，光学相位掩膜的加工参数由卷积核及其权重确定。光电转换模块由CCD相机、CMOS相机或光电探测器阵列组成，远离相位掩膜，位于用于实现逆傅里叶变换的傅里叶透镜(FFT透镜2)的另一个焦点上。对于多级光子集成视觉特征成像芯片，采用不同卷积核和权重，从而获得不同相位掩膜，实现多尺度卷积。
光学相位掩膜由相变材料制成，利用超快激光诱导或其它加工方式使相变材料内部局部折射率改变，以此制备具备卷积功能的光学相位掩膜功能单元。所述的相变材料采用光学玻璃或光学晶体，其中，光学玻璃包括：石英玻璃、大猩猩玻璃、光敏玻璃、光敏热敏玻璃(PTR)，光学晶体包括：铌酸锂、蓝宝石、钇铝石榴石(YAG)、氟化锂(LiF)、硫化锌(ZnS)。
整个光子集成视觉特征成像芯片厚度为mm量级。
傅里叶透镜(FFT透镜1和FFT透镜2)的焦距直接影响整个视觉特征成像芯片厚度h，为获得超薄短焦距且容易集成的傅里叶透镜，本实施例选用短焦距菲涅尔透镜作为基材，将圆形或方形菲涅尔透镜分成中心区、折射区及衍射区，可采用聚乙烯塑料(PE)注塑成型工艺制作多分区的菲涅尔透镜，也可采用叠层粘接等方式制备超薄短焦傅里叶透镜，也可用飞秒激光在相变材料内制作菲涅尔透镜。
按照给定的卷积核，通过软件仿真计算得到相位掩膜的加工尺寸d。接着，利用强飞秒激光与相变材料相互作用，可改变相变材料内部的化学键，进而改变材料折射率的物理特性，制作光学相位掩膜，光学相位掩膜即可实现卷积功能，如图4所示。具体按照计算得到的掩膜加工孔距、尺寸及形状参数，调节飞秒激光的加工参数(波长、功率、脉冲宽度、重复频率及脉冲持续时间等)和扫描镜参(速度、加速度、重叠度等)照射相变材料诱导其相变，获得光学相位掩膜；其中相位掩膜和菲涅尔透镜可以集成在一个玻璃或者晶体内。
根据透镜成像公式计算傅里叶透镜的焦距f，进行傅里叶透镜成像实验，记录成像时的物距u和像距v，利用
Figure GDA0003331460140000041
计算f，多次重复测量取平均值，以精确获得傅里叶透镜焦距，将相位掩膜功能单元和光电转换单元分别放置在傅里叶透镜的焦点位置上，形成光子芯片。利用飞秒激光制作菲涅尔透镜和相位掩膜也需精确控制焦点的距离。
由于制作的透镜焦距较短，微小的变化可能对芯片的精度产生较大的影响，因此，封装过程首先对透镜、相位掩膜进行精确定位，确保其相对位置不变，然后在高温条件下热压成型或贴合定形，以此制备视觉特征成像芯片。

Claims (5)

1.一种光子集成视觉特征成像芯片，其特征在于：由嵌入式光学卷积模块、光电转换模块组成，其中，嵌入式光学卷积模块包括一个及以上基本超短光学成像单元，用于实现卷积功能，光电转换模块由CCD相机、CMOS相机或光电探测器阵列组成；外部像源经光学卷积模块后由光电转换模块成像；
所述的基本超短光学成像单元包含两个傅里叶透镜和一个相位掩膜，相位掩膜位于两个傅里叶透镜的中间且在其焦点上；其中，一个傅里叶透镜用于实现傅里叶变换，另一个傅里叶透镜用于实现逆傅里叶变换；所述的光电转换模块位于实现逆傅里叶变换的傅里叶透镜的另一个焦点上；
所述的傅里叶透镜采用菲涅尔衍射透镜或相变型折射透镜；
所述的相位掩膜由相变材料制成，利用超快激光诱导或其它加工方式使相变材料内部局部折射率改变，以具备卷积功能，其加工参数由计算所需的卷积核及其权重确定。
2.如权利要求1所述的一种光子集成视觉特征成像芯片，其特征在于：所述的相变材料采用光学玻璃或光学晶体，其中，光学玻璃包括石英玻璃、大猩猩玻璃、光敏玻璃、光敏热敏玻璃，光学晶体包括铌酸锂、蓝宝石、钇铝石榴石、氟化锂、硫化锌。
3.如权利要求1所述的一种光子集成视觉特征成像芯片，其特征在于：所述的相位掩膜和傅里叶透镜集成在一个玻璃或者晶体内。
4.如权利要求1所述的一种光子集成视觉特征成像芯片，其特征在于：整个芯片厚度为mm量级。
5.如权利要求1所述的一种光子集成视觉特征成像芯片，其特征在于：芯片的封装过程为：首先对透镜、相位掩膜进行精确定位，确保其相对位置不变，然后在高温条件下将光学卷积模块热压成型或贴合定形。
CN201911033848.3A 2019-10-28 2019-10-28 光子集成视觉特征成像芯片 Active CN110806640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033848.3A CN110806640B (zh) 2019-10-28 2019-10-28 光子集成视觉特征成像芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033848.3A CN110806640B (zh) 2019-10-28 2019-10-28 光子集成视觉特征成像芯片

Publications (2)

Publication Number Publication Date
CN110806640A CN110806640A (zh) 2020-02-18
CN110806640B true CN110806640B (zh) 2021-12-28

Family

ID=69489435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033848.3A Active CN110806640B (zh) 2019-10-28 2019-10-28 光子集成视觉特征成像芯片

Country Status (1)

Country Link
CN (1) CN110806640B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699993A (zh) * 2020-12-11 2021-04-23 北京信息科技大学 一种多层光学卷积神经网络方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7969857B2 (en) * 2003-08-07 2011-06-28 Nortel Networks Limited OFDM system and method employing OFDM symbols with known or information-containing prefixes
JP2007325070A (ja) * 2006-06-02 2007-12-13 Netindex Inc 多重伝送装置および多重伝送方法
CN101802725B (zh) * 2007-05-16 2013-02-13 视瑞尔技术公司 全息显示装置
CN103714531A (zh) * 2013-12-05 2014-04-09 南京理工大学 基于fpga的相位相关法图像配准系统及方法
US10083374B2 (en) * 2016-12-12 2018-09-25 Texas Instruments Incorporated Methods and systems for analyzing images in convolutional neural networks
CN109325589B (zh) * 2017-07-31 2021-06-15 华为技术有限公司 卷积计算方法及装置
CN109841226B (zh) * 2018-08-31 2020-10-16 大象声科（深圳）科技有限公司 一种基于卷积递归神经网络的单通道实时降噪方法
CN109740619B (zh) * 2018-12-27 2021-07-13 北京航天飞腾装备技术有限责任公司 用于目标识别的神经网络终端运行方法和装置
CN110095968B (zh) * 2019-04-24 2021-05-11 清华大学深圳研究生院 一种离轴数字全息图像重建装置和方法及显微成像系统
CN110164470A (zh) * 2019-06-12 2019-08-23 成都嗨翻屋科技有限公司 人声分离方法、装置、用户终端及存储介质
CN110148420A (zh) * 2019-06-30 2019-08-20 桂林电子科技大学 一种适用于噪声环境下的语音识别方法

Also Published As

Publication number Publication date
CN110806640A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
Chai In-sensor computing for machine vision
Krasikov et al. Intelligent metaphotonics empowered by machine learning
Goi et al. Nanoprinted high-neuron-density optical linear perceptrons performing near-infrared inference on a CMOS chip
Cheng et al. LISNN: Improving spiking neural networks with lateral interactions for robust object recognition.
Dhillon et al. Convolutional neural network: a review of models, methodologies and applications to object detection
Xu et al. A survey of approaches for implementing optical neural networks
CN112418403B (zh) 基于光学衍射原理和可编程器件的光学衍射计算处理器
CN111582435B (zh) 基于残差网络的衍射深度神经网络系统
Tapia et al. Gender classification from NIR iris images using deep learning
CN110806640B (zh) 光子集成视觉特征成像芯片
CN113822424B (zh) 一种基于超构表面的全光衍射神经网络系统
US11600060B2 (en) Nonlinear all-optical deep-learning system and method with multistage space-frequency domain modulation
Cheung et al. Characterization of surface defects in fast tool servo machining of microlens array using a pattern recognition and analysis method
WO2022056422A1 (en) Ensemble learning of diffractive neural networks
Midtvedt et al. Deep learning in light–matter interactions
US11425292B1 (en) Method and apparatus for camera-free light field imaging with optoelectronic intelligent computing
Feng et al. Retinomorphic hardware for in‐sensor computing
Yang et al. Research and Application of Visual Object Recognition System Based on Deep Learning and Neural Morphological Computation
CN114334041A (zh) 一种基于Transformer的电磁超材料复杂光谱高精度预测方法
Choi et al. Nanomaterial-based artificial vision systems: from bioinspired electronic eyes to in-sensor processing devices
Su et al. Multitask learning by multiwave optical diffractive network
Marushko et al. Identification of Earth’s surface objects using ensembles of convolutional neural networks
CN116739064A (zh) 神经形态智能光计算架构系统与装置
Phiri et al. Deep Learning Techniques for Photovoltaic Solar Tracking Systems: A Systematic Literature Review
Yang et al. Binary Optical Machine Learning: Million-Scale Physical Neural Networks with Nano Neurons

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant