CN114912599A - 光人工神经网络智能芯片、智能处理设备及制备方法 - Google Patents

光人工神经网络智能芯片、智能处理设备及制备方法 Download PDF

Info

Publication number
CN114912599A
CN114912599A CN202110172841.0A CN202110172841A CN114912599A CN 114912599 A CN114912599 A CN 114912599A CN 202110172841 A CN202110172841 A CN 202110172841A CN 114912599 A CN114912599 A CN 114912599A
Authority
CN
China
Prior art keywords
optical
neural network
artificial neural
filter layer
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110172841.0A
Other languages
English (en)
Inventor
崔开宇
杨家伟
熊健
黄翊东
刘仿
冯雪
张巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110172841.0A priority Critical patent/CN114912599A/zh
Priority to US17/377,217 priority patent/US20220253686A1/en
Priority to PCT/CN2021/115965 priority patent/WO2022166188A1/zh
Publication of CN114912599A publication Critical patent/CN114912599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种光人工神经网络智能芯片、智能处理设备及制备方法，将光滤波器层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，从而智能芯片中的光滤波器层和图像传感器以硬件的方式实现了人工神经网络中输入层和线性层的相关功能，使得后续在使用该智能芯片进行智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，从而大幅降低人工神经网络处理时的功耗和延时。

Description

光人工神经网络智能芯片、智能处理设备及制备方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种光人工神经网络智能芯片、智能处理设备及制备方法。
背景技术
现有的智能识别技术，通常需要先对人或物体成像，然后再将图像输入至神经网络识别模型中进行处理，进而实现对人或物体的识别。
由此可见，目前的智能识别任务，一般依赖于神经网络识别模型，也即目前的智能识别任务，需要先进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。
发明内容
针对现有技术存在的问题，本发明实施例提供一种光人工神经网络智能芯片、智能处理设备及制备方法。
具体地，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供一种光人工神经网络智能芯片，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络智能芯片用于目标对象的智能处理任务；所述智能处理任务至少包括智能感知、智能识别和智能决策任务中的一种或多种；
目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯片中，得到所述目标对象的智能处理结果；所述智能处理结果至少包括智能感知结果、智能识别结果和/或智能决策结果中的一种或多种；
其中，训练好的光人工神经网络智能芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络智能芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络智能芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长
进一步地，所述图像传感器为下述中的任意一项或多项：
CMOS图像传感器CIS、电荷耦合元件CCD、单光子雪崩二极管SPAD阵列和焦平面光电探测器阵列。
进一步地，所述人工神经网络的类型包括：前馈神经网络。
进一步地，所述光滤波器层与所述图像传感器之前设置有透光介质层。
进一步地，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光滤波器层集成在所述金属线层远离所述光探测层的一面；或，
所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光滤波器层集成在所述光探测层远离所述金属线层的一面。
第二方面，本发明实施例提供一种智能处理设备，包括：如第一方面所述的光人工神经网络智能芯片。
进一步地，所述智能处理设备包括智能手机、智能电脑、智能识别设备、智能感知设备和智能决策设备中的一种或多种。
第三方面，本发明实施例提供光人工神经网络智能芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号；所述电信号为经光滤波器层调制后的图像信号。
进一步地，在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
进一步地，当所述光人工神经网络智能芯片用于目标对象的智能处理任务时，利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
本发明实施例还提供了一种光人工神经网络人脸识别芯片，用于人脸识别处理任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光为用户人脸的反射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人脸识别处理结果。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络人脸识别芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与人脸识别任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本为在不同光照环境下由不同人脸反射的入射光；所述输出训练样本包括相应的人脸识别结果。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述偏振无关的微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种人脸识别设备，包括如上面所述的光人工神经网络人脸识别芯片。
本发明实施例还提供了一种如上面所述的光人工神经网络人脸识别芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人脸识别处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光为不同光照环境下的人脸的反射光。
进一步地，所述光人工神经网络人脸识别芯片的制备方法，还包括：对所述光人工神经网络人脸识别芯片的训练过程，具体包括：
利用与人脸识别任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
本发明实施例还提供了一种光人工神经网络血糖检测芯片，用于血糖检测任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；其中，所述入射光包括人体待测部位的反射光和/或透射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到血糖检测结果。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络血糖检测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同血糖值的人体待测部位反射、透射的入射光；所述输出训练样本包括相应的血糖值。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述偏振无关微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种智能血糖检测仪，包括如上面所述的光人工神经网络血糖检测芯片。
本发明实施例还提供了一种如上面所述的光人工神经网络血糖检测芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到血糖检测结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人体待测部位的反射光和/或透射光。
进一步地，所述光人工神经网络血糖检测芯片的制备方法，还包括：对所述光人工神经网络血糖检测芯片的训练过程，具体包括：
利用与血糖检测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
本发明实施例还提供了一种光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到农业精准控制处理结果；
其中，所述农业精准控制智能处理任务包括：土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种；所述农业精准控制处理结果包括：土壤肥力检测结果、农药布撒检测结果、微量元素含量检测结果、抗药性检测结果以及农作物生长状况检测结果中的一种或多种。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
其中，所述输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的土壤肥力；
和/或，
所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农药布撒状况；
和/或，
所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的微量元素含量状况；
和/或，
所述输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的抗药性；
和/或，
所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农作物生长状况。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种智能农业控制设备，包括如上所述的光人工神经网络智能农业精准控制芯片。
本发明实施例还提供了一种如上面所述的光人工神经网络智能农业精准控制芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到农业精准控制处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤。
进一步地，所述光人工神经网络智能农业精准控制芯片的制备方法，还包括：对所述光人工神经网络智能农业精准控制芯片的训练过程，具体包括：
利用与农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
本发明实施例还提供了一种光人工神经网络冶炼终点监测芯片，用于冶炼终点监测任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括炼钢炉口的反射光、透射光和/或辐射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；
其中，所述冶炼终点监测任务包括识别冶炼终点，所述冶炼终点监测结果包括冶炼终点识别结果。
进一步地，所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度，所述冶炼终点监测结果包括冶炼过程中的碳含量和/钢水温度识别结果。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络冶炼终点监测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与冶炼终点监测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由冶炼至终点以及未冶炼至终点的炼钢炉口反射、透射和/或辐射的入射光；所述输出训练样本包括是否冶炼至终点的判定结果。
进一步地，当所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度时，相应地，所述输入训练样本还包括由冶炼至不同碳含量和/钢水温度的炼钢炉口反射、透射和/或辐射的入射光，所述输出训练样本还包括相应的碳含量和/钢水温度。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了智能冶炼控制设备，其特征在于，包括如上所述的光人工神经网络冶炼终点监测芯片。
本发明实施例还提供了一种如上面所述的光人工神经网络冶炼终点监测的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括炼钢炉口的反射光、透射光和/或辐射光。
进一步地，所述光人工神经网络冶炼终点监测芯片的制备方法，还包括：对所述光人工神经网络冶炼终点监测芯片的训练过程，具体包括：
利用与冶炼终点监测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
本发明实施例提供的光人工神经网络智能芯片、智能处理设备及制备方法，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的光人工神经网络智能芯片的结构示意图；
图2是本发明一实施例提供的光人工神经网络智能芯片识别原理示意图；
图3是本发明一实施例提供的光人工神经网络智能芯片拆解示意图；
图4是本发明一实施例提供的目标对象识别过程示意图；
图5是本发明一实施例提供的一种光滤波器层的俯视图；
图6是本发明一实施例提供的另一种光滤波器层的俯视图；
图7是本发明一实施例提供的又一种光滤波器层的俯视图；
图8是本发明一实施例提供的另又一种光滤波器层的俯视图；
图9是本发明一实施例提供的再又一种光滤波器层的俯视图；
图10是本发明一实施例提供的还又一种光滤波器层的俯视图；
图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；
图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；
图13是本发明一实施例提供的前照式的图像传感器结构示意图；
图14是本发明一实施例提供的后照式的图像传感器结构示意图；
图15是本发明第三个实施例提供的光人工神经网络智能芯片的制备方法的流程示意图；
图16是本发明一实施例提供的人脸识别过程示意图；
图17是本发明一实施例提供的手指血糖检测过程示意图；
图18是本发明一实施例提供的手腕血糖检测过程示意图；
图19是本发明一实施例提供的对农业对象进行识别的过程示意图；
图20是本发明一实施例提供的对农作物和/或土壤进行识别或定性分析的立体示意图；
图21是本发明一实施例提供的对冶炼过程中炉口进行识别以确定冶炼终点的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的智能识别技术，通常需要先对人或物体成像，然后再将图像输入至神经网络识别模型中进行处理，进而实现对人或物体的识别。由此可见，目前的智能识别任务，一般依赖于神经网络识别模型，也即目前的智能识别任务，需要先进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。基于此，本发明实施例提供一种光人工神经网络智能芯片，该智能芯片中的光滤波器层对应人工神经网络的输入层，图像传感器对应人工神经网络的线性层，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，本发明实施例利用光滤波器层和图像传感器将目标对象的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。下面将通过具体实施例对本发明提供的内容进行详细解释和说明。
如图1所示，本发明第一个实施例提供的光人工神经网络智能芯片，包括：光滤波器层1、图像传感器2和处理器3；所述光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器2对应人工神经网络的线性层；所述处理器3对应人工神经网络的非线性层以及输出层；
所述光滤波器层1设置于所述图像传感器的感光区域的表面，所述光滤波器层1包含有光调制结构，所述光滤波器层1用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行随波长变化强度调制的频谱调制，即对不同波长的入射光进行不同的强度调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器2用于将与不同位置点经光滤波器层1调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器3；所述电信号为经光滤波器层调制后的图像信号；
所述处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
在本实施例中，光滤波器层1设置于图像传感器的感光区域的表面，光滤波器层1包含有光调制结构，光滤波器1层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的调制后的入射光携带信息，相应地，图像传感器2用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，即经光滤波器层调制后的图像信号，与此同时，处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
在本实施例中，光滤波器层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别目标的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2感光区域的表面得到与不同位置点对应的入射光携带信息。
在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。
在本实施例中，可以理解的是，光滤波器层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经网络的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光滤波器层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。
在本实施例中，图像传感器2将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的线性层。
在本实施例中，处理器3将不同位置点的电信号进行全连接处理与非线性激活处理，进而得到人工神经网络的输出信号。
可以理解的是，处理器3对应神经网络的非线性层以及输出层，也可以理解成对应神经网络中除输入层和线性层以外的剩余层(其他所有层)。
此外，需要补充说明的是，处理器3可以设置在所述智能芯片内，也即所述处理器3可以和所述滤波器层1以及图像传感器2一起设置在智能芯片内，也可以单独地设置在智能芯片外，并通过数据线或连接器件与智能芯片内中的图像传感器2连接，本实施例对此不作限定。
此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的ARM或FPGA电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述智能芯片内，也可以独立于所述智能芯片外设置。当所述处理器3独立于所述智能芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。
在本实施例中，可以理解的是，处理器3在进行非线性激活处理时，可以采用非线性激活函数实现，例如可以采用Sigmoid函数、Tanh函数、ReLU函数等，本实施例对此不作限定。
在本实施例中，光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网的线性层，将空间不同位置点的入射光携带信息转化为电信号，处理器3对应人工神经网络的非线性层以及输出层，将不同位置的电信号进行全连接，经由非线性激活函数得到人工神经网络的输出信号，实现对特定目标的智能感知、识别和/或决策。
如图2左侧所示，光人工神经网络智能芯片包括光滤波器层1、图像传感器2和处理器3，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，光人工神经网络智能芯片中的光滤波器层1对应人工神经网络的输入层，图像传感器2对应人工神经网络的线性层，处理器3对应人工神经网络的非线性层和输出层，光滤波器层1对进入光滤波器层1的入射光的滤波作用对应输入层到线性层的连接权重，由此可见，本实施例提供的智能芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该智能芯片进行智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。
如图2右侧所示，将光滤波器层1不同位置处的入射光频谱Pλ投影/连接到图像传感器的光电流响应Iλ上，处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出至传输到计算机中，由计算机进行电信号的全连接处理与非线性激活处理，最后输出结果。
如图3所示，光滤波器层1上的光调制结构集成在图像传感器2上方，对入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光滤波器层1后，由图像传感器2转换成电信号，形成包含入射光的频谱信息的图像，最后由与图像传感器2连接的处理器3对包含入射光的频谱信息和图像信息的电信号进行处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对目标对象的智能识别。
由此可见，本实施例提供的光人工神经网络芯片可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即目标对象空间不同点处的光携带信息，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区分是真实人物还是图片的问题，实现面向不同应用领域的智能感知、识别和/或决策功能，并且实现了低功耗、低延时和高准确率的频谱光人工神经网智能芯片。
本发明实施例提供的光人工神经网络智能芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。
此外，需要说明的是，现有技术中在对人或物体进行识别时，只利用了人或物体的二维图像信息，然而二维图像信息难以保证识别的准确性，例如难以区分真实的人脸和人脸照片。因此，基于此，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息和光谱信息，从而使得在利用本申请提供的光人工神经网络智能芯片执行智能识别任务时，可以同时利用待识别对象的光强度分布信息和光谱信息，由此可见，由于入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区分是真实人物还是图片的问题，从而能够更为准确地实现对待识别对象的识别。此外，在另一种实现方式中，所述入射光携带信息还可以进一步包括光强度分布信息、光谱信息、入射光的角度信息，从而能够更加全面的捕捉目标对象的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对待识别对象的识别。此外，在另一种实现方式中，所述入射光携带信息还可以进一步包括光强度分布信息、光谱信息、入射光的角度信息和入射光相位信息，从而能够更加全面的捕捉目标对象的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对待识别对象的识别。
本发明实施例提供的光人工神经网络智能芯片，包括光滤波器层、图像传感器和处理器，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将目标对象的入射光携带信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了目标对象的图像信息、光谱信息、入射光的角度信息和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区分是真实人物还是图片的问题，由此可见，本发明实施例提供的光人工神经网络芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果，从而可以为应用于智能感知、识别和/或决策等智能处理任务做好准备。
基于上述实施例的内容，在本实施例中，所述光人工神经网络智能芯片用于目标对象的智能处理任务；所述智能处理任务至少包括智能感知、智能识别和智能决策任务中的一种或多种；
目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯片中，得到所述目标对象的智能处理结果；所述智能处理结果至少包括智能感知结果、智能识别结果和/或智能决策结果中的一种或多种；
训练好的光人工神经网络智能芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络智能芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络智能芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
在本实施例中，光人工神经网络智能芯片可以用于目标对象的智能处理任务，例如，包括智能感知、智能识别和智能决策任务中的一种或多种任务。
在本实施例中，可以理解的是，智能感知是指将物理世界的信号通过摄像头、麦克风或者其他传感器的硬件设备，借助语音识别、图像识别等前沿技术，映射到数字世界，再将这些数字信息进一步提升至可认知的层次，比如记忆、理解、规划、决策等等。智能识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，现阶段智能识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中，商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。智能决策是指解决由计算机自动组织和协调多模型运行，对大量数据库中数据的存取和处理，进行相应数据处理和数值计算。
在本实施例中，目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯片中，得到目标对象的智能处理结果。
在本实施例中，以目标对象的识别任务为例进行说明，可以理解的是，在利用该智能芯片进行识别任务时，首先需要对光人工神经网络智能芯片进行训练，这里对光人工神经网络智能芯片进行训练是指通过训练确定适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数。
可以理解的是，由于光滤波器层对进入光滤波器层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光滤波器层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数，从而完成对智能芯片的训练。
可以理解的是，在对智能芯片训练后，就可以使用该智能芯片执行识别任务。具体地，携带有目标对象图像信息以及空间光谱信息的入射光进入训练好的智能芯片的光滤波器层1后，光滤波器层1中的光调制结构会对入射光进行调制，调制后的光信号强度由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理与非线性激活处理，就能得到目标对象的识别结果。
如图4所示，对于目标对象识别的完整流程为：宽谱光源100照射到目标对象200上，然后目标对象的反射光或透射光由光人工神经网络智能芯片300采集，或者目标对象直接向外辐射的光由光人工神经网络智能芯片300采集，由智能芯片中的光滤波器层、图像传感器和处理器进行处理后，即可得到识别结果。
其中，训练好的光人工神经网络智能芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络智能芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络智能芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
举例来说，对于智能识别任务来说，与智能识别任务对应的输入训练样本为识别对象样本，与智能识别任务对应的输出训练样本为所述识别对象样本的识别结果。可以理解的是，对于识别任务来说，由于本实施例提供的智能芯片的优势还在于能够获取到识别对象的空间光谱信息，因此，为充分利用该优势，对于作为输入训练样本的识别对象样本优先采用真实的识别对象，而不是识别对象的二维图像。当然，这并不代表不可以将二维图像作为识别对象样本。
此外，在本实施例提供的光人工神经网络智能芯片还可以用于目标对象的其他智能处理任务，如智能感知、智能决策等任务。
在本实施例中，光滤波器层1作为神经网络的输入层，图像传感器2作为神经网络的线性层，为了使神经网络的损失函数最小，将光滤波器层中的光调制结构对目标对象的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整滤波器的结构可以调整目标对象的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。
因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对训练样本进行光学仿真，获取训练样本中光调制结构对智能处理任务中目标对象的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与智能处理任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的训练样本光调制结构作为对应智能处理任务的光滤波器层。
由此可见，本实施例通过在物理层实现神经网络的输入层(光滤波器层)和线性层(图像传感器)，不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了目标对象的图像信息、光谱信息、入射光的角度信息和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区分是真实人物还是图片的问题，由此可见，本发明实施例提供的光人工神经网络芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果，从而可以为应用于智能感知、识别和/或决策等智能处理任务做好准备。
基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，光学仿真能让用户在制作物理原型之前就通过数字环境体验产品，例如对于汽车来说，因为光照及反射光会干扰驾驶员注意力，尤其是在夜间行驶的情况下，合适的光学仿真解决方案不仅能有效帮助用户提高设计效率，还能对光线与材料的交互进行仿真，以便了解产品在真实条件下的展示效果。因此，本实施例通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。
例如，可以通过FDTD软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对光人工神经网络智能芯片进行训练，准确获取光调制结构。
由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。
基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
在本实施例中，所述光滤波器层中的光调制结构可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
在本实施例中，这里光调制结构包括规则结构可以指：光调制结构包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
在本实施例中，所述光滤波器层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述光滤波器层为单层结构或多层结构。
在本实施例中，需要说明的是，所述光滤波器层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。
在本实施例中，如图1所示，所述光滤波器层1为单层结构，光滤波器层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。
可以理解的是，由于光滤波器层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、III-V族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优选地，可以将所述光滤波器层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光滤波器层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高智能芯片在处理智能任务时的准确度。
此外，需要说明的是，对于包含多层结构的滤波器层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光滤波器层1，第一层可以为硅层，第二层可以为氮化硅层。
需要说明的是，光滤波器层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。
基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。
下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光滤波器层1包含多个重复的连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光滤波器层1包含多个互不相同的微纳单元，也即智能芯片上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升识别的准确率。如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。
在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
在本实施例中，所述微纳单元可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
在本实施例中，所述光滤波器层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。
需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
在本实施例中，为了能够获取目标对象的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对目标对象的入射光进行宽带滤波或窄带滤波，获取目标对象的入射光不同波长成分的调制强度。如图11和图12所示，光滤波器层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。
可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。
在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光滤波器层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。
需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。
如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。
需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。
基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。
在本实施例中，由于微纳单元具有偏振无关特性，因此使得光滤波器层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的光人工神经网络智能芯片。本发明实施例提供的光人工神经网络智能芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测量性能的稳定性，进而可以保证智能处理的稳定性，如智能感知的稳定性、智能识别的稳定性、智能决策的稳定性等等。需要说明的是，微纳单元也可以具有偏振相关特性。
基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。
在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。
下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90°、180°、270°后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的智能识别效果。
基于上述实施例的内容，在本实施例中，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP(Surface Plasmon Polaritons，SPP)微纳结构、可调法布里-珀罗谐振腔(Fabry-perot Cavity，FP腔)中的一种或多种制备的滤波器层。
所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
其中，光子晶体，以及超表面与随机结构组合可采用CMOS工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；SPP体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。
基于上述实施例的内容，在本实施例中，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
在本实施例中，需要说明的是，若光滤波器层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光滤波器层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光滤波器层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ2，厚度通常为0.1λ～10λ(λ表示目标对象的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm2～40000μm2，光滤波器层1中的介质材料为多晶硅，厚度为50nm～2μm。
基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：
CMOS图像传感器(Contact Image Sensor，CIS)、电荷耦合元件(Charge CoupledDevice，CCD)、单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)阵列和焦平面光电探测器阵列。
在本实施例中，需要说明的是，采用晶圆级别的CMOS图像传感器CIS，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光滤波器层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，SPAD可以用于弱光探测，CCD可以用于强光探测。
在本实施例中，光滤波器层和图像传感器可以由互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)集成工艺制造，有利于降低器件失效率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光滤波器层。
基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。
在本实施例中，前馈神经网络(Feedforward Neural Network，FNN)，又称作深度前馈网络(Deep Feedforward Network，DFN)、多层感知机(Multi-Layer Perceptron，MLP)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数.而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。
基于上述实施例的内容，在本实施例中，所述光滤波器层与所述图像传感器之前设置有透光介质层。
在本实施例中，需要说明的是，在所述光滤波器层与所述图像传感器之间设置透光介质层，可以有效将光滤波器层与图像传感器层分开，避免两者相互干扰。
基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光滤波器层集成在所述金属线层远离所述光探测层的一面；或，
所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光滤波器层集成在所述光探测层远离所述金属线层的一面。
在本实施例中，如图13所示为前照式的图像传感器，硅探测层21在金属线层22下方，光滤波器层1直接集成到金属线层22上。
在本实施例中，与图13不同的是，图14所示为背照式的图像传感器，硅探测层21在金属线层22上方，光滤波器层1直接集成到硅探测层21上。
需要说明的是，对于背照式的图像传感器，硅探测层21在金属线层22上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。
根据上面的内容可知，本实施例将光滤波器层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，本实施例提供的光人工神经网络智能芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该智能芯片进行智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本实施例由于同时利用了目标对象的图像信息和空间不同点处的光谱信息，从而可以更加准确地实现对目标对象的智能处理。
基于相同的发明构思，本发明另一实施例提供了一种智能处理设备，包括：如上面实施例所述的光人工神经网络智能芯片。所述智能处理设备包括智能手机、智能电脑、智能识别设备、智能感知设备和智能决策设备中的一种或多种。
由于本实施例提供的智能处理设备包括上述实施例所述的光人工神经网络智能芯片，因此，本实施例提供的智能处理设备具备上述实施例所述的光人工神经网络智能芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的光人工神经网络智能芯片的制备方法，如图15所示，具体包括如下步骤：
步骤1510、在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
步骤1520、生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
步骤1530、连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
当所述光人工神经网络智能芯片用于目标对象的智能处理任务时，利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
在本实施例中，需要说明的是，如图1所示，光滤波器层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光滤波器层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。
在本实施例中，需要说明的是，如图14所示，假设图像传感器2为背照式结构，则光滤波器层1可以在背照式的图像传感器的硅探测器层21上直接刻蚀，然后再沉积金属进行制备得到。
此外，需要说明的是，所述光滤波器层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过PDMS等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光滤波器层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的光人工神经网络智能芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。
基于此，本发明实施例提供的光人工神经网络智能芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时，而且本发明实施例还可以同时利用目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息，即目标对象空间不同点处的入射光携带信息，由此可见，由于目标对象空间不同点处的入射光携带信息涵盖了目标对象的图像、成分、形状、三维深度、结构等信息，从而在依据目标对象空间不同点处的入射光携带信息进行识别处理时，可以涵盖目标对象的图像、成分、形状、三维深度、结构等多维度的信息，从而可以提高智能处理(如智能识别)的准确性，由此可见，本发明实施例提供的光人工神经网络芯片，不但能够实现低功耗和低延时的效果，还能够提高智能处理的准确率，从而可以较好地应用在智能感知、识别和/或决策等智能处理领域。
可以理解的是，人脸识别技术是一种生物特征识别技术，广泛应用于门禁考勤系统、刑侦系统、电子商务等领域。现有的人脸识别技术，通常需要先对人脸成像，然后再将人脸图像输入至神经网络识别模型中进行处理，进而实现对人脸的识别。由此可见，目前的人脸识别任务，一般依赖于神经网络识别模型，也即目前的人脸识别任务，需要先进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。因此，挖掘更多的人脸信息，实现更高准确率、安全可靠的快速人脸识别具有重要意义。
为此，基于前述实施例介绍的光人工神经网络智能芯片，本实施例提供一种用于人脸准确识别的新型光电芯片，该芯片由光滤波器层构成光人工神经网络的输入层以及输入层到线性层的连接权重，由图像传感器构成光人工神经网络的线性层，通过采集待识别人脸的图像信息和光谱信息，可以实现快速准确、安全可靠的人脸识别。下面具体对本实施例的内容进行详细解释和说明。
本发明实施例还提供了一种光人工神经网络人脸识别芯片，用于人脸识别处理任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括用户人脸的反射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人脸识别处理结果。
由此可见，本实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络人脸识别芯片，用于人脸识别任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光滤波器层作为人工神经网络的输入层以及输入层到线性层的连接权重，将硬件芯片上的图像传感器作为人工神经网络的线性层，本发明实施例将人脸的空间光谱信息入射到预先训练好的硬件芯片中，通过硬件芯片对人脸的空间光谱信息进行人工神经网络分析进而得出人脸识别结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确人脸识别。
可以理解的是，在该光人工神经网络人脸识别芯片中，其上的硬件结构-光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。具体地，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该人脸识别芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该人脸识别芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该人脸识别芯片进行人工神经网络人脸识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由人脸识别芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络人脸识别时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将人脸的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用人脸的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对人脸进行识别，从而可以更加准确地实现人脸识别。
由此可见，本发明实施例可以同时利用人脸的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即人脸空间不同点处的入射光携带信息，由此可见，由于人脸空间不同点处的入射光携带信息涵盖了人脸的图像、成分、形状、三维深度、结构等信息，从而在依据人脸空间不同点处的入射光携带信息进行识别处理时，可以涵盖人脸的图像、成分、形状、三维深度、结构等多维度的信息，从而可以准确地进行人脸识别。
进一步地，所述光人工神经网络人脸识别芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与人脸识别任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由不同人脸反射的入射光；所述输出训练样本包括相应的人脸识别结果。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，由于增加了光的频谱调制，可以实现输入为物体图像及其频谱的人工神经网光电芯片，可以实现快速准确、安全可靠的活体人脸识别。
在本实施例中，对于人脸识别，可以先对大量人群的人脸进行采集，通过数据训练得到输入层到线性层的权重，即光滤波器层的系统函数，便可以逆向设计出所需的光滤波器层，将其集成在图像传感器上方。在实际训练时，利用待识别的人脸样本，利用制作完成的光滤波器层的输出，对电信号全连接层的权重进一步训练并优化，便可实现高准确率的光人工神经网络，完成对用户人脸的快速准确识别。
可以理解的是，光滤波器层上的调制结构的具体调制图案是通过前期采集大量人群的人脸，由人工神经网络数据训练设计得到的，通常是不规则形状的结构，当然也有可能是规则形状的结构。
如图16所示，对于人脸识别的完整流程为：环境光或其他光源照射到用户人脸上，然后反射光由芯片采集，经内部处理后得到识别结果。
可以理解的是，该芯片实际上同时利用了人脸的图像信息、光谱信息、入射光的角度信息和入射光的相位信息，提高了人脸识别的准确性和安全性，尤其对于非活体的人脸模型也能够准确地将其排除在外。同时该芯片在硬件上部分实现了人工神经网络，提高了人脸识别的速度。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种人脸识别设备，包括上面实施例所述的光人工神经网络人脸识别芯片。该人脸识别设备可以为便携式的人脸识别设备，也可以是安装在固定位置的人脸识别设备。由于该人脸识别设备具有和上述光人工神经网络人脸识别芯片类似的有益效果，故此处不再赘述。
本发明实施例还提供了一种如上面所述的光人工神经网络人脸识别芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人脸识别处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人脸的反射光。
进一步地，所述光人工神经网络人脸识别芯片的制备方法，还包括：对所述光人工神经网络人脸识别芯片的训练过程，具体包括：
利用与人脸识别任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
需要说明的是，本实施例提供的基于微纳调制结构和图像传感器的光人工神经网络人脸识别芯片有以下效果：A、将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的人脸识别。B、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。C、在晶圆级别实现单片集成，可以最大程度减小传感器与光滤波器层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
需要说明的是，关于本实施例提供的光人工神经网络人脸识别芯片的详细结构类描述，可参见前述实施例中对于光人工神经网络芯片的介绍，为避免赘述，此处不再介绍。此外，关于光人工神经网络人脸识别芯片制备方法的详细介绍，也可以参见前述实施例中对于光人工神经网络芯片制备方法的介绍，此处不再赘述。
目前无创血糖检测的方法主要有光学和辐射方法、反向离子电渗分析法、电磁波法、超声波法以及组织液提取法等。例如，近红外光谱检测法主要利用血糖浓度与其近红外光谱吸收之间的关系，用近红外光照射皮肤，并从反射光强度变化来反映出血糖浓度。这种方法具有测量快速、无需化学试剂及消耗品等优点，但是由于被测对象的个体差异大，且取得的信号又非常微弱，因此在测量部位选择、测量条件选取、重叠光谱中提取微弱化学信息的方法等关键性技术方面还有待进一步解决。且信号处理系统体积大，无法随身携带。还有皮下组织液检测法，通过测量皮下渗出的组织液的葡萄糖浓度来反映血糖浓度。根据此原理可制成检测葡萄糖的手表，并可实时连续监控血糖浓度，然而这种方法准确性较差，且反应速度慢，因此很难替代现有的有创血糖仪。因此，无创伤血糖检测成为治疗糖尿病的迫切需求。
为此，基于前述实施例介绍的光人工神经网络智能芯片，本实施例提供一种用于血糖检测的新型光电芯片，该芯片由光滤波器层构成光人工神经网络的输入层以及输入层到线性层的连接权重，由图像传感器构成光人工神经网络的线性层，通过采集人体待测部位的图像信息和光谱信息，可以实现快速准确、安全可靠的无创血糖检测。下面具体对本实施例的内容进行详细解释和说明。
本发明实施例还提供了一种光人工神经网络血糖检测芯片，用于血糖检测任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括人体待测部位的反射光和/或透射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到血糖检测结果。
由此可见，本实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络血糖检测芯片，用于血糖检测任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光滤波器层作为人工神经网络的输入层以及输入层到线性层的连接权重，将硬件芯片上的图像传感器作为人工神经网络的线性层，本发明实施例将人体待测部位的空间光谱信息入射到预先训练好的硬件芯片中，通过硬件芯片对人体待测部位的空间光谱信息进行人工神经网络分析进而得出血糖检测结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确无创血糖检测。
可以理解的是，在该光人工神经网络血糖检测芯片中，其上的硬件结构-光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。具体地，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该血糖检测芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该血糖检测芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该血糖检测芯片进行人工神经网络血糖检测处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由人脸识别芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络人脸识别时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将人体待测部位的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用人体待测部位的血液的的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息，从而可以更加准确地进行血糖检测，实现无创血糖检测。
本发明实施例可以同时利用了人体待测部位的血液的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即人体待测部位血液空间不同点处的入射光携带信息，由此可见，由于人体待测部位血液空间不同点处的入射光携带信息涵盖了人体待测部位血液的图像、成分、形状、三维深度、结构等信息，从而在依据人体待测部位空间血液不同点处的入射光携带信息进行识别处理时，可以涵盖人体待测部位血液的图像、成分、形状、三维深度、结构等多维度的信息，从而可以准确地进行血糖检测。
进一步地，所述光人工神经网络血糖检测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与血糖检测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同血糖值的人体待测部位反射、透射和/或辐射的入射光；所述输出训练样本包括相应的血糖值。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，由于增加了光的频谱调制，可以实现输入为人体待测部位图像及其频谱的人工神经网光电芯片，可以实现快速准确、安全可靠的无创血糖检测。
在本实施例中，对于无创血糖检测，可以先对大量具备血糖信息的人体部位对应的光谱信号数据进行采集，并用计算机模拟入射光经过微纳调制结构的响应，通过数据训练，可以逆向设计出所需的微纳调制结构，将其集成在图像传感器上方。在用户检测血糖的过程中，通过对不同波长的入射光调制得到的电信号进行算法还原，便可实现对该用户血糖值的快速准确检测。
可以理解的是，光滤波器层上的调制结构的具体调制图案是通过前期采集大量具备血糖信息的人体部位对应的光谱信号数据，由人工神经网络数据训练设计得到的，通常是不规则形状的结构，当然也有可能是规则形状的结构。
如图17所示，对于血糖检测的完整流程为：环境光或其他光源照射到人体待测部位(手指)上，然后反射光由芯片采集，经内部处理后得到血糖检测结果。如图18所示，对于血糖检测的完整流程为：环境光或其他光源照射到人体待测部位(手腕)上，然后反射光由芯片采集，经内部处理后得到血糖检测结果。
可以理解的是，该芯片实际上同时利用了人体待测部位的图像信息和光谱信息，提高了血糖检测的准确性和安全性。同时该芯片在硬件上部分实现了人工神经网络，提高了血糖检测的速度。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种智能血糖检测仪，包括上面实施例所述的光人工神经网络血糖检测芯片，该血糖检测仪可以为可穿戴式血糖检测仪。由于该智能血糖检测仪具有和上述光人工神经网络血糖检测芯片类似的有益效果，故此处不再赘述。
本发明实施例还提供了一种如上面所述的光人工神经网络血糖检测芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到血糖检测结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人体待测部位的反射光和/或透射光。
进一步地，所述光人工神经网络血糖检测芯片的制备方法，还包括：对所述光人工神经网络血糖检测芯片的训练过程，具体包括：
利用与血糖检测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
需要说明的是，本实施例提供的基于微纳调制结构和图像传感器的光人工神经网络血糖检测芯片有以下效果：A、将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的非侵入式血糖检测。B、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。C、在晶圆级别实现单片集成，可以最大程度减小传感器与光滤波器层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
需要说明的是，关于本实施例提供的光人工神经网络血糖检测芯片的详细结构类描述，可参见前述实施例中对于光人工神经网络芯片的介绍，为避免赘述，此处不再介绍。此外，关于光人工神经网络血糖检测芯片制备方法的详细介绍，也可以参见前述实施例中对于光人工神经网络智能芯片制备方法的介绍，此处不再赘述。
精准农业是由信息技术支持的根据空间变异，定位、定时、定量地实施一整套现代化农事操作技术与管理的系统，其基本涵义是根据作物生长的土壤性状，调节对作物的投入，判断农田内部的土壤性状与生产力空间变异，另一方面确定农作物的生产目标，进行定位的“系统诊断、优化配方、技术组装、科学管理”，调动土壤生产力，以最少的或最节省的投入达到同等收入或更高的收入，并改善环境，高效地利用各类农业资源，取得经济效益和环境效益。
目前在进行精准农业控制时，通常需要先对土壤成像，然后再将图像输入至神经网络识别模型中进行处理，进而实现对土壤肥力的识别。由此可见，目前的土壤肥力识别任务，一般依赖于神经网络识别模型，也即目前的土壤肥力识别任务，需要先进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。此外，对于农作物生长状况的识别也存在类似的问题。
精准农业的技术原理是根据土壤肥力和农作物生长状况的空间差异，调节对作物的投入，当对土壤肥力和农作物生长状况识别不准确以及存在较大的功耗和时延时，将会严重影响精准农业的发展。
为此，基于前述实施例介绍的光人工神经网络智能芯片，本实施例提供一种用于农业精准控制智能处理任务的新型光电芯片，该芯片由光滤波器层构成光人工神经网络的输入层以及输入层到线性层的连接权重，由图像传感器构成光人工神经网络的线性层，通过采集农田土壤及作物的图像信息和光谱信息，可以实现快速准确、安全可靠的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。下面具体对本实施例的内容进行详细解释和说明。
本发明实施例还提供了一种光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到农业精准控制处理结果；
其中，所述农业精准控制智能处理任务包括：土壤肥力检测、农药布撒检测、微量元素含量检测、抗药性检测以及农作物生长状况检测中的一种或多种；所述农业精准控制处理结果包括：土壤肥力检测结果、农药布撒检测结果、微量元素含量检测结果、抗药性检测结果以及农作物生长状况检测结果中的一种或多种。
由此可见，本实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络智能农业精准控制芯片，用于农业精准控制智能处理任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光滤波器层作为人工神经网络的输入层以及输入层到线性层的连接权重，将硬件芯片上的图像传感器作为人工神经网络的线性层，本发明实施例将农田土壤及作物的空间光谱信息入射到预先训练好的硬件芯片中，通过硬件芯片对农田土壤及作物的空间光谱信息进行人工神经网络分析进而得出农业精准控制处理结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确的土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。
可以理解的是，在该光人工神经网络智能农业精准控制芯片中，其上的硬件结构-光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。具体地，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该智能农业精准控制芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能农业精准控制芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能农业精准控制芯片进行人工神经网络农业精准控制智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能农业精准控制芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络智能农业精准控制时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将人脸的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用农田土壤及作物的的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对农田土壤及作物的进行识别，从而可以更加准确地实现对土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。
本发明实施例可以同时利用农田土壤及作物的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即农田土壤及作物空间不同点处的入射光携带信息，由此可见，由于农田土壤及作物空间不同点处的入射光携带信息涵盖了农田土壤及作物的图像、成分、形状、三维深度、结构等信息，从而在依据农田土壤及作物空间不同点处的入射光携带信息进行识别处理时，可以涵盖农田土壤及作物的图像、成分、形状、三维深度、结构等多维度的信息，从而可以准确地进行土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。
进一步地，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与所述农业精准控制智能处理任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
其中，所述输入训练样本包括由具备不同肥力的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的土壤肥力；
和/或，
所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农药布撒状况；
和/或，
所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的微量元素含量状况；
和/或，
所述输入训练样本包括由具备不同抗药性的土壤反射、透射和/或辐射的入射光；所述输出训练样本包括相应的抗药性；
和/或，
所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入射光；所述输出训练样本包括相应的农作物生长状况。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，对于农业精准控制智能处理任务，可以先对大量不同状态、位置的土壤样本、农作物样本进行采集，通过数据训练得到输入层到线性层的权重，即光滤波器层的系统函数，便可以逆向设计出所需的光滤波器层，将其集成在图像传感器上方。在实际训练时，利用土壤样本、农作物样本，利用制作完成的光滤波器层的输出，对电信号全连接层的权重进一步训练并优化，便可实现高准确率的光人工神经网络，完成对土壤肥力、农药布撒情况、微量元素含量以及作物生长状况等的识别和定性分析。
可以理解的是，光滤波器层上的调制结构的具体调制图案是通过前期采集大量不同状态、位置的土壤样本、农作物样本，由人工神经网络数据训练设计得到的，通常是不规则形状的结构，当然也有可能是规则形状的结构。
如图19所示，对于农业对象识别的完整流程为：环境光或其他光源照射到农业对象上，然后反射光由芯片采集，经内部处理后得到识别结果。如图20所示，由光谱、图像采集器采集农田土壤、农作物的光谱数据及图像，然后反射光由精准农业控制芯片采集，再经处理器的内部算法处理，即可得到识别结果。
可以理解的是，该芯片实际上同时利用了农田土壤及作物的图像信息和光谱信息，实现安全可靠、快速准确的精准农业控制。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种智能农业控制设备，包括：如上面实施例所述的光人工神经网络智能农业精准控制芯片。所述智能农业控制设备可以包括施肥机设备、撒药机设备、抗药性分析设备、无人机设备、农业智能机器人设备、农作物健康分析设备、农作物生长状监测设备等。
本发明另一实施例提供了一种如上面所述实施例的光人工神经网络智能农业精准控制芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到农业精准控制处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括农业对象的反射光、透射光和/或辐射光；所述农业对象包括农作物和/或土壤。
进一步地，所述光人工神经网络智能农业精准控制芯片的制备方法，还包括：对所述光人工神经网络智能农业精准控制芯片的训练过程，具体包括：
利用与农业精准控制智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
需要说明的是，本实施例提供的基于微纳调制结构和图像传感器的光人工神经网络智能农业精准控制芯片有以下效果：A、将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的精准农业控制。B、可对土壤、农作物等引入人工神经网训练识别，便于后续集成到无人机、智能机器人等工业智能控制系统实现大区域的精准农业控制，且识别准确性高、定性分析精准。C、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。D、在晶圆级别实现单片集成，可以最大程度减小传感器与光滤波器层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
需要说明的是，关于本实施例提供的光人工神经网络智能农业精准控制芯片的详细结构类描述，可参见前述实施例中对于光人工神经网络智能芯片的介绍，为避免赘述，此处不再介绍。此外，关于光人工神经网络智能农业精准控制芯片制备方法的详细介绍，也可以参见前述实施例中对于光人工神经网络智能芯片制备方法的介绍，此处不再赘述。
转炉炼钢是目前世界上应用最广泛、最高效的炼钢方法，冶炼终点控制是转炉生产中的关键技术之一，终点的准确判断在提高钢水质量、缩短冶炼周期方面具有重要的意义。但由于入炉原料不稳定、复杂的化学反应和所炼钢种的严格等原因，冶炼终点的准确控制仍是难点。对终点碳含量、钢水温度进行准确地在线检测，一直是全世界冶金行业亟待解决的难题。目前行业内用于终点控制主要依赖人工经验、或复杂的大型仪器设备测炉口温度及炉渣残留物定性测量，精度低且成本较高。
为此，基于前述实施例介绍的光人工神经网络智能芯片，本实施例提供一种用于冶炼终点监测的新型光电芯片，该芯片由光滤波器层构成光人工神经网络的输入层以及输入层到线性层的连接权重，由图像传感器构成光人工神经网络的线性层，通过采集炼钢炉口的图像信息和光谱信息，可以实现快速准确、安全可靠的识别冶炼终点。下面具体对本实施例的内容进行详细解释和说明。
本发明实施例还提供了一种光人工神经网络冶炼终点监测芯片，用于冶炼终点监测任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括炼钢炉口的反射光、透射光和/或辐射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；
其中，所述冶炼终点监测任务包括识别冶炼终点，所述冶炼终点监测结果包括冶炼终点识别结果。
由此可见，本实施例实现了一种能够实现人工神经网络功能的全新光人工神经网络冶炼终点监测芯片，用于冶炼终点监测任务，本发明实施例在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光滤波器层作为人工神经网络的输入层以及输入层到线性层的连接权重，将硬件芯片上的图像传感器作为人工神经网络的线性层，本发明实施例将炼钢炉口的空间光谱信息入射到预先训练好的硬件芯片中，通过硬件芯片对炼钢炉口的空间光谱信息进行人工神经网络分析进而得出冶炼终点识别结果，需要说明的是，本发明实施例实现了低功耗、安全可靠的快速准确冶炼终点识别。
可以理解的是，在该光人工神经网络冶炼终点监测芯片中，其上的硬件结构-光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。具体地，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该冶炼终点监测芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该冶炼终点监测芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该冶炼终点监测芯片进行人工神经网络冶炼终点识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由冶炼终点监测芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络冶炼终点监测时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将炼钢炉口的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用炼钢炉口的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对炼钢炉口进行识别，从而可以更加准确地实现对冶炼终点的识别。
本发明实施例可以同时利用炼钢炉口的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即炼钢炉口空间不同点处的入射光携带信息，由此可见，由于炼钢炉口空间不同点处的入射光携带信息涵盖了炼钢炉口的图像、成分、形状、三维深度、结构等信息，从而在依据炼钢炉口空间不同点处的入射光携带信息进行识别处理时，可以涵盖炼钢炉口的图像、成分、形状、三维深度、结构等多维度的信息，从而可以准确地进行冶炼终点识别。
进一步地，所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度，所述冶炼终点监测结果包括冶炼过程中的碳含量和/钢水温度识别结果。
进一步地，所述光人工神经网络冶炼终点监测芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与冶炼终点监测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由冶炼至终点以及未冶炼至终点的炼钢炉口反射、透射和/或辐射的入射光；所述输出训练样本包括是否冶炼至终点的判定结果。
进一步地，当所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度时，相应地，所述输入训练样本还包括由冶炼至不同碳含量和/钢水温度的炼钢炉口反射、透射和/或辐射的入射光，所述输出训练样本还包括相应的碳含量和/钢水温度。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，对于冶炼终点识别，可以先对大量终点时刻的转炉炉口图像和光谱信息进行采集，通过数据训练得到输入层到线性层的权重，即光滤波器层的系统函数，便可以逆向设计出所需的光滤波器层，将其集成在图像传感器上方。在实际训练时，利用待识别的炼钢炉口样本，利用制作完成的光滤波器层的输出，对电信号全连接层的权重进一步训练并优化，便可实现高准确率的光人工神经网络，完成对冶炼终点的快速准确识别。
可以理解的是，光滤波器层上的调制结构的具体调制图案是通过前期采集大量终点时刻的转炉炉口图像和光谱信息，由人工神经网络数据训练设计得到的，通常是不规则形状的结构，当然也有可能是规则形状的结构。
如图21所示，对于炼钢炉口进行识别以确定是否为冶炼终点的完整流程为：环境光或其他光源照射到炼钢炉口上，然后反射光由芯片采集，经内部处理后得到识别结果。
可以理解的是，该芯片实际上同时利用了炼钢炉口的图像信息和光谱信息，提高了冶炼终点识别的准确性。同时该芯片在硬件上部分实现了人工神经网络，提高了冶炼终点识别的速度。此外，该芯片方案可以利用现有的CMOS工艺实现量产，降低了器件的体积、功耗和成本。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层为单层结构或多层结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
本发明实施例还提供了一种智能冶炼控制设备，包括：如上面实施例所述的光人工神经网络冶炼终点监测芯片。所述智能冶炼控制设备可以包括各种与冶炼过程控制有关的设备，本实施例对此不作限定。本实施例提供的智能冶炼控制设备具备上述实施例所述的光人工神经网络冶炼终点监测芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
本发明实施例还提供了一种如上面所述的光人工神经网络冶炼终点监测的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括炼钢炉口的反射光、透射光和/或辐射光。
进一步地，所述光人工神经网络冶炼终点监测芯片的制备方法，还包括：对所述光人工神经网络冶炼终点监测芯片的训练过程，具体包括：
利用与冶炼终点监测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
需要说明的是，本实施例提供的基于微纳调制结构和图像传感器的光人工神经网络冶炼终点监测芯片有以下效果：A、将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的冶炼终点控制。B、可检测样本包括但不限于转炉炼钢的终点控制，引入人工神经网训练检测冶炼炉口温度和物质元素，极易于后端工业控制系统的集成、且识别准确性高、定性分析精准。C、可以通过CMOS工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。D、在晶圆级别实现单片集成，可以最大程度减小传感器与光滤波器层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
需要说明的是，关于本实施例提供的光人工神经网络冶炼终点监测芯片的详细结构类描述，可参见前述实施例中对于光人工神经网络智能芯片的介绍，为避免赘述，此处不再介绍。此外，关于光人工神经网络冶炼终点监测芯片制备方法的详细介绍，也可以参见前述实施例中对于光人工神经网络智能芯片制备方法的介绍，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (26)

1.一种光人工神经网络智能芯片，其特征在于，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号。
2.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
3.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述光人工神经网络智能芯片用于目标对象的智能处理任务；所述智能处理任务至少包括智能感知、智能识别和智能决策任务中的一种或多种；
目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯片中，得到所述目标对象的智能处理结果；所述智能处理结果至少包括智能感知结果、智能识别结果和/或智能决策结果中的一种或多种；
其中，训练好的光人工神经网络智能芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络智能芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络智能芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
4.根据权利要求3所述的光人工神经网络智能芯片，其特征在于，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
5.根据权利要求1～4任一项所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
6.根据权利要求1～4任一项所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层为单层结构或多层结构。
7.根据权利要求1～4任一项所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
8.根据权利要求7所述的光人工神经网络智能芯片，其特征在于，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
9.根据权利要求7所述的光人工神经网络智能芯片，其特征在于，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
10.根据权利要求9所述的光人工神经网络智能芯片，其特征在于，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
11.根据权利要求9所述的光人工神经网络智能芯片，其特征在于，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
12.根据权利要求9所述的光人工神经网络智能芯片，其特征在于，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
13.根据权利要求9所述的光人工神经网络智能芯片，其特征在于，所述微纳单元具有偏振无关特性。
14.根据权利要求13所述的光人工神经网络智能芯片，其特征在于，所述微纳单元具有四重旋转对称性。
15.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
16.根据权利要求15所述的光人工神经网络智能芯片，其特征在于，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
17.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
18.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述图像传感器为下述中的任意一项或多项：
CMOS图像传感器CIS、电荷耦合元件CCD、单光子雪崩二极管SPAD阵列和焦平面光电探测器阵列。
19.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述人工神经网络的类型包括：前馈神经网络。
20.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述光滤波器层与所述图像传感器之前设置有透光介质层。
21.根据权利要求1所述的光人工神经网络智能芯片，其特征在于，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光滤波器层集成在所述金属线层远离所述光探测层的一面；或，
所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光滤波器层集成在所述光探测层远离所述金属线层的一面。
22.一种智能处理设备，其特征在于，包括：如权利要求1～21任一项所述的光人工神经网络智能芯片。
23.根据权利要求22所述的智能处理设备，其特征在于，所述智能处理设备包括智能手机、智能电脑、智能识别设备、智能感知设备和智能决策设备中的一种或多种。
24.一种如权利要求1～21任一项所述的光人工神经网络智能芯片的制备方法，其特征在于，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号；所述电信号为经光滤波器层调制后的图像信号。
25.根据权利要求24所述的光人工神经网络智能芯片的制备方法，其特征在于，在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
26.根据权利要求24所述的光人工神经网络智能芯片的制备方法，其特征在于，当所述光人工神经网络智能芯片用于目标对象的智能处理任务时，利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
CN202110172841.0A 2021-02-08 2021-02-08 光人工神经网络智能芯片、智能处理设备及制备方法 Pending CN114912599A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110172841.0A CN114912599A (zh) 2021-02-08 2021-02-08 光人工神经网络智能芯片、智能处理设备及制备方法
US17/377,217 US20220253686A1 (en) 2021-02-08 2021-07-15 Optical artificial neural network intelligent chip, preparation method thereof and intelligant processing apparatus
PCT/CN2021/115965 WO2022166188A1 (zh) 2021-02-08 2021-09-01 光人工神经网络智能芯片、智能处理设备及制备方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172841.0A CN114912599A (zh) 2021-02-08 2021-02-08 光人工神经网络智能芯片、智能处理设备及制备方法

Publications (1)

Publication Number Publication Date
CN114912599A true CN114912599A (zh) 2022-08-16

Family

ID=82704630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172841.0A Pending CN114912599A (zh) 2021-02-08 2021-02-08 光人工神经网络智能芯片、智能处理设备及制备方法

Country Status (3)

Country Link
US (1) US20220253686A1 (zh)
CN (1) CN114912599A (zh)
WO (1) WO2022166188A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116224475B (zh) * 2023-03-10 2024-03-08 天津大学 光转换器及光转换系统
CN117764020B (zh) * 2024-02-22 2024-04-26 沐曦集成电路(上海)有限公司 芯片设计调整方法、电子设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200289A1 (en) * 2018-04-13 2019-10-17 The Regents Of The University Of California Devices and methods employing optical-based machine learning using diffractive deep neural networks
CN110133782B (zh) * 2019-05-31 2021-07-06 苏州麦田光电技术有限公司 一种可见光波段光学神经网络元件
CN110866601B (zh) * 2019-10-16 2023-09-08 复旦大学 一种基于光电神经网络的复合采集处理系统
CN111458777A (zh) * 2020-04-22 2020-07-28 中国计量大学 一种光学芯片及制作方法

Also Published As

Publication number Publication date
US20220253686A1 (en) 2022-08-11
WO2022166188A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
CN103155544B (zh) 基于角度敏感像素（asp）的图像处理系统、处理方法和应用
WO2022166189A1 (zh) 光人工神经网络智能芯片及制备方法
CN103542935B (zh) 用于实时的组织氧合测量的小型化多光谱成像器
WO2022166188A1 (zh) 光人工神经网络智能芯片、智能处理设备及制备方法
CN111490060A (zh) 光谱成像芯片及光谱识别设备
US11620849B2 (en) Spectral imaging chip and apparatus, information processing method, fingerprint living body identification device and fingerprint module
JP6390054B2 (ja) モニタリングシステム
CN107084790A (zh) 基于智能手机的便携式光谱仪及其光谱检测方法
CN101784227A (zh) 激光散斑成像系统和方法
Carandini Receptive fields and suppressive fields in the early visual system
CN110346305B (zh) 一种测量植物叶片氮含量的方法和装置
CN106805985B (zh) 基于功能性近红外光谱技术的专注力检测、训练系统和方法
WO2021017051A1 (zh) 一种图像采集芯片、物体成像识别设备及物体成像识别方法
CN110680282B (zh) 一种大脑暂时性异常态的检测方法、装置和系统
Kim et al. Nonspectroscopic imaging for quantitative chlorophyll sensing
Ma et al. A review on sensing technologies for high-throughput plant phenotyping
CN211828773U (zh) 光谱成像芯片及光谱识别设备
CN210112118U (zh) 一种图像采集芯片及物体成像识别设备
CN105548033A (zh) 一种量子点嵌入式光谱仪
TWI759218B (zh) 非接觸式心律類別監測系統及方法
Lyu et al. Tactile recognition technology based on Multi-channel fiber optical sensing system
US11304605B2 (en) Self-administered, non-invasive, transcutaneous viral detector
CN114913111A (zh) 血糖检测芯片、智能血糖检测仪及制备方法
CN114943320A (zh) 冶炼终点监测芯片、智能冶炼控制设备及制备方法
CN114913944A (zh) 光人工神经网络血糖检测芯片及制备方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination