CN114913553A - 光人工神经网络指纹识别芯片、指纹识别装置及制备方法 - Google Patents

光人工神经网络指纹识别芯片、指纹识别装置及制备方法 Download PDF

Info

Publication number
CN114913553A
CN114913553A CN202110172818.1A CN202110172818A CN114913553A CN 114913553 A CN114913553 A CN 114913553A CN 202110172818 A CN202110172818 A CN 202110172818A CN 114913553 A CN114913553 A CN 114913553A
Authority
CN
China
Prior art keywords
optical
neural network
fingerprint identification
artificial neural
filter layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110172818.1A
Other languages
English (en)
Inventor
崔开宇
熊健
杨家伟
黄翊东
张巍
冯雪
刘仿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110172818.1A priority Critical patent/CN114913553A/zh
Publication of CN114913553A publication Critical patent/CN114913553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种光人工神经网络指纹识别芯片、指纹识别装置及制备方法，本发明提供的芯片以硬件方式模拟人工神经网络，用于指纹识别，本发明将光滤波器层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，使得后续在使用该指纹识别芯片进行指纹识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。

Description

光人工神经网络指纹识别芯片、指纹识别装置及制备方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种光人工神经网络指纹识别芯片、指纹识别装置及制备方法。
背景技术
指纹识别技术是一种生物特征识别技术，广泛应用于智能手机解锁、门禁系统、银行密码验证等领域。指纹识别的主要过程包括指纹采集、指纹预处理、指纹特征提取与比对。指纹图像的采集是指纹识别的关键，获取指纹图像的方式主要有光学采集、电容传感器采集、热敏传感器采集、超声波采集等。其中，电容传感器通常安放在手机背部下方采集指纹，结合热敏传感器时，还能实现活体检测，但无法用于屏下指纹识别，这是因为屏幕模组的厚度限制了电容传感器的信号采集。
现有的屏下指纹识别技术主要有光学采集和超声波采集两种方案，但这两种方案需要先进行指纹成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时，并且器件的体积较大。
发明内容
针对现有技术存在的问题，本发明实施例提供一种光人工神经网络指纹识别芯片、指纹识别装置及制备方法。
具体地，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供一种光人工神经网络指纹识别芯片，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果。
进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
进一步地，所述光人工神经网络指纹识别芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与指纹识别任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同指纹的人体手指末端指腹样本反射或透射或辐射的入射光；所述输出训练样本包括相应的指纹识别结果。
进一步地，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
进一步地，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
进一步地，所述微纳单元具有偏振无关特性。
进一步地，所述微纳单元具有四重旋转对称性。
进一步地，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
进一步地，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
第二方面，本发明实施例提供一种指纹识别装置，包括：至少一个如上所述的光人工神经网络指纹识别芯片。
第三方面，本发明实施例提供一种光人工神经网络指纹识别芯片的制备方法，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光。
进一步地，在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
进一步地，还包括：对所述光人工神经网络指纹识别芯片的训练过程，具体包括：
利用与指纹识别任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
本发明实施例提供的光人工神经网络指纹识别芯片、指纹识别装置及制备方法，以硬件方式模拟人工神经网络，用于对用户指纹进行识别，也即本发明实施例实现了一种能够实现人工神经网络功能的全新指纹识别芯片，在该指纹识别芯片中，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该指纹识别芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该指纹识别芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该指纹识别芯片进行人工神经网络指纹识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由指纹识别芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络指纹识别时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将人体手指末端指腹的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。
由此可见，本发明实施例提供了用于准确进行指纹识别的新型光电芯片，该芯片将人工神经网络部分嵌入包含各种光滤波器层的图像传感器中，实现安全可靠、快速准确的指纹识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的光人工神经网络指纹识别芯片的结构示意图；
图2是本发明一实施例提供的光人工神经网络指纹识别芯片识别原理示意图；
图3是本发明一实施例提供的光人工神经网络指纹识别芯片拆解示意图；
图4是本发明一实施例提供的人体手指末端指腹识别过程示意图；
图5是本发明一实施例提供的一种光滤波器层的俯视图；
图6是本发明一实施例提供的另一种光滤波器层的俯视图；
图7是本发明一实施例提供的又一种光滤波器层的俯视图；
图8是本发明一实施例提供的另又一种光滤波器层的俯视图；
图9是本发明一实施例提供的再又一种光滤波器层的俯视图；
图10是本发明一实施例提供的还又一种光滤波器层的俯视图；
图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；
图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；
图13是本发明第三个实施例提供的光人工神经网络指纹识别芯片的制备方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的屏下指纹识别技术主要有光学采集和超声波采集两种方案，但这两种方案需要先进行指纹成像然后再传输到计算机中进行后续的神经网络识别模型算法处理，大量数据的传输和处理造成了较大的功耗和延时。基于此，本发明实施例提供一种光人工神经网络指纹识别芯片，该指纹识别芯片中的光滤波器层对应人工神经网络的输入层，图像传感器对应人工神经网络的线性层，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，本发明实施例利用光滤波器层和图像传感器将人体手指末端指腹的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理。本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。下面将通过具体实施例对本发明提供的内容进行详细解释和说明。
如图1所示，本发明第一个实施例提供的光人工神经网络指纹识别芯片，用于指纹识别任务，包括：光滤波器层1、图像传感器2和处理器3；所述光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器2对应人工神经网络的线性层；所述处理器3对应人工神经网络的非线性层以及输出层；
所述光滤波器层1设置于所述图像传感器的感光区域的表面，所述光滤波器层1包含有光调制结构，所述光滤波器层1用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行随波长变化强度调制的频谱调制，即对不同波长的入射光进行不同的强度调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络指纹识别芯片处理的人体手指末端指腹的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光；
所述图像传感器2用于将与不同位置点经光滤波器层1调制后对应的光强度分布信号转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器3；所述电信号为经光滤波器层调制后的图像信号；
所述处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果。
在本实施例中，光滤波器层1设置于图像传感器的感光区域的表面，光滤波器层1包含有光调制结构，光滤波器1层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的调制后的入射光携带信息，相应地，图像传感器2用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，即经光滤波器层调制后的图像信号，与此同时，与图像传感器2连接的处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，即指纹识别处理结果。
在本实施例中，光滤波器层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别人体手指末端指腹的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2感光区域的表面得到与不同位置点对应的入射光携带信息。
在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。
在本实施例中，可以理解的是，光滤波器层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经网络的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光滤波器层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。
在本实施例中，图像传感器2将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的线性层。
在本实施例中，处理器3将不同位置点的电信号进行全连接处理与非线性激活处理，进而得到人工神经网络的输出信号。
可以理解的是，处理器3对应神经网络的非线性层以及输出层，也可以理解成对应神经网络中除输入层和线性层以外的剩余层(其他所有层)。
此外，需要补充说明的是，处理器3可以设置在所述指纹识别芯片内，也即所述处理器3可以和所述滤波器层1以及图像传感器2一起设置在指纹识别芯片内，也可以单独地设置在指纹识别芯片外，并通过数据线或连接器件与指纹识别芯片内中的图像传感器2连接，本实施例对此不作限定。
此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的ARM或FPGA电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述指纹识别芯片内，也可以独立于所述指纹识别芯片外设置。当所述处理器3独立于所述指纹识别芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。
在本实施例中，可以理解的是，处理器3在进行非线性激活处理时，可以采用非线性激活函数实现，例如可以采用Sigmoid函数、Tanh函数、ReLU函数等，本实施例对此不作限定。
在本实施例中，光滤波器层1对应人工神经网络的输入层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网的线性层，将空间不同位置点的入射光携带信息转化为电信号，处理器3对应人工神经网络的非线性层以及输出层，将不同位置的电信号进行全连接，经由非线性激活函数得到人工神经网络的输出信号，实现对人体手指末端指腹的指纹识别处理。
如图2左侧所示，光人工神经网络指纹识别芯片包括光滤波器层1、图像传感器2和处理器3，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，光人工神经网络指纹识别芯片中的光滤波器层1对应人工神经网络的输入层，图像传感器2对应人工神经网络的线性层，处理器3对应人工神经网络的非线性层和输出层，光滤波器层1对进入光滤波器层1的入射光的滤波作用对应输入层到线性层的连接权重，由此可见，本实施例提供的指纹识别芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该指纹识别芯片进行识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。
如图2右侧所示，将光滤波器层1不同位置处的入射光频谱Pλ投影/连接到图像传感器的光电流响应IN上，处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出至传输到计算机中，由计算机进行电信号的全连接处理与非线性激活处理，最后输出结果。
如图3所示，光滤波器层1上的光调制结构集成在图像传感器2上方，对入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光滤波器层1后，由图像传感器2转换成电信号，形成包含入射光的频谱信息的图像，最后由与图像传感器2连接的处理器3对包含图像信息、光谱信息、入射光的角度信息以及入射光的相位信息的电信号进行处理。
在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用人体手指末端指腹的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对指纹进行识别，从而可以更加准确地实现对指纹的识别。
由此可见，本实施例提供的光人工神经网络指纹识别芯片可以同时利用人体手指末端指腹的图像信息和光谱信息，即空间不同点处的光谱信息，并在硬件上嵌入了人工神经网络，从图像信息、光谱信息、入射光的角度信息以及入射光的相位信息中可以进一步提取指纹的成分、图像形状、三维深度等信息，从而可以解决背景技术部分所提到的不易识别某些特定人群的指纹特征、相似指纹易识别错误以及遗留在物体表面的指纹易被盗用导致无法准确进行指纹识别的问题，实现准确进行指纹识别，并且实现了低功耗、低延时和高准确率的频谱光人工神经网指纹识别芯片。
本发明实施例提供的光人工神经网络指纹识别芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。
此外，需要说明的是，现有技术中在对指纹进行识别时，只利用了指纹的二维图像信息，然而二维图像信息难以保证识别的准确性。因此，基于此，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息和光谱信息，从而使得在利用本申请提供的光人工神经网络指纹识别芯片执行智能识别任务时，可以同时利用人体手指末端指腹的光强度分布信息和光谱信息，由此可见，由于入射光携带信息涵盖了人体手指末端指腹的图像、成分、形状、三维深度、结构等信息，从而在依据人体手指末端指腹空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体手指末端指腹的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决所提到的采用指纹的二维图像信息难以保证识别的准确性例如不易识别某些人群的指纹特征、相似指纹易识别错误以及遗留在物体表面的指纹易被盗用导致无法准确进行指纹识别的问题，从而能够更为准确地实现对指纹的识别。此外，在另一种实现方式中，所述入射光携带信息还可以进一步包括光强度分布信息、光谱信息、入射光的角度信息，从而能够更加全面的捕捉人体手指末端指腹的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对指纹的识别。此外，在另一种实现方式中，所述入射光携带信息还可以进一步包括光强度分布信息、光谱信息、入射光的角度信息和入射光相位信息，从而能够更加全面的捕捉人体手指末端指腹的图像、成分、形状、三维深度、三维结构等信息，从而能够更为准确地实现对指纹的识别。
本发明实施例提供的光人工神经网络指纹识别芯片，包括光滤波器层、图像传感器和处理器，光滤波器层设置于图像传感器的感光区域的表面，光滤波器层包含有光调制结构，光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与此同时，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该指纹识别芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该指纹识别芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该指纹识别芯片进行人工神经网络识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由指纹识别芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时。由此可见，本发明实施例将光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，利用光滤波器层和图像传感器将人体手指末端指腹的空间光谱信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了人体手指末端指腹的图像信息、光谱信息、入射光的角度和入射光的相位信息，即人体手指末端指腹空间不同点处的入射光携带信息，由此可见，由于人体手指末端指腹空间不同点处的入射光携带信息涵盖了人体手指末端指腹的图像、成分、形状、三维深度、结构等信息，从而在依据人体手指末端指腹空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体手指末端指腹的图像、成分、形状、三维深度、结构等多维度的信息，从而可以解决背景技术部分所提到的不易识别某些人群的指纹特征、相似指纹易识别错误以及遗留在物体表面的指纹易被盗用导致无法准确进行指纹识别的问题，由此可见，本发明实施例提供的光人工神经网络指纹识别芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果，从而可以为应用于指纹识别任务做好准备。
基于上述实施例的内容，在本实施例中，所述光人工神经网络指纹识别芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与指纹识别任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同指纹的人体手指末端指腹样本反射或透射或辐射的入射光；所述输出训练样本包括相应的指纹识别结果。指纹识别任务
在本实施例中，光人工神经网络指纹识别芯片可以用于人体手指末端指腹的指纹识别任务。指纹是人体手指末端由凹凸的皮肤所形成的纹路，每个人的指纹都是不同的，指纹识别是将识别对象的指纹进行分类比对从而进行判别。
在本实施例中，人体手指末端指腹的反射光、透射光和/或辐射光进入至训练好的光人工神经网络指纹识别芯片中，得到人体手指末端指腹的指纹识别结果。
可以理解的是，由于光滤波器层对进入光滤波器层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光滤波器层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前指纹识别任务的光调制结构，以及，适用于当前指纹识别任务的全连接参数与非线性激活参数，从而完成对光人工神经网络指纹识别芯片的训练。
在本实施例中，以人体手指末端指腹的指纹识别任务为例进行说明，可以理解的是，在利用该指纹识别芯片进行识别任务时，首先需要对光人工神经网络指纹识别芯片进行训练，这里对光人工神经网络指纹识别芯片进行训练是指通过前期采集大量人群的指纹作为训练集，用于确定适用于当前指纹识别任务的光调制结构，以及，适用于当前指纹识别任务的全连接参数与非线性激活参数。
可以理解的是，由于光滤波器层对进入光滤波器层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光滤波器层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数，从而完成对指纹识别芯片的训练。
可以理解的是，在对指纹识别芯片训练后，就可以使用该指纹识别芯片执行识别任务。具体地，携带有人体手指末端指腹图像信息以及空间光谱信息的入射光进入训练好的指纹识别芯片的光滤波器层1后，光滤波器层1中的光调制结构会对入射光进行调制，调制后的入射光携带信息由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理与非线性激活处理，就能得到人体手指末端指腹的指纹识别结果。
如图4所示，对于人体手指末端指腹识别的完整流程为：手机屏幕下的光源200照射到人体手指指纹300上，然后人体手指末端指腹的反射光或透射光由光人工神经网络指纹识别芯片100采集，或者人体手指末端指腹直接向外辐射的光由光人工神经网络指纹识别芯片100采集，由指纹识别芯片中的光滤波器层、图像传感器和处理器进行处理后，即可得到识别结果。
其中，训练好的光人工神经网络指纹识别芯片是指包括训练好的光调制结构、图像传感器和处理器的光人工神经网络指纹识别芯片；所述训练好的光调制结构、图像传感器和处理器是指利用与所述识别处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数与非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器。
举例来说，对于指纹识别任务来说，与指纹识别任务对应的输入训练样本为人体手指末端指腹样本，与指纹识别任务对应的输出训练样本为所述人体手指末端指腹样本的识别结果。可以理解的是，对于指纹识别任务来说，由于本实施例提供的指纹识别芯片的优势还在于能够获取到人体手指末端指腹空间不同点处的图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，因此，为充分利用该优势，对于作为输入训练样本的人体手指末端指腹样本优先采用真实的人体手指末端指腹，而不是人体手指末端指腹的二维图像。当然，这并不代表不可以将二维图像作为人体手指末端指腹样本。
在本实施例中，光滤波器层1作为神经网络的输入层，图像传感器2作为神经网络的线性层，为了使神经网络的损失函数最小，将光滤波器层中的光调制结构对人体手指末端指腹的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整滤波器的结构可以调整人体手指末端指腹的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。
因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对人体手指末端指腹样本进行光学仿真，获取人体手指末端指腹样本中光调制结构对指纹识别任务中人体手指末端指腹的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与指纹识别任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的人体手指末端指腹样本光调制结构作为对应指纹识别任务的光滤波器层。
由此可见，本实施例通过在物理层实现神经网络的输入层(光滤波器层)和线性层(图像传感器)，不但能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，而且本发明实施例实际上同时利用了人体手指末端指腹图像信息、光谱信息、入射光的角度信息以及入射光的相位信息，即人体手指末端指腹空间不同点处的入射光携带信息，从而使得可以从入射光携带信息中进一步提取人体手指末端指腹成分、形状、三维深度等信息，由此可见，本发明实施例提供的光人工神经网络指纹识别芯片，不但能够实现低功耗和低延时的效果，还能够实现高准确率的效果。
基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
在本实施例中，通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。
例如，可以通过FDTD软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对光人工神经网络指纹识别芯片进行训练，准确获取光调制结构。
由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。
基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；
在本实施例中，所述光滤波器层中的光调制结构可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
在本实施例中，可以理解的是，这里光调制结构包括规则结构可以包括：光调制结构包含的最小调制单元是规则的结构，光调制结构包含的最小调制单元的排布方式是规则的，以及光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
其中，光调制结构包含的最小调制单元可以为长方形、正方形和圆形等规则的图形。光调制结构包含的最小调制单元可以是最小调制单元按规则的阵列形式排布、按规则的圆形形式排布、按规则的梯形形式排布、按规则的多边形形式排布等。
在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
在本实施例中，所述光滤波器层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述光滤波器层为单层结构或多层结构。
在本实施例中，需要说明的是，所述光滤波器层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。
在本实施例中，如图1所示，所述光滤波器层1为单层结构，光滤波器层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。
可以理解的是，由于光滤波器层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、III-V族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优选地，可以将所述光滤波器层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光滤波器层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高指纹识别芯片在处理指纹识别任务时的准确度。
此外，需要说明的是，对于包含多层结构的滤波器层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光滤波器层1，第一层可以为硅层，第二层可以为氮化硅层。
需要说明的是，光滤波器层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。
基于上述实施例的内容，在本实施例中，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。需要说明的是，各个微纳单元的结构是根据相应的指纹识别任务设计得到的结构，各个微纳单元的结构是基于以具有不同指纹的人体手指末端指腹样本反射或透射或辐射的入射光为输入，以相应的指纹识别结果为输出训练得到的。由此可见，本实施例可以根据不同的指纹识别任务，对应设计不同的微纳调制结构，进而准确且快速进行指纹识别。
下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光滤波器层1包含多个重复连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光滤波器层1包含多个互不相同的微纳单元，也即指纹识别芯片上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升识别的准确率。如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。
在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，微纳单元包含的最小调制单元的排布方式是规则的，微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。其中，最小调制单元可以为长方形、正方形和圆形等规则的图形，微纳单元包含的最小调制单元的排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。
在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，微纳单元包含的最小调制单元的排布方式是不规则的，微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
其中，微纳单元包含的最小调制单元可以为不规则多边形、随机形状等不规则的图形，微纳单元包含的最小调制单元的排布方式可以是不规则的多边形形式、随机排列形式等。
在本实施例中，所述光滤波器层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。
可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光滤波器层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。
需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
在本实施例中，为了能够获取人体手指末端指腹的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对人体手指末端指腹的入射光进行宽带滤波或窄带滤波，获取人体手指末端指腹的入射光不同波长成分的调制强度。如图11和图12所示，光滤波器层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。
可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。
基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。
在本实施例中，如图5所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对识别处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对识别处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光滤波器层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过前期针对识别处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。
需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。
在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。
如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。
需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。
基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。
在本实施例中，由于微纳单元具有偏振无关特性，因此使得光滤波器层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的光人工神经网络指纹识别芯片。本发明实施例提供的光人工神经网络指纹识别芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测量性能的稳定性，进而可以保证指纹识别处理的稳定性。需要说明的是，微纳单元也可以具有偏振相关特性。
基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。
在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。
下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光滤波器层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90°、180°、270°后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的指纹识别效果。
基于上述实施例的内容，在本实施例中，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP(Surface Plasmon Polaritons，SPP)微纳结构、可调法布里-珀罗谐振腔(Fabry-perot Cavity，FP腔)中的一种或多种制备的滤波器层。
所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
其中，光子晶体，以及超表面与随机结构组合可采用CMOS工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；SPP体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。
基于上述实施例的内容，在本实施例中，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
在本实施例中，需要说明的是，若光滤波器层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光滤波器层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光滤波器层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ2，厚度通常为0.1λ～10λ(λ表示人体手指末端指腹的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm2～40000μm2，光滤波器层1中的介质材料为多晶硅，厚度为50nm～2μm。
基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：
CMOS图像传感器(Contact Image Sensor，CIS)、电荷耦合元件(Charge CoupledDevice，CCD)、单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)阵列和焦平面光电探测器阵列。
在本实施例中，需要说明的是，采用晶圆级别的CMOS图像传感器CIS，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光滤波器层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，SPAD可以用于弱光探测，CCD可以用于强光探测。
在本实施例中，光滤波器层和图像传感器可以由互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)集成工艺制造，有利于降低器件失效率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光滤波器层。
基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。
在本实施例中，前馈神经网络(Feedforward Neural Network，FNN)，又称作深度前馈网络(Deep Feedforward Network，DFN)、多层感知机(Multi-Layer Perceptron，MLP)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数，而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。
基于上述实施例的内容，在本实施例中，所述光滤波器层与所述图像传感器之前设置有透光介质层。
在本实施例中，需要说明的是，在所述光滤波器层与所述图像传感器之间设置透光介质层，可以有效将光滤波器层与图像传感器层分开，避免两者相互干扰。
基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光滤波器层集成在所述金属线层远离所述光探测层的一面；或，
所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光滤波器层集成在所述光探测层远离所述金属线层的一面。
在本实施例中，前照式的图像传感器，硅探测层在金属线层下方，光滤波器层1直接集成到金属线层上。
在本实施例中，背照式的图像传感器与前照式的图像传感器不同的是，硅探测层在金属线层上方，光滤波器层1直接集成到硅探测层上。
需要说明的是，对于背照式的图像传感器，硅探测层在金属线层上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。
根据上面的内容可知，本实施例将光滤波器层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光滤波器层对进入光滤波器层的入射光的滤波作用作为输入层到线性层的连接权重，本实施例提供的光人工神经网络指纹识别芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该指纹识别芯片进行识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本实施例由于同时利用了人体手指末端指腹的图像信息和空间不同点处的光谱信息，从而可以更加准确地实现对指纹的识别处理。
基于相同的发明构思，本发明另一实施例提供了一种指纹识别装置，包括：至少一个如上面实施例所述的光人工神经网络指纹识别芯片。
在本实施例中，需要说明的是，由于芯片识别速度较快，本实施例中的指纹识别装置至少包括一个上述实施例所述的光人工神经网络指纹识别芯片，例如，指纹识别装置可以包括两个上述芯片，从而可以同时识别用户左右手手指末端指腹的指纹，进一步提高了指纹识别的效率。
由于本实施例提供的指纹识别装置包括上述实施例所述的光人工神经网络指纹识别芯片，因此，本实施例提供的指纹识别装置具备上述实施例所述的光人工神经网络指纹识别芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的光人工神经网络指纹识别芯片的制备方法，如图13所示，具体包括如下步骤：
步骤1310、在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
步骤1320、生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
步骤1330、连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光。
在本实施例中还包括对所述光人工神经网络指纹识别芯片的训练过程，具体包括：
利用与指纹识别任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
当所述光人工神经网络指纹识别芯片用于指纹识别处理任务时，利用与所述识别处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
在本实施例中，需要说明的是，如图1所示，光滤波器层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光滤波器层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。
在本实施例中，需要说明的是，假设图像传感器2为背照式结构，则光滤波器层1可以在背照式的图像传感器的硅探测器层上直接刻蚀，然后再沉积金属进行制备得到。
此外，需要说明的是，所述光滤波器层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过PDMS等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光滤波器层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光滤波器层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的光人工神经网络指纹识别芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。
基于此，本发明实施例提供的光人工神经网络指纹识别芯片，实现了一种能够实现人工神经网络功能的全新智能芯片，在该智能芯片中，光滤波器层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，同时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该智能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由智能芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低人工神经网络处理时的功耗和延时，而且本发明实施例还可以同时利用人体手指末端指腹的图像信息、光谱信息、入射光的角度和入射光的相位信息，即人体手指末端指腹空间不同点处的入射光携带信息，由此可见，由于人体手指末端指腹空间不同点处的入射光携带信息涵盖了人体手指末端指腹的图像、成分、形状、三维深度、结构等信息，从而在依据人体手指末端指腹空间不同点处的入射光携带信息进行识别处理时，可以涵盖人体手指末端指腹的图像、成分、形状、三维深度、结构等多维度的信息，从而可以提高指纹的准确性，由此可见，本发明实施例提供的光人工神经网络指纹识别芯片，不但能够实现低功耗和低延时的效果，还能够提高指纹识别的准确率，从而可以较好地应用在指纹识别处理领域。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种光人工神经网络指纹识别芯片，其特征在于，用于指纹识别任务，包括：光滤波器层、图像传感器和处理器；所述光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波器层包含有光调制结构，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光滤波器层调制后的图像信号；
所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果。
2.根据权利要求1所述的光人工神经网络指纹识别芯片，其特征在于，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
3.根据权利要求1所述的光人工神经网络指纹识别芯片，其特征在于，所述光人工神经网络指纹识别芯片包括训练好的光调制结构、图像传感器和处理器；
所述训练好的光调制结构、图像传感器和处理器是指利用与指纹识别任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
所述输入训练样本包括由具有不同指纹的人体手指末端指腹样本反射或透射或辐射的入射光；所述输出训练样本包括相应的指纹识别结果。
4.根据权利要求3所述的光人工神经网络指纹识别芯片，其特征在于，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
5.根据权利要求1～4任一项所述的光人工神经网络指纹识别芯片，其特征在于，所述光滤波器层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光滤波器层中的光调制结构包含离散型结构和/或连续型结构。
6.根据权利要求1～4任一项所述的光人工神经网络指纹识别芯片，其特征在于，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
7.根据权利要求6所述的光人工神经网络指纹识别芯片，其特征在于，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
8.根据权利要求6所述的光人工神经网络指纹识别芯片，其特征在于，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
9.根据权利要求8所述的光人工神经网络指纹识别芯片，其特征在于，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
10.根据权利要求8所述的光人工神经网络指纹识别芯片，其特征在于，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
11.根据权利要求8所述的光人工神经网络指纹识别芯片，其特征在于，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
12.根据权利要求8所述的光人工神经网络指纹识别芯片，其特征在于，所述微纳单元具有偏振无关特性。
13.根据权利要求12所述的光人工神经网络指纹识别芯片，其特征在于，所述微纳单元具有四重旋转对称性。
14.根据权利要求1所述的光人工神经网络指纹识别芯片，其特征在于，所述光滤波器层由一层或多层滤波器层构成；
所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元SPP微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
15.根据权利要求14所述的光人工神经网络指纹识别芯片，其特征在于，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
16.根据权利要求1所述的光人工神经网络指纹识别芯片，其特征在于，所述光滤波器层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
17.一种指纹识别装置，其特征在于，包括：至少一个如权利要求1～16任一项所述的光人工神经网络指纹识别芯片。
18.一种如权利要求1～16任一项所述的光人工神经网络指纹识别芯片的制备方法，其特征在于，包括：
在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层；
生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
连接所述图像传感器和所述处理器；
其中，所述光滤波器层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种；
所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到指纹识别处理结果；所述电信号为经光滤波器层调制后的图像信号，所述入射光包括人体手指末端指腹上的反射光、透射光和/或辐射光。
19.根据权利要求18所述的光人工神经网络指纹识别芯片的制备方法，其特征在于，在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包括：
在所述图像传感器的感光区域的表面生长一层或多层预设材料；
对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光滤波器层；
或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光滤波器层；
或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器层。
20.根据权利要求18所述的光人工神经网络指纹识别芯片的制备方法，其特征在于，还包括：对所述光人工神经网络指纹识别芯片的训练过程，具体包括：
利用与指纹识别任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络指纹识别芯片进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
CN202110172818.1A 2021-02-08 2021-02-08 光人工神经网络指纹识别芯片、指纹识别装置及制备方法 Pending CN114913553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172818.1A CN114913553A (zh) 2021-02-08 2021-02-08 光人工神经网络指纹识别芯片、指纹识别装置及制备方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172818.1A CN114913553A (zh) 2021-02-08 2021-02-08 光人工神经网络指纹识别芯片、指纹识别装置及制备方法

Publications (1)

Publication Number Publication Date
CN114913553A true CN114913553A (zh) 2022-08-16

Family

ID=82761190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172818.1A Pending CN114913553A (zh) 2021-02-08 2021-02-08 光人工神经网络指纹识别芯片、指纹识别装置及制备方法

Country Status (1)

Country Link
CN (1) CN114913553A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154815A1 (en) * 2006-10-16 2008-06-26 Lucent Technologies Inc. Optical processor for an artificial neural network
CN111458777A (zh) * 2020-04-22 2020-07-28 中国计量大学 一种光学芯片及制作方法
CN111811651A (zh) * 2020-07-23 2020-10-23 清华大学 光谱芯片、光谱仪及光谱芯片制备方法
CN111832721A (zh) * 2019-04-15 2020-10-27 香港科技大学 全光学神经网络
CN112018139A (zh) * 2020-08-14 2020-12-01 清华大学 光谱芯片中的微纳结构阵列的生成方法
CN112215194A (zh) * 2020-10-23 2021-01-12 敦泰电子（深圳）有限公司 光学指纹识别模组及其识别方法和显示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154815A1 (en) * 2006-10-16 2008-06-26 Lucent Technologies Inc. Optical processor for an artificial neural network
CN111832721A (zh) * 2019-04-15 2020-10-27 香港科技大学 全光学神经网络
CN111458777A (zh) * 2020-04-22 2020-07-28 中国计量大学 一种光学芯片及制作方法
CN111811651A (zh) * 2020-07-23 2020-10-23 清华大学 光谱芯片、光谱仪及光谱芯片制备方法
CN112018139A (zh) * 2020-08-14 2020-12-01 清华大学 光谱芯片中的微纳结构阵列的生成方法
CN112215194A (zh) * 2020-10-23 2021-01-12 敦泰电子（深圳）有限公司 光学指纹识别模组及其识别方法和显示装置

Similar Documents

Publication Publication Date Title
WO2022166189A1 (zh) 光人工神经网络智能芯片及制备方法
CN111490060A (zh) 光谱成像芯片及光谱识别设备
CN110381243B (zh) 一种图像采集芯片、物体成像识别设备及物体成像识别方法
WO2022105506A1 (zh) 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组
WO2022032842A1 (zh) 基于随机形状单元的微型光谱芯片
CN110108358A (zh) 一种高光谱成像方法及装置
WO2022166188A1 (zh) 光人工神经网络智能芯片、智能处理设备及制备方法
CN114518168A (zh) 光谱成像芯片及其制备方法和信息处理方法
CN211828773U (zh) 光谱成像芯片及光谱识别设备
WO2022138064A1 (ja) 生体認証システムおよび生体認証方法
WO2022033353A1 (zh) 基于不同形状单元的微型光谱芯片以及其中的微纳结构阵列的生成方法
CN114913553A (zh) 光人工神经网络指纹识别芯片、指纹识别装置及制备方法
Sarwar et al. Miniaturizing a chip-scale spectrometer using local strain engineering and total-variation regularized reconstruction
WO2022032843A1 (zh) 基于不同形状单元的微型光谱芯片
CN210112118U (zh) 一种图像采集芯片及物体成像识别设备
CN109341858B (zh) 一种渐变型散射结构光谱分析装置及光谱复原方法
CN207717226U (zh) 基于周期性干涉膜系fp腔扫描的高光谱成像装置
CN114912601A (zh) 光人工神经网络环保监测芯片及制备方法
Lensu et al. Color-sensitive biosensors for imaging applications
CN114913111A (zh) 血糖检测芯片、智能血糖检测仪及制备方法
CN114913944A (zh) 光人工神经网络血糖检测芯片及制备方法
CN115128791A (zh) 光谱成像天文望远镜及天文望远镜光谱成像方法
CN114912597A (zh) 农业控制芯片、智能农业控制设备及制备方法
CN114912600A (zh) 光人工神经网络智能农业精准控制芯片及制备方法
CN114943320A (zh) 冶炼终点监测芯片、智能冶炼控制设备及制备方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination